JP2017027424A - インタラクティブプロジェクター及びその設置状態検出方法 - Google Patents

Abstract

【課題】指示体の検出に利用される２つのデバイスの設置状態が適切か否かを確認することが望まれる。
【解決手段】インタラクティブプロジェクターは、第1のデバイスである第１の撮像部により第２のデバイスの少なくとも一部を撮像した撮像画像に基づいて、第１のデバイス及び第２のデバイスの少なくとも一方の設置状態を検出する検出部と、設置状態の検出結果に応じた処理を行う処理部と、を備える。
【選択図】図６

Description

本発明は、指示体を用いて投写画面に対して指示を行うことが可能なインタラクティブプロジェクターであって、第１のデバイスと第２のデバイスを用いて指示体を検出するインタラクティブプロジェクターに関する。

特許文献１，２には、投写画面をスクリーンに投写するとともに、指などの対象物（object）を含む画像をカメラで撮像し、この撮像画像を用いて対象物の位置を検出することが可能な投写型表示装置（プロジェクター）が開示されている。指などの対象物は、投写画面に対して指示を行うための指示体として利用される。すなわち、プロジェクターは、対象物の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、投写画面に対して指示を行うために利用される対象物を「指示体（pointing element）」と呼ぶ。

特許文献２では、指示体の検出のためにスクリーンの表面にカーテン状（又は層状）の赤外光を射出する光照射装置（「ライトカーテンユニット」とも呼ぶ）が利用されている。指示体がスクリーンに接したときに指示体によって赤外光が反射されると、その反射光の位置がカメラで撮像されるので、その撮像画像を解析することによって投写画面上における指示体の位置を決定することができる。すなわち、特許文献２に記載されたインタラクティブプロジェクターでは、第１のデバイスとしてのカメラと、第２のデバイスとしてのライトカーテンユニットと、を用いて指示体を検出している。

特開２０１２−１５０６３６号公報 特表２０１４−５１７３６２号公報

しかしながら、上述した従来のインタラクティブプロジェクターでは、ライトカーテンユニット（第２のデバイス）の設置状態が適切でない場合には、指示体を正しく検出することができない。そこで、指示体の検出に利用される２つのデバイスの設置状態が適切か否かを確認したいという要望がある。このような課題は、カメラとライトカーテンユニットとを用いて指示体を検出するインタラクティブプロジェクターに限らず、一般に、２つのデバイスを用いて指示体を検出するインタラクティブプロジェクターに共通する課題であった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

（１）本発明の一形態によれば、指示体の位置を検出するインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、画像を投写する投写部と；前記投写部の投写範囲を含む範囲を撮像する第１の撮像部である第１のデバイスと；前記第１の撮像部と協働して前記指示体の位置を検出するために用いられ、少なくとも一部が前記第１の撮像部の撮像範囲に含まれるように設置される第２のデバイスと；前記第１の撮像部により前記第２のデバイスの少なくとも一部を撮像した撮像画像に基づいて、前記第１のデバイス及び前記第２のデバイスの少なくとも一方の設置状態を検出する検出部と；前記設置状態の検出結果に応じた処理を行う処理部と；を備える。
このインタラクティブプロジェクターによれば、第１の撮像部（第１のデバイス）により第２のデバイスの少なくとも一部を撮像した撮像画像に基づいて、第１のデバイス及び第２のデバイスの少なくとも一方の設置状態を検出するので、第１のデバイス又は第２のデバイスの設置状態が適切か否かを検出できる。また、その検出結果に応じた適切な処理を行うことが可能である。

（２）上記インタラクティブプロジェクターにおいて、前記第２のデバイスは、前記第１の撮像部とともに前記投写範囲を含む範囲を撮像する第２の撮像部であるものとしてもよい。
この構成によれば、第１の撮像部（第１のデバイス）の撮像画像に基づいて、第２の撮像部（第２のデバイス）の設置状態が適切か否かを検出できる。

（３）上記インタラクティブプロジェクターにおいて、前記処理部は、検出した設置状態に基づいて前記指示体の位置を補正する補正部であってもよい。
この構成によれば、第１のデバイス又は第２のデバイスの設置状態が規定の設置状態からずれている場合にも、指示体の位置を正しく検出できる。

（４）上記インタラクティブプロジェクターにおいて、前記第２のデバイスは、前記指示体を検出するための検出光を照射する照射部であるものとしてもよい。
この構成によれば、第１の撮像部（第１のデバイス）の撮像画像に基づいて、照射部（第２のデバイス）の設置状態が適切か否かを検出できる。

（５）上記インタラクティブプロジェクターにおいて、前記処理部は、検出した設置状態をユーザーに報知する報知部であるものとしてもよい。
この構成によれば、第１のデバイス又は第２のデバイスの設置状態が適切でない場合に、その旨をユーザに報知できる。

本発明は、種々の形態で実現することが可能であり、例えば、スクリーン及び指示体のうちの一方又は両方とインタラクティブプロジェクターとを含むシステム、インタラクティブプロジェクターの制御方法又は制御装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の様々な形態で実現することができる。

第１実施形態のプロジェクションシステムの斜視図。 第１実施形態のプロジェクションシステムの側面図及び正面図。 第１実施形態のプロジェクターの内部構成を示すブロック図。 第１実施形態における２台のカメラの配置と向きを示す説明図。 工場出荷時のカメラの配置関係と撮像画像の例を示す説明図。 位置ズレ発生時のカメラの配置関係と撮像画像の例を示す説明図。 第２実施形態のプロジェクションシステムの斜視図。 第２実施形態のプロジェクションシステムの側面図及び正面図。 第２実施形態のプロジェクターの内部構成を示すブロック図。 工場出荷時及び位置ズレ発生時の撮像画像の例を示す説明図。

Ａ．第１実施形態
図１は、本発明の第１実施形態におけるインタラクティブプロジェクションシステム９００の斜視図である。このシステム９００は、インタラクティブプロジェクター１００と、スクリーン板９２０と、自発光指示体７０とを有している。スクリーン板９２０の前面は、投写スクリーン面ＳＳ（projection Screen Surface）として利用される。プロジェクター１００は、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。なお、図１では投写スクリーン面ＳＳを鉛直に配置しているが、投写スクリーン面ＳＳを水平に配置してこのシステム９００を使用することも可能である。

プロジェクター１００は、投写スクリーン面ＳＳ上に投写画面ＰＳ（Projected Screen）を投写する。投写画面ＰＳは、通常は、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「投写スクリーン面ＳＳ」（又は「スクリーン面ＳＳ」）とは、画像が投写される部材の表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって投写スクリーン面ＳＳ上に投写された画像の領域を意味する。通常は、投写スクリーン面ＳＳの一部に投写画面ＰＳが投写される。

自発光指示体７０は、発光可能な先端部７１と、使用者が保持する軸部７２と、軸部７２に設けられたボタンスイッチ７３とを有するペン型の指示体である。自発光指示体７０の構成や機能については後述する。このシステム９００では、１つ又は複数の自発光指示体７０とともに、１つ又は複数の非発光指示体８０（非発光のペンや指など）を利用可能である。

図２（Ａ）は、インタラクティブプロジェクションシステム９００の側面図であり、図２（Ｂ）はその正面図である。本明細書では、投写の左右に沿った方向をＸ方向と定義し、スクリーン面ＳＳの上下に沿った方向をＹ方向と定義し、スクリーン面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「左右方向」とも呼び、Ｙ方向を「上下方向」とも呼び、Ｚ方向を「前後方向」とも呼ぶ。また、Ｙ方向（上下方向）のうち、プロジェクター１００から見て投写画面ＰＳが存在する方向を「下方向」と呼ぶ。なお、図２（Ａ）では、図示の便宜上、スクリーン板９２０のうちの投写画面ＰＳの範囲にハッチングを付している。

プロジェクター１００は、投写画面ＰＳをスクリーン面ＳＳ上に投写する投写レンズ２１０と、投写画面ＰＳの領域を撮像する第１カメラ３１０及び第２カメラ３２０と、指示体（自発光指示体７０及び非発光指示体８０）に検出光を照明するための検出光照射部４１０とを有している。検出光としては、例えば近赤外光が使用される。２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する第１の撮像機能を少なくとも有している。２台のカメラ３１０，３２０のうちの少なくとも一方は、更に、可視光を含む光を受光して撮像する第２の撮像機能を有し、これらの２つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、２台のカメラ３１０，３２０は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な近赤外フィルター切換機構（図示せず）をそれぞれ備えることが好ましい。２台のカメラ３１０，３２０の配置や向きについては更に後述する。

第２カメラ３２０には、第２カメラ３２０の設置状態を示すカメラマーク３２２（「カメラ位置マーク３２２」とも呼ぶ）が設けられている。このカメラマーク３２２は、第１カメラ３１０の視野の範囲内に設けられている。図２の例では、カメラマーク３２２は、第２カメラ３２０の筐体の後ろ面（Ｚ方向に沿ってスクリーン面ＳＳから最も離れた面）に固定されている。但し、カメラマーク３２２の形状や位置は、この例以外の種々のものを採用可能である。なお、カメラマーク３２２は、指示体７０，８０を検出するための検出光（本実施形態では近赤外光）を反射する材質で形成されていることが好ましい。この場合には、第１カメラ３１０は、検出光（近赤外光）を用いてカメラマーク３２２を含む画像を撮像することができる。但し、第１カメラ３１０は、可視光を用いてカメラマーク３２２を含む画像を撮像するようにしてもよい。カメラマーク３２２を利用した第２カメラ３２０の設置状態の検出処理については後述する。

図２（Ｂ）の例は、インタラクティブプロジェクションシステム９００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、自発光指示体７０や非発光指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。スクリーン面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体を用いてこれらのボタンをクリックすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム９００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図２（Ｂ）の例では、ユーザーがペンツールを選択した後、自発光指示体７０の先端部７１をスクリーン面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、プロジェクター１００の内部の投写画像生成部（後述）によって行われる。

なお、インタラクティブプロジェクションシステム９００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム９００は、パーソナルコンピューター（図示せず）から通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。

図３は、インタラクティブプロジェクター１００と自発光指示体７０の内部構成を示すブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、撮像部３００と、検出光照射部４１０と、信号光送信部４３０とを有している。

制御部７００は、プロジェクター１００内部の各部の制御を行う。また、制御部７００は、位置検出部６００で検出された指示体（自発光指示体７０や非発光指示体８０）によって投写画面ＰＳ上で行われた指示の内容を判定するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する。

投写画像生成部５００は、投写画像を記憶する投写画像メモリー５１０を有しており、投写部２００によってスクリーン面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳ（図２（Ｂ））の台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。

投写部２００は、投写画像生成部５００で生成された投写画像をスクリーン面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、投写画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によってスクリーン面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。

検出光照射部４１０は、指示体（自発光指示体７０及び非発光指示体８０）の先端部を検出するための照射検出光ＩＤＬをスクリーン面ＳＳとその前方の空間にわたって照射する。照射検出光ＩＤＬとしては、例えば近赤外光が使用される。検出光照射部４１０は、カメラ３１０，３２０の撮像タイミングを含む所定の期間にのみ点灯し、他の期間では消灯する。或いは、検出光照射部４１０は、システム９００の動作中は常に点灯状態に維持されるようにしてもよい。

信号光送信部４３０は、自発光指示体７０によって受信される装置信号光ＡＳＬを送信する機能を有する。装置信号光ＡＳＬは、同期用の近赤外光信号であり、プロジェクター１００の信号光送信部４３０から自発光指示体７０に対して定期的に発せられる。自発光指示体７０の先端発光部７７は、装置信号光ＡＳＬに同期して、予め定められた発光パターン（発光シーケンス）を有する近赤外光である指示体信号光ＰＳＬ（後述）を発する。また、撮像部３００のカメラ３１０，３２０は、指示体（自発光指示体７０及び非発光指示体８０）の位置検出を行う際に、装置信号光ＡＳＬに同期した所定のタイミングで撮像を実行する。

撮像部３００は、図２で説明した第１カメラ３１０と第２カメラ３２０とを有している。前述したように、２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する機能を有する。図３の例では、検出光照射部４１０によって照射された照射検出光ＩＤＬが指示体（自発光指示体７０及び非発光指示体８０）で反射され、その反射検出光ＲＤＬが２台のカメラ３１０，３２０によって受光されて撮像される様子が描かれている。２台のカメラ３１０，３２０は、更に、自発光指示体７０の先端発光部７７から発せられる近赤外光である指示体信号光ＰＳＬも受光して撮像する。２台のカメラ３１０，３２０の撮像は、検出光照射部４１０から発せられる照射検出光ＩＤＬがオン状態（発光状態）である第１の期間と、照射検出光ＩＤＬがオフ状態（非発光状態）である第２の期間と、の両方で実行される。位置検出部６００は、これらの２種類の期間における画像を比較することによって、画像内に含まれる個々の指示体が、自発光指示体７０と非発光指示体８０のいずれであるかを判定することが可能である。

なお、２台のカメラ３１０，３２０の少なくとも一方は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有することが好ましい。こうすれば、スクリーン面ＳＳ上に投写された投写画面ＰＳをそのカメラで撮像し、その画像を利用して投写画像生成部５００がキーストーン補正を実行することが可能である。１台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。

位置検出部６００は、２台のカメラ３１０，３２０で撮像された画像を用い、三角測量を利用して指示体（自発光指示体７０や非発光指示体８０）の先端部の三次元位置を決定する機能を有する。この際、位置検出部６００は、自発光指示体７０の発光パターンを利用して、画像内の個々の指示体が自発光指示体７０と非発光指示体８０のいずれであるかについても判定する。本実施形態において、位置検出部６００は、検出部６１０と補正部６２０とを有している。検出部６１０は、第１カメラ３１０で撮像された撮像画像内におけるカメラマーク３２２の画像の位置に応じて、第２カメラ３２０の設置状態を検出する機能を有する。補正部６２０は、設置状態の検出結果に応じて、指示体の位置を補正する機能を有する。これらの機能については更に後述する。

自発光指示体７０には、ボタンスイッチ７３の他に、信号光受信部７４と、制御部７５と、先端スイッチ７６と、先端発光部７７とが設けられている。信号光受信部７４は、プロジェクター１００の信号光送信部４３０から発せられた装置信号光ＡＳＬを受信する機能を有する。先端スイッチ７６は、自発光指示体７０の先端部７１が押されるとオン状態になり、先端部７１が解放されるとオフ状態になるスイッチである。先端スイッチ７６は、通常はオフ状態にあり、自発光指示体７０の先端部７１がスクリーン面ＳＳに接触するとその接触圧によってオン状態になる。先端スイッチ７６がオフ状態のときには、制御部７５は、先端スイッチ７６がオフ状態であることを示す特定の第１の発光パターンで先端発光部７７を発光させることによって、第１の発光パターンを有する指示体信号光ＰＳＬを発する。一方、先端スイッチ７６がオン状態になると、制御部７５は、先端スイッチ７６がオン状態であることを示す特定の第２の発光パターンで先端発光部７７を発光させることによって、第２の発光パターンを有する指示体信号光ＰＳＬを発する。これらの第１の発光パターンと第２の発光パターンは、互いに異なるので、位置検出部６００は、２台のカメラ３１０，３２０で撮像された画像を分析することによって、先端スイッチ７６がオン状態かオフ状態かを識別することが可能である。

上述のように、本実施形態では、自発光指示体７０の先端部７１がスクリーン面ＳＳに接しているか否かの接触判定を、先端スイッチ７６のオン／オフに応じて行っている。ところで、自発光指示体７０の先端部７１の三次元位置は、２台のカメラ３１０，３２０で撮像された画像を用いた三角測量によって求めることができるので、この三次元位置を用いて自発光指示体７０の先端部７１の接触判定を実行することも可能である。但し、三角測量によるＺ座標（スクリーン面ＳＳの法線方向の座標）の検出精度は、必ずしも高くない場合がある。従って、先端スイッチ７６のオン／オフに応じて接触判定を行うようにすれば、接触判定をより精度良く実行できる点で好ましい。

自発光指示体７０のボタンスイッチ７３は、先端スイッチ７６と同じ機能を有する。従って、制御部７５は、ユーザーによってボタンスイッチ７３が押された状態では上記第２の発光パターンで先端発光部７７を発光させ、ボタンスイッチ７３が押されていない状態では上記第１の発光パターンで先端発光部７７を発光させる。換言すれば、制御部７５は、先端スイッチ７６とボタンスイッチ７３の少なくとも一方がオンの状態では上記第２の発光パターンで先端発光部７７を発光させ、先端スイッチ７６とボタンスイッチ７３の両方がオフの状態では上記第１の発光パターンで先端発光部７７を発光させる。

但し、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てるようにしてもよい。例えば、ボタンスイッチ７３に対してマウスの右クリックボタンと同じ機能を割り当てた場合には、ユーザーがボタンスイッチ７３を押すと、右クリックの指示がプロジェクター１００の制御部７００に伝達され、その指示に応じた処理が実行される。このように、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てた場合には、先端発光部７７は、先端スイッチ７６のオン／オフ状態及びボタンスイッチ７３のオン／オフ状態に応じて、互いに異なる４つの発光パターンで発光する。この場合には、自発光指示体７０は、先端スイッチ７６とボタンスイッチ７３のオン／オフ状態の４つの組み合わせを区別しつつ、プロジェクター１００に伝達することが可能である。

図３に描かれている５種類の信号光の具体例をまとめると以下の通りである。
（１）投写画像光ＩＭＬ：スクリーン面ＳＳに投写画面ＰＳを投写するために、投写レンズ２１０によってスクリーン面ＳＳ上に投写される画像光（可視光）である。
（２）照射検出光ＩＤＬ： 指示体（自発光指示体７０及び非発光指示体８０）の先端部を検出するために、検出光照射部４１０によってスクリーン面ＳＳとその前方の空間にわたって照射される近赤外光である。
（３）反射検出光ＲＤＬ：照射検出光ＩＤＬとして照射された近赤外光のうち、指示体（自発光指示体７０及び非発光指示体８０）によって反射され、２台のカメラ３１０，３２０によって受光される近赤外光である。
（４）装置信号光ＡＳＬ：プロジェクター１００と自発光指示体７０との同期をとるために、プロジェクター１００の信号光送信部４３０から定期的に発せられる近赤外光である。
（５）指示体信号光ＰＳＬ：装置信号光ＡＳＬに同期したタイミングで、自発光指示体７０の先端発光部７７から発せられる近赤外光である。指示体信号光ＰＳＬの発光パターンは、自発光指示体７０のスイッチ７３，７６のオン／オフ状態に応じて変更される。また、複数の自発光指示体７０を識別する固有の発光パターンを有する。

図４（Ａ）は、２台のカメラ３１０，３２０の配置と向きを示す説明図である。この図は、各カメラ３１０，３２０のカメラ基準位置Ｏ１，Ｏ２を通るＹＺ平面上の配置を示している。第１カメラ３１０は、第２カメラ３２０よりもスクリーン面ＳＳからの垂直距離（Ｚ方向の距離）がより大きな位置に配置されている。２台のカメラ３１０，３２０のそれぞれは、カメラ基準位置Ｏ１，Ｏ２と、画像面ＭＰ１，ＭＰ２（結像面）と、光軸Ｖ１，Ｖ２と、画角２θ_１，２θ_２とを用いてモデル化されている。

図４（Ａ）では、非発光指示体８０の先端部８１が、投写画面ＰＳから距離δＺだけ離間した状態が描かれている。上述したように、非発光指示体８０の先端部８１の三次元位置は、２台のカメラ３１０，３２０で撮像された画像を利用した三角測量によって決定される。インタラクティブプロジェクションシステム９００では、非発光指示体８０の先端部８１とスクリーン面ＳＳとのＺ方向の距離δＺを精度良く検出することが望まれている。そこで、本実施形態では、２台のカメラ３１０，３２０の配置と向きを工夫することによって、非発光指示体８０の先端部８１とスクリーン面ＳＳとの間のＺ方向の距離δＺの検出精度を向上させている。なお、Ｚ方向の距離δＺの検出精度を、「Ｚ座標の解像度」とも呼ぶ。

図４（Ａ）において、第２カメラ３２０は、第１カメラ３１０よりも投写画面ＰＳからの垂直距離（Ｚ方向の距離）がより小さな位置に配置されている。また、２台のカメラ３１，３２０は、Ｙ方向の位置が同じ（投写画面ＰＳからの高さが同じ）位置に配置されている。更に、２台のカメラ３１０，３２０の光軸Ｖ１，Ｖ２は互いに平行である。

図４（Ｂ）は、２台のカメラ３１０，３２０の光軸ベクトルＶ１，Ｖ２と投写画面法線ベクトルＮＶとの関係を示している。光軸ベクトルＶ１，Ｖ２は、投写画面法線ベクトルＮＶから斜めに傾いており、光軸ベクトルＶ１，Ｖ２のそれぞれと、投写画面法線ベクトルＮＶとのなす角θ_１Ｎ，θ_２Ｎは９０°よりも小さい。投写画面法線ベクトルＮＶはＺ方向を向いているので、これらの角度θ_１Ｎ，θ_２Ｎは、光軸Ｖ１，Ｖ２の方向とＺ方向とのなす角度に相当する。これらの角度θ_１Ｎ，θ_２Ｎは、０°を超え９０°未満の範囲とすることが可能であるが、５０°〜７０°の範囲内の値とすることが好ましい。本実施形態では、第２カメラ３２０を第１カメラ３１０よりも投写画面ＰＳに近い位置に配置することによって、Ｚ座標の解像度を高めている。

なお、第２カメラ３２０については、その光軸Ｖ２の角度θ_２Ｎ（図４（Ｂ））を小さくするほど（Ｚ方向に近づけるほど）、画像面ＭＰ２上におけるＺ方向の距離δＺの像が大きくなるので、Ｚ座標の解像度が高くなる。但し、角度θ_２Ｎを過度に小さくすると、画像面ＭＰ２上における投写画面ＰＳのＹ方向の像の幅が過度に小さくなってしまうので、Ｙ座標の解像度が低下する。これらの点からＺ座標とＹ座標の解像度のバランスを考慮すると、第２カメラ３２０の光軸Ｖ２の角度θ_２Ｎを５０°〜７０°の範囲内の値とすることが好ましく、６０°〜７０°の範囲とすることが特に好ましい。

第１カメラ３１０については、その光軸Ｖ１の角度θ_１Ｎの違いによるＺ座標の解像度の変化は、第２カメラ３２０に比べて小さい。なお、第１カメラ３１０は、第２カメラ３２０よりもＹ座標についてより高い解像度が得られる。一方、第２カメラ３２０は、第１カメラ３１０よりもＺ方向についてより高い解像度が得られる。Ｘ座標の解像度は、２台のカメラ３１０，３２０でほぼ同じ程度である。２台のカメラ３１０，３２０の光軸Ｖ１，Ｖ２の角度θ_１Ｎ，θ_２Ｎは、これらの点を総合的に考慮して、Ｙ座標とＺ座標の解像度のバランスの良い範囲にそれぞれ設定することが好ましい。具体的には、これらの角度θ_１Ｎ，θ_２Ｎを、いずれも５０°〜７０°の範囲内の値とすることが好ましく、６０°〜７０°の範囲とすることが特に好ましい。なお、第１カメラ３１０の光軸Ｖ１を第２カメラ３２０の光軸Ｖ２に平行に設定すれば、三角測量における座標変換の計算を簡略化でき、指示体の３次元位置を更に精度良く決定できる点で更に好ましい。

本実施形態では、第２カメラ３２０を第１カメラ３１０よりも投写画面ＰＳに近い位置に配置することによって、Ｚ座標の解像度を高めるとともにＹ座標についても十分に高い解像度を得ることが可能である。なお、２台のカメラ３１０，３２０のＸ方向に沿った位置（Ｘ座標）は、同じでも良く、異なっていても良い。２台のカメラ３１０，３２０のＹ方向に沿った位置（Ｙ座標）も同様である。

図５（Ａ）は、工場出荷時における２台のカメラ３１０，３２０の配置関係を示し、図５（Ｂ）は、第１カメラ３１０で撮像した撮像画像の一例を示している。この撮像画像は、第２カメラ３２０の設置状態を示すカメラマーク３２２の画像Ｐ３２２を含んでいる。このカメラマーク画像Ｐ３２２の撮像画像内の座標（ｕ，ｖ）は、この例では（１００，２０）である。工場出荷時におけるカメラマーク画像Ｐ３２２の座標（１００，２０）は、位置検出部６００（図３）内の不揮発性メモリ−（図示省略）に格納されている。なお、工場出荷時における２台のカメラの配置関係を「規定の設置状態」又は「初期設置状態」とも呼ぶ。「規定の設置状態」という語句は、予め設定された状態という意味である。図５（Ａ）の例では、２台のカメラ３１０、３２０のＺ方向の距離はＬ（Ｌは非ゼロ）であり、Ｙ方向の距離はゼロ、Ｘ方向の距離もゼロである。但し、Ｙ方向とＸ方向の距離を、ゼロでない値に設定してもよい。

図６（Ａ）は、位置ズレ発生時における２台のカメラ３１０，３２０の配置関係を示している。この例では、第２カメラ３２０のＹ方向の位置が、δＹだけ工場出荷時の設置状態よりも変化している。このような設置状態のズレは、温度変化による保持機構（支持部材９１０や他の構造部材）の膨張又は収縮や、設置状態によって重力の向きが変わること（例えば、スクリーン面ＳＳを水平に設置した場合）などに起因して発生し得る。このとき、図６（Ｂ）に示すように、第１カメラ３１０の撮像画像においても、カメラマーク画像Ｐ３２２ａのｖ座標（ｖ＝３０）が、図５（Ｂ）におけるカメラマーク画像Ｐ３２２のｖ座標（ｖ＝２０）から変化する。従って、検出部６１０（図３）は、撮像画像内におけるカメラマーク画像Ｐ３２２ａのｖ座標の変化量δｖ（＝＋１０）から、第２カメラ３２０のＹ方向の位置ズレ量δＹを決定することが可能である。

図６の例では、カメラマーク画像Ｐ３２２ａの座標の変化はｖ座標だけであったが、ｕ座標も変化する場合が考えられる。一般には、撮像画像内におけるカメラマーク画像Ｐ３２２ａの座標の変化量（δｕ，δｖ）から、第２カメラ３２０の位置ズレ量（δＸ，δＹ）を決定することが可能である。なお、カメラマーク画像Ｐ３２２ａの座標の変化量（δｕ，δｖ）から第２カメラ３２０の位置ズレ量（δＸ，δＹ）を決定するために、検出部６１０内の不揮発性メモリー（図示せず）に、両者の関係を予め格納しておくことが好ましい。

このように、第２カメラ３２０の位置ズレ量（δＸ，δＹ）を決定することによって、２台のカメラ３１０，３２０の位置関係（すなわち配置状態）を検出することが可能である。プロジェクター１００は、こうして検出された配置状態を利用して、所望の処理を実行することが可能である。例えば、補正部６２０（図３）は、第２カメラ３２０の位置ズレ量（δＸ，δＹ）を用いて、２台のカメラ３１０，３２０を用いて検出される指示体７０，８０の位置を補正することが可能である。より具体的には、２台のカメラ３１０，３２０を用いた三角測量では、２台のカメラ３１０，３２０の位置座標が使用される。従って、上述のようにして決定された第２カメラ３２０の位置ズレ量（δＸ，δＹ）を用いて第２カメラ３２０の位置座標を補正した上で、三角測量を実行すれば、指示体７０，８０の正しい位置を得ることが可能である。この説明から理解できるように、「指示体の位置を補正する」という文言は、三角測量で指示体の位置を求めた後にその位置を補正する場合に限らず、三角測量のパラメーターとしてのカメラの位置座標を補正する場合も含む広い意味を有する。なお、検出された配置状態を利用して行う所望の処理としては、指示体の位置補正処理の代わりに、第２カメラ３２０の位置がずれていることをユーザー又はプロジェクターの設置者に画像又は音声で報知する処理を採用してもよい。

以上のように、第１実施形態では、第１カメラ３１０（第１のデバイス）により第２カメラ３２０（第２デバイス）のカメラマーク３２２を撮像した撮像画像に基づいて、第２カメラ３２０の設置状態を検出するので、第２カメラ３２０の設置状態が適切か否かを検出できる。また、その検出結果に応じた適切な処理を行うことが可能である。

Ｂ．第２実施形態
図７は、第２実施形態におけるインタラクティブプロジェクションシステム９００ａの斜視図である。第１実施形態との違いは、スクリーン板９２０の上方（よりプロジェクター１００ａに近い位置）に、層状検出光照射部９３０（ライトカーテンユニット）が追加されている点である。

図８（Ａ）は、第２実施形態のインタラクティブプロジェクションシステム９００ａの側面図であり、図８（Ｂ）はその正面図である。層状検出光照射部９３０は、指示体７０，８０が投写画面ＰＳ（すなわちスクリーン面ＳＳ）に接していることを検出するために、投写画面ＰＳの表面全体に亘って層状（又はカーテン状）の検出光ＬＬを射出する照射部である。この層状検出光ＬＬとしては、例えば赤外光を利用できる。ここで、「層状」又は「カーテン状」とは、ほぼ一様な厚さの薄い空間形状を意味する。スクリーン面ＳＳと層状検出光ＬＬの表面との間の距離は、例えば１〜１０ｍｍ（好ましくは１〜５ｍｍ）の範囲の値に設定される。図８（Ｂ）に示すように、層状検出光照射部９３０の筐体上には、複数のマークＭＫ１，ＭＫ２が設けられている。また、これらのマークＭＫ１，ＭＫ２は、カメラ３１０の視野の範囲内に設けられている。この例では、マークＭＫ１，ＭＫ２は、層状検出光照射部９３０の筐体の後ろ面（Ｚ方向に沿ってスクリーン面ＳＳから最も離れた面）に固定されている。また、マークＭＫ１，ＭＫ２は、その特徴的な位置（例えば中心）が認識しやすい形状に形成されている。但し、マークＭＫ１，ＭＫ２の形状や位置は、この例以外の種々のものを採用可能である。なお、マークＭＫ１，ＭＫ２は、近赤外光を反射する材質で形成されていることが好ましい。こうすれば、例えば環境光（太陽光など）に含まれる近赤外光がマークＭＫ１，ＭＫ２で反射された反射光を用いてマークＭＫ１，ＭＫ２を含む画像を撮像することができる。但し、カメラ３１０は、可視光を用いてマークＭＫ１，ＭＫ２を含む画像を撮像するようにしてもよい。

図９は、第２実施形態のインタラクティブプロジェクター１００ａの内部構成を示すブロック図である。図３との違いは、主として、撮像部３００ａが１台のカメラ３１０のみを有する点と、検出光照射部４１０の代わりに層状検出光照射部９３０を有する点と、位置検出部６００ａが補正部６２０を有していない点と、報知部７１０が追加されている点であり、他の構成は図３とほぼ同じである。

層状検出光照射部９３０は、発光期間と非発光期間とを交互に繰り返す。カメラ３１０の撮像は、層状検出光ＬＬの発光期間と非発光期間の両方で実行される。また、自発光指示体７０の先端発光部７７は、層状検出光ＬＬの発光期間に同期して指示体信号光ＰＳＬを発光する。自発光指示体７０又は非発光指示体８０が投写画面ＰＳに接している場合には、その指示体の先端で反射された反射検出光ＲＤＬの像がカメラ３１０の撮像画像に現れる。位置検出部６００は、層状検出光ＬＬの発光期間と非発光期間におけるカメラ３１０の撮像画像を比較することによって、撮像画像内に含まれる個々の指示体が、自発光指示体７０と非発光指示体８０のいずれであるかを判定することが可能である。

図１０（Ａ）は、工場出荷時（規定の設置状態）においてカメラ３１０で撮像した撮像画像の一例を示している。この撮像画像は、層状検出光照射部９３０に設けられた複数のマークＭＫ１，ＭＫ２を含んでいる。これらのマークＭＫ１，ＭＫ２の撮像画像内の座標は、それぞれ（ｕ１，ｖ１），（ｕ２，ｖ２）であり、検出部６１０（図９）内の不揮発性メモリ−（図示省略）に格納されている。

図１０（Ｂ）は、位置ズレ発生時においてカメラ３１０で撮像した撮像画像の一例を示している。この例では、層状検出光照射部９３０の複数のマークＭＫ１，ＭＫ２の座標がそれぞれ（ｕ１’，ｖ１’），（ｕ２’，ｖ２’）に変化している。これらのマークＭＫ１，ＭＫ２の座標（ｕ１’，ｖ１’），（ｕ２’，ｖ２’）が規定の設置状態における座標（ｕ１，ｖ１），（ｕ２，ｖ２）から大きく変化している場合には、層状検出光照射部９３０から層状検出光ＬＬを投写画面ＰＳの全面に亘ってうまく照射できない可能性がある。そこで、検出部６１０は、マークＭＫ１，ＭＫ２の座標（ｕ１’，ｖ１’），（ｕ２’，ｖ２’）が、規定の設置状態から予め定められた許容範囲（ｕ１±Δｕ，ｖ１±Δｖ），（ｕ２±Δｕ，ｖ２±Δｖ）に入っているか否かを検出する。そして、許容範囲内に無い場合には、報知部７１０が、層状検出光照射部９３０の位置がずれていることをユーザー又はプロジェクターの設置者に画像又は音声で報知することが可能である。こうすれば、ユーザー又はプロジェクターの設置者は、層状検出光照射部９３０を正しい位置に設置し直すことが可能となる。

以上のように、第２実施形態では、カメラ３１０（第１のデバイス）により層状検出光照射部９３０（第２デバイス）のマークＭＫ１，ＭＫ２を撮像した撮像画像に基づいて、層状検出光照射部９３０の設置状態を検出するので、層状検出光照射部９３０の設置状態が適切か否かを検出できる。また、その検出結果に応じた適切な処理を行うことが可能である。

・変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

・変形例１：
上記実施形態では、検出部６１０が、第１のデバイスとしてのカメラ３１０（第１の撮像部）の撮像画像に基づいて、第２のデバイス（第２カメラ３２０又は層状検出光照射部９３０）の設置状態を検出していたが、カメラ３１０（第１の撮像部）の撮像画像から知ることができるのは、第１のデバイスと第２のデバイスの相対的な位置関係である。従って、検出部６１０は、第２のデバイスの位置を基準とし、カメラ３１０（第１の撮像部）の撮像画像に基づいて第１のデバイス（カメラ３１０）の設置状態を検出するようにしてもよい。換言すれば、検出部６１０は、カメラ３１０の撮像画像に基づいて、第１のデバイス（カメラ３１０）と第２のデバイス（第２カメラ３２０又は層状検出光照射部９３０）の少なくとも一方の設置状態を検出するようにしてもよい。

・変形例２：
上記実施形態では、第２のデバイスとして、第２カメラ３２０（第２の撮像部）又は層状検出光照射部９３０を用いていたが、これら以外の他のデバイスを第２のデバイスとして用いても良い。但し、第２のデバイスとしては、第１カメラ３１０（第１の撮像部）と協働して指示体の位置を検出するために用いられるデバイスであって、かつ、第２のデバイスの少なくとも一部が第１カメラ３１０の撮像範囲に含まれる位置に設置されたものであることが好ましい。このような第２のデバイスとしては、例えば、赤外線レーザレーダーやミリ波レーダーを利用可能である。

・変形例３：
上記実施形態では、設置状態の検出結果に応じた処理として、補正部６２０（図３）による指示体の位置の補正（第１実施形態）、又は、報知部７１０（図９）による報知（第２実施形態）を行うものとしたが、これとは異なる処理を行うものとしてもよい。例えば、設置状態の検出結果を含む設置情報を、プロジェクターの設置者やメーカーの予め定められた宛先に発信するようにしてもよい。この設置情報としては、マーク３２２（又はマークＭＫ１，ＭＫ２）の座標と、プロジェクターの固有ＩＤとを含むことが好ましい。

・変形例４：
上記実施形態において、第２のデバイスに設けるマークとしては、１つのカメラマーク３２２（第１実施形態）、又は、２つのマークＭＫ１，ＭＫ２（第２実施形態）を使用していたが、これらのマークの数は任意である。例えば、第２のデバイスに設けるマークをそれぞれ１つとしてもよく、また、複数としてもよい。但し、第２のデバイスに複数のマークを設けるようにすれば、設置状態をより正確に検出することが可能である。なお、第２のデバイスに何らかのマークを新たに設ける必要は無く、第２のデバイスの一部の形状をマークとして利用してもよい。

以上、いくつかの実施例に基づいて本発明の実施の形態について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。

７０…自発光指示体，７１…先端部，７２…軸部，７３…ボタンスイッチ，７４…信号光受信部，７５…制御部，７６…先端スイッチ，７７…先端発光部，８０…非発光指示体，８１…先端部，１００…インタラクティブプロジェクター，２００…投写部，２１０…投写レンズ，２２０…光変調部，２３０…光源，３００…撮像部，３１０…第１カメラ（第１の撮像部），３２０…第２カメラ（第２のデバイス，第２の撮像部），４１０…検出光照射部，４３０…信号光送信部，５００…投写画像生成部，５１０…投写画像メモリー，６００…位置検出部，６１０…検出部，６２０…補正部（処理部），７００…制御部，７１０…報知部（処理部），９００…インタラクティブプロジェクションシステム，９１０…支持部材，９２０…スクリーン板，９３０…ライトカーテンユニット（第２のデバイス）

Claims (6)

1. 指示体の位置を検出するインタラクティブプロジェクターであって、
   画像を投写する投写部と、
   前記投写部の投写範囲を含む範囲を撮像する第１の撮像部である第１のデバイスと、
   前記第１の撮像部と協働して前記指示体の位置を検出するために用いられ、少なくとも一部が前記第１の撮像部の撮像範囲に含まれるように設置される第２のデバイスと、
   前記第１の撮像部により前記第２のデバイスの少なくとも一部を撮像した撮像画像に基づいて、前記第１のデバイス及び前記第２のデバイスの少なくとも一方の設置状態を検出する検出部と、
   前記設置状態の検出結果に応じた処理を行う処理部と、
   を備えたインタラクティブプロジェクター。
2. 請求項１に記載のインタラクティブプロジェクターであって、
   前記第２のデバイスは、前記第１の撮像部とともに前記投写範囲を含む範囲を撮像する第２の撮像部である、インタラクティブプロジェクター。
3. 請求項２に記載のインタラクティブプロジェクターであって、
   前記処理部は、検出した設置状態に基づいて前記指示体の位置を補正する補正部である、インタラクティブプロジェクター。
4. 請求項１に記載のインタラクティブプロジェクターであって、
   前記第２のデバイスは、前記指示体を検出するための検出光を照射する照射部である、インタラクティブプロジェクター。
5. 請求項４に記載のインタラクティブプロジェクターであって、
   前記処理部は、検出した設置状態をユーザーに報知する報知部である、インタラクティブプロジェクター。
6. 指示体の位置を検出するインタラクティブプロジェクターの投写範囲を含む範囲を撮像する第１の撮像部である第１のデバイスと、前記第１の撮像部と協働して前記指示体の位置を検出するために用いられる第２のデバイスであって前記第２のデバイスの少なくとも一部が前記第１の撮像部の撮像範囲に含まれるように設置される第２のデバイスと、を有するインタラクティブプロジェクターの設置状態検出方法であって、
   前記第１の撮像部により前記第２のデバイスの少なくとも一部を撮像することによって撮像画像を取得する工程と、
   前記撮像画像に基づいて、前記第１のデバイス及び前記第２のデバイスの少なくとも一方の設置状態を検出する工程と、
   前記設置状態の検出結果に応じた処理を行う工程と、
   を備えた方法。

Images