JP2020123118A - 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター - Google Patents

Abstract

【課題】指示体と操作面との間の距離に関連する距離関連パラメーターの検出精度を向上する技術を提供する。【解決手段】位置検出方法は、（ａ）第１カメラと第２カメラを用いて、第１撮像画像と第２撮像画像を取得する工程と、（ｂ）第１撮像画像と第２撮像画像から第１処理用画像と第２処理用画像を取得する工程と、（ｃ）第１処理用画像と第２処理用画像から第１関心領域画像と第２関心領域画像を抽出する工程と、（ｄ）第１関心領域画像と第２関心領域画像を入力とする入力層と、操作面と指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、距離関連パラメーターを決定する工程と、を備える。【選択図】図４

Description

本開示は、指示体の位置を検出する技術に関するものである。

特許文献１には、投写画面をスクリーンに投写するとともに、指などの指示体を含む画像をカメラで撮像し、この撮像画像を用いて指示体の位置を検出することが可能なプロジェクターが開示されている。このプロジェクターは、指示体の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、指示体を用いた指示の入力に使用される表面としてのスクリーン面を「操作面」とも呼ぶ。指示体の位置は、複数のカメラで撮像された複数の画像を用いて、三角測量を利用して決定される。

特開２０１６−１８４８５０号公報

しかしながら、従来技術では、指示体と操作面との間の距離や、距離に関連する他の距離関連パラメーターの検出精度が必ずしも十分でないという問題があった。そこで、指示体と操作面との間の距離に関連する距離関連パラメーターの検出精度の向上が望まれていた。

本開示の一形態によれば、操作面に対する指示体の位置に関連するパラメーターを検出する位置検出方法が提供される。この位置検出方法は、（ａ）第１カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を撮影し、前記第１カメラと異なる位置に配置された第２カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する工程と、（ｂ）前記第１撮像画像から第１処理用画像を取得し、前記第２撮像画像から第２処理用画像を取得する工程と、（ｃ）前記第１処理用画像と前記第２処理用画像から前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する工程と、（ｄ）前記第１関心領域画像を入力とする第１入力チャンネルと前記第２関心領域画像を入力とする第２入力チャンネルを含む入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定する工程と、を備える。

本開示は、位置検出装置の形態でも実現することが可能であり、位置検出方法や位置検出装置以外の種々の形態で実現することも可能である。例えば、インタラクティブプロジェクターや、それらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体等の様々な形態で実現することができる。

第１実施形態におけるインタラクティブプロジェクションシステムの斜視図。 インタラクティブプロジェクションシステムの側面図。 インタラクティブプロジェクションシステムの正面図。 インタラクティブプロジェクターの機能ブロック図。 位置検出処理の手順を示すフローチャート。 図５のステップＳ１００〜Ｓ３００の処理内容を示す説明図。 ステップＳ１００における撮像処理の手順を示すフローチャート。 撮像処理の内容を示す説明図。 畳み込みニューラルネットワークの構成例を示す説明図。 畳み込み層による処理例を示す説明図。 第２実施形態における位置検出システムの正面図。 位置検出システムの機能ブロック図。

A. 第１実施形態
図１は、第１実施形態におけるインタラクティブプロジェクションシステム８００の斜視図である。このシステム８００は、インタラクティブプロジェクター１００と、スクリーン板８２０とを有している。スクリーン板８２０の前面は、指示体８０を用いた指示の入力に使用される操作面ＳＳとして利用される。操作面ＳＳは、また、投写画面ＰＳが投写される投写面としても利用される。プロジェクター１００は壁面に固定されており、スクリーン板８２０の前方かつ上方に設置されている。なお、図１では操作面ＳＳを鉛直に配置しているが、操作面ＳＳを水平に配置してこのシステム８００を使用することも可能である。図１では、スクリーン板８２０の前方方向がＺ方向で、上方方向がＹ方向で、右方向がＸ方向である。例えばＺ＝０として、操作面ＳＳの平面内の位置は２次元座標系（Ｘ，Ｙ）で検出できる。

プロジェクター１００は、画像をスクリーン板８２０に投写する投写レンズ２１０と、指示体８０を含む画像を撮影する２台のカメラ３１０，３２０と、指示体８０を検出するための赤外光を照射し、２台のカメラ３１０、３２０に対応した２台の照明部４１０，４２０とを有する。

投写レンズ２１０は、操作面ＳＳ上に投写画面ＰＳを投写する。投写画面ＰＳは、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「操作面ＳＳ」とは、指示体８０を用いた指示の入力に使用される表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって操作面ＳＳ上に投写された画像の領域を意味する。

このシステム８００では、１つ又は複数の非発光の指示体８０を利用可能である。指示体８０としては、指やペンなどの非発光の物体を使用可能である。また、非発光の指示体８０の指示のための先端部は、赤外光に対する反射特性にすぐれ、さらには再帰反射特性を有することが好ましい。

第１カメラ３１０と第２カメラ３２０は、それぞれ操作面ＳＳの全体を撮影可能に設定され、操作面ＳＳを背景とした指示体８０の画像をそれぞれ撮影する機能を有する。すなわち、第１カメラ３１０と第２カメラ３２０は、第１照明部４１０と第２照明部４２０から照射された赤外光のうち、操作面ＳＳと指示体８０で反射された光を受光することによって指示体８０を含む画像を作成する。第１カメラ３１０と第２カメラ３２０で撮影された２つの画像を用いると、三角測量等によって指示体８０の３次元位置を求めることが可能である。なお、カメラの台数は３以上でもよい。

第１照明部４１０は、第１カメラ３１０の光軸の周囲を赤外光で照明する周囲照明部としての機能を有する。図１の例では、第１照明部４１０は、第１カメラ３１０の周囲を囲うように配置された４つの照明素子を含んでいる。第１照明部４１０は、第１カメラ３１０で指示体８０の画像を撮影するときに、第１照明部４１０による指示体８０の影が実質的に生じないように構成されている。ここで、「影が実質的に生じない」とは、その画像を使用して指示体８０の３次元位置を求める処理に対して、指示体８０の影の影響が無い程度に影が薄いことを意味する。第２照明部４２０も、第１照明部４１０と同様の構成及び機能を有しており、第２カメラ３２０の光軸の周囲を赤外光で照明する周囲照明部としての機能を有する。

第１照明部４１０を構成する照明素子の数は、４つに限らず、２つ以上の任意の数としてもよい。但し、第１照明部４１０を構成する複数の照明素子は、第１カメラ３１０を中心とした回転対称の位置に配置されることが好ましい。また、複数の照明素子を用いる代わりに、リング状の照明素子を用いて第１照明部４１０を構成してもよい。更に、第１照明部４１０として、第１カメラ３１０のレンズを通して赤外光を出射する同軸照明部を用いるようにしても良い。これらの変形例は、第２照明部４２０にも適用可能である。なお、Ｎを２以上の整数として、Ｎ台のカメラを設ける場合には、各カメラに対して周囲照明部又は同軸照明部をそれぞれ設けることが好ましい。

図２は、インタラクティブプロジェクションシステム８００の側面図であり、図３はその正面図である。本明細書では、操作面ＳＳの左端から右端に向かう方向をＸ方向と定義し、操作面ＳＳの下端から上端に向かう方向をＹ方向と定義し、操作面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「幅方向」とも呼び、Ｙ方向を「上方向」とも呼び、Ｚ方向を「距離方向」とも呼ぶ。なお、図２では、図示の便宜上、スクリーン板８２０のうちの投写画面ＰＳの範囲にハッチングを付している。投写画面ＰＳが投写される操作面ＳＳの座標位置は、例えばＺ＝０として、２次元座標系（Ｘ、Ｙ）の２次元座標として検出できる。また、第１カメラ３１０の撮影画像の２次元座標系（Ｖ、Ｕ）と第２カメラ３２０の撮影画像の２次元座標系（η、ξ）は、第１カメラ３１０と第２カメラ３２０の配置や特性からそれぞれ異なり、また、投写画面ＰＳおよび操作面ＳＳの座標系（Ｘ、Ｙ）とも異なる。これらの座標系は、キャリブレーション処理により、変換係数等を求め、対応付けられる。

図３の例は、インタラクティブプロジェクションシステム８００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。操作面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体８０を用いてこれらのボタンをクリックすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム８００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図３の例では、ユーザーがペンツールを選択した後、指示体８０の先端部を操作面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、後述する投写画像作成部によって行われる。

なお、インタラクティブプロジェクションシステム８００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム８００は、図示しないパーソナルコンピューターから通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。

図４は、インタラクティブプロジェクター１００の機能ブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、撮像部３００と、赤外照明部４００と、を有している。撮像部３００は、第１カメラ３１０と第２カメラ３２０を含み、赤外照明部４００は、第１照明部４１０と第２照明部４２０を含む。

制御部７００は、プロジェクター１００の各部の制御を行う。また、制御部７００は、撮像部３００と赤外照明部４００とを用いて指示体８０の画像を取得する撮影制御部７１０としての機能を有する。更に、制御部７００は、位置検出部６００で検出された指示体８０によって投写画面ＰＳ上で行われた指示の内容を認識するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する操作実行部７２０としての機能を有する。

投写画像生成部５００は、投写画像を記憶する画像メモリー５１０を有しており、投写部２００によって操作面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳの台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。

投写部２００は、投写画像生成部５００で生成された投写画像を操作面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によって操作面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。

赤外照明部４００は、図１で説明した第１照明部４１０と第２照明部４２０とを有する。第１照明部４１０と第２照明部４２０は、指示体８０の先端部を検出するための照射検出光ＩＤＬを操作面ＳＳとその前方の空間にわたってそれぞれ照射することが可能である。照射検出光ＩＤＬは赤外光である。後述するように、第１照明部４１０と第２照明部４２０は、排他的なタイミングで点灯する。

撮像部３００は、図２で説明した第１カメラ３１０と第２カメラ３２０とを有している。２台のカメラ３１０，３２０は、照射検出光ＩＤＬの波長を含む波長領域の光を受光して撮像する機能を有する。図４の例では、赤外照明部４００によって照射された照射検出光ＩＤＬが指示体８０で反射され、その反射検出光ＲＤＬが２台のカメラ３１０，３２０によって受光されて撮像される様子が描かれている。

位置検出部６００は、第１カメラ３１０が撮影して、取得された第１撮像画像と，第２カメラ３２０で撮像して、取得された第２撮像画像を用いて、指示体８０の先端部の位置を求める機能を有する。位置検出部６００は、処理用画像取得部６１０と、関心領域抽出部６２０と、畳み込みニューラルネットワーク６３０とを含む。これらは、モデルとして、位置検出部の記憶領域に格納されてもよい。これらは、モデルとして、位置検出部の記憶領域に格納されてもよい。処理用画像取得部６１０は、２台のカメラ３１０，３２０で撮影された２つの撮像画像から、関心領域抽出部６２０の処理対象となる２つの処理用画像である第１処理用画像と第２処理用画像を取得する。一実施例では、処理用画像取得部６１０は、２台のカメラ３１０，３２０で撮影された２つの撮像画像に対してステレオキャリブレーションを行うことによって２つの較正画像を作成し、その２つの較正画像を２つの処理用画像として取得する。関心領域抽出部６２０は、２つの処理用画像から、指示体８０をそれぞれ含む２つの関心領域画像である第１関心領域画像と第２関心領域画像を抽出する。畳み込みニューラルネットワーク６３０は、２つの関心領域画像を入力とする入力層と、操作面ＳＳと指示体８０の距離に関連する距離関連パラメーターを出力する出力層とを有するように構成されている。これらの各部６１０〜６３０の機能の詳細は後述する。

制御部７００の各部の機能と位置検出部６００の各部の機能は、例えば、プロジェクター１００内のプロセッサーがコンピュータープログラムを実行することによって実現される。また、これらの各部の機能の一部をFPGA（field-programmable gate array）等のハードウェア回路で実現してもよい。

図５は、実施形態における位置検出処理の手順を示すフローチャートであり、図６は、図５のステップＳ１００〜Ｓ３００の処理内容を示す説明図である。この処理は、インタラクティブプロジェクションシステム８００の稼働中に繰り返し実行される。

ステップＳ１００では、撮像部３００が操作面ＳＳを背景とした指示体８０を撮影することによって、複数の画像を取得する。

図７は、図５のステップＳ１００における撮像処理の手順を示すフローチャートであり、図８は、撮像処理の内容を示す説明図であり、第１画像ＩＭ１_1とＩＭ１_2は、第１カメラ３１０で撮影された２次元座標系（Ｕ、Ｖ）で示され、第２画像ＩＭ２_1とＩＭ２_2は、第２カメラ３２０で撮影された２次元座標系（η、ξ）で示される。図７の手順は、撮影制御部７１０の制御の下で実行される。

ステップＳ１１０では、第１照明部４１０がオンで第２照明部４２０がオフの状態とする。ステップＳ１２０では、第１カメラ３１０と第２カメラ３２０を用いて画像を撮影する。この結果、図８の上段に示す第１画像ＩＭ１_1及び第２画像ＩＭ２_1が取得される。第１画像ＩＭ１_1の周囲を囲う破線は強調のために付したものである。これらの画像ＩＭ１_1，ＩＭ２_1は、いずれも操作面ＳＳを背景とした指示体８０を含む画像である。図１で説明したように、第１照明部４１０は、第１カメラ３１０で指示体８０の画像を撮影するときに、第１照明部４１０による指示体８０の影が実質的に生じないように構成されている。従って、ステップＳ１２０で取得された２つの画像のうち、第１画像ＩＭ１_1は、第１照明部４１０が点灯した時に第１カメラ３１０が撮影した撮像画像であり、指示体８０の影を実質的に含んでいない。一方、第２画像ＩＭ２_1は、第２照明部４２が消灯した時に第２カメラ３２０が撮影した撮像画像であり、指示体８０の影ＳＨ１を含んでいる。この第２画像ＩＭ２_1は、撮影しなくてもよい。

ステップＳ１３０では、第１照明部４１０がオフで第２照明部４２０がオンの状態とする。ステップＳ１４０では、第１カメラ３１０と第２カメラ３２０を用いて画像を撮影する。この結果、図８の中段に示す第１画像ＩＭ１_2及び第２画像ＩＭ２_2が取得される。第２照明部４２０は、第２カメラ３２０で指示体８０の画像を撮影するときに、第２照明部４２０による指示体８０の影が実質的に生じないように構成されている。従って、ステップＳ１４０で取得された２つの画像のうち、第２画像ＩＭ２_2は、第２照明部４２０が点灯した時に第２カメラ３２０が撮影した画像であり、指示体８０の影を実質的に含んでいない。一方、第１画像ＩＭ１_2は、第１照明部４１０が消灯した時に第１カメラ３１０が撮影した画像であり、指示体８０の影ＳＨ２を含んでいる。この第１画像ＩＭ１_2は、撮影しなくてもよい。

ステップＳ１２０及びステップＳ１４０における撮影が終了すると、図８の下段に示すように、第１カメラ３１０で撮影された実質的に影の無い第１画像ＩＭ１_1と、第２カメラ３２０で撮影された実質的に影の無い第２画像ＩＭ２_2とが得られる。第１画像ＩＭ１_1は、第１撮像画像であり、第２画像ＩＭ２_2は、第２撮像画像である。図７のステップＳ１５０では、２つの照明部４１０，４２０がオフ状態とされてステップＳ１００の処理を終了し、次の撮影まで待機する。なお、ステップＳ１５０は省略してもよい。また、図７の処理が終了した後に、直ちに図７の処理を再開するようにしてもよい。

こうしてステップＳ１００の処理が終了すると、図５のステップＳ２００において、処理用画像取得部６１０が、ステップＳ１００で得られた２つの画像ＩＭ１_1，ＩＭ２_2から、関心領域抽出部６２０の処理対象となる２つの処理用画像を取得する。処理用画像の取得方法としては、例えば、以下の方法１〜３のいずれかを選択することができる。

＜方法１＞
２つの画像ＩＭ１_1，ＩＭ２_2についてステレオキャリブレーションを行うことによって２つの較正画像を作成し、これらの２つの較正画像を処理用画像とする。
本実施形態では、「ステレオキャリブレーション」として、操作面ＳＳにおける視差がゼロになるように、２つの画像ＩＭ１_1，ＩＭ２_2の一方の座標を調整する処理を行う。例えば、座標系（Ｕ，Ｖ）である第１画像ＩＭ１_1を基準画像とし、第２画像ＩＭ２_2を比較画像として視差を算出する場合には、第２画像ＩＭ２_2の座標系（η、ξ）を座標系（Ｕ，Ｖ）に調整することによって、操作面ＳＳ上において第１画像ＩＭ１_1と第２画像ＩＭ２_2の視差がゼロになるようにキャリブレーションを行うことができる。このステレオキャリブレーションに必要な変換係数等のキャリブレーションパラメーターは、予め決定されて較正実行部６１０に設定されている。前述した図６の上段に示す２つの画像ＩＭ１，ＩＭ２は、ステレオキャリブレーション後の２つの較正画像を示している。但し、これらの較正画像ＩＭ１，ＩＭ２では、指示体８０を簡略化して描いている。また、（Ｘ、Ｙ）座標系である投写画面ＰＳを基準画像として、第１カメラ３１０で撮影された第１画像ＩＭ１_1と第２カメラ３２０で撮影された第２画像ＩＭ２_2のそれぞれの較正画像ＩＭ１，ＩＭ２を作成し、ステレオキャリブレーションを行ってもよい。この場合、第１画像ＩＭ１の２次元座標系（Ｕ，Ｖ）を投写画像ＰＳの２次元座標系（Ｘ，Ｙ）に変換するキャリブレーションパラメーターと、第２画像ＩＭ２の２次元座標系（η，ξ）を投写画像ＰＳの２次元座標系（Ｘ，Ｙ）に変換するキャリブレーションパラメーターが、予め決定されて較正実行部６１０に設定されている。第１実施形態では、この方法１によって得られた２つの較正画像ＩＭ１，ＩＭ２を関心領域抽出部６２０の処理対象となる２つの処理用画像として使用する。

＜方法２＞
２つの画像ＩＭ１_1，ＩＭ２_2そのものを２つの処理用画像として取得する。

＜方法３＞
２つの画像ＩＭ１_1，ＩＭ２_2に対して歪み補正や平行化などの前処理を実行することによって、２つの処理用画像を作成する。

発明者らの実験によれば、上記方法１〜方法３のうち、方法１を用いる場合に距離関連パラメーターを最も精度良く決定することができた。この理由は、ステレオキャリブレーションを行うことによって、固有のレンズの歪みや、カメラの位置ずれによる画像の歪みが補正されるからであると推定される。但し、方法２や方法３は、方法１に比べて処理を簡略化できるという利点がある。

なお、図７及び図８で説明したように、２つの照明部４１０，４２０に対して互いに異なる排他的なタイミングで照明期間を設定し、それぞれの照明期間で画像を順次撮影する代わりに、２つのカメラ３１０，３２０で同じタイミングで撮影された２つの画像を用いてステレオキャリブレーションを実行してもよい。この場合には、図１で説明したような２つの照明部４１０，４２０を設ける必要はなく、２つのカメラ３１０，３２０に対して共通に使用する１つの照明部を設けておけば十分である。但し、図７及び図８で説明した撮影方法では、実質的に影の無い２つの画像ＩＭ１_1，ＩＭ２_2が得られるので、図５の処理をより精度良く行えるという利点がある。

図５のステップＳ３００では、関心領域抽出部６２０が、２つの処理用画像ＩＭ１，ＩＭ２から関心領域画像ＲＯ１，ＲＯ２をそれぞれ抽出する。図６の上段及び中段に示すように、関心領域画像ＲＯ１，ＲＯ２は、指示体８０の先端部を含む領域の画像であり、その後の処理対象として抽出される画像である。関心領域画像ＲＯ１，ＲＯ２の抽出処理は、例えば、背景差分法や、平均背景差分法、二値化、モルフォロジー変換、エッジ検出、及び、凸包検出等の公知の種々の画像処理を利用して実行することができる。関心領域画像ＲＯ１，ＲＯ２のそれぞれは、例えば、指示体８０の先端部を中心とした一辺が１００〜３００画素の正方形の画像として抽出される。関心領域画像ＲＯ１内の各画素の位置は、関心領域画像ＲＯ１の２次元座標ｕ，ｖで表される。他の関心領域画像ＲＯ２も同様である。

ステップＳ４００では、畳み込みニューラルネットワーク６３０が、２つの関心領域画像ＲＯ１，ＲＯ２から距離関連パラメーターを決定する。第１実施形態では、距離関連パラメーターとして、操作面ＳＳと指示体８０の距離そのものを使用する。

図９は、畳み込みニューラルネットワーク６３０の構成例を示す説明図である。この畳み込みニューラルネットワーク６３０は、入力層６３１と、中間層６３２と、全結合層６３３と、出力層６３４とを有する。入力層６３１は、ステップＳ４００で得られた２つの関心領域画像ＲＯ１，ＲＯ２が入力される２つの入力チャンネルである第１チャンネルと第２チャンネルを有する。中間層６３２は、畳み込み層ＣＵ１，ＣＵ２，ＣＵ３…と、正規化層ＲＵ１，ＲＵ２…と、プーリング層ＰＵ２…とを含む。畳み込み層と正規化層とプーリング層の組み合わせや配置は一例であり、これ以外の種々の組み合わせや配置が可能である。中間層６３２からは、２つの関心領域画像ＲＯ１，ＲＯ２に応じた複数の特徴量が出力されて、全結合層６３３に入力される。全結合層６３３は、複数の全結合層を含んでいても良い。出力層６３４は、３つの出力ノードＮ１〜Ｎ３を有する。第１の出力ノードＮ１は、距離関連パラメーターとして、操作面ＳＳと指示体８０の距離ΔＺを出力する。第２の出力ノードＮ２は、指示体８０の先端のｕ座標値を出力する。第３の出力ノードＮ３は、指示体８０の先端のｕ座標値を出力する。これらのｕ座標値とｖ座標値は、図６に示した関心領域画像ＲＯ１の２次元座標系の座標値である。なお、第２の出力ノードＮ２と第３の出力ノードＮ３は省略してもよい。

図９の各層の右下には、各層の出口におけるＸ方向の画素サイズＮｘと、Ｙ方向の画素サイズＮｙと、チャンネル数Ｎｃの数値例が示されている。例えば、入力層６３１から最初の畳み込み層ＣＵ１に入力されるデータについては、Ｎｘ＝１００，Ｎｙ＝１００，Ｎｃ＝２である。また、最初の畳み込み層ＣＵ１から正規化層ＲＵ１に入力されるデータについては、Ｎｘ＝９８，Ｎｙ＝９８，Ｎｃ＝６４である。すなわち、最初の畳み込み層ＣＵ１では、画像領域のサイズが一辺当たり２画素減少しており、また、チャンネル数は２個から６４個に増加している。

図１０は、畳み込み層ＣＵ１，ＣＵ２による処理例を示す説明図である。ここでは、正規化層はデータサイズに影響が無いので図示を省略している。畳み込み層ＣＵ１は、２チャンネルの関心領域画像ＲＯ１，ＲＯ２に適用される複数のフィルターＦ１１，Ｆ１２…を有している。第１のフィルターＦ１１は、第１チャンネル用のフィルターＦ１１_1と、第２チャンネル用のフィルターＦ１１_2とで構成されている。第１のフィルターＦ１１による処理では、第１チャンネル用のフィルターＦ１１_1と第１の関心領域画像ＲＯ１との畳み込み結果と、第２チャンネル用のフィルターＦ１１_2と第２の関心領域画像ＲＯ２との畳み込み結果とが加算され、その加算結果が新たな画像ＭＭ１１として作成される。この例では、フィルターＦ１１_1，Ｆ１１_2のサイズは３×３画素なので、画像ＭＭ１の一辺の画素サイズは、元の関心領域画像ＲＯ１，ＲＯ２の一辺の画素サイズよりも２画素小さい。第２のフィルターＦ１２も第１のフィルターＦ１１と同じサイズを有しており、第２のフィルターＦ１２による処理によって、新たな画像ＭＭ１２が作成される。畳み込み層ＣＵ１は、このようなフィルターＦ１１，Ｆ１２…を６４個有している。従って、図９の例では、最初の畳み込み層ＣＵ１の出力は６４チャンネルに増加している。２番目の畳み込み層ＣＵ２は、各チャンネルに適用する３×３画素のフィルターＦ２１，Ｆ２２…を有している。

なお、図９及び図１０に示した畳み込みニューラルネットワーク６３０の構成は一例であり、これ以外の種々の構成を採用することが可能である。

畳み込みニューラルネットワーク６３０を用いて距離関連パラメーターを決定できる理由は、距離関連パラメーターが、２つの関心領域画像ＲＯ１，ＲＯ２の特徴量と正又は負の相関があるからである。距離関連パラメーターと相関を有する特徴量としては、２つの関心領域画像ＲＯ１，ＲＯ２の相関を示す代表相関値がある。２つの関心領域画像ＲＯ１，ＲＯ２の代表相関値の作成方法の一例としては、まず、２つの関心領域画像ＲＯ１，ＲＯ２の各画素を中心としたカーネル領域を用いて２つの関心領域画像ＲＯ１，ＲＯ２の画素毎の相関値を求めることによって、その相関値で構成された相関画像を作成し、更に、その相関画像内の相関値の統計的な代表値を求める方法がある。相関値としては、相関係数や、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）などを使用できる。統計的な代表値としては、平均値や、最大値、中央値などが該当する。このような代表相関値又はこれに類似する値は、畳み込みニューラルネットワーク６３０の中間層６３２において２つの関心領域画像ＲＯ１，ＲＯ２の特徴量の一つとして算出されて、全結合層６３３に入力される。上述したように、操作面ＳＳと指示体８０の距離ΔＺは、２つの関心領域画像ＲＯ１，ＲＯ２の特徴量と正又は負の相関があるので、２つの関心領域画像ＲＯ１，ＲＯ２を入力とする畳み込みニューラルネットワーク６３０を用いて距離ΔＺを決定することが可能である。また、畳み込みニューラルネットワーク６３０の学習時に、距離ΔＺ以外の距離関連パラメーターを学習させれば、畳み込みニューラルネットワーク６３０を用いてその距離関連パラメーターを得ることができる。

図５のステップＳ５００では、操作実行部７２０が、操作面ＳＳと指示体８０の距離ΔＺが予め設定された閾値Ｔｈ以下か否かを判定し、閾値Ｔｈ以下であればステップＳ６００において指示体８０の先端位置に応じた操作を実行する。閾値Ｔｈは、指示体８０の先端が操作面ＳＳに極めて近いと判定できる値であり、例えば３〜５ｍｍの範囲に設定される。ステップＳ６００の操作は、図３で説明した描画のような操作面ＳＳ上の処理である。操作面ＳＳにおける指示体８０の先端位置のＸＹ座標は、畳み込みニューラルネットワーク６３０の２つの出力ノードＮ２，Ｎ３から出力された指示体８０先端位置のｕｖ座標をＸＹ座標に変換することによって得ることができる。なお、畳み込みニューラルネットワーク６３０が指示体８０先端位置のｕｖ座標を出力する出力ノードを有していない場合には、他の任意の方法で指示体８０の先端位置のＸＹ座標を決定してもよい。例えば、２つの関心領域画像ＲＯ１，ＲＯ２における指示体８０のパターンマッチングや特徴検出などの公知の方法を用いて指示体８０の先端位置のＸＹ座標を決定可能である。

なお、ステップＳ４００では、距離関連パラメーターとして操作面ＳＳと指示体８０の距離ΔＺを決定していたが、距離関連パラメーターとして距離ΔＺ以外のパラメーターを求めてもよい。例えば、ステップＳ４００において、２つの関心領域画像ＲＯ１，ＲＯ２に応じて得られる特徴量から距離ΔＺが十分に小さなことが推定できる場合には、距離ΔＺを求めることなく、ステップＳ６００の操作を直ちに実行するようにしてもよい。この場合には、距離関連パラメーターは、指示体８０の位置に応じた操作の実行を示すフラグやコマンドなどの操作実行パラメーターであり、その操作実行パラメーターが畳み込みニューラルネットワーク６３０の出力となる。この構成によれば、指示体８０と操作面ＳＳの距離ΔＺが十分に小さいと推定される状況において、指示体８０と操作面ＳＳの距離ΔＺを決定すること無く、指示体８０を用いた操作面ＳＳに対する操作を実行できる。

以上のように、第１実施形態では、２つの関心領域画像ＲＯ１，ＲＯ２を入力とし、操作面ＳＳと指示体８０の距離ΔＺに関連する距離関連パラメーターを出力とする畳み込みニューラルネットワーク６３０を用いて距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定することができる。

また、第1実施形態では、畳み込みニューラルネットワーク６３０に入力する関心領域画像ＲＯ１，ＲＯ２は、ステレオキャリブレーション済の画像なので、固有のレンズの歪みや、カメラの位置ずれによる画像の歪みがステレオキャリブレーションによって補正されている。これにより、畳み込みニューラルネットワーク６３０による特徴の抽出誤差を小さくすることができるので、結果として、学習済の畳み込みニューラルネットワーク６３０を異なるレンズやカメラに対しても適応することができるという利点がある。

なお、カメラの台数は３以上でもよい。すなわち、Ｎを３以上の整数として、Ｎ台のカメラを設けるようにしてもよい。この場合に、処理用画像取得部６１０は、Ｎ個の処理用画像を取得し、関心領域抽出部６２０は、Ｎ個の処理用画像から、指示体８０をそれぞれ含むＮ個の関心領域画像を抽出する。また、畳み込みニューラルネットワーク６３０の入力層６３１は、Ｎ個の関心領域画像を入力とするＮ個の入力チャンネルを含むように構成される。この構成によれば、Ｎ個の関心領域画像から距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定できる。

B. 第２実施形態
図１１は、第２実施形態における位置検出システム９００の正面図である。位置検出システム９００は、画像表示パネル２００ａと、指示体８０を含む画像を撮影する２台のカメラ３１０，３２０と、指示体８０を検出するための赤外光を照射する２組の照明部４１０，４２０とを有する。カメラ３１０，３２０と照明部４１０，４２０の構成は第１実施形態におけるこれらの構成と同じである。画像表示パネル２００ａは、いわゆるフラットパネルディスプレイである。画像表示パネル２００ａの画像表示面は、操作面ＳＳに相当する。

図１２は、位置検出システム９００の機能ブロック図である。この位置検出システム９００は、図４に示したインタラクティブプロジェクター１００の構成のうち、投写部２００を画像表示パネル２００ａに変更し、投写画像生成部５００を画像生成部５００ａに変更したものであり、他の構成はインタラクティブプロジェクター１００と同じである。また、位置検出システム９００による位置検出処理は、図４〜図１０で説明した第１実施形態の処理と同様なので、説明を省略する。また、第２実施形態も、第１実施形態と同様の効果を奏する。

C. 他の実施形態
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、操作面に対する指示体の位置に関連するパラメーターを検出する位置検出方法が提供される。この位置検出方法は、（ａ）第１カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得し、前記第１カメラと異なる位置に配置された第２カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する工程と、（ｂ）前記第１撮像画像から第１処理用画像を取得し、前記第２撮像画像から第２処理用画像を取得する工程と、（ｃ）前記第１処理用画像と前記第２処理用画像から、前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する工程と、（ｄ）前記第１関心領域画像を入力とする第１入力チャンネルと前記第２関心領域画像を入力とする第２入力チャンネルを含む入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定する工程と、を備える。
この位置検出方法によれば、２個の関心領域画像を入力とし、操作面と指示体の距離に関連する距離関連パラメーターを出力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定することができる。

（２）上記位置検出方法において、前記工程（ａ）では、Ｎを３以上の整数として、Ｎ台のカメラを用いて、前記操作面を背景とした前記指示体を撮影して、Ｎ個の撮像画像を取得し、前記工程（ｂ）では、前記Ｎ個の画像からＮ個の処理用画像を取得し、前記工程（ｃ）では、前記Ｎ個の処理用画像から、前記指示体をそれぞれ含むＮ個の関心領域画像を抽出し、前記工程（ｅ）では、前記Ｎ個の関心領域画像を入力とするＮ個の入力チャンネルを含む入力層と、前記距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定するものとしてもよい。
この位置検出方法によれば、Ｎ個の関心領域画像を入力とし、操作面と指示体の距離に関連する距離関連パラメーターを出力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを決定するので、距離関連パラメーターを更に精度良く決定することができる。

（３）上記位置検出方法において、前記工程（ｂ）では、前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、前記Ｎ個の処理用画像を作成するものとしてもよい。
この位置検出方法によれば、ステレオキャリブレーションを行った２個の処理用画像から２個の関心領域画像を抽出するので、それらを入力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを精度良く決定できる。

（４）上記位置検出方法において、前記工程（ｂ）では、前記第１撮像画像及び前記第２撮像画像を前記第１処理用画像及び前記第２処理用画像として取得するものとしてもよい。
この位置検出方法によれば、第１撮像画像及び第２撮像画像を第１処理用画像及び第２処理用画像として取得するので、距離関連パラメーターを求める処理を簡略化できる。

（５）上記位置検出方法において、前記距離関連パラメーターは、前記操作面と前記指示体の距離であるものとしてもよい。
この位置検出方法によれば、畳み込みニューラルネットワークを用いて操作面と指示体の距離を精度良く決定できる。

（６）上記位置検出方法において、前記距離関連パラメーターは、前記指示体の位置に応じた前記操作面に対する操作を実行することを示す操作実行パラメーターであるものとしてもよい。
この位置検出方法によれば、指示体と操作面の距離が十分に小さいと推定される状況において、指示体と操作面の距離を決定すること無く、指示体を用いた操作面に対する操作を実行できる。

（７）上記位置検出方法において、前記工程（ａ）は、前記第１カメラに対応して設けられた第１赤外照明部と、前記第２カメラに対応して設けられた第２赤外照明部と、を順次選択する工程と、前記第２赤外照明部では照明を行わずに前記第１赤外照明部で照明を行いながら前記第１カメラを用いて撮影を実行し、前記第１赤外照明部では照明を行わずに前記第２赤外照明部で照明を行いながら前記第２カメラを用いて撮影を実行し、前記第１撮像画像と前記第２撮像画像を１つずつ異なるタイミングで順次取得する工程と、を含み、前記第１赤外照明部と前記第２赤外照明部は、各カメラに対する同軸照明を行う同軸照明部と、各カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成されるものとしてもよい。
この位置検出方法によれば、操作面上において指示体の影が少ない状態で第１撮像画像と第２撮像画像を撮影できるので、距離関連パラメーターを精度良く決定できる。

（８）本開示の第２の形態によれば、操作面に対する指示体の位置に関連するパラメーターを検出する位置検出装置が提供される。この位置検出装置は、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、前記第１撮像画像から第１処理用画像を取得し、前記第２撮像画像から第２処理用画像を取得する処理用画像取得部と、前記第１処理用画像と前記第２処理用画像から、前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する関心領域抽出部と、前記第１関心領域画像を入力とする第１入力チャンネルと前記第２関心領域画像を入力とする第２入力チャンネルを含む入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークと、を備える。
この位置検出装置によれば、２個の関心領域画像を入力とし、操作面と指示体の距離に関連する距離関連パラメーターを出力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定することができる。

（９）上記位置検出装置において、前記撮像部は、Ｎを３以上の整数として、前記操作面を背景とした前記指示体を撮影して、Ｎ個の撮像画像を取得するＮ台のカメラと、を含み、前記処理用画像取得部は、前記Ｎ個の画像からＮ個の処理用画像を取得し、前記関心領域抽出部は、前記Ｎ個の処理用画像から、前記指示体をそれぞれ含むＮ個の関心領域画像を抽出し、前記畳み込みニューラルネットワークは、前記Ｎ個の関心領域画像を入力とするＮ個の入力チャンネルを含む入力層と、前記距離関連パラメーターを出力する出力層と、を有するものとしてもよい。
この位置検出装置によれば、Ｎ個の関心領域画像を入力とし、操作面と指示体の距離に関連する距離関連パラメーターを出力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを決定するので、距離関連パラメーターを更に精度良く決定することができる。

（１０）上記位置検出装置において、前記処理用画像取得部は、前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、前記Ｎ個の処理用画像を作成するものとしてもよい。
この位置検出装置によれば、ステレオキャリブレーションを行った２個の処理用画像から２個の関心領域画像を抽出するので、それらを入力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを精度良く決定できる。

（１１）上記位置検出装置において、前記処理用画像取得部は、前記第１撮像画像及び前記第２撮像画像を前記第１処理用画像及び前記第２処理用画像として取得するものとしてもよい。
この位置検出装置によれば、第１撮像画像及び第２撮像画像を第１処理用画像及び第２処理用画像として取得するので、距離関連パラメーターを求める処理を簡略化できる。

（１２）上記位置検出装置において、前記距離関連パラメーターは、前記操作面と前記指示体の距離であるものとしてもよい。
この位置検出装置によれば、畳み込みニューラルネットワークを用いて操作面と指示体の距離を精度良く決定できる。

（１３）上記位置検出装置において、前記距離関連パラメーターは、前記指示体の位置に応じた前記操作面に対する操作を実行することを示す操作実行パラメーターであるものとしてもよい。
この位置検出装置によれば、指示体と操作面の距離が十分に小さいと推定される状況において、指示体と操作面の距離を決定すること無く、指示体を用いた操作面に対する操作を実行できる。

（１４）上記位置検出装置は、更に、前記第１カメラに対する同軸照明を行う同軸照明部と、前記第１カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成された第１赤外照明部と、前記第２カメラに対する同軸照明を行う同軸照明部と、前記第２カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成された第２赤外照明部と、前記第１カメラ及び前記第１赤外照明部と、前記第２カメラ及び前記第２赤外照明部と、を用いた撮影を制御する撮影制御部と、を備え、前記撮影制御部は、前記第１カメラ及び前記第１赤外照明部と、前記第２カメラ及び前記第２赤外照明部と、を順次選択し、前記第２赤外照明部では照明を行わずに前記第１赤外照明部で照明を行いながら前記第１カメラを用いて撮影を実行し、前記第１赤外照明部では照明を行わずに前記第２赤外照明部で照明を行いながら前記第２カメラを用いて撮影を実行することによって、前記第１撮像画像と前記第２撮像画像を異なるタイミングで順次撮影するものとしてもよい。
この位置検出装置によれば、操作面上において指示体の影が少ない状態で第１撮像画像と第２撮像画像を撮影できるので、距離関連パラメーターを精度良く決定できる。

（１５）本開示の第３の形態によれば、操作面に対する指示体の位置に関連するパラメーターを検出するインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、投写画像を前記操作面に投写する投写部と、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、前記第１撮像画像から第１処理用画像を取得し、前記第２撮像画像から第２処理用画像を取得する処理用画像取得部と、前記第１処理用画像と前記第２処理用画像から、前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する関心領域抽出部と、前記第１関心領域画像を入力とする第１入力チャンネルと前記第２関心領域画像を入力とする第２入力チャンネルを含む入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークと、を備える。
このインタラクティブプロジェクターによれば、Ｎ個の関心領域画像を入力とし操作面と指示体の距離に関連する距離関連パラメーターを出力とする畳み込みニューラルネットワークを用いて距離関連パラメーターを決定するので、距離関連パラメーターを精度良く決定することができる。

８０…指示体、１００…インタラクティブプロジェクター、２００…投写部、２００ａ…画像表示パネル、２１０…投写レンズ、２２０…光変調部、２３０…光源、３００…撮像部、３１０…第１カメラ、３２０…第２カメラ、４００…赤外照明部、４１０…第１照明部、４２０…第２照明部、５００…投写画像生成部、５００ａ…画像生成部、５１０…画像メモリー、６００…位置検出部、６１０…処理用画像取得部、６２０…関心領域抽出部、６３０…畳み込みニューラルネットワーク、６３１…入力層、６３２…中間層、６３３…全結合層、６３４…出力層、７００…制御部、７１０…撮影制御部、７２０…操作実行部、８００…インタラクティブプロジェクションシステム、８２０…スクリーン板、９００…位置検出システム

Claims (15)

1. 操作面に対する指示体の位置に関連するパラメーターを検出する位置検出方法であって、
   （ａ）第１カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得し、前記第１カメラと異なる位置に配置された第２カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する工程と、
   （ｂ）前記第１撮像画像から第１処理用画像を取得し、前記第２撮像画像から第２処理用画像を取得する工程と、
   （ｃ）前記第１処理用画像と前記第２処理用画像から、前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する工程と、
   （ｄ）前記第１関心領域画像を入力とする第１入力チャンネルと前記第２関心領域画像を入力とする第２入力チャンネルを含む入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定する工程と、
   を備える位置検出方法。
2. 請求項１に記載の位置検出方法であって、
   前記工程（ａ）では、Ｎを３以上の整数として、Ｎ台のカメラを用いて、前記操作面を背景とした前記指示体を撮影して、Ｎ個の撮像画像を取得し、
   前記工程（ｂ）では、前記Ｎ個の画像からＮ個の処理用画像を取得し、
   前記工程（ｃ）では、前記Ｎ個の処理用画像から、前記指示体をそれぞれ含むＮ個の関心領域画像を抽出し、
   前記工程（ｅ）では、前記Ｎ個の関心領域画像を入力とするＮ個の入力チャンネルを含む入力層と、前記距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークを用いて、前記距離関連パラメーターを決定する、
   位置検出方法。
3. 請求項１に記載の位置検出方法であって、
   前記工程（ｂ）では、前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、前記Ｎ個の処理用画像を作成する、位置検出方法。
4. 請求項１に記載の位置検出方法であって、
   前記工程（ｂ）では、前記第１撮像画像及び前記第２撮像画像を前記第１処理用画像及び前記第２処理用画像として取得する、位置検出方法。
5. 請求項１〜４のいずれか一項に記載の位置検出方法であって、
   前記距離関連パラメーターは、前記操作面と前記指示体の距離である、位置検出方法。
6. 請求項１〜４のいずれか一項に記載の位置検出方法であって、
   前記距離関連パラメーターは、前記指示体の位置に応じた前記操作面に対する操作を実行することを示す操作実行パラメーターである、位置検出方法。
7. 請求項１に記載の位置検出方法であって、
   前記工程（ａ）は、
   前記第１カメラに対応して設けられた第１赤外照明部と、前記第２カメラに対応して設けられた第２赤外照明部と、を順次選択する工程と、
   前記第２赤外照明部では照明を行わずに前記第１赤外照明部で照明を行いながら前記第１カメラを用いて撮影を実行し、前記第１赤外照明部では照明を行わずに前記第２赤外照明部で照明を行いながら前記第２カメラを用いて撮影を実行し、前記第１撮像画像と前記第２撮像画像を１つずつ異なるタイミングで順次取得する工程と、
   を含み、
   前記第１赤外照明部と前記第２赤外照明部は、各カメラに対する同軸照明を行う同軸照明部と、各カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成される、
   位置検出方法。
8. 操作面に対する指示体の位置に関連するパラメーターを検出する位置検出装置であって、
   前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、
   前記第１撮像画像から第１処理用画像を取得し、前記第２撮像画像から第２処理用画像を取得する処理用画像取得部と、
   前記第１処理用画像と前記第２処理用画像から、前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する関心領域抽出部と、
   前記第１関心領域画像を入力とする第１入力チャンネルと前記第２関心領域画像を入力とする第２入力チャンネルを含む入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークと、
   を備える位置検出装置。
9. 請求項８に記載の位置検出装置であって、
   前記撮像部は、Ｎを３以上の整数として、前記操作面を背景とした前記指示体を撮影して、Ｎ個の撮像画像を取得するＮ台のカメラと、を含み、
   前記処理用画像取得部は、前記Ｎ個の画像からＮ個の処理用画像を取得し、
   前記関心領域抽出部は、前記Ｎ個の処理用画像から、前記指示体をそれぞれ含むＮ個の関心領域画像を抽出し、
   前記畳み込みニューラルネットワークは、前記Ｎ個の関心領域画像を入力とするＮ個の入力チャンネルを含む入力層と、前記距離関連パラメーターを出力する出力層と、を有する、
   位置検出装置。
10. 請求項８に記載の位置検出装置であって、
    前記処理用画像取得部は、前記第１撮像画像と前記第２撮像画像に対してステレオキャリブレーションを行うことによって、前記Ｎ個の処理用画像を作成する、位置検出装置。
11. 請求項８に記載の位置検出装置であって、
    前記処理用画像取得部は、前記第１撮像画像及び前記第２撮像画像を前記第１処理用画像及び前記第２処理用画像として取得する、位置検出装置。
12. 請求項８〜１１のいずれか一項に記載の位置検出装置であって、
    前記距離関連パラメーターは、前記操作面と前記指示体の距離である、位置検出装置。
13. 請求項８〜１１のいずれか一項に記載の位置検出装置であって、
    前記距離関連パラメーターは、前記指示体の位置に応じた前記操作面に対する操作を実行することを示す操作実行パラメーターである、位置検出装置。
14. 請求項８に記載の位置検出装置であって、更に、
    前記第１カメラに対する同軸照明を行う同軸照明部と、前記第１カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成された第１赤外照明部と、
    前記第２カメラに対する同軸照明を行う同軸照明部と、前記第２カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含むように構成された第２赤外照明部と、
    前記第１カメラ及び前記第１赤外照明部と、前記第２カメラ及び前記第２赤外照明部と、を用いた撮影を制御する撮影制御部と、
    を備え、
    前記撮影制御部は、前記第１カメラ及び前記第１赤外照明部と、前記第２カメラ及び前記第２赤外照明部と、を順次選択し、前記第２赤外照明部では照明を行わずに前記第１赤外照明部で照明を行いながら前記第１カメラを用いて撮影を実行し、前記第１赤外照明部では照明を行わずに前記第２赤外照明部で照明を行いながら前記第２カメラを用いて撮影を実行することによって、前記第１撮像画像と前記第２撮像画像を異なるタイミングで順次撮影する、位置検出装置。
15. 操作面に対する指示体の位置に関連するパラメーターを検出するインタラクティブプロジェクターであって、
    投写画像を前記操作面に投写する投写部と、
    前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、
    前記第１撮像画像から第１処理用画像を取得し、前記第２撮像画像から第２処理用画像を取得する処理用画像取得部と、
    前記第１処理用画像と前記第２処理用画像から、前記指示体をそれぞれ含む第１関心領域画像と第２関心領域画像を抽出する関心領域抽出部と、
    前記第１関心領域画像を入力とする第１入力チャンネルと前記第２関心領域画像を入力とする第２入力チャンネルを含む入力層と、前記操作面と前記指示体の距離に関連する距離関連パラメーターを出力する出力層と、を有する畳み込みニューラルネットワークと、
    を備えるインタラクティブプロジェクター。

Images