JP2021193500A - 位置検出方法、位置検出装置及びプロジェクター - Google Patents

Abstract

【課題】複数の指示体による操作を検出する場合の処理量の増加を抑制する。【解決手段】プロジェクター１００は、撮影視点が異なる左カメラ１５１及び右カメラ１５２により操作面２０を撮影し、操作面２０にキャリブレーションされた左撮影画像と右撮影画像とを取得する取得ステップと、左撮影画像と右撮影画像との輝度値の差分画像２１５を生成する生成ステップと、左撮影画像と、右撮影画像と、差分画像２１５とを学習済みモデルに入力して、指示体４０により指示された操作面２０の指示位置が示された検出画像を出力する出力ステップと、を実行する。【選択図】図４

Description

本発明は、位置検出方法、位置検出装置及びプロジェクターに関する。

従来、操作面に対する指示体の操作を検出して、検出した操作に対応した処理を実行する装置が知られている。例えば、特許文献１に開示の装置は、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔセンサを有する距離検出部を備え、この距離検出部の検出結果に基づいてユーザーが行った操作の操作位置を検出する。

特開２０１６−７１８６４号公報

しかしながら、複数の指示体で操作を行う場合、操作を行った指示体の数だけ繰り返し操作位置を検出するための処理を行わなければならず、処理量が増加する。

上記課題を解決する一態様は、指示体により指示される操作面の指示位置を検出する位置検出方法であって、撮影視点が異なる第１撮影部及び第２撮影部により前記操作面を撮影し、前記操作面にキャリブレーションされた第１撮影画像と第２撮影画像とを取得する取得ステップと、前記第１撮影画像と前記第２撮影画像との輝度値の差分画像を生成する生成ステップと、前記第１撮影画像と、前記第２撮影画像と、前記差分画像とを学習済みモデルに入力して、前記操作面の指示位置が示された検出画像を出力する出力ステップと、を有する位置検出方法である。

上記課題を解決する別の一態様は、指示体により指示される操作面の指示位置を検出する位置検出装置であって、撮影視点が異なる第１撮影部及び第２撮影部により操作面を撮影し、前記操作面にキャリブレーションされた第１撮影画像と第２撮影画像とを取得する取得部と、前記第１撮影画像と前記第２撮影画像との輝度値の差分画像を生成する生成部と、前記第１撮影画像と、前記第２撮影画像と、前記差分画像とを学習済みモデルに入力して、前記操作面の指示位置が示された検出画像を出力する出力部と、を備える位置検出装置である。

上記課題を解決する別の一態様は、請求項４記載の位置検出装置と、画像データが展開される記憶領域を有するメモリーと、前記メモリーに展開された画像データに基づく画像を投射する投射部と、前記検出画像に基づき、前記指示体により指示された前記操作面の指示位置を取得し、取得した前記指示位置に対応づけられた前記記憶領域の位置に描画データを展開する処理部と、を備え、前記投射部は、前記記憶領域に展開された前記画像データ及び前記描画データに基づく画像を投射するプロジェクターである。

プロジェクターの設置態様の一例を示す図。 プロジェクターの設置態様を示す側面図。 検出画像の一例を示す図。 プロジェクターの構成を示すブロック図。 左矩形画像の一例を示す図。 右矩形画像の一例を示す図。 差分画像の一例を示す図。 キャリブレーション画像の一例を示す図。 左切出画像及び右切出画像を矩形に変形する変形方法を説明する説明図。 プロジェクターの動作を示すフローチャート。

以下、添付図面を参照して本発明の実施形態について説明する。

図１は、プロジェクター１００の設置態様を示す斜視図であり、図２は、プロジェクター１００の設置態様を示す側面図である。本実施形態のプロジェクター１００は、図１及び図２に示すように、室内の壁に固定する壁掛け設置により設置される。プロジェクター１００の設置方法は、壁掛け設置に限定されず、天井から吊り下げる吊り下げ設置であってもよいし、床面や台座の上に平置きする平置き設置であってもよい。

プロジェクター１００の斜め下方には、投射面１０が設けられる。プロジェクター１００は、パーソナルコンピューター等の外部装置に有線又は無線で接続され、外部装置から供給される画像信号に基づいて画像光３０を生成する。また、プロジェクター１００は、投射装置１２０と位置検出装置１５０とを備える。図１に示すように投射装置１２０は、生成した画像光３０を、光学ユニット１２５により投射面１０に投射する。投射面１０には、画像信号に対応した画像が結像する。画像光３０が投射される投射面１０の領域を、投射領域１５という。画像光３０とは、投射面１０に画像を表示するための光束である。以下では、投射面１０の法線方向であって投射面１０の前方をＺ軸方向、投射面１０に沿う鉛直上方向をＹ軸方向、Ｚ軸方向とＹ軸方向に垂直な方向をＸ軸方向と仮定して説明する。投射面１０は、Ｚ＝０のＸＹ面に対応する。

図１には、投射面１０が、平面で構成されるスクリーンである場合を示すが、室内の壁面や、ホワイトボード、黒板等を投射面１０として利用することも可能である。また、投射面１０としてスクリーンを利用する場合、スクリーンは、吊り下げ式や、立ち上げ式等の幕状のスクリーンであってもよい。また、投射面１０は、指示体４０の操作が行われる操作面２０としても利用される。

プロジェクター１００は、インタラクティブ機能を備える。インタラクティブ機能とは、操作面２０に対して指示体４０により行われた操作の操作位置を検出し、検出した操作位置に基づいて、文字や、記号、画像を表示させたり、表示済みの文字や、記号、画像に変更を加えたりする機能である。

プロジェクター１００は、インタラクティブ機能を実現する機能部として、左カメラ１５１及び右カメラ１５２を備える。左カメラ１５１及び右カメラ１５２は、図１に示すようにプロジェクター１００の異なる位置に配置される。左カメラ１５１及び右カメラ１５２は、ステレオカメラとして機能する。

左カメラ１５１及び右カメラ１５２は、それぞれ投射面１０の全体を撮影可能に設定され、異なる撮影視点から投射面１０を撮影する。左カメラ１５１及び右カメラ１５２の撮影画像には、投射面１０を背景とした指示体４０の画像がそれぞれ撮影される。２つの撮影画像は、ステレオ画像を構成し、三角測量の原理により、指示体４０の３次元位置を求めることができる。なお、カメラの台数は３以上でもよい。

指示体４０には、例えば、使用者の指先や、ペンや指示棒等の物体が用いられる。
プロジェクター１００は、複数の指示体４０により同時に行われる操作を検出可能である。また、同時に使用される指示体４０の種類は、異なっていてもよい。例えば、使用者Ａが自身の指を指示体４０として操作面２０に操作を行い、使用者Ｂがペン等の指示部材を指示体４０として操作面２０に操作を行うような態様であってもよい。

図３は、位置検出装置１５０が検出する検出画像２００の一例である。検出画像２００は、操作面２０における指示体４０の指示位置を示す画像であり、指示体４０の指示位置を示す指示位置画像２０１が含まれる。検出画像２００は、図１に対応し、使用者の指である指示体４０と、指示部材である指示体４０との先端が、操作面２０に接触させた状態を示す。検出画像２００は、指示位置画像２０１が２つ検出され、それぞれの指示体４０の指示位置が同時に検出されたことを示す。

図４は、プロジェクター１００の構成を示すブロック図である。
プロジェクター１００は、入力インターフェイス１０１、処理部１１０、フレームメモリー１１５、投射装置１２０、駆動回路１３０、操作部１４０、位置検出装置１５０及び制御部１７０を備える。以下では、入力インターフェイス１０１を、入力Ｉ／Ｆ１０１と略記する。

入力Ｉ／Ｆ１０１は、外部装置との接続インターフェイスである。入力Ｉ／Ｆ１０１は、ケーブルを接続するコネクター、及び信号処理を行うインターフェイス回路を備える。入力Ｉ／Ｆ１０１には、ケーブルを介して接続された外部装置から画像信号が入力される。画像信号には、同期信号や画像データ含まれる。入力Ｉ／Ｆ１０１は、入力された画像信号を信号処理して同期信号や、画像データを取り出す。入力Ｉ／Ｆ１０１は、取り出した画像データや同期信号を処理部１１０に出力する。また、プロジェクター１００に、無線通信部を設けて、外部装置から無線により供給される画像信号を無線通信部により受信する構成であってもよい。

処理部１１０は、画像処理部１１１及び描画処理部１１３を備える。処理部１１０には、入力Ｉ／Ｆ１０１から画像データや同期信号が入力され、後述する指示体検出部１５７から検出画像２００が入力される。

画像処理部１１１は、入力された画像データをフレームメモリー１１５に展開する。フレームメモリーは、メモリーに相当する。フレームメモリー１１５は、１フレーム分の画像データを書き込みが可能な記憶領域を有するバンクを複数備える。フレームメモリー１１５は、例えば、ＳＤＲＡＭや、ＤＤＲにより構成される。ＳＤＲＡＭは、Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙを省略した表記である。ＤＤＲは、Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙを省略した表記である。

画像処理部１１１は、フレームメモリー１１５に展開した画像データに対して画像処理を行う。画像処理部１１１が行う画像処理には、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等が含まれる。また、画像処理部１１１は、上記のうち複数の画像処理を組み合わせて実行することも可能である。

描画処理部１１３には、画像処理部１１１で処理された画像データに対して描画処理を行う。例えば、指示体検出部１５７から検出画像２００が入力される指示体４０の指示された操作面２０の位置を対応した描画を行われる。
検出画像２００は、後述する左カメラ１５１及び右カメラ１５２の撮影画像から操作面２０の撮影範囲を切り出した画像に基づいて生成される。このため、検出画像２００の全体は、操作面２０の全体に対応する。すなわち、操作面２０上の任意の位置に対応づけられた検出画像２００上の位置が存在する。このため、描画処理部１１３は、検出画像２００における指示位置画像２０１の位置を検出することで、操作面２０における指示体４０の指示位置を検出することができる。

描画処理部１１３は、入力された検出画像２００から、指示体４０の指示位置を示す座標情報を取得する。例えば、検出画像２００には縦軸及び横軸の直交座標系が設定されている。描画処理部１１３は、検出画像２００から指示位置画像２０１を検出し、検出した指示位置画像２０１の検出画像２００における座標を示す座標情報を取得する。

描画処理部１１３は、検出画像２００から座標情報を取得すると、取得した座標情報を、フレームメモリー１１５の座標に変換する。フレームメモリー１１５にも縦軸及び横軸の直交座標系が設定されている。フレームメモリー１１５の座標系と、検出画像２００の座標系とは対応づけがされている。すなわち、検出画像２００の座標から、フレームメモリー１１５の座標に変換することがきる。描画処理部１１３は、取得した検出画像２００における座標情報を、フレームメモリー１１５の位置を示す座標情報に変換する。

描画処理部１１３は、変換した座標情報が示すフレームメモリー１１５の位置に、文字や図形、記号等の描画データを重畳させる。フレームメモリー１１５には、すでに外部装置から入力された画像データが展開されている。描画処理部１１３は、座標情報が示すフレームメモリー１１５の位置の画像データを消去し、この消去した位置に描画データを展開する。

処理部１１０は、フレームメモリー１１５に展開された画像データ、又は、画像データ及び描画データを読み出し、読み出したデータを駆動回路１３０に出力する。処理部１１０は、フレームメモリー１１５に画像データだけが展開されている場合には、画像データを駆動回路１３０に出力する。また、処理部１１０は、フレームメモリー１１５に画像データ及び描画データが展開されている場合には、画像データ及び描画データを駆動回路１３０に出力する。

処理部１１０及びフレームメモリー１１５は、例えば、集積回路により構成される。また、集積回路の構成の一部にアナログ回路が含まれていてもよい。

投射装置１２０は、光源１２１、光変調装置１２３及び光学ユニット１２５を備える。
光源１２１には、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ光源が使用される。また、光源１２１として、ＬＥＤやレーザー光源等の固体光源を用いてもよい。投射装置１２０は、投射部に相当する。

光変調装置１２３は、光源１２１が発する光を変調して画像光３０を生成する光変調素子を備える。光変調素子には、例えば、透過型の液晶ライトバルブや、反射型の液晶ライトバルブ、デジタルミラーデバイス等を用いることができる。

光学ユニット１２５は、レンズやミラー等の光学素子を備え、光変調装置１２３により生成された画像光３０を拡大して投射面１０に投射する。

駆動回路１３０は、投射装置１２０を駆動する回路である。駆動回路１３０は、光源１２１、光変調装置１２３及び光学ユニット１２５を駆動する回路をそれぞれ別々に備えるが、簡略化のため、光源１２１、光変調装置１２３及び光学ユニット１２５を駆動する駆動回路１３０として示す。駆動回路１３０は、制御部１７０の制御に従って、光源１２１を点灯又は消灯させる。また、駆動回路１３０には、処理部１１０からデータが入力される。駆動回路１３０は、入力されたデータに対応した信号電圧を生成し、生成した信号電圧を、光変調装置１２３が備える光変調素子に印加する。これにより光変調素子を透過する光の透過量が制御され、光源１２１の光が画像光３０に変調される。また、駆動回路１３０は、制御部１７０の制御に従って不図示のモーターを駆動し、光学ユニット１２５が備える投射レンズのレンズ位置や、ズームを調整する。

操作部１４０は、不図示のリモコンにより送信される赤外線信号を受光する。操作部１４０は、リモコンから受光した赤外線信号に対応した操作信号を制御部１７０に出力する。操作信号は、操作されたリモコンのスイッチに対応した信号である。

位置検出装置１５０は、左カメラ１５１、右カメラ１５２、左フレームメモリー１５３、右フレームメモリー１５４、キャリブレーションデータ記憶部１５５、画像前処理部１５６及び指示体検出部１５７を備える。

左カメラ１５１及び右カメラ１５２は、レンズ等の光学系にて集光された光を電気信号に変換する撮影素子であるＣＣＤやＣＭＯＳを備える。ＣＣＤは、Charge Coupled Deviceを省略した表記である。ＣＭＯＳは、Complementary Metal Oxide Semiconductorを省略した表記である。左カメラ１５１及び右カメラ１５２は、所定のフレームレートで操作面２０を含む範囲を撮影して撮影画像を生成する。左カメラ１５１が撮影した撮影画像を左撮影画像といい、右カメラ１５２が撮影した撮影画像を右撮影画像という。左カメラ１５１は、第１撮影部に相当し、右カメラ１５２は、第２撮影部に相当する。

左カメラ１５１が生成した左撮影画像は、左フレームメモリー１５３に記憶され、右カメラ１５２が生成した右撮影画像は、右フレームメモリー１５４に記憶される。左フレームメモリー１５３及び右フレームメモリー１５４は、１フレーム分の撮影画像を書き込み可能な記憶領域を有するバンクを複数備える。左フレームメモリー１５３及び右フレームメモリー１５４は、例えば、ＳＤＲＡＭや、ＤＤＲにより構成される。

キャリブレーションデータ記憶部１５５は、キャリブレーションデータを記憶する。
キャリブレーションデータは、例えば、プロジェクター１００の設置時や、アプリケーションプログラムの起動時に、画像前処理部１５６により生成されるデータである。キャリブレーションデータには、第１範囲情報、第２範囲情報、第１画像変形係数及び第２画像変形係数が含まれる。アプリケーションプログラムは、上述したインタラクティブ機能を実現する制御を行う制御プログラムである。

第１範囲情報は、左撮影画像において、投射領域１５が撮影された範囲を示す情報である。第２範囲情報は、右撮影画像において、投射領域１５が撮影された範囲を示す情報である。第１範囲情報及び第２範囲情報は、例えば、プロジェクター１００により、予め設定されたパターンを有するパターン画像を投射面１０に投射させ、左カメラ１５１及び右カメラ１５２により投射面１０を撮影する。左カメラ１５１の左撮影画像からパターン画像が撮影された範囲を検出することで、第１範囲情報が生成され、左カメラ１５１の右撮影画像からパターン画像が撮影された範囲を検出することで、第２範囲情報が生成される。

第１画像変形係数は、第１範囲情報に基づいて左撮影画像から切り出した画像の形状を矩形に変形する係数である。第２画像変形係数は、第２範囲情報に基づいて右撮影画像から切り出した画像の形状を矩形に変形する係数である。第１画像変形係数及び第２画像変形係数の生成手順については後述する。

画像前処理部１５６は、取得部及び生成部に相当する。画像前処理部１５６は、左フレームメモリー１５３から左撮影画像を読み出し、右フレームメモリー１５４から右撮影画像を読み出す。画像前処理部１５６が左フレームメモリー１５３から読み出す左撮影画像、及び右フレームメモリー１５４から読み出す右撮影画像は、同一のタイミング又は略同一のタイミングで左カメラ１５１及び右カメラ１５２により撮影された画像である。

画像前処理部１５６は、第１範囲情報に従い、左撮影画像の投射領域１５が撮影された範囲を切り出す。切り出された画像を左切出画像２３０という。同様に、画像前処理部１５６は、第２範囲情報に従い、右撮影画像の投射領域１５が撮影された範囲を切り出す。切り出された画像を右切出画像２４０という。

次に、画像前処理部１５６は、切り出した左切出画像２３０を、第１画像変形係数を用いて矩形の画像に変形する。矩形に変形された画像を左矩形画像２１１という。同様に、画像前処理部１５６は、切り出した範囲の右撮影画像を、第２画像変形係数を用いて矩形の画像に変形する。矩形に変形された画像を右矩形画像２１３という。左矩形画像２１１は、操作面２０にキャリブレーションされた第１撮影画像に相当する。また、右矩形画像２１３は、操作面２０にキャリブレーションされた第２撮影画像に相当する。

左矩形画像２１１及び右矩形画像２１３は、操作面２０にキャリブレーションされた画像である。操作面２０にキャリブレーションされた画像とは、操作面２０における視差が０となるように調整された画像を意味する。左矩形画像２１１及び右矩形画像２１３は、矩形の画像であって、操作面２０の位置であるＺ＝０の位置での視差が０になるように調整された画像である。また、左矩形画像２１１と右矩形画像２１３との視差は、操作面２０の前方、すなわちＺ軸の正方向に離れた物体ほど、視差が大きくなる。左矩形画像２１１と右矩形画像２１３との操作面２０での視差を０に調整する方法については後述する。

次に、画像前処理部１５６は、左矩形画像２１１と右矩形画像２１３との輝度の差分を示す差分画像２１５を生成する。図５に、指示体４０が１つの場合の左矩形画像２１１の一例を示し、図６に、指示体４０が１つの場合の右矩形画像２１３の一例を示し、図７に、生成された差分画像２１５の一例を示す。
画像前処理部１５６は、左矩形画像２１１を構成する画素の輝度値から、右矩形画像２１３を構成する画素の輝度値を減算して差分画像２１５を生成する。例えば、画像前処理部１５６は、左矩形画像２１１と右矩形画像２１３とに座標系を設定する。画像前処理部１５６は、左矩形画像２１１の左上を原点とし、横方向をｘ軸、縦方向をｙ軸とする座標系を設定する。同様に、画像前処理部１５６は、右矩形画像２１３の左上を原点とし、横方向をｘ軸、縦方向をｙ軸とする座標系を設定する。次に、画像前処理部１５６は、左矩形画像２１１の画素を選択し、選択した画素と同一の座標に位置する右矩形画像２１３の画素を選択する。画像前処理部１５６は、選択した左矩形画像２１１の画素の輝度値から、選択した右矩形画像２１３の画素の輝度値を減算する。画像前処理部１５６は、この処理を、左矩形画像２１１を構成するすべての画素で繰り返し行い、差分画像２１５を生成する。

差分画像２１５は、指示体４０の先端が操作面２０に接した位置に対応する位置の輝度値が０の画像となる。前述したように左矩形画像２１１及び右矩形画像２１３は、操作面２０での視差が０に調整された画像である。このため、指示体４０の先端が操作面２０に接した場合、接した指示体４０の先端の輝度値が同一になり、差分画像２１５における輝度値が０になる。また、指示体４０の先端以外の部分は、操作面２０から離れているため、視差が０にはならず、差分画像２１５における輝度値は０にならない。画像前処理部１５６は、生成した左矩形画像２１１、右矩形画像２１３及び差分画像２１５を指示体検出部１５７に出力する。

また、画像前処理部１５６は、キャリブレーションデータを生成する。
図８及び図９を参照しながら画像前処理部１５６が実行するキャリブレーションについて説明する。図８は、キャリブレーション画像２２０の一例を示す図である。
画像前処理部１５６は、プロジェクター１００の設置時、又はアプリケーションプログラムの起動時に、キャリブレーションを実行してキャリブレーションデータを生成する。キャリブレーションは、左カメラ１５１の座標系と右カメラ１５２の座標系とを、投射面１０の座標系に対応させる処理であり、ステレオキャリブレーションとも言える。

まず、制御部１７０の制御により、図８に示すキャリブレーション画像２２０を投射装置１２０に投射させ、キャリブレーション画像２２０が投射された投射面１０を左カメラ１５１及び右カメラ１５２に撮影させる。

図８に示すようにキャリブレーション画像２２０は、予め設定された形状のマーク２２５が、キャリブレーション画像２２０の縦方向及び横方向に等間隔で配置された画像である。本実施形態では、キャリブレーション画像２２０として、黒色の背景に、マーク２２５としての白色のドットをキャリブレーション画像２２０の縦方向及び横方向に等間隔で配置した画像を用いる。

画像前処理部１５６には、キャリブレーション画像２２０が投射された投射面１０を左カメラ１５１で撮影した左撮影画像と、投射面１０を右カメラ１５２で撮影した右撮影画像とが入力される。
画像前処理部１５６は、第１範囲情報を参照して、投射領域１５が撮影された左撮影画像の領域を切り出して左切出画像２３０を生成する。同様に、画像前処理部１５６は、第２範囲情報を参照して、投射領域１５が撮影された右撮影画像の領域を切り出して右切出画像２４０を生成する。

左切出画像２３０に撮影されたマーク２２５と、右切出画像２４０に撮影されたマーク２２５との位置にはずれが生じている。画像前処理部１５６は、キャリブレーション画像２２０のマーク２２５の位置と、左切出画像２３０のマーク２２５の位置とを比較して、両画像のマーク２２５の位置が一致するように第１画像変形係数を決定する。また、画像前処理部１５６は、キャリブレーション画像２２０のマーク２２５の位置と、右切出画像２４０のマーク２２５の位置とを比較して、両画像のマーク２２５の位置が一致するように第２画像変形係数を決定する。

左切出画像２３０及び右切出画像２４０の変形方法は同一であるため、以下では、左切出画像２３０の変形方法について説明する。図９は、左切出画像２３０及び右切出画像２４０の形状を矩形に変形する変形方法を説明する説明図である。
画像前処理部１５６は、キャリブレーション画像２２０のマーク２２５の位置と、左切出画像２３０のマークの位置とを比較し、キャリブレーション画像２２０の頂点と、左切出画像２３０の頂点とを比較する。画像前処理部１５６は、これらの比較結果に基づき、左切出画像２３０をキャリブレーション画像２２０と同一の矩形に変形するための変形量である、引き延ばし方向及び引き延ばし量を第１画像変形係数として決定する。同様に、画像前処理部１５６は、キャリブレーション画像２２０のマーク２２５の位置と、右切出画像２４０のマーク２２５の位置とを比較し、キャリブレーション画像２２０の頂点と、右切出画像２４０の頂点とを比較する。画像前処理部１５６は、これらの比較結果に基づき、右切出画像２４０をキャリブレーション画像２２０と同一の矩形に変形するための変形量である、引き延ばし方向及び引き延ばし量を第２画像変形係数として決定する。

第１画像変形係数は、左切出画像２３０の各マーク２２５の位置が、キャリブレーション画像２２０に形成されたマーク２２５の位置に一致するように左切出画像２３０の形状を変形する係数である。また、第２画像変形係数は、右切出画像２４０の各マーク２２５の位置が、キャリブレーション画像２２０に形成されたマーク２２５の位置に一致するように右切出画像２４０の形状を変形する係数である。このため、第１画像変形係数により変形された左切出画像２３０と、第２画像変形係数により変形された右切出画像２４０とは、キャリブレーション画像２２０に一致するように変形される。このため、投射面１０での視差が生じないように左切出画像２３０及び右切出画像２４０が変形される。

指示体検出部１５７は、出力部に相当する。指示体検出部１５７は、ＡＩであり、学習済みモデルを構成するソフトウェア、又はソフトウェア及びハードウェアにより構成される。ＡＩは、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅを省略した表記である。指示体検出部１５７は、学習済みモデルとして畳み込みニューラルネットワークを備える。学習済みモデルは、入力画像である左矩形画像２１１、右矩形画像２１３及び差分画像２１５から指示体４０による指示位置を示す検出画像２００を生成する学習を済ませたモデルである。学習済みモデルは、例えば、学習済みのニューラルネットワークを規定するモデルであり、例えば、ニューラルネットワークを構成するノードであるニューロン同士の間の結合の重みの情報の集合として表現される。指示体検出部１５７は、左矩形画像２１１、右矩形画像２１３及び差分画像２１５を学習済みモデルに入力して、指示体４０による指示位置を示す検出画像２００を生成する。生成した検出画像２００は、処理部１１０に出力される。

次に、制御部１７０について説明する。
制御部１７０は、記憶部１７１及びプロセッサー１７３を備えるコンピューター装置である。記憶部１７１は、ＲＡＭ等の揮発性の記憶装置と、ＲＯＭやフラッシュメモリー等の不揮発性の記憶装置とを備える。記憶部１７１は、プロセッサー１７３が実行する制御プログラムを記憶する。制御プログラムには、例えば、ファームウェアや、インタラクティブ機能を実現するアプリケーションプログラムが含まれる。ＲＡＭは、Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙを省略した表記であり、ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙを省略した表記である。

プロセッサー１７３は、ＣＰＵやＭＰＵにより構成される演算処理装置である。プロセッサー１７３は、制御プログラムを実行してプロジェクター１００の各部を制御する。プロセッサー１７３は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、プロセッサー１７３は、記憶部１７１の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、プロセッサー１７３は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、プロセッサー１７３の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔを省略した表記であり、ＭＰＵは、Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔを省略した表記である。

制御部１７０は、入力Ｉ／Ｆ１０１に画像信号が入力されると、処理部１１０や、駆動回路１３０を制御して、入力された画像信号に対応した画像光３０を生成させ、生成させた画像光３０を投射装置１２０により投射面１０に投射させる。
また、制御部１７０は、操作部１４０から操作信号が入力されると、入力された操作信号に対応した処理を実行させる。例えば、制御部１７０は、アプリケーションプログラムを起動させる操作信号が入力された場合、アプリケーションプログラムを起動させる。制御部１７０は、アプリケーションプログラムを実行して位置検出装置１５０を動作させ、インタラクティブ機能を実行する。

図１０に示すフローチャートを参照しながら、プロジェクター１００の動作について説明する。
まず、制御部１７０は、アプリケーションプログラムが起動されたか否かを判定する（ステップＳ１）。制御部１７０は、操作部１４０から所定の操作信号を受信した場合に、アプリケーションプログラムが起動されたと判定する。リモコンには、アプリケーションプログラムを起動させるボタンが設けられている。操作部１４０は、リモコンからこのボタンが操作された場合に出力される赤外線信号を受信すると、所定の操作信号を制御部１７０に出力する。

制御部１７０は、アプリケーションプログラムが起動された場合（ステップＳ１／ＹＥＳ）、アプリケーションプログラムを実行する。まず、制御部１７０は、記憶部１７１からキャリブレーション画像２２０を読み出し、読み出したキャリブレーション画像２２０を処理部１１０に処理させる。処理部１１０により処理されたキャリブレーション画像２２０は、駆動回路１３０に入力され、駆動回路１３０が、入力されたデータに対応した信号電圧を生成して光変調装置１２３を駆動することで、光源１２１から射出された光が画像光３０に変調される。変調された画像光３０は、投射装置１２０により投射面１０に投射され、投射面１０には、画像光３０に対応した画像が表示される（ステップＳ２）。

制御部１７０は、左カメラ１５１及び右カメラ１５２に撮影を実行させる（ステップＳ３）。以降、制御部１７０は、位置検出装置１５０の各部を制御し、位置検出装置１５０に、変形係数を生成させ、インタラクティブ機能を実行させる。

画像前処理部１５６は、左カメラ１５１の左撮影画像が左フレームメモリー１５３に記憶されると、この左フレームメモリー１５３から左撮影画像を読み出す。また、位置検出装置１５０の画像前処理部１５６は、右カメラ１５２の右撮影画像が右フレームメモリー１５４に記憶されると、この右フレームメモリー１５４から右撮影画像を読み出す。

画像前処理部１５６は、第１範囲情報に従い、読み出した左撮影画像から投射領域１５の撮影範囲を切り出す（ステップＳ４）。同様に、画像前処理部１５６は、第２範囲情報に従い、読み出した右撮影画像から投射領域１５の撮影範囲を切り出す（ステップＳ４）。

次に、画像前処理部１５６は、左撮影画像から切り出した画像と、キャリブレーション画像２２０とを比較して、切り出した画像の形状を、キャリブレーション画像２２０と同一の矩形に変形するための変形量である第１画像変形係数を決定する（ステップＳ５）。同様に、画像前処理部１５６は、右撮影画像から切り出した画像と、キャリブレーション画像２２０とを比較して、切り出した画像の形状を、キャリブレーション画像２２０と同一の矩形に変形するための変形量である第２画像変形係数を決定する（ステップＳ５）。画像前処理部１５６は、生成した第１画像変形係数及び第２画像変形係数を、キャリブレーションデータとして、キャリブレーションデータ記憶部１５５に記憶させる。

制御部１７０は、第１画像変形係数及び第２画像変形係数が決定され、決定した第１画像変形係数及び第２画像変形係数がキャリブレーションデータ記憶部１５５に記憶されると、左カメラ１５１及び右カメラ１５２に撮影を実行させる（ステップＳ６）。

画像前処理部１５６は、左カメラ１５１により撮影された左撮影画像を左フレームメモリー１５３から読み出し、右カメラ１５２により撮影された右撮影画像を右フレームメモリー１５４から読み出す（ステップＳ７）。画像前処理部１５６は、読み出した左撮影画像及び右撮影画像に対して前処理を実行する（ステップＳ８）。ステップＳ８は、取得ステップに相当する。

画像前処理部１５６は、第１範囲情報に従い、読み出した左撮影画像から、投射領域１５の撮影範囲を切り出し左切出画像２３０を生成する。また、画像前処理部１５６は、第２範囲情報に従い、読み出した右撮影画像から、投射領域１５の撮影範囲を切り出し右切出画像２４０を生成する。
次に、画像前処理部１５６は、第１画像変形係数を用いて、生成した左切出画像２３０を左矩形画像２１１に変形する。また、画像前処理部１５６は、第２画像変形係数を用いて、生成した右切出画像２４０を右矩形画像２１３に変形する。

次に、画像前処理部１５６は、左矩形画像２１１を構成する各画素の輝度値から右矩形画像２１３を構成する各画素の輝度値を減算して、輝度値の差分を示す差分画像２１５を生成する（ステップＳ９）。ステップＳ９は、生成ステップに相当する。画像前処理部１５６は、左矩形画像２１１の画素を選択し、選択した画素と同一の座標に位置する右矩形画像２１３の画素を選択する。画像前処理部１５６は、選択した左矩形画像２１１の画素の輝度値から、選択した右矩形画像２１３の画素の輝度値を減算して、差分画像２１５を生成する。画像前処理部１５６は、生成した左矩形画像２１１、右矩形画像２１３及び差分画像２１５を指示体検出部１５７に出力する。

指示体検出部１５７は、左矩形画像２１１、右矩形画像２１３及び差分画像２１５を学習済みモデルに入力して、指示体４０による指示位置を示す検出画像２００を生成する（ステップＳ１０）。ステップＳ１０は、出力ステップに相当する。指示体検出部１５７は、生成した検出画像２００を処理部１１０に出力する（ステップＳ１１）。

処理部１１０は、入力された検出画像２００から指示位置画像２０１を検出し、検出した指示位置画像２０１の検出画像２００における位置を示す座標情報を取得する。処理部１１０は、取得した座標情報を、フレームメモリー１１５の座標に変換する（ステップＳ１２）。次に、処理部１１０は、変換したフレームメモリー１１５の座標が示す位置の画像データを削除し、削除した位置に描画データを重畳させる（ステップＳ１３）。処理部１１０は、描画データをフレームメモリー１１５に重畳させると、フレームメモリー１１５に展開したデータを読み出して駆動回路１３０に出力する。駆動回路１３０は、入力されたデータに対応した信号電圧を生成し、生成した信号電圧により光変調装置１２３を駆動する。これにより、光源１２１から射出された光が画像光３０に変調され、画像光３０が生成される（ステップＳ１４）。生成された画像光３０は、投射装置１２０により投射面１０に投射され（ステップＳ１５）、投射面１０には、画像光３０に対応した画像が表示される。

次に、制御部１７０は、アプリケーションプログラムを終了させる操作が入力されたか否かを判定する（ステップＳ１６）。制御部１７０は、アプリケーションプログラムを終了させる操作が入力されていない場合（ステップＳ１６／ＮＯ）、位置検出装置１５０に、ステップＳ６からの処理を継続させる。また、制御部１７０は、アプリケーションプログラムを終了させる操作が入力されると（ステップＳ１６／ＹＥＳ）、この処理フローを終了させる。

以上説明したように本実施形態のプロジェクター１００は、指示体４０により指示される操作面２０の指示位置を検出する位置検出方法として、取得ステップ、生成ステップ及び出力ステップの各ステップを実行する。取得ステップは、撮影視点が異なる左カメラ１５１及び右カメラ１５２により操作面２０を撮影し、操作面２０にキャリブレーションされた左矩形画像２１１と右矩形画像２１３とを取得する。生成ステップは、左矩形画像２１１と右矩形画像２１３との輝度値の差分画像２１５を生成する。

プロジェクター１００が、画像光３０を投射する投射面１０のような広範囲を、高精度に位置検出しようとした場合、ＴｏＦ方式では、高解像度化のために画素サイズを小さくすると、フレームレートが低下するという問題があった。
また、スリット光等の構造化光を投射面１０に投射し、カメラでその像を撮影して３次元位置を検出する構造化光方式では、高精度化のためにパターン・セットの解像度を上げると、コストの増加になり、高精度化した場合、フレームレートが低下した。
これに対して本実施形態では、左矩形画像２１１、右矩形画像２１３及び差分画像２１５を学習済みモデルに入力することで、指示体４０により指示された操作面２０の指示位置が示された検出画像２００が出力される。このため、指示体４０により指示された指示位置ごとに処理する必要がなく、処理量の増加を抑制することができる。

取得ステップは、左カメラ１５１の撮影画像から操作面２０に対応する領域を切り出して左切出画像２３０を生成し、右カメラ１５２の撮影画像から操作面２０に対応する領域を切り出して右切出画像２４０を生成する。また、取得ステップは、左切出画像２３０及び右切出画像２４０の形状を、予め設定された変形係数により変形して、操作面２０において視差の生じない左矩形画像２１１と右矩形画像２１３とを取得する。
従って、指示体が操作面２０に接触した状態では、左矩形画像２１１と右矩形画像２１３とに視差が生じない。このため、左矩形画像２１１と右矩形画像２１３との輝度値の差を求めて差分画像２１５を生成することで、差分画像２１５において輝度値が０の位置を、指示体４０の接触位置として示すことができる。

上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形が可能である。
例えば、上述した実施形態では、プロジェクター１００が左カメラ１５１及び右カメラ１５２を備える構成を説明したが、プロジェクター１００とは別体で、左カメラ１５１及び右カメラ１５２を備えた撮影部を設けてもよい。

また、３つ以上の指示体４０が用いられてもよい。

また、プロジェクター１００に、指示体４０の検出に用いる検出光を照射する検出光照射部を設けてもよい。検出光は、指示体４０の検出に用いられる光であり、例えば、赤外光が用いられる。赤外光を用いることにより、可視光を主とする画像光３０の影響を受けずに指示体４０を検出でき、また、画像光３０による表示にも影響を与えない。検出光照射部は、検出光を、投射面１０の少なくとも一部を含む範囲に照射する。また、検出光照射部を設けた構成の場合、左カメラ１５１及び右カメラ１５２に、検出光の反射光を受光するための赤外線フィルターを設ける。また、検出光照射部は、プロジェクター１００とは別体で設けてもよい。

位置検出装置１５０が、検出画像２００に基づいて、指示体４０の指示位置の座標情報を検出してもよい。これにより、プロジェクター１００は、描画以外の指示体４０の指示位置に対応づけられた処理を行うことができる。

また、図４に示すプロジェクター１００の各機能部は、機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクターの他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

また、図１０に示すフローチャートの処理単位は、プロジェクター１００の処理を理解容易にするために、主な処理内容に応じて分割したものである。図１０のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１７０や位置検出装置１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

また、図１０に示すフローチャートでは、制御部１７０は、アプリケーションプログラムの起動時に、第１画像変形係数及び第２画像変形係数を生成したが、プロジェクター１００の設置時に生成してもよい。例えば、操作部１４０がリモコンに設けられた所定ボタンに対応した信号を受信した場合に、制御部１７０は、プロジェクター１００の設置時であると判定してもよい。また、プロジェクター１００の工場出荷後、プロジェクター１００の電源が最初にオンされた場合に、制御部１７０は、プロジェクター１００の設置時であると判定してもよい。

また、位置検出方法を、プロジェクター１００が備えるコンピューターを用いて実現する場合、このコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。Ｂｌｕ−ｒａｙは、登録商標である。

１０…投射面、１５…投射領域、２０…操作面、３０…画像光、４０…指示体、１００…プロジェクター、１０１…入力Ｉ／Ｆ、１１０…処理部、１１１…画像処理部、１１３…描画処理部、１１５…フレームメモリー、１２０…投射装置、１２１…光源、１２３…光変調装置、１２５…光学ユニット、１３０…駆動回路、１４０…操作部、１５０…位置検出装置、１５１…左カメラ、１５２…右カメラ、１５３…左フレームメモリー、１５４…右フレームメモリー、１５５…キャリブレーションデータ記憶部、１５６…画像前処理部、１５７…指示体検出部、１７０…制御部、１７１…記憶部、１７３…プロセッサー、２００…検出画像、２０１…指示位置画像、２１１…左矩形画像、２１３…右矩形画像、２１５…差分画像、２２０…キャリブレーション画像、２２５…マーク、２３０…左切出画像、２４０…右切出画像。

Claims (6)

1. 指示体により指示される操作面の指示位置を検出する位置検出方法であって、
   撮影視点が異なる第１撮影部及び第２撮影部により前記操作面を撮影し、前記操作面にキャリブレーションされた第１撮影画像と第２撮影画像とを取得する取得ステップと、
   前記第１撮影画像と前記第２撮影画像との輝度値の差分画像を生成する生成ステップと、
   前記第１撮影画像と、前記第２撮影画像と、前記差分画像とを学習済みモデルに入力して、前記操作面の指示位置が示された検出画像を出力する出力ステップと、を有する位置検出方法。
2. 取得ステップは、
   前記第１撮影部の撮影画像から前記操作面に対応する領域を切り出して左切出画像を生成し、
   前記第２撮影部の撮影画像から前記操作面に対応する領域を切り出して右切出画像を生成し、
   前記左切出画像及び前記右切出画像の形状を、予め設定された変形係数により変形して、前記操作面において視差の生じない前記第１撮影画像と前記第２撮影画像とを取得する、請求項１記載の位置検出方法。
3. 前記指示体は、複数の指示体を含み、
   前記検出画像は、前記複数の指示体に対応する前記指示位置が示され、
   前記検出画像に基づき、複数の前記指示位置を取得する、請求項１記載の位置検出方法。
4. 指示体により指示される操作面の指示位置を検出する位置検出装置であって、
   撮影視点が異なる第１撮影部及び第２撮影部により操作面を撮影し、前記操作面にキャリブレーションされた第１撮影画像と第２撮影画像とを取得する取得部と、
   前記第１撮影画像と前記第２撮影画像との輝度値の差分画像を生成する生成部と、
   前記第１撮影画像と、前記第２撮影画像と、前記差分画像とを学習済みモデルに入力して、前記操作面の指示位置が示された検出画像を出力する出力部と、を備える位置検出装置。
5. 前記指示体は、複数の指示体を含み、
   前記検出画像は、前記複数の指示体に対応する前記指示位置が示され、
   前記検出画像に基づき、複数の前記指示位置を取得する、請求項４記載の位置検出装置。
6. 請求項４記載の位置検出装置と、
   画像データが展開される記憶領域を有するメモリーと、
   前記メモリーに展開された画像データに基づく画像を投射する投射部と、
   前記検出画像に基づき、前記指示体により指示された前記操作面の指示位置を取得し、取得した前記指示位置に対応づけられた前記記憶領域の位置に描画データを展開する処理部と、を備え、
   前記投射部は、前記記憶領域に展開された前記画像データ及び前記描画データに基づく画像を投射する、プロジェクター。

Images