JP2016218893A - 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法 - Google Patents

Abstract

【課題】 入力操作の検出精度を向上できる入力操作検出装置を提供すること。【解決手段】 入力操作検出装置は、投影面に投影された投影画像に対する指示入力手段による入力操作を検出する入力操作検出装置であって、投影画像に向けてパターン光を投射する光投射部と、投影画像が撮像範囲に入る撮像部と、投影面に照射されたパターン光の反射光の撮像部での撮像結果である照射画像１と、投影面上の指示入力手段及び該投影面における指示入力手段とは重ならない部分に照射されたパターン光の反射光の撮像部での撮像結果である照射画像２とに基づいて入力操作を検出する処理部１５と、を備えている。【選択図】図２

Description

本発明は、入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法に係り、更に詳しくは、表示された画像に対する入力操作を検出する入力操作検出装置、該入力操作検出装置を備える画像表示装置、投影画像に対してなされた入力操作により操作されるプロジェクタ装置、前記プロジェクタ装置を備えるプロジェクタシステム、及び表示された画像に対する入力操作を検出する入力操作検出方法に関する。

近年、スクリーンに投影された投影画像に文字や図などを書き込む機能や、投影画像の拡大、縮小、及びページ送りなどの操作を実行する機能を有するいわゆるインタラクティブなプロジェクタ装置の開発が盛んに行われている。これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒などを指示入力手段とし、該指示入力手段の位置及び動きから入力操作を検出し、その検出結果をコンピュータなどへ送ることで実現されている。

例えば、特許文献１には、色画像を用いて物体（指示入力手段）の端部を特定し、該端部の３次元位置情報を用いて該物体と所定の面（表示面）の接触を検出する（入力操作を検出する）情報処理装置が開示されている。

しかしながら、特許文献１に開示されている情報処理装置では、入力操作の検出精度に向上の余地があった。

本発明は、表示面に表示された画像に対する指示入力手段による入力操作を検出する入力操作検出装置であって、前記画像に向けてパターン光を投射する光投射部と、前記画像が撮像範囲に入る撮像部と、前記表示面に照射された前記パターン光の反射光の前記撮像部での撮像結果である第１の撮像画像と、前記表示面上の前記指示入力手段及び該表示面における前記指示入力手段とは重ならない部分に照射された前記パターン光の反射光の前記撮像部での撮像結果である第２の撮像画像とに基づいて前記入力操作を検出する処理部と、を備える入力位置検出装置である。

本発明によれば、入力操作の検出精度を向上できる。

本発明の一実施形態に係るプロジェクタシステムの概略構成を説明するための図である。 プロジェクタ装置を説明するための図である。 測距部を説明するための図（その１）である。 測距部を説明するための図（その２）である。 光投射部を説明するための図である。 パターン光の生成に用いられるマスクパターンの一部を示す図である。 撮像部を説明するための図である。 照射画像２（投影面上に手があるとき）の一部を示す図である。 照射画像１、２を二値化し、両者の排他的論理和をとった画像である。 図９の画像のエッジ検出後の画像である。 図１０の画像から縦線と横線を削除した図である。 処理部によって行われる入力操作情報検出処理を説明するためのフローチャートである。 スクリーン３Ｄ情報取得処理を説明するためのフローチャートである。 指先３Ｄ情報取得処理を説明するためのフローチャートである。 電子黒板装置の一例を説明するための図である。 デジタルサイネージ装置の一例を説明するための図である。

以下、本発明の一実施形態を図１〜図１４に基づいて説明する。図１には、一実施形態に係るプロジェクタシステム１００の概略構成が示されている。

このプロジェクタシステム１００は、入力操作検出装置を備えた画像表示装置としてのプロジェクタ装置１０と、画像管理装置３０とを有している。操作者（ユーザ）は、指、ペン、指し棒などの指示入力手段でスクリーン３００の投影面近傍ないしは投影面に接触することで、投影面に投影された画像（以下、「投影画像」ともいう）に対して入力操作を行う。

プロジェクタ装置１０及び画像管理装置３０は、デスクやテーブル、あるいは専用の台座等（以下では、「載置台４００」という。）に載置されている。ここでは、三次元直交座標系において、載置台４００の載置面に直交する方向をＺ軸方向とする。また、プロジェクタ装置１０の＋Ｙ側にスクリーン３００が設置されているものとする。このスクリーン３００の−Ｙ側の面が投影面である。なお、投影面として、ホワイトボードのボード面や壁面など様々なものを利用することができる。

画像管理装置３０は、複数の画像データを保持しており、操作者の指示に基づいて投影対象の画像情報（以下では、「投影画像情報」ともいう）などをプロジェクタ装置１０に送出する。画像管理装置３０とプロジェクタ装置１０との間の通信は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。そして、画像管理装置３０としては、所定のプログラムがインストールされているパーソナルコンピュータ（パソコン）を用いることができる。

また、画像管理装置３０がＵＳＢメモリやＳＤカードなどの着脱可能な記録媒体のインターフェースを有している場合は、該記録媒体に格納されている画像を投影画像とすることができる。

プロジェクタ装置１０は、いわゆるインタラクティブなプロジェクタ装置であり、一例として図２に示されるように、投影部１１、測距部１３、処理部１５などを有している。これらは、不図示の筐体内に収納されている。

本実施形態に係るプロジェクタ装置１０では、測距部１３と処理部１５とによって、入力操作検出装置が構成されている。

投影部１１は、一例として、従来のプロジェクタ装置と同様に、光源、カラーフィルタ、各種光学素子などを有し、処理部１５によって制御される。

処理部１５は、画像管理装置３０との間で双方向の通信を行い、投影画像情報を受信すると、所定の画像処理を行い、投影部１１を介して、スクリーン３００に画像を投影する。

測距部１３は、一例として図３に示されるように、光投射部１３１、撮像部１３２、及び演算部１３３などを有している。

光投射部１３１は、スクリーン３００に投影された画像（投影画像）に向けて光（検出用光）を投射する。ここでは、検出用光として構造化された光（パターン光）を用いている（図４参照）。以下では、スクリーン３００の投影面における画像が投影される領域を含む領域に照射された検出用光により形成される画像を「照射画像」と呼ぶ。

光投射部１３１は、図５に示されるように、光源、赤外光（ここでは近赤外光）のみを透過させるフィルタ、拡散板、マスク、投射レンズを含む。

光源としては、例えばハロゲンランプ、ＬＥＤ、ＬＥＤアレイ、半導体レーザ等を用いることができる。光源は、処理部１５によって点灯及び消灯がなされる。

光源からの光はフィルタに入射し、近赤外光のみがフィルタを透過する。このように近赤外光のみを透過させるのは、可視光を投影画像に照射すると投影画像と照射画像が重なって投影画像の視認性が低下するからである。

なお、光投射部は、上述した構成に限定されることなく、要は、パターン光を投射可能な構成を有していれば良い。例えば、赤外光のみを透過させるフィルタを設けずに、赤外光を射出する光源を用いても良い。また、マスクを設けずに、光源をアレイ状に配置された複数の発光部で構成し、該複数の発光部の少なくとも一部を発光させて、パターン光を投射するようにしても良い。

フィルタを透過した赤外光は、拡散板によって拡散され、マスクの全面にほぼ均一に入射する。

マスクは、光を透過させる部分と遮蔽する部分が２次元にモザイク状に並んでいて、入射光（赤外光）を構造化する。

投射レンズは、マスクからの構造化された光（近赤外光）を投影面に向けて射出する。

「構造化された光」とは、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法として知られている方法に適した光であって、上記モザイク状のものの他、例えばストライプ状の光やマトリックス状の光などがある。照射領域は当然ではあるが、投影画像より広範囲である。上述の如く投射される光は近赤外光であるため、投影画像が見えにくくなる等の不都合はない。このとき、撮像部１３２は、撮像対象物で反射されて変形した構造化された光を撮像する。そして、演算部１３３は、光投射部１３１から投射された光と、撮像部１３２で撮像された光とを比較（パターンマッチング）し、三角測量法に基づいてデプスマップを求める。これは、いわゆるパターン投影法と呼ばれている。

図６には、マスクパターン（以下では「照射パターン」とも呼ぶ）の一部が示されている。このマスクパターンが投影面に拡大照射されることになる。図６の黒色部分が遮蔽、白色部分が透過になっている。

ここで、マスクパターンにおける白黒の最小単位を「パターン素」と呼ぶ（例えば、図６中の破線で囲まれた部分）。

そして、パターン素４×４（＝１６）個分の領域は、マスクパターンの何処をとってもユニークなるように数学的に配置されており、これを「ユニーク単位」と呼ぶ。（例えば、図６中の一点鎖線で囲まれた部分）。

撮像部１３２は、一例として図７に示されるように、撮像素子１３２ａ及び撮像光学系１３２ｂを有している。撮像素子１３２ａは、例えば２次元ＣＭＯＳセンサ等のエリア型の撮像素子である。撮像光学系１３２ｂは、光投射部１３１から投射され、撮像対象物で反射された光を撮像素子１３２ａに導く。ここでは、撮像素子１３２ａがエリア型であるので、ポリゴンミラーなどの光偏向手段を用いなくても２次元情報を一括して取得することができる。

ここでは、撮像部１３２の撮像対象物は、パターン光が照射された投影面や、パターン光が照射された、投影面上の指示入力手段及び投影面における指示入力手段とは重ならない部分である。

例えば、パターン光を照射した投影面を撮像すると、撮像画像（照射画像１）は、図６に示されるマスクパターンに近似する。

撮像光学系１３２ｂは、一例として光軸を共通とするレンズ群を含むいわゆる共軸の光学系であり、光軸が定義されている。レンズ群と撮像素子１３２ａとの間には赤外光透過フィルタが配置されている。これにより、撮像素子１３２ａは、照射画像のみを捉えることができる。なお、赤外光透過フィルタは、レンズ群の上段に配置されても良いし、レンズ群中に配置されても良い。

なお、撮像光学系１３２ｂの光軸を、以下では、便宜上、「測距部１３の光軸」ともいう。ここでは、測距部１３の光軸に平行な方向をａ軸方向、該ａ軸方向及びＸ軸方向のいずれにも直交する方向をｂ軸方向とする。また、撮像光学系１３２ｂの画角は、投影画像の全領域が撮像できるように設定されている。すなわち、投影画像全体が撮像部１３２の撮像範囲に入っている。

演算部１３３は、ユニーク単位毎に照射パターンと撮像画像（照射画像）とのパターンマッチングを行い、照射パターンと撮像画像の位置ずれ（視差）を距離データに換算し、撮像対象物までの距離情報を算出する。そして、撮像画像の３次元情報（３Ｄ情報）、すなわちデプスマップを取得する。なお、取得されたデプスマップの中心は、測距部１３の光軸上にある。

なお、演算部１３３は、光投射部１３１での光射出のタイミングと、撮像素子１３２ａでの反射光の撮像タイミングとに基づいて、撮像対象物までの距離情報を算出しても良い。

演算部１３３は、所定の時間間隔（フレームレート）で撮像対象物のデプスマップを取得し、処理部１５に通知する。

そして、処理部１５は、演算部１３３で得られたデプスマップに基づいて、指示入力手段の位置や動きを求め、それに対応する入力操作情報を求める。さらに、処理部１５は、該入力操作情報を画像管理装置３０に通知する。

画像管理装置３０は、処理部１５からの入力操作情報を受け取ると、該入力操作情報に応じた画像制御を行う。これにより、投影画像に入力操作情報が反映されることとなる。

以下に、指先の投影面に対する接触を判定する方法について説明する。

図８には、投影面上の手（指示入力手段）及び投影面における手と重ならない部分に照射されたパターン光の反射光の撮像部１３２での撮像画像（照射画像２）が示されている。

ここで、撮像素子１３２ａの一画素は、図８に示される撮像された反射光のパターン素よりもかなり小さく設定されている。

図８中、右側にスクリーン３００よりもプロジェクタ装置１０側にある指が入り込んでいる。灰色の実線で囲んだ部分が手の領域である。手がスクリーン３００の手前にあるので手の部分は背景のスクリーン３００の部分（手と重なっていない部分）に対してパターンがずれている。

ところで、上述したように投射側と撮像側でユニークに対応関係が決まりパターンマッチングにより正確な距離情報が得られるのは、少なくともユニーク単位の大きさがある領域である。それが図８の破線で囲まれた領域であるが、欲しい指先（点Ａ）は、正確な距離情報が得られない。

したがって、このままでは、指先の投影面に対する接触判定ができない。また、図８の画像だけから指先（点Ａ）の位置を決めるのも難しい。

また、指の輪郭を跨ぐ領域でパターンマッチングを行おうとすると、スクリーンと手という測距部１３からの距離の異なるパターンが混じってしまうので正確な測距ができない。従って、手指の輪郭を跨ぐ領域はパターンマッチングを行わないことが望ましい。

図９には、パターン光が照射されたスクリーン３００のみを撮像した画像（照射画像１）と図８に示される照射画像２をそれぞれ二値化し、両者の排他的論理和をとった画像が示されている。

この画像では、手の範囲が分かりやすくなり、手の輪郭の曲率変化等から指先の特定も容易である。また、様々な手の輪郭と指先の関係を機械学習させ、指先を特定しても構わない。

排他的論理和は論理演算の最も基本となる演算であり、コンピュータや論理演算回路で高速な演算が可能である。

図１０には、図９の画像のエッジ検出後の画像（エッジ線のみの画像）が示されている。エッジ検出にはキャニー法等がある。

図１１には、図１０の画像のエッジ線から照射パターンのパターン素を構成するエッジ線と平行な直線を削除した画像が示されている。

ここでは、照射パターンのパターン素は縦と横の直線からなるので、図１０の画像から縦と横の直線を除いたものが図１１の画像である。そして、残ったエッジ線を滑らかに結べば指先を求めるのは更に容易である。

以下に、処理部１５によって行われる入力操作情報を求める処理（「入力操作情報検出処理」ともいう。）について、図１２のフローチャートを用いて説明する。処理部１５は、照射パターンのデータが予め保存されている記憶媒体（例えばメモリ、ハードディスク等）を有している。

最初のステップＳ１では、スクリーン３Ｄ情報取得処理が行われる。すなわち、ステップＳ１では、スクリーン３００の３Ｄ情報（３次元情報）を取得する。スクリーン３Ｄ情報取得処理については、後に詳述する。

次のステップＳ２では、指先３Ｄ情報取得処理が行われる。すなわち、ステップＳ２では、スクリーン３００の投影面を基準とした指先の３Ｄ情報（３次元情報）を取得する。指先３Ｄ情報取得処理については、後に詳述する。

次のステップＳ３では、スクリーン３Ｄ情報及び指先３Ｄ情報に基づいて、指先と投影面の距離Ｌを算出する。

次のステップＳ４では、指先と投影面の距離Ｌが所定値以下であるか否かを判断する。すなわち、指先が投影面に接触あるいは近接しているか否かを判断する。ここでの「所定値」は、例えば１〜５ｍｍ、好ましくは３ｍｍ程度である。この場合、測距部１３での距離計測に誤差があっても、所望の入力操作を実行することができる。ステップＳ４での判断が肯定されるとステップＳ５に移行する。一方、ステップＳ４での判断が否定されるとステップＳ２に戻る。

次のステップＳ５では、指先の位置に基づいて入力操作情報を求める。例えば、該指先の位置に投影されている投影画像の指示に従い、アイコンをクリックする入力操作であったり、指先が移動している間は投影画像上に文字あるいは線を書く入力操作であったりする。

次のステップＳ６では、得られた入力操作情報を画像管理装置３０に通知する。これにより、画像管理装置３０は、入力操作情報に応じた画像制御を行う。すなわち、投影画像に入力操作情報が反映される。ステップＳ６が実行されると、ステップＳ２に戻る。なお、プロジェクタ装置１０とスクリーン３００の位置関係がずれることも想定されるため、ステップＳ６の後、ステップＳ１に戻しても良い。なお、図１２のフローチャートにおいて、ステップＳ１とステップＳ２の順序を逆にしてもよい。

次に、スクリーン３Ｄ情報取得処理（図１２のステップＳ１）について、図１３のフローチャートを参照して説明する。

最初のステップＳ１１では、投影画像に向けてパターン光を投射する。

次のステップＳ１２では、照射画像１を取得する。具体的には、パターン光のスクリーン３００の投影面からの反射光を撮像し、その撮像画像を照射画像１として記憶媒体に保存する。

次のステップＳ１３では、投影面におけるパターン光の照射範囲（投影面における画像が投影される領域を含む範囲）上に指示入力手段（ここではユーザの手）があるか否かを判断する。具体的には、照射画像１と照射パターンを比較し、両者の局所的なずれが閾値Ｔ未満であれば「指示入力手段なし」と判断し、閾値Ｔ以上（図８参照）であれば「指示入力手段あり」と判断する。ステップＳ１３での判断が否定されると（指示入力手段なしの場合）、ステップＳ１４に移行する。一方、ステップＳ１３での判断が肯定されると（指示入力手段ありの場合）、ステップＳ１２に戻る。

なお、ステップＳ１３で「指示入力手段なし」と判断した場合には、照射画像１が記憶媒体に保存される。

次のステップＳ１４では、照射画像１と照射パターンをパターンマッチングする。すなわち、両者のユニーク単位間の対応付けを行う。

次のステップＳ１５では、スクリーンの３Ｄ情報を取得する。具体的には、ステップＳ１４におけるパターンマッチングから視差を得て、スクリーンの３Ｄ情報に変換して、記憶媒体に保存する。ステップＳ１５が実行されると、フローは、終了する。

以上の説明から分かるように、指先の３Ｄ情報は経時的に更新されることになる。

次に、指先３Ｄ情報取得処理（図１２のステップＳ２）について、図１４のフローチャートを参照して説明する。

最初のステップＳ２１では、投影画像に向けてパターン光を投射する。

次のステップＳ２２では、照射画像２を取得する。具体的には、投射したパターン光の反射光を撮像し、その撮像画像を照射画像２として取得する。

次のステップＳ２３では、投影面上におけるパターン光の照射範囲（投影面における画像が投影される領域を含む範囲）上に指示入力手段（ここではユーザの手）があるか否かを判断する。具体的には、照射画像２と照射パターンを比較し、両者の局所的なずれが閾値Ｔ未満であれば「指示入力手段なし」と判断し、閾値Ｔ以上（図８参照）であれば「指示入力手段あり」と判断する。ステップＳ２３での判断が肯定されると、ステップＳ２４に移行する。一方、ステップＳ２３での判断が否定されると、ステップＳ２２に戻る。

なお、ステップＳ２３で「指示入力手段あり」と判断した場合には、照射画像２が記憶媒体に保存される。

次のステップＳ２４では、照射画像２と照射パターンをパターンマッチングする。すなわち、両者のユニーク単位間の対応付けを行う。

次のステップＳ２５では、照射画像１、２を二値化し、記憶媒体に保存する。

次のステップＳ２６では、二値化した照射画像１、２の排他的論理和をとり、記憶媒体に保存する。

次のステップＳ２７では、手の領域を推定する。具体的には、図９から白部分の集まりを滑らかな曲線で囲むことによって「手の領域」を把握（推定）できる。または、エッジ検出により排他的論理和の画像のパターン素を構成するエッジ線を抽出し（図１０参照）、照射パターンと平行な直線（縦線及び横線）を削除した画像（図１１参照）より、残った曲線を滑らかな曲線で繋いて求めても良い。

次のステップＳ２８では、手の３Ｄ情報を算出する。具体的には、照射パターンと照射画像２のパターンマッチングによって視差を求め、ステップＳ２７における手の領域の推定情報と合わせて「手の３Ｄ情報」が得られる。

次のステップＳ２９では、指先の位置（指先位置）を推定する。「指先位置」は、手の輪郭の曲率変化等から特定が容易である。また、様々な手の輪郭と指先の関係を機械学習させ、指先位置を特定しても構わない。これにより、「指先の位置情報」が得られる。

次のステップＳ３０では、指先の３Ｄ情報を取得する。具体的には、ステップＳ２８における「手の３Ｄ情報」とステップＳ２９における「指先の位置情報」から指先の３Ｄ情報を得る。指先は視差情報が得られていないが、その近傍の手の複数の位置の３Ｄ情報からの補外によって、指先の３Ｄ情報が得られる。補外の手法は指先近傍の手の２点の３Ｄ情報からの直線補外でも良いし、更に多くの点から高次関数の補外をかけても良い。ステップＳ３０が実行されると、フローは終了する。

以上説明した本実施形態の入力位置検出装置は、投影面（表示面）に投影（表示）された投影画像（画像）に対する指示入力手段による入力操作を検出する入力操作検出装置であって、投影画像に向けてパターン光を投射する光投射部１３１と、投影画像が撮像範囲に入る撮像部１３２と、投影面に照射されたパターン光の反射光の撮像部１３２での撮像結果である照射画像１（第１の撮像画像）と、投影面上の指示入力手段及び該投影面における指示入力手段とは重ならない部分に照射されたパターン光の反射光の撮像部１３２での撮像結果である照射画像２（第２の撮像画像）とに基づいて入力操作を検出する処理部１５と、を備えている。

この場合、照射画像１、２を用いて、投影面から指示入力手段を精度良く分離、抽出できる。この結果、入力操作の検出精度を向上できる。

また、処理部１５は、照射画像１、２の排他的論理和に基づいて、指示入力手段の先端部の３次元情報を取得するため、該３次元情報を精度良く求めることができる。

また、処理部１５は、排他的論理和のエッジを検出し、該エッジのうちパターン光のパターンと同じ傾きを持つものを除外し、指示入力手段の先端部の３次元情報を求めるため、該３次元情報を更に精度良く求めることができる。

また、処理部１５は、排他的論理和を求めるのに先立って、パターン光のパターンと、照射画像２における指示入力手段の輪郭を含む領域以外の領域とをパターンマッチングするため、パターン間の対応付けを正確に行うことができる。

また、処理部１５は、照射画像１とパターン光のパターンに基づいて、表示面の３次元情報を取得するため、該３次元情報を精度良く求めることができる。

また、処理部１５は、指示入力手段の先端部の３次元情報と投影面の３次元情報から、指示入力手段の先端部と投影面の距離を求め、該距離から指示入力手段の先端部と投影面の接触もしくは近接を判定するため、指示入力手段による入力操作を高精度に検出することができる。

また、処理部１５は、照射画像２を繰り返し取得し、更新するため、指示入力手段による入力操作をリアルタイムに精度良く検出することができる。

また、パターン光は、近赤外光であるため、投影画像の視認性の低下を抑制できる。

また、撮像部１３２は、撮像素子１３２ａと、入射光のうち近赤外光のみを撮像素子１３２ａに向けて透過させるフィルタとを有するため、照射画像のみを撮像することができる。

また、本実施形態のプロジェクタ装置１０は、入力操作検出装置と、画像を投影面に投影する投影部１１と、を備えているため、精確なインタラクティブ機能を発揮させることができる。

また、プロジェクタ装置１０と、プロジェクタ装置１０で得られた入力操作がなされた位置あるいは動作に基づいて、画像制御を行う制御装置と、を備えるプロジェクタシステム１００では、所望の画像表示動作を正しく行うことができる。

また、本実施形態の入力操作検出方法は、投影面に投影された投影画像に対する指示入力手段による入力操作を検出する入力操作検出方法であって、指示入力手段が投影面上にないときに投影画像に向けてパターン光を投射する工程と、投影面に照射されたパターン光の反射光を撮像する第１の撮像工程と、指示入力手段が投影面上にあるときに投影画像に向けてパターン光を投射する工程と、指示入力手段及び投影面における指示入力手段とは重ならない部分に照射されたパターン光の反射光を撮像する第２の撮像工程と、第１及び第２の撮像工程での撮像結果に基づいて入力操作を検出する工程と、を含む。

この場合、照射画像１、２を用いて、投影面から指示入力手段を精度良く分離、抽出できる。この結果、入力操作の検出精度を向上できる。

なお、上記実施形態では、処理部１５が、指示入力手段が投影面上にあるか否かをパターンのずれにより判断しているが、これに代えて、例えば、ユーザが、指示入力手段が投影面上にないときに測距部１３を操作して照射画像１を取得し記憶媒体に保存し、かつ指示入力手段が投影面上にあるときに測距部１３を操作して照射画像２を取得し記憶媒体に保存しても良い。そして、処理部１５が、記憶媒体に保存された照射画像１、２を用いて、指示入力手段による入力操作を検出すれば良い。

また、上記実施形態において、プロジェクタ装置１０と画像管理装置３０とが一体化されていても良い。

また、上記実施形態において、処理部１５での処理の少なくとも一部を画像管理装置３０で行っても良い。例えば、上記入力操作情報検知処理が画像管理装置３０で行われる場合、測距部１３で取得されたデプスマップは、ケーブル等を介して、又は無線通信により、画像管理装置３０に通知される。

また、上記実施形態において、プロジェクタ装置１０が複数の測距部１３を有していても良い。例えば、Ｘ軸方向に関する画角が非常に大きい場合、超広角な撮像光学系を有する１つの測距部１３でその画角をカバーするよりも、画角を抑えた撮像光学系を有する複数の測距部１３をＸ軸方向に沿って並べたほうが低コストな場合がある。すなわち、Ｘ軸方向に超広角なプロジェクタ装置を低コストで実現することができる。

具体的には、複数の測距部１３で得られたデプスマップは、投影画像の中心部付近でオーバーラップするようになっており、処理部１５では、このオーバーラップ部分を利用して、複数のデプスマップを連結する。

また、上記実施形態では、プロジェクタ装置１０が載置台４００に載置されて使用される場合について説明したが、これに限定されるものではない。例えば、プロジェクタ装置１０は、天井に吊り下げて使用されても良い。プロジェクタ装置１０は、例えば吊り下げ部材で天井に固定される。

測距部１３と処理部１５とからなる入力操作検出装置は、入力操作検出装置を備えた画像表示装置として、電子黒板装置やデジタルサイネージ装置にも用いることができる。いずれについても、検出誤差が大きくなるのを抑制することができる。

図１５には、電子黒板装置の一例が示されている。この電子黒板装置５００は、各種メニューやコマンド実行結果が表示される映写パネル及び座標入力ユニットを収納したパネル部５０１と、コントローラ及びプロジェクタユニットを収納した収納部と、パネル部５０１及び収納部を所定の高さで支持するスタンドと、コンピュータ、スキャナ、プリンタ、ビデオプレイヤ等を収納した機器収納部５０２と、から構成されている（特開２００２−２７８７００号公報参照）。入力操作検出装置は、機器収納部５０２内に収納されており、該機器収納部５０２を引き出すことにより、入力操作検出装置が出現する。そして、入力操作検出装置は、下方より映写パネルに投影された画像に対するユーザによる入力操作を検出する。コントローラと入力操作検出装置との間の通信は、ＵＳＢケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。

図１６には、デジタルサイネージ装置に一例が示されている。このデジタルサイネージ装置６００では、ガラス面が投影面となる。画像は、投影面の後方から、プロジェクタ本体によりリアプロジェクションされている。入力操作検出装置は、手すり上に設置されている。プロジェクタ本体と入力操作検出装置との間の通信は、ＵＳＢケーブルを介した有線通信である。これにより、デジタルサイネージ装置にインタラクティブ機能を持たせることができる。

このように、測距部１３と処理部１５とからなる入力操作検出装置は、インタラクティブ機能を有する装置や、インタラクティブ機能を付加したい装置に好適である。

以下に、発明者らが上記実施形態を発案した思考プロセスを説明する。

近年，スクリーンや机上に投影した投影画像に文字や図などを書き込む機能や，投影画像の選択、拡大・縮小，ページ送りなどの操作を実行する機能，などを搭載した，いわゆるインタラクティブなプロジェクタ装置が市販されている。

これらの機能は，スクリーンや机上などの対象面に接触する操作者の指や，操作者が保持しているペン及び指し棒などを指示入力手段とし，その指示入力手段の先端が対象面に接触する位置及び動きを検出して，その検出結果をコンピュータなどへ送ることで実現されている。

指示入力手段の先端が対象面に接触したか否かを判定する方法が既に知られている。

指示入力手段の先端（例えば指先）が対象面に接触したか否かを判定する方法として，まず指先位置を検出して，次にその指先の三次元位置から該指先が対象面に接触したか否かを判定することが一般的に行われている。

指先位置を検出する方法として，特開２０１４−２０２５４０公報には，取得した２次元画像から，色情報に基づき手の領域を検出し，さらに指先端部の形状モデルを用いたパターンマッチングにより，手の指先部分を検出している。この方法では測距センサの他に色を識別できるセンサが必要となり高価であるという問題がある。

更に、複数のセンサの情報を統合して処理するためには、それぞれのセンサ位置関係から画像対応関係を演算しなければならず、処理高速化の妨げになるという問題もある。また、対象面と指の色が近い場合は分離が困難になるという問題がある。

デプス情報のみから手の領域を検出する方法もあるが、ＴＯＦ方式は特殊なカメラが必要で高価であり、ステレオカメラ方式はやはり対象面と指の反射率が近い場合は分離が困難であるという問題がある。

パターン投影法は、対象物に構造化された光（パターン光）を照射するため、通常のカメラを使用できるので安価で、自らパターンを投影するので対象面と指の色や反射率が近い場合でも分離が可能である。

しかし、パターン投影法の分解能は、パターンの大きさに依存し、カメラ画素レベルの分解能を得られない。

よって、対象面との接触位置を正確に求められない（入力操作を正確に検出できない）という問題があった。

例えば、特許文献１には、接触を判定する目的で、色情報を用いて物体（指示入力手段）の端部を特定し、更に３次元情報を用いて接触を判定することが開示されている。

しかし、特許文献１では、上述した特開２０１４−２０２５４０と同様に、高価となり、処理高速化の妨げとなり、対象面と指の色が近い場合は分離が困難になる。

そこで、発明者らは、安価で高速に精度良く接触位置を求める（入力操作を検出する）ことができる入力操作検出装置を開発すべく、上記実施形態を発案した。

具体的には、通常のカメラ一台を用いるため、安価である。
複数のセンサ情報を統合する必要がないので高速の接触認識が可能になる。
構造化された光（パターン光）を照射するので対象面と指の反射率が近い場合も指示入力手段の範囲の分離ができる。
撮像部により得られた複数の画像の差異から指示入力手段を分離するので、パターン投影法であっても、接触位置を精度良く求めることができる。

１０…プロジェクタ装置、１１…投影部（表示手段）、１５…処理部、３０…画像管理装置（制御装置）、１００…プロジェクタシステム、１３１…光投射部、１３２…撮像部、１３２ａ…撮像素子、３００…スクリーン、４００……載置台、５００…電子黒板装置、６００…デジタルサイネージ装置。

特開２０１２−４８３９３号公報

Claims (16)

1. 表示面に表示された画像に対する指示入力手段による入力操作を検出する入力操作検出装置であって、
   前記画像に向けてパターン光を投射する光投射部と、
   前記画像が撮像範囲に入る撮像部と、
   前記表示面に照射された前記パターン光の反射光の前記撮像部での撮像結果である第１の撮像画像と、前記表示面上の前記指示入力手段及び該表示面における前記指示入力手段とは重ならない部分に照射された前記パターン光の反射光の前記撮像部での撮像結果である第２の撮像画像とに基づいて前記入力操作を検出する処理部と、を備える入力操作検出装置。
2. 前記処理部は、前記第１及び第２の撮像画像の排他的論理和に基づいて、前記指示入力手段の先端部の３次元情報を取得することを特徴とする請求項１に記載の入力操作検出装置。
3. 前記処理部は、前記排他的論理和のエッジを検出し、該エッジのうち前記パターン光のパターンと同じ傾きを持つものを除外し、前記指示入力手段の先端部の３次元情報を求めることを特徴とする請求項２に記載の入力操作検出装置。
4. 前記処理部は、前記排他的論理和を求めるのに先立って、前記パターン光のパターンと、前記第２の撮像画像における前記指示入力手段の輪郭を含む領域以外の領域とをパターンマッチングすることを特徴とする請求項２又は３に記載の入力操作検出装置。
5. 前記処理部は、前記第１の撮像画像と前記パターン光のパターンに基づいて、前記表示面の３次元情報を取得することを特徴とする請求項２〜４のいずれか一項に記載の入力操作検出装置。
6. 前記処理部は、前記指示入力手段の先端部の３次元情報と前記表示面の３次元情報から、前記指示入力手段の先端部と前記表示面の距離を求め、該距離から前記指示入力手段の先端部と前記表示面の接触もしくは近接を判定することを特徴とする請求項５に記載の入力操作検出装置。
7. 前記処理部は、前記第２の撮像画像を繰り返し取得し、更新することを特徴とする請求項１〜６のいずれか一項に記載の入力操作検出装置。
8. 前記パターン光は、近赤外光であることを特徴とする請求項１〜７のいずれか一項に記載の入力操作検出装置。
9. 前記撮像部は、撮像素子と、入射光のうち近赤外光のみを前記撮像素子に向けて透過させるフィルタとを有することを特徴とする請求項８に記載の入力操作検出装置。
10. 請求項１〜９のいずれか一項に記載の入力操作検出装置と、
    前記画像を前記表示面に表示する表示手段と、を備える画像表示装置。
11. 前記画像表示装置がプロジェクタ装置であることを特徴とする請求項１０に記載の画像表示装置。
12. 前記画像表示装置が電子黒板装置であることを特徴とする請求項１０に記載の画像表示装置。
13. 前記画像表示装置がデジタルサイネージ装置であることを特徴とする請求項１０に記載の画像表示装置。
14. 投影面に投影された画像の少なくとも一部に対して指示入力手段によってなされた入力操作により操作されるプロジェクタ装置であって、
    前記画像に向けてパターン光を投射する光投射部と、
    前記画像が撮像範囲に入る撮像部と、
    前記投影面に照射された前記パターン光の反射光の前記撮像部での撮像結果である第１の撮像画像と、前記投影面上の前記指示入力手段及び該投影面における前記指示入力手段とは重ならない部分に照射された前記パターン光の反射光の前記撮像部での撮像結果である第２の撮像画像とに基づいて前記入力操作を検出する処理部と、を備えるプロジェクタ装置。
15. 請求項１１又は１４に記載のプロジェクタ装置と、
    前記プロジェクタ装置で得られた入力操作がなされた位置あるいは動作に基づいて、画像制御を行う制御装置と、を備えるプロジェクタシステム。
16. 表示面に表示された画像に対する指示入力手段による入力操作を検出する入力操作検出方法であって、
    前記指示入力手段が前記表示面における前記画像が表示される領域上にないときに前記画像に向けてパターン光を投射する工程と、
    前記表示面に照射された前記パターン光の反射光を撮像する第１の撮像工程と、
    前記指示入力手段が前記表示面における前記画像が表示される領域上にあるときに前記画像に向けて前記パターン光を投射する工程と、
    前記指示入力手段及び前記表示面における前記指示入力手段とは重ならない部分に照射された前記パターン光の反射光を撮像する第２の撮像工程と、
    前記第１及び第２の撮像工程での撮像結果に基づいて前記入力操作を検出する工程と、を含む入力操作検出方法。