JP2014174833A - 操作検出装置及び操作検出方法 - Google Patents

Abstract

【課題】操作面上にセンサを設けることなく、操作面に対するユーザの指の接触位置を検出するとともに、指と操作面の接近度や指さし方向を検出すること。
【解決手段】影領域抽出部１０４は、カメラ１００より得られる撮像画像の輝度を閾値と比較し、第１、第２の照明１０１，１０２で生じるユーザの指３０に対する第１、第２の影４０１，４０２を抽出する。接近度検出部１０６は、第１、第２の影内の２つの特徴点６０１，６０２間の距離ｄから指の操作面２２への接近度を検出し、接触点検出部１０７は、２つの特徴点の位置から指の操作面への接触点Ｐを検出する。方向検出部１０９は、第１、第２の影の輪郭線５０１，５０２の方向から指の指し示す方向７００を検出する。さらに表示制御部１２１は、検出結果データ１５０に基づき、操作対象装置２に対する表示制御データ１５１を生成する。
【選択図】図１

Description

本発明は、ユーザの指操作を検出する操作検出装置及び操作検出方法に関する。

投写型映像表示装置（プロジェクタ）の投写面（スクリーン）上でのユーザ操作入力として、タッチセンサ等の特殊なデバイスを用いることなく、ユーザの操作部（指）を撮像しその影を抽出して指接触操作を検出する技術が提案されている
特許文献１には、照明手段により照らされた状態で操作者を撮像手段に撮像させる手段と、前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段と、を具備する操作検出装置が記載されている。

また、特許文献２には、スクリーンに映像を投写する投写部と、少なくとも前記スクリーンに投写された映像を含む領域を撮像するための撮像部と、前記撮像部により撮像された画像から、前記スクリーン上方を移動する所定物体の実像を検出する実像検出部と、前記撮像部により撮像された画像から、前記投写部からの投写光により生じる前記所定物体の影を検出する影検出部と、前記所定物体の実像と影の対応点間の距離が所定のしきい値以下である場合、前記所定物体が前記スクリーンに接触していると判定する接触判定部と、前記接触判定部により接触していると判定されたとき、前記所定物体の座標を前記映像に対するポインティング位置として出力する座標決定部と、を備える投写型映像表示装置が記載されている。

特開２００８−５９２８３号公報 特開２０１１−１８０７１２号公報

特許文献１では、撮像手段により得られる操作者の画像データから影の部分を抽出し、影のエッジが鋭角に交わる点を指差し位置として検出している。しかしながら、手を開いて浮かせた状態では、ある指の影の上に他の指が重なって見えることにより、影のエッジが鋭角に交わる点が複数個発生することが予想されるため、指差し位置とは異なる点が誤って検出される恐れがある。従って、手を開いた状態で複数の指の指差し位置を同時に検出する、いわゆるマルチタッチ操作の検出には適していない。

また、特許文献２では、所定物体（指）の実像と影の対応点間の距離が所定のしきい値以下である場合、所定物体がスクリーンに接触していると判定している。しかしながら、手を開いた状態では、ある指の実像によって他の指の影の一部が見えなくなるため、指の実像と影の対応点を検出することが困難になる。さらに、手を開いて浮かせた状態では指の実像と影の距離が離れるため、例えば、ある指の実像の先端部に他の指の影の先端部が接近して、ある指の実像と影の対応点間の距離が閾値以下になったかのように見え、指がスクリーンに接触していると誤って判定される恐れがある。従って、この方式もマルチタッチ操作の検出には適していない。

また、いずれの特許文献においても、操作状態における指と操作面との間隙（接近度）の検出や指さし方向の検出に関しては何ら考慮されていない。

本発明は上記の課題を鑑み、手を開いた状態でも複数の指の接触位置をそれぞれ正しく検出するとともに、指と操作面の接近度や指さし方向を検出する操作検出装置及び操作検出方法を提供することを目的とする。

上記課題を解決するために、特許請求の範囲に記載の構成を採用する。その一例を挙げれば、本発明の操作検出装置は、操作面に異なる位置から照明光を照射する第１、第２の照明と、照明光が照射された操作面をユーザの操作部とともに撮像するカメラと、カメラより得られる撮像画像の輝度を所定の閾値と比較し、第１、第２の照明で生じるユーザの操作部に対する第１、第２の影を抽出する影領域抽出部と、抽出された第１、第２の影の形状から、ユーザの操作部の操作面に対する接近度、接触点、操作部の指し示す方向の少なくとも１つの操作状態を検出する操作状態検出部と、を備える。

好ましくは前記操作状態検出部は、抽出された第１、第２の影の中からそれぞれの特徴点を検出する特徴点検出部と、抽出された第１、第２の影の輪郭線から略直線状の線分をそれぞれの輪郭線として検出する輪郭検出部と、検出した２つの特徴点間の距離からユーザの操作部の操作面への接近度を検出する接近度検出部と、検出した２つの特徴点の位置からユーザの操作部の前記操作面への接触点を検出する接触点検出部と、検出した輪郭線の方向からユーザの操作部の指し示す方向を検出する方向検出部と、を備え、接近度検出部は、検出した２つの特徴点間の距離が所定の閾値以下となったときにユーザの操作部が操作面に接触したと判定する。

本発明によれば、操作面上にタッチセンサなどを設けることなく、操作面に対する複数の指の接触位置を正しく検出し、かつ指と操作面の接近度や指さし方向を検出することが可能となる。これより、操作対象装置への操作性が向上する。

実施例１における操作検出装置を示す構成図。 図１の変形例を示す構成図。 操作検出装置１を用いてユーザが操作を行う状態を示す図。 ２つの照明で生じるユーザの指の影の形状を示す図。 ユーザの操作位置による影の形状の影響を示す図。 指と操作面の間隙と影の形状との関係を示す図。 特徴点による接近度の判定を説明する図。 特徴点による接触点の決定を説明する図。 特徴点を他の位置に設定した場合を示す図。 複数の指で操作する場合の影の形状を示す図。 輪郭線による指さし方向の決定を説明する図。 操作検出方法の処理フローを示す図。 指の接近度に応じた制御の一例を示す図。 指さし方向に応じた制御の一例を示す図。 ２つ影が重なって生じる場合を示す図（実施例２）。 重なった影の分離方法を説明する図。 操作検出装置を内蔵したプロジェクタを示す構成図（実施例３）。 短投写型プロジェクタ２ａの例を示す図。 ヘッドマウント型プロジェクタ２ｂの例を示す図。

以下、実施例を図面を用いて説明する。

実施例１では、１つのカメラと異なる位置に配置した２つの照明とを用いて、操作面に対するユーザの操作部（指）と操作面との接近度、指と操作面の接触点、指が指し示す方向（指さし方向）を検出する操作検出装置とその方法について説明する。

図１は、実施例１における操作検出装置の構成図を示す。操作検出装置１は、カメラ１００、２つの照明１０１，１０２、影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、方向検出部１０９、制御部１２０、表示制御部１２１、出力部１３０を含む。制御部１２０は、各検出部で検出した操作面に対する指の接近度、接触点座標、指さし方向などの操作状態の検出結果データ１５０を生成し、また表示制御部１２１は、検出結果に基づき操作モード、ポインタ表示位置、ポインタ表示方向などの表示制御データ１５１を生成し、出力部１３０から操作対象装置２に出力する。操作対象装置２は例えばプロジェクタ（映像投写表示装置）であり、検出結果データ１５０と表示制御データ１５１を受け、ユーザの操作に応答して映像表示を行う。

図１では各要素１００〜１０９、１２０、１２１、１３０を全て操作検出装置１の内部に構成しているが、一部の構成要素を外部に接続して構成しても良い。例えばカメラ１００と照明１０１，１０２を操作検出装置１の外部に構成し、ネットワークやユニバーサルシリアルバス（ＵＳＢ）を介して接続しても良い。また、表示制御部１２１は操作検出装置１の内部ではなく、操作対象装置２側に構成しても良い。

図２は、図１の操作検出装置の変形例を示す構成図であり、操作対象装置２の内部に表示制御部２０５を有する場合である。この場合、操作対象装置２の表示制御部２０５は、操作検出装置１から出力される検出結果データ１５０に基づき、操作モードなどの表示制御データ１５１を生成することで、操作対象装置２は図１の構成と同様の制御を行うことができる。

また各構成要素１００〜１０９、１２０、１２１、１３０は独立しているが、必要に応じて１または複数の構成要素で構成しても良い。例えば、要素１０４〜１０９、１２０、１２１、１３０は１または複数の中央処理装置（ＣＰＵ）でその処理を行うように構成しても良い。

図３は、操作検出装置１を用いてユーザ３が操作を行う状態を示す図である。（ａ）は操作状態の正面図、（ｂ）は操作状態の側面図である。ユーザ３は操作部である指３０を、壁面２１の操作面２２に接近させ、またある位置に接触させることで所望の操作を行う。ここでは操作対象装置２がプロジェクタの場合を想定しており、操作面２２が投写映像を表示するスクリーンとなり、ユーザはスクリーン上を操作することになる。

操作検出装置１は壁面２１の上部に取り付け、２つの照明１０１，１０２はカメラ１００を挟んで、壁面２１の横方向の異なる位置にずらして配置する。２つの照明１０１，１０２でユーザ３の指３０を照射し、カメラ１００により指３０とその近傍を撮像する。指３０が操作面２２に接近または接触すると指３０の影の形状が変化することから、操作検出装置１はカメラ１００の画像を解析し、指の接近度、接触点、指さし方向を検出する。

次に、操作検出装置１の各部の動作を説明する。カメラ１００は、イメージセンサ、レンズなどで構成され、ユーザ３の操作部である指３０を含む画像を撮像する。２つの照明１０１，１０２は、発光ダイオード、回路基板、レンズなどで構成され、操作面２２およびユーザ３の指３０に照明光を照射して、カメラ１００で撮像する画像内に指３０の影を投影するものである。なお、照明１０１，１０２は赤外光照明とし、カメラ１００は赤外光カメラで構成しても良い。これにより、カメラ１００で撮像する赤外光画像を、操作対象装置２（プロジェクタ）で投写される可視光映像から分離して取得することができる。

影領域抽出部１０４は、カメラ１００で得られた画像から影領域を抽出し影画像を生成する。例えば、操作検出時の撮像画像から予め撮像した操作面２２の背景画像を減算して差分画像を生成し、差分画像の輝度を所定の閾値Ｌｔｈで二値化して、閾値以下の領域を影領域とすれば良い。さらに、抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する、いわゆるラベリング処理を行う。ラべリング処理により、抽出した複数の影についてどの指に対応するか、すなわち１本の指に対応する対となる２つの影を識別することができる。

特徴点検出部１０５は、影領域抽出部１０４で抽出した影画像内の特定の位置（以下、特徴点と呼ぶ）を検出する。例えば特徴点として、影画像内の先端位置（指先位置に対応）を検出する。特徴点検出のためには種々の手法が用いられるが、先端位置の場合はその影画像を構成する画素の座標データから検出可能であり、あるいは特徴点の持つ特有の形状に一致する部分を画像認識などにより検出することでも可能である。特徴点は１つの影から１箇所検出するので、１本の指（２つの影）に対しては２か所検出される。

接近度検出部１０６は、特徴点検出部１０５で検出した２つの特徴点間の距離ｄを測定し、距離ｄに基づいて指と操作面との間隙ｓ（接近度Ａ）を検出する。これにより、指が操作面に接触しているか、接触していないかを判定する。

接触点検出部１０７は、接近度検出部１０６により指が操作面に接触していると判定した場合、その特徴点の位置に基づいて、操作面に対する指の接触点を検出し、その座標を算出する。

輪郭検出部１０８は、影領域抽出部１０４で抽出した影画像から影領域の輪郭を抽出する。例えば、影画像内を一定の方向に走査して輪郭追跡の開始画素を決定し、開始画素の近傍画素を反時計回りで追跡することで輪郭が得られる。

方向検出部１０９は、輪郭検出部１０８で検出した輪郭線からほぼ直線状の線分を抽出する。そして、抽出した輪郭線の方向に基づいて、操作面上の指の指さし方向を検出する。

なお、上記した各検出部の処理は、上記手法に限らず、他の画像処理のアルゴリズムを用いても良い。また、上記した各検出部は、回路基板によるハードウェアだけでなく、ソフトウェアで構成することもできる。

制御部１２０は、装置全体の動作を制御し、各検出部で検出した操作面に対する指の接近度、接触点座標、指さし方向などの検出結果データ１５０を生成する。

表示制御部１２１は、制御部１２０で生成した指の接近度、接触点座標、指さし方向などの検出結果データ１５０に基づいて、操作対象装置２（プロジェクタ）に対する操作モード、ポインタ位置、ポインタ方向などの表示制御データ１５１を生成する。

出力部１３０は、生成した検出結果データ１５０や表示制御データ１５１を操作対象装置２に出力するインタフェースであり、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続、超音波ユニット、赤外線通信装置などで構成される。

図４は、２つの照明で生じるユーザの指の影の形状を示す図である。（ａ）は指３０と操作面２２が接触していない状態、（ｂ）は接触している状態であり、それぞれ操作面２２の上方から見た上面図とカメラ画像を示す。

（ａ）に示すように指３０が操作面２２に接触していない状態（間隙ｓ）では、２つの照明１０１，１０２からの光は指３０で遮断され、それぞれ影４０２，４０１（斜線で示す）が形成される。カメラ画像では、２つの影４０１，４０２は指３０の両側に互いに離れて存在する。

一方（ｂ）に示すように指３０の指先が操作面２２に接触している状態（間隙ｓ＝０）では、２つの影４０１，４０２は、指３０の指先の位置で接近して存在する。なお、影４０１，４０２の一部領域は指３０の陰に隠れているが、この隠れた部分は影領域には含めない。本実施例では、指３０が操作面２２に接近すると影４０１と影４０２と間隔（特に特徴点間の距離）が接近する性質を利用して、指３０と操作面２２との接触を判定するものである。

図５は、ユーザの操作位置による影の形状の影響を示す図である。ここでは、ユーザの操作位置が操作面２２の中央から左側にずれた場合（ユーザ位置３）と、右側にずれた場合（ユーザ位置３’）のカメラ画像を比較している。このときカメラ１００から見たユーザの操作位置は変化するが、それらのカメラ画像では、指３０（３０’）に対する影４０１（４０１’），４０２（４０２’）の位置関係は変わらない。すなわち、ユーザ操作位置に関係なく、常に指３０（３０’）の両側に影４０１（４０１’）と４０２（４０２’）が存在する。これは、カメラ１００と照明１０１，１０２の位置関係により一義的に決定されるからである。従って、ユーザが操作面２２に対してどの位置で操作しても２つの影４０１，４０２の検出が可能であり、本実施例の操作検出方法が有効に適用できる。

図６は、指と操作面の間隙と影の形状との関係を示す図である。指３０の両側に形成される２つの影４０１，４０２の間隔は、指３０と操作面２２との間隙ｓによって変化する。２つの影４０１，４０２の間隔を定義するために、それぞれの影４０１，４０２の内部に特徴点６０１，６０２（×印で示す）を設定し、特徴点間の距離ｄを測定する。ここでは影の先端位置（指先位置）に特徴点を設定している。指３０と操作面２２の間隙ｓが大きい場合には、２つの影４０１，４０２の間隔は大きく、２つの特徴点６０１，６０２の距離ｄも大きい。指３０が操作面２２に接近するに従い、特徴点６０１，６０２の距離ｄは小さくなり、指３０が操作面２２に接触すると（間隙ｓ＝０）、特徴点６０１，６０２の距離ｄは最小値となる。

図７は、接近度検出部１０６における接近度の判定を説明する図である。ここでは、特徴点間の距離ｄに基づき指の接近度Ａの判定を行う。指の接近度Ａを判定するために、特徴点間の距離ｄに対する４個の閾値ｄ１，ｄ２，ｄ３，ｄ４（ただし、ｄ１＜ｄ２＜ｄ３＜ｄ４）を定める。これにより接近度Ａを５段階（レベル１〜５）に分類し、レベル値が大きいほど、指３０と操作面２２との間隙ｓが小さいものとする。まず、指３０が操作面２２に接触した状態（間隙ｓ＝０）を識別するための閾値ｄ１を定め、距離ｄ＜ｄ１の場合には、接近度Ａは最大レベル５（接触状態）であると判定する。それ以外の非接触状態については、閾値ｄ２〜ｄ４を用いて接近度Ａを４段階（レベル４〜１）に分類する。このうちｄ＞ｄ４の場合は、接近度Ａは最小レベル１であると判定する。この例では４個の閾値により接近度を５段階に分類したが、接近度の分類数はこれに限らず、制御内容に合わせて適宜設定すれば良い。

図８は、接触点検出部１０７における接触点の決定を説明する図である。指３０が操作面２２に接触した状態での影４０１，４０２の形状を示し、ここでは特徴点６０１，６０２を、それぞれの影４０１，４０２の先端位置に設定している。この場合は、２つの特徴点６０１，６０２は接触点である指先位置に近いことから、２つの特徴点６０１，６０２の中点Ｐを指３０と操作面２２との接触点と見なし、その座標を算出することができる。
上記の例では、特徴点６０１，６０２を、それぞれの影４０１，４０２の先端位置に設定しているが、この方法によれば特徴点の設定が容易であり、また、接触点Ｐの位置もその近傍に存在するので容易に決定できる。

図９は、特徴点を他の位置に設定した場合を示す図である。図８では特徴点６０１，６０２を影４０１，４０２の先端位置に設定したのに対し、図９では各影の長手方向中間位置に特徴点６０１’，６０２’を設定している。この場合にも、影４０１，４０２の間隔の変化に伴い特徴点６０１’，６０２’間の距離ｄ’が変化するので、指３０と操作面２２の接近度Ａの判定を行うことができる。なお、この場合の接触点Ｐ’は特徴点６０１’，６０２’の位置から長手方向にずれることになるので、特徴点６０１’，６０２’から予想される接触点Ｐ’までの距離（補正量）を予め求めておき、これで補正することで接触点Ｐ’を求めることが可能である。同様にして、特徴点を影４０１，４０２内のこれ以外の位置に設定することもできる。

図１０は、複数の指で操作する場合の影の形状を示す図である。手を開いた状態で複数の指３１，３２・・・を操作面に接触させた際に、各指に対し、左側の影４１１，４２１・・・と、右側の影４１２，４２２・・・が形成される。そして、各影に対して特徴点を設定する。ここでは、影４１１，４１２に対する特徴点６１１，６１２と、影４２１，４２２に対する特徴点６２１，６２２を示す。対応する特徴点６１１，６１２、あるいは特徴点６２１，６２２間の距離ｄを測定することで、それぞれの指３１，３２の接近度や接触点を求めることができる。これより本実施例によれば、手を開いた状態でも複数の指についての接触を独立して検出できるので、マルチタッチ操作に適用可能となる。

図１１は、方向検出部１０９における指さし方向の決定を説明する図である。指３０の方向（指さし方向）を傾けたときの影４０１，４０２の形状を示し、指さし方向の変化に伴って影４０１，４０２の向きも変化する。指さし方向を検出するために、まず輪郭検出部１０８にて影４０１，４０２に対する輪郭線５０１，５０２を検出する。なお、輪郭線の検出では、指先などの曲線部分を除去して、略直線状の線分からなる輪郭線を検出する。その後、方向検出部１０９は次の方法で指さし方向を決定する。

（ａ）では、影４０１，４０２に対する内側の輪郭線５０１，５０２を使用する。そして、内側の輪郭線５０１，５０２の傾き方向７０１，７０２のいずれかを指さし方向として決定する。

（ｂ）では、影４０１，４０２に対する外側の輪郭線５０１’，５０２’を使用する。そして、外側の輪郭線５０１’，５０２’の傾き方向７０１’，７０２’のいずれかを指さし方向として決定する。

（ｃ）では、影４０１，４０２に対する内側の輪郭線５０１，５０２を使用する。そして、内側の輪郭線５０１，５０２の中線の傾き方向７０３を指さし方向として決定する。この場合には２つの輪郭線５０１，５０２の平均方向から求めるので、より精度が高くなる。なお、外側の輪郭線５０１’，５０２’の中線方向を指さし方向としても良い。

図１２は、実施例１における操作検出方法の処理フローを示す図である。（ａ）は接近度と接触点の検出、（ｂ）は指さし方向の検出の場合である。

まず、（ａ）の接近度と接触点の検出方法から説明する。
Ｓ１００１では、影領域抽出部１０４は、カメラ１００で撮像した画像から背景を減算して差分画像を求め、輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する。その際、抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する、いわゆるラベリング処理を行う。

Ｓ１００２では、特徴点検出部１０５は、ラベリング処理した各影に対して特徴点を検出する。例えば図６のように、各影４０１，４０２の先端位置を特徴点６０１，６０２として検出する。
Ｓ１００３では、検出した２つの特徴点６０１，６０２間の距離ｄを測定する。

Ｓ１００４では、接近度検出部１０６は、距離ｄに基づいて指３０と操作面２２の接近度Ａを判定する。判定では、例えば図７を用いて距離ｄを閾値ｄ１〜ｄ４と比較し、接近度Ａをレベル１〜５に分類する。そしてｄ＜ｄ１の場合は、接近度Ａ＝５（接触状態）と判定する。

Ｓ１００５では、判定した接近度Ａは接触時のレベル（＝５）かどうかを判定する。判定結果が接近度Ａ＝５であればＳ１００６へ進み、それ以外（非接触状態）の場合は終了する。

Ｓ１００６では、接触点検出部１０７は、指３０と操作面２２の接触点を検出する。例えば図８のように、２つの特徴点６０１，６０２の中点Ｐを接触点とし、その座標を算出する。特徴点の設定方法が上記（先端位置）と異なる場合は、その設定方法に応じて接触点位置を補正すれば良い。
なお、操作状態においては以上の処理フローを繰り返して実行し、操作状態の変化に追従した操作検出を行うものとする。

次に、（ｂ）の指さし方向の検出方法を説明する。
Ｓ１０１１では、影領域抽出部１０４は、カメラ１００で撮像した画像から背景を減算して差分画像を求め、輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する。これは前記Ｓ１００１と同様である。

Ｓ１０１２では、輪郭検出部１０８は、ラベリング処理した各影に対して輪郭線（略直線部）を検出する。例えば図１１（ｃ）のように、影４０１，４０２の内側の輪郭線５０１，５０２を検出する。その際、これらの輪郭線のうち指先などの曲線部分を除去して、略直線状の線分を検出する。

Ｓ１０１３では、方向検出部１０９は、各輪郭線５０１，５０２の中線の傾き方向７０３を指さし方向と判定する。なお、指さし方向の判定は、図１１（ａ）（ｂ）に示す方法でも良い。
なお、操作状態においては以上の処理フローを繰り返して実行し、操作状態の変化に追従した操作検出を行うものとする。
また、図１２（ａ）の接近度と接触点の検出処理と（ｂ）の指さし方向検出処理は、並行して行うことができる。

図１３は、表示制御部１２１における指の接近度に応じた制御の一例を示す図である。指３０と操作面２２との接近度Ａに応じて、操作モードとポインタ表示の切り替えを示している。

操作モードに関しては、接近度Ａが最も高いレベル５（接触状態）では接触操作モードとする。それ以外の非接触状態で接近度Ａが比較的高いレベル４，３では空中操作モードに、接近度Ａが比較的低いレベル２，１では操作オフモードに切り替える。このような制御により、ユーザ３は指３０を操作面２２に接触させた状態に加え、操作面２２から浮かせた状態においても操作対象装置２の操作が可能となる。また、指３０が操作面２２から一定距離以上離れている場合には、操作オフモードに切り替わり、ユーザの意図しない操作を防ぐことができる。

またポインタ表示に関しては、接近度Ａが比較的高いレベル５、４ではポインタを表示し、接近度Ａが比較的低い３，２，１ではポインタを表示しないように切り替える。このような制御により、ユーザ３は指３０が操作面２２に接触する前の段階でポインタを確認することができ、接触時のポインタの位置を合わせ易くなる。以上の制御により、操作対象装置２への操作性が向上する。

図１４は、表示制御部１２１における指さし方向に応じた制御の一例を示す図である。
（ａ）は、指さし方向７００に応じてポインタ８００の表示位置を補正する場合である。ポインタ８００を表示する際、接触点検出部１０７において検出した接触点Ｐと全く同じ位置に表示すると、ポインタ８００が指３０に隠れてユーザ３から見えにくくなる。そこで、方向検出部１０９で検出した指さし方向７００に沿ってポインタ８００を指先前方に所定量だけずらして表示する。これによりポインタ８００はユーザ３から見やすくなる。

また、上記に加えて、指３０の接近度Ａに応じてポインタ８００の表示位置のずらし量（補正量）を変更しても良い。例えば接近度Ａが低いときには補正量を大きくし、接近度Ａが高いときには補正量を小さくする。これにより、ユーザ３の指３０が操作面２２に近づくに従ってポインタ８００の位置が指先に近づき、ユーザ３はポインタ８００の表示位置を目安にすることで精度の良い操作ができるようになる。

（ｂ）は、指さし方向７００に応じてポインタ８００の表示方向を補正する場合である。矢印形状のポインタ８００を表示する際、例えば（ａ）のように指さし方向７００と無関係に常に一定の方向に表示すると、ポインタ８００の表示方向が指さし方向７００と一致せずユーザ３に対し違和感を与えることがある。そこで、方向検出部１０９において検出した指さし方向７００にポインタ８００の表示方向を合わせて表示する。これにより指さし方向７００との不一致がなくなり、ユーザ３に対する違和感を解消できる。

（ｃ）は、指さし方向７００に応じて接触点の位置を補正する場合である。接触点検出部１０７において検出される接触点Ｐは特徴点の位置から決定されるので、実際に操作面２２と接触する位置からずれることがある。例えば、特徴点を影の先端位置とする場合、実際の接触位置（指の腹の部分となることが多い）よりも指の先端側（爪先）の位置にずれてしまう。そこで、方向検出部１０９において検出した指さし方向７００に沿って、指の付け根側に接触点位置を所定量だけ補正する（Ｐ→Ｐ”）。これにより、指３０と操作面２２の接触点をより正確に取得することができる。

上述したように実施例１の操作検出装置では、１つのカメラと２つの照明とを用いて、操作部である指に対する２つの影の形状を解析し、指と操作面の接近度、接触点座標、指さし方向などを検出し、検出結果データとして操作対象装置に出力する。また、検出結果に基づき、操作モード、ポインタ表示位置、ポインタ表示方向などを切り替えるための表示制御データを操作対象装置に出力する。本実施例によれば、操作面上にタッチセンサなどを設けることなく、操作面に対する複数の指の接触位置を正しく検出し、かつ指と操作面の接近度や指さし方向を検出することが可能となる。これにより、操作対象装置への操作性が向上する。なお、ポインタの表示機能は操作対象装置の種類に応じて採用すればよく、例えばタブレット端末では必須ではない。

なお、本実施例では２つの影内にそれぞれ特徴点を定め、特徴点間の距離と特徴点の位置に基づき接近度や接触点を検出した。これに代わる他の方法として、２つの影に輪郭線を定め、輪郭線間の距離に基づき接近度や接触点を検出することも可能である。

前記実施例１では、２つの照明１０１，１０２により生じる指に対する２つの影４０１，４０２が、指の両側に離れて存在する場合を前提とした。これに対し実施例２では、２つの照明１０１，１０２の配置が変更された結果、２つの影の一部が重なって存在する場合において、２つの影を分離する方法を説明する。２つの影を分離することで、実施例１と同様に指と操作面の接近度、接触点座標、指さし方向などを検出することができる。

図１５は、実施例２において２つの影が重なって存在する場合の影の形状を示す図である。ここでは、２つの照明１０１，１０２がカメラ１００に対して同じ側（図では左側）に設置され、その結果２つの影４０３，４０４は、指３０に対して同じ側（右側）に形成されてその一部が重なっている。

（ａ）は指３０が操作面２２に接触していない場合である。上面図において、照明１０２，１０１からの光が指３０で遮断され、３つの影４０３，４０４，４０５ができる。このうち影４０５は、両方の照明１０２，１０１が遮断された領域である。カメラ画像では、指３０の右側に、照明１０２によって形成される薄い影４０３と、照明１０１によって投影される薄い影４０４と、それらの間に両者が重なった濃い影４０５が形成される。

（ｂ）は指３０が操作面２２に接触している場合である。この場合は、指３０の右側に、照明１０１による薄い影４０４と、それに隣接する濃い影４０５が指３０に接近して存在する。

図１６は、重なった影の分離方法を説明する図である。影領域検出部１０４は、検出された影をその濃度の違いを利用して元の２つの影に分離する。

（ａ）は検出された影を示し、ここでは図１５（ａ）の場合を取り上げる。上記したように、薄い影４０３，４０４と濃い影４０５が存在するが、濃い影４０５は薄い影４０３，４０４が重なって生じたものである。

（ｂ）は影の分離法を示すもので、照明１０２によって生じる影は、薄い影４０３と濃い影４０５を加算して第１の領域４０１’として求める。また照明１０１によって生じる影は、薄い影４０４と濃い影４０５を加算して第２の領域４０２’として求める。このように、影濃度を２段階で識別して濃度毎の領域に区分しておき、薄い影の領域とこれに隣接する濃い影の領域を加算することで照明毎に生じる影４０１’，４０２’に分離することができる。

（ｃ）は、分離した影４０１’，４０２’に対して特徴点６０１，６０２を定め、特徴点間の距離ｄを求める場合を示す。

（ｄ）は、分離した影４０１’，４０２’に対して輪郭線５０１，５０２を定め、指さし方向７０３を求める場合を示す。

このように実施例２では、カメラ１００に対する照明１０１，１０２の配置が変更された結果、２つの影４０１’，４０２’の一部が重なった場合においても、元の２つの影４０１’，４０２’に分離することが可能であり、実施例１と同様に接近度、接触点、指さし方法を検出することができる。よって、照明の配置に関し自由度が増す。

なお、本実施例では影の濃度の違いを利用して２つの影４０１’，４０２’に分離したが、他の方法として、照明１０１と照明１０２とを交互に点灯させ、１フレームごとに影が切り替わる画像を取り込んで影を分離することができる。あるいは、照明１０１と照明１０２の光の波長が異なるようにし、それぞれの波長に適応するカメラを用いることで影を分離することができる。

実施例３では、前記した操作検出装置１を内蔵したプロジェクタの構成について説明する。

図１７は、実施例３におけるプロジェクタ２ａ（２ｂ）の構成図を示す。ここにプロジェクタ２ａ（２ｂ）は、実施例１（図１）で述べた操作検出装置１を内蔵するとともに、プロジェクタ機能として映像投写をするための構成が加えられている。プロジェクタの機能として、中央処理部２０１、操作解析部２０２、メモリ２０３、映像制御部２０４、映像投写部２１０などを有する。

中央処理部２０１は、中央処理装置（ＣＰＵ）等の半導体チップや、オペレーティングシステム（ＯＳ）等のソフトウェアで構成され、操作解析部２０２で解析されるユーザの操作などに基づいて、メモリ２０３への情報の入出力や、映像制御部２０４、映像投写部２１０等の各部を制御する。また、操作検出装置１の出力部１３０から得られる表示制御データ１５１（操作モード）に基づき、操作モードを接触操作モード、空中操作モード、操作オフモードの間で切り替える。

操作解析部２０２は、回路基板やソフトウェアで構成され、操作検出装置１の出力部１３０から得られる検出結果データ１５０（接近度、接触点、指さし方向）に基づき、投写中の映像に対するユーザの操作内容を解析する。
メモリ２０３は、半導体などで構成され、中央処理部２０１の演算や制御に必要な情報や、投写映像として表示する映像情報などを記憶する。

映像制御部２０４は、回路基板などで構成され、中央処理部２０１の制御に応じて、映像情報の描画に必要な演算処理を行い、映像投写部２１０の入力に適した形式で、画素の集合からなる描画情報を出力する。また、操作検出装置１の出力部１３０から得られる表示制御データ１５１（ポインタ位置、ポインタ方向）に基づき、映像に重畳するポインタの描画条件を変更する。

映像投写部２１０は、ランプ等の光源や、レンズ、反射ミラー等の光学部品や、液晶パネル等から構成され、光源から出射される光束を変調して、映像制御部２０４から送られる描画情報に応じた画像光を形成し、スクリーン等の投写面上に画像光を拡大投写する。

なお、図１７の各部は独立しているが、必要に応じて１または複数の構成要件で構成しても良い。例えば、２０１〜２０４は、１または複数の半導体チップ（System-on-a-chip：ＳｏＣ等）でその処理を行うように構成しても良い。

図１８は、前記プロジェクタとして短投写型プロジェクタ２ａの例を示し、（ａ）は正面図、（ｂ）は側面図である。短投写型プロジェクタ２ａは壁面２１上部に取り付けられる。映像投写部２１０からは、ＧＵＩ等の所定の映像信号に基づき投写光２３ａを出射することにより、壁面２１のスクリーン２２’に投写映像２３を映し出す。ユーザ３は操作面を兼ねるスクリーン２２’上で指操作することで、投写映像２３に対して所望の制御を行うことができる。

ユーザ３が投写映像２３の任意の箇所に指３０を触れる、あるいは指を近づけることにより、操作検出装置１は指の影画像から接近度、接触点、指さし方向などを検出して、検出データ１５０を中央処理部２０１を介して操作解析部２０２に送る。操作解析部２０２は投写映像２３に対する操作内容を解析し、中央処理部２０１はユーザの操作に応じて映像の変更等の処理を実行する。また、操作検出装置１は、検出データ１５０に基づき表示制御データ１５１（操作モード、ポインタ位置、ポインタ方向）を生成し、中央処理部２０１を介して映像制御部２０４に送る。このように、プロジェクタ２ａに前記操作検出装置１を内蔵することにより、ユーザは投写映像に対して効率良く操作を行うことができる。

図１９は、前記プロジェクタの他の構成として、ヘッドマウント型プロジェクタ２ｂの例を示し、（ａ）は外観図、（ｂ）は上面図である。ヘッドマウント型プロジェクタ２ｂでは、眼鏡型の筐体には小型プロジェクタ本体２０が取り付けられ、眼鏡のレンズ面に投写光２３ａを出射することで映像２３を映し出し、ユーザは映像を見ることができる。

また、眼鏡型の筐体の両端には照明１０１及び照明１０２が取り付けられ、筐体の中央にはカメラ１００が取り付けられ、ユーザの視線の先にある操作面２２を照射するとともに、操作面２２に対するユーザの指操作を撮像しその接近度や接触点などを検出することができる。

これにより、小型プロジェクタ本体２０により眼鏡のレンズ面に投写される映像２３とユーザが操作する操作面２２とが、ユーザの視界において重なり、あたかも操作面２２上に映像が表示されているかのように振る舞う。すなわち、小型プロジェクタ本体２０が映像を表示した場合、ユーザは操作面２２に対し指操作を行うことで、表示される映像に対する操作制御を行うことができる。

上記したように、操作検出装置１を内蔵するプロジェクタ２ａ，２ｂにおいては、映像の投写面にセンサなどを設けることなく、マルチタッチ操作を含めユーザは投写映像に対して効率良く操作を行うことができ、プロジェクタの使い勝手が向上する。

なお、上述した本実施形態は本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。

１：操作検出装置、
１００：カメラ、
１０１，１０２：照明、
１０４：影領域抽出部、
１０５：特徴点検出部、
１０６：接近度検出部、
１０７：接触点検出部、
１０８：輪郭検出部、
１０９：方向検出部、
１２０：制御部、
１２１：表示制御部、
１３０：出力部、
１５０：検出結果データ、
１５１：表示制御データ、
２：操作対象装置（プロジェクタ）、
２ａ：短投写型プロジェクタ、
２ｂ：ヘッドマウント型プロジェクタ、
２０：小型プロジェクタ本体、
２１：壁面、
２２：操作面、
２３：投写映像、
２３ａ：投写光、
２０１：中央処理部、
２０２：操作解析部、
２０３：メモリ、
２０４：映像制御部、
２１０：映像投写部、
３：ユーザ、
３０，３１，３２：指、
４０１，４０２，４０３，４０４，４０５：影、
５０１，５０２：輪郭線、
６０１，６０２：特徴点、
７００，７０１，７０２，７０３：指さし方向、
８００：ポインタ、
Ｐ：接触点。

Claims (12)

1. 操作面に対するユーザの操作を検出する操作検出装置において、
   前記操作面に異なる位置から照明光を照射する第１、第２の照明と、
   前記照明光が照射された前記操作面を前記ユーザの操作部とともに撮像するカメラと、
   該カメラより得られる撮像画像の輝度を所定の閾値と比較し、前記第１、第２の照明で生じる前記ユーザの操作部に対する第１、第２の影を抽出する影領域抽出部と、
   前記抽出された第１、第２の影の形状から、前記ユーザの操作部の前記操作面に対する接近度、接触点、操作部の指し示す方向の少なくとも１つの操作状態を検出する操作状態検出部と、
   を備えることを特徴とする操作検出装置。
2. 請求項１に記載の操作検出装置であって、
   前記操作状態検出部は、
   前記抽出された第１、第２の影の中からそれぞれの特徴点を検出する特徴点検出部と、
   前記抽出された第１、第２の影の輪郭線から略直線状の線分をそれぞれの輪郭線として検出する輪郭検出部と、
   前記検出した２つの特徴点間の距離から前記ユーザの操作部の前記操作面への接近度を検出する接近度検出部と、
   前記検出した２つの特徴点の位置から前記ユーザの操作部の前記操作面への接触点を検出する接触点検出部と、
   前記検出した輪郭線の方向から前記ユーザの操作部の指し示す方向を検出する方向検出部と、を備え、
   前記接近度検出部は、前記検出した２つの特徴点間の距離が所定の閾値以下となったときに前記ユーザの操作部が前記操作面に接触したと判定することを特徴とする操作検出装置。
3. 請求項２に記載の操作検出装置であって、
   前記特徴点検出部は、前記抽出された第１、第２の影の中で前記操作部の先端位置を前記特徴点として検出し、
   前記接触点検出部は、前記検出した２つの特徴点の中点位置を前記接触点として検出することを特徴とする操作検出装置。
4. 請求項２に記載の操作検出装置であって、
   前記影領域抽出部は、前記抽出された第１、第２の影が重なって抽出された場合、薄い影の領域とこれに隣接する濃い影の領域を加算することで、前記第１、第２の照明により生じる第１、第２の影に分離することを特徴とする操作検出装置。
5. 請求項１または２に記載の操作検出装置であって、
   前記操作状態検出部により検出した接近度、接触点、操作部の指し示す方向の検出結果に基づき、当該操作検出装置に接続された操作対象装置に対する表示制御データを生成する表示制御部を備えることを特徴とする操作検出装置。
6. 請求項５に記載の操作検出装置であって、
   前記表示制御部の生成する前記表示制御データには、操作モードの切替、ポインタ表示位置の補正、ポインタ表示方向の補正、接触点位置の補正の少なくとも１つを含むことを特徴とする操作検出装置。
7. 操作面に対するユーザの操作を検出する操作検出方法において、
   第１、第２の照明により前記操作面に異なる位置から照明光を照射し、
   カメラにより前記照明光が照射された前記操作面を前記ユーザの操作部とともに撮像し、
   該カメラより得られる撮像画像の輝度を所定の閾値と比較し、前記第１、第２の照明で生じる前記ユーザの操作部に対する第１、第２の影を抽出し、
   前記抽出された第１、第２の影の形状から、前記ユーザの操作部の前記操作面に対する接近度、接触点、操作部の指し示す方向の少なくとも１つの操作状態を検出することを特徴とする操作検出方法。
8. 請求項７に記載の操作検出方法であって、
   前記操作状態の検出のために、
   前記抽出された第１、第２の影の中からそれぞれの特徴点を検出し、
   前記抽出された第１、第２の影の輪郭線から略直線状の線分をそれぞれの輪郭線として検出し、
   前記検出した２つの特徴点間の距離から前記ユーザの操作部の前記操作面への接近度を検出し、
   前記検出した２つの特徴点の位置から前記ユーザの操作部の前記操作面への接触点を検出し、
   前記検出した輪郭線の方向から前記ユーザの操作部の指し示す方向を検出するものであって、
   前記検出した２つの特徴点間の距離が所定の閾値以下となったときに前記ユーザの操作部が前記操作面に接触したと判定することを特徴とする操作検出方法。
9. 請求項８に記載の操作検出方法であって、
   前記特徴点の検出では、前記抽出された第１、第２の影の中で前記操作部の先端位置を前記特徴点として検出し、
   前記接触点の検出では、前記検出した２つの特徴点の中点位置を前記接触点として検出することを特徴とする操作検出方法。
10. 請求項８に記載の操作検出方法であって、
    前記影領域の抽出では、前記抽出された第１、第２の影が重なって抽出された場合、薄い影の領域とこれに隣接する濃い影の領域を加算することで、前記第１、第２の照明により生じる第１、第２の影に分離することを特徴とする操作検出方法。
11. 請求項７または８に記載の操作検出方法であって、
    前記操作状態として検出した接近度、接触点、操作部の指し示す方向の検出結果に基づき、操作対象装置に対する表示制御データを生成することを特徴とする操作検出方法。
12. 請求項１１に記載の操作検出方法であって、
    前記表示制御データには、操作モードの切替、ポインタ表示位置の補正、ポインタ表示方向の補正、接触点位置の補正の少なくとも１つを含むことを特徴とする操作検出方法。

Images