JP2013250882A - 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム - Google Patents
注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム Download PDFInfo
- Publication number
- JP2013250882A JP2013250882A JP2012126299A JP2012126299A JP2013250882A JP 2013250882 A JP2013250882 A JP 2013250882A JP 2012126299 A JP2012126299 A JP 2012126299A JP 2012126299 A JP2012126299 A JP 2012126299A JP 2013250882 A JP2013250882 A JP 2013250882A
- Authority
- JP
- Japan
- Prior art keywords
- user
- operator
- area
- information
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
【課題】機器を身振りで操作できるユーザを機器側で判断することで、操作性を向上させる。
【解決手段】距離算出部は、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する。ユーザ情報解析部は、第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、操作領域を検出できた場合には、第１位置情報が表す身体の一部を有するユーザを操作者として特定する。ユーザ情報解析部は、操作者の候補のうち、操作領域に身体の一部が含まれたユーザを操作者と特定し、操作者の候補のうち操作者と特定したユーザ以外のユーザを操作することができないユーザと特定する。
【選択図】図３
【解決手段】距離算出部は、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する。ユーザ情報解析部は、第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、操作領域を検出できた場合には、第１位置情報が表す身体の一部を有するユーザを操作者として特定する。ユーザ情報解析部は、操作者の候補のうち、操作領域に身体の一部が含まれたユーザを操作者と特定し、操作者の候補のうち操作者と特定したユーザ以外のユーザを操作することができないユーザと特定する。
【選択図】図３
Description
本発明は、注目位置検出装置、注目位置検出方法、及び注目位置検出プログラムに関する。
コンピュータ、ゲーム機等の機器を操作するためのユーザインタフェースとして様々な機器や手法が提案されている。特にゲーム機には、ユーザの動きを検出（モーションキャプチャ）し、ユーザの身体全体の姿勢で機器を操作するものが提案されている。
例えば、特許文献１に記載の三次元指先位置検出装置は、第１および第２のカメラで操作者の手指を撮影し、撮影した手指の三次元指先位置を検出する。
特許文献２に記載の映像表示装置は、ユーザを識別し、ユーザの位置と動作を検出し、検出したユーザの位置と動作により、表示映像の視聴対象であるユーザを判別し、ユーザに対応して映像を表示するアプリケーションを制御する。
例えば、特許文献１に記載の三次元指先位置検出装置は、第１および第２のカメラで操作者の手指を撮影し、撮影した手指の三次元指先位置を検出する。
特許文献２に記載の映像表示装置は、ユーザを識別し、ユーザの位置と動作を検出し、検出したユーザの位置と動作により、表示映像の視聴対象であるユーザを判別し、ユーザに対応して映像を表示するアプリケーションを制御する。
しかしながら、特許文献１に記載の三次元指先位置検出装置では、手指が指す方向でディスプレイ上の位置を検出するため、ユーザが注目する位置に対し、必ず指先を向ける必要があり、ユーザの注目位置を指定するジェスチャの自由度が少ないということがある。また、指差し方向がカメラの光軸と平行となった場合は、指軸の位置姿勢を検出することが容易ではないといったことがある。
さらに、特許文献１に記載の三次元指先位置検出装置は、ユーザの指差し位置方向と視線の方向は必ずしも平行とはならないため、ユーザが注目した位置通りにディスプレイ上のポインタを移動できず、操作するのに慣れが必要といったことがある。
さらに、特許文献１に記載の三次元指先位置検出装置は、ユーザの指差し位置方向と視線の方向は必ずしも平行とはならないため、ユーザが注目した位置通りにディスプレイ上のポインタを移動できず、操作するのに慣れが必要といったことがある。
また、特許文献２に記載の映像表示装置では、ユーザが動作した場合、その動作が操作入力を意図した動作か、他の目的を意図した動作かを判別することができないことがある。複数のユーザが当該映像表示装置に表示された映像を同時に視聴する場合、一方のユーザによる動作によって、他方のユーザが意図しない操作入力がなされることがある。また、複数のユーザが同時に動作して、当該映像表示装置が各々操作入力を受け付けると、相矛盾する操作入力に対する処理が指示されることで誤動作の原因になることがある。このことは、映像の視聴に支障をきたすことがある。
ディスプレイの大型化、高解像度化により、一度にたくさんのサムネイル・アイコンなどのコンテンツを表示すると、従来のリモコンでは目的のコンテンツに到達するまで、何度もカーソール移動ボタンを押す操作を行う必要があり操作しづらい。また、従来のジェスチャユーザインターフェースでは、ポインタの操作開始位置と手の位置関係の対応づけが分からず、画面上のポインタの操作開始位置を把握できなかった。そのため、操作者の思い通りに操作できないという問題があった。
本発明は、このような問題を鑑みてなされたもので、操作性を向上することが可能な注目位置検出装置を提供することである。
本発明は、このような問題を鑑みてなされたもので、操作性を向上することが可能な注目位置検出装置を提供することである。
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出部と、前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析部と、を備え、前記ユーザ情報解析部は、前記操作者の候補のうち、前記操作領域に前記身体の一部が含まれたユーザを操作者と特定し、前記操作者の候補のうち前記操作者と特定したユーザ以外のユーザを操作することができないユーザと特定することを特徴とする注目位置検出装置である。
また、本発明の一態様は、上記注目位置検出装置において、ユーザ情報解析部は、前記操作領域に前記身体の一部が含まれる場合に、前記撮像装置が撮像した映像に表されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、前記ユーザ情報解析部が検出したユーザ情報に対応する処理を実行する制御部を備えることを特徴とする。
また、本発明の一態様は、上記注目位置検出装置において、前記ユーザ情報解析部は、前記ユーザが指定する所定の操作によって、前記操作領域を検出することを特徴とする。
また、本発明の一態様は、上記注目位置検出装置において、前記ユーザ情報解析部は、前記ユーザが、前記ユーザの視野内にある表示装置の表示領域の第一の頂点を指定し、第一の頂点と対角にある第二の頂点を指定する操作によって、前記操作領域を検出することを特徴とする。
また、本発明の一態様は、上記注目位置検出装置において、前記ユーザ情報解析部が検出する操作領域であって表示装置から前記ユーザを見た場合の操作領域のサイズと、表示装置の表示領域における被操作領域のサイズと、を対応付け、当該対応付けに基づいて、前記操作領域内にある該ユーザの体の一部の位置から被操作領域内で対応する位置を算出する注目位置検出部を備える。
また、本発明の一態様は、上記注目位置検出装置において、前記身体の一部が、手であることを特徴とする。
また、本発明の一態様は、上記注目位置検出装置において、前記撮像装置が撮像した映像を表示する表示部を備え、前記撮像装置は、前記表示部よりも高い位置に設置されていることを特徴とする。
また、本発明の一態様は、上記注目位置検出装置において、前記操作領域は、前記操作者から注目位置検出装置に向かうに従って広がることを特徴とする。
また、本発明の一態様は、上記注目位置検出装置において、前記ユーザ情報解析部は、前記操作者の目の位置又は顔の位置と、表示装置の表示領域における被操作領域と、に基づいて、前記操作領域を検出することを特徴とする。
また、本発明の一態様は、上記注目位置検出装置において、前記操作者の目の位置又は顔の位置を表す基準位置情報と、前記操作者の身体の一部の位置を表す指示位置情報と、に基づいて、表示装置の表示領域における被操作領域内の位置であって、前記操作者の身体の一部が示す位置を算出する注目位置検出部
を備えることを特徴とする。
を備えることを特徴とする。
また、本発明の一態様は、注目位置検出装置における注目位置検出方法において、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出過程と、前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析過程と、を有することを特徴とする注目位置検出方法である。
また、本発明の一態様は、注目位置検出装置における注目位置検出方法において、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出過程と、前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析過程と、前記ユーザ情報解析過程で検出された操作領域であって表示装置から前記ユーザを見た場合の操作領域のサイズと、表示装置の表示領域における被操作領域のサイズと、を対応付け、当該対応付けに基づいて、前記操作領域内にある該ユーザの体の一部の位置から被操作領域内で対応する位置を算出する注目位置検過程と、を有することを特徴とする注目位置検出方法である。
また、本発明の一態様は、コンピュータに、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出手段、前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析手段、を実行させるための注目位置検出プログラムである。
また、本発明の一態様は、コンピュータに、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出手段、前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析手段、前記ユーザ情報解析手段で検出された操作領域であって表示装置から前記ユーザを見た場合の操作領域のサイズと、表示装置の表示領域における被操作領域のサイズと、を対応付け、当該対応付けに基づいて、前記操作領域内にある該ユーザの体の一部の位置から被操作領域内で対応する位置を算出する注目位置検手段、を実行させるための注目位置検出プログラムである。
本発明によれば、操作性を向上することが可能である。
〔第１実施形態〕
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る表示装置１０の使用態様を表す概念図である。
図１において、表示装置１０は、映像を表示する装置、例えばテレビジョン受信機、ディジタルサイネージ（電子看板）装置、映像会議装置である。表示装置１０は、正面下辺の中央部に撮像装置１１を備え、正面の大部分を覆うように表示部１２を備える。
撮像装置１１は、手前方向の映像を撮像する、例えばステレオカメラである。撮像装置１１は、例えば、左右方向に互いに離れた位置に、映像を撮像する撮像部１１０ａ、１１０ｂを備える。撮像部１１０ａ、１１０ｂは、それぞれカメラユニットである。表示部１２は、映像表示する、例えばディスプレイである。なお、表示装置１０は、音声を出力するスピーカ（図示せず）を備える。
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る表示装置１０の使用態様を表す概念図である。
図１において、表示装置１０は、映像を表示する装置、例えばテレビジョン受信機、ディジタルサイネージ（電子看板）装置、映像会議装置である。表示装置１０は、正面下辺の中央部に撮像装置１１を備え、正面の大部分を覆うように表示部１２を備える。
撮像装置１１は、手前方向の映像を撮像する、例えばステレオカメラである。撮像装置１１は、例えば、左右方向に互いに離れた位置に、映像を撮像する撮像部１１０ａ、１１０ｂを備える。撮像部１１０ａ、１１０ｂは、それぞれカメラユニットである。表示部１２は、映像表示する、例えばディスプレイである。なお、表示装置１０は、音声を出力するスピーカ（図示せず）を備える。
操作者１３は、表示装置１０を操作するユーザである。操作者１３は、表示装置１０の正面に対面し、所定の姿勢、例えば身体の手振り、身振り（ジェスチャ）をとる。表示装置１０に内蔵されたユーザ情報解析部２０１（図３）は、撮像装置１１が撮像した画像に表された操作者１３の身体の一部がとる姿勢を表すユーザ情報を取得する。ユーザ情報には、例えば、指差しなどの手の形状・握り拳、その動かし方を表す情報が含まれる。表示装置１０は、撮像装置１１を介して取得したユーザ情報に対応した処理（機能、動作）を実行する。これにより、操作者１３は、指差しなどの手の形状・握り拳、その動かし方により、表示装置１０の処理を操作することができる。
表示装置１０には、自己の位置を基準とする予め設定された領域であって、操作者１３による操作を受け付ける操作可能領域が予め設定されている。表示装置１０には、操作可能領域として、例えば、表示装置１０の中心部から操作者１３の手の位置までの手前方向の距離である操作可能距離の上限（例えば、３ｍ）が設定されている。但し、操作可能領域の左右方向は、例えば、撮像装置１１の視野角の範囲内に設定されることができる。この場合には、左右方向の設定は不要である。表示装置１０には、操作可能距離の上限よりも離れたユーザである操作不可者１４による操作を受け付けない。操作を受け付けるユーザを判別する処理については、後で詳述する。
図２は、ユーザと表示装置１０の位置関係を表す平面図である。
図２において、上下は、それぞれ表示装置１０の奥、手前の方向を表す。図２が示す操作者１３、操作不可者１４及び表示装置１０の位置関係は同様である。ここで、図２では、操作者１３は、表示装置１０の正面であって、表示装置１０からの距離が操作可能距離の上限よりも短い（近い）位置に所在している。これに対し、操作不可者１４は、表示装置１０の正面であって、表示装置１０からの距離が操作可能距離の上限よりも長い（遠い）位置に所在している。
図２において、上下は、それぞれ表示装置１０の奥、手前の方向を表す。図２が示す操作者１３、操作不可者１４及び表示装置１０の位置関係は同様である。ここで、図２では、操作者１３は、表示装置１０の正面であって、表示装置１０からの距離が操作可能距離の上限よりも短い（近い）位置に所在している。これに対し、操作不可者１４は、表示装置１０の正面であって、表示装置１０からの距離が操作可能距離の上限よりも長い（遠い）位置に所在している。
上述のように操作可能距離（操作可能距離の上限）が設定されることにより、制御部２２(図３)が、複数のユーザが同時に操作を行う機会や、操作以外の目的で操作又は操作と誤認される動作（例えば、路上近傍におかれたディジタルサイネージの場合における通行人による手振り）を表す画像が入力される機会を制限する。例えば公共の場に設置されたディジタルサイネージ装置のように、表示装置１０が同時に複数のユーザに利用される場合でも映像を視聴するユーザが意図しない処理が回避される。
図１に示す例は、撮像装置１１が表示装置１０の正面下辺に設置されている場合を示すが、これに限定されない。例えば、撮像装置１１は、表示装置１０の正面上辺に設置されていてもよいし、表示装置１０から離れた位置に設置されていてもよい。
撮像装置１１は、操作者１３の顔面の高さ、特に、目の高さよりも高い位置に設置されていてもよい。そのために、撮像装置１１の高さを、操作者１３が所在する床面の高さと人間の平均身長を考慮して予め定めておく。その他、表示装置１０が、例えば床面など比較的低い位置に設置される場合には、撮像装置１１は、表示部１２よりも高い位置に設置されていてもよい。
これにより、撮像装置１１は、操作者１３の顔面よりも高い位置から操作者１３の身体を表す映像を撮像することができ、指差しなどの手の形状・握り拳、その動かし方によって操作者１３の顔面が遮蔽されることを防止することができる。そのため、制御部２２が、操作者１３の顔面の画像を用いて行われる操作者の識別、顔面の位置の検出、操作の検出などの処理を安定して実行できる。これらの処理については後述する。
撮像装置１１は、操作者１３の顔面の高さ、特に、目の高さよりも高い位置に設置されていてもよい。そのために、撮像装置１１の高さを、操作者１３が所在する床面の高さと人間の平均身長を考慮して予め定めておく。その他、表示装置１０が、例えば床面など比較的低い位置に設置される場合には、撮像装置１１は、表示部１２よりも高い位置に設置されていてもよい。
これにより、撮像装置１１は、操作者１３の顔面よりも高い位置から操作者１３の身体を表す映像を撮像することができ、指差しなどの手の形状・握り拳、その動かし方によって操作者１３の顔面が遮蔽されることを防止することができる。そのため、制御部２２が、操作者１３の顔面の画像を用いて行われる操作者の識別、顔面の位置の検出、操作の検出などの処理を安定して実行できる。これらの処理については後述する。
〔表示装置の構成〕
次に本実施形態に係る表示装置１０の構成について説明する。
図３は、本実施形態に係る表示装置１０の構成を表すブロック図である。
表示装置１０は、データ入力装置２ａ又は表示制御装置２ｂを含んで構成される。データ入力装置２ａは、撮像装置１１、画像処理装置２０、情報ＤＢ２１（Ｄａｔａｂａｓｅ、データベース）及び制御部２２を含んで構成される。
撮像装置１１は、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２０に出力する。画像処理装置２０は、撮像装置１１から入力された映像信号に基づき判別した操作者を表す操作者情報の取得、操作者の身体の一部が所在する位置を表す第１空間情報の取得、操作者の身体の一部がとる形状を表すユーザ情報の取得を行う。画像処理装置２０は、取得した操作者情報、第１空間情報及びユーザ情報を検出情報として表示制御装置２ｂに出力する。
次に本実施形態に係る表示装置１０の構成について説明する。
図３は、本実施形態に係る表示装置１０の構成を表すブロック図である。
表示装置１０は、データ入力装置２ａ又は表示制御装置２ｂを含んで構成される。データ入力装置２ａは、撮像装置１１、画像処理装置２０、情報ＤＢ２１（Ｄａｔａｂａｓｅ、データベース）及び制御部２２を含んで構成される。
撮像装置１１は、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２０に出力する。画像処理装置２０は、撮像装置１１から入力された映像信号に基づき判別した操作者を表す操作者情報の取得、操作者の身体の一部が所在する位置を表す第１空間情報の取得、操作者の身体の一部がとる形状を表すユーザ情報の取得を行う。画像処理装置２０は、取得した操作者情報、第１空間情報及びユーザ情報を検出情報として表示制御装置２ｂに出力する。
表示制御装置２ｂは、情報ＤＢ２１、制御部２２及び表示部１２を含んで構成される。
情報ＤＢ２１には、操作者１３の映像を表す映像信号に基づく操作入力に応じて表示する表示情報が記憶されている。表示情報は、例えば、映像コンテンツ等を表す映像信号、ニュース等を表すテキスト情報、ネットワークから受信したコンテンツを表すコンテンツ情報、案内画像（操作ガイド）を表す案内画像信号である。案内画像の詳細については後述する。
情報ＤＢ２１には、操作者１３の映像を表す映像信号に基づく操作入力に応じて表示する表示情報が記憶されている。表示情報は、例えば、映像コンテンツ等を表す映像信号、ニュース等を表すテキスト情報、ネットワークから受信したコンテンツを表すコンテンツ情報、案内画像（操作ガイド）を表す案内画像信号である。案内画像の詳細については後述する。
制御部２２は、画像処理装置２０から入力された検出情報から第１空間情報とユーザ情報を抽出する。制御部２２は、抽出した第１空間情報が表す操作者１３の位置が予め定められた操作可能領域の範囲内である場合、抽出したユーザ情報に対応する処理を行う。ここで、制御部２２は、例えば、第１空間情報が表す操作者１３の距離が予め設定された操作可能距離の上限よりも小さいか否かを判断する。ユーザ情報に対応する処理とは、例えば、案内画像の表示、映像コンテンツの表示、ネットワークからの情報検索、検索された情報に係る映像コンテンツ等やニュース等の保存、保存された情報の表示等、各種の映像表示に係る処理である。
制御部２２は、保存することが指示された情報を表示情報として情報ＤＢ２１に記憶する。制御部２２は、表示することが指示された表示情報を情報ＤＢ２１から読み出し、読み出した表示情報を表す映像信号を表示部１２に出力する。制御部２２は、停止することが指示された表示情報の出力を停止する。
表示部１２は、制御部２２から入力された映像信号を映像として表示する。これにより、操作者１３が行って操作によって選択された映像コンテンツやニュースに係る映像や、案内画像を表示する。
これにより、表示制御装置２ｂは、画像処理装置２０から入力された検出情報に含まれるユーザ情報が表すコンテンツを選択する処理や、選択したコンテンツを表示する処理を実行する。
表示部１２は、制御部２２から入力された映像信号を映像として表示する。これにより、操作者１３が行って操作によって選択された映像コンテンツやニュースに係る映像や、案内画像を表示する。
これにより、表示制御装置２ｂは、画像処理装置２０から入力された検出情報に含まれるユーザ情報が表すコンテンツを選択する処理や、選択したコンテンツを表示する処理を実行する。
次に、データ入力装置２ａのより詳細な構成について説明する。
撮像装置１１は、撮像部１１０ａ、１１０ｂを含んで構成される。撮像部１１０ａ、１１０ｂは、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２００に出力する。撮像部１１０ａは、生成した映像信号をユーザ情報解析部２０１に出力する。撮像部１１０ａ、１１０ｂは、例えば、被写体から入射された光を集光するレンズを備えた光学系と、集光された光を電気信号に変換する撮像素子を備えるカメラである。撮像部１１０ａ、１１０ｂが備える撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。
撮像装置１１は、撮像部１１０ａ、１１０ｂを含んで構成される。撮像部１１０ａ、１１０ｂは、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２００に出力する。撮像部１１０ａは、生成した映像信号をユーザ情報解析部２０１に出力する。撮像部１１０ａ、１１０ｂは、例えば、被写体から入射された光を集光するレンズを備えた光学系と、集光された光を電気信号に変換する撮像素子を備えるカメラである。撮像部１１０ａ、１１０ｂが備える撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。
画像処理装置２０は、距離算出部２００、ユーザ情報解析部２０１を含んで構成される。
距離算出部２００は、撮像部１１０ａ、１１０ｂから各々映像信号が入力される。距離算出部２００は、各々入力された映像信号に基づいて撮像装置１１から被写体（例えば、操作者１３）までの距離を表す距離情報を、例えばステレオマッチング方式を用いて算出する。
距離算出部２００は、撮像部１１０ａ、１１０ｂから各々映像信号が入力される。距離算出部２００は、各々入力された映像信号に基づいて撮像装置１１から被写体（例えば、操作者１３）までの距離を表す距離情報を、例えばステレオマッチング方式を用いて算出する。
〔距離情報の算出〕
ここで、ステレオマッチング方式の一種であるブロックマッチング方式を用いた距離情報の算出方法について説明する。ステレオマッチング方式では、撮像部１１０ａ、１１０ｂが撮像した映像の視差値を距離値として算出する。以下の説明では、撮像部１１０ａが撮像した映像に含まれる画像であって、ある時点における画像を左画像と呼ぶ。撮像部１１０ｂが撮像した映像に含まれる画像であって、その時点における画像を右画像と呼ぶ。
ここで、ステレオマッチング方式の一種であるブロックマッチング方式を用いた距離情報の算出方法について説明する。ステレオマッチング方式では、撮像部１１０ａ、１１０ｂが撮像した映像の視差値を距離値として算出する。以下の説明では、撮像部１１０ａが撮像した映像に含まれる画像であって、ある時点における画像を左画像と呼ぶ。撮像部１１０ｂが撮像した映像に含まれる画像であって、その時点における画像を右画像と呼ぶ。
ステレオマッチング方式では、左画像の一部の領域である左画像ブロックと対応する領域である右画像ブロックを探索する。ここで左画像及び同時に撮像された右画像を例にとって説明する。
図４は、左画像及び右画像の一例を表す概念図である。
図４は、左側に左画像４０を表し、右側に右画像４１を表す。
距離算出部２００は、左画像４０において、注目画素を中心とする左画像ブロック（ウィンドウ）４００を設定する。左画像ブロック４００に含まれる左右方向に３個、上下方向に３個、計９個の四角形は、それぞれ画素を表す。図４における左画像４０の右端から左画像ブロック４００の右端までの水平方向の距離がＬ画素（Ｌ個の画素分の距離）である。Ｌは、１又は１よりも大きい整数である。
図４は、左画像及び右画像の一例を表す概念図である。
図４は、左側に左画像４０を表し、右側に右画像４１を表す。
距離算出部２００は、左画像４０において、注目画素を中心とする左画像ブロック（ウィンドウ）４００を設定する。左画像ブロック４００に含まれる左右方向に３個、上下方向に３個、計９個の四角形は、それぞれ画素を表す。図４における左画像４０の右端から左画像ブロック４００の右端までの水平方向の距離がＬ画素（Ｌ個の画素分の距離）である。Ｌは、１又は１よりも大きい整数である。
距離算出部２００は、右画像４１において、左画像ブロック４００と上下方向の座標が同一であって、右画像４１の右端からの距離がＬ＋ｄ２に右端をもつ右画像ブロック４１０を初期値として設定する。ｄ２は、予め設定された整数値であり、視差値の最大値を表す。右画像ブロック４１０の大きさ及び形状は、左画像ブロック４００と同一である。
距離算出部２００は、左画像ブロック４００と右画像ブロック４１０との間の指標値を算出する。距離算出部２００は、右画像ブロック４１０の右端が右画像４１の右端からの距離がＬ画素になるまで位置をずらし、それぞれずれた位置で指標値を算出する。距離算出部２００は算出した指標値に基づいて左画像ブロック４００と対応する位置にある右画像ブロック４１０を定める。指標値として、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を用いる場合、ＳＡＤ値が最小となる位置にある右画像ブロック４１０を定める。この位置が左画像４０における注目画素に対応する注目点である。注目点と注目画素の間の水平方向の座標の差分に対する絶対値が視差である。距離算出部２００は、左画像４０に含まれる各画素について実行し、撮像部１１０ａが撮像した映像に含まれる画素毎の視差値を表す視差情報（視差マップ、ディスパリティマップともいう）を距離情報として生成する。視差は、撮像装置１１から被写体までの距離が短いほど大きく、距離が長いほど小さくなる関係がある。距離算出部２００は、生成した距離情報をユーザ情報解析部２０１に出力する。
距離算出部２００は、左画像ブロック４００と右画像ブロック４１０との間の指標値を算出する。距離算出部２００は、右画像ブロック４１０の右端が右画像４１の右端からの距離がＬ画素になるまで位置をずらし、それぞれずれた位置で指標値を算出する。距離算出部２００は算出した指標値に基づいて左画像ブロック４００と対応する位置にある右画像ブロック４１０を定める。指標値として、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を用いる場合、ＳＡＤ値が最小となる位置にある右画像ブロック４１０を定める。この位置が左画像４０における注目画素に対応する注目点である。注目点と注目画素の間の水平方向の座標の差分に対する絶対値が視差である。距離算出部２００は、左画像４０に含まれる各画素について実行し、撮像部１１０ａが撮像した映像に含まれる画素毎の視差値を表す視差情報（視差マップ、ディスパリティマップともいう）を距離情報として生成する。視差は、撮像装置１１から被写体までの距離が短いほど大きく、距離が長いほど小さくなる関係がある。距離算出部２００は、生成した距離情報をユーザ情報解析部２０１に出力する。
視差マップは、予め定めたビット数で表される整数値（例えば、８ビットの場合、最小値０−最大値２５５）で表された視差値を画素毎に有する、グレースケール化したビットマップ画像である。なお、距離算出部２００は、撮像部１１０ａと撮像部１１０ｂの間隔である基線長等のカメラパラメータに基づいて、撮像装置１１から被写体までの被写空間における距離に変換し、変換した距離を表す距離情報を生成してもよい。この場合、距離算出部２００は、生成した距離情報を、画素毎の視差値を表す距離情報の代わりに、グレースケール化したビットマップ画像（デプスマップ）を距離情報として生成してもよい。
なお、撮像部１１０ａ、１１０ｂは、上下方向に異なる座標値に配置され、各々が撮像した画像を表す撮像画像を用いて視差を算出してもよい。その場合、距離算出部２００は、撮像部１１０ａ、１１０ｂのいずれかが撮影した画像における画像ブロックを基準として、他方が撮影した画像における画像ブロックを上下方向にずらして対応する画像ブロックを探索すればよい。
なお、撮像部１１０ａ、１１０ｂは、上下方向に異なる座標値に配置され、各々が撮像した画像を表す撮像画像を用いて視差を算出してもよい。その場合、距離算出部２００は、撮像部１１０ａ、１１０ｂのいずれかが撮影した画像における画像ブロックを基準として、他方が撮影した画像における画像ブロックを上下方向にずらして対応する画像ブロックを探索すればよい。
距離算出部２００は、ＳＡＤ値を算出する際、例えば、式（１）を用いる。
式（１）において、ｘｉは、左画像ブロック４００に含まれる、例えば緑色（Ｇ）の画素毎の画素値である。８は、１個の画像ブロックに含まれる画素数の一例である。画素値ｘ０〜ｘ９にそれぞれ対応する画素の配置は、図５の左側に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。ｘａｉは、右画像ブロック４１０に含まれる画素毎の画素値である。画素値ｘａ０〜ｘａ９にそれぞれ対応する画素の配置は、図５の右側に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。
指標値は、ＳＡＤ値に限られない。左画像ブロック４００に含まれる画素値と右画像ブロック４１０に含まれる画素値との相関を表すものであれば、他の指標値、例えばＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）値や、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）値であってもよい。
左画像ブロック４００、右画像ブロック４１０の大きさであるウィンドウサイズは、上述のように水平方向３画素×上下方向３画素に限られない。例えば、水平方向５画素×上下方向５画素、水平方向９画素×上下方向９画素のように上述よりも大きくてもよいし、水平方向４画素×上下方向４画素のように中心座標が注目点からずれた位置になってもよい。また、右画像ブロック４１０をずらす方向は、上述のように左側から右側に限られず、右側から左側であってもよい。左画像ブロック４００、右画像ブロック４１０に含まれる画素は、緑色（Ｇ）の画素の信号値に限られず、他の色、例えば赤色（Ｒ）の画素の信号値であってもよいし、他の表色系に基づく画素の信号値や、それらの任意の組み合わせであってもよい。
左画像ブロック４００、右画像ブロック４１０の大きさであるウィンドウサイズは、上述のように水平方向３画素×上下方向３画素に限られない。例えば、水平方向５画素×上下方向５画素、水平方向９画素×上下方向９画素のように上述よりも大きくてもよいし、水平方向４画素×上下方向４画素のように中心座標が注目点からずれた位置になってもよい。また、右画像ブロック４１０をずらす方向は、上述のように左側から右側に限られず、右側から左側であってもよい。左画像ブロック４００、右画像ブロック４１０に含まれる画素は、緑色（Ｇ）の画素の信号値に限られず、他の色、例えば赤色（Ｒ）の画素の信号値であってもよいし、他の表色系に基づく画素の信号値や、それらの任意の組み合わせであってもよい。
上述のブロックマッチング方式では、左画像４０のある座標と右画像４１の対応する座標が左右方向にずれており、上下方向にずれておらず、左画像４０と右画像４１のエピポーラ線が一致していると仮定していた。上述のように撮像部１１０ａ、１１０ｂの光軸が平行になるように配置していたのはエピポーラ（ｅｐｉｐｏｌａｒ）線（補助線とも呼ばれる）を一致させるためである。エピポーラ線を一致させるために、距離算出部２００が予め取得した撮像部１１０ａ、１１０ｂのカメラパラメータに基づいて、左画像４０と右画像４１の光軸が平行になるように撮像した画像信号を座標変換する処理を行ってもよい。この座標変換を行う処理は、レクティフィケーション（ｒｅｃｔｉｆｉｃａｔｉｏｎ）、又は偏移修正と呼ばれる。距離算出部２００は、この処理を行った後で距離情報を生成する。
エピポーラ線とは、図６に示されるようにエピポーラ平面５３と、２つの撮像部１１０ａ、１１０ｂ各々が備える撮像面５４、５５が交わる線５６、５７である。エピポーラ平面５３は、２つの撮像部１１０ａ、１１０ｂ各々が備えるレンズの焦点５０、５１と、被写空間における特徴点５２の３点を通る平面である。
撮像部１１０ａ、１１０ｂが、各々の光軸が平行になるように配置されている場合、エピポーラ線５６、５７は、左画像４０、右画像４１各々において上下方向の座標が同一の水平線になる。
撮像部１１０ａ、１１０ｂが、各々の光軸が平行になるように配置されている場合、エピポーラ線５６、５７は、左画像４０、右画像４１各々において上下方向の座標が同一の水平線になる。
〔ユーザ情報の解析〕
次に、本実施形態に係るユーザ情報解析部２０１の構成について説明する。
図７は、本実施形態に係るユーザ情報解析部２０１の構成を表す概略図である。
ユーザ情報解析部２０１は、顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３、特徴情報解析部３４、操作者判別部３５、注目位置検出部３６、検出情報出力部３７を備える。
次に、本実施形態に係るユーザ情報解析部２０１の構成について説明する。
図７は、本実施形態に係るユーザ情報解析部２０１の構成を表す概略図である。
ユーザ情報解析部２０１は、顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３、特徴情報解析部３４、操作者判別部３５、注目位置検出部３６、検出情報出力部３７を備える。
〔ユーザの顔の検出〕
顔検出部３０は、撮像部１１０ａから入力された映像信号に基づいて、操作者の顔面の画像を表す領域（顔面の領域とも称する）を検出する。顔検出部３０は、検出した顔面の領域における代表点（例えば、重心点）の２次元座標や、その領域の上端、下端、左端、右端の２次元座標を表す２次元顔面領域情報を生成する。顔検出部３０は、距離算出部２００から入力された距離情報から、２次元顔領域情報が表す２次元座標の画素に係る距離値を抽出する。顔検出部３０は、前述の２次元座標と対応する距離値を、被写空間における３次元座標に変換して、３次元顔面位置情報を生成する。
顔面の領域を検出するために、顔検出部３０は、例えば予め設定した顔面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された映像信号から抽出する。
顔検出部３０は、撮像部１１０ａから入力された映像信号に基づいて、操作者の顔面の画像を表す領域（顔面の領域とも称する）を検出する。顔検出部３０は、検出した顔面の領域における代表点（例えば、重心点）の２次元座標や、その領域の上端、下端、左端、右端の２次元座標を表す２次元顔面領域情報を生成する。顔検出部３０は、距離算出部２００から入力された距離情報から、２次元顔領域情報が表す２次元座標の画素に係る距離値を抽出する。顔検出部３０は、前述の２次元座標と対応する距離値を、被写空間における３次元座標に変換して、３次元顔面位置情報を生成する。
顔面の領域を検出するために、顔検出部３０は、例えば予め設定した顔面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された映像信号から抽出する。
なお、顔検出部３０は、予め人間の顔面を表す濃淡（モノクロ）画像信号を記憶した記憶部を備えるようにしてもよい。そこで、顔検出部３０は、記憶部から読み出した濃淡画像信号と入力された画像信号との相関値を複数の画素を含む画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックを顔面の領域と検出する。
その他、顔検出部３０は、入力された画像信号に基づいて特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて予め定めた処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行って顔面の領域を検出してもよい。顔検出部３０が顔面の領域を検出する方法は、上述の方法に限られず、入力された画像信号から顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。
顔検出部３０は、検出した顔面の画像を表す顔面画像信号を、特徴情報解析部３４と目位置検出部３１に出力する。顔検出部３０は、生成した３次元顔面位置情報及び２次元顔面領域情報を操作者判別部３５に出力する。顔検出部３０は、生成した３次元顔面位置情報を検出情報の一部として検出情報出力部３７に出力する。
その他、顔検出部３０は、入力された画像信号に基づいて特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて予め定めた処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行って顔面の領域を検出してもよい。顔検出部３０が顔面の領域を検出する方法は、上述の方法に限られず、入力された画像信号から顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。
顔検出部３０は、検出した顔面の画像を表す顔面画像信号を、特徴情報解析部３４と目位置検出部３１に出力する。顔検出部３０は、生成した３次元顔面位置情報及び２次元顔面領域情報を操作者判別部３５に出力する。顔検出部３０は、生成した３次元顔面位置情報を検出情報の一部として検出情報出力部３７に出力する。
〔目の位置の検出〕
目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域の代表点（例えば、重心点）である２次元の目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離情報算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３６および操作者判別部３５に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号、算出した２次元の目位置座標を表す２次元目位置情報を操作者判別部３５に出力する。
目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域の代表点（例えば、重心点）である２次元の目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離情報算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３６および操作者判別部３５に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号、算出した２次元の目位置座標を表す２次元目位置情報を操作者判別部３５に出力する。
目位置検出部３１が目の領域を検出するために、例えば、予め撮影された目のテンプレート画像を記憶させた記憶部を備えておく。目位置検出部３１は、記憶部から目のテンプレート画像を読み出し、読み出したテンプレート画像と入力された顔面画像信号を照合するテンプレートマッチング法を用いてもよい。また、目位置検出部３１は、入力された顔面画像信号が表す顔面の領域のうち、予め設定された顔面における目の位置関係（例えば、予め計測された顔面の領域と両眼の位置）を表す目位置情報を用いて目の領域を検出してもよい。また、目位置検出部３１は、入力された顔面画像信号に基づいて特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて予め定めた判別処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行って目の領域を検出してもよい。
目位置検出部３１が目の領域を検出する方法は、上述の方法に限られず、顔面画像信号から目の領域を検出する方法であれば、いかなる方法を用いてもよい。
目位置検出部３１は、検出する目の領域として、両目の重心点にかかわらず、左目や右目の位置や、これら全てを表す目領域信号を出力するようにしてもよい。
目位置検出部３１が目の領域を検出する方法は、上述の方法に限られず、顔面画像信号から目の領域を検出する方法であれば、いかなる方法を用いてもよい。
目位置検出部３１は、検出する目の領域として、両目の重心点にかかわらず、左目や右目の位置や、これら全てを表す目領域信号を出力するようにしてもよい。
〔手の位置の検出〕
手位置検出部３２は、撮像部１１０ａから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を算出する。
手の画像を表す領域を検出するために、手位置検出部３２は、例えば予め設定した手の表面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された映像信号から抽出する。手位置検出部３２は、手の位置として検出した手の画像を表す領域の代表点（例えば、重心点）の２次元座標値を算出する。手位置検出部３２は、算出した座標値に対応する距離値を、距離算出部２００から入力された距離情報から抽出し、算出した２次元座標値と対応する距離値の組を被写空間における３次元座標に変換して３次元手位置情報を生成する。手位置検出部３２は、検出した手の領域の画像を表す手画像信号と、算出した代表点の２次元座標値を表す手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、当該手位置情報を操作者判別部３５に出力する。
また、手の画像を表す領域を検出するために、手位置検出部３２は、距離検出部２００から入力された距離情報に基づいて、顔検出部３０から入力された３次元顔面位置情報が表す３次元顔面位置を基準とした予め定めた奥行方向の開始点と終了点で表される距離範囲内にある画像を撮像部１１０ａから入力された映像信号から手の画像を表す領域として抽出してもよい。予め定めた距離範囲は、例えば３次元顔面位置より前方（表示装置１０側）にある範囲である。これにより、操作者の前方または後方にいる別人の手を、操作者の手と認識することを防ぐことができる。
手位置検出部３２は、撮像部１１０ａから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を算出する。
手の画像を表す領域を検出するために、手位置検出部３２は、例えば予め設定した手の表面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された映像信号から抽出する。手位置検出部３２は、手の位置として検出した手の画像を表す領域の代表点（例えば、重心点）の２次元座標値を算出する。手位置検出部３２は、算出した座標値に対応する距離値を、距離算出部２００から入力された距離情報から抽出し、算出した２次元座標値と対応する距離値の組を被写空間における３次元座標に変換して３次元手位置情報を生成する。手位置検出部３２は、検出した手の領域の画像を表す手画像信号と、算出した代表点の２次元座標値を表す手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、当該手位置情報を操作者判別部３５に出力する。
また、手の画像を表す領域を検出するために、手位置検出部３２は、距離検出部２００から入力された距離情報に基づいて、顔検出部３０から入力された３次元顔面位置情報が表す３次元顔面位置を基準とした予め定めた奥行方向の開始点と終了点で表される距離範囲内にある画像を撮像部１１０ａから入力された映像信号から手の画像を表す領域として抽出してもよい。予め定めた距離範囲は、例えば３次元顔面位置より前方（表示装置１０側）にある範囲である。これにより、操作者の前方または後方にいる別人の手を、操作者の手と認識することを防ぐことができる。
〔手の形状と指先位置の検出〕
手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて手の形状を検出する。
手の形状を検出するために、手形状・指先位置検出部３３は、手画像信号から、例えばエッジ抽出処理を行って手の輪郭部分を検出する。手形状・指先位置検出部３３は、検出した輪郭部分のうち予め定めた範囲の曲率半径（例えば、６−１２ｍｍ）をもつ突起部分を指の領域の画像として探索する。手形状・指先位置検出部３３は、探索において手位置情報が表す代表点からの所定の半径の探索領域に前述の突起部分の有無を判断し、順次半径を変更することで探索領域を同心円状に更新する。手形状・指先位置検出部３３は、検出した指の領域に基づいて指の本数を計数する。
手形状・指先位置検出部３３は、検出した突起部分の頂点を各指の指先位置を表す２次元座標として検出する。手形状・指先位置検出部３３は、定めた指先における２次元座標に所在する画素の距離値を距離算出部２００から入力された距離情報から抽出する。手形状・指先位置検出部３３は、抽出した距離値と指先における２次元座標の組を被写空間における３次元座標を表す３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３６に出力する。手形状・指先位置検出部３３は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部３７に出力する。
手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて手の形状を検出する。
手の形状を検出するために、手形状・指先位置検出部３３は、手画像信号から、例えばエッジ抽出処理を行って手の輪郭部分を検出する。手形状・指先位置検出部３３は、検出した輪郭部分のうち予め定めた範囲の曲率半径（例えば、６−１２ｍｍ）をもつ突起部分を指の領域の画像として探索する。手形状・指先位置検出部３３は、探索において手位置情報が表す代表点からの所定の半径の探索領域に前述の突起部分の有無を判断し、順次半径を変更することで探索領域を同心円状に更新する。手形状・指先位置検出部３３は、検出した指の領域に基づいて指の本数を計数する。
手形状・指先位置検出部３３は、検出した突起部分の頂点を各指の指先位置を表す２次元座標として検出する。手形状・指先位置検出部３３は、定めた指先における２次元座標に所在する画素の距離値を距離算出部２００から入力された距離情報から抽出する。手形状・指先位置検出部３３は、抽出した距離値と指先における２次元座標の組を被写空間における３次元座標を表す３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３６に出力する。手形状・指先位置検出部３３は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部３７に出力する。
〔特徴情報の解析〕
特徴情報解析部３４は、顔検出部３０から入力された顔面画像信号に基づきユーザの属性（例えば、年齢、性別、表情）を表す特徴情報を生成する。年齢を表す特徴情報（年齢情報）として、例えば具体的な年齢に限らず予め定めた年齢層（例えば、１０代、２０代、幼年、青少年、青壮年、後年）を表す情報であってもよい。性別を表す特徴情報（性別情報）は、男性又は女性を表す情報である。表情を表す特徴情報（表情情報）は、例えば笑っているかいないかを表す情報である。表情情報は、笑顔である度合いを表す笑顔度を含んでいてもよい。
特徴情報解析部３４は、顔検出部３０から入力された顔面画像信号に基づきユーザの属性（例えば、年齢、性別、表情）を表す特徴情報を生成する。年齢を表す特徴情報（年齢情報）として、例えば具体的な年齢に限らず予め定めた年齢層（例えば、１０代、２０代、幼年、青少年、青壮年、後年）を表す情報であってもよい。性別を表す特徴情報（性別情報）は、男性又は女性を表す情報である。表情を表す特徴情報（表情情報）は、例えば笑っているかいないかを表す情報である。表情情報は、笑顔である度合いを表す笑顔度を含んでいてもよい。
年齢情報や性別情報を生成するためには、特徴情報解析部３４は、例えば、年齢が既知である人間の顔面の画像や性別が既知である人間の顔面の画像を表す顔面画像信号を記憶させた記憶部を備える。特徴情報解析部３４は、検出した顔面の領域の画像と記憶部から読み出した顔面画像信号との間の指標値を算出し、算出した指標値に基づいて年齢情報又は性別情報を定める。例えば、指標値として類似度を算出し、類似度が最大となる年齢情報又は性別情報を定める方法を用いてもよい。その他、指標値としてＧａｂｏｒ特徴量を算出し、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、サポートベクターマシン）を用いて年齢情報又は性別情報を判別する方法を用いてもよい。
表情情報を生成するためには、特徴情報解析部３４は、例えば、笑っている人間の画像を表す画像情報の各構成部（例えば、目、口）の輪郭情報と該構成部の位置を表す位置情報を予め記憶した記憶部を備える。特徴情報解析部３４は、検出した顔面の領域の画像から各構成部の輪郭情報と該構成部の位置情報を生成し、記憶部から読み出した輪郭情報と位置情報とをそれぞれ照合する。
これにより特徴情報解析部３４は、年齢、性別、又は表情を表す特徴情報を推定する。特徴情報を推定する方法は、上述に限らず、顔面を表す画像情報から年齢、性別又は表情を推定する方法であればよい。
特徴情報解析部３４は、生成した特徴情報を検出情報の一部として検出情報出力部３７に出力する。
特徴情報解析部３４は、生成した特徴情報を検出情報の一部として検出情報出力部３７に出力する。
〔操作者の判別〕
次に、操作者の判別処理について説明する。
操作者判別部３５は、顔検出部３０から入力された３次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能距離の領域に所在するユーザを操作者として判別する（図１、２参照）。操作者判別部３５は、例えば、３次元顔位置情報が表す距離が予め定めた操作可能距離の上限よりも、撮像装置１１からの距離が短い位置に顔面が所在するユーザを操作者として判別する。これにより、顔検出部３０が顔面を検出したユーザの中から操作者が判別される。他方、操作者判別部３５は、予め定めた操作可能領域外に所在するユーザを操作不可者として判別する。
次に、操作者の判別処理について説明する。
操作者判別部３５は、顔検出部３０から入力された３次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能距離の領域に所在するユーザを操作者として判別する（図１、２参照）。操作者判別部３５は、例えば、３次元顔位置情報が表す距離が予め定めた操作可能距離の上限よりも、撮像装置１１からの距離が短い位置に顔面が所在するユーザを操作者として判別する。これにより、顔検出部３０が顔面を検出したユーザの中から操作者が判別される。他方、操作者判別部３５は、予め定めた操作可能領域外に所在するユーザを操作不可者として判別する。
操作者判別部３５は、操作可能領域に所在するユーザの身体（例えば、手）の一部が、操作開始検出範囲に所在するか否か判断する。操作開始検出範囲は、操作可能領域に含まれ、操作可能領域よりも狭い定めた領域である。操作者判別部３５は、顔検出部３０から入力された２次元顔位置情報や目位置検出部３１から入力された２次元目位置情報に基づいて操作開始検出範囲を定める。これにより操作者からの操作が開始されたことを検知するとともに、同時に複数名からの操作受け付けられることを回避し、操作者１名のみの操作が受け付けられるようにする。
次に、操作開始検出範囲の一例について説明する。
図８は、操作開始検出範囲の一例を表す概念図である。
図８は、左側に操作者１３の正面を表し、右側に操作者１３の左側面を表す。操作開始検出領域１３３は、例えば、撮像装置１１から入力された映像信号が表す操作者１３の画像に含まれる左眼１３１−１及び右眼１３１−２を結ぶ両眼の高さを表す線分１３４を含む領域である。即ち、線分１３４と平行であって顔面１３２の上端に接する線分１３５と、線分１３４と平行であって顔面１３２の下端に接する線分１３６に挟まれる領域である。ここで、操作者判別部３５は、顔検出部３０から入力された２次元顔面領域情報と目位置検出部３１から入力された２次元目位置情報に基づいて、操作開始検出領域１３３を算出する。
図８は、操作開始検出範囲の一例を表す概念図である。
図８は、左側に操作者１３の正面を表し、右側に操作者１３の左側面を表す。操作開始検出領域１３３は、例えば、撮像装置１１から入力された映像信号が表す操作者１３の画像に含まれる左眼１３１−１及び右眼１３１−２を結ぶ両眼の高さを表す線分１３４を含む領域である。即ち、線分１３４と平行であって顔面１３２の上端に接する線分１３５と、線分１３４と平行であって顔面１３２の下端に接する線分１３６に挟まれる領域である。ここで、操作者判別部３５は、顔検出部３０から入力された２次元顔面領域情報と目位置検出部３１から入力された２次元目位置情報に基づいて、操作開始検出領域１３３を算出する。
図７に戻り、操作者判別部３５は、手位置検出部３２から入力された手位置情報が表わす代表点が、操作開始検出領域１３３の範囲（操作開始検出範囲）内にある場合、その代表点に手を所在させ、その操作開始検出領域１３３に顔面が所在するユーザを操作者１３と判断する。その場合、操作者判別部３５は、その操作者に係る検出情報に基づいて操作が開始されたことを表す操作開始信号を検出情報出力部３７に出力する。即ち、操作者判別部３５は、このように操作開始検出領域１３３を定めることにより顔面と同じ高さに手を移動させたユーザを操作者１３と判断する。
操作者判別部３５は、手位置検出部３２から入力された手位置情報が表わす代表点が、操作開始検出範囲外に離れた場合、その代表点に手を所在させた操作者１３は操作を終了したと判断する。その場合、操作者判別部３５は、その操作者に係る検出情報に基づいて操作が終了されたことを表す操作終了信号を検出情報出力部３７に出力する。即ち、操作者判別部３５が、ある操作者１３について操作開始信号を検出情報出力部３７に出力してから、操作終了信号を出力されるまでの間は、表示装置１０は、操作者１３と判断されたユーザの手の形状に基づく操作入力を受け付ける。他のユーザについて手位置情報が表す代表点が操作開始検出範囲内にあったとしても、その間、表示装置１０は、他のユーザからの操作を受け付けない。
操作者判別部３５は、手位置検出部３２から入力された手位置情報が表わす代表点が、操作開始検出範囲外に離れた場合、その代表点に手を所在させた操作者１３は操作を終了したと判断する。その場合、操作者判別部３５は、その操作者に係る検出情報に基づいて操作が終了されたことを表す操作終了信号を検出情報出力部３７に出力する。即ち、操作者判別部３５が、ある操作者１３について操作開始信号を検出情報出力部３７に出力してから、操作終了信号を出力されるまでの間は、表示装置１０は、操作者１３と判断されたユーザの手の形状に基づく操作入力を受け付ける。他のユーザについて手位置情報が表す代表点が操作開始検出範囲内にあったとしても、その間、表示装置１０は、他のユーザからの操作を受け付けない。
操作者判別部３５は、操作可能領域に所在する他のユーザの有無を確認し、他のユーザがいると判断された場合、上述のように、いると判断された他のユーザが操作者１３か否かを判断する。なお、他のユーザが複数名いる場合には、操作者判別部３５は、手位置情報が表わす代表点が操作開始検出領域１３３の中心に最も近接する１名のユーザを操作者１３として定める。これにより、表示装置１０は、新たな１名の操作者１３からのみの操作入力を受け付け、同時に２名のユーザからの操作入力を受け付けない。
図８では、操作者は、底面に対して水平な姿勢（例えば、起立）を取っている。しかし、操作者は、このような姿勢を取るとは限らず、例えば、操作者は底面上に横たわることがある。このような場合にも、操作者判別部３５は、上述のように操作開始検出範囲を定めて操作者１３を判断することによって、操作者の姿勢によらず安定した判断が可能であり、誤検出を回避することができる。このことを次に説明する。
図９は、操作開始検出範囲のその他の例を表す概念図である。
図９に示す例では、操作者１３は、底面１３７の上を横たわっている。このとき、左眼１３１−１及び右眼１３１−２を結ぶ線分１３４と底面１３７となす角度θは、０°よりも９０°に近い角度（例えば、２０°）である。
この場合、操作者判別部３５は、目位置検出部３１から入力された２次元目位置情報に基づいて、左眼１３１−１及び右眼１３１−２を結ぶ線分１３４を定める。操作者判別部３５は、顔検出部３０から入力された２次元顔面領域情報に基づいて、顔面の上端に接し線分１３４に平行な線分１３５と、顔面の下端に接し線分１３４に平行な線分１３６を定める。操作者判別部３５は、線分１３５と線分１３６に挟まれる領域を操作開始検出領域１３３と定める。このように操作者判別部３５は、操作者１３の身体の一部である顔面の位置に基づいて操作開始検出領域１３３の範囲（操作開始検出範囲）を定め、操作入力に係る身体の他部である手との位置関係に基づいて操作を受け付ける操作者を判別する。
図９に示す例では、操作者１３は、底面１３７の上を横たわっている。このとき、左眼１３１−１及び右眼１３１−２を結ぶ線分１３４と底面１３７となす角度θは、０°よりも９０°に近い角度（例えば、２０°）である。
この場合、操作者判別部３５は、目位置検出部３１から入力された２次元目位置情報に基づいて、左眼１３１−１及び右眼１３１−２を結ぶ線分１３４を定める。操作者判別部３５は、顔検出部３０から入力された２次元顔面領域情報に基づいて、顔面の上端に接し線分１３４に平行な線分１３５と、顔面の下端に接し線分１３４に平行な線分１３６を定める。操作者判別部３５は、線分１３５と線分１３６に挟まれる領域を操作開始検出領域１３３と定める。このように操作者判別部３５は、操作者１３の身体の一部である顔面の位置に基づいて操作開始検出領域１３３の範囲（操作開始検出範囲）を定め、操作入力に係る身体の他部である手との位置関係に基づいて操作を受け付ける操作者を判別する。
なお、上述では、操作者判別部３５は、２次元目位置情報と２次元顔面領域情報に基づいて操作開始検出範囲を定める例について説明したが、本実施形態ではこれに限られない。操作者判別部３５は、被写空間上の３次元座標を表す３次元目位置情報と３次元顔領域情報に基づいて操作開始検出範囲を定めてもよい。その場合、操作者判別部３５は、３次元手位置情報が表す被写空間上の手の位置が奥行方向の操作開始検出範囲（図８における操作開始検出開始位置（奥行方向）から開始される操作開始検出領域（奥行方向））にも含まれるか否かによって操作を受け付ける操作者か否かを判別するようにしてもよい。これにより、操作開始検出範囲と手の位置との関係を、奥行方向の座標も考慮して誤検出を回避することができる。
〔注目位置の検出〕
注目位置検出部３６は、目位置検出部３１から入力された３次元目位置情報と、手形状・指先位置検出部３３から入力された３次元指先位置情報に基づいて操作者が注目する位置である注目位置を検出する（注目位置検出）。
以下、図１０から図１２を用いて、注目位置検出部３６の行う注目位置検出について説明する。
注目位置検出部３６は、目位置検出部３１から入力された３次元目位置情報と、手形状・指先位置検出部３３から入力された３次元指先位置情報に基づいて操作者が注目する位置である注目位置を検出する（注目位置検出）。
以下、図１０から図１２を用いて、注目位置検出部３６の行う注目位置検出について説明する。
図１０は、注目位置検出の一例を表す概念図である。図１０において、座標系Ｃ１は、２次元座標系Ｃ１であり、表示装置１０の表示面の座標である。座標系Ｃ２は、３次元座標系Ｃ２である。なお、例えば、３次元顔面位置情報、３次元目位置情報、３次元手位置情報、および３次元指先位置情報は、３次元座標系Ｃ２で表される。なお、３次元座標系Ｃ２では、Ｘ軸方向が図１の左右方向であり、Ｙ軸方向が図１の上下方向であり、Ｚ軸方向が図１の手前奥行方向である。なお、図１０（ａ）は操作者を右から見た右側面図であり、図１０（ｂ）は操作者を正面から見た正面図である。
注目位置検出部３６は、例えば、３次元目位置情報が表す目の位置に基づいて、基準位置座標Ｐ１０を算出する。なお、基準位置座標Ｐ１０は、図１０（ｂ）の正面図で示すように、目の検出範囲内にある両眼の中央位置である。具体的には、注目位置検出部３６は、３次元目位置情報が表す右眼の位置と左眼の位置の中点を、基準位置座標Ｐ１０として算出する。また、注目位置検出部３６は、３次元指先位置情報が表す指先の位置を指定位置座標Ｐ１１とする。
注目位置検出部３６は、基準位置座標Ｐ１０と指定位置座標Ｐ１１とを結ぶ直線Ｅ１が、表示装置１０と交わる交点を注目位置座標Ｒ１１として算出する。注目位置検出部３６は、算出した注目位置座標Ｒ１１（３次元座標系Ｃ２）を、表示装置１０が表す画像に対する２次元座標系Ｃ１の座標に変換して、変換した注目位置座標Ｒ１１を表す注目位置情報を生成する。すなわち、注目位置検出部３６は、操作者の目の位置（または、顔の位置（例えば、顔の中心の位置）であってもよい）を表す基準位置座標Ｐ１０と、操作者の身体の一部（指）の位置を表す指定位置座標Ｐ１１と、に基づいて、表示装置１０の表示領域における操作パネルＰ１（被操作領域。図１１参照）内の位置であって、操作者の身体の一部が示す注目位置座標Ｒ１１を算出する。注目位置検出部３６は、生成した注目位置情報を検出情報の一部として検出情報出力部３７に出力する。
このように、表示装置１０は、操作者の目の位置（基準位置座標Ｐ１０）を中心に、操作者の指（指定位置座標Ｐ１１）を動かした先にあるコンテンツを、操作者が操作対象しているコンテンツと識別する。これにより、表示装置１０は、操作者が意図したコンテンツを選択することが可能となる。
注目位置検出部３６は、基準位置座標Ｐ１０と指定位置座標Ｐ１１とを結ぶ直線Ｅ１が、表示装置１０と交わる交点を注目位置座標Ｒ１１として算出する。注目位置検出部３６は、算出した注目位置座標Ｒ１１（３次元座標系Ｃ２）を、表示装置１０が表す画像に対する２次元座標系Ｃ１の座標に変換して、変換した注目位置座標Ｒ１１を表す注目位置情報を生成する。すなわち、注目位置検出部３６は、操作者の目の位置（または、顔の位置（例えば、顔の中心の位置）であってもよい）を表す基準位置座標Ｐ１０と、操作者の身体の一部（指）の位置を表す指定位置座標Ｐ１１と、に基づいて、表示装置１０の表示領域における操作パネルＰ１（被操作領域。図１１参照）内の位置であって、操作者の身体の一部が示す注目位置座標Ｒ１１を算出する。注目位置検出部３６は、生成した注目位置情報を検出情報の一部として検出情報出力部３７に出力する。
このように、表示装置１０は、操作者の目の位置（基準位置座標Ｐ１０）を中心に、操作者の指（指定位置座標Ｐ１１）を動かした先にあるコンテンツを、操作者が操作対象しているコンテンツと識別する。これにより、表示装置１０は、操作者が意図したコンテンツを選択することが可能となる。
図１１は、コンテンツ選択の一例を表す概念図である。この図において、２次元座標系Ｃ１および３次元座標系Ｃ２は、図１０と同じものである。この図は、注目位置検出情報を使った操作者によるコンテンツ選択を表す一例である。
表示部１２は、操作パネルＰ１を表示する。操作パネルＰ１は、例えば領域に分かれており、各領域には、静止画や動画などの代表画像（サムネイル）や、コンピュータ上のプログラムを表す代表画像（アイコンなど）が表示されている。図１１において、操作パネルＰ１は各領域にコンテンツを表示しており、そのコンテンツはＡからＺ、ａからｉのアルファベット（コンテンツＡ〜Ｚ、ａ〜ｉと称する）で表されている。つまり、操作パネルＰ１は、登録または記録されているコンテンツの一覧を表している。
表示部１２は、操作パネルＰ１を表示する。操作パネルＰ１は、例えば領域に分かれており、各領域には、静止画や動画などの代表画像（サムネイル）や、コンピュータ上のプログラムを表す代表画像（アイコンなど）が表示されている。図１１において、操作パネルＰ１は各領域にコンテンツを表示しており、そのコンテンツはＡからＺ、ａからｉのアルファベット（コンテンツＡ〜Ｚ、ａ〜ｉと称する）で表されている。つまり、操作パネルＰ１は、登録または記録されているコンテンツの一覧を表している。
操作者は、これらコンテンツの一覧から所望のコンテンツを選択し、決定することでコンテンツの再生や実行を行うことができる。図１１において、注目位置座標Ｒ１１はコンテンツＲが表示された領域上にあり、この領域を注目領域Ｒ１と称する。この図は、一例として、コンテンツＲの代表画像の周りを実線で囲み、注目位置をハイライト表示している。このような表示によって、表示装置１０は、操作者がコンテンツＲを注目し、そのコンテンツＲが選択されていることを操作者に示している。
このように、表示装置１０は、操作者の注目位置を検出し、その位置を操作パネルＰ１上に表示する。これにより、操作者は瞬時に所望とするコンテンツを選択することができる。例えば、表示装置１０では、操作者が操作を開始した際、操作した最初（開始）の位置が分からず、間違ったコンテンツを選択してしまうことや、操作開始位置を知るために手や、ポインタ入力装置（マウスなど）を大きく動かして、現在の位置を探すといった操作を回避することができる。
なお、上記では、表示装置１０は、操作者の注目位置を操作者に示すために、代表画像をハイライト表示する場合について説明した。しかし、本発明はこれに限定されず、表示装置１０は、操作者が注目した位置を、表示部１２の画素単位でポインタ表示することにより、操作者に注目位置や注目領域を示してもよい。また、表示装置１０は、操作者が注目位置を示す手の形状を、手を開いた形状や、人差し指を立てた形状、手を閉じた形状などとして検出し、検出結果に基づいて指定位置座標Ｐ１１を検出しても良い。
このように、表示装置１０は、操作者の注目位置を検出し、その位置を操作パネルＰ１上に表示する。これにより、操作者は瞬時に所望とするコンテンツを選択することができる。例えば、表示装置１０では、操作者が操作を開始した際、操作した最初（開始）の位置が分からず、間違ったコンテンツを選択してしまうことや、操作開始位置を知るために手や、ポインタ入力装置（マウスなど）を大きく動かして、現在の位置を探すといった操作を回避することができる。
なお、上記では、表示装置１０は、操作者の注目位置を操作者に示すために、代表画像をハイライト表示する場合について説明した。しかし、本発明はこれに限定されず、表示装置１０は、操作者が注目した位置を、表示部１２の画素単位でポインタ表示することにより、操作者に注目位置や注目領域を示してもよい。また、表示装置１０は、操作者が注目位置を示す手の形状を、手を開いた形状や、人差し指を立てた形状、手を閉じた形状などとして検出し、検出結果に基づいて指定位置座標Ｐ１１を検出しても良い。
図１１では、操作者が指（指定位置座標Ｐ１１）を動かすことにより、注目位置座標Ｒ１１が変わることを表す。例えば、基準位置座標Ｐ１０と指定位置座標Ｐ１１とを結ぶ直線が直線Ｅ１’（一点鎖線）となった場合には、コンテンツａが選択される。このように、操作者は、指差し位置を移動することにより、注目位置座標Ｒ１１を移動でき、注目領域Ｒ１を変更できる。
なお、基準位置座標Ｐ１０は上記の例に限られず、注目位置検出部３６は、左眼の位置または右眼の位置を、基準位置座標Ｐ１０としても良い。例えば、注目位置検出部３６は、操作者の利き目を示す情報を予め記憶し、この情報に基づいて利き目の位置を基準位置座標Ｐ１０とする。ここで、注目位置検出部３６は、利き目を知らせるジェスチャ（片目を閉じるやウィンク、顔を振るなど）に基づいて、操作者の利き目を判定し、操作者の利き目した示す情報を記憶してもよい。このように、表示装置１０は、利き目を判定することで、注目位置座標Ｒ１１の誤差を低減することができる。また、注目位置検出部３６は、操作者の利き目を示す情報に基づいて、右眼と左眼の線分上の点を、基準位置座標Ｐ１０としても良い。この場合、例えば、注目位置検出部３６は、利き目と利き目でない目との比率を、７：３とし、０．７×（利き目の位置）＋０．３×（利き目でない目の位置）を、基準位置座標Ｐ１０としても良い。また、例えば、注目位置検出部３６は、操作者が方目を閉じたと判定した場合には、開いている方の目の位置を基準位置座標Ｐ１０としてもよい。
図１２は、注目位置検出を行う操作範囲ｒ１（操作領域）を示す概念図である。この図において、３次元座標系Ｃ２は、図１０と同じものである。なお、図１２（ａ）は操作者を右から見た右側面図であり、図１２（ｂ）は操作者を上から見た平面図である。
図１２（ａ）において、上下方向操作範囲ｒ１１は、操作者から表示装置１０に向かって上下方向の操作範囲を表す。この上下方向操作範囲ｒ１１は、基準位置座標Ｐ１０を中心に、表示装置１０の上端から下端までの操作者の視線の範囲である。
図１２（ｂ）において、左右方向操作範囲ｒ１３は、操作者から表示装置１０に向かって左右方向の操作範囲を表す。この左右方向操作範囲ｒ１１は、基準位置座標Ｐ１０を中心に、表示装置１０の左端から右端までの操作者の視線の範囲である。
図１２（ａ）、（ｂ）において、奥行方向操作範囲ｒ１２は、操作者から表示装置１０に向かって奥行方向の操作範囲を表す。この奥行方向操作範囲ｒ１２は、基準位置座標Ｐ１０から、予め定められた距離の範囲である。この予め定められた距離は、例えば、人の腕全体の長さ（肩から指先）を基準に定められた距離であり、例えば、８０ｃｍである。ただし、本発明はこれに限らず、表示装置１０は、奥行方向操作範囲ｒ１２を、性別や身長に基づいて、変更してもよい。
なお、上下方向操作範囲ｒ１１、奥行方向操作範囲ｒ１２、および左右方向操作範囲ｒ１３で表される範囲を操作範囲ｒ１とも称する。なお、この操作範囲ｒ１は、操作者から表示装置１０（注目位置検出装置）に向かうに従って広がる。また、操作範囲ｒ１は、操作開始検出範囲と同じであるが、異なっていても良い。
図１２（ａ）において、上下方向操作範囲ｒ１１は、操作者から表示装置１０に向かって上下方向の操作範囲を表す。この上下方向操作範囲ｒ１１は、基準位置座標Ｐ１０を中心に、表示装置１０の上端から下端までの操作者の視線の範囲である。
図１２（ｂ）において、左右方向操作範囲ｒ１３は、操作者から表示装置１０に向かって左右方向の操作範囲を表す。この左右方向操作範囲ｒ１１は、基準位置座標Ｐ１０を中心に、表示装置１０の左端から右端までの操作者の視線の範囲である。
図１２（ａ）、（ｂ）において、奥行方向操作範囲ｒ１２は、操作者から表示装置１０に向かって奥行方向の操作範囲を表す。この奥行方向操作範囲ｒ１２は、基準位置座標Ｐ１０から、予め定められた距離の範囲である。この予め定められた距離は、例えば、人の腕全体の長さ（肩から指先）を基準に定められた距離であり、例えば、８０ｃｍである。ただし、本発明はこれに限らず、表示装置１０は、奥行方向操作範囲ｒ１２を、性別や身長に基づいて、変更してもよい。
なお、上下方向操作範囲ｒ１１、奥行方向操作範囲ｒ１２、および左右方向操作範囲ｒ１３で表される範囲を操作範囲ｒ１とも称する。なお、この操作範囲ｒ１は、操作者から表示装置１０（注目位置検出装置）に向かうに従って広がる。また、操作範囲ｒ１は、操作開始検出範囲と同じであるが、異なっていても良い。
表示装置１０は、図１２（ａ）および図１２（ｂ）で表した操作範囲ｒ１内に指定位置座標Ｐ１１がある場合は、操作者の注目位置を検出する。すなわち、表示装置１０は、操作者の目の位置又は顔の位置と、表示装置１０と、に基づいて、操作範囲ｒ１を検出する。
表示装置１０は、操作者から見た表示装置１０の画角を操作範囲ｒ１とすることで、操作者の視線の先を注目位置として検出することができる。表示装置１０は、指定位置座標Ｐ１１が操作範囲ｒ１の外にでた場合は、注目位置表示を消去することや、操作範囲ｒ１から外れた画面端を注目位置表示する。または、表示装置１０は、この場合、操作範囲ｒ１から外れたことを示す情報や動作・アニメーション表示するなど、操作者に操作範囲ｒ１を外れたことを提示してもよい。また、表示装置１０は、予め範囲の定められた操作パネルＰ１において、操作パネルＰ１の上端から下端まで、および左端から右端まで、の操作者の視線の範囲を、操作範囲ｒ１としてもよい。
表示装置１０は、操作者から見た表示装置１０の画角を操作範囲ｒ１とすることで、操作者の視線の先を注目位置として検出することができる。表示装置１０は、指定位置座標Ｐ１１が操作範囲ｒ１の外にでた場合は、注目位置表示を消去することや、操作範囲ｒ１から外れた画面端を注目位置表示する。または、表示装置１０は、この場合、操作範囲ｒ１から外れたことを示す情報や動作・アニメーション表示するなど、操作者に操作範囲ｒ１を外れたことを提示してもよい。また、表示装置１０は、予め範囲の定められた操作パネルＰ１において、操作パネルＰ１の上端から下端まで、および左端から右端まで、の操作者の視線の範囲を、操作範囲ｒ１としてもよい。
図７に戻り、検出情報出力部３７には、顔検出部３０、特徴情報解析部３４及び操作者判別部から検出情報が入力される。検出情報出力部３７は、操作者判別部３５から操作開始信号が入力された場合、入力された操作開始信号に係る操作者の検出情報を制御部２２に出力する。検出情報出力部３７は、検出情報出力部３７は、操作者判別部３５から操作終了信号が入力された場合、入力された操作終了信号に係る操作者の検出情報の出力を終了する。
なお、ユーザ情報解析部２０１は、上述した方法や特徴量に限られず、入力された映像信号に基づいてユーザの特徴やユーザが指示する操作に係る情報を検出してもよい。
なお、ユーザ情報解析部２０１は、上述した方法や特徴量に限られず、入力された映像信号に基づいてユーザの特徴やユーザが指示する操作に係る情報を検出してもよい。
〔手形状認識による操作〕
制御部２２は、検出情報出力部３７から入力された検出情報から、３次元顔面位置情報、指画像信号、本数情報、２次元指先位置情報、注目位置情報、特徴情報を抽出する。制御部２２は、予め操作対象となる処理の種別毎に手形状情報を対応付けられて記憶された記憶部を備える。ここで、手形状情報は、手の形状を表す情報である。制御部２２は、記憶部から手形状情報を読み出し、読み出した手形状情報と入力された手形状情報を照合する。制御部２２は、照合に成功した手形状情報に対応した処理を実行する。
なお、手形状情報は、抽出された情報のうち、指画像信号、本数情報、２次元指先位置を含んで構成される。手形状情報は、一時的又は静止した手の形状、即ち姿勢を表す情報であってもよいし、時間経過によって変化する手の形状、即ち動作を表す情報であってもよい。例えば、入力された手形状情報が両手の全ての指を握った形状であり、この状態で手を上下に移動させることを表す場合、制御部２２は、番組表情報を情報ＤＢ２１から読み出し、読み出した番組表情報を表示部１２に出力する。
また、手形状情報は、例えば、１本の指のみが伸ばされた状態の形状を表す情報であっても良い。また、手形状情報は、伸ばされた指が真っ直ぐに伸ばされている形状を表す情報、および、伸ばされた指が第２関節で曲げられている形状であっても良い。
制御部２２は、検出情報出力部３７から入力された検出情報から、３次元顔面位置情報、指画像信号、本数情報、２次元指先位置情報、注目位置情報、特徴情報を抽出する。制御部２２は、予め操作対象となる処理の種別毎に手形状情報を対応付けられて記憶された記憶部を備える。ここで、手形状情報は、手の形状を表す情報である。制御部２２は、記憶部から手形状情報を読み出し、読み出した手形状情報と入力された手形状情報を照合する。制御部２２は、照合に成功した手形状情報に対応した処理を実行する。
なお、手形状情報は、抽出された情報のうち、指画像信号、本数情報、２次元指先位置を含んで構成される。手形状情報は、一時的又は静止した手の形状、即ち姿勢を表す情報であってもよいし、時間経過によって変化する手の形状、即ち動作を表す情報であってもよい。例えば、入力された手形状情報が両手の全ての指を握った形状であり、この状態で手を上下に移動させることを表す場合、制御部２２は、番組表情報を情報ＤＢ２１から読み出し、読み出した番組表情報を表示部１２に出力する。
また、手形状情報は、例えば、１本の指のみが伸ばされた状態の形状を表す情報であっても良い。また、手形状情報は、伸ばされた指が真っ直ぐに伸ばされている形状を表す情報、および、伸ばされた指が第２関節で曲げられている形状であっても良い。
上述の手の形状は、これに限られず、表示装置１０の処理の種類に対する指示として特定できればよい。例えば、手形状情報は、伸ばしている指の本数、手の方向、親指の先端と人差し指の先端を接触させた形状を表す情報であってもよい。また、制御部２２は、操作者の手の形状に限られず、身体の他の部分の形状を用いてもよい。
〔案内画像表示〕
情報ＤＢ２１には、複数の種類の案内画像信号を、予め定めた距離区分と対応付けて記憶させておき、制御部２２は抽出した３次元顔面距離情報が表す距離を含む距離区分に対応する案内画像信号を読み出すようにしてもよい。そして、制御部２２は、制御読み出した案内画像信号を表示部１２に出力し、表示部１２は、制御部２２から入力された案内画像信号が表す案内画像を表示する。例えば、表示装置１０からの操作者１３の距離が長い区分ほど、１つの案内画像に含まれる処理の種類の数を減少させ、各処理に対する操作を表す画面の面積（画素数）を増加した画像を表す案内画像信号を情報ＤＢ２１に記憶させておく。また、処理内容を表示する文字を大きくした画像を表す案内画像信号を記憶させておいてもよい。このようにして、操作者１３は、表示部１２からの距離が長くなっても大きく表示された操作内容を明確に把握できるようになる。
情報ＤＢ２１には、複数の種類の案内画像信号を、予め定めた距離区分と対応付けて記憶させておき、制御部２２は抽出した３次元顔面距離情報が表す距離を含む距離区分に対応する案内画像信号を読み出すようにしてもよい。そして、制御部２２は、制御読み出した案内画像信号を表示部１２に出力し、表示部１２は、制御部２２から入力された案内画像信号が表す案内画像を表示する。例えば、表示装置１０からの操作者１３の距離が長い区分ほど、１つの案内画像に含まれる処理の種類の数を減少させ、各処理に対する操作を表す画面の面積（画素数）を増加した画像を表す案内画像信号を情報ＤＢ２１に記憶させておく。また、処理内容を表示する文字を大きくした画像を表す案内画像信号を記憶させておいてもよい。このようにして、操作者１３は、表示部１２からの距離が長くなっても大きく表示された操作内容を明確に把握できるようになる。
情報ＤＢ２１には、複数の種類の案内画像信号を特徴情報と対応付けて記憶させておき、制御部２２は抽出した特徴情報に対応する案内画像信号を読み出し、読み出した案内画像信号を表示部１２に出力するようにしてもよい。例えば、操作者１３の年齢層が高いほど、１つの案内画像に含まれる処理の種類の数を減少させ、各処理に対する操作を表す画面の面積（画素数）を増加した画像を表す案内画像信号を情報ＤＢ２１に記憶させておく。また、処理内容を表示する文字を他の年齢層よりも大きくした画像を表す案内画像信号を記憶させておいてもよい。このようにして、年齢の高い操作者１３でも、操作内容を明確に把握できるようになる。また、音量調整の刻み幅を他の年齢層よりも大きくした画像を表す画像案内信号を情報ＤＢ２１記憶させておき、制御部２２は、その刻み幅に基づき音量調整に係る処理を行ってもよい。これにより、年齢の高い操作者１３に対しては、他の年齢層よりも音量の調整量を大きくして便宜を図ることができる。
例えば、操作者１３の性別が女性の場合には、背景を赤色や桃色等の暖色系で表した案内画像信号や、アニメーション映画の登場人物の表した案内画像信号を記憶させておいてもよい。このようにして、操作者１３が女性であっても、親近感をもって表示装置１０を操作できるようになる。
また、小児（例えば、１０歳以下）である操作者１３の年齢層に対して、処理内容を表示する文字をひらがなで表した案内画像信号や、アニメーション映画の登場人物の表した案内画像信号を記憶させておいてもよい。このようにして、操作者１３が小児であっても、表示された操作内容を把握でき、親近感をもって表示装置１０を操作できるようになる。
また、小児や高齢者（例えば、６０歳以上）である操作者１３の年齢層に対しては、処理内容を動画像で表す案内画像信号を記憶させておいてもよい。これにより、小児や高齢者でも操作方法を表示された動画を視聴して直感的に把握することができる。
また、小児（例えば、１０歳以下）である操作者１３の年齢層に対して、処理内容を表示する文字をひらがなで表した案内画像信号や、アニメーション映画の登場人物の表した案内画像信号を記憶させておいてもよい。このようにして、操作者１３が小児であっても、表示された操作内容を把握でき、親近感をもって表示装置１０を操作できるようになる。
また、小児や高齢者（例えば、６０歳以上）である操作者１３の年齢層に対しては、処理内容を動画像で表す案内画像信号を記憶させておいてもよい。これにより、小児や高齢者でも操作方法を表示された動画を視聴して直感的に把握することができる。
制御部２２は、操作者１３が意図しない微細な手の形状の変化を検出しないことで誤操作を回避している。そのために、制御部２２は、一定時間間隔毎に予め定めた距離や位置の閾値よりも手の形状が変化した場合、その変化を検出したと判定し、その後、上述の手形状情報の照合を行う。ここで、制御部２２は、抽出した３次元顔面距離情報が表す距離が長いほど、距離の閾値を大きくする。これにより、表示装置１０からの距離が長いほど、操作者１３による手形状の変化を大きくしなければ、制御部２２は、その変化を受け付けなくなる。ひいては、操作者１３は、表示装置１０からの距離が長いほど、手形状の変化をより大きくして操作入力することが促され、撮像装置１１の解像度の影響を低減することができる。
制御部２２は、小児である操作者１３の年齢層に対して、他の年齢層よりも手形状の変化を検出するための距離の閾値を小さくしてもよい。これにより、手の大きさが十分発達していない小児であっても、表示装置１０を快適に操作することができる。また、制御部２２は、操作者１３の年齢層が高いほど検出するための時間間隔を長くしてもよい。これにより、動作が緩慢な高齢者でも表示装置１０を快適に操作することができる。
これにより、本実施形態では、操作者の特徴を表す特徴情報毎に案内画像の表示、その他の操作に係る処理を変更されるため、操作者の特徴に関わらず快適な操作を実現させることができる。
これにより、本実施形態では、操作者の特徴を表す特徴情報毎に案内画像の表示、その他の操作に係る処理を変更されるため、操作者の特徴に関わらず快適な操作を実現させることができる。
〔処理フロー〕
次に、本実施形態に係るデータ入力処理について説明する。
図１３は、本実施形態に係るデータ入力処理を表すフローチャートである。
次に、本実施形態に係るデータ入力処理について説明する。
図１３は、本実施形態に係るデータ入力処理を表すフローチャートである。
（ステップＳ１００）撮像部１１０ａ、１１０ｂは、それぞれ映像を撮像し、撮像した映像信号を距離算出部２００に出力する。撮像部１１０ａは、映像信号をユーザ情報解析部２０１の顔検出部３０、手位置検出部３２に出力する。その後、ステップＳ１０１に進む。
（ステップＳ１０１）距離算出部２００は、撮像部１１０ａ、１１０ｂから各々入力された映像信号に基づいて撮像装置１１から操作者までの距離を、例えばステレオマッチング方式を用いて算出し、算出した距離情報を生成する。距離算出部２００は、生成した距離情報をユーザ情報解析部２０１の顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０１）距離算出部２００は、撮像部１１０ａ、１１０ｂから各々入力された映像信号に基づいて撮像装置１１から操作者までの距離を、例えばステレオマッチング方式を用いて算出し、算出した距離情報を生成する。距離算出部２００は、生成した距離情報をユーザ情報解析部２０１の顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）顔検出部３０は、撮像部１１０ａから入力された映像信号が表す操作者の顔面の画像を表す領域を検出する。顔検出部３０は、検出した顔面の領域に基づいて２次元顔面領域情報を生成する。顔検出部３０は、距離算出部２００から入力された距離情報から、２次元顔領域情報が表す２次元座標の画素に係る距離値を抽出する。顔検出部３０は、前述の２次元座標と対応する距離値を、被写空間における３次元座標に変換して、３次元顔面位置情報を生成する。顔検出部３０は、検出した顔面の画像を表す顔面画像信号を特徴情報解析部３４と目位置検出部３１に出力する。顔検出部３０は、生成した３次元顔面位置情報及び２次元顔面領域情報を操作者判別部３５に出力する。顔検出部３０は、生成した３次元顔面位置情報を検出情報の一部として検出情報出力部３７に出力する。
目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域に基づいて目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離情報算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３６および操作者判別部３５に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号、算出した２次元の目位置座標を表す２次元目位置情報を操作者判別部３５に出力する。その後、ステップＳ１０３に進む。
（ステップＳ１０３）手位置検出部３２は、撮像部１１０ａから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を表す２次元座標値を算出する。手位置検出部３２は、算出した座標値に対応する距離値を、距離算出部２００から入力された距離情報から抽出し、算出した２次元座標値と対応する距離値の組を被写空間における３次元座標に変換して３次元手位置情報を生成する。手位置検出部３２は、検出した手の領域の画像を表す手画像信号と、算出した代表点の２次元座標値を表す手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、当該手位置情報を操作者判別部３５に出力する。
手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて手の形状を検出する。手形状・指先位置検出部３３は、検出した手の形状に基づいて指の領域の画像を探索し、指の本数を計数する。手形状・指先位置検出部３３は、各指の指先位置を表す２次元座標として検出し、検出した２次元座標に所在する画素の距離値を距離算出部２００から入力された距離情報から抽出する。手形状・指先位置検出部３３は、抽出した距離値と指先における２次元座標の組を被写空間における３次元座標を表す３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３６に出力する。手形状・指先位置検出部３３は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部３７に出力する。その後、ステップＳ１０４に進む。
（ステップＳ１０４）操作者判別部３５は、顔検出部３０から入力された３次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能領域に所在するユーザを操作者として判別する。操作者判別部３５は、顔検出部３０から入力された２次元顔領域情報や目位置検出部３１から入力された２次元目位置情報に基づいて操作開始検出範囲を定める。操作者判別部３５は、操作可能領域に所在する操作者の手が、操作開始検出範囲に所在するか否か判断する。これにより、操作者判別部３５は、操作者からの操作が開始されたことを検知する。すなわち、操作者判別部３５は、撮像装置１１が撮像した映像に表された手（身体の一部）の位置を表す３次元手位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作範囲ｒ１（操作開始検出範囲と同じ範囲）を検出する。操作が開始されたと判断された場合（ステップＳ１０４ Ｙｅｓ）、ステップＳ１０５に進む。操作が開始されていないと判断された場合（ステップＳ１０４ Ｎｏ）、ステップＳ１００に進む。
なお、前述の操作開始検知に加えて、操作者判別部３５は、被写空間上の３次元座標を表す３次元目位置情報と３次元顔領域情報に基づいて操作開始検出範囲を定めてもよい。その場合、操作者判別部３５は、３次元手位置情報が表す被写空間上の手の位置が奥行方向の操作開始検出範囲（図８における操作開始検出開始位置（奥行方向）から開始される操作開始検出領域（奥行方向））に含まれるか否かによって操作を受け付ける操作者か否かを判別するようにしてもよい。これにより、表示装置１０は、操作開始検出範囲と手の位置との関係を、奥行方向の座標も考慮して誤検出を回避することができる。
（ステップＳ１０５）操作者判別部３５は、操作者の顔、および操作可能領域の手を追跡し、操作者を特定する。すなわち、操作者判別部３５は、操作範囲ｒ１を検出できた場合には、３次元手位置情報が表す手を有するユーザを操作者として特定する。換言すれば、操作者判別部３５は、操作者と特定したユーザ以外のユーザを操作することができないユーザと特定する。これにより、表示装置１０は、その他の人の顔、手を追従（認識）しないため、特定された操作者の操作中は、その他の人によって操作が奪われるなどの誤動作を防止できる。その後、ステップＳ１０６に進む。
（ステップＳ１０６）操作者判別部３５は、操作可能領域に所在する操作者の手が、操作開始検出範囲に所在するか否かを判断し、操作者が操作を継続しているかを検知する。操作者判別部３５は、操作可能領域に所在する操作者の手が、操作開始検出範囲に所在すると判断し、操作者が操作を継続していると検知した場合（ステップＳ１０６ Ｙｅｓ）、ステップＳ１０７に進む。操作者判別部３５は、操作可能領域に所在する操作者の手が、操作開始検出範囲に所在していない（操作者の手が操作可能領域外にある）と判断し、操作者が操作を終了または中断したと検知した場合（ステップＳ１０６ Ｎｏ）、ステップＳ１００に進む。
なお、前述の操作継続検知に加えて、表示装置１０は、３次元手位置情報が表す被写空間上の手の位置が奥行方向の操作開始検出範囲（図８における操作開始検出開始位置（奥行方向）から開始される操作開始検出領域（奥行方向））に含まれるか否かを判断することにより、操作者が操作を継続しているか否かを検知してもよい。これにより、操作開始検出範囲と手の位置との関係を、奥行方向の座標も考慮して操作者の操作継続検知の誤検出を回避することができる。
（ステップＳ１０７）注目位置検出部３６は、目位置検出部３１から入力された３次元目位置情報と、手形状・指先位置検出部３３から入力された３次元指先位置情報に基づいて、注目位置座標Ｒ１１を算出する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）制御部２２は、検出した注目位置座標Ｒ１１に該当するコンテンツの代表画像をハイライトにし、表示部１２に表示する。これにより、表示装置１０は、操作者が注目したコンテンツであって、注目位置検出により選択されたコンテンツを、操作者に示すことができる。その後、ステップＳ１０９に進む。
（ステップＳ１０９）制御部２２は、操作者が注目したコンテンツに対し、予め定められた所定の動作（手を表示装置１０の方向に押す動作や手を一定時間静止する、手の形状を変えるなど）によりコンテンツの再生または実行を決定したかを判断する。コンテンツを決定したと判断した場合（ステップＳ１０９ Ｙｅｓ）、ステップＳ１１０に進む。
制御部２２は、操作者がコンテンツを決定していないと判断した場合（ステップ１０９ Ｎｏ）、ステップＳ１０６に進む。
（ステップＳ１０９）制御部２２は、操作者が注目したコンテンツに対し、予め定められた所定の動作（手を表示装置１０の方向に押す動作や手を一定時間静止する、手の形状を変えるなど）によりコンテンツの再生または実行を決定したかを判断する。コンテンツを決定したと判断した場合（ステップＳ１０９ Ｙｅｓ）、ステップＳ１１０に進む。
制御部２２は、操作者がコンテンツを決定していないと判断した場合（ステップ１０９ Ｎｏ）、ステップＳ１０６に進む。
（ステップＳ１１０）制御部２２は、操作者による操作が終了したか否かを判断する。制御部２２は、例えば、電源断を表す操作入力が入力された場合に操作が終了したと判断する。操作が終了していないと判断された場合（ステップＳ１１０ Ｎｏ）、ステップＳ１１１に進む。操作が終了したと判断された場合（ステップＳ１１０ Ｙｅｓ）、データ入力処理を終了する。
（ステップＳ１１１）制御部２２は、操作者が注目した代表画像に対し、情報ＤＢから対応するコンテンツあるいはプログラムを読みだし、コンテンツの再生あるいはプログラムの実行を行う。再生あるいは実行結果を表示部１２に表示する。その後、ステップＳ１００に進む。
（ステップＳ１１１）制御部２２は、操作者が注目した代表画像に対し、情報ＤＢから対応するコンテンツあるいはプログラムを読みだし、コンテンツの再生あるいはプログラムの実行を行う。再生あるいは実行結果を表示部１２に表示する。その後、ステップＳ１００に進む。
このように、本実施形態によれば、表示装置１０は、撮像装置１１が撮像した映像に表されたユーザ毎の手（身体の一部）の位置を表す３次元手位置情報（第１位置情報）を取得する。表示装置１０は、取得した３次元手位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作範囲ｒ１を検出し、操作範囲ｒ１を検出できた場合には、３次元手位置情報が表す身体の一部を有するユーザを操作者の候補として特定する。そして、表示装置１０は、操作者の候補のうち、操作領域に身体の一部が含まれたユーザを操作者と特定し、操作者の候補のうち操作者と特定したユーザ以外のユーザを操作することができないユーザと特定する。
これにより、表示装置１０は、操作性を向上することができる。例えば、表示装置１０は、操作範囲ｒ１を検出するので、ユーザが動作した場合、その動作が操作入力を意図した動作か、他の目的を意図した動作かを判別することができる。また、例えば、表示装置１０は、操作範囲ｒ１を検出して操作者を特定するので、複数のユーザが当該映像表示装置に表示された映像を同時に視聴する場合、一方のユーザによる動作によって、他方のユーザが意図しない操作入力がなされることを防止できる。また、例えば、表示装置１０は、複数のユーザが同時に動作して、当該映像表示装置が各々操作入力を受け付けると、相矛盾する操作入力に対する処理が指示されることで誤動作することを防止できる。
これにより、表示装置１０は、操作性を向上することができる。例えば、表示装置１０は、操作範囲ｒ１を検出するので、ユーザが動作した場合、その動作が操作入力を意図した動作か、他の目的を意図した動作かを判別することができる。また、例えば、表示装置１０は、操作範囲ｒ１を検出して操作者を特定するので、複数のユーザが当該映像表示装置に表示された映像を同時に視聴する場合、一方のユーザによる動作によって、他方のユーザが意図しない操作入力がなされることを防止できる。また、例えば、表示装置１０は、複数のユーザが同時に動作して、当該映像表示装置が各々操作入力を受け付けると、相矛盾する操作入力に対する処理が指示されることで誤動作することを防止できる。
また、本実施形態によれば、表示装置１０は、操作者の目の位置又は顔の位置を表す基準位置座標Ｐ１０と、操作者の身体の一部（例えば、指）の位置を表す指定位置座標Ｐ１１と、に基づいて、表示装置１０の表示領域における操作パネルＰ１内の位置であって、操作者の身体の一部が示す注目位置座標Ｒ１１を算出する。これにより、表示装置１０は、例えば、ユーザの指差し位置方向と視線の方向が平行とはならない場合でも、ユーザが注目した位置通りにディスプレイ上のポインタを移動でき、操作性を向上することができる。
例えば、表示装置１０は、操作者の注目位置を検出することができ、大画面、高解像度のディスプレイに向けた操作でも操作方法に慣れずとも、注視したコンテンツを選択することができるため、ユーザ操作のストレスを低減し、操作性を向上することができる。
例えば、表示装置１０は、操作者の注目位置を検出することができ、大画面、高解像度のディスプレイに向けた操作でも操作方法に慣れずとも、注視したコンテンツを選択することができるため、ユーザ操作のストレスを低減し、操作性を向上することができる。
〔第２実施形態〕
以下、図面を参照しながら本発明の第２の実施形態について説明する。
図１４は、本発明の第２の実施形態に係る表示装置１０ａを説明するための概略図である。表示装置１０ａは、操作者の操作に基づいて、操作者の視野内にある表示装置１０ａ上の表示領域に合わせて、操作者の操作領域を決定する。
この図において、破線で示した領域ｒ２は、ユーザ操作領域ｒ２である。ユーザ操作領域ｒ２とは、操作者が、表示装置１０ａに対して操作可能な領域である。表示装置１０ａは、操作者の目（基準位置座標Ｐ１０）から見た視線であって表示装置１０ａの表示領域の端を通る視線で定まる領域に合わせ、顔前方の所定距離だけ離れた空間領域をユーザ操作領域ｒ２として設定する。ここで、ユーザ操作領域ｒ２は、ユーザ視線に沿っているため、その形状が立方体ではなく、表示装置１０ａと平行な平面が表示装置１０ａに近づく（操作者から奥行方向に遠ざかる）にしたがって徐々に大きくなる形状となる。操作者はユーザ操作領域ｒ２内で手を動かすことにより、操作を行うことができる。
以下、図面を参照しながら本発明の第２の実施形態について説明する。
図１４は、本発明の第２の実施形態に係る表示装置１０ａを説明するための概略図である。表示装置１０ａは、操作者の操作に基づいて、操作者の視野内にある表示装置１０ａ上の表示領域に合わせて、操作者の操作領域を決定する。
この図において、破線で示した領域ｒ２は、ユーザ操作領域ｒ２である。ユーザ操作領域ｒ２とは、操作者が、表示装置１０ａに対して操作可能な領域である。表示装置１０ａは、操作者の目（基準位置座標Ｐ１０）から見た視線であって表示装置１０ａの表示領域の端を通る視線で定まる領域に合わせ、顔前方の所定距離だけ離れた空間領域をユーザ操作領域ｒ２として設定する。ここで、ユーザ操作領域ｒ２は、ユーザ視線に沿っているため、その形状が立方体ではなく、表示装置１０ａと平行な平面が表示装置１０ａに近づく（操作者から奥行方向に遠ざかる）にしたがって徐々に大きくなる形状となる。操作者はユーザ操作領域ｒ２内で手を動かすことにより、操作を行うことができる。
表示装置１０ａは、表示装置１０ａ上に表示された複数のコンテンツ（図では、横４×縦３の合計１２コンテンツ）の中から操作者が手で指し示した注目コンテンツを、操作者が選択しているコンテンツとしてユーザに知らせる表示を行う。例えば、表示装置１０ａは、ユーザに知らせる表示として、選択されたコンテンツの代表画像の周りを実線で囲み、注目位置をハイライト表示する。ただし、操作者の注目位置を操作者に示す手法は、これに限定されず、操作者が注目した位置を表示領域の画素単位でポインタ表示するなど、操作者に注目位置を示す手法であっても良い。
次に図１５を用いてユーザ操作領域ｒ２の設定方法について説明する。
図１５は、ユーザ操作領域ｒ２の設定方法の一例を説明するための概略図である。図１５（ａ）は、操作者から見た表示装置１０ａを表す図である。図１５（ｂ）は、操作者と表示装置１０ａを横から見た図である。図１５（ｃ）は、撮像装置１１が、撮像部１１０ａ、１１０ｂのいずれかを用いて撮影した画像である。
この図は、ユーザが、ユーザから見た表示装置１０ａ上の表示領域を、手を掴む動作と開く動作で指定する一例である。ユーザは、ユーザから見た表示領域の左上頂点を、手をつかむ動作で指定する。ユーザは、そのままの手の形状で、ユーザから見た表示領域を対角線上に右下まで移動し、手を開く動作で右下頂点を指定する。表示装置１０ａは、この対角線の四角形であって、手を掴む動作と開く動作で指定された四角形を含む領域を、操作開始検出領域１３３ａに設定する。表示装置１０ａは、この領域を指定したユーザを、操作者として識別する。
図１５は、ユーザ操作領域ｒ２の設定方法の一例を説明するための概略図である。図１５（ａ）は、操作者から見た表示装置１０ａを表す図である。図１５（ｂ）は、操作者と表示装置１０ａを横から見た図である。図１５（ｃ）は、撮像装置１１が、撮像部１１０ａ、１１０ｂのいずれかを用いて撮影した画像である。
この図は、ユーザが、ユーザから見た表示装置１０ａ上の表示領域を、手を掴む動作と開く動作で指定する一例である。ユーザは、ユーザから見た表示領域の左上頂点を、手をつかむ動作で指定する。ユーザは、そのままの手の形状で、ユーザから見た表示領域を対角線上に右下まで移動し、手を開く動作で右下頂点を指定する。表示装置１０ａは、この対角線の四角形であって、手を掴む動作と開く動作で指定された四角形を含む領域を、操作開始検出領域１３３ａに設定する。表示装置１０ａは、この領域を指定したユーザを、操作者として識別する。
表示装置１０ａは、操作開始検出領域１３３ａを設定すると共に、ユーザ操作領域ｒ２を設定する。例えば、表示装置１０ａは、操作開始検出領域１３３ａの平面を含む空間領域をユーザ操作領域ｒ２として設定する。具体的には、表示装置１０ａは、操作者の目（基準位置座標Ｐ１０）から見た視線であって操作開始検出領域１３３ａの端を通る視線で定まる領域内の空間領域をユーザ操作領域ｒ２として設定する。ここで、表示装置１０ａは、操作開始検出領域１３３ａに基づいて、ユーザ操作領域ｒ２の奥行方向の領域を設定する。例えば、表示装置１０ａは、操作開始検出領域１３３ａより、予め定めた奥行量だけ操作者側にある平面ｒ２１から、予め定めた奥行量だけ表示装置１０ａ側にある平面ｒ２２までの領域を、ユーザ操作領域ｒ２として設定する。すなわち、表示装置１０ａは、ユーザが指定する所定の操作によって、ユーザ操作領域ｒ２を検出する。具体的には、表示装置１０ａは、ユーザが、ユーザの視野内にある表示装置１０ａの表示領域の左上頂点（第一の頂点）を指定し、第一の頂点と対角にある右下頂点（第二の頂点）を指定する操作によって、ユーザ操作領域ｒ２を検出する。なお、第一の頂点は右上頂点であり、第二頂点は左下頂点であってもよい。
ユーザ操作領域ｒ２は、表示装置１０ａと平行な平面が表示装置１０ａに近づくにしたがって徐々に大きくなる形状からなる空間領域となる。すなわち、ユーザ操作領域ｒ２は、操作者から表示装置１０ａに向かうに従って広がる。操作者はユーザ操作領域ｒ２内で手の形状を変える、または手を動かすことにより、表示装置１０ａは、その動作を、操作として認識する。反対にユーザ操作領域ｒ２から手が外れると、表示装置１０ａは、操作として認識しない。
表示装置１０ａは、３次元空間上のユーザ操作領域ｒ２を、撮像装置１１が撮影した画像上の２次元平面領域（操作開始検出領域１３３ａ）に変換し、これを操作者の２次元のユーザ操作領域ｒ２３とする。すなわち、表示装置１０ａは、操作開始検出領域１３３ａをユーザ操作領域ｒ２３とする。操作者の操作検出は、この２次元のユーザ操作領域ｒ２３上にある手の動き、形状により行う。このように、表示装置１０ａは、操作開始の指示により設定された３次元空間上のユーザ操作領域ｒ２を、撮像装置１１上で撮影された手を掴む動作と開く動作から指定される矩形領域（図１５（ｃ）に示す３次元空間のユーザ操作領域ｒ２を撮像画像上の２次元平面で表した領域）として２次元のユーザ操作領域ｒ２３に変換する。これにより、表示装置１０ａは、操作者の身長や表示装置１０ａとの距離、位置に関わらず、操作者が見ている表示領域の大きさや形状をユーザ操作領域ｒ２として割り当てることができる。このため、操作者は、表示装置１０ａに対し、より自然な手の位置で操作（指示）することが可能となる。
次に図１６を用いてコンテンツ選択について説明する。
図１６は、コンテンツ選択の一例を表す概念図である。この例は、手の位置の移動で注目位置を検出し、コンテンツを選択する場合のものである。図１６（ａ）は、操作者から見た表示装置１０ａを表す図である。図１６（ｂ）は、操作者と表示装置１０ａを横から見た図である。図１６（ｃ）は、撮像装置１１が、撮像部１１０ａ、１１０ｂのいずれかを用いて撮影した画像である。
この図において、表示装置１０ａは、操作開始検出領域１３３ａにより設定されたユーザ操作領域ｒ２内の手の位置から、操作者が注目（選択）しているコンテンツを検出する。これにより、操作者は、視野内にある表示領域上の注目したコンテンツを指し示すことでコンテンツを選択することができる。また、操作者は、ＰＣ上のマウスポインタのように使用する場合は、操作者の視野内の表示領域上で手を動かすことにより、その手に追従してマウスポインタを移動することができる。
図１６は、コンテンツ選択の一例を表す概念図である。この例は、手の位置の移動で注目位置を検出し、コンテンツを選択する場合のものである。図１６（ａ）は、操作者から見た表示装置１０ａを表す図である。図１６（ｂ）は、操作者と表示装置１０ａを横から見た図である。図１６（ｃ）は、撮像装置１１が、撮像部１１０ａ、１１０ｂのいずれかを用いて撮影した画像である。
この図において、表示装置１０ａは、操作開始検出領域１３３ａにより設定されたユーザ操作領域ｒ２内の手の位置から、操作者が注目（選択）しているコンテンツを検出する。これにより、操作者は、視野内にある表示領域上の注目したコンテンツを指し示すことでコンテンツを選択することができる。また、操作者は、ＰＣ上のマウスポインタのように使用する場合は、操作者の視野内の表示領域上で手を動かすことにより、その手に追従してマウスポインタを移動することができる。
具体的に、表示装置１０ａは、前記操作開始検出操作で決定したユーザ操作領域ｒ２３上の手の位置に対応する表示領域上の位置を注目位置とする。すなわち、表示装置１０ａは、撮影画像上の２次元平面（ユーザ操作領域ｒ２３）で表した領域サイズを、表示領域サイズにスケーリングした際の拡大・縮小率の割合だけ、撮影画像上の２次元平面で表した領域上の手の位置の座標をスケーリングする。これにより、表示装置１０ａは、操作者の注目したコンテンツの表示領域上の座標を算出する。このように、表示装置１０ａは、ユーザ操作領域ｒ２上の手の位置を、表示領域上の注目位置またはポインタ位置へ変換する。
以上により、表示装置１０ａは、操作者の視聴位置に合わせ、最適なユーザ操作領域ｒ２を設定できる。このため、表示装置１０ａは、操作者の身体的特徴や視聴位置に関係なく、操作者が注目した位置をそのまま選択したコンテンツとすることが可能となる。また、表示装置１０ａは、２次元のユーザ操作領域ｒ２３に基づいてコンテンツ選択の処理を行う場合には、３次元のユーザ操作領域ｒ２に基づいてコンテンツ選択の処理を行う場合と比較して、処理負荷を軽減することができる。なお、表示装置１０ａは、３次元空間上のユーザ操作領域ｒ２内に手の位置がある場合にのみ、奥行方向の手の位置を計測し、ユーザ操作領域ｒ２外に手の位置がある場合には、奥行方向の手の位置を計測なくてもよい。
以上により、表示装置１０ａは、操作者の視聴位置に合わせ、最適なユーザ操作領域ｒ２を設定できる。このため、表示装置１０ａは、操作者の身体的特徴や視聴位置に関係なく、操作者が注目した位置をそのまま選択したコンテンツとすることが可能となる。また、表示装置１０ａは、２次元のユーザ操作領域ｒ２３に基づいてコンテンツ選択の処理を行う場合には、３次元のユーザ操作領域ｒ２に基づいてコンテンツ選択の処理を行う場合と比較して、処理負荷を軽減することができる。なお、表示装置１０ａは、３次元空間上のユーザ操作領域ｒ２内に手の位置がある場合にのみ、奥行方向の手の位置を計測し、ユーザ操作領域ｒ２外に手の位置がある場合には、奥行方向の手の位置を計測なくてもよい。
操作者が選択したコンテンツの決定（再生）は、一定時間手を静止させる、掴む動作を行う（または掴む動作のまま操作者手前側に手を移動させる）、奥行方向に向かって手を移動（押す）する、掌や指を操作者側に向け手を手前に移動する（または手の手前移動と奥行移動を複数回繰り返す）、予め決めた決定を表す音声（決定、選択、これ、再生、見たいなど）を発するなどの操作により行う。制御部２２は、操作者により選択され、決定されたコンテンツを再生し、表示部１２に表示する。
以上までに説明したユーザ操作領域ｒ２３は、３次元空間上のユーザ操作領域ｒ２内の２次元平面領域であったが、これに限定されるものではなく、ユーザ操作領域ｒ２３は、３次元空間上のユーザ操作領域ｒ２内であれば、２次元平面だけでなく、３次元の立体形状（立方体など）でもよい。これにより、操作者の手の動きが奥行方向に移動しながら、表示装置１０ａの表示面の上下左右方向に操作した場合でも、操作検出が可能となる。したがって、手などの奥行移動を使った操作の検出や、手が奥行方向に移動（ずれ）しても、操作者の操作が検出可能となり、操作検出のロバスト性が向上する。
以上までに説明したユーザ操作領域ｒ２３は、３次元空間上のユーザ操作領域ｒ２内の２次元平面領域であったが、これに限定されるものではなく、ユーザ操作領域ｒ２３は、３次元空間上のユーザ操作領域ｒ２内であれば、２次元平面だけでなく、３次元の立体形状（立方体など）でもよい。これにより、操作者の手の動きが奥行方向に移動しながら、表示装置１０ａの表示面の上下左右方向に操作した場合でも、操作検出が可能となる。したがって、手などの奥行移動を使った操作の検出や、手が奥行方向に移動（ずれ）しても、操作者の操作が検出可能となり、操作検出のロバスト性が向上する。
次に、表示装置１０ａは、撮像装置１１が撮影した映像中に操作者が複数人いる場合は、前述のユーザ操作領域ｒ２の設定方法の操作を行ったユーザを操作者と識別し、識別した操作者が設定したユーザ操作領域ｒ２の手を検出する。例えば、表示装置１０ａは、識別した操作者以外のユーザの手の動きは検出しない。これにより、表示装置１０ａは、排他的に操作者を識別できるため、操作者以外の手の動きによる誤動作や、複数のユーザにより操作の取り合いなどが発生することを防ぐことが可能である。
また、表示装置１０ａは、操作者がいない状態を判別し、再び操作者を検出する処理を行う。例えば、表示装置１０ａは、例えば、操作者が手を一定時間ユーザ操作領域ｒ２から外した場合、または、予め定めた操作終了のジェスチャを行う場合には、操作者がいない状態と判別する。以上より、一度操作者と識別されると、操作を終了するまで、識別された操作者のみが操作可能となる。また、識別された操作者が操作を終了させると、次にユーザ領域の設定を行ったユーザが操作者と識別され、操作が可能となる。
また、表示装置１０ａは、操作者がいない状態を判別し、再び操作者を検出する処理を行う。例えば、表示装置１０ａは、例えば、操作者が手を一定時間ユーザ操作領域ｒ２から外した場合、または、予め定めた操作終了のジェスチャを行う場合には、操作者がいない状態と判別する。以上より、一度操作者と識別されると、操作を終了するまで、識別された操作者のみが操作可能となる。また、識別された操作者が操作を終了させると、次にユーザ領域の設定を行ったユーザが操作者と識別され、操作が可能となる。
〔表示装置の構成〕
次に本実施形態に係る表示装置１０ａの構成について説明する。本実施形態に係る表示装置１０ａと表示装置１０（図３参照）と比較すると、表示装置１０ａは、ユーザ情報解析部２０１に変えてユーザ情報解析部２０１ａを備える点が異なる。しかし、他の構成要素が持つ機能は表示装置１０と同じである。
図１７は、本実施形態に係るユーザ情報解析部２０１ａの構成を表すブロック図である。本実施形態に係るユーザ情報解析部２０１ａ（図１７）とユーザ情報解析部２０１（図７）とを比較すると、操作者判別部３５ａおよび注目位置検出部３６ａが異なる。しかし、他の構成要素が持つ機能はユーザ情報解析部２０１と同じである。
操作者判別部３５ａおよび注目位置検出部３６ａは、以下の処理を行う。
次に本実施形態に係る表示装置１０ａの構成について説明する。本実施形態に係る表示装置１０ａと表示装置１０（図３参照）と比較すると、表示装置１０ａは、ユーザ情報解析部２０１に変えてユーザ情報解析部２０１ａを備える点が異なる。しかし、他の構成要素が持つ機能は表示装置１０と同じである。
図１７は、本実施形態に係るユーザ情報解析部２０１ａの構成を表すブロック図である。本実施形態に係るユーザ情報解析部２０１ａ（図１７）とユーザ情報解析部２０１（図７）とを比較すると、操作者判別部３５ａおよび注目位置検出部３６ａが異なる。しかし、他の構成要素が持つ機能はユーザ情報解析部２０１と同じである。
操作者判別部３５ａおよび注目位置検出部３６ａは、以下の処理を行う。
〔処理フロー〕
次に、本実施形態に係るデータ入力処理について説明する。
図１８は、本実施形態に係るデータ入力処理を表すフローチャートである。本実施形態に係るデータ入力処理（図１８）と第１実施形態に係るデータ入力処理（図１３）とを比較すると、ステップＳ１０４〜Ｓ１０８の処理に変えて、ステップＳ２０４〜Ｓ２０９の処理が行われることが異なる。しかし、図１８の処理において、図１３の処理と同じ符号を付した処理は、同じである。
次に、本実施形態に係るデータ入力処理について説明する。
図１８は、本実施形態に係るデータ入力処理を表すフローチャートである。本実施形態に係るデータ入力処理（図１８）と第１実施形態に係るデータ入力処理（図１３）とを比較すると、ステップＳ１０４〜Ｓ１０８の処理に変えて、ステップＳ２０４〜Ｓ２０９の処理が行われることが異なる。しかし、図１８の処理において、図１３の処理と同じ符号を付した処理は、同じである。
（ステップＳ２０４）操作者判別部３５ａは、顔検出部３０から入力された３次元顔位置情報に基づいて、顔面の領域を検出したユーザを識別する。操作者判別部３５ａは、識別したユーザの手形状が操作開始の手形状（掴むなど）であった場合に、その回数をカウントアップする。操作者判別部３５ａは、識別したユーザについて、操作開始の手形状が所定回数を超えたかを判別する。操作開始の手形状が所定回数を超えた場合（ステップＳ２０４ Ｙｅｓ）、ステップＳ２０５に進む。操作開始の手形状が所定回数以下の場合（ステップＳ２０４ Ｎｏ）、ステップＳ２００に進む。なお、操作者判別部３５ａは、操作開始の手形状でなかった場合は、その回数をリセットしてもよい。また、操作者判別部３５ａは、識別したユーザの手形状が操作開始の手形状であり、予め定めた時間、その手形状が保たれたと判定した場合に、ステップＳ２０５の処理を行っても良い。
（ステップＳ２０５）操作者判別部３５ａは、顔面の領域を検出したユーザの手形状が操作開始検出の終了の手形状（開くなど）となったかを判別する。操作開始検出の終了の手形状（開くなど）となった場合（ステップＳ２０５ Ｙｅｓ）、ステップＳ２０６に進む。このとき、操作者判別部３５ａは、操作開始の手形状のときの手の位置と、操作開始検出の終了の手形状となったときの手の位置と、に基づいて、操作開始検出領域１３３ａを設定する（図１５参照）。操作開始検出の終了の手形状（開くなど）でなかった場合（ステップＳ２０５ Ｎｏ）、操作者がいなかったとしてステップＳ２００に進む。
（ステップＳ２０６）操作者判別部３５ａは、ステップＳ２０５で操作開始検出領域１３３ａを設定したユーザを、操作者として特定する。操作者判別部３５ａは、操作者を特定し、その他のユーザの顔、手を追従（認識）しない。これにより、表示装置１０ａでは、特定された操作者の操作中は、その他のユーザによって操作が奪われるなどが発生しない。
操作者判別部３５ａは、操作開始検出領域１３３ａを含むユーザ操作領域ｒ２を算出する。操作者判別部３５ａは、ユーザ操作領域ｒ２を、撮像装置１１が撮影した画像上の２次元平面で表したユーザ操作領域ｒ２３に変換することで、撮影映像上の操作領域を決定する。その後、ステップＳ２０７に進む。
操作者判別部３５ａは、操作開始検出領域１３３ａを含むユーザ操作領域ｒ２を算出する。操作者判別部３５ａは、ユーザ操作領域ｒ２を、撮像装置１１が撮影した画像上の２次元平面で表したユーザ操作領域ｒ２３に変換することで、撮影映像上の操作領域を決定する。その後、ステップＳ２０７に進む。
（ステップＳ２０７）操作者判別部３５ａは、操作者の手が、ユーザ操作領域ｒ２範囲内に所在するか否かを判断し、操作者が操作を継続しているかを検知する。操作者判別部３５ａは、操作可能領域（図１参照）に所在する操作者の手がユーザ操作領域ｒ２に所在すると判断することで、操作者が操作を継続していると検知した場合（ステップＳ２０７ Ｙｅｓ）、ステップＳ２０８に進む。操作者判別部３５ａは、操作可能領域に所在する操作者の手がユーザ操作領域ｒ２に所在していない（又は操作者の手がユーザ操作領域ｒ２外にある）と判断することで、操作者が操作を終了または中断したと検知した場合（ステップＳ２０７ Ｎｏ）、ステップＳ２００に進む。
なお、前述の操作継続検知に加えて、操作者判別部３５ａは、３次元手位置情報が表す被写空間上の手の位置が奥行方向の操作開始検出範囲（図８における操作開始検出開始位置（奥行方向）から開始される操作開始検出領域（奥行方向））に含まれるか否かを判断し、操作者が操作を継続しているか否かを検知してもよい。これにより、表示装置１０ａは、操作開始検出範囲と手の位置との関係を、奥行方向の座標も考慮して操作者の操作継続検知の誤検出を回避することができる。
なお、前述の操作継続検知に加えて、操作者判別部３５ａは、３次元手位置情報が表す被写空間上の手の位置が奥行方向の操作開始検出範囲（図８における操作開始検出開始位置（奥行方向）から開始される操作開始検出領域（奥行方向））に含まれるか否かを判断し、操作者が操作を継続しているか否かを検知してもよい。これにより、表示装置１０ａは、操作開始検出範囲と手の位置との関係を、奥行方向の座標も考慮して操作者の操作継続検知の誤検出を回避することができる。
（ステップＳ２０８）注目位置検出部３６ａは、ユーザ操作領域ｒ２３のサイズを表示領域サイズにスケーリングし、ユーザ操作領域ｒ２３で表した領域上の手の位置を表示領域上に対応づけた２次元座標を注目位置として算出する。その後、ステップＳ２０９に進む。
（ステップＳ２０９）制御部２２は、検出した注目位置に該当するコンテンツの代表画像を操作者に示すために、代表画像をハイライトにし、表示部１２に表示する。その後、ステップＳ１１０に進む。
（ステップＳ２０９）制御部２２は、検出した注目位置に該当するコンテンツの代表画像を操作者に示すために、代表画像をハイライトにし、表示部１２に表示する。その後、ステップＳ１１０に進む。
このように、本実施形態によれば、表示装置１０ａは、ユーザが指定する所定の操作によって、ユーザ操作領域ｒ２を検出する。表示装置１０ａは、ユーザ操作領域ｒ２を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定する。これにより、表示装置１０ａは、操作性を向上することができる。
また、本実施形態によれば、表示装置１０ａは、操作者の目の位置又は顔の位置と、表示装置１０ａの表示領域（被操作領域）と、に基づいて、ユーザ操作領域ｒ２を検出する。このユーザ操作領域ｒ２は、操作者から表示装置１０ａに向かうに従って広がる。例えば、ユーザ操作領域ｒ２は、表示装置１０ａと平行な平面が表示装置１０ａに近づくにしたがって徐々に大きくなる形状としている。このため、大型のディスプレイやタイルディスプレイなどの場合は、コンテンツ決定動作である押す動作を行うと、手を表示装置１１上の表示領域平面と垂直方向に押す動作とはならずに、操作者から表示領域上のコンテンツに向かう方向に押す動作となる。
このように、表示装置１０ａを用いれば、操作者は、例えば表示領域上の端にあるコンテンツの代表画像に向かって押す動作ができるため、より直感的な動作でコンテンツの再生またはプログラムの実行を行うことができる。なお、タイルディスプレイとは、複数のディスプレイを組合せることで表示領域を大きくしたディスプレイである。
また、本実施形態によれば、表示装置１０ａは、操作者の目の位置又は顔の位置と、表示装置１０ａの表示領域（被操作領域）と、に基づいて、ユーザ操作領域ｒ２を検出する。このユーザ操作領域ｒ２は、操作者から表示装置１０ａに向かうに従って広がる。例えば、ユーザ操作領域ｒ２は、表示装置１０ａと平行な平面が表示装置１０ａに近づくにしたがって徐々に大きくなる形状としている。このため、大型のディスプレイやタイルディスプレイなどの場合は、コンテンツ決定動作である押す動作を行うと、手を表示装置１１上の表示領域平面と垂直方向に押す動作とはならずに、操作者から表示領域上のコンテンツに向かう方向に押す動作となる。
このように、表示装置１０ａを用いれば、操作者は、例えば表示領域上の端にあるコンテンツの代表画像に向かって押す動作ができるため、より直感的な動作でコンテンツの再生またはプログラムの実行を行うことができる。なお、タイルディスプレイとは、複数のディスプレイを組合せることで表示領域を大きくしたディスプレイである。
なお、表示装置１０ａでは、注目位置検出として、操作者の目の位置と手の位置を結んだ直線と表示装置１０ａが交わった交点を注目位置座標としていた。表示装置１０ａでは、表示領域に対応する操作者の視野内をユーザ操作領域ｒ２として設定し、ユーザ操作領域ｒ２内の平面を操作領域として表示装置１０ａの表示領域と対応づけて、操作者の注目位置を検出する。これにより、表示装置１０ａでは、ユーザの操作開始の検出時に、ユーザ操作領域ｒを決定できるので、操作者の身体的特徴に合わせ、ユーザ操作領域ｒを決定できる。したがって、ユーザの身体的な個人差に関係なく、ユーザ操作領域ｒが決定されるため、操作者の注目位置検出精度が向上すると同時に、操作の思い通りに自然な操作できるということが可能である。
なお、上記各実施形態では、表示装置１０、１０ａは、２台の撮像部１１０ａ、１１０ｂから各々入力された画像信号に基づいて操作者の身体までの距離を表す距離情報を取得したが、本実施形態ではこれには限られない。例えば、撮像部１１０ａ、１１０ｂのいずれかが、その他の方式で被写体までの距離情報を取得する測距部に置き換られてもよく、その場合、測距部が取得した距離情報を、ユーザ情報解析部２０１に入力するようにしてもよい。
この測距部は、例えば、距離情報を取得する方式としてＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法を用いる。ＴＯＦ法では、光源として、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、発光ダイオード）を用いて、光線を放射してから被写体から反射した反射光を受信するまでの到達時間を計測する。到達時間の計測を、予め定めた分割された領域毎に行うことで、被写空間内の平面位置毎の距離情報を取得することができる。光源は、例えば、人間の眼に見えない赤外線を放射する赤外線発光ダイオードであるが、これには限られない。例えば、パルス照射することができるレーザ光源であってもよい。また、光線の振幅又は位相を変調することができる位相変調器を備え、放射光と反射光の位相差に基づいて到達時間を算出してもよい。
この測距部は、例えば、距離情報を取得する方式としてＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法を用いる。ＴＯＦ法では、光源として、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、発光ダイオード）を用いて、光線を放射してから被写体から反射した反射光を受信するまでの到達時間を計測する。到達時間の計測を、予め定めた分割された領域毎に行うことで、被写空間内の平面位置毎の距離情報を取得することができる。光源は、例えば、人間の眼に見えない赤外線を放射する赤外線発光ダイオードであるが、これには限られない。例えば、パルス照射することができるレーザ光源であってもよい。また、光線の振幅又は位相を変調することができる位相変調器を備え、放射光と反射光の位相差に基づいて到達時間を算出してもよい。
なお、上述では、制御部２２がユーザ情報解析部から入力された検出情報として手形状情報に対応する種類の処理を行う例について説明したが、本実施形態ではこれには限られない。本実施形態では、身体の一部として手に限らず、他の部分、例えば腕、首、頭部、胴体部の形状を表す情報を含むユーザ情報を用いてもよい。また、当該ユーザ情報における形状とは、静止した形状に限らず、形状の時間変化である動作、姿勢を含んでいてもよい。当該ユーザ情報には、２次元の位置情報の代わりに３次元の位置情報を用いてもよい。
このように、本実施形態によれば、撮像装置１１が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する。また、本実施形態によれば、第１位置情報に基づいてユーザを判別し、撮像装置１１が撮像した映像に表されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、検出したユーザ情報に対応する処理を実行する。そのため、複数人の操作者が身体の形状を変化させて操作を試みても、同時に複数の操作に係る処理が衝突せずに快適な操作が可能になる。
このように、本実施形態によれば、撮像装置１１が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する。また、本実施形態によれば、第１位置情報に基づいてユーザを判別し、撮像装置１１が撮像した映像に表されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、検出したユーザ情報に対応する処理を実行する。そのため、複数人の操作者が身体の形状を変化させて操作を試みても、同時に複数の操作に係る処理が衝突せずに快適な操作が可能になる。
また、本実施形態によれば、ユーザ情報に対応する処理を実行したタイミングによる、案内画像の表示の有無や、撮像装置が撮像した映像に基づきユーザの特徴を表す特徴情報を推定し、特徴情報によって表示態様が異なる案内画像を表示する。そのため、多様な特徴を有するユーザに対して快適な操作が可能になる。
なお、上述した実施形態における表示装置１０、１０ａの一部、例えば、距離算出部２００、顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３、特徴情報解析部３４、操作者判別部３５、３５ａ、注目位置検出部３６、３６ａ、検出情報出力部３７、及び制御部２２をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における表示装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
また、上述した実施形態における表示装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
１０、１０ａ…表示装置、２ａ…データ入力装置、１１…撮像装置、２０…画像処理装置、２００…距離算出部、２０１、２０１ａ…ユーザ情報解析部、３０…顔検出部、３１…目位置検出部、３２…手位置検出部、３３…手形状・指先位置検出部、３４…特徴情報解析部、３５、３５ａ…操作者判別部、３６、３６ａ…注目位置検出部、３７…検出情報出力部、２ｂ…表示制御装置、１２…表示部、２１…情報ＤＢ、２２…制御部
Claims (14)
- 撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出部と、
前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者の候補として特定するユーザ情報解析部と、
を備え、
前記ユーザ情報解析部は、前記操作者の候補のうち、前記操作領域に前記身体の一部が含まれたユーザを操作者と特定し、前記操作者の候補のうち前記操作者と特定したユーザ以外のユーザを操作することができないユーザと特定することを特徴とする注目位置検出装置。 - ユーザ情報解析部は、前記操作領域に前記身体の一部が含まれる場合に、前記撮像装置が撮像した映像に表されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、
前記ユーザ情報解析部が検出したユーザ情報に対応する処理を実行する制御部を備えることを特徴とする請求項１に記載の注目位置検出装置。 - 前記ユーザ情報解析部は、前記ユーザが指定する所定の操作によって、前記操作領域を検出することを特徴とする請求項１又は２に記載の注目位置検出装置。
- 前記ユーザ情報解析部は、前記ユーザが、前記ユーザの視野内にある表示装置の表示領域の第一の頂点を指定し、第一の頂点と対角にある第二の頂点を指定する操作によって、前記操作領域を検出することを特徴とする請求項３に記載の注目位置検出装置。
- 前記ユーザ情報解析部が検出する操作領域であって表示装置から前記ユーザを見た場合の操作領域のサイズと、表示装置の表示領域における被操作領域のサイズと、を対応付け、
当該対応付けに基づいて、前記操作領域内にある該ユーザの体の一部の位置から被操作領域内で対応する位置を算出する注目位置検出部
を備えることを特徴とする請求項１から４のいずれか一項に記載の注目位置検出装置。 - 前記身体の一部が、手であること
を特徴とする請求項５に記載の注目位置検出装置。 - 前記撮像装置が撮像した映像を表示する表示部を備え、
前記撮像装置は、前記表示部よりも高い位置に設置されていること
を特徴とする請求項１から６のいずれか一項に記載の注目位置検出装置。 - 前記操作領域は、前記操作者から注目位置検出装置に向かうに従って広がることを特徴とする請求項１から７のいずれか一項に記載の注目位置検出装置。
- 前記ユーザ情報解析部は、前記操作者の目の位置又は顔の位置と、表示装置の表示領域における被操作領域と、に基づいて、前記操作領域を検出することを特徴とする請求項１から８のいずれか一項に記載の注目位置検出装置。
- 前記操作者の目の位置又は顔の位置を表す基準位置情報と、前記操作者の身体の一部の位置を表す指示位置情報と、に基づいて、表示装置の表示領域における被操作領域内の位置であって、前記操作者の身体の一部が示す位置を算出する注目位置検出部
を備えることを特徴とする請求項１から９のいずれか一項に記載の注目位置検出装置。 - 注目位置検出装置における注目位置検出方法において、
撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出過程と、
前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析過程と、
を有することを特徴とする注目位置検出方法。 - 注目位置検出装置における注目位置検出方法において、
撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出過程と、
前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析過程と、
前記ユーザ情報解析過程で検出された操作領域であって表示装置から前記ユーザを見た場合の操作領域のサイズと、表示装置の表示領域における被操作領域のサイズと、を対応付け、当該対応付けに基づいて、前記操作領域内にある該ユーザの体の一部の位置から被操作領域内で対応する位置を算出する注目位置検過程と、
を有することを特徴とする注目位置検出方法。 - コンピュータに、
撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出手段、
前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析手段、
を実行させるための注目位置検出プログラム。 - コンピュータに、
撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出手段、
前記第１位置情報に基づいて、ユーザが身体の一部を用いて操作を行ことができる操作領域を検出し、前記操作領域を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定するユーザ情報解析手段、
前記ユーザ情報解析手段で検出された操作領域であって表示装置から前記ユーザを見た場合の操作領域のサイズと、表示装置の表示領域における被操作領域のサイズと、を対応付け、当該対応付けに基づいて、前記操作領域内にある該ユーザの体の一部の位置から被操作領域内で対応する位置を算出する注目位置検手段、
を実行させるための注目位置検出プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012126299A JP2013250882A (ja) | 2012-06-01 | 2012-06-01 | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム |
| CN201380028922.7A CN104364733B (zh) | 2012-06-01 | 2013-05-29 | 注视位置检测装置、注视位置检测方法和注视位置检测程序 |
| PCT/JP2013/064842 WO2013180151A1 (ja) | 2012-06-01 | 2013-05-29 | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム |
| US14/404,595 US9778748B2 (en) | 2012-06-01 | 2013-05-29 | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012126299A JP2013250882A (ja) | 2012-06-01 | 2012-06-01 | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013250882A true JP2013250882A (ja) | 2013-12-12 |
| JP2013250882A5 JP2013250882A5 (ja) | 2015-02-05 |
Family
ID=49673339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012126299A Pending JP2013250882A (ja) | 2012-06-01 | 2012-06-01 | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9778748B2 (ja) |
| JP (1) | JP2013250882A (ja) |
| CN (1) | CN104364733B (ja) |
| WO (1) | WO2013180151A1 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014073384A1 (ja) * | 2012-11-06 | 2014-05-15 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
| JP2015114950A (ja) * | 2013-12-13 | 2015-06-22 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
| JP2016523420A (ja) * | 2013-06-27 | 2016-08-08 | アイサイト モバイル テクノロジーズ リミテッド | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 |
| JP2016213744A (ja) * | 2015-05-12 | 2016-12-15 | キヤノン株式会社 | 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム |
| JP2017033556A (ja) * | 2015-07-30 | 2017-02-09 | 株式会社リコー | 画像処理方法及び電子機器 |
| JP2017531227A (ja) * | 2014-08-01 | 2017-10-19 | スターシップ ベンディング−マシーン コーポレーション | ユーザーの視点を考慮して動作認識するインタフェース提供方法及び提供装置 |
| WO2018235371A1 (ja) | 2017-06-20 | 2018-12-27 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
| JP2021522564A (ja) * | 2018-04-17 | 2021-08-30 | トヨタ リサーチ インスティテュート，インコーポレイティド | 非制約環境において人間の視線及びジェスチャを検出するシステムと方法 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160139762A1 (en) * | 2013-07-01 | 2016-05-19 | Inuitive Ltd. | Aligning gaze and pointing directions |
| JP2015111371A (ja) * | 2013-12-06 | 2015-06-18 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US20150309681A1 (en) * | 2014-04-23 | 2015-10-29 | Google Inc. | Depth-based mode switching for touchless gestural interfaces |
| WO2015198747A1 (ja) * | 2014-06-24 | 2015-12-30 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN104575357A (zh) * | 2015-01-21 | 2015-04-29 | 昆山龙腾光电有限公司 | 一种稳定手持设备显示画面的方法、系统及手持装置 |
| CN107787497B (zh) * | 2015-06-10 | 2021-06-22 | 维塔驰有限公司 | 用于在基于用户的空间坐标系中检测手势的方法和装置 |
| CN107015637B (zh) * | 2016-10-27 | 2020-05-05 | 阿里巴巴集团控股有限公司 | 虚拟现实场景下的输入方法和装置 |
| TWM550619U (zh) * | 2016-12-02 | 2017-10-21 | Unlimiter Mfa Co Ltd | 可依據臉部影像辨識結果取得聽力數據之電子裝置 |
| CN106845405A (zh) * | 2017-01-20 | 2017-06-13 | 武汉仟品网络科技有限公司 | 一种通过生物影像识别身份的方法、装置及电子设备 |
| CN107219921B (zh) | 2017-05-19 | 2019-09-27 | 京东方科技集团股份有限公司 | 一种操作动作执行方法及其系统 |
| JP6824838B2 (ja) | 2017-07-07 | 2021-02-03 | 株式会社日立製作所 | 作業データ管理システム及び作業データ管理方法 |
| CN108289151A (zh) * | 2018-01-29 | 2018-07-17 | 维沃移动通信有限公司 | 一种应用程序的操作方法及移动终端 |
| TWI734024B (zh) * | 2018-08-28 | 2021-07-21 | 財團法人工業技術研究院 | 指向判斷系統以及指向判斷方法 |
| CN110335306B (zh) * | 2019-04-23 | 2022-04-15 | 华中科技大学 | 注视点预测方法及装置 |
| JP2021015637A (ja) | 2020-11-05 | 2021-02-12 | マクセル株式会社 | 表示装置 |
| CN112363626B (zh) * | 2020-11-25 | 2021-10-01 | 广东魅视科技股份有限公司 | 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法 |
| CN115909468B (zh) * | 2023-01-09 | 2023-06-06 | 广州佰锐网络科技有限公司 | 人脸五官遮挡检测方法、存储介质及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11327753A (ja) * | 1997-11-27 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 制御方法及びプログラム記録媒体 |
| JP2005216061A (ja) * | 2004-01-30 | 2005-08-11 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| JP2007310620A (ja) * | 2006-05-18 | 2007-11-29 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
| US20080120577A1 (en) * | 2006-11-20 | 2008-05-22 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling user interface of electronic device using virtual plane |
| JP2011175617A (ja) * | 2010-01-29 | 2011-09-08 | Shimane Prefecture | 画像認識装置および操作判定方法並びにプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4286556B2 (ja) * | 2003-02-24 | 2009-07-01 | 株式会社東芝 | 画像表示装置 |
| CN1293446C (zh) * | 2005-06-02 | 2007-01-03 | 北京中星微电子有限公司 | 一种非接触式目控操作系统和方法 |
| JP4907483B2 (ja) | 2007-09-28 | 2012-03-28 | パナソニック株式会社 | 映像表示装置 |
| JP5416489B2 (ja) | 2009-06-17 | 2014-02-12 | 日本電信電話株式会社 | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム |
| US20120056989A1 (en) * | 2010-09-06 | 2012-03-08 | Shimane Prefectural Government | Image recognition apparatus, operation determining method and program |
-
2012
- 2012-06-01 JP JP2012126299A patent/JP2013250882A/ja active Pending
-
2013
- 2013-05-29 US US14/404,595 patent/US9778748B2/en active Active
- 2013-05-29 CN CN201380028922.7A patent/CN104364733B/zh active Active
- 2013-05-29 WO PCT/JP2013/064842 patent/WO2013180151A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11327753A (ja) * | 1997-11-27 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 制御方法及びプログラム記録媒体 |
| JP2005216061A (ja) * | 2004-01-30 | 2005-08-11 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| JP2007310620A (ja) * | 2006-05-18 | 2007-11-29 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
| US20080120577A1 (en) * | 2006-11-20 | 2008-05-22 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling user interface of electronic device using virtual plane |
| JP2011175617A (ja) * | 2010-01-29 | 2011-09-08 | Shimane Prefecture | 画像認識装置および操作判定方法並びにプログラム |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2014073384A1 (ja) * | 2012-11-06 | 2016-09-08 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
| WO2014073384A1 (ja) * | 2012-11-06 | 2014-05-15 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
| JP5928757B2 (ja) * | 2012-11-06 | 2016-06-01 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
| US9672413B2 (en) | 2012-11-06 | 2017-06-06 | Sony Corporation | Setting operation area for input according to face position |
| US10817067B2 (en) | 2013-06-27 | 2020-10-27 | Eyesight Mobile Technologies Ltd. | Systems and methods of direct pointing detection for interaction with a digital device |
| JP2016523420A (ja) * | 2013-06-27 | 2016-08-08 | アイサイト モバイル テクノロジーズ リミテッド | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 |
| JP2019087279A (ja) * | 2013-06-27 | 2019-06-06 | アイサイト モバイル テクノロジーズ リミテッド | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 |
| US11314335B2 (en) | 2013-06-27 | 2022-04-26 | Eyesight Mobile Technologies Ltd. | Systems and methods of direct pointing detection for interaction with a digital device |
| JP7191714B2 (ja) | 2013-06-27 | 2022-12-19 | アイサイト モバイル テクノロジーズ リミテッド | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 |
| JP2015114950A (ja) * | 2013-12-13 | 2015-06-22 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
| JP2017531227A (ja) * | 2014-08-01 | 2017-10-19 | スターシップ ベンディング−マシーン コーポレーション | ユーザーの視点を考慮して動作認識するインタフェース提供方法及び提供装置 |
| JP2016213744A (ja) * | 2015-05-12 | 2016-12-15 | キヤノン株式会社 | 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム |
| JP2017033556A (ja) * | 2015-07-30 | 2017-02-09 | 株式会社リコー | 画像処理方法及び電子機器 |
| US10074010B2 (en) | 2015-07-30 | 2018-09-11 | Ricoh Company, Ltd. | Image processing method, device and non-transitory computer-readable medium |
| WO2018235371A1 (ja) | 2017-06-20 | 2018-12-27 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
| US10921934B2 (en) | 2017-06-20 | 2021-02-16 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
| JP2021522564A (ja) * | 2018-04-17 | 2021-08-30 | トヨタ リサーチ インスティテュート，インコーポレイティド | 非制約環境において人間の視線及びジェスチャを検出するシステムと方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013180151A1 (ja) | 2013-12-05 |
| CN104364733B (zh) | 2018-02-16 |
| CN104364733A (zh) | 2015-02-18 |
| US20150145762A1 (en) | 2015-05-28 |
| US9778748B2 (en) | 2017-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2013180151A1 (ja) | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム | |
| JP5896578B2 (ja) | データ入力装置 | |
| US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
| JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
| KR101581954B1 (ko) | 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법 | |
| KR102160236B1 (ko) | 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치 | |
| KR101761050B1 (ko) | 인간-컴퓨터 자연스러운 3차원 손 제스처 기반 내비게이션 방법 | |
| JP5205187B2 (ja) | 入力システム及び入力方法 | |
| JP4323180B2 (ja) | 自己画像表示を用いたインタフェース方法、装置、およびプログラム | |
| US9836130B2 (en) | Operation input device, operation input method, and program | |
| JP5964603B2 (ja) | データ入力装置、及び表示装置 | |
| JP5438601B2 (ja) | 人物動作判定装置およびそのプログラム | |
| WO2017047182A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2004078977A (ja) | インターフェイス装置 | |
| KR101256046B1 (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
| CN108594995A (zh) | 一种基于手势识别的电子设备操作方法及电子设备 | |
| KR101396488B1 (ko) | 신호 입력 장치 및 신호 입력 방법 | |
| JP6230666B2 (ja) | データ入力装置、データ入力方法、及びデータ入力プログラム | |
| US8970479B1 (en) | Hand gesture detection | |
| CN106909219B (zh) | 基于三维空间的交互控制方法和装置、智能终端 | |
| Lee et al. | A Long‐Range Touch Interface for Interaction with Smart TVs | |
| KR20160034275A (ko) | 제스쳐 인식 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150401 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160614 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160812 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170110 |