JP2016186809A - データ入力装置、データ入力方法、及びデータ入力プログラム - Google Patents

Abstract

【課題】操作方法の習得度に関わらず快適に操作でき、誤動作の発生を抑制する。
【解決手段】第１位置検出部は、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を、第２位置検出部は、身体の一部とは異なる他の部分の位置を表す第２位置情報を取得する。ユーザ情報解析部は、第２位置情報に基づいてユーザを判別し、撮像装置が撮像した映像に表された判別されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、所定の基準位置から第２位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者と判断する。制御部は、第１位置情報と第２位置情報が予め定めた関係にあるユーザについてユーザ情報に対応する処理を実行する。
【選択図】図３

Description

本発明は、データ入力装置、データ入力方法、及びデータ入力プログラムに関する。

コンピュータ、ゲーム機等の機器を操作するためのユーザインタフェースとして様々な機器や手法が提案されている。特にゲーム機には、ユーザの動きを検出（モーションキャプチャ）し、ユーザの身体全体の姿勢で機器を操作するものが提案されている。
例えば、特許文献１に記載のインターフェイス装置は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラで撮像した画像中の物体の形状、動きを認識し、認識した物体の形状や動きをディスプレイに表示する。ユーザがＣＣＤカメラに向かって、例えば手振り等の動作を行うと、ユーザの動作が当該装置のディスプレイの表示画面上に表示される。このとき、ユーザは、表示画面上に表示された仮想スイッチ等を動作によって表示された矢印カーソルのアイコンで選択できる。
特許文献２に記載の映像表示装置は、ユーザを識別し、ユーザの位置と動作を検出し、検出したユーザの位置と動作により、表示映像の視聴対象であるユーザを判別し、ユーザに対応して映像を表示するアプリケーションを制御する。

特開２００４−７８９７７号公報 特開２００９−８７０２６号公報

しかしながら、特許文献１に記載のインターフェイス装置では、ユーザがどのような動作を行って、どのような操作ができるのか直感的に認識できないということがある。例えば、入力操作を確定する方法（例えば、マウスのクリック等の操作入力の代替となる動作）や表示された映像コンテンツの移動方法（例えば、マウスのドラッグ等の操作入力の代替となる動作）などの操作に対応した入力方法が、ユーザにとって容易ではないことがある。クリック操作に対応する入力操作を確定する方法については、例えば、ユーザが所定の時間よりも長い時間、手を静止させる方法がある。この場合、ユーザは、入力操作を確定するために、手の位置を固定させることを予め知っておく必要がある。また、所定の時間が長すぎると、ユーザが快適に操作を行うことができないことがある。

また、特許文献２に記載の映像表示装置では、ユーザが動作した場合、その動作が操作入力を意図した動作か、他の目的を意図した動作かを判別することができないことがある。複数のユーザが当該映像表示装置に表示された映像を同時に視聴する場合、一方のユーザによる動作によって、他方のユーザが意図しない操作入力がなされることがある。また、複数のユーザが同時に動作して、当該映像表示装置が各々操作入力を受け付けると、相矛盾する操作入力に対する処理が指示されることで誤動作の原因になることがある。このことは、映像の視聴に支障をきたすことがある。

本発明は、このような問題を鑑みてなされたもので、操作方法の習得度に関わらず快適に操作でき、誤動作の発生を抑制する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出部と、前記身体の一部とは異なる他の部分の位置を表す第２位置情報を取得する第２位置検出部と、前記第２位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析部と、前記第１位置情報と前記第２位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御部と、を備え、前記ユーザ情報解析部は、所定の基準位置から前記第２位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者と判断することを特徴とするデータ入力装置である。

（２）本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、所定の基準位置から前記操作者と判断したユーザの前記第２位置情報が示す位置までの距離が、前記所定の距離よりも大きくなった場合に、新たなユーザの操作入力を受け付けることを特徴とする。

（３）本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、前記第２位置情報に基づいて操作検出領域を定め、前記ユーザが複数であるとき、前記第１位置情報が示す前記身体の一部の位置が前記操作検出領域の中心に最も近接するユーザを操作者と判断することを特徴とする。

（４）本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、前記第２位置情報に基づいて操作検出領域を定め、前記第１位置情報が示す前記身体の一部の位置が前記操作検出領域の範囲外となった場合に、新たなユーザの操作入力を受け付けることを特徴とする。

（５）本発明のその他の態様は、上述のデータ入力装置であって、前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部を備え、前記ユーザ情報解析部は、前記ユーザ情報の検出回数に基づき前記ユーザの習熟度を判断し、前記制御部は、前記習熟度が高いほど前記ユーザ情報の検出から前記案内画像を表示するまでの時間を短くすることを特徴とする。

（６）本発明のその他の態様は、上述のデータ入力装置であって、前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部を備え、前記ユーザ情報解析部は、前記ユーザ情報の検出回数に基づき前記ユーザの習熟度を判断し、前記制御部は、前記習熟度が所定の習熟度よりも低い場合、前記案内画像を表示させ、前記習熟度が所定の習熟度よりも高い場合、前記案内画像を表示させないことを特徴とする。

（７）本発明のその他の態様は、上述のデータ入力装置であって、前記制御部は、前記身体の一部の形状変化が所定の検出閾値よりも大きいとき、当該形状変化に基づく操作入力を受け付け、前記所定の基準位置から前記第２位置情報が示す位置までの距離が大きいほど、前記身体の一部の形状変化の検出閾値を大きくすることを特徴とする。

（８）本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、前記撮像装置が撮像した映像に基づき、前記ユーザの年齢層を表す特徴情報を推定し、前記制御部は、前記身体の一部の形状の変化に基づく操作入力を受け付け、前記年齢層が高いほど、前記身体の一部の形状の検出時間間隔を長くすることを特徴とする。

（９）本発明のその他の態様は、上述のデータ入力装置であって、前記ユーザ情報解析部は、前記撮像装置が撮像した映像に基づき、前記ユーザの年齢層を表す特徴情報を推定し、
前記制御部は、前記身体の一部の形状の変化に基づく操作入力を受け付け、前記年齢層が低いほど、前記身体の一部の形状変化の検出閾値を小さくすることを特徴とする。

（１０）本発明のその他の態様は、上述のデータ入力装置であって、前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部と、身体の一部の形状を示す形状情報を記憶した記憶部を備え、前記制御部は、前記記憶部から読み出した形状情報が示す形状と、前記第１位置情報が示す身体の一部の形状との照合に失敗した場合、前記案内画像を表示させることを特徴とする。

（１１）本発明のその他の態様は、データ入力装置におけるデータ入力方法であって、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出過程と、前記身体の一部とは異なる他の部分の位置を表す第２位置情報を取得する第２位置検出過程と、前記第２位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析過程と、前記第１位置情報と前記第２位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御過程と、前記制御過程において実行される処理と前記身体の一部の形状との関係を表す案内画像を表示する表示過程と、を有し、前記ユーザ情報解析過程は、前記第２位置情報に基づいて操作開始検出領域を定め、前記ユーザが複数であるとき、前記第１位置情報が示す前記身体の一部の位置が前記操作開始検出領域の中心に最も近接するユーザを操作者と判断することを特徴とするデータ入力方法である。

（１２）本発明のその他の態様は、データ入力装置のコンピュータに、撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出手順、前記身体の一部とは異なる他の部分の位置を表す第２位置情報を取得する第２位置検出手順、前記第２位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析手順、前記第１位置情報と前記第２位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御手順、前記制御手順において実行される処理と前記身体の一部の形状との関係を表す案内画像を表示する表示過程と、を有し、前記ユーザ情報解析手順は、前記第２位置情報に基づいて操作開始検出領域を定め、前記ユーザが複数であるとき、前記第１位置情報が示す前記身体の一部の位置が前記操作開始検出領域の中心に最も近接するユーザを操作者と判断することを特徴とするデータ入力プログラム。

本発明によれば、操作方法の習得度に関わらず快適に操作でき、誤動作の発生を抑制する。

本発明の実施形態に係る表示装置の使用態様を表す概念図である。 ユーザと表示装置の位置関係を表す平面図である。 本実施形態に係る表示装置の構成を表すブロック図である。 左画像及び右画像の一例を表す概念図である。 画像ブロックの例を表す概念図である。 撮像面の位置関係を表す概念図である。 本実施形態に係るユーザ情報解析部の構成を表す概略図である。 操作開始検出範囲の一例を表す概念図である。 操作開始検出範囲のその他の例を表す概念図である。 案内画像の一例を表す概念図である。 本実施形態に係る制御部が処理を行うタイミングを表す概略図である。 本実施形態に係るデータ入力処理を表すフローチャートである。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る表示装置１０の使用態様を表す概念図である。
図１において、表示装置１０は、映像を表示する装置、例えばテレビジョン受信機、ディジタルサイネージ（電子看板）装置、映像会議装置である。表示装置１０は、正面下辺の中央部に撮像装置１１を備え、正面の大部分を覆うように表示部１２を備える。
撮像装置１１は、手前方向の映像を撮像する、例えばステレオカメラである。撮像装置１１は、例えば、左右方向に互いに離れた位置に映像を撮像する撮像部１１０ａ、１１０ｂを備える。撮像部１１０ａ、１１０ｂは、それぞれカメラユニットである。表示部１２は、映像表示する、例えばディスプレイである。なお、表示装置１０は、音声を出力するスピーカ（図示せず）を備える。

操作者１３は、表示装置１０を操作するユーザである。操作者１３は、表示装置１０の正面に対面し、所定の姿勢、例えば身体の手振り、身振り（ジェスチャ）をとる。表示装置１０に内蔵されたユーザ情報解析部２０１（図３）は、撮像装置１１が撮像した画像に表された操作者１３の身体の一部がとる姿勢を表すユーザ情報を取得する。ユーザ情報には、例えば、指差しなどの手の形状・握り拳、その動かし方を表す情報が含まれる。表示装置１０は、撮像装置１１を介して取得したユーザ情報に対応した処理（機能、動作）を実行する。これにより、操作者１３は、指差しなどの手の形状・握り拳、その動かし方により、表示装置１０の処理を操作することができる。

表示装置１０には、自己の位置を基準とする予め設定された領域であって、操作者１３による操作を受け付ける操作可能領域が予め設定されている。表示装置１０には、操作可能領域として、例えば、表示装置１０の中心部から操作者１３の手の位置までの手前方向の距離である操作可能距離の上限（例えば、３ｍ）が設定されている。但し、操作可能領域の左右方向は、例えば、撮像装置１１の視野角の範囲内に設定されることができる。この場合には、左右方向の設定は不要である。表示装置１０には、操作可能距離の上限よりも離れたユーザである操作不可者１４による操作を受け付けない。操作を受け付けるユーザを判別する処理については、後で詳述する。

図２は、ユーザと表示装置１０の位置関係を表す平面図である。
図２において、上下は、それぞれ表示装置１０の奥、手前の方向を表す。図２が示す操作者１３、操作不可者１４及び表示装置１０の位置関係は同様である。ここで、図２では、操作者１３は、表示装置１０の正面であって、表示装置１０からの距離が操作可能距離の上限よりも短い（近い）位置に所在している。これに対し、操作不可者１４は、表示装置１０の正面であって、表示装置１０からの距離が操作可能距離の上限よりも長い（遠い）位置に所在している。

上述のように操作可能距離（操作可能距離の上限）が設定されることにより、制御部２２(図３)が、複数のユーザが同時に操作を行う機会や、操作以外の目的で操作又は操作と誤認される動作（例えば、路上近傍におかれたディジタルサイネージの場合における通行人による手振り）を表す画像が入力される機会を制限する。例えば公共の場に設置されたディジタルサイネージ装置のように、表示装置１０が同時に複数のユーザに利用される場合でも映像を視聴するユーザが意図しない処理が回避される。

図１に示す例は、撮像装置１１が表示装置１０の正面下辺に設置されている場合を示すが、これに限定されない。例えば、撮像装置１１は、表示装置１０の正面上辺に設置されていてもよいし、表示装置１０から離れた位置に設置されていてもよい。
撮像装置１１は、操作者１３の顔面の高さ、特に、目の高さよりも高い位置に設置されていてもよい。そのために、撮像装置１１の高さを、操作者１３が所在する床面の高さと人間の平均身長を考慮して予め定めておく。その他、表示装置１０が、例えば床面など比較的低い位置に設置される場合には、撮像装置１１は、表示部１２よりも高い位置に設置されていてもよい。
これにより、撮像装置１１は、操作者１３の顔面よりも高い位置から操作者１３の身体を表す映像を撮像することができ、指差しなどの手の形状・握り拳、その動かし方によって操作者１３の顔面が遮蔽されることを防止することができる。そのため、制御部２２が、操作者１３の顔面の画像を用いて行われる操作者の識別、顔面の位置の検出、操作の検出などの処理を安定して実行できる。これらの処理については後述する。

〔表示装置の構成〕
次に本実施形態に係る表示装置１０の構成について説明する。
図３は、本実施形態に係る表示装置１０の構成を表すブロック図である。
表示装置１０は、データ入力装置２ａ又は表示制御装置２ｂを含んで構成される。データ入力装置２ａは、撮像装置１１、画像処理装置２０、情報ＤＢ２１（Ｄａｔａｂａｓｅ、データベース）及び制御部２２を含んで構成される。
撮像装置１１は、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２０に出力する。画像処理装置２０は、撮像装置１１から入力された映像信号に基づき判別した操作者を表す操作者情報の取得、操作者の身体の一部が所在する位置を表す第１空間情報の取得、操作者の身体の一部がとる形状を表すユーザ情報の取得を行う。画像処理装置２０は、取得した操作者情報、第１空間情報及びユーザ情報を検出情報として表示制御装置２ｂに出力する。

表示制御装置２ｂは、情報ＤＢ２１、制御部２２及び表示部１２を含んで構成される。
情報ＤＢ２１には、操作者１３の映像を表す映像信号に基づく操作入力に応じて表示する表示情報が記憶されている。表示情報は、例えば、映像コンテンツ等を表す映像信号、ニュース等を表すテキスト情報、ネットワークから受信したコンテンツを表すコンテンツ情報、案内画像（操作ガイド）を表す案内画像信号である。案内画像の詳細については後述する。

制御部２２は、画像処理装置２０から入力された検出情報から第１空間情報とユーザ情報を抽出する。制御部２２は、抽出した第１空間情報が表す操作者１３の位置が予め定められた操作可能領域の範囲内である場合、抽出したユーザ情報に対応する処理を行う。ここで、制御部２２は、例えば、第１空間情報が表す操作者１３の距離が予め設定された操作可能距離の上限よりも小さいか否かを判断する。ユーザ情報に対応する処理とは、例えば、案内画像の表示、映像コンテンツの表示、ネットワークからの情報検索、検索された情報に係る映像コンテンツ等やニュース等の保存、保存された情報の表示等、各種の映像表示に係る処理である。

制御部２２は、保存することが指示された情報を表示情報として情報ＤＢ２１に記憶する。制御部２２は、表示することが指示された表示情報を情報ＤＢ２１から読み出し、読み出した表示情報を表す映像信号を表示部１２に出力する。制御部２２は、停止することが指示された表示情報の出力を停止する。
表示部１２は、制御部２２から入力された映像信号を映像として表示する。これにより、操作者１３が行って操作によって選択された映像コンテンツやニュースに係る映像や、案内画像を表示する。
これにより、表示制御装置２ｂは、画像処理装置２０から入力された検出情報に含まれるユーザ情報が表すコンテンツを選択する処理や、選択したコンテンツを表示する処理を実行する。

次に、データ入力装置２ａのより詳細な構成について説明する。
撮像装置１１は、撮像部１１０ａ、１１０ｂを含んで構成される。撮像部１１０ａ、１１０ｂは、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２０に出力する。撮像部１１０ａは、生成した映像信号をユーザ情報解析部２０１に出力する。撮像部１１０ａ、１１０ｂは、例えば、被写体から入射された光を集光するレンズを備えた光学系と、集光された光を電気信号に変換する撮像素子を備えるカメラである。撮像部１１０ａ、１１０ｂが備える撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。

画像処理装置２０は、距離算出部２００、ユーザ情報解析部２０１を含んで構成される。
距離算出部２００は、撮像部１１０ａ、１１０ｂから各々映像信号が入力される。距離算出部２００は、各々入力された映像信号に基づいて撮像装置１１から被写体（例えば、操作者１３）までの距離を表す距離情報を、例えばステレオマッチング方式を用いて算出する。

〔距離情報の算出〕
ここで、ステレオマッチング方式の一種であるブロックマッチング方式を用いた距離情報の算出方法について説明する。ステレオマッチング方式では、撮像部１１０ａ、１１０ｂが撮像した映像の視差値を距離値として算出する。以下の説明では、撮像部１１０ａが撮像した映像に含まれる画像であって、ある時点における画像を左画像と呼ぶ。撮像部１１０ｂが撮像した映像に含まれる画像であって、その時点における画像を右画像と呼ぶ。

ステレオマッチング方式では、左画像の一部の領域である左画像ブロックと対応する領域である右画像ブロックを探索する。ここで左画像及び同時に撮像された右画像を例にとって説明する。
図４は、左画像及び右画像の一例を表す概念図である。
図４は、左側に左画像４０を表し、右側に右画像４１を表す。
距離算出部２００は、左画像４０において、注目画素を中心とする左画像ブロック（ウィンドウ）４００を設定する。左画像ブロック４００に含まれる左右方向に３個、上下方向に３個、計９個の四角形は、それぞれ画素を表す。図４における左画像４０の右端から左画像ブロック４００の右端までの水平方向の距離がＬ画素（Ｌ個の画素分の距離）である。Ｌは、１又は１よりも大きい整数である。

距離算出部２００は、右画像４１において、左画像ブロック４００と上下方向の座標が同一であって、右画像４１の右端からの距離がＬ＋ｄ２に右端をもつ右画像ブロック４１０を初期値として設定する。ｄ２は、予め設定された整数値であり、視差値の最大値を表す。右画像ブロック４１０の大きさ及び形状は、左画像ブロック４００と同一である。
距離算出部２００は、左画像ブロック４００と右画像ブロック４１０との間の指標値を算出する。距離算出部２００は、右画像ブロック４１０の右端が右画像４１の右端からの距離がＬ画素になるまで位置をずらし、それぞれずれた位置で指標値を算出する。距離算出部２００は算出した指標値に基づいて左画像ブロック４００と対応する位置にある右画像ブロック４１０を定める。指標値として、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を用いる場合、ＳＡＤ値が最小となる位置にある右画像ブロック４１０を定める。この位置が左画像４０における注目画素に対応する注目点である。注目点と注目画素の間の水平方向の座標の差分に対する絶対値が視差である。距離算出部２００は、左画像４０に含まれる各画素について実行し、撮像部１１０ａが撮像した映像に含まれる画素毎の視差値を表す視差情報（視差マップ、ディスパリティマップともいう）を距離情報として生成する。視差は、撮像装置１１から被写体までの距離が短いほど大きく、距離が長いほど小さくなる関係がある。距離算出部２００は、生成した距離情報をユーザ情報解析部２０１に出力する。

視差マップは、予め定めたビット数で表される整数値（例えば、８ビットの場合、最小値０−最大値２５５）で表された視差値を画素毎に有する、グレースケール化したビットマップ画像である。なお、距離算出部２００は、視差は、撮像部１１０ａと撮像部１１０ｂの間隔である基線長等のカメラパラメータに基づいて、撮像装置１１から被写体までの被写空間における距離に変換し、変換した距離を表す距離情報を生成してもよい。従って、距離算出部２００は、画素毎の視差値を表す距離情報の代わりに変換した距離をグレースケール化したビットマップ画像（デプスマップ）を距離情報として生成してもよい。
なお、撮像部１１０ａ、１１０ｂは、上下方向に異なる座標値に配置され、各々が撮像した画像を表す撮像画像を用いて視差を算出してもよい。その場合、距離算出部２００は、撮像部１１０ａ、１１０ｂのいずれかが撮影した画像における画像ブロックを基準として、他方が撮影した画像における画像ブロックを上下方向にずらして対応する画像ブロックを探索すればよい。

距離算出部２００は、ＳＡＤ値を算出する際、例えば、式（１）を用いる。

式（１）において、ｘ_ｉは、左画像ブロック４００に含まれる、例えば緑色（Ｇ）の画素毎の画素値である。８は、１個の画像ブロックに含まれる画素数の一例である。画素値ｘ_０〜ｘ_８にそれぞれ対応する画素の配置は、図５の左側に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。ｘ_ａｉは、右画像ブロック４１０に含まれる画素毎の画素値である。画素値ｘ_ａ０〜ｘ_ａ８にそれぞれ対応する画素の配置は、図５の右側に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。

指標値は、ＳＡＤ値に限られない。左画像ブロック４００に含まれる画素値と右画像ブロック４１０に含まれる画素値との相関を表すものであれば、他の指標値、例えばＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）値や、ＤＰ（Ｄｙｎａｍｉｃ
Ｐｒｏｇｒａｍｍｉｎｇ）値であってもよい。
左画像ブロック４００、右画像ブロック４１０の大きさであるウィンドウサイズは、上述のように水平方向３画素×上下方向３画素に限られない。例えば、水平方向５画素×上下方向５画素、水平方向９画素×上下方向９画素のように上述よりも大きくてもよいし、水平方向４画素×上下方向４画素のように中心座標が注目点からずれた位置になってもよい。また、右画像ブロック４１０をずらす方向は、上述のように左側から右側に限られず、右側から左側であってもよい。左画像ブロック４００、右画像ブロック４１０に含まれる画素は、緑色（Ｇ）の画素の信号値に限られず、他の色、例えば赤色（Ｒ）の画素の信号値であってもよいし、他の表色系に基づく画素の信号値や、それらの任意の組み合わせであってもよい。

上述のブロックマッチング方式では、左画像４０のある座標と右画像４１の対応する座標が左右方向にずれており、上下方向にずれておらず、左画像４０と右画像４１のエピポーラ線が一致していると仮定していた。上述のように撮像部１１０ａ、１１０ｂの光軸が平行になるように配置していたのはエピポーラ（ｅｐｉｐｏｌａｒ）線（補助線とも呼ばれる）を一致させるためである。エピポーラ線を一致させるために、距離算出部２００が予め取得した撮像部１１０ａ、１１０ｂのカメラパラメータに基づいて、左画像４０と右画像４１の光軸が平行になるように撮像した画像信号を座標変換する処理を行ってもよい。この座標変換を行う処理は、レクティフィケーション（ｒｅｃｔｉｆｉｃａｔｉｏｎ）、又は偏移修正と呼ばれる。距離算出部２００は、この処理を行った後で距離情報を生成する。

エピポーラ線とは、図６に示されるようにエピポーラ平面５３と、２つの撮像部１１０ａ、１１０ｂ各々が備える撮像面５４、５５が交わる線５６、５７である。エピポーラ平面５３は、２つの撮像部１１０ａ、１１０ｂ各々が備えるレンズの焦点５０、５１と、被写空間における特徴点５２の３点を通る平面である。
撮像部１１０ａ、１１０ｂが、各々の光軸が平行になるように配置されている場合、エピポーラ線５６、５７は、左画像４０、右画像４１各々において上下方向の座標が同一の水平線になる。

〔ユーザ情報の解析〕
次に、本実施形態に係るユーザ情報解析部２０１の構成について説明する。
図７は、本実施形態に係るユーザ情報解析部２０１の構成を表す概略図である。
ユーザ情報解析部２０１は、顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３、注目位置検出部３５、特徴情報解析部３７、操作者判別部３９、検出情報出力部４１を備える。

〔ユーザの顔の検出〕
顔検出部３０は、撮像部１１０ａから入力された映像信号が表す操作者の顔面の画像を表す領域を検出する。顔検出部３０は、検出した顔面の領域における代表点（例えば、重心点）の２次元座標や、その領域の上端、下端、左端、右端の２次元座標を表す２次元顔面領域情報を生成する。顔検出部３０は、距離算出部２００から入力された距離情報から、２次元顔領域情報が表す２次元座標の画素に係る距離値を抽出する。顔検出部３０は、前述の２次元座標と対応する距離値を、被写空間における３次元座標に変換して、３次元顔面位置情報を生成する。
顔面の領域を検出するために、顔検出部３０は、例えば予め設定した顔面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された画像信号から抽出する。

なお、顔検出部３０は、予め人間の顔面を表す濃淡（モノクロ）画像信号を記憶した記憶部を備えるようにしてもよい。そこで、顔検出部３０は、記憶部から読み出した濃淡画像信号と入力された画像信号との相関値を複数の画素を含む画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックを顔面の領域と検出する。
その他、顔検出部３０は、入力された画像信号に基づいて特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて予め定めた処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行って顔面の領域を検出してもよい。顔検出部３０が顔面の領域を検出する方法は、上述の方法に限られず、入力された画像信号から顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。
顔検出部３０は、検出した顔面の画像を表す顔面画像信号を特徴情報解析部３７と目位置検出部３１に出力する。顔検出部３０は、生成した３次元顔面位置情報及び２次元顔面領域情報を操作者判別部３９に出力する。顔検出部３０は、生成した３次元顔面位置情報を検出情報の一部として検出情報出力部４１に出力する。

〔目の位置の検出〕
目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域の代表点（例えば、重心点）である２次元の目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３５および操作者判別部３９に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号、算出した２次元の目位置座標を表す２次元目位置情報を操作者判別部３９に出力する。

目位置検出部３１が目の領域を検出するために、例えば、予め撮影された目のテンプレート画像を記憶させた記憶部を備えておく。目位置検出部３１は、記憶部から目のテンプレート画像を読み出し、読み出したテンプレート画像と入力された顔面画像信号を照合するテンプレートマッチング法を用いてもよい。また、目位置検出部３１は、入力された顔面画像信号が表す顔面の領域のうち、予め設定された顔面における目の位置関係（例えば、予め計測された顔面の領域と両眼の位置）を表す目位置情報を用いて目の領域を検出してもよい。また、目位置検出部３１は、入力された顔面画像信号に基づいて特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて予め定めた判別処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行って目の領域を検出してもよい。
目位置検出部３１が目の領域を検出する方法は、上述の方法に限られず、顔面画像信号から目の領域を検出する方法であれば、いかなる方法を用いてもよい。
目位置検出部３１は、検出する目の領域として、両目の重心点にかかわらず、左目や右目の位置や、これら全てを表す目領域信号を出力するようにしてもよい。

〔手の位置の検出〕
手位置検出部３２は、撮像部１１０ａから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を算出する。
手の画像を表す領域を検出するために、手位置検出部３２は、例えば予め設定した手の表面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された映像信号から抽出する。手位置検出部３２は、手の位置として検出した手の画像を表す領域の代表点（例えば、重心点）の２次元座標値を算出する。手位置検出部３２は、算出した座標値に対応する距離値を、距離算出部２００から入力された距離情報から抽出し、算出した２次元座標値と対応する距離値の組を被写空間における３次元座標に変換して３次元手位置情報を生成する。手位置検出部３２は、検出した手の領域の画像を表す手画像信号と、算出した代表点の２次元座標値を表す手位置情報を手形状・指先位置検出部３３に出力する。
手位置検出部３２は、当該手位置情報を操作者判別部３９に出力する。
また、手の画像を表す領域を検出するために、手位置検出部３２は、距離算出部２００から入力された距離情報に基づいて、顔検出部３０から入力された３次元顔面位置情報が表す３次元顔面位置を基準とした予め定めた奥行方向の開始点と終了点で表される距離範囲内にある画像を撮像部１１０ａから入力された映像信号から手の画像を表す領域として抽出してもよい。予め定めた距離範囲は、例えば３次元顔面位置より前方（表示装置１０側）にある範囲である。これにより、操作者の前方または後方にいる別人の手を、操作者の手と認識することを防ぐことができる。

〔手の形状と指先位置の検出〕
手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて手の形状を検出する。
手の形状を検出するために、手形状・指先位置検出部３３は、手画像信号から、例えばエッジ抽出処理を行って手の輪郭部分を検出する。手形状・指先位置検出部３３は、検出した輪郭部分のうち予め定めた範囲の曲率半径（例えば、６−１２ｍｍ）をもつ突起部分を指の領域の画像として探索する。手形状・指先位置検出部３３は、探索において手位置情報が表す代表点からの所定の半径の探索領域に前述の突起部分の有無を判断し、順次半径を変更することで探索領域を同心円状に更新する。手形状・指先位置検出部３３は、検出した指の領域に基づいて指の本数を計数する。手形状・指先位置検出部３３は、検出した突起部分の頂点を各指の指先位置を表す２次元座標として検出する。手形状・指先位置検出部３３は、定めた指先における２次元座標に所在する画素の距離値を距離算出部２００から入力された距離情報から抽出する。手形状・指先位置検出部３３は、抽出した距離値と指先における２次元座標の組を被写空間における３次元座標を表す３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３５に出力する。手形状・指先位置検出部３３は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部４１に出力する。

〔注目位置の検出〕
注目位置検出部３５は、目位置検出部３１から入力された３次元目位置情報と手形状・指先位置検出部３３から入力された３次元指先位置情報に基づいて操作者が注目する位置である注目位置を検出する。注目位置検出部３５は、例えば、３次元目位置情報が表す目の位置と３次元指先位置情報が表す指先の位置を結ぶ直線が、表示装置１０と交わる交点を注目位置として算出する。注目位置検出部３５は、算出した交点（被写空間における３次元座標）を表示装置１０が表す画像に対する２次元の画像座標系に変換して、変換した座標を表す注目位置情報を生成する。注目位置検出部３５は、生成した注目位置情報を検出情報の一部として検出情報出力部４１に出力する。

〔特徴情報の解析〕
特徴情報解析部３７は、顔検出部３０から入力された顔面画像信号に基づきユーザの属性（例えば、年齢、性別、表情）を表す特徴情報を生成する。年齢を表す特徴情報（年齢情報）として、例えば具体的な年齢に限らず予め定めた年齢層（例えば、１０代、２０代、幼年、青少年、青壮年、後年）を表す情報であってもよい。性別を表す特徴情報（性別情報）は、男性又は女性を表す情報である。表情を表す特徴情報（表情情報）は、例えば笑っているかいないかを表す情報である。表情情報は、笑顔である度合いを表す笑顔度を含んでいてもよい。

年齢情報や性別情報を生成するためには、特徴情報解析部３７は、例えば、年齢が既知である人間の顔面の画像や性別が既知である人間の顔面の画像を表す顔面画像信号を記憶させた記憶部を備える。特徴情報解析部３７は、検出した顔面の領域の画像と記憶部から読み出した顔面画像信号との間の指標値を算出し、算出した指標値に基づいて年齢情報又は性別情報を定める。例えば、指標値として類似度を算出し、類似度が最大となる年齢情報又は性別情報を定める方法を用いてもよい。その他、指標値としてＧａｂｏｒ特徴量を算出し、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、サポートベクターマシン）を用いて年齢情報又は性別情報を判別する方法を用いてもよい。

表情情報を生成するためには、特徴情報解析部３７は、例えば、笑っている人間の画像を表す画像情報の各構成部（例えば、目、口）の輪郭情報と該構成部の位置を表す位置情報を予め記憶した記憶部を備える。特徴情報解析部３７は、検出した顔面の領域の画像から各構成部の輪郭情報と該構成部の位置情報を生成し、記憶部から読み出した輪郭情報と位置情報とをそれぞれ照合する。

これにより特徴情報解析部３７は、年齢、性別、又は表情を表す特徴情報を推定する。特徴情報を推定する方法は、上述に限らず、顔面を表す画像情報から年齢、性別又は表情を推定する方法であればよい。
特徴情報解析部３７は、生成した特徴情報を検出情報の一部として検出情報出力部４１に出力する。

〔操作者の判別〕
次に、操作者の判別処理について説明する。
操作者判別部３９は、顔検出部３０から入力された３次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能距離の領域に所在するユーザを操作者として判別する（図１、２参照）。操作者判別部３９は、例えば、３次元顔位置情報が表す距離が予め定めた操作可能距離の上限よりも、撮像装置１１からの距離が短い位置に顔面が所在するユーザを操作者として判別する。これにより、顔検出部３０が顔面を検出したユーザの中から操作者が判別される。他方、操作者判別部３９は、予め定めた操作可能領域外に所在するユーザを操作不可者として判別する。

操作者判別部３９は、操作可能領域に所在するユーザの身体（例えば、手）の一部が、操作開始検出範囲に所在するか否か判断する。操作開始検出範囲は、操作可能領域に含まれ、操作可能領域よりも狭い定めた領域である。操作者判別部３９は、顔検出部３０から入力された２次元顔位置情報や目位置検出部３１から入力された２次元目位置情報に基づいて操作開始検出範囲を定める。これにより操作者からの操作が開始されたことを検知するとともに、同時に複数名からの操作受け付けられることを回避し、操作者１名のみの操作が受け付けられるようにする。

次に、操作開始検出範囲の一例について説明する。
図８は、操作開始検出範囲の一例を表す概念図である。
図８は、左側に操作者１３の正面を表し、右側に操作者１３の左側面を表す。操作開始検出領域１３３は、例えば、撮像装置１１から入力された映像信号が表す操作者１３の画像に含まれる左眼１３１−１及び右眼１３１−２を結ぶ両眼の高さを表す線分１３４を含む領域である。即ち、線分１３４と平行であって顔面１３２の上端に接する線分１３５と、線分１３４と平行であって顔面１３２の下端に接する線分１３６に挟まれる領域である。ここで、操作者判別部３９は、顔検出部３０から入力された２次元顔面領域情報と目位置検出部３１から入力された２次元目位置情報に基づいて操作開始検出領域を算出する。

図７に戻り、操作者判別部３９は、手位置検出部３２から入力された手位置情報が表わす代表点が、操作開始検出領域の範囲内にある場合、その代表点に手を所在させ、その操作開始検出領域に顔面が所在するユーザを操作者１３と判断する。その場合、操作者判別部３９は、その操作者に係る検出情報に基づいて操作が開始されたことを表す操作開始信号を検出情報出力部４１に出力する。即ち、操作者判別部３９は、このように操作開始検出領域を定めることにより顔面と同じ高さに手を移動させたユーザを操作者１３と判断する。
操作者判別部３９は、手位置検出部３２から入力された手位置情報が表わす代表点が、操作開始検出領域の範囲外に離れた場合、その代表点に手を所在させた操作者１３は操作を終了したと判断する。その場合、操作者判別部３９は、その操作者に係る検出情報に基づいて操作が終了されたことを表す操作終了信号を検出情報出力部４１に出力する。即ち、操作者判別部３９が、ある操作者１３について操作開始信号を検出情報出力部４１に出力してから、操作終了信号を出力されるまでの間は、表示装置１０は、操作者１３と判断されたユーザの手の形状に基づく操作入力を受け付ける。他のユーザについて手位置情報が表す代表点が操作開始検出領域の範囲内にあったとしても、その間、表示装置１０は、他のユーザからの操作を受け付けない。

操作者判別部３９は、操作可能領域に所在する他のユーザの有無を確認し、他のユーザがいると判断された場合、上述のように、いると判断された他のユーザが操作者１３か否かを判断する。なお、他のユーザが複数名いる場合には、操作者判別部３９は、手位置情報が表わす代表点が操作開始検出領域の中心に最も近接する１名のユーザを操作者１３として定める。これにより、表示装置１０は、新たな１名の操作者１３からのみの操作入力を受け付け、同時に２名のユーザからの操作入力を受け付けない。

図８では、操作者は、底面に対して水平な姿勢（例えば、起立）を取っている。しかし、操作者は、このような姿勢を取るとは限らず、例えば、操作者は底面上に横たわることがある。このような場合にも、操作者判別部３９は、上述のように操作開始検出範囲を定めて操作者１３を判断することによって、操作者の姿勢によらず安定した判断が可能であり、誤検出を回避することができる。このことを次に説明する。

図９は、操作開始検出範囲のその他の例を表す概念図である。
図９に示す例では、操作者１３は、底面１３７の上を横たわっている。このとき、左眼１３１−１及び右眼１３１−２を結ぶ線分１３４と底面１３７となす角度θは、０°よりも９０°に近い角度（例えば、２０°）である。
この場合、操作者判別部３９は、目位置検出部３１から入力された２次元目位置情報に基づいて左眼１３１−１及び右眼１３１−２を結ぶ線分１３４を定める。操作者判別部３９は、顔検出部３０から入力された２次元顔面領域情報に基づいて顔面の上端に接し線分１３４に平行な線分１３５と顔面の下端に接し線分１３４に平行な線分１３６を定める。操作者判別部３９は、線分１３５と線分１３６に挟まれる領域を操作開始検出領域１３３と定める。このように操作者判別部３９は、操作者１３の身体の一部である顔面の位置に基づいて操作開始検出領域１３３を定め、操作入力に係る身体の他部である手との位置関係に基づいて操作を受け付ける操作者を判別する。

なお、上述では、操作者判別部３９は、２次元目位置情報と２次元顔面領域情報に基づいて操作開始検出範囲を定める例について説明したが、本実施形態ではこれに限られない。操作者判別部３９は、被写空間上の３次元座標を表す３次元目位置情報と３次元顔領域情報に基づいて操作開始検出範囲を定めてもよい。その場合、操作者判別部３９は、３次元手位置情報が表す被写空間上の手位置が奥行方向の操作開始検出範囲（図８における操作開始検出開始位置（奥行方向）から開始される操作開始検出領域（奥行方向））にも含まれるか否かによって操作を受け付ける操作者か否かを判別するようにしてもよい。これにより、操作開始検出範囲と手位置との関係を、奥行方向の座標も考慮して誤検出を回避することができる。

図７に戻り、検出情報出力部４１には、顔検出部３０、特徴情報解析部３７及び操作者判別部から検出情報が入力される。検出情報出力部４１は、操作者判別部３９から操作開始信号が入力された場合、入力された操作開始信号に係る操作者の検出情報を制御部２２に出力する。検出情報出力部４１は、検出情報出力部４１は、操作者判別部３９から操作終了信号が入力された場合、入力された操作終了信号に係る操作者の検出情報の出力を終了する。
なお、ユーザ情報解析部２０１は、上述した方法や特徴量に限られず、入力された映像信号に基づいてユーザの特徴やユーザが指示する操作に係る情報を検出してもよい。

〔案内画像の表示〕
制御部２２は、情報ＤＢ２１から案内画像信号を読み出し、読み出した案内画像信号を表示部１２に出力する。表示部１２は、制御部２２から入力された案内画像信号に基づく案内画像を表示する。
案内画像とは、表示装置１０が行う処理の種類毎に、手の形状を表す画像を含む画像である。即ち、案内画像は、表示されている手の形状のうちの一つを操作者が実行して、対応する処理を表示装置１０に指示できることを表す。また、手の形状とは、静止した形状だけではなく時間経過に伴って変化する手の動作も含む。
制御部２２が、案内画像信号を表示部１２に出力する時期は、例えば、検出情報出力部４１から検出情報が入力された時点である。この時期は、操作者１３が操作開始検出領域（図８、９参照）内に手を挙げている時期に相当する。

ここで、本実施形態に係る案内画像の一例について説明する。
図１０は、案内画像の一例を表す概念図である。
図１０において、長方形の外枠は、表示部１２の画面の表示領域を表す。表示部１２の下方の破線で示された長方形は、案内画像８０を表す。案内画像８０は、４種類の処理の種類毎に手の形状又は動作を表す画像８１−８４を含む。画像８１−８４の真上には、それぞれ、対応する処理の内容を表す文字列が表示されている。例えば、画像８１は、両手を広げて左右に往復して移動させることを表し、画像８１の真上には「電源を切る」という電源断を表す文字列が表示されている。画像８２は、両手の全ての指を握りながら上下に移動させることを表し、画像８２の真上には「番組表を見る」という電子番組表（ＥＰＧ、Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を表示することを表す文字列が表示されている。画像８３は、両手の人差し指と中指を上方に立てて奥行方向に移動させることを表し、画像８３の真上には「音を大きく」という音量を大きくすることを表す文字列が表されている。画像８４は、両手の人差し指と中指を下方に立てて奥行方向に移動させることを表し、画像８４の真上には「音を小さく」という音量を小さくすることを表す文字列が表されている。即ち、操作に習熟していない操作者１３であっても案内画像を視聴することによって、目的とする操作を行なうためにとるべき手の形状および動作を把握することができる。
また、案内画像はこれに限定されたものではなく、手の形状および動作を視覚的に表す動画（アニメーション）で構成された案内画像であってもよい。例えば、画像８１では、両手を広げて左右に往復して移動する動画（アニメーション）で案内画像に表示してもよい。

〔手形状認識による操作〕
制御部２２は、検出情報出力部４１から入力された検出情報から、３次元顔面位置情報、指画像信号、本数情報、２次元指先位置情報、注目位置情報、特徴情報を抽出する。手の形状を表す手形状情報は、抽出された情報のうち、指画像信号、本数情報、２次元指先位置を含んで構成される。手形状情報は、一時的又は静止した手の形状、即ち姿勢を表す情報であってもよいし、時間経過によって変化する手の形状、即ち動作を表す情報であってもよい。
制御部２２は、予め操作対象となる処理の種別毎に手形状情報を対応付けられて記憶された記憶部を備える。制御部２２は、記憶部から手形状情報を読み出し、読み出した手形状情報と入力された手形状情報を照合する。制御部２２は、照合に成功した手形状情報に対応した処理を実行する。例えば、入力された手形状情報が、画像８２に示されるように両手の全ての指を握りながら上下に移動させることを表す場合、制御部２２は、番組表情報を情報ＤＢ２１から読み出し、読み出した番組表情報を表示部１２に出力する。
上述の手の形状は、図１０に示したものに限られず、表示装置１０の処理の種類に対する指示として特定できればよい。例えば、伸ばしている指の本数、手の方向、親指の先端と人差し指の先端を接触させた形状であってもよい。また、本実施形態では、操作者の手の形状に限られず、身体の他の部分の形状を用いてもよい。

〔案内画像の表示タイミングの制御〕
操作に習熟した操作者にとって、案内画像８０が表示されてから操作を行うことが煩わしい場合がある。例えば、制御部２２は、検出情報出力部４１から検出情報が入力された時点で案内画像を表示しなくともよい。但し、制御部２２は、記憶部から読み出した手形状情報と入力された手形状情報との照合に失敗した場合に、案内画像を表示する。これにより、操作者に対して照合に失敗した場合に所望の処理を行わせるための操作内容の確認を促すことができる。
また、制御部２２は、操作者毎に異なったタイミングで案内画像を表示してもよい。例えば、初めて操作を行う操作者や、操作に不慣れな操作者に対して、Ｉ．案内画像を表示する場合（Ｉ．案内画像表示）がある。また、操作に習熟している操作者に対して、案内画像を表示せず当初から検出情報を受け付ける場合（ＩＩ．直接操作）がある。

次に、本実施形態に係る制御部２２が処理を行うタイミングについて説明する。
図１１は、本実施形態に係る制御部２２が処理を行うタイミングを表す概略図である。
図１１において、横軸は時刻、縦軸は、上から下へ順にＩ．案内画像表示、ＩＩ．直接操作を表す。横軸の左端は、ともに制御部２２が最初に検出情報が入力された時点を表す。
Ｉ．案内画像表示について、制御部２２は、検出情報が最初に入力されてから予め定めた時間Ｔ１だけ経過するまでの間、案内画像信号の出力を待機する。制御部２２は、時間Ｔ１が経過した時点において、案内画像信号を表示部１２に出力する。制御部２２は、検出情報出力部４１から検出情報が入力されると、入力された検出情報に対応する処理を実行し、表示部１２は、表示している案内画像を消去する。
ＩＩ．直接操作について、制御部２２は、検出情報が最初に入力されてから、検出情報出力部４１からの検出情報を待ち受ける。制御部２２は、検出情報出力部４１から検出情報が入力されると、入力された検出情報に対応する処理を実行する。

制御部２２が、案内画像を表示するタイミングを区別するために、例えば、ユーザ情報解析部２０１は、ユーザ認識部を備え、操作者を認識し、認識した操作者毎の習熟度を判断してもよい。ここで、ユーザ認識部は、予め操作者毎に顔面画像信号を記憶させておいた記憶部を備え、顔検出部３０から入力された顔面画像信号と照合がとれた操作者を認識する。制御部２２は、認識された操作者による検出情報に対応する処理を実行すると、実行されたことを表す処理実行信号をユーザ認識部に出力する。ユーザ認識部は、制御部２２から処理実行信号が入力された回数を累積し、累積した回数を表す回数情報を、検出情報出力部４１を通じて制御部２２に出力する。制御部２２は、ユーザ認識部から入力された回数情報が表す回数が、予め設定された回数（例えば、３０回）を越えない場合、当該操作者は習熟していないと判断し、案内画像を表示する。即ち、制御部２２は、上述のＩ．案内画像に順じたタイミングで処理を行う。制御部２２は、ユーザ認識部から入力された回数情報が表す回数が、予め設定された回数を越えた場合、当該操作者は習熟したと判断し、案内画像を表示しない。即ち、制御部２２は、上述のＩＩ．直接操作に順じたタイミングで処理を行う。なお、本実施形態では、操作者の習熟度が高いほど、案内画像を表示するまでの時間Ｔ１が短くなるようにしてもよい。
これにより、操作に習熟した操作者による操作入力に対して、案内画像の表示が行われず、対応する処理が行われる。そのため、本実施形態に係る表示装置１０では、操作の習熟の有無に関わらず快適に操作入力を行うことができる。

情報ＤＢ２１には、複数の種類の案内画像信号を、予め定めた距離区分と対応付けて記憶させておき、制御部２２は抽出した３次元顔面距離情報が表す距離を含む距離区分に対応する案内画像信号を読み出すようにしてもよい。そして、制御部２２は、制御読み出した案内画像信号を表示部１２に出力し、表示部１２は、制御部２２から入力された案内画像信号が表す案内画像を表示する。例えば、表示装置１０からの操作者１３の距離が長い区分ほど、１つの案内画像に含まれる処理の種類の数を減少させ、各処理に対する操作を表す画面の面積（画素数）を増加した画像を表す案内画像信号を情報ＤＢ２１に記憶させておく。また、処理内容を表示する文字を大きくした画像を表す案内画像信号を記憶させておいてもよい。このようにして、操作者１３は、表示部１２からの距離が長くなっても大きく表示された操作内容を明確に把握できるようになる。

情報ＤＢ２１には、複数の種類の案内画像信号を特徴情報と対応付けて記憶させておき、制御部２２は抽出した特徴情報に対応する案内画像信号を読み出し、読み出した案内画像信号を表示部１２に出力するようにしてもよい。例えば、操作者１３の年齢層が高いほど、１つの案内画像に含まれる処理の種類の数を減少させ、各処理に対する操作を表す画面の面積（画素数）を増加した画像を表す案内画像信号を情報ＤＢ２１に記憶させておく。また、処理内容を表示する文字を他の年齢層よりも大きくした画像を表す案内画像信号を記憶させておいてもよい。このようにして、年齢の高い操作者１３でも、操作内容を明確に把握できるようになる。また、音量調整の刻み幅を他の年齢層よりも大きくした画像を表す画像案内信号を情報ＤＢ２１記憶させておき、制御部２２は、その刻み幅に基づき音量調整に係る処理を行ってもよい。これにより、年齢の高い操作者１３に対しては、他の年齢層よりも音量の調整量を大きくして便宜を図ることができる。

例えば、操作者１３の性別が女性の場合には、背景を赤色や桃色等の暖色系で表した案内画像信号や、アニメーション映画の登場人物の表した案内画像信号を記憶させておいてもよい。このようにして、操作者１３が女性であっても、親近感をもって表示装置１０を操作できるようになる。
また、小児（例えば、１０歳以下）である操作者１３の年齢層に対して、処理内容を表示する文字をひらがなで表した案内画像信号や、アニメーション映画の登場人物の表した案内画像信号を記憶させておいてもよい。このようにして、操作者１３が小児であっても、表示された操作内容を把握でき、親近感をもって表示装置１０を操作できるようになる。
また、小児や高齢者（例えば、６０歳以上）である操作者１３の年齢層に対しては、処理内容を動画像で表す案内画像信号を記憶させておいてもよい。これにより、小児や高齢者でも操作方法を表示された動画を視聴して直感的に把握することができる。

制御部２２は、操作者１３が意図しない微細な手の形状の変化を検出しないことで誤操作を回避している。そのために、制御部２２は、一定時間間隔毎に予め定めた距離や位置の閾値よりも手の形状が変化した場合、その変化を検出したと判定し、その後、上述の手形状情報の照合を行う。ここで、制御部２２は、抽出した３次元顔面距離情報が表す距離が長いほど、閾値を大きくする。これにより、表示装置１０からの距離が長いほど、操作者１３による手形状の変化を大きくしなければ、制御部２２は、その変化を受け付けなくなる。ひいては、操作者１３は、表示装置１０からの距離が長いほど、手形状の変化をより大きくして操作入力することが促され、撮像装置１１の解像度の影響を低減することができる。

制御部２２は、小児である操作者１３の年齢層に対して、他の年齢層よりも手形状の変化を検出するための閾値を小さくしてもよい。これにより、手の大きさが十分発達していない小児であっても、表示装置１０を快適に操作することができる。また、制御部２２は、操作者１３の年齢層が高いほど検出するための時間間隔を長くしてもよい。これにより、動作が緩慢な高齢者でも表示装置１０を快適に操作することができる。
これにより、本実施形態では、操作者の特徴を表す特徴情報毎に案内画像の表示、その他の操作に係る処理を変更されるため、操作者の特徴に関わらず快適な操作を実現させることができる。

〔処理フロー〕
次に、本実施形態に係るデータ入力処理について説明する。
図１２は、本実施形態に係るデータ入力処理を表すフローチャートである。
（ステップＳ９００）撮像部１１０ａ、１１０ｂは、それぞれ映像を撮像し、撮像した映像信号を距離算出部２００に出力する。撮像部１１０ａは、映像信号をユーザ情報解析部２０１の顔検出部３０、手位置検出部３２に出力する。その後、ステップＳ９０１に進む。
（ステップＳ９０１）距離算出部２００は、撮像部１１０ａ、１１０ｂから各々入力された映像信号に基づいて撮像装置１１から操作者までの距離を、例えばステレオマッチング方式を用いて算出し、算出した距離情報を生成する。距離算出部２００は、生成した距離情報をユーザ情報解析部２０１の顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３に出力する。その後、ステップＳ９０２に出力する。

（ステップＳ９０２） 顔検出部３０は、撮像部１１０ａから入力された映像信号が表す操作者の顔面の画像を表す領域を検出する。顔検出部３０は、検出した顔面の領域に基づいて２次元顔面領域情報を生成する。顔検出部３０は、距離算出部２００から入力された距離情報から、２次元顔領域情報が表す２次元座標の画素に係る距離値を抽出する。顔検出部３０は、前述の２次元座標と対応する距離値を、被写空間における３次元座標に変換して、３次元顔面位置情報を生成する。顔検出部３０は、検出した顔面の画像を表す顔面画像信号を特徴情報解析部３７と目位置検出部３１に出力する。顔検出部３０は、生成した３次元顔面位置情報及び２次元顔面領域情報を操作者判別部３９に出力する。顔検出部３０は、生成した３次元顔面位置情報を検出情報の一部として検出情報出力部４１に出力する。

目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域に基づいて目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３５および操作者判別部３９に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号、算出した２次元の目位置座標を表す２次元目位置情報を操作者判別部３９に出力する。その後、ステップＳ９０３に進む。

（ステップＳ９０３）手位置検出部３２は、撮像部１１０ａから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を表す２次元座標値を算出する。手位置検出部３２は、算出した座標値に対応する距離値を、距離算出部２００から入力された距離情報から抽出し、算出した２次元座標値と対応する距離値の組を被写空間における３次元座標に変換して３次元手位置情報を生成する。手位置検出部３２は、検出した手の領域の画像を表す手画像信号と、算出した代表点の２次元座標値を表す手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、当該手位置情報を操作者判別部３９に出力する。

手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて手の形状を検出する。手形状・指先位置検出部３３は、検出した手の形状に基づいて指の領域の画像を探索し、指の本数を計数する。手形状・指先位置検出部３３は、各指の指先位置を表す２次元座標として検出し、検出した２次元座標に所在する画素の距離値を距離算出部２００から入力された距離情報から抽出する。手形状・指先位置検出部３３は、抽出した距離値と指先における２次元座標の組を被写空間における３次元座標を表す３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３５に出力する。手形状・指先位置検出部３３は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部４１に出力する。その後、ステップＳ９０４に進む。

（ステップＳ９０４）操作者判別部３９は、顔検出部３０から入力された３次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能領域に所在するユーザを操作者として判別する。操作者判別部３９は、顔検出部３０から入力された２次元顔領域情報や目位置検出部３１から入力された２次元目位置情報に基づいて操作開始検出範囲を定める。操作者判別部３９は、操作可能領域に所在する操作者の手が、操作開始検出範囲に所在するか否か判断する。これにより操作者からの操作が開始されたことを検知する。操作が開始されたと判断された場合（ステップＳ９０４ Ｙｅｓ）、ステップＳ９０５に進む。操作が開始されていないと判断された場合（ステップＳ９０４ Ｎｏ）、ステップＳ９００に進む。
なお、前述同様に、操作者判別部３９は、被写空間上の３次元座標を表す３次元目位置情報と３次元顔領域情報に基づいて操作開始検出範囲を定めてもよい。その場合、操作者判別部３９は、３次元手位置情報が表す被写空間上の手位置が奥行方向の操作開始検出範囲（図８における操作開始検出開始位置（奥行方向）から開始される操作開始検出領域（奥行方向））に含まれるか否かによって操作を受け付ける操作者か否かを判別するようにしてもよい。これにより、操作開始検出範囲と手位置との関係を、奥行方向の座標も考慮して誤検出を回避することができる。

（ステップＳ９０５）制御部２２は、検出情報出力部４１から入力された検出情報から、操作者の手の形状を表す手形状情報として指画像信号、本数情報、２次元指先位置を抽出する。その後、ステップＳ９０６に進む。
（ステップＳ９０６）制御部２２は、記憶部から手形状情報を読み出し、読み出した手形状情報と入力された手形状情報を照合する。制御部２２は、読み出した手形状情報と入力された手形状情報との照合が成功した場合（ステップＳ９０６ Ｙｅｓ）、ステップＳ９１０に進む。制御部２２は、読み出した手形状情報と入力された手形状情報との照合に失敗した場合（ステップＳ９０６ Ｎｏ）、ステップＳ９０７に進む。

（ステップＳ９０７）制御部２２は、案内画像出力待機時間（Ｔ１）を経過しているか否か判断する。案内画像出力待機時間（Ｔ１）を経過している場合（ステップＳ９０７ Ｙｅｓ）、ステップＳ９０８に進む。
制御部２２は、案内画像出力待機時間（Ｔ１）を経過していない場合（ステップ９０７
Ｎｏ）、ステップＳ９００に進む。
（ステップＳ９０８）制御部２２は、予め定めた時間Ｔ１が経過した後、情報ＤＢ２１から案内画像信号を読み出し、読み出した案内画像信号を表示部１２に出力する。表示部１２は、制御部２２から入力された案内画像信号に基づく案内画像を表示する。その後、ステップＳ９００に進む。

（ステップＳ９１０）表示部１２は、案内画像を表示している場合、案内画像を消去する。制御部２２は、照合に成功した手形状情報に対応する処理を実行する。この処理とは、例えば、上述の表示装置１０の機能に係る動作のいずれかである。また、その動作を行う際に表示する画像（例えば、ユーザインタフェースに関わる画面）を表す画像信号を情報ＤＢから読み出し、読み出した画像信号を表示部１２に出力する。その後、ステップＳ９１１に進む。

（ステップＳ９１１）制御部２２は、操作者による操作が終了したか否かを判断する。制御部２２は、例えば、電源断を表す操作入力が入力された場合に操作が終了したと判断する。操作が終了していないと判断された場合（ステップＳ９１１ Ｎｏ）、ステップＳ９００に進む。操作が終了したと判断された場合（ステップＳ９１１ Ｙｅｓ）、データ入力処理を終了する。

なお、上述では、２台の撮像部１１０ａ、１１０ｂから各々入力された画像信号に基づいて操作者の身体までの距離を表す距離情報を取得する例をとって説明したが、本実施形態ではこれには限られない。例えば、撮像部１１０ａ、１１０ｂのいずれかを、その他の方式で被写体までの距離情報を取得する測距部に置き換え、測距部は取得した距離情報を、ユーザ情報解析部２０１に入力するようにしてもよい。
この測距部は、例えば、距離情報を取得する方式としてＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法を用いる。ＴＯＦ法では、光源として、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、発光ダイオード）を用いて、光線を放射してから被写体から反射した反射光を受信するまでの到達時間を計測する。到達時間の計測を、予め定めた分割された領域毎に行うことで、被写空間内の平面位置毎の距離情報を取得することができる。光源は、例えば、人間の眼に見えない赤外線を放射する赤外線発光ダイオードであるが、これには限られない。例えば、パルス照射することができるレーザ光源であってもよい。また、光線の振幅又は位相を変調することができる位相変調器を備え、放射光と反射光の位相差に基づいて到達時間を算出してもよい。

なお、上述では、制御部２２がユーザ情報解析部から入力された検出情報として手形状情報に対応する種類の処理を行う例について説明したが、本実施形態ではこれには限られない。本実施形態では、身体の一部として手に限らず、他の部分、例えば腕、首、頭部、胴体部の形状を表す情報を含むユーザ情報を用いてもよい。また、当該ユーザ情報における形状とは、静止した形状に限らず、形状の時間変化である動作、姿勢を含んでいてもよい。当該ユーザ情報には、２次元の位置情報の代わりに３次元の位置情報を用いてもよい。

このように、本実施形態によれば、撮像装置１１が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する。また、本実施形態によれば、第１位置情報に基づいてユーザを判別し、撮像装置１１が撮像した映像に表されたユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、検出したユーザ情報に対応する処理を実行する。そのため、複数人の操作者が身体の形状を変化させて操作を試みても、同時に複数の操作に係る処理が衝突せずに快適な操作が可能になる。
また、本実施形態によれば、ユーザ情報に対応する処理を実行したタイミングによる、案内画像の表示の有無や、撮像装置が撮像した映像に基づきユーザの特徴を表す特徴情報を推定し、特徴情報によって表示態様が異なる案内画像を表示する。そのため、多様な特徴を有するユーザに対して快適な操作が可能になる。

なお、上述した実施形態における表示装置１０の一部、例えば、距離算出部２００、顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３、注目位置検出部３５、特徴情報解析部３７、操作者判別部３９、検出情報出力部４１、及び制御部２２をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における表示装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１０…表示装置、２ａ…データ入力装置、１１…撮像装置、２０…画像処理装置、２００…距離算出部、２０１…ユーザ情報解析部、３０…顔検出部、３１…目位置検出部、３２…手位置検出部、３３…手形状・指先位置検出部、３５…注目位置検出部、３７…特徴情報解析部、３９…操作者判別部、４１…検出情報出力部、２ｂ…表示制御装置、１２…表示部、２１…情報ＤＢ、２２…制御部

Claims (12)

1. 撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出部と、
   前記身体の一部とは異なる他の部分の位置を表す第２位置情報を取得する第２位置検出部と、
   前記第２位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析部と、
   前記第１位置情報と前記第２位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御部と、
   を備え、
   前記ユーザ情報解析部は、所定の基準位置から前記第２位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者と判断すること
   を特徴とするデータ入力装置。
2. 前記ユーザ情報解析部は、所定の基準位置から前記操作者と判断したユーザの前記第２位置情報が示す位置までの距離が、前記所定の距離よりも大きくなった場合に、新たなユーザの操作入力を受け付けること
   を特徴とする請求項１に記載のデータ入力装置。
3. 前記ユーザ情報解析部は、前記第２位置情報に基づいて操作検出領域を定め、前記ユーザが複数であるとき、前記第１位置情報が示す前記身体の一部の位置が前記操作検出領域の中心に最も近接するユーザを操作者と判断すること
   を特徴とする請求項１または請求項２に記載のデータ入力装置。
4. 前記ユーザ情報解析部は、前記第２位置情報に基づいて操作検出領域を定め、前記第１位置情報が示す前記身体の一部の位置が前記操作検出領域の範囲外となった場合に、新たなユーザの操作入力を受け付けること
   を特徴とする請求項１から請求項３のいずれか一項に記載のデータ入力装置。
5. 前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部を備え、
   前記ユーザ情報解析部は、前記ユーザ情報の検出回数に基づき前記ユーザの習熟度を判断し、
   前記制御部は、前記習熟度が高いほど前記ユーザ情報の検出から前記案内画像を表示するまでの時間を短くすること
   を特徴とする請求項１から請求項４のいずれか一項に記載のデータ入力装置。
6. 前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部を備え、
   前記ユーザ情報解析部は、前記ユーザ情報の検出回数に基づき前記ユーザの習熟度を判断し、
   前記制御部は、前記習熟度が所定の習熟度よりも低い場合、前記案内画像を表示させ、前記習熟度が所定の習熟度よりも高い場合、前記案内画像を表示させないこと
   を特徴とする請求項１から請求項５のいずれか一項に記載のデータ入力装置。
7. 前記制御部は、前記身体の一部の形状変化が所定の検出閾値よりも大きいとき、当該形状変化に基づく操作入力を受け付け、前記所定の基準位置から前記第２位置情報が示す位置までの距離が大きいほど、前記身体の一部の形状変化の検出閾値を大きくすること
   を特徴とする請求項１から請求項６のいずれか一項に記載のデータ入力装置。
8. 前記ユーザ情報解析部は、前記撮像装置が撮像した映像に基づき、前記ユーザの年齢層を表す特徴情報を推定し、
   前記制御部は、前記身体の一部の形状の変化に基づく操作入力を受け付け、前記年齢層が高いほど、前記身体の一部の形状の検出時間間隔を長くすること
   を特徴とする請求項１から請求項７のいずれか一項に記載のデータ入力装置。
9. 前記ユーザ情報解析部は、前記撮像装置が撮像した映像に基づき、前記ユーザの年齢層を表す特徴情報を推定し、
   前記制御部は、前記身体の一部の形状の変化に基づく操作入力を受け付け、前記年齢層が低いほど、前記身体の一部の形状変化の検出閾値を小さくすること
   を特徴とする請求項１から請求項８のいずれか一項に記載のデータ入力装置。
10. 前記制御部が実行する処理と前記身体の一部の形状との関係を表す案内画像を表示する表示部と、
    身体の一部の形状を示す形状情報を記憶した記憶部を備え、
    前記制御部は、前記記憶部から読み出した形状情報が示す形状と、前記第１位置情報が示す身体の一部の形状との照合に失敗した場合、前記案内画像を表示させること
    を特徴とする請求項１から請求項９のいずれか一項に記載のデータ入力装置。
11. データ入力装置におけるデータ入力方法であって、
    撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出過程と、
    前記身体の一部とは異なる他の部分の位置を表す第２位置情報を取得する第２位置検出過程と、
    前記第２位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析過程と、
    前記第１位置情報と前記第２位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御過程と、
    を有し、
    前記ユーザ情報解析過程は、所定の基準位置から前記第２位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者と判断すること
    を特徴とするデータ入力方法。
12. データ入力装置のコンピュータに、
    撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す第１位置情報を取得する第１位置検出手順、
    前記身体の一部とは異なる他の部分の位置を表す第２位置情報を取得する第２位置検出手順、
    前記第２位置情報に基づいてユーザを判別し、前記撮像装置が撮像した映像に表された前記判別されたユーザの前記身体の一部の形状を表す情報を含むユーザ情報を検出するユーザ情報解析手順、
    前記第１位置情報と前記第２位置情報が予め定めた関係にあるユーザについて前記ユーザ情報に対応する処理を実行する制御手順、
    を有し、
    前記ユーザ情報解析手順は、所定の基準位置から前記第２位置情報が示す位置までの距離が、所定の距離よりも小さいユーザを操作者と判断すること
    を特徴とするデータ入力プログラム。

Images