JP2010081466A - 操作制御装置及び操作表示方法 - Google Patents

Abstract

【課題】
操作者を撮像した動画像、もしくは操作者が保持するセンサの出力情報から操作者の動作を検出する動作検出手段により、グラフィカル操作者インタフェースの操作を行う入力装置において、操作者に操作に有効な動作をグラフィカル操作者インタフェースが提示すると同時に、グラフィカル操作者インタフェースによるリアルタイムなフィードバックを与える操作制御装置を実現する。
【解決手段】
本発明の操作制御装置は、操作者を撮像した動画像、もしくは操作者が保持するセンサの出力情報から操作者の動作を検出する動作検出手段と、グラフィカル操作者インタフェースを表示する表示手段とを備え、該グラフィカル操作者インタフェースは制御範囲が設定されており、概ある範囲内を動体が移動したときの動体の軌跡を検出して、メニュー表示操作やコンテンツ選択等の制御を行うようにした。
【選択図】 図２

Description

本発明は、テレビジョン受像機等の各種機器の操作システムに関し、特に簡易な操作手段で直観的に分かりやすい操作を行うことのできる操作制御装置及び操作表示方法に関する。

近年のテレビジョン受像機は、離れたところから機能を制御する為のリモートコントロール装置、いわゆるリモコンで操作するのが一般的な構成となっている。リモコンは離れた場所からテレビジョン受信機を操作できる便利な装置ではあるが、手元にない、あるいは電池切れなどリモコンが使えない状態にあると、操作者はストレスを感じることとなる。

この改善策として、操作者の手の形や動きを検出して機器を操作する方式が提案されている。例えば、特開２００４−３５６８１９のリモート操作装置では、カメラで撮影された操作者のある特定の動きを検出した場合に、表示装置に操作メニューを表示し、その後、操作者が手の形状や、方向を認識させることにより機器操作を行えるようにしている。

また、特開２０００−１４９０２５では、人物の手足の動きの特徴を示す点の３次元座標を計測し、抽出された特徴点のうち手以外の特徴点を利用して人物の３次元位置／姿勢を推定し、推定された操作者の３次元位置を基準点として操作者姿勢に応じて各座標軸が一意に定まる操作者座標系を構成し、操作者の手足の特徴点を該操作者座標系に変換することで、操作者の位置／姿勢に依存しない特徴量を抽出し、その時系列変化とジェスチャモデルとのマッチングをとり人物の行なったジェスチャを推定するジェスチャ認識装置が開示される。このジェスチャ認識装置によると、操作者が位置／姿勢変化を行なう状況下でも高速にジェスチャを認識することが可能になる。

特開２００４−３５６８１９号公報 特開２０００−１４９０２５号公報

しかしながら、上記特許文献で開示された発明では、操作者を撮像した動画像からジェスチャを認識する場合、操作者がジェスチャをした動作と、操作者がジェスチャをした後に元の体制に戻る動作との区別がつきにくい問題がある。例えば、操作者が手で右方向を指し、その後、元の位置に手を戻した場合、その戻した動きが左方向を指す動作として認識されることがある。このように、従来の発明では、操作者がジェスチャを行った際に、操作として意図していない動きが認識されてしまうという課題があった。

本発明は、かかる課題をふまえ、操作者の動きのどの部分を装置への入力として受け付けるかを明確にすべく、操作者が有効な動作を行えるような領域の提示を行うと同時にリアルタイムなフィードバックを与えるようにする。

具体的には、本発明は、撮影により操作者の動きを検出し、該動きに従って、表示画面上の操作を行わせる操作制御装置であって、撮像画面内における操作制御が可能な領域を設定する検出領域設定部と、前記検出領域設定部で設定された操作制御が可能な領域と、前記操作者の動きを表示画面上に表示させるとともに、該操作制御が可能な領域内で動きを検出した場合に、該動きに対応して、表示画面上の操作表示を行わせる制御部とを備えるようにする。

特に、前記制御部は、前記表示画面に複数のコンテンツに関連する情報が示されたメニューを表示させ、該複数のコンテンツに関連する情報のうちの選択可能な１つの表示領域と、前記操作制御が可能な領域を重ならせて表示させる。

また、前記制御部は、前記表示画面に複数のコンテンツに関連する情報が示されたメニューを表示させ、該メニューの表示領域と、前記操作制御が可能な領域を重ならせて表示させる。

また、前記制御部は、前記操作制御が可能な領域を複数表示させ、該複数の領域ごとに、前記操作者の動きに対応して、異なる操作表示をさせる。

また、前記制御部は、該操作制御が可能な領域で検出する動きのうち、動きの方向と量に対応して異なる操作表示を行わせる。

さらに、本発明は、操作者の動きに従って、表示画面上の操作表示を行う操作表示方法であって、操作が可能な領域と、前記操作者の動きを表示画面上に表示するステップと、前記操作が可能な領域内での操作者の動きに対応して、表示画面上の操作表示を行うステップとを備えるようにする。

特に、前記表示画面上に表示するステップは、前記表示画面に複数のコンテンツに関連する情報が示されたメニューを表示し、該複数のコンテンツに関連する情報のうちの選択可能な１つの表示領域と、前記操作が可能な領域を重ならせて表示する。

また、前記表示画面上に表示するステップは、前記表示画面に複数のコンテンツに関連する情報が示されたメニューを表示し、該メニューの表示領域と、前記操作が可能な領域を重ならせて表示する。

また、前記表示画面上に表示するステップは、前記操作が可能な領域を複数表示させ、
前記表示画面上の操作表示を行うステップは、前記複数の領域ごとに、前記操作者の動きに対応して、異なる操作表示を行う。

また、前記表示画面上の操作表示を行うステップは、該操作が可能な領域内での操作者の動きのうち、動きの方向と量に対応して異なる操作表示を行う。

本発明によれば、操作者が有効な操作領域を認識することにより、簡単な動作での操作制御装置の操作が可能となる。

以下に、本発明の実施形態を、図面を用いて説明する。

図１は本発明の操作制御装置の構成を示すブロック図である。１００は操作制御装置であり、１０２はカメラ等の撮像部、２００は撮像部で撮像した操作者などの動画像から手などの動体を検出する動き検出部、２０１は動き検出部で検出した動体の移動方向および移動量を解析する動き解析部、２０２は撮像部１０２の撮影画面内において操作制御装置１００の制御に使用する領域を設定する検出領域設定部、２０３は動き解析部２０１での解析結果と検出領域設定部２０２での設定領域に基づき操作制御装置１００を制御するシステム制御部、２０４はシステム制御部２０３の制御結果から画面表示する映像データを生成する映像処理部、１０１は映像処理部で生成した映像データを表示する表示部である。表示部１０１は、例えば、液晶ディスプレイやプラズマディスプレイ等の表示装置で構成され、表示パネルとパネル制御回路とパネル制御ドライバとから構成される。

本発明の操作制御装置の動作例を図２に示す。図１と同じものには同じ番号を付している。１０６は操作制御装置１００の操作者であり、１０７は操作者１０６が操作として手を動かした際の手の軌跡を示している。操作者１０６の動作は撮像部１０２で撮影されている。

また、１１０は、検出領域設定部２０２で設定された操作制御が可能な領域であり、１１１、１１２は、動き検出部で検出された操作者の手の動きである。

また、１０３は、視聴などのために選択すべきコンテンツメニューの例であり、１０４は、フォーカスされ、選択可能となっているコンテンツＡを示している。コンテンツメニュー１０３では、コンテンツの代表画像あるいはコンテンツに関連した情報が並んで表示されている。１０５はコンテンツメニュー１０３のフォーカスが移動する方向を示しており、手を左右に動かすことで、コンテンツメニュー１０３内のフォーカスされるコンテンツが移動する。

上記の表示画面１０１内の表示は、システム制御部２０３で映像処理部２０４を制御することによって、行われる。

撮像部１０２の撮影画像例を図３に示す。３００は撮像部１０２で撮影した画面全体、３１１は検出領域設定部２０２で設定された動体検出領域、３０６は操作者、３１１および３１２は操作者３０６の手が検出領域３１０内にある場合の手の位置と軌跡、３１３および３１４は操作者３０６の手が検出領域３１０外にある場合の手の位置と軌跡を示している。

１１０は検出領域設定部２０２で設定されている動体検出領域を表示画面上に表示したものであり、撮像画像内の動体検出領域３１０に対応している。動体検出領域１１０を表示することで、操作者１０６が手を動かすべき位置を認識できるようにしている。

１１１は動体である操作者の手の位置をイメージしたものであり、撮像部１０２で撮像された手の位置３１１及びその軌跡３１２が動き検出部２００で検出され、映像処理部２０４でイメージ化され表示部１０１に表示されている。なお、動体のイメージ１１１は、操作者が理解しやすい形状であればどのような形でもかまわない。１１２は、動き解析部２０１が解析した操作者１０６が手を動かした際の手の軌跡を示している。図４に動体が動体検出領域外にある場合の、表示画面例を示す。図２と同じものは同じ番号を付しており、説明は省略する。４０１は操作者の手の位置をイメージしたものであり、図３の操作者の手３１３に対応しており、動体検出領域３１１の外にある。イメージ４０１が動体検出領域１１０外にある場合は、画面上に動体のイメージは表示するが、操作の軌跡解析を行わず、操作制御装置１００の制御はしない。

次に操作制御装置１００の処理フローを、図５及び図１を用いて説明する。本操作制御装置を開始すると、ステップ５０１で、動き検出部２００により、撮像部１０２で撮影した画像データから動体検出を行う。ステップ５０１で、動体が検出されなければ動体検出処理を繰り返し、動体が検出されれば、ステップ５０２で、システム制御部２０３及び映像処理部２０４により、検出した動体の位置を、例えば図２のイメージ１１１のように表示する。ステップ５０３では、システム制御部２０３により、検出した動体の位置が検出領域設定部２０２で設定された動体検出領域３１０の内にあるか外にあるかを判断する。動体の位置が領域外であれば、ステップ５０１の動体検出に戻る。動体の位置が領域内であれば、ステップ５０４で、動き解析部２０１により、動体の軌跡を解析し、動体の移動方向および移動量を検出する。ステップ５０５では、システム制御部２０３により、動体の移動量が予め設定されている閾値以上かどうかを判断する。閾値以下であればステップ５０１の動体検出に戻る。閾値以上であれば、ステップ５０６で、システム制御部２０３により、動体の移動量および移動方向に対応した制御コマンドを生成し、制御コマンドに従った画面表示を、映像処理部２０４を用いて、表示部１０１に行わせる。例えば、図２のようなコンテンツメニュー１０３では、動体が左に動くとコンテンツメニューを左に動かす。

図６に表示画面例を示す。図２と同じものは同じ番号を付しており、説明は省略する。図６(ａ)は動体の初期位置の表示画面例であり、６０１は動体の位置を示すイメージであり、６０２および６０３はコンテンツメニュー１０３に表示されているコンテンツＡ、コンテンツＢである。図６(ａ)では、フォーカス位置１０４にコンテンツＡ６０２が位置している。図６(ｂ)は、動体が左方向に移動した場合の表示画面例であり、６０４は動体の軌跡、６０５は移動後の動体の位置を示すイメージである。図６（ｃ）は、動体が左に動いたのに対応してコンテンツメニューを左に移動させた表示画面例である。コンテンツメニューを左に移動させた結果、フォーカス位置１０４にはコンテンツＢ６０３が配置され、コンテンツＡ６０２はフォーカス位置１０４の左に移動している。さらに、図６(ｄ)は、動体がさらに左方向に移動して、動体検出領域１１０外に移動した表示画面例である。６０６は動体の軌跡、６０７は移動後の動体の位置を示すイメージである。動体の軌跡６０６は動体検出領域１１０外であるので、操作制御をせず、コンテンツメニュー１０３も図６（ｃ）のままとなる。

以上、コンテンツメニュー１０３を左に動かす例を示したが、手を右に動かせば、コンテンツメニュー１０３を右に動かすことになる。

本例によれば、限られた領域を動体検出領域とし、操作者が動体検出領域内を横切るような動作をし、戻り動作のような意図しない動きは動作検出領域外で行うようにすることにより、意図しない動きを認識させることなく、操作者が意図する操作がし易くなる。

図７は、本発明の操作制御装置の実施例１とは別の表示画面例である。図２と同じものには同じ番号を付し、説明は省略する。７０１はフォーカス位置、７０５および７０６はコンテンツメニュー１０３の移動方向を示す。７０２は動体検出領域であり、コンテンツのフォーカス位置７０１に重なった位置に配置されている。７０３は動体の位置のイメージ、７０４は動体の軌跡である。システム構成については図１と、処理フロー及び表示画面内の動きについては図５及び図６と同様なため説明は省略する。

本例によれば、動作検出領域７０２がフォーカス位置７０１と重なっているため、操作者はより、手の動きでコンテンツを動かしている感覚を得ることができ、より直観的な操作が可能になる。

図８は、本発明の操作制御装置の実施例１及び２とは別の表示画面例である。図２と同じものには同じ番号を付し、説明は省略する。９００はコンテンツメニュー、９０１はフォーカス位置、９０６および９０７はコンテンツメニューの移動方向を示す。９０２は動体検出領域であり、コンテンツメニュー９００に重なった位置に配置されている。９０４は動体の位置のイメージ、９０５は動体の軌跡である。システム構成については図１と、処理フロー及び表示画面内の動きについては図５及び図６と同様なため説明は省略する。

本例によれば、動作検出領域９０２がコンテンツメニュー９００と重なっているため、操作者はより、手の動きでコンテンツを動かしている感覚を得ることができ、より直観的な操作が可能になる。

図９は、本発明の操作制御装置の実施例１ないし３とは別の表示画面例である。図２および図７と同じものには同じ番号を付し、説明は省略する。８０１は７０２を第１動体検出領域とした場合の第２動体検出領域、８０２は動体の位置のイメージ、８０３は動体の軌跡である。

次に本例の操作制御装置の処理フローを、図１０を用いて説明する。図５と同じものは同じ番号を付し、説明は省略する。ステップ５０２で、動体の位置を表示した後、ステップ５１０で、システム制御部２０３により、動体の位置が検出領域設定部２０２で設定された第１動体検出領域７０２及び第２動体検出領域８０１のいずれの範囲内にあるかを判断する。動体の位置がいずれにもない場合はステップ５０１の動体検出に戻る。動体の位置がどちらかの範囲内にある場合は、ステップ５０４で、動体の軌跡を解析する。ステップ５０５で、動体の移動量が閾値以上であれば、ステップ５１１で、システム制御部２０３により、動体の位置が第１動体検出領域７０２内にあるかどうかを判断する。動体の位置が第１動体検出領域７０２内であれば、ステップ５０６で、制御コマンドを生成し、例えばコンテンツメニューを動かす画面表示を行う。動体の位置が、動体検出領域７０２外であれば、第２動体検出領域内であるので、ステップ５１２で、ステップ５０６とは異なる別の制御コマンドの生成を行う。本例では、制御コマンドを、音量変更のために割り当てている。

本例によれば、複数の動体検出領域を設け、各々に制御対象を割り当てることにより、同じ手の操作で複数の制御が可能になる。なお、本例では２つの動作検出領域としたが、操作の必要に応じてさらに動体検出領域を増やしてもよい。

図１１に操作者の手の動きの一例を示す。１５１は操作者がｘ軸方向に手を左右に動かす動作の軌跡、１５０はｙ軸方向に手を上下に動かす動作の軌跡を示している。操作者は、手を上下、左右に動かすことにより操作制御装置の操作を行う。

図１２は、図７に対応する本発明の操作制御装置の表示画面例である。図２および図７と同じものには同じ番号を付し、説明は省略する。１６０は動体の位置のイメージであり、１６１は動体の軌跡、１６２は操作できる制御項目を操作方向とともに示した表示である。

次に本例の操作制御装置の処理フローを、図１３を用いて説明する。図５と同じものは同じ番号を付し、説明は省略する。ステップ５０４で動体の軌跡を解析した後、ステップ５２０で、システム制御部２０３により、ｘ方向の移動量が閾値以上であるかどうかを判断する。ｘ軸方向の移動量が閾値以上であれば、ステップ５０６で、ｘ軸方向の移動に対応する制御コマンドを生成し、例えばコンテンツメニューを動かす画面表示を行う。ｘ軸方向の移動量が閾値以下であれば、ステップ５２１で、システム制御部２０３により、ｙ軸方向の移動量が閾値以上であるかどうかを判断する。ｙ軸方向の移動量が閾値以上であれば、ステップ５２２で、ｙ軸方向の移動に対応する制御コマンドを生成し、例えばフォーカス位置７０１にあるコンテンツを選択／再生する。

本例によれば、動体の動きを、ｘ軸方向およびｙ軸方向に分け異なる制御に割り当てることにより、より多くの制御が可能になる。また、図９に示したような複数の動体検出領域を用いた制御との組み合わせにより、さらに多くの制御を可能とする。

図１４に操作者の手の動きの一例を示す。３５０は操作者がｘ軸方向に手を左右に動かす動作の軌跡、３５１はｙ軸方向に手を上下に動かす動作の軌跡、３５２はｚ軸方向に手を前後に動かす動作の軌跡を示している。操作者は、手を上下、左右、前後に動かすことにより操作制御装置の操作を行う。

図１５は、図７に対応する本発明の操作制御装置の表示画面例である。図２および図７と同じものには同じ番号を付し、説明は省略する。本例では、撮像部１０２として撮像部１０２と撮像対象物との距離が測定可能な３Ｄカメラ等を用いている。４５１は動体の位置のイメージであり、４５２は操作方法を示した表示例である。例えば操作者が操作方法４５２に従い、手を前に出すと、操作制御装置１００では動体が近づいたと判断し、フォーカス位置７０１にあるコンテンツの再生等を行う。

次に本例の操作制御装置の処理フローを、図１６を用いて説明する。図５および図１３と同じものは同じ番号を付し、説明は省略する。ステップ５２０でｘ軸方向の移動量が閾値以上であれば、ステップ５０６で、ｘ軸方向の移動に対応する制御コマンドを生成し、例えばコンテンツメニューを動かす画面表示を行う。ステップ５２０でｘ軸方向の移動量が閾値以下であれば、ステップ５３０で、システム制御部２０３により、ｚ軸方向の移動量が閾値以上であるかどうかを判断する。ｚ軸方向の移動量が閾値以上であれば、ステップ５２２で、ｚ軸方向の移動に対応する制御コマンドを生成し、例えばフォーカス位置７０１にあるコンテンツを選択／再生する。

本例によれば、動体の動きを、ｘ軸方向、ｙ軸方向、さらに、ｚ軸方向にも分け異なる制御に割り当てることにより、より多くの制御が可能になる。また、図９に示したような複数の動体検出領域を用いた制御との組み合わせにより、さらに多くの制御を可能とする。

図１７に二人の操作者の手の動きと撮像部１０２との関係図を示す。図２と同じものには同じ番号を付しており、説明は省略する。撮像部１０２は撮像部１０２と撮像対象物との距離が測定可能な３Ｄカメラ等である。６５０は第２の操作者であり、操作者１０６に比べて撮像部１０２から遠い位置にいる。６５１は操作者１０６の手の動作の軌跡であり、６５２は第２の操作者６５０の手の動作の軌跡を示している。操作者１０６と第２の操作者６５０は同時に手を動かしている。

図１８は撮像部１０２の撮影画像例である。図３と同じものには同じ番号を付しており、説明は省略する。７５１は操作者１０６の撮像画像、７５２は操作者１０６の手の撮像画像、７５３は操作者１０６の手の動作の軌跡を示している。また、７５４は操作者６５０の撮像画像、７５５は操作者６５０の手の撮像画像、７５６は操作者６５０の手の動作の軌跡を示している。

ここでは、撮像部１０２からの距離データを明示してはいないが、各画像データは距離データも持っている。本例では、撮像画像データから撮像部１０２に最も近い動体を抽出して表示する。図１９にその表示画面例を示す。図２と同じものには同じ番号を付しており、説明は省略する。８５１は操作者１０６の手の位置のイメージであり、８５２は手の動作の軌跡を示している。撮像部１０２では動体が２個検出されているが、図１９の表示画面例では、最も近い動体である操作者１０６の手の位置を示すイメージ８５１のみ表示されており、操作制御装置１００の操作も操作者１０６の動きのみが有効になっている。

次に、本例の操作制御装置１００の処理フローを、図２０を用いて説明する。図５および図１６と同じものは同じ番号を付し、説明は省略する。ステップ５０１で動体を検出すると、ステップ５４０で、システム制御部２０３により、動体までの距離が基準値より近いかどうかを判断する。基準値は、操作制御装置１００を操作可能な範囲として予め決めておく。こうすることにより、不必要な動体の検出を避けることができる。ステップ５４０で、基準値より遠ければ、ステップ５０１の動体検出に戻る。基準値より近ければ、ステップ５４１で、システム制御部２０３により、予め設けた動体の大きさの基準値内であるかどうかを判断する。動体の大きさが基準値外であれば、ステップ５０１の動体検出に戻る。こうすることにより、操作者の前を人が横切る等の動作をした時に、誤動作させないようにできる。動体の大きさが基準値内であれば、ステップ５４２で、システム制御部２０３及び映像処理部２０４により、最短距離にある動体として、その位置を表示する。

本例によれば、複数の操作者がいる場合、複数の移動体がある場合においても、真の操作者の手を特定し、操作可能な動体として認識することができる。

図２１に操作者と撮像部との関係図を示す。図２と同じものには同じ番号を付しており、説明は省略する。撮像部１０２は撮像部１０２と撮像対象物との距離が測定可能な３Ｄカメラ等である。２５１は操作者１０６の手であり、２５２は撮像部１０２で検出される手２５１の位置、２５３は撮像部１０２で検出される手２５２までの距離、２５４は撮像部１０２で検出される操作者１０６の位置、２５５は撮像部１０２で検出される操作者１０６までの距離、２５６は操作者１０６までの距離２５５と操作者の手２５１までの距離２５３との差分を示している。

次に、本例の操作制御装置１００の処理フローを、図２２を用いて説明する。図５および図１６と同じものは同じ番号を付し、説明は省略する。ステップ５５０で、操作者１０６を検出する。操作者１０６の検出は、撮像部１０２の撮像データで可能であり、例えば、画像を認識する方法や、撮影画像の中である一定距離内にある物体の大きさを検出する方法などを用いればよい。操作者１０６を検出することで操作者までの距離２５５がわかる。次に、ステップ５０１で、動体である手２５２を検出し、ステップ５０２で動体の位置表示をした後、ステップ５５１に移行する。ステップ５５１では、操作者までの距離２５５と動体の距離までの距離２５３の差分を取り、基準値と比較する。ここで、基準値は、操作者１０６が操作を目的に手を伸ばすおおよその距離を考慮して設定される。差分が、ある一定の基準値以上であれば、操作者１０６が操作を目的として伸ばした手であるとして、これを正式に動体として特定し、ステップ５０４に移行する。差分が一定の基準値以下であれば、操作者１０６が操作を目的とせずに動かした手であるとして、これを正式な動体として特定しないようにする。

本例によれば、操作者の操作を目的とした手などの動きを検出し、操作を意図しない手などの動きで誤動作しないようにすることができる。

実施例１における本発明の操作制御装置の構成を示すブロック図である。 実施例１における本発明の操作制御装置の動作例である。 実施例１における撮像部の撮像画像例である。 実施例１における動体が動体検出領域外にある場合の表示画面例である。 実施例１における本発明の操作制御装置の処理フローである。 実施例１における表示画面例である。 実施例２における実施例１とは別の表示画面例である。 実施例３における実施例１及び２とは別の表示画面例である。 実施例４における実施例１ないし３とは別の表示画面例である。 実施例４における本発明の操作制御装置の処理フローである。 実施例５における操作者の手の動きの一例である。 実施例５における表示画面例である。 実施例５のおける本発明の操作制御装置の処理フローである。 実施例６における操作者の手の動きの一例である。 実施例６における表示画面例である。 実施例６における本発明の操作制御装置の処理フローである。 実施例７における二人の操作者の手の動きと撮像部との関係図である。 実施例７における撮像部の撮像画像例である。 実施例７における表示画面例である。 実施例７における本発明の操作制御装置の処理フローである。 実施例８における操作者と撮像部との関係図である。 実施例８における本発明の操作制御装置の処理フローである。

符号の説明

１００・・・操作制御装置、１０１・・・表示部、１０２・・・撮像部、１０３・・・コンテンツ選択メニュー、１０４・・・フォーカス位置、１０６・・・操作者、１１１・・・動体操作領域、２００・・・動き検出部、２０１・・・動き解析部、２０２・・・システム制御部、２０３・・・検出範囲設定部、２０４・・・映像処理部

Claims (10)

1. 撮影により操作者の動きを検出し、該動きに従って、表示画面上の操作を行わせる操作制御装置であって、
   撮像画面内における操作制御が可能な領域を設定する検出領域設定部と、
   前記検出領域設定部で設定された操作制御が可能な領域と、前記操作者の動きを表示画面上に表示させるとともに、該操作制御が可能な領域内で動きを検出した場合に、該動きに対応して、表示画面上の操作表示を行わせる制御部とを備えることを特徴とする操作制御装置。
2. 前記制御部は、前記表示画面に複数のコンテンツに関連する情報が示されたメニューを表示させ、該複数のコンテンツに関連する情報のうちの選択可能な１つの表示領域と、前記操作制御が可能な領域を重ならせて表示させることを特徴とする請求項１に記載の操作制御装置。
3. 前記制御部は、前記表示画面に複数のコンテンツに関連する情報が示されたメニューを表示させ、該メニューの表示領域と、前記操作制御が可能な領域を重ならせて表示させることを特徴とする請求項１に記載の操作制御装置。
4. 前記制御部は、前記操作制御が可能な領域を複数表示させ、該複数の領域ごとに、前記操作者の動きに対応して、異なる操作表示をさせることを特徴とする請求項１に操作制御装置。
5. 前記制御部は、該操作制御が可能な領域で検出する動きのうち、動きの方向と量に対応して異なる操作表示を行わせることを特徴とする請求項１に記載の操作制御装置。
6. 操作者の動きに従って、表示画面上の操作表示を行う操作表示方法であって、
   操作が可能な領域と、前記操作者の動きを表示画面上に表示するステップと、
   前記操作が可能な領域内での操作者の動きに対応して、表示画面上の操作表示を行うステップとを備えることを特徴とする操作表示方法。
7. 前記表示画面上に表示するステップは、前記表示画面に複数のコンテンツに関連する情報が示されたメニューを表示し、該複数のコンテンツに関連する情報のうちの選択可能な１つの表示領域と、前記操作が可能な領域を重ならせて表示することを特徴とする請求項６に記載の操作表示方法。
8. 前記表示画面上に表示するステップは、前記表示画面に複数のコンテンツに関連する情報が示されたメニューを表示し、該メニューの表示領域と、前記操作が可能な領域を重ならせて表示することを特徴とする請求項６に記載の操作表示方法。
9. 前記表示画面上に表示するステップは、前記操作が可能な領域を複数表示させ、
   前記表示画面上の操作表示を行うステップは、前記複数の領域ごとに、前記操作者の動きに対応して、異なる操作表示を行うことを特徴とする請求項６に記載の操作表示方法。
10. 前記表示画面上の操作表示を行うステップは、該操作が可能な領域内での操作者の動きのうち、動きの方向と量に対応して異なる操作表示を行うことを特徴とする請求項６に記載の操作表示方法。

Images