JP2013200654A - Display control device, display control method, information display system, and program - Google Patents
Display control device, display control method, information display system, and program Download PDFInfo
- Publication number
- JP2013200654A JP2013200654A JP2012067855A JP2012067855A JP2013200654A JP 2013200654 A JP2013200654 A JP 2013200654A JP 2012067855 A JP2012067855 A JP 2012067855A JP 2012067855 A JP2012067855 A JP 2012067855A JP 2013200654 A JP2013200654 A JP 2013200654A
- Authority
- JP
- Japan
- Prior art keywords
- user
- hand
- display
- display control
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 23
- 230000009471 action Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 26
- 230000006854 communication Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 20
- 230000004048 modification Effects 0.000 description 18
- 238000012986 modification Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000037237 body shape Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御装置、表示制御方法、情報表示システム及びプログラムに関する。 The present invention relates to a display control device, a display control method, an information display system, and a program.
ディスプレイにアイコンを表示し、使用者のアイコンに対する動作を撮影し、当該撮影した画像に基づいて予め定められた処理を実行する装置が知られている（例えば、特許文献１参照）。また、特許文献２〜４が知られている。
特許文献１ 特開２０１１−１７５６１７号公報
特許文献２ 特開２００４−３０２７３４号公報
特許文献３ 特開２００６−１４６７００号公報
特許文献４ 特開２００８−２０４０６号公報
There is known an apparatus that displays an icon on a display, captures an action on a user's icon, and executes a predetermined process based on the captured image (see, for example, Patent Document 1). Further, Patent Documents 2 to 4 are known.
Patent Literature 1 JP 2011-175617 A Patent Literature 2 JP 2004-302734 A Patent Literature 3 JP 2006-146700 A Patent Literature 4 JP 2008-20406 A
しかし、通常の非接触操作のシステムは、操作用の手を自由に選択できず、操作を目的としない手の動きまで追跡してしまう可能性があり、使用者に負担を与えていた。 However, a normal non-contact operation system cannot freely select a hand for operation, and there is a possibility that the movement of a hand not intended for operation may be tracked, which places a burden on the user.
本発明の第１の態様においては、使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、使用者の身体の空間上の位置を検出する検出センサに、検出された使用者の両手の位置の相互関係に基づいて、いずれの手を操作用の手とするのかを特定する特定部と、操作用の手の動きを認識して、表示装置の表示内容に対する操作指示を取得する指示取得部と、操作指示に応じて表示装置の表示内容を制御する表示制御部とを備える表示制御装置と当該表示制御装置を備える表示システム、及びこれらに用いる表示制御方法とプログラムを提供する。 In the first aspect of the present invention, a display control device that controls the display content of the display device according to the movement of the user's hand, the detection sensor for detecting the position of the user's body in space, Based on the mutual relationship between the detected positions of both hands of the user, a specific unit that identifies which hand will be the operating hand, and the display contents of the display device by recognizing the movement of the operating hand Display control device including an instruction acquisition unit that acquires an operation instruction for the display, a display control unit that controls display content of the display device in accordance with the operation instruction, a display system including the display control device, and a display control method used for these And provide programs.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、本発明の実施の形態を説明する。 Embodiments of the present invention will be described below.
図１は、本実施形態の情報表示システム１０の概要を示す。情報表示システム１０は、使用者１の姿勢を検出し、使用者１の姿勢から使用者１の右手２２及び左手２４のうち操作用の手を特定し、当該操作用の手の動きに応じて制御された表示内容を表示する。情報表示システム１０は、検出センサ装置１００、表示制御装置２００、及び表示装置３００を備える。
FIG. 1 shows an overview of an
検出センサ装置１００は、使用者１の身体の一部又は全体の二次元及び／又は三次元空間上の位置を検出する。検出センサ装置１００は、例えば、光波測距センサ及び／又はビデオカメラを有する。
The
光波測距センサは、光波測距を用いて距離データの画像を生成し、生成した距離データの画像から使用者１を検出してよい。光波測距センサは、例えば、赤外線等の光を照射する投光器、集光レンズ等の光学系、及び、複数の画素を含み画素ごとに使用者１からの反射光の検出時間を測定する測距素子を有する。光波測距センサは、使用者１に赤外線等を照射し、その反射光を光学系により測距素子上で結像させ、測距素子の各画素が測定した反射光の検出時間を画像内の各画素の輝度値等に対応付けすることで、使用者１の光波測距センサからの距離を表す画像を取得する。 The light wave ranging sensor may generate an image of distance data using light wave ranging, and may detect the user 1 from the generated image of distance data. The optical distance measuring sensor includes, for example, a projector that irradiates light such as infrared rays, an optical system such as a condenser lens, and a distance measuring unit that measures a detection time of reflected light from the user 1 for each pixel including a plurality of pixels. It has an element. The light wave ranging sensor irradiates the user 1 with infrared rays and the like, forms an image of the reflected light on the distance measuring element by the optical system, and indicates the detection time of the reflected light measured by each pixel of the distance measuring element in the image. By associating with the luminance value or the like of each pixel, an image representing the distance of the user 1 from the light wave ranging sensor is acquired.
ビデオカメラは、１又は複数の撮像部を有し、使用者１の画像を取得して使用者１を検出する。ビデオカメラは、２以上の視点から使用者１の画像を取得することで、使用者１の視差画像を取得し、当該視差画像の視差情報に基づいて、使用者１のビデオカメラからの距離情報を有する使用者１の画像を生成してもよい。検出センサ装置１００は、光波測距センサ及び／又はビデオカメラから取得した画像を表示制御装置２００に供給する。
The video camera has one or a plurality of imaging units, acquires an image of the user 1 and detects the user 1. The video camera acquires the user 1's parallax image from two or more viewpoints, acquires the parallax image of the user 1, and based on the parallax information of the parallax image, distance information from the user 1's video camera An image of the user 1 having the above may be generated. The
ここで、図１において、検出センサ装置１００は撮像範囲３０の領域を検出する。撮像範囲３０には、使用者１の顔、右手２２及び左手２４を含む上半身及び下半身の一部が含まれる。従って、検出センサ装置１００は、使用者１の顔、右手２２及び左手２４を含む上半身及び下半身の一部を含む画像を取得する。
Here, in FIG. 1, the
表示制御装置２００は、使用者１の手の動きに応じて表示装置３００の表示内容を制御する。具体的には、表示制御装置２００は、検出センサ装置１００から使用者１の画像を取得し、使用者１の左右の手の位置から使用者の右手２２及び左手２４のうちいずれかを操作用の手として特定し、操作用の手の動きから使用者１の操作指示を取得し、操作指示に応じた表示内容を表示装置３００に供給する。表示制御装置２００は、ネットワークに接続されてよい。図１において、表示制御装置２００は、使用者１の右手２２を操作用の手と特定する例を示す。
The
表示制御装置２００は、例えば、使用者１が表示装置３００の前に立ったことに応じて、使用者１の画像を表示装置３００に表示してよい。この場合、検出センサ装置１００は、表示装置３００の正面方向を検出し、表示制御装置２００は使用者１が表示装置３００の前で検出されたことに応じて表示装置３００に使用者１の画像を表示する。
For example, the
表示装置３００は、表示制御装置２００から制御された情報を取得し、表示制御装置２００の制御に応じた表示内容を表示する。具体的には、表示装置３００は、使用者１の画像、使用者１の操作用の手と対応するカーソル、情報表示システム１０が実行するアプリケーション等のアイコン、及び、その他の情報を表示してよい。これに代えて、表示装置３００は、使用者１の画像を表示せず、使用者１の操作用の手と対応するカーソル、情報表示システム１０が実行するアプリケーション等のアイコン、及び、その他の情報を表示してもよい。
The
表示装置３００は、二次元画像又は三次元画像を表示する、液晶ディスプレイ、プラズマディスプレイ又は有機エレクトロルミネッセンスディスプレイ等の電子表示装置であってよい。
The
図１において、表示装置３００は、操作用の手の画像３２を含む使用者１の画像、使用者１の操作用の手の画像３２の中心４０に配置されたカーソル５０、ゲーム等のアプリケーションのアイコン、及びニュース等の文字情報を含む表示内容を表示する例を示す。ここで、ゲーム等のアプリケーション及び／又はニュース等の情報は、使用者１の指示に応じてネットワーク等を介して実行又は取得されてよい。
In FIG. 1, a
本実施形態において、表示装置３００の表示範囲と検出センサ装置１００の撮像範囲３０は同一又は略同一である。従って、表示装置３００は、検出センサ装置１００が取得した画像を無駄にすることなく表示することができる。
In the present embodiment, the display range of the
また、表示装置３００が表示する使用者１の画像は、使用者１の鏡像又は正像であってよい。表示装置３００が表示する使用者１の画像は、使用者１と同一寸法の画像、又は、使用者１を同一寸法よりも縮小／拡大した画像であってよい。使用者１と同一寸法の鏡像を表示する場合、情報表示システム１０は、使用者１に鏡の前に立ったような自然な感覚を提供することができる。
Further, the image of the user 1 displayed by the
このように、情報表示システム１０によれば、使用者１が表示装置３００の前に立った場合に、使用者１の身体の位置を検出して、使用者１の操作用の手を特定する。また、情報表示システム１０は、当該操作用の手の動きから使用者１の操作指示を判断するので、使用者が操作することを意図しない手の動きを操作として誤って検出することがない。これにより、情報表示システム１０は、表示装置３００の画面の前に立った使用者１による非接触での画面操作をシームレスに開始させることを可能にし、使用者１に感じさせるストレスを低減した、快適なユーザインタフェースを提供することができる。
Thus, according to the
図２は、本実施形態の情報表示システム１０の具体的構成を示す。表示制御装置２００は、画像入力部２０２と、特定部２０４と、指示取得部２０６と、カーソル制御部２０８と、表示制御部２１０と、通信部２１２とを有する。
FIG. 2 shows a specific configuration of the
画像入力部２０２は、検出センサ装置１００から、使用者１の身体の位置を表す画像を入力する。画像入力部２０２は、画像を特定部２０４、指示取得部２０６、及び表示制御部２１０に供給する。
The
特定部２０４は、画像から使用者１の両手の位置を検出し、その検出された使用者１の両手の位置の相互関係に基づいて、使用者１の右手２２及び左手２４のうちいずれの手を操作用の手とするのかを特定する。具体的には、特定部２０４は、画像入力部２０２から画像を取得し、取得した画像から背景等を除き使用者１の画像を抽出する。特定部２０４は、抽出した使用者１の画像の形状から使用者１の両手に対応する領域を特定する。特定部２０４は、画像中の使用者１の左手及び右手のうちいずれかの手を、両手の位置の相互関係に基づいて操作用の手として特定する。特定部２０４は、両手に対応する領域の情報及び特定した操作用の手の情報を指示取得部２０６に供給する。
The identifying
指示取得部２０６は、操作用の手の動きを認識して、表示装置３００の表示内容に対する操作指示を取得する。具体的には、指示取得部２０６は、画像入力部２０２から使用者１の画像を取得し、特定部２０４から両手に対応する領域の情報及び操作用の手の情報を取得する。指示取得部２０６は、取得した画像及び情報から、使用者１の画像中の操作用の手の中心位置の座標を算出する。指示取得部２０６は、当該中心位置の座標を操作指示として取得する。
The
また、指示取得部２０６は、使用者１の操作用の手の動きを検出し、使用者１が操作用の手で予め定められたジェスチャー等をした場合、当該ジェスチャーの内容を操作指示として取得してよい。指示取得部２０６は、取得した操作指示をカーソル制御部２０８及び表示制御部２１０に供給する。
In addition, the
カーソル制御部２０８は、使用者１の操作指示に応じて、カーソル５０を表示制御する。具体的には、カーソル制御部２０８は、指示取得部２０６から操作用の手の中心位置の座標を含む操作指示を取得し、使用者１の操作用の手の動きに応じてカーソル５０を表示装置３００の表示画面内で動かす。カーソル５０は、表示装置３００にアイコン等で表示される操作対象を選択するための、表示画面内の矢印等の図形である。カーソル制御部２０８は、カーソル５０の表示装置３００の表示画面内の座標情報を表示制御部２１０に供給する。
The
表示制御部２１０は、使用者１の操作指示に応じて表示装置３００の表示内容を制御する。例えば、表示制御部２１０は、画像入力部２０２から取得した画像を表示装置３００の表示画面に表示する。表示制御部２１０は、使用者１の操作指示の対象であるアプリケーション等の処理を実行する。表示制御部２１０は、アプリケーション等のアイコン、及び／又は、指示取得部２０６から取得した操作指示の実行結果等の情報を表示装置３００の表示画面に反映する。
The
また、表示制御部２１０は、カーソル制御部２０８から取得した座標情報に基づいて、表示装置３００の表示画面内の使用者１の操作用の手の位置と対応する座標にカーソル５０を表示する。更に、表示制御部２１０は、表示装置３００の表示画面にニュース情報等の使用者１が設定した情報を表示してよい。
Further, based on the coordinate information acquired from the
通信部２１２は、インターネット等の外部のネットワークと接続する。表示制御部２１０は、通信部２１２を介して、アプリケーション及び／又はニュース等の情報をダウンロードしてよい。
The
このように、表示制御装置２００によれば、検出センサ装置１００が使用者１を撮像した画像に基づいて、特定部２０４が使用者１の両手の位置を検出して、使用者１の両手の位置関係から操作用の手を特定し、指示取得部２０６が当該操作用の手の動きから使用者１の操作指示を取得することにより、使用者１の非接触操作をシームレスに受け付けることができ、使用者１の意図しない動作を画面操作として誤検出することなく使用者１が意図した操作の結果を表示装置３００に表示させることができる。
As described above, according to the
また、情報表示システム１０は、カーソル５０を表示装置３００の表示画面に表示して、いずれかの手が操作用の手として特定されたかを使用者１に示すことができ、これにより使用者１の誤操作の可能性を更に低減することができる。
In addition, the
図３は、本実施形態の情報表示システム１０の処理フローを示す。本実施形態において、表示制御装置２００は、検出センサ装置１００から取得した画像及び予め記憶した人体形状のパターン等に基づいて、使用者１の操作用の手を特定する。情報表示システム１０は、Ｓ１１０からＳ１２０までの処理により情報を表示する。図３に示す処理フローは、例えば、情報表示システム１０が表示装置３００の前に使用者１が立ったことを検出した時に開始するか、あるいは、情報表示システム１０が、使用者１から操作用の手の設定開始の指示を受け取った時に開始してよい。
FIG. 3 shows a processing flow of the
まず、Ｓ１１０において、検出センサ装置１００は、光波測距センサ及び／又はビデオカメラにより、使用者１の画像を取得して、使用者１の身体の一部又は全体の三次元及び／又は二次元空間上の位置を検出する。検出センサ装置１００は、使用者１の画像を表示制御装置２００の画像入力部２０２に供給する。使用者１の画像は、画素ごとに使用者１の検出センサ装置１００からの距離データを含んでいてよい。
First, in S110, the
次に、Ｓ１１２において、画像入力部２０２は、検出センサ装置１００から使用者１を撮像した画像を入力し、当該画像を特定部２０４、指示取得部２０６、及び表示制御部２１０に供給する。ここで、情報表示システム１０が表示装置３００に使用者１の鏡像を表示させる場合、画像入力部２０２は入力した使用者１の画像を左右反転させた後に、当該画像を特定部２０４等に供給してよい。
In step S <b> 112, the
次に、Ｓ１１４において、特定部２０４は、検出された使用者１の両手の位置の相互関係に基づいて、使用者１の右手２２及び左手２４のうちいずれの手を操作用の手とするのかを特定する。具体的には、特定部２０４は、画像入力部２０２から使用者１の画像を取得する。次に、特定部２０４は、予め記憶した多数の人の身体形状のパターン、輪郭パターン又はシルエットパターン等に基づいて、取得した画像から人物の立体パターン等と概ね一致する部分のみを抽出し、背景等を除くことにより、使用者１の画像を抽出する。
Next, in S114, the identifying
次に、特定部２０４は、予め記憶した身体形状のパターン、輪郭パターン又はシルエットパターン等に基づいて、抽出した画像中における使用者１の左手及び右手の領域をそれぞれ特定する。例えば、抽出した使用者１の鏡像画像中において、使用者１の左側に予め記憶した手のパターン等と略一致する形状の領域が発見された場合、特定部２０４は当該領域を使用者１の右手に対応する領域と特定する。同様に、特定部２０４は、使用者１の左手に対応する領域を特定する。
Next, the specifying
次に、特定部２０４は、抽出した使用者１の両手のうちいずれかを操作用の手と特定する。例えば、特定部２０４は、使用者１の両手のうち、より高い位置もしくは低い位置にある方の手を、操作用の手として特定してよい。また、特定部２０４は、より高い位置にある方の手で、且つ、予め定められた基準位置より上に挙げられたことを更に条件として、操作用の手を特定してよい。例えば、特定部２０４は、基準位置を使用者１の肩、首又は頭の位置とし、使用者１の高い位置にある方の手が使用者の肩、首又は頭の位置より上に挙げられたことを認識したことに応じて、当該手を操作用の手として特定してよい。
Next, the specifying
また、特定部２０４は、使用者１の手のひらが検出センサ装置１００に向いている、すなわち表示装置３００の画面に向いていることを更に条件として、操作用の手を特定してよい。この場合、特定部２０４は、抽出した使用者１の画像の左手及び右手の形を予め記憶した多数の左手及び右手の手のひらの立体パターン、輪郭パターン又はシルエットパターン等とそれぞれ対比し、手のひらが表示装置３００の画面に向いていると判断した手を操作用の手と特定してよい。特定部２０４は、使用者１の両手に対応する領域に関する情報及び特定した操作用の手が両手のどちらの手であるかの情報を指示取得部２０６に供給する。
Further, the specifying
次に、Ｓ１１６において、指示取得部２０６は、使用者１の操作用の手の動きを認識して、表示装置３００の表示内容に対する操作指示を取得する。具体的には、指示取得部２０６は、画像入力部２０２から使用者１の画像を取得し、特定部２０４から使用者１の両手に対応する領域に関する情報、及び、使用者１のいずれの手が操作用の手であるかの情報を取得する。指示取得部２０６は、使用者１の画像中における操作用の手に対応する領域の中心の座標を算出し、当該座標の変化から操作指示を取得する。また、指示取得部２０６は、操作用の手に対応する領域の中心の座標を操作指示として取得する。
Next, in S <b> 116, the
ここで、指示取得部２０６は、使用者１の操作用の手が既に特定されている場合には、特定部２０４から情報を取得せず、使用者１の画像中において、直近に操作用の手に対応する領域と認識された領域と略同位置かつ略同形状の領域を検出し、当該検出した領域を操作用の手に対応する領域としてよい。
Here, when the operation hand of the user 1 has already been specified, the
また、指示取得部２０６は、使用者１の画像の操作用の手に対応する領域の変化を、予め記憶した多数の手の立体パターンの変化、輪郭パターンの変化又はシルエットパターンの変化等とそれぞれ対比してよい。これにより、指示取得部２０６は、使用者１の操作用の手のジェスチャー等の動きを検出して、当該ジェスチャー等の動きから操作指示を取得してよい。
In addition, the
例えば、指示取得部２０６は、使用者１の操作用の手の位置に対応する画面位置が表示装置３００の表示画面内のアイコンの位置と重なった状態で、使用者１が操作用の手で予め定められたジェスチャー等をしたことを認識した場合は、当該アイコンと対応するアプリケーションに関連する指示を操作指示としてよい。
For example, the
予め定められたジェスチャーは、例えば、開いた手を握った状態にすること、握った手を開くこと、手を左右方向に振ること、手を上下方向に動かすこと、手でボタンを押す動作をすること、手でクリック又はダブルクリックする動作をすること、手で円を描く動作をすること、手を一定時間静止させること、一部又は全ての指を動かすこと、その他の手の運動又はこれらの組み合わせであってよい。 Predefined gestures include, for example, holding an open hand, opening the gripped hand, shaking the hand left and right, moving the hand up and down, and pressing a button with the hand. To do, to click or double-click by hand, to draw a circle by hand, to keep a hand stationary for a certain period of time, to move some or all fingers, other hand movements or these It may be a combination of
アプリケーションに関連する指示は、当該アプリケーションの実行、削除、又はプロパティの表示等であってよい。例えば、使用者１の操作用の手のの位置に対応する画面上の位置が表示装置３００の表示画面内のアイコンの位置と重なった状態で、操作用の手がボタンを押す動作をしたことを指示取得部２０６が検出した場合、指示取得部２０６は当該アイコンと対応するアプリケーションを実行する指示を取得してよい。
The instruction related to the application may be execution, deletion, property display, or the like of the application. For example, the operation hand presses the button while the position on the screen corresponding to the position of the operation hand of the user 1 overlaps the position of the icon on the display screen of the
例えば、使用者１の操作用の手の位置に対応する画面上の位置が表示装置３００の表示画面内のアイコンと重なった状態で、指示取得部２０６が操作用の手が円を描く動作をしたことを検出した場合、指示取得部２０６は当該アイコンと対応するアプリケーションを終了する指示を取得してよい。
For example, in a state where the position on the screen corresponding to the position of the user's operating hand overlaps an icon on the display screen of the
また、例えば、使用者１の操作用の手の位置に対応する画面上の位置が表示装置３００の表示画面内のアイコンの位置と重なった状態で操作用の手が開いた状態から握った状態になり、更に当該操作用の手が握った状態のまま移動したことをたことを指示取得部２０６が検出したとき、使用者１の操作用の手の位置と連動するように当該アイコンをドラッグする指示を指示取得部２０６は取得してよい。続いて、当該操作用の手が握った状態から開いた状態になったことを指示取得部２０６が検出したとき、当該アイコンをその位置でドロップする指示を指示取得部２０６は取得してよい。指示取得部２０６は、取得した操作指示をカーソル制御部２０８及び表示制御部２１０に供給する。
Further, for example, a state in which the operation hand is gripped from the open state in a state where the position on the screen corresponding to the position of the operation hand of the user 1 overlaps the position of the icon in the display screen of the
ここで、Ｓ１１６において、使用者１が情報表示システム１０の使用を中断又は中止したこと等により指示取得部２０６が使用者１から一定時間指示を取得できない場合、又は、指示取得部２０６が使用者１から操作用の手を解除する指示を受信した場合、情報表示システム１０は、使用者１の操作用の手を解除して、処理を終了してよい。
Here, in S116, when the
次に、Ｓ１１８において、カーソル制御部２０８が、使用者１の操作指示に応じて、カーソル５０を表示制御する。具体的には、カーソル制御部２０８は、指示取得部２０６から取得した操作指示を基に、使用者１の操作用の手の画像の中心４０の位置に対応する画面上の位置にカーソル５０を表示し、使用者１の操作用の手の移動に合わせてカーソル５０を表示装置３００の表示画面内で動かす。この結果、カーソル制御部２０８は、使用者１の操作用の手の動きに応じて連動するように、カーソル５０を表示装置３００の表示画面内で動かすこととなる。
Next, in S <b> 118, the
また、カーソル制御部２０８は、表示制御装置２００の状態に応じて、表示するカーソル５０の形状を変更してもよい。例えば、表示制御装置２００が処理を実行中で次の操作指示を受け付けない場合、カーソル５０は砂時計等の処理待ちを示唆する形状となってよい。カーソル制御部２０８は、カーソル５０の表示装置３００の表示画面内の座標情報及びカーソルの形状情報を表示制御部２１０に供給する。
Further, the
次に、Ｓ１２０において、表示制御部２１０は、使用者１の操作指示に応じて表示装置３００の表示内容を制御する。具体的には、表示制御部２１０は、画像入力部２０２から取得した使用者１の画像を表示装置３００の表示画面に表示する。光波測距センサから取得した画像を表示する場合、表示制御部２１０は使用者１のシルエット画像を表示してよい。ビデオカメラから取得した画像を表示する場合、表示制御部２１０は使用者１のカラー画像、カラー画像を画像処理した使用者１の白黒画像又はシルエット画像を表示してよい。
Next, in S <b> 120, the
更に、表示制御部２１０は、操作対象であるアプリケーションのアイコンを、表示装置３００の使用者１の画像上に重ねて表示してよい。更に、表示制御部２１０は、指示取得部２０６から取得した操作指示の実行結果を表示装置３００の表示画面に反映してよい。
Furthermore, the
例えば、操作指示がアプリケーションの実行である場合、表示制御部２１０は当該アプリケーションを実行し、その実行結果を表示装置３００の使用者１の画像及びアイコン上に重ねて表示する。また、例えば、操作指示がアプリケーションの削除である場合、表示制御部２１０は、表示画面から削除対象となったアプリケーションのアイコンを削除する。また、例えば、操作指示がアプリケーションのプロパティの表示である場合、表示制御部２１０は、当該アプリケーションのプロパティを表示画面に表示する。
For example, when the operation instruction is execution of an application, the
また、表示制御部２１０は、カーソル制御部２０８から取得したカーソル５０の座標情報及び形状情報に応じて、表示装置３００の表示画面に予め定められた形状のカーソル５０を表示する。更に、表示制御部２１０は、表示装置３００の表示画面にニュース情報、スケジュール、天気予報、番組表、メール着信、及び災害速報等の使用者１が予め設定した情報を表示してよい。情報表示システム１０は、Ｓ１２０の後に処理をＳ１１４に戻す。
In addition, the
このように、本実施形態の情報表示システム１０は、Ｓ１１０からＳ１２０までの処理を実行することにより、使用者１の画像を取得し、当該画像及び右手及び左手の立体パターン等から使用者１の両手の位置を検出し、その左右の手の位置関係に基づいて操作用の手を特定し、当該操作用の手の動作から使用者１からの操作指示を取得する。これにより、情報表示システム１０は、使用者１が画面の前に来てからシームレスに非接触の画面操作を開始できる環境を提供することができ、使用者１の意図しない動作を操作と誤認識することなく、使用者１が意図した操作の結果を表示装置３００に表示させることができる。
As described above, the
本実施形態の表示制御装置２００は、検出センサ装置１００からの情報に基づいて使用者１の姿勢を判定して、使用者１の両手の位置を検出し、両手（右手及び左手）の位置の相互関係を基に、操作用の手を特定する。例えば、高い位置にある手と低い位置にある手のうち、決められた位置にある方の手を操作用の手として設定する。このように、左右の手を互いに基準として、操作用の手を特定するため、使用者１に特別な動作をさせることなく、非接触操作を開始することができる。
The
図４は、本実施形態の第１変形例の特定部２０４の具体的構成を示す。本変形例において、検出センサ装置１００はカラー画像を取得するビデオカメラを含み、表示制御装置２００は使用者１のカラー画像に基づいて使用者１の操作用の手を特定する例を説明する。本変形例の説明において、本実施形態と略同一の機能及び構成を有する要素には同一の符号を付し、説明を省略する。
FIG. 4 shows a specific configuration of the specifying
本変形例において、表示制御装置２００の特定部２０４は、認識部２３２、検索部２３４、及び判断部２３６を含み、使用者１のカラー画像に含まれる肌色部分から使用者１の操作用の手を特定する。
In the present modification, the specifying
認識部２３２は、使用者１の顔部分及び／又は胴体部分を認識する。具体的には、画像入力部２０２から使用者１のカラー画像を取得し、取得したカラー画像から背景等を除き使用者１の画像を抽出する。認識部２３２は、抽出した使用者１のカラー画像から当該使用者１の顔部分及び／又は胴体部分を認識する。認識部２３２は、認識した顔部分及び／又は胴体部分の情報を検索部２３４に供給する。
The
検索部２３４は、カラー画像中の使用者１の肌色領域を検索する。具体的には画像入力部２０２から使用者１のカラー画像を取得し、認識部２３２から使用者１の顔部分及び／又は胴体部分の情報を取得する。検索部２３４は、カラー画像中の使用者１の顔の左右領域等の一部領域に位置する肌色領域を検索する。検索部２３４は、検索された肌色領域の情報を判断部２３６に供給する。更に、検索部２３４から肌色領域と隣接する領域の色の情報を取得し、判断部２３６に供給してもよい。
The
判断部２３６は、検索部２３４が検索した肌色領域の情報から操作用の手を判断する。具体的には、判断部２３６は、認識部２３２から使用者１の顔部分及び／又は胴体部分の情報を取得し、検索部２３４からカラー画像中の肌色領域の情報を取得する。判断部２３６は、カラー画像中の使用者１の顔部分及び／又は胴体部分の位置と、肌色領域の位置とを対比することにより使用者１の操作用の手を判断する。
The
図５は、本実施形態の第１変形例の処理フローを示す。本変形例において、表示制御装置２００は、使用者１のカラー画像に基づいて使用者１の操作用の手を特定する。情報表示システム１０は、Ｓ２１０からＳ２２４までの処理により情報を表示する。Ｓ２１０及びＳ２１２の処理は、図３におけるＳ１１０及びＳ１１２の処理と対応するものであってよい。情報表示システム１０は、処理をＳ２１２の次にＳ２１４に進める。
FIG. 5 shows a processing flow of a first modification of the present embodiment. In the present modification, the
Ｓ２１４において、認識部２３２は、使用者１の顔部分及び／又は胴体部分を認識する。具体的には、認識部２３２は、画像入力部２０２から使用者１のカラー画像を取得し、予め記憶した多数の人物の顔及び胴体のパターンに基づいて、取得したカラー画像から人物の顔及び胴体パターンと概ね一致する部分のみを抽出する。認識部２３２は、認識した顔部分及び／又は胴体部分の情報を検索部２３４に供給する。
In S214, the
次に、Ｓ２１６において、検索部２３４は、カラー画像中の使用者１の肌色領域を検索する。具体的には画像入力部２０２から使用者１のカラー画像を取得し、認識部２３２から使用者１の顔部分及び／又は胴体部分の情報を取得する。検索部２３４は、カラー画像中の一部領域に位置する肌色領域を検索する。例えば、検索部２３４は、カラー画像中において、使用者１の顔部分よりも上方に位置する肌色領域を検索する。また、これに代えて、検索部２３４は、使用者１の顔部分及び胴体部分の左右に位置する肌色領域を検索してもよい。検索部２３４は、検索された肌色領域の情報を判断部２３６に供給する。
Next, in S216, the
次に、Ｓ２１８において、判断部２３６は、検索部２３４が検索した肌色領域の情報から操作用の手を判断する。具体的には、判断部２３６は、認識部２３２から使用者１の顔部分及び／又は胴体部分の情報を取得し、検索部２３４からカラー画像中の肌色領域の情報を取得する。判断部２３６は、カラー画像中の使用者１の顔部分及び／又は胴体部分の位置と、肌色領域の位置とを対比することにより使用者１の操作用の手を判断する。
Next, in S <b> 218, the
例えば、判断部２３６は、カラー画像中の使用者１の顔部分よりも上方に位置する肌色領域を、使用者１の操作用の手に対応する領域であると判断してよい。これにより、例えば、表示装置３００が使用者１の鏡像を表示し、肌色領域が顔部分の左に存在する場合には、判断部２３６は使用者１の右手が操作用の手であると判断することができる。
For example, the
これに代えて、判断部２３６は、カラー画像中の使用者１の顔部分及び胴体部分の左右両方に位置する肌色領域を比較し、上方に位置する一方を使用者１の操作用の手に対応する領域と判断してよい。特定部２０４は、使用者１の両手に対応する肌色領域に関する情報及び特定した操作用の手が両手のどちらの手であるかの情報を指示取得部２０６に供給する。情報表示システム１０は、処理をＳ２１８の次にＳ２２０に進める。
Instead, the
Ｓ２２０〜Ｓ２２２の処理は、図３におけるＳ１１６〜Ｓ１１８の処理と対応するものであってよい。情報表示システム１０は、処理をＳ２２２の次にＳ２２４に進める。
The processing of S220 to S222 may correspond to the processing of S116 to S118 in FIG. The
Ｓ２２４において、情報表示システム１０は、図３におけるＳ１２０と対応する処理を実行し、処理をＳ２２０に戻す。
In S224, the
このように、本変形例の情報表示システム１０は、Ｓ２１０からＳ２２４までの処理を実行することにより、使用者１のカラー画像を取得し、当該カラー画像から使用者１の操作用の手を特定し、当該操作用の手の動作から使用者１からの操作指示を取得する。
As described above, the
図６は、本実施形態の第２変形例の情報表示システム１０の概要を示す。本変形例において、表示装置３００の表示範囲６０は検出センサ装置１００の撮像範囲３０よりも小さい。即ち、表示装置３００は、検出センサ装置１００が取得した画像のうち一部を切り取った範囲を表示する。領域２０は、表示装置３００の表示画面平面上における検出センサ装置１００の撮像範囲３０と対応する領域を示す。
FIG. 6 shows an overview of the
表示制御装置２００の指示取得部２０６は、操作用の手が画像の予め定められた範囲の外に移動したことに応じて、操作用の手の特定を解除する。例えば、図６に示されるように、使用者１の操作用の手である左手２４が、検出センサ装置１００の撮像範囲３０のうち表示装置３００の表示範囲６０の外に出た場合、指示取得部２０６は操作用の手の特定を解除してよい。これに代えて、指示取得部２０６は、使用者１の操作用の手が、検出センサ装置１００の撮像範囲３０外に移動したことに応じて、操作用の手の特定を解除してよい。
The
図７は、本実施形態の第２変形例の処理フローを示す。本変形例において、表示制御装置２００は、検出センサ装置１００から取得した画像から、使用者１の操作用の手を特定する。更に、表示制御装置２００は、操作用の手の位置が予め定められた範囲から移動すると操作用の手を解除する。情報表示システム１０は、Ｓ３１０からＳ３２８までの処理により情報を表示する。
FIG. 7 shows a processing flow of a second modification of the present embodiment. In the present modification, the
Ｓ３１０〜Ｓ３１８の処理は、図３におけるＳ１１０〜Ｓ１１８の処理と対応するものであってよい。ここで、Ｓ３１６において、使用者１の操作用の手が検出センサ装置１００の撮像範囲３０かつ表示装置３００の表示範囲６０の外に位置する場合、指示取得部２０６は、使用者１からの操作指示を取得しなくてもよく、又は、使用者１からの操作指示を取得してもよい。
The processing of S310 to S318 may correspond to the processing of S110 to S118 in FIG. Here, in S <b> 316, when the operation hand of the user 1 is located outside the
Ｓ３２０において、情報表示システム１０は、図３におけるＳ１２０と対応する処理を実行した後、処理をＳ３２２に進める。
In S320, the
Ｓ３２２において、指示取得部２０６は、使用者１の操作用の手が検出センサ装置１００の撮像範囲３０の外に位置するか判断する。指示取得部２０６は、操作用の手が撮像範囲３０の外に位置すると判断した場合、処理をＳ３２８に進める。指示取得部２０６は、操作用の手が撮像範囲３０の外に位置しないと判断した場合は処理をＳ３２４に進める。
In step S <b> 322, the
Ｓ３２４において、指示取得部２０６は、使用者１の操作用の手が検出センサ装置１００の撮像範囲３０のうち表示装置３００の表示範囲６０の外に位置するか判断する。指示取得部２０６は、操作用の手が表示範囲６０の外に位置すると判断した場合、処理をＳ３２６に進める。指示取得部２０６は、操作用の手が表示範囲６０の外に位置しないと判断した場合は処理をＳ３１６に処理を戻す。
In S <b> 324, the
Ｓ３２６において、指示取得部２０６は、使用者１の操作用の手が表示装置３００の表示範囲６０の外に位置する状態が予め定められた時間継続したか判断する。指示取得部２０６は、使用者１の操作用の手が表示装置３００の表示範囲６０の外に位置する状態が予め定められた時間継続したと判断した場合、処理をＳ３２８に進める。指示取得部２０６は、使用者１の操作用の手が表示装置３００の表示範囲６０の外に位置する状態が予め定められた時間継続していないと判断した場合、処理をＳ３１６に戻す。
In S <b> 326, the
Ｓ３２８において、指示取得部２０６は、使用者１の操作用の手の特定を解除する。指示取得部２０６は、処理を次にＳ３１０に戻す。ここで、表示制御装置２００は、特定部２０４に、使用者１の両手のうち解除された操作用の手でない手を新しい操作用の手として特定させ、処理をＳ３１６に進めてもよい。
In step S <b> 328, the
このように、本変形例の情報表示システム１０は、Ｓ３１０からＳ３２８までの処理を実行することにより、使用者１の操作用の手が、検出センサ装置１００の撮像範囲３０の外に移動した場合に使用者１の操作用の手の特定を直ちに解除する。また、情報表示システム１０は、表示装置３００の表示範囲６０の外に移動した場合、一定時間経過するのを待った後で使用者１の操作用の手の特定を解除する。
As described above, when the
これにより、本変形例の情報表示システム１０によれば、使用者１が情報表示システム１０から離れた場合等、使用者１が操作を明らかに中断しようとする場合に直ちに操作用の手の特定を解除することができる。また、情報表示システム１０は、使用者１の操作用の手が偶発的に表示装置３００の表示範囲６０の外に移動した場合等には操作用の手の特定を維持することで、使用者１の利便性の向上を図ることができる。
Thereby, according to the
図８は、表示制御装置２００として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び、表示装置３００として機能しうる表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。
FIG. 8 shows an example of a hardware configuration of a
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部を制御する。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイスは、通信部２１２において通信するハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
The input /
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
The input /
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
A program provided to the
コンピュータ１９００にインストールされ、コンピュータ１９００を表示制御装置２００として機能させるプログラムは、画像入力モジュールと、特定モジュールと、指示取得モジュールと、カーソル制御モジュールと、表示制御モジュールと、通信モジュール、認識モジュールと、検索モジュールと、判断モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、画像入力部２０２と、特定部２０４と、指示取得部２０６と、カーソル制御部２０８と、表示制御部２１０と、通信部２１２と、認識部２３２と、検索部２３４と、判断部２３６としてそれぞれ機能させてよい。
A program that is installed in the
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像入力部２０２と、特定部２０４と、指示取得部２０６と、カーソル制御部２０８と、表示制御部２１０と、通信部２１２と、認識部２３２と、検索部２３４と、判断部２３６として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示制御装置２００が構築される。
The information processing described in these programs is read by the
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
As an example, when communication is performed between the
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
The
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
In addition, the
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、予め定められた条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
Further, the
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
The program or module shown above may be stored in an external recording medium. As the recording medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１ 使用者、１０ 情報表示システム、２０ 領域、２２ 右手、２４ 左手
３０ 撮像範囲、３２ 操作用の手の画像、４０ 操作用の手の画像の中心
５０ カーソル、６０ 表示範囲、１００ 検出センサ装置、２００ 表示制御装置
２０２ 画像入力部、２０４ 特定部、２０６ 指示取得部、２０８ カーソル制御部
２１０ 表示制御部、２１２ 通信部、２３２ 認識部、２３４ 検索部
２３６ 判断部、３００ 表示装置、１９００ コンピュータ、２０００ ＣＰＵ
２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス
２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ
２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ
２０７５ グラフィック・コントローラ、２０８０ 表示装置
２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ
２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ
DESCRIPTION OF SYMBOLS 1 User, 10 Information display system, 20 area | region, 22 Right hand, 24
2010 ROM, 2020 RAM, 2030
Claims (10)
使用者の身体の空間上の位置を検出する検出センサに、
検出された使用者の両手の位置の相互関係に基づいて、いずれの手を操作用の手とするのかを特定する特定部と、
前記操作用の手の動きを認識して、前記表示装置の表示内容に対する操作指示を取得する指示取得部と、
前記操作指示に応じて前記表示装置の表示内容を制御する表示制御部と、
を備える表示制御装置。 A display control device that controls the display content of the display device according to the movement of the user's hand,
To the detection sensor that detects the position of the user's body in space,
A specific unit that identifies which hand is to be used as an operation hand based on the correlation between the positions of both hands of the detected user;
An instruction acquisition unit that recognizes the movement of the hand for operation and acquires an operation instruction for the display content of the display device;
A display control unit for controlling display contents of the display device in response to the operation instructions;
A display control device.
前記カーソル制御部は、使用者の前記操作用の手の動きに応じて前記カーソルを前記表示装置の表示画面内で動かす請求項１から５のいずれか一項に記載の表示制御装置。 A cursor control unit for controlling display of a cursor for selecting an operation target displayed on the display device according to the operation instruction of the user;
The display control device according to claim 1, wherein the cursor control unit moves the cursor within a display screen of the display device in accordance with a movement of the operation hand of a user.
請求項１から７のいずれか一項に記載の表示制御装置と、
前記表示制御装置の制御に応じた表示内容を表示する表示装置と、
を備える情報表示システム。 A detection sensor device for detecting a position of the user's body in space;
A display control device according to any one of claims 1 to 7;
A display device for displaying display contents according to the control of the display control device;
An information display system comprising:
使用者の身体の空間上の位置を示す情報を入力する入力段階と、
入力した情報において、使用者の両手の各位置の相互関係が、予め定められた条件を満たすことを認識したことに応じて、当該両手のうち操作用の手を特定する特定段階と、
前記操作用の手の動きを認識して、前記表示装置の表示内容に対する操作指示を取得する指示取得段階と、
前記操作指示に応じて前記表示装置の表示内容を制御する表示制御段階と、
を備える表示制御方法。 A display control method for controlling display content of a display device in accordance with movement of a user's hand,
An input stage for inputting information indicating the position of the user's body in space;
In the input information, in response to recognizing that the mutual relationship between the positions of both hands of the user satisfies a predetermined condition, a specific stage for identifying a hand for operation among the both hands,
An instruction acquisition step of recognizing the movement of the operating hand and acquiring an operation instruction for the display content of the display device;
A display control stage for controlling display contents of the display device in response to the operation instructions;
A display control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012067855A JP5456817B2 (en) | 2012-03-23 | 2012-03-23 | Display control apparatus, display control method, information display system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012067855A JP5456817B2 (en) | 2012-03-23 | 2012-03-23 | Display control apparatus, display control method, information display system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013200654A true JP2013200654A (en) | 2013-10-03 |
| JP5456817B2 JP5456817B2 (en) | 2014-04-02 |
Family
ID=49520870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012067855A Active JP5456817B2 (en) | 2012-03-23 | 2012-03-23 | Display control apparatus, display control method, information display system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5456817B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170040222A (en) * | 2014-08-01 | 2017-04-12 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Reflection-based control activation |
| US10185407B2 (en) | 2015-08-18 | 2019-01-22 | Canon Kabushiki Kaisha | Display control apparatus, display control method and recording medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009519552A (en) * | 2005-12-12 | 2009-05-14 | 株式会社ソニー・コンピュータエンタテインメント | Voice and video control of an interactive electronically simulated environment |
| JP2011513847A (en) * | 2008-02-27 | 2011-04-28 | ジェスチャー テック，インコーポレイテッド | Advanced input using recognized gestures |
| JP2011095985A (en) * | 2009-10-29 | 2011-05-12 | Nikon Corp | Image display apparatus |
| JP2011187086A (en) * | 2011-06-27 | 2011-09-22 | Toshiba Corp | Video reproduction device and video reproduction method |
| JP2011215921A (en) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | Program, information storage medium, and image generation system |
| JP2011234388A (en) * | 2011-06-10 | 2011-11-17 | Toshiba Corp | Video reproduction device and video reproduction method |
| JP2012058928A (en) * | 2010-09-07 | 2012-03-22 | Sony Corp | Information processor and information processing method |
-
2012
- 2012-03-23 JP JP2012067855A patent/JP5456817B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009519552A (en) * | 2005-12-12 | 2009-05-14 | 株式会社ソニー・コンピュータエンタテインメント | Voice and video control of an interactive electronically simulated environment |
| JP2011513847A (en) * | 2008-02-27 | 2011-04-28 | ジェスチャー テック，インコーポレイテッド | Advanced input using recognized gestures |
| JP2011095985A (en) * | 2009-10-29 | 2011-05-12 | Nikon Corp | Image display apparatus |
| JP2011215921A (en) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | Program, information storage medium, and image generation system |
| JP2012058928A (en) * | 2010-09-07 | 2012-03-22 | Sony Corp | Information processor and information processing method |
| JP2011234388A (en) * | 2011-06-10 | 2011-11-17 | Toshiba Corp | Video reproduction device and video reproduction method |
| JP2011187086A (en) * | 2011-06-27 | 2011-09-22 | Toshiba Corp | Video reproduction device and video reproduction method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170040222A (en) * | 2014-08-01 | 2017-04-12 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Reflection-based control activation |
| JP2017526096A (en) * | 2014-08-01 | 2017-09-07 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Activating controls based on reflections |
| KR102392437B1 (en) | 2014-08-01 | 2022-04-28 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Reflection-based control activation |
| US10185407B2 (en) | 2015-08-18 | 2019-01-22 | Canon Kabushiki Kaisha | Display control apparatus, display control method and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5456817B2 (en) | 2014-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101844390B1 (en) | Systems and techniques for user interface control | |
| JP6007497B2 (en) | Image projection apparatus, image projection control apparatus, and program | |
| US9317130B2 (en) | Visual feedback by identifying anatomical features of a hand | |
| US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
| US20160092062A1 (en) | Input support apparatus, method of input support, and computer program | |
| US10234955B2 (en) | Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program | |
| JP6344530B2 (en) | Input device, input method, and program | |
| KR101631011B1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
| JP6618276B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| US20150169134A1 (en) | Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces | |
| JP2016071546A (en) | Information processing device and control method thereof, program, and storage medium | |
| JP2013114467A (en) | Display system, display method and program | |
| JP5456817B2 (en) | Display control apparatus, display control method, information display system, and program | |
| WO2019037257A1 (en) | Password input control device and method, and computer readable storage medium | |
| JP5558899B2 (en) | Information processing apparatus, processing method thereof, and program | |
| JP5456840B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP5499106B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP5735453B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP2009205498A (en) | Information presentation device, information presentation method, information presentation program, and recording medium recorded with the program | |
| JP2017049662A (en) | Information processing apparatus, control method thereof, program, and storage medium | |
| WO2018150757A1 (en) | Information processing system, information processing method, and program | |
| JP3201596U (en) | Operation input device | |
| JP2013114466A (en) | Display system, display method and program | |
| JP6007496B2 (en) | Display system, display program, and display method | |
| JP2017228216A (en) | Information processing apparatus, control method therefor, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5456817 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |