JP2013239089A - Display control device, display control method, information display system, and program - Google Patents
Display control device, display control method, information display system, and program Download PDFInfo
- Publication number
- JP2013239089A JP2013239089A JP2012112816A JP2012112816A JP2013239089A JP 2013239089 A JP2013239089 A JP 2013239089A JP 2012112816 A JP2012112816 A JP 2012112816A JP 2012112816 A JP2012112816 A JP 2012112816A JP 2013239089 A JP2013239089 A JP 2013239089A
- Authority
- JP
- Japan
- Prior art keywords
- user
- display
- hand
- display control
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims abstract description 32
- 230000004044 response Effects 0.000 claims abstract description 22
- 230000006854 communication Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 3
- 235000002673 Dioscorea communis Nutrition 0.000 description 2
- 241000544230 Dioscorea communis Species 0.000 description 2
- 208000035753 Periorbital contusion Diseases 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Abstract
Description
本発明は、表示制御装置、表示制御方法、情報表示システム、およびプログラムに関する。 The present invention relates to a display control device, a display control method, an information display system, and a program.
従来、使用者のジェスチャー等を検出して情報の選択および表示等の指示を入力させ、当該使用者と、当該使用者の指示等に応じた情報とを表示する情報表示装置が知られている。（例えば、特許文献１および２参照）。
特許文献１ 特開２００１−２１６５２７号公報
特許文献２ 特開２０１０−７２７４９号公報
特許文献３ 特開２００６−２７７６６６号公報
特許文献４ 特表２００８−５１１０６９号公報
特許文献５ 特表２０１１−５０５６３９号公報
2. Description of the Related Art Conventionally, there is known an information display device that detects a user's gesture and the like, inputs an instruction for selecting and displaying information, and displays the user and information corresponding to the user's instruction and the like. . (For example, refer to Patent Documents 1 and 2).
Patent Literature 1 JP 2001-216527 A Patent Literature 2 JP 2010-72749 A Patent Literature 3 JP 2006-277666 A Patent Literature 4 JP 2008-51069 A Patent Literature 5 JP 2011-505539 A
しかしながら、このような情報表示装置において、使用者の操作に用いる手指を簡便に判断することは難しかった。また、使用者の熟練の度合いによって、当該使用者の操作入力に対して感じる難易度の差が大きく、初心者用の入力ガイド表示は、熟練者にとっては煩わしい表示となってしまい、熟練者用にガイドを表示しないと初心者は入力方法に手間取ってしまうことがあった。 However, in such an information display device, it has been difficult to easily determine a finger used for a user's operation. In addition, depending on the level of skill of the user, the difference in the degree of difficulty felt for the user's operation input is large, and the input guide display for beginners is an annoying display for the skilled person. If the guide is not displayed, the beginner sometimes takes time to input.
本発明の第１の態様においては、使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、使用者の身体の空間上の位置を検出する検出センサからの検出結果に基づいて、使用者の顔の向きに使用者の手が位置したことを認識したことに応じて、当該使用者の手を操作用の手として特定する特定部と、前記操作用の手の動きを認識して、表示装置の表示内容に対する操作指示を取得する指示取得部と、操作指示に応じて表示装置の表示内容を制御する表示制御部と、を備える表示制御装置、表示制御方法、情報表示システム、およびプログラムを提供する。 According to a first aspect of the present invention, there is provided a display control device for controlling display contents of a display device in accordance with a movement of a user's hand, from a detection sensor for detecting a position of the user's body in space. Based on the detection result, in response to recognizing that the user's hand is positioned in the direction of the user's face, the identifying unit that identifies the user's hand as the operation hand, and the operation A display control device, comprising: an instruction acquisition unit that recognizes a hand movement and acquires an operation instruction for display content of the display device; and a display control unit that controls display content of the display device according to the operation instruction, display control A method, an information display system, and a program are provided.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、本発明の実施の形態を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。 Embodiments of the present invention will be described below, but the following embodiments do not limit the invention according to the claims.
図１は、本実施形態に係る情報表示システム１０の構成例を使用者２０と共に示す。情報表示システム１０は、使用者の熟練度に応じて操作に用いる手指を判断し、当該使用者の操作指示等に応じた情報を表示する。本実施形態において、情報表示システム１０は、使用者２０の指示等に応じた情報を表示する例を説明する。
FIG. 1 shows a configuration example of an
使用者２０は、情報表示システム１０に手指等のジェスチャー等で指示を入力し、ゲーム、メールの送受信、Ｗｅｂの閲覧、ソーシャルネットワークへの参加、画像または動画の閲覧、および文書編集等、情報の表示およびアプリケーションの実行等を指示する。情報表示システム１０は、表示装置１００と、検出センサ装置２００と、表示制御装置３００とを備える。
The
表示装置１００は、表示領域１１０に、使用者２０の指示に応じた情報を表示する。表示装置１００は、当該情報と共に、使用者２０を表示してもよい。表示装置１００は、使用者が複数いる場合、表示領域１１０を複数に分割し、当該複数の使用者に対応する情報を対応する表示領域にそれぞれ表示してもよい。また、表示装置１００は、使用者２０のシルエットを表示してもよい。
The
表示装置１００は、二次元画像または三次元画像を表示する、液晶ディスプレイ、プラズマディスプレイまたは有機エレクトロルミネッセンスディスプレイ等の電子表示装置であってよい。図１に示す例における表示領域１１０には、第１使用者２０の指示に応じて、カーソル、情報１１６およびアイコン等が表示される。
The
カーソルは、使用者２０の操作用の手２２に対応して表示される。表示装置１００が使用者２０の情報と共に使用者２０の鏡像を表示する場合、カーソルは、使用者２０の操作用の手２２の鏡像でよい。また、カーソルは、矢印等の図形であってもよい。ここで、表示装置１００が使用者２０を表示しない場合、カーソルは、予め定められた形状のポインタ画像でよい。また、カーソルは、使用者２０の指示または予め定めた設定により、表示されなくてもよい。図１は、カーソル表示をオフにした例を示す。
The cursor is displayed corresponding to the
情報１１６は、例えば、ウィンドウ表示される文書、画像、動画、またはＷｅｂコンテンツである。これに代えて、情報１１６は、使用者２０が実行させたアプリケーションの実行画面であってもよい。
The
検出センサ装置２００は、使用者２０の身体の空間上の位置を検出する。検出センサ装置２００は、表示装置１００を使用する使用者が複数いる場合、当該複数の使用者を検出してよい。検出センサ装置２００は、使用者２０の身体の一部または全体の二次元および／または三次元空間上の位置を検出してよい。検出センサ装置２００は、例えば、光波測距センサおよび／またはビデオカメラ等の撮像部を有する。
The
光波測距センサは、光波測距を用いて距離データの画像を生成し、生成した距離データの画像から使用者を検出する。一例として、光波測距センサは、赤外線等の光を照射する投光器、集光レンズ等の光学系、および、複数の画素を含み、画素毎に使用者からの反射光の検出時間を測定する測距素子を有する。光波測距センサは、使用者に赤外線等を照射し、その反射光を光学系により測距素子の受光面上に結像させ、測距素子の各画素が測定した反射光の検出時間を画像内の各画素の輝度値等に対応付けすることで、使用者の光波測距センサからの距離情報を含む画像を取得する。 The light wave ranging sensor generates an image of distance data using the light wave ranging, and detects a user from the generated image of distance data. As an example, an optical distance measuring sensor includes a projector that irradiates light such as infrared rays, an optical system such as a condenser lens, and a plurality of pixels, and measures a detection time of reflected light from a user for each pixel. It has a distance element. The optical distance measuring sensor irradiates the user with infrared rays and the like, forms an image of the reflected light on the light receiving surface of the distance measuring element by an optical system, and displays the detection time of the reflected light measured by each pixel of the distance measuring element. An image including distance information from the user's light wave distance measuring sensor is acquired by associating it with the luminance value of each of the pixels.
このように、光波測距センサは、三次元空間上の位置情報と共に使用者の画像を取得するので、使用者と背景画像とを分離することができる。また、光波測距センサは、このような検出を連続して実行することで、使用者の体の動き等を検出することができる。また、光波測距センサは、使用者を体、頭、上腕、下腕、手指、上腿、および下腿等に分離して各部を検出し、各部毎の検出を連続することで使用者のジェスチャーを精度よく検出してよい。 As described above, the optical distance measuring sensor acquires the image of the user together with the position information in the three-dimensional space, so that the user and the background image can be separated. Further, the light wave ranging sensor can detect the movement of the user's body and the like by continuously executing such detection. In addition, the optical distance measuring sensor separates the user into the body, head, upper arm, lower arm, fingers, upper thigh, lower thigh, etc., and detects each part. May be detected with high accuracy.
撮像部は、使用者を撮像する。撮像部は、１又は複数のビデオカメラを有し、使用者２０を含む画像を取得して使用者２０を検出する。撮像部は、撮像した画像より、画像処理によって各使用者を検出してよい。例えば、撮像部は、使用者２０を時間的に連続して撮像した連続画像から、一つ前に撮像された画像との差分を算出した複数の差分画像を取得して、使用者２０の動き等を検出する。これに代えて、撮像部は、２以上の視点から使用者２０の画像を撮像して使用者２０の視差画像を取得し、当該視差画像の視差情報に基づいて、使用者２０の動き等を検出してもよい。
The imaging unit images the user. The imaging unit has one or a plurality of video cameras, acquires an image including the
ここで、検出センサ装置２００は、上記の光波測距センサおよび撮像部を有し、使用者２０の距離情報および動画像をそれぞれ検出し、使用者２０の動きの検出感度を向上させてよい。検出センサ装置２００は、使用者２０の検出結果を表示制御装置３００に供給する。
Here, the
表示制御装置３００は、使用者の手の動きに応じて表示装置１００の表示内容を制御する。即ち、表示制御装置３００は、検出センサ装置２００の検出結果を入力し、使用者２０の動きの検出結果から当該使用者２０の指示を特定し、当該指示に応じて表示装置１００の表示内容を制御する。表示制御装置３００は、指示取得部３１０と、特定部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０と、を有する。
The
指示取得部３１０は、使用者２０の操作用の手２２の動きを認識して、表示装置１００の表示内容に対する操作指示を取得する。指示取得部３１０は、検出センサ装置２００に接続され、検出センサ装置２００の検出結果に基づき、使用者２０の動きから使用者２０の指示を検出する。
The
例えば、指示取得部３１０は、表示装置１００の前で人が立ち止まったことに応じて、当該立ち止まった人を使用者２０として認識して使用者２０のジェスチャー入力の検出を開始する。また、指示取得部３１０は、使用者２０が表示装置１００の前から立ち去ったことに応じて、当該使用者２０のジェスチャー入力の検出を停止して使用者２０としての認識を解除してよい。指示取得部３１０は、使用者の人数の増減を検出してよい。
For example, in response to the person stopping in front of the
また、指示取得部３１０は、使用者２０の右手または左手を操作用の手２２とし、表示装置１００に表示された情報等への選択、選択解除、移動、および実行等の指示を検出してよい。また、指示取得部３１０は、表示装置１００が情報をＧＵＩによる操作入力を有するウィンドウ表示する場合に、当該操作入力に対応する使用者２０の手指等からの指示を検出してよい。
In addition, the
例えば、指示取得部３１０は、使用者２０が手のひらまたは指を表示装置１００の表示面に向けて押す動作を検出することで、情報の選択、ボタンの押し下げ、およびウィンドウの切り替え等の指示を検出する。また、使用者２０が手のひらまたは指を表示装置１００の表示面に向けて繰り返し押す動作を検出することで、アプリケーションの実行等の指示を検出してよい。
For example, the
また、使用者２０が画面上の情報を選択した後に、選択した手のひらまたは指を移動させる動作を検出することで、情報の画面上での移動、および移動先のアプリケーション実行等の指示を検出してよい。ここで、指示取得部３１０は、使用者２０が選択指示をし、かつ、選択指示をした手指の表示装置１００における表示位置に情報が表示されている場合、使用者２０の当該情報の選択を検出してよい。指示取得部３１０は、検出センサ装置２００が撮像部等を有し、撮像した画像を送信する場合は、使用者２０を撮像した画像を入力する画像入力部として機能してよい。
In addition, after the
特定部３２０は、使用者２０の身体の空間上の位置を検出する検出センサ装置２００からの検出結果に基づいて、使用者２０の顔の向きに使用者２０の手が位置したことを認識したことに応じて、当該使用者２０の手を操作用の手２２として特定する。図１において、使用者２０は、使用者２０の顔の向きに右手を移動させた例を示す。特定部３２０は、このような使用者２０の顔と右手の動作から、当該使用者２０の右手を操作用の手２２として特定する。
The
例えば、特定部３２０は、検出センサ装置２００からの検出結果に基づいて、使用者２０の顔の向きと顔の輪郭を特定する。一例として、特定部３２０は、使用者２０の顔の輪郭を通り、顔の向きに垂直な断面が当該輪郭とほぼ同じ形状の筒状の空間領域を、使用者の顔の向きに合わせて形成し、当該空間領域内に使用者２０の手が位置したことを認識したことに応じて、その手を操作用の手２２として特定する。ここで、特定部３２０が形成する筒状の空間領域を、図１において点線で示す。当該空間領域は、特定部３２０が仮想的に形成する領域であり、使用者２０の顔の向きの変化に応じて当該空間領域の位置も変化する。
For example, the specifying
これに代えて、特定部３２０は、検出センサ装置２００からの検出結果に基づいて、使用者２０の顔の向きを特定してもよい。一例として、特定部３２０は、使用者２０の顔に接する予め定められた形状および面積の平面を底面とし側面を顔の向きと平行にした、使用者２０の顔の位置から顔の向きの方向へ予め定められた長さの柱状の空間領域を仮想的に形成する。特定部３２０は、当該柱状の空間領域内に位置した使用者２０の手を操作用の手２２として特定してよい。ここで、予め定められた形状は、例えば、円形、楕円形、多角形等の形状である。
Instead of this, the specifying
人間の顔の輪郭の広さは個人間で大きな差異はないことから、このように、底面を予め定められた面積に固定することによって、使用者２０の輪郭を特定する必要が無くなるため、演算処理にかかる負荷を軽減できる。また、柱状の空間領域の長さを予め定められた長さにすれば、使用者２０と検出センサ装置２００との間に使用者２０以外の物が通過しても、柱状の空間領域を遮って通過する可能性は低くすることができ、誤認識を防止することができる。
Since the width of the contour of the human face is not greatly different among individuals, it is not necessary to specify the contour of the
特定部３２０は、使用者２０の顔の向きを特定する。この場合、特定部３２０は、画像処理等によって、使用者２０の頭部、顔の輪郭、鼻の位置、目の位置、および／または口の位置等を検出することによって、使用者２０の顔の向きを算出してよい。また、特定部３２０は、使用者２０の画像から視線の方向を検出してもよい。この場合、特定部３２０は、使用者２０の目の白目および黒目の画像から、黒目の向いている方向を検出して視線の方向を判断してよい。
The identifying
また、特定部３２０は、検出センサ装置２００からの検出結果に基づいて、使用者２０の操作モードを特定する。例えば、特定部３２０は、使用者２０の操作モードを、初心者用の操作モードまたは熟練者用の操作モードに特定する。本実施例において、初心者用の操作モードを第１の操作モードとし、熟練者用の操作モードを第２の操作モードとする。特定部３２０は、特定した使用者２０の操作用の手２２および使用者２０の操作モードの情報を、記憶部３３０に記憶する。
Further, the specifying
記憶部３３０は、使用者２０に対して表示すべき情報を記憶する。記憶部３３０は、文書、画像、動画、Ｗｅｂコンテンツ、ＵＲＬ、およびアプリケーション等の情報を記憶してよい。また、記憶部３３０は、使用者２０が複数の場合は、それぞれの使用者に対応する情報を、それぞれの使用者に対応づけて記憶してよい。
The
また、記憶部３３０は、使用者の動作パターンを記憶してもよい。この場合、指示取得部３１０は、記憶された動作パターンと検出された使用者の動作とを比較することで、使用者のジェスチャー入力による指示を検出することができる。また、記憶部３３０は、それぞれの使用者の画像情報を記憶してもよい。この場合、指示取得部３１０は、記憶された使用者と検出された使用者とを比較し、使用者がマッチングした場合に、当該使用者が過去に表示した情報を現在の表示領域１１０に表示させる指示を検出したと判断してよい。
The
実行部３４０は、指示取得部３１０が検出したアプリケーションの実行の指示に応じて、当該アプリケーションを実行する。実行部３４０は、予め記憶されたメール送受信、文書編集、画像表示、動画再生、Ｗｅｂブラウザ、および表示システム１０の設定等のアプリケーションプログラムを実行してよい。また、実行部３４０は、アプリケーションのインストールおよびアンインストール等を、指示に応じて実行してよい。
The
実行部３４０は、当該アプリケーションの実行画面を表示させるべく、実行画面の情報を当該使用者２０に対応づけて記憶部３３０に記憶してよい。また、実行部３４０は、当該アプリケーションの実行画面を表示領域１１０に表示させるべく、実行画面の情報を表示制御部３５０に供給してもよい。
The
表示制御部３５０は、使用者２０の操作指示に応じて表示装置１００の表示内容を制御する。表示制御部３５０は、記憶部３３０に記憶された使用者２０に対応付けられた情報を、表示領域１１０に表示してよい。また、表示制御部３５０は、記憶部３３０の記憶が更新される毎に、更新された情報を表示領域１１０に表示してよい。また、表示制御部３５０は、指示取得部３１０の検出した指示に応じた情報を表示してもよい。
The
表示制御部３５０は、使用者２０が表示指示した情報を、表示領域１１０にウィンドウ表示させてよい。また、表示制御部３５０は、使用者２０の指示に応じた情報を、使用者２０を撮像した画像と共に表示制御してもよい。これに代えて、表示制御部３５０は、指示に応じた情報を、使用者２０を撮像したシルエット画像と共に表示制御してもよい。
The
表示制御部３５０は、使用者２０の画像に重ねて、当該情報を表示制御してよい。これに代えて、表示制御部３５０は、当該情報に重ねて、当該使用者２０の画像を表示制御してよい。表示制御部３５０は、予め定められた表示優先順位に応じて、使用者２０の情報および使用者の画像を重ねて表示してよい。
The
図１の例において、表示制御部３５０は、使用者２０の指示に応じた情報１１６等を、対応する表示領域１１０にウィンドウ表示する。また、表示制御部３５０は、使用者２０の操作用の手２２に対応づけられたカーソル、アプリケーションのアイコン、および使用者２０の画像等を、表示領域１１０に表示する。
In the example of FIG. 1, the
カーソル制御部３６０は、使用者２０の操作指示に応じて、表示装置１００に表示された操作対象を選択するカーソルを表示させる。即ち、カーソル制御部３６０は、使用者２０の操作用の手２２の移動等を検出した検出結果を指示取得部３１０から受け取り、当該操作用の手２２の移動に対応して、カーソルを表示および移動させる指示を表示制御部３５０に供給する。
The
カーソル制御部３６０は、使用者２０の顔または目が向いている方向に操作用の手２２がある場合には、使用者の顔または目と手の延長上にカーソルを表示してよい。この場合、カーソル制御部３６０は、指示取得部３１０から操作用の手２２の中心位置の座標および使用者２０の顔または目の座標等を含む操作指示を取得し、使用者２０の操作用の手２２の動きに応じてカーソルを表示装置１００の表示領域１１０内で動かしてよい。
When the
また、カーソル制御部は、使用者２０の顔が向いている方向に操作用の手２２がない場合には、使用者２０の手の移動に応じてカーソルを表示制御してよい。この場合、カーソル制御部３６０は、指示取得部３１０から操作用の手２２の中心位置の座標を含む操作指示を取得し、使用者２０の操作用の手２２の動きに応じてカーソルを表示装置１００の表示領域１１０内で動かしてよい。カーソル制御部３６０は、カーソルの表示領域１１０内の座標情報を表示制御部３５０に供給してよい。
The cursor control unit may control the display of the cursor according to the movement of the hand of the
以上の表示装置１００は、表示制御装置３００の表示制御に応じた表示内容を表示する。また、情報表示システム１０は、使用者２０を検出し、検出した使用者２０のジェスチャー入力に応じた情報を表示領域１１０に表示する。情報表示システム１０は、使用者２０の操作用の手２２を、使用者２０のジェスチャー入力によって特定しつつ、使用者２０の入力モードを特定する。
The
図２は、本実施形態に係る情報表示システム１０の変形例を使用者２０と共に示す。本変形例の情報表示システム１０において、図１に示された本実施形態に係る情報表示システム１０の動作と略同一のものには同一の符号を付け、説明を省略する。本変形例の情報表示システム１０の表示装置１００は、特定領域１２０を有する。
FIG. 2 shows a modification of the
特定領域１２０は、使用者２０による操作用の手指の指示を検出する検出部の一部である。特定領域１２０は、表示領域１１０内に表示されてよく、これに代えて、表示領域１１０外に設けられてよい。特定領域１２０は、表示装置１００に、複数設けられてよい。本例において、特定領域１２０は、表示領域１１０内の使用者２０から見て右上部および左上部に表示される例を説明する。特定領域１２０は、予め定められた色、模様、形状等で表示されてよい。
The
特定領域１２０は、表示装置１００の動作中において常に表示されなくてよく、この場合、使用者２０のカーソル等が当該特定領域１２０近辺に移動した場合に表示されることが望ましい。これに代えて、特定領域１２０は、表示装置１００の動作中において表示されてよく、この場合、使用者２０のカーソル等が当該特定領域１２０近辺に移動した場合に、異なる色、異なる線幅、異なる形状、または点滅等で表示されてよい。
The
本変形例の特定部３２０は、使用者２０の身体の空間上の位置を検出する検出センサ装置２００からの検出結果に基づいて、使用者２０の顔の位置と表示装置１００の特定領域１２０との間に使用者２０の手が位置したことを認識したことに応じて、当該使用者２０の手を操作用の手２２として特定する。特定部３２０は、このような使用者２０の顔と右手の動作から、当該使用者２０の右手を操作用の手２２として特定する。
Based on the detection result from the
ここで、特定部３２０は、使用者２０の顔が特定領域１２０に向き、かつ、使用者２０の顔と表示装置１００の特定領域１２０との間に使用者２０の手が位置したことを認識したことに応じて、当該使用者２０の手を操作用の手として特定してもよい。即ち、本変形例の情報表示システム１０は、特定領域１２０を有し、使用者２０の顔の向きに使用者の手が位置したことを認識したことに応じて、当該使用者２０の操作用の手を特定する。図２は、使用者２０の目と特定領域１２０との間の空間の中に右手を移動させた例を示す。
Here, the specifying
図３は、本実施形態に係る情報表示システム１０の動作フローを示す。情報表示システム１０は、Ｓ２００からＳ２７０までの処理により、使用者２０の指示に応じた情報を表示装置１００に表示する。
FIG. 3 shows an operation flow of the
表示制御装置３００は、まず、初期設定として、使用者２０の操作モードを第２の操作モードに設定する（Ｓ２００）。ここで表示制御装置３００は、使用者２０の操作モードを記憶部３３０に記憶してよい。次に、情報表示システム１０は、表示装置１００の前の使用者２０を検出する（Ｓ２１０）。
First, the
例えば、指示取得部３１０は、検出センサ装置２００の検出結果に基づき、人が表示装置１００の前に立ったことに応じて、当該人を使用者２０として検出する。指示取得部３１０は、１以上の使用者２０が検出されるまで使用者２０の検出を繰り返す。
For example, the
次に、指示取得部３１０は、使用者２０の表示装置１００に対する情報表示の指示を検出する（Ｓ２２０）。使用者２０は、情報表示の指示を手指等を用いたジェスチャーによって入力してよい。
Next, the
例えば、指示取得部３１０は、使用者２０の操作用の手２２が特定されている場合、使用者２０の画像の操作用の手２２に対応する領域の変化を、予め記憶した多数の手の立体パターンの変化、輪郭パターンの変化またはシルエットパターンの変化等とそれぞれ対比する。これにより、指示取得部３１０は、使用者の操作用の手２２のジェスチャー等の動きを検出して、当該ジェスチャー等の動きから操作指示を取得してよい。
For example, when the user's 20 operating
また、指示取得部３１０は、カーソルがアイコンと重なった状態で、使用者２０が操作用の手で予め定められたジェスチャー等をしたことを認識した場合、当該アイコンに対応するアプリケーションに関連する操作指示を検出してよい。この場合、指示取得部３１０は、アプリケーションの実行を検出してよく、また、使用者２０がファイル等の情報を選択したままアプリケーションの操作指示を出した場合は、当該ファイルを当該アプリケーションに入力させて実行してよい。
In addition, when the
ここで、予め定められたジェスチャーは、開いた手を握った状態にすること、握った手を開くこと、手を左右方向に振ること、手を上下方向に動かすこと、手でボタンを押す動作をすること、手でクリックまたはダブルクリックする動作をすること、手で円を描く動作をすること、手を一定時間静止させること、一部または全ての指を動かすこと、その他の手の運動またはこれらの組み合わせであってよい。 Here, the predetermined gestures are to hold the open hand, open the gripped hand, shake the hand left and right, move the hand up and down, and press the button with the hand Doing a hand-clicking or double-clicking action, drawing a circle with the hand, keeping the hand stationary for a certain period of time, moving some or all fingers, other hand movements or A combination of these may be used.
ここで、アプリケーションに関連する指示は、当該アプリケーションの実行、削除、またはプロパティの表示等であってよい。指示取得部３１０は、カーソルがアイコンと重なった状態で、操作用の手２２がボタンを押す動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの実行指示を検出してよい。
Here, the instruction related to the application may be execution of the application, deletion, display of properties, or the like. If the
また、指示取得部３１０は、カーソルがアイコンと重なった状態で、操作用の手２２が円を描く動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの終了指示を検出してよい。また、指示取得部３１０は、カーソルがアイコンと重なった状態で、操作用の手２２を開いた状態から握った状態にさせ、更に当該操作用の手２２を握った状態のまま移動させたことを検出した場合、操作用の手２２の位置と連動させて当該アイコンをドラッグする指示を検出してよい。
In addition, when the
また、指示取得部３１０は、当該操作用の手２２が握った状態から開いた状態になったこと検出した場合、当該アイコンを操作用の手２２の位置でドロップする指示を検出してよい。指示取得部３１０は、使用者が複数の場合、使用者毎に、検出した指示に応じて、当該指示を特定部３２０、実行部３４０、表示制御部３５０、またはカーソル制御部３６０に供給する。
Further, the
指示取得部３１０は、使用者２０の操作用の手２２が特定されていない場合において、使用者２０の顔の向きに使用者２０のいずれか一方の手が位置したことに応じて、使用者２０が操作用の手を指示する操作特定指示を検出してよい。これに代えて、指示取得部３１０は、使用者２０の顔が特定領域１２０に向き、かつ、使用者２０の顔と特定領域１２０との間の空間内に使用者２０のいずれか一方の手が位置したことに応じて、当該操作特定指示を検出してもよい。
The
また、指示取得部３１０は、使用者２０の操作用の手２２が特定されている場合において、使用者２０の顔の向きに使用者２０の操作用の手２２が位置したことに応じて、操作特定指示を検出してよい。これに代えて、指示取得部３１０は、使用者２０の顔が特定領域１２０に向き、かつ、使用者２０の顔と特定領域１２０との間に使用者２０の操作用の手２２が位置したことに応じて、当該操作特定指示を検出してよい。
In addition, when the user's 20
また、指示取得部３１０は、使用者２０の操作用の手２２が特定されている場合において、使用者２０の顔の向きに使用者２０の操作用の手２２とは反対側の手が位置したことに応じて、操作特定指示を検出してよい。これに代えて、指示取得部３１０は、使用者２０の顔が特定領域１２０に向き、かつ、使用者２０の顔と特定領域１２０との間の空間内に使用者２０の操作用の手２２とは反対側の手が位置したことに応じて、当該操作特定指示を検出してよい。
In addition, when the user's 20
指示取得部３１０は、操作特定指示を検出した場合、当該指示を特定部３２０に供給する（Ｓ２３０）。特定部３２０は、使用者２０の顔の向きに位置した使用者２０の手を、当該使用者２０の操作用の手２２として特定する（Ｓ２４０）。
When the operation acquisition instruction is detected, the
ここで、特定部３２０は、使用者２０の操作用の手２２が特定されている場合においても、使用者２０の顔の向きに位置した使用者２０の手を、当該使用者２０の操作用の手２２として特定する。これによって、特定部３２０は、使用者２０に、特定された一方の操作用の手２２から特定されていない他方の手へと操作用の手２２を変更させることができる。また、これによって、特定部３２０は、後述するように、使用者２０に、操作モードを変更させることができる。
Here, even when the
次に、特定部３２０は、使用者２０の操作モードが第２の操作モードであるか否かを確認する（Ｓ２４２）。特定部３２０は、当該操作モードが記憶部３３０に記憶されている場合は、記憶部３３０から当該情報を得る。
Next, the specifying
特定部３２０は、使用者２０の操作モードが第２の操作モードの場合、当該操作モードを第１の操作モードに設定する（Ｓ２５０）。即ち、特定部３２０は、初期設定の状態から使用者２０が操作用の手２２を情報表示システム１０に入力させると、当該使用者２０の操作モードを初心者用のモードにする。また、特定部３２０は、使用者２０が操作モードを熟練者用のモードから初心者用のモードに変更したい場合、使用者２０が特定されている操作用の手２２を用いて操作特定指示を出すことで、当該使用者２０の操作モードを初心者用のモードに変更させる。
When the operation mode of the
ここで、特定部３２０は、熟練者モードの使用者２０が操作用の手２２を変更させたい場合に、使用者２０が特定されている操作用の手２２とは反対側の手を用いて操作特定指示を出すと、操作用の手２２を変更すると共に当該使用者２０の操作モードを初心者用のモードに変更させる。このような場合、特定部３２０は、使用者２０が操作特定指示を出して変更させた操作用の手２２を用いて再び操作特定指示を出すことで、操作モードを熟練者モードに戻すことができる。
Here, when the
特定部３２０は、使用者２０の操作モードが第１の操作モードの場合、当該操作モードを第２の操作モードに設定する（Ｓ２６０）。即ち、特定部３２０は、使用者２０が操作モードを初心者用のモードから熟練者用のモードに変更したい場合、使用者２０が特定されている操作用の手２２を用いて操作特定指示を出すことで、当該使用者２０の操作モードを熟練者用のモードに変更させる。
When the operation mode of the
ここで、特定部３２０は、初心者用のモードの使用者２０が操作用の手２２を変更させたい場合に、使用者２０が特定されている操作用の手２２とは反対側の手を用いて操作特定指示を出すと、操作用の手２２を変更すると共に当該使用者２０の操作モードを熟練者用のモードに変更させる。このような場合、特定部３２０は、使用者２０が操作特定指示を出して変更させた操作用の手２２を用いて再び操作特定指示を出すことで、操作モードを初心者用のモードに戻すことができる。
Here, when the
以上のように、特定部３２０は、使用者２０の操作特定指示に応じて、当該使用者２０の操作用の手２２および操作モードを特定する。表示制御装置３００は、特定部３２０の特定の後に、Ｓ２１０に戻り、使用者の検出と、使用者の指示の検出を実行する。
As described above, the specifying
指示取得部３１０は、使用者２０の指示が操作特定指示以外の場合、使用者２０の指示に応じて当該指示を実行部３４０、表示制御部３５０、またはカーソル制御部３６０に供給して対応する情報を表示装置１００に表示する（Ｓ２７０）。即ち、表示制御部３５０は、使用者２０の指示に応じた情報を、表示領域１１０に表示する。
When the instruction of the
例えば、表示制御部３５０は、指示取得部３１０から供給された指示に基づき、表示装置１００に情報を表示する。例えば、検出センサ装置２００が撮像した使用者の画像を表示する場合、当該画像を指示取得部３１０から受け取り、表示領域１１０に表示する。また、表示制御部３５０は、使用者の情報を移動させる指示を指示取得部３１０から受け取ったことに応じて、当該情報を移動させてよく、また、記憶部３３０が表示位置を記憶している場合は記憶部３３０の情報を更新してよい。
For example, the
また、表示制御部３５０は、実行部３４０からの実行画面の情報を受け取った場合、表示領域１１０に当該実行画面を表示する。また、表示制御部３５０は、カーソル制御部３６０からのカーソル表示の情報を受け取った場合、表示領域１１０に当該カーソルを表示する。また、表示制御部３５０は、記憶部３３０に記憶された情報に応じて、表示装置１００に当該情報を表示する。
In addition, when the
ここで、例えば、表示制御部３５０は、第１の操作モードにおいて、使用者２０の操作指示に応じて、表示装置１００に表示された操作対象を選択するためのカーソルを表示させる。また、表示制御部３５０は、第１の操作モードにおいて、検出センサ装置２００からの情報に基づいて使用者２０の操作用の手２２の位置に対応する画面上の位置を示すシルエット画像を、表示装置１００に表示させてもよい。
Here, for example, in the first operation mode, the
このように、表示制御部３５０は、使用者２０の操作モードが初心者モードの場合に、カーソルまたはシルエット画像等の使用者２０のジェスチャー入力を補助する情報を表示する。この場合、表示制御部３５０は、操作説明を記述した文書等をウィンドウ表示させたヘルプウィンドウを、表示領域１１０の情報が表示されていない領域等に表示してもよい。
As described above, the
また、表示制御部３５０は、第２の操作モードにおいては、カーソルを表示しなくてもよい。表示制御部３５０は、使用者２０が熟練者の場合、ジェスチャー入力を補助する情報等を表示しないので、使用者２０は、直感的な操作で速やかに情報を表示させることができる。
In addition, the
ここで、カーソル制御部３６０は、使用者２０の顔が向いている方向に操作用の手２２がない場合には、カーソルを表示させなくてもよい。例えば、使用者２０が熟練者の場合、手の動き等は手元で速やかに実行する場合があるので、カーソル制御部３６０は、このような手元で操作している使用者２０に対して熟練した操作入力をしているとして、カーソルを表示させない。このように、カーソル制御部３６０が使用者２０の操作入力に応じて、カーソルの表示を制御することで、使用者２０の習熟度に応じた情報を表示させることができる。
Here, the
情報表示システム１０は、Ｓ２１０に戻り、使用者２０の検出と、使用者２０の指示の検出と、使用者２０の指示に応じた情報の表示とを繰り返す。以上の本実施例に係る情報表示システム１０は、使用者２０の指示を検出し、当該指示に応じて操作用の手２２の特定、操作モードの特定、および情報の表示を実行する。
The
ここで、情報表示システム１０は、使用者２０が表示させていた情報、特定した操作用の手２２の情報、複数回利用した情報またはアプリケーション等の情報、および予め使用者２０が登録した情報等を、使用者２０と対応づけて使用者２０の画像と共に記憶部３３０に記憶させてよい。また、この場合、指示取得部３１０は、使用者２０を検出する場合に画像比較等の処理を実行して、記憶された使用者候補画像と検出された使用者画像が同一であるか否かを検出してよい。
Here, the
指示取得部３１０は、記憶された使用者候補画像と検出された使用者画像が同一の場合、記憶された使用者２０の操作特定指示があったものとして当該指示を特定部３２０に供給する。特定部３２０は、記憶された使用者２０を認識したことに応じて記憶された操作用の手２２を設定してよい。また、表示制御部３５０は、記憶された使用者２０に対応する情報、アプリケーション等を表示してよい。これによって、情報表示システム１０は、予め登録された使用者２０が表示装置１００の前に立つことで、当該登録された使用者２０に対応する情報を表示することができる。
If the stored user candidate image and the detected user image are the same, the
例えば、情報表示システム１０は、使用者２０が表示装置１００の前に立つと、使用者２０の登録したＵＲＬのウェブサイトを表示するウィンドウを表示領域１１０に表示しつつ、使用者２０に熟練者モードで速やかな入力を開始させることができる。また、記憶された使用者が初心者の場合または初心者モードで入力したい場合は、情報表示システム１０の動作開始と同様に操作特定指示を出すことで、初心者モードに切り替えることができる。
For example, when the
図４は、本実施形態に係る表示制御装置３００として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び、表示装置１００として機能しうる表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。
FIG. 4 shows an example of a hardware configuration of a
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部を制御する。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイス２０３０は、実行部３４０の指示によって外部のネットワークと通信するハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
The input /
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
The input /
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
A program provided to the
コンピュータ１９００にインストールされ、コンピュータ１９００を表示制御装置３００として機能させるプログラムは、指示取得モジュールと、特定モジュールと、記憶モジュールと、実行モジュールと、表示制御モジュールと、カーソル制御モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、指示取得部３１０と、特定部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０としてそれぞれ機能させてよい。
A program that is installed in the
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である指示取得部３１０と、特定部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示制御装置３００が構築される。
Information processing described in these programs is read into the
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
As an example, when communication is performed between the
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
The
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
In addition, the
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、予め定められた条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
Further, the
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
The program or module shown above may be stored in an external recording medium. As the recording medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０ 表示システム、２０ 使用者、２２ 操作用の手、１００ 表示装置、１１０ 表示領域、１１６ 情報、１２０ 特定領域、２００ 検出センサ装置、３００ 表示制御装置、３１０ 指示取得部、３２０ 特定部、３３０ 記憶部、３４０ 実行部、３５０ 表示制御部、３６０ カーソル制御部、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ
DESCRIPTION OF
Claims (11)
当該使用者の身体の空間上の位置を検出する検出センサからの検出結果に基づいて、当該使用者の顔の向きに当該使用者の手が位置したことを認識したことに応じて、当該使用者の手を操作用の手として特定する特定部と、
前記操作用の手の動きを認識して、前記表示装置の表示内容に対する操作指示を取得する指示取得部と、
前記操作指示に応じて前記表示装置の表示内容を制御する表示制御部と、
を備える表示制御装置。 A display control device that controls the display content of the display device according to the movement of the user's hand,
Based on the detection result from the detection sensor that detects the position of the user's body in space, the use is performed in accordance with the recognition that the user's hand is positioned in the direction of the user's face. A specific part that identifies a person's hand as an operation hand,
An instruction acquisition unit that recognizes the movement of the hand for operation and acquires an operation instruction for the display content of the display device;
A display control unit for controlling display contents of the display device in response to the operation instructions;
A display control device.
前記センサからの検出結果に基づいて、当該使用者を認識したことに応じて第１の操作モードに特定し、
当該使用者の顔の向きに当該使用者の手が位置したことを認識したことに応じて第２の操作モードに特定する請求項１または２に記載の表示制御装置。 The specific part is:
Based on the detection result from the sensor, the first operation mode is specified according to the recognition of the user,
The display control apparatus according to claim 1 or 2, wherein the second operation mode is specified in response to recognizing that the user's hand is positioned in the direction of the user's face.
前記検出センサの検出結果が入力される請求項１から８のいずれか一項に記載の表示制御装置と、
前記表示制御装置の制御に応じた表示内容を表示する表示装置と、
を備える情報表示システム。 A detection sensor for detecting a position in space of the user's body;
The display control apparatus according to any one of claims 1 to 8, wherein a detection result of the detection sensor is input;
A display device for displaying display contents according to the control of the display control device;
An information display system comprising:
当該使用者を撮像した画像を入力する画像入力段階と、
入力した画像中において、当該使用者の顔の向きに当該使用者の手が位置したことを認識したことに応じて、当該使用者の手を操作用の手として特定する特定段階と、
前記操作用の手の動きを認識して、前記表示装置の表示内容に対する操作指示を取得する指示取得段階と、
前記操作指示に応じて前記表示装置の表示内容を制御する表示制御段階と、
を備える表示制御方法。 A display control method for controlling display content of a display device in accordance with movement of a user's hand,
An image input stage for inputting an image of the user;
In the input image, in response to recognizing that the user's hand is positioned in the direction of the user's face, a specific stage for identifying the user's hand as an operation hand;
An instruction acquisition step of recognizing the movement of the operating hand and acquiring an operation instruction for the display content of the display device;
A display control stage for controlling display contents of the display device in response to the operation instructions;
A display control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012112816A JP5735453B2 (en) | 2012-05-16 | 2012-05-16 | Display control apparatus, display control method, information display system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012112816A JP5735453B2 (en) | 2012-05-16 | 2012-05-16 | Display control apparatus, display control method, information display system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013239089A true JP2013239089A (en) | 2013-11-28 |
| JP5735453B2 JP5735453B2 (en) | 2015-06-17 |
Family
ID=49764051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012112816A Active JP5735453B2 (en) | 2012-05-16 | 2012-05-16 | Display control apparatus, display control method, information display system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5735453B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10452206B2 (en) | 2014-12-08 | 2019-10-22 | Maxell, Ltd. | Projection video display device and video display method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005196530A (en) * | 2004-01-08 | 2005-07-21 | Alpine Electronics Inc | Space input device and space input method |
| JP2006155244A (en) * | 2004-11-29 | 2006-06-15 | Olympus Corp | Information display device |
| JP2006277666A (en) * | 2005-03-30 | 2006-10-12 | Nhk Engineering Services Inc | Display screen position analysis device and program |
| JP2009037434A (en) * | 2007-08-02 | 2009-02-19 | Tokyo Metropolitan Univ | Control equipment operation gesture recognition device; control equipment operation gesture recognition system, and control equipment operation gesture recognition program |
| JP2009087026A (en) * | 2007-09-28 | 2009-04-23 | Panasonic Corp | Video display device |
| JP2011175617A (en) * | 2010-01-29 | 2011-09-08 | Shimane Prefecture | Image recognition apparatus, operation determination method, and program |
| JP2012014394A (en) * | 2010-06-30 | 2012-01-19 | Nippon Hoso Kyokai <Nhk> | User instruction acquisition device, user instruction acquisition program and television receiver |
| WO2012053033A1 (en) * | 2010-10-20 | 2012-04-26 | 三菱電機株式会社 | Three-dimensional display device |
-
2012
- 2012-05-16 JP JP2012112816A patent/JP5735453B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005196530A (en) * | 2004-01-08 | 2005-07-21 | Alpine Electronics Inc | Space input device and space input method |
| JP2006155244A (en) * | 2004-11-29 | 2006-06-15 | Olympus Corp | Information display device |
| JP2006277666A (en) * | 2005-03-30 | 2006-10-12 | Nhk Engineering Services Inc | Display screen position analysis device and program |
| JP2009037434A (en) * | 2007-08-02 | 2009-02-19 | Tokyo Metropolitan Univ | Control equipment operation gesture recognition device; control equipment operation gesture recognition system, and control equipment operation gesture recognition program |
| JP2009087026A (en) * | 2007-09-28 | 2009-04-23 | Panasonic Corp | Video display device |
| JP2011175617A (en) * | 2010-01-29 | 2011-09-08 | Shimane Prefecture | Image recognition apparatus, operation determination method, and program |
| JP2012014394A (en) * | 2010-06-30 | 2012-01-19 | Nippon Hoso Kyokai <Nhk> | User instruction acquisition device, user instruction acquisition program and television receiver |
| WO2012053033A1 (en) * | 2010-10-20 | 2012-04-26 | 三菱電機株式会社 | Three-dimensional display device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10452206B2 (en) | 2014-12-08 | 2019-10-22 | Maxell, Ltd. | Projection video display device and video display method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5735453B2 (en) | 2015-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11650659B2 (en) | User input processing with eye tracking | |
| US10761610B2 (en) | Vehicle systems and methods for interaction detection | |
| US9746934B2 (en) | Navigation approaches for multi-dimensional input | |
| US10001838B2 (en) | Feature tracking for device input | |
| US9207852B1 (en) | Input mechanisms for electronic devices | |
| US9594431B2 (en) | Qualified command | |
| US8947351B1 (en) | Point of view determinations for finger tracking | |
| US10234955B2 (en) | Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program | |
| US10477090B2 (en) | Wearable device, control method and non-transitory storage medium | |
| CN105068646B (en) | The control method and system of terminal | |
| US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
| JP2015153195A (en) | Gesture recognition device and control method therefor | |
| JP6344530B2 (en) | Input device, input method, and program | |
| US20150227789A1 (en) | Information processing apparatus, information processing method, and program | |
| KR101631011B1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
| JP2012185630A (en) | Projection device | |
| JP5817149B2 (en) | Projection device | |
| JPWO2017029749A1 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| US20170344104A1 (en) | Object tracking for device input | |
| US20150153834A1 (en) | Motion input apparatus and motion input method | |
| JP2016099643A (en) | Image processing device, image processing method, and image processing program | |
| JP5735453B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP5456840B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP5499106B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP5456817B2 (en) | Display control apparatus, display control method, information display system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140317 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140919 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5735453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |