JP2023010138A - Input device, input method, and input program - Google Patents
Input device, input method, and input program Download PDFInfo
- Publication number
- JP2023010138A JP2023010138A JP2021114051A JP2021114051A JP2023010138A JP 2023010138 A JP2023010138 A JP 2023010138A JP 2021114051 A JP2021114051 A JP 2021114051A JP 2021114051 A JP2021114051 A JP 2021114051A JP 2023010138 A JP2023010138 A JP 2023010138A
- Authority
- JP
- Japan
- Prior art keywords
- input
- user
- processing unit
- hand
- reference point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 238000012545 processing Methods 0.000 claims abstract description 210
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 210000004932 little finger Anatomy 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 15
- 210000003813 thumb Anatomy 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Abstract
Description
特許法第３０条第２項適用申請有り １．リテールテック ＪＡＰＡＮ ２０２１ 令和３年３月９日発表 ２．シャープドキュメントサークル 令和３年４月２２日発表There is an application for the application of Article 30,
本発明は、ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置、入力方法、及び入力プログラムに関する。 The present invention relates to an input device, an input method, and an input program for detecting a gesture operation by a user's hand and performing input processing on an input position on a display screen.
従来、表示パネルの表示画面に対してジェスチャー操作による入力（画面操作）を行なうことが可能な入力装置が知られている。例えば、特許文献１には、仮想空間内のユーザーの手を撮像した画像から手の形状、動き、及び位置の少なくともいずれかを把握して、入力情報を判定する装置が開示されている。
2. Description of the Related Art Conventionally, there is known an input device capable of performing input (screen operation) by gesture operation on a display screen of a display panel. For example,
ここで、前記入力装置は、例えばユーザーの手によるジェスチャー操作により指示された表示画面上の位置（入力位置）を、手の位置に基づいて特定する。例えば、前記入力装置は、ユーザーの指の関節の位置や、ジェスチャー操作時の手を投影した全体領域の中心（重心）位置などを入力位置として特定する。しかし、この方法では、例えばユーザーが手を開く操作（第１ジェスチャー操作）から手を閉じる（握る）操作（第２ジェスチャー操作）に変化させた場合に前記入力位置がユーザーの意図しない方向に変化する問題が生じる。 Here, the input device specifies, for example, a position (input position) on the display screen indicated by gesture operation by the user's hand, based on the position of the hand. For example, the input device specifies, as input positions, the position of the user's finger joints, the center (center of gravity) position of the entire area where the hand is projected during the gesture operation, and the like. However, in this method, for example, when the user changes from opening the hand (first gesture operation) to closing (holding) the hand (second gesture operation), the input position changes in a direction not intended by the user. problem arises.
本発明の目的は、ユーザーのジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置においてユーザーのジェスチャー操作の変化によって入力位置がユーザーの意図しない方向に変化することを防止することが可能な入力装置、入力方法、及び入力プログラムを提供することにある。 An object of the present invention is to prevent the input position from changing in an unintended direction due to changes in the user's gesture operation in an input device that detects a user's gesture operation and performs input processing on the input position on the display screen. To provide an input device, an input method, and an input program capable of
本発明の一の態様に係る入力装置は、ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置であって、前記ユーザーを撮像した撮像画像を取得する取得処理部と、前記取得処理部により取得される前記撮像画像から前記ユーザーの手を検出する検出処理部と、前記検出処理部により検出される前記ユーザーの手の形状を判定する判定処理部と、前記検出処理部により検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する基準点設定処理部と、前記検出処理部により検出される前記ユーザーの手の形状が所定の形状である場合に、前記基準点設定処理部により設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力処理部と、を備える装置である。 An input device according to one aspect of the present invention is an input device that detects a gesture operation by a user's hand and performs input processing at an input position on a display screen, and acquires a captured image of the user. an acquisition processing unit, a detection processing unit that detects the user's hand from the captured image acquired by the acquisition processing unit, and a determination processing unit that determines the shape of the user's hand detected by the detection processing unit; a reference point setting processing unit for setting a reference point at a predetermined position on the lower side of the specific area surrounding the user's hand detected by the detection processing unit; and a shape of the user's hand detected by the detection processing unit. and an input processing unit that executes the input processing for the input position corresponding to the reference point set by the reference point setting processing unit when the object has a predetermined shape.
本発明の他の態様に係る入力方法は、ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力方法であって、一又は複数のプロセッサーが、前記ユーザーを撮像した撮像画像を取得する取得ステップと、前記取得ステップにより取得される前記撮像画像から前記ユーザーの手を検出する検出ステップと、前記検出ステップにおいて検出される前記ユーザーの手の形状を判定する判定ステップと、前記検出ステップにおいてより検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する設定ステップと、前記検出ステップにより検出される前記ユーザーの手の形状が所定の形状である場合に、前記設定ステップにより設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力ステップと、を実行する方法である。 An input method according to another aspect of the present invention is an input method that detects a gesture operation by a user's hand and performs input processing on an input position on a display screen, wherein one or more processors input the user's an acquisition step of acquiring an imaged captured image; a detection step of detecting the user's hand from the captured image acquired by the acquisition step; and a determination of determining the shape of the user's hand detected in the detection step. a setting step of setting a reference point at a predetermined position on the lower side of the specific area surrounding the user's hand detected in the detection step; an input step of executing the input process with respect to the input position corresponding to the reference point set by the setting step, if the shape is a shape.
本発明の他の態様に係る入力プログラムは、前記ユーザーを撮像した撮像画像を取得する取得ステップと、前記取得ステップにより取得される前記撮像画像から前記ユーザーの手を検出する検出ステップと、前記検出ステップにおいて検出される前記ユーザーの手の形状を判定する判定ステップと、前記検出ステップにおいてより検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する設定ステップと、前記検出ステップにより検出される前記ユーザーの手の形状が所定の形状である場合に、前記設定ステップにより設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力ステップと、を一又は複数のプロセッサーに実行させるためのプログラムである。 An input program according to another aspect of the present invention includes an acquisition step of acquiring a captured image of the user; a detection step of detecting the user's hand from the captured image acquired by the acquisition step; a determining step of determining the shape of the user's hand detected in the step; a setting step of setting a reference point at a predetermined position on the lower side of the specific area surrounding the user's hand detected in the detecting step; an input step of performing the input process on the input position corresponding to the reference point set by the setting step when the shape of the user's hand detected by the detection step is a predetermined shape; is executed by one or more processors.
本発明によれば、ユーザーのジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置においてユーザーのジェスチャー操作の変化によって入力位置がユーザーの意図しない方向に変化することを防止することが可能な入力装置、入力方法、及び入力プログラムを提供することができる。 According to the present invention, in an input device that detects a user's gesture operation and performs input processing on the input position on the display screen, it is possible to prevent the input position from changing in a direction not intended by the user due to a change in the user's gesture operation. It is possible to provide an input device, an input method, and an input program that can
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the following embodiment is an example that embodies the present invention, and does not have the character of limiting the technical scope of the present invention.
図１に示すように、本発明の実施形態に係る表示装置１は、制御部１１と、記憶部１２と、表示パネル１３と、操作部１４と、カメラ１５とを備えている。図２には、表示装置１の模式図を示している。カメラ１５は、表示パネル１３の上部に設置され、表示パネル１３の前方の所定エリアを撮像する。表示装置１は、本発明の入力装置の一例である。本発明の入力装置は、表示装置に限定されず、表示パネル１３及びカメラ１５とデータ通信可能なサーバーなどの情報処理装置であってもよい。
As shown in FIG. 1 , the
表示装置１は、表示画面１３Ａに対するユーザーの非接触による入力操作を受け付ける。例えば、表示装置１は、カメラ１５の前方においてユーザーのジェスチャーによる入力操作（ジェスチャー操作）を検出すると、表示画面１３Ａに対するユーザーの前記入力操作に応じた入力処理を実行する。例えば、ユーザーがカメラ１５の前方で手を閉じる操作（グーの状態）をした場合に、表示装置１は、表示画面１３Ａ上のマウスカーソルＭ１の位置においてタッチ入力を受け付ける。以下、表示装置１の具体的構成について説明する。
The
カメラ１５は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ１５は、所定のフレームレートで画像を撮像し、デジタル画像データを制御部１１に順次出力する。カメラ１５は、１台であってもよいし複数台であってもよい。具体的には、カメラ１５は、表示パネル１３の上部に設置され、表示パネル１３の前方の所定エリアを撮像する。
The
表示パネル１３は、表示画面１３Ａに画像を表示するディスプレイであり、例えば液晶ディスプレイである。操作部１４は、マウス、キーボードなどの操作機器である。なお、操作部１４は、タッチパネルで構成されてもよい。
The
表示パネル１３は、制御部１１の指示に従って各種の画像を表示する。例えば図２に示すように、表示パネル１３は、ユーザーの手に追従して移動するマウスカーソルＭ１（本発明の入力操作用アイコンの一例）、ユーザーの手による所定のジェスチャー操作に応じてタッチ入力を受け付ける操作ボタン（ここでは「Ｙｅｓ」ボタン、「Ｎｏ」ボタン）、カメラ１５が撮像した撮像画像Ｗｐ（ワイプ画面）などを表示する。図３には、撮像画像Ｗｐの拡大図を示している。詳細は後述するが、撮像画像Ｗｐには、ユーザーの手を囲む矩形領域Ａ１（本発明の特定領域の一例）の外枠を表す枠画像と、表示画面１３Ａにおける入力可能な入力可能領域Ｆ１（図２参照）に対応する操作領域Ａ１１の外枠を表す枠画像とが表示される。ユーザーは、表示画面１３Ａに重ねて表示される撮像画像Ｗｐを見ながら、マウスカーソルＭ１の位置を移動させたり、マウスカーソルＭ１により操作ボタンを選択（クリック）したりする。例えば、ユーザーは、手を開いた状態（パーの状態）（図３参照）で動かすことによりマウスカーソルＭ１の表示位置を移動させ、マウスカーソルＭ１が「Ｙｅｓ」ボタンに重なる位置にある場合に手を閉じた状態（グーの状態）（図５参照）にすることにより「Ｙｅｓ」ボタンを選択（クリック）する。手を開く操作は本発明の第１ジェスチャー操作の一例であり、手を閉じる操作は本発明の第２ジェスチャー操作の一例である。
The
記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。記憶部１２には、制御部１１に後述の表示制御処理（図１５等参照）を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、表示装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。なお、前記表示制御プログラムは、クラウドサーバーから配信されて記憶部１２に記憶されてもよい。
The
制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより表示装置１を制御する。
The
ところで、従来の技術では、例えばユーザーが手を開く操作（図３参照）から手を閉じる操作（図５参照）に変化させた場合に表示画面１３Ａに対する入力位置がユーザーの意図しない方向に変化する問題が生じる。以下、この問題の具体例を説明する。
By the way, in the conventional technology, for example, when the user changes from opening the hand (see FIG. 3) to closing the hand (see FIG. 5), the input position on the
図４には、手を開いた状態の拡大図を示し、図６には、手を閉じた状態の拡大図を示している。従来の技術では、ジェスチャー操作時の手を投影した全体領域（矩形領域Ａ１）の中心位置Ｐ０を入力位置として特定しているため、手を開いた状態から閉じた状態に変化させた場合に、図６に示すように中心位置Ｐ０が矩形領域Ａ２の中心位置Ｐ０´に移動してしまう。このため、ユーザーが手を開いた状態から閉じた状態に変化させた場合に、中心位置Ｐ０に対応するマウスカーソルＭ１の位置も移動してしまい、ユーザーが意図した操作、例えば「Ｙｅｓ」ボタンの選択操作を正しく行うことができなくなる。これに対して、本実施形態に係る表示装置１では、以下に示すように、ユーザーのジェスチャー操作の変化によって入力位置がユーザーの意図しない方向に変化することを防止することが可能である。
FIG. 4 shows an enlarged view of the open hand, and FIG. 6 shows an enlarged view of the closed hand. In the conventional technology, since the center position P0 of the entire area (rectangular area A1) where the hand is projected at the time of gesture operation is specified as the input position, when the hand is changed from the open state to the closed state, As shown in FIG. 6, the central position P0 moves to the central position P0' of the rectangular area A2. Therefore, when the user changes the hand from the open state to the closed state, the position of the mouse cursor M1 corresponding to the center position P0 also moves, resulting in an operation intended by the user, such as pressing the "Yes" button. Selection operations cannot be performed correctly. On the other hand, in the
具体的に、制御部１１は、図１に示すように、表示処理部１１１、取得処理部１１２、検出処理部１１３、判定処理部１１４、基準点設定処理部１１５、操作領域設定処理部１１６、仮想入力可能領域設定処理部１１７、及び入力処理部１１８などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記表示制御プログラム及びに従った各種の処理を実行することによって各処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。
Specifically, as shown in FIG. 1, the
表示処理部１１１は、各種情報を表示パネル１３に表示させる。表示処理部１１１は、各種アプリケーションの実行に従って各種画像を表示させる。例えば、表示処理部１１１は、図２に示す表示画面１３Ａを表示パネル１３に表示させる。また、表示処理部１１１は、撮像画像Ｗｐを表示画面１３Ａの端部（隅部）に表示させる。撮像画像Ｗｐは、カメラ１５により撮像された所定エリアの撮像画像のうち、検出されたユーザーの顔画像を含む特定の範囲の部分画像である。表示処理部１１１は、表示画面１３Ａの隅部の小画面に撮像画像Ｗｐを表示させる。また、表示処理部１１１は、カメラ１５から取得される撮像画像に応じて撮像画像Ｗｐをリアルタイムで更新する。また、表示処理部１１１は、表示画面１３Ａにおいて、撮像画像Ｗｐを表示させるとともに、操作領域Ａ１１に対応する枠画像（本発明の操作領域画像の一例）を撮像画像Ｗｐに重ねて表示させる。なお、撮像画像Ｗｐの表示位置は限定されない。また表示処理部１１１は、ユーザーの顔又は手が検出されたことを条件として撮像画像Ｗｐを表示させてもよい。
The
また、表示処理部１１１は、表示画面１３Ａの下端から所定幅だけ内側に設定された入力可能領域Ｆ１内において、基準点Ｐ１に対応する入力位置にマウスカーソルＭ１（入力操作用アイコン）を表示させる。前記所定幅は、例えば撮像画像Ｗｐの縦幅に設定される。ユーザーは、入力可能領域Ｆ１内においてマウスカーソルＭ１を移動させることが可能である。表示処理部１１１は、本発明の表示処理部の一例である。
Further, the
取得処理部１１２は、ユーザーを撮像した撮像画像を取得する。具体的には、取得処理部１１２は、カメラ１５が所定のフレームレートで撮像した画像のデジタル画像データをカメラ１５から順次取得する。取得処理部１１２は、本発明の取得処理部の一例である。
The
検出処理部１１３は、取得処理部１１２により取得される前記撮像画像からユーザー（例えば顔）を検出する。また、検出処理部１１３は、前記撮像画像からユーザーの手を検出する。ユーザーの顔及び手を検出する方法は、周知の方法を適用することができる。例えば、検出処理部１１３は、デジタル画像データに対してクロップ、リサイズ、反転、回転などの処理を実行し、ユーザーの顔及び手を検出する。検出処理部１１３は、手を検出すると、手の動きをトラッキング（追跡）する。検出処理部１１３は、本発明の検出処理部の一例である。
The
判定処理部１１４は、検出処理部１１３により検出されるユーザーの手の形状を判定する。例えば、判定処理部１１４は、ユーザーの手が開いた状態（パーの状態）（図３参照）であるか、又は、閉じた状態（グーの状態）（図５参照）であるかを判定する。また、判定処理部１１４は、検出処理部１１３により検出されるユーザーの手が右手であるか、又は、左手であるかを判定する。判定処理部１１４は、本発明の判定処理部の一例である。
The
基準点設定処理部１１５は、検出処理部１１３により検出されるユーザーの手を囲む矩形領域Ａ１の下辺の所定位置に基準点Ｐ１を設定する。具体的には、基準点設定処理部１１５は、矩形領域Ａ１の下辺における一方の端部Ｅ１から他方の端部Ｅ２までの間を所定の比率で分割した位置を基準点Ｐ１に設定する。基準点設定処理部１１５は、本発明の基準点設定処理部の一例である。
The reference point
基準点Ｐ１は、表示画面１３Ａにおける入力位置に対応する仮想空間の位置である。入力処理部１１８は、基準点Ｐ１に対応する入力位置に対して入力処理を実行する。具体的には、入力処理部１１８は、検出処理部１１３により検出されるユーザーの手の形状が所定の形状である場合に、基準点設定処理部１１５により設定される基準点Ｐ１に対応する入力位置に対して入力処理を実行する。例えば、入力処理部１１８は、表示画面１３Ａにおいて、基準点Ｐ１を表示画面１３Ａに対応する領域にマッピングした位置にマウスカーソルＭ１を表示させる。入力処理部１１８は、本発明の入力処理部の一例である。
The reference point P1 is a position in the virtual space corresponding to the input position on the
以下、基準点Ｐ１の具体的な設定方法を説明する。ここでは、前記設定方法の具体例として、第１設定方法、第２設定方法、及び第３設定方法を挙げる。 A specific method for setting the reference point P1 will be described below. Here, a first setting method, a second setting method, and a third setting method are given as specific examples of the setting method.
［第１設定方法］
図４には、第１設定方法の一例を示している。図４に示すように、基準点設定処理部１１５は、矩形領域Ａ１の下辺Ｌ１の中心位置を基準点Ｐ１に設定する。ここで、矩形領域Ａ１は、手が開いた状態で手の最外端部に接する矩形の領域であり、基準点Ｐ１は手が開いた状態における矩形領域Ａ１の下辺Ｌ１の中心位置である。このため、図６に示すように、手を閉じた状態にした場合でも、基準点Ｐ１の位置は変化しない。このように、基準点設定処理部１１５は、手の形状の変化に関わらず、手が開いた状態における矩形領域Ａ１の下辺Ｌ１の中心位置を基準点Ｐ１に設定する。なお、基準点設定処理部１１５は、手が閉じた状態における矩形領域Ａ１の下辺Ｌ１の中心位置を基準点Ｐ１に設定してもよい。
[First setting method]
FIG. 4 shows an example of the first setting method. As shown in FIG. 4, the reference point
第１設定方法では、入力処理部１１８は、矩形領域Ａ１の下辺Ｌ１の中心位置の座標を入力位置の座標として算出する。例えば、矩形領域Ａ１の横幅をＷ１、縦幅をＨ１、左上端部Ｅ０を原点［ｘ，ｙ］とした場合に、入力処理部１１８は、基準点Ｐ１の座標として、［ｘ＋（Ｗ１）／２，ｙ＋Ｈ１］を算出する。入力処理部１１８は、算出した基準点Ｐ１の座標に基づいてマウスカーソルＭ１の位置座標を算出する。表示処理部１１１は、表示画面１３Ａにおいて、算出された位置座標にマウスカーソルＭ１を表示させる。
In the first setting method, the
［第２設定方法］
図７には、第２設定方法の一例を示している。図７に示すように、基準点設定処理部１１５は、矩形領域Ａ１の下辺Ｌ１におけるユーザーの手の小指側の端部から１：２の比率の位置を基準点Ｐ１に設定する。ここで、手を開いた状態（図４参照）から手を閉じた状態（図６参照）に変化させると、中心位置Ｐ０の横方向位置は小指側に移動する。この移動量は、親指の面積及び移動量の影響を受け易い。そこで、基準点設定処理部１１５は、矩形領域Ａ１のうち親指側から１／３の領域を親指の領域と仮定し、親指の領域を除く掌の領域（矩形領域Ａ１のうち小指側の２／３の領域）を抽出し、当該掌の領域の下辺Ｌ１の中心位置を基準点Ｐ１に設定する。すなわち、基準点設定処理部１１５は、矩形領域Ａ１の下辺Ｌ１におけるユーザーの手の小指側の端部Ｅ１から１：２の比率の位置を基準点Ｐ１に設定する。
[Second setting method]
FIG. 7 shows an example of the second setting method. As shown in FIG. 7, the reference point
第２設定方法では、入力処理部１１８は、矩形領域Ａ１の下辺Ｌ１におけるユーザーの手の小指側の端部Ｅ１から１：２の比率の座標を入力位置の座標として算出する。例えば、入力処理部１１８は、基準点Ｐ１の座標として、［ｘ＋（Ｗ１）／３，ｙ＋Ｈ１］を算出する。入力処理部１１８は、算出した基準点Ｐ１の座標に基づいてマウスカーソルＭ１の位置座標を算出する。表示処理部１１１は、表示画面１３Ａにおいて、算出された位置座標にマウスカーソルＭ１を表示させる。
In the second setting method, the
［第３設定方法］
図８には、第３設定方法の一例を示している。図８に示すように、基準点設定処理部１１５は、矩形領域Ａ１に含まれる複数の画素のうちユーザーの手の色を表示する特定画素を特定し、矩形領域Ａ１の上辺から下辺Ｌ１に向かう列方向の画素列ごとの前記特定画素の合計画素数を算出し、下辺Ｌ１のうち前記合計画素数が閾値Ｃｔｈを超える前記画素列の範囲に対応する部分辺の中心位置Ｘｃを基準点Ｐ１に設定する。図８に示すグラフは、画素列ごとの前記特定画素の合計画素数を示している。基準点設定処理部１１５は、合計画素数が閾値Ｃｔｈを超える画素列の最小位置Ｘｍｉｎ及び最大位置Ｘｍａｘを算出し、最小位置Ｘｍｉｎから最大位置Ｘｍａｘまでの部分辺の中心位置Ｘｃを算出する。そして、基準点設定処理部１１５は、算出した中心位置Ｘｃを基準点Ｐ１に設定する。
[Third setting method]
FIG. 8 shows an example of the third setting method. As shown in FIG. 8, the reference point
第３設定方法では、入力処理部１１８は、下辺Ｌ１のうち前記合計画素数が閾値Ｃｔｈを超える前記画素列の範囲に対応する部分辺の中心位置Ｘｃの座標を入力位置の座標として算出する。例えば、前記最小位置の座標を［Ｘｍｉｎ，ｙ＋Ｈ１］とした場合に、入力処理部１１８は、基準点Ｐ１の座標として、［Ｘｍｉｎ＋（Ｘｍａｘ－Ｘｍｉｎ）／２，ｙ＋Ｈ１］を算出する。入力処理部１１８は、算出した基準点Ｐ１の座標に基づいてマウスカーソルＭ１の位置座標を算出する。表示処理部１１１は、表示画面１３Ａにおいて、算出された位置座標にマウスカーソルＭ１を表示させる。
In the third setting method, the
基準点設定処理部１１５は、上述の第１設定方法、第２設定方法、及び第３設定方法のいずれかの方法により基準点Ｐ１を設定する。
The reference point
前記各設定方法によれば、基準点Ｐ１を矩形領域Ａ１の下辺Ｌ１上に設定することにより、縦方向の位置ズレを生じ難くすることができる。また、手を開いた状態（第１ジェスチャー操作）の形状の矩形領域Ａ１の情報を使用することにより、手を閉じた状態（第２ジェスチャー操作）の形状の矩形領域Ａ２（図６参照）に変化した場合であっても、マウスカーソルＭ１の位置ズレを防止することができる。 According to each of the setting methods described above, by setting the reference point P1 on the lower side L1 of the rectangular area A1, it is possible to make the positional deviation in the vertical direction less likely to occur. Further, by using the information of the rectangular area A1 in the shape of the open hand (first gesture operation), the rectangular area A2 (see FIG. 6) in the shape of the closed hand (second gesture operation) can be obtained. Even if it changes, it is possible to prevent the mouse cursor M1 from being displaced.
また、前記第１設定方法によれば、基準点Ｐ１を下辺Ｌ１の中心に固定することができるため、入力位置の計算量を少なくすることができる。よって、ＣＰＵの処理能力が低い場合や、処理の高速化が必要とされる場合に有効である。 Further, according to the first setting method, the reference point P1 can be fixed at the center of the lower side L1, so the amount of calculation of the input position can be reduced. Therefore, it is effective when the processing power of the CPU is low or when high speed processing is required.
また、前記第２設定方法によれば、親指の領域が手の矩形領域Ａ１の約１／３の領域と想定することにより、領域の変化の少ない掌の領域に着目して基準点Ｐ１を設定することができる。よって、横方向の入力位置を高精度かつ安定的に算出することができる。 Further, according to the second setting method, by assuming that the area of the thumb is about 1/3 of the rectangular area A1 of the hand, the reference point P1 is set focusing on the area of the palm where the area changes little. can do. Therefore, it is possible to stably calculate the input position in the lateral direction with high accuracy.
また、前記第３設定方法によれば、親指の領域を除外することにより、掌の領域に絞り込んで基準点Ｐ１を設定することができる。よって、横方向の入力位置をより高精度かつ安定的に算出することができる。 Further, according to the third setting method, by excluding the thumb area, the reference point P1 can be set by narrowing down to the palm area. Therefore, the horizontal input position can be calculated more accurately and stably.
入力処理部１１８は、基準点設定処理部１１５により上述したいずれかの設定方法により設定される基準点Ｐ１に対応する入力位置に対して入力処理を実行する。具体的には、入力処理部１１８は、検出処理部１１３により検出されるユーザーの手の形状が手を開いた形状（第１形状）である場合に、基準点Ｐ１の移動に応じて、表示画面１３Ａに表示されるマウスカーソルＭ１を移動させる移動処理を実行する。また、入力処理部１１８は、検出処理部１１３により検出されるユーザーの手の形状が手を開いた形状から閉じた形状（第２形状）に変化した場合に、基準点Ｐ１に対応するマウスカーソルＭ１の表示位置における選択対象（例えば図２の「Ｙｅｓ」ボタン又は「Ｎｏ」ボタン）の選択処理を実行する。
The
ここで、表示装置１は、例えばユーザーの手によるジェスチャー操作により指示された表示画面１３Ａ上の位置（入力位置）を、手の位置に基づいて特定する。ユーザーは、表示画面１３Ａに表示されるマウスカーソルＭ１を見ながら手を動かしたり手の形状を変化させたりすることによって入力操作を行う。しかし、従来の技術では、ユーザーは、自身の手を動かす範囲と、ユーザーの手の動きに応じて表示画面１３Ａ上で移動するマウスカーソルＭ１の表示画面１３Ａ内で移動可能な範囲との対応関係を把握し難い問題が生じる。例えばユーザーは、自身の手を所定距離だけ動かした場合に、表示画面１３Ａ上のマウスカーソルＭ１がどの程度移動するのかを把握し難い。このように、従来の技術では、ユーザーにとって操作性が低い問題がある。これに対して、本実施形態に係る表示装置１では、以下に示すように、表示装置１の操作性を向上させることが可能である。
Here, the
具体的には、操作領域設定処理部１１６は、検出処理部１１３により検出されるユーザーの手を含む領域であって、表示画面１３Ａ内のジェスチャー操作により入力可能な入力可能領域Ｆ１（図２参照）に対応するジェスチャー操作の操作領域Ａ１１を設定する。具体的には、操作領域設定処理部１１６は、検出処理部１１３がユーザーの手を検出すると手の外形を囲む矩形領域Ａ１を設定し（図９参照）、予め設定されたマージンを用いて矩形領域Ａ１よりも大きい操作領域Ａ１１を設定する（図１０参照）。例えば、操作領域設定処理部１１６は、撮像画像Ｗｐのうち前記検出された手の矩形領域Ａ１を含む部分画像（Ｗ×３／５の領域）において、予め設定された上下左右のマージンｍ１～ｍ４（図１０参照）の位置に操作領域Ａ１１を設定する。また、操作領域設定処理部１１６は、左手又は右手を判定して、操作領域Ａ１１を設定する方向（左側又は右側）を決定する。なお、マージンｍ１～ｍ４は、ユーザーが操作領域Ａ１１内の全領域において左右方向及び上下方向に手を移動させた場合に、マウスカーソルＭ１を入力可能領域Ｆ１（図２参照）内の全領域において左右方向及び上下方向に移動させることが可能となる値に設定される。
Specifically, the operation area setting
また例えば、操作領域設定処理部１１６は、矩形領域Ａ１の横幅Ｗ１の半分の長さ（Ｗ１）／２を矩形領域Ａ１の小指側に加算し、矩形領域Ａ１の縦幅Ｈ１の半分の長さ（Ｈ１）／２を矩形領域Ａ１の上側に加算し、矩形領域Ａ１の縦幅Ｈ１の長さを矩形領域Ａ１の下側に加算した領域を操作領域Ａ１１に設定してもよい。操作領域設定処理部１１６は、本発明の第１設定処理部の一例である。
Further, for example, the operation area setting
ここで、手の矩形領域Ａ１の下辺の位置（基準点Ｐ１）をマウスカーソルＭ１の位置に対応付けているため、基準点Ｐ１を基準として操作領域Ａ１１を設定するとユーザーが手を上方に動かした場合に手が操作領域Ａ１１より上側にはみ出る状態まで動かさないとマウスカーソルＭ１を表示画面１３Ａの上端まで移動させることができず、ユーザーに違和感を与えてしまう。そこで、操作領域Ａ１１を実際の位置よりも上側に表示させることにより、ユーザーが違和感なく操作領域Ａ１１内でマウスカーソルＭ１を移動させることを可能にする。具体的には、表示処理部１１１は、表示画面１３Ａにおいて、撮像画像Ｗｐを表示させるとともに、操作領域Ａ１１の外枠を表す枠画像を撮像画像Ｗｐに対して実際の位置よりも上側にずらして表示させる。例えば図１１に示すように、表示処理部１１１は、表示画面１３Ａにおいて、操作領域Ａ１１の外枠を表す枠画像を撮像画像Ｗｐに対して、矩形領域Ａ１の上下方向の半分の幅ｈ（（Ｈ１）／２）分だけ実際の位置（図１１の点線枠）よりも上側にずらして表示させる。これにより、ユーザーは、掌の中心位置がマウスカーソルＭ１の位置に対応する感覚で、手の動作に応じたマウスカーソルＭ１を移動させることが可能となる。
Here, since the position of the lower side of the rectangular area A1 of the hand (reference point P1) is associated with the position of the mouse cursor M1, when the operation area A11 is set with the reference point P1 as the reference, the user moves the hand upward. In this case, the mouse cursor M1 cannot be moved to the upper end of the
仮想入力可能領域設定処理部１１７は、入力可能領域Ｆ１よりも大きい仮想入力可能領域Ｆ２（仮想画面）を設定する。例えば図１２に示すように、表示画面１３Ａの横幅をＷ２、縦幅をＨ２とした場合に、仮想入力可能領域設定処理部１１７は、表示画面１３Ａの横幅Ｗ２の半分の長さ（（Ｗ２）／２）を表示画面１３Ａの右側及び左側のそれぞれに加算し、表示画面１３Ａの縦幅Ｈ２の半分の長さ（（Ｈ２）／２）を表示画面１３Ａの上側及び下側のそれぞれに加算した領域（入力可能領域Ｆ１の縦横２倍の領域）を仮想入力可能領域Ｆ２に設定する。仮想入力可能領域設定処理部１１７は、本発明の第２設定処理部の一例である。
The virtual input-enabled
入力処理部１１８は、操作領域Ａ１１、入力可能領域Ｆ１、及び仮想入力可能領域Ｆ２を利用して、表示画面１３Ａにおける入力位置を算出して入力処理を実行する。
The
以下、入力位置の具体的な算出方法を説明する。ここでは、前記算出方法の具体例として、第１算出方法、第２算出方法、及び第３算出方法を挙げる。 A specific method of calculating the input position will be described below. Here, a first calculation method, a second calculation method, and a third calculation method are given as specific examples of the calculation method.
［第１算出方法］
図１２には、第１算出方法の一例を示している。図１２に示すように、表示処理部１１１は、操作領域Ａ１１の外枠の枠画像を撮像画像Ｗｐ内に表示させる。また、入力処理部１１８は、基準点Ｐ１に対応する操作領域Ａ１１内の位置を仮想入力可能領域Ｆ２内に対応付けた位置を、前記入力位置として算出する。具体的には、入力処理部１１８は、操作領域Ａ１１の基準点Ｐ１を仮想入力可能領域Ｆ２にマッピングする。そして、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１内に収まっている場合は、入力処理部１１８は、当該位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。一方、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１外にはみ出る場合には、入力処理部１１８は、入力可能領域Ｆ１内に再マッピングして、入力可能領域Ｆ１の端部の位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。
[First calculation method]
FIG. 12 shows an example of the first calculation method. As shown in FIG. 12, the
このように、第１算出方法では、入力処理部１１８は、操作領域Ａ１１と入力可能領域Ｆ１とをマッピングする際に、操作領域Ａ１１を実際の表示画面１３Ａの画面サイズに対して縦横２倍の仮想入力可能領域Ｆ２に対してマッピングを行い、入力可能領域Ｆ１外にマウスカーソルＭ１がマッピングされた場合には入力可能領域Ｆ１内に再マッピングする。
As described above, in the first calculation method, when mapping the operation area A11 and the input-enabled area F1, the
［第２算出方法］
図１３には、第２算出方法の一例を示している。図１３に示すように、表示処理部１１１は、操作領域Ａ１１よりも大きい仮想操作領域Ｂ１の外枠の枠画像を撮像画像Ｗｐ内に表示させる。例えば、表示処理部１１１は、操作領域Ａ１１の横幅の半分の長さを操作領域Ａ１１の右側及び左側のそれぞれに加算し、操作領域Ａ１１の縦幅の半分の長さを操作領域Ａ１１の上側及び下側のそれぞれに加算した拡張領域（仮想操作領域Ｂ１）の枠画像を撮像画像Ｗｐ内に表示させる。すなわち、表示処理部１１１は、撮像画像Ｗｐにおいて、操作領域Ａ１１の枠画像を表示させず、操作領域Ａ１１を拡張した仮想の仮想操作領域Ｂ１の枠画像を表示させる。これにより、ユーザーは、撮像画像Ｗｐ内に表示される仮想操作領域Ｂ１の枠画像を見ながら手を動かす。
[Second calculation method]
FIG. 13 shows an example of the second calculation method. As shown in FIG. 13, the
入力処理部１１８は、基準点Ｐ１に対応する操作領域Ａ１１内の位置を入力可能領域Ｆ１内に対応付けた位置を、前記入力位置として算出する。具体的には、入力処理部１１８は、操作領域Ａ１１の基準点Ｐ１を入力可能領域Ｆ１にマッピングする。そして、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１内に収まっている場合は、入力処理部１１８は、当該位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。一方、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１外にはみ出る場合には、入力処理部１１８は、入力可能領域Ｆ１内に再マッピングして、入力可能領域Ｆ１の端部の位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。
The
このように、第２算出方法では、操作領域Ａ１１の大きさに対して縦横２倍の仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐ内に表示させつつ、入力処理部１１８は、操作領域Ａ１１を入力可能領域Ｆ１にマッピングを行い、入力可能領域Ｆ１外にマウスカーソルＭ１がマッピングされた場合には入力可能領域Ｆ１内に再マッピングする。
As described above, in the second calculation method, the
［第３算出方法］
図１４には、第３算出方法の一例を示している。図１４に示すように、表示処理部１１１は、前記第２算出方法と同様に、操作領域Ａ１１よりも大きい仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐ内に表示させる。すなわち、表示処理部１１１は、撮像画像Ｗｐにおいて、操作領域Ａ１１の枠画像を表示させず、仮想操作領域Ｂ１の枠画像を表示させる。また、入力処理部１１８は、基準点Ｐ１に対応する仮想操作領域Ｂ１内の位置を仮想入力可能領域Ｆ２内に対応付けた位置を、前記入力位置として算出する。具体的には、入力処理部１１８は、仮想操作領域Ｂ１の基準点Ｐ１を仮想入力可能領域Ｆ２にマッピングする。そして、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１内に収まっている場合は、入力処理部１１８は、当該位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。一方、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１外にはみ出る場合には、入力処理部１１８は、入力可能領域Ｆ１内に再マッピングして、入力可能領域Ｆ１の端部の位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。
[Third calculation method]
FIG. 14 shows an example of the third calculation method. As shown in FIG. 14, the
このように、第３算出方法では、操作領域Ａ１１の大きさに対して縦横２倍の仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐ内に表示させつつ、入力処理部１１８は、仮想操作領域Ｂ１を仮想入力可能領域Ｆ２にマッピングを行い、入力可能領域Ｆ１外にマウスカーソルＭ１がマッピングされた場合には入力可能領域Ｆ１内に再マッピングする。
As described above, in the third calculation method, the
入力処理部１１８は、上述の第１算出方法、第２算出方法、及び第３算出方法のいずれかの方法により入力位置を算出する。
The
前記第１算出方法によれば、操作領域Ａ１１を入力可能領域Ｆ１に対して比較的狭く取ることになるため、ユーザーは、小さな手の動きによりマウスカーソルＭ１を移動させることができ、小さい領域内における手の動きにより表示画面１３Ａ全体にマウスカーソルＭ１を移動させることが可能となる。
According to the first calculation method, the operation area A11 is set relatively narrower than the input area F1. It is possible to move the mouse cursor M1 over the
また、前記第２算出方法によれば、操作領域Ａ１１を入力可能領域Ｆ１に対して広めに取ることができるため、ユーザーは、前記第１算出方法よりも手の細かい動きをマウスカーソルＭ１の移動に反映させることができる。 In addition, according to the second calculation method, the operation area A11 can be set wider than the input-enabled area F1. can be reflected in
また、前記第３算出方法によれば、操作領域Ａ１１を入力可能領域Ｆ１に対して適度な大きさに取ることができるため、前記第１算出方法よりも手の細かい動きをマウスカーソルＭ１の移動に反映させることができ、かつ、前記第２算出方法ほど手や腕を動かさなくても、表示画面１３Ａ全体にマウスカーソルＭ１を移動させることが可能となる。
In addition, according to the third calculation method, since the operation area A11 can be appropriately sized with respect to the input-enabled area F1, finer movements of the hand than the first calculation method can be applied to the movement of the mouse cursor M1. , and the mouse cursor M1 can be moved over the
また、前記各算出方法によれば、マウスカーソルＭ１が表示画面１３Ａからはみ出たり、表示画面１３Ａの下側の撮像画像Ｗｐ（ワイプ画面）にマウスカーソルＭ１が移動して誤動作を引き起こしたりすることを防止することができる。
Further, according to each of the calculation methods described above, it is possible to prevent the mouse cursor M1 from protruding from the
以上のように、表示装置１は、カメラ１５の撮像画像からユーザーの手を検出すると、手の矩形領域Ａ１の下辺Ｌ１上に所定の設定方法（前記第１～第３設定方法）により基準点Ｐ１を設定し、基準点Ｐ１を所定の算出方法（前記第１～第３算出方法）により入力可能領域Ｆ１における入力位置を算出して、算出した入力位置において、ユーザーのジェスチャー操作に応じた入力処理を実行する。
As described above, when the
［表示制御処理］
以下、図１５を参照しつつ、表示装置１の制御部１１によって実行される表示制御処理について説明する。
[Display control processing]
Display control processing executed by the
なお、本発明は、前記表示制御処理に含まれる一又は複数のステップを実行する表示制御方法（本発明の入力方法の一例）の発明として捉えることができ、ここで説明する表示制御処理に含まれる一又は複数のステップが適宜省略されてもよい。なお、前記表示制御処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記表示制御処理における各ステップを実行する場合を例に挙げて説明するが、複数のプロセッサーが当該表示制御処理における各ステップを分散して実行する表示制御方法も他の実施形態として考えられる。
The present invention can be regarded as an invention of a display control method (an example of an input method of the present invention) for executing one or more steps included in the display control process. may be omitted as appropriate. It should be noted that the steps in the display control process may differ in execution order as long as similar effects are produced. Furthermore, here, a case where the
先ずステップＳ１において、制御部１１は、カメラ１５から撮像画像を取得したか否かを判定する。制御部１１がカメラ１５から撮像画像を取得すると（Ｓ１：Ｙｅｓ）、処理はステップＳ２に移行する。
First, in step S<b>1 , the
ステップＳ２において、制御部１１は、ユーザーを検出したか否かを判定する。制御部１１がユーザーを検出すると（Ｓ２：Ｙｅｓ）、処理はステップＳ３に移行する。
In step S2, the
ステップＳ３において、制御部１１は、ユーザーの顔及び手を検出したか否かを判定する。制御部１１がユーザーの顔及び手を検出すると（Ｓ３：Ｙｅｓ）、処理はステップＳ４に移行する。
In step S3, the
ステップＳ４において、制御部１１は、撮像画像Ｗｐ（ワイプ画面）を表示画面１３Ａに表示させる。具体的には、制御部１１は、カメラ１５により撮像された所定エリアの撮像画像のうち、検出したユーザーの顔及び手を含む特定の範囲の部分画像（撮像画像Ｗｐ）を表示画面１３Ａの端部（隅部）に表示させる（図２参照）。また、制御部１１は、撮像画像Ｗｐに、ユーザーの手を囲む矩形領域Ａ１を表す枠画像と、表示画面１３Ａの入力可能領域Ｆ１（図２参照）に対応する操作領域Ａ１１の枠画像（操作領域画像）とを重ねて表示させる（図３参照）。なお、表示処理部１１１は、操作領域Ａ１１の枠画像を撮像画像Ｗｐに対して実際の位置よりも上側にずらして表示させてもよい（図１１参照）。
In step S4, the
ステップＳ５において、制御部１１は、基準点Ｐ１を設定する処理（基準点設定処理）を実行する。制御部１１は、前記第１設定方法、前記第２設定方法、及び前記第３設定方法のいずれかの方法に対応する基準点設定処理を実行する。
In step S5, the
図１６には、前記第１設定方法に対応する基準点設定処理の具体例を示している。具体的には、ステップＳ１１において、制御部１１は、カメラ１５から取得した撮像画像から検出した手の検出結果を取得する。次にステップＳ１２において、制御部１１は、手の形状を判定する。例えば、制御部１１が、手が開いた状態（パーの状態）の形状（第１形状）を判定した場合、処理はステップＳ１３に移行する。一方、制御部１１が、手が閉じた状態（グーの状態）の形状（第２形状）を判定した場合、処理はステップＳ１２１に移行する。
FIG. 16 shows a specific example of the reference point setting process corresponding to the first setting method. Specifically, in step S<b>11 , the
ステップＳ１３では、制御部１１は、矩形領域Ａ１の下辺Ｌ１の中心位置（図４参照）を基準点Ｐ１に設定する。ステップＳ１３の後、処理はステップＳ６に移行する。
In step S13, the
ステップＳ１２１では、制御部１１は、前回算出した第１形状（パーの状態）の位置（図６参照）を基準点Ｐ１に設定する。ステップＳ１２１の後、処理はステップＳ６に移行する。
In step S121, the
図１７には、前記第２設定方法に対応する基準点設定処理の具体例を示している。具体的には、ステップＳ２１において、制御部１１は、カメラ１５から取得した撮像画像から検出した手の検出結果を取得する。次にステップＳ２２において、制御部１１は、手の形状を判定する。例えば、制御部１１が、手が開いた状態（パーの状態）の形状（第１形状）を判定した場合、処理はステップＳ２３に移行する。一方、制御部１１が、手が閉じた状態（グーの状態）の形状（第２形状）を判定した場合、処理はステップＳ２２１に移行する。
FIG. 17 shows a specific example of reference point setting processing corresponding to the second setting method. Specifically, in step S<b>21 , the
ステップＳ２３では、制御部１１は、矩形領域Ａ１の下辺Ｌ１におけるユーザーの手の小指側の端部から１：２の比率の位置（図７参照）を基準点Ｐ１に設定する。ステップＳ２３の後、処理はステップＳ６に移行する。
In step S23, the
ステップＳ２２１では、制御部１１は、前回算出した第１形状（パーの状態）の位置を基準点Ｐ１に設定する。ステップＳ２２１の後、処理はステップＳ６に移行する。
In step S221, the
図１８には、前記第３設定方法に対応する基準点設定処理の具体例を示している。具体的には、ステップＳ３１において、制御部１１は、カメラ１５から取得した撮像画像から検出した手の検出結果を取得する。次にステップＳ３２において、制御部１１は、手の形状を判定する。例えば、制御部１１が、手が開いた状態（パーの状態）の形状（第１形状）を判定した場合、処理はステップＳ３３に移行する。一方、制御部１１が、手が閉じた状態（グーの状態）の形状（第２形状）を判定した場合、処理はステップＳ３２１に移行する。
FIG. 18 shows a specific example of reference point setting processing corresponding to the third setting method. Specifically, in step S<b>31 , the
ステップＳ３３では、制御部１１は、矩形領域Ａ１に含まれる複数の画素のうちユーザーの手の色を表示する特定画素を特定し、矩形領域Ａ１の上辺から下辺Ｌ１に向かう列方向の画素列ごとの前記特定画素の合計画素数を算出する（図８参照）。次にステップＳ３４において、制御部１１は、下辺Ｌ１のうち前記合計画素数が閾値Ｃｔｈを超える前記画素列を抽出する。次にステップＳ３５において、制御部１１は、抽出した画素列に対応する部分辺の最小位置Ｘｍｉｎ及び最大位置Ｘｍａｘの座標を算出する。次にステップＳ３６において、制御部１１は、最小位置Ｘｍｉｎ及び最大位置Ｘｍａｘの中心位置Ｘｃを基準点Ｐ１に設定する。ステップＳ３６の後、処理はステップＳ６に移行する。
In step S33, the
ステップＳ３２１では、制御部１１は、前回算出した第１形状（パーの状態）の位置を基準点Ｐ１に設定する。ステップＳ３２１の後、処理はステップＳ６に移行する。
In step S321, the
ステップＳ６（図１５参照）では、制御部１１は、基準点Ｐ１に対応する入力位置を算出する処理（入力位置算出処理）を実行する。制御部１１は、前記第１算出方法、前記第２算出方法、及び前記第３算出方法のいずれかの方法に対応する入力位置算出処理を実行する。
In step S6 (see FIG. 15), the
図１９には、前記第１算出方法に対応する入力位置算出処理の具体例を示している。なお、前記第１算出方法では、制御部１１は、ステップＳ４（図１５参照）において、操作領域Ａ１１の枠画像を撮像画像Ｗｐに表示させる（図１２参照）。
FIG. 19 shows a specific example of input position calculation processing corresponding to the first calculation method. In the first calculation method, in step S4 (see FIG. 15), the
ステップＳ４１において、制御部１１は、入力可能領域Ｆ１よりも大きい仮想入力可能領域Ｆ２を設定する（図１２参照）。次にステップＳ４２において、制御部１１は、操作領域Ａ１１の基準点Ｐ１を仮想入力可能領域Ｆ２にマッピングする。
In step S41, the
次にステップＳ４３において、制御部１１は、仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっているか否かを判定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ４３：Ｙｅｓ）、処理はステップＳ４５に移行する。一方、仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ４３：Ｎｏ）、処理はステップＳ４４に移行する。
Next, in step S43, the
ステップＳ４４では、制御部１１は、入力可能領域Ｆ１内に再マッピングする。その後、処理はステップＳ４５に移行する。
In step S44, the
ステップＳ４５では、制御部１１は、マッピングした位置を入力位置に決定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ４３：Ｙｅｓ）、制御部１１は、当該位置を入力位置に決定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ４３：Ｎｏ）、制御部１１は、入力可能領域Ｆ１の端部の位置を入力位置に決定する。その後、処理はステップＳ７に移行する。
In step S45, the
図２０には、前記第２算出方法に対応する入力位置算出処理の具体例を示している。なお、前記第２算出方法では、制御部１１は、ステップＳ４（図１５参照）において、操作領域Ａ１１よりも大きい仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐに表示させる（図１３参照）。
FIG. 20 shows a specific example of input position calculation processing corresponding to the second calculation method. In the second calculation method, in step S4 (see FIG. 15), the
ステップＳ５１において、制御部１１は、操作領域Ａ１１の基準点Ｐ１を入力可能領域Ｆ１にマッピングする。
In step S51, the
次にステップＳ５２において、制御部１１は、入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっているか否かを判定する。入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ５２：Ｙｅｓ）、処理はステップＳ５４に移行する。一方、入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ５２：Ｎｏ）、処理はステップＳ５３に移行する。
Next, in step S52, the
ステップＳ５３では、制御部１１は、入力可能領域Ｆ１内に再マッピングする。その後、処理はステップＳ５４に移行する。
In step S53, the
ステップＳ５４では、制御部１１は、マッピングした位置を入力位置に決定する。入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ５２：Ｙｅｓ）、制御部１１は、当該位置を入力位置に決定する。入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ５２：Ｎｏ）、制御部１１は、入力可能領域Ｆ１の端部の位置を入力位置に決定する。その後、処理はステップＳ７に移行する。
In step S54, the
図２１には、前記第３算出方法に対応する入力位置算出処理の具体例を示している。なお、前記第３算出方法では、制御部１１は、ステップＳ４（図１５参照）において、仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐに表示させる（図１４参照）。
FIG. 21 shows a specific example of input position calculation processing corresponding to the third calculation method. In the third calculation method, in step S4 (see FIG. 15), the
ステップＳ６１において、制御部１１は、入力可能領域Ｆ１よりも大きい仮想入力可能領域Ｆ２を設定する（図１４参照）。次にステップＳ６２において、制御部１１は、仮想操作領域Ｂ１の基準点Ｐ１を仮想入力可能領域Ｆ２にマッピングする。
In step S61, the
次にステップＳ６３において、制御部１１は、仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっているか否かを判定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ６３：Ｙｅｓ）、処理はステップＳ６５に移行する。一方、仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ６３：Ｎｏ）、処理はステップＳ６４に移行する。
Next, in step S63, the
ステップＳ６４では、制御部１１は、入力可能領域Ｆ１内に再マッピングする。その後、処理はステップＳ６５に移行する。
In step S64, the
ステップＳ６５では、制御部１１は、マッピングした位置を入力位置に決定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ６３：Ｙｅｓ）、制御部１１は、当該位置を入力位置に決定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ６３：Ｎｏ）、制御部１１は、入力可能領域Ｆ１の端部の位置を入力位置に決定する。その後、処理はステップＳ７に移行する。
In step S65, the
ステップＳ７（図１５参照）では、制御部１１は、決定した入力位置に基づいて入力処理を実行する。具体的には、制御部１１は、決定した入力位置にマウスカーソルＭ１を表示させる。また、例えば決定した入力位置が「Ｙｅｓ」ボタン上の位置であって、マウスカーソルＭ１が「Ｙｅｓ」ボタン上に位置する状態でユーザーが手を閉じる操作を行うと、制御部１１は、「Ｙｅｓ」ボタン操作を受け付けて所定の処理を実行する。
In step S7 (see FIG. 15), the
ステップＳ８において、制御部１１は、ユーザーによる入力操作が終了したか否かを判定する。前記入力操作が終了した場合（Ｓ８：Ｙｅｓ）、制御部１１は前記表示制御処理を終了する。前記入力操作が終了しない場合（Ｓ８：Ｎｏ）、制御部１１はステップＳ１に戻る。以上のようにして、制御部１１は、前記表示制御処理を実行する。
In step S8, the
以上説明したように、本実施形態に係る表示装置１は、ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う。具体的には、表示装置１は、ユーザーを撮像した撮像画像を取得し、取得した前記撮像画像からユーザーの手を検出し、ユーザーの手の形状を判定する。また、表示装置１は、検出したユーザーの手を囲む特定領域（矩形領域Ａ１）の下辺Ｌ１の所定位置に基準点Ｐ１を設定し、検出したユーザーの手の形状が所定の形状である場合に、設定した基準点Ｐ１を入力位置として入力処理を実行する。
As described above, the
この構成によれば、手の形状（ジェスチャー操作）の変化（例えばパーの状態からグーの状態への変化）に関わらず、入力位置に対応する基準点Ｐ１を固定することができる。このため、ユーザーのジェスチャー操作の変化によって入力位置がユーザーの意図しない方向に変化することを防止することが可能となる。 According to this configuration, the reference point P1 corresponding to the input position can be fixed regardless of the change in the shape of the hand (gesture operation) (for example, the change from the par state to the goo state). Therefore, it is possible to prevent the input position from changing in a direction not intended by the user due to a change in the user's gesture operation.
また、本実施形態に係る表示装置１は、ユーザーを撮像した撮像画像を取得し、取得した前記撮像画像からユーザーの手を検出し、検出したユーザーの手を含む領域であって、表示画面１３Ａ内のジェスチャー操作により入力可能な入力可能領域Ｆ１に対応するジェスチャー操作の操作領域Ａ１１を設定する。また表示装置１は、表示画面１３Ａにおいて、取得した撮像画像Ｗｐを表示させるとともに、設定した操作領域Ａ１１に対応する操作領域画像（枠画像）を撮像画像Ｗｐに重ねて表示させる。例えば、表示装置１は、操作領域Ａ１１の枠画像（図１２参照）、又は、仮想操作領域Ｂ１（図１３、図１４参照）を撮像画像Ｗｐに表示させる。
Further, the
この構成によれば、ユーザーは、撮像画像Ｗｐに表示される前記枠画像を確認することにより、自身の手を動かす範囲と、ユーザーの手の動きに応じて表示画面１３Ａ上で移動するマウスカーソルＭ１の表示画面１３Ａ内で移動可能な範囲との対応関係を把握し易くなる。よって、表示装置１の操作性を向上させることが可能となる。
According to this configuration, by checking the frame image displayed in the captured image Wp, the user can move the mouse cursor on the
本発明は、上述した実施形態に示すように、前記第１～第３設定方法のいずれかを実行する処理と、前記第１～第３算出方法のいずれかを実行する処理とを備えた表示装置である。但し、本発明は上述の実施形態に限定されず、少なくとも前記第１～第３設定方法のいずれかを実行する処理を備えた表示装置であってもよい。また、本発明は、少なくとも前記第１～第３算出方法のいずれかを実行する処理を備えた表示装置であってもよい。 According to the present invention, as shown in the above-described embodiment, a display including a process for executing any one of the first to third setting methods and a process for executing any one of the first to third calculation methods is provided. It is a device. However, the present invention is not limited to the above-described embodiments, and the display device may include processing for executing at least one of the first to third setting methods. Further, the present invention may be a display device including processing for executing at least one of the first to third calculation methods.
なお、本発明の表示装置は、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。 It should be noted that the display device of the present invention may be obtained by freely combining each of the embodiments shown above within the scope of the invention described in each claim, or by appropriately modifying or omitting a part of each embodiment. It is also possible to be configured by
１ ：表示装置
１１ ：制御部
１２ ：記憶部
１３ ：表示パネル
１３Ａ ：表示画面
１４ ：操作部
１５ ：カメラ
１１１ ：表示処理部
１１２ ：取得処理部
１１３ ：検出処理部
１１４ ：判定処理部
１１５ ：基準点設定処理部
１１６ ：操作領域設定処理部
１１７ ：仮想入力可能領域設定処理部
１１８ ：入力処理部
1: display device 11: control unit 12: storage unit 13:
Claims (10)
前記ユーザーを撮像した撮像画像を取得する取得処理部と、
前記取得処理部により取得される前記撮像画像から前記ユーザーの手を検出する検出処理部と、
前記検出処理部により検出される前記ユーザーの手の形状を判定する判定処理部と、
前記検出処理部により検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する基準点設定処理部と、
前記検出処理部により検出される前記ユーザーの手の形状が所定の形状である場合に、前記基準点設定処理部により設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力処理部と、
を備える入力装置。 An input device that detects a gesture operation by a user's hand and performs input processing on an input position on a display screen,
an acquisition processing unit that acquires a captured image of the user;
a detection processing unit that detects the hand of the user from the captured image acquired by the acquisition processing unit;
a determination processing unit that determines the shape of the user's hand detected by the detection processing unit;
a reference point setting processing unit that sets a reference point at a predetermined position on the lower side of the specific area surrounding the user's hand detected by the detection processing unit;
When the shape of the user's hand detected by the detection processing unit is a predetermined shape, the input processing is performed on the input position corresponding to the reference point set by the reference point setting processing unit. an input processing unit that
An input device comprising
請求項１に記載の入力装置。 The reference point setting processing unit sets a position obtained by dividing a lower side of the specific region from one end to the other end by a predetermined ratio as the reference point.
The input device according to claim 1.
請求項２に記載の入力装置。 The reference point setting processing unit sets the center position of the lower side of the specific area as the reference point.
The input device according to claim 2.
請求項２に記載の入力装置。 The reference point setting processing unit sets a position at a ratio of 1:2 from the end of the little finger side of the user's hand on the lower side of the specific area as the reference point.
The input device according to claim 2.
請求項２に記載の入力装置。 The reference point setting processing unit identifies a specific pixel that displays the color of the user's hand among a plurality of pixels included in the specific region, and sets each pixel row in the column direction from the upper side to the lower side of the specific region. calculating the total number of pixels of the specific pixels, and setting the center position of the partial side corresponding to the range of the pixel row in which the total number of pixels exceeds a threshold value as the reference point;
The input device according to claim 2.
請求項１から請求項５のいずれか１項に記載の入力装置。 further comprising a display processing unit that displays an input operation icon at the input position corresponding to the reference point in an input-enabled area set inside a lower end of the display screen by a predetermined width;
The input device according to any one of claims 1 to 5.
請求項１から請求項６のいずれか１項に記載の入力装置。 When the shape of the user's hand detected by the detection processing unit is the first shape, the input processing unit changes the input operation icon displayed on the display screen according to the movement of the reference point. When the shape of the user's hand detected by the detection processing unit changes from the first shape to the second shape, the input operation icon corresponding to the reference point is displayed. perform the selection process for the selection at the position,
The input device according to any one of claims 1 to 6.
請求項１から請求項７のいずれか１項に記載の入力装置。 The specific area is a rectangular area surrounding the user's hand,
The input device according to any one of claims 1 to 7.
一又は複数のプロセッサーが、
前記ユーザーを撮像した撮像画像を取得する取得ステップと、
前記取得ステップにより取得される前記撮像画像から前記ユーザーの手を検出する検出ステップと、
前記検出ステップにおいて検出される前記ユーザーの手の形状を判定する判定ステップと、
前記検出ステップにおいてより検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する設定ステップと、
前記検出ステップにより検出される前記ユーザーの手の形状が所定の形状である場合に、前記設定ステップにより設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力ステップと、
を実行する入力方法。 An input method for detecting a gesture operation by a user's hand and performing input processing for an input position on a display screen,
one or more processors
an acquisition step of acquiring a captured image of the user;
a detection step of detecting the hand of the user from the captured image acquired by the acquisition step;
a determination step of determining the shape of the user's hand detected in the detection step;
a setting step of setting a reference point at a predetermined position on the lower side of the specific area surrounding the user's hand detected in the detecting step;
an input step of executing the input process with respect to the input position corresponding to the reference point set by the setting step when the shape of the user's hand detected by the detection step is a predetermined shape; ,
The input method that executes the
前記ユーザーを撮像した撮像画像を取得する取得ステップと、
前記取得ステップにより取得される前記撮像画像から前記ユーザーの手を検出する検出ステップと、
前記検出ステップにおいて検出される前記ユーザーの手の形状を判定する判定ステップと、
前記検出ステップにおいてより検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する設定ステップと、
前記検出ステップにより検出される前記ユーザーの手の形状が所定の形状である場合に、前記設定ステップにより設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力ステップと、
を一又は複数のプロセッサーに実行させるための入力プログラム。 An input program that detects a gesture operation by a user's hand and performs input processing for an input position on a display screen,
an acquisition step of acquiring a captured image of the user;
a detection step of detecting the hand of the user from the captured image acquired by the acquisition step;
a determination step of determining the shape of the user's hand detected in the detection step;
a setting step of setting a reference point at a predetermined position on the lower side of the specific area surrounding the user's hand detected in the detecting step;
an input step of executing the input process with respect to the input position corresponding to the reference point set by the setting step when the shape of the user's hand detected by the detection step is a predetermined shape; ,
input program for execution by one or more processors.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021114051A JP2023010138A (en) | 2021-07-09 | 2021-07-09 | Input device, input method, and input program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021114051A JP2023010138A (en) | 2021-07-09 | 2021-07-09 | Input device, input method, and input program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023010138A true JP2023010138A (en) | 2023-01-20 |
Family
ID=85118961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021114051A Pending JP2023010138A (en) | 2021-07-09 | 2021-07-09 | Input device, input method, and input program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023010138A (en) |
-
2021
- 2021-07-09 JP JP2021114051A patent/JP2023010138A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7415676B2 (en) | Visual field changing method | |
| US9871962B2 (en) | Movable user interface shutter button for camera | |
| JP4686150B2 (en) | Multi-monitor system, multi-monitor method, and mark display program | |
| KR100851977B1 (en) | Controlling Method and apparatus for User Interface of electronic machine using Virtual plane. | |
| JP5839220B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6146094B2 (en) | Information operation display system, display program, and display method | |
| US9544556B2 (en) | Projection control apparatus and projection control method | |
| US8769409B2 (en) | Systems and methods for improving object detection | |
| US11003340B2 (en) | Display device | |
| US11297303B2 (en) | Control apparatus, control method, and storage medium | |
| BR112019019526A2 (en) | recording equipment, control method, and storage medium | |
| CN104346072A (en) | Display control apparatus and control method thereof | |
| US7466304B2 (en) | Image processing apparatus, storage medium having image processing program stored thereon, game apparatus and storage medium having game program stored thereon | |
| TWI354223B (en) | ||
| CN112198929B (en) | Control method and device | |
| JP3355708B2 (en) | Command processing device | |
| JP6197559B2 (en) | Object operation system, object operation control program, and object operation control method | |
| JP2023010138A (en) | Input device, input method, and input program | |
| JP2023010137A (en) | Input device, input method, and input program | |
| US11543918B1 (en) | Input apparatus, input method, and recording medium recording input program | |
| JPWO2015029222A1 (en) | Information processing apparatus, display control program, and display control method | |
| US20220197498A1 (en) | Display device, display method, and recording medium recording display program | |
| US20220197396A1 (en) | Display device, display method, and recording medium recording display program | |
| US9082223B2 (en) | Smooth manipulation of three-dimensional objects | |
| JP2012221262A (en) | Display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210709 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240321 |