JP2022078706A - User interface device, user interface system and program for user interface - Google Patents
User interface device, user interface system and program for user interface Download PDFInfo
- Publication number
- JP2022078706A JP2022078706A JP2020189577A JP2020189577A JP2022078706A JP 2022078706 A JP2022078706 A JP 2022078706A JP 2020189577 A JP2020189577 A JP 2020189577A JP 2020189577 A JP2020189577 A JP 2020189577A JP 2022078706 A JP2022078706 A JP 2022078706A
- Authority
- JP
- Japan
- Prior art keywords
- indicator
- instruction
- user interface
- state
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、指等の指示体の動きによって機器との間でやりとりされる情報を特定するユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラムに関する。 The present invention relates to a user interface device, a user interface system, and a user interface program that specifies information exchanged with a device by the movement of an indicator such as a finger.
ユーザの指先の動きによってコンピュータへの入力を行うユーザインターフェイス装置が、例えば特許文献１に記載されている。
特許文献１には、ユーザの指先がタッチパネルに触れていなくても、指先の動きに応じてタッチパネル上に表示される画面を変更できるユーザインターフェイス装置が記載されている。具体的には、特許文献１には、ユーザインターフェイス装置が、ディスプレイに表示される表示画像を出力可能な画像出力手段と、ディスプレイの周辺の周辺画像を撮像する撮像手段と、撮像された周辺画像に基づいて、ユーザの指の状態を解析する解析手段と、解析された指の状態に基づいて、ユーザの操作意図を推測する推測手段と、ユーザの指先がディスプレイの表面に触れる前に、推測された操作意図に応じて、表示画像を変更するように画像出力手段を制御する制御手段とを備えていることが記載されている。
For example,
指等の指示体のカメラ画像から認識された指示体の動きによって機器との間で情報をやりとりするユーザインターフェイス装置においては、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することが求められる。
本発明は、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができるユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラムを提供することを目的とする。
In a user interface device that exchanges information with a device by the movement of the indicator recognized from the camera image of the indicator such as a finger, the indicator is in what position and form in the camera image. It is required to accurately detect whether or not it is.
An object of the present invention is to provide a user interface device, a user interface system, and a user interface program capable of accurately detecting the position and form of an indicator in a camera image. do.
（１） 本発明の第１の態様は、指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像を２値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置である。
(1) The first aspect of the present invention is a user interface device that specifies an instruction by identifying the form of the indicator based on a camera image of an indicator whose form changes for an instruction. ,
With respect to the binarized image of the camera image, in order to detect the end portion of the object included in the camera image, a detection unit that searches in at least two diagonal directions with different directions, and a detection unit.
An image cutout portion that cuts out a partial image from the camera image based on the detected end portion, and an image cutout portion.
When the partial image is a partial image obtained by imaging the indicator as the object, a selection unit for selecting a partial image showing the form before the instruction and a partial image showing the form of the instruction by the indicator.
An information generation unit that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
It is a user interface device equipped with.
（２） 本発明の第２の態様は、上記（１）のユーザインターフェイス装置と、
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステムである。
（３） 本発明の第３の態様は、コンピュータに、
カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラムである。
(2) The second aspect of the present invention is the user interface device of the above (1) and the above-mentioned user interface device.
An imaging device that captures an image of an indicator whose form changes due to an instruction,
A display device that displays a display screen that is operated based on information indicating whether the indicator output from the user interface device is in the form before the instruction or in the form of the instruction.
It is a user interface system equipped with.
(3) The third aspect of the present invention is to use a computer.
In order to detect the edge of the object contained in the camera image, a detection function that searches in at least two diagonal directions with different directions, and a detection function.
An image cropping function that crops a partial image from the camera image based on the detected edge,
When the partial image is a partial image of an indicator whose form changes due to an instruction as the object, the partial image showing the form before the instruction and the partial image showing the form of the instruction are shown. With the selection function to select
An information generation function that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
Is a user interface program that executes.
本発明によれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができる。 According to the present invention, it is possible to accurately detect the position and the form of the indicator in the camera image.
以下、本開示の実施形態について図面を用いて詳細に説明する。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings.
（第１の実施形態）
図１は、本発明の一実施形態の、ユーザインターフェイスシステムを示すブロック図である。図２は親指と人差し指とのピンチで数字キーを選択する動作を示す説明図である。図３は、ユーザインターフェイス装置の構成を示すブロック図である。図４は、右手を含むカメラ画像を示す図である。図５は、右手の形を抽出した画像の上で指先をサーチする方法を説明する図である。図６は、左手の形を抽出した画像の上で指先をサーチする方法を説明する図である。
(First Embodiment)
FIG. 1 is a block diagram showing a user interface system according to an embodiment of the present invention. FIG. 2 is an explanatory diagram showing an operation of selecting a numeric key by pinching a thumb and an index finger. FIG. 3 is a block diagram showing the configuration of the user interface device. FIG. 4 is a diagram showing a camera image including the right hand. FIG. 5 is a diagram illustrating a method of searching a fingertip on an image obtained by extracting the shape of the right hand. FIG. 6 is a diagram illustrating a method of searching a fingertip on an image obtained by extracting the shape of the left hand.
図１に示すように、ユーザインターフェイスシステム１は、ユーザインターフェイス装置１０Ａを有するパーソナルコンピュータ１０、撮像装置となるカメラ２０及び液晶表示装置等の表示装置３０を備えている。ここでは、パーソナルコンピュータ１０の一部がユーザインターフェイス装置１０Ａの一部として含む例について説明しているが、ユーザインターフェイス装置１０Ａは、パーソナルコンピュータ１０とは別に設けられてもよい。
図１に示すユーザインターフェイスシステム１は、黒色プレート上で、指示体となる親指と人差し指とを含むユーザの手をカメラ２０で撮影し、パーソナルコンピュータ１０が表示装置３０の表示画面のテンキー（数値入力用キー）上に親指と人差し指とを半透明にして表示する。
As shown in FIG. 1, the
In the
ユーザが入力したい数字キー上で、親指と人差し指とをピンチする（つまむ）ことで、パーソナルコンピュータ１０は、親指と人差し指とのピンチで数字キーが選択されたと判断して、表示装置３０の表示画面の数字入力欄に数字を表示する。図１に示すようにテンキーには、０～９の数字キーの他に「ＤＥＬ」で示される削除キー、「ＣＬＲ」で示されるクリアキーがある。図２に示すように、親指と人差し指との間に指示点（例えば緑色の指示点）が表示され、この指示点を選択しようとするキー、ここでは削除キー上に置き、親指と人差し指とをピンチすることで、削除キーが選択され、数字入力欄の数字「９６３２」の内「２」を消すことができる。親指と人差し指との間に指示点を設けることで、キーが小さくとも選択が容易となるが、指示点は表示しなくともよい。
By pinching (pinching) the thumb and index finger on the number keys that the user wants to input, the
親指と人差し指とを用いて、指先でつまむ動作は、誰でもなじみのある動きであり、選択操作に好適な動作であるため、本実施形態は親指と人差し指とを用いて、指先でつまむ動作を選択動作として用いている。親指と人差し指は指示体となるが、以下の説明では、親指と人差し指はキー上の位置を指定するポインタとして説明を行う。 Since the movement of pinching with the fingertip using the thumb and the index finger is a movement familiar to everyone and suitable for the selection operation, in this embodiment, the movement of pinching with the fingertip using the thumb and the index finger is performed. It is used as a selection operation. The thumb and index finger are indicators, but in the following description, the thumb and index finger will be described as pointers that specify the positions on the keys.
図２では右手で親指と人差し指とをピンチすることで、表示装置３０の表示画面の数字入力欄に数字を表示する例を示しているが、左手で親指と人差し指とをピンチすることで、表示装置３０の表示画面の数字入力欄に数字を表示してもよい。
FIG. 2 shows an example of displaying numbers in the number input field of the display screen of the
図３に示すように、ユーザインターフェイス装置１０Ａは、対象検出部１１、画像切り出し部１２、形態認識部１３、ポインタ選択部１４、ポインタ情報生成部１５、及びポインタ情報送信部１６を備えている。
As shown in FIG. 3, the
対象検出部１１は、カメラ画像を２値化し、対象となる部位（例えば、親指と人差し指）を検出し、指先の画像上の位置と指先を含む領域のサイズを出力する。
対象検出部１１には、カメラ２０で撮影されたカメラ画像が入力される。図４は、右手を含むカメラ画像を示す図である。図４では図示されていないが、右手以外の部分は背景色（ここでは黒色プレートの黒色）となっている。
The
A camera image taken by the
対象検出部１１はカメラ画像を２値化して手の形を抽出した画像の上で、指先を検出するために方向の異なる、斜め２方向の２軸でサーチを行う。２軸でサーチすることで、右手には右下方向に、左手には左下方向に走査してサーチし、最初にぶつかる点を指先とみなすことができる。
The
図５は、右手の形を抽出した画像の上で指先をサーチする方法を説明する図である。図６は、左手の形を抽出した画像の上で指先をサーチする方法を説明する図である。
図５に示すように、２値化された右手の画像を第１サーチ軸でサーチすると、指先を抽出でき、図６に示すように、２値化された左手の画像を第２サーチ軸でサーチすると、指先を抽出できる。このように２軸でサーチを行うと、右手及び左手のいずれであっても指先を検出することできる（図５及び図６において、指先の検出位置を黒点で示す）。
図５及び図６に示すように、右手又は左手の画像を第１サーチ軸と第２サーチ軸の２軸でサーチすると、一方のサーチ軸では指先を抽出できるが、もう一方のサーチ軸の側で、指先ではない箇所（検出位置を黒点で示す）を抽出してしまう（誤検出する）。しかし、認識情報を使って後段のポインタ選択部１４で指先ではない箇所を除外できる。
指先をサーチするには、サーチ方向を下向きから３０°前後の方向に設定する（図５及び図６の角度θ１及び角度θ２を３０度前後とする）のが好適である。
FIG. 5 is a diagram illustrating a method of searching a fingertip on an image obtained by extracting the shape of the right hand. FIG. 6 is a diagram illustrating a method of searching a fingertip on an image obtained by extracting the shape of the left hand.
As shown in FIG. 5, when the binarized right hand image is searched on the first search axis, the fingertip can be extracted, and as shown in FIG. 6, the binarized left hand image is searched on the second search axis. You can extract your fingertips by searching. When the search is performed on two axes in this way, the fingertip can be detected by either the right hand or the left hand (in FIGS. 5 and 6, the detection position of the fingertip is indicated by a black dot).
As shown in FIGS. 5 and 6, when a right-handed or left-handed image is searched on two axes, the first search axis and the second search axis, the fingertip can be extracted on one search axis, but the side of the other search axis. Then, the part that is not the fingertip (the detection position is indicated by a black dot) is extracted (erroneous detection). However, the recognition information can be used to exclude a part other than the fingertip in the
In order to search the fingertip, it is preferable to set the search direction from the downward direction to about 30 ° (the angle θ1 and the angle θ2 in FIGS. 5 and 6 are about 30 °).
対象検出部１１は、第１サーチ軸と第２サーチ軸の２軸でサーチすることで得られた２つの画像上の指先の検出位置と指先を含む領域のサイズを出力する。サイズは規定値とし、画像切り出し部１２で切り出しを行う領域を規定する。図５及び図６に示す、第１切り出し矩形領域及び第２切り出し矩形領域は、画像切り出し部１２で切り出しを行う領域に対応している。
なお、サーチ軸を斜め２方向の２軸としたが、３軸以上としてもよい。
The
Although the search axis is set to 2 axes in two diagonal directions, it may be 3 axes or more.
画像切り出し部１２は、対象検出部１１から出力される、第１サーチ軸及び第２サーチ軸のサーチで検出された指先の検出位置と指先を含む領域のサイズに対応する部分画像を、カメラ２０から出力されるカメラ画像から切り出す。切り出した２つの部分画像は、図５又は図６の第１切り出し矩形領域及び第２切り出し矩形領域に対応している。
なお、カメラ画像の代わりに、前記２値化した画像から部分画像を取り出しても類似した効果が得られる。
The
A similar effect can be obtained by extracting a partial image from the binarized image instead of the camera image.
形態認識部１３は、画像切り出し部１２で切り出した部分画像を、ディープラーニングにより推論し、形態をクラス分けして、部分画像の位置と形態を出力する。
The
カメラ２０で撮像した画像には、図２に示す、親指と人差し指とを含むユーザの手を撮像した画像の他に、種々の画像が含まれる。よって、部分画像も親指と人差し指の画像の他に、種々の画像が含まれる。形態認識部１３は、部分画像を、図７に示す表のような１３個の形態に、０～１２のクラス番号を割り当てて、ディープラーニングにより区分けする。
図７に示すように、クラス０では、親指と人差し指とが離れ、ポインタが非選択状態にあり、クラス１では、親指と人差し指とが付き、ポインタが選択状態にある。親指と人差し指とは指示体となり、非選択状態が指示前の形態、選択状態が指示の形態となる。
クラス２、３では、親指又は人差し指の一本で、ポインタでない状態（非ポインタ）にある。クラス４、５では、人差し指と中指との二本で、ポインタでない状態（非ポインタ）にあるが、クラス４では隙間があり、クラス５では隙間のない状態にある。クラス６、７では、人差し指と中指と薬指の三本で、ポインタでない状態（非ポインタ）にあるが、クラス６では隙間があり、クラス７では隙間のない状態にある。クラス８では、人差し指と中指と薬指と小指の四本で、ポインタでない状態（非ポインタ）にある。クラス９では指の付け根の横からのアングルであり、ポインタでない状態（非ポインタ）にある。クラス１０では手を握ったげんこつの状態であり、ポインタでない状態（非ポインタ）にある。クラス１１ではクラス０～１０以外の指の形状を示し、ポインタでない状態（非ポインタ）にある。クラス１２では指以外の形状を示し、ポインタでない状態（非ポインタ）にある。
なお図７ではクラス０、クラス１は右手の親指と人差し指の部分画像を示しているが、左手の親指と人差し指の部分画像も同様にクラス分けされる。
The images captured by the
As shown in FIG. 7, in
In
In FIG. 7,
ポインタ選択部１４は、部分画像の中から、形態がポインタ形状に該当するものだけを抽出し、ポインタの部分画像の位置と形態を出力する。本実施形態で、ポインタとして使用するのは、クラス０とクラス１のみであり、他の形状が画像に表れた場合は無視して抽出しない。この選択操作により、第１サーチ軸と第２サーチ軸の２軸でのサーチで検出された、指先ではない箇所を除外することができる。複数の候補が残る場合は、カメラ画像の最も上部に位置するものを選択する。これは、カメラの正面に立って指先を伸ばすと、手のどの構成要素よりも上側に指先が現れやすいためである。
The
ポインタ情報生成部１５は、ポインタ選択部１４で抽出された部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報（ポインタの状態を示す情報）を生成し、ポインタの部分画像の位置とポインタの状態を示す情報を出力する。図２に示す、親指と人差し指との間に指示点（例えば緑色の指示点）の位置は、ポインタ情報生成部１５で決められる。
ポインタ情報送信部１６は、部分画像の位置とポインタの状態を示す情報を、パーソナルコンピュータ１０に含まれる呼び出し元のアプリケーションや、ユーザインターフェイス装置１０Ａの外部のホストデバイスに出力する。
The pointer
The pointer
以上、ユーザインターフェイス装置１０Ａに含まれる機能ブロックについて説明した。
これらの機能ブロックを実現するために、ユーザインターフェイス装置１０Ａ又はユーザインターフェイス装置１０Ａを含むパーソナルコンピュータ１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備えたコンピュータ等で構成される。また、ユーザインターフェイス装置１０Ａは、プログラムやＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。
The functional blocks included in the
In order to realize these functional blocks, the
そして、ユーザインターフェイス装置１０Ａ又はユーザインターフェイス装置１０Ａを含むパーソナルコンピュータ１０において、演算処理装置が補助記憶装置からプログラムやＯＳを読み込み、読み込んだプログラムやＯＳを主記憶装置に展開させながら、これらのプログラムやＯＳに基づいた演算処理を行なう。また、この演算結果に基づいて、各装置が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
Then, in the
次に、ユーザインターフェイス装置１０Ａの動作についてフローチャートを用いて説明する。図８はユーザインターフェイス装置の動作を示すフローチャートである。
Next, the operation of the
ステップＳ１１において、対象検出部１１は、カメラ画像を２値化し、対象となる部位を検出し、指先の画像上の位置と指先を含む領域のサイズを出力する。
In step S11, the
ステップＳ１２において、画像切り出し部１２は、指先の検出位置と指先を含む領域のサイズに対応する部分画像を、カメラ２０から出力されるカメラ画像から切り出す。
In step S12, the
ステップＳ１３において、形態認識部１３は、画像切り出し部１２で切り出した部分画像を、ディープラーニングにより推論し、形態をクラス分けして出力する。
In step S13, the
ステップＳ１４において、ポインタ選択部１４は、部分画像がポインタ形状（図７のクラス０及びクラス１）に該当するかどうかを判断する。ポインタ形状に該当する場合は、ステップＳ１５に移り、ポインタ形状に該当しない場合は、ステップＳ１１に戻る。
In step S14, the
ステップＳ１５において、ポインタ情報生成部１５は、部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報を生成する。
In step S15, the pointer
ステップＳ１６において、ポインタ情報送信部１６は、ポインタの位置とポインタの状態を示す情報を、呼び出し元のアプリケーションや、外部のホストデバイスに送信する。
In step S16, the pointer
以上説明した第１の実施形態のユーザインターフェイス装置において、ポインタの精度向上のために、以下の第２～第４の実施形態のユーザインターフェイス装置とすることができる。 In the user interface device of the first embodiment described above, the user interface device of the following second to fourth embodiments can be used in order to improve the accuracy of the pointer.
（第２の実施形態）
第１の実施形態のユーザインターフェイスシステムにおいて、ポインタが移動状態にある場合がある。この場合、表示装置３０の表示画面のポインタの移動が速いと、ユーザがポインタの操作が難しくなる。
例えば、親指と人差し指とが離れ、ポインタが非選択状態にあるときには、ポインタが移動状態にある場合がある。具体的には、図１に示すように、親指と人差し指のピンチ動作で、数字キー「２」を選択して表示装置３０の表示画面の数字入力欄に数字「２」を入力した後に、数字「２」を削除する場合には、ポインタは数字キー「２」上から削除キー「DEL」上に移動する。
(Second embodiment)
In the user interface system of the first embodiment, the pointer may be in a moving state. In this case, if the pointer on the display screen of the
For example, when the thumb and index finger are separated and the pointer is in the non-selected state, the pointer may be in the moving state. Specifically, as shown in FIG. 1, by pinching the thumb and index finger, select the number key "2", enter the number "2" in the number input field on the display screen of the
本実施形態では、ポインタ情報生成部が、ポインタの移動を滑らかなものとするため、過去のポインタ座標の履歴を用いて、移動平均を取って、ポインタの座標を補正する。
図９は本発明の第２の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。本実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成は、ポインタ情報生成部の構成が異なる点を除いて第１の実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成と同じである。
本実施形態のユーザインターフェイス装置では、図３に示すポインタ情報生成部１５がポインタ情報生成部１５Ａに置き換わっている。
In the present embodiment, in order to make the movement of the pointer smooth, the pointer information generation unit takes a moving average using the history of the past pointer coordinates and corrects the coordinates of the pointer.
FIG. 9 is a block diagram showing a pointer information generation unit of the user interface device according to the second embodiment of the present invention. The configuration of the user interface device and the user interface system of the present embodiment is the same as the configuration of the user interface device and the user interface system of the first embodiment except that the configuration of the pointer information generation unit is different.
In the user interface device of the present embodiment, the pointer
図９に示すように、ポインタ情報生成部１５Ａは、ポインタ状態情報生成部１５０１、移動平均演算部１５０２、座標記憶部１５０３を備えている。
移動平均演算部１５０２は、ポインタ選択部１４から出力される、ポインタの位置を示す座標を、座標記憶部１５０３にポインタ座標の履歴として順次記憶する。移動平均演算部１５０２は、ポインタ選択部１４からポインタの位置を示す座標が入力されると、座標記憶部１５０３に記憶されたポインタ座標の履歴を読み出して移動平均値を取り、補正後のポインタの座標（ポインタの部分画像の位置を示す情報）を出力する。
As shown in FIG. 9, the pointer
The moving
ポインタ状態情報生成部１５０１は図３に示すポインタ情報生成部１５と同様な動作を行い、ポインタ選択部１４で抽出された部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報（ポインタの状態を示す情報）を生成して、ポインタ情報送信部１６に出力する。
The pointer state
ポインタ情報生成部１５Ａを含むユーザインターフェイス装置１０の動作は、ステップＳ１５の後にステップＳ１７が挿入されている点を除いて、図８に示すフローチャートと同じである。図１０は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。
ステップＳ１７では、移動平均演算部１５０２は、ポインタ選択部１４からポインタの位置を示す座標が入力されると、座標記憶部１５０３に記憶されたポインタ座標の履歴を読み出して移動平均値を取り、補正後のポインタの座標を出力する。ステップＳ１７はステップＳ１５と同時に行われてもよく、ステップＳ１５の前に行われてもよい。
The operation of the
In step S17, when the coordinates indicating the position of the pointer are input from the
（第３の実施形態）
第１の実施形態のユーザインターフェイスシステムにおいて、ユーザの操作で形態（ポインタ状態）が変わる際に、ユーザが意図せずポインタの座標がぶれる場合がある。例えば、図１に示すように、表示装置３０の表示画面の数字入力欄に入力した数字「２」を削除するために、親指と人差し指とが開いた状態で、ポインタが削除キー「ＤＥＬ」上に移動し、削除キー「ＤＥＬ」上で停止し、親指と人差し指のピンチする場合に、ユーザが意図せずポインタの座標がぶれる場合がある。また、親指と人差し指のピンチした状態から親指と人差し指とを開く場合に、ユーザが意図せずポインタの座標がぶれる場合がある。
本実施形態では、ポインタ状態が変化する際にポインタの位置をロックし、選択状態が変わる直前の座標を維持する。
(Third embodiment)
In the user interface system of the first embodiment, when the form (pointer state) is changed by the user's operation, the coordinates of the pointer may be unintentionally blurred by the user. For example, as shown in FIG. 1, in order to delete the number "2" entered in the number input field of the display screen of the
In the present embodiment, the position of the pointer is locked when the pointer state changes, and the coordinates immediately before the selection state changes are maintained.
図１１は本発明の第３の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。本実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成は、ポインタ情報生成部の構成が異なる点を除いて第１の実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成と同じである。
本実施形態のユーザインターフェイス装置では、図３に示すポインタ情報生成部１５がポインタ情報生成部１５Ｂに置き換わっている。
FIG. 11 is a block diagram showing a pointer information generation unit of the user interface device according to the third embodiment of the present invention. The configuration of the user interface device and the user interface system of the present embodiment is the same as the configuration of the user interface device and the user interface system of the first embodiment except that the configuration of the pointer information generation unit is different.
In the user interface device of the present embodiment, the pointer
図１１に示すように、ポインタ情報生成部１５Ｂは、座標変化量検出部１５１１、座標記憶部１５１２、ポインタ状態情報生成部１５１３、座標ロック制御部１５１４、座標選択部１５１５及びカウンタ１５１６を備えている。ポインタ状態情報生成部１５１３は、図９に示したポインタ状態情報生成部１５０１と同様な機能を有する。
As shown in FIG. 11, the pointer
座標記憶部１５１２は、座標選択部１５１５から出力される、ポインタの位置を示す座標（ポインタ座標）を順次記憶する。
座標変化量検出部１５１１は、ポインタ選択部１４からポインタの位置を示す座標（ポインタ座標）が入力されると、座標記憶部１５１２に記憶されたポインタ座標を読み出して座標変化量を検出し、座標ロック制御部１５１４に出力する。
The coordinate
When the coordinates (pointer coordinates) indicating the position of the pointer are input from the
ポインタ状態情報生成部１５１３は、図９に示すポインタ情報生成部１５０１と同様な動作を行い、ポインタ選択部１４で抽出された部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報（ポインタの状態を示す情報）を生成して、座標ロック制御部１５１４及びポインタ情報送信部１６に出力する。
The pointer state
座標ロック制御部１５１４は、ポインタ状態情報生成部１５１３から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出し、ポインタ状態が変化する際にポインタの位置をロックするために、座標選択部１５１５にロック制御信号を出力する。
座標ロック制御部１５１４は、座標変化量検出部１５１１から出力される直前の座標からの変化量（移動量に対応する）が、入力される所定の変化量（移動量に対応する）を超える場合はロック制御信号を出力しない。親指と人差し指のピンチした状態から親指と人差し指とを開き、別なキーに移動するために移動量が所定の移動量を超える場合には、ポインタの位置をロックする必要ないからである。
座標ロック制御部１５１４は、ロック制御信号を出力後に、座標変化量検出部１５１１から出力される直前の座標からの変化量（移動量に対応する）が、入力される所定の変化量を超える場合はロック解除制御信号を座標選択部１５１５に出力する。
The coordinate
When the change amount (corresponding to the movement amount) from the coordinates immediately before being output from the coordinate change
When the coordinate
座標選択部１５１５は、ロック制御信号が入力されない場合には、ポインタ選択部１４から入力された、ポインタの位置を示す座標（ポインタ座標）を座標記憶部１５１２及びポインタ情報送信部１６に出力する。
一方、座標選択部１５１５は、ロック制御信号が入力された場合には、座標記憶部１５１２に記憶された、ロックする直前のポインタ座標を読み出し、このポインタ座標を座標記憶部１５１２及びポインタ情報送信部１６に出力する。こうして、ロック解除制御信号が入力されるまで、ポインタ状態が変化する際にポインタの位置がロックされる。
座標選択部１５１５は、ロック解除制御信号が入力された場合は、ポインタの位置のロックを解除し、ポインタ選択部１４から入力された、ポインタの位置を示す座標（ポインタ座標）をポインタ情報送信部１６に出力する。
When the lock control signal is not input, the coordinate
On the other hand, when the lock control signal is input, the coordinate
When the unlock control signal is input, the coordinate
なお、座標ロック制御部１５１４は、ポインタ状態情報生成部１５１３から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出したときに、時間をカウントするカウンタ１５１６を動作させ、所定の時間経過したときに、ロック解除制御信号を座標選択部１５１５に出力してもよい。
また、ポインタ状態情報生成部１５１３から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出したときに、カウンタ１５１６を動作させ、所定の時間経過したときに、入力される所定の変化量を小さい値に書き換えてもよい。こうすることで、ロック解除制御信号を出力する基準となる所定の変化量が小さくなり、座標選択部１５１５でのロックが外れやすい状態となる。
ポインタ状態の変化を検出したときからの経過時間をカウンタ１５１６で測定しない場合には、カウンタ１５１６を設けなくともよい。
The coordinate
Further, the
If the
なお、座標ロック制御部１５１４は、経過時間をカウンタ１５１６で測定する代わりに、カメラ画像のフレーム数をカウントしておき、フレーム数が所定の数を超えたときに、ロック解除制御信号を座標選択部１５１５に出力したり、入力される所定の変化量を小さい値に書き換えてもよい。
Instead of measuring the elapsed time with the
ポインタ情報生成部１５Ｂを含むユーザインターフェイス装置１０の動作は、ステップＳ１５とステップＳ１６との間にステップＳ１８～ステップＳ２１が挿入されている点を除いて、図８に示すフローチャートと同じである。図１２は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。
The operation of the
ステップＳ１８では、座標ロック制御部１５１４は、ポインタ状態情報生成部１５１３から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出し、ポインタ状態が変化するかどうかを判断する。ポインタ状態が変化する場合は、ステップＳ１９に移り、ポインタ状態が変化しない場合はロック制御信号を出力せず、ステップＳ２１に移る。
In step S18, the coordinate
ステップＳ１９では、座標ロック制御部１５１４は、座標変化量検出部１５１１から出力される、ロックする直前の座標からの変化量（移動量に対応する）が、入力される所定の変化量を超えるかどうかを判断する。変化量（移動量に対応する）が、入力される所定の変化量を超える場合にはロック制御信号を出力せずステップＳ２１に移る。入力される所定の変化量を超えない場合には、ステップＳ２０に移る。
In step S19, the coordinate
ステップＳ２０では、ポインタ状態が変化する際にポインタの位置をロックするために、座標選択部１５１５にロック制御信号を出力する。そして、座標選択部１５１５は、ロック制御信号が入力された場合には、選択状態が変わる直前のポインタ座標を維持（ロック）する。
In step S20, a lock control signal is output to the coordinate
ステップＳ２１では、座標選択部１５１５は、ロック制御信号が入力されない場合には、入力されたポインタ座標を選択して、ポインタ情報送信部１６に出力する。
一方、座標選択部１５１５は、ロック制御信号が入力された場合には、座標記憶部１５１２に記憶された、ロックする直前のポインタ座標を読み出し、このポインタ座標を選択して、ポインタ情報送信部１６に出力する。そして、ロック解除制御信号が入力されるまで、選択状態が変わる直前のポインタ座標が維持（ロック）される。また、ポインタ状態情報生成部１５１３は、ポインタの状態を示す情報を生成して、ポインタ情報送信部１６に出力する。
In step S21, when the lock control signal is not input, the coordinate
On the other hand, when the lock control signal is input, the coordinate
（第４の実施形態）
第１の実施形態のユーザインターフェイスシステムにおいて、ノイズ等により、瞬間的にポインタの状態の情報が失われる場合がある。ポインタの状態の情報が失われる問題への対応のため、本実施形態では、ポインタの状態の切り替えを、同じ変更状態の形態が所定の回数連続した場合に初めて行う。
(Fourth Embodiment)
In the user interface system of the first embodiment, information on the state of the pointer may be momentarily lost due to noise or the like. In order to deal with the problem that the information on the state of the pointer is lost, in the present embodiment, the state of the pointer is switched only when the same changed state is continuously performed a predetermined number of times.
図１３は本発明の第４の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。本実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成は、ポインタ情報生成部の構成が異なる点を除いて第１の実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成と同じである。
本実施形態のユーザインターフェイス装置では、図３に示すポインタ情報生成部１５がポインタ情報生成部１５Ｃに置き換わっている。
FIG. 13 is a block diagram showing a pointer information generation unit of the user interface device according to the fourth embodiment of the present invention. The configuration of the user interface device and the user interface system of the present embodiment is the same as the configuration of the user interface device and the user interface system of the first embodiment except that the configuration of the pointer information generation unit is different.
In the user interface device of the present embodiment, the pointer
図１３に示すように、ポインタ情報生成部１５Ｃは、ポインタ状態情報生成部１５２１、ポインタ状態記憶部１５２２、連続状態検出部１５２３、状態選択部１５２４及び選択状態記憶部１５２５を備えている。ポインタ状態情報生成部１５２１は、図９に示したポインタ状態情報生成部１５０１と同様な機能を有する。図１３において図示されていないが、ポインタ情報生成部１５Ｃは、ポインタの部分画像の位置を示す情報をポインタ情報送信部１６に出力する。
As shown in FIG. 13, the pointer
ポインタ状態情報生成部１５２１は、図９に示すポインタ状態情報生成部１５０１と同様な動作を行い、ポインタ選択部１４で抽出された部分画像がクラス０かクラス１かにより、ポインタが選択状態にあるか、非選択状態にあるかを示す情報（ポインタの状態を示す情報）を生成して、ポインタの状態を示す情報を、ポインタ状態記憶部１５２２に順次記憶するとともに状態選択部１５２４に出力する。
The pointer state
連続状態検出部１５２３は、ポインタ状態記憶部１５２２からポインタの状態を読み出し、ポインタ状態が変化し、変化後のポインタ状態が所定の回数連続して検出した場合に、ポインタの状態の切り替え制御信号を状態選択部１５２４に出力する。
The continuous
状態選択部１５２４は、ポインタ状態情報生成部１５２１から出力されるポインタ状態と、選択状態記憶部１５２５から読み出したポインタ状態とを比較する。
状態選択部１５２４は、ポインタ状態情報生成部１５２１から出力されるポインタ状態と、選択状態記憶部１５２５から読み出したポインタ状態とが同じであれば、そのポインタ状態を示す情報をポインタ情報送信部１６に出力するとともに、選択状態記憶部１５２５に記憶する。
一方、状態選択部１５２４は、ポインタ状態情報生成部１５２１から出力されるポインタ状態が、選択状態記憶部１５２５から読み出したポインタ状態と異なる場合は、連続状態検出部１５２３からポインタの状態の切り替え制御信号を受けたときのみ、ポインタ状態を、ポインタ状態情報生成部１５２１から出力されるポインタ状態に切り替えて、切り替えたポインタ状態を、ポインタ情報送信部１６に出力するとともに、選択状態記憶部１５２５に記憶する。状態選択部１５２４は、ポインタの状態の切り替え制御信号を受けない場合は、ポインタ状態情報生成部１５２１から出力されるポインタ状態に切り替えることなく、選択状態記憶部１５２５から読み出したポインタ状態を、ポインタ情報送信部１６に出力するとともに、選択状態記憶部１５２５に記憶する。
The
If the pointer state output from the pointer state
On the other hand, when the pointer state output from the pointer state
ポインタ情報生成部１５Ｃを含むユーザインターフェイス装置１０の動作は、ステップＳ１５とステップＳ１６との間にステップＳ２２～ステップＳ２５が挿入されている点を除いて、図８に示すフローチャートと同じである。図１４は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。
The operation of the
ステップＳ２２では、連続状態検出部１５２３は、ポインタ状態記憶部１５２２からポインタの状態を読み出し、ポインタ状態が変化するかどうかを判断する。ポインタ状態が変化する場合はステップＳ２３に移り、ポインタ状態が変化しない場合はステップＳ１６に移る。
In step S22, the continuous
ステップＳ２３では、連続状態検出部１５２３は、ポインタ状態記憶部１５２２からポインタの状態の履歴を読み出し、変化後のポインタ状態が所定の回数連続して検出できるかを判断する。同じポインタ状態が連続して検出できる場合はポインタの状態の切り替え制御信号を状態選択部１５２４に出力し、ステップＳ２４に移り、同じポインタ状態が連続して検出できない場合はステップＳ２５に移る。
In step S23, the continuous
ステップＳ２４では、状態選択部１５２４は、ポインタ状態情報生成部１５２１から出力される変化したポインタ状態を選択する。
In step S24, the
ステップＳ２５では、状態選択部１５２４は、選択状態記憶部１５２５から読み出した変化前のポインタ状態を選択する。
In step S25, the
（第５の実施形態）
カメラ画像とその認識の状態をディスプレイに表示しないようなアプリケーションでは、ユーザがうっかり手をカメラの視野から外してしまってユーザインターフェイス装置で認識されなくなっても、その異常に気づきにくい。
本実施形態では、音や光でユーザに認識状況を報知する報知部を設ける。
(Fifth Embodiment)
In an application that does not display the camera image and its recognition status on the display, even if the user inadvertently removes his or her hand from the field of view of the camera and the user interface device does not recognize it, it is difficult to notice the abnormality.
In the present embodiment, a notification unit is provided to notify the user of the recognition status by sound or light.
図１５は本発明の第５の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。
本実施形態のユーザインターフェイス装置では、図３に示すユーザインターフェイス装置１０Ａにポインタ有無判断部１７と報知部１８とが追加されている。
FIG. 15 is a block diagram showing a pointer information generation unit of the user interface device according to the fifth embodiment of the present invention.
In the user interface device of the present embodiment, the pointer presence /
ポインタ有無判断部１７は、ポインタの位置がカメラ画像の領域から外れているかどうかを判断する。
The pointer presence /
報知部１８は、ポインタ有無判断部１７の判断結果に基づいて、ポインタの位置がカメラ画像の領域から外れている場合は、音でユーザに認識状況を報知する鳴動デバイス、光でユーザに認識状況を報知するＬＥＤ等の発光素子である。
報知部１８は、鳴動デバイスを用いる場合、ポインタの認識状況に応じて、ユーザインターフェイス動作音を変えたり、あるいはユーザインターフェイス動作音をオン／オフすることで、ユーザに認識状況を報知する。
報知部１８は、ＬＥＤ等の発光素子を用いる場合、ユーザインターフェイス装置１０ＡにＬＥＤを取り付けて、発光色を、あるいは発光をオン／オフすることで点滅させて、ユーザに認識状況を報知する。
The
When the ringing device is used, the
When a light emitting element such as an LED is used, the
ポインタ有無判断部１７と報知部１８とを含むユーザインターフェイス装置１０Ａの動作のフローチャートは、図８に示したステップＳ１６の後に、ステップＳ２６とステップＳ２７が挿入されている点を除いて、図８に示すフローチャートと同じである。
図１６は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。
A flowchart of the operation of the
FIG. 16 is a flowchart showing the operation of a part of the user interface device of the present embodiment.
ステップＳ２６では、ポインタ有無判断部１７が、ポインタの位置がカメラ画像の領域から外れているかどうかを判断する。ポインタの位置がカメラ画像の領域から外れている場合はステップＳ２７に移り、ポインタの位置がカメラ画像の領域から外れていない場合は処理を終了する。
ステップＳ２７では、報知部１８がユーザに認識状況を報知する。その後、処理を終了する。
In step S26, the pointer presence /
In step S27, the
以上、本発明の第1～第５の実施形態は、指示体として親指と人差し指とを用い、親指と人差し指とをピンチ動作で選択する選択対象はテンキーを例にとって説明したが、選択対象によっては両手を用いてピンチ動作で選択したい場合がある。例えば、選択対象がキーボードである場合、文字入力をする場合に両手を用いて入力したい場合がある。この場合には、キーボードの画像を２つに分け、左右の画像のそれぞれについて２軸でサーチすればよい。
本実施形態では、クラス０とクラス１の２種類のみをポインタに割り当てて選択、非選択の２つの状態を表しているが、他の実施形態として、４つの形態をポインタに割り当てて、ボタンＡの選択／非選択、ボタンＢの選択／非選択といった応用も可能である。
例えば、図７において、クラス０とクラス１の他に、クラス４とクラス５をポインタに割り当てて、ボタンＡの選択／非選択についてはクラス１とクラス０、ボタンＢの選択／非選択についてはクラス５とクラス４をポインタとすることができる。
クラス０とクラス１の２種類によるポインタの代わりに、クラス４とクラス５の２種類によるポインタを用いてもよい。
As described above, in the first to fifth embodiments of the present invention, the thumb and the index finger are used as the indicators, and the selection target for selecting the thumb and the index finger by the pinch motion has been described by taking the numeric keypad as an example. You may want to select by pinching with both hands. For example, when the selection target is a keyboard, it may be desired to input characters using both hands. In this case, the keyboard image may be divided into two, and each of the left and right images may be searched on two axes.
In the present embodiment, only two types of
For example, in FIG. 7, in addition to
Instead of the pointers of the two types of
本発明の第１～第５の実施形態は、親指と人差し指とをピンチ動作に限定されず、図１７及び図１８に示すように、伸ばした親指を図１７に示す形態から回転させて図１８に示す形態とすることで、親指の爪の面が９０°回転し、非選択、選択を表すことができる。図１７及び図１８において、点線の領域は指先を示す。
また、本発明は指示体が含まれているカメラ画像に対して適用でき、指示体は親指と人差し指に限定されない。例えば、手首から先の画像でジャンケンなどの形態を利用することで非選択、選択を表すことができる。
さらに、遠く離れたところからのアングルでカメラで撮像し、カメラ画像における人の立ち位置で位置を示し、手の上げ下げ(万歳、水平開き)で状態を示すことができる。
本発明の第２～第５の実施形態は、２つの実施形態又は３つ以上の実施形態を適宜組み合わせることができる。例えば、ポインタの移動を滑らかなものとし、且つユーザの操作で形態（ポインタ状態）が変わる際に、ユーザが意図せずポインタの座標がぶれることを抑制するために、第２の実施形態と第３の実施形態を組み合わせることができる。
The first to fifth embodiments of the present invention are not limited to the pinch motion of the thumb and the index finger, and as shown in FIGS. 17 and 18, the extended thumb is rotated from the form shown in FIG. By adopting the form shown in the above, the surface of the thumb nail can be rotated by 90 ° to indicate non-selection or selection. In FIGS. 17 and 18, the dotted area indicates the fingertip.
Further, the present invention can be applied to a camera image including an indicator, and the indicator is not limited to the thumb and the index finger. For example, non-selection or selection can be expressed by using a form such as rock-paper-scissors in the image from the wrist to the tip.
Furthermore, it is possible to take an image with a camera from an angle from a distant place, indicate the position by the standing position of a person in the camera image, and indicate the state by raising and lowering the hand (hurray, horizontal opening).
The second to fifth embodiments of the present invention can appropriately combine two embodiments or three or more embodiments. For example, in order to make the movement of the pointer smooth and to prevent the coordinates of the pointer from being unintentionally blurred when the form (pointer state) is changed by the user's operation, the second embodiment and the second embodiment. 3 embodiments can be combined.
以上説明した第２～第４の実施形態は、第１の実施形態の２軸サーチを前提としているが、第２～第４の実施形態はポインタのポインタの精度向上のための構成であって、ポインタ情報生成部以外の構成は第１の実施形態の構成に限定されない。例えば、右手か左手かを予め指定すれば対象検出部１１は１軸サーチであっても指先を求めることができる。
また、第５の実施形態は第１～第４の実施形態のいずれかを前提としているが、第５の実施形態は指示体がカメラ画像から外れた場合に報知するための構成であって、特に第１～第４の実施形態の構成に限定されない。
The second to fourth embodiments described above are premised on the two-axis search of the first embodiment, but the second to fourth embodiments are configured to improve the accuracy of the pointer of the pointer. The configuration other than the pointer information generation unit is not limited to the configuration of the first embodiment. For example, if the right hand or the left hand is specified in advance, the
Further, the fifth embodiment is premised on any one of the first to fourth embodiments, but the fifth embodiment is a configuration for notifying when the indicator deviates from the camera image. In particular, the configuration is not limited to the first to fourth embodiments.
以上、本発明に係る実施形態について説明した。本実施形態のユーザインターフェイス装置に含まれる各構成部は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の制御システムに含まれる各構成部のそれぞれの協働により行なわれるサーボ制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。 The embodiment according to the present invention has been described above. Each component included in the user interface device of the present embodiment can be realized by hardware, software, or a combination thereof. Further, a servo control method performed by cooperation of each component included in the above control system can also be realized by hardware, software, or a combination thereof. Here, what is realized by software means that it is realized by a computer reading and executing a program.
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。 Programs can be stored and supplied to a computer using various types of non-transitory computer readable medium. Non-temporary computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, hard disk drives), optomagnetic recording media (eg, optomagnetic disks), CD-ROM (Read Only Memory), CD-R, CD-R /. W includes semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).
上述した各実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。 Although each of the above-described embodiments is a preferred embodiment of the present invention, the scope of the present invention is not limited to the above-described embodiment, and various modifications are made without departing from the gist of the present invention. It is possible to carry out in.
本開示によるユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラムは、上述した実施形態を含め、次のような構成を有する各種各様の実施形態を取ることができる。
（１） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像を２値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができる。
The user interface device, user interface system, and user interface program according to the present disclosure can take various embodiments having the following configurations, including the above-described embodiment.
(1) A user interface device that specifies an instruction by identifying the form of the indicator based on a camera image of an indicator whose form changes due to an instruction.
With respect to the binarized image of the camera image, in order to detect the end portion of the object included in the camera image, a detection unit that searches in at least two diagonal directions with different directions, and a detection unit.
An image cutout portion that cuts out a partial image from the camera image based on the detected end portion, and an image cutout portion.
When the partial image is a partial image obtained by imaging the indicator as the object, a selection unit for selecting a partial image showing the form before the instruction and a partial image showing the form of the instruction by the indicator.
An information generation unit that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
User interface device with.
According to this user interface device, it is possible to accurately detect the position and the form of the indicator in the camera image.
（２） 前記部分画像をディープラーニングによりクラス分けする形態認識部を備え、
前記選択部は、クラス分けされた部分画像から前記指示体が指示前の形態を示す部分画像と指示後の形態を示す部分画像とを選択する、上記（１）に記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、機械的な２軸のサーチによる画像認識と、画像のディープラーニングとを組み合わせることで、計算コストの低減と柔軟性の高い認識を両立させることができる。
(2) Equipped with a morphology recognition unit that classifies the partial images by deep learning.
The user interface device according to (1) above, wherein the selection unit selects a partial image showing the form before the instruction and a partial image showing the form after the instruction from the classified partial images.
According to this user interface device, by combining image recognition by mechanical two-axis search and deep learning of an image, it is possible to achieve both reduction of calculation cost and highly flexible recognition.
（３） 前記指示体は、ユーザの親指と人差し指であり、
前記指示前の形態は、前記親指と前記人差し指が開いた状態であり、前記指示の形態は前記親指と前記人差し指が付いた状態である、上記（1）又は（２）に記載のユーザインターフェイス装置。
(3) The indicator is the user's thumb and index finger.
The user interface device according to (1) or (2) above, wherein the form before the instruction is a state in which the thumb and the index finger are open, and the form of the instruction is a state in which the thumb and the index finger are attached. ..
（４） 前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、上記（１）から（３）のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体の移動を滑らかなものとすることができる。
(4) The information generation unit is
A coordinate storage unit that stores coordinates indicating the position of the indicator, and
When the coordinates indicating the position of the indicator are input, the history of the coordinates stored in the coordinate storage unit is read out to obtain a moving average value, and the input coordinates are corrected using the moving average value. Equipped with a moving average value calculation unit that outputs
The user interface device according to any one of (1) to (3) above, wherein the coordinates indicating the position of the indicator are output from the selection unit.
According to this user interface device, the movement of the indicator can be made smooth.
（５） 前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、該指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、上記（１）から（４）のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザの操作で指示体の形態が変わる際に、ユーザが意図せず指示体の座標がぶれることを抑えることができる。
(5) The information generation unit is
A coordinate storage unit that stores coordinates indicating the position of the indicator, and
To detect a change in the form of the indicator based on the generated information indicating whether the indicator is the form before the instruction or the form of the instruction, and to lock the position of the indicator when the form changes. A coordinate lock control unit that outputs a lock control signal,
When the lock control signal is not input, the input coordinates indicating the position of the indicator are output, and when the lock control signal is input, the coordinates stored in the coordinate storage unit immediately before locking are output. It is provided with a coordinate selection unit that reads out the coordinates of the indicator, maintains the coordinates of the indicator immediately before the form changes, and outputs the coordinates of the indicator.
The user interface device according to any one of (1) to (4) above, wherein the coordinates indicating the position of the indicator are output from the selection unit.
According to this user interface device, it is possible to prevent the coordinates of the indicator body from being unintentionally blurred by the user when the form of the indicator body is changed by the user's operation.
（６） 前記指示体の位置を示す座標が入力されると、前記座標記憶部から、ロックする直前の前記指示体の位置を示す座標を読み出して座標変化量を検出する座標変化量検出部を備え、
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記（５）に記載のユーザインターフェイス装置。
(6) When the coordinates indicating the position of the indicator are input, the coordinate change detection unit that reads the coordinates indicating the position of the indicator immediately before locking from the coordinate storage unit and detects the coordinate change amount is used. Prepare,
When the coordinate lock control unit detects a change in the form of the indicator, the coordinate lock control unit outputs the lock control signal when the change amount from the immediately preceding coordinate does not exceed the input predetermined change amount. When the input predetermined change amount is exceeded, the lock control signal is not output, and when the change amount from the immediately preceding coordinate after the lock control signal is output exceeds the input predetermined change amount, the lock control signal is not output. Output unlock control signal,
The coordinate selection unit, when receiving the unlock control signal, releases the maintenance of the coordinates of the indicator and outputs the input coordinates indicating the position of the indicator, as described in (5) above. User interface device.
（７） 前記座標ロック制御部は、前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、ロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記（５）に記載のユーザインターフェイス装置。
(7) The coordinate lock control unit outputs a lock release control signal when a predetermined time has elapsed from the time when the change in the form of the indicator is detected and the lock control signal is output.
The coordinate selection unit, when receiving the unlock control signal, releases the maintenance of the coordinates of the indicator and outputs the input coordinates indicating the position of the indicator, as described in (5) above. User interface device.
（８） 前記座標ロック制御部が前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、入力される前記所定の変化量を前記所定の変化量より小さい値に書き換える、上記（６）に記載のユーザインターフェイス装置。 (8) When a predetermined time has elapsed from the time when the coordinate lock control unit detects a change in the form of the indicator and outputs the lock control signal, the predetermined change amount to be input is changed to the predetermined change. The user interface device according to (6) above, which is rewritten to a value smaller than the amount.
（９） 前記情報生成部は、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
上記（１）から（８）のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ノイズ等により、瞬間的にポインタ情報が失われることを抑制できる。
(9) The information generation unit is
A storage unit that stores the generated information indicating whether the indicator is in the state before the instruction or in the state of the instruction.
When the state of the indicator is read from the storage unit, the state of the indicator changes, and the changed state of the indicator is continuously detected a predetermined number of times, a control signal for switching the state of the indicator. And the continuous state detector that outputs
The switching control is performed when the generated information indicating whether the indicator is in the state before the instruction or the state of the instruction is input and the state indicated by the input information is different from the state output before the input. When a signal is received, a state selection unit that switches the state output before the input to the state indicated by the input information and outputs the signal.
A selection state storage unit that stores the state output before the input, and
With,
The user interface device according to any one of (1) to (8) above.
According to this user interface device, it is possible to suppress momentary loss of pointer information due to noise or the like.
（１０） 前記指示体の位置が前記カメラ画像の領域から外れているかどうかを判断する判断部と、
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、上記（１）から（９）のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザに指示体の位置が前記カメラ画像の領域から外れた状況を報知することができる。
(10) A determination unit for determining whether or not the position of the indicator is out of the area of the camera image, and a determination unit.
A notification unit that notifies the user when the position of the indicator is out of the area of the camera image.
The user interface device according to any one of (1) to (9) above.
According to this user interface device, it is possible to notify the user of the situation where the position of the indicator is out of the area of the camera image.
（１１） 上記（１）から（１０）のいずれかに記載のユーザインターフェイス装置と、
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。
このユーザインターフェイスシステムによれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出して、検出結果に基づいて表示装置の表示画面を操作することができる。
(11) The user interface device according to any one of (1) to (10) above, and
An imaging device that captures an image of an indicator whose form changes due to an instruction,
A display device that displays a display screen that is operated based on information indicating whether the indicator output from the user interface device is in the form before the instruction or in the form of the instruction.
A user interface system with.
According to this user interface system, it is possible to accurately detect the position and shape of the indicator in the camera image and operate the display screen of the display device based on the detection result. ..
（１２） コンピュータに、
カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラム。
このユーザインターフェイス用プログラムによれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができる。
(12) On the computer
In order to detect the edge of the object contained in the camera image, a detection function that searches in at least two diagonal directions with different directions, and a detection function.
An image cropping function that crops a partial image from the camera image based on the detected edge,
When the partial image is a partial image of an indicator whose form changes due to an instruction as the object, the partial image showing the form before the instruction and the partial image showing the form of the instruction are shown. With the selection function to select
An information generation function that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
A program for the user interface that executes.
According to this user interface program, it is possible to accurately detect the position and shape of the indicator in the camera image.
以上説明した（１）～（１２）の実施態様以外にも、本発明は次に示す実施態様とも認識できる。 In addition to the embodiments (1) to (12) described above, the present invention can also be recognized as the following embodiments.
（１３） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体の移動を滑らかなものとすることができる。
(13) A user interface device that specifies an instruction by identifying the form of the indicator based on a camera image of an indicator whose form changes due to an instruction.
An image cutout portion that cuts out a partial image from the camera image,
When the partial image is a partial image obtained by imaging the indicator as the object, a selection unit for selecting a partial image showing the form before the instruction and a partial image showing the form of the instruction by the indicator.
An information generation unit that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
Equipped with
The information generation unit
A coordinate storage unit that stores coordinates indicating the position of the indicator, and
When the coordinates indicating the position of the indicator are input, the history of the coordinates stored in the coordinate storage unit is read out to obtain a moving average value, and the input coordinates are corrected using the moving average value. Equipped with a moving average value calculation unit that outputs
A user interface device in which coordinates indicating the position of the indicator are output from the selection unit.
According to this user interface device, the movement of the indicator can be made smooth.
（１４） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、この指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザの操作で指示体の形態が変わる際に、ユーザが意図せず指示体の座標がぶれることを抑えることができる。
(14) A user interface device that specifies an instruction by identifying the form of the indicator based on a camera image of an indicator whose form changes due to an instruction.
An image cutout portion that cuts out a partial image from the camera image,
When the partial image is a partial image obtained by imaging the indicator as the object, a selection unit for selecting a partial image showing the form before the instruction and a partial image showing the form of the instruction by the indicator.
An information generation unit that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
Equipped with
The information generation unit
A coordinate storage unit that stores coordinates indicating the position of the indicator, and
To detect a change in the form of the indicator based on the generated information indicating whether the indicator is the form before the instruction or the form of the instruction, and to lock the position of the indicator when the form changes. A coordinate lock control unit that outputs a lock control signal,
When the lock control signal is not input, the input coordinates indicating the position of the indicator are output, and when the lock control signal is input, the coordinates stored in the coordinate storage unit immediately before locking are output. It is provided with a coordinate selection unit that reads out the coordinates of the indicator, maintains the coordinates of the indicator immediately before the form changes, and outputs the coordinates of the indicator.
A user interface device in which coordinates indicating the position of the indicator are output from the selection unit.
According to this user interface device, it is possible to prevent the coordinates of the indicator body from being unintentionally blurred by the user when the form of the indicator body is changed by the user's operation.
（１５） 前記指示体の位置を示す座標が入力されると、前記座標記憶部から、ロックする直前の前記指示体の位置を示す座標を読み出して座標変化量を検出する座標変化量検出部を備え、
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記（１４）に記載のユーザインターフェイス装置。
(15) When the coordinates indicating the position of the indicator are input, the coordinate change detection unit that reads the coordinates indicating the position of the indicator immediately before locking from the coordinate storage unit and detects the coordinate change amount is used. Prepare,
When the coordinate lock control unit detects a change in the form of the indicator, the coordinate lock control unit outputs the lock control signal when the change amount from the immediately preceding coordinate does not exceed the input predetermined change amount. When the input predetermined change amount is exceeded, the lock control signal is not output, and when the change amount from the immediately preceding coordinate after the lock control signal is output exceeds the input predetermined change amount, the lock control signal is not output. Output unlock control signal,
The coordinate selection unit receives the unlock control signal, releases the maintenance of the coordinates of the indicator, and outputs the input coordinates indicating the position of the indicator, according to the above (14). User interface device.
（１６） 前記座標ロック制御部は、前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、ロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記（１４）に記載のユーザインターフェイス装置。
(16) The coordinate lock control unit outputs a lock release control signal when a predetermined time has elapsed from the time when the change in the form of the indicator is detected and the lock control signal is output.
The coordinate selection unit receives the unlock control signal, releases the maintenance of the coordinates of the indicator, and outputs the input coordinates indicating the position of the indicator, according to the above (14). User interface device.
（１７） 前記座標ロック制御部が前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、入力される前記所定の変化量を前記所定の変化量より小さい値に書き換える、上記（１５）に記載のユーザインターフェイス装置。 (17) When a predetermined time has elapsed from the time when the coordinate lock control unit detects a change in the form of the indicator and outputs the lock control signal, the predetermined change amount to be input is changed to the predetermined change. The user interface device according to (15) above, which is rewritten to a value smaller than the amount.
（１８） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ノイズ等により、瞬間的にポインタ情報が失われることを抑制できる。
(18) A user interface device that specifies an instruction by identifying the form of the indicator based on a camera image of an indicator whose form changes due to an instruction.
An image cutout portion that cuts out a partial image from the camera image,
When the partial image is a partial image obtained by imaging the indicator as the object, a selection unit for selecting a partial image showing the form before the instruction and a partial image showing the form of the instruction by the indicator.
An information generation unit that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
Equipped with
The information generation unit
A storage unit that stores the generated information indicating whether the indicator is in the state before the instruction or in the state of the instruction.
When the state of the indicator is read from the storage unit, the state of the indicator changes, and the changed state of the indicator is continuously detected a predetermined number of times, a control signal for switching the state of the indicator. And the continuous state detector that outputs
The switching control is performed when the generated information indicating whether the indicator is in the state before the instruction or the state of the instruction is input and the state indicated by the input information is different from the state output before the input. When a signal is received, a state selection unit that switches the state output before the input to the state indicated by the input information and outputs the signal.
A selection state storage unit that stores the state output before the input, and
With,
User interface device.
According to this user interface device, it is possible to suppress momentary loss of pointer information due to noise or the like.
（１９） 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記指示体の位置が前記カメラ画像の領域から外れているかどうかを判断する判断部と、
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザに指示体の位置が前記カメラ画像の領域から外れた状況を報知することができる。
(19) A user interface device that specifies an instruction by identifying the form of the indicator based on a camera image of an indicator whose form changes due to an instruction.
An image cutout portion that cuts out a partial image from the camera image,
When the partial image is a partial image obtained by imaging the indicator as the object, a selection unit for selecting a partial image showing the form before the instruction and a partial image showing the form of the instruction by the indicator.
An information generation unit that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
Equipped with
A determination unit for determining whether or not the position of the indicator is out of the area of the camera image,
A notification unit that notifies the user when the position of the indicator is out of the area of the camera image.
A user interface device equipped with.
According to this user interface device, it is possible to notify the user of the situation where the position of the indicator is out of the area of the camera image.
（２０） 上記（１３）から上記（１９）のいずれかに記載のユーザインターフェイス装置と、
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。
(20) The user interface device according to any one of (13) to (19) above, and the user interface device according to any one of (19) above.
An imaging device that captures an image of an indicator whose form changes due to an instruction,
A display device that displays a display screen that is operated based on information indicating whether the indicator output from the user interface device is in the form before the instruction or in the form of the instruction.
A user interface system with.
（２１） コンピュータに、上記（１３）から（１９）のいずれかのユーザインターフェイス装置の各部の機能を実行させるための、ユーザインターフェイス用プログラム。 (21) A user interface program for causing a computer to execute the functions of each part of the user interface device according to any one of (13) to (19) above.
１ ユーザインターフェイスシステム
１０ ユーザインターフェイス装置
１１ 対象検出部
１２ 画像切り出し部
１３形態認識部
１４ ポインタ選択部
１５ ポインタ情報生成部
１６ ポインタ情報送信部
２０ カメラ
３０ 表示装置
1
Claims (12)
前記カメラ画像を２値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置。 A user interface device that identifies an instruction by identifying the form of the indicator based on a camera image of an indicator whose form changes due to an instruction.
With respect to the binarized image of the camera image, in order to detect the end portion of the object included in the camera image, a detection unit that searches in at least two diagonal directions with different directions, and a detection unit.
An image cutout portion that cuts out a partial image from the camera image based on the detected end portion, and an image cutout portion.
When the partial image is a partial image obtained by imaging the indicator as the object, a selection unit for selecting a partial image showing the form before the instruction and a partial image showing the form of the instruction by the indicator.
An information generation unit that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
User interface device with.
前記選択部は、クラス分けされた部分画像から前記指示体が指示前の形態を示す部分画像と指示後の形態を示す部分画像とを選択する、請求項１に記載のユーザインターフェイス装置。 It is equipped with a morphology recognition unit that classifies the partial images by deep learning.
The user interface device according to claim 1, wherein the selection unit selects a partial image showing a form before the instruction and a partial image showing the form after the instruction from the classified partial images.
前記指示前の形態は、前記親指と前記人差し指が開いた状態であり、前記指示の形態は前記親指と前記人差し指が付いた状態である、請求項1又は２に記載のユーザインターフェイス装置。 The indicators are the user's thumb and index finger.
The user interface device according to claim 1 or 2, wherein the form before the instruction is a state in which the thumb and the index finger are open, and the form of the instruction is a state in which the thumb and the index finger are attached.
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、請求項１から３のいずれか１項に記載のユーザインターフェイス装置。 The information generation unit
A coordinate storage unit that stores coordinates indicating the position of the indicator, and
When the coordinates indicating the position of the indicator are input, the history of the coordinates stored in the coordinate storage unit is read out to obtain a moving average value, and the input coordinates are corrected using the moving average value. Equipped with a moving average value calculation unit that outputs
The user interface device according to any one of claims 1 to 3, wherein the coordinates indicating the position of the indicator are output from the selection unit.
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、該指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、請求項１から４のいずれか１項に記載のユーザインターフェイス装置。 The information generation unit
A coordinate storage unit that stores coordinates indicating the position of the indicator, and
To detect a change in the form of the indicator based on the generated information indicating whether the indicator is the form before the instruction or the form of the instruction, and to lock the position of the indicator when the form changes. A coordinate lock control unit that outputs a lock control signal,
When the lock control signal is not input, the input coordinates indicating the position of the indicator are output, and when the lock control signal is input, the coordinates stored in the coordinate storage unit immediately before locking are output. It is provided with a coordinate selection unit that reads out the coordinates of the indicator, maintains the coordinates of the indicator immediately before the form changes, and outputs the coordinates of the indicator.
The user interface device according to any one of claims 1 to 4, wherein the coordinates indicating the position of the indicator are output from the selection unit.
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、請求項５に記載のユーザインターフェイス装置。 When the coordinates indicating the position of the indicator are input, the coordinate change amount detection unit is provided, which reads the coordinates indicating the position of the indicator immediately before locking from the coordinate storage unit and detects the coordinate change amount.
When the coordinate lock control unit detects a change in the form of the indicator, the coordinate lock control unit outputs the lock control signal when the change amount from the immediately preceding coordinate does not exceed the input predetermined change amount. When the input predetermined change amount is exceeded, the lock control signal is not output, and when the change amount from the immediately preceding coordinate after the lock control signal is output exceeds the input predetermined change amount, the lock control signal is not output. Output unlock control signal,
The user according to claim 5, wherein when the coordinate selection unit receives the unlock control signal, it releases the maintenance of the coordinates of the indicator and outputs the input coordinates indicating the position of the indicator. Interface device.
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、請求項５に記載のユーザインターフェイス装置。 The coordinate lock control unit outputs a lock release control signal when a predetermined time has elapsed from the time when the change in the form of the indicator is detected and the lock control signal is output.
The user according to claim 5, wherein when the coordinate selection unit receives the unlock control signal, it releases the maintenance of the coordinates of the indicator and outputs the input coordinates indicating the position of the indicator. Interface device.
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
請求項１から８のいずれか１項に記載のユーザインターフェイス装置。 The information generation unit
A storage unit that stores the generated information indicating whether the indicator is in the state before the instruction or in the state of the instruction.
When the state of the indicator is read from the storage unit, the state of the indicator changes, and the changed state of the indicator is continuously detected a predetermined number of times, a control signal for switching the state of the indicator. And the continuous state detector that outputs
The switching control is performed when the generated information indicating whether the indicator is in the state before the instruction or the state of the instruction is input and the state indicated by the input information is different from the state output before the input. When a signal is received, a state selection unit that switches the state output before the input to the state indicated by the input information and outputs the signal.
A selection state storage unit that stores the state output before the input, and
With,
The user interface device according to any one of claims 1 to 8.
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、請求項１から９のいずれか１項に記載のユーザインターフェイス装置。 A determination unit for determining whether or not the position of the indicator is out of the area of the camera image,
A notification unit that notifies the user when the position of the indicator is out of the area of the camera image.
The user interface device according to any one of claims 1 to 9.
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。 The user interface device according to any one of claims 1 to 10.
An imaging device that captures an image of an indicator whose form changes due to an instruction,
A display device that displays a display screen that is operated based on information indicating whether the indicator output from the user interface device is in the form before the instruction or in the form of the instruction.
A user interface system with.
カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め２方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラム。 On the computer
In order to detect the edge of the object contained in the camera image, a detection function that searches in at least two diagonal directions with different directions, and a detection function.
An image cropping function that crops a partial image from the camera image based on the detected edge,
When the partial image is a partial image of an indicator whose form changes due to an instruction as the object, the partial image showing the form before the instruction and the partial image showing the form of the instruction are shown. With the selection function to select
An information generation function that generates information indicating whether the indicator is in the form before the instruction or in the form of the instruction.
A program for the user interface that executes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020189577A JP7203436B2 (en) | 2020-11-13 | 2020-11-13 | USER INTERFACE DEVICE, USER INTERFACE SYSTEM AND PROGRAM FOR USER INTERFACE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020189577A JP7203436B2 (en) | 2020-11-13 | 2020-11-13 | USER INTERFACE DEVICE, USER INTERFACE SYSTEM AND PROGRAM FOR USER INTERFACE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022078706A true JP2022078706A (en) | 2022-05-25 |
| JP7203436B2 JP7203436B2 (en) | 2023-01-13 |
Family
ID=81707076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020189577A Active JP7203436B2 (en) | 2020-11-13 | 2020-11-13 | USER INTERFACE DEVICE, USER INTERFACE SYSTEM AND PROGRAM FOR USER INTERFACE |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7203436B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023214451A1 (en) * | 2022-05-02 | 2023-11-09 | ディープインサイト株式会社 | User interface device, user interface system, and user interface program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014178887A (en) * | 2013-03-14 | 2014-09-25 | Sharp Corp | Information processor, display unit with touch panel, and information processing method and program |
| JP2015069369A (en) * | 2013-09-27 | 2015-04-13 | 株式会社Ｊｖｃケンウッド | Operation input device, operation input method, and program |
| WO2015104919A1 (en) * | 2014-01-10 | 2015-07-16 | コニカミノルタ株式会社 | Gesture recognition device, operation input device, and gesture recognition method |
| WO2015108112A1 (en) * | 2014-01-15 | 2015-07-23 | 株式会社Ｊｕｉｃｅ Ｄｅｓｉｇｎ | Manipulation determination device, manipulation determination method, and program |
| JP2016167268A (en) * | 2015-03-06 | 2016-09-15 | 国立大学法人 筑波大学 | Gesture modeling device, gesture modeling method, program for gesture modeling system, and gesture modeling system |
| JP2019121191A (en) * | 2018-01-05 | 2019-07-22 | ラピスセミコンダクタ株式会社 | Operation determination device and operation determination method |
| JP2020057139A (en) * | 2018-10-01 | 2020-04-09 | トヨタ自動車株式会社 | Equipment controller |
-
2020
- 2020-11-13 JP JP2020189577A patent/JP7203436B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014178887A (en) * | 2013-03-14 | 2014-09-25 | Sharp Corp | Information processor, display unit with touch panel, and information processing method and program |
| JP2015069369A (en) * | 2013-09-27 | 2015-04-13 | 株式会社Ｊｖｃケンウッド | Operation input device, operation input method, and program |
| WO2015104919A1 (en) * | 2014-01-10 | 2015-07-16 | コニカミノルタ株式会社 | Gesture recognition device, operation input device, and gesture recognition method |
| WO2015108112A1 (en) * | 2014-01-15 | 2015-07-23 | 株式会社Ｊｕｉｃｅ Ｄｅｓｉｇｎ | Manipulation determination device, manipulation determination method, and program |
| JP2016167268A (en) * | 2015-03-06 | 2016-09-15 | 国立大学法人 筑波大学 | Gesture modeling device, gesture modeling method, program for gesture modeling system, and gesture modeling system |
| JP2019121191A (en) * | 2018-01-05 | 2019-07-22 | ラピスセミコンダクタ株式会社 | Operation determination device and operation determination method |
| JP2020057139A (en) * | 2018-10-01 | 2020-04-09 | トヨタ自動車株式会社 | Equipment controller |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023214451A1 (en) * | 2022-05-02 | 2023-11-09 | ディープインサイト株式会社 | User interface device, user interface system, and user interface program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7203436B2 (en) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210258474A1 (en) | Adjusting Motion Capture Based on the Distance Between Tracked Objects | |
| JP6159323B2 (en) | Information processing method and information processing apparatus | |
| KR101437760B1 (en) | Gesture recognition apparatus, electronic device, gesture recognition method, and computer-readable recording medium for control program | |
| JP5802667B2 (en) | Gesture input device and gesture input method | |
| EP2817694B1 (en) | Navigation for multi-dimensional input | |
| US9405373B2 (en) | Recognition apparatus | |
| JP4575829B2 (en) | Display screen position analysis device and display screen position analysis program | |
| US20150062006A1 (en) | Feature tracking for device input | |
| WO2014045953A1 (en) | Information processing device and method, and program | |
| JPH0844490A (en) | Interface device | |
| US20160073033A1 (en) | Electronic apparatus | |
| TW201719335A (en) | Line-of-sight input device, line-of-sight input method, and line-of-sight input program | |
| JP2013061848A (en) | Noncontact input device | |
| JPWO2015159548A1 (en) | Projection control apparatus, projection control method, and projection control program | |
| JP6255954B2 (en) | Motion input device, motion input program, and motion input method | |
| WO2016018518A1 (en) | Optical tracking of a user-guided object for mobile platform user input | |
| JP2022078706A (en) | User interface device, user interface system and program for user interface | |
| JP5174492B2 (en) | Image recognition apparatus, image recognition method, image recognition program, gesture motion recognition system, gesture motion recognition method, and gesture motion recognition program | |
| WO2023214451A1 (en) | User interface device, user interface system, and user interface program | |
| JP2011243157A (en) | Electronic apparatus, button size control method, and program | |
| JP6196101B2 (en) | Information processing apparatus, method, and program | |
| JP2023179345A (en) | Information input method, information input device, electronic equipment, and storage medium | |
| JP4972013B2 (en) | Information presenting apparatus, information presenting method, information presenting program, and recording medium recording the program | |
| JP6823988B2 (en) | Screen operation method and screen operation device | |
| KR101294212B1 (en) | Motion Detection system in robot and thereof method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7203436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |