JP2010049642A - Input device and input method - Google Patents
Input device and input method Download PDFInfo
- Publication number
- JP2010049642A JP2010049642A JP2008215520A JP2008215520A JP2010049642A JP 2010049642 A JP2010049642 A JP 2010049642A JP 2008215520 A JP2008215520 A JP 2008215520A JP 2008215520 A JP2008215520 A JP 2008215520A JP 2010049642 A JP2010049642 A JP 2010049642A
- Authority
- JP
- Japan
- Prior art keywords
- fingertip position
- model
- hand
- fingertip
- position point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ユーザが機器に対して命令等を入力するための入力装置及び入力方法に関し、より特定的には、ユーザがディスプレイ等に表示された情報に基づいて手等の身体部分を用いて、命令等を入力できる入力装置及び入力方法に関する。 The present invention relates to an input device and an input method for a user to input a command or the like to a device, and more specifically, using a body part such as a hand based on information displayed on a display or the like by a user. The present invention relates to an input device and an input method capable of inputting commands and the like.
近年の情報機器端末の多機能化に伴って、ユーザがより使い易いユーザインターフェイスが求められている。使い易いユーザインターフェイスの一例として、タッチパネルディスプレイがある。タッチパネルディスプレイは、ディスプレイに表示されるGUI(Graphical User Interface)パーツを手で押す操作をすることによって、ユーザが命令等を情報機器端末等に入力する装置である。このことから、タッチパネルディスプレイは、初心者でも直感的に操作できるインターフェイスと言える。 With the recent increase in functionality of information equipment terminals, user interfaces that are easier for users to use are required. An example of an easy-to-use user interface is a touch panel display. A touch panel display is a device in which a user inputs a command or the like to an information device terminal or the like by manually pushing a GUI (Graphical User Interface) part displayed on the display. From this, it can be said that the touch panel display is an interface that even a beginner can operate intuitively.
しかし、タッチパネルディスプレイにおいては、タッチを検知するデバイス(以下、入力部という)と表示部とが一体であるので、タッチパネルディスプレイがユーザの手元にないと操作できないという課題があった。 However, in a touch panel display, since a device for detecting touch (hereinafter referred to as an input unit) and a display unit are integrated, there is a problem that the touch panel display cannot be operated unless the user has it.
この課題を解決するために、特許文献1の技術は、入力部と表示部とを分離し、入力部に置かれたユーザの手を検知し、コンピュータグラフィック(以下、CGという)の手形状モデルを、表示部に表示されるGUIに重畳して表示する。このことによって、ユーザは、表示部から離れている場合でも、タッチパネルディスプレイの直感的な操作感を維持した操作を行うことができる。
上記した従来の技術は、ユーザの手と入力部の操作面との複数の接触位置を同時に取得できる入力部(タッチパネル)を用いて、検知したユーザの手の指先位置や掌位置に基づいてCGによって手形状を復元している。そして、上記した従来の技術では、入力部の操作面にユーザの指先が接触していない場合は、指先位置は検知されず、ユーザの手形状を忠実に再現することができない。この結果として、上記した従来の技術には、CGによって復元された手形状モデルの形状とユーザの手の形状とが異なり、直感的な操作が困難になるという課題があった。 The above-described conventional technology uses the input unit (touch panel) that can simultaneously acquire a plurality of contact positions between the user's hand and the operation surface of the input unit, and based on the detected fingertip position and palm position of the user's hand. The hand shape is restored. In the conventional technique described above, when the user's fingertip is not in contact with the operation surface of the input unit, the fingertip position is not detected, and the user's hand shape cannot be faithfully reproduced. As a result, the above-described conventional technique has a problem that the shape of the hand shape model restored by the CG is different from the shape of the user's hand, making intuitive operation difficult.
それ故に、本発明の目的は、入力部の操作面に接触していないユーザの指先が存在する場合であっても、ユーザの手形状を手形状モデルとして忠実に再現できる入力装置及び入力方法を提供することである。 Therefore, an object of the present invention is to provide an input device and an input method that can faithfully reproduce a user's hand shape as a hand shape model even when there is a user's fingertip that is not in contact with the operation surface of the input unit. Is to provide.
本発明は、操作面に置かれたユーザの手のCGモデルを表示部に表示させ、この表示を利用して入力されるユーザの指示を機器に与える入力装置に向けられている。そして上記目的を達成させるために、本発明の入力装置は、操作面を有し、この操作面と手との接触領域を検知する接触領域検知部と、接触領域に基づいて、操作面に現在接触している手の指先位置を示す複数の指先位置点を所定時間毎に作成する位置座標データ作成部と、操作面に現在接触していない指先位置を示す擬似指先位置点を作成する擬似指先位置作成部と、指先位置点と擬似指先位置点とに基づいて、手の形状を反映したCGモデルを作成するモデル形状作成部と、機器に与える指示を割当てたGUIパーツを保持するGUIパーツ保持部と、モデル形状作成部で作成されたCGモデルとGUIパーツ保持部に保持されたGUIパーツとを重畳した画像を作成して表示部に表示させる重畳画像作成部と、GUIパーツとCGモデルとの位置関係に基づいて、機器に与えるユーザの指示を決定する操作内容決定部とを備える。 The present invention is directed to an input device that displays a CG model of a user's hand placed on an operation surface on a display unit and gives an instruction of a user input using this display to a device. In order to achieve the above object, the input device of the present invention has an operation surface, a contact region detection unit that detects a contact region between the operation surface and a hand, and an operation surface based on the contact region. A position coordinate data creation unit that creates a plurality of fingertip position points indicating the fingertip position of the touching hand at predetermined time intervals, and a pseudo fingertip position that indicates a pseudo fingertip position point indicating a fingertip position that is not currently in contact with the operation surface Based on the position creation unit, the fingertip position point, and the pseudo fingertip position point, a model shape creation unit that creates a CG model reflecting the shape of the hand, and a GUI part holding that holds a GUI part to which an instruction given to the device is assigned A superimposed image creating unit that creates an image in which the CG model created in the model shape creating unit and the GUI part held in the GUI part holding unit are superimposed and displayed on the display unit, GUI part and CG model Based on the positional relationship between, and an operation content determining unit that determines a user's instruction to be given to devices.
これにより、本発明の入力装置は、操作面に接触していないユーザの指先の位置を推定できるので、ユーザの手形状とCGで描画される手形状モデルの形状とを一致させることができる。 Thereby, since the input device of the present invention can estimate the position of the user's fingertip that is not in contact with the operation surface, the user's hand shape and the shape of the hand shape model drawn by CG can be matched.
また、好ましくは、位置座標データ作成部は、接触領域検知部が検知した接触領域に基づいて、更に、操作面に現在接触している手の掌位置を示す掌位置点を所定時間毎に作成し、モデル形状作成部は、更に掌位置点に基づいて、手の形状を反映したCGモデルを作成する。 Preferably, the position coordinate data creation unit further creates a palm position point indicating the palm position of the hand currently in contact with the operation surface at predetermined time intervals based on the contact area detected by the contact area detection unit. Then, the model shape creation unit further creates a CG model reflecting the shape of the hand based on the palm position point.
これにより、本発明の入力装置は、ユーザの手の掌位置を検出してCGモデルの形状に反映できるので、より正確なユーザの手のCGモデルを作成できる。 Thereby, the input device of the present invention can detect the palm position of the user's hand and reflect it in the shape of the CG model, so that a more accurate CG model of the user's hand can be created.
また、擬似指先位置作成部は、操作面に接触していた時点の指先位置を示す過去の指先位置点のうち直近の指先位置点を擬似指先位置点とすることによって、擬似指先位置点を作成してもよい。 In addition, the pseudo fingertip position creation unit creates a pseudo fingertip position point by setting the nearest fingertip position point among the past fingertip position points indicating the fingertip position at the time of touching the operation surface as the pseudo fingertip position point. May be.
これにより、本発明の入力装置は、操作面に当初接触していた指先であって現在接触していない指先に対応する擬似指先位置点を作成できる。 Thereby, the input device of the present invention can create a pseudo fingertip position point corresponding to a fingertip that is initially in contact with the operation surface and is not currently in contact.
また、好ましくは、モデル形状作成部は、各指先位置点の動きベクトルを算出し、算出した動きベクトルを平均した平均動きベクトルに基づいて擬似指先位置点を移動させて、手の形状を反映したCGモデルを作成する。 Preferably, the model shape creation unit calculates a motion vector of each fingertip position point, moves the pseudo fingertip position point based on an average motion vector obtained by averaging the calculated motion vectors, and reflects the shape of the hand. Create a CG model.
これにより、本発明の入力装置は、操作面に接触していない指先が移動した場合であっても、この移動した指先の位置を推定できるので、正確なユーザの手のCGモデルを作成できる。 As a result, the input device of the present invention can estimate the position of the moved fingertip even when the fingertip not in contact with the operation surface moves, so that an accurate CG model of the user's hand can be created.
また、擬似指先位置作成部は、擬似指先位置点を、互いの間隔が所定値を超える隣合う指先位置点の間に作成してもよい。 Further, the pseudo fingertip position creating unit may create the pseudo fingertip position points between adjacent fingertip position points whose mutual distance exceeds a predetermined value.
これにより、本発明の入力装置は、操作面に当初から接触していない指先に対応する擬似指先位置点を作成できる。 Thereby, the input device of the present invention can create a pseudo fingertip position point corresponding to a fingertip that is not in contact with the operation surface from the beginning.
また、モデル形状作成部は、擬似指先位置点の両隣に位置する指先位置点の中間に位置するように擬似指先位置点を移動させて、手の形状を反映したCGモデルを作成してもよい。 In addition, the model shape creation unit may create a CG model reflecting the shape of the hand by moving the pseudo fingertip position point so that it is positioned in the middle of the fingertip position points located on both sides of the pseudo fingertip position point. .
これにより、本発明の入力装置は、操作面に接触していない指先が移動した場合であっても、この移動した指先の位置を推定できるので、正確なユーザの手のCGモデルを作成できる。 As a result, the input device of the present invention can estimate the position of the moved fingertip even when the fingertip not in contact with the operation surface moves, so that an accurate CG model of the user's hand can be created.
また、本発明は、操作面に置かれたユーザの手のCGモデルを表示部に表示させ、この表示を利用して入力されるユーザの指示を機器に与える入力方法にも向けられている。そして上記目的を達成させるために、本発明の入力方法は、操作面と手との接触領域を検知する接触領域検知ステップと、接触領域に基づいて、操作面に現在接触している手の指先位置を示す複数の指先位置点を所定時間毎に作成する位置座標データ作成ステップと、操作面に現在接触していない指先位置を示す擬似指先位置点を作成する擬似指先位置作成ステップと、指先位置点と擬似指先位置点とに基づいて、手の形状を反映したCGモデルを作成するモデル形状作成ステップと、モデル形状作成ステップで作成されたCGモデルと機器に与える指示を割当てたGUIパーツとを重畳した画像を作成して表示部に表示させる重畳画像作成ステップと、GUIパーツとCGモデルとの位置関係に基づいて、機器に与えるユーザの指示を決定する操作内容決定ステップとを備える。 The present invention is also directed to an input method in which a CG model of a user's hand placed on an operation surface is displayed on a display unit and a user's instruction input using this display is given to a device. In order to achieve the above object, the input method of the present invention includes a contact area detection step for detecting a contact area between the operation surface and the hand, and a fingertip of the hand currently in contact with the operation surface based on the contact area. A position coordinate data creation step for creating a plurality of fingertip position points indicating positions every predetermined time; a pseudo fingertip position creation step for creating a pseudo fingertip position point indicating a fingertip position not currently in contact with the operation surface; and a fingertip position A model shape creation step for creating a CG model reflecting the shape of the hand based on the point and the pseudo fingertip position point, a CG model created in the model shape creation step, and a GUI part to which an instruction to be given to the device is assigned Based on the superimposed image creation step of creating a superimposed image and displaying it on the display unit, and the positional relationship between the GUI part and the CG model, the user instruction to be given to the device is determined. And an operation content determining step that.
これにより、本発明の入力方法は、操作面に接触していないユーザの指先の位置を推定できるので、ユーザの手形状とCGで描画される手形状モデルの形状とを一致させることができる。 As a result, the input method of the present invention can estimate the position of the fingertip of the user who is not in contact with the operation surface, so that the user's hand shape and the shape of the hand shape model drawn by CG can be matched.
本発明の入力装置及び入力方法によれば、操作面に接触していないユーザの指先の位置を推定できるのでユーザの手の形状とCGで描画される手形状モデルの形状とを一致させることができる。この結果として、ユーザは違和感無く操作を行うことが可能となる。 According to the input device and the input method of the present invention, since the position of the user's fingertip that is not in contact with the operation surface can be estimated, it is possible to match the shape of the user's hand with the shape of the hand shape model drawn by CG. it can. As a result, the user can perform an operation without feeling uncomfortable.
(一実施形態)
以下、本発明の一実施形態に係る入力装置について図面を用いて説明する。なお、各図面において、視認性を考慮し、本発明の実施について特に重要ではない要素は省略している。
(One embodiment)
Hereinafter, an input device according to an embodiment of the present invention will be described with reference to the drawings. In each drawing, elements that are not particularly important for implementation of the present invention are omitted in view of visibility.
図1は、本発明の一実施形態に係る入力装置100のハードウエア構成例を示す図である。図1に示すように、入力装置100は、接触領域検知部1と演算部2とを備える。演算部2は、データの入出力を行うI/O11と、データやプログラム等を記憶するHDD(Hard Disk Drive)12と、BIOS等の基本プログラムを格納するROM13と、HDD12に記憶されたプログラム及びROM13に格納されたプログラムを実行するCPU14と、データを保持するRAM15と、画像データを処理する画像プロセッサ17と、画像データを保持するVRAM18と、以上の構成要素を接続するバス線16とを備える。
FIG. 1 is a diagram illustrating a hardware configuration example of an
接触領域検知部1は、I/O11の入力側に接続され、操作面に接触したユーザの手19の接触領域を多点で検知し、検知した接触領域の位置データ(以下、接触位置データという)を出力するタッチパネルである。接触領域検知部1からI/O11の入力側に入力される接触位置データは、RAM15に保持される。
The contact area detection unit 1 is connected to the input side of the I /
I/O11の出力側には、表示部3が接続される。表示部3は、画像データに対応する画像を表示するディスプレイである。また、I/O11の出力側には、入力装置100によって操作されるカーナビゲーション装置、オーディオ装置、エアコン等の操作対象機器4が接続される。演算部2は、接触領域検知部1で検知されたユーザの指示に基づいて、操作対象機器4に指示を出力する。
The
HDD12は、RAM15に保持された接触位置データに基づいてRAM15に予め保持されている標準の手形状モデル(以下、標準手モデルという)を変形させ、変形させた手形状モデルの画像データをGUIと共に表示部3に表示させるようにCPU14を機能させる制御プログラムを記憶している。
The
なお、入力装置100における制御は、ハードウエア、又は、ハードウエア及びソフトウエアの協働によって実行される。
Note that the control in the
以下では、入力装置100の構成及び動作について、より詳しく説明する。図2は、入力装置100の機能ブロックの一例を示す図である。図2に示すように、入力装置100は、接触領域検知部1と演算部2とを備える。演算部2は、位置座標データ作成部21と、擬似指先位置作成部22と、モデル形状作成部23と、手形状モデル保持部24と、GUIパーツ保持部25と、重畳画像作成部26と、操作内容決定部27と、コマンド送信部28とを含む。
Hereinafter, the configuration and operation of the
位置座標データ作成部21は、接触領域検知部1から入力される接触位置データから指先位置点及び掌位置点を生成する。 The position coordinate data creation unit 21 generates a fingertip position point and a palm position point from the contact position data input from the contact area detection unit 1.
擬似指先位置作成部22は、位置座標データ作成部21によって生成された指先位置点に基づいて、擬似指先位置点を生成する。 The pseudo fingertip position creation unit 22 generates a pseudo fingertip position point based on the fingertip position point generated by the position coordinate data creation unit 21.
手形状モデル保持部24は、標準手モデルを予め保持している。
The hand shape
モデル形状作成部23は、手形状モデル保持部24から標準手モデルを読み出す。そして、モデル形状作成部23は、位置座標データ作成部21が生成した指先位置点と擬似指先位置作成部22が生成した擬似指先位置点とに基づいて標準手モデルを変形させることによって、接触領域検知部1の操作面に載せられているユーザの手の形状を反映した手形状モデルの画像を作成する。
The model shape creation unit 23 reads the standard hand model from the hand shape
GUIパーツ保持部25は、表示部3に表示される操作画像に含まれるGUIパーツを保持する。GUIパーツ保持部25に保持されるGUIパーツは、例えば、操作対象機器4を操作する操作ボタンである。
The GUI
重畳画像作成部26は、GUIパーツ保持部25から読み出したGUIパーツの画像を作成し、作成した画像にモデル形状作成部23が作成した手形状モデルの画像を重畳させて、操作画像として表示部3に表示させる。
The superimposed image creating unit 26 creates an image of the GUI part read from the GUI
操作内容決定部27は、表示部3に表示された操作画像を用いてユーザが行った操作(指示)を検出する。
The operation
コマンド送信部28は、操作内容決定部27によって検出されたユーザの指示を、操作対象機器4に送信する。
The
図3は、入力装置100の制御処理の一例を示すフローチャートである。以下、入力装置100の制御処理について、図3を用いて説明する。なお、以下の処理は、図1に示すCPU14がHDD12に記憶された制御プログラムをRAM15において展開して実行する。
FIG. 3 is a flowchart illustrating an example of the control process of the
まず、ステップS301において、位置座標データ作成部21は、接触領域検知部1から接触位置データを取得する。接触位置データは、接触領域検知部1の操作面にユーザの手が接触した領域を、点郡(以下、接触点郡という)によって表すデータである。 First, in step S <b> 301, the position coordinate data creation unit 21 acquires contact position data from the contact area detection unit 1. The contact position data is data representing a region where the user's hand has touched the operation surface of the contact region detection unit 1 by a point group (hereinafter referred to as a contact point group).
次に、ステップS302において、位置座標データ作成部21は、取得した接触点群を用いて指先位置点及び掌位置点を求める。図4は、ステップS302で求められる指先位置点及び掌位置点を説明するための図である。図4(a)に示すように、位置座標データ作成部21は、接触領域検知部1から取得した接触点群をそれぞれ楕円で囲んで複数の領域を指定する。そして、位置座標データ作成部21は、例えば、最も下に位置する楕円Bで示す接触点群を掌の接触点群と判断し、掌の接触点群よりも上側にある接触点群を指の接触点群と判断する。その後、位置座標データ作成部21は、例えば、楕円Aの上方向の先端を指先位置点とし(図4(b)を参照)、楕円Bの重心を掌位置点とする(図4(c)を参照)。なお、指先位置点及び掌位置点は、他の方法を用い、また、他の位置に決定してもよい。図4(d)には、上記した方法によって求められた指先位置点41〜45、及び掌位置点46を示す。
Next, in step S302, the position coordinate data creation unit 21 obtains a fingertip position point and a palm position point using the acquired contact point group. FIG. 4 is a diagram for explaining the fingertip position point and the palm position point obtained in step S302. As shown in FIG. 4A, the position coordinate data creation unit 21 designates a plurality of regions by enclosing the contact point group acquired from the contact region detection unit 1 with an ellipse. Then, for example, the position coordinate data creation unit 21 determines that the contact point group indicated by the lowest ellipse B is the palm contact point group, and selects the contact point group above the palm contact point group as the finger. Judged as a contact point group. Thereafter, the position coordinate data creation unit 21 uses, for example, the upper tip of the ellipse A as a fingertip position point (see FIG. 4B) and the center of gravity of the ellipse B as a palm position point (FIG. 4C). See). Note that the fingertip position point and the palm position point may be determined by using other methods or other positions. FIG. 4D shows the fingertip position points 41 to 45 and the
次に、ステップS303において、位置座標データ作成部21は、手の指の並び方(手の構造)に基づいて、取得した指先位置点及び掌位置点にそれぞれIDを付与する。例えば、図4(d)に示すように、ステップS302で5つの指先位置点が得られた場合には、指先位置点41〜45に、それぞれ、親指、人差し指、中指、薬指、小指を示すIDを付与し、掌位置点46に掌を示すIDを付与する。ここで、上記した処理は、ユーザが接触領域検知部1を右手で操作していると仮定している。従って、例えば、ユーザに対して、接触領域検知部1の操作面に右手を置く旨の通知を音声や表示等を用いて行うことが好ましい。
Next, in step S303, the position coordinate data creation unit 21 assigns IDs to the obtained fingertip position point and palm position point based on how fingers are arranged (hand structure). For example, as shown in FIG. 4D, when five fingertip position points are obtained in step S302, IDs indicating the thumb, index finger, middle finger, ring finger, and little finger are respectively displayed at the fingertip position points 41 to 45. And an ID indicating a palm is assigned to the
次に、ステップS304において、位置座標データ作成部21は、所定時間毎に接触領域検知部1から接触位置データを取得し、所定時間毎にステップS302と同様に指先位置点及び掌位置点を取得する。そして、位置座標データ作成部21は、所定時間毎に取得した指先位置点及び掌位置点を、ステップS303で付与した親指、人差し指、中指、薬指、小指及び掌のIDのそれぞれに対応させてRAM15に蓄積する。より具体的には、位置座標データ作成部21は、所定時間毎に、過去の指先位置点及び掌位置点のそれぞれについて全ての現在の指先位置点及び掌位置点との間の距離を計算し、最も近い距離の現在の指先位置点(又は掌位置点)を同じIDの指先位置点(又は掌位置点)として認識してペアリングする。このことによって、位置座標データ作成部21は、所定時間毎に取得する指先位置点及び掌位置点にIDを対応付けることができる。 Next, in step S304, the position coordinate data creation unit 21 acquires contact position data from the contact area detection unit 1 at predetermined time intervals, and acquires fingertip position points and palm position points at predetermined time intervals as in step S302. To do. Then, the position coordinate data creation unit 21 associates the fingertip position point and palm position point acquired at predetermined time intervals with the IDs of the thumb, index finger, middle finger, ring finger, little finger, and palm assigned in step S303, respectively. To accumulate. More specifically, the position coordinate data creation unit 21 calculates the distances between all the current fingertip position points and palm position points for each of the past fingertip position points and palm position points at predetermined time intervals. The current fingertip position point (or palm position point) of the closest distance is recognized as the fingertip position point (or palm position point) of the same ID and paired. Accordingly, the position coordinate data creation unit 21 can associate the ID with the fingertip position point and the palm position point acquired every predetermined time.
次に、ステップS305において、擬似指先位置作成部22は、擬似指先位置点を作成する。ここで、擬似指先位置点とは、接触領域検知部1の操作面に接触していない指先の位置(操作面から浮いている指先の位置)を表す指先位置点である。 Next, in step S305, the pseudo fingertip position creation unit 22 creates a pseudo fingertip position point. Here, the pseudo fingertip position point is a fingertip position point that represents the position of the fingertip that is not in contact with the operation surface of the contact area detection unit 1 (the position of the fingertip that is floating from the operation surface).
図5は、ステップS305の処理を説明するためのフローチャートである。以下、図5を用いて、ステップS305の処理について詳しく説明する。 FIG. 5 is a flowchart for explaining the processing in step S305. Hereinafter, the process of step S305 will be described in detail with reference to FIG.
まず、ステップS501において、擬似指先位置作成部22は、ステップS304でRAM15に蓄積された所定時間毎の指先位置点の情報を用いて、浮いた指先を認識し、浮いた指先があるか否かを判定する。具体的には、擬似指先位置作成部22は、ステップS304でRAM15に蓄積された過去の指先位置点のうち、ペアリングすべき現在の指先位置点が存在しないものについては、指先が浮いたと認識し、浮いた指先があると判定する。浮いた指先があると判定された場合は、ステップS502に移る。浮いた指先がないと判定された場合は、ステップS504に移る。
First, in step S501, the pseudo fingertip position creation unit 22 recognizes the fingertip position that has been lifted by using the information on the fingertip position points for each predetermined time accumulated in the
ステップS502において、擬似指先位置作成部22は、浮いた指先に対応する直近の過去の指先位置点を、この浮いた指先の擬似指先位置点として設定する。図6は、ステップS502の処理を説明するための図である。図6には、一例として、接触領域検知部1の操作面に接触していた中指が浮いた場合を示す。図6(a)において、5つの破線はそれぞれ過去の指先位置点の軌跡602を示し、4つの黒丸はそれぞれ現在の指先位置点601を示し、1つの白丸は中指が浮いたために検出されなくなる直前の指先位置点603を示す。なお、掌位置点は省略している。ステップS502において、擬似指先位置作成部22は、検出されなくなる直前の指先位置点603を、図6(b)に示すように、擬似指先位置点604として設定する。
In step S502, the pseudo fingertip position creation unit 22 sets the last past fingertip position point corresponding to the floating fingertip as the pseudo fingertip position point of the floating fingertip. FIG. 6 is a diagram for explaining the processing in step S502. FIG. 6 shows, as an example, a case where the middle finger that is in contact with the operation surface of the contact area detection unit 1 is lifted. In FIG. 6A, the five broken lines indicate the past fingertip
次に、ステップS503において、擬似指先位置作成部22は、ステップS502で設定した擬似指先位置点を、RAM15に蓄積する。
Next, in step S <b> 503, the pseudo fingertip position creation unit 22 stores the pseudo fingertip position point set in step S <b> 502 in the
次に、ステップS504において、擬似指先位置作成部22は、RAM15に蓄積された指先位置点(擬似指先位置点を含む場合もある)の合計が、5点存在するか否かを判断する。つまり、ステップS504において、擬似指先位置作成部22は、5本の指の指先が、指先位置点又は擬似指先位置点として全て検出されているか否かを判断する。5点存在する場合は、図3に示すステップS306に移る。5点存在しない場合は、ステップS505に移る。
Next, in step S504, the pseudo fingertip position creation unit 22 determines whether there are five total fingertip position points (which may include pseudo fingertip position points) accumulated in the
ステップS505において、擬似指先位置作成部22は、隣り合う指先位置点の距離を算出する。ここで、指先位置点の一部が、ステップS502で設定された擬似指先位置点である場合もある。 In step S505, the pseudo fingertip position creation unit 22 calculates the distance between adjacent fingertip position points. Here, some of the fingertip position points may be pseudo fingertip position points set in step S502.
次に、ステップS506において、擬似指先位置作成部22は、ステップS505で算出した距離のそれぞれに対して、所定の閾値以上か否かを判断する。所定の閾値以上の距離が存在する場合は、ステップS507に移る。所定の閾値以上の距離が存在しない場合は、図3に示すステップS306に移る。 Next, in step S506, the pseudo fingertip position creation unit 22 determines whether or not each of the distances calculated in step S505 is equal to or greater than a predetermined threshold value. If there is a distance greater than or equal to the predetermined threshold, the process moves to step S507. If there is no distance equal to or greater than the predetermined threshold, the process moves to step S306 shown in FIG.
ステップS507において、擬似指先位置作成部22は、所定の閾値以上の距離と判断された隣り合う2つの指先位置点の間に、擬似指先位置点を設定する。その後、図3に示すステップS306に移る。 In step S <b> 507, the pseudo fingertip position creation unit 22 sets a pseudo fingertip position point between two adjacent fingertip position points determined to be a distance equal to or greater than a predetermined threshold. Thereafter, the process proceeds to step S306 shown in FIG.
図7は、図5に示すステップS505〜S507の処理を説明するための図である。以下、図7を用いて、中指が当初から浮いている場合を一例に挙げて、ステップS505〜S507の処理について具体的に説明する。 FIG. 7 is a diagram for explaining the processing of steps S505 to S507 shown in FIG. Hereinafter, the process of steps S505 to S507 will be specifically described with reference to FIG. 7 by taking as an example a case where the middle finger is floating from the beginning.
まず、ステップS505において、図7(a)に示すように、指先位置点701〜704(一部がステップS502で設定された擬似指先位置点であってもよい)について、隣り合う指先位置点間の距離711〜713がそれぞれ算出される。より具体的には、親指に対応する指先位置点701と人差し指に対応する指先位置点702との間の距離711が算出され、人差し指に対応する指先位置点702と薬指に対応する指先位置点703との間の距離712が算出され、薬指に対応する指先位置点703と小指に対応する指先位置点704との間の距離713が算出される。
First, in step S505, as shown in FIG. 7A, the fingertip position points 701 to 704 (some of them may be pseudo fingertip position points set in step S502), between adjacent fingertip position points.
次に、ステップS506において、算出された距離711〜713のそれぞれと、予めRAM15に保持されている所定の閾値とが比較される。ここで、予めRAM15に保持されている所定の閾値とは、a1〜a4である。閾値a1は、親指と人差し指との間の距離として通常有り得る値の最大値である。同様に、閾値a2は人差し指と中指との間の距離、閾値a3は中指と薬指との間の距離、閾値a4は薬指と小指との間の距離として、それぞれ通常有り得る値の最大値である。なお、手の構造を考慮して、各閾値の大小関係は、a1>a4>a2〜a3となるように設定されるのが好ましい。具体的には、親指に対応する指先位置点701と人差し指に対応する指先位置点702との間の距離711と、閾値a1とが比較される。同様に、人差し指に対応する指先位置点702と薬指に対応する指先位置点703との間の距離712と、閾値a2とが比較される。ここで、閾値a2は人差し指と中指との間の距離として通常有り得る値の最大値であるので、距離712が閾値a2以上であると判断される可能性は高い。距離712が閾値a2以上であると判断された場合には、中指が浮いていることが検知され、ステップS507に移る。
Next, in step S506, each of the
次に、ステップS507において、図7(b)に示すように、人差し指に対応する指先位置点702と薬指に対応する指先位置点703との間に、浮いている中指に対応する擬似指先位置点730が作成され、RAM15に蓄積される。
Next, in step S507, as shown in FIG. 7B, between the
なお、ステップS506において、距離712が閾値a2以上であると判断されない場合には、中指が浮いていることは検知されない。この場合には、浮いている中指に対応する擬似指先位置点は作成されない。
If it is not determined in step S506 that the
以上に説明したように、ステップS501及びS502の処理によって、当初は浮いていなかったが途中から浮いた指先について、擬似指先位置点が設定される。また、ステップS505〜S507の処理によって、当初から浮いていた指先について、擬似指先位置点が設定される。 As described above, the pseudo fingertip position point is set for the fingertip that has not floated at the beginning but has floated in the middle by the processing of steps S501 and S502. In addition, the pseudo fingertip position point is set for the fingertip that has floated from the beginning by the processing of steps S505 to S507.
以下では、図3のフローチャートに戻り、説明を続ける。ステップS306において、モデル形状作成部23は、ステップS304でRAM15に蓄積された所定時間毎に取得された指先位置点及び掌位置点と、ステップS305で擬似指先位置作成部22が作成してRAM15に蓄積された擬似指先位置点とを用いて、手形状モデル保持部24が当初から保持しているひな形である標準手モデルの対応する指先位置点(一部が擬似指先位置点であってもよい)及び掌位置点とが重なるように、この標準手モデルを変形して手形状モデルを作成する。
Hereinafter, returning to the flowchart of FIG. 3, the description will be continued. In step S306, the model shape creating unit 23 creates the fingertip position point and the palm position point acquired every predetermined time accumulated in the
図8は、擬似指先位置点が存在する場合に、モデル形状作成部23が標準手モデルを変形する方法の一例について説明するための図である。以下では、図8を参照して、ステップS306において、擬似指先位置点が存在する場合に、モデル形状作成部23が標準手モデルを変形して手形状モデルを作成する方法について詳しく説明する。 FIG. 8 is a diagram for explaining an example of a method in which the model shape creation unit 23 deforms the standard hand model when a pseudo fingertip position point exists. Hereinafter, with reference to FIG. 8, a detailed description will be given of a method in which the model shape creation unit 23 creates a hand shape model by deforming the standard hand model when a pseudo fingertip position point exists in step S306.
図8(c)に示すように、4つの指先位置点601が移動した場合について説明する。ここで、既に説明した通り、指先位置点601は、浮いていない指先(検知されている指先)に対応し、擬似指先位置点604は、浮いている指先(検知されていない指先)に対応する。モデル形状作成部23は、図8(c)に示すように、各指先位置点601の動きベクトルを算出し、算出した動きベクトルを平均して平均動きベクトルを算出する。その後、モデル形状作成部23は、図8(d)に示すように、算出した平均動きベクトルを用いて擬似指先位置点604を移動させる。この方法によって、浮いている指先の動きについても手形状モデルに反映させることができるので、実際の手の形状に近い形状をCGによって再現することができる。
A case where four fingertip position points 601 move as shown in FIG. 8C will be described. Here, as already described, the
図9は、擬似指先位置点が存在する場合に、モデル形状作成部23が標準手モデルを変形する方法の別の一例について説明するための図である。図9(a)には、一例として、浮いている中指に対応する擬似指先位置点1010と、指先位置点1001〜1004とを示す。図9(a)に示す状態から、ユーザが人差し指を折り曲げることによって、図9(b)に示すように、指先位置点1002が下方向に移動した場合を考える。この場合、モデル形状作成部23は、図9(b)に示すように、移動後の指先位置点1002と指先位置点1003との中心位置に擬似指先位置点1010を移動させる。つまり、モデル形状作成部23は、擬似指先位置点を、この擬似指先位置点の両側に位置する2つの指先位置点の中心に位置するように移動させる。この方法によって、浮いている指先の動きについても手形状モデルに反映させることができるので、実際の手の形状に近い形状をCGによって再現することができる。ここで、上記した方法は、親指を除く他の4本の指が互いに連動して動く手の構造を利用したものである。従って、上記した方法は、中指又は薬指が浮いている場合に適用することが好ましい。
FIG. 9 is a diagram for explaining another example of a method in which the model shape creation unit 23 deforms the standard hand model when a pseudo fingertip position point exists. FIG. 9A shows a pseudo
次に、ステップS307において、重畳画像作成部26は、GUIパーツ保持部25から読み出したGUIパーツによって構成される画像に、ステップS306でモデル形状作成部23が作成した手形状モデルを重畳し、ユーザの操作に用いる操作画像として表示部3に表示させる。
Next, in step S307, the superimposed image creation unit 26 superimposes the hand shape model created by the model shape creation unit 23 in step S306 on the image constituted by the GUI parts read from the GUI
次に、図3のフローチャートでは省略しているが、操作内容決定部27は、ステップS307で表示部3に表示された操作画像を目視してユーザが行った操作を、検出する。具体的には、操作内容決定部27は、例えば、操作画像におけるGUIパーツと手形状モデルの指先との衝突を、ユーザの操作として検出する。その後、コマンド送信部28は、操作内容決定部27によって検出されたユーザの操作を、操作対象機器4に送信する。以上の動作によって、ユーザは入力装置100を用いて操作対象機器4を操作することができる。
Next, although omitted in the flowchart of FIG. 3, the operation
以下では、図3のステップS306で作成される手形状モデルにおいて、指関節の曲がり角度を求める方法について説明する。ステップ306で作成される手形状モデルは、指先位置点(一部が擬似指先位置点であってもよい)及び掌位置点の位置変化に応じて、適宜変形が行われる。ここで、指先位置点の変位量から指関節の曲がり角度を求める方法として、ロボット工学分野等で周知であるインバースキネマティクス(以下、IKという)技術がある。IK技術は、複数の可動部を持つアームの先端を目的位置に移動させるために用いられる。そして、アームが複数の可動部を持つ場合、IK技術を用いて目的位置にアームの先端を移動させるためには、可動部の曲り角度には複数の解が存在する。
Hereinafter, a method of obtaining the bending angle of the finger joint in the hand shape model created in step S306 of FIG. 3 will be described. The hand shape model created in
本発明においても、指には複数の関節があるので、指関節の曲り角度には複数の解が存在する。このため、本発明では、一例として、ユーザの掌及び指先は操作面上(同一平面上)に存在するという拘束条件と、各指関節の曲り角度は等しいという拘束条件とを用いて、解を一意に求める。図10は、指先位置点(一部が擬似指先位置点であってもよい)及び掌位置点が同一平面上に存在するという拘束条件及び各指関節の曲り角度は等しいという拘束条件を用いて変形した手形状モデルの一例を示す図である。図10(a)は、一例として、人指し指を曲げた場合の指先位置点の変位を示している。図10(b)は、図10(a)に示す曲げた状態の人指し指の手形状モデルを側面から視た図である。図10から解るように、通常、指を曲げると3つの指関節は同時に曲がるので、この様な拘束条件を用いて標準手モデルを変形して手形状モデルを作成すると、ユーザは違和感無く操作を行うことができる。また、この様な拘束条件を用いて標準手モデルを変形すると、演算量が大幅に低減できるので、ユーザの手の動きに瞬時に応答する変形が可能である。図11は、標準手モデル及び作成された手形状モデルを側面から視た図である。各指について位置の変位量から取得した各関節の角度に基づいて、図11(a)に示す標準手モデルを図11(b)に示すように変形させることができる。 Also in the present invention, since the finger has a plurality of joints, there are a plurality of solutions for the bending angles of the finger joints. For this reason, in the present invention, as an example, a solution is obtained using a constraint condition that the palm and fingertip of the user exist on the operation surface (on the same plane) and a constraint condition that the bending angles of the finger joints are equal. Find uniquely. FIG. 10 shows a constraint condition that a fingertip position point (some may be pseudo fingertip position points) and a palm position point exist on the same plane, and a constraint condition that the bending angles of each finger joint are equal. It is a figure which shows an example of the deform | transformed hand shape model. FIG. 10A shows the displacement of the fingertip position point when the index finger is bent as an example. FIG.10 (b) is the figure which looked at the hand shape model of the index finger of the bent state shown to Fig.10 (a) from the side surface. As can be seen from FIG. 10, since the three finger joints usually bend at the same time when the finger is bent, when the hand shape model is created by deforming the standard hand model using such constraint conditions, the user can operate without any sense of incongruity. It can be carried out. Further, if the standard hand model is deformed using such a constraint condition, the amount of calculation can be greatly reduced, and therefore, deformation that responds instantaneously to the movement of the user's hand is possible. FIG. 11 is a side view of the standard hand model and the created hand shape model. The standard hand model shown in FIG. 11A can be deformed as shown in FIG. 11B based on the angle of each joint acquired from the displacement amount of the position for each finger.
以上に説明したように、本発明の入力装置100は、接触領域検知部1の操作面に当初接触していたユーザの指先が浮いた場合には、浮いた指先の位置を推定して擬似指先位置点を設定する。また、本発明の入力装置100は、接触領域検知部1の操作面に当初から接触していないユーザの指先の位置を推定して擬似指先位置点を設定する。そして、本発明の入力装置100は、設定した擬似指先位置点の移動を推定して、操作画面に表示するユーザの手形状を再現した手形状モデル(CGモデル)に、浮いている指の形状を反映する。この結果として、本発明の入力装置100によれば、ユーザの手形状とCGモデルの形状とを一致させることができ、ユーザは違和感無く操作を行うことが可能となる。
As described above, when the user's fingertip that was initially in contact with the operation surface of the contact area detection unit 1 floats, the
なお、以上では、図5のステップS505〜S507の処理によって、当初から浮いていた指先について、擬似指先位置点を設定した(図7を参照)。しかし、この処理では、端の指(親指又は小指)が当初から浮いていた場合には、この端の指に対応する擬似指先位置点を設定することは困難となる。従って、例えば、図12を用いて以下に説明する処理によって、親指又は小指が当初から浮いていた場合の擬似指先位置点を設定してもよい。 In the above, the pseudo fingertip position point is set for the fingertip that has floated from the beginning by the processing of steps S505 to S507 in FIG. 5 (see FIG. 7). However, in this process, when the end finger (thumb or little finger) has floated from the beginning, it is difficult to set the pseudo fingertip position point corresponding to the end finger. Therefore, for example, the pseudo fingertip position point when the thumb or little finger has floated from the beginning may be set by the processing described below with reference to FIG.
図12(a)は、当初から浮いていた親指に対応する擬似指先位置点903が設定される場合を示す図である。擬似指先位置作成部22は、図12(a)の楕円に示すように、指先位置点901の集団を認定する。これは、例えば、隣の指先位置点901との間隔が所定間隔以下である指先位置点901を1つの集団と認定ことで可能となる。ここで、手の構造上、通常、親指の指先は他の指の指先の集団から離れて位置する。このことから、親指が浮いていた場合には、図12(a)のように、4つの指先位置点901から成る1つの集団が認定される可能性が高い。このことを利用して、4つの指先位置点901から成る1つの集団が認定される場合、擬似指先位置作成部22は、人差し指に対応する指先位置点901の左下方向に、親指に対応する擬似指先位置点903を設定する。このことによって、擬似指先位置作成部22は、当初から浮いていた親指に対応する擬似指先位置点903を設定できる。ここで、親指に対応する擬似指先位置点903と人差し指に対応する指先位置点901との距離は、例えば、人差し指に対応する指先位置点901と中指に対応する指先位置点901との距離の2倍にするとよい。
FIG. 12A is a diagram illustrating a case where a pseudo
図12(b)は、当初から浮いていた小指に対応する擬似指先位置点903が設定される場合を示す図である。擬似指先位置作成部22は、図12(b)の楕円に示すように、指先位置点901の集団を認定する。ここで、親指に対応する指先位置点901は、通常、人指し指に対応する指先位置点901から所定距離以上離れている。このことから、図12(b)に示すように、親指に対応する指先位置点901は、通常、指先位置点901の集団として認定されない。このことを利用して、3つの指先位置点901から成る1つの集団と1つの指先位置点とが認定される場合、擬似指先位置作成部22は、薬指に対応する指先位置点901の右下方向に、小指に対応する擬似指先位置点903を設定する。このことによって、擬似指先位置作成部22は、当初から浮いていた小指に対応する擬似指先位置点903を設定できる。ここで、小指に対応する擬似指先位置点903と薬指に対応する指先位置点901との距離は、例えば、薬指に対応する指先位置点901と中指に対応する指先位置点901との距離と等しくするとよい。
FIG. 12B is a diagram illustrating a case where the pseudo
本発明の入力装置は、ユーザが機器に対して命令を入力するための入力装置等に利用可能であり、特に、タッチパネルディスプレイの直感的な操作感を維持した操作感を実現したい場合等に有用である。 The input device of the present invention can be used as an input device for a user to input a command to a device, and is particularly useful when it is desired to realize an operational feeling while maintaining an intuitive operational feeling of a touch panel display. It is.
1 接触領域検知部
2 演算部
11 I/O
12 HDD
13 ROM
14 CPU
15 RAM
16 バス線
17 画像プロセッサ
18 VRAM
21 位置座標データ作成部
22 擬似指先位置作成部
23 モデル形状作成部
24 手形状モデル保持部
25 GUIパーツ保持部
26 重畳画像作成部
27 操作内容決定部
28 コマンド送信部
41〜45、601、603、701〜704、720、901、1001〜1004 指先位置点
46、604、730、903、1010 掌位置点
100 入力装置
1 Contact
12 HDD
13 ROM
14 CPU
15 RAM
16
DESCRIPTION OF SYMBOLS 21 Position coordinate data creation part 22 Pseudo fingertip position creation part 23 Model
Claims (7)
前記操作面を有し、当該操作面と前記手との接触領域を検知する接触領域検知部と、
前記接触領域に基づいて、前記操作面に現在接触している前記手の指先位置を示す複数の指先位置点を所定時間毎に作成する位置座標データ作成部と、
前記操作面に現在接触していない指先位置を示す擬似指先位置点を作成する擬似指先位置作成部と、
前記指先位置点と前記擬似指先位置点とに基づいて、前記手の形状を反映したCGモデルを作成するモデル形状作成部と、
前記機器に与える指示を割当てたGUIパーツを保持するGUIパーツ保持部と、
前記モデル形状作成部で作成された前記CGモデルと前記GUIパーツ保持部に保持されたGUIパーツとを重畳した画像を作成して前記表示部に表示させる重畳画像作成部と、
前記GUIパーツと前記CGモデルとの位置関係に基づいて、前記機器に与えるユーザの指示を決定する操作内容決定部とを備える、入力装置。 An input device that displays a CG model of a user's hand placed on an operation surface on a display unit and gives an instruction of the user input using the display to the device,
A contact area detection unit that has the operation surface and detects a contact area between the operation surface and the hand;
Based on the contact area, a position coordinate data creation unit that creates a plurality of fingertip position points indicating the fingertip position of the hand that is currently in contact with the operation surface at a predetermined time;
A pseudo fingertip position creation unit that creates a pseudo fingertip position point indicating a fingertip position that is not currently in contact with the operation surface;
A model shape creation unit that creates a CG model reflecting the shape of the hand based on the fingertip position point and the pseudo fingertip position point;
A GUI part holding unit for holding a GUI part to which an instruction to be given to the device is assigned;
A superimposed image creating unit that creates an image in which the CG model created in the model shape creating unit and the GUI part held in the GUI part holding unit are superimposed and displayed on the display unit;
An input device comprising: an operation content determination unit that determines a user instruction to be given to the device based on a positional relationship between the GUI part and the CG model.
前記モデル形状作成部は、更に前記掌位置点に基づいて、前記手の形状を反映したCGモデルを作成することを特徴とする、請求項1に記載の入力装置。 The position coordinate data creation unit further creates a palm position point indicating the palm position of the hand currently in contact with the operation surface at predetermined time intervals based on the contact area detected by the contact area detection unit. ,
The input device according to claim 1, wherein the model shape creation unit further creates a CG model reflecting the shape of the hand based on the palm position point.
前記操作面と前記手との接触領域を検知する接触領域検知ステップと、
前記接触領域に基づいて、前記操作面に現在接触している前記手の指先位置を示す複数の指先位置点を所定時間毎に作成する位置座標データ作成ステップと、
前記操作面に現在接触していない指先位置を示す擬似指先位置点を作成する擬似指先位置作成ステップと、
前記指先位置点と前記擬似指先位置点とに基づいて、前記手の形状を反映したCGモデルを作成するモデル形状作成ステップと、
前記モデル形状作成ステップで作成された前記CGモデルと前記機器に与える指示を割当てたGUIパーツとを重畳した画像を作成して前記表示部に表示させる重畳画像作成ステップと、
前記GUIパーツと前記CGモデルとの位置関係に基づいて、前記機器に与えるユーザの指示を決定する操作内容決定ステップとを備える、入力方法。 An input method in which a CG model of a user's hand placed on an operation surface is displayed on a display unit, and a user instruction input using the display is given to a device,
A contact area detection step of detecting a contact area between the operation surface and the hand;
Based on the contact area, a position coordinate data creating step for creating a plurality of fingertip position points indicating the fingertip position of the hand that is currently in contact with the operation surface every predetermined time;
A pseudo fingertip position creating step for creating a pseudo fingertip position point indicating a fingertip position not currently in contact with the operation surface;
A model shape creating step for creating a CG model reflecting the shape of the hand based on the fingertip position point and the pseudo fingertip position point;
A superimposed image creating step of creating an image in which the CG model created in the model shape creating step and a GUI part assigned an instruction to be given to the device are superimposed and displayed on the display unit;
An input method comprising: an operation content determination step for determining a user instruction to be given to the device based on a positional relationship between the GUI part and the CG model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008215520A JP4922266B2 (en) | 2008-08-25 | 2008-08-25 | Input device and input method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008215520A JP4922266B2 (en) | 2008-08-25 | 2008-08-25 | Input device and input method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010049642A true JP2010049642A (en) | 2010-03-04 |
JP4922266B2 JP4922266B2 (en) | 2012-04-25 |
Family
ID=42066644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008215520A Expired - Fee Related JP4922266B2 (en) | 2008-08-25 | 2008-08-25 | Input device and input method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4922266B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013125552A (en) * | 2011-12-15 | 2013-06-24 | Toshiba Corp | Information processor and image display program |
US9823780B2 (en) | 2014-12-11 | 2017-11-21 | Toyota Jidosha Kabushiki Kaisha | Touch operation detection apparatus |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072854A (en) * | 2004-09-03 | 2006-03-16 | Matsushita Electric Ind Co Ltd | Input device |
WO2007088942A1 (en) * | 2006-02-03 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | Input device and its method |
-
2008
- 2008-08-25 JP JP2008215520A patent/JP4922266B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072854A (en) * | 2004-09-03 | 2006-03-16 | Matsushita Electric Ind Co Ltd | Input device |
WO2007088942A1 (en) * | 2006-02-03 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | Input device and its method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013125552A (en) * | 2011-12-15 | 2013-06-24 | Toshiba Corp | Information processor and image display program |
US9823780B2 (en) | 2014-12-11 | 2017-11-21 | Toyota Jidosha Kabushiki Kaisha | Touch operation detection apparatus |
US9891752B2 (en) | 2014-12-11 | 2018-02-13 | Toyota Jidosha Kabushiki Kaisha | Touch operation detection apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4922266B2 (en) | 2012-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10511778B2 (en) | Method and apparatus for push interaction | |
JP6348211B2 (en) | Remote control of computer equipment | |
JP5921835B2 (en) | Input device | |
JP5716502B2 (en) | Information processing apparatus, information processing method, and computer program | |
JP5716503B2 (en) | Information processing apparatus, information processing method, and computer program | |
Sabir et al. | The Molecular Control Toolkit: Controlling 3D molecular graphics via gesture and voice | |
US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
JP6464889B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP2007172303A (en) | Information input system | |
JP2015135572A (en) | Information processing apparatus and control method of the same | |
JP4922266B2 (en) | Input device and input method | |
JP2003122506A (en) | Coordinate input and operational method directing device | |
JP4856136B2 (en) | Movement control program | |
US20230267667A1 (en) | Immersive analysis environment for human motion data | |
JP2016095795A (en) | Recognition device, method, and program | |
JP5575027B2 (en) | Display-integrated coordinate input device and virtual keyboard function activation method | |
JP2013109538A (en) | Input method and device | |
JP5005585B2 (en) | Operating device and method | |
US20240160294A1 (en) | Detection processing device, detection processing method, information processing system | |
JP4941450B2 (en) | Input device and input method | |
JP5027084B2 (en) | Input device and input method | |
JP2010182135A (en) | Input device and input method | |
JP7392512B2 (en) | Information processing device, information processing method, program, and information processing system | |
JP4962467B2 (en) | Input device and input method | |
TW202340926A (en) | Work support system and work support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110317 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120123 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120203 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150210 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |