JP2012089083A - Information input device and method for electronic apparatus - Google Patents
Information input device and method for electronic apparatus Download PDFInfo
- Publication number
- JP2012089083A JP2012089083A JP2010237657A JP2010237657A JP2012089083A JP 2012089083 A JP2012089083 A JP 2012089083A JP 2010237657 A JP2010237657 A JP 2010237657A JP 2010237657 A JP2010237657 A JP 2010237657A JP 2012089083 A JP2012089083 A JP 2012089083A
- Authority
- JP
- Japan
- Prior art keywords
- input
- finger
- information
- state
- pointing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、電子機器の情報入力装置及びその方法に関するものである。より詳しくは、予め設定された操作者の指の姿態、動きに応じて、マウス情報のみならず文字情報、テンキー情報等も入力することが可能な電子機器の情報入力装置及び方法に関するものである。 The present invention relates to an information input apparatus and method for an electronic device. More specifically, the present invention relates to an information input device and method for an electronic device that can input not only mouse information but also character information, numeric keypad information, and the like in accordance with a preset operator's finger appearance and movement. .
入力作業の効率化、疲労の軽減、及び、省スペース化を目的とした電子機器の入力装置として、1つの入力面に対し、従来の機械的入力操作に加えて、更に入力面を操作する指の動きをカメラで撮影した映像を入力情報として使用する入力装置が提案されている。 As an input device for electronic equipment for the purpose of improving the efficiency of input work, reducing fatigue, and saving space, in addition to the conventional mechanical input operation, a finger that further operates the input surface for one input surface There has been proposed an input device that uses, as input information, an image obtained by capturing the movement of the camera with a camera.
その1つは、ノート型パーソナルコンピュータに適用したもので、通常のキーボード操作入力に加えて、更にキーボード上の指の動きをカメラで撮影した映像で、マウス機能を代替入力するもので、キーボード上のホームポジションを基点として操作する通常の操作では、人差し指と中指を揃えて動かすことはありえないことに着眼し、人差し指と中指が揃って動いたときに映像入力をするものである。 One of them is applied to a notebook personal computer. In addition to the usual keyboard operation input, the camera also captures finger movements on the keyboard and substitutes the mouse function. In the normal operation that operates with the home position as the base point, it is impossible to move the index finger and the middle finger together, and video input is performed when the index finger and the middle finger move together.
即ち、キーボード上の指の映像の中に、人差し指と中指が揃って動いていることが確認されたときは、マウスポインタを移動させる操作と判断し、また、人差し指と中指を揃えた状態からどちらかの指を上下に動かしたときはクリック操作をしていると判断するもので、キーボード上の指の映像を入力情報として使用し、マウスポインタの移動操作とクリック操作とを行うものが提案されている(例えば、特許文献1を参照)。 That is, when it is confirmed in the video of the finger on the keyboard that the index finger and middle finger are moving together, it is determined that the operation is to move the mouse pointer. When one of the fingers is moved up or down, it is determined that the user is performing a click operation. Using the finger image on the keyboard as input information, a mouse pointer movement operation and a click operation are proposed. (For example, refer to Patent Document 1).
しかしながら、この方式では、2種類の入力面の切換(通常のキーボード入力と映像情報によるポインティング入力)しかできないし、人差し指と中指を揃えた状態でのポインティング操作しかできないので、ユーザーフレンドリな入力装置と言えない欠点があった。 However, this method can only switch between two types of input surfaces (normal keyboard input and pointing input based on video information), and can only perform pointing operations with the index and middle fingers aligned. There was a fault that I couldn't say.
他の1つは、電子機器等の小型パッケージ内に収納可能な入力装置を提供することを目的として、1つの入力面を複数の入力面として使用できるように、この複数の入力面を夫々入力パネル化して、1つの入力面を選択して呼び出す事ができるようにし、2台のカメラで撮影している入力面に、この選択した入力パネルを呼び出し、この呼び出した入力パネル上での入力をカメラで撮影した映像情報から検出し、今日の機械式入力装置に作り出されているタイプの入力信号を生成するものが提案されている(例えば、特許文献2を参照)。 The other is for the purpose of providing an input device that can be stored in a small package such as an electronic device, so that one input surface can be used as a plurality of input surfaces. Create a panel so that one input surface can be selected and called, and the selected input panel is called on the input surface captured by two cameras, and the input on the called input panel is input. There has been proposed a technique for generating an input signal of a type that is detected from video information photographed by a camera and created in today's mechanical input device (for example, see Patent Document 2).
しかしながら、複数の入力面を選択可能にしたものであるが、選択可能な入力面を選択する選択ボタンを各入力面に設けているので、入力面の増減に伴い、各入力面への変更も発生し、操作性や小型化において欠点があった。また、入力判定が、利用者の指と入力面との距離のみに依存していて簡潔であるが、ユーザーフレンドリな入力操作にできないという欠点もあった。 However, although a plurality of input surfaces can be selected, a selection button for selecting a selectable input surface is provided on each input surface. There were drawbacks in terms of operability and miniaturization. In addition, although input determination depends on only the distance between the user's finger and the input surface and is simple, there is a disadvantage that user-friendly input operation cannot be performed.
本発明は、前記問題点を解消し、電子機器への手入力作業において、入力作業の高効率化、疲労の軽減(省力)化、入力装置の省スペース化を図るとともに、ユーザーフレンドリなマン・マシンインターフェイスとして、画像認識を利用した入力装置を提供することを目的とするものである。
即ち、電子機器の入力操作面上に備える本発明の入力装置の入力面は、他の入力面に影響を与えることがなく、操作者により入力面の追加や変更ができる。
本発明の入力装置を操作する指の姿は、操作者が操作し易い指の姿や、操作者にとって意味のある指の姿で操作が行えるように等、操作者の要望を考慮して任意に変更又は設定することができる。
本発明の入力装置の操作手順は、操作者が定めた入力面毎に操作者が定めた指の姿や指の姿の変化の速度により、入力操作の操作性や確実性を考慮して構築ができる。
The present invention solves the above-mentioned problems, improves the efficiency of input work in manual input work to electronic equipment, reduces fatigue (labor saving), saves space on the input device, and reduces user input. An object of the present invention is to provide an input device using image recognition as a machine interface.
In other words, the input surface of the input device of the present invention provided on the input operation surface of the electronic device does not affect other input surfaces, and the operator can add or change the input surface.
The shape of the finger for operating the input device of the present invention is arbitrary in consideration of the operator's request, such as a finger shape that is easy for the operator to operate and a finger shape that is meaningful to the operator. Can be changed or set.
The operation procedure of the input device according to the present invention is constructed in consideration of the operability and certainty of the input operation according to the finger shape determined by the operator and the speed of change of the finger shape for each input surface determined by the operator. Can do.
請求項1に記載の電子機器の情報入力装置は、
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段の映像より指情報を抽出する指情報抽出手段と、
前記指情報抽出手段からの指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の2次元座標を算出する指示指確定手段と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも1組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定手段によって確定した指示指状態に応じた操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施手段と、を備えていることを特徴とする。
An information input device for an electronic device according to claim 1,
Imaging means for sequentially capturing images of a predetermined area of the input operation surface;
Finger information extracting means for extracting finger information from the image of the imaging means;
Based on the finger information from the finger information extraction means, the current finger position and finger position coordinates on the video are determined, and the finger position of the previous finger extraction information stored in the current finger position coordinates Determine the difference status from the coordinates, and determine the current pointing finger status from the pointing finger status table that associates the pointing finger status with the difference status between the figure of the finger and the position coordinates, which can be determined and changed in advance. And pointing finger determination means for calculating the two-dimensional coordinates of the current finger on the input surface formed at a predetermined position on the input operation surface from the current finger position coordinates;
At least one consisting of a combination of the pointing finger state, a time during which the pointing finger state continues, and an operation instruction with respect to the input surface formed at a predetermined position of the input operation surface, which can be determined and changed in advance. From an operation state determination table that associates the operation procedures of a pair or more, an operation state determination unit that determines an operation state according to the pointing finger state determined by the pointing finger determination unit,
And an operation procedure execution means for executing an operation instruction for selecting an input surface or generating input information in accordance with the operation state determined by the operation state determination means.
請求項2に記載の入力装置は、請求項1に記載の入力装置において、撮像手段が2次元イメージセンサで構成されることを特徴とする。 According to a second aspect of the present invention, there is provided the input device according to the first aspect, wherein the imaging means is constituted by a two-dimensional image sensor.
請求項3に記載の入力装置は、請求項1に記載の入力装置において、撮像手段が、入力面に対して横方向に設けられた少なくとも2個の1次元イメージセンサで構成され、入力面上の2次元座標が三角測量法で算出されることを特徴とする。 An input device according to a third aspect is the input device according to the first aspect, wherein the imaging means is composed of at least two one-dimensional image sensors provided laterally with respect to the input surface. These two-dimensional coordinates are calculated by a triangulation method.
請求項4に記載の入力装置は、請求項1に記載の入力装置において、撮像手段が2次元イメージセンサと1次元イメージセンサの組合せで構成されることを特徴とする。 According to a fourth aspect of the present invention, there is provided the input device according to the first aspect, wherein the imaging means is composed of a combination of a two-dimensional image sensor and a one-dimensional image sensor.
請求項5に記載の入力装置は、請求項1に記載の入力装置において、撮像手段がその近傍に入力操作面の所定の領域を照射するための照射手段を備えることを特徴とする。 The input device according to a fifth aspect is the input device according to the first aspect, wherein the imaging means includes an irradiating means for irradiating a predetermined area of the input operation surface in the vicinity thereof.
請求項6に記載の入力装置は、請求項1に記載の入力装置において、指示指確定手段が、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅として認識することを特徴とする。 The input device according to claim 6 is the input device according to claim 1, wherein the pointing finger determination unit changes the appearance of the operator's finger, whether there is a gap between fingers, the number of fingers, or the number of fingers. And the width of the finger.
請求項7に記載の入力装置は、請求項1に記載の入力装置において、操作手順実施手段が、前記入力面と入力情報の生成指示と2次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
操作状態確定手段からの操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
操作状態確定手段からの操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
入力面と入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
入力面と入力情報の生成の指示と指の2次元座標から、入力情報テーブルより入力情報を生成する、ことを特徴とする。
The input device according to claim 7 is the input device according to claim 1, wherein the operation procedure execution means is predetermined and can be changed with respect to the input surface, the input information generation instruction, and the two-dimensional coordinates. An input information table that associates the input information of
If the content of the operation instruction from the operation state determination means is an input surface selection instruction, the currently selected input surface is changed according to the input surface selection instruction,
If the content of the operation instruction from the operation state determination means is an instruction to generate input information, on the currently selected input surface,
Generate input information defined by the operator in response to the input surface and input information generation instruction, or
The input information is generated from the input information table from the input surface, the input information generation instruction, and the two-dimensional coordinates of the finger.
請求項8に記載の入力装置は、請求項1に記載の入力装置において、入力操作面の所定の位置に形成される入力面は、少なくともキーボートの入力面とテンキー情報の入力面とマウス情報の入力面とを含み、これらの各入力面が操作手順実施手段によって相互に切り替えられることを特徴とする。 The input device according to claim 8 is the input device according to claim 1, wherein the input surface formed at a predetermined position of the input operation surface includes at least an input surface of the keyboard, an input surface of numeric keypad information, and mouse information. Each of the input surfaces is switched to each other by the operating procedure execution means.
請求項9に記載の入力装置は、請求項8に記載の入力装置において、入力操作面の所定の位置に形成される入力面には更に、マウス情報の入力面との間で、操作手順実施手段によって切り替えられる左クリック押下継続の入力面とスクロール待ちの入力面が含まれることを特徴とする。 The input device according to claim 9 is the input device according to claim 8, wherein an operation procedure is further performed between the input surface formed at a predetermined position of the input operation surface and the input surface of mouse information. An input surface for continuing to press the left click and an input surface waiting for scrolling, which are switched by means, are included.
請求項10に記載の電子機器への情報を入力する方法は、
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程で得られた映像より指情報を抽出する指情報抽出過程と、
前記指情報抽出過程で得られた指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の2次元座標を算出する指示指確定過程と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも1組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定過程によって確定した指示指状態に応じた操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施過程と、からなることを特徴とする。
A method for inputting information to an electronic device according to claim 10 is provided.
An imaging process for sequentially capturing images of a predetermined area of the input operation surface;
Finger information extraction process for extracting finger information from the video obtained in the imaging process;
Based on the finger information obtained in the finger information extraction process, the current finger shape and the finger position coordinates on the video are determined, and the finger information of the previous finger extraction information stored in the current finger position coordinates is stored. The current pointing finger state from the pointing finger state table in which the pointing finger state is associated with the difference between the figure of the finger and the position coordinate, which can be determined, changed and determined in advance, And a pointing finger determination process for calculating the two-dimensional coordinates of the current finger on the input surface formed at a predetermined position on the input operation surface from the current finger position coordinates;
At least one consisting of a combination of the pointing finger state, a time during which the pointing finger state continues, and an operation instruction with respect to the input surface formed at a predetermined position of the input operation surface, which can be determined and changed in advance. From an operation state determination table that associates a set of operation procedures or more, an operation state determination process for determining an operation state according to the pointing finger state determined by the pointing finger determination process,
And an operation procedure execution process for executing an operation instruction for selecting an input surface or generating input information in accordance with the operation state determined by the operation state determination process.
請求項11に記載の情報入力方法は、請求項10に記載の入力方法において、撮像過程が2次元イメージセンサを用いて行われることを特徴とする。 An information input method according to an eleventh aspect is the input method according to the tenth aspect, wherein the imaging process is performed using a two-dimensional image sensor.
請求項12に記載の情報入力方法は、請求項10に記載の入力方法において、撮像過程が入力面に対して横方向に設けられた少なくとも2個の1次元イメージセンサを用いて行われ、入力面上の2次元座標が三角測量法で算出されることを特徴とする。 An information input method according to a twelfth aspect is the input method according to the tenth aspect, wherein the imaging process is performed using at least two one-dimensional image sensors provided laterally with respect to the input surface. Two-dimensional coordinates on the surface are calculated by a triangulation method.
請求項13に記載の情報入力方法は、請求項10に記載の入力方法において、撮像過程が2次元イメージセンサと1次元イメージセンサの組合せで行われることを特徴とする。 An information input method according to a thirteenth aspect is the input method according to the tenth aspect, wherein the imaging process is performed by a combination of a two-dimensional image sensor and a one-dimensional image sensor.
請求項14に記載の情報入力方法は、請求項10に記載の入力方法において、指示指確定過程が、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅として認識することを特徴とする。 The information input method according to claim 14 is the input method according to claim 10, wherein the pointing finger determination process is performed to determine the appearance of the operator's finger, whether there is a gap between fingers, the number of fingers, It is characterized by recognizing the number and the width of the finger.
本発明の請求項1の入力装置では、撮像手段により撮像された映像より抽出した指の情報を、予め定められ且つ操作者が変更し得る指示指状態として表現できる。操作状態確定手段は、この指示指状態が、予め操作者が定めた操作状態判定テーブルで現在選択されている入力面のデータの1組目に登録されている指示指状態と一致したときを操作手順の開始トリガーとし、続く指示指状態を選択決定意思の指示指状態として受けて、前記開始トリガーとしたデータに登録された指示指状態と一致したとき、操作手順の操作指示を確定する。したがって、操作手順実施手段により、操作指示に従って入力面の選択や、選択された入力面の入力情報を生成できる。 In the input device according to the first aspect of the present invention, the finger information extracted from the video imaged by the imaging means can be expressed as a pointing finger state that is predetermined and can be changed by the operator. The operation state determination means operates when the pointing finger state matches the pointing finger state registered in the first set of input surface data currently selected in the operation state determination table determined in advance by the operator. As the start trigger of the procedure, the subsequent pointing finger state is received as the pointing finger state of the selection determination intention, and when the pointing finger state matches the pointing finger state registered in the data set as the start trigger, the operation instruction of the operation procedure is confirmed. Therefore, the operation procedure execution means can select an input surface and generate input information of the selected input surface according to the operation instruction.
請求項2の入力装置では、撮像手段が2次元イメージセンサで構成されるため、指の情報を正確に検出することができる。 In the input device according to the second aspect, since the imaging means is composed of a two-dimensional image sensor, it is possible to accurately detect finger information.
請求項3の入力装置では、撮像手段が入力面に対して横方向に設けられた少なくとも二つの1次元イメージセンサで構成されるため、装置を安価に構成することができる。 In the input device according to the third aspect, since the imaging means is composed of at least two one-dimensional image sensors provided in a direction transverse to the input surface, the device can be configured at low cost.
請求項4の入力装置では、撮像手段が2次元センサと1次元センサの組合せで構成されるため、指の情報を正確に検出できるとともに、装置全体を安価に構成することができる。 In the input device according to the fourth aspect, since the imaging means is composed of a combination of a two-dimensional sensor and a one-dimensional sensor, it is possible to accurately detect finger information and to configure the entire device at low cost.
請求項5の入力装置では、撮像手段が照射手段を備えているため、指と背景とを明確に区別して撮影することができる。 In the input device according to the fifth aspect, since the image pickup means includes the irradiation means, it is possible to take an image while clearly distinguishing the finger and the background.
請求項6の入力装置では、用いられる撮像手段の種類により、指示指確定手段は、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅という自由な組合せで容易に認識することができる。 In the input device according to claim 6, depending on the type of the imaging unit used, the pointing finger determination unit determines whether or not the operator's finger has a gap between fingers, the number of fingers, or the number of fingers and the width of the fingers. It can be easily recognized by a free combination.
請求項7の入力装置では、操作手順実施手段が、操作者が任意に設定・変更し得る複数の入力情報を対応付けた入力情報テーブルを有しているため、選択された入力面上の指の2次元座標に基づき、入力情報テーブルに定められた入力情報を直ちに入力することができる。 In the input device according to the seventh aspect, since the operation procedure execution means has an input information table in which a plurality of input information that can be arbitrarily set / changed by the operator is associated, a finger on the selected input surface Based on the two-dimensional coordinates, input information determined in the input information table can be input immediately.
請求項8の入力装置では、入力操作面の所定の位置に形成される入力面には、少なくともキーボートの入力面とテンキー情報の入力面とマウス情報の入力面が含まれ、これらの各入力面を操作手順実施手段によって相互に切り替えることができるので、通常のコンピュータの入力操作に必要なすべての情報を入力面を切り替えながら、効率良く入力することができる。 9. The input device according to claim 8, wherein the input surface formed at a predetermined position of the input operation surface includes at least an input surface of a keyboard, an input surface of numeric keypad information, and an input surface of mouse information. Can be switched to each other by the operating procedure execution means, so that all information necessary for normal computer input operations can be efficiently input while switching the input surface.
請求項9の入力装置は、入力面に更に、マウス情報の入力面との間で、操作手順実施手段によって切り替えることができる左クリック押下継続の入力面とスクロール待ちの入力面を含むので、通常のマウスが有するすべての情報を集約的に効率良く入力することができる。 Since the input device according to claim 9 further includes an input surface that can be switched by the operating procedure executing means and an input surface that is left-clicked continuously, and an input surface that is waiting for scrolling. All the information of the mouse can be input intensively and efficiently.
本発明の請求項10の入力方法では、撮像過程により撮像された映像より抽出した指の情報を、予め定められ且つ操作者が変更し得る指示指状態として表現できる。操作状態確定過程は、この指示指状態が、予め操作者が定めた操作状態判定テーブルで現在選択されている入力面のデータの1組目に登録されている指示指状態と一致したときを操作手順の開始トリガーとし、続く指示指状態を選択決定意思の指示指状態として受けて、前記開始トリガーとしたデータに登録された指示指状態と一致したとき、操作手順の操作指示を確定する。したがって、操作手順実施過程により、操作指示に従って入力面の選択や、選択された入力面の入力情報を生成できる。 In the input method according to the tenth aspect of the present invention, the finger information extracted from the video imaged in the imaging process can be expressed as a pointing finger state that is predetermined and can be changed by the operator. The operation state determination process is performed when the pointing finger state matches the pointing finger state registered in the first set of input surface data currently selected in the operation state determination table determined in advance by the operator. As the start trigger of the procedure, the subsequent pointing finger state is received as the pointing finger state of the selection determination intention, and when the pointing finger state matches the pointing finger state registered in the data set as the start trigger, the operation instruction of the operation procedure is confirmed. Therefore, according to the operation procedure execution process, it is possible to select the input surface and generate input information of the selected input surface according to the operation instruction.
請求項11の入力方法では、撮像過程が2次元イメージセンサを用いて行われるため、指情報を正確に検出することができる。 In the input method according to the eleventh aspect, since the imaging process is performed using a two-dimensional image sensor, finger information can be accurately detected.
請求項12の入力方法では、撮像過程が入力面に対して横方向に設けられた少なくとも2個の1次元イメージセンサを用いて行われ、入力面上の2次元座標が三角測量法で算出されるため、指情報を安価に得ることができる。 In the input method according to claim 12, the imaging process is performed by using at least two one-dimensional image sensors provided in a direction transverse to the input surface, and the two-dimensional coordinates on the input surface are calculated by the triangulation method. Therefore, finger information can be obtained at low cost.
請求項13の入力方法では、撮像過程が、2次元イメージセンサと1次元イメージセンサの組合せで行われるため、指情報を正確且つ安価に得ることができる。 In the input method according to the thirteenth aspect, since the imaging process is performed by a combination of a two-dimensional image sensor and a one-dimensional image sensor, finger information can be obtained accurately and inexpensively.
請求項14の入力方法では、指示指確定過程は、撮像過程に応じて、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅という自由な組合せで容易に認識することができる。 In the input method according to claim 14, in the pointing finger determination process, depending on the imaging process, the operator's finger shape can be freely determined by the presence or absence of a gap between the fingers, the number of fingers, or the number of fingers and the width of the fingers. Can be easily recognized by simple combinations.
以下、本発明の好適実施例を添付図面を参照しながら詳しく説明する。尚、全図面を通して、同一参照番号又は符号は、明細書全体を通して同一又は同等の部品を表わすものとする。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Throughout the drawings, the same reference numerals or symbols denote the same or equivalent parts throughout the specification.
最初に、発明の入力装置として機能するノート型パソコンであって、ノート型パソコンのキーボード上で、従来のキーボード操作に加え、画像認識を利用したマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報の入力ができる実施例1を図1から図9を参照して説明する。 First, a notebook personal computer that functions as an input device of the invention, on the keyboard of the notebook personal computer, in addition to conventional keyboard operation, information equivalent to a mouse using image recognition, information equivalent to a numeric keypad, and shortcut keys A first embodiment capable of inputting equivalent information and information equivalent to characters will be described with reference to FIGS.
先ず、物理的構成について、図1及び図2を参照して説明する。
参照符号1は、開閉式のノート型パーソナルコンピュータ(以下、PC1と呼ぶ)であり、本体側に各種の文字や記号や機能情報(ファンクションキー等)を入力するための複数の操作キーからなるキーボード4が設けられている。
また、蓋側の中央に表示画面であるディスプレイ2が設けられ、上部には、キーボード4上の指を動作中常時撮影するCCD(Charge Coupled Device)カメラ3(以下、カメラ3と呼ぶ)が設けられている。また、本体側の側面には、USB(Universal Serial Bus)コネクタ8が設けられている。
図1及び図2の点線4a部分は、カメラ3の映像からマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報を入力するときに使用する領域であり、図2の点線4b部分の小領域は、テンキー情報の0から9の数字と四則演算の記号を入力するための領域の配置位置である。
First, the physical configuration will be described with reference to FIGS.
Reference numeral 1 denotes an openable notebook personal computer (hereinafter referred to as PC1), which is a keyboard composed of a plurality of operation keys for inputting various characters, symbols, and function information (function keys, etc.) on the main body side. 4 is provided.
In addition, a display 2 as a display screen is provided in the center of the lid side, and a CCD (Charge Coupled Device) camera 3 (hereinafter referred to as a camera 3) for always photographing a finger on the keyboard 4 during operation is provided at the top. It has been. In addition, a USB (Universal Serial Bus) connector 8 is provided on the side surface on the main body side.
The dotted line 4a in FIGS. 1 and 2 is an area used when inputting information equivalent to a mouse, information equivalent to a numeric keypad, information equivalent to a shortcut key, or information equivalent to a character from the image of the camera 3. A small area of the dotted line 4b is an arrangement position of an area for inputting numerals 0 to 9 of numeric key information and symbols of four arithmetic operations.
カメラ3のレンズ周囲部には調整ツマミ5が設けられ、キーボード4を操作する指を映像として確実に捉えることができるように、カメラ3の視野が調整できるようになっている。
特に、カメラ3で撮像対象としたいのはキーボード4上の左手と右手の部分であるから、キーボード4を手から識別し易い色、例えば黒にすることが好ましい。この様にすれば、手のコントラストが高くなるため、手の部分を容易に抽出することができる。また、カメラ3の付近にキーボード4上を照射する照射手段を備え、キーボード4の面を反射率の低い部材とすることにより、より、手のコントラストを高くすることができる。
An adjustment knob 5 is provided around the lens of the camera 3 so that the visual field of the camera 3 can be adjusted so that a finger operating the keyboard 4 can be reliably captured as an image.
In particular, since it is the left hand and right hand portions on the keyboard 4 that are desired to be imaged by the camera 3, it is preferable to set the keyboard 4 to a color that can be easily identified from the hand, such as black. In this way, since the contrast of the hand is increased, the hand part can be easily extracted. Further, by providing irradiation means for irradiating the keyboard 4 near the camera 3, and making the surface of the keyboard 4 a member having a low reflectance, the contrast of the hand can be further increased.
次に、図3Aを参照して、PC1の電気的構成について説明する。
PC1は、その制御部50内に、PC1が具備する各種機能の全体を制御するCPU10が設けられている。このCPU10には、入力プログラムの他、PC1を動作させるための各種プログラム等を記憶したROM11と、前記入力プログラムで使用する各種のデータ(後述の図3Bを参照)の他、PC1の各種のデータを一時的に記憶するRAM12と、前記入力プログラムにおいて時間の経過を計測するためのタイマ13と、I/Oインターフェイス14とがバスを介して接続されている。I/Oインターフェイス14には、ディスプレイ2及びカメラ3を制御するためのビデオコントローラ15と、キーボード4を制御するためのキーコントローラ16と、前記入力プログラムを制御するための各種テーブル(後述の図3Cを参照)を記憶するための記憶装置であるハードディスク装置(HDD)17とUSBコネクタ8とが接続されている。
Next, the electrical configuration of the PC 1 will be described with reference to FIG. 3A.
The PC 1 is provided with a CPU 10 for controlling the overall functions of the PC 1 in the control unit 50. In addition to the input program, the CPU 10 stores a ROM 11 that stores various programs for operating the PC 1, various data used in the input program (see FIG. 3B described later), and various data of the PC 1. Are temporarily connected, a timer 13 for measuring the passage of time in the input program, and an I / O interface 14 are connected via a bus. The I / O interface 14 includes a video controller 15 for controlling the display 2 and the camera 3, a key controller 16 for controlling the keyboard 4, and various tables for controlling the input program (FIG. 3C described later). Are connected to a USB connector 8 and a hard disk device (HDD) 17 which is a storage device for storing the information.
次に、入力装置の操作手順の概要について、図4を参照して説明する。
入力装置は、キーボード4から操作キーを打鍵する入力とショートカットキーと同等情報と文字と同等情報を入力するための入力面(OP−K:キーボードの入力面)と、マウスと同等情報を入力するための入力面(OP−M:マウス情報の入力面)と、テンキーと同等情報を入力するための入力面(OP−T:テンキー情報の入力面)と、スクロール情報を入力するための入力面(OP−MS:スクロール待ちの入力面)と、左クリック押下継続(ドラック操作をするための操作)をするための入力面(OP−MC:左クリック押下継続の入力面)とを備えていて、入力操作で使用する入力面を選択した後に入力操作を行う。
Next, an outline of the operation procedure of the input device will be described with reference to FIG.
The input device inputs input information (OP-K: keyboard input surface) for inputting the operation key from the keyboard 4 and inputting information equivalent to the shortcut key and information equivalent to the character, and information equivalent to the mouse. Input surface (OP-M: mouse information input surface), input surface for inputting information equivalent to a numeric keypad (OP-T: numeric keypad information input surface), and input surface for inputting scroll information (OP-MS: input surface waiting for scrolling) and an input surface (OP-MC: input surface for continuing left click pressing) for continuing the left click pressing (operation for dragging operation). The input operation is performed after the input surface to be used in the input operation is selected.
キーボードの入力面(OP−K)が選択されていると、マウス情報の入力面(OP−M)やスクロール待ちの入力面(OP−MS)やテンキー情報の入力面(OP−T)の入力面を選択するためのトリガーとなる指の姿、或いは、ショートカットキーと同等情報や文字と同等情報の入力情報を入力するためのトリガーとなる指の姿を、所定の時間間隔で取得している映像にないかを監視(K−1とK−3とK−2とIN−SC:詳細は、図6を参照して後述する)している。 When the keyboard input screen (OP-K) is selected, the mouse information input screen (OP-M), the scroll waiting input screen (OP-MS), and the numeric keypad information input screen (OP-T) are input. The figure of the finger used as a trigger for selecting a face, or the figure of a finger used as a trigger for inputting input information equivalent to a shortcut key or information equivalent to a character is acquired at predetermined time intervals. It is monitored whether there is an image (K-1, K-3, K-2, and IN-SC: details will be described later with reference to FIG. 6).
もし、カメラ3が撮像した映像が入力面を選択するためのトリガーとなる指の姿に当てはまれば、続く、カメラ3が撮像した映像が、予め登録されている入力面の選択を確定する指の姿かどうかを判定し、入力面の選択が確定する。
また、カメラ3が撮像した映像が前記入力情報を入力するためのトリガーとなる指の姿に当てはまれば、続く、カメラ3が撮像した映像が、予め登録されている前記入力情報を決定する指の姿かどうかを判定し、前記入力情報が確定する。
このトリガーとなる指の姿とこれに続く指の姿が、入力面を選択する操作手順や入力情報を決定する操作手順(以下、入力装置の操作手順と呼ぶ)となる。
If the image captured by the camera 3 is applied to a finger as a trigger for selecting the input surface, the subsequent image captured by the camera 3 determines the selection of the input surface registered in advance. It is determined whether it is a figure, and the selection of the input surface is confirmed.
In addition, if the image captured by the camera 3 is applied to the figure of a finger serving as a trigger for inputting the input information, the subsequent image captured by the camera 3 determines the input information registered in advance. It is determined whether it is a figure, and the input information is confirmed.
The figure of the finger serving as the trigger and the figure of the finger following this form an operation procedure for selecting an input surface and an operation procedure for determining input information (hereinafter referred to as an operation procedure of the input device).
マウス情報の入力面(OP−M)が選択されていると、
キーボードの入力面(OP−K)やテンキー情報の入力面(OP−T)や左クリック押下継続の入力面(OP−MC)やスクロール待ちの入力面(OP−MS)を選択するためのトリガーとなる指の姿、或いは、マウス情報の入力面における入力情報を決定する為のトリガーとなる指の姿を、所定の時間間隔で取得している映像にないかを監視(M−9とM−10とM−7とM−8とM−1:詳細は、図6を参照して後述する)している。
When the mouse information input surface (OP-M) is selected,
Trigger to select keyboard input screen (OP-K), numeric keypad information input screen (OP-T), left-click continuation input screen (OP-MC), scroll input screen (OP-MS) The image of the finger acquired as a trigger for determining input information on the input surface of the mouse information or the image of the finger acquired at a predetermined time interval is monitored (M-9 and M-9). -10, M-7, M-8, and M-1: Details will be described later with reference to FIG.
テンキー情報の入力面(OP−K)が選択されていると、
キーボードの入力面(OP−K)やマウス情報の入力面(OP−M)を選択するためのトリガーとなる指の姿か、或いは、テンキー情報を入力するためのトリガーとなる指の姿を、所定の時間間隔で取得している映像にないかを監視(T−2とT−3とT−1:詳細は、図6を参照して後述する)している。
したがって、キーボードの入力面(OP−K)やマウス情報の入力面(OP−M)やテンキー情報の入力面(OP−K)は、操作者が、トリガーとなる特別に意味のある指の姿をとることに応じて相互に往来できる。
When the numeric keypad input surface (OP-K) is selected,
The figure of a finger that triggers to select the keyboard input surface (OP-K) or mouse information input surface (OP-M), or the shape of a finger that triggers the input of numeric keypad information. It is monitored whether there is an image acquired at a predetermined time interval (T-2, T-3, and T-1: details will be described later with reference to FIG. 6).
Therefore, the keyboard input surface (OP-K), the mouse information input surface (OP-M), and the numeric keypad information input surface (OP-K) are specially meaningful finger shapes that trigger the operator. You can come and go as you go.
また、マウス情報の入力面(OP−M)において、入力情報を決定する為のトリガーとなる指の姿を見つけると、これに続く指の姿により入力情報を決定するが、このトリガーとなる指の姿とそれに続く指の姿が、マウス情報の入力面における入力情報を決定する操作手順(M−2からM−6)となる。 In addition, when a finger shape serving as a trigger for determining the input information is found on the mouse information input surface (OP-M), the input information is determined by the subsequent finger shape. And the subsequent finger form constitute an operation procedure (M-2 to M-6) for determining input information on the input surface of mouse information.
したがって、入力面を選択する操作手順と選択された入力面における入力情報を決定する操作手順からなる入力装置の操作手順は、操作手順が使用できる入力面毎に、操作手順を開始する指の姿とそれに続く指の姿の連続する組合せで表現できる。
言いかえれば、この指の姿の組合せは、入力装置に対して、入力面の選択の指示や選択されている入力面における入力情報の生成の指示(以下、操作指示という)を出せる。
Therefore, the operation procedure of the input device comprising the operation procedure for selecting the input surface and the operation procedure for determining the input information on the selected input surface is the figure of the finger that starts the operation procedure for each input surface on which the operation procedure can be used. And the subsequent combination of the figure of the finger.
In other words, this combination of finger shapes can give an input device an instruction to select an input surface and an instruction to generate input information on the selected input surface (hereinafter referred to as an operation instruction).
さらに、この指の姿の組合せを構成する指の姿毎に、指の姿が継続しなければならない最短の時間(以下、指示指継続時間という)を予め設定しておくことで、この指の姿が、設定された指示指継続時間を継続したか否かを、操作指示を出す判定条件とする事ができる。例えば、指示指継続時間がゼロ秒なら、指の姿が変化した時点で直ちに操作指示を出せる。
また、この指示指継続時間に達する前に指の姿が変化した場合は、操作手順に従った操作が実施されなかった事になる。
Furthermore, by setting in advance the minimum time that the finger must continue (hereinafter referred to as the pointing finger duration) for each of the fingers constituting the combination of the fingers, Whether or not the figure continues the set pointing finger duration can be set as a determination condition for issuing an operation instruction. For example, if the pointing finger duration is zero seconds, an operation instruction can be issued immediately when the finger shape changes.
If the finger changes before the instruction finger duration time is reached, the operation according to the operation procedure is not performed.
したがって、操作者にとって、より、操作し易い速度で操作できるように操作手順を構築することができる。また、同一の指示指状態を持続させている時間により、操作指示を決定することができる。
この指示指継続時間と比較する経過時間は、同一の指の姿が継続している持続時間で、タイマ13により計測し、随時、経過時間122に記憶している。
Therefore, an operation procedure can be constructed so that the operator can operate at a speed that is easier to operate. Further, the operation instruction can be determined based on the time during which the same pointing finger state is maintained.
The elapsed time to be compared with the pointing finger duration time is a duration time during which the same finger is continued, measured by the timer 13, and stored in the elapsed time 122 as needed.
次に、操作者が定める、操作者にとって操作し易い指の姿や、操作者にとって意味のある指の姿をどの様にして識別するかについて、図5を参照して説明する。
指の姿は、操作者が容易にその姿態をとることができ、且つカメラ3の映像情報から容易に抽出・判定できるものである事を考慮して、以下の基準で識別し、識別した指の姿を指示指状態と呼ぶ。
先ず、前記映像情報から指の間の隙間が有るかどうかを判定し、隙間状況を確定する。尚、指先の隙間だけが無い場合も、指の間の隙間が無いと判断する。次に、左右の指で動いている指を特定するために、前記映像情報上における左右の指の位置座標を求め、前回の映像情報の左右の指の位置座標を記憶してある記憶領域の前回座標121と比較し位置座標の差異状況を確定する。尚、映像情報上における指の位置座標は、図2の点線4aの領域内の各指の先端の位置で求めればよい。
前記隙間状況と前記位置座標の差異状況が確定すると、前記隙間状況と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブル173より、指示指状態を確定する。尚、入力面上における指の2次元座標は、映像情報上における指の位置座標と同一とする。尚、差異状況が確定後、指の位置座標を前回座標121へ格納する。
Next, how to identify a finger shape that is easy for the operator to operate and a finger shape that is meaningful to the operator, as determined by the operator, will be described with reference to FIG.
Considering that the finger can be easily taken by the operator and can be easily extracted and determined from the video information of the camera 3, the finger is identified based on the following criteria. Is called the pointing finger state.
First, it is determined from the video information whether there is a gap between fingers, and the gap state is determined. Even when there is no gap between the fingertips, it is determined that there is no gap between the fingers. Next, in order to identify the finger moving with the left and right fingers, the position coordinates of the left and right fingers on the video information are obtained, and the position coordinates of the left and right fingers of the previous video information are stored in the storage area. Compared with the previous coordinate 121, the difference situation of the position coordinate is determined. Note that the position coordinates of the finger on the video information may be obtained from the position of the tip of each finger within the area of the dotted line 4a in FIG.
When the difference state between the gap state and the position coordinate is determined, the pointing finger state is determined from the pointing finger state table 173 in which the pointing finger state is associated with the difference state between the gap state and the position coordinate. The two-dimensional coordinates of the finger on the input surface are the same as the position coordinates of the finger on the video information. After the difference status is determined, the finger position coordinates are stored in the previous coordinates 121.
例えば、マウス情報の入力面を選択するためのトリガーとなる指の姿と、マウスポインタを移動するときに使用する指の姿は、操作者にとって意味のある指の姿となるように、右手は、マウスを握るような形状とした。この右手は、親指と人差し指の隙間が有り、人差し指と中指の隙間が有り、中指と薬指の間の隙間と薬指と小指の間の隙間の有無については問わない形状とする。そして、左手は、図2の点線4a内に入れないようにする。
この指の姿が静止している状態を、以後、指示指状態"001"と呼ぶ(図5Aの指示指状態"001"を参照)。
For example, the right hand is used so that the finger shape that triggers the selection of the mouse information input surface and the finger shape that is used when moving the mouse pointer become a meaningful finger shape for the operator. The shape was like holding a mouse. The right hand has a gap between the thumb and the index finger, a gap between the index finger and the middle finger, and a shape between the middle finger and the ring finger and a gap between the ring finger and the little finger. Then, the left hand is prevented from entering the dotted line 4a in FIG.
Hereinafter, the state in which the figure of the finger is stationary is referred to as a pointing finger state “001” (see the pointing finger state “001” in FIG. 5A).
次に、カメラ3の映像から確定した指示指状態は、
操作手順通りに操作し、操作手順が終了するものである(以下、W操作状態という)、1つの操作手順に絞りこまれていて操作手順通りに操作中である(以下、X操作状態という)、操作手順の絞り込み中である(以下、Y操作状態という)、操作手順に当てはまらない指示指状態だった(以下、Z操作状態という)かの、いずれの操作状態かを判定し確定するための、操作状態判定テーブル171について、図6を参照して説明する。
Next, the pointing finger state determined from the image of the camera 3 is
Operation is performed according to the operation procedure, and the operation procedure ends (hereinafter referred to as W operation state). The operation procedure is narrowed down to one operation procedure and is performed according to the operation procedure (hereinafter referred to as X operation state). The operation procedure is being narrowed down (hereinafter referred to as the “Y operation state”), and the operation state is determined and determined whether the pointing finger state does not apply to the operation procedure (hereinafter referred to as the “Z operation state”). The operation state determination table 171 will be described with reference to FIG.
これまでの説明から操作手順は、入力面毎に、開始の手順となる「指示指状態と指示指継続時間と操作指示」と、必要であれば、それに続く手順となる「指示指状態と指示指継続時間と操作指示」とから構成されることが判る。 From the description so far, the operation procedure is as follows: “Indicating finger state, pointing finger duration and operation instruction” which is a starting procedure for each input surface, and “Indicating finger state and instruction” which is a subsequent procedure if necessary. It can be seen that it is composed of “finger duration time and operation instruction”.
したがって、入力装置は、入力面に対して、1組以上の指示指状態と指示指継続時間と操作指示を対応させた操作状態判定テーブル171(図6を参照)を備えることで、カメラ3から所定の時間間隔で取得する映像から確定した指示指状態と経過時間122と操作状態判定テーブル171とを突き合わせることで、前記操作状態(前記W、或いはX、或いはY、或いはZ操作状態)を把握する事ができる。 Therefore, the input device includes an operation state determination table 171 (see FIG. 6) in which one or more sets of pointing finger states, pointing finger durations, and operation instructions are associated with the input surface. The operation state (the W, X, Y, or Z operation state) is determined by matching the pointing finger state determined from the video acquired at a predetermined time interval, the elapsed time 122, and the operation state determination table 171. I can grasp it.
例えば、キーボードの入力面(図4のOP−K)が選択されている状態で、カメラ3から取得した映像が指示指状態"001"とすると、図6の操作状態判定テーブル171の現在選択されている入力面がキーボードの入力面であるデータの中で、開始の手順の指示指状態が"001"のデータは、図6の(K−1)のみであることから、図6の(K−1)のデータで示す操作手順が、指示指状態"001"を開始トリガーとして、開始したことになり、X操作状態となる。 For example, if the input screen of the keyboard (OP-K in FIG. 4) is selected and the video acquired from the camera 3 is the pointing finger state “001”, the operation state determination table 171 in FIG. 6 is currently selected. Among the data in which the input surface is the input surface of the keyboard, the data with the pointing finger state of the starting procedure “001” is only (K-1) in FIG. The operation procedure indicated by the data of -1) is started with the pointing finger state “001” as a start trigger, and the X operation state is entered.
その後、カメラ3から取得する映像の指示指状態は"001"で、指示指状態"001"を連続して取得している時間が1秒未満であれば、操作状態は、予め定めた入力装置の操作手順通りに操作中で、X操作状態が継続する。
その後、カメラ3から取得する映像の指示指状態"001"が指示指継続時間で指定されている1秒以上連続した場合、操作状態は、予め定めた入力装置の操作手順通りに操作し、操作者の選択決定意思がされたとして、W操作状態となる。操作指示は、マウス情報の入力面が選択され、指示指状態"001"を開始トリガーとした操作手順が終了する。
After that, if the pointing finger state of the video acquired from the camera 3 is “001” and the time for continuously acquiring the pointing finger state “001” is less than 1 second, the operation state is a predetermined input device. The X operation state continues while the operation procedure is followed.
After that, when the pointing finger state “001” of the video acquired from the camera 3 continues for 1 second or more specified by the pointing finger duration, the operation state is operated according to a predetermined operating procedure of the input device. Assuming that the user is willing to make a selection decision, the W operation state is entered. As the operation instruction, the input surface of the mouse information is selected, and the operation procedure with the pointing finger state “001” as a start trigger is completed.
したがって、入力装置は、選択されている入力面と操作指示で入力情報生成の指示があれば、入力情報の生成ができる。
また、選択されている入力面と入力情報生成の指示に対する入力情報を、指の2次元座標に対して決定する場合(例えば、テンキー情報)は、選択されている入力面と入力情報生成の指示と指の2次元座標の判定条件に対して、入力情報を対応付けた入力情報テーブル172(図7を参照)を備えればよい。
尚、図6の操作状態判定テーブル171では、開始手順の後の続く手順の個数は、3ケとなっているが、4ケ以上でも良い。
Therefore, the input device can generate input information if there is an input information generation instruction on the selected input surface and operation instruction.
Also, when the input information for the selected input surface and the input information generation instruction is determined for the two-dimensional coordinates of the finger (for example, numeric keypad information), the selected input surface and the input information generation instruction And an input information table 172 (see FIG. 7) in which input information is associated with the determination conditions of the two-dimensional coordinates of the finger.
In the operation state determination table 171 of FIG. 6, the number of procedures following the start procedure is three, but may be four or more.
次に、操作手順の詳細について、図4から図7を参照して説明する。
先ず、PC1の起動直後の入力装置は、パソコンの起動画面が表示されるとカメラ3によりキーボード4上の所定の領域(図2の点線4a内)の撮影を開始し、マウス情報の入力面を選択するためのトリガーとなる指の姿(指示指状態"001")が、所定の時間間隔で取得している映像にないかを監視(K−1)する。なお、パソコン起動時に自動的に選択される入力面は、キーボードの入力面(図4のOP−K)とする。
Next, details of the operation procedure will be described with reference to FIGS.
First, when the PC 1 startup screen is displayed, the input device immediately after startup of the PC 1 starts photographing a predetermined area on the keyboard 4 (within the dotted line 4a in FIG. 2) by the camera 3, and displays the mouse information input screen. It is monitored (K-1) whether or not the figure of the finger serving as a trigger for selection (indicating finger state "001") is present in the video acquired at a predetermined time interval. The input surface that is automatically selected when the personal computer is activated is the keyboard input surface (OP-K in FIG. 4).
この状態から、「PC1の起動画面からメールソフトを起動する為に、マウスポインタをメールソフト起動のアイコンまで移動して、その位置でダブルクリックし、メールソフトを起動する。その後、宛先をアドレス帳より選択し、件名と本文を入力し送信する。その後、メールソフトウィンドウを閉じる」操作手順を例にして、図4を参照して説明すると、
手順その1:先ず、キーボードの入力面(図4のOP−K)が選択されている初期状態から、マウス情報の入力面(図4のOP−M)を選択(図4のK−1)する。
手順その2:マウスと同等情報の入力待ち状態(図4のM−1)となる。
手順その3:その後、左ダブルクリックをするためにマススポインタを移動(図4のM−2)。
手順その4:その後、左ダブルクリック(図4のM−4)をするとメールソフトが起動する。
手順その5:その後、メニューより、マウスと同等情報を使って、新規メール作成を選択、そして、宛先を選択する。
手順その6:その後、キーボード4より、件名と本文を入力するために、キーボードの入力面が選択されている状態とする(図4のM−9)。尚、本文の氏名と住所は、文字と同等情報の入力情報(図4のK−4、K−5)として入力する。
手順その7:その後、キーボードの入力面が選択されている状態から、メール送信のショートカットキーと同等情報(図4のK−6)を入力し、メールを送信、その後、メールソフトウィンドウを閉じるショートカットキーと同等情報(図4のK−7)を入力し、メールソフトを閉じる。
となる。
From this state, “To start the mail software from the startup screen of PC 1, move the mouse pointer to the mail software start icon and double-click at that position to start the mail software. Using the operation procedure of “Close the mail software window” as an example, an explanation will be given with reference to FIG.
Procedure 1: First, from the initial state in which the keyboard input surface (OP-K in FIG. 4) is selected, the mouse information input surface (OP-M in FIG. 4) is selected (K-1 in FIG. 4). To do.
Procedure 2: Waiting for input of information equivalent to that of a mouse (M-1 in FIG. 4).
Procedure 3: After that, move the mass pointer to double click left (M-2 in FIG. 4).
Procedure 4: After that, left-clicking (M-4 in FIG. 4) starts the mail software.
Procedure 5: Then, from the menu, use the same information as the mouse to select create new mail, and then select a destination.
Procedure 6: After that, in order to input the subject and text from the keyboard 4, the keyboard input surface is selected (M-9 in FIG. 4). Note that the name and address of the text are input as input information (K-4, K-5 in FIG. 4) equivalent to characters.
Step 7: After that, when the keyboard input surface is selected, enter the same information as the shortcut key for sending mail (K-6 in Fig. 4), send the mail, and then close the mail soft window Enter the key equivalent information (K-7 in Fig. 4) and close the mail software.
It becomes.
前記各操作手順を、操作状態判定テーブル171(図6を参照)と関連付けて説明する。
手順その1:キーボードの入力面が選択されている状態でマウス情報の入力面を選択するには、マウスを握るような指の姿である指示指状態"001"の状態で、1秒以上静止すればよい。これは、指示指状態"001"で、1秒以上静止することは、キーボード4の操作キーを打鍵して入力する操作者にとって、あり得ない操作手順である事に着目した。
Each operation procedure will be described in association with the operation state determination table 171 (see FIG. 6).
Procedure 1: To select an input surface for mouse information while the input surface of the keyboard is selected, hold the mouse for at least 1 second in the state of the pointing finger state “001”, which is the shape of a finger holding the mouse. do it. In this case, attention is paid to the fact that, in the pointing finger state “001”, resting for 1 second or more is an operation procedure that is impossible for an operator who inputs the operation key of the keyboard 4 to input.
尚、「指示指状態"001"で、1秒以上静止」の操作手順がキーボード4の操作キーを打鍵して入力する時にあり得るという操作者やキーボード4からの入力操作とマウスと同等情報の入力操作を繰り返すことが多い操作者にとっては、例えば、左手は、親指と人差し指の隙間有り、人差し指と中指の隙間無し、その他の指の間の隙間は問わず、そして、右手は、指示指状態"001"と同様で、左右の全指が静止している状態(指示指状態"003"の状態、図5Fを参照)で、1秒以上静止することにより、マウス情報の入力面を選択するようにすれば、この操作者にとって、より操作性が良くなる(この操作手順を、マウス情報の入力面の選択の第2手順、と呼ぶ)。
このようにして、操作者にとって操作のし易い指示指状態とこの指示指状態が継続している時間である指示指継続時間を任意に設定することができる。
It should be noted that an operation procedure of “indicating finger state“ 001 ”and stationary for 1 second or longer” can be performed when the operation key of the keyboard 4 is input and input information from the operator or the keyboard 4 and the same information as the mouse. For an operator who frequently repeats input operations, for example, the left hand has a gap between the thumb and forefinger, no gap between the index finger and the middle finger, no gap between other fingers, and the right hand is in the pointing finger state As in “001”, the mouse information input surface is selected by standing still for 1 second or more in a state where all the left and right fingers are stationary (indicated finger state “003” state, see FIG. 5F). By doing so, the operability is improved for this operator (this operation procedure is referred to as a second procedure for selecting the input surface of mouse information).
In this way, it is possible to arbitrarily set the pointing finger state that is easy for the operator to operate and the pointing finger duration that is the time during which the pointing finger state continues.
入力装置は、カメラ3の映像を取得し、指示指状態を"001"と確定すると、キーボードの入力面を選択している状態で、開始のトリガーとなる指示指状態が"001"となっている操作状態判定テーブル171は、図6のK−1のデータのみであると判定し、操作状態を、図6のK−1のデータにより、「マウス情報の入力面を選択する」操作手順が操作手順通りに操作中であることから、X操作状態とする。 When the input device acquires the video of the camera 3 and confirms that the pointing finger state is “001”, the pointing finger state serving as a start trigger becomes “001” while the input surface of the keyboard is selected. The operation state determination table 171 determines that only the data of K-1 in FIG. 6 is included, and the operation procedure “selects the input surface of mouse information” based on the data of K-1 in FIG. Since the operation is in accordance with the operation procedure, the X operation state is set.
その後、入力装置は、図6のK−1のデータの指示指状態"001"の指示指継続時間が1秒であることから、操作者による入力面の選択の選択決定意思として、続く映像で指示指状態"001"が1秒以上継続して見つかるかどうかを監視する。
もし、1秒継続しなかった場合は、操作者の入力の選択決定意思がされなかったことになり、手順その1は、操作手順通りに操作されなかったのでZ操作状態となり、キーボードの入力面(図4のOP−K)が選択されている状態が変更されることなく継続する事になる。
もし、1秒以上継続すれば、操作者の入力の選択決定意思がなされたことになる。すなわち、操作状態は、操作手順通り操作されたのでW操作状態となり、操作指示としてのマウス情報の入力面の選択がされ、手順その1の操作手順が終了する。
このように、入力面を選択する操作手順は、入力面の選択が決定すると、その操作手順は終了するように構築する。何故なら、操作手順は、現在使用できる入力面毎に定められているからである。
Thereafter, since the pointing finger duration of the pointing finger state “001” in the data of K-1 in FIG. 6 is 1 second, the input device displays the following video as the selection decision of the input surface selection by the operator. It is monitored whether or not the pointing finger state “001” is continuously found for 1 second or more.
If it does not continue for 1 second, it means that the operator has not decided to select the input, and the procedure 1 is not operated according to the operation procedure, so the Z operation state is entered, and the keyboard input screen is displayed. The state in which (OP-K in FIG. 4) is selected continues without being changed.
If it continues for more than 1 second, the operator's input selection decision has been made. That is, since the operation state is operated according to the operation procedure, the operation state is changed to the W operation state, the input surface of the mouse information as the operation instruction is selected, and the operation procedure of the procedure 1 is completed.
As described above, the operation procedure for selecting the input surface is constructed such that the operation procedure is completed when the selection of the input surface is determined. This is because the operation procedure is determined for each input surface that can be used at present.
手順その2:マウス情報の入力面が選択されると、マウスと同等情報の入力待ちの状態となる。この状態を継続するには、指示指状態"001"を継続すればよい。 Procedure 2: When an input surface for mouse information is selected, it enters a state of waiting for input of information equivalent to that of a mouse. In order to continue this state, the pointing finger state “001” may be continued.
入力装置は、カメラ3の映像を取得し、指示指状態を"001"と確定すると、マウス情報の入力面が選択されている状態で、開始のトリガーとなる指示指状態が"001"となっているのは、図6のM−1のデータのみであると判定し、この指示指状態の指示指継続時間はゼロ秒で、且つ続く手順がないので、指示指状態"001"を見つけると、操作状態を、操作手順通り操作されたのでW操作状態とする。そして、直ちに、マウスと同等情報が入力できる状態とする入力情報(右手の中指の2次元座標を現在のマウスポインタの位置とする)が入力(図7のM−1を参照)され、手順その2の操作手順が終了する。
このように、開始のトリガーとなる指示指状態により、直ちに、操作者の入力の選択決定意思がされたとすることもできる。
When the input device acquires the video of the camera 3 and determines the pointing finger state to be “001”, the pointing finger state that becomes the start trigger becomes “001” in a state where the input surface of the mouse information is selected. It is determined that only the data of M-1 in FIG. 6 is present, the pointing finger duration of this pointing finger state is zero seconds, and there is no subsequent procedure, so when the pointing finger state “001” is found. Since the operation state is operated according to the operation procedure, the W operation state is set. Immediately after that, input information (a two-dimensional coordinate of the middle finger of the right hand is set as the current position of the mouse pointer) that makes it possible to input information equivalent to that of a mouse is input (see M-1 in FIG. 7). The operation procedure 2 is completed.
In this way, it can be assumed that the operator's intention to select an input is immediately determined by the pointing finger state that triggers the start.
手順その3:左ダブルクリックに先立ってマウスポインタを移動(図4のM−2)するには、マウス情報の入力面(図4のOP−M)において、右手全体を動かせばよい。
右手全体を動かすとは、指示指状態"001"において、右手全体を動かすことである(以下、この状態を指示指状態"006"と呼ぶ、図5Aを参照)。
尚、マウス情報の入力面の選択の第2手順でマウス情報の入力面を選択した時は、指示指状態"003"の状態で右手だけを動かす(以下、指示指状態"007"と呼ぶ、図5Fを参照)事でマウスポインタを移動する。
Procedure 3: To move the mouse pointer (M-2 in FIG. 4) prior to the left double click, the entire right hand may be moved on the mouse information input screen (OP-M in FIG. 4).
Moving the entire right hand means moving the entire right hand in the pointing finger state “001” (hereinafter, this state is referred to as the pointing finger state “006”, see FIG. 5A).
When the mouse information input surface is selected in the second step of selecting the mouse information input surface, only the right hand is moved in the state of the pointing finger state “003” (hereinafter referred to as the pointing finger state “007”. (See FIG. 5F).
入力装置は、カメラ3の映像を取得し、指示指状態を"006"と確定すると、マウス情報の入力面が選択されている状態で、開始のトリガーとなる指示指状態が"006"となっているのは、図6のM−2のデータのみであると判定し、この指示指状態の指示指継続時間はゼロ秒で、且つ続く手順がないので、指示指状態"006"を見つけると、操作状態を、操作手順通り操作されたのでW操作状態とする。そして、直ちに、マウスポインタが移動する入力情報が入力(図7のM−2を参照)され、手順その3の操作手順が終了する。 When the input device acquires the video of the camera 3 and determines the pointing finger state to be “006”, the pointing finger state that is a start trigger becomes “006” in a state where the input surface of the mouse information is selected. It is determined that only the data of M-2 in FIG. 6 is present, and the pointing finger duration of this pointing finger state is zero seconds, and there is no subsequent procedure, so when the pointing finger state “006” is found. Since the operation state is operated according to the operation procedure, the W operation state is set. Immediately thereafter, input information for moving the mouse pointer is input (see M-2 in FIG. 7), and the operation procedure of the procedure 3 is completed.
手順その4:左ダブルクリックをするには、マウス情報の入力面が選択されている状態において、人差し指だけを動かした(以下、この状態を指示指状態"008"と呼ぶ、図5Aを参照:動かす方向は、上下でも良いし、横でも良い)後、指示指状態"001"の状態にして、指示指状態"001"が0.5秒以上経過する前に、再度、指示指状態"008"とし、再度、指示指状態"001"とすればよい。
尚、マウス情報の入力面の選択の第2手順でマウス情報の入力面を選択した時も、同様に、右手の人差し指だけを動かせばよい(指示指状態"009"、図5Fを参照)。
Procedure 4: To perform a left double-click, only the index finger is moved while the mouse information input surface is selected (hereinafter, this state is referred to as a pointing finger state “008”, see FIG. 5A: The direction of movement may be up and down or sideways). After that, the pointing finger state “001” is changed to the pointing finger state “008” again before the pointing finger state “001” passes 0.5 seconds or more. Then, the pointing finger state “001” may be set again.
Similarly, when the mouse information input surface is selected in the second step of selecting the mouse information input surface, it is also necessary to move only the index finger of the right hand (indicating finger state “009”, see FIG. 5F).
入力装置は、カメラ3の映像を取得し、指示指状態を"008"と確定すると、マウス情報の入力面が選択されている状態で、開始のトリガーとなる指示指状態が"008"となっているのは、図6のM−3、M−4、M−6、M−8のデータであり、開始のトリガーだけでは、この4つのデータの内、どのデータを使用したらよいかは確定できない為、どの操作手順が操作中か確定ができていない。
したがって、操作状態は、操作手順の絞り込み中のY操作状態となる。
その後、指示指状態"001"を取得すると、図6のM−3、M−4のデータが操作手順中として絞り込まれ、操作状態は、操作手順の絞り込み中のY操作状態となる。
その後、指示指状態"001"の経過時間が指示指継続時間の0.5秒を超えると、図6のM−3のデータにより、操作者の入力の選択決定意思がされたとして、操作状態は、操作手順通り操作されたのでW操作状態となり、左クリックが入力(図7のM−3参照)され、手順その4の操作手順が終了する。
また、指示指状態"001"の経過時間が指示指継続時間の0.5秒を超える前に、指示指状態"008"を取得すると、図6のM−4のデータのみが絞り込まれ、操作状態は、操作手順通りに操作中となり、X操作状態となる。その後、続く指示指状態に"001"を取得すると、操作状態は、操作手順通り操作されたのでW操作状態となり、ダブルクリックが入力(図7のM−4参照)され、メールソフトが起動する。
When the input device acquires the video of the camera 3 and confirms that the pointing finger state is “008”, the pointing finger state serving as a start trigger becomes “008” while the input surface of the mouse information is selected. The data of M-3, M-4, M-6, and M-8 in FIG. 6 is determined, and only the start trigger determines which data should be used among these four data. Since it is not possible, it is not possible to determine which operation procedure is being operated.
Therefore, the operation state is the Y operation state during narrowing down of the operation procedure.
Thereafter, when the pointing finger state “001” is acquired, the data of M-3 and M-4 in FIG. 6 are narrowed down during the operation procedure, and the operation state becomes the Y operation state during the narrowing down of the operation procedure.
Thereafter, when the elapsed time of the pointing finger state “001” exceeds 0.5 seconds of the pointing finger duration, it is determined that the operator's input selection intention is determined by the data of M-3 in FIG. Is operated in accordance with the operation procedure, so that the W operation state is entered, the left click is input (see M-3 in FIG. 7), and the operation procedure of the procedure No. 4 is completed.
Further, if the pointing finger state “008” is acquired before the elapsed time of the pointing finger state “001” exceeds 0.5 seconds of the pointing finger duration, only the data of M-4 in FIG. The state is in operation according to the operation procedure, and becomes the X operation state. Thereafter, when “001” is acquired as the subsequent pointing finger state, since the operation state is operated according to the operation procedure, the W operation state is entered, a double-click is input (see M-4 in FIG. 7), and the mail software is activated. .
手順その5:メールソフトのメニューより、新規メール作成を選択、そして、宛先を選択する。これは、マウスポインタの移動の操作手順を実施後、左ダブルクリックの操作手順を行えば良い。 Procedure 5: From the mail software menu, select "Create new mail" and select a destination. In this case, the left double-click operation procedure may be performed after the operation procedure of moving the mouse pointer is performed.
手順その6:件名や本文にキーボード4より文字を入力するために、キーボードの入力面を選択するには、マウス情報の入力面を選択している状態において、指示指状態"001"の状態に対して、左手を任意の姿で図2の点線4a内に置き、カメラ3の映像に写るようにする(以下、指示指状態"002"と呼ぶ、図5Aを参照)とすればよい。
尚、マウス情報の入力面の選択の第2手順でマウス情報の入力面を選択した時は、左手の中指と接触している人差し指を動かし(以下、指示指状態"004"と呼ぶ、図5Fを参照)、左手の人差し指と中指に隙間がある状態(以下、指示指状態"005"と呼ぶ、図5Fを参照)で静止させればよい。
Procedure 6: In order to select a keyboard input surface for inputting characters from the keyboard 4 in the subject and body, the pointing finger state is "001" while the mouse information input surface is selected. On the other hand, the left hand may be placed in a dotted line 4a in FIG. 2 in an arbitrary form so as to be reflected in the video of the camera 3 (hereinafter referred to as pointing finger state “002”, see FIG. 5A).
When the mouse information input surface is selected in the second step of selecting the mouse information input surface, the index finger in contact with the middle finger of the left hand is moved (hereinafter referred to as the pointing finger state “004”, FIG. 5F). And the left index finger and middle finger may be stationary (hereinafter referred to as the pointing finger state “005”, see FIG. 5F).
入力装置は、カメラ3の映像を取得し、指示指状態を"002"と確定すると、マウス情報の入力面が選択されている状態で、開始のトリガーとなる指示指状態が"002"となっているのは、図6の、キーボードの入力面(図4のOP−K)を選択するデータ(M−9)とテンキー情報の入力面を選択するデータ(M−10)であるので、操作状態を、操作手順の絞り込み中のY操作状態とする。 When the input device acquires the video of the camera 3 and determines the pointing finger state to be “002”, the pointing finger state that becomes the start trigger becomes “002” in a state where the input surface of the mouse information is selected. What is shown in FIG. 6 is data (M-9) for selecting the input surface of the keyboard (OP-K in FIG. 4) and data (M-10) for selecting the input surface of the numeric keypad information. The state is the Y operation state during the narrowing down of the operation procedure.
図6のM−9のデータによる操作者の入力の選択決定意思は、指示指状態"002"で、指示指継続時間が1秒である事が判る。
したがって、操作手順は、指示指状態"002"を継続して1秒以上取得すると、M−9のデータの操作手順通り操作されたのでW操作状態となり、キーボードの入力面が選択される。
It can be seen that the operator's intention to select the input based on the data of M-9 in FIG. 6 is the pointing finger state “002” and the pointing finger duration is 1 second.
Therefore, if the operation procedure continues to acquire the pointing finger state “002” for 1 second or longer, the operation procedure is performed according to the operation procedure of the data of M-9, so that the W operation status is entered, and the input surface of the keyboard is selected.
その後、キーボード4を使用し、件名と本文を入力する(図4のIN−K)。但し、本文の氏名と住所は、文字と同等情報の入力情報(図4のK−4、K−5)として入力する。
したがって、住所の入力は、左右の手の親指と人差し指、及び、人差し指と中指の隙間がある状態で、左右の親指同士を接触させ、全指が静止している(以下、指示指状態"010"と呼ぶ、図5Dを参照)状態とし、その後、右手の人差し指だけを動かす(以下、指示指状態"011"と呼ぶ、図5Dを参照)。その後、指示指状態"010"の状態で静止すると、操作者が定めた住所情報の内容が入力される。
After that, the subject and text are input using the keyboard 4 (IN-K in FIG. 4). However, the name and address in the text are input as input information (K-4, K-5 in FIG. 4) equivalent to characters.
Therefore, the input of the address is performed by bringing the left and right thumbs into contact with each other in a state where there are gaps between the thumb and forefinger of the left and right hands and between the index finger and the middle finger (hereinafter, pointing finger state “010”). Then, move only the index finger of the right hand (hereinafter referred to as pointing finger state “011”, see FIG. 5D). Thereafter, when the user stops in the pointing finger state “010”, the contents of the address information determined by the operator are input.
入力装置は、カメラ3の映像を取得し、指示指状態を"010"と確定すると、キーボードの入力面(図4のOP−K)が選択されている状態において、開始のトリガーとなる指示指状態が"010"となっているのは、図6のK−4、K−5、K−6、K−7のデータであると判定し、操作状態を、操作手順の絞り込み中のY操作状態とする。
その後、指示指状態"011"を取得すると、図6のK−4のデータが対象となり、操作状態は、文字1(住所情報)の入力の操作手順通りに操作中となり、X操作状態となる。その後、指示指状態"010"を取得すると、K−4のデータの操作手順通り操作されたのでW操作状態となり、住所情報が入力(図7のK−4を参照)される。
尚、氏名の入力は、指示指状態"010"の状態において、中指だけを動かす(指示指状態"012"、図5Dを参照)。これは、図6のK−5と図7のK−5のデータにより、同様にして入力される。
When the input device acquires the video of the camera 3 and confirms that the pointing finger state is “010”, the pointing finger serving as a start trigger in a state where the input surface of the keyboard (OP-K in FIG. 4) is selected. The state of “010” is determined to be the data of K-4, K-5, K-6, and K-7 in FIG. 6, and the operation state is set to the Y operation during the narrowing down of the operation procedure. State.
Thereafter, when the pointing finger state “011” is acquired, the data of K-4 in FIG. 6 is targeted, and the operation state is in operation according to the operation procedure of input of character 1 (address information), and becomes the X operation state. . Thereafter, when the pointing finger state “010” is acquired, the operation is performed according to the operation procedure of the data of K-4, so that the W operation state is entered, and address information is input (see K-4 in FIG. 7).
Note that the name is input by moving only the middle finger in the pointing finger state “010” (referring to the pointing finger state “012”, see FIG. 5D). This is input in the same manner by the data of K-5 in FIG. 6 and K-5 in FIG.
手順その7:件名と本文の入力が終了したので、メール送信のショートカットキー(例えば、Alt+S)を入力するために、指示指状態"010"の状態の次に、指示指状態"010"の状態で左手の人差し指を動かし(以下、指示指状態"013"と呼ぶ、図5Dを参照)、その後、再度、指示指状態"010"の状態とすればよい。これは、図6のK−6のデータと図7のK−6のデータにより実現される。
尚、メールソフトウィンドウを閉じるショートカットキー(Alt+F4)の入力も、指示指状態"010"の状態において、左手の中指だけを動かす(以下、指示指状態"014"と呼ぶ、図5Dを参照)。これは、図6のK−7と図7のK−7のデータにより実現される。
Procedure 7: Since the input of the subject and the text has been completed, the state of the pointing finger state “010” is next to the pointing finger state “010” in order to input a shortcut key (eg, Alt + S) for mail transmission. Then, the index finger of the left hand is moved (hereinafter referred to as the pointing finger state “013”, see FIG. 5D), and then the pointing finger state “010” is set again. This is realized by the data of K-6 in FIG. 6 and the data of K-6 in FIG.
The shortcut key (Alt + F4) for closing the mail software window is also moved only in the middle finger of the left hand in the pointing finger state “010” (hereinafter referred to as the pointing finger state “014”, see FIG. 5D). This is realized by the data of K-7 in FIG. 6 and K-7 in FIG.
以降、その他のマウスと同等情報の入力の操作手順について、概要を説明する。 Hereinafter, an outline of an operation procedure for inputting information equivalent to that of other mice will be described.
右クリック(M−5)は、マウスと同等情報の入力待ち状態(図4のOP−M)において、右手の中指のみを動かし(以下、指示指状態"015"と呼ぶ、図5Aを参照)、その後、続く指示指状態"001"が0.5秒継続すると右クリックされる。これは、図6のM−5と図7のM−5のデータにより実現される。 The right click (M-5) moves only the middle finger of the right hand in a state waiting for input of the same information as the mouse (OP-M in FIG. 4) (hereinafter referred to as the pointing finger state “015”, see FIG. 5A). Thereafter, when the subsequent pointing finger state “001” continues for 0.5 seconds, the right-click is performed. This is realized by the data of M-5 in FIG. 6 and M-5 in FIG.
マウスポインタ移動の繰り返し(M−6:マウス操作で長い距離を動かすときに、一度、マウスを浮かせて戻し、再度マウスを動かす操作)は、動かした手を戻す時は、マウスポインタが移動しないようにするために、移動していた手を一旦静止し(指示指状態を"001")、その後、人差し指を動かし(指示指状態を"008")、その直後に指全体を動かす(指示指状態を"006")ようにする。これは、図6のM−6と図7のM−1のデータにより実現される。図6のM−6の操作指示は、図6のM−1の操作指示と同じなので、図7のM−1により入力情報が生成される。 Repeated movement of the mouse pointer (M-6: When moving a long distance with the mouse, once the mouse is lifted back and then moved again), the mouse pointer does not move when the moved hand is returned. In order to achieve this, the moving hand is temporarily stopped (the pointing finger state is “001”), the index finger is moved (the pointing finger state is “008”), and the entire finger is moved immediately thereafter (the pointing finger state) (006)). This is realized by the data of M-6 in FIG. 6 and M-1 in FIG. Since the operation instruction of M-6 in FIG. 6 is the same as the operation instruction of M-1 in FIG. 6, input information is generated by M-1 in FIG.
移動(ドラック)操作は(C−2)、左クリック押下継続の入力面(図4のOP−MC)を選択した状態にて行う。
左クリック押下継続の入力面にするには、マウス情報の入力面(図4のOP−M)が選択されている状態において、親指だけを動かす状態(以下、指示指状態"016"と呼ぶ図5Aを参照)とし、その後、続く指示指状態を"001"とし、0.3秒経過すると、左クリック押下継続の入力面が選択される。これは、図6のM−7のデータにより実現される。
左クリック押下継続の入力面(図4のOP−MC)が選択されると、指示指状態"001"により、左クリック押下継続の状態が継続される。これは、図6のC−1のデータにより、実現される。その後、左クリック押下継続の入力面(図4のOP−MC)を選択した状態にて、指示指状態を"006"とすれば、移動(ドラック)操作が行える。これは、図6のC−2と図7のC−2のデータにより実現される。
The movement (drag) operation is performed in (C-2) with the input screen (OP-MC in FIG. 4) for continuing the left click pressed being selected.
In order to use the input screen for continuing the left click, the mouse information input screen (OP-M in FIG. 4) is selected, and only the thumb is moved (hereinafter referred to as the pointing finger state “016”). 5A), the subsequent pointing finger state is “001”, and after 0.3 seconds, the input surface for continuing the left click is selected. This is realized by the data M-7 in FIG.
When the input screen (OP-MC in FIG. 4) for continuing the left click is selected, the state for continuing the left click is continued by the pointing finger state “001”. This is realized by the data of C-1 in FIG. After that, if the pointing finger state is set to “006” in a state where the input surface (OP-MC in FIG. 4) for continuing the left click is selected, a movement (drag) operation can be performed. This is realized by the data of C-2 in FIG. 6 and C-2 in FIG.
ドロップ操作は、左クリック押下状態を解除(図4のC−3)し、マウス情報の入力面(図4のOP−M)を選択すればよい。
左クリック押下状態の解除は、左クリック押下状態が継続されている状態(指示指状態を"001")で、親指だけを動かす状態(指示指状態を"016")とし、その後、続く指示指状態を"001"とすればよい。これは、図6のC−3と図7のC−3のデータにより実現される。
The drop operation may be performed by releasing the left click pressing state (C-3 in FIG. 4) and selecting the mouse information input surface (OP-M in FIG. 4).
Canceling the left click pressing state is a state where the left click pressing state is continued (the pointing finger state is “001”), the thumb is moved (the pointing finger state is “016”), and then the pointing finger continues. The state may be “001”. This is realized by the data of C-3 in FIG. 6 and C-3 in FIG.
画面スクロール操作(S−2)は、マウス情報の入力面(図4のOP−M)が選択されている状態において、スクロール待ちの入力面(図4のOP−MS)を選択(M−8)してから行う操作手順と、キーボードの入力面(図4のOP−K)が選択されている状態において、スクロール待ちの入力面(図4のOP−MS)を選択(K−3)してから行う2つの操作手順がある。 The screen scrolling operation (S-2) selects the input screen waiting for scrolling (OP-MS in FIG. 4) (M-8) while the mouse information input screen (OP-M in FIG. 4) is selected. ) And the keyboard input screen (OP-K in FIG. 4) are selected, the input screen waiting for scrolling (OP-MS in FIG. 4) is selected (K-3). There are two operational procedures to be performed.
前者(M−8)の場合のスクロール待ちの入力面は、人差し指を右横に動かして、人差し指と中指の隙間が無い状態(以下、指示指状態を"017"と呼ぶ、図5Aを参照)とし、0.5秒以上静止することにより選択される。これは、図6のM−8のデータにより実現される。
尚、スクロール待ちの状態となったときの中指の2次元座標をスクロール判定用座標125に記憶し、このスクロール判定用座標125を基準にして、上下左右に右手を動かす(指示指状態を"018"、図5Bを参照)と、上下左右にスクロールされることになる。
スクロール待ちの入力面が選択され、指示指状態が"017"(図5Aを参照)を継続すると画面スクロールができる状態が継続する。これは、図6のS−1のデータにより実現される。
尚、図6のS−1の操作指示の「画面スクロールできる状態」に対応するデータが、入力情報テーブル(図7を参照)に存在しないので、入力情報は生成されないで、画面スクロールができる状態を継続する。
In the case of the former (M-8), the scroll-waiting input surface is a state where the index finger is moved to the right and there is no gap between the index finger and the middle finger (hereinafter, the pointing finger state is referred to as “017”, see FIG. 5A) And selected by standing still for 0.5 seconds or more. This is realized by the data M-8 in FIG.
Note that the two-dimensional coordinates of the middle finger when waiting for scrolling are stored in the scroll determination coordinates 125, and the right hand is moved up, down, left and right based on the scroll determination coordinates 125 (the pointing finger state is "018"). ", See FIG. 5B), and scrolls up, down, left and right.
When the input screen waiting for scrolling is selected and the pointing finger state continues to be “017” (see FIG. 5A), the screen can be scrolled. This is realized by the data of S-1 in FIG.
Since the data corresponding to the “screen scrollable state” of the operation instruction in S-1 in FIG. 6 does not exist in the input information table (see FIG. 7), the input information is not generated and the screen can be scrolled. Continue.
後者(K−3)の場合のスクロール待ちの入力面は、指示指状態を"017"の状態で1秒以上静止することにより、選択される。これは、図6のK−3のデータにより実現される。 In the latter case (K-3), the input screen waiting for scrolling is selected by holding the pointing finger in the state of “017” for at least one second. This is realized by the data of K-3 in FIG.
画面スクロール(S−2)は、スクロール待ちの入力面(図4のOP−MS)において、右手を動かせば(指示指状態を"018"、図5Bを参照)、スクロール判定用座標125を基準にして、指が所定の距離以上動くと、指の動いた方向に従い、画面スクロールされる(図7のS−2の指の2次元座標の判定条件を参照)。これは、図6のS−2と図7のS−2のデータにより実現される。 The screen scroll (S-2) is based on the scroll determination coordinate 125 when the right hand is moved on the input screen waiting for scrolling (OP-MS in FIG. 4) (the pointing finger state is “018”, see FIG. 5B). Then, when the finger moves more than a predetermined distance, the screen is scrolled according to the moving direction of the finger (see the determination condition of the two-dimensional coordinates of the finger in S-2 in FIG. 7). This is realized by the data of S-2 of FIG. 6 and S-2 of FIG.
スクロール待ちの入力面(図4のOP−MS)が選択されている状態から、マウス情報の入力面(図4のOP−M)を選択するには、右手の人差し指を左に動かし(指示指状態が"008")、その後、指示指状態を"001"とし、0.5秒以上静止すればよい。これは、図6のS−3のデータにより実現される。 To select the mouse information input surface (OP-M in FIG. 4) from the state in which the scroll waiting input surface (OP-MS in FIG. 4) is selected, the index finger of the right hand is moved to the left (indicating finger). The state is “008”), and then the pointing finger state is set to “001”, and it may be stationary for 0.5 seconds or longer. This is realized by the data of S-3 in FIG.
スクロール待ちの入力面(図4のOP−MS)が選択されている状態から、キーボードの入力面(図4のOP−K)を選択するには、画面スクロール待ち状態の状態とする指示指状態"017"や画面スクロールする指示指状態"018"やマウス情報の入力面を選択するための指示指状態"008"以外の指示指状態とするとキーボードの入力面が選択される。これは、図6のS−4のデータにより実現される。 In order to select the keyboard input surface (OP-K in FIG. 4) from the state in which the scroll-waiting input surface (OP-MS in FIG. 4) is selected, the pointing finger state to enter the screen scroll wait state When the pointing finger state other than “017”, the pointing finger state “018” for scrolling the screen, or the pointing finger state “008” for selecting the input surface for mouse information is selected, the input surface of the keyboard is selected. This is realized by the data of S-4 in FIG.
次に、「キーボード4から文字を入力した後、テンキー情報の入力面を選択し、テンキー情報を入力後、キーボードの入力面に戻り、キーボード4から文字を入力する」操作手順を、図4を参照して説明すると、
手順その1:先ず、キーボードの入力面(図4のOP−K)が選択されている状態でテンキー情報の入力面を選択(図4のK−2)する。
手順その2:その後、テンキー情報を入力する(図4のT−1)。
手順その3:その後、キーボード4より、文字を入力するために、キーボードの入力面を選択(図4のT−2)する。
となる。
この操作手順を、操作状態判定テーブル171(図6を参照)と関連付けて説明する。
Next, FIG. 4 shows an operation procedure of “after inputting characters from the keyboard 4, selecting a numeric keypad information input surface, inputting numeric keypad information, then returning to the keyboard input screen and inputting characters from the keyboard 4”. To explain,
Procedure No. 1: First, the input surface for numeric key information is selected (K-2 in FIG. 4) while the keyboard input surface (OP-K in FIG. 4) is selected.
Procedure 2: After that, enter the numeric keypad information (T-1 in FIG. 4).
Procedure 3: After that, in order to input characters from the keyboard 4, the input surface of the keyboard is selected (T-2 in FIG. 4).
It becomes.
This operation procedure will be described in association with the operation state determination table 171 (see FIG. 6).
手順その1:キーボードの入力面が選択されている状態でテンキー情報の入力面を選択するには、テンキーパッドの押下キーを叩くような指の姿で、例えば、右手の人差し指だけで入力文字情報を指し示す状態(以下、指示指状態"019"と呼ぶ、図5Aを参照)で1秒以上静止すれば良い。尚、指示指状態"019"は、左手の状態はどの様な状態であっても良い。 Step 1: To select an input surface for numeric keypad information when the input surface of the keyboard is selected, input character information with the figure of a finger hitting the key on the numeric keypad, for example, with only the index finger of the right hand (Hereinafter referred to as the pointing finger state “019”, see FIG. 5A). The pointing finger state “019” may be any state of the left hand.
入力装置は、カメラ3の映像を取得し、指示指状態を"019"と確定すると、キーボードの入力面(図4のOP−K)が選択されている状態で、開始のトリガーとなる指示指状態が"019"となっている操作状態判定テーブル171は、図6のK−2のデータのみで、図6のK−2のデータの操作手順が操作手順通りに操作中となり、操作状態を、X操作状態とする。 When the input device acquires the video of the camera 3 and confirms that the pointing finger state is “019”, the pointing finger serving as a trigger for start is selected with the keyboard input surface (OP-K in FIG. 4) selected. The operation state determination table 171 whose state is “019” includes only the data K-2 in FIG. 6, and the operation procedure of the data K-2 in FIG. 6 is being operated according to the operation procedure. , X operation state.
その後、入力装置は、操作者による入力面の選択の選択決定意思として、続く映像で指示指状態"019"が1秒以上継続して見つかるかどうかを監視する(指示指継続時間が1秒)。
もし、1秒継続しなかった場合は、操作者の入力の選択決定意思がされなかったので、手順その1は、操作手順通りに操作されなかったのでZ操作状態となり、キーボードの入力面が選択されている状態が継続する事になる。
もし、1秒以上継続すれば、操作者の入力の選択決定意思がなされたので、操作手順は、操作手順通り操作されたので、操作状態は、W操作状態となる。そして、操作指示としてのテンキー情報の入力面が選択され、手順その1の操作手順が終了する。
Thereafter, the input device monitors whether or not the pointing finger state “019” is continuously found in the following video for at least 1 second as an intention to select the input surface by the operator (the pointing finger duration is 1 second). .
If the operation did not continue for 1 second, the operator did not intend to select the input, so procedure 1 was not operated according to the operating procedure, so the Z operation state was entered and the keyboard input surface was selected. The state that has been done will continue.
If the operation is continued for 1 second or more, the operator's intention to select the input is determined, and the operation procedure is operated according to the operation procedure, so that the operation state becomes the W operation state. Then, an input surface for ten-key information as an operation instruction is selected, and the operation procedure of procedure 1 is completed.
手順その2:テンキー情報を入力するには、指示指状態"019"の状態で1秒以上静止すれば、右手の中指の位置で入力できる。 Procedure 2: To enter the numeric keypad information, the user can enter at the position of the middle finger of the right hand if the finger is stationary for at least one second in the state of the pointing finger “019”.
入力装置は、カメラ3の映像を取得し、指示指状態を"019"と確定すると、テンキーの入力面(図4のOP−T)が選択されている状態で、開始のトリガーとなる指示指状態が"019"となっている操作状態判定テーブル171は、図6のT−1のデータのみであると判定し、図6のT−1のデータの操作手順が操作手順通りに操作中となり、操作状態を、X操作状態とする。 When the input device acquires the video of the camera 3 and confirms that the pointing finger state is “019”, the pointing finger serving as a trigger for the start is selected when the input surface of the numeric keypad (OP-T in FIG. 4) is selected. The operation state determination table 171 whose state is “019” determines that only the data of T-1 in FIG. 6 is included, and the operation procedure of the data of T-1 in FIG. 6 is being operated according to the operation procedure. Let the operation state be the X operation state.
その後、入力装置は、操作者による入力面の選択の選択決定意思として、続く映像で指示指状態"019"が1秒以上継続して見つかるかどうかを監視する(指示指継続時間が1秒)。
もし、1秒以上継続すれば、操作者の入力の選択決定意思がなされたとして、操作手順は、操作手順通り操作されたので、操作状態は、W操作状態となる。そして、操作指示としてのテンキー情報の入力が決定され、右手の中指の2次元座標に対応付けられた入力情報(図7のT−1を参照)が決定され入力情報として生成され、手順その2の操作手順が終了する。
Thereafter, the input device monitors whether or not the pointing finger state “019” is continuously found in the following video for at least 1 second as an intention to select the input surface by the operator (the pointing finger duration is 1 second). .
If the operation continues for 1 second or more, it is assumed that the operator's intention to select the input has been made, and the operation procedure is operated according to the operation procedure, so the operation state becomes the W operation state. Then, input of numeric keypad information as an operation instruction is determined, input information associated with the two-dimensional coordinates of the middle finger of the right hand (see T-1 in FIG. 7) is determined and generated as input information, and procedure 2 This completes the operation procedure.
手順その3:キーボード4より、文字を入力するために、キーボードの入力面(図4のOP−K)を選択するには、指示指状態を"019"、及び、指示指状態を"001"以外の状態とすると、キーボードの入力面が選択される。 Procedure 3: To select a keyboard input surface (OP-K in FIG. 4) for inputting characters from the keyboard 4, the pointing finger state is "019" and the pointing finger state is "001". If the state is other than, the keyboard input surface is selected.
入力装置は、カメラ3の映像を取得し、指示指状態を"019"、及び、指示指状態を"001"以外の状態と確定すると、開始のトリガーとなる指示指状態が"019"、及び、指示指状態が"001"以外の状態となっている操作状態判定テーブル171は、図6のT−2のデータのみなので、データの操作手順が操作手順通りに操作中となり、操作状態を、X操作状態とする。その後、同一の指示指状態が1秒以上継続すると、操作手順は、操作手順通り操作されたので、操作状態は、W操作状態となる。そして、キーボードの入力面が選択され、手順その3の操作手順が終了する。 When the input device acquires the video of the camera 3 and determines that the pointing finger state is “019” and the pointing finger state is a state other than “001”, the pointing finger state that triggers the start is “019”, and Since the operation state determination table 171 in which the pointing finger state is in a state other than “001” is only the data of T-2 in FIG. 6, the data operation procedure is in operation according to the operation procedure, and the operation state is The X operation state is assumed. Thereafter, when the same pointing finger state continues for 1 second or longer, the operation procedure is operated according to the operation procedure, and therefore the operation state becomes the W operation state. Then, the input surface of the keyboard is selected, and the operation procedure of procedure 3 is completed.
尚、テンキー情報の入力面からマウス情報の入力面を選択するには、指示指状態"001"の状態で1秒間静止すれば良く(図6のT−3を参照)、マウス情報の入力面からテンキー情報の入力面を選択するには、指示指状態"002"の状態とした後、指示指状態"019"の状態で1秒静止すれば良い(図6のM−10を参照)。 In order to select the mouse information input surface from the ten key information input surface, the mouse information input surface may be stopped for one second in the state of the pointing finger state “001” (see T-3 in FIG. 6). In order to select the input surface of the numeric keypad from the state, it is only necessary to set the pointing finger state “002” and then rest for one second in the pointing finger state “019” (see M-10 in FIG. 6).
以上の入力面や指示指状態や操作手順の変更は、操作状態判定テーブル171や入力情報テーブル172や指示指状態テーブル173の内容を変更することにより、操作者自身によって容易に行える。
したがって、操作者にとって、最も操作し易い入力面と指示指状態と操作手順により入力操作ができるようにすることができる。以下に入力面や指示指状態や操作手順の変更例を説明する。
The change of the input surface, the pointing finger state, and the operating procedure can be easily performed by the operator himself by changing the contents of the operation state determination table 171, the input information table 172, and the pointing finger state table 173.
Therefore, it is possible for the operator to perform an input operation with the input surface that is most easily operated, the pointing finger state, and the operation procedure. An example of changing the input screen, the pointing finger state, and the operation procedure will be described below.
先ず、入力操作を行う指示指状態の変更について説明する。
マウスポインタの移動は、タッチパッドを操作するように1本の指(指示指状態"019"、図5Aを参照)で行いたいと操作者が希望すれば、入力操作を行う指示指状態を変更する事ができる。
その為には、先ず、図6の操作状態判定テーブル171のK−1とM−1のデータの指示指状態"001"を"019"に変更する(図8AのK−1´とM−1´を参照)。
そして、指示指状態"019"が動いている指示指状態を、例えば、"029"として、指示指状態テーブル173に追加する。
そして、図6の操作状態判定テーブル171のM−2のデータの指示指状態"006"を指示指状態"029"に変更すれば良い(図8AのM−2´を参照)。
First, the change of the pointing finger state for performing the input operation will be described.
If the operator wishes to move the mouse pointer with one finger (indicating finger state “019”, see FIG. 5A) so as to operate the touch pad, the pointing finger state for performing the input operation is changed. I can do it.
For this purpose, first, the pointing finger state “001” of the data K-1 and M-1 in the operation state determination table 171 in FIG. 6 is changed to “019” (K-1 ′ and M− in FIG. 8A). 1 ′).
Then, the pointing finger state in which the pointing finger state “019” is moving is added to the pointing finger state table 173 as “029”, for example.
Then, the pointing finger state “006” of the data M-2 in the operation state determination table 171 in FIG. 6 may be changed to the pointing finger state “029” (see M-2 ′ in FIG. 8A).
次に、入力面や入力面の選択の操作手順の追加は、例えば、実施例1のテンキー情報の入力面は、半角の数字や記号を入力するための入力面なので、追加する入力面は、全角の数字や記号を入力するための入力面とし、入力面を選択する操作手順と選択された入力面において入力情報を決定する操作手順の追加について、説明する。
先ず、追加する入力面を「テンキー情報の入力面2」とし、図7の入力情報テーブル172のT−1のデータの選択されている入力面を「テンキー情報の入力面2」とし、入力情報の内容を全角に変更し、図7の入力情報テーブル172に追加すれば良い(図8BのT−4を参照)。
次に、図6の操作状態判定テーブル171に「テンキー情報の入力面2」を選択する操作手順を追加する。先ず、「テンキー情報の入力面2」を選択する指示指状態は、人差し指と中指をVの字の様な形状(図8Cの指示指状態"039"を参照)にする。そして、この指示指状態"039"で1秒間静止すると、「テンキー情報の入力面2」が選択される(図8AのK−8を参照)。そして、このテンキー情報の入力面2が選択されている状態において、入力情報を決定する操作手順を追加すれば良い(図8AのT−5を参照)。
Next, for the addition of the operation procedure for selecting the input surface and the input surface, for example, the input surface of the numeric keypad information of the first embodiment is an input surface for inputting single-byte numbers and symbols. An operation procedure for selecting an input surface and an operation procedure for determining input information on the selected input surface as an input surface for inputting full-width numbers and symbols will be described.
First, the input surface to be added is “tenkey information input surface 2”, and the input surface selected for the T-1 data in the input information table 172 of FIG. 7 is “tenkey information input surface 2”. Is changed to full-width and added to the input information table 172 in FIG. 7 (see T-4 in FIG. 8B).
Next, an operation procedure for selecting “10-key information input surface 2” is added to the operation state determination table 171 of FIG. First, in the pointing finger state for selecting “10-key information input surface 2”, the index finger and the middle finger are shaped like a letter V (refer to pointing finger state “039” in FIG. 8C). Then, when the finger is stationary for 1 second in this pointing finger state “039”, “10-key information input surface 2” is selected (see K-8 in FIG. 8A). Then, in the state where the input surface 2 for the numeric key information is selected, an operation procedure for determining the input information may be added (see T-5 in FIG. 8A).
次に、選択決定意思の変更について説明する。
操作手順は、開始の指の姿のみでも操作指示を出せるが、操作者が入力の選択決定意思を促すものとして、指示指継続時間を利用したり、続く指の姿を利用したり、さらには、操作者が入力の選択決定意思を出した後、ディスプレイ2に確認用のOKボタン押下用メッセージ等を出し、再確認をさせること等もでき、より、堅実な入力作業が行える。
Next, a change in selection decision will be described.
The operation procedure can be issued only with the figure of the starting finger, but the operator uses the pointing finger duration, the figure of the following finger, etc. After the operator makes an intention to select an input, a confirmation OK button pressing message or the like can be issued on the display 2 to reconfirm, and a more reliable input operation can be performed.
例えば、図6の操作状態判定テーブル171のK−1のデータの指示指継続時間をゼロ秒とすれば、指示指状態"001"を見つけると、直ちに、マウス情報の入力面が選択されマウスポインタの移動ができる様になる。
また、図6の操作状態判定テーブル171のT−1のデータでは、指示指状態"019"が1秒以上継続すると入力されるが、指示指状態"019"が動いている状態の指示指状態"029"を追加して、指示指状態"019"が1秒経過後、指示指状態"029"が見つかったら入力を決定するようにも変更できる(図8AのT−6を参照)。
また、図6の操作状態判定テーブル171のT−1のデータでは、指示指状態"019"が1秒以上継続したら、図7の入力情報テーブル172の入力情報で、確認用のOKボタン押下用メッセージ等を出し、再確認をさせるアプリケーションプログラムを起動するように変更することもできる(図8BのT−7を参照)。
For example, if the pointing finger duration of the data of K-1 in the operation state determination table 171 in FIG. 6 is set to zero seconds, when the pointing finger state “001” is found, the mouse information input surface is immediately selected and the mouse pointer is selected. Can be moved.
Further, in the data of T-1 in the operation state determination table 171 in FIG. 6, the pointing finger state “019” is input when it continues for 1 second or more, but the pointing finger state in which the pointing finger state “019” is moving. If “029” is added and the pointing finger state “019” is found after 1 second, and the pointing finger state “029” is found, the input can be determined (see T-6 in FIG. 8A).
Further, in the data of T-1 in the operation state determination table 171 in FIG. 6, when the pointing finger state “019” continues for 1 second or longer, the input information in the input information table 172 in FIG. It is also possible to change so that an application program for issuing a message or the like and reconfirming is started (see T-7 in FIG. 8B).
また、入力情報は、開始の指の姿に対してこれに続く指の姿を幾つか連ねる、或いは、入力面から入力面へ遷移させることにより、様々な入力操作が行えるようになる。
例えば、2種類の指示指状態"019"と"029"だけでも、様々な入力操作が構築できる。
図8AのT−5は、指示指状態"019"で1秒以上静止すると、テンキー情報の入力面2における入力が決定する。
図8AのT−8は、指示指状態"019"で2秒以上静止後、指示指状態"029"とすると、個人情報の入力面における住所の入力が決定する。
図8AのT−9は、指示指状態"019"で1秒経過する前に、指示指状態"029"とし、その後、指示指状態"019"とすると、個人情報の入力面における郵便番号の入力が決定する。
In addition, various input operations can be performed on the input information by linking several subsequent finger shapes to the starting finger shape, or by transitioning from the input surface to the input surface.
For example, various input operations can be constructed with only two types of pointing finger states “019” and “029”.
In T-5 of FIG. 8A, the input on the input surface 2 of the numeric keypad information is determined when the pointing finger state “019” is held for 1 second or longer.
In T-8 of FIG. 8A, when the pointing finger state is “019” and the pointing finger state is “029” after standing still for 2 seconds or more, the address input on the personal information input surface is determined.
T-9 in FIG. 8A indicates that the pointing finger state is “029” before 1 second elapses in the pointing finger state “019”, and then the pointing finger state “019” indicates that the postal code on the personal information input surface is The input is determined.
次に、上記の様に構成された実施例1の入力装置の全体動作について、図9の流れ図を参照して説明する。入力装置が起動するとROM11に記憶されている入力プログラムがRAM12に読み込まれて、CPU10により図9に示す処理が開始される。 Next, the overall operation of the input device according to the first embodiment configured as described above will be described with reference to the flowchart of FIG. When the input device is activated, the input program stored in the ROM 11 is read into the RAM 12, and the process shown in FIG.
まず、映像の取り込みタイミングかどうかを判断する(S010)。入力装置は、所定の時間間隔(本実施例では、30ミリ秒間隔)でカメラ3から映像を取り込み、以下の(S020以降の)処理を実行する。取り込みタイミングでなければ(S010:NO)、取り込みタイミングになるまで待機する。 First, it is determined whether or not it is a video capture timing (S010). The input device captures video from the camera 3 at a predetermined time interval (in this embodiment, at an interval of 30 milliseconds), and executes the following processing (after S020). If it is not the capture timing (S010: NO), it waits until the capture timing is reached.
取り込みタイミングになったら(S010:YES)、カメラ3からの映像を取り込む(S020)。 When the capture timing is reached (S010: YES), the video from the camera 3 is captured (S020).
次に、前記映像より、左右の手の指の情報を抽出する(S030)。 Next, information on the fingers of the left and right hands is extracted from the video (S030).
次に、前記指の抽出情報より、以下の(1)、(2)、(3)の手順で指示指状態を確定するとともに、入力面における指の2次元座標を確定する(S040)。
(1)先ず、操作する指の状態を識別するために、指の間の隙間が有るかどうか判定し、隙間状況を確定する。尚、指先の隙間だけが無い場合も、指の間の隙間が無いと判断する。
(2)次に、左右の指で動いている指を特定するために、前記左右の指の映像上の位置座標を求め、前回の映像の左右の指の位置座標を記憶してある記憶領域の前回座標121と比較し位置座標の差異状況を確定する。尚、位置座標の差異状況を確定後、位置座標を前回座標121に記憶する。また、初期起動時は、前回座標121は初期設定値なので、次の映像を取得しても良いし(S010へ戻る)、位置座標の差異があったとして差異状況を確定しても良い。
(3)次に、前記隙間状況と前記位置座標の差異状況が確定すると、前記隙間状況と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブル173より、指示指状態を確定する。
そして、前記左右の指の位置座標を、選択されている入力面における指の2次元座標とする。
Next, based on the finger extraction information, the pointing finger state is determined by the following procedures (1), (2), and (3), and the two-dimensional coordinates of the finger on the input surface are determined (S040).
(1) First, in order to identify the state of the finger to be operated, it is determined whether or not there is a gap between the fingers, and the gap state is determined. Even when there is no gap between the fingertips, it is determined that there is no gap between the fingers.
(2) Next, in order to identify the finger moving with the left and right fingers, the position coordinates of the left and right fingers on the image are obtained, and the storage area in which the position coordinates of the left and right fingers of the previous image are stored Compared with the previous coordinate 121, the position coordinate difference status is determined. Note that the position coordinates are stored in the previous coordinates 121 after the position coordinate difference status is determined. At the time of initial startup, the previous coordinate 121 is an initial setting value, so the next video may be acquired (return to S010), or the difference status may be determined assuming there is a difference in position coordinates.
(3) Next, when the difference situation between the gap situation and the position coordinate is determined, the pointing finger state is determined from the pointing finger state table 173 in which the pointing finger state is associated with the gap situation and the position coordinate difference situation. Confirm.
The position coordinates of the left and right fingers are set as the two-dimensional coordinates of the finger on the selected input surface.
次に、確定された指示指状態は、操作手順通りに操作し、操作手順が終了するものである(W操作状態)、1つの操作手順に絞りこまれていて操作手順通りに操作中である(X操作状態)、操作手順の絞り込み中である(Y操作状態)、操作手順に当てはまらない指示指状態であった(Z操作状態)かのいずれの操作状態かを、操作状態判定テーブル171と突き合わせて、確定する(S050)。 Next, the determined pointing finger state is operated according to the operation procedure, and the operation procedure is completed (W operation state). The operation is performed according to the operation procedure, narrowed down to one operation procedure. The operation state determination table 171 indicates whether the operation state is (X operation state), the operation procedure is being narrowed down (Y operation state), or the pointing finger state is not applicable to the operation procedure (Z operation state). Match and confirm (S050).
操作状態の確定は、
先ず、前回の映像の指示指状態の操作状態を記憶している前回操作状態127がW、或いはZ操作状態、或いは初期値の場合、操作状態を確定するための作業領域であり、操作状態判定テーブル171と同一項目で構成される検索用テーブル126の準備を後述するように行う(S051)。
その後、確定された指示指状態により、どの様な操作状態になるかを検索用テーブル126の全データを基に操作状態の判定を行い、判定が終了すると、操作状態が確定できるので、確定した操作状態を前回操作状態127に設定する(S052)。
To confirm the operation status,
First, when the previous operation state 127 storing the operation state of the pointing finger state of the previous image is W, Z operation state, or initial value, it is a work area for determining the operation state, and the operation state determination The search table 126 composed of the same items as the table 171 is prepared as described later (S051).
After that, the operation state is determined based on all the data in the search table 126 according to the determined pointing finger state, and when the determination is completed, the operation state can be determined. The operation state is set to the previous operation state 127 (S052).
前記検索用テーブル126の準備(S051)は、操作状態判定テーブル171に登録されているデータを基にして、操作状態判定テーブル171の現在選択されている入力面と、入力装置で選択されている入力面を記憶している選択中入力面124(初期値は、OP−Kで、キーボードの入力面が選択されている)が等しく、かつ、今回確定された指示指状態と操作状態判定テーブル171の開始の手順の指示指状態とが等しいデータを抽出し、記憶領域の検索用テーブル126に記憶する。
尚、抽出対象データが1件も無い場合は、記憶領域の検索用テーブル126に空白が設定される。
Preparation of the search table 126 (S051) is selected by the input surface and the input device currently selected in the operation state determination table 171 based on the data registered in the operation state determination table 171. The selected input surface 124 (initial value is OP-K and the keyboard input surface is selected) storing the input surface is equal, and the pointing finger state and the operation state determination table 171 determined this time are the same. The data having the same pointing finger state in the starting procedure is extracted and stored in the search table 126 in the storage area.
If there is no data to be extracted, a blank is set in the storage area search table 126.
前記データ毎の操作状態の判定(S052)は、以下の(1)或いは(2)或いは(3)の方法、とする。但し、判定処理前において、前記検索用テーブル126が空白であれば、データ毎の操作状態の判定処理は実施する必要はなく、操作状態をZ操作状態で確定する。
また、前記全データに対する判定処理中において、操作状態がW操作状態となるデータが見つかると、以降のデータに関する操作状態の判定は不要となり、データ毎の操作状態の判定処理を終了し、操作状態をW操作状態で確定する。
前記検索用テーブル126の全データに対する操作状態の判定が終了後、前記検索用テーブル126が空白になっていたら、操作状態をZ操作状態で確定し、前記検索用テーブル126に1件のデータが残っていれば、操作状態をX操作状態で確定し、前記検索用テーブル126に2件以上のデータが残っていれば、操作状態をY操作状態で確定する。
The determination of the operation state for each data (S052) is performed by the following method (1), (2) or (3). However, if the search table 126 is blank before the determination process, the operation state determination process for each data need not be performed, and the operation state is determined as the Z operation state.
In addition, when data whose operation state is the W operation state is found during the determination process for all the data, it is not necessary to determine the operation state for the subsequent data, the operation state determination process for each data is terminated, and the operation state Is confirmed in the W operation state.
After the determination of the operation state for all data in the search table 126 is completed, if the search table 126 is blank, the operation state is determined as the Z operation state, and one data item is stored in the search table 126. If it remains, the operation state is determined in the X operation state, and if two or more pieces of data remain in the search table 126, the operation state is determined in the Y operation state.
(1)今回、前記検索用テーブル126の準備を行った時、確定した指示指状態を前回指示指状態123に設定する。
その後、操作状態の判定は、前記検索用テーブル126の開始の手順に対して、以下の判定をする。
そして、判定が終了すると、タイマ13を起動し、経過時間を随時、経過時間122に記憶する。
(1−1)指示指継続時間が"ゼロ"で、前記開始の手順に続く手順がないデータで有れば、このデータの操作状態をW操作状態とする。
(1−2)指示指継続時間が"ゼロ"で、前記開始の手順に続く手順があるデータで有れば、このデータの操作状態をY操作状態とする。
(1−3)指示指継続時間が"ゼロ"でなければ、このデータの操作状態をY操作状態とする。
(1) At this time, when the search table 126 is prepared, the determined pointing finger state is set to the previous pointing finger state 123.
Thereafter, the operation state is determined by the following determination with respect to the starting procedure of the search table 126.
When the determination is completed, the timer 13 is started and the elapsed time is stored in the elapsed time 122 as needed.
(1-1) If the pointing finger duration is “zero” and there is no procedure following the start procedure, the operation state of this data is set to the W operation state.
(1-2) If the pointing finger duration is “zero” and the data has a procedure following the start procedure, the operation state of this data is set to the Y operation state.
(1-3) If the pointing finger duration is not “zero”, the operation state of this data is set to the Y operation state.
(2)確定された指示指状態と前回指示指状態123が等しくないとき、確定した指示指状態を前回指示指状態123に設定する。その後、操作状態の判定は、前回の操作状態の確定で使用した前記検索用テーブル126の手順の次の続く手順に対して、以下の判定をする。
そして、判定が終了すると、タイマ13を停止し、タイマ13を再起動し、経過時間を随時、経過時間122に記憶する。
(2−1)確定した指示指状態と前記続く手順の指示指状態が等しくないとき、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル126から削除する。
(2−2)確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"で、さらに、前記続く手順に続く手順がないデータであれば、このデータの操作状態をW操作状態とする。
但し、経過時間122が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル126から削除する。
(2−3)確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"で、さらに、前記続く手順に続く手順があるデータであれば、このデータの操作状態をY操作状態とする。
但し、経過時間122が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル126から削除する。
(2−4)確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"でなければ、このデータの操作状態をY操作状態とする。
但し、経過時間122が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル126から削除する。
(2) When the determined pointing finger state and the previous pointing finger state 123 are not equal, the determined pointing finger state is set to the previous pointing finger state 123. Thereafter, the determination of the operation state is performed for the following procedure following the procedure of the search table 126 used in the final determination of the operation state.
When the determination is completed, the timer 13 is stopped, the timer 13 is restarted, and the elapsed time is stored in the elapsed time 122 as needed.
(2-1) When the determined pointing finger state and the pointing finger state in the subsequent procedure are not equal, this data is excluded from the operation state determination target, and is deleted from the search table 126.
(2-2) If the determined pointing finger state and the pointing finger state of the following procedure are equal, and if the pointing finger duration is “zero” and there is no procedure following the following procedure, this data The operation state is defined as the W operation state.
However, if the elapsed time 122 has not passed the pointing finger continuation time of the previous pointing finger state, this data is excluded from the operation state determination target, and is deleted from the search table 126.
(2-3) If the determined pointing finger state is the same as the pointing finger state of the following procedure, and if the pointing finger duration is “zero” and there is a procedure following the following procedure, this data The operation state is defined as the Y operation state.
However, if the elapsed time 122 has not passed the pointing finger continuation time of the previous pointing finger state, this data is excluded from the operation state determination target, and is deleted from the search table 126.
(2-4) If the determined pointing finger state is the same as the pointing finger state in the following procedure and the pointing finger duration is not “zero”, the operation state of this data is set to the Y operation state.
However, if the elapsed time 122 has not passed the pointing finger continuation time of the previous pointing finger state, this data is excluded from the operation state determination target, and is deleted from the search table 126.
(3)確定された指示指状態と前回指示指状態123が等しいときは、
前回の操作状態の確定の判定に使用した前記検索用テーブル126の手順の指示指状態の指示指継続時間と経過時間122の関係が、
(3−1)経過時間122<指示指継続時間のとき、このデータの操作状態をY操作状態とする。
(3−2)指示指継続時間≦経過時間122であり、かつ、現在の手順に続く手順がないデータであれば、このデータの操作状態をW操作状態とする。
(3−3)指示指継続時間≦経過時間122であり、かつ、現在の手順に続く手順があるデータであれば、このデータの操作状態をY操作状態とする。
(3) When the confirmed pointing finger state is equal to the previous pointing finger state 123,
The relationship between the pointing finger duration in the pointing finger state and the elapsed time 122 in the procedure of the search table 126 used for determining the final operation state is as follows:
(3-1) When the elapsed time 122 <the pointing finger duration time, the operation state of this data is set to the Y operation state.
(3-2) If the instruction finger duration is equal to or less than the elapsed time 122 and there is no procedure following the current procedure, the operation state of this data is set to the W operation state.
(3-3) If the instruction finger duration is equal to or less than the elapsed time 122 and there is a procedure that follows the current procedure, the operation state of this data is set to the Y operation state.
次に、確定された操作状態に従い、入力面の選択、或いは、入力情報の生成と次回の指示指状態に対する操作状態の確定の準備を以下の(1)或いは(2)或いは(3)或いは(4)の方法で行う(S060)。 Next, according to the confirmed operation state, the following (1) or (2) or (3) or (3) or (3) or (3) or (3) or (3) The method 4) is performed (S060).
(1)前記W操作状態の場合、即ち、操作手順通りに操作し、操作手順が終了するものであるときで(S061:W)、
・操作状態がW操作状態と確定されたデータの操作指示で入力面が選択されていたら、選択された入力面を記憶領域の選択中入力面124に設定する。また、選択された入力面がスクロール待ちの入力面のとき、右手中指の2次元座標をスクロール判定用座標125に設定する(S062)。
・操作状態がW操作状態と確定されたデータの操作指示で入力情報生成の指示が出されていたら、入力情報テーブル172を基に、入力情報を生成する(S063)。最後に、次の映像を取得するために、S010へ戻る。
・操作状態がW操作状態と確定されたデータの操作指示による指示が無い場合は、次の映像を取得するために、S010へ戻る。
(1) In the case of the W operation state, that is, when the operation procedure is completed after the operation procedure is completed (S061: W),
If the input surface is selected by the operation instruction of the data in which the operation state is determined as the W operation state, the selected input surface is set as the input screen 124 during selection of the storage area. When the selected input screen is an input screen waiting for scrolling, the two-dimensional coordinate of the middle finger of the right hand is set as the scroll determination coordinate 125 (S062).
If an instruction for generating input information is issued in response to an operation instruction for data whose operation state is determined to be the W operation state, input information is generated based on the input information table 172 (S063). Finally, the process returns to S010 to acquire the next video.
-When there is no instruction | indication by the operation instruction | indication of the data by which the operation state was decided with the W operation state, in order to acquire the next image | video, it returns to S010.
(2)前記X操作状態の場合、即ち、前記操作状態が操作手順通りに操作中であるときで(S061:X)、操作指示で入力情報生成の指示が出されていたら、入力情報テーブル172を基に、入力情報を生成する(S063)。最後に、次の映像を取得するために、S010へ戻る。
もし、操作指示で入力情報生成の指示が出されていなかったら、次の映像を取得するために、S010へ戻る。
(2) In the case of the X operation state, that is, when the operation state is in operation according to the operation procedure (S061: X), and an input information generation instruction is issued by the operation instruction, the input information table 172 Based on the above, input information is generated (S063). Finally, the process returns to S010 to acquire the next video.
If no input information generation instruction is issued as an operation instruction, the process returns to S010 to acquire the next video.
(3)前記Y操作状態の場合、即ち、操作手順の絞り込み中であるときは(S61:Y)、次の映像を取得するために、S010へ戻る。 (3) In the Y operation state, that is, when the operation procedure is being narrowed down (S61: Y), the process returns to S010 in order to acquire the next video.
(4)前記Z操作状態の場合、即ち、前記操作状態が操作手順にない指示指状態であったとき(S061:Z)、その後、次回、操作状態を決定する為に、以下の準備を行う。
タイマ13を停止し、
記憶領域の経過時間122に、初期値(ゼロ)を、
記憶領域の選択中入力面124に、初期値("OP−K")を、
記憶領域のスクロール判定用座標125に、初期値(ゼロ)を、
記憶領域の検索用テーブル126に、初期値(空白)を、
記憶領域の前回操作状態127に初期値(空白)をそれぞれ設定する(S064)。
最後に、次の映像を取得するために(S010)へ戻る。
上記中、記憶領域の選択中入力面124の設定内容は、操作者が決定できるようにしてもよい。
(4) In the case of the Z operation state, that is, when the operation state is the pointing finger state not included in the operation procedure (S061: Z), the following preparation is performed to determine the operation state next time. .
Stop timer 13,
The initial value (zero) is set to the elapsed time 122 of the storage area.
An initial value ("OP-K") is input to the input surface 124 during storage area selection.
The initial value (zero) is set to the scroll determination coordinate 125 of the storage area.
The initial value (blank) is stored in the storage area search table 126.
An initial value (blank) is set in the previous operation state 127 of the storage area (S064).
Finally, the process returns to (S010) to acquire the next video.
In the above, the setting contents of the storage area selection input surface 124 may be determined by the operator.
尚、図9の処理は、所定の時間間隔で処理を行うので、経過時間をタイマ13で測定する替わりに図9の処理フローが実施される処理回数を利用しても良い。例えば、0.1秒間隔で繰り返し処理している場合、経過時間が1秒とは、処理回数が10回であることと同様に取り扱える。 Since the process of FIG. 9 is performed at a predetermined time interval, the number of times that the process flow of FIG. 9 is performed may be used instead of measuring the elapsed time with the timer 13. For example, when processing is repeatedly performed at intervals of 0.1 seconds, an elapsed time of 1 second can be handled in the same manner as when the number of processes is 10.
また、PC1は、ノート型パーソナルコンピュータに限らず、デスクトップ型パーソナルコンピュータであっても良い。 The PC 1 is not limited to a notebook personal computer but may be a desktop personal computer.
尚、上記実施形態において、
図9のS010からS030が本発明の指情報抽出手段及び過程に相当する。また、
図9のS040が本発明の指示指確定手段及び過程に相当する。また、
図9のS050が本発明の操作状態確定手段及び過程に相当する。また、
図9のS060が本発明の操作手順実施手段及び過程に相当する。
In the above embodiment,
S010 to S030 in FIG. 9 correspond to the finger information extracting means and process of the present invention. Also,
S040 in FIG. 9 corresponds to the pointing finger determination means and process of the present invention. Also,
S050 in FIG. 9 corresponds to the operation state determination means and process of the present invention. Also,
S060 in FIG. 9 corresponds to the operating procedure execution means and process of the present invention.
次に、ノート型パソコンのキーボード上で、従来のキーボード操作に加え、画像認識を利用したマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報の入力ができる実施例2について、実施例1と異なる点を、図10から図16を参照して説明する。 Next, in addition to the conventional keyboard operation, information equivalent to a mouse using image recognition, information equivalent to a numeric keypad, information equivalent to a shortcut key, and information equivalent to a character can be input on a keyboard of a notebook computer. Differences from the first embodiment will be described with reference to FIGS. 10 to 16.
先ず、物理的構成について、実施例1と異なる点を図10から図12を参照して説明する。
カメラ3は、キーボード4の向う側の右端の位置にカメラ3aを、キーボード4の向う側の中央付近の位置にカメラ3b(図10を参照)を、各カメラのレンズの画角の中心3a1が対角方向でキーボード4の操作キー面の直上の位置4cと平行(図11を参照)となるように設置する。また、各カメラのレンズの画角は、約90度である。
First, regarding the physical configuration, differences from the first embodiment will be described with reference to FIGS.
The camera 3 has a camera 3a at the right end position on the opposite side of the keyboard 4, a camera 3b (see FIG. 10) at a position near the center on the opposite side of the keyboard 4, and the center 3a1 of the angle of view of each camera lens. It is installed so as to be parallel to the position 4c (see FIG. 11) immediately above the operation key surface of the keyboard 4 in the direction. The angle of view of each camera lens is about 90 degrees.
図10と図12の点線4a部分は、マウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報を入力するときに使用する領域であり、カメラ3aとカメラ3bの共通の視野となるように、カメラ3aとカメラ3bが設置されている。
尚、カメラ3bは、右手によりマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報を、キーボード4を操作するホームポジションで入力することを前提としていて、左手がカメラ3bの視野に入らないように設置されている。
10 and 12 is an area used when inputting information equivalent to the mouse, information equivalent to the numeric keypad, information equivalent to the shortcut key, and information equivalent to the character, and is common to the camera 3a and the camera 3b. The camera 3a and the camera 3b are installed so that it may become a visual field.
The camera 3b assumes that the right hand inputs information equivalent to the mouse, information equivalent to the numeric keypad, information equivalent to the shortcut key, and information equivalent to the character at the home position where the keyboard 4 is operated. It is installed so as not to enter the field of view.
特に、カメラ3aとカメラ3bで撮像対象としたいのはキーボード4上の手の部分であるから、カメラ3aとカメラ3bの付近にキーボード4上の手を照射する照射手段を備えることにより、さらに、手と背景のコントラストを高くすることができる。 In particular, since the camera 3a and the camera 3b are to be picked up by the hand part on the keyboard 4, by providing irradiation means for irradiating the hand on the keyboard 4 near the camera 3a and the camera 3b, The contrast between the hand and the background can be increased.
実施例2の電気的構成は、実施例1の図3Aのブロック図のカメラ3の替わりにカメラ3aとカメラ3bで構成される。操作手順の概要は、実施例1と同様である(図4を参照)。 The electrical configuration of the second embodiment includes a camera 3a and a camera 3b instead of the camera 3 in the block diagram of FIG. 3A of the first embodiment. The outline of the operation procedure is the same as that of the first embodiment (see FIG. 4).
次に、指の姿の識別の方法について、実施例1と異なる点を、図13から図15を参照して説明する。 Next, a method for identifying the figure of a finger will be described with reference to FIGS. 13 to 15 for differences from the first embodiment.
実施例2では、指の隙間状況の代わりに指の数を確定する。そして、位置座標の差異状況の確定は、カメラ3aとカメラ3bの映像でキーボード4の操作キー面の直上の位置4c(図11を参照)の1次元の映像情報を使用する。実施例2においては、カメラ毎の映像情報に対して指の位置座標を確定する。
図13Aは、図12の点線4aの領域を、タッチパッドを操作するように1本の指で操作をする指のカメラ3aの映像であり、指6aは、操作キー面の直上の位置4cを過っている状態で、カメラ3aから遠くにある背景6bは黒く、カメラ3aから近くにある指6aは白く撮像されている。
図13Bは、図13Aの操作キー面の直上の位置4cの1次元の映像情報である。同様に、図13Cは、カメラ3bの映像で、図13Dは、図13Cの操作キー面の直上の位置4cの1次元の映像情報である。
In the second embodiment, the number of fingers is determined instead of the finger gap state. Then, the determination of the difference between the position coordinates uses the one-dimensional image information of the position 4c (see FIG. 11) immediately above the operation key surface of the keyboard 4 in the images of the cameras 3a and 3b. In the second embodiment, the finger position coordinates are determined for the video information for each camera.
FIG. 13A is an image of the finger camera 3a that operates the area of the dotted line 4a in FIG. 12 with one finger so as to operate the touch pad. The finger 6a moves the position 4c immediately above the operation key surface. In this state, the background 6b far from the camera 3a is black, and the finger 6a near the camera 3a is imaged white.
FIG. 13B shows one-dimensional video information at a position 4c immediately above the operation key surface in FIG. 13A. Similarly, FIG. 13C is an image of the camera 3b, and FIG. 13D is one-dimensional image information at a position 4c immediately above the operation key surface of FIG. 13C.
入力面における指の2次元座標の算出方法を、図14を参照して説明する。
図14の指6aの2次元座標は、図13Bの指6aの中央付近の位置座標から、図13Bの指6aの中央付近とカメラ3aを結ぶ直線7aとカメラ3aとカメラ3bを結ぶ基線7との角度7a1が判り、図13Dの指6aの中央付近の位置座標から、図13Dの指6aの中央付近とカメラ3bを結ぶ直線7bとカメラ3aとカメラ3bを結ぶ基線7との角度7b1が判るので、三角測量法で指6aの2次元座標を求める。
A method for calculating the two-dimensional coordinates of the finger on the input surface will be described with reference to FIG.
The two-dimensional coordinates of the finger 6a in FIG. 14 are based on the position coordinate near the center of the finger 6a in FIG. 13B, the straight line 7a connecting the camera 3a near the center of the finger 6a in FIG. 13B, and the base line 7 connecting the cameras 3a and 3b. The angle 7b1 between the straight line 7b connecting the vicinity of the center of the finger 6a in FIG. 13D and the camera 3b and the base line 7 connecting the camera 3a and the camera 3b can be determined from the position coordinates near the center of the finger 6a in FIG. 13D. Therefore, the two-dimensional coordinates of the finger 6a are obtained by triangulation.
図13の指の姿の場合、指の数は1本で指が静止している状態は、指示指状態を"101"(図15Aを参照)とする。他方、この指の姿が動いている、指示指状態を"102"と呼ぶ(図15Bを参照)。また、映像情報に指の情報があっても、キーボード4の操作キー面の直上の位置4cの1次元の映像情報に指の情報が無ければ、指は無いと判定する(以下、指示指状態"103"と呼ぶ、図15Cを参照)。 In the case of the figure of FIG. 13, when the number of fingers is one and the finger is stationary, the pointing finger state is “101” (see FIG. 15A). On the other hand, the pointing finger state in which the figure of the finger is moving is called “102” (see FIG. 15B). Even if there is finger information in the video information, if there is no finger information in the one-dimensional video information at the position 4c immediately above the operation key surface of the keyboard 4, it is determined that there is no finger (hereinafter referred to as the pointing finger state). Called “103”, see FIG. 15C).
この様に指の姿を識別して指示指状態を確定し、図16の操作状態判定テーブルを備えれば、実施例1と同様な入力が行える。例えば、キーボードの入力面が選択されている状態で、指示指状態"101"で1秒以上静止すると、マウス情報の入力面が選択され(図16のK−1を参照)、その後、指を動かすと指示指状態は"102"となり、マウスポインタが移動される(図16のM−2と図7のM−2を参照)。 In this way, if the figure of the finger is identified to determine the pointing finger state and the operation state determination table of FIG. 16 is provided, the same input as in the first embodiment can be performed. For example, when the keyboard input surface is selected and the pointing finger state “101” is held for 1 second or longer, the mouse information input surface is selected (see K-1 in FIG. 16). When moved, the pointing finger state becomes “102” and the mouse pointer is moved (see M-2 in FIG. 16 and M-2 in FIG. 7).
実施例2の流れ図は、実施例1の図9の流れ図のS030において、取り込んだ映像より指の情報を抽出した後、さらに、操作キー面の直上の位置4cの1次元の映像情報を抽出するように変更する。 In the flowchart of the second embodiment, after extracting finger information from the captured video in S030 of the flowchart of FIG. 9 of the first embodiment, one-dimensional video information of the position 4c immediately above the operation key surface is further extracted. Change as follows.
尚、カメラの設置位置を変更したり、或いは、各カメラのレンズの画角を変更(例えば、画角を135度のレンズ)することで、図12の点線4aの領域を変更し、操作性の向上を図ったり、操作可能領域を変更したり、左手によりマウスポインタを操作するように、変更する事も出来る。 It should be noted that the area of the dotted line 4a in FIG. 12 is changed by changing the camera installation position or changing the angle of view of each camera lens (for example, a lens having an angle of view of 135 degrees). It is possible to change the operation area, change the operable area, or operate the mouse pointer with the left hand.
また、PC1は、ノート型パーソナルコンピュータに限らず、デスクトップ型パーソナルコンピュータであっても良い。 The PC 1 is not limited to a notebook personal computer but may be a desktop personal computer.
次に、実施例2のCCDカメラを1次元イメージセンサに置き換えた実施例3について、実施例2と異なる点を説明する。実施例2における図10のカメラ3aを1次元イメージセンサ3cに、カメラ3bを1次元イメージセンサ3dで置き換えて構成させた入力装置が実施例3となる。 Next, with respect to the third embodiment in which the CCD camera of the second embodiment is replaced with a one-dimensional image sensor, differences from the second embodiment will be described. An input device in which the camera 3a in FIG. 10 in the second embodiment is replaced with a one-dimensional image sensor 3c and the camera 3b is replaced with a one-dimensional image sensor 3d is a third embodiment.
実施例2のカメラ3aの映像は、図13Aであるが、実施例3の1次元イメージセンサ3cの映像は、図13Bとなり、カメラ3aの映像でキーボード4の操作キー面の直上の位置4cの1次元の映像情報と同じとなる。同様に、1次元イメージセンサ3dの映像は、図13Dと同様になる。 The video of the camera 3a of the second embodiment is shown in FIG. 13A, but the video of the one-dimensional image sensor 3c of the third embodiment is shown in FIG. 13B. The video of the camera 3a is located at a position 4c immediately above the operation key surface of the keyboard 4. It is the same as one-dimensional video information. Similarly, the image of the one-dimensional image sensor 3d is the same as FIG. 13D.
したがって、実施例2の指の数と位置座標の差異状況の確定は、カメラ3aとカメラ3bの映像でキーボード4の操作キー面の直上の位置4cの1次元の映像情報を使用するとしているが、実施例3の指の数と位置座標の差異状況の確定は、1次元イメージセンサ3cと1次元イメージセンサ3dの映像を使用すれば良い。したがって、図9のS030において、取り込んだ映像が1次元の映像情報となるので、この1次元の映像情報より、指の数と位置座標の差異状況の確定を行う。 Therefore, the determination of the difference between the number of fingers and the position coordinates in the second embodiment uses the one-dimensional image information at the position 4c immediately above the operation key surface of the keyboard 4 in the images of the cameras 3a and 3b. The determination of the difference between the number of fingers and the position coordinates according to the third embodiment may be performed using images from the one-dimensional image sensor 3c and the one-dimensional image sensor 3d. Accordingly, in S030 of FIG. 9, since the captured video becomes one-dimensional video information, the difference status between the number of fingers and the position coordinates is determined based on the one-dimensional video information.
また、この様な構成にしても、前記実施例2と同様な作用効果が得られるとともに、撮像手段を1次元イメージセンサとすることができるので、CCDカメラに対して安価な入力装置が提供できるようになる。尚、カメラ3c、或いはカメラ3dの何れか一方をCCDカメラとして、CCDカメラの映像情報からは、操作キー面の直上の位置4cの1次元の映像情報を抽出する形態としても、同様な作用効果が得られる。 Even with such a configuration, the same effects as those of the second embodiment can be obtained, and the imaging means can be a one-dimensional image sensor, so that an inexpensive input device can be provided for the CCD camera. It becomes like this. It should be noted that either one of the camera 3c and the camera 3d is used as a CCD camera, and the same operation and effect can be obtained by extracting one-dimensional video information at a position 4c immediately above the operation key surface from the video information of the CCD camera. Is obtained.
実施例2および実施例3における、1次元の映像情報から判断できる指の情報では、1本の指なのか(図15Aを参照)、或いは、複数の指を揃えているか(例えば、中指と薬指と小指を揃えた形状、図17Aを参照)、の判定ができない。
そこで、1次元の映像情報より抽出した指の情報から判断できる指の幅は、カメラと指6aの距離に依存する事を利用する。
In the finger information that can be determined from the one-dimensional video information in the second and third embodiments, the finger information is one finger (see FIG. 15A), or a plurality of fingers are aligned (for example, the middle finger and the ring finger) And the shape with the little fingers aligned (see FIG. 17A).
Therefore, the finger width that can be determined from the finger information extracted from the one-dimensional video information is used depending on the distance between the camera and the finger 6a.
例えば、図18Aは、カメラ3aから距離Lにある指6aと、カメラ3aから距離2L(距離Lの2倍の距離)にある指6aを示した図である。図18Bは、カメラ3aから距離Lにある指6aのカメラ3aの1次元の映像情報であり、図18Cは、カメラ3aから距離2Lにある指6aのカメラ3aの1次元の映像情報である。図18Bの指6aの幅と背景の比率は1対3で、撮像幅を16cmとすれば、指6aの幅は、4cmとなる。図18Cの指6aの幅と背景の比率は1対7で、撮像幅を16cmとすれば、指6aの幅は2cmとなる。
ここで、距離Lと図18Bの指6aの幅(4cm)の積は、距離2Lと図18Cの指6aの幅(2cm)の積と等しくなる事が判る。したがって、指の情報から判断できる指の幅とカメラと指6aの距離の積は、一定になることが判る。
For example, FIG. 18A is a diagram showing a finger 6a at a distance L from the camera 3a and a finger 6a at a distance 2L (a distance twice as long as the distance L) from the camera 3a. 18B shows one-dimensional video information of the camera 3a of the finger 6a at a distance L from the camera 3a, and FIG. 18C shows one-dimensional video information of the camera 3a of the finger 6a at a distance 2L from the camera 3a. The ratio between the width of the finger 6a and the background in FIG. 18B is 1: 3, and if the imaging width is 16 cm, the width of the finger 6a is 4 cm. The ratio of the width of the finger 6a to the background in FIG. 18C is 1: 7, and if the imaging width is 16 cm, the width of the finger 6a is 2 cm.
Here, it can be seen that the product of the distance L and the width (4 cm) of the finger 6a in FIG. 18B is equal to the product of the distance 2L and the width (2 cm) of the finger 6a in FIG. 18C. Therefore, it can be seen that the product of the finger width and the distance between the camera and the finger 6a that can be determined from the finger information is constant.
そこで、指示指状態の確定は、さらに、前記1次元の映像情報より抽出した指が、1本の指なのか、或いは、複数の指を揃えているか、を意味する指の構成状況を考慮し、前記指の数と前記位置座標の差異状況と前記指の構成状況に対して、指示指状態を対応付けた指示指状態テーブル173より指示指状態を確定する。 Accordingly, the determination of the pointing finger state further takes into consideration the configuration of the finger, which means whether the finger extracted from the one-dimensional video information is a single finger or a plurality of fingers are aligned. The pointing finger state is determined from the pointing finger state table 173 in which the pointing finger state is associated with the difference state of the number of fingers, the position coordinates, and the configuration state of the finger.
指の構成状況は、以下の要領で求める。
入力装置は、右側のカメラから所定の距離の指の幅が1本の指か、或いは、複数の指を揃えたものかを判定をする為に、標準基準幅を備えている。例えば、「標準基準幅その1≦指の幅≦標準基準幅その2」を満たすときは、指が1本の指で構成されていると判定し、「標準基準幅その2<指の幅」を満たすときは、3本の指を揃えた状態で構成されていると判定し、「指の幅<標準基準幅その1」の場合は、映像情報に指が写っていないか、指が入力操作を開始し出したばかりと判定し、指の情報が無いものと判定するものである。
The configuration status of the finger is obtained as follows.
The input device has a standard reference width for determining whether the width of a finger at a predetermined distance from the right camera is one finger or a plurality of fingers aligned. For example, when “standard reference width 1 ≦ finger width ≦ standard reference width 2” is satisfied, it is determined that the finger is composed of one finger, and “standard reference width 2 <finger width”. If it satisfies the condition, it is determined that the finger is configured with three fingers aligned. If “finger width <standard reference width 1”, it is determined whether or not the finger is shown in the video information. It is determined that the operation has just started, and it is determined that there is no finger information.
前記所定の距離と所定の距離の標準基準幅の積と、任意の位置の基準幅と前記任意の位置の指とカメラとの距離の積が一定になることにより、任意の位置の基準幅が求まるので、任意の位置の指の構成が確定する。 The product of the predetermined distance and the standard reference width of the predetermined distance and the product of the reference width of the arbitrary position and the distance between the finger of the arbitrary position and the camera are constant, so that the reference width of the arbitrary position is Since it is obtained, the configuration of the finger at an arbitrary position is determined.
また、利用者を特定すれば、標準基準幅を3ケ設定し、指の構成が1本か2本か3本かの判定もできる。また、標準基準幅を1つにして、1本の指のときと複数の指を揃えたときを同一の指状態情報とすることもできる。 If a user is specified, three standard reference widths can be set, and it can be determined whether the finger configuration is one, two, or three. In addition, with one standard reference width, the same finger state information can be obtained when one finger and a plurality of fingers are aligned.
実施例1で構成されるPC1に、さらに、キーボード4の向う側の中央にCCDカメラ3aを備えた実施例5について、図19から図22を参照して説明する。 A fifth embodiment in which the PC 1 configured in the first embodiment is further provided with a CCD camera 3a in the center on the opposite side of the keyboard 4 will be described with reference to FIGS.
先ず、物理的な構成について、実施例1の図1及び図2と異なる点を、図19から図21を参照して説明する。
カメラ3aを、カメラ3aのレンズの画角の中心3a1がキーボード4の操作キー面の直上の位置4cと平行(図20を参照)でかつ、キーボード4を左右に2等分する位置3a2となり、カメラ3aの撮影領域が、カメラ3が作る領域4aを含むように設置する(図21を参照)。また、カメラ3aのレンズの画角は、約135度である。
First, with respect to the physical configuration, differences from FIGS. 1 and 2 of the first embodiment will be described with reference to FIGS.
The camera 3a is positioned at a position 3a2 in which the center 3a1 of the angle of view of the lens of the camera 3a is parallel to the position 4c immediately above the operation key surface of the keyboard 4 (see FIG. 20), and the keyboard 4 is equally divided into left and right. The camera 3a is set so that the shooting area includes the area 4a created by the camera 3 (see FIG. 21). The angle of view of the lens of the camera 3a is about 135 degrees.
次に、電気的構成において、実施例1の図3Aと異なる点は、カメラ3とカメラ3aがビデオコントローラ15に接続されている点である。 Next, in the electrical configuration, the difference from FIG. 3A of the first embodiment is that the camera 3 and the camera 3 a are connected to the video controller 15.
次に、操作手順において、実施例1と異なる点は、テンキー情報の入力面の選択の操作手順とテンキー情報の入力の操作手順である。
さらに、テンキー情報の入力の操作手順の操作状態の判定は、カメラ3とカメラ3aの映像より確定した指示指状態を使用する。したがって、操作状態判定テーブル171は、カメラ3とカメラ3aの指示指状態と指示指継続時間により構築する。
Next, the operation procedure is different from the first embodiment in the operation procedure for selecting the input surface of the numeric key information and the operation procedure for inputting the numeric key information.
Further, the operation state of the operation procedure for inputting the numeric key information is determined by using the pointing finger state determined from the images of the camera 3 and the camera 3a. Therefore, the operation state determination table 171 is constructed by the pointing finger states and the pointing finger duration time of the cameras 3 and 3a.
以下、テンキー情報の入力面の選択の操作手順とテンキー情報の入力の操作手順について説明する。キーボードの入力面(図4のOP−Kを参照)が選択されている状態において、テンキー情報の入力面(図4のOP−Tを参照)を選択する操作手順は、左手の親指と人差し指の隙間が有り、人差し指と中指の隙間が無い状態で静止していて、右手はどの様な状態であっても良い指示指状態(以下、指示指状態を"501"と呼ぶ、図22Aを参照)を、カメラ3の映像から判断すると、テンキー情報の入力面が選択される(図22Bの操作状態判定テーブル171のK−2を参照)。 Hereinafter, an operation procedure for selecting an input surface for numeric key information and an operation procedure for inputting numeric key information will be described. When the keyboard input surface (see OP-K in FIG. 4) is selected, the operation procedure for selecting the numeric keypad information input surface (see OP-T in FIG. 4) is as follows. A pointing finger state in which the right hand may be in any state with a gap and no gap between the index finger and the middle finger (hereinafter, the pointing finger state is referred to as “501”, see FIG. 22A) Is determined from the video of the camera 3, the input surface of the numeric keypad information is selected (see K-2 in the operation state determination table 171 in FIG. 22B).
テンキー情報の入力面が選択されている状態で、テンキー情報を入力するには、指示指状態が"501"の状態で、かつ、カメラ3aの映像から、右手部分の指示指状態が"103"の状態から"101"の状態(図15を参照)に変化したと判断した時である(図22Bの操作状態判定テーブル171のT−1を参照)。 In order to input the numeric key information in a state where the input surface of the numeric key information is selected, the pointing finger state is “501”, and the pointing finger state of the right hand portion is “103” from the image of the camera 3a. This is a time when it is determined that the state has changed from "1" to "101" (see FIG. 15) (see T-1 in the operation state determination table 171 in FIG. 22B).
そして、テンキー情報の入力があったと判定されると、カメラ3aの右手部分の指示指状態"101"の指6aの中心の映像上の位置座標が判るので、この位置座標とカメラ3の映像より抽出した指の情報より、キーボード4の操作キー面の直上の位置4cを過った指が判るので、前記過った指の2次元座標をカメラ3の映像より確定し、図7の入力情報テーブル172より、入力情報を決定する。 When it is determined that the numeric keypad information has been input, the position coordinates on the video of the center of the finger 6a of the pointing finger state “101” of the right hand portion of the camera 3a can be determined. Since the finger that has passed the position 4c immediately above the operation key surface of the keyboard 4 can be determined from the extracted finger information, the two-dimensional coordinates of the finger that has passed are determined from the image of the camera 3, and the input information shown in FIG. Input information is determined from the table 172.
以上の様に構成された実施例5の入力装置の動作について、実施例1と異なる点を、図9を参照して説明する。
・S020の映像の取り込みでは、カメラ3とカメラ3aからの映像を取り込む。
・S030の指の情報を抽出処理では、カメラ3aについては、実施例2と同様に、キーボード4の操作キー面の直上の位置4cの1次元の映像情報を抽出する。
・S040の指示指状態確定処理では、実施例1と同様に指示指状態を確定し、さらに、カメラ3aの指の抽出情報より、実施例2と同様に指示指状態を確定する。
そして、S063において入力情報を決定する為の指の2次元座標は、カメラ3aの映像上の指の位置座標とカメラ3が撮影した指の姿から求めた2次元座標から特定する。
尚、マウスと同等情報の操作手順もカメラ3とカメラ3aの指示指状態を使って構築する事が出来る。
With respect to the operation of the input device according to the fifth embodiment configured as described above, differences from the first embodiment will be described with reference to FIG.
In the video capturing in S020, video from the camera 3 and the camera 3a is captured.
In the extraction process of finger information in S030, for the camera 3a, one-dimensional video information at a position 4c immediately above the operation key surface of the keyboard 4 is extracted as in the second embodiment.
In the pointing finger state determination process of S040, the pointing finger state is determined in the same manner as in the first embodiment, and further, the pointing finger state is determined in the same manner as in the second embodiment from the finger extraction information of the camera 3a.
In S063, the two-dimensional coordinates of the finger for determining the input information are specified from the position coordinates of the finger on the image of the camera 3a and the two-dimensional coordinates obtained from the figure of the finger taken by the camera 3.
Note that an operation procedure of information equivalent to that of a mouse can be constructed using the pointing finger states of the camera 3 and the camera 3a.
この様な構成にしても、前記実施例1と同様な作用効果が得られるとともに、カメラ3とカメラ3aの撮像から取得した指示指状態に対して操作手順が構築できるので、よりユーザーフレンドリな操作手順とする事ができる。 Even with such a configuration, the same operational effects as those of the first embodiment can be obtained, and the operation procedure can be constructed for the pointing finger state acquired from the imaging of the camera 3 and the camera 3a. It can be a procedure.
実施例6は、実施例5に備えられたカメラ3aの代わりに1次元イメージセンサ3cとし、指の情報の抽出は1次元イメージセンサ3cの映像を使用する事を特徴とする。 The sixth embodiment is characterized in that a one-dimensional image sensor 3c is used instead of the camera 3a provided in the fifth embodiment, and finger information is extracted using an image of the one-dimensional image sensor 3c.
この様な構成にしても、前記実施例5と同様な作用効果が得られるとともに、安価な入力装置が提供できるようになる。 Even with this configuration, the same effects as those of the fifth embodiment can be obtained, and an inexpensive input device can be provided.
実施例1で構成される入力装置のカメラ3を外付けの撮像装置9にした実施例7について、図23から図24を参照して説明する。 A seventh embodiment in which the camera 3 of the input device configured in the first embodiment is an external imaging device 9 will be described with reference to FIGS.
先ず、物理的な構成と電気的構成を、図23を参照して説明する。
入力装置は、撮像装置9を、USBコネクタ8を介してPC1に接続し、撮像装置9の制御回路9aでカメラ3の映像を取得し、指の情報を抽出後、指の抽出情報を、USBコネクタ8を経由して、PC1に送出する構成である。
First, a physical configuration and an electrical configuration will be described with reference to FIG.
The input device connects the imaging device 9 to the PC 1 via the USB connector 8, acquires the video of the camera 3 by the control circuit 9 a of the imaging device 9, extracts finger information, and then extracts the finger extraction information to the USB In this configuration, the data is sent to the PC 1 via the connector 8.
次に、上記の様に構成された実施例7の入力装置の動作、即ち、撮像装置9とPC1の動作について、実施例1の図9と異なる点を、図24の流れ図を参照して説明する。 Next, the operation of the input device of the seventh embodiment configured as described above, that is, the operations of the imaging device 9 and the PC 1 will be described with reference to the flowchart of FIG. To do.
撮像装置9では、実施例1のS010からS030に相当する処理を行う(図24Aを参照)。
先ず、映像の取り込みタイミングかどうかを判断する(S710)。撮像装置9は、所定の時間間隔でカメラ3から映像を取り込み、以下の処理を実行する。取り込みタイミングでなければ(S710:NO)、取り込みタイミングになるまで待機する。取り込みタイミングになったら(S710:YES)、カメラ3からの映像を取り込む(S720)。
次に、前記映像より、左右の手の指の情報を抽出し、抽出データを、USBコネクタ8を介して送出する。(S730)。
The imaging device 9 performs processing corresponding to S010 to S030 of the first embodiment (see FIG. 24A).
First, it is determined whether or not it is a video capture timing (S710). The imaging device 9 captures video from the camera 3 at predetermined time intervals and executes the following processing. If it is not the capture timing (S710: NO), it waits until the capture timing is reached. When the capture timing is reached (S710: YES), the video from the camera 3 is captured (S720).
Next, information on the fingers of the left and right hands is extracted from the video, and the extracted data is transmitted via the USB connector 8. (S730).
PC1では、実施例1のS040からS060に相当する処理を行う(図24Bを参照)。
先ず、USBコネクタ8を介して、撮像装置9から送出された送出データの取り込みタイミングかどうか判定する。取り込みタイミングでなければ(S711:NO)、再度、取り込みタイミングかどうか判定する。取り込みタイミングであれば(S711:YES)、送出データを取り込む(S721)。
その後、実施例1と同じであるS040からS060の処理を行う(S740からS760)。
The PC 1 performs processing corresponding to S040 to S060 of the first embodiment (see FIG. 24B).
First, it is determined whether or not it is the fetch timing of the transmission data transmitted from the imaging device 9 via the USB connector 8. If it is not the capture timing (S711: NO), it is determined again whether the capture timing is reached. If it is the capture timing (S711: YES), the transmission data is captured (S721).
Thereafter, the same processes from S040 to S060 as in the first embodiment are performed (S740 to S760).
この様な構成にしても、前記実施例1と同様な作用効果が得られるとともに、様々な入力操作面での利用が可能になる。例えば、机上の操作面上に入力面が形成されるように外付け撮像装置9を設置すれば、マウス専用装置として、風塵、油水の多い利用環境でも利用できる。 Even with such a configuration, the same effects as those of the first embodiment can be obtained, and utilization on various input operation surfaces is possible. For example, if the external imaging device 9 is installed so that the input surface is formed on the operation surface on the desk, it can be used as a mouse-dedicated device even in a usage environment with much dust and oil water.
実施例7の制御回路9aに、PC1を入力装置として機能させるため制御部50に備えた入力プログラムや入力プログラムにおいて時間の経過を計測するためのタイマや入力プログラムを制御するための各種テーブルを備えた実施例8の撮像装置9について説明する。
この様な構成にすると、撮像装置9は、撮像装置9をパーソナルコンピュータのUSBコネクタ8に接続することにより、前記パーソナルコンピュータの入力装置とすることができる。
尚、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173の更新は、これらのテーブルを編集するためのプログラムとこれらのテーブルを制御回路9aに伝送するプログラムを前記パーソナルコンピュータに備えれば良い。
The control circuit 9a according to the seventh embodiment includes an input program provided in the control unit 50 for causing the PC 1 to function as an input device, a timer for measuring the passage of time in the input program, and various tables for controlling the input program. The imaging device 9 of the eighth embodiment will be described.
With such a configuration, the imaging device 9 can be used as an input device of the personal computer by connecting the imaging device 9 to the USB connector 8 of the personal computer.
The operation status determination table 171, the input information table 172, and the pointing finger status table 173 are updated by providing the personal computer with a program for editing these tables and a program for transmitting these tables to the control circuit 9a. It ’s fine.
実施例2で構成される入力装置のカメラ3aとカメラ3bを外付けの撮像装置9にした実施例9について、図25を参照して説明する。 A ninth embodiment in which the camera 3a and the camera 3b of the input device configured in the second embodiment are used as an external imaging device 9 will be described with reference to FIG.
先ず、物理的な構成と電気的構成を、図25を参照して説明する。
入力装置は、撮像装置9を、USBコネクタ8を介してPC1に接続し、撮像装置9の制御回路9aでカメラ3aとカメラ3bの映像を取得し、指の情報を抽出後、指の抽出情報をUSBコネクタ8を経由してPC1に送出する構成である。
尚、実施例3及び実施例4も同様な構成にできる。また、カメラ3aとカメラ3bの何れか一方を1次元イメージセンサにしても良い。
First, a physical configuration and an electrical configuration will be described with reference to FIG.
The input device connects the imaging device 9 to the PC 1 via the USB connector 8, acquires the images of the cameras 3 a and 3 b by the control circuit 9 a of the imaging device 9, extracts finger information, and then extracts finger information. Is sent to the PC 1 via the USB connector 8.
In addition, Example 3 and Example 4 can also be made into the same structure. Further, one of the camera 3a and the camera 3b may be a one-dimensional image sensor.
この様な構成にしても、前記実施例2と同様な作用効果が得られるとともに、様々な入力操作面での利用が可能になる。例えば、机上の操作面上に外付け撮像装置9を設置すれば、マウス専用装置として、風塵、油水の多い利用環境でも利用できる。 Even with such a configuration, the same operational effects as those of the second embodiment can be obtained, and use on various input operation surfaces is possible. For example, if the external imaging device 9 is installed on the operation surface on a desk, it can be used as a dedicated mouse device even in a usage environment with a lot of dust and oil.
実施例9の制御回路9aに、PC1を入力装置として機能させるため制御部50に備えた入力プログラムや入力プログラムにおいて時間の経過を計測するためのタイマや入力プログラムを制御するための各種テーブルを備えた実施例10の撮像装置9について説明する。 The control circuit 9a according to the ninth embodiment includes an input program provided in the control unit 50 for causing the PC 1 to function as an input device, a timer for measuring the passage of time in the input program, and various tables for controlling the input program. The imaging device 9 of Example 10 will be described.
この様な構成にすると、撮像装置9は、撮像装置9をUSBコネクタ8に接続することによりパーソナルコンピュータの入力装置とすることができる。
尚、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173の更新は、これらのテーブルを編集するためのプログラムと制御回路9aに伝送するためのプログラムを前記パーソナルコンピュータに備えれば良い。
With such a configuration, the imaging device 9 can be used as an input device of a personal computer by connecting the imaging device 9 to the USB connector 8.
The operation state determination table 171, the input information table 172, and the pointing finger state table 173 may be updated by providing the personal computer with a program for editing these tables and a program for transmission to the control circuit 9a. .
この様な構成にしても、前記実施例2と同様な作用効果が得られるとともに、様々な入力操作面での利用が可能になる。例えば、机上の操作面上に外付け撮像装置9を設置すれば、マウス専用装置として、風塵、油水の多い利用環境でも利用できる。 Even with such a configuration, the same operational effects as those of the second embodiment can be obtained, and use on various input operation surfaces is possible. For example, if the external imaging device 9 is installed on the operation surface on a desk, it can be used as a dedicated mouse device even in a usage environment with a lot of dust and oil.
実施例5で構成される入力装置のカメラ3とカメラ3aを外付けの撮像装置9とし、さらに、撮像装置9からキーボードと同等情報が入力できるようにした実施例11について、図26から図30を参照して説明する。 26 to FIG. 30 regarding an eleventh embodiment in which the camera 3 and the camera 3a of the input device configured in the fifth embodiment are used as an external imaging device 9, and information equivalent to a keyboard can be input from the imaging device 9. Will be described with reference to FIG.
先ず、物理的な構成について、実施例5と異なる点を、図26から図27を参照して説明する。
入力装置は、撮像装置9を、USBコネクタ8を介してPC1に接続し、撮像装置9の制御回路9aでカメラ3とカメラ3aの映像を取得し、指の情報を抽出後、指の抽出情報を、USBコネクタ8を経由してPC1に送出する構成である。
First, regarding the physical configuration, differences from the fifth embodiment will be described with reference to FIGS.
The input device connects the imaging device 9 to the PC 1 via the USB connector 8, acquires the video of the camera 3 and the camera 3a by the control circuit 9a of the imaging device 9, extracts finger information, and then extracts finger information. Is sent to the PC 1 via the USB connector 8.
撮像装置9からキーボードと同等情報やテンキーと同等情報を入力する時に使用する入力面上に配置される入力情報の領域を示した入力補助シート4d(図26と図27を参照)を、カメラ3の撮像領域内に入るように、入力操作面上に設置する。 An input auxiliary sheet 4d (see FIGS. 26 and 27) showing an input information area arranged on an input surface used when inputting information equivalent to a keyboard or information equivalent to a numeric keypad from the image pickup device 9 is displayed on the camera 3. It is installed on the input operation surface so as to fall within the imaging area.
カメラ3aを、カメラ3aのレンズの画角の中心3a1が入力補助シート4d面の直上の位置4cと平行(図26Bを参照)でかつ、入力補助シート4dを左右に2等分する位置3a2となり、カメラ3aの撮像領域が、カメラ3が作る領域4aを含むように設置し(図27を参照)、左右の手のどの指が入力補助シート4d面の直上の位置4cを過っているかどうかが判定できるようにしている。また、カメラ3aのレンズの画角は、約135度である。 The camera 3a has a position 3a2 in which the center 3a1 of the angle of view of the lens of the camera 3a is parallel to the position 4c immediately above the surface of the input auxiliary sheet 4d (see FIG. 26B) and the input auxiliary sheet 4d is equally divided into left and right. Whether the imaging area of the camera 3a includes the area 4a created by the camera 3 (see FIG. 27), and which finger of the left and right hand passes the position 4c directly above the input auxiliary sheet 4d surface Can be determined. The angle of view of the lens of the camera 3a is about 135 degrees.
次に、操作手順の概要について、実施例5と異なる点を、図28を参照して説明する。
先ず、実施例5で備えていた「キーボードの入力面(OP−K)」に変えて、キーボードと同等情報を入力する為の「QWERTYの入力面(OP−Q)」とした。これに伴い、QWERTYの入力面を選択する操作手順とQWERTYの入力面が選択されている状態において入力情報を決定する操作手順とQWERTYの入力面が選択されている状態において入力できる入力情報を定め、マウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報やキーボードと同等情報の入力ができる操作手順とした。
Next, the outline of the operation procedure will be described with reference to FIG.
First, instead of the “keyboard input surface (OP-K)” provided in the fifth embodiment, a “QWERTY input surface (OP-Q)” for inputting the same information as the keyboard is used. Accordingly, an operation procedure for selecting a QWERTY input surface, an operation procedure for determining input information in a state where the QWERTY input surface is selected, and input information which can be input in a state where the QWERTY input surface is selected are determined. The operation procedure enables input of information equivalent to a mouse, information equivalent to a numeric keypad, information equivalent to a shortcut key, information equivalent to a character, and information equivalent to a keyboard.
QWERTYの入力面、或いは、テンキー情報の入力面が選択されている状態における操作手順は、カメラ3とカメラ3aから求めた夫々の指示指状態が使用され、マウス情報の入力面、或いは、スクロール待ち入力面、或いは、左クリック押下継続の入力面が選択されている状態における操作手順は、カメラ3の指示指状態が使用される。 The operation procedure in the state where the QWERTY input surface or the numeric keypad information input surface is selected uses the pointing finger states obtained from the camera 3 and the camera 3a, and the mouse information input surface or waiting for scrolling is used. For the operation procedure in a state where the input screen or the input screen for continuing the left click is selected, the pointing finger state of the camera 3 is used.
次に、操作手順の詳細について、実施例5と異なる点を、図29を参照して説明する。
キーボードの入力面(OP−K)に変えて、QWERTYの入力面(OP−Q)としたので、M−9とS−4とT−2の操作指示内容が変更されている。
Next, the details of the operation procedure will be described with reference to FIG.
Since the QWERTY input surface (OP-Q) is used instead of the keyboard input surface (OP-K), the operation instruction contents of M-9, S-4, and T-2 are changed.
実施例5では、テンキー情報を入力する時、右手部分の指示指状態が"103"から"101"へ変化した時に操作指示を出していた(T−1)。しかし、複数本の指が入力補助シート4d面の直上の位置4cを過っている状態で、新たな指が位置4cを過った事で入力指示を出した場合、操作状態判定テーブル171へ指示指状態の変化の組合せを登録するには、相当の負荷が増大する。 In the fifth embodiment, when inputting ten-key information, an operation instruction is issued when the pointing finger state of the right hand portion changes from “103” to “101” (T-1). However, when a plurality of fingers have passed the position 4c immediately above the input auxiliary sheet 4d surface and an input instruction is issued because a new finger has passed the position 4c, the operation state determination table 171 is entered. To register a combination of changes in the pointing finger state, a considerable load increases.
そこで、入力補助シート4d面の直上の位置4cを過っている指の映像上の位置座標が指毎に判るので、前回の映像上の各指の位置座標と今回の各指の位置座標を比較し、新たに発生した位置座標以外は、全て同じ位置座標であった場合、カメラ3aの指示指状態を、例えば、"999"として、操作状態判定テーブル171を構築すれば良い。 Therefore, since the position coordinates on the image of the finger passing the position 4c immediately above the input auxiliary sheet 4d surface are known for each finger, the position coordinates of each finger on the previous image and the position coordinates of each finger of this time are obtained. In comparison, if the position coordinates are all the same except for the newly generated position coordinates, the operation state determination table 171 may be constructed with the pointing finger state of the camera 3a set to, for example, “999”.
例えば、入力操作をする手を、カメラ3aから見た様が図30Aであったとすると、カメラ3aの映像情報の入力補助シート4d面の直上の位置4cの1次元の映像情報は、図30Bの様に撮像されている。この状態から、右手の人差し指を下に下し、入力補助シート4d面の直上の位置4cを過らせると、図30Cの1次元の映像情報が取得される。
したがって、図30Bと図30Cの1次元の映像情報より、新たに入力補助シート4d面の直上の位置4cを過った指が判り、右手の人差し指の位置座標(図30Cを参照)が判る。
For example, if the hand performing the input operation is seen from the camera 3a as shown in FIG. 30A, the one-dimensional video information at the position 4c immediately above the input auxiliary sheet 4d surface of the video information of the camera 3a is shown in FIG. 30B. The images are taken in the same way. From this state, when the index finger of the right hand is lowered and the position 4c immediately above the surface of the input auxiliary sheet 4d is passed, the one-dimensional image information of FIG. 30C is acquired.
Therefore, from the one-dimensional image information of FIG. 30B and FIG. 30C, the finger that has newly passed the position 4c immediately above the input auxiliary sheet 4d surface can be found, and the position coordinate of the index finger of the right hand (see FIG. 30C) can be found.
したがって、カメラ3の映像より抽出した指の情報から確定した指示指状態が、"501"や"010"以外であり、かつ、カメラ3aの映像より抽出した指の情報から確定した指示指状態が"999"の時、キーボードと同等情報の入力があったと判定できる(図29AのK−8を参照)。
尚、指示指状態"001"、"017"は、マウス情報の入力面やスクロール待ち入力面の選択で使用しているが、1秒を経過した時に操作指示が出されるので、1秒未満であれば、K−8の指示指状態として利用できる。
Therefore, the pointing finger state determined from the finger information extracted from the video of the camera 3 is other than “501” or “010”, and the pointing finger state determined from the finger information extracted from the video of the camera 3a is When “999”, it can be determined that information equivalent to that on the keyboard has been input (see K-8 in FIG. 29A).
The pointing finger states “001” and “017” are used for selection of the mouse information input screen and the scroll waiting input surface. If there is, it can be used as the pointing finger state of K-8.
そして、キーボードと同等情報の入力があったと判定されると、指示指状態を"999"とした指の位置座標とカメラ3の映像より抽出した指の情報より、新たに入力補助シート4d面の直上の位置4cを過った指の2次元座標が確定できるので、図29Bの入力情報テーブル172より、入力情報を決定する。 If it is determined that information equivalent to the keyboard has been input, the information on the input auxiliary sheet 4d surface is newly determined from the finger position coordinates with the pointing finger state set to “999” and the finger information extracted from the video of the camera 3. Since the two-dimensional coordinates of the finger over the position 4c immediately above can be determined, input information is determined from the input information table 172 in FIG. 29B.
以上の様に構成された実施例11の入力装置の動作、即ち、撮像装置9とPC1の動作について、実施例7の図24の流れ図と異なる点を説明する。
・S720では、カメラ3とカメラ3aから映像を取り出す。
・S730では、取り込んだ映像より、指の情報を抽出する。カメラ3aについては、入力補助シート4d面の直上の位置4cの1次元の映像情報を抽出する。そして、抽出データをPC1に送出する。
・S740では、実施例7の指示指確定手段により指示指状態を確定し、さらに、カメラ3aの指の情報に対しても指示指状態を確定する。
そして、入力情報を決定する為の指の2次元座標は、カメラ3aの映像上の指の位置座標とカメラ3が撮影した指の姿から求めた2次元座標から特定する。
尚、カメラ3aは1次元イメージセンサ3cであっても良い。この時は、入力補助シート4d面の直上の位置4cの1次元の映像情報の抽出は不要となる。
The operation of the input device of the eleventh embodiment configured as described above, that is, the operations of the imaging device 9 and the PC 1 will be described with respect to differences from the flowchart of FIG. 24 of the seventh embodiment.
In S720, images are extracted from the camera 3 and the camera 3a.
In step S730, finger information is extracted from the captured video. For the camera 3a, one-dimensional image information at a position 4c immediately above the input auxiliary sheet 4d surface is extracted. Then, the extracted data is sent to the PC 1.
In step S740, the pointing finger state is determined by the pointing finger determination unit of the seventh embodiment, and the pointing finger state is determined for the finger information of the camera 3a.
Then, the two-dimensional coordinates of the finger for determining the input information are specified from the position coordinates of the finger on the image of the camera 3a and the two-dimensional coordinates obtained from the figure of the finger taken by the camera 3.
The camera 3a may be a one-dimensional image sensor 3c. At this time, it is not necessary to extract one-dimensional video information at the position 4c immediately above the input auxiliary sheet 4d.
実施例11の制御回路9aに、PC1を入力装置として機能させるため制御部50に備えた入力プログラムや入力プログラムにおいて時間の経過を計測するためのタイマや入力プログラムを制御するための各種テーブルを備えた実施例12の撮像装置9について説明する。この様な構成にすると、撮像装置9は、撮像装置9をUSBコネクタ8に接続することによりパーソナルコンピュータの入力装置とすることができる。
尚、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173の更新は、これらのテーブルを編集するためのプログラムと制御回路9aに伝送するプログラムを前記パーソナルコンピュータに備えれば良い。
The control circuit 9a according to the eleventh embodiment includes an input program provided in the control unit 50 for causing the PC 1 to function as an input device, a timer for measuring the passage of time in the input program, and various tables for controlling the input program. The imaging device 9 of Example 12 will be described. With such a configuration, the imaging device 9 can be used as an input device of a personal computer by connecting the imaging device 9 to the USB connector 8.
The operation state determination table 171, the input information table 172, and the pointing finger state table 173 may be updated by providing the personal computer with a program for editing these tables and a program transmitted to the control circuit 9a.
実施例13は、実施例1と実施例2のカメラの設置方法を組み合わせた構成の入力装置であって、図31を参照して説明する。
実施例13は、カメラ3により入力面が配置される領域4aとカメラ3aとカメラ3bにより入力面が配置される領域4a´を備える。
カメラ毎に判定した指示指状態は、一意に定めることにより、実施例1と実施例2の操作手順が自由に選択できるようになる。
The thirteenth embodiment is an input device configured by combining the camera installation methods of the first and second embodiments, and will be described with reference to FIG.
The thirteenth embodiment includes a region 4a where the input surface is arranged by the camera 3 and a region 4a 'where the input surface is arranged by the camera 3a and the camera 3b.
By specifying the pointing finger state determined for each camera uniquely, the operation procedure of the first embodiment and the second embodiment can be freely selected.
尚、カメラ3a、或いは、カメラ3bの何れか一方、または、カメラ3aとカメラ3bがともに1次元イメージセンサであっても良い事は、既に説明済みの実施例と同様である。また、撮像手段や、PC1を入力装置として機能させるため制御部50に備えた入力プログラムや入力プログラムにおいて、時間の経過を計測するためのタイマや入力プログラムを制御するための各種テーブルを別筺体にしても良い事も、既に説明済みの実施例と同様である。 It is to be noted that either the camera 3a or the camera 3b, or both the camera 3a and the camera 3b may be a one-dimensional image sensor, as in the embodiment already described. In addition, in the input program and the input program provided in the control unit 50 for causing the imaging means and the PC 1 to function as an input device, a timer for measuring the passage of time and various tables for controlling the input program are provided separately. This may be the same as in the embodiment already described.
以上に述べてきた入力装置の入力操作面に形成される入力面は、カメラの映像を基にして生成されるので、必ずしも、説明したようなキーボードのような機械的な構成を有する入力操作面上に生成される必要はなく、単なる平面上又は空間領域中に生成することも可能である。
本発明による入力装置は、同一のハードウェアとソフトウェアであっても、予め入力面や指の姿や操作手順や入力情報を定め且つこれらを必要により任意に変更し得るようにする事により、パソコンのキーボード装置面上に限らず、様々な領域を入力操作面とすることができる。そのような実施例を、以下説明する。
そこで、先ず、表示画面上に入力面を形成する実施例14について説明する。
実施例9、或いは、実施例10の撮像装置9をディスプレイ装置に設置し、表示画面上に入力面が形成されるようにし、表示画面の絶対位置のポインティング操作ができるように、入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173を構築すれば、タッチパネルとして利用できる。
尚、大型のディスプレイに設置する場合、実施例3で示した1次元イメージセンサを使用すると、安価なタッチパネルの構築が可能となる。
また、既存のタッチパネルでは、画面上の指定された位置を指し示すことで、ページを移動するなどの操作をしていたが、機能情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173を構築すれば、画面上の任意の位置でページ移動等の操作が行えるようになる。
Since the input surface formed on the input operation surface of the input device described above is generated based on the video of the camera, the input operation surface necessarily has a mechanical configuration like the keyboard as described above. It does not need to be generated above, and can be generated on a simple plane or in a spatial domain.
The input device according to the present invention allows a personal computer by setting the input surface, the figure of the finger, the operation procedure, and the input information in advance and changing them arbitrarily as necessary, even with the same hardware and software. In addition to the keyboard device surface, various areas can be used as the input operation surface. Such an embodiment will be described below.
Therefore, first, a fourteenth embodiment in which the input surface is formed on the display screen will be described.
The imaging device 9 according to the ninth embodiment or the tenth embodiment is installed on a display device so that an input surface is formed on the display screen, and an input surface and an operation can be performed so that a pointing operation of the absolute position of the display screen can be performed. If the procedure, input information, and pointing finger state are determined and the operation state determination table 171, the input information table 172, and the pointing finger state table 173 are constructed, it can be used as a touch panel.
In addition, when installing in a large display, if the one-dimensional image sensor shown in Example 3 is used, an inexpensive touch panel can be constructed.
In addition, with an existing touch panel, an operation such as moving a page by pointing to a specified position on the screen was performed. However, an input screen for inputting function information, an operation procedure, input information, and an instruction finger are used. If the state is determined and the operation state determination table 171, the input information table 172, and the pointing finger state table 173 are constructed, an operation such as page movement can be performed at an arbitrary position on the screen.
次に、机上に入力面を形成する実施例15について説明する。
実施例12の撮像装置9とディスプレイをデスクトップパソコンの本体60のUSBコネクタ8に接続した実施例15(図32を参照)の操作手順は、実施例11と同様である。この様な形態にすると、打鍵式のキーボード装置やマウス装置に代わり、撮像装置9から入力できるようになる。したがって、業務向け専用のキーボード装置の構築が容易になる。
さらに、カメラ3により撮影されたバーコードから、バーコードで示された内容から入力面を選択する入力平面選択代替手段を備えれば、POS端末としても利用できる。
前記入力平面選択代替手段は、
先ず、バーコードにより入力面選択の操作指示を取得したら、図9のS061の操作状態の判定は、無条件にW操作状態とする。次に、入力面の選択指示があったとし、バーコードで指定された入力面を選択する。
Next, a fifteenth embodiment in which an input surface is formed on a desk will be described.
The operation procedure of the fifteenth embodiment (see FIG. 32) in which the imaging device 9 and the display of the twelfth embodiment are connected to the USB connector 8 of the main body 60 of the desktop personal computer is the same as that of the eleventh embodiment. With such a configuration, it is possible to input from the imaging device 9 instead of the key-press type keyboard device or mouse device. Therefore, it becomes easy to construct a dedicated keyboard device for business use.
Furthermore, if an input plane selection alternative means for selecting an input plane from the content indicated by the barcode from the barcode taken by the camera 3, it can also be used as a POS terminal.
The input plane selection alternative means is:
First, when an operation instruction for selecting an input surface is acquired using a barcode, the determination of the operation state in S061 in FIG. 9 is unconditionally set to the W operation state. Next, assuming that there is an input surface selection instruction, the input surface specified by the barcode is selected.
次に、机上に入力面を形成する実施例16について説明する。
実施例15の制御部60と撮像手段9を一体型とした、画像認識を利用した入力装置を備えたパーソナルコンピュータ70である実施例16について、図33を参照して説明する。
パーソナルコンピュータ70には、ディスプレイ装置に代えてディスプレイ装置に表示する表示内容102を壁101に投影する投影手段20と、入力面を選択すると入力面の選択と連動して、入力情報を選択する位置を示すための入力補助情報4eを机上100に投影するようにした入力補助情報投影手段21が接続されている。尚、操作手順は、実施例11と同様である。
この様な形態にすると、実施例5や実施例6や実施例11や実施例12の作用効果に加え、パーソナルコンピュータの小型化が図れる。
また、このような形態の入力装置は、電子ピアノと同等情報や電子打楽器と同等情報やミキサーの制御情報やゲーム装置の入力情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173を構築すれば、電子楽器や音響機器やゲーム装置の入力装置として利用できる。
Next, Example 16 in which the input surface is formed on the desk will be described.
A sixteenth embodiment, which is a personal computer 70 having an input device using image recognition, in which the control unit 60 and the imaging means 9 of the fifteenth embodiment are integrated, will be described with reference to FIG.
The personal computer 70 includes a projection unit 20 that projects the display content 102 displayed on the display device on the wall 101 instead of the display device, and a position for selecting input information in conjunction with selection of the input surface when the input surface is selected. Input auxiliary information projecting means 21 is connected to project the input auxiliary information 4e for indicating to the desktop 100. The operation procedure is the same as that in the eleventh embodiment.
In such a form, in addition to the operational effects of the fifth embodiment, the sixth embodiment, the eleventh embodiment, and the twelfth embodiment, the personal computer can be miniaturized.
In addition, the input device in such a form includes an input surface for inputting information equivalent to an electronic piano, information equivalent to an electronic percussion instrument, control information of a mixer, input information of a game device, operation procedures, input information, and pointing finger status. And the operation state determination table 171, the input information table 172, and the pointing finger state table 173 are constructed, it can be used as an input device for an electronic musical instrument, audio equipment, or game device.
次に、机上に入力面を形成する実施例17について説明する。
実施例7、或いは、実施例8の撮像装置9を机上に入力面が形成されるように上部に設置し、家電製品(例えば、照明の電源や照度スイッチ、テレビの各種スイッチ、エアコンの操作等)のスイッチ毎に入力面と操作手順や入力情報や指示指状態を定めたり、ゲーム内容毎に入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173を構築すれば、各種家電製品のパネルスイッチを総合的に管理する装置やゲームの入力を総合的に管理する入力装置として利用できる。
Next, Example 17 in which the input surface is formed on the desk will be described.
The imaging device 9 according to the seventh embodiment or the eighth embodiment is installed on the top so that the input surface is formed on the desk, and home appliances (for example, lighting power source, illuminance switch, various TV switches, operation of an air conditioner, etc.) The input surface, operation procedure, input information, and pointing finger state are determined for each switch), and the input surface, operation procedure, input information, and pointing finger state are determined for each game content, and the operation state determination table 171 and input information table 172 are determined. If the pointing finger state table 173 is constructed, it can be used as a device that comprehensively manages panel switches of various home appliances or an input device that comprehensively manages game inputs.
次に、机上に入力面を形成する実施例18について説明する。
実施例7、或いは、実施例8の撮像装置9を机上に設置したり、
実施例9、或いは、実施例10の撮像装置9を机上に設置することで、
机上に入力面が形成されるようにし、入力面上の絶対座標の入力情報を生成する入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173を構築すれば、タブレットの入力装置として利用できる。
Next, Example 18 in which the input surface is formed on the desk will be described.
The imaging device 9 of Example 7 or Example 8 can be installed on a desk,
By installing the imaging device 9 of Example 9 or Example 10 on a desk,
An input surface is formed on the desk, an input surface for generating input information of absolute coordinates on the input surface, an operation procedure, input information, and a pointing finger state are determined, and an operation state determination table 171, an input information table 172, and an instruction If the finger state table 173 is constructed, it can be used as an input device for a tablet.
次に、壁上に入力面を形成する実施例19について説明する。
実施例9、或いは、実施例10の撮像装置9を入口の壁に設置し、
壁上に入力面が形成されるようにし、
家電製品(例えば、照明の電源や照度スイッチ、テレビの各種スイッチ、エアコンの操作等)のスイッチ毎に入力面と操作手順や入力情報や指示指状態を定めたり、
入管装置(例えば、インターフォンや暗証番号入力等)の入力目的毎に入力面と操作手順や入力情報や指示指状態を定め、
操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173を構築すれば、各種家電製品のパネルスイッチを総合的に管理する装置や入管装置を総合的に管理する装置としてとして利用できる。
Next, Example 19 in which the input surface is formed on the wall will be described.
The imaging device 9 of Example 9 or Example 10 is installed on the entrance wall,
So that an input surface is formed on the wall,
For each switch of home appliances (for example, lighting power supply, illuminance switch, TV switch, air conditioner operation, etc.)
Determine the input surface, operation procedure, input information and pointing finger status for each input purpose of the immigration device (for example, interphone or PIN input)
If the operation state determination table 171, the input information table 172, and the pointing finger state table 173 are constructed, it can be used as a device that comprehensively manages panel switches of various home appliances and a device that comprehensively manages immigration devices.
次に、壁上に入力面を形成する実施例20について説明する。
実施例8の撮像装置9を、プロジェクタを接続したパソコンに接続し、タッチパネルや電子黒板の入力情報と同等情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173を構築すれば、プロジェクタで投影する壁上の映像をタッチパネルや電子黒板として利用できる。尚、実施例7の撮像装置9を利用する場合は、パソコンにパソコンを入力装置として機能させるための資源をインストールすれば良い。
Next, Example 20 in which the input surface is formed on the wall will be described.
The imaging device 9 of the eighth embodiment is connected to a personal computer connected to a projector, and an input surface for inputting information equivalent to input information on a touch panel or an electronic blackboard, an operation procedure, input information, and a pointing finger state are determined. By constructing the determination table 171, the input information table 172, and the pointing finger state table 173, the image on the wall projected by the projector can be used as a touch panel or an electronic blackboard. In addition, when using the imaging device 9 of Example 7, the resource for making a personal computer function as an input device should just be installed in a personal computer.
次に、既存装置面上に入力面を形成する実施例21について説明する。パソコンのキーボード装置面上に入力面を形成する形態もこの形態の1つである。
実施例8の撮像装置9を車のハンドル上を撮影できるように設置し、車のオーディオの制御情報やエアコンの制御情報や車載電話の制御情報やナビゲーションシステムの制御情報の入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル171と入力情報テーブル172と指示指状態テーブル173を構築すれば、車載電子機器装置の総合的に管理する入力装置として利用できる。
尚、実施例7の撮像装置9を利用する場合は、車載の電子機器に車載の電子機器を入力装置として機能させるための資源をインストールすれば良い。
Next, Example 21 in which the input surface is formed on the existing device surface will be described. A form in which the input surface is formed on the keyboard device surface of the personal computer is one of these forms.
The image pickup apparatus 9 according to the eighth embodiment is installed so as to be able to take a picture on the steering wheel of the car. If the input information and the pointing finger state are determined, and the operation state determination table 171, the input information table 172, and the pointing finger state table 173 are constructed, it can be used as an input device that comprehensively manages the in-vehicle electronic device apparatus.
In addition, when using the imaging device 9 of Example 7, the resource for functioning an in-vehicle electronic device as an input device may be installed in the in-vehicle electronic device.
次に、空間上に入力面を形成する実施例22について説明する。
デジタルカメラのカメラを利用して実施例8の撮像装置9をデジタルカメラに備えれば、デジタルカメラは、例えば、指示指状態"039"を見つけた後、3秒後にシャッターを切る様に操作状態テーブル171と入力情報テーブル172を設定し、操作者の設定した方法やタイミングでデジタルカメラを遠隔操作することもできる。
また、監視カメラを利用して、同様に入力情報を入力させ遠隔操作をすることもできる。
Next, a description will be given of a twenty-second embodiment in which the input surface is formed on the space.
If the digital camera is provided with the image pickup apparatus 9 of the eighth embodiment using the digital camera, the digital camera, for example, finds the pointing finger state “039” and operates in such a manner as to release the shutter 3 seconds later. The table 171 and the input information table 172 can be set, and the digital camera can be remotely operated by the method and timing set by the operator.
In addition, it is also possible to perform remote control by inputting input information in the same manner using a surveillance camera.
以上、本発明の好適実施例及びその具体的応用例を図面を参照しながら説明したが、本発明の技術的範囲はこれらに限定されるものではなく、以下に記載する特許請求の範囲を逸脱することなく、その一部の例は本願明細書において説明したが、各種の変更、改変ができることは言うまでもない。 The preferred embodiments of the present invention and specific applications thereof have been described above with reference to the drawings. However, the technical scope of the present invention is not limited to these, and departs from the scope of the claims described below. Without mentioning, some examples have been described in the present specification, but it goes without saying that various changes and modifications can be made.
本発明は、コンピュータを始め、電子楽器、ゲーム装置、音響機器などの各種電子機器への情報入力装置として利用することができる。 The present invention can be used as an information input device for various electronic devices such as computers, electronic musical instruments, game devices, and audio devices.
1 パーソナルコンピュータ
2 ディスプレイ
3 カメラ
3a カメラ
3a1 カメラのレンズの画角の中心
3a2 キーボード或いは入力補助シートを左右に均等に分割する位置
3b カメラ
3c 1次元イメージセンサ
3d 1次元イメージセンサ
4 キーボード
4a 入力面が形成される範囲
4b テンキー情報の各入力情報の配置位置
4c 直上の位置
4d 入力補助シート
5 調整ツマミ
6 手
6a 指
6b 背景
7 カメラを結ぶ基線
7a カメラ3aと指を結ぶ直線
7a1 基線7と直線7aの作る角度
7b カメラ3bと指を結ぶ直線
7b1 基線7と直線7bの作る角度
8 USBコネクタ
9 撮像装置
9a 制御回路
10 CPU
11 ROM
12 RAM
121 前回座標
122 経過時間
123 前回指示指状態
124 選択中入力面
125 スクロール判定用座標
126 検索用テーブル
127 前回操作状態
13 タイマ
17 HDD
171 操作状態判定テーブル
172 入力情報テーブル
173 指示指状態テーブル
DESCRIPTION OF SYMBOLS 1 Personal computer 2 Display 3 Camera 3a Camera 3a1 Center of field angle 3a2 of a lens of a camera 3b The position which divides | segments a keyboard or an input auxiliary sheet | seat equally right and left 3b Camera 3c One-dimensional image sensor 3d One-dimensional image sensor 4 Keyboard 4a Formed range 4b Position 4c of each input information of numeric key information 4c Position 4d immediately above Input auxiliary sheet 5 Adjustment knob 6 Hand 6a Finger 6b Background 7 Base line 7a connecting camera 3a Straight line 7a1 connecting camera 3a and finger Base line 7 and straight line 7a The angle 7b formed by the camera 7b The straight line 7b1 connecting the finger to the camera 3b The angle 8 formed by the base line 7 and the straight line 7b USB connector 9 Imaging device 9a Control circuit 10 CPU
11 ROM
12 RAM
121 Previous coordinate 122 Elapsed time 123 Previous pointing finger state 124 Selected input surface 125 Scroll determination coordinate 126 Search table 127 Previous operation state 13 Timer 17 HDD
171 Operation state determination table 172 Input information table 173 Point finger state table
Claims (14)
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段の映像より指情報を抽出する指情報抽出手段と、
前記指情報抽出手段からの指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の2次元座標を算出する指示指確定手段と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも1組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定手段によって確定した指示指状態に応じた操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施手段と、
を備えていることを特徴とする電子機器の情報入力装置。 An information input device for electronic equipment, the device comprising:
Imaging means for sequentially capturing images of a predetermined area of the input operation surface;
Finger information extracting means for extracting finger information from the image of the imaging means;
Based on the finger information from the finger information extraction means, the current finger position and finger position coordinates on the video are determined, and the finger position of the previous finger extraction information stored in the current finger position coordinates Determine the difference status from the coordinates, and determine the current pointing finger status from the pointing finger status table that associates the pointing finger status with the difference status between the figure of the finger and the position coordinates, which can be determined and changed in advance. And pointing finger determination means for calculating the two-dimensional coordinates of the current finger on the input surface formed at a predetermined position on the input operation surface from the current finger position coordinates;
At least one consisting of a combination of the pointing finger state, a time during which the pointing finger state continues, and an operation instruction with respect to the input surface formed at a predetermined position of the input operation surface, which can be determined and changed in advance. From an operation state determination table that associates the operation procedures of a pair or more, an operation state determination unit that determines an operation state according to the pointing finger state determined by the pointing finger determination unit,
According to the operation state determined by the operation state determination means, an operation procedure execution means for performing an operation instruction for selecting an input surface or generating input information;
An information input device for electronic equipment, comprising:
前記操作状態確定手段からの前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作状態確定手段からの前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記指の2次元座標から、前記入力情報テーブルより入力情報を生成する、
ことを特徴とする電子機器の情報入力装置。 The information input device according to claim 1, wherein the operation procedure execution unit associates a plurality of input information that is predetermined and changeable with respect to the input surface, the input information generation instruction, and two-dimensional coordinates. Input information table,
If the content of the operation instruction from the operation state determination means is an input surface selection instruction, change the currently selected input surface according to the input surface selection instruction,
If the content of the operation instruction from the operation state determination means is an instruction to generate input information, on the currently selected input surface,
Generating input information determined by an operator in response to the input surface and the input information generation instruction; or
The input information is generated from the input information table from the input surface, the input information generation instruction, and the two-dimensional coordinates of the finger.
An information input device for an electronic device.
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程で得られた映像より指情報を抽出する指情報抽出過程と、
前記指情報抽出過程で得られた指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の2次元座標を算出する指示指確定過程と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも1組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定過程によって確定した指示指状態に応じた操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施過程と、
からなることを特徴とする電子機器への情報入力方法。 A method of inputting information to an electronic device, the method comprising:
An imaging process for sequentially capturing images of a predetermined area of the input operation surface;
Finger information extraction process for extracting finger information from the video obtained in the imaging process;
Based on the finger information obtained in the finger information extraction process, the current finger shape and the finger position coordinates on the video are determined, and the finger information of the previous finger extraction information stored in the current finger position coordinates is stored. The current pointing finger state from the pointing finger state table in which the pointing finger state is associated with the difference between the figure of the finger and the position coordinate, which can be determined, changed and determined in advance, And a pointing finger determination process for calculating the two-dimensional coordinates of the current finger on the input surface formed at a predetermined position on the input operation surface from the current finger position coordinates;
At least one consisting of a combination of the pointing finger state, a time during which the pointing finger state continues, and an operation instruction with respect to the input surface formed at a predetermined position of the input operation surface, which can be determined and changed in advance. From an operation state determination table that associates a set of operation procedures or more, an operation state determination process for determining an operation state according to the pointing finger state determined by the pointing finger determination process,
In accordance with the operation state determined by the operation state determination process, an operation procedure execution process for performing an operation instruction for selecting an input surface or generating input information;
An information input method for an electronic device, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010237657A JP2012089083A (en) | 2010-10-22 | 2010-10-22 | Information input device and method for electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010237657A JP2012089083A (en) | 2010-10-22 | 2010-10-22 | Information input device and method for electronic apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012089083A true JP2012089083A (en) | 2012-05-10 |
Family
ID=46260611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010237657A Pending JP2012089083A (en) | 2010-10-22 | 2010-10-22 | Information input device and method for electronic apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012089083A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016092617A1 (en) * | 2014-12-08 | 2016-06-16 | 日立マクセル株式会社 | Projection video display device and video display method |
US10162420B2 (en) | 2014-11-17 | 2018-12-25 | Kabushiki Kaisha Toshiba | Recognition device, method, and storage medium |
US10296096B2 (en) | 2015-07-15 | 2019-05-21 | Kabushiki Kaisha Toshiba | Operation recognition device and operation recognition method |
-
2010
- 2010-10-22 JP JP2010237657A patent/JP2012089083A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10162420B2 (en) | 2014-11-17 | 2018-12-25 | Kabushiki Kaisha Toshiba | Recognition device, method, and storage medium |
WO2016092617A1 (en) * | 2014-12-08 | 2016-06-16 | 日立マクセル株式会社 | Projection video display device and video display method |
CN107003716A (en) * | 2014-12-08 | 2017-08-01 | 日立麦克赛尔株式会社 | Projection type video display apparatus and image display method |
JPWO2016092617A1 (en) * | 2014-12-08 | 2017-09-21 | 日立マクセル株式会社 | Projection-type image display device and image display method |
US10452206B2 (en) | 2014-12-08 | 2019-10-22 | Maxell, Ltd. | Projection video display device and video display method |
US10296096B2 (en) | 2015-07-15 | 2019-05-21 | Kabushiki Kaisha Toshiba | Operation recognition device and operation recognition method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI423096B (en) | Projecting system with touch controllable projecting picture | |
JP5412227B2 (en) | Video display device and display control method thereof | |
TWI303773B (en) | ||
WO2012011263A1 (en) | Gesture input device and gesture input method | |
JP2008192092A (en) | Touch panel device, information processor and program | |
US9035882B2 (en) | Computer input device | |
US9367140B2 (en) | Keyboard device and electronic device | |
USRE48054E1 (en) | Virtual interface and control device | |
JP2012027515A (en) | Input method and input device | |
JP2010160772A (en) | Electronic apparatus with virtual input device | |
JP2012089083A (en) | Information input device and method for electronic apparatus | |
US20140015750A1 (en) | Multimode pointing device | |
JP2017174177A (en) | Information processing apparatus, information processing method, and program | |
JP2014071672A (en) | Information input device, and information input method | |
CN111142775A (en) | Gesture interaction method and device | |
WO2012126193A1 (en) | Method and device for generating image keyboard | |
JP2016119019A (en) | Information processing apparatus, information processing method, and program | |
JP5928628B2 (en) | Virtual keyboard input method | |
TW201913298A (en) | Virtual reality system capable of showing real-time image of physical input device and controlling method thereof | |
JP2016122475A (en) | Information device having virtual keyboard | |
KR20110033318A (en) | Virtual mouse system using image recognition | |
CN101819475A (en) | Method for acquiring indication information by indication equipment | |
JP2000187551A (en) | Input device | |
US9405460B2 (en) | Touch mouse supporting key functions of keyboard device and related method used in touch mouse | |
TWI697827B (en) | Control system and control method thereof |