JP2009042796A - Gesture input device and method - Google Patents

Gesture input device and method Download PDF

Info

Publication number
JP2009042796A
JP2009042796A JP2005339957A JP2005339957A JP2009042796A JP 2009042796 A JP2009042796 A JP 2009042796A JP 2005339957 A JP2005339957 A JP 2005339957A JP 2005339957 A JP2005339957 A JP 2005339957A JP 2009042796 A JP2009042796 A JP 2009042796A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
gesture
control command
contact
means
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005339957A
Other languages
Japanese (ja)
Inventor
Takuya Hirai
Tomohiro Terada
Atsushi Yamashita
智裕 寺田
敦士 山下
卓哉 平井
Original Assignee
Panasonic Corp
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem of difficulty performing complex operations if equipment is operated only through gesture recognition based on images taken by an image pickup means and the problem of limitations on functions that can be operated only through gesture recognition, regarding a device and a method that use gesture inputs in the operation of the equipment. <P>SOLUTION: Input operations on the equipment are performed by using in a composite manner the gesture recognition based on images taken by the image pickup means 101 and a contact detection means 102 such as a touch panel, so that a step for determining control instructions and a step for executing the control instructions can be determined independently. Further, it is possible to determine and execute the control instructions while selecting the subject of operation and to operate the parameters of the control instructions independently. Thus, complex operations can be performed intuitively. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、機器操作のインターフェイスに関する技術であり、ジェスチャー入力により機器を操作する装置、及び方法に関するものである。 The present invention is a technique for the interface device operation, device for operating the device by gesture input, and to a method.

従来、多機能化した機器を利用するためのインターフェイスとして、操作者が直感的に使用できるジェスチャー入力手段を備えるものがある。 Conventionally, as an interface for using the device that has multiple functions are provided with a gesture input means the operator can intuitively use. 例えば、撮像手段により撮像されたハンドジェスチャーの認識結果に基づいて、画像を移動、回転、拡大、縮小等の機器の操作を行うものがある(例えば、特許文献1参照)。 For example, based on the recognition result of the hand gestures taken by the imaging means, moving the image, rotation, enlargement, there is performed the operation of equipment such as reduced (e.g., see Patent Document 1). 図32に、前記特許文献1に記載の従来のジェスチャー入力手段を備えたレイアウト装置の構成を示す。 Figure 32 shows the configuration of a layout apparatus having a conventional gesture input means described in the patent document 1.

図32において、従来のレイアウト装置は、撮像カメラ5により撮像されたハンドジェスチャーを認識するジェスチャー認識部6と、そのジェスチャー認識に基づき制御部7により機器の操作、例えば図形などのレイアウト変更を行う。 In Figure 32, conventional layout apparatus performs the gesture recognition unit 6 recognizes the captured hand gestures by the imaging camera 5, the operation of the apparatus by the control unit 7 based on the gesture recognition, for example, a layout change such as graphics. その際タッチパッド4は、表示手段1上のレイアウトを変更するオブジェクトの選択および、レイアウト変更処理を終了するときにのみ使用される。 At that time the touch pad 4, the selection of objects to change the layout of the display means 1 and is used only to exit the layout change process.
特開平11−338120号公報 JP 11-338120 discloses

しかしながら、前記従来の構成では、撮像手段により撮影された映像に基づくジェスチャー認識から機器の操作を行うのみであり、タッチディスプレイをどの画像(画面)に対して操作を行うかを選択する以外のことに使用しない。 However, in the conventional configuration, only operate the device from the gesture recognition based on the image taken by the imaging means, that except for selecting whether to operate the touch display for any image (screen) do not use to. よって、複雑な操作をすることは難しく、また、ジェスチャー認識のみで操作できる機能に限られる。 Therefore, it is difficult to make a complicated operation, also limited to functions that can be operated only in the gesture recognition. 例えば、位置を指定しつつジェスチャー認識を行うなどの多種多様な入力操作をすることが困難であった。 For example, it is difficult to a wide variety of input operations such as performing the gesture recognition while specifying the position.

本発明は、前記従来の課題を解決するもので、接触入力手段とジェスチャー認識を複合的に用いて、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することを目的とする。 The present invention is intended to solve the conventional problems, the touch input unit and the gesture recognition using the complex, as well as providing an intuitive and easy-to-understand interface to the user, a possible complex input operation device an object of the present invention is to provide.

上記目的を達成するために、本発明は以下の構成を採用した。 To achieve the above object, the present invention employs the following aspects.

本発明の第1の局面は、操作者の操作面への接触を検知する接触検知手段と、操作者のジェスチャーから制御命令を選択する制御命令選択手段と、前記接触検知手段により検知された操作面への接触から前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段とを有する。 The first aspect of the present invention includes a contact detection means for detecting the contact with the operating surface of the operator, the control command selection means for selecting a control command from the operator's gestures have been detected by the contact detection unit operation and an instruction execution timing determining means for determining the timing for executing the control command from the contact to the surface. これにより、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することが可能となる。 Thus, while providing an intuitive and easy-to-understand interface to the user, it is possible to provide a possible complex input operation device.

本発明の第2の局面は、操作者の操作面への接触を検知する接触検知手段と、前記接触検知手段により検知された操作面への接触から制御命令を選択する制御命令選択手段と、操作者のジェスチャーから前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段とを有する。 The second aspect of the present invention includes a contact detection means for detecting the contact with the operating surface of the operator, the control command selection means for selecting a control command from the contact to the detected operating surface by the contact detection means, the operator of the gesture and an instruction execution timing determining means for determining the timing for executing the control command.

本発明の第3の局面は、第1、2の局面において、接触検知手段の操作面への接触、および/または操作者のジェスチャーから操作位置を決定する操作位置決定手段を有することを特徴とする。 A third aspect of the present invention, a feature in that it has in the first and second aspect, the contact with the operating surface of the contact detection means, and / or the operating position determining means for determining the operating position from the operator's gestures to. この構成により、直感的に操作しやすいインターフェイスを提供することが可能となる。 This configuration makes it possible to provide an intuitive and friendly interface.

本発明の第4の局面は、第1、2の局面において、接触検知手段により検知された操作面への接触、および/または操作者のジェスチャーから前記制御命令のパラメーターを決定する制御パラメーター決定手段を有することを特徴とする。 A fourth aspect of the present invention, first the 1,2 aspect, the contact detection unit by contact of the detected operating surface, and / or operator of the control parameter determining means for determining the parameters of the control command from the gesture characterized in that it has a. この構成により、複雑な操作を行うことが可能なジェスチャー入力装置を提供することができる。 With this configuration, it is possible to provide a gesture input device that can perform complex operations.

本発明の第5の局面は、第1の局面において、操作者のジェスチャーからジェスチャー特徴量を抽出するジェスチャー特徴量抽出手段と、前記ジェスチャー特徴量と制御命令を対応させたジェスチャー特徴量データベースとから制御命令を選択することを特徴とする。 A fifth aspect of the present invention, from the first aspect, the gesture feature extraction means for extracting gesture feature quantity from the operator of the gesture, the gesture feature amounts and the control command and the gesture feature database that associates the and selects the control command.

本発明の第6の局面は、第5の局面において、操作者のジェスチャー形状および/またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする。 The sixth aspect of the present invention, in the fifth aspect, and extracts the gesture features from the gesture shape and / or the gesture motion of the operator.

本発明の第7の局面は、第6の局面において、前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状から重心位置を算出し、前記重心位置とジェスチャー形状および/またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする。 Seventh aspect of the present invention, in the sixth aspect, the gesture feature extraction means calculates a centroid position from the gesture shape of the operator, gesture feature quantity from the center-of-gravity position and gestures shape and / or gesture motion and extracting a. この構成により、より正確にジェスチャー形状、動作が認識可能となる。 With this configuration, more accurate gesture shape, operation can be recognized.

本発明の第8の局面は、第1の局面において、前記制御命令選択手段は、操作している指の本数および/またはどの指で操作しているかにより制御命令を選択することを特徴とする。 Eighth aspect of the present invention, in the first aspect, the control command selection means, and selects the control command depending on whether operating in the number and / or which finger of the finger that is operating . この構成により、表示画面を見なくても直感的に操作をすることが可能となる。 By this configuration, it is possible to intuitively perform the operation without looking at the display screen.

本発明の第9の局面は、第1の局面において、前記制御命令選択手段は、手で画面を切るジェスチャーのとき2画面表示をする制御命令を選択し、前記接触検知手段により検知された操作面の接触位置から2画面表示の境目を決定することを特徴とする。 Ninth aspect of the present invention, in the first aspect, the control command selection means selects the control command to the two-screen display when a gesture off screen by hand, which is detected by the contact detection unit operation and determining a boundary of the two-screen display from the contact position of the surface. この構成により、直感的な操作で制御命令および制御命令パラメータを決定することができる。 With this configuration, it is possible to determine the control instructions and control instruction parameters and intuitive.

本発明の第10の局面は、第2の局面において、前記制御命令選択手段は、前記情報表示手段に表示された各機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触により制御命令を決定することを特徴とする。 Tenth aspect of the present invention, in the second aspect, the control command selection means, by contact with the operating surface of the contact detection means at positions corresponding to each function selection button displayed on the information display means and determining a control command.

本発明の第11の局面は、第4の局面において、前記制御パラメーター決定手段は、前記接触検知手段に接触が検知されているときのみ操作者のジェスチャーから制御命令のパラメーターを決定することを特徴とする。 11th aspect of the present invention, in the fourth aspect, the control parameter determining means, characterized by determining the parameters of the control command from the operator of the gesture only when the contact with the contact detection means is detected to. この構成により、接触検知手段とジェスチャーによる複合的な操作が可能となる。 This configuration complex operation by contact detection means and gestures becomes possible.

本発明の第12の局面は、第1、2の局面において、情報表示手段に表示された機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触によりジェスチャー入力処理を開始することを特徴とする。 Twelfth aspect of the present invention, in the first and second aspect, to initiate the gesture input process by the contact with the operating surface of the contact detection means at positions corresponding to the function selection button displayed on the information display means the features. この構成により、ジェスチャー入力が可能か否かが操作者に分かり、誤動作や操作者の意図しない機器の操作を防ぐことが可能となる。 With this configuration, whether it is possible to gesture input is understandable to the operator, it becomes possible to prevent unintended operation of equipment malfunction or operator.

本発明の第13の局面は、第1、2の局面において、ジェスチャー入力受付可能な状態の時に、情報表示手段に表示された機能選択ボタンに、機能に対応するジェスチャーのアニメーションが表示されていることを特徴とする。 13th aspect of the present invention, in the first and second aspect, when the gesture input can be accepted state, the function selection button displayed on the information display means, animated gesture corresponding to the function are displayed it is characterized in. この構成により、操作に慣れていない状態であっても、機能操作に対応したジェスチャーがどのようなものかアイコンを確認するだけで分かり、所望の機器操作を直ちにすることができる。 With this configuration, even in a state that is not familiar with the operation, the gesture corresponding to the function operation understand simply determine what those or icons can immediately the desired device operation.

本発明の第14の局面は、操作面への接触を検知するステップと、操作者のジェスチャーから制御命令を選択するステップと、操作面への接触から前記制御命令を実行するタイミングを決定するステップとを有する。 14th aspect of the present invention, the step of determining the step of detecting the contact with the operating surface, and selecting a control command from the operator's gestures, the timing for executing the control command from the contact of the operating surface with the door.

本発明の第15の局面は、操作面への接触を検知するステップと、前記接触検知手段により検知された操作面への接触から制御命令を選択するステップと、操作者のジェスチャーから前記制御命令を実行するタイミングを決定するステップとを有する。 15th aspect of the present invention includes the steps of detecting the contact with the operating surface, and selecting a control command from the contact to the contact detection operation surface is detected by means, the control command from the operator gestures determining the timing of executing the a step.

本発明のジェスチャー入力装置によれば、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することができる。 According to the gesture input apparatus of the present invention, as well as providing an intuitive and easy-to-understand interface to the user, it is possible to provide a possible complex input operation device.

以下、図面を参照して、本発明の実施の形態にかかるジェスチャー入力装置について説明する。 Hereinafter, with reference to the accompanying drawings, a description will be given gesture input apparatus according to the embodiment of the present invention. なお、各図面においては視認性を考慮して、本発明の実施に特に重要でない要素は割愛されている。 In each drawing in consideration of visibility, elements that are not particularly critical to the practice of the present invention are omitted. また、本実施の形態では、ジェスチャーとして操作者の手形状および手動作を代表的な例として説明するが、これに限らない。 Further, in the present embodiment is described as a representative example of the operator of the hand shape and the hand operation as a gesture is not limited thereto. ジェスチャーは、身体形状を利用するものが一般的だが、特別な形状、色、材質等で製作された専用の操作手段を用いても構わない。 Gestures, those utilizing physical shape but generally may be used special shape, color, operation means dedicated fabricated of a material or the like.

(実施の形態) (Embodiment)
図1に示すように、本実施の形態における構成は、ジェスチャー形状および動作を撮影するための撮像手段101と、操作面の接触を検知する接触検知手段102と、撮像手段101によって取得した映像からジェスチャー形状を認識するジェスチャー形状認識手段103および、ジェスチャー動作認識手段104からなるジェスチャー認識部105と、認識されたジェスチャーから制御命令を選択する制御命令選択手段106と、制御命令を実行するタイミングを決定する命令実行タイミング決定手段107と、制御命令のパラメーターを決定する制御パラメーター決定手段と、制御命令を実行するときに操作位置が必要な場合に操作位置を決定する操作位置決定手段112とからなる制御部108と、操作者に情報を提示する情報提示手 As shown in FIG. 1, structure of the present embodiment includes an imaging unit 101 for capturing the gesture shape and operation, the contact detection means 102 for detecting the contact of the operating surface, the image obtained by the imaging means 101 determining recognizing gestures shape gesture shape recognition unit 103 and the gesture recognition unit 105 of the gesture operation recognition unit 104, a control command selection means 106 for selecting a control command from the recognized gesture, the timing for executing the control command an instruction execution timing determining unit 107 for a control parameter determining means for determining the parameters of the control command, the control consisting of the operating position determining means 112. which determines the operating position when the operating position is required when executing the control command and part 108, information presentation hand to present information to the operator 109と、ジェスチャーと制御命令を対応付ける情報を保持しているジェスチャー特徴量データベース110からなる。 And 109, consisting of the gesture feature amount database 110 that holds the information that associates the gesture and control instructions.

図2に本実施の形態の具体的な設置の様子を示す。 Showing how specific installation of the embodiment in FIG. 手の形状と動作を映像で取得する撮像手段101としてのカメラ201は、接触検知手段102としてのタッチパッド202の上部が代表的な設置位置であるが、手の形状と動きが正確に取得できる位置に取り付けられているものとする。 Camera 201 hand shape and operation as the imaging unit 101 for acquiring the video, although the upper portion of the touchpad 202 as a contact detection unit 102 is a typical installation position, the hand shape and the motion can be obtained accurately and those attached to the position. なお、撮像手段101としては、可視光を取得する一般的なカメラ以外に、手の形状と動作を取得するサーモセンサーや赤外線カメラなどを用いてもかまわない。 As the imaging unit 101, in addition to general camera for acquiring a visible light, it may be used such as thermo-sensor and an infrared camera to obtain the hand shape and behavior. なお、サーモセンサを用いる場合には、人の手が摂氏35〜36度と仮定して、その温度領域を手領域として取得する方法などが考えられる。 In the case of using a thermo sensor, assuming a human hand is the 35-36 degrees Celsius, a method is conceivable to acquire the temperature region as the hand region. また、赤外線カメラを用いる場合には、ある一定の閾値より高い値を示している箇所を手領域として抽出する方法等がある。 In the case of using the infrared camera, and a method of extracting a portion, which shows a higher than a certain threshold value as the hand region. ジェスチャー特徴量データベース110は、好ましくは制御部108に内蔵された記憶媒体、または外部記憶媒体に格納されている。 Gesture feature quantity database 110 is preferably stored in a storage medium or external storage medium, built in the control unit 108. 図2では、外部記憶媒体が制御部108に接続されている様子を示している。 In Figure 2, it shows how the external storage medium is connected to the control unit 108.

次に、個々の構成について説明する。 Next, a description for each configuration. 接触検知手段102は、操作者が直接操作する操作部で一般的にはタッチパッド202が用いられる。 Contact detection means 102 is typically a touch pad 202 is used in the operation portion for operating the operator directly. タッチパッド202には、感圧式および静電圧式等の方式があるが、どの方式でもよい。 The touch pad 202, there is a method such as pressure-sensitive and static voltage type may be any method. また、接触検知手段102の操作面上の位置と後述する情報提示手段109の表示画面位置は対応付けられており、接触検知手段102の操作面上の位置を指定することで、情報提示手段109に表示されたメニュー等を選択することが可能となっている。 The display screen position is associated with the information presenting unit 109 to be described later position on the operating surface of the contact detection unit 102, by specifying the position on the operating surface of the contact detection unit 102, the information presentation unit 109 it is possible to select the displayed menu on.

ジェスチャー認識部105は、撮像手段101によって取得した映像からジェスチャー形状を認識するものであるが、詳細は後述する。 The gesture recognition unit 105, but is intended to recognize the gesture shape from an image acquired by the imaging means 101 will be described in detail later.

制御命令選択手段106は、ジェスチャー認識部105によって認識されたジェスチャーと接触検知手段102により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を選択する。 Control command selection means 106 selects the control command by using either or both of the information of the contact information obtained by the contact detection unit 102 and the recognized gesture by the gesture recognition unit 105.

命令実行タイミング決定手段107は、ジェスチャー認識部105によって認識されたジェスチャーと接触検知手段102により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するタイミングの決定をする。 Instruction execution timing determination unit 107 either, or determination of the timing of executing the control command by using both the information of the contact information obtained by the contact detection unit 102 and the recognized gesture by the gesture recognition unit 105.

制御パラメーター決定手段111は、ジェスチャー認識部105によって認識されたジェスチャー情報と接触検知手段102により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するときに操作位置が必要な場合に操作位置を決定をする。 Control parameter determining means 111, required operating position when executing control commands using either or both of the information of the contact information obtained by the contact detection unit 102 and the recognized gesture information by the gesture recognition unit 105 to determine the operating position in the case.

操作位置決定手段112は、ジェスチャー認識部105によって認識されたジェスチャーと接触検知手段102により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するときに操作位置が必要な場合に操作位置を決定をする。 Operating position determining means 112, operation that requires position when executing the control commands using either or both of the information of the contact information obtained by the contact detection unit 102 and the recognized gesture by the gesture recognition unit 105 to determine the operating position when.

制御部108は、制御命令選択手段106と命令実行タイミング決定手段107と制御パラメーター決定手段111と操作位置決定手段112とから構成され、例えば、CPU、ROM、RAMで構成される。 Control unit 108 is composed of a control command selection means 106 and the instruction execution timing determining unit 107 and control parameters deciding means 111 operating position determining means 112., for example, CPU, ROM, comprised of RAM.

情報提示手段109は、制御命令を実行した後の結果等の情報を操作者に教示する。 Information presentation unit 109 teaches a result such information after executing the control commands to the operator. 好ましくは、液晶やEL(エレクトロルミネッセンス)等を用いたディスプレイである。 Preferably, a display using liquid crystal or EL (electroluminescence) or the like. ここでは、情報提示手段109を制御命令を実行した後の結果を提示することを主に説明するが、制御命令は機器を操作するものであれば何でもよく、例えば音声ボリュームの大小やエアコンの温度調整等でもよい。 Although mainly described to present the results after executing the control command information presentation unit 109, the control instructions may anything that operating the equipment, for example, audio volume size and air conditioning temperature it may be adjusted or the like.

次に、具体的に操作するアプリケーションとして、地図アプリケーションを表示する装置における操作状態の一例について説明する。 Next, as an application specifically operation, describing an example of an operation state in the apparatus for displaying a map application.

図3、図4、図5は、ジェスチャー認識部105により認識された指の本数と接触検知手段102への入力を複合的に用いて、異なる機能を実行する例を示したものである。 3, 4, 5, the input of the recognized number of fingers by the gesture recognition unit 105 to the contact detection means 102 using a complex, it illustrates an example to perform different functions. 図3は、指1本で接触検知手段102をタッチすると、目的地が設定されることを示した図である。 3 and touches the contact detection unit 102 with one finger, illustrates that the destination is set. 具体的にさらに詳しく説明する。 Specifically described in further detail. 情報提示手段109に地図画像302を表示した状態で、操作者がカーソル304を操作することを想定する。 The information presentation unit 109 while displaying a map image 302, the operator is assumed to operate the cursor 304. 操作者が指1本で接触検知手段102に接触しない状態で動かすと、画面に表示されているカーソル304は操作者の指の動きに合わせて動く。 When the operator moves without contacting the contact detection unit 102 with one finger, the cursor 304 displayed on the screen moves according to the movement of the finger of the operator. そして、指が接触検知手段102にタッチされると、指が押下された位置が目的地として設定される。 When the finger is touching the contact detection unit 102, the finger is pressed position is set as the destination.

ここで、目的地を設定する箇所を指定しやすくするため、ジェスチャー認識部105により認識された指などの座標と情報提示手段109の座標をジェスチャー認識処理を始める最初の段階で校正しておき、カーソル304を情報表示手段109に表示しているが、図4に示すように、撮像手段101で撮影した手形状をそのまま、若しくはCGに変換する等して輪郭部分等の特徴部分のみを画面に表示してもよい。 Here, for easy to specify the location for setting a destination, leave calibrated at the first stage of the coordinates of the information presentation unit 109, such as are recognized by the gesture recognition unit 105 fingers start gesture recognition processing, While displaying the cursor 304 on the information display means 109, as shown in FIG. 4, the hand shape taken by the imaging unit 101 as it is, or in the like into a CG only the characteristic portions such as the outline portion on the screen it may be displayed. ただし、手形状を表示する際は、情報提示手段109と接触検知手段102のスケールをあわせて、手形状を表示することが望ましい。 However, when displaying a hand shape, together scale contact detection unit 102 and information presentation unit 109, it is desirable to display the hand shape. なお、後に述べる具体例では、すべてカーソル表示をする例を示しているが、手形状をディスプレイに映すことは、すべての例で可能である。 In the specific example to be described later, all shows an example of a display cursor to project the hand shape on the display is possible in all examples.

図5は、操作者が2本の指で操作することにより経由地点を設定する例を示している。 Figure 5 shows an example of setting a transit point by the operator to operate with two fingers. これは、制御命令選択手段106がジェスチャー認識手段105により認識された指の本数により実行する制御命令を予め割り当てておくことにより可能となる。 This is made possible by preliminarily assigned a control command to be executed by the number of control instruction selection unit 106 has been recognized by the gesture recognition unit 105 fingers. つまり、操作する指の本数が1本の場合、目的地を設定する制御命令を割り当て、操作する指の本数が2本の場合、経由地点を設定する制御命令を割り当てておけばよい。 That is, if the number of fingers to be operated for one, allocates a control command for setting a destination, the number of fingers to manipulate if two, it is sufficient to assign a control command for setting a transit point. その他の部分は、図3、4を用いて説明した例と同じである。 Other portions are the same as those of the embodiment described with reference to FIGS. なお、割り当てる制御命令は、目的地設定および経由地以外にも、地点登録など他のものでもよい。 The control instruction to be allocated, in addition to the destination setting and stopover and may be any other such place registration.

また、ジェスチャー認識部105によって、手形状認識を行うことで、どの指で操作したかを認識し、指によって、実行する制御命令を選択することも可能である。 Moreover, the gesture recognition unit 105, by performing the hand shape recognition, to recognize whether it has operated with which finger, by the finger, it is also possible to select a control command to be executed. 手形状認識処理および制御命令選択処理については、後に詳細に説明する。 For hand shape recognition processing and control instruction selection process will be described in detail later.

図6は情報提示手段109に表示している地図画面を2つに分割するときに行うジェスチャー操作を示したものである。 6 shows a gesture operation to be performed when dividing a map screen displayed on the information presentation unit 109 into two. 操作方法としては、手の形状を手刀状にし、接触検知手段102に接触させたときに、画面を2分割するものである。 As the operation method is to hand the shape Chop form, when brought into contact with the contact detection unit 102, in which is divided into two screens. 制御命令は、手形状により選択し、接触検知手段102への接触により切断する画面位置の決定と制御命令を送信するタイミングを決定する。 Control instruction selected by hand shape, determining a timing of transmitting the determined control command screen position to be cut by contact with the contact detection unit 102. この時、手が接触検知手段102に接触するまでは、現在の操作者の手の位置では、どこで画面が分割されるかを破線603などで予め表示することが望ましい。 At this time, until the hand is in contact with the contact detection unit 102, the position of the current operator's hand, it is desirable that where the screen is pre-displayed or are split like a broken line 603. この場合、撮像手段101で撮像された画像から指先の位置等を検出し、検出された指先の位置から破線603の表示位置を決定する等すればよい。 In this case, to detect the position of the fingertip from the image captured by the image capture unit 101 may be equal to determine the display position of the broken line 603 from the position of the detected fingertip. また、図4で示したように、手形状を情報提示手段109にそのまま表示してもよい。 Further, as shown in FIG. 4, it may be displayed as the hand shape information presentation unit 109.

次に、図7と図8を用いて、接触検知手段102による操作面への接触から制御命令を選択し、ジェスチャー動作で制御命令のパラメータを決定する例を説明する。 Next, with reference to FIGS. 7 and 8, select a control command from the contact of the operating surface by the contact detection unit 102, an example for determining the parameters of the control command in the gesture motion. 図7で示した例は、エアコンの温度設定を、親指を回転させることで操作する例である。 Example shown in FIG. 7 is an example of the operation by the air conditioner temperature setting, rotate the thumb. まず、情報提示手段109には、操作できる機能対象の一覧が提示されており、操作者はその対象を指先で接触検知手段102をタッチすることにより選択する。 First, the information presentation unit 109, is presented a list of functions target that can be operated, the operator selects by touching the contact detection unit 102 with the fingertip of the subject. この操作面への接触情報が制御部108に入力され、制御命令選択手段106により制御命令が選択される。 Contact information for the operation surface is input to the control unit 108, a control command is selected by the control command selection means 106. この時、指先がどの位置を指示しているかを、カーソル304で示してもよいし、手形状をそのまま表示してもかまわない。 At this time, if the finger is pointing to any position may be indicated by a cursor 304, may be directly display the hand shape. そして、図8で示すように指先を立て、手を回転させることで、親指を針に見立てて動かすジェスチャーを行う。 Then, making a fingertip as shown in Figure 8, by rotating the hand, performs a gesture of moving likened the thumb to the needle. ジェスチャー動作認識手段104により、この親指の動きが取得され、制御パラメーター決定手段により制御命令のパラメーター、ここでは例えば、設定温度や温度変化量を決定する。 The gesture operation recognition unit 104, the motion of the thumb is obtained, the parameters of the control command by the control parameter determining means, here, for example, determines a set temperature and temperature variation. このように、親指の動きにより制御パラメータ(エアコンの温度の上下)を変化させることで、機器の操作を行う。 Thus, by changing the control parameters by the movement of the thumb (upper and lower air conditioner temperature), to operate the equipment.

次に、図9を用いて、ジェスチャー形状で制御命令を選択し、接触検知手段102による操作面への接触から制御命令の実行タイミングを決定し、ジェスチャー動作で制御命令のパラメーターを決定する例を説明する。 Next, with reference to FIG. 9, to select a control command gesture shape, contact detection means 102 by determining the execution timing of the control command from the contact of the operating surface, the example of determining the parameters of the control command in the gesture operation explain. 図9は、画面をつかんで、画面の表示を回転させる操作状態を示したものである。 9 grabbed screen shows the operation state of rotating the display screen. 操作者は、撮像手段101により撮影可能な範囲で情報提示手段109をつかむような姿勢をすると、このジェスチャー形状から画面を回転させる制御命令が選択される。 Operator when the position as grab information presentation unit 109 can image range by the imaging unit 101, a control command to rotate the screen from the gesture shape is selected. そして、接触検知手段102の操作面上に手が接触することにより制御命令のタイミングが決定される。 The timing of the control instruction is determined by the hand in contact with the operating surface of the contact detection unit 102. そして、手を回転させるジェスチャー動作を行うことで、画面表示を回転させる角度等のパラメーターを決定する。 Then, by performing the gesture operation of rotating the hand to determine the parameters of the angle for rotating the screen. なお、図10で示すように、ジェスチャー動作中、制御命令を実行していることを伝えるため、操作者の手は、接触検知手段102に接している状態が望ましい。 Incidentally, as shown in Figure 10, in operation gesture, to convey that running a control command, the operator's hand, the state in contact with the contact detection unit 102 is desirable.

図11は、情報提示手段109に表示されている地図表示を図11に示す矢印の方向にスクロールさせる操作の一例である。 Figure 11 is a map display that is displayed on the information presentation unit 109 is an example of an operation of scrolling in the direction of the arrow shown in FIG. 11. ジェスチャー動作としては、接触検知手段102上で指を立てて、2本指を交互に前後させる動作を行う。 The gesture motion, make a finger on the contact detection unit 102 carries out an operation to the front and rear two fingers alternately. なお、図12は操作者の手がジェスチャーを行っているところを側面から見た図である。 In addition, FIG. 12 is a side view of the place where the hand of the operator is performing the gesture. このように、指の動きにより制御命令のパラメーターであるスクロール量を決定することも考えられる。 Thus, it is conceivable to determine the scrolling amount is a parameter of the control command by the finger movement. なお、制御命令の選択は、指を前後させる動作を行う前の止まった状態のジェスチャーから行い、制御命令の実行タイミングの決定は指の接触により行う。 The selection of the control instructions is carried out from the gesture before the stopped state to perform an operation of back and forth finger, determination of execution timing of the control commands is carried out by contact of a finger. また、操作者の手は、接触検知手段102にどちらかの指が接触していることが望ましく、指が前後する動作を行う方向に合わせて地図表示のスクロール方向を決定してもよい。 Also, the hand of the operator, it is desirable that either the finger contact detecting means 102 are in contact, the finger may determine the scroll direction of the combined map display in a direction to perform the operation of the front and rear.

次に、画面上に表示されている,例えば自車位置、目的地、経由地、登録地点等の表示物を移動させる操作の一例を図13を用いて説明する。 Then, it displayed on the screen, for example, vehicle position, the destination, stopover, an example of the operation of moving the displayed object such as the registration point will be described with reference to FIG. 13. ここでは、情報提示手段109に表示されている操作対象1302を移動先の地点1303に移動させる動作状態を説明する。 Here, the operating state of moving the operation target 1302 displayed on the information presentation unit 109 to the destination point 1303 will be described. 操作者は移動前の手1305で示すように、情報提示手段109に表示されている操作対象1302を摘む動作を行う。 Operator as indicated by the hand 1305 before the movement, performs an operation of picking operation target 1302 displayed on the information presentation unit 109. このジェスチャーより制御命令が選択され、さらに、接触検知手段102へ接触することにより、位置が決定されると同時に制御命令が実行される。 The gesture from the control command is selected, further, by contacting the contact detection unit 102, the position at the same time control command when it is determined is executed. このとき、操作対象1302に選択されたことを操作者に教示するために、矢印型のアイコン1307を表示する等することが好ましい。 At this time, in order to teach the operator that has been selected as the operation subject 1302, preferably equally displaying the arrow-shaped icon 1307. また、撮像手段101で撮影した手形状を図4で示すような形で表示してもかまわない。 Further, it is also possible to display the hand shape taken by the imaging unit 101 in a manner shown in Figure 4. 次に、その状態で操作対象1302を1303に移動するためには、一旦、接触検知手段102から手を離し、移動後の手1306の位置に移動する。 Next, in order to move the operation target 1302 to 1303 in this state is once release the contact detection unit 102, moves to the position of the hand 1306 after the movement. この場合、摘んだ状態の手形状のまま移動させる動作により制御命令の選択を行い、接触検知手段102への接触により位置が決定されると同時に制御命令が実行される。 In this case, and it selects the control command by the operation of moving left hand shape state pinched, at the same time control command when the position is determined by contact of the contact detection unit 102 is performed. なお、操作対象1302の位置や移動量等の制御パラメーターを決定するのに接触検知手段102を用いても構わない。 Incidentally, it may be using a contact detection unit 102 to determine the control parameters such as the position or movement amount of the operation target 1302.

次に、2画面の表示を1画面に戻すときの操作の一例を図15を用いて示す。 Next, an example of operation when returning 2 screen display to one screen with reference to FIG. 接触検知手段102上で図に示すように、指先を開いて、2つの画面それぞれに指をおくような状態で手を接触検知手段102上に置く。 As shown in FIG on contact detection unit 102, to open the fingertips, placing his hands on the contact detection unit 102 for each of the two screens in a state that puts the finger. このとき、表示画面1501に、矢印のアイコン1503で指先で押下している箇所を表示してもいいし、また、図4で示すように表示画面1501に撮像手段101で撮影した手を表示してもかまわない。 At this time, the display screen 1501, You can either display the locations that are pressed by the fingertip arrow icon 1503, also displays a hand photographed by the imaging unit 101 on the display screen 1501 as shown in Figure 4 and it may be. 次に、動作後の状態1504に示すように、指を閉じる動作を行うことで、表示画面を一画面に戻す。 Next, as shown in state 1504 after operation, by performing the closing operation of the fingers, return the display screen to the initial screen. この場合、操作対象の選択は、接触検知手段102への接触により行い、制御命令の選択および、制御命令の実行タイミングは、指を閉じる動作により決定する。 In this case, selection of the operation target is carried out by contacting the contact detection unit 102, selection of the control command and execution timing of the control commands is determined by the operation of closing the finger. なお、指先を開いた手形状で制御命令の選択を行い、指先を閉じた手形状により制御命令の実行タイミングを決定してもよい。 Incidentally, and selects the control command in hand shape opening the fingertip, may determine the execution timing of the control commands by hand shape closing the fingertip.

次に、図16のフローチャートを用いて、ジェスチャー入力装置の代表的な処理の流れについて説明する。 Next, with reference to the flowchart of FIG. 16, a description is given of the flow of a typical process of the gesture input device. まず、操作者が接触検知手段102上に手を移動させたときを処理の開始タイミングとする(S1601)。 First, the start timing of the processing when the operator moves the hand on the contact detection unit 102 (S1601). このとき、操作者の手は、接触検知手段102に触れていなくてもよく、撮像手段101で取得した映像から肌色領域を抽出して画面内の一定の領域が肌色になったら、処理を開始するようにしてもかまわない。 At this time, the operator's hand may not be touching the contact detection unit 102, when a certain region of the screen by extracting the skin color region from an image acquired by the imaging unit 101 becomes flesh color, it starts the process it may be. また、後述する変形例のように、接触検知手段102に接触することによりジェスチャー入力処理を開始するようにしてもよい。 Also, as in the modification described below, may be started gesture input process by contacting the contact detection unit 102. なお、撮像手段101で撮影した手形状、動作を情報提示手段109に表示するようにする場合や、ジェスチャー形状または動作により、操作位置を指定するようにする場合、手形状の重心位置等を基準にして、座標系を校正する。 Incidentally, the hand shape taken by the imaging unit 101, and if so as to display operation to the information presentation unit 109, the gesture shape or operation, if so as to specify an operation position, based on the gravity center position of the hand shape to to, to calibrate the coordinate system.

次に、制御命令選択手段106により手形状および手動作情報等のジェスチャーから、機器に送信する制御命令選択処理を行う(S1602)。 Next, the gesture, such as a hand shape and hand operation information by the control command selection means 106 performs a control instruction selection process of transmitting to the device (S1602). なお、ジェスチャーによる制御命令の選択処理の詳細は後述する。 Details of the selection process of the control command by gesture described below.

次に、制御命令が選択されたかどうかの判定を行う。 Next, it is determined whether the control command has been selected. ここで制御命令が選択されていないと判定された場合には、ステップS1601にもどる(S1603)。 Here, if the control instruction is determined not to have been selected, the process returns to step S1601 (S1603).

ステップS1603において、制御命令が選択されたと判定されたら、接触検知手段102に入力される接触位置を取得する(S1604)。 In step S1603, if it is determined that the control command has been selected, to obtain the contact position to be input to the contact detection unit 102 (S1604). ここで、接触検知手段102から送信される情報は、接触されたかどうかの押下情報と、接触位置の2つの情報があることが望ましい。 Here, information transmitted from the contact detection unit 102, if the one of the pressing information whether the contact is desirably two information of the contact position.

次に、接触位置が取得できたかどうかの判定を行う。 Next, it is determined whether the contact position has been obtained. ここで接触位置情報が取得できていなかったら、ステップS1604に戻る(S1605)。 If not be acquired touch position information here, the flow returns to step S1604 (S1605). その後、ステップS1602の制御命令選択処理で選択された制御命令を機器側に送信せず,操作者が接触検知手段102に接触するのを待つ。 Then, without transmitting the control command selected by the control command selection processing in step S1602 to the device side, it waits for the operator to contact with the contact detection unit 102. なお、一定時間以上位置取得ができなかった場合には、操作者が操作を実行する意思がないものとみなし、ステップS1601に戻る処理を行ってもよい。 Incidentally, if it can not position acquisition over a certain time, it is assumed there is no intention that the operator performs an operation, may perform a process returns to step S1601.

次に、ステップS1605で接触位置を取得できたと判定された場合、制御命令を機器側に送信する(S1606)。 Then, if it is determined that to get the contact position at step S1605, and transmits a control command to the device side (S1606). 前述したように、制御命令として、目的地設定、スクロール、2画面表示などが挙げられる。 As described above, as a control instruction, destination setting, scrolling, and the like two-screen display. 以上の処理は、制御命令選択処理をジェスチャーで行い、操作位置の取得および制御命令実行タイミングの決定を接触検知手段102への接触により行う流れで説明したが、制御命令選択、操作位置決定、および制御命令実行タイミング決定は、ジェスチャー認識と接触検知のどちらで行ってもよく、それぞれの組合せも可能である。 The above processing performs control command selection process in the gesture has been described by the flow carried out by contacting the contact detection unit 102 to acquire and control instruction determining the execution timing of the operation position, the control command selection, the operating position determination, and control command execution timing determination may be performed in either the contact detection and gesture recognition, it is also possible each combination. また、後述する制御命令のパラメーターの決定に関しても同様にどちらで決定してもよい。 Further, it may be determined either equally respect determining parameters of a control command to be described later.

次に、図17を用いて、ジェスチャー認識による制御命令選択処理の流れについて、詳細に説明する。 Next, with reference to FIG. 17, the flow of control instruction selection processing by the gesture recognition will be described in detail.

ここでは一例として、操作者の手によるジェスチャー形状または動作により制御命令を選択する場合を説明する。 Here, as an example, a case of selecting a control command by gesture shape or operation by the operator's hand. 撮像手段101により手形状や手動作等の映像を取得する(S1701)。 It acquires video, such as hand shape or hand operation by the imaging unit 101 (S1701). この時、撮像手段101で取得する映像としては、カラー映像が望ましいが、撮像手段101から取得する映像は、赤外線カメラを用いた近赤外線映像やサーモセンサを用いた温度領域でもかまわない。 At this time, as the image to be acquired by the imaging unit 101, but a color image is desired, the image acquired from the imaging unit 101 may be a temperature range using a near-infrared images and thermograms sensor using an infrared camera. 本実施の形態は、RGBの3値を持つカラー映像を用いることとし、後の処理は、カラー映像に対する処理を記載する。 This embodiment will be referred to with the color image having three values ​​of RGB, later processes, describes a process for the color image.

次に、撮像手段101により撮影した映像から手形状の認識をする処理を行う(S1702)。 Next, a process for the recognition of hand shape from images taken by the imaging unit 101 (S1702). 認識された手形状からジェスチャー特徴量を抽出し保存する。 Extracting gesture feature quantity from the recognized hand shape to save. ジェスチャー特徴量とは、ジェスチャーを特定するための情報であり、ジェスチャー特徴量データベースに制御命令と関連付けられて記憶されている。 The gesture feature quantity is information for identifying the gesture, it is stored in association with the control instruction to the gesture feature quantity database. 例えば、手形状の領域や操作している指の本数、および指先の位置情報等である。 For example, a hand region and operation to that number of fingers of shape, and position information of the fingertip or the like. ここで操作している指とは、図3で示すような指の形であるときの人差し指の状態のことを指す。 The finger is operating here, it refers to the index finger state when in the form of a finger, as shown in Figure 3. 手形状認識処理についての詳細は後述する。 For more information on the hand shape recognition process will be described later.

次に、手形状が認識されたかどうかの判定をおこなう(S1703)。 Next, how the hand shape is recognized or a determination (S1703). 判定は、信頼度などを用いて、認識されたかどうかを確認することが望ましい。 Determination, by using a reliability, it is desirable to check whether recognized. 信頼度の一例として、図18で示すような手形状のモデルをあらかじめ機器側で用意しておき、それぞれの指先座標1801と手の重心座標1802を保存しておく。 As an example of confidence, is prepared in advance device side hand shape model as shown in Figure 18, keep the center of gravity coordinates 1802 of each finger coordinates 1801 and hands. 次に、指先座標1801と重心座標1802の距離を求め、指先座標と重心座標の距離1803を指標として用いる。 Next, determine the distance of the fingertip coordinates 1801 and the center of gravity coordinates 1802, using a distance 1803 of the fingertip coordinates and center-of-gravity coordinates as an index. ステップS1703において、手形状が認識された後に、それぞれの指の距離を求め、先に取得しておいた指標と比較して、ある閾値以上の差がある場合は手形状が認識されたと判定せず、処理を終了する。 In step S1703, after the hand shape is recognized, obtains distances of each finger, as compared to the index that has been previously obtained, was determined to hand shape is recognized if there is a difference of more than a certain threshold not, the process is terminated.

次に、ステップS1703において手形状が認識されたと判定されたときは、手動作認識処理をおこなう(S1704)。 Then, when the hand shape is determined to have been recognized in step S1703 performs the hand operation recognition processing (S1704). ここでも、手形状認識処理と同じように手動作に基づくジェスチャー特徴量が保存される。 Again, the gesture feature based on hand work as the hand shape recognition process is preserved. 手動作認識処理とは、手がどのような動作を行ったかを判定する処理で、詳細については、後述する。 The hand gesture recognition processing, in processing to determine the hand has performed what operation, will be described in detail below.

次に、ステップS1702またはS1704によって認識された手形状または手動作のジェスチャー特徴量と、ジェスチャー特徴量データベース110と比較して、認識した手形状または手動作がどのジェスチャーであるかを判定する(S1705)。 Then, a gesture feature amounts of the recognized hand shape or hand operation in step S1702 or S1704, as compared to the gesture feature quantity database 110, determines whether the recognized hand shape or hand operation is any gesture (S1705 ). 各ジェスチャーに対して、ジェスチャー特徴量と制御命令をあらかじめ対応させて記憶しておくことで、制御命令を選択する(S1706)。 For each gesture, by storing control commands and gesture feature quantity in advance in correspondence to select the control command (S1706). 詳細については、後述する。 For more information, which will be described later.

次に図17のフローチャートのステップS1702の手形状認識処理について、図19のフローチャート及び、図20を用いて説明する。 Next, the hand shape recognition process in step S1702 in the flowchart of FIG. 17, the flowchart of FIG. 19 and will be described with reference to FIG. 20. 撮像手段101で取得した画像データから、肌色領域を取得する(S1901)。 From the image data acquired by the imaging unit 101 obtains skin color region (S1901). 肌色領域の抽出法は、周知の方法を用いることができる。 Extraction of the skin color area, it is possible to use known methods. 一例として、撮像手段101で取得したRGB形式のデータを色相・色彩・明度に変換し、色相がある一定範囲にある画素を肌色として認識するなどの方法などがある。 As an example, the data in the RGB format acquired by the image pickup unit 101 is converted into hue, color, brightness, and a method such as recognizing a pixel in a certain range hue as flesh color.

次に、ステップS1901において取得した肌色領域から指先の位置を取得する(S1902)。 Next, to obtain the position of the fingertip from the skin color area obtained in step S1901 (S1902). 図20に示すように、肌色領域のエッジ2001を算出し、そのエッジと円領域2002とのマッチングを取り、マッチング率がある閾値以上の箇所を指の位置候補とする。 As shown in FIG. 20, and calculates the edge of the skin color area 2001, the take matching between the edge and the circular region 2002 and the more places certain threshold matching ratio and the position candidates of the finger. 次に、肌色領域画像から手のひらの重心位置を取得し(S1903)、重心位置2003と指の位置との距離を算出し、ある閾値以内にある点を指先とする。 Then, to get the center of gravity of the palm from the skin color region image (S1903), calculates the distance between the center of gravity position 2003 and the finger position, the fingertip point is within a certain threshold. ステップS1904において、指先の位置と手のひら重心位置をジェスチャー特徴量として保存し、手形状認識処理を終了する。 In step S1904, to save the position and palm centroid position of the fingertip as gesture feature amount, and ends the hand shape recognition process.

手動作認識処理について、図21のフローチャート及び、図22を用いて説明する。 For hand operation recognition processing, the flow chart of FIG. 21 and will be described with reference to FIG. 22. ステップS2101において、撮像手段101により取得した映像から1フレーム抽出する。 In step S2101, one frame extracted from the video acquired by the imaging unit 101. そして、手形状認識処理と同じように抽出したフレームのジェスチャー特徴量を取得する(S2102)。 Then, to obtain the gesture feature amounts of frames extracted in the same way as the hand shape recognition process (S2102). ここで、各フレームでのジェスチャー特徴量の変化にそれほど大きな変化がない場合には、何フレームかに一度ジェスチャー特徴量を算出する処理を行ってもかまわない。 Here, if there is no so large change in the change in the gesture feature amounts in each frame, it may be performed a process of calculating a time gesture feature quantity something frame. 次に、取得した各フレームのジェスチャー特徴量から位置変化量ベクトルの算出を行う(S2103)。 Next, the calculation of the position change amount vector from the gesture feature amount of each frame acquired (S2103). ステップS2103の位置変化量ベクトルの算出方法について、図22を用いてさらに詳しく説明する。 Method for calculating the position variation vector of step S2103, described in more detail with reference to FIG. 22. 図22は手を広げた状態から、2本指を立てた状態へ変化する時のジェスチャー特徴量の位置変化を示した図である。 Figure 22 is a state in which branched out, a view showing the positional change of the gesture feature amount when changing the upright two fingers. 指先位置2201は、手形状を変える前(手を広げた状態)の位置を示している。 Fingertip position 2201 indicates the position before (unfolded hands) to change the hand shape. 指先位置2202は、手形状を変えた後(2本指を立てた)の位置を示している。 Fingertip position 2202 indicates a position after changing the hand shape (standing two fingers). 図22に薄い破線で示す矢印が位置変化量ベクトル2203となる。 Arrow indicated by a thin broken line in FIG. 22 is a position variation vector 2203. この位置変化量ベクトル2203が手動作によるジェスチャー特徴量の一例として保存される(S2104)。 This position variation vector 2203 is stored as an example of a gesture feature amount by the manual operation (S2104). ここで、重心位置のずれを考慮して、重心位置の変化量を差し引くことで、指位置の変化量のみが取得できる。 Here, in consideration of the deviation of the position of the center of gravity, by subtracting the amount of change of the position of the center of gravity, only the amount of change in finger position it can be acquired. その変化量を手動作によるジェスチャー特徴量として用いてもかまわない。 May be used the amount of change as the gesture feature quantity manual operation.

次に、ステップS1705のジェスチャー認識処理について、図23を用いて詳細に説明する。 Next, the gesture recognition processing in step S1705, will be described in detail with reference to FIG. 23.

ステップS2301において、先の手形状認識処理または手動作認識処理により算出したジェスチャー特徴量を取得する。 In step S2301, acquires the gesture feature amounts calculated by the previous hand shape recognition process or hand motion recognition processing. 次に、ジェスチャー特徴量と制御命令が対応付けられているジェスチャー特徴量データベース110から、先のジェスチャー特徴量に相当する制御命令を検索する(S2302)。 Next, the gesture feature quantity database 110 gesture feature quantity and the control command is associated, to find the control command corresponding to the gesture feature amount previously (S2302). このとき、ジェスチャー特徴量データベース110はHDDなどの外付けのストレージデバイスに保存しておいてもかまわない。 In this case, the gesture feature quantity database 110 may be saved to an external storage device such as HDD. 検索の結果、一致するデータベースが存在しない場合は、処理を終了し、図16のS1601に戻る。 As a result of the search, if the matching database does not exist, the process ends and returns to S1601 in FIG. 16. この検索の結果、一致するデータが存在したら、そのジェスチャーに対応付けられている機器の制御命令を選択し、データとして保持しておく。 The result of this search, if the matching data exists, and select a control command of a device associated with that gesture, holds as data. この後、図16に示す処理に戻り、S1604において、接触位置が取得できたら、それぞれの制御命令を機器に送信する。 Thereafter, the flow returns to the process shown in FIG. 16, in S1604, When you get the contact position, and transmits respective control commands to the device.

次に、ステップS1606の制御命令を実行するタイミングを決定する命令実行タイミング決定手段107について説明する。 Next, a description will be given instruction execution timing determination unit 107 for determining the timing for executing the control command in step S1606. 図24、図25、図26は、一本の指で制御命令を実行する様子を示している。 Figure 24, Figure 25, Figure 26 shows how to perform a control command with a single finger. この場合、制御命令が送信されるまでの処理の流れは、指が一本だけ立っている状態を認識し、ジェスチャー特徴量として保存する。 In this case, the process flow until a control command is transmitted to recognize a state where the finger is standing by one and stored as a gesture feature amounts. この後、ジェスチャー認識処理によって、制御命令が選択されたら、図25で示すように、指先が浮いた状態であるうちは、制御命令を送信しない。 Thereafter, the gesture recognition processing, when the control command has been selected, as shown in Figure 25, among a state of having the fingertip floated, does not transmit the control command. そして図26のようにタッチパッドに接した時点で、制御命令を送信する。 And at the time of contact with the touch pad, as in FIG. 26, and transmits the control command. このように、接触検知手段102が接触を検知することにより制御命令の実行タイミングを決定してもよいし、ジェスチャー動作により実行タイミングを決定してもよい。 Thus, it may be determined the execution timing of the control instructions by contact detection unit 102 detects the contact, it may determine the execution timing by the gesture motion.

次に、図27で示すような接触した指を軸に親指を回転させて、アプリケーションの連続的なパラメータ等を設定する制御命令の送信タイミングを説明する。 Then, by rotating the thumb in the axial contact with the finger as shown in Figure 27, illustrating the transmission timing of a control command for setting the continuous parameter, etc. of an application. このようなジェスチャーを用いるアプリケーションの場合は、図6で示すように、好ましくは、どの部分を押下するとどの機器のパラメータを設定するかわかるように予め画面に表示をしておく。 Such case of such gestures used applications, as shown in Figure 6, preferably, leave the display to advance the screen as seen to set the parameters of which device is pressed which part. そして、図27に示すように、撮像手段101により取得した映像から、ジェスチャー認識処理によって、親指の指先の位置を初期値として登録する。 Then, as shown in FIG. 27, from the image acquired by the imaging unit 101, the gesture recognition processing, and registers the position of the thumb finger as the initial value. つぎに、操作者が連続的なパラメータを変化させるために親指を回転させた時、その回転量をジェスチャー認識で常時認識し、タッチパッドで触れているアプリケーションにパラメータを送信する。 Then, when the operator rotates the thumb in order to change the continuous parameter, an amount of rotation always recognized by the gesture recognition, and transmits the parameters to the application touching the touch pad. このとき、接触させた指先は図28で示すように常にタッチパッドに触れており、随時ジェスチャー認識で認識された制御命令が送信されるようになっている。 At this time, the fingertip is brought into contact is touching always touch pad as shown in Figure 28, so that the control command recognized by any time gesture recognition is sent.
<変形例> <Modification>
図29を用いて、情報表示手段109に表示されたボタンを押下することにより処理を開始する変形例について説明する。 With reference to FIG. 29, a modified example to start processing will be described by pressing a button displayed on the information display means 109. 一例として、画面を2画面に分ける操作を説明する。 As an example, illustrating the operation of dividing the screen into two screens. 情報表示手段109にジェスチャー開始ボタン2901が表示されている。 Gesture start button 2901 is displayed on the information display means 109. なお、ジェスチャー開始ボタン2901は、機能を表した図などをボタンに描いておくことが望ましい。 Note that the gesture start button 2901, it is desirable to draw like a button diagram representing the function. 例えば、画面を分ける操作を示すジェスチャー開始ボタン2901として、鋏の図がかかれており、このボタンを押下することで、画面を2画面に分割する処理が開始される。 For example, the gesture start button 2901 showing the operation of dividing the screen, Figure shears have Kakare By pressing this button, the process of dividing the screen into two screens is initiated. なお、ボタンの押下と同時に制御命令の選択をしてもよいし、ボタンの押下はジェスチャー入力処理の開始のみとし、その後のジェスチャーにより制御命令を選択するようにしてもよい。 Incidentally, it may be the selection of a depression at the same time control command buttons, pressing buttons and only the start of the gesture input process, it may be selected control instructions Subsequent gesture. ボタンの押下と同時に制御命令の選択をした場合、ジェスチャーは分割位置を指定する操作となる。 If the selection of button pressing at the same time control command, gesture as an operation for designating the dividing position. ジェスチャーにより制御命令を選択する場合、その後の処理は、上述の実施の形態と同じとなる。 When selecting a control command by gesture, the subsequent processing is the same as the above embodiment.

次に、ボタンの押下によりジェスチャー入力処理を開始する場合を例に、ジェスチャー開始ボタン2901にどのようにジェスチャーを行ったらよいかのアニメーションを表示する例について説明する。 Next, an example in which to start the gesture input process by pressing a button, how an example of displaying a good or animation After performing the gestures described gesture start button 2901. 図30は、処理の流れを示し、図31は実際の操作の様子を示している。 Figure 30 shows a flow of processing, FIG. 31 shows the state of actual operation. まず、図30のフローチャートにおいて、ボタンが押下されたかどうか判定する(S3001)。 First, in the flowchart of FIG. 30, it is determined whether the button is pressed (S3001). ジェスチャー開始ボタンが押下されたことを接触検知手段102により検知すると、ジェスチャー入力処理が有効になる、ジェスチャー入力モードに移行する(S3002)。 Upon detection by the contact detection means 102 that the gesture start button is pressed, the gesture input processing is enabled, the process proceeds to the gesture input mode (S3002). そして、図31に示すように、ジェスチャーアニメーションボタン3101の表示を開始する(S3003)。 Then, as shown in FIG. 31 starts displaying gesture animation button 3101 (S3003). ジェスチャーアニメーションボタン3101は、ジェスチャー入力モードに遷移している時、どのようにジェスチャーを行ったらよいかのアニメーションがボタン上に表示されているものである。 Gesture animation button 3101, when the transition of the gesture input mode, how good or animation Once you have made the gesture is one that is displayed on the button. 操作者は、ボタンに表示されたアニメーションを見て、ジェスチャーの方法を知ることができる。 The operator, look at the animation, which is displayed on the button, it is possible to know the method of the gesture. なお、ジェスチャーアニメーションは、上述の実施の形態においても、制御命令のパラメーター入力時等に補助的に表示してもよい。 Note that the gesture animation, even in the above-described embodiment, may be an auxiliary display on the parameter input or the like of the control commands.

このようにボタンによりジェスチャー入力処理を開始することにより、操作者が機器の操作をする目的ではなく、接触検知手段102上に手を移動させたとき等、操作者の意図しないジェスチャー入力モードの移行や、誤動作を防止することができる。 By starting the gesture input processing by such a button, the operator is not a purpose of the operation of the device, such as when moving the hands on the contact detection unit 102, migration of unintended gesture input mode by the operator and, it is possible to prevent the malfunction.

本発明にかかる機器制御装置は、直感的で操作しやすい機器のインターフェイスを提供することが可能になるので、直感的でわかりやすいジェスチャー入力操作装置を構成するのに有用である。 Device control apparatus according to the present invention, it becomes possible to provide an intuitive and easy to operate apparatus for the interface, which is useful for configuring the intuitive gesture input operation device.

本発明の実施の形態にかかるジェスチャー入力装置の構成を示すブロック図 Block diagram showing the configuration of a gesture input apparatus according to the embodiment of the present invention 本発明の実施の形態における機器の構成図 Diagram of a device according to the embodiment of the present invention 1本の指で目的地を設定するときの操作図 Operation view when setting a destination with a single finger 指が指示している箇所を示すための表示の一例を示す図 Diagram showing an example of a display for indicating the location where the finger is pointing 2本指で経由地を設定するときの操作図 Operation view when setting the waypoint with two fingers 画面表示を2画面に分割するときの操作図 Operation view when dividing the screen into two screens 連続的なパラメータを変化させるときの操作図 Operation view when continuously changing parameters 図7の操作の様子を横から見た図 View of the state of operation shown in FIG. 7 from the side 画面表示を回転させるための操作図 Operation diagram for rotating the screen 図9を横から見た図 View of the FIG. 9 from the side 指二本で画面をスクロールさせるときの操作図 Operation view when scrolling the screen with two fingers 図11を横から見た図 View of the FIG. 11 from the side 画面上に表示されている表示物を移動させるためのジェスチャーを示す図 It shows gestures for moving a display object displayed on the screen 図13を横から見た図 View of the FIG. 13 from the side 2画面表示を1画面に戻すときの操作の一例を示す図 Diagram illustrating an example of operation when returning 2-screen display into one screen 図1のジェスチャー入力装置の処理概要を表すフローチャート Flowchart illustrating the processing outline of the gesture input device of FIG. 1 図16の制御命令選択処理の詳細フローチャート Detailed flowchart of the control instruction selection processing in FIG. 16 あらかじめ機器側で用意しておく手形状のモデルを示す図 It shows a model of a hand shape to be prepared in advance device side 図17の手形状認識処理の詳細フローチャート Detailed flowchart of the hand shape recognition process of FIG. 17 図17の手形状認識処理の指先の座標位置を決定する方法を説明する図 View for explaining a method of determining the coordinate position of the fingertip of the hand shape recognition process of FIG. 17 図17の手動作認識処理の詳細フローチャート Detailed flowchart of the hand operation recognition processing of FIG. 17 手を広げた状態から、2本指を立てた状態へ変化する時のジェスチャー特徴量の位置変化を示した図 From a state in which branched out, showing a positional change of the gesture feature amount when changing the upright two fingers Figure 図17のジェスチャー認識処理の詳細フローチャート Detailed flowchart of the gesture recognition processing of FIG. 17 制御命令を実行するタイミングを送信するジェスチャー入力の様子を示した図 It shows the state of gesture input for transmitting the timing for executing the control command 図24を横から見た制御命令を送信しないときの様子を横から見た図 View of the situation from the side when not sending a control command viewed 24 from the side 図24を横から見た制御命令を送信するときの様子を示した図 Diagram showing a state for sending a control command viewed 24 from the side 接触した指を軸に親指を回転させて、アプリケーションのパラメータを設定するような制御命令の送信タイミングを説明する図 Rotate the thumb contacts the finger axis, diagram for explaining a transmission timing control command so as to set the parameters of the application 図27を横から見た図 View of the FIG. 27 from the side 命令を実行するタイミングの検出にボタンを用いた一例を示す図 It illustrates an example of using a button on the detection of the timing for executing instructions 命令を実行するタイミングの検出にボタンを用いた場合にヘルプアニメーションをボタンに付加する処理を示すフローチャート Flowchart in the case of using the buttons on the detection of the timing of executing the instruction indicating the processing for adding the help animation to the button 命令を実行するタイミングの検出にボタンを用いた場合にヘルプアニメーションをボタンに付加するヘルプ機能の様子を示す図 Diagram showing how the help function of adding help animation to a button in the case of using the buttons on the detection of the timing of executing the instructions 従来のジェスチャー入力手段を備えたレイアウト装置の構成を示す図 Diagram illustrating the configuration of a layout apparatus having a conventional gesture input means

符号の説明 DESCRIPTION OF SYMBOLS

1 表示手段 2 タッチパネルコントローラー 3 ディスプレイコントローラー 4 タッチパッド 5 撮像カメラ 6 動作認識部 7 制御部 101 撮像手段 102 接触検知手段 103 ジェスチャー形状認識手段 104 ジェスチャー動作認識手段 105 ジェスチャー認識部 106 制御命令選択手段 107 命令実行タイミング決定手段 108 制御部 109 情報提示手段 110 ジェスチャー特徴量データベース 112 操作位置決定手段 201 カメラ 202 タッチパッド 204 ディスプレイ 302 地図画像 304 カーソル 603 破線 1302 操作対象 1303 移動先の地点 1305 移動前の手 1306 移動後の手 1307 矢印型のアイコン 1501 表示画面 1503 矢印のアイコン 1504 動作後の状態 1801 指先 1 the display means 2 touch panel controller 3 display controller 4 touchpad 5 imaging camera 6 operation recognition portion 7 the control unit 101 imaging unit 102 the contact detection unit 103 a gesture shape recognizing means 104 the gesture operation recognition means 105 the gesture recognition unit 106 control command selection means 107 instructions execution timing determining unit 108 control unit 109 information presenting unit 110 gesture feature quantity database 112 operating position determining means 201 camera 202 touchpad 204 display 302 the map image 304 cursor 603 dashed 1302 operation target 1303 destination point 1305 before movement of the hand 1306 mobile state 1801 fingertip 1307 arrow-shaped icon 1501 display screen 1503 arrow icon 1504 after operation after 標 1802 重心座標 1803 指先座標と重心座標の距離 2001 肌色領域のエッジ 2002 円領域 2003 重心位置 2201、2202 指先位置 2203 位置変化量ベクトル 2901 ジェスチャー開始ボタン 3101 ジェスチャーアニメーションボタン Target 1802 barycentric coordinates 1803 fingertip coordinates and center-of-gravity coordinates distance 2001 skin color region of edge 2002 yen region 2003 barycentric position 2201 and 2202 fingertip position 2203 position variation vector 2901 gesture start button 3101 gesture animation button

Claims (15)

  1. 操作者の操作面への接触を検知する接触検知手段と、 A contact detection means for detecting contact to the operator of the operation surface,
    操作者のジェスチャーから制御命令を選択する制御命令選択手段と、 A control command selection means for selecting a control command from the operator's gestures,
    前記接触検知手段により検知された操作面への接触から前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段と、を有するジェスチャー入力装置。 Gesture input device having an instruction execution timing determining means for determining the timing for executing the control command from the contact to the detected operating surface by the contact detection means.
  2. 操作者の操作面への接触を検知する接触検知手段と、 A contact detection means for detecting contact to the operator of the operation surface,
    前記接触検知手段により検知された操作面への接触から制御命令を選択する制御命令選択手段と、 A control command selection means for selecting a control command from the contact to the detected operating surface by the contact detection means,
    操作者のジェスチャーから前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段と、を有するジェスチャー入力装置。 An instruction execution timing determination means from the operator of the gesture to determine the timing for executing the control command, gesture input device having a.
  3. 前記接触検知手段の操作面への接触、および/または操作者のジェスチャーから操作位置を決定する操作位置決定手段を有することを特徴とする請求項1または請求項2に記載のジェスチャー入力装置。 The contact detection contact with the operating surface of the unit, and / or gesture input apparatus according to claim 1 or claim 2 characterized in that it has an operating position determining means for determining the operating position from the operator's gestures.
  4. 前記接触検知手段により検知された操作面への接触、および/または操作者のジェスチャーから前記制御命令のパラメーターを決定する制御パラメーター決定手段を有することを特徴とする請求項1または請求項2に記載のジェスチャー入力装置。 The contact contact to sensed operating surface by sensing means, and / or wherein the operator's gestures to claim 1 or claim 2, wherein the control parameter determining means for determining the parameters of the control command of gesture input device.
  5. 前記制御命令選択手段は、 The control command selection means,
    操作者のジェスチャーからジェスチャー特徴量を抽出するジェスチャー特徴量抽出手段と、 A gesture feature extraction means for extracting gesture feature quantity from the operator of the gesture,
    前記ジェスチャー特徴量と制御命令を対応させたジェスチャー特徴量データベースと、から制御命令を選択することを特徴とする請求項1に記載のジェスチャー入力装置。 Gesture input apparatus according to claim 1, characterized in that selecting a control command to control instruction and the gesture feature amounts and gestures feature database that associates, from.
  6. 前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状および/またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする請求項5に記載のジェスチャー入力装置。 The gesture feature extraction means is a gesture input apparatus according to claim 5, characterized in that extracting the gesture features from the gesture shape and / or the gesture motion of the operator.
  7. 前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状から重心位置を算出し、前記重心位置とジェスチャー形状および/またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする請求項6に記載のジェスチャー入力装置。 The gesture feature extraction means calculates a centroid position from the gesture shape of the operator, gesture according to claim 6, characterized in that extracting the gesture feature amounts from the gravity center position and gestures shape and / or gesture motion input device.
  8. 前記制御命令選択手段は、操作している指の本数および/またはどの指で操作しているかにより制御命令を選択することを特徴とする請求項1に記載のジェスチャー入力装置。 The control command selection means, a gesture input apparatus according to claim 1, characterized by selecting a control command depending on whether operating in the number and / or which finger of the finger that is operating.
  9. 操作者に情報を提示する情報表示手段を有し、 It has an information display means for presenting the information to the operator,
    前記制御命令選択手段は、手で画面を切るジェスチャーのとき2画面表示をする制御命令を選択し、 The control command selection means selects the control command to the two-screen display when a gesture off screen by hand,
    制御パラメーター決定手段は、前記接触検知手段により検知された操作面の接触位置から2画面表示の境目を決定することを特徴とする請求項1に記載のジェスチャー入力装置。 Control parameter determining means, a gesture input apparatus according to claim 1, characterized in that to determine the boundary of the two-screen display from the contact position of the operation surface is detected by the contact detection means.
  10. 操作者に情報を提示する情報表示手段を有し、 It has an information display means for presenting the information to the operator,
    前記制御命令選択手段は、前記情報表示手段に表示された各機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触により制御命令を決定することを特徴とする請求項2に記載のジェスチャー入力装置。 The control command selection means, according to claim 2, wherein determining a control command by the contact with the operating surface of the said contact detection means at positions corresponding to each function selection button displayed on the information display means of gesture input device.
  11. 前記制御パラメーター決定手段は、前記接触検知手段に接触が検知されているときのみ操作者のジェスチャーから制御命令のパラメーターを決定することを特徴とする請求項4に記載のジェスチャー入力装置。 The control parameter determining means, a gesture input apparatus according to claim 4, characterized in that determining the parameters of the control command from the operator of the gesture only when the contact with the contact detection means is detected.
  12. 操作者に情報を提示する情報表示手段を有し、 It has an information display means for presenting the information to the operator,
    前記情報表示手段に表示された機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触によりジェスチャー入力処理を開始することを特徴とする請求項1または請求項2に記載のジェスチャー入力装置。 Gesture input according to claim 1 or claim 2, characterized in that to start the gesture input process by the contact with the operating surface of the contact detection means at positions corresponding to the function selection button displayed on the information display means apparatus.
  13. 操作者に情報を提示する情報表示手段を有し、 It has an information display means for presenting the information to the operator,
    ジェスチャー入力受付可能な状態の時に、前記情報表示手段に表示された機能選択ボタンに、機能に対応するジェスチャーのアニメーションが表示されていることを特徴とする請求項1または請求項2に記載のジェスチャー入力装置。 When the gesture input can be accepted state, the function selection button displayed on the information display means, a gesture of claim 1 or claim 2 animated gesture corresponding to the function is characterized in that it is displayed input device.
  14. 操作面への接触を検知するステップと、 A step of detecting the contact with the operating surface,
    操作者のジェスチャーから制御命令を選択するステップと、 Selecting a control command from the operator's gestures,
    操作面への接触から前記制御命令を実行するタイミングを決定するステップと、を有するジェスチャー入力方法。 Gesture input method comprising the steps of determining the timing for executing the control command from the contact with the operating surface.
  15. 操作面への接触を検知するステップと、 A step of detecting the contact with the operating surface,
    前記接触検知手段により検知された操作面への接触から制御命令を選択するステップと、 Selecting a control command from the contact to the detected operating surface by the contact detection means,
    操作者のジェスチャーから前記制御命令を実行するタイミングを決定するステップと、を有するジェスチャー入力方法。 Gesture input method comprising the steps of determining the timing for executing the control command from the operator of the gesture, the.
JP2005339957A 2005-11-25 2005-11-25 Gesture input device and method Pending JP2009042796A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005339957A JP2009042796A (en) 2005-11-25 2005-11-25 Gesture input device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005339957A JP2009042796A (en) 2005-11-25 2005-11-25 Gesture input device and method
PCT/JP2006/323456 WO2007061057A1 (en) 2005-11-25 2006-11-24 Gesture input device and method

Publications (1)

Publication Number Publication Date
JP2009042796A true true JP2009042796A (en) 2009-02-26

Family

ID=38067281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005339957A Pending JP2009042796A (en) 2005-11-25 2005-11-25 Gesture input device and method

Country Status (2)

Country Link
JP (1) JP2009042796A (en)
WO (1) WO2007061057A1 (en)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102381A (en) * 2008-10-21 2010-05-06 Casio Hitachi Mobile Communications Co Ltd Portable terminal and program
WO2011093317A1 (en) * 2010-01-29 2011-08-04 新世代株式会社 Image processing apparatus, image processing method, computer program, recording medium, image processing module, and electronic apparatus
JP2011222031A (en) * 2011-05-23 2011-11-04 Denso Corp On-vehicle electronic equipment operation device
WO2011142317A1 (en) * 2010-05-11 2011-11-17 日本システムウエア株式会社 Gesture recognition device, method, program, and computer-readable medium upon which program is stored
JP2012027796A (en) * 2010-07-26 2012-02-09 Canon Inc Information processor and control method of the same
JP2012027532A (en) * 2010-07-20 2012-02-09 Canon Inc Information processor and information processing method
JP2012125481A (en) * 2010-12-17 2012-07-05 Omron Corp Image processor and method, and program
JP2012128763A (en) * 2010-12-17 2012-07-05 Omron Corp Image processing apparatus, method, and program
JP2012143963A (en) * 2011-01-12 2012-08-02 Konica Minolta Business Technologies Inc Image forming device, terminal device, image forming system, and control program
JP2012527697A (en) * 2009-05-21 2012-11-08 株式会社ソニー・コンピュータエンタテインメント Portable electronic device, a method for operating a portable electronic device, and a recording medium
JP2013008368A (en) * 2011-06-24 2013-01-10 Ricoh Co Ltd Virtual touch screen system and two-way mode automatic switching method
JP2013127753A (en) * 2011-12-19 2013-06-27 Sharp Corp Input method for information processor and information processor
JP5232930B1 (en) * 2012-04-26 2013-07-10 株式会社三菱東京Ufj銀行 Information processing equipment, electronic equipment and programs
US8593417B2 (en) 2009-04-30 2013-11-26 Denso Corporation Operation apparatus for in-vehicle electronic device and method for controlling the same
WO2014041646A1 (en) * 2012-09-12 2014-03-20 トヨタ自動車株式会社 Portable terminal device, on-vehicle device, and on-vehicle system
WO2014051130A1 (en) * 2012-09-27 2014-04-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
US8839137B2 (en) 2010-11-11 2014-09-16 Sony Corporation Information processing device, table, display control method, program, portable terminal, and information processing system
JP2014206930A (en) * 2013-04-15 2014-10-30 オムロン株式会社 Gesture recognition device, gesture recognition method, electronic apparatus, control program, and recording medium
JP2014216006A (en) * 2013-04-22 2014-11-17 富士ゼロックス株式会社 System, program and method for receiving input of user
JP2014531080A (en) * 2011-10-10 2014-11-20 インヴィサージ テクノロジーズ インコーポレイテッドInvisage Technologies,Inc. Capture of events in space and time
JP5709228B2 (en) * 2011-04-28 2015-04-30 Necソリューションイノベータ株式会社 The information processing apparatus, information processing method, and program
JP2015522195A (en) * 2012-07-13 2015-08-03 ソフトキネティック ソフトウェア Man was using the point to be specific attention on the hand - a method and system for computer-gesture-based simultaneous interaction
KR20150106824A (en) * 2014-03-12 2015-09-22 오므론 가부시키가이샤 Gesture recognition apparatus and control method of gesture recognition apparatus
KR20150106823A (en) * 2014-03-12 2015-09-22 오므론 가부시키가이샤 Gesture recognition apparatus and control method of gesture recognition apparatus
JP2016511487A (en) * 2013-03-15 2016-04-14 クアルコム,インコーポレイテッド Improvement of the touch input by the gesture
JP2016091528A (en) * 2014-11-05 2016-05-23 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Image segmentation method and image segmentation device
JP2016143139A (en) * 2015-01-30 2016-08-08 アルパイン株式会社 Information processing apparatus, operation control system, and operation control method
JP2016181259A (en) * 2015-03-23 2016-10-13 ビステオン グローバル テクノロジーズ インコーポレイテッド Capturing gesture recognition inputs
KR101748452B1 (en) * 2009-06-12 2017-06-16 폭스바겐 악티엔 게젤샤프트 Method for controlling a graphical user interface and operating device for a graphical user interface
WO2017204120A1 (en) * 2016-05-25 2017-11-30 株式会社ソニー・インタラクティブエンタテインメント Image processing apparatus, image processing method, and program
KR101813028B1 (en) 2010-12-17 2017-12-28 엘지전자 주식회사 Mobile terminal and method for controlling display thereof
US9898117B2 (en) 2012-12-10 2018-02-20 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
US9979886B2 (en) 2014-07-31 2018-05-22 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
US10061505B2 (en) 2013-05-23 2018-08-28 Alpine Electronics, Inc. Electronic device and operation input method

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101821418B1 (en) * 2009-05-04 2018-01-23 오블롱 인더스트리즈, 인크 Gesture-based control systems including the representation, manipulation, and exchange of data
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8502785B2 (en) 2008-11-12 2013-08-06 Apple Inc. Generating gestures tailored to a hand resting on a surface
WO2010098050K1 (en) * 2009-02-25 2010-09-02 Nec Corp Interface for electronic device, electronic device, and operation method, operation program, and operation system for electronic device
JP2011203944A (en) * 2010-03-25 2011-10-13 Denso Wave Inc Optical information reading apparatus and information processing terminal
CN102335510B (en) * 2010-07-16 2013-10-16 华宝通讯股份有限公司 Human-computer interaction system
KR20110126023A (en) * 2010-08-30 2011-11-22 삼성전기주식회사 Drive control method for touch panel
US9747270B2 (en) 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
CN105955617A (en) * 2011-06-03 2016-09-21 谷歌公司 Gesture for selecting text
EP2575006B1 (en) 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
EP2575007A1 (en) * 2011-09-27 2013-04-03 Elo Touch Solutions, Inc. Scaling of gesture based input
US9053083B2 (en) 2011-11-04 2015-06-09 Microsoft Technology Licensing, Llc Interaction between web gadgets and spreadsheets
JP2013154767A (en) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp Onboard meter editing apparatus
JP5742870B2 (en) * 2013-04-17 2015-07-01 カシオ計算機株式会社 Electronic equipment and programs
JP2016153250A (en) * 2015-02-20 2016-08-25 クラリオン株式会社 Information processor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182101A (en) * 1993-10-26 1995-07-21 Itu Res Inc Device for inputting graphic and method therefor and method for operating graphic object and method for supplying graphic input signal
JP2004046311A (en) * 2002-07-09 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> Method and system for gesture input in three-dimensional virtual space
JP2004287886A (en) * 2003-03-24 2004-10-14 Seiko Instruments Inc Display selection device, and cellular phone and electronic device using it

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102381A (en) * 2008-10-21 2010-05-06 Casio Hitachi Mobile Communications Co Ltd Portable terminal and program
US8593417B2 (en) 2009-04-30 2013-11-26 Denso Corporation Operation apparatus for in-vehicle electronic device and method for controlling the same
US9367216B2 (en) 2009-05-21 2016-06-14 Sony Interactive Entertainment Inc. Hand-held device with two-finger touch triggered selection and transformation of active elements
US9448701B2 (en) 2009-05-21 2016-09-20 Sony Interactive Entertainment Inc. Customization of GUI layout based on history of use
US9524085B2 (en) 2009-05-21 2016-12-20 Sony Interactive Entertainment Inc. Hand-held device with ancillary touch activated transformation of active element
US9009588B2 (en) 2009-05-21 2015-04-14 Sony Computer Entertainment Inc. Customization of GUI layout based on history of use
JP2012527697A (en) * 2009-05-21 2012-11-08 株式会社ソニー・コンピュータエンタテインメント Portable electronic device, a method for operating a portable electronic device, and a recording medium
KR101748452B1 (en) * 2009-06-12 2017-06-16 폭스바겐 악티엔 게젤샤프트 Method for controlling a graphical user interface and operating device for a graphical user interface
WO2011093317A1 (en) * 2010-01-29 2011-08-04 新世代株式会社 Image processing apparatus, image processing method, computer program, recording medium, image processing module, and electronic apparatus
JPWO2011142317A1 (en) * 2010-05-11 2013-07-22 日本システムウエア株式会社 Gesture recognition apparatus, method, program, and computer-readable medium storing the program
US20130057469A1 (en) * 2010-05-11 2013-03-07 Nippon Systemware Co Ltd Gesture recognition device, method, program, and computer-readable medium upon which program is stored
WO2011142317A1 (en) * 2010-05-11 2011-11-17 日本システムウエア株式会社 Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US9069386B2 (en) 2010-05-11 2015-06-30 Nippon Systemware Co., Ltd. Gesture recognition device, method, program, and computer-readable medium upon which program is stored
JP2012027532A (en) * 2010-07-20 2012-02-09 Canon Inc Information processor and information processing method
JP2012027796A (en) * 2010-07-26 2012-02-09 Canon Inc Information processor and control method of the same
US9729608B2 (en) 2010-11-11 2017-08-08 Sony Corporation Information processing device, table, display control method, program, portable terminal, and information processing system
US9407683B2 (en) 2010-11-11 2016-08-02 Sony Corporation Information processing device, table, display control method, program, portable terminal, and information processing system
US8839137B2 (en) 2010-11-11 2014-09-16 Sony Corporation Information processing device, table, display control method, program, portable terminal, and information processing system
JP2012128763A (en) * 2010-12-17 2012-07-05 Omron Corp Image processing apparatus, method, and program
KR101813028B1 (en) 2010-12-17 2017-12-28 엘지전자 주식회사 Mobile terminal and method for controlling display thereof
JP2012125481A (en) * 2010-12-17 2012-07-05 Omron Corp Image processor and method, and program
JP2012143963A (en) * 2011-01-12 2012-08-02 Konica Minolta Business Technologies Inc Image forming device, terminal device, image forming system, and control program
US9367732B2 (en) 2011-04-28 2016-06-14 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
JP5709228B2 (en) * 2011-04-28 2015-04-30 Necソリューションイノベータ株式会社 The information processing apparatus, information processing method, and program
JP2011222031A (en) * 2011-05-23 2011-11-04 Denso Corp On-vehicle electronic equipment operation device
JP2013008368A (en) * 2011-06-24 2013-01-10 Ricoh Co Ltd Virtual touch screen system and two-way mode automatic switching method
JP2014531080A (en) * 2011-10-10 2014-11-20 インヴィサージ テクノロジーズ インコーポレイテッドInvisage Technologies,Inc. Capture of events in space and time
JP2013127753A (en) * 2011-12-19 2013-06-27 Sharp Corp Input method for information processor and information processor
JP2013242844A (en) * 2012-04-26 2013-12-05 Bank Of Tokyo-Mitsubishi Ufj Ltd Information processing device, electronic apparatus, and program
JP5232930B1 (en) * 2012-04-26 2013-07-10 株式会社三菱東京Ufj銀行 Information processing equipment, electronic equipment and programs
JP2013242889A (en) * 2012-04-26 2013-12-05 Bank Of Tokyo-Mitsubishi Ufj Ltd Information processing device
JP2015522195A (en) * 2012-07-13 2015-08-03 ソフトキネティック ソフトウェア Man was using the point to be specific attention on the hand - a method and system for computer-gesture-based simultaneous interaction
CN105378593A (en) * 2012-07-13 2016-03-02 索夫特克尼特科软件公司 Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
WO2014041646A1 (en) * 2012-09-12 2014-03-20 トヨタ自動車株式会社 Portable terminal device, on-vehicle device, and on-vehicle system
CN104603577A (en) * 2012-09-12 2015-05-06 丰田自动车株式会社 Portable terminal device, on-vehicle device, and on-vehicle system
WO2014051130A1 (en) * 2012-09-27 2014-04-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
US9898117B2 (en) 2012-12-10 2018-02-20 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
JP2016511487A (en) * 2013-03-15 2016-04-14 クアルコム,インコーポレイテッド Improvement of the touch input by the gesture
JP2014206930A (en) * 2013-04-15 2014-10-30 オムロン株式会社 Gesture recognition device, gesture recognition method, electronic apparatus, control program, and recording medium
JP2014216006A (en) * 2013-04-22 2014-11-17 富士ゼロックス株式会社 System, program and method for receiving input of user
US10061505B2 (en) 2013-05-23 2018-08-28 Alpine Electronics, Inc. Electronic device and operation input method
KR20150106823A (en) * 2014-03-12 2015-09-22 오므론 가부시키가이샤 Gesture recognition apparatus and control method of gesture recognition apparatus
KR20150106824A (en) * 2014-03-12 2015-09-22 오므론 가부시키가이샤 Gesture recognition apparatus and control method of gesture recognition apparatus
US9557821B2 (en) 2014-03-12 2017-01-31 Omron Corporation Gesture recognition apparatus and control method of gesture recognition apparatus
KR101631015B1 (en) * 2014-03-12 2016-06-15 오므론 가부시키가이샤 Gesture recognition apparatus and control method of gesture recognition apparatus
KR101631011B1 (en) * 2014-03-12 2016-06-15 오므론 가부시키가이샤 Gesture recognition apparatus and control method of gesture recognition apparatus
US9979886B2 (en) 2014-07-31 2018-05-22 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
JP2016091528A (en) * 2014-11-05 2016-05-23 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Image segmentation method and image segmentation device
JP2016143139A (en) * 2015-01-30 2016-08-08 アルパイン株式会社 Information processing apparatus, operation control system, and operation control method
JP2016181259A (en) * 2015-03-23 2016-10-13 ビステオン グローバル テクノロジーズ インコーポレイテッド Capturing gesture recognition inputs
WO2017204120A1 (en) * 2016-05-25 2017-11-30 株式会社ソニー・インタラクティブエンタテインメント Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date Type
WO2007061057A1 (en) 2007-05-31 application

Similar Documents

Publication Publication Date Title
US7411575B2 (en) Gesture recognition method and touch system incorporating the same
US20100329509A1 (en) Method and system for gesture recognition
US20140313130A1 (en) Display control device, display control method, and computer program
US20090027337A1 (en) Enhanced camera-based input
US20070262965A1 (en) Input Device
US20140168062A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
US20060288314A1 (en) Facilitating cursor interaction with display objects
US20080211766A1 (en) Multitouch data fusion
US20120327125A1 (en) System and method for close-range movement tracking
US20110304650A1 (en) Gesture-Based Human Machine Interface
US20100079413A1 (en) Control device
US20140361988A1 (en) Touch Free Interface for Augmented Reality Systems
US20120194561A1 (en) Remote control of computer devices
US20090167682A1 (en) Input device and its method
US20090251425A1 (en) Multi-touch system and driving method thereof
US20100275159A1 (en) Input device
US20090208057A1 (en) Virtual controller for visual displays
US20140055343A1 (en) Input method and apparatus of portable device
JPH07175587A (en) Information processor
US20120200494A1 (en) Computer vision gesture based control of a device
JP2010015553A (en) Image recognition device, manipulation determination method, and program
US20150138101A1 (en) Mobile terminal and control method thereof
JP2004258766A (en) Menu display method, device and program in interface using self-image display
US20120038496A1 (en) Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US20140375547A1 (en) Touch free user interface