JP2001216069A - Operation inputting device and direction detecting method - Google Patents

Operation inputting device and direction detecting method

Info

Publication number
JP2001216069A
JP2001216069A JP2000023548A JP2000023548A JP2001216069A JP 2001216069 A JP2001216069 A JP 2001216069A JP 2000023548 A JP2000023548 A JP 2000023548A JP 2000023548 A JP2000023548 A JP 2000023548A JP 2001216069 A JP2001216069 A JP 2001216069A
Authority
JP
Japan
Prior art keywords
direction
operation
means
gesture
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000023548A
Other languages
Japanese (ja)
Inventor
Miwako Doi
Takahiro Harashima
Norio Mihara
Akira Morishita
Shunichi Numazaki
Yasuaki Yamauchi
功雄 三原
高広 原島
美和子 土井
康晋 山内
明 森下
俊一 沼崎
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, 株式会社東芝 filed Critical Toshiba Corp
Priority to JP2000023548A priority Critical patent/JP2001216069A/en
Publication of JP2001216069A publication Critical patent/JP2001216069A/en
Priority claimed from JP2004378813A external-priority patent/JP2005174356A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide an operation inputting device and method for allowing a driver to safely perform an operation without gazing on-vehicle equipment or the like. SOLUTION: Two kinds of gestures, that is, a shape gesture and a direction gesture are detected, and an operation mode is selected by one gesture, and a parameter in the operation mode is changed by the other gesture.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は車載情報機器を始めとする各種の情報機器に対し、操作入力を行う操作入力装置および方法に関する。 The present invention relates whereas various information devices including vehicle information system relates to the operation input device and method for operation input.

【0002】 [0002]

【従来の技術】近年、自動車の中には、カー・ナビゲーションを始め、オーディオ装置、TV、ビデオ装置、携帯電話、エアコンなど数多くの情報機器、電装機器が搭載されるようになっている。 In recent years, some of the car, including car navigation, audio equipment, TV, video equipment, mobile phones, a number of information equipment such as air conditioning and electrical equipment is adapted to be mounted. 車内で電話をかけるだけでなく、電子メールの読み書き、インターネットへのアクセスさえ可能である。 Not only make a phone call in the car, reading and writing e-mail, access to the Internet is even possible. この傾向は今後もますます進み、 This trend is increasingly proceed in the future,
自動料金収受システムや安全走行支援システムなども導入され、車はまさに走るコンピュータになろうとしている状況である。 Such as electronic toll collection systems and safety driving support system is also introduced, the car is a situation that is about to become the very running computer.

【0003】また、それらの様々な機器の操作パネルを全て用意するのは困難で、操作部を共有するようになりつつある。 [0003] Also, to prepare all the operation panel of their various devices difficult, is becoming to share the operation unit. 現在は、カー・オーディオ用の操作ボタンがあり、エアコン用の操作ボタンがあり、カー・ナビゲーション用の操作ボタンあるいはリモコンがあり、それぞれを使って操作を行うという状況が一般的である。 Currently, there is an operation button for car audio, there is an operation button for the air conditioning, and operation buttons or the remote control for a car-navigation, the situation of performing the operation using each is common.

【0004】しかし、一部の車載機器では、1つのディスプレイに全ての機器の状態が表示され、また、共通の入力装置によって操作を行うことができる。 However, in some of the in-vehicle apparatus, the state of all devices is displayed in a single display, also, it can be operated by a common input device. 例えば、ディスプレイにタッチパネル機能が搭載されており、画面に表示されるメニューに触れることで操作が行える。 For example, a touch panel function to the display is mounted, it can perform an operation by touching the menu displayed on the screen. ディスプレイには、状況に応じて異なった画面を表示できるため、全ての機器の操作が可能である。 The display which allows viewing different screens depending on the situation, it is possible to operate all the devices. 例えば、ディスプレイに「エアコン」、「オーディオ」「カーナビ」 For example, to display "air conditioner", "audio", "car navigation"
などのメニューアイコンがあり、「オーディオ」に触れると、オーディオの操作パネルが表示され、その中の「音量を上げる」ボタンに触れると音量が大きくなる。 There is a menu icon such as, and touch the "audio", to display the control panel of the audio, the volume is increased when exposed to "turn up the volume" button in it.

【0005】また、表示されたメニュー画面に対し、タッチパネルではなくリモコンのような装置を使って操作を行う製品も多い。 [0005] In addition, with respect to the displayed menu screen, the product is also often carried out the operation with a device such as a remote control instead of the touch panel. その場合には、典型的にはリモコンに4方向を指示するボタンが付いており、これを操作することで、メニューを選択していくものもある。 In that case, typically comes with a button for instructing four directions on the remote control, by operating this, some continue to select the menu.

【0006】このように、車載機器の種類が増えていく中で、運転者が行う操作の種類は飛躍的に増大している。 [0006] In this way, in, with a growing type of vehicle equipment, the type of operation that the driver is done is dramatically increased. 特にカー・ナビゲーションの登場によって、操作の種類は大幅に増えたと言って良い。 Especially with the advent of car navigation, the type of operation may be said to have increased significantly. このため、運転者が運転中に、あるいは信号待ちなどのわずかな時間に操作を行うというケースが増えている。 Therefore, the driver is an increasing number of cases of performing operations in a short time, such as while driving or traffic signal.

【0007】従来ならば、オーディオ操作(音量調整、 [0007] If the conventional, audio operation (volume adjustment,
選曲)やエアコン操作(温度調整、風量調整)程度しか行っていなかったが、近年では、カー・ナビゲーションの表示画面を切り替えたり、現在地近辺の施設を探すために地図をスクロールしたり、携帯電話を使うこともある。 Song selection) and air conditioning operation (temperature adjustment, but had only carried out air volume adjustment) about, in recent years, or switch the display screen of the car navigation, or to scroll the map to look for facilities in the vicinity of the current location, the mobile phone also it is used.

【0008】このような操作が増えることにより、運転中の注意力が散漫し、事故などの原因になりやすい。 [0008] By such an operation is increased, and distracted attention while driving, likely to be the cause of an accident. 事実、運転中の携帯電話の使用によって事故が急増し、道路交通法の改正により、運転中の携帯電話の使用が禁止された。 In fact, the accident is increasing rapidly through the use of mobile phones while driving, the revision of the Road Traffic Law, the use of mobile phones while driving is prohibited. ただし、手に電話機を持たずに通話できるハンズフリー装置を用いている場合は、運転中での使用は許可されている。 However, if you are using a hands-free device can talk with no telephone in hand, use in operation is permitted.

【0009】この例に見られるように、運転者の視線を動かさずに他のこと(この場合は電話)を行えるようにすることは安全上重要である。 [0009] As seen in this example, other things without moving the line of sight of the driver (in this case the phone) is important safety it that allows for the.

【0010】一方、車載機器の操作について述べると、 [0010] On the other hand, if we describe the operation of the in-vehicle equipment,
通常は操作パネルを見ながら操作を行うために、運転者の注意が前方よりそれることになる。 Normally in order to perform an operation while looking at the control panel, so that the attention of the driver deviates from the front. そのような操作が増えると言うことは、運転中の危険が増大していることを示している。 To say such an operation increases shows that while driving risk is increasing.

【0011】また、前述したひとつの例のように、機器の操作がディスプレイと共通の入力装置に集約していると、例えば、従来ならば、エアコンの温度を上げるのには、温度つまみを回すか、温度上昇ボタンを押せばよかったものが、メインメニューから「エアコン」を選び、 Further, as in the example of one of the foregoing, the operation of the apparatus is integrated into a common input device and a display, for example, if conventional, to raise the temperature of the air conditioning, the temperature knob times ska, what I should press the temperature rise button, select the "air conditioner" from the main menu,
エアコンの操作パネルが表示されてから、「温度上昇」 From the display of the air conditioner of the operation panel, "temperature rise"
ボタンを押すことになり、運転者の視線の動きが増え、 It will be pressing a button, increasing the movement of the driver's line of sight,
危険度が増してしまう。 Risk will be increased.

【0012】これらの問題を解決するために、手振りを使うことが考えられ、いくつかの装置が提案されている。 [0012] In order to solve these problems, it is considered that the use of hand gestures, some of the devices have been proposed. 特願平9−199647および特願平8−3061 Japanese Patent Application No. 9-199647 and Japanese Patent Application No. 8-3061
02では、光センサを使った手振り検出装置を用いて、 In 02, using a hand gesture detecting device using an optical sensor,
手振りで方向を入力し、操作を行う装置を提案している。 Enter the direction in gesture proposes a device for performing the operation. しかし、通常、人が手の動きを入力するとき、例えば「右」「右」と繰り返し手振りを行うとき、その間に手は「左」に戻る動作をする。 However, usually, when a person enters the movement of the hand, when performing the hand gesture is repeated, for example, the "right", "right", the hand in the meantime to the operation to return to the "left". この提案によるとそのような動きをしたときに、「右」「左」「右」と入力されてしまうことになる。 According to this proposal when it made such a move, so that would be input as "right", "left", "right".

【0013】 [0013]

【発明が解決しようとする課題】本発明は自動車を運転する運転者が、前方を注視したままで、安定して車載機器の操作を行うことが難しかった現状を解決しようとするものである。 [SUMMARY OF THE INVENTION The present invention driver driving the vehicle, while gazing at the front, it is intended to solve a stable situation it is difficult to operate the vehicle equipment. また、その際に有効である、形状ジェスチャ、方向ジェスチャをより効率的に安定して入力できるようにすることを目的とする。 Further, it is effective in its shape gesture, and an object thereof is to enable more efficient stably enter direction gesture.

【0014】さらに、これは運転者だけでなく、助手席者も操作することも想定し、画面を見ながら操作する際の効果的な操作方法を発明する。 [0014] In addition, this is not only the driver, the front passenger seat who also also expected to manipulate, to invent an effective method of operation in operating while looking at the screen. また、車載という特殊な環境の中でより安全に、安定して動作させることも目的とする。 Also, more safely in a special environment called vehicle also aims to stably operate. また、車載に限らず、さまざまな機器で用いることのできる、汎用的なジェスチャ入力方法の確立を目的とする。 Further, not only the vehicle, can be used in various devices, for the purpose of establishing a general gesture input method.

【0015】 [0015]

【課題を解決するための手段】本願発明は、検出すべき対象物の形状や動きを検出するための第1の検出手段と、この第1の検出手段によって検出される形状や動きとは異なる前記対象物の形状や動きを検出するための第2の検出手段と、前記第1の検出手段の検出結果をもとに、特定の操作を選択する操作選択手段と、この操作選択手段によって選択された操作における変更可能なパラメータを、前記第2の検出手段の検出結果をもとに、変更するパラメータ変更手段を有することを特徴とする。 The present invention SUMMARY OF] is different from the shape and motion are detected in the first detection means for detecting the shape and movement of the object to be detected by the first detecting means select a second detecting means for detecting the shape and movement of the object, based on the detection result of the first detection means, an operation selecting means for selecting a specific operation by the operation selection unit a modifiable parameters in the operation, which is, on the basis of the detection result of said second detecting means, characterized by having a parameter changing means for changing.

【0016】また、検出すべき対象物の形状を検出する形状検出手段と、前記対象物の動きの方向を検出する方向検出手段と、前記形状検出手段の検索結果をもとに、 Further, based on the shape detection means for detecting a shape of the object to be detected, the direction detecting means for detecting the direction of movement of the object, the search results of the shape detection means,
特定の操作を選択する操作選択手段と、この操作選択手段によって選択された操作における変更可能なパラメータを、前記方向検出手段の検出結果をもとに、変更するパラメータ変更手段を有することを特徴とする。 An operation selecting means for selecting a specific operation, the parameters can be changed in the operation selected by the operation selection unit, based on the detection result of the direction detecting means, and characterized in that it has a parameter changing means for changing to.

【0017】また、前記操作選択手段は、対象物の形状に対し複数の操作を対応づけおき、前記形状検出手段が同一の形状ジェスチャを連続して検出したときに、前記形状に対応づけられた複数の操作を順番に切り替えて選択することを特徴とする。 Further, the operation selection means, association every multiple operations to shape of the object, when the shape detection unit detects continuously the same shape gesture associated with the said shape and selecting by switching a plurality of the steps in the sequence.

【0018】また、前記形状検出手段は、対象物の動きが一定時間以上静止あるいは動きの小さい状態であることを検出したときに、対象物の形状の検出を行うことを特徴とする。 Further, the shape detecting means, when it detects that the state motion of small stationary or motion predetermined time or more objects, and performs the detection of the shape of the object.

【0019】また、選択可能な操作あるいは変更可能なパラメータの情報を表示するための表示手段を有し、この表示手段は、選択可能な操作モードとそれを選択するための形状ジェスチャを表す画像,あるいは変更可能なパラメータとそれを変更するための方向を表す画像を併せて表示することを特徴とする。 Further, a display means for displaying the information of possible selectable operation or change parameters, the display means, an image representing the shape gesture to select it and selectable operation mode, Alternatively and displaying together images that represent the direction to change it and modifiable parameters.

【0020】また、選択可能な操作あるいは変更可能なパラメータの情報を音声で提示するための音声提示手段を有することを特徴とする。 Further, characterized in that it has a sound presentation means for presenting the voice information of selectable operations or modifiable parameters.

【0021】また、前記形状検出手段または前記方向検出手段の処理が滞ったときに音声提示を行うことを特徴とする。 Further, and performs audio presentation when the processing of the shape detecting means or said direction detecting means is stuck.

【0022】また、形状検出手段による検出開始,検出終了,検出失敗、および方向検出手段による方向検出が起こったときに、音で操作者に提示するために音提示手段を有することを特徴とする。 Further, detection start by the shape detection unit, the detection end, detection failure, and when happened direction detection by the direction detecting means, characterized by having a sound presentation means to present to the operator by sound .

【0023】また、前記音提示手段は、操作の種類や検出された方向の種類によって、異なる音を提示することを特徴とする。 Further, the sound presentation means, depending on the type and the detected direction of the type of operation, characterized in that it presents a different sound.

【0024】また、検出すべき対象物の位置情報の軌跡を解析して前記対象物の方向を検出する方法であって、 Further, a method of detecting the direction of the object by analyzing the trajectory of the position information of the object to be detected,
前記対象物が所定の方向に所定の距離だけ動き、前記方向と反対側の方向に所定の距離だけ動いたとき、前記方向への動きとして検出することを特徴とする。 The object moves by a predetermined distance in a predetermined direction, when moved by a predetermined distance in the direction opposite to the direction, and detects as the motion to said direction.

【0025】また、検出すべき対象物の位置情報の軌跡を解析して前記対象物の方向を検出する方法であって、 Further, a method of detecting the direction of the object by analyzing the trajectory of the position information of the object to be detected,
前記対象物が所定の範囲に所定の時間内静止または動きの少ない状態でとどまった後、所定の方向に所定の距離だけ動き、前記方向と反対側の方向に所定の距離だけ動き、再び所定の時間内だけ静止または動きの少ない状態でとどまったときに、前記方向への動きとして検出することを特徴とする。 After the object has remained with less of a given time in the still or motion in a predetermined range, movement in a predetermined direction by a predetermined distance, the direction opposite to the movement by a predetermined distance in the direction of, again given when stayed while only little static or motion in time, and detects as the motion to said direction.

【0026】また、前記方向検出手段は、前記対象物が所定の方向に所定の距離だけ動き、前記方向と反対側の方向に所定の距離だけ動いたとき、前記方向への動きとして検出することを特徴とする。 Further, the direction detecting means, the movement the object by a predetermined distance in a predetermined direction, when moved by a predetermined distance in the direction of the direction opposite to, detecting a movement of the said direction the features.

【0027】また、前記方向検出手段は、前記対象物が所定の範囲に所定の時間内静止または動きの少ない状態でとどまった後、所定の方向に所定の距離だけ動き、前記方向と反対側の方向に所定の距離だけ動き、再び所定の時間内だけ静止または動きの少ない状態でとどまったときに、前記方向への動きとして検出することを特徴とする。 Further, the direction detecting means, after the object has stayed with less of a given time in the still or motion in a predetermined range, movement by a predetermined distance in a predetermined direction, said direction opposite movement direction by a predetermined distance, when stayed again only static or low motion state within a predetermined time, and detects as the motion to said direction.

【0028】また、前記音提示手段は、所定方向に動いたときに第1の音を提示し、前記方向の反対側に動いて戻り、前記方向への動きとして検出されたときに、第2 Further, the sound presentation means, the first sound presented when moved in a predetermined direction, back moves opposite the direction, when it is detected as a motion to said direction, second
の音を提示することを特徴とする。 Characterized in that it presents a sound.

【0029】また、前記音提示手段は、第1の音は動いた方向によって異なる音を提示し、第2の音は方向によらず同じ音を提示することを特徴とする。 Further, the sound presentation means, first sound presents different sounds by moving direction, the second sound is characterized by presenting the same sound regardless of the direction.

【0030】また、前記方向検出手段は、意図的に動かしている動作と、意図せずに生じてしまう動作を識別することを特徴とする。 Further, the direction detecting means, characterized by identifying the behavior that intentionally moved, the operation occurs unintentionally.

【0031】また、前記方向検出手段は、所定の複数方向のうち、いずれかの方向に動いたかを検出する手段と、連続する同じ方向への動きの間に発生する戻る動作を除去する手段を有することを特徴とする。 Further, the direction detection means, among the predetermined plurality of directions, means for detecting whether the movement in either direction, means for removing operation back occurs during the movement in the same direction for successive characterized in that it has.

【0032】また、前記方向検出手段は、動いた対象物のセンサからの距離を検出する手段を有し、所定の方向への連続した動きの間に、前記方向とは反対方向の距離が遠い動きを検出したときに、戻る動きであると判定し、除去することを特徴とする。 Further, the direction detecting means comprises means for detecting the distance from the sensor of the moved object, between successive movements of a predetermined direction, the farther the distance in the opposite direction to the direction when motion is detected, it determines that the motion to return, and removing.

【0033】また、前記方向検出手段は、対象物の動きの間の時間間隔を測定する手段を有し、所定の方向への連続した動きの間に、前記方向と反対方向の動きが検出され、所定の長さ以下の時間間隔の場合、この間の動きを戻る動きであると判定し、除去することを特徴とする。 Further, the direction detecting means comprises means for measuring a time interval between the movement of the object, between successive movements in a predetermined direction, the movement of the direction opposite to direction is detected when a predetermined length following the time interval, determines that the motion to return the meantime movements, and removing.

【0034】また、検出された方向に対し異なる音を提示する音提示手段を持つことを特徴とする。 Further, characterized by having a sound presentation means for presenting different sounds to the detected direction.

【0035】また、前記方向検出手段は、対象物の動きの始点と終点が近い位置に来るような軌跡を検出することを特徴とする。 Further, the direction detecting means, characterized in that the start and end points of movement of the object to detect the trajectory so that closer.

【0036】また、検出すべき対象物の形状を検出するための形状検出手段と、この形状検出手段によって検出される形状と対応づけられた操作メニューを表示するためのメニュー表示手段と、前記形状検出手段によって検出された形状に応じて、前記操作メニューを選択するためのメニュー選択手段とを有することを特徴とする。 Further, the shape detecting means for detecting the shape of the object to be detected, and a menu display means for displaying an operation menu associated with the shape to be detected by the shape detection means, said shape depending on the detected by the detecting means the shape, and having a menu selecting means for selecting the operation menu.

【0037】また、前記メニュー選択手段は、前記操作メニューを階層的にメニューを辿っていくときに、異なる形状を提示することを特徴とする。 Further, the menu selection means, when traced hierarchically menu said operation menu, characterized in that it presents a different shape.

【0038】また、検出すべき対象物の動きの方向を検出する方向検出手段と、この方向検出手段によって検出される動き方向と対応づけられた操作メニューを表示するため表示するメニュー表示手段と、前記方向検出手段によって、動き方向を連続して検出されたときには、1 Further, the direction detecting means for detecting the direction of movement of the object to be detected, and a menu display means for displaying for displaying an operation menu associated with the movement direction detected by the direction detecting means, by the direction detecting means, when it is continuously detected movement direction, 1
回だけ検出されたときとは異なる操作メニューを選択するメニュー選択手段とを有することを特徴とする。 And having a menu selecting means for selecting different operation menu and when only detected times.

【0039】また、検出すべき対象物の形状を検出するための形状検出手段と、検出すべき対象物の動きの方向を検出する方向検出手段と、検出される形状および動き方向と対応づけられた操作メニューを表示するため表示するメニュー表示手段と、検出された形状および動き方向に対応づけて、操作メニューを選択するメニュー選択手段とを有することを特徴とする。 Further, the shape detecting means for detecting the shape of the object to be detected, the direction detecting means for detecting the direction of movement of the object to be detected, associated to the shape and motion direction is detected a menu display means for displaying for displaying an operation menu has, in association with the detected shape and motion direction, and having a menu selecting means for selecting an operation menu.

【0040】 [0040]

【発明の実施の形態】以下、図面に従い本発明の実施の形態を説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an embodiment of the present invention in accordance with the accompanying drawings.

【0041】<概要> 図1は、本発明の実施形態の一例である。 [0041] <Outline> FIG 1 is an exemplary embodiment of the present invention. 第1のジェスチャ検出部1と第2のジェスチャ検出部2は、異なる種類のジェスチャを検出するものである。 The first gesture detector 1 second gesture detection unit 2 is to detect different types of gestures. そして、操作種類選択部3は、第1のジェスチャ検出部1の検出結果に従い、操作の種類を選択する。 Then, the operation type selection unit 3 in accordance with a first detection result of the gesture detection unit 1 selects the type of operation.
パラメータ変更部4は、操作種類選択部3で選択された操作の中で、変更可能なパラメータを第2のジェスチャ検出部2の結果に従って変更する。 Parameter changing unit 4, in the operation selected by the operation type selection unit 3 to change the changeable parameters in accordance with a second result of the gesture detection unit 2.

【0042】操作入力処理部5は、操作種類選択部3とパラメータ変更部5の結果に従い、どのような操作が行われたかを決定する。 The operation input processing unit 5, according to the result of the operation type selection unit 3 and the parameter modification unit 5, what operation to determine whether conducted. 操作実行部6は決定された操作を実行する。 Operation execution unit 6 executes the determined operation. 操作入力処理部5は、第1、第2のジェスチャ検出部および操作種類選択部3、パラメータ変更部4 The operation input unit 5, first, second gesture detection unit and the operation type selection unit 3, the parameter changing section 4
を制御し、これらが動作しないようにすることもできる。 Controls may be they are not to work. 従って、状況に応じて、どちらか一方のジェスチャ検出のみを行わせたりすることができる。 Therefore, it is possible or depending on the situation, to perform only one of the gesture detection.

【0043】<詳しい構成> 図1をより具体的に示したのが図2である。 [0043] The exhibited <Detailed Configuration> FIG. 1 in more detail is shown in FIG 2. ここでは第1のジェスチャ検出部は、形状ジェスチャを検出する、形状ジェスチャ検出部7であり、第2のジェスチャ検出部は方向ジェスチャを検出する方向ジェスチャ検出部8である。 Here the first gesture detection unit, detects the shape gesture, a shape gesture detection unit 7, the second gesture detection unit is the direction gesture detection unit 8 to detect the direction gesture.

【0044】ここで、「形状ジェスチャ」とは「手の形で表されるジェスチャ」であり、「方向ジェスチャ」とは「動いた方向を示すジェスチャ」である。 [0044] Here, the "shape gesture" is "gesture represented by a hand," a "direction gesture" a "gesture indicating a moving direction." この中で、 In this,
形状ジェスチャの場合には、必ずしも手が動いていなくても良く、その意味で「ジェスチャ」という言葉が当てはまりにくいこともあるが、ここでは広く捉えて、形状の提示もジェスチャのひとつとして扱う。 In the case of the shape gesture, may not be necessarily moving hand, there is also that the meaning in difficult to apply the word "gesture", here is regarded widely, presentation of shape also treated as one of the gesture.

【0045】<検出手段の詳述> ここで、2つのジェスチャ検出部について、詳述する。 [0045] Here <detailed detection means> for two gesture detection unit will be described in detail. 具体例として、上記の形状ジェスチャとは、「グー」「チョキ」「パー」といったじゃんけんで提示するような手の形状である。 As a specific example, the above shape gesture, a shape of the hand, as presented in Janken such as "rock", "scissors", "par". あるいは、「5本の指のうちどの指を伸ばすか」、あるいは「人差し指と親指で丸を作る」など手によって表現されるさまざまな形のことを指す。 Alternatively, it refers to the various forms represented by the hand, such as "or extend any finger of the five fingers", or "make a circle with the index finger and thumb."

【0046】形状ジェスチャの例を図3に示す。 The examples of the shape gesture shown in FIG. 本来「ジェスチャ」とは動きを伴う意味を含んでおり、必ずしも静止した手形状をジェスチャとは呼ばないこともあるが、これらの形状を提示する際には、操作者は、他の形からこれらの形へ、手の形を変形させているのであるから、その意味で広義のジェスチャとして扱う。 Originally it includes a means with movement as "gesture", but need sometimes not referred to as the stationary hand shape gesture, the time of presenting these shapes, the operator, these other forms to form, since it is're deforms the shape of a hand, treats as a broad gesture in that sense. また、 Also,
検出処理方法を考えると、これらを静止形状として扱うのが比較的容易であるが、実際にはこれらの形状の時系列的な組み合わせ、形状と動きを伴うものなどもあり得る。 Considering the detection processing method, but these are relatively easy to handle as a still shape, actually time-series combination of these shapes, there may be such as those involving the shape and motion.

【0047】具体的に、手の形状を捉えるための手段としては、小型CCDカメラなどを用いて手を撮像し、その画像を解析することで形状を検出することが可能である。 [0047] Specifically, the means for capturing the hand shape images a hand using a small CCD camera, it is possible to detect the shape by analyzing the image. しかし、特に車載機器応用を考えた場合、車内は昼間明るく、夜は暗いと外光状態の変動が大きく、カメラで得られる画像が大きく変動してしまうため、検出精度が低下してしまうという問題がある。 However, especially when considering the vehicle device applications, interior bright daytime, evening and large variations in the ambient light condition is dark, because the image obtained by the camera varies greatly, a problem that the detection accuracy decreases there is. カメラの前方を人やものが横切る毎に誤認識するおそれがある。 The front of the camera person or thing is erroneously recognized fear for each traverse.

【0048】発明者らは、特開平10−177449にあるように、発光手段と、これと同期して動作するイメージセンサによって、物体形状を高速に検出できる画像入力装置を開発した。 The inventors, as in JP-A-10-177449, a light emitting means, the image sensor which operates in synchronism with this, we have developed an image input device capable of detecting the object shape at a high speed. これは、物体に典型的には赤外光を照射し、これと同期した動作をするイメージセンサを用いて、物体反射光のみを画像として取り出す装置である。 This is typically the object is irradiated with infrared light, using an image sensor that operates in synchronization with this, a device for taking out only the object light reflected as an image. 反射光の強さは一般的に物体までの距離の2乗に反比例するため、近くの物体が遠くの背景から容易に切り出すことができる。 The intensity of the reflected light to generally inversely proportional to the square of the distance to the object can be near objects easily cut from distant background.

【0049】この入力装置を使うと、装置自体が発光手段を持っているため、夜などの通常のCCDカメラでは撮像が難しい条件下でも、検出が行える。 [0049] With this input device, because the device itself has a light emitting means, in normal conditions imaging difficult in CCD cameras, such as at night, allows the detection. また、発光手段は人間の目に見えない近赤外光を用いるので、運転者の妨げにならない。 In addition, the light-emitting means so using a near-infrared light invisible to the human eye, it does not interfere with the driver. また、距離のある背景の物体は、反射光が届かず写らないため、関係ない動きなどによる誤動作は小さくできる。 Further, an object of the background with a distance, since not reflected not reach the reflected light can be reduced in malfunctions caused by irrelevant motion.

【0050】これらの画像入力装置から得られた、手の形状を認識して、あらかじめ決められた形状ジェスチャに合致するかどうかを決定する方法について述べる。 [0050] obtained from these image input apparatus recognizes the hand shape, describes a method of determining whether to meet the predetermined shape gesture. 例えば、指をのばした本数による形状の違いを検出する場合、伸ばした指が横切るであろう領域を設定し、横切っている指の数を数えることによって形状の違いを検出することができる。 For example, when detecting the difference in shape by number with outstretched fingers, stretched finger sets the area that would traverse, it is possible to detect the difference in shape by counting the number of crosses fingers.

【0051】別の方法として、手の形状の輪郭線を考えると、指先は山状に出っ張っており、指の間は谷状にへこんでいる、それらの輪郭線形上を解析して、伸ばしている指の数を知ることができる。 [0051] Alternatively, given the outline of the hand shape, finger is protrudes like a mountain, between the fingers is recessed in trough analyzes their contour linear above, stretched it is possible to know the number of'm finger. 指先がカメラに向いているような場合は、指先はカメラへの距離が周りに比べ近い点となり、反射光量が極大となる。 If fingertips as facing the camera, the fingertip becomes a point near than about the distance to the camera is, the reflected light quantity becomes maximum. その極大点の数をカウントすることで、カメラに向いている指の数を検出することができる。 By counting the number of local maximum points, it is possible to detect the number of fingers facing the camera.

【0052】また、自由な手の形状を認識するために、 [0052] In addition, in order to recognize the shape of a free hand,
パタンマッチングという技術を使うことができる。 It is possible to use a technology called pattern matching. これはあらかじめ認識したい形状をパタンとして登録しておき、入力された形状との相違度を計算し、近い形状があればそれが入力されたと判断するものである。 This previously registered shape to be recognized in advance as a pattern, and calculates the degree of difference between the input shape is to determine that it has entered if there is a shape close. 相違度の計算の仕方としては、単純にパタンを重ね合わせ、その重なり具合を計算するものや特徴空間へ写像し、そこでの距離で判断する方法もある。 The manner of dissimilarity calculations, simply superimposing the pattern, the overlapping mapped to one or feature space to calculate the degree, there is a method of determining the distance there.

【0053】<静止してから形状認識開始> 形状の認識をする場合、精度よく行おうとすればするほど、処理に時間がかかる。 [0053] When the recognition of <still to the shape recognition start> shape, more you attempted accurately, lengthy process. 従って、入力される画像のフレーム毎に認識処理を行うと、処理コストが増大してしまう。 Therefore, when the recognition processing for each frame of an input image, processing cost increases. 形状を提示する場合は、操作者が形状を提示して一定時間静止している場合に、認識処理を開始するのが望ましい。 When presenting the shape, when the operator is presented the shape stationary fixed time, it is desirable to start the recognition process. これは操作者が意志を持って形状を出す場合は、静止させるという動作は自然であるからである。 If this is to issue the shape operator with the will, operation of is stationary because it is natural.

【0054】また、静止状態を見つけたときのみ認識処理を行えばよいから、計算コストを下げることができる。 [0054] Further, since it is sufficient recognition processing only when it finds a stationary state, it is possible to reduce the computational cost. また、ジェスチャを提示する意志無しに、動かした動作は、それが静止しない限り、ジェスチャ提示と誤認識してしまうことがない。 Further, without intention to present a gesture, the operation moves, as long as it does not stationary, never erroneously recognized gesture presentation.

【0055】一方、方向ジェスチャは、このような画像入力装置から得られる画像から、手の動き方向を抽出することによって行える。 On the other hand, the direction gesture from the image obtained from such an image input device, performed by extracting the movement direction of the hand. 例えば、特開平10−1774 For example, JP-A-10-1774
49における画像入力装置を用いた場合、画像には背景は写らず、手の形状のみが写っているので、この画像の重心計算を行えば、手の位置が求められる。 When using an image input device in a 49, the background is not Utsura the image, only the shape of the hand is captured, by performing the center-of-gravity calculation of the image, the hand position is determined. その軌跡を追跡することで基本的な動きを検出することが可能である。 It is possible to detect the basic movements by tracking the trajectory.

【0056】手首付近はほとんど動かさず、指先だけを動かすような場合には、手全体の重心計算を行うと、検出される動きの精度が悪いことがある。 [0056] Wrist vicinity hardly move, if such moving finger only, when the center of gravity calculation of the entire hand, it may be poor precision of the motion to be detected. このような場合は、手の形状を細かく考慮した処理を行うことが考えられる。 In such cases, it is conceivable to perform processing in consideration of finely hand shape.

【0057】例えば、カメラに向かって指を伸ばしている場合、指の先端はカメラに最も近く、したがって反射光が最も大きく、画像中で極大点ととなっていることが多い。 [0057] For example, if for the camera are stretched finger tip of the finger is closest to the camera, thus the largest reflected light often has a local maximum point in the image. このような点を検出し、それらの最も近いもの、 Detects this point, those their closest,
あるいは極大点の平均などを求めることで、手全体の重心点を求めるのに比べ、実際の動きに対し感度のよい評価値として、位置情報を得ることができる。 Or by obtaining the like mean maximum point, compared to determine the center of gravity of the entire hand, a good evaluation value of sensitivity to actual motion, it is possible to obtain position information. この場合、 in this case,
複数ある極大点の画像フレーム間の対応関係などを求めておくと、画像の端のほうに存在していた極大点が画像外に出てしまった場合などの位置の挙動がおかしくなるのを防ぐことができる。 Preventing the previously obtained and correspondence between image frames of a plurality of local maximum points, the behavior of the position, such as when maximum point that existed towards the edge of the image was left just outside the image that becomes strange be able to.

【0058】いずれにしても、得られた手形状データから、位置の情報を取り出し、その軌跡を解析することによって動きジェスチャを検出するのがよい。 [0058] In any case, the obtained hand shape data, takes out the information of the position, it is preferable to detect motion gestures by analyzing the trajectory. 通常のCC Normal of CC
Dカメラを使った場合でも色情報などにより、手の形状がきちんと切り出すことができれば、そこから位置情報を取り出すことが可能である。 Due color information even when using D camera, if it is possible to hand shape cut out properly, it is possible to retrieve the position information therefrom. 方向ジェスチャを検出する方法については、実施例の後の方で詳しく述べる。 The method for detecting the direction gesture, described in more detail later in the Examples.

【0059】<操作状態遷移> この2種類のジェスチャ検出を用いて、構成した操作における、状態遷移図を図4に示す。 [0059] Using the <Operation State Transition> The two gesture detection, in the structure and operation shows a state transition diagram in FIG. まず始めは何も行っていない状態である。 The First is a state where not doing anything.
ここで第1のジェスチャ検出部で検出する。 Here detected by the first gesture detection unit. いずれかのジェスチャを提示すると、それが検出され、操作モードの1つに入る。 When present either a gesture, it is detected, it falls into one of the operating modes. 例えば、ジェスチャ1が提示されるとカー・ナビゲーションのビューを操作するモードに入り、 For example, when the gesture 1 is presented to enter the mode of operation of car navigation view,
ジェスチャ2が提示されるとエアコンの操作モードに入り、ジェスチャ3が提示されるとオーディオ操作のモードに入る。 When the gesture 2 is presented to enter the air conditioning operation mode, enter the mode of audio operation and gesture 3 is presented. 各操作モード内では、4方向の方向ジェスチャによっていくつかのパラメータが調整できるようになっている。 Within each operation mode, some parameters by four directions direction gesture is adapted to be adjusted.

【0060】例えばオーディオ操作モードにおいては、 [0060], for example, in audio mode of operation,
上方向のジェスチャの提示により音量が大きくなり、下方向のジェスチャの提示により音量が小さくなる。 Volume is increased by the presentation upward gesture, the volume is reduced by the presentation of downward gesture. また、右方向のジェスチャ提示により音楽CDなどの次曲選択、左方向のジェスチャ提示により前曲選択が行える。 In addition, the next song selection, such as a music CD by the gesture presented in the right direction, can be carried out before the song selected by the left direction of the gesture presentation. また、オーディオ関係だけ考えても、操作対象として、音楽CD、音楽MD、カセットテープ、ラジオ、場合によってTVなど様々ある。 Also, it is considered only audio relationship, as the operation target, music CD, music MD, cassette tape, radio, and in some cases there is a variety, such as TV. 始めにジェスチャ3を提示することによりオーディオ操作モードになったが、そのときは現在動いている対象の操作が行えるようになっている。 It became the audio operating mode by presenting the gesture 3 First, the time is adapted to perform the operation of the subject that is currently running.

【0061】例えば、音楽CDが流れていれば、CDの選曲、音量調整ができるようになっている。 [0061] For example, if the music CD is flow, selection of music CD, which is to allow volume control. ジェスチャ3を繰り返し提示することでこの操作対象を切り替えることができる。 It can be switched to the operation target by presenting repeated gestures 3. 例えば、2回繰り返すと音楽MD、もう1度提示するとラジオというように順に切り替わっていく。 For example, repeated twice and music MD, we switched in the order so that the radio and to present again. このとき操作の対象によって、方向ジェスチャによる変更パラメータが変わることがある。 The subject of the operation this time, it may change according to the direction gesture parameters change.

【0062】例えば、CDやMDの場合は、右,左の方向ジェスチャで次曲,前曲を選択したが、ラジオの場合にはラジオ局を登録した順に次局、前局を選択するようになる。 [0062] For example, in the case of CD and MD, right, so that the next song in the left direction gesture, but to select the previous song, in the case of radio to select Tsugikyoku in the order in which they registered the radio station, the previous station Become. 音量調整はどの操作対象に関しても頻繁に使うので、上下の方向ジェスチャに関してはどの場合でも音量調整を行うようにする。 Since the volume adjustment is frequently used For any operation target, to perform the any case adjust the volume in the vertical direction gesture.

【0063】形状ジェスチャと操作対象の対応付けを覚えておけば、運転者は操作パネルを見ずに、操作モードを選ぶことができる。 [0063] if you remember the association shape gesture the target of the operation, the driver without looking at the operation panel, it is possible to select the operation mode. また、選んだ操作モード内の操作も、上下の方向ジェスチャで、音量の大小、というように非常に覚えやすいものであるため、一連の操作全てが、視線を前方に維持したまま、操作パネルを見ずに行うことができる。 Also, the operation in the operation mode has been selected, in the vertical direction gesture, the volume of large and small order, one in which very easy to remember and so on, while all the series of operations, to maintain the line of sight to the front, the operation panel it can be carried out without looking.

【0064】例えば、カー・ナビゲーションを利用しているときには画面にはマップが表示されていることが多いが、このときオーディオの操作を行いたければ、表示のジェスチャを提示することで直ちにオーディオ操作パネルが表示される。 [0064] For example, it is often are displayed map on the screen when you are using a car navigation, if you want to do the audio this time, immediately audio control panel by presenting a gesture of display There is displayed. 通常であれば一旦メインメニューを表示し、メインメニューの中からオーディオ操作の項目を探し、それを選択してはじめてオーディオ操作パネルが表示される。 If the usually once to display the main menu, find the item of audio operation from the main menu, it is displayed for the first time audio control panel to select it.

【0065】このように比較すれば、ジェスチャ提示によって、頻繁に用いる機能に素早くアクセスできることの効果は大きい。 [0065] In comparison to this, the gesture presentation, the effect of being able to quickly access frequently used function is large.

【0066】<ジェスチャ・アイコン> これらのジェスチャによる操作は非常に簡便であり、よく使用する形状ジェスチャは容易に記憶することができる。 [0066] <gesture icon> operation with these gestures are quite simple, well-shaped gesture to be used can be easily stored. また、方向ジェスチャに関しては動きと効果(音量を上げる、下げるなど)が上手く関連づけられているので、覚えやすい。 In addition, (raise the volume, such as lower) movement and effect with respect to the direction gesture because is associated with good, easy to remember. しかしながら、使用を始めたばかりの使用者や、長期間使用をしていなかった後などにおいて、どのようなジェスチャを行えば、何を制御できたか、ということを忘れてしまうことがある。 However, and the user just starting to use, such as in after you have not for a long time use, be carried out what kind of gesture, what could be controlled, sometimes forget that. そのような場合に、わざわざ取扱説明書を取り出して読まなくてはならないとしたら、非常に不便である。 In such a case, if we do not have to read Remove the bother instruction manual, it is very inconvenient.

【0067】ここではさらに、ジェスチャを表示したアイコンを画面上に同時に表示することで、操作を忘れた場合も、容易に行うべきジェスチャを知ることができる。 [0067] Here Further, by displaying simultaneously the icon displays a gesture on the screen, even if you forget the operation, it is possible to easily know the gesture to be performed. これを図5に示す。 This is shown in FIG. この図では画面下部にジェスチャの形状を示すアイコン9とそのジェスチャを提示したときに行える操作を一緒に表示してある。 In this figure it is displayed together an operation performed when presenting the gesture icons 9 showing the gesture shape at the bottom of the screen. このように、 in this way,
実行できる形状ジェスチャとそれで何を操作できるかを表示しておけば、忘れた場合はこの画面を見ることですぐに思い出せる。 Once you have displayed what the can be manipulated shape gesture that can be performed and with it, if you forget immediately remember by looking at the screen.

【0068】操作ごとにこの画面のジェスチャ・アイコンを見るようでは、操作パネルを見るのと同じであり、 [0068] seems to see the gesture icon of this screen for each operation, is the same as looking at the operation panel,
運転者の注意が逸れることになるが、この場合は、操作を忘れたときに見るだけなので、安全性は保たれている。 But so that the attention of the driver deviates, in this case, since only see when you forget the operation, and safety is maintained. むしろ、操作を忘れてしまい、取扱説明書を見る方がよほど危険である。 Rather, forget the operation, it is better to look at the instruction manual is a compelling danger.

【0069】<音声フィードバック> 画面を見ずに操作をしていると、時として今、どのような操作モードに入っていて、今何が操作できるのかが分からなくなってしまう。 [0069] and has been the operation without looking at the <voice feedback> screen, would sometimes now, what have entered the operation mode, no longer know now? What can operation. これは前述した、ジェスチャを忘れてしまうのとは異なり、ちょっとしたことで気を取られることによって起こりうる。 This was described above, unlike forget the gesture, can occur by being distracted by little things. 例えば、ラジオからCDに切り替えようとして、オーディオ操作のためのジェスチャを提示したところで、突然、最近気に入っているヒット曲がかかったり、操作の途中で急に話しかけられたりして、気を取られることによって起こりやすい。 For example, as you try to switch from radio to CD, where presented a gesture for the audio operation, suddenly, it may take hit songs have liked recently, with or suddenly spoken in the middle of the operation, be distracted likely to occur by.

【0070】そのような状況に対処するために、本発明では、状況に応じて、音声を用いて、使用者に現在の状況を知らせる、音声によるフィードバック機能を付加する。 [0070] To cope with such a situation, in the present invention, depending on the situation, using the voice, the user informs the current situation, adding a feedback function by voice. 例えば、前述の例で、オーディオ操作ジェスチャを提示した後、何かに気を取られて、分からなくなったとき、「オーディオ操作です」と音声でフィードバックする。 For example, in the above example, after presenting the audio operation gesture, I have been distracted by something, when you no longer know, the feedback in the sound as "audio is the operation". あるいは、現在ラジオがかかっているのなら「ラジオ操作です」、CDがかかっているのなら「CD操作です」と状況に応じて音声フィードバックを変えても良い。 Or, "This is Radio Operation" current If the radio is at stake, may be changed voice feedback according to the situation of if "CD is the operation" is under CD. 操作を行うたびに、音声フィードバックを行うのもよい。 Each time you perform the operation, may be to carry out the voice feedback.

【0071】しかし、操作に慣れると、オーディオ操作ジェスチャと続く方向ジェスチャ(音量を上げるなど) [0071] However, if you are familiar with, (such as increasing the volume) direction gesture that follows the audio operation gesture
は連続して提示されることが多くなり、そのたびに音声フィードバックが起こると煩わしくなる。 Will often be presented in succession, becomes cumbersome and audio feedback each time that happens. そこで、オーディオ操作ジェスチャが提示されてからしばらく次の操作が無いときに、使用者が状況を忘れたと判断し、音声フィードバックを返すのが望ましい。 So, when a while there is no next of the operation from the audio operation gesture is presented, it is determined that the user has forgotten the situation, it is desirable to return the voice feedback. また、同様に、音声フィードバックを返した後さらに、一定時間経過した場合、方向ジェスチャによって何が操作できるかを音声フィードバックで返してもよい。 Similarly, further after returning the audio feedback, if certain time has elapsed, it may return to what can be operated by the direction gesture spoken feedback. 例えば「上下で音量調整、左右で選局してください」と言った具合に音声をフィードバックする。 For example, to feed back the voice to the condition that said, "adjust the volume up and down, left and right, please tuning in."

【0072】この機構をブロック図で示したものが、図6である。 [0072] shows this mechanism in block diagram, a diagram 6. 操作入力処理部10は、形状ジェスチャが入力されるとタイマー12を起動する。 The operation input processing section 10, the shape gesture is input starts the timer 12. タイマー12は一定時間経過すると操作入力処理部10にそのことを伝え、それに従い、操作入力処理部10は音声フィードバック部13に音声フィードバックを行うよう指示を出す。 The timer 12 communicates the fact to the operation input processing section 10 and the predetermined time elapses, accordingly, the operation input processing section 10 instructs to perform the audio feedback to the audio feedback unit 13.

【0073】また、この処理をフローチャートで示したのが図7である。 [0073] Also, shows this process in the flowchart is FIG. はじめの状態では、形状ジェスチャの検出のみを行っており(S14)、形状ジェスチャが検出されると(S15)、操作モードを変更し(S1 In the beginning of the state, and performing only the detection of the shape gesture (S14), the shape gesture is detected (S15), and change the operating mode (S1
6)、ここでタイマーを起動する(S17)。 6), where you start the timer (S17). 続いて方向ジェスチャの検出(S18)を始めるが、このループの中で、タイマーが起動してから一定時間経過したかどうかを判断し(S20)、経過したと判断されたら音声フィードバックを発生させる(S19)。 Then it starts the detection (S18) direction gesture, in this loop, the timer determines whether a predetermined time has elapsed after starting (S20), and generates a sound feedback When judged elapsed ( S19).

【0074】このフローチャートでは、形状ジェスチャを検出する初期状態へ戻る経路を省いているが、これは、さらに一定時間が経った後、あるいは、特定のジェスチャを行ったときなどに、戻るように構成できる。 [0074] In this flowchart, although omitted path back to the initial state for detecting the shape gesture, which, after further has passed a predetermined time, or the like when performing a specific gesture, configured to return it can.

【0075】<音のフィードバック> 操作に迷ったときなどに、音声で現在の状態をフィードバックすると効果があることを述べたが、これ以外にも、操作が実行されたときに音でフィードバックするとさらに効果がある。 [0075] for example, when in doubt the operation <acoustic feedback>, further if has been said that it is effective to feed back a current state by voice, in addition to this, feedback sound when an operation is performed effective. 従来のボタンによる操作パネルでは、操作者はボタンに触ったことが分かり、またボタンを押すことによって手に戻ってくる感触を手がかりにきちんとボタンが押せたかどうかが分かるし、さらには音量が変わる、曲が変わるなどの効果を実際に感じることによって、操作が実際に行われたことを知ることができる。 In by the operation panel conventional button, the operator can see that touched the button, also to whether the press is properly button to clue the feeling to come back to the hand by pressing the button can be seen, and even more volume changes, by actually feel the effects, such as the song is changed, it is possible to know that the operation actually took place.

【0076】しかし、ジェスチャによって操作を行う場合は、どこにも触れないことから、操作感に乏しいという問題がある。 [0076] However, in the case of performing the operation by the gesture, because it does not touch anywhere, there is a problem of poor operation feeling. 同様のことが例えば、コンピュータにおける操作が上げられる。 The same example, the operation in a computer and the like.

【0077】例えば、マウスでデスクトップのアイコンをダブルクリックし、あるアプリケーションを起動するとき、通常起動するには、ハードディスクなどの記憶装置からプログラムをロードし、画面に表示する時間がかかるため、ダブルクリックした後、瞬時には起動しない。 [0077] For example, when you double-click the desktop icon with the mouse, you start an application, to the normal start-up, load the program from the storage device such as a hard disk, since it takes a long time to be displayed on the screen, double-click after you, it does not start in an instant. 従って、ダブルクリックした後、本当に起動画面が表示されるまでは操作が成功したかどうか分からずに不安である。 Therefore, after double-clicking, until really the startup screen is displayed it is an anxiety to not know whether the operation was successful.

【0078】多くのコンピュータおよびソフトウエアでは、この問題に対処するために、ダブルクリックしてプログラムを起動させると、直ちにマウスカーソルの表示を変化させ、起動が行われていることを知らせるようにしている。 [0078] In many of the computers and software, in order to cope with this problem, and to start the program by double-clicking, immediately changing the display of the mouse cursor, so as to indicate that the start-up has been carried out there. 例えば、矢印状のカーソルが砂時計の形に変わり、起動のための準備をしていることを示したりする。 For example, an arrow-shaped cursor changes to an hourglass, or indicates that the preparation for the start. この事実は、なんらかのフィードバックが重要であることを示している。 This fact indicates that some feedback is important.

【0079】一方、車載機器を運転者が運転中に操作することを考えると、このようにカーソルの形状を変えるなど、画面上の変化でフィードバックを行うことは適切でない。 [0079] On the other hand, considering that the driver of the vehicle apparatus to operate while driving, etc. thus changing the shape of the cursor, it is not appropriate to perform the feedback changes on the screen. なぜならば、フィードバックを確認するために、前方から注意を逸らさなくてはならないからである。 This is because, in order to check the feedback, because must be distracted from the front. 音でフィードバックを返すことは、運転者が前方から注意を逸らさずに確認することができ、特に本発明のような、ジェスチャによる操作入力装置には極めて有効である。 Returning the feedback sound may be the driver to confirm without distracting from the front, in particular as in the present invention is extremely effective for the operation input device with the gesture. 音声によるフィードバックには時間がかかるため、毎回聞かされると煩わしく感じるが、音によるフィードバックは瞬時に行われるため、煩わしさはなく、むしろ操作が完了したことを確認できて安心するという効果がある。 Because it takes time to feedback by the speech, but annoyed when told every time, the feedback by the sound to be done in an instant, not troublesome, there is an effect that peace of mind can be confirmed that the operation was completed but rather.

【0080】さらに、ジェスチャの種類によって音を変えると、正しいジェスチャが行われたどうかも判断することができる。 [0080] In addition, changing the sound depending on the type of gesture, it can also determine if the correct gesture has been made. 例えば、「ビュー」のジェスチャを提示したときは「ピッ」、「エアコン」のジェスチャを提示したときは「プッ」、「オーディオ」のジェスチャを提示したときは「ポッ」という音をフィードバックするようにすると、「オーディオ」操作を選択したつもりでも、「ピッ」という音が聞こえれば、操作が正しく行われなかったと知ることができる。 For example, when presenting a gesture of "view" of the "beep", so that when he presented a gesture of "air-conditioned" when presenting a gesture of "push", "audio" is to feed back the sound of "pop" then, also intends you select the "audio" operation, it is possible to know and if you hear the sound of "beep", the operation is not performed correctly.

【0081】実際には使用者は、「オーディオ」と「ポッ」という音が関係していると明確に記憶することは少ないかも知れないが、「オーディオ」のジェスチャに対し、常に「ポッ」という音を聞いていると、たまに異なる音が鳴ると違和感を覚えるものである。 [0081] In practice, the user, but it may be less a clear memory when the sound of the "audio", "pop" is concerned, for the gesture of the "audio", always referred to as a "pop" When listening to the sound, it is those that feel uncomfortable and sometimes different sound is heard. 従って、明確に何を間違ったかまでは分からなくとも、「正しく行われなかった」ことを知ることはできる。 Therefore, even if clearly not know until what was wrong, it is to know that "was not carried out correctly."

【0082】また、形状認識を行う際には、静止状態が検出されたときのみ形状認識処理を行うのが望ましいと述べた。 [0082] Further, when performing the shape recognition, it said is preferably performed only shape recognition processing when the stationary state is detected. そのような処理を行う場合は、静止形状を見つけた時点で音を鳴らし、ジェスチャが検出されたらジェスチャに応じてまた音を鳴らす。 When performing such processing, the beeps when it finds a static shape, ring the in addition the sound corresponding to the gesture When a gesture is detected. 例えば、静止状態を検出し、形状認識を開始したら、「ピー」という音を鳴らし、形状検出が成功したら、前述の「ピッ」「プッ」 For example, to detect the stationary state, Once you have initiated the shape recognition, a sound called "copy", if the shape detection succeeds, the above-mentioned "beep", "push"
「ポッ」のいずれかの音が鳴り、検出に失敗したら「ブー」という音が鳴る。 Sounds any of the sound of "pop" sound that if it fails to detect "Boo" is heard. これで認識が失敗したことがわかり、また、意図しないのにジェスチャが認識されてしまったときでもそのことを知ることができる。 It can be seen that this recognition has failed, also, it is possible to know that thing even when you gesture for not intended had been recognized.

【0083】なお、このように2段階で音を鳴らした方がよいかどうかは、認識処理にどのくらい時間がかかるかに依存する。 [0083] It is to be noted that in this way whether it is better to play the sound in two stages, depends on how long it takes to the recognition process. 例えば、0.2 秒静止状態が合ったときに認識を開始し、認識処理が0.1 秒で終了するなら、操作者が形状を提示してから0.3秒でジェスチャが検出される。 For example, to start the recognition when there is 0.2 seconds rest, if the recognition processing is completed in 0.1 seconds, the operator gesture is detected at 0.3 seconds after presenting the shape. この場合なら、2段階の音提示は必要ないかも知れない。 If this case, two-step sound presentation may not be necessary. 逆に0.2秒静止状態が合ったときに認識を開始し、認識処理が1秒で終了するなら、操作者が形状を提示してから1.2秒経たないとジェスチャが検出されたかどうかわからない。 The recognition starts when a 0.2 second stationary state the contrary, if the recognition process is finished in one second, the operator gesture when Less 1.2 seconds after presenting the shape is not known whether they have been detected. この場合には、2段階の音提示が有効である。 In this case, a two-stage sound presentation is valid.

【0084】この例で述べた、「ピッ」「プッ」「ポッ」などの表現はあくまで音の種類が違うことを表現したのみで、短時間の音であれば制限はない。 [0084] described in this example, expressions such as "beep", "push", "pop" is only expressed that the different types of merely sound, is not limited as long as it is a short time of the sound. ただし、3 However, 3
つの形状ジェスチャで出す音は、ある程度違いがすぐ分かる程度に違っていた方が望ましいし、例えば認識が失敗したときの音は「ブー」などの比較的、習慣、文化的に「失敗」と結びつきやすい音を採用するのが望ましい。 One is of sound put out in the shape gesture, to desirable person who was different to the extent that immediately apparent differences to some extent, for example, the sound of when recognition fails ties and relatively, habits such as "Boo", culturally "failure" it is desirable to adopt the easy sound.

【0085】<他のジェスチャ> 本実施例においては、第1のジェスチャ検出部は形状ジェスチャを検出し、第2のジェスチャ検出部は方向ジェスチャを検出という例で説明した。 [0085] In <other gestures> this embodiment, the first gesture detection unit detects the shape gesture, a second gesture detection unit described in the example of detecting the direction gesture. しかし、実施例はこれに限らず、あらゆる種類のジェスチャから、異なるカテゴリに属するジェスチャを2群選び、それを使って操作モード選択とパラメータ調整を行うものでもよい。 However, examples are not limited thereto, from any kind of the gesture, 2 gestures belonging to different categories Gun'erabi may be one that performs an operation mode selection and parameter adjustment with it.

【0086】またその特殊な例として、第1と第2のジェスチャ検出部が同じ種類のジェスチャを検出する場合も含まれる。 [0086] As the specific examples, but also the case where the first and second gesture detection unit detects a gesture of the same type. 例えば、はじめに方向ジェスチャで4つの操作モードを選び、次に方向ジェスチャでパラメータを変更する方法がある。 For example, initially select four modes of operation in the direction gesture, then there is a way to change the parameters in the direction gesture.

【0087】この場合、同じ方向ジェスチャが検出されたときにそれがどちらを制御するジェスチャなのかの判断は、現在操作モードが選択されているかどうかで決まる。 [0087] In this case, if it were the gestures to control either when the same direction gesture is detected decision depends on whether the current operation mode is selected. 操作モードが選択されていなければ、ジェスチャは操作選択のためのジェスチャであると判断され、既に操作モードが選択されていれば、ジェスチャはパラメータ変更のためのジェスチャであると判断される。 If the operation mode is not selected, the gesture is determined to be a gesture for operation selection, if it is selected already operating mode, the gesture is determined to be the gesture for the parameter change.

【0088】また、上述の例では、方向ジェスチャは、 [0088] In addition, in the above example, direction gesture,
どちらかの方向へのジェスチャがあったかどうかだけを判定した。 Only it was judged either of whether there was a gesture in the direction. そうではなく、手を上下左右に動かすことで連続的に値を変えることも可能である。 Rather, it is also possible to change continuously the value by moving the hand up and down and right and left. 例えば前述した実施例では、上方向ジェスチャを1回行う毎に、音量が少しずつ大きくなり、大幅に大きくしたいときには何度も上方向ジェスチャを提示しなくてはならない。 For example, in the above-mentioned embodiment, each performing the upward gesture once, the volume is increased little by little, it must be presented on the direction gesture many times when you want to greatly increase. これを手の上下方向に動かすとそれに従って音量が変わる。 Moving it to the up-and-down direction of the hand it in accordance with volume changes. そして、一定時間静止させるか、左右方向の動きを検出すると、その音量で固定する。 Then, whether to still a certain time, when detecting the lateral movement, fixed in its volume. 素早くパラメータを変えたいものにはこのような方法も適している。 The thing you want to change quickly parameters are also suitable for such a method.

【0089】また、上下左右の方向のみ述べたが、奥行き方向の動きも利用することができる。 [0089] Although described only vertical and horizontal directions, may also be utilized in the depth direction of the movement. 特開平10−1 JP-A-10-1
77449で発明された画像入力装置を使うと、物体距離に依存する反射光の強さが画像として得られるため、 Been With image input device invention in 77,449, because the intensity of the reflected light depends on the object distance is obtained as an image,
奥行き方向の位置を安定して求めることができるため、 It is possible to determine the depth direction position stably,
このような使い方には適している。 It is suitable for such use.

【0090】<回転ジェスチャ> 他の例として、方向ジェスチャではなく、回転ジェスチャを使うこともできる。 [0090] As <rotation gesture> another example, rather than the direction gesture can also be used a rotation gesture. つまり、つまみを持つような手の形状を提示し、つまみを回すような手の動きをすることにより、その動きの回転量が検出されるので、それをパラメータとして設定する。 That presents the shape of the hand, such as with a knob, by hand movements, such as turning a knob, the rotation amount of the motion is detected, to set it as a parameter. ちょうど音調調節つまみを回すような感覚が実現できる。 Just the feeling of turning the tone control knob can be realized.

【0091】<方向ジェスチャの入力方法> ここからは、上記に述べた実施例の一要素となっている、方向ジェスチャの入力方法について詳細に述べる。 [0091] <input method direction gesture> From here, has become an element of the embodiment described above, will be described in detail how to enter direction gesture. 方向ジェスチャの入力を実現する際に重要な点がある。 There are important points in implementing input direction gesture. それは繰り返し同じ方向のジェスチャが入力されうることであり、 It is to repeat the gesture in the same direction can be input,
そのときに安定して検出できることが重要である。 It is important to be able to detect stable at that time. 例えば、特願平9−199647で提案されている手振り入力装置では、装置の前を手が横切ることで入力を行っている。 For example, in gesture input apparatus proposed in Japanese Patent Application No. 9-199647 has been input by crossing hand in front of the device.

【0092】しかし、このような装置で、同じ方向のジェスチャを繰り返すと誤動作を起こす可能性がある。 [0092] However, in such apparatus, there may cause a repeated malfunction gesture in the same direction. すなわち、例えば、「右」、「右」と繰り返して入力する際には、2回の右方向ジェスチャの間で、手が一旦左側に戻らなくてはならない。 That is, for example, when you enter by repeating the "right", "right", in between the two right direction gesture, it must be temporarily return to the left hand. この際に、これが左方向ジェスチャと誤認識され、「右」、「右」と入力したつもりが、「右」、「左」、「右」と入力されてしまうことになる。 In this case, this is erroneously recognized as the left direction gesture, going to enter "right", "right" is, "right", "left", so that would be input as "right". これを防ぐには、左に戻すときには、センサに検知されないような位置を通って手が戻ることが必要である。 To prevent this, when returning to the left, it is necessary to hand back through the position that can not be detected in the sensor. そのような動作をしなければならないとすると、繰り返し同じ方向のジェスチャを入力するのは至極面倒くさいものになってしまう。 When must such operation, to enter a repeating gesture same direction becomes extremely troublesome ones.

【0093】<動いて、戻って、方向入力とする> それを解決するための方向ジェスチャ入力方法を図8に示す。 [0093] <moving, back, and direction input> Figure 8 shows the direction gesture input method to solve it. これは、安定して方向ジェスチャを取得するための処理をフローチャートで表している。 This represents a process for obtaining a direction gesture stable in the flow chart.

【0094】まず、使用者が手をカメラセンサの前に出したとき、直ちに動き情報を検出してしまうと、誤動作の原因になる。 [0094] First, when the user has dabbled in front of the camera sensor, and immediately result in detecting the motion information, cause of the malfunction. 従って、まず使用者はカメラセンサの前に手を出し、静止させることによって、これから方向ジェスチャを入力することを知らせる。 Therefore, first, the user issues a hand in front of the camera sensor, by stationary, indicating that the inputted therefrom direction gesture. 装置は、物体が画面中央の所定の領域内で一定時間静止したことを検出することによって(S23,S24)、使用者が方向ジェスチャを入力しようとしていると判断し、方向ジェスチャの検出を開始する。 Device, (S23, S24) by detecting that an object is stationary fixed time within a predetermined area of ​​the screen center, it is determined that the user is attempting to enter a direction gesture starts detecting the direction gesture .

【0095】手の位置の軌跡を追跡し、いずれかの方向に一定量だけ動いたことを検出する(S25,S2 [0095] Track locus of positions of the hand, detects that has moved by a predetermined amount in either direction (S25, S2
6)。 6). 検出する方向の数は、例えば4方向のジェスチャ検出であれば4つであるし、8方向であれば斜め方向も含め8つである。 The number of directions to be detected, to be four if eg four directions of the gesture detection is oblique direction eight included if eight directions. また、動きが上下左右だけでなく、奥行き方向であっても検出する場合もある。 The motion is not only vertically and horizontally, it may be detected even in the depth direction.

【0096】ある方向に一定量動いたことが検出されたら、次は反対方向、すなわち戻る方向に、一定量移動するかどうかを監視する(S27)。 [0096] When it is detected that has moved a predetermined amount in one direction, following the opposite direction, i.e. in the return direction, monitoring whether a predetermined amount of movement (S27). そして、反対方向に一定量移動し(S28)、そこでさらに一定時間静止したことを検出したとき(S29,S30)、方向ジェスチャがあったと判断する(S31)。 Then, a certain amount of movement in the opposite direction (S28), where when further detects that the stationary fixed time (S29, S30), it is determined that there is a direction gesture (S31). ここで述べている「静止」した状態とは、厳密には静止していなくとも、 Here, the state of being "still" have said, strictly speaking, need not be stationary,
動きが小さいときを含む。 Including when movement is small.

【0097】この方法の良いところは、同じ方向のジェスチャを連続して入力する場合、そのあいだの戻る動作が、反対方向のジェスチャとして誤認識されることが無いことである。 [0097] When good this way, when entering the gesture in the same direction in succession, the during the return operation, it is that there is no recognized erroneously as a gesture in the opposite direction. それは、常にジェスチャが中央付近から開始され、その付近に戻ることによってジェスチャが終了するからである。 It is always initiated gesture from near the center, because the gesture is completed by returning to near.

【0098】また、方向ジェスチャを次々と連続して入力したい場合に、一つひとつのジェスチャのつながりがスムーズなので、操作者にとって、作業がし易いという利点がある。 [0098] Also, in case you want to enter in succession one after the other direction gesture, because the ties of every single gesture smooth, there is an advantage for the operator, that is easy to work.

【0099】<音のフィードバック> また、方向ジェスチャを入力する際にも、音をフィードバックさせ、操作者に入力が受け付けられたことを知らせるのは有効である。 [0099] <feedback sound> In addition, when inputting the direction gesture, sound is fed back, it is effective to inform that the input to the operator is accepted. 図8の場合は、最後の静止状態で方向ジェスチャの検出が完了した時点で音を発生させる。 For Figure 8 generates a sound when the detection direction gesture is completed at the end of the quiescent state. また、入力された方向によって異なる音を発生させると、使用者は正しい入力が行われたことを確実に知ることができる。 Further, when generating a different sound by the input direction, the user can know for sure that the correct input is made.

【0100】<2度の音でフィードバック> 音をフィードバックさせるときに、2段階で音を発生させると、 [0100] when to feed back the sound <feedback at twice the sound of>, and to generate a sound in two stages,
さらに効果的な場合がある。 In some cases more effective. 図8中で、いずれかの方向に一定量動いたことを検出した時点で、一つ目の音を鳴らし、戻って静止して、方向ジェスチャが検出されたとき2つ目の音を鳴らす。 In Figure 8, when it is detected that the moved predetermined amount in either direction, a sound of one second, back stationary, ring the second sound when the direction gesture is detected.

【0101】このときに、いずれかの方向に動いた音と、戻って方向ジェスチャが検出されたときの音を変えておく。 [0101] keep in place at this time, and the sound that moves in either direction, the sound of when the direction gesture is detected back. すると、万一、戻る動作が、はじめのいずれかの方向に動く動作と誤って認識されたときでも、使用者にはそれがすぐに判る。 Then, event, return operation, even when it is recognized by mistake as the operation moves in either direction of the beginning, to the user it can be seen immediately. また、一つ目の音は、方向によって異ならせても良いが、戻る音は、いずれの場合でも同じにしたほうがよい。 Moreover, the sound of the first one, may be different depending on the direction, but back sound, it is better to be the same in either case.

【0102】例えば、上下左右の一つ目の音を「パ」 [0102] For example, "path" the top, bottom, left and right The first sound of the
「ピ」「プ」「ペ」、2つ目の音を全て「ポ」にすると、上下左右の音フィードバックとして、使用者には、 When you "pin", "up", "Bae", all of the second sound of "port", as up, down, left and right of the sound feedback, to the user,
「パポ」「ピポ」「プポ」「ペポ」と聞こえることになる。 It will be heard as "Pas Po", "Pipo", "Pupo", "pepo". スムーズに操作が行えるようになれば、これらはそれぞれひとつの効果音のようにも聞こえ、使用者にとって、違和感はない。 If to allow smooth operation, hear like the one these each of the sound effects, for the user, there is no discomfort.

【0103】<戻らないとキャンセル> いずれかの方向に一定量動かした後、あるいは動かそうとしているときに、間違いに気づいたり、気が変わったりした場合に、キャンセルしたいことがある。 [0103] After moving a certain amount in either direction <return not and Cancel>, or when you are trying to move, or noticed the mistake, if the mind has changed or, sometimes you want to cancel. 上記の方法を採っていれば、キャンセルしたい場合は、その動きのままカメラの視野外に手を出してしまうことによりキャンセルできる。 If taking the above method, if you want to cancel, it is canceled by would dabbled outside the field of view of the left camera of the motion.

【0104】あるいは、途中で、動きを止めてしまうことで、キャンセルすることもできる。 [0104] Alternatively, in the middle, that would stop the movement, it is also possible to cancel. 図8のフローチャートでは、一定時間経つと初期状態に戻るようになっている。 In the flowchart of FIG. 8 and returns to the initial state passes a predetermined time.

【0105】<元に戻るジェスチャ> 上記の例では、 [0105] In the example of the above-mentioned <gesture return to the original>,
方向ジェスチャだけについて述べたが、一般的に、位置の軌跡によって情報を提示する場合、「ある領域から始まり、その領域に到達して終わる」一連のジェスチャというのは、連続して入力するのに非常に適している。 Has been described only in the direction gesture, typically when presenting the information by the trace position, because "start from a certain area, that ends up reaching the region" a series of gestures to be continuously input It is very suitable. 例えば、図9に示すようなジェスチャはいずれもそうであり、これにより方向だけでなく、様々なジェスチャを入力することができる。 For example, a so Any gesture as shown in FIG. 9, thereby not only the direction, it is possible to input various gestures. 図9において、矢印が位置の軌跡を示している。 9, arrows indicate the trajectory of the position.

【0106】<距離の違いで戻る時の動きを除く> 上記のような構成により、戻るときの動作が誤動作を引き起こさないようにしながら連続的な方向ジェスチャの提示が可能になった。 [0106] With such a configuration that <of excluding the movement when it returns in the difference of the distance> of the above, the operation of when the return has been made available for continuous direction gesture of presentation while in so as not to cause a malfunction. しかし、場合によっては、やはり一方向に動かす動きで方向ジェスチャとしたいこともある。 However, in some cases, sometimes also wish to motion moving in one direction to the direction gesture. そのような戻す動きをするときには、やや手を引いた感じで戻すことが多い。 When such a return movement, it is often return feeling minus the little hand.

【0107】例えば、机の上を右方向へ2回なでることを考えると、まず机の表面を1回、右方向へ撫で、机から少し手を浮かせて左側に戻り、再度右方向に撫でる、 [0107] For example, considering that the stroking twice on top of the desk to the right direction, first stroking the surface of the desk once, to the right, back to the left to float a little hand from the desk, stroking in the right direction again,
という動作を通常行う。 Usually performs an operation that. この「少し浮かせた状態」というのは、空中のジェスチャで考えると、「少し引いた状態」となる。 Because this "state floated a little", given in the air of a gesture, a "state minus a little."

【0108】ところで、特開平10−177449に記載の画像入力装置では、手の相対的な距離情報を取得することができる。 [0108] Incidentally, the image input apparatus described in JP-A 10-177449 ​​can obtain the relative distance information of the hand. 従って、左に戻す動きが、右に動かす動きより、「少し引いた状態」で行われていることを検出することができる。 Therefore, it is possible to detect the motion to return to the left, from the motion of moving to the right, has been performed in the "state minus a bit." これを行う構成を図10に示す。 Figure 10 shows a structure to do this.

【0109】画像入力部32から入力される画像は、動き検出部34と距離検出部33に入力され、各々で、動き情報39と距離情報38が求められる。 [0109] the image input from the image input unit 32 is input to the motion detection unit 34 and the distance detection unit 33, in each, the motion information 39 and the distance information 38 is obtained. 判定部35 The determination unit 35
は、これらの情報から、動き検出部34から入力された動き情報が、動き入力なのか、戻るための動作なのかを判定する。 Determines from this information, the motion information input from the motion detection unit 34, whether the movement input, whether operation of the to return.

【0110】より具体的には、ある方向の方向ジェスチャが検出された直後に、反対方向の動きが検出され、しかもそのときの距離情報が、前回の方向ジェスチャに比べ遠い場合、これは戻るための動作であると判断する。 More specifically [0110] Immediately after the direction gesture certain direction is detected, is detected opposite movement, yet the distance information at that time, if the distant compared to the previous direction gesture, since it returns it is determined that the operation.
方向ジェスチャと判定されれば、操作実行部36に方向ジェスチャの情報を伝達し、必要に応じて音でフィードバックを発生させる。 If it is determined that the direction gesture, to transmit information of the direction gesture operation execution unit 36 ​​generates a feedback sound as needed. 戻りの動きであると判定されれば、操作実行部には何も伝達せず、また音フィードバックも発生させない。 If it is judged that the return movement, nothing is transmitted to the operation execution unit, also the sound feedback nor generated.

【0111】音フィードバックに関しては、右、左で音を変え、戻りが音を発生させないようにすれば、戻り動作が誤って、方向ジェスチャとして検出されてしまった場合は、使用者はすぐに気づくことができる。 [0111] With respect to the sound feedback, instead of the right, the sound on the left, if such return is not to generate a sound, incorrectly return operation, if you had been detected as the direction gesture, the user notice immediately be able to.

【0112】<2回目の動きを戻り動作と判定する> [0112] <determines that the operating return a second time of movement>
距離情報を取得できない画像センサを用いても、このような処理は必ずしも不可能ではない。 Even using the image sensor can not be acquired distance information, such process is not always possible. 動き情報しか取得できない画像センサの場合、動きの時系列を見て、戻り動作が何であるかを判断することができる。 For the image sensor only motion information can not be acquired, it is possible to look at the time series of motion to determine the return operation is.

【0113】例えば、「右」「左」「右」「左」「右」 [0113] For example, "right," "left," "right," "left," "right"
という入力があれば、これは右方向に3回の入力を行い、中の2つの左ジェスチャは戻り動作であると判定する。 If there is an input that determines that it performs an input of 3 times to the right, two left gesture in is return movement. しかし、単純にこれだけだと、途中で左ジェスチャに変えることができない。 However, if we simply this much, can not be changed to the left gesture on the way. それはそれぞれの動いている間の時間間隔、いわゆる「間(ま)」を上手く利用することで、判定できる。 It is the time interval between the moving of each, by taking advantage of the so-called "between (or)", it can be determined.

【0114】例えば、「右」「左」「右」(間)「左」 [0114] For example, "right", "left", "right" (between) the "left"
「右」「左」という入力があった場合は、「右」「右」 "Right" if there is an input of "left", "right", "right"
の入力の後、「左」「左」という入力がされたと判定できる。 After the input, it can be determined that the input that the "left," "left," has been.

【0115】<メニュー階層をたどる> これまで、主に、形状を提示するジェスチャ、方向を入力するジェスチャについて述べてきたが、これらのジェスチャを用いて、メニュー階層をたどっていくことが可能である。 [0115] <follow a menu hierarchy> far, mainly gesture to present a shape, have been described gesture to enter direction, using these gestures, it is possible to go down menu hierarchy . 機能が非常に多い装置を操作するインタフェースは、しばしば、機能をカテゴリに分け、階層構造にし、上から順にたどっていくことで機能に到達するようにしているものが多い。 Interface function to operate a very large devices are often divided functions into categories, and the hierarchical structure, there are many that are to reach the function by traced from the top.

【0116】例えば、コンピュータでは、マウスでカーソルを動かしながら、画面上のメニューを順に選択していく方法を採ることが多いし、カー・ナビゲーションなどの車載機器であれば、タッチパネルやリモコンの十字ボタンで、順にメニューを選択していく方法を採っていることが多い。 [0116] For example, in a computer, while moving the cursor with the mouse, to often take a way to continue to select the menu on the screen in the order, if the in-vehicle devices such as car navigation, cross buttons on the touch panel or the remote control in, in turn often adopts a way to continue to select the menu.

【0117】メニューを選択する場合に、方向キーなどを使わずに、方向ジェスチャで入力したり、ファンクションキーを押す替わりに、形状ジェスチャを提示したりするのは、有効な方法である。 [0117] In the case of selecting the menu, without the use of such direction key, or input in the direction gesture, instead of pressing a function key, to or presents a shape gesture, it is an effective method. 図11は、その構成図を表す。 Figure 11 represents the block diagram. 画像入力部40より入力された画像は、ジェスチャ検出部41で処理され、ジェスチャが提示された際にはそれを検出する。 Image input from the image input unit 40 is processed by the gesture detection unit 41, when the gesture is presented to detect it. メニュー制御部42は、検出されたジェスチャによりメニューをどう辿っているかを判定し、新しいメニューをメニュー表示部43に表示させる。 Menu controller 42 determines whether the follow what menu by detected gesture, displaying a new menu to the menu display section 43.

【0118】また、ジェスチャが検出された際には、フィードバック部44から使用者に音や音声でフィードバックする。 [0118] Further, when the gesture is detected, the feedback sound or voice to a user from the feedback unit 44. このときのメリットとして、操作がジェスチャであるため、ある機能に到達するまでの操作を記憶しやすいということがある。 As advantage of this time, since the operation is a gesture, sometimes referred to easily store operations to reach a certain function. 例えば、形状ジェスチャを用いて、「グー」「チョキ」「パー」と提示すれば、エアコンの温度設定になるという具合である。 For example, by using a shape gesture, if presented as a "rock", "scissors", "par", and so that it becomes air conditioner temperature setting. 使用者はこれらの全てを覚える必要はなく、使用頻度の高いものだけをジェスチャの時系列で覚えてしまえばよい。 The user does not need to remember all of these, only those most frequently used may once you remember in the time series of gestures.

【0119】実際は、ジェスチャの時系列、というのはやはりジェスチャであり、その点でこのインタフェースは、全ての機能をジェスチャと1対1に対応づけているとも言える。 [0119] In fact, a still gesture because the time series, the gesture, the interface at that point is, it can be said that in association with all of the functions in the gesture and the one-to-one. このとき、同じ形状が続く場合、それが2 At this time, if the same shape continues, it 2
回続いていることを示すのは難しい。 It is difficult to show that you are followed by times. 従って、「パー」 Thus, the "par"
を出して次のメニュー階層に移った場合、その階層では「パー」を提示するメニューが存在しないようにすると都合がよい。 The out if you moved to the next menu hierarchy, in the hierarchy it is convenient to so there is no menu to present the "par". つまり、どの機能を選択する場合でも、同じジェスチャを2回提示することが無いようにメニューのジェスチャを構成すると良い。 In other words, even if you select any function, the same gesture may constitute a gesture of the menu, as it is not to be presented twice.

【0120】<方向ジェスチャでメニュー階層を辿る> [0120] <follow the menu hierarchy in the direction gesture>
形状ジェスチャの提示でメニュー階層を辿る方法について述べたが、方向ジェスチャを用いても同様に可能である。 It describes how to follow the menu hierarchy presented shape gesture, but can be similarly implemented using the direction gesture. 方向ジェスチャを用いる場合、人間の手の動かし易さを考えると、4方向ジェスチャを用いるのが比較的望ましいが、4方向ジェスチャだと、4つまでのメニュー選択肢しか表示できないという欠点がある。 When using a direction gesture, given the move easily the human hand, although relatively desirable to use a four-way gesture, that's four directions gesture, there is a disadvantage that only menu choice up to 4 can not be displayed. これを解決するためのいくつかの実現方法がある。 There are several implementations for solving this.

【0121】<繰り返し入力> 例えば、「右に1回」 [0121] <repeatedly input> for example, "once to the right."
だけ動かす場合と、「右に2回」動かす場合では、異なる選択肢を選択できるように構成すればよい。 In the case of moving only when moving "twice to the right" may be configured to select different options. これは、 this is,
前述した方向ジェスチャ入力方法のうち、いずれかの方向に手を動かし元の位置に戻る一連の動作で、方向ジェスチャとする場合に適している。 Of the above-mentioned direction gesture input method, a series of operations to return in either direction to move the original position to hand, is suitable for the case where the direction gesture.

【0122】例えば、右方向に一定量動き、元の位置まで動いて静止すると、「右」が入力されるが、静止せずに、さらにもう一度右に動き、元の位置まで戻って静止すると、「右2」が入力されるようにする。 [0122] For example, a certain amount of motion in the right direction, when moving to rest to its original position, but "right" is input, without resting, once again moves to the right, when the still back to the original position, to ensure "the right 2" is input.

【0123】これを繰り返し行えば、基本的には無限の選択肢を選べるが、現実的には、2回もしくは3回程度の繰り返しに限定するのが妥当である。 [0123] be carried out repeatedly this, basically choose the infinite choices, in reality, it is reasonable to limit the repetition of about two times or three times. これは、マウスのクリックが通常シングルクリックとダブルクリックの2つであり、一部の専門家向けコンピュータで、トリプルクリックが実現されているぐらいである。 This is a click of the mouse is usually two of the single-click and double-click, in the part of the professional computer, is about triple-click is realized. 逆に、一般ユーザでもダブルクリックは当然のように使われており、2回ぐらいの連続入力は問題ない。 On the other hand, double-click in the general user are used to as a matter of course, the continuous input of about two times there is no problem.

【0124】方向ジェスチャでメニュー階層を辿っていく場合、例えば図12に示すような、メニュー画面が考えられる。 [0124] If we follow the menu hierarchy in the direction gesture, for example, as shown in FIG. 12, it is considered the menu screen. これは、動きの方向に各メニューが配置されているので、見やすい構成となっている。 Since this is arranged each menu in the direction of movement, it has a legible configuration.

【0125】また2回連続入力まで許す場合は、図13 [0125] In the case that allows up to two times the continuous input, as shown in FIG. 13
(a)のようなメニュー画面が考えられる。 Menu screen can be considered such as (a). 1回の方向入力で内側のメニューが、2回の方向メニューで外側のメニューが選択される。 Inside the menu in one direction input is outside the menu in two directions menu is selected. また、3回連続入力まで許すと、テンキーも方向ジェスチャで入力することが可能になる(図13(b))。 Also, if permitted until 3 consecutive input, numeric keypad also makes it possible to enter in the direction gesture (FIG 13 (b)).

【0126】<形状+方向> 方向ジェスチャを入力する際、手の形状も変え、形状と方向の組み合わせで選択肢を選ぶ方法もある。 [0126] when you enter the <shape + direction> direction gesture, hand shapes are also changing, there is also a method to select an option in the combination of the shape and direction. 方向を例えば、手全体の重心位置の移動で求めるとしたら、手の形状に関係なく方向を提示することができる。 The direction, for example, if we seek by moving the center of gravity of the entire hand can be presented direction regardless the shape of the hand. そのとき、1本指を伸ばした状態で左に動かすのと、2本指を伸ばした状態で左に動かした場合で、異なる選択肢が選ばれるようにすることができる。 Then, it is possible to make the move to the left in our extended one finger, when you move to the left in our extended two fingers, different choices are selected. 方向を繰り返し入力するのは手間がかかるが、形と方向を組み合わせる場合は、比較的選択肢を増やすのが容易である。 Although it is troublesome is to repeatedly enter direction, when combining the shape and direction, it is easy to increase the relatively choices.

【0127】<開始指示ボタン> ジェスチャを検出するのは、ある程度の処理コストがかかり、また、何気ない動作がジェスチャとして拾われてしまう危険性を常に持っている。 [0127] to detect the <start instruction button> gesture, take some of the processing cost, also, have always the risk of casual behavior will be picked up as a gesture. ジェスチャを提示する際に、必ず、ジェスチャ提示ボタンのようなものを押すようにすれば、これらの問題は発生しない。 When presenting the gesture, sure, if to press the kind of gesture presentation button, these problems do not occur.

【0128】<2次元ポインティングでの選択> このようなジェスチャによる入力インタフェースを例えば車載機器に搭載することによって、運転中の安全な操作が実現できる。 [0128] By mounting the input interface by such gestures <Selection of the two-dimensional pointing> For example the in-vehicle apparatus, safe operation during driving can be realized. しかし、これらの操作の中には運転中はまず操作しないものも含まれており、また、助手席者が操作する場合には必ずしも視線を前方に固定している必要はない。 However, some of these operations are included may not operate initially during operation, also, do not have to be fixed gaze forward if the passenger seat's operation.

【0129】従って、画面を見ながら行うのが合理的な操作については、そのように実現すればよい。 [0129] Accordingly, performed while viewing the screen for reasonable operation, it may be implemented as such. 方向で指示するというのは、視線を向けないで操作できるというメリットがある反面、多くの選択肢から選ぶ場合には、 Because an instruction in the direction, although there is an advantage that can be operated without direct the line of sight, when choosing from a number of choices,
前述のように、繰り返し方向ジェスチャを提示したり、 As described above, or presents a repetition direction gesture,
形状と方向を併用したりする必要があった。 There was a need or a combination of the shape and direction. 視線を画面に向けることができる状態では、ポイントの位置を使って選択するという方法もよい。 In a state capable of directing a line of sight on the screen, or a method of selecting with the location of the point.

【0130】そのときに問題になるのが、選択決定入力である。 [0130] The problem at that time, is a selective decision input. 例えば、マウスを使って画面上のアイコンを選択するときには、マウスカーソルをアイコン状に移動させてから、クリックすることによって、選択する。 For example, when selecting an icon on the screen using the mouse, move the mouse cursor to the icon shape, by clicking, selecting. 手振りを使って同様のことを実現する場合、クリックに相当する決定入力をどうするかが問題になる。 If you want to achieve the same thing by using the hand gestures, what to do with the decision input that corresponds to the click becomes a problem. パーからグーへと「掴む」ように手の形を変えたり、ボタンを扱うように「押す」動作を行ったりして、それを決定入力とする方法が考えられる。 Or changing from par to goo "grab" as in the shape of a hand, "press" to handle the button or performs an operation, it is considered how to do it and the decision input.

【0131】しかし、そのような動作をさせると、その動作の過程で、位置情報の変動が起こり、隣のアイコンを選択してしまう、ということがよく起こる。 [0131] However, when to such operation, in the course of its operation, occur fluctuation of the position information, thereby selecting the next icon, it often occurs that. これは、 this is,
「位置を動かす」という動作と「形状を変える」または「前後に押す」という動作が独立していないからである。 This is because the operation is not independent of the action of "position to move the" "changing the shape" or "push back and forth." これは人がこれらを独立して制御するのが難しいという場合もあるし、装置の特性としてそれらを分離しにくいという場合もある。 This to human sometimes that it is difficult to independently control them, in some cases that it is difficult to separate them as a characteristic of the device.

【0132】また、一定時間以上の静止状態で選択トリガとすることもできるが、静止する時間が必要であったり、迷っている間に静止状態になってしまったりすることがある。 [0132] Although it is possible to selectively trigger at rest over a certain time, or a time required for stationary, may or has become stationary while lost. 人の動きの中で、独立に動かすことが容易であり、なおかつそれを独立にセンシングできるような2 Among the human motion, it is easy to move independently, yet that can sense it independently 2
つの動きを、「選択」と「決定」に利用することで、より安定した操作を実現することができる。 One of the motion, by using the "determination" and "selection", it is possible to realize a more stable operation.

【0133】これを図14で説明する。 [0133] To illustrate this in Figure 14. 画像入力部46 The image input unit 46
より入力された画像は、第1の動き検出部47と第2の動き検出部49に伝達され、それぞれの検出部で上述したような、それぞれ独立な動き情報を検出する。 More input image includes a first motion detection unit 47 is transmitted to the second motion detection unit 49, as described above with each of the detection unit detects the independent motion information. 選択肢または値の選択部48は第1の動き検出部47の出力に応じて、現在なにが選択されているかを判断する。 Selector 48 choices or value depending on the output of the first motion detection unit 47, it determines what is currently selected. この結果は典型的には、図示しない表示部において、反転表示するなどにより、操作者にフィードバックされる。 The result is typically a display unit (not shown), such as by highlighting, it is fed back to the operator.

【0134】決定動作判定部50は、第2の動き検出部49の出力を解析し、決定動作が行われたどうかを判定する。 [0134] determining operation determining unit 50 analyzes the output of the second motion detection unit 49 determines the decision operation is performed assimilation. 操作入力処理部51は、選択肢または値の選択部48と決定動作判定部50の出力を用いて、何が選択決定されたかを判定し、実際に処理を行う、操作実行部5 The operation input processing unit 51 uses the output of the selector 48 and the determining operation determining unit 50 of the option or value, to determine what is selected and determined, actually performs the processing, the operation execution unit 5
2に送る。 And sends it to the 2.

【0135】<2つの動きで選択と決定> より具体的には、例えば、左右の動きと上下の動きを組み合わせる方法である。 [0135] More specifically <determine the selection in two motion>, for example, a method in which the left and right motion combining the up and down motion. 左右方向の動きで、左右に並んだメニューを選ぶ。 The left and right direction of movement, choose a side-by-side menu. 現在選択されているメニューは例えば反転表示されるなどして、何が選ばれているかが分かる。 Current menu is selected by, for example, is highlighted for instance, or can be seen what is selected. この状態では、仮に選択した段階であり、ここから上下の動きをすることによって、選択肢を決定する。 In this state, a tentatively selected stages, by the vertical movement here, to determine the choice.

【0136】上の例では、左右方向で「選択」し、上下方向で「決定」したが、これには理由がある。 [0136] In the above example, the "Select" in the left-right direction, but was "determined" in the vertical direction, there is a reason for this. 一般的に人は、左右方向の動きの方がより細かく位置を指示することができるため、左右方向を「選択」の方向とした。 Generally human, since it is possible towards the lateral movement instructs the finer position and the left-right direction and the direction of "selection".
上下運動はトリガ入力だけなので、それほど細かく制御できなくても問題ない。 Since the up-and-down motion is only a trigger input, there is no problem even if you can not control so finely. ただし、これは一般論であり、 However, this is a general theory,
操作の条件(体の姿勢など)によって逆の場合もあり得るが、いずれにしろ、細かく制御し易い方向を「選択」 Although there may be a case of reverse by operating conditions (such as the body posture), anyway, finely controlled easily Direction "selection"
の方向にするのは重要である。 It is important to the direction.

【0137】例えば、図15(a)は、この方法で選択をする場合のメニュー画面の一例であるが、図中に矢印で示したように、横方向の動きで選択し、縦方向の動きで決定する。 [0137] For example, FIG. 15 (a) is one example of a menu screen when the selection in this way, as indicated by the arrow in the figure, selected by the lateral movement, vertical movement in the decision. 同図(b)は、選択肢が多いため、左右にスクロールするためのアイコンを配置してある。 FIG (b), since the choice is large, is arranged icons to scroll left and right. ここを選択しているとメニューが次々とスクロールしていく。 Going to the menu one after another scroll and is selected here.

【0138】<上下の動きを別々に使う> また、上の例では、上下方向はどちらも単に「決定」であったが、 [0138] <use the up and down movement separately> In addition, in the above example, the up-and-down direction was simply both "decision",
メニューを上下2段にして、上と下の方向でそれぞれ上下のメニューを選択することもできる。 And a menu two upper and lower stages, it is also possible to select a menu in the vertical, respectively in the direction of above and below. こうすると倍の選択肢を一度に表示できる。 In this way multiple of the choices can be displayed at one time. この場合は、仮の選択状態(例えば反転表示など)は、上下2つのメニュー同時選択しておいて、「決定」の入力でどちらかに確定する。 In this case, the temporary selected state (for example, highlighted, etc.), two upper and lower sure you menu simultaneously selected, to confirm either at the input of the "determination".

【0139】例えば、この選択方法を行うための、メニュー画面例を図16に示す。 [0139] For example, in order to perform this selection process, showing a menu screen example in FIG. 16. 例えば茨城県、山梨県のところを選択しておき、上に動かしたら茨城県、下に動かしたら山梨県が選択決定される。 For example, Ibaraki Prefecture, have selected the place of Yamanashi Prefecture, If you move to the top Ibaraki Prefecture, Yamanashi Prefecture is selected and determined When you move to the bottom. ここでは、端の「他の地域」および「戻る」のアイコンは、上下どちらに動かしても選択される。 Here, the icon of "other regions" and "back" in the end is also selected by moving either up or down.

【0140】<上下に動いて戻る> これまでの例では、上下いずれかに動かして選択したら、手は上か下に移動してしまうので、連続したメニュー操作を行う場合には、適していない。 [0140] In the example of the ever <up and down to move to return to>, Once you have selected by moving up and down either, because the hand would move up or down, in the case of a continuous menu operation, not suitable . 上下いずれかに一定量動き、元の場所に戻ったときに、「決定」されるようにすると、連続したメニュー選択を行いやすい。 Certain amount of motion in the vertical one, when returning to its original location, when to be "determined", easily performed continuous menu selection. ちょうど、前述の例で、右に動いて、中央に戻ったときに「右」ジェスチャと認識させたのと同様である。 Just, in the above example, to move rightward, it is the same as was recognized as "right" gesture when you return to the center.

【0141】<横、縦、横と連続> 50音表から、文字を選ぶような場合には、一度に表示したい選択肢の数が多い。 [0141] from <horizontal, vertical, horizontal and continuous> 50 sound table, in the case, such as choosing a character, the number of choices often you want to display at once. このような場合、まず横の動きで、「ア行」 In such a case, first with lateral movement, "A Line"
「カ行」「サ行」といった「行」を選択し、次いで縦の動きで、5文字のうちひとつを選び、さらに横の動きで選択するという方法も採れる。 Select the "row", such as "Ka Line," "Sa line", followed by the vertical movement, to choose one of five characters, also splendid method of selecting a further lateral movement. また、一旦横の動きで行を選んだら、次の縦の動きで文字を選んでいるときに、 In addition, once Once you have selected a row in the lateral movement, when you have selected the character in the following vertical movement,
多少横方向に動いてしまっても、再び違う行を選択してしまうようなことが合ってはならない。 Even if I move somewhat in the transverse direction, it shall not be possible that would select again different line.

【0142】この場合、一旦横方向を決定したら、次に縦方向を決定するまでは、横方向の動きは検出しないというような処理を行うとよい。 [0142] After this, once it determined laterally until then determines the longitudinal, lateral movement may performs processing as not to detect. もちろん50音表の場合は、単純に、上下左右の位置でカーソルを表示し、直接選択することもできる。 Of course if the 50 sound table can simply display the cursor at the position of vertical and horizontal, also be selected directly. この場合は、奥行き方向の動きか、静止情報などで決定することになる。 In this case, either the depth direction of the movement, will determine such a static information. さらに、奥行きを変えると、ひらがな、カタカナにかわると言った具合に、さらに奥行き情報も利用することも可能である。 In addition, changing the depth, Hiragana, and so told the alternative to katakana, it is also possible to also use further depth information.

【0143】また、指すときの指の形で濁点、半濁点などを指定することもでき、濁点などを独立して入力するより効率がよい。 [0143] Further, it voiced in the form of a finger when referring, can also specify such handakuten, more efficient than typing etc. independently turbidity point. 例えば、2本指で選択すると濁点、3 For example, selecting two fingers turbidity point, 3
本指で選択すると半濁点という具合である。 When you select in this finger and so that the semi-voiced sound mark.

【0144】<センサの取り付け位置> 特開平10− [0144] <mounting position of the sensor> JP 10-
177449で提案した画像入力センサなどを用いて、 Such as by using the image input sensor proposed in 177449,
車載用の操作入力装置を構成する場合、そのセンサの設置位置というのは、使い勝手、性能に大きく左右する。 When configuring the operation input device for vehicle, because the installation position of the sensor, ease of use, performance significantly affects.

【0145】運転者が運転中に安全に操作できることを最重要視するなら、運転者がハンドルに手を乗せたまま、あるいはほとんどハンドルから手を離さずに操作できるような場所に、カメラを配置するのがよい。 [0145] If the driver is the most important to be able to safely operation while driving, while the driver has put a hand on the handle, or in places such as can be operated without removing the hand from the little handle, place the camera it is preferable to. 例えば、ハンドルの奥側に、ハンドルを持った手の方を向くように配置するのが一例である。 For example, the back side of the handle, is an example of disposing so as to face toward the hand holding the handle.

【0146】また、カーブを切るときには通常操作はしないが、緩やかなカーブなど、わずかにハンドルを切っているときに操作を行う場合は想定できる。 [0146] In addition, although not normal operation when turning off the curve, such as a gentle curve, the case of performing the operation when you are slightly off the handle can be assumed. すると、ハンドルの裏側で、直接ハンドルに取り付けてしまうこともできる。 Then, the back side of the handle, it is also possible to become directly attached to the handle. そうすると、ハンドルの状態に関わらず、手とカメラの位置関係(距離、向き)などに変化が無く、 Then, regardless of the state of the handle, the positional relationship between the hand and the camera (distance, direction) such as in there is no change,
安定した検出性能を得ることができる。 It is possible to obtain a stable detection performance.

【0147】これらの場合、画像入力には、ハンドルなどの部品が含まれていることが多いので、これらの影響を受けないような処理を行う。 [0147] In these cases, the image input, since it is often contain components such as handles, performs processing so as not undergo these effects. また、このとき、画像を処理する場合、画像の上下、左右方向の動きを求めるのは、斜め方向の動きを検出するより、容易であるため、 Also, this time, when processing an image, the top and bottom of the image, determine the lateral movement, from detects the oblique movement is easy,
手の位置とその動き方向に合わせて、カメラの向きを設置することが重要である。 The combined position of the hand and its movement direction, it is important to set up the direction of the camera.

【0148】また、運転者だけでなく、助手席者も操作する場合は、双方の中間位置に配置するのが望ましい。 [0148] In addition to the driver, when operating even passenger seat's is desirably located in both the intermediate position.
この場合は、運転者が無理なく手を伸ばせるところを検出できるような位置に配置してあることが必要である。 In this case, it is necessary that is disposed at a position such that it can be detected and where can stretch without strain hand driver.
また、ジェスチャ操作を行う場合、特に位置を指示するような場合は、肘や手首など腕の一部を、固定するか台などの上に乗せることにより、安定して操作が行える。 When performing a gesture operation, especially if such an instruction position, a portion of the arm, such as elbows, wrists, by placing on top of such or pedestal for fixing, enables stable operation.

【0149】従って、肘や手首を乗せることができる台を適当な場所に配置しておくのが重要である。 [0149] Therefore, it is important idea to place the table that can put the elbow and wrist in a suitable location. また、これは、操作する手のおよその場所を決める役割もあり、 In addition, this is, is also responsible for determining the approximate location of the hand to operate,
安定した性能を確保するために重要である。 It is important in order to ensure stable performance. 例えば、図17の53のような形が考えられる。 For example, it is conceivable shaped like 53 in FIG. 17. ここでは、斜め方向にカメラ54が配置してあり、手があまりカメラに近づかないよう、くぼみを設けている。 Here, Yes in camera 54 are disposed in an oblique direction, so that does not approach too camera hand, are provided recesses.

【0150】また、特開平10−177449で発明した画像入力装置は、自身で発光手段を持っているため、 [0150] Further, since the image input device invented in JP 10-177449 ​​is to have a light-emitting unit itself,
周りの明るさに寄らず、物体形状を撮像できる。 Regardless of the ambient brightness can image the object shape. しかし、極度に明るい外光、例えば直射日光などがある場合は、影響を受ける可能性がある。 However, extremely bright external light, e.g., when there is direct sunlight may be affected. 特に、画像入力装置の発光手段が照らす部分に、強力な外光が当たっていると、画像の劣化を引き起こしやすい。 In particular, the light emitting means illuminates the portion of the image input device, when a strong external light is striking, likely to cause image deterioration.

【0151】そこで、画像入力装置が撮像している手の表面に、強い外光が当たらないような位置関係にセンサを配置することは、性能向上や使用する光学BPFの低コスト化などの効果がある。 [0151] Therefore, the surface of the hand image input device is captured, a strong external light is to place the sensor in a position relation does not touch, the effect of such cost reduction of the optical BPF for improved performance and use there is.

【0152】例えば図17(b)は図17(a)の形状の断面図を示しているが、手のひら55は下を向いているため、ここに強力な外光が当たることは少ない。 [0152] For example, FIG. 17 (b) is a cross-sectional view of the shape of FIG. 17 (a), the order palm 55 facing down, it is less striking strong external light here. また、操作のしやすさを損なわない程度に、外光を遮蔽する手段を持つのも有効である。 Furthermore, to the extent not to impair the ease of operation, it is also effective to have a means for shielding the external light.

【0153】<運転者、助手席者を認識> カー・ナビゲーションのような高度な情報機器は、運転者が操作に集中すると危険なため、運転中は行ってはいけない操作がある。 [0153] advanced information devices, such as the <driver, the recognition passenger seat's> car navigation, because it is dangerous when the driver concentrate on the operation, during operation there is an operation that must not be carried out. 例えば、目的地を登録するといった操作は、非常に煩雑であるため、運転中は操作できないようになっている。 For example, operations such as registering the destination are the very complicated, during operation so as not be operated. 従って、通常は車速センサの入力を使用し、走行中はこれらの操作ができないようになっている。 Therefore, usually using input from the vehicle speed sensor, while driving is not allowed to be these operations.

【0154】しかし、走行中であっても助手席者が操作するのは本来危険ではないのに、現状では操作ができないようになっている。 [0154] However, although even during the traveling passenger seat's not inherently dangerous to operate, so that it can not operate at present. 現在操作を行おうとしている人が運転者なのか助手席者なのかが検出できれば、運転者のみの操作を禁止することが可能となる。 If you can detect if the person that you are trying to current operation of a driver of the whether the front passenger seat's, it becomes possible to prohibit the operation of only the driver. 画像センサを使って、操作している人全体を撮像することによって、あるいは全体ではなくとも、操作している手の上腕程度まで撮像すれば、それが運転席、助手席どちらから伸びている手かどうかは判断することができる。 Using an image sensor, by imaging the entire person operating, or if not the entire, if the imaging to the upper arm about the hand is operating, it extends from either the driver's seat, passenger seat hand whether or not it can be determined.

【0155】図18は、これを実現する装置の構成図である。 [0155] Figure 18 is a schematic diagram of an apparatus for realizing this. 操作者判定部58は画像入力センサ57からの入力画像を用いて、操作者が運転者であるか助手席者であるかを判定する。 Operator determination unit 58 using the input image from the image input sensor 57, the operator judges whether the passenger's seat who is the driver. その結果は、操作入力処理部60に送られ、操作不可能な機能であれば、実行を拒否し、操作できない旨を操作者に知らせる。 The result is sent to the operation input processing section 60, if inoperable functions, refuse to run, informing the operator that it can not operate.

【0156】<音声認識との併用> 本発明で説明している、ジェスチャによる入力と同様に、運転者が運転中に安全に操作ができる装置として、音声認識を用いた入力装置がある。 [0156] described in the present invention <combination with speech recognition>, like the input with the gesture, the device driver can safely operate while driving, there is an input device using a voice recognition. これは、運転者が発した音声をマイクで検出し、その音声データを解析し、使用者の意図を判定し、操作に結びつけるものである。 This sound driver is emitted and detected by a microphone, analyzes the voice data, to determine the intention of the user are those linked to the operation. 音声認識を使った装置は、コマンドを覚えるのが容易でしゃべるだけなので誰にでも使えるといったメリットがある反面、操作をする際にいつもしゃべらなければならない誤認識が多いといった問題がある。 Device using speech recognition, although there is a merit available to everyone because it only speaks is easy to remember the command, there is a problem often erroneous recognition must speak always at the time of the operation. 本発明のジェスチャ入力装置と、音声認識を組み合わせることにより、より扱いやすいシステムを構築できる。 A gesture input apparatus of the present invention, by combining the voice recognition, can be constructed more manageable system.

【0157】例えば、機能の選択は、音声を使うと階層を辿らずに即座に行えるので、音声認識を用い、パラメータの入力は、直感的なジェスチャを用いた入力を行う。 [0157] For example, selection of the functions, so done immediately without traversing the hierarchy With audio, using voice recognition, input parameters, perform input with an intuitive gesture. 例えば、「音量」といった後、手を左右に(あるいは上下でも奥行き方向でもよい)動かすことで音量がダイナミックに調整される。 For example, after such "volume", the hand (or in the depth direction at or above and below) to the right and left volume by moving is adjusted dynamically. ちょうど良いと思ったところで、「OK」と発声すると決定される。 Now that I thought just good, it is determined to say "OK".

【0158】あるいは、位置の指示を行うときに決定入力として音声入力を用いることもできる。 [0158] Alternatively, it is also possible to use the speech input as a decision input When an instruction position. さらには、ジェスチャによって選択されている対象に対し、複数の実行可能な操作を、音声入力で指示することができる。 Furthermore, with respect to the object selected by the gesture, a plurality of executable operations can be indicated by voice input.

【0159】例えば、地図上に表示されているレストランをジェスチャによって選択し、「電話」「情報」「経路」などの音声コマンドを発行できる。 [0159] For example, a restaurant that is displayed on the map and selected by the gesture, can issue voice commands such as "telephone", "information", "path". 「電話」と発声するとそのレストランへ電話をかけ、「情報」と発声するとそのレストランに関する情報を表示し、「経路」と発声するとそのレストランへの経路探索を開始する。 Make a phone call to the restaurant and say "Phone", and say "information" to display the information about the restaurant, to start the route search to the restaurant and say "route".

【0160】<接触板> 肘や手首などを台などに乗せて操作をするとより安定した操作ができることを既に述べたが、検出する手や指自体を、乗せることのできる台などを用意することも大きな効果がある。 [0160] <contact plate> but more stable operation and the like elbow and wrist put such as the pedestal to the operation has already stated that you can, a hand or finger itself to be detected, providing a such platform that can be put there is also a significant effect. そのような構成を図17(c)に示す。 Such an arrangement is illustrated in FIG. 17 (c). ここでは、特開平10−17 Here, JP-A-10-17
7449に記載の、画像入力装置が画像センサとして配置されている。 According to 7449, an image input device is arranged as an image sensor.

【0161】また、操作者の手との間に、透明または半透明状の板56が配置してある。 [0161] Further, between the operator's hand, a transparent or semi-transparent plate 56 is arranged. これには反射防止加工を施しておくと、よけいな反射がなくなり安定して画像を得ることができる。 If you leave an antireflection processing thereto, it is possible to obtain a stable image eliminates superfluous reflections. あるいはこの板には、当該画像入力装置が備えている発光手段による光の波長のみを通過させるような、光学バンドパス特性を持ったものでも良い。 Or the plate, such as to pass only the wavelength of light by the light emitting means in which the image input apparatus is provided, may be one having an optical band-pass characteristics. 半透明状の板の場合、通過する光の量が変わるので感度に影響する他は、基本的に板が無いときと同様に動作する。 For semitransparent plate, in addition to affecting the sensitivity since the amount of light changes may be passed, behaves as if essentially no plate. 板があることによる効果は以下の通りである。 Effect that there is a plate is as follows.

【0162】まず、操作者は常にこの板に触れるか触れないかぐらいで操作を行うようにすることで、手とセンサカメラとの距離がほぼ一定に保たれ、安定して検出できるという利点がある。 [0162] First, the operator always possible to perform the operation at long does not touch or touch the plate, kept at a distance substantially constant between the hand and the sensor camera, the advantage can be detected stably is there. また、特に位置を指示するときに顕著であるが、人は空中で指を静止させるよりは、板の上に置いて静止している方が容易である。 Although a noticeable when directing particular position, one can than be stationary finger in the air, it is easier stationary placed on the plate.

【0163】また、方向ジェスチャを入力するときは、 [0163] Also, when you enter the direction gesture,
指示する方向に動かすときは、わずかに板に触れるようにし、戻るときには触れないようにすることで、確実に距離の違いを表すことができる。 When moved in the direction indicated, by slightly then touch the plate, so as not to touch the back when it is possible to reliably express the difference between the distances. また、板に触れているときの検出距離はかなり安定して、小さな幅に収まるため、触っているかどうかを距離値(実際には、反射光量から換算される距離情報)で判定することができる。 The detection distance when touching the plate is fairly stable, due to fit into a small width (actually, the distance information converted from the reflected light quantity) whether touching distance value can be determined by .

【0164】これにより、例えば、形状ジェスチャとして、1本指で板を触る、2本指で板を触る、というように触る指の数で表すこともかのうである。 [0164] Thus, for example, as the shape gesture, touch the plate with one finger, touching the plate with two fingers, it is possible to represent the number of fingers touching and so on. また、手全体の形状も検出されているので、触った指がどの指かも検出することができ、形状ジェスチャの種類を容易に増やすことができる。 Further, the shape of the entire hand has also been detected, touch could be a finger to detect be any finger, the type of shape gestures can be easily increased.

【0165】また、カメラの位置は、この図では手の指方向斜めから手を捉えているが、この位置はここに限らず、例えば、手の真下であったり、手首方向斜めからであったりしてもよい。 [0165] The position of the camera, although captures the hand from finger direction oblique hand in this figure, this position is not limited to this case, for example, or a below the hand, or even from the wrist direction obliquely it may be. しかし、指先の方の形状がやや重要であることが多いため、この方向から撮像した方が、 However, since it is often shaped towards the fingertip is somewhat important, is better captured from this direction,
安定した検出が可能になる。 It is possible to stable detection.

【0166】<形状検出> 触った形状のみで、動作をさせようと思えば、さらに異なる構造を持たせることもできる。 [0166] <shape detection> touched shape only, if you try to operation, it is also possible to have a further different structure. 画像センサとして、CCDカメラが配置されており、外部からの光を拡散する拡散板がある。 An image sensor, CCD camera is arranged, there is a diffusion plate for diffusing the light from the outside. 通常外部からの光が拡散板を通してカメラに入射しているため、 Since the light from the normal outside is incident on the camera through the diffusion plate,
カメラはぼんやりと明るい画像を常に捉えている。 The camera has always captured the dimly bright image. 操作者が手や指を、拡散板の上に載せたとき、その部分からは光が到達しないので、黒い部分として撮像される。 Operator hands and fingers, when placed on the diffusion plate, the light does not reach from the part is imaged as black portions.

【0167】この画像を解析することによって、何ヶ所指が触れているか、あるいは触れた指がどちらの方向に動いたかという情報を検出することができる。 [0167] By analyzing the image, it is possible to detect the information of what places the finger is touching, or touched finger is moved in either direction. あるいは触れてはいないが非常に近い場合は、黒に近い灰色として撮像されるので、これも利用することが可能である。 Or if no but very close not mention, because they are captured as gray close to black, which also can be utilized.
周りが暗い場合には、外光が利用できないので、その場合は補助的な光源を外部に持つことで同様の動作を行える。 If around it is dark, because the external light is not available, in which case perform the same operation by having an auxiliary light source to the outside.

【0168】また、本願発明の実施例における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能である。 [0168] Also, to achieve the processing in the embodiment of the present invention in a program executable by a computer, it is also possible to implement the program as a computer-readable storage medium.

【0169】<記録媒体> なお、本願発明における記憶媒体としては、磁気ディスク、フロッピーディスク、 [0169] <Recording medium> As the storage medium in the present invention, a magnetic disk, a floppy disk,
ハードディスク、光ディスク(CD−ROM,CD− Hard disk, optical disk (CD-ROM, CD-
R,DVD等)、光磁気ディスク(MO等)、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。 R, DVD etc.), a magneto-optical disk (MO or the like), or a semiconductor memory, can store the program, and any computer-readable storage medium may be its storage format of any form.

【0170】また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているOS(オペレーションシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。 [0170] In addition, OS from a storage medium running on the computer based on instructions of a program installed in a computer (operating system) and a database management software, MW such as a network (middleware) etc. implement this embodiment You may execute a part of each processing to.

【0171】さらに、本願発明における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。 [0171] Further, the storage medium in the present invention is not limited to a medium independent from the computer, the storage medium which stores or temporarily stores download a program transmitted via a LAN, the Internet, etc. are included.

【0172】また、記憶媒体は1つに限らず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。 [0172] The storage medium is not limited to one, even if the process in the present embodiment a plurality of the medium is performed, is included in the storage medium in the present invention, be configured in any arrangement of the medium good.

【0173】なお、本願発明におけるコンピュータは、 [0173] The computer in the present invention,
記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。 Based on a program stored in a storage medium, be one which executes each processing in this embodiment, consists of one such as a personal computer device, a plurality of devices be any structure such as a network connected system it may be.

【0174】また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。 [0174] Also, the computer in the present invention is not limited to a personal computer, an arithmetic processing unit included in the information processing apparatus, a microcomputer or the like, capable devices to realize the functions of the present invention by a program, collectively device doing.

【0175】<まとめ> 第1の発明によれば、人の身体あるいはその一部の形状や動きなどのジェスチャのうち、異なる2つの種類のジェスチャを用いて操作を行い、第1の種類のジェスチャで、操作モードの選択を行い、第2の種類のジェスチャでその操作モードないでのパラメータの変更を行うことができる操作入力装置が実現できる。 [0175] According to <Summary> first invention, among the gesture, such as the body or a part of the shape and movement of a human, do with two types of gestures that are different, the first type of gesture in, and selects the operation mode, the operation can be changed parameters is not the operation mode in the second type of gesture input device can be realized.

【0176】第2の発明によれば、形状を提示するという形状ジェスチャで操作モードを選択し、方向を指示する方向ジェスチャでパラメータを変更するという極めて使用者にとって自然な操作入力装置が実現できる。 [0176] According to the second invention, to select the operating mode in the form gesture of presenting a shape, natural operation input device for extremely user of changing the parameter in the direction gesture indicating a direction can be realized.

【0177】第3の発明によれば、ひとつの形状ジェスチャには、ひとつあるいは類似した複数の操作モードが対応づけられており、形状ジェスチャ検出手段が同一の形状ジェスチャを連続して検出したときに、その形状ジェスチャに関連づけられた複数の操作モードを順番に選択していくことができるため、類似の操作モードが複数ある時、それら全てに異なるジェスチャを割り当てるという、使用者にとって負担の大きい手段を採らずに、多くの類似の操作モードを選択できる。 [0177] According to the third aspect of the invention, the one-shaped gesture, and one or similar plurality of operation modes associated, when the shape gesture detection means detects successively the same shape gesture , it is possible to continue to select a plurality of operation modes associated with the shape gesture in order, when the similar operation mode there is a plurality, of assigning gestures different to all of them, a large section of the burden for the user not taken, you can select the mode of operation of many similar.

【0178】第4の発明によれば、形状ジェスチャ検出手段は、人の身体あるいはその一部の動きが一定時間以上静止あるいは動きの小さい状態であることを検出したときに、形状の検出を開始するので、意図しない操作者の動きが形状ジェスチャとして誤認識されてしまうことを防ぐことができる。 [0178] According to the fourth invention, the shape gesture detection means, when the body or a part of the movement of a person is detected to be a small state with stationary or motion predetermined time or more, starts the detection of the shape since, it is possible to prevent the unintended operator movements from being erroneously recognized as a shape gesture. また、静止したときのみ形状認識処理を行うので、処理コストを低くすることができる。 Further, since the observed shape recognition process when stationary, it is possible to lower the processing cost.

【0179】第5の発明によれば、表示手段に、選択可能な操作モードとそれを選択するための形状ジェスチャを表す画像、あるいは変更可能なパラメータとそれを変更するための方向を表す画像を併せて表示するので、操作者がジェスチャを忘れたときには、わざわざ取扱説明書を開かなくとも、ジェスチャの種類を知ることができる。 [0179] According to the fifth aspect, the display means, an image representing the direction to change it and image or changeable parameters, representative of the shape gesture for selecting it with selectable operating modes since the same time to display, when the operator has forgotten the gesture, without bother to open the instruction manual, it is possible to know the kind of gesture.

【0180】第6の発明によれば、現在選択可能な操作モードあるいは変更可能なパラメータなどの情報を音声で提示するので、操作者が前方を注視したままで、現在の操作の状況を知ることができる。 [0180] According to the sixth invention, since the present information such as the current selectable operating modes or modifiable parameters in speech, while the operator is watching the front, to know the status of the current operation can.

【0181】第7の発明によれば、操作の途中で、操作者によるジェスチャ提示が滞ったときに音声提示を行うので、常に音声提示が行われているという煩わしさがない。 [0181] According to the seventh invention, during the operation, since the audio presentation when stuck gesture presented by the operator, always without hassle of audio presentation is being performed.

【0182】第8の発明によれば、形状ジェスチャ検出手段が検出を開始したこと、検出を終了したこと、検出に失敗したこと、方向ジェスチャ検出手段が方向を検出したこと、のうちのいくつかまたは全てが起こったときに、音で操作者に提示する音提示手段を有するので、自分の行ったジェスチャが正しく認識されたかどうかを、 [0182] According to the eighth invention, the shape gesture detection means starts detection, that the completion of the detection, a failure to detect the direction gesture detection means detects the direction, some of the or when everything happened, because it has a sound presentation means to be presented to the operator in the sound, whether or not the gesture made by the his has been properly recognized,
画面を見ずに知ることができる。 It is possible to know without looking at the screen.

【0183】第9の発明によれば、操作の種類によって、あるいは検出された方向の種類によって、異なる音が提示されるので、入力しようとした方向、形状と異なるジェスチャが検出されてしまったときに、知ることができる。 [0183] According to the ninth invention, the type of operation or the type of the detected direction, because different sounds are presented, when the direction you try to enter, gesture that is different from the shape had been detected in, it is possible to know.

【0184】第10の発明によれば、人の身体やその一部、人が持っているもの、または人が身につけているものの位置に対応した位置情報の軌跡を解析して方向ジェスチャを検出する方法であって、当該物体が、あらかじめ決まられた複数の方向のうち、いずれかの方向に、決められた範囲の量だけ動き、次いで反対側に、決められた範囲の量だけ動いたとき、始めに動いた方向への方向ジェスチャとして検出することを特徴とした、方向ジェスチャ検出方法を用いることによって、同じ方向のジェスチャを繰り返し提示するときに、あいだに生じる「戻り」の動作を反対方向のジェスチャと誤って認識することを防ぐことができる。 [0184] According to the tenth aspect of the present invention, the body and the part of the people, what have people, or a person analyzes the trajectory of the position information corresponding to the position of those wearing the direction gesture detection a method of, the object is out of the pre-Kimara multiple directions, in either direction, the movement amount of the range determined, then on the other side, when moved by an amount in the range that is determined was characterized by detecting a direction gesture in the moving direction at the beginning, by using the direction gesture detection method, the opposite direction the operation when repeatedly presenting the gesture in the same direction, occurring during "return" it can be prevented from being falsely recognized as the gesture. また、常に同じ場所に戻ってきて、ジェスチャが終了するため、方向ジェスチャを繰り返すのに適している。 In addition, always come back to the same place, because the gesture is completed, are suitable for repeated direction gesture.

【0185】第11の発明によれば、人の身体やその一部、人が持っているもの、または人が身につけているものの位置に対応した位置情報の軌跡を解析して方向ジェスチャを検出する方法であって、当該物体が、あらかじめ決められた範囲に決められた範囲の時間だけ静止または動きの少ない状態でとどまった後、あらかじめ決まられた複数の方向のうち、いずれかの方向に、決められた範囲の量だけ動き、次いで反対側に、決められた範囲の量だけ動き、再び決められた範囲の時間だけ静止または動きの少ない状態でとどまったときに、始めに動いた方向への方向ジェスチャとして検出することを特徴とした、方向ジェスチャ検出方法を用いることにより、操作者の意図しない動きが方向ジェスチャとして誤検出されてしまうことを防ぐ [0185] According to the invention of the first 11, the body and the part of the person, that person has, or a person to detect the direction gesture by analyzing the trajectory of the position information corresponding to the position of those wearing a method of, the object is, after stayed with less time-only static or motion range determined in a predetermined range, among the pre-Kimara multiple directions, in either direction, movement amount of determined range, then on the other side, the range determined motion amount, when remained in a state just less stationary or movement time range determined again, in the moving direction at the beginning and characterized by detecting a direction gesture, by using the direction gesture detection method, prevent unintended movement of the operator erroneously detected as the direction gesture とができる。 Door can be.

【0186】第12の発明によれば、方向ジェスチャが検出されたときに、検出されたことを音で提示する、音提示手段を持つので、方向ジェスチャが正しく検出されたことを確認できる。 [0186] According to the twelfth invention, when the direction gesture is detected, it presents the sound that has been detected, because it has a sound presentation means, it can be confirmed that the direction gesture has been correctly detected.

【0187】第13の発明によれば、検出されたジェスチャの方向によって、ことなる音を提示するため、入力しようとした方向と異なる方向が誤検出されたときに気づくことができる。 [0187] According to the thirteenth aspect, by the direction of the detected gesture, for presenting different sounds you can notice when the direction different from the direction which is trying to input is detected erroneously.

【0188】第14の発明によれば、はじめにある方向に動いたときに、ひとつの音を提示し、逆側に動いて戻り、方向ジェスチャとして検出されたときに、別の音を提示するので、はじめの動きと戻りの動きを確実に実行することが可能である。 [0188] According to the fourteenth aspect, when moved in the direction at the beginning, one of the sound presented returns move in opposite, when it is detected as the direction gesture, since presenting another sound , it is possible to reliably perform the movement of the return movement of the beginning.

【0189】第15の発明によれば、ひとつめの音は、 [0189] According to the fifteenth aspect of the present invention, the sound of the first one is,
動いた方向によって異なる音を提示し、ふたつめの音は、方向ジェスチャによらず同じ音を提示するので、方向ジェスチャが完了したときには常に同じ音が聞こえる。 Presents a different sound by moving direction, the sound of the second is, because it presents the same sound regardless of the direction gesture, always the same sound is heard when the direction gesture is complete. したがって、はじめの動きと戻りの動きが逆に検出されるような事態になったときには、すぐに気づくことができる。 Therefore, when the movement of the return movement of the beginning became a situation as detected Conversely, you can notice immediately.

【0190】第16の発明によれば、人の身体やその一部、人が持っているもの、または人が身につけているものの位置に対応した位置情報の軌跡を解析してジェスチャを検出する方法であって、人が意図して動かしている動作と、意図せずに生じてしまう動作を識別することを特徴とする、ジェスチャ検出方法を用いる。 [0190] According to the invention of the first 16, the body and the part of the person, what you have is a person, or a person to detect a gesture by analyzing the trajectory of the position information corresponding to the position of those wearing a method, characterized by identifying the behavior that move intended person, the operation occurs unintentionally, use gesture detection method. これにより、空中でのジェスチャを行うときに、人が意図して行っている動作と、その意図している動作同士のあいだに発生してしまう、意図しない動作を識別し、判定に有効な動作のみを取り出すことができる。 Thus, when performing a gesture in the air, and operation a person is performed intentionally, occurs in between the operation between that its intended to identify the intended operation, effective determination operation it can be taken out only.

【0191】第17の発明によれば、人の身体やその一部、人が持っているもの、または人が身につけているものの位置に対応した位置情報の軌跡を解析して方向ジェスチャを検出する方法であって、あらかじめ決まられた複数の方向のうち、いずれかの方向に動いたことを検出する手段と、連続する同じ方向ジェスチャの間に発生する「戻り」の動作を除去する手段を有する方向ジェスチャ検出方法を用いることにより、一方向の動きで、方向ジェスチャを示すときに問題となる「戻り」動作の誤検出を防ぐことができる。 [0191] According to the invention of the first 17, the body and the part of the people, what have people, or a person analyzes the trajectory of the position information corresponding to the position of those wearing the direction gesture detection a method for, among pre Kimara multiple directions, means for detecting that the moving in either direction, means for removing the operation of the "return" that occurs during the same direction gesture successive by using the direction gesture detection method having, in one direction of movement, it is possible to prevent a problem when showing the direction gesture "return" operation of a false detection.

【0192】第18の発明によれば、動いたもののセンサからの距離を検出する手段を持ち、ある方向への連続した動きの間に、反対方向の距離が遠い動きを検出したときに、それは「戻り」の動きであると判定し、除去するので、操作者が「戻り」動作を行う際には、カメラセンサより手を遠ざけて戻すようにすることで、「戻り」 [0192] According to the eighteenth aspect has a means for detecting the distance from the sensor but moved, between successive movements to a certain direction, when the distance in the opposite direction detects distant motion, it determines that the movement of the "return", so removed, when performing operator "return" operation, by the back away the hand from the camera sensor, "return"
動作を除去できる。 Operation can be removed.

【0193】第19の発明によれば、各々の動きの間の時間間隔を測定する手段を持ち、ある方向への連続した動きの間に、反対方向の動きが検出され、なおかつそれらの間に、あらかじめ定められた長さ以下の時間間隔しか無かった場合、この間の動きを「戻り」の動きであると判定し、除去するので、同じ方向ジェスチャを提示するときは、時間間隔が空かないように操作し、逆方向のジェスチャを提示するときは、一旦停止してから行うようにすることで、「戻り」動作を除去した安定的な操作が行える。 [0193] According to the nineteenth invention, has means for measuring the time interval between each movement, between successive movements of the one direction, the opposite direction of movement is detected, yet between them when there was only a predetermined length following the time interval, during this period of motion it is determined that the movement of the "return", so removed, when presenting the same direction gesture, so as not to empty the time interval and operation, when presenting the opposite direction of the gesture, once that to perform from the stop, stable operation to remove the "return" operation can be performed.

【0194】第20の発明によれば、検出された方向ジェスチャに対し、それぞれ方向によって異なる音を提示するため、「戻り」動作を除去せずに方向ジェスチャとして認識してしまったときに、知ることができる。 [0194] According to the twentieth aspect, with respect to the direction detected gesture, for presenting different sounds depending on the direction, respectively, when had confirmed the direction gesture without removing the "return" operation, known be able to.

【0195】第21の発明によれば、人の身体やその一部、人が持っているもの、または人が身につけているものの位置に対応した位置情報の軌跡を解析してジェスチャとして検出する方法であって、始まりの位置と終わりの位置が近い位置に来るような軌跡をジェスチャとして検出するので、さまざまなジェスチャを繰り返し入力するのに適している。 [0195] According to the invention of the first 21, the body and the part of the people, what have people, or a person is detected as a gesture by analyzing the trajectory of the position information corresponding to the position of those wearing a method, and detects a trajectory so that the close position position and end position of the beginning as a gesture, are suitable for repeatedly enter various gestures.

【0196】第22の発明によれば、上述したような方向ジェスチャ検出方法を用いた、操作入力装置が実現できる。 [0196] According to the invention of a 22, using directional gesture detection method as described above, the operation input device can be realized.

【0197】第23の発明によれば、人の身体あるいはその一部の形状を検出することができる、形状ジェスチャ検出手段と、メニューを表示するメニュー表示手段と、検出されたジェスチャに対応づけて、メニューを選択するメニュー選択手段を有する入力装置であって、階層的にメニューを辿っていくときに、同じ形状の形状ジェスチャを提示することが無いように、ジェスチャとメニューの対応付けがなされたことを特徴とする、操作入力装置を実現することにより、ジェスチャの組み合わせで、階層をまたぐメニュー選択が、あたかもひとつのジェスチャ提示をするかのごとく行えるようになる。 [0197] According to the invention of a 23, it is possible to detect the human body or part of the shape thereof, the shape gesture detection means, and a menu display means for displaying a menu, in association with the detected gesture , an input device with a menu selecting means for selecting a menu, when traced hierarchically menu, so as not to present the shape gesture with the same shape, the association of the gesture and the menu is made characterized in that, by realizing an operation input device, a combination of the gesture, menu selection across the hierarchy will allow as if it were a single gesture presentation.

【0198】第24の発明によれば、人の身体あるいはその一部の動きの方向を検出することができる、方向ジェスチャ検出手段と、メニューを表示するメニュー表示手段と、検出されたジェスチャに対応づけて、メニューを選択するメニュー選択手段を有する入力装置であって、方向ジェスチャを連続して提示したときには、1回だけ提示したときとは異なるメニューが選択されるようにすることによって、単に方向ジェスチャを用いるときも多くのメニューを表示することができる。 [0198] According to the twenty-fourth aspect, it is possible to detect the direction of a person's body or a part of the motion, and direction gesture detection means, and a menu display means for displaying a menu, corresponding to the detected gesture association with, an input device with a menu selecting means for selecting a menu, when presented continuously direction gesture, by ensuring that different menus as when presented only once is selected, only the direction it is also possible to display a lot of the menu when using the gesture.

【0199】第25の発明によれば、人の身体あるいはその一部の形状を検出することができる形状ジェスチャ検出手段と、人の身体あるいはその一部の動きの方向を検出することができる、方向ジェスチャ検出手段と、メニューを表示するメニュー表示手段と、検出されたジェスチャに対応づけて、メニューを選択するメニュー選択手段を有する入力装置であって、検出された方向ジェスチャと、それと同時に検出された形状ジェスチャとの組み合わせによって、選択されるメニューが決定されるようにすることによって、単に方向ジェスチャを用いるときも多くのメニューを表示することができる。 [0199] According to the twenty-fifth aspect, it is possible to detect the shape gesture detection means capable of detecting a human body or the shape of the part, the direction of the human body or a part of the motion, and direction gesture detection means, and a menu display means for displaying a menu, in association with the detected gesture, an input device with a menu selecting means for selecting a menu, and the direction gesture is detected therewith are detected at the same time by the combination of the shape gesture, by allowing the menu is determined to be selected, simply can be displayed many menu when using direction gesture.

【0200】第26の発明によれば、人の身体やその一部、人が持っているもの、または人が身につけているものの位置や動きの情報を用いて、並んだ項目のひとつを選択する、あるいは値を設定する方法であって、人が容易に独立して制御できる、または検出手段が容易に独立して検出しうる、2種類の位置、動き情報を用いて、一方を用いて項目あるいは値の選択を行い、他方を用いて決定する、ことを特徴とする、操作入力方法を構成する。 [0200] According to the invention of the first 26, the body and the part of the person, that person has, or a person using the information of the position and movement of those wearing, select one of the items that lined to, or a method of setting a value, people can easily be controlled independently, or detecting means can detect easily independently, two position, using the motion information, using one and selects the item or value, determined using the other, characterized in that, to constitute an operation input method. これにより、画面を見ることができるときには、素早く項目あるいは値の入力ができる。 As a result, when you can see the screen, can input quickly item or value. これらの2種類の動きは独立性が高いので、互いの動作に影響を与えて、 Since these two types of movement is highly independent, it affects the mutual operation,
検出誤差が生じるのを防ぐことができる。 It is possible to prevent the detection error.

【0201】第27の発明によれば、ひとつの方向に動かして項目あるいは値の選択を行い、それと異なる方向の動きを提示することで、決定するので、動き情報のみで選択動作が行える。 [0202] According to the invention of a 27, and selects the item or value by moving in one direction, by presenting a different movement therewith, so determined, it can be performed only on the selected operating motion information. クリックに相当する動作を形状の変化などで示さなくて良いので、より安定して操作できる。 Since the operation corresponding to the click may not exhibit like shape change, it can be more stably operated.

【0202】第28の発明によれば、人が、より細かく位置を制御できる方向、あるいは検出手段がより精度良く位置を検出できる方向を、選択の方向として利用するので、より精度良く操作が行え、また使用者にとっても操作しやすい装置を提供することができる。 [0202] According to the invention of a 28 person, the direction can be controlled more finely position, or the direction in which the detecting means can detect more accurately the position, because it utilizes as a direction of selection, more precisely operation performed , also it is possible to provide a easy-to-operate device is also for the user.

【0203】第29の発明によれば、決定の方向ジェスチャを提示する際には、反対向きの2つの方向によって、異なる項目または値を選択決定することにより、より多くの項目を表示し、選択することが可能となる。 [0203] According to the invention of a 29, when presenting the direction gesture determination is performed by the two directions of the opposite, by choosing determine different items or values, to display more items, selected it is possible to become.

【0204】第30の発明によれば、決定の方向ジェスチャを提示する際には、決定の方向に、定められた範囲の量だけ移動し、再び定められた範囲の量だけ戻って来たときに、決定することを特徴とするので、この項目選択を繰り返し行うときに効率的に操作できる。 [0204] According to the thirtieth aspect of, in presenting direction gesture determination, in the direction of the decision, moved by an amount in the range defined when they come back by an amount in the range defined again , since and determines, it can be efficiently operated when repeating this item selection.

【0205】第31の発明によれば、第26〜第30の発明の操作入力方法を用いた操作入力装置が実現できる。 [0205] According to the invention of a 31, the operation input device can be realized using the first 26 to second 30 input operation method of the invention.

【0206】第32の発明によれば、肘、手首など、腕の一部を置く場所を設けたことにより、より安定して、 [0206] According to the thirty-second aspect, elbows, etc. wrists, by providing a place to put a portion of the arms, more stable,
楽に操作を行うことができる。 It is possible to perform comfortably operation.

【0207】第33の発明によれば、光学的手段を用いて、対象物体の位置や形状を検出する、第1〜第9、第12〜第15、第20、第22〜第25、第31の発明の操作入力装置であって、画像入力装置側の物体表面に、強力な外部光が当たらないように、向き、配置を工夫した、操作入力装置であるため、太陽光のような強力な外光の影響を受けやすい、光学的手段を用いても安定した性能を発揮することができる。 [0207] According to the invention of a 33, using optical means, for detecting the position and shape of the target object, the first to ninth, twelfth to fifteenth, twentieth, first 22 to second 25, third 31 a operation input device of the present invention, the surface of the object image input apparatus, so not exposed to strong external light, orientation, devised an arrangement, since an operation input device, strong such as sunlight susceptible to external light, can also exhibit stable performance with optical means.

【0208】第34の発明によれば、車載機器に使用される、第1〜第9、第12〜第15、第20、第22〜 [0208] According to the invention of a 34, is used to the in-vehicle device, first to ninth, twelfth to fifteenth, twentieth, a 22 to
第25、第31の発明の操作入力装置であって、運転者がハンドルから手を離さずにあるいはほとんど離さずに操作できるように、配置したことを特徴とする、操作入力装置を実現できるので、運転者が運転中により安全に操作を行うことができる。 25, an operation input device of the thirty-first invention, the driver to be operable with little or without releasing the hand away from the handle, characterized in that arranged, it is possible to realize the operation input device , the driver can perform a safe operation by during the operation.

【0209】第35の発明によれば、第1〜第9、第1 [0209] According to the 35th aspect, the first to ninth, first
2〜第15、第20、第22〜第25、第31の発明の操作入力装置であって、操作しようとしている人が、どのカテゴリに属する人なのかを判定する、操作者判定手段を持ち、操作者の属するカテゴリによって、行える操作を変更することができる手段を持つことを特徴とする、操作入力装置を用いる。 2 15, third 20, third 22 to 25, an operation input device of the thirty-first invention determines whether people trying operation, person's belonging to any category, have the operator determination unit , the category to which belongs the operator, characterized by having a means capable of changing the operation performed, using the operation input device. これにより、使用者の状態や位置などの条件によって、操作を許可したり禁止したりすることが可能になる。 Thus, with conditions such as the status and location of the user, it is possible that enables or prohibits the operation.

【0210】第36の発明によれば、車載機器に使用される、第1〜第9、第12〜第15、第20、第22〜 [0210] According to the invention of a 36, ​​is used to the in-vehicle device, first to ninth, twelfth to fifteenth, twentieth, a 22 to
第25、第31の発明の操作入力装置であって、操作しようとしているのが運転者なのかそれ以外なのかを判定する、操作者判定手段を持ち、操作者が運転者である場合、一定の条件下で一部の操作ができないよう制御する手段を持つことを特徴とするので、走行中に運転者が操作してはならない操作でも、助手席者ならば操作できるように構成することができる。 25, an operation input device of the thirty-first invention, determines that are attempting to operate the such otherwise or the driver of the have the operator determining unit, if the operator is the driver, certain since characterized as having a means for controlling so can not be part of the operation under the conditions of, even the operation that the driver should not be operated during traveling, be configured to be operable if the passenger seat's it can.

【0211】第37の発明によれば、第1〜第9、第1 [0211] According to the 37th aspect, the first to ninth, first
2〜第15、第20、第22〜第25、第31の発明の操作入力装置であって、さらに音声によって指示が行える、音声入力手段を持つことを特徴とするので、音声による簡便な入力方法とパラメータ入力に適したジェスチャ入力を併用したより操作しやすい環境を実現できる。 2 15, third 20, third 22 to 25, an operation input device of the thirty-first invention, further can be performed instructed by voice, so characterized by having a voice input unit, simple input by voice the user-friendly operating environment than a combination of gesture input suitable for the methods and parameters input can be realized.

【0212】第38の発明によれば、第1〜第9、第1 [0212] According to the invention of a 38, first to ninth, first
2〜第15、第20、第22〜第25、第31の発明の操作入力装置であって、さらにユーザの意図しない動きを防ぎ、手や身体の動きを安定させるための安定化手段を有することを特徴とする操作入力装置を用いることで、より安定した操作を実現することができる。 2 15, third 20, third 22 to 25, an operation input device of the thirty-first aspect, further prevents unintended movement of the user, has a stabilizing means for stabilizing the movement of the hand and body it by using the operation input device according to claim, it is possible to realize a more stable operation.

【0213】第39の発明によれば、安定化手段は、ユーザが動作の最初や最後あるいは動作中に手や身体を接触させて操作するための接触板であることを特徴とした、第38の発明の操作入力装置を用いることによって、操作者は板に触ることでより安定的に位置入力が行え、また、触ることで操作しているという安心感を与えられる。 [0213] According to the invention of a 39, stabilizing means were characterized by the user is a contact plate for operating in contact with hands or body beginning or end, or during the operation of the operation, 38 by using the operation input device of the invention, the operator can more stably position input by touching the plate, also provided the confidence that has been manipulated by touch. また、距離が一定に保たれるので、より安定した検出性能が実現できる。 Further, since the distance is kept constant, a more stable detection performance can be achieved.

【0214】第40の発明によれば、手で触った部分の形状が検出できる、接触形状検出手段と、この接触形状を形状ジェスチャとして検出する形状ジェスチャ検出手段と、動きの方向を検出する、方向ジェスチャ検出手段と、形状ジェスチャ検出手段の検出結果に応じて、ある特定の操作が行える複数の操作モードのうちのひとつを選択する操作モード選択手段と、方向ジェスチャ検出手段の検出結果に応じて、当該操作モードにおいて変更可能なパラメータを変更するパラメータ変更手段を有する操作入力装置を構成することで、確実に触って操作したときのみ動作するような操作入力環境が実現できる。 [0214] According to the 40 invention can detect the shape of the touched part by hand, and the contact shape detection means, the shape gesture detection means for detecting the contact shape as the shape gesture, detecting a movement, and direction gesture detection means, according to the detection result of the shape gesture detection means, an operation mode selecting means for a selected one of a plurality of operation modes allows a specific operation, in accordance with the detection result of the direction gesture detection means by configuring the operation input device having a parameter changing means for changing the changeable parameters in the operation mode, the operations input environment to operate only when operated by touching reliably be achieved. この構成では、通常のCCDカメラを用いても安定した動作が実現できる。 In this configuration, the operation can be realized a stable even with conventional CCD camera.

【0215】第41の発明によれば、第1〜第9、第1 [0215] According to the invention of a 41, first to ninth, first
2〜第15、第20、第22〜第25、第31の発明の操作入力装置であって、パルス発光する発光手段と発光手段に同期して動作し、その発光手段から照射される光の物体反射光のみを撮像する手段を、備えたことを特徴とする操作入力装置を用いることで、物体の形状を安定に、高速に得られるため、低い処理コストでジェスチャ入力が実現できる。 2 15, third 20, third 22 to 25, an operation input device of the thirty-first invention, and operates in synchronization with the light emitting means and light emitting means for pulse emission, the light emitted from the light emitting means the means for capturing only object reflected light, by including by using the operation input device according to claim, stable shape of the object, since the resulting high-speed, gesture input can be realized at a low processing cost.

【0216】第42の発明によれば、第1〜第9、第1 [0216] According to the invention of a 42, first to ninth, first
2〜第15、第20、第22〜第25、第31〜第41 2 15, third 20, third 22 to 25, the 31 to 41
の発明の操作入力装置を備えた車両が実現できる。 Vehicle can be achieved with the operation input device of the invention.

【0217】第43の発明によれば、人の身体やその一部あるいは物体などの対象物の形状・動き情報を検出し、この検出結果により、複数の操作モードのうちのひとつを選択し、次いで、同じ対象物の、前述とは異なる種類の形状・動き情報を検出し、この検出結果を用いて、その操作モードにおける変更可能なパラメータを変更することを特徴とする操作入力方法により、使用者が自然な感覚で操作できる、装置が構成できる。 [0217] According to the invention of a 43 detects the shape and motion information of the object, such as a body or a part thereof or an object of a human, by the detection result, you select one of a plurality of operation modes, then, the same object, to detect different types of shape and motion information as described above, by using the detection result by the operation input method and changing the parameters can be changed in the operation mode, use who can operate in a natural sense, it can be configured device.

【0218】第44の発明によれば、第10、第11、 [0218] According to the invention of a 44, 10, 11,
第16〜第19、第21、第26〜第30、第43の発明のジェスチャ入力方法あるいは操作入力方法を実行するプログラムを収めた記憶媒体は、コンピュータが搭載されている装置に、実施例で述べたような操作入力環境を構築することができる。 The 16 19, 21, first 26 to second 30, third 43 storage medium that contains the program for executing the gesture input method or the operation input method of the invention is the device which the computer is mounted, in embodiment it can be constructed an operation input environment as described.

【0219】 [0219]

【発明の効果】本願発明によれば、人の身体あるいはその一部の形状や動きなどのジェスチャのうち、異なる2 According to the present invention according to the present invention, among the gesture, such as the body or a part of the shape and movement of people, two different
つの種類のジェスチャを用いて操作を行い、第1の種類のジェスチャで、操作モードの選択を行い、第2の種類のジェスチャでその操作モード内でのパラメータの変更を行うことができる操作入力装置が実現できる。 One type of do with a gesture, a first type of gesture, and selects the operation mode, the operation input device capable of performing the parameter changes in the operation mode in a second type of gesture There can be realized.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明を実現する全体構成図である。 1 is an overall block diagram for implementing the present invention.

【図2】本発明を実現するより具体的な全体構成図である。 2 is a specific overall configuration diagram than to implement the present invention.

【図3】本発明で用いる形状ジェスチャの例である。 Figure 3 is an example of a shape gesture used in the present invention.

【図4】本発明で用いる形状ジェスチャと方向ジェスチャを用いた操作の遷移図である。 4 is a transition diagram of the operation using the shape gesture and direction gesture used in the present invention.

【図5】本発明で用いるジェスチャ・アイコンの表示例である。 5 is a display example of a gesture icons used in the present invention.

【図6】本発明で用いる音声フィードバックを行うための構成図である。 Is a block diagram for performing voice feedback for use in the present invention; FIG.

【図7】本発明で用いる操作が滞ったときに音声フィードバックを行う処理のフローチャート。 Flowchart of a process for performing voice feedback when [7] Operation used in the present invention is stuck.

【図8】本発明で用いる方向ジェスチャの検出方法を示すフローチャートである。 8 is a flowchart illustrating a method for detecting the direction gesture used in the present invention.

【図9】本発明で用いる始まりと終わりの位置が近いジェスチャの例である。 The position of the beginning and end used in the present invention; FIG examples of gesture close.

【図10】本発明で用いる距離を検知して戻りの動作を除去する構成例である。 10 is a configuration example of removing an operation of returning to detect the distance to be used in the present invention.

【図11】本発明で用いるジェスチャによって、メニュー階層を辿ることができる装置の構成例。 The gesture used in [11] The present invention, configuration of an apparatus which can follow the menu hierarchy.

【図12】本発明で用いる方向ジェスチャでメニュー選択をする際の画面例である。 12 is a screen example when the menu selection in the direction gesture used in the present invention.

【図13】本発明で用いる方向ジェスチャの繰り返しで異なるメニューを選択する画面例である。 13 is a screen example for selecting a different menu by repeating the direction gesture used in the present invention.

【図14】本発明で用いる独立した2種類の動き情報で、選択と決定を行う装置の構成図である。 [14] In two independent types of motion information used in the present invention, it is a block diagram of an apparatus for determining a selection.

【図15】本発明で用いる独立した2種類の動き情報で、選択と決定を行う装置の画面例である。 In two independent types of motion information used in FIG. 15 the present invention, a screen example of an apparatus for the determination and selection.

【図16】決定を行う動きをさらに分け、選択肢の数を増やした構成における画面例である。 [16] further divided motion to make a decision, a screen example in the configuration to increase the number of choices.

【図17】本発明で用いる装置の外観の例である。 17 is an example of the appearance of an apparatus used in the present invention.

【図18】操作者を判定して、適応的に操作の許可・不許可を与える装置の構成図である。 [Figure 18] to determine the operator is a configuration diagram of a device that provides the permission or non-permission of adaptively operation.

【符号の説明】 DESCRIPTION OF SYMBOLS

1…第1のジェスチャ検出部 2…第2のジェスチャ検出部 3…操作種類選択部 4…パラメータ変更部 5…操作入力処理部 6…操作実行部 7…形状ジェスチャ検出部 8…方向ジェスチャ検出部 9…ジェスチャ・アイコン 13…音声フィードバック部 32…画像入力部 33…距離検出部 34…動き検出部 47…第1の動き検出部 48…選択部 49…第2の動き検出部 50…決定動作判定部 53…腕の一部を乗せる台 54…カメラ 56…接触板 58…操作者判定部 1 ... first gesture detector 2 ... second gesture detection unit 3 ... operation type selection unit 4 ... parameter changing unit 5 ... operation input processing unit 6 ... operation execution unit 7 ... shape gesture detection unit 8 ... direction gesture detection unit 9 ... gesture icon 13 ... audio feedback unit 32 ... image input unit 33 ... distance detecting unit 34 ... motion detecting portion 47 ... first motion detection unit 48 ... selection unit 49 ... second motion detecting portion 50 ... determination operation determination part 53 ... base carrying a portion of the arm 54 ... camera 56 ... contact plate 58 ... operator determination unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三原 功雄 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 原島 高広 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 山内 康晋 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 森下 明 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 Fターム(参考) 5E501 AA20 AA22 AB03 AB06 AC03 BA05 CA02 CA07 CA08 CB14 CC11 CC14 EA33 EB05 FA04 FA05 FA32 FA42 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Isao Mihara Kawasaki-shi, Kanagawa-ku, Saiwai Komukaitoshiba-cho, address 1 Co., Ltd. Toshiba research and development in the Center (72) inventor Takahiro HARASHIMA Kawasaki-shi, Kanagawa-ku, seafood Komukaitoshiba town address 1 Co., Ltd. Toshiba research and development in the Center (72) inventor Yamauchi KanSusumu Kawasaki-shi, Kanagawa-ku, Saiwai Komukaitoshiba-cho, address 1 Co., Ltd. Toshiba research and development in the Center (72) inventor Akira Morishita Kawasaki City, Kanagawa Prefecture Kou Subdivision Komukaitoshiba-cho, address Co., Ltd., Toshiba research and development Center in the F-term (reference) 5E501 AA20 AA22 AB03 AB06 AC03 BA05 CA02 CA07 CA08 CB14 CC11 CC14 EA33 EB05 FA04 FA05 FA32 FA42

Claims (25)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】検出すべき対象物の形状や動きを検出するための第1の検出手段と、 この第1の検出手段によって検出される形状や動きとは異なる前記対象物の形状や動きを検出するための第2の検出手段と、 前記第1の検出手段の検出結果をもとに、特定の操作を選択する操作選択手段と、 この操作選択手段によって選択された操作における変更可能なパラメータを、前記第2の検出手段の検出結果をもとに、変更するパラメータ変更手段を有することを特徴とする操作入力装置。 1. A first detection means for detecting the shape and movement of the object to be detected, the shape and movement of the object that is different from the shape and motion are detected by the first detecting means a second detecting means for detecting, the based on the detection result of the first detection means, an operation selecting means for selecting a specific operation, which can be changed in the selected operation by the operation selection unit parameters and based on the detection result of said second detecting means, an operation input device, characterized in that it comprises a parameter changing means for changing.
  2. 【請求項2】検出すべき対象物の形状を検出する形状検出手段と、 前記対象物の動きの方向を検出する方向検出手段と、 前記形状検出手段の検索結果をもとに、特定の操作を選択する操作選択手段と、 この操作選択手段によって選択された操作における変更可能なパラメータを、前記方向検出手段の検出結果をもとに、変更するパラメータ変更手段を有することを特徴とする操作入力装置。 A shape detection unit that shape detecting the wherein the object to be detected, the direction detecting means for detecting the direction of movement of the object, based on the search result of said shape detecting means, a specific operation an operation selecting means for selecting, a modifiable parameters in the selected operation by the operation selection unit, based on the detection result of the direction detecting means, an operation input, characterized in that it comprises a parameter changing means for changing apparatus.
  3. 【請求項3】前記操作選択手段は、対象物の形状に対し複数の操作を対応づけおき、前記形状検出手段が同一の形状ジェスチャを連続して検出したときに、前記形状に対応づけられた複数の操作を順番に切り替えて選択することを特徴とする請求項2に記載の操作入力装置。 Wherein said operation selection means, association every multiple operations to shape of the object, when the shape detection unit detects continuously the same shape gesture associated with the said shape the operation input device according to claim 2, wherein the selecting by switching a plurality of the steps in the sequence.
  4. 【請求項4】前記形状検出手段は、対象物の動きが一定時間以上静止あるいは動きの小さい状態であることを検出したときに、対象物の形状の検出を行うことを特徴とする請求項2に記載の操作入力装置。 Wherein said shape detecting means, claim, characterized in when it detects that a small state motion of a predetermined time or more stationary or movement of the object, that the detection of the shape of the object 2 the operation input device according to.
  5. 【請求項5】選択可能な操作あるいは変更可能なパラメータの情報を表示するための表示手段を有し、 この表示手段は、選択可能な操作モードとそれを選択するための形状ジェスチャを表す画像,あるいは変更可能なパラメータとそれを変更するための方向を表す画像を併せて表示することを特徴とする請求項2に記載の操作入力装置。 5. A has a display means for displaying the information of possible selectable operation or change parameters, the display means, an image representing the shape gesture to select it and selectable operation mode, or the operation input device according to claim 2, wherein the displaying together images that represent the direction to change it and modifiable parameters.
  6. 【請求項6】選択可能な操作あるいは変更可能なパラメータの情報を音声で提示するための音声提示手段を有することを特徴とする請求項2に記載の操作入力装置。 6. The operation input device according to the information of possible selectable operation or changed parameters to claim 2, characterized in that an audio presentation means for presenting voice.
  7. 【請求項7】前記形状検出手段または前記方向検出手段の処理が滞ったときに音声提示を行うことを特徴とする請求項6に記載の操作入力装置。 7. The operation input device according to claim 6, characterized in that the audio presentation when the processing of the shape detecting means or said direction detecting means is stuck.
  8. 【請求項8】形状検出手段による検出開始,検出終了, 8. A detection start by the shape detection means, detection end,
    検出失敗、および方向検出手段による方向検出が起こったときに、音で操作者に提示するために音提示手段を有することを特徴とする請求項2に記載の操作入力装置。 Detection failure, and when happened direction detection by the direction detecting means, the operation input device according to claim 2, characterized in that it comprises a sound presentation means to present to the operator by sound.
  9. 【請求項9】前記音提示手段は、操作の種類や検出された方向の種類によって、異なる音を提示することを特徴とする請求項8に記載の操作入力装置。 Wherein said sound presentation means, the operation input device according the type and the detected direction of the types of operations, to claim 8, wherein the presenting different sounds.
  10. 【請求項10】検出すべき対象物の位置情報の軌跡を解析して前記対象物の方向を検出する方法であって、 前記対象物が所定の方向に所定の距離だけ動き、前記方向と反対側の方向に所定の距離だけ動いたとき、前記方向への動きとして検出することを特徴とする方向検出方法。 10. A method of analyzing the trajectory of the position information of the object to be detected to detect the direction of the object, the object motion by a predetermined distance in a predetermined direction, opposite to the direction when moved in the direction of the side by a predetermined distance, direction detection method characterized by detecting a movement of the said direction.
  11. 【請求項11】検出すべき対象物の位置情報の軌跡を解析して前記対象物の方向を検出する方法であって、 前記対象物が所定の範囲に所定の時間内静止または動きの少ない状態でとどまった後、所定の方向に所定の距離だけ動き、前記方向と反対側の方向に所定の距離だけ動き、再び所定の時間内だけ静止または動きの少ない状態でとどまったときに、前記方向への動きとして検出することを特徴とする方向検出方法。 11. A method for detecting the direction of analyzing the trajectory of the position information of the object to be detected the object, less the object is of a given predetermined time in the still or motion range state after staying, movement by a predetermined distance in a predetermined direction, the direction opposite to the movement by a predetermined distance in the direction of, when stayed in state again less only the still or motion within a predetermined period of time, to the direction direction detecting method and detecting as a motion.
  12. 【請求項12】前記方向検出手段は、前記対象物が所定の方向に所定の距離だけ動き、前記方向と反対側の方向に所定の距離だけ動いたとき、前記方向への動きとして検出することを特徴とする請求項2乃至9記載の操作入力装置。 12. The method of claim 11, wherein the direction detecting means, the movement the object by a predetermined distance in a predetermined direction, when moved by a predetermined distance in the direction of the direction opposite to, detecting a movement of the said direction operation input device of claims 2 to 9, wherein.
  13. 【請求項13】前記方向検出手段は、前記対象物が所定の範囲に所定の時間内静止または動きの少ない状態でとどまった後、所定の方向に所定の距離だけ動き、前記方向と反対側の方向に所定の距離だけ動き、再び所定の時間内だけ静止または動きの少ない状態でとどまったときに、前記方向への動きとして検出することを特徴とする請求項2乃至9記載の操作入力装置。 Wherein said direction detecting means, after the object has stayed with less of a given time in the still or motion in a predetermined range, movement by a predetermined distance in a predetermined direction, said direction opposite movement direction by a predetermined distance, when stayed again in a state just less stationary or movement within a predetermined time, the operation input device of claims 2 to 9, wherein the detecting as a motion to said direction.
  14. 【請求項14】前記音提示手段は、所定方向に動いたときに第1の音を提示し、前記方向の反対側に動いて戻り、前記方向への動きとして検出されたときに、第2の音を提示することを特徴とする請求項9に記載の操作入力装置。 14. the sound presentation means, the first sound presented when moved in a predetermined direction, back moves opposite the direction, when it is detected as a motion to said direction, second the operation input device according to claim 9, wherein the presenting the sound.
  15. 【請求項15】前記音提示手段は、第1の音は動いた方向によって異なる音を提示し、第2の音は方向によらず同じ音を提示することを特徴とする請求項14に記載の操作入力装置。 15. the sound presentation means, first sound presents different sounds by moving direction, the second sound according to claim 14, wherein the presenting the same sound regardless of the direction operation input device.
  16. 【請求項16】前記方向検出手段は、意図的に動かしている動作と、意図せずに生じてしまう動作を識別することを特徴とする請求項2乃至9記載の操作入力装置。 16. The direction detecting means, intentionally moving operation and has an operation input device according to claim 2 to 9, wherein the identifying operation occurs unintentionally.
  17. 【請求項17】前記方向検出手段は、所定の複数方向のうち、いずれかの方向に動いたかを検出する手段と、 連続する同じ方向への動きの間に発生する戻る動作を除去する手段を有する請求項2乃至9記載の操作入力装置。 17. The direction detecting unit, among the predetermined plurality of directions, means for detecting whether the movement in either direction, means for removing operation back occurs during the movement in the same direction for successive operation input device of claims 2 to 9 wherein a.
  18. 【請求項18】前記方向検出手段は、動いた対象物のセンサからの距離を検出する手段を有し、所定の方向への連続した動きの間に、前記方向とは反対方向の距離が遠い動きを検出したときに、戻る動きであると判定し、除去することを特徴とする請求項17に記載の操作入力装置。 18. The method of claim 17, wherein the direction detecting means comprises means for detecting the distance from the sensor of the moved object, between successive movements of a predetermined direction, the farther the distance in the opposite direction to the direction when motion is detected, return is determined to be a motion, an operation input device according to claim 17, characterized in that removal.
  19. 【請求項19】前記方向検出手段は、対象物の動きの間の時間間隔を測定する手段を有し、所定の方向への連続した動きの間に、前記方向と反対方向の動きが検出され、所定の長さ以下の時間間隔の場合、この間の動きを戻る動きであると判定し、除去することを特徴とする請求項17に記載の操作入力装置。 19. The direction detecting means comprises means for measuring a time interval between the movement of the object, between successive movements of a predetermined direction, the direction opposite to the direction of movement is detected when a predetermined length following the time interval, the operation input device according to claim 17 which determines that the motion to return the meantime movements, and removing.
  20. 【請求項20】検出された方向に対し異なる音を提示する音提示手段を持つことを特徴とする請求項17に記載の操作入力装置。 20. The operation input device according to claim 17, characterized by having a sound presentation means for presenting different sounds to the detected direction.
  21. 【請求項21】前記方向検出手段は、対象物の動きの始点と終点が近い位置に来るような軌跡を検出することを特徴とする請求項2乃至9記載の操作入力装置。 21. The direction detecting means, the object of the movement of the starting point and the ending point operation input device according to claim 2 to 9 further characterized in that to detect the trajectory so that closer.
  22. 【請求項22】検出すべき対象物の形状を検出するための形状検出手段と、 この形状検出手段によって検出される形状と対応づけられた操作メニューを表示するためのメニュー表示手段と、 前記形状検出手段によって検出された形状に応じて、前記操作メニューを選択するためのメニュー選択手段とを有することを特徴とする操作入力装置。 And shape detection means for shape detecting the 22. object to be detected, and a menu display means for displaying an operation menu associated with the shape to be detected by the shape detection means, said shape in accordance with the detected shape by the detection means, the operation input device; and a menu selection means for selecting the operation menu.
  23. 【請求項23】前記メニュー選択手段は、前記操作メニューを階層的にメニューを辿っていくときに、異なる形状を提示することを特徴とする請求項22記載の操作入力装置。 23. The menu selecting means, wherein when the operation menu traced hierarchically menu, the operation input device according to claim 22, wherein the presenting different shapes.
  24. 【請求項24】検出すべき対象物の動きの方向を検出する方向検出手段と、 この方向検出手段によって検出される動き方向と対応づけられた操作メニューを表示するため表示するメニュー表示手段と、 前記方向検出手段によって、動き方向を連続して検出されたときには、1回だけ検出されたときとは異なる操作メニューを選択するメニュー選択手段とを有することを特徴とする操作入力装置。 And direction detecting means for detecting a movement of the 24. object to be detected, and a menu display means for displaying for displaying an operation menu associated with the movement direction detected by the direction detecting means, wherein the direction detecting means, when it is continuously detected movement direction, the operation input device; and a menu selecting means for selecting different operation menu and when detected only once.
  25. 【請求項25】検出すべき対象物の形状を検出するための形状検出手段と、 検出すべき対象物の動きの方向を検出する方向検出手段と、 検出される形状および動き方向と対応づけられた操作メニューを表示するため表示するメニュー表示手段と、 検出された形状および動き方向に対応づけて、操作メニューを選択するメニュー選択手段とを有することを特徴とする操作入力装置。 25. A shape detection means for detecting the shape of the object to be detected, the direction detecting means for detecting the direction of movement of the object to be detected, associated to the shape and motion direction is detected a menu display means for displaying for displaying an operation menu has, in association with the detected shape and motion direction, the operation input device; and a menu selecting means for selecting an operation menu.
JP2000023548A 2000-02-01 2000-02-01 Operation inputting device and direction detecting method Pending JP2001216069A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000023548A JP2001216069A (en) 2000-02-01 2000-02-01 Operation inputting device and direction detecting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000023548A JP2001216069A (en) 2000-02-01 2000-02-01 Operation inputting device and direction detecting method
JP2004378813A JP2005174356A (en) 2000-02-01 2004-12-28 Direction detection method

Publications (1)

Publication Number Publication Date
JP2001216069A true JP2001216069A (en) 2001-08-10

Family

ID=18549690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000023548A Pending JP2001216069A (en) 2000-02-01 2000-02-01 Operation inputting device and direction detecting method

Country Status (1)

Country Link
JP (1) JP2001216069A (en)

Cited By (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084877A (en) * 2001-09-13 2003-03-19 Clarion Co Ltd Information selection apparatus and music playback unit
WO2003032166A1 (en) * 2001-10-01 2003-04-17 Novas Inc. Evaluation device, evaluation method and progrom
JP2004334590A (en) * 2003-05-08 2004-11-25 Denso Corp Operation input device
WO2005003948A1 (en) * 2003-07-08 2005-01-13 Sony Computer Entertainment Inc. Control system and control method
WO2005023598A1 (en) * 2003-09-02 2005-03-17 Matsushita Electric Industrial Co., Ltd. Input device
JP2006111134A (en) * 2004-10-14 2006-04-27 Pioneer Electronic Corp Behavior guiding device, its method, its program and recording medium recording the program
KR100575504B1 (en) 2003-08-11 2006-05-03 각고호우징 게이오기주크 Hand pattern switch device
JP2006302490A (en) * 2005-03-25 2006-11-02 Sony Corp Content searching method, content list searching method, content searching apparatus, content list searching apparatus, and searching server
JP2007106372A (en) * 2005-10-17 2007-04-26 Mitsubishi Electric Corp On-vehicle instrument control device
JP2007145106A (en) * 2005-11-25 2007-06-14 Xanavi Informatics Corp On-vehicle information terminal
JP2007163550A (en) * 2005-12-09 2007-06-28 Xanavi Informatics Corp Information processor, navigation device, and map data display method
WO2007088939A1 (en) * 2006-02-03 2007-08-09 Matsushita Electric Industrial Co., Ltd. Information processing device
JP2007249595A (en) * 2006-03-15 2007-09-27 Omron Corp Display, projector, display system, display method, display program, and recording medium
US7289645B2 (en) 2002-10-25 2007-10-30 Mitsubishi Fuso Truck And Bus Corporation Hand pattern switch device
JP2008040576A (en) * 2006-08-02 2008-02-21 Sharp Corp Image processing system and video display device equipped with the same
WO2008029467A1 (en) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Gesture input system, method and program
US7499569B2 (en) 2004-02-26 2009-03-03 Mitsubishi Fuso Truck And Bus Corporation Hand pattern switching apparatus
DE102008048325A1 (en) 2007-10-22 2009-04-23 Mitsubishi Electric Corp. Operation input device
JP2009093260A (en) * 2007-10-04 2009-04-30 Alps Electric Co Ltd Coordinate input device
KR100977443B1 (en) 2008-10-01 2010-08-24 숭실대학교산학협력단 Apparatus and method for controlling home appliances based on gesture
JP2010237765A (en) * 2009-03-30 2010-10-21 Toshiba Corp Information processing apparatus, focus movement control method, and focus movement control program
EP2244166A2 (en) 2009-04-23 2010-10-27 Hitachi Consumer Electronics Co., Ltd. Input device using camera-based tracking of hand-gestures
JP2010244405A (en) * 2009-04-08 2010-10-28 Kyushu Hitachi Maxell Ltd Operation device
US7844921B2 (en) 2006-08-25 2010-11-30 Kabushiki Kaisha Toshiba Interface apparatus and interface method
JP2011065012A (en) * 2009-09-18 2011-03-31 Nec Casio Mobile Communications Ltd Imaging apparatus and program
WO2011045861A1 (en) * 2009-10-16 2011-04-21 パイオニア株式会社 Map display device, map display method, and map display program
EP2328061A2 (en) 2009-10-05 2011-06-01 Hitachi Consumer Electronics Co. Ltd. Input apparatus
JP2011525283A (en) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド Gesture reference control system for vehicle interface
US8049722B2 (en) 2005-09-05 2011-11-01 Toyota Jidosha Kabushiki Kaisha Vehicular operating apparatus
US8077970B2 (en) 2006-12-04 2011-12-13 Denso Corporation Operation estimating apparatus and related article of manufacture
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
WO2012011614A1 (en) * 2010-07-23 2012-01-26 Sharp Kabushiki Kaisha Information device, control method thereof and system
JP2012027851A (en) * 2010-07-27 2012-02-09 Nippon Telegr & Teleph Corp <Ntt> Information input device
KR101152805B1 (en) 2010-12-15 2012-06-12 콘티넨탈 오토모티브 일렉트로닉스 유한회사 Key signal input control apparatus of vehicle
JP2012155742A (en) * 2012-04-11 2012-08-16 Toshiba Corp Information processing apparatus, command execution control method, and command execution control program
JP2012525625A (en) * 2009-04-30 2012-10-22 サムスン エレクトロニクス カンパニー リミテッド User intention inference apparatus and method using multimodal information
WO2012147960A1 (en) * 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 Information processing device, information processing method, and recording medium
JP2012222784A (en) * 2011-04-14 2012-11-12 Casio Comput Co Ltd Remote operation device, remote operation method and program
JP2012528405A (en) * 2009-05-27 2012-11-12 オブロング・インダストリーズ・インコーポレーテッド Spatial multi-mode control device for use with spatial motion systems
JP2013020311A (en) * 2011-07-07 2013-01-31 Fujitsu Ltd Image processing system, image processing method and image processing program
JP2013037689A (en) * 2011-08-05 2013-02-21 Samsung Electronics Co Ltd Electronic equipment and control method thereof
EP2562620A1 (en) 2011-08-23 2013-02-27 Hitachi Consumer Electronics Co., Ltd. Input unit recognizing user's motion
JP5174978B1 (en) * 2012-04-26 2013-04-03 株式会社三菱東京Ufj銀行 Information processing apparatus, electronic device, and program
JP2013131237A (en) * 2013-03-07 2013-07-04 Fujitsu Ten Ltd Display device
WO2013101044A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
JP2013172211A (en) * 2012-02-17 2013-09-02 Sharp Corp Remote control device and remote control system
CN103294186A (en) * 2012-03-05 2013-09-11 东芝泰格有限公司 Operation supporting display apparatus and control method thereof
US8538090B2 (en) 2009-03-03 2013-09-17 Hyundai Motor Japan R&D Center, Inc. Device for manipulating vehicle built-in devices
WO2013137412A1 (en) * 2012-03-15 2013-09-19 オムロン株式会社 Control device, electronic device, control method, control program, and computer-readable recording medium which stores control program
EP2647919A1 (en) 2012-04-02 2013-10-09 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
JP2013225211A (en) * 2012-04-20 2013-10-31 Nippon Telegr & Teleph Corp <Ntt> Information input device
JP2013541092A (en) * 2010-09-20 2013-11-07 コピン コーポレーション Advanced remote control of host applications using movement and voice commands
US8593417B2 (en) 2009-04-30 2013-11-26 Denso Corporation Operation apparatus for in-vehicle electronic device and method for controlling the same
JP2013545183A (en) * 2010-11-01 2013-12-19 トムソン ライセンシングThomson Licensing Method and apparatus for detecting gesture input
JP2014016803A (en) * 2012-07-09 2014-01-30 Konica Minolta Inc Operation display device and program
JP2014507714A (en) * 2011-01-19 2014-03-27 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. Method and system for multimodal and gesture control
KR20140070747A (en) * 2012-11-26 2014-06-11 현대자동차주식회사 Guidance apparatus for controlling of vehicle and method thereof
JP2014115699A (en) * 2012-12-06 2014-06-26 Alpine Electronics Inc In-vehicle system
JP2014127870A (en) * 2012-12-26 2014-07-07 Mitsui Home Co Ltd Housing facility controlling device
JP2014132461A (en) * 2013-01-07 2014-07-17 Samsung Electronics Co Ltd Apparatus for controlling content in electronic device, and method therefor
WO2014119521A1 (en) 2013-01-29 2014-08-07 矢崎総業株式会社 Electronic control device
JP2014179097A (en) * 2013-03-13 2014-09-25 Honda Motor Co Ltd Information query by pointing
WO2014172904A1 (en) * 2013-04-27 2014-10-30 Rong Weihua Hand gesture recognition apparatus, hand gesture recognition method, and related vehicle-mounted apparatus
WO2014196208A1 (en) 2013-06-07 2014-12-11 島根県 Gesture input device for car navigation device
WO2014203459A1 (en) * 2013-06-18 2014-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Input device and operation request input method
JP2014535098A (en) * 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド Motion recognition apparatus and method using event-based vision sensor
JP2015007946A (en) * 2013-06-26 2015-01-15 キヤノン株式会社 Information processing apparatus and control method of the same, program, and recording medium
JP2015018325A (en) * 2013-07-09 2015-01-29 キヤノン株式会社 Information processor and control method thereof, program, recording medium
JP2015509204A (en) * 2011-12-29 2015-03-26 インテル・コーポレーション Direct grammar access
JP2015510197A (en) * 2012-02-13 2015-04-02 クアルコム,インコーポレイテッド Engagement-dependent gesture recognition
JP2015072609A (en) * 2013-10-03 2015-04-16 アルパイン株式会社 Electronic device, gesture input method, and program
KR101542986B1 (en) 2013-12-19 2015-08-07 현대자동차 주식회사 System and control method for gestures recognition using holographic
WO2015133057A1 (en) * 2014-03-05 2015-09-11 株式会社デンソー Detection device and gesture input device
JP2015168304A (en) * 2014-03-05 2015-09-28 株式会社デンソー Detection device
JP2015169839A (en) * 2014-03-07 2015-09-28 ポーラ化成工業株式会社 Imaging unit and imaging apparatus
WO2015159548A1 (en) * 2014-04-18 2015-10-22 日本電気株式会社 Projection control device, projection control method, and recording medium recording projection control program
JP2015531719A (en) * 2012-11-27 2015-11-05 ネオノード インコーポレイテッド Light-based touch control on steering wheel and dashboard
JP2015199383A (en) * 2014-04-04 2015-11-12 株式会社デンソー gesture input device
JP2015225493A (en) * 2014-05-28 2015-12-14 京セラ株式会社 Portable terminal, gesture control program and gesture control method
WO2016031152A1 (en) * 2014-08-29 2016-03-03 株式会社デンソー Input interface for vehicle
US9294607B2 (en) 2012-04-25 2016-03-22 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
JP2016053767A (en) * 2014-09-02 2016-04-14 ソニー株式会社 Information processing apparatus, information processing method, and program
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9369760B2 (en) 2011-12-29 2016-06-14 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
JP2016110423A (en) * 2014-12-08 2016-06-20 富士通テン株式会社 Manipulation device and manipulation system
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US9389710B2 (en) 2009-02-15 2016-07-12 Neonode Inc. Light-based controls on a toroidal steering wheel
JP2016139340A (en) * 2015-01-28 2016-08-04 富士ゼロックス株式会社 Information input system and input device
JP2016141171A (en) * 2015-01-29 2016-08-08 三菱自動車工業株式会社 Operation input device of vehicle air conditioner
JP5968573B2 (en) * 2014-02-18 2016-08-10 三菱電機株式会社 Gesture guidance device for moving body, gesture guidance system for moving body, and gesture guidance method for moving body
JP2016165084A (en) * 2015-03-06 2016-09-08 パイオニア株式会社 Reproduction control device and method, and computer program
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
WO2016203715A1 (en) * 2015-06-17 2016-12-22 株式会社デンソー Vehicle information processing device, vehicle information processing system, and vehicle information processing program
US9573471B2 (en) 2013-12-11 2017-02-21 Hyundai Motor Company Terminal, vehicle having the same, and control method thereof
JP2017510875A (en) * 2014-01-22 2017-04-13 エルジー イノテック カンパニー リミテッド Gesture device, operation method thereof, and vehicle equipped with the same
JP2017511632A (en) * 2014-03-31 2017-04-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド Gesture control earphone
US9639164B2 (en) 2013-09-26 2017-05-02 Fujitsu Limited Gesture input method
US9710144B2 (en) 2012-11-27 2017-07-18 Neonode Inc. User interface for curved input device
US9733895B2 (en) 2011-08-05 2017-08-15 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
WO2017187629A1 (en) * 2016-04-28 2017-11-02 三菱電機株式会社 Information processing device, information processing method, and information processing program
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US10019069B2 (en) 2014-03-27 2018-07-10 Denso Corporation Vehicular display input apparatus
US10185399B2 (en) 2015-03-31 2019-01-22 Fujitsu Limited Image processing apparatus, non-transitory computer-readable recording medium, and image processing method
WO2019016878A1 (en) * 2017-07-19 2019-01-24 三菱電機株式会社 Operation support device and operation support method
WO2019077908A1 (en) * 2017-10-20 2019-04-25 株式会社デンソー Gesture input device
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device

Cited By (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084877A (en) * 2001-09-13 2003-03-19 Clarion Co Ltd Information selection apparatus and music playback unit
JP4689111B2 (en) * 2001-09-13 2011-05-25 クラリオン株式会社 Music player
WO2003032166A1 (en) * 2001-10-01 2003-04-17 Novas Inc. Evaluation device, evaluation method and progrom
US6907382B2 (en) 2001-10-01 2005-06-14 Novas Inc. Evaluation device, evaluation method and program
US7289645B2 (en) 2002-10-25 2007-10-30 Mitsubishi Fuso Truck And Bus Corporation Hand pattern switch device
JP2004334590A (en) * 2003-05-08 2004-11-25 Denso Corp Operation input device
WO2005003948A1 (en) * 2003-07-08 2005-01-13 Sony Computer Entertainment Inc. Control system and control method
DE102004038965B4 (en) * 2003-08-11 2009-04-02 Keio University Hand image switching device
KR100575504B1 (en) 2003-08-11 2006-05-03 각고호우징 게이오기주크 Hand pattern switch device
WO2005023598A1 (en) * 2003-09-02 2005-03-17 Matsushita Electric Industrial Co., Ltd. Input device
US7499569B2 (en) 2004-02-26 2009-03-03 Mitsubishi Fuso Truck And Bus Corporation Hand pattern switching apparatus
JP2006111134A (en) * 2004-10-14 2006-04-27 Pioneer Electronic Corp Behavior guiding device, its method, its program and recording medium recording the program
JP2006302490A (en) * 2005-03-25 2006-11-02 Sony Corp Content searching method, content list searching method, content searching apparatus, content list searching apparatus, and searching server
US8049722B2 (en) 2005-09-05 2011-11-01 Toyota Jidosha Kabushiki Kaisha Vehicular operating apparatus
JP2007106372A (en) * 2005-10-17 2007-04-26 Mitsubishi Electric Corp On-vehicle instrument control device
JP2007145106A (en) * 2005-11-25 2007-06-14 Xanavi Informatics Corp On-vehicle information terminal
JP2007163550A (en) * 2005-12-09 2007-06-28 Xanavi Informatics Corp Information processor, navigation device, and map data display method
CN101375235B (en) 2006-02-03 2011-04-06 松下电器产业株式会社 Information processing device
WO2007088939A1 (en) * 2006-02-03 2007-08-09 Matsushita Electric Industrial Co., Ltd. Information processing device
JPWO2007088939A1 (en) * 2006-02-03 2009-06-25 パナソニック株式会社 Information processing device
JP2007249595A (en) * 2006-03-15 2007-09-27 Omron Corp Display, projector, display system, display method, display program, and recording medium
JP2008040576A (en) * 2006-08-02 2008-02-21 Sharp Corp Image processing system and video display device equipped with the same
US7844921B2 (en) 2006-08-25 2010-11-30 Kabushiki Kaisha Toshiba Interface apparatus and interface method
US9032336B2 (en) 2006-09-07 2015-05-12 Osaka Electro-Communication University Gesture input system, method and program
WO2008029467A1 (en) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Gesture input system, method and program
JPWO2008029467A1 (en) * 2006-09-07 2010-01-21 学校法人 大阪電気通信大学 Gesture input system, method and program
JP4489825B2 (en) * 2006-09-07 2010-06-23 学校法人 大阪電気通信大学 Gesture input system, method and program
US8077970B2 (en) 2006-12-04 2011-12-13 Denso Corporation Operation estimating apparatus and related article of manufacture
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
JP2009093260A (en) * 2007-10-04 2009-04-30 Alps Electric Co Ltd Coordinate input device
US8681099B2 (en) 2007-10-22 2014-03-25 Mitsubishi Electric Corporation Manipulation input device which detects human hand manipulations from captured motion images
US8378970B2 (en) 2007-10-22 2013-02-19 Mitsubishi Electric Corporation Manipulation input device which detects human hand manipulations from captured motion images
DE102008048325A1 (en) 2007-10-22 2009-04-23 Mitsubishi Electric Corp. Operation input device
DE102008048325B4 (en) * 2007-10-22 2011-12-08 Mitsubishi Electric Corp. Operation input device
JP2009104297A (en) * 2007-10-22 2009-05-14 Mitsubishi Electric Corp Operation input device
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
JP2011525283A (en) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド Gesture reference control system for vehicle interface
KR100977443B1 (en) 2008-10-01 2010-08-24 숭실대학교산학협력단 Apparatus and method for controlling home appliances based on gesture
US9389710B2 (en) 2009-02-15 2016-07-12 Neonode Inc. Light-based controls on a toroidal steering wheel
US10007422B2 (en) 2009-02-15 2018-06-26 Neonode Inc. Light-based controls in a toroidal steering wheel
US8538090B2 (en) 2009-03-03 2013-09-17 Hyundai Motor Japan R&D Center, Inc. Device for manipulating vehicle built-in devices
JP2010237765A (en) * 2009-03-30 2010-10-21 Toshiba Corp Information processing apparatus, focus movement control method, and focus movement control program
JP2010244405A (en) * 2009-04-08 2010-10-28 Kyushu Hitachi Maxell Ltd Operation device
CN101901050A (en) * 2009-04-23 2010-12-01 日立民用电子株式会社 Input device
US9164578B2 (en) 2009-04-23 2015-10-20 Hitachi Maxell, Ltd. Input device for operating graphical user interface
US9411424B2 (en) 2009-04-23 2016-08-09 Hitachi Maxell, Ltd. Input device for operating graphical user interface
EP2244166A2 (en) 2009-04-23 2010-10-27 Hitachi Consumer Electronics Co., Ltd. Input device using camera-based tracking of hand-gestures
JP2012525625A (en) * 2009-04-30 2012-10-22 サムスン エレクトロニクス カンパニー リミテッド User intention inference apparatus and method using multimodal information
US8593417B2 (en) 2009-04-30 2013-11-26 Denso Corporation Operation apparatus for in-vehicle electronic device and method for controlling the same
JP2012528405A (en) * 2009-05-27 2012-11-12 オブロング・インダストリーズ・インコーポレーテッド Spatial multi-mode control device for use with spatial motion systems
JP2011065012A (en) * 2009-09-18 2011-03-31 Nec Casio Mobile Communications Ltd Imaging apparatus and program
EP2328061A2 (en) 2009-10-05 2011-06-01 Hitachi Consumer Electronics Co. Ltd. Input apparatus
JP5351283B2 (en) * 2009-10-16 2013-11-27 パイオニア株式会社 Map display device, map display method, and map display program
WO2011045861A1 (en) * 2009-10-16 2011-04-21 パイオニア株式会社 Map display device, map display method, and map display program
WO2012011614A1 (en) * 2010-07-23 2012-01-26 Sharp Kabushiki Kaisha Information device, control method thereof and system
JP2012027851A (en) * 2010-07-27 2012-02-09 Nippon Telegr & Teleph Corp <Ntt> Information input device
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US9817232B2 (en) 2010-09-20 2017-11-14 Kopin Corporation Head movement controlled navigation among multiple boards for display in a headset computer
JP2013541092A (en) * 2010-09-20 2013-11-07 コピン コーポレーション Advanced remote control of host applications using movement and voice commands
JP2013545183A (en) * 2010-11-01 2013-12-19 トムソン ライセンシングThomson Licensing Method and apparatus for detecting gesture input
KR101152805B1 (en) 2010-12-15 2012-06-12 콘티넨탈 오토모티브 일렉트로닉스 유한회사 Key signal input control apparatus of vehicle
JP2014507714A (en) * 2011-01-19 2014-03-27 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. Method and system for multimodal and gesture control
US9778747B2 (en) 2011-01-19 2017-10-03 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control
JP2012222784A (en) * 2011-04-14 2012-11-12 Casio Comput Co Ltd Remote operation device, remote operation method and program
WO2012147960A1 (en) * 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 Information processing device, information processing method, and recording medium
JP5709227B2 (en) * 2011-04-28 2015-04-30 Necソリューションイノベータ株式会社 Information processing apparatus, information processing method, and program
US9329673B2 (en) 2011-04-28 2016-05-03 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
JP2013020311A (en) * 2011-07-07 2013-01-31 Fujitsu Ltd Image processing system, image processing method and image processing program
US9733895B2 (en) 2011-08-05 2017-08-15 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP2013037689A (en) * 2011-08-05 2013-02-21 Samsung Electronics Co Ltd Electronic equipment and control method thereof
EP2562620A1 (en) 2011-08-23 2013-02-27 Hitachi Consumer Electronics Co., Ltd. Input unit recognizing user's motion
US9389693B2 (en) 2011-10-14 2016-07-12 Samsung Electronics Co., Ltd. Apparatus and method for recognizing motion by using an event-based vision sensor
JP2014535098A (en) * 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド Motion recognition apparatus and method using event-based vision sensor
US9369760B2 (en) 2011-12-29 2016-06-14 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US9487167B2 (en) 2011-12-29 2016-11-08 Intel Corporation Vehicular speech recognition grammar selection based upon captured or proximity information
JP2015509204A (en) * 2011-12-29 2015-03-26 インテル・コーポレーション Direct grammar access
US9517776B2 (en) 2011-12-29 2016-12-13 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
WO2013101044A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
JP2015510197A (en) * 2012-02-13 2015-04-02 クアルコム,インコーポレイテッド Engagement-dependent gesture recognition
JP2013172211A (en) * 2012-02-17 2013-09-02 Sharp Corp Remote control device and remote control system
CN103294186B (en) * 2012-03-05 2016-02-17 东芝泰格有限公司 Operation assisting display device and control method thereof
CN103294186A (en) * 2012-03-05 2013-09-11 东芝泰格有限公司 Operation supporting display apparatus and control method thereof
JP2013186500A (en) * 2012-03-05 2013-09-19 Toshiba Tec Corp Operation support display device and program
WO2013137412A1 (en) * 2012-03-15 2013-09-19 オムロン株式会社 Control device, electronic device, control method, control program, and computer-readable recording medium which stores control program
JPWO2013137412A1 (en) * 2012-03-15 2015-08-03 オムロン株式会社 Control device, electronic device, control method, control program, and computer-readable recording medium storing control program
EP2647919A1 (en) 2012-04-02 2013-10-09 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
US9347716B2 (en) 2012-04-02 2016-05-24 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
JP2012155742A (en) * 2012-04-11 2012-08-16 Toshiba Corp Information processing apparatus, command execution control method, and command execution control program
JP2013225211A (en) * 2012-04-20 2013-10-31 Nippon Telegr & Teleph Corp <Ntt> Information input device
US9294607B2 (en) 2012-04-25 2016-03-22 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
JP5174978B1 (en) * 2012-04-26 2013-04-03 株式会社三菱東京Ufj銀行 Information processing apparatus, electronic device, and program
JP2013242844A (en) * 2012-04-26 2013-12-05 Bank Of Tokyo-Mitsubishi Ufj Ltd Information processing device, electronic apparatus, and program
JP5232930B1 (en) * 2012-04-26 2013-07-10 株式会社三菱東京Ufj銀行 Information processing apparatus, electronic device, and program
JP5174979B1 (en) * 2012-04-26 2013-04-03 株式会社三菱東京Ufj銀行 Information processing apparatus, electronic device, and program
JP2014016803A (en) * 2012-07-09 2014-01-30 Konica Minolta Inc Operation display device and program
KR20140070747A (en) * 2012-11-26 2014-06-11 현대자동차주식회사 Guidance apparatus for controlling of vehicle and method thereof
KR101875626B1 (en) * 2012-11-26 2018-07-09 현대자동차 주식회사 Guidance apparatus for controlling of vehicle and method thereof
US9710144B2 (en) 2012-11-27 2017-07-18 Neonode Inc. User interface for curved input device
JP2015531719A (en) * 2012-11-27 2015-11-05 ネオノード インコーポレイテッド Light-based touch control on steering wheel and dashboard
US10254943B2 (en) 2012-11-27 2019-04-09 Neonode Inc. Autonomous drive user interface
JP2014115699A (en) * 2012-12-06 2014-06-26 Alpine Electronics Inc In-vehicle system
JP2014127870A (en) * 2012-12-26 2014-07-07 Mitsui Home Co Ltd Housing facility controlling device
JP2014132461A (en) * 2013-01-07 2014-07-17 Samsung Electronics Co Ltd Apparatus for controlling content in electronic device, and method therefor
WO2014119521A1 (en) 2013-01-29 2014-08-07 矢崎総業株式会社 Electronic control device
JP2013131237A (en) * 2013-03-07 2013-07-04 Fujitsu Ten Ltd Display device
JP2014179097A (en) * 2013-03-13 2014-09-25 Honda Motor Co Ltd Information query by pointing
WO2014172904A1 (en) * 2013-04-27 2014-10-30 Rong Weihua Hand gesture recognition apparatus, hand gesture recognition method, and related vehicle-mounted apparatus
US9662980B2 (en) 2013-06-07 2017-05-30 Shimane Prefectural Government Gesture input apparatus for car navigation system
WO2014196208A1 (en) 2013-06-07 2014-12-11 島根県 Gesture input device for car navigation device
WO2014203459A1 (en) * 2013-06-18 2014-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Input device and operation request input method
CN105264465A (en) * 2013-06-18 2016-01-20 松下电器(美国)知识产权公司 Input device and operation request input method
JPWO2014203459A1 (en) * 2013-06-18 2017-02-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Input device and method for inputting operation request
CN105264465B (en) * 2013-06-18 2018-11-09 松下电器(美国)知识产权公司 The method that input unit and input action require
JP2015007946A (en) * 2013-06-26 2015-01-15 キヤノン株式会社 Information processing apparatus and control method of the same, program, and recording medium
JP2015018325A (en) * 2013-07-09 2015-01-29 キヤノン株式会社 Information processor and control method thereof, program, recording medium
US9639164B2 (en) 2013-09-26 2017-05-02 Fujitsu Limited Gesture input method
JP2015072609A (en) * 2013-10-03 2015-04-16 アルパイン株式会社 Electronic device, gesture input method, and program
US9573471B2 (en) 2013-12-11 2017-02-21 Hyundai Motor Company Terminal, vehicle having the same, and control method thereof
KR101542986B1 (en) 2013-12-19 2015-08-07 현대자동차 주식회사 System and control method for gestures recognition using holographic
JP2017510875A (en) * 2014-01-22 2017-04-13 エルジー イノテック カンパニー リミテッド Gesture device, operation method thereof, and vehicle equipped with the same
JP5968573B2 (en) * 2014-02-18 2016-08-10 三菱電機株式会社 Gesture guidance device for moving body, gesture guidance system for moving body, and gesture guidance method for moving body
JP2015168304A (en) * 2014-03-05 2015-09-28 株式会社デンソー Detection device
US9939912B2 (en) 2014-03-05 2018-04-10 Denso Corporation Detection device and gesture input device
WO2015133057A1 (en) * 2014-03-05 2015-09-11 株式会社デンソー Detection device and gesture input device
JP2015169839A (en) * 2014-03-07 2015-09-28 ポーラ化成工業株式会社 Imaging unit and imaging apparatus
US10019069B2 (en) 2014-03-27 2018-07-10 Denso Corporation Vehicular display input apparatus
JP2017511632A (en) * 2014-03-31 2017-04-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド Gesture control earphone
JP2015199383A (en) * 2014-04-04 2015-11-12 株式会社デンソー gesture input device
WO2015159548A1 (en) * 2014-04-18 2015-10-22 日本電気株式会社 Projection control device, projection control method, and recording medium recording projection control program
JP2015225493A (en) * 2014-05-28 2015-12-14 京セラ株式会社 Portable terminal, gesture control program and gesture control method
WO2016031152A1 (en) * 2014-08-29 2016-03-03 株式会社デンソー Input interface for vehicle
JP2016053767A (en) * 2014-09-02 2016-04-14 ソニー株式会社 Information processing apparatus, information processing method, and program
JP2016110423A (en) * 2014-12-08 2016-06-20 富士通テン株式会社 Manipulation device and manipulation system
JP2016139340A (en) * 2015-01-28 2016-08-04 富士ゼロックス株式会社 Information input system and input device
JP2016141171A (en) * 2015-01-29 2016-08-08 三菱自動車工業株式会社 Operation input device of vehicle air conditioner
JP2016165084A (en) * 2015-03-06 2016-09-08 パイオニア株式会社 Reproduction control device and method, and computer program
US10185399B2 (en) 2015-03-31 2019-01-22 Fujitsu Limited Image processing apparatus, non-transitory computer-readable recording medium, and image processing method
WO2016203715A1 (en) * 2015-06-17 2016-12-22 株式会社デンソー Vehicle information processing device, vehicle information processing system, and vehicle information processing program
JP2017007409A (en) * 2015-06-17 2017-01-12 株式会社日本自動車部品総合研究所 Vehicular information processing device, vehicular information processing system and vehicular information processing program
WO2017187629A1 (en) * 2016-04-28 2017-11-02 三菱電機株式会社 Information processing device, information processing method, and information processing program
JPWO2017187629A1 (en) * 2016-04-28 2018-09-13 三菱電機株式会社 Information processing apparatus, information processing method, and information processing program
WO2019016878A1 (en) * 2017-07-19 2019-01-24 三菱電機株式会社 Operation support device and operation support method
WO2019077908A1 (en) * 2017-10-20 2019-04-25 株式会社デンソー Gesture input device

Similar Documents

Publication Publication Date Title
US7969412B2 (en) Display apparatus and method, program of controlling same
CN102576268B (en) Interactive surface with a plurality of input detection technologies
US9346471B2 (en) System and method for controlling a vehicle user interface based on gesture angle
US10324612B2 (en) Scroll bar with video region in a media system
EP1607840B1 (en) Eye control of computer apparatus
KR101647848B1 (en) Multimode user interface of a driver assistance system for inputting and presentation of information
US9703450B2 (en) Device, method, and graphical user interface for configuring restricted interaction with a user interface
EP1567927B1 (en) System and method for user interface with displaced representation of touch area
US8819597B2 (en) Glyph entry on computing device
US9710085B2 (en) Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
US9129011B2 (en) Mobile terminal and control method thereof
JP4360871B2 (en) Input device in information terminal
US8314773B2 (en) Mouse having an optically-based scrolling feature
US8456441B2 (en) Selective input system and process based on tracking of motion parameters of an input object
EP2641155B1 (en) Orthogonal dragging on scroll bars
JP5944326B2 (en) Eye tracker based context action
US8972903B2 (en) Using gesture to navigate hierarchically ordered user interface screens
US10169431B2 (en) Device, method, and graphical user interface for mapping directions between search results
US8466896B2 (en) System and apparatus for selectable input with a touch screen
KR20080106218A (en) Generation of graphical feedback in a computer system
KR20130001261A (en) Multimodal text input system, such as for use with touch screens on mobile phones
EP2821879A1 (en) Method for entering commands and/or characters for a portable communication device equipped with a tilt sensor
US20150138101A1 (en) Mobile terminal and control method thereof
US7337410B2 (en) Virtual workstation
US20070236474A1 (en) Touch Panel with a Haptically Generated Reference Key

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041228

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050414

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060127