JP2018055614A - Gesture operation system, and gesture operation method and program - Google Patents
Gesture operation system, and gesture operation method and program Download PDFInfo
- Publication number
- JP2018055614A JP2018055614A JP2016194322A JP2016194322A JP2018055614A JP 2018055614 A JP2018055614 A JP 2018055614A JP 2016194322 A JP2016194322 A JP 2016194322A JP 2016194322 A JP2016194322 A JP 2016194322A JP 2018055614 A JP2018055614 A JP 2018055614A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- operator
- gesture
- gesture input
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、操作者によるジェスチャ入力に応じて、操作対象に対する操作の指示を行うためのジェスチャ操作システムおよびジェスチャ操作方法に関する。 The present invention relates to a gesture operation system and a gesture operation method for instructing an operation target in response to a gesture input by an operator.
一般に、ヘッドアップディスプレイやカーナビゲーションシステムなどの車載機器の操作方法として、スイッチやタッチパネル等を用いることが知られている。しかしながら、設置可能なスイッチの個数がスペースの関係で制限される場合もあり得るし、運転者がタッチパネルに注視し、状況次第では安全性の配慮に欠ける場合もあり得る。そのため、スイッチ操作やタッチパネル操作ではなく、運転者によるジェスチャ入力により車載機器を操作する装置が提案されている(特許文献1〜5)。
Generally, it is known to use a switch, a touch panel, or the like as an operation method for in-vehicle devices such as a head-up display and a car navigation system. However, the number of switches that can be installed may be limited due to space limitations, and the driver may pay attention to the touch panel, and may not be safe due to circumstances. For this reason, there has been proposed an apparatus for operating an in-vehicle device by a gesture input by a driver instead of a switch operation or a touch panel operation (
上記のように、運転者によるジェスチャ入力により車載機器を操作する装置は従来から存在するものの、運転者の右手か左手かを判別してそれぞれに応じた操作対象を変更する装置は存在せず、かかる装置が要望されていた。 As described above, there is a device for operating an in-vehicle device by a gesture input by the driver, but there is no device for determining whether the driver's right hand or left hand and changing the operation target according to each, There has been a need for such a device.
また、近年、車内に搭載される機器が増加し、また、運転時に利用されるアプリケーションも増加しており、このような様々な操作対象に対しても操作者によるジェスチャ入力によって操作指示を簡易にかつ正確に行うことが要望されていた。 In recent years, the number of devices installed in the vehicle has increased, and the applications used during driving have also increased. For these various operation targets, operation instructions can be easily performed by gesture input by the operator. In addition, it has been demanded to carry out accurately.
本発明は、上述した状況下においてなされたもので、右手か左手かを判別してそれぞれに応じた操作対象を変更し、複数の各種操作対象への操作指示を操作者がより簡易にかつ正確に行えるようにすることができるジェスチャ操作システム、ジェスチャ操作方法、およびプログラムを提供することを目的とする。 The present invention has been made under the above-described circumstances, and determines whether it is a right hand or a left hand, changes the operation target according to each, and makes it easier and more accurate for an operator to issue operation instructions to a plurality of various operation targets. It is an object of the present invention to provide a gesture operation system, a gesture operation method, and a program that can be performed in a simple manner.
上記目的を達成するために、本発明に係るジェスチャ操作システムは、車両の操舵装置を操作する操作者の手を撮像する撮像部と、前記操作者によるジェスチャ入力の受付期間前に、前記撮像された操作者の手の撮像データに基づいて、前記操舵装置と前記操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別する判別部と、前記受付期間前に、前記判別された手のパターンに応じて、前記車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択する選択部と、前記受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行う指示部とを含む。 In order to achieve the above object, a gesture operation system according to the present invention includes an imaging unit that images an operator's hand that operates a vehicle steering device, and the captured image before the gesture input reception period by the operator. A discriminating unit that detects a hand existing in a detection region set between the steering device and the operator based on imaging data of the operator's hand and discriminates either the right hand or the left hand And before the reception period, according to the determined hand pattern, a selection unit that selects any one of a plurality of different operation objects related to the vehicle, and the reception period, And an instruction unit for giving an operation instruction to the operation target based on a gesture input by a hand.
ここで、本発明に係るジェスチャ操作システムは、前記判別された右手または左手のいずれかの手に応じて、前記ジェスチャ入力を受け付けるための操作領域の形状を変更し、当該操作領域を、前記操舵装置と前記操作者との間に設定する設定部をさらに含み、前記指示部は、前記操作領域内における前記手によるジェスチャ入力に基づいて前記操作指示を行うようにしてもよい。 Here, the gesture operation system according to the present invention changes the shape of the operation area for receiving the gesture input according to the determined right hand or left hand, and the operation area is A setting unit that is set between an apparatus and the operator may be further included, and the instruction unit may perform the operation instruction based on a gesture input by the hand in the operation area.
前記操作領域の形状は、前記操舵装置の操作に支障が生じないように、前記判別された手を、前記操作者からみて左右非対称にして上下および左右にスワイプ動作可能に設定するようにしてもよい。 The shape of the operation area may be set so that the determined hand is asymmetrical with respect to the operator so that the operation of the steering device is not hindered, and swipeable up and down and left and right. Good.
前記設定部は、前記受付期間前において前記操作者にかざされた手の位置を基準にして、前記操作領域を配置するようにしてもよい。 The setting unit may arrange the operation area based on a position of a hand held over the operator before the reception period.
前記指示部は、前記手のパターンと前記操作対象に対する前記操作指示の内容とが対応付けられている場合はさらに、前記判別された右手または左手の手の状態に対応付けられた操作指示の内容に基づく前記操作対象に対する操作指示を行うようにしてもよい。 When the hand pattern and the content of the operation instruction for the operation target are associated with each other, the instruction unit further includes the content of the operation instruction associated with the determined state of the right hand or the left hand. An operation instruction for the operation target based on the above may be performed.
本発明に係るジェスチャ操作システムは、前記操舵装置と前記操作者との間に、前記ジェスチャ入力を受け付けるための操作領域を生成する生成部をさらに含み、前記指示部は、前記操作領域内における前記手によるジェスチャ入力に基づいて前記操作指示を行うようにしてもよい。 The gesture operation system according to the present invention further includes a generation unit that generates an operation region for receiving the gesture input between the steering device and the operator, and the instruction unit is configured to include the operation region in the operation region. The operation instruction may be performed based on hand gesture input.
前記指示部は、前記操作指示の結果をフィードバックするようにしてもよい。 The instruction unit may feed back a result of the operation instruction.
上記目的を達成するために、本発明に係るジェスチャ操作方法は、車両の操舵装置を操作する操作者の手を撮像するステップと、前記操作者によるジェスチャ入力の受付期間前に、前記撮像された操作者の手の撮像データに基づいて、前記操舵装置と前記操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別するステップと、前記受付期間前に、前記判別された手のパターンに応じて、前記車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択するステップと、
前記受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行うステップとを含む。
In order to achieve the above object, a gesture operating method according to the present invention includes a step of imaging an operator's hand operating a vehicle steering apparatus, and the imaging operation is performed before a period for accepting a gesture input by the operator. Detecting a hand existing in a detection region set between the steering device and the operator based on imaging data of an operator's hand, and determining either a right hand or a left hand; Before the acceptance period, according to the determined hand pattern, selecting any operation target from a plurality of different operation targets related to the vehicle;
Performing an operation instruction for the operation target based on a gesture input by the hand during the reception period.
上記目的を達成するために、本発明に係るプログラムは、上記ジェスチャ操作方法をコンピュータに実行させる。 In order to achieve the above object, a program according to the present invention causes a computer to execute the gesture operating method.
本発明によれば、右手か左手かを判別してそれぞれに応じた操作対象を変更し、複数の各種操作対象への操作指示を操作者がより簡易にかつ正確に行うことが実現する。 According to the present invention, it is realized whether the right hand or the left hand is discriminated, and the operation target corresponding to each is changed, so that the operator can easily and accurately perform the operation instruction to the various operation objects.
以下、本発明の実施形態であるジェスチャ操作システム(コンピュータ)について説明する。このジェスチャ操作システム1は、車両の運転者である操作者のジェスチャ入力に応じて、車両に関連する操作対象機器に対する操作の指示を与える。
Hereinafter, a gesture operation system (computer) according to an embodiment of the present invention will be described. The
[ジェスチャ操作システム1の構成]
図1は、本発明の一実施形態に係るジェスチャ操作システム1の構成例を示すブロック図である。
[Configuration of Gesture Operation System 1]
FIG. 1 is a block diagram illustrating a configuration example of a
図1において、ジェスチャ操作システム1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、センサ31とを備え、これらの構成要素11,12,13は、バス40と接続される。バス40には、操作対象20も接続される。
1, the
操作対象20は、例えば、HUD(Head-Up Display)21、表示部221を備えたカーナビゲーション装置22、室内またはヘッドライト23等を含む。
The
ナビゲーション装置22は、単独のナビゲーション装置の場合について説明するが、CPU11、ROM12およびRAM13に一体的に組み込むこともできる。
The
CPU11は、各構成要素11〜13,20,31とバス40で接続されて制御信号やデータの転送処理を行うとともに、ジェスチャ操作システム1全体の動作を実現するための各種のプログラムの実行、演算処理、ジェスチャ入力に関する処理等を行う。
The CPU 11 is connected to each of the constituent elements 11 to 13, 20, and 31 via the
このCPU11の各種機能については、後述するジェスチャ操作システム1の動作説明で適宜説明する。
Various functions of the CPU 11 will be described as appropriate in the operation description of the
ROM12には、ジェスチャ操作システム1全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録されており、当該プログラムがRAM13に読み出されてCPU11による実行が開始される。上記プログラムは、DVD-ROMやHDD等の記録媒体に格納される。
The
RAM13には、ジェスチャ入力に必要なデータやプログラムを一時的に記憶するための記録領域が設けられ、上記データやプログラムが保持される。
The
センサ31は、運転時の操作者によって行われるジェスチャ入力を検出するための撮像装置であり、そのセンサ出力がCPU11によって処理されて、ジェスチャ入力に応じて操作指示される。後述するように、この実施形態のジェスチャ操作システム1では、ステアリング(操舵装置)5を操作する運転者は、手によるジェスチャを行うが、このジェスチャの検出が可能であれば、センサ31の構成としていかなる方式のセンサもとり得る。例えば、センサ31は、手の撮像が可能なRGBカラーセンサ、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電解センサ、またはイメージセンサ等であってもよい。
The
[車内の様子]
図2は、ジェスチャ操作システム1を搭載した車内の様子を説明するための図である。
[State in the car]
FIG. 2 is a diagram for explaining a state in the vehicle on which the
図2に示すように、車内には、ステアリング5と、インスツゥルメントパネル(計器盤パネル)26が設けられている。また、操作者が視認可能なフロントガラス面には、HUD21が設けられている。
As shown in FIG. 2, a
センサ31は、インスツゥルメントパネル26のほぼ中央に設けられている。このセンサ31によって、操作者の手によるジェスチャが検出されるようになる。
The
表示部221は、カーナビゲーション装置22に備えられている。
The
[ジェスチャ入力の概略]
次に、ジェスチャ操作システム1によって実現されるジェスチャ入力の概略について、図3を参照して説明する。図3(a)〜図3(e)は、かかる概略を時系列的に説明するための図である。
[Outline of gesture input]
Next, an outline of gesture input realized by the
車内において、操作者100がステアリング5を操作している場合に(図3(a))、検出領域t1内で右手101をかざすと(図3(b))、CPU11は、検出領域t1に手101が存在していると判定し、ステアリング5と操作者100との間に、その手101によるジェスチャ入力を受け入れるための操作領域s1を生成する(図3(c))。
When the
そして、操作領域s1が生成された後の所定の期間内に、例えば図3(d)および図3(e)に示すように、操作者100が、x方向に右手101を動かしてジェスチャ入力をした場合、CPU11は、そのジェスチャ入力を検出し、カーナビゲーション装置22等の操作対象20への操作指示を実施する。
Then, within a predetermined period after the operation area s1 is generated, for example, as shown in FIGS. 3D and 3E, the
このように本実施形態のジェスチャ操作システム1では、検出領域t1で手が検出された後に操作領域s1が生成される。さらに、操作領域s1において、操作者100の手によるジェスチャ入力が受け入れられることによって、操作対象20への操作指示が行われる。
As described above, in the
以下の実施形態の説明では、操作領域s1が生成された後の所定の期間を、ジェスチャ入力の「受付期間」と称する。この実施形態のジェスチャ操作システム1では、その「受付期間前」に、検出領域t1が設定される。
In the following description of the embodiment, a predetermined period after the operation area s1 is generated is referred to as a “reception period” of gesture input. In the
上述したジェスチャ入力の受付期間前の検出領域t1(図3(b))と受付期間の操作領域s1(図3(c)〜図3(e))は、それぞれ後述する図4および図5において、詳細な配置態様を示してある。 The detection area t1 before the gesture input reception period (FIG. 3B) and the operation area s1 during the reception period (FIGS. 3C to 3E) are respectively shown in FIGS. The detailed arrangement | positioning aspect is shown.
図4は、(a)検出領域t1の上面図と、(b)検出領域t1の側面図とを説明するための図である。図5は、(a)操作領域s1の上面図と、(b)操作領域s1の側面図とを説明するための図である。なお、図4および図5は、各領域t1,s1の配置や形状を例示的に示しているに過ぎない。 FIG. 4 is a diagram for explaining (a) a top view of the detection region t1 and (b) a side view of the detection region t1. FIG. 5 is a diagram for explaining (a) a top view of the operation area s1 and (b) a side view of the operation area s1. 4 and 5 merely illustrate the arrangement and shape of the regions t1 and s1.
[ジェスチャ操作システム1の動作]
次に、このジェスチャ入力を実現するために実行される処理の全体について、図1、図2、図4〜図6を参照して説明する。図6は、ジェスチャ操作の制御処理の全体を示すフローチャートである。
[Operation of Gesture Operation System 1]
Next, the entire process executed to realize this gesture input will be described with reference to FIGS. 1, 2, and 4 to 6. FIG. 6 is a flowchart showing the entire gesture operation control process.
図6において、ジェスチャ操作システム1では、ジェスチャ入力の受付期間前に予備動作検出処理が行われた後に(ステップS10)、本操作処理が行われる(ステップS11)。なお、ステップS10〜S11の処理は、それぞれ後述する図7〜図8において、詳細なフローチャートを示してある。
In FIG. 6, in the
図7は、ジェスチャ入力の受付期間前に逐次実行される処理(予備動作検出処理)のフローチャートである。図8は、ジェスチャ入力の受付期間に逐次実行される処理(本操作処理)のフローチャートである。 FIG. 7 is a flowchart of processing (preliminary motion detection processing) that is sequentially executed before the gesture input acceptance period. FIG. 8 is a flowchart of processing (this operation processing) sequentially executed during the gesture input acceptance period.
[予備動作検出処理]
図7において、CPU11は、センサ31によって撮像された1フレームの画像データ(撮像データ)を取得し(ステップS101)、当該画像データ中に、操作者100の手が存在しているか判定する(ステップS102)。ステップS102において、CPU11は、センサ31からの画像データから一定の距離(例えば、3次元成分)をもつ領域のみを抽出して、その領域を検出領域t1(図4)として設定し、検出領域t1内に操作者100の手が存在しているか判定する。
[Preliminary motion detection processing]
In FIG. 7, the CPU 11 acquires one frame of image data (imaging data) captured by the sensor 31 (step S101), and determines whether the hand of the
このジェスチャ操作システム1では、取得された画像データから得られる物体(手など)の移動量や形状、重心座標などの各種要素の解析結果から、手が存在していると判定する。例えば、図4(a)および図4(b)の例では、CPU11は、センサ31からの画像データをあらかじめ設定された閾値に基づいて二値化し、画像データに含まれる物体の輪郭の検出をする。そして、CPU11は、検出された複数の輪郭の中から、あらかじめ設定された面積を有する輪郭を抽出し、その輪郭の重心座標が検出領域t1内に含まれる場合に、その輪郭を手101として認識した場合に、手が存在していると判定する。
In this
ステップS102で手が存在していると判定された場合には、CPU11は、予備動作条件を満たすか判断する(ステップS103)。 If it is determined in step S102 that the hand is present, the CPU 11 determines whether the preliminary operation condition is satisfied (step S103).
このジェスチャ操作システム1では、ジェスチャ入力を有効なものとするための予備動作が一定の条件を満たすことにより、後述するジェスチャ入力の受け入れが有効になる。
In this
予備動作としては、例えば、掌を拡げた状態で手を静止する動作が挙げられる。この場合、CPU11は、検出領域t1において、掌を拡げた状態で手が一定時間静止している場合に、予備動作条件を満たすと判断する。 As a preliminary | backup operation | movement, the operation | movement which stops a hand in the state which expanded the palm is mentioned, for example. In this case, in the detection area t1, the CPU 11 determines that the preliminary operation condition is satisfied when the hand is stationary for a predetermined time with the palm extended.
上述した掌を拡げた状態か否かの判断は、例えば手の凹凸情報に基づいて行うことができる。また、手が静止しているか否かの判断は、手の重心座標の移動量に基づいて行うことができる。例えば、一定のフレーム内で手の重心座標の移動量が閾値以下の場合に、手が静止していると判断される。 The above-described determination as to whether or not the palm is expanded can be made based on hand unevenness information, for example. In addition, the determination of whether or not the hand is stationary can be made based on the amount of movement of the hand barycentric coordinates. For example, it is determined that the hand is stationary when the movement amount of the center-of-gravity coordinates of the hand within a certain frame is equal to or less than a threshold value.
なお、上述した予備動作や予備動作条件は、上記の例示に限られず、自由に設定することができる。 The preliminary operation and the preliminary operation condition described above are not limited to the above examples, and can be freely set.
上述した検出領域t1は、操作者100の手の検出が可能なものであればよく、他の様々な代替の位置や大きさ、形状などによっても実施することができる。例えば、検出領域t1は、ステップS103の検出時に、同じ位置に固定して配置させることなく、移動させるようにしてもよい。このような移動により、例えば、ステップS103の判断時における検出領域t1の位置は、ステップS102の判定時(手が存在しているかの判定時)における検出領域t1の位置と異なるようにすることもできる。
The detection region t1 described above may be any region that can detect the hand of the
ステップS103で予備動作条件を満たすと判断された場合には、CPU11は、操作対象20の初期設定を行う(ステップS104)。 When it is determined in step S103 that the preliminary operation condition is satisfied, the CPU 11 performs initial setting of the operation target 20 (step S104).
この実施形態では、初期設定として、ハードウェア(HUD21、カーナビゲーション装置22等)やソフトウエア(音楽、地図等)の操作対象の中から、前述のステップS102の予備動作条件を満たす手の状態(パターン)に応じて、対応する操作対象を決定することが考えられる。
In this embodiment, as an initial setting, a state of a hand satisfying the preliminary operation condition of the above-described step S102 is selected from the operation targets of hardware (
ここで、上述した操作対象20の決定に関連して、図9を参照して説明する。図9(a)は、ハードウェアが決定される場合の手の状態を含むデータd1の一例を示す図である。図9(b)は、ソフトウェアが決定される(呼び出される)場合の手の状態を含むデータd2の一例を示す表である。
Here, with reference to FIG. 9, it demonstrates in relation to determination of the
例えば、図9(a)によれば、左手がパーの状態であると判別された場合には、HUD21が操作対象20として決定されることや、右手がグーの状態であると判別された場合には、空調を操作対象20として決定されること等が例示されている。
For example, according to FIG. 9A, when it is determined that the left hand is in the par state, the
このジェスチャ操作システム1では、図9(a)または図9(b)に示すデータd1,d2のいずれかがROM12に記録されている。図7のステップS104の処理時には、CPU11は、データd1,d2をROM12から読み出して、右手または左手の手の状態に対応する操作対象20を決定する。
In this
すなわち、CPU11(判別部)は、ジェスチャ入力の受付期間前(ステップS104)において、ステップS102で判定された操作者の手が右手または左手のいずれかを判別する。例えば、かかる判別方法として、センサ31の光軸方向の水平面上で手の重心位置が相対的に右側または左側(あらかじめ設定された範囲)にあるか否かに基づいて、右手または左手と判別すること等が考えられる。
That is, the CPU 11 (determination unit) determines whether the hand of the operator determined in step S102 is the right hand or the left hand before the gesture input reception period (step S104). For example, as such a determination method, a right hand or a left hand is determined based on whether or not the center of gravity position of the hand is relatively on the right side or the left side (preset range) on the horizontal plane in the optical axis direction of the
そして、CPU11(選択部)は、複数の各種操作対象の中から、いずれかの手の状態に対応付けられた操作対象20を選択する。
And CPU11 (selection part) selects the
なお、上述した手の状態は、図9(a)または図9(b)に示した例に限られず、様々な状態を含めるようにしてもよい。 The hand state described above is not limited to the example illustrated in FIG. 9A or 9B, and various states may be included.
図10(a)〜(o)は、様々な手の状態を例示している。図10(i)は、図9(a)および図9(b)におけるグーの状態を示し、図10(j)は、図9(a)および図9(b)におけるチョキの状態を示し、図10(k)は、図9(a)および図9(b)におけるパーの状態を示してある。図10では、それ以外にも様々な手の状態が示してある。これにより、複数の各種操作対象20との対応関係が設定できる。
FIGS. 10A to 10O illustrate various hand states. 10 (i) shows the state of goo in FIG. 9 (a) and FIG. 9 (b), FIG. 10 (j) shows the state of choke in FIG. 9 (a) and FIG. 9 (b), FIG. 10 (k) shows the state of the par in FIGS. 9 (a) and 9 (b). In FIG. 10, various other hand states are shown. Thereby, the correspondence with the various
図7のステップS104の処理後に、CPU11(生成部)は、操作領域s1を生成する(ステップS105)。例えば、図5(a)および図5(b)では、CPU11は、センサ31からの画像データに基づいて、操作者100がかざした手101を検出し、ステアリング5と操作者100との間において、手101の周辺に操作領域s1を生成している。
After the process of step S104 in FIG. 7, the CPU 11 (generating unit) generates the operation area s1 (step S105). For example, in FIGS. 5A and 5B, the CPU 11 detects the
なお、上述した操作領域s1は、図5(a)および図5(b)に示した形状に限られず、自由に設定することができる。 The operation region s1 described above is not limited to the shape shown in FIGS. 5A and 5B, and can be freely set.
[本操作処理]
図8において、CPU11は、センサ31によって撮像された1フレームの画像データを取得し(ステップS111)、当該画像データ中に、操作者100によるジェスチャ入力の操作があるか判定する(ステップS112)。ステップS112において、CPU11は、センサ31からの画像データから、操作領域s1内における操作者100の手の動きを解析し、それがジェスチャ入力の操作か判定する。このジェスチャ操作システム1では、手の移動量や移動方向、手の状態の変化などの各種要素の解析結果から、ジェスチャ入力の操作と判定する。
[This processing]
In FIG. 8, the CPU 11 acquires one frame of image data captured by the sensor 31 (step S111), and determines whether there is a gesture input operation by the
例えば、画像データに基づく右手または左手の手の状態が、あらかじめ登録されている手の状態(図9(a)または図9(b))と一致する場合には、CPU11(指示部)は、ジェスチャ入力に対応した操作対象20への操作指示を行う(ステップS113)。
For example, when the state of the right hand or the left hand based on the image data matches the pre-registered hand state (FIG. 9A or FIG. 9B), the CPU 11 (instruction unit) An operation instruction is given to the
このジェスチャ操作システム1では、右手または左手の手の状態に対応付けられた操作対象20への操作指示の内容が、データとしてROM12に記録されている。ステップS113の処理時には、そのデータが読み出されて、CPU11によって操作指示が行われる。
In the
図11〜図13は、操作対象20とその操作指示内容25との対応関係のデータd11〜d13を示す図である。ROM12は、このデータd11〜d13を記憶する。ステップS113の処理によれば、CPU11は、これらのデータをROM12から読み出し、ジェスチャ入力に対応した操作対象20への操作指示を、操作指示内容25にそって行う。例えば、図11では、操作対象20として地図スケールなどが挙げられ、その地図の広域/詳細などの操作に関連する操作指示内容25が示してある。図12では、操作対象20としてエンジンなどが挙げられ、そのエンジンのオン/オフなどの操作に関連する操作指示内容25が示してある。図13では、操作対象20としてカメラ映像などが挙げられ、そのバックカメラ映像/パノラマ映像の切替えなどの操作に関連する操作指示内容25が示してある。
11 to 13 are diagrams showing data d11 to d13 of correspondence between the
次にCPU11(指示部)は、ステップS113で操作指示された結果のフィードバックを行う(ステップS114)。フィードバックの一例として、例えば、HUD21、カーナビゲーション装置22の表示部221またはインストゥルメントパネル26上で表示を変化させることや、操作対象20の動作を変化させること(例えば、エアコンのON/OFFなど)、スピーカから音声を出力させることにより通知することなどが考えられる。このフィードバックは、操作者100の適切な操作対象に対する操作指示を視覚または聴覚的に確認させる役割を果たす。
Next, the CPU 11 (instruction unit) feeds back the result of the operation instruction in step S113 (step S114). As an example of feedback, for example, changing the display on the
さらに、CPU11(指示部)は、操作が終了した状態、すなわち操作終了状態かを判断する(ステップS115)。例えば、手が検出領域t1外へ移動した状態、または、手が操作領域s1外へ移動した状態の場合に、CPU11は、操作終了状態と判断する。図9のフローチャートによれば、ステップS112の判定処理において、手の状態があらかじめ登録されている手のパターン(図9)と一致しない場合にも、ステップS115において、CPU11は、操作終了状態と判断する。 Further, the CPU 11 (instruction unit) determines whether the operation has been completed, that is, whether the operation has been completed (step S115). For example, when the hand has moved out of the detection area t1, or when the hand has moved out of the operation area s1, the CPU 11 determines that the operation has been completed. According to the flowchart of FIG. 9, even when the hand state does not match the pre-registered hand pattern (FIG. 9) in the determination process in step S <b> 112, the CPU 11 determines in step S <b> 115 that the operation has been completed. To do.
以上説明したように、本実施形態のジェスチャ操作システム1によると、ジェスチャ入力の受付期間前に、検出領域t1に存在する手を検出して、その手が右手または左手のいずれかの手かを判別し、その手の状態に応じて、操作対象を選択する。そして、ジェスチャ入力の受付期間に、操作者100の手によるジェスチャ入力に基づいて、操作対象に対する操作指示を行う。ここで、手の状態には、右手または左手の様々な状態が含まれるので、様々な手の状態と複数の各種操作対象(ハードウェアおよびソフトウェアを含む。)20との対応関係が設定できることを意味し、これにより、複数の各種操作対象20への操作指示を操作者に実施させることができる。例えば、同一のハードウェア(カーナビゲーション装置等)に対しても、複数の異なるアプリケーション機能(地図表示や音楽再生等)の操作を指示することができる。
As described above, according to the
また、上述した操作対象20は、ジェスチャ入力の受付期間前に選択されるので、仮に操作対象が誤って選択された場合でも、当該受入期間前にその選択をし直すことで、正しい操作対象20を選択することができる。
In addition, since the
そして、操作対象20の選択後にジェスチャ入力を受け付けるように構成したものであり、車両の運転をしつつ簡易に操作指示を実施できるように構成されている。
And it is comprised so that a gesture input may be received after selection of the
次に、本実施形態のジェスチャ操作システム1のいくつかの変形例について説明する。
Next, some modified examples of the
(変形例1)
以上では、操作領域s1が配置される位置について言及しなかったが、予備動作直後の手の位置を基準に操作領域s1を配置するようにしてもよい。
(Modification 1)
Although the position where the operation area s1 is arranged is not described above, the operation area s1 may be arranged based on the position of the hand immediately after the preliminary movement.
図14は、かかる操作領域s1の配置例を示す。図14(a)および図14(b)の配置例では、予備動作直後の検出領域t1内に操作者100がかざした手101の位置に対応する位置に、操作領域s1が配置されている。したがって、このジェスチャ操作システム1では、操作者の所望の位置で手を動かしつつ、ジェスチャ入力を行うことができる。
FIG. 14 shows an arrangement example of the operation area s1. In the arrangement examples of FIGS. 14A and 14B, the operation area s1 is arranged at a position corresponding to the position of the
(変形例2)
操作領域s1の形状は、自由に設定することができる。図15は、図5(a)および図5(b)に示したものと異なり、右手か左手かによって変更する形状を示している。
(Modification 2)
The shape of the operation area s1 can be freely set. FIG. 15 shows a shape that is changed depending on whether it is the right hand or the left hand, unlike those shown in FIGS. 5 (a) and 5 (b).
図15(a)および図15(b)では、右肘を左側に動かしながら、右手101のスワイプ動作が可能な操作領域s1がCPU11によって生成されている。
In FIG. 15A and FIG. 15B, the CPU 11 generates an operation region s1 in which the
一方、図15(c)および図15(d)では、左肘を右側に動かしながら、左手102のスワイプ動作が可能な操作領域s1がCPU11(設定部)によって設定されている。
On the other hand, in FIG. 15C and FIG. 15D, an operation region s1 in which the
これにより、操作者100は、ステアリング5の操作に支障が生じないように運転しながら、対応する手を、操作者100からみて左右非対称にして上下および左右にスワイプ動作可能にすることができ、ジェスチャ入力の操作性が向上する。
As a result, the
(変更例3)
ジェスチャ操作システム1において、予備動作条件を満たすか判断する場合(図7のステップS103)に、複数の検出領域を用いるように構成してよい。例えば図16は、2つの検出領域t1,t11を用いる場合において、予備動作を検出する態様について例示している。図16では、検出領域t1に手101が存在するほかにも、検出領域t1よりも小さい別の検出領域t11において、手101の重心位置p(例えば、世界座標系におけるx軸、y軸およびz軸の各値)が存在し、かつ手101が一定時間静止している。これにより、上記ステップS103で説明した手の存在を判断しつつ、予備動作条件を満たすか判断することも可能となる。
(Modification 3)
In the
(変更例4)
また、図7に示したステップS103において、センサ31からの画像データに基づいて、操作者100の手の重心位置pを解析し、この重心位置pを有する手の状態とあらかじめ登録された手の状態とが一致した場合に、その手の動作が予備動作として予備動作条件を満たすと判断することもできる。
(Modification 4)
In step S103 shown in FIG. 7, the center of gravity position p of the hand of the
(変更例5)
センサ31は、ステアリング5を操作する操作者100の手101,102の動きを撮像可能な位置であれば、変更することもできる。例えば図17は、(a)センサ31が車両の天井に設置される場合と、(b)センサ31がマップランプ付近に設置される場合と、(c)センサ31がカーナビゲーション装置22の付近に設置される場合と、(d)センサ31がダッシュボードに設置される場合とを示す配置例を示している。
(Modification 5)
The
(変更例6)
上記実施形態のジェスチャ操作システム1では、ステップS105の処理において操作領域s1を生成する場合について説明した。これとは別に、操作領域s1は、その都度生成するのではなく、操作者100のために予め生成したものを設定するようにしてもよい。
(Modification 6)
In the
(変更例7)
以上では、運転者以外の同乗者(助手席、後部座席)の態様について言及しなかったが、これらの同乗者についても、運転者と同様に、操作者100としてジェスチャ入力ができるようにしてもよい。例えば、同乗者の撮像が可能なセンサ31を設けておき、上記実施形態のジェスチャ操作システム1は、このセンサ31からの画像データに基づいて、その同乗者のジェスチャ入力に対する処理(ステップS101〜S105およびステップS111〜S115)を行うようにしてもよい。
(Modification 7)
In the above description, aspects of passengers other than the driver (passenger seat, rear seat) have not been mentioned, but it is also possible for these passengers to input gestures as the
上記各変形例は、上記実施形態のジェスチャ操作システム1と組み合わせて実施することができる。
Each said modification can be implemented in combination with the
1 ジェスチャ操作システム
5 ステアリング
11 CPU
12 ROM
13 RAM
20 操作対象
21 ヘッドアップディスプレイ(HUD)
22 ナビゲーション装置(操作対象の一例)
23 ライト
25 操作指示内容
26 インスツゥルメントパネル
31 センサ
100 操作者
101,102 手
221 表示部
t1,t11 検出領域
s1 操作領域
1
12 ROM
13 RAM
20
22 Navigation device (example of operation target)
23
Claims (10)
前記操作者によるジェスチャ入力の受付期間前に、前記撮像された操作者の手の撮像データに基づいて、前記操舵装置と前記操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別する判別部と、
前記受付期間前に、前記判別された手のパターンに応じて、前記車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択する選択部と、
前記受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行う指示部と
を含むことを特徴とするジェスチャ操作システム。 An imaging unit for imaging an operator's hand operating a vehicle steering device;
Detecting a hand existing in a detection region set between the steering device and the operator based on the imaged data of the operator's hand before the period for accepting the gesture input by the operator And a discriminator for discriminating either the right hand or the left hand,
Prior to the acceptance period, according to the determined hand pattern, a selection unit that selects any operation target from a plurality of different operation targets related to the vehicle;
An instruction unit that issues an operation instruction to the operation object based on a gesture input by the hand during the reception period.
前記指示部は、前記操作領域内における前記手によるジェスチャ入力に基づいて前記操作指示を行うことを特徴とする請求項1に記載のジェスチャ操作システム。 A setting for changing the shape of the operation area for accepting the gesture input and setting the operation area between the steering device and the operator according to the determined right hand or left hand. Further comprising
The gesture operation system according to claim 1, wherein the instruction unit performs the operation instruction based on a gesture input by the hand in the operation area.
前記指示部は、前記操作領域内における前記手によるジェスチャ入力に基づいて前記操作指示を行うことを特徴とする請求項1または5のいずれか1項に記載のジェスチャ操作システム。 A generator that generates an operation region for receiving the gesture input between the steering device and the operator;
The gesture operation system according to claim 1, wherein the instruction unit performs the operation instruction based on a gesture input by the hand in the operation area.
前記操作者によるジェスチャ入力の受付期間前に、前記撮像された操作者の手の撮像データに基づいて、前記操舵装置と前記操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別するステップと、
前記受付期間前に、前記判別された手のパターンに応じて、前記車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択するステップと、
前記受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行うステップと
を含むことを特徴とするジェスチャ操作方法。 Imaging an operator's hand operating a vehicle steering device;
Detecting a hand existing in a detection region set between the steering device and the operator based on the imaged data of the operator's hand before the period for accepting the gesture input by the operator And determining the right hand or left hand,
Before the acceptance period, according to the determined hand pattern, selecting any operation target from a plurality of different operation targets related to the vehicle;
A step of giving an operation instruction to the operation target based on a gesture input by the hand during the reception period.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016194322A JP2018055614A (en) | 2016-09-30 | 2016-09-30 | Gesture operation system, and gesture operation method and program |
PCT/JP2017/031413 WO2018061603A1 (en) | 2016-09-30 | 2017-08-31 | Gestural manipulation system, gestural manipulation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016194322A JP2018055614A (en) | 2016-09-30 | 2016-09-30 | Gesture operation system, and gesture operation method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018055614A true JP2018055614A (en) | 2018-04-05 |
Family
ID=61759573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016194322A Pending JP2018055614A (en) | 2016-09-30 | 2016-09-30 | Gesture operation system, and gesture operation method and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2018055614A (en) |
WO (1) | WO2018061603A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021133877A (en) * | 2020-02-28 | 2021-09-13 | 株式会社Subaru | Vehicular occupant monitoring device |
JP2022520030A (en) * | 2019-10-22 | 2022-03-28 | 上▲海▼商▲湯▼智能科技有限公司 | Gesture control method and device |
WO2022157880A1 (en) * | 2021-01-21 | 2022-07-28 | 三菱電機株式会社 | Hand detection device, gesture recognition device, and hand detection method |
JP7163526B1 (en) | 2021-07-20 | 2022-10-31 | 株式会社あかつき | Information processing system, program and information processing method |
US11908097B2 (en) | 2021-07-20 | 2024-02-20 | Akatsuki Inc. | Information processing system, program, and information processing method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07282235A (en) * | 1994-04-15 | 1995-10-27 | Matsushita Electric Ind Co Ltd | Operation recognition device |
JP2013205983A (en) * | 2012-03-27 | 2013-10-07 | Sony Corp | Information input apparatus, information input method, and computer program |
JP6030430B2 (en) * | 2012-12-14 | 2016-11-24 | クラリオン株式会社 | Control device, vehicle and portable terminal |
-
2016
- 2016-09-30 JP JP2016194322A patent/JP2018055614A/en active Pending
-
2017
- 2017-08-31 WO PCT/JP2017/031413 patent/WO2018061603A1/en active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022520030A (en) * | 2019-10-22 | 2022-03-28 | 上▲海▼商▲湯▼智能科技有限公司 | Gesture control method and device |
JP2021133877A (en) * | 2020-02-28 | 2021-09-13 | 株式会社Subaru | Vehicular occupant monitoring device |
WO2022157880A1 (en) * | 2021-01-21 | 2022-07-28 | 三菱電機株式会社 | Hand detection device, gesture recognition device, and hand detection method |
JP7483060B2 (en) | 2021-01-21 | 2024-05-14 | 三菱電機株式会社 | Hand detection device, gesture recognition device, and hand detection method |
JP7163526B1 (en) | 2021-07-20 | 2022-10-31 | 株式会社あかつき | Information processing system, program and information processing method |
JP2023015980A (en) * | 2021-07-20 | 2023-02-01 | 株式会社あかつき | Information processing system, program, and information processing method |
US11908097B2 (en) | 2021-07-20 | 2024-02-20 | Akatsuki Inc. | Information processing system, program, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
WO2018061603A1 (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018061603A1 (en) | Gestural manipulation system, gestural manipulation method, and program | |
US10943400B2 (en) | Multimodal user interface for a vehicle | |
US9235269B2 (en) | System and method for manipulating user interface in vehicle using finger valleys | |
JP5261554B2 (en) | Human-machine interface for vehicles based on fingertip pointing and gestures | |
US10466800B2 (en) | Vehicle information processing device | |
JP6030430B2 (en) | Control device, vehicle and portable terminal | |
JP5143235B2 (en) | Control device and vehicle surrounding monitoring device | |
US9043042B2 (en) | Method to map gaze position to information display in vehicle | |
JP2018150043A (en) | System for information transmission in motor vehicle | |
JP6202810B2 (en) | Gesture recognition apparatus and method, and program | |
US20150131857A1 (en) | Vehicle recognizing user gesture and method for controlling the same | |
JP6316559B2 (en) | Information processing apparatus, gesture detection method, and gesture detection program | |
KR102084032B1 (en) | User interface, means of transport and method for distinguishing a user | |
US20140168068A1 (en) | System and method for manipulating user interface using wrist angle in vehicle | |
JP6515028B2 (en) | Vehicle control device | |
US20140079285A1 (en) | Movement prediction device and input apparatus using the same | |
JP2006285370A (en) | Hand pattern switch device and hand pattern operation method | |
JP2018203214A (en) | Parking support device, parking support method, driving support device and driving support method | |
JP2016038621A (en) | Space input system | |
CN105739679A (en) | Steering wheel control system | |
KR20140079160A (en) | System and method for providing a user interface using 2 dimension camera in a vehicle | |
WO2018061413A1 (en) | Gesture detection device | |
JP3933139B2 (en) | Command input device | |
JP5136948B2 (en) | Vehicle control device | |
JP6819539B2 (en) | Gesture input device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170420 |