JP2016091171A - Operation input device - Google Patents
Operation input device Download PDFInfo
- Publication number
- JP2016091171A JP2016091171A JP2014222628A JP2014222628A JP2016091171A JP 2016091171 A JP2016091171 A JP 2016091171A JP 2014222628 A JP2014222628 A JP 2014222628A JP 2014222628 A JP2014222628 A JP 2014222628A JP 2016091171 A JP2016091171 A JP 2016091171A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- region
- steering wheel
- vehicle
- operation input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、操作対象機器への操作入力を受け付ける操作入力装置に関する。 The present invention relates to an operation input device that receives an operation input to an operation target device.
従来、操作者のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置が知られている。ジェスチャを用いた操作入力は、スイッチやボタン等の入力部を用いる操作入力と比較して、操作者の視線や注意を入力部に向けることなく行うことができるので、例えば車両に搭載された車載機器への操作入力等に有効である。
例えば、下記特許文献1は、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる色の光を照射し、複数のジェスチャ領域を撮影した撮影結果からジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する。そして、検出されたジェスチャ領域に対応する操作対象機器に対して、検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する。
Conventionally, an operation input device that recognizes an operator's gesture and receives an operation input to an operation target device is known. Compared with operation input using an input unit such as a switch or a button, operation input using a gesture can be performed without directing the operator's line of sight or attention to the input unit. Effective for operation input to equipment.
For example, in
従来技術にかかるジェスチャを用いた操作入力は、広い空間内で行われるジェスチャを認識するために誤認識率が大きくなるという課題がある。この課題を解決するため、例えば入力用のジェスチャを単純な動きにしたり、複数のセンサやカメラを用いるなどの方法が考えられる。しかしながら、単純なジェスチャは数が限られるため操作入力の種類が限られてしまうという課題があり、複数のセンサやカメラを用いる場合はシステムが高額になるという課題がある。
また、上述した特許文献1では、車内空間内を車幅方向に複数のジェスチャ領域に分割しているが、各領域を操作者が把握できるように色光を照射するなどしており、当該色光が運転者の視覚の妨げになる可能性がある。
また、上述した特許文献1では、車内空間内を一方向(車幅方向)にのみ分割してジェスチャ領域を形成しているため、ジェスチャ動作に制限があるという課題がある。
The operation input using the gesture according to the related art has a problem that the recognition error rate increases because the gesture performed in a wide space is recognized. In order to solve this problem, for example, a method of making a gesture of input a simple movement or using a plurality of sensors and cameras can be considered. However, since the number of simple gestures is limited, there is a problem that the types of operation inputs are limited. When a plurality of sensors and cameras are used, there is a problem that the system becomes expensive.
Further, in
Moreover, in
本発明は、このような事情に鑑みなされたものであり、その目的は、ジェスチャを用いた操作入力において操作入力の認識率を向上させることにある。 The present invention has been made in view of such circumstances, and an object thereof is to improve the recognition rate of operation input in operation input using a gesture.
上述の目的を達成するため、請求項1の発明にかかる操作入力装置は、3次元空間内における操作者のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置であって、前記3次元空間を連続的に撮影する撮影手段と、前記撮影手段によって撮影された撮影画像に基づいて、前記3次元空間内に設定された所定のジェスチャ領域において、前記操作者が所定のジェスチャ動作を行ったか否かを識別し、前記所定のジェスチャ領域で前記所定のジェスチャ動作を行った場合、前記所定のジェスチャ領域と前記所定のジェスチャ動作との組み合わせによって特定される動作を前記操作対象機器に行わせる制御信号を出力するジェスチャ識別手段と、を備え、前記ジェスチャ領域は、前記3次元空間を少なくとも2つの座標軸方向に沿って複数の領域に分割したものである、ことを特徴とする。
請求項2の発明にかかる操作入力装置は、前記ジェスチャ領域は、前記3次元空間を3つの座標軸方向に沿って複数の領域に分割したものである、ことを特徴とする。
請求項3の発明にかかる操作入力装置は、前記3次元空間には車両のステアリングホイールが配置されており、前記ジェスチャ領域は、前記3次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、および前記車両の前後方向にほぼ沿った略前後方向軸に沿って分割したものであり、前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割される、ことを特徴とする。
請求項4の発明にかかる操作入力装置は、前記3次元空間には車両のステアリングホイールが配置されており、前記ジェスチャ領域は、前記3次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、前記車両の前後方向にほぼ沿った略前後方向軸、および前記車両の車幅方向にほぼ沿った略車幅方向軸に沿って分割したものであり、前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割され、前記略車幅方向軸に沿った空間は、前記ステアリングホイールの中心点から一方の車側側の領域と、前記中心点から他方の車側側の領域とに分割される、ことを特徴とする。
請求項5の発明にかかる操作入力装置は、前記操作対象機器は、前記車両内の車載機器である、ことを特徴とする。
In order to achieve the above object, an operation input device according to the invention of
The operation input device according to a second aspect of the invention is characterized in that the gesture region is obtained by dividing the three-dimensional space into a plurality of regions along three coordinate axis directions.
In the operation input device according to a third aspect of the present invention, a steering wheel of a vehicle is arranged in the three-dimensional space, and the gesture region has the three-dimensional space as an origin at the center point of the steering wheel. It is divided along a substantially vertical axis substantially along the vertical direction and a substantially longitudinal axis substantially along the longitudinal direction of the vehicle, and the space along the substantially vertical axis is an inner space of the steering wheel. The space is divided into a circumferential region, an outer edge region of the steering wheel, and an upper region above the outer edge region, and the space along the substantially front-rear axis is a front region where the steering wheel is a surface facing the driver; The steering wheel is divided into a rear surface region that is a mounting surface to the vehicle body.
In the operation input device according to a fourth aspect of the present invention, a steering wheel of a vehicle is arranged in the three-dimensional space, and the gesture region has the three-dimensional space as an origin at a center point of the steering wheel. Divided along a substantially vertical axis substantially along the vertical direction, a substantially longitudinal axis substantially along the vehicle longitudinal direction, and a substantially vehicle width direction axis substantially along the vehicle width direction of the vehicle, The space along the substantially vertical axis is divided into an inner circumferential region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region, and the space along the substantially longitudinal axis is The steering wheel is divided into a front region that is a surface facing the driver and a rear region that is a mounting surface of the steering wheel to the vehicle body. Space along the substantially vehicle transverse axis, said and one of the car-side side area from the center point of the steering wheel, is divided from the center point to the other car side side region, it is characterized.
The operation input device according to a fifth aspect of the invention is characterized in that the operation target device is an in-vehicle device in the vehicle.
請求項1の発明によれば、3次元空間内における操作者のジェスチャを認識して操作入力を受け付けるにあたって、予め定められた所定のジェスチャ動作を行ったか否かと、当該所定のジェスチャ動作が行われた領域とに基づいて操作入力の内容(操作対象機器の動作)を特定する。よって、領域に区分されていない単一空間内でジェスチャを行う場合と比較して、操作入力の意図のない単なる動作を操作入力のジェスチャと誤認識する可能性を低減することができる。また、ジェスチャ領域は3次元空間を少なくとも2つの座標軸方向に沿って複数の領域に分割したものであるので、ジェスチャ動作を行う位置をより詳細に特定することができ、操作入力の認識率を向上させることができる。また、ジェスチャ動作とジェスチャ領域との組み合わせによって、操作入力の種類を増加させることができる。
請求項2の発明によれば、3次元空間を3つの座標軸方向に沿って複数の領域に分割するので、3次元空間をより多くの領域に分割することができるとともに、3次元空間の各座標軸に沿った動作を特定しやすくなり、ジェスチャ動作の幅を広げることができる。
請求項3の発明によれば、車両のステアリングホイールが基準となって、操作者が座標軸方向を認識しやすくなり、ジェスチャ動作を容易かつ正確に行うことができる。
請求項4の発明によれば、3次元空間を略車幅方向軸に沿った領域にも分割するので、車両内の車載機器やその操作部の配置に即した操作入力が設定しやすくなり、ジェスチャを用いた操作入力を直感的に行いやすくすることができる。
請求項5の発明によれば、前方の注視を要求される車両の運転中に入力部等を用いずに車載機器を操作することができ、車両運転中の安全性を向上させることができる。
According to the first aspect of the present invention, when the operator's gesture in the three-dimensional space is recognized and the operation input is accepted, whether or not a predetermined gesture operation is performed in advance and whether the predetermined gesture operation is performed. The content of the operation input (the operation of the operation target device) is specified based on the selected area. Therefore, compared with the case where a gesture is performed in a single space that is not divided into regions, it is possible to reduce the possibility of erroneously recognizing a simple operation with no intention of operation input as a gesture of operation input. In addition, since the gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions, the position where the gesture operation is performed can be specified in more detail, and the recognition rate of operation input is improved. Can be made. Further, the types of operation inputs can be increased by combining the gesture operation and the gesture area.
According to the invention of
According to the third aspect of the invention, the operator can easily recognize the coordinate axis direction based on the steering wheel of the vehicle, and the gesture operation can be performed easily and accurately.
According to the invention of
According to the fifth aspect of the present invention, it is possible to operate the in-vehicle device without using the input unit or the like during driving of the vehicle that requires gaze ahead, and it is possible to improve safety during driving of the vehicle.
以下に添付図面を参照して、本発明にかかる操作入力装置の好適な実施の形態を詳細に説明する。 Exemplary embodiments of an operation input device according to the present invention will be explained below in detail with reference to the accompanying drawings.
(実施の形態1)
図1は、実施の形態にかかる操作入力装置10の構成を示すブロック図である。
実施の形態にかかる操作入力装置10は、図示しない車両に搭載されており、3次元空間S内における操作者のジェスチャを認識して車両内の車載機器30(操作対象機器)への操作入力を受け付ける。
本実施の形態では、3次元空間Sとは車両内の車室空間であり、特に運転席近傍のステアリングホイール20が配置された空間を指す。
また、本実施の形態では、ステアリングホイール20を基準として周囲の空間を複数の領域(ジェスチャ領域)に分割し、どの領域でどのようなジェスチャ(ジェスチャ動作)が行われたかによって、操作内容を識別する。
すなわち、操作入力装置10は、ジェスチャを用いた操作入力が行われる際に、ジェスチャ動作と、そのジェスチャ動作が行われた位置を示すジェスチャ領域によって操作入力の内容を特定する。
このように、ジェスチャ時に基準となる部材(ステアリングホイール20)を空間内で特定することによって、操作者(運転者)がジェスチャの基準となる位置を認識しやすく、操作を行いやすくすることができるとともに、操作入力装置10におけるジェスチャの認識率を向上させることができる。
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of an
The
In the present embodiment, the three-dimensional space S is a cabin space in the vehicle, and particularly refers to a space where the
In the present embodiment, the surrounding space is divided into a plurality of regions (gesture regions) with reference to the
That is, when an operation input using a gesture is performed, the
In this way, by specifying the reference member (steering wheel 20) in the space in the space, it is easy for the operator (driver) to recognize the reference position of the gesture and to perform the operation. At the same time, the gesture recognition rate in the
図2は、ステアリングホイール20の正面図であり、図3は、ステアリングホイール20の側面図(図2のA矢視図)である。
図2に示すように、ステアリングホイール20は、環状のグリップ部22と、当該グリップ部22の中央に配置されたセンター部24と、当該センター部24から左右の径方向に延設されてセンター部24とグリップ部22とを接続する複数のスポーク部26と、を有している。
また、図3に示すように、ステアリングホイール20は、車室内前方の幅方向に延びて形成されているインストルメントパネル31からコラムカバー32を介して配設されている。
ステアリングホイール20は、コラムカバー32内でステアリングシャフト34の上端と連結されている 。ステアリングシャフト34は、筒状のステアリングコラム36内に回転自在に支持され、コラムカバー32内からインストルメントパネル31内にかけて延びている。
ステアリングコラム36には、ステアリングホイール20の角度を変更するチルト装置38がインストルメントパネル31内に設けられている。
FIG. 2 is a front view of the
As shown in FIG. 2, the
Further, as shown in FIG. 3, the
The
The
本実施の形態では、ステアリングホイール20周辺の3次元空間Sを、少なくとも2つの座標軸方向に沿って複数の領域に分割することによってジェスチャ領域を特定する。
実施の形態1では、3次元空間Sをステアリングホイール20の中心点を原点Oとして、車両の上下方向にほぼ沿った略上下方向軸であるX軸および車両の前後方向にほぼ沿った略前後方向軸であるZ軸に沿って分割してジェスチャ領域を特定する。
ここで、車両の上下方向や前後方向にほぼ沿ったとは、図3に示すようにステアリングホイール20は車両の前後方向に傾けて配置されている場合が多く、後述のようにステアリングホイール20の円環を基準として座標軸を設定した場合、車両の上下方向や前後方向に厳密には沿わないことを意味する。
In the present embodiment, the gesture region is specified by dividing the three-dimensional space S around the
In the first embodiment, the three-dimensional space S is set to the origin O as the center point of the
Here, “almost along the up-down direction and the front-rear direction of the vehicle” means that the
略上下方向軸(X軸)に沿った空間は、図2に示すようにステアリングホイール20の内周領域X1、ステアリングホイール20の外縁領域X2、および外縁領域X2より上方の上方領域X3に分割される。
なお、外縁領域X2は、例えばステアリングホイール20のグリップ部22の上端部22Aから上に数センチ程度(操作者の握りこぶしの高さ程度)までの領域である。
また、本実施の形態では、各領域X1〜X3を原点Oより上の空間にのみ設定している。これは、原点Oより下の空間は操作者の視界に入りにくく、操作が行いづらいためである。
しかしながら、図13Aに示すように、原点Oより下の空間にも各領域X1〜X3を設定してもよい。また、図13Bに示すように、原点Oより上の空間に設定された領域X1〜X3と、原点Oより下の空間に設定された領域X1〜X3(領域X1’〜X3’)とを別個の領域として設定してもよい。
また、略前後方向軸(Z軸)に沿った空間は、ステアリングホイール20が運転者と対向する面である前面領域Z1と、ステアリングホイール20の車体への取り付け面である後面領域Z2とに分割される。
As shown in FIG. 2, the space along the substantially vertical axis (X axis) is divided into an inner peripheral region X1 of the
The outer edge region X2 is, for example, a region from the
In the present embodiment, the regions X1 to X3 are set only in the space above the origin O. This is because the space below the origin O is difficult to enter the operator's field of view and is difficult to operate.
However, as shown in FIG. 13A, the regions X1 to X3 may be set in a space below the origin O. Further, as shown in FIG. 13B, the regions X1 to X3 set in the space above the origin O and the regions X1 to X3 (regions X1 ′ to X3 ′) set in the space below the origin O are separated. It may be set as a region.
Further, the space substantially along the longitudinal axis (Z-axis) is divided into a front region Z1, which is a surface where the
図1の説明に戻り、操作入力装置10は、撮影手段12と、ジェスチャ識別手段14とによって構成される。
撮影手段12は、3次元空間を連続的に撮影する。連続的に撮影とは、3次元空間内における操作者の挙動(ジェスチャ)が認識可能な画像群(映像データ)を撮影することを指す。
撮影手段12は、例えば赤外線カメラであり、夜間でも3次元空間内の映像を撮影可能とする。また、撮影手段12を複数のカメラ(ステレオカメラ等)で構成してもよい。
撮影手段12の設置位置は任意であるが、ステアリングホイール20および上述した各領域X1〜X3,Z1,Z2を撮影範囲に含むことができる位置とする。
Returning to the description of FIG. 1, the
The photographing means 12 continuously photographs a three-dimensional space. Continuous shooting refers to shooting a group of images (video data) in which the behavior (gesture) of the operator in a three-dimensional space can be recognized.
The photographing means 12 is, for example, an infrared camera, and can photograph a video in a three-dimensional space even at night. Further, the photographing
The installation position of the photographing
ジェスチャ識別手段14は、撮影手段12によって撮影された撮影画像に基づいて、3次元空間内Sに設定された所定のジェスチャ領域において、操作者が所定のジェスチャ動作を行ったか否かを識別し、所定のジェスチャ領域で所定のジェスチャ動作を行った場合、所定のジェスチャ領域と所定のジェスチャ動作との組み合わせによって特定される動作を操作対象機器に行わせる制御信号を出力する。
ジェスチャ識別手段14は、車両ECU等の処理部によって構成される。車両ECUは、CPU、制御プログラムなどを格納・記憶するROM、制御プログラムの作動領域としてのRAM、各種データを書き換え可能に保持するEEPROM、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成され、上記CPUが上記制御プログラムを実行することによって、ジェスチャ識別手段14として機能する。
ジェスチャ識別手段14は、動作識別手段140、領域識別手段142、操作内容特定手段144、および機器制御手段146を有する。
また、ジェスチャ識別手段14には、ステアリングホイール20周辺のどの領域でどのようなジェスチャ動作が行われたかによって、操作内容を識別するための操作識別データベース(DB)148が記録されている。
The gesture identification unit 14 identifies whether or not the operator has performed a predetermined gesture operation in a predetermined gesture region set in the three-dimensional space S based on the captured image captured by the
The gesture identification unit 14 is configured by a processing unit such as a vehicle ECU. The vehicle ECU includes a CPU, a ROM that stores and stores a control program, a RAM as an operation area of the control program, an EEPROM that holds various data in a rewritable manner, an interface unit that interfaces with peripheral circuits, and the like. When the CPU executes the control program, the CPU functions as the gesture identification unit 14.
The gesture identification unit 14 includes an
Further, the gesture identification unit 14 records an operation identification database (DB) 148 for identifying the operation content depending on what gesture operation is performed in which region around the
図4は、操作識別データベース148の内容を模式的に示す表である。
図4の表では、3種類の操作入力(第1の操作入力〜第3の操作入力)について、ジェスチャが行われる領域(略上下方向軸および略前後方向軸の各領域)1481、ジェスチャ動作1482、操作対象機器1483、および操作内容1484が示されている。
第1の操作入力は、ステアリングホイール20の内周領域X1かつ前面領域Z1で、ステアリングホイール20に対して手をかざすジェスチャ動作を行うものである。
すなわち、図5に示すようにステアリングホイール20に正対して操作者の手Hを広げるジェスチャである。
なお、図5〜図7において、図Aはステアリングホイール20の正面図であり、図Bはステアリングホイール20の側面図である。
第1の操作入力の操作対象機器30は車両のスモールランプおよびテールランプであり、操作内容は点灯および消灯、すなわちスモールランプおよびテールランプが消灯した状態でこのジェスチャが行われた場合にはスモールランプおよびテールランプを点灯し、スモールランプおよびテールランプが点灯した状態でこのジェスチャが行われた場合にはスモールランプおよびテールランプを消灯する。
FIG. 4 is a table schematically showing the contents of the
In the table of FIG. 4, for three types of operation inputs (first operation input to third operation input), a region where gesture is performed (each region of a substantially vertical axis and a substantially front-rear axis) 1481, a
The first operation input is a gesture operation in which the hand is held with respect to the
That is, as shown in FIG. 5, the gesture is to open the operator's hand H directly to the
5 to 7, FIG. A is a front view of the
The
第2の操作入力は、ステアリングホイール20の上方領域X3かつ後面領域Z2で、操作者の手をグー(握りこぶし)からパー(手のひらを広げる)に変化させるジェスチャ動作を行うものである。
すなわち、図6に示すようにステアリングホイール20の上方のインストルメントパネル31寄りの領域に操作者の手Hを位置させて、手Hの形状をグーからパーへと変化させるジェスチャである。
第2の操作入力の操作対象機器30は車両のヘッドランプであり、操作内容は点灯および消灯、すなわちヘッドランプが消灯した状態でこのジェスチャが行われた場合にはヘッドランプを点灯し、ヘッドランプが点灯した状態でこのジェスチャが行われた場合にはヘッドランプを消灯する。
The second operation input is a gesture operation that changes the operator's hand from goo (fist) to par (opens the palm) in the upper region X3 and the rear surface region Z2 of the
That is, as shown in FIG. 6, the operator's hand H is positioned in an area near the
The
第3の操作入力は、操作者の手をステアリングホイール20の内周領域X1の前面領域Z1から後面領域Z2に移動させるジェスチャ動作を行うものである。
すなわち、図7に示すようにステアリングホイール20の内周に手をくぐらせるジェスチャである。
第3の操作入力の操作対象機器30は車両のヘッドライトであり、操作内容はヘッドライトが点灯した状態でこのジェスチャが行われた場合にはヘッドライトの照射方向をハイとローとで切り替え(ハイ/ロー切替)、ヘッドライトが消灯した状態でこのジェスチャが行われた場合にはパッシング点灯(瞬間的なハイビーム点灯)を行う。
The third operation input is to perform a gesture operation for moving the operator's hand from the front surface region Z1 of the inner peripheral region X1 of the
That is, as shown in FIG. 7, it is a gesture for putting a hand over the inner periphery of the
The
図2の説明に戻り、動作識別手段140は、撮影手段12によって撮影された撮影画像に基づいて、3次元空間内で操作者が予め定められた所定のジェスチャ動作を行ったか否かを識別する。
本実施の形態において、操作者とは運転者であり、動作を行う部分は手Hである。動作識別手段140は、公知の画像認識技術(パターン認識技術)を用いて撮影画像中に映る手を識別し、さらに手の各点の位置が時間経過とともにどのように変化するかに基づいて、手のジェスチャ動作を認識する。そして、操作識別DB148に記録されたジェスチャ動作1482(所定のジェスチャ動作)と一致するジェスチャ動作を行ったか否かを識別する。
Returning to the description of FIG. 2, the
In the present embodiment, the operator is a driver, and the part that performs the operation is the hand H. The action identifying means 140 identifies a hand appearing in a captured image using a known image recognition technique (pattern recognition technique), and further, based on how the position of each point of the hand changes over time, Recognize hand gestures. Then, it is identified whether or not a gesture operation that matches the gesture operation 1482 (predetermined gesture operation) recorded in the
領域識別手段142は、所定のジェスチャ動作が行われた位置が上述した複数の領域X1〜X3,Z1,Z2のいずれに属するかを識別する。
領域識別手段142は、撮影画像中のステアリングホイール20の位置とジェスチャ動作時における操作者の手の位置との相対関係から、当該ジェスチャ動作が複数の領域X1〜X3,Z1,Z2のいずれで行われたかを識別する。
The
The
操作内容特定手段144は、所定のジェスチャ動作と所定のジェスチャが行われた領域とに基づいて、操作対象機器30への操作入力の内容(操作内容)を特定する。
操作内容特定手段144は、動作識別手段140で識別されたジェスチャ動作の種類と、領域識別手段142で識別された領域との組み合わせが、操作識別DB148に記録された操作入力に一致するかを判断し、一致している場合には当該操作入力に対応する操作対象機器30への操作内容を特定する。
例えば、動作識別手段140で識別されたジェスチャ動作がステアリングホイール20に対して手をかざすジェスチャ動作(第1の操作入力におけるジェスチャ動作)である場合、領域識別手段142で識別された領域がステアリングホイール20の内周領域X1かつ前面領域Z1である際には、第1の操作入力が行われたと判断し、車両のスモールランプおよびテールランプの点灯または消灯が操作内容であると特定する。
また、ステアリングホイール20に対して手をかざすジェスチャ動作(第1の操作入力のジェスチャ動作)が行われた場合であっても、領域識別手段142で識別された領域がステアリングホイール20の上方領域X3や後面領域Z2などである際には、該当する操作入力はないため操作入力なしと判定する。
すなわち、操作内容特定手段144は、動作識別手段140で識別されたジェスチャ動作と、領域識別手段142で識別された領域との組み合わせが、操作識別DB148に記録された操作入力のいずれかに一致した場合のみ、有効な操作入力として認識する。
The operation
The operation
For example, when the gesture motion identified by the
Further, even when a gesture operation of holding the hand over the steering wheel 20 (the gesture operation of the first operation input) is performed, the region identified by the
In other words, the operation
機器制御手段146は、操作内容に対応する動作、すなわち所定のジェスチャ領域と所定のジェスチャ動作との組み合わせによって特定される動作を操作対象機器30に行わせる制御信号を出力する。
例えば上記第1の操作入力が行われた場合には、機器制御手段146は、車両のスモールランプおよびテールランプに対して点灯および消灯を切り換える制御信号を出力する。
The device control means 146 outputs a control signal that causes the
For example, when the first operation input is performed, the
図8は、操作入力装置10による処理の手順を示すフローチャートである。
操作入力装置10は、車両の走行中は図8に示す処理をくり返し行う。
まず、撮影手段12によってステアリングホイール20周辺の車室空間を撮影する(ステップS800)。
動作識別手段140は、撮影手段12で撮影された撮影画像を解析し、操作者が操作識別DB148に記録されたジェスチャ動作(所定のジェスチャ動作)を行ったか否かを判断する(ステップS802)。
所定のジェスチャ動作を行っていない場合は(ステップS802:No)、ステップS800に戻って以降の処理をくり返す。
また、所定のジェスチャ動作を行った場合は(ステップS802:Yes)、領域識別手段142によって所定のジェスチャ動作を行った領域を特定する(ステップS804)。
つぎに、操作内容特定手段144は、所定のジェスチャ動作と所定のジェスチャを行った領域との組み合わせが、操作識別DB148に記録されたいずれかの操作入力に一致するか否かを判断する(ステップS806)。
いずれかの操作入力に一致しない場合は(ステップS806:No)、ステップS800に戻って以降の処理をくり返す。
また、いずれかの操作入力に一致する場合は(ステップS806:Yes)、操作対象機器30および制御内容を特定し(ステップS808)、機器制御手段146によって操作対象機器30へと制御信号を出力する(ステップS810)。
なお、図8および上記の説明では、動作識別手段140によって所定のジェスチャ動作が行われたことを識別してから領域識別手段142によってジェスチャ領域を識別しているが、これに限らずジェスチャ領域を識別してから所定のジェスチャ動作を行ったかを識別してもよい。例えば、操作者の手の位置を常時追跡しつつ、所定のジェスチャ動作が行われたかを識別してもよい。
FIG. 8 is a flowchart illustrating a processing procedure performed by the
The
First, the vehicle interior space around the
The
When the predetermined gesture operation is not performed (step S802: No), the process returns to step S800 and the subsequent processing is repeated.
When a predetermined gesture operation is performed (step S802: Yes), the region where the predetermined gesture operation is performed is specified by the region identification unit 142 (step S804).
Next, the operation
If it does not match any of the operation inputs (step S806: No), the process returns to step S800 and the subsequent processing is repeated.
If it matches any of the operation inputs (step S806: Yes), the
In FIG. 8 and the above description, the gesture identification region is identified by the
以上説明したように、実施の形態にかかる操作入力装置10は、3次元空間S内における操作者のジェスチャを認識して操作入力を受け付けるにあたって、予め定められた所定のジェスチャ動作を行ったか否かと、当該所定のジェスチャ動作が行われた領域とに基づいて操作入力の内容(操作対象機器30の動作)を特定する。
よって、領域に区分されていない単一空間内でジェスチャを行う場合と比較して、操作入力の意図のない単なる動作を操作入力のジェスチャと誤認識する可能性を低減することができる。
また、ジェスチャ領域は3次元空間を少なくとも2つの座標軸方向に沿って複数の領域に分割したものであるので、ジェスチャ動作を行う位置をより詳細に特定することができ、操作入力の認識率を向上させることができる。
また、ジェスチャ動作とジェスチャ領域とを組み合わせることによって、操作入力の種類を増加させることができる。
また、操作入力装置10は、車両のステアリングホイール20が基準となって、操作者が座標軸方向を認識しやすくなり、ジェスチャ動作を容易かつ正確に行うことができる。
また、操作入力装置10は、前方の注視を要求される車両の運転中に入力部等を用いずに車載機器30を操作することができ、車両運転中の安全性を向上させることができる。
As described above, whether or not the
Therefore, compared with the case where a gesture is performed in a single space that is not divided into regions, it is possible to reduce the possibility of erroneously recognizing a simple operation with no intention of operation input as a gesture of operation input.
In addition, since the gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions, the position where the gesture operation is performed can be specified in more detail, and the recognition rate of operation input is improved. Can be made.
Further, the types of operation inputs can be increased by combining the gesture action and the gesture area.
In addition, the
Further, the
(実施の形態2)
実施の形態1では、ステアリングホイール20周辺の3次元空間Sを2つの座標軸方向、すなわちステアリングホイール20の中心点を原点Oとして、車両の上下方向にほぼ沿った略上下方向軸であるX軸および車両の前後方向にほぼ沿った略前後方向軸であるZ軸に沿って分割してジェスチャ領域とした。
実施の形態2では、ステアリングホイール20周辺の3次元空間Sを3つの座標軸方向に沿って複数の領域に分割してジェスチャ領域とする。すなわち、上述した略上下方向軸であるX軸および略前後方向軸であるZ軸に加えて、車両の車幅方向にほぼ沿った略車幅方向軸であるY軸に沿って分割する。
なお、実施の形態2において、実施の形態1と同様の箇所については実施の形態1と同じ符号を用い、詳細な説明を省略する。
(Embodiment 2)
In the first embodiment, the three-dimensional space S around the
In the second embodiment, the three-dimensional space S around the
In the second embodiment, the same parts as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.
図9は、実施の形態2における3次元空間内の領域設定例である。
図9に示すように、実施の形態2では、ステアリングホイール20を正面視した際に、略上下方向軸(X軸)に沿って内周領域X1、外縁領域X2、および上方領域X3に分割するとともに、略車幅方向軸(Y軸)に沿った空間を、ステアリングホイール20の中心点(原点O)から一方の車側側の領域(図9では操作者から見て右側に位置する右側領域Y1)と、中心点(原点O)から他方の車側側の領域(図9では操作者から見て左側に位置する左側領域Y2)とに分割する。
なお、車両の略前後方向軸(Z軸)については実施の形態1と同様なので説明を省略する。
このように3次元空間上の3軸に沿って領域を設定することによって、操作入力に用いるジェスチャをより多く設定することができる。また、操作入力に用いるジェスチャ間の動きの違いが大きくなるので、操作入力の認識率を向上させることができる。
FIG. 9 is a region setting example in the three-dimensional space in the second embodiment.
As shown in FIG. 9, in the second embodiment, when the
Note that the substantially longitudinal axis (Z-axis) of the vehicle is the same as that of the first embodiment, and thus the description thereof is omitted.
By setting the regions along the three axes in the three-dimensional space as described above, more gestures used for operation input can be set. In addition, since the difference in motion between gestures used for operation input becomes large, the recognition rate of operation input can be improved.
図10は、操作識別データベース148の内容を模式的に示す表である。
図10では、6種類の操作入力(第1の操作入力〜第6の操作入力)が記録されており、第1の操作入力〜第3の操作入力については図4と同様であるが、第4の操作入力〜第6の操作入力については略車幅方向軸に沿ったジェスチャ内容となっている。
第4の操作入力は、ステアリングホイール20の外縁領域X2に沿って操作者の手を右側領域Y1から左側領域Y2へと移動させ、さらに右側領域Y1へと戻すジェスチャ動作を行うものである。
すなわち、図11Aに示すように操作者の右手Hをステアリングホイール20の外縁に沿って車幅方向に往復させるジェスチャである。
第4の操作入力の操作対象機器30は、操作者から見て左側のターンランプであり、操作内容は点灯である。これは、操作者が左折操作をする際にステアリングホイール20を左側に回転させる動作を模擬している。
FIG. 10 is a table schematically showing the contents of the
In FIG. 10, six types of operation inputs (first operation input to sixth operation input) are recorded, and the first operation input to third operation input are the same as those in FIG. The operation input No. 4 to the sixth operation input are gesture contents substantially along the vehicle width direction axis.
The fourth operation input is a gesture operation in which the operator's hand is moved from the right region Y1 to the left region Y2 along the outer edge region X2 of the
That is, as shown in FIG. 11A, the gesture is a reciprocation of the operator's right hand H in the vehicle width direction along the outer edge of the
The
また、第5の操作入力は、ステアリングホイール20の外縁領域X2に沿って操作者の手を左側領域Y2から右側領域Y1へと移動させ、さらに左側領域Y2へと戻すジェスチャ動作を行うものである。
すなわち、図11Bに示すように操作者の左手Hをステアリングホイール20の外縁に沿って車幅方向に往復させるジェスチャである。
第5の操作入力の操作対象機器30は、操作者から見て右側のターンランプであり、操作内容は点灯である。これは、操作者が右折操作をする際にステアリングホイール20を右側に回転させる動作を模擬している。
The fifth operation input is a gesture operation in which the operator's hand is moved from the left region Y2 to the right region Y1 along the outer edge region X2 of the
In other words, as shown in FIG. 11B, the gesture is a reciprocation of the left hand H of the operator in the vehicle width direction along the outer edge of the
The
また、第6の操作入力は、ステアリングホイール20の後面領域Z2において操作者の左手(左側領域Y2)の人差し指を動かすジェスチャ動作を行うものである。
すなわち、図12に示すように左側領域Y2に位置する操作者の左手Hでステアリングホイール20を握った状態で人差し指を挙げて往復させるジェスチャである。
第6の操作入力の操作対象機器30は、ワイパーであり、操作内容は稼働および非稼働の切り替え、すなわちワイパーが非稼働の状態でこのジェスチャが行われた場合にはワイパーを稼働させ、ワイパーが稼働した状態でこのジェスチャが行われた場合にはワイパーを非稼働とする。
第6の操作入力において左手でジェスチャを行うのは、一般的にワイパーの操作レバー(操作部)はステアリングホイール20の左後ろに配置されている場合が多く、ジェスチャと操作内容とが直感的に結びつきやすいためである。
The sixth operation input is a gesture operation for moving the index finger of the left hand (left region Y2) of the operator in the rear surface region Z2 of the
That is, as shown in FIG. 12, the gesture is a reciprocating gesture by raising the index finger while grasping the
The
In the sixth operation input, a gesture with the left hand is generally performed in many cases where the wiper operation lever (operation unit) is arranged on the left rear side of the
このように操作対象機器30の本来の操作部の位置に基づいてジェスチャ動作を行う領域を設定する他、操作対象機器30の位置に基づいてジェスチャ動作を行う領域を設定してもよい。
例えば、運転席の左右に設けられた空調吹き出し口の風量を調整するに際して、右側の空調吹き出し口の調整は右側領域Y1で所定のジェスチャ動作を行うように設定し、左側の空調吹き出し口の調整は左側領域Y2で所定のジェスチャ動作を行うように設定するなどが考えられる。
In this way, in addition to setting the region for performing the gesture operation based on the position of the original operation unit of the
For example, when adjusting the air volume of the air conditioning outlets provided on the left and right sides of the driver's seat, the adjustment of the right air conditioning outlet is set to perform a predetermined gesture operation in the right region Y1, and the adjustment of the left air conditioning outlet For example, it may be set to perform a predetermined gesture operation in the left region Y2.
以上説明したように、実施の形態2によれば、3次元空間Sを3つの座標軸方向に沿って複数の領域に分割するので、3次元空間Sをより多くの領域に分割することができるとともに、3次元空間Sの各座標軸に沿った動作を特定しやすくなり、ジェスチャ動作の幅を広げることができる。
また、実施の形態2では、3次元空間Sを略車幅方向軸に沿った領域にも分割するので、車両内の車載機器やその操作部の配置に即した操作入力が設定しやすくなり、ジェスチャを用いた操作入力を直感的に行いやすくすることができる。
As described above, according to the second embodiment, since the three-dimensional space S is divided into a plurality of regions along the three coordinate axis directions, the three-dimensional space S can be divided into more regions. It becomes easy to specify the motion along each coordinate axis of the three-dimensional space S, and the width of the gesture motion can be widened.
Further, in the second embodiment, since the three-dimensional space S is also divided into regions substantially along the vehicle width direction axis, it becomes easy to set an operation input in accordance with the arrangement of the in-vehicle device in the vehicle and its operation unit, Operation input using gestures can be easily performed intuitively.
10……操作入力装置、12……撮影手段、14……ジェスチャ識別手段、140……動作識別手段、142……領域識別手段、144……操作内容特定手段、146……機器制御手段、148……操作識別データベース、20……ステアリングホイール、22……グリップ部、22A……上端部、24……センター部、26……スポーク部、30……車載機器(操作対象機器)、O……原点、X1……内周領域、X2……外縁領域、X3……上方領域、Y1……右側領域、Y2……左側領域、Z1……前面領域、Z2……後面領域。
DESCRIPTION OF
Claims (5)
前記3次元空間を連続的に撮影する撮影手段と、
前記撮影手段によって撮影された撮影画像に基づいて、前記3次元空間内に設定された所定のジェスチャ領域において、前記操作者が所定のジェスチャ動作を行ったか否かを識別し、前記所定のジェスチャ領域で前記所定のジェスチャ動作を行った場合、前記所定のジェスチャ領域と前記所定のジェスチャ動作との組み合わせによって特定される動作を前記操作対象機器に行わせる制御信号を出力するジェスチャ識別手段と、を備え、
前記ジェスチャ領域は、前記3次元空間を少なくとも2つの座標軸方向に沿って複数の領域に分割したものである、
ことを特徴とする操作入力装置。 An operation input device that recognizes an operator's gesture in a three-dimensional space and receives an operation input to an operation target device,
Photographing means for continuously photographing the three-dimensional space;
Based on a photographed image photographed by the photographing means, it is identified whether or not the operator has performed a predetermined gesture operation in a predetermined gesture area set in the three-dimensional space, and the predetermined gesture area And a gesture identifying means for outputting a control signal for causing the operation target device to perform an action specified by a combination of the predetermined gesture area and the predetermined gesture action when the predetermined gesture action is performed. ,
The gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions.
An operation input device characterized by that.
ことを特徴とする請求項1記載の操作入力装置。 The gesture region is obtained by dividing the three-dimensional space into a plurality of regions along three coordinate axis directions.
The operation input device according to claim 1.
前記ジェスチャ領域は、前記3次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、および前記車両の前後方向にほぼ沿った略前後方向軸に沿って分割したものであり、
前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、
前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割される、
ことを特徴とする請求項1記載の操作入力装置。 A steering wheel of a vehicle is arranged in the three-dimensional space,
The gesture region has a substantially vertical axis substantially along the vertical direction of the vehicle with the center point of the steering wheel as an origin in the three-dimensional space, and a substantially longitudinal axis substantially along the longitudinal direction of the vehicle. Divided,
The space along the substantially vertical axis is divided into an inner peripheral region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region,
The space along the substantially longitudinal axis is divided into a front region, which is a surface where the steering wheel faces the driver, and a rear region, which is a mounting surface of the steering wheel to the vehicle body.
The operation input device according to claim 1.
前記ジェスチャ領域は、前記3次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、前記車両の前後方向にほぼ沿った略前後方向軸、および前記車両の車幅方向にほぼ沿った略車幅方向軸に沿って分割したものであり、
前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、
前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割され、
前記略車幅方向軸に沿った空間は、前記ステアリングホイールの中心点から一方の車側側の領域と、前記中心点から他方の車側側の領域とに分割される、
ことを特徴とする請求項2記載の操作入力装置。 A steering wheel of a vehicle is arranged in the three-dimensional space,
The gesture region includes a substantially vertical axis substantially along the vertical direction of the vehicle with the center point of the steering wheel as an origin in the three-dimensional space, a substantially longitudinal axis substantially along the longitudinal direction of the vehicle, and the vehicle Divided substantially along the vehicle width direction axis substantially along the vehicle width direction,
The space along the substantially vertical axis is divided into an inner peripheral region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region,
The space along the substantially longitudinal axis is divided into a front region, which is a surface where the steering wheel faces the driver, and a rear region, which is a mounting surface of the steering wheel to the vehicle body,
The space along the substantially vehicle width direction axis is divided into a region on one vehicle side from the center point of the steering wheel and a region on the other vehicle side from the center point.
The operation input device according to claim 2.
ことを特徴とする請求項1から4のいずれか1項記載の操作入力装置。 The operation target device is an in-vehicle device in the vehicle.
The operation input device according to any one of claims 1 to 4, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014222628A JP6413645B2 (en) | 2014-10-31 | 2014-10-31 | Operation input device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014222628A JP6413645B2 (en) | 2014-10-31 | 2014-10-31 | Operation input device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016091171A true JP2016091171A (en) | 2016-05-23 |
JP6413645B2 JP6413645B2 (en) | 2018-10-31 |
Family
ID=56019350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014222628A Active JP6413645B2 (en) | 2014-10-31 | 2014-10-31 | Operation input device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6413645B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019178943A (en) * | 2018-03-30 | 2019-10-17 | Necソリューションイノベータ株式会社 | Motion determination device, motion determination method, and program |
CN110480648A (en) * | 2019-07-30 | 2019-11-22 | 深圳市琅硕海智科技有限公司 | A kind of ball shape robot intelligent interactive system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11134090A (en) * | 1997-10-30 | 1999-05-21 | Tokai Rika Co Ltd | Operation signal output device |
JP2007237919A (en) * | 2006-03-08 | 2007-09-20 | Toyota Motor Corp | Input operation device for vehicle |
JP2008162376A (en) * | 2006-12-27 | 2008-07-17 | Takata Corp | Vehicular working system, and vehicle |
WO2014085277A1 (en) * | 2012-11-27 | 2014-06-05 | Neonöde Inc. | Light-based touch controls on a steering wheel and dashboard |
JP2014109994A (en) * | 2012-12-04 | 2014-06-12 | Alpine Electronics Inc | Gesture recognition device, and method and program |
US20150061895A1 (en) * | 2012-03-14 | 2015-03-05 | Flextronics Ap, Llc | Radar sensing and emergency response vehicle detection |
-
2014
- 2014-10-31 JP JP2014222628A patent/JP6413645B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11134090A (en) * | 1997-10-30 | 1999-05-21 | Tokai Rika Co Ltd | Operation signal output device |
JP2007237919A (en) * | 2006-03-08 | 2007-09-20 | Toyota Motor Corp | Input operation device for vehicle |
JP2008162376A (en) * | 2006-12-27 | 2008-07-17 | Takata Corp | Vehicular working system, and vehicle |
US20150061895A1 (en) * | 2012-03-14 | 2015-03-05 | Flextronics Ap, Llc | Radar sensing and emergency response vehicle detection |
WO2014085277A1 (en) * | 2012-11-27 | 2014-06-05 | Neonöde Inc. | Light-based touch controls on a steering wheel and dashboard |
JP2014109994A (en) * | 2012-12-04 | 2014-06-12 | Alpine Electronics Inc | Gesture recognition device, and method and program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019178943A (en) * | 2018-03-30 | 2019-10-17 | Necソリューションイノベータ株式会社 | Motion determination device, motion determination method, and program |
JP7053014B2 (en) | 2018-03-30 | 2022-04-12 | Necソリューションイノベータ株式会社 | Motion judgment device, motion judgment method, and program |
CN110480648A (en) * | 2019-07-30 | 2019-11-22 | 深圳市琅硕海智科技有限公司 | A kind of ball shape robot intelligent interactive system |
Also Published As
Publication number | Publication date |
---|---|
JP6413645B2 (en) | 2018-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110831819B (en) | Parking assist method and parking assist device | |
CN105807912B (en) | Vehicle, method for controlling the same, and gesture recognition apparatus therein | |
JP5143235B2 (en) | Control device and vehicle surrounding monitoring device | |
EP3290301B1 (en) | Parking assist device | |
KR101683509B1 (en) | For preventing glaring by the head lamp and method for preventing glaring using the same | |
EP3051807B1 (en) | Predicted-route presentation device and predicted-route presentation method | |
JPWO2015037117A1 (en) | Information display system and information display device | |
EP2765568A1 (en) | Warning device | |
US10484651B2 (en) | Image display control device | |
JP6342874B2 (en) | Image recognition device | |
WO2018061603A1 (en) | Gestural manipulation system, gestural manipulation method, and program | |
JP2010111260A (en) | Vehicle speed control device | |
JP2017208690A (en) | Image creation device, image display system, and image display method | |
JP2012176656A (en) | Parking support device | |
JP6413647B2 (en) | Operation input device | |
JP6413649B2 (en) | Operation input device | |
JP6413645B2 (en) | Operation input device | |
JP6720729B2 (en) | Display controller | |
JP2017186008A (en) | Information display system | |
KR20170056100A (en) | Objects displaying apparatus of head up display and method thereof | |
US10599226B2 (en) | Operating system and method for operating an operating system for a motor vehicle | |
JP7055563B2 (en) | Light distribution control device | |
JP6464681B2 (en) | Operation input device | |
JP2020121638A (en) | Display control device | |
WO2018193579A1 (en) | Image recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6413645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |