JP2005178473A - 車載機器用インターフェース - Google Patents
車載機器用インターフェース Download PDFInfo
- Publication number
- JP2005178473A JP2005178473A JP2003419752A JP2003419752A JP2005178473A JP 2005178473 A JP2005178473 A JP 2005178473A JP 2003419752 A JP2003419752 A JP 2003419752A JP 2003419752 A JP2003419752 A JP 2003419752A JP 2005178473 A JP2005178473 A JP 2005178473A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- target device
- vehicle
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 操作者の発話に基づく入力音声と、音声辞書に登録された指示代名詞とで特徴データが一致し、且つ、予め設定された許容時間T1内に、操作者のジェスチャ(手の形状)が、手辞書に登録された登録パターンと一致したことが確認されると(S110〜S140)、一致した登録パターンに対応づけられた車載機器を対象機器として特定すると共に、その対象機器の動作状態を取得する(S150)。そして、取得した動作状態を、他の動作状態に切り替えるための制御コマンドを作成し(S160)、その制御コマンドを対象機器に送信する(S170)。つまり、動作状態を切り替えるべき対象機器を、音声(指示代名詞)とジェスチャ(指差し)との組み合わせによって特定する。
【選択図】 図4
Description
これらの場合、2段階の操作がいずれも適合しなければ、機器の操作が行われないため、操作者の意図しない動作による機器の誤作動を、より確実に防止することができる。
この場合、カメラは、乗員や外部の風景(即ち動きのあるもの)が可能な限り背景に含まれないような角度で指定領域を撮像するように配置することが望ましい。このようにすることによって、撮像された手を抽出する際の処理量を大幅に削減することができると共に、抽出の精度を向上させることができる。
この場合、単純な動きであっても、動作方向の自由度が増大するため、その単純な動き一つにしても、その動作方向によって、より多くの機器や操作の特定のために用いることが可能となる。
[第1実施形態]
図1は、本発明を適用した車載機器用インターフェース1、及び車載機器用インターフェースを用いたシステムの概略構成を示すブロック図、図2は、車載機器用インターフェース1を構成する機器や、車載機器用インターフェース1を介して操作される車載機器の配置を示す説明図である。
本処理が起動すると、まず、音声認識部14から音声がマッチング(入力音声と指示代名詞とで特徴データが一致)したとの比較結果が入力されたか否かを判断し(S110)、そのような比較結果が入力されるまで、同ステップを繰り返し実行することで待機する。
また、本実施形態では、マスキング画像から手部分を抽出する際に使用する抽出用情報として、動き抽出処理にて抽出した動き領域の平均輝度や平均色差を用いている。つまり、抽出用情報を固定値とするのではなく、時々刻々と変化する周囲の状況(天気や太陽光の入射方向など)に応じて、抽出用情報の値を変化させているため、手部分の抽出を常に安定した精度にて行うことができる。
[第2実施形態]
次に第2実施形態について説明する。
[第3実施形態]
次に第3実施形態について説明する。
本処理が起動すると、まず、予め設定された許容時間T1以内の間隔で、音声認識部14から音声がマッチングしたとの判定結果、及び手情報検出部13から手情報(パターン番号)の入力がいずれも確認されたか否かを判断する(S210)。そして、否定判定された場合には、同ステップを繰り返し実行することで待機し、肯定判定された場合には、手入力された手情報(パターン番号)に基づいて、機器情報テーブルを参照することで、制御対象となるべき車載機器(対象機器)を特定する(S220)。なお、S210での判定は、具体的には、例えば、第1実施形態にて説明したS110〜S140により実現することができる。
以内に、音声認識部14から音声がマッチングしたとの判定結果、及び手情報検出部13から手情報(手座標又はパターン番号)の入力がいずれも確認されたか否かを判断し(S240)、否定判定された場合には、操作者に車載機器を操作する意図はないものとしてS210に戻る。
[第4実施形態]
次に、第4実施形態について説明する。
このように構成された車載機器用インターフェース1bでは、操作者による指示代名詞の発話が確認されてから、許容時間T1が経過する以前に、操作者のジェスチャが確認された場合に限り、そのジェスチャ(ここでは手の動き)に対応づけられた車載機器が対象機器として特定され、その対象機器の動作状態を切り替えるための制御コマンドが生成,送信される。
[第5実施形態]
次に、第5実施形態について説明する。
但し、手抽出部131は、トリガー部136にて入力画像に背景以外の物体が撮像されていると判定された場合に限り、処理結果(手部分抽出画像)を有効として、これを形状特定部132に供給するように構成されている。なお、トリガー部136での判定結果に従って、処理結果を有効,無効とする代わりに、手抽出部131の動作自体を起動,停止するように構成してもよい。
[第6実施形態]
次に、第6実施形態について説明する。
以上本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。
Claims (15)
- 操作者の手の状態を表す手情報を検出する手情報検出手段と、
前記操作者の発話を認識する音声認識手段と、
前記手情報検出手段での検出結果と前記音声認識手段での認識結果との組み合わせに基づいて、操作対象となる車載機器である対象機器を特定し、該対象機器に対する制御信号を生成する制御信号生成手段と、
を備えることを特徴とする車載機器用インターフェース。 - 前記手情報が表す手の状態とは、手の形状,手の動き,手の位置のうち少なくとも一つを含むことを特徴とする請求項1に記載の車載機器用インターフェース。
- 前記制御信号生成手段は、
前記音声認識手段にて予め設定された指示代名詞が認識されると、前記手情報検出手段が検出する手情報に基づいて前記対象機器を特定し、該対象機器の動作状態を切り替えるための制御信号を生成することを特徴とする請求項1又は2に記載の車載機器用インターフェース。 - 前記制御信号生成手段は、
前記手情報検出手段が検出する手情報に基づいて前記対象機器を特定し、該対象機器に対する操作に対応づけられた予約語が前記音声認識手段にて認識されると、該予約語に対応した操作を前記対象機器に行わせるための制御信号を生成することを特徴とする請求項1又は2に記載の車載機器用インターフェース。 - 前記制御信号生成手段は、
前記音声認識手段にて予め設定された指示代名詞が認識されると、前記手情報検出手段が検出する手情報に基づいて前記対象機器を特定し、該対象機器が特定されてから予め設定された許容時間の間に、該対象機器に対する操作に対応づけられた予約語が前記音声認識手段にて認識されると、該予約語に対応した操作を前記対象機器に行わせるための制御信号を生成することを特徴とする請求項1又は2に記載の車載機器用インターフェース。 - 前記制御信号生成手段は、
前記音声認識手段にて予め設定された指示代名詞が認識されると、前記手情報検出手段が検出する手情報に基づいて前記対象機器を特定し、該対象機器が特定されてから予め設定された許容時間の間に、前記音声認識手段にて予め設定された指示代名詞が再び認識されると、前記手情報検出手段が検出する手情報に基づいて前記対象機器に対する操作を特定し、該操作を前記対象機器に行わせるための制御信号を生成することを特徴とする請求項1又は2に記載の車載機器用インターフェース。 - 前記操作者の手の位置を検出し、該手の位置が予め設定された指定領域内に存在する場合に、前記手情報検出手段又は前記制御信号生成手段の動作を許可する動作許可手段を備えることを特徴とする請求項1〜6のいずれかに記載の車載機器用インターフェース。
- 前記動作許可手段は、前記指定領域を撮像するように配置されたカメラからの入力画像に基づいて前記操作者の手の位置を検出することを特徴とする請求項7に記載の車載機器用インターフェース。
- 前記手情報検出手段は、
前記操作者の手を撮像するカメラからの入力画像に基づき、該入力画像において手が撮像された領域である手部分を抽出する抽出手段と、
該抽出手段が抽出した手部分の形状と予め用意されたテンプレートの形状とを比較し、最も類似したテンプレートの形状を手の形状として特定する形状特定手段と、
を備え、該形状特定手段が特定した手の形状を前記手情報とすることを特徴とする請求項1〜8のいずれかに記載の車載機器用インターフェース。 - 前記手情報検出手段は、
前記操作者の手を撮像するカメラからの入力画像に基づき、該入力画像において手が撮像された領域である手部分を抽出する抽出手段と、
該抽出手段が抽出した手部分の重心を手の位置として特定する位置特定手段と、
を備え、該位置特定手段が特定した手の位置を前記手情報とすることを特徴とする請求項1〜8のいずれかに記載の車載機器用インターフェース。 - 前記手情報検出手段は、
前記操作者の手を撮像するカメラからの入力画像に基づき、該入力画像において手が撮像された領域である手部分を抽出する抽出手段と、
該抽出手段が抽出した手部分の重心を手の位置として特定する位置特定手段と、
前記位置特定手段が特定した手の位置の時系列的な変化を、手の動きとして特定する動き特定手段と、
を備え、該動き特定手段が特定した手の動きを前記手情報とすることを特徴とする請求項1〜8のいずれかに記載の車載機器用インターフェース。 - 前記抽出手段は、前記入力画像を構成する各画素の輝度及び色情報のうち少なくとも一方を抽出用情報とし、前記入力画像において該抽出用情報が予め設定された許容範囲内にある領域を前記手部分とすることを特徴とする請求項9〜11のいずれかに記載の車載機器用インターフェース。
- 前記手情報抽出手段は、
前記入力画像の時系列的なフレーム間差分を求めることにより、前記入力画像において動きのある領域を抽出し、該抽出された領域における前記抽出用情報の平均値に基づいて、前記抽出用情報の許容範囲を設定することを特徴とする請求項12に記載の車載機器用インターフェース。 - 前記手情報検出手段は、前記手情報を、互いに異なる位置に配置された複数のカメラからの入力画像に基づいて3次元的に検出することを特徴とする請求項1〜13のいずれかに記載の車載機器用インターフェース。
- 前記制御信号生成手段が生成する制御信号は、車載機器を相互に接続する通信ネットワークを介して、前記対象機器に送信されることを特徴とする請求項1〜14のいずれかに記載の車載機器用インターフェース。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003419752A JP4311190B2 (ja) | 2003-12-17 | 2003-12-17 | 車載機器用インターフェース |
US10/974,721 US7437488B2 (en) | 2003-12-17 | 2004-10-28 | Interface for car-mounted devices |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003419752A JP4311190B2 (ja) | 2003-12-17 | 2003-12-17 | 車載機器用インターフェース |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005178473A true JP2005178473A (ja) | 2005-07-07 |
JP4311190B2 JP4311190B2 (ja) | 2009-08-12 |
Family
ID=34675225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003419752A Expired - Fee Related JP4311190B2 (ja) | 2003-12-17 | 2003-12-17 | 車載機器用インターフェース |
Country Status (2)
Country | Link |
---|---|
US (1) | US7437488B2 (ja) |
JP (1) | JP4311190B2 (ja) |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072627A (ja) * | 2005-09-05 | 2007-03-22 | Aisin Seiki Co Ltd | サングラス検出装置及び顔中心位置検出装置 |
JP2007078270A (ja) * | 2005-09-14 | 2007-03-29 | Daikin Ind Ltd | 空調システム |
JP2007316882A (ja) * | 2006-05-25 | 2007-12-06 | Mitsubishi Electric Corp | 遠隔操作装置及び方法 |
WO2008149482A1 (ja) * | 2007-06-05 | 2008-12-11 | Mitsubishi Electric Corporation | 車両用操作装置 |
JP2010165223A (ja) * | 2009-01-16 | 2010-07-29 | Denso Corp | 操作推定装置およびプログラム |
KR20100102252A (ko) * | 2009-03-11 | 2010-09-24 | 엘지전자 주식회사 | 이동 단말기 및 그 명령 입력 방법 |
JP2011081506A (ja) * | 2009-10-05 | 2011-04-21 | Hitachi Consumer Electronics Co Ltd | 映像表示装置、および、その表示制御方法 |
US7970204B2 (en) | 2006-08-30 | 2011-06-28 | Fujifilm Corporation | Image processing device having image sensors that pick up an object that carries out an instructing action |
JP2012008772A (ja) * | 2010-06-24 | 2012-01-12 | Sony Corp | ジェスチャ認識装置、ジェスチャ認識方法およびプログラム |
JP2012103840A (ja) * | 2010-11-09 | 2012-05-31 | Sony Corp | 情報処理装置、プログラムおよびコマンド生成方法 |
JP2012126357A (ja) * | 2010-12-17 | 2012-07-05 | Denso Corp | 車内状況表示装置 |
JP2012525625A (ja) * | 2009-04-30 | 2012-10-22 | サムスン エレクトロニクス カンパニー リミテッド | マルチモーダル情報を用いるユーザ意図推論装置及び方法 |
JP2013037454A (ja) * | 2011-08-05 | 2013-02-21 | Ikutoku Gakuen | 姿勢判定方法、プログラム、装置、システム |
JP2013250683A (ja) * | 2012-05-30 | 2013-12-12 | Nec Corp | 情報処理システム、情報処理方法、通信端末、情報処理装置およびその制御方法と制御プログラム |
JP2014067388A (ja) * | 2012-09-06 | 2014-04-17 | Toshiba Alpine Automotive Technology Corp | アイコン操作装置 |
JP2014109850A (ja) * | 2012-11-30 | 2014-06-12 | Pioneer Electronic Corp | 処理装置、処理方法及び処理装置用プログラム |
JP2014167703A (ja) * | 2013-02-28 | 2014-09-11 | Toyama Prefecture | 指差し呼称監視システム |
JP2015506033A (ja) * | 2011-12-27 | 2015-02-26 | インテル コーポレイション | モバイル・デバイスにおける完全な3d対話 |
KR20150067926A (ko) * | 2013-12-10 | 2015-06-19 | 현대자동차주식회사 | 차량용 조작계 보조 시스템 및 그 방법 |
JP2015125780A (ja) * | 2013-12-26 | 2015-07-06 | ビステオン グローバル テクノロジーズ インコーポレイテッド | ジェスチャベース入力のために触覚フィードバックを提供するためのシステム及び方法 |
JP2015521127A (ja) * | 2012-04-02 | 2015-07-27 | グーグル・インク | ジェスチャーに基づく自動車の制御 |
JP2015153324A (ja) * | 2014-02-18 | 2015-08-24 | 株式会社Nttドコモ | 情報検索装置、情報検索方法及び情報検索プログラム |
JPWO2013175603A1 (ja) * | 2012-05-24 | 2016-01-12 | パイオニア株式会社 | 操作入力装置、操作入力方法及び操作入力プログラム |
KR101630153B1 (ko) * | 2014-12-10 | 2016-06-24 | 현대자동차주식회사 | 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법 |
JP2016157171A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社東海理化電機製作所 | ジェスチャ判定装置 |
JP2016157457A (ja) * | 2016-03-31 | 2016-09-01 | パイオニア株式会社 | 操作入力装置、操作入力方法及び操作入力プログラム |
JP2016155407A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社東海理化電機製作所 | ジェスチャ判定装置 |
KR20160103676A (ko) * | 2015-02-25 | 2016-09-02 | 현대자동차주식회사 | 차량 및 차량의 제어 방법 |
WO2016190060A1 (ja) * | 2015-05-22 | 2016-12-01 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
US9573471B2 (en) | 2013-12-11 | 2017-02-21 | Hyundai Motor Company | Terminal, vehicle having the same, and control method thereof |
JP2017095968A (ja) * | 2015-11-24 | 2017-06-01 | フルテック株式会社 | 自動ドアシステムおよび指示受付装置 |
JP2018063328A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社東芝 | 電子機器及びその制御方法 |
JP2018077839A (ja) * | 2016-11-10 | 2018-05-17 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 深度値に基づいたジェスチャ操作方法および深度値に基づいたジェスチャ操作システム |
WO2019077908A1 (ja) * | 2017-10-20 | 2019-04-25 | 株式会社デンソー | ジェスチャ入力装置 |
WO2019077897A1 (ja) * | 2017-10-17 | 2019-04-25 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2019098932A (ja) * | 2017-12-01 | 2019-06-24 | アイシン精機株式会社 | 制御装置およびプログラム |
JP2019191946A (ja) * | 2018-04-25 | 2019-10-31 | パイオニア株式会社 | 情報処理装置 |
JPWO2019016936A1 (ja) * | 2017-07-21 | 2019-11-21 | 三菱電機株式会社 | 操作支援装置および操作支援方法 |
JP2020091492A (ja) * | 2020-02-06 | 2020-06-11 | 東芝映像ソリューション株式会社 | 電子機器及びその制御方法 |
JP7262643B1 (ja) | 2022-04-01 | 2023-04-21 | 三菱電機株式会社 | 電力設備制御システム、サーバ装置、中央処理装置、電力設備制御方法および電力設備制御プログラム |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
JP2007302223A (ja) * | 2006-04-12 | 2007-11-22 | Hitachi Ltd | 車載装置の非接触入力操作装置 |
JP2007302154A (ja) * | 2006-05-12 | 2007-11-22 | Alps Electric Co Ltd | 車載用入力装置 |
JP4635957B2 (ja) * | 2006-05-12 | 2011-02-23 | 株式会社デンソー | 車載操作システム |
JP4670803B2 (ja) * | 2006-12-04 | 2011-04-13 | 株式会社デンソー | 操作推定装置およびプログラム |
DE102006058758B4 (de) * | 2006-12-12 | 2018-02-22 | Deutsche Telekom Ag | Verfahren und Vorrichtung zum Steuern einer Telekommunikationsendeinrichtung |
US20080156989A1 (en) * | 2006-12-28 | 2008-07-03 | O2Micro Inc. | Motion sensing/recognition by camera applications |
GB2447484B (en) * | 2007-03-15 | 2012-01-18 | Jaguar Cars | Security system for a motor vehicle |
US20090109036A1 (en) * | 2007-10-29 | 2009-04-30 | The Boeing Company | System and Method for Alternative Communication |
US10146320B2 (en) | 2007-10-29 | 2018-12-04 | The Boeing Company | Aircraft having gesture-based control for an onboard passenger service unit |
KR101079598B1 (ko) * | 2007-12-18 | 2011-11-03 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
JP2010205130A (ja) * | 2009-03-05 | 2010-09-16 | Denso Corp | 制御装置 |
US9383823B2 (en) * | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
JP5005758B2 (ja) * | 2009-12-25 | 2012-08-22 | 株式会社ホンダアクセス | 自動車における車載機器の操作装置 |
US8296151B2 (en) * | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
KR101241729B1 (ko) * | 2010-11-23 | 2013-03-11 | 현대자동차주식회사 | 조작 인터페이스 제공 시스템 |
WO2012123033A1 (de) * | 2011-03-17 | 2012-09-20 | Ssi Schaefer Noell Gmbh Lager Und Systemtechnik | Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache |
CN103186234A (zh) * | 2011-12-31 | 2013-07-03 | 联想(北京)有限公司 | 控制方法以及电子设备 |
US20130204457A1 (en) * | 2012-02-06 | 2013-08-08 | Ford Global Technologies, Llc | Interacting with vehicle controls through gesture recognition |
JP2013196047A (ja) * | 2012-03-15 | 2013-09-30 | Omron Corp | ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法 |
JPWO2013145223A1 (ja) | 2012-03-29 | 2015-12-10 | パイオニア株式会社 | 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体 |
DE102012007761A1 (de) * | 2012-04-20 | 2013-10-24 | Marquardt Gmbh | Bedienvorrichtung |
US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
US9529793B1 (en) | 2012-06-01 | 2016-12-27 | Google Inc. | Resolving pronoun ambiguity in voice queries |
US9092394B2 (en) | 2012-06-15 | 2015-07-28 | Honda Motor Co., Ltd. | Depth based context identification |
WO2013190538A1 (en) * | 2012-06-20 | 2013-12-27 | Pointgrab Ltd. | Method for touchless control of a device |
JP5972372B2 (ja) * | 2012-06-25 | 2016-08-17 | 三菱電機株式会社 | 車載情報装置 |
DE102012012697A1 (de) * | 2012-06-26 | 2014-01-02 | Leopold Kostal Gmbh & Co. Kg | Bediensystem für ein Kraftfahrzeug |
DE102012013503B4 (de) * | 2012-07-06 | 2014-10-09 | Audi Ag | Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens |
CN103631157A (zh) * | 2012-08-29 | 2014-03-12 | 杨尧任 | 利用手势识别技术控制汽车电器的装置及其应用方法 |
US9082202B2 (en) * | 2012-09-12 | 2015-07-14 | Enlighted, Inc. | Image detection and processing for building control |
JP6014162B2 (ja) * | 2012-11-08 | 2016-10-25 | アルプス電気株式会社 | 入力装置 |
EP2738645A1 (en) | 2012-11-30 | 2014-06-04 | Harman Becker Automotive Systems GmbH | Vehicle gesture recognition system and method |
JP6202810B2 (ja) | 2012-12-04 | 2017-09-27 | アルパイン株式会社 | ジェスチャ認識装置および方法ならびにプログラム |
KR101490908B1 (ko) * | 2012-12-05 | 2015-02-06 | 현대자동차 주식회사 | 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 |
US20140181105A1 (en) * | 2012-12-22 | 2014-06-26 | Continental Automotive Systems, Inc. | Vehicle point and select |
CN103970260B (zh) * | 2013-01-31 | 2017-06-06 | 华为技术有限公司 | 一种非接触式手势控制方法及电子终端设备 |
DE102013001868B4 (de) | 2013-02-02 | 2021-03-25 | Audi Ag | Verfahren zum Betreiben eines Kraftwagens per Gestensteuerung sowie Kraftwagen mit einer Gestenerfassungseinrichtung |
US20140282161A1 (en) * | 2013-03-13 | 2014-09-18 | Honda Motor Co., Ltd. | Gesture-based control systems and methods |
US8818716B1 (en) | 2013-03-15 | 2014-08-26 | Honda Motor Co., Ltd. | System and method for gesture-based point of interest search |
JP5750687B2 (ja) * | 2013-06-07 | 2015-07-22 | 島根県 | カーナビ用ジェスチャ入力装置 |
US9405375B2 (en) * | 2013-09-13 | 2016-08-02 | Qualcomm Incorporated | Translation and scale invariant features for gesture recognition |
KR101537936B1 (ko) * | 2013-11-08 | 2015-07-21 | 현대자동차주식회사 | 차량 및 그 제어방법 |
DE102014202834A1 (de) * | 2014-02-17 | 2015-09-03 | Volkswagen Aktiengesellschaft | Anwenderschnittstelle und Verfahren zum berührungslosen Bedienen eines in Hardware ausgestalteten Bedienelementes in einem 3D-Gestenmodus |
CN104216514A (zh) * | 2014-07-08 | 2014-12-17 | 深圳市华宝电子科技有限公司 | 一种车载设备控制方法、装置及车辆 |
US20160062473A1 (en) * | 2014-08-29 | 2016-03-03 | Hand Held Products, Inc. | Gesture-controlled computer system |
US20160103655A1 (en) * | 2014-10-08 | 2016-04-14 | Microsoft Corporation | Co-Verbal Interactions With Speech Reference Point |
CN104750253B (zh) * | 2015-03-11 | 2018-10-12 | 苏州佳世达电通有限公司 | 一种供用户进行体感输入的电子装置 |
US9898809B2 (en) * | 2015-11-10 | 2018-02-20 | Nanjing University | Systems, methods and techniques for inputting text into mobile devices using a camera-based keyboard |
JP6055899B2 (ja) * | 2015-12-04 | 2016-12-27 | パイオニア株式会社 | 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体 |
WO2017100167A1 (en) * | 2015-12-06 | 2017-06-15 | Voicebox Technologies Corporation | System and method of conversational adjustment based on user's cognitive state and/or situational state |
US10166995B2 (en) * | 2016-01-08 | 2019-01-01 | Ford Global Technologies, Llc | System and method for feature activation via gesture recognition and voice command |
DE102016212681A1 (de) * | 2016-07-12 | 2018-01-18 | Audi Ag | Steuervorrichtung und Verfahren zum sprachbasierten Betreiben eines Kraftfahrzeugs |
CN106985768A (zh) * | 2016-09-14 | 2017-07-28 | 蔚来汽车有限公司 | 车载手势控制系统和方法 |
DE102016221564A1 (de) * | 2016-10-13 | 2018-04-19 | Bayerische Motoren Werke Aktiengesellschaft | Multimodaler Dialog in einem Kraftfahrzeug |
DE102017011498B4 (de) | 2017-12-13 | 2022-08-18 | Mercedes-Benz Group AG | Verfahren zum Betreiben eines Assistenzsystems und ein Assistenzsystem für einen Kraftwagen |
US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
EP3809712A4 (en) * | 2018-06-12 | 2021-07-21 | Sony Corporation | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
DE102018009487A1 (de) * | 2018-12-03 | 2020-06-04 | Daimler Ag | Verfahren und Vorrichtung zur Einstellung einer Fahrzeugkomponente |
DE102019204481A1 (de) * | 2019-03-29 | 2020-10-01 | Deere & Company | System zur Erkennung einer Bedienabsicht an einer von Hand betätigbaren Bedieneinheit |
CN110211585A (zh) * | 2019-06-05 | 2019-09-06 | 广州小鹏汽车科技有限公司 | 车内娱乐互动方法、装置、车辆和机器可读介质 |
CN112109729B (zh) * | 2019-06-19 | 2023-06-06 | 宝马股份公司 | 用于车载系统的人机交互方法、装置和系统 |
JP2023532000A (ja) * | 2020-06-26 | 2023-07-26 | インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ | ユーザインターフェース方法及びシステム |
US20230303102A1 (en) * | 2020-07-21 | 2023-09-28 | Ningbo Geely Automobile Research AND Development Co., Ltd. | Vehicle integrated control method and apparatus, device, and storage medium |
US11507194B2 (en) * | 2020-12-02 | 2022-11-22 | Huawei Technologies Co., Ltd. | Methods and devices for hand-on-wheel gesture interaction for controls |
CN115220634A (zh) * | 2021-04-16 | 2022-10-21 | 博泰车联网科技(上海)股份有限公司 | 打开车辆功能操作界面的系统及方法、存储介质、终端 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH075977A (ja) * | 1993-06-16 | 1995-01-10 | Hitachi Ltd | 複合形態による対象物指示方法 |
JPH08322033A (ja) * | 1995-05-05 | 1996-12-03 | Siemens Ag | 画像の中の画素を分類するためのコンピュータユニットの中に色テーブルを形成する方法 |
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
JPH10222646A (ja) * | 1997-02-12 | 1998-08-21 | Toshiba Corp | 画像入力装置および画像入力方法 |
JP2000075991A (ja) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
JP2003131785A (ja) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | インタフェース装置および操作制御方法およびプログラム製品 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031551A (ja) | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 |
US6181343B1 (en) * | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
JP2001188555A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
US6703999B1 (en) | 2000-11-13 | 2004-03-09 | Toyota Jidosha Kabushiki Kaisha | System for computer user interface |
JP4294853B2 (ja) | 2000-12-19 | 2009-07-15 | アルパイン株式会社 | 操作指示装置 |
US6804396B2 (en) | 2001-03-28 | 2004-10-12 | Honda Giken Kogyo Kabushiki Kaisha | Gesture recognition system |
US6498970B2 (en) * | 2001-04-17 | 2002-12-24 | Koninklijke Phillips Electronics N.V. | Automatic access to an automobile via biometrics |
AU2003275134A1 (en) * | 2002-09-19 | 2004-04-08 | The Penn State Research Foundation | Prosody based audio/visual co-analysis for co-verbal gesture recognition |
-
2003
- 2003-12-17 JP JP2003419752A patent/JP4311190B2/ja not_active Expired - Fee Related
-
2004
- 2004-10-28 US US10/974,721 patent/US7437488B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH075977A (ja) * | 1993-06-16 | 1995-01-10 | Hitachi Ltd | 複合形態による対象物指示方法 |
JPH08322033A (ja) * | 1995-05-05 | 1996-12-03 | Siemens Ag | 画像の中の画素を分類するためのコンピュータユニットの中に色テーブルを形成する方法 |
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
JPH10222646A (ja) * | 1997-02-12 | 1998-08-21 | Toshiba Corp | 画像入力装置および画像入力方法 |
JP2000075991A (ja) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
JP2003131785A (ja) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | インタフェース装置および操作制御方法およびプログラム製品 |
Cited By (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4739870B2 (ja) * | 2005-09-05 | 2011-08-03 | アイシン精機株式会社 | サングラス検出装置及び顔中心位置検出装置 |
JP2007072627A (ja) * | 2005-09-05 | 2007-03-22 | Aisin Seiki Co Ltd | サングラス検出装置及び顔中心位置検出装置 |
JP2007078270A (ja) * | 2005-09-14 | 2007-03-29 | Daikin Ind Ltd | 空調システム |
JP2007316882A (ja) * | 2006-05-25 | 2007-12-06 | Mitsubishi Electric Corp | 遠隔操作装置及び方法 |
JP4711885B2 (ja) * | 2006-05-25 | 2011-06-29 | 三菱電機株式会社 | 遠隔操作装置及び方法 |
US7970204B2 (en) | 2006-08-30 | 2011-06-28 | Fujifilm Corporation | Image processing device having image sensors that pick up an object that carries out an instructing action |
WO2008149482A1 (ja) * | 2007-06-05 | 2008-12-11 | Mitsubishi Electric Corporation | 車両用操作装置 |
DE112008001396T5 (de) | 2007-06-05 | 2010-03-25 | Mitsubishi Electric Corp. | Fahrzeugbedienungsvorrichtung |
DE112008001396B4 (de) * | 2007-06-05 | 2015-12-31 | Mitsubishi Electric Corp. | Fahrzeugbedienungsvorrichtung |
JPWO2008149482A1 (ja) * | 2007-06-05 | 2010-08-19 | 三菱電機株式会社 | 車両用操作装置 |
US8532871B2 (en) | 2007-06-05 | 2013-09-10 | Mitsubishi Electric Company | Multi-modal vehicle operating device |
JP2010165223A (ja) * | 2009-01-16 | 2010-07-29 | Denso Corp | 操作推定装置およびプログラム |
KR20100102252A (ko) * | 2009-03-11 | 2010-09-24 | 엘지전자 주식회사 | 이동 단말기 및 그 명령 입력 방법 |
KR101589560B1 (ko) * | 2009-03-11 | 2016-01-28 | 엘지전자 주식회사 | 이동 단말기 및 그 명령 입력 방법 |
JP2012525625A (ja) * | 2009-04-30 | 2012-10-22 | サムスン エレクトロニクス カンパニー リミテッド | マルチモーダル情報を用いるユーザ意図推論装置及び方法 |
JP2011081506A (ja) * | 2009-10-05 | 2011-04-21 | Hitachi Consumer Electronics Co Ltd | 映像表示装置、および、その表示制御方法 |
JP2012008772A (ja) * | 2010-06-24 | 2012-01-12 | Sony Corp | ジェスチャ認識装置、ジェスチャ認識方法およびプログラム |
US8756508B2 (en) | 2010-06-24 | 2014-06-17 | Sony Corporation | Gesture recognition apparatus, gesture recognition method and program |
JP2012103840A (ja) * | 2010-11-09 | 2012-05-31 | Sony Corp | 情報処理装置、プログラムおよびコマンド生成方法 |
JP2012126357A (ja) * | 2010-12-17 | 2012-07-05 | Denso Corp | 車内状況表示装置 |
JP2013037454A (ja) * | 2011-08-05 | 2013-02-21 | Ikutoku Gakuen | 姿勢判定方法、プログラム、装置、システム |
US9335888B2 (en) | 2011-12-27 | 2016-05-10 | Intel Corporation | Full 3D interaction on mobile devices |
JP2015506033A (ja) * | 2011-12-27 | 2015-02-26 | インテル コーポレイション | モバイル・デバイスにおける完全な3d対話 |
JP2015521127A (ja) * | 2012-04-02 | 2015-07-27 | グーグル・インク | ジェスチャーに基づく自動車の制御 |
JPWO2013175603A1 (ja) * | 2012-05-24 | 2016-01-12 | パイオニア株式会社 | 操作入力装置、操作入力方法及び操作入力プログラム |
JP2013250683A (ja) * | 2012-05-30 | 2013-12-12 | Nec Corp | 情報処理システム、情報処理方法、通信端末、情報処理装置およびその制御方法と制御プログラム |
JP2014067388A (ja) * | 2012-09-06 | 2014-04-17 | Toshiba Alpine Automotive Technology Corp | アイコン操作装置 |
JP2014109850A (ja) * | 2012-11-30 | 2014-06-12 | Pioneer Electronic Corp | 処理装置、処理方法及び処理装置用プログラム |
JP2014167703A (ja) * | 2013-02-28 | 2014-09-11 | Toyama Prefecture | 指差し呼称監視システム |
KR101976497B1 (ko) * | 2013-12-10 | 2019-05-10 | 현대자동차 주식회사 | 차량용 조작계 보조 시스템 및 그 방법 |
KR20150067926A (ko) * | 2013-12-10 | 2015-06-19 | 현대자동차주식회사 | 차량용 조작계 보조 시스템 및 그 방법 |
US9573471B2 (en) | 2013-12-11 | 2017-02-21 | Hyundai Motor Company | Terminal, vehicle having the same, and control method thereof |
JP2015125780A (ja) * | 2013-12-26 | 2015-07-06 | ビステオン グローバル テクノロジーズ インコーポレイテッド | ジェスチャベース入力のために触覚フィードバックを提供するためのシステム及び方法 |
JP2015153324A (ja) * | 2014-02-18 | 2015-08-24 | 株式会社Nttドコモ | 情報検索装置、情報検索方法及び情報検索プログラム |
KR101630153B1 (ko) * | 2014-12-10 | 2016-06-24 | 현대자동차주식회사 | 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법 |
JP2016157171A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社東海理化電機製作所 | ジェスチャ判定装置 |
JP2016155407A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社東海理化電機製作所 | ジェスチャ判定装置 |
KR20160103676A (ko) * | 2015-02-25 | 2016-09-02 | 현대자동차주식회사 | 차량 및 차량의 제어 방법 |
KR101678088B1 (ko) | 2015-02-25 | 2016-11-21 | 현대자동차주식회사 | 차량 및 차량의 제어 방법 |
WO2016190060A1 (ja) * | 2015-05-22 | 2016-12-01 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
US10706844B2 (en) | 2015-05-22 | 2020-07-07 | Sony Corporation | Information processing system and information processing method for speech recognition |
JP2017095968A (ja) * | 2015-11-24 | 2017-06-01 | フルテック株式会社 | 自動ドアシステムおよび指示受付装置 |
JP2016157457A (ja) * | 2016-03-31 | 2016-09-01 | パイオニア株式会社 | 操作入力装置、操作入力方法及び操作入力プログラム |
JP2018063328A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社東芝 | 電子機器及びその制御方法 |
US11404060B2 (en) | 2016-10-12 | 2022-08-02 | Hisense Visual Technology Co., Ltd. | Electronic device and control method thereof |
US10522139B2 (en) | 2016-10-12 | 2019-12-31 | Qingdao Hisense Electronics Co., Ltd. | Electronic device and control method thereof |
US10824240B2 (en) | 2016-11-10 | 2020-11-03 | Metal Industries Research & Development Centre | Gesture operation method based on depth values and system thereof |
JP2018077839A (ja) * | 2016-11-10 | 2018-05-17 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 深度値に基づいたジェスチャ操作方法および深度値に基づいたジェスチャ操作システム |
CN108073274A (zh) * | 2016-11-10 | 2018-05-25 | 财团法人金属工业研究发展中心 | 基于深度值的手势操作方法及其系统 |
CN108073274B (zh) * | 2016-11-10 | 2021-04-06 | 财团法人金属工业研究发展中心 | 基于深度值的手势操作方法及其系统 |
JPWO2019016936A1 (ja) * | 2017-07-21 | 2019-11-21 | 三菱電機株式会社 | 操作支援装置および操作支援方法 |
US11373650B2 (en) | 2017-10-17 | 2022-06-28 | Sony Corporation | Information processing device and information processing method |
WO2019077897A1 (ja) * | 2017-10-17 | 2019-04-25 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2019077908A1 (ja) * | 2017-10-20 | 2019-04-25 | 株式会社デンソー | ジェスチャ入力装置 |
JP2019079097A (ja) * | 2017-10-20 | 2019-05-23 | 株式会社デンソー | ジェスチャ入力装置 |
JP7062930B2 (ja) | 2017-12-01 | 2022-05-09 | 株式会社アイシン | 制御装置およびプログラム |
JP2019098932A (ja) * | 2017-12-01 | 2019-06-24 | アイシン精機株式会社 | 制御装置およびプログラム |
JP2019191946A (ja) * | 2018-04-25 | 2019-10-31 | パイオニア株式会社 | 情報処理装置 |
JP2020091492A (ja) * | 2020-02-06 | 2020-06-11 | 東芝映像ソリューション株式会社 | 電子機器及びその制御方法 |
JP7262643B1 (ja) | 2022-04-01 | 2023-04-21 | 三菱電機株式会社 | 電力設備制御システム、サーバ装置、中央処理装置、電力設備制御方法および電力設備制御プログラム |
JP2023152000A (ja) * | 2022-04-01 | 2023-10-16 | 三菱電機株式会社 | 電力設備制御システム、サーバ装置、中央処理装置、電力設備制御方法および電力設備制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4311190B2 (ja) | 2009-08-12 |
US20050134117A1 (en) | 2005-06-23 |
US7437488B2 (en) | 2008-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4311190B2 (ja) | 車載機器用インターフェース | |
US8442820B2 (en) | Combined lip reading and voice recognition multimodal interface system | |
JP6030430B2 (ja) | 制御装置、車両及び携帯端末 | |
US20190057696A1 (en) | Information processing apparatus, information processing method, and program | |
US9235269B2 (en) | System and method for manipulating user interface in vehicle using finger valleys | |
CN109941231B (zh) | 车载终端设备、车载交互系统和交互方法 | |
EP2862125B1 (en) | Depth based context identification | |
KR101537936B1 (ko) | 차량 및 그 제어방법 | |
CN104011735B (zh) | 基于车辆的对乘员音频和可视输入的确定 | |
US20150362988A1 (en) | Systems and methods for user indication recognition | |
US9275274B2 (en) | System and method for identifying handwriting gestures in an in-vehicle information system | |
KR101490908B1 (ko) | 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
CN102324035A (zh) | 口型辅助语音识别术在车载导航中应用的方法及系统 | |
CN110481419B (zh) | 一种人车交互方法、系统、车辆及存储介质 | |
CN104755308A (zh) | 具有手势识别的机动车操作接口 | |
JP2008058409A (ja) | 音声認識方法及び音声認識装置 | |
CN108382155B (zh) | 一种带提醒功能的空调语音控制装置 | |
JP7091983B2 (ja) | 機器制御装置 | |
JP2017090613A (ja) | 音声認識制御システム | |
KR101438615B1 (ko) | 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
WO2013128291A2 (en) | Method of fusing multiple information sources in image-based gesture recognition system | |
JP2017090612A (ja) | 音声認識制御システム | |
JP2020126166A (ja) | エージェントシステム、情報処理装置、情報処理方法、およびプログラム | |
CN110134232A (zh) | 一种基于手势识别的车载手机支架调节方法和系统 | |
JP2019182244A (ja) | 音声認識装置及び音声認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090504 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4311190 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |