JP5005758B2 - 自動車における車載機器の操作装置 - Google Patents

自動車における車載機器の操作装置 Download PDF

Info

Publication number
JP5005758B2
JP5005758B2 JP2009294985A JP2009294985A JP5005758B2 JP 5005758 B2 JP5005758 B2 JP 5005758B2 JP 2009294985 A JP2009294985 A JP 2009294985A JP 2009294985 A JP2009294985 A JP 2009294985A JP 5005758 B2 JP5005758 B2 JP 5005758B2
Authority
JP
Japan
Prior art keywords
vehicle
mark
operation command
mark members
hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009294985A
Other languages
English (en)
Other versions
JP2011131833A (ja
Inventor
之彦 須崎
康夫 大石
俊明 細貝
篤樹 柿沼
武雄 徳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Access Corp
Original Assignee
Honda Access Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Access Corp filed Critical Honda Access Corp
Priority to JP2009294985A priority Critical patent/JP5005758B2/ja
Priority to CN201010502777XA priority patent/CN102107630B/zh
Priority to US12/948,274 priority patent/US8639414B2/en
Priority to TW099143352A priority patent/TWI411543B/zh
Priority to KR1020100131553A priority patent/KR101169547B1/ko
Publication of JP2011131833A publication Critical patent/JP2011131833A/ja
Application granted granted Critical
Publication of JP5005758B2 publication Critical patent/JP5005758B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/174Economic driving
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/80Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84Data processing systems or methods, management, administration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、自動車において乗員により操作入力可能な車載機器(例えばオーディオ、エアコン、カーナビ等の機器)の操作を、それら機器の操作部に対する手動操作によることなく容易に実行できるようにした操作装置に関する。
従来、上記操作装置として、例えば特許文献1に示すようにステアリング上の乗員の手の位置、動きを読み取るCCDカメラ等の撮像手段と、その撮像手段が読み取った手の位置、動きに基づいて車載機器に対する操作コマンドを出力できるようにした操作指令手段とを備えたゼスチャーリモコン式操作装置が知られている。
特許第3941786号公報 特開2006−312347号公報
特許文献1のような従来のゼスチャーリモコン式操作装置においては、操作者のゼスチャー即ち手の位置、動きに基づいて車載機器に対する操作コマンドを出力するため、そのゼスチャーに対する判断ロジックが複雑となり、その上、操作者の手の位置や動きを正確に読み取ることが難しく、例えば操作者の違いによるゼスチャーの微妙な違いも明確には識別できないため、読み取り誤差によりゼスチャーリモコンが誤って作動開始されてしまったり、或いは車載機器に誤った操作コマンドが出力されてしまったりする等の不都合があった。
そこで特許文献2に示されるように、ステアリングに設けた貫通孔がドライバーの手で塞がれるのに応じてゼスチャーリモコンの作動を開始制御するようにして、ゼスチャーリモコンが誤って作動開始されないようにした技術も提案されているが、この技術では、ステアリングに製造段階から必ず貫通孔を設ける必要があり、後付けのオプション対応が難しい上、貫通孔の設置位置やその孔の閉塞状況を読み取る撮像手段の設置位置の制約が大きい等の不都合がある。またゼスチャーリモコンの作動開始後は、特許文献1の技術と同様、操作者のゼスチャー即ち手の位置や動きを読み取って操作コマンドを出力するため、やはり判断ロジックが複雑になると共に読み取り誤差が生じ易く、車載機器に誤った操作コマンドを出力してしまう場合があった。
本発明は、上記に鑑み提案されたものであり、従来の上記問題を簡単な構造で解決した自動車における車載機器の操作装置を提供することを目的とする。
上記目的を達成するために、請求項1の発明は、車室内の所定領域に配備された被取付部材に固定状態で設けられて操作者が直接視認し得る複数個のマーク部材と、車体に固定されて前記複数個のマーク部材を撮像し得る撮像手段と、その撮像手段から出力される撮像データに基づいて前記マーク部材が隠されたか否かをマーク部材毎に個別に判定可能な判定手段と、その判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備え、前記複数個のマーク部材が、操作者の手で該マーク部材を前記撮像手段から隠せる位置に配置されることを特徴とする。
また請求項2の発明は、請求項1の前記特徴に加えて、前記複数個のマーク部材が、ステアリングに着脱可能に装着される被取付部材に設けられることを特徴とする。
また請求項3の発明は、請求項1又は2の前記特徴に加えて、前記複数個のマーク部材には、少なくとも1個の第1のマーク部材と、複数個の第2のマーク部材とが含まれ、前記操作指令手段は、該操作指令手段が待機モードにある時に前記第1のマーク部材が隠されたと前記判定手段が判定するのに基づいて第1の作動モードに切換わり、その第1の作動モードでは、前記第2のマーク部材の少なくとも1つが隠されることで前記車載機器における操作対象を選択可能であることを特徴とする。
また請求項4の発明は、請求項3の前記特徴に加えて、前記複数個のマーク部材には、複数個の第3のマーク部材が更に含まれ、前記操作指令手段は、該操作指令手段が前記第1の作動モードにある時に、前記第2のマーク部材の少なくとも1つが隠されたと前記判定手段が判定するのに基づいて第2の作動モードに切換わり、その第2の作動モードでは、前記第3のマーク部材の少なくとも1つが隠されることで前記操作対象に関係した複数個の操作パラメータの1つを選択可能であることを特徴とする。
また請求項5の発明は、請求項3又は4の前記特徴に加えて、前記操作指令手段は、該操作指令手段が何れかの前記作動モードにある時に、車両が予め設定した状態になるのに応じて前記待機モードに自動的に切換わることを特徴とする。
また請求項6の発明は、請求項1〜5の何れかの前記特徴に加えて、前記撮像手段から出力される撮像データに基づいて手を認識し得る認識手段と、自動車の速度を検出する車速センサと、前記車載機器を乗員が操作可能な操作部とを更に備え、前記操作指令手段は、該操作指令手段が前記車速センサの検出信号に基づき自動車が走行中であると判断しているときに、前記認識手段がステアリング上に手が2つ有ることを認識しない場合には前記操作部からの少なくとも一部の操作信号を無効にするが、前記認識手段がステアリング上に手が2つ有ることを認識した場合には前記操作信号を無効にしないことを特徴とする。
尚、本発明において、「操作パラメータ」とは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作の内容を意味する。
本発明によれば、車室内の所定領域に配備された被取付部材に固定状態で設けられて操作者が直接視認し得る複数個のマーク部材と、車体に固定されて前記複数個のマーク部材を撮像し得る撮像手段と、その撮像手段から出力される撮像データに基づいてマーク部材が隠されたか否かをマーク部材毎に個別に判定可能な判定手段と、その判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備えるので、各々のマーク部材が操作者の手で撮像手段から隠された否かに基づいて車載機器に対する操作コマンドを正確に出力できると共に操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止できる。しかもその操作指令手段における判断ロジックは比較的単純であってコスト節減に寄与し得る上、演算処理も迅速に行うことができる。また前記複数個のマーク部材は車室内の被取付部材に固定状態で設けられていて、被取付部材に読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、マーク部材及び撮像手段の設置位置の自由度も比較的高くなる。
また特に請求項2の発明によれば、ステアリングに着脱可能に装着される被取付部材にマーク部材が設けられるので、後付けのオプション対応が更に容易となるとなるばかりか、ステアリングを持つドライバーが手元でマーク部材を隠す操作を容易且つ迅速に行うことができる。
また特に請求項3の発明によれば、操作者は、第1のマーク部材を隠すだけで操作指令手段を待機モードから第1の作動モードに迅速且つ確実に切換えることができ、更にその第1の作動モードでは、複数個の第2のマーク部材の1つを隠すだけで車載機器における操作対象を迅速且つ確実に選択することができる。
また特に請求項4の発明によれば、操作者は、操作指令手段が第1の作動モードにある時に、少なくとも1個の第2のマーク部材を隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の1つを迅速且つ確実に選択することができる。
また特に請求項5の発明によれば、操作指令手段は、該手段が何れかの作動モードにある時に、車両が予め設定した状態になるのに応じて待機モードに自動的に切換わるので、運転に専念すべき特別な走行状態等において操作指令手段を自動的に待機モードに戻すことができ、従って、特別な走行状態等において操作指令手段が不用意に操作コマンドを出力するのを未然に確実に防止することができる。
また特に請求項6の発明によれば、操作指令手段は、自動車が走行中であると判断しているときに、ステアリング上に手が2つ有ることを認識手段が認識しない場合には操作部からの少なくとも一部の操作信号を無効にするので、走行中においては従来と同様、安全運転の観点から車載機器の操作部への手動操作の少なくとも一部を無効にできるが、走行中であってもステアリング上に手が2つ有ることを認識手段が認識した場合には、前記操作部から操作信号が出力されても、それはドライバー以外の乗員により操作されたものと見做せることから前記操作信号を無効にしないようにしている。これにより、自動車が走行中であっても、ドライバー以外の同乗者による車載機器への操作が可能となり、使い勝手、利便性が向上する。
本発明の一実施例を適用した自動車の車室内を示す概略図 前記実施例のインストルメントパネル付近をドライバー側から見た正面図 図2の3−3線拡大断面図 前記実施例の制御ブロック図 操作指令手段の待機モードから第1の作動モードへの切換操作過程を簡略的に示す説明図 操作指令手段の第1の作動モードから第2の作動モードへの切換操作過程を簡略的に示す説明図 車載機器に対する走行中操作の規制を解除して、走行中であってもドライバー以外の同乗者による車載機器への手動操作を可能とするための操作過程を簡略的に示す説明図 ボリューム調整操作を行うための操作手順を示すステップ概要図 ソース選択操作を行うための操作手順を示すステップ概要図 アルバム名・曲名の選択操作を行うための操作手順を示すステップ概要図 音声検索モードへの移行操作を行うための操作手順を示すステップ概要図
以下、本発明の実施の形態について、添付の図面を参照しながら説明する。
先ず、図1〜図3において、車室のインストルメントパネルIには、速度計等の各種計器の他、カーナビCN、オーディオAU、ビデオDVD等の車載機器のための表示部Lや、これら車載機器を手動操作するための操作部1等が設けられ、更にその各種計器の正面側には、ドライバーにより操向操作されるステアリングSが配設される。
そのステアリングSは、操向軸(図示せず)に連結された中央ハブ部Saと、この中央ハブ部Saを円環状に取り囲むステアリング本体Smと、そのステアリング本体Sm及び中央ハブ部Sa間を連結する3本のスポーク部Sb1〜Sb3とを備える。中央ハブ部Saの外面にはホーンカバー2が着脱可能に被着され、そのホーンカバー2の中央外面には、デザイン処理されたH字状の第1マークM1が装着される。
また前記スポーク部Sb1〜Sb3には、これらの外面を体裁よく覆うスポークカバー3が着脱可能に装着される。このスポークカバー3は、図示例では可撓性のあるシート状の金属板をスポーク部Sb1〜Sb3に対応した展開形状に形成して構成されており、その裏面には貼付用の接着剤又は接着シートが設けられる。このスポークカバー3をスポーク部Sb1〜Sb3に取付ける際には、該カバー3をスポーク部Sb1〜Sb3の外面に倣わせるように巻き付けて貼付し、且つ該カバー3の自由端縁3eを図3に示すように内方に折り曲げるようにして、スポーク部Sb1〜Sb3に固定する。
前記スポークカバー3の、左側のスポーク部Sb1に対応する部分には、第2〜第4マークM2〜M4(図示例ではM2がボリュームマーク、M3がソースマーク、M4がセレクトマークに該当)がそれぞれ接着又は印刷により一列に付設されており、また同スポークカバー3の、右側のスポーク部Sb3に対応する部分には、第5〜第7マークM5〜M7(図示例ではM5がボイスマーク、M6がアップマーク、M7がダウンマークに該当)がそれぞれ接着又は印刷により、第5マークM5を内寄りとしたジグザグの配列で付設されている。
而して、前記ホーンカバー2及びスポークカバー3は、第1〜第7マークM1〜M7が取付けられる本発明の被取付部材を構成しており、また第1マークM1は本発明の第1のマーク部材を構成し、また第2〜第5マークM2〜M5は本発明の複数個の第2のマーク部材を構成し、さらに第6,第7マークM6,M7は本発明は複数個の第3のマーク部材を構成している。
車室内の適所、図示例ではドライバーのやや斜め後方の天井部には、各マークM1〜M7を撮像し得る撮像手段としてのカメラCAが設置され、このカメラCAとしては、例えばCCDカメラが用いられる。このカメラCAは、これからドライバーが隠せる位置に配置された前記マークM1〜M7を撮像し得るものであり、従って、ドライバーが何れかのマークM1〜M7を隠したときは、その隠されたことが明確に認識可能となる撮像データを次に説明する電子制御装置ECU(図4参照)に出力する。而して、本発明の操作装置は、カメラCAと電子制御装置ECUとから構成される。
前記電子制御装置ECUは、車室内の適所、例えばインストルメントパネルIの内部に設置されるものであり、それは、カメラCAから出力される撮像データを分析し、その分析データに基づいてマークM1〜M7が隠されたか否かをマークM1〜M7毎に個別に判定可能な判定手段C1と、その判定手段C1による判定結果に基づいて車載機器(即ちオーディオAU、ビデオDV、カーナビCN)に対する操作コマンドとしての操作指令信号を出力する操作指令手段C2と、この操作指令手段C2の出力信号を前記車載機器に対する駆動信号に変換して車載機器に出力する信号出力部C3と、カメラCAから出力される撮像データに基づいて乗員の手Hを認識し得る認識手段C4とを備えている。
前記カメラCAは、判定手段C1及び認識手段C4の各入力側に接続される。また操作指令手段C2の入力側には、判定手段C1及び認識手段C4の各出力側、並びに外部の前記操作部1、舵角センサSE1及び車速センサSE2がそれぞれ接続される。さらに信号出力部C3の入力側には操作指令手段C2の出力側が接続されると共に、その信号出力部C3の出力側には前記車載機器AU,DVD,CNが接続されている。
操作指令手段C2は、前記外部の操作部1による車載機器AU,DVD,CNの操作入力を可能とする待機モードと、その操作入力を禁止する第1,第2の作動モードの何れかとを選択的にとることができ、前記待機モードでは、第1マークM1以外のマーク(即ち第2〜第7マークM2〜M7)が隠されても操作指令手段C2は応答せず、即ち操作コマンドが発せられることはなない。
また操作指令手段C2は、該操作指令手段C2が第1又は第2の作動モードにある時に、車両において、予め設定した状態(図示例では所定角以上の舵角操作があった状態、或いは所定時間内の急激な車速変化があった状態、或いは第1,第2の何れかの作動モードに切換わってから一定時間以上、第2〜第7マークM2〜M7の何れかを隠す操作が無く、放置された状態、或いは第1又は第2の作動モードにあるにも拘わらず第1マークM1が再度隠される操作がなされた状態)になるのに応じて前記待機モードに自動的に切換わる。
而して、判定手段C1は、操作指令手段C2が待機モードにある状態では、カメラCAの撮像データに基づき、図5の(A)に示すようにステアリング本体Smの輪郭(丸)を認識して監視対象範囲とし、次いで図5の(B)に示すように中央の第1マークM1を認識しているので、この認識中に、図5の(C)に示すように第1マークM1がドライバーの手Hで隠された場合にはそのことを迅速確実に認識でき、その認識結果を操作指令手段C2に出力することで、該手段C2が第1の作動モードに切り換わる。
また判定手段C1は、操作指令手段C2が第1又は第2の作動モードにある状態では、カメラCAの撮像データに基づき、図6の(A)に示すようにスポーク部の第2〜第7マークM2〜M7を認識しているので、この認識中に、例えば図6の(B)に示すように複数個の第2のマーク部材(即ち第2〜第5マークM2〜M5)がドライバーの手Hで隠された場合にはそのことを迅速確実に認識でき、この認識結果に基づいて操作指令手段C2が第2の作動モードに切り換わる。さらにこの第2の作動モードの状態で、図6の(C)に示すように複数個の第3のマーク部材(即ち第6,第7マークM6,M7)がドライバーの手Hで隠されたことを迅速確実に認識でき、その認識結果を操作指令手段C2に出力する。
更に前記認識手段C4は、操作指令手段C2が何れのモードにある場合でも、カメラCAの撮像データに基づき、図7の(A)に示すようにステアリング本体Smの輪郭を認識して監視対象範囲としている。そして、操作指令手段C2は、それが車速センサSE2の検出信号に基づき自動車が走行中であると判断しているときに、認識手段C4がステアリング本体Sm上に手Hが2つ有ることを認識しない場合には前記操作部1からの少なくとも一部の操作信号を無効にするが、認識手段C4が図7の(B)に示すようにステアリング本体Sm上に手Hが2つ有ることを認識した場合には前記操作信号を無効にしないように構成される。
操作指令手段C2は、これが待機モードにある時に第1マークM1が隠されたと判定手段C2が判定するのに基づいて第1の作動モードに切換わり、その第1の作動モードでは、第2〜第5マークM2〜M5の1つが隠されることで車載機器における操作対象(図示例では「ボリューム」と、ビデオ・オーディオを選択する「ソース」と、アルバム名・曲名を選択する「セレクト」と、カーナビの音声検索モードを選択する「ボイス」と)を任意に選択可能となる。
また操作指令手段C2は、これが第1の作動モードにある時に、第2〜第5マークM2〜M5の何れかが隠されたと判定手段C2が判定するのに基づいて第2の作動モードに切換わり、その第2の作動モードでは、第6,第7マークM6,M7の1つが隠されることで前記操作対象に関係した複数の操作パラメータの1つを選択可能である。その操作パラメータとは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作内容を意味しており、図示例では第2マークM2が隠されたことで「ボリューム」が選択された場合には、第6マークM6を隠すことが「音量上げ」に、また第7マークM7を隠すことが「音量下げ」にそれぞれ対応する。
また第3マークM3が隠されたことで「ソース」が選択された場合には、第6マークM6を隠すことがOFF・ビデオ・オーディオの「一方向順送り」に、また第7マークM7を隠すことが「他方向の順送り」にそれぞれ対応する。
さらに第4マークM4が隠されたことで「セレクト」が選択された場合には、第6マークM6を長く(例えば2秒)隠すことがアルバム名の「一方向順送り」に、また第6マークM6を短く隠すことが曲名の「一方向順送り」に、また第7マークM7を長く(例えば2秒)隠すことがアルバム名の「他方向順送り」に、また第7マークM7を短く隠すことが曲名の「他方向順送り」にそれぞれ対応する。
次に前記操作装置の操作手順について、図8〜図11を参照して、より具体的に説明する。
[1]ボリューム調整操作
操作指令手段C2が前記待機モードにあるときは、図8のステップS10に示すように表示部Lは通常のカーナビ画面となっており、この状態から操作者が第1マークM1を隠すと(ステップS11)、「操作をどうぞ」のアナウンスと共に画面下半分に次に選択操作すべきマークM2〜M5の表示が強調して現れる(ステップS12)。そこで第2マークM2を隠すと(ステップS13)、「ボリューム」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS14)、次いで所定時間(例えば3秒)経過すると、現時点でのボリューム表示が現れる(ステップS15)。そこで第6マークM6又は第7マークM7の何れかを隠すと(ステップS16)、隠したマークに対応して音量調整が実行され、その調整後のボリューム表示が現れる(ステップS17)。
[2]ソース選択操作
図9に示すように、ステップS20〜S22までは、前記ステップS10〜S12と同じであり、そのステップS22の状態から第3マークM3を隠すと(ステップS23)、「ソース選択」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS24)、次いで所定時間(例えば3秒)経過すると、現時点でのソース表示(図では「OFF」の選択表示)が現れる(ステップS25)。そこで第6マークM6又は第7マークM7の何れかを隠すと(ステップS26)、隠したマークに対応してOFF・ビデオ・オーディオの一方向又は他方向の順送りが実行され、「ソース選択〇〇〇〇」のアナウンスと共にその選択後のソース表示が現れる(ステップS27)。
[3]アルバム名・曲名の選択操作
図10に示すように、ステップS30〜S32までは、前記ステップS10〜S12と同じであり、そのステップS32の状態から第4マークM4を隠すと(ステップS33)、「アルバム名・曲名選択」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS34)、次いで所定時間(例えば3秒)経過すると、現時点でのアルバム名・曲名ソース表示が現れる(ステップS35)。そこで第6マークM6又は第7マークM7の何れかを長く(例えば2秒間)隠すようにすれば、アルバム名の一方向順送り又は他方向順送りが実行され、また第6マークM6又は第7マークM7の何れかを短く隠すようにすれば、曲名の一方向順送り又は他方向順送りが実行され、それらの実行と共に新たに選択されたアルバム名・曲名の表示が現れる(ステップS37)。その表示が現れてから、所定時間(例えば5秒)放置すれば、新たに選択されたアルバム名・曲名が確定する。
[4]音声検索モードへの移行操作
図11に示すように、ステップS40〜S42までは、前記ステップS10〜S12と同じであり、そのステップS42の状態から操作者が第5マークM5を隠すと(ステップS43)、「音声検索」のアナウンスと共に、カーナビCNを従来公知の音声検索モードに移行させることができる。
以上説明した本実施例によれば、カメラCAから出力される撮像データに基づいて複数のマークM1〜M7が隠されたか否かをマーク部材毎に個別に判定可能な判定手段C1と、その判定手段C1による判定結果に基づいて車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力する操作指令手段C2とを備えるので、各々のマークM1〜M7が操作者の手HでカメラCAから隠された否かに基づいて車載機器AU,DVD,CNに対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止可能となる。
しかもその操作指令手段C2における判断ロジックは比較的単純であってコスト節減が図られる上、演算処理も迅速に行うことができる。また前記複数個のマークM1〜M7は車室内の被取付部材(図示例ではステアリングSに着脱可能なホーンカバー2、スポークカバー3)に設けられていて、それらカバー2,3やステアリングSに読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、各マークM1〜M7およびカメラCAの設置位置の自由度も比較的高くなり、さらにステアリングSを持つドライバーが手元でマークM1〜M7を隠す操作を容易且つ迅速に行うことができる。
その上、操作者は、第1マークMを隠すだけで操作指令手段C2を待機モードから第1の作動モードに迅速且つ確実に切換えることができ、更にその第1の作動モードでは、複数個のマークM2〜M5の1つを隠すだけで車載機器における操作対象を迅速且つ確実に選択することができる。さらに操作者は、操作指令手段C2が前記第1の作動モードにある時に、第6,第7マークM6,M7の1つを隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の1つを迅速且つ確実に選択できる。
ところで操作指令手段C2は、該手段が何れかの作動モードにある時に、車両が予め設定した状態(図示例では所定角以上の舵角操作があった状態、或いは所定時間内の急激な車速変化があった状態、或いは第1,第2の何れかの作動モードに切換わってから一定時間以上、第2〜第7マークM2〜M7が隠されず放置された状態、或いは第1又は第2の作動モードにあるにも拘わらず第1マークM1が再度隠される操作がなされた状態)になるのに応じて待機モードに自動的に切換わる。これにより、カーブ走行時や急加速時等の、運転に専念すべ特別な走行状態等の場合や、一定時間以上放置の場合、更にはドライバーが即座に待機モードに戻したいと希望する場合に、操作指令手段C2を自動的に待機モードに戻すことができるため、それらの場合に操作者の誤操作により操作指令手段C2がコマンドを出力するのを未然に確実に防止することができる。
さらに操作指令手段C2は、自動車が走行中であると判断しているときに、ステアリング本体Sm上に手Hが2つ有ることを認識手段C4が認識しない場合には操作部1からの少なくとも一部の操作信号を無効にするので、走行中においては従来と同様、安全運転の観点から車載機器AU,DVD,CNの操作部1への手動操作の少なくとも一部を無効にできる。しかしながら走行中であってもステアリング本体Sm上に手Hが2つ有ることを認識手段C4が認識した場合には、前記操作部1から操作信号が出力されても、それはドライバー以外の乗員により操作されたものと見做せることから、操作指令手段C2は前記操作信号を無効にしないようにして、ドライバー以外の乗員による操作を有効としている。これにより、自動車が走行中であっても、ドライバーが両手HでステアリングSを握っておれば、ドライバー以外の同乗者による車載機器AU,DVD,CNへの操作が可能となり、使い勝手、利便性が向上する。
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行うことが可能である。
例えば、前記実施例では、第2〜第7マークM2〜M7が設けられる被取付部材としてステアリングSのスポーク部Sb1〜Sb3に着脱可能なスポークカバー3を示したが、本発明(請求項1)では、スポーク部自体を被取付部材としてこれにマークを直接設けてもよいし、或いは、車室内に配備され操作者の手の届く範囲にある他の被取付部材(例えばインストルメントパネルやアームレスト)にマークを直接に設けてもよく、或いはインストルメントパネルやアームレスト等に、これらに着脱可能なカバー部材を介してマークを設けてもよい。
また前記実施例では、本発明操作装置によりオーディオ、ビデオ等を操作できるようにしたものを示したが、本発明では、操作対象を車載の他の機器、例えばエアコン等の空調装置、テレビ等にしてもよい。
また前記実施例では、操作指令手段C2は、マークM1〜M7が隠されたことについての判定手段C1の判定結果に基づいて車載機器に対する操作コマンド(操作指令信号)を出力するようにしたものを示したが、本発明では、マークM1〜M7が隠されたことについての判定手段C1の判定結果と、認識手段C4が手を認識した結果とを組み合わせた判断ロジックに基づき車載機器に対する操作コマンド(操作指令信号)を出力するようにしてもよい。この場合においても、認識手段C4は、手を手以外の身体部位(頭、腕等)と識別するだけであるため、従来技術のように判断ロジックが複雑化することはない。
AU・・・車載機器としてのオーディオ
CA...撮像手段としてのカメラ
CN・・・車載機器としてのカーナビ
C1・・・判定手段
C2・・・操作指令手段
C4・・・認識手段
DVD・・車載機器としてのビデオ
ECU・・制御装置としての電子制御ユニット
M1・・・第1のマーク部材としての第1マーク
M2〜M5・・複数個の第2のマーク部材としての第2〜第5マーク
M6,M7・・複数個の第3のマーク部材としての第6,第7マーク
SE2・・車速センサ
1・・・・操作部
2・・・・被取付部材としてのホーンカバー
3・・・・被取付部材としてのスポークカバー

Claims (6)

  1. 車室内の所定領域に配備された被取付部材(2,3)に固定状態で設けられて操作者が直接視認し得る複数個のマーク部材(M1〜M7)と、車体に固定されて前記複数個のマーク部材(M1〜M7)を撮像し得る撮像手段(CA)と、その撮像手段(CA)から出力される撮像データに基づいて前記マーク部材(M1〜M7)が隠されたか否かをマーク部材(M1〜M7)毎に個別に判定可能な判定手段(C1)と、その判定手段(C1)による判定結果に基づいて車載機器(AU,DVD,CN)に対する操作コマンドを出力する操作指令手段(C2)とを備えており、
    前記複数個のマーク部材(M1〜M7)は、操作者の手(H)で該マーク部材(M1〜M7)を前記撮像手段(CA)から隠せる位置に配置されることを特徴とする、自動車における車載機器の操作装置。
  2. 前記複数個のマーク部材(M1〜M7)は、ステアリング(S)に着脱可能に装着される被取付部材(2,3)に設けられることを特徴とする、請求項1に記載の自動車における車載機器の操作装置。
  3. 前記複数個のマーク部材(M1〜M7)には、少なくとも1個の第1のマーク部材(M1)と、複数個の第2のマーク部材(M2〜M5)とが含まれ、
    前記操作指令手段(C2)は、該操作指令手段(C2)が待機モードにある時に前記第1のマーク部材(M1)の少なくとも1つが隠されたと前記判定手段(C1)が判定するのに基づいて第1の作動モードに切換わり、その第1の作動モードでは、前記第2のマーク部材(M2〜M5)の少なくとも1つが隠されることで前記車載機器(AU,DVD,CN)における操作対象を選択可能であることを特徴とする、請求項1又は2に記載の自動車における車載機器の操作装置。
  4. 前記複数個のマーク部材(M1〜M7)には、複数個の第3のマーク部材(M6,M7)が更に含まれ、
    前記操作指令手段(C2)は、該操作指令手段(C2)が前記第1の作動モードにある時に、前記第2のマーク部材(M2〜M5)の少なくとも1つが隠されたと前記判定手段(C1)が判定するのに基づいて第2の作動モードに切換わり、その第2の作動モードでは、前記第3のマーク部材(M6,M7)の少なくとも1つが隠されることで前記操作対象に関係した複数の操作パラメータの1つを選択可能であることを特徴とする、請求項3に記載の自動車における車載機器の操作装置。
  5. 前記操作指令手段(C2)は、該操作指令手段(C2)が何れかの前記作動モードにある時に、車両が予め設定した状態になるのに応じて前記待機モードに自動的に切換わることを特徴とする、請求項3又は4に記載の自動車における車載機器の操作装置。
  6. 前記撮像手段(CA)から出力される撮像データに基づいて手(H)を認識し得る認識手段(C4)と、自動車の速度を検出する車速センサ(SE2)と、前記車載機器(AU,DVD,CN)を乗員が操作可能な操作部(1)とを更に備え、
    前記操作指令手段(C2)は、該操作指令手段(C2)が前記車速センサ(SE2)の検出信号に基づき自動車が走行中であると判断しているときに、前記認識手段(C4)がステアリング(S)上に手(H)が2つ有ることを認識しない場合には前記操作部(1)からの少なくとも一部の操作信号を無効にするが、前記認識手段(C4)がステアリング(S)上に手(H)が2つ有ることを認識した場合には前記操作信号を無効にしないことを特徴とする、請求項1〜5の何れかに記載の自動車における車載機器の操作装置。
JP2009294985A 2009-12-25 2009-12-25 自動車における車載機器の操作装置 Expired - Fee Related JP5005758B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009294985A JP5005758B2 (ja) 2009-12-25 2009-12-25 自動車における車載機器の操作装置
CN201010502777XA CN102107630B (zh) 2009-12-25 2010-09-28 机动车中的车载设备的操作装置
US12/948,274 US8639414B2 (en) 2009-12-25 2010-11-17 Operation apparatus for on-board devices in automobile
TW099143352A TWI411543B (zh) 2009-12-25 2010-12-10 汽車之車載機器之操作裝置
KR1020100131553A KR101169547B1 (ko) 2009-12-25 2010-12-21 자동차에서의 차재 기기의 조작 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009294985A JP5005758B2 (ja) 2009-12-25 2009-12-25 自動車における車載機器の操作装置

Publications (2)

Publication Number Publication Date
JP2011131833A JP2011131833A (ja) 2011-07-07
JP5005758B2 true JP5005758B2 (ja) 2012-08-22

Family

ID=44171950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009294985A Expired - Fee Related JP5005758B2 (ja) 2009-12-25 2009-12-25 自動車における車載機器の操作装置

Country Status (5)

Country Link
US (1) US8639414B2 (ja)
JP (1) JP5005758B2 (ja)
KR (1) KR101169547B1 (ja)
CN (1) CN102107630B (ja)
TW (1) TWI411543B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5548643B2 (ja) * 2011-03-28 2014-07-16 株式会社ホンダアクセス 自動車における車載機器の操作装置
JP5838061B2 (ja) * 2011-08-26 2015-12-24 東芝アルパイン・オートモティブテクノロジー株式会社 運転支援装置
DE102011054848B4 (de) * 2011-10-27 2014-06-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Steuer- und Überwachungseinrichtung für Fahrzeuge
WO2013089236A1 (ja) * 2011-12-14 2013-06-20 エイディシーテクノロジー株式会社 通信システムおよび端末装置
ES2425663B1 (es) * 2012-02-10 2014-08-08 Universidad Rey Juan Carlos Sistema de detección de la posición de las manos de un conductor
WO2013175603A1 (ja) * 2012-05-24 2013-11-28 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム
DE102012015763A1 (de) * 2012-08-09 2014-02-13 Valeo Schalter Und Sensoren Gmbh Vorrichtung mit einer Lenkhandhabe mit einem Bedienfeld und Kraftfahrzeug
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
DE102012113015A1 (de) * 2012-12-21 2014-06-26 Gesamtverband der Deutschen Versicherungswirtschaft e.V. Vorrichtung zur Notfallsignalisierung bei einem Fahrzeugaufprall und Verfahren zum Betreiben
DE102013000085A1 (de) * 2013-01-08 2014-07-10 Audi Ag Verfahren zum Wechseln eines Betriebsmodus eines Infotainmentsystems eines Kraftfahrzeugs
JP5750687B2 (ja) * 2013-06-07 2015-07-22 島根県 カーナビ用ジェスチャ入力装置
FR3009873B1 (fr) * 2013-08-26 2016-12-02 Peugeot Citroen Automobiles Sa Procede et dispositif d'activation gestuelle de commandes dans un vehicule automobile
GB2525840B (en) * 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
JP2016004541A (ja) * 2014-06-19 2016-01-12 本田技研工業株式会社 車両用操作入力装置
US9747740B2 (en) 2015-03-02 2017-08-29 Ford Global Technologies, Llc Simultaneous button press secure keypad code entry
US20160257198A1 (en) 2015-03-02 2016-09-08 Ford Global Technologies, Inc. In-vehicle component user interface
US9914418B2 (en) 2015-09-01 2018-03-13 Ford Global Technologies, Llc In-vehicle control location
US9967717B2 (en) 2015-09-01 2018-05-08 Ford Global Technologies, Llc Efficient tracking of personal device locations
US9860710B2 (en) 2015-09-08 2018-01-02 Ford Global Technologies, Llc Symmetrical reference personal device location tracking
US9744852B2 (en) * 2015-09-10 2017-08-29 Ford Global Technologies, Llc Integration of add-on interior modules into driver user interface
JP6401139B2 (ja) * 2015-09-30 2018-10-03 株式会社Subaru ステアリング用機器操作装置
US10046637B2 (en) 2015-12-11 2018-08-14 Ford Global Technologies, Llc In-vehicle component control user interface
US10082877B2 (en) 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
US9914415B2 (en) 2016-04-25 2018-03-13 Ford Global Technologies, Llc Connectionless communication with interior vehicle components
JP2022151123A (ja) * 2021-03-26 2022-10-07 トヨタ自動車株式会社 操作入力装置、操作入力方法及び操作入力プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US6373472B1 (en) * 1995-10-13 2002-04-16 Silviu Palalau Driver control interface system
TW430774B (en) * 1996-11-26 2001-04-21 Sony Corp Information input method and apparatus
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
JP4264601B2 (ja) * 1998-10-21 2009-05-20 ソニー株式会社 情報入力装置、情報入力方法及びゲーム装置
KR20000035617A (ko) * 1998-11-30 2000-06-26 오하시 다마키 차량탑재용 화상기록 시스템
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US8482535B2 (en) * 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US6703999B1 (en) * 2000-11-13 2004-03-09 Toyota Jidosha Kabushiki Kaisha System for computer user interface
WO2002054169A2 (en) * 2001-01-08 2002-07-11 Vkb Inc. A data input device
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
JP2005242694A (ja) * 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
JP3941786B2 (ja) 2004-03-03 2007-07-04 日産自動車株式会社 車両用操作入力装置および方法
JP2005321948A (ja) * 2004-05-07 2005-11-17 Fujitsu Ten Ltd 操作入力装置
CN2727852Y (zh) * 2004-08-20 2005-09-21 赵志强 摄像头识别控制系统
US7295904B2 (en) 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
DE102004044999A1 (de) * 2004-09-16 2006-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eingabesteuerung für Geräte
JP2006312347A (ja) 2005-05-06 2006-11-16 Nissan Motor Co Ltd コマンド入力装置
JP2007055356A (ja) * 2005-08-23 2007-03-08 Denso Corp 車載用電子機器の制御装置
CN101375235B (zh) * 2006-02-03 2011-04-06 松下电器产业株式会社 信息处理装置
JP4605170B2 (ja) * 2007-03-23 2011-01-05 株式会社デンソー 操作入力装置
KR20080097077A (ko) 2007-04-30 2008-11-04 이화여자대학교 산학협력단 핑거 마우스 및 이를 이용한 포인터의 광학적 위치결정방법
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8319832B2 (en) * 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
US8270669B2 (en) * 2008-02-06 2012-09-18 Denso Corporation Apparatus for extracting operating object and apparatus for projecting operating hand
US20100103103A1 (en) * 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
US8406961B2 (en) * 2009-04-16 2013-03-26 Panasonic Corporation Reconfigurable vehicle user interface system
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance

Also Published As

Publication number Publication date
US20110160933A1 (en) 2011-06-30
TWI411543B (zh) 2013-10-11
KR20110074678A (ko) 2011-07-01
JP2011131833A (ja) 2011-07-07
KR101169547B1 (ko) 2012-07-30
US8639414B2 (en) 2014-01-28
TW201134702A (en) 2011-10-16
CN102107630B (zh) 2013-12-11
CN102107630A (zh) 2011-06-29

Similar Documents

Publication Publication Date Title
JP5005758B2 (ja) 自動車における車載機器の操作装置
US20130151072A1 (en) Eye breakaway prevention system for use while driving a vehicle
KR101796991B1 (ko) 차량 및 그 제어방법
KR20160039649A (ko) 자동 조정장치가 활성화되는 동안에 차량 내의 통신 단말기를 사용하기 위한 방법 및 차량
EP2703226A1 (en) Vehicle-mounted apparatus control device and program
JP6464869B2 (ja) 操作システム
KR101293313B1 (ko) 손의 판정 방법, 손의 판정 장치 및 자동차에서의 차재 기기의 조작 장치
JP5136947B2 (ja) 車両用操作装置
JP2006264615A (ja) 車両用表示装置
JP2003118588A (ja) 移動体用操舵装置
JP2015132905A (ja) 電子システム、検出範囲の制御方法、及び制御プログラム
JP5681542B2 (ja) 自動車における車載機器の操作装置
JP5450491B2 (ja) 自動車における車載機器の操作装置
JP5450492B2 (ja) 自動車における車載機器の操作装置
JP5342587B2 (ja) 自動車における車載機器の操作装置
JP5681543B2 (ja) 自動車における車載機器の操作装置
JP5437302B2 (ja) 自動車における車載機器の操作装置
JP2012201307A (ja) 自動車における車載機器の操作装置
JP5484384B2 (ja) 自動車における車載機器の操作装置
JP5548643B2 (ja) 自動車における車載機器の操作装置
JP5450495B2 (ja) 手の判定方法、手の判定装置および自動車における車載機器の操作装置
US11977809B2 (en) Console display interlocking method and vehicle system using the same
US9573471B2 (en) Terminal, vehicle having the same, and control method thereof
WO2017216869A1 (ja) 車両用入力装置
JP2010089638A (ja) 車両用操作装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120502

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5005758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees