JP2009196630A - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP2009196630A
JP2009196630A JP2009010967A JP2009010967A JP2009196630A JP 2009196630 A JP2009196630 A JP 2009196630A JP 2009010967 A JP2009010967 A JP 2009010967A JP 2009010967 A JP2009010967 A JP 2009010967A JP 2009196630 A JP2009196630 A JP 2009196630A
Authority
JP
Japan
Prior art keywords
virtual image
obstacle
risk
vehicle
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009010967A
Other languages
English (en)
Other versions
JP4770931B2 (ja
Inventor
Takeshi Shiotani
武司 塩谷
Masaru Kakizaki
勝 柿崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009010967A priority Critical patent/JP4770931B2/ja
Publication of JP2009196630A publication Critical patent/JP2009196630A/ja
Application granted granted Critical
Publication of JP4770931B2 publication Critical patent/JP4770931B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/191Highlight information
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】ドライバーが障害物に気付きやすいように、虚像表示を行うことができ、ドライバーに振動を気付かせずに、虚像表示を行うことができる表示装置を提供すること。
【解決手段】表示装置1は、画像を表示する光を、ウインドシールド又はコンバイナ17にて反射させ、ドライバーの目19に出力し、車両2前方に前記画像を虚像21として表示する虚像表示手段5と、前記車両2の周辺に存在する障害物を認識する障害物認識手段9と、前記障害物認識手段9により認識した前記障害物の危険度を、前記障害物と前記車両2との距離、及び、前記車両2に対する前記障害物の相対速度のうちの少なくとも一方に基づき、設定する危険度設定手段11と、前記危険度設定手段11により設定された危険度が、所定の範囲内である場合、前記ドライバーから見て、前記障害物の近傍に前記虚像21を表示するとともに、前記危険度に応じて前記虚像21の表示方法を変化させる虚像制御手段3と、を備える。
【選択図】図1

Description

本発明は、例えば、ヘッドアップディスプレイ(HUD)等を用いて、自車両にとって危険となり得る障害物(例えば、他の車両、歩行者)を分かりやすくドライバーに知らせる表示装置に関する。
従来、車両の周辺に存在する障害物に関する情報をドライバーに伝達するシステムが製品化されている。例えば、ナイトビジョンシステムでは、車両に設置した遠赤外線カメラの映像から、赤外線を放射する対象物の位置や動きを検知し、対象物が車両進路上にいるのか横断中なのかを認識する。さらにその大きさや形状からその対象物が歩行者であるかどうかを判断する。そして、車両前方の映像をディスプレイに表示して、進路上や横断しようとしている歩行者の存在をドライバーに伝える。
しかしながら、このシステムでは、インストルメンタルパネル等に設けられたモニターに表示が行われるから、ドライバーは、フロントガラスからモニターに視線を移動させる必要があり、表示が見にくいという問題がある。
そこで、画像を表示する光を、フロントガラスにて反射させ、ドライバーの目に出力し、車両前方に虚像を表示することで、ドライバーへ情報伝達する表示システムを利用することが提案されている。例えば、図8に示すように、自車両にとって危険となるような歩行者101がフロントガラス17越しに見えれば、その歩行者101を枠で囲む表示画像105を虚像表示することで、危険な障害物(歩行者101)の位置をドライバーに理解させることができる(非特許文献1参照)。
自動車技術 2006 Vol.60 No.2 P73
しかしながら、障害物が自車両にとってどれだけ危険であるかは、障害物と自車両との距離、相対速度等に応じて多様であるのに、非特許文献1の技術では、虚像表示が一様であるため、ドライバーは、障害物の中で、特に危険度が高い障害物に早期に気付くことができないおそれがある。
また、走行中の車両振動により、フロントガラス17は振動するから、フロントガラス17で光を反射させることで表示する表示画像105も振動し、また、ドライバーが着座しているシートも振動するので、ドライバーから見ると、図9に示すように、時間T時点の表示画像105a、時間T+1時点の表示画像105b、時間T+2時点の表示画像105cは、少しずつ位置がずれて見える。このように、表示された画像が振動することは、ドライバーにとって非常に煩わしいものであった。
本発明は以上の点に鑑みなされたものであり、ドライバーが障害物に気付き易いように、虚像表示を行うことができ、ドライバーに振動を気付かせずに、虚像表示を行うことができる表示装置を提供することを目的とする。
請求項1の発明は、虚像表示手段により、車両前方に虚像を表示するが、その虚像の位置を、ドライバーから見て、障害物を囲む軌道上を移動するように制御する。そのことにより、ある時点での虚像の位置と、次の時点での虚像の位置とが異なるから、車両の振動が生じても、虚像の振動は、ドライバーには見えにくい。すなわち、本発明の表示装置は、ドライバーに振動を気付かせずに、虚像表示を行うことができる。また、本発明の表示装置は、虚像の位置を、障害物を囲む軌道上を移動させるように制御するので、危険な障害物をドライバーに分かり易く知らせることができる。
また、本発明の表示装置は、障害物の危険度を、障害物と車両との距離、及び、車両に対する障害物の相対速度のうちの少なくとも一方に基づき設定し、その危険度が所定の範囲内である場合に、その障害物を囲む軌道上を移動するように虚像を表示する。そのため、例えば、危険度が低い(危険ではない)障害物についてまで、一律に虚像を表示し、ドライバーが煩わしく感じてしまうようなことがない。
また、本発明の表示装置は、障害物の危険度に応じて虚像の表示方法を変化させるので、ドライバーは、障害物を囲む軌道上を移動するように表示される虚像の表示方法を見るだけで、その障害物の危険度を知ることができる。その結果、ドライバーは、障害物の中で、特に危険度が高い障害物に早期に気付くことができる。
請求項2から5および8から13の発明は、障害物の危険度に応じて、虚像の色調、明度、大きさ、形状、点滅間隔時間を変化させる。このことにより、ドライバーは、障害物の近傍に表示される虚像の色調、明度、大きさ、形状、点滅間隔時間を見るだけで、その障害物の危険度を容易に知ることができる。その結果、ドライバーは、障害物の中で、特に危険度が高い障害物に早期に気付くことができる。
請求項6の発明は、障害物の危険度に応じて、軌道上を移動する虚像の速度を変化させる。このことにより、ドライバーは、障害物を囲む軌道上を移動する虚像の速度から、その障害物の危険度を容易に知ることができる。その結果、ドライバーは、障害物の中で、特に危険度が高い障害物に早期に気付くことができる。
本発明では、例えば、障害物の危険度が高い程、虚像の速度を高くし、障害物の危険度が低い程、虚像の速度を低くすることができる。
請求項7の発明は、障害物の危険度に応じて、虚像を表示する時間を変化させる。このことにより、ドライバーは、虚像を表示する時間から、その障害物の危険度を容易に知ることができる。その結果、ドライバーは、障害物の中で、特に危険度が高い障害物に早期に気付くことができる。
本発明では、例えば、障害物の危険度が高い程、虚像を表示する時間を長くし、障害物の危険度が低い程、虚像を表示する時間を短くすることができる。
表示装置1の構成を表す説明図である。 表示装置1が実行する処理を表すフローチャートである。 障害物の方向と、液晶パネルにおける表示座標との対応を表す説明図であって、(a)は液晶パネルの表示座標を表し、(b)はフロントガラスに液晶パネルを虚像表示した状態を表し、(c)は障害物の方向と液晶パネルにおける表示座標との変換テーブルを表し、(d)は障害物の方向を表す。 ドライバーの視点から前方を見たときにおける、表示装置1が表示する虚像を表す説明図である。 ドライバーの視点から前方を見たときにおける、表示装置1が表示する虚像を表す説明図である。 ドライバーの視点から前方を見たときにおける、表示装置1が表示する虚像を表す説明図である。 表示装置1が実行する処理を表すフローチャートである。 ドライバーの視点から前方を見たときにおける、表示装置が表示する虚像を表す説明図である。 ドライバーの視点から前方を見たときにおける、表示装置が表示する虚像を表す説明図である。 表示装置1が実行する処理を表すフローチャートである。 表示装置1が実行する処理を表すフローチャートである。
本発明の実施形態を図1〜7、10〜11に基づいて説明する。
1.表示装置1の構成
図1に示すように、表示装置1は、車両2に搭載される装置であって、画像出力回路(虚像制御手段)3、液晶パネル(虚像表示手段)5、カメラ7、障害物認識回路9、危険度設定回路11、車速センサー13、及びスピーカ14を備えている。車両2の車室内には、ドライバーが着座するためのシート1000が設置されている。
画像出力回路3は、液晶パネル5に画像データを出力する。液晶パネル5は、インストルメンタルパネル15の上部に配置され、画像出力回路3から出力された画像を表示する。液晶パネル5から出力された、画像を表示する光は、フロントガラス17で反射してドライバーの視点19に入る。その結果、ドライバーから見ると、車両前方に、液晶パネル5に表示される画像の虚像21が表示される。
画像出力回路3及び液晶パネル5は、図4及び図5に示すように、ドライバーから見て、車両の周囲(特に車両の前方)に存在する障害物(図4では他の車両23、図5では歩行者25)の近傍、さらに詳しくは、障害物を囲む軌道27上を、虚像21が順次移動するように、虚像21の表示位置を制御することができる。また、画像出力回路3及び液晶パネル5は、虚像21の色調を、赤橙系色、緑青系色を含む様々な色に変化させることができる。
カメラ7は車両2の前方の映像(以下、「前方映像」とする)を撮影するための撮像装置である。カメラ7は、車両2の車室内であって、ドライバーの視点19に近い位置に設置される。障害物認識回路9は、カメラ7で撮影した前方映像中に、障害物(例えば、歩行者や他の車両)が存在しているかどうかを判定し、存在する場合には、障害物方向(視点19から見た障害物への方向)、障害物距離(車両2から障害物までの距離)、及び障害物の大きさを算出する。これらの算出は、障害物の形状、動き、及び輝度から公知の方法で行うことができる。
危険度設定回路11は障害物認識回路9で認識された障害物の危険度を設定する回路である。その設定の方法は後述する。
車速センサー13は、車両2の車速を検出し、その結果を危険度設定回路11に出力する。
スピーカ14は、車両2の車室内に設置され、危険度設定回路11における危険度の設定結果に応じて、警告音を出力することができる。
2.表示装置1が実行する処理
表示装置1が実行する処理を図2のフローチャート及び図3〜図6の説明図に基づいて説明する。
図2に示す処理は、車両2のエンジンONにより開始される。
ステップ100では、カメラ7により車両2の前方の映像(以下、「前方映像」とする)を撮影する。
ステップ110では、障害物認識回路9が、前記ステップ100で取得した前方映像の中から、障害物を抽出する。この抽出は、公知の画像認識の技術を用いることができる。例えば、特定の障害物(例えば、歩行者、車両等)の形状、大きさ等を予め記憶しておき、それと近似する要素が前方映像にあるとき、それを障害物として抽出することができる。
ステップ120では、前記ステップ110において前方映像の中から障害物を抽出できたか否かを、障害物認識回路9により判断する。抽出できた場合はステップ130に進み、抽出できなかった場合はステップ100に戻る。
ステップ130では、抽出した障害物の方向(視点19から見た障害物への方向)、障害物距離(車両2から障害物までの距離)、及び障害物の大きさを、障害物認識回路9により算出する。
ステップ140では、車速センサー13から得られた車両2の車両速度と、障害物距離とに基づき、車両2が障害物に到達するまでに要する到達時間を、危険度設定回路11により算出する。
ステップ150では、前記ステップ140で算出した到達時間が、予め指定した時間範囲(ここでは10秒以下)内であるか否かを危険度設定回路11により判断する。また、ステップ150では、障害物の方向が、予め指定した範囲(例えば道路上)に存在するか否かを判断する。
障害物が予め指定した範囲に存在し、且つ到達時間が10秒以下の場合は、障害物の危険度は、虚像21の表示又は警告音の出力が必要なレベルにあると判断して、ステップ160に進む。一方、障害物が予め指定した範囲に存在しないか、到達時間が10秒を越える場合は、障害物の危険度は、虚像21の表示及び警告音の出力は必要ないレベルにあると判断して、ステップ100に戻る。
ステップ160では、前記ステップ140で算出した到達時間が、予め指定した時間範囲(ここでは5〜10秒の間)内であるか否かを危険度設定回路11により判断する。この範囲内である場合は、ステップ170に進む。一方、上記範囲外である場合(すなわち、到達時間が5秒未満である場合)は、ステップ250に進む。
ステップ170では、危険度設定回路11により、虚像21の軌道27における半径Rを、式1に基づいて決定する。
(式1) R=K×(S/D)
ここで、Kは定数(単位はドット/m)であり、Sは障害物の大きさ(単位はドット/m)であり、Dは障害物距離(単位はm)である。
すなわち、表示装置1は、障害物距離Dと、障害物の大きさSを算出することができ、軌道27の半径Rを、障害物距離Dが小さいほど大きく、また、障害物の大きさSが大きいほど大きく設定する。
ステップ180では、障害物が人と、他の車両と、それ以外の障害物のうちのいずれであるかを障害物認識回路9により識別する。この識別は、公知の画像認識の技術を用いることができる。例えば、人と、車両と、それ以外の障害物のそれぞれについて、形状、大きさ等を予め記憶しておき、その形状、大きさと、障害物の形状、大きさとを対比することにより、障害物が人、他の車両、それ以外の障害物のうちのいずれであるかを識別することができる。障害物が人である場合はステップ190に進み、障害物が他の車両である場合はステップ200に進み、それ以外の障害物である場合はステップ205に進む。
ステップ190では、画像出力回路3により、軌道27の形状を縦長楕円に決定する。
ステップ200では、画像出力回路3により、軌道27の形状を横長楕円に決定する。
ステップ205では、画像出力回路3により、軌道27の形状を円(真円)に決定する。
ステップ210では、前記ステップ140で算出した到達時間が、t1秒より短いか否かを危険度設定回路11により判断する。ここで、t1は、5よりも大きく、10よりも小さい値である。なお、このステップ210では、前提として、到達時間は5〜10秒の範囲内(前記ステップ160にてYESと判断されている)から、到達時間がt1秒より短い場合、到達時間は5〜t1秒の範囲内にあることになる。逆に、到達時間がt1秒より長い場合、到達時間はt1〜10秒の範囲内にあることになる。到達時間がt1秒より短い場合は、ステップ220に進む。一方、到達時間がt1秒より長い場合は、ステップ230に進む。
ステップ220では、障害物の危険度は、比較的高いと判断して、画像出力回路3により、軌道27上に表示される虚像21の色を赤橙系色に決定する。
ステップ230では、障害物の危険度は、到達時間が5〜t1秒の場合よりも低いと判断して、画像出力回路3により、軌道27上に表示される虚像21の色を緑青系色に決定する。
ステップ240では、画像出力回路3により、画像データを虚像表示手段(液晶パネル)5に出力する。
この画像データに基づいて表示される虚像は、図4及び図5に示すように、ドライバーから見て、障害物(図4では他の車両23、図5では歩行者25)を囲む軌道27上を、円形の虚像21が順次移動するというものである。ここで、画像データにおける軌道27の位置、半径R、形状(縦長楕円/横長楕円/円)は、次のようにして決定される。
前記ステップ130では、上述したとおり、障害物認識回路9により、障害物の方向が算出される。算出された障害物33の方向は、図3(d)に示すように、X方向(水平方向)における方向と、Y方向(鉛直方向)における方向との組み合わせとして表される。表示装置1の図示しない記憶部には、図3(c)に示すように、障害物認識回路9が算出した障害物33の方向と、液晶パネル5における表示座標との換算テーブルが記憶されている。図3(a)に示すように、液晶パネル5のうち、上記換算テーブルにより換算された表示座標に表示31を表すと、その表示31により生じる虚像21(図3(b))の位置は、図3(b)及び図3(d)に示すように、ドライバーから見て、障害物33と同じ位置となる。
画像出力回路3は、障害物認識回路9により算出した障害物の方向と、上述した換算テーブルとを用いて、液晶パネル5において、障害物33に対応する表示座標を算出し、この表示座標を、軌道27の中心とする。そして、軌道27の半径は、前記ステップ170で算出した半径Rを用いて設定する。すなわち、軌道27が楕円である場合、軌道27の長軸方向の半径は、半径Rをそのまま使用し、短軸方向の半径は、半径Rに予め決めた係数(例えば0.8)を乗じた値とする。また、軌道27が円である場合、軌道27の半径は、半径Rをそのまま使用する。
さらに、軌道27の形状(縦長楕円/横長楕円/円)は、前記ステップ190、ステップ200又はステップ205で設定したものとする。
また、虚像21の表示方法は、車両2が障害物に到達するまでに要する到達時間の長さ(障害物の危険度)に応じて変化する。すなわち、到達時間がt1〜10秒の場合は、危険度が比較的低いと判断され、虚像21が、緑青系色で表示される。また、到達時間が5〜t1秒の場合は、t1〜10秒の場合よりも危険度が高いと判断され、虚像21の色が赤橙系色となる。
一方、前記ステップ160にて、到達時間が5秒未満と判断された場合は、ステップ250に進み、スピーカ14から警告音を出力する。
なお、上記処理では、車両2が障害物に到達するまでに要する到達時間の長さ(障害物の危険度)に応じて虚像21の色調を変えたが、危険度に応じて虚像21の明度を変えても良い。例えば、前記ステップ220では、虚像21の明度を高くし、前記ステップ230では、虚像21の明度を、ステップ220の場合よりも低くすることができる。
また、車両2の車速が所定の基準値以上であるか、車両2が障害物に到達する予測時間が所定の基準値以下である場合は、虚像21を半透明とし、それ以外の場合は不透明とすることができる。
3.表示装置1が実行する処理の変形例
(変形例その1)
表示装置1が実行する処理は、以下に示すものであってもよい。この処理を図7のフローチャート及び図3〜図6の説明図に基づいて説明する。なお、以下の処理では、特に説明のない場合、上述した処理と同様である。
図7に示す処理は、車両2のエンジンONにより開始される。
ステップ300では、カメラ7により車両2の前方の映像(以下、「前方映像」とする)を撮影する。
ステップ310では、障害物認識回路9が、前記ステップ300で取得した前方映像の中から、障害物を抽出する。この抽出は、公知の画像認識の技術を用いることができる。例えば、特定の障害物(例えば、歩行者、車両等)の形状、大きさ等を予め記憶しておき、それと近似する要素が前方映像にあるとき、それを障害物として抽出することができる。
ステップ320では、前記ステップ310において前方映像の中から障害物を抽出できたか否かを、障害物認識回路9により判断する。抽出できた場合はステップ330に進み、抽出できなかった場合はステップ300に戻る。
ステップ330では、抽出した障害物の方向(視点19から見た障害物への方向)、障害物距離(車両2から障害物までの距離)、及び障害物の大きさを、障害物認識回路9により算出する。
ステップ340では、車速センサー13から得られた車両2の車両速度と、障害物距離とに基づき、車両2が障害物に到達するまでに要する到達時間を、危険度設定回路11により算出する。
ステップ350では、前記ステップ340で算出した到達時間が、予め指定した時間範囲(ここでは10秒以下)内であるか否かを危険度設定回路11により判断する。また、ステップ350では、障害物の方向が、予め指定した範囲(例えば道路上)に存在するか否かを判断する。
障害物が予め指定した範囲に存在し、且つ到達時間が10秒以下の場合は、障害物の危険度は、虚像21の表示又は警告音の出力が必要なレベルにあると判断して、ステップ360に進む。一方、障害物が予め指定した範囲に存在しないか、到達時間が10秒を越える場合は、障害物の危険度は、虚像21の表示及び警告音の出力は必要ないレベルにあると判断して、ステップ300に戻る。
ステップ360では、前記ステップ340で算出した到達時間が、予め指定した時間範囲(ここでは5〜10秒の間)内であるか否かを危険度設定回路11により判断する。この範囲内である場合は、ステップ370に進む。一方、上記範囲外である場合(すなわち、到達時間が5秒未満である場合)は、ステップ450に進む。
ステップ370では、危険度設定回路11により、虚像21の軌道27における半径Rを、式1に基づいて決定する。
(式1) R=K×(S/D)
ここで、Kは定数(単位はドット/m)であり、Sは障害物の大きさ(単位はドット/m)であり、Dは障害物距離(単位はm)である。
ステップ380では、障害物が人と、他の車両と、それ以外の障害物のうちのいずれであるかを障害物認識回路9により識別する。この識別は、公知の画像認識の技術を用いることができる。例えば、人と、車両と、それ以外の障害物のそれぞれについて、形状、大きさ等を予め記憶しておき、その形状、大きさと、障害物の形状、大きさとを対比することにより、障害物が人、他の車両、それ以外の障害物のうちのいずれであるかを識別することができる。障害物が人である場合はステップ390に進み、障害物が他の車両である場合はステップ400に進み、それ以外の障害物である場合はステップ405に進む。
ステップ390では、画像出力回路3により、軌道27の形状を縦長楕円に決定する。
ステップ400では、画像出力回路3により、軌道27の形状を横長楕円に決定する。
ステップ405では、画像出力回路3により、軌道27の形状を円(真円)に決定する。
ステップ410では、前記ステップ340で算出した到達時間が、t1秒より短いか否かを危険度設定回路11により判断する。ここで、t1は、5よりも大きく、10よりも小さい値である。なお、このステップ410では、前提として、到達時間は5〜10秒の範囲内(前記ステップ360にてYESと判断されている)から、到達時間がt1秒より短い場合、到達時間は5〜t1秒の範囲内にあることになる。逆に、到達時間がt1秒より長い場合、到達時間はt1〜10秒の範囲内にあることになる。到達時間がt1秒より短い場合は、ステップ420に進む。一方、到達時間がt1秒より長い場合は、ステップ430に進む。
ステップ420では、画像出力回路3により、軌道27を回転する虚像21の回転速度を、速く(ここでは、1秒間に2回転を超える回転速度)設定する。
ステップ430では、画像出力回路3により、軌道27を回転する虚像21の回転速度を、通常の回転速度(ここでは、1秒間に2回転)に設定する。
ステップ440では、画像出力回路3により、画像データを液晶パネル5に出力する。
この画像データに基づいて表示される虚像は、図4及び図5に示すように、ドライバーから見て、障害物(図4では他の車両23、図5では歩行者25)を囲む軌道27上を、円形の虚像21が順次移動するというものである。
虚像21の表示方法は、車両2が障害物に到達するまでに要する到達時間の長さ(障害物の危険度)に応じて変化する。すなわち、到達時間がt1〜10秒の場合は、危険度が比較的低いと判断され、虚像21が、軌道27を遅い速度で回転するように表示される。また、到達時間が5〜t1秒の場合は、t1〜10秒の場合よりも危険度が高いと判断され、虚像21の回転速度が速くなる。
なお、ここでは、車両2が障害物に到達するまでに要する到達時間の長さ(危険度)に応じて、軌道27を回転する虚像21の回転速度を変えたが、危険度に応じて、虚像21を表示する時間を変えても良い。例えば、前記ステップ420では、虚像21を表示する時間を長く設定し、前記ステップ430では、虚像21を表示する時間を短く設定することができる。
また、ここでは、軌道27を回転する虚像21の通常の回転速度を、1秒間に2回転としたが、これ以上(1秒間に2回転以上)、またはこれ以下(1秒間に2回転未満)でもよい。
(変形例その2)
表示装置1が実行する処理は、以下に示すものであってもよい。この処理を図10のフローチャート及び図3〜図6の説明図に基づいて説明する。なお、以下の処理では、特に説明のない場合、上述した処理と同様である。
図10に示す処理は、車両2のエンジンONにより開始される。
ステップ500では、カメラ7により車両2の前方の映像(以下、「前方映像」とする)を撮影する。
ステップ510では、障害物認識回路9が、前記ステップ500で取得した前方映像の中から、障害物を抽出する。この抽出は、公知の画像認識の技術を用いることができる。例えば、特定の障害物(例えば、歩行者、車両等)の形状、大きさ等を予め記憶しておき、それと近似する要素が前方映像にあるとき、それを障害物として抽出することができる。
ステップ520では、前記ステップ510において前方映像の中から障害物を抽出できたか否かを、障害物認識回路9により判断する。抽出できた場合はステップ530に進み、抽出できなかった場合はステップ500に戻る。
ステップ530では、抽出した障害物の方向(視点19から見た障害物への方向)、障害物距離(車両2から障害物までの距離)、及び障害物の大きさを、障害物認識回路9により算出する。
ステップ540では、車速センサー13から得られた車両2の車両速度と、障害物距離とに基づき、車両2が障害物に到達するまでに要する到達時間を、危険度設定回路11により算出する。
ステップ550では、前記ステップ540で算出した到達時間が、予め指定した時間範囲(ここでは10秒以下)内であるか否かを危険度設定回路11により判断する。また、ステップ550では、障害物の方向が、予め指定した範囲(例えば道路上)に存在するか否かを判断する。
障害物が予め指定した範囲に存在し、且つ到達時間が10秒以下の場合は、障害物の危険度は、虚像21の表示又は警告音の出力が必要なレベルにあると判断して、ステップ560に進む。一方、障害物が予め指定した範囲に存在しないか、到達時間が10秒を越える場合は、障害物の危険度は、虚像21の表示及び警告音の出力は必要ないレベルにあると判断して、ステップ500に戻る。
ステップ560では、前記ステップ540で算出した到達時間が、予め指定した時間範囲(ここでは5〜10秒の間)内であるか否かを危険度設定回路11により判断する。この範囲内である場合は、ステップ570に進む。一方、上記範囲外である場合(すなわち、到達時間が5秒未満である場合)は、ステップ650に進む。
ステップ570では、危険度設定回路11により、虚像21の軌道27における半径Rを、式1に基づいて決定する。
(式1) R=K×(S/D)
ここで、Kは定数(単位はドット/m)であり、Sは障害物の大きさ(単位はドット/m)であり、Dは障害物距離(単位はm)である。
ステップ580では、障害物が人と、他の車両と、それ以外の障害物のうちのいずれであるかを障害物認識回路9により識別する。この識別は、公知の画像認識の技術を用いることができる。例えば、人と、車両と、それ以外の障害物のそれぞれについて、形状、大きさ等を予め記憶しておき、その形状、大きさと、障害物の形状、大きさとを対比することにより、障害物が人、他の車両、それ以外の障害物のうちのいずれであるかを識別することができる。障害物が人である場合はステップ590に進み、一方、障害物が他の車両である場合はステップ600に進み、それ以外の障害物である場合はステップ605に進む。
ステップ590では、画像出力回路3により、軌道27の形状を縦長楕円に決定する。
ステップ600では、画像出力回路3により、軌道27の形状を横長楕円に決定する。
ステップ605では、画像出力回路3により、軌道27の形状を円(真円)に決定する。
ステップ610では、前記ステップ540で算出した到達時間が、t1秒より短いか否かを危険度設定回路11により判断する。ここで、t1は、5よりも大きく、10よりも小さい値である。なお、このステップ610では、前提として、到達時間は5〜10秒の範囲内(前記ステップ560にてYESと判断されている)から、到達時間がt1秒より短い場合、到達時間は5〜t1秒の範囲内にあることになる。逆に、到達時間がt1秒より長い場合、到達時間はt1〜10秒の範囲内にあることになる。到達時間がt1秒より短い場合は、ステップ620に進む。一方、到達時間がt1秒より長い場合は、ステップ630に進む。
ステップ620では、画像出力回路3により、軌道27を回転する虚像21の画像データを、大きく(ここでは、基本画像データの1.1倍〜2.0倍)設定する。
ステップ630では、画像出力回路3により、軌道27を回転する虚像21の画像データを、通常の大きさ(ここでは、基本画像データの大きさ)に設定する。
ステップ640では、画像出力回路3により、画像データを液晶パネル5に出力する。
この画像データに基づいて表示される虚像は、図4及び図5に示すように、ドライバーから見て、障害物(図4では他の車両23、図5では歩行者25)を囲む軌道27上を、円形の虚像21が順次移動するというものである。
虚像21の表示方法は、車両2が障害物に到達するまでに要する到達時間の長さ(障害物の危険度)に応じて変化する。すなわち、到達時間がt1〜10秒の場合は、危険度が比較的低いと判断され、虚像21が、通常の大きさで表示される。また、到達時間が5〜t1秒の場合は、t1〜10秒の場合よりも危険度が高いと判断され、虚像21の大きさが大きくなる。
なお、前記ステップ620で設定する虚像21の大きさは基本画像データの1.1倍〜2.0倍には限定されず、車両2の車速や障害物までの到達時間などにより変更してもよい。
また、ここでは、車両2が障害物に到達するまでに要する到達時間の長さ(危険度)に応じて、軌道27を回転する虚像21の大きさを変えたが、危険度に応じて、虚像21の形状を変えても良い。例えば、前記ステップ620で表示する虚像21の形状を、前記ステップ630で表示する形状から変形したものとすることができる。例えば、前記ステップ620では虚像21の形状を感嘆符(!)、星型、菱形、四角、三角等にし、前記ステップ630では虚像21の形状を丸形にすることができる。また、前記ステップ620で表示する虚像21の形状と、前記ステップ630で表示する虚像21の形状との変化の度合いを、危険度が高いほど大きくするようにしてもよい。
(変形例その3)
表示装置1が実行する処理は、以下に示すものであってもよい。この処理を図11のフローチャート及び図3〜図6の説明図に基づいて説明する。なお、以下の処理では、特に説明のない場合、上述した処理と同様である。
図11に示す処理は、車両2のエンジンONにより開始される。
ステップ700では、カメラ7により車両2の前方の映像(以下、「前方映像」とする)を撮影する。
ステップ710では、障害物認識回路9が、前記ステップ700で取得した前方映像の中から、障害物を抽出する。この抽出は、公知の画像認識の技術を用いることができる。例えば、特定の障害物(例えば、歩行者、車両等)の形状、大きさ等を予め記憶しておき、それと近似する要素が前方映像にあるとき、それを障害物として抽出することができる。
ステップ720では、前記ステップ710において前方映像の中から障害物を抽出できたか否かを、障害物認識回路9により判断する。抽出できた場合はステップ730に進み、抽出できなかった場合はステップ700に戻る。
ステップ730では、抽出した障害物の方向(視点19から見た障害物への方向)、障害物距離(車両2から障害物までの距離)、及び障害物の大きさを、障害物認識回路9により算出する。
ステップ740では、車速センサー13から得られた車両2の車両速度と、障害物距離とに基づき、車両2が障害物に到達するまでに要する到達時間を、危険度設定回路11により算出する。
ステップ750では、前記ステップ740で算出した到達時間が、予め指定した時間範囲(ここでは10秒以下)内であるか否かを危険度設定回路11により判断する。また、ステップ750では、障害物の方向が、予め指定した範囲(例えば道路上)に存在するか否かを判断する。
障害物が予め指定した範囲に存在し、且つ到達時間が10秒以下の場合は、障害物の危険度は、虚像21の表示又は警告音の出力が必要なレベルにあると判断して、ステップ760に進む。一方、障害物が予め指定した範囲に存在しないか、到達時間が10秒を越える場合は、障害物の危険度は、虚像21の表示及び警告音の出力は必要ないレベルにあると判断して、ステップ700に戻る。
ステップ760では、前記ステップ740で算出した到達時間が、予め指定した時間範囲(ここでは5〜10秒の間)内であるか否かを危険度設定回路11により判断する。この範囲内である場合は、ステップ770に進む。一方、上記範囲外である場合(すなわち、到達時間が5秒未満である場合)は、ステップ850に進む。
ステップ770では、危険度設定回路11により、虚像21の軌道27における半径Rを、式1に基づいて決定する。
(式1) R=K×(S/D)
ここで、Kは定数(単位はドット/m)であり、Sは障害物の大きさ(単位はドット/m)であり、Dは障害物距離(単位はm)である。
ステップ780では、障害物が人と、他の車両と、それ以外の障害物のうちのいずれであるかを障害物認識回路9により識別する。この識別は、公知の画像認識の技術を用いることができる。例えば、人と、車両と、それ以外の障害物のそれぞれについて、形状、大きさ等を予め記憶しておき、その形状、大きさと、障害物の形状、大きさとを対比することにより、障害物が人、他の車両、それ以外の障害物のうちのいずれであるかを識別することができる。障害物が人である場合はステップ790に進み、障害物が他の車両である場合はステップ800に進み、それ以外の障害物である場合はステップ805に進む。
ステップ790では、画像出力回路3により、軌道27の形状を縦長楕円に決定する。
ステップ800では、画像出力回路3により、軌道27の形状を横長楕円に決定する。
ステップ805では、画像出力回路3により、軌道27の形状を円(真円)に決定する。
ステップ810では、前記ステップ740で算出した到達時間が、t1秒より短いか否かを危険度設定回路11により判断する。ここで、t1は、5よりも大きく、10よりも小さい値である。なお、このステップ810では、前提として、到達時間は5〜10秒の範囲内(前記ステップ760にてYESと判断されている)から、到達時間がt1秒より短い場合、到達時間は5〜t1秒の範囲内にあることになる。逆に、到達時間がt1秒より長い場合、到達時間はt1〜10秒の範囲内にあることになる。到達時間がt1秒より短い場合は、ステップ820に進む。一方、到達時間がt1秒より長い場合は、ステップ830に進む。
ステップ820では、画像出力回路3により、軌道27を回転する虚像21の画像データの点滅間隔時間を短く(ここでは、点滅間隔時間を0.1秒〜0.5秒)設定する。
ステップ830では、画像出力回路3により、軌道27を回転する虚像21の画像データの点滅間隔時間を、通常の間隔(ここでは、点滅間隔時間を1秒)に設定する。
ステップ840では、画像出力回路3により、画像データを液晶パネル5に出力する。
この画像データに基づいて表示される虚像は、図4及び図5に示すように、ドライバーから見て、障害物(図4では他の車両23、図5では歩行者25)を囲む軌道27上を、円形の虚像21が順次移動するというものである。また、虚像21は、点滅表示される。
虚像21の表示方法は、車両2が障害物に到達するまでに要する到達時間の長さ(障害物の危険度)に応じて変化する。すなわち、到達時間がt1〜10秒の場合は、危険度が比較的低いと判断され、虚像21が、通常の点滅間隔時間で表示される。また、到達時間が5〜t1秒の場合は、t1〜10秒の場合よりも危険度が高いと判断され、虚像21の点滅間隔時間が短くなる。
なお、前記ステップ820で設定する点滅間隔時間は0.1秒〜0.5秒に限定されず、車両2の車速や障害物までの到達時間などにより変更してもよい。
また、前記ステップ830で設定する点滅間隔時間は1秒には限定されない。また、常時表示される(点滅しない)ようにしてもよい。
4.表示装置1が奏する効果
表示装置1は以下の効果を奏する。
(i)表示装置1は、車両2が障害物に至るまでの到達時間がどの範囲にあるか(5秒未満、5〜t1秒、t1〜10秒、10秒を超える範囲)に基づき、障害物の危険度を設定し、危険度に応じて虚像21の表示方法を変化させる。すなわち、
(a)到達時間が5〜t1秒の範囲にあれば、虚像21の色を赤橙系にし、到達時間がt1〜10秒の範囲にあれば、虚像21の色を緑青系にする。
(b)到達時間が5〜t1秒の範囲にあれば、虚像21の明度を高くし、到達時間がt1〜10秒の範囲にあれば、虚像21の明度を低くする。
(c)到達時間が5〜t1秒の範囲にあれば、軌道27を回転する虚像21の回転速度を速くし、到達時間がt1〜10秒の範囲にあれば、軌道27を回転する虚像21の回転速度を遅くする。
(d)到達時間が5〜t1秒の範囲にあれば、虚像21を表示する時間を長くし、到達時間がt1〜10秒の範囲にあれば、虚像21を表示する時間を短くする。
というように、虚像21の表示方法を変化させる。
(e)到達時間が5〜t1秒の範囲にあれば、軌道27を回転する虚像21を大きくし、到達時間がt1〜10秒の範囲にあれば、虚像21を通常の大きさとする。
(f)到達時間が5〜t1秒の範囲にあれば、軌道27を回転する虚像21の形状を変形し、到達時間がt1〜10秒の範囲にあれば、虚像21の形状を通常の形状とする。
(g)到達時間が5〜t1秒の範囲にあれば、軌道27を回転する虚像21の点滅間隔時間を短くし、到達時間がt1〜10秒の範囲にあれば、虚像21の点滅間隔時間を長くする。
このことにより、ドライバーは、虚像21の表示方法を見るだけで、その障害物の危険度を知ることができる。その結果、ドライバーは、障害物の中で、特に危険度が高い障害物に早期に気付くことができる。
(ii) 表示装置1が表示する虚像21は、図4及び図5に示すように、障害物を囲む軌道27の一部のみを占める虚像21が、軌道27上を順次移動するというものである。虚像21は、軌道27上を常に移動しているので、ある時点での虚像21の位置と、次の時点での虚像21の位置とが常に異なり、車両2の振動が生じても、虚像21の振動は、ドライバーには見えにくい。例えば、虚像21が、時刻t11にて図4、図5に示す位置にあり、その後、虚像21が軌道27を一周し、時刻t12にて図4、図5に示す位置に戻ってきたとする。時刻t11と時刻t12との間おいて、虚像21は、他の位置にあったのであるから、車両2の振動によって、時刻t12における虚像21の位置が、時刻t1における位置とはずれていたとしても、ドライバーは気付き難い。すなわち、表示装置1は、ドライバーに振動を気付かせずに、虚像表示を行うことができる。
この効果は、図8に示すように、障害物(歩行者101)を枠で囲む表示画像105を虚像表示するものと対比すると、明確になる。すなわち、走行中の車両振動により、フロントガラス17は振動するから、フロントガラス17で光を反射させることで表示する表示画像105も振動し、ドライバーから見ると、図9に示すように、時間T時点の表示画像105a、時間T+1時点の表示画像105b、時間T+2時点の表示画像105cは、少しずつ位置がずれて見える。このように、表示された画像が振動することは、ドライバーにとって非常に煩わしいものであったが、本発明の表示装置1は、この問題を解決することができる。
(iii)表示装置1は、虚像として、障害物(他の車両23、歩行者25)の周囲を周る虚像21を表示するので、危険な障害物をドライバーに分かり易く知らせることができる。
(iv) 表示装置1は軌道27の半径を、障害物が小さいほど小さく設定し、また、車両2と障害物との距離が大きいほど小さく設定する。これによって、虚像表示を、より自然に見えるものとすることができる。
(v) 表示装置1は、障害物が人である場合と、他の車両の場合と、それ以外の障害物である場合とで、軌道27の形状を異ならせる。すなわち、障害物が他の車両23である場合、図5に示すように、軌道27の形状は、横長である他の車両23の形状に合わせて、横長楕円であり、障害物が歩行者25である場合、軌道27の形状は、形状が縦長である歩行者25の形状に合わせて、縦長楕円であり、障害物がそれ以外のものである場合、軌道27の形状は円となる。このことにより、障害物が他の車両23であるのか歩行者25であるのかそれ以外の障害物であるのかをドライバーが直接識別し難い場合にも、軌道27の形状によって、障害物が他の車両23であるのか歩行者25であるのかそれ以外のものであるのかを瞬時に区別することができる。
(vi)表示装置1は、到達時間に基づいて障害物の危険度を設定し、その危険度が所定の範囲内である(到達時間が5〜10秒の範囲内にある)場合のみ、障害物の周囲を移動する虚像を表示する。そのため、危険度が低い障害物についてまで一律に虚像を表示し、ドライバーが煩わしく感じてしまうようなことがない。
(vii)表示装置1は、到達時間が非常に短い(5秒未満)場合は、危険が迫っており、ドライバーが虚像表示を見る時間が十分ないため、障害物の周囲を移動する虚像を表示せず、警告音の出力のみを行う(図2におけるステップ160、250、図7におけるステップ360、450、図10におけるステップ560、650、図11におけるステップ760、850)。そのことにより、障害物に対する危険を一層的確にドライバーへ伝えることができる。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、障害物の危険度は、到達時間ではなく、車両2と障害物との距離に基づいて設定してもよい。例えば、この距離が10〜20mのときは、虚像21の色を赤橙系色とし、20〜30mのときは緑青系色とすることができる。また、障害物の危険度は、車両2と障害物との距離と、車両2から見た障害物の移動方向(遠ざかっているか近づいているか)との組み合わせで設定してもよい。例えば、距離が10〜20mであり、且つ障害物が近づいているときは、虚像21の色を赤橙系色とし、それ以外の場合は緑青系色とすることができる。
車両2の車速は、車速センサー13から得るのではなく、例えばエンジンECUや他の装置から車速データを受信するようにしても良い。
また、障害物の危険度を設定する際、その時点で認識している障害物の動きから将来における障害物の位置を推定して危険度を設定してもよい。
また、前記実施の形態では、車両2に搭載したセンシング機器(カメラ7)によって車両2の前方にある障害物を認識しているが、インフラ協調や車々通信を用いた方法によって車両2の外部から障害物の位置情報を取得し、その位置情報に基づいて虚像の表示を行ってもよい。
また、前記実施の形態では、障害物の抽出、識別にはカメラ7を用いているが、例えば、レーザーレーダー、ミリ波レーダー、ステレオカメラ、これら複数のセンサーの組み合わせを用いてもよい。
また、図2におけるステップ150、160、210、図7における350、360、410、図10における550、560、610、図11における750、760、810にて、到達時間に関する判断に用いる時間(10秒、5秒、t1秒)は、一律に定めるのではなく、車両2の車速から停止に要する時間を算出し、その停止に要する時間に応じて定めてもよいし、ドライバーから見えない遠い距離(例えば200m)を走行するために要する時間としても良い。
また、図6に示すように、軌道27は、障害物の種類によらず、障害物(図6では歩行者25)を中心とする真円であってもよい。この場合、軌道27の形状を障害物の種類により変える必要がないので、表示装置1が実行する処理を簡便にすることができる。真円の半径は、半径Rをそのまま用いればよい。
1・・・表示装置、2・・・車両、3・・・画像出力回路、5・・・液晶パネル、
7・・・カメラ、9・・・障害物認識回路、11・・・危険度設定回路、
13・・・車速センサー、14・・・スピーカ、15・・・インストルメンタルパネル、17・・・フロントガラス、19・・・視点、21・・・虚像、23・・・車両、
25・・・歩行者、27・・・軌道、31・・・表示、33・・・障害物、
101・・・歩行者、105・・・虚像、
105、105a、105b、105c・・・表示画像、1000・・・シート

Claims (13)

  1. 画像を表示する光を、ウインドシールド又はコンバイナにて反射させ、ドライバーの目に出力し、車両前方に前記画像を虚像として表示する虚像表示手段と、
    前記車両の周辺に存在する障害物を認識する障害物認識手段と、
    前記障害物認識手段により認識した前記障害物の危険度を、前記障害物と前記車両との距離、及び、前記車両に対する前記障害物の相対速度のうちの少なくとも一方に基づき、設定する危険度設定手段と、
    前記危険度設定手段により設定された危険度が、所定の範囲内である場合、前記ドライバーから見て、前記虚像が前記障害物を囲む軌道上を移動するように、前記虚像を表示するとともに、前記危険度に応じて前記虚像の表示方法を変化させる虚像制御手段と、
    を備えることを特徴とする表示装置。
  2. 前記虚像制御手段は、前記危険度に応じて、前記虚像の色調を変化させることを特徴とする請求項1記載の表示装置。
  3. 前記虚像制御手段は、前記危険度が高いほど、前記色調を赤橙系色に近づけ、前記危険度が低いほど、前記色調を緑青系色に近づけることを特徴とする請求項2記載の表示装置。
  4. 前記虚像制御手段は、前記危険度に応じて、前記虚像の明度を変化させることを特徴とする請求項1〜3のいずれかに記載の表示装置。
  5. 前記虚像制御手段は、前記危険度が高いほど、前記明度を高くし、前記危険度が低いほど、前記明度を低くすることを特徴とする請求項4記載の表示装置。
  6. 前記虚像制御手段は、前記危険度に応じて、前記軌道上を移動する前記虚像の速度を変化させることを特徴とする請求項1〜5のいずれかに記載の表示装置。
  7. 前記虚像制御手段は、前記危険度に応じて、前記虚像を表示する時間を変化させることを特徴とする請求項1〜6のいずれかに記載の表示装置。
  8. 前記虚像制御手段は、前記危険度に応じて、前記虚像の大きさを変化させることを特徴とする請求項1〜7のいずれかに記載の表示装置。
  9. 前記虚像制御手段は、前記危険度が高いほど、前記虚像の大きさを大きくすることを特徴とする請求項8記載の表示装置。
  10. 前記虚像制御手段は、前記危険度に応じて、前記虚像の形を変化させることを特徴とする請求項1〜9のいずれかに記載の表示装置。
  11. 前記虚像制御手段は、前記危険度が高いほど、前記虚像の形を、所定の基本形から大きく変化させることを特徴とする請求項10記載の表示装置。
  12. 前記虚像制御手段は、前記虚像を点滅表示し、前記危険度に応じて、前記点滅の間隔時間を変化させることを特徴とする請求項1〜11のいずれかに記載の表示装置。
  13. 前記虚像制御手段は、前記危険度が高いほど、前記点滅の間隔時間を短くすることを特徴とする請求項12記載の表示装置。
JP2009010967A 2008-01-25 2009-01-21 表示装置 Expired - Fee Related JP4770931B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009010967A JP4770931B2 (ja) 2008-01-25 2009-01-21 表示装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008015289 2008-01-25
JP2008015289 2008-01-25
JP2009010967A JP4770931B2 (ja) 2008-01-25 2009-01-21 表示装置

Publications (2)

Publication Number Publication Date
JP2009196630A true JP2009196630A (ja) 2009-09-03
JP4770931B2 JP4770931B2 (ja) 2011-09-14

Family

ID=40794652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009010967A Expired - Fee Related JP4770931B2 (ja) 2008-01-25 2009-01-21 表示装置

Country Status (3)

Country Link
US (1) US8009024B2 (ja)
JP (1) JP4770931B2 (ja)
DE (1) DE102009004432B4 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011162032A (ja) * 2010-02-09 2011-08-25 Stanley Electric Co Ltd 表示装置及び標識を認知させる方法
JP2012101685A (ja) * 2010-11-10 2012-05-31 Nissan Motor Co Ltd 車両用表示装置および車両用表示方法
JP2012162111A (ja) * 2011-02-03 2012-08-30 Denso Corp 車両用表示装置
JP2012229001A (ja) * 2011-04-27 2012-11-22 Toyota Motor Corp 車両用情報伝達装置
JPWO2012077367A1 (ja) * 2010-12-08 2014-05-19 トヨタ自動車株式会社 車両用情報伝達装置
WO2014199574A1 (ja) * 2013-06-14 2014-12-18 株式会社デンソー 車載表示装置およびプログラム製品
JP2015123762A (ja) * 2013-12-25 2015-07-06 三菱電機株式会社 表示制御装置および表示システム
US9216684B2 (en) 2012-10-05 2015-12-22 Denso Corporation Display apparatus
WO2016067596A1 (ja) * 2014-10-29 2016-05-06 株式会社デンソー 情報提示装置
WO2016067536A1 (ja) * 2014-10-29 2016-05-06 株式会社デンソー 運転情報表示装置および運転情報表示方法
KR101756252B1 (ko) * 2015-11-09 2017-07-11 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치 및 방법
WO2017134861A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
JPWO2017022047A1 (ja) * 2015-08-03 2017-11-24 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
US10152120B2 (en) 2014-12-10 2018-12-11 Ricoh Company, Ltd. Information provision device and information provision method
US10272780B2 (en) 2013-09-13 2019-04-30 Maxell, Ltd. Information display system and information display device
WO2021064938A1 (ja) * 2019-10-03 2021-04-08 三菱電機株式会社 表示制御装置、表示システム、及び表示制御方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4475308B2 (ja) * 2007-09-18 2010-06-09 株式会社デンソー 表示装置
CN102194328B (zh) * 2010-03-02 2014-04-23 鸿富锦精密工业(深圳)有限公司 车辆管理系统、方法及具有该系统的车辆控制装置
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
DE102011120878A1 (de) 2011-12-09 2013-06-13 Volkswagen Aktiengesellschaft Verfahren und Anzeigevorrichtung zur Erzeugung eines virtuellen Bildteils auf einer Bildanzeigeeinheit
DE102012001951A1 (de) * 2012-02-02 2013-08-08 Daimler Ag Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung
CN103419718B (zh) * 2012-02-03 2015-07-15 奇瑞汽车股份有限公司 汽车前部防擦挂提醒装置
US20130342696A1 (en) * 2012-06-25 2013-12-26 Hon Hai Precision Industry Co., Ltd. Monitoring through a transparent display of a portable device
US20130342427A1 (en) * 2012-06-25 2013-12-26 Hon Hai Precision Industry Co., Ltd. Monitoring through a transparent display
US9514650B2 (en) 2013-03-13 2016-12-06 Honda Motor Co., Ltd. System and method for warning a driver of pedestrians and other obstacles when turning
US9047703B2 (en) 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
JP5962594B2 (ja) 2013-06-14 2016-08-03 株式会社デンソー 車載表示装置およびプログラム
JP6094399B2 (ja) * 2013-06-24 2017-03-15 株式会社デンソー ヘッドアップディスプレイ、及びプログラム
US9437131B2 (en) * 2013-07-05 2016-09-06 Visteon Global Technologies, Inc. Driving a multi-layer transparent display
JP6040897B2 (ja) * 2013-09-04 2016-12-07 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
US10474907B2 (en) * 2016-03-10 2019-11-12 Panasonic Intellectual Property Corporation Of America Apparatus that presents result of recognition of recognition target
ES2614228B2 (es) 2016-09-13 2018-01-09 Defensya Ingeniería Internacional, S.L. Dispositivo para la creación de señalización luminosa en el espacio circundante a uno o más vehículos
KR20180069147A (ko) * 2016-12-14 2018-06-25 만도헬라일렉트로닉스(주) 차량의 보행자 경고장치
DE102017100880A1 (de) 2017-01-18 2018-07-19 Visteon Global Technologies, Inc. Anzeigevorrichtung und Verfahren zur Anzeige in einem Fahrzeug
DE102017216100A1 (de) * 2017-09-12 2019-03-14 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Display-Vorrichtung für ein Kraftfahrzeug
DE102017216774B4 (de) 2017-09-21 2019-07-04 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung, computerlesbares Speichermedium und Kraftfahrzeug mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug
US10435035B2 (en) * 2017-10-17 2019-10-08 Denso International America, Inc. Screen reduction system for autonomous vehicles
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
DE102017220268B4 (de) * 2017-11-14 2024-03-21 Volkswagen Aktiengesellschaft Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays
DE102018200312B4 (de) 2018-01-10 2023-11-30 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug mit einer solchen Vorrichtung
KR20200130810A (ko) * 2018-03-14 2020-11-20 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 기록 매체
CN110733407A (zh) * 2019-10-28 2020-01-31 徐州筑之邦工程机械有限公司 一种矿用卡车防爆多方位智能照明系统
GB2613003A (en) * 2021-11-19 2023-05-24 Wayray Ag System and method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08175228A (ja) * 1994-12-26 1996-07-09 Honda Motor Co Ltd 運転支援装置
JPH10322687A (ja) * 1997-05-14 1998-12-04 Clarion Co Ltd 車輌後方監視装置
JPH11115660A (ja) * 1997-10-21 1999-04-27 Mazda Motor Corp 車両の障害物警報装置
JP2001023091A (ja) * 1999-07-07 2001-01-26 Honda Motor Co Ltd 車両の画像表示装置
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
JP2007087337A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
JP2007153307A (ja) * 2005-11-09 2007-06-21 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2008062762A (ja) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2009067368A (ja) * 2007-09-18 2009-04-02 Denso Corp 表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5230082A (en) 1990-08-16 1993-07-20 Telefonaktiebolaget L M Ericsson Method and apparatus for enhancing signalling reliability in a cellular mobile radio telephone system
JPH0768715A (ja) 1993-09-02 1995-03-14 Chisso Corp 架橋硬化膜を有する低臭シート状物
JP3134667B2 (ja) * 1994-06-02 2001-02-13 日産自動車株式会社 車両用表示装置
DE19826283B4 (de) * 1997-06-19 2008-10-16 Volkswagen Ag Verfahren zur Anzeige eines vor einem Kraftfahrzeug befindlichen Objektes, insbesondere eines vorausfahrenden Kraftfahrzeuges
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP4131128B2 (ja) 2002-05-27 2008-08-13 株式会社村田製作所 印刷機における見当合せ方法及び印刷機
DE10247563A1 (de) * 2002-10-11 2004-04-22 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Unterstützung des Fahrers
JP2005182306A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
JP4329622B2 (ja) * 2004-06-02 2009-09-09 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US20060066458A1 (en) * 2004-09-30 2006-03-30 Samuelsen Eric J Perimeter of sign warning system
DE102005020772A1 (de) * 2005-05-02 2006-11-09 Siemens Ag Anzeigesystem zur Darstellung der Umgebung eines Kraftfahrzeuges

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08175228A (ja) * 1994-12-26 1996-07-09 Honda Motor Co Ltd 運転支援装置
JPH10322687A (ja) * 1997-05-14 1998-12-04 Clarion Co Ltd 車輌後方監視装置
JPH11115660A (ja) * 1997-10-21 1999-04-27 Mazda Motor Corp 車両の障害物警報装置
JP2001023091A (ja) * 1999-07-07 2001-01-26 Honda Motor Co Ltd 車両の画像表示装置
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
JP2007087337A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
JP2007153307A (ja) * 2005-11-09 2007-06-21 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2008062762A (ja) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2009067368A (ja) * 2007-09-18 2009-04-02 Denso Corp 表示装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011162032A (ja) * 2010-02-09 2011-08-25 Stanley Electric Co Ltd 表示装置及び標識を認知させる方法
JP2012101685A (ja) * 2010-11-10 2012-05-31 Nissan Motor Co Ltd 車両用表示装置および車両用表示方法
US9140903B2 (en) 2010-12-08 2015-09-22 Toyota Jidosha Kabushiki Kaisha Vehicle information transmitting device
JPWO2012077367A1 (ja) * 2010-12-08 2014-05-19 トヨタ自動車株式会社 車両用情報伝達装置
JP5811100B2 (ja) * 2010-12-08 2015-11-11 トヨタ自動車株式会社 車両用情報伝達装置
JP2012162111A (ja) * 2011-02-03 2012-08-30 Denso Corp 車両用表示装置
JP2012229001A (ja) * 2011-04-27 2012-11-22 Toyota Motor Corp 車両用情報伝達装置
US9216684B2 (en) 2012-10-05 2015-12-22 Denso Corporation Display apparatus
US9475420B2 (en) 2012-10-05 2016-10-25 Denso Corporation Display apparatus
US9771022B2 (en) 2012-10-05 2017-09-26 Denso Corporation Display apparatus
JP2015000630A (ja) * 2013-06-14 2015-01-05 株式会社デンソー 車載表示装置およびプログラム
WO2014199574A1 (ja) * 2013-06-14 2014-12-18 株式会社デンソー 車載表示装置およびプログラム製品
US9878667B2 (en) 2013-06-14 2018-01-30 Denso Corporation In-vehicle display apparatus and program product
US10272780B2 (en) 2013-09-13 2019-04-30 Maxell, Ltd. Information display system and information display device
JP2015123762A (ja) * 2013-12-25 2015-07-06 三菱電機株式会社 表示制御装置および表示システム
WO2016067536A1 (ja) * 2014-10-29 2016-05-06 株式会社デンソー 運転情報表示装置および運転情報表示方法
CN107074159A (zh) * 2014-10-29 2017-08-18 株式会社电装 信息提示装置
JP2016091058A (ja) * 2014-10-29 2016-05-23 株式会社デンソー 運転情報表示装置および運転情報表示方法
JP2016088105A (ja) * 2014-10-29 2016-05-23 株式会社デンソー 情報提示装置
WO2016067596A1 (ja) * 2014-10-29 2016-05-06 株式会社デンソー 情報提示装置
US10152120B2 (en) 2014-12-10 2018-12-11 Ricoh Company, Ltd. Information provision device and information provision method
US10852818B2 (en) 2014-12-10 2020-12-01 Ricoh Company, Ltd. Information provision device and information provision method
JPWO2017022047A1 (ja) * 2015-08-03 2017-11-24 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
KR101756252B1 (ko) * 2015-11-09 2017-07-11 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치 및 방법
WO2017134861A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
WO2021064938A1 (ja) * 2019-10-03 2021-04-08 三菱電機株式会社 表示制御装置、表示システム、及び表示制御方法

Also Published As

Publication number Publication date
DE102009004432B4 (de) 2016-12-08
US8009024B2 (en) 2011-08-30
US20090189753A1 (en) 2009-07-30
DE102009004432A1 (de) 2009-07-30
JP4770931B2 (ja) 2011-09-14

Similar Documents

Publication Publication Date Title
JP4770931B2 (ja) 表示装置
JP4475308B2 (ja) 表示装置
JP6699675B2 (ja) 情報提供装置
JP5590684B2 (ja) 情報表示装置及び情報表示方法
EP2936065B1 (en) A system for a vehicle
US8947219B2 (en) Warning system with heads up display
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP4872245B2 (ja) 歩行者認識装置
CN108621941B (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP2015000630A (ja) 車載表示装置およびプログラム
US11836864B2 (en) Method for operating a display device in a motor vehicle
JP2016020876A (ja) 車両用表示装置
JP2015139128A (ja) 車両用周辺監視装置
JP2012195793A (ja) 車両周辺監視装置
US20150183373A1 (en) Vehicle information display device and vehicle information display method
JP2007006006A (ja) 車載情報表示装置及び車両用情報表示方法
JP6805974B2 (ja) 走行支援装置及びコンピュータプログラム
JP2009248721A (ja) 車両用情報表示装置
JP2018154154A (ja) 車両の表示システム及び車両の表示システムの制御方法
JP2013078151A (ja) 車両用表示装置
CN103818385A (zh) 汽车中用于输出信息的方法和装置
JP2017149335A (ja) 運転支援情報表示装置
TW201601955A (zh) 車用安全系統及其運作方法
JP2017186008A (ja) 情報表示システム
JP2018087852A (ja) 虚像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4770931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees