JP2009071790A - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP2009071790A
JP2009071790A JP2007241133A JP2007241133A JP2009071790A JP 2009071790 A JP2009071790 A JP 2009071790A JP 2007241133 A JP2007241133 A JP 2007241133A JP 2007241133 A JP2007241133 A JP 2007241133A JP 2009071790 A JP2009071790 A JP 2009071790A
Authority
JP
Japan
Prior art keywords
bird
vehicle
image
eye view
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007241133A
Other languages
English (en)
Other versions
JP4458138B2 (ja
Inventor
Takehito Harada
岳人 原田
Hiroaki Shimizu
宏昭 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007241133A priority Critical patent/JP4458138B2/ja
Priority to US12/198,471 priority patent/US20090073263A1/en
Publication of JP2009071790A publication Critical patent/JP2009071790A/ja
Application granted granted Critical
Publication of JP4458138B2 publication Critical patent/JP4458138B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】鳥瞰画像の生成に伴って画像の一部に大きな歪みが生じても、車両運転者が戸惑わないように鳥瞰画像の表示形態を制御可能な車両周辺監視装置を提供すること。
【解決手段】車両の後退時には、車室内のディスプレイに車両後方の鳥瞰画像が表示される。この鳥瞰画像は、車両後方にある障害物11が車両に接近するほど(選択図中で(a)→(b)→(c)→(d))、より俯角が大きい鳥瞰画像になる。また、鳥瞰画像の一部は、マスク部13によって覆い隠される。このマスク部13によって覆い隠される範囲は、障害物11が車両に接近するほど大きくなり、鳥瞰画像の俯角が大きくなるほど大きくなる。鳥瞰画像内の障害物11は、俯角が大きくなると大きく歪んだ状態で表示される場合があるが(選択図中(e)参照)、そのような領域をマスク部13で覆い隠せば、車両運転者が戸惑わないようにすることができる。
【選択図】図2

Description

本発明は、車両周辺を撮影して、その画像を車室内で表示することにより、車両周辺に存在する障害物等を、車両運転者が車室内から監視できるように構成された車両周辺監視装置に関する。
従来、この種の車両周辺監視装置として、車両に搭載されたカメラで撮影した車両周辺の原画像を加工して仮想的な鳥瞰画像を生成し、その鳥瞰画像を車室内の表示装置に表示する装置は、既に提案されている(例えば、下記特許文献1参照)。
特開2005−324593号公報
ところで、上記のような車両周辺監視装置において、原画像から鳥瞰画像への座標変換を行う際には、例えば、路面の高さを基準とする座標変換が行われる。この場合、高さのある障害物が原画像内に撮影されていると、路面から高い位置に存在する部分に相当する画素は、上記座標変換に伴って、路面から高い位置に存在する部分の陰に隠れた「背景側の路面」と同一位置へと移動することになる。
そのため、上記のような座標変換が行われた場合、鳥瞰画像内において上記障害物に相当する画像は「障害物が実際に存在する位置」から「障害物の陰に隠れた背景側の路面」にわたって存在するかのように見える歪んだ形態の画像となる。
したがって、車両運転者が鳥瞰画像を見たときに、上記のように大きく歪んだ障害物が鳥瞰画像内に見えると、車両運転者は障害物の大きさや形態を把握しにくく、無用な圧迫感を与えてしまうなど、駐車支援をする上では好ましくない状況になるおそれがあった。
本発明は、上記問題を解決するためになされたものであり、その目的は、鳥瞰画像の生成に伴って画像の一部に大きな歪みが生じても、車両運転者が戸惑わないように鳥瞰画像の表示形態を制御可能な車両周辺監視装置を提供することにある。
以下、本発明において採用した構成について説明する。
請求項1に記載の車両周辺監視装置において、画像処理手段は、撮影手段によって撮影された原画像の少なくとも一部に対して所定の座標変換を施し、これにより、撮影手段によって撮影された原画像に基づく仮想的な鳥瞰画像が生成される。
このような鳥瞰画像を生成すると、鳥瞰画像内の一部(例えば、障害物の像)に歪みが生じることがあるが、画像処理手段は、鳥瞰画像の一部を覆い隠すマスク部を鳥瞰画像上に合成でき、マスク部によって覆い隠される鳥瞰画像上の範囲を変更することができる。
そのため、鳥瞰画像上で広範囲にわたって過大な歪みが生じる場合には、マスク部で覆い隠す範囲を拡大することにより、歪みが小さい領域だけを選択的に表示して、車両運転者の違和感を抑制することができる。一方、歪みが気にならない場合には、マスク部で覆い隠す範囲を無くすか縮小することにより、車両運転者が、より広範囲にわたる監視を実施可能とすることもできる。
したがって、本発明によれば、鳥瞰画像の生成に伴って画像の一部に大きな歪みが生じても、車両運転者が戸惑わないように鳥瞰画像の表示形態を制御することができる。
ところで、上記のようなマスク部によって覆い隠される鳥瞰画像上の範囲は、例えば、利用者が手動で範囲を変更できるように構成されていてもよいし、所定の条件が成立した場合に自動的に範囲が変更されるように構成されていてもよい。
自動的に範囲を変更する場合の具体例としては、例えば、請求項2に記載の如く、鳥瞰画像を生成する際、当該鳥瞰画像の俯角の大きさを変更可能で、前記マスク部によって覆い隠される前記鳥瞰画像上の範囲を、前記鳥瞰画像の俯角が大きくなるほど拡大させるものを挙げることができる。
このような構成を採用すれば、俯角を小さくして、より遠方の障害物を確認しやすい鳥瞰画像とすることができ、また、俯角を大きくして、より近傍の障害物を監視しやすい鳥瞰画像とすることもできる。ただし、俯角を大きくすると、高さのある障害物の画像が、鳥瞰画像内において大きく歪む傾向がある。
この点、上記構成を採用すれば、俯角を大きくしたことに伴って歪み具合が拡大すれば、そのような歪みの大きい範囲がマスク部で覆い隠されるように、マスク部の範囲を拡大することができるので、これにより、車両運転者の違和感を払拭することができる。
また、俯角を小さくして、より遠方の障害物を確認できるようにした際には、マスク部によって覆い隠される鳥瞰画像上の範囲を無くすか小さくすることができるので、これにより、より広範囲にわたる画像が表示されるようにすることができる。
また、上記鳥瞰画像の俯角は、車両運転者が手動で任意に変更できるようなものであってもよいが、請求項3に記載の如く構成してあると、俯角の変更をも自動化できるので好ましい。
すなわち、請求項3に記載の装置では、検知手段が、検知対象領域内に存在する障害物を検知すると、画像処理手段は、検知手段によって検知される障害物までの距離に応じて、鳥瞰画像の俯角の大きさを変更する。
このような車両周辺監視装置によれば、障害物までの距離に応じてあらかじめ最適な俯角を設定しておくことにより、俯角の変更に関し、自動化を図ることができる。そして、障害物までの距離に応じて鳥瞰画像の俯角の大きさが変更されると、それに伴って、マスク部によって覆い隠される鳥瞰画像上の範囲も変更される。
したがって、障害物までの距離に応じて俯角が変更された際に、鳥瞰画像上の歪みの目立つ範囲が変動しても、そのような範囲の変動に対応してマスク部によって覆い隠される範囲を変更できる。
より具体的な例を挙げれば、請求項4に記載の如く、画像処理手段は、検知手段によって検知される障害物までの距離に基づき、障害物が車両に接近するほど、鳥瞰画像の俯角を大きくするものであるとよい。
このような車両周辺監視装置によれば、障害物が遠方にあるときは、鳥瞰画像の俯角を小さくして、より遠方にある障害物をも監視できるようにする一方、障害物が接近したときは、鳥瞰画像の俯角を大きくして、車両のごく近傍の状況を監視することができる。また、そのような俯角の変更に伴って鳥瞰画像上の歪みの目立つ範囲が変動しても、そのような範囲の変動に対応してマスク部によって覆い隠される範囲を変更できる。
また、請求項5に記載の如く、画像処理手段は、マスク部に重ねて文字や図柄で情報を表示し、当該情報の内容を、検知手段によって検知される障害物までの距離に応じて変更するものであってもよい。
このように構成された車両周辺監視装置によれば、鳥瞰画像上に現れる歪みに起因した違和感を抑制するだけでなく、マスク部が表示される領域を利用して車両運転者に対して情報提供を行うことができる。
なお、提供する情報の具体的な内容については特に限定されないが、具体的な例を挙げれば、例えば、障害物までの距離やその距離に応じた危険度などを表示するとよい。あるいは、検知手段が複数あればどの検知手段で障害物を検知したかを表示してもよいし、注意喚起のためのメッセージや安全走行を促すメッセージなどを表示してもよい。
また、請求項6に記載の通り、画像処理手段は、マスク部の色を、検知手段によって検知される障害物までの距離に応じて変更するものであってもよい。このように構成すれば、メッセージを読んだり、表示された図柄の意味を考えたりしなくても、マスク部の色が変化することで、車両運転者は、直感的に障害物の接近や危険度を察知することができる。
次に、本発明の実施形態について一例を挙げて説明する。
[車両周辺監視装置の構成]
図1は、車両周辺監視装置全体の構成を示すブロック図である。
この車両周辺監視装置は、ECU1、超音波ソナー3、インテリジェント・カメラ5、およびディスプレイ(表示装置)7などを備えている。
ECU1は、マイクロコンピュータを中心に構成された周知の電子制御装置であり、このECU1によって車両周辺監視装置の各部が制御される。なお、このECU1は、車両周辺監視装置の制御専用に用意されたものであってもよいし、車両周辺監視装置以外の制御をも行う汎用のものであってもよい。
また、単一のECU1で構成してもよいし、複数のECUが協働して機能するものであってもよい。具体例を挙げれば、例えば、カメラ機能を制御するカメラECUをメインECUとして、ソナー機能を制御するソナーECUを従属させ、カメラECUの制御下でソナーECUが機能する構成としてもよい。
超音波ソナー3は、本実施形態の場合は4つあり、これらが車両の後方に配設されている。この超音波ソナー3から車両の後方に向けて超音波を送波し、障害物によって反射された反射波を受波することにより、障害物の存在を検知したり、検知した障害物までの距離を測定したりすることができる。この超音波ソナー3を利用して得られた検知情報は、上述のECU1へと伝送される。
インテリジェント・カメラ5は、車両の後方に配設され、車両後方の光景を撮影できるようになっている。また、このインテリジェント・カメラ5は、カメラ5Aおよび制御装置5Bによって構成されていて、ECU1から切り出し画角の指示を与えると、指示に応じた画角にて原画像の一部を原画像から切り出して提供する機能を備えている。
この機能を利用するため、インテリジェント・カメラ5には、ECU1から切り出し画角の指示が与えられる。具体的には、本実施形態の場合、切り出し画角の指示として、超音波ソナー3から取得した障害物までの距離に関する情報が、ECU1からインテリジェント・カメラ5に与えられる。
この指示を受け取ったインテリジェント・カメラ5は、指示に応じた画角にて原画像の一部を原画像から切り出す。具体的には、まず、障害物までの距離に基づいて、切り出し範囲や座標変換規則を決定する。なお、原画像のどの範囲を切り出して、どのような座標変換を行うかは、あらかじめ障害物までの距離に対応付けてプログラムされており、そのプログラムは、インテリジェント・カメラ5が備える制御装置5BのROMに記憶されている。
インテリジェント・カメラ5が備えるカメラ5Aは、概ね180度の画角(視野角)を持つ広角カメラとなっているため、このカメラ5Aによって撮影される原画像は、いわゆる魚眼レンズを利用して撮影されたような画像となっている。
しかし、インテリジェント・カメラ5が備える制御装置5Bは、上記原画像に対して歪み補正処理や画角切り出し処理などの画像処理を施し、これにより、原画像に基づく仮想的な鳥瞰画像が生成されて、この鳥瞰画像がECU1に対して提供される。
ディスプレイ7は、車室内に配設される装置で、ECU1がインテリジェント・カメラ5から取得した鳥瞰画像、この鳥瞰画像に合成されるマスク部、およびマスク部に重ねて表示される文字や図形の情報などが、ディスプレイ7に表示されるようになっている。
[車両周辺監視装置による車両周辺の表示態様]
次に、車両周辺監視装置による車両周辺の表示態様について説明する。
本実施形態の車両周辺監視装置は、車両が後退する際に、車両後方の光景を車室内のディスプレイ7に表示するものである。また、超音波ソナー3により車両の後方で障害物を検知した場合には、車室内に表示される鳥瞰画像の俯角が、障害物に近づくほど大きくなるように構成されている。さらに、鳥瞰画像の俯角によっては、鳥瞰画像の一部を覆い隠すマスク部が表示され、マスク部によって覆い隠される範囲は、鳥瞰画像の俯角が大きくなるほど広範囲となるように構成されている。
以下、具体的な表示例を図示して説明すると、まず、車両運転者の操作によってシフトがRに変更されると、ディスプレイ7には、図2(a)に示すように、車両後方の画像が表示される。この画像内には、車両後方に存在する障害物11が存在するが、この時点で障害物11は十分に遠い位置(本実施形態の場合、車両から1.5m以上離れた位置)にあるため、警告対象とはなっていない。
一方、車両が後退を開始し、上記障害物11が車両に接近すると(本実施形態の場合、車両から1.5m以内に至ると)、ディスプレイ7に表示される画像は、図2(b)に示すように、図2(a)よりもやや俯角が大きい鳥瞰画像となり、且つ、幅L1(L1>0)のマスク部13が表示される。
この時点で、マスク部13には、障害物11の接近レベルを3段階のレベルで表示する図柄(図2(b)は1段階目であることを示す配色の図柄)や、「後方に障害物があります」というメッセージが表示される。また、この時点で、マスク部13の色は黒色とされている。
そして、さらに車両が後退して障害物11が接近すると、図2(c)に示すように、図2(b)よりもさらに俯角が大きい鳥瞰画像となり、且つ、マスク部13の幅L2が拡大する(L2>L1)。
この時点で、マスク部13には、障害物の接近レベルを3段階のレベルで表示する図柄(図2(c)は2段階目であることを示す配色の図柄)や、「障害物が接近しています」というメッセージが表示される。また、この時点でも、マスク部13の色は黒色とされている。
そして、さらに車両が後退して障害物が接近すると、図2(d)に示すように、図2(c)よりもさらに俯角が大きい鳥瞰画像となり、且つ、マスク部13の幅L3が拡大する(L3>L2)。
この時点で、マスク部13には、障害物の接近レベルを3段階のレベルで表示する図柄(図2(d)は3段階目(最接近状態)であることを示す配色の図柄)や、「後方に十分に注意して運転してください」というメッセージが表示される。また、この時点で、マスク部13の色は、赤色に変更される。
以上のように変化する画像の内、図2(a)に示す画像は、最も俯角が小さいので、より遠方まで見渡すことができる画像となり、遠方にある障害物を確認しやすくなっている。
一方、図2(d)に示す画像は、最も俯角が大きいので、画面の下部には車両の一部が映り込み、しかも、車両のごく近傍まで接近した障害物11を真上から見下ろすことができ、車両と障害物11との位置関係を容易に把握することができる。
しかも、図2(d)に示す画像は、画像の歪みが大きくなる範囲をマスク部13によって覆い隠してあるので、車両運転者が歪んだ画像に違和感を覚えるのを抑制することができる。具体的には、図2(d)に示す画像は、図2(e)に示す画像に対してマスク部13を合成したもので、このマスク部13合成前の画像(図2(e)参照)には、大きく歪んだ障害物11が映っている。
このような障害物11の歪みは、俯角の大きい鳥瞰画像を生成した場合に、原画像の撮像視点と鳥瞰画像の仮想的な視点とのずれに起因して発生し、障害物11の高さが高い場合ほど、より大きな歪みが生じる傾向がある。このような歪みの大きい障害物11がディスプレイ7に映ると、車両運転者には、障害物11の大きさを誤解させ、圧迫感を与える原因となるので、駐車支援をする上では好ましいことではない。
この点、上記のようなマスク部13を合成することにより、画像の歪みが大きくなる範囲をマスク部13によって覆い隠すと、図2(e)のような「歪みの大きい領域が広い画像」が、図2(d)のような「歪みの大きい領域がカットされた画像」になる。したがって、車両運転者は、歪みの大きい領域を目にすることなく、歪みの小さい領域において車両と障害物11との関係を把握することができる。
図3(a)は、障害物までの距離と鳥瞰画像の俯角との関係を例示したグラフである。また、図3(b)は、障害物までの距離とマスク部の範囲との関係を例示したグラフである。これらのような関係で、インテリジェント・カメラ5が、障害物までの距離に応じた俯角で鳥瞰画像を生成すれば、図2(a)〜同図(d)に示したような、鳥瞰画像およびマスク部をディスプレイ7に表示することができる。
なお、図3(a)に例示したグラフは、検知距離に応じて、俯角が0度から90度まで連続的に変化する例であるが、この俯角は段階的に変更されてもよく、例えば、0度、30度、60度、90度と4段階に変化するようにしてもよい。また、俯角の変動範囲も0度〜90度に限定されるものではなく、例えば、0度〜80度のものや、10度〜90度のものなど、俯角の下限・上限ともに任意に設定することができる。
また、図3(b)に例示したグラフは、検知距離に応じて、マスク量が対画面比で0〜1/2まで連続的に変化する例であるが、このマスク量も段階的に変更されてもよく、例えば、0、1/4、1/2と3段階に変化するようにしてもよい。また、マスク量の変動範囲も0〜1/2に限定されるものではなく、例えば、0〜2/3のものや、0〜1/4のものなど、具体的な数値範囲は下限・上限ともに任意に設定することができる。
[車両周辺監視装置が備えるECUにおいて実行される処理]
次に、上記のような表示態様を実現するため、車両周辺監視装置が備えるECU1において実行される処理の一例を、図4に基づいて説明する。
図4は、エンジン始動に伴ってECU1が稼働を開始した際に、ECU1が実行する処理の中から、車両周辺監視装置に関連する処理ステップのみを抽出してフローチャート化したものである。
この処理を開始すると、ECU1は、インテリジェント・カメラおよび超音波ソナーの初期状態として、それらを作動停止状態にする(S10)。そして、シフトがRか否かを判断する(S20)。
ここで、シフトがRでない場合は(S20:NO)、S10へと戻ることにより、S10〜S20の処理を繰り返す。この繰り返し処理により、インテリジェント・カメラおよび超音波ソナーは、シフトがRに変更されるまでは、作動停止状態のまま待機することになる。
一方、車両運転者の操作によってシフトがRに変更されたら(S20:YES)、その場合は、通常のリアビュー表示を行う(S30)。この通常のリアビュー表示は、最も俯角が小さい鳥瞰画像に相当する画像が表示される(図2(a)参照)。したがって、より俯角が大きい鳥瞰画像に比べ、車両運転者は、より遠方にある障害物を確認しやすくなる。
続いて、ECU1は、超音波ソナー3から障害物の検知情報を取得するため、超音波ソナー3を制御して超音波送受波動作を実行させる(S40)。そして、障害物を検知したか否かを判断し(S50)、障害物を検知していない場合は(S50:NO)、S40の処理へと戻る。
一方、S50の処理において、障害物を検知した場合は(S50:YES)、検知距離を読み取り(S60)、俯角制御、および不要部分に対するマスク量制御を実行する(S70)。
S70の処理では、S60の処理で読み取った検知距離をインテリジェント・カメラ5に与えることにより、インテリジェント・カメラ5に対して切り出し画角の指示を与える。インテリジェント・カメラ5は、ECU1から与えられた検知距離に応じた俯角で、鳥瞰画像を生成し、その鳥瞰画像をECU1に提供する。
この鳥瞰画像を取得したECU1は、さらに、インテリジェント・カメラ5から提供される鳥瞰画像に対し、検知距離に応じた範囲を覆い隠すマスク画像、障害物の接近レベルを表示する図柄、各種メッセージを合成して、ディスプレイ7に表示する。
こうしてS70の処理を終えたら、ECU1は、シフトの変更があるか否かを判断し(S80)、変更がなければ(S80:NO)、S40の処理へと戻って、S40以降の処理を繰り返す。一方、S80の処理において、シフトの変更があった場合は(S80:YES)、S20の処理へと戻る。
その結果、シフトがRであれば(S20:YES)、再びS30以降の処理が実行される一方、シフトがRでなければ(S20:NO)、S10の処理へと戻り、インテリジェント・カメラ5および超音波ソナー3は、作動停止状態に移行する。
[本実施形態の効果]
以上説明した通り、上記車両周辺監視装置によれば、インテリジェント・カメラ5が生成した鳥瞰画像内の一部に歪みの大きい部分が存在していても、そのような歪みがある部分をマスク部13で覆い隠してディスプレイ7に表示することができる。したがって、そのような歪みに起因して車両運転者が戸惑わないような表示状態にすることができる。
また、上記車両周辺監視装置においては、インテリジェント・カメラ5が生成する鳥瞰画像の俯角、およびマスク部13の範囲(マスク量)は、双方とも超音波ソナー3によって検知した障害物11までの距離に応じて変動させている。そのため、鳥瞰画像の俯角とマスク量は、互いに連動して変化することになる。
すなわち、本実施形態において、マスク部13によって覆い隠される鳥瞰画像上の範囲は、鳥瞰画像の俯角が大きくなるほど拡大する構成になっている。したがって、このような構成を採用すれば、俯角を小さくして、より遠方の障害物11を確認しやすい鳥瞰画像とすることができ、また、俯角を大きくして、より近傍の障害物11を監視しやすい鳥瞰画像とすることもできる。
しかも、俯角を大きくしたことに伴って歪み具合が拡大すれば、そのような歪みの大きい範囲がマスク部13で覆い隠されるように、マスク部13の範囲を拡大することができるので、車両運転者の違和感を払拭することができる。
さらに、上記車両周辺監視装置においては、超音波ソナー3によって検知した障害物11までの距離に応じて、インテリジェント・カメラ5が生成する鳥瞰画像の俯角の大きさを変更している。
そのため、俯角を変更するために手動で面倒な操作を行わなくても、障害物までの距離に応じた俯角が自動的に設定される。したがって、障害物11までの距離に応じて俯角が変更された際、鳥瞰画像上の歪みの目立つ範囲が変動しても、そのような範囲の変動に対応してマスク部13によって覆い隠される範囲を変更することができる。
加えて、上記車両周辺監視装置においては、マスク部13に重ねて文字や図柄で情報を表示し、当該情報の内容を、障害物までの距離に応じて変更している。したがって、鳥瞰画像上に現れる歪みに起因した違和感を抑制するだけでなく、マスク部13が表示される領域を利用して車両運転者に対して情報提供を行うことができる。
また、マスク部13の色も障害物11までの距離に応じて変更しているので、メッセージを読んだり、表示された図柄の意味を考えたりしなくても、マスク部13の色が変化することで、車両運転者は、直感的に障害物11の接近や危険度を察知することができる。
[変形例等]
以上、本発明の実施形態について説明したが、本発明は上記の具体的な一実施形態に限定されず、この他にも種々の形態で実施することができる。
例えば、上記実施形態では、マスク部13に重ねて文字や図柄で情報を表示する例を示したが、文字や図柄による表示がないマスク部であっても、歪みの大きい領域を覆い隠すことはできるので、相応の効果を期待することができる。
また、上記実施形態では、文字や図柄で表示する情報として、車両運転者に対する注意喚起のメッセージや、障害物の接近レベルを例示したが、情報の内容はこれに限らない。例えば、検知した障害物までの距離や車速などを具体的に数値で表示してもよい。また、複数ある超音波ソナー3の内、どの超音波ソナー3で障害物を検知しているのかを具体的に表示してもよい。また、文字の表示態様も、ロール/スクロールなどにより文字のフレームイン/フレームアウトが生じるものや、文字色の変更、文字の大きさの変更、フォントの変更など、様々な表示態様を採用することができる。
また、上記実施形態では、マスク部13の色を変動させる例を示したが、色を変動させないものであっても構わない。あるいは、上記実施形態では、マスク部13の色を検知距離に応じて変動させる例を示したが、複数ある超音波ソナー3の内、どの超音波ソナー3で障害物を検知しているのかを、色で示すようにしてもよい。
さらに、上記実施形態では、超音波ソナー3での検知距離に応じて鳥瞰画像の俯角が変更される例を示したが、これについては、手動で鳥瞰画像の俯角を変更可能な装置として構成されていてもよい。この場合でも、俯角の変更に連動してマスク量を変化させれば、上記実施形態同様、歪みの大きい範囲をマスク部で覆い隠すことができる。
なお、超音波ソナー3での検知距離に応じて鳥瞰画像の俯角が変更される構成と、手動で鳥瞰画像の俯角を変更可能な構成は、いずれか一方のみを採用してもよいが、両方を採用することもできる。
両方を採用すれば、上記実施形態の如く、障害物が検知されたときに自動的に俯角が変更されるのに加え、障害物が検知されていなくても車両運転者が任意に俯角を変更できる。そして、その場合でも、俯角の変更に連動してマスク部で覆い隠される領域を拡大することができる。
本発明の実施形態として例示した車両周辺監視装置の概略を示すブロック図。 車両周辺監視装置による車両周辺の表示態様を例示した説明図。 (a)は障害物までの距離と鳥瞰画像の俯角との関係を例示したグラフ、(b)は障害物までの距離とマスク部の範囲との関係を例示したグラフ。 車両周辺監視装置が備えるECUにおいて実行される処理のフローチャート。
符号の説明
1・・・ECU、3・・・超音波ソナー、5・・・インテリジェント・カメラ、5A・・・カメラ、5B・・・制御装置、7・・・ディスプレイ、11・・・障害物、13・・・マスク部。

Claims (6)

  1. 車両を基準にして範囲が設定された車両周辺の撮影対象領域を撮影可能な撮影手段と、
    前記撮影手段によって撮影された原画像の少なくとも一部に対して所定の座標変換を施すことにより、前記原画像に基づく仮想的な鳥瞰画像を生成可能な画像処理手段と、
    前記画像処理手段によって生成された画像を、車室内において所定の表示領域に表示する表示手段と
    を備え、
    前記画像処理手段は、前記鳥瞰画像の一部を覆い隠すマスク部を前記鳥瞰画像上に合成可能で、前記マスク部によって覆い隠される前記鳥瞰画像上の範囲を変更可能に構成されている
    ことを特徴とする車両周辺監視装置。
  2. 前記画像処理手段は、前記鳥瞰画像を生成する際、当該鳥瞰画像の俯角の大きさを変更可能で、前記マスク部によって覆い隠される前記鳥瞰画像上の範囲を、前記鳥瞰画像の俯角が大きくなるほど拡大させる
    ことを特徴とする請求項1に記載の車両周辺監視装置。
  3. 前記車両を基準にして範囲が設定された車両周辺の検知対象領域内に存在する障害物を検知可能な検知手段を備えており、
    前記画像処理手段は、前記検知手段によって検知される前記障害物までの距離に応じて、前記鳥瞰画像の俯角の大きさを変更する
    ことを特徴とする請求項2に記載の車両周辺監視装置。
  4. 前記画像処理手段は、前記検知手段によって検知される前記障害物までの距離に基づき、前記障害物が前記車両に接近するほど、前記鳥瞰画像の俯角を大きくする
    ことを特徴とする請求項3に記載の車両周辺監視装置。
  5. 前記画像処理手段は、前記マスク部に重ねて文字や図柄で情報を表示し、当該情報の内容を、前記検知手段によって検知される前記障害物までの距離に応じて変更する
    ことを特徴とする請求項3または請求項4に記載の車両周辺監視装置。
  6. 前記画像処理手段は、前記マスク部の色を、前記検知手段によって検知される前記障害物までの距離に応じて変更する
    ことを特徴とする請求項3〜請求項5のいずれかに記載の車両周辺監視装置。
JP2007241133A 2007-09-18 2007-09-18 車両周辺監視装置 Expired - Fee Related JP4458138B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007241133A JP4458138B2 (ja) 2007-09-18 2007-09-18 車両周辺監視装置
US12/198,471 US20090073263A1 (en) 2007-09-18 2008-08-26 Vehicle periphery monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007241133A JP4458138B2 (ja) 2007-09-18 2007-09-18 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2009071790A true JP2009071790A (ja) 2009-04-02
JP4458138B2 JP4458138B2 (ja) 2010-04-28

Family

ID=40453999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007241133A Expired - Fee Related JP4458138B2 (ja) 2007-09-18 2007-09-18 車両周辺監視装置

Country Status (2)

Country Link
US (1) US20090073263A1 (ja)
JP (1) JP4458138B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263412A (ja) * 2009-05-07 2010-11-18 Denso Corp 車両周辺画像表示装置
JP2011048829A (ja) * 2009-08-27 2011-03-10 Robert Bosch Gmbh 車両の運転者に案内情報を提供するためのシステム及び方法
JP2011215887A (ja) * 2010-03-31 2011-10-27 Denso Corp 車外撮影画像表示システム
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
JP2012096771A (ja) * 2010-11-05 2012-05-24 Denso Corp 車両端部周辺画像表示装置
DE112010005661T5 (de) 2010-06-15 2013-03-21 Mitsubishi Electric Corporation Fahrzeugumgebungs-Überwachungsvorrichtung
WO2013065123A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
WO2014087594A1 (ja) * 2012-12-04 2014-06-12 株式会社デンソー 車両監視装置
JP2015033897A (ja) * 2013-08-08 2015-02-19 本田技研工業株式会社 車両用照明システム
WO2015045904A1 (ja) * 2013-09-24 2015-04-02 日立建機株式会社 車両周囲移動物体検知システム
JP2015142362A (ja) * 2014-01-30 2015-08-03 株式会社富士通ゼネラル 画像処理装置並びに運転支援装置およびナビゲーション装置およびカメラ装置
WO2017104768A1 (ja) * 2015-12-18 2017-06-22 株式会社デンソー 表示制御装置及び表示制御方法
US9706175B2 (en) 2009-12-24 2017-07-11 Fujitsu Ten Limited Image processing device, image processing system, and image processing method
JP2017200006A (ja) * 2016-04-26 2017-11-02 株式会社Soken 表示制御装置
WO2018180142A1 (ja) * 2017-03-31 2018-10-04 マツダ株式会社 車両用画像表示装置及び画像処理方法
WO2019092846A1 (ja) * 2017-11-10 2019-05-16 本田技研工業株式会社 表示システム、表示方法、およびプログラム
WO2021166576A1 (ja) * 2020-02-17 2021-08-26 フォルシアクラリオン・エレクトロニクス株式会社 立体物検出装置、車載システム、及び立体物検出方法
JP2021128672A (ja) * 2020-02-17 2021-09-02 フォルシアクラリオン・エレクトロニクス株式会社 立体物検出装置、車載システム、及び立体物検出方法
JP2021128671A (ja) * 2020-02-17 2021-09-02 フォルシアクラリオン・エレクトロニクス株式会社 立体物検出装置、車載システム、及び立体物検出方法
JP2022181281A (ja) * 2021-05-26 2022-12-08 トヨタ自動車株式会社 駐車支援装置
WO2023105842A1 (ja) * 2021-12-06 2023-06-15 株式会社光庭インフォ 情報処理装置、移動体、情報処理方法及びプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5053043B2 (ja) * 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
US20100253780A1 (en) * 2009-04-03 2010-10-07 Shih-Hsiung Li Vehicle auxiliary device
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5316550B2 (ja) 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム
KR20130019639A (ko) * 2011-08-17 2013-02-27 엘지이노텍 주식회사 차량용 카메라 장치
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9266472B2 (en) * 2014-02-20 2016-02-23 GM Global Technology Operations LLC Systems and methods to indicate clearance for vehicle door
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
DE102015209391A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
GB2558538A (en) * 2016-11-21 2018-07-18 Jaguar Land Rover Ltd A display system for a vehicle, a vehicle and method
EP3537714B1 (en) * 2017-02-28 2021-08-25 JVC Kenwood Corporation Bird's-eye-view video image generation device, bird's-eye-view video image generation system, bird's-eye-view video image generation method, and program
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
DE102017117094A1 (de) * 2017-07-28 2019-01-31 Connaught Electronics Ltd. Individualisierbare Darstellung einer Umgebung eines Kraftfahrzeugs durch eine Fahrerassistenzvorrichtung
JP6907250B2 (ja) 2019-01-18 2021-07-21 矢崎総業株式会社 車両用表示装置
CN111083452A (zh) * 2020-01-17 2020-04-28 深圳市华世联合科技有限公司 一种智能显示系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4606336B2 (ja) * 2005-02-21 2011-01-05 株式会社オートネットワーク技術研究所 車両周辺視認装置
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263412A (ja) * 2009-05-07 2010-11-18 Denso Corp 車両周辺画像表示装置
JP2011048829A (ja) * 2009-08-27 2011-03-10 Robert Bosch Gmbh 車両の運転者に案内情報を提供するためのシステム及び方法
US9706175B2 (en) 2009-12-24 2017-07-11 Fujitsu Ten Limited Image processing device, image processing system, and image processing method
JP2011215887A (ja) * 2010-03-31 2011-10-27 Denso Corp 車外撮影画像表示システム
US9064293B2 (en) 2010-06-15 2015-06-23 Mitsubishi Electric Corporation Vehicle surroundings monitoring device
DE112010005661T5 (de) 2010-06-15 2013-03-21 Mitsubishi Electric Corporation Fahrzeugumgebungs-Überwachungsvorrichtung
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
JP2012096771A (ja) * 2010-11-05 2012-05-24 Denso Corp 車両端部周辺画像表示装置
WO2013065123A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
JPWO2013065123A1 (ja) * 2011-11-01 2015-04-02 アイシン精機株式会社 障害物警報装置
US9082021B2 (en) 2011-11-01 2015-07-14 Aisin Seiki Kabushiki Kaisha Obstacle alert device
WO2014087594A1 (ja) * 2012-12-04 2014-06-12 株式会社デンソー 車両監視装置
JP2015033897A (ja) * 2013-08-08 2015-02-19 本田技研工業株式会社 車両用照明システム
WO2015045904A1 (ja) * 2013-09-24 2015-04-02 日立建機株式会社 車両周囲移動物体検知システム
JP2015142362A (ja) * 2014-01-30 2015-08-03 株式会社富士通ゼネラル 画像処理装置並びに運転支援装置およびナビゲーション装置およびカメラ装置
WO2017104768A1 (ja) * 2015-12-18 2017-06-22 株式会社デンソー 表示制御装置及び表示制御方法
JP2017112574A (ja) * 2015-12-18 2017-06-22 株式会社デンソー 表示制御装置
JP2017200006A (ja) * 2016-04-26 2017-11-02 株式会社Soken 表示制御装置
WO2018180142A1 (ja) * 2017-03-31 2018-10-04 マツダ株式会社 車両用画像表示装置及び画像処理方法
JP2018171965A (ja) * 2017-03-31 2018-11-08 マツダ株式会社 車両用画像表示装置及び画像処理方法
US11548443B2 (en) 2017-11-10 2023-01-10 Honda Motor Co., Ltd. Display system, display method, and program for indicating a peripheral situation of a vehicle
WO2019092846A1 (ja) * 2017-11-10 2019-05-16 本田技研工業株式会社 表示システム、表示方法、およびプログラム
JPWO2019092846A1 (ja) * 2017-11-10 2020-11-19 本田技研工業株式会社 表示システム、表示方法、およびプログラム
WO2021166576A1 (ja) * 2020-02-17 2021-08-26 フォルシアクラリオン・エレクトロニクス株式会社 立体物検出装置、車載システム、及び立体物検出方法
JP2021128671A (ja) * 2020-02-17 2021-09-02 フォルシアクラリオン・エレクトロニクス株式会社 立体物検出装置、車載システム、及び立体物検出方法
JP2021128672A (ja) * 2020-02-17 2021-09-02 フォルシアクラリオン・エレクトロニクス株式会社 立体物検出装置、車載システム、及び立体物検出方法
JP2022181281A (ja) * 2021-05-26 2022-12-08 トヨタ自動車株式会社 駐車支援装置
JP7375792B2 (ja) 2021-05-26 2023-11-08 トヨタ自動車株式会社 駐車支援装置
WO2023105842A1 (ja) * 2021-12-06 2023-06-15 株式会社光庭インフォ 情報処理装置、移動体、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20090073263A1 (en) 2009-03-19
JP4458138B2 (ja) 2010-04-28

Similar Documents

Publication Publication Date Title
JP4458138B2 (ja) 車両周辺監視装置
WO2014087594A1 (ja) 車両監視装置
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
JP4595976B2 (ja) 映像処理装置及びカメラ
US8886023B2 (en) Blind-spot image display system for vehicle, and blind-spot image display method for vehicle
JP6493361B2 (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
JP5765995B2 (ja) 画像表示システム
US11336839B2 (en) Image display apparatus
JP4888831B2 (ja) 車両周辺監視装置
CN107284356B (zh) 车辆视镜替代系统
JP4867512B2 (ja) 画像表示装置およびプログラム
JP2010274813A (ja) 画像生成装置及び画像表示システム
JP2007159036A (ja) 車両用表示装置
JP2009043003A (ja) 運転支援装置
JP2009017007A (ja) 画像表示装置及び車載用画像表示装置
JP2018127083A (ja) 画像表示装置
JP5131152B2 (ja) 視覚支援装置
JP2010208359A (ja) 車両用表示装置
JP2018144554A (ja) 車両用ヘッドアップディスプレイ装置
JP2009073250A (ja) 車両後方表示装置
JP2019018846A (ja) 乗り物画像処理システム
WO2017168953A1 (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
JP4651745B2 (ja) 映像処理装置
US20200231099A1 (en) Image processing apparatus
JP2020052143A (ja) 画像表示装置、画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100201

R151 Written notification of patent or utility model registration

Ref document number: 4458138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140219

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees