JP2001216520A - 車両用周辺監視装置 - Google Patents
車両用周辺監視装置Info
- Publication number
- JP2001216520A JP2001216520A JP2000022117A JP2000022117A JP2001216520A JP 2001216520 A JP2001216520 A JP 2001216520A JP 2000022117 A JP2000022117 A JP 2000022117A JP 2000022117 A JP2000022117 A JP 2000022117A JP 2001216520 A JP2001216520 A JP 2001216520A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- approaching object
- image
- fixed point
- approaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Abstract
(57)【要約】
【課題】 接近物に対して安定した表示枠で囲むことに
より、接近物の視認が容易に行える車両用周辺監視装置
を提供する。 【解決手段】 車両に搭載され、自車両周辺を撮像して
撮像画像を得る。表示手段が、撮像画像を表示する。接
近物検出手段５ａ−１が、所定時間前後して得た２つの
撮像画像に基づき、自車両に接近する接近物の撮像画像
中の位置を検出する。不動点設定手段５ａ−２が、検出
された接近物上の不動点を設定する。画像形成手段５ａ
−３が、不動点を基準として接近物を囲む表示枠画像を
形成する。重畳手段５ａ−４が、表示枠画像を撮像画像
に重畳する。
より、接近物の視認が容易に行える車両用周辺監視装置
を提供する。 【解決手段】 車両に搭載され、自車両周辺を撮像して
撮像画像を得る。表示手段が、撮像画像を表示する。接
近物検出手段５ａ−１が、所定時間前後して得た２つの
撮像画像に基づき、自車両に接近する接近物の撮像画像
中の位置を検出する。不動点設定手段５ａ−２が、検出
された接近物上の不動点を設定する。画像形成手段５ａ
−３が、不動点を基準として接近物を囲む表示枠画像を
形成する。重畳手段５ａ−４が、表示枠画像を撮像画像
に重畳する。
Description
【０００１】
【発明の属する技術分野】本発明は車両用周辺監視装置
に係わり、特に、所定時間前後した車両周辺を撮像した
２画像に基づき接近物を検出するとともに、検出した接
近物を示す表示画像を撮像画像中に重畳して表示する車
両用周辺監視装置に関する。
に係わり、特に、所定時間前後した車両周辺を撮像した
２画像に基づき接近物を検出するとともに、検出した接
近物を示す表示画像を撮像画像中に重畳して表示する車
両用周辺監視装置に関する。
【０００２】
【従来の技術】以下、従来の車両用周辺監視装置につい
て図１２を参照して説明する。図１２は、カメラによっ
て得られる後側方の撮像画像の変化を説明するための図
であり、（ｂ）は（ａ）に示す自車両を含む状況におい
てカメラ１が時間ｔでの撮像画像、（ｃ）は時間ｔ＋Δ
ｔでの撮像画像をそれぞれ示す。
て図１２を参照して説明する。図１２は、カメラによっ
て得られる後側方の撮像画像の変化を説明するための図
であり、（ｂ）は（ａ）に示す自車両を含む状況におい
てカメラ１が時間ｔでの撮像画像、（ｃ）は時間ｔ＋Δ
ｔでの撮像画像をそれぞれ示す。
【０００３】今、自車両は平坦な道を直進しているとす
ると、例えば後方に見える（ａ）に示される道路標識及
び建物に注目すると、時間の経過により時間ｔ、時間ｔ
＋Δｔにおいて、（ｂ）、（ｃ）に示されるような撮像
画像が得られる。この撮像画像は、例えば５１２＊５１
２画素、輝度０〜２５５階調の画素データとして逐次記
憶されている。この撮像画像において隣接する画素の輝
度差が所定輝度以上の画素を抽出することにより、他車
両の輪郭等の特徴点が抽出される。そして、上記所定時
間Δｔ前後した２枚の撮像画像において、対応する同一
特徴点を捜しそれらを結ぶと（ｄ）に示されるような速
度ベクトルが得られる。これがオプティカルフローであ
る。
ると、例えば後方に見える（ａ）に示される道路標識及
び建物に注目すると、時間の経過により時間ｔ、時間ｔ
＋Δｔにおいて、（ｂ）、（ｃ）に示されるような撮像
画像が得られる。この撮像画像は、例えば５１２＊５１
２画素、輝度０〜２５５階調の画素データとして逐次記
憶されている。この撮像画像において隣接する画素の輝
度差が所定輝度以上の画素を抽出することにより、他車
両の輪郭等の特徴点が抽出される。そして、上記所定時
間Δｔ前後した２枚の撮像画像において、対応する同一
特徴点を捜しそれらを結ぶと（ｄ）に示されるような速
度ベクトルが得られる。これがオプティカルフローであ
る。
【０００４】ここでこれらオプティカルフローは、画像
内のＦＯＥ（Ｆｏｃｕｓ ｏｆ Ｅｘｐａｎｓｉｏｎ）
とよばれる１点から放射状に現れる。ＦＯＥとは、無限
遠点又は、消失点と呼ばれ、車両が直進している場合画
像上において自車線の進行方向の正反対方向を示す１点
に対応する。このように、自車両が走行している場合に
求められるオプティカルフローは、ＦＯＥから放射状の
方向である。ここで後続または隣接車線を走行中の車両
から発せられたオプティカルフローは、自車線に対する
隣接車線を走行する車両の位置、相対速度からなる情報
を含んでおり、オプティカルフローが長く、かつその方
向がＦＯＥより発散する場合は危険度が高いと考えられ
ている。
内のＦＯＥ（Ｆｏｃｕｓ ｏｆ Ｅｘｐａｎｓｉｏｎ）
とよばれる１点から放射状に現れる。ＦＯＥとは、無限
遠点又は、消失点と呼ばれ、車両が直進している場合画
像上において自車線の進行方向の正反対方向を示す１点
に対応する。このように、自車両が走行している場合に
求められるオプティカルフローは、ＦＯＥから放射状の
方向である。ここで後続または隣接車線を走行中の車両
から発せられたオプティカルフローは、自車線に対する
隣接車線を走行する車両の位置、相対速度からなる情報
を含んでおり、オプティカルフローが長く、かつその方
向がＦＯＥより発散する場合は危険度が高いと考えられ
ている。
【０００５】そこで、従来の車両用監視装置では、検出
されたオプティカルフローが長く、かつその方向がＦＯ
Ｅより発散するものであったとき、自車両に接近する接
近物（以降、接近他車両とする。）が存在し危険度が高
いと判断して、その旨を示す警報を発生するとともに、
ディスプレイに接近他車両を示す表示を行っていた。
されたオプティカルフローが長く、かつその方向がＦＯ
Ｅより発散するものであったとき、自車両に接近する接
近物（以降、接近他車両とする。）が存在し危険度が高
いと判断して、その旨を示す警報を発生するとともに、
ディスプレイに接近他車両を示す表示を行っていた。
【０００６】また、例えば２台のカメラを使用して、一
方のカメラで撮像された画像の隣接する画素の輝度差を
調べて物体の特徴点を検出し、検出した特徴点Ｐａ（図
示せず）に対応する他方のカメラで撮像された画像の対
応点Ｐｂ（図示せず）を検出して、Ｐａ及びＰｂの画素
座標により接近他車両の位置Ｐを所定時間毎に算出し、
所定時間前後して得た２画像中から算出された各位置に
基づいて自車両に接近してくる他車両の存在を知らせる
警報を発生するとともに、この場合もディスプレイに接
近他車両を示す表示を行うことも考えられる。
方のカメラで撮像された画像の隣接する画素の輝度差を
調べて物体の特徴点を検出し、検出した特徴点Ｐａ（図
示せず）に対応する他方のカメラで撮像された画像の対
応点Ｐｂ（図示せず）を検出して、Ｐａ及びＰｂの画素
座標により接近他車両の位置Ｐを所定時間毎に算出し、
所定時間前後して得た２画像中から算出された各位置に
基づいて自車両に接近してくる他車両の存在を知らせる
警報を発生するとともに、この場合もディスプレイに接
近他車両を示す表示を行うことも考えられる。
【０００７】上記接近他車両を示す表示としては、図１
３に示すように、接近他車両上に現れる特徴点Ｒを、撮
像画像上に重畳して表示していた。
３に示すように、接近他車両上に現れる特徴点Ｒを、撮
像画像上に重畳して表示していた。
【０００８】
【発明が解決しようとする課題】しかしながら、背景の
輝度が時々刻々と変化する撮像画像から上述したように
輝度差により特徴点を抽出すると、その所定時間毎に抽
出された特徴点は接近他車両に対しばらつく。また、上
述した特徴点は１つの接近他車両に対し複数生じること
もあって、ディスプレイ上では無数の点が変動している
ように見られる。しかも、特徴点は、１つの接近他車両
に対して複数生じるとはいえ、接近物に対しては非常に
小さく点であるためディスプレイを見ても一目で接近他
車両を視認することが困難であるという問題があった。
輝度が時々刻々と変化する撮像画像から上述したように
輝度差により特徴点を抽出すると、その所定時間毎に抽
出された特徴点は接近他車両に対しばらつく。また、上
述した特徴点は１つの接近他車両に対し複数生じること
もあって、ディスプレイ上では無数の点が変動している
ように見られる。しかも、特徴点は、１つの接近他車両
に対して複数生じるとはいえ、接近物に対しては非常に
小さく点であるためディスプレイを見ても一目で接近他
車両を視認することが困難であるという問題があった。
【０００９】また、特徴点が１つの接近他車両に対して
塊として生じることに着目して、その塊を囲む表示枠
Ｆ′を形成することも考えられるが（図１３参照）、時
間の経過による特徴点の発生状況の変化などにより、接
近他車両に対する塊の大きさが時間によって変化するた
めこの場合も一目で接近他車両を視認することは困難で
ある。
塊として生じることに着目して、その塊を囲む表示枠
Ｆ′を形成することも考えられるが（図１３参照）、時
間の経過による特徴点の発生状況の変化などにより、接
近他車両に対する塊の大きさが時間によって変化するた
めこの場合も一目で接近他車両を視認することは困難で
ある。
【００１０】そこで、本発明は、上記のような問題点に
着目し、接近物に対して安定した表示枠で囲むことによ
り、接近物の視認が容易に行える車両用周辺監視装置を
提供することを課題とする。
着目し、接近物に対して安定した表示枠で囲むことによ
り、接近物の視認が容易に行える車両用周辺監視装置を
提供することを課題とする。
【００１１】
【課題を解決するための手段】上記課題を解決するため
になされた請求項１記載の発明は、図１の基本構成図に
示すように、車両に搭載され、自車両周辺を撮像して撮
像画像を得る撮像手段１と、前記撮像画像を表示する表
示手段と、所定時間前後して得た２つの撮像画像に基づ
き、前記自車両に接近する接近物の前記撮像画像中の位
置を検出する接近物検出手段５ａ−１と、前記検出され
た接近物上の不動点を設定する不動点設定手段５ａ−２
と、前記不動点を基準として前記接近物を囲む表示枠画
像を形成する画像形成手段５ａ−３と、前記表示枠画像
を前記撮像画像に重畳する重畳手段５ａ−４とを備える
ことを特徴とする車両用周辺監視装置に存する。
になされた請求項１記載の発明は、図１の基本構成図に
示すように、車両に搭載され、自車両周辺を撮像して撮
像画像を得る撮像手段１と、前記撮像画像を表示する表
示手段と、所定時間前後して得た２つの撮像画像に基づ
き、前記自車両に接近する接近物の前記撮像画像中の位
置を検出する接近物検出手段５ａ−１と、前記検出され
た接近物上の不動点を設定する不動点設定手段５ａ−２
と、前記不動点を基準として前記接近物を囲む表示枠画
像を形成する画像形成手段５ａ−３と、前記表示枠画像
を前記撮像画像に重畳する重畳手段５ａ−４とを備える
ことを特徴とする車両用周辺監視装置に存する。
【００１２】請求項１記載の発明によれば、撮像手段１
が、車両に搭載され、自車両周辺を撮像して撮像画像を
得る。表示手段が、撮像画像を表示する。接近物検出手
段５ａ−１が、所定時間前後して得た２つの撮像画像に
基づき、自車両に接近する接近物の撮像画像中の位置を
検出する。不動点設定手段５ａ−２が、検出された接近
物上の不動点を設定する。画像形成手段５ａ−３が、不
動点を基準として接近物を囲む表示枠画像を形成する。
重畳手段５ａ−４が、表示枠画像を撮像画像に重畳す
る。従って、接近物上の不動点を基準として接近物を囲
む表示枠画像を形成することにより、安定した表示枠で
接近物を囲んだ画像を表示することができる。
が、車両に搭載され、自車両周辺を撮像して撮像画像を
得る。表示手段が、撮像画像を表示する。接近物検出手
段５ａ−１が、所定時間前後して得た２つの撮像画像に
基づき、自車両に接近する接近物の撮像画像中の位置を
検出する。不動点設定手段５ａ−２が、検出された接近
物上の不動点を設定する。画像形成手段５ａ−３が、不
動点を基準として接近物を囲む表示枠画像を形成する。
重畳手段５ａ−４が、表示枠画像を撮像画像に重畳す
る。従って、接近物上の不動点を基準として接近物を囲
む表示枠画像を形成することにより、安定した表示枠で
接近物を囲んだ画像を表示することができる。
【００１３】請求項２記載の発明は、請求項１記載の車
両用周辺監視装置において、前記接近物検出手段は、所
定時間毎に前記撮像画像中の特徴点又は、複数の特徴点
が一丸となった特徴点魂を抽出する特徴点抽出手段５ａ
−１１を有し、前記所定時間前後して得た２つの撮像画
像中の前記特徴点又は、前記特徴点塊を利用して前記接
近物の前記撮像画像中の位置を検出し、前記不動点設定
手段は、前記検出された接近物上に現れる複数の特徴点
の位置に基づき、前記不動点を設定することを特徴とす
る車両用周辺監視装置に存する。
両用周辺監視装置において、前記接近物検出手段は、所
定時間毎に前記撮像画像中の特徴点又は、複数の特徴点
が一丸となった特徴点魂を抽出する特徴点抽出手段５ａ
−１１を有し、前記所定時間前後して得た２つの撮像画
像中の前記特徴点又は、前記特徴点塊を利用して前記接
近物の前記撮像画像中の位置を検出し、前記不動点設定
手段は、前記検出された接近物上に現れる複数の特徴点
の位置に基づき、前記不動点を設定することを特徴とす
る車両用周辺監視装置に存する。
【００１４】請求項２記載の発明によれば、接近物検出
手段５ａ−１において、特徴点抽出手段５ａ−１１が、
所定時間毎に撮像画像中の特徴点又は、複数の特徴点が
一丸となった特徴点魂を抽出し、所定時間前後して得た
２つの撮像画像中の特徴点又は、特徴点魂を利用して接
近物の撮像画像中の位置を検出する。不動点設定手段５
ａ−２が、接近物上に現れる複数の特徴点の位置に基づ
き、不動点を設定する。従って、接近物上に現れる複数
の特徴点の位置に基づき、不動点を設定することによ
り、撮像画像中の接近物を検出するために抽出した特徴
点を流用して不動点を設定することができる。
手段５ａ−１において、特徴点抽出手段５ａ−１１が、
所定時間毎に撮像画像中の特徴点又は、複数の特徴点が
一丸となった特徴点魂を抽出し、所定時間前後して得た
２つの撮像画像中の特徴点又は、特徴点魂を利用して接
近物の撮像画像中の位置を検出する。不動点設定手段５
ａ−２が、接近物上に現れる複数の特徴点の位置に基づ
き、不動点を設定する。従って、接近物上に現れる複数
の特徴点の位置に基づき、不動点を設定することによ
り、撮像画像中の接近物を検出するために抽出した特徴
点を流用して不動点を設定することができる。
【００１５】請求項３記載の発明は、請求項１記載の車
両用周辺監視装置において、前記接近物検出手段は、単
一の前記撮像手段により所定時間前後して得た２つの撮
像画像中の同一特徴点又は、同一特徴点塊の移動量を検
出する移動量検出手段５ａ−１２を更に有し、該検出さ
れた移動量に基づき、前記接近物の前記撮像画像中の位
置を検出することを特徴とする車両用周辺監視装置に存
する。
両用周辺監視装置において、前記接近物検出手段は、単
一の前記撮像手段により所定時間前後して得た２つの撮
像画像中の同一特徴点又は、同一特徴点塊の移動量を検
出する移動量検出手段５ａ−１２を更に有し、該検出さ
れた移動量に基づき、前記接近物の前記撮像画像中の位
置を検出することを特徴とする車両用周辺監視装置に存
する。
【００１６】請求項３記載の発明によれば、接近物検出
手段５ａ−１において、移動量検出手段５ａ−１２が単
一の撮像手段１により所定時間前後して得た２つの撮像
画像中の同一特徴点又は、同一特徴点塊の移動量を検出
し、検出された移動量に基づき、前記接近物の前記撮像
画像中の位置を検出するので、接近物を検出するため撮
像手段１を単一にすることができ、複数の撮像手段１を
必要としない。
手段５ａ−１において、移動量検出手段５ａ−１２が単
一の撮像手段１により所定時間前後して得た２つの撮像
画像中の同一特徴点又は、同一特徴点塊の移動量を検出
し、検出された移動量に基づき、前記接近物の前記撮像
画像中の位置を検出するので、接近物を検出するため撮
像手段１を単一にすることができ、複数の撮像手段１を
必要としない。
【００１７】請求項４記載の発明は、請求項２又は３記
載の車両用周辺監視装置において、前記不動点設定手段
は、前記検出された接近物上に現れる複数の特徴点の中
心点又は、重心点を前記不動点として設定することを特
徴とする車両用周辺監視装置に存する。
載の車両用周辺監視装置において、前記不動点設定手段
は、前記検出された接近物上に現れる複数の特徴点の中
心点又は、重心点を前記不動点として設定することを特
徴とする車両用周辺監視装置に存する。
【００１８】請求項４記載の発明によれば、不動点設定
手段５ａ−２が、接近物上に現れる複数の特徴点の中心
点又は、重心点を不動点として設定する。従って、複数
の特徴点の中心点又は、重心点を不動点として設定する
ことにより、複数の特徴点の平均的な位置を不動点とす
ることができるため、所定時間毎に抽出される特徴点が
接近物に対してばらつきがあったとしても、相殺されて
接近物に対してほぼ動かない不動点を得ることができ
る。
手段５ａ−２が、接近物上に現れる複数の特徴点の中心
点又は、重心点を不動点として設定する。従って、複数
の特徴点の中心点又は、重心点を不動点として設定する
ことにより、複数の特徴点の平均的な位置を不動点とす
ることができるため、所定時間毎に抽出される特徴点が
接近物に対してばらつきがあったとしても、相殺されて
接近物に対してほぼ動かない不動点を得ることができ
る。
【００１９】請求項５記載の発明は、請求項２又は３記
載の車両用周辺監視装置において、前記撮像画像を処理
し、自車両が走行する自車線の両側に位置する一対の白
線を検出する白線検出手段５ａ−５と、前記白線の位置
に基づいて左右隣接車線領域を設定する領域設定手段５
ａ−８とを備え、前記不動点設定手段は、前記各左右隣
接車線領域内での接近物上の不動点の予想軌跡を設定す
る予想軌跡設定手段を有し、前記左右隣接車線領域内で
検出された接近物上に現れる複数の特徴点の左右方向の
各位置に基づき、前記接近物上の不動上下線を設定し、
前記不動上下線と前記予想軌跡との交点を不動点とする
ことを特徴とする車両用周辺監視装置に存する。
載の車両用周辺監視装置において、前記撮像画像を処理
し、自車両が走行する自車線の両側に位置する一対の白
線を検出する白線検出手段５ａ−５と、前記白線の位置
に基づいて左右隣接車線領域を設定する領域設定手段５
ａ−８とを備え、前記不動点設定手段は、前記各左右隣
接車線領域内での接近物上の不動点の予想軌跡を設定す
る予想軌跡設定手段を有し、前記左右隣接車線領域内で
検出された接近物上に現れる複数の特徴点の左右方向の
各位置に基づき、前記接近物上の不動上下線を設定し、
前記不動上下線と前記予想軌跡との交点を不動点とする
ことを特徴とする車両用周辺監視装置に存する。
【００２０】請求項５記載の発明によれば、不動点設定
手段５ａ−２において、予想軌跡設定手段が、各左右隣
接車線領域内での接近物上の不動点の予想軌跡を設定す
る。不動点設定手段５ａ−２が、左右隣接車線領域内で
検出された接近物上に現れる複数の特徴点の左右方向の
各位置に基づき、接近物上の不動上下線を設定し、不動
上下線と予想軌跡との交点を不動点とする。従って、接
近物が凹凸のある路面を走行するなどして撮像画像上に
おいて上下方向に揺れている場合があるが、左右隣接車
線領域内においては特徴点の左右方向位置のみに基づき
不動点が設定されているため、接近物の上下方向の振動
に同期して表示枠が振動することがない。
手段５ａ−２において、予想軌跡設定手段が、各左右隣
接車線領域内での接近物上の不動点の予想軌跡を設定す
る。不動点設定手段５ａ−２が、左右隣接車線領域内で
検出された接近物上に現れる複数の特徴点の左右方向の
各位置に基づき、接近物上の不動上下線を設定し、不動
上下線と予想軌跡との交点を不動点とする。従って、接
近物が凹凸のある路面を走行するなどして撮像画像上に
おいて上下方向に揺れている場合があるが、左右隣接車
線領域内においては特徴点の左右方向位置のみに基づき
不動点が設定されているため、接近物の上下方向の振動
に同期して表示枠が振動することがない。
【００２１】請求項６記載の発明は、請求項１〜５何れ
か１項記載の車両用周辺監視装置において、前記画像形
成手段は、前記撮像画像中の不動点の位置に応じた大き
さの表示枠画像を形成することを特徴とする車両用周辺
監視装置に存する。
か１項記載の車両用周辺監視装置において、前記画像形
成手段は、前記撮像画像中の不動点の位置に応じた大き
さの表示枠画像を形成することを特徴とする車両用周辺
監視装置に存する。
【００２２】請求項６記載の発明によれば、接近物の大
きさは撮像画像上の位置に応じて変化することに着目
し、画像形成手段５ａ−３が撮像画像中の不動点の位置
に応じた大きさの表示枠画像を形成する。従って、撮像
画像中の不動点の位置に応じた大きさに表示枠画像を形
成することにより、接近物の大きさに応じた表示枠画像
を形成することができる。
きさは撮像画像上の位置に応じて変化することに着目
し、画像形成手段５ａ−３が撮像画像中の不動点の位置
に応じた大きさの表示枠画像を形成する。従って、撮像
画像中の不動点の位置に応じた大きさに表示枠画像を形
成することにより、接近物の大きさに応じた表示枠画像
を形成することができる。
【００２３】請求項７記載の発明は、請求項６記載の車
両用周辺監視装置において、前記撮像画像を処理し、自
車線が走行する自車線の両側に位置する一対の白線を検
出する白線検出手段５ａ−５と、前記白線の位置に基づ
いて左右隣接車線領域を設定する領域設定手段５ａ−８
とをさらに備え、前記画像形成手段は、前記左右隣接車
線領域内で検出された接近物上の前記不動点の左右方向
の位置が、前記撮像画像中の左右端に近づくことにとも
なって表示枠画像を大きく形成することを特徴とする車
両用周辺監視装置存する。
両用周辺監視装置において、前記撮像画像を処理し、自
車線が走行する自車線の両側に位置する一対の白線を検
出する白線検出手段５ａ−５と、前記白線の位置に基づ
いて左右隣接車線領域を設定する領域設定手段５ａ−８
とをさらに備え、前記画像形成手段は、前記左右隣接車
線領域内で検出された接近物上の前記不動点の左右方向
の位置が、前記撮像画像中の左右端に近づくことにとも
なって表示枠画像を大きく形成することを特徴とする車
両用周辺監視装置存する。
【００２４】請求項７記載の発明によれば、隣接車線領
域内では、接近物が撮像画像中の左右両端に近づくほ
ど、画像上で大きく撮像されることに着目し、隣接車線
領域内で検出された接近物上の不動点の左右方向位置
が、撮像画像中の左右端に近づくことに伴って表示枠画
像を大きく形成する。従って、接近物の大きさに正確に
対応した表示枠画像により接近物を囲むことができる。
域内では、接近物が撮像画像中の左右両端に近づくほ
ど、画像上で大きく撮像されることに着目し、隣接車線
領域内で検出された接近物上の不動点の左右方向位置
が、撮像画像中の左右端に近づくことに伴って表示枠画
像を大きく形成する。従って、接近物の大きさに正確に
対応した表示枠画像により接近物を囲むことができる。
【００２５】請求項８記載の発明は、請求項６記載の車
両用周辺監視装置において、前記撮像画像を処理し、自
車線が走行する自車線の両側に位置する一対の白線を検
出する白線検出手段５ａ−５と、前記白線の位置に基づ
いて自車線領域を設定する領域設定手段５ａ−８とをさ
らに備え、前記画像形成手段は、前記自車線領域内で検
出された接近物上の前記不動点の上下方向の位置が、前
記撮像画像中の下端に近づくことに伴って表示枠画像を
大きく形成することを特徴とする車両用周辺監視装置に
存する。
両用周辺監視装置において、前記撮像画像を処理し、自
車線が走行する自車線の両側に位置する一対の白線を検
出する白線検出手段５ａ−５と、前記白線の位置に基づ
いて自車線領域を設定する領域設定手段５ａ−８とをさ
らに備え、前記画像形成手段は、前記自車線領域内で検
出された接近物上の前記不動点の上下方向の位置が、前
記撮像画像中の下端に近づくことに伴って表示枠画像を
大きく形成することを特徴とする車両用周辺監視装置に
存する。
【００２６】請求項８記載の発明によれば、自車線領域
内では、接近物が撮像画像中の下端に近づくほど、画像
上で大きく撮像されることに着目し、自車線領域内で検
出された接近物上の不動点の上下方向位置が、撮像画像
中の下端に近づくことに伴って表示枠画像を大きく形成
する。従って、接近物の大きさに正確に対応した表示枠
画像により接近物を囲むことができる。
内では、接近物が撮像画像中の下端に近づくほど、画像
上で大きく撮像されることに着目し、自車線領域内で検
出された接近物上の不動点の上下方向位置が、撮像画像
中の下端に近づくことに伴って表示枠画像を大きく形成
する。従って、接近物の大きさに正確に対応した表示枠
画像により接近物を囲むことができる。
【００２７】請求項９記載の発明は、請求項１〜８何れ
か１項記載の車両用周辺監視装置において、前記画像形
成手段は、前記接近物が検出されなくなったとき、以前
設定した不動点を基準とした仮表示枠画像を形成し、前
記重畳手段は、前記仮表示枠画像を一定時間重畳するこ
とを特徴とする車両用周辺監視装置に存する。
か１項記載の車両用周辺監視装置において、前記画像形
成手段は、前記接近物が検出されなくなったとき、以前
設定した不動点を基準とした仮表示枠画像を形成し、前
記重畳手段は、前記仮表示枠画像を一定時間重畳するこ
とを特徴とする車両用周辺監視装置に存する。
【００２８】請求項９記載の発明によれば、画像形成手
段５ａ−３が、接近物が検出されなくなったとき、以前
設定した不動点を基準として仮表示枠画像を形成し、重
畳手段５ａ−４が、仮表示枠画像を一定時間重畳する。
従って、接近物が検出されなくなってから一定時間仮表
示枠画像を重畳することにより、特徴点が抽出できず接
近物の検出がと切れてしまった場合であっても、接近物
の表示枠がとぎれることなく表示される。
段５ａ−３が、接近物が検出されなくなったとき、以前
設定した不動点を基準として仮表示枠画像を形成し、重
畳手段５ａ−４が、仮表示枠画像を一定時間重畳する。
従って、接近物が検出されなくなってから一定時間仮表
示枠画像を重畳することにより、特徴点が抽出できず接
近物の検出がと切れてしまった場合であっても、接近物
の表示枠がとぎれることなく表示される。
【００２９】
【発明の実施の形態】第１実施例 以下、本発明の実施の形態を図面に基づいて説明する。
図２は本発明による車両用周辺監視装置の構成を示すブ
ロック図である。同図において、撮像手段としてのカメ
ラ１は、自車両の周辺が撮像できる位置に取り付けら
れ、レンズ１ａにより規定される画角範囲の画像をイメ
ージプレーン１ｂ上に結像させる。
図２は本発明による車両用周辺監視装置の構成を示すブ
ロック図である。同図において、撮像手段としてのカメ
ラ１は、自車両の周辺が撮像できる位置に取り付けら
れ、レンズ１ａにより規定される画角範囲の画像をイメ
ージプレーン１ｂ上に結像させる。
【００３０】記憶部２は、第１、第２フレームメモリ２
ａ、２ｂ、微分画像メモリ２ｃ及び発散オプティカルフ
ローメモリ２ｄを有している。第１フレームメモリ２ａ
及び第２フレームメモリ２ｂは、カメラ１のイメージプ
レーン１ｂ上に結像された撮像画像データＤ１を例えば
５１２＊５１２画素、輝度０〜２５５階調といったｍ行
ｎ列の画素に変換したものを画素データＤ２、Ｄ３とし
て一時的に記憶すると共に、マイクロコンピュータ５
（以下、マイコン５）に出力する。
ａ、２ｂ、微分画像メモリ２ｃ及び発散オプティカルフ
ローメモリ２ｄを有している。第１フレームメモリ２ａ
及び第２フレームメモリ２ｂは、カメラ１のイメージプ
レーン１ｂ上に結像された撮像画像データＤ１を例えば
５１２＊５１２画素、輝度０〜２５５階調といったｍ行
ｎ列の画素に変換したものを画素データＤ２、Ｄ３とし
て一時的に記憶すると共に、マイクロコンピュータ５
（以下、マイコン５）に出力する。
【００３１】これらの第１又は第２フレームメモリ２
ａ、２ｂは、例えば第１フレームメモリ２ａには時間
ｔ、第２フレームメモリ２ｂには時間ｔ＋Δｔ、…とい
ったように、所定時間Δｔ毎に撮像された画像をｍ行ｎ
列の画素に変換した画素データＤ２、Ｄ３が順次記憶さ
れる。
ａ、２ｂは、例えば第１フレームメモリ２ａには時間
ｔ、第２フレームメモリ２ｂには時間ｔ＋Δｔ、…とい
ったように、所定時間Δｔ毎に撮像された画像をｍ行ｎ
列の画素に変換した画素データＤ２、Ｄ３が順次記憶さ
れる。
【００３２】微分画像メモリ２ｃは、画素データＤ２又
は、Ｄ３を微分することにより生成された微分画像デー
タＤ４を記憶する。また、発散オプティカルフローメモ
リ２ｄは発散方向のオプティカルフローデータＤ５を記
憶すると共にマイコン５に出力する。
は、Ｄ３を微分することにより生成された微分画像デー
タＤ４を記憶する。また、発散オプティカルフローメモ
リ２ｄは発散方向のオプティカルフローデータＤ５を記
憶すると共にマイコン５に出力する。
【００３３】ウインカ検出部３は、車両のウインカ機構
に取り付けられていて、運転者が車両を左右側に転回さ
せる際に操作するウインカ機構からの回転指示情報Ｓ１
をマイコン５に対して出力する。
に取り付けられていて、運転者が車両を左右側に転回さ
せる際に操作するウインカ機構からの回転指示情報Ｓ１
をマイコン５に対して出力する。
【００３４】警報発生部４は、スピーカ４ａと、表示手
段としてのディスプレイ４ｂとを有している。ディスプ
レイ４ｂは、撮像画像を表示したり、あるいは、他車両
が自車両に急接近してきて接触の危険があると判断した
場合に、撮像画像中の接近他車両を表示枠で囲った画像
を表示して運転者に対して危険を映像で知らせる。スピ
ーカ４ａは、他車両との接触の危険性ありと判断された
場合にそれぞれマイコン５から発せられる音声信号Ｓ２
に基づき、音声ガイダンスあるいは警報音といった音声
を発生する。そして、スピーカ４ａは、この音声により
運転者に対して危険を音声で知らせる。
段としてのディスプレイ４ｂとを有している。ディスプ
レイ４ｂは、撮像画像を表示したり、あるいは、他車両
が自車両に急接近してきて接触の危険があると判断した
場合に、撮像画像中の接近他車両を表示枠で囲った画像
を表示して運転者に対して危険を映像で知らせる。スピ
ーカ４ａは、他車両との接触の危険性ありと判断された
場合にそれぞれマイコン５から発せられる音声信号Ｓ２
に基づき、音声ガイダンスあるいは警報音といった音声
を発生する。そして、スピーカ４ａは、この音声により
運転者に対して危険を音声で知らせる。
【００３５】マイコン５は、制御プログラムに従って動
作するＣＰＵ５ａと、このＣＰＵ５ａの制御プログラム
及び予め与えられる設定値などを保持するＲＯＭ５ｂ
と、ＣＰＵ５ａの演算実行時に必要なデータを一時的に
保持するＲＡＭ５ｃとを有している。
作するＣＰＵ５ａと、このＣＰＵ５ａの制御プログラム
及び予め与えられる設定値などを保持するＲＯＭ５ｂ
と、ＣＰＵ５ａの演算実行時に必要なデータを一時的に
保持するＲＡＭ５ｃとを有している。
【００３６】上述した車両用周辺監視装置の動作をＣＰ
Ｕ５ａの処理手順を示す図３を参照して以下説明する。
まず、ＣＰＵ５ａ、カメラ１から図４に示す撮像画像を
撮像画像データＤ１をとして取り込み、時間ｔにおける
撮像画像データＤ１に応じた画素データＤ２として第１
フレームメモリ２ａに記憶させる（ステップＳ１）。こ
の撮像画像は、道路１０、道路１０上に描かれた白線１
１〜１４及び道路１０の両脇に立設された壁１６が、画
面上における水平方向中心位置にて消失する画像となっ
ている。
Ｕ５ａの処理手順を示す図３を参照して以下説明する。
まず、ＣＰＵ５ａ、カメラ１から図４に示す撮像画像を
撮像画像データＤ１をとして取り込み、時間ｔにおける
撮像画像データＤ１に応じた画素データＤ２として第１
フレームメモリ２ａに記憶させる（ステップＳ１）。こ
の撮像画像は、道路１０、道路１０上に描かれた白線１
１〜１４及び道路１０の両脇に立設された壁１６が、画
面上における水平方向中心位置にて消失する画像となっ
ている。
【００３７】図４の撮像画像は、上述したように、カメ
ラ１が車両の後部に後方に向けて取り付けられているの
で、撮像画像における右側が進行方向を基準とした場合
の左側に相当し、撮像画像における左側が進行方向を基
準とした場合の右側に相当する。
ラ１が車両の後部に後方に向けて取り付けられているの
で、撮像画像における右側が進行方向を基準とした場合
の左側に相当し、撮像画像における左側が進行方向を基
準とした場合の右側に相当する。
【００３８】次に、ＣＰＵ５ａは、時間ｔ＋Δｔに撮像
された撮像画像の画素データＤ３を第２フレームメモリ
２ｂに出力する（ステップＳ２）。つまり、第１、第２
フレームメモリ２ａ、２ｂには所定時間Δｔ毎に撮像さ
れた画像の画素データＤ２、Ｄ３が順次記憶される。
された撮像画像の画素データＤ３を第２フレームメモリ
２ｂに出力する（ステップＳ２）。つまり、第１、第２
フレームメモリ２ａ、２ｂには所定時間Δｔ毎に撮像さ
れた画像の画素データＤ２、Ｄ３が順次記憶される。
【００３９】次に、ＣＰＵ５ａは特徴点抽出処理を行う
（ステップＳ３）。以下、特徴点抽出処理について説明
する。ＣＰＵ５ａは、まず図４に示す撮像画像の画素デ
ータＤ２に関し、そのｍ行ｎ列の画素の輝度値Ｉm、nを
図４における左右方向に走査し、隣接する画素の輝度値
Ｉm、n+1との差Ｉm、n+1−Ｉm、nが所定輝度値以上のと
き、輝度値Ｉm、n＝１とし、所定輝度値以下のとき、輝
度値Ｉm、n＝０とする。また上下方向も同様に走査し
て、図５に示すような撮像画像上の接近車両の輪郭など
を表す特徴点のみの画像である微分画像生成し、生成し
た微分画像を微分画像データＤ４として微分画像メモリ
２ｃに対して出力する。すなわち、輝度値が１と設定さ
れた画素が特徴点として抽出される。このステップＳ３
の特徴点抽出処理により、ＣＰＵ５ａは接近物検出手段
における特徴点抽出手段として働く。
（ステップＳ３）。以下、特徴点抽出処理について説明
する。ＣＰＵ５ａは、まず図４に示す撮像画像の画素デ
ータＤ２に関し、そのｍ行ｎ列の画素の輝度値Ｉm、nを
図４における左右方向に走査し、隣接する画素の輝度値
Ｉm、n+1との差Ｉm、n+1−Ｉm、nが所定輝度値以上のと
き、輝度値Ｉm、n＝１とし、所定輝度値以下のとき、輝
度値Ｉm、n＝０とする。また上下方向も同様に走査し
て、図５に示すような撮像画像上の接近車両の輪郭など
を表す特徴点のみの画像である微分画像生成し、生成し
た微分画像を微分画像データＤ４として微分画像メモリ
２ｃに対して出力する。すなわち、輝度値が１と設定さ
れた画素が特徴点として抽出される。このステップＳ３
の特徴点抽出処理により、ＣＰＵ５ａは接近物検出手段
における特徴点抽出手段として働く。
【００４０】次に、ＣＰＵ５ａは、白線検出処理を行う
（ステップＳ４）。以下、白線検出処理について説明す
る。まず、上記特徴点抽出処理により生成した微分画像
に対し図６に示すような基準線ＶSLを設定する。この基
準線ＶSLは、微分画像上の左右方向における中心位置で
あって上下方向に、微分画像を縦断するように設定され
る。つまり、基準線ＶSLは、自車両が走行している白線
１２及び１３によって区切られた車線の左右方向の中心
に設定される。
（ステップＳ４）。以下、白線検出処理について説明す
る。まず、上記特徴点抽出処理により生成した微分画像
に対し図６に示すような基準線ＶSLを設定する。この基
準線ＶSLは、微分画像上の左右方向における中心位置で
あって上下方向に、微分画像を縦断するように設定され
る。つまり、基準線ＶSLは、自車両が走行している白線
１２及び１３によって区切られた車線の左右方向の中心
に設定される。
【００４１】基準線ＶSLが設定されると、自車両が走行
すべき路面上の自車線の両側に位置する一対の白線１２
及び１３を構成する特徴点の探索を行う。この白線１２
及び１３を構成する特徴点の探索は、図６に示す画面の
下端に位置する水平ラインＨ (LO)から上側に向けて行わ
れる。すなわち、基準線ＶSL上であって最下端の点Ｐ
(SO)から、左右方向両端部に向けて特徴点の探索を行
う。そして、この探索により、基準線ＶSLの左側に存在
する白線１２のエッジを構成する特徴点Ｐ(LO)及び基準
線ＶSLの右側に存在する白線１３のエッジを構成する特
徴点Ｐ(RO)が取得される。
すべき路面上の自車線の両側に位置する一対の白線１２
及び１３を構成する特徴点の探索を行う。この白線１２
及び１３を構成する特徴点の探索は、図６に示す画面の
下端に位置する水平ラインＨ (LO)から上側に向けて行わ
れる。すなわち、基準線ＶSL上であって最下端の点Ｐ
(SO)から、左右方向両端部に向けて特徴点の探索を行
う。そして、この探索により、基準線ＶSLの左側に存在
する白線１２のエッジを構成する特徴点Ｐ(LO)及び基準
線ＶSLの右側に存在する白線１３のエッジを構成する特
徴点Ｐ(RO)が取得される。
【００４２】続いて、最下端より２番目に位置する特徴
点Ｐ(S1)から、左右方向両端部に向けて特徴点の探索が
行われ、これにより基準線ＶSLの左側に存在する白線１
２のエッジを構成する特徴点Ｐ(L1)及び基準線ＶSLの右
側に存在する白線１３のエッジを構成する特徴点Ｐ(R1)
が取得される。
点Ｐ(S1)から、左右方向両端部に向けて特徴点の探索が
行われ、これにより基準線ＶSLの左側に存在する白線１
２のエッジを構成する特徴点Ｐ(L1)及び基準線ＶSLの右
側に存在する白線１３のエッジを構成する特徴点Ｐ(R1)
が取得される。
【００４３】このような処理を微分画像における上方に
向けて順次特徴点を抽出する。このとき、後続を走行す
る他車両１７ａを構成する特徴点Ｐ(L(m+2))、Ｐ
(R(m+2))、Ｐ(L(m+4))及びＰ(R(m+4))も抽出してしまう
ので、この抽出した特徴点からさらに同一の直線上にあ
るもののみを抽出する。この結果、自車両が走行すべき
路面上の自車線の両側に位置する一対の白線１２及び１
３を構成する特徴点のみを抽出することができる。そし
て、この抽出した特徴点を最小二乗法による近似線を生
成し、この近似線を白線１２及び１３として検出する。
すなわち、このステップＳ４の白線検出処理により、Ｃ
ＰＵ５ａは白線検出手段として働く。
向けて順次特徴点を抽出する。このとき、後続を走行す
る他車両１７ａを構成する特徴点Ｐ(L(m+2))、Ｐ
(R(m+2))、Ｐ(L(m+4))及びＰ(R(m+4))も抽出してしまう
ので、この抽出した特徴点からさらに同一の直線上にあ
るもののみを抽出する。この結果、自車両が走行すべき
路面上の自車線の両側に位置する一対の白線１２及び１
３を構成する特徴点のみを抽出することができる。そし
て、この抽出した特徴点を最小二乗法による近似線を生
成し、この近似線を白線１２及び１３として検出する。
すなわち、このステップＳ４の白線検出処理により、Ｃ
ＰＵ５ａは白線検出手段として働く。
【００４４】そして、ＣＰＵ５ａは、白線１２及び１３
として検出された近似線を延長させて、その交点をＦＯ
Ｅとして設定するＦＯＥ設定処理を行う（ステップＳ
５）。このＦＯＥ設定処理により、ＣＰＵ５ａはＦＯＥ
設定手段として働く。上記特徴点抽出処理、白線検出処
理及び、ＦＯＥ設定処理は、時間Δｔ後の撮像画像の画
素データＤ３に関しても同様に行われる。
として検出された近似線を延長させて、その交点をＦＯ
Ｅとして設定するＦＯＥ設定処理を行う（ステップＳ
５）。このＦＯＥ設定処理により、ＣＰＵ５ａはＦＯＥ
設定手段として働く。上記特徴点抽出処理、白線検出処
理及び、ＦＯＥ設定処理は、時間Δｔ後の撮像画像の画
素データＤ３に関しても同様に行われる。
【００４５】次に、ＣＰＵ５ａは領域設定処理を行う
（ステップＳ６）。以下、領域設定処理について説明す
る。まず上記ステップＳ４で検出した白線１２及び、１
３と、上記ステップＳ５で設定されたＦＯＥとに基づき
なされる。そして、図７に示すように、上記ＦＯＥから
左右方向右側に延びる境界線である右側上端線ＨURと、
左右方向左側に延びる境界線である左側上端線ＨULとが
設定され、これらの右側上端線ＨUR及び、左側上端線Ｈ
ULと、白線１２及び、１３とにより、右側隣接車線領域
ＳＶ(R)、自車線領域ＳＶ(S)及び、左側隣接車線領域Ｓ
Ｖ(L)を設定する。このステップＳ６の領域設定処理に
より、ＣＰＵ５ａは領域設定手段として働く。
（ステップＳ６）。以下、領域設定処理について説明す
る。まず上記ステップＳ４で検出した白線１２及び、１
３と、上記ステップＳ５で設定されたＦＯＥとに基づき
なされる。そして、図７に示すように、上記ＦＯＥから
左右方向右側に延びる境界線である右側上端線ＨURと、
左右方向左側に延びる境界線である左側上端線ＨULとが
設定され、これらの右側上端線ＨUR及び、左側上端線Ｈ
ULと、白線１２及び、１３とにより、右側隣接車線領域
ＳＶ(R)、自車線領域ＳＶ(S)及び、左側隣接車線領域Ｓ
Ｖ(L)を設定する。このステップＳ６の領域設定処理に
より、ＣＰＵ５ａは領域設定手段として働く。
【００４６】次に、ＣＰＵ５ａは、ウインカ検出部３か
ら出力される回転指示情報Ｓ１を取り込み、回転指示情
報Ｓ１に応じた領域についてのオプティカルフローを検
出するオプティカルフロー検出処理を行う（ステップＳ
８）。すなわち、右側隣接車線に車線変更する意志を示
す回転指示情報Ｓ１であったときは、右側隣接車線領域
ＳＶ(R)について、左側隣接鎖線に車線変更する意志を
示す回転指示情報Ｓ１であったときは、左側隣接車線領
域ＳＶ(L)について、車線変更の意志がない回転指示情
報Ｓ１であったときは、自車線領域ＳＶ(S)についてそ
れぞれオプティカルフローを検出する。
ら出力される回転指示情報Ｓ１を取り込み、回転指示情
報Ｓ１に応じた領域についてのオプティカルフローを検
出するオプティカルフロー検出処理を行う（ステップＳ
８）。すなわち、右側隣接車線に車線変更する意志を示
す回転指示情報Ｓ１であったときは、右側隣接車線領域
ＳＶ(R)について、左側隣接鎖線に車線変更する意志を
示す回転指示情報Ｓ１であったときは、左側隣接車線領
域ＳＶ(L)について、車線変更の意志がない回転指示情
報Ｓ１であったときは、自車線領域ＳＶ(S)についてそ
れぞれオプティカルフローを検出する。
【００４７】以下、オプティカルフローの検出手順につ
いて図８を参照して説明する。まず始めに第１フレーム
メモリ２ａから画素データＤ２を取り込み、時間ｔでの
撮像画像において、着目する特徴点に対し、この着目す
る特徴点を中心として上述したように設定したＦＯＥか
ら放射線の方向（すなわちＦＯＥと着目する特徴点を結
ぶ方向）に細長い窓を設定する（図８（ａ））。次に、
第２フレームメモリ２ｂから画素データＤ３を取り込
み、時間ｔ＋Δｔでの撮像画像において、窓をＦＯＥか
ら放射状の方向に一点づつ移動しながら、時間ｔで窓を
構成する各画素について、該各画素に対応した時間ｔ＋
Δｔでの窓を構成する各画素と輝度差の絶対値を求め
る。
いて図８を参照して説明する。まず始めに第１フレーム
メモリ２ａから画素データＤ２を取り込み、時間ｔでの
撮像画像において、着目する特徴点に対し、この着目す
る特徴点を中心として上述したように設定したＦＯＥか
ら放射線の方向（すなわちＦＯＥと着目する特徴点を結
ぶ方向）に細長い窓を設定する（図８（ａ））。次に、
第２フレームメモリ２ｂから画素データＤ３を取り込
み、時間ｔ＋Δｔでの撮像画像において、窓をＦＯＥか
ら放射状の方向に一点づつ移動しながら、時間ｔで窓を
構成する各画素について、該各画素に対応した時間ｔ＋
Δｔでの窓を構成する各画素と輝度差の絶対値を求め
る。
【００４８】つまり、時間ｔでの特徴点Ｐ（図８
（ａ））に対応した時間ｔ＋Δｔでの特徴点Ｑ（図８
（ｂ））との輝度差の絶対値を求める。この求めた輝度
差の総和が最小になったときの窓の移動量が、着目する
一点のオプティカルフローとして求められる。以上のよ
うな処理を回転指示情報Ｓ１に応じた領域内の全ての点
において繰り返し行うことにより、領域内のオプティカ
ルフローを求めることができる。このオプティカルフロ
ー検出処理により、ＣＰＵ５ａは移動量検出手段として
働く。なお、図８では、着目する１つの特徴点の移動量
をオプティカルフローとしていたが、例えば、複数の特
徴点の塊の移動量を検出して、オプティカルフローとし
てもよい。
（ａ））に対応した時間ｔ＋Δｔでの特徴点Ｑ（図８
（ｂ））との輝度差の絶対値を求める。この求めた輝度
差の総和が最小になったときの窓の移動量が、着目する
一点のオプティカルフローとして求められる。以上のよ
うな処理を回転指示情報Ｓ１に応じた領域内の全ての点
において繰り返し行うことにより、領域内のオプティカ
ルフローを求めることができる。このオプティカルフロ
ー検出処理により、ＣＰＵ５ａは移動量検出手段として
働く。なお、図８では、着目する１つの特徴点の移動量
をオプティカルフローとしていたが、例えば、複数の特
徴点の塊の移動量を検出して、オプティカルフローとし
てもよい。
【００４９】次に、ＣＰＵ５ａは、ステップＳ７で求め
たオプティカルフローに基づき他車両などの接近物があ
るか否かを判断する（ステップＳ８）。すなわち、求め
たオプティカルフローの方向がＦＯＥに向かう方向なら
ば近隣車線を走行する他車両又は後続を走行する他車両
が自車両の速度より遅く、自車両から離れていくことを
示しており、反対にオプティカルフローの方向がＦＯＥ
に対して発散する方向である場合は自車両に接近してい
ることを示している。
たオプティカルフローに基づき他車両などの接近物があ
るか否かを判断する（ステップＳ８）。すなわち、求め
たオプティカルフローの方向がＦＯＥに向かう方向なら
ば近隣車線を走行する他車両又は後続を走行する他車両
が自車両の速度より遅く、自車両から離れていくことを
示しており、反対にオプティカルフローの方向がＦＯＥ
に対して発散する方向である場合は自車両に接近してい
ることを示している。
【００５０】また、撮像画像内の風景や路面上のマーク
等によって生ずるオプティカルフローの方向は全てＦＯ
Ｅに向かう方向となり、接近する近隣又は後続他車両と
容易に区別できる。この近隣又は後続他車両から発せら
れたオプティカルフローの長さは、自車両と近隣又は後
続他車両との相対速度に比例する。したがって、ＦＯＥ
から発散する方向のオプティカルフローの長さが、所定
長さを超えたとき他車両が自車両に急接近しているとし
て（ステップＳ８でＹＥＳ）、その旨を知らせるため例
えばスピーカ５ａから音声で「接近してくる車がありま
す」と警報させる（ステップＳ９）。
等によって生ずるオプティカルフローの方向は全てＦＯ
Ｅに向かう方向となり、接近する近隣又は後続他車両と
容易に区別できる。この近隣又は後続他車両から発せら
れたオプティカルフローの長さは、自車両と近隣又は後
続他車両との相対速度に比例する。したがって、ＦＯＥ
から発散する方向のオプティカルフローの長さが、所定
長さを超えたとき他車両が自車両に急接近しているとし
て（ステップＳ８でＹＥＳ）、その旨を知らせるため例
えばスピーカ５ａから音声で「接近してくる車がありま
す」と警報させる（ステップＳ９）。
【００５１】次に、ステップＳ７で検出したオプティカ
ルフローに基づいて撮像画像中の接近物の位置を検出す
る接近物検出処理を行う（ステップＳ１０）。以下、接
近物検出処理について図９を参照して以下説明する。な
お、説明を簡単にするために、回転指示情報Ｓ１が右側
隣接車線に車線変更する意志を示すとき、すなわち右側
隣接車線領域についてのみオプティカルフローの検出を
行ったときについて説明する。
ルフローに基づいて撮像画像中の接近物の位置を検出す
る接近物検出処理を行う（ステップＳ１０）。以下、接
近物検出処理について図９を参照して以下説明する。な
お、説明を簡単にするために、回転指示情報Ｓ１が右側
隣接車線に車線変更する意志を示すとき、すなわち右側
隣接車線領域についてのみオプティカルフローの検出を
行ったときについて説明する。
【００５２】まず、図９に示すように、所定長さを超え
たオプティカルフローを構成する特徴点を検出する。同
図に示すように、特徴点は１つの接近他車両に対してあ
る程度の塊として無数に検出されることに着目し、特徴
点の塊を検出する。すなわち、特徴点の塊が１つしかな
ければ、接近他車両は１つであり、特徴点の塊が２つあ
れば、接近他車両は２つあることがわかる。また、塊が
存在する範囲に接近他車両が撮像されていると判断する
ことができる。
たオプティカルフローを構成する特徴点を検出する。同
図に示すように、特徴点は１つの接近他車両に対してあ
る程度の塊として無数に検出されることに着目し、特徴
点の塊を検出する。すなわち、特徴点の塊が１つしかな
ければ、接近他車両は１つであり、特徴点の塊が２つあ
れば、接近他車両は２つあることがわかる。また、塊が
存在する範囲に接近他車両が撮像されていると判断する
ことができる。
【００５３】以下、特徴点の塊検出について説明する。
まず、ＣＰＵ５ａは、撮像画像について特徴点が存在す
る行及び、列を抽出する。そして、抽出された行の互い
の距離に基づいて、列塊を検出する。列においても同様
に列塊を検出する。図９においては、行については行塊
Ｃ１、Ｃ２が、列については列塊Ｃ３、Ｃ４がそれぞれ
検出される。次に、行塊Ｃ１、Ｃ２及び、列塊Ｃ３、Ｃ
４が交差する範囲Ｒ１、Ｒ２、Ｒ３及び、Ｒ４をもと
め、その範囲に実際に特徴点が存在する範囲Ｒ１、Ｒ３
に接近物が撮像されていると判断する。このステップＳ
１０の接近物検出処理により、ＣＰＵ５ａは接近物検出
手段として働く。
まず、ＣＰＵ５ａは、撮像画像について特徴点が存在す
る行及び、列を抽出する。そして、抽出された行の互い
の距離に基づいて、列塊を検出する。列においても同様
に列塊を検出する。図９においては、行については行塊
Ｃ１、Ｃ２が、列については列塊Ｃ３、Ｃ４がそれぞれ
検出される。次に、行塊Ｃ１、Ｃ２及び、列塊Ｃ３、Ｃ
４が交差する範囲Ｒ１、Ｒ２、Ｒ３及び、Ｒ４をもと
め、その範囲に実際に特徴点が存在する範囲Ｒ１、Ｒ３
に接近物が撮像されていると判断する。このステップＳ
１０の接近物検出処理により、ＣＰＵ５ａは接近物検出
手段として働く。
【００５４】次に、ＣＰＵ５ａは、接近物検出処理によ
り、設定された範囲Ｒ１、Ｒ３内にある特徴点の位置に
基づき、接近物上の不動点を設定する不動点設定処理を
行う（ステップＳ１１）。不動点設定処理の詳細として
は、例えば、設定された範囲内にある特徴点の中心点又
は、重心点を求め、求めた中心点又は、重心点を接近物
上の不動点として設定する。中心点又は、重心点は、各
特徴点の位置を平均化した位置である。従って、時間に
応じて抽出された特徴点に変動があったとしても、変動
は相殺され、接近物に対してほぼ動かない不動点を得る
ことができる。このステップＳ１１の不動点設定処理に
より、ＣＰＵ５ａは不動点設定手段として働く。
り、設定された範囲Ｒ１、Ｒ３内にある特徴点の位置に
基づき、接近物上の不動点を設定する不動点設定処理を
行う（ステップＳ１１）。不動点設定処理の詳細として
は、例えば、設定された範囲内にある特徴点の中心点又
は、重心点を求め、求めた中心点又は、重心点を接近物
上の不動点として設定する。中心点又は、重心点は、各
特徴点の位置を平均化した位置である。従って、時間に
応じて抽出された特徴点に変動があったとしても、変動
は相殺され、接近物に対してほぼ動かない不動点を得る
ことができる。このステップＳ１１の不動点設定処理に
より、ＣＰＵ５ａは不動点設定手段として働く。
【００５５】次に、ＣＰＵ５ａは、不動点設定処理によ
り求めた不動点を中心とした、撮像画像中の接近物を囲
む表示枠画像を形成する画像形成処理を行う（ステップ
Ｓ１２）。以下、左右隣接車線領域についての画像形成
処理について説明する。撮像画像中において、左右隣接
車線を走行する接近車両は、図４に示すように、自車両
に接近することに伴って撮像画像中の左右端に近づいて
行くことがわかる。そして、接近物は、自車両に接近す
ることに伴って大きく撮像される。
り求めた不動点を中心とした、撮像画像中の接近物を囲
む表示枠画像を形成する画像形成処理を行う（ステップ
Ｓ１２）。以下、左右隣接車線領域についての画像形成
処理について説明する。撮像画像中において、左右隣接
車線を走行する接近車両は、図４に示すように、自車両
に接近することに伴って撮像画像中の左右端に近づいて
行くことがわかる。そして、接近物は、自車両に接近す
ることに伴って大きく撮像される。
【００５６】以上の点に着目し、接近物上の不動点の左
右方向の位置が撮像画像中の左右端にに近づくことに従
って表示枠を大きくすると共に、不動点を中心とした表
示枠画像を形成すれば、撮像画像中の接近物の大きさに
同期して表示枠を大きくすることができ、左右隣接車線
領域において、接近物の視認性をより一層向上させるこ
とができる。
右方向の位置が撮像画像中の左右端にに近づくことに従
って表示枠を大きくすると共に、不動点を中心とした表
示枠画像を形成すれば、撮像画像中の接近物の大きさに
同期して表示枠を大きくすることができ、左右隣接車線
領域において、接近物の視認性をより一層向上させるこ
とができる。
【００５７】次に、自車線領域についての画像形成処理
について説明する。撮像画像中において、後続の自車線
を走行する接近車両は、自車線に接近することに伴って
撮像画像中の下端に近づいていく（図示せず）。そし
て、接近物は自車線に接近することに伴って大きく撮像
される。
について説明する。撮像画像中において、後続の自車線
を走行する接近車両は、自車線に接近することに伴って
撮像画像中の下端に近づいていく（図示せず）。そし
て、接近物は自車線に接近することに伴って大きく撮像
される。
【００５８】以上の点に着目し、接近物上の不動点の上
下方向成分が撮像画像中の下端に近づくことに従って表
示枠を大きくすると共に、不動点を中心とした表示枠画
像を形成すれば、撮像画像中の接近物の大きさに同期し
て表示枠を大きくすることができ、自車線領域において
も接近物の視認性をより一層向上させることができる。
下方向成分が撮像画像中の下端に近づくことに従って表
示枠を大きくすると共に、不動点を中心とした表示枠画
像を形成すれば、撮像画像中の接近物の大きさに同期し
て表示枠を大きくすることができ、自車線領域において
も接近物の視認性をより一層向上させることができる。
【００５９】そして、ＣＰＵ５ａは、画像形成処理によ
り形成した表示枠画像を撮像画像に重畳する重畳処理を
行う（ステップＳ１３）。この処理によりＣＰＵ５ａは
重畳手段として働き、図１０に示すように、ディスプレ
イ４ｂに撮像画像中の接近車両が不動点Ｄ１を中心とし
た表示枠Ｆ１１に囲まれた画像を表示することができ
る。そして、その後ステップＳ２に戻る。
り形成した表示枠画像を撮像画像に重畳する重畳処理を
行う（ステップＳ１３）。この処理によりＣＰＵ５ａは
重畳手段として働き、図１０に示すように、ディスプレ
イ４ｂに撮像画像中の接近車両が不動点Ｄ１を中心とし
た表示枠Ｆ１１に囲まれた画像を表示することができ
る。そして、その後ステップＳ２に戻る。
【００６０】一方、ステップＳ８で接近物有りが検出さ
れなかったとき（ステップＳ８でＮＯ）、前回接近物有
りを検出したときから一定時間が経過したか否かを判断
する（ステップＳ１４）。前回接近物有りを検出したと
きから一定時間が経過していなければ（ステップＳ１４
でＮＯ）、前回のステップＳ１２で形成した表示枠画像
を仮表示枠画像として形成した後、ステップＳ１３に進
む。
れなかったとき（ステップＳ８でＮＯ）、前回接近物有
りを検出したときから一定時間が経過したか否かを判断
する（ステップＳ１４）。前回接近物有りを検出したと
きから一定時間が経過していなければ（ステップＳ１４
でＮＯ）、前回のステップＳ１２で形成した表示枠画像
を仮表示枠画像として形成した後、ステップＳ１３に進
む。
【００６１】ステップＳ１５の処理により、接近他車両
が検出されなくなったときから、一定時間経過するまで
は仮表示枠画像が撮像画像に重畳されることとなる。従
って、特徴点の抽出ができず接近他車両の検出がとぎれ
てしまた場合であっても、接近他車両の表示枠がとぎれ
ることなく表示される。なお、ステップＳ１５において
は、前回の不動点設定処理により設定した不動点に基づ
き現在の接近物上の不動点を予想し、その不動点を基準
として表示枠を仮表示枠画像として形成してもよい。
が検出されなくなったときから、一定時間経過するまで
は仮表示枠画像が撮像画像に重畳されることとなる。従
って、特徴点の抽出ができず接近他車両の検出がとぎれ
てしまた場合であっても、接近他車両の表示枠がとぎれ
ることなく表示される。なお、ステップＳ１５において
は、前回の不動点設定処理により設定した不動点に基づ
き現在の接近物上の不動点を予想し、その不動点を基準
として表示枠を仮表示枠画像として形成してもよい。
【００６２】上述したように、接近物上の不動点を中心
とした表示枠画像を形成することにより、接近物上に現
れる複数の特徴点が所定時間毎に接近物に対してばらつ
いて抽出されたとしても、安定した表示枠で接近物を囲
んだ画像を表示することができるため、接近物の視認が
容易に行うことができる。
とした表示枠画像を形成することにより、接近物上に現
れる複数の特徴点が所定時間毎に接近物に対してばらつ
いて抽出されたとしても、安定した表示枠で接近物を囲
んだ画像を表示することができるため、接近物の視認が
容易に行うことができる。
【００６３】第２実施例 ところで、接近他車両が凹凸のある道路を走行している
とき、上下方向に振動することがある。このため、上記
第１実施例のように特徴点の中心点又は、重心点を不動
点として設定し、不動点を中心とした表示枠画像を形成
した場合、その表示枠画像も接近他車両の上下方向の振
動に同期して、上下方向に振動する。このように、表示
枠画像が上下振動すると表示枠が見づらく接近他車両の
視認が困難である。そこで、このような問題を解決する
ために、左右隣接車線領域ＳＶ(L )、ＳＶ(R)について
は、以下に説明するようにして不動点設定処理を行って
もよい。
とき、上下方向に振動することがある。このため、上記
第１実施例のように特徴点の中心点又は、重心点を不動
点として設定し、不動点を中心とした表示枠画像を形成
した場合、その表示枠画像も接近他車両の上下方向の振
動に同期して、上下方向に振動する。このように、表示
枠画像が上下振動すると表示枠が見づらく接近他車両の
視認が困難である。そこで、このような問題を解決する
ために、左右隣接車線領域ＳＶ(L )、ＳＶ(R)について
は、以下に説明するようにして不動点設定処理を行って
もよい。
【００６４】まず、図１１に示すように、複数の特徴点
の左右方向の位置から接近他車両上の不動上下線ＶUDを
設定する。不動上下線ＶUDとしては、例えば複数の特徴
点の左右方向位置の中心又は、重心を通る上下方向の線
を不動上下線ＶUDとして設定する。中心又は、重心は、
各特徴点の左右方向位置を平均化した位置である。従っ
て、抽出された特徴点に変動があったとしても、変動は
相殺され、接近物に対してほぼ動かない不動上下線ＶUD
点を得ることができる。
の左右方向の位置から接近他車両上の不動上下線ＶUDを
設定する。不動上下線ＶUDとしては、例えば複数の特徴
点の左右方向位置の中心又は、重心を通る上下方向の線
を不動上下線ＶUDとして設定する。中心又は、重心は、
各特徴点の左右方向位置を平均化した位置である。従っ
て、抽出された特徴点に変動があったとしても、変動は
相殺され、接近物に対してほぼ動かない不動上下線ＶUD
点を得ることができる。
【００６５】次に、予想軌跡設定処理として働き、例え
ば白線の位置または、ＦＯＥの位置に基づいて左右隣接
車線領域ＳＶ(L)、ＳＶ(R)で検出された接近物上の不動
点の予想軌跡ＬEを設定する。そして、この不動上下線
ＶUDと予想軌跡ＬEとの交点を不動点Ｄ２として設定
し、この不動点Ｄ２を中心として表示枠画像Ｆ２を形成
する。このようにすれば、特徴点の左右方向位置のみに
基づいて不動点を設定することができるため、接近他車
両の上下振動に応じて表示枠も上下振動することがな
く、撮像画像上安定した表示枠画像を得ることができ
る。
ば白線の位置または、ＦＯＥの位置に基づいて左右隣接
車線領域ＳＶ(L)、ＳＶ(R)で検出された接近物上の不動
点の予想軌跡ＬEを設定する。そして、この不動上下線
ＶUDと予想軌跡ＬEとの交点を不動点Ｄ２として設定
し、この不動点Ｄ２を中心として表示枠画像Ｆ２を形成
する。このようにすれば、特徴点の左右方向位置のみに
基づいて不動点を設定することができるため、接近他車
両の上下振動に応じて表示枠も上下振動することがな
く、撮像画像上安定した表示枠画像を得ることができ
る。
【００６６】また、上記第１実施例においては、抽出し
た接近他車両上の複数の特徴点の中心点又は、重心点を
不動点として設定していたが、例えば、所定時間Δｔが
微少な時間であれば、所定時間Δｔ毎に数回算出した中
心又は、重心点の平均位置を不動点として設定するよう
にしてもよい。
た接近他車両上の複数の特徴点の中心点又は、重心点を
不動点として設定していたが、例えば、所定時間Δｔが
微少な時間であれば、所定時間Δｔ毎に数回算出した中
心又は、重心点の平均位置を不動点として設定するよう
にしてもよい。
【００６７】さらに、上述した第１及び第２の実施例で
は所定時間前後した２画像中の同一特徴点の移動量をオ
プティカルフローとしてを検出することにより接近他車
両を検出していたが、例えば、２台のカメラを使用し
て、接近他車両の接近他車両を検出する場合にも適用す
ることができる。しかし、この場合２台のカメラが必要
なので、コスト的には高くなる。
は所定時間前後した２画像中の同一特徴点の移動量をオ
プティカルフローとしてを検出することにより接近他車
両を検出していたが、例えば、２台のカメラを使用し
て、接近他車両の接近他車両を検出する場合にも適用す
ることができる。しかし、この場合２台のカメラが必要
なので、コスト的には高くなる。
【００６８】
【発明の効果】以上説明したように、請求項１記載の発
明によれば、接近物上の不動点を基準として接近物を囲
む表示枠画像を形成することにより、安定した表示枠で
接近物を囲んだ画像を表示することができるので、接近
物の視認が容易に行える車両用周辺監視装置を得ること
ができる。
明によれば、接近物上の不動点を基準として接近物を囲
む表示枠画像を形成することにより、安定した表示枠で
接近物を囲んだ画像を表示することができるので、接近
物の視認が容易に行える車両用周辺監視装置を得ること
ができる。
【００６９】請求項２記載の発明によれば、接近物上に
現れる複数の特徴点の位置に基づき、不動点を設定する
ことにより、撮像画像中の接近物を検出するために抽出
した特徴点を流用して不動点を設定することができるの
で、別途に特徴点を抽出する必要がなく、計算量の軽減
となって高速化が図れる車両用周辺監視装置を得ること
ができる。
現れる複数の特徴点の位置に基づき、不動点を設定する
ことにより、撮像画像中の接近物を検出するために抽出
した特徴点を流用して不動点を設定することができるの
で、別途に特徴点を抽出する必要がなく、計算量の軽減
となって高速化が図れる車両用周辺監視装置を得ること
ができる。
【００７０】請求項３記載の発明によれば、接近物を検
出するため撮像手段を単一にすることができ、複数の撮
像手段を必要としないので、コストダウンを図ることが
できる車両用周辺監視装置を得ることができる。
出するため撮像手段を単一にすることができ、複数の撮
像手段を必要としないので、コストダウンを図ることが
できる車両用周辺監視装置を得ることができる。
【００７１】請求項４記載の発明によれば、複数の特徴
点の中心点又は、重心点を不動点として設定することに
より、複数の特徴点の平均的な位置を不動点とすること
ができるため、所定時間毎に抽出される特徴点が接近物
に対してばらつきがあったとしても、相殺されて接近物
に対してほぼ動かない不動点を得ることができるので、
より一層安定した表示枠で接近物を囲んだ画像を表示す
ることができる車両用周辺監視装置を得ることができ
る。
点の中心点又は、重心点を不動点として設定することに
より、複数の特徴点の平均的な位置を不動点とすること
ができるため、所定時間毎に抽出される特徴点が接近物
に対してばらつきがあったとしても、相殺されて接近物
に対してほぼ動かない不動点を得ることができるので、
より一層安定した表示枠で接近物を囲んだ画像を表示す
ることができる車両用周辺監視装置を得ることができ
る。
【００７２】請求項５記載の発明によれば、接近物が凹
凸のある路面を走行するなどして撮像画像上において上
下方向に揺れている場合があるが、左右隣接車線領域内
においては特徴点の左右方向位置のみに基づき不動点が
設定されているため、接近物の上下方向の振動に同期し
て表示枠が振動することがないので、より一層接近物の
視認が容易に行える車両用周辺監視装置を得ることがで
きる。
凸のある路面を走行するなどして撮像画像上において上
下方向に揺れている場合があるが、左右隣接車線領域内
においては特徴点の左右方向位置のみに基づき不動点が
設定されているため、接近物の上下方向の振動に同期し
て表示枠が振動することがないので、より一層接近物の
視認が容易に行える車両用周辺監視装置を得ることがで
きる。
【００７３】請求項６記載の発明によれば、撮像画像中
の不動点の位置に応じた大きさに表示枠画像を形成する
ことにより、接近物の大きさに応じた表示枠画像を形成
することができるので、より一層接近物の視認が容易に
行える車両用周辺監視装置を得ることができる。
の不動点の位置に応じた大きさに表示枠画像を形成する
ことにより、接近物の大きさに応じた表示枠画像を形成
することができるので、より一層接近物の視認が容易に
行える車両用周辺監視装置を得ることができる。
【００７４】請求項７及び、８記載の発明によれば、接
近物の大きさに正確に対応した表示枠画像により接近物
を囲むことができるので、より一層接近物の視認が容易
に行える車両用周辺監視装置を得ることができる。
近物の大きさに正確に対応した表示枠画像により接近物
を囲むことができるので、より一層接近物の視認が容易
に行える車両用周辺監視装置を得ることができる。
【００７５】請求項９記載の発明によれば、接近物が検
出されなくなってから一定時間仮表示枠画像を重畳する
ことにより、特徴点が抽出できず接近物の検出がと切れ
てしまった場合であっても、接近物の表示枠がとぎれる
ことなく表示されるので、より一層安定した表示枠で接
近物を囲んだ画像を表示することができる車両用周辺監
視装置を得ることができる。
出されなくなってから一定時間仮表示枠画像を重畳する
ことにより、特徴点が抽出できず接近物の検出がと切れ
てしまった場合であっても、接近物の表示枠がとぎれる
ことなく表示されるので、より一層安定した表示枠で接
近物を囲んだ画像を表示することができる車両用周辺監
視装置を得ることができる。
【図１】本発明の車両用周辺監視装置の基本構成図を示
すブロック図である。
すブロック図である。
【図２】本発明の車両用周辺監視装置の一実施の形態を
示すブロック図である。
示すブロック図である。
【図３】図２の車両用周辺監視装置を構成するＣＰＵの
処理手順を示すフローチャートである。
処理手順を示すフローチャートである。
【図４】カメラで撮像された撮像画像を説明する図であ
る。
る。
【図５】撮像画像の特徴点抽出処理により生成された微
分画像を説明する図である。
分画像を説明する図である。
【図６】白線検出するための動作を説明する図である。
【図７】領域設定処理を説明するための図である。
【図８】オプティカルフローを検出するための動作を説
明する図である。
明する図である。
【図９】接近物検出処理を説明するための図である。
【図１０】ディスプレイに表示させる画像を示す図であ
る。
る。
【図１１】第２実施例において、不動点の設定するため
の動作を説明するための図である。
の動作を説明するための図である。
【図１２】カメラによって得られる画像の変化を説明す
る図である。
る図である。
【図１３】従来の接近物（接近他車両）の表示方法を説
明するための図である。
明するための図である。
１ 撮像手段（カメラ） ４ｂ 表示手段（ディスプレイ） ５ａ−１ 接近物検出手段（ＣＰＵ） ５ａ−１１ 特徴点抽出手段（ＣＰＵ） ５ａ−１２ 移動量検出手段（ＣＰＵ） ５ａ−２ 不動点設定手段（ＣＰＵ） ５ａ−２１ 予想軌跡設定手段（ＣＰＵ） ５ａ−３ 画像形成手段（ＣＰＵ） ５ａ−４ 重畳手段（ＣＰＵ） ５ａ−５ 白線検出手段（ＣＰＵ） ５ａ−６ 領域設定手段（ＣＰＵ）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２６ Ｂ６０Ｒ 21/00 ６２８Ｚ ６２８ Ｇ０８Ｇ 1/16 Ｃ Ｇ０６Ｔ 1/00 Ｇ０６Ｆ 15/70 ４１０ Ｇ０８Ｇ 1/16 15/62 ３８０ Ｆターム(参考） 5B057 AA16 AA19 BA02 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 DA07 DB02 DB05 DB09 DC05 DC16 DC32 5H180 AA01 CC04 CC24 LL01 LL08 5L096 AA03 AA06 BA02 CA02 DA01 DA03 FA03 GA07 HA03 JA11 9A001 HH18 HH26 HH28 JJ77 KK54
Claims (9)
- 【請求項１】 車両に搭載され、自車両周辺を撮像して
撮像画像を得る撮像手段と、 前記撮像画像を表示する表示手段と、 所定時間前後して得た２つの撮像画像に基づき、前記自
車両に接近する接近物の前記撮像画像中の位置を検出す
る接近物検出手段と、 前記検出された接近物上の不動点を設定する不動点設定
手段と、 前記不動点を基準として前記接近物を囲む表示枠画像を
形成する画像形成手段と、 前記表示枠画像を前記撮像画像に重畳する重畳手段とを
備えることを特徴とする車両用周辺監視装置。 - 【請求項２】 請求項１記載の車両用周辺監視装置にお
いて、 前記接近物検出手段は、所定時間毎に前記撮像画像中の
特徴点又は、複数の特徴点が一丸となった特徴点魂を抽
出する特徴点抽出手段を有し、前記所定時間前後して得
た２つの撮像画像中の前記特徴点又は、前記特徴点塊を
利用して前記接近物の前記撮像画像中の位置を検出し、 前記不動点設定手段は、前記検出された接近物上に現れ
る複数の特徴点の位置に基づき、前記不動点を設定する
ことを特徴とする車両用周辺監視装置。 - 【請求項３】 請求項１記載の車両用周辺監視装置にお
いて、 前記接近物検出手段は、単一の前記撮像手段により所定
時間前後して得た２つの撮像画像中の同一特徴点又は、
同一特徴点塊の移動量を検出する移動量検出手段を更に
有し、該検出された移動量に基づき、前記接近物の前記
撮像画像中の位置を検出することを特徴とする車両用周
辺監視装置。 - 【請求項４】 請求項２又は３記載の車両用周辺監視装
置において、 前記不動点設定手段は、前記検出された接近物上に現れ
る複数の特徴点の中心点又は、重心点を前記不動点とし
て設定することを特徴とする車両用周辺監視装置。 - 【請求項５】 請求項２又は３記載の車両用周辺監視装
置において、 前記撮像画像を処理し、自車両が走行する自車線の両側
に位置する一対の白線を検出する白線検出手段と、 前記白線の位置に基づいて左右隣接車線領域を設定する
領域設定手段とを備え、 前記不動点設定手段は、前記各左右隣接車線領域内での
接近物上の不動点の予想軌跡を設定する予想軌跡設定手
段を有し、前記左右隣接車線領域内で検出された接近物
上に現れる複数の特徴点の左右方向の各位置に基づき、
前記接近物上の不動上下線を設定し、前記不動上下線と
前記予想軌跡との交点を不動点とすることを特徴とする
車両用周辺監視装置。 - 【請求項６】 請求項１〜５何れか１項記載の車両用周
辺監視装置において、 前記画像形成手段は、前記撮像画像中の不動点の位置に
応じた大きさの表示枠画像を形成することを特徴とする
車両用周辺監視装置。 - 【請求項７】 請求項６記載の車両用周辺監視装置にお
いて、 前記撮像画像を処理し、自車線が走行する自車線の両側
に位置する一対の白線を検出する白線検出手段と、 前記白線の位置に基づいて左右隣接車線領域を設定する
領域設定手段とをさらに備え、 前記画像形成手段は、前記左右隣接車線領域内で検出さ
れた接近物上の前記不動点の左右方向の位置が、前記撮
像画像中の左右端に近づくことにともなって表示枠画像
を大きく形成することを特徴とする車両用周辺監視装
置。 - 【請求項８】 請求項６記載の車両用周辺監視装置にお
いて、 前記撮像画像を処理し、自車線が走行する自車線の両側
に位置する一対の白線を検出する白線検出手段と、 前記白線の位置に基づいて自車線領域を設定する領域設
定手段とをさらに備え、 前記画像形成手段は、前記自車線領域内で検出された接
近物上の前記不動点の上下方向の位置が、前記撮像画像
中の下端に近づくことに伴って表示枠画像を大きく形成
することを特徴とする車両用周辺監視装置。 - 【請求項９】 請求項１〜８何れか１項記載の車両用周
辺監視装置において、 前記画像形成手段は、前記接近物が検出されなくなった
とき、以前設定した不動点を基準とした仮表示枠画像を
形成し、 前記重畳手段は、前記仮表示枠画像を一定時間重畳する
ことを特徴とする車両用周辺監視装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000022117A JP2001216520A (ja) | 2000-01-31 | 2000-01-31 | 車両用周辺監視装置 |
| US09/769,277 US20010010540A1 (en) | 2000-01-31 | 2001-01-26 | Environment monitoring apparatus for vehicle |
| DE10103924A DE10103924B4 (de) | 2000-01-31 | 2001-01-30 | Vorrichtung zur Umgebungsüberwachung eines Fahrzeugs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000022117A JP2001216520A (ja) | 2000-01-31 | 2000-01-31 | 車両用周辺監視装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001216520A true JP2001216520A (ja) | 2001-08-10 |
Family
ID=18548451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000022117A Withdrawn JP2001216520A (ja) | 2000-01-31 | 2000-01-31 | 車両用周辺監視装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20010010540A1 (ja) |
| JP (1) | JP2001216520A (ja) |
| DE (1) | DE10103924B4 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| JP2003150941A (ja) * | 2001-11-19 | 2003-05-23 | Daihatsu Motor Co Ltd | 移動物体の認識装置及び認識方法 |
| JP2003281700A (ja) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | 割り込み車両検出装置及びその方法 |
| CN102509457A (zh) * | 2011-10-09 | 2012-06-20 | 青岛海信网络科技股份有限公司 | 一种车辆跟踪的方法及装置 |
| CN102632840A (zh) * | 2011-02-09 | 2012-08-15 | 本田技研工业株式会社 | 车辆周围监测装置 |
| JP2012227639A (ja) * | 2011-04-18 | 2012-11-15 | Nissan Motor Co Ltd | 走行支援装置及び走行支援方法 |
| JP2013017024A (ja) * | 2011-07-04 | 2013-01-24 | Denso Corp | 車両接近物検知装置 |
| WO2016063309A1 (ja) * | 2014-10-20 | 2016-04-28 | 日産ライトトラック株式会社 | 障害物検出装置及び障害物検出方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10317044A1 (de) * | 2003-04-11 | 2004-10-21 | Daimlerchrysler Ag | Freiraumüberwachung bei Kraftfahrzeugen |
| JP2005301603A (ja) * | 2004-04-09 | 2005-10-27 | Denso Corp | 走行車線検出装置 |
| DE102004046261A1 (de) * | 2004-09-23 | 2006-03-30 | Shih-Hsiung Li | Bordeigene Überwachungsvorrichtung zum Gewähleisten von sicherem Aussteigen aus einem Transportmittel |
| DE102004046101B4 (de) * | 2004-09-23 | 2007-01-18 | Daimlerchrysler Ag | Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen |
| US8358342B2 (en) * | 2007-02-23 | 2013-01-22 | Johnson Controls Technology Company | Video processing systems and methods |
| JP4433046B2 (ja) | 2007-12-26 | 2010-03-17 | 株式会社デンソー | 露出制御装置及び露出制御プログラム |
| JP4433045B2 (ja) * | 2007-12-26 | 2010-03-17 | 株式会社デンソー | 露出制御装置及び露出制御プログラム |
| JP4389999B2 (ja) * | 2007-12-26 | 2009-12-24 | 株式会社デンソー | 露出制御装置及び露出制御プログラム |
| TW201008812A (en) * | 2008-08-22 | 2010-03-01 | shi-xiong Li | Auxiliary video warning device for vehicle |
| JP2010087598A (ja) * | 2008-09-29 | 2010-04-15 | Fujifilm Corp | 撮影装置及び撮影制御方法ならびにそのプログラム、画像表示装置及び画像表示方法ならびにそのプログラム、撮影システム及びその制御方法ならびにそのプログラム |
| DE102009038078A1 (de) * | 2009-08-19 | 2011-03-10 | Audi Ag | Verfahren zur Ermittlung eines Ein- oder Ausschervorgangs eines dem eigenen Kraftfahrzeug vorausfahrenden Fahrzeugs |
| JP6224029B2 (ja) * | 2015-05-21 | 2017-11-01 | 富士通テン株式会社 | 画像処理装置および画像処理方法 |
| CN109492609B (zh) * | 2018-11-27 | 2020-05-15 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| DE4332612C2 (de) * | 1992-09-25 | 1996-02-22 | Yazaki Corp | Außenansichts-Überwachungsverfahren für Kraftfahrzeuge |
| JP3585071B2 (ja) * | 1996-06-25 | 2004-11-04 | 矢崎総業株式会社 | 車両周辺監視装置 |
| JP3583873B2 (ja) * | 1996-09-12 | 2004-11-04 | 株式会社日立製作所 | 自動車の走行制御装置 |
-
2000
- 2000-01-31 JP JP2000022117A patent/JP2001216520A/ja not_active Withdrawn
-
2001
- 2001-01-26 US US09/769,277 patent/US20010010540A1/en not_active Abandoned
- 2001-01-30 DE DE10103924A patent/DE10103924B4/de not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| JP2003150941A (ja) * | 2001-11-19 | 2003-05-23 | Daihatsu Motor Co Ltd | 移動物体の認識装置及び認識方法 |
| JP2003281700A (ja) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | 割り込み車両検出装置及びその方法 |
| EP2665040A2 (en) | 2011-02-09 | 2013-11-20 | Honda Motor Co., Ltd. | Vehicle periphery monitoring apparatus |
| CN102632840A (zh) * | 2011-02-09 | 2012-08-15 | 本田技研工业株式会社 | 车辆周围监测装置 |
| EP2487648A1 (en) | 2011-02-09 | 2012-08-15 | Honda Motor Co., Ltd. | Vehicle periphery monitoring apparatus |
| JP2012162211A (ja) * | 2011-02-09 | 2012-08-30 | Honda Motor Co Ltd | 車両用周辺監視装置 |
| US8848056B2 (en) | 2011-02-09 | 2014-09-30 | Honda Motor Co., Ltd. | Vehicle periphery monitoring apparatus |
| CN102632840B (zh) * | 2011-02-09 | 2015-05-06 | 本田技研工业株式会社 | 车辆周围监测装置 |
| JP2012227639A (ja) * | 2011-04-18 | 2012-11-15 | Nissan Motor Co Ltd | 走行支援装置及び走行支援方法 |
| JP2013017024A (ja) * | 2011-07-04 | 2013-01-24 | Denso Corp | 車両接近物検知装置 |
| CN102509457A (zh) * | 2011-10-09 | 2012-06-20 | 青岛海信网络科技股份有限公司 | 一种车辆跟踪的方法及装置 |
| WO2016063309A1 (ja) * | 2014-10-20 | 2016-04-28 | 日産ライトトラック株式会社 | 障害物検出装置及び障害物検出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20010010540A1 (en) | 2001-08-02 |
| DE10103924B4 (de) | 2005-05-25 |
| DE10103924A1 (de) | 2001-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001216520A (ja) | 車両用周辺監視装置 | |
| JP3739693B2 (ja) | 画像認識装置 | |
| JP3764086B2 (ja) | 車両用情報提供装置 | |
| JP5503728B2 (ja) | 車両の周辺監視装置 | |
| JPH06107096A (ja) | 車両用前方監視方法 | |
| JP2003016429A (ja) | 車両周辺監視装置 | |
| US20180114078A1 (en) | Vehicle detection device, vehicle detection system, and vehicle detection method | |
| JP2009040108A (ja) | 画像表示制御装置及び画像表示制御システム | |
| JP2002314989A (ja) | 車両用周辺監視装置 | |
| JP2009231938A (ja) | 車両用周囲監視装置 | |
| JP2008282067A (ja) | 接近物検知装置及び接近物検知プログラム | |
| JP5825713B2 (ja) | 車両用危険場面再現装置 | |
| JP3560326B2 (ja) | 物体追跡方法及び物体追跡装置 | |
| JP2000293693A (ja) | 障害物検出方法および装置 | |
| JP2005332071A (ja) | 視覚障害者追跡システム及び視覚障害者検出方法 | |
| JP2008004989A (ja) | 車両周囲表示装置 | |
| JP3911983B2 (ja) | 後方監視装置 | |
| JP2003061075A (ja) | 物体追跡装置、物体追跡方法および侵入者監視システム | |
| JP4755501B2 (ja) | 車線検出装置および車線逸脱警報装置 | |
| JP2014106740A (ja) | 車載用駐車枠認識装置 | |
| JP3916930B2 (ja) | 進入警報装置 | |
| JP3635591B2 (ja) | 車両周辺監視装置 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP3828096B2 (ja) | 物体追跡装置 | |
| WO2018146997A1 (ja) | 立体物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070403 |