JP2002321579A

JP2002321579A - 警告情報生成方法及び車両側方映像生成装置

Info

Publication number: JP2002321579A
Application number: JP2001130231A
Authority: JP
Inventors: Kenichi Hatanaka; 健一畑中
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2001-04-26
Filing date: 2001-04-26
Publication date: 2002-11-05
Anticipated expiration: 2021-04-26
Also published as: JP3606223B2

Abstract

(57)【要約】【課題】車両前部に突設された撮像部により撮像され
た映像に基づき、接近してくる車両を検出し、近傍に接
近してくる車両が存在する場合に表示部に側方映像を表
示し、表示した側方映像中にて接近してくる車両を強調
して又は識別可能に表示し、更に、警告を行うことがで
きる車両側方映像生成装置の提供。【解決手段】撮像部２１により撮像された車両の左右
両側方映像に関する映像データに基づき、第１車両の停
止判定を行う停止判定部１２と、接近してくる車両を検
出する接近車両検出部１３と、接近してくる第２車両が
存在する側の側方映像に関するデータを選択する映像選
択部１４と、モニタ２２にて表示する映像を生成する映
像生成部１６と、外部装置２３及びモニタ２２の間での
接続状態を切り替える映像切替部１８とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両における左右
両側方の映像に基づいて接近車両を検出し、接近車両を
検出した場合に警告情報を生成して出力する警告情報生
成方法、及び、検出した接近車両を容易に視認すべく、
該接近車両を映す側方映像を拡大表示する映像を生成す
るための車両側方映像生成装置に関するものである。

【０００２】

【従来の技術】従来、信号が設置されていない交差点へ
車両を進入させる場合、ドライバは、車両の側方から接
近してくる他の車両を車窓外に視線を投じて確認する必
要があり、特に、ドライバからの視野範囲が狭小な場所
などでは交差点への進入が困難となり、確認作業の煩瑣
さ、及び危険性を伴うものであった。この問題に対処す
べく、車両の側方を撮像して車両内部に備えたモニタに
表示することにより、表示された映像を用いて接近車両
等を把握し、交差点へ進入する場合の確認の煩瑣さ及び
危険性を回避するための装置が開示されている（特開平
６−１７１４２６号、特開平１０−２２９５１２号参
照）。

【０００３】前記装置によれば、車両前部にプリズムを
突設させ、該プリズムを用いて車両の左右両側方映像を
光学的に一つに合成した映像を、ＣＣＤカメラ等の撮像
部を用いて撮像し、撮像した映像を車両内部に設置した
モニタにて表示すべくなしてある。

【０００４】ところで、前記モニタは、近年普及が激し
いカーナビゲーションシステムにて用いられるモニタを
併用することが考えられる。しかしながら前記装置で
は、ナビゲーション情報及び左右両側方映像の何れをモ
ニタにて表示するかは、ドライバのスイッチ操作により
決定される。従って、交差点へ進入する都度スイッチ操
作を行うのは煩瑣である。

【０００５】上記問題を解決することを目的とする装置
が開示されている（特開平１１−５５６５６号、特開平
１１−２４９５５６号参照）。該装置によれば、車速セ
ンサを用いることにより、停止時又は低速時に左右両側
方映像をモニタにて表示し、又は、カーナビゲーション
システムを用いて交差点の位置を認識し、交差点へ接近
した場合に左右両側方映像をモニタにて表示すべくなし
てある。

【０００６】

【発明が解決しようとする課題】しかしながら前記装置
では、交差点へ接近する他の車両が存在するか否かに拘
わらず、停止時、低速時、又は交差点への接近時に、モ
ニタの表示は左右両側方映像に切り替わってしまう。ま
た、車速センサとして用いられ、磁力に基づいて検出を
行う車輪速センサ等では、略停止状態での速度を正確に
検出することは困難である。

【０００７】接近車両の存否を判定すべく、撮像部にて
撮像した映像を画像処理し、モニタの隣り合う画素の輝
度に基づきエッジ検出を行うことにより、接近車両の存
否を判定し、接近車両が存在する場合に警告を行うもの
が開示されているが（特開平１１−３０６４９９号参
照）、エッジ検出により接近車両の存否を判定するた
め、接近車両以外の静止物であっても映像上にて輝度差
が大きい物体を車両として検出する場合がある。

【０００８】更に、例えば左折すべく交差点へ進入した
車両のドライバにとっては、進入車線における右側方か
ら接近してくる他の車両が存在するか否かが問題であ
り、必ずしも左側方の映像を必要とはしない。しかしな
がら前記装置の何れにおいても、接近車両の存否に基づ
き何れか一側方の映像のみをモニタにて全画面表示する
機能を有していない。

【０００９】本発明は、上述したような事情に鑑みてな
されたものであり、本発明に係る車両側方映像生成装置
が備えられた車両（第１車両）に設置された撮像部によ
って撮像された左右両側方映像に関する映像データに基
づき、前記左右両側方映像に表示される車両（第２車
両）を検出し、該第２車両を検出した場合に該第２車両
を表示する左右何れか一方の側方映像をモニタに拡大表
示すべく表示データを生成することにより、第２車両が
存在しない場合にモニタ表示せず、第２車両を検出した
場合にのみモニタにて映像を表示することができ、更
に、第２車両を表示する側の側方映像を拡大表示するこ
とができる警告情報生成方法及び車両側方映像生成装置
を提供することを目的とする。

【００１０】また例えば、第１車両が交差点へ進入する
際に側方を視認するために停止したとき、又は低速にな
ったときに第２車両の検出を行い、第２車両が接近して
くる場合にモニタにて側方映像を表示することにより、
停止時、低速時、又は交差点への接近時に、接近車両の
存否に拘わらずモニタにて左右両側方映像が表示される
ことがない警告情報生成方法及び車両側方映像生成装置
を提供することを目的とする。

【００１１】また、、所定時間を空けて取得した２つの
映像データに基づき、夫々の映像データのうちモニタの
各画素に対応する画素データの輝度に関する時間差分値
を生成し、該時間差分値を所定の閾値（差分閾値）によ
り２値化した２値データを生成し、該２値データにより
第１車両の速度の検出、及び移動体の検出を行うことに
より、略停止状態での速度をより正確に検出でき、ま
た、静止物を移動体として誤検出することがない警告情
報生成方法及び車両側方映像生成装置を提供することを
目的とする。

【００１２】更に、接近してくる第２車両が第１車両へ
到達する到達予測時間を算出し、算出した到達予測時間
が所定の閾値以下である場合に、警告情報を出力するこ
とにより、交差点への進入時等にドライバに対して接近
車両の存在を認識させることができ、危険性を回避させ
ることができる警告情報生成方法及び車両側方映像生成
装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】第１発明に係る警告情報
生成方法は、第１車両に設けた撮像部が撮像する左右両
側方映像に関する映像データに基づき、接近する第２車
両の存在を示す警告情報を生成して出力する警告情報生
成方法において、前記映像データに基づき、前記左右両
側方映像にて前記第１車両に接近する前記第２車両が存
在するか否かを判定し、前記第２車両が存在すると判定
した場合は該第２車両が前記第１車両に到達するまでの
到達予測時間を算出し、該到達予測時間が所定の閾値以
下であるか否かを判定し、前記到達予測時間が前記閾値
以下であると判定した場合は警告情報を出力することを
特徴とする。

【００１４】第１発明に係る警告情報生成方法による場
合は、左右両側方映像に関する映像データに基づき、接
近してくる第２車両が存在すると判定した場合に、到達
予測時間を算出し、該到達予測時間が所定の閾値以下で
ある場合に警告情報を出力することにより、例えば、交
差点へ第１車両が進入する場合に、第２車両が近傍に接
近していることをドライバに認識させることができ、交
差点への進入時の危険性を回避させることができる。

【００１５】第２発明に係る車両側方映像生成装置は、
第１車両における左右両側方の映像である左右両側方映
像に関する映像データに基づき、表示部にて表示すべく
前記第１車両における側方の映像である側方映像に関す
る表示データを生成するために用いる車両側方映像生成
装置において、前記映像データに基づき、前記左右両側
方映像に表示される第２車両を検出する手段と、前記映
像データに基づき、前記左右両側方映像のうち、検出し
た第２車両の映像を含む側方の映像を前記表示部にて拡
大表示するための表示データを生成する手段とを備える
ことを特徴とする。

【００１６】第２発明に係る車両側方映像生成装置によ
る場合は、接近する第２車両を検出し、第２車両が存在
する側方の映像を拡大表示するための表示データを生成
することにより、例えば、青信号時の交差点を直進して
通過する場合など、不必要時に側方映像が表示されるこ
とを防止することができる。

【００１７】第３発明に係る車両側方映像生成装置は、
第２発明に係る車両側方映像生成装置において、前記第
２車両を検出する手段は、所定時間を空けて取得した２
つの前記映像データに基づき、夫々の映像データのうち
前記表示部が有する複数の画素の夫々に対応する画素デ
ータに関して輝度の時間差分値を生成する手段と、生成
した時間差分値を所定の差分閾値に基づいて２値化した
２値データを生成する手段と、生成した２値データに基
づき移動体を検出する手段とを備えることを特徴とす
る。

【００１８】第３発明に係る車両側方映像生成装置によ
る場合は、所定時間を空けて撮像された２つの映像デー
タの夫々が有する画素データの輝度に関する差分値（時
間差分値）を生成して２値化した２値データに基づいて
移動体を検出することにより、前記所定時間中に移動し
た物体のみを検出することができ、静止物を車両と誤検
出することを防止することができる。

【００１９】第４発明に係る車両側方映像生成装置は、
第２又は第３発明に係る車両側方映像生成装置におい
て、前記第１車両の移動速度を検出する手段と、検出し
た前記移動速度が所定の速度閾値以下であるか否かを判
定する手段と、速度閾値以下であると判定した場合に前
記第２車両の検出を行う手段とを更に備えることを特徴
とする。

【００２０】第４発明に係る車両側方映像生成装置によ
る場合は、検出した第１車両の移動速度が所定の閾値
（速度閾値）以下であると判定した場合に、移動体の検
出を行うことにより、第１車両の移動速度に基づき、例
えば第１車両が交差点へ進入して停止した場合に他の移
動体の検出、及び側方映像のモニタでの表示を可能とす
ることができる。

【００２１】第５発明に係る車両側方映像生成装置は、
第４発明に係る車両側方映像生成装置において、前記第
１車両の移動速度を検出する手段は、所定時間を空けて
取得した２つの前記映像データに基づき、夫々の映像デ
ータのうち前記表示部が有する複数の画素の夫々に対応
する画素データに関して輝度の時間差分値を生成する手
段と、生成した時間差分値を所定の差分閾値に基づいて
２値化した２値データを生成する手段と、生成した２値
データに基づき移動速度を検出する手段とを備えること
を特徴とする。

【００２２】第５発明に係る車両側方映像生成装置によ
る場合は、第１車両の移動速度を検出する際に、時間差
分値を生成して２値化した２値データに基づき、移動速
度を検出することにより、第１車両が停止しているか否
かをより正確に判定することができる。

【００２３】第６発明に係る車両側方映像生成装置は、
第３乃至第５発明の何れかに係る車両側方映像生成装置
において、前記第１車両が具備する車外ライトの点灯状
況を示すライト信号を受信する手段と、受信したライト
信号に基づき前記差分閾値を補正する手段を更に備える
ことを特徴とする。

【００２４】第６発明に係る車両側方映像生成装置によ
る場合は、第１車両が有する車外ライトの点灯状況を示
すライト信号に基づいて、前記時間差分値を２値化する
場合の差分閾値を補正することにより、ライトを点灯し
ない昼間に撮像する映像と、ライトを点灯する夜間に撮
像する映像とのコントラストの差による移動体の検出誤
差を抑制することができる。

【００２５】第７発明に係る車両側方映像生成装置は、
第３乃至第６発明の何れかに係る車両側方映像生成装置
において、同時的に取得した左右夫々の側方映像におけ
る隣接する画素に対する画素データに関する輝度の空間
差分値を生成する手段と、生成した空間差分値に基づき
前記差分閾値を補正する手段を更に備えることを特徴と
する。

【００２６】第７発明に係る車両側方映像生成装置によ
る場合は、左右夫々の側方映像にて隣接画素の画素デー
タの輝度に関する差分値（空間差分値）を生成し、該空
間差分値に基づいて前記差分閾値を補正することによ
り、左右何れかの側方が逆光となるなどして左右夫々の
側方映像におけるコントラストが比較的大きく異なる場
合であっても、移動体の検出誤差を抑制することができ
る。

【００２７】第８発明に係る車両側方映像生成装置は、
第３乃至第７発明の何れかに係る車両側方映像生成装置
において、検出された前記移動体の最下部が、予め設定
された路面領域内に存在するか否かを判定する手段と、
存在すると判定した場合に前記移動体を前記第２車両で
あると判定する手段とを更に備えることを特徴とする。

【００２８】第８発明に係る車両側方映像生成装置によ
る場合は、検出した移動体の最下部が、路面領域内に存
在すると判定した場合に、前記移動体を第２車両と判断
することにより、空中を浮遊する木の葉、高架上を走行
する電車等を車両として誤検出することを防止すること
ができる。

【００２９】第９発明に係る車両側方映像生成装置は、
第８発明に係る車両側方映像生成装置において、前記第
１車両が具備するステアリングの回転角度に関する角度
信号を受信する手段と、受信した角度信号に基づき前記
路面領域を補正する手段とを更に備えることを特徴とす
る。

【００３０】第９発明に係る車両側方映像生成装置によ
る場合は、第１車両のステアリングの回転角度に基づき
前記路面領域を補正することにより、交差点へ進入する
場合等における第１車両の進入角度に応じて路面領域を
補正でき、移動体の最下部位置に基づく車両の検出にお
いて誤検出を抑制することができる。

【００３１】第１０発明に係る車両側方映像生成装置
は、第８又は第９発明に係る車両側方映像生成装置にお
いて、前記映像データにて前記左右両側方映像に含まれ
る車道及び歩道の境界を示す境界線に関する境界線デー
タを検出する手段と、検出した境界線データに基づき前
記路面領域を補正する手段とを更に備えることを特徴と
する。

【００３２】第１０発明に係る車両側方映像生成装置に
よる場合は、車道及び歩道の境界を示す境界線が左右両
側方映像内に撮像されている場合は、前記境界線に基づ
いて路面領域を補正することにより、前記境界線を有す
る路面に関して路面領域をより正確に補正することがで
き、移動体の最下部位置に基づく車両の検出において誤
検出を抑制することができる。

【００３３】第１１発明に係る車両側方映像生成装置
は、第８乃至第１０発明の何れかに係る車両側方映像生
成装置において、前記左右両側方映像における色相に関
する色相データを生成する手段と、生成した色相データ
に基づき前記路面領域を補正する手段とを更に備えるこ
とを特徴とする。

【００３４】第１１発明に係る車両側方映像生成装置に
よる場合は、左右両側方映像における色相データに基づ
いて路面領域を補正することにより、色相が比較的均一
な領域を路面領域として補正することができ、移動体の
最下部位置に基づく車両の検出において誤検出を抑制す
ることができる。

【００３５】第１２発明に係る車両側方映像生成装置
は、第３乃至第１１発明の何れかに係る車両側方映像生
成装置において、検出された前記移動体の移動方向を算
出する手段と、算出した移動方向が所定の範囲内にある
か否かを判定する手段と、所定の範囲内にあると判定し
た場合に前記移動体を前記第２車両であると判定する手
段とを更に備えることを特徴とする。

【００３６】第１２発明に係る車両側方映像生成装置に
よる場合は、検出した移動体の移動方向が所定範囲内に
ある場合に第２車両と判断することにより、車道を横断
する方向に移動する移動体を車両として誤検出すること
を防止することができる。

【００３７】第１３発明に係る車両側方映像生成装置
は、第１２発明に係る車両側方映像生成装置において、
前記移動方向に基づき、前記移動体が接近しているか否
かを判定する手段と、接近していると判定した場合に、
前記表示データを生成する手段とを更に備えることを特
徴とする。

【００３８】第１３発明に係る車両側方映像生成装置に
よる場合は、移動体の移動方向に基づき、第２車両が接
近しているか否かを判定することにより、接近する第２
車両が存在する場合にのみ表示データを生成することが
できる。

【００３９】第１４発明に係る車両側方映像生成装置
は、第１３発明に係る車両側方映像生成装置において、
接近していると判定した前記移動体に関し、到達予測時
間を算出する手段を更に備えることを特徴とする。

【００４０】第１４発明に係る車両側方映像生成装置に
よる場合は、接近する第２車両が第１車両へ到達する時
間に関する到達予測時間を算出することにより、交差点
への進入時等における危険性を判定することができる。

【００４１】第１５発明に係る車両側方映像生成装置
は、第１３又は第１４発明に係る車両側方映像生成装置
において、前記到達予測時間が所定の時間閾値以下であ
るか否かを判定する手段と、時間閾値以下であると判定
した場合に警告信号を出力する手段とを備えることを特
徴とする。

【００４２】第１５発明に係る車両側方映像生成装置に
よる場合は、到達予測時間が所定の閾値（時間閾値）以
下である場合に警報信号を出力することにより、ドライ
バに対して危険を認識させることができる。

【００４３】第１６発明に係る車両側方映像生成装置
は、第１３乃至第１５発明の何れかに係る車両側方映像
生成装置において、接近していると判定した前記移動体
を前記表示部にて識別可能に表示するための識別データ
を生成する手段を更に備えることを特徴とする。

【００４４】第１６発明に係る車両側方映像生成装置
は、接近してくる第２車両を表示部にて識別可能に表示
すべく識別データを生成することにより、例えば、接近
してくる第２車両をデフォルメ表示し、又は、マーキン
グするなどしてドライバが認識しやすくさせることがで
きる。

【００４５】

【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて詳述する。図１は、本発明に係る車
両側方映像生成装置１の構成を示すブロック図である。
車両側方映像生成装置１はＡ／Ｄ変換器１１を備え、Ｃ
ＣＤカメラ等を用いて構成された撮像部２１との間にて
通信可能に接続されている。また、Ｄ／Ａ変換器１７及
び該Ｄ／Ａ変換器１７に接続された映像切替部１８を備
え、該映像切替部１８は、液晶ディスプレイを用いて構
成されたモニタ２２及びカーナビゲーションシステム等
を実現する外部装置２３との間にて通信可能に接続され
ている。

【００４６】なお、本実施の形態におけるモニタ２２
は、前記カーナビゲーションシステムにて用いられる液
晶ディスプレイを併用している場合について説明する
が、専用のディスプレイを用いて構成してもよいことは
言うまでもない。

【００４７】撮像部２１とＡ／Ｄ変換器１１との間にお
ける信号の伝送にはアナログ信号が用いられており、こ
の場合、Ａ／Ｄ変換器１１は、ＲＧＢデコーダ（例え
ば、三菱電機製Ｍ５２０４２）及び３チャンネルＡ／Ｄ
コンバータ（例えば、ＳＯＮＹ製ＣＸＤ２３０３）を組
み合わせて構成する。また他に、ビデオデコーダ（例え
ば、沖電気製ＭＳＭ７６６４ＢＴＢ）１チップにより構
成するなど、種々の構成にて実現することができる。

【００４８】また、Ｄ／Ａ変換器１７から映像切替部１
８を介してモニタ２２との間にて行われる信号の伝送も
アナログ信号が用いられており、この場合、Ｄ／Ａ変換
器１７は、３チャンネルＤ／Ａコンバータ（例えば、Ｓ
ＯＮＹ製ＣＸＤ２３０４）及びＲＧＢエンコーダ（例え
ば、富士通製ＭＢ３５１６Ａ）を組み合わせて構成す
る。また他に、ビデオエンコーダ（例えば、沖電気製Ｍ
ＳＭ７６５４ＧＡ）１チップにより構成するなど、種々
の構成により実現することができる。なお、モニタ２２
がＮＴＳＣコンポジット入力対応のものでなく、アナロ
グＲＧＢ入力対応のものである場合、Ｄ／Ａ変換器１７
はＲＧＢエンコーダを省略した構成にすることができ
る。

【００４９】アナログ信号は、モニタ２２における走査
ラインに対応する複数の画素にて表示すべきＲＧＢ値
（赤、緑、青信号成分）又はＹＵＶ値（輝度信号成分、
色信号成分）を有しており、モニタ２２にてインターレ
ース表示できるようになっている。

【００５０】Ａ／Ｄ変換器１１は停止判定部１２に接続
されており、撮像部２１にて撮像されてＡ／Ｄ変換器１
１へ入力された映像データは更に前記停止判定部１２へ
入力される。停止判定部１２は本発明に係る車両側方映
像生成装置１を搭載する車両（第１車両）の移動速度を
検出し、停止しているか否かの判定を行う機能を有して
おり、入力された映像データを画像処理し、更に、車速
センサから取得する車速信号、ブレーキのオン／オフを
示すブレーキ信号等に基づき判定を行う。また、第１車
両が停止状態であると判定した場合には映像切替部１８
へその旨を示す信号を出力すべくなしてある。

【００５１】また、Ａ／Ｄ変換器１１は接近車両検出部
１３に接続されており、Ａ／Ｄ変換器１１から出力され
た映像データは接近車両検出部１３へ入力される。接近
車両検出部１３は、入力された映像データを画像処理
し、後述する路面領域の補正、フレーム間差分、２値
化、移動体の移動方向判定等を行うことにより接近して
くる車両（第２車両）の検出を行う。また、路面領域の
補正に用いるため、車外ライトのオン／オフを示すライ
ト信号、ステアリングの回転角度を示すステア信号が入
力され、また、モニタ２２に表示する映像をドライバの
要求に応じて切り替えるためのスイッチ信号が入力され
るようになっている。更に、接近する第２車両を検出し
た場合に、ドライバへ報知するための警告信号を出力
し、また、モニタ２２が外部装置２３に接続していると
きにＤ／Ａ変換器１７の出力がモニタ２２にて表示され
るべくその旨を示す信号が映像切替部１８へ出力される
ようになっている。

【００５２】更に、Ａ／Ｄ変換器１１は映像選択部１４
に接続されており、Ａ／Ｄ変換器１１から出力された映
像データは映像選択部１４へ入力される。また、該映像
選択部１４へは、接近車両検出部１３が接近してくる第
２車両を検出した場合に、撮像部２１にて撮像される左
右両側方映像における左右何れの側方にて第２車両が検
出されたかを示す信号が入力される。映像選択部１４
は、接近車両検出部１３から入力された信号に基づき、
Ａ／Ｄ変換器１１から入力された映像データにおいて、
モニタ２２が有する複数の画素に対応する画素データの
選択を行う。即ち、左右何れか側方に第２車両が検出さ
れた場合、第２車両が検出された側方の映像に関する画
素データを選択し、選択した画素データを映像保持部１
５へ出力する。

【００５３】映像保持部１５は、入力された画素データ
のうち、モニタ２２における１ライン分の映像に相当す
る量のデータを保持することができ、入力された順序に
てデータを出力するＦＩＦＯ（First In First Out）構
造になっている。

【００５４】映像保持部１５から出力されたデータは、
映像生成部１６へ入力される。また、映像生成部１６へ
は、接近車両検出部１３が接近してくる第２車両を検出
した場合に、該第２車両に関するデータと、左右何れの
側方に第２車両が検出されたかを示す信号とが入力され
る。映像生成部１６は、前記信号に基づき、第２車両が
検出された側方の映像をモニタ２２にて拡大表示するた
め、映像保持部１５から入力された左右何れか側方の映
像に関する画素データを補完する補完データを生成す
る。また、モニタ２２にて第２車両を識別しやすくする
ため、接近車両検出部１３から入力された第２車両に関
するデータに基づき、該第２車両を映像上にてＣＧ表
示、マーキング表示するための識別データを生成する。
更に、前記画素データ、補完データ及び識別データを用
い、モニタ２２上にて表示するための表示データを生成
する。

【００５５】映像生成部１６にて生成された表示データ
は、Ｄ／Ａ変換器１７及び映像切替部１８を介してモニ
タ２２へ出力される。映像切替部１８には、停止判定部
１２から第１車両が停止状態であることを示す信号が入
力され、接近車両検出部１３から接近してくる第２車両
を検出したことを示す信号が入力される。映像切替部１
８は、停止判定部１２及び／又は接近車両検出部１３か
ら信号が入力された場合はＤ／Ａ変換器１７を介して入
力される表示データをモニタ２２へ出力し、また、信号
が入力されない場合は、カーナビゲーションシステム等
の外部装置２３をモニタ２２に接続可能とすることによ
り、モニタ２２における表示モードを切り替える。

【００５６】なお、上述した停止判定部１２及び接近車
両検出部１３はＣＰＵ（SH7750）等により実現可能であ
り、また、映像選択部１４、映像保持部１５及び映像生
成部１６は、ＡＳＩＣ（Application Specified IC）又
はＦＰＧＡ（Field Programable Gate Array）等により
容易に実現することができる。

【００５７】また、上述した構成では、撮像部２１から
送信する映像に関する信号としてアナログ信号を用いる
場合について説明したが、前記Ａ／Ｄ変換器１１及びＤ
／Ａ変換器１７に替えてディジタル入出力回路を備える
ことにより、撮像部２１が撮像した映像に関するディジ
タル信号をそのまま送信することができる。

【００５８】この場合、撮像部２１、モニタ２２及びデ
ィジタル入出力回路のインタフェースには、例えば、物
理層及びリンク層の規格としてIEEE1394などのプロトコ
ルを使用し、また、撮像部２１及びディジタル入出力回
路の間でのデータの送受信では、1394-based Digital C
amera Specification Ver.1.2に従ってYUV4:2:2フォー
マットの映像信号を用いればよい。

【００５９】次に、上述した構成をなす本発明に係る車
両側方映像生成装置１の動作について、図２に示すフロ
ーチャートを用いて説明する。初めに、スイッチ信号に
基づくモニタ２２における表示状態、及び、外部装置２
３とモニタ２２との接続状態等のモードチェックを行い
（Ｓ１）、撮像部２１にて撮像した映像をＡ／Ｄ変換器
１１へ取り込む（Ｓ２）。Ａ／Ｄ変換器１１へ取り込ま
れた映像に関する映像データを用い、接近車両検出部１
３は、フレーム間差分で得られる差分映像を２値化する
際の差分閾値の補正を行う（Ｓ３）。

【００６０】差分閾値を補正する場合、第１車両に備え
られた車外ライトが点灯しているか否かを示すライト信
号を用いて補正を行う。即ち、車外ライトが点灯してい
る場合は、夜間の標準の差分閾値を用い、また、車外ラ
イトが点灯していない場合は、昼間の標準の差分閾値を
用いるよう補正する。なお、夜間及び昼間の標準の差分
閾値は予め算出しておいたものを用いる。

【００６１】また、左右それぞれの側方映像において、
一方が逆光等となっていることによりそれぞれの側方映
像間にてコントラストに比較的大きな差が生じている場
合は、統計処理に基づき差分閾値の補正を行う。即ち、
入力された映像データ中にて隣接画素における輝度の差
分値を算出し、該差分値を有する画素数をリストアップ
したヒストグラムを作成する。該ヒストグラムにおいて
画素数が最大である差分値Ｄ_m を基にし、標準の差分閾
値Ｔ₀ に対して補正された差分閾値Ｔ₁ を以下の式
（１）により算出する。Ｔ₁ ＝Ｔ₀ ＋Ａ（Ｄ_m −Ｄ₀ ）・・・（１）なお、式（１）中、Ａは定数、Ｄ₀ は標準状態において
作成したヒストグラムにて画素数が最大となる差分値で
ある。

【００６２】次に第１車両の速度の検出を行い（Ｓ
４）、停止判定部１２にて第１車両が停止（速度Ｖ＝
０）しているか否かを判定する（Ｓ５）。第１車両が停
止していると判定した場合は、接近する第２車両の存否
を判定すべく左右両側方映像にて路面領域の補正を行う
（Ｓ６）。速度検出及び停止判定は、Ａ／Ｄ変換器１１
から入力された映像データ、車速センサ、ブレーキ信
号、ナビゲーション情報、レーンマーカ、路車間通信等
を利用して行う。以下、これらを利用する場合について
夫々説明する。

【００６３】映像データに基づいて速度検出及び停止判
定を行う場合について説明する。第１車両が移動してい
る場合、周辺の静止物は相対的に後方へ移動し、左側方
映像では右から左へ平行移動し、右側方映像では左から
右へ平行移動するように表示される。従って、時刻ｔ及
び時刻ｔ＋ｎでの映像中の同一平行位置にある所定領域
（ブロック）において、輝度値に関する情報の変化を検
出することにより、第１車両が停止しているか否かを判
定することができる。

【００６４】初めに、時刻ｔにおいて左側方映像及び右
側方映像の夫々について特徴点をブロック単位（例え
ば、８画素×８画素）で数点設定する。特徴点として
は、輝度値の差に基づくエッジ抽出によりエッジ点を算
出し、算出したエッジ点を特徴点とするが、この他、予
め決められた位置に特徴点を設定してもよい。

【００６５】次に、時刻ｔ＋ｎにおいて、時刻ｔにて設
定した特徴点の探索を行う。即ち、時刻ｔにて設定した
特徴点の位置から、左側方映像では左へ、右側方映像で
は右へ１画素ずつ所定画素数分だけ探索し、時刻ｔにて
設定した特徴点が有する輝度値と、探索するブロックが
有する輝度値との差分和を算出し、算出した差分和が最
小となるブロックを、時刻ｔにて設定した特徴点が移動
した場所とみなす。

【００６６】時刻ｔから時刻ｔ＋ｎの間に前記特徴点が
移動している場合は、第１車両が移動しているとみな
す。また、前記特徴点が移動していない場合、即ち、時
刻ｔにて設定した特徴点と同位置のブロックにおいて、
時刻ｔ＋ｎにて輝度値の差分和が最小となった場合、第
１車両は停止していると判定する。

【００６７】車速センサから得られる車速信号に基づき
速度検出及び停止判定を行う場合について説明する。車
速信号に基づき速度検出を行う場合、所定の速度（例え
ば、５km/h）以下であるか否かの詳細な判定を行うこと
ができる。ただし、一般の車輪速センサを車速センサと
して使用する場合、主として磁気検出により車速を算出
するため、第１車両が略停止状態であるときなど極低速
を検出することが困難である。従って、極低速を検出可
能なホールＩＣ素子等を使用した車輪速センサを用いる
ことにより停止判定を行う。

【００６８】映像データ、車速信号、及びブレーキ信号
に基づき速度検出及び停止判定を行う場合について説明
する。極低速までを車速センサからの車速信号により速
度検出し、極低速以下において映像データに基づく速度
検出を行うことにより、停止判定の信頼性を向上させる
ことができる。この場合のセンサ信号としては、車輪速
センサからの信号、又は、エンジンＥＣＵからの信号の
何れでもよい。また、ブレーキ信号を組み合わせること
により、特に、停止状態から移動し始める場合の判定の
信頼性を向上させることができる。

【００６９】ナビゲーション情報を利用して速度検出及
び停止判定を行う場合について説明する。映像データ、
車速信号、及びブレーキ信号に基づき車速検出及び停止
判定を行う場合、例えば渋滞時などに交差点以外の単路
部などにて停止した場合であっても、第２車両を検出す
べく路面領域の補正（Ｓ６）が行われる可能性がある。
従って、ナビゲーション情報に基づき交差点の検出を行
った結果、第１車両が交差点に位置し、更に映像データ
及び車速信号等により速度検出を行い第１車両が停止し
ていると判定した場合にのみ、ステップ６での路面領域
の補正を行う。

【００７０】なお、ナビゲーション情報を提供するカー
ナビゲーションシステムに自立航法が備えられており、
ナビゲーション情報から車速情報を取得できる場合は、
該車速情報及び映像データに基づいて速度検出を行うこ
ともできる。

【００７１】レーンマーカを利用して速度検出及び停止
判定を行う場合について説明する。交差点の手前に、電
波マーカ又は磁気マーカ等のレーンマーカが敷設されて
おり、第１車両がレーンマーカ検出器を備えている場
合、前記レーンマーカを検出することにより第１車両が
交差点に進入したことを検出することができる。従っ
て、レーンマーカ検出器による交差点への進入を検出
し、更に映像データ及び車速信号等により速度検出を行
い第１車両が停止していると判定した場合にのみ、ステ
ップ６での路面領域の補正を行う。

【００７２】路車間通信を利用して速度検出及び停止判
定を行う場合について説明する。交差点の手前に、光ビ
ーコン又はＤＳＲＣ等の路車間通信装置が設置されてい
る場合、第１車両との間にて無線によって通信すること
により、交差点への接近を検出することができる。従っ
て、路車間通信により交差点への進入を検出し、更に映
像データ及び車速信号等に基づき速度検出を行い第１車
両が停止していると判定した場合にのみ、ステップ６で
の路面領域の補正を行う。

【００７３】また上述したものの他に、映像データを利
用し、左右両側方映像に「止まれ」の標識、交差点に設
置されたミラー等が認識された場合に、第１車両が交差
点へ接近していると判定することができる。従って、映
像データを利用して「止まれ」の標識等を認識し、更に
映像データ及び車速信号等に基づき速度検出を行い第１
車両が停止していると判定した場合にのみ、ステップ６
での路面領域の補正を行うようにしてもよい。

【００７４】次にステップ６での路面領域の補正につい
て説明する。左右両側方映像中における路面領域は予め
設定されているが、交差点への第１車両の進入角度によ
り、左右両側方映像中の実際の路面領域との間で誤差が
生じる。図３は、進入道路に対して直角に交差点へ進入
した場合の左右両側方映像（ａ）及びその時の第１車両
の交差点への進入状況（ｂ）を説明するための模式図で
ある。また、図４は、進入道路に対して左へ傾いて交差
点へ進入した場合の左右両側方映像（ａ）及びその時の
第１車両の交差点への進入状況（ｂ）を説明するための
模式図である。

【００７５】直角に進入する場合と比較して左へ傾いて
進入する場合、実際の路面領域は、右側方映像では進入
道路の消失点が下方に位置し、左側方映像では進入道路
の消失点が上方に位置する（図３（ａ）及び図４（ａ）
参照）。また、進入道路に対して右へ傾いて進入する場
合は逆に、右側方映像では消失点が上方に位置し、左側
方映像では消失点が下方に位置する。従って、予め路面
領域を設定した場合は、第１車両の姿勢により、実際の
路面領域との間に誤差を生じる場合がある。

【００７６】前記誤差を解消するために接近車両検出部
１３にて路面領域の補正を行う。補正する方法として
は、車線方向に対する車両の傾きとステアリングの回転
角度との間に相関関係があると仮定してステア信号に基
づき補正する方法、左右両側方映像にて白線（車道及び
歩道の境界線）の位置を検出して該白線の傾きに基づき
補正する方法、及び、カラー画像におけるＨＳＩ信号中
の色相（Ｈ）により左右両側方映像中の路面領域を検出
してこれに基づき補正する方法、等がある。

【００７７】ステア信号に基づき路面領域を補正する場
合について説明する。交差点にて左折する場合、ドライ
バはステアリングを左へ回転させ、右折する場合はステ
アリングを右へ回転させ、これに伴い、第１車両の姿勢
は進入道路に対して左向き、右向きとなる。この様に、
ステアリングの回転角度と第１車両の姿勢との間には相
関関係が成立する。

【００７８】従って、ステア信号に基づき路面領域を補
正することができる。ステア信号が示すステアリングの
回転角度と補正量との関係は、予め実験での計測によ
り、撮像された左右量側方映像における各画素位置と位
置補正量との関係を示す変換テーブルとして作成してお
き、該変換テーブルを参照することにより路面領域を補
正する。

【００７９】白線の位置に基づき路面領域を補正する場
合について説明する。市街地などでは車道及び歩道の境
界を表す白線が整備されており、撮像部２１にて撮像し
た左右両側方映像に表示される白線を検出することによ
り、路面領域を補正することができる。

【００８０】予め設定された路面領域の中央線上等に探
索点を数点設定し、該探索点を起点として、撮像された
左右両側方映像上を上下方向にエッジ探索を行う。即
ち、上下画素間の輝度の差分値が最大となる画素である
エッジ点を探索する。探索の結果得られたエッジ点の位
置に基づき、最小２乗法等の直線近似により白線位置を
算出する。算出した白線位置を用いて、予め設定された
路面領域を補正する。

【００８１】色相に基づき路面領域を補正する場合につ
いて説明する。路面、空などのように色相が均一的なも
のの場合、撮像される左右両側方映像に関するＲＧＢ値
に基づいて色相値を算出することにより、実際の路面領
域を推定することができる。以下の式（２）又は式
（３）を用いることにより、ＲＧＢ値を用いて色相値
（Ｈ）を算出する。

【００８２】

【数１】

【００８３】

【数２】

【００８４】上記式（２）又は式（３）を用いて算出し
た色相値により、実際の路面領域を推定し、推定した路
面領域に基づき、予め設定された路面領域を補正する。

【００８５】ステップ６における路面領域の補正を行っ
た後、左右両側方映像中の移動体を検出するために、時
刻ｔ及び時刻ｔ＋ｎなど、所定時間（例えば、ｎ＝１０
０ｍｓ、２００ｍｓ）を空けて撮像した２つの左右両側
方映像を用いて夫々のフレーム間にて輝度に関する差分
値（時間差分値）を算出し、該時間差分値を所定の閾値
（差分閾値）に基づき２値化する（Ｓ７）。

【００８６】ステップ５にて第１車両は停止（Ｖ＝０）
と判定されているため、所定の時間ｎの間に撮像される
他の静止物の輝度はほとんど変化がない。これに対し、
他の車両などの移動体が所定の時間ｎの間に存在する領
域では輝度が比較的大きく変化する。従って、時刻ｔ及
び時刻ｔ＋ｎにて撮像した夫々の左右両側方映像にて輝
度の時間差分値を算出し、算出した時間差分値を所定の
差分閾値に基づいて２値化することにより、時間ｎの間
に移動体が移動した領域、即ち動領域を抽出する（Ｓ
８）。

【００８７】なお、既に説明したように、輝度に関する
時間差分値は時間帯（昼間、夜間）、逆光などの日照状
態により値が異なってくるため、ライト信号、及びコン
トラストに関する統計処理等を用いて適宜補正する。

【００８８】ステップ８にて動領域の抽出を行うが、移
動体が車両である場合、背景と車両との間では輝度に関
する時間差分値が大きく異なるのに対し、時刻ｔでの車
両の存在領域と時刻ｔ＋ｎでの前記車両の存在領域との
間で重複する領域では、輝度に関する時間差分値が比較
的小さくなる場合がある。図５は、時刻ｔ及び時刻ｔ＋
ｎでの車両の存在領域（ａ）及び抽出された動領域
（ｂ）を説明するための模式図である。図５（ａ）に示
すように、時刻ｔでの車両の存在領域Ａ１と、時刻ｔ＋
ｎでの車両の存在領域Ａ２との間における重複する領域
Ａ３では、輝度に関する時間差分値が小さくなる。従っ
て、２値化した場合は、図５（ｂ）に示すように重複し
ていない存在領域Ａ４，Ａ４のみが動領域として抽出さ
れる。そこで、２値データを用い存在領域Ａ４，Ａ４近
傍にて上下左右に値１の画素（輝度に関する時間差分値
が差分閾値以上の画素）を探索することにより、重複す
る領域Ａ３を含む移動体の動領域Ａ５を抽出する。

【００８９】ステップ８にて移動体の動領域を抽出した
後、抽出した移動体のうち車両の可能性が低いものをノ
イズとして除去する（Ｓ９）。即ち、抽出した動領域に
おける下端が、ステップ６にて補正した路面領域内に存
在する移動体は車両と推定することができ、また、抽出
した動領域における下端が、路面領域内に存在しない移
動体は車両ではないと推定でき、ノイズとして除去する
ことができる。

【００９０】図６は、動領域の下端と路面領域との関係
により行うノイズの除去を説明するための模式図であ
る。図６における左右両側方映像では、左上に原点を有
し、右方向にｘ軸、下方向にｙ軸が設定されている。ま
た、左側方映像における路面領域は、路面上方境界線
が、ｙ＝ａ₁ ｘ＋ｂ₁ 路面下方境界線が、ｙ＝ａ₂ ｘ＋ｂ₂ となっており、右側方映像における路面領域は、路面上
方境界線が、ｙ＝ａ₃ ｘ＋ｂ₃ 路面下方境界線が、ｙ＝ａ₄ ｘ＋ｂ₄ となっている。

【００９１】従って、左側方映像の場合は、移動体の動
領域の下端座標（ｘ₁ ，ｙ₁ ）が下記不等式を共に満た
す場合に、前記移動体を車両と判定する。ｙ＞ａ₁ ｘ＋ｂ₁ ｙ＜ａ₂ ｘ＋ｂ₂ また、右側方映像の場合は、移動体の動領域の下端座標
（ｘ₂ ，ｙ₂ ）が下記不等式を共に満たす場合に、前記
移動体を車両と判定する。ｙ＞ａ₃ ｘ＋ｂ₃ ｙ＜ａ₄ ｘ＋ｂ₄

【００９２】次に、ステップ９にてノイズ除去を行った
結果、残った動領域が示す移動体の輪郭を抽出する（Ｓ
１０）。即ち、ステップ８にて抽出した移動体の動領域
は、時刻ｔ及び時刻ｔ＋ｎの左右両側方映像に基づいて
抽出しているため、最新の時刻である時刻ｔ＋ｎにおけ
る実際の車両位置とは時間ｎだけ誤差が生じているた
め、時刻ｔ＋ｎでの移動体のより正確な輪郭を抽出す
る。図７は、移動体に関して抽出された動領域（ａ）
と、移動体の実際の輪郭（ｂ）との一例を示す模式図で
ある。

【００９３】時刻ｔ＋ｎにおける左右両側方映像におい
て、抽出された動領域Ａ５の近傍にてエッジ抽出を行う
ことにより移動体の輪郭をより正確に抽出することがで
きる。具体的には、動領域Ａ５の垂直方向の輪郭上にて
数点の輪郭代表点を設定し、設定した各輪郭代表点にお
いて左右方向に探索し（図７（ａ）参照）、隣接画素間
の輝度の差分値が最大となるエッジ点を抽出する。抽出
したエッジ点に基づき、最小２乗法を用いて移動体の垂
直方向の輪郭線を算出することにより移動体の輪郭Ａ６
を抽出する（図７（ｂ）参照）。なお、動領域の水平方
向の輪郭上に輪郭代表点を設定し、上下方向にエッジ探
索を行ってもよい。

【００９４】次に、ステップ１０にて抽出した時刻ｔ＋
ｎでの輪郭Ａ６に対応する移動体の移動方向を判定し、
これに基づき車両である可能性が低い移動体をノイズと
して更に除去する（Ｓ１１）。図８は、移動体の移動方
向を予測してノイズを除去する処理を説明するための模
式図である。時刻ｔ＋ｎにて移動体の輪郭Ａ６を抽出し
た場合と同様にして時刻ｔにおいても該移動体の輪郭を
抽出している。従って、時刻ｔでの移動体の輪郭と、時
刻ｔ＋ｎでの移動体の輪郭Ａ６とに基づき、時刻ｔ＋ｎ
での移動体が有する速度ベクトルｖ７を予測し、該予測
に基づき時刻ｔ＋２ｎでの前記移動体の位置Ａ７を予測
する。

【００９５】時刻ｔ＋２ｎに、予測した位置Ａ７近傍に
おいて前記移動体が存在するか否かを探索する。探索の
結果、予測した位置Ａ７の近傍に移動体の輪郭Ａ８を抽
出できた場合、輪郭Ａ８及び時刻ｔ＋ｎに抽出した輪郭
Ａ６に基づき、速度ベクトルｖ８を算出する。

【００９６】算出した速度ベクトルｖ８と、予測した速
度ベクトルｖ７とにおいて絶対値、方向などを比較する
ことにより、輪郭Ａ６が示す移動体と輪郭Ａ８が示す移
動体とが同一のものか否かを判定する。また、輪郭Ａ６
及び輪郭Ａ８の形状、サイズなどを比較して同一の移動
体を示しているか否かを判定する。

【００９７】予測した位置Ａ７に最も近い移動体であっ
ても、輪郭Ａ６が示す移動体と同一のものではない場合
があるため、前述した比較を行う際の夫々のパラメータ
について評価関数を作成し、評価関数の値を最大とする
移動体を、輪郭Ａ６が示す移動体と同一のものとする。

【００９８】更に、算出した速度ベクトルｖ８が路面領
域の方向、即ち、路面上方境界線及び路面下方境界線が
有する夫々の方向ベクトルの範囲内であるか否かを判定
し、範囲外である場合は、速度ベクトルｖ８を有する移
動体をノイズとして除去する。範囲内にある移動体に関
しては、速度ベクトルｖ８の向きにより接近しているか
否かを判定し、接近している移動体のみ後述する警告・
表示の対象とする。

【００９９】なお、時刻ｔ＋２ｎにて抽出した輪郭Ａ８
に対応する時刻ｔ＋ｎでの移動体が存在しない場合、時
刻ｔ＋２ｎの段階では移動体としてリストアップする
が、後述する警告・表示の対象とはせず、時刻ｔ＋３ｎ
にて対応する移動体が存在する場合に警告・表示の対象
とする。

【０１００】次に、車両として検出された移動体のうち
接近してくる第２車両について、第１車両までの到達予
測時間を算出する（Ｓ１２）。即ち、検出された車両の
うち、速度ベクトルに基づき接近している第２車両であ
るか否かを判定し、左側方映像又は右側方映像の夫々に
おいて、撮像部２１の画角、設置高、俯角などに基づ
き、モニタ２２内座標を、第１車両を中心とした実座標
へ変換し、第２車両と第１車両との距離、及び第２車両
の速度を算出する。更に算出した距離及び速度に基づ
き、第２車両が第１車両へ到達するまでの到達予測時間
を算出する。

【０１０１】算出した到達予測時間が所定の閾値以下で
ある場合は、接近車両検出部１３は、ドライバへの警告
のため警告信号を出力すると共に、接近してくる第２車
両をマーキングするための処理を行い（Ｓ１３）、モニ
タ２２にて表示する（Ｓ１４）。

【０１０２】出力した警告信号は、ブザー、計器パネル
に設置されたＬＥＤ、又は、オーディオ等へ入力され
る。ブザー又はオーディオへ入力された場合は警告音に
よりドライバへ報知し、計器パネルに設置されたＬＥＤ
へ入力された場合は該ＬＥＤの点灯によりドライバへ報
知することができる。なお、オーディオへ入力された場
合は、第２車両の接近側のスピーカから例えば「左方向
（右方向）に注意して下さい」などのメッセージを出力
するようにしてもよく、また、計器パネルに設置された
ＬＥＤを点灯させる場合は、左右を夫々示すべくＬＥＤ
を設置し、第２車両の接近側を示すようにＬＥＤを点灯
させてもよい。

【０１０３】図９は、接近してくる第２車両をマーキン
グしたものをモニタ２２にて表示した映像の一例を示す
模式図である。図９（ａ）は接近してくる第２車両を矩
形枠にてマーキングしたものを示し、図９（ｂ）は接近
してくる第２車両の上部にマーキングしたものを示して
いる。

【０１０４】接近してくる第２車両のマーキングとして
は、図９に示したものの他、種々のものがある。例え
ば、前記第２車両をＣＧ化し、更に比較的大きく表示す
ることにより、ドライバは第２車両を容易に識別するこ
とが可能となる。

【０１０５】また、背景映像をモノクロに表示し、前記
第２車両のみをカラー表示することによっても、ドライ
バは第２車両を容易に識別することができる。この場
合、背景映像をモノクロ表示するには、映像保持部１５
の出力、又は映像選択部１４の出力の何れかの映像デー
タを用いてモノクロデータに変換する。モノクロデータ
への変換は下式により行い、また、ＡＳＩＣ又はＦＰＧ
Ａなどにより容易に実現することができる。Ｒ₁ ＝０．２９９Ｒ₀ ＋０．５８７Ｇ₀ ＋０．１１４Ｂ₀ Ｇ₁ ＝０．２９９Ｒ₀ ＋０．５８７Ｇ₀ ＋０．１１４Ｂ₀ Ｂ₁ ＝０．２９９Ｒ₀ ＋０．５８７Ｇ₀ ＋０．１１４Ｂ₀ なお、上式中、Ｒ₀ ，Ｇ₀ ，Ｂ₀ は変換前のＲＧＢ値で
あり、Ｒ₁ ，Ｇ₁ ，Ｂ ₁ は変換後のＲＧＢ値である。

【０１０６】また、第２車両をカラー表示する場合は、
接近車両検出部１３に入力される映像データに関するＲ
ＧＢ値をグラフィックメモリに記録し、ステップ１１に
て車両として残された移動体の輪郭内部に、グラフィッ
クメモリに記録されたＲＧＢ値を書き込むことにより実
現することができる。

【０１０７】また、第２車両以外の背景映像の輝度を落
とすことにより、第２車両を容易に識別可能とすること
ができる。この場合、背景映像に関する映像データにお
けるＲＧＢ値をＹＣｂＣｒ値（Ｙは輝度値、Ｃｂ，Ｃｒ
は色信号）に変換し、Ｙの値をより小さい値Ｙ₁に変換
し、再度ＲＧＢ値に変換することにより、背景映像の輝
度を落とすことができる。この輝度値の変換はモノクロ
データの変換の場合と同様、映像保持部１５の出力、又
は映像選択部１４の出力の何れかの映像データを用いて
行う。

【０１０８】なお、ＲＧＢ値からＹＣｂＣｒ値への変換
は以下の式により行うことができ、ＡＳＩＣ又はＦＰＧ
Ａなどにより容易に実現することができる。Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４ＢＣｂ＝−０．２９９Ｒ−０．５８７Ｇ＋０．８８６ＢＣｒ＝０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ

【０１０９】また他に、第２車両以外の背景映像を２値
化して表示することにより、第２車両を容易に識別可能
とすることができる。即ち、ＲＧＢ値に基づき輝度値
（Ｙ値）を算出し、Ｙ値が所定の閾値以上である場合
は、白色として（Ｒ，Ｂ，Ｇ）＝（２５５，２５５，２
５５）に設定し、閾値より小さい場合は黒色として、
（Ｒ，Ｂ，Ｇ）＝（０，０，０）に設定する。

【０１１０】閾値の設定としては、左右両側方映像の輝
度に関するヒストグラムを使用して行う。左右両側方映
像の輝度に関してヒストグラムを算出した場合、空領域
及び路面領域においてピークを得ることができるため、
夫々のピークの間にて閾値を設定することにより、空領
域と路面領域とを識別できる２値化された背景映像を表
示することができる。

【０１１１】なお、ヒストグラムの算出は、映像切替部
１８にて外部装置２３の出力から左右両側方映像の出力
へと切り替えられたときに１度行えばよい。また、ＲＧ
Ｂ値からのＹ値の算出、ヒストグラムの算出、及び閾値
による背景映像の２値化は、映像保持部１５の出力、又
は映像選択部１４の出力の何れかの映像データを用いて
行えばよく、ＡＳＩＣ又はＦＰＧＡにより実現可能であ
り、ＣＰＵを用いて行えば更に容易に実現することがで
きる。

【０１１２】また、接近してくる第２車両をモニタ２２
での映像によりドライバが識別可能であるマーキングで
あれば、上述したものの他、どのようなものであっても
よい。

【０１１３】更に、ステップ１４におけるモニタ２２で
の表示においては、接近してくる第２車両が撮像されて
いる左右何れかの側方映像のみを拡大して全画面表示す
ることも可能である。この場合、接近車両検出部１３か
ら映像選択部１４へ、何れの側方映像に接近してくる第
２車両が存在するかを示す信号が送信される。映像選択
部１４は、受信した信号に示された側方映像に関する映
像データを画素単位で選択する。即ち、左側方映像中に
第２車両が表示されている場合であれば、Ａ／Ｄ変換器
１１から入力された映像データのうち、各１ライン毎に
１〜３２０画素に対応する画素データを選択し、右側方
映像中に第２車両が表示されている場合であれば、３２
１〜６４０画素に対応する画素データを選択する。

【０１１４】次に、映像選択部１４は、選択した画素デ
ータを映像保持部１５へ出力する。映像保持部１５は、
入力された画素データを１画素ずつ１ライン単位で映像
生成部１６へ送信し、映像生成部１６は、左右何れかの
側方映像を拡大した映像をモニタ２２にて表示すべく前
記画素データを補完するための補完データを生成する。

【０１１５】画素データ及び補完データにより、左右何
れかの側方映像を拡大表示するための表示データを生成
し、該表示データが示す映像に、前述したマーキングを
オーバレイ表示する。図１０は、右側方から接近してく
る第２車両にマーキングして拡大表示した映像の一例を
示す模式図である。

【０１１６】また、ステップ５にて第１車両が停止状態
でないと判定した場合であり、更に第１車両の移動速度
Ｖが、０＜Ｖ＜αであると判定した場合は（Ｓ１５）、
ステップ６以降ステップ１３までの処理は行わず、左右
両側方映像をモニタ２２にて表示する（Ｓ１４）。ま
た、ステップ１５にて第１車両の移動速度Ｖが、Ｖ＞α
であると判定した場合は、モニタ２２は外部装置２３に
接続された状態を維持する。なお、速度αは、例えばα
＝５ｋｍ／ｈなどと適宜値を予め設定しておく。

【０１１７】本実施に係る警報情報生成方法及び車両側
方映像生成装置１によれば、撮像した左右両側方映像に
関する映像データに基づき、接近してくる第２車両を検
出し、該第２車両の到達予測時間を算出し、該到達予測
時間が所定の閾値以下であると判定した場合に、前記第
２車両を容易に識別可能にモニタ２２にて表示し、オー
ディオ等の音声情報による警告を行い、また、前記第２
車両が含まれている側方映像のみをモニタ２２にて拡大
表示するため、例えば、交差点へ第１車両が進入する場
合であり、更に、接近車両が近傍に存在する場合にの
み、即ち、ドライバが必要とする場合にのみモニタ２２
にて側方映像を表示でき、視覚及び聴覚を通じて接近車
両を容易に認識させることができ、第２車両との衝突等
の危険性を回避することができる。

【０１１８】また、第１車両の停止判定を行うため、特
に、左右両側方映像に基づきフレーム間差分を行い２値
化した２値データに基づき停止判定を行うため、更に正
確に交差点での停止状態を検出することができ、不必要
時にモニタ２２にて側方映像を表示することがない。

【０１１９】また、接近する第２車両を検出するに際
し、輝度に関して得たフレーム間差分値を２値化した２
値データに基づいて検出するため、静止物を車両として
誤検出することなく、従来に比してより正確に移動体の
みを検出することができる。

【０１２０】また、２値化する際に、ライト信号、輝度
に関する空間差分値に基づき閾値を補正するため、夜間
及び昼間でのコントラストの違い、又は、逆光時におけ
る左右夫々の側方映像のコントラストの違い等を補正で
き、第２車両の誤検出を抑制することができる。

【０１２１】また、検出した移動体の最下部が路面領域
内に存在しない場合は、該移動体をノイズとして除去す
るため、第２車両の検出精度を向上させることができ
る。また、前記路面領域をステア信号、車道及び歩道の
境界線、色相データ等に基づき補正するため、第１車両
の姿勢に拘わらず比較的正確に路面領域を設定すること
ができ、更に、移動体の速度ベクトルと路面領域の上下
境界線の方向ベクトルとを用いた車両判定を行うため、
ノイズの除去を的確に行うことが可能である。

【０１２２】

【発明の効果】第１発明に係る警告情報生成方法による
場合は、例えば、交差点へ第１車両が進入する場合に、
第２車両が近傍に接近していることをドライバに認識さ
せることができ、交差点への進入時の危険性を回避させ
ることができる。

【０１２３】第２発明に係る車両側方映像生成装置によ
る場合は、例えば、青信号時の交差点を直進して通過す
る場合など、不必要時に側方映像が表示されることを防
止することができる。

【０１２４】第３発明に係る車両側方映像生成装置によ
る場合は、前記所定時間中に移動した物体のみを検出す
ることができ、静止物を車両と誤検出することを防止す
ることができる。

【０１２５】第４発明に係る車両側方映像生成装置によ
る場合は、第１車両の移動速度に基づき、例えば第１車
両が交差点へ進入して停止した場合に他の移動体の検
出、及び側方映像のモニタでの表示を可能とすることが
できる。

【０１２６】第５発明に係る車両側方映像生成装置によ
る場合は、第１車両が停止しているか否かをより正確に
判定することができる。

【０１２７】第６発明に係る車両側方映像生成装置によ
る場合は、ライトを点灯しない昼間に撮像する映像と、
ライトを点灯する夜間に撮像する映像とのコントラスト
の差による移動体の検出誤差を抑制することができる。

【０１２８】第７発明に係る車両側方映像生成装置によ
る場合は、左右何れかの側方が逆光となるなどして左右
夫々の側方映像におけるコントラストが比較的大きく異
なる場合であっても、移動体の検出誤差を抑制すること
ができる。

【０１２９】第８発明に係る車両側方映像生成装置によ
る場合は、空中を浮遊する木の葉、高架上を走行する電
車等を車両として誤検出することを防止することができ
る。

【０１３０】第９発明に係る車両側方映像生成装置によ
る場合は、交差点へ進入する場合等における進入角度に
応じて路面領域を補正でき、移動体の最下部位置に基づ
く車両の検出において誤検出を抑制することができる。

【０１３１】第１０発明に係る車両側方映像生成装置に
よる場合は、前記境界線を有する路面に関して路面領域
をより正確に補正することができ、移動体の最下部位置
に基づく車両の検出において誤検出を抑制することがで
きる。

【０１３２】第１１発明に係る車両側方映像生成装置に
よる場合は、色相が比較的均一な領域を路面領域として
補正することができ、移動体の最下部位置に基づく車両
の検出において誤検出を抑制することができる。

【０１３３】第１２発明に係る車両側方映像生成装置に
よる場合は、車道を横断する方向に移動する移動体を車
両として誤検出することを防止することができる。

【０１３４】第１３発明に係る車両側方映像生成装置に
よる場合は、接近する第２車両が存在する場合にのみ表
示データを生成することができる。

【０１３５】第１４発明に係る車両側方映像生成装置に
よる場合は、交差点への進入時等における危険性を判定
することができる。

【０１３６】第１５発明に係る車両側方映像生成装置に
よる場合は、ドライバに対して危険を認識させることが
できる。

【０１３７】第１６発明に係る車両側方映像生成装置
は、例えば、接近してくる第２車両をデフォルメ表示
し、又は、マーキングするなどしてドライバが認識しや
すくさせることができる。

【図面の簡単な説明】

【図１】本発明に係る車両側方映像生成装置の構成を示
すブロック図である。

【図２】本発明に係る車両側方映像生成装置１の動作を
説明するためのフローチャートである。

【図３】進入道路に対して直角に交差点へ進入した場合
の左右両側方映像（ａ）及びその時の第１車両の交差点
への進入状況（ｂ）を説明するための模式図である。

【図４】進入道路に対して左へ傾いて交差点へ進入した
場合の左右両側方映像（ａ）及びその時の第１車両の交
差点への進入状況（ｂ）を説明するための模式図であ
る。

【図５】時刻ｔ及び時刻ｔ＋ｎでの車両の存在領域
（ａ）及び抽出された動領域（ｂ）を説明するための模
式図である。

【図６】動領域の下端と路面領域との関係により行うノ
イズの除去を説明するための模式図である。

【図７】移動体の抽出された動領域（ａ）と、移動体の
実際の輪郭（ｂ）との一例を示す模式図である。

【図８】移動体の移動方向を予測してノイズを除去する
処理を説明するための模式図である。

【図９】接近してくる第２車両をマーキングしたものを
モニタにて表示した映像の一例を示す模式図である。

【図１０】右側方から接近してくる第２車両にマーキン
グして拡大表示した映像の一例を示す模式図である。

【符号の説明】

１車両側方映像生成装置１１Ａ／Ｄ変換器１２停止判定部１３接近車両検出部１４映像選択部１５映像保持部１６映像生成部１７Ｄ／Ａ変換器１８映像切替部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 1/00 ３３０Ｇ０６Ｔ 1/00 ３３０Ｂ 3/00 ３００ 3/00 ３００ 7/20 7/20 ＢＨ０４Ｎ 1/387 Ｈ０４Ｎ 1/387 7/18 7/18 ＪＦターム(参考） 5B057 AA16 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CD05 CE02 CE08 DA07 DA08 DB02 DB08 DC16 DC22 5C054 FA04 FC01 FC05 FC07 FC12 FC14 FC15 FC16 FD07 FE09 FE16 FF06 GA04 GB01 HA30 5C076 AA02 AA13 AA21 AA26 5L096 AA02 AA06 BA04 CA05 DA03 EA04 EA05 EA12 FA06 FA64 FA67 FA69 FA76 GA08 HA04 JA11

Claims

【特許請求の範囲】

【請求項１】第１車両に設けた撮像部が撮像する左右
両側方映像に関する映像データに基づき、接近する第２
車両の存在を示す警告情報を生成して出力する警告情報
生成方法において、前記映像データに基づき、前記左右両側方映像にて前記
第１車両に接近する前記第２車両が存在するか否かを判
定し、前記第２車両が存在すると判定した場合は該第２
車両が前記第１車両に到達するまでの到達予測時間を算
出し、該到達予測時間が所定の閾値以下であるか否かを
判定し、前記到達予測時間が前記閾値以下であると判定
した場合は警告情報を出力することを特徴とする警告情
報生成方法。
【請求項２】第１車両における左右両側方の映像であ
る左右両側方映像に関する映像データに基づき、表示部
にて表示すべく前記第１車両における側方の映像である
側方映像に関する表示データを生成するために用いる車
両側方映像生成装置において、前記映像データに基づき、前記左右両側方映像に表示さ
れる第２車両を検出する手段と、前記映像データに基づ
き、前記左右両側方映像のうち、検出した第２車両の映
像を含む側方の映像を前記表示部にて拡大表示するため
の表示データを生成する手段とを備えることを特徴とす
る車両側方映像生成装置。
【請求項３】前記第２車両を検出する手段は、所定時
間を空けて取得した２つの前記映像データに基づき、夫
々の映像データのうち前記表示部が有する複数の画素の
夫々に対応する画素データに関して輝度の時間差分値を
生成する手段と、生成した時間差分値を所定の差分閾値
に基づいて２値化した２値データを生成する手段と、生
成した２値データに基づき移動体を検出する手段とを備
えることを特徴とする請求項２に記載の車両側方映像生
成装置。
【請求項４】前記第１車両の移動速度を検出する手段
と、検出した前記移動速度が所定の速度閾値以下である
か否かを判定する手段と、速度閾値以下であると判定し
た場合に前記第２車両の検出を行う手段とを更に備える
ことを特徴とする請求項２又は３に記載の車両側方映像
生成装置。
【請求項５】前記第１車両の移動速度を検出する手段
は、所定時間を空けて取得した２つの前記映像データに
基づき、夫々の映像データのうち前記表示部が有する複
数の画素の夫々に対応する画素データに関して輝度の時
間差分値を生成する手段と、生成した時間差分値を所定
の差分閾値に基づいて２値化した２値データを生成する
手段と、生成した２値データに基づき移動速度を検出す
る手段とを備えることを特徴とする請求項４に記載の車
両側方映像生成装置。
【請求項６】前記第１車両が具備する車外ライトの点
灯状況を示すライト信号を受信する手段と、受信したラ
イト信号に基づき前記差分閾値を補正する手段を更に備
えることを特徴とする請求項３乃至５の何れかに記載の
車両側方映像生成装置。
【請求項７】同時的に取得した左右夫々の側方映像に
おける隣接する画素に対する画素データに関する輝度の
空間差分値を生成する手段と、生成した空間差分値に基
づき前記差分閾値を補正する手段を更に備えることを特
徴とする請求項３乃至６の何れかに記載の車両側方映像
生成装置。
【請求項８】検出された前記移動体の最下部が、予め
設定された路面領域内に存在するか否かを判定する手段
と、存在すると判定した場合に前記移動体を前記第２車
両であると判定する手段とを更に備えることを特徴とす
る請求項３乃至７の何れかに記載の車両側方映像生成装
置。
【請求項９】前記第１車両が具備するステアリングの
回転角度に関する角度信号を受信する手段と、受信した
角度信号に基づき前記路面領域を補正する手段とを更に
備えることを特徴とする請求項８に記載の車両側方映像
生成装置。
【請求項１０】前記映像データにて前記左右両側方映
像に含まれる車道及び歩道の境界を示す境界線に関する
境界線データを検出する手段と、検出した境界線データ
に基づき前記路面領域を補正する手段とを更に備えるこ
とを特徴とする請求項８又は９に記載の車両側方映像生
成装置。
【請求項１１】前記左右両側方映像における色相に関
する色相データを生成する手段と、生成した色相データ
に基づき前記路面領域を補正する手段とを更に備えるこ
とを特徴とする請求項８乃至１０の何れかに記載の車両
側方映像生成装置。
【請求項１２】検出された前記移動体の移動方向を算
出する手段と、算出した移動方向が所定の範囲内にある
か否かを判定する手段と、所定の範囲内にあると判定し
た場合に前記移動体を前記第２車両であると判定する手
段とを更に備えることを特徴とする請求項３乃至１１の
何れかに記載の車両側方映像生成装置。
【請求項１３】前記移動方向に基づき、前記移動体が
接近しているか否かを判定する手段と、接近していると
判定した場合に、前記表示データを生成する手段とを更
に備えることを特徴とする請求項１２に記載の車両側方
映像生成装置。
【請求項１４】接近していると判定した前記移動体に
関し、到達予測時間を算出する手段を更に備えることを
特徴とする請求項１３に記載の車両側方映像生成装置。
【請求項１５】前記到達予測時間が所定の時間閾値以
下であるか否かを判定する手段と、時間閾値以下である
と判定した場合に警告信号を出力する手段とを備えるこ
とを特徴とする請求項１３又は１４に記載の車両側方映
像生成装置。
【請求項１６】接近していると判定した前記移動体を
前記表示部にて識別可能に表示するための識別データを
生成する手段を更に備えることを特徴とする請求項１３
乃至１５の何れかに記載の車両側方映像生成装置。