JP2000020686A - 車両用後側方監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 車線変更の危険性を運転者に警告することが
必要な場合には、そのときの他車両の大きさや位置にか
かわりなく、確実にその危険性を運転者に警報すること
のできる車両用後側方監視装置を提供する。 【解決手段】 危険度判定手段１０５で判定を行なう際
に、撮像手段１０１で撮像された他車両の画像の面積内
の各画素のオプティカルフローのベクトルの長さの総和
を、そのときの他車両の画像の面積で割ることにより、
他車両の画像を形成する各画素のオプティカルフローの
ベクトルの長さの平均長を算出することによって、危険
度判定手段１０５他車両の実際の大きさの大小つまりそ
の画像の面積の大きさには関係なく常に他車両の実際の
危険度を正しく判定することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車などの車両
に設置した小型ＣＣＤのような撮像装置によって後方及
び側方を撮像し、その撮像された画像に基づいて自車両
が走行している周囲の後方や側方から接近してくる他車
両を検知して、その他車両の接近を運転者に対して警報
等によって知らせるための車両用後側方監視装置に関す
る。

【０００２】

【従来の技術】例えば高速道路などの片側２車線以上の
道路を車両が走行中に、その車両の運転者が車線変更を
行なう際に、その車両が変更しようとする隣接車線に自
車両よりも速い速度で走行中の他車両が後側方から追い
上げてきたような場合には、その他車両の存在を前記運
転者が見落したまま車線変更を行なうと、大事故につな
がる危険性が極めて高い。

【０００３】また、自車両と同じ車線を後続の他車両が
走行している場合にも、後続の他車両が自車両よりも速
い速度（互いに対地速度で比較して）で急接近してきた
ようなときには、自車両が急ブレーキを掛けるなどする
と追突される危険性があり、この意味でも近接車両を確
実に認識しておくことが必要である。

【０００４】特に近年では、乗用車をはじめとして道路
上を走行する各種車両は、その走行速度も加速度も共に
強化されて、さらに高性能化が進んで来ているので、上
記の車線変更や加減速の際の車両の動きはさらに俊敏な
ものとなり、その結果、自車両の周囲を走行中の他車両
の存在を前記運転者が見落すことに起因した危険な状態
や大事故の発生の確率をさらに高めることになる。

【０００５】また、そのような運転者による周囲の他車
両の見落しを防ぐためには、まず運転者自身が周囲に対
してさらに注意を向けることが必要であることは言うま
でもないが、しかし人間の集中力や認知力は前記のよう
な車両性能の向上に対しては追随できる限界に近付いて
来ており、またそのような限界の領域で発生する他車両
の存在の見落としなどに起因した事故も発生していた。

【０００６】また、特に高速走行となるに従って人間の
視覚的な認識力は急激に低下することが一般的に知られ
ており、車両のさらなる高速走行対応につれて、上記の
ような車線変更時などに発生する周囲の他車両の見落し
などの問題は、さらに深刻化することも予測される。

【０００７】従って、上記のような事故や危険な状態の
発生を未然に防ぐためには、単に運転者による周囲の他
車両への注意を促すだけではなく、人間の直接的な認識
力とは別に、自車両の周囲を走行中の他車両の存在を自
動的に正確かつ確実に認識してその情報を運転者に明確
に伝達（報知）することで、上記のような危険性の問題
を解決しようとする技術が提案されている。

【０００８】即ち、隣接車線を走行中の他車両や後続の
他車両を認識することを可能とする従来の技術として
は、例えば特開平１−１８９２８９号公報に開示され
た、車両情報表示装置の技術がある。この特開平１−１
８９２８９号公報に開示された技術によれば、車両の後
方及び側方をカメラによって撮影し、撮影された画像を
モニタ画面に表示させることによって、隣接車線を走行
中の他車両および後続の他車両を運転者に認識させるよ
うにすることができる。

【０００９】しかしながら、このような技術によれば、
隣接車線を走行中の他車両や後続の他車両の存在を運転
者が認識するためには、運転者は必ずそのモニタ画面に
視線を向けてそのモニタ画面に表示されている画像をよ
く見た上で、そのモニタ画面に他車両が映し出されてい
るか否かを確認することが必要となる。

【００１０】しかし、運転者にとってはモニタ画面内に
表示された車両を見落とすおそれがあり、またモニタ画
面を見ただけでは隣接車線を走行中の車両及び後続車両
の速度が自車の速度より速いか否かを直ちに判断するこ
とも困難であり、しかも前方に向かっての安全な運転を
継続するためには前方をよく見て運転することが必要な
ので、この本来の前方に対して視覚的な注意を向けるこ
との他に、前記のモニタ画面に表示されている画像にも
頻繁に視覚的な注意を向けることが必要となるので、注
意力を常に分散させて居なければならず、場合によって
はそのような後側方の安全確認を行なうために視線を前
方とモニタ画面との間で行き来させるということは、運
転者にとってむしろ煩雑であり、また、かえって注意力
が分散してしまうという問題もあった。

【００１１】そこで、前記の自車両の後部に、後側方に
向けてビデオカメラを取り付けて、その自車両の走行中
に得られた撮像画像の各点が全体として収束するような
無限遠点又は消失点（一般にＦＯＥ（Focus of Expansi
on）と呼ばれる）を求めるとともに、前記撮像画像中の
他車両の画像として認識された画像の中から特徴点を抽
出し、その特徴点の時間的な移動を移動ベクトル即ちオ
プティカルフロー（以下これをオプティカルフローと呼
称）として求め、このオプティカルフローが前記ＦＯＥ
から発散する方向に向かっているか、それとも前記ＦＯ
Ｅに収束する方向に向かっているかに応じて、隣接車線
を走行中の他車両あるいは後続の他車両の、自車に対し
て接近して来る相対速度あるいは相対距離あるいは相対
的位置関係を算出するようにした車両用後側方監視装置
や、それによる車両用後側方監視方法が種々提案されて
いる（特願平５−１９６１８９号等）。

【００１２】このような従来の車両用後側方監視装置に
よる後側方監視方法について、その主要点を図９に基づ
き簡潔に説明する。図９は、自車両後方に後ろ向きに取
り付けられた撮像手段である後方監視用カメラによって
得られた時間的に連続した画像、つまりそのカメラのＣ
ＣＤ撮像素子のような撮像素子のイメージプレーン１１
００の枠内に得られた後側景の一例の概要を示す図であ
る。なお、この図９は自車両が走行している隣の車線を
走行している他車両１１０１が、自車両を追い越してい
く状態を一例として示している。

【００１３】先ず図９（ａ）において、他車両１１０１
の画像を、前記のイメージプレーン１１００の枠内に得
られた後側景の画像の中から区別して認識する。

【００１４】他車両１１０１の画像認識の手法としては
種々の方式が利用可能であるが、例えば認識対象物であ
る他車両１１０１の画像とその他の道路や背景等（図示
省略）の画像との輝度差を利用して、それらの間の境界
認識、即ちいわゆるエッジを正確に検出することが従来
一般的である。このエッジの検出には、検出精度を高め
るために、前処理として微分処理によるエッジ強調や、
空間フィルタリングを用いたノイズ除去などの画像処理
手法を用いても良いことは言うまでもない。なお、画像
処理の一般的傾向として膨大な量のデータ処理が必要と
なりがちであるので、可能な限りの処理の簡略化を図る
ことが望ましい。前記の境界認識の手法としては、例え
ばＦｒｅｅｍａｎの方式やＳｋｌａｎｓｋｙの方式や距
離分割方式など種々の多角形近似方式などを用いること
ができる。

【００１５】そして、このようにして他車両１１０１の
画像の境界（エッジ）の認識を得た後、その境界あるい
はその境界の内部に包含される領域認識を行なうなどし
て、その中から予め定められた所定の条件に適合する特
徴点Ａを抽出する。この図９では、特徴点Ａとして他車
両１１０１の画像の境界（エッジ）のうちＦＯＥに最も
近い位置つまり自車両からは最も遠い位置のエッジ１１
０２の中心点を抽出する場合についての一例を示してい
る。

【００１６】そして、前記の特徴点Ａが抽出された時点
のコマの次の時点のコマでは、前記の特徴点Ａと対応す
る対応点を、図９（ｂ）のＦＯＥと特徴点Ａを結ぶ直線
上で探索する。この一例では図９（ｂ）の点Ａ′が対応
点として検出されている。そして前記のコマで抽出され
た点Ａからこの点Ａ′を結ぶベクトルがオプティカルフ
ローとなる。この図９の一例の場では、オプティカルフ
ローがＦＯＥから発散する方向に向かっているのである
から、隣接車線を走行中の他車両は、自車両に対して接
近して来る状態にある。そして、このようにして得られ
た他車両１１０１の特徴点のオプティカルフローの情報
に基づいて、その他車両１１０１の動き（つまり自車両
に対する相対的位置関係）が自車両にとって危険性が高
いか否かを判定する。

【００１７】そして危険性が高いと判定され、かつその
ときに自車両が車線変更を行なうために方向指示器を作
動させた場合には、その方向指示器の作動を入力として
検知して、そのとき車線変更を行なうことは危険性が高
いという旨の警告を、例えばアラーム音のような警報音
等で運転者に対して知らせることで、上記のような車線
変更の際などの他車との衝突や接触等の事故の発生を未
然に防ぐことを可能とすることができる、というもので
ある。なお、図８及び図９中の符号１２０５，１２０
６，１２０７は、いずれも道路１２０２上の車線を区分
するために道路１２０２上に塗布された白線や黄線を示
している。

【００１８】

【発明が解決しようとする課題】上記図８及び図９に示
すように、他車両１１０１の自車両に対する接近状態が
危険性の高い状態にあるときや、さらにそのとき自車両
が車線変更を行なうための方向指示器をその自車両の運
転者が作動させた場合には、危険性が高いという旨の警
告をアラーム音のような警報音等で運転者に対して知ら
せることができる。

【００１９】しかしながら、自車両１１０３に接近して
いる他車両１１０１から発生するオプティカルフローの
発生領域の大きさ、つまりイメージプレーン１１００上
に結像されて他車両１１０１として識別される画像の大
きさは、そのときの実物の他車両の大きさに依存して大
きいものとなったり、あるいは小さいものとなったりす
る。即ち、他車両１１０１の画像をイメージプレーン１
１００の全体に結像された後側景から識別する際には、
その他車両１１０１の画像とそれ以外の背景との輝度変
化つまり輝度差に基づいて識別しているが、特に大型ト
ラックなど大型車両が前記の他車両１１０１として撮像
された場合には、その大型トラックがイメージプレーン
１１００上に結像された画像は一般に乗用車よりも大き
な画像として大きな面積を占めることになる。

【００２０】また逆に、前記の他車両１１０１として例
えば軽自動車や自動二輪車等が撮像された場合には、そ
の軽自動車や自動二輪車等がイメージプレーン１１００
上に結像された画像は一般に乗用車よりも小さな画像と
して小さな面積を占めることになる。すると、上記のよ
うな面積の大きな画像としてイメージプレーン１１００
上に結像される大型トラックなど大型車両は他車両１１
０１として識別されやすく、また逆に面積の小さな画像
としてイメージプレーン１１００上に結像される軽自動
車や自動二輪車等は他車両１１０１として識別されない
ままに見過ごされる確率が大きいことになる。

【００２１】しかも、従来の車両用後側方監視装置で
は、他車両１１０１として識別された画像の領域内に発
生したオプティカルフロー、つまり他車両１１０１とし
て識別された画像を形成している各画素にそれぞれ対応
して形成されたオプティカルフローのベクトルとしての
長さの総和を求めて、その長さが所定のしきい値を越え
た場合には、そのとき他車両１１０１が自車両１１０３
にとって危険性が高いほどの近さに急接近しているもの
と判定されるので、その危険性の旨を警告する警報を発
するようにしているが、そのようなオプティカルフロー
のベクトルの長さの総和は、その一つ一つのオプティカ
ルフローのベクトルの長さが短くても（つまり他車両１
１０１の自車両１１０３に対する相対速度つまり接近速
度が遅くて危険性が低くとも）、他車両１１０１の画像
の面積が大きくなると（つまり画素の総個数が多くなる
と）、最終的に演算される前記オプティカルフローのベ
クトルの長さの総和は大きなものとなって、一般的な危
険性の判定基準として予め定められたしきい値を越えて
しまうことになる。

【００２２】そしてその結果、他車両１１０１の接近速
度が遅くて危険性が低い状態にもかかわらず、危険な状
態であるという誤った判定が下されてしまうという問題
がある。あるいは逆に、他車両１１０１の接近速度が速
くて危険性が高い状態にもかかわらず、その他車両１１
０１の画像の面積が小さいために上記のような理由から
危険な状態ではないという誤った判定が下されてしまう
という問題がある。

【００２３】また、同じ車間距離でも、自車両１１０３
に対する他車両１１０１の相対的位置関係に依存して、
前記オプティカルフローのベクトルの長さの総和は大き
く変化してしまい、正しい危険性の判定ができなくなる
という問題もある。

【００２４】即ち、上記と同様の理由で、他車両１１０
１の自車両１１０３に対する相対速度の値および車間距
離は同じでも、他車両１１０１の自車両１１０３に対す
る相対的位置関係が自車両１１０３の撮像手段による撮
像可能な領域の中央部から離れた位置であればあるほ
ど、他車両１１０１の一つ一つのオプティカルフローの
ベクトルの長さが大きくなる。また上記の相対的位置関
係のバリエーションとしては、同じ車間距離であって
も、接近車両が自車両１１０３と同じ車線を走行してい
るか隣接車線を走行しているかでも、そのときに自車両
の撮像画像上における接近車両の画像の位置は異なる位
置を取ることになる。

【００２５】このため、自車両１１０３の撮像手段によ
る撮像可能な領域の中央部から離れた位置に撮像された
他車両１１０１の自車両に対する接近状態はより危険な
状態であると判定される一方、自車両１１０３の撮像手
段による撮像可能な領域の中央部やそれに近い位置に撮
像された他車両１１０１は前記の場合よりも危険性は低
いと判定されることになり、他車両１１０１を正確に監
視することができなくなるという問題がある。

【００２６】本発明は、このような問題を解決するため
に成されたものである。本発明は、他車両がどのような
大きさの車両であっても、また自車両に対してどの相対
位置を走っていても、そのときの他車両の自車両に対す
る危険性を正確に判定することができる車両用後側方監
視装置を提供することを課題としている。

【００２７】

【課題を解決するための手段】本発明の車両用後側方監
視装置は、第１に、走行中または停止中の自車両から後
側景を撮像する撮像手段１０１と、前記撮像手段１０１
によって撮像された所定時間相前後する２コマの画像か
ら該画像の輝度分布に基づいて前記他車両１１０１の画
像を識別し、該識別された前記他車両の画像を形成する
各画素の前記所定時間相前後する２コマでの移動の方向
および長さに対応したベクトルをオプティカルフローと
して検出するオプティカルフロー形成手段１０２と、前
記オプティカルフローに基づいて前記他車両の前記自車
両に対する危険度を判定する危険度判定手段１０５と、
前記危険度判定手段１０５によって危険性ありと判定さ
れた場合には該危険性を警告する旨の警報を発する警報
発生手段１０７とを有する車両用後側方監視装置におい
て、前記危険度判定手段１０５は、前記他車両の画像を
形成する各画素のオプティカルフローのベクトルの長さ
の総和を求めるとともに前記他車両の画像を形成する各
画素の総個数を求め、前記オプティカルフローのベクト
ルの長さの総和を前記各画素の総個数で割って前記他車
両の画像を形成する各画素のオプティカルフローのベク
トルの長さの平均長を算出し、該平均長を、予め定めら
れたしきい値と比較して、前記平均長が前記しきい値以
上であった場合には、前記他車両が前記自車両に対して
接近しており危険性が高いものと判定する危険度判定手
段１０５であることを特徴とする車両用後側方監視装置
である。

【００２８】即ち、他車両の実際の大きさが大きい場合
には、それが撮像手段１０１で撮像された際の画像の大
きさも大きな面積となり、また他車両の実際の大きさが
小さい場合にはその逆となるが、本発明によれば、いず
れにせよ撮像手段１０１で撮像された他車両の画像の面
積で、その面積内の各画素のオプティカルフローのベク
トルの長さの総和を割ることにより、他車両の画像を形
成する各画素のオプティカルフローのベクトルの長さの
平均長を算出することができるので、他車両の実際の大
きさの大小つまりその画像の面積の大きさには関係なく
常に他車両の実際の走行速度を正しく判定することがで
きる。そしてその結果、大きな車両でも小さな車両でも
いずれの場合でもその車両の大きさに混乱されることな
く、自車両に対して接近して来る他車両の危険性を正し
く判定することができる。

【００２９】第２に、本発明の車両用後側方監視装置
は、上記第１記載の車両用後側方監視装置において、前
記危険度判定手段１０５はさらに、前記他車両の画像を
形成する各画素のオプティカルフローのベクトルの長さ
を前記撮像手段１０１のイメージプレーン上に撮像され
た前記他車両の画像の位置が前記イメージプレーンの中
央から遠くなるに従って高い値となるように予め定めら
れた補正値で割って補正し、該補正した長さの平均長を
求め、該平均長を予め定められたしきい値と比較して、
前記平均長が前記しきい値以上であった場合には、前記
他車両が前記自車両に対して接近しており危険性が高い
ものと判定する危険度判定手段１０５であることを特徴
とする車両用後側方監視装置である。

【００３０】即ち、他車両の実際の接近速度および車間
距離（ただし、いずれも進行方向に平行な方向で計測し
た場合とする）は同一であっても、撮像された他車両の
画像の位置が撮像手段１０１のイメージプレーンの中央
から遠くなるに従って他車両のオプティカルフローのベ
クトルの長さは長くなり、また逆に中央に近くなるに従
って他車両のオプティカルフローのベクトルの長さは短
くなる。

【００３１】そこで本発明によれば、前記他車両の画像
を形成する各画素のオプティカルフローのベクトルの長
さを前記撮像手段１０１のイメージプレーン上に撮像さ
れた前記他車両の画像の位置が前記イメージプレーンの
中央から遠くなるに従って高い値となるように予め定め
られた補正値で割って補正することで、自車両に対して
他車両がどの位置を走って居ても、そのときの他車両の
自車両に対する危険性を正確に判定することができるよ
うになる。

【００３２】第３に、本発明の車両用後側方監視装置
は、上記第１又は第２記載の車両用後側方監視装置にお
いて、前記オプティカルフロー形成手段１０２はさら
に、前記後側景の画像中に該画像の無限遠点を検出する
オプティカルフロー形成手段１０２であり、前記危険度
判定手段１０５はさらに、前記他車両の画像を形成する
各画素のオプティカルフローのベクトルのそれぞれの長
さを前記オプティカルフローのベクトルの前記無限遠点
からの距離に従って高い値に予め定められた補正値で割
って補正し、該補正した長さの平均長を求め、該平均長
を予め定められたしきい値と比較して、前記平均長が前
記しきい値以上であった場合には、前記他車両が前記自
車両に対して接近しており危険性が高いものと判定する
危険度判定手段１０５であることを特徴とする車両用後
側方監視装置である。

【００３３】即ち、他車両の実際の相対速度（の絶対
値）つまり自車両に対する接近速度および車間距離は同
じであっても、イメージプレーン上での他車両のオプテ
ィカルフローのベクトルの長さは上記の如く中央部から
離れるほど大きくなるが、これはさらに詳細には、無限
遠点を中心とする距離に比例してオプティカルフローの
ベクトルの長さは長くなっている。

【００３４】そこで本発明によれば、イメージプレーン
上での他車両のオプティカルフローのベクトルの長さ
を、そのオプティカルフローのベクトルの前記無限遠点
からの距離で割って補正し、その補正したそれぞれの長
さの平均長を求めることによって、そのとき他車両の画
像がイメージプレーン上でどこの位置にあろうとも、そ
の位置関係には関係なくそのときの他車両の自車両に対
する危険性を正確に判定することができるようになる。

【００３５】第４に、本発明の車両用後側方監視装置
は、上記第１記載の車両用後側方監視装置において、前
記危険度判定手段１０５はさらに、前記他車両の画像を
形成する各画素のオプティカルフローのベクトルの長さ
の平均長を、前記撮像手段１０１のイメージプレーン上
に撮像された前記他車両の画像の位置が前記イメージプ
レーンの中央から遠くなるに従って高い値となるように
予め定められた補正値で割って補正して、該補正した平
均長を、予め定められたしきい値と比較して、前記平均
長が前記しきい値以上であった場合には、前記他車両が
前記自車両に対して接近しており危険性が高いものと判
定する危険度判定手段１０５であることを特徴とする車
両用後側方監視装置である。

【００３６】即ち、上記第３記載の技術の如く各画素の
オプティカルフローのベクトルの長さを補正しても良い
が、まず先に他車両の画像を形成する各画素のオプティ
カルフローのベクトルの長さの平均長を算出してから、
その撮像された他車両の画像の位置に対応して、つまり
イメージプレーンの中央から遠くなるに従って、高い値
となるように予め定められた補正値で前記の平均長を割
って補正するようにしても良い。このようにすれば、他
車両の画像の位置に対応した補正の演算を一度だけで済
ませることができる。なお、前記の他車両の画像の位置
の検出ルールとしては、例えばそのときの他車両の画像
の中からいわゆる特徴点を一点抽出し、その特徴点の位
置をそのときの前記他車両の画像の位置として検出する
ようにしても良く、あるいはそのときの他車両の画像の
図心あるいは重心を演算して求めてその一点を用いるよ
うにしても良い。

【００３７】第５に、本発明の車両用後側方監視装置
は、上記第３又は第４記載の車両用後側方監視装置にお
いて、前記危険度判定手段１０５はさらに、前記各画素
のオプティカルフローのベクトルの位置および長さのう
ち少なくともいずれか一方乃至両方を、前記無限遠点を
中心とする極座標中のベクトルの位置および長さのうち
少なくともいずれか一方乃至両方として検出する危険度
判定手段１０５であることを特徴とする車両用後側方監
視装置である。

【００３８】即ち、本発明によれば、前記各画素のオプ
ティカルフローのベクトルの位置や長さを、イメージプ
レーン上でＸ−Ｙ座標上の点におけるベクトルの位置や
長さとしてとらえるよりも、無限遠点を中心とする極座
標中のベクトルの位置および長さとしてとらえた方が、
さらにその演算処理の計算量を削減して簡素化すること
ができる。その主要な理由の一つとしては、上記のよう
に無限遠点からの他車両の距離に基づいてそのときの他
車両の自車両に対する相対的位置や相対速度を求めてい
るのであるから、その無限遠点を中心とした極座標中で
前記各画素のオプティカルフローのベクトルの位置や長
さをとらえることが好適となる。

【００３９】つまり、本発明に係る車両用後側方監視装
置においては、他車両の自車両に対する相対的位置や相
対速度を演算する際の演算処理手法として、無限遠点を
中心とする斜め方向の直線上でそのときの他車両のオプ
ティカルフローのベクトルの位置や長さを検索〜検出す
る処理がほとんどの場合を占めているが、このような一
点を中心とした斜め方向の点やベクトルの検索〜検出処
理にはその無限遠点を中心とした極座標を用いることが
好適だからである。

【００４０】よって本発明によれば、無限遠点を中心と
する極座標中のベクトルの位置および長さとしてとらえ
ることで、さらにその演算処理の計算量を削減してデー
タ処理を簡素化することができ、その結果、他車両の自
車両に対する相対的位置や相対速度の算出のための演算
処理の高速化およびその演算処理回路の簡易化に寄与す
ることができる。

【００４１】第６に、上記第１乃至第５いずれかに記載
の車両用後側方監視装置において、前記危険度判定手段
１０５はさらに、前記しきい値として、前記イメージプ
レーン上の位置ごとに対応して予め定められたしきい値
を用いることを特徴とする車両用後側方監視装置であ
る。

【００４２】即ち、前記のしきい値の方を、イメージプ
レーン上における他車両の画像の位置ごとに対応して補
正した値として予め定めておくことで、他車両の画像が
イメージプレーン上でどこの位置にあろうとも、その位
置関係には関係なくそのときの他車両の自車両に対する
危険性を正確に判定することができる。そして、このよ
うにオプティカルフローではなくて、しきい値の方をイ
メージプレーン上の位置ごとに予め補正して設定してお
けば、時々刻々と変化する重いデータ量のオプティカル
フローに補正処理を施すよりも、さらに簡易で高速なデ
ータ処理が可能となるというメリットを得ることができ
る。

【００４３】第７に、上記第６記載の車両用後側方監視
装置において、前記危険度判定手段１０５はさらに、前
記しきい値として、前記イメージプレーン上の中央部か
らの距離に比例して大きな値となるように予め定められ
たしきい値を用いることを特徴とする車両用後側方監視
装置である。

【００４４】即ち、前記のしきい値の方を、イメージプ
レーン上における他車両の画像の位置ごとに対応して補
正した値として予め定めておくことで、他車両の画像が
イメージプレーン上でどこの位置にあろうとも、その位
置関係には関係なくそのときの他車両の自車両に対する
危険性を正確に判定することができるようになるが、こ
のときさらに詳細には、前記しきい値として、前記イメ
ージプレーン上の中央部からの距離に比例して大きな値
となるように予め定められたしきい値を用いることが好
適である。あるいは、前記イメージプレーンを例えば複
数領域に分割して考えて、その各領域ごとにそれぞれし
きい値を個別に設定しても良い。

【００４５】このように、オプティカルフローではなく
て、しきい値の方を、イメージプレーン上の位置ごとに
予め補正して設定しておけば、時々刻々と変化する重い
データ量のオプティカルフローに補正処理を施すより
も、さらに簡易で高速なデータ処理が可能となるという
メリットを得ることができる。

【００４６】

【発明の実施の形態】以下、本発明に係る車両用後側方
監視装置の実施形態を図面に基づいて説明する。

【００４７】（実施形態１）図１は本発明に係る車両用
後側方監視装置の主要部の構成を示す図である。この車
両用後側方監視装置は、走行中または停止中の自車両か
ら後側景を撮像する撮像手段１０１と、前記撮像手段１
０１によって撮像された所定時間相前後する２コマの画
像から該画像の輝度分布に基づいて前記他車両１１０１
の画像を識別し、該識別された前記他車両の画像を形成
する各画素の前記所定時間相前後する２コマでの移動の
方向および長さに対応したベクトルをオプティカルフロ
ーとして検出するオプティカルフロー形成手段１０２
と、前記オプティカルフローに基づいて前記他車両の前
記自車両に対する危険度を判定する危険度判定手段１０
５と、前記危険度判定手段１０５によって危険性ありと
判定された場合にはその危険性を警告する旨の警報を発
する警報発生手段１０７とを有する車両用後側方監視装
置であって、さらには、前記危険度判定手段１０５は、
前記他車両の画像を形成する各画素のオプティカルフロ
ーのベクトルの長さの総和を求めるとともに前記他車両
の画像を形成する各画素の総個数を求め、前記オプティ
カルフローのベクトルの長さの総和を前記各画素の総個
数で割って前記他車両の画像を形成する各画素のオプテ
ィカルフローのベクトルの長さの平均長を算出し、その
平均長を予め定められたしきい値と比較して、前記平均
長が前記しきい値以上であった場合には、前記他車両が
前記自車両に対して接近しており危険性が高いものと判
定する危険度判定手段１０５である。

【００４８】また、前記オプティカルフロー形成手段１
０２は、前記後側景の画像中にその画像の無限遠点を検
出するオプティカルフロー形成手段１０２である。ま
た、前記の危険度判定手段１０５はさらに、前記他車両
の画像を形成する各画素のオプティカルフローのベクト
ルそれぞれの長さを前記オプティカルフローのベクトル
の前記無限遠点からの距離で割って補正し、その補正し
た長さの総和を前記画素の総個数で割った平均長を求
め、その平均長を、予め定められたしきい値と比較し
て、前記平均長が前記しきい値以上であった場合には、
前記他車両が前記自車両に対して接近しており危険性が
高いものと判定する危険度判定手段１０５である。

【００４９】またさらには、前記危険度判定手段１０５
は、前記各画素のオプティカルフローのベクトルの位置
および長さを、前記無限遠点を中心とする極座標中のベ
クトルの位置および長さとしてそれぞれ検出する危険度
判定手段１０５である。

【００５０】次に、上記の各手段の機能および動作につ
いて詳述する。撮像手段１０１は、ＣＣＤ撮像素子のよ
うな撮像デバイスを用いた撮像カメラのような撮像装置
であって、例えば図８に示すように、自車両１１０３の
最後部に設置され、そこから撮像可能な角度θに亙って
の領域の後側景を撮像する。図３は、図８のような状態
のときに撮像手段１０１のイメージプレーン１１００上
にレンズ系を介して結像される画像の一例を示す図であ
る。なお、図３においては、図８、図９と同様の部分に
ついては同一の符号を付して示している。

【００５１】他車両検出部１０４は、まず図３のような
イメージプレーン１１００上に結像された画像から、他
車両１１０１の画像とその他の道路や背景等（図示省
略）の画像との輝度差を利用して、それらの間の境界即
ちエッジを検出する。

【００５２】こうして図３のような結像から検出された
エッジの一例を、図４に示す。このエッジの検出には、
検出精度を高めるために、前処理として微分処理による
エッジ強調や、空間フィルタリングを用いたノイズ除去
などの画像処理手法を用いても良い。また、画像処理の
一般的傾向として、膨大な量のデータ処理が必要となり
がちなので、可能な限り処理の簡略化を図ることが望ま
しいことは言うまでもない。このような画像処理自体は
従来の手法を好適に用いることができる。

【００５３】このようにして他車両１１０１の画像の境
界つまりエッジの認識を得た後、そのエッジ１１０１あ
るいはそのエッジに包囲された領域の認識を行なうなど
して、その領域内の特徴点Ａを抽出する。即ち、図４の
他車両１１０１のエッジに囲まれた閉領域内の各画素を
特徴点Ａとして抽出する。そして、この他車両１１０１
の特徴点Ａを抽出することと並行あるいは前後して、Ｆ
ＯＥ検出部（図示省略）によってＦＯＥ１２０８を検出
する。このＦＯＥ１２０８の検出は、撮像手段１０１に
よって結像された画像を画像信号に変換した後、その画
像信号を一旦、フレームメモリに格納する。そしてこの
画像信号に基づいてＦＯＥ検出部が時間的に連続する２
コマの画像から無限遠点即ちＦＯＥ１２０８を検出す
る。

【００５４】なお、このときフレームメモリから読み出
された１フレーム分過去の画像信号に基づいて画像信号
からエッジを形成するために、ハイパスフィルタ（ＨＰ
Ｆ）を用いるなどして、画像信号の高周波成分のみを通
過させる。即ち換言すれば、画像信号を微分するなどし
て、図４に一例を示すようなエッジの画像（に対応する
信号）を形成すれば良い。

【００５５】このようにしてＦＯＥ１２０８および他車
両１１０１の画像を形成している各画素が特徴点Ａとし
て抽出されると、その画像の次のコマとして前記の画像
を撮像した時点から撮像周期Δｔだけ後に撮像される、
次のコマの画像中から、前記の特徴点Ａに対応する対応
点Ａ´をそれぞれ検出する。

【００５６】このときの対応点Ａ´の探索は、特徴点Ａ
とＦＯＥ１２０８とを通る半直線１１０５上で探索すれ
ば良い。つまり、極座標を好適に用いて、その特徴点Ａ
とＦＯＥ１２０８とを通る半直線１１０５の極座標上で
の角度ψを固定し、γについてを変化させて検索すれば
よいので変数が少なくて済み、その演算処理量が削減で
きることになるので好ましい。

【００５７】続いて、特徴点Ａから対応点Ａ´に向かう
ベクトルを取って、他車両１１０１の特徴点のオプティ
カルフロー５００を形成する。

【００５８】こうして他車両１１０１の画像を形成して
いる各画素の特徴点Ａを抽出し、その次の時点でのコマ
の画像において特徴点Ａに対応する対応点Ａ´を検出
し、特徴点Ａから対応点Ａ´を結ぶベクトルを取ってオ
プティカルフロー５００を形成し、さらに次のコマの画
像が撮像されると、前回の対応点Ａ´を今度は前回の特
徴点Ａの代りに特徴点Ａ´として用いて、さらにその次
の時点でのコマの画像における対応点（Ａ´）´つまり
前回のコマの特徴点Ａ´に対応する対応点（Ａ´）´を
検出する。このような処理を、時々刻々と撮像タイミン
グごとに次々に画像のコマが撮像されるごとに次々と繰
り返して行くことで、その時々刻々の他車両１１０１の
画像のオプティカルフロー５００を得ることができる。

【００５９】なお、図４においては図示およびその説明
の簡潔化を図るために、特徴点Ａを一点のみ描いている
が、これは実際には他車両１１０１のエッジ内の閉領域
の各画素ごとに存在しているものであることは言うまで
もない。

【００６０】危険度判定手段１０５は、上記のようにし
て得られた他車両１１０１の画像のオプティカルフロー
５００の長さの総和を演算する一方、そのときの他車両
１１０１の画像を形成している画素の総個数を算出し、
さらにそれらに基づいて、前記のオプティカルフロー５
００の長さの総和をその画素の総個数で割って一画素あ
たりのオプティカルフロー５００の平均長を演算する。
この平均長の演算は、危険度判定手段１０５内の平均長
演算部１０５２が実行する。

【００６１】そして、このようにして算出された一画素
あたりのオプティカルフロー５００の平均長を、その他
車両１１０１の画像の位置に対応して補正部１０５１が
補正する。即ち、そのときの他車両１１０１の画像の図
心または重心あるいは最後部の一点などの位置を検出
し、その位置の図２（ａ）に一例を示すような無限遠点
（以下ＦＯＥと呼称）を中心とする極座標上での座標デ
ータに基づいて、特にそのＦＯＥからの距離γに従い予
め定められた補正値で前記のオプティカルフロー５００
の平均長をさらに割り算することによって、イメージプ
レーン上での図学的な長さの歪みを補正部１０５１が補
正する。

【００６２】つまり、図２（ａ）の一例に則して述べる
と、このときのオプティカルフロー５００の位置の極座
標がＰ（γ，ψ）であった場合には、そのオプティカル
フロー５００の長さＬを、点ＰのＦＯＥからの距離γに
従い予め定められた補正値で割ることによって、オプテ
ィカルフロー５００の位置がどの位置にあろうとも常に
他車両１１０１の実際の接近状態に対応した補正を行な
うことができる。

【００６３】レーンマーカ検出手段１０３は、図３のよ
うなイメージプレーン１１００上に結像された画像か
ら、レーンマーカ１２０５，１２０７の画像とその他の
道路や背景等（図示省略）の画像との輝度差を利用し
て、図４に示すようにそれらの間の境界即ちエッジを検
出し、このエッジの画像データを自車両１１０３が走行
している道路１２０３上の走行車線の区分を示すレーン
マーカ１２０５，１２０７の画像として危険度判定手段
１０５に送出する。

【００６４】なお、図１においてはレーンマーカ検出手
段１０３と他車両検出部１０４とは別個のブロックとし
て表現してあるが、特にそれらに用いられるイメージプ
レーン１１００上の画像データの取り込み〜エッジ抽出
の処理については、実際上は１つの画像処理回路内で実
行するようにしても良いことは言うまでもない。つま
り、レーンマーカ１２０５，１２０７のエッジも他車両
１１０１のエッジも、図４に示すように一つのイメージ
プレーン１１００上に結像された画像から抽出されるの
であるから、それらのエッジを取り出す処理自体につい
ては、従来の後側方監視装置でイメージプレーン上の画
像データの取り込み〜エッジ抽出の処理に用いられてい
るものと同様に１つの画像処理回路内で実行するように
しても良い。

【００６５】図５は、イメージプレーン１１００上にお
ける特徴点Ａおよびオプティカルフロー５００と道路１
２０２上の実物の位置ＰやＰ´との関係を模式的に示す
図である。なお、このＰ→Ａという対応関係は、実物の
他車両の点とそれに対応する特徴点との対応関係につい
ても、また実物の道路１２０２上のレーンマーカの点と
それに対応する特徴点との対応関係についても同様であ
る。また、このようなレーンマーカの検出は、例えば他
車両１１０１の動きのみを監視する方式の監視装置の場
合などには、ＦＯＥの検出用にのみ用いるだけでも良
く、あるいはこの検出されたレーンマーカのデータにを
用いて他車両や自車両の走行状態を判定するようにして
も良いことは言うまでもない。

【００６６】ここに、図５において符号５０２は撮像手
段１０１のカメラのレンズ系、またＰはある時点での他
車両１１０１の走行位置Ｐ、Ｐ´（Ｘ，Ｙ，Ｚ）はその
次のコマの撮像が行なわれる時点つまり周期Δｔを隔て
た後の他車両１１０１の相対的位置、Ａは前記の点Ｐに
対応してイメージプレーン１１００上に結像される点、
Ａ´は前記の点Ｐ´に対応してイメージプレーン１１０
０上に結像される点、ｆはレンズ系５０２からイメージ
プレーン１１００までの距離である。

【００６７】なお、説明の簡潔化を図るために、図５で
座標軸Ｚは他車両１１０１の走行方向に対して平行に取
ってあり、またイメージプレーン１１００は座標軸Ｚに
対して垂直に交わるように配置されているものとした。

【００６８】この図５に基づいて幾何学的に考察すると
下記に示すような関係式が求められる。即ち、 ｘ＝ｆ・Ｘ／Ｚ …（１） Ｘ´＝｛（Δｘ／Δｔ）・Ｚ＋ｘ・Ｚ´｝／ｆ …（２） ｕ＝Δｘ／Δｔとすると、 …（３） Ｚ＝（ｆ・Ｘ´−ｘＺ´）／ｕ …（４） ここで、上記のＺ´は隣接車線を走行中の他車両１１０
１と自車両１１０３と の相対速度であるから、これをＺ´＝−α …（５） とすると、上記（４）式は、 Ｚ＝（ｆ・Ｘ´＋ｘ・α）／ｕ …（６）

【００６９】従って、オプティカルフロー５０１のｘ方
向成分（即ちΔｘ／Δｔ＝ｕ）は、 ｕ＝（ｆ・Ｘ´＋ｘ・α）／Ｚ …（７）

【００７０】そしてまた、オプティカルフロー５０１の
ｙ方向成分（即ちΔｙ／Δｔ＝ｖ）についても上記とほ
ぼ同様に、 ｖ＝（ｆ・Ｙ´＋ｙ・α）／Ｚ …（８） 以上のような計算式が得られる。

【００７１】ところで、他車両１１０１は一般に、隣接
車線１２０４を直進しながら自車両１１０３に追い付い
て来る場合が殆どである。つまりその移動の方向は殆ど
Ｚ軸に平行であって、Ｘ軸方向つまり横方向の動きにつ
いては例えば他車両１１０１が左車線１２０３へと車線
変更する場合か、あるいは特殊な事情などにより蛇行し
ている場合などが考えられるが、いずれにせよそのよう
なＸ軸方向つまり横方向の動きの速さは前記の本来の走
行速度つまりＺ軸方向の速度の大きさよりかなり小さい
ので横方向の他車両１１０１のオプティカルフロー５０
０のＸ軸方向成分については無視しても実質上構わない
場合もある。特に、例えば図２中で他車両１１０１が横
方向右側へと動く場合には、他車両１１０１は撮像手段
１０１の死角の領域１２００に対してさらに積極的に侵
入して行くことになるが、しかしそれと同時に他車両１
１０１は自車両１１０３からさらに離れて行く方向に動
いていくことになるから、本発明に係る技術が必要な状
況とはむしろ逆に自車両１１０３に対して接触や衝突す
る危険性が低くなる方向に向かうことになる。

【００７２】従って、このような点から、本発明に係る
技術においては他車両１１０１の速度ベクトルのＸ軸方
向成分つまり横方向の速度の初期値については推測をし
ない場合について述べたが、このＸ軸方向成分について
も推測するようにしても良いことは言うまでもない。ま
た、他車両１１０１のＹ軸方向の動きつまり高さ方向の
動きについても、それを考慮しなければならない必然性
は前記のＸ軸方向の動きの場合よりもさらに薄いことは
言うまでもない。

【００７３】上記のような理由から、Ｘ軸方向およびＹ
軸方向の他車両１１０１の動きについては考慮に入れな
いで省略しても構わないことになる。よって、上記の
（７）式および（８）式において、Ｘ´＝０，Ｙ´＝０
をそれぞれ代入すると、 ｕ＝ｘ・α／Ｚ …（９） ｖ＝ｙ・α／Ｚ …（１０） このような簡潔な関係式が得られる。

【００７４】ここで、式（９）、（１０）から、オプテ
ィカルフローのｘ成分ｕは、そのオプティカルフロー発
生点のｘ座標に影響を受け、また同様にｙ成分ｖは、そ
のオプティカルフロー発生点のｙ座標に影響を受ける。
よって、 ｕ／ｘ＝α／Ｚ …（９）´ ｖ／ｙ＝α／Ｚ …（１０）´ のように、ｕをｘで、またｖをｙでそれぞれ割れば、そ
の値は純粋に相対接近速度αに比例し、また車間距離に
反比例する。つまりその値が大きければ、自車両に対し
て相対接近速度が大きいかまたは車間距離が短くて接近
している状態にあるか、あるいはそれらの両方か、とい
うことであって、いずれにせよ自車両に対して前記他車
両は危険性の高い状態にあることになる。

【００７５】これより、まず、他車両検出部１０４は、
自車両１１０３に対する他車両１１０１の相対的位置Ｐ
´の極座標のデータを求め、そのデータを危険度判定手
段１０５に送出する。

【００７６】さらに詳細には、既述の他車両検出部１０
４によって演算された他車両１１０１のオプティカルフ
ローのベクトルの平均長を補正してなる値（つまりＬ／
γ）が、予め定められたしきい値Ｌth以上になった場
合、即ち他車両１１０１が自車両１１０３に対して危険
性の高い距離にまで接近している場合や、自車両１１０
３に対する他車両１１０１の相対的位置（Ｘ，Ｙ，Ｚ）
や（γ，ψ）が、自車両１１０３の周囲の予め定められ
た領域内に入っていて、しかもその相対接近速度が速い
場合や車間距離が短くて接近状態にある場合、即ち他車
両１１０１が自車両１１０３の後方乃至側方の危険性の
高い領域内に入って来て急接近している場合などには、
そのように危険性が高い状態であることを危険度判定手
段１０５が判定する。そしてそのデータを、警報発生手
段１０７に送出する。

【００７７】このような自車両１１０３にとって他車両
１１０１との関係で危険性が高いこと（つまり危険度）
を危険度判定手段１０５が判定する判定基準およびその
判定手法自体については従来の危険度判定手段１０５で
用いられているような一般的な危険度判定手法を用いる
ことができる。さらに詳細には、前記のしきい値Ｌthの
設定については一般的な危険度判定に用いられる設定手
法を好適に用いることができる。

【００７８】ここで、前記のオプティカルフローのベク
トルの平均長を補正してなる値つまりＬ／γを求める際
に必要なγの値の算出手法は、極座標ではなく直交座標
を用いる場合には、Ｘ座標の値およびＺ座標の値の平方
和の平方根を取ることで算出できる。つまりイメージプ
レーン上で図学的にピタゴラスの定理に基づいて算出可
能であることは言うまでもない。

【００７９】そして警報発生手段１０７は、自車両１１
０３に対する他車両１１０１の相対的位置関係または相
対速度が、上記の如く危険性の高い状態に対応するもの
として予め定められた相対的位置関係又は相対速度の範
囲内に入っていた場合には、上記のようにＬ／γが予め
定められたＬth以上になっているので、これに基づいて
警報ブザー１０６にブザーを鳴動させて、その警報を発
する。

【００８０】次に、上記のような本発明に係る車両用後
側方監視装置の主要な動作を、図６の概要フローチャー
トに基づいて述べる。まず、ある時点で撮像手段１０１
によって自車両１１０３の後側景の画像が撮像され、そ
の画像（これを第１枚目の画像とする）を画像メモリ
（図示省略）に取り込む（ｓ１）。

【００８１】続いて、撮像周期Δｔを経て次のコマの画
像が撮像されると、その画像（これを第２枚目の画像と
する）を取り込んで（ｓ２）、前記の画像メモリに一旦
記憶されていた第１枚目の画像とともに、その画像中か
らレーンマーカ検出部１０３はレーンマーカ１２０５，
１２０７を検出し、また他車両検出部１０４は他車両１
１０１を検出する（ｓ３）。

【００８２】続いて前記のレーンマーカ検出部１０３は
上記のようにして検出されたレーンマーカ１２０５，１
２０７それぞれのエッジを特徴点として抽出する。また
その一方で他車両検出部１０４は他車両１１０１の画像
を形成している各画素をそれぞれ特徴点として抽出する
（ｓ４）。

【００８３】そしてまたレーンマーカ検出部１０３は、
既述の如くレーンマーカ１２０５，１２０７それぞれの
エッジ（または他車両１１０１のエッジを用いても良
い）に基づいて、ＦＯＥを推定する（ｓ５）。

【００８４】そしてオプティカルフロー形成手段１０２
は、レーンマーカ検出部１０３でレーンマーカ１２０
５，１２０７のオプティカルフローを形成し、また他車
両検出部１０４で他車両１１０１のオプティカルフロー
を形成する（ｓ６）。

【００８５】続いて、危険度判定手段１０５は他車両１
１０１の各画素のオプティカルフローの長さをそれぞれ
補正する（ｓ７）。

【００８６】そして平均長演算部１０５２は、オプティ
カルフローの総本数つまりそのときの他車両１１０１の
画像を形成している画素の総個数を算出する（ｓ８）。
また補正された各オプティカルフローの長さの総合計を
演算する（ｓ９）。そして算出されたオプティカルフロ
ーの長さの総合計の値を、そのときの他車両１１０１の
画像を形成している画素の総個数つまりオプティカルフ
ローの総本数で割ることにより、そのときのオプティカ
ルフローの長さの平均値、即ち平均長を得ることができ
る（ｓ１０）。

【００８７】こうして他車両１１０１の画像を形成して
いる各画素のオプティカルフローの平均長（これをＬm
）が算出されると、このときの平均長Ｌm を、予め定
められたしきい値Ｌthと比較して（ｓ１１）、Ｌth≦Ｌ
m であった場合には（ｓ１１のＹ）、他車両１１０１が
自車両１１０３に対して急接近しているものと判定して
その旨の警報を発する（ｓ１２）。

【００８８】そして、さらにこのとき、自車両１１０３
の運転席のハンドル付近に配置された方向指示器（ター
ンシグナルスイッチ）がＯＮになったならば（ｓ１３の
Ｙ）、その入力に基づいて、運転者が車線変更をする意
思表示をしたものと見做して、そのときの自車両１１０
３の車線変更が後続の他車両１１０１との関係で危険で
ある旨を運転者に知らせる警報を発する（ｓ１４）。

【００８９】そして、他車両１１０１が撮像手段１０１
の撮像可能領域１２００から外れて行き、その画像がイ
メージプレーン上から消失すると（ｓ１５）、今回の他
車両１１０１に関する一連の監視動作が終了される。

【００９０】このようにして自車両１１０３に対する他
車両１１０１の接近の危険性や、そのときの自車両１１
０３の車線変更の危険性を、他車両１１０１の大きさや
位置にかかわらず常に正確に判定して、その危険性を運
転者に正しく警報することができる。

【００９１】（実施形態２）この第２の実施形態の車両
用後側方監視装置は、上記第１の実施形態の車両用後側
方監視装置において、上記平均長演算部１０５２は、他
車両１１０１のオプティカルフローの長さの平均値Ｌm
をまず求める。

【００９２】そして危険度判定手段１０５２は、前記の
平均値Ｌm を、そのときの他車両１１０１の位置のイメ
ージプレーン上の中央部からの距離に比例した値となる
ように予め定められたしきい値を用いることが特徴的な
点である。

【００９３】即ち、その動作の概要を図７に示す概要フ
ローチャートに基づいて述べると、まず、ある時点で撮
像手段１０１によって自車両１１０３の後側景の画像が
撮像され、その画像（これを第１枚目の画像とする）を
画像メモリ（図示省略）に取り込む（ｓ１）。

【００９４】続いて、撮像周期Δｔを経て次のコマの画
像が撮像されると、その画像（これを第２枚目の画像と
する）を取り込んで（ｓ２）、前記の画像メモリに一旦
記憶されていた第１枚目の画像とともに、その画像中か
らレーンマーカ検出手段１０３はレーンマーカ１２０
５，１２０７を検出し、また他車両検出部１０４は他車
両１１０１を検出する（ｓ３）。

【００９５】続いて前記のレーンマーカ検出手段１０３
は上記のようにして検出されたレーンマーカ１２０５，
１２０７それぞれのエッジを特徴点として抽出する。ま
たその一方で他車両検出部１０４は他車両１１０１の画
像を形成している各画素をそれぞれ特徴点として抽出す
る（ｓ４）。

【００９６】そしてまたレーンマーカ検出手段１０３
は、既述の如くレーンマーカ１２０５，１２０７それぞ
れのエッジ（または他車両１１０１のエッジを用いても
良い）に基づいて、ＦＯＥを推定する（ｓ５）。そして
オプティカルフロー形成手段１０２は、レーンマーカ検
出手段１０３でレーンマーカ１２０５，１２０７のオプ
ティカルフローを形成し、また他車両検出部１０４で他
車両１１０１のオプティカルフローを形成する（ｓ
６）。

【００９７】続いて、危険度判定手段１０５の補正部１
０５１は、そのときの他車両１１０１の画像の、イメー
ジプレーン上における位置を検出し、その位置に対応し
て、最適なしきい値Ｌthを選択する（ｓ７）。

【００９８】つまり、さらに詳細には、図２（ｂ）にそ
の一例を示すように、監視領域を図示の如く３つの領域
２０１，２０２，２０３に分けて、その各領域ごとにそ
れぞれ中心となる位置を決める。その中心の決め方とし
ては、例えばその領域ごとの図心を求めるなどすれば良
い。

【００９９】例えば、左端の領域２０１の中心（これを
Ｍ1 とする）とＦＯＥとの間の距離（これをＬ1 とす
る）、中央の領域２０２の中心（これをＭ2 とする）と
ＦＯＥとの間の距離（これをＬ2 とする）、右端の領域
２０３の中心（これをＭ3 とする）とＦＯＥとの間の距
離（これをＬ3 とする）のそれぞれに比例したしきい値
を予め設定しておく。

【０１００】このときの３つの領域２０１，２０２，２
０３のそれぞれに対して設定されたしきい値Ｌthを、そ
れぞれ前記の順にＬth-1，Ｌth-2，Ｌth-3とすると、他
車両１１０１の画像が左端の領域２０１に入っているこ
とが検出された場合には、しきい値ＬthとしてＬth-1を
選択して用いる。

【０１０１】また他車両１１０１の画像が中央の領域２
０２に入っていることが検出された場合には、しきい値
ＬthとしてＬth-2を選択して用いる。また他車両１１０
１の画像が右端の領域２０３に入っていることが検出さ
れた場合には、しきい値ＬthとしてＬth-3を選択して用
いる。

【０１０２】このように、しきい値の方を補正する、つ
まり他車両１１０１の画像の位置ごとに好適な値を選択
して用いるようにすれば、オプティカルフローの方を補
正するよりも、その補正（つまり、より正確な危険性判
定）のための演算処理をさらに簡易なものとすることが
でき、またその結果、さらなる高速処理対応を可能とす
ることができるので好ましい。続いて、平均長演算部１
０５２は、オプティカルフローの総本数つまりそのとき
の他車両１１０１の画像を形成している画素の総個数を
算出する（ｓ８）。

【０１０３】また、補正された各オプティカルフローの
長さの総合計を演算する（ｓ９）。そして算出されたオ
プティカルフローの長さの総合計の値を、そのときの他
車両１１０１の画像を形成している画素の総個数、つま
りオプティカルフローの総本数で割ることにより、その
ときのオプティカルフローの長さの平均値、即ち平均長
（これをＬm とする）を得ることができる（ｓ１０）。

【０１０４】こうして他車両１１０１の画像を形成して
いる各画素のオプティカルフローの平均長Ｌm が算出さ
れると、このときの平均長Ｌm を、予め定められたしき
い値Ｌth-x（ただし図２（ｂ）の一例ではｘ＝１，２，
３）と比較して（ｓ１１）、Ｌth-x≦Ｌm であった場合
には（ｓ１１のＹ）、他車両１１０１が自車両１１０３
に対して急接近しているものと判定し、その旨の警報を
発する（ｓ１２）。

【０１０５】そして、さらにこのとき、自車両１１０３
の運転席のハンドル付近に配置された方向指示器（ター
ンシグナルスイッチ）がＯＮになったなら（ｓ１３の
Ｙ）、その入力に基づいて、運転者が車線変更をする意
思表示をしたものと見做して、そのときの自車両１１０
３の車線変更が後続の他車両１１０１との関係で危険で
ある旨を運転者に知らせる警報を発する（ｓ１４）。

【０１０６】そして、他車両１１０１が撮像手段１０１
の撮像可能領域１２００から外れて行き、その画像がイ
メージプレーン上から消失すると（ｓ１５）、今回の他
車両１１０１に関する一連の監視動作が終了される。

【０１０７】このようにして、自車両１１０３に対する
他車両１１０１の接近の危険性や、そのときの自車両１
１０３の車線変更の危険性を、他車両１１０１の大きさ
や位置にかかわらず常に正確に判定して、その危険性を
運転者に正しく警報することができる。

【０１０８】

【発明の効果】以上説明したように、本発明によれば、
第１に、本発明によれば、いずれにせよ撮像手段１０１
で撮像された他車両の画像の面積で、その面積内の各画
素のオプティカルフローのベクトルの長さの総和を割る
ことにより、他車両の画像を形成する各画素のオプティ
カルフローのベクトルの長さの平均長を算出することが
できるので、他車両の実際の大きさの大小つまりその画
像の面積の大きさには関係なく常に他車両の実際の走行
速度を正しく判定することができる。そしてその結果、
大きな車両でも小さな車両でもいずれの場合でもその車
両の大きさに混乱されることなく、自車両に対して速い
速度で接近して来る他車両の危険性を正しく判定するこ
とができる。

【０１０９】また、第２に、本発明によれば、前記他車
両の画像を形成する各画素のオプティカルフローのベク
トルの長さを前記撮像手段１０１のイメージプレーン上
に撮像された前記他車両の画像の位置が前記イメージプ
レーンの中央から遠くなるに従って高い値となるように
予め定められた補正値で割って補正することで、自車両
に対して他車両がどの位置を走って居ても、そのときの
他車両の自車両に対する危険性を正確に判定することが
できるようになる。

【０１１０】また、第３に、本発明によれば、イメージ
プレーン上での他車両のオプティカルフローのベクトル
の長さを、そのオプティカルフローのベクトルの前記無
限遠点からの距離で割って補正し、その補正したそれぞ
れの長さの平均長を求めることによって、そのとき他車
両の画像がイメージプレーン上でどこの位置にあろうと
も、その位置関係には関係なくそのときの他車両の自車
両に対する危険性を正確に判定することができるように
なる。

【０１１１】また、第４に、本発明によれば、まず先に
他車両の画像を形成する各画素のオプティカルフローの
ベクトルの長さの平均長を算出してから、その撮像され
た他車両の画像の位置に対応して、つまりイメージプレ
ーンの中央から遠くなるに従って高い値となるように予
め定められた補正値で前記の平均長を割って補正するこ
とで、他車両の画像の位置に対応した補正の演算を一度
だけで済ませることができる。

【０１１２】また、第５に、本発明によれば、無限遠点
を中心とする極座標中のベクトルの位置および長さとし
てとらえることで、さらにその演算処理の計算量を削減
してデータ処理を簡素化することができ、その結果、他
車両の自車両に対する相対的位置や相対速度の算出のた
めの演算処理の高速化およびその演算処理回路の簡易化
に寄与することができる。

【０１１３】また第６に、本発明によれば、画像のオプ
ティカルフローを補正するのではなくて、しきい値の方
をイメージプレーン上における他車両の画像の位置ごと
に対応して補正した値として予め定めておくことで、他
車両の画像がイメージプレーン上でどこの位置にあろう
とも、その位置関係には関係なくそのときの他車両の自
車両に対する危険性を正確に判定することができる。そ
して、このようにオプティカルフローではなくて、しき
い値の方をイメージプレーン上の位置ごとに予め補正し
て設定しておけば、時々刻々と変化する重いデータ量の
オプティカルフローに補正処理を施すよりも、さらに簡
易で高速なデータ処理が可能となるというメリットを得
ることができる。

【０１１４】また、第７に、本発明によれば、上記第６
記載の技術における、しきい値として、前記イメージプ
レーン上の中央部からの距離に比例して大きな値となる
ように予め定められたしきい値を用いることが好適であ
る。あるいは、前記イメージプレーンを例えば複数領域
に分割して考えて、その各領域ごとにそれぞれしきい値
を個別に設定する、つまり、しきい値の方をイメージプ
レーン上の位置ごとに予め補正して設定しておけば、時
々刻々と変化する重いデータ量のオプティカルフローに
補正処理を施すよりも、さらに簡易で高速なデータ処理
が可能となるというメリットを得ることができる。

【図面の簡単な説明】

【図１】本発明に係る車両用後側方監視装置の主要部の
構成を示す図である。

【図２】本発明に係る車両用後側方監視装置における、
極座標を用いて他車両の位置や速度を検知する技術の一
例を模式的に示す図である。

【図３】本発明に係る車両用後側方監視装置を搭載した
自車両が、他車両とともに道路上を走行している場合の
一例を示す図である。

【図４】図３のような結像から検出されたエッジの画像
および特徴点の一例を示す図である。

【図５】イメージプレーン上における特徴点Ａおよびオ
プティカルフローの座標の関係を模式的に示す図であ
る。

【図６】本発明に係る第１の実施形態の車両用後側方監
視装置の主要部の動作を示す概要フローチャートであ
る。

【図７】本発明に係る第２の実施形態の車両用後側方監
視装置の主要部の動作を示す概要フローチャートであ
る。

【図８】従来の車両用後側方監視装置を搭載した自車両
が他車両とともに道路上を走行している場合の一例を示
す図である。

【図９】自車両後方に後ろ向きに取り付けられた撮像手
段である後方監視用カメラによって得られた時間的に連
続した画像、つまりそのカメラのＣＣＤ撮像素子のよう
な撮像素子のイメージプレーンの枠内に得られた後側景
およびそれから抽出される特徴点およびＦＯＥの一例を
模式的に示す図である。

【符号の説明】

１０１ 撮像手段 １０２ オプティカルフロー形成手段 １０５ 危険度判定手段 １０７ 警報発生手段

フロントページの続き (72)発明者 藤浪 一友 静岡県沼津市大岡2771 矢崎総業株式会社 内 Ｆターム(参考） 5B057 AA16 BA02 DA15 DC03 DC05 DC16 DC17 5C054 FC05 FC15 FC16 FF06 HA30 5C086 AA54 BA22 CA28 DA08 FA02

Claims (7)

【特許請求の範囲】
1. 【請求項１】 走行中または停止中の自車両から後側景
   を撮像する撮像手段と、前記撮像手段によって撮像され
   た所定時間相前後する２コマの画像から該画像の輝度分
   布に基づいて前記他車両の画像を識別し、該識別された
   前記他車両の画像を形成する各画素の前記所定時間相前
   後する２コマでの移動の方向および長さに対応したベク
   トルをオプティカルフローとして検出するオプティカル
   フロー形成手段と、前記オプティカルフローに基づいて
   前記他車両の前記自車両に対する危険度を判定する危険
   度判定手段と、前記危険度判定手段によって危険性あり
   と判定された場合には該危険性を警告する旨の警報を発
   する警報発生手段とを有する車両用後側方監視装置にお
   いて、 前記危険度判定手段は、前記他車両の画像を形成する各
   画素のオプティカルフローのベクトルの長さの総和を求
   めるとともに前記他車両の画像を形成する各画素の総個
   数を求め、前記オプティカルフローのベクトルの長さの
   総和を前記各画素の総個数で割って前記他車両の画像を
   形成する各画素のオプティカルフローのベクトルの長さ
   の平均長を算出し、該平均長を、予め定められたしきい
   値と比較して、前記平均長が前記しきい値以上であった
   場合には、前記他車両が前記自車両に対して接近してお
   り危険性が高いものと判定する危険度判定手段であるこ
   とを特徴とする車両用後側方監視装置。
2. 【請求項２】 請求項１記載の車両用後側方監視装置に
   おいて、 前記危険度判定手段はさらに、前記他車両の画像を形成
   する各画素のオプティカルフローのベクトルの長さを前
   記撮像手段のイメージプレーン上に撮像された前記他車
   両の画像の位置が前記イメージプレーンの中央から遠く
   なるに従って高い値となるように予め定められた補正値
   で割って補正し、該補正した長さの総和を前記各画素の
   総個数で割った平均長を求め、該平均長を予め定められ
   たしきい値と比較して、前記平均長が前記しきい値以上
   であった場合には、前記他車両が前記自車両に対して接
   近しており危険性が高いものと判定する危険度判定手段
   であることを特徴とする車両用後側方監視装置。
3. 【請求項３】 請求項１又は２記載の車両用後側方監視
   装置において、 前記オプティカルフロー形成手段はさらに、前記後側景
   の画像中に該画像の無限遠点を検出するオプティカルフ
   ロー形成手段であり、 前記危険度判定手段はさらに、前記他車両の画像を形成
   する各画素のオプティカルフローのベクトルのそれぞれ
   の長さを前記オプティカルフローのベクトルの前記無限
   遠点からの距離が大きくなるほど高い値となるように予
   め定められた補正値で割って補正し、該補正した長さの
   総和を前記各画素の総個数で割った平均長を求め、該平
   均長を予め定められたしきい値と比較して、前記平均長
   が前記しきい値以上であった場合には、前記他車両が前
   記自車両に対して接近しており危険性が高いものと判定
   する危険度判定手段であることを特徴とする車両用後側
   方監視装置。
4. 【請求項４】 請求項１記載の車両用後側方監視装置に
   おいて、 前記危険度判定手段はさらに、前記他車両の画像を形成
   する各画素のオプティカルフローのベクトルの長さの総
   和を前記各画素の総個数で割った平均長を、前記撮像手
   段のイメージプレーン上に撮像された前記他車両の画像
   の位置が前記イメージプレーンの中央から遠くなるに従
   って高い値となるように予め定められた補正値で割って
   補正して、該補正した平均長を、予め定められたしきい
   値と比較して、前記平均長が前記しきい値以上であった
   場合には、前記他車両が前記自車両に対して接近してお
   り危険性が高いものと判定する危険度判定手段であるこ
   とを特徴とする車両用後側方監視装置。
5. 【請求項５】 請求項１乃至４いずれかに記載の車両用
   後側方監視装置において、 前記危険度判定手段はさらに、前記各画素のオプティカ
   ルフローのベクトルの位置および長さのうち少なくとも
   いずれか一方乃至両方を、前記無限遠点を中心とする極
   座標中のベクトルの位置および長さのうち少なくともい
   ずれか一方乃至両方として検出する危険度判定手段であ
   ることを特徴とする車両用後側方監視装置。
6. 【請求項６】 請求項１乃至５いずれかに記載の車両用
   後側方監視装置において、 前記危険度判定手段はさらに、前記しきい値として、前
   記イメージプレーン上の位置ごとに対応して予め定めら
   れたしきい値を用いることを特徴とする車両用後側方監
   視装置。
7. 【請求項７】 請求項６記載の車両用後側方監視装置に
   おいて、 前記危険度判定手段はさらに、前記しきい値として、前
   記イメージプレーン上の中央部からの距離に比例して大
   きな値となるように予め定められたしきい値を用いるこ
   とを特徴とする車両用後側方監視装置。