JP2003312408A - 映像診断装置、車載型映像監視装置の映像診断システム、追越車両監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 この発明は、監視用の映像が規格に満たない
異常状態の映像か否かを診断することができる。 【解決手段】 この発明は、映像を用いた車両用監視シ
ステムにおいて、正常な輝度分布、異常な輝度分布とを
確率モデルとして持ち、各時刻の検出領域内の輝度分布
が、どちらのモデルに近いかを用い、かつ各時刻の検出
領域内の輝度分布にしたがって各モデルを更新すること
により、画像取り込み装置の輝度特性や、画像入力時の
照明条件に依存しにくい安定した映像診断を行うことが
可能となるようにしたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、車両の前方ある
いは後方等の監視用の車載カメラの映像を診断する映像
診断装置、車両用監視装置の映像診断システム、追越車
両監視装置に関する。

【０００２】

【従来の技術】自動車運転時の安全性を向上させる目的
で、運転時に計測可能な画像入力センサの計測結果を評
価して、警告を発したり運転制御を行って事故を回避す
るための装置が数多く提案されている。たとえば、自車
前方に設置されたカメラを用いるものとして、走行路前
面の単一カメラからの画像解析によって自車線を抽出し
走行路逸脱警報を発するためのものや、走行路前面の複
数台のカメラ画像の解析によりステレオの原理を用い
て、走行路前面の障害物を検知したり、自車の前走車と
の距離を計測して追突警報を行うものなどがある。

【０００３】また、自車後方に設置されたカメラを用い
るものとして、自車の後方から接近して自車を追い越す
動きのある他車を検知し、接触事故予防のための警報を
発する装置などがある。このような監視、警報装置にお
いて、入力画像が本来の監視処理に対して適正か、どう
かを判定するものとして、逆光やスメアー（ｓｍｅａ
ｒ）のような輝度レベルの問題に注目し、画面内の輝度
レベルの代表値をある閾値にしたがって評価し、是非を
判定するものがある。たとえば、特開２００１−４３３
７７号公報では、画面内の水平方向の輝度分布を異常時
の分布と比較することで前述の判定をおこなっている。
また、特開２００１−４３３５２号公報においては、画
像の水平方向のエッジ（ｅｄｇｅ）が少なく、かつ平均
輝度が高いときにフェールと判定するものである。

【０００４】前述したこれら従来技術からなる装置の大
部分は、ある特定の特徴量を検出するために良好な入力
映像が得られる場合を仮定しており、場合によっては検
出条件を満たさない（以後異常映像と称する）ことも考
えられる。この例として、入力画像の輝度が異常に高く
飽和状態になったり逆に非常に不足している場合、およ
び悪天候による雨滴、雪等、またはその他なんらかの汚
れ、ゴミ等が撮像面に付着したり故意に正常映像が遮ら
れてしまった場合などがある。

【０００５】以上の場合、ユーザーが異常に気付かずに
装置を使用し続けたことで、本来の映像特徴量の計測が
できないために所望の監視結果が得られない恐れがあ
る。その場合、車両運転中のユーザが誤った判断をし
て、事故につながるおそれがある。これに対して、異常
映像に対する手段を講じている車載監視装置の従来例と
して、前述の特開２００１−４３３７７号公報や特開２
００１−４３３５２号公報、または特願平０７−１２１
６７８号（車両用車外監視装置）などがある。

【０００６】前者は逆光やスメアー（ｓｍｅａｒ）のよ
うな輝度レベルの影響によっておこる異常映像を検知す
るためのものであるが、輝度分布やエッジ量の判定を水
平方向のみで行っており、車両の進行方向が暗に画面垂
直方向に仮定されており、不十分と考えられる。また、
一般に車載監視装置において起こり得る異常状態として
は、このような輝度レベルの問題以外に、撮像系レンズ
面等に付着物が存在するために起こるものも多く、その
ための対策が考慮されていない。

【０００７】一方、後者の例では撮像装置の画像取込タ
イミングをワイパーの動きと連動させたものであるた
め、雨雪による影響によって生じる異常映像をワイパー
で除去してから使用しているために、ワイパーを動作さ
せている場合には、付着物の問題にも対処できる。しか
し一般に晴天時や少雨の場合にワイパーを使用するユー
ザは極めて少ないため、後者の方法を用いても異常映像
に気付かずに監視装置を動作させ続けユーザの判断をあ
やまらせる可能性が残り、問題である。

【０００８】

【発明が解決しようとする課題】この発明は、監視用の
映像が規格に満たない異常状態の映像か否かを診断する
ことができることを目的としている。

【０００９】

【課題を解決するための手段】この発明の映像診断装置
は、映像を撮像する撮像手段と、この撮像手段による撮
像映像から白線を検出する検出手段と、この検出手段に
より検出した白線を基準に、かつ自車両からの相対的な
距離、時間の異なる複数の検出領域を撮像映像から抽出
する抽出手段と、この抽出手段により抽出される複数の
検出領域それぞれに対応する正常輝度分布と異常輝度分
布とを記憶する記憶手段と、上記抽出手段により抽出さ
れる複数の検出領域の各輝度分布と上記記憶手段に記憶
されている複数の検出領域ごとの正常輝度分布と異常輝
度分布のそれぞれと比較し、各検出領域の輝度分布の少
なくとも１つが異常輝度分布に類似する際に、輝度異常
を診断する診断手段とを有する。

【００１０】この発明の車載型映像監視装置の映像診断
システムは、車両に設けられ、所定の視野の映像を撮影
する撮影手段と、この撮影手段により撮影された映像か
ら得られる特徴を監視する監視手段とからなる車載型映
像監視装置に用いられる映像を診断するにおいて、上記
撮影手段により撮影された映像から白線を検出する検出
手段と、この検出手段により検出した白線を基準に、か
つ自車両からの相対的な距離、時間の異なる複数の検出
領域を撮像映像から抽出する抽出手段と、この抽出手段
により抽出される複数の検出領域それぞれに対応する正
常輝度分布と異常輝度分布とを記憶する記憶手段と、上
記抽出手段により抽出される複数の検出領域の各輝度分
布と上記記憶手段に記憶されている複数の検出領域ごと
の正常輝度分布と異常輝度分布のそれぞれと比較し、各
検出領域の輝度分布の少なくとも１つが異常輝度分布に
類似する際に、輝度異常を診断する診断手段とを有す
る。

【００１１】この発明の追越車両監視装置は、車両の後
方の映像を撮像する撮像手段と、この撮像手段による撮
像映像から車線を区切る白線を検出する検出手段と、こ
の検出手段により検出した白線を基準に、かつ自車両か
らの相対的な距離、時間の異なる複数の検出領域を撮像
映像から抽出する抽出手段と、この抽出手段により抽出
される複数の検出領域それぞれに対応する正常輝度分布
と異常輝度分布とを記憶する記憶手段と、上記抽出手段
により抽出される複数の検出領域の各輝度分布と上記記
憶手段に記憶されている複数の検出領域ごとの正常輝度
分布と異常輝度分布のそれぞれと比較し、各検出領域の
輝度分布の少なくとも１つが異常輝度分布に類似する際
に、輝度異常を診断する診断手段と、この診断手段によ
り輝度異常を診断されなかった際に、抽出手段により抽
出される複数の検出領域におけるフレーム間での移動ベ
クトルに基づいて、追越車両の車線および自車両からの
距離あるいは接近の度合いを判断する判断手段とを有す
る。

【００１２】この発明の映像診断装置は、車両の後方あ
るいは前方の映像を撮像する撮像手段と、この撮像手段
による撮像映像から自車両が通過中の通行車線と隣接車
線とを区別する白線を検出する検出手段と、この検出手
段により検出した白線を基準に、かつ自車両からの相対
的な距離、時間、車線の異なる複数の検出領域と、これ
らの検出領域のそれぞれに上記白線を介して対向してい
る近接領域を撮像映像から抽出する抽出手段と、この抽
出手段により抽出される複数の検出領域、近接領域のそ
れぞれに対応する正常輝度分布と異常輝度分布とを記憶
する記憶手段と、上記抽出手段により抽出される複数の
検出領域、近接領域の各輝度分布と上記記憶手段に記憶
されている複数の検出領域、近接領域ごとの正常輝度分
布と異常輝度分布のそれぞれとを比較し、正常の確率と
異常の確率とを算出し、この算出した確率の総合計によ
り、輝度異常か否かを診断する診断手段とを有する。

【００１３】この発明の映像診断装置は、車両の後方の
映像を撮像する撮像手段と、この撮像手段による撮像映
像から自車両が通過中の通行車線と隣接車線とを区別す
る白線を検出する検出手段と、この検出手段により検出
した白線を基準に、かつ自車両からの相対的な距離、時
間、車線の異なる複数の検出領域と、これらの検出領域
のそれぞれに上記白線を介して対向している近接領域を
撮像映像から抽出する抽出手段と、この抽出手段により
抽出される複数の検出領域、近接領域のそれぞれに対応
する正常輝度分布と異常輝度分布とを記憶する記憶手段
と、上記抽出手段により抽出される複数の検出領域、近
接領域の各輝度分布と上記記憶手段に記憶されている複
数の検出領域、近接領域ごとの正常輝度分布と異常輝度
分布のそれぞれとを比較し、正常の確率と異常の確率と
を算出し、この算出した確率の総合計により、輝度異常
か否かを診断する診断手段とを有する。

【００１４】この発明の映像診断装置は、車両の後方あ
るいは前方の映像を撮像する撮像手段と、この撮像手段
による撮像映像から自車両が通過中の通行車線と左右の
隣接車線とを区別する左右の白線を検出する検出手段
と、この検出手段により検出した左側の白線を基準に、
かつ自車両からの相対的な距離、時間の異なる複数の第
１の検出領域と、これら第１の検出領域のそれぞれに上
記左側の白線を介して対向している第１の近接領域を撮
像映像から抽出し、また検出手段により検出した右側の
白線を基準に、かつ自車両からの相対的な距離、時間の
異なる複数の第２の検出領域と、これら第２の検出領域
のそれぞれに上記右側の白線を介して対向している第２
の近接領域を撮像映像から抽出する抽出手段と、この抽
出手段により抽出される第１、第２の検出領域、第１、
第２の近接領域のそれぞれに対応する正常輝度分布と異
常輝度分布とを記憶する記憶手段と、上記抽出手段によ
り抽出される第１、第２の検出領域、第１、第２の近接
領域の各輝度分布と上記記憶手段に記憶されている第
１、第２の検出領域、第１、第２の近接領域ごとの正常
輝度分布と異常輝度分布のそれぞれとを比較し、第１の
検出領域、第１の近接領域に対する異常の確率とを第２
の検出領域、第２の近接領域に対する異常の確率と算出
し、この算出した異常の確率の総合計に所定値以上の差
がある際に、輝度異常を診断する診断手段とを有する。

【００１５】この発明の映像診断装置は、所定の視野の
映像を撮影する撮影手段と、この撮影手段により撮影さ
れた映像における特定領域のテクスチャーを有する画素
のうち、移動する画素の画素数比、およびそれらのうち
の停止する画素の分布範囲とを評価することにより、異
常状態の映像か否かを診断する診断手段とを有する。

【００１６】この発明の車載型映像監視装置の映像診断
システムは、所定の視野の映像を撮影する撮影手段と、
この撮影手段により撮影された映像における特定領域の
テクスチャを有する画素のうち、移動する画素の画素数
比、および特定領域の輝度分布が画面内の典型画素値か
ら、一定値以上異なっているかどうかを評価することに
より、異常状態の映像か否かを診断する診断手段とを有
する。

【００１７】

【発明の実施の形態】以下、図面を参照してこの発明の
実施形態の車載型映像監視装置の映像診断システムを説
明する。すなわち、オプティカルフロー（ｏｐｔｉｃａ
ｌ−ｆｌｏｗ）検出を基本原理とする車載型映像監視装
置によって監視を実施する場合に、入力映像診断を行う
システムの実施例を示す。車載型映像監視装置は、画像
の中の動き情報を検出し、この動き情報に基づいて、車
両がどこにいるとか、追越を掛けてきたとか、横から出
てきた等を監視するものである。この装置における基と
なる入力映像の診断を行うものである。

【００１８】図１は、後側方監視用途で用いられる車載
型映像監視装置の映像診断システムの概略構成を示すブ
ロック図である。この車載型映像監視装置の映像診断シ
ステムは、車両に搭載される車載型映像監視装置の映像
を診断するシステムであり、映像入力手段１、映像監視
手段２、映像診断領域決定手段３、判定モード設定手段
４、高輝度異常映像判定手段５、異物付着異常映像判定
手段６、警報手段７、非映像センサ８により構成されて
いる。

【００１９】上記映像入力手段１、映像監視手段２、警
報手段７により、車両の後方の映像に基づいて後側方か
らの追い越し車両の存在についての警告信号を発する運
転支援システム（車載型映像監視装置）となっている。

【００２０】映像入力手段１は、図２に示すように、車
両Ｊの後部から後側方視野（自車線の両隣りの車線に相
当する）をカバーするように自車Ｊの後方を撮像する撮
像手段としてのＣＣＤカメラ（車載カメラ）Ｃにより構
成され、撮像画像はディジタル化された映像として映像
監視手段２、映像診断領域決定手段３、高輝度異常映像
判定手段５、異物付着異常映像判定手段６に出力され
る。この映像入力手段１の撮像面（カメラレンズ）、ま
たはそのカバー面などに雨滴、雪、氷、泥などの異物が
付着したり、逆光、昼間のトンネルの出入りによる照度
の急変などによって入力映像が劣化し、監視が不可能に
なる場合がある。

【００２１】映像監視手段２は、後述する手法により、
映像入力手段１からの入力映像としてのディジタル化さ
れた映像信号を用いて追い越し等の後側方監視処理を行
うものである。映像診断領域決定手段３は、映像入力手
段１からの入力映像としてのディジタル化された映像信
号を用いて、図３に示すように、映像監視手段２が処理
対象とする画面内の追越車両監視領域Ａｄ（Ａｄ０〜Ａ
ｄ２）と、この追越車両監視領域Ａｄ（Ａｄ０〜Ａｄ
２）に隣接する周辺領域Ａｓ（Ａｓ０〜Ａｓ２）とをた
とえば白線Ｗ１、Ｗ２の判断に基づいて映像診断領域と
して決定するものである。

【００２２】たとえば、映像入力手段１からの複数フレ
ームのビットマップデータを用いて、車両等の搬送方向
（舵角の方向）と略同じ方向に連続する所定の幅を持っ
たデータを抽出することにより判断できる。判定モード
設定手段４は、高輝度異常映像判定手段５、異物付着異
常映像判定手段６が、１つのフレーム単位で処理を行う
のか、複数のフレーム単位で処理を行うのかを設定する
ものである。

【００２３】高輝度異常映像判定手段５は、入力映像が
高輝度による異常映像であるか否かを判定するものであ
る。異物付着異常映像判定手段６は、入力映像が異物付
着による異常映像であるか否かを判定するものである。

【００２４】警報手段７は、映像監視手段２による映像
の監視結果が映像、音声にて報知するものである。非映
像センサ８は、本システムで使用するシステム時計、速
度センサ、舵角センサ、ワイパースイッチの各センサと
なっている。

【００２５】第１の実施形態は、輝度に関する異常映像
の診断を行うものである。第１の実施形態は、映像を用
いた車両用監視システムであって、入力映像が監視に不
適な異常状態映像であることを検出する映像診断方式で
あり、異常状態映像として強反射、強入射光による輝度
飽和映像を想定するが、正常映像であるのか異常映像で
あるのかを判別するために、正常な輝度分布、異常な輝
度分布とを確率モデルとして持ち、各時刻の検出領域内
の輝度分布が、どちらのモデルに近いかを用い、かつ各
時刻の検出領域内の輝度分布にしたがって各モデルを更
新することにより、画像取り込み装置の輝度特性や、画
像入力時の照明条件に依存しにくいものである。

【００２６】第２の実施形態は、輝度に関する異常映像
の診断での複数フレーム情報を利用するものである。第
２の実施形態は、映像を用いた車両用監視システムであ
って、入力映像が監視に不適な異常状態映像であること
を検出する映像診断方式であり、異常状態映像として強
反射、強入射光による輝度飽和映像を想定するが、正常
映像であるのか異常映像であるのかを判別するために、
正常な輝度分布、異常な輝度分布とをモデルとして持
ち、各時刻の検出領域内の輝度分布が、どちらのモデル
に近いかを用い、かつ各時刻の検出領域内の輝度分布に
したがって各モデルを更新することにより、画像取り込
み装置の輝度特性や、画像入力時の照明条件に依存しに
くいことを特徴とする車両用監視装置において、映像中
から時系列的に得られる前述の正常、異常判定情報を複
数フレーム画像全体または一部から抽出して、その時間
的分布を評価することによって監視不可能な異常状態映
像を判定するものである。第３の実施形態は、前方およ
び後方の視界での異常輝度映像の診断を行うものであ
る。第３の実施形態は、映像を用いた車両用監視システ
ムであって、監視対象として、自車前方、および後方の
映像を用いるものにおいて、入力映像が監視に不適な異
常状態映像であることを検出する映像診断方式であり、
異常状態映像として強反射、強入射光による輝度飽和映
像を想定するが、正常映像であるのか異常映像であるの
かを判別するための対象画像領域として、消失点近傍の
１つないし複数の領域と、それ以外の１つないし複数の
領域とを個別に使用し、これら各々の領域と、その周囲
領域との輝度分布、およびそれぞれの領域での輝度分布
同士の関係を用いて正常と異常とを判定するものであ
る。

【００２７】第４の実施形態は、前方および後方の視界
での異常輝度映像の診断での復数フレーム情報の利用を
行うものである。第４の実施形態は、映像を用いた車両
用監視システムであって、監視対象として、自車前方、
および後方の映像を用いるものにおいて、入力映像が監
視に不適な異常状態映像であることを検出する映像診断
方式であり、異常状態映像として強反射、強入射光によ
る輝度飽和映像を想定するが、正常映像であるのか異常
映像であるのかを判別するための対象画像領域として、
消失点近傍の１つないし複数の領域と、それ以外の１つ
ないし複数の領域とを個別に使用し、これら各々の領域
と、その周囲領域との輝度分布、およびそれぞれの領域
での輝度分布同士の関係を用いて正常と異常とを判定す
ることを特徴とする車両用監視装置において、映像中か
ら時系列的に得られる前述の正常、異常判定情報を複数
フレーム画像全体または一部から抽出して、その時間的
分布を評価することによって監視不可能な異常状態映像
を判定するものである。

【００２８】第５の実施形態は、進行方向以外の入射光
による輝度異常映像の診断を行うものである。第５の実
施形態は、映像を用いた車両用監視システムであって、
監視対象として、自車前方、および後方の映像を用いる
ものにおいて、入力映像が監視に不適な異常状態映像で
あることを検出する映像診断方式であり、異常状態映像
として強反射、強入射光による輝度飽和映像を想定する
が、正常映像であるのか異常映像であるのかを判別する
ための対象画像領域として、自車線の左側領域、右側領
域に別けて個別に検証することを特徴とし、左右の輝度
異常状態の評価量に著しく差があるときに輝度異常状態
として検出するものである。

【００２９】第６の実施形態は、進行方向以外の入射光
による輝度異常映像の診断での復数フレーム情報の利用
を行うものである。第６の実施形態は映像を用いた車両
用監視システムであって、監視対象として、自車前方、
および後方の映像を用いるものにおいて、入力映像が監
視に不適な異常状態映像であることを検出する映像診断
方式であり、異常状態映像として強反射、強入射光によ
る輝度飽和映像を想定するが、正常映像であるのか異常
映像であるのかを判別するための対象画像領域として、
自車線の左側領域、右側領域に別けて個別に検証するこ
とを特徴とし、左右の輝度異常状態の評価量に著しく差
があるときに輝度異常状態として検出することを特徴と
する車両用監視装置において、映像中から時系列的に得
られる前述の正常、異常判定情報を複数フレーム画像全
体または一部から抽出して、その時間的分布を評価する
ことによって監視不可能な異常状態映像を判定するもの
である。

【００３０】第７の実施形態は、異物付着に関する異常
映像の診断（移動画素数比と不動画素分布の利用）を行
うものである。第７の実施形態は、映像を用いた車両用
監視システムにおいて、入力映像が監視に不適な異常状
態映像であることを検出する映像診断方式であり、異常
状態映像として撮像系レンズ面等に付着物が存在するた
めに、本来の監視対象映像が遮られてしまった場合の映
像を想定し、付着物が存在する映像中では、画面内のテ
クスチャ量が正常時より少なく、かつテクスチャの移動
量が少ないのに対し、正常映像中では、テクスチャ量は
多く、またその中での背景物体や移動物体上のテクスチ
ャは移動するという特性に従って、画面内監視対象領域
でのテクスチャを有する画素のうち、移動する画素の画
素数比、およびそれらのうちの停止する画素の分布範囲
とを評価して異常状態を検知するものである。

【００３１】第８の実施形態は、異物付着に関する異常
映像の診断での複数フレーム情報の利用を行うものであ
る。第８の実施形態は、映像を用いた車両用監視システ
ムにおいて、入力映像が監視に不適な異常状態映像であ
ることを検出する映像診断方式であり、異常状態映像と
して撮像系レンズ面等に付着物が存在するために、本来
の監視対象映像が遮られてしまった場合の映像を想定
し、付着物が存在する映像中では、画面内のテクスチャ
量が正常時より少なく、かつテクスチャの移動量が少な
いのに対し、正常映像中では、テクスチャ量は多く、ま
たその中での背景物体や移動物体上のテクスチャは移動
するという特性に従って、画面内監視対象領域でのテク
スチャを有する画素のうち、移動する画素の画素数比、
およびそれらのうちの停止する画素の分布範囲とを評価
して瞬間での異常状態を検知し、その時間的な分布から
異常状態であるかどうかを判定するものである。

【００３２】第９の実施形態は、異物付着に関する異常
映像の診断（移動画素数比と輝度頻度分布情報評価の利
用）を行うものである。第９の実施形態は、映像を用い
た車両用監視システムにおいて、入力映像が監視に不適
な異常状態映像であることを検出する映像診断方式であ
り、異常状態映像として撮像系レンズ面等に付着物が存
在するために、本来の監視対象映像が遮られてしまった
場合の映像を想定し、付着物が存在する映像中では、画
面内のテクスチャ量が正常時より少なく、かつテクスチ
ャの移動量が少ないのに対し、正常映像中では、テクス
チャ量は多く、またその中での背景物体や移動物体上の
テクスチャは移動するという特性に従って、画面内監視
対象領域でのテクスチャを有する画素のうち、移動する
画素の画素数比、および監視領域内部の輝度分布が画面
内の典型画素値から、一定値以上異なっているかどうか
を評価して異常状態を検知するものである。

【００３３】第１０の実施形態は、異物付着に関する異
常映像の診断（移動画素数比と輝度頻度分布情報評価の
利用）での複数フレーム情報の利用を行うものである。
第１０の実施形態は、映像を用いた車両用監視システム
において、入力映像が監視に不適な異常状態映像である
ことを検出する映像診断方式であり、異常状態映像とし
て撮像系レンズ面等に付着物が存在するために、本来の
監視対象映像が遮られてしまった場合の映像を想定し、
付着物が存在する映像中では、画面内のテクスチャ量が
正常時より少なく、かつテクスチャの移動量が少ないの
に対し、正常映像中では、テクスチャ量は多く、またそ
の中での背景物体や移動物体上のテクスチャは移動する
という特性に従って、画面内監視対象領域でのテクスチ
ャを有する画素のうち、移動する画素の画素数比、およ
び監視領域内部の輝度分布が画面内の典型画素値から、
一定値以上異なっているかどうかを評価して瞬間での異
常状態を検知し、その時間的な分布から異常状態である
かどうかを判定するものである。

【００３４】上記車両用監視システム中の映像監視手段
２は、例えば参考文献（特開２０００−１１１３３号公
報、移動物体検出装置及びその方法）に示すような手法
を用いた手段、または装置でよいが、後側方からの追い
越し車両の存在についての警告信号を発することができ
るものとする。そのために前記映像入力手段１から入力
され、ディジタル化された映像のうちある１フレームの
中の指定領域についてある一定強度以上のテクスチャが
存在する画素について、別時点のフレームにおいて対応
付けをとり、それら同一と考えられる点のそれぞれのフ
レーム間での移動ベクトル（Ｏｐｔｉｃａｌ ｆｌｏ
ｗ）を評価する手法を用いているものと仮定する。

【００３５】この監視手法の場合、例えば前述の映像入
力手段１の撮像面、またはそのカバー面などに雨滴、
雪、氷、泥などの異物が付着したり、逆光、昼間のトン
ネルの出入りによる照度の急変などによって入力映像が
劣化し、監視が不可能になる場合がある。雨滴、氷逆光
などの結果、主に画像は輝度が飽和ぎみになったり、コ
ントラスト不足となり、検出対象物に対する充分なテク
スチャが存在しない画像である場合が多い。また、泥の
付着の場合は主に対象物が隠蔽されて正確な追跡が行な
えない。雪、氷の場合には、その付着量によって、コン
トラスト不足と隠蔽のどちらか、または両方の原因によ
って、やはり追跡による監視が不可能になる場合が多
い。一般には、上述の監視を失敗させるような要因は複
合して発生し、またその程度が本来の監視処理にどのよ
うな影響を及ぼした場合に監視不可能になるのかを詳細
に調査することは困難な作業となる。

【００３６】したがって、第１の実施形態から第１０の
実施形態に示す各処理方法を用いることで、入力画像に
生じた異常状態が、上述の主なる異常映像のうちのどち
らか、または両方に該当するかどうかを、各々の異常映
像ごとのチェック手法を並列に適用して判定すること
で、実際の映像監視手段２の処理を行なわないか、また
は映像監視手段２の処理と並行して、その処理成否を予
測し入力画像が異常か正常かを通報することが可能とな
る。

【００３７】本システムの処理を大きく分けると、入力
が監視映像として適切なものかどうかを判断するため
に、入力映像が高輝度異常映像であるかどうかを判定す
るための高輝度異常映像判定ステップと、入力映像が異
物付着による異常映像であるかどうかを判定するための
付着異常映像判定ステップと、それら両者からの判定結
果を合成して、監視領域ごとに通報するための警報ステ
ップとからなる。この時の全体処理の流れを図４のフロ
ーチャートに示す。

【００３８】まず、車両後部から後側方視野（自車線の
両隣りの車線に相当する）をカバーするように設置され
た映像入力手段１において入力され（ＳＴ１）、ディジ
タル化された映像信号が映像監視手段２において、本来
の目的である後側方監視処理に用いられる（ＳＴ２）。
この処理の結果はある時点における追い越し車両存在の
有無と、もし存在した場合には、その位置と自車両まで
の距離であり、これら情報を警報手段７において、追い
越し車両が自車両の左右どちらかに存在し、距離（また
は接近の度合）がどの程度かを出力する。

【００３９】後側方監視処理と並行して、前述の高輝度
異常映像判定ステップにおいては、映像診断領域決定手
段３によって、映像監視手段２自身が処理対象とする画
面内の追越車両監視領域Ａｄ（Ａｄ０〜Ａｄ２）と、こ
の追越車両監視領域Ａｄ（Ａｄ０〜Ａｄ２）に隣接する
周辺領域Ａｓ（Ａｓ０〜Ａｓ２）とを映像診断領域とし
て設定する。この際、図３に示すように、白線Ｗ１、Ｗ
２により判別される左右の隣接車線Ｒ２、Ｒ３にそれぞ
れ追越車両監視領域Ａｄ０〜Ａｄ２が設定され、自車線
Ｒ１における白線Ｗ１、Ｗ２の内側の左側領域Ｒ１ａ、
右側領域Ｒ１ｂにそれぞれ周辺領域Ａｓ０〜Ａｓ２が設
定されている。

【００４０】これにより、高輝度異常映像判定手段５に
おいて、第１の実施形態から第６の実施形態に示すよう
に、監視対象領域とその周囲領域との輝度分布、および
それぞれの領域での輝度分布同士の関係を用いて正常と
異常とを判定する（ＳＴ３）。この際ユーザは、あらか
じめ判定モード設定手段４を用いて、高輝度異常映像判
定手段５での処理を第１の実施形態で示すような単一フ
レームごとに算出するのか、第２の実施形態に示すよう
に、異常であるか正常であるかを判定するための情報を
複数フレーム画像全体または一部から抽出して、その時
間的分布を評価することで、総合的に異常映像を判定す
るのか否かのモードを設定しておくことができる。

【００４１】また、同じく前述の付着異常映像判定ステ
ップにおいては、第７の実施形態から第１０の実施形態
に示すように、付着物が存在する映像中では、画面内の
テクスチャ量が正常時より少なく、かつテクスチャの移
動量が少ないのに対し、正常映像中では、テクスチャ量
は多く、またその中での背景物体や移動物体上のテクス
チャは移動するという特性に従って、画面内監視対象領
域でのテクスチャ総量に対する移動するテクスチャ量の
比を評価して、入力映像が、異物付着による異常映像か
否かの判定を異物付着異常映像判定手段６において行う
（ＳＴ４）。

【００４２】高輝度異常映像判定ステップでの場合と同
様に、本ステップにおいてもユーザが、あらかじめ判定
モード設定手段４を用いて、異物付着異常映像判定手段
６での処理を第７の実施形態で示すような単一フレーム
ごとに算出するのか、第８の実施形態に示すように、異
常であるか正常であるかを判定するための情報を複数フ
レーム画像全体または一部から抽出して、その時間的分
布を評価することで、総合的に異常映像を判定するのか
否かのモードを設定しておくことができる。

【００４３】最後に、上記２ステップによって、各判定
処理領域（追越車両監視領域Ａｄ（Ａｄ０〜Ａｄ２））
ごとに算出された高輝度異常映像か否か、および異物付
着異常映像か否かについての判定結果は、高輝度異常映
像判定手段５、および異物付着異常映像判定手段６か
ら、警報手段７に送られ、この警報手段７によってまと
められた後、音声と映像に変換され、ユーザに提示され
る（ＳＴ５）。

【００４４】次に、上記高輝度異常映像判定ステップの
処理について説明する。追越車両監視領域Ａｄ０〜Ａｄ
２は、白線Ｗ１、Ｗ２の交点に近い部分を基準に自車両
Ｊからの相対的な距離（時間）を基準にして３つの領域
に分けられている。

【００４５】本ステップで検出対象とする異常映像は、
真後ろ（ただし監視装置が前方を対象とする場合には、
真正面）や横から入射する強い光（逆光やスメアー）に
よるものであり、図５に示すようなものである。この場
合、映像の上部に逆光による白く飛んでしまって見えな
くなった部分（高輝度部分）がある異常映像である。

【００４６】まず、フレームごとに、映像監視手段２が
処理対象とする、追越車両監視領域（図３）Ａｄ０〜Ａ
ｄ２内、およびそれらの周辺領域Ａｓ０〜Ａｓ２におい
て輝度頻度分布を求め、輝度頻度分布の特徴と輝度頻度
分布間の関係とから、高輝度異常映像か否かの判定を各
フレームにおいて行う。

【００４７】ここまで高輝度の異常状態という表現を用
いてきたが、画像内のある領域について、ある時間区間
をとったものと、別の時間区間をとったときでは、同一
の輝度であっても、異常輝度と判定すべきものと、そう
ではないものとがある。例としては、曇天の夕方におけ
る異常な高輝度と晴天の日中における正常輝度とでは同
一である場合もあるなどがある。また映像入力手段１で
は光学的輝度値をディジタル信号に変換するが、この変
換特性（の調整度合）によっても同一の光学的輝度値が
異常、または正常と判定しうる場合がある。

【００４８】以上の事実から”異常”に高輝度というこ
とは、絶対的な輝度レベルで指定すべきものではなく、
ある空間的、時間的な領域内に存在する画素の輝度分布
として、正常なものである確率が小さく、異常なもので
ある確率が高いものということができる。そこでここで
は、ある領域に対して第１の実施形態に述べたように正
常な輝度分布、異常な輝度分布とをそれぞれ確率モデル
として持ち、各時刻の検出領域内の輝度分布が、後者の
モデルに近い場合に異常と判定することとし、各モデル
は各時刻での検出領域（追越車両監視領域（Ａｄ０〜Ａ
ｄ２））内の輝度分布にしたがって更新する方式を用い
る。

【００４９】一方、ここでは特に本応用では監視対象領
域（追越車両監視領域（Ａｄ０〜Ａｄ２））が自車の後
方であるので、自車両進行方向に沿って車線が検出され
るが、発明の第３の実施形態にしたがって消失点近傍の
監視領域Ａｄ０と、消失点近傍の監視周辺領域Ａｓ０と
を他のＡｄ，Ａｓとは区別して使用している。この理由
は、通常走行状態において消失点近傍方向から入射され
る光はカメラの光軸と並行に近い入射角度を持ち、一般
に強度も横方向から入射される光より強いため、異常時
である判定条件を横方向とは変えられるようにするため
である。ここに、図６は、追越車両監視領域Ａｄ０にお
いて、正常、および異常と判定すべき輝度分布が異なる
様子を例として示したものであり、図７は、追越車両監
視領域Ａｄ１において、正常、および異常と判定すべき
輝度分布が異なる様子を例として示したものである。

【００５０】また追越車両監視領域Ａｄ０〜Ａｄ２と周
辺領域Ａｓ０〜Ａｓ２とを対にして考えているのは、単
に追越車両監視領域Ａｄ０〜Ａｄ２の内部のみが高輝度
なものとしてしまうと、白色の車の進入、車道への積雪
等の例があり誤判定の恐れがある。そこで追越車両監視
領域Ａｄ０〜Ａｄ２のみが高輝度なのではなく、その周
辺部（周辺領域Ａｓ０〜Ａｓ２）もある程度高輝度であ
るようなもののみを高輝度異常映像とすることで判定精
度を向上させるためである。以上を考慮して、正常輝度
と異常輝度とのモデルは下式で示される。

【００５１】まず、ある領域の輝度が状態Θ（Θは”正
常”または”異常”）である確率は以下のようになると
仮定する。 Ｐ（Θ）＝Ｐ（ｄ＝Θ，ｓ＝Θ，ｓ∈ｄ） ＝Ｐ（ｄ＝Θ，ｓ＝Θ）Ｐ（ｓ∈ｄ） ＝Ｐ（ｄ＝Θ）Ｐ（ｓ＝Θ）Ｐ（ｓ∈ｄ） （１） ここにｄとｓとは、追越車両監視領域Ａｄ、周辺領域Ａ
ｓ内部の輝度の状態である。したがってこれに相当する
尤度Ｌ（Θ）は以下になる。 Ｌ（Θ）＝Ｌ（ｄ＝Θ）＋Ｌ（ｓ＝Θ）＋Ｌ（ｓ∈ｄ） （２） ここでＡｄおよびその周辺領域Ａｓとしては、それぞれ
本実施例では３通りの領域（Ａｄ０〜Ａｄ２、Ａｓ０〜
Ａｓ２）があり、輝度の分布は、それぞれにおいて正規
分布に従うと仮定して、式（２）の尤度を以下のように
定義する。

【数１】

【００５２】このモデルを用いると、”高輝度異常”状
態のフレームは以下の場合に相当する。 Ｌ（”異常”）＞Ｌ（”正常”） （５） 実際は異常検出の感度をあげるために、式（３）での総
和の演算を厳密に適用せずに、ｋ＝０，１，２のそれぞ
れの領域について式（４）でのΘ＝”異常”とΘ＝”正
常”とを比較し、いずれの領域かで Ｌｋ（”異常”）＞Ｌｋ（”正常”） （６） が成り立つときに異常としてもよい。

【数２】

【００５３】ただし、ｉ＝ｄまたはｓ、ｋ：０，１，
２、Θは’正常’または’異常’である。また、横方向
から入射する光による高輝度異常映像においては、通常
左右の隣接車線領域Ｒ２、Ｒ３を対象としての正常と異
常との状態が異なるが、例えば雪原を走行している場合
などでは、両者に大きな差異は生じない。そこで、上述
の発明の第１の実施形態、第３の実施形態に加えて、第
５の実施形態に示すように、自車線Ｒ１の左側領域Ｒ１
ａ、右側領域Ｒ１ｂに別けて個別に検証することを特徴
とし、左右の輝度異常状態の評価量に著しく差があると
きに輝度異常状態として検出する。具体的には以下の式
（９）が成り立つときに左側領域Ｒ１ａが、式（１０）
が成り立つときに右側領域Ｒ１ｂがそれぞれ高輝度異常
映像状態であると判定する。

【００５４】Ｌｌ−Ｌｒ＞β （９） Ｌｒ−Ｌｌ＞β （１０） ここにβは、正定数であり、

【数３】

【００５５】ただしＱｋは、０以上の定数である。さら
に前述のように高輝度による異常映像を安定して抽出す
る目的のために、判定モード設定手段４を用いて、複数
フレームでの情報を総合して、異常か否かを判定するよ
うにしてもよい。このためには、各フレームごとに式
（５）、式（６）、式（９）、および式（１０）の条件
を判定し、条件が満たされた場合に、輝度異常フレーム
候補のフレーム数カウントＣを大きくする。そして一定
繰り返しフレーム数Ｆごとに以下をチェックし、条件を
満たした場合に異常映像と判定する。

【００５６】Ｃ／Ｆ＞Ｓ （１３） ただし、ここでＳを異常フレーム数割合の閾値とする。
以上処理は第２の実施形態、第４の実施形態、第６の実
施形態に該当する。

【００５７】上記第１の実施形態による高輝度異常映像
判定ステップ（ＳＴ３）の処理を、図８に示すフローチ
ャートを参照しつつ説明する。すなわち、高輝度異常映
像判定手段５は、映像入力手段１から供給される現フレ
ーム画像を取得する（ＳＴ１１）。高輝度異常映像判定
手段５は、この現フレーム画像に対して、映像診断領域
決定手段３によって設定された領域情報に基づいて追越
車両監視領域Ａｄ（Ａｄ０〜Ａｄ２）と周辺領域Ａｓ
（Ａｓ０〜Ａｓ２）を設定する（ＳＴ１２）。

【００５８】これにより、高輝度異常映像判定手段５
は、左右の隣接車線Ｒ２、Ｒ３における追越車両監視領
域Ａｄ〜Ａｄ２の各輝度頻度分布と、自車線Ｒ１の左側
領域Ｒ１ａ、右側領域Ｒ１ｂにおける周辺領域Ａｓ０〜
Ａｓ２の各輝度頻度分布とを計測する（ＳＴ１３）。 また、高輝度異常映像判定手段５は、上記各領域の輝度
分布と、モデルテーブル５ａに登録されている上記各領
域の正常輝度分布（正常モデル）と異常輝度分布（異常
モデル）とを比較し、つまり上記各領域の輝度分布に対
応する尤度Ｌ（Θ）と各領域の正常モデルと異常モデル
に対応する尤度Ｌ（Θ）とを比較し（ＳＴ１４）、近い
方のモデルに対応する状態を判定結果として出力する
（ＳＴ１５）。

【００５９】また、高輝度異常映像判定手段５は、各領
域ごとの輝度値の時間平均値と各領域の正常モデルと異
常モデルに対応する輝度値の時間平均値との距離が上記
時間標準偏差の所定倍以下か否かを判断し（ＳＴ１
６）、所定倍以下を判断した際、今回計測した輝度値の
時間平均値に基づいて、モデルテーブル５ａに登録され
ている対象となる領域の正常モデルあるいは異常モデル
の尤度Ｌ（Θ）（あるいは輝度値の時間平均値）を更新
する（ＳＴ１７）。

【００６０】この更新後、またはステップ１６において
各領域ごとの輝度値の時間平均値と各領域の正常モデル
と異常モデルに対応する輝度値の時間平均値との距離が
上記時間標準偏差の所定倍以上の際に、つまり少なくと
も１つの領域の判定結果として異常が出力された場合
（Ｌｋ（”異常”）＞Ｌｋ（”正常”））、あるいは、
左側領域Ｒ１ａ、右側領域Ｒ１ｂのいずれかが高輝度異
常映像状態の場合（Ｌｌ−Ｌｒ＞βｏｒＬｒ−Ｌｌ＞
β）、高輝度異常映像判定手段５は、高輝度映像異常を
判断し（ＳＴ１８）、高輝度映像異常情報を警報手段７
に出力し（ＳＴ１９）、ステップ１１に戻る。

【００６１】また、高輝度異常映像判定手段５は、ステ
ップ１８で高輝度映像異常を判断しなかった場合、ステ
ップ１１に戻る。なお、上記白線検知による領域情報の
決定を高輝度異常映像判定手段５が行うようにしても良
い。

【００６２】次に、上記第２の実施形態による高輝度異
常映像判定ステップの処理を、図９に示すフローチャー
トを参照しつつ説明する。この場合、高輝度異常映像判
定手段５に、高輝度フレーム候補のカウントが為される
高輝度フレーム候補カウンタＣと、サンプリングするフ
レーム数がカウントされるフレームカウンタＦとが設け
られる。

【００６３】すなわち、高輝度異常映像判定手段５は、
高輝度フレーム候補カウンタＣ＝０、フレームカウンタ
Ｆ＝０を設定する（ＳＴ２１）。ついで、高輝度異常映
像判定手段５は、映像入力手段１から供給される現フレ
ーム画像を取得する（ＳＴ１１）。高輝度異常映像判定
手段５は、この現フレーム画像に対して、映像診断領域
決定手段３による白線検知によって設定された領域情報
に基づいて追越車両監視領域Ａｄ（Ａｄ０〜Ａｄ２）と
周辺領域Ａｓ（Ａｓ０〜Ａｓ２）を設定する（ＳＴ１
２）。

【００６４】これにより、高輝度異常映像判定手段５
は、左右の隣接車線Ｒ２、Ｒ３における追越車両監視領
域Ａｄ〜Ａｄ２の各輝度頻度分布と、自車線Ｒ１の左側
領域Ｒ１ａ、右側領域Ｒ１ｂにおける周辺領域Ａｓ０〜
Ａｓ２の各輝度頻度分布とを計測する（ＳＴ１３）。 また、高輝度異常映像判定手段５は、上記各領域の輝度
分布と、モデルテーブル５ａに登録されている上記各領
域の正常輝度分布（正常モデル）と異常輝度分布（異常
モデル）とを比較し、つまり上記各領域の輝度分布に対
応する尤度Ｌ（Θ）と各領域の正常モデルと異常モデル
に対応する尤度Ｌ（Θ）とを比較し（ＳＴ１４）、近い
方のモデルに対応する状態を判定結果として出力する
（ＳＴ１５）。

【００６５】また、高輝度異常映像判定手段５は、各領
域ごとの輝度値の時間平均値と各領域の正常モデルと異
常モデルに対応する輝度値の時間平均値との距離が上記
時間標準偏差の所定倍以下か否かを判断し（ＳＴ１
６）、所定倍以下を判断した際、今回計測した輝度値の
時間平均値に基づいて、モデルテーブル５ａに登録され
ている対象となる領域の正常モデルあるいは異常モデル
の尤度Ｌ（Θ）（あるいは輝度値の時間平均値）を更新
する（ＳＴ１７）。

【００６６】この更新後、またはステップ１６において
各領域ごとの輝度値の時間平均値と各領域の正常モデル
と異常モデルに対応する輝度値の時間平均値との距離が
上記時間標準偏差の所定倍以上の際に、つまり少なくと
も１つの領域の判定結果として異常が出力された場合
（Ｌｋ（”異常”）＞Ｌｋ（”正常”））、あるいは、
左側領域Ｒ１ａ、右側領域Ｒ１ｂのいずれかが高輝度異
常映像状態の場合（Ｌｌ−Ｌｒ＞βｏｒＬｒ−Ｌｌ＞
β）、高輝度異常映像判定手段５は、高輝度映像異常を
判断し（ＳＴ１８）、ステップ２２に進む。

【００６７】また、高輝度異常映像判定手段５は、ステ
ップ１８で高輝度映像異常を判断しなかった場合、ステ
ップ１１に戻る。上記ステップ１８において少なくとも
１つの判定結果として異常が出力された際、高輝度異常
映像判定手段５は、高輝度映像異常を判断し、高輝度フ
レーム候補カウンタＣをカウントアップ（Ｃ＝Ｃ＋１）
する（ＳＴ２２）。さらに、高輝度異常映像判定手段５
は、フレームカウンタＦがサンプリングするフレーム数
（Ｆｔ）に達したか否かを判断する（ＳＴ２３）。

【００６８】そして、高輝度異常映像判定手段５は、フ
レームカウンタＦがサンプリングするフレーム数に達し
たと判断した際、高輝度フレーム候補数をサンプリング
するフレーム数により除算した値が、所定値Ｓよりも大
きい場合に（ＳＴ２４）、高輝度映像異常を判断し、高
輝度映像異常情報を警報手段７に出力し（ＳＴ２５）、
高輝度フレーム候補カウンタＣを０に設定し、フレーム
カウンタＦを０に設定し（ＳＴ２６）、ステップ１１に
戻る。

【００６９】また、ステップ２３において、各領域の判
定結果として正常が出力された際、またはステップ２３
において、フレームカウンタＦがサンプリングするフレ
ーム数（Ｆｔ）に達していないと判断された場合、高輝
度異常映像判定手段５は、フレームカウンタＦをカウン
トアップ（Ｆ＝Ｆ＋１）し（ＳＴ２７）、ステップ１１
に戻る。

【００７０】また、ステップ２４において、高輝度異常
映像判定手段５は、高輝度フレーム候補数をサンプリン
グするフレーム数により除算した値が、所定値（異常フ
レーム数割合の閾値）Ｓよりも小さい場合に、ステップ
１１に戻る。また、上記第１の実施形態と上記第２の実
施形態とが、判定モード設定手段４により設定されてい
る判定モードに基づいて、１つのフレーム単位の処理を
行うのか、複数フレームによる処理を行うようにしても
良い。

【００７１】この場合、図１０に示すように、図９に示
すフローチャートに、ステップ１５のＹＥＳ、ＮＯのそ
れぞれの後段に複数フレーム判定モードかを判断するス
テップ３１、３２を追加する。ステップ３１によりＮＯ
を判断した際、ステップ１１に戻り、ステップ３２によ
りＹＥＳを判断した際、ステップ２２に進む。

【００７２】また、ステップ３１によりＹＥＳを判断し
た際、ステップ２７に進み、ステップ３２によりＮＯを
判断した際、追越車両監視領域Ａｄ内での高輝度映像異
常を判断し、高輝度映像異常情報を警報手段７に出力し
（ＳＴ３３）、ステップ１１に戻る。

【００７３】次に、上記付着異常映像判定ステップ（Ｓ
Ｔ４）の処理について説明する。本ステップで検出対象
とする異常映像は、画面を覆う形の雪，泥等の付着によ
るものであり、図１１、図１２に示すようなものであ
る。通常、視界が良好の状態で車両が移動している場
合、映像入力手段１からの映像を解析してｏｐｔｉｃａ
ｌ ｆｌｏｗ（＝移動ベクトル）を求めたとすると、前
述の監視対象領域においては、絶対値が完全に０となる
ｏｐｔｉｃａｌ ｆｌｏｗは極めて少ない。一方、図１
３の雪、泥などの付着による不検出状態では、同じ検知
領域内において、このような速度０の移動ベクトル数の
割合は多くなる。したがって、毎フレームでの追越車両
監視領域Ａｄ内のテクスチャのある画素集合Ｇに対し
て、移動ベクトルを計測し、速度０なる移動ベクトル数
Ｖ０と画素集合Ｇのうちの全移動ベクトル数Ｖａとの比
が下式のように、閾値Ｍより小さい場合、現在のフレー
ムＦを”付着による不検出候補フレーム”Ｆｓとする。

【００７４】 Ｆ＝Ｆｓ，ｉｆＶ０／Ｖａ＜Ｍ （１４） ただし上記において、移動ベクトルの算出には、一般に
相関法と呼ばれる方法を用いる。すなわち、まず、ある
フレーム｀内での注目画素ｐ（ｘ，ｙ，ｔ）について・
その近傍領域ｒと、他フレームｔ’において、前述ｐ
（ｘ，ｙ，ｔ）の周囲ｗ以内のある画素ｐ’（ｘ’，
ｙ’，ｔ’）の近傍領域ｒ’（ただし、ｒとｒ’とは同
一形状）とを仮定し、ｒとｒ’内部の対応する画素同士
の輝度積または輝度差の絶対値を求め、ｒ領域内につい
ての総和ｓを求める。この処理を前記ｗ以内の全画素に
ついて行い、ｓがある閾値ｓｔ以下で、かつ最小となる
ような画素ｐ’＝ｐ”を求め、ベクトルｐｐ”を移動ベ
クトルとする。

【００７５】ここで式（１４）において、付着状態と判
定されたとしても、画素集合Ｇのうち停止している画素
（停止画素）が、真の付着物体ではなく、ノイズによる
ものだった場合にその部分を移動物体が通過した場合な
どは、本来”付着”と判定されるべきでない。図１１、
図１２は、このような場合に相当する疑似的付着と真の
付着異常映像の例を示すが、一般に停止画素は、ある領
域に局在せずに、画面内にまばらに存在し、かつその際
の式（１４）の条件式左辺は、真の付着状態よりは小さ
い値をとる傾向がある。

【００７６】そこで、式（１４）の条件式の左辺がＭよ
りは大きいが、Ｍ’よりは小さい場合に、異常検査対象
領域内での停止する画素の分布範囲が閾値以上であった
場合に、付着異常映像として判定する発明の第７の実施
形態を導入する。ここに、前述の分布としては、それら
の周辺分布をＸ軸方向と、Ｙ軸方向とで求め、異常の条
件としては、例えば、そのそれぞれの標準偏差Ｘｄ，Ｙ
ｄが、閾値ＴＸｄ，ＴＹｄを越えることとしても良い。

【００７７】また、上記処理では付着物によって画面平
面内での動きが遮られたとしても、その付着物が一般に
ある程度のテクスチャ強度を有するものであれば、テク
スチャを有する画素の追跡によって、移動と停止の度合
いを検証可能であることを前提にしていたが、そもそも
ほとんどテクスチャの存在しない付着物がレンズ面に存
在する等の場合には、上記では異常と判定できない場合
もある。そこで、式（１４）の条件式の左辺がＭよりは
大きいがＭ”よりは小さい場合に、追越車両監視領域Ａ
ｄ内部の輝度分布が画面内の典型画素値から、一定値以
上異なっていた場合に、付着物異常と判定することにす
る。具体的には、画面全体の平均輝度値をＶｆ、追越車
両監視領域Ａｄの平均輝度値をμ、輝度値の標準偏差を
σ、閾値をγとすると、 （｜Ｖｆ−μ｜／σ）＞γ （１５） なるときに異常と判定する。この補助的検出手段は発明
の第９の実施形態で述べた。

【００７８】さらに高輝度異常映像検出と同様に、判定
モード設定手段４を用いて、複数フレームでの情報を総
合して、異常か否かを判定する場合の処理としては、こ
のようなフレームごとの不検出候補Ｆｓの判定をある一
定時間（一定フレーム数）Ｎｃを単位として行い、Ｎｃ
フレーム中のＦｓなるフレームの数ＮｓとＮｃとの比が
閾値Ｓｔを超える場合、すなわち、 （Ｎｓ／Ｎｃ）＞Ｓｔ （１６） の場合に付着状態と判定する。なお、この部分の処理
は、第８の実施形態と第１０の実施形態に示すものに相
当する。

【００７９】上記第７の実施形態と第９の実施形態によ
る異物付着異常映像判定ステップの処理を、図１４に示
すフローチャートを参照しつつ説明する。すなわち、異
物付着異常映像判定手段６は、映像入力手段１から供給
される現フレーム画像を取得する（ＳＴ４１）。

【００８０】異物付着異常映像判定手段６は、この現フ
レーム画像に対して、映像診断領域決定手段３によって
設定された領域情報に基づいて追越車両監視領域Ａｄを
設定する（ＳＴ４２）。これにより、異物付着異常映像
判定手段６は、追越車両監視領域Ａｄ内で、エッジ画像
を作成し、かつ一定閾値で２値化した画素集合Ｇとする
（ＳＴ４３）。

【００８１】異物付着異常映像判定手段６は、上記画素
集合Ｇ内でオプティカルフローを算出し、画素集合Ｇ内
の速度０なるベクトル数Ｖ０と画素集合Ｇ内の全移動ベ
クトル数Ｖａとを算出する（ＳＴ４４）。異物付着異常
映像判定手段６は、画素集合Ｇ内の速度０なるベクトル
数Ｖ０を画素集合Ｇ内の全移動ベクトル数Ｖａにより除
算した値が、閾値Ｍより小さいか否かにより（Ｖ０／Ｖ
ａ＜Ｍ）、異物付着による映像異常が生じているか否か
を判断する（ＳＴ４５）。

【００８２】この判断の結果、ステップ４５において、
異物付着による映像異常が生じている場合、異物付着異
常映像判定手段６は、異物付着フレーム候補カウンタＮ
ｓをカウントアップ（Ｎｓ＝Ｎｓ＋１）する（ＳＴ６
２）。さらに、異物付着異常映像判定手段６は、フレー
ムカウンタＦがサンプリングするフレーム数（Ｎｃ）に
達したか否かを判断する（ＳＴ６３）。

【００８３】そして、異物付着異常映像判定手段６は、
フレームカウンタＦがサンプリングするフレーム数に達
したと判断した際、異物付着フレーム候補数（Ｎｓ）を
サンプリングするフレーム数（Ｎｃ）により除算した値
が、所定値Ｓｔよりも大きい場合に（ＳＴ６４）、追越
車両監視領域Ａｄ内での異物付着映像異常を判断し、異
物付着映像異常情報を警報手段７に出力し（ＳＴ６
５）、異物付着フレーム候補カウンタＮｓを０に設定
し、フレームカウンタＦを０に設定し（ＳＴ６６）、ス
テップ４１に戻る。

【００８４】また、異物付着異常映像判定手段６は、ス
テップ４５において、異物付着による映像異常が生じて
いないと判断した際に、画素集合Ｇ内の速度０なるベク
トル数Ｖ０を画素集合Ｇ内の全移動ベクトル数Ｖａによ
り除算した値が、閾値Ｍ’（Ｍ＜Ｍ’）より小さいか否
かにより（Ｖ０／Ｖａ＜Ｍ’）、異物付着による映像異
常が生じているか否かを判断する（ＳＴ４７）。

【００８５】この結果、異物付着異常映像判定手段６
は、ステップ４７において、Ｖ０／Ｖａ＜Ｍ’により異
物付着による映像異常が生じていると判断した際に、画
素集合Ｇ内の速度０なるテクスチャ画素の周辺分布の標
準偏差Ｘｄ，Ｙｄを算出する（ＳＴ４８）。これによ
り、異物付着異常映像判定手段６は、ステップ４８にお
いて算出された各値により、標準偏差Ｘｄ，Ｙｄが、そ
れぞれ閾値ＴＸｄ，ＴＹｄを越えた際に、異物付着によ
る映像異常が生じていると判断し（ＳＴ４９）、ステッ
プ４６に進む。

【００８６】また、異物付着異常映像判定手段６は、ス
テップ４９において、標準偏差Ｘｄ，Ｙｄの少なくとも
一方が、閾値ＴＸｄ，ＴＹｄを越えなかった際に、画素
集合Ｇ内の速度０なるベクトル数Ｖ０を画素集合Ｇ内の
全移動ベクトル数Ｖａにより除算した値が、閾値Ｍ”
（Ｍ＜Ｍ”）より小さいか否かにより（Ｖ０／Ｖａ＜
Ｍ”）、異物付着による映像異常が生じているか否かを
判断する（ＳＴ５０）。

【００８７】この結果、異物付着異常映像判定手段６
は、ステップ５０において、Ｖ０／Ｖａ＜Ｍ”により異
物付着による映像異常が生じていると判断した際に、画
面全体の平均輝度値Ｖｆ、追越車両監視領域Ａｄの平均
輝度値μ、輝度値の標準偏差σを算出する（ＳＴ５
１）。これにより、異物付着異常映像判定手段６は、ス
テップ５１において算出された各値により、追越車両監
視領域Ａｄ内部の輝度分布が画面内の典型画素値から、
一定値以上異なっていると判断した場合に「（｜Ｖｆ−
μ｜／σ）＞γ」、異物付着による映像異常が生じてい
ると判断し、ステップ４６に進む。

【００８８】また、異物付着異常映像判定手段６は、ス
テップ５１において算出された各値により、追越車両監
視領域Ａｄ内部の輝度分布が画面内の典型画素値から、
一定値以上異なっていないと判断した場合に、異物付着
による映像異常が生じていないと判断し、ステップ４１
に戻る。また、異物付着異常映像判定手段６は、ステッ
プ４７において、Ｖ０／Ｖａ＞Ｍ’により異物付着によ
る映像異常が生じていないと判断した際に、ステップ４
１に戻る。また、異物付着異常映像判定手段６は、ステ
ップ５０において、Ｖ０／Ｖａ＞Ｍ”により異物付着に
よる映像異常が生じていないと判断した際に、ステップ
４１に戻る。なお、上記白線検知による領域情報の決定
を異物付着異常映像判定手段６が行うようにしても良
い。

【００８９】上記第８、第１０の実施形態による異物付
着異常映像判定ステップの処理を、図１５に示すフロー
チャートを参照しつつ説明する。この場合、異物付着異
常映像判定手段６に、付着フレーム候補のカウントが為
される異物付着フレーム候補カウンタＮｓと、サンプリ
ングするフレーム数がカウントされるフレームカウンタ
Ｆとが設けられる。

【００９０】すなわち、異物付着異常映像判定手段６
は、異物付着フレーム候補カウンタＮｓを０に（Ｎｓ＝
０）設定し、フレームカウンタＦを０に（Ｆ＝０）設定
する（ＳＴ６０）。ついで、異物付着異常映像判定手段
６は、映像入力手段１から供給される現フレーム画像を
取得する（ＳＴ６１）。

【００９１】異物付着異常映像判定手段６は、この現フ
レーム画像に対して、映像診断領域決定手段３によって
設定された領域情報に基づいて追越車両監視領域Ａｄを
設定する（ＳＴ４１）。これにより、異物付着異常映像
判定手段６は、追越車両監視領域Ａｄ内で、エッジ画像
を作成し、かつ一定閾値で２値化した画素集合Ｇとする
（ＳＴ４２）。

【００９２】異物付着異常映像判定手段６は、上記画素
集合Ｇ内でオプティカルフローを算出し、画素集合Ｇ内
の速度０なるベクトル数Ｖ０と画素集合Ｇ内の全移動ベ
クトル数Ｖａとを算出する（ＳＴ４４）。異物付着異常
映像判定手段６は、画素集合Ｇ内の速度０なるベクトル
数Ｖ０を画素集合Ｇ内の全移動ベクトル数Ｖａにより除
算した値が、閾値Ｍより小さいか否かにより（Ｖ０／Ｖ
ａ＜Ｍ）、異物付着による映像異常が生じているか否か
を判断する（ＳＴ４５）。

【００９３】この結果、異物付着異常映像判定手段６
は、ステップ４５において、異物付着による映像異常が
生じていると判断した際に、追越車両監視領域Ａｄでの
異物付着映像異常情報を出力する（ＳＴ４６）。また、
異物付着異常映像判定手段６は、ステップ４５におい
て、異物付着による映像異常が生じていないと判断した
際に、画素集合Ｇ内の速度０なるベクトル数Ｖ０を画素
集合Ｇ内の全移動ベクトル数Ｖａにより除算した値が、
閾値Ｍ’（Ｍ＜Ｍ’）より小さいか否かにより（Ｖ０／
Ｖａ＜Ｍ’）、異物付着による映像異常が生じているか
否かを判断する（ＳＴ４７）。

【００９４】この結果、異物付着異常映像判定手段６
は、ステップ４７において、Ｖ０／Ｖａ＜Ｍ’により異
物付着による映像異常が生じていると判断した際に、画
素集合Ｇ内の速度０なるテクスチャ画素の周辺分布の標
準偏差Ｘｄ，Ｙｄを算出する（ＳＴ４８）。これによ
り、異物付着異常映像判定手段６は、ステップ４８にお
いて算出された各値により、標準偏差Ｘｄ，Ｙｄが、そ
れぞれ閾値ＴＸｄ，ＴＹｄを越えた際に、異物付着によ
る映像異常が生じていると判断し（ＳＴ４９）、ステッ
プ４６に進む。

【００９５】また、異物付着異常映像判定手段６は、ス
テップ４９において、標準偏差Ｘｄ，Ｙｄの少なくとも
一方が、閾値ＴＸｄ，ＴＹｄを越えなかった際に、画素
集合Ｇ内の速度０なるベクトル数Ｖ０を画素集合Ｇ内の
全移動ベクトル数Ｖａにより除算した値が、閾値Ｍ”
（Ｍ＜Ｍ”）より小さいか否かにより（Ｖ０／Ｖａ＜
Ｍ”）、異物付着による映像異常が生じているか否かを
判断する（ＳＴ５０）。

【００９６】この結果、異物付着異常映像判定手段６
は、ステップ５０において、Ｖ０／Ｖａ＜Ｍ”により異
物付着による映像異常が生じていると判断した際に、画
面全体の平均輝度値Ｖｆ、追越車両監視領域Ａｄの平均
輝度値μ、輝度値の標準偏差σを算出する（ＳＴ５
１）。 これにより、異物付着異常映像判定手段６は、ステップ
５１において算出された各値により、追越車両監視領域
Ａｄ内部の輝度分布が画面内の典型画素値から、一定値
以上異なっていると判断した場合に「（｜Ｖｆ−μ｜／
σ）＞γ」、異物付着による映像異常が生じていると判
断し、ステップ４６に進む。

【００９７】また、異物付着異常映像判定手段６は、ス
テップ５１において算出された各値により、追越車両監
視領域Ａｄ内部の輝度分布が画面内の典型画素値から、
一定値以上異なっていないと判断した場合に、異物付着
による映像異常が生じていないと判断し、ステップ４１
に戻る。また、異物付着異常映像判定手段６は、ステッ
プ４７において、Ｖ０／Ｖａ＞Ｍ’により異物付着によ
る映像異常が生じていないと判断した際に、ステップ４
１に戻る。また、異物付着異常映像判定手段６は、ステ
ップ５０において、Ｖ０／Ｖａ＞Ｍ”により異物付着に
よる映像異常が生じていないと判断した際に、ステップ
４１に戻る。

【００９８】また、ステップ５２において、異物付着に
よる映像異常が生じていないと判断された場合、または
ステップ６３において、フレームカウンタＦがサンプリ
ングするフレーム数（Ｎｃ）に達していないと判断され
た場合、異物付着異常映像判定手段６は、フレームカウ
ンタＦをカウントアップ（Ｆ＝Ｆ＋１）し（ＳＴ６
７）、ステップ４１に戻る。また、ステップ６４におい
て、異物付着異常映像判定手段６は、異物付着フレーム
候補数をサンプリングするフレーム数により除算した値
が、所定値（異常フレーム数割合の閾値）Ｓｔよりも小
さい場合に、ステップ４１に戻る。

【００９９】また、上記第７の実施形態と上記第８の実
施形態とが、判定モード設定手段４により設定されてい
る判定モードに基づいて、１つのフレーム単位の処理を
行うのか、複数フレームによる処理を行うようにしても
良い。

【０１００】この場合、図１６に示すように、図１５に
示すフローチャートに、ステップ４５、４７、５２のＹ
ＥＳの後段に複数フレーム判定モードかを判断するステ
ップ８０を追加し、ステップ４７、５０、５２のＮＯの
後段に複数フレーム判定モードかを判断するステップ８
１を追加する。ステップ８０によりＮＯを判断した際、
追越車両監視領域Ａｄ内での異物付着映像異常を判断
し、異物付着映像異常情報を警報手段７に出力し（ＳＴ
８１）、ステップ４１に戻り、ステップ８２によりＹＥ
Ｓを判断した際、ステップ６７に進む。

【０１０１】また、ステップ８２によりＮＯを判断した
際、ステップ４１に戻る。次に、検出状態の通知につい
て説明する。本方式の実行結果は、警報手段７によっ
て、各フレームごとに、または異常映像の判定が行われ
るごとに、各判定処理領域ごとに算出された高輝度異常
映像か否か、および異物付着異常映像か否かについての
判定結果が、音声、または音声と映像によってユーザに
提示される。

【０１０２】また、上記各実施形態の説明では、車両の
後方の監視システムの場合について説明したが、図１７
に示すように車両の先方の監視システムの場合について
も同様に実施できる。上記したように、映像を用いた車
両用監視システムにおいて、高輝度入力映像による輝度
飽和による映像を診断・判定する目的において、第１の
実施形態のように単に輝度が異常に高いことや、水平方
向の輝度分布などを使うのではなく、正常な輝度分布、
異常な輝度分布とを確率モデルとして持ち、各時刻の検
出領域内の輝度分布が、どちらのモデルに近いかを用
い、かつ各時刻の検出領域内の輝度分布にしたがって各
モデルを更新することにより、画像取り込み装置の輝度
特性や、画像入力時の照明条件に依存しにくい安定した
映像診断を行うことが可能となる。

【０１０３】また監視対象領域とその隣接領域のそれぞ
れにおける輝度分布、およびそれら分布間同士の関係と
を用いて異常状態かどうかを判定するが、特に第３の実
施形態のように、消失点近傍の１つないし複数の領域
と、それ以外の１つないし複数の領域とを個別に使用
し、これら各々の領域と、その周囲領域との輝度分布、
およびそれぞれの領域での輝度分布同士の関係を用いて
正常と異常とを判定する方式を用いることにより、輝度
の強い進入車両や路側の看板、積雪などを異常状態と誤
判定しにくくなると同時に、通常走行状態において消失
点近傍方向から入射される光が、一般に強度も横方向か
ら入射される光より強く、異常である判定条件が横方向
とは異なる場合が多いが、この点に対処可能となる。

【０１０４】さらに、第５の実施形態の方式をも用いる
ことで、横方向からの入射光による高輝度異常映像を、
通常問題になりにくい”雪原での走行”などのような左
右隣接車線ともに高輝度な状況とは、明確に区別して検
出することが可能となる。

【０１０５】また、上記の第１の実施形態から第５の実
施形態のみで検出される異常状態には、通過車両上への
一瞬の反射などのように、ある一瞬のみ異常ですぐに正
常に復帰する種類の異常は、そもそもの監視処理にとっ
てシビアではなく、むしろ異常と判定しない方が望まし
い場合がある。第２の実施形態から第６の実施形態のよ
うに、複数フレームでの判定特徴を総合することによ
り、この種の異常を問題ないものと判定させることが可
能となる。

【０１０６】また。異常状態として異物の光学系への付
着によるものも存在するが、監視装置の設置状況として
本発明のように車両用監視装置を考えた場合には、画面
内で検出される移動ベクトル量を評価することで一般に
この種の異常を判定できるが、第７の実施形態を用いる
ことで、付着物が一部欠損していたり、透過性のもの
で、付着があるのに移動ベクトルが少ないなどの場合に
も、異常映像を安定に検出することが可能となる。この
場合、前述のポイントと同様に一瞬の判定では好ましく
ない場合もあるが、第８の実施形態を用いることで、こ
の種の異常状態にも対応できる。

【０１０７】さらにそもそもほとんどテクスチャの存在
しない付着物がレンズ面に存在する等の場合には、画素
追跡によって、移動／停止の画素比率を求めて付着物の
判定を行うことは困難になる。そこで第１の実施形態を
用いることで、補助的手段として、このような特殊な条
件の付着物映像も検出することを可能とする。本ポイン
トについて、複数フレーム判定において処理をさらに安
定化させることを狙ったものが、第１０の実施形態であ
る。

【０１０８】以上から、車載型の画像監視装置における
異常とみなされる入力映像のうちの主なものである、高
輝度入力映像による輝度飽和、および異物の光学系への
付着という状態を安定に検出することが可能となる。

【０１０９】

【発明の効果】以上詳述したように、この発明によれ
ば、監視用の映像が規格に満たない異常状態の映像か否
かを診断することができる。

【図面の簡単な説明】

【図１】この発明の実施形態を説明するための車載型映
像監視装置の映像診断システムの概略構成を示す図。

【図２】この発明の実施形態を説明するための車両の走
行状態を示す図。

【図３】映像の例と領域を説明するための図。

【図４】車載型映像監視装置の映像診断処理を説明する
ためのフローチャート。

【図５】高輝度異常映像の例を説明するための図。

【図６】追越車両監視領域Ａｄ０に対する正常輝度分布
と異常輝度分布を説明するための図。

【図７】追越車両監視領域Ａｄ１に対する正常輝度分布
と異常輝度分布を説明するための図。

【図８】高輝度異常映像判定ステップの処理を説明する
ためのフローチャート。

【図９】高輝度異常映像判定ステップの処理を説明する
ためのフローチャート。

【図１０】高輝度異常映像判定ステップの処理を説明す
るためのフローチャート。

【図１１】付着異常映像の例を説明するための図。

【図１２】付着異常映像の例を説明するための図。

【図１３】付着異常映像の例を説明するための図。

【図１４】異物付着異常映像判定ステップの処理を説明
するためのフローチャート。

【図１５】異物付着異常映像判定ステップの処理を説明
するためのフローチャート。

【図１６】異物付着異常映像判定ステップの処理を説明
するためのフローチャート。

【図１７】車両の走行状態を示す図。

【符号の説明】

１…映像入力手段、２…映像監視手段、３…映像診断領
域決定手段、４…判定モード設定手段、５…高輝度異常
映像判定手段、６…異物付着異常映像判定手段、７…警
報手段、８…非映像センサ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｅ ３００Ｇ 7/20 7/20 Ｂ Ｇ０８Ｂ 21/00 Ｇ０８Ｂ 21/00 Ｎ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ Ｋ Ｆターム(参考） 5B057 AA16 AA19 BA02 CA08 CA12 CA16 DA08 DA15 DB02 DB09 DC02 DC16 DC23 DC32 DC36 5C054 AA01 AA05 CA04 CC03 CD03 EA01 ED00 FC03 FC12 HA05 HA26 5C086 AA22 AA53 BA22 CA28 CB36 DA08 DA12 DA33 EA41 EA45 FA06 FA18 5H180 AA01 CC04 LL01 LL02 LL04 LL07 LL08 5L096 AA06 BA02 BA04 CA04 DA03 FA06 FA37 FA54 FA66 GA30 HA02 JA11 JA18

Claims (22)

【特許請求の範囲】
1. 【請求項１】 映像を撮像する撮像手段と、 この撮像手段による撮像映像から白線を検出する検出手
   段と、 この検出手段により検出した白線を基準に、かつ自車両
   からの相対的な距離、時間の異なる複数の検出領域を撮
   像映像から抽出する抽出手段と、 この抽出手段により抽出される複数の検出領域それぞれ
   に対応する正常輝度分布と異常輝度分布とを記憶する記
   憶手段と、 上記抽出手段により抽出される複数の検出領域の各輝度
   分布と上記記憶手段に記憶されている複数の検出領域ご
   との正常輝度分布と異常輝度分布のそれぞれと比較し、
   各検出領域の輝度分布の少なくとも１つが異常輝度分布
   に類似する際に、輝度異常を診断する診断手段と、 を具備したことを特徴とする映像診断装置。
2. 【請求項２】 上記抽出手段により抽出される複数の検
   出領域の各輝度分布に基づいて、上記記憶手段に記憶さ
   れている複数の検出領域ごとの正常輝度分布あるいは異
   常輝度分布を更新する更新手段を有するものであること
   を特徴とする請求項１に記載の映像診断装置。
3. 【請求項３】 上記抽出手段により抽出される複数の検
   出領域の各輝度分布が、上記記憶手段に記憶されている
   複数の検出領域ごとの正常輝度分布あるいは異常輝度分
   布に近い場合に、上記記憶手段に記憶されている正常輝
   度分布あるいは異常輝度分布を上記抽出された輝度分布
   により更新する更新手段を有するものであることを特徴
   とする請求項１に記載の映像診断装置。
4. 【請求項４】 上記診断手段により異常状態の映像が診
   断された際に、高輝度の映像異常を報知するものである
   ことを特徴とする請求項１に記載の映像診断装置。
5. 【請求項５】 上記診断手段が、上記撮影手段により撮
   影された映像における時系列的に得られる複数フレーム
   の少なくとも１つを用いて、輝度異常か否かを診断する
   ものであることを特徴とする請求項１に記載の映像診断
   装置。第２の実施形態
6. 【請求項６】 車両に設けられ、所定の視野の映像を撮
   影する撮影手段と、この撮影手段により撮影された映像
   から得られる特徴を監視する監視手段とからなる車載型
   映像監視装置に用いられる映像を診断する車載型映像監
   視装置の映像診断システムにおいて、 上記撮影手段により撮影された映像から白線を検出する
   検出手段と、 この検出手段により検出した白線を基準に、かつ自車両
   からの相対的な距離、時間の異なる複数の検出領域を撮
   像映像から抽出する抽出手段と、 この抽出手段により抽出される複数の検出領域それぞれ
   に対応する正常輝度分布と異常輝度分布とを記憶する記
   憶手段と、 上記抽出手段により抽出される複数の検出領域の各輝度
   分布と上記記憶手段に記憶されている複数の検出領域ご
   との正常輝度分布と異常輝度分布のそれぞれと比較し、
   各検出領域の輝度分布の少なくとも１つが異常輝度分布
   に類似する際に、輝度異常を診断する診断手段とを有す
   る、 ことを特徴とする車載型映像監視装置の映像診断システ
   ム。
7. 【請求項７】 車両の後方の映像を撮像する撮像手段
   と、 この撮像手段による撮像映像から車線を区切る白線を検
   出する検出手段と、 この検出手段により検出した白線を基準に、かつ自車両
   からの相対的な距離、時間の異なる複数の検出領域を撮
   像映像から抽出する抽出手段と、 この抽出手段により抽出される複数の検出領域それぞれ
   に対応する正常輝度分布と異常輝度分布とを記憶する記
   憶手段と、 上記抽出手段により抽出される複数の検出領域の各輝度
   分布と上記記憶手段に記憶されている複数の検出領域ご
   との正常輝度分布と異常輝度分布のそれぞれと比較し、
   各検出領域の輝度分布の少なくとも１つが異常輝度分布
   に類似する際に、輝度異常を診断する診断手段と、 この診断手段により輝度異常を診断されなかった際に、
   抽出手段により抽出される複数の検出領域におけるフレ
   ーム間での移動ベクトルに基づいて、追越車両の車線お
   よび自車両からの距離あるいは接近の度合いを判断する
   判断手段と、 を具備したことを特徴とする追越車両監視装置。
8. 【請求項８】 車両の後方あるいは前方の映像を撮像す
   る撮像手段と、 この撮像手段による撮像映像から自車両が通過中の通行
   車線と隣接車線とを区別する白線を検出する検出手段
   と、 この検出手段により検出した白線を基準に、かつ自車両
   からの相対的な距離、時間、車線の異なる複数の検出領
   域と、これらの検出領域のそれぞれに上記白線を介して
   対向している近接領域を撮像映像から抽出する抽出手段
   と、 この抽出手段により抽出される複数の検出領域、近接領
   域のそれぞれに対応する正常輝度分布と異常輝度分布と
   を記憶する記憶手段と、 上記抽出手段により抽出される複数の検出領域、近接領
   域の各輝度分布と上記記憶手段に記憶されている複数の
   検出領域、近接領域ごとの正常輝度分布と異常輝度分布
   のそれぞれとを比較し、正常の確率と異常の確率とを算
   出し、この算出した確率の総合計により、輝度異常か否
   かを診断する診断手段と、 を具備したことを特徴とする映像診断装置。
9. 【請求項９】 上記診断手段により正常の確率と異常の
   確率とを算出する際、自車両から一番離れた検出領域、
   近接領域の係数として、他の検出領域、近接領域の係数
   とは異なる値を用いるものであることを特徴とする請求
   項８に記載の映像診断装置。
10. 【請求項１０】 車両の後方の映像を撮像する撮像手段
    と、 この撮像手段による撮像映像から自車両が通過中の通行
    車線と隣接車線とを区別する白線を検出する検出手段
    と、 この検出手段により検出した白線を基準に、かつ自車両
    からの相対的な距離、時間、車線の異なる複数の検出領
    域と、これらの検出領域のそれぞれに上記白線を介して
    対向している近接領域を撮像映像から抽出する抽出手段
    と、 この抽出手段により抽出される複数の検出領域、近接領
    域のそれぞれに対応する正常輝度分布と異常輝度分布と
    を記憶する記憶手段と、 上記抽出手段により抽出される複数の検出領域、近接領
    域の各輝度分布と上記記憶手段に記憶されている複数の
    検出領域、近接領域ごとの正常輝度分布と異常輝度分布
    のそれぞれとを比較し、正常の確率と異常の確率とを算
    出し、この算出した確率の総合計により、輝度異常か否
    かを診断する診断手段と、 を具備したことを特徴とする映像診断装置。
11. 【請求項１１】 上記診断手段により正常の確率と異常
    の確率とを算出する際、自車両から一番離れた検出領
    域、近接領域の係数が、他の検出領域、近接領域の係数
    よりも大きいものであることを特徴とする請求項１０に
    記載の映像診断装置。
12. 【請求項１２】上記診断手段が、上記撮影手段により撮
    影された映像における時系列的に得られる複数フレーム
    の少なくとも１つを用いて、輝度異常か否かを診断する
    ものであることを特徴とする請求項１０に記載の映像診
    断装置。
13. 【請求項１３】 車両の後方あるいは前方の映像を撮像
    する撮像手段と、 この撮像手段による撮像映像から自車両が通過中の通行
    車線と左右の隣接車線とを区別する左右の白線を検出す
    る検出手段と、 この検出手段により検出した左側の白線を基準に、かつ
    自車両からの相対的な距離、時間の異なる複数の第１の
    検出領域と、これら第１の検出領域のそれぞれに上記左
    側の白線を介して対向している第１の近接領域を撮像映
    像から抽出し、また検出手段により検出した右側の白線
    を基準に、かつ自車両からの相対的な距離、時間の異な
    る複数の第２の検出領域と、これら第２の検出領域のそ
    れぞれに上記右側の白線を介して対向している第２の近
    接領域を撮像映像から抽出する抽出手段と、 この抽出手段により抽出される第１、第２の検出領域、
    第１、第２の近接領域のそれぞれに対応する正常輝度分
    布と異常輝度分布とを記憶する記憶手段と、 上記抽出手段により抽出される第１、第２の検出領域、
    第１、第２の近接領域の各輝度分布と上記記憶手段に記
    憶されている第１、第２の検出領域、第１、第２の近接
    領域ごとの正常輝度分布と異常輝度分布のそれぞれとを
    比較し、第１の検出領域、第１の近接領域に対する異常
    の確率とを第２の検出領域、第２の近接領域に対する異
    常の確率と算出し、この算出した異常の確率の総合計に
    所定値以上の差がある際に、輝度異常を診断する診断手
    段と、 を具備したことを特徴とする映像診断装置。
14. 【請求項１４】 上記診断手段が、上記撮影手段により
    撮影された映像における時系列的に得られる複数フレー
    ムの少なくとも１つを用いて、輝度異常か否かを診断す
    るものであることを特徴とする請求項１３に記載の映像
    診断装置。
15. 【請求項１５】 所定の視野の映像を撮影する撮影手段
    と、 この撮影手段により撮影された映像における特定領域の
    テクスチャーを有する画素のうち、移動する画素の画素
    数比、およびそれらのうちの停止する画素の分布範囲と
    を評価することにより、異常状態の映像か否かを診断す
    る診断手段と、を具備したことを特徴とする映像診断装
    置。
16. 【請求項１６】 上記診断手段により異常状態の映像が
    診断された際に、異物付着による映像異常を報知するも
    のであることを特徴とする請求項１５に記載の映像診断
    装置。
17. 【請求項１７】 上記診断手段が、上記撮影手段により
    撮影された映像における時系列的に得られる複数フレー
    ムの少なくとも１つを用いて、異常状態の映像か否かを
    診断するものであることを特徴とする請求項１５に記載
    の映像診断装置。
18. 【請求項１８】 車両に設けられ、所定の視野の映像を
    撮影する撮影手段と、この撮影手段により撮影された映
    像から得られる特徴を監視する監視手段とからなる車載
    型映像監視装置に用いられる映像を診断する車載型映像
    監視装置の映像診断システムにおいて、 上記撮影手段により撮影された映像における特定領域の
    テクスチャーを有する画素のうち、移動する画素の画素
    数比、およびそれらのうちの停止する画素の分布範囲と
    を評価することにより、異常状態の映像か否かを診断す
    る診断手段とを有する、 ことを特徴とする車載型映像監視装置の映像診断システ
    ム。第７の実施形態
19. 【請求項１９】 所定の視野の映像を撮影する撮影手段
    と、 この撮影手段により撮影された映像における特定領域の
    テクスチャを有する画素のうち、移動する画素の画素数
    比、および特定領域の輝度分布が画面内の典型画素値か
    ら、一定値以上異なっているかどうかを評価することに
    より、異常状態の映像か否かを診断する診断手段と、 を具備したことを特徴とする映像診断装置。
20. 【請求項２０】 上記診断手段により異常状態の映像が
    診断された際に、異物付着による映像異常を報知するも
    のであることを特徴とする請求項１９に記載の映像診断
    装置。
21. 【請求項２１】 上記診断手段が、上記撮影手段により
    撮影された映像における時系列的に得られる複数フレー
    ムの少なくとも１つを用いて、異常状態の映像か否かを
    診断するものであることを特徴とする請求項１９に記載
    の映像診断装置。
22. 【請求項２２】 車両に設けられ、所定の視野の映像を
    撮影する撮影手段と、この撮影手段により撮影された映
    像から得られる特徴を監視する監視手段とからなる車載
    型映像監視装置に用いられる映像を診断する車載型映像
    監視装置の映像診断システムにおいて、 上記撮影手段により撮影された映像における特定領域の
    テクスチャーを有する画素のうち、、移動する画素の画
    素数比、および特定領域の輝度分布が画面内の典型画素
    値から、一定値以上異なっているかどうかを評価するこ
    とにより、異常状態の映像か否かを診断する診断手段と
    を有する、 ことを特徴とする車載型映像監視装置の映像診断システ
    ム。第９の実施形態