JP2003259358A - カメラの汚れ検出装置およびカメラの汚れ検出方法 - Google Patents

Abstract

(57)【要約】 【課題】カメラの汚れ検出装置において、カメラの設置
の自由度を確保する。 【解決手段】車両に設置され、所定範囲を撮像するカメ
ラの汚れを検出するカメラの汚れ検出装置において、車
両が移動している時に、異なるタイミングにてカメラ１
ａ，１ｂにて撮像された２つの映像に含まれる濃度値の
差分を抽出する差分抽出手段２と、差分抽出手段２によ
り複数抽出された映像の濃度値の差分を積算する差分積
算手段２と、差分積算手段２により積算された濃度値の
映像に基づいて、カメラ１ａ，１ｂの汚れを検出する汚
れ検出手段２とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動体に搭載され
るカメラのレンズの汚れを検出する装置および汚れを検
出する方法に関する。

【０００２】

【従来の技術】車両にカメラを搭載することにより、前
方を走行している車両を検出したり、先行車両までの距
離を検出する装置が知られている（例えば、特開２００
１−１９９２６０号公報）。この装置に用いられるカメ
ラは、主に車両走行中に用いられるため、レンズの前面
に汚れが付着しやすい。レンズの汚れがひどくなると、
先行車両等の被写体を正確に検出することができなくな
るので、車載カメラに付着する汚れを検出して、運転者
に清掃を促したり、自動的に洗浄したりする手段を備え
る必要がある。

【０００３】上述した特開平２００１−１９９２６０号
公報では、同一の撮像範囲を有する２台のカメラを備
え、それぞれのカメラで撮像される画像を比較すること
によって、レンズに付着した汚れを検出する方法が開示
されている。すなわち、２台のカメラにより撮像された
画像の輝度分布を比較し、両者の一致度が低く、かつ、
このような状態が連続する場合には、レンズの表面に汚
れが付着しているか、レンズに傷があると判断する。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た従来の方法では、同一の撮像範囲の輝度分布を比較す
るために複数台のカメラの撮像範囲が重なるように設置
しなければならず、カメラの設置の自由度を確保するこ
とができなかった。

【０００５】本発明の目的は、カメラの設置の自由度を
確保することができるカメラの汚れ検出装置およびカメ
ラの汚れ検出方法を提供することにある。

【０００６】

【課題を解決するための手段】一実施の形態を示す図
１，図２を参照して本発明を説明する。 （１）請求項１の発明は、移動体１０に設置され、所定
範囲を撮像するカメラ１ａ，１ｂの汚れを検出するカメ
ラの汚れ検出装置において、移動体１０が移動している
時に、異なるタイミングにてカメラ１ａ，１ｂにて撮像
された複数の映像の差分を抽出する差分抽出手段２と、
差分抽出手段２により抽出された映像の差分を積算する
差分積算手段２と、差分積算手段２により積算された映
像の差分に基づいて、カメラ１ａ，１ｂの汚れを検出す
る汚れ検出手段２とを備えることにより、上記目的を達
成する。 （２）請求項２の発明は、請求項１のカメラの汚れ検出
装置において、差分抽出手段２は、複数の映像の濃度値
の差分を抽出し、汚れ検出手段２は、差分積算手段２に
より積算された濃度値が所定の濃度値以下の領域に汚れ
が存在すると判断してカメラ１ａ，１ｂの汚れを検出す
ることを特徴とする。 （３）請求項３の発明は、請求項２のカメラの汚れ検出
装置において、汚れ検出手段２は、差分積算手段２によ
り積算された濃度値が一定濃度値を示す面積が所定面積
以上である場合に、カメラ１ａ，１ｂに汚れが存在する
と判断してカメラの汚れを検出することを特徴とする。 （４）請求項４の発明は、請求項１〜３のいずれかのカ
メラの汚れ検出装置において、移動体１０の移動速度を
検出する速度検出手段６をさらに備え、差分積算手段２
は、移動体１０の移動速度が速い程、映像の差分を積算
する回数を多くすることを特徴とする。 （５）請求項５の発明は、請求項１〜３のいずれかのカ
メラの汚れ検出装置において、移動体１０の移動速度を
検出する速度検出手段６をさらに備え、差分抽出手段２
は、移動体１０の移動速度が遅い程、時間間隔の大きい
タイミングにて撮像された２つの映像の差分を抽出する
ことを特徴とする。 （６）請求項６の発明は、移動体１０に設置され、所定
範囲を撮像するカメラ１ａ，１ｂの汚れを検出するカメ
ラの汚れ検出方法において、カメラ１ａ，１ｂにより異
なるタイミングにて複数の映像を撮像し、複数の映像の
差分を抽出し、抽出した複数の映像の差分を積算するこ
とにより、カメラの汚れを検出することにより、上記目
的を達成する。 （７）請求項７の発明は、請求項６のカメラの汚れ検出
方法において、複数の映像の差分の抽出は、複数の映像
の濃度値の差分を抽出し、積算された濃度値が所定の濃
度値以下の領域に汚れが存在すると判断してカメラ１
ａ，１ｂの汚れを検出することを特徴とする。 （８）請求項８の発明は、請求項７のカメラの汚れ検出
方法において、積算された濃度値が一定濃度値を示す面
積が所定面積以上である場合に、カメラ１ａ，１ｂに汚
れが存在すると判断してカメラ１ａ，１ｂの汚れを検出
することを特徴とする。 （９）請求項９の発明は、請求項６〜８のいずれかのカ
メラの汚れ検出方法において、移動体１０の移動速度が
速い程、映像の差分を積算する回数を多くすることを特
徴とする。 （１０）請求項１０の発明は、請求項６〜９のいずれか
のカメラの汚れ検出方法において、移動体１０の移動速
度が遅い程、時間間隔の大きいタイミングにて撮像され
た２つの映像の差分を抽出することを特徴とする。

【０００７】なお、上記課題を解決するための手段の項
では、本発明をわかりやすく説明するために実施の形態
の図１，図２と対応づけたが、これにより本発明が実施
の形態に限定されるものではない。

【０００８】

【発明の効果】本発明によれば、次のような効果を奏す
る。 （１）請求項１〜１０の発明によれば、１台のカメラを
用いてカメラのレンズに付着する汚れを検出することが
できるので、カメラの設置の自由度を確保することがで
きる。 （２）請求項３および８の発明によれば、濃度がほとん
ど変化しない微小領域を汚れ領域であると誤検知するこ
とを防ぐことができる。 （３）請求項４，５，９，１０の発明によれば、移動体
の速度に関わらず、正確にカメラのレンズの汚れを検出
することができる。

【０００９】

【発明の実施の形態】本実施の形態におけるカメラの汚
れ検出装置に用いられる２台のカメラ１ａ，１ｂは、図
１に示すように、それぞれ車両１０のフロントサイド左
右に設置される。カメラ１ａは車両進行方向の右側を、
カメラ１ｂは車両進行方向の左側をそれぞれ撮像するも
のである。本実施の形態では、このカメラ１ａ，１ｂを
用いて、図１に示すように、交差点で交差する道路の左
右奥行き方向を撮影し、撮影した画像に対して画像処理
を施すことによって自車両１０に接近する車両の存在を
検出する車両周辺監視装置を例に挙げて説明する。この
車両周辺監視装置により、接近車両を検出したときは、
警告表示やブザー等によって接近車両をドライバに報知
する。

【００１０】図２は、本発明によるカメラの汚れ検出装
置の一実施の形態の構成を示す図である。一実施の形態
のカメラの汚れ検出装置は、２台のカメラ１ａ，１ｂ
と、画像処理コントローラ２と、オーディオビジュアル
コントロール装置３（以下、単にコントロール装置３と
呼ぶ）と、ディスプレイ４と、ナビゲーション装置５
と、車速センサ６と、ブザー７と、側方検知スイッチ８
とを備える。

【００１１】車両１０のフロントサイド左右に設置され
たＣＣＤカメラ１ａ，１ｂにより撮像された画像は、映
像信号Ｓａ，Ｓｂとして画像処理コントローラ２に送ら
れる。画像処理コントローラ２は、映像信号Ｓａ，Ｓｂ
に対してフィルタリング処理や各種演算処理等を実行す
る。また、画像処理コントローラ２は、ＣＣＤカメラ１
ａまたは１ｂのいずれか一方により撮像される画像に基
づいた映像信号Ｓ１、または双方のカメラ１ａ，１ｂに
より撮像される画像を合成して得られる映像信号Ｓ１を
コントロール装置３に出力する。さらに画像処理コント
ローラ２は、映像信号Ｓａ，Ｓｂに画像処理を施した結
果に基づいて、必要な情報を報知信号Ｓｄとしてコント
ロール装置３に出力する。

【００１２】ナビゲーション装置５は、ＧＰＳ等を利用
して自車両の位置を検出する機能や、自車両の現在地か
ら目的地までのルートを検索する機能を有する。コント
ロール装置３は、ナビゲーション装置５により検出され
る自車位置や、車両周辺地図、誘導経路などのいわゆる
ナビゲーション情報やオーディオビジュアル機能を制御
するための表示や、ＣＣＤカメラ１ａ，１ｂにより撮像
される車両周囲の画像表示などの様々な情報表示を制御
する機能を備えている。コントロール装置３は、画像処
理コントローラ２から出力される画像の切替や、画像処
理の実行を指令するための制御信号Ｓｃを画像処理コン
トローラ２に出力する。また、ディスプレイ４に表示さ
せるための映像信号Ｓ２をディスプレイ４に出力する。

【００１３】ディスプレイ４は、車室内にてドライバが
視認できる位置に備えられ、コントロール装置３から入
力される映像信号Ｓ２に基づいて、ナビゲーション情報
やＣＣＤカメラ１ａ，１ｂで撮像される映像を表示す
る。車速センサ６は、自車両の走行速度を計測し、計測
した速度に比例したパルスをコントロール装置３に出力
する。ブザー７は、後述する方法により自車両に接近し
てくる車両を検知した場合等、ドライバに警告を促す必
要がある場合に、アラーム音を発生する。

【００１４】側方検知スイッチ８は、ＣＣＤカメラ１
ａ，１ｂによる撮像を開始したり、撮像された画像情報
に基づいて側方から接近する車両を検知するためのプロ
グラムを起動するためのスイッチであり、ドライバ等に
よって操作される。側方検知スイッチ８がオンの時に後
述する条件が満足されると、画像処理コントローラ２に
より側方検知制御が行われる。また、側方検知スイッチ
８がオフの時には、後述する条件が満たされていても、
側方検知制御は行われない。

【００１５】図３は、画像処理コントローラ２の内部構
成を示す図である。画像処理コントローラ２は、デコー
ダ２ａと、画像処理専用ＩＣと、エンコーダ２ｃと、画
像メモリ２ｄと、ＲＯＭ２ｅと、画像処理制御ＣＰＵ２
ｆとを備える。ＣＣＤカメラ１ａ，１ｂから出力された
映像信号Ｓａ，Ｓｂは、デコーダ２ａに入力される。デ
コーダ２ａは、入力された映像信号Ｓａ，Ｓｂをそれぞ
れデジタルデータに変換して、画像処理専用ＩＣ２ｂに
出力する。画像処理専用ＩＣ２ｂは、Ａ／Ｄ変換処理が
行われた画像データに対して各種の演算処理を実行す
る。演算処理が行われた画像データは、エンコーダ２ｃ
に出力される。エンコーダ２ｃは、演算処理が行われた
画像データにＤ／Ａ変換処理を施す。Ｄ／Ａ変換処理が
行われた後の映像信号Ｓ１は、コントロール装置３に出
力される。

【００１６】上述した画像処理専用ＩＣ２ｂと、画像メ
モリ２ｄ、ＲＯＭ２ｅ、画像処理制御ＣＰＵ２ｆとは、
それぞれ共通のバスにより接続されている。画像メモリ
２ｄには、入力された画像データや処理実行中のデータ
を一次的に保存することができる。なお、画像メモリ２
ｄには、処理に必要な複数の画像を記憶するための所定
容量が用意される。ＲＯＭ２ｅには、ＣＣＤカメラ１
ａ，１ｂにより撮像された画像に基づいて自車両に接近
してくる車両を検出するためのプログラムや、ＣＣＤカ
メラ１ａ，１ｂのレンズの汚れを検出するためのプログ
ラムを含む画像処理プログラムが格納されている。画像
処理制御ＣＰＵ２ｆは、コントロール装置３から送信さ
れてくる制御信号Ｓｃに基づいて、画像処理の実行を行
うタイミングや各種信号の入出力を制御する。

【００１７】図４（ａ），（ｂ）は、図１に示すように
カメラ１ａ，１ｂを搭載した車両１０がＴ地路にさしか
かった時に、カメラ１ａにて進行方向右側を撮影した画
像を示す図である。図４（ａ），（ｂ）には、自車両に
接近してくる車両２０や建物３０等がそれぞれ示されて
いる。図４（ａ）はＣＣＤカメラ１ａが正常な状態、す
なわち、レンズに汚れが付着していない状態で撮影され
た画像であり、図４（ｂ）はＣＣＤカメラ１ａのレンズ
に汚れが付着している状態で撮影された画像である。こ
の汚れは、車両の走行中に泥などが付着することにより
生じるものである。

【００１８】ここでレンズに付着している汚れ領域を図
４（ｂ）に示すように、Ａ，Ｂとする。以下では、ＣＣ
Ｄカメラ１ａまたは１ｂにて撮影された画像に基づい
て、レンズに付着している汚れ領域Ａ，Ｂを抽出するこ
とにより、カメラ１ａ，１ｂの汚れを検出する方法につ
いて説明する。

【００１９】図５は、例えば、自車両１０が見通しの悪
いＴ地路や交差点にさしかかった時に、カメラ１ａ，１
ｂを用いて、側方から接近してくる車両を検出するため
の制御手順を示す一実施の形態のフローチャートであ
る。この制御は、画像処理コントローラ２内に設けられ
ている画像処理専用ＩＣ２ｂおよびコントロール装置３
により行われる。ステップＳ１０から始まる制御は、図
示しないイグニッションスイッチがオンとなることによ
り始まる。

【００２０】ステップＳ１０では、後述するカメラの汚
れを検出するプログラムをスタートさせるための汚れ検
知タイマをセットして、ステップＳ２０に進む。ステッ
プＳ２０では、ナビゲーション装置５からコントロール
装置３に入力されるナビゲーション情報のうち、コント
ロール装置３で選択される地図情報や自車位置情報等の
情報をディスプレイ４に表示する。すなわち、ドライバ
等が図示しない操作ボタンを操作することにより、ドラ
イバ等が表示を要求する情報がコントロール装置３で選
択されて、ディスプレイ４に表示される。コントロール
装置３で選択された情報がディスプレイ４に表示される
と、ステップＳ３０に進む。

【００２１】ステップＳ３０では、コントロール装置３
が、車速センサ６から入力されるパルスに基づいて、自
車両の車速を算出する。なお、コントロール装置３で算
出された車速データは、制御信号Ｓｃとして画像処理コ
ントローラ２に随時出力される。車速が検出されるとス
テップＳ４０に進む。ステップＳ４０では、ステップＳ
３０で検出した車速が所定値以上であるか否かを判定す
る。この所定値は、ステップＳ２０でディスプレイ４に
表示したナビゲーション画面を継続して表示するための
条件値であり、本実施の形態では１０ｋｍ／ｈとする。
すなわち、ステップＳ４０で車速が所定値以上であると
判定するとステップＳ２０に戻り、ナビゲーション画面
を継続してディスプレイ４に表示する。一方、車速が所
定値未満であると判定するとステップＳ５０に進む。

【００２２】ステップＳ５０では、側方検知スイッチ８
からコントロール装置３に入力される信号に基づいて、
側方検知スイッチ８がオンであるか否かを判定する。オ
ンであると判定するとステップＳ６０に進み、オンでは
ないと判定するとステップＳ２０に戻る。ステップＳ５
０で判定された結果、すなわち、側方検知スイッチ８の
オン／オフの状態は、制御信号Ｓｃとして画像処理コン
トローラ２に送られる。

【００２３】ステップＳ６０では、後述する制御プログ
ラムによる行われるカメラの汚れ判定処理の結果に基づ
いて、カメラ１ａ，１ｂのレンズに汚れが付着している
か否かを判定する。汚れが付着していると判定するとス
テップＳ１１０に進み、汚れが付着していないと判定す
るとステップＳ７０に進む。ステップＳ７０では、図４
（ａ）に示すように、カメラ１ａにより撮像された画像
をディスプレイ４に表示する。すなわち、画像処理コン
トローラ２は、カメラ１ａから入力される映像信号Ｓａ
に基づいた映像信号Ｓ１をコントロール装置Ｓ１に出力
する。コントロール装置３が、映像信号Ｓ１に基づいた
映像信号Ｓ２をディスプレイ４に出力することにより、
撮像画像をディスプレイ４に表示する。なお、ディスプ
レイ４に表示する画像は、カメラ１ｂにより撮像された
ものでもよい。

【００２４】カメラ１ａで撮像された画像をディスプレ
イ４に表示するとステップＳ８０に進む。ステップＳ８
０では、ディスプレイ４に表示された画像の中から、自
車両に接近する車両が存在するか否かを判定するための
側方接近車両検知処理を実行する。この処理は、画像処
理制御ＣＰＵ２ｆが行う信号の入出力制御に基づいて画
像処理コントローラ２に入力された画像データに対し
て、画像処理専用ＩＣ２ｂが各種の処理を施すことによ
り行われる。自車両に接近してくる移動体の検出アルゴ
リズムについては、背景差分法やオプティカルフロー法
などの公知の方法を用いるため、詳しい説明は省略す
る。

【００２５】ステップＳ９０では、ステップＳ８０で行
った接近車両検知処理の結果に基づいて、自車両に接近
してくる車両があるか否かを判定する。自車両に接近し
てくる車両が存在すると判定するとステップＳ１００に
進み、存在しないと判定するとステップＳ５０に戻る。
ステップＳ１００では、ディスプレイ４に、接近車両が
存在することを知らせる表示を行うとともに、ブザー７
から警告音を出力させる。

【００２６】図６は、接近車両２０が存在することを知
らせるためのアラーム表示を示す図である。図６に示す
ように、カメラ１ａで撮像された画像に対して、接近車
両２０を示すための枠４０が重ねられている。この処理
は、撮像された画像のうち、ステップＳ８０の接近車両
検知処理にて検知された接近車両の部分に対して、画像
処理コントローラ２の画像処理専用ＩＣが画像処理を施
すことにより行われる。画像処理後の画像は、映像信号
Ｓ１としてコントロール装置３に出力され、ディスプレ
イ４に表示される。また、接近車両が検知された場合に
は、画像処理コントローラ２から報知信号Ｓｄがコント
ロール装置３に入力されるので、この報知信号Ｓｄに基
づいてブザー７から警告音が発せられる。接近車両２０
が存在する旨のアラーム表示をディスプレイ４に行う
と、ステップＳ５０に戻る。

【００２７】ステップＳ６０でカメラ１ａのレンズが汚
れていると判定されてステップＳ１１０に進むと、ディ
スプレイ４にカメラ１ａのレンズが汚れている旨のアラ
ーム表示が行われる。すなわち、画像処理コントローラ
２の画像処理専用ＩＣ２ｂが後述する方法によりカメラ
１ａのレンズに汚れが付着していると判定すると、汚れ
が付着している旨の報知信号Ｓｄがコントロール装置３
に出力される。コントロール装置３は、この報知信号Ｓ
ｄに基づいて、図７に示すようなアラーム表示をディス
プレイ４に表示する。カメラが汚れている旨のアラーム
表示を行うとステップＳ５０に戻り、再度側方検知スイ
ッチ８がオンになっているか否かの判定が行われる。

【００２８】図８は、カメラのレンズの汚れの有無を判
定する制御手順を示す一実施の形態のフローチャートで
ある。この制御は、画像処理コントローラ２内に設けら
れている画像処理専用ＩＣ２ｂにより行われる。上述し
たように、図５に示すフローチャートによる制御が開始
されると、汚れ検知タイマがセットされる（ステップＳ
１０）。このタイマは任意に設定することができるが、
本実施の形態では６０秒とする。従って、図５に示すフ
ローチャートによる制御が行われている時でも、６０秒
ごとにステップＳ２００以後の処理（以下では、割り込
み処理と呼ぶ）が行われるものとする。

【００２９】ステップＳ２００では、画像メモリ２ｄの
所定領域に設定されている、後述する画像積算メモリを
クリアしてステップＳ２１０に進む。ステップＳ２１０
では、車速センサ６から入力されるパルスに基づいて、
自車両の車速が所定値以上であるか否かを判定する。後
述するステップＳ２５０では、異なるタイミングで撮像
された２枚の画像の差分画像を求めるが、この２枚の画
像の差異が明確に現れるように、車速の判定しきい値で
ある所定値を定めておく。本実施の形態では、この所定
値を３０ｋｍ／ｈとする。車速が所定値以上であると判
定するとステップＳ２２０に進む。一方、車速が所定値
未満であると判定すると、カメラの汚れを正確に検出す
ることができないので、割り込み処理を終了する。

【００３０】ステップＳ２２０では、カメラ１ａにより
撮像された画像ＦＴ_ｎを画像処理コントローラ２に入力
してステップＳ２３０に進む。ステップＳ２３０では、
画像の入力周期を管理するタイマをセットして、ステッ
プＳ２４０に進む。ステップＳ２４０では、ステップＳ
２２０で入力された画像ＦＴ_ｎを画像メモリ２ｄに記憶
して、ステップＳ２５０に進む。

【００３１】ステップＳ２５０では、ステップＳ２４０
で記憶された画像ＦＴ_ｎと、前回の入力タイミングにて
入力・記憶された画像ＦＴ_ｎ−１との差分処理を行うこ
とにより、差分画像ＦＳ_ｎを求める。差分処理では、画
像ＦＴ_ｎの全領域の濃度と画像ＦＴ_ｎ−１の全領域の濃
度との差を求める。差分画像ＦＳ_ｎを求めるとステップ
Ｓ２６０に進む。ステップＳ２６０では、ステップＳ２
５０で求めた差分画像ＦＳ_ｎを、画像メモリ２ｄの所定
領域に設定されている画像積算メモリに加算して、積算
画像Ｆ_ｓｕｍを求め、記憶する。積算画像Ｆ_ｓｕｍを求
めるとステップＳ２７０に進む。

【００３２】ステップＳ２７０では、ステップＳ２６０
で差分画像ＦＳ_ｎを画像積算メモリに加算する回数が所
定回数行われたか否かを判定する。本実施の形態では、
この所定回数を４回とする。すなわち、画像積算メモリ
に差分画像ＦＳ_ｎを４回加算して最終的な積算画像Ｆ
_ｓｕｍを求めるまでは、上述したステップＳ２１０〜ス
テップＳ２６０の処理が繰り返し行われる。ステップＳ
２６０で行う加算処理が所定回数行われたと判定すると
ステップＳ２９０に進み、所定回数行われていないと判
定するとステップＳ２８０に進む。

【００３３】ステップＳ２８０では、次のタイミングに
て撮像画像を入力するためにステップＳ２３０でセット
されたタイマが所定時間を経過したか否かを判定する。
上述したステップＳ２５０では、２枚の画像の差分画像
ＦＳ_ｎを求めているが、後述するように２枚の画像の差
異は明確であることが好ましい。従って、本実施の形態
では、このタイマ時間を１秒とする。ステップＳ２３０
でセットしたタイマが所定時間である１秒を経過してい
ないと判定すると、所定時間を経過するまでステップＳ
２８０で待機する。一方、タイマが所定時間を経過した
と判定するとステップＳ２１０に戻り、次の撮像画像を
入力するための処理が行われる。

【００３４】上述した処理を図９（ａ）〜（ｅ）および
図１０（ａ）〜（ｅ）に示す画像を用いて説明する。こ
れらの画像は、２５６階調（８ビット）の白黒画像と
し、白が濃度０、黒が濃度２５５で表現されるものとす
る。画像積算メモリに記憶されている画像をクリア（ス
テップＳ２００）した後に車速が所定値以上であると判
定すると（ステップＳ２１０）、カメラ１ａにて撮像し
た画像を取得して画像メモリ２ｄに記憶する（ステップ
Ｓ２４０）。図９（ａ）は、画像積算メモリのクリア後
に、最初に画像メモリ２ｄに記憶された画像ＦＴ１を示
す図であり、建物が示されている。

【００３５】次に、図９（ｂ）に示すように、所定時間
経過後（ステップＳ２８０）の画像ＦＴ２を取得して画
像メモリ２ｄに記憶する。本実施の形態では、自車両の
車速が３０ｋｍ／ｈ以上であり、また、画像ＦＴ１を取
得してから１秒経過後に、次の画像ＦＴ２を取得してい
るので、自車両の移動量に応じて、画像ＦＴ１と画像Ｆ
Ｔ２とは異なるものとなる。図９（ａ），（ｂ）では、
両画像ＦＴ１，ＦＴ２には同じ建物が移っているが、視
点位置は異なっている。画像処理専用ＩＣ２ｂは、画像
ＦＴ２と画像ＦＴ１との差分処理を行い（ステップＳ２
５０）、求めた差分画像ＦＳ２を画像積算メモリに記憶
する（ステップＳ２６０）。

【００３６】図１０（ａ）は、図９（ａ）に示す画像Ｆ
Ｔ１と図９（ｂ）に示す画像ＦＴ２との差分処理により
求めた差分画像ＦＳ２を示している。画像フレーム間で
差分処理を行うと、同一の濃度情報を有する領域は濃度
差がゼロであるので、差分画像ＦＳ２の中では、この領
域は白色（濃度０）で表現される。すなわち、カメラ１
ａのレンズに存在する汚れ領域ＡおよびＢは、画像ＦＴ
１およびＦＴ２において、同一の位置に同一の形状・大
きさにて存在するので、差分画像ＦＳ２において、濃度
ゼロの領域となる。

【００３７】また、汚れ領域Ａ，Ｂ以外の領域でも、同
一の建物の壁や窓、同一の路面などの濃度が同一となる
領域や濃度が非常に近い領域が存在する。差分画像ＦＳ
２においてこれらの領域は、濃度がゼロ、あるいは、濃
度値が非常に小さい領域Ｃ，Ｄ，Ｅ，Ｆとして表され
る。領域Ａ〜Ｆ以外の領域においても、両画像ＦＴ１と
ＦＴ２の濃度差による濃淡画像が得られる。図１０
（ａ）では、図の明確化のために、領域Ａ〜Ｆ以外の領
域は同一色にて表現しているが、実際には濃淡が異なる
ランダムなパターンとなる。

【００３８】さらに次のタイミングにて、図９（ｃ）に
示される画像ＦＴ３を取得して画像メモリ２ｄに記憶す
る。差分画像ＦＳ２を求めた時と同様の方法により、画
像ＦＴ３と画像ＦＴ２を用いて差分画像ＦＳ３を求め、
画像積算メモリに加算・記憶する。図１０（ｂ）は、差
分画像ＦＳ３を示す図である。差分画像ＦＳ３において
も、領域ＡおよびＢの濃度はゼロである。図９（ａ）に
は、領域ＡおよびＢ以外に、濃度がゼロ、あるいは、濃
度値が非常に小さい領域Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌが示さ
れている。

【００３９】画像積算メモリには、前回の処理で求めら
れた差分画像ＦＳ２が記憶されているので、この差分画
像ＦＳ２に新たに求めた差分画像ＦＳ３を加算して積算
画像Ｆ_ｓｕｍを求める（ステップＳ２６０）。なお、差
分画像ＦＳ２を求めた時には、画像積算メモリは予めク
リアされているので（ステップＳ２００）、差分画像Ｆ
Ｓ２が積算画像Ｆ_ｓｕｍとして画像積算メモリに記憶さ
れる。

【００４０】上述した方法により、順次画像ＦＴ４（図
９（ｃ））、画像ＦＴ５（図９（ｄ））を取得し、差分
画像ＦＳ４（図１０（ｃ））、差分画像ＦＳ５（図１０
（ｄ））を求める。また、求めた差分画像ＦＳ４，ＦＳ
５を、画像積算メモリに記憶されている積算画像Ｆ
_ｓｕｍに加算することにより、新たな積算画像Ｆ_ｓｕｍ
を順次求める。本実施の形態では、画像積算メモリに差
分画像ＦＳｎを４回加算することにより（ステップＳ２
７０）、最終的な積算画像Ｆ_ｓｕｍを求めている。最終
的に得られる積算画像Ｆ_ｓｕｍを図１０（ｅ）に示す。

【００４１】上述したように、差分画像ＦＳ２〜ＦＳ５
において、汚れ領域ＡおよびＢの濃度はゼロである。従
って、これらの差分画像ＦＳ２〜ＦＳ５を加算して得ら
れる最終的な積算画像Ｆ_ｓｕｍにおける汚れ領域Ａおよ
びＢの濃度もゼロとなる。また、濃度ゼロ以外の領域に
おいては、画像ＦＳ２〜ＦＳ５における濃度情報が順次
積算されていくので、最終的な積算画像Ｆ_ｓｕｍにおけ
る濃度値は高いものとなる。ただし、図１０（ｅ）に示
すように、領域ＡおよびＢ以外にも、濃度値が小さい領
域が存在する。図１０（ｅ）では、領域Ａ，Ｂや濃度値
の小さい領域以外の領域を同一色にて表現しているが、
実際には濃淡が異なるランダムなパターンであり、濃度
情報は一様ではない。

【００４２】再び図８に示すフローチャートに戻って説
明を続ける。ステップＳ２９０では、画像積算メモリに
記憶されている積算画像Ｆ_ｓｕｍから、所定濃度値以下
の領域を抽出する。本実施の形態では、この所定濃度値
を３０とする。図１０（ｅ）に示す積算画像Ｆ_ｓｕｍに
おいて、領域ＡおよびＢ等の白色で示される領域の濃度
値が３０以下であれば、これらの領域が全て抽出され
る。所定濃度値以下の領域を抽出するとステップＳ３０
０に進む。

【００４３】ステップＳ３００では、ステップＳ２９０
で抽出した領域の中に、所定面積以上の領域があるか否
かを判定する。この所定面積は、接近車両等を検知する
ための画像処理に影響を与える面積を考慮して予め定め
ておく。図１０（ｅ）に示される積算画像Ｆ_ｓｕｍで
は、比較的面積の大きい領域ＡおよびＢが抽出されるも
のとする。ステップＳ２９０で抽出した領域の中に、所
定面積以上の領域があると判定するとステップＳ３１０
に進み、所定面積以上の領域が存在しないと判定する
と、この割り込み処理を終了する。ステップＳ３１０で
は、カメラ１ａのレンズが汚れていることを示す汚れ付
着判定信号を報知信号Ｓｄに載せて、コントロール装置
３に出力し、本割り込み処理を終了する。

【００４４】図１１は、画像の濃度情報の変化を説明す
るための図である。図１１（ａ）〜（ｄ）は、それぞれ
差分画像の濃度情報を示す図であり、図１１（ｅ）は、
図１１（ａ）〜図１１（ｄ）に示す差分画像を積算して
得られる積算画像Ｆ_ｓｕｍの濃度情報を示す図である。
図中の数字は、濃度値を示している。例えば、図１１
（ａ）に示す差分画像において、領域ａ０の濃度値は１
０、領域ａ１の濃度値は０、領域ａ２の濃度値は５であ
る。

【００４５】図１１（ｅ）に示す積算画像Ｆ_ｓｕｍの領
域ｅ１は、図１１（ａ）〜（ｄ）にそれぞれ示される、
同一の位置、形状および大きさを有する領域ａ１，ｂ
１，ｃ１，ｄ１の濃度値を加算した領域であり、濃度値
はゼロである。領域ｅ１を除く領域ｅ０，ｅ２，ｅ３，
ｅ４，ｅ５，ｅ６の濃度値は、図１１（ｅ）に示す通り
である。この場合、濃度値が３０以下の領域ｅ１（濃度
値０）が、汚れ領域の候補として抽出され、所定面積以
上の大きさであれば、汚れ領域であると判定される。

【００４６】上述したカメラの汚れ検出制御によれば、
画像積算メモリをクリア（ステップＳ２００）した後、
自車両の車速が所定値以上であればカメラ１ａにて撮像
される画像ＦＴ_ｎを取得する（ステップＳ２１０，Ｓ２
２０）。次の画像ＦＴ_ｎ＋１を取り込むタイミングを管
理するタイマをセットし（ステップＳ２３０）、取得し
た画像ＦＴ_ｎを画像メモリ２ｄに記憶する（ステップＳ
２４０）。この画像ＦＴ_ｎと前回の処理にて取得した画
像ＦＴ_ｎ−１との差分処理を行うことにより差分画像Ｆ
Ｓ_ｎを求め（ステップＳ２５０）、画像積算メモリに加
算して積算画像Ｆ_ｓｕｍを求め、画像積算メモリに記憶
する（ステップＳ２６０）。

【００４７】ステップＳ２６０で行う加算処理が所定回
数行われていないと判定すると（ステップＳ２７０）、
ステップＳ２３０でセットしたタイマが所定時間経過し
た後に、ステップＳ２１０〜ステップＳ２６０までの処
理を繰り返す。加算処理を所定回数行うと、最終的な積
算画像Ｆ_ｓｕｍから所定濃度値以下の領域を抽出し（ス
テップＳ２９０）、抽出した領域の中に所定面積以上の
領域があるか否かを判定する（ステップＳ３００）。所
定面積以上の領域がある場合には、汚れ付着判定信号を
報知信号Ｓｄに載せてコントロール装置３に出力する
（ステップＳ３１０）。

【００４８】このような制御により、カメラを搭載した
車両の移動時においても、カメラのレンズの汚れを正確
に検出することができる。また、カメラ１ａ，１ｂを用
いて接近車両や自車両周辺の建造物を検出する車両周辺
監視装置が元々備えている画像処理機能を用いることが
できるので、低コストにてレンズの汚れを検出すること
ができる。さらに、レンズの汚れを検出するために複数
台のカメラを用いる必要がないので、低コスト・小スペ
ースを実現することができるとともに、カメラ１ａ，１
ｂの設置場所の自由度を確保することができる。

【００４９】また、所定濃度値以下の領域を抽出（ステ
ップＳ２９０）した後、抽出した領域のうち所定面積以
上の領域が存在する場合に（ステップＳ３００）、汚れ
付着判定信号をコントロール装置３出力しているので
（ステップＳ３１０）、積算画像Ｆ_ｓｕｍの中に濃度値
が小さく、かつ、画像処理に影響を与えない微少面積が
存在する場合にまで、汚れ付着判定信号を出力して、デ
ィスプレイ４にアラーム表示を行うことを防ぐことがで
きる。さらに、車両の走行中に、本来の車両周辺監視機
能の動作と同時にレンズの汚れを検出することができる
ので、ドライバはカメラに汚れが付着する等の異常が発
生して、車両周辺監視装置が正常に動作しなくなる可能
性があることを直ちに認知することができる。

【００５０】本発明は、上述した一実施の形態に限定さ
れることはない。例えば、上述した一実施の形態では、
カメラの汚れ検出装置を、自車両１０のフロントエンド
に設置されたカメラ１ａ，１ｂを用いて、フロント側方
から接近してくる車両を検出する車両周囲監視装置に適
用した例について説明したが、カメラの設置場所、およ
び、対象とするシステムはこれに限定されることはな
い。例えば、車両の後方部に設置したカメラを用いて、
自車両の後方から接近してくる隣接車線走行車両を検知
してドライバに報知する後側方警報装置にも、本発明の
カメラの汚れ検出装置を適用することができる。ただ
し、この場合には、自車両が高速走行していても撮像し
た画像の路面領域が著しい変化を伴わない場合があるの
で、差分画像ＦＳ_ｎを積算する回数を多くすることが望
ましい。

【００５１】上述した一実施の形態では、カメラの汚れ
検出装置を車両に搭載した例について説明したが、車両
は乗用車や、トラック等の大型車等の車種に制限される
ことはない。また、車両に限らず、船舶や飛行機などの
移動する物体にも適用することができる。

【００５２】上述した一実施の形態では、差分画像ＦＳ
_ｎを求めるために次の画像を取得するタイミングを管理
するタイマを１秒としたが（ステップＳ２３０）、タイ
マ時間は任意に設定することができる。すなわち、１秒
以外の任意の時間に設定してもよいし、自車両の車速に
応じた可変の値としてもよい。自車両の車速に応じてタ
イマ時間を変える場合には、車速が遅い程タイマ時間を
長くするように設定しておけば、車速に関わらず２枚の
画像の差異が明確となる画像を取得することができる。

【００５３】さらに、上述した一実施の形態では、画像
メモリ２ｄの所定領域に設定されている画像積算メモリ
に差分画像ＦＳ_ｎを加算する回数を４回としたが、この
回数も任意に定めることができる。この場合、加算回数
を増やすほど、汚れ領域以外の濃度が同一ではない領域
の濃度値は増加するので、濃度値に変化が無い領域を抽
出しやすくなる。また、タイマ時間と同様に、車速が速
い程加算回数を多くするように設定しておけば、車速に
関わらず汚れ領域を正確に検出することが可能となる。

【００５４】また、接近車両が存在することを報知する
際（ステップＳ１００）や、カメラのレンズに汚れが付
着していることを報知する際（ステップＳ１１０）にブ
ザー７から警告音を発したが、警告音以外に合成音声を
用いてもよい。

【００５５】特許請求の範囲の構成要素と一実施の形態
の構成要素との対応関係は次の通りである。すなわち、
画像処理コントローラ２が差分抽出手段と差分積算手段
と汚れ検出手段を、速度センサ６が速度検出手段をそれ
ぞれ構成する。なお、本発明の特徴的な機能を損なわな
い限り、各構成要素は上記構成に限定されるものではな
い。

【図面の簡単な説明】

【図１】カメラの搭載位置を示す図

【図２】本発明によるカメラの汚れ検出装置の一実施の
形態の構成を示す図

【図３】画像処理コントローラの一実施の形態の詳細な
構成を示す図

【図４】図４（ａ）は、カメラのレンズに汚れが付着し
ていない場合の撮像画像を示す図、図４（ｂ）は、レン
ズに汚れが付着している場合の撮像画像を示す図

【図５】カメラを用いて、側方から接近してくる車両を
検出する制御手順を示す一実施の形態のフローチャート

【図６】接近車両が存在することを知らせるためのアラ
ーム表示を示す図

【図７】カメラに汚れが付着していることを知らせるた
めのアラーム表示を示す図

【図８】カメラの汚れを検出する制御手順を示す一実施
の形態のフローチャート

【図９】カメラの汚れを検出する制御手順を説明するた
めの画像を示す図であって、図９（ａ）〜（ｅ）は画像
ＦＴ１〜ＦＴ５をそれぞれ示す

【図１０】図１０（ａ）〜（ｄ）は差分画像ＦＳ２〜Ｆ
Ｓ５を、図１０（ｅ）は積算画像をそれぞれ示す

【図１１】図１１（ａ）〜（ｄ）は差分画像ＦＳ２〜Ｆ
Ｓ５に含まれる濃度情報を示す図であり、図１１（ｅ）
は積算画像Ｆ_ｓｕｍに含まれる濃度情報を示す図

【符号の説明】 １ａ，１ｂ…ＣＣＤカメラ、２…画像コントローラ、２
ａ…デコーダ、２ｂ…画像処理専用ＩＣ、２ｃ…エンコ
ーダ、２ｄ…画像メモリ、２ｅ…ＲＯＭ、２ｆ…画像処
理制御ＣＰＵ、３…オーディオビジュアルコントロール
装置、４…ディスプレイ、５…ナビゲーション装置、６
…車速センサ、７…ブザー、８…側方検知スイッチ、１
０…自車両、２０…接近車両、３０…建物、４０…接近
車両を示すための枠

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 Ｂ６０Ｒ 21/00 ６２２Ｔ ６２４ ６２４Ｃ ６２６ ６２６Ｂ ６２６Ｇ ６２８ ６２８Ｚ Ｇ０１Ｖ 8/10 Ｇ０３Ｂ 17/18 Ｚ Ｇ０３Ｂ 17/18 Ｇ０６Ｔ 1/00 ３３０Ｚ Ｇ０６Ｔ 1/00 ３３０ 7/00 ３００Ｆ 7/00 ３００ Ｈ０４Ｎ 5/225 Ｃ Ｈ０４Ｎ 5/225 Ｇ０１Ｖ 9/04 Ｓ Ｆターム(参考） 2H102 AB00 5B057 AA16 CA12 CA16 DB02 DC22 DC32 DC36 5C022 AA04 AC66 5C054 CH01 EA01 EA05 ED07 FC01 FC04 FF07 GB11 GB18 HA30 5L096 BA02 BA04 GA08 GA09 JA11

Claims (10)

【特許請求の範囲】
1. 【請求項１】移動体に設置され、所定範囲を撮像するカ
   メラの汚れを検出するカメラの汚れ検出装置において、 前記移動体が移動している時に、異なるタイミングにて
   前記カメラにて撮像された複数の映像の差分を抽出する
   差分抽出手段と、 前記差分抽出手段により抽出された映像の差分を積算す
   る差分積算手段と、 前記差分積算手段により積算された映像の差分に基づい
   て、前記カメラの汚れを検出する汚れ検出手段とを備え
   ることを特徴とするカメラの汚れ検出装置。
2. 【請求項２】請求項１に記載のカメラの汚れ検出装置に
   おいて、 前記差分抽出手段は、前記複数の映像の濃度値の差分を
   抽出し、 前記汚れ検出手段は、前記差分積算手段により積算され
   た前記濃度値が所定の濃度値以下の領域に汚れが存在す
   ると判断して前記カメラの汚れを検出することを特徴と
   するカメラの汚れ検出装置。
3. 【請求項３】請求項２に記載のカメラの汚れ検出装置に
   おいて、 前記汚れ検出手段は、前記差分積算手段により積算され
   た前記濃度値が一定濃度値を示す面積が所定面積以上で
   ある場合に、前記カメラに汚れが存在すると判断して前
   記カメラの汚れを検出することを特徴とするカメラの汚
   れ検出装置。
4. 【請求項４】請求項１〜３のいずれかに記載のカメラの
   汚れ検出装置において、 前記移動体の移動速度を検出する速度検出手段をさらに
   備え、 前記差分積算手段は、前記移動体の移動速度が速い程、
   前記映像の差分を積算する回数を多くすることを特徴と
   するカメラの汚れ検出装置。
5. 【請求項５】請求項１〜３のいずれかに記載のカメラの
   汚れ検出装置において、 前記移動体の移動速度を検出する速度検出手段をさらに
   備え、 前記差分抽出手段は、前記移動体の移動速度が遅い程、
   時間間隔の大きいタイミングにて撮像された２つの映像
   の差分を抽出することを特徴とするカメラの汚れ検出装
   置。
6. 【請求項６】移動体に設置され、所定範囲を撮像するカ
   メラの汚れを検出するカメラの汚れ検出方法において、 カメラにより異なるタイミングにて複数の映像を撮像
   し、 前記複数の映像の差分を抽出し、 前記抽出した複数の映像の差分を積算することにより、
   カメラの汚れを検出することを特徴とするカメラの汚れ
   検出方法。
7. 【請求項７】請求項６に記載のカメラの汚れ検出方法に
   おいて、 前記複数の映像の差分の抽出は、前記複数の映像の濃度
   値の差分を抽出し、 前記積算された濃度値が所定の濃度値以下の領域に汚れ
   が存在すると判断して前記カメラの汚れを検出すること
   を特徴とするカメラの汚れ検出方法。
8. 【請求項８】請求項７に記載のカメラの汚れ検出方法に
   おいて、 前記積算された前記濃度値が一定濃度値を示す面積が所
   定面積以上である場合に、前記カメラに汚れが存在する
   と判断して前記カメラの汚れを検出することを特徴とす
   るカメラの汚れ検出方法。
9. 【請求項９】請求項６〜８のいずれかに記載のカメラの
   汚れ検出方法において、 前記移動体の移動速度が速い程、前記映像の差分を積算
   する回数を多くすることを特徴とするカメラの汚れ検出
   方法。
10. 【請求項１０】請求項６〜９のいずれかに記載のカメラ
    の汚れ検出方法において、 前記移動体の移動速度が遅い程、時間間隔の大きいタイ
    ミングにて撮像された２つの映像の差分を抽出すること
    を特徴とするカメラの汚れ検出方法。