JP2010211714A - 物体検出装置 - Google Patents

Abstract

【課題】本発明は、物体を高精度に検出する物体検出装置を提供することを課題とする。
【解決手段】撮像手段３ａで撮像された入力画像と当該入力画像と同じ場所で撮像された背景画像との比較に基づいて物体を検出する物体検出装置３であって、対応する画像位置毎に背景画像に対する入力画像の色変化傾向を算出する色変化傾向算出手段３ｄと、色変化傾向の基準値を設定する基準値設定手段３ｄ，３ｅ，３ｆと、色変化傾向算出手段で算出した色変化傾向と基準値設定手段で設定した色変化傾向の基準値に基づいて物体を検出する物体検出手段３ｇを備えることを特徴とする。
【選択図】図５

Description

本発明は、物体検出装置に関する。

物体を検出する方法として、所定の場所で撮像された入力画像と同じ場所で予め撮像された背景画像とで背景差分を行い、その差のある領域を抽出して物体を検出する方法が知られている。しかし、入力画像と背景画像とで撮像時の照明条件（特に、屋外の場合には天候、時間など）が異なると、入力画像と背景画像とで影の出方に差が生じる。その結果、背景差分によって抽出された領域が、影によるものかあるいは新たに現れた物体によるものかを特定できない。そこで、高精度な背景差分を行うためには、様々な照明条件で背景画像を予め撮像し、その様々な照明条件の複数の背景画像の中から入力画像と同じ照明条件の背景画像を検索し、同じ照明条件の入力画像と背景画像で背景差分を行う必要がある。特許文献１に記載の装置では、自車両周辺の環境（例えば、周囲の明るさ、天候、時間情報）毎に異なる複数の画像の基準パターンを予め記憶する基準パターンデータベースを備えており、自車両周辺の環境を判定し、基準パターンデータベースからその判定した環境に応じた画像の基準パターンを選択し、その選択した画像の基準パターンとカメラで撮像した入力画像とを比較して物体候補領域を検出する。

特開２００７−３２９７６２号公報 特開２００４−２７４３２５号公報

上記の装置の場合、環境に応じた画像の基準パターンを予め用意しておくが、実際にカメラで撮像したときの環境に対応する画像の基準パターンがない場合、検出精度が低下する。特に、影の有無などで局所的に照明条件が変わる場合に対応して基準パターンを全て用意しておくことは難しいが、このように局所的に照明条件が変わるようなことは比較的頻繁に起こり得る。

そこで、本発明は、物体を高精度に検出する物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、撮像手段で撮像された入力画像と当該入力画像と同じ場所で撮像された背景画像との比較に基づいて物体を検出する物体検出装置であって、対応する画像位置毎に背景画像に対する入力画像の色変化傾向を算出する色変化傾向算出手段と、色変化傾向の基準値を設定する基準値設定手段と、色変化傾向算出手段で算出した色変化傾向と基準値設定手段で設定した色変化傾向の基準値に基づいて物体を検出する物体検出手段を備えることを特徴とする。

この物体検出装置では、撮像手段で撮像された入力画像が入力されると、色変化傾向算出手段により入力画像とその入力画像と同じ場所で撮像された背景画像との間で対応する画像位置毎（例えば、対応する画素毎）に背景画像に対する入力画像の色変化傾向を算出する。色変化傾向は、入力画像と背景画像との間の色情報の変化の傾向を表わすものであり、例えば、入力画像と背景画像間の対応する画素毎のＲＧＢや輝度の各値の比である。また、物体検出装置では、基準値設定手段により色変化傾向の基準値を設定する。色変化傾向の基準値は、想定される各種条件（例えば、照明条件（天候、時間など））が変化した場合の色変化傾向の範囲である。したがって、入力画像に背景画像には存在しない物体が新たに現れた場合にはその物体の領域では色変化傾向が他の領域とは明らかに異なる傾向を示すので、色変化傾向が基準値外であれば、物体が新たに現れたと推測できる。一方、入力画像と背景画像の照明条件だけが異なる場合には色変化傾向は想定される範囲内となるので、色変化傾向が基準値内であれば、背景と推測できる。そこで、物体検出装置では、物体検出手段により入力画像から算出された画像位置毎の色変化傾向と色変化傾向の基準値とを比較し、その比較結果から物体を検出する。この際、想定される各種条件が変化した場合の色変化傾向を考慮して基準値を設定しているので、局所的な影などで色変化傾向が他の領域と異なっていても、その色変化傾向も基準値内と判定され、物体として誤検出されない。このように、物体検出装置では、色変化傾向の基準値を設定し、基準値に基づいて色変化傾向が異常（想定される以上に変化している場合）か否かで物体を検出することにより、物体を高精度に検出することができる。

本発明の上記物体検出装置では、色変化傾向算出手段は、色変化傾向として対応する画素毎に背景画像の画素値と入力画像の画素値との比を算出すると好適である。この物体検出装置では、入力画像と背景画像との間の対応する画素毎の画素値の比によって、簡単かつ精度良く色変化傾向を表わすことができる。

本発明の上記物体検出装置では、基準値設定手段は、画像における画素値の変化の少ない領域における色変化傾向を基準値とすると好適である。この物体検出装置では、道路などの背景は日向でも日影でも色変化が殆どないので、画素値の変化の少ない領域における色変化傾向を基準値とすることにより、高精度な基準値を設定できる。

本発明の上記物体検出装置では、基準値設定手段は、色変化の特性から生じ得る色変化傾向を推定して基準値とすると好適である。この物体検出装置では、道路の日向と日影などにおける色変化の特性から生じ得る色変化傾向を推定して基準値とすることにより、入力画像から特定の条件だけの基準値しか得られない場合でも他の条件も加味した基準値も生成することができる。

本発明の上記物体検出装置では、基準値設定手段は、画像中で広範囲で類似する色変化傾向を基準値とすると好適である。この物体検出装置では、道路などの背景は色変化が殆どなくかつ背景に新たに出現する物体に比べて広範囲の領域なので、広範囲で類似する色変化傾向を基準値とすることにより、高精度な基準値を設定できる。

本発明の上記物体検出装置では、基準値設定手段は、領域の面積に対する周期長の比率が閾値以下の領域の色変化傾向を基準値とすると好適である。この物体検出装置では、道路上の落下物などに比べて道路などの背景は形状が単純なので、領域の面積に対する周期長の比率が閾値以下の領域の色変化傾向を基準値とすることにより、高精度な基準値を設定できる。

本発明の上記物体検出装置では、基準値設定手段は、異なる照明条件間（例えば、日向と日影間）での色変化の対応関係に基づいて基準値を設定すると好適である。この物体検出装置では、背景において色変化傾向が変わる要因としては照明条件が最も考えられるので、異なる照明条件間での色変化の対応関係に基づいて基準値を設定することにより、高精度な基準値を設定できる。

本発明の上記物体検出装置では、基準値設定手段は、異なる場所で撮像した画像に共通する色変化傾向を基準値とすると好適である。この物体検出装置では、異なる場所でも背景であれば色変化傾向は殆ど変わらないので、異なる場所で撮像した画像に共通する色変化傾向を基準値とする（言い換えれば、異なる場所で撮像した画像で共通しない色変化傾向を基準値から除外する）ことにより、高精度な基準値を設定できる。

本発明の上記物体検出装置では、基準値設定手段は、所定の色変化傾向を基準値とした場合に正常と判定される画素情報に基づいて所定の色変化傾向を基準値とするか否かを判定すると好適である。この物体検出装置では、正常と判定される画素情報（例えば、画素の数や位置）に基づいて所定の色変化傾向を基準値とするか否かを判定することにより、高精度な基準値を設定できる。

本発明の上記物体検出装置では、照明条件毎の色変化傾向の基準値を格納するデータベースを備え、基準値設定手段は、データベースに格納されている照明条件毎の色変化傾向の基準値を利用して基準値を設定すると好適である。この物体検出装置では、照明条件毎の色変化傾向の基準値を格納するデータベースを利用することにより、高精度な基準値を設定できる。

本発明によれば、色変化傾向の基準値を設定し、基準値に基づいて色変化傾向が異常か否かで物体を検出することにより、物体を高精度に検出することができる。

第１の実施の形態に係る異常領域検知装置の構成図である。 第１の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第２の実施の形態に係る異常領域検知装置の構成図である。 第２の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第３の実施の形態に係る異常領域検知装置の構成図である。 第３の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第４の実施の形態に係る異常領域検知装置の構成図である。 第４の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第５の実施の形態に係る異常領域検知装置の構成図である。 第５の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第６の実施の形態に係る異常領域検知装置の構成図である。 照明条件だけが異なるカラー画像間の道路領域の対応する画素から求めた色変化の分布あり、（ａ）が緑と赤の色変化平面上での分布であり、（ｂ）が緑と青の色変化平面上での分布である。 第６の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第７の実施の形態に係る異常領域検知装置の構成図である。 第７の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第８の実施の形態に係る異常領域検知装置の構成図である。 カラー画像における道路領域の日向に対応する画像から求めた色変化の分布と日影に対応する画素から求めた色変化の分布であり、（ａ）が緑と赤の色変化平面上での分布であり、（ｂ）が緑と青の色変化平面上での分布である。 第８の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第９の実施の形態に係る異常領域検知装置の構成図である。 第９の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１０の実施の形態に係る異常領域検知装置の構成図である。 第１０の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１１の実施の形態に係る異常領域検知装置の構成図である。 第１１の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１２の実施の形態に係る異常領域検知装置の構成図である。 第１２の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１３の実施の形態に係る異常領域検知装置の構成図である。 第１３の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１４の実施の形態に係る異常領域検知装置の構成図である。 第１４の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１５の実施の形態に係る異常領域検知装置の構成図である。 第１５の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１６の実施の形態に係る異常領域検知装置の構成図である。 第１６の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１７の実施の形態に係る異常領域検知装置の構成図である。 第１７の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。 第１８の実施の形態に係る異常領域検知装置の構成図である。 第１８の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施の形態では、本発明に係る物体検出装置を、車両に搭載される異常領域検知装置に適用する。本実施の形態に係る異常領域検知装置は、カメラで撮像した入力カラー画像と背景カラー画像とを比較し、その比較結果から入力カラー画像において背景カラー画像には存在しない異常領域（背景上に新たに出現した物体の領域）を検出し、その異常領域情報を物体認識装置（異常と検出された領域の物体の種類、大きさなどを認識する装置）などに出力する。本実施の形態には、１８個の形態があり、第１の実施の形態が基本となる形態であり、第２の実施の形態が背景カラー画像の選択方法を示す形態であり、第３〜第１８の実施の形態が正常色変化の設定方法を示す形態である。

図１を参照して、第１の実施の形態に係る異常領域検知装置１について説明する。図１は、第１の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置１は、入力カラー画像と背景カラー画像間の対応する画素毎にＲＧＢ[RedGreen Blue]の各値について比率（色変化傾向に相当）を算出し、画素毎に算出された色変化傾向と正常な色変化傾向（色変化傾向の基準値に相当）との類似度に基づいて正常／異常を判定する。そして、異常領域検知装置１では、異常と判定された画素からなる領域の情報を出力する。

異常領域検知装置１は、カメラ１ａ及びＥＣＵ[Electronic Control Unit]１ｂを備えており、ＥＣＵ１ｂに背景カラー画像データベース１ｃ、色変化算出部１ｄ、正常色変化データベース１ｅ、類似判定部１ｆを有している。

なお、第１の実施の形態では、色変化算出部１ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、正常色変化データベース１ｅが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１ｆが特許請求の範囲に記載する物体検出手段に相当する。

カメラ１ａは、ＣＣＤ[Charge Coupled Device]などを用いた自車両の周辺（少なくとも前方であり、必要に応じて側方、後方も）を撮像するカメラである。カメラ１ａは、自車両の所定の位置（障害物検出などを行う方向に応じた位置）に取り付けられる。カメラ１ａでは、自車両周辺を撮像し、その撮像したカラー画像（ＲＧＢによる画像）を取得する。カメラ１ａでは、一定時間毎に、その撮像画像のデータを画像信号としてＥＣＵ１ｂに送信する。

ＥＣＵ１ｂは、ＣＰＵ[CentralProcessing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる電子制御ユニットであり、異常領域検知装置１を統括制御する。ＥＣＵ１ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１ｄ、類似判定部１ｆが構成される。また、ＥＣＵ１ｂには、記憶装置の所定の領域に背景カラー画像データベース１ｃ、正常色変化データベース１ｅが構築されている。ＥＣＵ１ｂでは、一定時間毎にカメラ１ａからの画像信号を受信し、各部１ｄ、１ｆでの処理を行い、異常領域の情報を異常領域情報信号として出力する。

背景カラー画像データベース１ｃには、各場所においてカメラでそれぞれ撮像した背景カラー画像が格納されている。背景カラー画像は、各場所での背景以外の物体が全く含まれていない画像（異常領域を含まない画像）である。背景カラー画像を撮像する際は、車両に搭載され、自車両と同様の取り付け位置、取り付け角度のカメラで撮像する。

なお、背景カラー画像は、１つの照明条件（例えば、晴れの日のもの）だけでもよいし、あるいは、検知精度を向上させるために異なる照明条件（例えば、天候（晴れの日、雨の日、曇りの日、雪の日など）、時間（夜、夜明け、朝、昼、夕方など）、影の発生）での複数の背景カラー画像でもよい。場所毎に異なる照明条件での複数の背景カラー画像がある場合、入力カラー画像を撮像したときの照明条件に最も近いものを選択する。

色変化算出部１ｄでは、カメラ１ａで撮像したカラー画像（入力カラー画像）が入力されると、背景カラー画像データベース１ｃからその入力カラー画像を撮像した場所と同じ場所で撮像した背景カラー画像を抽出する。この際、車両に搭載されているＧＰＳ受信装置やナビゲーション装置などで検知した現在位置に基づいて背景カラー画像データベース１ｃを検索する。

色変化算出部１ｄでは、入力カラー画像と背景カラー画像間で画像上の位置が対応する画素毎に、入力カラー画像の画素のＲ値／背景カラー画像の画素のＲ値、入力カラー画像の画素のＧ値／背景カラー画像の画素のＧ値、入力カラー画像の画素のＢ値／背景カラー画像の画素のＢ値をそれぞれ算出し、その３つの比を１つの配列にして１次元配列（１つのベクトル）とする。この１次元配列を色変化とする。なお、入力カラー画像の各値／背景カラー画像の各値の比は、分母と分子の値を逆にしたものでもよい。

ちなみに、背景における局所的な影の発生や天候の変化による色変化と入力カラー画像に出現した物体による色変化とは、大きさな差がある。そのため、この色変化を利用することにより、入力カラー画像と背景カラー画像との間の画素比較において背景の照明条件だけが変わったものかあるいは背景に物体が出現したものかを判別することができる。

正常色変化データベース１ｅには、正常な色変化（正常色変化）が格納されたデータベースである。正常色変化は、想定される照明条件（例えば、天候、時間、影の発生）を変えた場合の背景カラー画像間（特に、道路領域の画像間）の対応する各画素から算出した色変化を示すものである。正常色変化は、多数の画素の色変化群の占める範囲（Ｒ値の比、Ｇ値の比、Ｂ値の比を３軸とした色変化空間の場合には立体的な領域の境界）を示すものでもよいし、あるいは、多数の色変化群の集合でもよい。

色変化算出部１ｄで算出される色変化が正常色変化内であれば、入力カラー画像と背景カラー画像とで照明条件が異なっていても（画像全体に異なっている場合でもあるいは画像中の局所的に異なっている場合でも）、その色変化を示す画素を背景（正常）と判断できる。逆に、色変化算出部１ｄで算出される色変化が正常色変化外であれば、背景の照明条件を変えただけでは考えられない色変化であり、その色変化を示す画素は背景には通常存在しないもの（異常）と判断できる。

なお、正常色変化は、１つだけ設定されてもよいし、あるいは、検知精度を向上させるために情景（例えば、街路、山道、雪道）毎や場所毎に設定されてもよい。正常色変化は、１つの照明条件だけで設定されてもよいし、あるいは、検知精度を向上させるために異なる照明条件での複数の正常色変化が設定されてもよい。異なる照明条件での複数の正常色変化がある場合、入力カラー画像を撮像したときの照明条件に最も近いものを選択する。

類似判定部１ｆでは、入力カラー画像と背景カラー画像間で画像上の位置が対応する画素毎に、色変化算出部１ｄで算出された色変化と正常色変化データベース１ｅに格納されている正常色変化の類似度を算出する。類似度としては、色変化算出部１ｄで算出された色変化と正常色変化（例えば、色変化の範囲の中心点）との距離を算出する。距離としては、例えば、ユークリッド距離を利用する。

そして、類似判定部１ｆでは、画素毎に、算出した距離が閾値以下か否かを判定する。この閾値は、正常色変化を示す色変化の範囲に応じた値に設定される。類似判定部１ｆでは、距離が閾値以下の場合、正常と判定する。一方、類似判定部１ｆでは、距離が閾値より大きい場合、異常と判定する。さらに、類似判定部１ｆでは、この異常と判定された画素の情報を用いて、その画素群で所定の大きさ以上（ノイズなどで異常と判定された画素を除外）を持つ領域の情報を生成する。なお、この正常／異常の判定では、色変化算出部１ｄで算出された色変化が正常色変化の範囲に含まれるか否かを厳密に判定してもよい。また、類似度としては、距離以外でもよい。

また、正常色変化として多数の色変化群の集合として設定されている場合、類似判定部１ｆでは、画素毎に、正常色変化の多数の色変化とそれぞれ類似判定を行い、正常色変化の多数の色変化の中に少なくとも１つの色変化と類似していると判定した場合には正常と判定し、正常色変化の多数の色変化の中に類似している色変化がないと判定した場合には異常と判定する。

図１を参照して、異常領域検知装置１における動作を説明する。特に、ＥＣＵ１ｂにおける処理については図２のフローチャートに沿って説明する。図２は、第１の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１ｂに送信している。ＥＣＵ１ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１０）。

入力カラー画像を入力すると、ＥＣＵ１ｂでは、背景カラー画像データベース１ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１１）。また、ＥＣＵ１ｂでは、正常色変化データベース１ｅから正常色変化を読み出す（Ｓ１２）。

ＥＣＵ１ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１３）。そして、ＥＣＵ１ｂでは、画素毎に、算出した色変化と読み出した正常色変化との類似度（距離）を算出し、その類似度が高い場合（距離が閾値以下の場合）には正常と判定し、類似度が低い場合（距離が閾値より大きい場合）には異常と判定する（Ｓ１４）。さらに、ＥＣＵ１ｂでは、異常と判定した画素により異常領域の情報を生成する（Ｓ１５）。

この異常領域検知装置１によれば、背景における照明条件の変化を考慮した正常色変化を設定し、その正常色変化に基づいて各画素の色変化が正常／異常かを判定することにより、照明条件が変化した場合でも背景に対して新たに出現した物体の情報だけを高精度に検出することができる。

図３を参照して、第２の実施の形態に係る異常領域検知装置２について説明する。図３は、第２の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置２は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な背景カラー画像を抽出する機能を有する点で異なる。異常領域検知装置２では、複数の背景候補画像の中から色変化のばらつきの最も少ない背景候補画像を背景カラー画像として抽出する。そのために、異常領域検知装置２は、カメラ２ａ及びＥＣＵ２ｂを備えており、ＥＣＵ２ｂに背景候補画像データベース２ｃ、評価対象画像抽出部２ｄ、色変化算出部２ｅ、分散算出部２ｆ、最小分散評価画像抽出部２ｇ、色変化算出部２ｈ、正常色変化データベース２ｉ、類似判定部２ｊを有している。なお、カメラ２ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第２の実施の形態では、色変化算出部２ｈが特許請求の範囲に記載する色変化傾向算出手段に相当し、正常色変化データベース２ｉが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部２ｊが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ２ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置２を統括制御する。ＥＣＵ２ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、評価対象画像抽出部２ｄ、色変化算出部２ｅ、分散算出部２ｆ、最小分散評価画像抽出部２ｇ、色変化算出部２ｈ、類似判定部２ｊが構成される。また、ＥＣＵ２ｂには、記憶装置の所定の領域に背景候補画像データベース２ｃ、正常色変化データベース２ｉが構築されている。ＥＣＵ２ｂでは、一定時間毎にカメラ２ａからの画像信号を受信し、各部２ｄ，２ｅ，２ｆ，２ｇ，２ｈ，２ｊでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、色変化算出部２ｈ、正常色変化データベース２ｉ、類似判定部２ｊは、第１の実施の形態で説明した色変化算出部１ｄ、正常色変化データベース１ｅ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

背景候補画像データベース２ｃには、各場所におうてカメラでそれぞれ撮像した背景カラー画像の候補となる背景候補画像が格納されている。背景候補画像は、各場所での背景以外の物体が全く含まれていない画像（異常領域を含まない画像）であり、同じ場所で各種照明条件（例えば、天候、時間、影の発生）でそれぞれ撮像された画像である。

評価対象画像抽出部２ｄでは、背景候補画像データベース２ｃから、所定の場所の背景候補画像群の中から１枚の背景候補画像を評価対象画像として順次読み出するとともに、その評価対象画像以外の背景候補画像を読み出す。ちなみに、評価対象画像が読み出される毎に色変化算出部２ｅと分散算出部２ｆの処理が行われ、全ての背景候補画像が評価対象画像として読み出され、全ての評価対象画像に対して色変化算出部２ｅと分散算出部２ｆの処理が行われた後に最小分散評価画像抽出部２ｇの処理が行われる。

色変化算出部２ｅでは、評価対象画像が読み出されると、評価対象画像以外の背景候補画像毎に、評価対象画像と背景候補画像間で画像上の位置が対応する画素毎に、評価対象画像のＲ値／背景候補画像のＲ値、評価対象画像のＧ値／背景候補画像のＧ値、評価対象画像のＢ値／背景候補画像のＢ値をそれぞれ算出し、その３つの比を１つの配列にして１次元配列とする。

分散算出部２ｆでは、評価対象画像以外の背景候補画像毎に、色変化算出部２ｅで算出した画像中の全ての画素についての色変化（比の一次元配列）の分散を算出する。そして、分散算出部２ｆでは、評価対象画像以外の背景候補画像の分散を全て加算し、その加算値を評価対象画像についての分散統合結果とする。

最小分散評価画像抽出部２ｇでは、分散算出部２ｆで算出した全ての評価対象画像の分散統合結果を比較し、分散統合結果が最少となる評価対象画像を背景カラー画像として抽出する。

図３を参照して、異常領域検知装置２における動作を説明する。特に、ＥＣＵ２ｂにおける処理については図４のフローチャートに沿って説明する。図４は、第２の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

ＥＣＵ２ｂでは、背景候補画像データベース２ｃから、所定の場所の背景候補画像群の中から評価対象画像として１枚の背景候補画像を読み出し、それ以外の背景候補画像も読み出す（Ｓ２０）。そして、ＥＣＵ２ｂでは、評価対象画像以外の背景候補画像毎に、評価対象画像と背景候補画像間で対応する画素毎に色変化を算出する（Ｓ２１）。さらに、ＥＣＵ２ｂでは、評価対象画像以外の背景候補画像毎に全ての画素の色変化の分散を算出し、その算出した評価対象画像以外の全ての背景候補画像についての分散を加算して統合する（Ｓ２２）。

ＥＣＵ２ｂでは、所定の場所の全ての背景候補画像を評価対象画像としたか否かを判定する（Ｓ２３）。Ｓ２３にて全ての背景候補画像を評価対象画像としていないと判定した場合、ＥＣＵ２ｂでは、Ｓ２０の処理に戻って、次の評価対象画像についての処理を行う。

Ｓ２３にて全ての背景候補画像を評価対象画像としたと判定した場合、ＥＣＵ２ｂでは、全ての評価対象画像の分散統合結果を比較し、分散統合結果が最小となる評価対象画像を背景カラー画像として抽出する（Ｓ２４）。この背景カラー画像が、入力カラー画像と比較される。

ＥＣＵ２ｂにおけるＳ２５〜Ｓ２９の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１０、Ｓ１２〜Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置２によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置２によれば、各場所についての背景候補画像から色変化のばらつきの最も少ない背景候補画像を背景カラー画像として選択することにより、入力カラー画像と背景カラー画像との比較をより精度良く行うことができ、背景に対して新たに出現した物体の情報をより高精度に検出することができる。

ちなみに、背景カラー画像に照明状態が異なる領域（例えば、局所的な影）が複数ある場合と背景カラー画像全体の照明状態が同じ場合において、背景カラー画像と入力カラー画像との間で各画素の色変化を算出したときに、照明状態が異なる領域が複数ある場合には複数の正常な色変化が存在し、照明状態が同じ場合には１つの正常な色変化が存在することになる。このような複数の正常な色変化が存在する場合には、正常色変化の設定を行うときに（例えば、下記の第３〜１８の実施の形態における正常色変化の設定方法で正常色変化を設定するときに）、正常な色変化を特定しにくくなる。そこで、この第２の実施の形態における背景カラー画像の選択画像で色変化のばらつきの少ない画像を背景カラー画像として選択することにより、正常色変化の設定を行うときに正常な色変化を特定し易い。

なお、カメラ２ａで撮像された入力カラー画像が入力される毎にその撮像した場所の背景候補画像を用いて上記の背景カラー画像の選択処理を行ってもよいし、あるいは、前処理として、全ての場所（例えば、目的地までの各場所、背景候補画像データベースに格納されている全ての場所）について、各場所の背景候補画像を用いて上記の背景カラー画像の選択処理を予め行ってもよい。

図５を参照して、第３の実施の形態に係る異常領域検知装置３について説明する。図５は、第３の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置３は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置３では、入力カラー画像上でエッジ無し領域内画素から算出した色変化を正常色変化とする。そのために、異常領域検知装置３は、カメラ３ａ及びＥＣＵ３ｂを備えており、ＥＣＵ３ｂに背景カラー画像データベース３ｃ、色変化算出部３ｄ、エッジ無し画素抽出部３ｅ、抽出画素対応色変化抽出部３ｆ、類似判定部３ｇを有している。なお、カメラ３ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第３の実施の形態では、色変化算出部３ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部３ｄ、エッジ無し画素抽出部３ｅ及び抽出画素対応色変化抽出部３ｆが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部３ｇが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ３ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置３を統括制御する。ＥＣＵ３ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部３ｄ、エッジ無し画素抽出部３ｅ、抽出画素対応色変化抽出部３ｆ、類似判定部３ｇが構成される。また、ＥＣＵ３ｂには、記憶装置の所定の領域に背景カラー画像データベース３ｃが構築されている。ＥＣＵ３ｂでは、一定時間毎にカメラ３ａからの画像信号を受信し、各部３ｄ，３ｅ，３ｆ，３ｇでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース３ｃ、色変化算出部３ｄ、類似判定部３ｇは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

エッジ無画素抽出部３ｅでは、入力カラー画像をエッジ画像化する。エッジ画像化の方法としては、例えば、ｓｏｂｅｌフィルタを利用する。そして、エッジ無画素抽出部３ｅでは、エッジ画像上でエッジとなっていない画素を抽出する。

抽出画素対応色変化抽出部３ｆでは、色変化算出部３ｄで算出した全画素の色変化の中から、エッジ無画素抽出部３ｅで抽出した各画素についての色変化を抽出する。特に、道路領域内の画素を抽出するために、エッジ無画素抽出部３ｅで抽出した画素群の中で広い領域（閾値以上の画素数からなる領域）内の画素の色変化を抽出してもよい。そして、抽出画素対応色変化抽出部３ｆでは、その抽出した画素の色変化を用いて正常色変化を設定する。ここでは、その抽出した多数の画素についての色変化群を用いて、色変化群の占める範囲（Ｒ値の比、Ｇ値の比、Ｂ値の比を３軸とした色変化空間の場合の立体的な領域の境界）を設定してもよいし、あるいは、多数の色変化群の集合を設定してもよい。

図５を参照して、異常領域検知装置３における動作を説明する。特に、ＥＣＵ３ｂにおける処理については図６のフローチャートに沿って説明する。図６は、第３の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ３ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ３ｂに送信している。ＥＣＵ３ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ３０）。

入力カラー画像を入力すると、ＥＣＵ３ｂでは、背景カラー画像データベース３ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ３１）。そして、ＥＣＵ３ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ３２）。

また、ＥＣＵ３ｂでは、入力カラー画像のエッジ画像を生成する（Ｓ３３）。そして、ＥＣＵ３ｂでは、Ｓ３２で生成した全画素の色変化の中からエッジ画像に基づいてエッジとなっていない画素に対応する色変化を抽出し、その抽出した色変化を正常色変化として設定する（Ｓ３４）。

ＥＣＵ３ｂにおけるＳ３５、Ｓ３６の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置３によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置３によれば、エッジの無い画素の色変化を用いて正常色変化を設定することにより、道路領域内の画素の色変化から高精度な正常色変化を設定できる。

ちなみに、車両に搭載されたカメラで撮像された画像では、エッジでない画素の領域が主に道路に相当する。また、入力カラー画像で道路に対応する画素とその画素に対応する背景カラー画像上の画素とからそれぞれ算出される色変化は、入力カラー画像と背景カラー画像の照明条件の違いにより発生する色変化のみが存在する。したがって、エッジでない画素に対応する色変化を正常色変化として利用でき、この色変化を利用することにより処理中の入力カラー画像と背景カラー画像の関係に適した正常色変化を設定できる。

図７を参照して、第４の実施の形態に係る異常領域検知装置４について説明する。図７は、第４の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置４は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置４では、入力カラー画像と背景カラー画像との色差のばらつきの小さい領域内の画素から算出した色変化を正常色変化とする。そのために、異常領域検知装置４は、カメラ４ａ及びＥＣＵ４ｂを備えており、ＥＣＵ４ｂに背景カラー画像データベース４ｃ、色変化算出部４ｄ、領域設定部４ｅ、色差算出部４ｆ、色差ばらつき閾値以下領域抽出部４ｇ、領域内画素対応色変化抽出部４ｈ、類似判定部４ｉを有している。なお、カメラ４ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第４の実施の形態では、色変化算出部４ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部４ｄ、領域設定部４ｅ、色差算出部４ｆ、色差ばらつき閾値以下領域抽出部４ｇ及び領域内画素対応色変化抽出部４ｈが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部４ｉが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ４ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置４を統括制御する。ＥＣＵ４ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部４ｄ、領域設定部４ｅ、色差算出部４ｆ、色差ばらつき閾値以下領域抽出部４ｇ、領域内画素対応色変化抽出部４ｈ、類似判定部４ｉが構成される。また、ＥＣＵ４ｂには、記憶装置の所定の領域に背景カラー画像データベース４ｃが構築されている。ＥＣＵ４ｂでは、一定時間毎にカメラ４ａからの画像信号を受信し、各部４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース４ｃ、色変化算出部４ｄ、類似判定部４ｉは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

領域設定部４ｅでは、入力カラー画像上に、画素値とは無関係にかつ想定する異常領域よりも大きな面積（閾値以上の面積）を持つ領域を設定する。ここでは、例えば、ランダムに生成した矩形や画像を格子状に分割したときの格子を端点とする矩形の領域を利用して領域を分割する。

色差算出部４ｆでは、領域設定部４ｅで設定した入力カラー画像上の領域毎に、領域内の各画素と対応する背景カラー画像上の各画素との色差を算出する。ここでは、対応する画素間でＲＧＢの各値毎について差分値を算出する。

色差ばらつき閾値以下領域抽出部４ｇでは、領域設定部４ｅで設定した入力カラー画像上の領域毎に、領域内の全ての画素の色差の分散を算出する。そして、色差ばらつき閾値以下領域抽出部４ｇでは、領域設定部４ｅで設定した入力カラー画像の領域の中から、分散が閾値以下となる領域を抽出する。この閾値は、領域内の色差のばらつきが小さいと判定するための閾値である。

領域内画素対応色変化抽出部４ｈでは、色差ばらつき閾値以下領域抽出部４ｇで抽出した領域内の画素の色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図７を参照して、異常領域検知装置４における動作を説明する。特に、ＥＣＵ４ｂにおける処理については図８のフローチャートに沿って説明する。図８は、第４の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ４ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ４ｂに送信している。ＥＣＵ４ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ４０）。

入力カラー画像を入力すると、ＥＣＵ４ｂでは、背景カラー画像データベース４ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ４１）。そして、ＥＣＵ４ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ４２）。

ＥＣＵ４ｂでは、画像上に所定の大きさ以上の面積を有する各領域を設定する（Ｓ４３）。そして、ＥＣＵ４ｂでは、設定した領域毎に、入力カラー画像と背景カラー画像間で対応する領域内の画素毎の色差を算出する（Ｓ４４）。さらに、ＥＣＵ４ｂでは、設定した領域毎に領域内の各画素の色差のばらつき（分散）を算出する（Ｓ４５）。そして、ＥＣＵ４ｂでは、Ｓ４２で算出した全画素の色変化の中から色差のばらつきが閾値以下となる領域内の画素に対応する色変化を抽出し、その抽出した色変化を正常色変化として設定する（Ｓ４５）。

ＥＣＵ４ｂにおけるＳ４６、Ｓ４７の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置４によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置４によれば、所定の大きさ以上を有する領域で入力カラー画像と背景カラー画像間で色差のばらつきの小さい領域内の画素の色変化を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、入力カラー画像上の色分布と無関係かつ想定される異常領域よりも大きい面積の領域において、入力カラー画像と背景カラー画像の色差のばらつきが一定なのは、その領域に異常領域が存在しない場合である。したがって、このような領域に属する画素に対応した色変化は、入力カラー画像と背景カラー画像の照明条件の違いにより発生する色変化のみからなる。そのため、その領域内の画素から算出した色変化を正常色変化として利用でき、この色変化を利用することにより、処理中の入力カラー画像と背景カラー画像の関係に適した正常色変化を設定できる。

図９を参照して、第５の実施の形態に係る異常領域検知装置５について説明する。図９は、第５の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置５は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置５では、１つの正規分布で近似できる色変化となる領域内の画素から算出した色変化を正常色変化とする。そのために、異常領域検知装置５は、カメラ５ａ及びＥＣＵ５ｂを備えており、ＥＣＵ５ｂに背景カラー画像データベース５ｃ、色変化算出部５ｄ、領域設定部５ｅ、正規分布近似可能領域抽出部５ｆ、領域内画素対応色変化抽出部５ｇ、類似判定部５ｈを有している。なお、カメラ５ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第５の実施の形態では、色変化算出部５ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部５ｄ、領域設定部５ｅ、正規分布近似可能領域抽出部５ｆ及ぶ領域内画素対応色変化抽出部５ｇが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部５ｈが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ５ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置５を統括制御する。ＥＣＵ５ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部５ｄ、領域設定部５ｅ、正規分布近似可能領域抽出部５ｆ、領域内画素対応色変化抽出部５ｇ、類似判定部５ｈが構成される。また、ＥＣＵ５ｂには、記憶装置の所定の領域に背景カラー画像データベース５ｃが構築されている。ＥＣＵ５ｂでは、一定時間毎にカメラ５ａからの画像信号を受信し、各部５ｄ，５ｅ，５ｆ，５ｇ，５ｈでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース５ｃ、色変化算出部５ｄ、類似判定部５ｈは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。領域設定部５ｅは、第４の実施の形態で説明した領域設定部４ｅと同様のものなので、その説明を省略する。

正規分布近似可能領域抽出部５ｆでは、領域設定部５ｅで設定した入力カラー画像上の領域毎に、色変化算出部５ｄで算出した全画素の色変化の中から領域内の画素の色変化を抽出し、その抽出した色変化を色変化空間に分布（色変化分布）させる。そして、正規分布近似可能領域抽出部５ｆでは、領域設定部５ｅで設定した入力カラー画像上の領域毎に、その色変化空間内の色変化分布と基準となる正規分布間の距離を算出する。この距離の算出方法としては、例えば、２つの分布のとりうる範囲を離散化し、離散化した各範囲内に各分布の場合に色変化が生起する頻度の差分を算出し、各範囲内での頻度差の二乗を全範囲で累積して算出する。正規分布近似可能領域抽出部５ｆでは、領域設定部５ｅで設定した入力カラー画像上の領域の中から、距離が閾値以下となる領域を抽出する。

領域内画素対応色変化抽出部５ｇでは、正規分布近似可能領域抽出部５ｆで抽出した領域内の画素の色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図９を参照して、異常領域検知装置５における動作を説明する。特に、ＥＣＵ５ｂにおける処理については図１０のフローチャートに沿って説明する。図１０は、第５の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ５ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ５ｂに送信している。ＥＣＵ５ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ５０）。

入力カラー画像を入力すると、ＥＣＵ５ｂでは、背景カラー画像データベース５ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ５１）。そして、ＥＣＵ５ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ５２）。

ＥＣＵ５ｂでは、画像上の所定の大きさ以上の面積を有する各領域を設定する（Ｓ５３）。そして、ＥＣＵ５ｂでは、その設定した領域の中から領域内の画素の色変化分布が正規分布に近似できる領域を抽出する（Ｓ５４）。そして、ＥＣＵ５ｂでは、Ｓ５２で生成した全画素の色変化の中から、抽出した領域内の画素に対応する色変化を抽出し、その抽出した色変化を正常色変化として設定する（Ｓ５５）。

ＥＣＵ５ｂにおけるＳ５６、Ｓ５７の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置５によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置５によれば、所定の大きさ以上を有する領域における色変化分布が正規分布に近似できる領域内の画素の色変化を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、入力カラー画像上の色分布と無関係かつ想定される異常領域よりも大きい面積の領域において、入力カラー画像と背景カラー画像の領域内の画素で色変化を算出したときに、その多数の画素による色変化分布が１つの正規分布で近似できるのは、その領域に異常領域が存在しない場合である。したがって、このような領域に属する画素に対応した色変化は、入力カラー画像と背景カラー画像の照明条件の違いにより発生する色変化のみからなる。そのため、その領域内の画素から算出した色変化を正常色変化として利用でき、この色変化を利用することにより、処理中の入力カラー画像と背景カラー画像の関係に適した正常色変化を設定できる。

図１１及び図１２を参照して、第６の実施の形態に係る異常領域検知装置６について説明する。図１１は、第６の実施の形態に係る異常領域検知装置の構成図である。図１２は、照明条件だけが異なるカラー画像間の道路領域の対応する画素から求めた色変化の分布あり、（ａ）が緑と赤の色変化平面上での分布であり、（ｂ）が緑と青の色変化平面上での分布である。

異常領域検知装置６は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置６では、色変化空間内での正規分布が当てはまる分布内の画素から算出した色変化を正常色変化とする。そのために、異常領域検知装置６は、カメラ６ａ及びＥＣＵ６ｂを備えており、ＥＣＵ６ｂに背景カラー画像データベース６ｃ、色変化算出部６ｄ、特定方向データベース６ｅ、正規分布特定方向色変化分布近似部６ｆ、近似正規分布内色変化抽出部６ｇ、類似判定部６ｈを有している。なお、カメラ６ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第６の実施の形態では、色変化算出部６ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部６ｄ、特定方向データベース６ｅ、正規分布特定方向色変化分布近似部６ｆ及び近似正規分布内色変化抽出部６ｇが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部６ｈが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ６ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置６を統括制御する。ＥＣＵ６ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部６ｄ、正規分布特定方向色変化分布近似部６ｆ、近似正規分布内色変化抽出部６ｇ、類似判定部６ｈが構成される。また、ＥＣＵ６ｂには、記憶装置の所定の領域に背景カラー画像データベース６ｃが構築されている。ＥＣＵ６ｂでは、一定時間毎にカメラ６ａからの画像信号を受信し、各部６ｄ，６ｆ，６ｇ，６ｈでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース６ｃ、色変化算出部６ｄ、類似判定部６ｈは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

特定方向データベース６ｅでは、色変化空間内での正規分布が伸びる特定方向を格納するデータベースである。この特定方向は、照明条件だけが異なるカラー画像間の道路領域に対応した各画素から算出した色変化を色変化空間に分布させた場合にその色変化分布が形成する正規分布の伸びる方向である。

画像上の道路領域内の画素のうち、画像間で照明条件の違いによる見え方の違いしかない画素から算出した色変化は、色変化空間内では特定の方向に伸びる正規分布となる性質がある。図１２には、照明条件の異なるカラー画像間での道路領域における各画素の色変化を分布させた３次元の色変化空間を、２次元のＧ／Ｇ’−Ｒ／Ｒ’平面（ａ図）と２次元のＧ／Ｇ’−Ｂ／Ｂ’平面（ｂ図）に投影したものを示している。ここで、Ｇは一方のカラー画像の画素のＧ値であり、Ｇ’は他方のカラー画像の画素のＧ値であり、Ｒは一方のカラー画像の画素のＲ値であり、Ｒ’は他方のカラー画像の画素のＲ値であり、Ｂは一方のカラー画像の画素のＢ値であり、Ｂ’は他方のカラー画像の画素のＢ値である。ａ図でのＧ／Ｇ’−Ｒ／Ｒ’平面の色変化の分布Ｄ_ＲＧは正規分布であり、その分布Ｄ_ＲＧが特定方向Ｈ_ＲＧの方向に伸びている。また、ｂ図でのＧ／Ｇ’−Ｂ／Ｂ’平面の色変化の分布Ｄ_ＢＧは正規分布であり、その分布Ｄ_ＢＧが特定方向Ｈ_ＢＧの方向に伸びている。３次元の色変化空間では、この２つの分布Ｄ_ＲＧ，Ｄ_ＢＧが一体となった３次元の１つの正規分布であり、この２つの特定方向Ｈ_ＲＧ，Ｈ_ＢＧが一体となった３次元の特定方向である。

正規分布特定方向色変化分布近似部６ｆでは、色変化算出部６ｄで算出した全画素の色変化を色変化空間に分布させた場合に、その色変化空間内に分布した多数の色変化によって特定方向データベース６ｅに格納される特定方向に伸びる正規分布に近似できる分布を推定する。この推定方法としては、例えば、色変化空間内で色変化が広がる方向毎の広がる大きさ間に所定範囲内の比率を満たすことを制約として、その中で最も正規分布に近似するパラメータを推定する。

近似正規分布内色変化抽出部６ｇでは、正規分布特定方向色変化分布近似部６ｆで近似した分布内の一定発生頻度を満たす範囲内の色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図１１及び図１２を参照して、異常領域検知装置６における動作を説明する。特に、ＥＣＵ６ｂにおける処理については図１３のフローチャートに沿って説明する。図１３は、第６の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ６ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ６ｂに送信している。ＥＣＵ６ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ６０）。

入力カラー画像を入力すると、ＥＣＵ６ｂでは、背景カラー画像データベース６ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ６１）。また、ＥＣＵ６ｂでは、特定方向データベース６ｅから特定方向を読み出す（Ｓ６１）そして、ＥＣＵ６ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ６２）。

ＥＣＵ６ｂでは、Ｓ６２で算出した全画素の色変化の色変化空間内で分布をＳ６１で読み出した特定方向に伸びる正規分布に近似する（Ｓ６３）。そして、ＥＣＵ６ｂでは、その正規分布に近似できた分布内の色変化を用いて正常色変化を設定する（Ｓ６４）。

ＥＣＵ６ｂにおけるＳ６５、Ｓ６６の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置６によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置６によれば、色変化空間内で正規分布に近似できる分布内の色変化を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、入力カラー画像上の道路領域の画素のうち、入力カラー画像と背景カラー画像の照明条件の違いによる見え方の違いしかない画素から算出した色変化は、色変化空間内では特定方向に伸びる正規分布となる性質がある。この性質を利用すると、色変化空間内での色変化分布の中で、特定方向に伸びる正規分布に近似できる範囲内の色変化は、入力カラー画像と背景カラー画像の照明条件の違いによる色変化となる。したがって、その近似正規分布内の色変化を正常色変化として利用でき、この色変化を利用することにより、処理中の入力カラー画像と背景カラー画像の関係に適した正常色変化を設定できる。

図１４を参照して、第７の実施の形態に係る異常領域検知装置７について説明する。図１４は、第７の実施の形態に係る異常領域検知装置の構成図である

異常領域検知装置７は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置７では、画像上で連結度が高い色変化を正常色変化とする。そのために、異常領域検知装置７は、カメラ７ａ及びＥＣＵ７ｂを備えており、ＥＣＵ７ｂに背景カラー画像データベース７ｃ、色変化算出部７ｄ、類似色変化クラス分類部７ｅ、クラス内隣接画素数累積部７ｆ、除算部７ｇ、除算値閾値以下クラス色変化抽出部７ｈ、類似判定部７ｉを有している。なお、カメラ７ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第７の実施の形態では、色変化算出部７ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部７ｄ、類似色変化クラス分類部７ｅ、クラス内隣接画素数累積部７ｆ、除算部７ｇ及び除算値閾値以下クラス色変化抽出部７ｈが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部７ｉが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ７ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置７を統括制御する。ＥＣＵ７ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部７ｄ、類似色変化クラス分類部７ｅ、クラス内隣接画素数累積部７ｆ、除算部７ｇ、除算値閾値以下クラス色変化抽出部７ｈ、類似判定部７ｉが構成される。また、ＥＣＵ７ｂには、記憶装置の所定の領域に背景カラー画像データベース７ｃが構築されている。ＥＣＵ７ｂでは、一定時間毎にカメラ７ａからの画像信号を受信し、各部７ｄ，７ｅ，７ｆ，７ｇ，７ｈ，７ｉでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース７ｃ、色変化算出部７ｄ、類似判定部７ｉは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

類似色変化クラス分類部７ｅでは、画像上で隣り合う（画像上で連結する）画素でありかつ色変化算出部７ｄで算出した色変化が類似している画素を同じクラスに分類する。この類似判定では、例えば、色変化の差が閾値以内か否かで判定する。このクラス分類では、所定の大きさ以上（例えば、想定される異常領域以上）の領域を１つのクラスとして分類し、所定の大きさ未満の領域についてはクラスとして分類しない。

クラス内隣接画素数累積部７ｆでは、類似色変化クラス分類部７ｅで分類したクラス毎に、クラス内の各画素について隣接する同じクラスの画素の数をカウントし、そのカウント数をクラス内の全画素分累積して隣接画素数とする。形状が複雑（例えば、道路上の異物）なほど、輪郭形状が複雑となり、１個の画素当たりに隣接する平均画素数が少なくなり、隣接画素数も少なくなる。一方、形状が単純（例えば、道路）なほど、輪郭形状が直線や曲線状となり、１個の画素当たりに隣接する平均画素数が多くなり、隣接画素数も多くなる。

除算部７ｇでは、類似色変化クラス分類部７ｅで分類したクラス毎に、クラスの隣接画素数をクラス内の全画素数で除算する。

除算値閾値以下クラス色変化抽出部７ｈでは、除算部７ｇで算出した各クラスの除算値が閾値以下か否かを判定し、閾値以下となるクラスを抽出する。この閾値は、クラスの隣接画素数とクラス内の全画素数との比に基づいて、形状が複雑か単純かを判定するための閾値である。そして、除算値閾値以下クラス色変化抽出部７ｈでは、その抽出したクラス内の画素の色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図１４を参照して、異常領域検知装置７における動作を説明する。特に、ＥＣＵ７ｂにおける処理については図１５のフローチャートに沿って説明する。図１５は、第７の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ７ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ７ｂに送信している。ＥＣＵ７ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ７０）。

入力カラー画像を入力すると、ＥＣＵ７ｂでは、背景カラー画像データベース７ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ７１）。そして、ＥＣＵ７ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ７２）。

ＥＣＵ７ｂでは、画像上で隣り合う画素でかつ類似の色変化を有する画素を同じクラスに分類する（Ｓ７３）。ＥＣＵ７ｂでは、分類したクラス毎に、各画素に隣接する同じクラスの画素の数をカウントし、そのカウント数を累積して隣接画素数とする（Ｓ７４）。そして、ＥＣＵ７ｂでは、クラス毎に、隣接画素数をクラス内画素数で除算する（Ｓ７５）。さらに、ＥＣＵ７ｂでは、分類したクラスの中から除算値が閾値以下となるクラスを抽出する（Ｓ７６）。そして、ＥＣＵ７ｂでは、抽出したクラス内の画素に対応する色変化を抽出し、その抽出した色変化を正常色変化として設定する（Ｓ７７）。

ＥＣＵ７ｂにおけるＳ７８、Ｓ７９の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置７によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置７によれば、画像上で隣接しかつ色変化が類似しているクラスのうちの形状が単純なクラス内の画素の色変化を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、道路領域は、類似の色変化で連結した領域として特徴付けることができる。したがって、第７の実施の形態の方法を利用することにより、よく利用される指標である発生頻度が高い状態を正常とするような方法では対応できないような道路上に多数の落ち葉が存在しているような状況でも正常色変化を抽出できる。

図１６及び図１７を参照して、第８の実施の形態に係る異常領域検知装置８について説明する。図１６は、第８の実施の形態に係る異常領域検知装置の構成図である。図１７は、カラー画像における道路領域の日向に対応する画像から求めた色変化の分布と日影に対応する画素から求めた色変化の分布であり、（ａ）が緑と赤の色変化平面上での分布であり、（ｂ）が緑と青の色変化平面上での分布である。

異常領域検知装置８は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置８では、画像から特定できない正常な色変化を色変化空間内の特性を利用して正常色変化として追加する。そのために、異常領域検知装置８は、カメラ８ａ及びＥＣＵ８ｂを備えており、ＥＣＵ８ｂに背景カラー画像データベース８ｃ、色変化算出部８ｄ、特定関係データベース８ｅ、特定関係変換色変化生成部８ｆ、色変化抽出部８ｇ、類似判定部８ｈを有している。なお、カメラ８ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第８の実施の形態では、色変化算出部８ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部８ｄ、特定関係データベース８ｅ、特定関係変換色変化生成部８ｆ及び色変化抽出部８ｇが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部８ｈが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ８ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置８を統括制御する。ＥＣＵ８ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部８ｄ、特定関係変換色変化生成部８ｆ、色変化抽出部８ｇ、類似判定部８ｈが構成される。また、ＥＣＵ８ｂには、記憶装置の所定の領域に特定関係データベース８ｅ、背景カラー画像データベース８ｃが構築されている。ＥＣＵ８ｂでは、一定時間毎にカメラ８ａからの画像信号を受信し、各部８ｄ，８ｆ，８ｇ，８ｈでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース８ｃ、色変化算出部８ｄ、類似判定部８ｈは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

特定関係データベース８ｅでは、色変化空間内の特定関係を格納するデータベースである。この特定関係は、カラー画像上の道路領域についての日向に対する画素群から算出された色変化と日影に対する画素群から算出した色変化とが示す特定の関係である。この特定関係は、例えば、色変化空間に分布された道路領域の日向に対する画素群から算出された色変化群（色変化群の集合、色変化群の占める領域）と日影に対する画素群から算出された色変化群とからなるものである。

図１７には、カラー画像上の道路領域の日向の画素群から算出された色変化を分布させるとともに日影の画素群から算出した色変化を分布させた３次元の色変化空間を、２次元のＧ／Ｇ’−Ｒ／Ｒ’平面（ａ図）と２次元のＧ／Ｇ’−Ｂ／Ｂ’平面（ｂ図）に投影したものを示している。ａ図では、Ｇ／Ｇ’−Ｒ／Ｒ’平面の日向の色変化の分布Ｄ１_ＲＧと日影の色変化の分布Ｄ２_ＲＧを示している。また、ｂ図では、Ｇ／Ｇ’−Ｂ／Ｂ’平面の日向の色変化の分布Ｄ１_ＢＧと日影の色変化の分布Ｄ２_ＢＧを示している。３次元の色変化空間では、この２つの分布Ｄ１_ＲＧ，Ｄ１_ＢＧが一体となった３次元の１つの分布であり、２つの分布Ｄ２_ＲＧ，Ｄ２_ＢＧが一体となった３次元の１つの分布である。３次元の色変化空間における日向の色変化の分布と日影の色変化の分布には特定の関係があり、一方の分布から他方の分布へ３×３行列などを用いて変換できる。

特定関係変換色変化生成部８ｆでは、他の実施の形態の何れかの形態の方法を用いて入力カラー画像から正常色変化を抽出する領域を特定する。さらに、特定関係変換色変化生成部８ｆでは、その特定された領域内の画素から算出された色変化（正常色変化）を、特定関係データベース８ｅに格納されている特定関係で変換して新たな色変化を算出する。この特定関係を利用した変換方法としては、特定された領域内の画素から算出された色変化を、特定関係に応じた３×３行列を掛けて変換する。３×３行列は、例えば、図１７に示したような色変化空間における日向の分布Ｄ１_ＲＧ，Ｄ１_ＢＧと日影の分布Ｄ２_ＲＧ，Ｄ２_ＢＧの左上の点、中心の点、右上の点をそれぞれ対応付ける変換として算出する。ここでは、日向から日影の色変化に変換するとともに、日影から日向の色変化に変換する。

色変化抽出部８ｇでは、特定関係変換色変化生成部８ｆで算出した入力カラー画像から特定した領域の色変化（正常色変化）と特定関係で変換した色変化のいずれかに含まれる色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図１６及び図１７を参照して、異常領域検知装置８における動作を説明する。特に、ＥＣＵ８ｂにおける処理については図１８のフローチャートに沿って説明する。図１８は、第８の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ８ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ８ｂに送信している。ＥＣＵ８ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ８０）。

入力カラー画像を入力すると、ＥＣＵ８ｂでは、背景カラー画像データベース８ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ８１）。また、ＥＣＵ８ｂでは、特定関係データベース８ｅから特定関係を読み出す（Ｓ８１）。そして、ＥＣＵ８ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ８２）。

ＥＣＵ８ｂでは、入力カラー画像の正常色変化を抽出する領域を特定し、その特定した領域のＳ８２で算出した色変化を特定関係で変換して新たな色変化を生成する（Ｓ８３）。そして、ＥＣＵ８ｂでは、特定された領域についてのＳ８２で算出した色変化とＳ８３で生成した色変化を用いて正常色変化を設定する（Ｓ８４）。

ＥＣＵ８ｂにおけるＳ８５、Ｓ８６の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置８によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置８によれば、入力カラー画像から求めた色変化から特定関係を利用して新たな色変化を生成することにより、入力カラー画像で存在しないような照明条件での色変化も正常色変化として追加することができる。

ちなみに、入力カラー画像上の道路領域で日向と日影にそれぞれ対応する画素から算出された色変化には、上記したように特定の関係がある。この特定の関係を利用することにより、例えば、入力カラー画像から日向に対応する領域からしか正常色変化を抽出できない場合でも、日影に対応した色変化に変換できるので、日影内の画素を正常と判定できる正常色変化を設定できる。

図１９を参照して、第９の実施の形態に係る異常領域検知装置９について説明する。図１９は、第９の実施の形態に係る異常領域検知装置の構成図である

異常領域検知装置９は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置９では、画像上の位置と色変化が近い画素集合で画素位置分散が大きい色変化を正常色変化とする。そのために、異常領域検知装置９は、カメラ９ａ及びＥＣＵ９ｂを備えており、ＥＣＵ９ｂに背景カラー画像データベース９ｃ、色変化算出部９ｄ、類似色変化クラス分類部９ｅ、クラス内色変化画素位置分散算出部９ｆ、分散閾値以上クラス色変化抽出部９ｇ、類似判定部９ｈを有している。なお、カメラ９ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第９の実施の形態では、色変化算出部９ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部９ｄ、類似色変化クラス分類部９ｅ、クラス内色変化画素位置分散算出部９ｆ及び分散閾値以上クラス色変化抽出部９ｇが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部９ｈが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ９ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置９を統括制御する。ＥＣＵ９ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部９ｄ、類似色変化クラス分類部９ｅ、クラス内色変化画素位置分散算出部９ｆ、分散閾値以上クラス色変化抽出部９ｇ、類似判定部９ｈが構成される。また、ＥＣＵ９ｂには、記憶装置の所定の領域に背景カラー画像データベース９ｃが構築されている。ＥＣＵ９ｂでは、一定時間毎にカメラ９ａからの画像信号を受信し、各部９ｄ，９ｅ，９ｆ，９ｇ，９ｈでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース９ｃ、色変化算出部９ｄ、類似判定部９ｈは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。類似色変化クラス分類部９ｅは、第７の実施の形態で説明した類似色変化クラス分類部７ｅと同様のものなので、その説明を省略する。

クラス内色変化画素位置分散算出部９ｆでは、類似色変化クラス分類部９ｅで分類したクラス毎に、クラス内に属する画素の画像上の位置の分散を算出する。

分散閾値以上クラス色変化抽出部９ｇでは、類似色変化クラス分類部９ｅで分類したクラスの中から、クラス内色変化画素位置分散算出部９ｆで算出した分散が閾値以上となるクラスを抽出する。この閾値は、クラス内に属する画素の画像上の位置の分散に基づいて、クラス内の画素位置が画像上で散らばっているか否かを判定するための閾値である。そして、分散閾値以上クラス色変化抽出部９ｇでは、その抽出したクラス内の画素の色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図１９を参照して、異常領域検知装置９における動作を説明する。特に、ＥＣＵ９ｂにおける処理については図２０のフローチャートに沿って説明する。図２０は、第９の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ９ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ９ｂに送信している。ＥＣＵ９ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ９０）。

入力カラー画像を入力すると、ＥＣＵ９ｂでは、背景カラー画像データベース９ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ９１）。そして、ＥＣＵ９ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ９２）。

ＥＣＵ９ｂでは、入力カラー画像において隣り合う画素で類似の色変化を有する画素を同じクラスに分類する（Ｓ９３）。ＥＣＵ９ｂでは、クラス毎に、クラス内に属する画素の画像上の位置の分散を算出する（Ｓ９４）。そして、ＥＣＵ９ｂでは、分散が閾値以上となるクラスを抽出する（Ｓ９５）。さらに、ＥＣＵ９ｂでは、抽出したクラス内の画素に対応する色変化を抽出し、その抽出した色変化を正常色変化として設定する（Ｓ９６）。

ＥＣＵ９ｂにおけるＳ９７、Ｓ９８の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置９によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置９によれば、画像上で隣接しかつ色変化が類似しているクラスのうちの画像上の位置の分散が大きいクラス内の画素の色変化を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、屋外の照明としては太陽があり、画像中の多く（広い範囲）の画素がその影響を受ける。一方、異常領域（道路上に出現する物体）は、画像中の一部の範囲に存在する。したがって、照明で色変化する画素の画像上の位置は、画像中に広範囲に散らばり、それらの画素の画像上の位置の分散は大きくなる。一方、異常領域により色変化する画素の画像上の位置は、画像中の局所範囲に限られ、それらの画素の画像上の位置の分散は小さくなる。そのため、同じ色変化となる画素の画像上の位置の分散が大きい色変化は、照明の違いによる色変化（＝正常色変化）となる。

図２１を参照して、第１０の実施の形態に係る異常領域検知装置１０について説明する。図２１は、第１０の実施の形態に係る異常領域検知装置の構成図である

異常領域検知装置１０は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１０では、類似する色変化からなる画素集合で対応する画素位置分散が大きい色変化を正常色変化とする。そのために、異常領域検知装置１０は、カメラ１０ａ及びＥＣＵ１０ｂを備えており、ＥＣＵ１０ｂに背景カラー画像データベース１０ｃ、色変化算出部１０ｄ、距離色変化クラス分類部１０ｅ、クラス内色変化画素位置分散算出部１０ｆ、分散閾値以上クラス色変化抽出部１０ｇ、類似判定部１０ｈを有している。なお、カメラ１０ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１０の実施の形態では、色変化算出部１０ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１０ｄ、距離色変化クラス分類部１０ｅ、クラス内色変化画素位置分散算出部１０ｆ及び分散閾値以上クラス色変化抽出部１０ｇが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１０ｈが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ１０ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１０を統括制御する。ＥＣＵ１０ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１０ｄ、距離色変化クラス分類部１０ｅ、クラス内色変化画素位置分散算出部１０ｆ、分散閾値以上クラス色変化抽出部１０ｇ、類似判定部１０ｈが構成される。また、ＥＣＵ１０ｂには、記憶装置の所定の領域に背景カラー画像データベース１０ｃが構築されている。ＥＣＵ１０ｂでは、一定時間毎にカメラ１０ａからの画像信号を受信し、各部１０ｄ，１０ｅ，１０ｆ，１０ｇ，１０ｈでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１０ｃ、色変化算出部１０ｄ、類似判定部１０ｈは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。分散閾値以上クラス色変化抽出部１０ｇは、第９の実施の形態で説明した分散閾値以上クラス色変化抽出部９ｇと同様のものなので、その説明を省略する。

距離色変化クラス分類部１０ｅでは、色変化算出部１０ｄで算出した色変化間の色変化空間上での距離を算出し、その距離の近い色変化同士を同じクラスに分類する。この距離としては、例えば、ユークリッド距離を利用する。

クラス内色変化画素位置分散算出部１０ｆでは、距離色変化クラス分類部１０ｅで分類したクラス毎に、クラス内に属する色変化に対応する画素の画像上の位置の分散を算出する。

図２１を参照して、異常領域検知装置１０における動作を説明する。特に、ＥＣＵ１０ｂにおける処理については図２２のフローチャートに沿って説明する。図２２は、第１０の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１０ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１０ｂに送信している。ＥＣＵ１０ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１００）。

入力カラー画像を入力すると、ＥＣＵ１０ｂでは、背景カラー画像データベース１０ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１０１）。そして、ＥＣＵ１０ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１０２）。

ＥＣＵ１０ｂでは、Ｓ１０２で算出した色変化間の色変化空間上での距離をそれぞれ算出し、その距離に応じてクラスを分類する（Ｓ１０３）。ＥＣＵ１０ｂでは、クラス毎に、クラス内に属する色変化に対応する画素の画像上の位置の分散を算出する（Ｓ１０４）。そして、ＥＣＵ１０ｂでは、分散が閾値以上となるクラスを抽出する（Ｓ１０５）。さらに、ＥＣＵ１０ｂでは、抽出したクラス内の画素に対応する色変化を抽出し、その抽出した色変化を正常色変化として設定する（Ｓ１０６）。

ＥＣＵ１０ｂにおけるＳ１０７、Ｓ１０８の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１０によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１０によれば、色変化空間上で距離が近い色変化同士のクラスのうちの画像上の位置の分散が大きいクラス内の画素の色変化を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、第９の実施の形態で述べたように、同じ色変化となる画素の画像上の位置の分散が大きい色変化は、照明の違いによる色変化（＝正常色変化）となる。また、画像上での位置関係・連結度を考慮せずに色変化のクラスを作ることで、例えば、林の中で太陽の光がいろいろな場所で散らばった孤立領域を作っている状況において、第１０の実施の形態では連結性を見ないで、色変化集合を作成することにより、これらの空間的には孤立している領域の色変化から正常色変化を抽出できる。

図２３を参照して、第１１の実施の形態に係る異常領域検知装置１１について説明する。図２３は、第１１の実施の形態に係る異常領域検知装置の構成図である

異常領域検知装置１１は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１１では、道路の奥行き方向に沿った道のりが大きい範囲に広がる画素の色変化を正常色変化とする。そのために、異常領域検知装置１１は、カメラ１１ａ及びＥＣＵ１１ｂを備えており、ＥＣＵ１１ｂに背景カラー画像データベース１１ｃ、色変化算出部１１ｄ、道路領域情報データベース１１ｅ、類似色変化クラス分類部１１ｆ、クラス内色変化最大道のり画素座標間距離算出部１１ｇ、最大道のりクラス色変化抽出部１１ｈ、類似判定部１１ｉを有している。なお、カメラ１１ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１１の実施の形態では、色変化算出部１１ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１１ｄ、道路領域情報データベース１１ｅ、類似色変化クラス分類部１１ｆ、クラス内色変化最大道のり画素座標間距離算出部１１ｇ及び最大道のりクラス色変化抽出部１１ｈが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１１ｉが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ１１ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１１を統括制御する。ＥＣＵ１１ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１１ｄ、類似色変化クラス分類部１１ｆ、クラス内色変化最大道のり画素座標間距離算出部１１ｇ、最大道のりクラス色変化抽出部１１ｈ、類似判定部１１ｉが構成される。また、ＥＣＵ１１ｂには、記憶装置の所定の領域に背景カラー画像データベース１１ｃ、道路領域情報データベース１１ｅが構築されている。ＥＣＵ１１ｂでは、一定時間毎にカメラ１１ａからの画像信号を受信し、各部１１ｄ，１１ｆ，１１ｇ，１１ｈ，１１ｉでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１１ｃ、色変化算出部１１ｄ、類似判定部１１ｉは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。類似色変化クラス分類部１１ｆは、第７の実施の形態で説明した類似色変化クラス分類部７ｅと同様のものなので、その説明を省略する。

道路領域情報データベース１１ｅには、道路領域情報を格納したデータベースである。路領域情報には、道路中心線（座標情報）、道路境界線（座標情報）などの情報を含んでいる。

クラス内色変化最大道のり画素座標間距離算出部１１ｇでは、類似色変化クラス分類部１１ｆで分類したクラス毎に、道路領域情報データベース１１ｅから、クラス内に存在する道路の領域情報（特に、道路中心線）の情報を抽出する。そして、クラス内色変化最大道のり画素座標間距離算出部１１ｇでは、類似色変化クラス分類部１１ｆで分類したクラス毎に、クラス内の２つの画素を順次抽出し、２画素間の画像上での道のり（距離）をそれぞれ算出し、クラス内の２画素間で最大となる道のりを抽出する。この２画素間の道のりの算出方法としては、２つの画素をＰ，Ｑとした場合、ＰＱ間の道のりは、道路中心線を利用して、ＰとＱから最も近い道路中心線上の位置を特定し、その位置の間の道路中心線の長さとする。

最大道のりクラス色変化抽出部１１ｈでは、クラス内色変化最大道のり画素座標間距離算出部１１ｇで算出した各クラスの２画素間の最大道のりの中で最大となる最大道のりのクラスを抽出する。そして、最大道のりクラス色変化抽出部１１ｈでは、その抽出したクラス内の画素の色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図２３を参照して、異常領域検知装置１１における動作を説明する。特に、ＥＣＵ１１ｂにおける処理については図２４のフローチャートに沿って説明する。図２４は、第１１の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１１ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１１ｂに送信している。ＥＣＵ１１ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１１０）。

入力カラー画像を入力すると、ＥＣＵ１１ｂでは、背景カラー画像データベース１１ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１１１）。また、ＥＣＵ１１ｂでは、道路領域情報データベース１１ｅから入力カラー画像を撮像した位置周辺の道路領域情報を読み出す（Ｓ１１１）。そして、ＥＣＵ１１ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１１３）。

ＥＣＵ１１ｂでは、入力カラー画像において隣り合う画素で類似の色変化を有する画素を同じクラスに分類する（Ｓ１１３）。ＥＣＵ１１ｂでは、クラス毎に、抽出した道路領域情報を用いて、クラス内の２画素間で画像上での道のりの最大値を算出する（Ｓ１１４）。さらに、ＥＣＵ１１ｂでは、各クラスの道のりの最大値を比較し、その最大値が最も大きいクラスを抽出する（Ｓ１１５）。そして、ＥＣＵ１１ｂでは、抽出したクラス内の画素に対応する色変化を抽出し、その抽出した色変化を正常色変化として設定する（Ｓ１１５）。

ＥＣＵ１１ｂにおけるＳ１１６、Ｓ１１７の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１１によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１１によれば、画像上で隣接しかつ色変化が類似しているクラスのうちの２画素間の道のり（距離）が最大となるクラス内の画素の色変化を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、屋外の照明としては太陽があり、道路領域内の手前から奥まで広い範囲がその影響を受ける。一方、異常領域（道路上に出現する物体）は、道路上の一部の奥行きに存在する。したがって、類似する色変化となる画素の画像上の位置の道路に沿った最大端点距離を見ると、道路に沿って手前から奥まで広がる照明による色変化は大きく、一部の奥行きにしか存在しない落下物などによる色変化は小さくなる。そのため、最大端点間距離が大きくなる色変化集合内の色変化は、照明の違いによる色変化（＝正常色変化）となる。

図２５を参照して、第１２の実施の形態に係る異常領域検知装置１２について説明する。図２５は、第１２の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置１２は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１２では、領域面積に対する領域周囲長の比率が小さい領域内の画素の色変化を正常色変化とする。そのために、異常領域検知装置１２は、カメラ１２ａ及びＥＣＵ１２ｂを備えており、ＥＣＵ１２ｂに背景カラー画像データベース１２ｃ、色変化算出部１２ｄ、類似色変化クラス分類部１２ｅ、クラス領域周囲長・面積計測部１２ｆ、領域周囲長／面積比率算出部１２ｇ、比率閾値以下クラス色変化抽出部１２ｈ、類似判定部１２ｉを有している。なお、カメラ１２ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１２の実施の形態では、色変化算出部１２ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１２ｄ、類似色変化クラス分類部１２ｅ、クラス領域周囲長・面積計測部１２ｆ、領域周囲長／面積比率算出部１２ｇ及び比率閾値以下クラス色変化抽出部１２ｈが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１２ｉが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ１２ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１２を統括制御する。ＥＣＵ１２ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１２ｄ、類似色変化クラス分類部１２ｅ、クラス領域周囲長・面積計測部１２ｆ、領域周囲長／面積比率算出部１２ｇ、比率閾値以下クラス色変化抽出部１２ｈ、類似判定部１２ｉが構成される。また、ＥＣＵ１２ｂには、記憶装置の所定の領域に背景カラー画像データベース１２ｃが構築されている。ＥＣＵ１２ｂでは、一定時間毎にカメラ１２ａからの画像信号を受信し、各部１２ｄ，１２ｅ，１２ｆ，１２ｇ，１２ｈ，１２ｉでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１２ｃ、色変化算出部１２ｄ、類似判定部１２ｉは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。類似色変化クラス分類部１２ｅは、第７の実施の形態で説明した類似色変化クラス分類部７ｅと同様のものなので、その説明を省略する。

クラス領域周囲長・面積計測部１２ｆでは、類似色変化クラス分類部１２ｅで分類したクラス毎に、クラスの画像上の画素が形成する領域の面積（画素数）と周囲長を計測する。

領域周囲長／面積比率算出部１２ｇでは、類似色変化クラス分類部１２ｅで分類したクラス毎に、クラス領域周囲長・面積計測部１２ｆで算出した領域の周囲長を面積で除算し、周囲長／面積比率を求める。

比率閾値以下クラス色変化抽出部１２ｈでは、領域周囲長／面積比率算出部１２ｇで算出した周囲長／面積比率が閾値以下となるクラスを抽出する。この閾値は、領域の周囲長／面積の比率に基づいて、領域の形状が複雑かあるいは単純かを判定するための閾値である。そして、比率閾値以下クラス色変化抽出部１２ｈでは、その抽出したクラス内の画素の色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図２５を参照して、異常領域検知装置１２における動作を説明する。特に、ＥＣＵ１２ｂにおける処理については図２６のフローチャートに沿って説明する。図２６は、第１２の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１２ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１２ｂに送信している。ＥＣＵ１２ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１２０）。

入力カラー画像を入力すると、ＥＣＵ１２ｂでは、背景カラー画像データベース１２ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１２１）。そして、ＥＣＵ１２ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１２２）。

ＥＣＵ１２ｂでは、入力カラー画像において隣り合う画素で類似の色変化を有する画素を同じクラスに分類する（Ｓ１２３）。ＥＣＵ１２ｂでは、クラス毎に、クラスの画素からなる領域の周囲長と面積を計測する（Ｓ１２４）。さらに、ＥＣＵ１２ｂでは、クラス毎に、領域の周囲長／面積比率を算出する（Ｓ１２５）。そして、ＥＣＵ１２ｂでは、周囲長／面積比率が閾値以下となるクラスを抽出する（Ｓ１２６）。さらに、ＥＣＵ１２ｂでは、抽出したクラス内の画素に対応する色変化を抽出し、その抽出した色変化を正常色変化として設定する（Ｓ１２６）。

ＥＣＵ１２ｂにおけるＳ１２７、Ｓ１２８の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１２によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１２によれば、画像上で隣接しかつ色変化が類似しているクラスのうちの領域の面積に対する周囲長の比率が小さいクラス内の画素の色変化を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、道路に落下している毛布のような異常領域は、道路のような照明の影響だけを受けている領域の形状と比べて複雑である。そこで、照明により色変化領域と異常領域出現による色変化領域の違いとしては、領域形状の複雑さが利用できる。照明による色変化はシーン内でほぼ一様で、毛布のような異常領域も領域内で一様な色なので一様な色変化となるので、類似している色変化を１つのクラスに分類し、同じクラスに属する色変化となる画素で画像上でも連結している画素を１つの領域として結合することで、領域抽出が可能である。形状の複雑さは領域の周囲長の面積に対する比で表現可能であるので、抽出した領域毎に周囲長／面積比を算出し、その比が閾値以下となる領域に対する色変化は、照明の違いによる色変化（＝正常色変化）となる。

図２７及び図１７を参照して、第１３の実施の形態に係る異常領域検知装置１３について説明する。図２７は、第１３の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置１３は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１３では、特定の関係を満たす色変化対を正常色変化とする。そのために、異常領域検知装置１３は、カメラ１３ａ及びＥＣＵ１３ｂを備えており、ＥＣＵ１３ｂに背景カラー画像データベース１３ｃ、色変化算出部１３ｄ、特定関係データベース１３ｅ、特定関係色変化抽出部１３ｆ、類似判定部１３ｇを有している。なお、カメラ１３ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１３の実施の形態では、色変化算出部１３ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１３ｄ、特定関係データベース１３ｅ及び特定関係色変化抽出部１３ｆが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１３ｇが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ１３ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１３を統括制御する。ＥＣＵ１３ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１３ｄ、特定関係色変化抽出部１３ｆ、類似判定部１３ｇが構成される。また、ＥＣＵ１３ｂには、記憶装置の所定の領域に背景カラー画像データベース１３ｃ、特定関係データベース１３ｅが構築されている。ＥＣＵ１３ｂでは、一定時間毎にカメラ１３ａからの画像信号を受信し、各部１３ｄ，１３ｆ，１３ｇでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１３ｃ、色変化算出部１３ｄ、類似判定部１３ｇは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。特定関係データベース１３ｅは、第８の実施の形態で説明した特定関係データベース８ｅと同様のものなので、その説明を省略する。

特定関係色変化抽出部１３ｆでは、色変化算出部１３ｄで算出した色変化の中で、特定関係データベース１３ｅに格納される特定関係を満たす色変化の対を抽出する。そして、特定関係色変化抽出部１３ｆでは、その抽出した色変化対を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。

図２７及び図１７を参照して、異常領域検知装置１３における動作を説明する。特に、ＥＣＵ１３ｂにおける処理については図２８のフローチャートに沿って説明する。図２８は、第１３の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１３ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１３ｂに送信している。ＥＣＵ１３ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１３０）。

入力カラー画像を入力すると、ＥＣＵ１３ｂでは、背景カラー画像データベース１３ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１３１）。また、ＥＣＵ１３ｂでは、特定関係データベース１３ｅから特定関係を読み出す（Ｓ１３１）。そして、ＥＣＵ１３ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１３２）。

ＥＣＵ１３ｂでは、Ｓ１３２で算出した色変化の中から特定関係を満たす色変化対を抽出する（Ｓ１３３）。そして、ＥＣＵ１３ｂでは、その抽出した色変化対を正常色変化として設定する（Ｓ１３３）。

ＥＣＵ１３ｂにおけるＳ１３４、Ｓ１３５の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１３によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１３によれば、特定の関係を満たす色変化対を用いて正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、屋外で同時に発生する照明条件としては、日向と日影がある。日向の影響を受けた入力カラー画像上の画素と対応する背景カラー画像上の画素から求めた色変化と日影の影響を受けた入力カラー画像上の画素と対応する背景カラー画像上の画素から求めた色変化とには、第８の実施の形態で説明したように特定の関係がある（図１７参照）。この特定の関係を満たす色変化は、日向と日影の影響を受けた色変化（＝正常色変化）となる。

図２９を参照して、第１４の実施の形態に係る異常領域検知装置１４について説明する。図２９は、第１４の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置１４は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１４では、異なる場所で撮像した画像で共通して観測できる色変化を正常色変化とする。そのために、異常領域検知装置１４は、カメラ１４ａ及びＥＣＵ１４ｂを備えており、ＥＣＵ１４ｂに背景カラー画像データベース１４ｃ、色変化算出部１４ｄ、色変化データベース１４ｅ、過去色変化一致色変化抽出部１４ｆ、類似判定部１４ｇを有している。なお、カメラ１４ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１４の実施の形態では、色変化算出部１４ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１４ｄ、色変化データベース１４ｅ及び過去色変化一致色変化抽出部１４ｆが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１４ｇが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ１４ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１４を統括制御する。ＥＣＵ１４ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１４ｄ、過去色変化一致色変化抽出部１４ｆ、類似判定部１４ｇが構成される。また、ＥＣＵ１４ｂには、記憶装置の所定の領域に背景カラー画像データベース１４ｃ、色変化データベース１４ｅが構築されている。ＥＣＵ１４ｂでは、一定時間毎にカメラ１４ａからの画像信号を受信し、各部１４ｄ，１４ｆ，１４ｇでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１４ｃ、色変化算出部１４ｄ、類似判定部１４ｇは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

色変化データベース１４ｅには、過去の各場所でそれぞれ算出された色変化群（色変化空間での色変化分布）を格納するデータベースである。特に、この色変化群は、各場所で設定された正常色変化の色変化群である。ここでは、他の実施の形態のいずれかの形態で設定された各場所での正常色変化のデータが格納される。

過去色変化一致色変化抽出部１４ｆでは、色変化データベース１４ｅに格納されている過去の各場所での正常色変化の分布を用いて、ある場所の正常色変化分布毎に、そのある場所の正常色変化分布と他の異なる場所の正常色変化分布をそれぞれ比較し、一致する正常色変化分布があるか否かを判定する。この正常色変化分布が一致するか否かの判定方法としては、例えば、各場所の正常色変化分布を正規分布で近似したときに、各場所での正常色変化分布に対してそれぞれ近似する正規分布同士の重複が正規分布の一定面積以上（正規分布の類似度が閾値以上）であるか否かで判定する。そして、過去色変化一致色変化抽出部１４ｆでは、一致する正常色変化分布がない場所の色変化分布を除去し、残った各場所の正常色変化分布を用いて正常色変化を設定する。

図２９を参照して、異常領域検知装置１４における動作を説明する。特に、ＥＣＵ１４ｂにおける処理については図３０のフローチャートに沿って説明する。図３０は、第１４の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１４ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１４ｂに送信している。ＥＣＵ１４ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１４０）。

入力カラー画像を入力すると、ＥＣＵ１４ｂでは、背景カラー画像データベース１４ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１４１）。また、ＥＣＵ１４ｂでは、色変化データベース１４ｅから過去の複数の場所での正常色変化を読み出す（Ｓ１４１）。そして、ＥＣＵ１４ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１４２）。

ＥＣＵ１４ｂでは、過去の複数の場所での正常色変化の中から、他の場所の正常色変化と一致しない場所の正常色変化を除去し、残った場所の正常色変化を正常色変化として設定する（Ｓ１４２）。

ＥＣＵ１４ｂにおけるＳ１４４、Ｓ１４５の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１４によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１４によれば、過去の複数の場所でそれぞれ設定された正常色変化の中から他の正常色変化と一致しない正常色変化を排除して正常色変化を設定することにより、より高精度な正常色変化を設定できる。

ちなみに、一つの場所で撮像した画像上にたまたま存在する大きな異常領域や障害物を正常色変化として抽出した場合に、複数の場所で発生するかどうかを確認することにより、そのような誤った正常色変化を排除することができる。

図３１を参照して、第１５の実施の形態に係る異常領域検知装置１５について説明する。図３１は、第１５の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置１５は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１５では、大半の画素が正常と判定できる色変化を正常色変化とする。そのために、異常領域検知装置１５は、カメラ１５ａ及びＥＣＵ１５ｂを備えており、ＥＣＵ１５ｂに背景カラー画像データベース１５ｃ、色変化算出部１５ｄ、正常色変化候補データベース１５ｅ、正常画素数計測部１５ｆ、画素数閾値以上正常色変化候補抽出部１５ｇ、類似判定部１５ｈを有している。なお、カメラ１５ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１５の実施の形態では、色変化算出部１５ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１５ｄ、正常色変化候補データベース１５ｅ、正常画素数計測部１５ｆ及び画素数閾値以上正常色変化候補抽出部１５ｇが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１５ｈが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ１５ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１５を統括制御する。ＥＣＵ１５ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１５ｄ、正常画素数計測部１５ｆ、画素数閾値以上正常色変化候補抽出部１５ｇ、類似判定部１５ｈが構成される。また、ＥＣＵ１５ｂには、記憶装置の所定の領域に背景カラー画像データベース１５ｃ、正常色変化候補データベース１５ｅが構築されている。ＥＣＵ１５ｂでは、一定時間毎にカメラ１５ａからの画像信号を受信し、各部１５ｄ，１５ｆ，１５ｇ，１５ｈでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１５ｃ、色変化算出部１５ｄ、類似判定部１５ｈは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

正常色変化候補データベース１５ｅには、正常色変化の候補が格納されるデータベースである。正常色変化の候補としては、照明条件などを変えた様々な画像から求めた正常色変化を予め用意する。

正常画素数計測部１５ｆでは、正常色変化候補データベース１５ｅに格納される正常色変化の候補毎に、色変化算出部１５ｄで算出した色変化と正常色変化の候補との各距離を算出する。この距離としては、例えば、ユークリッド距離を利用する。そして、正常画素数計測部１５ｆでは、正常色変化候補データベース１５ｅに格納される正常色変化の候補毎に、色変化算出部１５ｄで算出した色変化にそれぞれ対応する画素群の中で距離が閾値以下（色変化が類似している）となる正常な画素の数を計測する。この閾値は、色変化の距離に基づいて、色変化が類似しているか否かを判定するための閾値である。

画素数閾値以上正常色変化候補抽出部１５ｇでは、正常色変化候補データベース１５ｅに格納される正常色変化の候補の中から、正常な画素数が閾値以上となる正常色変化の候補を抽出し、その候補を正常色変化として設定する。この閾値は、入力カラー画像内で正常と判定できる画素が大半を占めているか否かを判定するための閾値である。

図３１を参照して、異常領域検知装置１５における動作を説明する。特に、ＥＣＵ１５ｂにおける処理については図３２のフローチャートに沿って説明する。図３２は、第１５の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１５ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１５ｂに送信している。ＥＣＵ１５ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１５０）。

入力カラー画像を入力すると、ＥＣＵ１５ｂでは、背景カラー画像データベース１５ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１５１）。また、ＥＣＵ１５ｂでは、正常色変化候補データベース１５ｅから正常色変化候補を読み出す（Ｓ１５１）。そして、ＥＣＵ１５ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１５２）。

ＥＣＵ１５ｂでは、正常色変化候補毎に、Ｓ１５２で算出した色変化にそれぞれ対応する画素群の中で正常と判定できる画素の数を計測する（Ｓ１５３）。そして、ＥＣＵ１５ｂでは、その正常な画像数が閾値以上となる正常色変化候補を正常色変化として設定する（Ｓ１５４）。

ＥＣＵ１５ｂにおけるＳ１５５、Ｓ１５６の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１５によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１５によれば、正常色変化候補の中で入力カラー画像内で正常となる画素数が閾値以上（大半）となる正常色変化候補を正常色変化として設定することにより、高精度な正常色変化を設定できる。

ちなみに、入力カラー画像内の大半の画素が太陽による影響で色変化している場合、正常色変化の各候補としてはそれらの画素を正常と判定できるものでないと、正常色変化とすることはできない。したがって、大半の画素を正常と判定できる正常色変化の候補は、正常色変化と設定できる。

図３３を参照して、第１６の実施の形態に係る異常領域検知装置１６について説明する。図３３は、第１６の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置１６は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１６では、道路形状に沿って正常と判定できる画素が並ぶような色変化を正常色変化とする。そのために、異常領域検知装置１６は、カメラ１６ａ及びＥＣＵ１６ｂを備えており、ＥＣＵ１６ｂに背景カラー画像データベース１６ｃ、色変化算出部１６ｄ、正常色変化候補データベース１６ｅ、道路領域情報データベース１６ｆ、正常判定部１６ｇ、判定画像生成部１６ｈ、道路境界画素抽出部１６ｉ、抽出画素正常画素数閾値以上正常色変化候補抽出部１６ｊ、類似判定部１６ｋを有している。なお、カメラ１６ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１６の実施の形態では、色変化算出部１６ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１６ｄ、正常色変化候補データベース１６ｅ、道路領域情報データベース１６ｆ、正常判定部１６ｇ、判定画像生成部１６ｈ、道路境界画素抽出部１６ｉ及び抽出画素正常画素数閾値以上正常色変化候補抽出部１６ｊが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１６ｋが特許請求の範囲に記載する物体検出手段に相当する。

ＥＣＵ１６ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１６を統括制御する。ＥＣＵ１６ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１６ｄ、正常判定部１６ｇ、判定画像生成部１６ｈ、道路境界画素抽出部１６ｉ、抽出画素正常画素数閾値以上正常色変化候補抽出部１６ｊ、類似判定部１６ｋが構成される。また、ＥＣＵ１６ｂには、記憶装置の所定の領域に背景カラー画像データベース１６ｃ、正常色変化候補データベース１６ｅ、道路領域情報データベース１６ｆが構築されている。ＥＣＵ１６ｂでは、一定時間毎にカメラ１６ａからの画像信号を受信し、各部１６ｄ，１６ｇ，１６ｈ，１６ｉ，１６ｊ，１６ｋでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１６ｃ、色変化算出部１６ｄ、類似判定部１６ｋは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。正常色変化候補データベース１６ｅは、第１５の実施の形態で説明した正常色変化候補データベース１５ｅと同様のものなので、その説明を省略する。道路領域情報データベース１６ｆは、第１１の実施の形態で説明した道路領域情報データベース１１ｅと同様のものなので、その説明を省略する。

正常判定部１６ｇでは、正常色変化候補データベース１６ｅに格納されている正常色変化の候補毎に、色変化算出部１６ｄで算出した色変化と正常色変化の候補との各距離（ユークリッド距離）を算出し、距離が閾値以下（色変化が類似している）となる画素を正常と判定し、距離が閾値より大きい画素を異常と判定する。

判定画像生成部１６ｈでは、正常色変化候補データベース１６ｅに格納されている正常色変化の候補毎に、正常判定部１６ｇでの判定結果に基づいて正常／異常と判定された各画素の画像上の位置に輝度値を１／０とする判定画像を生成する。

道路境界画素抽出部１６ｉでは、正常色変化候補データベース１６ｅに格納されている正常色変化の候補毎に、判定画像生成部１６ｈで生成した判定画像から、道路領域情報データベース１６ｆに格納されている道路境界線の位置に対応する判定画像上の画素を抽出する。

抽出画素正常画素数閾値以上正常色変化候補抽出部１６ｊでは、正常色変化候補データベース１６ｅに格納されている正常色変化の候補毎に、道路境界画素抽出部１６ｉで抽出した画素における画素値の総和（判定画像での抽出画素の１／０の値の総和）／抽出画素数の比を算出する。そして、抽出画素正常画素数閾値以上正常色変化候補抽出部１６ｊでは、その比が閾値以上となる正常色変化の候補を正常色変化として設定する。この閾値は、道路境界線上の抽出画素の画素値総和／画素数の比率に基づいて、道路境界付近において正常と判定できる画素が大半を占めているか否かを判定するための閾値である。

図３３を参照して、異常領域検知装置１６における動作を説明する。特に、ＥＣＵ１６ｂにおける処理については図３３のフローチャートに沿って説明する。図３３は、第１６の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１６ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１６ｂに送信している。ＥＣＵ１６ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１６０）。

入力カラー画像を入力すると、ＥＣＵ１６ｂでは、背景カラー画像データベース１６ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１６１）。また、ＥＣＵ１６ｂでは、正常色変化候補データベース１６ｅから正常色変化候補を読み出す（Ｓ１６１）。また、ＥＣＵ１６ｂでは、道路領域情報データベース１６ｆから入力カラー画像を撮像した位置周辺の道路領域情報（道路境界情報）を読み出す（Ｓ１６１）。そして、ＥＣＵ１６ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１６２）。

ＥＣＵ１６ｂでは、正常色変化候補毎に、Ｓ１６２で算出した色変化にそれぞれ対応する画素群の中でユークリッド距離が閾値以下となる画素を正常と判定し、それ以外を異常と判定する（Ｓ１６３）。そして、ＥＣＵ１６ｂでは、正常色変化候補毎に、正常な画素の位置を１とし、異常な画素の位置を０として判定画像を生成する（Ｓ１６４）。さらに、ＥＣＵ１６ｂでは、正常色変化候補毎に、道路境界情報に基づいて、判定画像上の道路境界上の画素（１／０）を抽出する（Ｓ１６５）。そして、ＥＣＵ１６ｂでは、正常色変化候補の中から、抽出画素の画素値総和／抽出画素数が閾値以上となる正常色変化候補を抽出し、その正常色変化候補を正常色変化として設定する（Ｓ１６６）。

ＥＣＵ１６ｂにおけるＳ１６７、Ｓ１６８の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１６によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１６によれば、正常色変化候補の中で入力カラー画像の道路境界上に正常と判定できる画素が並ぶような正常色変化候補を正常色変化として設定することにより、高精度な正常色変化を設定できる。

ちなみに、道路領域内では、道路境界付近は歩道や壁などの通行に邪魔になるものが多いため、他の位置に比べて障害物の出現が少ない。したがって、この道路境界付近では大半の画素には異常領域が無いことが多く、これらの正常なはずの画素を正常と判定できる正常色変化の候補は、正常色変化と設定できる。

図３５を参照して、第１７の実施の形態に係る異常領域検知装置１７について説明する。図３５は、第１７の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置１７は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１７では、ありうる照明条件での背景カラー画像間の色変化に含まれる色変化の中から正常色変化を設定する。そのために、異常領域検知装置１７は、カメラ１７ａ及びＥＣＵ１７ｂを備えており、ＥＣＵ１７ｂに背景カラー画像データベース１７ｃ、色変化算出部１７ｄ、ありうる色変化データベース１７ｅ、合致色変化抽出部１７ｆ、類似判定部１７ｇを有している。なお、カメラ１７ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１７の実施の形態では、色変化算出部１７ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１７ｄ、ありうる色変化データベース１７ｅ及び合致色変化抽出部１７ｆが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１７ｇが特許請求の範囲に記載する物体検出手段に相当し、ありうる色変化データベース１７ｅが特許請求の範囲に記載するデータベースに相当する。

ＥＣＵ１７ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１７を統括制御する。ＥＣＵ１７ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１７ｄ、合致色変化抽出部１７ｆ、類似判定部１７ｇが構成される。また、ＥＣＵ１７ｂには、記憶装置の所定の領域に背景カラー画像データベース１７ｃ、ありうる色変化データベース１７ｅが構築されている。ＥＣＵ１７ｂでは、一定時間毎にカメラ１７ａからの画像信号を受信し、各部１７ｄ，１７ｆ，１７ｇでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１７ｃ、色変化算出部１７ｄ、類似判定部１７ｇは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

ありうる色変化データベース１７ｅには、ありうる色変化が格納されたデータベースである。格納されるありうる色変化は、考えられるありうる照明条件を変えた場合の背景画像間（特に、道路領域の画像間）の対応する各画素から算出した色変化である。

合致色変化抽出部１７ｆでは、色変化算出部１７ｄで算出した色変化から、ありうる色変化データベース１７ｅに格納されているありうる色変化と合致しない色変化を除去し、残った色変化を用いて正常色変化を設定する。この正常色変化の設定方法は、第３の実施の形態と同様の方法である。この除去方法としては、例えば、算出した色変化とありうる色変化のとる値をそれぞれ量子化し、ありうる色変化の量子化結果の中に算出した色変化の量子化結果に一致する量子化結果がある場合には該当ありとして残し、ありうる色変化の量子化結果の中に算出した色変化の量子化結果に一致する量子化結果が１つもない場合には該当なしとして除外する。

図３５を参照して、異常領域検知装置１７における動作を説明する。特に、ＥＣＵ１７ｂにおける処理については図３６のフローチャートに沿って説明する。図３６は、第１７の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１７ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１７ｂに送信している。ＥＣＵ１７ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１７０）。

入力カラー画像を入力すると、ＥＣＵ１７ｂでは、背景カラー画像データベース１７ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１７１）。また、ＥＣＵ１７ｂでは、ありうる色変化データベース１７ｅからありうる色変化を読み出す（Ｓ１７１）。そして、ＥＣＵ１７ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１７２）。

ＥＣＵ１７ｂでは、Ｓ１７２で算出した色変化の中から、ありうる色変化と合致しない色変化を除去し、残った色変化を正常色変化として設定する（Ｓ１７３）。

ＥＣＵ１７ｂにおけるＳ１７４、Ｓ１７５の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１７によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１７によれば、入力カラー画像から算出した色変化の中からありうる色変化だけを正常色変化に設定することにより、高精度な正常色変化を設定できる。

ちなみに、ありうる様々な照明条件で撮像した入力カラー画像と背景カラー画像間で算出した色変化がとる値は有限範囲であり、この範囲外の色変化はそもそも照明条件以外による色変化である。したがって、このありうる色変化データベースを用いた方法により、少なくとも照明条件による色変化でない色変化を効率的に除去することができる。

図３７を参照して、第１８の実施の形態に係る異常領域検知装置１８について説明する。図３７は、第１８の実施の形態に係る異常領域検知装置の構成図である。

異常領域検知装置１８は、第１の実施の形態に係る異常領域検知装置１と比較すると、最適な正常色変化を設定する機能を有する点で異なる。特に、異常領域検知装置１８では、入力カラー画像から算出した色変化分布をキーとして記憶している正常色変化分布の中から類似する正常色変化分布を正常色変化として設定する。そのために、異常領域検知装置１８は、カメラ１８ａ及びＥＣＵ１８ｂを備えており、ＥＣＵ１８ｂに背景カラー画像データベース１８ｃ、色変化算出部１８ｄ、正常色変化データベース１８ｅ、分布重複度評価部１８ｆ、最大重複度色変化抽出部１８ｇ、類似判定部１８ｈを有している。なお、カメラ１８ａについては、第１の実施の形態で説明したカメラ１ａと同様のものなので、その説明を省略する。

なお、第１８の実施の形態では、色変化算出部１８ｄが特許請求の範囲に記載する色変化傾向算出手段に相当し、色変化算出部１８ｄ、正常色変化データベース１８ｅ、分布重複度評価部１８ｆ及び最大重複度色変化抽出部１８ｇが特許請求の範囲に記載する基準値設定手段に相当し、類似判定部１８ｈが特許請求の範囲に記載する物体検出手段に相当し、正常色変化データベース１８ｅが特許請求の範囲に記載するデータベースに相当する。

ＥＣＵ１８ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、異常領域検知装置１８を統括制御する。ＥＣＵ１８ｂでは、ＲＯＭに格納されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、色変化算出部１８ｄ、分布重複度評価部１８ｆ、最大重複度色変化抽出部１８ｇ、類似判定部１８ｈが構成される。また、ＥＣＵ１８ｂには、記憶装置の所定の領域に背景カラー画像データベース１８ｃ、正常色変化データベース１８ｅが構築されている。ＥＣＵ１８ｂでは、一定時間毎にカメラ１８ａからの画像信号を受信し、各部１８ｄ，１８ｆ，１８ｇ，１８ｈでの処理を行い、異常領域の情報を異常領域情報信号として出力する。なお、背景カラー画像データベース１８ｃ、色変化算出部１８ｄ、類似判定部１８ｈは、第１の実施の形態で説明した背景カラー画像データベース１ｃ、色変化算出部１ｄ、類似判定部１ｆとそれぞれ同様のものなので、その説明を省略する。

正常色変化データベース１８ｅには、正常色変化の分布が格納されたデータベースである。格納される正常色変化の分布は、各種照明条件を変えた場合の背景画像間（特に、道路領域の画像間）の対応する各画素から算出した正常色変化の色変化空間上での分布である。

分布重複度評価部１８ｆでは、正常色変化データベース１８ｅに格納されている正常色変化分布毎に、色変化算出部１８ｄで算出した色変化の色変化空間上での分布と正常色変化分布との重複度を評価する。２つの色変化分布の重複度は、例えば、各色変化分布を２次元に投影した投影色変化画像を生成し、各画素の同じ画素位置同士に色変化が存在する場合の数を片方の画像上にしか色変化が存在しない画素の数で割り算した比率で表現する。

最大重複度色変化抽出部１８ｇでは、正常色変化データベース１８ｅに格納されている正常色変化分布の中で、分布重複度評価部１８ｆで算出した重複度が最大となる正常色変化分布を抽出し、その抽出した正常色変化分布を正常色変化として設定する。

図３７を参照して、異常領域検知装置１８における動作を説明する。特に、ＥＣＵ１８ｂにおける処理については図３８のフローチャートに沿って説明する。図３８は、第１８の実施の形態に係る異常領域検知処理の流れを示すフローチャートである。

カメラ１８ａでは、一定時間毎に、自車両の周辺を撮像し、画像信号をＥＣＵ１８ｂに送信している。ＥＣＵ１８ｂでは、その画像信号を受信し、入力カラー画像を入力する（Ｓ１８０）。

入力カラー画像を入力すると、ＥＣＵ１８ｂでは、背景カラー画像データベース１８ｃから入力カラー画像を撮像した位置と同じ位置で撮像した背景カラー画像を読み出す（Ｓ１８１）。また、ＥＣＵ１８ｂでは、正常色変化データベース１８ｅから各種照明条件での正常色変化分布を読み出す（Ｓ１８１）。そして、ＥＣＵ１８ｂでは、入力カラー画像と背景カラー画像間で対応する画素毎に色変化を算出する（Ｓ１８２）。

ＥＣＵ１８ｂでは、正常色変化の分布毎に、Ｓ１８２で算出した色変化の分布との重複度を評価する（Ｓ１８３）。そして、ＥＣＵ１８ｂでは、正常色変化分布の中から重複度が最大となる正常色変化分布を抽出し、その抽出した正常色変化分布を正常色変化として設定する（Ｓ１８４）。

ＥＣＵ１８ｂにおけるＳ１８５、Ｓ１８６の各処理については、第１の実施の形態で説明したＥＣＵ１ｂにおけるＳ１４、Ｓ１５と同様の処理なので、その説明を省略する。

この異常領域検知装置１８によれば、第１の実施の形態に係る異常領域検知装置１と同様の効果を有する上に、以下の効果も有している。異常領域検知装置１８によれば、各種照明条件の正常色変化の中から入力カラー画像から算出した色変化と照明条件が類似している正常色変化を設定することにより、高精度な正常色変化を設定できる。

ちなみに、必要な正常色変化は、入力カラー画像と類似する照明状態の対応した色変化分布である。照明状態が類似している２つの画像では、色変化分布が近似している。したがって、入力カラー画像から算出した色変化分布と類似した分布となる正常色変化分布は、入力カラー画像に適した色分布であるはずである。そこで、正常色変化データベースを利用した上記の方法により、入力カラー画像に適した正常色変化分布を特定できる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載される異常領域検知装置に適用したが、周辺監視装置、障害物検出装置（歩行者検出装置、他車両検出装置など）などの他の装置に適用してもよいし、あるいは、車両以外での物体検出装置に適用してもよい。

また、本実施の形態ではカラー画像に適用したが、モノクロ画像にも適用可能である。

また、本実施の形態では色変化傾向として画像間の対応する画素のＲＧＢの各値の比率としたが、他のパラメータを用いてもよい。

また、第２の実施の形態では背景カラー画像を抽出する機能を異常領域検知装置に組み込む構成としたが、この機能だけを行う背景カラー画像抽出装置を構成し、前処理として、この背景カラー画像抽出装置によって各場所で最適な背景カラー画像を抽出し、その抽出した場所毎の背景カラー画像を他の形態での背景カラー画像データベースに格納しておいてもよい。

また、第２の実施の形態に係る背景カラー画像を抽出する構成を第３〜１８の各実施の形態に組み込んでもよい。

また、第３〜第１８の実施の形態では正常色変化の設定方法をそれぞれ変えた形態を示したが、これらの各形態の幾つかの正常色変化の設定方法を組み合わせてもよい。

色変化空間上の色変化分布に対する処理を行う場合、３次元の色変化空間上で処理を行ってもよいし、３次元の色変化分布を２次元に投影した色変化平面上でそれぞれ処理を行ってもよい。

１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１７，１８…異常領域検知装置、１ａ，２ａ，３ａ，４ａ，５ａ，６ａ，７ａ，８ａ，９ａ，１０ａ，１１ａ，１２ａ，１３ａ，１４ａ，１５ａ，１６ａ，１７ａ，１８ａ…カメラ、１ｂ，２ｂ，３ｂ，４ｂ，５ｂ，６ｂ，７ｂ，８ｂ，９ｂ，１０ｂ，１１ｂ，１２ｂ，１３ｂ，１４ｂ，１５ｂ，１６ｂ，１７ｂ，１８ｂ…ＥＣＵ、１ｃ，３ｃ，４ｃ，５ｃ，６ｃ，７ｃ，８ｃ，９ｃ，１０ｃ，１１ｃ，１２ｃ，１３ｃ，１４ｃ，１５ｃ，１６ｃ，１７ｃ，１８ｃ…背景カラー画像データベース、１ｄ，２ｈ，３ｄ，４ｄ，５ｄ，６ｄ，７ｄ，８ｄ，９ｄ，１０ｄ，１１ｄ，１２ｄ，１３ｄ，１４ｄ，１５ｄ，１６ｄ，１７ｄ，１８ｄ…色変化算出部、１ｅ，２ｉ，１８ｅ…正常色変化データベース、１ｆ，２ｊ，３ｇ，４ｉ，５ｈ，６ｈ，７ｉ，８ｈ，９ｈ，１０ｈ，１１ｉ，１２ｉ，１３ｇ，１４ｇ，１５ｈ，１６ｋ，１７ｇ，１８ｈ…類似判定部、２ｃ…背景候補画像データベース、２ｄ…評価対象画像抽出部、２ｅ…色変化算出部、２ｆ…分散算出部、２ｇ…最小分散評価対象画像抽出部、３ｅ…エッジ無し画素抽出部、３ｆ…抽出画素対応色変化抽出部，４ｅ，５ｅ…領域設定部、４ｆ…色差算出部、４ｇ…色差ばらつき閾値以下領域抽出部、４ｈ，５ｇ…領域内画素対応色変化抽出部，５ｆ…正規分布近似可能領域抽出部、６ｅ…特定方向データベース、６ｆ…正規分布特定方向色変化分布近似部、６ｇ…近似正規分布内色変化抽出部、７ｅ，９ｅ，１１ｆ，１２ｅ…類似色変化クラス分類部、７ｆ…クラス内隣接画素数累積部、７ｇ…除算部、７ｈ…除算値閾値以下クラス色変化抽出部、８ｅ，１３ｅ…特定関係データベース、８ｆ…特定関係変換色変化生成部、８ｇ…色変化抽出部、９ｆ，１０ｆ…クラス内色変化画素位置分散算出部、９ｇ，１０ｇ…分散閾値以上クラス抽出部、１０ｅ…距離色変化クラス分類部、１１ｅ，１６ｆ…道路領域情報データベース、１１ｇ…クラス内色変化最大道のり画素座標間距離算出部、１１ｈ…最大道のり色変化抽出部、１２ｆ…クラス領域周囲長・面積計測部、１２ｇ…領域周囲長／面積比率算出部、１２ｈ…比率閾値以下クラス色変化抽出部、１３ｆ…特定関係色変化抽出部、１４ｅ…色変化データベース、１４ｆ…過去色変化一致色変化抽出部、１５ｅ，１６ｅ…正常色変化候補データベース、１５ｆ…正常画素数計測部、１５ｇ…画素数閾値以上正常色変化候補抽出部、１６ｇ…正常判定部、１６ｈ…判定画像生成部、１６ｉ…道路境界画素抽出部、１６ｊ…抽出画素中正常画素数閾値以上正常変化色候補抽出部、１７ｅ…ありうる色変化データベース、１７ｆ…合致色変化抽出部，１８ｆ…分布重複度評価部、１８ｇ…最大重複度色変化抽出部

Claims (10)

1. 撮像手段で撮像された入力画像と当該入力画像と同じ場所で撮像された背景画像との比較に基づいて物体を検出する物体検出装置であって、
   対応する画像位置毎に背景画像に対する入力画像の色変化傾向を算出する色変化傾向算出手段と、
   色変化傾向の基準値を設定する基準値設定手段と、
   前記色変化傾向算出手段で算出した色変化傾向と前記基準値設定手段で設定した色変化傾向の基準値に基づいて物体を検出する物体検出手段
   を備えることを特徴とする物体検出装置。
2. 前記色変化傾向算出手段は、色変化傾向として対応する画素毎に背景画像の画素値と入力画像の画素値との比を算出することを特徴とする請求項１に記載する物体検出装置。
3. 前記基準値設定手段は、画像における画素値の変化の少ない領域における色変化傾向を基準値とすることを特徴とする請求項１又は請求項２に記載する物体検出装置。
4. 前記基準値設定手段は、色変化の特性から生じ得る色変化傾向を推定して基準値とすることを特徴とする請求項１又は請求項２に記載する物体検出装置。
5. 前記基準値設定手段は、画像中で広範囲で類似する色変化傾向を基準値とすることを特徴とする請求項１又は請求項２に記載する物体検出装置。
6. 前記基準値設定手段は、領域の面積に対する周期長の比率が閾値以下の領域の色変化傾向を基準値とすることを特徴とする請求項１又は請求項２に記載する物体検出装置。
7. 前記基準値設定手段は、異なる照明条件間での色変化の対応関係に基づいて基準値を設定することを特徴とする請求項１又は請求項２に記載する物体検出装置。
8. 前記基準値設定手段は、異なる場所で撮像した画像に共通する色変化傾向を基準値とすることを特徴とする請求項１又は請求項２に記載する物体検出装置。
9. 前記基準値設定手段は、所定の色変化傾向を基準値とした場合に正常と判定される画素情報に基づいて所定の色変化傾向を基準値とするか否かを判定することを特徴とする請求項１又は請求項２に記載する物体検出装置。
10. 照明条件毎の色変化傾向の基準値を格納するデータベースを備え、
    前記基準値設定手段は、前記データベースに格納されている照明条件毎の色変化傾向の基準値を利用して基準値を設定することを特徴とする請求項１又は請求項２に記載する物体検出装置。

Images