JP2004363988A - 車両検出方法及び車両検出装置 - Google Patents
車両検出方法及び車両検出装置 Download PDFInfo
- Publication number
- JP2004363988A JP2004363988A JP2003160399A JP2003160399A JP2004363988A JP 2004363988 A JP2004363988 A JP 2004363988A JP 2003160399 A JP2003160399 A JP 2003160399A JP 2003160399 A JP2003160399 A JP 2003160399A JP 2004363988 A JP2004363988 A JP 2004363988A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- image
- recognition
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】走行環境で撮影された自車前方の撮影画像から、識別辞書を用意等することなく、画像の複雑さに適した画像処理によって精度よく自車前方の車両を検出する。
【解決手段】車両１に搭載された単眼カメラ（画像センサ）２により自車前方を撮影し、その撮影画像の複数個所に配置した相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットにより、それぞれの位置の画像情報に基づく自律検出から、各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識し、各ユニット間の相互診断に基づく多数決処理により、各ユニットの認識状態を相互に刺激、抑制することで各ユニットの信頼度を評価し、さらに、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、この修正後の各ユニットの認識状態から車両下端を認識したユニットを特定して自車前方の車両を検出する。
【選択図】 図１
【解決手段】車両１に搭載された単眼カメラ（画像センサ）２により自車前方を撮影し、その撮影画像の複数個所に配置した相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットにより、それぞれの位置の画像情報に基づく自律検出から、各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識し、各ユニット間の相互診断に基づく多数決処理により、各ユニットの認識状態を相互に刺激、抑制することで各ユニットの信頼度を評価し、さらに、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、この修正後の各ユニットの認識状態から車両下端を認識したユニットを特定して自車前方の車両を検出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、車両に搭載した画像センサの自車前方の撮影画像から、自車前方の車両を検出する車両検出方法及び車両検出装置に関する。
【０００２】
【従来の技術】
従来、いわゆる高度交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ）を実現するため、高速道路での追従走行機能や操舵アシスト機能といった、より高度で快適な運転支援システムを車両に搭載することが提案され、さらに、その応用システムとして、より低速度域まで適応可能なシステムも開発されつつある。
【０００３】
さらに、車両とドライバやオペレータとのユーザーインタフェースや次世代ナビゲーションシステム等々の前記ＩＴＳの実用化に向けたシステム開発も種々行われている。
【０００４】
そして、前記ＩＴＳにおけるキーテクノロジーの１つが走行環境の認識技術であり、この認識技術に用いられる種々のセンサのうちの、とくに画像センサは、複数の事象（車両、道路白線、標識、等々）を認識可能なマルチセンサであり、有用である。
【０００５】
この画像センサを走行中の車両に搭載し、その撮影画像の画像処理によって自車両前方の車両を検出する場合、コストや信頼性の制約から、画像センサを２眼カメラで形成して撮影画像のステレオ画像処理で検出するのでなく、画像センサを単眼カメラで形成して検出することが望まれる。
【０００６】
しかしながら、画像センサを単眼カメラとした場合、いわゆるテストコースのような整備された道路での撮影画像から、同色同形状（特定色特定形状）の車両を検出することは比較的容易であるが、実際の一般道路で不特定色不特定形状の車両を検出することは、検出対象の特徴の多様性、広い照明ダイナミックレンジ、道路環境の複雑さ等に起因する困難さを伴う。
【０００７】
つぎに、単眼カメラの撮影画像から自車両前方の車両を検出する方法として、従来は、大別して、予め典型的な車両画像から主成分分析等によって識別辞書を作成しておき、この辞書の撮影画像に一致する車両画像から検出する方法（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｍｅｔｈｏｄ）と、車両の普遍的な特徴（形状）をモデル化して検出する方法（ｍｏｄｅｌ−ｂａｓｅｄ ｍｅｔｈｏｄ）とがある。
【０００８】
そして、識別辞書を作成しておく前者の方法は、辞書として十分な識別力のあるものを作成することが容易でないが、その方法例として、従来、照明錐を考慮したサポートベクターマシーンを利用する方法等が提案されている（例えば、非特許文献１参照。）。
【０００９】
また、普遍的な特徴（形状）をモデル化して検出する後者の方法例として、従来、車両を四角形モデルで近似する方法等が提案されている（例えば、非特許文献２参照。）。
【００１０】
一方、優れた環境適応能力を発揮するメカニズムとして、近年、生体の免疫機構が注目されている。
【００１１】
この免疫機構は未知なる抗原を認識して排除する適応的な機構であり、この機構を模倣した工学モデル（免疫ネットワークモデル）により、文字認識やセンサの故障診断を行うことが提案されている（例えば、非特許文献３，４参照。）。
【００１２】
また、免疫機構を模倣した工学モデルとして、石田好輝提案の免疫ネットワークモデル（以下、石田提案モデルという）があり、この石田提案モデルは、連想診断という概念でまとめられ、全体を機械的にエネルギー関数のようなもので評価するのでなく、正しい情報だけの免疫的なネットワークを構成して解釈する（整合診断に収束させる）点に特徴がある（例えば、非特許文献５参照。）。
【００１３】
【非特許文献１】
阿部孝弘、「照明変化を伴う物体認識へのサポートベクターマシンの適用」、電子情報通信学会、ＭＩＲＵ２００２−ＩＩ、ｐ．１７７−１８６（２００２）
【非特許文献２】
ユー・ハンドマン（Ｕ．Ｈａｎｄｍａｎ）、「ア フレキシブル アーキテクチャー フォー インテリジェント クルーズ コントロール（Ａ ｆｌｅｘｉｂｌｅ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）」、ＩＥＥＥ、アイティーエスシー（ＩＴＳＣ）ｐ．９５８−９６３（１９９９）
【非特許文献３】
田島浩一、唐政、他、「Ｂ細胞の相互作用をもつ免疫的なネットワークによるパターン認識」、電子情報通信学会、（２０００）、Ｖｏｌ−Ｊ８３−Ｄ−ＩＩ−Ｎｏ．２、ｐ．７９５−８０４
【非特許文献４】
石田好輝、「分散モデルの自立分散診断アルゴリズム」、電子情報通信学会、（１９９２）、Ｖｏｌ−Ｊ７５Ｄ−ＩＩ、ｐ．６４５−６５１
【非特許文献５】
石田好輝編、「免疫型システムとその応用−免疫系に学んだ知能システム」、コロナ社、１９９８年７月８日、ｐ．７１−８６
【００１４】
【発明が解決しようとする課題】
前記の識別辞書を用いる検出手法（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｍｅｔｈｏｄ）及びモデル化する検出手法（ｍｏｄｅｌ−ｂａｓｅｄ ｍｅｔｈｏｄ）のような、予め与えられた固定の知識やモデルの情報と撮影画像（シーン）から抽出した部分画像情報とを比較する非適応的な処理によって、画像センサの撮影画像から自車前方の車両検出を行おうとしても、走行環境下で撮影された画像の複雑さ等に基づき、部分画像情報の抽出処理や照合処理のエラーが生じる場合があり、しかも、それらのエラーが抽出した部分画像情報だけに生じることから、実際には検出が極めて困難である。
【００１５】
そして、この種の車両検出においては、走行環境下で撮影された画像の複雑さ等に適応した手法により、その画像から自車前方の車両を検出することは発明されていない。
【００１６】
本発明は、走行環境で撮影された自車前方の撮影画像から、識別辞書を用意等することなく、その画像の複雑さに適応した画像処理によって精度よく自車前方の車両を検出することを目的とする。
【００１７】
【課題を解決するための手段】
上記した目的を達成するために、本発明の車両検出方法は、車両に搭載された画像センサの自車前方の撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットを配置し、前記各ユニットにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識し、前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価し、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、該修正後の前記各ユニットの認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出することを特徴としている（請求項１）。
【００１８】
また、本発明の車両検出装置は、車両に搭載された画像センサの自車前方の撮影画像の複数個所に各ネットワークノードのユニットを配置した相互結合型ニューラルネットワーク構造の分散診断モデルの画像認識部を備え、前記画像認識部に、前記各ユニットにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識する手段と、前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価する手段と、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段と、該修正後の前記各ユニットの認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出する手段とを設けたことを特徴としている（請求項５）。
【００１９】
これらの構成によれば、画像センサの撮影画像の複数個所に配置した各ネットワークノードのユニットにより、それぞれの位置の画像情報（局所画像情報）から、その位置の画像状態が自律検出（自律センシング）されて認識される。
【００２０】
さらに、ユニット間の協調作業に基づき、自律検出の結果である各ユニットの認識状態をユニット間で相互評価しあうことにより、認識の信頼度が評価されて誤認識ユニット（エラーユニット）が検出され、しかも、エラーユニットの認識状態が、信頼度の高い周囲ユニットの認識状態にしたがって多数決処理で修正される。
【００２１】
この場合、画像情報の抽出処理や照合処理のエラーが生じたとしても、これらのエラーがユニット間の協調作業によって修正されて動的関係ネットワークが構築され、このネットワークの正しい認識状態のユニットから、事前に識別辞書を準備したり、詳細にチューニングされた車両モデルを用意したりすることなく、車両下端のユニットが特定されて撮影画像の車両が検出される。
【００２２】
すなわち、相互結合型ニューラルネットワーク構造の分散診断モデルである、前記の免疫ネットワークモデルを応用した手法により、画像センサの自車前方の撮影画像（シーン画像）全体から適応的に診断する動的関係ネットワークが構築され、その診断の解釈や矛盾がチェック・修正られることにより、車両に関する画像知識情報の識別辞書や固定的な特徴モデルを事前に用意して参照することなく、走行環境化における自車前方の車両が、撮影された画像の画像認識から、その画像の複雑さに適応した処理手法で正確に検出される。
【００２３】
つぎに、本発明の車両検出方法は、車両に搭載された画像センサが撮影をくり返し、前記画像センサの撮影毎に、前記撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットそれぞれを配置し、前記各ユニットにより、それぞれの位置の画像情報に基づく画像状態の自律検出及び検出した画像状態と前回の認識状態との整合条件から、前記各ユニットそれぞれの位置の画像状態を、路面、車両下端の認識状態を含む複数の基準状態のいずれかに分類して認識し、前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価し、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、該修正後の前記各ユニットの認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出することを特徴としている（請求項２）。
【００２４】
また、本発明の車両検出装置は、車両に搭載された画像センサがくり返し撮影して得られた撮影毎の前記撮影画像を処理する画像認識部に、最新の撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットを配置する手段と、前記各ユニットにより、それぞれの位置の画像情報に基づく画像状態の自律検出及び前記各位置の前回の認識状態から、前記各位置の画像状態を、路面、車両下端の認識状態を含む複数の基準状態のいずれかに分類して認識する手段と、前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価する手段と、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段と、前記画像センサの撮影毎に、前記修正後の前記各ユニットの最新の認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出する手段とを備えたことを特徴としている（請求項６）。
【００２５】
これらの構成によれば、画像センサによる自車前方の撮影がくり返され、その撮影毎に、分散診断モデルの各ユニットにより、前回の画像状態の認識も加味して自己の位置の画像状態がより正確に自律検出される。
【００２６】
そして、画像センサの撮影毎に、各ユニットの自律検出の認識状態をユニット間で相互評価しあうことにより、各ユニットの信頼度が評価されて誤認識ユニット（エラーユニット）が精度よく検出され、しかも、そのユニットの認識状態が、信頼度の高い周囲の他のユニットの認識状態にしたがって多数決処理で正確に修正され、車両に関する画像知識情報の識別辞書や固定的な特徴モデルを事前に用意して参照することなく、走行環境化における自車前方の車両が、単眼カメラの撮影毎に、撮影画像の画像認識からより正確に検出される。
【００２７】
そして、車両に搭載された画像センサが単眼カメラであることが、実用的であり（請求項３、７）、画像情報が画像エッジの情報を含む輝度に関連した所定の情報であることが、現実的で具体的である（請求項４、９）。
【００２８】
さらに、各ユニットが、画像上のユニット中心から複数方向に配置されてそれぞれの位置の画像情報を収集する複数個の受容体センサで構成された認識部と、前記各受容体センサの収集情報に基づいて自律検出した認識状態を書き換え自在に保持する状態部とからなることが、実用的で極めて好ましい（請求項８）。
【００２９】
【発明の実施の形態】
この発明の一実施形態について、図１ないし図１１を参照して説明する。
【００３０】
図１は車両検出装置のブロック図、図２は図１の動作説明用のフローチャート、図３は免疫診断モデルの模式図、図４の（Ａ）、（Ｂ）は図１の検出装置が形成する分散診断モデルの各ネットワークノードの各ユニットの構成説明図、配置説明図、図５は撮影画像上のユニット配置例の説明図であり、図６、図７、図８はそれぞれユニット間の相互診断の説明図である。
【００３１】
また、図９は単眼カメラの実際の撮影画像の一例の正面図、図１０は図９の撮影画像に基づく自律検出結果の説明図、図１１は図１０の自律検出後の相互診断結果の説明図である。
【００３２】
＜全体構成の説明＞
まず、図１の検出装置の全体構成について説明する。
図１に示すように、車両１に、画像センサとして、例えば、ＣＣＤカメラの単眼カメラ２を搭載する。
【００３３】
このカメラ２は、例えば車両１のダッシュボード、ボンネット等の車両左右の中央部に、前方路面を撮影するように設けられ、車両１の走行中に、自車前方をくり返し撮影し、例えばモノクロームの各撮影画像のデジタルデータをマイクロコンピュータからなる検出処理用のＥＣＵ３にリアルタイムに送る。
【００３４】
そして、ＥＣＵ３及びメモリ４によって画像認識部５が形成され、そのマイクロコンピュータが予め設定された図２の車両検出の画像認識処理のプログラムを実行することにより、画像認識部５が相互結合型ニューラルネットワーク構造の分散診断モデルを構築し、このモデルの画像処理によって前記各撮影画像から自車前方の車両を検出する。
【００３５】
すなわち、この発明においては、画像知識情報の識別辞書や固定的な特徴モデルを用意して参照することなく、単眼カメラ２の自車前方の撮影画像（シーン画像）全体から適応的に前記の相互結合型ニューラルネットワーク構造の診断モデルを構築し、その自律検出の意味解釈や矛盾性をチェックすることで、走行環境の複雑さに適応して前方の車両（先行車）を正確に検出する。
【００３６】
この場合、相互結合型ニューラルネットワークは、優れた環境適応能力を発揮する生態の免疫機構（未知なる抗原を認識して排除する適応的な機構）を応用した免疫工学モデルであることが好ましく、とくに、連想診断という概念でまとめられている前記の石田提案モデルであれば、撮影画像全体から適応的に診断関係を構築し、意味解釈や無矛盾性をチェックしすることで、正しい情報だけの免疫的なネットワークを構成して撮影画像から車両を正確に検出することができ、極めて好ましい。
【００３７】
＜診断モデルの説明＞
Ａ．免疫工学モデル
つぎに、画像処理部５の診断モデルの基礎となる免疫工学モデルについて説明する。
【００３８】
まず、基本となる前記の石田提案モデルは、概略、図３に示す免疫工学モデルであり、同図の各ネットワークノードのユニットＵ１〜Ｕ５は、相互結合されて互いに他を独立に診断（テスト）でき、各ユニットＵ１〜Ｕ５をユニットＵｉ、（ｉ＝１〜５）とし、そのユニットＵｉに結合している他のユニットをユニットＵｊ、（ｊ（≠ｉ）＝１〜５）とすると、ユニットＵｉがユニットＵｊを相互診断したときの評価値Ｔｉｊは、つぎの表１のように定義される。
【００３９】
【表１】
【００４０】
なお、図３の各矢印線は評価値Ｔｉｊのアークであり、１は正常（正）の評価、−１は異常（誤）の評価である。
【００４１】
そして、表１の定義によると、ユニットＵｉ が正常な場合、相手を正しく評価できるが、ユニットＵｉ が異常な場合、その評価が正しいかどうか分からず、そのため、各々のユニットＵ１〜Ｕ５によって単純に評価値Ｔｉｊを集計しただけでは、どのユニットが異常かの判断はできないが、このネットワークに、例えばつぎの数１の（１）式、数２の（２）式のようなダイナミクス（重み付け）を与えることにより、ネットワークが収束し、どのユニットが異常であるか検出できるようになる。
【００４２】
【数１】
【００４３】
【数２】
【００４４】
なお、（１）式、（２）式の式中のＲｉ（ｋ）は時刻ｋにおけるユニットＵｉの信頼度、ｒｉ（ｋ）はその中間変数、ＲｊはユニットＵｊの信頼度、Ｔｉｊ（Ｔｊｉ）はユニットＵｉ（Ｕｊ） がユニットＵｊ（Ｕｉ）をテストするときの評価値、βは診断の厳しさを表す診断調整量（係数）である。
【００４５】
そして、式（１）の評価値Ｔｉｊ（Ｔｊｉ）は、ネットワークが収束するまで（更新中）は、変わらず、一定であり、最も整合したときに１、全く整合しないときに−１であり、通常はその間（１と−１の間）で連続的に変化する。（２）式はそのためのシグモイド関数である。
【００４６】
前記（１）式、（２）式のダイナミクスは、いわゆるホップフィールド（Ｈｏｐｆｉｅｌｄ）型ニューラルネットワークのダイナミクスを変形したものであり、このダイナミックスによって、前記したようにネットワークが収束する。
【００４７】
そして、前記（１）式中の第２、第３項は、ユニットＵｉがユニットＵｊを評価することにより、ユニットＵｊから反射的に評価されるものを総合している項である。この項は反射効果の項と呼ばれ、ユニットＵｉが信頼度の高いユニットＵｊを抑制すると、逆に自分の信頼度が低く評価されることを表す。
【００４８】
その結果、例えば図３の各ユニットＵ１〜Ｕ５は、「信頼度Ｒｊの大きなユニットＵｊから高く評価され、また、信頼度Ｒｊの大きなユニットＵｊを高く評価できるときにユニットＵｉの信頼度Ｒｉが増す」という自然な診断を行う。
【００４９】
そこで、いわゆる故障診断においては、初めに全ユニットＵ１〜Ｕ５が正常と仮定し、つぎの数３の（３）式に示すように、全ユニットＵ１〜Ｕ５の信頼度Ｒｉ（ｋ）を１に設定しておき、その後、前記のダイナミクスに基づいた評価をくり返すことにより、ネットワークが収束したときに、最終的に信用度の低下しているユニットを異常（故障）ユニットと判断する。
【００５０】
【数３】
【００５１】
なお、前記図３の例では、双方向のアークの評価値Ｔｉｊが同じ値になっているが、それらの評価値Ｔｉｊは必ずしも同じ値である必要はなく、アークが双方向である必要もない。
【００５２】
この石田提案モデルのネットワーク診断は、診断結果が最も整合のあうような状態に遷移してゆくので、前記したように連想診断と呼ばれ、ユニット集合や、診断関係を定義する必要がある点に特徴がある。
【００５３】
さらに、この石田提案モデルは、免疫細胞を単体でも命令を遂行可能な自律エージェントの集合として構成されることに特徴があり、これらのエージェントの集団に対し、非自己（環境）および自己の選択によって適応される、エージェント間や、エージェントと環境との間の相互作用に、予め設定された相互作用ルールが仮定される。
【００５４】
このとき、各エージェントはつぎの第１〜第４の性質をもつものである。
【００５５】
すなわち、第１には、レセプタ（認識部）とエフェクタ（実行部）からなり、エージェント単体でもタスクを実行可能である。第２には、レセプタは特定のパターンだけを特異的に認識する。第３には、エージェントは変異をともなった増殖が可能である。第４には、非自己との親和性が高まるようにレセプタを適応的に変更する。
【００５６】
Ｂ．画像認識部５の診断モデル
つぎに、上記の免疫工学モデルを応用した画像認識部５の診断モデル（実施形態モデル）の車両検出について、具体的に説明する。
【００５７】
実施形態モデルは、前記の石田提案モデルを応用した相互結合型ニューラルネットワークの相互診断モデルであり、単眼カメラ２がくり返し撮影した時系列の各撮影画像から自車前方の車両を検出する。
【００５８】
そのため、図１の画像診断部５は、前記図２のプログラムを実行することで、つぎの（１）〜（５）の各手段を備える。
【００５９】
（１）単眼カメラ２の各撮影画像それぞれの複数個所に、図３のユニットＵ１〜Ｕ５のような、局所画像状態の検出（観測）と短期的な記憶（書き換え自在の不揮発性記憶）が可能な相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットＵｎ、（ｎ＝１、２、…）を配置する手段。
【００６０】
（２）各ユニットＵｎにより、それぞれの位置の画像情報に基づく画像状態（局所画像状態）の自律検出及び、検出した画像状態と各ユニットＵｎの前回認識した画像状態との整合条件から、各ユニットＵｎそれぞれの位置の画像状態を、路面、車両下端の認識状態を含む複数の基準状態のいずれかに分類して認識する手段。
【００６１】
（３）各ユニットＵｎ間の相互診断に基づく多数決処理により、各ユニットＵｎの認識状態を相互に刺激、抑制して各ユニットＵｎの信頼度を評価する手段。
【００６２】
（４）各ユニットＵｎのうちの誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段。
【００６３】
（５）単眼カメラ２の撮影毎に、（４）の手段の修正後の各ユニットＵｎの最新の認識状態から車両下端を認識したユニットＵｎを特定して自車前方の車両を検出する手段。
【００６４】
そして、単眼カメラ２の撮影毎に、画像処理部５の処理が図２のステップＳ１からステップＳ２に移行し、カメラ２の撮影画像の画像情報を取り込んでメモリ４に一時的に保持する。
【００６５】
このとき、単眼カメラ２の撮影画像はカラー画像であってもよいが、情報量の少量化及び処理負担の軽減、処理の高速化等を図るため、モノクローム画像であることが好ましい。
【００６６】
つぎに、ステップＳ３により、メモリ４に取り込まれた撮影画像の所定の複数個所に同種（同形状・同構造・同機能）のユニットＵｎを配置する。
【００６７】
そして、ステップＳ４により、各ユニットＵｎが撮影画像のそれぞれの位置の局部画像に微分処理等を施し、画像エッジ情報等を得て各局部画像の自律検出（自律センシング）を実行し、この自律検出で得られた画像情報、すなわち、画像エッジの情報を含む輝度に関連した所定の情報を生成し、この情報を自律検出結果の画像情報としてメモリ４に保持する。
【００６８】
さらに、ステップＳ５に移行して他のユニットＵｎとの協調作業を実行する。
【００６９】
この協調作業の目的は大きく分けて２つあり、第１には、他のユニットＵｎの検出結果が自己の検出結果と整合が取れているか、又は、自己と他のユニットＵｎの検出の類似性がどの程度あるかなどをチェックし、誤ったユニット（誤認識ユニット）を検出することであり、第２には、誤認識ユニットの検出結果（誤認識状態）を、そのユニットを除く周囲の他のユニットＵｎの多数決処理（投票）で修正することである。
【００７０】
そして、前記の協調作業に基づき、ステップＳ６によって誤認識ユニットを修正すると、ステップＳ７により、修正されたものを含む正しい認識状態のユニットの中から、車両下端を認識したユニットが検出されて自車前方の車両が検出される。
【００７１】
この場合、画像処理部５の分散診断モデルの処理は、各ユニットＵｎが、自律的に簡単な画像センシングを行い、その結果に基づいて役割を動的に果たすことによってネットワークを構成する適応的な処理であり、このモデル（本形態モデル）の処理と、石田提案モデル（従来モデル）の処理とには、つぎの表２の相違がある。
【００７２】
【表２】
【００７３】
すなわち、石田提案モデルにおいては、各ユニットの評価値Ｔｉｊを、予め設計者等の経験に基づき、手動チューニングして設定するのに対して、本形態モデルにおいては、各ユニットＵｎの認識結果の評価値Ｔｉｊを、各ユニットＵｎが環境（それぞれの位置の局部画像）を検出した結果に基づき、自律的に決定する。
【００７４】
また、石田提案モデルにおいては、誤認識ユニット（エラーユニット）の検出は行えるが、そのユニットの正しい検出値は分からず、認識結果の評価値Ｔｉｊを修正できないのに対して、本形態モデルにおいては、誤認識ユニットを検出し、そのユニットの検出値（評価値Ｔｉｊ）を他のユニットが協調して決定して修正する。
【００７５】
Ｃ．モデル各部の詳細
つぎに、画像認識部５の診断モデルの各ユニットＵｎの構造・配置、自律検出及び相互診断について、図４、図５を参照して個別に説明する。
【００７６】
（Ｉ）各ユニットＵｎの構造・配置
図４の（Ａ）に示すように、各ユニットＵｎは、例えば、撮影画像（二次元平面）上で、ユニット中心から、自車の前、後方向（図の車両座標系のＺ軸の正方向（矢印方向）、負方向）、左、右方向（図のＸ軸の正方向（矢印方向）、負方向）、上方向（図のＹ軸の正方向（矢印方向））に配置した計５本の受容体センサＦＦ、ＦＮ、ＦＬ、ＦＲ、ＦＵからなる認識部Ｆｎと、前記ユニット中心の１個の状態部Ｓｎとにより、同形状・同構造に形成される。
【００７７】
このとき、受容体センサＦＲ、ＦＬ、ＦＵは全てのユニットＵｎで同じ向きになるが、受容体センサＦＦと受容体センサＦＮの向きは、ユニット位置によって異なる。
【００７８】
そして、例えば単眼カメラ２の画角が４０度の場合、各ユニットＵｎは、図４の（Ｂ）の車両座標系のＸ−Ｚ平面図に示すように、路面Ｒの例えば−３＜Ｘ＜３、５＜Ｚ＜４０（単位：メートル（ｍ））の範囲に格子状に適当数配置され、画像上での具体的配置は、例えば図５の撮影画像Ｐに示すようになる。
【００７９】
なお、図４の（Ｂ）、（Ｃ）の四角枠で囲まれた数字１、２、３、４は、各ユニットＵｎの番号であり、ユニットＵｎの大きさ、配置間隔、個数等は、実験等によって設定される。
【００８０】
（ＩＩ）各ユニットＵｎの自律センシング
つぎに、各受容体センサＦＦ〜ＦＵは、それぞれの位置の画像（局部画像）が結合し、結合した画像からその画像エッジの情報を含む輝度に関連した所定の情報、具体的には、結合した画像から計算した輝度の特徴量（平均輝度値、分散、水平／垂直エッジ平均強度）の情報を、それぞれの位置の画像情報として検出して保持する。
【００８１】
このとき、各ユニットＵｎにおいて、受容体センサＦＵの位置に高さのある障害物があれば、それより前方が障害物によってオクルージョンされるので、受容体センサＦＦと受容体センサＦＮの画像情報の特徴は異なる。
【００８２】
また、障害物の無い路面であれば、受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮの画像情報は同じ特徴である場合が多い。
【００８３】
さらに、受容体センサＦＲ、ＦＬは，Ｚ軸に対して垂直線分で観測される車両下端面（正確には、車両後端下面）の水平線分を検出することが多い。
【００８４】
そして、向きが異なる複数の受容体センサＦＦ〜ＦＵを配置する目的は、各ユニットＵｎが占める画像部分（ユニット近辺シーン）の上記のような定性的な特徴の有無を判定し、その判定結果に基づき、各ユニットＵｎが占める局所画像部分の画像状態を認識して自律検出し、各ユニットＵｎの画像認識状態を、複数の基準状態のいずれかに分類することにある。
【００８５】
そして、撮影画像中の車両を検出するため、 この実施形態においては、実験等に基づき、前記の基準状態を、「路面」、「路面標示／路面影」、「車両下端」、「車両オクルージョン」、「不定」の５状態とする。
【００８６】
この場合、各基準状態の特徴はつぎのようになる。
▲１▼「路面」
この状態は、受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮの検出結果が、同特徴で、かつ、車両の特徴である垂直／水平のエッジ線分を含まず、受容体センサＦＵの検出結果も車両の特徴であるエッジ成分を含まず、しかも、周辺のユニットＵｎでこれらの条件を満たすユニットＵｎと特徴が似ている又は同一の状態である。
【００８７】
▲２▼「路面標示／路面影」
この状態は、受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮのいくつかの検出結果が、▲１▼の「道路」における受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮの検出結果の平均と非常に近く、受容体センサＦＵの検出結果がエッジ成分を含まない状態である。なお、積極的にこの状態に分類することはしない。換言すれば、後述の「不定」を除く、他の確定的な状態への分類が優先する。
【００８８】
▲３▼「車両下端」
この状態は、車両下端と路面が接地した画像状態であって、受容体センサＦＦと受容体センサＦＮの検出結果が異なり、受容体センサＦＦと受容体センサＦＵの検出結果も異なり、しかも、受容体センサＦＮの検出結果に水平／垂直のどちらのエッジ成分も含まない状態であって、さらに、つぎの（ｉ）、（ｉｉ）、（ｉｉｉ）のいずれか１つの条件だけを満たす状態である。
【００８９】
（ｉ）受容体センサＦＲ、ＦＬの検出結果に車両の特徴である水平エッジ線分を含み、受容体センサＦＵの検出結果にも水平エッジ成分を含む（車両中央部の下端）。
【００９０】
（ｉｉ）受容体センサＦＲの検出結果に水平エッジ線分を含み、受容体センサＦＬの検出結果に水平エッジ線分を含まず、かつ、受容体センサＦＵの検出結果に垂直エッジ線分を含む（車両左側の下端）。
【００９１】
（ｉｉｉ） 受容体センサＦＬの検出結果に水平エッジ線分を含み、受容体センサＦＲの検出結果に水平エッジ線分を含まず、かつ、受容体センサＦＵの検出結果に垂直エッジ線分を含む（車両右側の下端）。
【００９２】
▲４▼「車両オクルージョン」
この状態は、車両によってオクルージョンされ、路面を観測できない状態であって、具体的には、▲１▼の「路面」、▲２▼の「路面標示／路面影」、▲３▼の「車両下端」のいずれにも分類されず、かつ、前回（前フレーム）の撮影画像のその位置のユニットＵｎの状態部Ｓｎが、前回の認識状態として、▲４▼の「車両オクルージョン」を保持している状態である。
【００９３】
▲５▼「不定」
この状態は、▲１▼の「路面」、▲２▼の「路面標示／路面影」、▲３▼の「車両下端」、▲４▼の「車両オクルージョン」のいずれにも分類不可能な状態である。
【００９４】
そして、各ユニットＵｎは、単眼カメラ２の撮影毎に、それぞれの受容体センサＦＦ〜ＦＵの検出結果及び、認識部Ｓｎの前回（前フレーム）の認識結果に基づき、それぞれの位置の画像状態を認識して▲１▼の「路面」、…、▲５▼の「不定」のいずれかに分類する。
【００９５】
このとき、▲１▼の「路面」と▲３▼の「車両下端」は、各受容体センサＦＦ〜ＦＵの今回の検出結果から直接分類できるが、▲２▼の「路面標示／路面影」と▲４▼の「車両オクルージョン」は、前回の状態を参照して分類するため、前フレームの自己状態が参照できない場合（初めのうち）はあいまいさが残る。
【００９６】
なお、▲１▼の「路面」や▲３▼の「車両下端」として状態分類できた場合でも、誤りを含んでいる可能性がある。
【００９７】
そして、各ユニットＵｎは、単眼カメラ２の撮影毎に、▲１▼「路面」→▲３▼「車両下端」→▲２▼「路面標示／路面影」→▲４▼「車両オクルージョン」→▲５▼「不定」の優先順位にしたがって自己状態を決定して分類することをくり返す。
【００９８】
この分類のくり返しにより、最初は、▲５▼の「不定」に分類されるユニットＵｎが多いが、前フレームの自己状態が参照できる２回目以降には、それらのユニットＵｎのいくつかが▲２▼の「路面標示／路面影」や▲４▼の「車両オクルージョン」に分類され、▲５▼の「不定」のユニットＵｎは少なくなる。
【００９９】
（ＩＩＩ）各ユニットＵｎの相互診断
各ユニットＵｎは自律検出結果に基づき、ネットワーク上での自己の役割を遂行し、それぞれの状態部Ｓｎの認識の正しさをユニットＵｎ間で相互診断して評価し、この評価に基づき、誤認識ユニットをネットワークに動的に不参加にし、また、初めから不定なユニットＵｎもネットワークに参加させない（静的不参加）ようにする。
【０１００】
すなわち、各ユニットＵｎは、受容体センサＦＦ〜ＦＵ、ユニット位置、ユニットＵｎと単眼カメラ２を結ぶ光学線上の制約（以下、光学制約線と呼ぶ）等に基づき、つぎのように相互診断する。
【０１０１】
（ａ）「路面」の認識状態のユニットＵｎによる他のユニットＵｎの診断
まず、前記▲１▼の「路面」の認識状態のユニットＵｎを注目ユニットＵ（▲１▼）とし、このユニットＵ（▲１▼）による他のユニットＵｎの診断につき、図６の診断模式図を参照して説明する。
【０１０２】
図６は図４の（Ｂ）と同様のＺ−Ｘ平面であり、座標軸原点Ｑは単眼カメラ２の位置を示し、丸印Ｕ（▲１▼）はカメラ２の前方の注目ユニット、丸印▲１▼、▲２▼、▲３▼、▲４▼は「路面」、「路面標示／路面影」、「車両下端」、「車両オクルージョン」それぞれの認識状態の他のユニットＵｎを示す。
【０１０３】
また、図６の座標原点Ｑを中心とする、実線の扇形が単眼カメラ２の撮影範囲である。
【０１０４】
そして、ユニットＵ（▲１▼）は、撮影画像の他の「路面」の認識状態のユニットＵｎと各々の受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮを比較し、その類似の度合いに応じて、互いに刺激／抑制しあう。
【０１０５】
この相互診断の狙いは、多数決処理により、撮影画像の大面積を占める路面領域の特徴に近いユニットＵｎについては、それらの「路面」の認識が正しいとして認識の信頼度を上昇させ、車両等の影や路面標示を誤って「路面」と認識しているユニットＵｎの信頼度は低下させることである。
【０１０６】
このとき、ユニットＵ（▲１▼）の信頼度が０に低下したときは、このユニットＵ（▲１▼）の評価が他のユニットＵｎの信頼度に影響を与えないため、ユニットＵ（▲１▼）が結果的にネットワークから除外される（動的不参加）。
【０１０７】
一方、ユニットＵ（▲１▼）がネットワークに参加しているときは、このユニットＵ（▲１▼）よりカメラ２寄りには車両が存在しないはずであるから、ユニットＵ（▲１▼）と単眼カメラ２の位置とを結ぶ前記の光学制約線上に存在するユニットＵｎ、具体的には、図６の破線で挟まれた範囲内の注目ユニットＵ（▲１▼）よりカメラ２寄りの他のユニットＵｎにつき、▲１▼の「路面」、▲３▼の「路面標示／路面影」の認識状態であれば、それらのユニットＵｎを刺激（＋１）し、▲２▼の「車両下端」、▲４▼の「車両オクルージョン」の認識状態であれば、それらのユニットＵｎを抑制（−１）する。
【０１０８】
（ｂ）「車両下端」の認識状態のユニットＵｎによる他のユニットＵｎの診断つぎに、前記▲２▼の「車両下端」の認識状態のユニットＵｎを注目ユニットＵ（▲２▼）とし、このユニットＵ（▲２▼）による他のユニットＵｎの診断につき、図７の診断模式図を参照して説明する。
【０１０９】
図７も図６と同様のＺ−Ｘ平面であり、図中の各符号は図６の各符号と同一のものを示す。
【０１１０】
注目ユニットＵ（▲２▼）は、図７に示すように、近傍の▲２▼の「車両下端」の認識状態のユニットＵｎの各受容体センサＦＦ〜ＦＵと自己の各受容体センサＦＦ〜ＦＵとを比較し、特徴量が近い場合には刺激し、異なる場合には抑制する。
【０１１１】
また、光学制約線上の注目ユニットＵ（▲２▼）よりカメラ２寄りの他のユニットＵｎについては、▲１▼の「路面」、▲３▼の「路面標示／路面影」の認識状態のユニットＵｎを刺激（＋１）し、▲２▼の「車両下端」、▲４▼の「車両オクルージョン」の認識状態のユニットＵｎを抑制（−１）する。
【０１１２】
さらに、光学制約線上で注目ユニットＵ（▲２▼）より単眼カメラ２から遠い他のユニットＵｎについては、▲４▼の「車両オクルージョン」の認識状態のユニットＵｎを刺激（＋１）し、▲１▼の「路面」、▲２▼の「車両下端」の認識状態のユニットＵｎ及び▲３▼の「路面標示／路面影」の認識状態のユニットＵｎを抑制（−１）する。
【０１１３】
（ｃ）「車両オクルージョン」、「路面標示／路面影」の認識状態のユニットＵｎによる他のユニットＵｎの診断
つぎに、前記▲４▼の「車両オクルージョン」の認識状態のユニットＵｎを注目ユニットＵ（▲４▼）、前記▲３▼の「路面標示／路面影」の認識状態のユニットＵｎを注目ユニットＵ（▲３▼）とし、これらのユニットＵ（▲４▼）、Ｕ（▲３▼）による他のユニットＵｎの診断につき、図８の診断模式図を参照して説明する。
【０１１４】
図８も図６、図７と同様のＺ−Ｘ平面であり、図８の各符号等のうちの図６、図７の各符号等と同一のものは同一のものを示す。
【０１１５】
そして、「車両オクルージョン」の注目ユニットＵ（▲４▼）は、図８に示すように、自己より遠方（前方）の「車両オクルージョン」の認識状態の他のユニットＵｎを刺激（＋１）し、それ以外の認識状態のユニットＵｎを抑制（−１）する。
【０１１６】
また、「路面標示／路面影」の認識状態のユニットＵ（▲３▼）は、図８に示すように、カメラ２から自ユニットＵ（▲３▼）までの間には車両が存在しないはずであるから、自ユニットＵ（▲３▼）よりカメラ寄りの各ユニットＵｎにつき、「路面」、「路面標示／路面影」のユニット▲１▼、▲２▼は刺激（＋１）し、「車両下端」、「車両オクルージョン」のユニット▲３▼、▲４▼は抑制（−１）する。
【０１１７】
（ｄ）「不定」のユニットＵｎによる他のユニットＵｎの診断
なお、注目ユニットが▲１▼の「路面」〜▲４▼の「車両オクルージョン」に該当しない場合は「不定」と診断され、注目ユニットがこの「不定」の認識状態であれば、その診断結果は他のユニットＵｎに影響しない。
【０１１８】
そして、上記の相互診断の目的は、すべてのユニットＵｎをいずれかの認識状態に正しく分類することではなく、「車両下端」の認識状態のユニットＵｎを正しく検出して特定し、この特定に基づいて自車前方の車両を検出することである。
【０１１９】
そのため、ネットワークの収束途中に各ユニットＵｎの信頼度が変化しても、それらの認識状態は変化させないで固定しておく。
【０１２０】
そして、前記（１）式、（２）式のダイナミクスにしたがってネットワークが収束したときに、前記の相互診断の結果として、信頼度が０のユニットＵｎの認識状態は▲５▼の「不定」にする。
【０１２１】
（ＩＶ）誤認識ユニットの修正
つぎに、ネットワークの収束後、信頼度の高いユニットＵｎは光学制約線上の「不定」のユニットＵｎに対して、認識状態の修正投票をする権利を持つ。
【０１２２】
具体的には、信頼度の高い「車両下端」のユニットＵｎ（図７の注目ユニットＵ（▲２▼））は、光学制約線上の自ユニットＵ（▲２▼）よりカメラ２に近い▲５▼の「不定」のユニットＵｎに対しては、▲３▼の「路面標示／路面影」への認識状態修正に投票し、自ユニットＵ（▲２▼）よりもカメラ２から遠い▲５▼の「不定」のユニットＵｎに対しては、▲４▼の「車両オクルージョン」への認識状態修正に投票する。
【０１２３】
また，信頼度の高い「路面」のユニットＵｎ（図６の注目ユニットＵ（▲１▼）は、光学制約線上の自ユニットＵ（▲１▼）よりカメラ２に近い▲５▼の「不定」のユニットＵｎに対して、▲３▼の「路面標示／路面影」への認識状態修正に投票する。
【０１２４】
そして、投票権を有するすべてのユニットＵｎの投票が完了した後、「不定」のユニットＵｎについては、その認識状態を、最も投票値の高い認識状態に修正し、▲４▼の「車両オクルージョン」、▲３▼の「路面標示／路面影」を自律検出できなかったユニットＵｎについては、その認識状態を、周囲の信頼されている（信頼度の高い）正しい認識状態のユニットＵｎの協調作業でそれぞれの状態に決定して修正するする。
【０１２５】
（Ｖ）車両検出
そして、前記の修正後、各ユニットＵｎの認識部Ｓｎに保持された最新の認識状態に基づき、▲２▼の「車両下端」の認識状態のユニットＵｎの集団が生じた位置から、自車前方の車両を検出して特定する。
【０１２６】
＜実測結果について＞
つぎに、実測結果について、図９〜図１１を参照して説明する。
【０１２７】
まず、図９は車両１の走行中の単眼カメラ２の撮影画像Ｐ´であり、この撮影画像Ｐ´には２台の車両６ａ、６ｂが写っている。
そして、撮影画像Ｐ´上において、例えば、車両座標系の前記Ｚ−Ｘ平面の−３＜Ｘ＜３、５＜Ｚ＜４０、（単位（ｍ））の範囲に、ユニットＵｎを多数個配置して診断したところ、図１０、図１１の結果が得られた。
【０１２８】
図１０は自律検出に基づく各ユニットＵｎの認識状態のマップ、図１１は相互診断後の認識状態のマップである。
【０１２９】
ここで、図１０、図１１の図中の各黒点は「車両下端」の認識状態のユニットＵｎを示し、白色部分は「不定」のユニットＵｎの部分であり、両図の黒色部分ａ、ｂは先行車６ａ、６ｂの下端に相当する部分である。
【０１３０】
そして、図１０の場合、各ユニットＵｎの自律検出のみであることから、２台の先行車６ａ、６ｂの下端部分は黒色部分ａ、ｂとして検出されているが、図中の破線で囲まれたエラー部分ｅ１、ｅ２、ｅ３等の先行車６ａ、６ｂの下端部分以外の場所（部分）のユニットＵｎのなかには、誤って「車両下端」と判定したユニットＵｎが含まれる。
【０１３１】
また、図１０では、道路標示近辺の位置や、車両によりオクルージョンされている位置に配置したユニットＵｎの多くは、「不定」の認識状態となっている。
【０１３２】
つぎに、前記の自律検出後にユニットＵｎ間で相互診断して誤認識の修正が施された図１１の場合は、「不定」の認識状態のユニットＵｎはいくつか残っているが、「車両下端」の誤認識ユニットは修正されて無くなっている。
【０１３３】
また、カメラ２から先行車両６ａ、６ｂまでの図１０では「不定」になっていた多数のユニットＵｎは、図１１では「路面標示／路面影」の認識状態に修正され、黒色部分ａ、ｂより前方（カメラ２から見て、先行車６ａ、６ｂの車両下端後方）の遮蔽部分ｃの各ユニットＵｎは、「不定」から「車両オクルージョン」の認識状態に修正された。さらに、図１０では自律検出によって「車両下端」と誤認識したユニット（車両誤検出）が、図１１では周囲ユニットとの相互診断によって、整合のあう「路面標示／路面影」へと修正されている。
【０１３４】
そして、図１１の黒色部分ａ、ｂに基づき、自車前方の先行車６ａ、６ｂを正確に検出できることが確かめられた。
【０１３５】
なお、「路面」の認識状態のユニットＵｎ間の診断値は、この実験では、＋１〜−１の間で連続変化する値としないで、つぎの（４）式に示すように設定した。
【０１３６】
【数４】
【０１３７】
式中の変数ｎｕｍは、「路面」認識状態のユニットＵｎ間の受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮの特徴が近かった組み合わせ数であり、最大値は１６（＝４×４）である。
【０１３８】
したがって、この実施形態によると、単眼カメラ２の撮影画像上に配設した分散診断モデルの各ネットワークノードのユニットＵｎが、それぞれの位置の所局所画像情報から、それぞれの位置の画像状態を、自律検出して路面、車両下端を含むいくつかの基準画像状態のいずれかに分類し、その後、各ユニットＵｎが自己の認識状態の自律検出結果からネットワーク上での役割を自ら決定し、各ユニットＵｎ間の協調作業により、各ユニットＵｎがそれぞれの検出結果を他のユニットＵｎと相互評価しあって、誤認識状態のユニットＵｎを検出（抽出）し、その認識状態を修正することにより、既存のネットワーク診断モデルのように識別辞書や詳細にチューニングされた車両モデルを事前に用意することなく、複雑な走行環境化にかかわらず、車両下端を認識したユニットＵｎを特定して自車前方の車両を正確に検出することができ、免疫ネットワークモデルを応用した画像処理により、走行中の車両１によって自車前方の車両を検出する画期的な車両検出方法及び装置を提供することができ、この検出結果に基づき自車前方の車両との車間距離、自車前方の車両の車速を検出して追従走行の制御を初めとするＩＴＳの実現に著し効果を奏する。
【０１３９】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、画像センサは単眼カメラ２に限られるものでなく、モノクローム、カラーの種々のカメラであってよい。
【０１４０】
また、各ユニットＵｎの配置個数や各ユニットＵｎそれぞれの受容体センサの数、形状等は、実施形態のものに限られるものではなく、例えば、図４の（Ａ）の受容体センサＦＵを省いて二次元センサに形成したり、受容体センサＦＵをより高くしてＹ軸方向（高さ方向）の検出範囲を広くしたりしてもよい。
【０１４１】
つぎに、画像処理部５の分散診断モデルは、実施形態のものに限られるものではなくなく、例えば、前回の認識状態を参照しないときは、画像処理部５に、前記（１）〜（５）の手段に代えて、つぎの（１）´〜（５）´の各手段を備えればよい。
【０１４２】
すなわち、（１）´単眼センサ（画像センサ）２の撮影画像の複数個所に、相互結合型ニューラルネットワーク構造の分散診断モデルのネットワークノードのユニットＵｎを配置する手段、（２）´各ユニットＵｎにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識する手段、（３）´各ユニットＵｎ間の相互診断に基づく多数決処理により、各ユニットＵｎの認識状態を相互に刺激、抑制して前記各ユニットＵｎの信頼度を評価する手段、（４）´誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段、（５）´該修正後の各ユニットＵｎの認識状態から車両下端を認識したユニットＵｎを特定して前記自車前方の車両を検出する手段、を備えればよい。
【０１４３】
この場合、単眼カメラ２の撮影画像の複数個所に配置した各ユニットＵｎにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識し、各ユニットＵｎ間の相互診断に基づく多数決処理により、各ユニットＵｎの認識状態を相互に刺激、抑制して各ユニットＵｎの信頼度を評価し、誤認識ユニットＵｎの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、該修正後の前記各ユニットＵｎの認識状態から前記車両下端を認識したユニットＵｎを特定して自車前方の車両を検出する。
【０１４４】
【発明の効果】
以上のように、請求項１、５の発明によれば、画像センサの撮影画像の複数個所に配置した各ネットワークノードのユニットにより、それぞれの位置の画像情報（局所画像情報）から、その位置の画像状態を自律検出（自律センシング）して認識することができ、さらに、ユニット間の協調作業に基づき、自律検出の結果である各ユニットの認識状態をユニット間で相互評価しあうことにより、認識の信頼度が評価されて誤認識ユニット（エラーユニット）を検出し、エラーユニットの認識状態を、信頼度の高い周囲ユニットの認識状態にしたがって多数決処理で修正することができる。
【０１４５】
そのため、画像情報の抽出処理や照合処理のエラーが生じたとしても、これらのエラーがユニット間の協調作業によって修正されて動的関係ネットワークが構築され、このネットワークの正しい認識状態の各ユニットに基づき、事前に識別辞書を準備したり、詳細にチューニングされた車両モデルを用意したりすることなく、走行環境化の複雑な撮影画像から車両下端のユニットを特定して自車前方の車両を正確に検出することができる。
【０１４６】
換言すれば、相互結合型ニューラルネットワーク構造の分散診断モデルである、前記の免疫ネットワークモデルを応用した手法により、画像センサの自車前方の撮影画像（シーン画像）全体から適応的に診断する動的関係ネットワークが構築され、その診断の解釈や矛盾がチェック・修正されることにより、車両に関する画像知識情報の識別辞書や固定的な特徴モデルを事前に用意して参照することなく、走行環境化における自車前方の車両を、撮影された画像の画像認識から、その画像の複雑さに適応した処理手法で正確に検出することができる。
【０１４７】
つぎに、請求項２、６の発明によれば、画像センサによる自車前方の撮影がくり返され、その撮影毎に、分散診断モデルの各ユニットにより、前回の画像状態の認識も加味して自己の位置の画像状態をより正確に自律検出することができる。
【０１４８】
そして、画像センサの撮影毎に、各ユニットの自律検出の認識状態をユニット間で相互評価しあうことにより、各ユニットの信頼度を評価しあって誤認識ユニット（エラーユニット）を精度よく検出することができ、しかも、そのユニットの認識状態を、信頼度の高い周囲の他のユニットの認識状態にしたがって多数決処理で正確に修正し、車両に関する画像知識情報の識別辞書や固定的な特徴モデルを事前に用意して参照することなく、走行環境化における自車前方の車両を、単眼カメラの撮影毎に、撮影画像の画像認識からより正確に検出することができる。
【０１４９】
つぎに、請求項３、７に記載の発明によれば、車両に搭載された画像センサが単眼カメラからなるため、画像センサが安価であり、実用的な構成で形成することができる。
【０１５０】
つぎに、請求項４、９に記載の発明によれば、画像情報が画像エッジの情報を含む輝度に関連した所定の情報であるため、現実的で具体的な情報に基づいて車両を検出することができる。
【０１５１】
つぎに、請求項８の発明によれば、分散診断モデルの各ネットワークノードのユニットが、画像上のユニット中心から複数方向に配置されてそれぞれの位置の画像情報を収集する複数個の受容体センサで構成された認識部と、前記各受容体センサの収集情報に基づいて自律検出した認識状態を書き換え自在に保持する状態部とからなため、分散診断モデルの各ユニットの具体的な構造を提供することができ、実用的で極めて好ましい構成の車両検出装置を提供することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】図１の動作説明用のフローチャートである。
【図３】免疫工学モデルの模式図である。
【図４】（Ａ）、（Ｂ）は図１の画像処理部が構築する分散診断モデルの各ユニットの構成説明図、路面上の配置説明図である。
【図５】図１の画像処理部が構築する分散診断モデルの各ユニットの撮影画像上の配置例の説明図である。
【図６】図１の画像処理部の所定認識状態のユニットによる周辺ユニットの診断説明図である。
【図７】図１の画像処理部の他の認識状態のユニットによる周辺ユニットの診断説明図である。
【図８】図１の画像処理部のさらに他の認識状態のユニットによる周辺ユニットの診断説明図である。
【図９】図１の単眼カメラの撮影画像の一例の正面図である。
【図１０】図９の撮影画像に基づく各ユニットの自律検出結果の認識状態図である。
【図１１】図１０の自律検出後のユニット間相互診断結果の認識状態図である。
【符号の説明】
１ 車両（自車）
２ 単眼カメラ
５ 画像処理部
６ａ、６ｂ 車両（前方の車両）
Ｕｎ ユニット
Ｆｎ 認識部
ＦＦ〜ＦＵ 受容体センサ
Ｓｎ 状態部
Ｐ、Ｐ´ 撮影画像
【発明の属する技術分野】
この発明は、車両に搭載した画像センサの自車前方の撮影画像から、自車前方の車両を検出する車両検出方法及び車両検出装置に関する。
【０００２】
【従来の技術】
従来、いわゆる高度交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ）を実現するため、高速道路での追従走行機能や操舵アシスト機能といった、より高度で快適な運転支援システムを車両に搭載することが提案され、さらに、その応用システムとして、より低速度域まで適応可能なシステムも開発されつつある。
【０００３】
さらに、車両とドライバやオペレータとのユーザーインタフェースや次世代ナビゲーションシステム等々の前記ＩＴＳの実用化に向けたシステム開発も種々行われている。
【０００４】
そして、前記ＩＴＳにおけるキーテクノロジーの１つが走行環境の認識技術であり、この認識技術に用いられる種々のセンサのうちの、とくに画像センサは、複数の事象（車両、道路白線、標識、等々）を認識可能なマルチセンサであり、有用である。
【０００５】
この画像センサを走行中の車両に搭載し、その撮影画像の画像処理によって自車両前方の車両を検出する場合、コストや信頼性の制約から、画像センサを２眼カメラで形成して撮影画像のステレオ画像処理で検出するのでなく、画像センサを単眼カメラで形成して検出することが望まれる。
【０００６】
しかしながら、画像センサを単眼カメラとした場合、いわゆるテストコースのような整備された道路での撮影画像から、同色同形状（特定色特定形状）の車両を検出することは比較的容易であるが、実際の一般道路で不特定色不特定形状の車両を検出することは、検出対象の特徴の多様性、広い照明ダイナミックレンジ、道路環境の複雑さ等に起因する困難さを伴う。
【０００７】
つぎに、単眼カメラの撮影画像から自車両前方の車両を検出する方法として、従来は、大別して、予め典型的な車両画像から主成分分析等によって識別辞書を作成しておき、この辞書の撮影画像に一致する車両画像から検出する方法（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｍｅｔｈｏｄ）と、車両の普遍的な特徴（形状）をモデル化して検出する方法（ｍｏｄｅｌ−ｂａｓｅｄ ｍｅｔｈｏｄ）とがある。
【０００８】
そして、識別辞書を作成しておく前者の方法は、辞書として十分な識別力のあるものを作成することが容易でないが、その方法例として、従来、照明錐を考慮したサポートベクターマシーンを利用する方法等が提案されている（例えば、非特許文献１参照。）。
【０００９】
また、普遍的な特徴（形状）をモデル化して検出する後者の方法例として、従来、車両を四角形モデルで近似する方法等が提案されている（例えば、非特許文献２参照。）。
【００１０】
一方、優れた環境適応能力を発揮するメカニズムとして、近年、生体の免疫機構が注目されている。
【００１１】
この免疫機構は未知なる抗原を認識して排除する適応的な機構であり、この機構を模倣した工学モデル（免疫ネットワークモデル）により、文字認識やセンサの故障診断を行うことが提案されている（例えば、非特許文献３，４参照。）。
【００１２】
また、免疫機構を模倣した工学モデルとして、石田好輝提案の免疫ネットワークモデル（以下、石田提案モデルという）があり、この石田提案モデルは、連想診断という概念でまとめられ、全体を機械的にエネルギー関数のようなもので評価するのでなく、正しい情報だけの免疫的なネットワークを構成して解釈する（整合診断に収束させる）点に特徴がある（例えば、非特許文献５参照。）。
【００１３】
【非特許文献１】
阿部孝弘、「照明変化を伴う物体認識へのサポートベクターマシンの適用」、電子情報通信学会、ＭＩＲＵ２００２−ＩＩ、ｐ．１７７−１８６（２００２）
【非特許文献２】
ユー・ハンドマン（Ｕ．Ｈａｎｄｍａｎ）、「ア フレキシブル アーキテクチャー フォー インテリジェント クルーズ コントロール（Ａ ｆｌｅｘｉｂｌｅ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）」、ＩＥＥＥ、アイティーエスシー（ＩＴＳＣ）ｐ．９５８−９６３（１９９９）
【非特許文献３】
田島浩一、唐政、他、「Ｂ細胞の相互作用をもつ免疫的なネットワークによるパターン認識」、電子情報通信学会、（２０００）、Ｖｏｌ−Ｊ８３−Ｄ−ＩＩ−Ｎｏ．２、ｐ．７９５−８０４
【非特許文献４】
石田好輝、「分散モデルの自立分散診断アルゴリズム」、電子情報通信学会、（１９９２）、Ｖｏｌ−Ｊ７５Ｄ−ＩＩ、ｐ．６４５−６５１
【非特許文献５】
石田好輝編、「免疫型システムとその応用−免疫系に学んだ知能システム」、コロナ社、１９９８年７月８日、ｐ．７１−８６
【００１４】
【発明が解決しようとする課題】
前記の識別辞書を用いる検出手法（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｍｅｔｈｏｄ）及びモデル化する検出手法（ｍｏｄｅｌ−ｂａｓｅｄ ｍｅｔｈｏｄ）のような、予め与えられた固定の知識やモデルの情報と撮影画像（シーン）から抽出した部分画像情報とを比較する非適応的な処理によって、画像センサの撮影画像から自車前方の車両検出を行おうとしても、走行環境下で撮影された画像の複雑さ等に基づき、部分画像情報の抽出処理や照合処理のエラーが生じる場合があり、しかも、それらのエラーが抽出した部分画像情報だけに生じることから、実際には検出が極めて困難である。
【００１５】
そして、この種の車両検出においては、走行環境下で撮影された画像の複雑さ等に適応した手法により、その画像から自車前方の車両を検出することは発明されていない。
【００１６】
本発明は、走行環境で撮影された自車前方の撮影画像から、識別辞書を用意等することなく、その画像の複雑さに適応した画像処理によって精度よく自車前方の車両を検出することを目的とする。
【００１７】
【課題を解決するための手段】
上記した目的を達成するために、本発明の車両検出方法は、車両に搭載された画像センサの自車前方の撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットを配置し、前記各ユニットにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識し、前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価し、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、該修正後の前記各ユニットの認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出することを特徴としている（請求項１）。
【００１８】
また、本発明の車両検出装置は、車両に搭載された画像センサの自車前方の撮影画像の複数個所に各ネットワークノードのユニットを配置した相互結合型ニューラルネットワーク構造の分散診断モデルの画像認識部を備え、前記画像認識部に、前記各ユニットにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識する手段と、前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価する手段と、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段と、該修正後の前記各ユニットの認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出する手段とを設けたことを特徴としている（請求項５）。
【００１９】
これらの構成によれば、画像センサの撮影画像の複数個所に配置した各ネットワークノードのユニットにより、それぞれの位置の画像情報（局所画像情報）から、その位置の画像状態が自律検出（自律センシング）されて認識される。
【００２０】
さらに、ユニット間の協調作業に基づき、自律検出の結果である各ユニットの認識状態をユニット間で相互評価しあうことにより、認識の信頼度が評価されて誤認識ユニット（エラーユニット）が検出され、しかも、エラーユニットの認識状態が、信頼度の高い周囲ユニットの認識状態にしたがって多数決処理で修正される。
【００２１】
この場合、画像情報の抽出処理や照合処理のエラーが生じたとしても、これらのエラーがユニット間の協調作業によって修正されて動的関係ネットワークが構築され、このネットワークの正しい認識状態のユニットから、事前に識別辞書を準備したり、詳細にチューニングされた車両モデルを用意したりすることなく、車両下端のユニットが特定されて撮影画像の車両が検出される。
【００２２】
すなわち、相互結合型ニューラルネットワーク構造の分散診断モデルである、前記の免疫ネットワークモデルを応用した手法により、画像センサの自車前方の撮影画像（シーン画像）全体から適応的に診断する動的関係ネットワークが構築され、その診断の解釈や矛盾がチェック・修正られることにより、車両に関する画像知識情報の識別辞書や固定的な特徴モデルを事前に用意して参照することなく、走行環境化における自車前方の車両が、撮影された画像の画像認識から、その画像の複雑さに適応した処理手法で正確に検出される。
【００２３】
つぎに、本発明の車両検出方法は、車両に搭載された画像センサが撮影をくり返し、前記画像センサの撮影毎に、前記撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットそれぞれを配置し、前記各ユニットにより、それぞれの位置の画像情報に基づく画像状態の自律検出及び検出した画像状態と前回の認識状態との整合条件から、前記各ユニットそれぞれの位置の画像状態を、路面、車両下端の認識状態を含む複数の基準状態のいずれかに分類して認識し、前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価し、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、該修正後の前記各ユニットの認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出することを特徴としている（請求項２）。
【００２４】
また、本発明の車両検出装置は、車両に搭載された画像センサがくり返し撮影して得られた撮影毎の前記撮影画像を処理する画像認識部に、最新の撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットを配置する手段と、前記各ユニットにより、それぞれの位置の画像情報に基づく画像状態の自律検出及び前記各位置の前回の認識状態から、前記各位置の画像状態を、路面、車両下端の認識状態を含む複数の基準状態のいずれかに分類して認識する手段と、前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価する手段と、誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段と、前記画像センサの撮影毎に、前記修正後の前記各ユニットの最新の認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出する手段とを備えたことを特徴としている（請求項６）。
【００２５】
これらの構成によれば、画像センサによる自車前方の撮影がくり返され、その撮影毎に、分散診断モデルの各ユニットにより、前回の画像状態の認識も加味して自己の位置の画像状態がより正確に自律検出される。
【００２６】
そして、画像センサの撮影毎に、各ユニットの自律検出の認識状態をユニット間で相互評価しあうことにより、各ユニットの信頼度が評価されて誤認識ユニット（エラーユニット）が精度よく検出され、しかも、そのユニットの認識状態が、信頼度の高い周囲の他のユニットの認識状態にしたがって多数決処理で正確に修正され、車両に関する画像知識情報の識別辞書や固定的な特徴モデルを事前に用意して参照することなく、走行環境化における自車前方の車両が、単眼カメラの撮影毎に、撮影画像の画像認識からより正確に検出される。
【００２７】
そして、車両に搭載された画像センサが単眼カメラであることが、実用的であり（請求項３、７）、画像情報が画像エッジの情報を含む輝度に関連した所定の情報であることが、現実的で具体的である（請求項４、９）。
【００２８】
さらに、各ユニットが、画像上のユニット中心から複数方向に配置されてそれぞれの位置の画像情報を収集する複数個の受容体センサで構成された認識部と、前記各受容体センサの収集情報に基づいて自律検出した認識状態を書き換え自在に保持する状態部とからなることが、実用的で極めて好ましい（請求項８）。
【００２９】
【発明の実施の形態】
この発明の一実施形態について、図１ないし図１１を参照して説明する。
【００３０】
図１は車両検出装置のブロック図、図２は図１の動作説明用のフローチャート、図３は免疫診断モデルの模式図、図４の（Ａ）、（Ｂ）は図１の検出装置が形成する分散診断モデルの各ネットワークノードの各ユニットの構成説明図、配置説明図、図５は撮影画像上のユニット配置例の説明図であり、図６、図７、図８はそれぞれユニット間の相互診断の説明図である。
【００３１】
また、図９は単眼カメラの実際の撮影画像の一例の正面図、図１０は図９の撮影画像に基づく自律検出結果の説明図、図１１は図１０の自律検出後の相互診断結果の説明図である。
【００３２】
＜全体構成の説明＞
まず、図１の検出装置の全体構成について説明する。
図１に示すように、車両１に、画像センサとして、例えば、ＣＣＤカメラの単眼カメラ２を搭載する。
【００３３】
このカメラ２は、例えば車両１のダッシュボード、ボンネット等の車両左右の中央部に、前方路面を撮影するように設けられ、車両１の走行中に、自車前方をくり返し撮影し、例えばモノクロームの各撮影画像のデジタルデータをマイクロコンピュータからなる検出処理用のＥＣＵ３にリアルタイムに送る。
【００３４】
そして、ＥＣＵ３及びメモリ４によって画像認識部５が形成され、そのマイクロコンピュータが予め設定された図２の車両検出の画像認識処理のプログラムを実行することにより、画像認識部５が相互結合型ニューラルネットワーク構造の分散診断モデルを構築し、このモデルの画像処理によって前記各撮影画像から自車前方の車両を検出する。
【００３５】
すなわち、この発明においては、画像知識情報の識別辞書や固定的な特徴モデルを用意して参照することなく、単眼カメラ２の自車前方の撮影画像（シーン画像）全体から適応的に前記の相互結合型ニューラルネットワーク構造の診断モデルを構築し、その自律検出の意味解釈や矛盾性をチェックすることで、走行環境の複雑さに適応して前方の車両（先行車）を正確に検出する。
【００３６】
この場合、相互結合型ニューラルネットワークは、優れた環境適応能力を発揮する生態の免疫機構（未知なる抗原を認識して排除する適応的な機構）を応用した免疫工学モデルであることが好ましく、とくに、連想診断という概念でまとめられている前記の石田提案モデルであれば、撮影画像全体から適応的に診断関係を構築し、意味解釈や無矛盾性をチェックしすることで、正しい情報だけの免疫的なネットワークを構成して撮影画像から車両を正確に検出することができ、極めて好ましい。
【００３７】
＜診断モデルの説明＞
Ａ．免疫工学モデル
つぎに、画像処理部５の診断モデルの基礎となる免疫工学モデルについて説明する。
【００３８】
まず、基本となる前記の石田提案モデルは、概略、図３に示す免疫工学モデルであり、同図の各ネットワークノードのユニットＵ１〜Ｕ５は、相互結合されて互いに他を独立に診断（テスト）でき、各ユニットＵ１〜Ｕ５をユニットＵｉ、（ｉ＝１〜５）とし、そのユニットＵｉに結合している他のユニットをユニットＵｊ、（ｊ（≠ｉ）＝１〜５）とすると、ユニットＵｉがユニットＵｊを相互診断したときの評価値Ｔｉｊは、つぎの表１のように定義される。
【００３９】
【表１】
なお、図３の各矢印線は評価値Ｔｉｊのアークであり、１は正常（正）の評価、−１は異常（誤）の評価である。
【００４１】
そして、表１の定義によると、ユニットＵｉ が正常な場合、相手を正しく評価できるが、ユニットＵｉ が異常な場合、その評価が正しいかどうか分からず、そのため、各々のユニットＵ１〜Ｕ５によって単純に評価値Ｔｉｊを集計しただけでは、どのユニットが異常かの判断はできないが、このネットワークに、例えばつぎの数１の（１）式、数２の（２）式のようなダイナミクス（重み付け）を与えることにより、ネットワークが収束し、どのユニットが異常であるか検出できるようになる。
【００４２】
【数１】
【数２】
なお、（１）式、（２）式の式中のＲｉ（ｋ）は時刻ｋにおけるユニットＵｉの信頼度、ｒｉ（ｋ）はその中間変数、ＲｊはユニットＵｊの信頼度、Ｔｉｊ（Ｔｊｉ）はユニットＵｉ（Ｕｊ） がユニットＵｊ（Ｕｉ）をテストするときの評価値、βは診断の厳しさを表す診断調整量（係数）である。
【００４５】
そして、式（１）の評価値Ｔｉｊ（Ｔｊｉ）は、ネットワークが収束するまで（更新中）は、変わらず、一定であり、最も整合したときに１、全く整合しないときに−１であり、通常はその間（１と−１の間）で連続的に変化する。（２）式はそのためのシグモイド関数である。
【００４６】
前記（１）式、（２）式のダイナミクスは、いわゆるホップフィールド（Ｈｏｐｆｉｅｌｄ）型ニューラルネットワークのダイナミクスを変形したものであり、このダイナミックスによって、前記したようにネットワークが収束する。
【００４７】
そして、前記（１）式中の第２、第３項は、ユニットＵｉがユニットＵｊを評価することにより、ユニットＵｊから反射的に評価されるものを総合している項である。この項は反射効果の項と呼ばれ、ユニットＵｉが信頼度の高いユニットＵｊを抑制すると、逆に自分の信頼度が低く評価されることを表す。
【００４８】
その結果、例えば図３の各ユニットＵ１〜Ｕ５は、「信頼度Ｒｊの大きなユニットＵｊから高く評価され、また、信頼度Ｒｊの大きなユニットＵｊを高く評価できるときにユニットＵｉの信頼度Ｒｉが増す」という自然な診断を行う。
【００４９】
そこで、いわゆる故障診断においては、初めに全ユニットＵ１〜Ｕ５が正常と仮定し、つぎの数３の（３）式に示すように、全ユニットＵ１〜Ｕ５の信頼度Ｒｉ（ｋ）を１に設定しておき、その後、前記のダイナミクスに基づいた評価をくり返すことにより、ネットワークが収束したときに、最終的に信用度の低下しているユニットを異常（故障）ユニットと判断する。
【００５０】
【数３】
なお、前記図３の例では、双方向のアークの評価値Ｔｉｊが同じ値になっているが、それらの評価値Ｔｉｊは必ずしも同じ値である必要はなく、アークが双方向である必要もない。
【００５２】
この石田提案モデルのネットワーク診断は、診断結果が最も整合のあうような状態に遷移してゆくので、前記したように連想診断と呼ばれ、ユニット集合や、診断関係を定義する必要がある点に特徴がある。
【００５３】
さらに、この石田提案モデルは、免疫細胞を単体でも命令を遂行可能な自律エージェントの集合として構成されることに特徴があり、これらのエージェントの集団に対し、非自己（環境）および自己の選択によって適応される、エージェント間や、エージェントと環境との間の相互作用に、予め設定された相互作用ルールが仮定される。
【００５４】
このとき、各エージェントはつぎの第１〜第４の性質をもつものである。
【００５５】
すなわち、第１には、レセプタ（認識部）とエフェクタ（実行部）からなり、エージェント単体でもタスクを実行可能である。第２には、レセプタは特定のパターンだけを特異的に認識する。第３には、エージェントは変異をともなった増殖が可能である。第４には、非自己との親和性が高まるようにレセプタを適応的に変更する。
【００５６】
Ｂ．画像認識部５の診断モデル
つぎに、上記の免疫工学モデルを応用した画像認識部５の診断モデル（実施形態モデル）の車両検出について、具体的に説明する。
【００５７】
実施形態モデルは、前記の石田提案モデルを応用した相互結合型ニューラルネットワークの相互診断モデルであり、単眼カメラ２がくり返し撮影した時系列の各撮影画像から自車前方の車両を検出する。
【００５８】
そのため、図１の画像診断部５は、前記図２のプログラムを実行することで、つぎの（１）〜（５）の各手段を備える。
【００５９】
（１）単眼カメラ２の各撮影画像それぞれの複数個所に、図３のユニットＵ１〜Ｕ５のような、局所画像状態の検出（観測）と短期的な記憶（書き換え自在の不揮発性記憶）が可能な相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットＵｎ、（ｎ＝１、２、…）を配置する手段。
【００６０】
（２）各ユニットＵｎにより、それぞれの位置の画像情報に基づく画像状態（局所画像状態）の自律検出及び、検出した画像状態と各ユニットＵｎの前回認識した画像状態との整合条件から、各ユニットＵｎそれぞれの位置の画像状態を、路面、車両下端の認識状態を含む複数の基準状態のいずれかに分類して認識する手段。
【００６１】
（３）各ユニットＵｎ間の相互診断に基づく多数決処理により、各ユニットＵｎの認識状態を相互に刺激、抑制して各ユニットＵｎの信頼度を評価する手段。
【００６２】
（４）各ユニットＵｎのうちの誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段。
【００６３】
（５）単眼カメラ２の撮影毎に、（４）の手段の修正後の各ユニットＵｎの最新の認識状態から車両下端を認識したユニットＵｎを特定して自車前方の車両を検出する手段。
【００６４】
そして、単眼カメラ２の撮影毎に、画像処理部５の処理が図２のステップＳ１からステップＳ２に移行し、カメラ２の撮影画像の画像情報を取り込んでメモリ４に一時的に保持する。
【００６５】
このとき、単眼カメラ２の撮影画像はカラー画像であってもよいが、情報量の少量化及び処理負担の軽減、処理の高速化等を図るため、モノクローム画像であることが好ましい。
【００６６】
つぎに、ステップＳ３により、メモリ４に取り込まれた撮影画像の所定の複数個所に同種（同形状・同構造・同機能）のユニットＵｎを配置する。
【００６７】
そして、ステップＳ４により、各ユニットＵｎが撮影画像のそれぞれの位置の局部画像に微分処理等を施し、画像エッジ情報等を得て各局部画像の自律検出（自律センシング）を実行し、この自律検出で得られた画像情報、すなわち、画像エッジの情報を含む輝度に関連した所定の情報を生成し、この情報を自律検出結果の画像情報としてメモリ４に保持する。
【００６８】
さらに、ステップＳ５に移行して他のユニットＵｎとの協調作業を実行する。
【００６９】
この協調作業の目的は大きく分けて２つあり、第１には、他のユニットＵｎの検出結果が自己の検出結果と整合が取れているか、又は、自己と他のユニットＵｎの検出の類似性がどの程度あるかなどをチェックし、誤ったユニット（誤認識ユニット）を検出することであり、第２には、誤認識ユニットの検出結果（誤認識状態）を、そのユニットを除く周囲の他のユニットＵｎの多数決処理（投票）で修正することである。
【００７０】
そして、前記の協調作業に基づき、ステップＳ６によって誤認識ユニットを修正すると、ステップＳ７により、修正されたものを含む正しい認識状態のユニットの中から、車両下端を認識したユニットが検出されて自車前方の車両が検出される。
【００７１】
この場合、画像処理部５の分散診断モデルの処理は、各ユニットＵｎが、自律的に簡単な画像センシングを行い、その結果に基づいて役割を動的に果たすことによってネットワークを構成する適応的な処理であり、このモデル（本形態モデル）の処理と、石田提案モデル（従来モデル）の処理とには、つぎの表２の相違がある。
【００７２】
【表２】
すなわち、石田提案モデルにおいては、各ユニットの評価値Ｔｉｊを、予め設計者等の経験に基づき、手動チューニングして設定するのに対して、本形態モデルにおいては、各ユニットＵｎの認識結果の評価値Ｔｉｊを、各ユニットＵｎが環境（それぞれの位置の局部画像）を検出した結果に基づき、自律的に決定する。
【００７４】
また、石田提案モデルにおいては、誤認識ユニット（エラーユニット）の検出は行えるが、そのユニットの正しい検出値は分からず、認識結果の評価値Ｔｉｊを修正できないのに対して、本形態モデルにおいては、誤認識ユニットを検出し、そのユニットの検出値（評価値Ｔｉｊ）を他のユニットが協調して決定して修正する。
【００７５】
Ｃ．モデル各部の詳細
つぎに、画像認識部５の診断モデルの各ユニットＵｎの構造・配置、自律検出及び相互診断について、図４、図５を参照して個別に説明する。
【００７６】
（Ｉ）各ユニットＵｎの構造・配置
図４の（Ａ）に示すように、各ユニットＵｎは、例えば、撮影画像（二次元平面）上で、ユニット中心から、自車の前、後方向（図の車両座標系のＺ軸の正方向（矢印方向）、負方向）、左、右方向（図のＸ軸の正方向（矢印方向）、負方向）、上方向（図のＹ軸の正方向（矢印方向））に配置した計５本の受容体センサＦＦ、ＦＮ、ＦＬ、ＦＲ、ＦＵからなる認識部Ｆｎと、前記ユニット中心の１個の状態部Ｓｎとにより、同形状・同構造に形成される。
【００７７】
このとき、受容体センサＦＲ、ＦＬ、ＦＵは全てのユニットＵｎで同じ向きになるが、受容体センサＦＦと受容体センサＦＮの向きは、ユニット位置によって異なる。
【００７８】
そして、例えば単眼カメラ２の画角が４０度の場合、各ユニットＵｎは、図４の（Ｂ）の車両座標系のＸ−Ｚ平面図に示すように、路面Ｒの例えば−３＜Ｘ＜３、５＜Ｚ＜４０（単位：メートル（ｍ））の範囲に格子状に適当数配置され、画像上での具体的配置は、例えば図５の撮影画像Ｐに示すようになる。
【００７９】
なお、図４の（Ｂ）、（Ｃ）の四角枠で囲まれた数字１、２、３、４は、各ユニットＵｎの番号であり、ユニットＵｎの大きさ、配置間隔、個数等は、実験等によって設定される。
【００８０】
（ＩＩ）各ユニットＵｎの自律センシング
つぎに、各受容体センサＦＦ〜ＦＵは、それぞれの位置の画像（局部画像）が結合し、結合した画像からその画像エッジの情報を含む輝度に関連した所定の情報、具体的には、結合した画像から計算した輝度の特徴量（平均輝度値、分散、水平／垂直エッジ平均強度）の情報を、それぞれの位置の画像情報として検出して保持する。
【００８１】
このとき、各ユニットＵｎにおいて、受容体センサＦＵの位置に高さのある障害物があれば、それより前方が障害物によってオクルージョンされるので、受容体センサＦＦと受容体センサＦＮの画像情報の特徴は異なる。
【００８２】
また、障害物の無い路面であれば、受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮの画像情報は同じ特徴である場合が多い。
【００８３】
さらに、受容体センサＦＲ、ＦＬは，Ｚ軸に対して垂直線分で観測される車両下端面（正確には、車両後端下面）の水平線分を検出することが多い。
【００８４】
そして、向きが異なる複数の受容体センサＦＦ〜ＦＵを配置する目的は、各ユニットＵｎが占める画像部分（ユニット近辺シーン）の上記のような定性的な特徴の有無を判定し、その判定結果に基づき、各ユニットＵｎが占める局所画像部分の画像状態を認識して自律検出し、各ユニットＵｎの画像認識状態を、複数の基準状態のいずれかに分類することにある。
【００８５】
そして、撮影画像中の車両を検出するため、 この実施形態においては、実験等に基づき、前記の基準状態を、「路面」、「路面標示／路面影」、「車両下端」、「車両オクルージョン」、「不定」の５状態とする。
【００８６】
この場合、各基準状態の特徴はつぎのようになる。
▲１▼「路面」
この状態は、受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮの検出結果が、同特徴で、かつ、車両の特徴である垂直／水平のエッジ線分を含まず、受容体センサＦＵの検出結果も車両の特徴であるエッジ成分を含まず、しかも、周辺のユニットＵｎでこれらの条件を満たすユニットＵｎと特徴が似ている又は同一の状態である。
【００８７】
▲２▼「路面標示／路面影」
この状態は、受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮのいくつかの検出結果が、▲１▼の「道路」における受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮの検出結果の平均と非常に近く、受容体センサＦＵの検出結果がエッジ成分を含まない状態である。なお、積極的にこの状態に分類することはしない。換言すれば、後述の「不定」を除く、他の確定的な状態への分類が優先する。
【００８８】
▲３▼「車両下端」
この状態は、車両下端と路面が接地した画像状態であって、受容体センサＦＦと受容体センサＦＮの検出結果が異なり、受容体センサＦＦと受容体センサＦＵの検出結果も異なり、しかも、受容体センサＦＮの検出結果に水平／垂直のどちらのエッジ成分も含まない状態であって、さらに、つぎの（ｉ）、（ｉｉ）、（ｉｉｉ）のいずれか１つの条件だけを満たす状態である。
【００８９】
（ｉ）受容体センサＦＲ、ＦＬの検出結果に車両の特徴である水平エッジ線分を含み、受容体センサＦＵの検出結果にも水平エッジ成分を含む（車両中央部の下端）。
【００９０】
（ｉｉ）受容体センサＦＲの検出結果に水平エッジ線分を含み、受容体センサＦＬの検出結果に水平エッジ線分を含まず、かつ、受容体センサＦＵの検出結果に垂直エッジ線分を含む（車両左側の下端）。
【００９１】
（ｉｉｉ） 受容体センサＦＬの検出結果に水平エッジ線分を含み、受容体センサＦＲの検出結果に水平エッジ線分を含まず、かつ、受容体センサＦＵの検出結果に垂直エッジ線分を含む（車両右側の下端）。
【００９２】
▲４▼「車両オクルージョン」
この状態は、車両によってオクルージョンされ、路面を観測できない状態であって、具体的には、▲１▼の「路面」、▲２▼の「路面標示／路面影」、▲３▼の「車両下端」のいずれにも分類されず、かつ、前回（前フレーム）の撮影画像のその位置のユニットＵｎの状態部Ｓｎが、前回の認識状態として、▲４▼の「車両オクルージョン」を保持している状態である。
【００９３】
▲５▼「不定」
この状態は、▲１▼の「路面」、▲２▼の「路面標示／路面影」、▲３▼の「車両下端」、▲４▼の「車両オクルージョン」のいずれにも分類不可能な状態である。
【００９４】
そして、各ユニットＵｎは、単眼カメラ２の撮影毎に、それぞれの受容体センサＦＦ〜ＦＵの検出結果及び、認識部Ｓｎの前回（前フレーム）の認識結果に基づき、それぞれの位置の画像状態を認識して▲１▼の「路面」、…、▲５▼の「不定」のいずれかに分類する。
【００９５】
このとき、▲１▼の「路面」と▲３▼の「車両下端」は、各受容体センサＦＦ〜ＦＵの今回の検出結果から直接分類できるが、▲２▼の「路面標示／路面影」と▲４▼の「車両オクルージョン」は、前回の状態を参照して分類するため、前フレームの自己状態が参照できない場合（初めのうち）はあいまいさが残る。
【００９６】
なお、▲１▼の「路面」や▲３▼の「車両下端」として状態分類できた場合でも、誤りを含んでいる可能性がある。
【００９７】
そして、各ユニットＵｎは、単眼カメラ２の撮影毎に、▲１▼「路面」→▲３▼「車両下端」→▲２▼「路面標示／路面影」→▲４▼「車両オクルージョン」→▲５▼「不定」の優先順位にしたがって自己状態を決定して分類することをくり返す。
【００９８】
この分類のくり返しにより、最初は、▲５▼の「不定」に分類されるユニットＵｎが多いが、前フレームの自己状態が参照できる２回目以降には、それらのユニットＵｎのいくつかが▲２▼の「路面標示／路面影」や▲４▼の「車両オクルージョン」に分類され、▲５▼の「不定」のユニットＵｎは少なくなる。
【００９９】
（ＩＩＩ）各ユニットＵｎの相互診断
各ユニットＵｎは自律検出結果に基づき、ネットワーク上での自己の役割を遂行し、それぞれの状態部Ｓｎの認識の正しさをユニットＵｎ間で相互診断して評価し、この評価に基づき、誤認識ユニットをネットワークに動的に不参加にし、また、初めから不定なユニットＵｎもネットワークに参加させない（静的不参加）ようにする。
【０１００】
すなわち、各ユニットＵｎは、受容体センサＦＦ〜ＦＵ、ユニット位置、ユニットＵｎと単眼カメラ２を結ぶ光学線上の制約（以下、光学制約線と呼ぶ）等に基づき、つぎのように相互診断する。
【０１０１】
（ａ）「路面」の認識状態のユニットＵｎによる他のユニットＵｎの診断
まず、前記▲１▼の「路面」の認識状態のユニットＵｎを注目ユニットＵ（▲１▼）とし、このユニットＵ（▲１▼）による他のユニットＵｎの診断につき、図６の診断模式図を参照して説明する。
【０１０２】
図６は図４の（Ｂ）と同様のＺ−Ｘ平面であり、座標軸原点Ｑは単眼カメラ２の位置を示し、丸印Ｕ（▲１▼）はカメラ２の前方の注目ユニット、丸印▲１▼、▲２▼、▲３▼、▲４▼は「路面」、「路面標示／路面影」、「車両下端」、「車両オクルージョン」それぞれの認識状態の他のユニットＵｎを示す。
【０１０３】
また、図６の座標原点Ｑを中心とする、実線の扇形が単眼カメラ２の撮影範囲である。
【０１０４】
そして、ユニットＵ（▲１▼）は、撮影画像の他の「路面」の認識状態のユニットＵｎと各々の受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮを比較し、その類似の度合いに応じて、互いに刺激／抑制しあう。
【０１０５】
この相互診断の狙いは、多数決処理により、撮影画像の大面積を占める路面領域の特徴に近いユニットＵｎについては、それらの「路面」の認識が正しいとして認識の信頼度を上昇させ、車両等の影や路面標示を誤って「路面」と認識しているユニットＵｎの信頼度は低下させることである。
【０１０６】
このとき、ユニットＵ（▲１▼）の信頼度が０に低下したときは、このユニットＵ（▲１▼）の評価が他のユニットＵｎの信頼度に影響を与えないため、ユニットＵ（▲１▼）が結果的にネットワークから除外される（動的不参加）。
【０１０７】
一方、ユニットＵ（▲１▼）がネットワークに参加しているときは、このユニットＵ（▲１▼）よりカメラ２寄りには車両が存在しないはずであるから、ユニットＵ（▲１▼）と単眼カメラ２の位置とを結ぶ前記の光学制約線上に存在するユニットＵｎ、具体的には、図６の破線で挟まれた範囲内の注目ユニットＵ（▲１▼）よりカメラ２寄りの他のユニットＵｎにつき、▲１▼の「路面」、▲３▼の「路面標示／路面影」の認識状態であれば、それらのユニットＵｎを刺激（＋１）し、▲２▼の「車両下端」、▲４▼の「車両オクルージョン」の認識状態であれば、それらのユニットＵｎを抑制（−１）する。
【０１０８】
（ｂ）「車両下端」の認識状態のユニットＵｎによる他のユニットＵｎの診断つぎに、前記▲２▼の「車両下端」の認識状態のユニットＵｎを注目ユニットＵ（▲２▼）とし、このユニットＵ（▲２▼）による他のユニットＵｎの診断につき、図７の診断模式図を参照して説明する。
【０１０９】
図７も図６と同様のＺ−Ｘ平面であり、図中の各符号は図６の各符号と同一のものを示す。
【０１１０】
注目ユニットＵ（▲２▼）は、図７に示すように、近傍の▲２▼の「車両下端」の認識状態のユニットＵｎの各受容体センサＦＦ〜ＦＵと自己の各受容体センサＦＦ〜ＦＵとを比較し、特徴量が近い場合には刺激し、異なる場合には抑制する。
【０１１１】
また、光学制約線上の注目ユニットＵ（▲２▼）よりカメラ２寄りの他のユニットＵｎについては、▲１▼の「路面」、▲３▼の「路面標示／路面影」の認識状態のユニットＵｎを刺激（＋１）し、▲２▼の「車両下端」、▲４▼の「車両オクルージョン」の認識状態のユニットＵｎを抑制（−１）する。
【０１１２】
さらに、光学制約線上で注目ユニットＵ（▲２▼）より単眼カメラ２から遠い他のユニットＵｎについては、▲４▼の「車両オクルージョン」の認識状態のユニットＵｎを刺激（＋１）し、▲１▼の「路面」、▲２▼の「車両下端」の認識状態のユニットＵｎ及び▲３▼の「路面標示／路面影」の認識状態のユニットＵｎを抑制（−１）する。
【０１１３】
（ｃ）「車両オクルージョン」、「路面標示／路面影」の認識状態のユニットＵｎによる他のユニットＵｎの診断
つぎに、前記▲４▼の「車両オクルージョン」の認識状態のユニットＵｎを注目ユニットＵ（▲４▼）、前記▲３▼の「路面標示／路面影」の認識状態のユニットＵｎを注目ユニットＵ（▲３▼）とし、これらのユニットＵ（▲４▼）、Ｕ（▲３▼）による他のユニットＵｎの診断につき、図８の診断模式図を参照して説明する。
【０１１４】
図８も図６、図７と同様のＺ−Ｘ平面であり、図８の各符号等のうちの図６、図７の各符号等と同一のものは同一のものを示す。
【０１１５】
そして、「車両オクルージョン」の注目ユニットＵ（▲４▼）は、図８に示すように、自己より遠方（前方）の「車両オクルージョン」の認識状態の他のユニットＵｎを刺激（＋１）し、それ以外の認識状態のユニットＵｎを抑制（−１）する。
【０１１６】
また、「路面標示／路面影」の認識状態のユニットＵ（▲３▼）は、図８に示すように、カメラ２から自ユニットＵ（▲３▼）までの間には車両が存在しないはずであるから、自ユニットＵ（▲３▼）よりカメラ寄りの各ユニットＵｎにつき、「路面」、「路面標示／路面影」のユニット▲１▼、▲２▼は刺激（＋１）し、「車両下端」、「車両オクルージョン」のユニット▲３▼、▲４▼は抑制（−１）する。
【０１１７】
（ｄ）「不定」のユニットＵｎによる他のユニットＵｎの診断
なお、注目ユニットが▲１▼の「路面」〜▲４▼の「車両オクルージョン」に該当しない場合は「不定」と診断され、注目ユニットがこの「不定」の認識状態であれば、その診断結果は他のユニットＵｎに影響しない。
【０１１８】
そして、上記の相互診断の目的は、すべてのユニットＵｎをいずれかの認識状態に正しく分類することではなく、「車両下端」の認識状態のユニットＵｎを正しく検出して特定し、この特定に基づいて自車前方の車両を検出することである。
【０１１９】
そのため、ネットワークの収束途中に各ユニットＵｎの信頼度が変化しても、それらの認識状態は変化させないで固定しておく。
【０１２０】
そして、前記（１）式、（２）式のダイナミクスにしたがってネットワークが収束したときに、前記の相互診断の結果として、信頼度が０のユニットＵｎの認識状態は▲５▼の「不定」にする。
【０１２１】
（ＩＶ）誤認識ユニットの修正
つぎに、ネットワークの収束後、信頼度の高いユニットＵｎは光学制約線上の「不定」のユニットＵｎに対して、認識状態の修正投票をする権利を持つ。
【０１２２】
具体的には、信頼度の高い「車両下端」のユニットＵｎ（図７の注目ユニットＵ（▲２▼））は、光学制約線上の自ユニットＵ（▲２▼）よりカメラ２に近い▲５▼の「不定」のユニットＵｎに対しては、▲３▼の「路面標示／路面影」への認識状態修正に投票し、自ユニットＵ（▲２▼）よりもカメラ２から遠い▲５▼の「不定」のユニットＵｎに対しては、▲４▼の「車両オクルージョン」への認識状態修正に投票する。
【０１２３】
また，信頼度の高い「路面」のユニットＵｎ（図６の注目ユニットＵ（▲１▼）は、光学制約線上の自ユニットＵ（▲１▼）よりカメラ２に近い▲５▼の「不定」のユニットＵｎに対して、▲３▼の「路面標示／路面影」への認識状態修正に投票する。
【０１２４】
そして、投票権を有するすべてのユニットＵｎの投票が完了した後、「不定」のユニットＵｎについては、その認識状態を、最も投票値の高い認識状態に修正し、▲４▼の「車両オクルージョン」、▲３▼の「路面標示／路面影」を自律検出できなかったユニットＵｎについては、その認識状態を、周囲の信頼されている（信頼度の高い）正しい認識状態のユニットＵｎの協調作業でそれぞれの状態に決定して修正するする。
【０１２５】
（Ｖ）車両検出
そして、前記の修正後、各ユニットＵｎの認識部Ｓｎに保持された最新の認識状態に基づき、▲２▼の「車両下端」の認識状態のユニットＵｎの集団が生じた位置から、自車前方の車両を検出して特定する。
【０１２６】
＜実測結果について＞
つぎに、実測結果について、図９〜図１１を参照して説明する。
【０１２７】
まず、図９は車両１の走行中の単眼カメラ２の撮影画像Ｐ´であり、この撮影画像Ｐ´には２台の車両６ａ、６ｂが写っている。
そして、撮影画像Ｐ´上において、例えば、車両座標系の前記Ｚ−Ｘ平面の−３＜Ｘ＜３、５＜Ｚ＜４０、（単位（ｍ））の範囲に、ユニットＵｎを多数個配置して診断したところ、図１０、図１１の結果が得られた。
【０１２８】
図１０は自律検出に基づく各ユニットＵｎの認識状態のマップ、図１１は相互診断後の認識状態のマップである。
【０１２９】
ここで、図１０、図１１の図中の各黒点は「車両下端」の認識状態のユニットＵｎを示し、白色部分は「不定」のユニットＵｎの部分であり、両図の黒色部分ａ、ｂは先行車６ａ、６ｂの下端に相当する部分である。
【０１３０】
そして、図１０の場合、各ユニットＵｎの自律検出のみであることから、２台の先行車６ａ、６ｂの下端部分は黒色部分ａ、ｂとして検出されているが、図中の破線で囲まれたエラー部分ｅ１、ｅ２、ｅ３等の先行車６ａ、６ｂの下端部分以外の場所（部分）のユニットＵｎのなかには、誤って「車両下端」と判定したユニットＵｎが含まれる。
【０１３１】
また、図１０では、道路標示近辺の位置や、車両によりオクルージョンされている位置に配置したユニットＵｎの多くは、「不定」の認識状態となっている。
【０１３２】
つぎに、前記の自律検出後にユニットＵｎ間で相互診断して誤認識の修正が施された図１１の場合は、「不定」の認識状態のユニットＵｎはいくつか残っているが、「車両下端」の誤認識ユニットは修正されて無くなっている。
【０１３３】
また、カメラ２から先行車両６ａ、６ｂまでの図１０では「不定」になっていた多数のユニットＵｎは、図１１では「路面標示／路面影」の認識状態に修正され、黒色部分ａ、ｂより前方（カメラ２から見て、先行車６ａ、６ｂの車両下端後方）の遮蔽部分ｃの各ユニットＵｎは、「不定」から「車両オクルージョン」の認識状態に修正された。さらに、図１０では自律検出によって「車両下端」と誤認識したユニット（車両誤検出）が、図１１では周囲ユニットとの相互診断によって、整合のあう「路面標示／路面影」へと修正されている。
【０１３４】
そして、図１１の黒色部分ａ、ｂに基づき、自車前方の先行車６ａ、６ｂを正確に検出できることが確かめられた。
【０１３５】
なお、「路面」の認識状態のユニットＵｎ間の診断値は、この実験では、＋１〜−１の間で連続変化する値としないで、つぎの（４）式に示すように設定した。
【０１３６】
【数４】
式中の変数ｎｕｍは、「路面」認識状態のユニットＵｎ間の受容体センサＦＲ、ＦＬ、ＦＦ、ＦＮの特徴が近かった組み合わせ数であり、最大値は１６（＝４×４）である。
【０１３８】
したがって、この実施形態によると、単眼カメラ２の撮影画像上に配設した分散診断モデルの各ネットワークノードのユニットＵｎが、それぞれの位置の所局所画像情報から、それぞれの位置の画像状態を、自律検出して路面、車両下端を含むいくつかの基準画像状態のいずれかに分類し、その後、各ユニットＵｎが自己の認識状態の自律検出結果からネットワーク上での役割を自ら決定し、各ユニットＵｎ間の協調作業により、各ユニットＵｎがそれぞれの検出結果を他のユニットＵｎと相互評価しあって、誤認識状態のユニットＵｎを検出（抽出）し、その認識状態を修正することにより、既存のネットワーク診断モデルのように識別辞書や詳細にチューニングされた車両モデルを事前に用意することなく、複雑な走行環境化にかかわらず、車両下端を認識したユニットＵｎを特定して自車前方の車両を正確に検出することができ、免疫ネットワークモデルを応用した画像処理により、走行中の車両１によって自車前方の車両を検出する画期的な車両検出方法及び装置を提供することができ、この検出結果に基づき自車前方の車両との車間距離、自車前方の車両の車速を検出して追従走行の制御を初めとするＩＴＳの実現に著し効果を奏する。
【０１３９】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、画像センサは単眼カメラ２に限られるものでなく、モノクローム、カラーの種々のカメラであってよい。
【０１４０】
また、各ユニットＵｎの配置個数や各ユニットＵｎそれぞれの受容体センサの数、形状等は、実施形態のものに限られるものではなく、例えば、図４の（Ａ）の受容体センサＦＵを省いて二次元センサに形成したり、受容体センサＦＵをより高くしてＹ軸方向（高さ方向）の検出範囲を広くしたりしてもよい。
【０１４１】
つぎに、画像処理部５の分散診断モデルは、実施形態のものに限られるものではなくなく、例えば、前回の認識状態を参照しないときは、画像処理部５に、前記（１）〜（５）の手段に代えて、つぎの（１）´〜（５）´の各手段を備えればよい。
【０１４２】
すなわち、（１）´単眼センサ（画像センサ）２の撮影画像の複数個所に、相互結合型ニューラルネットワーク構造の分散診断モデルのネットワークノードのユニットＵｎを配置する手段、（２）´各ユニットＵｎにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識する手段、（３）´各ユニットＵｎ間の相互診断に基づく多数決処理により、各ユニットＵｎの認識状態を相互に刺激、抑制して前記各ユニットＵｎの信頼度を評価する手段、（４）´誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段、（５）´該修正後の各ユニットＵｎの認識状態から車両下端を認識したユニットＵｎを特定して前記自車前方の車両を検出する手段、を備えればよい。
【０１４３】
この場合、単眼カメラ２の撮影画像の複数個所に配置した各ユニットＵｎにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識し、各ユニットＵｎ間の相互診断に基づく多数決処理により、各ユニットＵｎの認識状態を相互に刺激、抑制して各ユニットＵｎの信頼度を評価し、誤認識ユニットＵｎの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、該修正後の前記各ユニットＵｎの認識状態から前記車両下端を認識したユニットＵｎを特定して自車前方の車両を検出する。
【０１４４】
【発明の効果】
以上のように、請求項１、５の発明によれば、画像センサの撮影画像の複数個所に配置した各ネットワークノードのユニットにより、それぞれの位置の画像情報（局所画像情報）から、その位置の画像状態を自律検出（自律センシング）して認識することができ、さらに、ユニット間の協調作業に基づき、自律検出の結果である各ユニットの認識状態をユニット間で相互評価しあうことにより、認識の信頼度が評価されて誤認識ユニット（エラーユニット）を検出し、エラーユニットの認識状態を、信頼度の高い周囲ユニットの認識状態にしたがって多数決処理で修正することができる。
【０１４５】
そのため、画像情報の抽出処理や照合処理のエラーが生じたとしても、これらのエラーがユニット間の協調作業によって修正されて動的関係ネットワークが構築され、このネットワークの正しい認識状態の各ユニットに基づき、事前に識別辞書を準備したり、詳細にチューニングされた車両モデルを用意したりすることなく、走行環境化の複雑な撮影画像から車両下端のユニットを特定して自車前方の車両を正確に検出することができる。
【０１４６】
換言すれば、相互結合型ニューラルネットワーク構造の分散診断モデルである、前記の免疫ネットワークモデルを応用した手法により、画像センサの自車前方の撮影画像（シーン画像）全体から適応的に診断する動的関係ネットワークが構築され、その診断の解釈や矛盾がチェック・修正されることにより、車両に関する画像知識情報の識別辞書や固定的な特徴モデルを事前に用意して参照することなく、走行環境化における自車前方の車両を、撮影された画像の画像認識から、その画像の複雑さに適応した処理手法で正確に検出することができる。
【０１４７】
つぎに、請求項２、６の発明によれば、画像センサによる自車前方の撮影がくり返され、その撮影毎に、分散診断モデルの各ユニットにより、前回の画像状態の認識も加味して自己の位置の画像状態をより正確に自律検出することができる。
【０１４８】
そして、画像センサの撮影毎に、各ユニットの自律検出の認識状態をユニット間で相互評価しあうことにより、各ユニットの信頼度を評価しあって誤認識ユニット（エラーユニット）を精度よく検出することができ、しかも、そのユニットの認識状態を、信頼度の高い周囲の他のユニットの認識状態にしたがって多数決処理で正確に修正し、車両に関する画像知識情報の識別辞書や固定的な特徴モデルを事前に用意して参照することなく、走行環境化における自車前方の車両を、単眼カメラの撮影毎に、撮影画像の画像認識からより正確に検出することができる。
【０１４９】
つぎに、請求項３、７に記載の発明によれば、車両に搭載された画像センサが単眼カメラからなるため、画像センサが安価であり、実用的な構成で形成することができる。
【０１５０】
つぎに、請求項４、９に記載の発明によれば、画像情報が画像エッジの情報を含む輝度に関連した所定の情報であるため、現実的で具体的な情報に基づいて車両を検出することができる。
【０１５１】
つぎに、請求項８の発明によれば、分散診断モデルの各ネットワークノードのユニットが、画像上のユニット中心から複数方向に配置されてそれぞれの位置の画像情報を収集する複数個の受容体センサで構成された認識部と、前記各受容体センサの収集情報に基づいて自律検出した認識状態を書き換え自在に保持する状態部とからなため、分散診断モデルの各ユニットの具体的な構造を提供することができ、実用的で極めて好ましい構成の車両検出装置を提供することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】図１の動作説明用のフローチャートである。
【図３】免疫工学モデルの模式図である。
【図４】（Ａ）、（Ｂ）は図１の画像処理部が構築する分散診断モデルの各ユニットの構成説明図、路面上の配置説明図である。
【図５】図１の画像処理部が構築する分散診断モデルの各ユニットの撮影画像上の配置例の説明図である。
【図６】図１の画像処理部の所定認識状態のユニットによる周辺ユニットの診断説明図である。
【図７】図１の画像処理部の他の認識状態のユニットによる周辺ユニットの診断説明図である。
【図８】図１の画像処理部のさらに他の認識状態のユニットによる周辺ユニットの診断説明図である。
【図９】図１の単眼カメラの撮影画像の一例の正面図である。
【図１０】図９の撮影画像に基づく各ユニットの自律検出結果の認識状態図である。
【図１１】図１０の自律検出後のユニット間相互診断結果の認識状態図である。
【符号の説明】
１ 車両（自車）
２ 単眼カメラ
５ 画像処理部
６ａ、６ｂ 車両（前方の車両）
Ｕｎ ユニット
Ｆｎ 認識部
ＦＦ〜ＦＵ 受容体センサ
Ｓｎ 状態部
Ｐ、Ｐ´ 撮影画像
Claims (9)
- 車両に搭載された画像センサにより自車前方を撮影し、前記画像センサの撮影画像の画像認識により、前記自車前方の車両を検出する車両検出方法において、
前記撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットを配置し、
前記各ユニットにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識し、
前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価し、
誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、
該修正後の前記各ユニットの認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出することを特徴とする車両検出方法。 - 車両に搭載された画像センサにより自車前方を撮影し、前記画像センサの撮影画像の画像認識により、前記自車前方の車両を検出する車両検出方法において、
前記画像センサが撮影をくり返し、
前記画像センサの撮影毎に、
前記撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットそれぞれを配置し、
前記各ユニットにより、それぞれの位置の画像情報に基づく画像状態の自律検出及び前記各位置の前回の認識状態から、前記各位置の画像状態を、路面、車両下端の認識状態を含む複数の基準状態のいずれかに分類して認識し、
前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価し、
誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正し、
該修正後の前記各ユニットの最新の認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出することを特徴とする車両検出方法。 - 車両に搭載された画像センサが単眼カメラであることを特徴とする請求項１または２に記載の車両検出方法。
- 画像情報が画像エッジの情報を含む輝度に関連した所定の情報であることを特徴とする請求項１ないし３のいずれかに記載の車両検出方法。
- 車両に搭載された画像センサの自車前方の撮影画像の画像認識処理により、前記自車前方の車両を検出する車両検出装置において、
前記撮影画像を処理する画像認識部に、
前記撮影画像の複数個所に、相互結合型ニューラルネットワーク構造の分散診断モデルのネットワークノードのユニットを配置する手段と、
前記各ユニットにより、それぞれの位置の画像情報に基づく自律検出から、前記各位置の画像状態を、路面、車両下端を含む複数の基準状態のいずれかに分類して認識する手段と、
前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価する手段と、
誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段と、
該修正後の前記各ユニットの認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出する手段とを備えたことを特徴とする車両検出装置。 - 車両に搭載された画像センサの自車前方の撮影画像の画像認識処理により、自車前方の車両を検出する車両検出装置において、
前記画像センサがくり返し撮影して得られた撮影毎の前記撮影画像を処理する画像認識部に、
最新の撮影画像の複数個所に相互結合型ニューラルネットワーク構造の分散診断モデルの各ネットワークノードのユニットを配置する手段と、
前記各ユニットにより、それぞれの位置の画像情報に基づく画像状態の自律検出及び前記各位置の前回の認識状態から、前記各位置の画像状態を、路面、車両下端の認識状態を含む複数の基準状態のいずれかに分類して認識する手段と、
前記各ユニット間の相互診断に基づく多数決処理により、前記各ユニットの認識状態を相互に刺激、抑制して前記各ユニットの信頼度を評価する手段と、
誤認識ユニットの認識状態を、信頼度の高い周囲ユニットからの投票により修正する手段と、
前記画像センサの撮影毎に、前記修正後の前記各ユニットの最新の認識状態から前記車両下端を認識したユニットを特定して前記自車前方の車両を検出する手段とを備えたことを特徴とする車両検出装置。 - 車両に搭載された画像センサが単眼カメラであることを特徴とする請求項５または６に記載の車両検出装置。
- 各ユニットが、画像上のユニット中心から複数方向に配置されてそれぞれの位置の画像情報を収集する複数個の受容体センサで構成された認識部と、前記各受容体センサの収集情報に基づいて自律検出した認識状態を書き換え自在に保持する状態部とからなることを特徴とする請求項５ないし７のいずれかに記載の車両検出装置。
- 画像情報が画像エッジの情報を含む輝度に関連した所定の情報であることを特徴とする請求項５ないし８のいずれかに記載の車両検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003160399A JP2004363988A (ja) | 2003-06-05 | 2003-06-05 | 車両検出方法及び車両検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003160399A JP2004363988A (ja) | 2003-06-05 | 2003-06-05 | 車両検出方法及び車両検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004363988A true JP2004363988A (ja) | 2004-12-24 |
Family
ID=34053191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003160399A Withdrawn JP2004363988A (ja) | 2003-06-05 | 2003-06-05 | 車両検出方法及び車両検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004363988A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007261553A (ja) * | 2006-03-30 | 2007-10-11 | Denso It Laboratory Inc | 物体撮像装置及び物体撮像方法 |
| JP2010224930A (ja) * | 2009-03-24 | 2010-10-07 | Fuji Heavy Ind Ltd | 道路認識装置 |
| US9349055B1 (en) | 2013-06-26 | 2016-05-24 | Google Inc. | Real-time image-based vehicle detection based on a multi-stage classification |
| CN106932482A (zh) * | 2017-03-30 | 2017-07-07 | 上海量明科技发展有限公司 | 车辆的性能评测方法、机器人及系统 |
| WO2022107595A1 (ja) * | 2020-11-17 | 2022-05-27 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
-
2003
- 2003-06-05 JP JP2003160399A patent/JP2004363988A/ja not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007261553A (ja) * | 2006-03-30 | 2007-10-11 | Denso It Laboratory Inc | 物体撮像装置及び物体撮像方法 |
| JP4701116B2 (ja) * | 2006-03-30 | 2011-06-15 | 株式会社デンソーアイティーラボラトリ | 物体撮像装置及び物体撮像方法 |
| JP2010224930A (ja) * | 2009-03-24 | 2010-10-07 | Fuji Heavy Ind Ltd | 道路認識装置 |
| US9349055B1 (en) | 2013-06-26 | 2016-05-24 | Google Inc. | Real-time image-based vehicle detection based on a multi-stage classification |
| US10203697B2 (en) | 2013-06-26 | 2019-02-12 | Waymo Llc | Real-time image-based vehicle detection based on a multi-stage classification |
| CN106932482A (zh) * | 2017-03-30 | 2017-07-07 | 上海量明科技发展有限公司 | 车辆的性能评测方法、机器人及系统 |
| CN106932482B (zh) * | 2017-03-30 | 2023-09-29 | 上海量明科技发展有限公司 | 车辆的性能评测方法、机器人及系统 |
| WO2022107595A1 (ja) * | 2020-11-17 | 2022-05-27 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107230218B (zh) | 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备 | |
| US20180107901A1 (en) | Image processing device, object detection device, image processing method | |
| Rahman et al. | Run-time monitoring of machine learning for robotic perception: A survey of emerging trends | |
| JP7149707B2 (ja) | 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム | |
| CN106257489A (zh) | 表情识别方法及系统 | |
| CN104751110A (zh) | 一种活体检测方法和装置 | |
| JP5229912B2 (ja) | 物体認識装置および物体認識方法 | |
| US20220004824A1 (en) | System and method to alter an image | |
| US11703596B2 (en) | Method and system for automatically processing point cloud based on reinforcement learning | |
| CN111274862A (zh) | 用于产生车辆的周围环境的标签对象的设备和方法 | |
| JP2021096854A (ja) | 敵対的攻撃を検出するためのシステム及び方法 | |
| US20230230484A1 (en) | Methods for spatio-temporal scene-graph embedding for autonomous vehicle applications | |
| Gupta et al. | Online monitoring for neural network based monocular pedestrian pose estimation | |
| JP2004363988A (ja) | 車両検出方法及び車両検出装置 | |
| Mumbelli et al. | An application of Generative Adversarial Networks to improve automatic inspection in automotive manufacturing | |
| US9398208B2 (en) | Imaging apparatus and imaging condition setting method and program | |
| CN113095351A (zh) | 借助于初始标记的改善生成经标记的数据的方法 | |
| US8005261B2 (en) | Model-based object classification and target recognition | |
| CN116109047A (zh) | 一种基于三维智能检测的智能调度方法 | |
| WO2022107548A1 (ja) | ３次元骨格検出方法及び３次元骨格検出装置 | |
| Sagar | AA3DNET: attention augmented real time 3D object detection | |
| CN108875453A (zh) | 人脸图片底库注册的方法、装置及计算机存储介质 | |
| CN108764110B (zh) | 基于hog特征行人检测器的递归错检校验方法、系统及设备 | |
| JP3808727B2 (ja) | 物体検出装置及びその方法 | |
| CN108921015B (zh) | 基于递归结构车载单目摄像头下行人目标校验算法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060905 |