JP2004020237A

JP2004020237A - 車両管理システム

Info

Publication number: JP2004020237A
Application number: JP2002172007A
Authority: JP
Inventors: Atsushi Nanba; 難波　篤史; Takayuki Sogawa; 十川　能之
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2002-06-12
Filing date: 2002-06-12
Publication date: 2004-01-22

Abstract

【課題】個々のユーザの車両に搭載される制御装置の診断情報を一括管理して有効活用し、車両側の演算負荷を軽減する。
【解決手段】ステレオカメラユニット１で撮像した画像データや画像認識ユニット２内で演算した距離データを、車内ネットワーク内の通信ユニット＃０１ａを介して中央情報管理センターに送信し、中央情報管理センターで映像信号の伝送異常、距離データのバラツキ過多による信頼性低下、基準画像と画像画像との明るさバランス不良、画像ぼけ等を診断する。そして、中央情報管理センターから該当する車両にＮＧフラグを制御情報として送信し、異常の場合に画像認識システムの動作を通常動作からフェールセーフへ移行させる。これにより、個々の車両の画像認識システムの診断情報を一括管理して有効活用すると共に、個々の車両側での診断プログラムを不要とし、画像処理の負荷を軽減する。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、個々のユーザの車両に搭載される制御装置のデータを一括管理して有効活用する車両管理システムに関する。
【０００２】
【従来の技術】
一般に、自動車等の車両に搭載される電子制御装置は、自己診断機能によるオンボード診断で異常発生の有無を監視しており、このオンボード診断の結果、異常を検出した場合には、警告灯等を点灯して運転者に警告を発し、ディーラ等のサービス工場への入庫による点検・修理を促すようにしている。サービス工場では、車載の電子制御装置に故障診断装置等の外部装置を接続することで車載電子制御装置から故障部位やトラブルデータ等の内部データを読出し、読出したデータに基づいて点検・修理を行う。
【０００３】
尚、この種の故障診断装置として、本出願人による特公平７−１５４２７号公報に開示されている故障診断装置がある。この故障診断装置は、故障診断装置本体、或いは故障診断装置本体に外部のエキスパートシステム用コンピュータを接続して車載電子制御装置内のデータ、すなわち車載電子制御装置内に記憶されているセンサ類の検出信号やアクチュエータ類に出力する制御信号、及びシステム内部の演算データ等を読込むことができ、不具合箇所或いは故障原因を探究し、必要な修理、又は調整を行うことができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、車両側で本来の制御に加えて異常検出のための自己診断を行うことは、システム自体に負担がかかる。特に、最近では、車載のカメラで撮像した画像による画像認識システムを備え、前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、あるいは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の制御を行うものがあり、この画像認識には膨大な演算量を必要とするため、システム自体に多大な負担をかけ、画像認識の演算に加えて故障を自己診断することは、システムに更なる負担をかけることになる。
【０００５】
更に、車両側のオンボード診断は、ユーザの日常の実使用条件下において、実際に故障が発生したときに警告灯を点灯する等といった程度にしか活用されておらず、故障が発生した後、外部の故障診断装置で診断データを読出して初めて点検・修理が可能となる。
【０００６】
本発明は上記事情に鑑みてなされたもので、個々のユーザの車両に搭載される制御装置の診断情報を一括管理して有効活用し、車両側の演算負荷を軽減することのできる車両管理システムを提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明による第１の車両管理システムは、個々の車両に搭載される制御装置のデータを外部のデータベースに送信及び蓄積し、上記データベースに送信された上記データに基づいて個々の車両の上記制御装置を診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする。
【０００８】
また、第２の車両管理システムは、個々の車両に搭載される画像認識システムのデータを外部のデータベースに送信及び蓄積し、上記データベースに送信された上記データに基づいて個々の車両の上記画像認識システムを診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする。
【０００９】
その際、画像認識システムの診断結果は、該当車両のユーザ及びデータベースへのアクセス権を有する部署の少なくとも一者に配信することが望ましい。また、診断結果に基づいて車両に送信される制御情報は、フェールセーフ制御情報であることが望ましい。
【００１０】
画像認識システムの診断は、画像認識システムの映像ケーブルの異常或いは撮像系の回路異常、撮像系の視界不良或いは焦点異常が診断され、画像認識システムにステレオ撮像系を有する場合には、ステレオ撮像系で撮像した一対の画像から算出した距離データのバラツキ、ステレオ撮像系で撮像した一対の画像間の明るさバランスが診断される。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図９は本発明の実施の一形態に係わり、図１は車両管理システムの全体構成図、図２は車両のネットワーク系を示す説明図、図３は車載の画像認識システムの構成を示すブロック図、図４は映像信号の伝送異常診断ルーチン（１）のフローチャート、図５は映像信号の伝送異常診断ルーチン（２）のフローチャート、図６は距離データの信頼性診断ルーチン（１）のフローチャート、図７は距離データの信頼性診断ルーチン（２）のフローチャート、図８は画像間の明るさバランス診断ルーチンのフローチャート、図９は画像ぼけ診断ルーチンのフローチャートである。
【００１２】
図１は、工場の生産ラインにおける車両の制御情報の初期値を蓄積・管理すると共に、市場における各ユーザの車両毎の車両健康状態を２４時間リアルタイムで管理し、ユーザに最新の自己車両情報（健康状態）を提供するための車両管理システムを示すものである。この車両管理システムにおいては、市場における車両１００毎に、車載制御装置のデータ（車両情報）をリアルタイムで外部に無線通信可能なデータ通信手段としての無線通信端末１１０が備えられ、この無線通信端末１１０を介して送信された車両情報が中央情報管理センター１５１におけるホストコンピュータ１５１ａのデータベースＤＢに蓄積されて管理される。
【００１３】
車両１００と中央情報管理センター１５１との間のデータ通信には、図示しない基地局を介した移動体無線通信システムや図示しない人工衛星を介した衛星通信システム等を利用することができる。また、車両１００の車両情報を送信する無線通信端末１１０としては、車両１００の制御装置にハーネスを介して接続される通信端末でも良いが、車載の制御装置との間でワイヤレス通信を行うことにより車両１００と切り離して携帯可能な小型通信端末を採用することが望ましい。
【００１４】
この携帯可能な通信端末として、本形態では、車載の制御装置とのワイヤレス通信のための通信回路を内蔵した携帯型電話機（携帯電話）を採用し、以下、無線通信端末１１０を携帯電話１１０として説明する。尚、既にユーザが携帯電話を所有している場合には、ユーザの携帯電話に接続してデータを送信させる通信端末でも良い。
【００１５】
このため、本形態においては、車両１００に搭載される制御装置が単一である場合、その制御装置にワイヤレス通信を制御するための通信回路が内蔵される。また、車両１００に複数の制御装置、例えば、図２に示すように、制御装置＃０１，＃０２，＃０３，＃０４，＃０５，…が搭載されている場合には、各制御装置＃０１，＃０２，＃０３，＃０４，＃０５，…がネットワーク１０１を介して互いに接続され、制御情報が一元化されることが望ましく、ネットワーク１０１中の所定の制御装置、例えば制御装置＃０１にワイヤレス通信を制御するための通信ユニット＃０１ａが内蔵される。
【００１６】
尚、ネットワーク１０１は、リアルタイム制御に適した車両用のネットワークであり、また、車載の制御装置との間のワイヤレス通信方式としては、例えば、近距離のワイヤレス通信を司るブルートゥース（Ｂｌｕｅｔｏｏｔｈ）規格による通信方式やその他の通信方式を採用することができる。
【００１７】
車両１００の制御装置に備えられた通信ユニット＃０１ａは、ユーザの専用の携帯電話１１０との間のワイヤレス通信を可能とするばかりでなく、以下に説明するように、工場の生産ラインにおけるラインエンドの検査ツールやディーラ等のサービス工場におけるサービスツールとの間のワイヤレス通信を可能とする。
【００１８】
一方、中央情報管理センター１５１は、図１に示すように、専用のネットワーク１５０を介して、開発本部１５２、ソフトウエア開発環境１５３、営業・サービス本部１５４、検査・品質保証本部１５５等の複数の部門に接続されると共に、工場の生産ラインにおけるラインエンド１５６のシャーシダイナモメータ１５６ａ上で車両１００を検査するための検査ツール１５６ｂに接続されている。検査ツール１５６ｂには、車両１００の制御装置に備えられた通信ユニット＃０１ａとワイヤレス通信を行うための通信アダプタが備えられている。
【００１９】
また、この専用のネットワーク１５０には、各地のディーラ等の専用のネットワーク１６０，１７０，…が接続され、各ネットワーク１６０，１７０，…に、それぞれに接続されるサービスツール１６１，１７１，…やセールスツール１６２，１７２，…等を介して中央情報管理センター１５１の管理情報に基づく車両１００の実際の診断や修理を可能とする車両管理システムが形成される。更に、各専用のネットワーク１５０，１６０，１７０，…は、一般公開用ネットワークとしてのインターネット１８０に相互接続されており、携帯電話１１０を介しての情報提供に加え、各ユーザのパーソナルコンピュータ（パソコン）ＰＣを介しての情報提供を可能としている。
【００２０】
以上の車両管理システムでは、工場の生産ラインにおけるラインエンド１５６で、検査ツール１５６ｂを用いて個々の車両の制御情報の初期値（初期情報）を蓄積する。そして、市場への出荷後は、初期情報にユーザからのアクセスによる車両情報を加えて蓄積する。この場合、各ユーザは、自己の車両１００が稼動状態にあれば、停車中か走行中かに拘らず自己の車両情報を中央情報管理センター１５１に随時無線送信することが可能である。
【００２１】
すなわち、ユーザは、自己の車両１００の状態を知りたい場合には、車両１００の携帯電話１１０を用いて中央情報管理センター１５１に車両情報を送信することにより、自己の車両の整備状態や不具合の有無等の車両健康状態に係わる情報を受け取ることができる。特に、走行中の車両から無線通信によってリアルタイムでデータを送信することができるため、走行中にしか現れない異常や再現性の希薄な異常等、従来では迅速な原因究明が困難であった故障に対しても、迅速に原因を究明して対処することが可能となる。
【００２２】
ユーザが自己の車両１００の車両情報を中央情報管理センター１５１に送信するには、車両１００の携帯電話１１０を用い、この携帯電話１１０に予めセットされている特定の番号を押すのみで良く、自動的に車両１００の制御装置＃０１とのワイヤレス通信がスタンバイすると共に中央情報管理センター１５１を呼び出す。そして、携帯電話１１０と中央情報管理センター１５１との接続が確立すると、車両１００内のネットワーク１０１を介した各制御装置のデータが制御装置＃０１の通信ユニット＃０１ａから車体番号が付加されて携帯電話１１０へ送信され、更にユーザの識別コード等が付加されて携帯電話１１０をスルーし、中央情報管理センター１５１へ送信される。
【００２３】
中央情報管理センター１５１のデータベースＤＢに蓄積された車両の初期情報及び市場における情報（個々のユーザ毎の車両情報）は、データベースＤＢへのアクセス権を与えられた各部署にネットワーク１５０を介して配信され、車両健康状態を管理すると共に各種サービスを行う。すなわち、ユーザの車両における各種部品の使用頻度情報の収集、制御アルゴリズムの評価、リアルタイムな診断や不具合対応、各部品の経時変化を把握しての予測診断、再現困難な不具合の診断等を該当部署にて行い、制御アルゴリズムの改良や新規開発のための情報収集等を該当部署にて行う。
【００２４】
また、ユーザサービスの一環として、ユーザの車両１００の入庫前の事前診断、個別ユーザに対応した定期検査等の入庫連絡等を該当部署にて行い、ディーラ等に情報を配信してサービスツール１６１（１７１）による点検或いは診断を指示する。更に、市場における部品レベルでの絶対的な品質評価、リアルタイムな生の統計データの採取、部品製造メーカ毎の相対的な品質評価等を該当部署にて行い、評価結果を各部門にフィードバックする。
【００２５】
各ユーザの車両に対するデータ解析結果や診断結果等の情報は、中央情報管理センター１５１において各ユーザ毎の履歴情報として時系列的に蓄積される。そして、インターネット１８０上のホームページを介して、或いは、直接、携帯電話１１０を介して個々のユーザに提供される。すなわち、各ユーザは、自己のパソコンＰＣからインターネット１８０を介して該当するホームページにアクセスし、或いは携帯電話１１０から中央情報管理センター１５１に直接アクセスし、予め登録してある自己の識別番号、氏名、パスワード等を入力し、自己の車両情報を閲覧することができる。尚、正規に登録されたユーザからパソコンＰＣを介して中央情報管理センター１５１のホストコンピュータ１５１ａへアクセスすることも可能であるが、その場合、セキュリティを考慮してユーザからのアクセスには制限が設けられ、自己の車両に関する診断結果等の一般情報の閲覧のみが許可される。
【００２６】
次に、以上の車両管理システムによる車両１００の管理内容として、車両１００に搭載される画像認識システムに対する診断情報の管理について説明する。
【００２７】
図３に示すように、車両１００に搭載される画像認識システムは、本形態においては、基準側及び比較側の一対のカメラからなるステレオカメラユニット１を撮像系として備え、このステレオカメラから出力される一対の映像信号を処理し、左右画像における同一対象物の位置に関する相対的なズレ（視差）から三角測量の原理に基づき距離データを算出し、この距離データによる対象物の三次元位置情報に基づいて該当する車両を取巻く走行環境（例えば、該当する車両の走行経路上に存在する先行車両や障害物等）を認識する画像認識ユニット２を備えて構成される。
【００２８】
画像認識ユニット２は、認識結果に応じてドライバーに注意を喚起するための警報を出力したり、シフトダウンや減速等を促すための制御情報を出力する。更に、画像認識ユニット２は、ユーザによる携帯電話１１０を介したデータ送信時に、ステレオカメラユニット１で撮像した画像データやユニット内で演算した距離データを、車内ネットワーク１０１内の通信ユニット＃０１ａを介して中央情報管理センター１５１に送信する。
【００２９】
中央情報管理センター１５１では、画像データや距離データによる。更に、中央情報管理センター１５１では、受信したデータを解析し、車両１００の画像認識システムに対し、例えば、以下の（Ａ）〜（Ｄ）に示す項目について診断を実行する。これにより、個々の車両での診断プログラムが不要となり、画像処理における負荷を軽減することができる。
（Ａ）映像信号の伝送異常
（Ｂ）距離データのバラツキ過多による信頼性低下
（Ｃ）基準画像と画像画像との明るさバランス不良
（Ｄ）撮像画像の画像ぼけ
【００３０】
診断項目（Ａ）は、映像ケーブルの断線やショート、コネクタ外れ、ステレオカメラユニット１内の回路異常等に起因して発生する異常を診断するものであり、診断項目（Ｂ）は、降雨またはウインドウガラスの汚れ・曇り等の外乱的な要因による視界不良、ノイズの影響、或いは装置自体の故障、衝撃等によるステレオカメラ対の取付位置のずれ等に起因する距離データの信頼性低下を診断するものである。また、診断項目（Ｃ）は、カメラ光学系（特にレンズ）の汚れや、フロントガラスの部分的な汚れ、雨滴による乱反射等に起因して一対の画像間で明るさバランスのずれを診断するものであり、診断項目（Ｄ）は、カメラ光学系（特にレンズ）やフロントガラスに関する曇りや汚れによる視界不良、カメラの焦点異常等に起因して発生する画像のぼけを診断するものである。
【００３１】
尚、診断項目（Ｂ），（Ｃ）は、本形態のステレオカメラ特有の項目であるが、診断項目（Ａ），（Ｄ）は、ステレオカメラのみならず、単眼のカメラを撮像系として備える場合であっても適用できる。
【００３２】
そして、診断により異常と判定した場合には、中央情報管理センター１５１から該当する車両に異常発生を知らせるフラグ（ＮＧフラグ）を制御情報として送信し、該当車両における画像認識システムの動作を通常動作からフェールセーフ動作へと移行させる。
【００３３】
以下、中央情報管理センター１５１における車両１００の画像認識システムに対する診断処理について説明する。尚、本形態においては、中央情報管理センター１５１で個々の車両の画像認識システムの診断を行う例について説明するが、この診断を、開発本部１５２、ソフトウエア開発環境１５３、営業・サービス本部１５４、検査・品質保証本部１５５等のネットワーク１５０に接続される該当部門で行うようにしても良い。
【００３４】
（Ａ）映像信号の伝送異常診断
この診断は、図４に示す診断ルーチン（１）或いは図５に示す診断ルーチン（２）によって実施される。診断ルーチン（１）は、映像信号中の同期信号を監視することで異常発生を診断するものであり、先ず、ステップＳ１１で、映像信号中の同期信号入力後の経過時間を計時する計時カウンタの値を読込み、ステップＳ１２で、計時カウンタのカウント値が設定値以上か否かを調べる。
【００３５】
そして、カウント値が設定値より小さく、同期信号が設定時間より短い時間間隔で入力されている場合には、映像信号が正常に入力されていると判断し、ステップＳ１２からステップＳ１３へ進んでＮＧフラグを０にクリアする。一方、ステップＳ１２において、計時カウンタのカウント値が設定値以上である場合には、映像信号を伝送するケーブルの断線やショート或いはコネクタ外れ、ステレオカメラユニット１内の回路異常等が発生して同期信号が計時カウンタに入力されなくなったと判断し、ステップＳ１２からステップＳ１４へ進んでＮＧフラグを１にセットする。
【００３６】
これらのＮＧフラグの値は、中央情報管理センター１５１から該当するユーザの車両１００に制御情報として送信され、１にセットされたＮＧフラグ１を受信した車両側では、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【００３７】
また、ケーブルの断線・ショート或いはコネクタ外れ、ステレオカメラユニット１内の回路異常等が発生し、映像信号が画像認識ユニット２に入力されなくなると、画像認識ユニット２における映像信号の振幅値が減衰してゆき、やがて設定値以下になる。
【００３８】
図５に示す診断ルーチン（２）は、この点に着目して異常発生を判定するものであり、先ず、ステップＳ２１で、映像信号の振幅値を、映像信号の振幅のピーク値をホールドする振幅検出器やソフトウエア処理で実現した振幅検出手段から読込み、ステップＳ２２で、振幅値が設定値以下か否かを調べる。
【００３９】
そして、映像信号の振幅値が設定値を超えている場合には、映像信号は正常であると判断してステップＳ２２からステップＳ２３へ進み、ＮＧフラグを０にクリアする。一方、ステップＳ２２において、映像信号の振幅値が設定値以下の場合には、ケーブルの断線やショート或いはコネクタ外れ、ステレオカメラユニット１内の回路異常等が発生して映像信号が入力されずに振幅値が減衰したと判断し、ステップＳ２４でＮＧフラグを１にセットする。
【００４０】
これらのＮＧフラグの値は、中央情報管理センター１５１から該当するユーザの車両１００に制御情報として送信され、１にセットされたＮＧフラグを受信した車両側では、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【００４１】
（Ｂ）距離データの信頼性診断
距離データの信頼性は、図６に示す診断ルーチン（１）或いは図７に示す診断ルーチン（２）によって診断される。
【００４２】
図６に示す診断ルーチン（１）では、先ず、ステップＳ３１で距離画像（距離データを有する画像）データを読み込み、ステップＳ３２で、この距離画像中に第１の監視領域Ｒ１を設定する。この監視領域Ｒ１は、本診断ルーチンでは、主に路面が映し出される領域を診断対象とし、例えば、画像の下側領域において垂直方向長が短く、且つ水平方向長がそれよりも長い横長矩形領域として設定される。
【００４３】
次に、ステップＳ３３へ進み、第１の監視領域Ｒ１内の距離データのうち、有効距離データを抽出する。ここで、有効距離データは、画像の横方向（水平方向）において輝度エッジ（閾値以上の輝度変化量を有する隣接画素対）を所定数以上有する画素ブロックに関する距離データであり、横方向の輝度変化に特徴がある画素ブロックに関する距離データを評価対象とすることで、ノイズ的な距離データを除外して診断精度を向上させる。
【００４４】
続くステップＳ３４では、第１の監視領域Ｒ１における有効距離データの全体的なばらつきの状態を評価するために、分散値ＶＡＲ１を以下の（１）式に基づいて算出する。
ＶＡＲ１^２＝｛（Ｚ１−Ｚａｖｅ）^２＋（Ｚ２−Ｚａｖｅ）^２＋　・・・　＋（Ｚｎ−Ｚａｖｅ
）^２｝／ｎ＝Σ（Ｚｉ^２）／ｎ−（ΣＺｉ／ｎ）^２　…（１）
但し、ｎ：第１の監視領域Ｒ１内の有効距離データの数
Ｚｉ：ｉ番目の有効距離データの値
Ｚａｖｅ：第１の監視領域Ｒ１内の有効距離データの平均値
【００４５】
監視領域Ｒ１内の距離データは、通常の路面状況であればばらつきは比較的少なく、フェールとすべき状況（路面状況またはノイズ等の外的要因）では、ばらつきが大きくなるという特性がある。すなわち、降雨時等において、周囲の立体物（先行車や建物等）が路面に映り込んでいるようなケースでは、映り込んでいる立体物の影響で誤った距離データが算出されることがあり、その結果、本来の路面状況に起因して生じる距離データ以外にも、映り込んだ立体物の距離データも加わるため、第１の監視領域Ｒ１における有効距離データのばらつきが大きくなる傾向がある。
【００４６】
また、外的要因による距離データ異常、例えばカメラ信号のようなシステムの内部信号が、電気的なノイズの影響を受けた場合、算出された距離データにもノイズが乗る。その結果、個々の距離データがばらつくため、第１の監視領域Ｒ１における有効距離データのばらつきが大きくなる。同様の現象は、衝撃によるステレオカメラの取り付け位置のずれ、或いは、ウインドガラスやカメラレンズの曇り・汚れになどに起因して生じることがあり、第１の監視領域Ｒ１における有効距離データの全体的なばらつきが大きくなる傾向がある。
【００４７】
従って、ステップＳ３４に続くステップＳ３５では、このような観点を踏まえて適切に設定された判定閾値ＶＡＲ１ｔｈに対し、分散値ＶＡＲ１の大きさを評価する。そして、ステップＳ３５において、ＶＡＲ１＜ＶＡＲ１ｔｈの場合には、算出された距離データは信頼し得るものと判断してステップＳ３６でＮＧフラグを０にクリアし、一方、ＶＡＲ１≧ＶＡＲ１ｔｈの場合、算出された距離データの信頼性が低いものと判断してステップＳ３７でＮＧフラグを１にセットする。尚、判定閾値ＶＡＲ１ｔｈの値は昼と夜とで変えるように設定しても良く、また、自車両の車速に応じて変えるようにしても良い。
【００４８】
一方、主として立体物の距離データを診断対象とする場合には、図７に示す診断ルーチン（２）が実行される。この診断ルーチン（２）では、先ず、ステップＳ４１で距離画像データを読み込み、ステップＳ４２で、走行車等が存在し得る比較的中央の画像領域に第２の監視領域Ｒ２を設定する。先行車等の立体物が前方に存在する場合、先行車等は地面（道路面）に対してほぼ垂直に立っていることが多いため、第２の監視領域Ｒ２は、その垂直面が映し出される領域、例えば、所定個数の縦長矩形領域が画像の中央領域に設定され、個々の矩形領域は、水平長が短く、且つそれよりも垂直長が長く設定される。
【００４９】
ステップＳ４２に続くステップＳ４３において、第２の監視領域Ｒ２内の距離データのうち、前述したような手法に従って有効距離データを抽出する。そして、ステップＳ４４において、第２の監視領域Ｒ２に関する垂直方向の距離データのばらつきを検証するために、各縦長矩形領域に基づいて、距離データの垂直方向分散値ＶＡＲ２を算出する。具体的には、第２の監視領域Ｒ２の全体的ばらつきを精度よく検証でき、且つ、それに伴う演算量を極力減らす観点から、以下のような算出手法により分散値ＶＡＲ２を求めている。
【００５０】
先ず、第２の監視領域Ｒ２を構成する各縦長矩形領域に関する距離データのばらつきを調べるために、上述した（１）式に従って有効距離データの分散値ＶＡＲ２ｉが矩形領域毎に算出される。次に、各分散値ＶＡＲ２ｉから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その平均値をＶＡＲ２とする。
【００５１】
このようにして算出された分散値ＶＡＲ２、すなわち第２の監視領域Ｒ２の垂直方向における距離のばらつきは、垂直面ではほぼ等距離が算出されるため、正常な状態においては、ばらつきは比較的少ない。すなわち、縦長矩形領域に映し出される立体物は、通常、路面に対して垂直に立っており、且つ矩形領域に占める立体物の割合が大きくなるため、矩形領域における有効距離データのばらつきはあまり大きくならない。一方、ステレオカメラの取付位置がずれていたり、カメラレンズが汚れている場合、更には、システムの内部信号にノイズが乗ってしまった場合等においては、縦長矩形領域における有効距離データのばらつきが大きくなる傾向にある。
【００５２】
従って、ステップＳ４４に続くステップＳ４５では、このような観点を踏まえて適切に設定された判定閾値ＶＡＲ２ｔｈを基準に分散値ＶＡＲ２の大きさを評価する。そして、ステップＳ４４において、ＶＡＲ２＜ＶＡＲ２ｔｈ、すなわち第２の監視領域Ｒ２の有効距離データのばらつきが小さい場合には、距離データは信頼し得るものと判断してステップＳ４６でＮＧフラグを０にクリアする。尚、判定閾値ＶＡＲ２ｔｈの値は、昼と夜とで変えるように設定しても良く、また、自車輌の車速に応じて変えるようにしても良い。
【００５３】
これに対し、先行車や市街地の建物といった立体物等があまり存在しない状況においては、縦長矩形領域には白線を含む路面や遠くの景色が混在して映し出されることから、正常な状況であっても、矩形領域に関する有効距離データのばらつきが大きくなる傾向にある。従って、ステレオカメラの取付位置がずれていたり、カメラレンズが汚れている場合と同様、どちらも分散値ＶＡＲ２が判定しきい値ＶＡＲ２ｔｈを越えるため、ステップＳ４５における判定だけで両者を区別することができない。
【００５４】
そこで、距離データのばらつきをさらに検証すべく、ステップＳ４７以降の処理を実行する。すなわち、先ず、ステップＳ４７において、画像の水平方向において、第２の監視領域Ｒ２の外側に、第３の監視領域Ｒ３を設定する。第３の監視領域Ｒ３は、走行路の両側の立体物が存在し得る比較的両サイドの画像領域で、例えば、所定個数の横長矩形領域（水平長が長く、それよりも垂直長が短い）で構成される。
【００５５】
次に、ステップＳ４８において、第３の監視領域Ｒ３内の距離データのうち、有効距離データを上述した手法によって抽出すると、ステップＳ４９において、第３の監視領域Ｒ３を構成する横長矩形領域に基づいて、距離データの水平方向分散値ＶＡＲ３を算出する。第３の監視領域Ｒ３の水平方向のばらつきを精度よく検証でき、且つ、それに伴う演算量を極力減らす観点から、以下のような算出手法により分散値ＶＡＲ３を求める。
【００５６】
先ず、左側の第３の監視領域Ｒ３（Ｌ）を構成する各横長矩形領域に関する距離データのばらつきを調べるために、上述した（１）式に従い有効距離データの分散値ＶＡＲ３（Ｌ）ｉが矩形領域毎に算出される。次に、各分散値ＶＡＲ３（Ｌ）ｉから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その値をＶＡＲ３（Ｌ）とする。
【００５７】
同様に、右側の第３の監視領域Ｒ３（Ｒ）を構成する各横長矩形領域に関する距離データのばらつきを調べるために、上述した（１）式２に従い、有効距離データの分散値ＶＡＲ３（Ｒ）ｉが矩形領域毎に算出される。次に、各分散値ＶＡＲ３（Ｒ）ｉから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その値をＶＡＲ３（Ｒ）とする。
【００５８】
このようにして算出された２つの分散値ＶＡＲ３（Ｌ），ＶＡＲ３（Ｒ）のうち、値が小さい方を第３の監視領域Ｒ３の水平方向における全体的な輝度のばらつきを示す分散値ＶＡＲ３として採用する。この水平方向の分散値ＶＡＲ３は、先行車や市街地の建物といった近くの立体物が多数映し出されている状況では、横長矩形領域に距離の異なる複数の立体物が映し出されるため、有効距離データのばらつきが大きくなる傾向にあるが、逆に、近くの立体物があまり映し出されていない状況では、主として遠方の景色が映し出されるため、有効距離データのばらつきはあまり大きくならない傾向にある。一方、ステレオカメラの取付位置のずれやカメラレンズの汚れ等が生じると、有効距離データのばらつきが大きくなる傾向にある。
【００５９】
すなわち、第３の監視領域Ｒ３の有効距離データのばらつきが大きく、且つ、第２の監視領域Ｒ２のそれも大きくなるのは、外的要因により距離データに異常が生じている場合のみ生じる現象であることがわかる。換言すると、通常の状況では、第２または第３の監視領域Ｒ２，Ｒ３のどちらか一方の有効距離データのばらつきが大きくなることはあっても、両方が大きくなることはほとんど生じないという特性がある。
【００６０】
従って、ステップＳ４９に続くステップ５０では、このような特性を踏まえて適切に設定された判定閾値ＶＡＲ３ｔｈを基準に分散値ＶＡＲ３の大きさを評価することで、先のステップＳ４５の判断では区別できなかったケースを区別する。すなわち、ステップＳ５０では、分散値ＶＡＲ３が所定の判定閾値ＶＡＲ３ｔｈよりも大きいか否かを判断する。
【００６１】
そして、ＶＡＲ３＜ＶＡＲ３ｔｈの場合、つまり第３の監視領域Ｒ３の有効距離データのばらつきが小さい場合には、算出された距離データは信頼し得るものと判断してステップＳ５０からステップＳ４６へ進み、ＮＧフラグが０にクリアする。一方、ＶＡＲ３≧ＶＡＲ３ｔｈの場合には、異常と判断してステップＳ５０からステップＳ５１へ進み、ＮＧフラグを１にセットする。尚、判定閾値ＶＡＲ３ｔｈの値は、昼と夜とで変えるように設定しても良く、また、自車両の車速に応じて変えるようにすることが好ましい。
【００６２】
これらのＮＧフラグが中央情報管理センター１５１から該当するユーザの車両１００に制御情報として送信され、ＮＧフラグを受信した車両側では、ＮＧフラグの値が１である場合、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【００６３】
（Ｃ）画像間の明るさバランスの診断
この明るさバランスの診断は、図８に示す診断ルーチンによって実行される。この診断ルーチンでは、先ず、ステップＳ６１において、ステレオ画像対（基準画像および比較画像）の輝度状態を調べるために、監視領域内の各画素の輝度値を読み出す。基準画像には、その上領域、中領域、および下領域に、監視領域Ｒ１，Ｒ２，Ｒ３がそれぞれ設定され、一方、比較画像には、その上領域、中領域、および下領域に、監視領域Ｒ４，Ｒ５，Ｒ６がそれぞれ設定されている。
【００６４】
監視領域Ｒ１，Ｒ２，Ｒ３は、左画像中の監視領域Ｒ４，Ｒ５，Ｒ６と「位置的に対応」している。本明細書において、「位置的に対応」とは、左右の監視領域が完全に同じ位置に設定されている場合はもとより、ステレオマッチングを考慮して、位置的に若干オフセットして設定されている場合も含むという広い意味で用いている。このオフセット量は、それぞれの監視領域内に一般的に存在するであろう対象物の視差の傾向を考慮して決定することが好ましい。
【００６５】
例えば、車両の前方認識では、画像領域の上側に設定された監視領域Ｒ１，Ｒ４には、通常、空（無限遠）や比較的遠方の立体物（例えばビル等）が映し出される傾向がある。従って、この領域内において算出される視差は、比較的小さくなる傾向にある。そこで、画像上部に映し出される立体物等の距離の傾向を考慮して、監視領域Ｒ１，Ｒ４に関するオフセット量は小さめに設定しておく。
【００６６】
また、画像領域の中側に設定された監視領域Ｒ２，Ｒ５には、通常、前方を走行中の車等が映し出される傾向があるため、この領域内における視差は中程度になる傾向にある。従って、このような画像中部に映し出される風景の傾向を考慮して、監視領域Ｒ２，Ｒ５に関するオフセット量は中程度に設定しておく。
【００６７】
更に、画像領域の下側に設定された監視領域Ｒ３，Ｒ６には、通常、道路等の地表が映し出される傾向があるため、この領域内における視差は比較的大きくなる傾向にある。従って、このような画像下部に映し出される景色の傾向を考慮し、監視領域Ｒ３，Ｒ６に関するオフセット量は比較的大きめに設定しておく。
【００６８】
このようにして、各領域内に映し出される景色の距離的な傾向を考慮して、各監視領域をステレオマッチング方向にオフセットさせている。それにより、位置的に対応した左右の監視領域対が、同一の対象物を映し出すようにできるため、正常な撮像状況では、各監視領域対はほぼ同じ輝度状態となる。
【００６９】
ステップＳ６１に続くステップＳ６２において、第１の監視領域の輝度の大きさと第２の監視領域の輝度の大きさとが算出される。すなわち、基準画像領域内の第１の監視領域Ｒ１，Ｒ２，Ｒ３内に存在する各画素の輝度値の平均値Ａ１を求め、同様に、比較画像領域内の第２の監視領域Ｒ４，Ｒ５，Ｒ６内に存在する各画素の輝度値の平均値Ａ２を求める。
【００７０】
そして、ステップＳ６３において、第１の監視領域の輝度平均値Ａ１と第２の監視領域の輝度平均値Ａ２との差（絶対値）が、所定の判定閾値以上であるか否かが判断される。上述したように、基準画像及び比較画像の両監視領域内には、ほぼ同一の景色が映し出されているため、基準及び比較の両画像の明るさのバランスがとれている正常な状況では、両監視領域の輝度平均値Ａ１，Ａ２は、ほぼ等しくなる。
【００７１】
従って、正常な状況では、ステップＳ６３での判定結果が否定判定となり、ステップＳ６４でＮＧフラグが０にクリアされる。これに対して、例えば、一方のカメラだけが目隠しされてしまい正常画像を得られないような状況や、一方のカメラのレンズやフロントガラス等の部分的な汚れや曇り、或いは、雨滴による乱反射等によって、正常画像を得られないような状況が発生し、外乱によって明るさのアンバランスが生じると、ステップＳ６３において肯定判定され、ステップＳ６５でＮＧフラグが１にセットされる。そして、本ルーチンによって１にセットされたＮＧフラグが中央情報管理センター１５１から該当するユーザの車両１００に制御情報として送信されると、車両１００側では、通常制御を中止してフェールセーフ制御に移行する。
【００７２】
（Ｄ）画像ぼけ診断
画像ぼけ診断は、図９に示す診断ルーチンによって実施される。この診断ルーチンでは、先ず、ステップＳ７１で、撮像画像の距離データと画素の輝度値（画像データ）とをそれぞれ読み出す。次に、ステップＳ７２へ進み、第１の監視領域ＢＲ１内において均一に分散するような画素を演算対象として、全体的な輝度の大きさを示す輝度平均値Ｓを算出する。
【００７３】
画像ぼけが生じているか否かは、第１の監視領域ＢＲ１（及び後述する第２の監視領域ＢＲ２）内の輝度に基づいて判断される。第１の監視領域ＢＲ１は、例えば、画像領域の中央上部に設定され、所定のサイズを有する長方形状（画像の水平方向に延在）の領域である。ここに監視領域を設定した理由は、自車両の前方を一般的な車間距離で走行する他車両（すなわち最も注意すべき監視対象）がこの領域内に映し出されることが多いので、この領域の画像ぼけが特に問題となるからである。
【００７４】
続くステップＳ７３では、輝度平均値Ｓが所定の判定閾値Ｓｔｈよりも大きいか否かを調べる。外因によりカメラの焦点がぼやけ、撮像された画像がぼけてしまっている状況では、画像の全体的な輝度は大きくなる傾向にある。画像がぼけてしまう状況は、例えば、霧や吹雪等による視界不良に起因して生じることや、カメラのレンズやフロントガラスに関する曇りや汚れといった撮像環境の悪化に起因して生じる。従って、このような傾向を考慮した適切な判定閾値Ｓｔｈを設定し、この値と輝度平均値Ｓとの大小関係を比較することで、画像ぼけが生じている可能性を判定することができる。この判定閾値Ｓｔｈは、車外の景色の明るさによって、その値を変えることが好ましく、例えば、夜の場合は判定閾値Ｓｔｈを昼の場合よりも低く設定する。車外の景色の明るさは、例えば、カメラのシャッタースピードによって判断することが可能である。
【００７５】
その結果、ステップＳ７３において、Ｓ≦Ｓｔｈの場合には、画像ぼけが生じていないものと判断し、ステップＳ７４で、ＮＧフラグを０にクリアする。一方、ステップＳ７３において、Ｓ＞Ｓｔｈの場合には、画像ぼけが生じている可能性があるため、画像ぼけの有無をさらに検証すべく、ステップＳ７５へ進んで第１の監視領域ＢＲ１の垂直方向のエッジ数Ｎを算出する。ここでの「エッジ数」とは、所定の規則にしたがって抽出された複数の画素対のうち、予め設定された値よりも大きな輝度変化量を有する画素対の数である。
【００７６】
続くステップＳ７６では、算出されたエッジ数Ｎが所定の判定閾値Ｎｔｈよりも小さいか否かを調べる。ぼけているような異常画像では、本来、輝度が急激に変化すべき箇所（エッジ部）における輝度変化が緩やかになる傾向にある（それゆえ人間が視覚的にぼけているように感じる）。従って、通常の景色を映し出している状態では、それ以下になることは殆どないエッジ数Ｎｔｈを実験的に求めておき、これをぼけ判断の判定閾値として用いることで、画像にぼけが生じている可能性があるか否かを判断することができる。
【００７７】
このステップ７６でＮ≧Ｎｔｈの場合には、画像中にぼけは生じていないものと判断し、前述のステップ７４で、ＮＧフラグを０にクリアする。一方、ステップＳ７６でＮ＜Ｎｔｈの場合には、更に、ぼけ画像の判別精度を向上させるため、ステップＳ７７以下の処理を実行する。
【００７８】
すなわち、ステップＳ７７で、第１の監視領域Ｒ１の水平方向のエッジ数Ｄを算出し、ステップＳ７８で、この水平方向のエッジ数Ｄが所定の判定閾値Ｄｔｈよりも小さいか否かを調べる。ぼけ画像の特徴として、隣接画素間の輝度変化が少なくなる傾向があることから、ぼけ画像であれば、水平方向の画素対の輝度変化量が少なくなる。従って、正常な画像ではあまり生じ得ないようなエッジ数Ｄｔｈを判定閾値として用いることで、画像ぼけの有無を判定する。
【００７９】
そして、ステップＳ７７において、Ｄ＞Ｄｔｈの場合には、画像中にぼけは生じていないものと判断して前述のステップ７４でＮＧフラグを０にクリアし、Ｄ≦Ｄｔｈの場合、更に、ステップＳ７９以下の処理を実行する。すなわち、第１の監視領域Ｒ１の輝度平均値Ｓが比較的大きく、且つ、この領域内の水平及び垂直方向のエッジ数が少ない場合には、画像にぼけが生じている可能性が高いものの、登坂走行のように第１の監視領域Ｒ１に空が映し出され、第１の監視領域Ｒ１の輝度平均値Ｓが比較的大きくなると共に、この領域内のエッジ数Ｎが少なくなる場合がある。
【００８０】
従って、このような正常な画像と画像ぼけとを区別するため、ステップＳ７９以下で画像全体における水平方向の輝度分散を検証する。ステップＳ７９では、先ず、画像領域中に設定された第２の監視領域ＢＲ２の輝度和Ａを算出する。この第２の監視領域ＢＲ２は、画像領域全体における水平方向の輝度分布を調べるために設定される領域であり、長方形状（画像の垂直方向に延在）の複数の領域Ｎｉで構成されている。従って、輝度分布の精度を高めるためには、第２の監視領域ＢＲ２の水平方向長は、第１の監視領域ＢＲ１のそれよりも大きくすることが好ましい。
【００８１】
輝度和Ａは、それぞれの領域Ｎｉについて、その領域全体の輝度の大きさを調べるために算出される。ある領域Ｎｉにおける輝度和Ａは、その領域Ｎｉ内において均一に分散するような複数の画素をサンプルとして抽出し、それらの輝度値を加算した値（またはそれらの平均値）として算出することができる。例えば、水平／垂直方向ともに所定画素ごとにサンプルを抽出しても良い。領域Ｎｉ内において均一に分散するようなサンプルを用いれば、その領域Ｎｉ内の輝度状態の特徴を適切に反映した輝度和Ａを、少ない演算量で算出することができる。演算量を考慮しないのであれば、領域Ｎｉ内に含まれるすべての画素の輝度値を加算することにより、輝度値Ａを算出することも当然可能である。
【００８２】
そして、ステップ８０において、輝度和Ａのばらつきの程度を示す分散値ＶＡＲを以下の（２）式に基づいて算出する。
ＶＡＲ^２＝｛（Ａ１−Ａａｖｅ）^２＋（Ａ２−Ａａｖｅ）^２＋　・・・　＋（Ａｎ−Ａａｖｅ）^２｝／ｎ＝Σ（Ａｉ^２）／ｎ−（ΣＡｉ／ｎ）^２　…（２）
但し、ｎ：監視領域の数
Ａａｖｅ：輝度和の平均値
【００８３】
ここで、車外の景色を正常に撮像した正常画像においては、輝度和Ａのばらつきが比較的大きくなるのに対し、ぼけが生じていると、輝度和Ａのばらつきが通常画像と比べて小さくなる。そこで、正常画像では生じ得ないような分散値ＶＡＲｔｈを実験等により求め、これを判定閾値として用いれば、画像ぼけの判定を行うことができる（ステップＳ８１）。
【００８４】
このステップＳ８１での判定において、ＶＡＲ≧ＶＡＲｔＨの場合には、正常画像（例えば第１の監視領域Ｒ１に空が映し出されている画像）であると判断されるため、前述のステップＳ７４でＮＧフラグを０にクリアし、一方、ＶＡＲ＜ＶＡＲｔｈの場合、すなわち、撮像画像がぼけの典型的な特徴である水平方向に輝度ばらつきが小さいという特徴を有している場合には、画像ぼけが生じていると判断してステップＳ８２でＮＧフラグを１にセットする。
【００８５】
本ルーチンによりＮＧフラグが１にセットされ、車両１００に送信されると、車両１００側では、通常制御を中止してフェールセーフ制御に移行する。この場合、通常の処理を一時的に中断すると共に、ワイパーまたはデフロスターの少なくとも一方を作動させるような制御指示としても良い。画像ぼけがウインドガラスの汚れに起因している場合には、ワイパーを作動させることにより、これを解消できる場合があり、また、画像ぼけがウインドガラスの曇りに起因して生じている場合は、デフロスターを作動させることにより、それを解消することができる場合があるからである。これにより、正常な画像が再び得られれば、フェール状態から正常な制御状態へすばやく復帰させることが可能となる。
【００８６】
以上の診断情報は、正常であると判断されている状態であっても、故障レベルに接近している場合には、実際のデータ、関連する他のパラメータ、故障判定の閾値等の診断用パラメータ、診断時や診断前後の運転状態・制御状態、ラインエンド１５６で収集した初期データと共にデータベースＤＢに蓄積される。これにより、個々の車両に搭載される画像認識システムの市場での実働状態を把握し、現在の状態が故障レベルに対して、どの程度のレベルにあるかを推定することができ、推定した各部品の劣化状態と合わせて、近い将来に故障が発生するか否かを判断することが可能となる。そして、車両別の部品の劣化傾向、故障部品の推定結果、故障到達までの時間或いは走行距離等を、関連部署へフィードバックすることにより、画像認識システムの状態を確認し、信頼性及び耐久性の向上を図ると共に、診断仕様の評価、制御性の評価を行うことができる。
【００８７】
従って、画像認識システムに故障が発生する前にユーザへ点検時期の予告が可能となり、修理に要する費用・時間を削減することができるばかりでなく、サービス工場においても、配信された診断情報により、対応部品の事前手配、作業計画の円滑運用を可能とすることができる。
【００８８】
【発明の効果】
以上説明したように本発明によれば、個々のユーザの車両に搭載される制御装置の診断情報を一括管理して有効活用し、車両側の演算負荷を軽減することができる。
【図面の簡単な説明】
【図１】車両管理システムの全体構成図
【図２】車両のネットワーク系を示す説明図
【図３】車載の画像認識システムの構成を示すブロック図
【図４】映像信号の伝送異常診断ルーチン（１）のフローチャート
【図５】映像信号の伝送異常診断ルーチン（２）のフローチャート
【図６】距離データの信頼性診断ルーチン（１）のフローチャート
【図７】距離データの信頼性診断ルーチン（２）のフローチャート
【図８】画像間の明るさバランス診断ルーチンのフローチャート
【図９】画像ぼけ診断ルーチンのフローチャート
【符号の説明】
１　ステレオカメラユニット
２　画像認識ユニット
１００　車両
＃０１ａ　通信ユニット
１１０　携帯電話
ＤＢ　データベース
１０１，１５０，１６０，１７０，…　ネットワーク

Claims

個々の車両に搭載される制御装置のデータを外部のデータベースに送信及び蓄積し、
上記データベースに送信された上記データに基づいて個々の車両の上記制御装置を診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする車両管理システム。
個々の車両に搭載される画像認識システムのデータを外部のデータベースに送信及び蓄積し、
上記データベースに送信された上記データに基づいて個々の車両の上記画像認識システムを診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする車両管理システム。
上記診断結果を、該当車両のユーザ及び上記データベースへのアクセス権を有する部署の少なくとも一者に配信することを特徴とする請求項１又は２記載の車両管理システム。
上記制御情報は、フェールセーフ制御情報であることを特徴とする請求項２又は３記載の車両管理システム。
上記画像認識システムの診断は、上記画像認識システムの映像ケーブルの異常或いは撮像系の回路異常に対する診断であることを特徴とする請求項２，３，４の何れか一に記載の車両管理システム。
上記画像認識システムの診断は、上記画像認識システムにおける撮像系の視界不良或いは焦点異常に対する診断であることを特徴とする請求項２，３，４の何れか一に記載の車両管理システム。
上記画像認識システムは、ステレオ撮像系を有するシステムであり、
上記画像認識システムの診断は、上記ステレオ撮像系で撮像した一対の画像から算出した距離データのバラツキに対する診断であることを特徴とする請求項２，３，４の何れか一に記載の車両管理システム。
上記画像認識システムは、ステレオ撮像系を有するシステムであり、
上記画像認識システムの診断は、上記ステレオ撮像系で撮像した一対の画像間の明るさバランスに対する診断であることを特徴とする請求項２，３，４の何れか一に記載の車両管理システム。