JP2004020237A - 車両管理システム - Google Patents
車両管理システム Download PDFInfo
- Publication number
- JP2004020237A JP2004020237A JP2002172007A JP2002172007A JP2004020237A JP 2004020237 A JP2004020237 A JP 2004020237A JP 2002172007 A JP2002172007 A JP 2002172007A JP 2002172007 A JP2002172007 A JP 2002172007A JP 2004020237 A JP2004020237 A JP 2004020237A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- diagnosis
- image
- image recognition
- distance data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】個々のユーザの車両に搭載される制御装置の診断情報を一括管理して有効活用し、車両側の演算負荷を軽減する。
【解決手段】ステレオカメラユニット1で撮像した画像データや画像認識ユニット2内で演算した距離データを、車内ネットワーク内の通信ユニット#01aを介して中央情報管理センターに送信し、中央情報管理センターで映像信号の伝送異常、距離データのバラツキ過多による信頼性低下、基準画像と画像画像との明るさバランス不良、画像ぼけ等を診断する。そして、中央情報管理センターから該当する車両にNGフラグを制御情報として送信し、異常の場合に画像認識システムの動作を通常動作からフェールセーフへ移行させる。これにより、個々の車両の画像認識システムの診断情報を一括管理して有効活用すると共に、個々の車両側での診断プログラムを不要とし、画像処理の負荷を軽減する。
【選択図】 図1
【解決手段】ステレオカメラユニット1で撮像した画像データや画像認識ユニット2内で演算した距離データを、車内ネットワーク内の通信ユニット#01aを介して中央情報管理センターに送信し、中央情報管理センターで映像信号の伝送異常、距離データのバラツキ過多による信頼性低下、基準画像と画像画像との明るさバランス不良、画像ぼけ等を診断する。そして、中央情報管理センターから該当する車両にNGフラグを制御情報として送信し、異常の場合に画像認識システムの動作を通常動作からフェールセーフへ移行させる。これにより、個々の車両の画像認識システムの診断情報を一括管理して有効活用すると共に、個々の車両側での診断プログラムを不要とし、画像処理の負荷を軽減する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、個々のユーザの車両に搭載される制御装置のデータを一括管理して有効活用する車両管理システムに関する。
【0002】
【従来の技術】
一般に、自動車等の車両に搭載される電子制御装置は、自己診断機能によるオンボード診断で異常発生の有無を監視しており、このオンボード診断の結果、異常を検出した場合には、警告灯等を点灯して運転者に警告を発し、ディーラ等のサービス工場への入庫による点検・修理を促すようにしている。サービス工場では、車載の電子制御装置に故障診断装置等の外部装置を接続することで車載電子制御装置から故障部位やトラブルデータ等の内部データを読出し、読出したデータに基づいて点検・修理を行う。
【0003】
尚、この種の故障診断装置として、本出願人による特公平7−15427号公報に開示されている故障診断装置がある。この故障診断装置は、故障診断装置本体、或いは故障診断装置本体に外部のエキスパートシステム用コンピュータを接続して車載電子制御装置内のデータ、すなわち車載電子制御装置内に記憶されているセンサ類の検出信号やアクチュエータ類に出力する制御信号、及びシステム内部の演算データ等を読込むことができ、不具合箇所或いは故障原因を探究し、必要な修理、又は調整を行うことができる。
【0004】
【発明が解決しようとする課題】
しかしながら、車両側で本来の制御に加えて異常検出のための自己診断を行うことは、システム自体に負担がかかる。特に、最近では、車載のカメラで撮像した画像による画像認識システムを備え、前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、あるいは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の制御を行うものがあり、この画像認識には膨大な演算量を必要とするため、システム自体に多大な負担をかけ、画像認識の演算に加えて故障を自己診断することは、システムに更なる負担をかけることになる。
【0005】
更に、車両側のオンボード診断は、ユーザの日常の実使用条件下において、実際に故障が発生したときに警告灯を点灯する等といった程度にしか活用されておらず、故障が発生した後、外部の故障診断装置で診断データを読出して初めて点検・修理が可能となる。
【0006】
本発明は上記事情に鑑みてなされたもので、個々のユーザの車両に搭載される制御装置の診断情報を一括管理して有効活用し、車両側の演算負荷を軽減することのできる車両管理システムを提供することを目的としている。
【0007】
【課題を解決するための手段】
上記目的を達成するため、本発明による第1の車両管理システムは、個々の車両に搭載される制御装置のデータを外部のデータベースに送信及び蓄積し、上記データベースに送信された上記データに基づいて個々の車両の上記制御装置を診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする。
【0008】
また、第2の車両管理システムは、個々の車両に搭載される画像認識システムのデータを外部のデータベースに送信及び蓄積し、上記データベースに送信された上記データに基づいて個々の車両の上記画像認識システムを診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする。
【0009】
その際、画像認識システムの診断結果は、該当車両のユーザ及びデータベースへのアクセス権を有する部署の少なくとも一者に配信することが望ましい。また、診断結果に基づいて車両に送信される制御情報は、フェールセーフ制御情報であることが望ましい。
【0010】
画像認識システムの診断は、画像認識システムの映像ケーブルの異常或いは撮像系の回路異常、撮像系の視界不良或いは焦点異常が診断され、画像認識システムにステレオ撮像系を有する場合には、ステレオ撮像系で撮像した一対の画像から算出した距離データのバラツキ、ステレオ撮像系で撮像した一対の画像間の明るさバランスが診断される。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図1〜図9は本発明の実施の一形態に係わり、図1は車両管理システムの全体構成図、図2は車両のネットワーク系を示す説明図、図3は車載の画像認識システムの構成を示すブロック図、図4は映像信号の伝送異常診断ルーチン(1)のフローチャート、図5は映像信号の伝送異常診断ルーチン(2)のフローチャート、図6は距離データの信頼性診断ルーチン(1)のフローチャート、図7は距離データの信頼性診断ルーチン(2)のフローチャート、図8は画像間の明るさバランス診断ルーチンのフローチャート、図9は画像ぼけ診断ルーチンのフローチャートである。
【0012】
図1は、工場の生産ラインにおける車両の制御情報の初期値を蓄積・管理すると共に、市場における各ユーザの車両毎の車両健康状態を24時間リアルタイムで管理し、ユーザに最新の自己車両情報(健康状態)を提供するための車両管理システムを示すものである。この車両管理システムにおいては、市場における車両100毎に、車載制御装置のデータ(車両情報)をリアルタイムで外部に無線通信可能なデータ通信手段としての無線通信端末110が備えられ、この無線通信端末110を介して送信された車両情報が中央情報管理センター151におけるホストコンピュータ151aのデータベースDBに蓄積されて管理される。
【0013】
車両100と中央情報管理センター151との間のデータ通信には、図示しない基地局を介した移動体無線通信システムや図示しない人工衛星を介した衛星通信システム等を利用することができる。また、車両100の車両情報を送信する無線通信端末110としては、車両100の制御装置にハーネスを介して接続される通信端末でも良いが、車載の制御装置との間でワイヤレス通信を行うことにより車両100と切り離して携帯可能な小型通信端末を採用することが望ましい。
【0014】
この携帯可能な通信端末として、本形態では、車載の制御装置とのワイヤレス通信のための通信回路を内蔵した携帯型電話機(携帯電話)を採用し、以下、無線通信端末110を携帯電話110として説明する。尚、既にユーザが携帯電話を所有している場合には、ユーザの携帯電話に接続してデータを送信させる通信端末でも良い。
【0015】
このため、本形態においては、車両100に搭載される制御装置が単一である場合、その制御装置にワイヤレス通信を制御するための通信回路が内蔵される。また、車両100に複数の制御装置、例えば、図2に示すように、制御装置#01,#02,#03,#04,#05,…が搭載されている場合には、各制御装置#01,#02,#03,#04,#05,…がネットワーク101を介して互いに接続され、制御情報が一元化されることが望ましく、ネットワーク101中の所定の制御装置、例えば制御装置#01にワイヤレス通信を制御するための通信ユニット#01aが内蔵される。
【0016】
尚、ネットワーク101は、リアルタイム制御に適した車両用のネットワークであり、また、車載の制御装置との間のワイヤレス通信方式としては、例えば、近距離のワイヤレス通信を司るブルートゥース(Bluetooth)規格による通信方式やその他の通信方式を採用することができる。
【0017】
車両100の制御装置に備えられた通信ユニット#01aは、ユーザの専用の携帯電話110との間のワイヤレス通信を可能とするばかりでなく、以下に説明するように、工場の生産ラインにおけるラインエンドの検査ツールやディーラ等のサービス工場におけるサービスツールとの間のワイヤレス通信を可能とする。
【0018】
一方、中央情報管理センター151は、図1に示すように、専用のネットワーク150を介して、開発本部152、ソフトウエア開発環境153、営業・サービス本部154、検査・品質保証本部155等の複数の部門に接続されると共に、工場の生産ラインにおけるラインエンド156のシャーシダイナモメータ156a上で車両100を検査するための検査ツール156bに接続されている。検査ツール156bには、車両100の制御装置に備えられた通信ユニット#01aとワイヤレス通信を行うための通信アダプタが備えられている。
【0019】
また、この専用のネットワーク150には、各地のディーラ等の専用のネットワーク160,170,…が接続され、各ネットワーク160,170,…に、それぞれに接続されるサービスツール161,171,…やセールスツール162,172,…等を介して中央情報管理センター151の管理情報に基づく車両100の実際の診断や修理を可能とする車両管理システムが形成される。更に、各専用のネットワーク150,160,170,…は、一般公開用ネットワークとしてのインターネット180に相互接続されており、携帯電話110を介しての情報提供に加え、各ユーザのパーソナルコンピュータ(パソコン)PCを介しての情報提供を可能としている。
【0020】
以上の車両管理システムでは、工場の生産ラインにおけるラインエンド156で、検査ツール156bを用いて個々の車両の制御情報の初期値(初期情報)を蓄積する。そして、市場への出荷後は、初期情報にユーザからのアクセスによる車両情報を加えて蓄積する。この場合、各ユーザは、自己の車両100が稼動状態にあれば、停車中か走行中かに拘らず自己の車両情報を中央情報管理センター151に随時無線送信することが可能である。
【0021】
すなわち、ユーザは、自己の車両100の状態を知りたい場合には、車両100の携帯電話110を用いて中央情報管理センター151に車両情報を送信することにより、自己の車両の整備状態や不具合の有無等の車両健康状態に係わる情報を受け取ることができる。特に、走行中の車両から無線通信によってリアルタイムでデータを送信することができるため、走行中にしか現れない異常や再現性の希薄な異常等、従来では迅速な原因究明が困難であった故障に対しても、迅速に原因を究明して対処することが可能となる。
【0022】
ユーザが自己の車両100の車両情報を中央情報管理センター151に送信するには、車両100の携帯電話110を用い、この携帯電話110に予めセットされている特定の番号を押すのみで良く、自動的に車両100の制御装置#01とのワイヤレス通信がスタンバイすると共に中央情報管理センター151を呼び出す。そして、携帯電話110と中央情報管理センター151との接続が確立すると、車両100内のネットワーク101を介した各制御装置のデータが制御装置#01の通信ユニット#01aから車体番号が付加されて携帯電話110へ送信され、更にユーザの識別コード等が付加されて携帯電話110をスルーし、中央情報管理センター151へ送信される。
【0023】
中央情報管理センター151のデータベースDBに蓄積された車両の初期情報及び市場における情報(個々のユーザ毎の車両情報)は、データベースDBへのアクセス権を与えられた各部署にネットワーク150を介して配信され、車両健康状態を管理すると共に各種サービスを行う。すなわち、ユーザの車両における各種部品の使用頻度情報の収集、制御アルゴリズムの評価、リアルタイムな診断や不具合対応、各部品の経時変化を把握しての予測診断、再現困難な不具合の診断等を該当部署にて行い、制御アルゴリズムの改良や新規開発のための情報収集等を該当部署にて行う。
【0024】
また、ユーザサービスの一環として、ユーザの車両100の入庫前の事前診断、個別ユーザに対応した定期検査等の入庫連絡等を該当部署にて行い、ディーラ等に情報を配信してサービスツール161(171)による点検或いは診断を指示する。更に、市場における部品レベルでの絶対的な品質評価、リアルタイムな生の統計データの採取、部品製造メーカ毎の相対的な品質評価等を該当部署にて行い、評価結果を各部門にフィードバックする。
【0025】
各ユーザの車両に対するデータ解析結果や診断結果等の情報は、中央情報管理センター151において各ユーザ毎の履歴情報として時系列的に蓄積される。そして、インターネット180上のホームページを介して、或いは、直接、携帯電話110を介して個々のユーザに提供される。すなわち、各ユーザは、自己のパソコンPCからインターネット180を介して該当するホームページにアクセスし、或いは携帯電話110から中央情報管理センター151に直接アクセスし、予め登録してある自己の識別番号、氏名、パスワード等を入力し、自己の車両情報を閲覧することができる。尚、正規に登録されたユーザからパソコンPCを介して中央情報管理センター151のホストコンピュータ151aへアクセスすることも可能であるが、その場合、セキュリティを考慮してユーザからのアクセスには制限が設けられ、自己の車両に関する診断結果等の一般情報の閲覧のみが許可される。
【0026】
次に、以上の車両管理システムによる車両100の管理内容として、車両100に搭載される画像認識システムに対する診断情報の管理について説明する。
【0027】
図3に示すように、車両100に搭載される画像認識システムは、本形態においては、基準側及び比較側の一対のカメラからなるステレオカメラユニット1を撮像系として備え、このステレオカメラから出力される一対の映像信号を処理し、左右画像における同一対象物の位置に関する相対的なズレ(視差)から三角測量の原理に基づき距離データを算出し、この距離データによる対象物の三次元位置情報に基づいて該当する車両を取巻く走行環境(例えば、該当する車両の走行経路上に存在する先行車両や障害物等)を認識する画像認識ユニット2を備えて構成される。
【0028】
画像認識ユニット2は、認識結果に応じてドライバーに注意を喚起するための警報を出力したり、シフトダウンや減速等を促すための制御情報を出力する。更に、画像認識ユニット2は、ユーザによる携帯電話110を介したデータ送信時に、ステレオカメラユニット1で撮像した画像データやユニット内で演算した距離データを、車内ネットワーク101内の通信ユニット#01aを介して中央情報管理センター151に送信する。
【0029】
中央情報管理センター151では、画像データや距離データによる。更に、中央情報管理センター151では、受信したデータを解析し、車両100の画像認識システムに対し、例えば、以下の(A)〜(D)に示す項目について診断を実行する。これにより、個々の車両での診断プログラムが不要となり、画像処理における負荷を軽減することができる。
(A)映像信号の伝送異常
(B)距離データのバラツキ過多による信頼性低下
(C)基準画像と画像画像との明るさバランス不良
(D)撮像画像の画像ぼけ
【0030】
診断項目(A)は、映像ケーブルの断線やショート、コネクタ外れ、ステレオカメラユニット1内の回路異常等に起因して発生する異常を診断するものであり、診断項目(B)は、降雨またはウインドウガラスの汚れ・曇り等の外乱的な要因による視界不良、ノイズの影響、或いは装置自体の故障、衝撃等によるステレオカメラ対の取付位置のずれ等に起因する距離データの信頼性低下を診断するものである。また、診断項目(C)は、カメラ光学系(特にレンズ)の汚れや、フロントガラスの部分的な汚れ、雨滴による乱反射等に起因して一対の画像間で明るさバランスのずれを診断するものであり、診断項目(D)は、カメラ光学系(特にレンズ)やフロントガラスに関する曇りや汚れによる視界不良、カメラの焦点異常等に起因して発生する画像のぼけを診断するものである。
【0031】
尚、診断項目(B),(C)は、本形態のステレオカメラ特有の項目であるが、診断項目(A),(D)は、ステレオカメラのみならず、単眼のカメラを撮像系として備える場合であっても適用できる。
【0032】
そして、診断により異常と判定した場合には、中央情報管理センター151から該当する車両に異常発生を知らせるフラグ(NGフラグ)を制御情報として送信し、該当車両における画像認識システムの動作を通常動作からフェールセーフ動作へと移行させる。
【0033】
以下、中央情報管理センター151における車両100の画像認識システムに対する診断処理について説明する。尚、本形態においては、中央情報管理センター151で個々の車両の画像認識システムの診断を行う例について説明するが、この診断を、開発本部152、ソフトウエア開発環境153、営業・サービス本部154、検査・品質保証本部155等のネットワーク150に接続される該当部門で行うようにしても良い。
【0034】
(A)映像信号の伝送異常診断
この診断は、図4に示す診断ルーチン(1)或いは図5に示す診断ルーチン(2)によって実施される。診断ルーチン(1)は、映像信号中の同期信号を監視することで異常発生を診断するものであり、先ず、ステップS11で、映像信号中の同期信号入力後の経過時間を計時する計時カウンタの値を読込み、ステップS12で、計時カウンタのカウント値が設定値以上か否かを調べる。
【0035】
そして、カウント値が設定値より小さく、同期信号が設定時間より短い時間間隔で入力されている場合には、映像信号が正常に入力されていると判断し、ステップS12からステップS13へ進んでNGフラグを0にクリアする。一方、ステップS12において、計時カウンタのカウント値が設定値以上である場合には、映像信号を伝送するケーブルの断線やショート或いはコネクタ外れ、ステレオカメラユニット1内の回路異常等が発生して同期信号が計時カウンタに入力されなくなったと判断し、ステップS12からステップS14へ進んでNGフラグを1にセットする。
【0036】
これらのNGフラグの値は、中央情報管理センター151から該当するユーザの車両100に制御情報として送信され、1にセットされたNGフラグ1を受信した車両側では、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【0037】
また、ケーブルの断線・ショート或いはコネクタ外れ、ステレオカメラユニット1内の回路異常等が発生し、映像信号が画像認識ユニット2に入力されなくなると、画像認識ユニット2における映像信号の振幅値が減衰してゆき、やがて設定値以下になる。
【0038】
図5に示す診断ルーチン(2)は、この点に着目して異常発生を判定するものであり、先ず、ステップS21で、映像信号の振幅値を、映像信号の振幅のピーク値をホールドする振幅検出器やソフトウエア処理で実現した振幅検出手段から読込み、ステップS22で、振幅値が設定値以下か否かを調べる。
【0039】
そして、映像信号の振幅値が設定値を超えている場合には、映像信号は正常であると判断してステップS22からステップS23へ進み、NGフラグを0にクリアする。一方、ステップS22において、映像信号の振幅値が設定値以下の場合には、ケーブルの断線やショート或いはコネクタ外れ、ステレオカメラユニット1内の回路異常等が発生して映像信号が入力されずに振幅値が減衰したと判断し、ステップS24でNGフラグを1にセットする。
【0040】
これらのNGフラグの値は、中央情報管理センター151から該当するユーザの車両100に制御情報として送信され、1にセットされたNGフラグを受信した車両側では、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【0041】
(B)距離データの信頼性診断
距離データの信頼性は、図6に示す診断ルーチン(1)或いは図7に示す診断ルーチン(2)によって診断される。
【0042】
図6に示す診断ルーチン(1)では、先ず、ステップS31で距離画像(距離データを有する画像)データを読み込み、ステップS32で、この距離画像中に第1の監視領域R1を設定する。この監視領域R1は、本診断ルーチンでは、主に路面が映し出される領域を診断対象とし、例えば、画像の下側領域において垂直方向長が短く、且つ水平方向長がそれよりも長い横長矩形領域として設定される。
【0043】
次に、ステップS33へ進み、第1の監視領域R1内の距離データのうち、有効距離データを抽出する。ここで、有効距離データは、画像の横方向(水平方向)において輝度エッジ(閾値以上の輝度変化量を有する隣接画素対)を所定数以上有する画素ブロックに関する距離データであり、横方向の輝度変化に特徴がある画素ブロックに関する距離データを評価対象とすることで、ノイズ的な距離データを除外して診断精度を向上させる。
【0044】
続くステップS34では、第1の監視領域R1における有効距離データの全体的なばらつきの状態を評価するために、分散値VAR1を以下の(1)式に基づいて算出する。
VAR12={(Z1−Zave)2+(Z2−Zave)2+ ・・・ +(Zn−Zave
)2}/n=Σ(Zi2)/n−(ΣZi/n)2 …(1)
但し、n:第1の監視領域R1内の有効距離データの数
Zi:i番目の有効距離データの値
Zave:第1の監視領域R1内の有効距離データの平均値
【0045】
監視領域R1内の距離データは、通常の路面状況であればばらつきは比較的少なく、フェールとすべき状況(路面状況またはノイズ等の外的要因)では、ばらつきが大きくなるという特性がある。すなわち、降雨時等において、周囲の立体物(先行車や建物等)が路面に映り込んでいるようなケースでは、映り込んでいる立体物の影響で誤った距離データが算出されることがあり、その結果、本来の路面状況に起因して生じる距離データ以外にも、映り込んだ立体物の距離データも加わるため、第1の監視領域R1における有効距離データのばらつきが大きくなる傾向がある。
【0046】
また、外的要因による距離データ異常、例えばカメラ信号のようなシステムの内部信号が、電気的なノイズの影響を受けた場合、算出された距離データにもノイズが乗る。その結果、個々の距離データがばらつくため、第1の監視領域R1における有効距離データのばらつきが大きくなる。同様の現象は、衝撃によるステレオカメラの取り付け位置のずれ、或いは、ウインドガラスやカメラレンズの曇り・汚れになどに起因して生じることがあり、第1の監視領域R1における有効距離データの全体的なばらつきが大きくなる傾向がある。
【0047】
従って、ステップS34に続くステップS35では、このような観点を踏まえて適切に設定された判定閾値VAR1thに対し、分散値VAR1の大きさを評価する。そして、ステップS35において、VAR1<VAR1thの場合には、算出された距離データは信頼し得るものと判断してステップS36でNGフラグを0にクリアし、一方、VAR1≧VAR1thの場合、算出された距離データの信頼性が低いものと判断してステップS37でNGフラグを1にセットする。尚、判定閾値VAR1thの値は昼と夜とで変えるように設定しても良く、また、自車両の車速に応じて変えるようにしても良い。
【0048】
一方、主として立体物の距離データを診断対象とする場合には、図7に示す診断ルーチン(2)が実行される。この診断ルーチン(2)では、先ず、ステップS41で距離画像データを読み込み、ステップS42で、走行車等が存在し得る比較的中央の画像領域に第2の監視領域R2を設定する。先行車等の立体物が前方に存在する場合、先行車等は地面(道路面)に対してほぼ垂直に立っていることが多いため、第2の監視領域R2は、その垂直面が映し出される領域、例えば、所定個数の縦長矩形領域が画像の中央領域に設定され、個々の矩形領域は、水平長が短く、且つそれよりも垂直長が長く設定される。
【0049】
ステップS42に続くステップS43において、第2の監視領域R2内の距離データのうち、前述したような手法に従って有効距離データを抽出する。そして、ステップS44において、第2の監視領域R2に関する垂直方向の距離データのばらつきを検証するために、各縦長矩形領域に基づいて、距離データの垂直方向分散値VAR2を算出する。具体的には、第2の監視領域R2の全体的ばらつきを精度よく検証でき、且つ、それに伴う演算量を極力減らす観点から、以下のような算出手法により分散値VAR2を求めている。
【0050】
先ず、第2の監視領域R2を構成する各縦長矩形領域に関する距離データのばらつきを調べるために、上述した(1)式に従って有効距離データの分散値VAR2iが矩形領域毎に算出される。次に、各分散値VAR2iから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その平均値をVAR2とする。
【0051】
このようにして算出された分散値VAR2、すなわち第2の監視領域R2の垂直方向における距離のばらつきは、垂直面ではほぼ等距離が算出されるため、正常な状態においては、ばらつきは比較的少ない。すなわち、縦長矩形領域に映し出される立体物は、通常、路面に対して垂直に立っており、且つ矩形領域に占める立体物の割合が大きくなるため、矩形領域における有効距離データのばらつきはあまり大きくならない。一方、ステレオカメラの取付位置がずれていたり、カメラレンズが汚れている場合、更には、システムの内部信号にノイズが乗ってしまった場合等においては、縦長矩形領域における有効距離データのばらつきが大きくなる傾向にある。
【0052】
従って、ステップS44に続くステップS45では、このような観点を踏まえて適切に設定された判定閾値VAR2thを基準に分散値VAR2の大きさを評価する。そして、ステップS44において、VAR2<VAR2th、すなわち第2の監視領域R2の有効距離データのばらつきが小さい場合には、距離データは信頼し得るものと判断してステップS46でNGフラグを0にクリアする。尚、判定閾値VAR2thの値は、昼と夜とで変えるように設定しても良く、また、自車輌の車速に応じて変えるようにしても良い。
【0053】
これに対し、先行車や市街地の建物といった立体物等があまり存在しない状況においては、縦長矩形領域には白線を含む路面や遠くの景色が混在して映し出されることから、正常な状況であっても、矩形領域に関する有効距離データのばらつきが大きくなる傾向にある。従って、ステレオカメラの取付位置がずれていたり、カメラレンズが汚れている場合と同様、どちらも分散値VAR2が判定しきい値VAR2thを越えるため、ステップS45における判定だけで両者を区別することができない。
【0054】
そこで、距離データのばらつきをさらに検証すべく、ステップS47以降の処理を実行する。すなわち、先ず、ステップS47において、画像の水平方向において、第2の監視領域R2の外側に、第3の監視領域R3を設定する。第3の監視領域R3は、走行路の両側の立体物が存在し得る比較的両サイドの画像領域で、例えば、所定個数の横長矩形領域(水平長が長く、それよりも垂直長が短い)で構成される。
【0055】
次に、ステップS48において、第3の監視領域R3内の距離データのうち、有効距離データを上述した手法によって抽出すると、ステップS49において、第3の監視領域R3を構成する横長矩形領域に基づいて、距離データの水平方向分散値VAR3を算出する。第3の監視領域R3の水平方向のばらつきを精度よく検証でき、且つ、それに伴う演算量を極力減らす観点から、以下のような算出手法により分散値VAR3を求める。
【0056】
先ず、左側の第3の監視領域R3(L)を構成する各横長矩形領域に関する距離データのばらつきを調べるために、上述した(1)式に従い有効距離データの分散値VAR3(L)iが矩形領域毎に算出される。次に、各分散値VAR3(L)iから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その値をVAR3(L)とする。
【0057】
同様に、右側の第3の監視領域R3(R)を構成する各横長矩形領域に関する距離データのばらつきを調べるために、上述した(1)式2に従い、有効距離データの分散値VAR3(R)iが矩形領域毎に算出される。次に、各分散値VAR3(R)iから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その値をVAR3(R)とする。
【0058】
このようにして算出された2つの分散値VAR3(L),VAR3(R)のうち、値が小さい方を第3の監視領域R3の水平方向における全体的な輝度のばらつきを示す分散値VAR3として採用する。この水平方向の分散値VAR3は、先行車や市街地の建物といった近くの立体物が多数映し出されている状況では、横長矩形領域に距離の異なる複数の立体物が映し出されるため、有効距離データのばらつきが大きくなる傾向にあるが、逆に、近くの立体物があまり映し出されていない状況では、主として遠方の景色が映し出されるため、有効距離データのばらつきはあまり大きくならない傾向にある。一方、ステレオカメラの取付位置のずれやカメラレンズの汚れ等が生じると、有効距離データのばらつきが大きくなる傾向にある。
【0059】
すなわち、第3の監視領域R3の有効距離データのばらつきが大きく、且つ、第2の監視領域R2のそれも大きくなるのは、外的要因により距離データに異常が生じている場合のみ生じる現象であることがわかる。換言すると、通常の状況では、第2または第3の監視領域R2,R3のどちらか一方の有効距離データのばらつきが大きくなることはあっても、両方が大きくなることはほとんど生じないという特性がある。
【0060】
従って、ステップS49に続くステップ50では、このような特性を踏まえて適切に設定された判定閾値VAR3thを基準に分散値VAR3の大きさを評価することで、先のステップS45の判断では区別できなかったケースを区別する。すなわち、ステップS50では、分散値VAR3が所定の判定閾値VAR3thよりも大きいか否かを判断する。
【0061】
そして、VAR3<VAR3thの場合、つまり第3の監視領域R3の有効距離データのばらつきが小さい場合には、算出された距離データは信頼し得るものと判断してステップS50からステップS46へ進み、NGフラグが0にクリアする。一方、VAR3≧VAR3thの場合には、異常と判断してステップS50からステップS51へ進み、NGフラグを1にセットする。尚、判定閾値VAR3thの値は、昼と夜とで変えるように設定しても良く、また、自車両の車速に応じて変えるようにすることが好ましい。
【0062】
これらのNGフラグが中央情報管理センター151から該当するユーザの車両100に制御情報として送信され、NGフラグを受信した車両側では、NGフラグの値が1である場合、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【0063】
(C)画像間の明るさバランスの診断
この明るさバランスの診断は、図8に示す診断ルーチンによって実行される。この診断ルーチンでは、先ず、ステップS61において、ステレオ画像対(基準画像および比較画像)の輝度状態を調べるために、監視領域内の各画素の輝度値を読み出す。基準画像には、その上領域、中領域、および下領域に、監視領域R1,R2,R3がそれぞれ設定され、一方、比較画像には、その上領域、中領域、および下領域に、監視領域R4,R5,R6がそれぞれ設定されている。
【0064】
監視領域R1,R2,R3は、左画像中の監視領域R4,R5,R6と「位置的に対応」している。本明細書において、「位置的に対応」とは、左右の監視領域が完全に同じ位置に設定されている場合はもとより、ステレオマッチングを考慮して、位置的に若干オフセットして設定されている場合も含むという広い意味で用いている。このオフセット量は、それぞれの監視領域内に一般的に存在するであろう対象物の視差の傾向を考慮して決定することが好ましい。
【0065】
例えば、車両の前方認識では、画像領域の上側に設定された監視領域R1,R4には、通常、空(無限遠)や比較的遠方の立体物(例えばビル等)が映し出される傾向がある。従って、この領域内において算出される視差は、比較的小さくなる傾向にある。そこで、画像上部に映し出される立体物等の距離の傾向を考慮して、監視領域R1,R4に関するオフセット量は小さめに設定しておく。
【0066】
また、画像領域の中側に設定された監視領域R2,R5には、通常、前方を走行中の車等が映し出される傾向があるため、この領域内における視差は中程度になる傾向にある。従って、このような画像中部に映し出される風景の傾向を考慮して、監視領域R2,R5に関するオフセット量は中程度に設定しておく。
【0067】
更に、画像領域の下側に設定された監視領域R3,R6には、通常、道路等の地表が映し出される傾向があるため、この領域内における視差は比較的大きくなる傾向にある。従って、このような画像下部に映し出される景色の傾向を考慮し、監視領域R3,R6に関するオフセット量は比較的大きめに設定しておく。
【0068】
このようにして、各領域内に映し出される景色の距離的な傾向を考慮して、各監視領域をステレオマッチング方向にオフセットさせている。それにより、位置的に対応した左右の監視領域対が、同一の対象物を映し出すようにできるため、正常な撮像状況では、各監視領域対はほぼ同じ輝度状態となる。
【0069】
ステップS61に続くステップS62において、第1の監視領域の輝度の大きさと第2の監視領域の輝度の大きさとが算出される。すなわち、基準画像領域内の第1の監視領域R1,R2,R3内に存在する各画素の輝度値の平均値A1を求め、同様に、比較画像領域内の第2の監視領域R4,R5,R6内に存在する各画素の輝度値の平均値A2を求める。
【0070】
そして、ステップS63において、第1の監視領域の輝度平均値A1と第2の監視領域の輝度平均値A2との差(絶対値)が、所定の判定閾値以上であるか否かが判断される。上述したように、基準画像及び比較画像の両監視領域内には、ほぼ同一の景色が映し出されているため、基準及び比較の両画像の明るさのバランスがとれている正常な状況では、両監視領域の輝度平均値A1,A2は、ほぼ等しくなる。
【0071】
従って、正常な状況では、ステップS63での判定結果が否定判定となり、ステップS64でNGフラグが0にクリアされる。これに対して、例えば、一方のカメラだけが目隠しされてしまい正常画像を得られないような状況や、一方のカメラのレンズやフロントガラス等の部分的な汚れや曇り、或いは、雨滴による乱反射等によって、正常画像を得られないような状況が発生し、外乱によって明るさのアンバランスが生じると、ステップS63において肯定判定され、ステップS65でNGフラグが1にセットされる。そして、本ルーチンによって1にセットされたNGフラグが中央情報管理センター151から該当するユーザの車両100に制御情報として送信されると、車両100側では、通常制御を中止してフェールセーフ制御に移行する。
【0072】
(D)画像ぼけ診断
画像ぼけ診断は、図9に示す診断ルーチンによって実施される。この診断ルーチンでは、先ず、ステップS71で、撮像画像の距離データと画素の輝度値(画像データ)とをそれぞれ読み出す。次に、ステップS72へ進み、第1の監視領域BR1内において均一に分散するような画素を演算対象として、全体的な輝度の大きさを示す輝度平均値Sを算出する。
【0073】
画像ぼけが生じているか否かは、第1の監視領域BR1(及び後述する第2の監視領域BR2)内の輝度に基づいて判断される。第1の監視領域BR1は、例えば、画像領域の中央上部に設定され、所定のサイズを有する長方形状(画像の水平方向に延在)の領域である。ここに監視領域を設定した理由は、自車両の前方を一般的な車間距離で走行する他車両(すなわち最も注意すべき監視対象)がこの領域内に映し出されることが多いので、この領域の画像ぼけが特に問題となるからである。
【0074】
続くステップS73では、輝度平均値Sが所定の判定閾値Sthよりも大きいか否かを調べる。外因によりカメラの焦点がぼやけ、撮像された画像がぼけてしまっている状況では、画像の全体的な輝度は大きくなる傾向にある。画像がぼけてしまう状況は、例えば、霧や吹雪等による視界不良に起因して生じることや、カメラのレンズやフロントガラスに関する曇りや汚れといった撮像環境の悪化に起因して生じる。従って、このような傾向を考慮した適切な判定閾値Sthを設定し、この値と輝度平均値Sとの大小関係を比較することで、画像ぼけが生じている可能性を判定することができる。この判定閾値Sthは、車外の景色の明るさによって、その値を変えることが好ましく、例えば、夜の場合は判定閾値Sthを昼の場合よりも低く設定する。車外の景色の明るさは、例えば、カメラのシャッタースピードによって判断することが可能である。
【0075】
その結果、ステップS73において、S≦Sthの場合には、画像ぼけが生じていないものと判断し、ステップS74で、NGフラグを0にクリアする。一方、ステップS73において、S>Sthの場合には、画像ぼけが生じている可能性があるため、画像ぼけの有無をさらに検証すべく、ステップS75へ進んで第1の監視領域BR1の垂直方向のエッジ数Nを算出する。ここでの「エッジ数」とは、所定の規則にしたがって抽出された複数の画素対のうち、予め設定された値よりも大きな輝度変化量を有する画素対の数である。
【0076】
続くステップS76では、算出されたエッジ数Nが所定の判定閾値Nthよりも小さいか否かを調べる。ぼけているような異常画像では、本来、輝度が急激に変化すべき箇所(エッジ部)における輝度変化が緩やかになる傾向にある(それゆえ人間が視覚的にぼけているように感じる)。従って、通常の景色を映し出している状態では、それ以下になることは殆どないエッジ数Nthを実験的に求めておき、これをぼけ判断の判定閾値として用いることで、画像にぼけが生じている可能性があるか否かを判断することができる。
【0077】
このステップ76でN≧Nthの場合には、画像中にぼけは生じていないものと判断し、前述のステップ74で、NGフラグを0にクリアする。一方、ステップS76でN<Nthの場合には、更に、ぼけ画像の判別精度を向上させるため、ステップS77以下の処理を実行する。
【0078】
すなわち、ステップS77で、第1の監視領域R1の水平方向のエッジ数Dを算出し、ステップS78で、この水平方向のエッジ数Dが所定の判定閾値Dthよりも小さいか否かを調べる。ぼけ画像の特徴として、隣接画素間の輝度変化が少なくなる傾向があることから、ぼけ画像であれば、水平方向の画素対の輝度変化量が少なくなる。従って、正常な画像ではあまり生じ得ないようなエッジ数Dthを判定閾値として用いることで、画像ぼけの有無を判定する。
【0079】
そして、ステップS77において、D>Dthの場合には、画像中にぼけは生じていないものと判断して前述のステップ74でNGフラグを0にクリアし、D≦Dthの場合、更に、ステップS79以下の処理を実行する。すなわち、第1の監視領域R1の輝度平均値Sが比較的大きく、且つ、この領域内の水平及び垂直方向のエッジ数が少ない場合には、画像にぼけが生じている可能性が高いものの、登坂走行のように第1の監視領域R1に空が映し出され、第1の監視領域R1の輝度平均値Sが比較的大きくなると共に、この領域内のエッジ数Nが少なくなる場合がある。
【0080】
従って、このような正常な画像と画像ぼけとを区別するため、ステップS79以下で画像全体における水平方向の輝度分散を検証する。ステップS79では、先ず、画像領域中に設定された第2の監視領域BR2の輝度和Aを算出する。この第2の監視領域BR2は、画像領域全体における水平方向の輝度分布を調べるために設定される領域であり、長方形状(画像の垂直方向に延在)の複数の領域Niで構成されている。従って、輝度分布の精度を高めるためには、第2の監視領域BR2の水平方向長は、第1の監視領域BR1のそれよりも大きくすることが好ましい。
【0081】
輝度和Aは、それぞれの領域Niについて、その領域全体の輝度の大きさを調べるために算出される。ある領域Niにおける輝度和Aは、その領域Ni内において均一に分散するような複数の画素をサンプルとして抽出し、それらの輝度値を加算した値(またはそれらの平均値)として算出することができる。例えば、水平/垂直方向ともに所定画素ごとにサンプルを抽出しても良い。領域Ni内において均一に分散するようなサンプルを用いれば、その領域Ni内の輝度状態の特徴を適切に反映した輝度和Aを、少ない演算量で算出することができる。演算量を考慮しないのであれば、領域Ni内に含まれるすべての画素の輝度値を加算することにより、輝度値Aを算出することも当然可能である。
【0082】
そして、ステップ80において、輝度和Aのばらつきの程度を示す分散値VARを以下の(2)式に基づいて算出する。
VAR2={(A1−Aave)2+(A2−Aave)2+ ・・・ +(An−Aave)2}/n=Σ(Ai2)/n−(ΣAi/n)2 …(2)
但し、n:監視領域の数
Aave:輝度和の平均値
【0083】
ここで、車外の景色を正常に撮像した正常画像においては、輝度和Aのばらつきが比較的大きくなるのに対し、ぼけが生じていると、輝度和Aのばらつきが通常画像と比べて小さくなる。そこで、正常画像では生じ得ないような分散値VARthを実験等により求め、これを判定閾値として用いれば、画像ぼけの判定を行うことができる(ステップS81)。
【0084】
このステップS81での判定において、VAR≧VARtHの場合には、正常画像(例えば第1の監視領域R1に空が映し出されている画像)であると判断されるため、前述のステップS74でNGフラグを0にクリアし、一方、VAR<VARthの場合、すなわち、撮像画像がぼけの典型的な特徴である水平方向に輝度ばらつきが小さいという特徴を有している場合には、画像ぼけが生じていると判断してステップS82でNGフラグを1にセットする。
【0085】
本ルーチンによりNGフラグが1にセットされ、車両100に送信されると、車両100側では、通常制御を中止してフェールセーフ制御に移行する。この場合、通常の処理を一時的に中断すると共に、ワイパーまたはデフロスターの少なくとも一方を作動させるような制御指示としても良い。画像ぼけがウインドガラスの汚れに起因している場合には、ワイパーを作動させることにより、これを解消できる場合があり、また、画像ぼけがウインドガラスの曇りに起因して生じている場合は、デフロスターを作動させることにより、それを解消することができる場合があるからである。これにより、正常な画像が再び得られれば、フェール状態から正常な制御状態へすばやく復帰させることが可能となる。
【0086】
以上の診断情報は、正常であると判断されている状態であっても、故障レベルに接近している場合には、実際のデータ、関連する他のパラメータ、故障判定の閾値等の診断用パラメータ、診断時や診断前後の運転状態・制御状態、ラインエンド156で収集した初期データと共にデータベースDBに蓄積される。これにより、個々の車両に搭載される画像認識システムの市場での実働状態を把握し、現在の状態が故障レベルに対して、どの程度のレベルにあるかを推定することができ、推定した各部品の劣化状態と合わせて、近い将来に故障が発生するか否かを判断することが可能となる。そして、車両別の部品の劣化傾向、故障部品の推定結果、故障到達までの時間或いは走行距離等を、関連部署へフィードバックすることにより、画像認識システムの状態を確認し、信頼性及び耐久性の向上を図ると共に、診断仕様の評価、制御性の評価を行うことができる。
【0087】
従って、画像認識システムに故障が発生する前にユーザへ点検時期の予告が可能となり、修理に要する費用・時間を削減することができるばかりでなく、サービス工場においても、配信された診断情報により、対応部品の事前手配、作業計画の円滑運用を可能とすることができる。
【0088】
【発明の効果】
以上説明したように本発明によれば、個々のユーザの車両に搭載される制御装置の診断情報を一括管理して有効活用し、車両側の演算負荷を軽減することができる。
【図面の簡単な説明】
【図1】車両管理システムの全体構成図
【図2】車両のネットワーク系を示す説明図
【図3】車載の画像認識システムの構成を示すブロック図
【図4】映像信号の伝送異常診断ルーチン(1)のフローチャート
【図5】映像信号の伝送異常診断ルーチン(2)のフローチャート
【図6】距離データの信頼性診断ルーチン(1)のフローチャート
【図7】距離データの信頼性診断ルーチン(2)のフローチャート
【図8】画像間の明るさバランス診断ルーチンのフローチャート
【図9】画像ぼけ診断ルーチンのフローチャート
【符号の説明】
1 ステレオカメラユニット
2 画像認識ユニット
100 車両
#01a 通信ユニット
110 携帯電話
DB データベース
101,150,160,170,… ネットワーク
【発明の属する技術分野】
本発明は、個々のユーザの車両に搭載される制御装置のデータを一括管理して有効活用する車両管理システムに関する。
【0002】
【従来の技術】
一般に、自動車等の車両に搭載される電子制御装置は、自己診断機能によるオンボード診断で異常発生の有無を監視しており、このオンボード診断の結果、異常を検出した場合には、警告灯等を点灯して運転者に警告を発し、ディーラ等のサービス工場への入庫による点検・修理を促すようにしている。サービス工場では、車載の電子制御装置に故障診断装置等の外部装置を接続することで車載電子制御装置から故障部位やトラブルデータ等の内部データを読出し、読出したデータに基づいて点検・修理を行う。
【0003】
尚、この種の故障診断装置として、本出願人による特公平7−15427号公報に開示されている故障診断装置がある。この故障診断装置は、故障診断装置本体、或いは故障診断装置本体に外部のエキスパートシステム用コンピュータを接続して車載電子制御装置内のデータ、すなわち車載電子制御装置内に記憶されているセンサ類の検出信号やアクチュエータ類に出力する制御信号、及びシステム内部の演算データ等を読込むことができ、不具合箇所或いは故障原因を探究し、必要な修理、又は調整を行うことができる。
【0004】
【発明が解決しようとする課題】
しかしながら、車両側で本来の制御に加えて異常検出のための自己診断を行うことは、システム自体に負担がかかる。特に、最近では、車載のカメラで撮像した画像による画像認識システムを備え、前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、あるいは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の制御を行うものがあり、この画像認識には膨大な演算量を必要とするため、システム自体に多大な負担をかけ、画像認識の演算に加えて故障を自己診断することは、システムに更なる負担をかけることになる。
【0005】
更に、車両側のオンボード診断は、ユーザの日常の実使用条件下において、実際に故障が発生したときに警告灯を点灯する等といった程度にしか活用されておらず、故障が発生した後、外部の故障診断装置で診断データを読出して初めて点検・修理が可能となる。
【0006】
本発明は上記事情に鑑みてなされたもので、個々のユーザの車両に搭載される制御装置の診断情報を一括管理して有効活用し、車両側の演算負荷を軽減することのできる車両管理システムを提供することを目的としている。
【0007】
【課題を解決するための手段】
上記目的を達成するため、本発明による第1の車両管理システムは、個々の車両に搭載される制御装置のデータを外部のデータベースに送信及び蓄積し、上記データベースに送信された上記データに基づいて個々の車両の上記制御装置を診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする。
【0008】
また、第2の車両管理システムは、個々の車両に搭載される画像認識システムのデータを外部のデータベースに送信及び蓄積し、上記データベースに送信された上記データに基づいて個々の車両の上記画像認識システムを診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする。
【0009】
その際、画像認識システムの診断結果は、該当車両のユーザ及びデータベースへのアクセス権を有する部署の少なくとも一者に配信することが望ましい。また、診断結果に基づいて車両に送信される制御情報は、フェールセーフ制御情報であることが望ましい。
【0010】
画像認識システムの診断は、画像認識システムの映像ケーブルの異常或いは撮像系の回路異常、撮像系の視界不良或いは焦点異常が診断され、画像認識システムにステレオ撮像系を有する場合には、ステレオ撮像系で撮像した一対の画像から算出した距離データのバラツキ、ステレオ撮像系で撮像した一対の画像間の明るさバランスが診断される。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図1〜図9は本発明の実施の一形態に係わり、図1は車両管理システムの全体構成図、図2は車両のネットワーク系を示す説明図、図3は車載の画像認識システムの構成を示すブロック図、図4は映像信号の伝送異常診断ルーチン(1)のフローチャート、図5は映像信号の伝送異常診断ルーチン(2)のフローチャート、図6は距離データの信頼性診断ルーチン(1)のフローチャート、図7は距離データの信頼性診断ルーチン(2)のフローチャート、図8は画像間の明るさバランス診断ルーチンのフローチャート、図9は画像ぼけ診断ルーチンのフローチャートである。
【0012】
図1は、工場の生産ラインにおける車両の制御情報の初期値を蓄積・管理すると共に、市場における各ユーザの車両毎の車両健康状態を24時間リアルタイムで管理し、ユーザに最新の自己車両情報(健康状態)を提供するための車両管理システムを示すものである。この車両管理システムにおいては、市場における車両100毎に、車載制御装置のデータ(車両情報)をリアルタイムで外部に無線通信可能なデータ通信手段としての無線通信端末110が備えられ、この無線通信端末110を介して送信された車両情報が中央情報管理センター151におけるホストコンピュータ151aのデータベースDBに蓄積されて管理される。
【0013】
車両100と中央情報管理センター151との間のデータ通信には、図示しない基地局を介した移動体無線通信システムや図示しない人工衛星を介した衛星通信システム等を利用することができる。また、車両100の車両情報を送信する無線通信端末110としては、車両100の制御装置にハーネスを介して接続される通信端末でも良いが、車載の制御装置との間でワイヤレス通信を行うことにより車両100と切り離して携帯可能な小型通信端末を採用することが望ましい。
【0014】
この携帯可能な通信端末として、本形態では、車載の制御装置とのワイヤレス通信のための通信回路を内蔵した携帯型電話機(携帯電話)を採用し、以下、無線通信端末110を携帯電話110として説明する。尚、既にユーザが携帯電話を所有している場合には、ユーザの携帯電話に接続してデータを送信させる通信端末でも良い。
【0015】
このため、本形態においては、車両100に搭載される制御装置が単一である場合、その制御装置にワイヤレス通信を制御するための通信回路が内蔵される。また、車両100に複数の制御装置、例えば、図2に示すように、制御装置#01,#02,#03,#04,#05,…が搭載されている場合には、各制御装置#01,#02,#03,#04,#05,…がネットワーク101を介して互いに接続され、制御情報が一元化されることが望ましく、ネットワーク101中の所定の制御装置、例えば制御装置#01にワイヤレス通信を制御するための通信ユニット#01aが内蔵される。
【0016】
尚、ネットワーク101は、リアルタイム制御に適した車両用のネットワークであり、また、車載の制御装置との間のワイヤレス通信方式としては、例えば、近距離のワイヤレス通信を司るブルートゥース(Bluetooth)規格による通信方式やその他の通信方式を採用することができる。
【0017】
車両100の制御装置に備えられた通信ユニット#01aは、ユーザの専用の携帯電話110との間のワイヤレス通信を可能とするばかりでなく、以下に説明するように、工場の生産ラインにおけるラインエンドの検査ツールやディーラ等のサービス工場におけるサービスツールとの間のワイヤレス通信を可能とする。
【0018】
一方、中央情報管理センター151は、図1に示すように、専用のネットワーク150を介して、開発本部152、ソフトウエア開発環境153、営業・サービス本部154、検査・品質保証本部155等の複数の部門に接続されると共に、工場の生産ラインにおけるラインエンド156のシャーシダイナモメータ156a上で車両100を検査するための検査ツール156bに接続されている。検査ツール156bには、車両100の制御装置に備えられた通信ユニット#01aとワイヤレス通信を行うための通信アダプタが備えられている。
【0019】
また、この専用のネットワーク150には、各地のディーラ等の専用のネットワーク160,170,…が接続され、各ネットワーク160,170,…に、それぞれに接続されるサービスツール161,171,…やセールスツール162,172,…等を介して中央情報管理センター151の管理情報に基づく車両100の実際の診断や修理を可能とする車両管理システムが形成される。更に、各専用のネットワーク150,160,170,…は、一般公開用ネットワークとしてのインターネット180に相互接続されており、携帯電話110を介しての情報提供に加え、各ユーザのパーソナルコンピュータ(パソコン)PCを介しての情報提供を可能としている。
【0020】
以上の車両管理システムでは、工場の生産ラインにおけるラインエンド156で、検査ツール156bを用いて個々の車両の制御情報の初期値(初期情報)を蓄積する。そして、市場への出荷後は、初期情報にユーザからのアクセスによる車両情報を加えて蓄積する。この場合、各ユーザは、自己の車両100が稼動状態にあれば、停車中か走行中かに拘らず自己の車両情報を中央情報管理センター151に随時無線送信することが可能である。
【0021】
すなわち、ユーザは、自己の車両100の状態を知りたい場合には、車両100の携帯電話110を用いて中央情報管理センター151に車両情報を送信することにより、自己の車両の整備状態や不具合の有無等の車両健康状態に係わる情報を受け取ることができる。特に、走行中の車両から無線通信によってリアルタイムでデータを送信することができるため、走行中にしか現れない異常や再現性の希薄な異常等、従来では迅速な原因究明が困難であった故障に対しても、迅速に原因を究明して対処することが可能となる。
【0022】
ユーザが自己の車両100の車両情報を中央情報管理センター151に送信するには、車両100の携帯電話110を用い、この携帯電話110に予めセットされている特定の番号を押すのみで良く、自動的に車両100の制御装置#01とのワイヤレス通信がスタンバイすると共に中央情報管理センター151を呼び出す。そして、携帯電話110と中央情報管理センター151との接続が確立すると、車両100内のネットワーク101を介した各制御装置のデータが制御装置#01の通信ユニット#01aから車体番号が付加されて携帯電話110へ送信され、更にユーザの識別コード等が付加されて携帯電話110をスルーし、中央情報管理センター151へ送信される。
【0023】
中央情報管理センター151のデータベースDBに蓄積された車両の初期情報及び市場における情報(個々のユーザ毎の車両情報)は、データベースDBへのアクセス権を与えられた各部署にネットワーク150を介して配信され、車両健康状態を管理すると共に各種サービスを行う。すなわち、ユーザの車両における各種部品の使用頻度情報の収集、制御アルゴリズムの評価、リアルタイムな診断や不具合対応、各部品の経時変化を把握しての予測診断、再現困難な不具合の診断等を該当部署にて行い、制御アルゴリズムの改良や新規開発のための情報収集等を該当部署にて行う。
【0024】
また、ユーザサービスの一環として、ユーザの車両100の入庫前の事前診断、個別ユーザに対応した定期検査等の入庫連絡等を該当部署にて行い、ディーラ等に情報を配信してサービスツール161(171)による点検或いは診断を指示する。更に、市場における部品レベルでの絶対的な品質評価、リアルタイムな生の統計データの採取、部品製造メーカ毎の相対的な品質評価等を該当部署にて行い、評価結果を各部門にフィードバックする。
【0025】
各ユーザの車両に対するデータ解析結果や診断結果等の情報は、中央情報管理センター151において各ユーザ毎の履歴情報として時系列的に蓄積される。そして、インターネット180上のホームページを介して、或いは、直接、携帯電話110を介して個々のユーザに提供される。すなわち、各ユーザは、自己のパソコンPCからインターネット180を介して該当するホームページにアクセスし、或いは携帯電話110から中央情報管理センター151に直接アクセスし、予め登録してある自己の識別番号、氏名、パスワード等を入力し、自己の車両情報を閲覧することができる。尚、正規に登録されたユーザからパソコンPCを介して中央情報管理センター151のホストコンピュータ151aへアクセスすることも可能であるが、その場合、セキュリティを考慮してユーザからのアクセスには制限が設けられ、自己の車両に関する診断結果等の一般情報の閲覧のみが許可される。
【0026】
次に、以上の車両管理システムによる車両100の管理内容として、車両100に搭載される画像認識システムに対する診断情報の管理について説明する。
【0027】
図3に示すように、車両100に搭載される画像認識システムは、本形態においては、基準側及び比較側の一対のカメラからなるステレオカメラユニット1を撮像系として備え、このステレオカメラから出力される一対の映像信号を処理し、左右画像における同一対象物の位置に関する相対的なズレ(視差)から三角測量の原理に基づき距離データを算出し、この距離データによる対象物の三次元位置情報に基づいて該当する車両を取巻く走行環境(例えば、該当する車両の走行経路上に存在する先行車両や障害物等)を認識する画像認識ユニット2を備えて構成される。
【0028】
画像認識ユニット2は、認識結果に応じてドライバーに注意を喚起するための警報を出力したり、シフトダウンや減速等を促すための制御情報を出力する。更に、画像認識ユニット2は、ユーザによる携帯電話110を介したデータ送信時に、ステレオカメラユニット1で撮像した画像データやユニット内で演算した距離データを、車内ネットワーク101内の通信ユニット#01aを介して中央情報管理センター151に送信する。
【0029】
中央情報管理センター151では、画像データや距離データによる。更に、中央情報管理センター151では、受信したデータを解析し、車両100の画像認識システムに対し、例えば、以下の(A)〜(D)に示す項目について診断を実行する。これにより、個々の車両での診断プログラムが不要となり、画像処理における負荷を軽減することができる。
(A)映像信号の伝送異常
(B)距離データのバラツキ過多による信頼性低下
(C)基準画像と画像画像との明るさバランス不良
(D)撮像画像の画像ぼけ
【0030】
診断項目(A)は、映像ケーブルの断線やショート、コネクタ外れ、ステレオカメラユニット1内の回路異常等に起因して発生する異常を診断するものであり、診断項目(B)は、降雨またはウインドウガラスの汚れ・曇り等の外乱的な要因による視界不良、ノイズの影響、或いは装置自体の故障、衝撃等によるステレオカメラ対の取付位置のずれ等に起因する距離データの信頼性低下を診断するものである。また、診断項目(C)は、カメラ光学系(特にレンズ)の汚れや、フロントガラスの部分的な汚れ、雨滴による乱反射等に起因して一対の画像間で明るさバランスのずれを診断するものであり、診断項目(D)は、カメラ光学系(特にレンズ)やフロントガラスに関する曇りや汚れによる視界不良、カメラの焦点異常等に起因して発生する画像のぼけを診断するものである。
【0031】
尚、診断項目(B),(C)は、本形態のステレオカメラ特有の項目であるが、診断項目(A),(D)は、ステレオカメラのみならず、単眼のカメラを撮像系として備える場合であっても適用できる。
【0032】
そして、診断により異常と判定した場合には、中央情報管理センター151から該当する車両に異常発生を知らせるフラグ(NGフラグ)を制御情報として送信し、該当車両における画像認識システムの動作を通常動作からフェールセーフ動作へと移行させる。
【0033】
以下、中央情報管理センター151における車両100の画像認識システムに対する診断処理について説明する。尚、本形態においては、中央情報管理センター151で個々の車両の画像認識システムの診断を行う例について説明するが、この診断を、開発本部152、ソフトウエア開発環境153、営業・サービス本部154、検査・品質保証本部155等のネットワーク150に接続される該当部門で行うようにしても良い。
【0034】
(A)映像信号の伝送異常診断
この診断は、図4に示す診断ルーチン(1)或いは図5に示す診断ルーチン(2)によって実施される。診断ルーチン(1)は、映像信号中の同期信号を監視することで異常発生を診断するものであり、先ず、ステップS11で、映像信号中の同期信号入力後の経過時間を計時する計時カウンタの値を読込み、ステップS12で、計時カウンタのカウント値が設定値以上か否かを調べる。
【0035】
そして、カウント値が設定値より小さく、同期信号が設定時間より短い時間間隔で入力されている場合には、映像信号が正常に入力されていると判断し、ステップS12からステップS13へ進んでNGフラグを0にクリアする。一方、ステップS12において、計時カウンタのカウント値が設定値以上である場合には、映像信号を伝送するケーブルの断線やショート或いはコネクタ外れ、ステレオカメラユニット1内の回路異常等が発生して同期信号が計時カウンタに入力されなくなったと判断し、ステップS12からステップS14へ進んでNGフラグを1にセットする。
【0036】
これらのNGフラグの値は、中央情報管理センター151から該当するユーザの車両100に制御情報として送信され、1にセットされたNGフラグ1を受信した車両側では、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【0037】
また、ケーブルの断線・ショート或いはコネクタ外れ、ステレオカメラユニット1内の回路異常等が発生し、映像信号が画像認識ユニット2に入力されなくなると、画像認識ユニット2における映像信号の振幅値が減衰してゆき、やがて設定値以下になる。
【0038】
図5に示す診断ルーチン(2)は、この点に着目して異常発生を判定するものであり、先ず、ステップS21で、映像信号の振幅値を、映像信号の振幅のピーク値をホールドする振幅検出器やソフトウエア処理で実現した振幅検出手段から読込み、ステップS22で、振幅値が設定値以下か否かを調べる。
【0039】
そして、映像信号の振幅値が設定値を超えている場合には、映像信号は正常であると判断してステップS22からステップS23へ進み、NGフラグを0にクリアする。一方、ステップS22において、映像信号の振幅値が設定値以下の場合には、ケーブルの断線やショート或いはコネクタ外れ、ステレオカメラユニット1内の回路異常等が発生して映像信号が入力されずに振幅値が減衰したと判断し、ステップS24でNGフラグを1にセットする。
【0040】
これらのNGフラグの値は、中央情報管理センター151から該当するユーザの車両100に制御情報として送信され、1にセットされたNGフラグを受信した車両側では、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【0041】
(B)距離データの信頼性診断
距離データの信頼性は、図6に示す診断ルーチン(1)或いは図7に示す診断ルーチン(2)によって診断される。
【0042】
図6に示す診断ルーチン(1)では、先ず、ステップS31で距離画像(距離データを有する画像)データを読み込み、ステップS32で、この距離画像中に第1の監視領域R1を設定する。この監視領域R1は、本診断ルーチンでは、主に路面が映し出される領域を診断対象とし、例えば、画像の下側領域において垂直方向長が短く、且つ水平方向長がそれよりも長い横長矩形領域として設定される。
【0043】
次に、ステップS33へ進み、第1の監視領域R1内の距離データのうち、有効距離データを抽出する。ここで、有効距離データは、画像の横方向(水平方向)において輝度エッジ(閾値以上の輝度変化量を有する隣接画素対)を所定数以上有する画素ブロックに関する距離データであり、横方向の輝度変化に特徴がある画素ブロックに関する距離データを評価対象とすることで、ノイズ的な距離データを除外して診断精度を向上させる。
【0044】
続くステップS34では、第1の監視領域R1における有効距離データの全体的なばらつきの状態を評価するために、分散値VAR1を以下の(1)式に基づいて算出する。
VAR12={(Z1−Zave)2+(Z2−Zave)2+ ・・・ +(Zn−Zave
)2}/n=Σ(Zi2)/n−(ΣZi/n)2 …(1)
但し、n:第1の監視領域R1内の有効距離データの数
Zi:i番目の有効距離データの値
Zave:第1の監視領域R1内の有効距離データの平均値
【0045】
監視領域R1内の距離データは、通常の路面状況であればばらつきは比較的少なく、フェールとすべき状況(路面状況またはノイズ等の外的要因)では、ばらつきが大きくなるという特性がある。すなわち、降雨時等において、周囲の立体物(先行車や建物等)が路面に映り込んでいるようなケースでは、映り込んでいる立体物の影響で誤った距離データが算出されることがあり、その結果、本来の路面状況に起因して生じる距離データ以外にも、映り込んだ立体物の距離データも加わるため、第1の監視領域R1における有効距離データのばらつきが大きくなる傾向がある。
【0046】
また、外的要因による距離データ異常、例えばカメラ信号のようなシステムの内部信号が、電気的なノイズの影響を受けた場合、算出された距離データにもノイズが乗る。その結果、個々の距離データがばらつくため、第1の監視領域R1における有効距離データのばらつきが大きくなる。同様の現象は、衝撃によるステレオカメラの取り付け位置のずれ、或いは、ウインドガラスやカメラレンズの曇り・汚れになどに起因して生じることがあり、第1の監視領域R1における有効距離データの全体的なばらつきが大きくなる傾向がある。
【0047】
従って、ステップS34に続くステップS35では、このような観点を踏まえて適切に設定された判定閾値VAR1thに対し、分散値VAR1の大きさを評価する。そして、ステップS35において、VAR1<VAR1thの場合には、算出された距離データは信頼し得るものと判断してステップS36でNGフラグを0にクリアし、一方、VAR1≧VAR1thの場合、算出された距離データの信頼性が低いものと判断してステップS37でNGフラグを1にセットする。尚、判定閾値VAR1thの値は昼と夜とで変えるように設定しても良く、また、自車両の車速に応じて変えるようにしても良い。
【0048】
一方、主として立体物の距離データを診断対象とする場合には、図7に示す診断ルーチン(2)が実行される。この診断ルーチン(2)では、先ず、ステップS41で距離画像データを読み込み、ステップS42で、走行車等が存在し得る比較的中央の画像領域に第2の監視領域R2を設定する。先行車等の立体物が前方に存在する場合、先行車等は地面(道路面)に対してほぼ垂直に立っていることが多いため、第2の監視領域R2は、その垂直面が映し出される領域、例えば、所定個数の縦長矩形領域が画像の中央領域に設定され、個々の矩形領域は、水平長が短く、且つそれよりも垂直長が長く設定される。
【0049】
ステップS42に続くステップS43において、第2の監視領域R2内の距離データのうち、前述したような手法に従って有効距離データを抽出する。そして、ステップS44において、第2の監視領域R2に関する垂直方向の距離データのばらつきを検証するために、各縦長矩形領域に基づいて、距離データの垂直方向分散値VAR2を算出する。具体的には、第2の監視領域R2の全体的ばらつきを精度よく検証でき、且つ、それに伴う演算量を極力減らす観点から、以下のような算出手法により分散値VAR2を求めている。
【0050】
先ず、第2の監視領域R2を構成する各縦長矩形領域に関する距離データのばらつきを調べるために、上述した(1)式に従って有効距離データの分散値VAR2iが矩形領域毎に算出される。次に、各分散値VAR2iから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その平均値をVAR2とする。
【0051】
このようにして算出された分散値VAR2、すなわち第2の監視領域R2の垂直方向における距離のばらつきは、垂直面ではほぼ等距離が算出されるため、正常な状態においては、ばらつきは比較的少ない。すなわち、縦長矩形領域に映し出される立体物は、通常、路面に対して垂直に立っており、且つ矩形領域に占める立体物の割合が大きくなるため、矩形領域における有効距離データのばらつきはあまり大きくならない。一方、ステレオカメラの取付位置がずれていたり、カメラレンズが汚れている場合、更には、システムの内部信号にノイズが乗ってしまった場合等においては、縦長矩形領域における有効距離データのばらつきが大きくなる傾向にある。
【0052】
従って、ステップS44に続くステップS45では、このような観点を踏まえて適切に設定された判定閾値VAR2thを基準に分散値VAR2の大きさを評価する。そして、ステップS44において、VAR2<VAR2th、すなわち第2の監視領域R2の有効距離データのばらつきが小さい場合には、距離データは信頼し得るものと判断してステップS46でNGフラグを0にクリアする。尚、判定閾値VAR2thの値は、昼と夜とで変えるように設定しても良く、また、自車輌の車速に応じて変えるようにしても良い。
【0053】
これに対し、先行車や市街地の建物といった立体物等があまり存在しない状況においては、縦長矩形領域には白線を含む路面や遠くの景色が混在して映し出されることから、正常な状況であっても、矩形領域に関する有効距離データのばらつきが大きくなる傾向にある。従って、ステレオカメラの取付位置がずれていたり、カメラレンズが汚れている場合と同様、どちらも分散値VAR2が判定しきい値VAR2thを越えるため、ステップS45における判定だけで両者を区別することができない。
【0054】
そこで、距離データのばらつきをさらに検証すべく、ステップS47以降の処理を実行する。すなわち、先ず、ステップS47において、画像の水平方向において、第2の監視領域R2の外側に、第3の監視領域R3を設定する。第3の監視領域R3は、走行路の両側の立体物が存在し得る比較的両サイドの画像領域で、例えば、所定個数の横長矩形領域(水平長が長く、それよりも垂直長が短い)で構成される。
【0055】
次に、ステップS48において、第3の監視領域R3内の距離データのうち、有効距離データを上述した手法によって抽出すると、ステップS49において、第3の監視領域R3を構成する横長矩形領域に基づいて、距離データの水平方向分散値VAR3を算出する。第3の監視領域R3の水平方向のばらつきを精度よく検証でき、且つ、それに伴う演算量を極力減らす観点から、以下のような算出手法により分散値VAR3を求める。
【0056】
先ず、左側の第3の監視領域R3(L)を構成する各横長矩形領域に関する距離データのばらつきを調べるために、上述した(1)式に従い有効距離データの分散値VAR3(L)iが矩形領域毎に算出される。次に、各分散値VAR3(L)iから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その値をVAR3(L)とする。
【0057】
同様に、右側の第3の監視領域R3(R)を構成する各横長矩形領域に関する距離データのばらつきを調べるために、上述した(1)式2に従い、有効距離データの分散値VAR3(R)iが矩形領域毎に算出される。次に、各分散値VAR3(R)iから、大きな誤差を含んでいる可能性の高い最大値を除いたものの平均を求め、その値をVAR3(R)とする。
【0058】
このようにして算出された2つの分散値VAR3(L),VAR3(R)のうち、値が小さい方を第3の監視領域R3の水平方向における全体的な輝度のばらつきを示す分散値VAR3として採用する。この水平方向の分散値VAR3は、先行車や市街地の建物といった近くの立体物が多数映し出されている状況では、横長矩形領域に距離の異なる複数の立体物が映し出されるため、有効距離データのばらつきが大きくなる傾向にあるが、逆に、近くの立体物があまり映し出されていない状況では、主として遠方の景色が映し出されるため、有効距離データのばらつきはあまり大きくならない傾向にある。一方、ステレオカメラの取付位置のずれやカメラレンズの汚れ等が生じると、有効距離データのばらつきが大きくなる傾向にある。
【0059】
すなわち、第3の監視領域R3の有効距離データのばらつきが大きく、且つ、第2の監視領域R2のそれも大きくなるのは、外的要因により距離データに異常が生じている場合のみ生じる現象であることがわかる。換言すると、通常の状況では、第2または第3の監視領域R2,R3のどちらか一方の有効距離データのばらつきが大きくなることはあっても、両方が大きくなることはほとんど生じないという特性がある。
【0060】
従って、ステップS49に続くステップ50では、このような特性を踏まえて適切に設定された判定閾値VAR3thを基準に分散値VAR3の大きさを評価することで、先のステップS45の判断では区別できなかったケースを区別する。すなわち、ステップS50では、分散値VAR3が所定の判定閾値VAR3thよりも大きいか否かを判断する。
【0061】
そして、VAR3<VAR3thの場合、つまり第3の監視領域R3の有効距離データのばらつきが小さい場合には、算出された距離データは信頼し得るものと判断してステップS50からステップS46へ進み、NGフラグが0にクリアする。一方、VAR3≧VAR3thの場合には、異常と判断してステップS50からステップS51へ進み、NGフラグを1にセットする。尚、判定閾値VAR3thの値は、昼と夜とで変えるように設定しても良く、また、自車両の車速に応じて変えるようにすることが好ましい。
【0062】
これらのNGフラグが中央情報管理センター151から該当するユーザの車両100に制御情報として送信され、NGフラグを受信した車両側では、NGフラグの値が1である場合、通常制御を中止してフェールセーフ制御に移行し、速やかに運転者に異常を知らせると共に、修理のためのサービスステーションへの入庫を促すことで、安全を確保する。
【0063】
(C)画像間の明るさバランスの診断
この明るさバランスの診断は、図8に示す診断ルーチンによって実行される。この診断ルーチンでは、先ず、ステップS61において、ステレオ画像対(基準画像および比較画像)の輝度状態を調べるために、監視領域内の各画素の輝度値を読み出す。基準画像には、その上領域、中領域、および下領域に、監視領域R1,R2,R3がそれぞれ設定され、一方、比較画像には、その上領域、中領域、および下領域に、監視領域R4,R5,R6がそれぞれ設定されている。
【0064】
監視領域R1,R2,R3は、左画像中の監視領域R4,R5,R6と「位置的に対応」している。本明細書において、「位置的に対応」とは、左右の監視領域が完全に同じ位置に設定されている場合はもとより、ステレオマッチングを考慮して、位置的に若干オフセットして設定されている場合も含むという広い意味で用いている。このオフセット量は、それぞれの監視領域内に一般的に存在するであろう対象物の視差の傾向を考慮して決定することが好ましい。
【0065】
例えば、車両の前方認識では、画像領域の上側に設定された監視領域R1,R4には、通常、空(無限遠)や比較的遠方の立体物(例えばビル等)が映し出される傾向がある。従って、この領域内において算出される視差は、比較的小さくなる傾向にある。そこで、画像上部に映し出される立体物等の距離の傾向を考慮して、監視領域R1,R4に関するオフセット量は小さめに設定しておく。
【0066】
また、画像領域の中側に設定された監視領域R2,R5には、通常、前方を走行中の車等が映し出される傾向があるため、この領域内における視差は中程度になる傾向にある。従って、このような画像中部に映し出される風景の傾向を考慮して、監視領域R2,R5に関するオフセット量は中程度に設定しておく。
【0067】
更に、画像領域の下側に設定された監視領域R3,R6には、通常、道路等の地表が映し出される傾向があるため、この領域内における視差は比較的大きくなる傾向にある。従って、このような画像下部に映し出される景色の傾向を考慮し、監視領域R3,R6に関するオフセット量は比較的大きめに設定しておく。
【0068】
このようにして、各領域内に映し出される景色の距離的な傾向を考慮して、各監視領域をステレオマッチング方向にオフセットさせている。それにより、位置的に対応した左右の監視領域対が、同一の対象物を映し出すようにできるため、正常な撮像状況では、各監視領域対はほぼ同じ輝度状態となる。
【0069】
ステップS61に続くステップS62において、第1の監視領域の輝度の大きさと第2の監視領域の輝度の大きさとが算出される。すなわち、基準画像領域内の第1の監視領域R1,R2,R3内に存在する各画素の輝度値の平均値A1を求め、同様に、比較画像領域内の第2の監視領域R4,R5,R6内に存在する各画素の輝度値の平均値A2を求める。
【0070】
そして、ステップS63において、第1の監視領域の輝度平均値A1と第2の監視領域の輝度平均値A2との差(絶対値)が、所定の判定閾値以上であるか否かが判断される。上述したように、基準画像及び比較画像の両監視領域内には、ほぼ同一の景色が映し出されているため、基準及び比較の両画像の明るさのバランスがとれている正常な状況では、両監視領域の輝度平均値A1,A2は、ほぼ等しくなる。
【0071】
従って、正常な状況では、ステップS63での判定結果が否定判定となり、ステップS64でNGフラグが0にクリアされる。これに対して、例えば、一方のカメラだけが目隠しされてしまい正常画像を得られないような状況や、一方のカメラのレンズやフロントガラス等の部分的な汚れや曇り、或いは、雨滴による乱反射等によって、正常画像を得られないような状況が発生し、外乱によって明るさのアンバランスが生じると、ステップS63において肯定判定され、ステップS65でNGフラグが1にセットされる。そして、本ルーチンによって1にセットされたNGフラグが中央情報管理センター151から該当するユーザの車両100に制御情報として送信されると、車両100側では、通常制御を中止してフェールセーフ制御に移行する。
【0072】
(D)画像ぼけ診断
画像ぼけ診断は、図9に示す診断ルーチンによって実施される。この診断ルーチンでは、先ず、ステップS71で、撮像画像の距離データと画素の輝度値(画像データ)とをそれぞれ読み出す。次に、ステップS72へ進み、第1の監視領域BR1内において均一に分散するような画素を演算対象として、全体的な輝度の大きさを示す輝度平均値Sを算出する。
【0073】
画像ぼけが生じているか否かは、第1の監視領域BR1(及び後述する第2の監視領域BR2)内の輝度に基づいて判断される。第1の監視領域BR1は、例えば、画像領域の中央上部に設定され、所定のサイズを有する長方形状(画像の水平方向に延在)の領域である。ここに監視領域を設定した理由は、自車両の前方を一般的な車間距離で走行する他車両(すなわち最も注意すべき監視対象)がこの領域内に映し出されることが多いので、この領域の画像ぼけが特に問題となるからである。
【0074】
続くステップS73では、輝度平均値Sが所定の判定閾値Sthよりも大きいか否かを調べる。外因によりカメラの焦点がぼやけ、撮像された画像がぼけてしまっている状況では、画像の全体的な輝度は大きくなる傾向にある。画像がぼけてしまう状況は、例えば、霧や吹雪等による視界不良に起因して生じることや、カメラのレンズやフロントガラスに関する曇りや汚れといった撮像環境の悪化に起因して生じる。従って、このような傾向を考慮した適切な判定閾値Sthを設定し、この値と輝度平均値Sとの大小関係を比較することで、画像ぼけが生じている可能性を判定することができる。この判定閾値Sthは、車外の景色の明るさによって、その値を変えることが好ましく、例えば、夜の場合は判定閾値Sthを昼の場合よりも低く設定する。車外の景色の明るさは、例えば、カメラのシャッタースピードによって判断することが可能である。
【0075】
その結果、ステップS73において、S≦Sthの場合には、画像ぼけが生じていないものと判断し、ステップS74で、NGフラグを0にクリアする。一方、ステップS73において、S>Sthの場合には、画像ぼけが生じている可能性があるため、画像ぼけの有無をさらに検証すべく、ステップS75へ進んで第1の監視領域BR1の垂直方向のエッジ数Nを算出する。ここでの「エッジ数」とは、所定の規則にしたがって抽出された複数の画素対のうち、予め設定された値よりも大きな輝度変化量を有する画素対の数である。
【0076】
続くステップS76では、算出されたエッジ数Nが所定の判定閾値Nthよりも小さいか否かを調べる。ぼけているような異常画像では、本来、輝度が急激に変化すべき箇所(エッジ部)における輝度変化が緩やかになる傾向にある(それゆえ人間が視覚的にぼけているように感じる)。従って、通常の景色を映し出している状態では、それ以下になることは殆どないエッジ数Nthを実験的に求めておき、これをぼけ判断の判定閾値として用いることで、画像にぼけが生じている可能性があるか否かを判断することができる。
【0077】
このステップ76でN≧Nthの場合には、画像中にぼけは生じていないものと判断し、前述のステップ74で、NGフラグを0にクリアする。一方、ステップS76でN<Nthの場合には、更に、ぼけ画像の判別精度を向上させるため、ステップS77以下の処理を実行する。
【0078】
すなわち、ステップS77で、第1の監視領域R1の水平方向のエッジ数Dを算出し、ステップS78で、この水平方向のエッジ数Dが所定の判定閾値Dthよりも小さいか否かを調べる。ぼけ画像の特徴として、隣接画素間の輝度変化が少なくなる傾向があることから、ぼけ画像であれば、水平方向の画素対の輝度変化量が少なくなる。従って、正常な画像ではあまり生じ得ないようなエッジ数Dthを判定閾値として用いることで、画像ぼけの有無を判定する。
【0079】
そして、ステップS77において、D>Dthの場合には、画像中にぼけは生じていないものと判断して前述のステップ74でNGフラグを0にクリアし、D≦Dthの場合、更に、ステップS79以下の処理を実行する。すなわち、第1の監視領域R1の輝度平均値Sが比較的大きく、且つ、この領域内の水平及び垂直方向のエッジ数が少ない場合には、画像にぼけが生じている可能性が高いものの、登坂走行のように第1の監視領域R1に空が映し出され、第1の監視領域R1の輝度平均値Sが比較的大きくなると共に、この領域内のエッジ数Nが少なくなる場合がある。
【0080】
従って、このような正常な画像と画像ぼけとを区別するため、ステップS79以下で画像全体における水平方向の輝度分散を検証する。ステップS79では、先ず、画像領域中に設定された第2の監視領域BR2の輝度和Aを算出する。この第2の監視領域BR2は、画像領域全体における水平方向の輝度分布を調べるために設定される領域であり、長方形状(画像の垂直方向に延在)の複数の領域Niで構成されている。従って、輝度分布の精度を高めるためには、第2の監視領域BR2の水平方向長は、第1の監視領域BR1のそれよりも大きくすることが好ましい。
【0081】
輝度和Aは、それぞれの領域Niについて、その領域全体の輝度の大きさを調べるために算出される。ある領域Niにおける輝度和Aは、その領域Ni内において均一に分散するような複数の画素をサンプルとして抽出し、それらの輝度値を加算した値(またはそれらの平均値)として算出することができる。例えば、水平/垂直方向ともに所定画素ごとにサンプルを抽出しても良い。領域Ni内において均一に分散するようなサンプルを用いれば、その領域Ni内の輝度状態の特徴を適切に反映した輝度和Aを、少ない演算量で算出することができる。演算量を考慮しないのであれば、領域Ni内に含まれるすべての画素の輝度値を加算することにより、輝度値Aを算出することも当然可能である。
【0082】
そして、ステップ80において、輝度和Aのばらつきの程度を示す分散値VARを以下の(2)式に基づいて算出する。
VAR2={(A1−Aave)2+(A2−Aave)2+ ・・・ +(An−Aave)2}/n=Σ(Ai2)/n−(ΣAi/n)2 …(2)
但し、n:監視領域の数
Aave:輝度和の平均値
【0083】
ここで、車外の景色を正常に撮像した正常画像においては、輝度和Aのばらつきが比較的大きくなるのに対し、ぼけが生じていると、輝度和Aのばらつきが通常画像と比べて小さくなる。そこで、正常画像では生じ得ないような分散値VARthを実験等により求め、これを判定閾値として用いれば、画像ぼけの判定を行うことができる(ステップS81)。
【0084】
このステップS81での判定において、VAR≧VARtHの場合には、正常画像(例えば第1の監視領域R1に空が映し出されている画像)であると判断されるため、前述のステップS74でNGフラグを0にクリアし、一方、VAR<VARthの場合、すなわち、撮像画像がぼけの典型的な特徴である水平方向に輝度ばらつきが小さいという特徴を有している場合には、画像ぼけが生じていると判断してステップS82でNGフラグを1にセットする。
【0085】
本ルーチンによりNGフラグが1にセットされ、車両100に送信されると、車両100側では、通常制御を中止してフェールセーフ制御に移行する。この場合、通常の処理を一時的に中断すると共に、ワイパーまたはデフロスターの少なくとも一方を作動させるような制御指示としても良い。画像ぼけがウインドガラスの汚れに起因している場合には、ワイパーを作動させることにより、これを解消できる場合があり、また、画像ぼけがウインドガラスの曇りに起因して生じている場合は、デフロスターを作動させることにより、それを解消することができる場合があるからである。これにより、正常な画像が再び得られれば、フェール状態から正常な制御状態へすばやく復帰させることが可能となる。
【0086】
以上の診断情報は、正常であると判断されている状態であっても、故障レベルに接近している場合には、実際のデータ、関連する他のパラメータ、故障判定の閾値等の診断用パラメータ、診断時や診断前後の運転状態・制御状態、ラインエンド156で収集した初期データと共にデータベースDBに蓄積される。これにより、個々の車両に搭載される画像認識システムの市場での実働状態を把握し、現在の状態が故障レベルに対して、どの程度のレベルにあるかを推定することができ、推定した各部品の劣化状態と合わせて、近い将来に故障が発生するか否かを判断することが可能となる。そして、車両別の部品の劣化傾向、故障部品の推定結果、故障到達までの時間或いは走行距離等を、関連部署へフィードバックすることにより、画像認識システムの状態を確認し、信頼性及び耐久性の向上を図ると共に、診断仕様の評価、制御性の評価を行うことができる。
【0087】
従って、画像認識システムに故障が発生する前にユーザへ点検時期の予告が可能となり、修理に要する費用・時間を削減することができるばかりでなく、サービス工場においても、配信された診断情報により、対応部品の事前手配、作業計画の円滑運用を可能とすることができる。
【0088】
【発明の効果】
以上説明したように本発明によれば、個々のユーザの車両に搭載される制御装置の診断情報を一括管理して有効活用し、車両側の演算負荷を軽減することができる。
【図面の簡単な説明】
【図1】車両管理システムの全体構成図
【図2】車両のネットワーク系を示す説明図
【図3】車載の画像認識システムの構成を示すブロック図
【図4】映像信号の伝送異常診断ルーチン(1)のフローチャート
【図5】映像信号の伝送異常診断ルーチン(2)のフローチャート
【図6】距離データの信頼性診断ルーチン(1)のフローチャート
【図7】距離データの信頼性診断ルーチン(2)のフローチャート
【図8】画像間の明るさバランス診断ルーチンのフローチャート
【図9】画像ぼけ診断ルーチンのフローチャート
【符号の説明】
1 ステレオカメラユニット
2 画像認識ユニット
100 車両
#01a 通信ユニット
110 携帯電話
DB データベース
101,150,160,170,… ネットワーク
Claims (8)
- 個々の車両に搭載される制御装置のデータを外部のデータベースに送信及び蓄積し、
上記データベースに送信された上記データに基づいて個々の車両の上記制御装置を診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする車両管理システム。 - 個々の車両に搭載される画像認識システムのデータを外部のデータベースに送信及び蓄積し、
上記データベースに送信された上記データに基づいて個々の車両の上記画像認識システムを診断し、その診断結果に基づく制御情報を該当車両に送信することを特徴とする車両管理システム。 - 上記診断結果を、該当車両のユーザ及び上記データベースへのアクセス権を有する部署の少なくとも一者に配信することを特徴とする請求項1又は2記載の車両管理システム。
- 上記制御情報は、フェールセーフ制御情報であることを特徴とする請求項2又は3記載の車両管理システム。
- 上記画像認識システムの診断は、上記画像認識システムの映像ケーブルの異常或いは撮像系の回路異常に対する診断であることを特徴とする請求項2,3,4の何れか一に記載の車両管理システム。
- 上記画像認識システムの診断は、上記画像認識システムにおける撮像系の視界不良或いは焦点異常に対する診断であることを特徴とする請求項2,3,4の何れか一に記載の車両管理システム。
- 上記画像認識システムは、ステレオ撮像系を有するシステムであり、
上記画像認識システムの診断は、上記ステレオ撮像系で撮像した一対の画像から算出した距離データのバラツキに対する診断であることを特徴とする請求項2,3,4の何れか一に記載の車両管理システム。 - 上記画像認識システムは、ステレオ撮像系を有するシステムであり、
上記画像認識システムの診断は、上記ステレオ撮像系で撮像した一対の画像間の明るさバランスに対する診断であることを特徴とする請求項2,3,4の何れか一に記載の車両管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002172007A JP2004020237A (ja) | 2002-06-12 | 2002-06-12 | 車両管理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002172007A JP2004020237A (ja) | 2002-06-12 | 2002-06-12 | 車両管理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004020237A true JP2004020237A (ja) | 2004-01-22 |
Family
ID=31171718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002172007A Pending JP2004020237A (ja) | 2002-06-12 | 2002-06-12 | 車両管理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004020237A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072555A (ja) * | 2004-08-31 | 2006-03-16 | Secom Co Ltd | 生体情報画像補正装置 |
JP2006313498A (ja) * | 2005-05-09 | 2006-11-16 | Toyota Motor Corp | 画像処理装置 |
WO2006137137A1 (ja) * | 2005-06-22 | 2006-12-28 | Fujitsu Limited | 顧客管理装置 |
JP2009110173A (ja) * | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2010223834A (ja) * | 2009-03-24 | 2010-10-07 | Toyota Auto Body Co Ltd | 製品検査システム |
CN112771858A (zh) * | 2018-08-20 | 2021-05-07 | 伟摩有限责任公司 | 自动车辆的相机评估技术 |
JP2021082099A (ja) * | 2019-11-21 | 2021-05-27 | 日立Astemo株式会社 | 車載ステレオカメラ |
CN113506264A (zh) * | 2021-07-07 | 2021-10-15 | 北京航空航天大学 | 道路车辆数识别方法和装置 |
CN114127527A (zh) * | 2019-07-11 | 2022-03-01 | 堀场仪器株式会社 | 用于测试自动车辆的设备和方法 |
-
2002
- 2002-06-12 JP JP2002172007A patent/JP2004020237A/ja active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072555A (ja) * | 2004-08-31 | 2006-03-16 | Secom Co Ltd | 生体情報画像補正装置 |
JP2006313498A (ja) * | 2005-05-09 | 2006-11-16 | Toyota Motor Corp | 画像処理装置 |
JP4539427B2 (ja) * | 2005-05-09 | 2010-09-08 | トヨタ自動車株式会社 | 画像処理装置 |
WO2006137137A1 (ja) * | 2005-06-22 | 2006-12-28 | Fujitsu Limited | 顧客管理装置 |
JPWO2006137137A1 (ja) * | 2005-06-22 | 2009-01-08 | 富士通株式会社 | 顧客管理装置 |
JP2009110173A (ja) * | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2010223834A (ja) * | 2009-03-24 | 2010-10-07 | Toyota Auto Body Co Ltd | 製品検査システム |
JP7183390B2 (ja) | 2018-08-20 | 2022-12-05 | ウェイモ エルエルシー | 自律型車両用のカメラ評価技術 |
JP2021534494A (ja) * | 2018-08-20 | 2021-12-09 | ウェイモ エルエルシー | 自律型車両用のカメラ評価技術 |
CN112771858A (zh) * | 2018-08-20 | 2021-05-07 | 伟摩有限责任公司 | 自动车辆的相机评估技术 |
US11699207B2 (en) | 2018-08-20 | 2023-07-11 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
CN114127527A (zh) * | 2019-07-11 | 2022-03-01 | 堀场仪器株式会社 | 用于测试自动车辆的设备和方法 |
CN114127527B (zh) * | 2019-07-11 | 2024-04-09 | 堀场仪器株式会社 | 用于测试自动车辆的设备和方法 |
JP2021082099A (ja) * | 2019-11-21 | 2021-05-27 | 日立Astemo株式会社 | 車載ステレオカメラ |
JP7414486B2 (ja) | 2019-11-21 | 2024-01-16 | 日立Astemo株式会社 | 車載ステレオカメラ |
CN113506264A (zh) * | 2021-07-07 | 2021-10-15 | 北京航空航天大学 | 道路车辆数识别方法和装置 |
CN113506264B (zh) * | 2021-07-07 | 2023-08-29 | 北京航空航天大学 | 道路车辆数识别方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105976450A (zh) | 无人驾驶车辆的数据处理方法和装置、黑匣子系统 | |
JP7295684B2 (ja) | 事故責任特定方法、事故責任特定装置及びコンピュータプログラム | |
US20220270376A1 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
KR101921168B1 (ko) | 교통 위반 관리 시스템 | |
CN106571046B (zh) | 基于路面网格体系的车路协同辅助驾驶方法 | |
JP6392735B2 (ja) | 情報処理装置、情報処理方法、車両の制御装置及び車両の制御方法 | |
CN111932901B (zh) | 道路车辆跟踪检测设备、方法及存储介质 | |
EP1971823A1 (en) | Method for detecting defects in navigation data | |
JP4010316B2 (ja) | 違法駐車取締りシステムおよび方法 | |
US11594038B2 (en) | Information processing device, information processing system, and recording medium recording information processing program | |
JP2004020237A (ja) | 車両管理システム | |
JP7214640B2 (ja) | 管理装置、車両、検査装置、並びに、車両検査システムおよびその情報処理方法 | |
KR20050095807A (ko) | 번호판 인식을 이용한 속력위반차량 검색시스템 및 그 방법 | |
KR101736296B1 (ko) | 텔레메틱스 서비스 품질 점검 시스템 | |
KR102283398B1 (ko) | Ai 기반 복합 adas 룸미러 | |
KR101321415B1 (ko) | 휴대단말기를 이용한 차량정보 접수 방법 | |
CN112470024B (zh) | 检查车辆、特别是机动车的传感器装置的方法、系统和电子计算装置 | |
KR20170102403A (ko) | 차량용 빅데이터 처리방법 및 차량용 빅데이터 시스템 | |
CN111667601A (zh) | 用于获取事件相关数据的方法和设备 | |
JP6989347B2 (ja) | 車両状態判定装置、車両状態判定システム、車両状態判定方法、及び、車両状態判定プログラム | |
US20210142079A1 (en) | Information processing device, information processing system, and recording medium storing information processing program | |
CN114872623A (zh) | 一种车辆控制方法、装置、设备及介质 | |
CN113470213A (zh) | 数据处理方法、装置、车载终端设备和服务器 | |
KR20220112043A (ko) | 모빌리티 공유서비스 시스템 및 방법 | |
JP2002008016A (ja) | 道路表示監視装置 |