JP2007038782A - 車両用診断装置 - Google Patents

Abstract

【課題】表示器や入力操作手段の動作を適確に診断することが可能な車両用診断装置を提供する。
【解決手段】 車両に搭載されて表示制御部からの表示指示に基づいて各種情報を画面に表示する表示器と、各種の入力操作を行なう入力操作手段と、入力操作の内容を検出する入力操作検出手段と、所定のタイミングで表示器の画面表示内容、ならびに入力操作手段およびその周辺を撮影する撮影手段と、表示指示の内容と撮影された画面表示内容とを比較する表示内容比較手段と、表示内容比較の結果に基づいて表示器の動作が正しく行なわれているかを診断する表示器診断手段と、検出された入力操作の内容と撮影された入力操作とを比較する入力操作比較手段と、入力操作比較の結果に基づいて入力操作手段の動作が正しく行なわれているかを診断する入力操作診断手段と、を有することを特徴とする車両用診断装置として提供可能である。
【選択図】 図１

Description

本発明は、表示器や入力操作手段の動作を診断する車両用診断装置に関するものである。

車両の走行に伴ってＧＰＳ（Global Positioning System：全地球測位システム）等により現在位置を検出し、その現在位置を表示装置上に道路地図と共に表示して、現在地から目的地までの適切な経路を設定し、表示装置や音声出力装置などによって案内する車載用ナビゲーション装置は、ユーザの効率的で安全な運転に貢献している。

近年、車載用ナビゲーション等の車両に搭載される電子機器の機能は高度化しており、ユーザが使用中に故障が発生しても、ディーラなどの修理窓口ではその現象が再現せず故障の原因を特定できないことが多くなっている。

そこで、電子機器の情報を逐次大容量記憶装置に蓄積し、原因調査時に記録情報を解析して原因を特定しようとする故障診断装置が考案されている（特許文献１参照）。

また、表示器や、タッチパネル等の入力操作手段の診断装置として、同一座標値が所定時間継続して入力され続けているときは、当該座標値に対応する素子が故障であると判定するタッチ入力式データ処理装置が考案されている（特許文献２参照）。

特開２００５−０４３１３８号公報 特開平０５−２９８０２７号公報

特許文献１の例では、各電子機器の電気信号は記録できるが、表示器の出力画像がユーザにどのように見えているのかを記録できないという問題がある。例えば、車載用ナビゲーション装置の制御部から映像信号は出力しているが、表示器の故障により画面に正常に表示されない場合は、故障として記録されない場合もある。さらに、入力操作手段の故障によりユーザが操作しても検知されない、またはユーザが操作しなくても検知されっぱなしになる場合があり、検知したスイッチ入力情報が実際にユーザが操作したものかどうかを記録できないという問題がある。

特許文献２の例では、素子がオン状態で故障した場合には故障検出が可能であるが、素子がオープン状態で故障した場合の故障検出が不可能であるという問題がある。また、表示器の表示に異常が発生した場合の故障検出ができないという問題もある。

上記問題を背景として、本発明の課題は、表示器や入力操作手段の動作を適確に診断することが可能な車両用診断装置を提供することにある。

課題を解決するための手段および発明の効果

本発明は、上記課題を解決するための車両用診断装置を提供するものである。すなわち、請求項１によれば、車両に搭載されて表示制御部からの表示指示に基づいて各種情報を画面に表示する表示器と、所定のタイミングで表示器の画面表示内容を撮影する撮影手段と、表示指示の内容と撮影された画面表示内容とを比較する表示内容比較手段と、表示内容比較の結果に基づいて表示器の動作が正しく行なわれているかを診断する表示器診断手段と、を有することを特徴とする車両用診断装置として構成される。

本発明は、カメラ等の撮影手段により表示器を監視することにより、表示器の動作診断を行なうものである。具体的には、表示制御部からの表示指示と表示器の表示画面を撮影した画像を例えば定期的に記録する。そして、これら記録されたものを解析して、表示指示と表示器の表示画面との間に矛盾がないか、すなわち表示指示どおりの表示画面であるかを調べることで表示器の動作に問題がないかを判定することができる。

また、請求項２によれば、上記課題を解決するための車両用診断装置は、車両に搭載されて各種の入力操作を行なう入力操作手段と、入力操作の内容を検出する入力操作検出手段と、所定のタイミングで入力操作手段およびその周辺を撮影する撮影手段と、検出された入力操作の内容と撮影された入力操作とを比較する入力操作比較手段と、入力操作比較の結果に基づいて入力操作手段の動作が正しく行なわれているかを診断する入力操作診断手段と、を有することを特徴とする車両用診断装置として構成される。

本発明は、カメラ等の撮影手段により操作スイッチ等の入力操作手段を監視することにより、入力操作手段の動作診断を行なうものである。具体的には、検出された入力操作の内容と入力操作を撮影した画像を例えば定期的に記録する。そして、これら記録されたものを解析して、検出された入力操作の内容と撮影された入力操作との間に矛盾がないかを調べることで入力操作手段の動作に問題がないかを判定することができる。

また、請求項３によれば、上記課題を解決するための車両用診断装置は、車両に搭載されて表示制御部からの表示指示に基づいて各種情報を画面に表示する表示器と、各種の入力操作を行なう入力操作手段と、入力操作の内容を検出する入力操作検出手段と、所定のタイミングで表示器の画面表示内容、ならびに入力操作手段およびその周辺を撮影する撮影手段と、表示指示の内容と撮影された画面表示内容とを比較する表示内容比較手段と、表示内容比較の結果に基づいて表示器の動作が正しく行なわれているかを診断する表示器診断手段と、検出された入力操作の内容と撮影された入力操作とを比較する入力操作比較手段と、入力操作比較の結果に基づいて入力操作手段の動作が正しく行なわれているかを診断する入力操作診断手段と、を有することを特徴とする車両用診断装置として構成される。

本発明は、カメラ等の撮影手段により表示器および操作スイッチ等の入力操作手段を監視することにより、表示器および操作スイッチ等の入力操作手段の動作診断を行なうものである。具体的には、表示制御部からの表示指示と表示器の表示画面を撮影した画像を例えば定期的に記録する。そして、これら記録されたものを解析して、表示指示と表示器の表示画面との間に矛盾がないかを調べることで表示器の動作に問題がないかを判定することができる。また、検出された入力操作の内容と入力操作を撮影した画像を例えば定期的に記録する。そして、これら記録されたものを解析して、検出された入力操作の内容と撮影された入力操作との間に矛盾がないかを調べることで入力操作手段の動作に問題がないかを判定することができる。

請求項４によれば、本発明の車両用診断装置は、表示器の動作の診断のタイミングを生成するための表示器診断タイミング生成手段を有する構成をとることができる。

上記構成によって、車両用診断装置の他の処理に影響を及ぼすことや、車両用診断装置の処理負荷を増大することなく表示器の動作の診断を行なうことが可能となる。

請求項５によれば、本発明の車両用診断装置における表示器診断タイミング生成手段は表示指示の内容の変化を検出する表示指示変化検出手段を含み、表示指示の内容の変化が検出された場合を、表示器の動作の診断のタイミングとする構成をとることができる。

上記構成によって、表示指示の内容の変化が検出されない限り表示器の動作の診断を行なわないため、車両用診断装置の他の処理に影響を及ぼすことや、車両用診断装置の処理負荷を増大することなく表示器の動作の診断を行なうことが可能となる。また、リアルタイムで表示器の動作の診断を行なうことも可能となる。

請求項６によれば、本発明の車両用診断装置における表示器診断タイミング生成手段は、入力操作手段の所定の操作により表示器の動作の診断のタイミングを生成する構成をとることができる。

上記構成によって、入力操作手段の所定の操作がない限り表示器の動作の診断を行なわないため、車両用診断装置の他の処理に影響を及ぼすことや、車両用診断装置の処理負荷を増大することなく表示器の動作の診断を行なうことが可能となる。また、ユーザの所望のタイミングで表示器の動作の診断を行なうことも可能となる。

請求項７によれば、本発明の車両用診断装置は、少なくとも時刻を含む日時情報を取得する日時情報取得手段と、表示指示の内容を日時情報とともに記憶する表示指示記憶手段と、撮影された画面表示内容を日時情報とともに記憶する撮影内容記憶手段とを有し、表示器診断手段は、表示指示と、表示指示が記憶された時刻よりも後に撮影された画面表示内容とを比較して表示器の動作を診断する構成をとることができる。

正常動作時には表示指示の後に画面表示が変化するので、表示指示と表示指示が記憶された後に撮影された画面表示内容とを比較すればよい。また、日時データは後述のように車両用診断装置あるいは他の車載機器から取得可能であるため、車両用診断装置の製造コストは上昇しない。上記構成によって、比較的短い処理時間で表示器の動作を診断することが可能となる。また、リアルタイムでもユーザの所望のタイミングでも表示器の動作の診断を行なうことも可能となる。

請求項８によれば、本発明の車両用診断装置は、撮影手段によって撮影されたデータから画面表示内容が撮影されている部分を抽出する画面表示内容抽出手段を有し、撮影内容記憶手段は抽出された部分を記憶する構成をとることができる。

上記構成によって、表示器の動作の診断に必要なデータのみを抽出して記憶するので、撮影内容記憶手段の記憶容量の増大を抑制することが可能となり、車両用診断装置の製造コストを低減できる。

請求項９によれば、本発明の車両用診断装置は、入力操作手段の動作の診断のタイミングを生成するための入力操作診断タイミング生成手段を有する構成をとることができる。

上記構成によって、車両用診断装置の他の処理に影響を及ぼすことや、車両用診断装置の処理負荷を増大することなく入力操作手段の動作の診断を行なうことが可能となる。

請求項１０によれば、本発明の車両用診断装置における入力操作診断タイミング生成手段は入力操作が検出された場合に入力操作手段の動作の診断のタイミングを生成する構成をとることができる。

上記構成によって、入力操作手段の操作が検出されない限り入力操作手段の動作の診断を行なわないため、車両用診断装置の他の処理に影響を及ぼすことや、車両用診断装置の処理負荷を増大することなく入力操作手段の動作の診断を行なうことが可能となる。また、リアルタイムで入力操作手段の動作の診断を行なうことも可能となる。

請求項１１によれば、本発明の車両用診断装置における入力操作診断タイミング生成手段は入力操作手段の所定の操作により入力操作手段の動作の診断のタイミングを生成する構成をとることができる。

上記構成によって、入力操作手段の所定の操作がない限り入力操作手段の動作の診断を行なわないため、上記請求項９の発明の形態よりもさらに車両用診断装置の他の処理に影響を及ぼすことや、車両用診断装置の処理負荷を増大することなく入力操作手段の動作の診断を行なうことが可能となる。また、リアルタイムでもユーザの所望のタイミングでも入力操作手段の動作の診断を行なうことも可能となる。

請求項１２によれば、本発明の車両用診断装置における入力操作手段は、表示器の表示画面上に設置され、その表示画面に対するユーザの入力操作により所定の入力を行なうタッチパネルである構成をとることができる。

最近は省スペース化あるいは操作スイッチの効率配置の目的もあって、タッチパネルが用いられることが多くなっている。上記構成によって、タッチパネルの動作の診断を行なうことが可能となる。

請求項１３によれば、本発明の車両用診断装置は、少なくとも時刻を含む日時情報を取得する日時情報取得手段と、入力操作の内容を日時情報とともに記憶する入力操作内容記憶手段と、撮影された入力操作を日時情報とともに記憶する入力操作記憶手段とを有し、入力操作診断手段は、入力操作の内容と、入力操作の内容が記憶された時刻よりも後に撮影された入力操作とを比較して入力操作手段の動作を診断する構成をとることができる。

正常動作時には入力操作の後に画面表示が変化するので、入力操作と入力操作が記憶された後に撮影された画面表示内容とを比較すればよい。また、日時データは後述のように車両用診断装置あるいは他の車載機器から取得可能であるため、車両用診断装置の製造コストは上昇しない。上記構成によって、比較的短い処理時間で入力操作手段の動作を診断することが可能となる。また、リアルタイムでもユーザの所望のタイミングでも入力操作手段の動作の診断を行なうことも可能となる。

請求項１４によれば、本発明の車両用診断装置は、撮影手段によって撮影されたデータから入力操作手段が撮影されている部分を抽出する入力操作抽出手段を有し、入力操作記憶手段は抽出された部分を記憶する構成をとることができる。

上記構成によって、入力操作手段の動作の診断に必要なデータのみを抽出して記憶するので、入力操作内容記憶手段の記憶容量の増大を抑制することが可能となり、車両用診断装置の製造コストを低減できる。

請求項１５によれば、本発明の車両用診断装置における撮影手段は車両のルームランプあるいは後席乗員のために設置された表示器に含まれて取り付けられる構成をとることができる。

本発明の車両用診断装置に含まれる表示器は、運転席と助手席の間のセンターパネル付近に取り付けられる場合が多い。また、後席乗員に対してもナビゲーション画面やテレビ等を見ることが可能なように、車両の後部天井や運転席と助手席の背もたれの間に表示器が取り付けられている車両もある。上記構成によって、車両の付属品の設置場所を新たに増やすことなく、また、車内の居住性を低下させることなく、かつ車両用診断装置に含まれる表示器を撮影可能な位置にカメラ等の撮影手段を取り付けることが可能となる。

請求項１６によれば、本発明の車両用診断装置における撮影手段は車両の前方を撮影する前方監視カメラあるいは車両への侵入者を検知する不審者侵入検知用カメラである構成をとることができる。

近年、例えば、適正な車間距離を維持するため，所謂レーンキープのような走行する車線を維持するため，あるいは前方を走行する車両の挙動を検知してその挙動の変化に対して適切に対処するために、車両の前方を撮影する前方監視カメラが搭載された車両がある。また、近年、自動車盗，車上盗の多発により、これらの被害に遭わないために、盗難防止装置が取り付けられた車両も増えている。この盗難防止装置の一つとして、車両への接近あるいは侵入を検知するための不審者侵入検知用カメラがある。これらのカメラと兼用することにより、低コストで本発明の車両用診断装置の構成を実現することが可能となる。

表示器や入力操作手段の動作を適確に診断することが可能な車両用診断装置を提供するという目的を、車内に取り付けられたカメラで表示器や入力操作手段を監視することにより、表示器や入力操作手段の動作診断を行なう構成により実現した。

以下、本発明の実施の形態を、図面に示す実施例を参照しながら説明する。図１に本発明の車両用診断装置の全体構成を示す。車両用診断装置は、車載用ナビゲーション装置（以下、ナビゲーション装置と略称する）１００およびカメラ２５を含んで構成されている。ナビゲーション装置１００の表示器１０は車室内前方のインストルメントパネル中央部に設置され、本発明の撮影手段であるカメラ２５は例えば天井部中央のようなナビゲーション装置１００を含む、車両前方方向を撮影可能な場所に設置される。図１の例では、カメラ２５は破線で示される領域Ａが撮影可能範囲であるため、表示器１０の設置位置はその範囲内であればよい。

なお、カメラ２５は例えば公知のＣＣＤカメラ等で、車両４０への侵入者を検知する不審者侵入検知用カメラまたは車両４０の前方を撮影する前方監視カメラと共用すれば、コストアップなしで使用することができる。また、ルームランプ内または後席用ディスプレイ内に装着すれば、車両４０への取り付けを容易に行なうことができ、意匠上の制約も少なくて済む。

また、本発明の実施の形態では、車載用ナビゲーション装置に含まれる表示器の動作の診断を行なう構成であるが、車載用ナビゲーション装置の他に車載オーディオ装置などの表示器の動作の診断を行なう構成としてもよい。

図２は車載用ナビゲーション装置の全体構成を示すブロック図である。車載用ナビゲーション装置１００は、位置検出器１，地図データ入力器６，操作スイッチ群７，リモートコントロール（以下リモコンと称する）センサ１１，音声案内などを行なう音声合成回路２４およびスピーカ１５，不揮発メモリ９，表示器１０，ハードディスク装置（ＨＤＤ）２１，これらの接続された制御回路８，リモコン端末１２を備えている。

位置検出器１は、周知の地磁気センサ２，ジャイロスコープ３，距離センサ４，および衛星からの電波に基づいて車両４０の位置を検出するＧＰＳ受信機５を有している。これらのセンサ等２，３，４，５は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ例えば車速センサ２３等を用いてもよい。

本発明の入力操作手段である操作スイッチ群７は、例えば表示器１０と一体になったタッチパネル２２もしくはメカニカルなスイッチが用いられる。タッチパネル２２は、表示器１０の画面上にガラス基盤と透明なフィルムにスペーサと呼ばれる隙間を介してＸ軸方向、Ｙ軸方向に電気回路が配線され、フィルム上をユーザがタッチすると、押された部分の配線がショートして電圧値が変わるため、これを２次元座標値（Ｘ，Ｙ）として検出する、いわゆる抵抗膜方式が広く用いられる。その他に、透明な導電性基盤のガラス面に電気信号を受ける物質を塗布し、指をガラス面に近づけると静電容量の変化を電気信号としてセンサで検知する、いわゆる静電容量方式を用いてもよい。

メカニカルスイッチ，タッチパネル２２の他に、マウスやカーソル等のポインティングデバイスを用いてもよい。また、マイク３１および音声認識ユニット３０を用いて種々の指示を入力することも可能である。これは、マイク３１から入力された音声信号を、音声認識ユニット３０において周知の音声認識技術により処理を行ない、その結果に応じた操作コマンドに変換するものである。音声認識ユニット３０は、マイク３１から入力された音声信号を適切なレベルに増幅する増幅器と、増幅後の音声信号をＡ／Ｄ変換した後、周知の隠れマルコフモデル等の音声認識アルゴリズムにより音声を識別するための音声信号処理装置（ＤＳＰ：Digital Signal Processor）、音声を識別するための基準データが記憶されているメモリ等で構成されており、ＤＳＰにより音声信号がその音声に対応した数値情報に変換された後、制御回路８に送られる。これら操作スイッチ群７、リモコン端末１２、マイク３１によって、種々の指示を入力することが可能である。

送受信機１３は、例えばＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム）センタ１４から道路交通情報を受信するための装置である。

また、ＥＴＣ（自動料金収受システム，ＥＴＣ：Electronic Toll Collection）車載器１６と通信することにより、ＥＴＣ車載器１６がＥＴＣ路上器から受信した料金情報などを本ナビゲーション装置１００に取り込むことができる。また、ＥＴＣ車載器１６によって外部ネットワークと接続し、ＶＩＣＳセンタ１４との通信を行なう構成をとってもよい。

本発明の表示器診断手段，入力操作検出手段，入力操作診断手段，日時情報取得手段，表示器診断タイミング生成手段，表示指示変化検出手段，入力操作診断タイミング生成手段である制御回路８は通常のコンピュータとして構成されており、周知のＣＰＵ８１，ＲＯＭ８２，ＲＡＭ８３，入出力回路であるＩ／Ｏ８４およびこれらの構成を接続するバスライン８５が備えられている。ＣＰＵ８１は、ＨＤＤ２１に記憶されたナビプログラム２１ｐおよびデータにより制御を行なう。また、ＨＤＤ２１へのデータの読み書きの制御はＣＰＵ８１によって行なわれる。Ａ／Ｄ変換部８６は周知のＡ／Ｄ（アナログ／デジタル）変換回路を含み、例えば位置検出器１などから制御回路８に入力されるアナログデータをＣＰＵ８１で演算可能なデジタルデータに変換するものである。ＲＯＭ８２に、ＨＤＤ２１が故障した場合にナビゲーション機能のうちで必要最低限の動作を行なうためのプログラムを記憶しておいてもよい。

本発明の表示内容比較手段，入力操作比較手段，画面表示内容抽出手段，操作内容抽出手段である画像処理部８７は、公知のパターン認識などの技術によって画像の解析を行なう画像処理回路を含んで構成される。

本発明の表示指示記憶手段，撮影内容記憶手段，入力操作内容記憶手段，入力操作記憶手段であるＨＤＤ２１には、ナビプログラム２１ｐの他に位置検出の精度向上のためのいわゆるマップマッチング用データ、道路の接続を表した道路データを含む地図データ２１ｍが記憶される。地図データ２１ｍは、表示用となる所定の地図画像情報を記憶すると共に、リンク情報やノード情報等を含む道路網情報を記憶する。リンク情報は、各道路を構成する所定の区間情報であって、位置座標、距離、所要時間、道幅、車線数、制限速度等から構成される。また、ノード情報は、交差点（分岐路）等を規定する情報であって、位置座標、右左折車線数、接続先道路リンク等から構成される。また、リンク間接続情報には、通行の可不可を示すデータなどが設定されている。

また、ＨＤＤ２１には経路案内の補助情報や娯楽情報、その他にユーザが独自にデータを書き込むことができ、ユーザデータ２１ｕとして記憶される。これらのユーザデータ２１ｕは、操作スイッチ群７，タッチパネル２２およびリモコン端末１２の操作あるいはマイク３１からの音声入力によって内容の書き換えが可能である。また、ナビゲーション装置１００の動作に必要なデータや各種情報をデータベース２１ｄとして記憶してもよい。

また、地図データ２１ｍおよびユーザデータ２１ｕは、地図データ入力器６を介して記憶媒体２０からそのデータの追加・更新を行なうことが可能である。記憶媒体２０は、そのデータ量からＣＤ−ＲＯＭやＤＶＤを用いるのが一般的であるが、例えばメモリカード等の他の媒体を用いてもよい。また、外部ネットワークからダウンロードする構成を用いてもよい。

不揮発メモリ９はＥＥＰＲＯＭ（Electrically Erasable ＆ Programmable Read Only Memory：電気的消去・プログラム可能・読出し専用メモリ）やフラッシュメモリ等の書き換え可能な半導体メモリによって構成され、ナビゲーション装置１００の動作に必要な情報およびデータが記憶されている。なお、不揮発メモリ９は、車両４０のアクセサリスイッチがオフ状態すなわち、ナビゲーション装置１００がオフ状態になっても、記憶内容が保持されるようになっている。

また、不揮発メモリ９の代わりにナビゲーション装置１００の動作に必要な情報およびデータをＨＤＤ２１に記憶してもよい。さらに、ナビゲーション装置１００の動作に必要な情報およびデータを不揮発メモリ９とＨＤＤ２１に分けて記憶してもよい。

表示器１０は周知のカラー液晶表示器で構成され、ドット・マトリックスＬＣＤ（Liquid Crystal Display）およびＬＣＤ表示制御を行なうための図示しないドライバ回路を含んで構成されている。ドライバ回路は、例えば、画素毎にトランジスタを付けて目的の画素を確実に点灯させたり消したりすることができるアクティブマトリックス駆動方式が用いられ、制御回路８から送られる表示指令および表示画面データに基づいて表示を行なう。また、表示器として有機ＥＬ（ElectroLuminescence：電界発光）表示器，プラズマ表示器を用いてもよい。

スピーカ１５は制御回路８のＩ／Ｏ８４に接続される周知の音声合成回路２４に接続され、ナビプログラム２１ｐの指令によって不揮発メモリ９あるいはＨＤＤ２１に記憶されるデジタル音声データを音声合成回路２４においてアナログ音声に変換したものが送出される。なお、音声合成の方法には、音声波形をそのままあるいは符号化して蓄積しておき、必要に応じて繋ぎあわせる録音編集方式などがある。

車速センサ２３は周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御回路８に送るものである。制御回路８では、その車輪の回転数を車両４０の速度に換算して、車両４０の現在位置から所定の場所までの予想到達時間を算出したり、車両４０の走行区間毎の平均車速を算出する。

外部機器接続装置２６は、センサや他の制御機器等の外部機器とデータ伝送可能に接続するための入出力回路，コネクタを含むものである。以下の機能の少なくとも一つ以上を実現可能な構成となっている。
（１）不揮発メモリ９あるいはＨＤＤ２１に記憶された内容をバックアップするためのデータバックアップ装置の接続。
（２）他の車載機器とデータ伝送を行なうための車内ＬＡＮ（Local Area Network）の通信インターフェース回路。
（３）携帯電話機１７を介しての外部ネットワーク接続。

また、外部機器接続装置２６を介して車速センサ２３からのデータ取り込み、あるいはＥＴＣ車載器１６との接続を行なってもよい。

このような構成を持つことにより、ナビゲーション装置１００は、制御回路８のＣＰＵ８１によりナビプログラム２１ｐが起動されると、ユーザが操作スイッチ群７，タッチパネル２２、リモコン端末１２の操作あるいはマイク３１からの音声入力によって、表示器１０上に表示されるメニューから目的地経路を表示器１０に表示させるための経路案内処理を選択した場合、次のような処理を実施する。

すなわち、ユーザが地図上の任意の地点あるいは施設検索や住所検索、ユーザが設定した登録地などから地点を選択して目的地として設定すると、位置検出器１により車両４０の現在位置が求められ、該現在位置から目的地までの最適な案内経路を求める処理が行われる。そして、表示器１０上の道路地図に案内経路を重ねて表示し、ユーザに適切な経路を案内する。このような自動的に最適な案内経路を設定する手法は、ダイクストラ法等の手法が知られている。また、表示器１０およびスピーカ１５の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行なう。

図３は、カメラ２５で撮影された画像を記録する処理を説明するためのフロー図である。なお、本処理はナビプログラム２１ｐに含まれ他の処理とともに繰り返し実行される。まず、ナビゲーション装置側情報（以下、ナビ側情報と略称）の初期値を、その時の時刻情報とともに、ＨＤＤ２１のナビ側情報記録領域に記録する（Ｓ１００）。ここでナビ側情報とは、制御回路８における操作スイッチ群７あるいはタッチパネル２２が押されているか否かの検出状態、および制御回路８から表示器１０に送られる画面表示のための表示指令あるいは表示データである。

次に、イグニッションスイッチ（ＩＧ）がオン状態か、またはアクセサリ（ＡＣＣ）スイッチがオン状態かを判断する。イグニッションスイッチがオフ状態、かつアクセサリスイッチがオフ状態の場合（Ｓ１０１：Ｎｏ）には、ナビゲーション装置１００が起動していないため、ナビゲーション装置１００が起動するまで待つ。

一方、イグニッションスイッチがオン状態あるいはアクセサリスイッチがオン状態の場合（Ｓ１０１：Ｙｅｓ）には、ナビゲーション装置１００が起動している状態であるため、ナビ側情報に変化があるか判断する。ここでナビ側情報の変化とは、制御回路８において操作スイッチ群７あるいはタッチパネル２２の操作状況の変化を検出した場合、または制御回路８から表示器１０に送られる画面表示のための表示指令あるいは表示データが変化した場合である。ナビ側情報に変化がある場合（Ｓ１０２：Ｙｅｓ）には、ナビ側情報をその時の時刻情報とともにＨＤＤ２１のナビ側情報記録領域に記録する（Ｓ１０３）。一方、変化がない場合（Ｓ１０２：Ｎｏ）には何もせず次のステップ（Ｓ１０４）へ進む。

例えば、操作スイッチ群７あるいはタッチパネル２２が押下されていない状態から押下された状態を検出した場合を、ナビ側情報に変化があったものとして、ナビ側情報記録領域に記録する。

図８はＨＤＤ２１のナビ側情報記録領域の一例である。ナビ側情報を記録した記録日時，画面表示のための表示指令あるいは表示データを含む画像情報，制御回路８で検出された操作スイッチ群７あるいはタッチパネル２２の操作内容を含むスイッチ情報により構成される。

記録日時の基となる日時情報の取得は、以下のいずれの方法を用いてもよい。
（１）ナビゲーション装置１００の制御回路８あるいはＣＰＵ８１が計時をするためのＲＴＣ（Real Time Counter）を含み、例えば工場出荷時に設定される日時を基にＲＴＣにより日時情報を生成する方法。
（２）他の車両搭載機器との通信によって日時情報を取得する方法。
（３）ＧＰＳ受信機５により取得したＧＰＳ信号に含まれる日時情報を用いる方法。
（４）通信回線を用いた車両外部の施設・機器から日時情報を取得する方法。

次に、例えば０．５秒周期のようなカメラ２５で撮影した画像を記録するタイミングになったかを判定し、そのタイミングでない場合（Ｓ１０４：Ｎｏ）はステップＳ１０１へ戻りナビ側情報の変化を待つ。

一方、カメラ２５で撮影した画像を記録するタイミングになった場合（Ｓ１０４：Ｙｅｓ）、その時点のフレーム画像（静止画像）をナビゲーション装置１００に取り込み（Ｓ１０５）、画像処理部８７においてそのフレーム画像から表示器１０および操作スイッチ群７が撮影されている部分のみを抽出し（Ｓ１０６）、そのときの時刻情報とともにＨＤＤ２１の抽出画像記録領域に記録する（Ｓ１０７）。

図４はカメラ２５で撮影したフレーム画像の全体を示したもので、図５がそのフレーム画像から表示器１０および操作スイッチ群７が撮影されている部分のみを抽出したものである。抽出方法は、カメラ２５の撮影範囲が固定されている場合、表示器１０および操作スイッチ群７が撮影されている部分はフレーム画像のほぼ同じ位置に撮影されるので、二次元座標値等でフレーム画像の所定の範囲を予め設定しておき、その所定の範囲を抽出する方法や、予め表示器１０および操作スイッチ群７のみを撮影した基準画像をＨＤＤ２１あるいは不揮発メモリ９に記憶しておき、周知のパターン判定技術等を用いて、フレーム画像から基準画像に一致すると判定される部分を抽出する方法などがある。

図９はＨＤＤ２１の抽出画像記録領域の記録内容の一例である。撮影画像を記録した記録日時とその撮影画像により構成される。

なお、画像の抽出をナビゲーション装置１００内で行なったが、画像処理部８７に相当する回路をカメラ２５に含めてもよい。

図６のフロー図を用いて、ＨＤＤ２１に記録された、ナビ側情報およびカメラ２５で撮影された画像を用いた動作診断処理について説明する。なお、本処理はナビプログラム２１ｐに含まれる。本処理の実行方法は、他の処理とともに繰り返し実行しても、ナビゲーション装置１００の通常の動作モードとは異なる「動作診断モード」のような特定の動作モードに移行して実行してもよい。

まず、ＨＤＤ２１に記録された、ナビ側情報記録領域の先頭に記録されたナビ側情報と、抽出画像記録領域の先頭に記録された抽出画像を読み出し（Ｓ２０１）、ナビ側情報の中から画面表示のための表示指令あるいは表示データである画像情報を例えばＨＤＤ２１に確保される内部作業領域であるＰＶに移し、ナビ側情報の中から操作スイッチ群７あるいはタッチパネル２２操作の操作に関するスイッチ情報を内部作業領域であるＰＳに移す（Ｓ２０２）。

そして、次のナビ側情報を読み出す（Ｓ２０３）。読み出したナビ側情報の中から時刻情報を、さらに別の内部作業領域ＰＴに移す（Ｓ２０４）。

ＰＶとＰＳは、今から判定しようとする画像情報およびスイッチ情報であるが、ＰＴは次にナビ側情報が更新された時刻情報である。つまり、画像情報ＰＶ，スイッチ情報ＰＳが記録された時刻より後、かつ次のナビ側情報が更新された時刻ＰＴよりも前にカメラ２５により撮影された撮影画像と、画像情報ＰＶ，スイッチ情報ＰＳとを比較する。

図１０を用いて、撮影画像と画像情報ＰＶ，スイッチ情報ＰＳとの関係を説明する。カメラ２５は一定周期で撮影を行ない、抽出画像記録領域に撮影画像を記録する。例えば時刻ｔ２でユーザが操作スイッチ群７あるいはタッチパネル２２に含まれるキーを押下した場合、キーを押したというキーオン情報がナビ側情報記録領域に時刻ｔ２のナビ情報として記録される。そして、時刻ｔ３の撮影タイミングではユーザがキーを押下した状態であるので、その状態が撮影されて抽出画像記録領域に時刻ｔ３の撮影画像として記録される。時刻ｔ５でユーザがキーから指を離すと、キーを押すのをやめたというキーオフ情報が時刻ｔ５のナビ情報として記録される。その後、押されたキーに応じて表示器１０の画面表示を変更する動作が行なわれ、表示指令および表示画面データが時刻ｔ７のナビ情報として記録される。変化後の表示画面は時刻ｔ８の撮影タイミングで撮影されて時刻ｔ８の撮影画像として記録される。

撮影画像の時刻情報と時刻情報ＰＴを比較して、時刻情報ＰＴの方が前の時間（ＰＴの方が小さい）場合（Ｓ２０５：Ｎｏ）は、撮影画像の時刻情報よりも時刻情報ＰＴを含むナビ側情報が古いので、ステップＳ２０２へ戻り、現在読み出されているナビ側情報の次に記録されているナビ側情報を読み出して、画像情報ＰＶ，スイッチ情報ＰＳおよび時刻情報ＰＴを更新する。

一方、撮影画像の時刻情報と時刻情報ＰＴが同時刻か、または時刻情報ＰＴの方が後の時刻の（時刻情報ＰＴの方が大きい）場合（Ｓ２０５：Ｙｅｓ）は、次のステップ（Ｓ２０６）へ進む。すなわち、現在読み出している撮影画像の時刻情報が、次にナビ側情報が更新された時刻情報である時刻情報ＰＴより前であれば、画像情報ＰＶ，スイッチ情報ＰＳには、現状の判定条件となる撮影画像の時刻情報より前に記録された内容が含まれることになる。

まず、画像情報の比較を行なう。撮影画像と画像情報ＰＶを比較して一致する場合（Ｓ２０６：Ｙｅｓ）、表示器１０が正常に動作していると判断して、次のステップ（Ｓ２０８）へ進む。一致しない場合（Ｓ２０６：Ｎｏ）、たとえば画面がまったく表示されない状態が撮影されている、あるいはナビ側情報とは異なる画面が撮影されている場合には、表示器１０の動作異常と判断して、動作異常を知らせる音声メッセージを送出する等の所定の処理を実施する（Ｓ２０７）。

画像情報の比較は、例えば以下のように行なう。図８，図９の例では、データ番号２のナビ情報の画像情報（ＰＶ）には目的地設定画面を表示するための、画面タイトル（「目的地設定」など），ボタン名称（「検索」，「設定」など）等の表示用情報が含まれている。このときに比較する撮影画像は、記録日時の関係からデータ番号１０２に含まれる撮影画像Ｂとなる。そして、パターン認識等の技術を用いて、撮影画像Ｂに画面タイトル，ボタン名称に相当する文字情報あるいは文字パターンが含まれているかどうかを調べることで、画像情報の比較を行なうことができる。そして、撮影画像Ｂに、画像情報ＰＶに含まれる表示用情報が所定の割合を超えて含まれている場合を、撮影画像Ｂと画像情報ＰＶとが一致していると判断する。

図１０の例では、時刻ｔ７のナビ情報に含まれる画像情報ＰＶと時刻ｔ８の撮影画像との比較、あるいは時刻ｔ１６のナビ情報に含まれる画像情報ＰＶと時刻ｔ１７の撮影画像との比較に相当する。

次に、スイッチ情報の比較を行なう。読み出した撮影画像にスイッチを操作している状況が写っている場合（Ｓ２０８：Ｙｅｓ）、ナビ側情報と照合する。撮影画像のスイッチ操作状況がスイッチ情報ＰＳと一致する場合（Ｓ２０９：Ｙｅｓ）、操作スイッチ群７あるいはタッチパネル２２が正常に動作していると判断して、次の撮影画像を読み込む（Ｓ２１３）。一方、撮影画像のスイッチ操作状況がナビ側情報のスイッチ情報ＰＳと一致しない場合（Ｓ２０９：Ｎｏ）、操作スイッチ群７あるいはタッチパネル２２が操作に対応した動作を行なえない異常状態（オープン不良）にあると判断して、動作異常を知らせる音声メッセージを送出する等の所定の処理を実施する（Ｓ２１０）。

撮影画像にスイッチを操作している状況が写っていない場合（Ｓ２０８：Ｎｏ）、スイッチ情報ＰＳにスイッチを操作している情報があるかを調べる。スイッチ情報ＰＳにスイッチを操作している情報がない場合（Ｓ２１１：Ｎｏ）には、操作スイッチ群７あるいはタッチパネル２２が正常に動作していると判断して、次の撮影画像を読み込む（Ｓ２１３）。一方、撮影画像にスイッチを操作している状況が写っていないにもかかわらず、スイッチ情報ＰＳにスイッチを操作している情報がある場合（Ｓ２１１：Ｙｅｓ）には、操作スイッチ群７あるいはタッチパネル２２を操作しないにもかかわらず何らかの動作が行なわれてしまう異常状態（ショート不良）にあると判断して、動作異常を知らせる音声メッセージを送出する等の所定の処理を実施する（Ｓ２１２）。

撮影画像にスイッチを操作している状況が写っているかどうかの判定は、例えば以下のように行なう。図８、図９の例で、データ番号１のスイッチ情報ＰＳには目的地設定ボタンが押下された情報が含まれているので、記録日時の関係から図９のデータ番号１０１に含まれる撮影画像Ａと比較を行なう。撮影画像Ａにはユーザが操作スイッチ群７あるいはタッチパネル２２に割り当てられている「目的地設定」ボタンを押下している状態が撮影されているはずである。「目的地設定」ボタンの位置は予め分かっている。そこで、撮影画像において、「目的地設定」ボタンが撮影される領域で、指と判定される肌色の物体で「目的地設定」の文字のうち少なくとも一部が見えなくなっている状態を検出できれば、「目的地設定」が押下されていることを検出できる。

図１０の例では、時刻ｔ２のナビ情報に含まれるスイッチ情報ＰＳと時刻ｔ３の撮影画像との比較、あるいは時刻ｔ１１のナビ情報に含まれるスイッチ情報ＰＳと時刻ｔ１２の撮影画像との比較に相当する。

撮影画像を読み込んだ（Ｓ２１３）後は、ステップＳ２０５に戻り、記録されているナビ情報，撮影画像の全てについて、ステップＳ２０５以降の処理を繰り返す。

図３および図６の例では、撮影画像およびナビ側情報を一旦ＨＤＤ２１に記録した後に動作診断をしているが、画像認識技術を利用してリアルタイムに動作診断を行なうことも可能である。以下、図７のフロー図を用いて説明する。なお、本処理はナビプログラム２１ｐに含まれ他の処理とともに繰り返し実行される。

まず、イグニッションスイッチ（ＩＧ）がオン状態あるいはアクセサリ（ＡＣＣ）スイッチがオン状態で、ナビゲーション装置１００が起動している状態のとき（Ｓ３００：Ｙｅｓ）、ナビ側情報に変化があるか判断し、ナビ側情報に変化がある場合（Ｓ３０１：Ｙｅｓ）、ナビ側情報を取得する（Ｓ３０２）。

次いで、カメラ２５で撮影したフレーム画像（静止画像）をナビゲーション装置１００に取り込み（Ｓ３０３）、画像処理部８７においてそのフレーム画像から表示器１０および操作スイッチ群７が撮影されている部分のみを抽出する（Ｓ３０４）。

そして、ナビ側情報の中から画面表示のための表示指令あるいは表示データである画像情報を例えばＨＤＤ２１に確保される内部作業領域であるＰＶに移し、ナビ側情報の中から操作スイッチ群７あるいはタッチパネル２２の操作に関する情報を内部作業領域であるＰＳに移す（Ｓ３０５）。

以降の各異常の判定処理（Ｓ３０６以降）は、次の撮影画像を読み出す処理がない他は図６のステップＳ２０６以降と同様であるため、ここでの詳細な説明は割愛する。

以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

車両用診断装置の全体構成を示す図。 車載用ナビゲーション装置の構成を示すブロック図。 カメラで撮影された画像を記録する処理を説明するためのフロー図。 カメラで撮影された画像の例を示す図。 カメラで撮影された画像から表示器およびその周辺を抽出した例を示す図。 動作診断処理を説明するためのフロー図。 動作診断処理の別の例を説明するためのフロー図。 ナビ側情報記録領域の記録内容の一例を示す図。 抽出画像記録領域の記録内容の一例を示す図。 カメラの撮影タイミング，ナビ情報記録タイミングの関係を説明するための図。

符号の説明

７ 操作スイッチ群（入力操作手段）
８ 制御回路（表示器診断手段，入力操作検出手段，入力操作診断手段，日時情報取得手段，表示器診断タイミング生成手段，表示指示変化検出手段，入力操作診断タイミング生成手段）
９ 不揮発メモリ
１０ 表示器
２１ ハードディスク装置（表示指示記憶手段，撮影内容記憶手段，入力操作内容記憶手段，入力操作記憶手段）
２２ タッチパネル（入力操作手段）
２５ カメラ（撮影手段）
４０ 車両
８７ 画像処理部（表示内容比較手段，入力操作比較手段，画面表示内容抽出手段，入力操作抽出手段）
１００ 車載用ナビゲーション装置

Claims (16)

1. 車両に搭載されて表示制御部からの表示指示に基づいて各種情報を画面に表示する表示器と、
   所定のタイミングで前記表示器の画面表示内容を撮影する撮影手段と、
   前記表示指示の内容と前記撮影された画面表示内容とを比較する表示内容比較手段と、
   前記表示内容比較の結果に基づいて前記表示器の動作が正しく行なわれているかを診断する表示器診断手段と、
   を有することを特徴とする車両用診断装置。
2. 車両に搭載されて各種の入力操作を行なう入力操作手段と、
   前記入力操作の内容を検出する入力操作検出手段と、
   所定のタイミングで前記入力操作手段およびその周辺を撮影する撮影手段と、
   前記検出された入力操作の内容と前記撮影された入力操作とを比較する入力操作比較手段と、
   前記入力操作比較の結果に基づいて前記入力操作手段の動作が正しく行なわれているかを診断する入力操作診断手段と、
   を有することを特徴とする車両用診断装置。
3. 車両に搭載されて表示制御部からの表示指示に基づいて各種情報を画面に表示する表示器と、
   各種の入力操作を行なう入力操作手段と、
   前記入力操作の内容を検出する入力操作検出手段と、
   所定のタイミングで前記表示器の画面表示内容、ならびに前記入力操作手段およびその周辺を撮影する撮影手段と、
   前記表示指示の内容と前記撮影された画面表示内容とを比較する表示内容比較手段と、
   前記表示内容比較の結果に基づいて前記表示器の動作が正しく行なわれているかを診断する表示器診断手段と、
   前記検出された入力操作の内容と前記撮影された入力操作とを比較する入力操作比較手段と、
   前記入力操作比較の結果に基づいて前記入力操作手段の動作が正しく行なわれているかを診断する入力操作診断手段と、
   を有することを特徴とする車両用診断装置。
4. 前記表示器の動作の診断のタイミングを生成するための表示器診断タイミング生成手段を有する請求項１または３に記載の車両用診断装置。
5. 前記表示器診断タイミング生成手段は前記表示指示の内容の変化を検出する表示指示変化検出手段を含み、
   前記表示指示の内容の変化が検出された場合を、前記表示器の動作の診断のタイミングとする請求項４に記載の車両用診断装置。
6. 前記表示器診断タイミング生成手段は、前記入力操作手段の所定の操作により前記表示器の動作の診断のタイミングを生成する請求項４または５に記載の車両用診断装置。
7. 少なくとも時刻を含む日時情報を取得する日時情報取得手段と、
   前記表示指示の内容を前記日時情報とともに記憶する表示指示記憶手段と、
   前記撮影された画面表示内容を前記日時情報とともに記憶する撮影内容記憶手段とを有し、
   前記表示器診断手段は、前記表示指示と、前記表示指示が記憶された時刻よりも後に撮影された画面表示内容とを比較して前記表示器の動作を診断する請求項１，３から６のいずれか１項に記載の車両用診断装置。
8. 前記撮影手段によって撮影されたデータから前記画面表示内容が撮影されている部分を抽出する画面表示内容抽出手段を有し、
   前記撮影内容記憶手段は前記抽出された部分を記憶する請求項７に記載の車両用診断装置。
9. 前記入力操作手段の動作の診断のタイミングを生成するための入力操作診断タイミング生成手段を有する請求項２または３に記載の車両用診断装置。
10. 前記入力操作診断タイミング生成手段は前記入力操作が検出された場合に前記入力操作手段の動作の診断のタイミングを生成する請求項９に記載の車両用診断装置。
11. 前記入力操作診断タイミング生成手段は前記入力操作手段の所定の操作により前記入力操作手段の動作の診断のタイミングを生成する請求項９または１０に記載の車両用診断装置。
12. 前記入力操作手段は、前記表示器の表示画面上に設置され、その表示画面に対するユーザの入力操作により所定の入力を行なうタッチパネルである請求項２，３，９から１１のいずれか１項に記載の車両用診断装置。
13. 少なくとも時刻を含む日時情報を取得する日時情報取得手段と、
    前記入力操作の内容を前記日時情報とともに記憶する入力操作内容記憶手段と、
    前記撮影された入力操作を前記日時情報とともに記憶する入力操作記憶手段とを有し、
    前記入力操作診断手段は、前記入力操作の内容と、前記入力操作の内容が記憶された時刻よりも後に撮影された入力操作とを比較して前記入力操作手段の動作を診断する請求項２，３，９から１２のいずれか１項に記載の車両用診断装置。
14. 前記撮影手段によって撮影されたデータから前記入力操作手段が撮影されている部分を抽出する入力操作抽出手段を有し、
    前記入力操作記憶手段は前記抽出された部分を記憶する請求項１３に記載の車両用診断装置。
15. 前記撮影手段は前記車両のルームランプあるいは後席乗員のために設置された表示器に含まれて取り付けられる請求項１ないし１４のいずれか１項に記載の車両用診断装置。
16. 前記撮影手段は前記車両の前方を撮影する前方監視カメラあるいは前記車両への侵入者を検知する不審者侵入検知用カメラである請求項１ないし１５のいずれか１項に記載の車両用診断装置。
    

Images