JP2017081445A - 画像処理装置、及び、画像処理方法 - Google Patents

Abstract

【課題】車両の運転に支障を生じることなく、異常の発生したマイクロコンピュータをリセットする技術を提供する。
【解決手段】車両２のシフトがリバースである間に、ガイド線ＧＬを含む合成画像ＣＰを生成するマルチメディアマイコンが異常となっても、マルチメディアマイコンへのリセット処理を実行しない。リセット処理は、シフト位置がリバースから外れた後に行う。マルチメディアマイコンが異常となってからリセット処理を行うまでの間は、カメラ４で撮影した画像ＰＰをマルチメディアマイコンを介さず、ディスプレイ５に表示させる。これにより、運転操作の最中にディスプレイ５から画像が突然消失することを防止できる。運転者は、マルチメディアマイコンの生成する合成画像ＣＰは参照できずとも、カメラ４の撮影画像ＰＰを参照しつつ継続的に運転操作を行うことができる。
【選択図】図１

Description

本発明は、画像を処理する技術に関する。

従来より、車両に設置したカメラで車両後方を撮影し、撮影した画像を車内のディスプレイに表示させる画像処理装置が知られている。運転者は、ディスプレイに表示された車両後方を示す画像を参照し、後方の障害物等を確認しつつ車両を後進運転できる。このような画像処理装置は、画像処理を行うマイクロコンピュータに異常が生じると、直ちにリセット処理を行い、速やかに処理を回復させる（例えば、特許文献１）。異常が生じたマイクロコンピュータに対してリセット処理を行わないと、ディスプレイに表示された画像が更新されず、運転者は障害物等と車両とが接近しているのに気付くことなく、後進運転を行う恐れがあるからである。

特開２０１４−１９７３７０号公報

しかし、画像処理を行うマイクロコンピュータをリセット処理すると、リセット処理の間には画像信号が生成されず、ディスプレイには何ら表示される画像がない。車両の後進運転を行う中で、マイクロコンピュータがリセット処理されて突然ディスプレイから画像が消失すると、運転者は新たな安全確認を要し、後進運転に支障を来すこととなる。

本発明はかかる課題に鑑み、車両の運転に支障を生じることなく、異常の発生したマイクロコンピュータをリセット処理する技術の提供を目的とする。

上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、前記車両のシフト位置を検出するシフト検出手段と、前記シフト位置が所定位置の場合に、前記車両に設置されたカメラが該車両の周辺の被写体を撮像した撮像画像を取得し、該撮影画像を表示装置に出力して表示させる画像処理手段と、前記画像処理手段を制御するとともに、前記表示装置への出力前の前記撮像画像に図形を合成する合成手段と、前記合成手段の異常を検出する異常検出手段と、前記異常検出手段の前記異常の検出に応答して、前記合成手段にリセット処理を行うリセット手段と、を備え、前記リセット手段は、前記シフト位置が前記所定位置である間に前記異常検出手段が前記異常を検出した場合、前記シフト位置が前記所定位置である間は前記リセット処理を行わず、前記シフト位置が前記所定位置から外れた後に、前記リセット処理を行うことを特徴とする画像処理装置。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記シフト位置の前記所定位置は、リバースであることを特徴とする画像処理装置。

また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記異常検出手段が前記異常を検出してから前記リセット手段が前記リセット処理を行うまでの間に、該リセット処理を行う旨をユーザに事前に通知する通知手段、をさらに備えることを特徴とする画像処理装置。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記シフト検出手段は、前記シフト位置が変化してから所定時間経過後に、制御用に用いる前記シフト位置である制御シフト位置を確定し、前記リセット処理中に前記シフト位置が変化した場合、前記所定時間の経過に係わらず、前記リセット処理の終了時に前記制御シフト位置を確定することを特徴とする画像処理装置。

また、請求項５の発明は、画像を処理する画像処理方法であって、（ａ）前記車両のシフト位置を検出する工程と、（ｂ）画像処理手段が、前記シフト位置が所定位置の場合に、前記車両に設置されたカメラが該車両の周辺の被写体を撮像した撮像画像を取得し、該撮影画像を表示装置に出力して表示させる工程と、（ｃ）前記画像処理手段を制御する合成手段が、前記表示装置への出力前の前記撮像画像に図形を合成する工程と、（ｄ）前記合成手段の異常を検出する工程と、（ｅ）前記工程（ｄ）の前記異常の検出に応答して、前記合成手段にリセット処理を行う工程と、を備え、前記工程（ｅ）は、前記シフト位置が前記所定位置である間に前記工程（ｄ）が前記異常を検出した場合、前記シフト位置が前記所定位置である間は前記リセット処理を行わず、前記シフト位置が前記所定位置から外れた後に、前記リセット処理を行うことを特徴とする画像処理方法。

請求項１ないし５の発明によれば、シフト位置が所定位置から外れた後に合成手段にリセット処理を行うので、車両が同一のシフト状態でいる間に、合成手段と合成手段に制御される取得手段とがリセットされるのを防止し、継続して撮像画像を表示できる。

また、特に請求項２の発明によれば、シフト位置が車両を後進させる位置から外れた後に合成手段にリセット処理を行うので、車両が後進中に合成手段と合成手段に制御される画像処理手段とがリセットされるのを防止できる。

また、特に請求項３の発明によれば、ユーザは、合成手段へのリセット処理が行われる旨をリセット処理の開始前に把握できるので、リセット処理が開始されても当惑することがない。

また、特に請求項４の発明によれば、リセット処理中に所定時間の一部又は全部が経過しているので、リセット処理の終了後には、シフト位置が変化したと推定できる。リセット処理の終了時に図形を合成した撮像画像を表示装置に表示させることで、ユーザはリセット処理の終了後、直ちに図形を合成した撮像画像を参照できる。

図１は、画像処理システムの概要を示す。 図２は、画像処理システムの構成を示すブロック図である。 図３は、ディスプレイの表示例を示す。 図４は、映像デコーダの処理工程を示すフローチャートである。 図５は、マルチメディアマイコンの処理工程を示すフローチャートである。 図６は、システム制御マイコンの処理工程を示すフローチャートである。 図７は、ディスプレイの表示の遷移を示すタイムチャートである。 図８は、ディスプレイの表示の遷移を示すタイムチャートである。 図９は、第２の実施の形態に係る画像処理システムの構成を示すブロック図である。 図１０は、第２の実施の形態に係る映像デコーダの処理工程を示すフローチャートである。 図１１は、第２の実施の形態に係るディスプレイの表示の遷移を示すタイムチャートである。

以下、図面を参照しつつ本発明の実施の形態を説明する。

＜１．第１の実施の形態＞
＜１−１．概要＞
図１は、第１の実施の形態に係る画像処理システム１の概要を示す。画像処理システム１は、車両２に搭載したカメラ４で車両２周辺、例えば後方を撮影し、撮影して得られた画像を車内のディスプレイ５に表示するシステムである。撮影して得られた画像には、車幅及び車両後端からの距離を示すガイド線ＧＬを合成し、運転者が障害物との距離及び接触の可能性を把握できるにしている。運転者は、このような合成画像ＣＰを参照しつつ車両２を例えば後方への進行方向ＤＲに向けて運転する場合、車両２周辺、特に死角領域に存在する障害物の位置を正確に把握し、より安全に運転できる。

このような合成画像ＣＰを生成するマイクロコンピュータは、複雑な演算処理を要するため、処理に異常を来す場合がある。異常が生じたマイクロコンピュータは、もはや画像処理を行い得ず、正確な画像を出力できない。例えば、同一画像を継続的に出力する等である。このため、画像処理システム１は、処理に異常を来したマイクロコンピュータに対してリセット処理を行い、正常状態に復帰させる。

しかし、運転の最中にマイクロコンピュータをリセット処理すると、突然にディスプレイ５から画像が消失し、運転者は当惑して運転操作に支障を生じる恐れがある。また、リセット処理を行わずに同一画像を継続的にディスプレイ５に表示させると、運転者は、障害物の車両２への接近や進行方向ＤＲへの進入に気付くことがなく、車両２と障害物とが接触する恐れがある。

そこで、本発明に係る画像処理システム１は、このように合成画像ＣＰを生成するマイクロコンピュータに異常が生じても、直ちにリセット処理を行わず、シフト位置が変更されるまで合成画像ＣＰに代えてガイド線ＧＬを合成する前の撮影画像ＰＰをディスプレイ５に表示する。これにより、合成画像ＣＰを表示できずとも、運転の最中にディスプレイ５が画像消失状態となることがなく、また同一画像が継続的にディスプレイ５に表示されることもない。したがって、運転者は突然の画像消失に当惑することなく、車両２周辺の障害物を撮影画像ＰＰで的確に参照しつつ、運転操作を継続できる。以下、このような画像処理システム１を詳細に説明する。

＜１−２．構成＞
図２は、画像処理システム１の構成を示し、特に画像処理装置３の構成を示すブロック図である。画像処理システム１は、車両２に搭載された画像処理装置３、カメラ４、ディスプレイ５、シフトポジションセンサ６、及び周辺機器７を備える。

車両２は、自動車等の輸送用機器である。車両２は、自動車のほか、鉄道、船舶、航空機等である。運転者により操縦される機器であればよい。

画像処理装置３は、車両２に設置され、カメラ４で撮影した画像や車両に搭載された種々の機器のための画像をディスプレイ５に表示させる電子制御装置である。外部の機器と無線通信を行うアンテナを備えた電子制御装置である。画像処理装置３は、映像デコーダ３２、マルチメディアマイコン３１、及びシステム制御マイコン３３を備える。映像デコーダ３２、マルチメディアマイコン３１、及びシステム制御マイコン３３の備える機能は後述する。

カメラ４は、例えば車両２後部に後方を向いて設置され、車両後方の被写体を撮影して画像信号を生成するビデオカメラである。

ディスプレイ５は、画像処理装置３から出力される静止画または動画の画像信号を表示する画像表示機器である。例えば、液晶ディスプレイ（ＬＣＤ）やプラズマディスプレイ（ＰＤＰ）である。ディスプレイ５は、本発明において、表示装置として機能する。

シフトポジションセンサ６は、ギアチェンジを行うシフト（図示せず）の位置を検出するセンサである。シフト位置とは、例えば、パーキング（Ｐ）、リバース（Ｒ）、ニュートラル（Ｎ）、及びドライブ（Ｄ）等である。シフトポジションセンサ６は、シフト位置を検出すると、検出したシフト位置を示すシフト信号ＳＳをシステム制御マイコン３３に送信する。

周辺機器７は、車両２に設置される様々な機器（マルチメディア）である。周辺機器７は、例えば、ラジオチューナ７１、ＣＤプレーヤ７２、ナビゲーション７３、及び不揮発性メモリ７４等である。周辺機器７は、マルチメディアマイコン３１に制御される。マルチメディアマイコン３１は、例えば、ラジオチューナ７１やＣＤプレーヤ７２のためのオーディオ操作画面を生成し、映像デコーダに送信してディスプレイに表示させる。また、マルチメディアマイコン３１は、ナビゲーション用の地図画像の生成や経路案内を実行する。また、マルチメディアマイコン３１は、ユーザによって入力された様々なデータを不揮発性メモリ７４に記憶させる。例えば、ユーザがラジオチューナ７１を操作して選曲したラジオ局の周波数やナビゲーション７３に対して入力した目的地の場所等である。

次に、マルチメディアマイコン３１、映像デコーダ３２、及びシステム制御マイコン３３の備える機能を説明する。

マルチメディアマイコン３１は、図示しないＣＰＵ、ＲＡＭ、及びＲＯＭを備え、映像デコーダ３２及び周辺機器７を制御するマイクロコンピュータである。マルチメディアマイコン３１に映像デコーダ３２や周辺機器７等の制御を集中させることで、簡易な仕組みで画像処理装置３を構成できる。また、マルチメディアマイコン３１は、映像デコーダ３２から送信されるカメラ４の撮影画像に運転支援用のガイド線ＧＬを合成する。マルチメディアマイコン３１は、メディア制御部３１ａ及びガイド線合成部３１ｂを備える。マルチメディアマイコン３１は、本発明において、合成手段として機能する。また、ガイド線ＧＬは、本発明において、図形として機能する。また、合成画像は、本発明において、図形が合成された撮影画像として機能する。

メディア制御部３１ａは、映像デコーダ３２及び周辺機器７を制御する。例えば、ユーザの操作に基づき、ラジオチューナ７１の周波数や音量を調整する。また、メディア制御部３１ａは、周辺機器７を制御するための表示用画面を生成する。例えば、ＣＤプレーヤ７２の選曲画面やナビゲーション７３の地図画面である。メディア制御部３１ａは、表示用画面を生成すると映像デコーダ３２に送信する。

ガイド線合成部３１ｂは、カメラ４が撮影した車両２後方の撮影画像に運転支援用のガイド線ＧＬを合成する。ガイド線ＧＬは図示しないメモリに予め画像データとして記憶される。ガイド線合成部３１ｂは、映像デコーダ３２から撮影画像を受信するとガイド線ＧＬを合成して映像デコーダ３２に返信する。

映像デコーダ３２は、カメラ４及びマルチメディアマイコン３１から送信される画像信号をディスプレイ５に表示可能な画像信号に変換する集積回路である。映像デコーダ３２は、マルチメディアマイコン３１の下位に組み込まれて構成される。したがって、映像デコーダ３２は、マルチメディアマイコン３１がリセット処理されると、連動してリセット処理される。映像デコーダ３２は、送受信部３２ａ、デコード部３２ｂ、表示部３２ｃ、固着検知部３２ｄ、コーション部３２ｅ、及びシフト検出部３２ｆを備える。映像デコーダ３２は、本発明において、画像処理手段として機能する。

送受信部３２ａは、カメラ４及びマルチメディアマイコン３１から送信される画像信号を受信する受信機能である。

デコード部３２ｂは、カメラ４から送信される画像信号をデコードし、ディスプレイ５に表示可能な信号に変換するデコーダである。

表示部３２ｃは、マルチメディアマイコン３１から送信された合成画像信号ＣＳ並びに通常画像信号ＯＳ、及びデコード部３２ｂが変換処理した撮影画像信号ＰＳをディスプレイ５に送信し、ディスプレイ５に各画像を表示させる表示制御機能である。

表示部３２ｃは、シフト位置に応じた画像をディスプレイ５に表示させる。すなわち、表示部３２ｃは、シフト位置がリバースであると車両後方を示す画像を表示させ、ドライブであると地図画像を表示させ、パーキングであるとオーディオ画面を表示させる等である。

なお、撮影画像信号ＰＳとは、カメラ４が車両２後方の被写体を撮影して生成した画像信号である。撮影画像信号ＰＳがディスプレイ５に送信されると、ディスプレイ５には車両２後方の被写体の画像である撮影画像ＰＰが表示される。ただし、撮影画像信号ＰＳにはデコード部３２ｂに変換処理された画像信号を含む。

また、合成画像信号ＣＳとは、マルチメディアマイコン３１が撮影画像信号ＰＳに対してガイド線ＧＬを示す画像を合成して生成した画像信号である。合成画像信号ＣＳがディスプレイ５に送信されると、ディスプレイ５には車両２後方の被写体の画像にガイド線ＧＬの画像が合成された合成画像ＣＰが表示される。

また、通常画像信号ＯＳとは、運転者が周辺機器７を操作するために、マルチメディアマイコン３１が生成する周辺機器７の操作用等の画像信号である。例えば、ラジオチューナ７１やＣＤプレーヤ７２を操作するためのオーディオ操作画像である。また、ナビゲーション用の地図画像である。通常画像信号ＯＳがディスプレイ５に送信されると、ディスプレイ５には周辺機器７の操作画面等の通常画像ＯＰが表示される。

固着検知部３２ｄは、マルチメディアマイコン３１の異常を検知する。すなわち、固着検知部３２ｄは、マルチメディアマイコン３１から送信される合成画像信号ＣＳに基づく合成画像ＣＰの異常の有無を検知する。固着検知部３２ｄは、本発明において、異常検出部として機能する。

マルチメディアマイコン３１は、複数の周辺機器７を同時に制御するため、データ処理が複雑となる。このため、マルチメディアマイコン３１は、他のマイコンと比較して異常が発生しやすい。異常が発生したマルチメディアマイコン３１は、固着画像（動きのない同一画像）を出力する恐れがある。

車両２を後進運転する運転者は、一般的にはディスプレイ５の画像を凝視せず、様々な方向を目視して安全確認を行う。このため、マルチメディアマイコン３１が固着画像を出力しても運転者は画像が固着していることに直ちに気付くことがない。この場合、運転者は、車両２後方への障害物の接近又は障害物の進入をディスプレイ５の画像から認識できず、車両２と障害物とが接触する恐れが生じる。

固着検知部３２ｄは、画像の所定の９箇所のピクセルデータの色彩の変化を判定することで固着画像であるか否か判断する。ピクセルデータの色彩に変化がなければ、動きのない固着画像であると判断できる。固着検知部３２ｄは、合成画像ＣＰに固着があると判断すると、システム制御マイコン３３へ合成画像ＣＰに固着がある旨を示す固着信号ＡＳを送信する。

コーション部３２ｅは、固着検知部３２ｄが合成画像ＣＰに基づきマルチメディアマイコン３１の異常を検知した場合に、車両２の運転者に異常の発生及びシステムをリセット処理する旨を通知する。コーション部３２ｅは、異常の発生及びリセット処理を行う旨を示す通知画像をカメラ４が撮影した影画像に合成して、かかる通知を行う。コーション部３２ｅは、本発明において、通知手段として機能する。

図３は、コーション部３２ｅが生成する通知画像ＣＡの例である。通知画像ＣＡは、運転者にシステムの異常の発生及びシステムをリセット処理する旨を伝える文字を示す画像データである。例えば、「ＣＡＵＴＩＯＮ！ カメラシステムに異常が発生しました。シフト位置がリバースから解除された後、システムをリセット処理します。」である。

通知画像ＣＡは、図示しないメモリに記憶され、固着検知部３２ｄがマルチメディアマイコン３１の異常を検知した際にコーション部３２ｅに読み出される。コーション部３２ｅは、通知画像ＣＡを読み出すと、撮影画像ＰＰに通知画像ＣＡを重畳して合成する。通知画像ＣＡが合成された撮影画像ＰＰは、表示部によりディスプレイ５に表示される。これにより、運転者は、車両２後方の様子を参照しつつ、システムの異常の発生及びシステムがリセット処理される旨を把握できる。

再度図２を参照し、シフト検出部３２ｆ以下を説明する。シフト検出部３２ｆは、シフトポジションセンサ６から送信されるシフトポジションを示すシフト信号ＳＳを受信し、入力されているシフト位置を検出する。例えば、シフト信号ＳＳがリバースを示す場合には、シフト検出部３２ｆは、入力されているシフト位置をリバースと検出する。また、シフト検出部３２ｆは、シフト位置が移動してから所定期間（チャタリング防止期間）経過後にシフト位置が移動したと判断する。シフト位置を移動させる場合、所望のシフト位置へ移動する前に他のシフト位置を経由する場合があるため、シフト検出部３２ｆは、他のシフト位置を瞬間的に検出（いわゆる、チャタリング）することとなる。したがって、シフト位置を検出しても直ちにシフト位置が移動したと判断せず、シフト位置が所定のチャタリング防止期間だけ継続した場合に、シフト位置が移動したと判断する。すなわち、制御に用いるシフト位置（制御シフト位置）を確定する。なお、チャタリング防止期間は、例えば５００ｍｓｅｃである。シフト検出部３２ｆは、本発明において、車両２のシフト位置を検出するシフト検出手段として機能する。

システム制御マイコン３３は、図示しないＣＰＵ、ＲＡＭ、及びＲＯＭを備え、画像処理装置３及び周辺機器７の電源管理を行うマイクロコンピュータである。システム制御マイコン３３は、シフト検出部３３ｂ及びリセット部３３ａを備える。

シフト検出部３３ｂは、シフトポジションセンサ６から送信されるシフトポジションを示すシフト信号ＳＳを受信し、入力されているシフト位置を検出する。例えば、シフト信号ＳＳがリバースを示す場合には、シフト検出部３３ｂは、入力されているシフト位置をリバースと検出する。

リセット部３３ａは、マルチメディアマイコン３１にリセット信号ＲＳを送信し、マルチメディアマイコン３１にリセット処理を行う。また、リセット部３３ａは、図示しない信号線を介して周辺機器７にリセット信号ＲＳを送信してリセット処理を行う。リセット処理とは、マルチメディアマイコン３１のＣＰＵに備わるレジスタを強制的に初期状態に戻すことである。リセット処理期間は、１．５ｓｅｃ程度である。なお、リセット部３３ａは、リセット信号ＲＳの送信に代えて、マルチメディアマイコン３１及び周辺機器７への電源の遮断及び再投入によりリセット処理を行ってもよい。リセット部３３ａは、本発明において、リセット手段として機能する。

＜１−３．工程＞
次に、画像処理装置３の処理工程を説明する。図４は、画像処理装置３の備える映像デコーダ３２の処理工程を示すフローチャートである。映像デコーダ３２の処理工程は、所定周期で繰り返し実行される。

処理が開始されると、送受信部３２ａが、カメラ４が撮影して送信した撮影画像信号ＰＳを取得する（ステップＳ１０１）。送受信部３２ａが撮影画像信号ＰＳを取得すると、デコード部３２ｂが、撮影画像信号ＰＳをディスプレイ５に表示可能な形式に変換処理する。

次に、シフト検出部３２ｆが、シフト位置がリバースであるか否か判断する（ステップＳ１０２）。シフト検出部３２ｆは、前述の通り、シフトポジションセンサ６から送信されるシフト信号ＳＳに基づいてシフト位置を判断する。

シフト検出部３２ｆがシフト位置はリバースでないと判断すると（ステップＳ１０２でＮｏ）、送受信部３２ａが、マルチメディアマイコン３１が送信した通常画像信号ＯＳを取得する。送受信部３２ａが通常画像信号ＯＳを取得すると、表示部３２ｃが、通常画像信号ＯＳをディスプレイ５に送信して表示させる（ステップＳ１１２）。これにより、運転者は、シフト位置をパーキングやドライブに位置させた場合にラジオ選局画面や地図画面を参照できる。

一方、シフト検出部３２ｆがシフト位置はリバースであると判断すると（ステップＳ１０２でＹｅｓ）、送受信部３２ａは、撮影画像信号ＰＳをマルチメディアマイコン３１へ送信する（ステップＳ１０３）。

送受信部３２ａがマルチメディアマイコン３１から返信される撮影画像にガイド線を合成した合成画像信号ＣＳを受信すると、固着検知部３２ｄが、マルチメディアマイコン３１の異常、すなわち合成画像ＣＰに固着が生じているか否か前述の手法を用いて判断する（ステップＳ１０４）。

固着検知部３２ｄが合成画像ＣＰに固着が生じてないと判断した場合（ステップＳ１０４でＮｏ）、表示部３２ｃは、合成画像信号ＣＳをディスプレイ５に送信し、合成画像ＣＰを表示させる（ステップＳ１０５）。これにより、運転者は、車両後方の画像にガイド線ＧＬが合成された合成画像ＣＰを参照しつつ、車両２の後進運転を行うことができる。表示部３２ｃがディスプレイ５に合成画像ＣＰを表示させると、映像デコーダ３２の処理工程は終了する。この場合、所定周期の後、再びステップＳ１０１以下の処理が実行される。

一方、固着検知部３２ｄは、合成画像ＣＰに固着が生じていると判断した場合（ステップＳ１０４でＹｅｓ）、システム制御マイコン３３へ固着信号ＡＳを送信する（ステップＳ１０６）。

固着検知部３２ｄが固着信号ＡＳを送信すると、コーション部３２ｅは、システムに異常が発生し、リセット処理を行う旨を通知する通知画像ＣＡを撮影画像ＰＰに合成する（ステップＳ１０７）。

コーション部３２ｅが通知画像ＣＡを撮影画像ＰＰに合成すると、表示部３２ｃは、通知画像ＣＡが合成された撮影画像ＰＰを示す撮影画像信号ＰＳをディスプレイ５に送信する（ステップＳ１０８）。これにより、運転者は、通知画像ＣＡが合成された撮影画像ＰＰを参照し、異常の発生及びリセット処理の実行を認識できる。

表示部３２ｃが撮影画像信号ＰＳをディスプレイ５に送信すると、映像デコーダ３２は、マルチメディアマイコン３１からリセット信号ＲＳを受信したか否か判断する（ステップＳ１０９）。

映像デコーダ３２は、リセット信号ＲＳを受信しないと（ステップＳ１０９でＮｏ）、リセット信号ＲＳを受信するまで繰り返しステップＳ１０９を実行して待機する。固着検知部３２ｄが固着信号ＡＳを送信している以上、リセット信号ＲＳが必ず送信されるので、映像デコーダ３２はリセット信号ＲＳが送信されるまで待機すればよい。

映像デコーダ３２は、リセット信号ＲＳを受信すると（ステップＳ１０９でＹｅｓ）、リセット処理を行う（ステップＳ１１０）。すなわち、映像デコーダ３２は、映像デコーダ３２のＣＰＵに備わるレジスタを強制的に初期状態に戻してリセット処理を行う。

映像デコーダ３２がリセット処理を終了すると、シフト検出部３２ｆが、シフト位置がリバースであるか否か判断する（ステップＳ１１１）。

シフト検出部３２ｆがシフト位置はリバースであると判断すると（ステップＳ１１１でＹｅｓ）、処理はステップＳ１０３に戻る。この場合、再びステップＳ１０３以下の処理が実行される。

一方、シフト検出部３２ｆがシフト位置はリバースでないと判断すると（ステップＳ１１１でＮｏ）、表示部３２ｃは、マルチメディアマイコン３１から送信された通常画像信号ＯＳをディスプレイ５に送信し、ディスプレイ５に通常画像ＯＰを表示させる（ステップＳ１１２）。表示部３２ｃがディスプレイ５に通常画像ＯＰを表示させると、映像デコーダ３２の処理工程は終了する。

次に、マルチメディアマイコン３１の処理工程を説明する。図５は、マルチメディアマイコン３１の処理工程を示すフローチャートである。マルチメディアマイコン３１の処理工程は、所定周期で繰り返し実行される。

処理が開始されると、メディア制御部３１ａが、周辺機器７を運転者の操作に基づいて制御する（ステップＳ２０１）。

メディア制御部３１ａが周辺機器７を制御すると、ガイド線合成部３１ｂが、映像デコーダ３２から撮影画像信号ＰＳを受信したか否か判断する（ステップＳ２０２）。

ガイド線合成部３１ｂが撮影画像信号ＰＳを受信しないと判断した場合（ステップＳ２０２でＮｏ）の処理は、後述する。一方、ガイド線合成部３１ｂは、撮影画像信号ＰＳを受信したと判断した場合（ステップＳ２０２でＹｅｓ）、撮影画像信号ＰＳに基づく撮影画像ＰＰにガイド線ＧＬを合成する（ステップＳ２０３）。

ガイド線合成部３１ｂは、撮影画像ＰＰにガイド線ＧＬを合成すると、合成画像信号ＣＳを映像デコーダ３２へ送信する（ステップＳ２０４）。

ガイド線合成部３１ｂが合成画像信号ＣＳを映像デコーダ３２へ送信すると、マルチメディアマイコン３１は、システム制御マイコン３３からリセット信号ＲＳを受信したか否か判断する（ステップＳ２０５）。

一方、マルチメディアマイコン３１は、リセット信号ＲＳを受信したと判断すると（ステップＳ２０５でＹｅｓ）、リセット処理を行う（ステップＳ２０６）。すなわち、マルチメディアマイコン３１は、マルチメディアマイコン３１のＣＰＵに備わるレジスタを強制的に初期状態に戻してリセット処理を行う。また、マルチメディアマイコン３１は、リセット処理を行うと、映像デコーダ３２にリセット信号ＲＳを送信する。

マルチメディアマイコン３１がリセット処理を行った場合、前述のガイド線合成部３１ｂが撮影画像信号ＰＳを受信しないと判断した場合（ステップＳ２０２でＮｏ）、及び、マルチメディアマイコン３１がリセット信号ＲＳを受信しないと判断した場合（ステップＳ２０５でＮｏ）、メディア制御部３１ａは、周辺機器７を制御するための通常画像ＯＰを生成する（ステップＳ２０７）。

メディア制御部３１ａは、通常画像ＯＰを生成すると、映像デコーダ３２に通常画像ＯＰを示す通常画像信号ＯＳを送信する（ステップＳ２０８）。メディア制御部３１ａが通常画像信号ＯＳを送信すると、マルチメディアマイコン３１の処理工程は終了する。

次に、システム制御マイコン３３の処理工程を説明する。図６は、システム制御マイコン３３の処理工程を示すフローチャートである。システム制御マイコン３３の処理工程は、所定周期で繰り返し実行される。

処理が開始されると、システム制御マイコン３３は、マルチメディアマイコン３１及び周辺機器７に電源を供給する（ステップＳ３０１）。

次に、リセット部３３ａが映像デコーダ３２から送信される固着信号ＡＳを受信したか否か判断する（ステップＳ３０２）。

リセット部３３ａが固着信号ＡＳを受信しないと判断すると（ステップＳ３０２でＮｏ）、システム制御マイコン３３の処理工程は終了する。ただし、ステップＳ３０１で実行した電源の供給は継続し、マルチメディアマイコン３１及び周辺機器７が処理を継続できるようにする。

一方、リセット部３３ａは、固着信号ＡＳを受信したと判断すると（ステップＳ３０２でＹｅｓ）、周辺機器７をリセット処理する（ステップＳ３０３）。すなわち、リセット部３３ａは、周辺機器７への電源供給を遮断する。周辺機器７のリセット状態を維持することで、シフト位置がリバースを外れた際に、周辺機器７を早期に再起動できる。

リセット部３３ａが周辺機器７をリセット処理すると、システム制御マイコン３３は、割り込み処理が発生したか判断する（ステップＳ３０４）。割り込み処理は、例えば、周辺機器７のリセット処理に伴うメモリ管理等である。

システム制御マイコン３３は、割り込み処理が発生したと判断すると（ステップＳ３０４でＹｅｓ）、かかる割り込み処理を実行する（ステップＳ３０５）。

システム制御マイコン３３が割り込み処理を実行した場合、及び、割り込み処理が発生しないと判断した場合（ステップＳ３０４でＮｏ）、シフト検出部３３ｂが、シフト位置がリバースであるか否か判断する（ステップＳ３０６）。

シフト検出部３３ｂがシフト位置はリバースであると判断すると（ステップＳ３０６でＹｅｓ）、リセット部３３ａは周辺機器７のリセット状態を維持し（ステップＳ３０３）、システム制御マイコン３３は割り込み処理の発生を再度判断する（ステップＳ３０４）。以後、シフト検出部３３ｂがシフト位置はリバースでないと判断するまで、ステップＳ３０３からステップＳ３０６までの処理が繰り返し実行される。

一方、シフト検出部３３ｂがシフト位置はリバースでないと判断すると（ステップＳ３０６でＮｏ）、リセット部３３ａは、マルチメディアマイコン３１へリセット信号ＲＳを送信する（ステップＳ３０７）。これにより、マルチメディアマイコン３１は、シフト位置がリバースから外れた後にリセット処理される。したがって、マルチメディアマイコン３１に連動する映像デコーダ３２もシフト位置がリバースから外れた後にリセット処理される。すなわち、シフト位置がリバースである間は、映像デコーダ３２は撮影画像ＰＰをディスプレイ５に表示させることができる。

リセット部３３ａは、マルチメディアマイコン３１へリセット信号ＲＳを送信すると、カメラ４とカメラ４に関連する機器とに電源を投入して再起動させる（ステップＳ３０８）。カメラ４に関連する機器は、例えば、カメラ４の操作の設定状態を保存している機器等である。

リセット部３３ａは、カメラ４等を再起動させると、周辺機器７に電源を投入して再起動させる。この際、周辺機器７はリセット部３３ａによりリセット状態が維持されていたので、速やかな起動が可能となる。また、周辺機器７に対してカメラ４等を優先して再起動させることで、速やかな画像表示が可能となる。リセット部３３ａが周辺機器７に電源を投入して再起動させると、システム制御マイコン３３の処理工程は終了する。

＜１−４．画像遷移＞
次に、ディスプレイ５に表示される画像の遷移を説明する。図７は、ディスプレイ５に表示される画像の遷移を示すタイムチャートであり、マルチメディアマイコン３１に異常が発生すると直ちにリセット処理を行う場合を示す。横軸ａは時間経過を表す。

シフト位置のリバースはオフ、すなわちシフト位置はリバース以外の位置であり、マルチメディアマイコン３１が正常に動作している場合、ディスプレイ５に表示される画像は、周辺機器７の操作画像等である通常画像ＯＰである（時間ａ０）。

シフト位置のリバースがオン、すなわちシフト位置がリバースの位置となると、ディスプレイ５に表示される画像は、通常画像ＯＰから車両２後方の画像にガイド線ＧＬを合成させた合成画像ＣＰとなる（時間ａ１）。これにより、シフト位置をリバースの位置とした運転者は、車両２後方及びガイド線ＧＬを参照しつつ後進運転を行うことができる。時間ａ１以後、固着検知部３２ｄは合成画像ＣＰの固着の有無を判断する。

その後、マルチメディアマイコン３１に異常が発生すると、固着検知部３２ｄが固着信号ＡＳをシステム制御マイコン３３に送信する（時間ａ２）。

固着信号ＡＳを受信したシステム制御マイコン３３は、マルチメディアマイコン３１にリセット信号ＲＳを送信する（時間ａ３）。これにより、マルチメディアマイコン３１及び映像デコーダ３２がリセット処理される。映像デコーダ３２がリセット処理されると、ディスプレイ５に画像信号が送信されなくなり、ディスプレイ５は画像消失状態ＲＰとなる。時間ａ３の時点では、シフト位置は未だリバースに位置にあるため、運転者は後進運転を行っている最中である。この際に、ディスプレイ５が突然に画像消失状態ＲＰとなると、運転者は予期しない画像状態に当惑し、後進運転に支障を生じる恐れがある。

一方、合成画像ＣＰが固着したままマルチメディアマイコン３１の異常を放置し、シフト位置がリバースを外れた後にリセット処理を行う場合にも、後進運転に支障を生じる恐れがある。すなわち、車両２は後進しつつも合成画像ＣＰが固着しているので、車両２後方の障害物の接近に運転者が気付かない場合があるからである。また、合成画像ＣＰの固着後に車両２後方に進入した障害物も固着した合成画像ＣＰには映らないため、かかる障害物の進入に運転者が気付かない場合がある。一般的に運転者は、後進運転中は様々な方向への安全確認を要する。このため、運転者が後進運転中に合成画像ＣＰの固着を見抜くことは容易でないからである。

リセット処理が終了しマルチメディアマイコン３１及び映像デコーダ３２が正常状態に復帰すると、再度合成画像がディスプレイ５に表示される（時間ａ４）。

車両２の後進運転が終了すると、シフト位置はリバース以外の位置となり、合成画像ＣＰに替わって通常画像ＯＰがディスプレイ５に表示される（時間ａ５）。

図８は、ディスプレイ５に表示される画像の遷移を示すタイムチャートであり、マルチメディアマイコン３１に異常が発生している間は撮影画像ＰＰを表示し、シフト位置がリバースを外れた後にリセット処理を行う場合を示す。横軸ｂは時間経過を表す。

時間ｂ０及び時間ｂ１は、前述の時間ａ０及び時間ａ１と同様のため、説明を省略する。

シフト位置がリバースとなった時点（時間ｂ１）の後、マルチメディアマイコン３１に異常が発生すると、映像デコーダ３２からシステム制御マイコン３３に固着信号ＡＳが送信される。しかし、この時点（時間ｂ２）ではリセット処理は実行しない。固着検知部３２ｄが合成画像ＣＰの固着を検知すると、表示部３２ｃがディスプレイ５への送信する画像を合成画像ＣＰから通知画像ＣＡの合成された撮影画像ＰＰに切り替える（時間ｂ２）。これにより、運転者は車両２後方を参照できるので、障害物の接近や進入を把握でき、後進運転に何ら支障がない。

車両２の後進運転が終了すると、シフト位置はリバース以外の位置となる（時間ｂ３）。この時点で、固着検知部３２ｄは、固着信号ＡＳをシステム制御マイコン３３に送信する。固着信号ＡＳを受信したシステム制御マイコン３３は、マルチメディアマイコン３１をリセット処理させ、さらに映像デコーダ３２がリセット処理される。映像デコーダ３２がリセット処理されるとディスプレイ５は画像消失状態ＲＰとなる（時間ｂ３）が、事前に通知画像ＣＡを表示して異常発生とリセット処理とを予告しているので、運転者は、ディスプレイ５の表示が画像消失状態ＲＰとなったとしても、何ら当惑することがない。また、シフト位置はリバースを外れているので、後進運転にも支障がない。

マルチメディアマイコン３１及び映像デコーダ３２のリセット処理が終了すると、シフト位置は既にリバースを外れているので、ディスプレイ５には通常画像ＯＰが表示される（時間ｂ４）。

以上の通り、第１の実施の形態に係る画像処理装置３は、車両２のシフト位置がリバース等の所定位置である間にマルチメディアマイコン３１が異常となった場合、シフト位置が所定位置、例えばリバースである間はマルチメディアマイコン３１へのリセット処理を行わず、シフト位置が所定位置から外れた後に、リセット処理を行う。また、マルチメディアマイコン３１が異常となってからリセット処理を行うまでの間は、カメラ４で撮影した画像をマルチメディアマイコン３１を介さずに、ディスプレイ５に表示させる。これにより、運転操作の最中にディスプレイ５から画像が突然消失することを防止できる。運転者は、マルチメディアマイコン３１の生成する合成画像は参照できずとも、カメラ４の撮影画像を参照して継続的に運転操作を行うことができる。

＜２．第２の実施の形態＞
＜２−１．概要＞
上記第１の実施の形態では、シフト位置がリバースから外された後、リセット処理が終了すると、ディスプレイ５には通常画像ＯＰが表示された（図８の時間ｂ４）。これに対し、第２の実施の形態では、シフト位置がリバースから外された後、リセット処理中に再度シフト位置がリバースに設定された場合の処理を行う。

前述した様に、映像デコーダ３２のシフト検出部３２ｆは、シフト位置が移動してから所定時間（チャタリング防止期間）経過後にシフト位置が移動したと判断する。これにより、いわゆるチャタリングによるシフト位置の誤検出を防止する。

第２の実施の形態では、リセット処理の終了後にシフト検出部３２ｆが計測するチャタリング防止期間を短縮する。リセット処理中に再度シフト位置がリバースに設定された場合には、リセット処理期間とチャタリング防止期間とが重複して経過する。この場合、リセット処理中にチャタリング防止期間の全部又は一部が経過する。このため、リセット処理中に再度シフト位置がリバースに設定された場合には、リセット処理の終了後には、シフト位置が変化したと推定できる。リセット処理の終了直後にガイド線ＧＬを合成した合成画像ＣＰをディスプレイ５に表示させることで、運転者はリセット処理の終了後、直ちに合成画像ＣＰを参照して、後進運転を行うことができる。なお、第２の実施の形態は、第１の実施の形態と同様の構成及び処理を含む。このため、以下、第１の実施の形態との相違点を中心に説明する。

＜２−２．構成＞
図９は、第２の実施の形態に係る画像処理装置３の構成を示す。第２の実施の形態に係る画像処理装置３は、映像デコーダ３２に期間短縮部３２ｇを備える。

期間短縮部３２ｇは、リセット処理の終了直後に計測される前述のチャタリング防止期間を短縮する。期間短縮部３２ｇがチャタリング防止期間を短縮すると、シフト検出部３２ｆは、短縮されたチャタリング防止期間に基づきシフト位置の移動を判定する。なお、チャタリング防止期間は、リセット処理中にシフト位置が変更された場合には、リセット処理の終了直後にシフト検出部３２ｆにより計測が開始される。リセット処理中にはシフト検出部３２ｆは起動しおらず、リセット処理中にはチャタリング防止期間の計測を開始できないからである。

期間短縮部３２ｇは、チャタリング防止期間に例えば５００ｍｓｅｃが設定されている場合には、５００ｍｓｅｃ未満の期間を設定する。例えば、２５０ｍｓｅｃである。ただし、期間短縮部３２ｇは、チャタリング防止期間を０（ゼロ）ｍｓｅｃにまで短縮することが好ましい。この場合、運転者は、リセット処理の終了直後に直ちに合成画像ＣＰを参照して後進運転できるからである。これにより、シフト検出部３２ｆは、リセット処理中にシフト位置が変化した場合、リセット処理が終了後に計測が開始されるチャタリング防止時間の経過に係わらず、リセット処理の終了時にシフト位置を確定する。なお、ここで確定されるシフト位置は、本発明における、制御シフト位置である。

＜２−３．工程＞
図１０は、第２の実施の形態に係る映像デコーダ３２の処理工程を示すフローチャートである。第２の実施の形態に係る処理工程は、第１の実施の形態に係る処理工程におけるステップＳ１１０の後にステップＳ１１０ａを備える。したがって、ステップＳ１１０ａを中心に説明する。

ステップＳ１０９においてリセット処理が終了すると、期間短縮部３２ｇがチャタリング防止期間を短縮する。

期間短縮部３２ｇがチャタリング防止期間を短縮すると、シフト検出部３２ｆは、短縮されたチャタリング防止期間の経過を待ち、シフト位置がリバースか否か判断する（ステップＳ１１１）。なお、シフト検出部３２ｆは、チャタリング防止期間が０（ゼロ）ｍｓｅｃまで短縮されている場合は、リセット処理が終了した時点でシフト位置を確定させる。シフト検出部３２ｆの判断結果に基づく処理は、前述の通りである。

＜２−４．画像遷移＞
次に、第２の実施の形態におけるディスプレイ５に表示される画像の遷移を説明する。図１１は、ディスプレイ５に表示される画像の遷移を示すタイムチャートであり、リセット処理中にシフト位置がリバースに位置する場合を示す。横軸ｃは時間経過を表す。

時間ｃ０ないし時間ｃ３は、前述の時間ｂ０ないし時間ｂ３と同様のため、説明を省略する。

マルチメディアマイコン３１及び映像デコーダ３２がリセット期間中にシフト位置がリバースとなっても（時間ｃ４）、リセット処理は継続して実行される。また、この時点において、シフト検出部３２ｆは、映像デコーダ３２がリセット処理中であるため、作動しない。

リセット処理が終了すると、期間短縮部３２ｇがチャタリング防止期間を短縮する（時間ｃ５）。本実施の形態においては、５００ｍｓｅｃを０（ゼロ）ｍｓｅｃにまで短縮する。

シフト検出部３２ｆは、チャタリング防止期間が０（ゼロ）ｍｓｅｃに短縮されているので、リセット処理中に行われたリバースへのシフト位置の変更をリセット処理の終了とほぼ同時に確定する（時間ｃ５）。

シフト検出部３２ｆによりリバースへのシフト位置の変更が確定されると、映像デコーダ３２は、ディスプレイ５へ車両２後方を示す合成画像ＣＰを表示させる。これにより、運転者は、リセット処理中にシフト位置をリバースへ変更させた場合であっても、チャタリング防止期間を待たずにリセット処理の終了直後から車両２後方を示す合成画像ＣＰを参照して後進運転を行うことができる。

以上の通り、第２の実施の形態に係る画像処理装置３は、映像デコーダ３２に備える期間短縮部３２ｇが、シフト位置の移動を確定するまでの期間であるチャタリング防止期間を短縮する。特に、期間短縮部３２ｇはチャタリング防止期間を０（ゼロ）ｍｓｅｃにまで短縮する。これにより、運転者は、リセット処理中にシフト位置を例えばリバースに設定した場合、リセット処理の終了直後にガイド線ＧＬを合成した合成画像ＣＰを直ちに参照し、後進運転を遅滞なく行うことができる。また、シフト位置の変更はリセット処理期間中に生じているので、チャタリング防止期間はリセット処理期間と重複する。したがって、リセット処理の終了後に計測が開始するチャタリング防止期間を０（ゼロ）ｍｓｅｃにまで短縮しても、実質的にはチャタリング防止期間の一部又は全部はリセット処理期間中に経過しているので、シフト位置の変更の判断には概ね支障はない。

＜３．変形例＞
本発明は、上記実施の形態に限定されず、変形可能である。以下、本発明の変形例を説明する。なお、上記及び以下に説明する実施の形態は、適宜組み合わせできる。

上記実施の形態では、シフト位置がリバースの場合を説明した。しかし、シフト位置は他のシフト位置でもよい。例えば、ドライブでもよい。この場合、シフト位置がドライブとなると、ディスプレイに車両後方の画像でなく、車両前方、特に前方直下や左右直下を表示することが好ましい。前進運転をする運転者の死角となり易い箇所だからである。この場合であっても、マイコンに異常が生じた際には、直ちにリセット処理を行わず、シフト位置が他の位置、すなわちドライブから外れた際にリセット処理をすべきである。マイコンが異常の間は、カメラで撮影した画像をそのままディスプレイに表示させればよい。これにより、運転者が前進運転をしている間に、突然安全確認のための画像が消去されることがなく、運転の安全性を向上できる。

また、上記実施の形態では、シフトポジションセンサ６が検出するシフト位置についてオートマチックトランスミッション（自動変速機）を例として説明した。しかし、シフトポジションセンサ６が検出するシフト位置は、マニュアルトランスミッション（手動変速機）のものでもよい。この場合、シフトポジションセンサ６は、ニュートラル、ロー、セコンド、サード、トップ、及びリバースのシフト位置を検出する。

また、一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はない。分散した物理的要素によって実現されてもよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、ハードウェアとして説明した構成をソフトウェアで実現してもよい。一方、ソフトウェアとして説明した機能をハードウェアで実現してもよい。また、ハードウェア又はソフトウェアをハードウェアとソフトウェアとの組み合わせで実現してもよい。

１ 画像処理システム
２ 車両
３ 画像処理装置
４ カメラ
５ ディスプレイ
６ シフトポジションセンサ
７ 周辺機器

Claims (5)

1. 画像を処理する画像処理装置であって、
   前記車両のシフト位置を検出するシフト検出手段と、
   前記シフト位置が所定位置の場合に、前記車両に設置されたカメラが該車両の周辺の被写体を撮像した撮像画像を取得し、該撮影画像を表示装置に出力して表示させる画像処理手段と、
   前記画像処理手段を制御するとともに、前記表示装置への出力前の前記撮像画像に図形を合成する合成手段と、
   前記合成手段の異常を検出する異常検出手段と、
   前記異常検出手段の前記異常の検出に応答して、前記合成手段にリセット処理を行うリセット手段と、
   を備え、
   前記リセット手段は、
   前記シフト位置が前記所定位置である間に前記異常検出手段が前記異常を検出した場合、
   前記シフト位置が前記所定位置である間は前記リセット処理を行わず、
   前記シフト位置が前記所定位置から外れた後に、前記リセット処理を行うことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記シフト位置の前記所定位置は、リバースであることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記異常検出手段が前記異常を検出してから前記リセット手段が前記リセット処理を行うまでの間に、該リセット処理を行う旨をユーザに事前に通知する通知手段、
   をさらに備えることを特徴とする画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置において、
   前記シフト検出手段は、
   前記シフト位置が変化してから所定時間経過後に、制御用に用いる前記シフト位置である制御シフト位置を確定し、
   前記リセット処理中に前記シフト位置が変化した場合、前記所定時間の経過に係わらず、前記リセット処理の終了時に前記制御シフト位置を確定することを特徴とする画像処理装置。
5. 画像を処理する画像処理方法であって、
   （ａ）前記車両のシフト位置を検出する工程と、
   （ｂ）画像処理手段が、前記シフト位置が所定位置の場合に、前記車両に設置されたカメラが該車両の周辺の被写体を撮像した撮像画像を取得し、該撮影画像を表示装置に出力して表示させる工程と、
   （ｃ）前記画像処理手段を制御する合成手段が、前記表示装置への出力前の前記撮像画像に図形を合成する工程と、
   （ｄ）前記合成手段の異常を検出する工程と、
   （ｅ）前記工程（ｄ）の前記異常の検出に応答して、前記合成手段にリセット処理を行う工程と、
   を備え、
   前記工程（ｅ）は、
   前記シフト位置が前記所定位置である間に前記工程（ｄ）が前記異常を検出した場合、
   前記シフト位置が前記所定位置である間は前記リセット処理を行わず、
   前記シフト位置が前記所定位置から外れた後に、前記リセット処理を行うことを特徴とする画像処理方法。

Images