JP2007110177A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】より運転者にとって車両周辺の状況を把握しやすい画像を提供できる画像処理装置を提供する。
【解決手段】ＡＴ−ＥＣＵ及び方向指示器センサから情報を取得し（Ｓ１０５）、右方向の方向指示器が動作している場合には（Ｓ１１０：Ｙｅｓ）、右後方カメラの画像を拡張して出力し（Ｓ１１５）、左方向の方向指示器が動作している場合には（Ｓ１２０：Ｙｅｓ）、左後方カメラの画像を拡張して出力する（Ｓ１２５）。また、ＡＴのセレクタが回転ポジションにあった場合には（Ｓ１４０：Ｙｅｓ）、右前方のカメラの画像と右後方のカメラの画像とを合成した後、魚眼画像化して出力し、かつ、左前方のカメラの画像と右後方のカメラの画像とを合成した後、魚眼画像して出力する（Ｓ１４０）。
【選択図】図４

Description

本発明は、車両の周辺画像を処理して出力することにより、運転者を支援することが可能な画像処理装置等に関する。

従来、運転者にとって死角となる車両後方の映像を提示して運転者を支援する仕組みが実現されている。具体的には、車両の後部に車両後方を撮影するカメラを取り付け、そのカメラによって撮影された映像を、運転席付近に設置されたモニタに表示させる方法である。しかしながら、このように車両の後部に取り付けられたカメラから得られた画像をモニタにそのまま表示させるだけでは、車両と駐車枠との関係を把握することや、車両と障害物との関係を把握することが難しかった。

そこでこのような問題を解決する技術として、下記の特許文献１に記載のような技術が提案されている。この技術は、車両の後部に取り付けられたカメラから得られた画像をそのままモニタに出力するのではなく、カメラから得られた画像を用いて鳥瞰図画像を生成し、その生成した鳥瞰図画像をモニタに出力するものである。したがって、この技術によれば、運転者は駐車時に車両と駐車枠との位置関係や車両と障害物との関係を、より容易に把握することができる。
特開２００４−２５４２１９号公報

しかしながら、上述した特許文献１に記載の技術は、原画像と鳥瞰図画像とを運転状態に合わせて切り替える程度の処理は行うようになっているが（例えば、特許文献１の段落「００１９」、「００２０」等参照）、あくまで原画像と、それ以外の１種類の処理を施した画像（特に駐車時に適した画像）とを、切り替えるものであり、他の運転状態に適した画像については何ら考慮されていない。実際、運転者の死角となる場所は多々あり、運転状態によってその死角となる場所や、その死角となる場所に対する注意度合いは刻々と変化する。したがって、特許文献１に記載の技術では、運転者の死角となる場所の映像を提供して運転を支援する技術としては、まだまだ不完全であり、最善のものとは言い難い。

本発明は、このような問題にかんがみなされたものであり、より運転者にとって車両周辺の状況を把握しやすい画像を出力できる画像処理装置及びプログラムを提供することを目的とする。

上記課題を解決する画像処理装置は、運転者に視認させるための画像を出力する画像処理装置であって、画像取得手段と、画像出力手段と、情報取得手段と、画像処理手段とを備える。画像処理手段は車両周辺の画像を取得する手段であり、画像出力手段は画像を外部に出力する手段であり、情報取得手段は、車両の状態に関する情報又は運転操作に関する情報の少なくとも何れか一方を取得する手段である。なお、本願で言う「画像」とうのは、動画を想定しており、６０フレーム／秒程度の十分なフレームレートを有していることが望ましいが、車両周辺の環境の変化を運転者が時系列的に把握できるフレームレートであれば、例えば、１フレーム／秒程度のフレームレートであってもよい。また、本願で言う「車両の状態に関する情報」というのは、例えば、走行速度や、加減速度合いや、トラクション状態や、操舵角情報、車道における走行位置等である。また、本願で言う「運転操作に関する情報」というのは、例えば、ハンドル操作、アクセル操作、ブレーキ操作、シフト操作、ウィンカー操作等の運転に必要な操作を意味する。

また、画像処理手段は、情報取得手段により取得された情報に基づき、運転者の視認可能な車両周辺の範囲又は見え方を変えることができる複数種類の画像処理の中から一又は複数の画像処理を選択し、画像取得手段により取得された画像に対して前記選択した画像処理を施し、その画像処理を施した画像を画像出力手段に出力させる手段である。

理想的には、車両周辺の全範囲を運転者が把握できればよいが、人間が強く意識することができる範囲というものは限られている。したがって、一般的に運転者は、運転状況に合わせて、車両周辺の特定の範囲を特に意識しながら運転している。例えば、直進時には車両前方を特に意識し、車線変更時は変更先の車線の後方を特に意識する。

したがって、上述したような画像処理装置であれば、車両の状態や運転操作の状況に応じ、運転者の視認可能な車両周辺の範囲や見え方が適切に変えられた画像を運転者は見ることができ、従来より運転者は車両周辺の状況を容易に把握することができる。

ところで、画像取得手段は、１つのカメラによって撮影された画像を取得するだけであってもよいが、複数のカメラから撮影方向の異なる車両周辺の画像を取得するようになっていてもよい。その場合、画像処理手段は、情報取得手段により取得された情報に基づいて、画像取得手段により取得された撮影方向の異なる画像のうちの一又は複数の画像を選択し、その選択した画像に対して画像処理を施し、その画像処理を施した画像を画像出力手段に出力させるようになっているとよい。

上述したように、運転者は運転状況に合わせ、意識する車両周辺の範囲を変化させながら運転している。したがって、複数の画像の中から運転者が特に意識しなければならない車両周辺の範囲が撮影されている画像が選択され、画像処理が施されて出力されるようになっていれば、運転者の負担を軽減することができる。

なお、画像取得手段の取得する画像の一つが、車両の右側面から車両の後方を撮影した画像であり、又、一つは、車両の左側面から車両の後方を撮影した画像である場合には、情報取得手段は、運転操作に関する情報として、方向指示器の操作情報を取得するようになっているとよい。そして、画像処理手段は、画像取得手段により取得された画像のうち、撮影位置側と方向指示器の示す方向とが一致する画像について行う画像処理は、運転者の視認可能な車両周辺の範囲が広がる画像処理を選択するようになっているとよい。なお、ここで言う「車両の右側面から車両の後方を撮影した画像」は、右ドアミラーに映る景色に相当するものと考えることができ、「車両の左側面から車両の後方を撮影した画像」は、左ドアミラーに映る景色に相当するものと考えることができる。

したがって、運転者は、右折の際には直進時よりも右後方の様子を広い範囲で確認することができ、左折の際には直進時よりも左後方の様子を広い範囲で確認することができる。

ところで、画像処理手段が選択可能な画像処理としては、画像取得手段により取得された画像のうち、撮影方向が隣接する画像を合成する処理であるとよい。
このようになっていれば、本来は一つの画像として撮影しきれないような撮影対象（撮影範囲）を一つの画像として運転者に提示することができるため、運転者は、より車両周辺の広い範囲の状況を一つの画像から確認することができる。

また、画像処理手段が選択可能な画像処理としては、画像取得手段により取得された画像を拡大又は縮小する処理であるとよい。例えば、運転者が認識すべき対象物が、画像内に相対的に小さく映っている場合は拡大する処理を行い、運転者が認識すべき対象物が、画像内に相対的に大きく映りすぎている場合は縮小する処理を行うようになっているとよい。このようになっていれば、運転者の負担を軽減することができる。

また、画像処理手段が選択可能な画像処理のうちの一つは、画像取得手段により取得された画像のトリミング（切り出し）を行う処理であるとよい。例えば、画像内に運転者にとって不要な部分が含まれているような場合に、それを除いて必要な部分のみが含まれている画像にするようになっているとよい。このようになっていれば、運転者の負担を軽減することができる。

また、画像処理手段が選択可能な画像処理のうちの一つは、画像取得手段により取得された画像より魚眼画像を生成する処理であるとよい。このような画像処理は、例えば、広範囲の状況を把握する際に適している。したがって、このような画像処理と複数の画像を合成する処理とを組み合わせることにより、運転者は、より広範囲の状況を把握することができる。

また、画像処理手段が選択可能な画像処理のうちの一つは、画像取得手段により取得された画像より鳥瞰画像を生成する処理であるとよい。このような画像処理は、例えば、物体の位置関係を客観的に把握する際に適している。したがって、このような画像処理を施すことにより、運転者は車両周辺の物体の位置関係をより的確に把握することができる。

また、画像処理手段は、画像処理に加え、画像に合わせて自車両のボディー画像を重畳する処理を行うようになっているとよい。カメラを車体表面に近い位置に設けた場合には、画像に車体が映り込みにくくなる。そのような画像であると、車両との位置関係や距離感がつかみにくくなる。したがって、画像に合わせて自車両のボディー画像を重畳するようになっていれば、その画像を見た運転者は、車両との位置関係や距離感がつかみやすい。なお、ボディー画像は、予め記憶しておいた実画像であってもよいし、モデル化した画像（ＣＧ等）であってもよい。

また、画像処理手段は、さらに、画像取得手段により取得された画像から車両の通行の妨げとなる障害物を検知し、その検知した障害物の存在位置を示す画像を生成し、その生成した画像を画像出力手段に出力させるようになっているとよい。

このようになっていれば、運転者は、車両の周辺の状況をより的確に把握することができる。
ところで、上述した画像処理手段としての機能をプログラムによって実現してもよい。このようなプログラムを、画像処理装置が内蔵するコンピュータ（例えば、ＣＰＵ）に実行させれば、上述した画像処理装置と同様の効果を奏する。また、プログラムはネットワーク等を用いて流通させることも可能である上、画像処理装置におけるプログラムの入れ替えは、部品の入れ替えに比較して容易である。したがって、画像処理装置の機能向上を容易に行うことができる。

以下、本発明が適用された実施形態について図面を用いて説明する。尚、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［構成の説明］
図１は、本発明が適用された実施形態の画像処理装置１１及びそれに接続された機器類の概略構成を示すブロック図である。

画像処理装置１１は、メモリ１２と、ＣＰＵ１３と、車両Ｉ／Ｆ１４と、カメラＩ／Ｆ１５と、表示Ｉ／Ｆ１６と、これらを結ぶバス１７とを備える。
メモリ１２は、画像データの一時記憶領域として用いるＲＡＭ（図示せず）及び、ＣＰＵ１３が実行するプログラムの記憶領域として用いるＲＯＭ（図示せず）とから構成されている。

ＣＰＵ１３は、メモリ１２のＲＯＭに記憶されたプログラムに基づいて後述する画像出力処理を実行する。
車両Ｉ／Ｆ１４は、ＣＰＵ１３からの指令に基づき、車両内の各種のＥＣＵやセンサ等と通信を行うインターフェースである。

表示Ｉ／Ｆ１６は、ＣＰＵ１３からの指令に基づき、表示装置３１へ画像データを出力するインターフェースである。この表示装置３１は、運転者が運転時に視認できる位置に設置され、液晶ディスプレイや有機ＥＬディスプレイやプロジェクタ等から構成されている。表示装置３１は、各種の情報や画像を表示させることができる。

カメラＩ／Ｆ１５は、前方カメラ２１、右前方カメラ２２、左前方カメラ２３、後方カメラ２４、右後方カメラ２５及び左後方カメラ２６から画像データを入力するインターフェースである。ここで各カメラの設置位置と撮影方向について、図２の説明図を用いて説明する。図２に示すように、前方カメラ２１は車両の前端に設置されて前方を撮影することができ（撮影範囲２１ａを参照）、右前方カメラ２２は車両の右側面に設置され車両の右前方を撮影することができ（撮影範囲２２ａを参照）、左前方カメラ２３は車両の左側面に設置され車両の左前方を撮影することができるようになっている（撮影範囲２３ａを参照）。また、後方カメラ２４は車両の後端に設置され車両の後方を撮影することができ（撮影範囲２４ａを参照）、右後方カメラ２５は車両の右側面に設置され車両の右後方を撮影することができ（撮影範囲２５ａを参照）、左後方カメラ２６は車両の左側面に設置され車両の左後方を撮影することができるようになっている（撮影範囲２６ａを参照）。なお、図２における各カメラの撮影範囲は、図面の都合上、車両のごく近辺だけになっているが、実際は無限遠まで撮影することができる。

ところで、本実施形態の画像処理装置１１は、車両に搭載されているが、この車両は電気を動力源とする車両（例えば、電気自動車や燃料電池車）である。そして、車輪にモーターが組み込まれているため、駆動力を伝えるための車軸を必要とせず、車輪を大きく転舵することが可能である。そのため、「その場で転回する」という従来の車両にはない動きが可能である。この動きについて図３に示す説明図を用いて説明する。

図３（ａ）は、従来の車両の転回について説明する説明図であるが、図３（ａ）に示すように、前輪は左右とも必ず略平行状態で回転軸が変わるため、車両の転回中心Ｃ１は車両の外に位置する。

図３（ｂ）は、本実施形態の画像処理装置１１が搭載された車両の転回の一例について説明する説明図であるが、図３（ｂ）に示すように、各車輪の回転軸の交点が両後輪の中央にある場合、その交点（転回中心Ｃ２）を転回中心として車両は転回することができる。

図３（ｃ）は、本実施形態の画像処理装置１１が搭載された車両の転回の一例について説明する説明図であるが、図３（ｃ）に示すように、各車輪の回転軸の交点が車両の中心にある場合、車両中心（転回中心Ｃ３）を転回中心として車両は転回することができる。

このように、本実施形態の画像処理装置１１が搭載された車両は、従来の車両に比較して狭い場所で方向転換をすることができる。車両がこのような動きをすると運転者は今まで以上に車両の周辺、特に側方の安全を従来以上に確認する必要が生じる。

［動作の説明］
次に、画像処理装置１１のＣＰＵ１３が実行する画像出力処理について図３のフローチャートを用いて説明する。この画像出力処理は、画像処理装置１１への電力供給が開始された際に実行が開始される処理である。

ＣＰＵ１３は、画像出力処理の実行を開始すると、まず、車両Ｉ／Ｆ１４を介し、ＡＴ−ＥＣＵからＡＴポジション情報を、方向指示器センサから方向指示器の状態情報を取得する（Ｓ１０５）。

続くＳ１１０では、Ｓ１０５で取得した方向指示器の状態情報に基づいて、右方向の方向指示器が動作しているか否かを判定する。右方向の方向指示器が動作していると判定した場合は（Ｓ１１０：Ｙｅｓ）、Ｓ１１５へ処理を移行し、右方向の方向指示器が動作していないと判定した場合は（Ｓ１１０：Ｎｏ）、Ｓ１２０へ処理を移行する。

右方向の方向指示器が動作していないと判定した場合に進むＳ１２０では、Ｓ１０５で取得した方向指示器の状態情報に基づいて、左方向の方向指示器が動作しているか否かを判定する。左方向の方向指示器が動作していると判定した場合は（Ｓ１２０：Ｙｅｓ）、Ｓ１２５へ処理を移行し、左方向の方向指示器が動作していないと判定した場合は（Ｓ１２０：Ｎｏ）、Ｓ１３０へ処理を移行する。

左方向の方向指示器が動作していないと判定した場合に進むＳ１３０では、Ｓ１０５で取得したＡＴポジション情報に基づいて、ＡＴのセレクタはリバースポジションにあるか否かを判定する。ＡＴのセレクタはリバースポジションにあると判定した場合は（Ｓ１３０：Ｙｅｓ）、Ｓ１３５へ処理を移行し、ＡＴのセレクタはリバースポジションにないと判定した場合はＳ１４０へ処理を移行する。

ＡＴのセレクタはリバースポジションにないと判定した場合に進むＳ１４０では、Ｓ１０５で取得したＡＴポジション情報に基づいて、ＡＴのセレクタは回転ポジションにあるか否かを判定する。ＡＴのセレクタは回転ポジションにあると判定した場合は（Ｓ１４０：Ｙｅｓ）、Ｓ１４５へ処理を移行し、ＡＴのセレクタは回転ポジションにない（すなわち、直進状態又は停止状態である）と判定した場合は（Ｓ１４０：Ｎｏ）、Ｓ１５０へ処理を移行する。

上述したＳ１１０において右方向の方向指示器が動作していると判定した場合に進むＳ１１５では、右後方カメラ２５からの画像は拡張ミラー出力（画像を反転させ、拡張形状に切り出し、画像の歪みを整えて表示装置３１へ出力）し、左後方カメラ２６からの画像は標準ミラー出力（画像を反転させ、標準形状に切り出し、画像の歪みを整えて表示装置３１へ出力）する。なお、この「標準形状」というのは、一般的なドアミラーの鏡面部分の形状に類似した形状であり、「拡大形状」というのは、標準形状に類似した形状であるが標準形状よりも画像面積の広い形状である。そして、Ｓ１５５へ処理を移行する。

上述したＳ１２０において左方向の方向指示器が動作していると判定した場合に進むＳ１２５では、右後方カメラ２５からの画像は標準ミラー出力（画像を反転させ、標準形状に切り出し、画像の歪みを整えて表示装置３１へ出力）し、左後方カメラ２６からの画像は拡張ミラー出力（画像を反転させ、標準形状よりも画像面積の広い拡張形状に切り出し、画像の歪みを整えて表示装置３１へ出力）する。そして、Ｓ１５５へ処理を移行する。

上述したＳ１３０においてＡＴのセレクタはリバースポジションにあると判定した場合に進むＳ１３５では、後方カメラ２４からの画像を変形して鳥瞰図画像を生成し、表示装置３１へ出力する。そして、Ｓ１５５へ処理を移行する。

上述したＳ１４０においてＡＴのセレクタは回転ポジションにあると判定した場合に進むＳ１４５では、右前方カメラ２２からの画像と右後方カメラ２５からの画像を合成し、さらに変形して魚眼画像を生成し、表示装置３１へ出力する。また、左前方カメラ２３からの画像と左後方カメラ２６からの画像を合成し、さらに変形して魚眼画像を生成し、表示装置３１へ出力する。そして、Ｓ１５５へ処理を移行する。

上述したＳ１４０においてＡＴのセレクタは回転ポジションにない（すなわち、直進状態又は停止状態である）と判定した場合に進むＳ１５０では、右後方カメラ２５からの画像は標準ミラー出力（画像を反転させ、標準形状に切り出し、画像の歪みを整えて表示装置３１へ出力）し、左後方カメラ２６からの画像は標準ミラー出力（画像を反転させ、標準形状に切り出し、画像の歪みを整えて表示装置３１へ出力）する。そして、Ｓ１５５へ処理を移行する。

Ｓ１５５では、カメラ画像以外の部分の画像を出力する。具体的には、車両Ｉ／Ｆ１４を介してナビゲーション装置から入力したナビゲーション画像や、車両Ｉ／Ｆ１４を介してオーディオ装置から入力した再生中の音楽の情報を表す画像や、車両Ｉ／Ｆ１４を介してエアコンから入力したエアコンの設定情報を表す画像等である。なお、上述したＳ１４０においてＡＴのセレクタは回転ポジションにあると判定し（Ｓ１４０：Ｙｅｓ）、Ｓ１４５を経てＳ１５５に至った場合は、前方カメラ２１、右前方カメラ２２、左前方カメラ２３、後方カメラ２４、右後方カメラ２５及び左後方カメラ２６からの画像データに基づいて車両周辺の障害物を認識し、その認識状態を表す画像を生成して出力する。

Ｓ１５５の処理を終えると、上述したＳ１０５へ処理を戻す。
［出力例の説明］
次に、表示装置３１に表示される画像の一例について説明する。

図５の画像５０は、上述した画像出力処理において、ＡＴのセレクタが回転ポジションにない（すなわち、直進状態または停止状態である）と判定され（Ｓ１４０：Ｎｏ）、Ｓ１５０及びＳ１５５の処理を経た直後に出力される画像である。図５に示すように、画像５０は、実質的に第１領域５１〜第７領域５７までの領域に分けることができる。

第１領域５１には、左後方カメラ２６からの画像に画像処理（画像を反転し、標準形状に切り出し、歪みを整える処理）が施されて出力されている。
第２領域５２には、車両のボディーの一部が描かれた画像が出力されている。なお、この画像は、第１領域５１に出力されている画像との位置関係が調整されており、一部が第１領域５１に重畳するように出力されている。

第３領域５３には、オーディオ装置の再生中のトラック情報を表す画像が出力されている。
第４領域５４には、ナビゲーション装置から入力したナビゲーション画像が表示されている。

第５領域５５には、エアコンから入力したエアコンの設定情報を表す画像が出力されている。
第６領域５６には、車両のボディーの一部が描かれた画像が出力されている。なお、この画像は、第７領域５７に出力されている画像との位置関係が調整されており、一部が第７領域５７に重畳するように出力されている。

第７領域５７には、右後方カメラ２５からの画像に画像処理（画像を反転し、標準形状に切り出し、歪みを整える処理）が施されて出力されている。
図６の画像６０は、上述した画像出力処理において、右方向の方向指示器が動作していると判定され（Ｓ１１０：Ｙｅｓ）、Ｓ１１５及びＳ１５５の処理を経た直後に出力される画像である。図６に示すように、画像６０は、実質的に第１領域６１〜第６領域６６までの領域に分けることができる。

第１領域６１には、左後方カメラ２６からの画像に画像処理（画像を反転し、標準形状に切り出し、歪みを整える処理）が施されて出力されている。
第２領域６２には、車両のボディーの一部が描かれた画像が出力されている。なお、この画像は、第１領域６１に出力されている画像との位置関係が調整されており、一部が第１領域６１に重畳するように出力されている。

第３領域６３には、オーディオ装置の再生中のトラック情報を表す画像が出力されている。
第４領域６４には、ナビゲーション装置から入力したナビゲーション画像が表示されている。

第５領域６５には、車両のボディーの一部が描かれた画像が出力されている。なお、この画像は、第６領域６６に出力されている画像との位置関係が調整されており、一部が第６領域６６に重畳するように出力されている。

第６領域６６には、右後方カメラ２５からの画像に画像処理（画像を反転し、拡大形状に切り出し、歪みを整える処理）が施されて出力されている。
画像６０と、上述した図５の画像５０との違いは、画像５０には、エアコンの設定情報を表す画像がなく、その代わり、第６領域６６に出力されている画像の表示領域が広くなっている。このため、運転者は、右後方の広い範囲を確認することができる。

図７の画像７０は、上述した画像出力処理において、ＡＴのセレクタは回転ポジションにあると判定され（Ｓ１４０：Ｙｅｓ）、Ｓ１４５及びＳ１５５の処理を経た直後に出力される画像である。図７に示すように、画像７０は、実質的に第１領域７１〜第５領域７５までに分けることができる
第１領域７１には、左前方カメラ２３からの画像と左後方カメラ２６からの画像とが合成され、さらに魚眼画像に変形された画像が出力されている。

第２領域７２には、車両のボディーの一部が描かれた画像が出力されている。なお、この画像は、第１領域７１に出力されている画像との位置関係が調整されており、一部が第１領域７１に重畳するように出力されている。

第３領域７３には、車両のモデルが描かれ、車両周辺の障害物の位置が輝点によって表された画像が表示されている。
第４領域７４には、車両のボディーの一部が描かれた画像が出力されている。なお、この画像は、第５領域７５に出力されている画像との位置関係が調整されており、一部が第５領域７５に重畳するように出力されている。

第５領域７５には、右前方カメラ２２からの画像と右後方カメラ２５からの画像とが合成され、さらに魚眼画像に変形された画像が出力されている。
次に、図８〜図１０を用いて、上述した画像処理の具体例を紹介する。

図８（ａ）は、右後方カメラ２５の撮影画像である。この画像を左右を反転し、遠方の歪みを整えたものが図８（ｂ）である。このように画像処理を施すことにより、ドアミラーに映った景色と同等の画像が得られるため、このような画像をドアミラーの代用とすることができる。

図９（ａ）は、右前方カメラ２２の撮影画像であり、図９（ｂ）は、右後方カメラ２５の撮影画像である。これらの画像を共通物体が１つになるように合成し、合成した画像を魚眼画像に変形することにより、図９（ｃ）のような画像が得られる。このような画像処理を施すことにより、運転者は、車両側面の広い範囲を１つの画像で確認することができる。

図１０（ａ）は、後方カメラ２４の撮影画像である。この画像の上下を反転し、鳥瞰画像に変換し、さらに、車両を表すモデル８１と、その車両の前輪の予測軌跡８１ａと、その車両の後輪の予測軌跡８１ｂとを加えた画像である。なお、鳥瞰画像に変換した際に、画像化できなかった部分は、黒塗りとなっている。

このような画像処理を施すことにより、運転者は、車両と車両周辺の物体との位置関係を一瞥して把握することができるため、後進の際等に運転者の負担を軽減することができる。

［実施形態の効果］
次に、上記実施形態の効果について説明する。
上述した画像処理装置１１によれば、走行状態や運転操作に応じて、複数台のカメラの画像から運転者に必要な画像が選択され、さらに運転者にとってその画像が見やすくなるように画像処理が施され、表示装置３１に出力されるようになっている。このため、運転者は、車両周辺の状況のうち、特に必要な車両周辺の状況を容易に把握することができる。

また、回転走行時には、上述したように複数台のカメラによって撮影された画像が合成されて表示されるようになっている。このため、単に複数のカメラ画像を並べて表示させただけの場合と比較して、車両周辺に存在する物体の位置関係がわかりやすい。よって、運転者は車両周辺の状況を容易に把握することができる。

なお、一般的に鳥瞰画像は車両近傍を表現するには適しているが少し離れた立体物をうまく表現できない欠点がある。一方、魚眼画像は歪みが大きく見づらいと言われているが、立体物を実際の見た目に近い状態で表現することが可能である。上述した画像処理装置１１は、このような特性を踏まえて、回転走行時には運転者が見るべき範囲が広いため魚眼画像を出力し、後進時には運転者が見るべき範囲が比較的狭いため鳥瞰画像を出力するようになっている。このように、状況に合わせて適切な画像処理方法が選択されて用いられるようになっているため、運転者は車両周辺の状況を把握しやすくなっている。

また、回転走行時は運転者が確認すべき範囲が広いため、どうしても障害物の見落としが発生するおそれがある。上述した画像処理装置１１は、このようなことをできるだけ避けるために、回転走行時には、車両周辺の障害物を検知し、その位置を表示装置３１に出力するようになっている。したがって、車両周辺の障害物を認知するための運転者の負担を軽減することができる。

また、上述した画像処理装置１１は、右左折時のように特に右後方又は左後方の状況を確認する必要がある際には、前進走行時に比較して画像の表示範囲を拡張するようになっている。したがって、運転者は、右左折時に前進走行時よりも広い範囲を確認することができるため、安全性が高まる。

また、上述した車両は、右後方カメラ２５及び左後方カメラ２６の画像を表示装置３１に表示させることによってドアミラーを代用するようになっているが、ドアミラーがないことからカメラは車体からわずかに飛び出すかほとんど埋め込まれた位置に搭載されることになる。このため、ドアミラーとは異なりほとんど車体が写り込まない画像となる。しかし、後方の車両との位置関係を知る上で車体が写り込んでいることは重要である。そこで、上述したように、ボディーの絵を重畳表示するようになっていることで、自車と後続車との位置関係を分かりやすく表示することができる。

［他の実施形態］
上記実施形態では、方向指示器が動作したと判定した場合、方向指示器の動作方向のカメラの画像を拡張ミラー出力（画像を反転させ、標準形状よりも画像面積の広い拡張形状に切り出し、画像の歪みを整えて表示装置３１へ出力）するようになっていたが、切り出す画像面積を広げる代わりに（又は広げると共に）、画像を拡大するようになっていてもよい。このようになっていれば、運転者は方向指示器を出した方向の後方をより詳細に把握することができる。なお、方向指示器の動作方向とは逆側のカメラの画像は、標準形状で切り出す代わりに、画像を縮小することによって代用してもよい。

［特許請求の範囲との対応］
上記実施形態で用いた用語と、特許請求の範囲に記載の用語との対応を示す。
カメラＩ／Ｆ１４が画像取得手段に相当し、表示Ｉ／Ｆ１６が画像出力手段に相当し、車両Ｉ／Ｆ１４が情報取得手段に相当し、ＣＰＵ１３が画像処理手段に相当する。

画像処理装置の構成を説明するためのブロック図である。 カメラの設置位置及び撮影方向を説明するための説明図である。 画像処理装置が搭載された車両の動きを説明するための説明図である。 画像出力処理を説明するためのフローチャートである。 表示装置に表示される画像の一例である。 表示装置に表示される画像の一例である。 表示装置に表示される画像の一例である。 画像処理の具体例を説明するための画像である。 画像処理の具体例を説明するための画像である。 画像処理の具体例を説明するための画像である。

符号の説明

１１…画像処理装置、１２…メモリ、１３…ＣＰＵ、１４…車両Ｉ／Ｆ、１５…カメラＩ／Ｆ、１６…表示Ｉ／Ｆ、１７…バス、２１…前方カメラ、２２…右前方カメラ、２３…左前方カメラ、２４…後方カメラ、２５…右後方カメラ、２６…左後方カメラ、３１…表示装置。

Claims (11)

1. 運転者に視認させるための画像を出力する画像処理装置であって、
   車両周辺の画像を取得する画像取得手段と、
   画像を外部に出力する画像出力手段と、
   車両の状態に関する情報又は運転操作に関する情報の少なくとも何れか一方を取得する情報取得手段と、
   前記情報取得手段により取得された前記情報に基づき、運転者の視認可能な車両周辺の範囲又は見え方を変えることができる複数種類の画像処理の中から一又は複数の画像処理を選択し、前記画像取得手段により取得された前記画像に対して前記選択した画像処理を施し、その画像処理を施した前記画像を前記画像出力手段に出力させる画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像取得手段は、複数のカメラから撮影方向の異なる車両周辺の画像を取得し、
   前記画像処理手段は、前記情報取得手段により取得された前記情報に基づいて、前記画像取得手段により取得された撮影方向の異なる前記画像のうちの一又は複数の画像を選択し、その選択した画像に対して前記画像処理を施し、その画像処理を施した前記画像を前記画像出力手段に出力させること、
   を特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記画像取得手段が取得する前記画像の一つは、車両の右側面から車両の後方を撮影した画像であり、又、一つは、車両の左側面から車両の後方を撮影した画像であり、
   前記情報取得手段は、前記運転操作に関する情報として、方向指示器の操作情報を取得し、
   前記画像処理手段は、前記画像取得手段により取得された前記画像のうち、撮影位置側と前記方向指示器の示す方向とが一致する画像については、運転者の視認可能な車両周辺の範囲が広がる画像処理を選択すること、
   を特徴とする画像処理装置。
4. 請求項２又は請求項３に記載の画像処理装置において、
   前記画像処理手段が選択可能な前記画像処理のうちの一つは、前記画像取得手段により取得された前記画像のうち、撮影方向が隣接する前記画像を合成する処理であること、
   を特徴とする画像処理装置。
5. 請求項１〜請求項４の何れかに記載の画像処理装置において、
   前記画像処理手段が選択可能な前記画像処理のうちの一つは、前記画像取得手段により取得された前記画像を拡大又は縮小する処理であること、
   を特徴とする画像処理装置。
6. 請求項１〜請求項５の何れかに記載の画像処理装置において、
   前記画像処理手段が選択可能な前記画像処理のうちの一つは、前記画像取得手段により取得された前記画像のトリミングを行う処理であること、
   を特徴とする画像処理装置。
7. 請求項１〜請求項６の何れかに記載の画像処理装置において、
   前記画像処理手段が選択可能な前記画像処理のうちの一つは、前記画像取得手段により取得された前記画像より魚眼画像を生成する処理であること、
   を特徴とする画像処理装置。
8. 請求項１〜請求項７の何れかに記載の画像処理装置において、
   前記画像処理手段が選択可能な前記画像処理のうちの一つは、前記画像取得手段により取得された前記画像より鳥瞰画像を生成する処理であること、
   を特徴とする画像処理装置。
9. 請求項１〜請求項８の何れかに記載の画像処理装置において、
   前記画像処理手段は、前記画像処理に加え、前記画像に合わせて自車両のボディー画像を重畳する処理を行うこと、
   を特徴とする画像処理装置。
10. 請求項１〜請求項９の何れかに記載の画像処理装置において、
    前記画像処理手段は、さらに、前記画像取得手段により取得された前記画像から車両の通行の妨げとなる障害物を検知し、その検知した障害物の存在位置を示す画像を生成し、その生成した画像を前記画像出力手段に出力させること、
    を特徴とする画像処理装置。
11. コンピュータを、請求項１〜請求項１０の何れかに記載の画像処理装置の前記画像処理手段として機能させるためのプログラム。