JP2014207605A - 車両用画像処理装置 - Google Patents

Abstract

【課題】撮影手段によって撮影された複数の画像を好適に繋ぎ合わせて画像を作成する。
【解決手段】車両周辺の所定範囲を撮影するカメラ１１，１２と、カメラ１１，１２により撮影された画像を表示する車載モニタ４０とを備えた車両に対して適用され、その車両に搭載される画像処理ユニット３０である。画像処理ユニット３０は、カメラ１１，１２により撮影された複数の撮影画像を繋ぎ合わせることにより、車載モニタ４０で表示させるための表示画像を作成する。そして、表示画像の作成に際し、該表示画像における複数の撮影画像の繋ぎ合わせ部分の画像同士のずれを算出し、そのずれに基づいて表示画像を補正する。そして、その補正後の表示画像を車載モニタ４０に表示させる。
【選択図】 図１

Description

本発明は、車両周辺について撮影された画像を表示装置に表示する車両用画像処理装置に関するものである。

車両周囲の状況を車載カメラで撮影するとともに、その車載カメラで撮影した複数の画像を合成し、その合成後の画像を表示装置に表示する技術が知られている。例えば、車両の前方カメラにより撮影した前方画像と、後方カメラにより撮影した後方画像とを合成して合成画像として鳥瞰画像を作成し、その鳥瞰画像を表示装置に表示させるようにした車両用画像処理装置が知られている（例えば特許文献１）。

特開２００３−１８９２９２号公報

複数の画像を合成して１つの鳥瞰画像を作成する場合、画像同士の繋ぎ合わせ部分においてずれが生じることが考えられ、そのずれが生じると、表示画像を見たユーザが違和感を覚えたり、同ユーザに路面上の白線の位置などの情報が正しく伝わらなかったりすることが懸念される。画像同士のずれが生じる原因としては、カメラの設置位置や設置方向が画像処理装置側の認識と異なっていることや、複数の画像の属性情報（撮影時の車速等）に誤りがあることで繋ぎ合わせに不備が生じていることなどが考えられる。

本発明は、上記課題に鑑みてなされたものであり、撮影手段によって撮影された複数の画像を好適に繋ぎ合わせて画像を作成することが可能な車両用画像処理装置を提供することを目的とする。

請求項１に記載の発明は、車両周辺の所定範囲を撮影する撮影手段（１１，１２）と、該撮影手段により撮影された画像を表示する表示手段（１４）とを備えた車両に適用され、該車両に搭載される車両用画像処理装置（１３）であって、前記撮影手段により撮影された複数の撮影画像を繋ぎ合わせることにより、前記表示手段で表示させるための表示画像を作成する画像作成手段と、前記表示画像の作成に際し、該表示画像における前記複数の撮影画像の繋ぎ合わせ部分の画像同士のずれを算出するずれ算出手段と、前記ずれに基づいて前記表示画像を補正する補正手段と、その補正後の表示画像を前記表示手段に表示させる表示制御手段と、を備えることを特徴とする。

撮影手段によって撮影された複数の撮影画像を繋ぎ合わせて表示画像を作成し、その作成された画像を表示装置に表示する。これにより、一の画像として撮影された範囲より広い範囲を表す画像を表示装置に表示することができる。ここで、撮影手段の設置位置などが初期位置からずれると、画像を繋ぎ合わせるときに二枚の画像間においてずれが生じる。そこで、繋ぎ合わせ部分の画像同士のずれを算出し、その算出されたずれに基づいて、表示画像を補正する。これにより、好適に表示画像を表示手段に表示することが可能になる。

画像表示システムの構成図。 カメラとその撮影範囲を示す図。 透視変換の方法を示す図。 車両周辺画像を示す図。 前方過去画像と後方過去画像の重複領域を示す図。 ずれ算出方法を示す図。 補正の前後における中間領域画像を示す図。 補正後の車両周辺画像を示す図。 画像作成処理を示すフロー図。 第１変形例におけるカメラとその撮影範囲を示す図。 第１変形例における車両周辺画像を示す図。 第２変形例におけるカメラとその撮影範囲を示す図。 第２変形例における車両周辺画像を示す図。 特徴点の周期性に基づくずれ算出処理を示すフロー図。

以下、車両用画像処理装置としての画像処理ユニットを車両（自動車）の画像表示システムに適用した一実施形態について、図面を参照しつつ説明する。

図１に示すように、本画像表示システムは、撮影手段としての前方カメラ１１及び後方カメラ１２と、それら各カメラ１１，１２の撮影データが入力される画像処理ユニット１３と、画像処理ユニット１３により作成された表示用画像を表示する表示手段としての車載モニタ１４とを有している。

前方カメラ１１及び後方カメラ１２は、車両の前側及び後側にそれぞれ取り付けられており、前方カメラ１１により車両前方の所定範囲が撮影され、後方カメラ１２により車両後方の所定範囲が撮影される。これら各カメラ１１，１２は、広角範囲での撮影が可能な広角カメラであり、例えば車両前方及び車両後方において１８０度の視野角で撮影可能となっている。各カメラ１１，１２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサによる撮影を行うデジタル撮影方式のカメラである。

より具体的には、図２に示すように、車両Ｃには、例えばルーフ部分の前側部に前方カメラ１１が取り付けられるとともに、ルーフ部分の後側部に後方カメラ１２が取り付けられている。そして、前方カメラ１１は前方範囲Ｒ１を撮影し、後方カメラ１２は後方範囲Ｒ２を撮影する。前方範囲Ｒ１と後方範囲Ｒ２とは車両Ｃの前方及び後方に並んでいる。このため、車両Ｃが前進する場合には、前方カメラ１１によって前方範囲Ｒ１として撮影された範囲が、車両Ｃの前進に伴い、後方カメラ１２によって後方範囲Ｒ２として撮影される。また、車両Ｃが後退する場合には、後方カメラ１２によって後方範囲Ｒ２として撮影された範囲が、車両Ｃの後退に伴い、前方カメラ１１によって前方範囲Ｒ１として撮影される。なお、前方カメラ１１及び後方カメラ１２は、いずれも車両Ｃの前後方向に延びる同一線上（中心線Ｘ１上）に配置されており、その中心線Ｘ１を撮影中心として車両前方及び車両後方を撮影する。

前方カメラ１１はそれよりも車両後方側の撮影が不可であり、後方カメラ１２はそれよりも車両前方側の撮影が不可である。そのため、車両Ｃの左右の側方部は、両カメラ１１，１２の視野外となる範囲Ｒ３（中間領域）となっている。

また、各カメラ１１，１２は、水平方向よりも下向きで車両前方、車両後方をそれぞれ撮影し、地上面の撮影が可能になっている。したがって、各カメラ１１，１２により撮影された画像には、地上平面上（路面上）における白線等のマーキング画像が含まれるようになっている。

図１の説明に戻り、車載モニタ１４は、車室内においてユーザが運転中に視認可能な位置、例えばインパネ部に設けられている。車載モニタ１４の形状及び大きさは任意でよいが、本実施形態では、自車両を中心としてその前後両方の領域を含む範囲で車両周辺画像を車載モニタ１４に表示することから、車載モニタ１４の表示画面に縦長の表示エリアが設定されている（図４参照）。なお、車載モニタ１４には、車両周辺画像以外の情報を表示することが可能であり、車載モニタ１４に車両周辺画像を表示しない場合には、その表示画面に車両前方画像（例えば車両前方の暗視画像）や、撮影画像以外の各種情報が表示されるとよい。

画像処理ユニット１３は、各カメラ１１，１２の撮影データを合成して表示用画像を作成し、その表示用画像を車載モニタ１４に表示させる画像処理装置である。画像処理ユニット１３は、前方カメラ１１の撮影データを入力する第１変換回路２１と、後方カメラ１２の撮影データを入力する第２変換回路２２とを有しており、これら各変換回路２１，２２は、前方カメラ１１及び後方カメラ１２の各撮影データについてそれぞれ透視変換を行い、鳥瞰画像を作成する。鳥瞰画像は、各カメラ１１，１２の撮影範囲を上空位置から鉛直方向に見下ろした状態の俯瞰画像である。各変換回路２１，２２により、それぞれ前方鳥瞰画像、後方鳥瞰画像が作成される。

各カメラ１１，１２は、所定時間ごとに車両前方及び車両後方をそれぞれ撮影するものであり、各変換回路２１，２２によれば、所定時間ごとに車両前方の鳥瞰画像と車両後方の鳥瞰画像とが得られるようになっている。

各変換回路２１，２２における透視変換について補足の説明をする。図３に示すように、地上面から高さｈの位置に設けられた前方カメラ１１で地上面を撮影する場合、撮影画像として、カメラ位置から所定の焦点距離ｆにあるスクリーン平面Ｔ上の撮影画像が得られる。この場合、前方カメラ１１が地上平面を撮影することは、地上平面座標からスクリーン平面Ｔ上の二次元座標への透視変換が実行されることと等しい。そこで、各変換回路２１，２２では、各カメラ１１，１２によって撮影された撮影画像に対して、上記透視変換と逆の透視変換を行うことで、スクリーン平面Ｔ上の座標から地上平面上の座標への変換を行い、それにより地上面上の画像である鳥瞰画像（図３のＰの範囲の平面画像）を作成する。

各変換回路２１，２２により作成された鳥瞰画像の画像データはＣＰＵ２３に入力される。ＣＰＵ２３は、前方鳥瞰画像と後方鳥瞰画像とに基づいて車両周辺画像を作成する。この車両周辺画像は、各変換回路２１，２２での変換後の画像と同様、鳥瞰画像として作成される。

本実施形態の画像表示システムでは、自車両の周辺（車両側方）にカメラ視野外の範囲Ｒ３が含まれるため、そのカメラ視野外の範囲Ｒ３については、前方カメラ１１の撮影画像（前方鳥瞰画像）、及び後方カメラ１２の撮影画像（後方鳥瞰画像）のいずれかの過去画像を用いることとしている。そして、過去画像を用いて車両周辺画像を作成するための構成として、画像処理ユニット１３は、過去画像を記憶する画像メモリ２４を有している。また、車両Ｃは、車速を検出する車速センサ１６と、ヨーレイト（旋回方向への回転角の変化速度）を検出するヨーレイトセンサ１７とを備えている。

車速センサ１６及びヨーレイトセンサ１７の検出信号はＣＰＵ２３に逐次入力される。ＣＰＵ２３は、これら各センサ１６，１７の検出信号に基づいて、車両の走行状態である車速及びヨーレイトを算出する。このとき要は、各カメラ１１，１２での撮影時における車両の走行状態が把握できればよく、車両Ｃの移動距離及び回転角、或いは車両Ｃの位置及び向きが算出されればよい。また、ＣＰＵ２３は、所定時間ごとに、前方鳥瞰画像の過去画像と後方鳥瞰画像の過去画像とを、画像撮影時の車両Ｃの走行情報（車速やヨーレイト）に対応付けて画像メモリ２４に記憶する。

車両周辺画像を作成する場合に、車両が前進しているのであれば、カメラ視野外の範囲Ｒ３の画像として、前方カメラ１１により過去に撮影された撮影画像（前方過去画像）が画像メモリ２４から読み出される。そして、各カメラ１１，１２による今現在の撮影画像（前方現在画像及び後方現在画像）と前方過去画像とにより車両周辺画像が作成される。また、車両が後退しているのであれば、カメラ視野外の範囲Ｒ３の画像として、後方カメラ１２により過去に撮影された撮影画像（後方過去画像）が画像メモリ２４から読み出される。そして、各カメラ１１，１２による今現在の撮影画像（前方現在画像及び後方現在画像）と後方過去画像とにより車両周辺画像が作成される。

車両周辺画像の作成に際し、ＣＰＵ２３は、前方現在画像と後方現在画像と前方過去画像（又は後方過去画像）とを、同一平面上において車両前後方向に並べて配置し繋ぎ合わせる。このとき、今現在の車両Ｃの走行状態（車速やヨーレイト）と、過去画像が撮影された時の車両Ｃの走行状態（車速やヨーレイト）とに基づいて、過去画像の平行移動及び回転（ユークリッド変換）を行い、各画像を一画像として合成する。

図４は、車載モニタ１４の表示画面に表示される車両周辺画像を示す図である。同表示画面においては、前方表示領域Ａ１と後方表示領域Ａ２と中間表示領域Ａ３とが定められており、前方表示領域Ａ１には、前方カメラ１１により撮影された前方現在画像が表示され、後方表示領域Ａ２には、後方カメラ１２により撮影された後方現在画像が表示され、中間表示領域Ａ３には、前方過去画像及び後方過去画像のいずれかが表示される。図４においては、車両の前進時が想定され、中間表示領域Ａ３には前方過去画像が表示されている。説明の便宜上、図４では、車両進行方向をｙ方向、それに直交する方向をｘ方向としている（後述の図５等も同様）。なお、各表示領域Ａ１〜Ａ３のｙ方向の長さ寸法は全て同じであってもよいし、各々異なっていてもよい。中間表示領域Ａ３だけが、他領域よりもｙ方向の長さ寸法が短い構成であってもよい。

中間表示領域Ａ３には、表示画面の中央となる位置に自車両画像Ｇ１が表示されている。この自車両画像Ｇ１は、前方過去画像（又は後方過去画像）に重複する位置に表示されている。車両周辺画像中に自車両画像Ｇ１が表示されることで、ユーザが自車両を基準として周囲の状況（相対的な位置関係）を把握しやすくなるようになっている。また、図４の車両周辺画像には、撮影画像の情報として、路面上に引かれた白線等のマーキングが示されている。ここでは、車両Ｃが駐車場を走行する場合を想定しており、車両右側には車両走行方向に延びる直線画像Ｇ２が表示され、車両左側には駐車区画ごとに付された区画線画像Ｇ３が表示されている。

ここで、車載モニタ１４の各表示領域Ａ１〜Ａ３に各々表示される画像がずれなく適正に繋ぎ合わされていれば、図４（ａ）に示すように車両走行方向において直線画像Ｇ２が一直線に繋がることとなる。また、区画線画像Ｇ３については、隣合う区画線画像Ｇ３同士の間隔、すなわち駐車スペースの幅Ｗ１が均等になるとともに、区画線画像Ｇ３が複数の駐車スペースの並び方向に幅を有している場合に、その幅Ｗ２が均等になる。

しかしながら、各カメラ１１，１２の取り付けの状態や車両の走行状態によっては、各表示領域Ａ１〜Ａ３における表示画像の繋ぎ合わせ部分でずれが生じることが考えられる。すなわち、各カメラ１１，１２の取り付け誤差に起因してカメラ撮影方向がずれていると、各変換回路２１，２２で変換した鳥瞰画像を繋ぎ合わせる際に、図４のｘ方向及びｙ方向の少なくともいずれかでずれが生じる。また、車速センサ１６やヨーレイトセンサ１７で検出される車両走行状態が、実際の車両走行状態と異なっている場合には、過去画像の平行移動及び回転が適正に行われず、やはり画像繋ぎ合わせ部分でのずれが生じる。車両走行状態の検出誤差が生じる要因としては、車両挙動の過渡変化に正しく追従できないことや、タイヤのスリップにより車速が誤検出されること等が考えられる。

こうした画像繋ぎ合わせ部分におけるずれは、異なるカメラの撮影画像同士が繋ぎ合わされる部位で生じやすい。つまり、車両Ｃの前進時には、後方表示領域Ａ２に表示される後方現在画像と、中間表示領域Ａ３に表示される前方過去画像との繋ぎ合わせ部分でずれが生じやすく、車両Ｃの後退時には、前方表示領域Ａ１に表示される前方現在画像と、中間表示領域Ａ３に表示される後方過去画像との繋ぎ合わせ部分でずれが生じやすい。

図４（ｂ）には、後方表示領域Ａ２に表示される後方現在画像と、中間表示領域Ａ３に表示される前方過去画像との繋ぎ合わせ部分でずれが生じている状態を示している。すなわち、図４（ｂ）では、直線画像Ｇ２についてｘ方向のずれが生じている。また、区画線画像Ｇ３についてｙ方向のずれが生じており、その結果、画像繋ぎ合わせ部分における区画線画像Ｇ３だけが、他の区画線画像Ｇ３に比べてｙ方向に潰れた状態（Ｗ２が小さくなった状態）となっている。

そこで、本実施形態においては、各画像の繋ぎ合わせ部分におけるずれを算出するとともに、そのずれに基づいて画像の補正を行うことで、車両周辺画像を適正に作成するようにしている。

まずは、画像繋ぎ合わせ部分におけるずれ算出について説明する。なおここでは、車両Ｃの前進時を想定している。

車両の前進時には、上述したとおり後方表示領域Ａ２に表示される後方現在画像と、中間表示領域Ａ３に表示される前方過去画像との繋ぎ合わせ部分でずれが生じやすくなっており、その表示領域Ａ２及びＡ３の境界部分に、後方現在画像と前方過去画像とが重複して重ね合わされる重複領域が設定される。具体的には、図５に示すように、前方過去画像のｙ方向の長さ寸法は、中間表示領域Ａ３のｙ方向の長さ寸法よりも大きくなっており、前方過去画像を中間表示領域Ａ３に配置すると、その前方過去画像の一部が後方表示領域Ａ２に重ねられる。この場合、後方表示領域Ａ２には、中間表示領域Ａ３との境界部分に重複領域Ａｐが定められており、その重複領域Ａｐには前方過去画像と後方現在画像とが重複して配置される。

ＣＰＵ２３は、重複領域Ａｐで互いに重ね合わされた２つの画像について特徴点を抽出し、同じ形態の特徴点同士を比較することで、画像同士のずれを算出する。例えば、路面上のマーキング画像を特徴点として抽出し、その特徴点周辺の輝度の分布などの特徴量を比較することで、画像同士のずれを算出する。

ずれ算出について図６を用いてより具体的に説明する。図６には、後方表示領域Ａ２に表示される後方現在画像と、中間表示領域Ａ３に表示される前方過去画像とを示しており、ここでは便宜上、それらを「Ａ２画像」、「Ａ３画像」と称する。Ａ２画像及びＡ３画像では、重複領域Ａｐでの重複部分において画像同士の比較によりｘ方向及びｙ方向のずれがそれぞれ算出される。この場合、Ａ２画像及びＡ３画像を重ね合わせた状態で、特徴点としての直線画像Ｇ２がｘ方向にずれていれば、そのずれ分がｘ方向のずれとして算出される。

また、Ａ２画像及びＡ３画像について、後方表示領域Ａ２と中間表示領域Ａ３との境界線ＢＬを基準として、特徴点としての区画線画像Ｇ３のｙ方向長さｂ１，ｂ２がそれぞれ算出され、それらｂ１，ｂ２の比較により、ｙ方向のずれが算出される。

なお、車両の後退時には、上記とは異なり、前方表示領域Ａ１及び中間表示領域Ａ３の境界部分に重複領域Ａｐが設定され、その重複領域Ａｐにおいて、前方現在画像と後方過去画像との重なり部分により画像同士のずれが算出される。

また、ＣＰＵ２３は、重複領域Ａｐでの画像同士のずれに基づいて過去画像（前方過去画像又は後方過去画像）を補正対象として補正パラメータを算出し、その補正パラメータを用いて、過去画像に対して透視変換による補正を実施する。この場合、重複領域Ａｐにおいて、現在画像の特徴点と過去画像の特徴点とがｘ方向にずれている場合は、そのｘ方向に過去画像を伸縮させるように透視変換を実施する。また、現在画像の特徴点と過去画像の特徴点とがｙ方向にずれている場合は、そのｙ方向に過去画像を伸縮させるように透視変換を実施する。

本実施形態では、中間表示領域Ａ３のｙ方向の両端のうち一方の端部にのみ重複領域Ａｐが設定されており、重複領域Ａｐ側でのずれに基づいて、中間表示領域Ａ３での過去画像の全体が補正されるようになっている。この場合、ずれが算出されていない側の端部については、画像が伸縮されないようにして補正が行われる。つまり、中間表示領域Ａ３のｙ方向の両端のうち重複領域Ａｐ側では補正量＝最大、その反対側では補正量＝０として、透視変換による補正が行われる。

具体的には、図７に示すように、重複領域Ａｐでのｘ方向のずれがｃ１、ｙ方向のずれがｃ２である場合に、重複領域Ａｐ側でのｘ方向の補正量＝ｃ１、ｙ方向の補正量＝ｃ２として、矩形状の補正前画像が台形状に透視変換される。この場合、特に、ｘ方向の補正として、境界線ＢＬ上でｃ１分だけ伸縮（図７では伸張）される。また、ｙ方向の補正として、境界線ＢＬ上でｃ２分だけ伸縮（図７では収縮）される。

図８に示すように、透視変換による補正に伴って、補正後Ａ３画像における直線画像Ｇ２はｙ方向と鋭角を為すように変換され、Ａ１画像における直線画像Ｇ２とＡ２画像における直線画像Ｇ２とが結ばれる。つまり、Ａ１画像における直線画像Ｇ２とＡ２画像における直線画像Ｇ２の繋がりが保たれつつ、Ａ３画像における直線画像Ｇ２とＡ２画像における直線画像Ｇ２とのずれが解消される。また、補正前（図４（ｂ））と比較すると、後方表示領域Ａ２と中間表示領域Ａ３との境界線ＢＬ上において、Ａ３画像における区画線画像Ｇ３は車両方向前方にｃ２だけ移動している。この移動に伴って、後方表示領域Ａ２と中間表示領域Ａ３との境界線ＢＬを基準として、補正後Ａ３画像における区画線画像Ｇ３の位置と後方表示領域Ａ２における区画線画像Ｇ３の位置とが等しくなるため、境界線ＢＬにおける区画線画像Ｇ３のゆがみが解消されている。

また、車載モニタ１４に表示された車両周辺画像について白線等のずれが支障となり得るのは、自車両が比較的低い速度で走行している場合であり、具体的には駐車場内を走行している場合が想定される。駐車場での走行時には、所望の駐車区画内に自車両を駐車させるために、路面上のマーキングを注視することが多いとも考えられる。そこで本実施形態では、車両が所定の低速状態で走行している場合に、鳥瞰画像である車両周辺画像を車載モニタ１４に表示させるようにしている。

本実施形態における画像作成処理のフローチャートを図９に示す。この画像作成処理は、画像処理ユニット１３のＣＰＵ２３によって所定周期ごとに実施される。

まずステップＳ１０では、自車両の車速とヨーレイトとを取得する。続くステップＳ１１では、自車両が所定の低速走行状態にあるか否かを判定する。具体的には、今現在の車速が所定値（例えば、３０ｋｍ／ｈ）以下か否かを判定する。なお、ステップＳ１１において、ナビゲーション装置の情報等から、今現在、駐車場内の走行中であるか否かを判定するようにしてもよい。そして、ステップＳ１１がＮＯであれば、処理を終了する。ステップＳ１１が否定される場合、車載モニタ１４には、ナビゲーション情報や走行状態情報など、車両周辺画像以外の情報画像が表示される。

駐車時において、ユーザは白線などの目標物を基準にして車両を操作するため、画像にずれが生じていると車両と目標物との把握が困難になる。そこで、車両が駐車されようとしている場合に、画像の補正を行い補正後の画像を車載モニタ１４に表示することで、ユーザに対して好適に情報を提示することが可能となる。なお、画像処理ユニット１３が、車両に搭載されているＧＰＳセンサから車両の位置を取得して、車両が駐車されようとしていると判定する構成としてもよい。

また、ステップＳ１１がＹＥＳであればステップＳ１２に進み、第１変換回路２１及び第２変換回路２２による変換後の鳥瞰画像（前方現在画像及び後方現在画像）を取得する。このとき、前方現在画像及び後方現在画像を、それぞれ作業用メモリに一時記憶するとともに、画像メモリ２４に過去画像として記憶する。画像メモリ２４への記憶は、その時の車速やヨーレイトといった車両走行状態に対応付けた上で行われる。

その後、ステップＳ１３では、自車両が前進状態にあるか否かを判定する。この判定は、例えば車両変速装置のシフト位置に基づいて実施される。自車両が前進状態にあればステップＳ１４に進み、自車両が後退状態にあればステップＳ１６に進む。ステップＳ１４では、画像メモリ２４から、中間表示領域Ａ３に表示する画像として前方過去画像を読み出す。この場合、画像メモリ２４には時系列で複数の前方過去画像が記憶されており、そのうちから今回使用する画像が車速に基づいて決定されるとよい。また、ステップＳ１５では、後方表示領域Ａ２と中間表示領域Ａ３との境界部分に重複領域Ａｐを設定する。

一方、ステップＳ１６では、画像メモリ２４から、中間表示領域Ａ３に表示する画像として後方過去画像を読み出す。この場合、画像メモリ２４には時系列で複数の後方過去画像が記憶されており、そのうちから今回使用する画像が車速に基づいて決定されるとよい。また、ステップＳ１７では、前方表示領域Ａ１と中間表示領域Ａ３との境界部分に重複領域Ａｐを設定する。

その後、ステップＳ１８では、ステップＳ１１で取得した前方現在画像及び後方現在画像と、ステップＳ１４又はＳ１６のいずれかで取得した前方過去画像又は後方過去画像とを同一平面上に配置して一画像として合成することで、車両周辺画像を作成する。このとき、過去画像の撮影時点の車両走行情報と今現在の車両走行状態とに基づいて、各画像の合成（繋ぎ合わせ）が実施される。

その後、ステップＳ１９では、重複領域Ａｐでの画像同士のずれを算出する。続くステップＳ２０では、画像同士のずれに基づいて車両周辺画像の補正を実施する。このとき、中間表示領域Ａ３に表示される過去画像を対象にして画像補正を実施する。ステップＳ２１では、補正後の車両周辺画像を車載モニタ１４に出力して処理を終了する。

以下、本実施形態の効果について述べる。

カメラ１１，１２によって撮影された複数の撮影画像を繋ぎ合わせて表示画像を作成し、その作成された画像を車載モニタ１４に表示する。これにより、一の画像として撮影された範囲より広い範囲を表す画像を車載モニタ１４に表示することができる。ここで、例えば、カメラ１１，１２の設置位置などが初期位置からずれると、画像を繋ぎ合わせるときに二枚の画像間においてずれが生じる。そこで、繋ぎ合わせ部分の画像同士のずれを算出する。具体的には、前方現在画像及び中間領域画像の繋ぎ合わせ部分と、後方現在画像及び中間領域画像の繋ぎ合わせ部分との少なくともいずれかで画像同士のずれを算出する。そして、その算出されたずれに基づいて、表示画像を補正する。これにより、好適に表示画像を車載モニタ１４に表示することが可能になる。

重複領域Ａｐにおいて画像同士を重複させ、重複領域Ａｐでの画像同士のずれを算出する。これにより、各画像の並び方向（ｙ方向）及びそれに直交する方向（ｘ方向）のいずれの方向についてもずれの算出を容易に実施できる。特に、各画像の並び方向（ｙ方向）のずれについて算出することが容易になる。そして、その算出されたずれに基づいて補正を行うことで好適に画像同士を繋ぎ合わせることが可能になる。

複数のカメラ１１，１２による複数の撮影画像を繋ぎ合わせる場合に、カメラ１１，１２の取り付け誤差に起因してカメラ撮影方向がずれると、撮影画像の繋ぎ合わせ部分においてずれが生じる。そこで、異なる複数のカメラ１１，１２によって撮影された撮影画像について、繋ぎ合わせ部分の画像同士のずれに基づいて表示画像を補正することで、好適に表示画像を車載モニタ１４に表示することが可能になる。

車両の走行状態に基づいて、複数の画像を繋ぎ合わせる場合に、取得した走行状態が適切でない場合、過去画像と現在画像との繋ぎ合わせにおいてずれが生じることになる。そこで、過去画像と現在画像とにおける画像同士のずれを算出して、そのずれに基づいて表示画像を補正することで、取得した走行状態が適切でない場合であっても好適にその画像を表示することが可能になる。

車両の前進時か後退時かを判定するとともに、車両の前進時には、表示領域Ａ２及びＡ３の境界部分に重複領域Ａｐを設定し、車両の後退時には、表示領域Ａ１及びＡ３の境界部分に重複領域Ａｐを設定する構成とした。これにより、３画像が車両周辺画像として合成される構成において、画像同士のずれが生じやすい部位でずれの算出及び補正を実施できる。この場合、ずれ算出及び補正により演算負荷が過剰に増えることを抑制できる。

画像全体を補正対象とする構成とすることで、ユーザに対して与える違和感を軽減することができる。ただし、ずれの検出対象でない端部について補正を行うと、補正を行うことでかえって画像同士にずれが生じることになる。そこで、画像全体を補正対象としつつ、ずれの検出対象とされていない端部に変化がないように補正を実施することで、補正によってかえってずれが生じるという不都合を解消することができる。

（他の実施形態）
上記実施形態を例えば次のように変更してもよい。

・上記実施形態では、中間表示領域Ａ３のｙ方向の両端のうち一方の端部にのみ重複領域Ａｐを設定し、重複領域Ａｐ側でのずれに基づいて、中間表示領域Ａ３の過去画像を補正する構成としたが、これを以下のように変更してもよい。中間表示領域Ａ３のｙ方向の両端にそれぞれ重複領域Ａｐを設定し、各重複領域Ａｐ側でのずれに基づいて、中間表示領域Ａ３の過去画像を補正する。つまり、例えば車両前進時には、前方現在画像と前方過去画像とのずれを算出するとともに、前方過去画像と後方現在画像とのずれを算出し、それら両方のずれに基づいて前方過去画像を補正する。

・上記実施形態では、複数の撮影手段（前方カメラ１１、後方カメラ１２）を用い、かつ現在画像と過去画像とを合成することで、車両周辺画像を作成する構成としたが、これを以下の第１変形例、第２変形例のように変更してもよい。

（第１変形例）
複数の撮影手段により各々撮影された複数の現在画像を合成することで、車両周辺画像を作成する。この場合、過去画像は用いない。具体的には、図１０に示すように、車両に前方撮影用の第１カメラ３１と、右側方撮影用の第２カメラ３２と、左側方撮影用の第３カメラ３３とが設けられている。そして、それら各カメラ３１〜３３の撮影画像が画像処理ユニット１３に入力される。画像処理ユニット１３における画像変換処理等は上記と同様である。各カメラ３１〜３３の撮影範囲は、それぞれ前方範囲Ｒ１１、右側方範囲Ｒ１２、左側方範囲Ｒ１３であり、前方範囲Ｒ１１と右側方範囲Ｒ１２とが一部重複し、前方範囲Ｒ１１と左側方範囲Ｒ１３とが一部重複している。なお、図１０では各カメラの視野角を１８０度よりも小さくしているが、その角度は任意であり、図２と同様に視野角＝１８０度であってもよい。

図１１は、車載モニタ１４の表示画面に表示される車両周辺画像を示す図である。同表示画面においては、自車両画像Ｇ１の後方を除く部位の車両周辺画像が表示されている。そして、その自車両画像Ｇ１の周りに、前方表示領域Ａ１１と右側方表示領域Ａ１２と左側方表示領域Ａ１３とが定められており、それら各表示領域に、第１〜第３カメラ３１〜３３の現在撮影画像が表示される。なお、左右の側方表示領域Ａ１２，Ａ１３には網掛けを付している。

この場合、表示領域Ａ１１及びＡ１２の境界部分、表示領域Ａ１１及びＡ１３の境界部分では、各々異なるカメラでの撮影画像が繋ぎ合わされ、その繋ぎ合わせ部分で画像同士のずれが生じることが考えられる。この点、各カメラの３１〜３３の撮影範囲が重複しており、そのために前方表示領域Ａ１１用の撮影画像と、側方表示領域Ａ１２，Ａ１３用の撮影画像とが重複領域（図のハッチング部分）を有している。そこで、ＣＰＵ２３は、画像の重複領域で画像同士のずれを算出するとともに、そのずれに基づいていずれかの画像を補正する。補正に関しては、例えば右側方表示領域Ａ１２の表示画像、左側方表示領域Ａ１３の表示画像を補正対象にして、透視変換による補正が実施されるとよい。

なお、複数のカメラにより各々撮影された複数の現在画像を合成して車両周辺画像を作成する構成として、上記以外に、前方用カメラと右側方用のカメラ（又は左側方用のカメラ）との２つの撮影画像を合成する構成や、前後及び左右の４つのカメラの撮影画像を合成する構成が考えられる。

複数のカメラ３１〜３３によって撮影された画像を繋ぎ合わせることで、車載モニタ１４において、一のカメラで撮影された画像を表示する場合に比べてより広い領域を表示することが可能になる。ここで、カメラ３１〜３３の撮影領域が重複している場合に、その重複領域において画像同士のずれを検出し、そのずれに基づいて画像を補正することで、繋ぎ合わせた後の画像を好適に表示することができる。特に、いずれか一方のカメラの設置位置が初期位置から変化して、正しく画像を繋ぎ合わせることができないような場合に、当該補正によって正しく画像を表示できるようになる。

（第２変形例）
１つの撮影手段により撮影された現在画像と過去画像とを合成することで、車両周辺画像を作成する。具体的には、図１２に示すように、車両に前方撮影用の前方カメラ４１が設けられている。そして、その前方カメラ４１の撮影画像が画像処理ユニット１３に入力される。画像処理ユニット１３における画像変換処理等は上記と同様である。前方カメラ４１の撮影範囲Ｒ２１は、例えば図２に示す前方範囲Ｒ１と同じであるとよい。画像処理ユニット１３では、車両前方の撮影画像が、車両走行状態に対応付けて過去画像として画像メモリに逐次記憶される（図１の構成と同様）。

図１３は、車載モニタ１４の表示画面に表示される車両周辺画像を示す図である。同表示画面においては、自車両画像Ｇ１の前方となる位置に前方表示領域Ａ２１が定められるとともに、自車両画像Ｇ１の側方となる位置に側方表示領域Ａ２２が定められており、それら各表示領域に、現在画像と過去画像とがそれぞれ表示される。この場合、ＣＰＵ２３は、表示領域Ａ２１及びＡ２２の境界部分において、現在画像と過去画像とを一部重複させた状態で繋ぎ合わせ、その重複領域（図のハッチング部分）で画像同士のずれを算出するとともに、そのずれに基づいていずれかの画像を補正する。補正に関しては、例えば過去画像を補正対象にして、透視変換による補正が実施されるとよい。

なお、図１３では、１つの現在画像と１つの過去画像とを用いて車両周辺画像を作成する構成としているが、これ以外に、１つの現在画像と２つ（又は２つ以上）の過去画像とを用いて車両周辺画像を作成する構成としてもよい。この場合、過去画像を用いて車両後方の画像を作成する構成にするとよい。画像の補正に関しては、過去画像同士の繋ぎ合わせ部分についてもずれを算出し、そのずれを解消する補正を実施するとよい。

・上記実施形態では、重複領域Ａｐでの画像の特徴点を比較してずれを算出し、その算出されたずれの量に基づいて補正を行う構成とした。これに加えて、現在画像及び過去画像における特徴点の周期性に基づいて画像のずれを算出し、その算出されたずれの量に基づいて補正を行う構成としてもよい。

図１４に特徴点の周期性に基づくずれの算出処理のフロー図を示す。この処理は、画像処理ユニット１３によって、図９に示す画像作成処理におけるステップＳ１９で行われる。

ステップＳ３０において、車両の周囲を表示する表示画像において、それぞれ同一の形状及び大きさを有しかつ車両走行方向に並んで配置された複数の撮影対象の画像（繰り返し画像）が含まれているか否かを判定する。そして、表示画像中に繰り返し画像が含まれている場合（Ｓ３０：ＹＥＳ）、ステップＳ３１において、画像同士の繋ぎ合わせ部分で撮影対象の形状及び大きさの少なくともいずれかが、当該繋ぎ合わせ部分以外における撮影対象の形状及び大きさと相違しているか否かを判定する。そして、繋ぎ合わせ部分において撮影対象の形状及び大きさの相違が生じている旨判定された場合（Ｓ３１：ＹＥＳ）、ステップＳ３２において、撮影対象の形状及び大きさの相違に基づいてずれを算出して処理を終了する。

車両の前方及び後方を含む範囲で車両の周囲を鳥瞰画像で表示する場合には、車両走行方向に沿って、同一の形状及び大きさを有する撮影対象が所定間隔ごとに繰り返し現れることがある。この場合、上記構成によれば、こうした撮影対象を含む表示画像（鳥瞰画像）において、車両走行方向の前側とそれよりも後方の側とで、形状や大きさが相違するといった不都合を抑制できる。

例えば、図４のように複数の駐車区画ごとに白線が引かれている駐車場において、それら駐車区画の並び方向に車両を走行させる場合には、撮影対象としての白線が所定間隔ごとに繰り返し現れることになる。かかる場合に、各画像の繋ぎ合わせ部分で白線の形状及び大きさのいずれかが、他と相違していてもそれを解消できる。これにより、いずれも同一の形状及び大きさを有する白線を、実際と同様の形態で表示させることが可能となる。

・複数の画像についていずれを補正対象にするかを決定する手段を備える構成としてもよい。例えば、表示画像の作成に用いる複数の撮影画像のうちいずれかの撮影画像の取得時に所定レベルを超える車両振動が生じていた場合には、その画像について誤差が生じている可能性が高いため、その画像を補正対象にする。

・上記実施形態では、画像同士の重複部分におけるずれに基づいて過去画像を補正する構成としたが、現在画像を補正する構成としてもよい。また、現在画像と過去画像とを共に補正する構成としてもよい。

・ヨーレイトセンサ１７によって検出されるヨーレイトが所定値より大きい場合に、画像の補正を行う構成としてもよい。ヨーレイトが大きいほど、車両位置の実際値と算出値とに差が生じ易く、画像間のずれが生じ易いため、好適に画像を補正することができる。

・車両の位置及び向きは、それぞれＧＰＳセンサや、デジタルコンパスから取得する構成としてもよい。

１１…前方カメラ（撮影手段）、１２…後方カメラ（撮影手段）、１３…画像処理ユニット（車両用画像処理装置、画像作成手段、ずれ算出手段、補正手段、表示制御手段）、１４…車載モニタ（表示手段）。

Claims (9)

1. 車両周辺の所定範囲を撮影する撮影手段（１１，１２）と、該撮影手段により撮影された画像を表示する表示手段（１４）とを備えた車両に適用され、該車両に搭載される車両用画像処理装置（１３）であって、
   前記撮影手段により撮影された複数の撮影画像を繋ぎ合わせることにより、前記表示手段で表示させるための表示画像を作成する画像作成手段と、
   前記表示画像の作成に際し、該表示画像における前記複数の撮影画像の繋ぎ合わせ部分の画像同士のずれを算出するずれ算出手段と、
   前記ずれに基づいて前記表示画像を補正する補正手段と、
   その補正後の表示画像を前記表示手段に表示させる表示制御手段と、
   を備えることを特徴とする車両用画像処理装置。
2. 前記画像作成手段は、前記複数の撮影画像の繋ぎ合わせ部分で画像同士を重複させるものであり、
   前記ずれ算出手段は、前記複数の撮影画像のうち重複した部分の対比により前記ずれを算出することを特徴とする請求項１に記載の車両用画像処理装置。
3. 前記車両は、前記撮影手段として撮影範囲がそれぞれ異なる複数の撮影装置（１１，１２）を備え、
   前記画像作成手段は、前記複数の撮影装置によってそれぞれ撮影された前記複数の撮影画像を繋ぎ合わせるものであることを特徴とする請求項１又は２に記載の車両用画像処理装置。
4. 前記撮影手段の撮影時における車両走行状態を取得する状態取得手段と、
   前記撮影画像が過去画像として記憶される記憶手段と、
   を備え、
   前記画像作成手段は、前記状態取得手段により取得した走行状態に基づいて、前記記憶手段に記憶されている過去画像と前記撮影手段により撮影されている現在画像とを繋ぎ合わせて前記表示画像を作成し、
   前記ずれ算出手段は、前記過去画像と前記現在画像とにおける画像同士のずれを算出する請求項１乃至３のいずれか１項に記載の車両用画像処理装置。
5. 前記車両は、前記撮影手段として、車両前方を撮影範囲とする前方撮影装置（１１）と、車両後方を撮影範囲とする後方撮影装置（１２）とを有しており、それら両撮影装置の撮影画像を用い、前記車両を囲む範囲を車両周辺画像により前記表示手段に表示させる車両用画像処理装置であって、
   前記車両の周囲には、前記両撮影装置のいずれの撮影範囲でもなく、かつそれらの撮影範囲の間となる中間領域（Ｒ３）が存在しており、
   前記画像作成手段は、前記中間領域の画像である中間領域画像として前記両撮影装置のうち車両走行方向の前側となる方の撮影装置の過去画像を用い、前記前方撮影装置の撮影画像と前記後方撮影装置の撮影画像と前記中間領域画像とを繋ぎ合わせることにより、前記車両周辺画像を前記表示画像として作成し、
   前記ずれ算出手段は、前記前方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分と、前記後方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分との少なくともいずれかで画像同士のずれを算出することを特徴とする請求項４に記載の車両用画像処理装置。
6. 前記車両が前進状態にあるか後退状態にあるかを判定する判定手段を備え、
   前記画像作成手段は、前記車両が前進及び後退のいずれの状態にあるかに基づいて、前記前方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分と、前記後方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分とのいずれかにおいて画像を重複させ、
   前記ずれ算出手段は、前記重複が行われた画像の繋ぎ合わせ部分で前記ずれを算出することを特徴とする請求項５に記載の車両用画像処理装置。
7. 前記補正手段は、前記前方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分と、前記後方撮影装置の撮影画像及び前記中間領域画像の繋ぎ合わせ部分とのいずれかで前記画像同士のずれを算出し、前記中間領域画像において、前記ずれの算出を行った側の端部では前記ずれを減少させ、かつ、その反対側の端部では変化がないように変換を行うことで前記補正を実施することを特徴とする請求項５又は６に記載の車両用画像処理装置。
8. 前記撮影画像において、それぞれ同一の形状及び大きさを有しかつ車両走行方向に並んで配置された複数の撮影対象（Ｇ３）が前記撮影画像に含まれている場合に、前記撮影画像同士の繋ぎ合わせ部分で前記撮影対象の形状及び大きさの少なくともいずれかが、当該繋ぎ合わせ部分以外における前記撮影対象の形状及び大きさと相違していることを判定する相違判定手段を備え、
   前記補正手段は、前記繋ぎ合わせ部分において前記撮影対象の形状及び大きさの相違が生じている旨判定された場合に、その相違を解消すべく前記表示画像を補正することを特徴とする請求項５乃至７のいずれか1項に記載の車両用画像処理装置。
9. 前記車両は、前記撮影手段として撮影範囲が一部重複する複数の撮影装置（３１，３２，３３）を備え、
   前記ずれ算出手段は、撮影範囲が重複している画像同士のずれを算出することを特徴とする請求項１乃至８のいずれか１項に記載の車両用画像処理装置。

Images