JP2019004449A - 画像処理装置 - Google Patents

Abstract

【課題】周辺画像の画質を十分に向上させることができる画像処理装置を提供する。【解決手段】画像処理装置は、移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、一の前記撮像画像の前記重複領域に設定された対象領域の色値の平均値である撮像画像色値平均値と、他の前記撮像画像の前記重複領域に設定された前記対象領域の撮像画像色値平均値とに基づいて補正した前記複数の撮像画像をつなげて周辺画像を生成する処理部と、を備える。【選択図】図３

Description

本発明は、画像処理装置に関する。

移動体に設けられた複数の撮像装置が撮像した複数の撮像画像をつなげて周辺画像を生成する装置が知られている。このような装置は、複数の撮像画像間の輝度を互いに近づけることによって、周辺画像を補正して、周辺画像の画質を向上させている。

特開２０１１−１８１０１９号公報 特許第４７３９１２２号公報 特開平８−９８２０４号公報

しかしながら、上述の装置では、撮像画像全体の輝度のみによって周辺画像を補正しているので、演算負荷が大きく、かつ、画質の向上が十分でないといった課題がある。

本発明は、上記に鑑みてなされたものであって、周辺画像の画質を十分に向上させることができる画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、画像処理装置は、移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、一の前記撮像画像の前記重複領域に設定された対象領域の色値の平均値である撮像画像色値平均値と、他の前記撮像画像の前記重複領域に設定された前記対象領域の撮像画像色値平均値とに基づいて補正した前記複数の撮像画像をつなげて周辺画像を生成する処理部と、を備える。

このように、画像処理装置は、互いに重複する対象領域の撮像画像色値平均値に基づいて、色値を補正するので、撮像画像の全体の輝度によって補正する場合に比べて、補正処理の演算負荷を低減しつつ、撮像画像間の色値の違和感を低減して、周辺画像の画質を向上することができる。

本発明の画像処理装置では、前記複数の撮像部は、前記移動体の前側、及び、側部に設けられ、前記処理部は、前記前側の前記撮像部の前記撮像画像の前記撮像画像色値平均値を基準値として、前記側部の前記撮像部の前記撮像画像の前記撮像画像色値平均値が基準値となるように、前記側部の前記撮像部の前記撮像画像を補正してもよい。

このように、画像処理装置は、前側の撮像画像を基準に、両側の撮像画像を補正している。これにより、画像処理装置は、運転者が最も視認する前側の撮像画像を補正することなく、両側の撮像画像を補正して、周辺画像を生成できる。この結果、画像処理装置は、運転者が直接視認している状況と、周辺画像内の前側の撮像画像との差異を小さくして、運転者の違和感を低減することができる。

本発明の画像処理装置では、前記複数の撮像部のいずれかは、前記移動体の後側に設けられ、前記処理部は、前記前側の前記撮像部の前記撮像画像の前記撮像画像色値平均値が前記基準値となるように、前記後側の前記撮像部の前記撮像画像を補正してもよい。

このように、画像処理装置は、前側の撮像画像を基準に、後側の撮像画像を補正している。これにより、画像処理装置は、運転者が最も視認する前側の撮像画像を補正することなく、後側の撮像画像を補正して、周辺画像を生成できる。この結果、画像処理装置は、運転者が直接視認している状況と、周辺画像内の前側撮の像画像との差異を小さくして、運転者の違和感を低減することができる。

本発明の画像処理装置では、前記処理部は、前記対象領域の前記色値の平均値と、予め定められた色値平均閾値とに基づいて、前記色値の補正を実行するか否かを判定してもよい。

このように、画像処理装置は、色値平均値及び色値平均閾値に基づいて補正を実行するか否かを判定するので、撮像画像が路面を含まない場合等に設定された誤った補正値の設定を禁止して、誤った補正値による周辺画像の画質の劣化を抑制できる。

本発明の画像処理装置では、前記処理部は、前記対象領域の前記色値のばらつきと、予め定められたばらつき閾値とに基づいて、前記色値の補正を実行するか否かを判定してもよい。

このように、画像処理装置は、色値のばらつき及びばらつき閾値に基づいて補正を実行するか否かを判定するので、撮像画像に白線等を含む場合の色値の補正値の設定を禁止して、当該補正値に起因する擬色を防止して、周辺画像の画質の劣化を抑制できる。

本発明の画像処理装置では、前記処理部は、一の前記撮像画像に含まれる複数の前記対象領域の前記色値の平均値の差分と、予め定められた差分閾値とに基づいて、前記色値の補正を実行するか否かを判定してもよい。

このように、画像処理装置は、一の撮像画像内の色値平均値の差分及び差分閾値とに基づいて補正を実行するか否かを判定するので、一の撮像画像内の色値が一様でなく、ばらつきの大きい場合等に設定された誤った補正値の設定を禁止して、誤った補正値による周辺画像の画質の劣化を抑制できる。

本発明の画像処理装置では、前記処理部は、前記色値を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、前記色値の補正値を前記上限補正値に変更するか否かを判定してもよい。

このように、画像処理装置は、設定した補正値及び上限補正値に基づいて、大きい補正値の補正による色の大きな変化によって生じる周辺画像の画質の劣化を抑制できる。

本発明の画像処理装置では、前記処理部は、一の前記撮像画像の前記撮像画像色値平均値と隣接する他の前記撮像画像の前記撮像画像色値平均値との差分と、予め定められた色値閾値との比較に基づいて、前記色値の補正を実行する前記撮像画像を選択してもよい。

このように、画像処理装置は、撮像画像色値平均値の差分と色値閾値とを比較して、いずれかの撮像画像を補正対象に選択している。これにより、画像処理装置は、各撮像部が個別に実行した補正等によって、他の撮像画像と色値が大きく異なる撮像画像を補正対象に選択して補正するので、他の撮像画像との色味等の違いを低減して、他の撮像画像との繋がりを向上させることができる。

本発明の画像処理装置では、前記処理部は、一の前記撮像画像の前記撮像画像色値平均値と隣接する他の前記撮像画像の前記撮像画像色値平均値との差分の全てが前記色値閾値よりも大きい対象選択条件を満たし、一の前記撮像画像以外の前記撮像画像が前記対象選択条件を満たさない場合、当該一の撮像画像に前記色値の補正を実行してもよい。

このように、画像処理装置は、一の撮像画像だけが対象選択条件を満たす場合に当該一の撮像画像を色値の補正の対象とするので、撮像部によって個別に実行された補正によって他の撮像画像と色値が大きく異なる一の撮像画像を補正して、他の撮像画像との色味等の違いを低減できる。

本発明の画像処理装置では、前記処理部は、前記撮像部が前記撮像画像の補正の基準とする前記撮像画像内の基準領域の前記色値の平均値と、前記撮像画像の前記撮像画像色値平均値とが、予め定められた補色条件を満たすか否かに基づいて、前記撮像画像の前記色値を補正するか否かを判定してもよい。

このように、画像処理装置は、対象領域と基準領域との補色関係に基づいて、撮像画像の補正をするか否かを判定している。これにより、画像処理装置は、複数の撮像部のそれぞれが基準領域の色値を基準として補正することによって対象領域の色味等に違和感を生じさせた撮像画像の色値を補正することができる。この結果、画像処理装置は、当該撮像画像の色値の補正によって、他の撮像画像に対する色味等の違和感を低減し、他の撮像画像との繋がりを向上させることができる。

図１は、第１実施形態の画像処理装置が搭載される車両の平面図である。 図２は、車両に搭載される画像処理装置の構成を説明するブロック図である。 図３は、情報処理装置の機能を説明する機能ブロック図である。 図４は、補正部による撮像画像の補正を説明する図である。 図５は、第１実施形態の処理部が実行する画像生成処理のフローチャートである。 図６は、補正部が実行する輝度補正処理のフローチャートである。 図７は、補正部が実行する色差補正処理のフローチャートである。 図８は、第２実施形態の補正部が実行する色差補正処理のフローチャートである。 図９は、補正部が実行する色差平均値判定処理のフローチャートである。 図１０は、補正部が実行する色差ばらつき判定処理のフローチャートである。 図１１は、補正部が実行する色差差分判定処理のフローチャートである。 図１２は、補正部が実行する補正値上限判定処理のフローチャートである。 図１３は、第３実施形態の補正部が実行する色差補正処理のフローチャートである。 図１４は、第４実施形態の撮像画像内の基準領域を説明する図である。 図１５は、補色条件による撮像画像の判定方法を説明する図である。 図１６は、第４実施形態の補正部が実行する色差補正処理のフローチャートである。 図１７は、第５実施形態の補正部が実行する色差補正処理のフローチャートである。

以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。

＜第１実施形態＞
図１は、第１実施形態の画像処理装置が搭載される車両１０の平面図である。車両１０は、移動体の一例であって、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１３の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に示すように、車両１０は、車体１２と、複数（例えば、４個）の撮像部１４ａ、１４ｂ、１４ｃ、１４ｄとを有する。撮像部１４ａ、１４ｂ、１４ｃ、１４ｄを区別する必要がない場合、撮像部１４と記載する。

車体１２は、乗員が乗車する車室を構成する。車体１２は、車輪１３及び撮像部１４等の車両１０の構成を収容または保持する。

撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）、または、ＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力する。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の１４０°〜１９０°の範囲を撮像することができる。撮像部１４の光軸は、斜め下方に向けて設定されている。従って、複数の撮像部１４は、周辺の路面を含む車両１０の周辺を撮像した複数の撮像画像のデータを出力する。

撮像部１４は、車両１０の外周部に設けられている。例えば、撮像部１４ａは、車両１０の前側の左右方向の中央部（例えば、フロントバンパー）に設けられている。撮像部１４ａは、車両１０の前方の周辺を撮像した撮像画像を生成する。撮像部１４ｂは、車両１０の後側の左右方向の中央部（例えば、リアバンパー）に設けられている。撮像部１４ｂは、車両１０の後方の周辺を撮像した撮像画像を生成する。撮像部１４ｃは、撮像部１４ａ及び撮像部１４ｂと隣接し、車両１０の左側部の前後方向の中央部（例えば、左側のサイドミラー１２ａ）に設けられている。撮像部１４ｃは、車両１０の左方の周辺を撮像した撮像画像を生成する。撮像部１４ｄは、撮像部１４ａ及び撮像部１４ｂと隣接し、車両１０の右側部の前後方向の中央部（例えば、右側のサイドミラー１２ｂ）に設けられている。撮像部１４ｄは、車両１０の右方の周辺を撮像した撮像画像を生成する。ここで、撮像部１４ａ、１４ｂ、１４ｃ、１４ｄは、互いに重複する複数の重複領域を含む複数の撮像画像を生成する。

図２は、車両１０に搭載される画像処理装置２０の構成を説明するブロック図である。図２に示すように、画像処理装置２０は、複数の撮像部１４と、モニタ装置３４と、情報処理装置３６と、車内ネットワーク３８とを備える。

モニタ装置３４は、車室内のダッシュボード等に設けられている。モニタ装置３４は、表示部４０と、音声出力部４２と、操作入力部４４とを有する。

表示部４０は、情報処理装置３６が送信した画像データに基づいて、画像を表示する。表示部４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、または、有機ＥＬディプレイ（ＯＥＬＤ：Organic Electroluminescent Display）等の表示装置である。表示部４０は、例えば、情報処理装置３６が、複数の撮像部１４によって撮像された撮像画像をつなげた周辺画像を表示する。

音声出力部４２は、情報処理装置３６が送信した音声データに基づいて音声を出力する。音声出力部４２は、例えば、スピーカである。音声出力部４２は、表示部４０と異なる車室内の位置に設けられていてもよい。

操作入力部４４は、乗員の入力を受け付ける。操作入力部４４は、例えば、タッチパネルである。操作入力部４４は、表示部４０の表示画面に設けられている。操作入力部４４は、表示部４０が表示する画像を透過可能に構成されている。これにより、操作入力部４４は、表示部４０の表示画面に表示される画像を乗員に視認させることができる。操作入力部４４は、表示部４０の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付けて、情報処理装置３６へ送信する。

情報処理装置３６は、ＥＣＵ（Electronic Control Unit）等のマイクロコンピュータを含むコンピュータである。情報処理装置３６は、撮像部１４から撮像画像のデータを取得する。情報処理装置３６は、撮像画像等に基づいて生成した周辺画像または音声に関するデータをモニタ装置３４へ送信する。情報処理装置３６は、ＣＰＵ（Central Processing Unit）３６ａと、ＲＯＭ（Read Only Memory）３６ｂと、ＲＡＭ（Random Access Memory）３６ｃと、表示制御部３６ｄと、音声制御部３６ｅと、ＳＳＤ（Solid State Drive）３６ｆとを備える。ＣＰＵ３６ａ、ＲＯＭ３６ｂ及びＲＡＭ３６ｃは、同一パッケージ内に集積されていてもよい。

ＣＰＵ３６ａは、ハードウェアプロセッサの一例であって、ＲＯＭ３６ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ３６ａは、例えば、撮像画像を補正し、当該撮像画像をつなげて、表示部４０に表示させる周辺画像を生成する。

ＲＯＭ３６ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ３６ｃは、ＣＰＵ３６ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部３６ｄは、情報処理装置３６での演算処理のうち、主として、撮像部１４で得られた画像の画像処理、表示部４０に表示させる表示用の画像のデータ変換等を実行する。音声制御部３６ｅは、情報処理装置３６での演算処理のうち、主として、音声出力部４２に出力させる音声の処理を実行する。ＳＳＤ３６ｆは、書き換え可能な不揮発性の記憶装置であって、情報処理装置３６の電源がオフされた場合にあってもデータを維持する。

車内ネットワーク３８は、例えば、ＣＡＮ（Controller Area Network）である。車内ネットワーク３８は、情報処理装置３６と、操作入力部４４とを互いに信号及び情報を送受信可能に電気的に接続する。

本実施形態では、情報処理装置３６は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、車両１０の画像生成処理を司る。情報処理装置３６は、撮像部１４が撮像した周辺の画像を含む撮像画像を補正し、補正した撮像画像をつなげて周辺画像を生成する。

図３は、情報処理装置３６の機能を説明する機能ブロック図である。図３に示すように、情報処理装置３６は、処理部５０と、記憶部５２とを有する。

処理部５０は、例えば、ＣＰＵ３６ａ等の機能によって実現される。処理部５０は、補正部５４と、生成部５６とを有する。処理部５０は、例えば、記憶部５２に格納された画像生成プログラム５８を読み込むことによって、補正部５４及び生成部５６の機能を実現してよい。補正部５４及び生成部５６の一部または全ては、ＡＳＩＣ（Application Specific Integrated Circuit）を含む回路等のハードウェアによって構成されてもよい。

補正部５４は、複数の重複領域を含む撮像画像を、複数の撮像部１４のそれぞれから取得する。換言すれば、補正部５４は、少なくとも複数の撮像部１４の個数だけ撮像画像を取得する。撮像画像の一例は、動画の１フレームの画像であってよい。補正部５４は、撮像画像の各画素を構成する輝度及び色差を補正する。色差は、各画素の色を示す色値の例である。輝度は、例えば、ＹＵＶ空間におけるＹ値である。色差は、色信号から輝度を引いた値であって、例えば、ＹＵＶ空間におけるＵ値（青信号から輝度を引いた値）及びＶ値（赤信号から輝度を引いた値）である。補正部５４は、複数の重複領域のそれぞれに対象領域を設定する。補正部５４は、対象領域の輝度に基づく第１補正によって複数の撮像画像の輝度を補正する。補正部５４は、例えば、第１補正において、輝度を線形補間によって補正する。補正部５４は、対象領域の色差に基づく第２補正によって複数の撮像画像の色差を補正する。補正部５４は、例えば、第２補正において、一の撮像画像内の対象領域の色差の平均値である撮像画像色差平均値と、他の撮像画像内の対象領域の色差の平均値である撮像画像色差平均値とに基づいて、複数の撮像画像を補正する。即ち、補正部５４は、第１補正と異なる第２補正によって色差を補正する。撮像画像色差平均値は、撮像画像色値平均値の例である。

例えば、補正部５４は、前側の撮像部１４ａの前側撮像画像の撮像画像色差平均値を基準値として、両側の撮像部１４ｃ、１４ｄの左側撮像画像及び右側撮像画像の撮像画像色差平均値が基準値となるように、撮像部１４ｃ、１４ｄの補正値を設定して、左側撮像画像及び右側撮像画像を補正する。また、補正部５４は、前側の撮像部１４ａの前側撮像画像の撮像画像色差平均値を基準値として、後側の撮像部１４ｂの後側撮像画像の撮像画像色差平均値が基準値となるように、撮像部１４ｂの補正値を設定して、後側撮像画像を補正する。補正部５４は、補正した撮像画像を生成部５６へ出力する。

生成部５６は、補正部５４が補正した複数の撮像画像をつなげて、周辺画像を生成する。生成部５６は、生成した周辺画像を表示部４０へ出力して、周辺画像を表示させる。

記憶部５２は、ＲＯＭ３６ｂ、ＲＡＭ３６ｃ、及び、ＳＳＤ３６ｆの少なくとも１つの機能として実現される。記憶部５２は、処理部５０が実行するプログラム及びプログラムの実行に必要なデータを記憶する。例えば、記憶部５２は、処理部５０が実行する画像生成プログラム５８を記憶する。記憶部５２は、画像生成プログラム５８の実行に必要な数値データ６０を記憶する。

図４は、補正部５４による撮像画像の補正を説明する図である。

図４の周囲に太線で示す４個の矩形枠は、補正部５４が撮像部１４ａ、１４ｂ、１４ｃ、１４ｄのそれぞれから取得した撮像画像７０ａ、７０ｂ、７０ｃ、７０ｄを示す。図４の中央に示す太線の矩形枠は、撮像画像７０ａ、７０ｂ、７０ｃ、７０ｄをつなげて生成された周辺画像７２を示す。周辺画像７２は、例えば、上方から車両１０の周辺を見た俯瞰画像または鳥瞰画像である。周辺画像７２は、撮像画像７０ａ、７０ｂ、７０ｃ、７０ｄが重複する重複領域７４ＦＬ、重複領域７４ＦＲ、重複領域７４ＲＬ及び重複領域７４ＲＲを含む。

前側撮像画像７０ａ及び左側撮像画像７０ｃは、互いに重複する重複領域７４ＦＬａ及び重複領域７４ＦＬｃを含む。重複領域７４ＦＬａ及び重複領域７４ＦＬｃは、重複領域７４ＦＬに対応する領域である。前側撮像画像７０ａ及び右側撮像画像７０ｄは、互いに重複する重複領域７４ＦＲａ及び重複領域７４ＦＲｄを含む。重複領域７４ＦＲａ及び重複領域７４ＦＲｄは、重複領域７４ＦＲに対応する領域である。後側撮像画像７０ｂ及び左側撮像画像７０ｃは、互いに重複する重複領域７４ＲＬｂ及び重複領域７４ＲＬｃを含む。重複領域７４ＲＬｂ及び重複領域７４ＲＬｃは、重複領域７４ＲＬに対応する領域である。後側撮像画像７０ｂ及び右側撮像画像７０ｄは、互いに重複する重複領域７４ＲＲｂ及び重複領域７４ＲＲｄを含む。重複領域７４ＲＲｂ及び重複領域７４ＲＲｄは、重複領域７４ＲＲに対応する領域である。

周辺画像７２の領域内に示す直線は、境界線７６ＦＬ、７６ＦＲ、７６ＲＬ、７６ＲＲである。境界線７６ＦＬ、７６ＦＲ、７６ＲＬ、７６ＲＲを区別する必要がない場合、境界線７６と記載する。境界線７６ＦＬは、前側撮像画像７０ａと左側撮像画像７０ｃとの境界である。境界線７６ＦＲは、前側撮像画像７０ａと右側撮像画像７０ｄとの境界である。境界線７６ＲＬは、後側撮像画像７０ｂと左側撮像画像７０ｃとの境界である。境界線７６ＲＲは、後側撮像画像７０ｂと右側撮像画像７０ｄとの境界である。境界線７６ＦＬ、７６ＦＲ、７６ＲＬ、７６ＲＲの角度は、予め設定されて数値データ６０として記憶部５２に格納されている。

境界線７６ＦＬと境界線７６ＦＲとの間の領域は、前側撮像画像７０ａが適用される。境界線７６ＦＬと境界線７６ＲＬとの間の領域は、左側撮像画像７０ｃが適用される。境界線７６ＦＲと境界線７６ＲＲとの間の領域は、右側撮像画像７０ｄが適用される。境界線７６ＲＬと境界線７６ＲＲとの間の領域は、後側撮像画像７０ｂが適用される。

補正部５４は、周辺画像７２の重複領域７４ＦＬ、７４ＦＲ、７４ＲＬ、７４ＲＲのそれぞれに、ハッチングで示す対象領域７８ＦＬ、７８ＦＲ、７８ＲＬ、７８ＲＲを設定する。対象領域７８ＦＬ、７８ＦＲ、７８ＲＬ、７８ＲＲは、ＲＯＩ（Region of Interest：関心領域）とも呼ばれる。対象領域７８ＦＬ、７８ＦＲ、７８ＲＬ、７８ＲＲは、特に限定されるものではないが、設定枠８０、境界線７６の角度、及び、車両１０の幅等によって、重複領域７４ＦＬ、７４ＦＲ、７４ＲＬ、７４ＲＲ内に補正部５４が適宜設定してよい。設定枠８０の一例は、予め設定された駐車枠である。対象領域７８ＦＬ、７８ＦＲ、７８ＲＬ、７８ＲＲを設定するための設定枠８０、境界線７６の角度、及び、車両１０の幅等は、数値データ６０として記憶部５２に格納されている。

前側撮像画像７０ａ内の対象領域７８ＦＬａ及び対象領域７８ＦＲａは、それぞれ周辺画像７２の対象領域７８ＦＬ及び対象領域７８ＦＲに対応する。後側撮像画像７０ｂ内の対象領域７８ＲＬｂ及び対象領域７８ＲＲｂは、それぞれ周辺画像７２の対象領域７８ＲＬ及び対象領域７８ＲＲに対応する。左側撮像画像７０ｃ内の対象領域７８ＦＬｃ及び対象領域７８ＲＬｃは、それぞれ周辺画像７２の対象領域７８ＦＬ及び対象領域７８ＲＬに対応する。右側撮像画像７０ｄ内の対象領域７８ＦＲｄ及び対象領域７８ＲＲｄは、それぞれ周辺画像７２の対象領域７８ＦＲ及び対象領域７８ＲＲに対応する。

撮像画像７０ａ・・・のそれぞれを区別する必要がない場合、撮像画像７０と記載する。重複領域７４ＦＬ・・・のそれぞれを区別する必要がない場合、重複領域７４と記載する。対象領域７８ＦＬ・・・のそれぞれを区別する必要がない場合、対象領域７８と記載する。

次に、補正部５４による輝度補正処理について説明する。

補正部５４は、前側撮像画像７０ａの対象領域７８ＦＬａに含まれる全ての画素の輝度（＝Ｙ値）の平均値（以下、基準左前側輝度平均値）を算出する。補正部５４は、前側撮像画像７０ａの対象領域７８ＦＲａに含まれる全ての画素の輝度の平均値（以下、基準右前側輝度平均値）を算出する。補正部５４は、後側撮像画像７０ｂの対象領域７８ＲＬｂに含まれる全ての画素の輝度の平均値（以下、基準左後側輝度平均値）を算出する。補正部５４は、後側撮像画像７０ｂの対象領域７８ＲＲｂに含まれる全ての画素の輝度の平均値（以下、基準右後側輝度平均値）を算出する。

補正部５４は、左側撮像画像７０ｃの対象領域７８ＦＬｃに含まれる全ての画素の輝度の平均値（以下、左前側輝度平均値）を算出する。補正部５４は、対象領域７８ＦＬａの基準左前側輝度平均値と対象領域７８ＦＬｃの左前側輝度平均値との差分（以下、左前輝度差分）を算出する。補正部５４は、左側撮像画像７０ｃの対象領域７８ＦＬｃに含まれる全ての画素の輝度に左前輝度差分を足すまたは引くことによって、左前側輝度平均値が基準左前側輝度平均値となるように、左側撮像画像７０ｃの対象領域７８ＦＬｃの輝度を補正する。

補正部５４は、左側撮像画像７０ｃの対象領域７８ＲＬｃに含まれる全ての画素の輝度の平均値（以下、左後側輝度平均値）を算出する。補正部５４は、対象領域７８ＲＬｂの基準左後側輝度平均値と対象領域７８ＲＬｃの左後側輝度平均値との差分（以下、左後輝度差分）を算出する。補正部５４は、左側撮像画像７０ｃの対象領域７８ＲＬｃに含まれる全ての画素の輝度に左後輝度差分を足すまたは引くことによって、左後側輝度平均値が基準左後側輝度平均値となるように、左側撮像画像７０ｃの対象領域７８ＲＬｃの輝度を補正する。

補正部５４は、補正後の対象領域７８ＦＬｃの左前側輝度平均値と対象領域７８ＲＬｃの左後側輝度平均値とを用いた線形補間によって、対象領域７８ＦＬｃ及び対象領域７８ＲＬｃ以外の左側撮像画像７０ｃ内の領域の輝度を補正する。

補正部５４は、右側撮像画像７０ｄの対象領域７８ＦＲｄに含まれる全ての画素の輝度の平均値（以下、右前側輝度平均値）を算出する。補正部５４は、対象領域７８ＦＲａの基準右前側輝度平均値と対象領域７８ＦＲｄの右前側輝度平均値との差分（以下、右前輝度差分）を算出する。補正部５４は、右側撮像画像７０ｄの対象領域７８ＦＲｄに含まれる全ての画素の輝度に右前輝度差分を足すまたは引くことによって、右前側輝度平均値が基準右前側輝度平均値となるように、右側撮像画像７０ｄの対象領域７８ＦＲｄの輝度を補正する。

補正部５４は、右側撮像画像７０ｄの対象領域７８ＲＲｄに含まれる全ての画素の輝度の平均値（以下、右後側輝度平均値）を算出する。補正部５４は、対象領域７８ＲＲｂの基準右後側輝度平均値と対象領域７８ＲＲｄの右後側輝度平均値との差分（以下、右後輝度差分）を算出する。補正部５４は、右側撮像画像７０ｄの対象領域７８ＲＲｄに含まれる全ての画素の輝度に右後輝度差分を足すまたは引くことによって、右後側輝度平均値が基準右後側輝度平均値となるように、右側撮像画像７０ｄの対象領域７８ＲＲｄの輝度を補正する。

補正部５４は、補正後の対象領域７８ＦＲｄの右前側輝度平均値と対象領域７８ＲＲｄの右後側輝度平均値とを用いた線形補間によって、対象領域７８ＦＲｄ及び対象領域７８ＲＲｄ以外の右側撮像画像７０ｄ内の領域の輝度を補正する。

次に、補正部５４による色差補正処理について説明する。

補正部５４は、一の撮像画像７０に含まれる全ての対象領域７８の色差の平均である撮像画像色差平均値と、他の撮像画像７０に含まれる全ての対象領域７８の色差の平均である撮像画像色差平均値とに基づいて、色差毎に当該撮像画像７０の色差を補正する。

まず、色差のうちＵ値の補正について具体的に説明する。

補正部５４は、撮像画像７０毎（即ち、撮像部１４毎）の色差（ここでは、Ｕ値）の平均値である撮像画像色差平均値を算出する。

具体的には、補正部５４は、撮像部１４ａの前側撮像画像７０ａの全ての対象領域７８ＦＬａ、７８ＦＲａのＵ値を全て足した総和を、対象領域７８ＦＬａ、７８ＦＲａの画素数で除算して、前側撮像画像７０ａのＵ値の平均値である前側撮像画像Ｕ平均値を算出する。

補正部５４は、撮像部１４ｂの後側撮像画像７０ｂの全ての対象領域７８ＲＬｂ、７８ＲＲｂのＵ値を全て足した総和を、対象領域７８ＲＬｂ、７８ＲＲｂの画素数で除算して、後側撮像画像７０ｂのＵ値の平均値である後側撮像画像Ｕ平均値を算出する。

補正部５４は、撮像部１４ｃの左側撮像画像７０ｃの全ての対象領域７８ＦＬｃ、７８ＲＬｃのＵ値を全て足した総和を、対象領域７８ＦＬｃ、７８ＲＬｃの画素数で除算して、左側撮像画像７０ｃのＵ値の平均値である左側撮像画像Ｕ平均値を算出する。

補正部５４は、撮像部１４ｄの右側撮像画像７０ｄの全ての対象領域７８ＦＲｄ、７８ＲＲｄのＵ値を全て足した総和を、対象領域７８ＦＲｄ、７８ＲＲｄの画素数で除算して、右側撮像画像７０ｄのＵ値の平均値である右側撮像画像Ｕ平均値を算出する。

前側撮像画像Ｕ平均値、後側撮像画像Ｕ平均値、左側撮像画像Ｕ平均値、及び、右側撮像画像Ｕ平均値は、撮像画像色差平均値及び撮像画像色値平均値の一例であり、それぞれを区別する必要がない場合、撮像画像Ｕ平均値と記載する。また、Ｖ値の撮像画像色差平均値は、撮像画像Ｖ平均値とする。撮像画像Ｕ平均値及び撮像画像Ｖ平均値を区別する必要がない場合、撮像画像色差平均値と記載する。

補正部５４は、前側撮像画像Ｕ平均値を基準値として、左側撮像画像Ｕ平均値、右側撮像画像Ｕ平均値、及び、後側撮像画像Ｕ平均値が基準値となるように各撮像部１４毎に設定した補正値に基づいて、各撮像画像７０のＵ値を補正する。

具体的には、補正部５４は、基準値である前側撮像画像Ｕ平均値と左側撮像画像Ｕ平均値との差分を、左側の撮像部１４ｃの補正値として算出する。補正部５４は、左側の撮像部１４ｃの左側撮像画像７０ｃの全ての画素のＵ値に当該補正値を足すまたは引くことによって、左側撮像画像Ｕ平均値が、前側撮像画像Ｕ平均値となるように補正する。例えば、補正部５４は、撮像部１４ｃの左側撮像画像Ｕ平均値が撮像部１４ａの前側撮像画像Ｕ平均値よりも低い場合、撮像部１４ｃのＵ値に補正値を足して補正する。補正部５４は、撮像部１４ｃの左側撮像画像Ｕ平均値が撮像部１４ａの前側撮像画像Ｕ平均値よりも高い場合、撮像部１４ｃのＵ値から補正値を引いて補正する。

補正部５４は、基準値である前側撮像画像Ｕ平均値と右側撮像画像Ｕ平均値との差分を、右側の撮像部１４ｄの補正値として算出する。補正部５４は、右側の撮像部１４ｄの右側撮像画像７０ｄの全ての画素のＵ値に当該補正値を足すまたは引くことによって、右側撮像画像Ｕ平均値が、前側撮像画像Ｕ平均値となるように補正する。

補正部５４は、補正後の左側撮像画像Ｕ平均値（または、右側撮像画像Ｕ平均値）と後側撮像画像Ｕ平均値との差分を、後側の撮像部１４ｂの補正値として算出する。補正部５４は、後側の撮像部１４ｂの後側撮像画像７０ｂの全ての画素のＵ値に当該補正値を足すまたは引くことによって、後側撮像画像Ｕ平均値が、左側撮像画像Ｕ平均値（または、右側撮像画像Ｕ平均値）となるように補正する。

これにより、補正部５４は、左側撮像画像Ｕ平均値、右側撮像画像Ｕ平均値、及び、後側撮像画像Ｕ平均値を、基準値である前側撮像画像Ｕ平均値と等しくするように補正する。

同様に、補正部５４は、Ｖ値を補正する。

図５は、第１実施形態の処理部５０が実行する画像生成処理のフローチャートである。処理部５０は、画像生成プログラム５８を読み込むことによって、画像生成処理を実行する。

図５に示すように、処理部５０の補正部５４は、複数の撮像部１４のそれぞれから互いに重複する重複領域７４を含む撮像画像７０を取得する（Ｓ１０２）。換言すれば、補正部５４は、複数の撮像部１４の個数分だけ撮像画像７０を取得する。

補正部５４は、複数の撮像画像７０の輝度を補正する輝度補正処理（第１補正処理）を実行する（Ｓ１０４）。

次に、補正部５４は、複数の撮像画像７０のＵ値及びＶ値を含む色差を補正する色差補正処理（第２補正処理）を実行する（Ｓ１０６）。

生成部５６は、補正部５４が補正した撮像画像７０をつなげて、周辺画像７２を生成する（Ｓ１０８）。

生成部５６は、生成した周辺画像７２を表示部４０へ出力して、表示させる（Ｓ１１０）。この後、処理部５０は、ステップＳ１０２以降を繰り返して、周辺画像７２の生成を繰り返す。

図６は、補正部５４が実行する輝度補正処理のフローチャートである。

図６に示す輝度補正処理では、補正部５４は、前側撮像画像７０ａの対象領域７８ＦＬａ、７８ＦＲａに含まれる輝度のそれぞれの平均値である基準左前側輝度平均値及び基準右前側輝度平均値を算出する（Ｓ２０２）。補正部５４は、後側撮像画像７０ｂの対象領域７８ＲＬｂ、７８ＲＲｂに含まれる輝度のそれぞれの平均値である基準左後側輝度平均値及び基準右後側輝度平均値を算出する（Ｓ２０４）。

補正部５４は、左側撮像画像７０ｃの輝度を補正する（Ｓ２０６）。具体的には、補正部５４は、左側撮像画像７０ｃの対象領域７８ＦＬｃの輝度の平均値である左前側輝度平均値と基準左前側輝度平均値との差分に基づいて、左側撮像画像７０ｃの対象領域７８ＦＬｃの輝度を補正する。補正部５４は、左側撮像画像７０ｃの対象領域７８ＲＬｃの輝度の平均値である左後側輝度平均値と基準左後側輝度平均値との差分に基づいて、左側撮像画像７０ｃの対象領域７８ＲＬｃの輝度を補正する。補正部５４は、補正後の左前側輝度平均値と左後側輝度平均値とを用いた線形補間によって、対象領域７８ＦＬｃ、７８ＲＬｃ以外の左側撮像画像７０ｃの領域の輝度を補正する。

補正部５４は、右側撮像画像７０ｄの輝度を補正する（Ｓ２０８）。具体的には、補正部５４は、右側撮像画像７０ｄの対象領域７８ＦＲｄの輝度の平均値である右前側輝度平均値と基準右前側輝度平均値との差分に基づいて、右側撮像画像７０ｄの対象領域７８ＦＲｄの輝度を補正する。補正部５４は、右側撮像画像７０ｄの対象領域７８ＲＲｄの輝度の平均値である右後側輝度平均値と基準右後側輝度平均値との差分に基づいて、右側撮像画像７０ｄの対象領域７８ＲＲｄの輝度を補正する。補正部５４は、補正後の右前側輝度平均値と右後側輝度平均値とを用いた線形補間によって、対象領域７８ＦＲｄ、７８ＲＲｄ以外の右側撮像画像７０ｄの領域の輝度を補正する。

これにより、補正部５４は、輝度補正処理を終了して、画像生成処理へ戻る。

図７は、補正部５４が実行する色差補正処理のフローチャートである。

図７に示すように、補正部５４は、撮像画像７０毎（または、撮像部１４毎）、かつ、色差毎に、対象領域７８の色差の平均値である撮像画像色差平均値を算出する（Ｓ３０２）。具体的には、補正部５４は、いずれかの撮像画像７０（例えば、前側撮像画像７０ａ）に含まれる全ての対象領域７８（例えば、対象領域７８ＦＬａ、７８ＦＲａ）のＵ値の総和を、当該全ての対象領域７８の画素数で除算して、当該撮像画像７０（例えば、撮像画像７０ａ）のＵ値の撮像画像色差平均値である撮像画像Ｕ平均値（例えば、前側撮像画像Ｕ平均値）を算出する。同様に、補正部５４は、撮像画像７０（例えば、前側撮像画像７０ａ）の撮像画像Ｖ平均値（例えば、前側撮像画像Ｖ平均値）を算出する。上述の処理を繰り返すことによって、補正部５４は、全ての撮像部１４の撮像画像７０の撮像画像Ｕ平均値及び撮像画像Ｖ平均値を算出する。

補正部５４は、左側の撮像部１４ｃの各色差の補正値を算出する（Ｓ３０４）。具体的には、補正部５４は、前側の撮像部１４ａの前側撮像画像７０ａの前側撮像画像Ｕ平均値（即ち、基準値）と、左側の撮像部１４ｃの左側撮像画像７０ｃの左側撮像画像Ｕ平均値との差分を、当該撮像部１４ｃのＵ値の補正値として算出する。補正部５４は、撮像部１４ａの前側撮像画像７０ａの撮像画像Ｖ平均値と、撮像部１４ｃの左側撮像画像７０ｃの撮像画像Ｖ平均値との差分を、当該撮像部１４ｃのＶ値の補正値として算出する。補正部５４は、算出したＵ値及びＶ値の補正値を撮像部１４ｃと関連付けて、記憶部５２に格納する。

補正部５４は、左側撮像画像７０ｃの画素のＵ値及びＶ値に、当該左側撮像画像７０ｃの撮像部１４ｃのＵ値及びＶ値のそれぞれに関連付けられた補正値を足すまたは引くことによって、左側撮像画像７０ｃを補正する（Ｓ３０５）。このように、補正部５４は、左側撮像画像７０ｃの左側撮像画像色差平均値が前側撮像画像７０ａの前側撮像画像色差平均値となるように、左側撮像画像７０ｃを補正する。

補正部５４は、右側の撮像部１４ｄの各色差の補正値を算出する（Ｓ３０６）。具体的には、補正部５４は、前側の撮像部１４ａの前側撮像画像７０ａの前側撮像画像Ｕ平均値と、右側の撮像部１４ｄの右側撮像画像７０ｄの右側撮像画像Ｕ平均値との差分を、撮像部１４ｄのＵ値の補正値として算出する。補正部５４は、撮像部１４ａの前側撮像画像７０ａの撮像画像Ｖ平均値と、撮像部１４ｄの右側撮像画像７０ｄの撮像画像Ｖ平均値との差分を、当該撮像部１４ｃのＶ値の補正値として算出する。補正部５４は、算出したＵ値及びＶ値の補正値を撮像部１４ｄと関連付けて、記憶部５２に格納する。

補正部５４は、右側撮像画像７０ｄの画素のＵ値及びＶ値に、当該右側撮像画像７０ｄの撮像部１４ｄのＵ値及びＶ値のそれぞれに関連付けられた補正値を足すまたは引くことによって、右側撮像画像７０ｄを補正する（Ｓ３０７）。このように、補正部５４は、右側撮像画像７０ｄの右側撮像画像色差平均値が前側撮像画像７０ａの前側撮像画像色差平均値となるように、右側撮像画像７０ｄを補正する。

補正部５４は、後側の撮像部１４ｂの各色差の補正値を算出する（Ｓ３０８）。具体的には、補正部５４は、補正後の左側撮像画像７０ｃ（または、補正後の右側撮像画像７０ｄ）の左側撮像画像Ｕ平均値（または、右側撮像画像Ｕ平均値）と、撮像部１４ｂの後側撮像画像７０ｂの後側撮像画像Ｕ平均値との差分を、当該撮像部１４ｂのＵ値の補正値として算出する。ここで、補正後の左側撮像画像７０ｃの左側撮像画像Ｕ平均値及び補正後の右側撮像画像７０ｄの右側撮像画像Ｕ平均値は、前側撮像画像７０ａの前側撮像画像Ｕ平均値と等しい。従って、補正部５４は、前側撮像画像７０ａの前側撮像画像Ｕ平均値を基準値として、撮像部１４ｂのＵ値の補正値を設定しているといえる。補正部５４は、補正後の左側撮像画像７０ｃ（または、補正後の右側撮像画像７０ｄ）の撮像画像Ｖ平均値と、撮像部１４ｂの後側撮像画像７０ｂの撮像画像Ｖ平均値との差分を、当該撮像部１４ｂのＶ値の補正値として算出する。補正部５４は、算出したＵ値及びＶ値の補正値を撮像部１４ｂと関連付けて、記憶部５２に格納する。

補正部５４は、後側撮像画像７０ｂの画素のＵ値及びＶ値に、当該後側撮像画像７０ｂの撮像部１４ｂのＵ値及びＶ値のそれぞれに関連付けられた補正値を足すまたは引くことによって、後側撮像画像７０ｂを補正する（Ｓ３０９）。このように、補正部５４は、後側撮像画像７０ｂの後側撮像画像色差平均値が前側撮像画像７０ａの前側撮像画像色差平均値となるように、後側撮像画像７０ｂを補正する。

これにより、補正部５４は、色差補正処理を終了して、画像生成処理へ戻る。

上述したように、第１実施形態の画像処理装置２０は、一の撮像画像７０の複数の対象領域７８の撮像画像色差平均値と、他の撮像画像７０の複数の対象領域７８の撮像画像色差平均値とに基づいて、他の撮像画像７０を撮像した撮像部１４の補正値を設定している。このように、画像処理装置２０は、互いに重複している撮像画像７０の複数の対象領域７８の撮像画像色差平均値に基づいて色差を補正することにより、撮像画像７０の全体の輝度の平均値を算出する場合に比べて、補正処理の演算負荷を低減しつつ、撮像画像７０間の色差の違和感を低減して、周辺画像７２の画質を向上することができる。この結果、画像処理装置２０は、特に、重複領域７４の近傍及び周辺画像７２の境界をまたいで、路面等の色が異なる等の画質の劣化を低減できる。

画像処理装置２０は、左側撮像画像７０ｃ及び右側撮像画像７０ｄの撮像画像色差平均値が、前側撮像画像７０ａの撮像画像色差平均値となるように、撮像部１４ｃ、１４ｄの補正値を設定して、撮像画像７０ｃ、７０ｄを補正している。即ち、画像処理装置２０は、前側撮像画像７０ａを基準に、両側の撮像画像７０ｃ、７０ｄを補正している。これにより、画像処理装置２０は、運転者が最も視認する前側撮像画像７０ａを補正することなく、両側の撮像画像７０ｃ、７０ｄを補正して、周辺画像７２を生成する。この結果、画像処理装置２０は、運転者が直接視認している状況と、周辺画像７２内の前側撮像画像７０ａとの差異を小さくして、運転者の違和感を低減することができる。

画像処理装置２０は、後側撮像画像７０ｂの撮像画像色差平均値が、前側撮像画像７０ａの撮像画像色差平均値となるように、撮像部１４ｂの補正値を設定して、撮像画像７０ｂを補正している。即ち、画像処理装置２０は、前側撮像画像７０ａを基準に、後側撮像画像７０ｂを補正している。これにより、画像処理装置２０は、運転者が最も視認する前側撮像画像７０ａを補正することなく、後側撮像画像７０ｂを補正して、周辺画像７２を生成する。この結果、画像処理装置２０は、運転者が直接視認している状況と、周辺画像７２内の前側撮像画像７０ａとの差異を小さくして、運転者の違和感を低減することができる。

尚、上述の実施形態では、前側撮像画像７０ａを基準に撮像画像７０ｃ、７０ｄ、７０ｂを補正する例を挙げたがこれに限定されない。例えば、画像処理装置２０の補正部５４は、車両１０の進行方向を推定または検出して、当該推定または検出した車両１０の進行方向側の撮像画像７０を基準として、他の撮像画像７０を補正してもよい。補正部５４は、シフトレバーのシフトポジション、または、車輪速センサの出力値の方向（または正負）に基づいて、車両１０の進行方向を推定または検出してよい。例えば、補正部５４は、シフトポジションがＤ（即ち、ドライブ）の場合には車両１０が前方に進んでいると判定し、前側撮像画像７０ａを基準として他の撮像画像７０ｃ、７０ｄ、７０ｂを補正してよい。これにより、画像処理装置２０は、より一層運転者が直接視認している状況と、周辺画像７２を合わせることができる。

画像処理装置２０は、撮像画像７０間の輝度の補正と、色差の補正とを異なる方法で行っている。これにより、画像処理装置２０は、輝度と同じ方法で色差を補正した場合にいずれかの撮像画像７０に生じる白とび及び黒つぶれ等を低減することができる。この結果、画像処理装置２０は、撮像部１４の特性及び取り付け位置等に起因する撮像画像７０間の色差のずれを適切に補正して、撮像画像７０をつなげて生成する周辺画像７２の画質を向上させることができる。

画像処理装置２０は、撮像画像７０内の一部の重複領域７４に設定された対象領域７８の撮像画像色差平均値に基づいて、撮像画像７０を補正している。これにより、画像処理装置２０は、撮像画像７０の全体の画素の色差の平均値に基づいて、補正する場合に比べて、演算処理の負荷を低減することができる。

＜第２実施形態＞
次に、上述した色差補正処理を部分的に変更した第２実施形態について説明する。第２実施形態の補正部５４は、予め定められた条件に基づいて、色差の補正（即ち、第２補正）を実行するか否かを判定してよい。

例えば、補正部５４は、対象領域７８の色差の平均値である色差平均値（Ｕ平均値及びＶ平均値）と、予め定められた色差平均閾値とに基づいて、色差の補正を実行するか否かを判定してよい。色差平均閾値は、色値平均閾値の例であって、数値データ６０として記憶部５２に格納されている。

補正部５４は、対象領域７８の色差のばらつきと、予め定められたばらつき閾値とに基づいて、色差の補正を実行するか否かを判定してよい。ばらつき閾値は、数値データ６０として記憶部５２に格納されている。

補正部５４は、一の撮像画像７０に含まれる複数の対象領域７８（例えば、対象領域７８ＦＬａ、７８ＦＲａ）の色差平均値の差分（Ｕ差分またはＶ差分を含む）と、予め定められた差分閾値（Ｕ差分閾値またはＶ差分閾値を含む）とに基づいて、色差の補正を実行するか否かを判定してよい。差分閾値は、数値データ６０として記憶部５２に格納されている。

また、補正部５４は、予め定められた条件の場合、補正値を変更してもよい。

例えば、補正部５４は、色差を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、色差の補正値を上限補正値に変更するか否かを判定してよい。上限補正値は、補正値の上限を示す値であって、数値データ６０として記憶部５２に格納されている。

図８は、第２実施形態の補正部５４が実行する色差補正処理のフローチャートである。第１実施形態と同様のステップには、同じステップ番号を付与して説明を省略する。

図８に示すように、第２実施形態の色差補正処理では、補正部５４は、ステップＳ３５４〜Ｓ３６２までの処理を、対象領域７８の個数分（ここでは、８個分）実施する（Ｓ３５２）。

補正部５４は、複数の対象領域７８のうち、補正の可否を判定するための対象領域７８を設定する（Ｓ３５４）。対象領域７８の設定順序は特に限定されるものではないが、偶数回目に設定される対象領域７８が、１つ前の奇数回目に設定された対象領域７８と同じ撮像画像７０内であればよい。例えば、補正部５４は、対象領域７８ＦＬａを最初に設定して、時計回りに、対象領域７８ＦＲａ、７８ＦＲｄ、・・・、７８ＦＬｃの順序で設定してよい。

補正部５４は、設定した対象領域７８の色差平均値（Ｕ平均値及びＶ平均値）を算出する（Ｓ３５６）。

補正部５４は、色差の補正を実行するか否かを判定する色差平均値判定処理を実行する（Ｓ３５８）。

図９は、補正部５４が実行する色差平均値判定処理のフローチャートである。補正部５４は、色差平均値判定処理によって、撮像画像７０が灰色を含まない場合、即ち、路面を含まない場合の色差の補正値の設定を禁止する。

図９に示すように、色差平均値判定処理では、補正部５４は、対象領域７８のＵ平均値の絶対値が予め定められたＵ平均閾値よりも大きいか否かを判定する（Ｓ４０２）。Ｕ平均閾値は、例えば、Ｕ値が±１２８階調の間の値の場合、“５０”である。

補正部５４は、対象領域７８のＵ平均値の絶対値がＵ平均閾値以下と判定すると（Ｓ４０２：Ｎｏ）、補正部５４は、対象領域７８のＶ平均値の絶対値が予め定められたＶ平均閾値よりも大きいか否かを判定する（Ｓ４０４）。Ｖ平均閾値は、例えば、Ｖ値が±１２８階調の間の値の場合、“５０”である。補正部５４は、対象領域７８のＶ平均値の絶対値がＶ平均閾値以下と判定すると（Ｓ４０４：Ｎｏ）、色差平均値判定処理を終了して、ステップＳ３６０を実行する。

一方、補正部５４は、対象領域７８のＵ平均値の絶対値がＵ平均閾値より大きいと判定すると（Ｓ４０２：Ｙｅｓ）、または、対象領域７８のＶ平均値の絶対値がＶ平均閾値より大きいと判定すると（Ｓ４０４：Ｙｅｓ）、色差の補正をすることなく、画像生成処理を終了する（図８の円内のＡ参照）。

図８に戻って、補正部５４は、色差の補正を実行するか否かを判定する色差ばらつき判定処理を実行する（Ｓ３６０）。

図１０は、補正部５４が実行する色差ばらつき判定処理のフローチャートである。補正部５４は、色差ばらつき判定処理によって、撮像画像７０に白線等を含む場合の色差の補正値の設定を禁止して、当該補正値に起因する擬色を防止する。

図１０に示すように、色差ばらつき判定処理では、補正部５４は、対象領域７８のＵ値の最大値と最小値との差であるＵ値のばらつきを算出する（Ｓ４１２）。補正部５４は、Ｕ値のばらつきが予め定められたＵばらつき閾値よりも大きいか否かを判定する（Ｓ４１４）。Ｕばらつき閾値は、例えば、Ｕ値が２５６階調の場合、“２０”である。

補正部５４は、対象領域７８のＵ値のばらつきがＵばらつき閾値以下と判定すると（Ｓ４１４：Ｎｏ）、対象領域７８のＶ値の最大値と最小値との差であるＶ値のばらつきを算出する（Ｓ４１６）。補正部５４は、Ｖ値のばらつきが予め定められたＶばらつき閾値よりも大きいか否かを判定する（Ｓ４１８）。Ｖばらつき閾値は、例えば、Ｖ値が２５６階調の場合、“２０”である。補正部５４は、対象領域７８のＶ値のばらつきがＶばらつき閾値以下と判定すると（Ｓ４１８：Ｎｏ）、色差ばらつき判定処理を終了して、ステップＳ３６２を実行する。

一方、補正部５４は、対象領域７８のＵ値のばらつきがＵばらつき閾値より大きいと判定すると（Ｓ４１４：Ｙｅｓ）、または、対象領域７８のＶ値のばらつきがＶばらつき閾値より大きいと判定すると（Ｓ４１８：Ｙｅｓ）、色差の補正をすることなく、画像生成処理を終了する（図８の円内のＡ参照）。

図８に戻って、補正部５４は、色差の補正を実行するか否かを一の撮像画像７０内の色差の差分で判定する色差差分判定処理を実行する（Ｓ３６２）。

図１１は、補正部５４が実行する色差差分判定処理のフローチャートである。補正部５４は、色差差分判定処理によって、一の撮像画像７０内の色差が一様でない場合の色差の補正値の設定を禁止する。

図１１に示すように、色差差分判定処理では、補正部５４は、ステップＳ３５２以降のループの回数が偶数回目か否かを判定する（Ｓ４２２）。尚、偶数回目であることは、今回のループのステップＳ３５６で算出された色差平均値と同じ撮像部１４で撮像された撮像画像７０内の他の対象領域７８の色差平均値が算出済みであることを意味する。補正部５４は、偶数回目でないと判定すると（Ｓ４２２：Ｎｏ）、色差差分判定処理を終了して、ステップＳ３５２またはステップＳ３０２を実行する。

補正部５４は、偶数回目であると判定すると（Ｓ４２２：Ｙｅｓ）、一の撮像画像７０内の２つの対象領域７８（例えば、対象領域７８ＦＬａ、７８ＦＲａ）のＵ平均値の差分であるＵ差分を算出する（Ｓ４２４）。補正部５４は、Ｕ差分が予め定められたＵ差分閾値よりも大きいか否かを判定する（Ｓ４２６）。Ｕ差分閾値は、例えば、Ｕ値が２５６階調の場合、“１０”である。

補正部５４は、Ｕ差分が予め定められたＵ差分閾値以下と判定すると（Ｓ４２６：Ｎｏ）、一の撮像画像７０内の２つの対象領域７８（例えば、対象領域７８ＦＬａ、７８ＦＲａ）のＶ平均値の差分であるＶ差分を算出する（Ｓ４２８）。補正部５４は、Ｖ差分が予め定められたＶ差分閾値よりも大きいか否かを判定する（Ｓ４３０）。Ｖ差分閾値は、例えば、Ｖ値が２５６階調の場合、“１０”である。補正部５４は、Ｖ差分が予め定められたＶ差分閾値以下と判定すると（Ｓ４３０：Ｎｏ）、色差差分判定処理を終了して、ステップＳ３５２またはステップＳ３０２を実行する。

一方、補正部５４は、対象領域７８のＵ差分がＵ差分閾値より大きいと判定すると（Ｓ４２６：Ｙｅｓ）、または、対象領域７８のＶ差分がＶ差分閾値より大きいと判定すると（Ｓ４３０：Ｙｅｓ）、色差の補正をすることなく、画像生成処理を終了する（図８の円内のＡ参照）。

図８に戻って、補正部５４は、ステップＳ３５２のループを対象領域７８の個数分実行すると、第１実施形態と同様にステップＳ３０２、Ｓ３０４の処理を実行して、左側の撮像部１４ｃの各色差の補正値を算出する。

補正部５４は、左側の撮像部１４ｃの補正値を算出すると、当該補正値の上限を判定する補正値上限判定処理を実行する（Ｓ３６６）。

図１２は、補正部５４が実行する補正値上限判定処理のフローチャートである。補正部５４は、補正値上限判定処理によって、大きい補正値の補正による色の大きな変化による周辺画像７２の画質の劣化を抑制する。

図１２に示すように、補正値上限判定処理では、補正部５４は、算出した撮像部１４ｃのＵ値の補正値が予め定められたＵ上限値よりも大きいか否かを判定する（Ｓ４４２）。Ｕ上限値は、例えば、Ｕ値が２５６階調の場合、“３５”である。補正部５４は、撮像部１４ｃのＵ値の補正値がＵ上限値よりも大きい場合（Ｓ４４２：Ｙｅｓ）、撮像部１４ｃのＵ値の補正値をＵ上限値に変更する（Ｓ４４４）。補正部５４は、撮像部１４ｃのＵ値の補正値がＵ上限値以下の場合（Ｓ４４２：Ｎｏ）、撮像部１４ｃのＵ値の補正値を変更することなく、維持する。

補正部５４は、算出した撮像部１４ｃのＶ値の補正値が予め定められたＶ上限値よりも大きいか否かを判定する（Ｓ４４６）。Ｖ上限値は、例えば、Ｖ値が２５６階調の場合、“３５”である。補正部５４は、撮像部１４ｃのＶ値の補正値がＶ上限値よりも大きい場合（Ｓ４４６：Ｙｅｓ）、撮像部１４ｃのＶ値の補正値をＶ上限値に変更する（Ｓ４４８）。補正部５４は、撮像部１４ｃのＶ値の補正値がＶ上限値以下の場合（Ｓ４４６：Ｎｏ）、撮像部１４ｃのＶ値の補正値を変更することなく、維持する。

これにより、補正部５４は、補正値上限判定処理を終了する。

図８に戻って、補正部５４は、算出した補正値に基づいて、または、上限値に変更した補正値に基づいて、撮像画像７０ｃの色差を補正する（Ｓ３０５）。

補正部５４は、第１実施形態と同様にステップＳ３０６の処理を実行して、右側の撮像部１４ｄの各色差の補正値を算出すると、当該補正値の上限を判定する補正値上限判定処理を実行する（Ｓ３６８）。ステップＳ３６８の補正値上限判定処理は、対象が右側の撮像部１４ｄの補正値である以外、ステップＳ３６６の補正値上限判定処理と同じなので説明を省略する。

補正部５４は、第１実施形態と同様にステップＳ３０７、Ｓ３０８の処理を実行して、撮像画像７０ｃの色差を補正するとともに、後側の撮像部１４ｂの各色差の補正値を算出する。次に、補正部５４は、後側の撮像部１４ｂの補正値に対して補正値上限判定処理を実行する（Ｓ３７０）。ステップＳ３７０の補正値上限判定処理は、処理の対象が後側の撮像部１４ｂの補正値である以外、ステップＳ３６６の補正値上限判定処理と同じなので説明を省略する。

補正部５４は、算出した補正値に基づいて、または、上限値に変更した補正値に基づいて、撮像画像７０ｂの色差を補正して（Ｓ３０９）、色差補正処理を終了する。

上述したように第２実施形態では、補正部５４が、色差平均値判定処理を実行するので、撮像画像７０が路面を含まない場合等に設定された誤った補正値の設定を禁止して、補正による周辺画像７２の画質の劣化を抑制する。

補正部５４は、色差ばらつき判定処理を実行するので、撮像画像７０に白線等を含む場合の色差の補正値の設定を禁止して、当該補正値に起因する擬色を防止して、補正による周辺画像７２の画質の劣化を抑制する。

補正部５４は、色差差分判定処理を実行するので、一の撮像画像７０内の色差が一様でなく、ばらつきの大きい場合等に設定される誤った補正値の設定を禁止して、誤った補正値による周辺画像７２の画質の劣化を抑制する。

補正部５４は、補正値上限判定処理を実行するので、大きい補正値の補正による色の大きな変化による周辺画像７２の画質の劣化を抑制する。

＜第３実施形態＞
次に、上述した色差補正処理を部分的に変更した第３実施形態について説明する。第３実施形態の補正部５４は、予め定められた対象選択条件に基づいて、色差の補正（即ち、第２補正）を実行する撮像画像７０を選択してよい。

第３実施形態の補正部５４は、撮像画像７０毎（即ち、撮像部１４毎）に対象領域７８の色差（ここでは、Ｕ値及びＶ値）の平均値である撮像画像色差平均値を算出する。具体的には、補正部５４は、撮像部１４ａの前側撮像画像７０ａの全ての対象領域７８ＦＬａ、７８ＦＲａのＵ値を全て足した総和を、対象領域７８ＦＬａ、７８ＦＲａの画素数で除算して、前側撮像画像７０ａのＵ値の平均値である前側撮像画像Ｕ平均値を算出する。同様に、補正部５４は、各撮像画像７０ｂ、７０ｃ、７０ｄの後側撮像画像Ｕ平均値、左側撮像画像Ｕ平均値、及び、右側撮像画像Ｕ平均値を算出する。更に、補正部５４は、各撮像画像７０ａ、７０ｂ、７０ｃ、７０ｄの対象領域７８のＶ値の平均値である前側撮像画像Ｖ平均値、後側撮像画像Ｖ平均値、左側撮像画像Ｖ平均値、及び、右側撮像画像Ｖ平均値を算出する。

補正部５４は、一の撮像画像７０の撮像画像色差平均値と隣接する他の撮像画像７０の撮像画像色差平均値との差分を色差毎に算出する。具体的には、補正部５４は、前側撮像画像Ｕ平均値と左側撮像画像Ｕ平均値との差分である左前Ｕ差分を算出する。補正部５４は、前側撮像画像Ｕ平均値と右側撮像画像Ｕ平均値との差分である右前Ｕ差分、後側撮像画像Ｕ平均値と左側撮像画像Ｕ平均値との差分である左後Ｕ差分、及び、後側撮像画像Ｕ平均値と右側撮像画像Ｕ平均値との差分である右後Ｕ差分を算出する。更に、補正部５４は、撮像画像Ｖ平均値についても各撮像画像７０間の左前Ｖ差分、右前Ｖ差分、左後Ｖ差分及び右後Ｖ差分を算出する。左前Ｕ差分、右前Ｕ差分、左後Ｕ差分及び右後Ｕ差分、左前Ｖ差分、右前Ｖ差分、左後Ｖ差分及び右後Ｖ差分を区別する必要がない場合、Ｕ差分、Ｖ差分または色差差分と記載する。各色差差分は、上述の実施形態における補正値と同じであってよい。

補正部５４は、複数の色差差分と色差閾値との比較に基づいて、色差の補正を実行する撮像画像７０を選択する。色差閾値は、色値閾値の例である。具体的には、補正部５４は、一の撮像画像７０の色差から算出された４個の色差差分の全てが予め定められた色差閾値よりも大きいという対象選択条件を満たし、一の撮像画像７０以外の他の撮像画像７０が対象選択条件を満たさない場合、当該一の撮像画像７０を色差の補正を実行する補正対象として選択する。ここでいう一の撮像画像７０の色差から算出された４個の色差差分は、一の撮像画像７０が一方の側で隣接する撮像画像７０のＵ値及びＶ値との色差差分、及び、一の撮像画像７０が他方の側で隣接する撮像画像７０のＵ値及びＶ値との色差差分を含む。

このように、補正部５４は、隣接する撮像画像７０との両側及び両色差の４個の色差差分の全てが色差閾値よりも大きい撮像画像７０が１個の場合、当該撮像画像７０を補正対象とする。例えば、補正部５４は、左側撮像画像７０ｃのＵ値及びＶ値から算出された左前Ｕ差分、左後Ｕ差分、左前Ｖ差分、及び、左後Ｖ差分の全てが色差閾値よりも大きいという対象選択条件を満たし、左側撮像画像７０ｃ以外の他の撮像画像７０のいずれもが対象選択条件を満たさない場合、左前Ｕ差分、左後Ｕ差分、左前Ｖ差分、及び、左後Ｖ差分を算出する際に用いた左側撮像画像７０ｃのＵ値及びＶ値を補正する。

補正部５４は、補正対象が前側撮像画像７０ａでない場合、上述の実施形態の色差補正処理と同様に前側撮像画像７０ａを基準として補正対象の撮像画像７０の色差を補正してよい。補正部５４は、補正対象が前側撮像画像７０ａの場合、他の撮像画像７０の撮像画像色差平均値の平均値を基準として前側撮像画像７０ａに色差補正処理を実行してよい。

図１３は、第３実施形態の補正部５４が実行する色差補正処理のフローチャートである。上述の実施形態と同様のステップには、同じステップ番号を付与して説明を簡略化または省略する。

図１３に示すように、第３実施形態の色差補正処理において、補正部５４は、撮像画像７０毎に対象領域７８の色差の平均値である撮像画像色差平均値を算出する（Ｓ３０２）。

補正部５４は、隣接する撮像画像７０間の撮像画像色差平均値の差分である色差差分を色差毎に算出する（Ｓ５５２）。具体的には、補正部５４は、４個の撮像画像Ｕ平均値のうち、互いに隣接する撮像画像Ｕ平均値の４個の差分をＵ差分として算出する。補正部５４は、４個の撮像画像Ｖ平均値のうち、互いに隣接する撮像画像Ｖ平均値の４個の差分をＶ差分として算出する。

補正部５４は、色差閾値より大きい色差差分（Ｕ差分及びＶ差分を含む）があるか否かを判定する（Ｓ５５４）。補正部５４は、色差閾値より大きい色差差分がない場合（Ｓ５５４：Ｎｏ）、色差を補正することなく、色差補正処理を終了する。補正部５４は、色差閾値より大きい色差差分がある場合（Ｓ５５４：Ｙｅｓ）、両側の撮像画像７０との両色差の色差差分が全て色差閾値よりも大きい撮像画像７０が１個か否かを色差毎に判定する（Ｓ５５６）。

補正部５４は、両側の撮像画像７０との両色差の色差差分が全て色差閾値よりも大きい撮像画像７０が１個でない場合（Ｓ５５６：Ｎｏ）、色差を補正することなく、色差補正処理を終了する。補正部５４は、両側の撮像画像７０との両色差の色差差分が全て色差閾値よりも大きい撮像画像７０が１個の場合（Ｓ５５６：Ｙｅｓ）、当該撮像画像７０を補正対象として選択する（Ｓ５５８）。即ち、補正部５４は、対象選択条件を満たす撮像画像７０が１個の場合、当該撮像画像７０を補正対象として選択する。

補正部５４は、補正対象の補正値を算出する（Ｓ５６０）。例えば、補正対象が前側撮像画像７０ａ以外の場合、補正部５４は、前側撮像画像７０ａの撮像画像色差平均値と補正対象の撮像画像色差平均値との差分を補正値として算出する。補正対象が前側撮像画像７０ａの場合、補正部５４は、左側撮像画像７０ｃの撮像画像色差平均値と右側撮像画像７０ｄの撮像画像色差平均値との平均値と前側撮像画像７０ａの撮像画像色差平均値との差分を補正値としてよい。

補正部５４は、補正対象の撮像画像７０の色差に補正値を足すまたは引いて、補正対象の色差を補正する（Ｓ５６２）。

上述したように第３実施形態では、補正部５４が、色差差分と色差閾値とを比較して、色差差分が色差閾値よりも大きい撮像画像７０、即ち、他の撮像画像７０に対して色差が大きく異なる撮像画像７０を補正対象として選択している。これにより、補正部５４は、各撮像部１４が個別に実行したホワイトバランスの補正等によって、他の撮像画像７０と色差が大きく異なる撮像画像７０の色差を補正して、他の撮像画像７０との色味等の違いを低減して、他の撮像画像７０との繋がりを向上させることができる。

＜第４実施形態＞
次に、上述した色差補正処理を部分的に変更した第４実施形態について説明する。第４実施形態の補正部５４は、予め定められた補色条件に基づいて、判定対象の撮像画像７０に対する色差を補正（即ち、第２補正）するか否かを判定してよい。

第４実施形態の補正部５４は、撮像部１４から撮像画像７０とともに、撮像部１４が撮像画像７０の補正の基準とする撮像画像７０内の領域である基準領域８２の情報を取得する。ここでいう撮像画像７０の補正は、補色の関係に基づく補正であってよい。補正部５４は、判定対象の撮像画像７０の対象領域７８の色差と撮像画像７０の基準領域８２の色差とが予め定められた補色条件を満たす場合、当該判定対象を補正する。

図１４は、第４実施形態の撮像画像７０内の基準領域８２を説明する図である。図１４に示すように、撮像画像７０は、破線で区切られた複数の単位領域８１を含む。基準領域８２は、ドットハッチングで示すように、複数の単位領域８１のいずれかである。複数の基準領域８２が、撮像画像７０内に設定されていてもよい。基準領域８２は、例えば、車両１０の乗員等によって設定されてもよく、予め定められた条件に基づいて自動で設定されてもよい。基準領域８２は、例えば、撮像部１４がホワイトバランスを補正する場合における測光エリアである。この場合、撮像部１４は、基準領域８２内の色が白色に近づくように補正する。

補正部５４は、撮像部１４から撮像画像７０とともに基準領域８２の情報を取得すると、判定対象の撮像画像７０の基準領域８２の色値の平均値である基準色差平均値と撮像画像色差平均値とが補色条件を満たすか否かによって、当該撮像画像７０の色差を補正するか否かを判定する。図１５は、補色条件による撮像画像７０の判定方法を説明する図である。図１５において、横軸であるＸ軸はＵ値を示し、縦軸であるＹ軸はＶ値を示す。即ち、図１５はＵＶ座標系を示す。

補正部５４は、補色条件に基づく判定において、ターゲット位置Ｔ（ｘ_ｔ，ｙ_ｔ）をＵＶ座標上に設定する。ターゲット位置のＸ座標ｘ_ｔは判定対象の撮像画像７０の対象領域７８の撮像画像Ｕ平均値である。ターゲット位置のＹ座標ｙ_ｔは判定対象の撮像画像７０の対象領域７８の撮像画像Ｖ平均値である。

補正部５４は、原点を対称点とする点対称な位置に反転位置Ａ（ｘ_ａ，ｙ_ａ）を算出する。補正部５４は、式（１）に示すように、ターゲット位置Ｔ（ｘ_ｔ，ｙ_ｔ）の各座標の符号を反転させて反転位置Ａ（ｘ_ａ，ｙ_ａ）を算出してよい。

補正部５４は、反転位置Ａ（ｘ_ａ，ｙ_ａ）と原点とを通る直線を、原点の周りで両側に許可角度θだけ回転させて、補正するか否かを判定するための補正許可範囲をＵＶ座標上に設定する。許可角度θの一例は、３０°から４０°であってよい。具体的には、補正部５４は、次の式（２）に基づいて、原点を中心として、反転位置Ａ（ｘ_ａ，ｙ_ａ）を両側に許可角度θだけ回転させた正側許可位置Ｂ（ｘ_ｂ，ｙ_ｂ）及び負側許可位置Ｃ（ｘ_ｃ，ｙ_ｃ）を算出する。補正部５４は、原点を中心とする周方向において、原点と正側許可位置Ｂ（ｘ_ｂ，ｙ_ｂ）とを通る直線と、原点と負側許可位置Ｃ（ｘ_ｃ，ｙ_ｃ）とを通る直線との間を補正許可範囲として設定する。

補正部５４は、基準領域８２の色差の平均値である基準色差平均値（ここでは基準Ｕ平均値及び基準Ｖ平均値を含む）に基づいて、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）を算出する。具体的には、補正部５４は、基準領域８２の各画素のＵ値を積算し、積算した値を画素数で割って基準Ｕ平均値を算出する。補正部５４は、基準領域８２の各画素のＶ値を積算し、積算した値を画素数で割って基準Ｖ平均値を算出する。補正部５４は、算出した基準Ｕ平均値及び基準Ｖ平均値をそれぞれ判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）のＸ座標及びＹ座標として設定する。複数の基準領域８２が撮像画像７０に設定されている場合、補正部５４は基準領域８２毎に判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）を算出する。

補正部５４は、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）とターゲット位置Ｔ（ｘ_ｔ，ｙ_ｔ）とがほぼ補色関係か否かを、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）が補正許可範囲か否かに基づいて判定する。具体的には、補正部５４は、次の式（３）に基づいて、第１算出値α、第２算出値β、第１判定値φ及び第２判定値γを算出する。尚、式（３）では、反転位置Ａ（ｘ_ａ，ｙ_ａ）、正側許可位置Ｂ（ｘ_ｂ，ｙ_ｂ）、負側許可位置Ｃ（ｘ_ｃ，ｙ_ｃ）及び判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）をＺ成分が“０”の三次元ベクトルとみなす。補正部５４は、第１算出値α及び第２算出値βをベクトルの外積によって算出する。従って、第１算出値α及び第２算出値βは、Ｘ方向及びＹ方向の成分が“０”で、Ｚ方向の成分のみを有するベクトルとなる。補正部５４は、第１判定値φ及び第２判定値γをベクトルの内積によって算出する。ここで、判定位置Ｅ（ｘｅ，ｙｅ）の方向が正側許可位置Ｂ（ｘ_ｂ，ｙ_ｂ）と負側許可位置Ｃ（ｘ_ｃ，ｙ_ｃ）との間の方向である場合、第１算出値αのＺ成分及び第２算出値βのＺ成分は、互いに正負が逆になる。従って、判定位置Ｅ（ｘｅ，ｙｅ）の方向が正側許可位置Ｂ（ｘ_ｂ，ｙ_ｂ）と負側許可位置Ｃ（ｘ_ｃ，ｙ_ｃ）との間の方向である場合、第１判定値φは、第１算出値αのＺ成分と第２算出値βのＺ成分とを掛けた負のスカラーとなる。

補正部５４は、次の式（４）を満たす場合、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）が補正許可範囲内であるとし、補色条件を満たすとして、判定対象である当該撮像画像７０を補正する。複数の基準領域８２を含む撮像画像７０の場合、補正部５４は、式（４）を満たす基準領域８２が閾値個数以上であれば、当該撮像画像７０を補正してもよい。閾値個数は予め設定された条件に基づいて設定されてよい。例えば、閾値個数は、予め固定された値であってもよく、基準領域８２の個数に応じて設定された値（例えば、基準領域８２の個数の半分）であってもよい。

補正部５４は、式（４）を満たすとともに、原点から判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）までの距離Ｄｅが予め定められた距離条件を満たす場合、当該撮像画像７０が補正許可範囲内として補正してもよい。例えば、補正部５４は、距離Ｄｅが原点から反転位置Ａ（ｘ_ａ，ｙ_ａ）までの距離Ｄａを含む次の式（５）に示す距離条件を満たす場合、当該撮像画像７０を補正してもよい。換言すれば、補正部５４は、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）が原点から距離Ｄａ／λより離れていれば、撮像画像７０を補正する。尚、λは予め定められた値であって、例えば、“２”であってよい。

補正部５４は、補正対象とした撮像画像７０の色差を上述の実施形態と同様に補正値を算出して補正する。

図１６は、第４実施形態の補正部５４が実行する色差補正処理のフローチャートである。上述の実施形態と同様のステップには、同じステップ番号を付与して説明を簡略化または省略する。

図１６に示すように、第４実施形態の色差補正処理では、補正部５４は、ステップＳ３０２を実行した後、補正するか否かを判定する判定対象として撮像画像７０のいずれかを設定する（Ｓ６７０）。尚、補正部５４は、前側撮像画像７０ａを基準に他の撮像画像７０の色差を補正する場合、前側撮像画像７０ａ以外の撮像画像７０から判定対象を選択してよい。

補正部５４は、補正の判定対象である撮像画像７０の撮像画像Ｕ平均値及び撮像画像Ｖ平均値に基づいてターゲット位置Ｔ（ｘ_ｔ，ｙ_ｔ）をＵＶ座標上に設定する（Ｓ６７２）。補正部５４は、式（１）に基づいて、ターゲット位置Ｔ（ｘ_ｔ，ｙ_ｔ）の正負を反転させた反転位置Ａ（ｘ_ａ，ｙ_ａ）を算出する（Ｓ６７４）。補正部５４は、式（２）及び反転位置Ａ（ｘ_ａ，ｙ_ａ）に基づいて正側許可位置Ｂ（ｘ_ｂ，ｙ_ｂ）及び負側許可位置Ｃ（ｘ_ｃ，ｙ_ｃ）を算出して、補正許可範囲をＵＶ座標上に設定する（Ｓ６７６）。

補正部５４は、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）を算出する（Ｓ６７８）。具体的には、補正部５４は、撮像部１４から取得した撮像画像７０及び基準領域８２の情報に基づいて、基準領域８２のＵ値及びＶ値の平均値である基準Ｕ平均値及び基準Ｖ平均値を算出する。補正部５４は、基準Ｕ平均値及び基準Ｖ平均値を判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）のＸ座標及びＹ座標として設定する。

補正部５４は、判定対象の撮像画像７０を補正するか否かを判定する（Ｓ６８０）。具体的には、補正部５４は、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）が補正許可範囲か否かで、判定対象を補正するか否かを判定する。この場合、補正部５４は、反転位置Ａ（ｘ_ａ，ｙ_ａ）、正側許可位置Ｂ（ｘ_ｂ，ｙ_ｂ）、負側許可位置Ｃ（ｘ_ｃ，ｙ_ｃ）及び判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）を用いた式（３）に基づいて判定値φ、γを算出する。補正部５４は、原点から判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）及び反転位置Ａ（ｘ_ａ，ｙ_ａ）までの距離Ｄｅ、Ｄａを算出する。補正部５４は、判定値φ、γが式（４）を満たすか否か及び距離Ｄｅ、Ｄａが式（５）満たすか否かに基づいて、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）が補正許可範囲か否かを判定して、判定対象を補正するか否かを判定する。

補正部５４は、判定値φ、γ及び距離Ｄｅ、Ｄａが式（４）及び式（５）の少なくとも一方を満たさず、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）が補正許可範囲でない場合、判定対象の撮像画像７０を補正しないと判定する（Ｓ６８０：Ｎｏ）。この場合、補正部５４は、判定対象の撮像画像７０の色差を補正することなく、ステップＳ６８６以降を実行する。

補正部５４は、判定値φ、γ及び距離Ｄｅ、Ｄａが式（４）及び式（５）を満たし、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）が補正許可範囲である場合、当該撮像画像７０の色差を補正すると判定する（Ｓ６８０：Ｙｅｓ）。

補正部５４は、補正対象の撮像画像７０の色差の補正値を算出する（Ｓ６８２）。具体的には、補正部５４は、前側撮像画像７０ａを基準とする場合、前側撮像画像７０ａのＵ値及びＶ値と、補正対象の撮像画像７０のＵ値及びＶ値との差分を、Ｕ値及びＶ値の補正値として算出する。

補正部５４は、補正対象の撮像画像７０の色差を補正値に基づいて補正する（Ｓ６８４）。具体的には、補正部５４は、補正対象の撮像画像７０のＵ値及びＶ値に、算出した補正値を足すまたは引くことによって、補正対象を補正する。

補正部５４は、全撮像画像７０を判定対象として判定したか否かを判定する（Ｓ６８６）。尚、前側撮像画像７０ａを色差の補正の基準とする場合、補正部５４は、判定対象に前側撮像画像７０ａを含めなくてよい。補正部５４は、全撮像画像７０を判定対象としていないと判定すると（Ｓ６８６：Ｎｏ）、ステップＳ６７０以降を繰り返す。補正部５４は、全撮像画像７０を判定対象としたと判定すると（Ｓ６８６：Ｙｅｓ）、色差補正処理を終了する。

上述したように第４実施形態では、補正部５４が、対象領域７８と基準領域８２との補色関係に基づいて、判定対象の撮像画像７０を補正するか否かを判定している。これにより、補正部５４は、複数の撮像部１４のそれぞれが基準領域８２の色差の補色関係に基づいて補正することによって他の撮像画像７０に対して対象領域７８の色味等に違和感が生じた撮像画像７０を補正対象として選択することができる。この結果、補正部５４は、当該補正対象の撮像画像７０の色差を補正することによって、他の撮像画像７０に対する色味等の違和感を低減し、他の撮像画像７０との繋がりを向上させることができる。

例えば、撮像部１４が撮像画像７０内の基準領域８２の色差を補色関係に基づいてホワイトバランスの補正を実行した場合、基準領域８２と補色の関係にある対象領域７８の色差平均値はＵＶ空間において原点から離れる。これにより、対象領域７８の色味等が他の撮像画像７０に対して異なるので、当該撮像部１４によって補正された撮像画像７０は他の撮像画像７０に対して違和感を生じさせる。従って、補正部５４は、基準領域８２と対象領域７８とがほぼ補色の関係にある撮像画像７０を補正の対象とすることで、撮像部１４の補正によって生じた他の撮像画像７０に対する色味等の違和感を低減できる。

＜第５実施形態＞
次に、第３実施形態及び第４実施形態を組み合わせた第５実施形態について説明する。図１７は、第５実施形態の補正部５４が実行する色差補正処理のフローチャートである。上述の実施形態と同様のステップには、同じステップ番号を付与して説明を簡略化または省略する。

図１７に示すように、第５実施形態の色差補正処理において、補正部５４は、ステップＳ３０２、Ｓ５５２、Ｓ５５４を実行した後、両側の撮像画像７０との両色差の色差差分が全て色差閾値よりも大きい撮像画像７０が１個か否かを色差毎に判定する（Ｓ５５６）。

補正部５４は、両側の撮像画像７０との両色差の色差差分（Ｕ差分及びＶ差分を含む）が全て色差閾値よりも大きい撮像画像７０が１個でない場合（Ｓ５５６：Ｎｏ）、色差を補正することなく、色差補正処理を終了する。

補正部５４は、両側の撮像画像７０との両色差の色差差分が全て色差閾値よりも大きい撮像画像７０が１個の場合（Ｓ５５６：Ｙｅｓ）、当該撮像画像７０を判定対象として設定する（Ｓ６７０）。

補正部５４は、ステップＳ６７２、Ｓ６７４、Ｓ６７６、Ｓ６７８を実行した後、判定対象の撮像画像７０を補正するか否かを判定する（Ｓ６８０）。補正部５４は、判定対象の撮像画像７０を補正すると判定すると（Ｓ６８０：Ｙｅｓ）、当該補正対象を補正するための補正値を算出する（Ｓ６８２）。

補正部５４は、補正対象の撮像画像７０の色差を補正値に基づいて補正すると（Ｓ６８４）、色差補正処理を終了する。尚、第５実施形態では、判定対象となる撮像画像７０は多くても１個なので、補正部５４はステップＳ６８６を実行しない。

第５実施形態は第３実施形態及び第４実施形態を組み合わせた構成を有するので、第３実施形態及び第４実施形態の効果を奏することができる。具体的には、第５実施形態では、補正部５４が、撮像画像７０間の色差の差分に基づいて撮像画像７０のいずれかを判定対象として選択し、当該判定対象を補正するか否かを対象領域７８及び基準領域８２の色差の補色関係に基づいて判定している。これにより、補正部５４は、ホワイトバランスの補正のように補色の関係に基づく補正によって他の撮像画像７０と色味等が異なった撮像画像７０の色差を補正して、他の撮像画像７０に対する色味等の違和感を低減できる。

上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。

上述の実施形態では、画像生成処理毎に補正値を算出する例を示したが、これに限定されない。例えば、複数回の画像生成処理の間に一度、補正値を算出するようにしてもよく、情報処理装置３６の起動時等のみ補正値を算出するようにしてもよい。

上述の実施形態では、重複領域７４の一部に設定した対象領域７８を輝度及び色差の補正をするための領域とした例を挙げたが、対象領域７８は、重複領域７４の全体に広げて、重複領域７４と一致させてもよい。

上述の第２実施形態では、色差平均値判定処理、色差ばらつき判定処理、色差差分判定処理、及び、補正値上限判定処理の全てを実行する例を挙げたが、これに限定されない。例えば、画像処理装置２０は、これらの判定処理のうち、１または複数の判定処理を実行するようにしてもよい。

上述の実施形態では、移動体の例として車両１０を挙げたが、これに限定されない。例えば、移動体は、飛行機、船、二輪車等であってもよい。

上述の実施形態では、補正部５４が、前側撮像画像色差平均値と、左右両側及び後側の撮像画像色差平均値との差分に基づいて、色差（または色値）を補正する例を挙げたが、これに限定されない。例えば、補正部５４が、前側撮像画像色差平均値に対する左右両側及び後側の撮像画像色差平均値の比率に基づいて、色差を補正してもよい。この場合、補正部５４は、撮像画像の色差（または色値）を当該比率で割ることによって、色差を補正してよい。

上述の実施形態では、色値の例として、色差を挙げたが、色値はこれに限定されない。色値は、各色の程度を表す値であればよく、例えば、ＲＧＢ表示における各色（赤色、青色、緑色）の明度（または輝度）等であってもよい。

上述の第１実施形態から第３実施形態では、補正部５４が、左側撮像画像色差平均値、右側撮像画像色差平均値、及び、後側撮像画像色差平均値を、前側撮像画像色差平均値と等しくするように補正する例を挙げたが、これに限定されない。例えば、補正部５４は、左側撮像画像色差平均値、右側撮像画像色差平均値、及び、前側撮像画像色差平均値を、後側撮像画像色差平均値と等しくするように補正してもよい。即ち、補正部５４は、一の撮像画像色差平均値を基準として、当該一の撮像画像色差平均値と、他の撮像画像色差平均値とを等しくするように補正してよい。

上述の実施形態では、補正部５４が複数の重複領域７４を含む撮像画像７０を補正する例を挙げて説明したが、これに限定されない。例えば、補正部５４は、１つだけ重複領域７４を含む複数の撮像画像７０を上述の実施形態の方法に基づいて、補正してもよい。

上述の第４実施形態及び第５実施形態では、補正部５４は、式（４）及び式（５）を満たす場合、判定対象の撮像画像７０を補正したが、補正するか否かを判定する条件はこれに限定されない。例えば、補正部５４は、式（４）を満たした場合、即ち、式（５）に関係なく、判定対象の撮像画像７０を補正してもよい。また、判定値φ、γが０の場合、補正部５４は、判定対象を補正すると判定してもよい。

上述の第４実施形態において、補正部５４は、ターゲット位置Ｔ（ｘ_ｔ，ｙ_ｔ）の反対側に設定した反転位置Ａ（ｘ_ａ，ｙ_ａ）に基づいて補正許可範囲を設定し、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）が当該補正許可範囲内か否かで判定対象を補正するか否かを判定したが、補正するか否かの判定方法はこれに限定されない。例えば、補正部５４は、判定位置Ｅ（ｘ_ｅ，ｙ_ｅ）の反対側に設定した反転位置Ａ（ｘ_ａ，ｙ_ａ）に基づいて補正許可範囲を設定し、ターゲット位置Ｔ（ｘ_ｔ，ｙ_ｔ）が補正許可範囲内か否かに基づいて判定対象を補正するか否かを判定してよい。

１０…車両
１４…撮像部
２０…画像処理装置
３６…情報処理装置
５０…処理部
５４…補正部
５６…生成部
７０…撮像画像
７２…周辺画像
７４…重複領域
７８…対象領域

Claims (10)

1. 移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、
   一の前記撮像画像の前記重複領域に設定された対象領域の色値の平均値である撮像画像色値平均値と、他の前記撮像画像の前記重複領域に設定された前記対象領域の撮像画像色値平均値とに基づいて補正した前記複数の撮像画像をつなげて周辺画像を生成する処理部と、
   を備える画像処理装置。
2. 前記複数の撮像部は、前記移動体の前側、及び、側部に設けられ、
   前記処理部は、前記前側の前記撮像部の前記撮像画像の前記撮像画像色値平均値を基準値として、前記側部の前記撮像部の前記撮像画像の前記撮像画像色値平均値が基準値となるように、前記側部の前記撮像部の前記撮像画像を補正する、
   請求項１に記載の画像処理装置。
3. 前記複数の撮像部のいずれかは、前記移動体の後側に設けられ、
   前記処理部は、前記前側の前記撮像部の前記撮像画像の前記撮像画像色値平均値が前記基準値となるように、前記後側の前記撮像部の前記撮像画像を補正する、
   請求項２に記載の画像処理装置。
4. 前記処理部は、前記対象領域の前記色値の平均値と、予め定められた色値平均閾値とに基づいて、前記色値の補正を実行するか否かを判定する
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記処理部は、前記対象領域の前記色値のばらつきと、予め定められたばらつき閾値とに基づいて、前記色値の補正を実行するか否かを判定する
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記処理部は、一の前記撮像画像に含まれる複数の前記対象領域の前記色値の平均値の差分と、予め定められた差分閾値とに基づいて、前記色値の補正を実行するか否かを判定する
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記処理部は、前記色値を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、前記色値の補正値を前記上限補正値に変更するか否かを判定する
   請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記処理部は、一の前記撮像画像の前記撮像画像色値平均値と隣接する他の前記撮像画像の前記撮像画像色値平均値との差分と、予め定められた色値閾値との比較に基づいて、前記色値の補正を実行する前記撮像画像を選択する
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記処理部は、一の前記撮像画像の前記撮像画像色値平均値と隣接する他の前記撮像画像の前記撮像画像色値平均値との差分の全てが前記色値閾値よりも大きい対象選択条件を満たし、一の前記撮像画像以外の前記撮像画像が前記対象選択条件を満たさない場合、一の前記撮像画像に前記色値の補正を実行する
   請求項８に記載の画像処理装置。
10. 前記処理部は、前記撮像部が前記撮像画像の補正の基準とする前記撮像画像内の基準領域の前記色値の平均値と、前記撮像画像の前記撮像画像色値平均値とが、予め定められた補色条件を満たすか否かに基づいて、前記撮像画像の前記色値を補正するか否かを判定する
    請求項１から９のいずれか１項に記載の画像処理装置。

Images