JP2019186620A - 画像処理装置 - Google Patents

Abstract

【課題】複数の画像を繋ぎ合わせて周辺画像を表示する場合に、画像内容の認識がしやすく、画像を繋いでいることによる違和感を軽減できる画像処理装置を提供する。【解決手段】複数の撮像部で撮像された、被撮像領域が一部重複する複数の画像情報を取得する取得部と、車両を挟んで離間する一対の被撮像領域のうち一方である第一の被撮像領域と隣接する第二の被撮像領域とが重なる第一の重複領域に含まれる第一の関心領域の輝度を補正する第一の補正値と、第一の被撮像領域と隣接する第三の被撮像領域とが重なる第二の重複領域に含まれる第二の関心領域の輝度を補正する第二の補正値と、を所定の値によって設定する第一の設定部と、第一の補正値と第二の補正値を用いて、第一の被撮像領域における第一の関心領域と第二の関心領域との間の領域の輝度を補正する個別補正値を設定する第二の設定部と、を含む。【選択図】図３

Description

本発明の実施形態は、画像処理装置に関する。

従来、車両に設けられた複数の撮像部（カメラ）により車両周囲の状況をそれぞれ異なる方向で撮像し、撮像した複数の画像の画像処理（例えば視点変換）を行うとともに、各画像を繋げて周辺画像（例えば俯瞰画像）を生成する画像処理装置が知られている。このような画像処理装置においては、撮像部の取付位置や撮像（撮影）方向、撮影時間帯、前照灯の点灯の有無、撮像部ごとの絞り調整の程度差等により各撮像部で撮像される画像に明るさ（輝度）にずれが生じる場合がある。その結果、繋ぎ合わせて生成した周辺画像が方向によって明るさが異なり、繋ぎ合わせた位置で輝度差が目立ち、違和感のある画像になってしまう場合があった。そこで、複数の画像の平均輝度に基づき全画面の輝度を補正したり、前方の画像について四箇所の輝度平均値を算出して他の画像の輝度を調整したり、前後の画像の輝度平均値を用いて側方の画像の輝度を補正したりする等の技術が提案されている。

特許第５４６４７４１号公報 特許第５６８４１４４号公報 特許第６１１５１０４号公報

しかしながら、上述した技術においては、基準とする画像が暗すぎたり、逆に明るすぎたりする場合、その影響が他の画像の輝度の補正量に影響し、例えば、全体が暗い画像に補正されたり、全体が明る過ぎる画像に補正されたりする場合がある。いずれの場合も、本来表示される画像内容（例えば、物体や区画線等）が認識し難くなり、また違和感が残り適切な周辺画像の表示ができない場合があった。したがって、複数の画像を繋ぎ合わせて周辺画像を表示する場合に、画像内容の認識がしやすく、画像を繋いでいることによる違和感を軽減できる画像処理装置が提供できれば有意義である。

本発明の実施形態にかかる画像処理装置は、例えば、車両に設けられた複数の撮像部で、上記車両の周辺状況として撮像された、被撮像領域が一部重複する複数の画像情報を取得する取得部と、上記車両を挟んで離間する一対の上記被撮像領域のうち一方である第一の被撮像領域と当該第一の被撮像領域に隣接する一対の上記被撮像領域のうち一方である第二の被撮像領域とが重なる第一の重複領域に含まれる第一の関心領域の輝度を補正する第一の補正値と、上記第一の被撮像領域と当該第一の被撮像領域に隣接する他方の上記被撮像領域である第三の被撮像領域とが重なる第二の重複領域に含まれる第二の関心領域の輝度を補正する第二の補正値と、を所定の値によって設定する第一の設定部と、上記第一の補正値と上記第二の補正値を用いて、上記第一の被撮像領域における上記第一の関心領域と上記第二の関心領域との間の領域の輝度を補正する個別補正値を設定する第二の設定部と、を含む。この構成によれば、例えば、第一の被撮像領域と繋ぎ合わせられる第二の被撮像領域および第三の被撮像領域とが、所定の値によって同様に補正される。したがって、第一の被撮像領域に対して、第二の被撮像領域と第三の被撮像領域とが同様な態様で輝度調整される。その結果、第一の被撮像領域に対して第二の被撮像領域および第三の被撮像領域が滑らかに繋ぎ合わせられる。また、第一の重複部分と第二の重複部分との間の輝度を各重複部分の輝度の補正値（第一の補正値、第二の補正値）に基づき設定するので、その間の部分（中間部分）の輝度変化が滑らかになり、極端に暗い部分や極端に明るい部分の発生が抑制できる。その結果、複数の画像を繋ぎ合わせた場合でも認識しやすい周辺画像を生成することができる。

本発明の実施形態にかかる画像処理装置の上記第一の設定部は、例えば、上記第一の関心領域の輝度と上記第二の関心領域の輝度が、上記所定の値として定めた目標輝度になるような上記第一の補正値と上記第二の補正値で補正してもよい。この構成によれば、例えば、各画像が繋ぎ合わせられる重複領域の輝度が、予め定められた目標輝度になるため、各画像の繋ぎ合わせが滑らかになるとともに、各画像の中間部分の輝度が目標輝度から徐々に変化し、また同じ目標輝度に戻るように変化する。したがって、中間部分の輝度が目標輝度から大きく乖離することが抑制できる。その結果、明るすぎたり、逆に暗すぎたりする補正が抑制され、全体として認識しやすい周辺画像を生成することができる。

本発明の実施形態にかかる画像処理装置の上記第一の設定部は、例えば、上記第一の関心領域の輝度と上記第二の関心領域の輝度との少なくとも一方に基づいて決定した上記第一の関心領域の第一の補正値と上記第二の関心領域の第二の補正値のそれぞれに、上記所定の値として定めた調整値を加算してもよい。この構成によれば、例えば、決定した補正値（第一の補正値や第二の補正値）による補正後の輝度が暗すぎて、画像全体が暗くなってしまう場合、所定の値としての調整値を用いて、輝度を一括増加する（底上げする）ことができる。その結果、周辺画像が全体として暗くなってしまう（暗すぎる）ことが抑制できる。

本発明の実施形態にかかる画像処理装置の上記第二の設定部は、例えば、上記個別補正値を、上記第一の補正値と上記第二の補正値との間を線形補間する補間式に基づいて算出する場合、上記補間式の傾きが大きい程、当該傾きを減少させるように設定してもよい。この構成によれば、例えば、輝度が極端に大きく修正されることが抑制され、不自然に明るくなりすぎたり、暗くなりすぎたりすることが防止され、認識しやすい周辺画像の生成ができる。

本発明の実施形態にかかる画像処理装置の上記第二の設定部は、例えば、上記個別補正値に対して補正上限値を設定し、輝度の補正量が増加するのに伴い、当該補正量が上記補正上限値に収束するように上記個別補正値を設定してもよい。この構成によれば、例えば、輝度が極端に大きく修正されることが抑制され、不自然に明るくなりすぎたり、暗くなりすぎたりすることが防止され、認識しやすい周辺画像の生成ができる。

本発明の実施形態にかかる画像処理装置の上記第二の設定部は、例えば、上記個別補正値を、上記第一の補正値と上記第二の補正値とを含む直線補間式により算出した補正値にしたがい設定してもよい。この構成によれば、輝度補正処理の負荷を軽減することができる。

本発明の実施形態にかかる画像処理装置の上記第二の設定部は、例えば、第一の関心領域の輝度に対して第一の目標輝度となる曲線式として算出された第一のγ曲線の第一の係数と、第二の関心領域の輝度に対して第二の目標輝度となる曲線式として算出された第二のγ曲線の第二の係数と、に基づく直線補間式により算出した補正値にしたがい上記個別補正値を設定してもよい。この構成によれば、例えば、γ曲線式は、輝度を２５６階調で表現した場合の最低輝度値「０」と最高輝度値「２５５」を必ず含む曲線であるため、γ曲線の係数を用いることにより、輝度の補正は最低輝度値と最高輝度値との間に行われ、画像が黒つぶれ（暗すぎる補正）や白飛び（明るすぎる補正）が抑制できる。その結果、黒つぶれや白飛び等の情報欠如の抑制が可能で、認識しやすい周辺画像の生成ができる。

図１は、実施形態にかかる画像処理装置を搭載可能な車両の一例を示す模式的な平面図である。 図２は、実施形態にかかる画像処理装置を含む画像処理システムの構成の例示的なブロック図である。 図３は、実施形態にかかる画像処理装置のＣＰＵの構成の例示的なブロック図である。 図４は、各撮像部により撮像される被撮像領域とその重複領域を説明する俯瞰的な模式図である。 図５は、実施形態にかかる画像処理装置で処理対象とする元画像の輝度分布と関心領域（ＲＯＩ：Region of Interest）の設定位置の一例を示す模式図である。 図６は、実施形態にかかる画像処理装置において、固定の目標輝度を用いて輝度修正を行う場合の処理の流れの一例を説明するフローチャートである。 図７は、実施形態にかかる像処理装置の処理の一部を例示的に説明する図であり、車両の前方の被撮像領域の関心領域の輝度を固定の目標輝度に補正し、その補正に対応する直線補間式を示す模式図である。 図８は、図７の直線補間式により設定された輝度による補正が実行される場合を説明する図であり、車両の前方の被撮像領域の補正前後の輝度状態の変化例を示す模式図である。 図９は、実施形態にかかる画像処理装置の処理の一部を例示的に説明する図であり、車両の側方の被撮像領域の関心領域の輝度を固定の目標輝度に補正し、その補正に対応する直線補間式を示す模式図である。 図１０は、車両の周囲の被撮像領域に対して輝度補正を行った場合に生成される周辺画像の輝度状態の一例を示す模式図である。 図１１は、実施形態にかかる画像処理装置において、輝度の補正を行う場合に用いる直線補間式の傾きが大きすぎる例を示す模式図である。 図１２は、図１１の場合に、直線補間式の傾きの補正例を説明する模式図である。 図１３は、実施形態にかかる画像処理装置において、輝度の補正を行うとき補正量が大きすぎる場合に、補正上限値に基づき補正量の制限を行う例を示す模式図である。 図１４は、γ曲線の係数を用いた輝度の線形補間を説明する場合の入力輝度と出力輝度の関係の一例を示す模式図である。 図１５は、γ曲線の係数を用いた輝度の線形補間を説明する場合の入力輝度と出力輝度の他の関係の例を示す模式図である。 図１６は、図１４および図１５のγ曲線の係数を用いて生成した線形補間式を示す模式図である。 図１７は、実施形態にかかる画像処理装置において、所定の値（固定値）を用いて、直線補間式の補正（底上げ補正）を行い、輝度補正を行う場合の処理の流れの一例を説明するフローチャートである。 図１８は、図１７に示す画像処理を行う際に、補正前の直線補間式の例を説明する図であり、車両の前方の被撮像領域の関心領域の目標輝度を一対の関心領域の平均値を用いて決定する場合を説明する模式図である。 図１９は、図１８に示す直線補間式を所定の値（調整値）によって補正（底上げ補正）する例を示す模式図である。 図２０は、図１９に示す補正後の直線補間式による前方の被撮像領域の輝度設定および同様な方法による後方の被撮像領域の輝度設定の後に、側方の被撮像領域の輝度設定を行う例を説明する模式図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１は、本実施形態の画像処理装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ〜１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ、画像情報）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（被撮像領域）を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定され得る。よって、撮像部１４は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（例えば、歩行者、車両等）を含む車両１０の外部の周辺状況を逐次撮影し、撮像画像データとして出力する。

撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像（前方の被撮像領域）を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像（左側方の被撮像領域）を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像（右側方の被撮像領域）を撮像可能である。また、撮像部１４ｄは、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｄの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｄ）を含む後方画像（後方の被撮像領域）を撮像可能である。

本実施形態の画像処理装置は、複数の撮像部１４で得られた撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。なお、各撮像部１４が撮像する撮像画像データ（画像）には、互いに重複する重複領域が設けられ、画像を繋ぎ合わせるときに欠落領域が生じないようにしている。例えば、撮像部１４ａの撮像した撮像画像データの車幅方向左側の端部領域と撮像部１４ｂが撮像した撮像画像データの車両前後方向のうち前方側の端部領域とが重複する。そして、二つの画像を繋げる（合成する）処理が実行される。同様に、前方画像と右側方画像、左側方画像と後方画像、後方画像と右側方画像についても重複領域が設けられて二つの画像を繋げる（合成する）処理が実行される。

図２は、車両１０に搭載される画像処理装置を含む画像処理システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図２に例示されるように、画像処理システム１００（画像処理装置）は、撮像部１４（１４ａ〜１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic control unit）が含まれる。画像処理システム１００（画像処理装置）では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。

ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central processing unit）や、ＲＯＭ２４ｂ（read only memory）、ＲＡＭ２４ｃ（random access memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid state drive、フラッシュメモリ）等を有している。

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、図３に示すような各種モジュールを備え、表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、処理の一例として、撮像部１４が撮像した撮像画像データに補正処理や演算処理、画像処理等を実行して、複数の画像を繋ぎ合わせた周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ２４ａの詳細は後述する。

ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示させる表示用の画像のデータ変換等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示装置１６に表示する画像の画像生成処理を司る。ＥＣＵ２４は、撮像部１４が撮像した撮像画像データ（画像）に画像処理、例えば視点変換処理等を施して表示装置１６に表示させる際に、画像の輝度補正を行う。ＥＣＵ２４は、前後左右の画像を繋ぎ合わせた場合に、輝度差による画像間の連続性が低下する不都合や部分的または全体的に画像が明るくなりすぎたり、逆に暗すぎたりすることを抑制し、画像全体（繋ぎ合わせることで生成する周辺画像、俯瞰画像）の視認性が低下することを抑制する。

図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａにおいて、本実施形態の画像処理を実現するための構成の例示的なブロック図である。なお、ＣＰＵ２４ａにおいて、本実施形態の画像処理を実行する以外の構成は図示を省略している。ＣＰＵ２４ａは、上述したような輝度補正を含む画像処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図３に示されるように、取得部２８、関心領域設定部３０、第１設定部３２（第一の設定部）、第２設定部３４（第二の設定部）等を備える。また、第１設定部３２は、固定値設定部３２ａ、固定値加算設定部３２ｂ等を含む。また、第２設定部３４は、線形補間部３４ａ、傾き設定部３４ｂ、γ曲線係数算出部３４ｃ、輝度設定部３４ｄ等を含む。

取得部２８は、各撮像部１４が撮像した画像を表示制御部２４ｄを介して取得する。各撮像部１４(１４ａ〜１４ｄ)は、図４に示すような被撮像領域３６を撮像可能である。そして、各被撮像領域３６は、前述したように隣接する被撮像領域３６とそれぞれ一部が重なった重複領域３８を含む。被撮像領域３６のうち車両１０の前方の被撮像領域３６Ｆの車幅方向左側と車両１０の左側方の被撮像領域３６ＳＬの車両前方側とは、重複領域３８ＦＬを形成する。被撮像領域３６のうち被撮像領域３６ＳＬの車両後方側と車両１０の後方の被撮像領域３６Ｒの車幅方向左側とは、重複領域３８ＲＬを形成する。被撮像領域３６のうち被撮像領域３６Ｒの車幅方向右側と車両１０の右側方の被撮像領域３６ＳＲの車両後方側とは、重複領域３８ＲＲを形成する。そして、被撮像領域３６のうち被撮像領域３６ＳＲの車両前方側と被撮像領域３６Ｆの車幅方向右側とは、重複領域３８ＦＲを形成する。各撮像部１４は、撮像した撮像画像データに撮像部１４ごとの識別符号を添付して取得部２８に出力してもよいし、取得部２８側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。

なお、本実施形態において、例えば、被撮像領域３６Ｆに直目した処理を行う場合、車両１０を挟んで離間する一対の被撮像領域３６（例えば、被撮像領域３６Ｆと被撮像領域３６Ｒ）のうち一方（例えば被撮像領域３６Ｆ）を第一の被撮像領域と称する場合がある。また、第一の被撮像領域に隣接する一対の被撮像領域３６（例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲ）のうち一方を第二の被撮像領域（例えば、被撮像領域３６ＳＬ）と称する場合がある。そして、第一被撮像領域と第二被撮像領域とが重なる重複領域３８（重複領域３８ＦＬ）を第一の重複領域と称する場合がある。同様に、第一の被撮像領域に隣接する一対の被撮像領域３６（例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲ）のうち他方を第三の被撮像領域（例えば、被撮像領域３６ＳＲ）と称する場合がある。そして、第一被撮像領域と第三被撮像領域とが重なる重複領域３８（重複領域３８ＦＲ）を第二の重複領域と称する場合がある。なお、車両１０を挟んで離間する一対の被撮像領域３６を例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲとすることもできる。この場合、第二の被撮像領域は、被撮像領域３６Ｆと被撮像領域３６Ｒとのいずれか一方、第三の被撮像領域が他方となる。

関心領域設定部３０は、図５に示すように、取得部２８が取得した被撮像領域３６の重複領域３８ごとに、輝度調整を行う際に参照する関心領域４０(４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）を設定する。関心領域４０は、車両１０の車幅方向および前後方向に所定の長さを持つ、例えば矩形の領域で、関心領域４０の輝度とは、関心領域４０に含まれる各画素の輝度の例えば平均値である。また、本実施形態において関心領域４０の位置を特定する場合、その位置は、例えば関心領域４０の中心位置（車幅方向および前後方向の中点）とする。

なお、各撮像部１４は、撮像時に自動的に絞り調整（ゲイン調整）が行われ、各被撮像領域３６の明るさ調整（輝度調整）が成される。その結果、被撮像領域３６に明るい領域が多く存在する場合、絞り値が大きくなり、明るさが抑えられた暗めの画像が撮像される。逆に被撮像領域３６に暗い領域が多く存在する場合、絞り値が小さくなり、明るさが向上された明るめの画像が撮像される。したがって、図５に示すように、例えば重複領域３８ＦＬに含まれる関心領域４０ＦＬにおいて、被撮像領域３６Ｆ側の関心領域４０ＦＬに対応する部分と被撮像領域３６ＳＬ側の関心領域４０ＦＬに対応する部分で、明るさ（輝度）が異なる場合がある。例えば、図５において、輝度を０〜２５５の２５６階調（「０」が暗く、「２５５」が明るい）で表した場合、例えば、重複領域３８ＦＬに含まれる関心領域４０ＦＬの場合、被撮像領域３６Ｆ側の輝度は、「２５０」で明るく、被撮像領域３６ＳＬ側の輝度は、「１００」で被撮像領域３６Ｆ側より暗い。なお、図５において、「１００」等で標記された数字が輝度を示す。また、別の図においては、関心領域４０の中に標記された数字が輝度を表す場合もある。なお、関心領域設定部３０は、関心領域４０の設定位置を予め定めた位置に設定してもよいし、被撮像領域３６の輝度分布に応じて設定位置を変更するようにしてもよい。

第１設定部３２は、関心領域４０の輝度を所定の値によって補正する。例えば、車両１０を挟んで離間する一対の被撮像領域３６（例えば被撮像領域３６Ｆと被撮像領域３６Ｒ）のうち一方である第一の被撮像領域（例えば被撮像領域３６Ｆ）を考える。第１設定部３２は、第一の被撮像領域（例えば被撮像領域３６Ｆ）と、当該第一の被撮像領域に隣接する一対の被撮像領域３６のうち一方である第二の被撮像領域(例えば被撮像領域３６ＳＬ)と、が重なる第一の重複領域（例えば重複領域３８ＦＬ）に含まれる第一の関心領域（例えば関心領域４０ＦＬ）の輝度を補正する。同様に、第１設定部３２は、第一の被撮像領域（例えば被撮像領域３６Ｆ）と当該第一の被撮像領域に隣接する他方の被撮像領域３６である第三の被撮像領域（例えば被撮像領域３６ＳＲ）とが重なる第二の重複領域(例えば重複領域３８ＦＲ)に含まれる第二の関心領域（関心領域４０ＦＲ）の輝度を補正する。同様に、第１設定部３２は、関心領域４０ＲＬおよび関心領域４０ＲＲの輝度を補正する。

本実施形態の場合、第１設定部３２は関心領域４０の輝度を所定の値によって補正する場合、例えば二種類の方法によって行うことができる。例えば、固定値設定部３２ａは、所定の値として定めた目標輝度になるような補正値を決定して、輝度の補正を行う。固定値設定部３２ａは、例えば、予め実験等で導き出した、周囲の明暗環境に拘わらず、最も視認性がよいとされる目標輝度（例えば、２５６階調の「２００」）に関心領域４０の輝度がなるような補正値を用いて補正を行う。

また、第１設定部３２に含まれる固定値加算設定部３２ｂは、被撮像領域３６に含まれる関心領域４０の輝度を補正するための目標輝度を算出した場合、目標輝度に所定の値として定めた調整値を加算することで、被撮像領域３６の輝度を一律に底上げ補正する。例えば、被撮像領域３６Ｆの場合、車幅方向左側の関心領域４０ＦＬの輝度が「１５０」と車幅方向右側の関心領域４０ＦＲの輝度が「１００」であった場合、少なくとも一方の輝度を用いて、目標輝度を決める。例えば、関心領域４０ＦＬと関心領域４０ＦＲとの平均の輝度「１２５」を目標輝度とする。この目標輝度で補正を行った場合、被撮像領域３６Ｆ全体の明るさが足りないと判定した場合には、所定の値として定めた調整値を加算する。例えば、予め実験等により定めた調整値である「調整輝度値＝５０」を加算して、被撮像領域３６Ｆ全体の明るさを一律に底上げする。なお、固定値設定部３２ａ、固定値加算設定部３２ｂによる補正の具体的な例は後述する。

第２設定部３４は、隣り合う関心領域４０のそれぞれの補正値に基づいて、その間の輝度を設定する。例えば、被撮像領域３６Ｆの車幅方向左側の関心領域４０ＦＬを第一の関心領域とした場合、例えば、固定値設定部３２ａによって設定された固定の目標輝度に補正する補正値を第一の補正値とする。同様に、被撮像領域３６Ｆの車幅方向右側の関心領域４０ＦＲを第二の関心領域とした場合、例えば、固定値設定部３２ａによって設定された固定の目標輝度に補正する補正値を第二の補正値とする。この場合、線形補間部３４ａは、第一の補正値と第二の補正値とを用いて、線形補間を行うための例えば直線補間式（第一の補正値と第二の補正値とを結ぶ直線）を生成する。そして、生成した線形補間式(例えば直線補間式)に基づいて、二つの関心領域４０の間領域の輝度を補正する。

傾き設定部３４ｂは、線形補間部３４ａで生成した線形補間式の傾きが所定の制限値以上の場合に、直線補間式の傾きを補正する。例えば、隣接する関心領域４０の一方の輝度が固定値設定部３２ａで設定した目標輝度から大きく乖離していた場合、線形補間部３４ａが生成する直線補間式の傾きは大きくなる。その結果、例えば関心領域４０の周辺で、関心領域４０より暗い部分も関心領域４０の輝度の補正の影響を受けてより明るい方向に補正されてしまうことがある。その結果、必要以上に輝度が高くなるような補正が行われ、いわゆる「白飛び」してしまう場合がある。傾き設定部３４ｂは、線形補間部３４ａで生成した線形補間式の傾きを予め設定した曲線によって補正する。この曲線は、例えば、線形補間式の傾きが制限値より小さい場合は補正なしとし、傾きが所定以上の場合に傾きを減少補正するような特性を備える。なお、この曲線は、傾きが制限値よりさらに大きな限界値以上になった場合、傾きが予め設定した所定の値（固定値）となるような特性を備えてもよい。

線形補間部３４ａは、一例として、隣接する二つの関心領域４０に対する補正値を直線で結ぶことで、直線補間式を生成する。この場合、補正値によっては、中間部分の輝度補正において、補正量が小さすぎて画像の「黒つぶれ」が生じたり、逆に補正量が大きすぎたりして画像の「白飛び」が生じてしまう場合がる。そこで、γ曲線係数算出部３４ｃは、第一の関心領域（例えば、関心領域４０ＦＬ）の輝度に対して第一の目標輝度となる曲線式として算出された第一のγ曲線の第一の係数を算出する。同様に、γ曲線係数算出部３４ｃは、第二の関心領域（例えば（関心領域４０ＦＲ）の輝度に対して第二の目標輝度となる曲線式として算出された第二のγ曲線の第二の係数を算出する。そして、γ曲線係数算出部３４ｃは、算出した第一の係数と第二の係数に基づく線形補間式（直線補間式）を生成し、この線形補間式により算出した補正値（γ曲線係数）にしたがい第一の関心領域と第二の関心領域との間の領域の輝度を設定する。この場合、γ曲線式は、輝度を２５６階調で表す場合の最低輝度値「０」と最高輝度値「２５５」を必ず含む曲線であるため、γ曲線の係数を用いることにより、画像の黒つぶれ（暗すぎる補正）や白飛び（明るすぎる補正）を発生しにくくすることができる。その結果、黒つぶれや白飛び等の情報欠如の抑制が可能で、認識しやすい周辺画像の生成ができる。

輝度設定部３４ｄは、線形補間部３４ａで生成された線形補間式（例えば、直線補間式）に基づき、第一の関心領域（例えば、関心領域４０ＦＬ）と第二の関心領域（例えば、関心領域４０ＦＲ）の間の領域の輝度を補正する個別補正値を設定する。輝度設定部３４ｄは、線形補間部３４ａで生成された線形補間式が、車両１０の前方の被撮像領域３６Ｆに関する線形補間式である場合、この線形補間式にしたがい、被撮像領域３６Ｆにおける車両前後方向の領域に関しても同様に輝度補正を行う。したがって、被撮像領域３６Ｆの場合、車両前後方向の領域は、同様な補正値（補正量）で輝度の補正が実行される。

図３のＣＰＵ２４ａの構成は、一例であり、例えば、第１設定部３２において、所定の値による補正（固定値設定部３２ａや固定値加算設定部３２ｂ）は、いずれか一方を選択できるようにしてもよい。また、いずれか一方を固定で利用する場合は、固定値設定部３２ａと固定値加算設定部３２ｂのいずれか一方を省略した構成としてもよい。また、第２設定部３４において、線形補間部３４ａが関心領域４０の補正値によってのみ線形補間式を形成する場合には、γ曲線係数算出部３４ｃを省略した構成としてもよい。

このように構成される画像処理システム１００（画像処理装置）の処理の一例について、図６のフローチャートおよび図１〜図５に加え図７〜図１６を用いて説明する。

図６のフローチャートを用いて、固定値設定部３２ａにより所定の値として、予め設定された目標輝度が設定される場合に実行される輝度補正について説明する。

まず、ＣＰＵ２４ａは、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ１００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定となる。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ１００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ１０２）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ１００のＮｏ）、一旦、図６のフローを終了する。

続いて、関心領域設定部３０は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ１０４）。各被撮像領域３６の関心領域４０における輝度が例えば、図５で示すような場合、固定値設定部３２ａは、各関心領域４０に対して、所定の値として定めた目標輝度（例えば、２５６階調で「２００」）を設定するとともに（Ｓ１０６）、関心領域４０の輝度が目標輝度（例えば「２００」）になるように補正するための補正値を設定する（Ｓ１０８）。図７は、車両１０の前方の被撮像領域３６Ｆの輝度を補正する例である。被撮像領域３６Ｆの場合、車幅方向（Ｘ軸方向）左側の関心領域４０ＦＬの輝度が２５６階調で「２５０」であり、車幅方向右側の関心領域４０ＦＲの輝度が２５６階調で「１５０」となっている例である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、被撮像領域３６Ｆにおいて、関心領域４０ＦＬは、輝度値Ｍとして「−５０」の補正値が設定され、関心領域４０ＦＲは、「＋５０」の補正値が設定される。

線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝−５０）と、関心領域４０ＦＲの補正値（Ｎ＝＋５０）を用いて、直線補間式４２（４２Ｆ）を生成する（Ｓ１１０）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｆで算出される補正値（個別補正値）に基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度を補正（設定）する。同様に、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正値で設定（補正）する（Ｓ１１２）。その結果、図８に示すように、補正前の被撮像領域３６Ｆは、車幅方向左側（関心領域４０ＦＬの部分）の輝度が例えば「２５０」から「２００」に暗くなるように補正され、車幅方向右側（関心領域４０ＦＲの部分）の輝度が例えば「１５０」から「２００」に明るくなるように補正される。

ＣＰＵ２４ａは、上述のような補正処理が全画面に対して完了したか否かを監視する（Ｓ１１４）。そして、補正処理が完了していない場合（Ｓ１１４のＮｏ）、Ｓ１０２に戻り、関心領域設定部３０、第１設定部３２、第２設定部３４は、上述した処理を、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲに対して実行する。

例えば、関心領域設定部３０、第１設定部３２、第２設定部３４は、車両１０の後方の被撮像領域３６Ｒに対して上述と同様な処理を実行する。その結果、補正前の被撮像領域３６Ｒは、車幅方向左側（関心領域４０ＲＬの部分）の輝度が「５０」から「２００」に明るくなるように補正され、車幅方向右側（関心領域４０ＲＲの部分）の輝度が「５０」から「２００」に明るくなるように補正される。

同様に、関心領域設定部３０、第１設定部３２、第２設定部３４は、図９に示すように、車両１０の左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲについても同様な補正を行う。例えば、被撮像領域３６ＳＬの場合、車両前後方向（Ｚ軸方向）の前方側の関心領域４０ＦＬの輝度が２５６階調で「１００」であり、後方側の関心領域４０ＲＬの輝度が２５６階調で「５０」である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、第１設定部３２において、関心領域４０ＦＬは、輝度値Ｍとして「＋１００」の補正値が設定され、後方側の関心領域４０ＲＬは、「＋１５０」の補正値が設定される。線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝＋１００）と、関心領域４０ＲＬの補正値（Ｎ＝＋１５０）を用いて、直線補間式４２Ｌを生成する。同様に、被撮像領域３６ＳＲの場合、車両前後方向（Ｚ軸方向）の前方側の関心領域４０ＦＲの輝度が２５６階調で「１００」であり、後方側の関心領域４０ＲＲの輝度が２５６階調で「５０」である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、第１設定部３２において、関心領域４０ＦＲは、輝度値Ｍとして「＋１００」の補正値が設定され、後方側の関心領域４０ＲＲは、「＋１５０」の補正値が設定される。線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＲの補正値（Ｎ＝＋１００）と、関心領域４０ＲＲの補正値（Ｎ＝＋１５０）を用いて、直線補間式４２Ｒを生成する。

その結果、被撮像領域３６ＳＬにおける関心領域４０ＦＬと関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示され、被撮像領域３６ＳＲにおける関心領域４０ＦＲと関心領域４０ＲＲとの間の車両前後方向（Ｚ軸方向）の輝度の個別補正量が直線補間式４２Ｒによって示される。そして、輝度設定部３４ｄは、直線補間式４２Ｌに基づき、関心領域４０ＦＬと関心領域４０ＲＬの間の領域の輝度および、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な個別補正量で補正する。また、輝度設定部３４ｄは、直線補間式４２Ｒに基づき、関心領域４０ＦＲと関心領域４０ＲＲの間の領域の輝度および、被撮像領域３６ＳＲにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な個別補正量で補正する。

ＣＰＵ２４ａは、全ての画像（被撮像領域３６Ｆ、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの画像）に対して補正処理が完了すると（Ｓ１１４のＹｅｓ）、表示制御部２４ｄを用いて、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成して、表示装置１６に表示させて（Ｓ１１６）、次の処理周期でＳ１００からの処理を繰り返すことで周辺画像の更新を行う。この場合、図１０に示すように、各関心領域４０（４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）の輝度が２５６階調で「２００」となり、各被撮像領域３６（３６Ｆ，３６ＳＬ，３６Ｒ，３６ＳＲ）を繋ぎ合わせが滑らかに行われた周辺画像４４を生成することができる。また、各関心領域４０の間の輝度も直線補間式４２によって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像４４のいずれの部分でも画像内容の認識がしやすくなる。

ところで、隣接する関心領域４０の輝度差が元々大きい場合がある。例えば、図１１に示すように、屋外で日差しが強い場合に、車両１０の周囲の一部に自車の濃い影４６が存在する場合がある。この場合、影４６に含まれない関心領域４０ＲＬの輝度（例えば、２５６階調で「１８０」）と影４６に含まれる関心領域４０ＲＲの輝度（例えば、２５６階調で「操作入力部２０」）とで輝度の差が大きい場合がある。このような場合に、上述した場合と同様に、固定値設定部３２ａが目標輝度を「２００」に設定すると、関心領域４０ＲＬに対する補正値は「＋２０」となるのに対して、関心領域４０ＲＲに対する補正値は「＋１８０」となる。その結果、線形補間部３４ａが直線補間式４２を生成すると、図１１に示すように、傾きが大きな直線補間式４２が生成されてしまう場合がある。この場合、関心領域４０ＲＲの周辺で、関心領域４０ＲＲより明るい領域４８も関心領域４０ＲＲの輝度の補正の影響を受けてより明るい方向に補正されてしまうことがある。その結果、関心領域４０ＲＲより明るい領域４８が、いわゆる「白飛び」してしまう場合がある。そこで、傾き設定部３４ｂは、線形補間部３４ａで生成した直線補間式４２の傾きを、図１２に示すような予め設定した曲線５０によって補正する。この曲線５０は、例えば、直線補間式４２の傾きが所定の制限値未満の場合は、「通常ゾーン」とし傾き補正なしとし、傾きが所定の制限値以上の場合は、「制限ゾーン」として、傾きを減少補正する。また、曲線５０は、傾きが制限値より大きな所定の限界値以上になった場合には、補正後の傾きが予め設定した所定の値（固定値）となるような補正を行う。

直線補間式４２の傾きが所定の制限値以上の場合に、その傾きを曲線５０によって補正することで、関心領域４０ＲＲより明るい領域４８に対する輝度補正が緩和され、「白飛び」を抑制することができる。また、傾きを限界値（固定値）で補正することにより、それ以上の輝度増加が生じないようにすることができる。なお、この場合、本来明るく補正されることで、滑らかな輝度変化を実現しているものに対して、補正の制限を加えることになるので、輝度変化の滑らかさが低減するが、「白飛び」が抑制できるので、画像内容の認識性向上に寄与できる。なお、曲線５０の形状や制限値や限界値（固定値）は、予め実験等により周囲の輝度とのバランス等を考慮し適宜決定することができる。また、曲線５０は、周囲の輝度とのバランス等を考慮して、線形補間部３４ａで算出するようにしてもよい。

また、別の実施形態においては、輝度設定部３４ｄは、直線補間式４２に基づいて関心領域４０ＲＬと関心領域４０ＲＲの間の領域の輝度を補正する補正値（個別補正値）を設定する場合、補正値に制限を加えてもよい。例えば、図１３に示すように、補正値に対して補正上限値Ｍａｘを設定し、直線補間式４２にしたがい、輝度の補正量が増加するのに伴い、設定する個別補正量が補正上限値Ｍａｘに収束するようにする。この場合も、関心領域４０ＲＲより明るい領域４８に対する輝度補正が緩和され、「白飛び」を抑制することができる。なお、補正上限値Ｍａｘは、予め固定値で設定してもよいし、算出した直線補間式４２の傾きに応じて、設定してもよい。

また、上述したように、固定値設定部３２ａ等で設定された目標輝度によって、隣接する二つの関心領域４０の補正値を直線で結んで直線補間式４２を生成する場合、処理負荷を増大させることなく、輝度修正を行うことができるというメリットがある反面、補正値によっては、中間部分の輝度補正において、補正量が小さすぎる場合に画像の「黒つぶれ」が生じた入り、逆に大きすぎる場合に、画像の「白飛び」が生じてしまう場合がる。そこで、本実施形態の場合、輝度の補正の際にγ補正を利用するようにし得る。例えば、車両１０の前方の被撮像領域３６Ｆにおいて、関心領域４０ＦＬ（第一の関心領域）と、関心領域４０ＦＲ（第二の関心領域）を考える。関心領域４０ＦＬの輝度（領域内の平均輝度）が２５６階調の「１５０」であり、関心領域４０ＦＲの輝度が「１００」であり、固定値設定部３２ａにより設定された目標輝度が２５６階調で「１２５」であったとする。この場合、目標輝度にするためには、関心領域４０ＦＬは、「−２５」の補正値が必要で、関心領域４０ＦＲは、「＋２５」の補正値が必要となる。

そこで、γ曲線係数算出部３４ｃは、関心領域４０ＦＬについて、図１４に示すように、横軸を入力輝度Ｙ_０、縦軸を出力輝度Ｙ_１Ｌとした場合の第一のγ曲線５２Ｌを算出する。この場合、γ曲線係数算出部３４ｃは、第一のγ曲線５２Ｌとして、最低値（最低輝度）の座標ｐ＝（０，０）と、最高値（最高輝度）の座標ｑ＝（２５５，２５５）と、を通るととともに、入力輝度Ｙ_０に対して出力輝度Ｙ_１Ｌが「−２５」となる座標ｒとの三点を通る曲線（Ｙ_１Ｌ＝Ｙ_０ ^１/γ１）を算出する。そして、γ曲線係数算出部３４ｃは、第一の係数として、「γ１」を算出する。この場合、第一のγ曲線５２Ｌは、出力輝度Ｙ_１Ｌ＝入力輝度Ｙ_０となる直線５４に対して下に凸の曲線となる。同様に、γ曲線係数算出部３４ｃは、関心領域４０ＦＲについて、図１５に示すように、第二のγ曲線５２Ｒとして、最低値（最低輝度）の座標ｐ＝（０，０）と、最高値（最高輝度）の座標ｑ＝（２５５，２５５）と、を通るととともに、入力輝度Ｙ_０に対して出力輝度Ｙ_１Ｒが「＋２５」となる座標ｓとの三点を通る曲線（Ｙ_１Ｒ＝Ｙ_０ ^１/γ２）を算出する。そして、γ曲線係数算出部３４ｃは、第二の係数として、「γ２」を算出する。この場合、第二のγ曲線５２Ｒは、出力輝度Ｙ_１Ｒ＝入力輝度Ｙ_０となる直線５４に対して上に凸の曲線となる。

線形補間部３４ａは、γ曲線係数算出部３４ｃが算出したγ曲線係数γ１およびγ２を用いて、直線補間式５６を生成する。図１６は、縦軸をγ曲線係数、横軸を車幅方向の輝度補正対象の位置座標とした図であり、関心領域４０ＦＬの中心座標をＸ１として場合にγ曲線係数が「γ１」となり、関心領域４０ＦＲの中心座標をＸ２として場合に、γ曲線係数が「γ２」となる場合の、直線補間式５６（γ＝ａＸ＋ｂ）である。したがって、輝度設定部３４ｄは、直線補間式５６に基づき関心領域４０ＦＬと関心領域４０ＦＲの間の位置の補正対象の位置に対応するγ曲線係数を算出し、入力輝度Ｙ_０（元画像の輝度）と出力輝度Ｙ_１との関係を示すＹ_１＝Ｙ_０ ^１/γに、算出したγ曲線係数と補正対象の位置の輝度（元画像の輝度値、入力輝度Ｙ_０）を代入する。その結果、一対の関心領域４０の間の領域の補正後の輝度（出力輝度Ｙ_１）を算出することができる。このような補正を他の画像においても実行することにより、画像が黒つぶれ（暗すぎる補正）や白飛び（明るすぎる補正）を発生しにくい、情報欠如の抑制が可能で、認識しやすい周辺画像を生成できる。

次に、画像処理システム１００（画像処理装置）の処理の他の例について、図１７のフローチャートおよび図１８〜図２０を用いて説明する。

図１７のフローチャートを用いて、固定値加算設定部３２ｂにより、線形補間式の補正を所定の値により行い、輝度補正（輝度の底上げ補正）を実行する場合について説明する。

まず、ＣＰＵ２４ａは、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ２００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定とある。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ２００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ２０２）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ２００のＮｏ）、一旦、図１７のフローを終了する。

続いて、関心領域設定部３０は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ２０４）。続いて、固定値加算設定部３２ｂは、例えば、車両１０の前方の被撮像領域３６Ｆについて、設定された車幅方向の二つの関心領域４０（関心領域４０ＦＬと関心領域４０ＦＲ）の輝度（関心領域４０内の平均輝度）の平均値を算出し被撮像領域３６Ｆの目標輝度とする（Ｓ２０６）。例えば、図１８に示すように、被撮像領域３６Ｆの車幅方向（Ｘ軸方向）左側の関心領域４０ＦＬの輝度が２５６階調の「１５０」であり、右側の関心領域４０ＦＲの輝度が２５６階調で「１００」であるとする。この場合、固定値加算設定部３２ｂは、「１２５」を目標輝度に設定し、関心領域４０ＦＬおよび関心領域４０ＦＲの輝度が目標輝度（例えば「１２５」）になるように補正するための補正値を設定する（Ｓ２０８）。図１８の場合、被撮像領域３６Ｆにおいて、関心領域４０ＦＬは、輝度値Ｍとして「−２５」の補正値が設定され、関心領域４０ＦＲは、「＋２５」の補正値が設定される。

線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝−２５）と、関心領域４０ＦＲの補正値（Ｎ＝＋２５）を用いて、直線補間式４２を生成する（Ｓ２１０）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。

ところで、この例の場合、目標輝度は、補正対象の被撮像領域３６に含まれる二箇所の関心領域４０（例えば、関心領域４０ＦＬと関心領域４０ＦＲ）の輝度の平均値により決定され、直線補間式４２が生成されている。そのため、目標輝度が低すぎる、つまり、輝度補正処理を実行したにも拘わらず、補正後の画像が十分に明るくない場合がある。そこで、固定値加算設定部３２ｂは、直線補間式４２によって補正される輝度が予め設定された輝度（下限輝度）より低く、増加調整が必要であると判定した場合（Ｓ２１２のＹｅｓ）、固定値加算設定部３２ｂは所定の値（調整値）による補正を実行する（Ｓ２１４）。例えば、Ｓ２０８で設定した補正値に予め定めた調整値（例えば、調整輝度値＝５０）を加算する。すなわち、図１９に示すように、関心領域４０ＦＬの輝度と関心領域４０ＦＲの輝度の平均値によって定められた目標輝度（例えば「１２５」）になるような補正値（「−２５」および「＋２５」）のそれぞれに、調整輝度値＝５０を加算する。言い換えれば、直線補間式４２をそのまま輝度値＋５０となるように増加方向にシフトして、直線補間式４２ａを生成する。輝度設定部３４ｄは、直線補間式４２ａに基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度および、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正量で設定（補正）する（Ｓ２１６）。この場合、被撮像領域３６Ｆの輝度は、一律に「＋５０」だけ底上げされ、明るい画像となる。なお、Ｓ２１２において、直線補間式４２によって補正される輝度が予め設定された輝度（下限輝度）以上の場合、増加調整の必要はないと判定し（Ｓ２１２のＮｏ）、Ｓ２１４の処理をスキップする。

第１設定部３２は、車両１０の前方の被撮像領域３６Ｆおよび後方の被撮像領域３６Ｒの輝度補正が完了したか否かの監視を行い（Ｓ２１８）、完了していない場合（Ｓ２１８のＮｏ）、Ｓ２０４に戻り、同様な処理を実行する。一方、車両１０の前方の被撮像領域３６Ｆおよび後方の被撮像領域３６Ｒの輝度補正が完了している場合（Ｓ２１８のＹｅｓ）、第１設定部３２は、車両１０の側方の被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの輝度補正のために、関心領域４０の設定を行う（Ｓ２２０）。そして、第１設定部３２は、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの関心領域４０の輝度を既に輝度補正が完了している被撮像領域３６Ｆおよび被撮像領域３６Ｒの関心領域４０の輝度を目標輝度として設定する（Ｓ２２２）。

例えば、図２０に示されるように、被撮像領域３６Ｆにおける関心領域４０ＦＬの補正後の輝度が「１７５」で、被撮像領域３６ＳＬの関心領域４０ＦＬの補正前（撮像時の輝度）が「１００」の場合、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＦＬの目標輝度を「１７５」に設定する（Ｓ２２２）。つまり、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＦＬの補正値として「＋７５」を設定する（Ｓ２２４）。一方、被撮像領域３６Ｒにおける関心領域４０ＲＬの補正後の輝度が「１００」で、被撮像領域３６ＳＬの関心領域４０ＲＬの補正前（撮像時の輝度）が「５０」の場合、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＲＬの目標輝度を「１００」に設定する（Ｓ２２２）。つまり、被撮像領域３６ＳＬの関心領域４０ＲＬの補正値は「＋５０」となる（Ｓ２２４）。

線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝＋７５）と、関心領域４０ＲＬの補正値（Ｎ＝＋５０）を用いて、直線補間式４２Ｌを生成する（Ｓ２２６）。その結果、関心領域４０ＦＬとの関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示される。そして、輝度設定部３４ｄは、直線補間式４２Ｌに基づき、関心領域４０ＦＬと関心領域４０ＲＬとの間の領域の輝度および、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な補正量で設定（補正）する（Ｓ２２８）。

第１設定部３２は、車両１０の左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲの輝度補正が完了したか否かの監視を行い（Ｓ２３０）、完了していない場合（Ｓ２３０のＮｏ）、Ｓ２２０に戻り、同様な処理で被撮像領域３６ＳＲに関する直線補間式４２Ｒを生成して、右側方の輝度補正処理を実行する。一方、左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲの輝度補正が完了している場合（Ｓ２３０のＹｅｓ）、ＣＰＵ２４ａは、表示制御部２４ｄを用いて、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成して、表示装置１６に表示させて（Ｓ２３２）、次の処理周期でＳ２００からの処理を繰り返すことで、周辺画像の更新を行う。この場合、図２０に示すように、関心領域４０ＦＬが含まれる被撮像領域３６Ｆと被撮像領域３６ＳＬとは、輝度「１７５」で統一され滑らかに繋がる。同様に、関心領域４０ＲＬが含まれる被撮像領域３６ＳＬと被撮像領域３６Ｒとは、輝度「１００」で統一され滑らかに繋がる。また、関心領域４０ＲＲが含まれる被撮像領域３６Ｒと被撮像領域３６ＳＲとは、輝度「１００」で統一され滑らかに繋がる。関心領域４０ＦＲが含まれる被撮像領域３６ＳＲと被撮像領域３６Ｆとは、輝度「１７５」で統一され滑らかに繋がる。つまり、生成される周辺画像は、各画像の繋ぎ合わせ部分に輝度の格差がなく滑らかに繋がった違和感のない見やすい画像となる。また、各関心領域４０の間の輝度も直線補間式４２ａ，４２Ｌ，直線補間式４２Ｒによって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像のいずれの部分でも画像内容の認識がしやすくなる。なお、図１７の処理においても、前述したような、線形補間式の傾きの補正や、γ曲線係数を用いた線形補間式の算出を適用可能であり、同様の効果を得ることができる。

上述した実施形態において、固定値設定部３２ａの設定する目標輝度や、固定値加算設定部３２ｂが設定する調整値は、車両１０の周囲の状況に拘わらず所定の値として説明した。例えば、夜間は、表示装置１６の周囲が暗いので、表示装置１６に表示する画像の輝度を全体として落としても、違和感はなく画像内容を認識することができる場合がある。逆に、昼間は周囲が明るいので、表示装置１６の輝度をさらに高めた方が画像内容を認識しやすい場合がある。したがって、別の実施形態においては、例えば、昼夜等車両１０の周囲の明るさ状態、または、表示装置１６の明るさ設定に応じて所定の値を変更するようにしてもよい。

また、本実施形態の場合、撮像部１４ｂは左のドアミラー１０ｂに固定され、撮像部１４ｃは右のドアミラー１０ｃに固定されている。この場合、車両１０のドアが閉まっている状態で撮影された画像を用いることで、撮像部１４ａや撮像部１４ｄが撮像した画像との繋ぎ合わせが正確にできる。したがって。表示制御部２４ｄは、ドアが開いている場合は、画像のつなぎ合わせが正確にできない。そのためＣＰＵ２４ａは、上述したような輝度の補正処理を実行せずに、参考としての周辺画像を生成するようにしてもよい。

本実施形態のＣＰＵ２４ａで実行される画像処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｄ…表示制御部、２８…取得部、３０…関心領域設定部、３２…第１設定部（第一の設定部）、３２ａ…固定値設定部、３２ｂ…固定値加算設定部、３４…第２設定部（第二の設定部）、３４ａ…線形補間部、３４ｂ…傾き設定部、３４ｃ…γ曲線係数算出部、３４ｄ…輝度設定部、３６，３６Ｆ，３６ＳＬ，３６ＳＲ，３６Ｒ…被撮像領域、３８，３８ＦＬ，３８ＦＲ，３８ＲＬ，３８ＲＲ…重複領域、４０、４０ＦＬ，４０ＦＲ，４０ＲＬ，４０ＲＲ…関心領域、４２，４２ａ，４２Ｌ，４２Ｒ，５６…直線補間式、４４…周辺画像、５０…曲線、５２Ｌ…第一のγ曲線、５２Ｒ…第二のγ曲線、５４…直線、１００…画像処理システム。

Claims (7)

1. 車両に設けられた複数の撮像部で、前記車両の周辺状況として撮像された、被撮像領域が一部重複する複数の画像情報を取得する取得部と、
   前記車両を挟んで離間する一対の前記被撮像領域のうち一方である第一の被撮像領域と当該第一の被撮像領域に隣接する一対の前記被撮像領域のうち一方である第二の被撮像領域とが重なる第一の重複領域に含まれる第一の関心領域の輝度を補正する第一の補正値と、前記第一の被撮像領域と当該第一の被撮像領域に隣接する他方の前記被撮像領域である第三の被撮像領域とが重なる第二の重複領域に含まれる第二の関心領域の輝度を補正する第二の補正値と、を所定の値によって設定する第一の設定部と、
   前記第一の補正値と前記第二の補正値を用いて、前記第一の被撮像領域における前記第一の関心領域と前記第二の関心領域との間の領域の輝度を補正する個別補正値を設定する第二の設定部と、
   を含む画像処理装置。
2. 前記第一の設定部は、前記第一の関心領域の輝度と前記第二の関心領域の輝度が、前記所定の値として定めた目標輝度になるような前記第一の補正値と前記第二の補正値で補正する、請求項１に記載の画像処理装置。
3. 前記第一の設定部は、前記第一の関心領域の輝度と前記第二の関心領域の輝度との少なくとも一方に基づいて決定した前記第一の関心領域の第一の補正値と前記第二の関心領域の第二の補正値のそれぞれに、前記所定の値として定めた調整値を加算する、請求項１に記載の画像処理装置。
4. 前記第二の設定部は、前記個別補正値を、前記第一の補正値と前記第二の補正値との間を線形補間する補間式に基づいて算出する場合、前記補間式の傾きが大きい程、当該傾きを減少させるように設定する、請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記第二の設定部は、前記個別補正値に対して補正上限値を設定し、輝度の補正量が増加するのに伴い、当該補正量が前記補正上限値に収束するように前記個別補正値を設定する、請求項１から請求項３のいずれか１項に記載の画像処理装置。
6. 前記第二の設定部は、前記個別補正値を、前記第一の補正値と前記第二の補正値とを含む直線補間式により算出した補正値にしたがい設定する、請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記第二の設定部は、第一の関心領域の輝度に対して第一の目標輝度となる曲線式として算出された第一のγ曲線の第一の係数と、第二の関心領域の輝度に対して第二の目標輝度となる曲線式として算出された第二のγ曲線の第二の係数と、に基づく直線補間式により算出した補正値にしたがい前記個別補正値を設定する、請求項１から請求項４のいずれか１項に記載の画像処理装置。

Images