JP2018206323A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2018206323A
JP2018206323A JP2017114665A JP2017114665A JP2018206323A JP 2018206323 A JP2018206323 A JP 2018206323A JP 2017114665 A JP2017114665 A JP 2017114665A JP 2017114665 A JP2017114665 A JP 2017114665A JP 2018206323 A JP2018206323 A JP 2018206323A
Authority
JP
Japan
Prior art keywords
correction
value
captured image
image
color difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017114665A
Other languages
English (en)
Inventor
堀江　治之
Haruyuki Horie
治之 堀江
美樹 辻野
Miki Tsujino
美樹 辻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Aisin Corp
Original Assignee
Honda Motor Co Ltd
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, Aisin Seiki Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017114665A priority Critical patent/JP2018206323A/ja
Priority to CN201810443250.0A priority patent/CN109040517A/zh
Priority to US15/988,466 priority patent/US20180359398A1/en
Publication of JP2018206323A publication Critical patent/JP2018206323A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

【課題】撮像画像をつなげて生成される周辺画像の画質をより向上させることができる画像処理装置を提供する。【解決手段】画像処理装置は、移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、前記複数の撮像画像の輝度を第１補正で補正するとともに色差を前記第１補正と異なる第２補正で補正し、補正された前記複数の撮像画像をつなげた周辺画像を生成する処理部と、を備え、前記処理部は、前記第１補正において、前記複数の撮像画像のうち、一の撮像画像の前記重複領域に設定した対象領域の輝度に関する値に基づき他の撮像画像の前記対象領域の輝度を補正し、前記第２補正において、前記一の撮像画像及び前記他の撮像画像の色差に関する値に基づき前記一の撮像画像または前記他の撮像画像の色差を補正する。【選択図】図３

Description

本発明は、画像処理装置に関する。
移動体に設けられた複数の撮像装置が撮像した複数の撮像画像をつなげて周辺画像を生成する装置が知られている。このような装置は、複数の撮像画像を補正して、周辺画像の画質を向上させている。例えば、色成分（例えば、ＹＵＶ）のそれぞれの平均値が複数の撮像画像間で等しくなるように補正して、周辺画像を生成している。
特開２０１１−１８１０１９号公報 特開２００２−３２４２３５号公報
しかしながら、上述の装置では、色成分の平均値を等しくなるように補正しているので、周辺画像の画質の向上が十分でないといった課題がある。
本発明は、上記に鑑みてなされたものであって、撮像画像をつなげて生成される周辺画像の画質をより向上させることができる画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、前記複数の撮像画像の輝度を第１補正で補正するとともに色差を前記第１補正と異なる第２補正で補正し、補正された前記複数の撮像画像をつなげた周辺画像を生成する処理部と、を備え、前記処理部は、前記第１補正において、前記複数の撮像画像のうち、一の撮像画像の前記重複領域に設定した対象領域の輝度に関する値に基づき他の撮像画像の前記対象領域の輝度を補正し、前記第２補正において、前記一の撮像画像及び前記他の撮像画像の色差に関する値に基づき前記一の撮像画像または前記他の撮像画像の色差を補正する。
このように、画像処理装置は、一の撮像画像の輝度によって対象領域の輝度を補正し、２以上の撮像画像の色差によって撮像画像の色差を補正することによって、輝度の補正と、色差の補正とを異ならせているので、輝度と同様に色差を補正した場合に生じる撮像画像の白とび及び黒つぶれ等を低減することができる。この結果、画像処理装置は、撮像部の特性及び取り付け位置等に起因する撮像画像間の色差のずれを適切に補正して、撮像画像をつなげて生成する周辺画像の画質を向上させることができる。
本発明の画像処理装置では、前記処理部は、前記第２補正において、全ての前記撮像画像または全ての前記対象領域の前記色差の平均値である全体色差平均値と、一の前記撮像画像に含まれる前記対象領域の前記色差の平均値である撮像画像色差平均値とに基づいて、当該撮像画像の前記色差を補正してもよい。
このように、画像処理装置は、撮像画像毎の撮像画像色差平均値と、全体色差平均値とに基づいて、色差を補正するので、補正処理の演算負荷の増加を低減しつつ、撮像画像間の色差の違和感を低減できる。
本発明の画像処理装置では、前記処理部は、前記対象領域の前記色差の平均値と、予め定められた色差平均閾値とに基づいて、前記第２補正を実行するか否かを判定してもよい。
このように、画像処理装置は、色差平均値及び色差平均閾値に基づいて補正を実行するか否かを判定するので、撮像画像が路面を含まない場合等に設定された誤った補正値の設定を禁止して、誤った補正値による周辺画像の画質の劣化を抑制できる。
本発明の画像処理装置では、前記処理部は、前記対象領域の前記色差のばらつきと、予め定められたばらつき閾値とに基づいて、前記第２補正を実行するか否かを判定してもよい。
このように、画像処理装置は、色差のばらつき及びばらつき閾値に基づいて補正を実行するか否かを判定するので、撮像画像に白線等を含む場合の色差の補正値の設定を禁止して、当該補正値に起因する擬色を防止して、周辺画像の画質の劣化を抑制できる。
本発明の画像処理装置では、前記処理部は、一の前記撮像画像に含まれる複数の前記対象領域の前記色差の平均値の差分と、予め定められた差分閾値とに基づいて、前記第２補正を実行するか否かを判定してもよい。
このように、画像処理装置は、一の撮像画像内の色差平均値の差分及び差分閾値とに基づいて補正を実行するか否かを判定するので、一の撮像画像内の色差が一様でなく、ばらつきの大きい場合等に設定された誤った補正値の設定を禁止して、誤った補正値による周辺画像の画質の劣化を抑制できる。
本発明の画像処理装置では、前記処理部は、前記色差を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、前記色差の補正値を前記上限補正値に変更するか否かを判定してもよい。
このように、画像処理装置は、設定した補正値及び上限補正値に基づいて、大きい補正値の補正による色の大きな変化によって生じる周辺画像の画質の劣化を抑制できる。
図１は、第１実施形態の画像処理装置が搭載される車両の平面図である。 図２は、車両に搭載される画像処理装置の構成を説明するブロック図である。 図３は、情報処理装置の機能を説明する機能ブロック図である。 図４は、補正部による撮像画像の補正を説明する図である。 図５は、第１実施形態の処理部が実行する画像生成処理のフローチャートである。 図６は、補正部が実行する輝度補正処理のフローチャートである。 図７は、補正部が実行する色差補正処理のフローチャートである。 図８は、第２実施形態の補正部が実行する色差補正処理のフローチャートである。 図９は、補正部が実行する色差平均値判定処理のフローチャートである。 図１０は、補正部が実行する色差ばらつき判定処理のフローチャートである。 図１１は、補正部が実行する色差差分判定処理のフローチャートである。 図１２は、補正部が実行する補正値上限判定処理のフローチャートである。
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
＜第１実施形態＞
図１は、第１実施形態の画像処理装置が搭載される車両１０の平面図である。車両１０は、移動体の一例であって、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１３の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
図１に示すように、車両１０は、車体１２と、複数（例えば、４個）の撮像部１４ａ、１４ｂ、１４ｃ、１４ｄとを有する。撮像部１４ａ、１４ｂ、１４ｃ、１４ｄを区別する必要がない場合、撮像部１４と記載する。
車体１２は、乗員が乗車する車室を構成する。車体１２は、車輪１３及び撮像部１４等の車両１０の構成を収容または保持する。
撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）、または、ＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力する。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の１４０°〜１９０°の範囲を撮像することができる。撮像部１４の光軸は、斜め下方に向けて設定されている。従って、複数の撮像部１４は、周辺の路面を含む車両１０の周辺を撮像した複数の撮像画像のデータを出力する。
撮像部１４は、車両１０の外周部に設けられている。例えば、撮像部１４ａは、車両１０の前側の左右方向の中央部（例えば、フロントバンパー）に設けられている。撮像部１４ａは、車両１０の前方の周辺を撮像した撮像画像を生成する。撮像部１４ｂは、車両１０の後側の左右方向の中央部（例えば、リアバンパー）に設けられている。撮像部１４ｂは、車両１０の後方の周辺を撮像した撮像画像を生成する。撮像部１４ｃは、撮像部１４ａ及び撮像部１４ｂと隣接し、車両１０の左側部の前後方向の中央部（例えば、左側のサイドミラー１２ａ）に設けられている。撮像部１４ｃは、車両１０の左方の周辺を撮像した撮像画像を生成する。撮像部１４ｄは、撮像部１４ａ及び撮像部１４ｂと隣接し、車両１０の右側部の前後方向の中央部（例えば、右側のサイドミラー１２ｂ）に設けられている。撮像部１４ｄは、車両１０の右方の周辺を撮像した撮像画像を生成する。ここで、撮像部１４ａ、１４ｂ、１４ｃ、１４ｄは、互いに重複する複数の重複領域を含む複数の撮像画像を生成する。
図２は、車両１０に搭載される画像処理装置２０の構成を説明するブロック図である。図２に示すように、画像処理装置２０は、複数の撮像部１４と、モニタ装置３４と、情報処理装置３６と、車内ネットワーク３８とを備える。
モニタ装置３４は、車室内のダッシュボード等に設けられている。モニタ装置３４は、表示部４０と、音声出力部４２と、操作入力部４４とを有する。
表示部４０は、情報処理装置３６が送信した画像データに基づいて、画像を表示する。表示部４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、または、有機ＥＬディプレイ（ＯＥＬＤ：Organic Electroluminescent Display）等の表示装置である。表示部４０は、例えば、情報処理装置３６が、複数の撮像部１４によって撮像された撮像画像をつなげた周辺画像を表示する。
音声出力部４２は、情報処理装置３６が送信した音声データに基づいて音声を出力する。音声出力部４２は、例えば、スピーカである。音声出力部４２は、表示部４０と異なる車室内の位置に設けられていてもよい。
操作入力部４４は、乗員の入力を受け付ける。操作入力部４４は、例えば、タッチパネルである。操作入力部４４は、表示部４０の表示画面に設けられている。操作入力部４４は、表示部４０が表示する画像を透過可能に構成されている。これにより、操作入力部４４は、表示部４０の表示画面に表示される画像を乗員に視認させることができる。操作入力部４４は、表示部４０の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付けて、情報処理装置３６へ送信する。
情報処理装置３６は、ＥＣＵ（Electronic Control Unit）等のマイクロコンピュータを含むコンピュータである。情報処理装置３６は、撮像部１４から撮像画像のデータを取得する。情報処理装置３６は、撮像画像等に基づいて生成した周辺画像または音声に関するデータをモニタ装置３４へ送信する。情報処理装置３６は、ＣＰＵ（Central Processing Unit）３６ａと、ＲＯＭ（Read Only Memory）３６ｂと、ＲＡＭ（Random Access Memory）３６ｃと、表示制御部３６ｄと、音声制御部３６ｅと、ＳＳＤ（Solid State Drive）３６ｆとを備える。ＣＰＵ３６ａ、ＲＯＭ３６ｂ及びＲＡＭ３６ｃは、同一パッケージ内に集積されていてもよい。
ＣＰＵ３６ａは、ハードウェアプロセッサの一例であって、ＲＯＭ３６ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ３６ａは、例えば、撮像画像を補正し、当該撮像画像をつなげて、表示部４０に表示させる周辺画像を生成する。
ＲＯＭ３６ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ３６ｃは、ＣＰＵ３６ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部３６ｄは、情報処理装置３６での演算処理のうち、主として、撮像部１４で得られた画像の画像処理、表示部４０に表示させる表示用の画像のデータ変換等を実行する。音声制御部３６ｅは、情報処理装置３６での演算処理のうち、主として、音声出力部４２に出力させる音声の処理を実行する。ＳＳＤ３６ｆは、書き換え可能な不揮発性の記憶装置であって、情報処理装置３６の電源がオフされた場合にあってもデータを維持する。
車内ネットワーク３８は、例えば、ＣＡＮ（Controller Area Network）である。車内ネットワーク３８は、情報処理装置３６と、操作入力部４４とを互いに信号及び情報を送受信可能に電気的に接続する。
本実施形態では、情報処理装置３６は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、車両１０の画像生成処理を司る。情報処理装置３６は、撮像部１４が撮像した周辺の画像を含む撮像画像を補正し、補正した撮像画像をつなげて周辺画像を生成する。
図３は、情報処理装置３６の機能を説明する機能ブロック図である。図３に示すように、情報処理装置３６は、処理部５０と、記憶部５２とを有する。
処理部５０は、例えば、ＣＰＵ３６ａ等の機能によって実現される。処理部５０は、補正部５４と、生成部５６とを有する。処理部５０は、例えば、記憶部５２に格納された画像生成プログラム５８を読み込むことによって、補正部５４及び生成部５６の機能を実現してよい。補正部５４及び生成部５６の一部または全ては、ＡＳＩＣ（Application Specific Integrated Circuit）を含む回路等のハードウェアによって構成されてもよい。
補正部５４は、複数の重複領域を含む撮像画像を、複数の撮像部１４のそれぞれから取得する。換言すれば、補正部５４は、少なくとも複数の撮像部１４の個数だけ撮像画像を取得する。撮像画像の一例は、動画の１フレームの画像であってよい。補正部５４は、撮像画像の各画素を構成する輝度及び色差を補正する。輝度は、例えば、ＹＵＶ空間におけるＹ値である。色差は、輝度から色信号を引いた値であって例えば、ＹＵＶ空間におけるＵ値（青信号から輝度を引いた値）及びＶ値（赤信号から輝度を引いた値）である。補正部５４は、複数の重複領域のそれぞれに対象領域を設定する。補正部５４は、第１補正で複数の撮像画像の輝度を補正する。具体的には、補正部５４は、第１補正において、複数の撮像画像のうち、一の撮像画像（例えば、前側または後側の撮像画像）の対象領域の輝度に関する値に基づき他の撮像画像（例えば、左側または右側の撮像画像）の対象領域の輝度を補正する。補正部５４は、例えば、第１補正において、補正した対象領域の輝度を用いた線形補間に基づいて対象領域外の輝度を補正してよい。補正部５４は、第２補正で複数の撮像画像の色差を補正する。具体的には、補正部５４は、第２補正において、複数の撮像画像のうち、２以上の撮像画像（例えば、全ての撮像画像）の対象領域の色差に関する値に基づき複数の撮像画像の色差を補正する。２以上の撮像画像は、一の撮像画像及び他の撮像画像の例である。補正部５４は、例えば、第２補正において、全ての撮像画像内の対象領域の色差の平均値である全体色差平均値と、一の撮像画像内の対象領域の色差の平均値である撮像画像色差平均値とに基づいて、一の撮像画像の色差を補正する。即ち、補正部５４は、第１補正と異なる第２補正によって色差を補正する。補正部５４は、補正した撮像画像を生成部５６へ出力する。
生成部５６は、補正部５４から取得した補正された複数の撮像画像をつなげて、周辺画像を生成する。生成部５６は、生成した周辺画像を表示部４０へ出力して、周辺画像を表示させる。
記憶部５２は、ＲＯＭ３６ｂ、ＲＡＭ３６ｃ、及び、ＳＳＤ３６ｆの少なくとも１つの機能として実現される。記憶部５２は、処理部５０が実行するプログラム及びプログラムの実行に必要なデータを記憶する。例えば、記憶部５２は、処理部５０が実行する画像生成プログラム５８を記憶する。記憶部５２は、画像生成プログラム５８の実行に必要な数値データ６０を記憶する。
図４は、補正部５４による撮像画像の補正を説明する図である。
図４の周囲に太線で示す４個の矩形枠は、補正部５４が撮像部１４ａ、１４ｂ、１４ｃ、１４ｄのそれぞれから取得した撮像画像７０ａ、７０ｂ、７０ｃ、７０ｄを示す。図４の中央に示す太線の矩形枠は、撮像画像７０ａ、７０ｂ、７０ｃ、７０ｄをつなげて生成された周辺画像７２を示す。周辺画像７２は、例えば、上方から車両１０の周辺を見た俯瞰画像または鳥瞰画像である。周辺画像７２は、撮像画像７０ａ、７０ｂ、７０ｃ、７０ｄが重複する重複領域７４ＦＬ、重複領域７４ＦＲ、重複領域７４ＲＬ及び重複領域７４ＲＲを含む。
前側撮像画像７０ａ及び左側撮像画像７０ｃは、互いに重複する重複領域７４ＦＬａ及び重複領域７４ＦＬｃを含む。重複領域７４ＦＬａ及び重複領域７４ＦＬｃは、重複領域７４ＦＬに対応する領域である。前側撮像画像７０ａ及び右側撮像画像７０ｄは、互いに重複する重複領域７４ＦＲａ及び重複領域７４ＦＲｄを含む。重複領域７４ＦＲａ及び重複領域７４ＦＲｄは、重複領域７４ＦＲに対応する領域である。後側撮像画像７０ｂ及び左側撮像画像７０ｃは、互いに重複する重複領域７４ＲＬｂ及び重複領域７４ＲＬｃを含む。重複領域７４ＲＬｂ及び重複領域７４ＲＬｃは、重複領域７４ＲＬに対応する領域である。後側撮像画像７０ｂ及び右側撮像画像７０ｄは、互いに重複する重複領域７４ＲＲｂ及び重複領域７４ＲＲｄを含む。重複領域７４ＲＲｂ及び重複領域７４ＲＲｄは、重複領域７４ＲＲに対応する領域である。
周辺画像７２の領域内に示す直線は、境界線７６ＦＬ、７６ＦＲ、７６ＲＬ、７６ＲＲである。境界線７６ＦＬ、７６ＦＲ、７６ＲＬ、７６ＲＲを区別する必要がない場合、境界線７６と記載する。境界線７６ＦＬは、前側撮像画像７０ａと左側撮像画像７０ｃとの境界である。境界線７６ＦＲは、前側撮像画像７０ａと右側撮像画像７０ｄとの境界である。境界線７６ＲＬは、後側撮像画像７０ｂと左側撮像画像７０ｃとの境界である。境界線７６ＲＲは、後側撮像画像７０ｂと右側撮像画像７０ｄとの境界である。境界線７６ＦＬ、７６ＦＲ、７６ＲＬ、７６ＲＲの角度は、予め設定されて数値データ６０として記憶部５２に格納されている。
境界線７６ＦＬと境界線７６ＦＲとの間の領域は、前側撮像画像７０ａが適用される。境界線７６ＦＬと境界線７６ＲＬとの間の領域は、左側撮像画像７０ｃが適用される。境界線７６ＦＲと境界線７６ＲＲとの間の領域は、右側撮像画像７０ｄが適用される。境界線７６ＲＬと境界線７６ＲＲとの間の領域は、後側撮像画像７０ｂが適用される。
補正部５４は、周辺画像７２の重複領域７４ＦＬ、７４ＦＲ、７４ＲＬ、７４ＲＲのそれぞれに、ハッチングで示す対象領域７８ＦＬ、７８ＦＲ、７８ＲＬ、７８ＲＲを設定する。対象領域７８ＦＬ、７８ＦＲ、７８ＲＬ、７８ＲＲは、ＲＯＩ（Region of Interest：関心領域）とも呼ばれる。対象領域７８ＦＬ、７８ＦＲ、７８ＲＬ、７８ＲＲは、特に限定されるものではないが、設定枠８０、境界線７６の角度、及び、車両１０の幅等によって、重複領域７４ＦＬ、７４ＦＲ、７４ＲＬ、７４ＲＲ内に補正部５４が適宜設定してよい。設定枠８０の一例は、予め設定された駐車枠である。対象領域７８ＦＬ、７８ＦＲ、７８ＲＬ、７８ＲＲを設定するための設定枠８０、境界線７６の角度、及び、車両１０の幅等は、数値データ６０として記憶部５２に格納されている。
前側撮像画像７０ａ内の対象領域７８ＦＬａ及び対象領域７８ＦＲａは、それぞれ周辺画像７２の対象領域７８ＦＬ及び対象領域７８ＦＲに対応する。後側撮像画像７０ｂ内の対象領域７８ＲＬｂ及び対象領域７８ＲＲｂは、それぞれ周辺画像７２の対象領域７８ＲＬ及び対象領域７８ＲＲに対応する。左側撮像画像７０ｃ内の対象領域７８ＦＬｃ及び対象領域７８ＲＬｃは、それぞれ周辺画像７２の対象領域７８ＦＬ及び対象領域７８ＲＬに対応する。右側撮像画像７０ｄ内の対象領域７８ＦＲｄ及び対象領域７８ＲＲｄは、それぞれ周辺画像７２の対象領域７８ＦＲ及び対象領域７８ＲＲに対応する。
撮像画像７０ａ・・・のそれぞれを区別する必要がない場合、撮像画像７０と記載する。重複領域７４ＦＬ・・・のそれぞれを区別する必要がない場合、重複領域７４と記載する。対象領域７８ＦＬ・・・のそれぞれを区別する必要がない場合、対象領域７８と記載する。
次に、補正部５４による輝度補正処理について説明する。
補正部５４は、前側撮像画像７０ａの対象領域７８ＦＬａに含まれる全ての画素の輝度（＝Ｙ値）の平均値（以下、基準左前側輝度平均値）を算出する。補正部５４は、前側撮像画像７０ａの対象領域７８ＦＲａに含まれる全ての画素の輝度の平均値（以下、基準右前側輝度平均値）を算出する。補正部５４は、後側撮像画像７０ｂの対象領域７８ＲＬｂに含まれる全ての画素の輝度の平均値（以下、基準左後側輝度平均値）を算出する。補正部５４は、後側撮像画像７０ｂの対象領域７８ＲＲｂに含まれる全ての画素の輝度の平均値（以下、基準右後側輝度平均値）を算出する。
補正部５４は、左側撮像画像７０ｃの対象領域７８ＦＬｃに含まれる全ての画素の輝度の平均値（以下、左前側輝度平均値）を算出する。補正部５４は、対象領域７８ＦＬａの基準左前側輝度平均値と対象領域７８ＦＬｃの左前側輝度平均値との差分（以下、左前輝度差分）を算出する。補正部５４は、左側撮像画像７０ｃの対象領域７８ＦＬｃに含まれる全ての画素の輝度に左前輝度差分を足すまたは引くことによって、左前側輝度平均値が基準左前側輝度平均値となるように、左側撮像画像７０ｃの対象領域７８ＦＬｃの輝度を補正する。
補正部５４は、左側撮像画像７０ｃの対象領域７８ＲＬｃに含まれる全ての画素の輝度の平均値（以下、左後側輝度平均値）を算出する。補正部５４は、対象領域７８ＲＬｂの基準左後側輝度平均値と対象領域７８ＲＬｃの左後側輝度平均値との差分（以下、左後輝度差分）を算出する。補正部５４は、左側撮像画像７０ｃの対象領域７８ＲＬｃに含まれる全ての画素の輝度に左後輝度差分を足すまたは引くことによって、左後側輝度平均値が基準左後側輝度平均値となるように、左側撮像画像７０ｃの対象領域７８ＲＬｃの輝度を補正する。
補正部５４は、補正後の対象領域７８ＦＬｃの左前側輝度平均値と対象領域７８ＲＬｃの左後側輝度平均値とを用いた線形補間によって、対象領域７８ＦＬｃ及び対象領域７８ＲＬｃ以外の左側撮像画像７０ｃ内の領域の輝度を補正する。
補正部５４は、右側撮像画像７０ｄの対象領域７８ＦＲｄに含まれる全ての画素の輝度の平均値（以下、右前側輝度平均値）を算出する。補正部５４は、対象領域７８ＦＲａの基準右前側輝度平均値と対象領域７８ＦＲｄの右前側輝度平均値との差分（以下、右前輝度差分）を算出する。補正部５４は、右側撮像画像７０ｄの対象領域７８ＦＲｄに含まれる全ての画素の輝度に右前輝度差分を足すまたは引くことによって、右前側輝度平均値が基準右前側輝度平均値となるように、右側撮像画像７０ｄの対象領域７８ＦＲｄの輝度を補正する。
補正部５４は、右側撮像画像７０ｄの対象領域７８ＲＲｄに含まれる全ての画素の輝度の平均値（以下、右後側輝度平均値）を算出する。補正部５４は、対象領域７８ＲＲｂの基準右後側輝度平均値と対象領域７８ＲＲｄの右後側輝度平均値との差分（以下、右後輝度差分）を算出する。補正部５４は、右側撮像画像７０ｄの対象領域７８ＲＲｄに含まれる全ての画素の輝度に右後輝度差分を足すまたは引くことによって、右後側輝度平均値が基準右後側輝度平均値となるように、右側撮像画像７０ｄの対象領域７８ＲＲｄの輝度を補正する。
補正部５４は、補正後の対象領域７８ＦＲｄの右前側輝度平均値と対象領域７８ＲＲｄの右後側輝度平均値とを用いた線形補間によって、対象領域７８ＦＲｄ及び対象領域７８ＲＲｄ以外の右側撮像画像７０ｄ内の領域の輝度を補正する。
次に、補正部５４による色差補正処理について説明する。
補正部５４は、全ての撮像画像７０の全ての重複領域７４の全ての対象領域７８の色差毎の平均である全体色差平均値と、一の撮像画像７０に含まれる全ての重複領域の全ての対象領域７８の色差の平均である撮像画像色差平均値とに基づいて、色差毎に当該撮像画像７０の色差を補正する。
まず、色差のうちＵ値の補正について具体的に説明する。
補正部５４は、撮像画像７０毎（即ち、撮像部１４毎）の色差（ここでは、Ｕ値）の平均値である撮像画像色差平均値を算出する。
具体的には、補正部５４は、撮像部１４ａの前側撮像画像７０ａの全ての対象領域７８ＦＬａ、７８ＦＲａのＵ値を全て足した総和を、対象領域７８ＦＬａ、７８ＦＲａの画素数で除算して、前側撮像画像７０ａのＵ値の平均値である前側撮像画像Ｕ平均値を算出する。
補正部５４は、撮像部１４ｂの後側撮像画像７０ｂの全ての対象領域７８ＲＬｂ、７８ＲＲｂのＵ値を全て足した総和を、対象領域７８ＲＬｂ、７８ＲＲｂの画素数で除算して、後側撮像画像７０ｂのＵ値の平均値である後側撮像画像Ｕ平均値を算出する。
補正部５４は、撮像部１４ｃの左側撮像画像７０ｃの全ての対象領域７８ＦＬｃ、７８ＲＬｃのＵ値を全て足した総和を、対象領域７８ＦＬｃ、７８ＲＬｃの画素数で除算して、左側撮像画像７０ｃのＵ値の平均値である左側撮像画像Ｕ平均値を算出する。
補正部５４は、撮像部１４ｄの右側撮像画像７０ｄの全ての対象領域７８ＦＲｄ、７８ＲＲｄのＵ値を全て足した総和を、対象領域７８ＦＲｄ、７８ＲＲｄの画素数で除算して、右側撮像画像７０ｄのＵ値の平均値である右側撮像画像Ｕ平均値を算出する。
前側撮像画像Ｕ平均値、後側撮像画像Ｕ平均値、左側撮像画像Ｕ平均値、及び、右側撮像画像Ｕ平均値は、撮像画像色差平均値の一例であり、それぞれを区別する必要がない場合、撮像画像Ｕ平均値と記載する。また、Ｖ値の撮像画像色差平均値は、撮像画像Ｖ平均値とする。撮像画像Ｕ平均値及び撮像画像Ｖ平均値を区別する必要がない場合、撮像画像色差平均値と記載する。
補正部５４は、全ての撮像画像７０の全ての対象領域７８のＵ値を合算したＵ合算値を算出する。補正部５４は、Ｕ合算値を、全ての対象領域７８の画素数で除算した全体Ｕ平均値を算出する。全体Ｕ平均値は、全体色差平均値の一例である。
補正部５４は、各撮像画像Ｕ平均値が全体Ｕ平均値となるように、撮像画像７０毎に全ての画素のＵ値を補正する。
例えば、補正部５４は、前側撮像画像Ｕ平均値と全体Ｕ平均値との差分を撮像部１４ａの補正値として算出する。補正部５４は、前側撮像画像７０ａの全ての画素のＵ値に当該補正値を足すまたは引くことによって、前側撮像画像Ｕ平均値が全体Ｕ平均値になるように、補正する。
補正部５４は、後側撮像画像Ｕ平均値と全体Ｕ平均値との差分を撮像部１４ｂの補正値として算出する。補正部５４は、後側撮像画像７０ｂの全ての画素のＵ値に当該補正値を足すまたは引くことによって、後側撮像画像Ｕ平均値が全体Ｕ平均値になるように、補正する。
補正部５４は、左側撮像画像Ｕ平均値と全体Ｕ平均値との差分を撮像部１４ｃの補正値として算出する。補正部５４は、左側撮像画像７０ｃの全ての画素のＵ値に当該補正値を足すまたは引くことによって、左側撮像画像Ｕ平均値が全体Ｕ平均値になるように、補正する。
補正部５４は、右側撮像画像Ｕ平均値と全体Ｕ平均値との差分を撮像部１４ｄの補正値として算出する。補正部５４は、右側撮像画像７０ｄの全ての画素のＵ値に当該補正値を足すまたは引くことによって、右側撮像画像Ｕ平均値が全体Ｕ平均値になるように、補正する。
同様に、補正部５４は、Ｖ値を補正する。
図５は、第１実施形態の処理部５０が実行する画像生成処理のフローチャートである。処理部５０は、画像生成プログラム５８を読み込むことによって、画像生成処理を実行する。
図５に示すように、処理部５０の補正部５４は、複数の撮像部１４のそれぞれから互いに重複する重複領域７４を含む撮像画像７０を取得する（Ｓ１０２）。換言すれば、補正部５４は、複数の撮像部１４の個数分だけ撮像画像７０を取得する。
補正部５４は、複数の撮像画像７０の輝度を補正する輝度補正処理（第１補正処理）を実行する（Ｓ１０４）。
次に、補正部５４は、複数の撮像画像７０の色差（Ｕ値及びＶ値を含む）を補正する色差補正処理（第２補正処理）を実行する（Ｓ１０６）。
生成部５６は、補正部５４が補正した撮像画像７０をつなげて、周辺画像７２を生成する（Ｓ１０８）。
生成部５６は、生成した周辺画像７２を表示部４０へ出力して、表示させる（Ｓ１１０）。この後、処理部５０は、ステップＳ１０２以降を繰り返して、周辺画像７２の生成を繰り返す。
図６は、補正部５４が実行する輝度補正処理のフローチャートである。
図６に示す輝度補正処理では、補正部５４は、前側撮像画像７０ａの対象領域７８ＦＬａ、７８ＦＲａに含まれる輝度のそれぞれの平均値である基準左前側輝度平均値及び基準右前側輝度平均値を算出する（Ｓ２０２）。補正部５４は、後側撮像画像７０ｂの対象領域７８ＲＬｂ、７８ＲＲｂに含まれる輝度のそれぞれの平均値である基準左後側輝度平均値及び基準右後側輝度平均値を算出する（Ｓ２０４）。
補正部５４は、左側撮像画像７０ｃの輝度を補正する（Ｓ２０６）。具体的には、補正部５４は、左側撮像画像７０ｃの対象領域７８ＦＬｃの輝度の平均値である左前側輝度平均値と基準左前側輝度平均値との差分に基づいて、左側撮像画像７０ｃの対象領域７８ＦＬｃの輝度を補正する。補正部５４は、左側撮像画像７０ｃの対象領域７８ＲＬｃの輝度の平均値である左後側輝度平均値と基準左後側輝度平均値との差分に基づいて、左側撮像画像７０ｃの対象領域７８ＲＬｃの輝度を補正する。補正部５４は、補正後の左前側輝度平均値と左後側輝度平均値とを用いた線形補間によって、対象領域７８ＦＬｃ、７８ＲＬｃ以外の左側撮像画像７０ｃの領域の輝度を補正する。
補正部５４は、右側撮像画像７０ｄの輝度を補正する（Ｓ２０８）。具体的には、補正部５４は、右側撮像画像７０ｄの対象領域７８ＦＲｄの輝度の平均値である右前側輝度平均値と基準右前側輝度平均値との差分に基づいて、右側撮像画像７０ｄの対象領域７８ＦＲｄの輝度を補正する。補正部５４は、右側撮像画像７０ｄの対象領域７８ＲＲｄの輝度の平均値である右後側輝度平均値と基準右後側輝度平均値との差分に基づいて、右側撮像画像７０ｄの対象領域７８ＲＲｄの輝度を補正する。補正部５４は、補正後の右前側輝度平均値と右後側輝度平均値とを用いた線形補間によって、対象領域７８ＦＲｄ、７８ＲＲｄ以外の右側撮像画像７０ｄの領域の輝度を補正する。
これにより、補正部５４は、輝度補正処理を終了して、画像生成処理へ戻る。
図７は、補正部５４が実行する色差補正処理のフローチャートである。
図７に示すように、補正部５４は、撮像画像７０毎（または、撮像部１４毎）、かつ、色差毎に、対象領域７８の色差の平均値である撮像画像色差平均値を算出する（Ｓ３０２）。具体的には、補正部５４は、いずれかの撮像画像７０（例えば、撮像画像７０ａ）に含まれる全ての対象領域７８（例えば、対象領域７８ＦＬａ、７８ＦＲａ）のＵ値の総和を、当該全ての対象領域７８の画素数で除算して、当該撮像画像７０（例えば、撮像画像７０ａ）のＵ値の撮像画像色差平均値である、撮像画像Ｕ平均値（例えば、前側撮像画像Ｕ平均値）を算出する。同様に、補正部５４は、撮像画像７０（例えば、撮像画像７０ａ）の撮像画像Ｖ平均値（例えば、前側撮像画像Ｖ平均値）を算出する。上述の処理を繰り返すことによって、補正部５４は、全ての撮像部１４の撮像画像７０の撮像画像Ｕ平均値及び撮像画像Ｖ平均値を算出する。
補正部５４は、全ての撮像画像７０の全ての撮像画像Ｕ平均値及び撮像画像Ｖ平均値を算出すると、全ての撮像画像７０に含まれる全ての対象領域７８の色差の総和である色差合算値（Ｕ合算値及びＶ合算値）を色差毎に算出する（Ｓ３０６）。補正部５４は、色差合算値を全ての対象領域７８の画素数で除算することによって、全ての対象領域７８の色差の平均値である全体色差平均値（即ち、全体Ｕ平均値及び全体Ｖ平均値）を色差毎に算出する（Ｓ３０８）。
補正部５４は、撮像部１４毎に各色差の補正値を算出する（Ｓ３１０）。具体的には、補正部５４は、撮像部１４ａの前側撮像画像７０ａの撮像画像Ｕ平均値と全体Ｕ平均値との差分を、当該撮像部１４ａのＵ値の補正値とする。補正部５４は、各撮像部１４ｂ、１４ｃ、１４ｄに対し同じ処理を繰り返すことによって、全ての撮像部１４のＵ値の補正値を算出する。更に、補正部５４は、撮像部１４ａの前側撮像画像７０ａの撮像画像Ｖ平均値と全体Ｖ平均値との差分を、当該撮像部１４ａのＶ値の補正値とする。補正部５４は、各撮像部１４ｂ、１４ｃ、１４ｄに対し同じ処理を繰り返すことによって、全ての撮像部１４のＶ値の補正値を算出する。補正部５４は、算出した補正値を色差及び撮像部１４に関連付けて、記憶部５２に格納する。
補正部５４は、撮像画像７０の画素の色差に、当該撮像画像７０の撮像部１４に関連付けられた補正値を足すまたは引くことによって、撮像画像７０を補正する（Ｓ３１２）。例えば、補正部５４は、撮像画像Ｕ平均値が全体Ｕ平均値よりも低い撮像部１４のＵ値にはＵ値の補正値を足して補正する。補正部５４は、撮像画像Ｕ平均値が全体Ｕ平均値よりも高い撮像部１４のＵ値にはＵ値の補正値を引いて補正する。
これにより、補正部５４は、色差補正処理を終了して、画像生成処理へ戻る。
上述したように、第１実施形態の画像処理装置２０は、一の撮像画像７０の対象領域７８の輝度によって他の撮像画像７０の対象領域７８の輝度を補正し、２以上の撮像画像７０の色差によって撮像画像７０の色差を補正することによって、撮像画像７０間の輝度の補正と、色差の補正とを異ならせている。これにより、画像処理装置２０は、輝度と同じ方法で色差を補正した場合にいずれかの撮像画像７０に生じる白とび及び黒つぶれ等を低減することができる。この結果、画像処理装置２０は、撮像部１４の特性及び取り付け位置等に起因する撮像画像７０間の色差のずれを適切に補正して、撮像画像７０をつなげて生成する周辺画像７２の画質を向上させることができる。
また、画像処理装置２０は、撮像画像７０毎の撮像画像色差平均値と、全体色差平均値とに基づいて、色差を補正するので、補正処理の演算負荷の増加を低減しつつ、撮像画像７０間の色差の違和感を低減できる。
＜第２実施形態＞
次に、上述した色差補正処理を部分的に変更した第２実施形態について説明する。第２実施形態の補正部５４は、予め定められた条件に基づいて、色差の補正（即ち、第２補正）を実行するか否かを判定してよい。
例えば、補正部５４は、対象領域７８の色差の平均値である色差平均値（Ｕ平均値及びＶ平均値）と、予め定められた色差平均閾値とに基づいて、色差の補正を実行するか否かを判定してよい。色差平均閾値は、数値データ６０として記憶部５２に格納されている。
補正部５４は、対象領域７８の色差のばらつきと、予め定められたばらつき閾値とに基づいて、色差の補正を実行するか否かを判定してよい。ばらつき閾値は、数値データ６０として記憶部５２に格納されている。
補正部５４は、一の撮像画像７０に含まれる複数の対象領域７８（例えば、対象領域７８ＦＬａ、７８ＦＲａ）の色差平均値の差分と、予め定められた差分閾値とに基づいて、色差の補正を実行するか否かを判定してよい。差分閾値は、数値データ６０として記憶部５２に格納されている。
また、補正部５４は、予め定められた条件の場合、補正値を変更してもよい。
例えば、補正部５４は、色差を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、色差の補正値を上限補正値に変更するか否かを判定してよい。上限補正値は、補正値の上限を示す値であって、数値データ６０として記憶部５２に格納されている。
図８は、第２実施形態の補正部５４が実行する色差補正処理のフローチャートである。第１実施形態と同様のステップには、同じステップ番号を付与して説明を省略する。
図８に示すように、第２実施形態の色差補正処理では、補正部５４は、ステップＳ３５４〜Ｓ３６２までの処理を、対象領域７８の個数分（ここでは、８個分）実施する（Ｓ３５２）。
補正部５４は、複数の対象領域７８のうち、補正の可否を判定するための対象領域７８を設定する（Ｓ３５４）。対象領域７８の設定順序は特に限定されるものではないが、偶数回目に設定される対象領域７８が、１つ前の奇数回目に設定された対象領域７８と同じ撮像画像７０内であればよい。例えば、補正部５４は、対象領域７８ＦＬａを最初に設定して、時計回りに、対象領域７８ＦＲａ、７８ＦＲｄ、・・・、７８ＦＬｃの順序で設定してよい。
補正部５４は、設定した対象領域７８の色差平均値（Ｕ平均値及びＶ平均値）を算出する（Ｓ３５６）。
補正部５４は、色差の補正を実行するか否かを判定する色差平均値判定処理を実行する（Ｓ３５８）。
図９は、補正部５４が実行する色差平均値判定処理のフローチャートである。補正部５４は、色差平均値判定処理によって、撮像画像７０が灰色を含まない場合、即ち、路面を含まない場合の色差の補正値の設定を禁止する。
図９に示すように、色差平均値判定処理では、補正部５４は、対象領域７８のＵ平均値の絶対値が予め定められたＵ平均閾値よりも大きいか否かを判定する（Ｓ４０２）。Ｕ平均閾値は、例えば、Ｕ値が±１２８階調の間の値の場合、“５０”である。
補正部５４は、対象領域７８のＵ平均値の絶対値がＵ平均閾値以下と判定すると（Ｓ４０２：Ｎｏ）、補正部５４は、対象領域７８のＶ平均値の絶対値が予め定められたＶ平均閾値よりも大きいか否かを判定する（Ｓ４０４）。Ｖ平均閾値は、例えば、Ｖ値が±１２８階調の間の値の場合、“５０”である。補正部５４は、対象領域７８のＶ平均値の絶対値がＶ平均閾値以下と判定すると（Ｓ４０４：Ｎｏ）、色差平均値判定処理を終了して、ステップＳ３６０を実行する。
一方、補正部５４は、対象領域７８のＵ平均値の絶対値がＵ平均閾値より大きいと判定すると（Ｓ４０２：Ｙｅｓ）、または、対象領域７８のＶ平均値の絶対値がＶ平均閾値より大きいと判定すると（Ｓ４０４：Ｙｅｓ）、色差の補正をすることなく、画像生成処理を終了する（図８の円内のＡ参照）。
図８に戻って、補正部５４は、色差の補正を実行するか否かを判定する色差ばらつき判定処理を実行する（Ｓ３６０）。
図１０は、補正部５４が実行する色差ばらつき判定処理のフローチャートである。補正部５４は、色差ばらつき判定処理によって、撮像画像７０に白線等を含む場合の色差の補正値の設定を禁止して、当該補正値に起因する擬色を防止する。
図１０に示すように、色差ばらつき判定処理では、補正部５４は、対象領域７８のＵ値の最大値と最小値との差であるＵ値のばらつきを算出する（Ｓ４１２）。補正部５４は、Ｕ値のばらつきが予め定められたＵばらつき閾値よりも大きいか否かを判定する（Ｓ４１４）。Ｕばらつき閾値は、例えば、Ｕ値が２５６階調の場合、“２０”である。
補正部５４は、対象領域７８のＵ値のばらつきがＵばらつき閾値以下と判定すると（Ｓ４１４：Ｎｏ）、対象領域７８のＶ値の最大値と最小値との差であるＶ値のばらつきを算出する（Ｓ４１６）。補正部５４は、Ｖ値のばらつきが予め定められたＶばらつき閾値よりも大きいか否かを判定する（Ｓ４１８）。Ｖばらつき閾値は、例えば、Ｖ値が２５６階調の場合、“２０”である。補正部５４は、対象領域７８のＶ値のばらつきがＶばらつき閾値以下と判定すると（Ｓ４１８：Ｎｏ）、色差ばらつき判定処理を終了して、ステップＳ３６２を実行する。
一方、補正部５４は、対象領域７８のＵ値のばらつきがＵばらつき閾値より大きいと判定すると（Ｓ４１４：Ｙｅｓ）、または、対象領域７８のＶ値のばらつきがＶばらつき閾値より大きいと判定すると（Ｓ４１８：Ｙｅｓ）、色差の補正をすることなく、画像生成処理を終了する（図８の円内のＡ参照）。
図８に戻って、補正部５４は、色差の補正を実行するか否かを一の撮像画像７０内の色差の差分で判定する色差差分判定処理を実行する（Ｓ３６２）。
図１１は、補正部５４が実行する色差差分判定処理のフローチャートである。補正部５４は、色差差分判定処理によって、一の撮像画像７０内の色差が一様でない場合の色差の補正値の設定を禁止する。
図１１に示すように、色差差分判定処理では、補正部５４は、ステップＳ３５２以降のループの回数が偶数回目か否かを判定する（Ｓ４２２）。尚、偶数回目であることは、今回のループのステップＳ３５６で算出された色差平均値と同じ撮像部１４で撮像された撮像画像７０内の他の対象領域７８の色差平均値が算出済みであることを意味する。補正部５４は、偶数回目でないと判定すると（Ｓ４２２：Ｎｏ）、色差差分判定処理を終了して、ステップＳ３５２またはステップＳ３０２を実行する。
補正部５４は、偶数回目であると判定すると（Ｓ４２２：Ｙｅｓ）、一の撮像画像７０内の２つの対象領域７８（例えば、対象領域７８ＦＬａ、７８ＦＲａ）のＵ平均値の差分であるＵ差分を算出する（Ｓ４２４）。補正部５４は、Ｕ差分が予め定められたＵ差分閾値よりも大きいか否かを判定する（Ｓ４２６）。Ｕ差分閾値は、例えば、Ｕ値が２５６階調の場合、“１０”である。
補正部５４は、Ｕ差分が予め定められたＵ差分閾値以下と判定すると（Ｓ４２６：Ｎｏ）、一の撮像画像７０内の２つの対象領域７８（例えば、対象領域７８ＦＬａ、７８ＦＲａ）のＶ平均値の差分であるＶ差分を算出する（Ｓ４２８）。補正部５４は、Ｖ差分が予め定められたＶ差分閾値よりも大きいか否かを判定する（Ｓ４３０）。Ｖ差分閾値は、例えば、Ｖ値が２５６階調の場合、“１０”である。補正部５４は、Ｖ差分が予め定められたＶ差分閾値以下と判定すると（Ｓ４３０：Ｎｏ）、色差差分判定処理を終了して、ステップＳ３５２またはステップＳ３０２を実行する。
一方、補正部５４は、対象領域７８のＵ差分がＵ差分閾値より大きいと判定すると（Ｓ４２６：Ｙｅｓ）、または、対象領域７８のＶ差分がＶ差分閾値より大きいと判定すると（Ｓ４３０：Ｙｅｓ）、色差の補正をすることなく、画像生成処理を終了する（図８の円内のＡ参照）。
図８に戻って、補正部５４は、ステップＳ３５２のループを対象領域７８の個数分実行すると、第１実施形態と同様にステップＳ３０２からＳ３１０の処理を実行して、撮像部１４毎に各色差の補正値を算出する。
補正部５４は、補正値を算出すると、補正値の上限を判定する補正値上限判定処理を実行する（Ｓ３６６）。
図１２は、補正部５４が実行する補正値上限判定処理のフローチャートである。補正部５４は、補正値上限判定処理によって、大きい補正値の補正による色の大きな変化による周辺画像７２の画質の劣化を抑制する。
図１２に示すように、補正値上限判定処理では、補正部５４は、算出したＵ値の補正値が予め定められたＵ上限値よりも大きいか否かを判定する（Ｓ４４２）。Ｕ上限値は、例えば、Ｕ値が２５６階調の場合、“３５”である。補正部５４は、Ｕ値の補正値がＵ上限値よりも大きい場合（Ｓ４４２：Ｙｅｓ）、Ｕ値の補正値をＵ上限値に変更する（Ｓ４４４）。補正部５４は、Ｕ値の補正値がＵ上限値以下の場合（Ｓ４４２：Ｎｏ）、Ｕ値の補正値を変更することなく、維持する。
補正部５４は、算出したＶ値の補正値が予め定められたＶ上限値よりも大きいか否かを判定する（Ｓ４４６）。Ｖ上限値は、例えば、Ｖ値が２５６階調の場合、“３５”である。補正部５４は、Ｖ値の補正値がＶ上限値よりも大きい場合（Ｓ４４６：Ｙｅｓ）、Ｖ値の補正値をＶ上限値に変更する（Ｓ４４８）。補正部５４は、Ｖ値の補正値がＶ上限値以下の場合（Ｓ４４６：Ｎｏ）、Ｖ値の補正値を変更することなく、維持する。
これにより、補正部５４は、補正値上限判定処理を終了する。
図８に戻って、補正部５４は、算出した補正値に基づいて、または、上限値に変更した補正値に基づいて、撮像画像７０の色差を補正して（Ｓ３１２）、色差補正処理を終了する。
上述したように第２実施形態では、補正部５４が、色差平均値判定処理を実行するので、撮像画像７０が路面を含まない場合等に設定された誤った補正値の設定を禁止して、補正による周辺画像７２の画質の劣化を抑制する。
補正部５４は、色差ばらつき判定処理を実行するので、撮像画像７０に白線等を含む場合の色差の補正値の設定を禁止して、当該補正値に起因する擬色を防止して、補正による周辺画像７２の画質の劣化を抑制する。
補正部５４は、色差差分判定処理を実行するので、一の撮像画像７０内の色差が一様でなく、ばらつきの大きい場合等に設定される誤った補正値の設定を禁止して、誤った補正値による周辺画像７２の画質の劣化を抑制する。
補正部５４は、補正値上限判定処理を実行するので、大きい補正値の補正による色の大きな変化による周辺画像７２の画質の劣化を抑制する。
上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。
上述の実施形態では、画像生成処理毎に補正値を算出する例を示したが、これに限定されない。例えば、複数回の画像生成処理の間に一度、補正値を算出するようにしてもよく、情報処理装置３６の起動時等のみ補正値を算出するようにしてもよい。
上述の実施形態では、重複領域７４の一部に設定した対象領域７８を輝度及び色差の補正をするための領域とした例を挙げたが、対象領域７８は、重複領域７４の全体に広げて、重複領域７４と一致させてもよい。
上述の第２実施形態では、色差平均値判定処理、色差ばらつき判定処理、色差差分判定処理、及び、補正値上限判定処理の全てを実行する例を挙げたが、これに限定されない。画像処理装置２０は、これらの判定処理のうち、１または複数の判定処理を実行するようにしてもよい。
上述の実施形態では、移動体の例として車両１０を挙げたが、これに限定されない。例えば、移動体は、飛行機、船、二輪車等であってもよい。
上述の実施形態では、補正部５４が、全体色差平均値と撮像画像色差平均値との差分に基づいて、色差を補正する例を挙げたが、これに限定されない。例えば、補正部５４が、全体色差平均値に対する撮像画像色差平均値の比率に基づいて、色差を補正してもよい。この場合、補正部５４は、撮像画像の色差を当該比率で割ることによって、色差を補正してよい。
上述の実施形態では、補正部５４が、全ての対象領域７８の色差の平均値を全体色差平均値として算出する例を挙げたが、全体色差平均値はこれに限定されない。例えば、補正部５４は、全ての撮像画像７０の色差の平均値を全体色差平均値として算出してもよい。
１０…車両
１４…撮像部
２０…画像処理装置
３６…情報処理装置
５０…処理部
５４…補正部
５６…生成部
７０…撮像画像
７２…周辺画像
７４…重複領域
７８…対象領域

Claims (6)

  1. 移動体の外周部に設けられ、互いに重複する重複領域を含み移動体の周辺を撮像した複数の撮像画像を生成する複数の撮像部と、
    前記複数の撮像画像の輝度を第１補正で補正するとともに色差を前記第１補正と異なる第２補正で補正し、補正された前記複数の撮像画像をつなげた周辺画像を生成する処理部と、
    を備え、
    前記処理部は、
    前記第１補正において、前記複数の撮像画像のうち、一の撮像画像の前記重複領域に設定した対象領域の輝度に関する値に基づき他の撮像画像の前記対象領域の輝度を補正し、
    前記第２補正において、前記一の撮像画像及び前記他の撮像画像の色差に関する値に基づき前記一の撮像画像または前記他の撮像画像の色差を補正する
    画像処理装置。
  2. 前記処理部は、前記第２補正において、全ての前記撮像画像または全ての前記対象領域の前記色差の平均値である全体色差平均値と、一の前記撮像画像に含まれる前記対象領域の前記色差の平均値である撮像画像色差平均値とに基づいて、当該撮像画像の前記色差を補正する
    請求項１に記載の画像処理装置。
  3. 前記処理部は、前記対象領域の前記色差の平均値と、予め定められた色差平均閾値とに基づいて、前記第２補正を実行するか否かを判定する
    請求項１または２に記載の画像処理装置。
  4. 前記処理部は、前記対象領域の前記色差のばらつきと、予め定められたばらつき閾値とに基づいて、前記第２補正を実行するか否かを判定する
    請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記処理部は、一の前記撮像画像に含まれる複数の前記対象領域の前記色差の平均値の差分と、予め定められた差分閾値とに基づいて、前記第２補正を実行するか否かを判定する
    請求項１から４のいずれか１項に記載の画像処理装置。
  6. 前記処理部は、前記色差を補正するために設定した補正値と、予め定められた上限補正値とに基づいて、前記色差の補正値を前記上限補正値に変更するか否かを判定する
    請求項１から５のいずれか１項に記載の画像処理装置。
JP2017114665A 2017-06-09 2017-06-09 画像処理装置 Pending JP2018206323A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017114665A JP2018206323A (ja) 2017-06-09 2017-06-09 画像処理装置
CN201810443250.0A CN109040517A (zh) 2017-06-09 2018-05-10 图像处理装置
US15/988,466 US20180359398A1 (en) 2017-06-09 2018-05-24 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017114665A JP2018206323A (ja) 2017-06-09 2017-06-09 画像処理装置

Publications (1)

Publication Number Publication Date
JP2018206323A true JP2018206323A (ja) 2018-12-27

Family

ID=64563883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017114665A Pending JP2018206323A (ja) 2017-06-09 2017-06-09 画像処理装置

Country Status (3)

Country Link
US (1) US20180359398A1 (ja)
JP (1) JP2018206323A (ja)
CN (1) CN109040517A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672859A (zh) * 2018-12-13 2019-04-23 中国航空工业集团公司上海航空测控技术研究所 一种用于民用飞机的模拟视频监视系统
JP2022063623A (ja) * 2020-10-12 2022-04-22 アズビル株式会社 測定装置および測定方法
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007267343A (ja) * 2006-03-01 2007-10-11 Nissan Motor Co Ltd 車両周辺画像提供装置および方法
JP2011013929A (ja) * 2009-07-02 2011-01-20 Sanyo Electric Co Ltd 画像処理装置
JP2014110627A (ja) * 2012-12-04 2014-06-12 Aisin Seiki Co Ltd 車両の制御装置、及び制御方法
JP2016208306A (ja) * 2015-04-23 2016-12-08 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP4783985B2 (ja) * 2001-02-28 2011-09-28 日本電気株式会社 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム
JP2010113424A (ja) * 2008-11-04 2010-05-20 Fujitsu Ltd 画像合成装置及び画像合成方法
JPWO2015064095A1 (ja) * 2013-10-29 2017-03-09 京セラ株式会社 画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法
CN106373091B (zh) * 2016-09-05 2019-05-07 山东省科学院自动化研究所 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆
CN110517188B (zh) * 2018-05-22 2024-02-23 杭州海康威视数字技术股份有限公司 确定鸟瞰图像的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007267343A (ja) * 2006-03-01 2007-10-11 Nissan Motor Co Ltd 車両周辺画像提供装置および方法
JP2011013929A (ja) * 2009-07-02 2011-01-20 Sanyo Electric Co Ltd 画像処理装置
JP2014110627A (ja) * 2012-12-04 2014-06-12 Aisin Seiki Co Ltd 車両の制御装置、及び制御方法
JP2016208306A (ja) * 2015-04-23 2016-12-08 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法

Also Published As

Publication number Publication date
US20180359398A1 (en) 2018-12-13
CN109040517A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
US10308283B2 (en) Parking assist apparatus
US11258953B2 (en) Image processing device
JP5783279B2 (ja) 画像処理装置
US10007853B2 (en) Image generation device for monitoring surroundings of vehicle
WO2014068856A1 (ja) 画像生成装置、および画像生成プログラム製品
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP4976685B2 (ja) 画像処理装置
US11082631B2 (en) Image processing device
JP2018206323A (ja) 画像処理装置
JP4801654B2 (ja) 合成画像生成装置
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
JP7013287B2 (ja) 画像処理装置
US20180288371A1 (en) Assistance apparatus
US10821900B2 (en) Image processing device
JP7314518B2 (ja) 周辺監視装置
JP2011151731A (ja) 車両周辺監視装置
JP2018152014A (ja) 車両用映像表示装置
CN111937378B (zh) 图像处理装置
JP2021002790A (ja) カメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラム
JP2017224998A (ja) 周辺監視装置
CN113812144A (zh) 生成车辆周围环境图像的方法和装置
KR20170027454A (ko) 영상 재생방법 및 영상 재생시스템

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20170629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210907