JP2023122897A - 画像合成装置 - Google Patents

Abstract

【課題】合成された複数の画像間の明るさや色のばらつきを低減することができる画像合成装置を提供する。【解決手段】画像合成装置は、観測範囲の明るさと色の分布を画像信号に変換する撮像部と、受光素子が画像信号を生成する際に、明るさを画像信号に変換する第１の変換特性と色を画像信号に変換する第２の変換特性との設定指示を取得して、変換特性を設定する設定部とを備える撮像装置と、複数の撮像装置から取得した画像信号の明るさと色のばらつきに係る評価値を算出する分析部と、評価値に基づいて、画像信号の明るさと色のばらつきがより小さくなるように、複数の撮像装置の変換特性をそれぞれ決定する決定部と、決定部が決定した変換特性の設定を設定部に指示する設定指示部と、画像信号を合成した合成画像を生成する合成部と、合成画像を表示装置に表示させる表示部とを備える画像処理装置とを備える。【選択図】図３

Description

本開示は、画像合成装置に関する。

近年、車両を運転する際に、運転を支援するシステムが普及している。例えば、車両周辺の画像情報を取得するカメラを、車両の前部、左側部、右側部、後部に設置して、各カメラが取得した画像情報を合成することによって、あたかも車両の周辺を真上から見た画像を生成して表示することにより、駐車を支援するシステムが実用化されている。

特開２０２０－１２０３１６号公報

特許文献１に開示された車両周辺モニタ装置では、車両から異なる方向（前方、左側方、右側方、後方）を撮影した複数の画像の一部が、他車の前照灯等によって明るくなっている場合に、複数の画像の観測範囲をそれぞれ照明する照明の点灯／消灯を制御している。しかしながら、車両の異なる方向を撮影した複数の画像を合成した際に、画像間の明るさや色のばらつきが発生した場合に、ばらつきを低減することについては言及されていない。

本開示は、合成された複数の画像間の明るさや色のばらつきを低減することができる画像合成装置を提供することを目的とする。

本開示に係る画像合成装置は、撮像装置と画像処理装置とを備える。撮像装置は、観測範囲の明るさおよび色の分布を画像信号に変換する撮像部と、撮像部が画像信号を生成する際の、明るさを画像信号に変換する第１の変換特性と色を画像信号に変換する第２の変換特性との設定指示を取得して、第１の変換特性と第２の変換特性とを設定する設定部と、を備える。画像処理装置は、複数の撮像装置から取得した複数の画像信号の各々の明るさおよび色の分布を分析する分析部と、分析部の分析結果に基づいて、撮像装置毎に、第１の変換特性および第２の変換特性を決定する決定部と、決定部が決定した第１の変換特性および第２の変換特性の設定を、設定部に指示する設定指示部と、画像信号を合成した合成画像を生成する合成部と、合成部が合成した合成画像を表示装置に表示させる表示部と、を備える画像処理装置と、を備える。

本開示に係る画像合成装置によれば、合成された複数の画像間の明るさや色のばらつきを低減することができる。

図１は、第１の実施形態の画像合成装置が備えるカメラの設置状態の一例を示す図である。 図２は、第１の実施形態の画像合成装置が生成する合成画像の一例を示す図である。 図３は、第１の実施形態の画像合成装置のハードウエア構成の一例を示すハードウエアブロック図である。 図４は、合成画像における画像間の明るさのばらつきを低減させる方法を説明する図である。 図５は、合成画像における画像間の色のばらつきを低減させる方法を説明する図である。 図６は、第１の実施形態の画像合成装置の機能構成の一例を示す機能ブロック図である。 図７は、第１の実施形態の画像合成装置が行う処理の流れの一例を示すフローチャートである。 図８は、第１の実施形態の変形例の画像合成装置のハードウエア構成の一例を示すハードウエアブロック図である。 図９は、第２の実施形態の画像合成装置のハードウエア構成の一例を示すハードウエアブロック図である。 図１０は、第２の実施形態の画像合成装置の機能構成の一例を示す機能ブロック図である。 図１１は、第２の実施形態の画像合成装置が行う処理の流れの一例を示すフローチャートである。 図１２は、第２の実施形態の画像合成装置が行う照明点消灯処理の流れの一例を示すフローチャートである。 図１３は、第２の実施形態の変形例の画像合成装置のハードウエア構成の一例を示すハードウエアブロック図である。

（第１の実施形態）
以下、図面を参照しながら、本開示に係る画像合成装置の第１の実施形態について説明する。

（画像合成装置が搭載された車両の説明）
図１を用いて、画像合成装置２０ａが搭載された車両１５におけるカメラの設置状態を説明する。図１は、第１の実施形態の画像合成装置が備えるカメラの設置状態の一例を示す図である。

車両１５には、複数のカメラ２１ａ，２１ｂ，２１ｃ，２１ｄが設置されている。カメラ２１ａ，２１ｂ，２１ｃ，２１ｄは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の受光素子を内蔵するデジタルカメラである。複数のカメラ２１ａ，２１ｂ，２１ｃ，２１ｄは、明るさを画像信号に変換する第１の変換特性と、色を画像信号に変換する第２の変換特性とを除いて、いずれも同じ仕様を有する。以下、特定のカメラに関して説明する場合を除き、単にカメラ２１と呼ぶ。また、カメラ２１ａ，２１ｂ，２２１，２１ｄは、アナログカメラでもよい。また、カメラの台数は４台に限定されるものではない。

カメラ２１は、所定のフレームレートでカラー画像データを出力する。カメラ２１は、それぞれ、広角レンズまたは魚眼レンズを備え、水平方向の略１８０°の範囲を撮影する。また、カメラ２１の光軸は、斜め下方に向けて設定されている。なお、カメラ２１は、後述するＥＣＵ２７（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）から指示された撮像タイミングで、同時に撮像を行う。なお、カメラ２１は、本開示における撮像装置の一例である。

カメラ２１ａは、車両１５の前方端部、例えばフロントバンパやフロントグリルに設置されて、車両１５の前方直近の観測範囲１１ａを撮像する。

カメラ２１ｂは、車両１５の左側端部、例えば左ドアミラーに設置されて、車両１５の左側方直近の観測範囲１１ｂを撮像する。

カメラ２１ｃは、車両１５の右側端部、例えば右ドアミラーに設置されて、車両１５の右側方直近の観測範囲１１ｃを撮像する。

カメラ２１ｄは車両１５の、後方端部、例えばリアバンパに設置されて、車両１５の後方直近の観測範囲１１ｄを撮像する。

なお、隣接するカメラの観測範囲は、互いに重複するように配置される。例えば、カメラ２１ａの観測範囲１１ａとカメラ２１ｂの観測範囲１１ｂとは、一部が重複している。カメラ２１ｂの観測範囲１１ｂとカメラ２１ｄの観測範囲１１ｄとは、一部が重複している。カメラ２１ｄの観測範囲１１ｄとカメラ２１ｃの観測範囲１１ｃとは、一部が重複している。カメラ２１ｃの観測範囲１１ｃとカメラ２１ａの観測範囲１１ａとは、一部が重複している。

（画像合成装置が合成する合成画像の説明）
図２を用いて、画像合成装置２０ａが合成する合成画像１０について説明する。図２は、第１の実施形態の画像合成装置が生成する合成画像の一例を示す図である。

画像合成装置２０ａは、複数のカメラ２１ａ，２１ｂ，２１ｃ，２１ｄが出力したカラー画像データを、それぞれ、車両１５の真上から見た画像に座標変換する。このとき画像合成装置２０ａは、カメラ２１が撮像したカラー画像データを路面に投影する座標変換を行う。

さらに、画像合成装置２０ａは、座標変換された画像を、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄの設置位置に応じた位置関係で合成することによって、図２に示す合成画像１０を生成する。

合成画像１０は、車両１５の周辺をあたかも真上から見た状態を示す仮想的な画像である。合成画像１０は、部分画像１２ａ，１２ｂ，１２ｃ，１２ｄと車両アイコン１６とを含む。

部分画像１２ａは、カメラ２１ａが撮像したカラー画像信号を座標変換した画像である。

部分画像１２ｂは、カメラ２１ｂが撮像したカラー画像信号を座標変換した画像である。

部分画像１２ｃは、カメラ２１ｃが撮像したカラー画像信号を座標変換した画像である。

部分画像１２ｄは、カメラ２１ｄが撮像したカラー画像信号を座標変換した画像である。

車両アイコン１６は、車両１５の上面図を模したＣＧ画像、または車両１５を上空から撮像した実写画像である。車両アイコン１６は、予め画像合成装置２０ａに記憶されている。

画像合成装置２０ａは、車両１５のシフトポジションが後退位置にある場合、または、操作スイッチが押下された場合に、合成画像１０を生成して、生成された合成画像１０を表示装置３２（図３参照）に出力する。車両１５の運転者は、合成画像１０を目視することによって、車両１５の周辺の障害物の状態を確認しつつ、駐車を行う。

（画像合成装置のハードウエア構成の説明）
図３を用いて、画像合成装置２０ａのハードウエア構成を説明する。図３は、第１の実施形態の画像合成装置のハードウエア構成の一例を示すハードウエアブロック図である。

画像合成装置２０ａは、４台のカメラ２１ａ，２１ｂ，２１ｃ，２１ｄと、ＥＣＵ２７と、表示装置３２とを備える。

カメラ２１（２１ａ，２１ｂ，２１ｃ，２１ｄ）は、ＥＣＵ２７からの指示を受けて、明るさを画像信号に変換する第１の変換特性と色を画像信号に変換する第２の変換特性とを設定する。また、カメラ２１は、ＥＣＵ２７から指示を受けたタイミングで撮像を行う。また、カメラ２１は、撮像したカラー画像信号（以下、単に画像信号と呼ぶ）を、ＥＣＵ２７に出力する。

カメラ２１ａは、レンズ２２ａと、受光素子２３ａと、ＩＳＰ２４ａと、シリアライザ２５ａと、コネクタ２６ａとを備える。

レンズ２２ａは、カメラ２１ａが観測している範囲の光学像を受光素子２３ａに結像させる。

受光素子２３ａは、レンズ２２ａが結像した光学像の明るさと色とを電気信号に変換する、いわゆる光電変換を行う。なお、受光素子２３ａは、複数のセルの集合体である。各セルは画素とも呼ばれて、画素数が多いほど、生成される映像信号の解像度が高い。なお、受光素子２３ａは、本開示における撮像部の一例である。

ＩＳＰ２４ａ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）は、受光素子２３ａが生成した画像信号から、例えば、明るさの信号と色の信号とを含むＹＵＶ信号を生成する。ＹＵＶ信号とは、明るさを表す輝度信号（Ｙ）と、輝度信号と青色成分との差（Ｕ）と、輝度信号と赤色成分との差（Ｖ）とを含む信号である。なお、ＩＳＰ２４ａが生成する信号は、ＹＵＶ信号に限定されるものではない。例えば、ＹＣ信号（輝度信号（Ｙ）と色度信号（Ｃ））を生成してもよいし、その他の信号形式であってもよい。なお、ＩＳＰ２４ａが明るさを表す信号と色を表す信号とを生成する際には、光学像の明るさと色とを電気信号に変換する際の変換特性が参照される。本実施形態において、明るさ信号は、明るさを画像信号に変換する際の変換テーブルである第１の変換特性に基づいて生成される。また、色信号は、色を画像信号に変換する際の変換テーブルである第２の変換特性に基づいて生成される。ＩＳＰ２４ａは、具体的な第１の変換特性および第２の変換特性を、ＥＣＵ２７から取得する。なお、ＩＳＰ２４ａは、本開示における設定部の一例である。

シリアライザ２５ａは、画像信号を、パラレル信号からシリアル信号に変換する。

コネクタ２６ａは、カメラ２１とＥＣＵ２７とを電気的に接続する。

カメラ２１ｂは、カメラ２１ａと同様に、レンズ２２ｂと、受光素子２３ｂと、ＩＳＰ２４ｂと、シリアライザ２５ｂと、コネクタ２６ｂとを備える。

カメラ２１ｃは、カメラ２１ａと同様に、レンズ２２ｃと、受光素子２３ｃと、ＩＳＰ２４ｃと、シリアライザ２５ｃと、コネクタ２６ｃとを備える。

カメラ２１ｄは、カメラ２１ａと同様に、レンズ２２ｄと、受光素子２３ｄと、ＩＳＰ２４ｄと、シリアライザ２５ｄと、コネクタ２６ｄとを備える。

以下、レンズ２２ａ，２２ｂ，２２ｃ，２２ｄを総称して、単にレンズ２２と呼ぶ場合がある。また、受光素子２３ａ，２３ｂ，２３ｃ，２３ｄを総称して、単に受光素子２３と呼ぶ場合がある。また、ＩＳＰ２４ａ，２４ｂ，２４ｃ，２４ｄを総称して、単にＩＳＰ２４と呼ぶ場合がある。また、シリアライザ２５ａ，２５ｂ，２５ｃ，２５ｄを総称して、単にシリアライザ２５と呼ぶ場合がある。

ＥＣＵ２７は、カメラ２１が生成した複数の画像を取得して、取得した複数の画像の明るさと色の分布を分析する。そして、ＥＣＵ２７は、取得した複数の画像の間に、明るさや色の分布にばらつきがある場合に、ばらつきを低減するための撮像パラメータ（例えばゲイン）の設定を各カメラ２１に指示する。また、ＥＣＵ２７は、カメラ２１から取得した複数の画像を１枚に合成した合成画像１０を生成する。そして、ＥＣＵ２７は、合成画像１０を、表示装置３２に表示させる。なお、ＥＣＵ２７は、本開示における画像処理装置の一例である。

ＥＣＵ２７は、コネクタ２８ａ，２８ｂ，２８ｃ，２８ｄと、デシリアライザ２９と、画像処理ＩＣ３０と、マイコン３１とを備える。

コネクタ２８ａは、カメラ２１とＥＣＵ２７とを電気的に接続する。

デシリアライザ２９は、画像信号を、シリアル信号からパラレル信号に変換する。

画像処理ＩＣ３０は、カメラ２１が生成した画像信号を、明るさを表す輝度信号Ｙと、色を表す色信号Ｕや色信号Ｃとに分離する。

マイコン３１は、画像処理ＩＣ３０と協働することによって、予め設定された信号処理を行う。具体的には、マイコン３１は、画像処理ＩＣ３０が生成した輝度信号Ｙと色信号Ｕや色信号Ｃとを分析することによって、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄが撮像した画像から生成された画像信号の明るさのばらつきと色のばらつきとを分析する。また、マイコン３１は、画像信号の明るさのばらつきと色のばらつきとに基づいて、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄが映像信号を生成する際に、明るさを画像信号に変換する第１の変換特性と、色を画像信号に変換する第２の変換特性とを設定する。また、マイコン３１は、設定した第１の変換特性の設定と第２の変換特性の設定とを、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄのＩＳＰ２４ａ，２４ｂ，２４ｃ，２４ｄにそれぞれ指示する。
なお、マイコン３１が行う具体的な信号処理の内容については後述する。

表示装置３２は、ＥＣＵ２７が生成した合成画像１０を表示する。表示装置３２は、例えば、液晶ディスプレイや有機ＥＬディスプレイである。

また、画像合成装置２０ａは、カメラ２１に流れる電流を検出することによって、カメラ２１が正常に動作しているかを確認する機能を備えてもよい。また、カメラ２１がＡＳＩＬ（Ａｕｔｏｍｏｔｉｖｅ Ｓａｆｅｔｙ Ｉｎｔｅｇｒｉｔｙ Ｌｅｖｅｌ）機能を備えている場合は、当該ＡＳＩＬ機能を利用してもよい。

また、図３には図示しないが、画像合成装置２０ａは、更に、画像合成装置２０ａに動作の開始を指示する操作スイッチを備える。なお、操作スイッチは、車両１５のシフトポジションが後退位置にあることを検出するスイッチであってもよいし、車両１５の運転者が、任意のタイミングで押下可能なスイッチであってもよい。

（明るさのばらつきの低減方法）
図４を用いて、画像合成装置２０ａが、合成画像１０を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの明るさのばらつきを低減させる方法を説明する。図４は、合成画像における画像間の明るさのばらつきを低減させる方法を説明する図である。

グラフ４０ａは、カメラ２１ａが生成した輝度信号Ｙ１のヒストグラムｆ（ｐ）の一例である。グラフ４０ａの横軸は画素値ｐを表し、縦軸は、輝度信号Ｙ１における画素値ｐを有する画素の頻度ｆを表す。

画像処理ＩＣ３０は、カメラ２１ａが生成した輝度信号Ｙ１のヒストグラムｆ（ｐ）から、明るさ平均値Ａ１を算出する。

グラフ４０ｂは、カメラ２１ｂが生成した輝度信号Ｙ２のヒストグラムｆ（ｐ）の一例である。グラフ４０ｂの横軸は画素値ｐを表し、縦軸は、輝度信号Ｙ２における画素値ｐを有する画素の頻度ｆを表す。

画像処理ＩＣ３０は、カメラ２１ｂが生成した輝度信号Ｙ２のヒストグラムｆ（ｐ）から、明るさ平均値Ａ２を算出する。

グラフ４０ｃは、カメラ２１ｃが生成した輝度信号Ｙ３のヒストグラムｆ（ｐ）の一例である。グラフ４０ｃの横軸は画素値ｐを表し、縦軸は、輝度信号Ｙ３における画素値ｐを有する画素の頻度ｆを表す。

画像処理ＩＣ３０は、カメラ２１ｃが生成した輝度信号Ｙ３のヒストグラムｆ（ｐ）から、明るさ平均値Ａ３を算出する。

グラフ４０ｄは、カメラ２１ｄが生成した輝度信号Ｙ４のヒストグラムｆ（ｐ）の一例である。グラフ４０ｄの横軸は画素値ｐを表し、縦軸は、輝度信号Ｙ４における画素値ｐを有する画素の頻度ｆを表す。

画像処理ＩＣ３０は、カメラ２１ｄが生成した輝度信号Ｙ４のヒストグラムｆ（ｐ）から、明るさ平均値Ａ４を算出する。

更に、画像処理ＩＣ３０は、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄがそれぞれ生成した４つの輝度信号Ｙ１，Ｙ２，Ｙ３，Ｙ４を構成する全ての画素値の明るさ平均値Ａａを算出する。

マイコン３１は、輝度信号Ｙｉ（ｉ＝１～４）から算出された明るさ平均値Ａｉ（ｉ＝１～４）と、明るさ平均値Ａａとの偏差Ｓｉ＝Ａｉ－Ａａ（ｉ＝１～４）をそれぞれ算出する。

算出された偏差Ｓ１，Ｓ２，Ｓ３，Ｓ４が大きいほど、合成画像１２における部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの明るさのばらつきが大きくなる。ここで、部分画像の明るさのばらつきを、式（１）の明るさ評価値Ｋａで表すことにする。

Ｋａ＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４・・・（１）

画像合成装置２０ａは、明るさ評価値Ｋａができるだけ小さくなるように、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄがそれぞれ備えるＩＳＰ２４ａ，２４ｂ，２４ｃ，２４ｄが、明るさに係る信号を生成する際の第１の変換特性である、例えばゲインを調整する。なお、第１の変換特性は、ゲイン以外のパラメータであってもよい。

画像合成装置２０ａは、合成画像１２を表示装置３２に表示している期間に亘って、ゲイン調整を繰り返し行う。これによって、合成画像１２を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの明るさのばらつきが、徐々に減少する。

（色のばらつきの低減方法）
図５を用いて、画像合成装置２０ａが、合成画像１０を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの色のばらつきを低減させる方法を説明する。図５は、合成画像における画像間の色のばらつきを低減させる方法を説明する図である。

グラフ４２ａは、カメラ２１ａが生成した赤色信号Ｃｒ１のヒストグラムｆ（ｐ）の一例である。グラフ４２ａの横軸は画素値ｐを表し、縦軸は、赤色信号Ｃｒ１における画素値ｐを有する画素の頻度ｆを表す。

画像処理ＩＣ３０は、カメラ２１ａが生成した赤色信号Ｃｒ１のヒストグラムｆ（ｐ）から、赤色平均値Ａ１ｒを算出する。

グラフ４２ｂは、カメラ２１ｂが生成した赤色信号Ｃｒ２のヒストグラムｆ（ｐ）の一例である。グラフ４２ｂの横軸は画素値ｐを表し、縦軸は、赤色信号Ｃｒ２における画素値ｐを有する画素の頻度ｆを表す。

画像処理ＩＣ３０は、カメラ２１ｂが生成した赤色信号Ｃｒ２のヒストグラムｆ（ｐ）から、赤色平均値Ａ２ｒを算出する。

グラフ４２ｃは、カメラ２１ｃが生成した赤色信号Ｃｒ３のヒストグラムｆ（ｐ）の一例である。グラフ４２ｃの横軸は画素値ｐを表し、縦軸は、赤色信号Ｃｒ２における画素値ｐを有する画素の頻度ｆを表す。

画像処理ＩＣ３０は、カメラ２１ｃが生成した赤色信号Ｃｒ３のヒストグラムｆ（ｐ）から、赤色平均値Ａ３ｒを算出する。

グラフ４２ｄは、カメラ２１ｄが生成した赤色信号Ｃｒ４のヒストグラムｆ（ｐ）の一例である。グラフ４２ｄの横軸は画素値ｐを表し、縦軸は、赤色信号Ｃｒ３における画素値ｐを有する画素の頻度ｆを表す。

画像処理ＩＣ３０は、カメラ２１ｄが生成した赤色信号Ｃｒ４のヒストグラムｆ（ｐ）から、赤色平均値Ａ４ｒを算出する。

更に、画像処理ＩＣ３０は、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄがそれぞれ生成した４つの赤色信号Ｃｒ１，Ｃｒ２，Ｃｒ３，Ｃｒ４を構成する全ての画素値の赤色平均値Ａｒを算出する。

マイコン３１は、赤色信号Ｃｒｉ（ｉ＝１～４）から算出された赤色平均値Ａｉｒ（ｉ＝１～４）と、赤色平均値Ａｒとの偏差Ｓｉ＝Ａｉｒ－Ａｒ（ｉ＝１～４）をそれぞれ算出する。

算出された偏差Ｓ１，Ｓ２，Ｓ３，Ｓ４が大きいほど、合成画像１２における部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの赤色成分のばらつきが大きくなる。ここで、部分画像の赤色成分のばらつきを、式（２）の赤色評価値Ｋｒで表すことにする。

Ｋｒ＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４・・・（２）

画像合成装置２０ａは、赤色評価値Ｋｒができるだけ小さくなるように、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄがそれぞれ備えるＩＳＰ２４ａ，２４ｂ，２４ｃ，２４ｄが、色に係る信号を生成する際の第２の変換特性である、例えばゲインを調整する。なお、第２の変換特性は、ゲイン以外のパラメータであってもよい。例えば、ホワイトバランスや、色相、彩度、明度等を調整してもよい。

画像合成装置２０ａは、合成画像１２を表示装置３２に表示している期間に亘って、ゲイン調整を繰り返し行う。これによって、合成画像１２を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの赤色成分のばらつきが、徐々に減少する。

画像合成装置２０ａは、全く同様にして、緑色評価値Ｋｇ、青色評価値Ｋｂを算出する。緑色評価値Ｋｇは、緑色平均値Ａｇと緑色平均値Ａｉｇ（ｉ＝１～４）との偏差の総和である。青色評価値Ｋｂは、青色平均値Ａｂと青色平均値Ａｉｂ（ｉ＝１～４）との偏差の総和である。画像合成装置２０ａは、緑色評価値Ｋｇができるだけ小さくなるように、また、青色評価値Ｋｂができるだけ小さくなるように、ＩＳＰ２４ａ，２４ｂ，２４ｃ，２４ｄが、色に係る信号を生成する際の第２の変換特性である、例えばゲインを調整する。なお、以下、赤色平均値Ａｒ、緑色平均値Ａｇ、青色平均値Ａｂを総称して特定色平均値Ａｒ，Ａｇ，Ａｂと呼ぶ場合がある。また、赤色平均値Ａｉｒ、緑色平均値Ａｉｇ、青色平均値Ａｉｂを総称して特定色平均値Ａｉｒ，Ａｉｇ，Ａｉｂと呼ぶ場合がある。また、赤色平均値Ｋｒ、緑色評価値Ｋｇ、青色評価値Ｋｂを総称して特定色評価値Ｋｒ，Ｋｇ，Ｋｂと呼ぶ場合がある。

（画像合成装置の機能構成）
図６を用いて、画像合成装置２０ａの機能構成を説明する。図６は、第１の実施形態の画像合成装置の機能構成の一例を示す機能ブロック図である。

画像合成装置２０ａのＥＣＵ２７は、当該ＥＣＵ２７に記憶された制御プログラム、ＥＣＵ２７が取得した制御プログラムを実行することによって、図６に示す画像信号取得部５１と、明るさ分布分析部５２と、色分布分析部５３と、撮像パラメータ調整量算出部５４と、撮像パラメータ調整指示部５６と、調整結果判定部５７と、画像合成部５８と、合成画像出力部５９とを機能部として実現する。

画像信号取得部５１は、カメラ２１から画像信号を取得する。

明るさ分布分析部５２は、画像信号取得部５１が取得した複数の画像信号の明るさの分布を分析する。より具体的には、明るさ分布分析部５２は、複数の画像信号の明るさのばらつきに係る明るさ評価値Ｋａを算出する。明るさ評価値Ｋａは、例えば、複数の画像信号の全てに対する明るさ平均値Ａａと、複数の画像信号の各々の明るさ平均値Ａｉ（ｉ＝１～４）との偏差の総和である。なお、明るさ分布分析部５２は、本開示における分析部の一例である。

色分布分析部５３は、画像信号取得部５１が取得した複数の画像信号の色の分布を分析する。より具体的には、色分布分析部５３は、複数の画像信号の色のばらつきに係る特定色評価値Ｋｒ，Ｋｇ，Ｋｂを算出する。特定色評価値Ｋｒ，Ｋｇ，Ｋｂは、例えば、複数の画像信号の全てに対する特定色平均値Ａｒ，Ａｇ，Ａｂと、複数の画像信号の各々の特定色平均値Ａｉｒ，Ａｉｇ，Ａｉｂ（ｉ＝１～４）との偏差の総和である。なお、色分布分析部５３は、本開示における分析部の一例である。

撮像パラメータ調整量算出部５４は、明るさ分布分析部５２が算出した明るさ評価値Ｋａ、および色分布分析部５３が算出した特定色評価値Ｋｒ，Ｋｇ，Ｋｂに基づいて、複数の画像信号の明るさのばらつき、および色のばらつきがより小さくなるように、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄ毎に、明るさを画像信号に変換する第１の変換特性、および色を画像信号に変換する第２の変換特性を決定する。より具体的には、撮像パラメータ調整量算出部５４は、複数の画像信号の全てに対する明るさ平均値Ａａと、複数の画像信号の各々の明るさ平均値Ａｉ（ｉ＝１～４）との偏差の総和がより小さくなるように、第１の変換特性を決定する。また、撮像パラメータ調整量算出部５４は、複数の画像信号の全てに対する特定色平均値Ａｒ，Ａｇ，Ａｂと、複数の画像信号の各々の特定色平均値Ａｉｒ，Ａｉｇ，Ａｉｂ（ｉ＝１～４）との偏差の総和がより小さくなるように、第２の変換特性を決定する。なお、撮像パラメータ調整量算出部５４は、本開示における決定部の一例である。

撮像パラメータ調整指示部５６は、撮像パラメータ調整量算出部５４が決定した第１の変換特性および第２の変換特性の設定を、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄに指示する。なお、撮像パラメータ調整指示部５６は、本開示における設定指示部の一例である。

調整結果判定部５７は、撮像パラメータ調整指示部５６からの指示に基づいて、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄが出力した画像信号の明るさのばらつき、および色のばらつきが、より小さくなったかを判定する。より具体的には、調整結果判定部５７は、複数の画像信号の全てに対する明るさの平均値と、複数の画像信号の各々の明るさの平均値との偏差の総和がより小さくなったかを判定する。また、調整結果判定部５７は、複数の画像信号の全てに対する特定色の平均値と、複数の画像信号の各々の特定色の平均値との偏差の総和がより小さくなったかを判定する。なお、調整結果判定部５７は、本開示における判定部の一例である。

画像合成部５８は、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄが出力した画像信号を合成した合成画像１０を生成する。なお、画像合成部５８は、本開示における合成部の一例である。

合成画像出力部５９は、画像合成部５８が合成した合成画像１０を表示装置３２に表示させる。なお、合成画像出力部５９は、本開示における表示部の一例である。

（画像合成装置が行う処理の流れ）
図７を用いて、画像合成装置２０ａが行う処理の流れを説明する。図７は、第１の実施形態の画像合成装置が行う処理の流れの一例を示すフローチャートである。

ＥＣＵ２７は、画像合成装置２０ａの合成画像表示機能が作動中であるかを判定する（ステップＳ１１）。画像合成装置２０ａの合成画像表示機能が作動中であると判定される（ステップＳ１１：Ｙｅｓ）とステップＳ１２に進む。一方、画像合成装置２０ａの合成画像表示機能が作動中であると判定されない（ステップＳ１１：Ｎｏ）とステップＳ１１を繰り返す。

ステップＳ１１において、画像合成装置２０ａの合成画像表示機能が作動中であると判定されると、画像信号取得部５１は、カメラ２１から、画像Ｉｉ（ｉ＝１～４）を取得する（ステップＳ１２）。なお、画像Ｉｉは明るさと色とを含む画像信号である。

明るさ分布分析部５２は、明るさ平均値Ａｉ（ｉ＝１～４）を算出する（ステップＳ１３）。

色分布分析部５３は、特定色平均値Ａｉｒ，Ａｉｇ，Ａｉｂ（ｉ＝１～４）を算出する（ステップＳ１４）。

明るさ分布分析部５２は、明るさ評価値Ｋａを算出する。また、色分布分析部５３は、特定色評価値Ｋｒ，Ｋｇ，Ｋｂを算出する（ステップＳ１５）。

撮像パラメータ調整量算出部５４は、明るさ評価値Ｋａと特定色評価値Ｋｒ，Ｋｇ，Ｋｂとがより小さくなるように、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄのゲインを設定する（ステップＳ１６）。

撮像パラメータ調整指示部５６は、ステップＳ１６で設定したゲインを、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄに適用する（ステップＳ１７）。

画像信号取得部５１は、カメラ２１から、ステップＳ１７で適用したゲインで生成された画像Ｉｉ（ｉ＝１～４）を取得する（ステップＳ１８）。

明るさ分布分析部５２は、明るさ平均値Ａｉ（ｉ＝１～４）を算出する。また、色分布分析部５３は、特定色平均値Ａｉｒ，Ａｉｇ，Ａｉｂ（ｉ＝１～４）を算出する（ステップＳ１９）。

明るさ分布分析部５２は、明るさ評価値Ｋａを算出する。また、色分布分析部５３は、特定色評価値Ｋｒ，Ｋｇ，Ｋｂを算出する（ステップＳ２０）。

画像合成部５８は、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄが出力した画像信号を合成した合成画像１０を生成する（ステップＳ２１）。

合成画像出力部５９は、画像合成部５８が合成した合成画像１０を表示装置３２に表示させる（ステップＳ２２）。

ＥＣＵ２７は、画像合成装置２０ａの合成画像表示機能が作動中であるかを判定する（ステップＳ２３）。画像合成装置２０ａの合成画像表示機能が作動中であると判定される（ステップＳ１３：Ｙｅｓ）とステップＳ２４に進む。一方、画像合成装置２０ａの合成画像表示機能が作動中であると判定されない（ステップＳ２３：Ｎｏ）と、画像合成装置２０ａは図７の処理を終了する。

ステップＳ２３において、画像合成装置２０ａの合成画像表示機能が作動中であると判定されると、調整結果判定部５７は、明るさ評価値Ｋａおよび特定色評価値Ｋｒ，Ｋｇ，Ｋｂが、前回よりも小さくなったかを判定する（ステップＳ２４）。明るさ評価値Ｋａおよび特定色評価値Ｋｒ，Ｋｇ，Ｋｂが、前回よりも小さくなったと判定される（ステップＳ２４：Ｙｅｓ）とステップＳ１８に戻って、新たな画像Ｉｉを取得する。一方、明るさ評価値Ｋａおよび特定色評価値Ｋｒ，Ｋｇ，Ｋｂが、前回よりも小さくなったと判定されない（ステップＳ２４：Ｎｏ）とステップＳ１６に戻って、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄのゲインの再設定を行う。

（本実施の形態の作用効果）
以上説明したように、本実施形態に係る画像合成装置２０ａは、複数のカメラ２１（撮像装置）と、ＥＣＵ２７（画像処理装置）とを備える。カメラ２１は、観測範囲の明るさおよび色の分布を画像信号に変換する受光素子２３（撮像部）と、受光素子２３が画像信号を生成する際に、明るさを画像信号に変換する第１の変換特性と色を画像信号に変換する第２の変換特性との設定指示を取得して、第１の変換特性と第２の変換特性とを設定するＩＳＰ２４（設定部）と、を備える。ＥＣＵ２７は、複数のカメラ２１から取得した複数の画像信号の明るさのばらつきに係る明るさ評価値Ｋａを算出する明るさ分布分析部５２（分析部）と、複数の画像信号の色のばらつきに係る特定色評価値Ｋｒ，Ｋｇ，Ｋｂを算出する色分布分析部５３（分析部）と、明るさ評価値Ｋａと特定色評価値Ｋｒ，Ｋｇ，Ｋｂとに基づいて、複数のカメラ２１の各々に対して、複数の画像信号の明るさのばらつき、および色のばらつきがより小さくなるように、第１の変換特性および第２の変換特性を決定する撮像パラメータ調整量算出部５４（決定部）と、撮像パラメータ調整量算出部５４が決定した第１の変換特性および第２の変換特性の設定を、ＩＳＰ２４に指示する撮像パラメータ調整指示部５６（設定指示部）と、画像信号を合成した合成画像１０を生成する画像合成部５８（合成部）と、画像合成部５８が合成した合成画像１０を表示装置３２に表示させる合成画像出力部５９（表示部）と、を備える。したがって、合成画像１０を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの明るさと色のばらつきを低減することができる。

また、本実施形態に係る画像合成装置２０ａにおいて、撮像パラメータ調整量算出部５４（決定部）は、複数の画像信号の全てに対する明るさ平均値Ａａと、複数の画像信号の各々の明るさ平均値Ａｉとの偏差の総和がより小さくなるように、第１の変換特性を決定する。したがって、簡便な演算で、合成画像１０を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの明るさのばらつきを低減することができる。

また、本実施形態に係る画像合成装置２０ａにおいて、撮像パラメータ調整量算出部５４（決定部）は、複数の画像信号の全てに対する特定色平均値Ａｒ，Ａｇ，Ａｂと、複数の画像信号の各々の特定色平均値Ａｉｒ，Ａｉｇ，Ａｉｂとの偏差の総和がより小さくなるように、第２の変換特性を決定する。したがって、簡便な演算で、合成画像１０を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの色のばらつきを低減することができる。

また、本実施形態に係る画像合成装置２０ａにおいて、特定色は、画像信号のＲ、Ｇ、Ｂ成分の少なくとも１つである。したがって、特定の色に限定して、合成画像１０を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの特定の色のばらつきを低減することができる。

また、本実施形態に係る画像合成装置２０ａにおいて、ＥＣＵ２７（画像処理装置）は、撮像パラメータ調整指示部５６（設定指示部）の指示に基づいて受光素子２３（撮像部）が撮像した複数の画像信号の明るさのばらつき、および色のばらつきが、撮像パラメータ調整指示部５６の指示前よりも小さくなったかを判定する調整結果判定部５７（判定部）を更に備える。したがって、画像信号の明るさのばらつき、および色のばらつきを、撮像環境によらずに低減することができる。

なお、ここでは、画像の明るさのばらつきと色のばらつきの両方を低減させるものとして説明したが、明るさのばらつきのみ、または色のばらつきのみを低減させるようにしてもよい。また、カメラ２１から取得した複数の画像信号のうち、いずれか１部の画像信号のみに対して、明るさのばらつきや色のばらつきを低減させるようにしてもよい。更に、色のばらつきの低減を、特定の色のみに対して行ってもよい。どの画像信号に対して、どのようなばらつきの低減を行うかは、例えば、輝度信号のヒストグラムの形状や、色信号のヒストグラムの形状を分析することによって決定することができる。例えば、他の画像信号と比べて、明らかに形状が異なるヒストグラムを有する画像信号が存在した場合、当該画像信号のみに対して、他の画像信号との明るさのばらつきや、他の画像信号との色のばらつきを低減させるようにしてもよい。

また、前記した明るさと色のばらつきの低減は、カメラ１台とＥＣＵ２７と表示装置３２とを備える非図示の画像表示装置に適用することも可能である。

例えば、車両１５が備える、後退時に車両１５の後方の画像を撮像して表示する、いわゆるバックモニタにおいて、車両１５の後方に、車両１５に向けて前照灯を点灯させた別の車両が存在する場合に、車両１５の後方の画像を撮像して表示すると、表示された画像は、前照灯の明るさの影響で視認性が悪化する場合がある。このような場合、画像表示装置は、撮像された画像の明るさの平均値と、予め設定された、望ましい画像の明るさの平均値との偏差が小さくなるように、第１の変換特性を再設定して撮像を行うことにより、視認性の高い画像を得ることができる。

また、夜間にバックモニタを起動した際に、車両１５のテールランプやブレーキランプによって、撮像された画像の赤色成分が強くなる場合がある。このような場合、画像表示装置は、撮像された画像の赤色平均値と、予め設定された、望ましい画像の赤色平均値との偏差が小さくなるように、第２の変換特性を再設定して撮像を行うことにより、視認性の高い画像を得ることができる。

更に、路面に特定色のペイントがなされている場合、バックモニタを起動すると、特定色の影響で画像の視認性が悪化する場合がある。このような場合、画像表示装置は、撮像された画像の特定色平均値と、予め設定された、望ましい画像の特定色平均値との偏差が小さくなるように、第２の変換特性を再設定して撮像を行うことにより、視認性の高い画像を得ることができる。

（第１の実施形態の変形例）
図８を用いて、画像合成装置２０ａの変形例を説明する。図８は、第１の実施形態の変形例の画像合成装置のハードウエア構成の一例を示すハードウエアブロック図である。

図８に示す画像合成装置２０ｂは、画像合成装置２０ａにおいて、カメラ２１が備えていたＩＳＰ２４を、ＥＣＵ２７に内蔵した構成を有する。

ＥＣＵ２７は、カメラ２１（２１ａ，２１ｂ，２１ｃ，２１ｄ）から受光素子２３（２３ａ，２３ｂ，２３ｃ，２３ｄ）が出力する電気信号を取得する。そして、ＥＣＵ２７が内蔵するＩＳＰ２４によって、電気信号から明るさと色とを含む画像信号を生成する。なお、図８に示すＩＳＰ２４は、カメラ２１ａから取得した電気信号から画像信号を生成する非図示のＩＳＰ２４ａと、カメラ２１ｂから取得した電気信号から画像信号を生成する非図示のＩＳＰ２４ｂと、カメラ２１ｃから取得した電気信号から画像信号を生成する非図示のＩＳＰ２４ｃと、カメラ２１ｄから取得した電気信号から画像信号を生成する非図示のＩＳＰ２４ｄとを備える。

マイコン３１は、ＩＳＰ２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）に対して、第１の変特性と第２の変換特性の設定を指示する。

なお、ＥＣＵ２７の機能構成、および画像合成装置２０ｂが行う処理の流れは、第１の変換特性および第２の変換特性の設定がＥＣＵ２７内で実行される点を除くと、第１の実施形態で説明した通りである。そのため、画像合成装置２０ｂの機能構成および処理の流れの詳細な説明は省略する。

このように、ＩＳＰ２４をＥＣＵ２７の内部に備えることによって、カメラ２１の構成を簡素化することができるため、カメラ２１を小型化することができる。したがって、カメラ２１を車両１５に搭載する際の搭載性が向上するとともに、搭載場所の自由度が向上する。

（第２の実施形態）
以下、図面を参照しながら、本開示に係る画像合成装置の第２の実施形態について説明する。

（画像合成装置のハードウエア構成の説明）
図９を用いて、第２の実施形態の画像合成装置２０ｃのハードウエア構成を説明する。説明する。図９は、第２の実施形態の画像合成装置のハードウエア構成の一例を示すハードウエアブロック図である。

画像合成装置２０ｃは、４台のカメラ２１ａ，２１ｂ，２１ｃ，２１ｄと、ＥＣＵ２７と、表示装置３２とを備える。

画像合成装置２０ｃは、画像合成装置２０ａに対して、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄの近傍に、ＬＥＤ３３ａ，３３ｂ，３３ｃ，３３ｄを備える。ＬＥＤ３３ａ，３３ｂ，３３ｃ，３３ｄは、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄの観測範囲を照明する。以下、ＬＥＤ３３ａ，３３ｂ，３３ｃ，３３ｄを総称して、単にＬＥＤ３３と呼ぶ場合がある。ＬＥＤ３３は、それぞれ１個のＬＥＤであってもよいし、複数のＬＥＤをアレイ状に組み合わせたものでもよい。なお、ＬＥＤ３３の発光波長は、受光素子２３が感度を有する波長であれば、具体的な波長は問わない。なお、ＬＥＤ３３は、本開示における照明装置の一例である。

また、ＬＥＤ３３は、複数のＬＥＤを、例えばレンズ２２の先端の周縁にリングライトのように設置したものであってもよい。この場合、ＬＥＤ３３は、レンズ２２の観測範囲を遮らない位置に、ＬＥＤ３３の照射方向がレンズ２２の観測範囲を向くように設置される。

ＬＥＤ３３の点灯状態および明るさは、ＥＣＵ２７からの指示によって制御される。より具体的には、ＥＣＵ２７は、第１の実施形態で説明した通り、複数のカメラ２１に対して、複数のカメラ２１の各々に対して、当該カメラ２１が撮像した複数の画像信号の明るさのばらつき、および色のばらつきがより小さくなるように、第１の変換特性および第２の変換特性の設定を指示する。その際、第１の変換特性または第２の変換特性の変更範囲が、予め設定された所定の範囲を超える場合に、ＬＥＤ３３の点灯状態の変更、またはＬＥＤ３３の明るさの変更を行うことによって、画像信号の変更範囲を拡大する。なお、ＬＥＤ３３の点灯状態および明るさを制御する信号は、図９に示すように、画像処理ＩＣ３０から出力される。また、ＬＥＤ３３の点灯状態および明るさを制御する信号は、マイコン３１から出力してもよい。

具体的には、画像が暗いためゲインを上げたいが、これ以上ゲインを上げると画像のノイズが目立つような場合、ゲインを予め設定された所定の値に設定する代わりに、ＬＥＤ３３を点灯させる、またはＬＥＤ３３の明るさを増すことによって、画像を適切な明るさに調整する。また、画像が明るいためゲインを下げたいが、これ以上ゲインを下げても画像が明るすぎる場合、ゲインを予め設定された所定の値に設定する代わりに、ＬＥＤ３３を消灯させる、またはＬＥＤ３３の明るさを減らすことによって、画像を適切な明るさに調整する。即ち、画像合成装置２０ｃは、ＬＥＤ３３の点灯、消灯、および点灯時の明るさ調整を行うことによって、画像合成装置２０ａに対して、画像の明るさの変更範囲を拡大する。

（画像合成装置の機能構成）
図１０を用いて、画像合成装置２０ｃの機能構成を説明する。図１０は、第２の実施形態の画像合成装置の機能構成の一例を示す機能ブロック図である。

画像合成装置２０ｃは、画像合成装置２０ａの機能構成（図６参照）に加えて、照明発光制御部５５を備える。

照明発光制御部５５は、受光素子２３の観測範囲を照明するＬＥＤ３３の点灯または消灯と、ＬＥＤ３３が点灯している際の当該ＬＥＤ３３の明るさを変更とを行う。なお、照明発光制御部５５は、本開示における照明制御部の一例である。

また、撮像パラメータ調整量算出部５４は、明るさ分布分析部５２が算出した明るさ評価値Ｋａ、および色分布分析部５３が算出した特定色評価値Ｋｒ，Ｋｇ，Ｋｂに基づいて、複数の画像信号の明るさのばらつき、および色のばらつきがより小さくなるように、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄ毎に、明るさを画像信号に変換する第１の変換特性、および色を画像信号に変換する第２の変換特性を決定するとともに、ＬＥＤ３３の点灯または消灯と、ＬＥＤ３３を点灯する際の明るさとを決定する。そして、撮像パラメータ調整量算出部５４は、照明発光制御部５５に対して、決定したＬＥＤ３３の点灯状態を指示する。

図１０に示す、その他の機能部位の作用は、画像合成装置２０ａと同じであるため、説明は省略する。

（画像合成装置が行う処理の流れ）
図１１を用いて、画像合成装置２０ｃが行う処理の流れを説明する。図１１は、第２の実施形態の画像合成装置が行う処理の流れの一例を示すフローチャートである。

画像合成装置２０ｃが行う処理の流れ、即ち、図１１に示すステップＳ３１からステップＳ４５の流れは、第１の実施形態で説明した画像合成装置２０ａが行う処理の流れ（図７参照）とほぼ同じである。図７と異なるのは、ステップＳ３６において、撮像パラメータ調整量算出部５４が、明るさ評価値Ｋａと特定色評価値Ｋｒ，Ｋｇ，Ｋｂとがより小さくなるように、各カメラ２１ａ，２１ｂ，２１ｃ，２１ｄのゲインを設定した後で、照明発光制御部５５が、照明点消灯処理を行う（ステップＳ３７）点である。照明点消灯処理の詳細な内容は後述する（図１２参照）。

（照明点消灯処理の流れ）
図１２を用いて、画像合成装置２０ｃが行う照明点消灯処理の流れを説明する。図１２は、第２の実施形態の画像合成装置が行う照明点消灯処理の流れの一例を示すフローチャートである。

調整結果判定部５７は、ステップＳ３６で設定したゲインが、所定の最大値よりも大きい、または、明るさ平均値Ａｉが、所定の最小値よりも小さいかを判定する（ステップＳ５１）。条件を満足すると判定される（ステップＳ５１：Ｙｅｓ）とステップＳ５２に進む。一方、条件を満足すると判定されない（ステップＳ５１：Ｎｏ）とステップＳ５４に進む。

ステップＳ５１において、条件を満足すると判定されると、照明発光制御部５５は、対応するカメラ２１のＬＥＤ３３を点灯させる（ステップＳ５２）。

続いて、撮像パラメータ調整指示部５６は、ＩＳＰ２４に対して、対応するカメラ２１のゲインをデフォルト値に設定させる（ステップＳ５３）。

ステップＳ５１において、条件を満足すると判定されない場合、またはステップＳ５３に続いて、調整結果判定部５７は、明るさ平均値Ａｉが、所定の最大値よりも大きいかを判定する（ステップＳ５４）。明るさ平均値Ａｉが、所定の最大値よりも大きいと判定される（ステップＳ５４：Ｙｅｓ）とステップＳ５５に進む。一方、明るさ平均値Ａｉが、所定の最大値よりも大きいと判定されない（ステップＳ５４：Ｎｏ）と、図１２の処理を終了して、図１１のステップＳ３８に戻る。

ステップＳ５４において、明るさ平均値Ａｉが、所定の最大値よりも大きいと判定されると、照明発光制御部５５は、対応するカメラ２１のＬＥＤ３３は点灯しているかを判定する（ステップＳ５５）。対応するカメラ２１のＬＥＤ３３は点灯していると判定される（ステップＳ５５：Ｙｅｓ）とステップＳ５６に進む。一方、対応するカメラ２１のＬＥＤ３３は点灯していると判定されない（ステップＳ５５：Ｎｏ）と、図１２の処理を終了して、図１１のステップＳ３８に戻る。

ステップＳ５５において、対応するカメラ２１のＬＥＤ３３は点灯していると判定されると判定されると、照明発光制御部５５は、対応するカメラ２１のＬＥＤ３３を消灯させる（ステップＳ５６）。

続いて、撮像パラメータ調整指示部５６は、ＩＳＰ２４に対して、対応するカメラ２１のゲインをデフォルト値に設定させる（ステップＳ５７）。その後、図１２の処理を終了して、図１１のステップＳ３８に戻る。

（本実施の形態の作用効果）
以上説明したように、本実施形態に係る画像合成装置２０ｃにおいて、カメラ２１（撮像装置）は、受光素子２３（撮像部）の観測範囲を照明するＬＥＤ３３（照明装置）の点灯および消灯と、ＬＥＤ３３が点灯している際の当該ＬＥＤ３３の明るさを変更とを行う照明発光制御部５５（照明制御部）を更に備えて、撮像パラメータ調整量算出部５４（決定部）は、更に、ＬＥＤ３３の点灯または消灯と、ＬＥＤ３３を点灯する際の明るさとを決定して、照明発光制御部５５に対して、決定したＬＥＤ３３の点灯状態を指示する。したがって、合成画像１０を構成する部分画像１２ａ，１２ｂ，１２ｃ，１２ｄの明るさと色のばらつきを低減する際に、明るさと色の調整範囲を拡大することができる。

（第１の実施形態の変形例）
図１３を用いて、画像合成装置２０ｃの変形例を説明する。図１３は、第１の実施形態の変形例の画像合成装置のハードウエア構成の一例を示すハードウエアブロック図である。

図１３に示す画像合成装置２０ｄは、画像合成装置２０ｃにおいて、カメラ２１が備えていたＩＳＰ２４を、ＥＣＵ２７に内蔵した構成を有する。即ち、画像合成装置２０ｃと画像合成装置２０ｄとの違いは、前記した画像合成装置２０ａと画像合成装置２０ｂとの違いと同じである。

このように、ＩＳＰ２４をＥＣＵ２７の内部に備えることによって、カメラ２１の構成を簡素化することができるため、カメラ２１を小型化することができる。したがって、カメラ２１を車両１５に搭載する際の搭載性が向上するとともに、搭載場所の自由度が向上する。

以上、本発明の実施の形態について説明したが、上述した実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 合成画像
１１ａ，１１ｂ，１１ｃ，１１ｄ 観測範囲
１２ａ，１２ｂ，１２ｃ，１２ｄ 部分画像
１５ 車両
１６ 車両アイコン
２０ａ，２０ｂ，２０ｃ，２０ｄ 画像合成装置
２１，２１ａ，２１ｂ，２１ｃ，２１ｄ カメラ（撮像装置）
２２，２２ａ，２２ｂ，２２ｃ，２２ｄ レンズ
２３，２３ａ，２３ｂ，２３ｃ，２３ｄ 受光素子（撮像部）
２４，２４ａ，２４ｂ，２４ｃ，２４ｄ ＩＳＰ（設定部）
２５，２５ａ，２５ｂ，２５ｃ，２５ｄ シリアライザ
２７ ＥＣＵ（画像処理装置）
３０ 画像処理ＩＣ
３１ マイコン
３２ 表示装置
３３，３３ａ，３３ｂ，３３ｃ，３３ｄ ＬＥＤ（照明装置）
５１ 画像信号取得部
５２ 明るさ分布分析部（分析部）
５３ 色分布分析部（分析部）
５４ 撮像パラメータ調整量算出部（決定部）
５５ 照明発光制御部（照明制御部）
５６ 撮像パラメータ調整指示部（設定指示部）
５７ 調整結果判定部（判定部）
５８ 画像合成部（合成部）
５９ 合成画像出力部（表示部）
Ａａ，Ａ１，Ａ２，Ａ３，Ａ４，Ａｉ 明るさ平均値
Ａｒ，Ａ１ｒ，Ａ２ｒ，Ａ３ｒ，Ａ４ｒ，Ａｉｒ 赤色平均値（特定色平均値）
Ａｇ，Ａｉｇ 緑色平均値（特定色平均値）
Ａｂ，Ａｉｂ 青色平均値（特定色平均値）
Ｃｒ１，Ｃｒ２，Ｃｒ３，Ｃｒ４，Ｃｒｉ 赤色信号
Ｃ，Ｕ 色信号
ｆ 頻度
Ｉｉ 画像
Ｋａ 明るさ評価値
Ｋｒ 赤色評価値（特定色評価値）
Ｋｇ 緑色評価値（特定色評価値）
Ｋｂ 青色評価値（特定色評価値）
ｐ 画素値
Ｓ１，Ｓｉ 偏差
Ｙ，Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙｉ 輝度信号

Claims (6)

1. 観測範囲の明るさおよび色の分布を画像信号に変換する撮像部と、
   前記撮像部が前記画像信号を生成する際に、明るさを画像信号に変換する第１の変換特性と色を画像信号に変換する第２の変換特性との設定指示を取得して、前記第１の変換特性と前記第２の変換特性とを設定する設定部と、を備える複数の撮像装置と、
   前記複数の撮像装置から取得した複数の前記画像信号の明るさのばらつき、および色のばらつきに係る評価値を算出する分析部と、
   前記評価値に基づいて、前記撮像装置毎に、複数の前記画像信号の明るさのばらつき、および色のばらつきがより小さくなるように、前記第１の変換特性および前記第２の変換特性を決定する決定部と、
   前記決定部が決定した前記第１の変換特性および前記第２の変換特性の設定を、前記設定部に指示する設定指示部と、
   前記画像信号を合成した合成画像を生成する合成部と、
   前記合成部が合成した合成画像を表示装置に表示させる表示部と、を備える画像処理装置と、
   を備える画像合成装置。
2. 前記決定部は、複数の前記画像信号の全てに対する明るさの平均値と、複数の前記画像信号の各々の明るさの平均値との偏差の総和がより小さくなるように、前記第１の変換特性を決定する、
   請求項１に記載の画像合成装置。
3. 前記決定部は、複数の前記画像信号の全てに対する特定色の平均値と、複数の前記画像信号の各々の特定色の平均値との偏差の総和がより小さくなるように、前記第２の変換特性を決定する、
   請求項１または請求項２に記載の画像合成装置。
4. 前記特定色は、前記画像信号のＲ、Ｇ、Ｂ成分の少なくとも１つである、
   請求項３に記載の画像合成装置。
5. 前記画像処理装置は、前記設定指示部の指示に基づいて前記撮像部が撮像した複数の前記画像信号の明るさのばらつき、および色のばらつきが、前記設定指示部の指示前よりも小さくなったかを判定する判定部を、更に備える、
   請求項１から請求項４のいずれか１項に記載の画像合成装置。
6. 前記撮像装置は、前記撮像部の観測範囲を照明する照明装置の点灯および消灯と、前記照明装置が点灯している際の当該照明装置の明るさを変更とを行う照明制御部を更に備えて、
   前記決定部は、更に、前記照明装置の点灯または消灯と、前記照明装置を点灯する際の明るさとを決定して、前記照明制御部に対して、決定した前記照明装置の点灯状態を指示する、
   請求項１から請求項５のいずれか１項に記載の画像合成装置。

Images