JP2023161264A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】撮像センサに起因して生じる領域の間の誤差を補正するための計算量を低減する。【解決手段】領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、前記導出した評価値に基づき露出設定の誤差を推定する推定手段と、前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新手段と、を有し、前記導出手段は、前記画像データから得られた領域毎の評価値を基に、各領域に対応付けられた露出設定毎の評価値を導出する。【選択図】図３

Description

本開示は、高ダイナミックレンジの画像の撮像を制御する技術に関する。

カメラのダイナミックレンジは、撮像センサの飽和電子数とＡ／Ｄ変換後のビット精度とによって制限される。カメラのダイナミックレンジを広げるために、撮像センサの露出（露光時間やアナログゲイン）を部分的に変更する方法が種々開発されている。撮像センサの受光領域全体を複数の領域に分け、領域毎に露出を設定し、撮像センサにより得られたデジタル信号に対して、設定された露出から算出した領域毎の補正ゲインを乗じることで、領域毎の露出設定の違い（差）を補正する技術がある。しかし、撮像センサに起因して、露光時間やアナログゲインに設計値からの誤差が生じた場合、領域の間で露出が合わず領域の間の境界で階調の誤差が生じる場合がある。

この点、特許文献１では、撮像センサに起因して生じる領域の間の境界の誤差を推定し、推定した誤差を補正するための補正値を導出し、導出した補正値を用いて画像データを補正する技術を開示する。

特開２０１９－７５６５８号公報

特許文献１の技術では、露出設定可能な領域の個数と補正値導出のための計算量とが比例関係であることから、露出設定可能な領域の個数が多くなると、補正値導出のための計算量が増大する。

上記の課題を解決するため本開示の一態様に係る画像処理装置は、領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、前記導出した評価値に基づき露出設定の誤差を推定する推定手段と、前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新手段と、を有し、前記導出手段は、前記画像データから得られた領域毎の評価値を基に、各領域に対応付けられた露出設定毎の評価値を導出することを特徴とする。

本開示によれば、撮像センサに起因して生じる領域の間の誤差を補正するための計算量を低減することが可能となる。

撮像装置の概略構成を示す図である。 撮像素子部の各領域を説明するための図である。 明るさ調整値補正部を説明するための図である。 各領域の画素ブロックの境界周辺画素値の平均値を示す図である。 明るさ調整値補正部が実行する処理の流れを示すフローチャートである。 行列生成処理の詳細な流れを示すフローチャートである。 第一の係数行列の生成および第一の行列変換を説明するための図である。 第二の行列変換を説明するための図である。 行列生成処理の詳細な流れを示すフローチャートである。

以下、添付の図面を参照して、本開示の技術の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本開示の技術を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。なお、同一の構成要素または処理について同じ参照符号を付して説明する。

［実施形態１］
図１は、本実施形態に係る撮像装置１００の概略構成例を示すブロック図である。本実施形態の撮像装置１００は、一般的な撮像装置が有する各種の構成も備える画像処理装置であるが、図示および説明を簡潔にするために、図１には本実施形態に係る主要な構成部のみを示している。

撮像装置１００は、同期制御部１０１、撮像素子部１０３、Ａ／Ｄ変換部１０４、露光補正部１０５、階調変換部１０６、画像出力部１０８、露光時間制御部１０９、ゲイン制御部１１０、露光条件算出部１１１、明るさ調整値補正部１３１を有する。

まず、本実施形態の撮像装置１００について、撮像素子部１０３を起点として各構成部の概要を説明する。

撮像素子部１０３は、撮像領域を有する。撮像領域は、画素ブロックと呼ぶ領域で複数に分割される。撮像素子部１０３は、画素ブロック（領域）単位で駆動可能であり、各々の領域毎に異なった露光時間による露光動作（電荷の蓄積）を行える機能を有する。画素ブロックの詳細に関しては後述する。本実施形態の場合、撮像素子部１０３は、露光時間制御部１０９から供給される露光制御信号１１７によって各々の領域毎に露光時間が設定され、それら領域毎に設定された露光時間で露光を行う。露光制御信号１１７は、撮像素子部１０３の各領域に領域毎の露光時間を設定するための信号である。そして撮像素子部１０３は、領域毎に露光制御信号１１７によって設定された露光時間で各画素に蓄積した電荷を、画素電位１１８として読み出してＡ／Ｄ変換部１０４に出力する。

Ａ／Ｄ変換部１０４は、撮像素子部１０３から読み出された画素電位１１８をアナログ／デジタル変換してデジタル値に変換する。本実施形態の場合、Ａ／Ｄ変換部１０４には、ゲイン制御部１１０によって前述の各々の領域毎に対応したアナログゲイン１２１が設定される。Ａ／Ｄ変換部１０４は、撮像素子部１０３から出力された画素電位１１８に対して領域毎にアナログゲイン１２１をかけた後、アナログ／デジタル変換してデジタル値に変換する。以下、Ａ／Ｄ変換部１０４にて領域毎にアナログゲイン１２１をかけてアナログ／デジタル変換されたデジタル信号よりなる画像を、露光画像１２２と呼ぶ。Ａ／Ｄ変換部１０４から出力された露光画像１２２は、明るさ調整値補正部１３１と露光条件算出部１１１と露光補正部１０５とに送られる。

露光条件算出部１１１は、露光画像１２２を基に、撮像が最適な条件となるように領域毎に露光時間１１２およびアナログゲイン値１１３を算出して更新する。具体的には、露光条件算出部１１１は、露光画像１２２の輝度分布を基に画素ブロック毎に画素値（輝度値）のヒストグラムを算出する。そして、露光条件算出部１１１は、明部側に画素値が分布していれば、より暗く撮像する設定値になるように領域毎に露光時間１１２およびアナログゲイン値１１３を変更（更新）する。また、露光条件算出部１１１は、暗部側に画素値が分布していれば、より明るく撮像する設定値になるように領域毎に露光時間１１２およびアナログゲイン値１１３を変更（更新）する。そして、領域毎の露光時間１１２の値は、露光時間制御部１０９と露光補正部１０５とに送られる。領域毎のアナログゲイン値１１３は、ゲイン制御部１１０と露光補正部１０５とに送られる。領域毎の露光時間１１２の値と領域毎のアナログゲイン値１１３は、明るさ調整値補正部１３１にも送られる。

明るさ調整値補正部１３１は、露光時間とアナログゲイン値に対する補正値を算出する。そして、明るさ調整値補正部１３１は、露光時間とアナログゲイン値から得られる明るさ調整値１３０に対し補正値を乗算して明るさ調整値１３０を更新し、更新後の明るさ調整値１３０を露光補正部１０５に出力する。なお、補正値が算出されない場合には、露光時間とアナログゲイン値から得られる明るさ調整値１３０がそのまま露光補正部１０５に出力されることになる。この明るさ調整値補正部１３１の動作に関しては後述する。

ここで、明るさ調整値１３０の考え方について説明する。明るさ調整値は、各領域の露光条件で撮像した信号値を、基準となる露光条件で撮像した時の信号値に換算するための換算係数を表す値である。

例えば、基準となる露光条件を露光条件Ａとし、この露光条件Ａでは、露光時間を１／３０秒とし、アナログゲインを８倍とする。また、基準となる露光条件Ａと異なる、露光時間を１／６０秒とし、アナログゲインを２倍とする露光条件を露光条件Ｂとする。ある領域Ｃを露光条件Ｂで撮像した時の信号値をＳＢとする。露光条件Ａと露光条件Ｂとの間には、露光時間についてＢはＡの１／２、アナログゲインについてＢはＡの１／４の関係にある。すなわち、領域Ｃを基準となる露光条件で撮像した時の信号値をＳＡとすると、ＳＡとＳＢは次に示す関係が成立する。

ＳＢ＝１／２×１／４×ＳＡ＝１／８×ＳＡ
すなわち、ＳＡとＳＢは次に示す関係となる。この８倍の値が領域Ｃに対応する明るさ調整値となる。

ＳＡ＝８×ＳＢ
また、同期制御部１０１は、同期した露光時間出力パルス１２０とゲイン出力パルス１１４とを生成する。同期制御部１０１は、生成した露光時間出力パルス１２０を露光時間制御部１０９に出力する。同期制御部１０１は、生成したゲイン出力パルス１１４をゲイン制御部１１０に出力する。これによって、同期制御部１０１は、露光時間制御部１０９の処理とゲイン制御部１１０の処理とを同期制御する。露光時間出力パルス１２０は、露光時間制御部１０９が露光制御信号１１７を撮像素子部１０３に出力するタイミングを制御するための信号である。露光時間制御部１０９は、露光時間出力パルス１２０に基づいて、露光制御信号１１７を撮像素子部１０３に出力することで、撮像素子部１０３の任意の画素ブロック毎に露光時間を変更する。また、ゲイン出力パルス１１４は、ゲイン制御部１１０がアナログゲイン１２１をＡ／Ｄ変換部１０４に出力するタイミングを制御するための信号である。ゲイン制御部１１０は、ゲイン出力パルス１１４に基づいて、アナログゲイン１２１をＡ／Ｄ変換部１０４に出力することで、任意の画素ブロック毎に画素電位にかけるゲインを変更する。このように本実施形態では、同期制御部１０１が、露光時間制御部１０９とゲイン制御部１１０を同期させて動作制御を行うことで、撮像素子部１０３の画素ブロック毎に露光時間とアナログゲインを適宜変えた露光画像１２２を出力できる。

露光時間制御部１０９は、露光時間出力パルス１２０と領域毎の露光時間１１２の値とを基に、領域毎の露光制御信号１１７を生成して、撮像素子部１０３に出力する。これにより、領域毎の露光時間１１２に応じた露光時間が、撮像素子部１０３に対して適切なタイミングで設定される。

ゲイン制御部１１０は、ゲイン出力パルス１１４のパルスのタイミングに合わせて領域毎のアナログゲイン値１１３を、撮像素子部１０３の領域毎の画素電位１１８に対する領域毎のアナログゲイン１２１として、Ａ／Ｄ変換部１０４に出力する。これにより、Ａ／Ｄ変換部１０４では、領域毎の画素電位１１８にそれぞれ対応した領域毎のアナログゲイン１２１がかけられた後にアナログ／デジタル変換が行われる。アナログ／デジタル変換が行われたデータは、領域毎の露光画像１２２として、露光補正部１０５に送られる。

露光補正部１０５は、Ａ／Ｄ変換部１０４から送られてきた領域毎の露光画像１２２に対し、明るさ調整値１３０に基づく階調拡張処理を施して階調拡張後画像１２３を生成する。例えば入力される領域毎の露光画像１２２がどの条件で撮像されているかを、領域毎の露光時間１１２と領域毎のアナログゲイン値１１３より認識し、その条件に対応する明るさ調整値１３０を用いて領域毎の露光画像１２２を補正する。露光補正部１０５は、例えばビット数が１０ビットで表される領域毎の露光画像１２２に対する階調拡張処理により、１７ビットで表される階調拡張後画像１２３を生成する。そして、生成した階調拡張後画像１２３は、階調変換部１０６へ送られる。

階調変換部１０６は、階調拡張後画像１２３に対して階調変換を行い、その階調変換後画像１２４を画像出力部１０８へ出力する。本実施形態において、階調変換は、１７ビットの階調拡張後画像１２３のガンマ変換により例えば１１ビットの階調変換後画像１２４を生成する処理であるとする。なお、本実施形態における階調変換処理は、後段の処理においてデータレートを抑えるために行われる。本実施形態において露光画像１２２及び階調変換後画像１２４のビット長をそれぞれ１０ビット及び１１ビットとしたが、これらのビット長は一例であり、これに限定されない。

画像出力部１０８は、階調変換後画像１２４を、撮像装置１００の後段の構成若しくは外部に出力する。

＜撮像素子部１０３の構成＞
図２は、撮像素子部１０３の構成例を説明するための図である。撮像素子部１０３の撮像領域は、複数の画素ブロック２０１を有する。さらに画素ブロック２０１は複数の画素２０２を有する。本実施形態では、撮像素子部１０３の撮像領域の幅２０６方向（水平ライン方向）の画素数が２０００画素であり、高さ２０５方向の画素数が１０００画素（つまり垂直方向における水平ライン数が１０００ライン）であるとする。また、画素ブロック２０１の幅２０４方向（水平ライン方向）の画素数は１００画素であり、高さ２０３方向の画素数は１００画素（垂直方向における水平ラインの１００ライン分）であるとする。この場合、撮像素子部１０３の撮像領域内における画素ブロック２０１の数は、水平方向が２０個となり、垂直方向が１０個となる。また図２の各画素ブロック２０１内に記載されている画素ブロック［０，０］～［１９，９］は、撮像領域内の各画素ブロック２０１の位置を表しており、括弧［ ］内の値は撮像領域内における各画素ブロックの水平・垂直方向のインデックスを表している。図２において、撮像素子部１０３の例えば右上に位置している画素ブロック２０１の場合は、画素ブロック［１９，０］となる。また、同一垂直方向のインデックスで表される画素ブロックの集合をブロック行と呼ぶこととする。すなわち、ブロック行Ｎは画素ブロック［０，Ｎ］～［１９，Ｎ］からなる。例えばブロック行５は画素ブロック［０，５］～［１９，５］からなる。なお、撮像素子部１０３および画素ブロック２０１のそれぞれのサイズ（縦方向および横方向の画素数）は前述の例に限定されるものではない。また、画素２０２の形状および縦横比についても限定されず、例えば正方形ではなく長方形であってもよい。さらに画素ブロック２０１は、１つの画素２０２のみで構成されていてもよい。

そして、本実施形態において、各画素ブロック２０１で、露光時間とアナログゲインとが制御可能となっている。

ここで、露光時間は、撮像時において撮像素子部１０３の画素（受光素子）に電荷が蓄積される時間に相当する。このため、例えば撮像素子部１０３への入射光量が同じであり、画素が飽和しないとすると、露光時間が長いほど画素電位１１８は高くなり、明るく撮像できる。つまり、入射光量が同じで画素の飽和を考慮しない場合、例えば露光時間が１／４８０秒である場合と１／３０秒である場合とを比較すると、１／３０秒の場合の方が明るく撮像できることになる。

アナログゲインは、撮像時にＡ／Ｄ変換部１０４において画素電位１１８にかけられるゲインである。このため、アナログゲインの値が大きいほど、Ａ／Ｄ変換部１０４から出力されるデジタル画素値（ゲインがかけられた後にアナログ／デジタル変換されたデジタル値）が大きい値となる。

図１に戻って、本実施形態の撮像装置１００の構成および動作について、詳細に説明する。

撮像素子部１０３は、露光制御信号１１７に基づき、画素ブロック２０１単位で露光時間が制御されて撮像を行う。そして、撮像素子部１０３は、画素毎に蓄積された電荷に応じた画素電位１１８を出力する。

Ａ／Ｄ変換部１０４は、撮像素子部１０３から出力された画素電位１１８に対し、撮像素子部１０３の画素ブロック毎に対応して設定されたアナログゲイン１２１をかけた後にデジタル変換を行って、露光画像１２２を出力する。なお、本実施形態において、露光画像１２２は１０ビットのデジタル値であるとする。また、アナログゲイン１２１は、例えばゲイン値として、×１倍、×２倍、×４倍、×８倍の４つの値を取り得るものとする。

＜明るさ調整値補正部１３１の動作＞
次に、明るさ調整値１３０を決定する明るさ調整値補正部１３１の動作について、図を参照しながら説明する。図３は、明るさ調整値補正部１３１を説明するための図であり、図３（ａ）に明るさ調整値補正部１３１の構成例を示し、図３（ｂ）に生成部３０４の構成例を示す。

明るさ調整値補正部１３１は、ＲＡＭ３０１、境界評価部３０２、補正値算出部３０３を有する。補正値算出部３０３は、生成部３０４、算出部３０５、決定部３０６、明るさ調整値更新部３０７を含む。生成部３０４は、第一の行列生成部３０８、マップ情報取得部３０９、第一の行列変換部３１０、第二の行列変換部３１１を含む。

第一の行列生成部３０８は、詳細につき後述する通り、境界評価部３０２で得た、領域毎の第１の評価値を用いて、第一の行列を生成する。マップ情報取得部３０９は、領域と、露光時間と、アナログゲイン値とが対応付けられたマップ情報を生成して取得し、取得したマップ情報を出力する。マップ情報は、例えば、以下の表１に示すように、露光条件と領域（画素ブロック）とが対応付けられた情報を有する。

第一の行列変換部３１０は、詳細につき後述する通り、マップ情報に基づき、第一の係数行列を第二の係数行列に変換する。第二の行列変換部３１１は、詳細につき後述する通り、マップ情報に基づき、第二の係数行列を第三の係数行列に変換する。

算出部３０５は、生成部３９４で生成された行列の逆行列を算出する。決定部３０６は、逆行列を基に補正値を決定する。明るさ調整値更新部３０７は、決定部３０６で決定された補正値を用いて明るさ調整値１３０を更新する。明るさ調整値補正部１３１および生成部３０４の動作の詳細は後述する。

それぞれの構成要素の処理の実装形態は問わず、ハードウェアの回路として実装しても、ソフトウェアとして実装してＣＰＵで処理する形態としてもよい。また、それらが混在してもよい。

ＲＡＭ３０１は、例えば、境界評価部３０２で算出した平均値など、明るさ調整値補正部１３１内の各機能部で用いられるデータを一時的に保持する。

境界評価部３０２は、各画素ブロックの間の境界を示す境界情報を取得し、取得した境界情報を基に、入力される露光画像１２２に対して、画素ブロック境界の周辺画素の画素値を取得する。すなわち、境界評価部３０２は、境界に隣接する（境界を挟んで隣り合う）２つの隣接画素の画素値（輝度値）を取得する。なお、境界情報は、着目画素ブロックと、着目画素ブロックと隣り合う隣接画素ブロックとの間の境界の位置を示す情報である。境界情報は、例えば、ＲＡＭ３０１などに予め保持された情報であってもよいし、または露光画像１２２に付帯された情報であってもよいが、これに限定されない。そして、境界評価部３０２は、画素ブロック境界の周辺画素値の平均値を算出する。具体的には、境界評価部３０２は、注目画素ブロックと、注目画素ブロックと隣り合う隣接画素ブロックとの間の画素ブロック境界の周辺画素値の平均値をフレーム内の全ての画素ブロックに対して予め算出し、それをＲＡＭ３０１に保存しておく。なお、境界周辺は、注目画素ブロック内の境界周辺である、境界と隣り合う隣接画素と、隣接画素ブロック内の境界周辺である、境界と隣り合う隣接画素とを含む。そして、境界評価部３０２は、各画素ブロックの評価値を求める際に必要に応じてＲＡＭ３０１から読み出す。そのうえで、境界評価部３０２は、算出した平均値に対して、着目画素ブロックの露光時間１１２とアナログゲイン値１１３に対応する明るさ調整値１３０を用いて階調拡張処理を施す。階調拡張された平均値は、ＲＡＭ３０１を通じて、補正値算出部３０３へ送られる。

次いで、補正値算出部３０３は、境界評価部３０２で階調拡張された平均値と、露光時間１１２と、アナログゲイン値１１３とに基づいて、明るさ調整値１３０を算出し、算出した明るさ調整値１３０を露光補正部１０５へ出力する。ただし、補正値が算出されて決定した場合には、算出した明るさ調整値１３０に対し補正値を乗算して明るさ調整値１３０を更新し、更新後の明るさ調整値１３０が露光補正部１０５へ出力される。

補正値算出部３０３の動作を詳細に説明する。そのためにまず、補正値算出部３０３で用いられる補正値を算出するための計算式について図を用いて説明する。図４は、画素ブロック［ｉ，ｊ］とその周囲の画素ブロックの位置関係を示す図である。本実施形態では、ｉは０から１９の値を取りえ、ｊは０から９の値を取りうる。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して上側で隣り合う隣接画素ブロック［ｉ，ｊ－１］との境界を上側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して下側で隣り合う隣接画素ブロック［ｉ，ｊ＋１］との間の境界を下側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して左側で隣り合う隣接画素ブロック［ｉ－１，ｊ］との間の境界を左側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して右側で隣り合う隣接画素ブロック［ｉ＋１，ｊ］との間の境界を右側境界と称する。画素ブロック［ｉ，ｊ］の各境界周辺領域における画素値（以下、境界周辺画素値と称する。）の平均値を次に示すように表記する。すなわち、上側境界周辺画素値の平均値をＴ_ｉ，ｊと表記し、下側境界周辺画素値の平均値をＢ_ｉ，ｊと表記する。また、左側境界周辺画素値の平均値をＬ_ｉ，ｊと表記し、右側境界周画素値の平均値をＲ_ｉ，ｊと表記する。なお、各境界周辺領域は、例えば、各領域境界に隣接した１画素幅分であるとするが、これに限定されない。各境界周辺領域は、例えば、各領域境界に隣接した２画素幅分、４画素幅分、８画素幅分とすることも可能である。

境界周辺画素値の平均値から補正値を算出する処理として、画素ブロック［ｉ，ｊ］とその右側と下側に隣接する画素ブロック［ｉ＋１，ｊ］と画素ブロック［ｉ，ｊ＋１］との段差の誤差補正後の評価値Ｅ_ｉ，ｊは、以下の（１）式で表現される。ここで、ΔＦ_ｉ，ｊは、画素ブロック［ｉ，ｊ］の明るさ調整値１３０の補正量を表す。

そして、評価値Ｅ_ｉ，ｊを全ての領域（画素ブロック）で加算した総合評価値Ｅは、以下の（２）式で表現される。（２）式においては、１画面中に、横方向（水平方向）でＭ個の画素ブロックを持ち、縦方向（垂直方向）でＮ個の画素ブロックを持っているものとする。本実施形態においてはＭ＝２０となり、Ｎ＝１０となる。

画素ブロック間の境界の誤差を打ち消すようにすることは、この総合評価値Ｅを、最小化するΔＦ_ｉ，ｊを求めることになる。公知の最小二乗法の解法を用いると、以下の（３）式に示す行列の方程式を解くことと等価となる。すなわち、（３）式の左辺は、境界周辺画素値の平均値からなる要素を持つ行方向Ｍ×Ｎ次元、列方向Ｍ×Ｎ次元の係数行列（係数行列Ａとする）と補正値のＭ×Ｎ行１列の補正値行列（行列Ｆとする）との積となる。（３）式の右辺は、定数からなる行列であり、Ｍ×Ｎ行１列で要素が全て１の行列となる。

また、ここで係数行列Ａの（ｉ＋ｊ×Ｍ）行目（ｕ＋ｖ×Ｍ）列目の要素Ａ_{ｉ，ｊ，ｕ，ｖ}は、以下の（４）式で表される。

ただし、画像端部に位置する画素ブロックの場合、画素ブロックの上側または左側または下側または右側には画素ブロックは存在しない。例えば、画素ブロック［０，０］の場合、画素ブロック［０，０］の上側や左側には画素ブロックは存在しない。このように画素ブロックが存在しない側の境界周辺画素値から係数行列への寄与は０とする。例えば画素ブロック［０，０］の場合、上述の（４）式のうち、以下の（５）式のように３つの係数行列の要素が生成され、画素ブロック［０，０］の上側（（ｕ，ｖ）＝（ｉ，ｊ－１））と左側（（ｕ，ｖ）＝（ｉ－１，ｊ））に当たる要素は生成されない。

以上のようにして、補正値算出のための行列の方程式が得られる。

＜明るさ調整値補正部１３１による処理＞
明るさ調整値補正部１３１の動作について、図を用いて説明する。図５は、明るさ調整値補正部１３１が実行する処理の流れを示すフローチャートである。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

Ｓ５０１では、明るさ調整値補正部１３１の境界評価部３０２は、詳細につき上述した通り、露光画像１２２、露光時間１１２、アナログゲイン値１１３、明るさ調整値１３０に基づき、画素ブロックの境界周辺画素値の平均値を導出する。なお、画素ブロックの境界周辺画素値の平均値は、撮像センサにより露出設定可能な領域の間の境界で生じる階調の段差を評価する際に用いられ、領域毎に導出されることから領域毎の評価値であるともいえる。

Ｓ５０２では、補正値算出部３０３（生成部３０４）は、入力された境界周辺画素値の平均値を基に、係数行列の生成を行う。例えば、撮像素子部１０３が、図２に示すように、横方向に２０個あり、縦方向に１０個あり、合計２００個の画素ブロックを有する場合、補正値算出部３０３は、係数行列Ａとして、行数が２００行であり、列数が２００列である正方行列を生成する。

＜行列生成処理（Ｓ５０２）の詳細＞
行列生成処理（Ｓ５０２）の詳細について、図を用いて説明する。図６は、行列生成処理（Ｓ５０２）の詳細な流れを示すフローチャートである。本実施形態では、最初に係数行列を生成し、次に、係数行列のサイズを減らす操作を実施する。これにより、Ｓ５０２の処理に続くＳ５０３の処理にて、係数行列のサイズを減らす操作を実施しないときと比べて、逆行列を求めるときの計算量を減らすことが可能となる。

Ｓ６０１では、生成部３０４（第一の行列生成部３０８）は、境界評価部３０２によって導出された境界周辺画素値の平均値（領域毎の評価値）から、第一の係数行列Ａを生成する。第一の係数行列の要素としては、（４）式を使用する。

ここで、第一の係数行列Ａの生成について、図を用いて説明する。図７は、第一の係数行列の生成および第一の行列変換を説明するための図であって、図７（ａ）に撮像素子部が有する画素ブロック例を示し、図７（ｂ）に図７（ａ）の画素ブロックに対応する第一の係数行列の生成例およびその第一の行列変換例を示す。例えば、撮像素子部が、図７（ａ）に示すように、横方向に４個あり、縦方向に３個あり、合計１２個の画素ブロック７０１を有する場合、次に示す、領域毎のゲイン補正量を求める第一の係数行列を生成する。すなわち、補正値算出部３０３は、図７（ｂ）に示すように、第一の係数行列Ａとして、行数が１２行であり、列数が１２列である正方行列を生成する。このようなＳ６０１の処理は、画像データから得られた領域毎の評価値を用いて、領域の数と同じ個数の元（変数）で、領域の数と同じ個数からなる、連立一次方程式を生成する処理であるともいえる。図７（ｂ）に示す例では、１２変数で、１２個の連立一次方程式が生成されるともいえる。

Ｓ６０２では、生成部３０４（マップ情報取得部３０９）は、入力された露光時間１１２とアナログゲイン値１１３とから領域と露光条件とが対応付けられたマップ情報を生成して取得する。そして、補正値算出部３０３は、マップ情報取得部３０９で取得されたマップ情報を受け取り、画面内（１フレーム内）に露光条件が何種類使用されているかを調べ、使用されている露光条件の種別に応じて番号付けを行う。例えば、画面内（１フレーム内）に使用されている露光条件が４種類であるとすると、０番から３番までの露光条件が使用されていることとなり、それぞれの露光条件をＥ［０］、Ｅ［１］、Ｅ［２］、Ｅ［３］とする。例えば、撮像領域の複数の画素ブロックをスキャン順（ラスター順）で探索し、初めて出会う種類の露光条件に応じて、０、１、２、３の順に番号付けていくと、図７（ａ）に示すように、各画素ブロック７０１に対して露光条件が付与されることになる。なお、露光条件の種類の判別および各画素ブロックに対する、露光条件の種別を示す番号の付与は、第一の行列変換処理（Ｓ６０３）を実行する前のタイミングで実行されていればよく、Ｓ６０３にて実行してもよい。

続いて、Ｓ６０３およびＳ６０４では、Ｓ６０１で生成された第一の係数行列Ａにおいて「各画素ブロックの露光条件が同一の画素ブロックでは、ゲイン補正量は等しい」と仮定することで、係数行列の要素数の数を減らす操作を行う。すなわち、複数の画素ブロックのうち、同じ種類の露光条件が設定される画素ブロックでは、同じ明るさ調整値補正部１３１（補正値算出部３０３）で算出する明るさ調整値１３０は等しいと仮定することで、係数行列の要素数の数を減らす操作を行う。なお、Ｓ６０３（第一の行列変換処理）では、第一の行列変換部３１０は、マップ情報に基づき、第一の係数行列を第二の係数行列に変換する。Ｓ６０４（第二の行列変換処理）では、第二の行列変換部３１１は、マップ情報に基づき、第二の係数行列を第三の係数行列に変換する。

＜第一の行列変換処理の詳細＞
第一の行列変換処理について、図７（ｂ）を用いて説明する。なお、図７（ｂ）には、第一の行列変換処理を行うことにより、Ｓ６０１で得られた係数行列がどのように変形されていくかについても示されている。

（ｕ＋ｖ×Ｍ）は、（４）式と同様、画素ブロックの列番号を示す。図７の例では、（ｕ＋ｖ×Ｍ）は、０≦ｕ≦３（ｕは横方向の画素ブロック数を示しており、４である。）、０≦ｖ≦２（ｖは縦方向の画素ブロック数を示しており、３である。）、Ｍ＝４（Ｍは横方向の画素ブロック数を示しており、４である。）をとり得る。これにより、０≦ｕ＋ｖ×Ｍ≦１１という値をとり得る。

また、（ｉ＋ｊ×Ｍ）は、（４）式と同様、画素ブロックの行番号を示す。図７の例では、（ｉ＋ｊ×Ｍ）は、０≦ｉ≦３（ｉは横方向の画素ブロック数を示しており、４である。）、０≦ｊ≦２（ｊは縦方向の画素ブロック数を示しており、３である。）、Ｍ＝４（Ｍは横方向の画素ブロック数を示しており、４である。）をとり得る。これにより、０≦ｉ＋ｊ×Ｍ≦１１という値をとり得る。

図７（ｂ）に示す第一の係数行列は、前述の通り、１２行１２列からなる正方行列である。ここで、画素ブロック［０，０］と画素ブロック［１，０］が前述の露光条件Ｅ［０］であり、画素ブロック［２，０］と画素ブロック［３，０］が露光条件Ｅ［１］であるとする。画素ブロック［０，１］と画素ブロック［１，１］と画素ブロック［２，１］と画素ブロック［３，１］と画素ブロック［０，２］と画素ブロック［１，２］と画素ブロック［２，２］とが露光条件Ｅ［２］であるとする。また、画素ブロック［３，２］が露光条件Ｅ［３］であるとする。

第一の行列変換処理では、同一の露光条件を使用している列（画素ブロック［ｕ，ｖ］）をマップ情報から探索し、同一の露光条件を使用する画素ブロックに対応する第一の係数行列における全ての列（ｕ＋ｖ×Ｍ）を加算して第二の係数行列に変換する。ここでは、露光条件の若番から順番に探索を行い、第二の係数行列の若番の列から順番に変換する。例えば、０番目の露光条件Ｅ［０］を使用している画素ブロック［ｕ，ｖ］をマップ情報から検索し、露光条件Ｅ［０］を使用する画素ブロックに対応する全ての列（ｕ＋ｖ×Ｍ）を加算して、第二の係数行列の０列目に変換する。以降、この操作を操作１と称する。

図７（ｂ）によれば、Ｓ６０１で得られた第一の係数行列において、０番目の露光条件Ｅ［０］を使用している画素ブロック［ｕ，ｖ］は、画素ブロック［０，０］と画素ブロック［１，０］である。そのため、第一の係数行列のうち、（０＋０×４＝）０列目と（１＋０×４＝）１列目とを加算して、第二の係数行列の０列目に変換する。

１番目の露光条件Ｅ［１］を使用している画素ブロック［ｕ，ｖ］は、画素ブロック［２，０］と画素ブロック［３，０］である。そのため、第一の係数行列のうち、（２＋０×４＝）２列目と（３＋０×４＝）３列目とを加算して、第二の係数行列の１列目に変換する。

２番目の露光条件Ｅ［２］を使用している画素ブロック［ｕ，ｖ］は、次に示す画素ブロックである。すなわち、画素ブロック［０，１］、画素ブロック［１，１］、画素ブロック［２，１］、画素ブロック［３，１］、画素ブロック［０，２］、画素ブロック［１，２］、画素ブロック［２，２］である。そのため、第一の係数行列のうち、（０＋１×４＝）４列目と（１＋１×４＝）５列目と（２＋１×４＝）６列目と（３＋１×４＝）７列目と（０＋２×４＝）８列目と（１＋２×４＝）９列目と（２＋２×４＝）１０列目とを加算する。そして、この加算結果を第二の係数行列の２列目に変換する。

３番目の露光条件Ｅ［３］を使用している画素ブロック［ｕ，ｖ］は、画素ブロック［３，２］であるため、第一の係数行列のうちの（３＋２×４＝）１１列目を第二の係数行列の３列目に変換する。

上述した通り、操作１を０番目の露光条件Ｅ［０］から３番目の露光条件Ｅ［３］までの４回繰り返すと、図７（ｂ）に示すように、行数が１２行であり、列数が４列である第二の係数行列が得られる。

上述した操作１を行列の方程式で表すと、次のような意味になる。例えば、画素ブロック［ｕ，ｖ］に関し、画素ブロック［０，０］と画素ブロック［１，０］が同一の露光条件Ｅ［０］とする。露光条件Ｅ［０］に対する補正量をΔＦＥ_０とすると、以下の（６）式に示すように、ΔＦ_０，０＝ΔＦ_１，０＝ΔＦＥ_０とする変形を行うことができる。画素ブロック［ｕ，ｖ］に関し、画素ブロック［２，０］と画素ブロック［３，０］が同一の露光条件Ｅ［１］とする。露光条件Ｅ［１］に対する補正量をΔＦＥ_１とすると、（６）式に示すようにΔＦ_２，０＝ΔＦ_３，０＝ΔＦＥ_１とする変形を行うことができる。画素ブロック［ｕ，ｖ］に関し、画素ブロック［０，１］と画素ブロック［１，１］と画素ブロック［２，１］と画素ブロック［３，１］と画素ブロック［０，２］と画素ブロック［１，２］と画素ブロック［２，２］が同一の露光条件Ｅ［２］とする。露光条件Ｅ［２］に対する補正量をΔＦＥ_２とすると、（６）式に示すようにΔＦ_０，１＝ΔＦ_１，１＝ΔＦ_２，１＝ΔＦ_３，１＝ΔＦ_０，２＝ΔＦ_１，２＝ΔＦ_２，２＝ΔＦＥ_２とする変形を行うことができる。また、画素ブロック［ｕ，ｖ］に関し、画素ブロック［３，２］の露光条件がＥ［３］であるとする。露光条件Ｅ［３］に対する補正量をΔＦＥ_３とすると、（６）式に示すようにΔＦ_３，２＝ΔＦＥ_３とする変形を行うことができる。この変形の結果として、（３）式の左辺の係数行列Ａは、行数が領域数と同じ個数であり、列数が露光条件の種別の個数と同じ個数の行列に変換される。また、（３）式の左辺の補正量の行列Ｆは、行数が露光条件の種別の個数と同じ個数であり、列数が１の行列ＦＥに変換される。そして、（３）式の右辺は、行数が領域数と同じ個数であり、列数が１の行列のままで変化しない。

すなわち、Ｓ６０３では、前記マップ情報より、露出設定が同一の元（変数）の係数を加算し、（画像内の）露出設定の数の元（変数）で、領域の数と同じ個数からなる、連立一次方程式に変換される。図７（ｂ）の例では、４変数の方程式が１２個生成される。

＜第二の行列変換処理の詳細＞
第二の行列変換処理の詳細について、図を用いて説明する。図８は、第二の行列変換処理を説明するための図である。

第二の行列変換処理では、同一の露光条件を使用している行（画素ブロック［ｉ，ｊ］）をマップ情報から探索し、同一の露光条件を使用する画素ブロックに対応する第二の係数行列における全ての行（ｉ＋ｊ×Ｍ）を加算して第三の係数行列に変換する。ここでは、露光条件の若番から順番に探索を行い、第三の係数行列の若番の行から順番に変換する。例えば、０番目の露光条件Ｅ［０］を使用している画素ブロック［ｉ，ｊ］をマップ情報から検索し、露光条件Ｅ［０］を使用する画素ブロックに対応する全ての行（ｉ＋ｊ×Ｍ）を加算して、第三の係数行列の０行目に変換する。以降、この操作を操作２と称する。

図８によれば、Ｓ６０３で得られた第二の係数行列において、０番目の露光条件Ｅ［０］を使用している画素ブロック［ｉ，ｊ］は、画素ブロック［０，０］と画素ブロック［１，０］である。そのため、第二係数行列のうち、（０＋０×４＝）０行目と（１＋０×４＝）１行目を加算して、第三の係数行列の０行目に変換する。

１番目の露光条件Ｅ［１］を使用している画素ブロック［ｉ，ｊ］は、画素ブロック［２，０］と画素ブロック［３，０］である。そのため、第二の係数行列のうち、（２＋０×４＝）２行目と（３＋０×４＝）３行目とを加算して、第三の係数行列の１行目に変換する。

２番目の露光条件Ｅ［２］を使用している画素ブロック［ｉ，ｊ］は、次に示す画素ブロックである。すなわち、画素ブロック［０，１］、画素ブロック［１，１］、画素ブロック［２，１］、画素ブロック［３，１］、画素ブロック［０，２］、画素ブロック［１，２］、画素ブロック［２，２］である。そのため、第二の係数行列のうち、（０＋１×４＝）４行目と（１＋１×４＝）５行目と（２＋１×４＝）６行目と（３＋１×４＝）７行目と（０＋２×４＝）８行目と（１＋２×４＝）９行目と（２＋２×４＝）１０行目を加算する。そして、この加算結果を第三の係数行列の２行目に変換する。

３番目の露光条件Ｅ［３］を使用している画素ブロック［ｉ，ｊ］は、画素ブロック［３，２］であるため、第二の係数行列のうちの（３＋２×４＝）１１行目を第三の係数行列の３行目に変換する。

上述した通り、操作２を０番目の露光条件Ｅ［１］から３番目の露光条件Ｅ［３］までの４回繰り返すと、図８に示すように、行数が４行であり、列数が４列である第三の係数行列が得られる。

上述した操作２の意味は次のようなものである。第二の係数行列を使った方程式は、変数が露光条件数（Ｅ個とする）であり、方程式の数がＭ×Ｎ個（Ｍ×Ｎ≧Ｅ）であり、一つの露光条件での補正値を複数の領域の画素データで評価するということを意味する。どれかの方程式を選択して計算した場合、局所的な解に陥る可能性がある。これを防ぐため、同一露光条件の方程式を加算することで解の平均化を行う。

上述した操作２を行列の方程式で表すと、次のような意味になる。例えば、Ｓ６０３と同様に、画素ブロック［ｉ，ｊ］に関し、画素ブロック［０，０］と画素ブロック［１，０］が同一の露光条件Ｅ［０］とする。以下の（７）式および（８）式に示すように、第二の係数行列の０行目と１行目が加算されて、第三の係数行列の０行目となるような行数の縮退が行われる。また、画素ブロック［ｉ，ｊ］に関し、画素ブロック［２，０］と画素ブロック［３，０］が同一の露光条件Ｅ［１］とする。（７）式および（８）式に示すように、第二の係数行列の２行目と３行目が加算されて、第三の係数行列の１行目となるような行数の縮退が行われる。また、画素ブロック［ｉ，ｊ］に関し、画素ブロック［０，１］と画素ブロック［１，１］と画素ブロック［２，１］と画素ブロック［３，１］と画素ブロック［０，２］と画素ブロック［１，２］と画素ブロック［２，２］が同一の露光条件Ｅ［２］とする。（７）式および（８）式に示すように、第二の係数行列の４行目と５行目と６行目と７行目と８行目と９行目と１０行目が加算されて、第三の係数行列の２行目となるような行数の縮退が行われる。また、画素ブロック［ｉ，ｊ］に関し、画素ブロック［３，２］が露光条件Ｅ［３］とすると、（７）式および（８）式に示すように、第二の係数行列の１１行目から第三の係数行列の３行目に変換される。結果として、係数行列は、行数が露光条件の種別の個数と同じ個数であり、列数が露光条件の種別の個数と同じ個数である行列に変換される。また、補正量行列は行数が露光条件の種別の個数と同じ個数であり、列数が１の行列ＦＥのままで変化しない。そして、右辺は、行数が露光条件数であり、列数が１である行列に変換される。行列のｅ番目の要素は、露光条件Ｅ［ｅ］が使用されている領域数に等しくなる。

すなわち、Ｓ６０４では、前記マップ情報より、露出設定が同一の方程式を加算し、（画像内の）露出設定の数の元（変数）で、（画像内の）露出設定の数からなる、連立一次方程式に変換される。図８の例では、４変数の方程式が４個生成される。

上述した通り、行数と列数がともに領域数と同じ個数である第一の係数行列は、Ｓ６０３の処理およびＳ６０４の処理を経ることで、行数と列数がともに露光条件の種別の個数と同じ個数である第三の係数行列に変換される。なお、露出条件の種別の個数は、撮像センサが露出設定可能な領域の個数と比べて少ないことから、行数および列数が共に小さくなった第三の係数行列に変換されることになる。Ｓ６０４の処理を終えると、図６に示すフローを終え、Ｓ５０２の処理を終えることになる。

図５に戻る。Ｓ５０３では、補正値算出部３０３（算出部３０５）は、Ｓ６０４の処理で得られた第三の係数行列の逆行列を算出する。逆行列を求める方法は公知の方法を用いる。一例を挙げると、ガウス・ジョルダン法などの手法で逆行列を生成することが可能である。Ｓ５０３での算出結果として、第三の係数行列の逆行列が得られる。Ｓ５０２の処理結果として、行数および列数がともに領域数と同じ個数から露光条件の種別の個数と同じ個数に削減されているため、Ｓ５０３での逆行列を計算するための計算量を減らすことができる。ただし、第三の係数行列に逆行列が存在しない場合、逆行列が得られないことになる。なお、第三の係数行列の逆行列は、詳細につき後述する通り、露出設定の誤差を補正する補正値を算出する際に用いられることから、Ｓ５０３の逆行列算出処理は、評価値に基づき露出設定の誤差を推定しているともいえる。

Ｓ５０４では、補正値算出部３０３は、Ｓ５０２で得られた第三の係数行列に逆行列が存在するか判定する。第三の係数行列に逆行列が存在しないとの判定結果を得た場合（Ｓ５０４のＮＯ）、逆行列が得られないことになる。その場合は、明るさ調整値の補正を行わないものと判断し、その後の補正値算出処理（Ｓ５０５）と明るさ調整値の更新処理（Ｓ５０６）を実行せずに、図５に示す処理を終了する。なお、このように補正値が算出されない場合には、境界評価部３０２で階調拡張された平均値と露光時間とアナログゲイン値とに基づき算出された明るさ調整値１３０がそのまま露光補正部１０５に出力されることになる。一方、第三の係数行列に逆行列が存在するとの判定結果を得た場合（Ｓ５０４のＹＥＳ）、逆行列が得られることになる。その場合は、処理がＳ５０５に移行される。

Ｓ５０５では、補正値算出部３０３（決定部３０６）は、Ｓ５０３で得られた第三の係数行列の逆行列を基に、補正値を求める。すなわち、補正値算出部３０３は、上述の（８）に対して両辺の左側から第三の係数行列の逆行列を乗算することにより、以下の（９）式に示すように補正値行列を求める。得られた補正値行列は、ΔＦＥ_ｉ，ｊを要素とする補正値行列となっている。

Ｓ５０６では、補正値算出部３０３（明るさ調整値更新部３０７）は、Ｓ５０５で求められた補正値行列の各要素を用いて明るさ調整値１３０の更新を実施する。すなわち、補正値算出部３０３は、各露光条件の明るさ調整値１３０に対して補正値ΔＦＥ_ｉ，ｊを乗算して明るさ調整値１３０を更新する。更新後の明るさ調整値１３０は、露光補正部１０５に送られることによって、次フレームの露光画像１２２に対して適用される。

以上、説明した通り、本実施形態によれば、各領域の露光条件が同一の領域ではゲイン補正量は等しいと仮定することで、連立一次方程式の元（変数）の個数と方程式の個数は領域の個数から露光条件の種別の個数に削減される。このような操作を行うことにより、高解像度の画像において領域の個数が多くなる場合であっても、補正値を求める際の計算量の増大を防ぐことが可能になる。すなわち、撮像センサに起因して生じる領域の間の誤差を補正するための計算量を低減することが可能となる。

［実施形態２］
本実施形態に係る撮像装置ついて説明する。本実施形態では、実施形態１と異なる点を中心に説明する。実施形態１の補正値算出部３０３（生成部３０４）は、まずＳ６０３にて、露光条件が同一である列同士を加算して列数を削減する処理を実行し、次に、Ｓ６０４にて、露光条件が同一である行同士を加算して行数を削減する処理を実行した。これらの処理順序は、結果に影響を与えず、どちらの処理を先に実行してもよい。本実施形態では、第一の変換処理と第二の変換処理とを実行する順序を実施形態１の場合と逆にする態様について説明する。

＜行列生成処理（Ｓ５０２）の詳細＞
本実施形態に係る行列生成処理（Ｓ５０２）の詳細について、図を用いて説明する。図９は、本実施形態に係る行列生成処理（Ｓ５０２）の詳細な流れを示すフローチャートである。本実施形態では、第一の係数行列の生成処理およびマップ情報の取得処理を実行した後、第二の行列変換処理（Ｓ９０３）を実行し、次に、第一の行列変換処理（Ｓ９０４）を実行する。Ｓ９０１およびＳ９０２の処理内容はそれぞれ、実施形態１のＳ６０１およびＳ６０２の処理内容と同じであることから、その説明を省略する。なお、露光条件の種類の判別および各画素ブロックに対する、露光条件の種別を示す番号の付与は、第二の行列変換処理（Ｓ９０３）を実行する前のタイミングで実行されていればよく、Ｓ９０３にて実行してもよい。

Ｓ９０３では、生成部３０４（第二の行列変換部３１１）は、Ｓ６０４と同様、マップ情報に基づき、画素ブロック［ｉ，ｊ］に関し、同一の露光条件を使用する画素ブロックを加算することで、第一の係数行列を第四の係数行列に変換する。

例えば、画面内（１フレーム内）に使用されている露光条件が４種類であるとすると、０番から３番までの露光条件が使用されていることとなり、それぞれの露光条件をＥ［０］からＥ［３］とする。

次に、０番目と番号付けた露光条件Ｅ［０］を使用している画素ブロック［ｉ，ｊ］をマップ情報から検索し、その画素ブロックに対応する全ての行同士を加算して、第四の係数行列の０行目に変換する。この操作は、上述の実施形態１の操作２に相当する。なお、露光条件Ｅ［１］を使用している画素ブロック［ｉ，ｊ］は、マップ情報から検索し、その画素ブロックに対応する全ての行同士を加算して、第四の係数行列の１行目に変換する。露光条件Ｅ［２］を使用している画素ブロック［ｉ，ｊ］は、マップ情報から検索し、その画素ブロックに対応する全ての行同士を加算して、第四の係数行列の２行目に変換する。露光条件Ｅ［３］を使用している画素ブロック［ｉ，ｊ］は、マップ情報から検索し、その画素ブロックに対応する全ての行同士を加算して、第四の係数行列の３行目に変換する。

すなわち、操作２を０番目の露光条件Ｅ［０］から３番目の露光条件Ｅ［３］までの４回繰り返すと、例えば、行数が２００行であり、列数が２００列である第一の係数行列は、行数が４行であり、列数が２００列である第四の係数行列に変換される。

本実施形態に係る操作２を行列の方程式で表すと、次のような意味になる。例えば、Ｓ６０４と同様、画素ブロック［ｉ，ｊ］に関し、画素ブロック［０，０］と［１，０］が同一の露光条件Ｅ［０］とすると、以下の（１０）式および以下の（１１）式に示すように、係数行列の行数を縮退するような変換が行われる。結果として、係数行列は、行数が露光条件の種別の個数と同じ個数であり、列数が領域の個数と同じ個数である行列に変換される。また、補正量行列は、行数が領域数の個数と同じ個数であり、列数が１である行列となる。そして、右辺は、行数が露光条件の種別の個数と同じ個数であり、列数が１である行列に変換される。行列のｅ番目の要素は、露光条件Ｅ［ｅ］が使用されている領域数と等しくなる。

Ｓ９０４では、生成部３０４（第一の行列変換部３１０）は、Ｓ６０３と同様、マップ情報に基づき、画素ブロック［ｕ，ｖ］に関し、同一の露光条件を使用する画素ブロックを加算することで、第四の係数行列を第五の係数行列（第三の係数行列）に変換する。

例えば、０番目と番号付けた露光条件Ｅ［０］を使用している画素ブロック［ｕ，ｖ］をマップ情報から検索し、その画素ブロックに対応する全ての列同士を加算して、第五の係数行列（第三の係数行列）の０列目に変換する。この操作は、上述の実施形態１の操作１に相当する。なお、露光条件Ｅ［１］を使用している画素ブロック［ｕ，ｖ］は、マップ情報から検索し、その画素ブロックに対応する全ての列同士を加算して、第五の係数行列（第三の係数行列）の１行目に変換する。露光条件Ｅ［２］を使用している画素ブロック［ｕ，ｖ］は、マップ情報から検索し、その画素ブロックに対応する全ての列同士を加算して、第五の係数行列（第三の係数行列）の２行目に変換する。露光条件Ｅ［３］を使用している画素ブロック［ｕ，ｖ］は、マップ情報から検索し、その画素ブロックに対応する全ての列同士を加算して、第五の係数行列（第三の係数行列）の３行目に変換する。

すなわち、操作１を０番目の露光条件Ｅ［０］から３番目の露光条件Ｅ［３］までの４回繰り返すと、例えば、行数が４行であり、列数が２００列である第四の係数行列は、行数が４行であり、列数が４列である第五の係数行列（第三の係数行列）に変換される。

本実施形態に係る操作１を行列の方程式で表すと、以下の（１２）式に示すようなものになる。この変形の結果として、第五の係数行列（第三の係数行列）は、行数が露光条件の種別の個数と同じ個数であり、列数が露光条件の種別の個数と同じ個数である行列に変換される。また、補正量の行列Ｆは行数が露光条件の種別の個数と同じ個数であり、列数が１である行列ＦＥに変換される。そして、右辺は、行数が露光条件の種別の個数と同じ個数であり、列数が１である行列のままで変化しない。

Ｓ９０４までの結果として得られる第五の係数行列は、実施形態１で得られた第三の係数行列と同じ値となり、第一の行列変換処理と第二の行列変換処理は順序によらず、いずれの順序で第一および第二の行列変換処理を実行する素子を実装してもよいといえる。

以上、説明した通り、本実施形態によれば、実施形態１と同様、各領域の露光条件が同一の領域ではゲイン補正量は等しいと仮定することで、連立一次方程式の元（変数）の個数と方程式の個数は領域の個数から露光条件の種別の個数に削減される。このような操作を行うことにより、高解像度の画像において領域数が多くなる場合であっても、補正値を求める際の計算量の増大を防ぐことが可能になる。すなわち、撮像センサに起因して生じる領域の間の誤差を補正するための計算量を低減することが可能となる。

本実施形態の開示は、以下の構成例、方法例、およびプログラム例に代表される構成を含む。

（構成１）
領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、
前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、
前記導出した評価値に基づき露出設定の誤差を推定する推定手段と、
前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、
前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新手段と、
を有し、
前記導出手段は、
前記画像データから得られた領域毎の評価値を基に、各領域に対応付けられた露出設定毎の評価値を導出する、ことを特徴とする画像処理装置。

（構成２）
前記導出手段は、前記領域と前記露出設定とが対応付けられたマップ情報を参照して、前記露出設定毎の評価値を導出する、ことを特徴とする構成１に記載の画像処理装置。

（構成３）
前記マップ情報は、前記画像データに付帯される、または前記画像処理装置に保存され、
前記マップ情報を取得する第１の取得手段をさらに有し、
前記導出手段は、前記取得されたマップ情報を参照して、前記露出設定毎の評価値を導出する、ことを特徴とする構成２に記載の画像処理装置。

（構成４）
前記導出手段は、
前記領域毎の評価値を用いて、前記領域の数と同じ個数の変数で、前記領域の数と同じ個数からなる、第１の連立方程式を生成する生成手段と、
前記マップ情報に基づき、前記生成した第１の連立方程式において、前記露出設定が同じ変数の係数を加算し、前記マップ情報における前記露出設定の数と同じ個数の変数で、前記領域の数と同じ個数からなる、第２の連立方程式に変換する第一の変換手段と、
前記マップ情報に基づき、前記変換した第２の連立方程式において、前記露出設定が同じ方程式を加算し、前記マップ情報における前記露出設定の数と同じ個数の変数で、前記マップ情報における前記露出設定の数と同じ個数からなる、第３の連立方程式に変換する第二の変換手段と、
を有し、
前記変換された第３の連立方程式を解くことで、前記露出設定毎の評価値を導出する
ことを特徴とする構成２または３に記載の画像処理装置。

（構成５）
前記導出手段は、
前記領域毎の評価値を用いて、前記領域の数と同じ個数の変数で、前記領域の数と同じ個数からなる、第１の連立方程式を生成する生成手段と、
前記マップ情報に基づき、前記生成した第１の連立方程式において、前記露出設定が同じ方程式を加算し、前記マップ情報における前記露出設定の数と同じ個数の変数で、前記領域の数と同じ個数からなる、第４の連立方程式に変換する第二の変換手段と、
前記マップ情報に基づき、前記変換した第４の連立方程式において、前記露出設定が同じ変数の係数を加算し、前記マップ情報における前記露出設定の数と同じ個数の変数で、前記マップ情報における前記露出設定の数と同じ個数からなる、第３の連立方程式に変換する第一の変換手段と、
を有し、
前記変換された第３の連立方程式を解くことで、前記露出設定毎の評価値を導出する
ことを特徴とする構成２または３に記載の画像処理装置。

（構成６）
前記領域の間の境界を示す境界情報に基づいて、前記境界に隣接する隣接画素の画素値を取得する第２の取得手段と、
前記取得した前記隣接画素の画素値を用いて求められた画素値の平均値を前記領域毎の評価値として取得する評価手段と、
を有する、ことを特徴とする構成１から５の何れか一つに記載の画像処理装置。

（方法１）
領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理方法であって、
前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出工程と、
前記導出した評価値に基づき露出設定の誤差を推定する推定工程と、
前記推定した露出設定の誤差を補正するための補正値を決定する決定工程と、
前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新工程と、
を含み、
前記導出工程では、
前記画像データから得られた領域毎の評価値を基に、各領域に対応付けられた露出設定毎の評価値を導出する、ことを特徴とする画像処理方法。

（プログラム）
コンピュータを、構成１から６の何れか一つに記載の画像処理装置の各手段として機能させるためのプログラム。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の画像処理装置は、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などに適用することが可能である。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールにも適用することが可能である。

３０４ 生成部
３０５ 算出部
３０６ 決定部
３０７ 明るさ調整値更新部

Claims (8)

1. 領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、
   前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、
   前記導出した評価値に基づき露出設定の誤差を推定する推定手段と、
   前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、
   前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新手段と、
   を有し、
   前記導出手段は、
   前記画像データから得られた領域毎の評価値を基に、各領域に対応付けられた露出設定毎の評価値を導出する、ことを特徴とする画像処理装置。
2. 前記導出手段は、前記領域と前記露出設定とが対応付けられたマップ情報を参照して、前記露出設定毎の評価値を導出する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記マップ情報は、前記画像データに付帯される、または前記画像処理装置に保存され、
   前記マップ情報を取得する第１の取得手段をさらに有し、
   前記導出手段は、前記取得されたマップ情報を参照して、前記露出設定毎の評価値を導出する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記導出手段は、
   前記領域毎の評価値を用いて、前記領域の数と同じ個数の変数で、前記領域の数と同じ個数からなる、第１の連立方程式を生成する生成手段と、
   前記マップ情報に基づき、前記生成した第１の連立方程式において、前記露出設定が同じ変数の係数を加算し、前記マップ情報における前記露出設定の数と同じ個数の変数で、前記領域の数と同じ個数からなる、第２の連立方程式に変換する第一の変換手段と、
   前記マップ情報に基づき、前記変換した第２の連立方程式において、前記露出設定が同じ方程式を加算し、前記マップ情報における前記露出設定の数と同じ個数の変数で、前記マップ情報における前記露出設定の数と同じ個数からなる、第３の連立方程式に変換する第二の変換手段と、
   を有し、
   前記変換された第３の連立方程式を解くことで、前記露出設定毎の評価値を導出する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記導出手段は、
   前記領域毎の評価値を用いて、前記領域の数と同じ個数の変数で、前記領域の数と同じ個数からなる、第１の連立方程式を生成する生成手段と、
   前記マップ情報に基づき、前記生成した第１の連立方程式において、前記露出設定が同じ方程式を加算し、前記マップ情報における前記露出設定の数と同じ個数の変数で、前記領域の数と同じ個数からなる、第４の連立方程式に変換する第二の変換手段と、
   前記マップ情報に基づき、前記変換した第４の連立方程式において、前記露出設定が同じ変数の係数を加算し、前記マップ情報における前記露出設定の数と同じ個数の変数で、前記マップ情報における前記露出設定の数と同じ個数からなる、第３の連立方程式に変換する第一の変換手段と、
   を有し、
   前記変換された第３の連立方程式を解くことで、前記露出設定毎の評価値を導出する
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記領域の間の境界を示す境界情報に基づいて、前記境界に隣接する隣接画素の画素値を取得する第２の取得手段と、
   前記取得した前記隣接画素の画素値を用いて求められた画素値の平均値を前記領域毎の評価値として取得する評価手段と、
   を有する、ことを特徴とする請求項１に記載の画像処理装置。
7. 領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理方法であって、
   前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出工程と、
   前記導出した評価値に基づき露出設定の誤差を推定する推定工程と、
   前記推定した露出設定の誤差を補正するための補正値を決定する決定工程と、
   前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新工程と、
   を含み、
   前記導出工程では、
   前記画像データから得られた領域毎の評価値を基に、各領域に対応付けられた露出設定毎の評価値を導出する、ことを特徴とする画像処理方法。
8. 領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするためのプログラムであって、
   前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出工程と、
   前記導出した評価値に基づき露出設定の誤差を推定する推定工程と、
   前記推定した露出設定の誤差を補正するための補正値を決定する決定工程と、
   前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新工程と、
   を含み、
   前記導出工程では、
   前記画像データから得られた領域毎の評価値を基に、各領域に対応付けられた露出設定毎の評価値を導出する、ことを特徴とするプログラム。

Images