JP2023161484A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】撮像センサに起因して生じる領域の間の誤差を適切に補正する。【解決手段】領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、露出設定の誤差を補正する対象であるかを、前記領域の間の境界ごとに判定する判定手段と、前記判定した判定結果に応じて、前記導出した評価値を変更する変更手段と、前記導出した評価値、または前記変更した評価値に基づき露出設定の誤差を推定し、前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、前記生成した補正値を用いて画像データを調整するための調整値を更新する更新手段とを有する。【選択図】図３

Description

本開示は、高ダイナミックレンジの画像の撮像を制御する技術に関する。

カメラのダイナミックレンジは、撮像センサの飽和電子数とＡ／Ｄ変換後のビット精度とによって制限される。カメラのダイナミックレンジを広げるために、撮像センサの露出（露光時間やアナログゲイン）を部分的に変更する方法が種々開発されている。撮像センサの受光領域全体を複数の領域に分け、領域毎に露出を設定し、撮像センサにより得られたデジタル信号に対して、設定された露出から算出した領域毎の補正ゲインを乗じることで、領域毎の露出設定の違い（差）を補正する技術がある。しかし、撮像センサに起因して、露光時間やアナログゲインに設計値からの誤差が生じた場合、領域の間で露出が合わず領域の間の境界で階調の誤差が生じる場合がある。

この点、特許文献１では、撮像センサに起因して生じる領域の間の境界の誤差を推定し、推定した誤差を補正するための補正値を導出し、導出した補正値を用いて画像データを補正する技術を開示する。

特開２０１９－７５６５８号公報

特許文献１の技術では、例えば、領域の間の境界付近に被写体に対応する画像のエッジがあり、当該エッジにより画素値の変化がある場合、当該画素値の変化を、撮像センサに起因して生じた領域の間の境界の誤差として推定してしまう可能性があった。

本開示は、撮像センサに起因して生じる領域の間の誤差を適切に補正する技術を提供する。

上記の課題を解決するための本開示の一態様に係る画像処理装置は、領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、露出設定の誤差を補正する対象であるかを、前記領域の間の境界ごとに判定する判定手段と、前記判定した判定結果に応じて、前記導出した評価値を変更する変更手段と、前記導出した評価値、または前記変更した評価値に基づき前記露出設定の誤差を推定し、前記推定した露出設定の誤差を補正する補正値を決定する決定手段と、前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新手段と、を有することを特徴とする。

本開示によれば、撮像センサに起因して生じる領域の間の誤差を適切に補正することができる。

撮像装置の概略構成例を示す図である。 撮像素子部の各領域を説明するための図である。 明るさ調整値補正部を説明するための図である。 各領域の画素ブロックの境界周辺画素値の平均値を示す図である。 補正値算出部が実行する処理の流れを示すフローチャートである。 行列生成処理の詳細な流れを示すフローチャートである。 明るさ調整値補正部を説明するための図である。 行列生成処理の詳細な処理の流れを示すフローチャートである。 明るさ調整値補正部を説明するための図である。 行列生成処理の詳細な処理の流れを示すフローチャートである。 明るさ調整値補正部を説明するための図である。 行列生成処理の詳細な処理の流れを示すフローチャートである。

以下、添付の図面を参照して、本開示の技術の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本開示の技術を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。なお。同一の構成要素または処理について同じ参照符号を付して説明する。

［実施形態１］
図１は、本実施形態に係る撮像装置１００の概略構成例を示すブロック図である。本実施形態の撮像装置１００は、一般的な撮像装置が有する各種の構成も備える画像処理装置であるが、図示および説明を簡潔にするために、図１には本実施形態に係る主要な構成部のみを示している。

撮像装置１００は、同期制御部１０１、撮像素子部１０３、Ａ／Ｄ変換部１０４、露光補正部１０５、階調変換部１０６、画像出力部１０８、露光時間制御部１０９、ゲイン制御部１１０、露光条件算出部１１１、明るさ調整値補正部１３１を有する。

まず、本実施形態の撮像装置１００について、撮像素子部１０３を起点として各構成部の概要を説明する。

撮像素子部１０３は、撮像領域を有する。撮像領域は、画素ブロックと呼ぶ領域で複数に分割される。撮像素子部１０３は、画素ブロック（領域）単位で駆動可能であり、各々の領域毎に異なった露光時間による露光動作（電荷の蓄積）を行える機能を有する。画素ブロックの詳細に関しては後述する。本実施形態の場合、撮像素子部１０３は、露光時間制御部１０９から供給される露光制御信号１１７によって各々の領域毎に露光時間が設定され、それら領域毎に設定された露光時間で露光を行う。露光制御信号１１７は、撮像素子部１０３の各領域に領域毎の露光時間を設定するための信号である。そして撮像素子部１０３は、領域毎に露光制御信号１１７によって設定された露光時間で各画素に蓄積した電荷を、画素電位１１８として読み出してＡ／Ｄ変換部１０４に出力する。

Ａ／Ｄ変換部１０４は、撮像素子部１０３から読み出された画素電位１１８をアナログ／デジタル変換してデジタル値に変換する。本実施形態の場合、Ａ／Ｄ変換部１０４には、ゲイン制御部１１０によって前述の各々の領域毎に対応したアナログゲイン１２１が設定される。Ａ／Ｄ変換部１０４は、撮像素子部１０３から出力された画素電位１１８に対して領域毎にアナログゲイン１２１をかけた後、アナログ／デジタル変換してデジタル値に変換する。以下、Ａ／Ｄ変換部１０４にて領域毎にアナログゲイン１２１をかけてアナログ／デジタル変換されたデジタル信号よりなる画像を、露光画像１２２と呼ぶ。Ａ／Ｄ変換部１０４から出力された露光画像１２２は、明るさ調整値補正部１３１と露光条件算出部１１１と露光補正部１０５とに送られる。

露光条件算出部１１１は、露光画像１２２を基に、撮像が最適な条件となるように領域毎に露光時間１１２およびアナログゲイン値１１３を算出して更新する。具体的には、露光条件算出部１１１は、露光画像１２２の輝度分布を基に画素ブロック毎に画素値（輝度値）のヒストグラムを算出する。そして、露光条件算出部１１１は、明部側に画素値が分布していれば、より暗く撮像する設定値になるように領域毎に露光時間１１２およびアナログゲイン値１１３を変更（更新）する。また、露光条件算出部１１１は、暗部側に画素値が分布していれば、より明るく撮像する設定値になるように領域毎に露光時間１１２およびアナログゲイン値１１３を変更（更新）する。そして、領域毎の露光時間１１２の値は、露光時間制御部１０９と露光補正部１０５とに送られる。領域毎のアナログゲイン値１１３は、ゲイン制御部１１０と露光補正部１０５とに送られる。領域毎の露光時間１１２の値と領域毎のアナログゲイン値１１３は、明るさ調整値補正部１３１にも送られる。

明るさ調整値補正部１３１は、露光時間とアナログゲイン値に対する補正値を算出する。そして、明るさ調整値補正部１３１は、露光時間とアナログゲイン値から得られる明るさ調整値１３０に対し補正値を乗算して明るさ調整値１３０を更新し、更新後の明るさ調整値１３０を露光補正部１０５に出力する。なお、補正値が算出されない場合には、露光時間とアナログゲイン値から得られる明るさ調整値１３０がそのまま露光補正部１０５に出力されることになる。この明るさ調整値補正部１３１の動作に関しては後述する。

ここで、明るさ調整値１３０の考え方について説明する。明るさ調整値は、各領域の露光条件で撮像した信号値を、基準となる露光条件で撮像した時の信号値に換算するための換算係数を表す値である。

例えば、基準となる露光条件を露光条件Ａとし、この露光条件Ａでは、露光時間を１／３０秒とし、アナログゲインを８倍とする。また、基準となる露光条件Ａと異なる、露光時間を１／６０秒とし、アナログゲインを２倍とする露光条件を露光条件Ｂとする。ある領域Ｃを露光条件Ｂで撮像した時の信号値をＳＢとする。露光条件Ａと露光条件Ｂとの間には、露光時間についてＢはＡの１／２、アナログゲインについてＢはＡの１／４の関係にある。すなわち、領域Ｃを基準となる露光条件で撮像した時の信号値をＳＡとすると、ＳＡとＳＢは次に示す関係が成立する。
ＳＢ＝１／２×１／４×ＳＡ＝１／８×ＳＡ

すなわち、ＳＡとＳＢは次に示す関係となる。この８倍の値が領域Ｃに対応する明るさ調整値となる。
ＳＡ＝８×ＳＢ

また、同期制御部１０１は、同期した露光時間出力パルス１２０とゲイン出力パルス１１４とを生成する。同期制御部１０１は、生成した露光時間出力パルス１２０を露光時間制御部１０９に出力する。同期制御部１０１は、生成したゲイン出力パルス１１４をゲイン制御部１１０に出力する。これによって、同期制御部１０１は、露光時間制御部１０９の処理とゲイン制御部１１０の処理とを同期制御する。露光時間出力パルス１２０は、露光時間制御部１０９が露光制御信号１１７を撮像素子部１０３に出力するタイミングを制御するための信号である。露光時間制御部１０９は、露光時間出力パルス１２０に基づいて、露光制御信号１１７を撮像素子部１０３に出力することで、撮像素子部１０３の任意の画素ブロック毎に露光時間を変更する。また、ゲイン出力パルス１１４は、ゲイン制御部１１０がアナログゲイン１２１をＡ／Ｄ変換部１０４に出力するタイミングを制御するための信号である。ゲイン制御部１１０は、ゲイン出力パルス１１４に基づいて、アナログゲイン１２１をＡ／Ｄ変換部１０４に出力することで、任意の画素ブロック毎に画素電位にかけるゲインを変更する。このように本実施形態では、同期制御部１０１が、露光時間制御部１０９とゲイン制御部１１０を同期させて動作制御を行うことで、撮像素子部１０３の画素ブロック毎に露光時間とアナログゲインを適宜変えた露光画像１２２を出力できる。

露光時間制御部１０９は、露光時間出力パルス１２０と領域毎の露光時間１１２の値とを基に、領域毎の露光制御信号１１７を生成して、撮像素子部１０３に出力する。これにより、領域毎の露光時間１１２に応じた露光時間が、撮像素子部１０３に対して適切なタイミングで設定される。

ゲイン制御部１１０は、ゲイン出力パルス１１４のパルスのタイミングに合わせて領域毎のアナログゲイン値１１３を、撮像素子部１０３の領域毎の画素電位１１８に対する領域毎のアナログゲイン１２１として、Ａ／Ｄ変換部１０４に出力する。これにより、Ａ／Ｄ変換部１０４では、領域毎の画素電位１１８にそれぞれ対応した領域毎のアナログゲイン１２１がかけられた後にアナログ／デジタル変換が行われる。アナログ／デジタル変換が行われたデータは、領域毎の露光画像１２２として、露光補正部１０５に送られる。

露光補正部１０５は、Ａ／Ｄ変換部１０４から送られてきた領域毎の露光画像１２２に対し、明るさ調整値１３０に基づく階調拡張処理を施して階調拡張後画像１２３を生成する。例えば入力される領域毎の露光画像１２２がどの条件で撮像されているかを、領域毎の露光時間１１２と領域毎のアナログゲイン値１１３より認識し、その条件に対応する明るさ調整値１３０を用いて領域毎の露光画像１２２を補正する。露光補正部１０５は、例えばビット数が１０ビットで表される領域毎の露光画像１２２に対する階調拡張処理により、１７ビットで表される階調拡張後画像１２３を生成する。そして、生成した階調拡張後画像１２３は、階調変換部１０６へ送られる。

階調変換部１０６は、階調拡張後画像１２３に対して階調変換を行い、その階調変換後画像１２４を画像出力部１０８へ出力する。本実施形態において、階調変換は、１７ビットの階調拡張後画像１２３のガンマ変換により例えば１１ビットの階調変換後画像１２４を生成する処理であるとする。なお、本実施形態における階調変換処理は、後段の処理においてデータレートを抑えるために行われる。本実施形態において露光画像１２２及び階調変換後画像１２４のビット長をそれぞれ１０ビット及び１１ビットとしたが、これらのビット長は一例であり、これに限定されない。

画像出力部１０８は、階調変換後画像１２４を、撮像装置１００の後段の構成若しくは外部に出力する。

＜撮像素子部１０３の構成＞
図２は、撮像素子部１０３の構成例を説明するための図である。撮像素子部１０３の撮像領域は、複数の画素ブロック２０１を有する。さらに画素ブロック２０１は複数の画素２０２を有する。本実施形態では、撮像素子部１０３の撮像領域の幅２０６方向（水平ライン方向）の画素数が２０００画素であり、高さ２０５方向の画素数が１０００画素（つまり垂直方向における水平ライン数が１０００ライン）であるとする。また、画素ブロック２０１の幅２０４方向（水平ライン方向）の画素数は１００画素であり、高さ２０３方向の画素数は１００画素（垂直方向における水平ラインの１００ライン分）であるとする。この場合、撮像素子部１０３の撮像領域内における画素ブロック２０１の数は、水平方向が２０個となり、垂直方向が１０個となる。また図２の各画素ブロック２０１内に記載されている画素ブロック［０，０］～［１９，９］は、撮像領域内の各画素ブロック２０１の位置を表しており、括弧［ ］内の値は撮像領域内における各画素ブロックの水平・垂直方向のインデックスを表している。図２において、撮像素子部１０３の例えば右上に位置している画素ブロック２０１の場合は、画素ブロック［１９，０］となる。また、同一垂直方向のインデックスで表される画素ブロックの集合をブロック行と呼ぶこととする。すなわち、ブロック行Ｎは画素ブロック［０，Ｎ］～［１９，Ｎ］からなる。例えばブロック行５は画素ブロック［０，５］～［１９，５］からなる。なお、撮像素子部１０３および画素ブロック２０１のそれぞれのサイズ（縦方向および横方向の画素数）は前述の例に限定されるものではない。また、画素２０２の形状および縦横比についても限定されず、例えば正方形ではなく長方形であってもよい。さらに画素ブロック２０１は、１つの画素２０２のみで構成されていてもよい。

そして、本実施形態において、各画素ブロック２０１で、露光時間とアナログゲインとが制御可能となっている。

ここで、露光時間は、撮像時において撮像素子部１０３の画素（受光素子）に電荷が蓄積される時間に相当する。このため、例えば撮像素子部１０３への入射光量が同じであり、画素が飽和しないとすると、露光時間が長いほど画素電位１１８は高くなり、明るく撮像できる。つまり、入射光量が同じで画素の飽和を考慮しない場合、例えば露光時間が１／４８０秒である場合と１／３０秒である場合とを比較すると、１／３０秒の場合の方が明るく撮像できることになる。

アナログゲインは、撮像時にＡ／Ｄ変換部１０４において画素電位１１８にかけられるゲインである。このため、アナログゲインの値が大きいほど、Ａ／Ｄ変換部１０４から出力されるデジタル画素値（ゲインがかけられた後にアナログ／デジタル変換されたデジタル値）が大きい値となる。

図１に戻って、本実施形態の撮像装置１００の構成および動作について、詳細に説明する。

撮像素子部１０３は、露光制御信号１１７に基づき、画素ブロック２０１単位で露光時間が制御されて撮像を行う。そして、撮像素子部１０３は、画素毎に蓄積された電荷に応じた画素電位１１８を出力する。

Ａ／Ｄ変換部１０４は、撮像素子部１０３から出力された画素電位１１８に対し、撮像素子部１０３の画素ブロック毎に対応して設定されたアナログゲイン１２１をかけた後にデジタル変換を行って、露光画像１２２を出力する。なお、本実施形態において、露光画像１２２は１０ビットのデジタル値であるとする。また、アナログゲイン１２１は、例えばゲイン値として、×１倍、×２倍、×４倍、×８倍の４つの値を取り得るものとする。

＜明るさ調整値補正部１３１の動作＞
次に、明るさ調整値１３０を決定する明るさ調整値補正部１３１の動作について、図を参照しながら説明する。図３は、明るさ調整値補正部１３１を説明するための図であり、図３（ａ）に明るさ調整値補正部１３１の構成例を示し、図３（ｂ）に生成部３０４の構成例を示す。

明るさ調整値補正部１３１は、ＲＡＭ３０１、境界評価部３０２、補正値算出部３０３を有する。補正値算出部３０３は、生成部３０４、算出部３０５、決定部３０６、明るさ調整値更新部３０７を有する。また、生成部３０４は、補正処理対象判定部３０８、変更部３０９、行列生成部３１０を含む。補正処理対象判定部３０８は、各画素ブロックの境界ごとに補正処理を行うかどうかを判定する。変更部３０９は、補正処理対象判定部３０８による判定結果に基づき評価値を変更する。行列生成部３１０は、係数行列を生成する。明るさ調整値更新部３０７は、決定部３０６で得られた補正値を用いて明るさ調整値を更新する。補正値算出部３０３の動作の詳細は後述する。

それぞれの構成要素の処理の実装形態は問わず、ハードウェアの回路として実装しても、ソフトウェアとして実装してＣＰＵで処理する形態としてもよい。また、それらが混在してもよい。

ＲＡＭ３０１は、例えば、境界評価部３０２で算出した平均値など、明るさ調整値補正部１３１内の各機能部で用いられるデータを一時的に保持する。

境界評価部３０２は、各画素ブロックの間の境界を示す境界情報を取得し、取得した境界情報を基に、入力される露光画像１２２に対して、画素ブロック境界の周辺画素の画素値を取得する。すなわち、境界評価部３０２は、境界を挟んで隣り合う２つの隣接画素の画素値（輝度値）を取得する。なお、境界情報は、着目画素ブロックと、着目画素ブロックと隣り合う隣接画素ブロックとの間の境界の位置を示す情報である。境界情報は、例えば、ＲＡＭ３０１などに予め保持された情報であってもよいし、または露光画像１２２に付帯された情報であってもよいが、これに限定されない。そして、境界評価部３０２は、画素ブロック境界の周辺画素値の平均値を算出する。具体的には、境界評価部３０２は、注目画素ブロックと、注目画素ブロックと隣り合う隣接画素ブロックとの間の画素ブロック境界の周辺画素値の平均値をフレーム内の全ての画素ブロックに対して予め算出し、それをＲＡＭ３０１に保存しておく。なお、境界周辺は、注目画素ブロック内の境界周辺である、境界と隣り合う隣接画素と、隣接画素ブロック内の境界周辺である、境界と隣り合う隣接画素とを含む。そして、境界評価部３０２は、各画素ブロックの評価値を求める際に必要に応じてＲＡＭ３０１から読み出す。そのうえで、境界評価部３０２は、算出した平均値に対して、着目画素ブロックの露光時間１１２とアナログゲイン値１１３に対応する明るさ調整値１３０を用いて階調拡張処理を施す。階調拡張された平均値は、ＲＡＭ３０１を通じて、補正値算出部３０３へ送られる。

次いで、補正値算出部３０３は、境界評価部３０２で階調拡張された平均値と、露光時間１１２と、アナログゲイン値１１３とに基づいて、明るさ調整値１３０を算出し、算出した明るさ調整値１３０を露光補正部１０５へ出力する。ただし、補正値が算出されて決定した場合には、算出した明るさ調整値１３０に対し補正値を乗算して明るさ調整値１３０を更新し、更新後の明るさ調整値１３０が露光補正部１０５へ出力される。

補正値算出部３０３の動作の詳細を説明する。そのためにまず、補正値算出部３０３で用いられる補正値を算出するための計算式について図を用いて説明する。図４は、画素ブロック［ｉ，ｊ］とその周囲の画素ブロックの位置関係を示す図である。本実施形態では、ｉは０から１９の値を取りえ、ｊは０から９の値を取りうる。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して上側で隣り合う隣接画素ブロック［ｉ，ｊ－１］との境界を上側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して下側で隣り合う隣接画素ブロック［ｉ，ｊ＋１］との間の境界を下側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して左側で隣り合う隣接画素ブロック［ｉ－１，ｊ］との間の境界を左側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して右側で隣り合う隣接画素ブロック［ｉ＋１，ｊ］との間の境界を右側境界と称する。画素ブロック［ｉ，ｊ］の各境界周辺領域における画素値（以下、境界周辺画素値と称する。）の平均値を次に示すように表記する。すなわち、上側境界周辺画素値の平均値をＴ_ｉ，ｊと表記し、下側境界周辺画素値の平均値をＢ_ｉ，ｊと表記する。また、左側境界周辺画素値の平均値をＬ_ｉ，ｊと表記し、右側境界周画素値の平均値をＲ_ｉ，ｊと表記する。なお、各境界周辺領域は、例えば、各領域境界に隣接した１画素幅分であるとするが、これに限定されない。各境界周辺領域は、例えば、各領域境界に隣接した２画素幅分、４画素幅分、８画素幅分とすることも可能である。

境界周辺画素値の平均値から補正値を算出する処理として、画素ブロック［ｉ，ｊ］とその右側と下側に隣接する画素ブロック［ｉ＋１，ｊ］と画素ブロック［ｉ，ｊ＋１］との段差の誤差補正後の評価値Ｅ_ｉ，ｊは、以下の（１）式で表現される。ここで、ΔＦ_ｉ，ｊは、画素ブロック［ｉ，ｊ］の明るさ調整値１３０の補正量を表す。

そして、評価値Ｅ_ｉ，ｊを全ての領域（画素ブロック）で加算した総合評価値Ｅは、以下の（２）式で表現される。（２）式においては、１画面中に、横方向（水平方向）でＭ個の画素ブロックを持ち、縦方向（垂直方向）でＮ個の画素ブロックを持っているものとする。本実施形態においてはＭ＝２０となり、Ｎ＝１０となる。

画素ブロック間の境界の誤差を打ち消すようにすることは、この総合評価値Ｅを、最小化するΔＦ_ｉ，ｊを求めることになる。公知の最小二乗法の解法を用いると、以下の（３）式に示す行列の方程式を解くことと等価となる。すなわち、（３）式の左辺は、境界周辺画素値の平均値からなる要素を持つ行方向Ｍ×Ｎ次元、列方向Ｍ×Ｎ次元の係数行列（係数行列Ａとする）と補正値のＭ×Ｎ行１列の補正値行列（行列Ｆとする）との積となる。（３）式の右辺は、定数からなる行列であり、Ｍ×Ｎ行１列で要素が全て１の行列となる。

また、ここで係数行列Ａの（ｉ＋ｊ×Ｍ）行目（ｕ＋ｖ×Ｍ）列目の要素Ａ_{ｉ，ｊ，ｕ，ｖ}は、以下の（４）式で表される。

ただし、画像端部に位置する画素ブロックの場合、画素ブロックの上側または左側または下側または右側には画素ブロックは存在しない。例えば、画素ブロック［０，０］の場合、画素ブロック［０，０］の上側や左側には画素ブロックは存在しない。このように画素ブロックが存在しない側の境界周辺画素値から係数行列への寄与は０とする。例えば画素ブロック［０，０］の場合、上述の（４）式のうち、以下の（５）式のように３つの係数行列の要素が生成され、画素ブロック［０，０］の上側（（ｕ，ｖ）＝（ｉ，ｊ－１））と左側（（ｕ，ｖ）＝（ｉ－１，ｊ））に当たる要素は生成されない。

以上のようにして、補正値算出のための行列の方程式が得られる。

＜補正値算出部３０３の動作＞
補正値算出部３０３の動作について、図を用いて説明する。図５は、補正値算出部３０３が実行する処理の流れを示すフローチャートである。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。各境界周辺画素値の平均値は、上述の通り、境界評価部３０２によって、露光画像１２２、露光時間１１２、アナログゲイン値１１３、明るさ調整値１３０に基づき導出された後にＲＡＭ３０１に保存されており、補正値算出部３０３に入力可能であるとする。境界周辺画素値の平均値は、撮像センサにより露出設定可能な領域の間の境界で生じる階調の段差を評価する際に用いられ、領域毎に導出されることから領域毎の評価値であるともいえる。

Ｓ５０１では、補正値算出部３０３（生成部３０４）は、入力された境界周辺画素値の平均値を基に、係数行列の生成を行う。例えば、撮像素子部１０３が、図２に示すように、横方向に２０個あり、縦方向に１０個あり、合計２００個の画素ブロックを有する場合、補正値算出部３０３は、係数行列Ａとして、行数が２００行であり、列数が２００列である正方行列を生成する。なお、係数行列の生成処理の詳細については、後述する。

Ｓ５０２では、補正値算出部３０３（算出部３０５）は、係数行列Ａの逆行列を算出する。逆行列を求める方法は公知の方法を用いる。一例を挙げると、ガウス・ジョルダン法などの手法で逆行列を生成することが可能である。Ｓ５０２での算出結果として、係数行列Ａの逆行列Ａ^－１が得られる。ただし、入力された係数行列Ａに逆行列が存在しない場合、逆行列が得られないことになる。なお、係数行列Ａの逆行列は、詳細につき後述する通り、露出設定の誤差を補正する補正値を算出する際に用いられることから、Ｓ５０２の逆行列算出処理は、評価値に基づき露出設定の誤差を推定しているともいえる。

Ｓ５０３では、補正値算出部３０３は、入力された係数行列に逆行列が存在するか判定する。入力された係数行列に逆行列が存在しないとの判定結果を得た場合（Ｓ５０３のＮＯ）、逆行列が得られないことになる。その場合は、明るさ調整値の補正を行わないものと判断し、その後の補正値算出処理（Ｓ５０４）と明るさ調整値の更新処理（Ｓ５０５）を実行せずに、図５に示す処理を終了する。なお、このように補正値が算出されない場合には、境界評価部３０２で階調拡張された平均値と露光時間とアナログゲイン値とに基づき算出された明るさ調整値１３０がそのまま露光補正部１０５に出力されることになる。一方、入力された係数行列に逆行列が存在するとの判定結果を得た場合（Ｓ５０３のＹＥＳ）、逆行列が得られることになる。その場合は、処理がＳ５０４に移行される。

Ｓ５０４では、補正値算出部３０３（決定部３０６）は、Ｓ５０２で得られた係数行列の逆行列Ａ^－１を基に、補正値を求める。すなわち、補正値算出部３０３は、上述の（３）式に対して両辺の左側から係数行列の逆行列Ａ^－１を乗算することにより、以下の（６）式に示すように補正値行列（行列Ｆ）を求める。

Ｓ５０５では、補正値算出部３０３（明るさ調整値更新部３０７）は、Ｓ５０４で求められた補正値行列の各要素を用いて明るさ調整値１３０の更新を実施する。すなわち、補正値算出部３０３は、各露光条件の明るさ調整値１３０に対して補正値ΔＦ_ｉ，ｊを乗算して明るさ調整値１３０を更新する。更新後の明るさ調整値１３０は、露光補正部１０５に送られることによって、次フレームの露光画像１２２に対して適用される。

＜行列生成処理（Ｓ５０１）の詳細＞
図６は、図５に示す行列生成処理（Ｓ５０１）の詳細な流れを示すフローチャートである。本実施形態では、画素ブロックごとの判定処理について説明する。なお、図６に示す処理は、補正値算出部３０３（生成部３０４）により実行される。

Ｓ６０１では、撮像素子部１０３が有する複数の画素ブロックのうち、一つの画素ブロックが選択される。選択された画素ブロックを着目画素ブロックと称する。本実施形態では、画素ブロックを［０，０］，［１，０］，…，［１９．０］，［０，１］，…，［０，９］，…，［１９，９］のように左上から右下への順序で選択することとするが、別の順序であっても構わない。

Ｓ６０２では、Ｓ６０１で選択した画素ブロック（着目画素ブロック）に隣接する画素ブロックのうち１つの画素ブロックが隣接画素ブロックとして選択される。例えば、図２（ａ）に示す画素ブロック［０，０］が選択されている場合、画素ブロック［１，０］および画素ブロック［０，１］の２つが隣接画素ブロックの選択対象となり、どちらか一方が隣接画素ブロックとして選択される。

Ｓ６０３では、例えば、上述の（１）式に示したように、着目画素ブロックの境界の評価値のうち、Ｓ６０２で選択した隣接画素ブロックとの間の境界の評価値を算出する。Ｓ６０４では、Ｓ６０２で選択した隣接画素ブロックとの間の境界（ブロック間ともいう）を補正処理の対象（補正対象）とするか判定する。ブロック間を補正処理対象とするとの判定結果を得た場合（Ｓ６０４のＹＥＳ）、処理がＳ６０６に移行される。ブロック間を補正処理対象としないとの判定結果を得た場合（Ｓ６０４のＮＯ）、処理がＳ６０５に移行される。

本実施形態では、Ｓ６０４の判定方法として、例えば境界に対応する着目画素ブロックおよび隣接画素ブロックそれぞれの境界周辺領域に対応して読み出した画素値の差分（画素値差）と、予め定めされた閾値とを用いて判定する閾値判定方法を用いる。なお、判定方法は、これに限定されず、他の方法を用いてもよい。本実施形態では、例えば、画素値の差が予め定めた閾値より大きい場合、境界付近に何らかの撮像対象物（被写体）に対応する画像のエッジが存在すると判定する。この場合、エッジが存在する境界を補正処理対象としないと判定され（Ｓ６０４のＮＯ）、処理がＳ６０５に移行される。他方、画素値の差が予め定めた閾値より小さい場合、境界付近に何らかの撮像対象物（被写体）のエッジ部分が存在しないと判定する。この場合、エッジが存在しない境界を補正処理対象とすると判定され（Ｓ６０４のＹＥＳ）、処理がＳ６０６に移行される。

Ｓ６０５で、Ｓ６０２で選択した隣接画素ブロックとの間の境界（ブロック境界）の評価値を変更する。具体的には、補正処理の式における着目画素ブロックの補正値および隣接画素ブロックの補正値が、エッジ部分が存在する境界に対して近い値と評価されるよう、評価値を変更する。隣接する画素ブロックの評価値の変更に関して、右に存在する画素ブロックの評価値（以下、右）を左に存在する画素ブロックの評価値（以下、左）に合わせて変更するか、左を右に合わせて変更するか、両方を同じ値に合わせて変更するかはどれでもよい。同様に、下に存在する画素ブロックの評価値（以下、下）を上に存在する画素ブロックの評価値（以下、上）に合わせて変更するか、上を下に合わせて変更するか、両方を同じ値に合わせて変更するかはどれでもよい。本実施形態での変更方法の詳細に関しては後述する。

Ｓ６０６では、Ｓ６０２からＳ６０５の処理を、Ｓ６０１で選択した着目画素ブロックに対応する全ての隣接画素ブロックについて実行したか判定する。すなわち、全ての隣接画素ブロックを選択したか否かを判定する。全ての隣接画素ブロックを選択していないとの判定結果を得た場合（Ｓ６０６のＮＯ）、処理がＳ６０２に戻される。他方、全ての隣接画素ブロックを選択したとの判定結果を得た場合（Ｓ６０６のＹＥＳ）、処理がＳ６０７に移行される。

Ｓ６０７では、Ｓ６０１からＳ６０６の処理を全ての画素ブロックについて実行したか判定する。すなわち、全ての画素ブロックを選択したか否かを判定する。全ての画素ブロックを選択していないとの判定結果を得た場合（Ｓ６０７のＮＯ）、処理がＳ６０１に戻される。他方、全ての画素ブロックを選択したとの判定結果を得た場合（Ｓ６０７のＹＥＳ）、処理がＳ６０８に移行される。以上が画素ブロック単位の処理となる。

Ｓ６０８では、画素ブロック単位で取得し変更した評価値を用いて、係数行列を生成する。Ｓ６０８の処理が完了すると、図６に示すフローを終える。

本実施形態における画素ブロックの選択順および評価値の変更方法に関して図２および図４を用いて説明する。本実施形態では、Ｓ６０１にて図２（ａ）に示す左上の画素ブロック［０，０］から右下の画素ブロック［１９，９］へ順に選択しいく。Ｓ６０２にて下に隣接する画素ブロックと右に隣接する画素ブロックを隣接画素ブロックとして選択し、Ｓ６０５にてブロック境界の評価値を変更する。例えば、図４において画素ブロック［ｉ，ｊ］と画素ブロック［ｉ＋１，ｊ］との境界にエッジが検出されたとき、Ｌ_{ｉ＋１，ｊ}をＲ_ｉ，ｊで置き換える。置き換えの処理は、画素ブロック［ｉ＋１，ｊ］を選択したときに実行される。すなわち、画素ブロック［ｉ，ｊ］を選択したときには当該境界のエッジの検出処理が実行されず、画素ブロック［ｉ＋１，ｊ］を選択したときにエッジの検出処理および置き換え処理が実行される。また、画素ブロック［ｉ，ｊ］と画素ブロック［ｉ，ｊ＋１］との境界にエッジが検出されたとき、Ｔ_{ｉ，ｊ＋１}をＢ_ｉ，ｊで置き換える。エッジの検出処理および置き換え処理は、画素ブロック［ｉ，ｊ＋１］を選択したときに実行される。既に選択済みの画素ブロックの評価値を変更しないことで、Ｓ６０１からＳ６０６の処理に並行して、Ｓ６０７以降の処理を段階的に行うことが可能となる。

以上、説明したように、本実施形態によれば、画素ブロックごとに補正処理の対象とするか否かを判定することにより、補正処理を行う必要がある境界に対してのみ適切に補正処理を実行することができる。

［実施形態２］
本実施形態に係る撮像装置について、図を用いて説明する。本実施形態では、実施形態１と異なる点を中心に説明する。

＜明るさ調整値補正部の構成＞
本実施形態に係る撮像装置が有する明るさ調整値補正部の構成例について、図を用いて説明する。図７は、本実施形態に係る明るさ調整値補正部を説明するための図であり、図７（ａ）に明るさ調整値補正部の構成例を示し、図７（ｂ）に生成部の構成例を示す。本実施形態では、図３（ｂ）に示す生成部３０４にエッジ検出部７０１が追加される。すなわち、本実施形態の生成部３０４は、補正処理対象判定部３０８、変更部３０９および行列生成部３１０に加え、エッジ検出部７０１を有する。

エッジ検出部７０１は、画素ブロックの境界に撮像対象物（被写体）に対応する画像のエッジが存在するか判定する。本実施形態では、判定方法として、例えば輝度平均値を比較して十分大きい場合にエッジが存在すると判定する方法を用いる。例えば、輝度平均値と予め求められた閾値とを比較して、当該輝度平均値が当該閾値より大きいか否かで判定する。閾値を求める方法としては、例えば、次の方法を用いることができる。すなわち、（１）エッジの無い撮像対象物（被写体）を、画素ブロックごとに露光条件を変えて試しに撮像する。（２）前述の（１）にて撮像したときの各画素ブロック（境界）の輝度平均値の差を求める。（３）前述の（２）で求められた輝度平均値の差の最大の値を、本実施形態に係る撮像装置で撮像を行うときの閾値とする。なお、判定方法は、これに限定されず、例えば、画面（撮像素子部）全体に何らかのオブジェクト検出処理を施し、当該境界付近にてエッジの存在を判定する方法などを用いてもよい。エッジの存在を判定する方法の詳細については後述する。エッジ検出部７０１による検出処理で得られた検出結果７０２は、補正処理対象判定部３０８に送られる。補正処理対象判定部３０８は、エッジ検出部７０１から送られた検出結果７０２を基に、補正処理対象であるか判定する。そして、補正処理対象判定部３０８は、この判定で得られた判定結果７０３を変更部３０９に出力する。

＜行列生成処理の詳細＞
本実施形態に係る補正値算出部３０３（生成部３０４）が実行する行列生成処理の詳細について、図を用いて説明する。図８は、本実施形態に係る行列生成処理の詳細な流れを示すフローチャートである。なお、図８に示す処理は、実施形態１における図５のＳ５０１の行列生成処理の詳細な流れに対応する。Ｓ８０１、Ｓ８０２、Ｓ８０６およびＳ８０７は、それぞれ図６のＳ６０１、Ｓ６０２、Ｓ６０６およびＳ６０７と同じであり、Ｓ８０１、Ｓ８０２、Ｓ８０６およびＳ８０７の説明を省略する。

Ｓ８０３では、着目画素ブロックと隣接画素ブロックとの間の境界周辺における輝度平均値を取得する。すなわち、着目画素ブロック内における境界周辺の輝度平均値と、隣接画素ブロック内における境界周辺の輝度平均値とを取得する。次に、Ｓ８０４では、輝度平均値の差を予め定めた閾値と比較し、輝度平均値の差が閾値以上（所定値以上）であるか判定する。閾値以上であるとの判定結果を得た場合（Ｓ８０４のＹＥＳ）、処理がＳ８０５に移行される。他方、閾値未満であるとの判定結果を得た場合（Ｓ８０４のＮＯ）、処理がＳ８０６に移行される。

Ｓ８０５では、ブロック境界の輝度平均値を変更する。例えば、着目画素ブロックの輝度平均値を隣接画素ブロックの輝度平均値と等しくする。このように輝度平均値の変更を行うことにより、ブロック境界においてエッジの輝度平均値の補正値への影響を減らすことができる。なお、輝度平均値の変更方法は、これに限定されず、実施形態１にて説明した評価値の変更方法と同じ方法を用いてもよい。また、画素ブロックの選択順についても、実施形態１にて説明した画素ブロックの選択順と同じ方法を用いてもよい。

Ｓ８０８では、画素ブロック単位で取得し変更した輝度平均値を用いて、係数行列を生成する。Ｓ８０８の処理が完了すると、図８に示すフローを終える。

以上、説明したように、本実施形態によれば、画素ブロックごとに輝度平均値を用いて境界付近のエッジを判定し、補正処理の対象とするか否かを判定することで、補正処理を行う必要がある境界に対してのみ補正処理を適切に行うことができる。

［実施形態３］
本実施形態に係る撮像装置について、図を用いて説明する。本実施形態では、実施形態１、２と異なる点を中心に説明する。

＜明るさ調整値補正部の構成＞
本実施形態に係る撮像装置が有する明るさ調整値補正部の構成例について、図を用いて説明する。図９は、本実施形態に係る明るさ調整値補正部を説明するための図であり、図９（ａ）に明るさ調整値補正部の構成例を示し、図９（ｂ）に生成部の構成例を示す。本実施形態では、図３（ｂ）に示す生成部３０４に露出設定比較部９０１が追加される。すなわち、本実施形態の生成部３０４は、補正処理対象判定部３０８、変更部３０９および行列生成部３１０に加え、露出設定比較部９０１を有する。

露出設定比較部９０１は、隣接する画素ブロック間にて、それぞれの画素ブロックに設定されている露光時間１１２およびアナログゲイン値１１３を比較し、それぞれの画素ブロックの露出設定が同一であるか判定する。すなわち、露出設定比較部９０１は、隣接する画素ブロックのうち一方に設定された露光時間１１２およびアナログゲイン値１１３と、隣接する画素ブロックのうち他方に設定された露光時間１１２およびアナログゲイン値１１３とを比較する。露出設定比較部９０１による比較処理で得られた比較結果９０２は、補正処理対象判定部３０８に送られる。補正処理対象判定部３０８は、露出設定比較部９０１から送られた比較結果９０２を基に、補正処理対象であるか判定する。そして、補正処理対象判定部３０８は、この判定で得られた判定結果７０３を変更部３０９に出力する。

＜行列生成処理の詳細＞
本実施形態に係る補正値算出部３０３（生成部３０４）が実行する行列生成処理の詳細について、図を用いて説明する。図１０は、本実施形態に係る行列生成処理の詳細な流れを示すフローチャートである。なお、図１０に示す処理は、実施形態１における図５のＳ５０１の行列生成処理の詳細な流れに対応する。Ｓ１００１、Ｓ１００２、Ｓ１００７およびＳ１００８は、それぞれ図６のＳ６０１、Ｓ６０２、Ｓ６０６およびＳ６０７と同じであり、Ｓ１００１、Ｓ１００２、Ｓ１００７およびＳ１００８の説明を省略する。

Ｓ１００３では、着目画素ブロックの露光条件と隣接画素ブロックの露光条件とを取得する。次に、Ｓ１００４では、着目画素ブロックと隣接画素ブロックとの間の境界周辺における輝度平均値を取得する。すなわち、着目画素ブロック内おける境界周辺の輝度平均値と、隣接画素ブロック内おける境界周辺の輝度平均値とを取得する。

Ｓ１００５では、着目画素ブロックの露光条件と隣接画素ブロックの露光条件とが等しいか判定する。着目画素ブロックの露光条件と隣接画素ブロックの露光条件とが等しいとの判定結果を得た場合（Ｓ１００５のＹＥＳ）、処理がＳ１００６に移行される。他方、着目画素ブロックの露光条件と隣接画素ブロックの露光条件とが等しくないとの判定結果を得た場合（Ｓ１００５のＮＯ）、処理がＳ１００７に移行される。

Ｓ１００６では、ブロック境界の輝度平均値を変更する。例えば、着目画素ブロックの輝度平均値を隣接画素ブロックの輝度平均値と等しくする。このように輝度平均値の変更を行うことにより、ブロック境界においてエッジの輝度平均値の補正値への影響を減らすことができる。なお、輝度平均値の変更方法は、これに限定されず、実施形態１にて説明した評価値の変更方法と同じ方法を用いてもよい。

Ｓ１００９では、画素ブロック単位で取得し変更した輝度平均値を用いて、係数行列を生成する。Ｓ１００９の処理が完了すると、図１０に示すフローを終える。

以上、説明したように、本実施形態では、画素ブロックごとに隣接画素ブロックと露光条件を比較し、等しい場合は補正処理対象としないようにブロック境界の輝度平均値を変更する。これにより、補正処理を行う必要がある境界に対してのみ補正処理を適切に行うことができる。

また、本実施形態に係る補正処理対象判定部３０８による判定処理と、実施形態２に係る補正処理対象判定部３０８による判定処理とは排他的な関係ではなく、双方の判定処理を実行し、それぞれの判定結果に応じて輝度平均値を変更することも可能である。例えば、ブロック境界においてエッジが検出されるか、着目画素ブロックの露光条件と隣接画素ブロックの露光条件とが等しい場合に、ブロック境界の輝度平均値を変更し、いずれの判定結果も偽であった場合、輝度平均値を変更しないこととする。このようなフローに従い輝度平均値を変更することにより、複数の観点から補正処理の有効性を判定し、有効と判定された境界に対してのみ補正処理を適切に行うことが可能となる。

［実施形態４］
本実施形態に係る撮像装置について、図を用いて説明する。本実施形態では、実施形態１、２、３と異なる点を中心に説明する。

＜明るさ調整値補正部の構成＞
本実施形態に係る撮像装置が有する明るさ調整値補正部の構成例について、図を用いて説明する。図１１は、本実施形態に係る明るさ調整値補正部を説明するための図であり、図１１（ａ）に明るさ調整値補正部の構成例を示し、図１１（ｂ）に生成部の構成例を示す。本実施形態では、図３（ｂ）に示す生成部３０４にエッジ検出部７０１が追加される。すなわち、本実施形態の生成部３０４は、補正処理対象判定部３０８、変更部３０９および行列生成部３１０に加え、エッジ検出部７０１を有する。

本実施形態のエッジ検出部７０１は、画素ブロックの境界の輝度平均値を取得し、取得した輝度平均値を基にエッジ強度を示すエッジ強度情報を取得する。そして。エッジ検出部７０１は、取得したエッジ強度情報を補正処理対象判定部３０８に出力する。そして、補正処理対象判定部３０８は、エッジ強度情報を基に尤度情報１１０２を生成し、生成した尤度情報１１０２を変更部３０９に出力する。

＜行列生成処理の詳細＞
本実施形態に係る補正値算出部３０３（生成部３０４）が実行する行列生成処理の詳細について、図を用いて説明する。図１２は、本実施形態に係る行例生成処理の詳細な流れを示すフローチャートである。なお、図１２に示す処理は、実施形態１における図５のＳ５０１の行列生成処理の詳細な流れに対応する。Ｓ１２０１、Ｓ１２０２、Ｓ１２０７およびＳ１２０８は、それぞれ図６のＳ６０１、Ｓ６０２、Ｓ６０６およびＳ６０７と同じであり、Ｓ１２０１、Ｓ１２０２、Ｓ１２０７およびＳ１２０８の説明を省略する。

Ｓ１２０３では、着目画素ブロックと隣接画素ブロックとの間の境界周辺における輝度平均値を取得する。すなわち、着目画素ブロック内における境界周辺の輝度平均値と、隣接画素ブロック内における境界周辺の輝度平均値とを取得する。次に、Ｓ１２０４では、エッジ検出部７０１が、着目画素ブロックと隣接画素ブロックとのブロック境界に対してエッジ検出処理を行い、強度情報１１０１を取得する。本実施形態のエッジ検出処理は、実施形態２と同様であり、その説明を省略する。強度情報１１０１は、検出したエッジ部分の画素値の変化の度合いや、エッジ部分が存在する確率を数値化したものであり、当該ブロック境界における輝度平均値の差や、検出結果の確からしさの情報を使って算出するが、算出方法はこれに限定されない。本実施形態では、強度情報１１０１の値が大きいほど画素値の変化の度合いが大きい、もしくは当該ブロック境界にエッジが存在する確率が高いとする。

次に、Ｓ１２０５では、補正処理対象判定部３０８は、強度情報１１０１を基に、尤度情報１１０２を出力する。尤度情報１１０２は、補正処理をすべきかどうか（当該ブロック境界の階調の段差が露出設定の誤差によるものかどうか）の確からしさを示す値であり、エッジ強度情報の値に応じて算出される。強度情報１１０１の値が大きい場合、当該ブロック境界においてエッジが存在する可能性が高いか、エッジによる画素値の変化が大きく、発生する階調の段差が補正処理に影響を及ぼす度合いが大きいと想定されるため、尤度情報１１０２の値は小さくなる。

Ｓ１２０６では、尤度情報１１０２に応じてブロック境界の輝度平均値を変更する。具体的には、着目画素ブロックの輝度平均値を、尤度情報１１０２の値に応じて、着目画素ブロックの輝度平均値を隣接画素ブロックの輝度平均値に近づける。このように輝度平均値を変更することにより、ブロック境界部分の画素値の補正値への影響を減らすことができる。尤度情報１１０２の値が最大値となる場合、当該ブロック境界の階調の段差は露出設定の誤差によるものと推定されるため、輝度平均値は変更しない。

Ｓ１２０９では、画素ブロック単位で取得し変更した輝度平均値を用いて、係数行列を生成する。Ｓ１２０９の処理が完了すると、図１２に示すフローを終える。

以上、説明したように、本実施形態によれば、画素ブロックごとに境界付近のエッジの強度を判定し、補正処理結果に与える影響を調整することにより、境界におけるエッジの存在の確からしさに応じて補正処理を適切に行うことができる。

本実施形態の開示は、以下の構成例、方法例、およびプログラム例に代表される構成を含む。

（構成１）
領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、
前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、
露出設定の誤差を補正する対象であるかを、前記領域の間の境界ごとに判定する判定手段と、
前記判定した判定結果に応じて、前記導出した評価値を変更する変更手段と、
前記導出した評価値、または前記変更した評価値に基づき前記露出設定の誤差を推定し、前記推定した露出設定の誤差を補正する補正値を決定する決定手段と、
前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新手段と、
を有する、ことを特徴とする画像処理装置。

（構成２）
前記境界の周辺にて被写体に対応する画像のエッジを検出する検出手段を有し、
前記判定手段は、前記検出手段が前記画像のエッジを検出した場合、前記画像のエッジを検出した前記境界の周辺を補正対象でないと判定する
ことを特徴とする、構成１に記載の画像処理装置。

（構成３）
前記検出手段は、前記境界の周辺にて輝度平均値の差が所定値以上であるときに、前記画像のエッジを検出する、ことを特徴とする構成２に記載の画像処理装置。

（構成４）
前記露出設定を前記領域毎に比較する比較手段を有し、
前記判定手段は、前記比較手段が隣接する領域の露出設定を比較して同じ露出設定を検出した場合、前記比較した領域を補正対象でないと判定する
ことを特徴とする、構成１に記載の画像処理装置。

（構成５）
前記変更手段は、前記判定手段が補正対象でないとの判定結果を得た場合、前記露出設定の誤差と推定されない値に前記評価値を変更する
ことを特徴とする、構成１から４の何れか一項に記載の画像処理装置。

（構成６）
前記検出手段は、前記境界における画像のエッジの強度情報を出力し、
前記判定手段は、前記出力した強度情報を基に、補正するかの確かさを示す尤度情報を出力し、
前記変更手段は、前記出力した前記尤度情報に応じて前記評価値を変更する
ことを特徴とする構成２に記載の画像処理装置。

（方法１）
領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理方法であって、
前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出工程と、
露出設定の誤差を補正する対象であるかを、前記領域の間の境界ごとに判定する判定工程と、
前記判定した判定結果に応じて、前記導出した評価値を変更する変更工程と、
前記導出した評価値、または前記変更した評価値に基づき露出設定の誤差を推定し、前記推定した露出設定の誤差を補正するための補正値を決定する決定工程と、
前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新工程と、
を含む、ことを特徴とする画像処理方法。

（プログラム）
コンピュータを、構成１から６の何れか一つに記載の画像処理装置の各手段として機能させるためのプログラム。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の画像処理装置は、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などに適用することが可能である。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールにも適用することが可能である。

３０２ 境界評価部
３０６ 決定部
３０７ 明るさ調整値更新部
３０８ 補正処理対象判定部
３０９ 変更部

Claims (8)

1. 領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、
   前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、
   露出設定の誤差を補正する対象であるかを、前記領域の間の境界ごとに判定する判定手段と、
   前記判定した判定結果に応じて、前記導出した評価値を変更する変更手段と、
   前記導出した評価値、または前記変更した評価値に基づき前記露出設定の誤差を推定し、前記推定した露出設定の誤差を補正する補正値を決定する決定手段と、
   前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新手段と、
   を有する、ことを特徴とする画像処理装置。
2. 前記境界の周辺にて被写体に対応する画像のエッジを検出する検出手段を有し、
   前記判定手段は、前記検出手段が前記画像のエッジを検出した場合、前記画像のエッジを検出した前記境界の周辺を補正対象でないと判定する
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記検出手段は、前記境界の周辺にて輝度平均値の差が所定値以上であるときに、前記画像のエッジを検出する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記露出設定を前記領域毎に比較する比較手段を有し、
   前記判定手段は、前記比較手段が隣接する領域の露出設定を比較して同じ露出設定を検出した場合、前記比較した領域を補正対象でないと判定する
   ことを特徴とする、請求項１に記載の画像処理装置。
5. 前記変更手段は、前記判定手段が補正対象でないとの判定結果を得た場合、前記露出設定の誤差と推定されない値に前記評価値を変更する
   ことを特徴とする、請求項１に記載の画像処理装置。
6. 前記検出手段は、前記境界における画像のエッジの強度情報を出力し、
   前記判定手段は、前記出力した強度情報を基に、補正するかの確かさを示す尤度情報を出力し、
   前記変更手段は、前記出力した前記尤度情報に応じて前記評価値を変更する
   ことを特徴とする請求項２に記載の画像処理装置。
7. 領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理方法であって、
   前記領域の間の境界で生じる階調の段差を評価した評価値を導出する導出工程と、
   露出設定の誤差を補正する対象であるかを、前記領域の間の境界ごとに判定する判定工程と、
   前記判定した判定結果に応じて、前記導出した評価値を変更する変更工程と、
   前記導出した評価値、または前記変更した評価値に基づき露出設定の誤差を推定し、前記推定した露出設定の誤差を補正するための補正値を決定する決定工程と、
   前記決定した補正値を用いて前記画像データを調整するための調整値を更新する更新工程と、
   を含む、ことを特徴とする画像処理方法。
8. コンピュータを、請求項１に記載の画像処理装置の各手段として機能させるためのプログラム。

Images