JP2023161488A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】撮像センサが露出設定可能な領域の間の境界付近の画素値の大きさによらず領域毎の露出設定の誤差を適切に補正する。【解決手段】領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、領域間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、前記導出した評価値に基づき露出設定の誤差を推定する推定手段と、前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、前記決定した補正値を用いて、前記画像データを調整するための調整値を更新する更新手段と、を有し、前記導出手段は、前記境界を挟んで隣り合う２つの隣接画素それぞれの輝度値から求められる値を用いて、前記評価値を導出する。【選択図】図３

Description

本開示は、高ダイナミックレンジの画像の撮像を制御する技術に関する。

カメラのダイナミックレンジは、撮像センサの飽和電子数とＡ／Ｄ変換後のビット精度とによって制限される。カメラのダイナミックレンジを広げるために、撮像センサの露出（露光時間やアナログゲイン）を部分的に変更する方法が種々開発されている。撮像センサの受光領域全体を複数の領域に分け、領域毎に露出を設定し、撮像センサにより得られたデジタル信号に対して、設定された露出から算出した領域毎の補正ゲインを乗じることで、領域毎の露出設定の違い（差）を補正する技術がある。しかし、撮像センサに起因して、露光時間やアナログゲインに設計値からの誤差が生じた場合、領域の間で露出が合わず境界で階調の誤差が生じる場合がある。

この点、特許文献１では、撮像センサに起因して生じる領域間の境界の誤差を推定し、推定した誤差を補正するための補正値を導出し、導出した補正値を用いて画像データを補正する技術を開示する。

特開２０１９－７５６５８号公報

特許文献１の技術では、領域間の境界において階調の誤差の大きさが同じでも、領域の間の境界付近の画素値の大きさによって、前記補正値の大きさが変わってしまう可能性があった

上記の課題を解決するため本開示の一態様に係る画像処理装置は、領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、領域間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、前記導出した評価値に基づき露出設定の誤差を推定する推定手段と、前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、前記決定した補正値を用いて、前記画像データを調整するための調整値を更新する更新手段と、を有し、前記導出手段は、前記境界を挟んで隣り合う２つの隣接画素それぞれの輝度値から求められる値を用いて、前記評価値を導出することを特徴とする。

本開示によれば、撮像センサが露出設定可能な領域の間の境界付近の画素値の大きさによらず領域毎の露出設定の誤差を適切に補正することが可能となる。

撮像装置の概略構成例を示す図である。 撮像素子部の各領域を説明するための図である。 明るさ調整値補正部の構成例を示す図である。 各領域の画素ブロックの境界周辺画素値の平均値を示す図である。 明るさ調整値補正部が実行する処理の流れを示すフローチャートである。 行列生成処理の詳細な流れを示すフローチャートである。 第一の係数行列を説明するための図である。 画素ブロックの境界周辺の二つの画素値の平均を示す図である。

以下、添付の図面を参照して、本開示の技術の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本開示の技術を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。なお、同一の構成要素または処理について同じ参照符号を付して説明する。

［実施形態１］
図１は、本実施形態に係る撮像装置１００の概略構成例を示すブロック図である。本実施形態の撮像装置１００は、一般的な撮像装置が有する各種の構成も備える画像処理装置であるが、図示および説明を簡潔にするために、図１には本実施形態に係る主要な構成部のみを示している。

撮像装置１００は、同期制御部１０１、撮像素子部１０３、Ａ／Ｄ変換部１０４、露光補正部１０５、階調変換部１０６、画像出力部１０８、露光時間制御部１０９、ゲイン制御部１１０、露光条件算出部１１１、明るさ調整値補正部１３１を有する。

まず、本実施形態の撮像装置１００について、撮像素子部１０３を起点として各構成部の概要を説明する。

撮像素子部１０３は、撮像領域を有する。撮像領域は、画素ブロックと呼ぶ領域で複数に分割される。撮像素子部１０３は、画素ブロック（領域）単位で駆動可能であり、各々の領域毎に異なった露光時間による露光動作（電荷の蓄積）を行える機能を有する。画素ブロックの詳細に関しては後述する。本実施形態の場合、撮像素子部１０３は、露光時間制御部１０９から供給される露光制御信号１１７によって各々の領域毎に露光時間が設定され、それら領域毎に設定された露光時間で露光を行う。露光制御信号１１７は、撮像素子部１０３の各領域に領域毎の露光時間を設定するための信号である。そして撮像素子部１０３は、領域毎に露光制御信号１１７によって設定された露光時間で各画素に蓄積した電荷を、画素電位１１８として読み出してＡ／Ｄ変換部１０４に出力する。

Ａ／Ｄ変換部１０４は、撮像素子部１０３から読み出された画素電位１１８をアナログ／デジタル変換してデジタル値に変換する。本実施形態の場合、Ａ／Ｄ変換部１０４には、ゲイン制御部１１０によって前述の各々の領域毎に対応したアナログゲイン１２１が設定される。Ａ／Ｄ変換部１０４は、撮像素子部１０３から出力された画素電位１１８に対して領域毎にアナログゲイン１２１をかけた後、アナログ／デジタル変換してデジタル値に変換する。以下、Ａ／Ｄ変換部１０４にて領域毎にアナログゲイン１２１をかけてアナログ／デジタル変換されたデジタル信号よりなる画像を、露光画像１２２と呼ぶ。Ａ／Ｄ変換部１０４から出力された露光画像１２２は、明るさ調整値補正部１３１と露光条件算出部１１１と露光補正部１０５とに送られる。

露光条件算出部１１１は、露光画像１２２を基に、撮像が最適な条件となるように領域毎に露光時間１１２およびアナログゲイン値１１３を算出して更新する。具体的には、露光条件算出部１１１は、露光画像１２２の輝度分布を基に画素ブロック毎に画素値（輝度値）のヒストグラムを算出する。そして、露光条件算出部１１１は、明部側に画素値が分布していれば、より暗く撮像する設定値になるように領域毎に露光時間１１２およびアナログゲイン値１１３を変更（更新）する。また、露光条件算出部１１１は、暗部側に画素値が分布していれば、より明るく撮像する設定値になるように領域毎に露光時間１１２およびアナログゲイン値１１３を変更（更新）する。そして、領域毎の露光時間１１２の値は、露光時間制御部１０９と露光補正部１０５とに送られる。領域毎のアナログゲイン値１１３は、ゲイン制御部１１０と露光補正部１０５とに送られる。領域毎の露光時間１１２の値と領域毎のアナログゲイン値１１３は、明るさ調整値補正部１３１にも送られる。

明るさ調整値補正部１３１は、露光時間とアナログゲイン値に対する補正値を算出する。そして、明るさ調整値補正部１３１は、露光時間とアナログゲイン値から得られる明るさ調整値１３０に対し補正値を乗算して明るさ調整値１３０を更新し、更新後の明るさ調整値１３０を露光補正部１０５に出力する。なお、補正値が算出されない場合には、露光時間とアナログゲイン値から得られる明るさ調整値１３０がそのまま露光補正部１０５に出力されることになる。この明るさ調整値補正部１３１の動作に関しては後述する。

ここで、明るさ調整値１３０の考え方について説明する。明るさ調整値は、各領域の露光条件で撮像した信号値を、基準となる露光条件で撮像した時の信号値に換算するための換算係数を表す値である。

例えば、基準となる露光条件を露光条件Ａとし、この露光条件Ａでは、露光時間を１／３０秒とし、アナログゲインを８倍とする。また、基準となる露光条件Ａと異なる、露光時間を１／６０秒とし、アナログゲインを２倍とする露光条件を露光条件Ｂとする。ある領域Ｃを露光条件Ｂで撮像した時の信号値をＳＢとする。露光条件Ａと露光条件Ｂとの間には、露光時間についてＢはＡの１／２、アナログゲインについてＢはＡの１／４の関係にある。すなわち、領域Ｃを基準となる露光条件で撮像した時の信号値をＳＡとすると、ＳＡとＳＢは次に示す関係が成立する。
ＳＢ＝１／２×１／４×ＳＡ＝１／８×ＳＡ

すなわち、ＳＡとＳＢは次に示す関係となる。この８倍の値が領域Ｃに対応する明るさ調整値となる。
ＳＡ＝８×ＳＢ

また、同期制御部１０１は、同期した露光時間出力パルス１２０とゲイン出力パルス１１４とを生成する。同期制御部１０１は、生成した露光時間出力パルス１２０を露光時間制御部１０９に出力する。同期制御部１０１は、生成したゲイン出力パルス１１４をゲイン制御部１１０に出力する。これによって、同期制御部１０１は、露光時間制御部１０９の処理とゲイン制御部１１０の処理とを同期制御する。露光時間出力パルス１２０は、露光時間制御部１０９が露光制御信号１１７を撮像素子部１０３に出力するタイミングを制御するための信号である。露光時間制御部１０９は、露光時間出力パルス１２０に基づいて、露光制御信号１１７を撮像素子部１０３に出力することで、撮像素子部１０３の任意の画素ブロック毎に露光時間を変更する。また、ゲイン出力パルス１１４は、ゲイン制御部１１０がアナログゲイン１２１をＡ／Ｄ変換部１０４に出力するタイミングを制御するための信号である。ゲイン制御部１１０は、ゲイン出力パルス１１４に基づいて、アナログゲイン１２１をＡ／Ｄ変換部１０４に出力することで、任意の画素ブロック毎に画素電位にかけるゲインを変更する。このように本実施形態では、同期制御部１０１が、露光時間制御部１０９とゲイン制御部１１０を同期させて動作制御を行うことで、撮像素子部１０３の画素ブロック毎に露光時間とアナログゲインを適宜変えた露光画像１２２を出力できる。

露光時間制御部１０９は、露光時間出力パルス１２０と領域毎の露光時間１１２の値とを基に、領域毎の露光制御信号１１７を生成して、撮像素子部１０３に出力する。これにより、領域毎の露光時間１１２に応じた露光時間が、撮像素子部１０３に対して適切なタイミングで設定される。

ゲイン制御部１１０は、ゲイン出力パルス１１４のパルスのタイミングに合わせて領域毎のアナログゲイン値１１３を、撮像素子部１０３の領域毎の画素電位１１８に対する領域毎のアナログゲイン１２１として、Ａ／Ｄ変換部１０４に出力する。これにより、Ａ／Ｄ変換部１０４では、領域毎の画素電位１１８にそれぞれ対応した領域毎のアナログゲイン１２１がかけられた後にアナログ／デジタル変換が行われる。アナログ／デジタル変換が行われたデータは、領域毎の露光画像１２２として、露光補正部１０５に送られる。

露光補正部１０５は、Ａ／Ｄ変換部１０４から送られてきた領域毎の露光画像１２２に対し、明るさ調整値１３０に基づく階調拡張処理を施して階調拡張後画像１２３を生成する。例えば入力される領域毎の露光画像１２２がどの条件で撮像されているかを、領域毎の露光時間１１２と領域毎のアナログゲイン値１１３より認識し、その条件に対応する明るさ調整値１３０を用いて領域毎の露光画像１２２を補正する。露光補正部１０５は、例えばビット数が１０ビットで表される領域毎の露光画像１２２に対する階調拡張処理により、１７ビットで表される階調拡張後画像１２３を生成する。そして、生成した階調拡張後画像１２３は、階調変換部１０６へ送られる。

階調変換部１０６は、階調拡張後画像１２３に対して階調変換を行い、その階調変換後画像１２４を画像出力部１０８へ出力する。本実施形態において、階調変換は、１７ビットの階調拡張後画像１２３のガンマ変換により例えば１１ビットの階調変換後画像１２４を生成する処理であるとする。なお、本実施形態における階調変換処理は、後段の処理においてデータレートを抑えるために行われる。本実施形態において露光画像１２２及び階調変換後画像１２４のビット長をそれぞれ１０ビット及び１１ビットとしたが、これらのビット長は一例であり、これに限定されない。

画像出力部１０８は、階調変換後画像１２４を、撮像装置１００の後段の構成若しくは外部に出力する。

＜撮像素子部１０３の構成＞
図２は、撮像素子部１０３の構成例を説明するための図である。撮像素子部１０３の撮像領域は、複数の画素ブロック２０１を有する。さらに画素ブロック２０１は複数の画素２０２を有する。本実施形態では、撮像素子部１０３の撮像領域の幅２０６方向（水平ライン方向）の画素数が２０００画素であり、高さ２０５方向の画素数が１０００画素（つまり垂直方向における水平ライン数が１０００ライン）であるとする。また、画素ブロック２０１の幅２０４方向（水平ライン方向）の画素数は１００画素であり、高さ２０３方向の画素数は１００画素（垂直方向における水平ラインの１００ライン分）であるとする。この場合、撮像素子部１０３の撮像領域内における画素ブロック２０１の数は、水平方向が２０個となり、垂直方向が１０個となる。また図２の各画素ブロック２０１内に記載されている画素ブロック［０，０］～［１９，９］は、撮像領域内の各画素ブロック２０１の位置を表しており、括弧［ ］内の値は撮像領域内における各画素ブロックの水平・垂直方向のインデックスを表している。図２において、撮像素子部１０３の例えば右上に位置している画素ブロック２０１の場合は、画素ブロック［１９，０］となる。また、同一垂直方向のインデックスで表される画素ブロックの集合をブロック行と呼ぶこととする。すなわち、ブロック行Ｎは画素ブロック［０，Ｎ］～［１９，Ｎ］からなる。例えばブロック行５は画素ブロック［０，５］～［１９，５］からなる。なお、撮像素子部１０３および画素ブロック２０１のそれぞれのサイズ（縦方向および横方向の画素数）は前述の例に限定されるものではない。また、画素２０２の形状および縦横比についても限定されず、例えば正方形ではなく長方形であってもよい。さらに画素ブロック２０１は、１つの画素２０２のみで構成されていてもよい。

そして、本実施形態において、各画素ブロック２０１で、露光時間とアナログゲインとが制御可能となっている。

ここで、露光時間は、撮像時において撮像素子部１０３の画素（受光素子）に電荷が蓄積される時間に相当する。このため、例えば撮像素子部１０３への入射光量が同じであり、画素が飽和しないとすると、露光時間が長いほど画素電位１１８は高くなり、明るく撮像できる。つまり、入射光量が同じで画素の飽和を考慮しない場合、例えば露光時間が１／４８０秒である場合と１／３０秒である場合とを比較すると、１／３０秒の場合の方が明るく撮像できることになる。

アナログゲインは、撮像時にＡ／Ｄ変換部１０４において画素電位１１８にかけられるゲインである。このため、アナログゲインの値が大きいほど、Ａ／Ｄ変換部１０４から出力されるデジタル画素値（ゲインがかけられた後にアナログ／デジタル変換されたデジタル値）が大きい値となる。

図１に戻って、本実施形態の撮像装置１００の構成および動作について、詳細に説明する。

撮像素子部１０３は、露光制御信号１１７に基づき、画素ブロック２０１単位で露光時間が制御されて撮像を行う。そして、撮像素子部１０３は、画素毎に蓄積された電荷に応じた画素電位１１８を出力する。

Ａ／Ｄ変換部１０４は、撮像素子部１０３から出力された画素電位１１８に対し、撮像素子部１０３の画素ブロック毎に対応して設定されたアナログゲイン１２１をかけた後にデジタル変換を行って、露光画像１２２を出力する。なお、本実施形態において、露光画像１２２は１０ビットのデジタル値であるとする。また、アナログゲイン１２１は、例えばゲイン値として、×１倍、×２倍、×４倍、×８倍の４つの値を取り得るものとする。

＜明るさ調整値補正部１３１の動作＞
次に、明るさ調整値１３０を決定する明るさ調整値補正部１３１の動作について、図を参照しながら説明する。図３は、明るさ調整値補正部１３１の構成例を示す図である。

明るさ調整値補正部１３１は、ＲＡＭ３０１、境界評価部３０２、補正値算出部３０３を有する。補正値算出部３０３は、第二の境界評価部３０４、算出部３０５、決定部３０６、明るさ調整値更新部３０７を含む。

第二の境界評価部３０４は、詳細につき後述する第二の係数行列Ｂ（評価値）を生成する。すなわち、第二の境界評価部３０４は、領域間の境界の周辺領域の画素値と、所定値とを用いて算出した第二の補正値（評価値）を出力する。算出部３０５は、第二の係数行列Ｂの逆行列を算出する。決定部３０６は、第二の係数行列Ｂの逆行列を基に、補正値を算出して決定する。明るさ調整値更新部３０７は、決定部３０６で決定された補正値を用いて明るさ調整値１３０を更新する。補正値算出部３０３の動作の詳細は後述する。

それぞれの構成要素の処理の実装形態は問わず、ハードウェアの回路として実装しても、ソフトウェアとして実装してＣＰＵで処理する形態としてもよい。また、それらが混在してもよい。

ＲＡＭ３０１は、例えば、境界評価部３０２で算出した平均値など、明るさ調整値補正部１３１内の各機能部で用いられるデータを一時的に保持する。

境界評価部３０２は、各画素ブロックの間の境界を示す境界情報を取得し、取得した境界情報を基に、入力される露光画像１２２に対して、画素ブロック境界の周辺画素の画素値を取得する。すなわち、境界評価部３０２は、境界を挟んで隣り合う２つの隣接画素の画素値（輝度値）を取得する。なお、境界情報は、着目画素ブロックと、着目画素ブロックと隣り合う隣接画素ブロックとの間の境界の位置を示す情報である。境界情報は、例えば、ＲＡＭ３０１などに予め保持された情報であってもよいし、または露光画像１２２に付帯された情報であってもよいが、これに限定されない。そして、境界評価部３０２は、画素ブロック境界の周辺画素値の平均値を算出する。具体的には、境界評価部３０２は、注目画素ブロックと、注目画素ブロックと隣り合う隣接画素ブロックとの間の画素ブロック境界の周辺画素値の平均値をフレーム内の全ての画素ブロックに対して予め算出し、それをＲＡＭ３０１に保存しておく。なお、境界周辺は、注目画素ブロック内の境界周辺である、境界と隣り合う隣接画素と、隣接画素ブロック内の境界周辺である、境界と隣り合う隣接画素とを含む。そして、境界評価部３０２は、各画素ブロックの評価値を求める際に必要に応じてＲＡＭ３０１から読み出す。そのうえで、境界評価部３０２は、算出した平均値に対して、着目画素ブロックの露光時間１１２とアナログゲイン値１１３に対応する明るさ調整値１３０を用いて階調拡張処理を施す。階調拡張された平均値は、ＲＡＭ３０１を通じて、補正値算出部３０３へ送られる。

次いで、補正値算出部３０３は、境界評価部３０２で階調拡張された平均値と、露光時間１１２と、アナログゲイン値１１３とに基づいて、明るさ調整値１３０を算出し、算出した明るさ調整値１３０を露光補正部１０５へ出力する。ただし、補正値が算出されて決定した場合には、算出した明るさ調整値１３０に対し補正値を乗算して明るさ調整値１３０を更新し、更新後の明るさ調整値１３０が露光補正部１０５へ出力される。

補正値算出部３０３の動作の詳細を説明する。そのためにまず、補正値算出部３０３で用いられる補正値を算出するための計算式について図を用いて説明する。図４は、画素ブロック［ｉ，ｊ］とその周囲の画素ブロックの位置関係を示す図である。本実施形態では、ｉは０から１９の値を取りえ、ｊは０から９の値を取りうる。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して上側で隣り合う隣接画素ブロック［ｉ，ｊ－１］との境界を上側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して下側で隣り合う隣接画素ブロック［ｉ，ｊ＋１］との間の境界を下側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して左側で隣り合う隣接画素ブロック［ｉ－１，ｊ］との間の境界を左側境界と称する。画素ブロック［ｉ，ｊ］と、画素ブロック［ｉ，ｊ］に対して右側で隣り合う隣接画素ブロック［ｉ＋１，ｊ］との間の境界を右側境界と称する。画素ブロック［ｉ，ｊ］の各境界周辺領域における画素値（以下、境界周辺画素値と称する。）の平均値を次に示すように表記する。すなわち、上側境界周辺画素値の平均値をＴ_ｉ，ｊと表記し、下側境界周辺画素値の平均値をＢ_ｉ，ｊと表記する。また、左側境界周辺画素値の平均値をＬ_ｉ，ｊと表記し、右側境界周画素値の平均値をＲ_ｉ，ｊと表記する。なお、各境界周辺領域は、例えば、各領域境界に隣接した１画素幅分であるとするが、これに限定されない。各境界周辺領域は、例えば、各領域境界に隣接した２画素幅分、４画素幅分、８画素幅分とすることも可能である。

境界周辺画素値の平均値から補正値を算出する処理として、画素ブロック［ｉ，ｊ］とその右側と下側に隣接する画素ブロック［ｉ＋１，ｊ］と画素ブロック［ｉ，ｊ＋１］との段差の誤差補正後の評価値Ｅ_ｉ，ｊは、以下の（１）式で表現される。ここで、ΔＦ_ｉ，ｊは、画素ブロック［ｉ，ｊ］の明るさ調整値１３０の補正量を表す。

そして、評価値Ｅ_ｉ，ｊを全ての領域（画素ブロック）で加算した総合評価値Ｅは、以下の（２）式で表現される。（２）式においては、１画面中に、横方向（水平方向）でＭ個の画素ブロックを持ち、縦方向（垂直方向）でＮ個の画素ブロックを持っているものとする。本実施形態においてはＭ＝２０となり、Ｎ＝１０となる。

画素ブロック間の境界の誤差を打ち消すようにすることは、この総合評価値Ｅを、最小化するΔＦ_ｉ，ｊを求めることになる。公知の最小二乗法の解法を用いると、以下の（３）式に示す行列の方程式を解くことと等価となる。すなわち、（３）式の左辺は、境界周辺画素値の平均値からなる要素を持つ行方向Ｍ×Ｎ次元、列方向Ｍ×Ｎ次元の係数行列（係数行列Ａとする）と補正値のＭ×Ｎ行１列の補正値行列（行列Ｆとする）との積となる。（３）式の右辺は、定数からなる行列であり、Ｍ×Ｎ行１列で要素が全て１の行列となる。

また、ここで係数行列Ａの（ｉ＋ｊ×Ｍ）行目（ｕ＋ｖ×Ｍ）列目の要素Ａ_{ｉ，ｊ，ｕ，ｖ}は、以下の（４）式で表される。

ただし、画像端部に位置する画素ブロックの場合、画素ブロックの上側または左側または下側または右側には画素ブロックは存在しない。例えば、画素ブロック［０，０］の場合、画素ブロック［０，０］の上側や左側には画素ブロックは存在しない。このように画素ブロックが存在しない側の境界周辺画素値から係数行列への寄与は０とする。例えば画素ブロック［０，０］の場合、上述の（４）式のうち、以下の（５）式のように３つの係数行列の要素が生成され、画素ブロック［０，０］の上側（（ｕ，ｖ）＝（ｉ，ｊ－１））と左側（（ｕ，ｖ）＝（ｉ－１，ｊ））に当たる要素は生成されない。

以上のようにして、補正値算出のための行列の方程式が得られる。

＜明るさ調整値補正部１３１による処理＞
明るさ調整値補正部１３１の動作について、図を用いて説明する。図５は、明るさ調整値補正部１３１が実行する処理の流れを示すフローチャートである。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

Ｓ５０１では、明るさ調整値補正部１３１の境界評価部３０２は、詳細につき上述した通り、露光画像１２２、露光時間１１２、アナログゲイン値１１３、明るさ調整値１３０に基づき、画素ブロックの境界周辺画素値の平均値を導出する。なお、画素ブロックの境界周辺画素値の平均値は、撮像センサにより露出設定可能な領域の間の境界で生じる階調の段差を評価する際に用いられ、領域毎に導出されることから領域毎の評価値であるともいえる。

Ｓ５０２では、補正値算出部３０３（第二の境界評価部３０４）は、入力された境界周辺画素値の平均値を基に、係数行列の生成を行う。例えば、撮像素子部１０３が、図２に示すように、横方向に２０個あり、縦方向に１０個あり、合計２００個の画素ブロックを有する場合、補正値算出部３０３は、係数行列Ａとして、行数が２００行であり、列数が２００列である正方行列を生成する。

＜行列生成処理（Ｓ５０２）の詳細＞
行列生成処理（Ｓ５０２）の詳細について、図を用いて説明する。図６は、行列生成処理（Ｓ５０２）の詳細な流れを示すフローチャートである。本実施形態では、最初に係数行列を生成し、次に、係数行列の係数から第二の係数行列を算出する。前記第二の係数行列を用いて補正値（評価値）を算出することにより、境界周辺画素値の平均値の大きさに寄らず、補正値の大きさを適切に算出することが可能となる。

Ｓ６０１では、補正値算出部３０３（第二の境界評価部３０４）は、境界評価部３０２によって導出された境界周辺画素値の平均値から、第一の係数行列Ａを生成する。第一の係数行列Ａの要素としては、（４）式を使用する。

第一の係数行列Ａの詳細について図を用いて説明する。図７は、第一の係数行列Ａを説明するための図であって、図７（ａ）に撮像素子部の構成例を示し、図７（ｂ）に図７（ａ）の撮像素子部に対応する第一の係数行列Ａの例を示す。例えば、撮像素子部が、図７（ａ）に示すように、横方向に４個あり、縦方向に３個あり、合計１２個の画素ブロック７０１を有する場合、次に示す正方行列を生成する。すなわち、補正値算出部３０３は、第一の係数行列Ａとして、図７（ｂ）に示すように、行数が１２行であり、列数が１２列である正方行列を生成する。このようなＳ６０１の処理は、画像データから得られた領域毎の境界周辺画素値の平均値を用いて、領域の数と同じ個数の元（変数）で、領域の数と同じ個数からなる、連立一次方程式を生成する処理であるともいえる。図７（ｂ）に示す例では、１２変数で、１２個の連立一次方程式が生成されるともいえる。

Ｓ６０２では、補正値算出部３０３（第二の境界評価部３０４）は、Ｓ６０１で得られた第一の係数行列Ａから、領域境界周辺（境界周辺領域）の明るさ（輝度値）を用いて第二の係数行列を算出する。本処理を実行することにより、境界周辺画素値の大きさによって補正量（補正値の大きさ）が変わることを抑制することが可能となる。第二の係数行列の算出方法について、上述の（４）式の－Ｒ_ｉ，ｊＬ_{ｉ＋１，ｊ}（（ｕ，ｖ）＝（ｉ＋１，ｊ））の項を例に、図を参照しながら説明する。図８は、画素ブロックの境界周辺の二つの画素幅分の画素値の平均を示す図である。図８に示すように、着目画素ブロック［ｉ，ｊ］の右端（境界周辺）Ｒ_ｉ，ｊと、着目画素ブロック［ｉ，ｊ］の右側にて隣接画素ブロック［ｉ＋１，ｊ］の左端（境界周辺）Ｌ_{ｉ＋１，ｊ}とが隣接している。ここで、隣接する２つの画素ブロック［ｉ，ｊ］、［ｉ＋１，ｊ］（領域）の境界周辺Ｒ_ｉ，ｊとＬ_{ｉ＋１，ｊ}の明るさの平均値ａｖｅは、以下（６）式の通り算出される。

このとき、以下の（７）式に示す通り、上述の（４）式の－Ｒ_ｉ，ｊＬ_{ｉ＋１，ｊ}（（ｕ，ｖ）＝（ｉ＋１，ｊ））におけるＲ_ｉ，ｊとＬ_{ｉ＋１，ｊ}をそれぞれａｖｅで除算したもので置き換える。

同様の考え方を、着目画素ブロックの上端（境界周辺）Ｔ_ｉ，ｊ、左端（境界周辺）Ｌ_ｉ，ｊ、下端（境界周辺）Ｂ_ｉ，ｊに適用する。

また、上述の（４）式における着目画素ブロック自身（（ｕ，ｖ）＝（ｉ，ｊ））おいては、着目画素ブロック自身の領域境界の画素値の平均値を用いるため、例えば上端（境界周辺）Ｔ_ｉ，ｊの項における平均値ａｖｅは、以下の（８）式に示す通りとなる。

このとき、以下の（９）式に示す通り、上述の（４）式の（ｕ，ｖ）＝（ｉ，ｊ）の１番目の項のＴ_ｉ，ｊをａｖｅで除算したもので置き換える。

着目画素ブロックの下端（境界周辺）Ｂ_ｉ，ｊ、左端（境界周辺）Ｌ_ｉ，ｊ、右端（境界周辺）Ｒ_ｉ，ｊにも、上述の（８）式、上述の（９）式と同様の考え方で置き換えを行う。以上の処理により、以下の（１０）式に示す通り第二の係数行列Ｂを生成する。

第二の係数行列Ｂの要素としては、以下の（１１）式のようになる。

例えば、着目画素ブロック［ｉ，ｊ］の下端の画素平均値が２，１３６であり、着目画素ブロック［ｉ，ｊ］の下側で隣接する隣接画素ブロック［ｉ，ｊ＋１］の上端の画素平均値が２，１２３であるとき、要素Ａ_{ｉ，ｊ，ｕ，ｖ}は次に示す値となる。なお、画素平均値は、輝度値の平均値である。すなわち、要素Ａ_{ｉ，ｊ，ｕ，ｖ}は、上述の（４）式より、Ａ_{ｉ，ｊ，ｕ，ｖ}＝－Ｂ_ｉ，ｊＴ_{ｉ，ｊ＋１}＝－２，１３６×２，１２３＝－４，５３４，７２８となる。そして、評価値は、上述の（１１）式より、Ｂ_{ｉ，ｊ，ｕ，ｖ}＝－（２／（Ｂ_ｉ，ｊ＋Ｔ_{ｉ，ｊ＋１}））^２×Ｂ_ｉ，ｊＴ_{ｉ，ｊ＋１}＝－（２／（２１３６＋２１２３））^２×２１３６×２１２３＝－１．００となる。

着目画素ブロック［ｉ＋１，ｊ］の下端の画素平均値が６，４２７であり、着目画素ブロック［ｉ＋１，ｊ］の下側で隣接する隣接画素ブロック［ｉ＋１，ｊ＋１］の上端の画素平均値が６，８１４であるとき、要素Ａ_{ｉ＋１，ｊ，ｕ，ｖ}は次に示す値となる。すなわち、要素Ａ_{ｉ＋１，ｊ，ｕ，ｖ}は、上述の（４）式より、Ａ_{ｉ＋１，ｊ，ｕ，ｖ}＝－Ｂ_{ｉ＋１，ｊ}Ｔ_{ｉ＋１，ｊ＋１}＝－６，４２７×６，８１４＝－４３，７９３，５７８となる。そして、評価値は、上述の（１１）式より、Ｂ_{ｉ＋１，ｊ，ｕ，ｖ}＝－（２／（Ｂ_{ｉ＋１，ｊ}＋Ｔ_{ｉ＋１，ｊ＋１}））^２×Ｂ_{ｉ＋１，ｊ}Ｔ_{ｉ＋１，ｊ＋１}＝－（２／（６４２７＋６８１４））^２×６４２７×６８１４＝－１．００となる。

このように境界評価部３０２により算出された平均値に対して領域境界周辺の明るさ（輝度値）で割った値を用いて第二の係数行列を生成する。すなわち、領域境界周辺の明るさ（輝度値）で境界評価部３０２により算出された平均値を正規化することで、第二の係数行列を生成するともいえる。これにより、撮像センサが露出設定可能な領域の間の階調の誤差の大きさが同じであっても境界付近の画素値の大きさによって補正量が変わってしまうことを抑制することが可能となる。以上で、Ｓ５０２の処理を終える。

図５に戻って、補正値算出部３０３の動作を説明する。Ｓ５０３では、補正値算出部３０３（算出部３０５）は、第二の係数行列Ｂの逆行列を算出する。逆行列を求める方法は公知の方法を用いる。一例を挙げると、ガウス・ジョルダン法などの手法で逆行列を生成することが可能である。Ｓ５０３の算出結果として、第二の係数行列Ｂの逆行列Ｂ^－１が得られる。ただし、入力された第二の係数行列Ｂに逆行列が存在しない場合、逆行列が得られないことになる。なお、第二の係数行列Ｂの逆行列は、詳細につき後述する通り、露出設定の誤差を補正する補正値を算出する際に用いられることから、Ｓ５０３の逆行列算出処理は、評価値に基づき露出設定の誤差を推定しているともいえる。

Ｓ５０４では、補正値算出部３０３は、Ｓ５０２で得られた第二の係数行列Ｂに逆行列が存在するか判定する。第二の係数行列Ｂに逆行列が存在しないとの判定結果を得た場合（Ｓ５０４のＮＯ）、逆行列が得られないことになる。その場合は、明るさ調整値の補正を行わないものと判断し、その後の補正値算出処理（Ｓ５０５）と明るさ調整値の更新処理（Ｓ５０６）を実行せずに、図５に示す処理を終了する。なお、このように補正値が算出されない場合には、境界評価部３０２で階調拡張された平均値と露光時間とアナログゲイン値とに基づき算出された明るさ調整値１３０がそのまま露光補正部１０５に出力されることになる。一方、第二の係数行列Ｂに逆行列が存在するとの判定結果を得た場合（Ｓ５０４のＹＥＳ）、逆行列が得られることになる。その場合は、処理がＳ５０５に移行される。

Ｓ５０５では、補正値算出部３０３（決定部３０６）は、Ｓ５０３で得られた第二の係数行列Ｂの逆行列Ｂ^－１を基に、補正値を求める。すなわち、補正値算出部３０３は、上述の（１０）式に対して両辺の左側から第二の係数行列Ｂの逆行列Ｂ^－１を乗算することにより、以下の（１２）式に示すように補正値行列を求める。得られた補正値行列は、ΔＦ_ｉ，ｊを要素とする補正値行列となる。

Ｓ５０６では、補正値算出部３０３（明るさ調整値更新部３０７）は、Ｓ５０５で求められた補正値行列の各要素を用いて明るさ調整値１３０の更新を実施する。すなわち、補正値算出部３０３は、各露光条件の明るさ調整値１３０に対して補正値ΔＦ_ｉ，ｊを乗算して明るさ調整値１３０を更新する。更新後の明るさ調整値１３０は、露光補正部１０５に送られることによって、次フレームの露光画像１２２に対して適用される。

以上、説明した通り、本実施形態によれば、境界評価部３０２により算出された周辺画素値の平均値を領域境界周辺の明るさ（輝度値）の平均値で割って得られた値を用いて第二の係数行列Ｂを生成する。これにより、撮像センサが露出設定可能な領域の間の境界付近の画素値の大きさによって補正値の大きさが変わることを抑制することが可能となる。すなわち、撮像センサに起因して生じる領域毎の露出設定の誤差を適切に補正することができる。

なお、上記では、輝度値の平均値を用いて第二の係数行列Ｂ（評価値）を導出したが、これに限定されない。例えば、輝度値の平均値の代わりに輝度値の中央値も用いて第二の係数行列Ｂ（評価値）を導出してもよいし、輝度値の平均値の標準偏差を用いて第二の係数行列Ｂ（評価値）を導出してもよい。

本実施形態では、着目画素ブロックの要素としては、着目画素ブロックの２つの評価値の平均値を用いた。具体的には、（４）式のｉｆ（ｕ，ｖ）＝（ｉ，ｊ）の要素のＴ_ｉ，ｊの項については、Ｔ_ｉ，ｊとＴ_ｉ，ｊの平均値をａｖｅとして用いた。しかし、これに限定されない。着目画素ブロック［ｉ，ｊ］の上端（境界周辺）Ｔ_ｉ、ｊとそれに隣接する隣接画素ブロック［ｉ，ｊ－１］の下端（境界周辺）Ｂ_{ｉ，ｊ－１}が並んでいるところの段差を考える。このとき、領域境界周辺の明るさを用いて第二の係数行列を算出するという考え方により、Ｔ_ｉ，ｊとＢ_{ｉ，ｊ－１}をａｖｅとして算出してもよい。この考え方を適用することにより、上述の（１１）式の代わりに、以下の（１３）式に示す係数行列の要素を用いてもよい。

［実施形態２］
本実施形態に係る撮像装置について、図を参照して説明する。本実施形態では、実施形態１と異なる点を中心に説明する。本実施形係る補正値算出部３０３は、図６に示すＳ６０２以外については、実施形態１と同様な処理を実行する。

実施形態１のＳ６０２では、（７）式に示す通り、右端（境界周辺）Ｒ_ｉ，ｊと左端（境界周辺）Ｌ_{ｉ＋１，ｊ}をそれぞれａｖｅで除算したもので置き換えたが、本実施形態では、この置き換えに加え、重み付けを行う。そのため、重み付け係数をｗとすると、上述の（７）式は、以下の（１４）式の通り置き換わる。

ここで、隣接する２つの領域の境界周辺の明るさで重み付けを実施する。すなわち、重み付け係数ｗとして、上述の（６）式に示す境界周辺Ｒ_ｉ，ｊと境界周辺Ｌ_{ｉ＋１，ｊ}の平均値ａｖｅを用いると、以下の（１５）式に示す通りとなる。

例えば、図７において、着目画素ブロック［ｉ，ｊ］の右端（境界周辺）Ｒ_ｉ，_ｊが４０００であり、隣接画素ブロック［ｉ，ｊ＋１］の左端（境界周辺）Ｌ_ｉ＋１，_１が１００００である場合、重み付け係数ｗは、以下のようになる。

ｗ＝ａｖｅ＝（４０００＋１００００）／２＝７０００となる。

同様の考え方を、着目画素ブロックの上端（境界周辺）、左端（境界周辺）、下端（境界周辺）、着目ブロック自身に適用し、以下の（１６）式に示す通り第二の係数行列Ｃを生成する。

第二の係数行列Ｃの要素としては、以下の（１７）式のようになる。

なお、領域境界周辺の明るさであるａｖｅを重み付け係数ｗとして用いたが、本開示はこれに限定されない。領域境界周辺の明るさの対数で重み付けしてもよい。例えば、ａｖｅの対数を用いてもよいし、着目画素ブロック（着目領域）の露出設定よりＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）値を求め、求めたＥＶ値で重み付けしてもよい。さらに、着目画素ブロック（着目領域）のＥＶ値と隣接画素ブロック（隣接領域）のＥＶ値の平均値で重み付けしてもよい。なお、ＥＶ値とは明るさを表す指標であり、ＥＶ値が１増えると明るさが２倍となることを示す。

なお、本実施形態においても、実施形態１の（１３）式と同様の考え方により、上述の（１７）式の代わりに以下の（１８）式に示す係数行列の要素を用いてもよい。

以上、説明した通り、本実施形態によれば、実施形態１と同様、境界評価部３０２により算出された輝度値の平均値を領域境界周辺の明るさ（輝度値）で割って得られた値を用いて第二の係数行列Ｃを生成する。これにより、撮像センサが露出設定可能な領域の間の境界付近の画素値の大きさによって補正値の大きさが変わることを抑制することが可能となる。すなわち、撮像センサに起因して生じる領域毎の露出設定の誤差を適切に補正することができる。

本実施形態の開示は、以下の構成例、方法例、およびプログラム例に代表される構成を含む。

（構成１）
領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、
領域間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、
前記導出した評価値に基づき露出設定の誤差を推定する推定手段と、
前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、
前記決定した補正値を用いて、前記画像データを調整するための調整値を更新する更新手段と、
を有し、
前記導出手段は、
前記境界を挟んで隣り合う２つの隣接画素それぞれの輝度値から求められる値を用いて、前記評価値を導出する
ことを特徴とする画像処理装置。

（構成２）
前記導出手段は、前記２つの隣接画素の輝度値から求められる、平均値、平均値の標準偏差、または中央値の何れかを用いて、前記評価値を導出する
ことを特徴とする構成１に記載の画像処理装置。

（構成３）
前記導出手段は、
前記２つの隣接画素それぞれにおいて求められる輝度値の平均値を用いて、前記領域の数と同じ個数の変数で、前記領域の数と同じ個数からなる第１の連立方程式を生成する第１の生成手段と、
前記２つの隣接画素の輝度値から求められる、平均値、平均値の標準偏差、または中央値の何れかと、前記生成した第１の連立方程式とを用いて、第２の連立方程式を生成する第２の生成手段と、
を有し、
前記生成した第２の連立方程式を解くことで前記評価値を導出する
ことを特徴とする構成１または２に記載の画像処理装置。

（構成４）
前記第１の生成手段は、前記２つの隣接画素それぞれにおいて求められる輝度値の平均値を乗算する前記第１の連立方程式を生成する
ことを特徴とする構成３に記載の画像処理装置。

（構成５）
前記第２の生成手段は、前記第１の連立方程式を、前記２つの隣接画素の輝度値から求められる、平均値、平均値の標準偏差、または中央値の何れかで除算する前記第２の連立方程式を生成する、ことを特徴とする構成３または４に記載の画像処理装置。

（構成６）
前記第２の生成手段は、さらに前記第２の連立方程式に対し重み付けを行い、
前記導出手段は、重みづけ後の前記第２の連立方程式を解くことで前記評価値を導出する、ことを特徴とする構成３から５の何れか一つに記載の画像処理装置。

（構成７）
前記第２の生成手段は、
前記隣接画素の輝度値の平均値、前記隣接画素の輝度値の対数、着目する領域の露出設定より求められたＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）値、または、前記境界を形成する２つの領域それぞれの露出設定より求められるＥＶ値の平均値の何れかを用いて、前記第２の連立方程式に対して重み付けを行う
ことを特徴とする構成６に記載の画像処理装置。

（構成８）
前記境界の位置を示す境界情報を取得する第１の取得手段と、
前記取得した境界情報に基づき、前記隣接画素の輝度値を取得する第２の取得手段と、
を有し、
前記第１の生成手段は、前記取得した隣接画素の輝度値から算出した前記隣接画素の輝度値の平均値を用いて、前記第１の連立方程式を生成する
ことを特徴とする構成３から７の何れか一つに記載の画像処理装置。

（方法１）
領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理方法であって、
領域間の境界で生じる階調の段差を評価した評価値を導出する導出工程と、
前記導出した評価値に基づき露出設定の誤差を推定する推定工程と、
前記推定した露出設定の誤差を補正するための補正値を決定する決定工程と、
前記決定した補正値を用いて、前記画像データを調整するための調整値を更新する更新工程と、
を含み、
前記導出工程では、
前記境界を挟んで隣り合う２つの隣接画素それぞれの輝度値から得られる値を用いて、前記評価値を導出する
ことを特徴とする画像処理方法。

（プログラム）
コンピュータを、構成１から８の何れか一つに記載の画像処理装置の各手段として機能させるためのプログラム。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の画像処理装置は、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などに適用することが可能である。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールにも適用することが可能である。

３０４ 第二の境界評価部
３０５ 算出部
３０６ 決定部
３０７ 明るさ調整値更新部

Claims (10)

1. 領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理装置であって、
   領域間の境界で生じる階調の段差を評価した評価値を導出する導出手段と、
   前記導出した評価値に基づき露出設定の誤差を推定する推定手段と、
   前記推定した露出設定の誤差を補正するための補正値を決定する決定手段と、
   前記決定した補正値を用いて、前記画像データを調整するための調整値を更新する更新手段と、
   を有し、
   前記導出手段は、
   前記境界を挟んで隣り合う２つの隣接画素それぞれの輝度値から求められる値を用いて、前記評価値を導出する
   ことを特徴とする画像処理装置。
2. 前記導出手段は、前記２つの隣接画素の輝度値から求められる、平均値、平均値の標準偏差、または中央値の何れかを用いて、前記評価値を導出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記導出手段は、
   前記２つの隣接画素それぞれにおいて求められる輝度値の平均値を用いて、前記領域の数と同じ個数の変数で、前記領域の数と同じ個数からなる第１の連立方程式を生成する第１の生成手段と、
   前記２つの隣接画素の輝度値から求められる、平均値、平均値の標準偏差、または中央値の何れかと、前記生成した第１の連立方程式とを用いて、第２の連立方程式を生成する第２の生成手段と、
   を有し、
   前記生成した第２の連立方程式を解くことで前記評価値を導出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の生成手段は、前記２つの隣接画素それぞれにおいて求められる輝度値の平均値を乗算する前記第１の連立方程式を生成する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の生成手段は、前記第１の連立方程式を、前記２つの隣接画素の輝度値から求められる、平均値、平均値の標準偏差、または中央値の何れかで除算する前記第２の連立方程式を生成する、ことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記第２の生成手段は、さらに前記第２の連立方程式に対し重み付けを行い、
   前記導出手段は、重みづけ後の前記第２の連立方程式を解くことで前記評価値を導出する、ことを特徴とする請求項３に記載の画像処理装置。
7. 前記第２の生成手段は、
   前記隣接画素の輝度値の平均値、前記隣接画素の輝度値の対数、着目する領域の露出設定より求められたＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）値、または、前記境界を形成する２つの領域それぞれの露出設定より求められるＥＶ値の平均値の何れかを用いて、前記第２の連立方程式に対して重み付けを行う
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記境界の位置を示す境界情報を取得する第１の取得手段と、
   前記取得した境界情報に基づき、前記隣接画素の輝度値を取得する第２の取得手段と、
   を有し、
   前記第１の生成手段は、前記取得した隣接画素の輝度値から算出した前記隣接画素の輝度値の平均値を用いて、前記第１の連立方程式を生成する
   ことを特徴とする請求項３に記載の画像処理装置。
9. 領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をするための画像処理方法であって、
   領域間の境界で生じる階調の段差を評価した評価値を導出する導出工程と、
   前記導出した評価値に基づき露出設定の誤差を推定する推定工程と、
   前記推定した露出設定の誤差を補正するための補正値を決定する決定工程と、
   前記決定した補正値を用いて、前記画像データを調整するための調整値を更新する更新工程と、
   を含み、
   前記導出工程では、
   前記境界を挟んで隣り合う２つの隣接画素それぞれの輝度値から求められる値を用いて、前記評価値を導出する
   ことを特徴とする画像処理方法。
10. コンピュータに、請求項９に記載の画像処理方法を実行させるためのプログラム。

Images