JP2022154658A - 撮像装置、撮像素子、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】高輝度光の影響を抑制した適正な補正処理を行うことを目的とする。【解決手段】撮像装置は、複数の画素から生成される画像信号から画素信号の飽和レベル以上の高輝度被写体の輝度を推論する手段と、推論した高輝度被写体の輝度に基づき、画像信号を補正する際に用いられる補正値を取得する領域を決定する手段と、を含む。【選択図】図２

Description

本発明は、撮像装置、撮像素子、撮像装置の制御方法およびプログラムに関する。

デジタルカメラ等の撮像装置に搭載されるＣＣＤやＣＭＯＳ等のイメージセンサには、画素領域の一部にオプティカルブラック画素（以下、ＯＢ画素）が設けられる。黒レベルを基準値に合わせる黒レベル補正処理は、ＯＢ画素の出力信号を用いて行われる。ここで、ＯＢ画素の出力信号を用いた黒レベル補正処理が行われるときに、ＯＢ画素領域の近傍に太陽等の高輝度被写体からの高輝度光が入射することがある。この場合、ＯＢ画素が遮光されているにもかかわらず、隣接する開口画素から漏れた光がＯＢ画素領域に影響を与えることがある。ＯＢ画素に対して、開口画素から漏れた光が影響すると、ＯＢ画素の出力信号が正常な値を示す信号ではなくなり、黒レベル補正処理が適正に行われなくなる。黒レベル補正が適正に行われないと、撮像された画像に不自然な色付き等が生じることがある。

関連する技術として特許文献１および２の技術が提案されている。特許文献１の技術は、ＯＢ部における出力レベルが有効画素部からの距離に応じて変化していることを検出し、その検出結果に応じて、ダークレベルを算出するＯＢ領域を変えている。特許文献２の技術は、所定レベル以上の高輝度の光が入射したものと判定した列に配置された画素信号のＡＤ変換値を、所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいてゲイン補正している。また、近年では、画像認識にＣＮＮ（畳み込みニューラル）が用いられている。関連する技術が特許文献３に提案されている。特許文献３の技術は、ＣＮＮを用いた特徴抽出を、積層構造の単体のセンサで実現している。

特開２００７－１５８８３０号公報 特開２０１４－１７５７７８号公報 国際公開２０１７／１６８６６５号公報

例えば、イメージセンサには、製造時のばらつき等に起因して、画素領域内の暗電流量にシェーディングが生じることがある。このような場合、特許文献１の技術では、ＯＢ画素への光漏れを誤検知する可能性がある。また、特許文献２の技術は、画素信号の出力が飽和レベル以上であるか否かに基づき高輝度光を検出しているだけである。輝度レベルが高いほどＯＢ画素への光漏れは生じやすくなるが、飽和レベル以上の輝度の高輝度被写体であっても、画素信号は飽和レベルまでしか示すことができない。そのため、飽和レベル以上の高輝度被写体の本来の輝度レベルを検出することができないため、画素信号の出力からＯＢ画素への光漏れの影響の大きさを正しく判断することができない。このような場合、黒レベル補正処理のような補正処理を適正に行うことができないことがある。さらに、特許文献３の技術は、黒レベル補正処理のような補正処理を適正に行うという問題を解決するものではない。

そこで、本発明は、高輝度光の影響を抑制した適正な補正処理を行うことを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数の画素から生成される画像信号から画素信号の飽和レベル以上の高輝度被写体の輝度を推論する手段と、前記推論した高輝度被写体の輝度に基づき、前記画像信号を補正する際に用いられる補正値を取得する領域を決定する手段と、を備える。

本発明によれば、高輝度光の影響を抑制した適正な補正処理を行うことができる。

撮像装置の構成の一例を示す図である。 第１実施形態の撮像素子の一例を示す図である。 画素領域の一例を示す図である。 黒レベル補正部の一例を示す図である。 学習モデルを用いた高輝度検出処理の一例を示す図である。 補正パラメータ決定部の一例を示す図である。 補正値取得領域の一例を示す図である。 フィードバックゲインの設定の一例を示す図である。 第１実施形態の撮影処理の流れの一例を示すフローチャートである。 第１実施形態の学習部の一例を示す図である。 学習処理の流れの一例を示すフローチャートである。 第２実施形態の撮像素子の一例を示す図である。 第２実施形態の撮影処理の流れの一例を示すフローチャートである。 第３実施形態の撮像素子の一例を示す図である。

以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
図１は、撮像装置１０の構成の一例を示す図である。撮像装置１０は、撮像素子１００、信号処理部１０１、撮影レンズ１０２、レンズ駆動部１０３、コントローラ１０４、ＲＡＭ１０５、表示部１０６、記録部１０７および操作部１０８を含む。撮像素子１００は、撮影レンズ１０２を介して結像された被写体を入射光として取り込む。撮像素子１００には、光電変換部としてのフォトダイオードを含む複数の画素が行列状に配列される。撮像素子１００の各画素は、入射光に応じた画素信号を生成し、生成した画素信号を出力する。複数の画素が出力する画素信号は、画像信号を構成する。

撮影レンズ１０２は、被写体の光学像を撮像素子１００に結像させる。レンズ駆動部１０３は、撮影レンズ１０２に対して、ズーム制御やフォーカス制御、絞り制御等を行う。信号処理部１０１は、撮像素子１００が出力する画像信号に並べ替え等の信号処理を行う。コントローラ１０４は、ＣＰＵ等により実現され、各種の制御を行う。コントローラ１０４（ＣＰＵ）が所定のプログラムを実行することにより、各実施形態のコントローラ１０４としての制御が実現される。ＲＡＭ１０５は、各種情報や画像信号等を一時的に記憶する。表示部１０６は、各種情報や画像信号等を表示する。

記録部１０７は、画像信号の記録または読み出しを行うための半導体メモリ等の記録デバイスであり、撮像素子１００に着脱可能である。操作部１０８は、ボタンやダイヤル等を含み、ユーザからの各種の操作を行うことが可能である。表示部１０６と操作部１０８とは一体的に構成されるタッチパネルディスプレイであってもよい。

図２は、第１実施形態の撮像素子１００の一例を示す図である。撮像素子１００は、画像信号生成部２００、メモリ２０３、高輝度検出部２０４、黒レベル補正部２０５、補正パラメータ決定部２０６および学習部２０７を含む。画像信号生成部２００、高輝度検出部２０４、黒レベル補正部２０５、補正パラメータ決定部２０６および学習部２０７は、それぞれに対応する回路により実現され得る。

画像信号生成部２００は、画素領域２０１およびＡＤ変換部２０２を含む。画素領域２０１には、フォトダイオードを含む複数の画素（単位画素）が行列状に配置される。各画素は、所定の画素制御回路により駆動制御される。各画素は入射光を電気信号に変換し、画素信号を出力する。ＡＤ変換部２０２は、画素領域２０１から出力されたアナログの画素信号をデジタル信号に変換する。例えば、ＡＤ変換部２０２は、画素領域２０１の各列に対応した複数のＡＤ変換器を有しており、画素領域２０１からのアナログの画素信号を行単位で並列にデジタル信号に変換する。ＡＤ変換されたデジタルの画素信号はメモリ２０３に出力される。

メモリ２０３は、ＡＤ変換部２０２が出力したデジタルの画像信号を一時的に記憶する。メモリ２０３は、例えば、ＲＡＭ等により実現される。メモリ２０３には複数フレームの画像信号を記憶することができる。高輝度検出部２０４は、メモリ２０３に一時的に記憶された画像信号から、所定輝度以上の被写体（高輝度被写体）の位置および輝度を検出する。高輝度被写体は、例えば、太陽等である。所定輝度は任意の輝度に設定できる。例えば、所定輝度は、飽和状態の輝度に設定されてもよい。各実施形態では、高輝度検出部２０４は、機械学習された学習モデル（学習済みモデル）を用いて、高輝度被写体の位置および輝度を検出する。高輝度検出部２０４には、コントローラ１０４から、露光時間や撮影レンズの絞り値等の撮影条件情報も入力される。

黒レベル補正部２０５は、メモリ２０３に一時記憶された画像信号を取得し、ＯＢ画素領域の画像信号に基づき、黒レベルが所定の基準値になるように補正（黒レベル補正）を行う。黒レベル補正された画像信号は、順次、撮像素子１００の外部に出力される。例えば、黒レベル補正された画像信号は表示部１０６に表示されることもあり、記録部１０７に記録されることもある。補正パラメータ決定部２０６は、高輝度検出部２０４の検出結果に応じて、黒レベル補正部２０５の補正パラメータを決定する。補正パラメータは、補正値を取得する領域（補正値取得領域）やフィードバックゲイン等を含む。学習部２０７は、メモリ２０３に一時記憶された画像信号から高輝度被写体の位置および輝度情報を検出する学習モデルの機械学習を行う。

図３は、画素領域２０１の一例を示す図である。画素領域２０１は、開口画素領域３０１およびＯＢ画素領域３０２（オプティカルブラック画素の領域）を含む。ＯＢ画素領域３０２は開口画素領域３０１の外周側に設けられる。開口画素領域３０１は、被写体像を受光する開口画素が配置された領域である。ＯＢ画素領域３０２に含まれる画素は、フォトダイオードがアルミニウム膜等で光学的に遮光されている。ＯＢ画素領域３０２の画素信号は、黒レベル補正部２０５の補正値を取得する際に用いられる。

図４は、黒レベル補正部２０５の一例を示す図である。黒レベル補正部２０５は、減算部４０１、ＯＢ信号取得部４０２、誤差量算出部４０３、フィードバックゲイン乗算部４０４、補正値算出部４０５、補正値取得領域設定部４０６およびフィードバックゲイン設定部４０７を含む。黒レベル補正部２０５は、画像信号に対して黒レベル補正を行う。黒レベル補正は、ダークレベル補正であってもよい。黒レベル補正部２０５には、メモリ２０３に一時記憶された画像信号（入力画像信号）が順次入力される。

減算部４０１は、黒レベル補正部２０５から入力された画像信号の画素信号から、補正値算出部４０５が算出した黒レベル補正値を減算する。ＯＢ信号取得部４０２は、減算部４０１による減算処理が施された画像信号のうちＯＢ画素領域３０２の画素信号を取得し、取得した画素信号を誤差量算出部４０３に出力する。ＯＢ信号取得部４０２は、減算部４０１の処理が施されたＯＢ画素領域３０２の画素信号のうち、補正値取得領域設定部４０６が設定したＯＢ画素の画素信号が入力されたタイミングで、当該画素の画素信号を取得する。補正値取得領域設定部４０６が設定するＯＢ画素を取得する領域は、補正パラメータ決定部２０６により決定される。ＯＢ信号取得部４０２は、複数のＯＢ画素の平均値を誤差量算出部４０３に出力してもよい。

誤差量算出部４０３は、予め設定されている黒レベルの目標値（黒レベル基準値）とＯＢ信号取得部４０２が出力した現在のＯＢ画素の出力レベルとの差分を誤差量として算出する。フィードバックゲイン乗算部４０４は、誤差量算出部４０３が算出した誤差量に対して、フィードバックゲイン（黒レベル補正処理の追従時定数）を乗算する。フィードバックゲイン乗算部４０４は、黒レベル補正が過度の補正にならないように、フィードバックゲインを「１」よりも小さい値に設定することが望ましい。フィードバックゲイン設定部４０７は、予め設定された複数のフィードバックゲインの中から１つを選択してフィードバックゲイン乗算部４０４へ出力する。フィードバックゲインの選択は補正パラメータ決定部２０６により決定される。

補正値算出部４０５は、フィードバックゲイン乗算部４０４から順次出力される演算結果を平均化して黒レベル補正値を算出する。上述したように、減算部４０１は、黒レベル補正部２０５に入力された画像信号の画素信号から、補正値算出部４０５が算出した黒レベル補正値を減算する。減算部４０１が、黒レベル補正値の減算を行うことで、画像信号に対して黒レベル補正処理が行われる。黒レベル補正がされた画像信号は、出力画像信号として、黒レベル補正部２０５から出力される。以上の黒レベル補正処理が繰り返し行われることで、ＯＢ画素の信号レベルと黒レベル基準値との誤差量が次第に縮小され、最終的に補正結果のＯＢ画素の出力と黒レベル基準値とは一致するように収束する。減算部４０１に最初に入力される画素信号に対しては、ＯＢ信号に基づく補正値が生成されていないため、予め定められた所定の補正値で減算処理が行われる。

図５は、学習モデルを用いた高輝度検出処理の一例を示す図である。高輝度検出部２０４は、学習モデル５０１および判定部５０６を含む。学習モデル５０１は、判定部５０６の機能を有していてもよい。図５の学習モデル５０１は、ＣＮＮ（畳み込みニューラルネットワーク）を用いたモデルの一例を示している。学習モデル５０１は、入力層５０２と中間層５０３と出力層５０４との３つの多層構造を採用している。図５の例では、中間層５０３が１層である例を示しているが、中間層５０３は多層構造が採用され得る。

入力層５０２、中間層５０３および出力層５０４には、入力画像信号に高輝度被写体が含まれているか否か、および高輝度被写体の輝度レベルを検出するための複数のノード５０５が含まれている。入力層５０２の各ノードは、それぞれ中間層５０３の全ノードと接続される。中間層５０３の各ノードは、それぞれ出力層５０４の全ノードと接続される。このように、学習モデル５０１は、各ノード５０５が接続されたニューラルネットワーク構造を採用している。

図５の例に示されるように、入力層５０２のうち、複数のノード５０５Ａには、メモリ２０３に一時記憶された画像信号のうち、開口画素領域３０１に対応する画像信号５００が入力画像信号として入力される。画像信号５００は、所定の領域に分割される。画像信号５００の各領域は、順次、各ノード５０５Ａに入力される。入力層５０２は、さらに、ノード５０５Ｂ、５０５Ｃおよび５０５Ｄを含む。ノード５０５Ｂ、５０５Ｃおよび５０５Ｄには、コントローラ１０４からそれぞれ、露光時間情報、撮影ゲイン情報、レンズ情報の３つの撮影条件情報が入力される。撮影条件に関する撮影条件情報は、図５の３つの情報には限定されない。

露光時間情報は、メモリ２０３に一時記憶された画像信号を撮影した際の露光時間を表す情報である。撮影ゲイン情報は、画像信号を撮影した際に画像信号生成部２００で画像信号を増幅したときの増幅割合を表す情報である。レンズ情報は、画像信号を撮影した際の撮影レンズ１０２の絞り値や焦点距離等を表す情報である。

入力層５０２の各ノード５０５Ａ～５０５Ｄからの出力は、中間層５０３を介して、最終的に出力層５０４まで伝搬する。入力層５０２、中間層５０３および出力層５０４における各ノードは、画像信号５００の領域および撮影条件情報から、高輝度被写体が含まれているか、および何れの輝度レベルに該当するかの尤度を適正に出力するように重み付けがされている。各ノードの重みは、後述する機械学習により調整される。各ノードは、入力された情報に基づき、入力された画像信号５００の領域が複数段階の輝度レベルのうち該当する輝度レベルである可能性が高くなるに応じて、重みが高くなるように調整されている。

図５の例では、飽和レベル以上である高輝度被写体の輝度レベルは、５段階で表されている。輝度レベルＡが最も高い輝度レベルの高輝度被写体であり、輝度レベルＢ～Ｄの順に高輝度被写体の輝度レベルが低くなる。また、輝度レベルＥは、高輝度被写体ではないことを表す。入力画像信号において、輝度レベルＡ～Ｄに相当する被写体が存在する領域の画素信号は、いずれも飽和レベルとなっている。図５の例では、画像信号５００のうち１つの領域が、学習モデル５０１に入力されると、高輝度被写体の輝度レベルが「Ａ」である可能性が「９５％」、「Ｂ」である可能性が「５％」という結果が得られている。

判定部５０６は、出力層５０４から出力された輝度レベルＡ～Ｅの数値に基づき、入力された画像信号５００の領域が高輝度被写体を含むか、および高輝度被写体である場合にはその輝度レベルを判定する。上述したように、学習モデル５０１に入力される画像信号は複数の領域に分割される。そして、各領域のそれぞれに対して、学習モデル５０１による上記の処理（推論処理）が行われる。画像信号５００のうち学習モデル５０１に入力される領域は特定されている。また、学習モデル５０１による推論処理により、高輝度被写体を含むか、および高輝度被写体である場合にはその輝度レベルが推論される。従って、開口画素領域３０１の何れの位置に高輝度被写体があるか、および高輝度被写体の輝度レベルを示す検出結果（高輝度検出結果情報５０８）が得られる。図５の例では、開口画素領域３０１に対応する画像信号５００のうち１つの領域が輝度レベルＡの高輝度被写体であり、他の領域は高輝度被写体ではないことが検出されている。高輝度検出結果情報５０８は、補正パラメータ決定部２０６に出力される。

以上の学習モデル５０１は、画像信号が飽和するような高輝度被写体に対して、何れの輝度レベルの高輝度被写体であるかを推論するために、予め機械学習がされている。機械学習の手法の詳細については、後述する。図５の例では、高輝度被写体の輝度レベルが推論される例を示しているが、高輝度被写体の明るさには他の指標が用いられてもよい。また、開口画素領域３０１に対応する画像信号５００の全ての領域ではなく、例えば、ＯＢ画素領域３０２から予め定められた一定の範囲内の領域に絞って、学習モデル５０１による推論が行われてもよい。

高輝度検出部２０４は、ＣＮＮ以外の任意の機械学習アルゴリズムを用いて機械学習された機械学習された学習モデルを用いて、開口画素領域３０１に対応する画像信号５００から高輝度被写体の位置および輝度を推論してもよい。例えば、高輝度検出部２０４は、サポートベクターマシンやロジスティクス回帰等の任意の機械学習アルゴリズムを用いて機械学習された学習モデルを用いて、高輝度被写体の位置および輝度を推論してもよい。

また、高輝度検出部２０４は、学習モデル以外の手法を用いて、高輝度被写体の位置および輝度レベルを検出してもよい。例えば、高輝度検出部２０４は、画像信号の各画素の輝度値に基づいて、高輝度被写体の位置および輝度レベルを検出してもよい。なお、高輝度検出部２０４は、入力画像信号において飽和レベルの画素信号を含む領域を高輝度被写体の位置として特定し、特定された領域における高輝度被写体の輝度レベルのみを学習モデル５０１を用いた推論の対象としてもよい。

図６は、補正パラメータ決定部２０６の一例を示す図である。補正パラメータ決定部２０６は、補正値取得領域決定部６０１およびフィードバックゲイン決定部６０２を含む。補正値取得領域決定部６０１は、高輝度検出部２０４から取得した高輝度検出結果情報に基づき、黒レベル補正部２０５でＯＢ画素領域３０２の中から補正値を取得する領域を決定する。補正値取得領域決定部６０１は、決定した補正値取得領域を補正値取得領域情報として、黒レベル補正部２０５の補正値取得領域設定部４０６に出力する。

図７は、補正値取得領域の一例を示す図である。開口画素領域３０１には、高輝度検出結果情報として、各領域のそれぞれの輝度レベルが示されている。ＯＢ画素領域３０２は複数の領域に分割されている。使用領域７０１は補正値取得に使用される領域であり、非使用領域７０２は補正値取得に使用されない領域である。例えば、開口画素領域３０１に対応する画像信号の各領域のうち領域７０３で高輝度被写体が検出されたとする。この場合、領域７０３の近傍のＯＢ画素領域（高輝度被写体から所定範囲の領域）は、補正値を取得する領域から除外される領域に設定される。

ここで、開口画素領域３０１に対応する画像信号の各領域のうち検出された高輝度被写体の輝度レベルが高くなるに応じて、補正値取得領域から除外されるＯＢ画素領域が広くなるように設定される。これにより、光漏れの影響を軽減できる効果が高くなる。一方、高輝度被写体の輝度レベルが低い場合には、広い範囲のＯＢ画素を黒レベル補正に使用することができる。このため、画像信号に含まれるノイズ等の影響を抑え、良好な精度で黒レベル補正を行うことができる。

図６のフィードバックゲイン決定部６０２は、高輝度検出部２０４から取得した高輝度検出結果情報に基づき、黒レベル補正部２０５のフィードバックゲイン乗算部４０４で用いるフィードバックゲイン量を決定する。決定されたフィードバックゲイン量は、フィードバックゲイン情報として黒レベル補正部２０５のフィードバックゲイン設定部４０７に出力される。

図８は、フィードバックゲインの設定の一例を示す図である。図８の例では、行単位でフィードバックゲインが変更される。ＯＢ画素領域３０２のうち、領域８０１は、黒レベル補正において最初に暗電流を大きく引き込むため、フィードバックゲインが「１／２」に設定される。領域８０２は、フィードバックゲインが「１／８」に設定される。これにより画素領域内の暗電流の変化にゆるやかに追従して黒レベルを合わせることができる。高輝度被写体が検出された開口画素領域３０１の領域８０４の近傍にある領域８０３は、フィードバックゲインが「１／１６」に設定される。

領域８０３は、補正値取得領域決定部６０１が補正値取得に使用するＯＢ画素の数が少なく設定された領域でもある。補正値取得に使用するＯＢ画素の母数が少ない場合、画像信号に含まれるノイズ等の影響で黒レベル補正に誤差が生じ、開口画素領域３０１の領域に横筋状のノイズが発生することがある。そこで、フィードバックゲイン決定部６０２が、領域８０３のフィードバックゲインを低く設定することで、横筋状のノイズの発生を軽減できる。つまり、補正値の取得に使用されるＯＢ画素の数が少ない領域ほど、フィードバックゲインが低く設定される。以上のように高輝度検出部２０４の高輝度検出結果に応じて黒レベル補正部２０５の補正パラメータが変更される。これにより、高輝度光の影響を抑制して、好適に黒レベルを補正することができる。

図９は、第１実施形態の撮影処理の流れの一例を示すフローチャートである。図９のフローチャートの各処理は、例えば、撮影指示がされた後に、開始される。Ｓ９０１で、コントローラ１０４から制御信号が撮像素子１００に出力されると、撮像素子１００で露光が開始される。露光が開始されると、撮像素子１００の画素領域２０１の各画素で信号が蓄積される。露光が終了した後、Ｓ９０２で、画像信号がＡＤ変換部２０２に読み出される。このとき、画素領域２０１の各画素の信号がＡＤ変換部２０２に順次読み出され、ＡＤ変換部２０２が各画素の信号をデジタルの画素信号に変換する。変換後のデジタルの画素信号は画像信号としてメモリ２０３に一時的に記憶される。

Ｓ９０３で、高輝度検出部２０４は、メモリ２０３に一時記憶された画像信号を取得し、取得した画像信号から高輝度被写体を検出する。これにより、高輝度被写体の位置および輝度レベルを示す高輝度検出結果情報が得られる。高輝度検出結果情報は、補正パラメータ決定部２０６に出力される。補正パラメータ決定部２０６は、取得した高輝度検出結果情報に基づき、補正値取得領域およびフィードバックゲインの補正パラメータを決定する。補正パラメータ決定部２０６は、決定した補正値取得領域およびフィードバックゲインの情報を黒レベル補正部２０５に出力する。

Ｓ９０５で、黒レベル補正部２０５は、補正パラメータ決定部２０６から取得した補正値取得領域情報およびフィードバックゲイン情報に基づき、メモリ２０３に一時記憶されている画像信号に黒レベル補正処理を行う。Ｓ９０６で、黒レベル補正部２０５は、黒レベル補正処理を行った画像信号を、信号処理部１０１を介して、コントローラ１０４に出力する。コントローラ１０４は、取得した画像信号を表示部１０６や記録部１０７等に出力する。表示部１０６は、コントローラ１０４から受けた画像信号を撮影画像として表示する。また、記録部１０７は、コントローラ１０４から受けた画像信号を半導体メモリ等に記録する。

次に、学習モデルの機械学習について説明する。図１０は、第１実施形態の学習部２０７の一例を示す図である。学習部２０７は、教師データ生成部１００１および学習モデル調整部１００２を含む。学習部２０７には、学習用データとして、高輝度被写体を含む少なくとも２枚の画像信号１００３、１００４がメモリ２０３から入力される。画像信号１００３と画像信号１００４とは、同じシーンを撮影した画像信号であるが、それぞれ撮影時の露出条件が異なる。画像信号１００３（第１画像信号）は、適正露出条件で撮影された画像信号である。画像信号１００４（第２画像信号）は、アンダー露出条件で撮影された画像信号である。画像信号１００４は、画像信号１００３と同じシーンを撮影した画像信号であり、且つ画像信号１００３より暗い画像である。つまり、画像信号１００４は、画像信号１００３を暗くした画像である。また、学習部２０７には、コントローラ１０４から画像信号１００３および画像信号１００４の撮影条件情報（レンズ情報、撮影ゲイン情報、露光時間情報）が入力される。

教師データ生成部１００１には、メモリ２０３から高輝度被写体を含む画像信号１００３および画像信号１００４が入力される。また、コントローラ１０４から画像信号１００３および画像信号１００４を撮影したときの撮影条件を示す撮影条件情報（レンズ情報、撮影ゲイン情報、露光時間情報）が教師データ生成部１００１に入力される。教師データ生成部１００１は、メモリ２０３から入力された画像信号１００３と画像信号１００４の少なくともいずれかの画像信号から高輝度被写体の位置を検出する。

また、アンダー露出条件で撮影された画像信号１００４における高輝度被写体の位置からの出力レベルおよび上述した撮影条件情報に基づいて、高輝度被写体の概略の輝度レベルを算出することができる。教師データ生成部１００１は、画像信号１００３と画像信号１００４との比較結果、および画像信号１００３と画像信号１００４との撮影条件情報に基づき、高輝度被写体の位置および輝度レベルを、教師データ（正解データ）として生成する。

学習モデル調整部１００２は、ＣＮＮ（学習モデル５０１）の各ノードの重みを調整する。学習モデル調整部１００２には、学習用データとしての画像信号１００３が入力される。また、学習モデル調整部１００２には、学習用データとしての画像信号１００３を撮影した際の撮影条件情報（レンズ情報、撮影ゲイン情報、露光時間情報）が入力される。学習モデル調整部１００２は、画像信号１００３およびその撮影条件情報が入力された際の出力と、教師データ（高輝度被写体の位置および輝度レベル）との誤差が小さくなるように、ＣＮＮの各ノードの重みを調整する。

これにより、未知の画像信号が入力された際に、学習モデル５０１としてのＣＮＮは、未知の画像信号における高輝度被写体の位置および輝度レベルを高い精度で推論できる。また、学習モデル調整部１００２が機械学習に用いる画像信号１００３は、高輝度被写体の輝度レベルが飽和状態になっている場合も含む。これにより、高輝度被写体が飽和状態である未知の画像信号がＣＮＮに入力されたとしても、ＣＮＮは高輝度被写体の位置および輝度レベルを高い精度で推論できる。なお、上述したように、高輝度被写体の位置については、学習モデルを用いずとも検出することが可能であるため、ＣＮＮを、高輝度被写体の輝度レベルのみを推論の対象とする学習モデルとしてもよい。

図１１は、学習処理の流れの一例を示すフローチャートである。図１１のフローチャートの各処理は、例えば、ユーザからの指示に基づき開始される。コントローラ１０４は、表示部１０６に、学習処理を行うモードであることを示す情報および適正露出に設定した撮影を促すメッセージを表示させてもよい。Ｓ１１０１で、コントローラ１０４は、ユーザによる撮影指示に基づき、適正露出条件での撮影を実施する制御を行う。ユーザが、操作部１０８を用いて、撮像装置１０の設定を適正露出に設定して、撮影を指示すると、適正露出条件での撮影が実施される。コントローラ１０４は、画像信号生成部２００が生成した画像信号をメモリ２０３に一時記憶する。

Ｓ１１０２で、高輝度検出部２０４は、メモリ２０３に一時記憶された画像信号に飽和状態の画素信号が含まれているかを判定する。高輝度検出部２０４は、Ｓ１１０２でＮｏと判定した場合、処理をＳ１１０１に戻す。この場合、Ｓ１１０１で撮影された画像信号は、学習部２０７が行う機械学習には用いられない。このため、コントローラ１０４は、例えば、高輝度被写体を含むシーンでの撮影を促す画面を表示部１０６に表示させてもよい。

高輝度検出部２０４は、Ｓ１１０２でＹｅｓと判定した場合、処理をＳ１１０３に進める。Ｓ１１０３で、コントローラ１０４は、ユーザからの撮影指示に基づき、アンダー露出条件で同じシーンの撮影を実施させる制御を行う。この際、コントローラ１０４は、撮影ゲインや露光時間、撮影レンズの絞り値等の撮影条件の変更を促す画面を表示部１０６に表示してもよい。この場合、ユーザは、操作部１０８を用いて、露出条件がアンダー露出条件となるように露出条件を変更して、撮影を指示する。これにより、アンダー露出条件での撮影が実施される。コントローラ１０４は、画像信号生成部２００が生成した画像信号がメモリ２０３を一時記憶する。

Ｓ１１０４で、学習部２０７は、メモリ２０３に一時記憶された画像信号（Ｓ１１０１で撮影された第１画像信号およびＳ１１０４で撮影された第２画像信号）を用いて、機械学習を行う。学習部２０７の学習モデル５０１がＣＮＮである場合、ＣＮＮの各ノードの重みが、機械学習により、調整される。機械学習の手法としては、誤差逆伝搬法等が適用され得る。Ｓ１１０１で撮影された第１画像信号の構図とＳ１１０４で撮影された第２画像信号の構図とが異なる場合、機械学習は適正に行われない。このため、第１画像信号の構図と第２画像信号の構図とが異なる場合、学習部２０７は機械学習を実施しないように制御がされてもよい。

Ｓ１１０５で、コントローラ１０４は、学習処理を終了させるかを判定する。例えば、ユーザが操作部１０８を用いて、学習処理を終了させる指示を入力した場合、コントローラ１０４は、Ｓ１１０５でＹｅｓと判定する。コントローラ１０４は、Ｓ１１０５でＹｅｓと判定した場合、図１１のフローチャートの処理を終了させる。コントローラ１０４は、Ｓ１１０５でＮｏと判定した場合、処理をＳ１１０１に戻す。この場合、機械学習に用いられる画像信号を新たに撮影する処理が開始される。

以上の高輝度検出部２０４、黒レベル補正部２０５および学習部２０７は、撮像素子１００ではなく、例えば、コントローラ１０４に設けられてもよい。この場合、コントローラ１０４が、学習処理を行い、黒レベル補正を行う。また、上述した例では、学習部２０７の機械学習は、ユーザからの指示に基づき、撮像装置１０を用いた撮影により得られる画像信号に基づき行われる。この点、例えば、撮像装置１０が出荷される前に、上述した機械学習が行われた学習モデルが、予め学習部２０７に設定されていてもよい。この場合、図１１のフローチャートの各処理を省略することができる。

また、撮像装置１０が通信機能を有する場合、上述した学習処理が実施された学習モデルを外部装置から取得してもよい。外部装置は、適正露出条件で撮影された画像信号とアンダー露出条件で撮影された画像信号とを用いて、図１１のＳ１１０５の機械学習を行う。撮像装置１０は、通信機能を介して、機械学習された学習モデルを外部装置から取得し、取得した学習モデルを学習部２０７に設定する。この場合も、図１１のフローチャートの各処理を省略することができる。

本実施形態によれば、画像信号に含まれる高輝度被写体が飽和状態であったとしても、高輝度被写体の位置および輝度レベルを高い精度で検出できる。これにより、高輝度光の影響を抑制して黒レベル補正処理を適正に行うことが可能となる。本実施形態は、黒レベル補正処理以外の補正処理（高輝度被写体を含む画像信号に基づく補正処理）にも適用できる。以下の第２実施形態および第３実施形態も同様である。

＜第２実施形態＞
第２実施形態は、連続撮影が行われ、生成された画像信号が、順次、表示部１０６に表示されるライブビュー撮影や動画撮影等に好適に適用される。第２実施形態では、高輝度検出部２０４は、黒レベル補正が行われた画像信号と黒レベル補正が行われていない画像信号とのうち高輝度被写体の検出に用いられる画像信号を選択できる。黒レベル補正部２０５は、高輝度検出部２０４が検出した高輝度被写体に基づき、次のフレームの黒レベル補正の補正パラメータを決定する。第２実施形態では、黒レベル補正後の画像信号に対して高輝度被写体の検出等の信号処理を行うことができるため、信号処理時に暗電流によるダイナミックレンジの低下の影響が軽減される。

図１２は、第２実施形態の撮像素子１００の一例を示す図である。切り替え部１２０１以外の構成は、図２の構成と同様であるため、説明を省略する。切り替え部１２０１には、ＡＤ変換部２０２でＡＤ変換された画像信号が入力される。切り替え部１２０１は、入力され画像信号の出力先を、黒レベル補正部２０５またはメモリ２０３の何れかに切り替える。切り替え部１２０１は、通常の撮影動作時においては、画像信号を黒レベル補正部２０５に出力する。切り替え部１２０１は、回路により実現される。

一方、切り替え部１２０１は、学習部２０７による学習モデルの機械学習が行われる際には、画像信号をメモリ２０３に出力する。学習モデルの機械学習が行われる段階では、高輝度被写体の位置および輝度レベルを検出する精度が十分でない可能性が高い。従って、検出精度が十分でない高輝度被写体の位置および輝度レベルに基づく補正パラメータを用いて黒レベル補正がされた画像信号は、学習モデルの機械学習には適さない。切り替え部１２０１は、学習モデルの機械学習が行われる際には、画像信号をメモリ２０３に出力する。これにより、適正でない画像信号が学習モデルの機械学習に用いられることを防止できる。

上述したように、切り替え部１２０１は、通常の撮影動作時においては、画像信号を黒レベル補正部２０５に出力する。これにより、黒レベル補正部２０５は、画像信号に対して黒レベル補正を行い、黒レベル補正がされた画像信号をメモリ２０３に出力する。メモリ２０３は、黒レベル補正がされた画像信号を一時記憶する。そして、高輝度検出部２０４は、メモリ２０３に一時記憶された画像信号を読み出して、高輝度被写体の位置および輝度レベルを検出する。検出された高輝度被写体の位置および輝度レベルの情報（高輝度検出結果情報）は、補正パラメータ決定部２０６に出力される。補正パラメータ決定部２０６は、高輝度検出結果情報に基づき、補正値取得領域やフィードバックゲイン等の補正パラメータを決定する。黒レベル補正部２０５は、決定された補正パラメータを用いて、次のフレームの画像信号の黒レベル補正を行う。

図１３は、第２実施形態の撮影処理の流れの一例を示すフローチャートである。図１３のフローチャートの各処理は、例えば、動画の撮影指示がされた後に、開始される。図１３のフローチャートの各処理が開始されるときには、切り替え部１２０１は、入力された画像信号の出力先を黒レベル補正部２０５に設定する。一方、図１１のフローチャートに示されるような学習処理が行わるときには、切り替え部１２０１は、入力された画像信号の出力先をメモリ２０３に設定する。

Ｓ１３０１で、コントローラ１０４から制御信号が撮像素子１００に出力されると、撮像素子１００で露光が開始する。露光が開始すると、撮像素子１００の画素領域２０１の各画素で信号が蓄積される。露光が終了した後、Ｓ１３０２で、画像信号が読み出される。このとき、画素領域２０１の各画素の信号がＡＤ変換部２０２に順次読み出され、ＡＤ変換部２０２が各画素の信号をデジタルの画素信号に変換する。変換後のデジタルの画素信号は、切り替え部１２０１を介して、黒レベル補正部２０５に出力される。

Ｓ１３０３で、黒レベル補正部２０５は、ＡＤ変換部２０２から順次出力される画像信号に対して黒レベル補正処理を行う。ここで、黒レベル補正部２０５は、１フレーム目の画像信号に対して、予め設定された補正パラメータを用いて黒レベル補正処理を行う。一方、黒レベル補正部２０５は、２フレーム目以降については、１つ前のフレームの画像信号に基づいて決定された補正パラメータで黒レベル補正処理を行う。黒レベル補正処理が行われた画像信号は、高輝度被写体の検出のために、メモリ２０３に一時記憶されるとともに、動画表示用に撮像素子１００の外部の表示部１０６等にも出力される。

Ｓ１３０４で、コントローラ１０４は、動画撮影を終了するかの判定を行う。動画撮影を終了するかは、ユーザが操作部１０８を介して撮影終了指示を入力したかに基づいて判定される。コントローラ１０４は、Ｓ１３０４でＹｅｓと判定した場合、図１３のフローチャートの処理を終了させる。コントローラ１０４は、Ｓ１３０４でＮｏと判定した場合、処理をＳ１３０５に進める。

Ｓ１３０５で、高輝度検出部２０４は、メモリ２０３に一時記憶された画像信号を読み出し、高輝度被写体の位置および輝度レベルの検出を行う。Ｓ１３０６で、補正パラメータ決定部２０６は、高輝度検出部２０４が検出した高輝度検出結果情報に基づき、補正値取得領域やフォードバックゲイン等の補正パラメータを決定する。決定された補正パラメータは、次のフレームの黒レベル補正処理に使用される。Ｓ１３０６の後、処理はＳ１３０１に戻る。

以上のように、例えば、動画撮影やライブビュー撮影等において、黒レベル補正部２０５は、高輝度検出部２０４が検出した高輝度被写体に基づき、次のフレームの黒レベル補正の補正パラメータを決定する。これにより、第１実施形態と同様の効果を得るとともに、信号処理時に暗電流によるダイナミックレンジの低下の影響を軽減できる。

＜第３実施形態＞
次に、第３実施形態について説明する。第２実施形態では、高輝度検出部２０４が検出した高輝度検出結果情報は、次のフレームに対して黒レベル補正を行う際の補正パラメータに反映される。このため、高輝度被写体の位置がフレーム間で変化した場合、黒レベル補正部２０５が行う黒レベル補正処理の精度が低下してしまう可能性がある。そこで、第３実施形態では、高輝度被写体の動き情報を加味して、次のフレームの補正パラメータが決定される。

図１４は、第３実施形態の撮像素子１００の一例を示す図である。図１４の構成は、図１２の構成に、動き検出部１４０１が追加されている。他の構成は、図１２と同様であるため、説明を省略する。動き検出部１４０１には、高輝度検出部２０４が検出した高輝度被写体の位置情報が入力される。動き検出部１４０１は、フレーム間の高輝度被写体の位置を比較し、その変化から次のフレームの高輝度被写体の位置を予測する。動き検出部１４０１が予測した次のフレームの高輝度被写体の位置情報は補正パラメータ決定部２０６に出力される。補正パラメータ決定部２０６は、動き検出部１４０１が出力した次のフレームの高輝度被写体の位置情報（予測された位置情報）を加味して、補正値取得領域やフィードバックゲイン等の補正パラメータを決定する。これにより、高輝度被写体がフレーム間で移動した場合であっても、良好な精度で黒レベル補正処理を行うことができる。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 撮像装置
１００ 撮像素子
１０６ 表示部
２０４ 高輝度検出部
２０５ 黒レベル補正部
２０６ 補正パラメータ決定部
２０７ 学習部
１２０１ 切り替え部

Claims (18)

1. 複数の画素から生成される画像信号から画素信号の飽和レベル以上の高輝度被写体の輝度を推論する手段と、
   前記推論した高輝度被写体の輝度に基づき、前記画像信号を補正する際に用いられる補正値を取得する領域を決定する手段と、を備える撮像装置。
2. 前記高輝度被写体の輝度は、第１画像信号および当該第１画像信号と同じシーンの画像であり且つ当該第１画像信号よりも暗い第２画像信号を用いて機械学習された学習モデルにより検出される、請求項１に記載の撮像装置。
3. 前記学習モデルは、前記第１画像信号を撮影したときの撮影条件情報および前記第２画像信号を撮影したときの撮影条件情報を含めて機械学習が行われる、請求項２に記載の撮像装置。
4. 前記第１画像信号と前記第２画像信号との比較に基づき検出された高輝度被写体の輝度と、前記第１画像信号を撮影したときの撮影条件情報および前記第２画像信号を撮影したときの撮影条件情報とを教師データとして、前記学習モデルの機械学習が行われる、請求項３に記載の撮像装置。
5. 前記第１画像信号は適正露出条件で撮影した画像信号であり、前記第２画像信号は前記第１画像信号と同じシーンを暗い露出条件で撮影した画像信号である、請求項２乃至４のうち何れか１項に記載の撮像装置。
6. 前記第１画像信号の構図と前記第２画像信号の構図とが異なる場合、前記第１画像信号および前記第２画像信号は前記学習モデルの機械学習に用いられない、請求項５に記載の撮像装置。
7. 表示部、をさらに備え、
   前記適正露出条件で撮影させることを促すメッセージが前記表示部に表示され、
   前記第１画像信号が取得された後、前記適正露出条件よりも暗い露出条件で撮影させることを促すメッセージが前記表示部に表示される、請求項５または６に記載の撮像装置。
8. 前記複数の画素に含まれるオプティカルブラック画素に対応する領域のうち、前記推論した高輝度被写体の輝度に基づいて、前記補正値を取得する領域から除外される領域が設定される、請求項１乃至７のうち何れか１項に記載の撮像装置。
9. 前記複数の画素に含まれるオプティカルブラック画素に対応する領域のうち、前記推論した高輝度被写体の輝度および前記高輝度被写体の位置に基づいて、前記補正値を取得する領域から除外される領域が設定される、請求項１乃至７のうち何れか１項に記載の撮像装置。
10. 前記補正値を取得する領域から除外される領域は、前記高輝度被写体の輝度が高くなるに応じて広くなるように設定される、請求項８または９に記載の撮像装置。
11. 前記画像信号のうち前記オプティカルブラック画素の領域から予め定められた一定の範囲内の領域に対して、前記高輝度被写体の輝度を推論する処理が行われる、請求項８乃至１０のうち何れか１項に記載の撮像装置。
12. 決定された前記補正値に基づき前記画像信号を補正する手段、をさらに備える請求項１乃至１１のうち何れか１項に記載の撮像装置。
13. 前記高輝度被写体の輝度を、複数の画素から生成された画像信号から推論するか、または前記補正値に基づき補正された画像信号から推論するかを切り替える手段、をさらに備える請求項１１に記載の撮像装置。
14. 決定された前記補正値に基づき、次のフレームの画像信号が補正される、請求項１２に記載の撮像装置。
15. 前記高輝度被写体のフレーム間の動きを検出する手段、をさらに備え、
    検出された前記動きに基づき予測された前記高輝度被写体の位置を加味して、前記補正値が決定される、請求項１４に記載の撮像装置。
16. 複数の画素から生成される画像信号から画素信号の飽和レベル以上の高輝度被写体の輝度を推論する手段と、
    前記推論した高輝度被写体の輝度に基づき、前記画像信号を補正する際に用いられる補正値を取得する領域を決定する手段と、を備える撮像素子。
17. 複数の画素から生成される画像信号から画素信号の飽和レベル以上の高輝度被写体の輝度を推論する工程と、
    前記推論した高輝度被写体の輝度に基づき、前記画像信号を補正する際に用いられる補正値を取得する領域を決定する工程と、を備える撮像装置の制御方法。
18. 請求項１乃至１４のうち何れか１項に記載の撮像装置の各手段をコンピュータに実行させるためのプログラム。

Images