JP2017005612A - 撮像装置、撮像方法、並びにプログラム - Google Patents

Abstract

【課題】アーチファクトの発生を抑制する。【解決手段】長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成する画像合成部と、長時間露光時間中の所定の時点における明るさの状態を表す情報を生成する生成部と、長時間露光画像、短時間露光画像、および情報から、アーチファクトが発生する可能性があるか否かを判定する判定部と、判定部による判定結果に基づいて、出力画像を補正する補正部とを備える。生成部で生成される情報は、明るい状態であるか否かを表すフラグである。本技術は、撮像装置に適用できる。【選択図】図１９

Description

本技術は、撮像装置、撮像方法、並びにプログラムに関する。詳しくは、偽色の発生などを抑制することができる撮像装置、撮像方法、並びにプログラムに関する。

近年、ビデオカメラやデジタルスチルカメラなどの応用に適した固体撮像装置として知られるＣＣＤ(Charge Coupled Device)イメージセンサや増幅型のイメージセンサは、高感度での画素数の増加やイメージサイズの縮小による画素サイズの微細化が進んでいる。一方で、一般にＣＣＤイメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像装置は、屋内や野外、昼間や夜間といった多様な環境下で使用される傾向があり、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御することによって露光時間を調整し、感度を最適値にする電子シャッタ動作などが必要となることが多い。

ところで、CMOSイメージセンサにおいて、そのダイナミックレンジを拡大する方法として、電子シャッタを高速に切ることで露光時間を調整する方法や、高速に複数のフレームを撮影し重ね合わせる方法や、受光部の光電変換特性を対数応答にする方法などが知られている。

しかしながら、明るいところと暗いところが混在するようなコントラストの高い撮影シーンに対して、電子シャッタを高速に切る方法では、特に暗いところ、即ち低照度シーンで十分な露光時間がとれないために、Ｓ／Ｎが劣化し画質が落ちる。高速に複数のフレームを撮影し重ね合わせる方法は、単純に電子シャッタを切る方法と比べて、画像の重ね合わせによりＳ／Ｎを改善することができるが、読み出しのノイズが複数読み出した分だけ累積されるために、やはり低照度なところではＳ／Ｎが劣化する。

対数応答特性によってダイナミックレンジを拡大する方法は効果的であるが、サブスレッショルド領域で動作するトランジスタの閾値のばらつきによる固定パターンノイズが特に低照度領域で顕著となる。例えば、室内から窓際の人物を撮影するとき、感度を人物に合わせると窓の景色が白く飽和してしまい再現できない。感度を窓の景色に合わせると、人物が暗く撮影され、信号レベルを十分に確保できないために、Ｓ／Ｎが下がり、撮影後に増幅しても高い画質を得ることはできない。

すなわち、ある撮影において、イメージセンサ上での入射光が少ない画素では長い露光時間で高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避した広ダイナミックレンジ化が必要である。

そこで、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。

例えば特許文献１は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。

特開２０００−５０１５１号公報

特許文献１に記載された構成は、長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能である。

しかしながら長時間露光時間中に、急激な明暗の変化などが発生した場合、偽色などが発生し、画質が劣化してしまう可能性があった。

本技術は、このような状況に鑑みてなされたものであり、偽色などが発生することなく、ダイナミックレンジを拡大した撮影を行えるようにすることができるようにするものである。

本技術の一側面の撮像装置は、長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成する画像合成部と、長時間露光時間中の所定の時点における明るさの状態を表す情報を生成する生成部と、前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定する判定部と、前記判定部による判定結果に基づいて、前記出力画像を補正する補正部とを備える。

前記生成部で生成される前記情報は、明るい状態であるか否かを表すフラグであるようにすることができる。

前記生成部で生成される前記情報は、光電変換素子の飽和レベル中間の電位を超える電荷量が、前記光電変換素子に蓄積されていたか否かを表すフラグであるようにすることができる。

前記生成部は、前記長時間露光時間中の所定の時点で、光電変換素子に蓄積されている電荷量をA/D変換し、A/D変換後の信号値が、所定の閾値より大きいか否かを判定することで、前記情報を生成するようにすることができる。

前記生成部は、前記長時間露光期間中の複数の所定の時点で、前記情報を生成するようにすることができる。

前記判定部は、前記合成処理において、前記長時間露光画像を主に合成する第１の領域、前記長時間露光画像と前記短時間露光画像の和を主に用いる第２の領域、前記短時間露光画像を主に合成する第３の領域、および前記第２の領域と前記第３の領域の中間に属する第４の領域のうちの、どの領域に属するかを判定するようにすることができる。

前記判定部は、前記第１乃至第４の領域のうちの、どの領域に属するかの判定結果と前記情報との組み合わせにより、前記アーチファクトが発生するか否かを判定するようにすることができる。

前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定するようにすることができる。

前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定するようにすることができる。

前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、暗い状態から明るい状態に変化したために発生するアーチファクトが発生する状態であると判定するようにすることができる。

前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、明るい状態から暗い状態に変化したために発生するアーチファクトが発生する状態であると判定するようにすることができる。

前記生成部は、所定数の画素を１単位とし、前記単位毎に前記情報を生成し、前記１単位に含まれる色毎に前記情報を生成するようにすることができる。

前記生成部は、１ライン内の所定の位置の画素において前記情報を生成するようにすることができる。

光電変換素子と、前記光電変換素子からの信号を処理する回路部とから構成され、前記回路部は、前記画像合成部、前記生成部、前記判定部、前記補正部のうち少なくとも１つを含み、前記光電変換素子が配置された基板と前記回路部が配置された基板は積層されているようにすることができる。

本技術の一側面の撮像方法は、長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、前記判定の結果に基づいて、前記出力画像を補正するステップを含む。

本技術の一側面のプログラムは、長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、前記判定の結果に基づいて、前記出力画像を補正するステップを含む処理をコンピュータに実行させる。

本技術の一側面の撮像装置、撮像方法、並びにプログラムにおいては、長時間露光画像と短時間露光画像の合成処理が実行され出力画像が生成され、長時間露光時間中の所定の時点における明るさの状態を表す情報が生成され、長時間露光画像、短時間露光画像、および情報から、アーチファクトが発生する可能性があるか否かが判定され、判定の結果に基づいて、出力画像が補正される。

本技術の一側面によれば、偽色などが発生することなく、ダイナミックレンジを拡大した撮影を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した撮像装置の一実施の形態の構成を示す図である。 CMOSイメージセンサの構成を示す図である。 単位画素の構成を示す図である。 高輝度信号の処理について説明するための図である。 中輝度信号の処理について説明するための図である。 低輝度信号の処理について説明するための図である。 暗明アーチファクトについて説明するための図である。 カラーフィルタの色配置について説明するための図である。 暗明アーチファクトについて説明するための図である。 明暗アーチファクトについて説明するための図である。 明暗アーチファクトについて説明するための図である。 フラグの算出について説明するための図である。 フラグの算出について説明するための図である。 アーチファクトの発生する条件について説明するための図である。 アーチファクトの発生する条件について説明するための図である。 アーチファクトの発生を検知するシステムの構成を示す図である。 アーチファクトの発生を検知するシステムの動作について説明するための図である。 積層型イメージセンサについて説明するための図である。 積層型イメージセンサについて説明するための図である。 メモリ容量の削減について説明するための図である。 メモリ容量の削減について説明するための図である。 記録媒体について説明するための図である。 撮像装置の使用例について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．撮像装置の構成
２．撮像に係わる動作
３．アーチファクトについて
４．アーチファクトの発生を軽減する処理
５．システムの構成
６．積層型イメージセンサ
７．メモリ容量の削減
８．記録媒体について
９．撮像装置の使用例

＜撮像装置の構成＞
図１は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。図１に示される撮像装置１００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

図１に示されるように撮像装置１００は、光学部１１１、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ１１２、A/D（Analog/Digital）変換部１１３、操作部１１４、制御部１１５、画像処理部１１６、表示部１１７、コーデック処理部１１８、および記録部１１９を有する。

光学部１１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部１１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ１１２に供給する。

CMOSイメージセンサ１１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換部１１３に供給する。A/D変換部１１３は、CMOSイメージセンサ１１２から、所定のタイミングで供給された画素信号を、デジタルデータ（画像データ）に変換し、所定のタイミングで順次、画像処理部１１６に供給する。

操作部１１４は、例えば、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部１１５に供給する。

制御部１１５は、操作部１１４により入力されたユーザの操作入力に対応する信号に基づいて、光学部１１１、CMOSイメージセンサ１１２、A/D変換部１１３、画像処理部１１６、表示部１１７、コーデック処理部１１８、および記録部１１９の駆動を制御し、各部に撮像に関する処理を行わせる。

画像処理部１１６は、A/D変換部１１３から供給された画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部１１６は、画像処理を施した画像データを表示部１１７およびコーデック処理部１１８に供給する。

表示部１１７は、例えば、液晶ディスプレイ等として構成され、画像処理部１１６から供給された画像データに基づいて、被写体の画像を表示する。

コーデック処理部１１８は、画像処理部１１６から供給された画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記録部１１９に供給する。記録部１１９は、コーデック処理部１１８からの符号化データを記録する。記録部１１９に記録された符号化データは、必要に応じて画像処理部１１６に読み出されて復号される。復号処理により得られた画像データは、表示部１１７に供給され、対応する画像が表示される。

以上のような撮像装置１００のCMOSイメージセンサ１１２およびA/D変換部１１３を含む処理部として、以下に説明する本技術を適用することが可能である。すなわち、CMOSイメージセンサ１１２およびA/D変換部１１３を含む処理部として、以下に説明するCMOSイメージセンサ１１２が用いられる。これにより、CMOSイメージセンサ１１２およびA/D変換部１１３を含む処理部は、広いダイナミックレンジを有し、偽色などの画質の劣化が抑制された撮影を行えるようになり、より高画質な画像を得ることができる。

なお、本技術が適用される撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、CMOSイメージセンサ１１２の代わりに、本技術を適用したCCDイメージセンサを用いるようにしてもよい。また、例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置などの電子機器であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。

＜CMOSイメージセンサの構成＞
図２は、CMOSイメージセンサ１１２の構成例を示すシステム構成図である。図２に示すように、本実施の形態に係るCMOSイメージセンサ１１２は、光電変換素子を含む単位画素（以下、単に「画素」と記す場合もある）２２０が行列状（マトリクス状）に２次元配置されてなる画素アレイ部２１１を有するとともに、当該画素アレイ部２１１の周辺回路として、行選択回路２１２、先行選択回路２１３、論理回路２１４、ドライバ回路２１５、コントローラユニット２１６、電圧供給回路２１７、カラム回路２１８および水平走査回路２１９を有する構成となっている。

画素アレイ部２１１には、単位画素２２０の行列状の配列に対して、列毎に垂直信号線２５１が配線され、行毎に駆動制御線、例えば転送制御線２５２、リセット制御線２５３および選択制御線２５４が配線されている。

図３に、単位画素２２０の構成の一例を示す。本回路例に係る単位画素２２０は、光電変換素子、例えばフォトダイオード２２１に加えて、例えば転送トランジスタ２２２、リセットトランジスタ２２３、増幅トランジスタ２２４および選択トランジスタ２２５の４つのトランジスタを有する画素構成となっている。ここでは、これらトランジスタ２２２乃至２２５として、例えばＮＭＯＳトランジスタを用いている。

転送トランジスタ２２２は、フォトダイオード２２１のカソード電極と電荷電圧変換部であるＦＤ（フローティングディフュージョン）部２２６との間に接続され、フォトダイオード２２１で光電変換され、ここに蓄積された信号電荷（ここでは、電子）を、ゲート電極（制御電極）に転送パルスＴＲＧが与えられることによってＦＤ部２２６に転送する。

リセットトランジスタ２２３は、画素電源VDDにドレイン電極が、ＦＤ部２２６にソース電極がそれぞれ接続され、フォトダイオード２２１からＦＤ部２２６への信号電荷の転送に先立って、ゲート電極にリセットパルスＲＳＴが与えられることによってＦＤ部２２６の電位を所定電位にリセットする。

増幅トランジスタ２２４は、ＦＤ部２２６にゲート電極が、画素電源VDDにドレイン電極がそれぞれ接続され、リセットトランジスタ２２３によってリセットされた後のＦＤ部２２６の電位をリセットレベルとして出力し、さらに転送トランジスタ２２２によって信号電荷が転送された後のＦＤ部２２６の電位を信号レベルとして出力する。

選択トランジスタ２２５は、例えば、ドレイン電極が増幅トランジスタ２２４のソース電極に、ソース電極が垂直信号線２５１にそれぞれ接続され、ゲート電極に選択パルスＳＥＬが与えられることによってオン状態となり、画素２２０を選択状態として増幅トランジスタ２２４から出力される信号を垂直信号線２５１に出力する。

なお、選択トランジスタ２２５については、画素電源VDDと増幅トランジスタ２２４のドレイン電極との間に接続した構成を採ることも可能である。また、画素回路としては、上述した４トランジスタの構成に限られるものではなく、選択トランジスタ２２５を省略し、増幅トランジスタ２２４を選択トランジスタ２２５として兼用する３トランジスタや、増幅トランジスタ２２４を複数の単位画素間で共有する構成などであってもよい。

（行選択回路）
行選択回路２１２は、シフトレジスタあるいはアドレスデコーダ等によって構成され、コントローラユニット２１６による制御の下に、転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬ等の画素駆動パルスを適宜発生する。発生されたパルスに基づき、画素アレイ部２１１の各画素２２０の電子シャッタ行と読み出し行の、それぞれについて、行単位で垂直方向（上下方向）に走査しつつ選択され、電子シャッタ行に対しては、その行の画素２２０の信号掃き捨てを行うための電子シャッタ動作が行われるとともに、読み出し行に対しては、その行の画素２２０の信号読み出しを行うための読み出し動作が行われる。

ここでは、図示を省略するが、行選択回路２１２は、画素２２０を行単位で順に選択走査しつつ、読み出し行の各画素２２０の信号を読み出す読み出し動作を行うための読み出し走査系と、当該読み出し走査系による読み出し走査よりもシャッタ速度に対応した時間分だけ先行して同じ行（電子シャッタ行）に対して電子シャッタ動作を行うための電子シャッタ走査系とを有する構成となっている。

そして、電子シャッタ走査系による電子シャッタ動作によってフォトダイオード２２１の不要な電荷がリセットされたタイミングから、読み出し走査系による読み出し動作によって画素２２０の信号が読み出されるタイミングまでの期間が、画素２２０における信号電荷の蓄積期間となる。すなわち、電子シャッタ動作とは、フォトダイオード２２１に蓄積された信号電荷のリセット（掃き捨て）を行い、そのリセット後から新たに信号電荷の蓄積を開始する動作である。

（先行選択回路）
先行選択回路２１３は、複数の行選択回路、例えば２つの行選択回路２１３Ａ，２１３Ｂによって構成され、行選択回路２１２が選択走査する読み出し行に先行して等間隔に複数行（本例では、２行）を選択走査する。

行選択回路２１３Ａ，２１３Ｂは、シフトレジスタあるいはアドレスデコーダ等によって構成され、コントローラユニット２１６による制御の下に、行選択回路２１２の選択走査に同期して、転送パルスＴＲＧを適宜発生することにより、行選択回路２１２によって選択走査される読み出し行に先行して等間隔に２つの行を選択走査する。この選択走査では、転送パルスＴＲＧに基づいて、フォトダイオード２２１に蓄積された信号電荷をＦＤ部２２６に転送する動作が行われる。

（論理回路）
論理回路２１４は、コントローラユニット２１６による制御の下に、行選択回路２１２および先行選択回路２１３の２つの行選択回路２１３Ａ，２１３Ｂからそれぞれ行選択のために出力される転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬを、ドライバ回路２１５を通して画素アレイ部２１１の転送制御線２５２、リセット制御線２５３および選択制御線２５４に供給するとともに、転送パルスＴＲＧの電圧値を選択するための信号をドライバ回路２１５に与える。

（ドライバ回路）
ドライバ回路２１５は、行選択回路２１２による選択走査に同期して、画素２２０の各トランジスタ２２２，２２３，２２５をＯＮ／ＯＦＦするための電圧の転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬを画素２２０に供給するとともに、行選択回路２１３Ａ，２１３Ｂによる選択走査に同期して、画素２２０の各トランジスタ２２２，２２３，２２５をＯＮ／ＯＦＦするための電圧の中間的な電位（以下、「中間電位」と記述する）の転送パルスＴＲＧを画素２２０に供給する。

（カラム回路）
カラム回路２１８は、画素アレイ部２１１の例えば画素列ごとに、即ち画素列に対して１対１の対応関係をもって配置された単位回路の集合からなり、行選択回路２１２および行選択回路２１３Ａ，２１３Ｂによって選択された読み出し行の各画素２２０から垂直信号線２５１を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。

このカラム回路２１８としては、垂直信号線２５１を通して出力される信号をサンプルホールドするサンプルホールド回路からなる回路構成のものや、サンプルホールド回路を含み、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)処理により、リセットノイズや増幅トランジスタ２２４の閾値ばらつき等、画素固有の固定パターンノイズを除去するノイズ除去回路からなる回路構成のものなどが用いられる。

ただし、カラム回路２１８の上記構成については一例に過ぎず、これに限定されるものではない。例えば、カラム回路２１８にＡ／Ｄ（アナログ／デジタル）変換機能を持たせ、信号レベルをデジタル信号で出力する構成を採ることも可能である。

（水平走査回路）
水平走査回路２１９は、シフトレジスタあるいはアドレスデコーダ等によって構成され、画素アレイ部２１１の画素列ごとにカラム回路２１８の各単位回路を順に水平走査しつつ、カラム回路２１８の各単位回路に一時的に保持されている画素の信号を順次出力する。

＜撮像に係わる動作＞
図４乃至６を参照し、CMOSイメージセンサ１１２における撮像方法と撮像された画像の合成方法について説明する。

図４は、高輝度信号を受光したときの光電変換素子（フォトダイオード２２１）の電荷量の時間変化を表す図である。図４乃至６に示すグラフにおいて、横軸は、時間を表し、縦軸は、電荷量を表す。また、図４乃至６に示すグラフにおいて、ＴＬは、長時間露光時間を表し、ＴＳは、短時間露光時間を表す。

フォトダイオード２２１の受光量が多い、すなわち明るい被写体に対応する場合、図４に示す高輝度領域２７１に示すように、時間経過に伴う電荷蓄積量は急激に上昇し、リセット動作などが行われなければ、ある時点、図４では時刻ｔ１で飽和レベルに達し、その後は、飽和レベルで推移する。

時刻ｔ２において、一旦、フォトダイオード２２１の蓄積電荷が掃き出される。電荷掃き出しは、フォトダイオード２２１に蓄積された全ての電荷ではなく、フォトダイオード２２１において制御される中間電位保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（時刻ｔ２から時刻ｔ３）とした短時間露光が実行される。

すなわち、図に示す短時間露光開始時刻ｔ２から短時間露光終了時刻ｔ３までの期間の短時間露光が行われる。この短時間露光によって電荷蓄積量Ｓａが得られ、この電荷蓄積量Ｓａに基づいて得られる電気信号に基づいて、画素の階調レベルが決定される。

さらに、時刻ｔ３後、時刻ｔ４まで露光され、フォトダイオード２２１に電荷が蓄積される。時刻ｔ０から時刻ｔ４までの時間は、長時間露光時間ＴＬに該当し、長時間露光時間ＴＬが終了するまで露光は継続される。

このように、明るい被写体を撮像しているために、フォトダイオード２２１の受光量が多い場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓａが、その画素の電荷量として用いられる。例えば、長時間露光時間ＴＬだけ露光されたときに得られるであろう電荷量が推定され、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。

例えば、長時間露光時間ＴＬと短時間露光時間ＴＳで設定される露光比をＥGainとし、その露光比ＥGainを、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓａに乗算することで、推定電荷蓄積量（推定電荷蓄積量ＷＬとする）が算出される。
露光比ＥGain＝長時間露光時間ＴＬ／短時間露光時間ＴＳ
推定電荷蓄積量ＷＬ＝電荷蓄積量Ｓａ×露光比ＥGain

仮に、フォトダイオード２２１の受光量が多い場合に、時刻ｔ２で行われた掃き出し動作や、短時間露光が行われず、長時間露光時間ＴＬに得られた電荷量が用いられた場合、飽和レベルに達している電荷量が用いられてしまうため、白飛びの原因となり、画質が劣化してしまう。しかしながら、上記したように、時刻ｔ２で行われた掃き出し動作が行われ、短時間露光時間ＴＳで得られた電荷量が用いられるようにすることで、飽和していない信号を得ることができ、画質が劣化してしまうようなことを防ぐことができる。

また、時刻ｔ２で掃き出し動作が行われるが、掃き出し動作を行うことで、以下のような効果を得ることができる。

電子シャッタを切ってから(露光を開始してから)画素２２０の転送トランジスタ２２２をＯＮにして蓄積電荷を読み出すまでの露光期間中に、１つ又は複数の中間電位を画素２２０の転送トランジスタ２２２に印加して読み出すことで、低照度領域で高いＳ／Ｎを確保したまま高照度領域の情報も取得することができる。

また、複数の中間電位を用いて複数回転送し、そのうち１回あるいは複数回読み出さずにＦＤ部２２６を所定電位（例えば、電源電位VDD）にリセットするリセット動作、具体的には、リセットトランジスタ２２３と当該リセットトランジスタ２２３にリセットパルスＲＳＴを与える行選択回路２１３Ａ，２１３Ｂとからなるリセット手段によるリセット動作を実行することで、画素２２０の転送トランジスタ２２２の閾値ばらつきを効果的にキャンセルすることができる。

次に図５を参照し、中輝度信号を受光したときの光電変換素子（フォトダイオード２２１）の電荷量の時間変化について説明する。なお中輝度とは、高輝度と低輝度の間の輝度であり、時刻ｔ２において行われる掃き出し動作時に、中間電位を超える電荷量を蓄積することができる輝度であるとする。

フォトダイオード２２１の受光量が中程度の場合、時間経過に伴う電荷蓄積量は飽和レベルに達することなく上昇する。時刻ｔ２において、一旦、フォトダイオード２２１の蓄積電荷が掃き出される。電荷掃き出しは、フォトダイオード２２１において制御される中間電位保持レベルまでであるため、この時点で、中間電位を超えている分は、掃き出される。

電荷掃き出し処理の後、露光時間ＴＳ（時刻ｔ２から時刻ｔ３）とした短時間露光が実行される。図に示す短時間露光開始時刻ｔ２から短時間露光終了時刻ｔ３までの期間の短時間露光が行われ、この短時間露光によって電荷蓄積量Ｓｃが得られ、この電荷蓄積量Ｓｃに基づいて得られる電気信号に基づいて、画素の階調レベルが決定される。

さらに、時刻ｔ３後、時刻ｔ４まで露光され、フォトダイオード２２１に電荷が蓄積される。時刻ｔ０から時刻ｔ４までの時間は、長時間露光時間ＴＬに該当し、長時間露光時間ＴＬが終了するまで露光は継続される。時刻ｔ３から時刻ｔ４までに蓄積された電荷量と中間電位までの電荷量を加算した電荷量を電荷蓄積量Ｓｄとする。

中輝度信号が処理される場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓｃと、長時間露光時間ＴＬの間に蓄積された電荷蓄積量Ｓｅが用いられて決定される電荷量が、その画素の電荷量として用いられる。例えば、長時間露光時間ＴＬだけ露光されたときに得られるであろう電荷量が推定され、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。

長時間露光時間ＴＬだけ露光されたときに得られるであろう電荷量は、図５では、電荷蓄積量Ｓｅである。この電荷蓄積量Ｓｅは、図５において点線で示したように、仮に、時刻ｔ３で読み出しを行わず、電荷の蓄積を継続した場合に、時刻ｔ４（長時間露光時間ＴＬの終了時刻）で蓄積されていると推定される電荷量である。

この場合、電荷蓄積量Ｓｃと電荷蓄積量Ｓｄが加算されることで、電荷蓄積量Ｓｅが算出される
電荷蓄積量Ｓｅ＝電荷蓄積量Ｓｃ＋電荷蓄積量Ｓｄ

このように、中程度の輝度信号が扱われる場合も、白とびのないダイナミックレンジの広い画像を得ることができる。

次に図６を参照し、低輝度信号を受光したときの光電変換素子（フォトダイオード２２１）の電荷量の時間変化について説明する。なお低輝度とは、時刻ｔ２において行われる掃き出し動作時に、中間電位を超えない電荷量を蓄積することができる輝度であるとする。

フォトダイオード２２１の受光量が低い場合、時間経過に伴う電荷蓄積量は飽和レベルに達することなく緩やかに上昇する。時刻ｔ２において、一旦、フォトダイオード２２１の蓄積電荷が掃き出される。電荷掃き出しは、フォトダイオード２２１において制御される中間電位保持レベルまでであるが、この場合、中間電位を超えている分はないため、掃き出し動作が行われても、掃き出される電荷はない。

電荷掃き出し処理の後、露光時間ＴＳ（時刻ｔ２から時刻ｔ３）とした短時間露光が実行される。この場合、フォトダイオード２２１における電荷の蓄積が継続されて行われていることと、同等の処理となる。

さらに時刻ｔ３後、時刻ｔ４まで露光され、フォトダイオード２２１に電荷が蓄積される。時刻ｔ０から時刻ｔ４までの時間は、長時間露光時間ＴＬに該当し、長時間露光時間ＴＬが終了するまで露光は継続される。

低輝度信号の場合、長時間露光時間ＴＬで得られた電荷蓄積量Ｓｆが、その画素での蓄積電荷量となる。
蓄積電荷量＝電荷蓄積量Ｓf

このように、低輝度信号が扱われる場合も、白とびのないダイナミックレンジの広い画像を得ることができる。

このように、短時間露光時間ＴＳで得られる短時間露光画像と、長時間露光時間ＴＬで得られる長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。

＜アーチファクトについて＞
上記したように、長時間露光時間ＴＬと短時間露光時間ＴＳを用いることで、白とびのないダイナミックレンジの広い画像を得ることができるが、アーチファクト（偽色）が発生する可能性がある。ここで、アーチファクトが発生する可能性ある状況や、アーチファクトが発生する原理について説明する。

動被写体が存在し、長時間露光画像と短時間露光画像の合成処理が破綻してしまうと、アーチファクトが発生する可能性がある。動被写体が存在すると、例えば、明るさが急激に変化する可能性がある。例えば、照明の前を人が横切ったときなど、照明からの光を撮像しているときには明るく、照明の前に人が居て、照明からの光が遮られているときには暗いという状況が発生する。このような状況を撮像している場合、長時間露光時間ＴＬの間に、明暗が急激に変化する可能性がある。

まず、図７を参照し、暗い状態から明るい状態に変化したときの、フォトダイオード２２１の電荷量の変化について説明する。図７の上図は、撮像対象とされている被写体の明るさの変化を示し、図７の下図は、フォトダイオード２２１の電荷量の変化を表す。図７の上図に示すように、時刻ｔ０から時刻ｔ１１までは、明るさＢ１であり、時刻ｔ１１の時点で明るさが明るさＢ２に変化した。明るさＢ１よりも明るさＢ２の方が明るいとする。

このような明るさの変化があった場合、図７の下図に示すように、フォトダイオード２２１の電荷量は変化する。図７の下図は、図４乃至６と同じく、横軸が時間を表し、縦軸が蓄積電荷量を表す。図７の下図を参照するに、時刻ｔ０から時刻ｔ１１までは比較的緩やかに電荷量が増えていく。時刻ｔ１１で明るさが明るさＢ１から明るさＢ２に変化すると、その変化にともない、電荷蓄積量も急激に増加し、ある時点で、飽和レベルに達する。

時刻ｔ２において、中間電位保持レベルまで、電荷の掃き出しが行われ、短時間露光が開始される。短時間露光時間ＴＳの間に蓄積された電荷量を、電荷蓄積量Ｓｇとする。時刻ｔ３から時刻ｔ４の間も露光され、その間に蓄積された電荷量と中間電位までの電荷量を足し合わせた電荷量を、電荷蓄積量Ｓｈとする。

このような処理は、図４で説明した高輝度信号を扱うときの処理となる。よって、この場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓｇが用いられ、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。

図７の下図は、感度が他の画素よりも高い画素であるとした場合、他の画素においては、異なる電荷量の変化となる。ここで、画素毎の感度について説明を加える。一般的に、フォトダイオード２２１上には、カラーフィルタが配置され、１個のフォトダイオード２２１は、配置されているカラーフィルタを透過した光を受光するように構成されている。

図８は、カラーフィルタの色配置の一例を示す図である。縦×横の２×２単位で、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の配置が繰り返される。図８に示した例では、左上がＲ（以下、Ｒ画素とする）、そのＲ画素の右隣がＧ（以下、Ｇ画素とする）、Ｒ画素の下側がＧ画素、Ｒ画素の右斜め下側がＢ（以下、Ｂ画素とする）となる配置とされている。

このように、Ｒ画素、Ｇ画素、およびＢ画素が配置され、それぞれの画素にフォトダイオード２２１が配置されている。Ｒ画素に配置されているフォトダイオード２２１は、赤色のカラーフィルタを透過した光を受光し、Ｇ画素に配置されているフォトダイオード２２１は、緑色のカラーフィルタを透過した光を受光し、Ｂ画素に配置されているフォトダイオード２２１は、青色のカラーフィルタを透過した光を受光する。

なおここでは、ＲＧＢの画素が配置されている例を挙げて説明を続けるが、Ｗ（White）画素を含む構成とすることも可能である。また、ＲＧＢではなく、シアン、マゼンタ、イエローの組み合わせに対しても本技術を適用することはできる。

Ｒ画素、Ｇ画素、Ｂ画素が、図８に示すように配置されている場合、Ｒ画素、Ｇ画素、Ｂ画素の全てが同一の感度ではなく、異なる感度を有している。そのような感度の違いを吸収するために、ホワイトバランス調整といったような調整が行われる。一般的に、Ｇ画素は感度が高く、Ｒ画素とＢ画素は、Ｇ画素よりも感度が低い。例えば、Ｒ画素とＢ画素の画素値に、所定のゲインを乗算することで、Ｇ画素と感度が合うような調整が行われる。

図７を再度参照し、図７の上図に示したような輝度変化を伴う光を受光した場合、Ｒ画素、Ｇ画素、およびＢ画素の全てが、図７の下図に示したように電荷量を蓄積するのではなく、例えば、感度の高いＧ画素が、図７の下図に示したように電荷量を蓄積し、Ｒ画素やＢ画素は、異なる電荷量を蓄積する。

例えば、図９に示すように、Ｇ画素よりも感度が低いＲ画素またはＢ画素（以下、Ｒ画素を例に挙げて説明を続ける）は、電荷量を蓄積する。図９を参照するに、暗い状態を撮像している時刻ｔ０から時刻ｔ１１まで、フォトダイオード２２１の電荷量は緩やかに増加する。時刻ｔ１１において、明るさが暗い状態から明るい状態に急変すると、電荷量も、その変化に合わせて変化する。

時刻ｔ２の時点で、短時間露光時間ＴＳが開始されるが、中間電位以上の電荷は蓄積されていないため、掃き出される電荷はないまま、電荷の蓄積が、時刻ｔ４（長時間露光時間ＴＬの終了）まで継続される。この場合、長時間露光時間ＴＬの間に蓄積された、電荷蓄積量Ｓｉに基づき画素値レベルが決定される。

このような処理は、図６で説明した低輝度信号を扱うときの処理となる。

このことは、図７の上図に示したような明るさの変化を伴う信号を受光したにもかかわらず、感度の高い画素では、図７の下図に示したように電荷が蓄積され、高輝度信号を扱うときの処理が実行されるのに対し、感度の低い画素では、図９に示したように電荷が蓄積され、低輝度信号を扱う処理が実行される可能性があることを意味している。

図４を参照して説明したように、高輝度信号を扱う場合、短時間露光時間ＴＳで得られた電荷量に、長時間露光時間ＴＬと短時間露光時間ＴＳで定義されるゲイン、例えば、（長時間露光時間ＴＬ）／（短時間露光時間ＴＳ）が乗算される。

図７の上図に示したように、長時間露光時間ＴＬの途中の時点である時刻ｔ１１において、明るさが、暗い状態から明るい状態に変化したため、長時間露光時間ＴＬと短時間露光時間ＴＳで定義されるゲインを乗算した値は、本来得たい正しい値（真値とする）よりも高い値となる可能性がある。この場合、感度の高い画素から得られる画素値レベルは、誤差を含む値となる可能性がある。

一方で、感度の低い画素で得られた画素値レベルは、真値である可能性が高い。このような真値である画像値レベルと、誤差を含む画素値レベルが合成されると、その合成結果も誤差を含んでしまう可能性が高い。このような誤差は、偽色（アーチファクト）の原因となる。以下、暗い状態から明るい状態に急変したことにより発生する可能性のあるアーチファクトを、暗明アーチファクトと記述する。

後述する本技術を適用することで、暗明アーチファクトが発生することを抑制することが可能となる。

上記した例は、暗状態から明状態に変化する場合であったが、次に、明状態から暗状態に変化する場合について説明する。

図１０は、感度が高い画素における電荷の蓄積量の変化について説明するための図である。図１０は、図７と同じく、図１０の上図は、撮像対象とされている被写体の明るさの変化を示し、図１０の下図は、フォトダイオード２２１の電荷量の変化を表す。図１０の上図に示すように、時刻ｔ０から時刻ｔ１１までは、明るさＢ３であり、時刻ｔ１１の時点で明るさが明るさＢ４に変化した。明るさＢ３よりも明るさＢ４の方が暗いとする。

このような明るさの変化があった場合、図１０に示すように、フォトダイオード２２１の電荷量は変化する。図１０の下図を参照するに、時刻ｔ０から時刻ｔ１１までの間に、電荷量は、飽和レベルまで蓄積されている。時刻ｔ１１で明るさが明るさＢ３から明るさＢ４に変化するが、飽和レベルに達しているため、電荷蓄積量は変化しない。

時刻ｔ２において、中間電位保持レベルまで、電荷の掃き出しが行われ、短時間露光が開始される。短時間露光時間ＴＳの間に蓄積された電荷量を、電荷蓄積量Ｓｊとする。時刻ｔ３から時刻ｔ４の間も露光され、その間に蓄積された電荷量と中間電位に相当する電荷量を加算した電荷量を、電荷蓄積量Ｓｋとする。

このような処理は、図５で説明した中輝度信号を扱うときの処理となる。よって、この場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓｊと、長時間露光時間ＴＬの間に蓄積された電荷蓄積量Ｓｋが用いられ、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。

この場合、短時間露光時間ＴＳのときは、暗い状態を撮像している状態なので、蓄積される電荷量は少なく、電荷蓄積量Ｓｊは、０に近い値となる。また、時刻ｔ３から時刻ｔ４の間に蓄積される電荷量は、０に近い値となるため、電荷蓄積量Ｓｋは、中間電位に近い値となる。

感度の低い画素においても、同様なことが起こる。図１１を参照して、感度が低い画素における電荷量の変化について説明する。図１１を参照するに、時刻ｔ０から時刻ｔ１１までの間に、電荷量は、飽和レベルまで蓄積されている。時刻ｔ１１で明るさが明るさＢ３から明るさＢ４に変化するが、飽和レベルに達しているため、電荷蓄積量は変化しない。

時刻ｔ２において、中間電位保持レベルまで、電荷の掃き出しが行われ、短時間露光が開始される。短時間露光時間ＴＳの間に蓄積された電荷量を、電荷蓄積量Ｓｌとする。時刻ｔ３から時刻ｔ４の間も露光され、その間に蓄積された電荷量と中間電位に相当する電荷量を加算した電荷量を、電荷蓄積量Ｓｍとする。

このような処理は、図５で説明した中輝度信号を扱うときの処理となる。よって、この場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓｌと、長時間露光時間ＴＬの間に蓄積された電荷蓄積量Ｓｍが用いられ、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。

この場合、短時間露光時間ＴＳのときは、暗い状態を撮像している状態なので、蓄積される電荷量は少なく、電荷蓄積量Ｓｌは、０に近い値となる。また、時刻ｔ３から時刻ｔ４の間に蓄積される電荷量は、０に近い値となるため、電荷蓄積量Ｓｍは、中間電位に近い値となる。

長時間露光時間ＴＬ中に、明状態から暗状態に急激に変化するような状況の場合、感度の高い画素と低い画素の両方とも、図５で説明した中輝度信号を扱うときの処理となる。

しかしながら、暗状態のときの撮像なので、図６を参照して説明した低輝度信号を扱うときの処理が実行され、長時間露光時間ＴＬで得られた電荷蓄積量が用いられて、画素値レベルが算出されるのが真値であり、上記したように、例えば、電荷蓄積量Ｓｌと電荷蓄積量Ｓｍが加算された電荷量は、真値よりも高い値になってしまう可能性がある。

すなわち、暗状態で撮影された場合、中間電位に該当する電荷量よりも小さい電荷量となるはずであるが、上記したように、例えば、電荷蓄積量Ｓｌと電荷蓄積量Ｓｍが加算された電荷量となるため、中間電位に該当する電荷量よりも大きな電荷量となる。

このような誤差を含む可能性のある電荷量を用いることで、偽色（アーチファクト）が発生する可能性がある。以下、明るい状態から暗い状態に急変したことにより発生する可能性のあるアーチファクトを、明暗アーチファクトと記述する。

＜アーチファクトの発生を軽減する処理＞
このような、暗明アーチファクトや明暗アーチファクトが発生しないようにするための処理について説明する。

図１２は、図７に示した暗状態から明状態に変化したときの、フォトダイオード２２１の電荷量の変化を表す図である。電荷量の変化は、図７の下図に示した場合と同様である場合を例に挙げて説明するため、電荷量の変化については説明を省略する。

時刻ｔ２１において、フォトダイオード２２１に蓄積されている電荷量は、電荷蓄積量Ｓｎであるとする。この時刻ｔ２１において、フォトダイオード２２１に蓄積されている電荷量の掃き出し動作が行われ、蓄積された電荷量が、中間電位に相当する電荷量以上であるか否かが判定される。

時刻ｔ２１において行われる掃き出し動作は、隣接した画素への漏れ込みにより、画素値のリニアリティ特性が崩れるのを防ぐために、露光中の所定のタイミングで電荷をリセットするために行われる。このような隣接した画素への漏れ込みを防ぐために行われる掃き出し動作は、長時間露光時間ＴＬ中に、複数回行うように構成することも可能である。

ここでは、長時間露光時間ＴＬのほぼ中央時点の時刻ｔ２１において、１回の掃き出し動作が行われるとして説明を続ける。

隣接した画素への漏れ込みを防ぐために行われる掃き出し動作は、掃き出し動作時に蓄積されている電荷量を測定する必要はないが、時刻ｔ２１において実行される掃き出し動作において掃き出された電荷量は測定される。

この掃き出し動作は、短時間露光時間ＴＳが開始される時刻ｔ２のときに実行される掃き出し動作と同じく、フォトダイオード２２１に蓄積された全ての電荷ではなく、フォトダイオード２２１において制御される中間電位保持レベルまでとする。

時刻ｔ２１において掃き出し動作が実行され、蓄積された電荷量が中間電位以上であるか否かが判定される。この判定は、掃き出された電荷量が、A/D変換され、デジタル信号に変換され、その信号値が、所定の閾値以上であるか否かが判定されることで行われる。

この所定の閾値は、蓄積された電荷量との比較においては、中間電位とすることができる。また、ノイズの影響を考慮し、中間電位よりも大きい電位としても良い。また、掃き出された電荷量との比較においては、中間電位以上の電荷が蓄積されているときに掃き出される電荷があるため、所定の閾値は、ノイズを考慮しない場合、０とし、ノイズを考慮した場合、０より大きい値が設定される。

掃き出された電荷量の信号値が、所定の閾値以上である場合、フラグが１に設定され、所定の閾値以上ではない場合、フラグが０に設定される。なおここでは、所定の閾値以上である場合、フラグが１に設定され、所定の閾値以上ではない場合、フラグが０に設定されるとして説明を続けるが、所定の閾値以上である場合、フラグが０に設定され、所定の閾値以上ではない場合、フラグが１に設定されるように構成することも可能である。

図１２を参照するに、掃き出し動作が行われる時刻ｔ２１のとき、フォトダイオード２２１の電荷量が、中間電位以下である場合、掃き出し動作により掃き出される電荷量は０であるため、その電荷量に相当する信号値も０となり、所定の閾値以上とはならず、フラグは０に設定される。設定されたフラグは、時刻ｔ４（長時間露光時間ＴＬが終了する時点）まで、イメージセンサ内のメモリに保持され、長時間露光時間ＴＬの画像、短時間露光時間ＴＳの画像と共に、後段の処理部に出力される。

図１３は、図１０に示した暗状態から明状態に変化したときの、フォトダイオード２２１の電荷量の変化を表す図である。電荷量の変化は、図１０の下図に示した場合と同様である場合を例に挙げて説明するため、電荷量の変化については説明を省略する。

時刻ｔ２１において、フォトダイオード２２１に蓄積されている電荷量は、電荷蓄積量Ｓｏであるとする。この時刻ｔ２１において、フォトダイオード２２１に蓄積されている電荷量の掃き出し動作が行われ、掃き出された電荷量の信号値が、所定の閾値以上であるか否かが判定される。

図１３を参照するに、掃き出し動作が行われる時刻ｔ２１のとき、フォトダイオード２２１の電荷量が、中間電位以上である場合、掃き出し動作により掃き出される電荷量は所定の値を有しており、そのようなときには、フラグは１に設定される。設定されたフラグは、時刻ｔ４（長時間露光時間ＴＬが終了する時点）まで、イメージセンサ内のメモリに保持され、長時間露光時間ＴＬの画像、短時間露光時間ＴＳの画像と共に、後段の処理部に出力される。

このように、露光時間中の所定の時点における明るさの状態が判定され、その判定結果は、フラグとして保持される。このフラグを参照することで、露光時間中の所定の時点において明状態であったか、暗状態であったかを認識することができる。

上記したように、掃き出し動作は、長時間露光時間ＴＬに複数回行うように設定することも可能である。複数回の掃き出し動作を行うようにした場合、その都度、掃き出された電荷量の信号値が、所定の閾値以上であるか否かが判定され、フラグが設定されるようにしても良い。

このようにした場合、複数個のフラグが設定されるが、複数個のフラグの平均値が算出され、その平均値が最終的なフラグとして設定されるようにしても良い。このようにした場合、平均値を四捨五入などし、０または１にした値が最終的なフラグとして用いられる。

また、複数個のフラグが設定されるようにした場合、それらのフラグを時系列に並べ、その時系列に並べられたフラグが、後段の処理に用いられるようにしても良い。時系列に並べたフラグを用いることで、どの時点で、中間電位を超える電荷量が蓄積されたかを判定できるようになるため、そのような判定結果も用いて、後段の補正部３０５（図１６）で行われる補正が行われるようにしても良い。

なおここでは、上記したように、長時間露光時間ＴＬ中の所定の時点における明るさの状態を、０または１の２値で表されるフラグを用いて表すとして説明を続けるが、後述するメモリの容量を削減する必要が無い場合などには、より細かく明るさの状態を表す情報が用いられるようにしても良い。

例えば、掃き出し動作のときに掃き出された電荷量をA/D変換したデータが用いられるようにしても良い。このようにした場合、所定の時点で、単に明るい状態であったか否かだけでなく、どの程度の明るさであったかを判定することができようになるため、このような判定結果も用いて、後段の補正部３０５（図１６）で行われる補正が行われるようにしても良い。

このように設定されたフラグを参照することで、露光時間中の所定の時点における明るさの状態を判定することはできるが、明暗アーチファクト、または暗明アーチファクトが発生する状況であるか否かまで判定することはできない。そこで、図１４を参照して説明する領域の概念を取り入れ、領域内に存在する状況であるか否かも判定することで、明暗アーチファクト、または暗明アーチファクトが発生する状況であるか否かが判定できるようにする。

図１４に示したグラフにおいて、縦軸は、短時間露光時間ＴＳ時に蓄積された電荷量（その電荷量の信号値）Ｄｓを表し、横軸は、短時間露光時間ＴＳの信号値と長時間露光時間ＴＬの信号値を加算した信号値Ｄａを表す。

領域Ａは、低輝度領域Ａであり、図６を参照して説明したように、合成において、長時間露光時間ＴＬ時の画素値（長時間露光画像）が主に用いられる領域である。領域Ｂは、中輝度領域Ｂであり、図５を参照して説明したように、合成において、長時間露光時間ＴＬ時の画素値（長時間露光画像）と短時間露光時間ＴＳの画素値（短時間露光画像）の和が主に用いられる領域である。領域Ｄは、高輝度領域Ｄであり、図４を参照して説明したように、合成において、短時間露光時間ＴＳ時の画素値（展示館露光画像）が主に用いられる領域である。

領域Ｃは、遷移領域Ｃであり、中輝度領域Ｂと高輝度領域Ｄとの中間に属する領域である。図中、点線２９１は、Ｄｓ＝Ｄａ／Ｇ（Ｇは、長時間露光時間ＴＬ／短時間露光時間ＴＳ）を表す線であり、点線２９２は、Ｄｓ＝Ｄａ／Ｇ＋Ａ（Ａは、所定の値）を表す線であり、点線２９３は、Ｄｓ＝Ｄａ／Ｇ−Ａを表す線である。遷移領域Ｃは、点線２９１を中心とし、点線２９２と点線２９３で挟まれる領域である。この遷移領域Ｃは、中輝度領域Ｂに属するか、高輝度領域Ｄに属するか判定しづらい領域である。

これらの領域Ａ乃至Ｄとフラグとを組み合わせることにより、明暗アーチファクトまたは暗明アーチファクトが発生するか否かが判定される。この判定は、例えば、図１５に示す表に基づいて行われる。

図１５に示すように、領域Ａ乃至Ｄとフラグとの組み合わせを、状態１乃至８の８つの状態に分類する。

状態１は、フラグが０であり、領域Ｒが低輝度領域Ａに属する状態である。状態１の場合、露光時間中の所定のタイミングで行われる掃き出し動作（以下、単に掃き出し動作と記述する）時には、暗状態であり、低輝度信号を処理したときの処理が実行される状態である。状態１は、暗状態で、低輝度信号の処理が実行されるため、暗状態から明状態への急激な変化はないと判定でき、アーチファクトが発生することは無い状態であると判定できる状態である。

状態２は、フラグが０であり、領域Ｒが中輝度領域Ｂに属する状態である。状態２の場合、掃き出し動作時には、暗状態であり、中輝度信号を処理したときの処理が実行される状態である。状態２は、暗状態で、中輝度信号の処理が実行されるため、暗状態から明状態への急激な変化はないと判定でき、アーチファクトが発生することは無い状態であると判定できる状態である。

状態３は、フラグが０であり、領域Ｒが遷移領域Ｃに属する状態である。状態３の場合、掃き出し動作時には、暗状態であるが、中輝度信号または高輝度信号を処理したときの処理が実行される状態である。状態３は、暗状態から明状態に変化があり、その結果、中輝度信号の処理または高輝度信号の処理が実行されると判定できる状態であり、暗明アーチファクトが発生する可能性があると判定できる状態である。

状態４は、フラグが０であり、領域Ｒが高輝度領域Ｄに属する状態である。状態４の場合、掃き出し動作時には、暗状態であるが、高輝度信号を処理したときの処理が実行される状態である。状態４は、暗状態から明状態に変化があり、その結果、高輝度信号の処理が実行されると判定できる状態であり、暗明アーチファクトが発生する可能性があると判定できる状態である。

状態５は、フラグが１であり、領域Ｒが低輝度領域Ａに属する状態である。状態５の場合、掃き出し動作時には、明状態であるが、低輝度信号を処理したときの処理が実行される状態である。状態５は、明状態から暗状態に変化があり、その結果、低輝度信号の処理が実行されると判定できる状態であり、明暗アーチファクトが発生する可能性があると判定できる状態である。

状態６は、フラグが１であり、領域Ｒが中輝度領域Ｂに属する状態である。状態６の場合、掃き出し動作時には、明状態であるが、中輝度信号を処理したときの処理が実行される状態である。状態６は、明状態から暗状態に変化があり、その結果、中輝度信号の処理が実行されると判定できる状態であり、明暗アーチファクトが発生する可能性があると判定できる状態である。

状態７は、フラグが１であり、領域Ｒが遷移領域Ｃに属する状態である。状態７の場合、掃き出し動作時には、明状態であり、中輝度信号または高輝度信号を処理したときの処理が実行される状態である。状態７は、明状態で、中輝度信号または高輝度信号の処理が実行されるため、明状態から暗状態への急激な変化はないと判定でき、アーチファクトが発生することは無い状態であると判定できる状態である。

状態８は、フラグが１であり、領域Ｒが高輝度領域Ｄに属する状態である。状態８の場合、掃き出し動作時には、明状態であり、高輝度信号を処理したときの処理が実行される状態である。状態８は、明状態で、高輝度信号の処理が実行されるため、明状態から暗状態への急激な変化はないと判定でき、アーチファクトが発生することは無い状態であると判定できる状態である。

なおここでは、説明のため領域との記載をし、どの領域に属する状態であるかが判定されるとして説明を続けるが、図１４に示すような領域を判定するためのテーブルを有し、そのテーブルが参照されて、状態が判定されるようにしても良い。

また、合成処理時に、長時間露光画像を主に用いる状態か、短時間露光画像を主に用いる状態か、長時間露光画像と短時間露光画像の和を主に用いる状態か、または、長時間露光画像を主に用いる状態と、長時間露光画像と短時間露光画像の和を主に用いる状態との中間的な状態か、いずれかの状態であるかが判定されるようにしても良い。

このように、フラグと領域を組み合わせることで、アーチファクトが発生する状態であるか否かを判定することができる。よって、アーチファクトが発生する可能性がある場合には、アーチファクトによる影響を軽減する処理を行うなど、アーチファクトに対する対応をとることができる。よって、アーチファクトにより画質が劣化するようなことを防ぐことが可能となる。

また本実施の形態によれば、明状態から暗状態に変化したために明暗アーチファクトが発生するのか、暗状態から明状態に変化したために暗明アーチファクトが発生するのかまで判定することができるため、その判定結果により、より細かなアーチファクトに対する処理を実行することが可能となる。

＜システムの構成＞
図１６は、上記した処理を行うシステムの一実施の形態の構成を示す図である。図１６に示したシステムは、撮像デバイス３０１、生成部３０２、画像合成部３０３、動被写体検出情報生成部３０４、および補正部３０５を含む構成とされている。

撮像デバイス３０１は、ＣＭＯＳイメージセンサ１１２（図２）を含む構成とされ、被写体の画像を撮像する。撮像された被写体の信号は、生成部３０２に供給される。生成部３０２は、短時間露光時間ＴＳに得られたＴＳ画像、長時間露光時間ＴＬに得られたＴＬ画像、およびフラグを生成する。

画像合成部３０３は、生成部３０２により生成されたＴＳ画像とＴＬ画像の合成処理を行い、合成画像を生成する。動被写体検出情報生成部３０４は、ＴＳ画像、ＴＬ画像、およびフラグを参照し、図１５を参照して説明したように、アーチファクトが発生する状況であるか否かを判定し、その判定結果を動被写体検出情報として出力する。

補正部３０５は、画像合成部３０３から供給される合成画像に対して、動被写体検出情報生成部３０４から供給される動被写体検出情報を参照した補正を行う。補正部３０５は、合成画像に対して、アーチファクトが発生すると判定されている領域（画素）に対して、アーチファクトによる影響が軽減されるための補正を施す。

図１７を参照し、図１６に示したシステムの動作について説明を加える。ローリングシャッターの場合、図１７の左側に示すように、１ラインまたは複数ライン毎に露光開始時刻が異なり、露光終了時刻が異なる。

１ライン目の露光開始時刻を時刻ｔ０とし、長時間露光時間ＴＬの露光終了時刻を時刻ｔ４とする。短時間露光時間ＴＳの露光開始時刻を時刻ｔ２とし、終了時刻を時刻ｔ３とする。また時刻ｔ２１において、フラグを生成するための掃き出し動作が行われる。

時刻ｔ０から１ライン目の露光が開始され、時刻ｔ２１になると、掃き出し動作が行われ、生成部３０２によりフラグが生成される。このフラグは、図示していないメモリに保持される。時刻ｔ２から時刻ｔ３の間に行われた短時間露光時間ＴＳにより得られた１ライン目のＴＳ画像は、時刻ｔ３においてラインメモリ（不図示）に読み出され、一旦記憶される。

また、長時間露光時間ＴＬにより得られた１ライン目のＴＬ画像は、時刻ｔ４においてラインメモリに読み出され、一旦記憶される。画像合成部３０３は、ラインメモリに蓄積されたＴＳ画像とＴＬ画像を合成する。動被写体検出情報生成部３０４は、ＴＳ画像、ＴＬ画像、フラグを用いて、図１５に示した状態１乃至８のどの状態に属するか、換言すれば、アーチファクトが発生する可能性があるか否かを判定する。この判定に基づき、補正が行われる。

アーチファクトが発生する可能性があるとの判定がされる画素は、例えば、高輝度信号として処理すべき画素であるのに、低輝度信号として処理された場合などであるため、低輝度信号として処理するのではなく、高輝度信号として処理する画素に変更するといった補正が行われる。

なお補正は、アーチファクトにより影響（動被写体による影響）を軽減できる補正であれば良い。

＜積層型イメージセンサ＞
図１６に示したシステムを、積層型のイメージセンサとして構成することも可能である。積層型イメージセンサについて、図１８を参照して説明する。図１８Ａは、積層型ではないイメージセンサの構成を示し、図１８Ｂは、積層型のイメージセンサの構成を示す。

図１８Ａを参照するに、積層型ではないイメージセンサは、１層目の基板４０１に、画素４０２と画素４０２の周りに回路部４０３が配置され、その基板に支持基板４０４が積層される。よって、１層目の基板４０１は、画素４０２と回路部４０３を配置するための面積が必要である。支持基板４０４の面積は、基板４０１と同程度の面積が必要である。

図１８Ｂを参照するに、積層型のイメージセンサは、１層目の基板４２１に画素４２２が配置され、２層目の基板４２４に回路部４２３が配置され、基板４２１と基板４２４が積層されている。積層型のイメージセンサでは、図１８Ａに示した積層型ではないイメージセンサの支持基板４０４であった部分に回路部４２３が設けられ、積層化されている。

このように、支持基板であった２層目に回路部４２３を配置することで、１層目の基板４２１は、画素４２２を配置するための面積があれば良く、少なくとも回路部４０３の分だけ面積を小さくすることができる。また、２層目の基板４２４の面積も、１層目の基板４２１と同程度の面積であれば良くなり、チップサイズをイメージセンサの画素面のサイズに抑えつつも、大規模論理回路を搭載することも可能となる。

また、上記したように、長時間露光時間ＴＬの所定の時点において明状態であったか暗状態であったかを表すフラグを一時的に保持するメモリが必要となるが、以下に説明するようにメモリの容量を小さくすることも可能である。よって、フラグを保持するためのメモリが回路部４２３に追加されたとしても、そのメモリの容量は小規模とすることが可能であるため、追加されたメモリにより回路部４２３の面積が大きくなるといったようなことはない。

図１６に示したシステムを積層型イメージセンサにした場合、図１９に示すように、撮像デバイス３０１を含む部分をセンサ部４５１とし、第１層目の基板４２１（図１８Ｂ）の画素４２２として配置する。また生成部３０２、画像合成部３０３、動被写体検出情報生成部３０４を、論理回路部４５２とし、第２層目の基板４２４（図１８Ｂ）の回路部４２３として配置する。このように、図１６に示したシステムも、積層型イメージセンサとして構成することができ、積層型イメージセンサとすることで、小型化することが可能となる。

なお、第２層目の基板４２４（図１８Ｂ）の回路部４２３には、生成部３０２、画像合成部３０３、動被写体検出情報生成部３０４のいずれか１つが少なくとも含まれるように構成することもできる。また、積層される基板の枚数は何層でもよく、例えば、第２層目と第３層目に、生成部３０２、画像合成部３０３、動被写体検出情報生成部３０４が分散配置されるようにしても良い。

＜メモリ容量の削減＞
次に、上記したフラグを保持するメモリの容量の削減について説明する。図２０の左図は、図８と同じく、カラーフィルタの色配置の一例を示す図である。図２０に示したカラーフィルタの色配置も、図８と同じく、縦×横の２×２単位で、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の配置が繰り返されている例を挙げて説明する。

図２０では、画素アレイ部２１１（図２）の一部を構成する縦×横の８×１６の画素を例示している。この８×１６の画素を、８×８の２メッシュにわける。ここでは、左側のメッシュをメッシュ５０１とし、右側のメッシュをメッシュ５０２とする。メッシュは、８×８の６４個の画素を含む。なおここでは、１メッシュは８×８個の画素を含むとして説明するが、メッシュ内の画素数は、８×８個に限定を示す記載ではなく、一例である。

このメッシュ単位でフラグを生成する。フラグは、色毎に生成されるため、１メッシュあたり、Ｒ画素に関するフラグ、Ｇ画素に関するフラグ、およびＢ画素に関するフラグが生成される。図２０に示した例ではメッシュ５０１内のＲ画素に関するフラグは１、Ｇ画素に関するフラグは１、およびＢ画素に関するフラグは０と生成された例を示している。メッシュ５０２も同様のフラグが生成されている例を示している。

まず画素毎にフラグが生成され、メッシュ内の全ての画素に対してフラグが生成されると、メッシュ内の色毎のフラグの平均値（多数決）が算出されることで、メッシュ毎にフラグが生成される。生成されたメッシュ毎のフラグは、図１７を参照して説明した画像データの読み出しタイミングに合わせて、メモリ内から読み出され、出力される。

出力されるときには、メッシュ内のフラグ情報は、伸張して出力されるようにしても良い。この場合、メッシュ内のフラグ情報は、同色で全て同じとなる。

仮に、画素毎にフラグを生成し、保持するとした場合、１画素あたり１ビットのメモリを必要とするため、図２０の左図に示したような８×１６個の画素に関するフラグを保持するためには、８×１６ビットの容量が必要となる。

しかしながら、上記したように、８×８画素のメッシュ単位でフラグを生成し、保持するようにした場合、１メッシュあたり３ビットのメモリを必要とするため、図２０の右図に示したような２メッシュのフラグを保持するためには、３×２ビットの容量で良くなる。この場合、１２８（＝８×１６）ビットが６（＝３×２）ビットに削減されたことになる。

このように、メッシュ単位でフラグを生成するようにすることで、フラグを生成してから長時間露光画像と短時間露光画像の読み出しまでのフラグを保持しておくためのメモリの容量を削減することが可能となる。

さらにメモリの削減について説明を加える。上記したように、フラグ情報は、中間電位を越えた信号を、A/D変換して閾値判定することで生成される。撮像デバイスの画素を列並列でフラグ生成する場合、水平画素数分のA/D変換部と比較部が必要となる。

露光中に動被写体による明るさ変化の影響を受けた画素の近傍の画素もまた、明るさ変化の影響を受けると考えられるため、フラグ情報を、ある程度間引くことで性能劣化を抑えつつA/D変換部と比較部の数を減らすことが可能である。

例えば、図２１に示すように、間引きフラグ生成を行うようにする。図２１Ａ、図２１Ｂは、カラムＮのフラグの生成について説明するための図であり、図２１Ｃ、図２１Ｄは、カラムＮ＋１のフラグの生成について説明するための図である。また、図２１Ａ、図２１Ｃは、全画素でフラグを生成した場合について説明するための図であり、図２１Ｂ、図２１Ｄは、間引きフラグ方式でフラグを生成した場合について説明するための図である。

図２１Ａを参照するに、全画素でフラグを生成する場合、カラムＮにおいて、１乃至１６列目に配置されている画素の全てに対して、A/D変換が施され、閾値判定が行われることで、フラグが生成される。

図２１Ｂを参照するに、間引き方式でフラグを生成する場合、カラムＮにおいて、１乃至１６列目に配置されている画素のうち、１，２，９，１０列目に配置されている画素に対して、A/D変換が施され、閾値判定が行われることで、フラグが生成される。

このように、全画素を対照した場合、１６個の画素に対して、A/D変換を行うためのA/D変換部と、閾値判定を行うための比較部が必要となるが、間引きフラグ生成方式の場合、１６個の画素のうちの４個の画素に対して、A/D変換を行うためのA/D変換部と、閾値判定を行うための比較部比較部があれば良くなる。

同様に、図２１Ｃ、図２１Ｄに示したように、カラムＮ＋１においても、間引きフラグ生成方式によれば、A/D変換部と比較部を削減することが可能となる。このように、間引いてフラグを生成することで、必要な回路規模を約1/4に削減することができる。

さらに、カラムＮ，Ｎ＋１, ８Ｎ，８Ｎ＋１, … のように８カラム毎にフラグ生成することにより、フラグ情報を、カラム方向に１／８に削減することができる。この時、フラグ情報は、８×８のメッシュで４bitになる。特に、図２１に示したようなベイヤー配列（Bayer配列）におけるGr/Gb画素のフラグ情報をまとめて１bitとして扱うことで、図２０を参照して説明した場合と同じフラグ情報量（８×８のメッシュでＲＧＢ３bit）に抑えつつ、必要なA/D変換部と比較部を１/４に削減することが可能になる。

なお、図２１を参照して説明した間引きの仕方は、１例であり、限定を示す記載ではない。例えば、カラムＮとカラムＮ＋１とでは、異なる列の画素からフラグが生成されるようにしても良い。例えば、図２１に示した例では、カラムＮとカラムＮ＋１の両方とも、１，２，９，１０列目に配置されている画素からフラグが生成される例を示したが、カラムＮの１，２，９，１０列目に配置されている画素からフラグが生成され、カラムＮ＋１の３，４，１１，１２列目に配置されている画素からフラグが生成されるといったように、カラム毎に異なる列からフラグが生成されるようにしても良い。

本技術によれば、イメージセンサにより異なる露光時間で撮像した画像を合成して広ダイナミックレンジの画像を得るシステムにおいて、偽色やノイズ発生を抑制することが可能となる。また、偽色やノイズ発生の原因となる動被写体検出に必要な画像情報量を適切に削減して保持することで、必要なメモリ量を削減することが可能になる。

本技術によれば、露光中の中間状態をフラグとして保持するため、必要なメモリ容量は画像データのビット精度や露光比によらない。よって、必要な画像データのビット精度や露光比が大きいほど、本技術を適用することによって得られるメモリコストの低減効果は大きくなる。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３は、バス６０４により相互に接続されている。バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、ＲＡＭ６０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ＲＯＭ６０２や記憶部６０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜撮像装置の使用例＞
図２３は、上述の撮像素子や撮像素子を含む電子機器を使用する使用例を示す図である。

上述した撮像素子は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成する画像合成部と、
長時間露光時間中の所定の時点における明るさの状態を表す情報を生成する生成部と、
前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定する判定部と、
前記判定部による判定結果に基づいて、前記出力画像を補正する補正部と
を備える撮像装置。
（２）
前記生成部で生成される前記情報は、明るい状態であるか否かを表すフラグである
前記（１）に記載の撮像装置。
（３）
前記生成部で生成される前記情報は、光電変換素子の飽和レベル中間の電位を超える電荷量が、前記光電変換素子に蓄積されていたか否かを表すフラグである
前記（１）に記載の撮像装置。
（４）
前記生成部は、前記長時間露光時間中の所定の時点で、光電変換素子に蓄積されている電荷量をA/D変換し、A/D変換後の信号値が、所定の閾値より大きいか否かを判定することで、前記情報を生成する
前記（１）に記載の撮像装置。
（５）
前記生成部は、前記長時間露光期間中の複数の所定の時点で、前記情報を生成する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
前記判定部は、前記合成処理において、前記長時間露光画像を主に合成する第１の領域、前記長時間露光画像と前記短時間露光画像の和を主に用いる第２の領域、前記短時間露光画像を主に合成する第３の領域、および前記第２の領域と前記第３の領域の中間に属する第４の領域のうちの、どの領域に属するかを判定する
前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
前記判定部は、前記第１乃至第４の領域のうちの、どの領域に属するかの判定結果と前記情報との組み合わせにより、前記アーチファクトが発生するか否かを判定する
前記（６）に記載の撮像装置。
（８）
前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定する
前記（６）に記載の撮像装置。
（９）
前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定する
前記（６）または（８）に記載の撮像装置。
（１０）
前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、暗い状態から明るい状態に変化したために発生するアーチファクトが発生する状態であると判定する
前記（６）に記載の撮像装置。
（１１）
前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、明るい状態から暗い状態に変化したために発生するアーチファクトが発生する状態であると判定する
前記（６）または（１０）に記載の撮像装置。
（１２）
前記生成部は、所定数の画素を１単位とし、前記単位毎に前記情報を生成し、前記１単位に含まれる色毎に前記情報を生成する
前記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）
前記生成部は、１ライン内の所定の位置の画素において前記情報を生成する
前記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）
光電変換素子と、前記光電変換素子からの信号を処理する回路部とから構成され、
前記回路部は、前記画像合成部、前記生成部、前記判定部、前記補正部のうち少なくとも１つを含み、
前記光電変換素子が配置された基板と前記回路部が配置された基板は積層されている
前記（１）乃至（１３）のいずれかに記載の撮像装置。
（１５）
長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、
長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、
前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、
前記判定の結果に基づいて、前記出力画像を補正する
ステップを含む撮像方法。
（１６）
長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、
長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、
前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、
前記判定の結果に基づいて、前記出力画像を補正する
ステップを含む処理をコンピュータに実行させるためのプログラム。

１００ 撮像装置，１１１ 光学部， １１２ CMOSイメージセンサ， １１３ A/D変換部， １１４ 操作部， １１５ 制御部， １１６ 画像処理部， １１７ 表示部， １１８ コーデック処理部， １１９ 記録部， ２１１ 画素アレイ部， ２１２，２１３Ａ，２１３Ｂ 行選択回路， ２１３ 先行選択回路， ２１４ 論理回路， ２１５ ドライバ回路， ２１６ コントローラユニット， ２１７ 電圧供給回路， ２１８ カラム回路， ２１９ 水平走査回路， ２２０ 単位画素， ２２１ フォトダイオード， ２２２ 転送トランジスタ， ２２３ リセットトランジスタ， ２２４ 増幅トランジスタ， ２２５ 選択トランジスタ， ２２６ ＦＤ部， ３０１ 撮像デバイス， ３０２ 生成部， ３０３ 画像合成部， ３０４ 動被写体検出情報生成部

Claims (16)

1. 長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成する画像合成部と、
   長時間露光時間中の所定の時点における明るさの状態を表す情報を生成する生成部と、
   前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定する判定部と、
   前記判定部による判定結果に基づいて、前記出力画像を補正する補正部と
   を備える撮像装置。
2. 前記生成部で生成される前記情報は、明るい状態であるか否かを表すフラグである
   請求項１に記載の撮像装置。
3. 前記生成部で生成される前記情報は、光電変換素子の飽和レベル中間の電位を超える電荷量が、前記光電変換素子に蓄積されていたか否かを表すフラグである
   請求項１に記載の撮像装置。
4. 前記生成部は、前記長時間露光時間中の所定の時点で、光電変換素子に蓄積されている電荷量をA/D変換し、A/D変換後の信号値が、所定の閾値より大きいか否かを判定することで、前記情報を生成する
   請求項１に記載の撮像装置。
5. 前記生成部は、前記長時間露光期間中の複数の所定の時点で、前記情報を生成する
   請求項１に記載の撮像装置。
6. 前記判定部は、前記合成処理において、前記長時間露光画像を主に合成する第１の領域、前記長時間露光画像と前記短時間露光画像の和を主に用いる第２の領域、前記短時間露光画像を主に合成する第３の領域、および前記第２の領域と前記第３の領域の中間に属する第４の領域のうちの、どの領域に属するかを判定する
   請求項１に記載の撮像装置。
7. 前記判定部は、前記第１乃至第４の領域のうちの、どの領域に属するかの判定結果と前記情報との組み合わせにより、前記アーチファクトが発生するか否かを判定する
   請求項６に記載の撮像装置。
8. 前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定する
   請求項６に記載の撮像装置。
9. 前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定する
   請求項６に記載の撮像装置。
10. 前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、暗い状態から明るい状態に変化したために発生するアーチファクトが発生する状態であると判定する
    請求項６に記載の撮像装置。
11. 前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、明るい状態から暗い状態に変化したために発生するアーチファクトが発生する状態であると判定する
    請求項６に記載の撮像装置。
12. 前記生成部は、所定数の画素を１単位とし、前記単位毎に前記情報を生成し、前記１単位に含まれる色毎に前記情報を生成する
    請求項１に記載の撮像装置。
13. 前記生成部は、１ライン内の所定の位置の画素において前記情報を生成する
    請求項１に記載の撮像装置。
14. 光電変換素子と、前記光電変換素子からの信号を処理する回路部とから構成され、
    前記回路部は、前記画像合成部、前記生成部、前記判定部、前記補正部のうち少なくとも１つを含み、
    前記光電変換素子が配置された基板と前記回路部が配置された基板は積層されている
    請求項１に記載の撮像装置。
15. 長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、
    長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、
    前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、
    前記判定の結果に基づいて、前記出力画像を補正する
    ステップを含む撮像方法。
16. 長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、
    長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、
    前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、
    前記判定の結果に基づいて、前記出力画像を補正する
    ステップを含む処理をコンピュータに実行させるためのプログラム。

Images