JP2021057833A - 撮像装置 - Google Patents

Abstract

【課題】画像の画質低下を抑制可能な撮像装置を提供する。【解決手段】撮像装置は、光電変換部で生成された電荷に基づく信号を出力する画素を有する撮像部と、前記撮像部への光を遮光した状態で第１の温度及び第１の期間において前記光電変換部で生成された電荷に基づく第１信号と、前記第１の温度と前記第１の期間とに基づいて、前記撮像部へ光が入射した状態で前記光電変換部で生成された電荷に基づく第２信号を補正する補正部と、を備える。【選択図】図１

Description

本発明は、撮像装置に関する。

一般に、電子カメラにおいて長秒時撮影を行うと、画像データに固定パターンノイズおよびランダムノイズが現れる。これらのノイズを除去する装置として、特許文献１の装置が知られている。しかし、従来の装置では、これらのノイズを十分に除去することができなかった。

特開２０１０−１４１５８３号公報

本発明の第１の態様によると、撮像装置は、光電変換部で生成された電荷に基づく信号を出力する画素を有する撮像部と、前記撮像部への光を遮光した状態で第１の温度及び第１の期間において前記光電変換部で生成された電荷に基づく第１信号と、前記第１の温度と前記第１の期間とに基づいて、前記撮像部へ光が入射した状態で前記光電変換部で生成された電荷に基づく第２信号を補正する補正部と、を備える。

第１の実施の形態に係る撮像装置の構成例を示す図である。 第１の実施の形態に係る撮像素子の一部の構成例を示す図である。 第１の実施の形態に係る撮像素子の各画素の暗電流のヒストグラムの一例を示す図である。 第１の実施の形態に係る撮像素子の各画素の画素信号のヒストグラムの一例を示す図である。 第１の実施の形態に係る撮像装置の動作例を示したフローチャートである。

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置の一例であるカメラ１の構成例を示す図である。カメラ１は、撮影光学系（結像光学系）２、撮像素子３、制御部４、メモリ５、表示部６、操作部７、及び温度検出部８を備える。撮影光学系２は、焦点調節レンズ（フォーカスレンズ）を含む複数のレンズ及び開口絞りを有し、撮像素子３に被写体像を結像する。なお、撮影光学系２は、カメラ１から着脱可能にしてもよい。

撮像素子３は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子である。撮像素子３は、撮影光学系２を通過した光束を受光し、撮影光学系２により形成される被写体像を撮像する。撮像素子３には、光電変換部を有する複数の画素が二次元状（行方向及び列方向）に配置される。光電変換部は、フォトダイオード（ＰＤ）によって構成される。

画素には、入射した光のうち第１の波長域の光（赤（Ｒ）の光）を分光する特性を有するフィルタを有する画素（Ｒ画素）と、入射した光のうち第２の波長域の光（緑（Ｇ）の光）を分光する特性を有するフィルタを有する画素（Ｇ画素）と、入射した光のうち第３の波長域の光（青（Ｂ）の光）を分光する特性を有するフィルタを有する画素（Ｂ画素）とがある。Ｒ画素とＧ画素とＢ画素とは、ベイヤー配列に従って配置されている。撮像素子３は、受光した光を光電変換して信号（画素信号）を生成し、生成した信号を制御部４に出力する。

メモリ５は、不揮発性の記憶媒体により構成される。メモリ５には、画像信号（画像データ）や制御プログラム等が記憶（記録）される。メモリ５へのデータの書き込みや、メモリ５からのデータの読み出しは、制御部４によって制御される。表示部６は、画像信号に基づく画像、シャッター速度や絞り値等の撮影に関する情報、及びメニュー画面等を表示する。操作部７は、レリーズボタン、電源スイッチ、各種モードを切り替えるためのスイッチなどの各種設定スイッチ等を含み、それぞれの操作に基づく信号を制御部４へ出力する。

制御部４は、ＣＰＵやＦＰＧＡ、ＡＳＩＣ等のプロセッサ、及びＲＯＭやＲＡＭ等のメモリにより構成され、制御プログラムに基づきカメラ１の各部を制御する。制御部４は、撮像素子３を制御する信号を撮像素子３に供給して、撮像素子３の動作を制御する。制御部４は、撮像素子３の光電変換部で電荷の蓄積が行われる期間（電荷蓄積期間）や、撮像素子３において画素信号を増幅する際のゲイン（増幅率）を制御する。制御部４は、静止画撮影や動画撮影を行う場合、表示部６に被写体のスルー画像（ライブビュー画像）を表示する場合に、撮像素子３に被写体像を撮像させて、各画素の画素信号を出力させる。制御部４は、各画素の画素信号を含む画像信号（画像データ）を、メモリ５に記憶させる。

制御部４は、記憶部４ａと処理部（補正部）４ｂを有する。記憶部４ａには、後述するが、撮像素子３への光を遮光した状態で撮像を行って得られる画像信号（暗時画像信号）と、遮光状態で撮像を行った際の条件に関する情報（条件情報）とが記憶される。なお、これら暗時画像信号と条件情報とは、メモリ５に記憶するようにしてもよい。なお、後述する複数の演算式に関する情報は、記憶部４ａ（又はメモリ５）に記憶される。

処理部４ｂは、後述するが、記憶部４ａに記憶された暗時画像信号及び条件情報を用いて、被写体を撮像して得られた画像信号に対して暗電流成分を除去するための補正処理（以下、ノイズ補正処理と称する）を施す。処理部４ｂは、ノイズ補正処理後の画像信号に各種の画像処理を行って、静止画用の画像信号や動画用の画像信号を生成する。画像処理には、階調変換処理や色補間処理等の画像処理が含まれる。

温度検出部８は、サーミスタや熱電対などの温度センサにより構成され、撮像素子３の温度を検出する。温度検出部８は、撮像素子３の温度に関する情報（温度情報）を生成し、生成した温度情報を制御部４に出力する。なお、温度検出部として、撮像素子３の温度を検出する回路を、撮像素子３の内部に設けてもよい。この場合、撮像素子３は、温度情報を生成して制御部４に出力する。

図２は、第１の実施の形態に係る撮像素子の一部の構成例を示す図である。図２は、撮像素子３に設けられた複数の画素１０のうちの一部の画素１０と、垂直制御部２５と、水平制御部２２とを示している。また、図２では、列方向（垂直方向）及び列方向に交差する行方向（水平方向）に配置される複数の画素１０のうち、列方向に配置された複数の画素列の２つの画素列の一部を示している。撮像素子３には、列方向、即ち垂直方向に並んだ複数の画素の列である画素列に対して、垂直信号線２０が設けられる。垂直信号線２０に対して不図示の電流源が設けられる。なお、他の画素列の構成も、図２の画素列の構成と同様である。

画素１０は、光電変換部１１と、転送部１２と、フローティングディフュージョン（ＦＤ）１３と、リセット部１４と、増幅部１５と、選択部１６とを有する。光電変換部１１は、フォトダイオードＰＤであり、入射した光を電荷に変換し、光電変換された電荷を蓄積する。転送部１２は、信号ＴＧにより制御されるトランジスタＭ１から構成され、光電変換部１１で光電変換された電荷をＦＤ１３に転送する。トランジスタＭ１は、転送トランジスタである。ＦＤ１３は、ＦＤ１３に転送された電荷を蓄積（保持）する。

増幅部１５は、ＦＤ１３に蓄積された電荷による信号を増幅して出力する。増幅部１５は、ドレイン（端子）、ゲート（端子）、及びソース（端子）がそれぞれ、電源ＶＤＤ、ＦＤ１３、及び選択部１６に接続されるトランジスタＭ３により構成される。増幅部１５のソースは、選択部１６を介して垂直信号線２０に接続される。トランジスタＭ３は、増幅トランジスタである。

リセット部１４は、信号ＲＳＴにより制御されるトランジスタＭ２から構成され、ＦＤ１３に蓄積された電荷を排出し、ＦＤ１３の電圧（電位）をリセットする。トランジスタＭ２は、リセットトランジスタである。選択部１６は、信号ＳＥＬにより制御されるトランジスタＭ４から構成され、増幅部１５と垂直信号線２０とを電気的に接続又は切断する。選択部１６のトランジスタＭ４は、オン状態の場合に、増幅部１５からの信号を垂直信号線２０に出力する。トランジスタＭ４は、選択トランジスタである。増幅部１５と選択部１６とは、光電変換部１１により生成された電荷に基づく信号を生成し出力する出力部を構成する。

上述のように、光電変換部１１で光電変換された電荷は、転送部１２によってＦＤ１３に転送される。ＦＤ１３に転送された電荷に応じた信号（画素信号）が、垂直信号線２０に出力される。画素１０から出力される画素信号は、光電変換部１１によって光電変換された電荷に基づいて生成されるアナログ信号である。

垂直制御部２５は、複数の画素列に対して共通に設けられる。垂直制御部２５は、信号ＴＧ（図２ではＴＧ１、ＴＧ２）、信号ＲＳＴ（図２ではＲＳＴ１、ＲＳＴ２）、信号ＳＥＬ（図２ではＳＥＬ１、ＳＥＬ２）を各画素に供給して、各画素の動作を制御する。垂直制御部２５は、画素の各トランジスタのゲートに信号を供給して、トランジスタをオン状態（接続状態、導通状態、短絡状態）又はオフ状態（切断状態、非導通状態、開放状態、遮断状態）とする。

水平制御部２２は、アンプ部および信号処理部を含んで構成される。アンプ部は、垂直信号線２０毎に設けられ、垂直信号線２０を介して入力される画素信号を所定のゲイン（増幅率）で増幅する。この場合、アンプ部は、カメラ１が自動的に選択したＩＳＯ感度、又はユーザが操作部７の操作によって選択したＩＳＯ感度に応じてゲインを決定し、決定したゲインを画素信号に掛ける処理を行う。アンプ部は、増幅した画素信号を信号処理部に出力する。

信号処理部は、アナログ／デジタル変換部（ＡＤ変換部）を有し、アンプ部から出力された画素信号をデジタル信号に変換する。なお、信号処理部は、アンプ部による増幅処理の代わりに、又は、それに加えて、選択されたＩＳＯ感度に応じてゲインを決定し、決定したゲインを画素信号に掛ける処理を行うようにしてもよい。信号処理部は、画素信号に信号処理を行った後に、処理後の画素信号をカメラ１の制御部４に出力する。
水平制御部２２により画素信号が増幅される際、画素信号に含まれる暗電流成分も、ＩＳＯ感度に基づいて決定されるゲインで増幅される。このため、画素信号に含まれるノイズ成分の大きさは、カメラ１に設定されるＩＳＯ感度に依存する。

撮像素子３では暗電流が生じうるため、撮像素子３から出力される画素信号には、暗電流に起因する信号成分（暗電流成分）が含まれうる。画素信号のうち暗電流成分は、画素信号にとってノイズ成分となる。暗電流成分の大きさは、光電変換部１１で電荷の蓄積が行われる電荷蓄積期間、光電変換部１１で電荷の蓄積が行われる際の温度、及びＩＳＯ感度などの撮像を行う際の条件（撮像条件）によって変化する。また、欠陥が形成された画素、例えば画素１０の光電変換部１１への異物元素等の混入により不純物準位等の欠陥因子が生じた画素１０では、他の画素１０と比較して暗電流が比較的多くなり、画素信号に混入する暗電流成分が大きくなる傾向がある。このような大きな暗電流成分が混入した画素信号を含む画像信号を用いて画像を表示すると、画像に暗電流に起因する欠陥が生じることになる。このような欠陥が形成された画素１０や、このような欠陥が形成された画素１０に起因する画像中の欠陥は、白点とも呼ばれる。長時間露光を行った場合や、撮像素子３の温度が高い場合に、画像に白点が顕著に表れる。

本実施の形態に係る撮像素子３は、記録用や表示用の画像信号の生成に用いる画素信号を取得するための撮像動作（以下、本撮像と称する）と、本撮像により得られる画像信号の補正に用いる画素信号を取得するための撮像動作（以下、予備撮像と称する）とを行う。本実施の形態では、予備撮像は、カメラ１の出荷前の工程において、撮像素子３への光を遮光した状態で行われる。制御部４は、撮像素子３に予備撮像を行わせて、各画素１０の画素信号を出力させる。この場合、光電変換部１１には外部から光が入射しない状態となるため、画素１０は、暗電流量に応じた画素信号を出力する。

制御部４の処理部４ｂは、予備撮像を行って得られる各画素の画素信号に対して、後述する信号処理を行う。処理部４ｂは、信号処理後の各画素の画素信号を含む暗時画像信号、及び予備撮像を行った際の撮像条件に関する条件情報を、記憶部４ａ（又はメモリ５）に記憶させる。予備撮像時の条件情報には、予備撮像を行った際の撮像素子３の温度、電荷蓄積期間、及びＩＳＯ感度に関する情報が含まれる。

本撮像においては、撮像素子３は、撮影光学系２により形成された被写体像を撮像する。処理部４ｂは、撮像素子３から出力される各画素の画素信号を含む画像信号と、本撮像を行った際の撮像条件に関する条件情報とを、メモリ５に記憶させる。本撮像時の条件情報には、本撮像を行った際の撮像素子３の温度、電荷蓄積期間、及びＩＳＯ感度に関する情報が含まれる。なお、本撮像時の画像信号および本撮像時の条件情報を、記憶部４ａに記憶するようにしてもよい。

処理部４ｂは、本撮像により得られた画像信号に対して、ノイズ補正処理を行う。具体的には、処理部４ｂは、予備撮像により得られた暗時画像信号と、予備撮像時の条件情報と、本撮像時の条件情報とに基づいて、本撮像時に生じる暗電流量に応じた画像信号を推定する。本実施の形態では、処理部４ｂは、暗時画像信号に、予備撮像時および本撮像時の条件情報に基づいて決定したゲインを乗算することにより、本撮像時に生じる暗電流量に応じた画像信号を算出する。処理部４ｂは、算出した画像信号を、本撮像により得られた画像信号から減算する。処理部４ｂは、ゲインを乗じた予備撮像時の暗時画像信号を本撮像時の画像信号から減じることにより、本撮像時の画像信号に含まれる暗電流によるノイズ成分を低減することができる。

存在する不純物や欠陥等の違いによって、各画素１０の光電変換部１１（又は光電変換部１１を構成する材料と他の材料との界面）に生じる不純物準位に差異が生じる。画素１０の光電変換部１１に金属が混入して不純物準位が形成された画素１０では、その不純物準位に起因して暗電流量が大きくなる傾向がある。このため、撮像素子３には、暗電流が比較的少ない画素１０と、暗電流が比較的多い画素１０とがある場合がある。一般的に、暗電流が比較的少ない画素１０から出力される画素信号に対してノイズ補正処理を行うと、画素信号に含まれるノイズ成分が増加してしまうおそれがある。画素信号に含まれるランダムノイズが増加して画質が劣化したり、画像信号の各色成分（Ｒ成分、Ｇ成分、およびＢ成分）の比が変化して画像に色ずれが生じたりする場合がある。

本実施の形態では、暗電流が比較的少ない画素の画素信号についてはノイズ補正処理を行わず、暗電流が比較的多い画素の画素信号についてノイズ補正処理を行う。なお、以下の説明では、撮像素子３に設けられた画素１０のうち、暗電流が比較的多い画素１０を補正対象画素と称し、暗電流が比較的少ない画素１０を通常画素と称する。

通常画素の暗電流値ＤＣ’［ｅ⁻］は、次式（１）で表すことができる。
ＤＣ’＝ＤＣ×｛ｅｘｐ［−（ｑ／ｋ×Ｅａ＿ｄ）／Ｔｅｍｐ＿ｄ］／ｅｘｐ［−（ｑ／ｋ×Ｅａ＿ｄ）／Ｔｅｍｐ＿ｓｔ）］｝×Ｔｉｍｅ＿ｄ
＝ＤＣ×ｅｘｐ［（ｑ／ｋ×Ｅａ＿ｄ）×（１／Ｔｅｍｐ＿ｓｔ−１／Ｔｅｍｐ＿ｄ）］×Ｔｉｍｅ＿ｄ …（１）
補正対象画素の暗電流値ＤＣ＿ｈ’［ｅ⁻］は、次式（２）で表すことができる。
ＤＣ＿ｈ’＝ＤＣ＿ｈ×ｅｘｐ［（ｑ／ｋ×Ｅａ＿ｈ）×（１／Ｔｅｍｐ＿ｓｔ−１／Ｔｅｍｐ＿ｄ）］×Ｔｉｍｅ＿ｄ …（２）
上述の式（１）において、ＤＣ［ｅ⁻／ｓ］は温度（絶対温度）がＴｅｍｐ＿ｓｔ［Ｋ］の場合の通常画素の暗電流値であり、Ｅａ＿ｄ［ｅＶ］は通常画素の暗電流の活性化エネルギーである。上述の式（２）において、ＤＣ＿ｈ［ｅ⁻／ｓ］は温度がＴｅｍｐ＿ｓｔ［Ｋ］の場合の補正対象画素の暗電流値であり、Ｅａ＿ｈ［ｅＶ］は補正対象画素の暗電流の活性化エネルギーである。また、ｑは素電荷（電荷素量）であり、ｋはボルツマン定数であり、Ｔｅｍｐ＿ｄは予備撮像時の温度であり、Ｔｉｍｅ＿ｄは予備撮像時の電荷蓄積期間（露光時間）である。一般的に、撮像時の温度が高くなる程、また電荷蓄積期間が長くなる程、暗電流値が大きくなる。また、予備撮像時の温度Ｔｅｍｐ＿ｄが高く、電荷蓄積期間Ｔｉｍｅ＿ｄが長くなるにつれて、通常画素の暗電流値ＤＣ’に比べて補正対象画素の暗電流値ＤＣ＿ｈ’の方がより大きくなり、暗電流値ＤＣ’と暗電流値ＤＣ＿ｈ’とが離れる。

暗電流による電荷が画素に蓄積されるとその電荷に起因する暗電流ショットノイズが発生し、その値は暗電流［ｅ⁻］の平方根になる。電荷蓄積時間が数秒と長く、撮像素子の温度が室温より１０℃以上高い時は、画素部で発生するランダムノイズにおいて暗電流ショットノイズ成分が支配的になる。このため、例えば通常画素の平均的な暗電流値がＮであった場合ランダムノイズは（Ｎ）＾０．５になり、複数の通常画素の信号の標準偏差を見るとその値は（Ｎ）＾０．５になる。以後、この値を暗電流値の標準偏差とよぶ。各補正対象画素の暗電流値の標準偏差は、各補正対象画素の暗電流値の平均値の平方根で与えられる。各通常画素の暗電流値の標準偏差は、各通常画素の暗電流値の平均値の平方根で与えられる。また、予備撮像の場合に補正対象画素及び通常画素からそれぞれ出力される画素信号は、それぞれ、補正対象画素の暗電流値ＤＣ＿ｈ’、通常画素の暗電流値ＤＣ’に応じた値となる。このため、次式（３）で表される条件を満たす場合に、補正対象画素と通常画素とを識別することが可能となる。
ＤＣ’＋ｂ×ｓｑｒｔ（ＤＣ’）＜ＤＣ＿ｈ’−ｂ×ｓｑｒｔ（ＤＣ＿ｈ’） …（３）
上述の式（３）において、ｂは標準偏差の倍率である。倍率ｂは、使用する撮像素子等によって適宜選択すればよいが、例えば倍率ｂ＝３．５とした式（３）を満たすように温度Ｔｅｍｐ＿ｄ及び電荷蓄積期間Ｔｉｍｅ＿ｄを決定し、決定した温度Ｔｅｍｐ＿ｄ及び電荷蓄積期間Ｔｉｍｅ＿ｄにて予備撮像を行うことによって、補正対象画素の画素信号と通常画素の画素信号とを十分に区別することが可能となる。このような温度及び電荷蓄積期間の条件は、特定の温度依存性をもつ暗電流に起因する白点が多く発生する条件となる。このような条件で予備撮像を行った場合の撮像素子３の各画素の暗電流の分布は、図３に示すようになる。

図３は、第１の実施の形態に係る撮像素子の各画素の暗電流のヒストグラムの一例を示す図である。図３において、横軸は暗電流の大きさを示し、縦軸は各暗電流値を示す画素の頻度（数）を示す。図３に示す例では、通常画素の暗電流値のピーク値ＤＣ’と補正対象画素の暗電流値のピーク値ＤＣ＿ｈ’との差が大きく、式（３）においてｂ＝３．５とした条件式、即ち、ＤＣ’＋３．５×ｓｑｒｔ（ＤＣ’）＜ＤＣ＿ｈ’−３．５×ｓｑｒｔ（ＤＣ＿ｈ’）を満たしている。このため、補正対象画素と通常画素とを識別することができる。

図４は、第１の実施の形態に係る撮像素子の各画素の画素信号のヒストグラムの一例を示す図であり、予備撮像を行って得られる暗時画像信号に含まれる各画素の画素信号のヒストグラムを示している。図４において、横軸は画素信号の信号レベルを示し、縦軸は各信号レベルに応じた画素信号の頻度を示す。図４（ａ）は、後述するクリップ処理前の各画素の画素信号のヒストグラムを示し、図４（ｂ）は、クリップ処理後の各画素の画素信号のヒストグラムを示している。

処理部４ｂは、図４（ａ）に示すように、補正対象画素を決定するための第１の閾値Ｔｈｒｅ＿ｄ１及び第２の閾値Ｔｈｒｅ＿ｄ２を設定する。第１の閾値Ｔｈｒｅ＿ｄ１及び第２の閾値Ｔｈｒｅ＿ｄ２は、暗時画像信号に含まれる各画素の画素信号の値の分布に基づいて決定される。本実施の形態では、処理部４ｂは、次式（４）、（５）を用いて、それぞれ第１の閾値Ｔｈｒｅ＿ｄ１、第２の閾値Ｔｈｒｅ＿ｄ２を算出する。
Ｔｈｒｅ＿ｄ１＝Ｔｈｒｅ＿ｓｔ１×Ｇ＿Ｔｅｍｐ１×（Ｔｉｍｅ＿ｄ／Ｔｉｍｅ＿ｓｔ）×（２^{（ＳＶ＿ｄ−ＳＶ＿ｓｔ）}） …（４）
Ｔｈｒｅ＿ｄ２＝Ｔｈｒｅ＿ｓｔ２×Ｇ＿Ｔｅｍｐ１×（Ｔｉｍｅ＿ｄ／Ｔｉｍｅ＿ｓｔ）×（２^{（ＳＶ＿ｄ−ＳＶ＿ｓｔ）}） …（５）
上述の式（４）、（５）において、閾値Ｔｈｒｅ＿ｓｔ１及び閾値Ｔｈｒｅ＿ｓｔ２は、それぞれ、補正対象画素の画素信号と通常画素の画素信号とが完全に分離される条件（温度Ｔｅｍｐ＿ｓｔ、ＩＳＯ感度ＳＶ＿ｓｔ、及び電荷蓄積期間Ｔｉｍｅ＿ｓｔ）の場合の第１の閾値、第２の閾値である。閾値Ｔｈｒｅ＿ｓｔ１及び閾値Ｔｈｒｅ＿ｓｔ２は、予備撮像の前に、予めシミュレーションや実験等により求められる。ＳＶ＿ｄは、予備撮像時のＩＳＯ感度である。また、Ｇ＿Ｔｅｍｐ１は、次式（６）で表されるパラメータである。
Ｇ＿Ｔｅｍｐ１＝ｅｘｐ［（ｑ／ｋ×Ｅａ＿ｄ）×（１／Ｔｅｍｐ＿ｓｔ−１／Ｔｅｍｐ＿ｄ）］ …（６）

処理部４ｂは、予備撮像を行って得られる各画素の画素信号と、第１の閾値Ｔｈｒｅ＿ｄ１及び第２の閾値Ｔｈｒｅ＿ｄ２とに基づき、各々の画素が補正対象画素であるか否かを判定する。処理部４ｂは、各画素の画素信号のうち、第１の閾値Ｔｈｒｅ＿ｄ１から第２の閾値Ｔｈｒｅ＿ｄ２までの間の信号レベルとなる画素信号を、補正対象画素の画素信号と決定する。処理部４ｂは、第１の閾値Ｔｈｒｅ＿ｄ１以下となる画素信号および第２の閾値Ｔｈｒｅ＿ｄ２以上となる画素信号を、通常画素の画素信号と決定する。

処理部４ｂは、通常画素の画素信号の値（信号レベル）を、所定の値（例えば０）に置き換える処理（クリップ処理）を行う。これにより、図４（ｂ）に示すように、信号レベルが第１の閾値Ｔｈｒｅ＿ｄ１以下、又は、第２の閾値Ｔｈｒｅ＿ｄ２以上である画素信号の頻度（数）は、０となる。また、処理部４ｂは、第１の閾値Ｔｈｒｅ＿ｄ１から第２の閾値Ｔｈｒｅ＿ｄ２までの範囲内の画素信号については、その画素信号の値を保持する。処理部４ｂは、クリップ処理後の各画素の画素信号を含む暗時画像信号を、記憶部４ａに記憶させる。また、処理部４ｂは、予備撮像時に温度検出部８から出力される温度情報を、予備撮像時の撮像素子３の温度Ｔｅｍｐ＿ｄに関する情報として取得する。処理部４ｂは、予備撮像時の温度情報、電荷蓄積期間Ｔｉｍｅ＿ｄに関する情報、及びＩＳＯ感度ＳＶ＿ｄに関する情報を、予備撮像時の条件情報として、記憶部４ａに記憶させる。

本撮像が行われると、処理部４ｂは、本撮像を行って得られる各画素の画素信号を含む画像信号を、メモリ５に記憶させる。また、処理部４ｂは、本撮像時に温度検出部８から出力される温度情報を、本撮像時の撮像素子３の温度Ｔｅｍｐ＿ｈに関する情報として取得する。処理部４ｂは、本撮像時の温度情報、電荷蓄積期間Ｔｉｍｅ＿ｈに関する情報、及びＩＳＯ感度ＳＶ＿ｈに関する情報を、本撮像時の条件情報として、メモリ５に記憶させる。

処理部４ｂは、予備撮像時および本撮像時の条件情報と次式（７）に基づいて、ゲインＧを算出する。
Ｇ＝Ｇ＿ａｄｊ×Ｇ＿Ｔｅｍｐ２×（Ｔｉｍｅ＿ｈ／Ｔｉｍｅ＿ｄ）×（２^{（ＳＶ＿ｈ−ＳＶ＿ｄ）}） …（７）
なお、式（７）において、Ｇ＿ａｄｊは、調整用ゲインであり、予め実験やシミュレーションにより求められる。Ｇ＿Ｔｅｍｐ２は、次式（８）で表されるパラメータである。
Ｇ＿Ｔｅｍｐ２＝ｅｘｐ［（ｑ／ｋ×Ｅａ＿ｈ）×（１／Ｔｅｍｐ＿ｓｔ−１／Ｔｅｍｐ＿ｈ）］ …（８）

処理部４ｂは、記憶部４ａに記憶されたクリップ処理後の暗時画像信号に、算出されたゲインＧを乗算することによって、本撮像時に生じる暗電流量に応じた画像信号を求める。処理部４ｂは、ゲインＧの乗算後の暗時画像信号を、メモリ５に記憶された本撮像時の画像信号から減算する。これにより、本撮像時の画像信号に含まれる暗電流によるノイズ成分を低減することができる。

本実施の形態では、本撮像前に取得された暗時画像信号に基づいて、本撮像により得られる画像信号にノイズ補正処理を行う。このため、本撮像後に撮像素子を遮光した状態で撮像を行って暗時画像信号を取得し、その暗時画像信号と本撮像時の画像信号との差分を求める場合と比較して、本撮像を行ってノイズ補正処理後の画像信号を得るまでの時間を短縮することができる。本実施の形態では、実際に撮影を行う場合の撮像動作は１回となり、また、撮影毎に暗時画像信号を取得する必要はないため、撮影に要する時間を短縮することができる。また、本実施の形態では、本撮像後に撮像素子３への光を遮光するための遮光要素（メカシャッターやレンズ内絞り切り機構等）をカメラ１に設ける必要がなく、カメラ１の大型化やコストの増加を防ぐことができる。

また、処理部４ｂは、予備撮像時および本撮像時の条件情報と、暗時画像信号とに基づき、本撮像時の暗電流量に応じた画像信号を算出する。このため、予備撮像時と本撮像時とで撮像条件（温度、露光時間（電荷蓄積期間）、ＩＳＯ感度）が異なる場合であっても、本撮像時の暗電流量に応じた画像信号を精度良く求めることができる。処理部４ｂは、電荷蓄積期間だけでなく、温度及びＩＳＯ感度を考慮して本撮像時に生じる暗電流量に応じた画像信号を推定し、本撮像時の画像信号に対して補正処理を行う。この結果、処理部４ｂは、ノイズ補正処理の精度を向上させることができる。画像に生じる白点を減少させて、画質を向上させることができる。

また、上述のように、クリップ処理後の暗時画像信号に含まれる画素信号のうち通常画素の画素信号の値は０であるため、ゲインＧの乗算後の暗時画像信号に含まれる通常画素の画素信号の値は０となる。処理部４ｂが上述の減算を行うことによって、本撮像時の画像信号のうち、補正対象画素の画素信号は補正されるが、通常画素の画素信号は補正されない。このように、処理部４ｂは、本撮像時の画像信号を部分的（局所的）に補正することができる。このため、通常画素の画素信号に含まれるノイズ成分が増加することや、色ずれが生じることを抑制することができる。また、暗時画像信号に含まれる通常画素の画素信号の値は０となるため、記憶部４ａ（又はメモリ５）に記憶されるデータ量を低減することができる。

図５は、第１の実施の形態に係るカメラ１の動作の一例を示したフローチャートである。図５に示す処理は、例えばユーザによりレリーズボタンが操作されて本撮像の指示が行われた場合に実行される。

ステップＳ１００において、制御部４は、被写体からの光が撮像素子３に入射する状態で、撮像素子３に被写体像を撮像させて、各画素の画素信号を出力させる。ステップＳ１１０において、制御部４は、撮像素子３から出力された各画素の画素信号を含む画像信号を、メモリ５に記憶させる。また、制御部４は、本撮像時の電荷蓄積期間Ｔｉｍｅ＿ｈに関する情報と、本撮像時の撮像素子３の温度Ｔｅｍｐ＿ｈに関する温度情報と、本撮像時のＩＳＯ感度ＳＶ＿ｈに関する情報とを含む条件情報を、メモリ５に記憶させる。

ステップＳ１２０では、制御部４は、本撮像時の電荷蓄積期間Ｔｉｍｅ＿ｈが所定時間以上であるか否かを判定する。また、制御部４は、本撮像時の撮像素子３の温度Ｔｅｍｐ＿ｈが所定温度以上であるか否かを判定する。制御部４は、電荷蓄積期間Ｔｉｍｅ＿ｈが所定時間以上であり、かつ温度Ｔｅｍｐ＿ｈが所定温度以上であると判定すると、ステップＳ１３０へ進む。なお、ステップＳ１２０で否定判定された場合には、本撮像時の画像信号に対してノイズ補正処理は行われない。

ステップＳ１３０において、制御部４は、予備撮像時および本撮像時の条件情報と、上述した式（７）とに基づき、ゲインＧを算出する。ステップＳ１４０において、制御部４は、記憶部４ａに記憶されたクリップ処理後の暗時画像信号に、算出したゲインＧを乗算する。ステップＳ１５０では、制御部４は、本撮像時の画像信号から、ゲインＧが乗算された暗時画像信号を減算する。これにより、本撮像時の画像信号から暗電流によるノイズ成分を取り除くことができる。制御部４は、減算後の本撮像時の画像信号をメモリ５に記憶させる。

上述のように、制御部４は、電荷蓄積期間が所定時間以上であり、かつ温度が所定温度以上である場合、即ち画像信号に含まれる暗電流成分が多いと想定される場合に、本撮像時の画像信号に対してノイズ補正処理を行う。このため、電荷蓄積期間が所定時間より短い、又は温度が所定温度よりも低い場合、即ち画像信号に含まれる暗電流成分が少ないと想定される場合にノイズ補正処理を行って、ノイズ成分が増加することや色ずれが生じることを防ぐことができる。

上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像装置（カメラ１）は、光電変換部１１で生成された電荷に基づく信号を出力する画素１０を有する撮像部（撮像素子３）と、撮像部への光を遮光した状態で第１の温度及び第１の期間において光電変換部１１で生成された電荷に基づく第１信号と、第１の温度と第１の期間とに基づいて、撮像部へ光が入射した状態で光電変換部１１で生成された電荷に基づく第２信号を補正する補正部（処理部４ｂ）と、を備える。本実施の形態では、処理部４ｂは、予備撮像により得られた暗時画像信号と予備撮像時の条件情報とに基づいて、本撮像時の画像信号を補正する。このため、本撮像時の画像信号に含まれる暗電流成分を低減することができ、画像の画質低下を抑制することができる。
（２）処理部４ｂは、予備撮像時の撮像素子３の温度及び電荷蓄積期間に基づいて、本撮像時に生じる暗電流量に応じた画像信号を算出して、本撮像時の画像信号に対するノイズ補正処理を行う。このため、ノイズ補正処理の精度を向上させることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
暗時画像信号に含まれるノイズ成分が大きく、本撮像時の画像信号に含まれるノイズ成分が小さい場合は、ノイズ補正処理の精度が低下する場合がある。そこで、本変形例では、制御部４は、予備撮像を複数回行って、複数の暗時画像信号を取得し、複数の暗時画像信号を加算平均する。制御部４は、加算平均された暗時画像信号に対してクリップ処理を行い、クリップ処理後の暗時画像信号を記憶部４ａ（又はメモリ５）に記憶する。このため、制御部４は、加算平均された暗時画像信号を用いて、本撮像時の画像信号のノイズ補正処理を行うことが可能となり、ノイズ補正処理の精度が低下することを抑制できる。なお、クリップ処理後の暗時画像信号は信号の値が０の画素信号を多く含むため、制御部４は、クリップ処理後の暗時画像信号に対してハフマン圧縮（ハフマン符号化）を行って、圧縮後の暗時画像信号を記憶部４ａに記憶させてもよい。

（変形例２）
本撮像時に撮像素子３の温度が変化した場合に、ゲインＧに誤差が生じる場合がある。そこで、本変形例では、制御部４は、本撮像時の電荷蓄積期間の間に繰り返し検出された複数の温度情報を、温度検出部８から取得する。制御部４は、上述した式（７）の代わりに、次式（９）を用いて、ゲインＧを算出する。
Ｇ＝Ｇ＿ａｄｊ×２^{（ＳＶ＿ｈ−ＳＶ＿ｄ）}）×１／Ｔｉｍｅ＿ｄ×Σ（Ｇ＿Ｔｅｍｐ’×Δｔ） …（９）
式（９）において、Δｔは温度検出部８が温度を検出する時間間隔であり、ΣΔｔ＝Ｔｉｍｅ＿ｈとなる。また、Ｇ＿Ｔｅｍｐ’は、次式（１０）で表されるパラメータである。
Ｇ＿Ｔｅｍｐ’＝ｅｘｐ［（ｑ／ｋ×Ｅａ＿ｈ）×（１／Ｔｅｍｐ＿ｄ−１／Ｔｅｍｐ＿ｈ’）］ …（１０）
式（１０）において、Ｔｅｍｐ＿ｈ’は、温度情報によって把握される各時刻における撮像素子３の温度である。
制御部４は、本撮像時の電荷蓄積期間における撮像素子３の温度を考慮してゲインＧを算出して、本撮像時の画像信号に対してノイズ補正処理を行う。このため、ノイズ補正処理を精度良く行うことができる。

（変形例３）
上述した実施の形態では、カメラ１の出荷前の工程において、暗時画像信号を取得する例について説明した。しかし、カメラ１の出荷後の工程において、暗時画像信号を取得可能としてもよい。暗時画像信号の更新を行い、最新の暗時画像信号を用いてノイズ補正処理を行うことにより、ノイズ補正処理の精度を向上させることができる。

また、撮像素子３では撮像素子３の製造後に欠陥画素が生じる場合があり、制御部４は、画素１０への光が遮光された状態で各画素から出力される画素信号に基づいて、欠陥画素の検出を行うようにしてもよい。制御部４は、この欠陥画素の検出を行う場合に、暗時画像信号の取得を行ってもよい。また、制御部４は、カメラ１の電池の残量に基づいて、暗時画像信号の取得を行うか否かを決定してもよい。制御部４は、カメラ１の電池の残量が少なくなったことを検出した場合は、暗時画像信号の取得を行わないようにしてもよい。

（変形例４）
画像信号に含まれる各画素の画素信号のうち、一部の画素信号のみについてノイズ補正処理を行うようにしてもよい。制御部４は、本撮像時の画像信号に含まれる画素信号のうち、画像を表示した場合にノイズが目立ちやすいところのみノイズ補正処理を行うようにしてもよい。

（変形例５）
上述した実施の形態では、補正対象画素の画素信号の減算処理を行う例について説明した。しかし、制御部４は、本撮像時の補正対象画素の画素信号を、その補正対象画素の周辺画素の画素信号を用いて補間する処理を行ってもよい。この場合、制御部４は、補正対象画素の画素信号を、その補正対象画素の周辺の複数（例えば８つ）の同色画素の画素信号の平均値に置き換えてもよい。また、制御部４は、補正対象画素の周辺の８つの同色画素の画素信号のうち、信号レベルが上位４番目の画素信号を用いて、その補正対象画素の画素信号を補間してもよい。

（変形例６）
制御部４は、暗時画像信号に含まれる補正対象画素の画素信号の平均値を算出し、算出した平均値を、本撮像時の画像信号に含まれる複数の補正対象画素の画素信号それぞれから減算するようにしてもよい。前述したように補正対象画素の画素信号には補正対象画素の平均的な暗電流［ｅ⁻］の平方根の暗電流ショットノイズによるランダムノイズ成分が含まれており、固定値で減算することにより、ランダム性質同士の減算によるランダムノイズの増加を防ぐことができる。

（変形例７）
制御部４は、クリップ処理前の暗時画像信号を用いて、ダークシェーディング補正を行うようにしてもよい。この場合、予備撮像が行われた後、制御部４は、クリップ処理前の暗時画像信号を記憶部４ａ（又はメモリ５）に記憶させる。制御部４は、本撮像時の画像信号から、クリップ処理前の暗時画像信号を減算する。
また、制御部４は、暗時画像信号に含まれる各画素の画素信号を、画像内の複数の領域毎に分割し、分割された各領域の画素信号の平均値または中央値を、記憶部４ａに記憶してもよい。記憶部４ａには、分割された各領域の画素信号の平均値または中央値からなる暗時画像信号が記憶されるため、記憶部４ａに記憶されるデータ量を低減することができる。制御部４は、分割された各領域の画素信号の平均値からなる暗時画像信号をもとの画像サイズに復元するためにガウシアンフィルタ等による平滑化処理を行った後、処理後の暗時画像信号を、本撮像時の画像信号から減算する。また、分割しない場合に対しても高周波成分を除去する目的で、ガウシアンフィルタ等による平滑化処理を行って減算してもよい。本変形例では、本撮像時の画像信号に対してダークシェーディング補正が行われて、画像信号のノイズ成分を低減することができる。

なお、制御部４は、分割された各領域の画素信号の平均値からなる暗時画像信号に、上述したような不純物混入に起因する比較的大きな暗電流量ではなく通常の暗電流量、例えば通常画素で生じる暗電流量に応じたゲインＧ’を乗算し、ゲインＧ’の乗算後の暗時画像信号を、本撮像時の画像信号から減算するようにしてもよい。これにより、本撮像時の画像信号に含まれる暗電流成分を低減することができる。なお、ゲインＧ’は、上述したゲインＧとは異なる値であり、予めシミュレーションや実験等により求められる。

（変形例８）
上述した実施の形態では、制御部４は、電荷蓄積期間が所定時間以上であり、かつ温度が所定温度以上である場合に、本撮像時の画像信号に対してノイズ補正処理を行う例について説明した。しかし、制御部４は、本撮像時の電荷蓄積期間が所定時間以上、及び温度が所定温度以上の少なくとも一方である場合に、本撮像時の画像信号に対してノイズ補正処理を行うようにしてもよい。

（変形例９）
上述した実施の形態および変形例では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜（有機光電膜）を用いるようにしてもよい。

（変形例１０）
上述の実施の形態及び変形例で説明した撮像素子及び撮像装置は、カメラ、スマートフォン、タブレット、ＰＣに内蔵のカメラ、車載カメラ、無人航空機（ドローン、ラジコン機等）に搭載されるカメラ等に適用されてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…撮像装置、３…撮像素子、４…制御部、４ａ…記憶部、４ｂ…処理部（補正部）、５…メモリ、１０…画素

Claims (12)

1. 光電変換部で生成された電荷に基づく信号を出力する画素を有する撮像部と、
   前記撮像部への光を遮光した状態で第１の温度及び第１の期間において前記光電変換部で生成された電荷に基づく第１信号と、前記第１の温度と前記第１の期間とに基づいて、前記撮像部へ光が入射した状態で前記光電変換部で生成された電荷に基づく第２信号を補正する補正部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部は、前記撮像部へ光が入射した状態で、第２の温度及び第２の期間において前記光電変換部で生成された電荷に基づく前記第２信号を出力し、
   前記補正部は、前記第１信号と前記第１及び第２の温度と前記第１及び第２の期間とに基づいて、前記第２信号を補正する撮像装置。
3. 請求項２に記載の撮像装置において、
   前記補正部は、前記第１及び第２の温度と前記第１及び第２の期間とに基づく値を乗じた前記第１信号を前記第２信号から減算する撮像装置。
4. 請求項２または請求項３に記載の撮像装置において、
   前記補正部は、前記第２の温度が所定温度以上、及び前記第２の期間が所定期間以上の少なくとも一方である場合、前記第２信号を補正する撮像装置。
5. 請求項２から請求項４までのいずれか一項に記載の撮像装置において、
   前記補正部は、前記撮像部への光を遮光した状態で第１の感度において前記光電変換部で生成された電荷に基づく前記第１信号と前記第１の温度と前記第１の期間と前記第１の感度とに基づいて、前記第２信号を補正する撮像装置。
6. 請求項５に記載の撮像装置において、
   前記撮像部は、前記撮像部へ光が入射した状態で、第２の感度において前記光電変換部で生成された電荷に基づく前記第２信号を出力し、
   前記補正部は、前記第１信号と前記第１及び第２の温度と前記第１及び第２の期間と前記第１及び第２の感度とに基づいて、前記第２信号を補正する撮像装置。
7. 請求項６に記載の撮像装置において、
   前記補正部は、前記第１及び第２の温度と第１及び第２の期間と前記第１及び第２の感度とに基づく値を乗じた前記第１信号を前記第２信号から減算する撮像装置。
8. 請求項７に記載の撮像装置において、
   前記補正部は、前記第１信号と前記第１の温度と前記第１及び第２の期間と前記第１及び第２の感度と前記第２の期間内の異なる時刻における温度とに基づいて、前記第２信号を補正する撮像装置。
9. 請求項１から請求項８までのいずれか一項に記載の撮像装置において、
   前記補正部は、複数の前記画素の各々の前記第１信号の平均値を前記第２信号から減算する撮像装置。
10. 請求項１から請求項９までのいずれか一項に記載の撮像装置において、
    前記補正部は、信号の値が所定範囲内となる前記第１信号に基づいて前記第２信号を補正する撮像装置。
11. 請求項１０に記載の撮像装置において、
    前記所定範囲は、前記撮像部への光を遮光した状態で前記撮像部から出力される前記第１信号の値の分布に基づいて決定される撮像装置。
12. 請求項１から請求項１１までのいずれか一項に記載の撮像装置において、
    前記第１の温度、前記第１の期間、及び前記第１信号を記憶する記憶部を備える撮像装置。

Images