JP2020010177A

JP2020010177A - 撮像装置およびその制御方法

Info

Publication number: JP2020010177A
Application number: JP2018129311A
Authority: JP
Inventors: 甲斐原　博志; Hiroshi Kaibara; 博志甲斐原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-07-06
Filing date: 2018-07-06
Publication date: 2020-01-16
Anticipated expiration: 2038-07-06
Also published as: JP7210172B2; US20200014860A1; US11089217B2

Abstract

【課題】撮像素子のノイズを抑制する信号処理においてサンプリング回数を制御して、消費電力を抑えつつ、より高速にノイズを抑制すること。【解決手段】撮像装置が備える撮像素子５０６は、光電変換部を含む単位画素が行列状に配置された構成の画素部を有する。撮像素子５０６の第１の制御では、画素部または列信号線で発生するノイズ信号が読み出され、第２の制御では各画素部から画素信号が読み出される。相関二重サンプリングの信号処理にて、第２の制御により取得される画素信号（ノイズ成分を含む）から、第１の制御により取得されるノイズ信号を減算する処理が行われる。全体制御演算部５０９は撮像素子５０６を制御し、第２の制御における信号のサンプリング回数を判断し（Ｓ８０３）、サンプリング回数を決定する（Ｓ８０４）。撮影モードや撮影条件等に応じてマルチサンプリング処理と非マルチサンプリング処理との切り替え処理が行われる。【選択図】図８

Description

本発明は、固体撮像素子のノイズを抑制する信号処理に関する。

デジタルカメラは、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等の固体撮像素子を備え、低ノイズの信号を取得するための信号処理を行う。画素部の出力信号に対して相関二重サンプリング（以下、ＣＤＳとも記す）処理を行うことで、ノイズを除去することが一般的に行われている。例えば、水平１行分の画素部の信号を読み出す場合を説明する。まず、水平１行分の画素部の増幅回路の入力をリセットし、その時の信号をノイズ信号として水平１行分蓄積して読み出す動作（以下、「Ｎ読み」という）が行われる。次に、水平１行分の画素部の信号を読み出し、その時の信号をノイズ信号とは別に水平１行分蓄積して読み出す動作（以下、「Ｓ読み」という）が行われる。そして、画素部ごとに、画素信号とノイズ信号とが組となって撮像素子から出力される。画素信号からノイズ信号を減算する処理、いわゆるＣＤＳ処理が行われることによって、ノイズが抑制された画像信号を取得可能である。特許文献１に開示の撮像装置は、信号のサンプリングが複数回行われることにより得られる複数のサンプリング値の変化量を抽出し、その変化量と所定の基準値とを比較して後段の処理部に出力する信号を切り替える。

一方で特許文献２に開示の撮像装置では、撮像素子の回路層内にフレームメモリやラインメモリを有しており、画素層内の画像データが一旦メモリに記憶される。メモリに記憶された画像データに対し、駆動モードに応じて最適な画像サイズに変換するリサイズ変換や部分切出し等が回路層で行われてデータが出力される。

特開２０１４−１７５６９２号公報特開２０１６−２２５９７０号公報

従来の技術では、ＣＤＳ処理で複数回のサンプリングを行う処理を多用した場合、画像信号の読み出しレートの低下等によって時間的な制約が発生し、消費電力が増加する可能性がある。
本発明の目的は、撮像素子のノイズを抑制する信号処理においてサンプリング回数を制御して、消費電力を抑えつつ、より高速にノイズを抑制することである。

本発明の実施形態の装置は、複数の画素部を有する撮像素子と、前記画素部からノイズ信号である第１の信号を取得する第１の制御と、前記画素部の光電変換部で生成された信号電荷に基づく第２の信号を取得する第２の制御を行う制御手段と、前記第２の信号から前記第１の信号を減算する信号処理手段と、を備え、前記制御手段は前記第２の信号のサンプリング回数を変更する制御を行う。

本発明によれば、撮像素子のノイズを抑制する信号処理においてサンプリング回数を制御して、消費電力を抑えつつ、より高速にノイズを抑制することができる。

本発明の実施形態における撮像素子の概略構造を示す図である。本発明の実施形態における画素部とカラムＡＤＣブロックの構成を示す図である。本発明の実施形態における撮像素子の外観構成を示す模式図である。本発明の実施形態における撮像素子の断面構造を示す模式図である。本発明の実施形態における撮像システムの概要を示すブロック図である。相関二重サンプリングの説明図である。マルチサンプリングの説明図である。本実施形態の処理を説明するフローチャートである。本実施形態におけるサンプリング回数の判断処理のフローチャートである。図９に続く処理を示すフローチャートである。

以下に、本発明の好ましい実施形態について、添付図面を参照して詳細に説明する。実施形態ではデジタルカメラへの適用例を説明するが、これに限定されない。本発明は、携帯電話端末や携帯型の画像表示装置、カメラを備えるテレビジョン装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー等、撮像機能を有する各種の装置に適用可能である。

図１は、本実施形態における撮像素子の概略的な構成を示すブロック図である。撮像素子５０６は、撮像部を構成する多数の画素部１０１を２次元アレイ状に配置した構成である。例えば、積層型構成の撮像素子５０６は、撮像部を構成する第１のチップ１０と、信号処理部を構成する第２のチップ１１を有する。撮像素子５０６は、撮像信号処理回路５０７と全体制御演算部５０９に接続されている。撮像信号処理回路５０７は撮像素子５０６の出力信号を処理する。全体制御演算部５０９は、撮像素子５０６および撮像装置内のその他の構成部を制御する中枢部である。本実施形態において、撮像信号処理回路５０７と全体制御演算部５０９とは別の構成であるがこれに限られるものではなく、ＣＰＵ（中央演算処理装置）を含む同じ回路上で構成してもよい。

第１のチップ１０において複数の画素部１０１はマトリクス状に配列されている。各画素部１０１は水平方向（行方向）において転送信号線１０３、リセット信号線１０４、および行選択信号線１０５にそれぞれ接続されている。各画素部１０１は垂直方向（列方向）において垂直出力線１０２に接続されている。なお、各列に複数存在する垂直出力線１０２の各々は読み出し行単位に応じて接続先が異なる。

第２のチップ１１は、カラムＡＤＣブロック１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４等の画素駆動回路を備える。また第２のチップ１１は、切り替え部１１６、フレームメモリ１１７、素子内演算部１１８、リサイズ変換部１１９、パラレル／シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）１２０を備える。カラムＡＤＣブロック１１１は、画素部１０１に接続された垂直出力線１０２から出力される信号に対し、Ａ（アナログ）／Ｄ（デジタル）変換を行った信号を出力する。行走査回路１１２は転送信号線１０３、リセット信号線１０４、行選択信号線１０５により画素部１０１に接続される。複数の列走査回路１１３は、水平信号線１１５−ａ，１１５−ｂにより、複数のカラムＡＤＣブロック１１１に接続される。タイミング制御回路１１４は、カラムＡＤＣブロック１１１、行走査回路１１２、列走査回路１１３にそれぞれタイミング制御信号を出力して制御を行う。

切り替え部１１６は、チャンネルごとの水平信号線１１５−ａと１１５−ｂからの各画像信号を切り替えて、順次に画像信号をフレームメモリ１１７へ出力する。フレームメモリ１１７は、切り替え部１１６から出力された画像信号を取得して、画像データを一時的に記憶する。素子内演算部１１８はフレームメモリ１１７から画像データを読み出し、駆動モードに応じてリサイズおよび圧縮用の演算を行う。

リサイズ変換部１１９は、素子内演算部１１８による算出結果を基づいて、フレームメモリ１１７に保存された画像データに対して必要な画角へのリサイズ処理を行う。リサイズ変換部１１９は、リサイズ処理した画像データをＰ／Ｓ変換部１２０に出力する。Ｐ／Ｓ変換部１２０はパラレル／シリアル変換を行い、変換後の信号を撮像素子５０６外部の撮像信号処理回路５０７へ送信する。なお、リサイズ処理や圧縮処理が不要な場合には、切り替え部１１６から直接にＰ／Ｓ変換部１２０への転送が行われる。

撮像素子５０６と撮像信号処理回路５０７は複数のレーン１２１，１２２で接続されている。本実施形態ではメインレーン１２１およびサブレーン１２２を示す。駆動モードに応じて、異なる画素の信号や同一の画素の信号がメインレーン１２１およびサブレーン１２２に振り分けて転送され、或いはメインレーンのみから転送される。

撮像素子５０６は第２のチップ１１上に第１のチップ１０が積層された構成である。第１のチップ１０はマトリクス状に配列された複数の画素部１０１を有する。第１のチップ１０は光入射側、つまり光学像の受光側に位置している。このように、第１のチップ１０に画素部１０１を形成し、第２のチップ１１に画素駆動回路やメモリ回路や演算回路等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。その結果、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。撮像素子５０６の具体的な構造については、図３を用いて後述する。

図２は、撮像素子５０６の画素部１０１およびカラムＡＤＣブロック１１１の構成を詳細に示す図である。先ず画素部１０１について説明すると、光電変換部を構成するフォトダイオード（以下、ＰＤと表記する）２０１は、受光した被写体からの光をその光量に応じた電荷量の電荷に光電変換する。ＰＤ２０１はアノードが接地され、そのカソードは転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。増幅トランジスタ２０４のゲートと電気的に繋がったノードは、フローティングディフュージョン部（以下、ＦＤ部という）２０６を構成する。図示のトランジスタ２０２〜２０５は、例えばＮチャネルのＭＯＳ（Metal Oxide Semiconductor）トランジスタである。

転送トランジスタ２０２は、ＰＤ２０１のカソードとＦＤ部２０６との間に接続されている。転送トランジスタ２０２は、そのゲートに転送信号線１０３（図１参照）を介して転送パルスφＴＲＳが与えられることによってオン状態となり、ＰＤ２０１で光電変換された電荷がＦＤ部２０６に転送される。

リセットトランジスタ２０３は、そのドレインが画素電源Ｖｄｄに接続され、そのソースがＦＤ部２０６に接続されている。リセットトランジスタ２０３は、そのゲートにリセット信号線１０４（図１参照）を介してリセットパルスφＲＳＴが与えられることによってオン状態となる。次にＰＤ２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに移送することによってＦＤ部２０６がリセットされる。

増幅トランジスタ２０４は、そのゲートがＦＤ部２０６に接続され、そのドレインが画素電源Ｖｄｄに接続されている。リセットトランジスタ２０３によるリセット後のＦＤ部２０６の電位はリセットレベルとして出力される（Ｐ相）。つまりＰ相の状態はＦＤ部２０６がリセットされた状態であり、画素部１０１または画素部同士を接続する列信号線で発生するノイズ信号を取得することができる。そして転送トランジスタ２０２によって信号を転送した後のＦＤ部２０６の電位が信号レベルとして出力される（Ｄ相）。つまりＤ相の状態は光電変換部で生成された信号電荷がＦＤ部２０６に転送されて蓄積された状態であり、信号電荷に基づく画素信号を取得することができる。Ｄ相での信号のサンプリングを複数回行うことによって、ノイズを抑制することはマルチサンプリングと呼ばれ、ランダムノイズの抑制に有効である。マルチサンプリング処理は全体制御演算部５０９が撮像素子５０６のタイミング制御回路１１４を制御して画素部１０１からの信号の読み出しを制御することで実行される。本実施形態ではマルチサンプリング処理において撮影モードや撮影条件等に応じて画素信号のサンプリング回数を変更する制御が行われる。

選択トランジスタ２０５は、例えば、そのドレインが増幅トランジスタ２０４のソースに接続され、そのソースが垂直出力線１０２に接続されている。選択トランジスタ２０５は、そのゲートに行選択信号線１０５（図１参照）を介して選択パルスφＳＥＬが与えられることによってオン状態となる。次に画素部１０１を選択状態として増幅トランジスタ２０４から出力される信号は、垂直出力線１０２に中継される。なお、選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。また、画素部１０１としては、図２に示す４つのトランジスタを用いた構成に限られる訳ではなく、増幅トランジスタ２０４と選択トランジスタ２０５を兼用した３つのトランジスタを用いた構成でもよい。

画素部１０１から垂直出力線１０２を介して出力される画像信号は、カラムＡＤＣブロック１１１に伝送される。カラムＡＤＣブロック１１１は比較器２１１、アップダウンカウンタ２１２、メモリ２１３、ＤＡコンバータ（以下、ＤＡＣと略記する）２１４を備える。

比較器２１１は一対の入力端子を有する。その一方である第１の入力端子は垂直出力線１０２に接続され、他方の第２の入力端子はＤＡＣ２１４が接続されている。ＤＡＣ２１４は、タイミング制御回路１１４から入力される基準信号に基づいてランプ信号を出力する。ランプ信号は時間経過につれて所定の傾きでレベルが変化する信号である。タイミング制御回路１１４は全体制御演算部５０９からの指令に基づいてＤＡＣ２１４へ基準信号を出力する。

比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、垂直出力線１０２から入力される画像信号のレベルとを比較し、比較結果を表す比較信号を出力する。例えば比較器２１１は、画像信号のレベルがランプ信号のレベルより低い場合、ハイ（Ｈ）レベルの比較信号を出力する。また比較器２１１は、画像信号のレベルがランプ信号のレベルより高い場合、ロー（Ｌ）レベルの比較信号を出力する。

アップダウンカウンタ２１２は比較器２１１の出力端子と接続され、比較信号が入力される。アップダウンカウンタ２１２は、例えば比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素部１０１の出力信号はデジタル値へ変換される。なお、比較器２１１とアップダウンカウンタ２１２との間にＡＮＤ（論理積）回路を設け、ＡＮＤ回路にパルス信号を入力して、パルス信号の個数をアップダウンカウンタ２１２によりカウントする構成でもよい。

メモリ２１３は、アップダウンカウンタ２１２の出力端子と接続されており、アップダウンカウンタ２１２によりカウントされた値（カウント値）を記憶する。なお、カラムＡＤＣブロック１１１は、画素部１０１のリセット時の画像信号に基づいてリセットレベルに対応した第１のカウント値を計数する。またカラムＡＤＣブロック１１１は、所定の撮像時間の経過後の画像信号に基づいて第２のカウント値を計数する。第１のカウント値と第２のカウント値との差分値をメモリ２１３に記憶させてもよい。その後、メモリ２１３に記憶された信号は、列走査回路１１３からの信号に同期して水平信号線１１５−ａおよび１１５−ｂへ伝送される。

図３は、本実施形態の撮像素子５０６の外観構成を模式的に示す図である。図３（Ａ）は撮像素子５０６を光の入射側の斜め上方から見た場合の斜視図である。図３（Ｂ）は撮像素子５０６の概略断面図である。第１のチップ１０は撮像層を形成し、第２のチップ１１は回路層を形成する。第１のチップ１０と第２のチップ１１はそれぞれ、複数のマイクロパッド３０２を有しており、複数のマイクロバンプ３０１を介して電気的に接続することで一体化される。

図４は撮像素子５０６の断面構造の詳細を示す図である。図４では、下側に第１のチップ１０を示し、上側に第２のチップ１１を示す。つまり、撮像部を構成する撮像層４０１が第１のチップ１０に該当し、回路層４０２が第２のチップ１１に該当する。

撮像層４０１は、Ｓｉ（シリコン）基板４０３に配線層４０４が形成された構成を有する。Ｓｉ基板４０３には、ＰＤ２０１としてのｎ拡散領域４０７が形成され、裏面照射型の構造をとっている。ＰＤ２０１の表面部、つまり配線層４０４との境界部にはｐ^＋拡散領域４０８が形成されている。Ｓｉ基板４０３の表面部には、ＦＤ部のｎ^＋拡散領域４０９と、スイッチ用トランジスタのｎ^＋拡散領域４１０とが複数形成されている。

配線層４０４には、ＳｉＯ_２（二酸化珪素）等の絶縁層内に、各トランジスタのゲート配線４１１と、信号伝搬用配線４１２が形成されている。配線層４０４の表面部には、Ｃｕ等により形成されるマイクロパッド４１３が形成されている。ｎ^＋拡散領域４０９、ｎ^＋拡散領域４１０とトランジスタのゲート配線４１１により、転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５が構成される。配線層４０４には、ｎ^＋拡散領域４１０をマイクロパッド４１３と接続するためのビア（ＶＩＡ）４１４が形成されている。

回路層４０２は、Ｓｉ基板４０５に配線層４０６が形成された構成を有する。Ｓｉ基板４０５には、その表面部にトランジスタの拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ_２等の絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が形成されている。配線層４０６の表面部にはＣｕ等により形成されるマイクロパッド４１９が形成されている。マイクロパッド４１９はマイクロバンプ４１５でマイクロパッド４１３と接続される。配線層４０６には、トランジスタの拡散領域４１６等をマイクロパッド４１９と接続するためのビア４２０が形成されている。トランジスタの拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８等から各種の回路が構成される。それらの詳細については本発明にかかわる本質的な事項ではないため、説明を省略する。

図４では、撮像層４０１と回路層４０２との接続を、積層接続端子としてのマイクロバンプ４１５を用いて行う構成例を示したが、マイクロバンプを用いることなく撮像層４０１と回路層４０２を直接に接続する実施形態も可能である。

次に図５を参照して、本実施形態の撮像システムを説明する。一例として動画像データおよび静止画像データを取得するデジタルカメラを示すが、これに限られるものではない。例えば監視カメラやスマートフォン等の携帯機器や車載カメラ等にも適用可能である。

図５は、撮像素子５０６を用いた撮像装置の概要を示すブロック図である。レンズ部５０１は、撮像光学系を構成する複数のレンズを備える。レンズ部５０１はカメラ本体部に装着可能な交換レンズ装置、またカメラ本体部に一体化されたレンズユニットである。レンズ駆動部５０２は、撮像光学系を構成する可動レンズを駆動する。可動レンズは変倍動作を行うズームレンズ、焦点調節動作を行うフォーカスレンズ、像ブレ補正用のシフトレンズ等である。メカニカルシャッタ（図にはメカシャッタと表記する）５０３は露光時間の制御に用いられ、絞り５０４は露光量の制御に用いられる。メカニカルシャッタ・絞り駆動部（図にはシャッタ・絞り駆動部と表記する）５０５は、メカニカルシャッタ５０３および絞り５０４を駆動する。なお、露光量を制御するための手段としてＮＤ（Neutral Density）フィルタ等の光学フィルタを設けてもよい。

撮像素子５０６は、撮像光学系を通して結像される被写体からの光を受光して光電変換を行い、電気信号を出力する。撮像信号処理回路５０７は撮像素子５０６の出力信号を処理し、処理後の画像信号を出力する。第１のメモリ部（図にはメモリ部Ｉと表記する）５０８は、撮像信号処理回路５０７が処理した画像信号等を記憶する。

全体制御演算部５０９は撮像システム全体の制御を司る中枢部であり、ＣＰＵ（中央演算処理装置）を備える。ＣＰＵは第２のメモリ部（図にはメモリ部ＩＩと表記する）５１４から読み出したプログラムを実行することにより、各部の動作を制御する。第２のメモリ部５１４はプログラム以外に、ＣＰＵの演算結果やユーザ操作によって撮像装置に設定されたカメラ情報等を記憶する。記録媒体制御インターフェース（Ｉ／Ｆ）部５１０は、全体制御演算部５０９の制御指令にしたがって、画像信号等を記録媒体５１２に記録し、また記録媒体５１２から情報を読み出す処理を行う。記録媒体５１２は撮像装置の本体部に着脱可能である。表示部５１１は液晶表示パネル等の表示デバイスを備え、全体制御演算部５０９の制御指令にしたがって画像データ等を画面に表示する。外部インターフェース（Ｉ／Ｆ）部５１３は、コンピュータ等の外部装置との間で情報を送受し合う通信処理部である。操作部５１５はスイッチやタッチパネル等の入力デバイスを備え、ユーザの操作指示を受け付けて操作指示信号を全体制御演算部５０９に出力する。操作部５１５を用いてユーザが設定した撮像装置の駆動条件等に関する情報は全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。全体制御演算部５０９は撮像素子５０６内の素子内演算部１１８に対して、撮像素子５０６の各構成要素を制御するための制御信号を出力して制御を行う。制御信号には、撮像同期信号、駆動モード設定、露出設定情報等が含まれる。

レンズ部５０１を通った被写体からの光は絞り５０４によって適切な光量に調整され、撮像素子５０６の撮像面上に結像される。撮像素子５０６の画素部１０１を構成する光電変換部は被写体の光学像に対して光電変換を行い、電気信号を出力する。電気信号はさらにゲイン制御が行われ、Ａ／Ｄ変換によってアナログ信号からデジタル信号へ変換された上でＲ，Ｇｒ，Ｇｂ，Ｂの信号として取り込まれ、撮像信号処理回路５０７に送られる。撮像信号処理回路５０７は、ノイズを低減するローパスフィルタ処理やシェーディング補正処理、ホワイトバランス処理等の各種の信号処理を行い、さらに各種の補正および画像信号の圧縮等を行う。

撮影中のレンズ部５０１は、レンズ駆動部５０２によってズーム駆動およびフォーカス駆動等の制御が行われる。メカニカルシャッタ５０３と絞り５０４はそれぞれ、全体制御演算部５０９の制御指令にしたがってメカニカルシャッタ・絞り駆動部５０５により駆動される。全体制御演算部５０９は撮像装置全体の制御と各種演算を行う。第１のメモリ部５０８は撮像後の画像信号を一時的に記憶する。記録媒体制御Ｉ／Ｆ部５１０は、記録媒体５１２に画像信号を記録する処理を行う。表示部５１１は撮像された画像を画面に表示する。

図６および図７を参照して、ＣＤＳ処理について説明する。図６はＣＤＳ処理の例を説明するタイミングチャート図である。撮像素子５０６のリセット信号および転送信号、出力データを例示する。ＣＤＳ処理では、Ｎ読みとＳ読みの動作を行うことでサンプリングが実施される。画素部ごとにＮ読みによる基準信号（ノイズ信号）とＳ読みによる画素信号とが組になって、撮像素子５０６から出力される。撮像信号処理回路５０７は、撮像素子５０６から取得した画素信号からノイズ信号を減算する処理を行う。

図７は、サンプリング期間において複数回のＳ読みが行われる場合を説明するタイミングチャート図である。撮像素子５０６に係るリセット信号および転送信号、出力データを例示する。サンプリング期間中、１回のＮ読みに続いて複数回のＳ読みが行われ、ノイズ信号と画素信号が撮像素子５０６からそれぞれ出力される。マルチサンプリングでは撮像素子５０６内のフレームメモリ１１７に記憶されている信号の加算平均処理が画素部ごとに行われ、Ｓ読みで取得された複数の信号の平均値からＮ読みで取得されたノイズ信号値を減算してノイズ抑制処理が行われる。この場合、画像信号の読み出しレート（フレームレート）が低下して信号の読み出しにかかる時間が長くなることや、消費電力の増加が課題となっている。本実施形態ではマルチサンプリング処理と非マルチサンプリング処理とを、撮影条件や撮像装置のモード設定等によって使い分ける。

図８は本実施形態の処理を説明するフローチャートである。以下の各ステップに示す処理は全体制御演算部５０９のＣＰＵが所定の制御プログラムを実行することにより実現される。Ｓ８０１にて撮像装置は静止画撮影モードの処理を開始する。Ｓ８０２で全体制御演算部５０９は、ユーザ操作による静止画像の撮影指示があったかどうかを判定する。ユーザは操作部５１５に含まれる操作部材を使用して、静止画像の撮影指示を行うことができる。静止画像の撮影指示があったと判断された場合、Ｓ８０３の処理に進み、静止画像の撮影指示がないと判断された場合にはＳ８０２の判定処理が繰り返し実行される。

Ｓ８０３では撮像素子５０６のサンプリング回数の判断処理が実行される。判断処理については、図９および図１０を用いて後述する。次のＳ８０４で全体制御演算部５０９は静止画撮影時のサンプリング回数を決定する。素子内演算部１１８はマルチサンプリング処理において、決定されたサンプリング回数で取得される信号の加算平均処理を画素部ごとに行う。Ｓ８０５において静止画の撮影動作が行われる。つまりＳ８０４で決定されたサンプリング回数で取得される画素信号と、Ｎ読みによるノイズ信号に基づいて撮像素子５０６から画像信号が出力され、画像の現像処理や表示処理、記録処理が実行される。その後、撮影終了となる（Ｓ８０６）。

次に図９および図１０を参照して、図８のＳ８０３に示すサンプリング回数の判断処理について詳細に説明する。図９および図１０は、撮影モード、シャッタの駆動形態、撮影感度、撮像素子の温度に応じたサンプリング回数の判断処理例を示すフローチャートである。本実施形態では、撮影感度（ＩＳＯ感度）に対する第１の閾値をＩｓｈ１と表記し、第２の閾値をＩｓｈ２と表記する。「Ｉｓｈ１＜Ｉｓｈ２」とする。また撮像素子５０６の検出温度に対する温度閾値をＴｓｈと表記する。

Ｓ９０１でサンプリング回数の判断処理が開始され、Ｓ９０２にて全体制御演算部５０９は、撮像装置の撮影モードが高速連写モードであるかどうかを判定する。撮影モードが高速連写モードである場合、図１０のＳ９１７の処理に進み、撮影モードが高速連写モードでない場合、Ｓ９０３の処理に進む。Ｓ９０３で全体制御演算部５０９はシャッタ形態の判定処理を行う。メカシャッタ撮影と判定された場合、図１０のＳ９０５の処理に進み、電子シャッタ撮影と判定された場合、Ｓ９０４の処理に進む。メカシャッタ撮影は、メカニカルシャッタ５０３を使って遮光を行う撮影である。また電子シャッタ撮影は、撮像素子５０６の電子シャッタ機能を使って電子的に露光タイミングを制御することで行われる撮影である。

Ｓ９０４では電子シャッタ撮影の設定が行われ、次のＳ９０６において撮像素子５０６の温度判定処理が行われる。温度判定処理は、温度検出素子による撮像素子５０６の温度検出信号を全体制御演算部５０９が取得して行う。温度検出信号の示す検出温度が閾値以上であるか否かが判定される。検出温度が閾値Ｔｓｈ以上であると判定された場合、Ｓ９０７の処理に進み、検出温度が閾値Ｔｓｈ未満であると判定された場合、Ｓ９１５の処理に進む。

Ｓ９０７で全体制御演算部５０９はサンプリング回数を所定の回数（Ｓ４と記す）に設定した後、Ｓ９１８にてサンプリング回数の判断処理を終了する。また、Ｓ９１５で全体制御演算部５０９はサンプリング回数を所定の回数（Ｓ３と記す）に決定する。「Ｓ３＜Ｓ４」の関係を満たすものとする。Ｓ９１５の処理後、Ｓ９１８にてサンプリング回数の判断処理を終了する。

図１０のＳ９０５で全体制御演算部５０９はメカシャッタ撮影に設定し、次のＳ９０８では撮影感度が第１の閾値Ｉｓｈ１より低感度であるかどうかを判定する。撮影感度が閾値Ｉｓｈ１より低いと判定された場合、Ｓ９１２の処理に進み、撮影感度が閾値Ｉｓｈ１以上であると判定された場合、Ｓ９０９の処理に進む。Ｓ９０９で全体制御演算部５０９は、撮影感度が第２の閾値Ｉｓｈ２以上であるかどうかを判定する。撮影感度が閾値Ｉｓｈ２以上であると判定された場合、Ｓ９１０の処理に進み、撮影感度が閾値Ｉｓｈ２未満であると判定された場合、Ｓ９１１の処理に進む。

Ｓ９１０において、閾値Ｉｓｈ２以上である撮影感度が設定された後、図９のＳ９０６に処理を進める。またＳ９１１において、第１の閾値Ｉｓｈ１以上であって、かつ第２の閾値Ｉｓｈ２未満である撮影感度が設定され、Ｓ９１３の処理に進む。Ｓ９１３で全体制御演算部５０９は、撮像素子５０６の検出温度が閾値Ｔｓｈ以上であるかどうかを判定する。検出温度が閾値以上であると判定された場合、図９のＳ９０７の処理に進み、検出温度が閾値未満であると判定された場合、Ｓ９１６の処理に進む。Ｓ９１６で全体制御演算部５０９は、サンプリング回数を所定の回数（Ｓ２と記す）に決定する。「Ｓ２＜Ｓ３」の関係を満たすものとする。Ｓ９１６の処理後、サンプリング回数の判断処理を終了する。

一方、Ｓ９１２では第１の閾値Ｉｓｈ１未満である撮影感度が設定された後、Ｓ９１４の処理に進む。Ｓ９１４で全体制御演算部５０９は、撮像素子５０６の検出温度が閾値Ｔｓｈ以上であるかどうかを判定する。検出温度が閾値以上であると判定された場合、図９のＳ９０７の処理に進む。また、検出温度が閾値未満であると判定された場合には、Ｓ９１７に進み、全体制御演算部５０９はサンプリング回数を所定の回数（Ｓ１と記す）に決定する。「Ｓ１＜Ｓ２」の関係を満たすものとする。本実施形態ではＳ１＝１である。Ｓ９１７の処理後、サンプリング回数の判断処理を終了する。

図９および図１０に示す例では、サンプリング回数を決定する要因として、高速連写モードであるかどうか、すなわち撮像素子の高速性を必要とするか否かが判定される。高速連写モードではサンプリング回数が最小回数（本実施形態では１回）に設定されて撮像動作が行われる。また、シャッタの駆動形態が判定され、メカシャッタ駆動か電子シャッタ駆動かに応じてサンプリング回数の設定値が異なる。電子シャッタ撮影時には、被写体が動いた場合や、撮像装置の揺れ等によって発生するローリング歪が原理的に発生し得るので、撮像素子の高速な信号読み出しが必要かどうかについて判断が行われる。撮影感度および撮像素子の検出温度については、高感度であるほど、また検出温度が高いほど、撮像素子のノイズが発生しやすくなる。そのため、ノイズ抑制が必要かどうかについて判断が行われる。以上の要因を勘案して、Ｓ９０７、Ｓ９１５、Ｓ９１６、Ｓ９１７に例示するように、「Ｓ４＞Ｓ３＞Ｓ２＞Ｓ１」の関係を満たすサンプリング回数が決定される。つまり、Ｓ９０７、Ｓ９１５、Ｓ９１６の場合、画素信号の複数回のサンプリングを行うマルチサンプリング処理が実行され、Ｓ９１７の場合には画素信号の１回のサンプリングを行う非マルチサンプリング処理が実行される。

本実施形態はあくまで一例を示すものであって、上記以外にサンプリング回数を決定する要因として、撮像素子の露光時間がある。つまり長時間露光であるほどノイズが発生しすくなることから、撮影時の露光時間が長いほど多くのサンプリング回数が決定される。また、レンズ部５０１の位置から決定される撮像光学系の焦点距離が長いほどローリング歪が目立ちやすくなることから、撮影時の焦点距離が短いほど多くのサンプリング回数が決定される。撮像装置の撮影時における様々なパラメータに応じて画素信号のサンプリング回数を変更する制御、または非マルチサンプリング処理とマルチサンプリング処理とを切り替える制御が行われる。

本実施形態では、静止画撮影モード（いわゆる単写モード）に限定した例を説明した。動画撮影モードまたは静止画像の連続撮影モード（いわゆる連写モード）では、マルチサンプリング処理は実行されず、非マルチサンプリング処理が実行される。また、ダイナミックレンジ拡大等の目的で複数回の露光に基づく画像データの合成処理を前提とする撮影が可能な実施形態では、複数のモードを使い分ける処理が行われる。複数のモードは、非マルチサンプリング処理を実施する第１のモード（Ｎ読みとＳ読みをそれぞれ１回行うモード）と、マルチサンプリング処理を実施する第２のモードである。なお、Ｎ読みに関して、処理の高速化のために１回のサンプリングでノイズ信号が取得される例を説明したが、必要に応じて複数回のサンプリングを行ってもよい。高速性または低電力化を必要とする場合に第１のモードが選択される。

また、サンプリング回数を決定する要因として、上記以外に画面内での移動体の有無、被写体として人物（顔）の有無、夜景や逆光などのシーン判別結果、出力する画像信号の数（画素数）、フレームレート、Ａ／Ｄ変換精度等がある。これらのいずれかまたは複数の組み合わせを含めてサンプリング回数を決定してもよい。

本実施形態においては、垂直出力線１０２に各画素部１０１から出力される同一の信号に対して複数のＡ／Ｄ変換を行う動作によってマルチサンプリングを実現したが、これ以外の方法を用いてもよい。例えば、垂直出力線１０２からカラムＡＤＣブロック１１１へ入力されるアナログ信号をクランプする容量を設け、当該容量に複数回アナログ信号をクランプすることによってマルチサンプリングを行う構成としてもよい。また、同一のアナログ信号を複数のカラムＡＤＣブロック１１１に入力可能とし、Ａ／Ｄ変換結果であるデジタル信号を平均化する構成としてもよい。

本実施形態によれば、マルチサンプリング処理が可能な撮像素子を備える撮像装置において、サンプリング回数を変更する制御により、消費電力を抑えつつ、より高速にノイズを抑制することができる。

４０１撮像層
４０２回路層
５０６撮像素子
５０７撮像信号処理回路
５０９全体制御演算部

Claims

複数の画素部を有する撮像素子と、
前記画素部からノイズ信号である第１の信号を取得する第１の制御と、前記画素部の光電変換部で生成された信号電荷に基づく第２の信号を取得する第２の制御を行う制御手段と、
前記第２の信号から前記第１の信号を減算する信号処理手段と、を備え、
前記制御手段は前記第２の信号のサンプリング回数を変更する制御を行う
ことを特徴とする撮像装置。
前記制御手段は、撮影モード、シャッタの駆動形態、前記撮像素子の温度、感度、露光時間、撮影時の撮像光学系の焦点距離のうちの１つ以上に基づく前記サンプリング回数を決定する
ことを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記撮影モードが第１のモードである場合、前記第２の制御にて前記サンプリング回数を１回に決定し、前記撮影モードが第２のモードである場合、前記第２の制御にて前記サンプリング回数を複数回に決定する
ことを特徴とする請求項２に記載の撮像装置。
前記制御手段は、前記撮像素子の電子シャッタ機能を用いる撮影が行われる場合、前記第２の制御における前記サンプリング回数を、メカニカルシャッタを用いる撮影が行われる場合の前記第２の制御における前記サンプリング回数よりも多く設定する
ことを特徴とする請求項２に記載の撮像装置。
前記制御手段は、前記撮像素子の温度が閾値以上である場合の前記サンプリング回数を、前記撮像素子の温度が閾値未満である場合の前記サンプリング回数よりも多く設定する
ことを特徴とする請求項２に記載の撮像装置。
前記制御手段は前記第２の制御において、前記撮像素子の感度が第１の閾値以上であって、かつ前記撮像素子の温度が第２の閾値以上である場合に第１のサンプリング回数に決定し、前記撮像素子の感度が前記第１の閾値未満であって、かつ前記撮像素子の温度が前記第２の閾値未満である場合に前記第１のサンプリング回数よりも少ない第２のサンプリング回数に決定する
ことを特徴とする請求項２に記載の撮像装置。
前記制御手段は前記第２の制御において、前記撮像素子の感度が第１の閾値以上であって、かつ前記撮像素子の温度が第２の閾値未満である場合に第１のサンプリング回数に決定し、前記撮像素子の感度が前記第１の閾値未満であって、かつ前記撮像素子の温度が前記第２の閾値未満である場合に前記第１のサンプリング回数よりも少ない第２のサンプリング回数に決定する
ことを特徴とする請求項２に記載の撮像装置。
前記制御手段は、静止画撮影を行う場合の前記第２の制御において複数回のサンプリングを行う制御と１回のサンプリングを行う制御とを切り替える
ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
前記制御手段は、静止画像の連続撮影または動画撮影を行う場合の前記第２の制御において１回のサンプリングを行う制御に切り替える
ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
前記撮像素子は、
前記複数の画素部を有する撮像層と、
前記画素部からの前記第１および第２の信号を記憶する記憶手段、および前記記憶手段から取得した複数回のサンプリングによる前記第２の信号の加算平均処理を画素部ごとに行う演算手段を有する回路層と、を備える
ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
複数の画素部を有する撮像素子を備える撮像装置にて実行される制御方法であって、
前記画素部からノイズ信号である第１の信号を取得する第１の制御を行う工程と、
前記画素部の光電変換部で生成された信号電荷に基づく第２の信号を取得する第２の制御を行う工程と、
前記第２の信号から前記第１の信号を減算する工程と、を有し、
前記第２の制御を行う工程では前記第２の信号のサンプリング回数を変更する制御が行われる
ことを特徴とする制御方法。