JP2018019227A - 撮像センサおよび暗電流ノイズ除去方法 - Google Patents

Abstract

【課題】温度バラつきをもつＬＳＩが撮像センサの直下に積層された積層型撮像センサにおいて、撮像センサから得られる撮像信号に対して暗電流ノイズを除去できる技術を提供する。【解決手段】本発明の一実施形態に係る積層型撮像センサ２００は、撮像信号を取得する撮像手段２０２と、撮像手段に積層されており、撮像信号を画像処理する画像処理手段２０１と、温度毎の暗電流ノイズの補正値を保持する補正値保持手段３０５と、画像処理手段の回路動作状態から温度分布情報を算出する温度分布情報算出手段３０３と、温度毎の暗電流ノイズの補正値および温度分布情報に基づいて撮像信号の画素位置毎の補正値を取得し、取得された画素位置毎の補正値を用いて撮像信号から暗電流ノイズを除去する暗電流ノイズ除去手段３０９と、を備える。【選択図】図３

Description

本発明は撮像センサに関し、特に撮像センサの直下に積層されたＬＳＩ等の画像処理手段を備える積層型撮像センサにおいて画像処理手段の温度バラつきによって変化する暗電流ノイズを除去する技術に関する。

近年、シリコン実装技術の向上により撮像センサとＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ−ｃｉｒｃｕｉｔ）を積層した積層型撮像センサが開発され、既にこのセンサを搭載したデジタルカメラ等の製品が市場に出ている。撮像センサとＬＳＩの積層にはＴＳＶ（Ｔｈｒｏｕｇｈ Ｓｉｌｉｃｏｎ Ｖｉａ）などのシリコン実装技術が使われているため、積層型撮像センサを用いることによってより多くの撮像データを高速に撮像センサからＬＳＩに送る事が可能である。また、ＬＳＩにおける回路実装技術が向上し、回路実装が高集積化していることに伴って、ＬＳＩに搭載される回路は高機能化している。これにより、撮像センサに積層されるＬＳＩには、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）のように単純な信号処理だけでなく、高度な画像処理や外部通信用モジュールを組み込む事が可能となっている。ＬＳＩに様々なモジュールを集積させる構成においては、ＬＳＩ上のモジュールの領域毎に様々な温度バラつきが発生し得る。

ところで、一般的なデジタルカメラでは撮像センサとして、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）が使用されている。これらの撮像センサがもつ撮像素子には、温度によってノイズ量が変化する暗電流ノイズの問題がある。この暗電流ノイズを除去するために、例えば撮像センサを遮光した状態で撮像することでダーク画像を取得し、このダーク画像を補正値として暗電流ノイズの除去を行うダーク補正に関する様々な技術が公開されている。

例えば、特許文献１では、撮像センサにおいて有効画素領域の周辺に遮光された画素領域であるＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）領域を設け、ＯＢ領域から得られるダーク画像データを用いる技術が公開されている。特許文献１に記載の技術は、ＯＢ領域から得られたダーク画像から暗電流ノイズ量を求め、有効画素領域の画素位置によって線形的に補正値を計算し、有効画素領域の暗電流ノイズを除去している。

特開２００９−３３３２１号公報

特許文献１に記載の技術は、有効画素領域の周辺に設けられたＯＢ領域から得られたデータを用いて、有効画素領域内の画素位置によって線形的に暗電流ノイズ量を求めているため、撮像センサ外周の熱源に対しては有効である。しかしながら、有効画素領域直下に温度バラつきを持つ熱源では温度変化が画素位置によって線形的にならないため、特許文献１に記載の技術は積層型撮像センサにおける暗電流ノイズを適切に除去することができない。

本発明は、上記の課題を解決するものであり、温度バラつきをもつＬＳＩが撮像センサの直下に積層された積層型撮像センサにおいて、撮像センサから得られる撮像信号に対して暗電流ノイズを除去できる技術を提供する。

本発明の第１の態様は、撮像センサであって、撮像信号を取得する撮像手段と、前記撮像手段に積層されており、前記撮像信号を画像処理する画像処理手段と、温度毎の暗電流ノイズの補正値を保持する補正値保持手段と、前記画像処理手段の回路動作状態から温度分布情報を算出する温度分布情報算出手段と、前記温度毎の暗電流ノイズの補正値および前記温度分布情報に基づいて前記撮像信号の画素位置毎の補正値を取得し、取得された前記画素位置毎の補正値を用いて前記撮像信号から暗電流ノイズを除去する暗電流ノイズ除去手段と、を備えることを特徴とする。

本発明の第２の態様は、暗電流ノイズ除去方法であって、撮像信号を取得する撮像手段と、前記撮像手段に積層されており、前記撮像信号を画像処理する画像処理手段とを備える撮像センサにおいて、温度毎の暗電流ノイズの補正値を取得することと、前記画像処理手段の回路動作状態から温度分布情報を算出することと、前記温度毎の暗電流ノイズの補正値および前記温度分布情報に基づいて前記撮像信号の画素位置毎の補正値を取得することと、取得された前記画素位置毎の補正値を用いて前記撮像信号から暗電流ノイズを除去することと、を備えることを特徴とする。

本発明によれば、積層型撮像センサにおいて、撮像手段としての撮像センサに積層された画像処理手段としてのＬＳＩの回路動作状態から算出された温度分布を用いて画素位置毎に補正値を変えることができるため、撮像センサの直下で温度バラつきが発生する構成であっても暗電流ノイズの除去が可能である。

ＬＳＩの温度分布を示す概念図である。 第１の実施形態に係る積層型撮像センサの斜視図および上面図である。 第１の実施形態に係る積層型撮像センサのブロック図である。 第１の実施形態に係る画像処理用ＬＳＩの上面図である。 第１の実施形態に係るダーク補正処理のフローチャートを示す図である。 第１の実施形態に係る画像処理用ＬＳＩにおける領域単位の温度分布を示す模式図である。 第１の実施形態に係るダーク補正値の模式図である。 第２の実施形態に係るダーク補正処理のフローチャートを示す図である。 第３の実施形態に係る積層型撮像センサの斜視図および上面図である。

以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、本発明の実施手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されてよい。また、各実施の形態を組み合わせる事も可能である。

（第１の実施形態）
第１の実施形態は、積層型撮像センサにおいて、ＬＳＩの動作状態から温度分布情報を求め、撮像センサからの撮像信号について、撮像素子の画素位置毎に補正値を変えながら暗電流ノイズを除去する技術を提供する。図１は、異なる動作状態における例示的なＬＳＩ内の温度分布を示す概念図である。図１はＬＳＩの上面図であり、温度が高いほど黒に近く、温度が低いほど白に近くなるように着色されている。図１は、２つの異なる動作状態における同一のＬＳＩを示している。図１のＬＳＩにおいて、内部の境界線は、レイアウト時にブロック状に区切った論理回路群（以下、レイアウトブロックと呼ぶ）やハードマクロＩＰ（Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ）コア（以下、ＩＰと呼ぶ）単位で区切られた物理的な領域を示す。例えば、図１の左側のＬＳＩでは右上の領域が高温であり、図１の右側のＬＳＩでは左上の領域が高温である。図１のように、ＬＳＩの高集積化、高機能化により、ＬＳＩの動作状態によって様々な温度バラつきが発生する。本実施形態では、このような温度バラつきをもつＬＳＩが撮像センサの直下に積層された構成であっても、高精度に暗電流ノイズを除去することができる。

図２（ａ）は、本実施形態に係る積層型撮像センサ２００の斜視図である。図２（ｂ）は、本実施形態に係る積層型撮像センサ２００の上面図である。積層型撮像センサ２００は、撮像手段としての撮像部２０２と、撮像部２０２に積層された画像処理手段としての画像処理用ＬＳＩ２０１とを備える。撮像部２０２および画像処理用ＬＳＩ２０１は、ＴＳＶ等の任意の接続手段によって電気的に接続され、互いに電気信号を授受可能に構成されている。図２（ａ）、２（ｂ）に示した例示的な積層型撮像センサ２００では、双方の区別をつきやすくするため撮像部２０２と画像処理用ＬＳＩ２０１との大きさが異なっているが、同じ大きさであってもよい。

撮像部２０２は、ＣＭＯＳやＣＣＤなどの撮像素子を持つ撮像センサを備える。撮像部２０２は、不図示のレンズや鏡筒といった光学系によって、被写体を撮像センサに結像させ、ＲＧＢで構成されたベイヤ情報である撮像データとして撮像信号を取得する。撮像部２０２は、取得した撮像データを画像処理用ＬＳＩ２０１に出力する。画像処理用ＬＳＩ２０１は、撮像部２０２から受け取った撮像データに対して、後述する様々な画像処理を行う。本実施形態では撮像部２０２からの撮像信号をデジタル信号である撮像データに変換して後述の暗電流ノイズ除去の処理を行うが、撮像部２０２からの撮像信号をアナログ信号のまま処理してもよい。

図２（ｂ）は、視認性のために撮像部２０２を透過させた状態で積層型撮像センサ２００を上から見た図を示している。図２（ｂ）に示したように、画像処理用ＬＳＩ２０１は、レイアウトブロックやＩＰ単位で回路実装時に区切られた複数の物理的な領域２０３を備える。なお、図２（ｂ）においては領域２０３同士が接する部分に境界線が示されているが、実際に視認可能な境界線が存在する必要はない。

図３は、本実施形態に係る積層型撮像センサ２００のブロック図である。積層型撮像センサ２００は、上述の撮像部２０２および画像処理用ＬＳＩ２０１に加え、画像処理用ＬＳＩ２０１がデータを保持するためのメモリ部３０５を備える。メモリ部３０５は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリや、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリで構成される。メモリ部３０５は図２には示されていないが、撮像部２０２や画像処理用ＬＳＩ２０１と一緒に積層する形で設けられてよく、あるいは画像処理用ＬＳＩ２０１内部に設けられてもよい。

次に、画像処理用ＬＳＩ２０１について説明する。画像処理用ＬＳＩ２０１は、内部に実装された各モジュールを制御する制御部３００（制御手段）を備える。制御部３００は、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１、回路動作取得部３０２（回路動作取得手段）、および温度分布情報算出部３０３（温度分布情報算出手段）を有する。

回路動作取得部３０２は、ＣＰＵ３０１による制御に従って、画像処理用ＬＳＩ２０１の各モジュールを構成する回路の動作状態（回路動作状態ともいう）の情報を取得する。回路動作状態は、例えばＣＰＵ３０１が制御したレジスタ設定情報、各モジュールへのクロックのオン／オフ制御、および動作クロック周波数の設定を含む。回路動作状態の情報は、ここに示した情報に限られず、取得時点における画像処理用ＬＳＩ２０１の各モジュールを構成する回路の動作状態を表す任意の情報を含んでよい。

温度分布情報算出部３０３は、ＣＰＵ３０１による制御に従って、回路動作取得部３０２が取得した各モジュールの回路動作状態の情報と、メモリ通信部３０４を介してメモリ部３０５から取得したレイアウト情報３０６とに基づいて、温度分布情報を算出する。レイアウト情報３０６は画像処理用ＬＳＩ２０１の温度分布情報の算出に必要な情報であり、レイアウト情報保持手段としてのメモリ部３０５に記録されている。例えばレイアウト情報３０６は、画像処理用ＬＳＩ２０１においてモジュール毎に物理的に区切られた領域（すなわち図２の領域２０３）毎の形状、位置、集積度のうち少なくとも１つ含む。レイアウト情報３０６は、ここに示した情報に限られず、画像処理用ＬＳＩ２０１の温度分布情報の算出に必要な任意の情報を含んでよい。ここで例示的な計算式を用いて画像処理用ＬＳＩ２０１の回路動作状態から温度分布情報を算出する方法を説明する。まず、温度分布情報算出部３０３は、画像処理用ＬＳＩ２０１の回路動作状態から消費電力を求める。画像処理用ＬＳＩ２０１における消費電力を求める計算式としては、例えば以下の式（１）を用いることができる。

式（１）において、Ｐは消費電力（Ｗ）を表し、Ｐｄはダイナミック消費電力（Ｗ）を表し、Ｐｓはスタティック消費電力（Ｗ）を表す。式１において、ダイナミック消費電力Ｐｄは以下の式（２）で表され、スタティック消費電力Ｐｓは以下の式（３）で表される。

式（２）、（３）において、ＣＬは負荷容量（Ｆ）を表し、Ｖｄｄは電圧（Ｖ）を表し、ｆは動作クロック周波数（Ｈｚ）を表し、Ｉｌはリーク電流（Ａ）を表す。ここで、式（２）における動作クロック周波数ｆは、回路動作取得部３０２において取得した画像処理用ＬＳＩ２０１の回路動作状態の情報である各モジュールへのクロックオン／オフ制御、および動作クロック周波数設定から求められる。また負荷容量ＣＬおよびリーク電流Ｉｌは、ＲＴＬ（Ｒｅｇｉｓｔｅｒ Ｔｒａｎｓｆｅｒ Ｌｅｖｅｌ）から生成されたレイアウト後のネット情報および回路実装情報であるＬＥＦ（Ｌｉｂｒａｒｙ Ｅｘｃｈａｎｇｅ Ｆｏｒｍａｔ）より求められる。これらの負荷容量ＣＬおよびリーク電流Ｉｌの情報は、レイアウトブロックやＩＰ単位で領域（すなわち図２の領域２０３）毎のレイアウト情報３０６として、メモリ部３０５に記録しておく。

次に、温度分布情報算出部３０３は、式（１）〜（３）より得られた消費電力から温度情報となる熱量を算出する。熱量を求める計算式として、例えば以下の式（４）を用いることができる。

式（４）において、Ｔは温度（Ｋ）を表し、Ｒは熱抵抗（Ｋ／Ｗ）を表し、Ｐは消費電力（Ｗ）を表す。ここで、熱抵抗Ｒは、例えば画像処理用ＬＳＩ２０１の材質であるシリコンの物性値より求める。熱抵抗の情報は、レイアウト情報３０６として、メモリ部３０５に記録しておく。以上のように、温度分布情報算出部３０３は、画像処理用ＬＳＩ２０１の回路動作状態から消費電力を求め、求めた消費電力から温度情報を取得する。

温度分布情報算出部３０３は、レイアウトブロックあるいはＩＰ単位の領域（すなわち図２の領域２０３）毎に、式（１）〜（４）より温度情報を取得したものを温度分布情報とする。図４は、モジュール毎に分割した領域を重畳して表示した例示的な画像処理用ＬＳＩ２０１の上面図である。図４では、画像処理用ＬＳＩ２０１を、制御部３００、メモリ通信部３０４、レンズ制御部３０７、撮像信号処理部３０８、現像処理部３１１、表示処理部３１２、画像圧縮部３１３、高速通信部３１４の８領域に分けている。これらの領域は、図２の領域２０３に対応する。本実施形態ではこの８領域についてそれぞれ回路動作状態より温度情報を算出し、画像処理用ＬＳＩ２０１の温度分布とする。すなわち本実施形態における画像処理用ＬＳＩ２０１の温度分布は、レイアウトブロックあるいはＩＰのモジュール単位で分割された領域毎に算出した温度情報の集合である。

撮像信号処理部３０８（撮像信号処理手段）は、ＣＰＵ３０１による制御に従って、撮像部２０２から送られてきた撮像信号を受け、データの並び替えや撮像センサの傷補正に加え、露出補正やホワイトバランス補正を行う。さらに、暗電流ノイズの除去処理であるダーク補正は、撮像信号処理部３０８に設けられたダーク補正部３０９（暗電流ノイズ除去手段）で行われる。ダーク補正部３０９は、メモリ通信部３０４を介してメモリ部３０５から取得したダーク補正値３１０を用いて、撮像部２０２からの撮像信号に対してＣＰＵ３０１からの制御指示に従ってダーク補正を行う。ダーク補正値３１０は暗電流ノイズの補正値であり、補正値保持手段としてのメモリ部３０５に記録されている。撮像信号処理部３０８でダーク補正処理が行われた撮像信号は、現像処理部３１１に送られる。

現像処理部３１１（現像処理手段）は、ＣＰＵ３０１による制御に従って、ベイヤ情報の撮像信号を同時化処理によりラスタ情報に変換する。また現像処理部３１１は、変換したラスタ情報について、ガンマ補正処理や色空間変換処理を行い、ＹＵＶからなる画像データを生成する。現像処理部３１１は、生成した画像データを、メモリ通信部３０４を介してメモリ部３０５に記録する。メモリ部３０５に記録された画像データは、メモリ通信部３０４を介して、画像圧縮部３１３に送られる。

画像圧縮部３１３（画像圧縮手段）は、ＣＰＵ３０１による制御に従って、静止画に対してはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの規格、動画に対してはＨ．２６４やＨ．２６５などの規格に準じた画像圧縮処理を行う。圧縮された画像データは、再びメモリ通信部３０４を介して、圧縮画像データとしてメモリ部３０５に記録される。

また、メモリ部３０５に記録された画像データは、メモリ通信部３０４を介して、表示処理部３１２へ送られる。表示処理部３１２（表示処理手段）は、ＣＰＵ３０１による制御に従って、液晶パネルや液晶モニタといった不図示の外部の表示装置に画像データを表示する。

レンズ制御部３０７（レンズ制御手段）は、ＣＰＵ３０１による制御に従って、積層型撮像センサ２００に付随して設けられる不図示の鏡筒やシャッター機構を制御し、ズーム、絞り、シャッタースピードといった撮像条件を制御する。高速通信部３１４（高速通信手段）は、ＣＰＵ３０１による制御に従って外部機器へ画像データを送信および受信するための通信系ＩＰ群である。高速通信部３１４は例えば、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）などの高速シリアル通信のＩＰである。

図５は、本実施形態に係るダーク補正処理（暗電流ノイズ除去方法）のフローチャートを示す図である。本実施形態に係る積層型撮像センサを備える撮像装置において撮影開始の指示が入力されると、ダーク補正処理が開始される（ステップＳ５００）。まず、ＣＰＵ３０１は、メモリ通信部３０４を介してメモリ部３０５から画像処理用ＬＳＩ２０１のレイアウト情報３０６を読み出す（ステップＳ５０１）。レイアウト情報３０６は例えばモジュール単位で分割された領域毎の温度情報の算出に必要な負荷容量およびリーク電流等の情報であり、予めメモリ部３０５に記録されている。

次に、ＣＰＵ３０１は、回路動作取得部３０２を用いて、画像処理用ＬＳＩ２０１の各モジュールの回路動作状態の情報を取得する（ステップＳ５０２）。回路動作状態の情報は例えば各モジュールへのクロックオン／オフ制御および動作クロック周波数設定の情報である。ＣＰＵ３０１は、温度分布情報算出部３０３を用いて、取得したレイアウト情報３０６と各モジュールの回路動作状態の情報より、温度分布情報を算出する（ステップＳ５０３）。温度分布情報は、上述の式（１）〜（４）によって求められる。図６は、画像処理用ＬＳＩ２０１における領域単位の温度分布を示す例示的な模式図である。図６では、画像処理用ＬＳＩ２０１を構成する８つのモジュールである制御部３００、メモリ通信部３０４、レンズ制御部３０７、撮像信号処理部３０８、現像処理部３１１、表示処理部３１２、画像圧縮部３１３、高速通信部３１４について、それぞれ温度が示されている。図６の例は画像処理用ＬＳＩ２０１が外部通信を行っている状態であるため、高速通信部３１４は最高温度である８０℃を示している。

次に、ＣＰＵ３０１は、撮像部２０２より撮像信号を読み出し、撮像信号処理部３０８へ送る（ステップＳ５０４）。ＣＰＵ３０１は、読み出した撮像信号の各画素について、撮像部２０２における画素の位置情報（例えば、撮像部２０２における画素の座標）およびステップＳ５０３で求めた温度分布情報より、その画素位置における温度情報を求める（ステップＳ５０５）。例えば撮像部２０２の撮像素子から読み出された撮像信号のうち、図４において撮像信号処理部３０８の直上に位置している画素に対しては、図６に示したように撮像信号処理部３０８の温度である５０℃が温度情報として設定される。このように、ＣＰＵ３０１は、撮像部２０２より読み出される撮像信号について、撮像部２０２における画素の位置情報、およびステップＳ５０３で求めた温度分布情報に基づいて、撮像素子の画素位置毎に対応する画像処理用ＬＳＩ２０１の温度情報を求める。すなわち、積層型撮像センサ２００においては撮像部２０２および画像処理用ＬＳＩ２０１が積層されているため、画像処理用ＬＳＩ２０１上の温度と撮像部２０２の温度とが対応関係（例えば比例関係）にある。そのためＣＰＵ３０１は、撮像部２０２の画素位置に対応する画像処理用ＬＳＩ２０１上の位置の温度を、該画素位置の温度情報として用いる。

次に、ＣＰＵ３０１は、ステップＳ５０５で求めた画素位置毎の温度情報に基づいて、メモリ通信部３０４を介してメモリ部３０５からダーク補正値３１０を読み出す（ステップＳ５０６）。図７（ａ）、７（ｂ）は、例示的なダーク補正値３１０の模式図である。図７（ａ）に例示するダーク補正値３１０は、事前にメモリ部３０５に記録しておいた複数の異なる温度に関連付けられたダーク画像データ７００である。温度毎のダーク画像データ７００は、異なる複数の温度下で撮像部２０２を遮光した状態で撮像信号を撮像することで取得し、メモリ部３０５に記録したものである。

また図７（ｂ）に例示するダーク補正値３１０は、事前にメモリ部３０５に記録しておいた複数の異なる温度に関連付けられた補正値を有するダーク補正テーブル７０１である。撮像部２０２における暗電流ノイズの温度影響が撮像センサ面に一様で特定である場合には、ダーク画像データ７００の代わりに、例えば温度毎のオフセット量をダーク補正値として記録したダーク補正テーブル７０１を用いてよい。図７（ｂ）の例では、ダーク補正テーブル７０１のａ、ｂ、ｃ、ｄ、ｅが温度毎のダーク補正値としてのオフセット量を示している。

次に、ＣＰＵ３０１は、ダーク補正部３０９を用いて、ステップＳ５０６で求めた画素位置毎のダーク補正値に基づいて、撮像部２０２からの撮像信号に対してダーク補正処理を行う（ステップＳ５０７）。ダーク補正部３０９は、例えば撮像部２０２からの撮像信号から、画素位置毎のダーク補正値を減算することによって、画像処理用ＬＳＩ２０１の温度バラつきによって発生した暗電流ノイズを除去する。

次に、ＣＰＵ３０１は、撮像部２０２からの所定量（例えば１フレーム分）の撮像信号の読み出しが終了したかを判断する（ステップＳ５０８）。ステップＳ５０８において、ＣＰＵ３０１により撮像信号の読み出しが終了していないと判断された場合は、ステップＳ５０５に戻り、以降の処理を繰り返す。ステップＳ５０８において、ＣＰＵ３０１により撮像信号の読み出しが終了していると判断された場合は、本フローチャートに係る処理を終了する（ステップＳ５０９）。以上のように、ＣＰＵ３０１の制御に基づいて、撮像信号処理部３０８におけるダーク補正処理が実行される。

画像処理用ＬＳＩ２０１のＣＰＵ３０１は、図３に含まれる各部に指示を送って制御することによって、図５に示す処理に含まれる各ステップ（工程）を実行する。図３に含まれる各部は、画像処理用ＬＳＩ２０１上に実装された電気回路、メモリ部３０５に記録されているプログラム、またはそれらの組み合わせでよい。換言すると、ＣＰＵ３０１が画像処理用ＬＳＩ２０１上に実装された電気回路またはメモリ部３０５に記録されているプログラムを制御することによって、図３に含まれる各部として機能させる。

積層型撮像センサ２００において、撮像部２０２に積層された画像処理用ＬＳＩ２０１は撮像装置に必要な様々な機能が実装されているため、各モジュールの回路動作状態によって画像処理用ＬＳＩ２０１には温度バラつきが発生する。しかしながら、本実施形態に係る積層型撮像センサ２００では、画像処理用ＬＳＩ２０１の各モジュールの回路動作状態から温度分布情報を算出し、暗電流ノイズの補正値を撮像部２０２の撮像素子の画素位置毎に求める。これによって、温度バラつきを発生させる画像処理用ＬＳＩ２０１が撮像部２０２に積層されている構成であっても、暗電流ノイズの除去が可能となる。

（第２の実施形態）
本実施形態は、静止画の高速連写撮影や動画撮影のように連続して撮像信号をキャプチャする場合に適する。本実施形態は、ＬＳＩの回路動作状態が変更されたタイミングでＬＳＩの温度分布情報を再計算して、撮像素子の画素位置毎に補正値を変えながら暗電流ノイズを除去する方法を提供する。本実施形態は、第１の実施形態と同様な構成を有するが、ダーク補正処理の一部が異なるため、その点についてのみ図８を用いて説明する。

図８は、本実施形態に係るダーク補正処理（暗電流ノイズ除去方法）のフローチャートを示す図である。図８において、ステップＳ８００以外は、図５のフローチャートの各ステップと同様である。本実施形態に係る積層型撮像センサを備える撮像装置において撮影開始の指示が入力されると、ダーク補正処理が開始される（ステップＳ５００）。まず、ＣＰＵ３０１は、メモリ通信部３０４を介してメモリ部３０５から画像処理用ＬＳＩ２０１のレイアウト情報３０６を読み出す（ステップＳ５０１）。

次に、ＣＰＵ３０１は、回路動作取得部３０２を用いて、画像処理用ＬＳＩ２０１の各モジュールの回路動作状態の情報を取得する（ステップＳ５０２）。ＣＰＵ３０１は、温度分布情報算出部３０３を用いて、取得したレイアウト情報３０６と各モジュールの回路動作状態の情報より、温度分布情報を算出する（ステップＳ５０３）。

次にＣＰＵ３０１は、撮像部２０２より撮像信号を読み出し、撮像信号処理部３０８へ送る（ステップＳ５０４）。ＣＰＵ３０１は、読み出した撮像信号の各画素について、撮像部２０２における画素の位置情報およびステップＳ５０３で求めた温度分布情報より、その画素位置における温度情報を求める（ステップＳ５０５）。

次に、ＣＰＵ３０１は、ステップＳ５０５で求めた画素位置毎の温度情報に基づいて、メモリ通信部３０４を介してメモリ部３０５からダーク補正値３１０を読み出す（ステップＳ５０６）。次に、ＣＰＵ３０１は、ダーク補正部３０９を用いて、ステップＳ５０６で求めた画素位置毎のダーク補正値に基づいて、撮像部２０２からの撮像信号に対してダーク補正処理を行う（ステップＳ５０７）。ダーク補正部３０９は、例えば撮像部２０２からの撮像信号から、画素位置毎のダーク補正値を減算することによって、画像処理用ＬＳＩ２０１の温度バラつきによって発生した暗電流ノイズを除去する。

次に、ＣＰＵ３０１は、撮像部２０２からの所定量の撮像信号の読み出しが終了したかを判断する（ステップＳ５０８）。ステップＳ５０８において、ＣＰＵ３０１により撮像信号の読み出しが終了していると判断された場合は、本フローチャートに係る処理を終了する（ステップＳ５０９）。

ステップＳ５０８において、ＣＰＵ３０１により撮像信号の読み出しが終了していないと判断された場合は、ステップＳ８００に移る。ＣＰＵ３０１は、画像処理用ＬＳＩ２０１における各モジュールの回路動作が変更されたか判断する（ステップＳ８００）。ここで各モジュールの回路動作の変更とは、例えば、動画記録中にズームをしたり、液晶表示のオン／オフ制御をしたりすることで、キャプチャ中にレンズ制御部３０７や表示処理部３１２などの回路動作状態が変わる事を意味する。

ステップＳ８００において、ＣＰＵ３０１により回路動作に変更があると判断された場合はステップＳ５０２に移り以降の処理を繰り返す。ステップＳ８００において、ＣＰＵ３０１により回路動作に変更がないと判断された場合はステップＳ５０５に移り以降の処理を繰り返す。

以上のように、本実施形態によれば、画像処理用ＬＳＩ２０１の各モジュールの回路動作状態が変更された場合、温度分布情報を再計算して画像処理用ＬＳＩ２０１の温度バラつきの変化に追従することができる。そのため、静止画の高速連写や動画記録のように連続して撮像信号をキャプチャする場合であっても、高精度に暗電流ノイズを除去する事が可能である。

（第３の実施形態）
本実施形態は、積層型撮像センサ２００において、暗電流ノイズの除去に必要な補正値の取得方法を提供する。本実施形態は、第１および第２の実施形態と同様な構成を有するが、積層型撮像センサ２００の構成が一部異なるため、その点についてのみ図９を用いて説明する。

第１および第２の実施形態で説明したように、撮像部２０２に積層された画像処理用ＬＳＩ２０１の回路動作状態によって撮像部２０２直下で温度バラつきが発生するため、積層型撮像センサ２００は撮像素子の画素位置毎にダーク補正値を変更する。よって、図７（ａ）に示したように、撮像部２０２を遮光した状態で温度毎に撮像して得られたダーク画像データを、温度毎のダーク補正値として事前に取得しておく必要がある。図７（ｂ）で示したように撮像センサ固有の温度特性としてダーク補正値がパラメータ化できる場合には問題は発生しない。それに対して、図７（ａ）のように事前にダーク画像データを取得する場合は、撮像部２０２への温度影響が発生しない状態でダーク画像データを取得できることが望ましい。すなわち、第１および第２の実施形態では、ダーク画像に、画像処理用ＬＳＩ２０１における温度バラつきが影響を及ぼす可能性がある。

図９（ａ）は、本実施形態に係る積層型撮像センサ２００の斜視図である。図９（ｂ）は、本実施形態に係る積層型撮像センサ２００の上面図である。図９（ａ）、９（ｂ）に示した撮像部２０２と画像処理用ＬＳＩ２０１は、第１および第２の実施形態で説明した図２（ａ）、２（ｂ）の積層型撮像センサと同じものである。本実施形態に係る積層型撮像センサ２００は、撮像部２０２および画像処理用ＬＳＩ２０１に加えて、ダーク画像取得部９００（ダーク画像取得手段）を備える。図９（ａ）、９（ｂ）の例示的な構成ではダーク画像取得部９００は、画像処理用ＬＳＩ２０１に隣接する形で撮像部２０２に積層されている。ダーク画像取得部９００は撮像部２０２において、撮像素子が配置されていない部分または有効画素領域の直下でない位置（すなわち有効画素領域に重ならない位置）に配置される。ダーク画像取得部９００は、撮像部２０２より撮像信号を読み出し、ダーク補正値３１０としてメモリ部３０５に記録する。

本実施形態に係る積層型撮像センサ２００は、温度毎のダーク画像を取得する際に、画像処理用ＬＳＩ２０１を動作させず、ダーク画像取得部９００を動作させることによってダーク画像を取得する。このような構成によれば、ダーク画像の取得時に画像処理用ＬＳＩ２０１に起因する有効画素領域直下の温度バラつきが発生しないため、温度バラつきの影響を抑えてダーク画像の取得が可能となる。

本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

２００ 積層型撮像センサ
２０１ 画像処理用ＬＳＩ
２０２ 撮像部
３０３ 温度分布情報算出部
３０５ メモリ部
３０９ ダーク補正部

Claims (8)

1. 撮像信号を取得する撮像手段と、
   前記撮像手段に積層されており、前記撮像信号を画像処理する画像処理手段と、
   温度毎の暗電流ノイズの補正値を保持する補正値保持手段と、
   前記画像処理手段の回路動作状態から温度分布情報を算出する温度分布情報算出手段と、
   前記温度毎の暗電流ノイズの補正値および前記温度分布情報に基づいて前記撮像信号の画素位置毎の補正値を取得し、取得された前記画素位置毎の補正値を用いて前記撮像信号から暗電流ノイズを除去する暗電流ノイズ除去手段と、
   を備えることを特徴とする、撮像センサ。
2. 前記暗電流ノイズ除去手段は、前記温度分布情報を用いて前記撮像信号の画素位置毎の温度を算出し、前記補正値保持手段から前記画素位置毎の温度に関連付けられた前記画素位置毎の補正値を取得し、取得された前記画素位置毎の補正値を用いて前記撮像信号から暗電流ノイズを除去することを特徴とする、請求項１に記載の撮像センサ。
3. 前記画像処理手段のレイアウト情報を保持するレイアウト情報保持手段をさらに備え、
   前記温度分布情報算出手段は、前記レイアウト情報および前記回路動作状態から前記温度分布情報を算出することを特徴とする、請求項１または２に記載の撮像センサ。
4. 前記レイアウト情報は、前記画像処理手段において物理的に区切られた領域毎の形状、位置、集積度のうち少なくとも１つ含むことを特徴とする、請求項３に記載の撮像センサ。
5. 前記温度分布情報算出手段は、前記レイアウト情報に基づいて前記領域毎に温度を求めることによって前記温度分布情報を算出することを特徴とする、請求項４に記載の撮像センサ。
6. 前記補正値保持手段に保持される前記温度毎の暗電流ノイズの補正値は、異なる複数の温度下で前記撮像手段を遮光した状態で撮像されたダーク画像であることを特徴とする、請求項１〜５のいずれか一項に記載の撮像センサ。
7. 前記撮像手段の有効画素領域に重ならない位置に設けられた、前記ダーク画像を取得するダーク画像取得手段をさらに備え、
   前記画像処理手段を動作させずに、前記ダーク画像取得手段のみを動作させることによって前記ダーク画像を撮像し、前記補正値保持手段に記録することを特徴とする、請求項６に記載の撮像センサ。
8. 撮像信号を取得する撮像手段と、前記撮像手段に積層されており、前記撮像信号を画像処理する画像処理手段とを備える撮像センサにおいて、
   温度毎の暗電流ノイズの補正値を取得することと、
   前記画像処理手段の回路動作状態から温度分布情報を算出することと、
   前記温度毎の暗電流ノイズの補正値および前記温度分布情報に基づいて前記撮像信号の画素位置毎の補正値を取得することと、
   取得された前記画素位置毎の補正値を用いて前記撮像信号から暗電流ノイズを除去することと、
   を備えることを特徴とする、暗電流ノイズ除去方法。