JP2018191083A - 撮像装置 - Google Patents

Abstract

【課題】 グローバルシャッタ方式を採用した撮像素子において、良好に欠陥画素を補正することが可能な撮像装置を提供すること。【解決手段】 露光期間中に生じた電荷の蓄積を行う光電変換部と、電荷を保持する保持部と、光電変換部と保持部とを接続するための第１の転送スイッチと、保持部と転送された電荷に基づく信号を出力する増幅部とを接続するための第２の転送スイッチとをそれぞれが有する複数の画素とを有する撮像素子と、撮像素子から出力される画素信号に含まれる欠陥を補正する補正手段と、を有し、補正手段は、露光期間中における第１の転送スイッチの接続回数に応じて、補正方法を変更することを特徴とする。【選択図】 図７

Description

本発明は撮像装置に関し、特に撮像素子の欠陥画素補正を行う撮像装置に関するものである。

一般的なＣＭＯＳ型の撮像素子においては、各画素からの信号の読み出し方法として行単位でリセット動作と信号出力動作を繰り返すローリングシャッタ方式が採用されている。しかし、ローリングシャッタ方式で読み出しを行うと、動きのある被写体を撮像した場合に、行単位で発生する露光期間のずれにより撮像した被写体に歪み（ローリングシャッタ歪）が生じてしまうという問題があった。

一方で、特許文献１に記載の撮像素子のように、画素内に蓄積電荷を保持するメモリを備えることで、一括でリセット動作を行う、いわゆるグローバルシャッタ方式が採用されている撮像素子も知られている。グローバルシャッタ方式を採用した撮像素子においては、全画素を一括でリセットし所定の露光期間を経た後に一括で画素内のメモリへ電荷を転送する制御と、メモリに記憶された電荷を行毎に順次読み出しを行う制御が行われる。この読み出し方法では、全画素の露光期間タイミングが一致するため、ローリングシャッタ歪みは生じない。

特開２００２−０６４７５１

しかしながら、特許文献１に記載の撮像素子においては、読み出し動作中に画素内のメモリに電荷を保持する期間が異なる場合がある。このメモリに電荷を保持する期間の長さに起因して、出力信号に含まれる暗電流量（欠陥画素のレベル）も変化することとなる。そのため、事前に検出した欠陥補正データからだけでは、欠陥画素のレベルを推定することが難しく、補正すべき欠陥画素を適切に補正できないという問題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的はグローバルシャッタ方式を採用した撮像素子を用いた場合において、良好に欠陥画素を補正することが可能な撮像装置を提供することである。

本発明の撮像装置は、露光期間中に生じた電荷の蓄積を行う光電変換部と、前記電荷を保持する保持部と、前記光電変換部と前記保持部とを接続するための第１の転送スイッチと、前記保持部と転送された電荷に基づく信号を出力する増幅部とを接続するための第２の転送スイッチとをそれぞれが有する複数の画素とを有する撮像素子と、前記撮像素子から出力される画素信号に含まれる欠陥を補正する補正手段と、を有し、前記補正手段は、前記露光期間中における前記第１の転送スイッチの接続回数に応じて、補正方法を変更することを特徴とする。

以上説明したように、本発明によれば、グローバルシャッタ方式を採用した撮像素子を用いた場合において、良好に欠陥画素を補正することが可能な撮像装置を提供することが可能となる。

本発明の第１の実施形態における撮像装置のブロック図である。 撮像素子１０２における単位画素の回路構成を示した図である。 第１の実施形態における欠陥画素検出のフローチャートである。 欠陥画素を検出する場合の撮像素子１０２の読み出しタイミングを示した図である。 第１の欠陥画素データの一例を示した図である。 第２の欠陥画素データの一例を示した図である。 第１の実施形態における欠陥画素処理のフローチャートである。 撮像素子１０２の読み出しタイミングを示した図である。 欠陥画素データの一例を示した図である。 撮像素子１０２の読み出しタイミングを示した図である。 欠陥画素データの一例を示した図である。 第２の実施形態における撮像素子１０２の読み出し領域である。 第２の実施形態における欠陥画素処理のフローチャートを示した図である。 第１の読み出しモードにおける撮像素子１０２の読み出しタイミングを示した図である。 第２の読み出しモードにおける撮像素子１０２の読み出しタイミングを示した図である。 第２の読み出しモード用の欠陥画素データの一例を示した図である。 第２の実施形態における欠陥画素補正のフローチャートである。

発明を実施するための形態としては、まず、本発明の実施形態としてのカメラ全体の構成及びその動作を各図を用いて説明する。なお、本発明の実施形態はこれらに限られるものではなく、適宜変更が可能である。

＜第１の実施形態＞
図１は、本発明の実施形態の撮像装置１００の機能ブロック図である。図１において、１０１は被写体の光学像を形成するレンズ（撮像光学系）であり、変倍に際して光軸方向に移動する変倍レンズ（ズームレンズ）と、焦点調節（合焦）に際して光軸方向に移動するフォーカスレンズとを有する。また、レンズ１０１は入射光量を制御する絞りとＮＤを備えている。

１０２はレンズ１０１が形成した光学像を電気信号に光電変換する撮像素子である。本実施形態において撮像素子１０２はＣＭＯＳ型のエリアイメージセンサであり水平方向に少なくとも４０００画素以上の有効画素を備えている。本実施形態の撮像素子１０２はグローバルシャッタ方式を用いて露光制御が可能である。なお、撮像素子１０２はシリコン基板上に形成されたＣＭＯＳ型の撮像素子に限られるものではなく、有機膜等からなる光電変換膜を光電変換部として用いる光電変換膜型の撮像素子であってもよい。

１０３は撮像素子１０２から読み出された映像信号を所定のフォーマットの映像信号に変換する映像信号処理部である。映像信号処理部１０３には、フォーマットの変換以外にも画像の黒レベル等を補正するためのオフセット補正回路や、カラーバランス等を補正するためのゲイン補正回路等を有する。

１０４は撮像装置１００全体を制御するための全体制御演算部である。全体制御演算部１０４は、各種演算と撮像装置１００全体を制御するＣＰＵを含む。当該ＣＰＵは、撮像装置１００全体を制御するために各構成要素を統括的に制御する。それと共に各種設定パラメータ等の設定を各構成要素に対して行う。また、ＣＰＵは、データを電気的に書き込み・消去可能なキャッシュメモリ等を含み、これに記録されたプログラムを実行する。なお、メモリは、ＣＰＵが実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。また、全体制御演算部１０４は、撮像素子１０２から出力される信号の解析や画像処理を行い、映像データを生成する機能も有する。生成された映像データはＬＣＤ等の表示部等に出力される。また、全体制御演算部１０４は映像信号処理部１０３からの出力信号より適切な露出条件を算出し、レンズ１０１内部にある絞りやＮＤ、また、撮像素子１０２でのシャッタスピード、さらに映像信号処理部１０３でかけるゲインの値を制御する。ここでいうシャッタスピードとは電子シャッタによる露光時間に相当する。全体制御演算部１０４は撮像素子１０２に電荷の蓄積開始タイミングと電荷の読み出しタイミング等を指示し、各構成要素の制御を行う。

１０５はＲＡＭであり、全体制御演算部１０４の演算結果や映像信号処理部１０３の出力信号を一時的に記憶する。１０６はＲＯＭであり、欠陥画素データや種々の調整値またはパラメータを記憶する。１０７はＤＶＤ、ハードディスク、不揮発性メモリなどの記録媒体である。１０８は外部Ｉ／Ｆ部であり、撮像した映像データを外部のモニタやレコーダに出力したり、他のビデオカメラやプレーヤから映像データを入力したりできる。あるいは、外部Ｉ／Ｆ部１０８を介して撮像装置１００は外部のコンピュータと接続し、又は直接インターネットを介して必要な情報を取得することができる。なお、外部Ｉ／Ｆ部１０８は有線による接続に限られず、無線ＬＡＮ等の所定の規格の無線接続であってもよい。

１０９は欠陥画素検出部であり、ＲＡＭ１０５等に格納された映像信号を用いて、映像信号に含まれる欠陥（欠陥画素）を検出する。検出した欠陥画素に係るデータ（欠陥画素データ）には、位置、レベル、欠陥の種類等が含まれる。それぞれの欠陥画素データはＲＡＭ１０５及びＲＯＭ１０６に記憶される。１１０は欠陥画素補正部であり、欠陥画素検出部１０９で検出された欠陥画素データを用いて、補正の対象となる欠陥画素を補正する。それぞれの動作の詳細に関しては後述する。

図２は撮像素子１０２における単位画素の回路構成を示した図である。２００はフォトダイオード（ＰＤ）であり、入射光に比例した電荷が光電変換作用により発生する。２０１はメモリ部（ＭＥＭ）であり、入射光に対して遮光されている。ＰＤ２００で発生した電荷を一時的に保持する機能を有する保持部に相当する。ＭＥＭ２０１に電荷を一時的に保持することでグローバルシャッタ方式での読み出し動作が可能となる。２０２はフローティングディフュージョン（ＦＤ）であり、ＭＥＭ２０１で発生した電荷を一時的に保持する。

転送スイッチ２０３は、ＰＤ２００で発生した電荷をＭＥＭ２０１へ転送するための転送動作を制御するためのスイッチである。転送スイッチ２０３を同一タイミングで制御することで本実施形態の撮像素子１０２は一括転送が実現可能となる。具体的には、有効画素の前面において、各画素に含まれる転送スイッチ２０３を制御することで、ＰＤ２００で発生した電荷をＭＥＭ２０１へ一括して同時期に転送することが可能となる。転送スイッチ２０４は、ＭＥＭ２０１で一時的に保持された電荷をＦＤ２０２へ転送するための転送動作を制御するためのスイッチである。転送スイッチ２０４の制御を行毎に順次行うことで、画面全体から発生電荷に基づく画素信号を読み出すことが可能となる。

２０５はリセットスイッチであり、ＰＤ２００、ＭＥＭ２０１、ＦＤ２０２等の電荷をリセットするためのリセット動作を制御するためのスイッチである。リセットスイッチ２０５の一端は電源につながっており、スイッチを導通させることによって、ＦＤ２０２の電荷をリセットすることが可能となる。さらに、転送スイッチ２０３または転送スイッチ２０４を同時に制御することでＰＤ２００またはＭＥＭ２０１の電荷も同様にリセットすることができる。

２０６はソースフォロアアンプ（ＳＦ）であり、ＦＤ２０２に一時的に保持されている電荷量に基づいて、増幅された電圧信号を後段の回路へ出力する。２０７は行選択スイッチであり、ＳＦ２０６の出力信号を、画素より（ＳＦ２０６より）出力するかを制御する。なお、本実施形態におけるＦＤ２０２及びＳＦ２０６はＭＥＭ２０１から転送された電荷に基づく信号を出力するための増幅部に相当する。

本実施形態において撮像素子１０２に含まれる各画素にはＰＤ２００から行選択スイッチ２０７までのそれぞれ構成を含む。しかし、撮像素子１０２の画素構成はこれに限られるものではなく、転送スイッチ２０４までの構成を１画素とし、ＦＤ２０２以降の各構成を行方向または列方向に隣接する画素と共有する構成としてもよい。

２０８は垂直線であり、行選択スイッチ２０７で選択されたＳＦ２０６の出力を後述の列アンプへ出力する。本実施形態において、垂直線２０８は各列ごとに一つであり、同列の画素で共有して使用する構成としているが各列に複数の垂直線２０８を備える構成としてもよい。２０９は列アンプであり、垂直線２０８に出力された画素からの信号を増幅する。２１０はＡＤ変換回路であり、列アンプ２０９の出力信号を、サンプルホールドした後、ＡＤ変換を行う。ＡＤ変換回路２１０は、映像信号とノイズ信号を別々のタイミングでＡＤ変換を行い、それぞれ別のメモリに一時的に格納する。その後、ＡＤ変換された映像信号からＡＤ変換されたノイズ信号を減算した後に、後段の回路へ出力する。ここで、出力は不図示の水平走査回路によって行われ、各画素の信号はシリアル信号へと変換され順次画素信号として出力される。

撮像素子１０２はさらに不図示の駆動回路を備える。不図示の駆動回路は行単位で共通の出力信号線を備え、当該出力信号線を制御することによって各スイッチのＯＮ／ＯＦＦ及び列アンプ２０９のゲイン設定、ＡＤ変換回路２１０の動作制御等を行うことができる。

また、第１の実施形態では、ＰＤ２００からＭＥＭ２０１への転送動作を１回の露光期間中において複数回行う。特に転送動作の制御回数に応じて、補正対象とする欠陥画素を変更する例を示す。図３は、第１の実施形態における欠陥画素検出のフローチャートである。本フローチャートの動作は全体制御演算部１０４によって行われる。なお、実際の検出動作に関しては、全体制御演算部１０４によって制御される欠陥画素検出部１０９が行う。なお、欠陥画素を精度よく検出するために、撮像素子１０２に光が入射しないようにレンズ１０１を遮光しておくことが好ましい。

ステップＳ３００において、全体制御演算部１０４は、撮像素子１０２の駆動モードを設定する。具体的には、ＭＥＭ２０１で生じた欠陥を検出する専用の駆動モードにて撮像素子１０２が動作するよう、駆動モード設定用のパラメータを撮像素子１０２に対して設定する。そして処理をステップＳ３０１に進める。

ステップＳ３０１において、全体制御演算部１０４は、ステップＳ３００にて設定した駆動モードで撮像素子１０２を駆動し、出力される画素信号より欠陥画素を検出する。そして、全体制御演算部１０４は検出結果に基づいて、第１の欠陥画素データを生成する。ここで、本実施形態の欠陥画素の検出は検出対象画素とその周辺画素との出力差によって検出を行う。特に、遮光して撮像した画像の信号量は黒レベルと略等しくなることから、周辺の画素と比較して黒レベルから出力値がかい離している画素を欠陥画素として検出する。そして、処理をステップＳ３０２に進める。

ステップＳ３０２において、全体制御演算部１０４は、第１の欠陥画素データに基づいて演算（正規化）処理を行い、第２の欠陥画素データを生成する。本演算動作に関する詳細は、後述する。そして、処理をステップＳ３０３に進める。

ステップＳ３０３において、全体制御演算部１０４は、撮像素子１０２を所定の駆動モードに戻し、本フローチャートの処理を終了する。ここで、所定の駆動モードとは動画像を取得するためのモードであり、たとえば４Ｋまたは８Ｋ動画を撮像するためのモードやダイナミックレンジ拡大動画を撮像するためのモード等が挙げられる。なお、欠陥画素の検出のみを目的とする場合は、駆動モードの設定は行わずに通電状態をＯＦＦとする動作としてもよい。なお、ステップＳ３００において、欠陥を検出するための専用の駆動モードにて撮像素子１０２を動作させる例を示したが、通常の動画撮影を行うモード等を利用するようにしてもよい。

図４は、ステップＳ３００におけるＭＥＭ２０１で生じた欠陥を検出するための撮像素子１０２を駆動するタイミングを示した図である。横軸は経過時間であり、特定のタイミングに関しては点線で示している。なお、代表して先頭行である０行目と、最終行であるＮ行目と、その中間位置に位置するｋ行目の３行分のタイミングを示している。なお、本動作は不図示の垂直同期信号に同期して開始され、各行個別の動作は不図示の水平同期信号によって制御される。それぞれの信号は全体制御演算部１０４より撮像素子１０２に供給される。また、本実施形態において、撮像素子１０２の各行に含まれる画素は不図示の駆動回路によって同一タイミングで制御される。したがって、ｋ行目のタイミングではｋ行目に含まれるすべての画素が同一のタイミングで垂直線２０８に読み出されてＡＤ変換される。

Ｔ４０１では、０行目からＮ行目までの全行に対して同時に一括してＰＤ２００のリセット動作を行う。なお、本リセット動作に伴いＭＥＭ２０１及びＦＤ２０２も同時にリセットされる。本リセット動作の終了からＰＤ２００において電荷の蓄積が開始される。

Ｔ４０２では、０行目からＮ行目までの全画素に対して同時に一括してＭＥＭ２０１をリセットする。Ｔ４０３では、０行目からＮ行目までの全画素に対してＰＤ２００の蓄積を終了するが、従来の動作とは異なり、転送スイッチ２０３を制御することは行わず、ＰＤ２００からＭＥＭ２０１への電荷の転送は行わない。

Ｔ４０４では、０行目のＭＥＭ２０１に保持していた電荷を後段の回路へ読み出す。Ｔ４０５では、ｋ行目のＭＥＭ２０１に保持していた電荷を後段の回路へ読み出す。Ｔ４０６では、Ｎ行目のＭＥＭ２０１に保持していた電荷を後段の回路へ読み出す。このように先頭行より順次ＭＥＭ２０１からの転送を行う。この際、Ｔ４０２からＴ４０３までの時間をｔＦＬ、Ｔ４０３からＴ４０４までの時間をｔＭｄｉｆｆ（０）、Ｔ４０３からＴ４０６までの時間をｔＭｄｉｆｆ（Ｎ）と定義する。この場合、ｋ行目のＭＥＭ２０１における電荷の保持時間ｔＭ（ｋ）は、以下の式で算出できる。
ｔＭ（ｋ）＝ ｔＦＬ
＋（（ｔＭｄｉｆｆ（Ｎ）−ｔＭｄｉｆｆ（０））／Ｎ）ｘ ｋ
＋ ｔＭｄｉｆｆ（０）

すでに述べたが、本読み出し方法では、ＭＥＭ２０１の欠陥をより精度よく検出するために、ＰＤ２００で生じた電荷の転送は行わない。また、ＭＥＭ２０１で生じる欠陥を強調するために、電荷を保持する保持時間であるｔＦＬは可能な範囲で長くしておくことが望ましい。

図５はステップＳ３０１で生成する第１の欠陥画素データの一例を示した図である。第１の欠陥画素データはアドレス、レベル、種類の３つの要素で構成されている。

ここで、アドレスとは、撮像素子１０２における対象画素の座標情報であり、水平アドレス（Ｘ）と垂直アドレス（Ｙ）の２次元アドレスを用いて表される。なお、２次元アドレスでなくとも、読み出し順番（画像の左上（最初に読み出される画素）から数えた画素数の相対値）である１次元アドレスを用いてもよい。レベルとは、着目画素のレベルと周囲画素のメディアン値もしくは平均値との差の情報である。レベルが高い場合は出力信号としては大きくなる。つまり、欠陥としては大きい欠陥となる。種類は、欠陥画素の種類であり、どのような特性を持った欠陥であるかといった情報を記憶する。たとえば、撮像素子１０２のどの構成要素で発生した欠陥かを判別するために用いられる。これはＰＤ２００で発生した欠陥かＭＥＭ２０１で発生した欠陥かによって補正すべき条件が異なるためであり、適切に欠陥を補正等を行うためには種類の情報を用いて適切に判断する必要がある。たとえば、ＰＤ２００で生じた欠陥画素はＫ１、ＭＥＭ２０１で生じた欠陥画素はＫ２、という情報を記憶する。図４で示した駆動モードで撮像素子１０２を駆動することによって各画素におけるＭＥＭ２０１の欠陥を検出することが可能となる。そのため、本駆動モードで検出した欠陥に対してはＫ２の種類を付与する。なお、ＰＤ２００で生じた欠陥画素の検出方法に関しては、従来同様であるので、その説明を省略する。なお、同一の駆動モードで複数種類の欠陥を検出するようにしてもよい。

図６はステップＳ３０２で生成する第２の欠陥画素データの一例を示した図である。第２の欠陥画素データは第１の欠陥画素データ同様、アドレス、レベル、種類から構成されており、データ数も第１の欠陥画素データと同じである。そして、ステップＳ３０２では、第２の欠陥画素データのアドレスと種類には、第１の欠陥画素データのアドレスと種類と同じ情報が格納される。

ここで、第２の欠陥画素データのレベルのうち、種類がＫ１（Ｋ２以外）であるものについては、第１の欠陥画素データと同じ値を格納する。一方で、第２の欠陥画素データのレベルのうち、種類がＫ２であるものは、第１の欠陥画素データのレベルを正規化した値を格納する。第１の欠陥画素データにおけるレベルをＬｎ、正規化後の電荷保持時間をｔＲＥＦ、欠陥画素の垂直アドレスをＹｎとすると、正規化後のレベルＬｎ＿ＲＥＦは、以下の式で求める。
Ｌｎ＿ＲＥＦ ＝ Ｌｎ ｘ ｔＲＥＦ ／ ｔＭ（Ｙｎ）

本実施形態の撮像素子１０２はグローバルシャッタ方式の読み出し動作を行うために、図４で示すようにＭＥＭ２０１をリセットするタイミングはＴ４０２で同一であるが、ＭＥＭ２０１をリセットしてから信号を読み出すまでの時間が行ごとに異なる。そのため、ＭＥＭ２０１で欠陥が発生した場合には、どの行で発生したかによって欠陥のレベルが異なることとなる。具体的には、同程度のレベルであっても先頭行で発生するか最終行で発生するかで、図３のステップＳ３０１において検出されるレベルは異なることとなる。この変化するレベルはｔＭ（ｋ）の値に略比例するため、垂直アドレスの値によって正規化することで、読み出し順番に依存しないレベルとなる。なお、ステップＳ３０２で生成した第２の欠陥画素データは、ＲＡＭ１０５およびＲＯＭ１０６に記憶される。

図７は、第１の実施形態における欠陥画素補正処理のフローチャートである。本フローチャートの動作は全体制御演算部１０４によって行われる。なお、実際の補正動作に関しては、全体制御演算部１０４によって制御される欠陥画素補正部１１０が行う。

ステップＳ７００において、全体制御演算部１０４は、所定の駆動モード（例えば動画像取得用の駆動モード）で撮像素子１０２を動作し、各画素から画素信号を出力させる。そして、それぞれの画素または行に対して、露光期間中におけるＰＤ２００からＭＥＭ２０１への電荷の転送回数を判定する。判定結果として転送回数が２回以上の場合はステップＳ７０１へ処理を進め、そうでない場合はステップＳ７０２へ処理を進める。

ステップＳ７０１において、全体制御演算部１０４は、ステップＳ７００にて判定した転送回数及び露出条件（シャッタスピード、ＩＳＯ感度・入射光量等）に応じて、補正に用いる欠陥画素データの決定及びその変更する制御を行う。欠陥画素データの変更が終了した後、ステップＳ７０３に処理を進める。

ステップＳ７０２において、全体制御演算部１０４は、露出条件のみに応じて欠陥画素データを変更する。欠陥画素データの変更が終了した後、ステップＳ７０３に処理を進める。

ステップＳ７０３において、全体制御演算部１０４は、ステップＳ７０１あるいはステップＳ７０２にて取得した欠陥画素データを用いて欠陥画素を補正する。本実施形態において、欠陥画素の補正には、補正対象画素が欠陥画素データを参照して補正対象画素か否かを判定する判定ステップと、補正対象画素と判定された場合に周辺画素の画素信号を用いて補間処理する補間ステップとを含む。判定ステップにおいては、補正対象画素に対応する欠陥画素データに含まれるレベルが所定の閾値を超えたか否かによって判定が行われる。

図８は、ＰＤ２００からＭＥＭ２０１への電荷の転送回数がｎＴＸＰ回（ｎＴＸＰ≧２）である場合の、撮像素子１０２の読み出しタイミングを示した図である。

Ｔ８０１では、０行目からＮ行目までの全行に対して同時に一括してＰＤ２００のリセット動作を行う。なお、本リセット動作に伴いＭＥＭ２０１及びＦＤ２０２も同時にリセットされる。本リセット動作の終了からＰＤ２００において電荷の蓄積が開始される。

Ｔ８０２では、０行目からＮ行目までの全行に対して同時に一括してＭＥＭ２０１をリセットする。その後、ＰＤ２００からＭＥＭ２０１への電荷の転送（１回目）を行う。

Ｔ８０３では、０行目からＮ行目までの全行に対して同時に一括してＰＤ２００からＭＥＭ２０１への電荷の転送（ｎＴＸＰ回目）を行い、ＰＤ２００の蓄積を終了する。

ここで、Ｔ８０２からＴ８０３までの期間は、（Ｔ８０３−Ｔ８０２）／（ｎＴＸＰ−１）の時間間隔で、ＰＤ２００からＭＥＭ２０１への電荷の転送を行う。なお、ＰＤ２００からＭＥＭ２０１への電荷の転送タイミングは必ずしも等間隔でなくてもよい。

Ｔ８０４乃至Ｔ８０６では、０行目乃至Ｎ行目のＭＥＭ２０１に保持していた電荷をそれぞれ順次後段の回路へ読み出す。

ここで、Ｔ８０１からＴ８０３までの時間をｔＰＤとすると、Ｔ８０２からＴ８０３までの時間は、ｔＰＤｘ（１−１／ｎＴＸＰ）である。また、Ｔ８０３からＴ８０４までの時間をｔＭｄｉｆｆ（０）、Ｔ８０３からＴ８０６までの時間をｔＭｄｉｆｆ（Ｎ）とすると、ｋ行目のＭＥＭ２０１における電荷の保持時間ｔＭｍ（ｋ）は、以下の式で算出できる。
ｔＭｍ（ｋ）＝ ｔＰＤｘ（１−１／ｎＴＸＰ）
＋（（ｔＭｄｉｆｆ（Ｎ）−ｔＭｄｉｆｆ（０））／Ｎ）ｘ ｋ
＋ ｔＭｄｉｆｆ（０）

図９は、ステップＳ７０１における変更後の欠陥画素データの一例を示した図である。すでに説明したようにステップＳ７０１における変更後の欠陥画素データも、アドレス、レベル、種類から構成されており、データ数も第２の欠陥画素データと同じである。ステップＳ７０１における変更後の欠陥画素データのアドレスと種類には、第２の欠陥画素データのアドレスと種類と同じ情報を格納する。そして、ステップＳ７０１における変更後の欠陥画素データのレベルのうち、種類がＫ１であるものについては、第２の欠陥画素データと同じ値を格納する。最後に、ステップＳ７０１における変更後の欠陥画素データのレベルのうち、種類がＫ２であるものは、第２の欠陥画素データのレベルを以下の式で変更した値を格納する。
Ｌｎ＿ｍ ＝ Ｌｎ＿ＲＥＦ ｘ ｔＭｍ（Ｙｎ）／ｔＲＥＦ

ここで、Ｌｎ＿ｍは変更後のレベル、Ｌｎ＿ＲＥＦは第２の欠陥画素データのレベル、ｔＭｍ（ｋ）はｋ行目のＭＥＭ２０１における電荷の保持時間、Ｙｎは欠陥画素の垂直アドレス、ｔＲＥＦは正規化後の電荷保持時間である。このように、ＭＥＭ２０１における電荷の保持時間に基づいて欠陥画素データのレベルを変更することにより、欠陥補正の対象となる画素を適切に選択することが可能となる。

図１０は、ＰＤ２００からＭＥＭ２０１への電荷の転送回数が１回である場合の、撮像素子１０２の読み出しタイミングを示した図である。

Ｔ１００１では、０行目からＮ行目までの全行に対して同時に一括してＰＤ２００をリセットを行う。なお、本リセット動作に伴いＭＥＭ２０１及びＦＤ２０２も同時にリセットされる。本リセット動作の終了からＰＤ２００において電荷の蓄積が開始される。

Ｔ１００２では、０行目からＮ行目までの全行に対して同時に一括してＭＥＭ２０１のリセットを行う。

Ｔ１００３では、０行目からＮ行目までの全行に対して同時に一括してＰＤ２００からＭＥＭ２０１への電荷の転送を行い、ＰＤ２００の蓄積を終了する。

Ｔ１００４乃至Ｔ１００６では、０行目乃至Ｎ行目のＭＥＭ２０１に保持していた電荷をそれぞれ順次後段の回路へ読み出す。

ここで、Ｔ１００２からＴ１００３までの時間をｔＦＳ、Ｔ１００３からＴ１００４までの時間をｔＭｄｉｆｆ（０）、Ｔ１００３からＴ１００６までの時間をｔＭｄｉｆｆ（Ｎ）とする。この場合、ｋ行目のＭＥＭ２０１における電荷の保持時間ｔＭｓ（ｋ）は、以下の式で算出できる。
ｔＭｓ（ｋ）＝ ｔＦＳ
＋（（ｔＭｄｉｆｆ（Ｎ）−ｔＭｄｉｆｆ（０））／Ｎ）ｘ ｋ
＋ ｔＭｄｉｆｆ（０）

図１１は、ステップＳ７０２における変更後の欠陥画素データの一例を示した図である。ステップＳ７０２における変更後の欠陥画素データも、アドレス、レベル、種類から構成されており、データ数も第２の欠陥画素データと同じである。ステップＳ７０２における変更後の欠陥画素データのアドレスと種類には、第２の欠陥画素データのアドレスと種類と同じ情報を格納する。ステップＳ７０２における変更後の欠陥画素データのレベルのうち、種類がＫ１であるものについては、第２の欠陥画素データと同じ値を格納する。最後に、ステップＳ７０２における変更後の欠陥画素データのレベルのうち、種類がＫ２であるものは、第２の欠陥画素データのレベルを以下の式で変更した値を格納する。
Ｌｎ＿ｓ ＝ Ｌｎ＿ＲＥＦ ｘ ｔＭｓ（Ｙｎ）／ｔＲＥＦ

ここで、Ｌｎ＿ｓは変更後のレベル、Ｌｎ＿ＲＥＦは第２の欠陥画素データのレベル、ｔＭｓ（ｋ）はｋ行目のＭＥＭ２０１における電荷の保持時間、Ｙｎは欠陥画素の垂直アドレス、ｔＲＥＦは正規化後の電荷保持時間である。

また、ステップＳ７０３での、欠陥画素の補正は、ステップＳ７０１もしくはステップＳ７０２で生成した欠陥画素データのうち、所定の閾値を超えるレベルの欠陥画素に対して補正を行う。補正方法は周辺画素を用いて、対象画素を補完する従来の欠陥画素補正方法同様であるのでその説明を省略する。

以上、説明したように、第１の実施形態においては、ＰＤ２００からＭＥＭ２０１への転送回数に応じて、適切に欠陥画素を補正することが可能である。つまり、あらかじめ検出した欠陥画素の情報を用いて、転送回数が１回であれば、所定の計算により欠陥画素を推定し、補正対象となる画素を適切に選択し、補正することが可能である。そして、転送回数が２回以上の場合であれば、転送回数とシャッタスピード情報から欠陥画素レベルを推定し、補正対象となる画素を適切に選択し、補正することが可能である。これは、転送回数が上昇することでＭＥＭ２０１で電荷を保持する期間が長くなることから、転送スイッチの制御回数に応じて欠陥を補正する画素信号の数を増加させるように変更することとなる。これによって転送スイッチの制御回数に依存して変動する欠陥を適切に補正することが可能となる。

＜第２の実施形態＞
第２の実施形態では、１フレームにおける読み出し開始行に応じて、補正対象とする欠陥画素を変更する例を示す。図１２では、第２の実施形態における撮像素子１０２の読み出し領域を示す。第１の読み出しモードでは、（０，０）〜（Ｍ，Ｎ）の領域を読み出す。読み出しは、画面上部から行毎に順次読み出す（読み出し領域１２０１）。第２の読み出しモードでは、（Ｃ，Ａ）〜（Ｄ，Ｂ）の領域を読み出す。読み出しは、画面上部から行毎に順次読み出す（読み出し領域１２０２）。なお、読み出し領域１２０１の領域設定は不図示のユーザーインターフェースを用いて行われる。例えば、撮像する画像のアスペクト比（例えば３：２、４：３、１６：９等）を変更する動作もこれにあたる。また、ユーザーが設定するＲＯＩ領域を読み出し領域１２０１としてもよい。

図１３は、第２の実施形態における、欠陥画素検出のフローチャートを示した図である。本フローチャートの動作は全体制御演算部１０４によって行われる。なお、実際の検出動作に関しては、全体制御演算部１０４によって制御される欠陥画素検出部１０９が行う。なお、欠陥画素を精度よく検出するために、撮像素子１０２に光が入射しないようにレンズ１０１を遮光しておくことが好ましい。

ステップＳ１３００において、全体制御演算部１０４は、第２の欠陥画素データから、第１の読み出しモード用の欠陥画素データを生成する。そして、ステップＳ１３０１に処理を進める。

ステップＳ１３０１において、全体制御演算部１０４は、第２の欠陥画素データから、第２の読み出しモード用の欠陥画素データを生成する。なお、Ｓ１３００、Ｓ１３０１において、第２の欠陥画素データを生成する方法は第１の実施形態の図３で説明した方法と同様であるのでその説明を省略する。

図１４は、第１の読み出しモードにおける撮像素子１０２の読み出しタイミングを示した図である。

Ｔ１４０１では、０行目からＮ行目までの全行に対して同時に一括してＰＤ２００をリセットする。Ｔ１４０２では、０行目からＮ行目までの全行に対して同時に一括してＭＥＭ２０１をリセットする。Ｔ１４０３では、０行目からＮ行目までの全行に対して同時に一括してＰＤ２００からＭＥＭ２０１への電荷の転送を行い、ＰＤ２００の蓄積を終了する。

Ｔ１４０４乃至Ｔ１４０８では、０行目乃至Ｎ行目のＭＥＭ２０１に保持していた電荷をそれぞれ順次後段の回路へ読み出す。なお、ｋ行目のＭＥＭ２０１における電荷の保持時間は、ｔＭｓ（ｋ）である。

図１５は、第２の読み出しモードにおける撮像素子１０２の読み出しタイミングを示した図である。第１の読み出しモードとは異なりＡ行目からＢ行目に対して読み出し動作を行う。

Ｔ１５０１では、Ａ行目からＢ行目までの各行に対してのみＰＤ２００のリセットを行う。Ｔ１５０２では、Ａ行目からＢ行目までの各行に対してのみＭＥＭ２０１のリセットを行う。Ｔ１５０３では、Ａ行目からＢ行目までの画素に対して、ＰＤ２００からＭＥＭ２０１への電荷の転送を行い、ＰＤ２００の蓄積を終了する。

Ｔ１５０４乃至Ｔ１５０６では、Ａ行目からＢ行目までのＭＥＭ２０１に保持していた電荷をそれぞれ順次後段の回路へ読み出す。なお、ｋ行目のＭＥＭ２０１における電荷の保持時間は、ｔＭｓ（ｋ−Ａ）である。

図１６は、図１３におけるステップＳ１３０１での第２の読み出しモード用の欠陥画素データの一例を示した図である。第２の読み出しモード用の欠陥画素データは、第２の欠陥画素データ同様、アドレス、レベル、種類から構成されている。データ数は、第２の欠陥画素データのうち、読み出し領域１２０２に含まれるもののみの個数であり、例えば、（Ｘ３、Ｙ３）〜（Ｘ８、Ｙ８）の６個である。第２の読み出しモード用の欠陥画素データの種類には、第２の欠陥画素データの種類と同じ情報を格納する。第２の読み出しモード用の欠陥画素データのアドレスには、第２の欠陥画素データのアドレスから、読み出し領域１２０２と読み出し領域１２０１のそれぞれの開始アドレスの差分を減算した値を格納する。例えば、第２の欠陥画素データのアドレスを（Ｘ，Ｙ）、読み出し領域１２０１の開始アドレスを（０，０）、読み出し領域１２０２の開始アドレスを（Ｃ，Ａ）、とする。この場合、第２の読み出しモード用の欠陥画素データのアドレス（Ｘ´、Ｙ´）は（Ｘ´、Ｙ´）＝（Ｘ−Ｃ、Ｙ−Ａ）となる。

また、第２の読み出しモード用の欠陥画素データのレベルのうち、種類がＫ１であるものについては、第２の欠陥画素データと同じ値を格納する。そして、第２の読み出しモード用の欠陥画素データのレベルのうち、種類がＫ２であるものは、第２の欠陥画素データのレベルを以下の式で変更した値を格納する。
Ｌｎ＿ｃ ＝ Ｌｎ＿ｓ
− （（ｔＭｄｉｆｆ（Ｎ）−ｔＭｄｉｆｆ（０））／Ｎ）ｘ Ａ

ここで、Ｌｎ＿ｃは変更後のレベル、Ｌｎ＿ｓは第２の欠陥画素データのレベル、ｔＭｄｉｆｆ（０）は、Ｔ１４０３からＴ１４０４までの時間、ｔＭｄｉｆｆ（Ｎ）は、Ｔ１４０３からＴ１４０８までの時間である。

図１７は、第２の実施形態における欠陥画素補正のフローチャートである。本フローチャートの動作は全体制御演算部１０４によって行われる。なお、実際の補正動作に関しては、全体制御演算部１０４によって制御される欠陥画素補正部１１０が行う。

ステップＳ１７００において、全体制御演算部１０４は、第２の読み出しモードであるかどうかを判定する。第２の読み出しモードである場合は、ステップＳ１７０１へ処理を進め、そうでない場合は、ステップＳ１７０２へ処理を進める。

ステップＳ１７０１において、全体制御演算部１０４は、第２の読み出しモード用の欠陥画素データで、欠陥画素の補正を行う。一方で、ステップＳ１７０２において、全体制御演算部１０４は、第１の読み出しモード用の欠陥画素データで、欠陥画素の補正を行う。

ステップＳ１７０１、ステップＳ１７０２での、欠陥画素の補正は、欠陥画素データのうち、所定の閾値を超えるレベルの欠陥画素に対して補正を行う。補正方法は周辺画素を用いて、対象画素を補完する従来の欠陥画素補正方法同様であるので説明を省略する。

以上、説明したように、第２の実施形態においては、１フレームにおける読み出し開始行が変更された場合にも、適切な欠陥画素補正が可能となる。

上述の実施形態においては、転送回数やシャッタスピード、読み出し開始行などに応じて欠陥画素データを変更する例を示したが、これに限らず、例えば閾値を同様の計算式で状況に応じて変更してもよい。また、従来同様、その他の条件に応じて、欠陥画素データや閾値をあわせて変更してもよい。例えば、撮像時の温度やゲインなどに応じて変更してもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０１ レンズ
１０２ 撮像素子
１０３ 映像信号処理部
１０４ 全体制御演算部
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 記録媒体
１０８ 外部Ｉ／Ｆ部
１０９ 欠陥画素検出部
１１０ 欠陥画素補正部
２００ ＰＤ
２０１ ＭＥＭ
２０２ ＦＤ
２０３ 転送スイッチ
２０４ 転送スイッチ
２０５ リセットスイッチ
２０６ ソースフォロアアンプ
２０７ 行選択スイッチ
２０８ 垂直線
２０９ 列アンプ
２１０ ＡＤ変換回路

Claims (6)

1. 露光期間中に生じた電荷の蓄積を行う光電変換部と、
   前記電荷を保持する保持部と、
   前記光電変換部と前記保持部とを接続するための第１の転送スイッチと、
   前記保持部と転送された電荷に基づく信号を出力する増幅部とを接続するための第２の転送スイッチとをそれぞれが有する複数の画素とを有する撮像素子と、
   前記撮像素子から出力される画素信号に含まれる欠陥を補正する補正手段と、
   を有し、
   前記補正手段は、前記露光期間中における前記第１の転送スイッチの制御回数に応じて、補正方法を変更することを特徴とする撮像装置。
2. 前記補正手段は、前記第１の転送スイッチの制御回数に応じて欠陥を補正する画素信号の数を増加させるように補正方法を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記画素信号に含まれる欠陥を検出するための検出手段をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像素子を駆動する制御手段をさらに備え、
   前記制御手段は動画像を取得するための第１のモードと、
   前記検出手段で欠陥を検出するための第２のモードとを備え、
   前記第２のモードにおける前記保持部で前記電荷を保持する保持期間は前記第１のモードよりも長いことを特徴とする請求項３に記載の撮像装置。
5. 前記検出手段は欠陥を検出した結果を欠陥画素データとして生成し、
   前記検出手段は前記第２のモードで検出した欠陥におけるレベルを前記保持期間の長さに基づいて正規化を行った後に前記欠陥画素データを生成することを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は前記撮像素子における読み出し領域を設定する領域設定手段を含み、
   前記補正手段は、前記欠陥画素データに含まれるアドレスを前記領域設定手段によって設定された領域に基づいて変更することを特徴とする請求項５に記載の撮像装置。

Images