JP2004530394A

JP2004530394A - フレームトランスファ型ｃｃｄセンサを用いて取り込まれたデジタル画像のスミアを低減させる装置および方法

Info

Publication number: JP2004530394A
Application number: JP2003504665A
Authority: JP
Inventors: ベアー，リチャード，エル
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2001-06-08
Filing date: 2002-06-03
Publication date: 2004-09-30
Also published as: EP1393547A1; WO2002102060A1; US6798450B2; US20020186308A1

Abstract

推定スミア信号を用いて、スミアの原因となる電子画像の画像信号内の成分を除去（１１０６）し、電子画像内のスミアを低減させる装置および方法。推定スミア信号は、画像信号のスミア成分に相当する。推定スミア信号は、露光期間後に電荷を電子画像センサ（２０２）に収集することによって生成される（１１０４）。推定スミア信号は、画像信号を取得した後に生成される場合がある。あるいは、推定スミア信号は、画像信号の取得と同時に生成される場合もある。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は、概してデジタル撮像の分野に関し、詳しくはフレームトランスファ型電荷結合素子（ＣＣＤ）センサを用いて取り込まれたデジタル画像のスミアを低減させる装置および方法に関する。
【背景技術】
【０００２】
デジタルカメラは、従来のフィルムカメラと異なり、電子画像センサを用いて対象シーンをデジタルで取り込む。従って、電子画像センサはデジタルカメラにとってフィルムのような働きをする。一般に、電子画像センサは、電荷結合素子（ＣＣＤ）センサまたは相補型金属酸化物半導体（ＣＭＯＳ）センサである。しかしながら、ＣＣＤセンサは、比較的感度が高く、ノイズが少ない特性を持つため、高画質が必要とされる用途で幅広く採用されている。
【０００３】
フレームインターライントランスファ型ＣＣＤセンサ、インターライントランスファ型ＣＣＤセンサ、およびフレームトランスファ型ＣＣＤセンサなど、多数の異なるタイプのＣＣＤセンサがある。本明細書で対象とするＣＣＤセンサは、フレームトランスファ型ＣＣＤセンサである。デジタル写真で用いられる従来のフレームトランスファ型ＣＣＤセンサは、画素領域のＣＣＤアレイと、シリアルレジスタとを含む。ＣＣＤアレイは画像領域と記憶領域とを有する。ＣＣＤアレイの画素領域は、互いに直交して延びる分離埋め込み部とゲート電極によって画定される。ＣＣＤアレイは、入射光の照度に応じて電荷を画素領域に蓄積し、その蓄積電荷をシリアルレジスタに転送して読み出すのに用いられる。しかしながら、ＣＣＤアレイの記憶領域は、不透明なマスクで覆われ、光子により誘導される電荷の蓄積が防止されている。したがって、記憶領域は、画像領域の蓄積電荷を、読み出しのためにシリアルレジスタへ転送することだけに使用される。記憶領域によって、画像領域に蓄積された電荷を露光状態から迅速に退避させることが可能になる。
【０００４】
従来のフレームトランスファ型ＣＣＤセンサを有するデジタルカメラは、次のような方法で画像をデジタルで取り込む。まず、ＣＣＤアレイの画像領域に存在する電荷を除去する。これにより、露光時間が始まる。露光時間中は、入射光に応答して画像領域の画素領域に電荷が蓄積される。露光時間終了時に、画像領域内の蓄積電荷をＣＣＤアレイの記憶領域へ高速に転送する。そして、転送された電荷を行単位でシリアルレジスタを通して比較的低速に読み出す。
【０００５】
通常、デジタルカメラは、静止画取り込みモードまたはビデオモードのいずれかで動作する。静止画取り込みモードは、対象シーンの静止画像を取り込むのに使用される。ビデオモードは、露光調節やフォーカス調節を行なうための情報を得るのに使用される。さらに、ビデオモードは、最終画像のリアルタイムプレビューをユーザに提示するのにも使用される。
【０００６】
静止画取り込みモードでは、デジタルカメラの機械式シャッターを用いて、露光期間を終了させている。機械式シャッターは、ＣＣＤアレイの画像領域に電荷がそれ以上蓄積されないようにする。しかしながら、ビデオモードの場合、フレームレートが大きいため、機械式シャッターの使用は実用的でない。従って、ビデオモード中は、機械式シャッターが使用されない。そのため、露光期間が終了した後であっても、蓄積電荷がＣＣＤアレイの画像領域からＣＣＤアレイの記憶領域へ転送されている間に、光子によって誘導された電荷が蓄積され続ける場合がある。この電荷の余分な蓄積によって、取り込み画像中に「スミア」が現れる場合がある。この「スミア電荷」の相対的大きさは、蓄積電荷を１行分だけシフトさせて、その蓄積電荷をＣＣＤアレイの記憶領域へ転送するのに要する時間（水平線時間）に対する、露光時間の比に反比例する。スミアは、露光時間が短く、光が強いときに最も顕著に現れる。スミアは、フレーム転送速度（すなわちＣＣＤアレイの画像領域からＣＣＤアレイの記憶領域への電荷の垂直転送速度）を増大させることによって、低減させることができる。しかしながら、従来のフレームトランスファ型ＣＣＤセンサの場合、ゲート電極のＲＣ時定数によって、フレーム転送速度が約１ＭＨｚまでに制限されている。したがって、従来のフレームトランスファ型ＣＣＤセンサを用いて取り込まれたデジタル画像に関しては、スミアが現れることが未だに深刻な問題になっている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記の問題を考慮すると、フレームトランスファ型ＣＣＤセンサを用いた電子取り込み画像におけるスミアを低減させる装置および方法が必要とされている。
【課題を解決するための手段】
【０００８】
推定スミア信号を用いて、電子画像の画像信号に含まれるスミアの原因となる成分を除去し、電子画像のスミアを低減させる装置および方法。推定スミア信号は、画像信号のスミア成分に相当する。推定スミア信号は、露光時間後に電子画像センサの電荷を収集することによって生成される。推定スミア信号は、画像信号を取得した後に続けて生成することができる。あるいは、推定スミア信号は画像信号の取得と同時に生成することもできる。
【０００９】
本発明による、電子画像センサを用いて取り込まれた画像中のスミアを低減させる方法は、画像成分およびスミア成分を一部に含む画像信号を生成するステップと、電子画像センサに蓄積された電荷に基づいて推定スミア信号を生成するステップとを含む。画像信号は対象シーンの電子画像を表す。画像信号の画像成分は、露光時間中に電子画像センサに収集された電荷に相当する。画像信号のスミア成分は、露光時間後に電子画像センサに収集された電荷に相当する。スミア信号は、画像信号のスミア成分を表す。本方法は、推定スミア信号を用いて画像信号からスミア成分を実質的に除去し、電子画像のスミアを低減させるステップ、をさらに含む。
【００１０】
画像信号を生成するステップは、露光期間の開始時点から電荷を電子画像センサに収集することを含む場合がある。さらに、推定スミア信号を生成するステップは、露光期間の終了時点から電荷を電子画像センサに収集することを含む場合がある。一実施形態において、推定スミア信号を生成するステップと画像信号を生成するステップは、順番に実施される。
【００１１】
他の実施形態において、推定スミア信号を生成するステップと画像信号を生成するステップは、同時に実施される場合がある。この実施形態の場合、推定スミア信号を生成するステップは、露光時間の終了時点から電荷を電子画像センサの選択部分に収集してサンプルスミア信号を得ることを含む場合がある。この電子画像センサの選択部分は、画像センサの感光性画素の選択行にする場合がある。この実施形態の場合、本方法は、感光性画素の選択行の隣接行から得たサンプルスミア信号を補間して推定スミア信号を得るステップをさらに含む場合がある。
【００１２】
本発明による装置は、感光性画素のアレイおよびスミア除去装置を有する電子画像センサを含む。この電子画像センサは、対象シーンの電子画像を表す画像信号を生成するように構成される。電子画像センサは電荷結合素子を含む場合がある。電子画像センサによって生成される画像信号の一部は、画像成分とスミア成分とを含む。画像信号の画像成分は、露光期間中に電子画像センサに収集された電荷に相当する。画像信号のスミア成分は、露光期間後に電子画像センサに収集された電荷に相当する。電子画像センサは更に、画像信号のスミア成分を表すサンプルスミア信号を生成するように構成される。本装置のスミア除去装置は、サンプルスミア信号を用いて画像信号からスミア成分を実質的に除去し、電子画像のスミアを低減させるように構成される。
【００１３】
一実施形態において、電子画像センサは、画像信号の集合とサンプルスミア信号の集合とを順番に生成するように構成される。この実施形態の場合、スミア除去装置は、画像信号からサンプルスミア信号を減算することにより画像信号からスミア成分を実質的に除去するための減算装置を有する。
【００１４】
他の実施形態において、電子画像センサは、画像信号とサンプルスミア信号を同時に生成するように構成される場合がある。この実施形態の場合、電子画像センサは、サンプルスミア信号だけを生成するように構成された特定の感光性画素を含む。それらの特定の感光性画素は、電子画像センサの画素の選択行に配置される場合がある。この実施形態の場合、スミア除去装置は、電子画像センサの画素の選択行に隣接する画素の行から得られたサンプルスミア信号から推定スミア信号を生成するための、補間装置を含む場合がある。また、スミア除去装置は、それらの電子画像センサの隣接画素行間に位置する電子画像センサの画素行に関する画像信号から推定スミア信号を減算し、該画像信号からスミア成分を実質的に除去するための、減算装置を更に含む場合がある。
【００１５】
本発明の他の態様は、本発明の原理を例として示す添付の図面と併せて以下の詳細な説明から明らかになるであろう。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明の第１の実施形態によるデジタル撮像装置１００を示す。このデジタル撮像装置は、フレームトランスファ型電荷結合素子（ＣＣＤ）センサを用いて、対象シーンの電子画像を表す画像信号を蓄積電荷の形で電気的に取り込む。このデジタル撮像装置は、ビデオモード動作中に、取り込んだ画像信号のスミア成分を除去し、プレビューおよびオートフォーカス用に実質的にスミアのないビデオフレームを生成するように動作する。
【００１７】
図１に示すように、デジタル撮像装置１００は、制御手段１０６に接続されたレンズ１０２および機械式シャッター１０４を有する。制御手段は、対象シーンに焦点を合わせるため、レンズを調節するように動作する。さらに、制御手段は、機械式シャッターを開閉し、積分時間すなわち露光期間を制御して、静止画像を取り込む。デジタル撮像装置は、画像取得装置１０８、相関二重サンプリング（ＣＤＳ）装置１１０、アナログ／デジタル変換器（ＡＤＣ）１１２、スミア除去回路１１４、デジタル信号処理（ＤＳＰ）回路１１６、記憶装置１１８、閲覧装置１２０、およびマイクロコントローラ１２２を更に含む。
【００１８】
デジタル撮像装置１００の画像取得装置１０８は、対象シーンの電子画像を得るため、画像信号を生成する。静止画取り込みモードの場合、この電子画像は、個々の静止画像である。ビデオモードの場合、この電子画像はビデオフレームである。次に、画像取得装置は、処理のため、それらの画像信号を順次出力する。後で詳細に説明するように、画像取得装置は、ビデオモード動作中に画像信号のスミア成分を除去するのに用いるスミア信号も生成する。
【００１９】
図２に移り、デジタル撮像装置１００の画像取得装置１０８のブロック図を示す。図２に示すように、画像取得装置は、フレームトランスファ型ＣＣＤ構造に従って構成されたＣＣＤセンサ２０２を含む。ＣＣＤセンサは、画像領域２０４、記憶領域２０６、およびシリアルレジスタ２０８を含む。ＣＣＤセンサの画像領域と記憶領域は、同様の構造になっている。しかしながら、記憶領域は不透明な保護物で覆われている。したがって、機械式シャッター１０４を開いても、画像領域だけしか光に曝されることはない。記憶領域の高さは、画像領域の高さに比べて低い場合がある。しかしながら、記憶領域の幅は画像領域の幅と同じである。
【００２０】
ＣＣＤの画像領域および記憶領域２０４、２０６は、平行なゲート電極２１０、２１２、２１４、２１６、２１８、２２０、２２２、２２４、２２６、および平行な分離埋め込み部２３０を有する。例示の実施形態において、ゲート電極はポリシリコンから形成され、分離埋め込み部はｐ＋領域である。平行なゲート電極は水平方向に延び、平行な分離埋め込み部は垂直方向に延びる。図２では少数のゲート電極および分離埋め込み部しか図示していないが、ＣＣＤの画像領域および記憶領域は、ゲート電極および分離埋め込み部をさらに含む。ゲート電極および分離埋め込み部は、感光性画素２３２で図示されているような感光性画素を画定する。この例の実施形態の場合、画素２３２は、分離埋め込み部２３０Ｂ、２３０Ｃと、４つのゲート電極２１２Ａ、２１２Ｂ、２１２Ｃ、２１２Ｄとによって画定された、ＣＣＤセンサ２０２の一部である。感光性画素に含まれるゲート電極の数は、フレームトランスファ型ＣＣＤセンサの電荷転送の相方式を示す。従って、ＣＣＤセンサ２０２は４相の電荷転送方式である。しかしながら、ＣＣＤセンサは、２相や３相の電荷転送方式など、他の電荷転送方式にしてもよい。それらの代替方式の場合、ＣＣＤセンサの感光性画素は、電荷転送を行なうための相数に対応した数のゲート電極によって画定される。例示の実施形態では、ＣＣＤセンサの感光性画素が４つのゲート電極によって画定されている。したがって、４つのゲート電極からなる電極集合２１０、２１２、２１４、２１６、２１８、２２０、２２２、２２４および２２６はそれぞれ、ＣＣＤセンサの感光性画素の１行に対応する。例えば、４つのゲート電極２１０Ａ、２１０Ｂ、２１０Ｃおよび２１０Ｄは、ＣＣＤセンサの感光性画素の１行に対応する。
【００２１】
画素取得ユニット１０８は、タイミング発生器２３４、水平駆動回路２３６、垂直駆動回路２３８、および増幅器２４０を更に含む。タイミング発生器は、タイミング信号を水平駆動回路と垂直駆動回路に供給する。垂直駆動回路は、タイミング信号に応答して、ＣＣＤセンサ２０２の画像領域２０４と記憶領域２０６の両方にあるゲート電極２１０、２１２、２１４、２１６、２１８、２２０、２２２、２２４、および２２６に対し、４本の共通電気線２４２、２４４、２４６および２４８を通してゲート電圧を加える。図２に示すように、ＣＣＤセンサの各ゲート電極は、垂直駆動回路２３８に接続された４本の共通電気線のうちの１本に接続される。ゲート電極２１０Ａ、２１２Ａ、２１４Ａ、２１６Ａ、２１８Ａ、２２０Ａ、２２２Ａ、２２４Ａ、および２２６Ａは、電気線２４２に接続される。ゲート電極２１０Ｂ、２１２Ｂ、２１４Ｂ、２１６Ｂ、１２８Ｂ、２２０Ｂ、２２４Ｂ、および２２６Ｂは、電気線２４４に接続される。ゲート電極２１０Ｃ、２１２Ｃ、２１４Ｃ、２１６Ｃ、２１８Ｃ、２２０Ｃ、２２２Ｃ、２２４Ｃ、および２２６Ｃは、電気線２４６に接続される。同様に、ゲート電極２１０Ｄ、２１２Ｄ、２１４Ｄ、２１６Ｄ、２１８Ｄ、２２０Ｄ、２２２Ｄ、２２４Ｄ、および２２６Ｄは、電気線２４８に接続される。このように、４つ目毎に位置するゲート電極は全て同じ電気線に接続される。分かりやすくするため、フレームトランスファ型ＣＣＤセンサデバイスに一般に存在するその他の従来の構成要素については、本明細書では図示も説明もしない。
【００２２】
露光時間中は、垂直駆動回路２３８がゲート電極２１０Ｂ、２１０Ｃ、２１２Ｂ、２１２Ｃ、２１４Ｂ、２１４Ｃ、２１６Ｂ、２１６Ｃ、２１８Ｂ、２１８Ｃ、２２０Ｂ、２２０Ｃ、２２２Ｂ、２２２Ｃ、２２４Ｂ、２２４Ｃ、２２６Ｂ、および２２６Ｃに高い電圧を加え、ＣＣＤセンサ２０２の感光性画素に電位の井戸を作りだす。ＣＣＤセンサの画像領域２０４だけしか光に曝されないので、画像領域の感光性画素だけが入射光に応答して電荷を蓄積する。露光期間の後、垂直駆動回路２３８は全ゲート電極に対し、位相の同期した電圧をそれぞれ加え、画像領域２０４の蓄積電荷をＣＣＤセンサの記憶領域２０６を通してシリアルレジスタ２０８へ垂直に転送する。４相の電荷転送方式についてはデジタル撮像の技術分野でよく知られているので、本明細書では説明しない。まず、蓄積電荷を記憶領域へ高速に転送する。次に、転送された電荷をシリアルレジスタを通して行単位で順番にアナログ画像信号として読み出す。シリアルレジスタが蓄積電荷の行を順番に読み出すのに必要な電圧は、水平駆動回路２３６から供給する。例示の実施形態では、垂直駆動回路が０ボルトまたは１２ボルトを供給し、水平駆動回路が０ボルトまたは５ボルトを供給する。次に、シリアルレジスタから得られたアナログ画像信号を増幅器２４０で増幅し、ＣＤＳ装置１１０へ転送する。
【００２３】
静止画取り込みモードの場合、露光期間の終了時に機械式シャッター１０４を閉じる。従って、機械式シャッターにより、ＣＣＤセンサ２０２の画像領域２０４における光子によって誘導された電荷のそれ以上の蓄積が防止される。しかしながら、ビデオモードの場合、機械式シャッターは使用されない。その主たる理由は、電力の消費があり、また、映像操作時にシャッターが受ける磨耗の速度が速まるからである。したがって、ビデオモード中は、ＣＣＤセンサの画像領域が光から保護されない。そのため、画像領域２０４の蓄積電荷を記憶領域２０６へ転送する際、露光期間中に蓄積された電荷の一部に、光子によって誘導された余分な電荷が混入する。本明細書では、光子によって誘導されたそれらの余分な電荷を「スミア電荷」と呼ぶ。スミア電荷の影響は出力画像内にこすり汚れのような外観が生じることであり、特に、取り込まれたシーンの中に強い光源等の明るい部分があると、そのような外観が生じる。スミアは、ユーザに提示されるプレビュー画像の質を低下させる。さらに、スミアがあると、デジタル撮像装置１００は間違った距離に焦点調節する可能性がある。このように、スミアは、ビデオ動作中にデジタル撮像装置にとって深刻な問題を引き起こす。
【００２４】
デジタル撮像装置１００は、画像信号のスミア成分、すなわち最終画像電荷に含まれるスミア電荷を、実質的に除去することによってこのスミアの問題を解決する。画像取得装置１０８は、取り込んだ電子画像の各々について、露光時間ゼロで電荷を取得する。露光時間がゼロであるから、得られる電荷は露光期間後の電荷蓄積によるものだけであり、この電荷は取り込んだ電子画像の画像電荷に含まれるスミア電荷に等しい。それらの電荷は、本明細書で「スミア電荷」と呼ばれることもあり、後で画像信号のスミア成分を除去するのに用いられる。
【００２５】
次に図１に戻り、デジタル撮像装置１００の他の構成要素について説明する。ＣＤＳ装置１１０は、画像取得装置１０８から得られたアナログ信号すなわち蓄積電荷に含まれるノイズを低減させるように動作する。そして、そのノイズの低減された信号をＡＤＣ１１２に送信する。ＡＤＣは、そのノイズの低減された信号をアナログ信号からデジタル信号に変換する。次に、そのデジタル信号はスミア除去回路１１４によって受信され、そこで露光時間ゼロで蓄積されたスミア電荷から得られたデジタル信号を用いて、そのデジタル画像信号のスミア成分が除去される。図３に示すように、スミア除去回路１１４は、ルータ３０２、画像メモリ３０４、スミアメモリ３０６、および減算装置３０８を含む。ルータは、ＡＤＣ１１２から得られたデジタル信号を、画像メモリまたはスミアメモリのいずれかに送信する。通常露光期間中に蓄積された電荷、すなわち画像電荷のデジタル信号は、画像メモリに送信される。本明細書では、それらの画像電荷のデジタル信号をデジタル画像信号と呼ぶ。ゼロ露光期間中に蓄積された電荷、すなわちスミア電荷のデジタル信号は、スミアメモリに送信される。本明細書では、それらのスミア電荷のデジタル信号をデジタルスミア信号と呼ぶ。スミア除去回路の減算装置３０８は、デジタル画像信号からデジタルスミア信号を減算することにより、デジタル画像信号のスミア成分を除去する。そして、得られた画像信号をＤＳＰ回路１１６に転送する。図１ではスミア除去回路を独立した構成要素として図示しているが、スミア除去回路はＤＳＰ回路に組み込まれる場合もある。
【００２６】
デジタル撮像装置１００のＤＳＰ回路１１６は、スミアの除去された画像信号のモザイクを解除するように動作する。さらに、ＤＳＰ回路は１以上の画像処理技術を実施し、取り込まれた画像の品質を向上させる場合がある。その後、その取り込まれた画像は、閲覧装置１２０に表示したり、記憶装置１１８に格納したりする場合があり、それら両方を行なう場合もある。一例として、閲覧装置はＬＣＤディスプレイであり、記憶装置はフラッシュメモリである場合がある。また、この取り込まれた画像は、マイクロコントローラ１２２において、制御手段１０６を用いてレンズ１０２を自動焦点調節するのに用いられる場合もある。マイクロコントローラは、画像取得装置１０８およびスミア除去回路１１４を含む、デジタル撮像装置の様々な構成要素を制御する。
【００２７】
図４を参照してデジタル撮像装置１００の動作を説明する。ステップ４０２で、ＣＣＤセンサ２０２の画像領域２０４に存在する電荷を除去することにより、露光期間が始まる。画像領域は、画像領域のゲート電極２１０、２１２、２１４、２１６、２１８および２２０の電圧を瞬間的に０ボルトに設定することによって消去することができる。次にステップ４０４で、露光期間の終了時点まで、入射光に応答して電荷が画像領域に蓄積される。この蓄積電荷は対象シーンの電子画像を表す。ステップ４０６で、ＣＣＤセンサに対してフレームシフトを実施し、ＣＣＤセンサの画像領域２０４の蓄積電荷をＣＣＤセンサの記憶領域２０６へ転送する。その際、その蓄積電荷にスミア電荷が混入する場合がある。次にステップ４０８で、得られた電荷をＣＣＤセンサからシリアルレジスタ２０８を通して行単位でアナログ画像信号として読み出す。次にステップ４１０で、そのアナログ画像信号を増幅し、相関二重サンプリングしてデジタル画像信号に変換する。ステップ４１２で、そのデジタル画像信号をスミア除去回路１１４の画像メモリ３０４に格納する。このようにして、スミア成分を有する画像信号を取得し、格納する。
【００２８】
次に、取得した画像のスミア成分に対応するスミア信号を得る。ステップ４１４で、ＣＣＤセンサ２０２の画像領域２０４に存在する電荷をもう一度除去する。画像領域を消去した後、ステップ４１６で、即座にＣＣＤセンサに対してフレームシフトを実行する。従って、スミア信号を得るための露光時間はゼロになる。その結果、得られる電荷は、露光期間後の電荷蓄積によるものであり、これがスミア電荷である。次にステップ４１８で、得られた電荷をＣＣＤセンサからシリアルレジスタを通して行単位でアナログスミア信号として読み出す。次にステップ４２０で、そのアナログスミア信号を増幅し、相関二重サンプリングしてデジタルスミア信号に変換する。ステップ４２２で、そのデジタルスミア信号をスミア除去回路１１４のスミアメモリ３０６に格納する。
【００２９】
次にステップ４２４で、スミア除去回路１１４の減算装置３０８を用いて、格納された画像信号から格納されたスミア信号を減算することにより、画像信号からスミア成分を除去する。スミア信号は画像信号のスミア成分と実質的に等しいので、デジタル信号からスミア信号を減算することにより、画像信号のスミア成分が効果的に除去される。スミアの除去された画像信号は、実質的にスミアを含まないビデオフレームを生成する。このビデオフレームは、デジタル撮像装置１００のレンズ１０２を自動焦点調節したり、閲覧装置１２０上にプレビュー画像を表示したりするのに用いることができ、両方に用いることもできる。
【００３０】
第２の実施形態において、デジタル撮像装置１００は、図５および図６に示すように、画像取得装置１０８およびスミア除去回路１１４とは異なる画像取得装置５０２およびスミア除去回路６０２を用いる。第１の実施形態のデジタル撮像装置と同様に、第２の実施形態のデジタル撮像装置も、画像信号のスミア成分を除去することによって取り込み電子画像内のスミアを低減させる。しかしながら、この第２の実施形態の場合、画像信号とスミア信号を、順番にではなく同時に取得する。すなわち、画像信号とスミア信号は１つの露光期間中に取得される。以下では、第２の実施形態のデジタル画像装置の動作について詳細に説明する。
【００３１】
図５に示すように、画像取得装置５０２は、図２の画像取得装置１０８の構成要素を全て含む。画像取得装置５０２は、ＣＣＤセンサ２０２、水平駆動回路２３６、垂直駆動回路２３８、タイミング発生器２３４、および増幅器２４０を含む。しかしながら、画像取得装置５０２のＣＣＤセンサ２０２は、ＣＣＤセンサ２０２の画像領域２０２における一行おきの感光性画素の行がスミア信号の取得だけに使用されるように構成される。従って、ゲート電極２１２、２１６、および２２０に対応する感光性画素の行は、スミア信号の取得にしか使用されない。本明細書では、それらの行をスミア行と呼ぶ。ゲート電極２１０、２１４および２１８に対応する画像領域内の残りの行は、画像信号の取得だけに使用される。本明細書では、それらの行を画像行と呼ぶ。
【００３２】
ＣＣＤセンサ２０２の画像行とスミア行は、構造的には同じである。しかしながら、画像行のゲート電極２１０、２１４および２１８は、スミア行のゲート電極２１２、２１６および２２０とは異なる、垂直駆動回路２３８から延びる電気線に接続される。各画像行の４つのゲート電極は、電気線２４２、２４４、２４６および２４８に接続される。各スミア行の４つのゲート電極は、電気線２４２、２４８、５０４および５０６に接続される。電気線２４２および２４８はＣＣＤセンサの全ての行で共用されるため、画像取得装置５０２は、図２の画像取得装置１０８と比較して、垂直駆動回路２３８から延びる２本の電気線５０４および５０６を更に含むことになる。
【００３３】
ビデオ動作中、画像取得装置５０２は、次のような方法で画像信号とスミア信号の両方を取得する。まず、ＣＣＤセンサ２０２の画像領域２０４に存在する電荷を除去する。露光期間中は、垂直駆動回路２３８によって、電気線２４４および２４６だけに高い電圧（例えば１２ボルト）を加える。残りの電気線２４２、２４８、５０４および５０６の電圧は０ボルトに維持する。その結果、画像行だけに電荷を蓄積させることができる。露光期間の終了時にフレームシフトを実施し、ＣＣＤセンサの画像領域２０４に蓄積された電荷を記憶領域２０６へ転送する。このフレームシフトは、垂直駆動回路２３８を用いてＣＣＤセンサのゲート電極に位相の同期した電圧を加えることによって実施される。この転送の際、ＣＣＤセンサの画像領域にスミア電荷が蓄積される。従って、画像行から得られる蓄積電荷は、このスミア電荷の分だけ増加することになる。しかしながら、スミア行にはフレームシフト前に蓄積された電荷が存在しないため、スミア行から転送される電荷は、露光期間後に蓄積されたスミア電荷だけしか含まない。次に、ＣＣＤセンサの記憶領域に転送された電荷をシリアルレジスタ２０８を通して行単位で順番にアナログ信号として読み出す。第１の実施形態と同様に、このアナログ信号を増幅器２４０で増幅してＣＤＳ装置１１０へ送信し、そこでアナログ信号のノイズを低減させる。次に、ＡＤＣ１１２を用いてそのノイズの低減されたアナログ信号をデジタル信号に変換してスミア除去回路６０２へ送信し、そこでデジタルスミア信号を用いてデジタル画像信号のスミア成分を除去する。
【００３４】
図６に示すように、第２の実施形態によるスミア除去回路６０２は、ルータ６０４、シングルラインバッファ６０６、および減算装置６０８を含む。ルータはＣＣＤセンサ２０２のスミア行から得られたスミア信号をシングルラインバッファ６０６へ送信するように構成され、スミア信号はシングルラインバッファ６０６に一時的に格納される。また、ルータは更に、ＣＣＤセンサの画像行から得られた画像信号を減算装置６０８へ送信するように構成され、そこで画像信号からシングルラインバッファに格納されたスミア信号が減算される。ＣＣＤセンサのスミア行および画像行から電荷が行単位で読み出されるため、スミア除去回路６０２は、ＣＣＤセンサの各画像行についてＣＣＤセンサの隣接するスミア行から得られたスミア電荷を表すデジタルスミア信号を受信する。ＣＣＤセンサの特定の画像行について、その隣接スミア行から得られたスミア信号は、その画像信号のスミア成分を近似する信号になる。したがって、それらの隣接スミア行から得られたスミア信号を用いることによって、画像信号のスミア成分が実質的に除去される。スミア成分を除去した後、スミアの除去された画像信号は、さらなる処理のためにＤＳＰ回路１１６へ送信される。スミア除去回路６０２は、図３のスミア除去回路１１４と同様にＤＳＰ回路に組み込まれる場合がある。
【００３５】
図７を参照して第２の実施形態によるデジタル撮像装置１００の動作を説明する。ステップ７０２で、ＣＣＤセンサ２０２の画像領域２０４に存在する電荷を除去する。画像領域は、画像領域のゲート電極２１０、２１２、２１４、２１６、２１８、および２２０の電圧を瞬間的に０ボルトに設定することにより消去することができる。次に、ステップ７０４で、露光期間の終了時点まで、入射光に応答して電荷が画像領域の画像行に蓄積される。画像行の感光性画素に蓄積された電荷は対象シーンの電子画像を表す。ステップ７０６で、ＣＣＤセンサに対してフレームシフトを実施し、ＣＣＤセンサの画像領域に蓄積された電荷をＣＣＤセンサの記憶領域へ転送する。その際、余分な光子によって誘導された電荷（すなわちスミア電荷）がその蓄積電荷に混入する場合がある。さらに、ＣＣＤセンサの画像行の蓄積電荷をＣＣＤセンサの記憶領域に転送している間は、画像領域のスミア行にも、スミア電荷が蓄積される。次にステップ７０８で、ＣＣＤセンサの画像行およびスミア行から、得られた電荷をシリアルレジスタ２０８を通して行単位でアナログ画像信号およびアナログスミア信号として読み出す。次にステップ７１０で、それらのアナログ信号を増幅し、相関二重サンプリングしてデジタル画像信号およびデジタルスミア信号に変換する。
【００３６】
次にステップ７１２で、ＣＣＤセンサのスミア行から得られたデジタルスミア信号をスミア除去回路６０２のシングルラインバッファ６０６に一時的に格納する。ステップ７１４で、ＣＣＤセンサ２０２内の次の画像行から得られたデジタル画像信号から、格納したスミア信号を減算することにより、当該次の画像行について、スミアの除去された画像信号を得る。ステップ７１２およびステップ７１４は、ＣＣＤセンサから得られる全ての信号が処理されるまで繰り返す。
【００３７】
代替構成において、スミア除去回路６０２のシングルラインバッファ６０６は、スミア信号ではなく、ＣＣＤセンサ２０２の画像行から得られた画像信号を一時的に格納する場合がある。従って、この構成の場合、ＣＣＤセンサの画像行から得られた画像信号のスミア成分を除去するのに、ＣＣＤセンサの隣接スミア行から得られる次のスミア信号が用いられる。
【００３８】
第２の実施形態によるデジタル撮像装置１００で重要な点は、画像取得装置５０２のＣＣＤセンサ２０２のうちの半分が、ビデオ動作中にスミア信号を得るのに用いられることである。従って、同じ解像度のビデオフレームを取り込むためには、ＣＣＤセンサの大きさを従来のＣＣＤセンサの２倍にする必要がある。一代替実施形態において、デジタル撮像装置は、ＣＣＤセンサがもっと少数のスミア行しか使用しないように構成される場合がある。例えば図８に示すように、ＣＣＤセンサの画像領域は、４つの連続した画像行８０４毎に１行のスミア行８０２を有する場合がある。この例の実施形態の場合、一対の隣接するスミア行を用いて、それら２つの隣接スミア行間にある画像行に関する画像信号のスミア成分を推定する。従って、スミア行８０２Ａおよび８０２Ｂは、画像行８０４ａに関する画像信号のスミア成分を推定するのに使用される。同様に、スミア行８０２Ｂおよび８０２Ｃは画像行８０４ｂに関する画像信号のスミア成分を推定するのに使用され、スミア行８０２Ｃおよび８０２Ｄは画像行８０４ｃに関する画像信号のスミア成分を推定するのに使用される。
【００３９】
この代替実施形態の場合、デジタル撮像装置１００は図９に示すようなスミア除去回路９０２を含む。スミア除去回路９０２は、ルータ９０４、マルチラインバッファ９０６、補間装置９０８、および減算装置９１０を含む。ルータは、ＡＤＣ１１２から得られたデジタル信号を、その信号が画像信号であるかスミア信号であるか応じて、補間ユニット９０８またはマルチラインバッファ９０６のいずれかへ送信するように動作する。ＣＣＤセンサ２０２の２つの隣接するスミア行（例えばスミア行８０２Ａと８０２Ｂ）から得られたスミア信号は、補間ユニット９０８に送信される一方、それら２つの隣接するスミア行間にあるＣＣＤセンサの画像行（例えば画像行８０４ａ）から得られた画像信号は、マルチラインバッファ９０６に送信される。次に、補間装置は、それら２つの隣接するスミア行から得られたスミア信号を補間して、２つの隣接するスミア行間の画像行から得られた画像信号のスミア成分を表す推定スミア信号を生成する。１つの方法として、この推定スミア信号には、隣接するスミア行から得られた２つスミア信号の平均を用いる場合がある。従って、この方法の場合、隣接するスミア行間の画像行から得られた各画像信号について、同じ推定スミア信号が使用される。他の方法では、隣接するスミア行間の画像行から得られた画像信号のそれぞれについて推定スミア信号を生成する場合がある。この方法の場合、２つの対応するスミア信号を補間することにより、４つの異なる推定スミア信号を生成する。例えば、それら４つの推定スミア信号は、２つの対応するスミア信号によって定義された直線上に位置する場合がある。
【００４０】
次に、その推定スミア信号と、２つの隣接したスミア行間の画像行から得られた画像信号とをスミア除去回路９０２の減算装置９１０に送信し、そこで画像信号から推定スミア信号を減算し、画像信号のスミア成分を除去する。そして、そのスミアの除去された画像信号をさらなる処理のためにＤＳＰ回路１１６へ送信する。
【００４１】
図１０を参照して、この代替実施形態によるデジタル撮像装置１００の動作を説明する。ステップ１００２で、ＣＣＤセンサ２０２の画像領域２０４に存在する電荷を除去する。画像領域は、画像領域のゲート電極の電圧を瞬間的に０ボルトに設定することによって消去することができる。次にステップ１００４で、露光期間の終了時点まで、入射光に応答して電荷が画像領域の画像行に蓄積される。この蓄積電荷は対象シーンの電子画像を表す。ステップ１００６で、ＣＣＤセンサに対してフレームシフトを実施し、ＣＣＤセンサの画像領域の蓄積電荷をＣＣＤセンサの記憶領域２０６に転送する。その際、光子によって誘導された余分な電荷（すなわちスミア電荷）がその蓄積電荷に混入する場合がある。さらに、ＣＣＤセンサの画像領域の蓄積電荷をＣＣＤセンサの記憶領域に転送している間は、画像領域のスミア行にも、スミア電荷が蓄積する。次にステップ１００８で、ＣＣＤセンサの画像行およびスミア行から、得られた電荷をシリアルレジスタ２０８を通して行単位でアナログスミア信号として読み出す。次にステップ１０１０で、そのアナログ信号を増幅し、相関二重サンプリングしてデジタル画像信号およびデジタルスミア信号に変換する。
【００４２】
次にステップ１０１２で、ＣＣＤセンサ２０２の２つの隣接するスミア行から得られたデジタルスミア信号を、スミア除去回路９０２の補間ユニット９０８に送信する。ステップ１０１４で、２つの隣接するスミア行間にあるＣＣＤセンサの画像行から得られたデジタル画像信号を、スミア除去回路９０２のマルチラインバッファ９０６に送信する。ステップ１０１６で、それらのスミア信号を補間することにより、又はそれらの平均をとることにより、推定スミア信号を生成する。ステップ１０１８で、デジタル画像信号から推定スミア信号を減算して、スミアの除去された画像信号を生成する。ＣＣＤセンサ２０２から得られた全ての信号が処理されるまで、ステップ１０１２〜ステップ１０１８を繰り返す。
【００４３】
図１１を参照して、フレームトランスファ型ＣＣＤセンサを用いて取り込まれた画像内のスミアを低減させる方法を説明する。ステップ１１０２で、対象シーンの画像を表す画像信号を生成する。この画像信号は、画像成分とスミア成分とを含む。画像成分は露光期間中にＣＣＤセンサで収集された電荷に相当し、スミア成分は露光期間後にＣＣＤセンサで収集された電荷に相当する。次にステップ１１０４で、画像信号のスミア成分を表す推定スミア信号を生成する。この推定スミア信号は、露光期間後にＣＣＤセンサに蓄積された電荷に基づいて生成される。ステップ１１０６で、推定スミア信号を用いて、画像信号のスミア成分を実質的に除去する。
【図面の簡単な説明】
【００４４】
【図１】本発明の第１の実施形態によるデジタル撮像装置のブロック図である。
【図２】第１の実施形態によるデジタル撮像装置の画像取得装置のブロック図である。
【図３】第１の実施形態によるデジタル撮像装置のスミア除去回路のブロック図である。
【図４】第１の実施形態によるデジタル撮像装置の動作の流れ図である。
【図５】本発明の第２の実施形態によるデジタル撮像装置の画像取得装置のブロック図である。
【図６】第２の実施形態によるデジタル撮像装置のスミア除去回路のブロック図である。
【図７】第２の実施形態によるデジタル撮像装置の動作のフロー図である。
【図８】代替実施形態による例示的なＣＣＤセンサ構成である。
【図９】代替実施形態によるデジタル撮像装置のスミア除去回路のブロック図である。
【図１０】代替実施形態によるデジタル撮像装置の動作のフロー図である。
【図１１】本発明によるスミアを低減させる方法のフロー図である。

Claims

電子画像センサ(202)を用いて取り込まれた画像のスミアを低減させる方法であって、
対象シーンの電子画像を表す画像信号であって該画像信号がその一部に、露光期間中に前記電子画像センサに収集された電荷に対応する画像成分と、前記露光期間後に前記電子画像センサに収集された電荷に対応するスミア成分とを含む、画像信号を生成するステップ(1102)と、
前記電子画像センサに蓄積された電荷に基づいて前記画像信号のスミア成分を表す推定スミア信号を生成するステップ(1104)と、
前記推定スミア信号を用いて前記画像信号から前記スミア成分を実質的に除去し、前記電子画像のスミアを低減させるステップ(1106)と、
からなる方法。
前記画像信号を生成するステップ(1102)が、露光期間の開始時点から前記電子画像センサ(202)に電荷を収集することを含み、前記推定スミア信号を生成するステップ(1104)が、露光期間の終了時点から前記電子画像センサに電荷を収集することを含む、請求項１の方法。
前記推定スミア信号を生成するステップ(1104)と前記画像信号を生成するステップ(1102)が、順番に実施される、請求項２の方法。
前記推定スミア信号を生成するステップ(1104)と前記画像信号を生成するステップ(1102)が、同時に実施される、請求項２の方法。
前記推定スミア信号を生成するステップ(1104)が、露光期間の終了時点から前記電子画像センサ(202)の選択部分(212B,212C,220B,220C)に電荷を収集してサンプルスメア信号を得ることを含む、請求項１、２または４の方法。
電子画像のスメアを低減させる装置であって、
感光性画素(232)のアレイを有する電子画像センサ(202)であって、前記電子画像センサが対象シーンの電子画像を表す画像信号を生成するように構成され、前記画像信号がその一部に、露光期間中に前記電子画像センサに収集された電荷に対応する画像成分と、前記露光期間後に前記電子画像センサに収集された電荷に対応するスミア成分とを含み、前記電子画像センサ(202)が前記画像信号の前記スミア成分を表すサンプルスミア信号を生成するように更に構成される、電子画像センサと、
前記電子画像センサに接続され、前記サンプルスミア信号を用いて前記画像信号から前記スミア成分を実質的に除去して前記電子画像のスミアを低減させる、スミア除去装置(114,602,902)と、
前記電子画像センサ(202)は、前記画像信号の集合と前記スミア信号の集合とを順番に生成するように構成される、請求項６の装置。
前記電子画像センサ(202)は、前記画像信号の集合と前記スミア信号の集合とを同時に生成するように構成される、請求項６の装置。
前記電子画像センサ(202)は、前記サンプルスミア信号の生成だけを行なうように構成された特定の感光性画素を含む、請求項８の装置。
前記特定の感光性画素が前記電子画像センサ(202)の選択された画素行に配置され、前記サンプルスミア信号の生成だけを行なう、請求項９の装置。