JP2010050538A - 撮像装置、スミア低減方法、および、プログラム - Google Patents

Abstract

【課題】スミアをより効果的に低減させる。
【解決手段】デジタルカメラ１で動画撮像をおこなう場合、奇数フレームについては、イメージセンサ１３０の受光素子に蓄積された電荷を垂直転送路で転送して出力する通常の読み出し動作をおこなう。このとき、垂直転送路の露光によって蓄積された電荷も含めた画像信号として出力される。偶数フレームについては、受光素子に蓄積された電荷を垂直転送路に転送せず、垂直転送路が露光したことで蓄積された電荷を画像信号として出力する。制御部２１０は、奇数フレームの画像データから偶数フレームの画像データを減算することで、垂直転送路の露光によって蓄積した電荷を除去した画像データを生成し、減算後の画像データを用いた動画像を表示部３１０に表示出力する。
【選択図】図１

Description

本発明は、撮像装置、スミア低減方法、および、プログラムに関し、特に、スミア低減に好適な撮像装置、スミア低減方法、および、プログラムに関する。

デジタル方式の撮像装置においては、イメージセンサにＣＣＤ（Charge Coupled Device：電荷結合素子）が用いられていることが多い。一方で、ＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）センサもイメージセンサとして主流になりつつあるが、動画撮像時に画像が歪む特性があるため、動画撮像機能を備える撮像装置においてはＣＣＤを採用することが好適となる。

ＣＣＤでは、受光素子に蓄積された電荷を垂直転送路に転送し、垂直転送路で垂直方向に電荷を転送した後、水平転送路で水平方向に転送して出力する動作をおこなっている。このようなＣＣＤの欠点として、垂直転送路内の電荷が飽和することで発生する「スミア」がある。つまり、垂直転送路内の電荷があふれ出すことにより、表示画面の垂直方向に線状の高輝度部分が現れてしまう。

ここで、ＣＣＤで形成された垂直転送路に光電効果のあることが一般的である。このため、垂直転送路が露光すると電荷が蓄積されてしまうので、垂直転送路は遮光されている。しかしながら、垂直転送路を完全に遮光することは困難であるため、垂直転送路の露光によって不要な電荷が垂直転送路内に蓄積してしまうことがある。

このような不要電荷が蓄積された垂直転送路に受光素子からの電荷が重畳されるので、垂直転送路が露光することで発生する電荷がスミアの原因となる場合がある。

このような要因で発生するスミアを低減させるため、イメージセンサから１フレーム分の画像信号を出力した後に、垂直転送路内に蓄積された電荷を掃き出す方法が提案されている（例えば、特許文献１）。

特開２００５−１２３７９５号公報

しかしながら、特許文献１の手法では、画像信号を出力した後に垂直転送路に蓄積した電荷が次の画像信号に重畳されることを防ぐことはできるが、受光素子の露光期間に垂直転送路が露光することで発生した不要電荷については画像信号に含まれて出力されるので、スミアの発生要因を完全に除去することができない。

本発明は、上記実状に鑑みてなされたものであり、スミアをより効果的に低減することのできる撮像装置、スミア低減方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
受光素子及びこれら受光素子を露光して得られる電荷を読み出して転送する転送路を受光面に形成したイメージセンサを用いる撮像装置において、
前記転送路の光電効果によって該転送路に蓄積された電荷を含み、かつ、前記イメージセンサの受光素子に蓄積された電荷を含まない画像信号を前記イメージセンサから出力させる制御手段と、
前記イメージセンサの受光素子に蓄積された電荷と前記転送路の光電効果によって該転送路に蓄積された電荷とを含んだ画像信号から、前記制御手段が出力させた画像信号を減算し、減算後の画像信号を用いた動画像を出力する出力手段と、
を備えることを特徴とする。

上記撮像装置において、
前記制御手段は、前記受光素子に蓄積した電荷の前記転送路への転送動作を制御することで、前記受光素子に蓄積した電荷を含まない画像信号を前記イメージセンサから出力させることが望ましい。

上記撮像装置において、
前記制御手段は、前記イメージセンサの受光素子に蓄積した電荷を前記転送路へ転送させたフレームの次のフレームについては、前記受光素子に蓄積した電荷を前記転送路に転送させないことが望ましい。

上記撮像装置は、
前記制御手段が前記受光素子に蓄積した電荷を前記転送路に転送させないフレームについての露光時間を、当該フレームの直前のフレームについての露光時間を係数倍した露光時間に短縮させる露光時間制御手段をさらに備えていることが望ましく、この場合、
前記出力手段は、前記露光時間を短縮したフレームの画像信号を前記係数の逆数倍することで得られる画像信号を、前記直前のフレームの画像信号から減算することが望ましい。

上記目的を達成するため、本発明の第２の観点にかかるスミア低減方法は、
受光素子及びこれら受光素子を露光して得られる電荷を読み出して転送する転送路を受光面に形成したイメージセンサを用いた撮像装置でのスミアを低減させる方法であって、
前記イメージセンサの受光素子に蓄積された電荷と前記転送路の光電効果によって該転送路に蓄積された電荷とを含んだ画像信号を前記イメージセンサから読み出す第１の読み出しステップと、
前記転送路の光電効果によって該転送路に蓄積された電荷を含み、かつ、前記受光素子に蓄積された電荷を含まない画像信号を前記イメージセンサから読み出す第２の読み出しステップと、
前記第１の読み出しステップで読み出された画像信号から、前記第２の読み出しステップで読み出された画像信号を減算する減算ステップと、
前記減算ステップでの減算後の画像信号を用いた動画像を出力する出力ステップと、
を含むことを特徴とする。

上記スミア低減方法は、
前記第２の読み出しステップが読み出す画像信号を生成するための露光時間を、前記第１の読み出しステップが読み出す画像信号を生成するための露光時間を係数倍した露光時間に短縮する露光時間制御ステップと、
前記第２の読み出しステップで読み出された画像信号を、前記係数の逆数で乗じて増幅させる信号増幅ステップと、をさらに含んでいることが望ましく、この場合、
前記減算ステップは、前記第１の読み出しステップで読み出された画像信号から、前記信号増幅ステップで増幅された画像信号を減算することが望ましい。

上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
受光素子及びこれら受光素子を露光して得られる電荷を読み出して転送する転送路を受光面に形成したイメージセンサを用いる撮像装置を制御するコンピュータに、
前記イメージセンサの受光素子に蓄積された電荷と前記転送路の光電効果によって該転送路に蓄積された電荷とを含んだ画像信号を前記イメージセンサから読み出す機能と、
前記転送路の光電効果によって該転送路に蓄積された電荷を含み、かつ、前記受光素子に蓄積された電荷を含まない画像信号を前記イメージセンサから読み出す機能と、
前記受光素子に蓄積された電荷を含んでいる前記画像信号から、前記受光素子に蓄積された電荷を含んでいない前記画像信号を減算する機能と、
前記減算後の画像信号を用いた動画像を出力する機能と、
を実現させることを特徴とする。

上記プログラムは、
前記コンピュータに、
前記受光素子に蓄積された電荷を含んでいない前記画像信号を生成するための露光時間を、前記受光素子に蓄積された電荷を含んでいる前記画像信号を生成するための露光時間を係数倍した露光時間に短縮する機能と、
前記受光素子に蓄積された電荷を含んでいない画像信号を、前記係数の逆数で乗じて増幅させる機能と、
をさらに実現させることが望ましい。

本発明によれば、スミアをより効果的に低減することができる。

本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、少なくとも、動画撮像機能を有しているものとする。この場合、デジタルカメラ１は、デジタルビデオカメラのような、動画像を撮像・記録するデジタルカメラとすることができる他、ファインダ画像として動画像を表示出力するデジタルスチルカメラであってもよい。

図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。

撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図示するように、光学装置１１０、光学駆動部１２０、イメージセンサ１３０、水平／垂直ドライバ（Ｈ／Ｖドライバ）１４０、などから構成される。

光学装置１１０は、例えば、レンズ、絞り機構、などといった撮像にかかる光学的動作をおこなう。光学駆動部１２０は、例えば、モータやアクチュエータ、駆動回路（ドライバ）などから構成され、制御部２１０の制御に基づいた光学装置１１０の駆動制御をおこなう。すなわち、光学駆動部１２０によって駆動制御された光学装置１１０の動作により、入射光が集光されるとともに、焦点距離や絞りなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。光学装置１１０によって集光された入射光は、イメージセンサ１３０上に結像される。

イメージセンサ１３０は、光学装置１１０によって結像された被写体像を示す電気信号を生成する固体撮像素子であり、画素に対応する受光素子（フォトダイオードなど）での露光に応じた電荷を発生させる光電変換をおこなうことで、被写体像を示す電気信号を生成する。本実施形態では、受光素子の露光によって発生した電荷をライン単位で垂直転送することで画像信号として読み出す構造のイメージセンサ（例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子））が用いられているものとする。

Ｈ／Ｖドライバ１４０は、イメージセンサ１３０での電荷転送を制御する駆動回路であり、後述するタイミングジェネレータ（ＴＧ）２２２からのパルス信号を電位に変換してイメージセンサ１３０に印加することでイメージセンサ１３０を駆動する。このような駆動制御により、各受光素子で蓄積した電荷が垂直転送された後に水平転送され、画像信号として出力される。

データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、アナログフロントエンド（ＡＦＥ：Analog Front-End）２２０、画像メモリ２３０、画像処理部２４０、画像出力部２５０、記憶部２６０、などから構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２６０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。

ＡＦＥ２２０は、イメージセンサ１３０が出力するアナログ画像信号をデジタル画像データに変換する動作と、後述する制御部２１０からの指示に基づいてＨ／Ｖドライバ１４０を制御する動作をおこなう。図１に示すように、ＡＦＥ２２０は、制御レジスタ２２１、タイミングジェネレータ（ＴＧ：Timing Generator）２２２、サンプルホールド回路（Ｓ／Ｈ）２２３、Ａ−Ｄ変換器（ＡＤＣ：Analog-Digital Converter）２２４、などから構成される。

制御レジスタ２２１は、制御部２１０からの制御コマンドを受け付け、コマンドに応じてＴＧ２２２およびＡＤＣ２２４を制御する。

ＴＧ２２２は、制御レジスタ２２１による制御により、イメージセンサ１３０を動作させるためのパルス信号を生成してＨ／Ｖドライバ１４０に印加する。この場合、ＴＧ２２２は、イメージセンサ１３０での垂直転送タイミングを示す垂直同期信号ＶＤ、垂直転送された電荷の水平転送タイミングを示す水平同期信号ＨＤ、電荷の読み出しタイミングを示す電荷読み出し信号ＳＧ、残留電荷の排出タイミングを示す電荷排出信号ＳＵＢ、受光素子に蓄積された電荷をリセットするリセット信号ＲＳＴ、などのパルス信号を生成してＨ／Ｖドライバ１４０に印加する。また、垂直同期信号ＶＤや水平同期信号ＨＤなどは、ＡＦＥ２２０内のＳ／Ｈ２２３やＡＤＣ２２４にも印加されることで、イメージセンサ１３０による画像信号出力動作と、出力された画像信号のデジタル変換動作とが同期される。

Ｓ／Ｈ２２３は、サンプルホールド回路であり、イメージセンサ１３０から出力されるアナログ画像信号を１画素分ずつサンプルホールドし、後段のＡＤＣ２２４に入力する。

ＡＤＣ２２４は、例えば、ＣＤＳ回路（相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling））やアナログアンプなどを搭載したアナログ−デジタル変換器（ＡＤＣ）であり、イメージセンサ１３０から出力されたアナログ画像信号をデジタル画像データに変換する。この場合、イメージセンサ１３０からのアナログ画像信号に含まれているアンプノイズやリセットノイズをＣＤＳ回路で除去した後、アナログアンプによって撮像感度に応じた増幅をおこない、ＡＤＣでデジタルデータに変換する。

画像メモリ２３０は、ＲＡＭやフラッシュメモリなどの半導体記憶装置から構成され、ＡＤＣ２２４によって変換されたデジタル画像データを展開して保持する。

画像処理部２４０は、画像処理用のプロセッサ（いわゆる、画像処理エンジン）、などから構成され、画像メモリ２３０に展開されたデジタル画像データに対する各種の画像処理をおこなう。ここでは、ホワイトバランスや画質などの調整やデータ圧縮などがおこなわれる。

画像出力部２５０は、例えば、ＲＧＢ信号（ビデオ信号）の生成回路などから構成され、画像メモリ２３０に展開されている画像処理後のデジタル画像データをＲＧＢ信号に変換し、後述する表示部３１０や外部出力端子などに出力することで、撮像画像の表示出力をおこなう。

記憶部２６０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２６０に格納されているものとする。なお、記憶部２６０は、例えば、メモリカードなどの外部記憶媒体も含んでいるものとし、撮像画像データなどが保存される。

Ｉ／Ｆ部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、操作部３２０、などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像（ファインダ画像）、撮像画像、などを表示出力する。本実施形態では、画像出力部２５０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。

操作部３２０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３２０を構成するボタンとして、例えば、撮像動作の開始・停止（動画像撮像時）やシャッタ動作（スチル画像撮像時）などを指示するためのシャッタボタンや、デジタルカメラ１が有する各種の動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。

以上が本実施形態にかかるデジタルカメラ１を構成している主要なハードウェア構成となるが、これらは本発明を実現するために必要な構成であり、デジタルカメラ（デジタルビデオカメラ、デジタルスチルカメラ）としての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。

上述したように、本実施形態にかかるデジタルカメラ１は、イメージセンサ１３０にＣＣＤを採用した、動画像撮像機能を有するデジタルカメラである。このような構成の場合、特に、動画像撮像時においてスミアが発生することがあり、本発明は、このようなスミアを低減させることを目的とする。ここで、上記構成のデジタルカメラ１においてスミアが発生する原理等を以下に説明する。

まず、本発明を適用することでスミアの低減を図ることのできるイメージセンサについて説明する。本実施形態では、例えば、図２に示すような、インターライン転送型ＣＣＤ（ＩＴ−ＣＣＤ）がイメージセンサ１３０として用いられているものとする。この場合のイメージセンサ１３０は、図示するように、マトリクス配列されたフォトダイオードなどの受光素子１３１と、各受光素子１３１が蓄積した電荷を垂直方向に転送する垂直転送ＣＣＤ１３２、および、垂直転送ＣＣＤ１３２で転送された電荷を水平方向に転送して後段のＡＦＥ２２０へ出力する水平転送ＣＣＤ１３３、などから構成されている。

このような構成のＣＣＤでは、受光素子から垂直転送ＣＣＤへの電荷転送タイミングを制御することで、受光素子で電荷が蓄積される時間（露光時間）が制御される（いわゆる電子シャッタ）。動画像撮像時においては、設定されたフレームレートに応じた１フレーム分の時間で受光素子に蓄積した電荷を垂直転送ＣＣＤに転送させることで、フレーム単位の画像信号が読み出されることになる。

このような動作で画像信号を出力するＣＣＤでは、撮像画角内に強い光源（例えば、太陽など）が写り込んでいると、その光源からの光を受光している受光素子においては、適正な露光時間であっても電荷が飽和してしまう。飽和した電荷は垂直転送ＣＣＤにあふれ出し、さらには垂直転送ＣＣＤ内の電荷に次々とあふれ出す。この結果、表示される動画像上の垂直方向に線状の高輝度部分が現れるスミアが発生する。これがスミアの典型的な発生原理であり、機械式シャッタによる遮光などをおこなうことのできない動画像撮像で特に発生しやすい。

このような、受光素子での電荷の飽和がスミアの主な発生要因であるが、垂直転送ＣＣＤの露光がスミアの発生要因となる場合もある。つまり、垂直転送ＣＣＤは、露光面側に遮光膜（例えば、アルミニウム薄膜など）を設けることで遮光するようにしているが、完全に遮光することは困難であり、例えば、近接している受光素子側から垂直転送ＣＣＤへ浸入した光や、遮光膜を透過した光によって垂直転送ＣＣＤが露光してしまうことがある。

この場合、受光素子からの電荷転送前に、垂直転送ＣＣＤ内にも電荷が発生することになるので、受光素子から転送された際にはそれぞれの電荷が重畳されスミアが発生する。すなわち、受光素子では電荷が飽和していない場合であっても、スミアが発生することがある。

ここで、画像信号として電荷を出力した後に垂直転送ＣＣＤ内に発生した電荷については、特許文献１に開示されているような残留電荷の掃き出しをおこなうことで、次の画像（フレーム）の電荷に残留電荷が重畳されることを防止することができる。

しかしながら、受光素子の露光期間中も垂直転送ＣＣＤは露光しているので、このときに垂直転送ＣＣＤで発生した電荷については、受光素子から転送された電荷と重畳され画像信号として出力されてしまう。つまり、画像信号を出力した後に残留電荷の掃き出しをおこなっても、露光期間中に垂直転送ＣＣＤ内に発生した電荷は除去されないので、このような電荷がスミアの要因となる場合には、従来の残留電荷の掃き出しだけでは、スミアを除去することができない。

以下、本発明を適用することによって、露光期間中に垂直転送ＣＣＤが露光することに起因するスミアを低減させる手法を例示する。

（実施形態１）
本実施形態では、上述した構成のデジタルカメラ１で動画像撮像をおこなう場合に発生するスミアの低減を図るべくイメージセンサ１３０を駆動制御するとともに、生成されたフレーム画像（デジタル画像データ）を用いた演算をおこなう。このような動作を実現するための機能は、制御部２１０がプログラムを実行することで実現される。制御部２１０によって実現される機能構成を図３に示す。図３は、制御部２１０によって実現される機能を示した機能ブロック図であり、図示するように、制御部２１０は、撮像制御部２１１、フレーム画像処理部２１２、出力制御部２１３、などとして機能する。

撮像制御部２１１は、設定された撮影パラメータなどに応じた制御信号を光学駆動部１２０に入力して光学装置１１０の動作を制御する他、イメージセンサ１３０を駆動制御するための制御コマンドを生成し、ＡＦＥ２２０の制御レジスタ２２１に送出する。動画像撮像の場合、動画像を構成するフレーム画像単位でイメージセンサ１３０からの画像信号読み出しをおこなうが、本実施形態では、通常の画像信号読み出しをおこなったフレームの次のフレームについては、受光素子１３１に蓄積された電荷の垂直転送ＣＣＤ１３２への転送はおこなわず、垂直転送ＣＣＤ１３２から水平転送ＣＣＤ１３３への転送のみをおこなう。

通常の読み出しをおこなったフレームの画像信号は、受光素子１３１が露光したことによって蓄積された電荷と、垂直転送ＣＣＤ１３２自体が露光したことによって垂直転送ＣＣＤ１３２内に蓄積された電荷とが重畳されたものである。この場合、被写体像を反映しているのは受光素子１３１が蓄積した電荷であるから、垂直転送ＣＣＤ１３２内に蓄積された電荷は余剰な電荷であり、スミアの要因となるものである。よって、通常の読み出しによって得られた画像信号は「画像成分＋スミア成分」を含んでいることになる。

このような通常の読み出し動作をおこなうための制御は、露光時間の終了タイミングにおいて、受光素子１３１に蓄積した電荷を垂直転送ＣＣＤ１３２に転送させるための読み出し信号ＳＧをイメージセンサ１３０に印加することで、被写体像を示す電荷を垂直転送ＣＣＤ１３２に転送し、垂直転送ＣＣＤ１３２に転送された電荷が水平転送ＣＣＤ１３３に転送されてイメージセンサ１３０から出力される。さらに、電荷排出信号ＳＵＢをイメージセンサ１３０に印加することで、転送期間中に垂直転送ＣＣＤ１３２に残留した電荷、および転送期間後に垂直転送ＣＣＤ１３２に蓄積した電荷の掃き出しをおこなう。また、受光素子１３１に蓄積された電荷をリセットさせるリセット信号ＲＳＴを、露光期間の終了時にイメージセンサ１３０に印加する。

撮像制御部２１１は、イメージセンサ１３０がこのように駆動されるような制御コマンドを生成して制御レジスタ２２１に入力することで、コマンドに応じたパルス信号がイメージセンサ１３０に印加される。

このような通常の読み出しによって得られるフレームは、画像成分とスミア成分を含んだ画像であるので、このようなフレーム画像からスミア成分のみの画像を減算することができれば、画像成分のみのフレームを得ることができる。このような減算をおこなうため、次のフレームでは、スミア成分のみのフレーム画像となるようイメージセンサ１３０を駆動制御する。

この場合のスミア成分は、受光素子１３１の露光期間中に垂直転送ＣＣＤ１３２が露光したことで発生した電荷である。よって、次のフレームにおいては、前フレームの露光時間と同じ露光時間を取ることで垂直転送ＣＣＤ１３２内に蓄積した電荷のみを出力して画像信号とすることで、スミア成分のみの画像を示す画像信号が得られる。この場合、受光素子１３１で蓄積された電荷を垂直転送ＣＣＤ１３２に転送させるための電荷読み出し信号ＳＧをイメージセンサ１３０に印加せず、垂直転送ＣＣＤ１３２に蓄積された電荷が水平転送ＣＣＤ１３３に転送されてイメージセンサ１３０から出力される。さらに、電荷排出信号ＳＵＢをイメージセンサ１３０に印加することで、転送期間中に垂直転送ＣＣＤ１３２に残留した電荷、および転送期間後に垂直転送ＣＣＤ１３２に蓄積した電荷の掃き出しをおこなう。また、受光素子１３１に蓄積された電荷をリセットさせるリセット信号ＲＳＴを、露光期間の終了時にイメージセンサ１３０に印加する。これにより、前フレームでの露光時間と同じ時間だけ垂直転送ＣＣＤ１３２が露光したことで発生した電荷のみが画像信号として出力される。

撮像制御部２１１は、イメージセンサ１３０がこのように駆動されるような制御コマンドを生成して制御レジスタ２２１に入力することで、コマンドに応じたパルス信号がイメージセンサ１３０に印加される。

このようにして、スミア成分のみのフレームを示す画像信号が出力される。このフレームを前フレームから減算すれば、画像成分のみのフレームが得られるので、通常読み出しのフレームとスミアのみのフレームとが交互に得られるようイメージセンサ１３０を駆動制御する。このような動作の一例として、本実施形態では、奇数フレームは通常の読み出しをおこない、偶数フレームはスミア成分のみの読み出しをおこなうものとする。

つまり、図４のタイミングチャートで示すように、奇数フレームのときには、露光期間の終了タイミングで読み出し信号ＳＧを印加することによって、受光素子１３１で蓄積された電荷が垂直転送ＣＣＤ１３２に転送され、垂直転送の後に水平転送ＣＣＤ１３３に転送された電荷はイメージセンサ１３０から出力される。そして、電荷の転送終了とともに電荷排出信号ＳＵＢを印加することで、転送期間中に垂直転送ＣＣＤ１３２に残留した電荷、および転送期間後の露光によって垂直転送ＣＣＤ１３２内に蓄積した電荷の掃き出しをおこなう。

一方、偶数フレームのときには、露光期間の終了タイミングで読み出し信号ＳＧを印加せず、露光期間中に垂直転送ＣＣＤ１３２が露光したことで蓄積した電荷のみを転送してイメージセンサ１３０から出力する。ここで、奇数フレームでの露光時間をＴ１、偶数フレームでの露光時間をＴ２とした場合「Ｔ１＝Ｔ２」であるものとする。

このようなイメージセンサ１３０の駆動制御によって読み出された画像信号は、ＡＦＥ２２０のＡＤＣ２２４でデジタル画像データに変換され、フレーム画像データとして画像メモリ２３０に順次展開される。

フレーム画像処理部２１２は、画像メモリ２３０に展開されたフレーム画像データを用いた処理をおこなうことで、撮像された動画像からスミアを除去する。上述したように、撮像制御部２１１によるイメージセンサ１３０の駆動制御により、画像メモリ２３０には、画像成分とスミア成分とを含んでいる奇数フレームと、スミア成分のみの偶数フレームが展開されているので、フレーム番号順に、奇数フレームの画像データから次の偶数フレームの画像データを減算する処理をおこなうことで、画像成分のみのフレーム画像を生成する。この場合、例えば、両フレーム画像間における同一座標での画素値を減算するなどの処理をおこなう。なお、ブロック単位での減算とすることなどによって処理量の削減を図ってもよい。

フレーム画像処理部２１２は、このようにして生成した画像成分のみのフレーム画像を順次画像メモリ２３０に展開する。すなわち、スミア成分を含まない画像データのみから構成される画像データが生成される。この場合、画像メモリ２３０に当初展開されているフレームデータは、減算処理に用いられた後に順次削除されてもよい。

出力制御部２１３は、フレーム画像処理部２１２によってスミア成分が除去された動画像データの出力を画像出力部２５０に指示する。この場合、出力制御部２１３は、スミア成分を除去した動画像データを特定する情報（例えば、生成時に付与されたデータ名や格納場所を示す画像メモリ２３０内のアドレス、など）を画像出力部２５０に通知する。これにより、画像出力部２５０は、スミア成分が除去された動画像データを画像メモリ２３０から順次取得し、ＲＧＢ信号などのビデオ信号に変換して表示部３１０に出力する。

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。また、図３に示した機能のうち、画像処理にかかる機能（フレーム画像処理部２１２など）については、制御部２１０による制御の下で画像処理部２４０によって実現されてもよい。

このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、デジタルカメラ１による撮像動作時に制御部２１０によって実行される「スミア低減処理（１）」を、図５のフローチャートを参照して説明する。この「スミア低減処理（１）」は、例えば、デジタルカメラ１に電源が投入されたことを契機に開始される。

デジタルカメラ１に電源が投入されると、デジタルカメラ１のユーザは操作部３２０を操作することで、所望するモードの選択や動作を指示する。この場合、操作部３２０で生成された入力信号が制御部２１０に入力される。ここで、操作部３２０からの入力信号に基づいて、動画撮像の開始タイミングであることが判別されると（ステップＳ１０１：Ｙｅｓ）、撮像制御部２１１は、動画撮像時のスミア低減を図るための制御コマンドを制御レジスタ２２１に送出することで、イメージセンサ１３０からの読み出し動作を制御する（ステップＳ１０２）。

ここでは、上述したように、奇数フレームについては通常の読み出し動作をおこない、偶数フレームについてはスミア成分のみを読み出す動作となるようイメージセンサ１３０の動作を制御する。

このような制御によって読み出されたフレーム画像データが順次画像メモリ２３０に展開されるので、フレーム画像処理部２１２は、画像成分とスミア成分から構成された奇数フレームの画像データから、スミア成分のみから構成された次の偶数フレームの画像データを減算し（ステップＳ１０３）、減算後の画像、すなわち、「画像成分＋スミア成分」の画像からスミア成分を除去した画像で動画像シーケンスを構成して画像メモリ２３０に展開する（ステップＳ１０４）。

フレーム画像処理部２１２は、このようにして生成したスミア成分を除去した動画像データを画像出力部２５０に送出することで、スミアのない動画像を表示部３１０に表示出力する（ステップＳ１０５）。

ここで、操作部３２０からの入力信号などに基づいて、動画撮像の終了タイミングであることが判別されると（ステップＳ１０６：Ｙｅｓ）、撮像制御部２１１およびフレーム画像処理部２１２は、上述したスミア低減動作を停止する（ステップＳ１０７）。つまり、撮像制御部２１１は、通常の読み出し動作となるような制御コマンドを制御レジスタ２２１に送出し、フレーム画像処理部２１２は、フレーム間の減算処理などをおこなわない。

このような動作により、スミアの発生が顕著となる動画撮像時に、スミア低減のための動作がおこなわれる。つまり、動画撮像が終了するまでは（ステップＳ１０６：Ｎｏ）、ステップＳ１０２〜ステップＳ１０５の動作を繰り返すことで、スミア成分が除去された動画像が表示部３１０に表示される。

そして、デジタルカメラ１の電源切断などの終了イベントの発生により本処理を終了するが（ステップＳ１０８：Ｙｅｓ）、終了イベントの発生前に動画撮像が再度開始されれば（ステップＳ１０８：Ｎｏ、ステップＳ１０１：Ｙｅｓ）、上述の処理がその都度おこなわれ、表示する動画像でのスミア発生を低減する。

以上のように、本実施形態によれば、垂直転送ＣＣＤ１３２が露光してしまうことで発生した電荷に起因するスミアを除去することができる。

（実施形態２）
上記実施形態１に示した方法により動画像のスミアを低減させることができるが、表示出力される動画像のフレーム数は、実際に撮像されたフレーム画像よりも少なくなるので、フレームレートを高くしたい場合に不都合となる。

このような不都合を解消する手法を本実施形態で例示する。本実施形態では、スミア成分のみのフレームについての露光時間を短くすることで、フレームレートへの影響を低減させる。ここでは、実施形態１と同様、奇数フレームが画像成分とスミア成分を含み、偶数フレームがスミア成分のみであることとする。

本実施形態にかかる動作概念を、図６に示すタイミングチャートを参照して説明する。図示するように、電荷の読み出しサイクルについては実施形態１の場合と同じであるが、偶数フレームの露光時間を奇数フレームの露光時間より短くする。ここでは、奇数フレームの露光時間の１／αとなる時間を偶数フレームでの露光時間とする。すなわち、奇数フレームの露光時間Ｔ１と偶数フレームの露光時間Ｔ２の関係は「Ｔ１＞Ｔ２（Ｔ２＝Ｔ１／α）」となる。

ここで、光電効果のある素子（受光素子１３１および垂直転送ＣＣＤ１３２）が露光することによって発生する電荷量は、露光時間にほぼ比例するので、露光時間Ｔ２（＝Ｔ１／α）で得られた偶数フレームの電荷量をα倍すれば、露光時間Ｔ１で垂直転送ＣＣＤ１３２が露光したときに発生する電荷量とほぼ同じとなる。つまり、露光時間と電荷量との関係に一定の係数を用いることで、露光時間を変えても電荷量を補正することができる。この場合、露光時間を短縮させるための係数（１／α）と、電荷量を補正する際の係数（α）とは、互いに逆数の関係となる。

このように電荷量を補正することによって得られたフレーム画像データを用いて、実施形態１と同様の減算をおこなえば、偶数フレームでの露光時間を短くしてもスミア低減を図ることができる。

つまり、表示出力対象となる画像成分を含まない偶数フレームについての露光時間を短くすることによってフレームレートへの影響を低減するとともに、十分なスミア低減効果を得ることができる。

この場合に制御部２１０が実行する「スミア低減処理（２）」を、図７のフローチャートを参照して説明する。この「スミア低減処理（２）」の開始条件などは実施形態１で示した「スミア低減処理（１）」と同様である。

デジタルカメラ１において動画撮像開始タイミングになると（ステップＳ２０１：Ｙｅｓ）、撮像制御部２１１は、偶数フレームの露光時間を、通常の露光時間の１／αに設定する（ステップＳ２０２）。なお、奇数フレームについての露光時間（Ｔ１）は通常の露光時間とするので、偶数フレームの露光時間（Ｔ２）は、奇数フレームの露光時間の１／αとなる。

撮像制御部２１１は、このように設定した露光時間で動画撮像時のスミア低減を図るための制御コマンドを制御レジスタ２２１に送出することで、イメージセンサ１３０からの読み出し動作を制御する（ステップＳ２０３）。すなわち、偶数フレームでの露光によって垂直転送ＣＣＤ１３２に蓄積した電荷を排出させるタイミングが通常の露光時間の１／αとなる制御コマンドを制御レジスタ２２１に送出する。

この場合、撮像制御部２１１は、ＡＤＣ２２４のアナログアンプの増幅動作を制御する制御コマンドを制御レジスタ２２１に送出することで、偶数フレームの画像信号としてイメージセンサ１３０から出力された電荷をα倍に増幅させる（ステップＳ２０４）。ＡＤＣ２２４の動作は、垂直同期信号ＶＤや水平同期信号ＨＤに基づいてフレームと同期しているので、偶数フレームについての画像信号のみα倍増幅させるようＡＤＣ２２４のアナログアンプを制御することができる。

このような動作により、通常の露光時間で発生した電荷に基づいた奇数フレームのフレーム画像データと、露光時間が通常の１／αであるが、通常の露光時間で発生する電荷に補正された偶数フレームのフレーム画像データが順次画像メモリ２３０に展開されるので、実施形態１と同様、フレーム画像処理部２１２は、画像成分とスミア成分から構成された奇数フレームの画像データから、スミア成分のみから構成された次の偶数フレームの画像データを減算し（ステップＳ２０５）、減算後の画像で動画像シーケンスを構成して画像メモリ２３０に展開する（ステップＳ２０６）。

以降は、実施形態１の「スミア低減処理（１）」（図５）と同様の処理をおこなうことで、動画撮像時に表示する動画像でのスミアの発生を低減させる（ステップＳ２０７〜ステップＳ２１０）。

以上のように、本実施形態によれば、垂直転送ＣＣＤ１３２が露光してしまうことで発生した電荷に起因するスミアを除去するとともに、フレームレートの向上を図ることができる。

以上説明したように、本発明を上記実施形態の如く適用することにより、動画撮像時に発生するスミアを効果的に低減することができる。

つまり、光電効果のあるＣＣＤなどで構成された垂直転送路（垂直転送ＣＣＤ）を有するイメージセンサからフレーム単位で画像信号を読み出す際に、通常の読み出しをおこなったフレームの次のフレームについては、垂直転送ＣＣＤが露光することによって発生する電荷（余剰電荷）のみとなるよう読み出しを制御することで、余剰電荷を潜在的に含んでいる画像データから、余剰電荷のみの画像データを減算することができる。これにより、受光素子の受光によって発生した被写体像を示す電荷のみに基づいた画像データを得ることができるので、余剰電荷に起因するスミアの発生を低減させることができる。

この場合において、イメージセンサの受光素子に蓄積した電荷の垂直転送路への転送をフレーム単位で制御することで、スミアの要因となる余剰電荷のみの画像信号を得ることができる。すなわち、デジタルカメラのハードウェアに改変を加えることなく、読み出し信号ＳＶの印加タイミングを制御するだけでスミアの低減を図ることができる。

さらに、係数を用いた演算処理をおこなうことで、余剰電荷のみのフレームについての露光時間を短くすることができるので、スミアを低減させるとともにフレームレートの向上を図ることができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態では、イメージセンサ１３０として用いられるＣＣＤとしてインターライン転送型ＣＣＤ（ＩＴ−ＣＣＤ）を例示したが、光電効果のある垂直転送路を備えたイメージセンサ（例えば、フレーム転送型ＣＣＤ（ＦＴ−ＣＣＤ）など）であれば、本発明の適用によりスミアの低減を図ることができる。

なお、本発明を上記実施形態で例示したデジタルカメラ１のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置をして機能させることもできる。

なお、上記実施形態では、撮像装置の例として、動画撮像機能を有するデジタルスチルカメラを示したが、撮像装置の形態は任意であり、単体のデジタルビデオカメラやデジタルスチルカメラで実現可能であることはもとより、これと同様の撮像機能を備えた種々の電子機器（例えば、携帯電話など）に本発明を適用してもよい。

このような場合においても、プログラムを適用することで、既存の装置を本発明にかかる撮像装置として機能させることができる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。 図１に示すイメージセンサを説明するための模式図である。 図１に示す制御部によって実現される機能を示す機能ブロック図である。 本発明の実施形態１にかかる動作を説明するためのタイミングチャートである。 本発明の実施形態１にかかる「スミア低減処理（１）」を説明するためのフローチャートである。 本発明の実施形態２にかかる動作を説明するためのタイミングチャートである。 本発明の実施形態２にかかる「スミア低減処理（２）」を説明するためのフローチャートである。

符号の説明

１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…光学駆動部、１３０…イメージセンサ、１４０…Ｈ／Ｖドライバ、２００…データ処理部、２１０…制御部、２１１…撮像制御部、２１２…フレーム画像処理部、２１３…出力制御部、２２０…ＡＦＥ（アナログフロントエンド）、２２１…制御レジスタ、２２２…ＴＧ（タイミングジェネレータ）、２２３…Ｓ／Ｈ（サンプルホールド回路）、２２４…ＡＤＣ（アナログ−デジタル変換器）、２３０…画像メモリ、２４０…画像処理部、２５０…画像出力部、２６０…記憶部、３００…インタフェース部、３１０…表示部、３２０…操作部

Claims (8)

1. 受光素子及びこれら受光素子を露光して得られる電荷を読み出して転送する転送路を受光面に形成したイメージセンサを用いる撮像装置において、
   前記転送路の光電効果によって該転送路に蓄積された電荷を含み、かつ、前記イメージセンサの受光素子に蓄積された電荷を含まない画像信号を前記イメージセンサから出力させる制御手段と、
   前記イメージセンサの受光素子に蓄積された電荷と前記転送路の光電効果によって該転送路に蓄積された電荷とを含んだ画像信号から、前記制御手段が出力させた画像信号を減算し、減算後の画像信号を用いた動画像を出力する出力手段と、
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記受光素子に蓄積した電荷の前記転送路への転送動作を制御することで、前記受光素子に蓄積した電荷を含まない画像信号を前記イメージセンサから出力させる、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記イメージセンサの受光素子に蓄積した電荷を前記転送路へ転送させたフレームの次のフレームについては、前記受光素子に蓄積した電荷を前記転送路に転送させない、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段が前記受光素子に蓄積した電荷を前記転送路に転送させないフレームについての露光時間を、当該フレームの直前のフレームについての露光時間を係数倍した露光時間に短縮させる露光時間制御手段をさらに備え、
   前記出力手段は、前記露光時間を短縮したフレームの画像信号を前記係数の逆数倍することで得られる画像信号を、前記直前のフレームの画像信号から減算する、
   ことを特徴とする請求項２または３に記載の撮像装置。
5. 受光素子及びこれら受光素子を露光して得られる電荷を読み出して転送する転送路を受光面に形成したイメージセンサを用いた撮像装置でのスミアを低減させる方法であって、
   前記イメージセンサの受光素子に蓄積された電荷と前記転送路の光電効果によって該転送路に蓄積された電荷とを含んだ画像信号を前記イメージセンサから読み出す第１の読み出しステップと、
   前記転送路の光電効果によって該転送路に蓄積された電荷を含み、かつ、前記受光素子に蓄積された電荷を含まない画像信号を前記イメージセンサから読み出す第２の読み出しステップと、
   前記第１の読み出しステップで読み出された画像信号から、前記第２の読み出しステップで読み出された画像信号を減算する減算ステップと、
   前記減算ステップでの減算後の画像信号を用いた動画像を出力する出力ステップと、
   を含むことを特徴とするスミア低減方法。
6. 前記第２の読み出しステップが読み出す画像信号を生成するための露光時間を、前記第１の読み出しステップが読み出す画像信号を生成するための露光時間を係数倍した露光時間に短縮する露光時間制御ステップと、
   前記第２の読み出しステップで読み出された画像信号を、前記係数の逆数で乗じて増幅させる信号増幅ステップと、をさらに含み、
   前記減算ステップは、前記第１の読み出しステップで読み出された画像信号から、前記信号増幅ステップで増幅された画像信号を減算する、
   ことを特徴とする請求項５に記載のスミア低減方法。
7. 受光素子及びこれら受光素子を露光して得られる電荷を読み出して転送する転送路を受光面に形成したイメージセンサを用いる撮像装置を制御するコンピュータに、
   前記イメージセンサの受光素子に蓄積された電荷と前記転送路の光電効果によって該転送路に蓄積された電荷とを含んだ画像信号を前記イメージセンサから読み出す機能と、
   前記転送路の光電効果によって該転送路に蓄積された電荷を含み、かつ、前記受光素子に蓄積された電荷を含まない画像信号を前記イメージセンサから読み出す機能と、
   前記受光素子に蓄積された電荷を含んでいる前記画像信号から、前記受光素子に蓄積された電荷を含んでいない前記画像信号を減算する機能と、
   前記減算後の画像信号を用いた動画像を出力する機能と、
   を実現させることを特徴とするプログラム。
8. 前記コンピュータに、
   前記受光素子に蓄積された電荷を含んでいない前記画像信号を生成するための露光時間を、前記受光素子に蓄積された電荷を含んでいる前記画像信号を生成するための露光時間を係数倍した露光時間に短縮する機能と、
   前記受光素子に蓄積された電荷を含んでいない画像信号を、前記係数の逆数で乗じて増幅させる機能と、
   をさらに実現させることを特徴とする請求項７に記載のプログラム。

Images