JP2013165416A - 撮像装置 - Google Patents

Abstract

【課題】 複数の画像を合成する処理を行わなくても、残像効果を付与した動画像を容易に取得する。
【解決手段】 入射光に応じた信号電荷を生成し蓄積する光電変換部と、信号電荷の容量比が予め設定され、それぞれが並列に接続される第１及び第２の電荷電圧変換部と、を有する画素を備えた撮像素子と、第１の電荷電圧変換部に転送された信号電荷を画素信号として出力し、第２の電荷電圧変換部に転送された信号電荷を残留させる駆動手段と、駆動手段による撮像素子の駆動を制御する制御手段と、を備えたことを特徴とする。
【選択図】 図１１

Description

本発明は、ＣＭＯＳイメージセンサなどの撮像素子を備えた撮像装置に関する。

従来、撮影時に得られる画像に対して、撮影条件に合わせた画像処理を施すものが一般的である。最近では、動画撮影や連続撮影によって得られた複数の画像を合成する処理を行うことで、残像効果を付与した画像を生成する撮像装置も提案されている（特許文献１参照）。

特開２０１０−１１４７５７号公報

しかしながら、このような撮像装置においては、撮影条件に合わせた画像処理を行った後に複数の画像を合成する処理を行う必要があることから、画像処理に係る処理負荷が高くなるという問題がある。

本発明は、複数の画像を合成する処理を行わなくても、残像効果を付与した動画像を容易に取得することができるようにした撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の撮像装置は、入射光に応じた信号電荷を生成し蓄積する光電変換部と、前記信号電荷の容量比が予め設定され、それぞれが並列に接続される第１及び第２の電荷電圧変換部と、を有する画素を備えた撮像素子と、前記第１の電荷電圧変換部に転送された信号電荷を画素信号として出力し、前記第２の電荷電圧変換部に転送された信号電荷を残留させる駆動手段と、前記駆動手段による前記撮像素子の駆動を制御する制御手段と、を備えたことを特徴とする。

また、前記画素は、前記光電変換部に蓄積された信号電荷を前記第１及び第２の電荷電圧変換部に転送するか否かを切り替える転送トランジスタと、前記転送トランジスタと前記第１の電荷電圧変換部との間に設けられる第１のスイッチングトランジスタと、前記転送トランジスタと前記第２の電荷電圧変換部との間に設けられる第２のスイッチングトランジスタと、を備え、前記駆動手段は、前記転送トランジスタ、前記第１のスイッチングトランジスタ及び前記第２のスイッチングトランジスタのそれぞれをオン動作させることで、前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部のそれぞれに転送することが好ましい。

また、前記画素は、前記画素信号を出力するか否かを選択する選択トランジスタを備え、前記駆動手段は、前記選択トランジスタ及び前記第１のスイッチングトランジスタをオン動作させることで、前記第１の電荷電圧変換部により変換された電圧を画素信号として出力することが好ましい。

さらに、前記画素は、前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部をリセットするリセットトランジスタを備え、前記駆動手段は、連続的に複数の画像を取得する場合に、前記複数の画像の取得が開始された直後の画像の取得時には前記リセットトランジスタ、前記転送トランジスタ、前記第１のスイッチングトランジスタ及び前記第２のスイッチングトランジスタをオン動作させることで前記光電変換部、前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部をリセットし、前記複数の画像の取得された直後の画像を除いた残りの画像の取得時には前記リセットトランジスタ、前記転送トランジスタ、前記第１のスイッチングトランジスタをオン動作させることで前記光電変換部及び前記第１の電荷電圧変換部をリセットして前記第２の電荷電圧変換部に転送された信号電荷を残留させることが好ましい。

また、前記画素は、前記第１の電荷電圧変換部及び第２の電荷電圧変換部と並列に接続される第３の電荷電圧変換部と、前記光電変換部と前記第３の電荷電圧変換部との間に設けられる第３のスイッチングトランジスタと、を備え、前記駆動手段は、前記第２の電荷電圧変換部に前記信号電荷が転送された後に、前記第２のスイッチングトランジスタ及び前記第３のスイッチングトランジスタをオン動作させて、前記第２の電荷電圧変換部に転送された信号電荷を前記第３の電荷電圧変換部に分配することが好ましい。

この場合、前記駆動手段は、前記選択トランジスタ及び前記第１のスイッチングトランジスタをオン動作させる際に、前記第２のスイッチングトランジスタ又は第３のスイッチングトランジスタのいずれかのスイッチングトランジスタをオン動作させることで、前記第２の電荷電圧変換部又は前記第３の電荷電圧変換部のいずれかにより変換された電圧を、前記第１のトランジスタにより変換された電圧とともに前記画素信号として出力することが好ましい。

また、前記駆動手段は、連続的な複数の画像を取得するときに、前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部の双方に転送する第１モード、又は前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部にのみ転送させる第２モードとのいずれかのモードで前記撮像素子を駆動させることが好ましい。

また、前記第１モード又は前記第２モードのいずれか一方のモードに切り替える際に操作される操作部材を備え、前記制御手段は、前記操作部材の操作を受けて、前記駆動手段による前記撮像素子の駆動を前記第１モード及び前記第２モードの間で切り替えることが好ましい。

さらに、前記制御手段は、前記連続的な複数の画像の取得の際に前記操作部材が操作された場合に、前記駆動手段による前記撮像素子の駆動を前記第１モード及び前記第２モードの間で切り替えることが好ましい。

また、前記複数の画像は、動画像、スルー画像、或いは連写撮影時に得られる画像のいずれかからなることが好ましい。

本発明によれば、複数の画像を合成する処理を行わなくても、残像効果を付与した動画像を容易に取得することができる。

デジタルカメラの電気的構成を示す図である。 第１実施形態における撮像素子の構成を示す図である。 各フレーム画像における被写体の位置を示す説明図である。 各フレーム画像の画素Ｏにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｏにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｐにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｐにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｑにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｑにおける信号電荷の電荷量の変化を示す図である。 被写体及び残像効果を模式的に示す図である。 第２実施形態における撮像素子の構成を示す図である。 各フレーム画像の画素Ｏにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｏにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｐにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｐにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｑにおける信号電荷の電荷量の変化を示す図である。 各フレーム画像の画素Ｑにおける信号電荷の電荷量の変化を示す図である。

＜第１実施形態＞
図１は、第１実施形態におけるデジタルカメラ１０の電気的構成を示している。このデジタルカメラ１０は、予め設定された撮影条件を用いて静止画像の撮影（静止画撮影）や動画像の撮影（動画撮影）を実行する他、残像効果を付与した動画撮影を実行することができる。以下、動画撮影時に、予め設定されたフレームレートに基づいて連続的に得られる各画像をフレーム画像と称して説明する。なお、上述した残像効果を付与した動画撮影については、ここでは詳細は後述するが、各フレーム画像の取得時に、各画素にて光電変換される信号電荷の一部を残して読み出す処理や、次のフレーム画像の取得時に残留させた信号電荷を用いた処理が実行される。以下、第１実施形態では、各画素のフォトダイオードに信号電荷の一部を残留させながら各フレーム画像を取得することで、残像効果を付与した動画撮影を実行する場合について説明する。

周知のように、デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６に設けられた複数の画素毎に光電変換し、各画素における光電変換により得られる信号電荷を画像信号として取得する。

撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。撮像素子１６は、ＣＭＯＳイメージセンサが用いられる。なお、撮像素子１６の構成については後述する。この撮像素子１６は、タイミングジェネレータ（ＴＧ）１７から出力される制御信号に基づいて動作する。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路１８は、撮像素子１６から出力される画像信号に対して相関二重サンプリング処理やゲインコントロール処理などを施した後、アナログの画像信号をデジタルの画像信号に変換する。デジタルの画像信号は、ＤＦＥ回路１８に出力される。

ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）回路１９は、ＡＦＥ回路１８から出力される画像信号に対して欠陥補正処理やノイズ補正処理を行う。このＤＦＥ回路１９によって欠陥補正処理やノイズ補正処理が施された画像信号はバッファメモリ２５に書き込まれる。

画像処理回路３０は、バッファメモリ２５に記憶される画像信号に対して、ホワイトバランス（ＷＢ）処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これら処理の後、画像処理回路３０は、予め設定された圧縮率を用いた圧縮符号化処理を施す。この圧縮符号化処理が実行されることで、例えばＪＰＥＧ方式の画像データが生成される。

接続Ｉ／Ｆ３２は、メモリカードや光学ディスク、或いは磁気ディスクなどの記憶媒体３３が接続される。この接続Ｉ／Ｆ３２を介して、記録媒体３３への画像データの記録や、記憶媒体３３からの画像データの読み出しが実行される。

表示装置３５は、ＬＣＤや、有機ＥＬディスプレイなどから構成される。この表示装置３５は、スルー画像、撮影時に得られた画像やデジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号３６は、表示装置３５の駆動制御を行う表示制御回路である。

ＣＰＵ４１は、バス４２を介して、バッファメモリ２５、画像処理回路３０、接続Ｉ／Ｆ３２、表示制御回路３６、内蔵メモリ４３などと電気的に接続される。このＣＰＵ４１は、内蔵メモリ４３に記憶された制御プログラムに基づいて、デジタルカメラ１０の各部を制御する。また、ＣＰＵ４１は、レリーズボタン４５、残像付与ボタン４６、設定操作部４７などの操作部材からの操作信号に基づいた処理を実行する。

レリーズボタン４５は、撮影時にユーザにより操作されるボタンである。このレリーズボタン４５は、例えば全押し操作されたときに、ＣＰＵ４１によるＡＥ処理やＡＦ処理などの後、撮像処理が実行されるものであってもよいし、半押し操作されたときに上述したＡＥ処理やＡＦ処理などが実行され、全押し操作されたときにＡＥ処理やＡＦ処理に基づいた撮像処理を実行するものであってもよい。

残像付与ボタン４６は、取得されるスルー画像や、動画像、或いは連続撮影により得られる静止画像に対して残像効果を付与する場合、或いは残像効果の付与を停止する場合に操作されるボタンである。この残像付与ボタン４６を操作することで、撮像素子１６の駆動制御が変更される。なお、動画撮影を行う直前に、この残像付与ボタン４６を操作することで、残像効果を付与する動画撮影を行うか否かを切り替えるようにしてもよいし、動画撮影中に残像付与ボタン４６を操作することで実行している動画撮影を、残像効果を付与する動画撮影とするか否かを切り替えるようにしてもよい。また、残像付与ボタン４６の操作により残像効果を付与する動画撮影を行うか否かを切り替えているが、この他に、設定操作部４７の操作により予め残像効果を付与する撮影を行うか否かを設定しておき、残像付与ボタン４６の操作により、残像効果を付与する、又は残像効果の付与を停止するようにしてもよい。

図２に示すように、撮像素子１６は、二次元状に配列された複数の画素Ａ_ij（ｉ＝１，２，・・、ｊ＝１，２，・・・）、垂直走査回路５１、水平走査回路５２、垂直線選択用トランジスタ５３、カラムアンプ５４、ＣＤＳ回路５５及び出力アンプ５６を備えている。なお、垂直走査回路５１、水平走査回路５２及びＣＤＳ回路５５は、それぞれタイミングジェネレータ１７からの制御信号に基づいて動作する。

複数の画素Ａ_ijは、光電変換によって信号電荷を生成するフォトダイオード（ＰＤ）６１、フォトダイオード６１により生成された信号電荷を電圧として蓄積するフローティングディフュージョン（ＦＤ）６２、フォトダイオード６１に蓄積された信号電荷をフローティングディフュージョン６２に転送する転送トランジスタ（ＴＸ−Ｔｒ）６３、ゲートがフローティングディフュージョン６２と接続されてフローティングディフュージョン６２の電位変動を電気信号に変換する増幅トランジスタ（ＡＭＩ−Ｔｒ）６４、信号電荷を読み出す画素を行単位で選択するための選択トランジスタ（ＳＥＬ−Ｔｒ）６５、フローティングディフュージョン６２の電位を電源電位にリセットするためのリセットトランジスタ（ＦＤＲＳＴ−Ｔｒ）６６を有している。

複数の画素Ａ_ijは、垂直走査回路２１から水平方向に延びる複数の信号線７１，７２，７３，７４によって電気的にそれぞれ接続される。これら複数の信号線のうち、信号線７１は転送用の信号線、信号線７２はリセット用の信号線、信号線７３は行選択用の信号線、信号線７４は電源用の信号線である。また、信号線７５は垂直信号線である。

垂直走査回路５１は、タイミングジェネレータ１７からの制御信号を受けて、転送信号、リセット信号、選択信号などを各画素Ａ_ijに出力する。また、水平走査回路５２は、垂直線選択トランジスタ５３に列選択信号を出力する。

垂直線選択用トランジスタ５３は、水平走査回路５２からの選択信号を受けてオンとなり、読み出し対象となる列に配置されている画素Ａ_ijの画素信号をカラムアンプ５４に入力させる。このカラムアンプ５４により増幅された画素信号は、ＣＤＳ回路５５に入力される。ＣＤＳ回路５５は、入力される画素信号に対して相関二重サンプリング処理を施すことで、各画素に設けられたトランジスタのばらつきによるノイズ成分を除去する。なお、このＣＤＳ回路５５から出力される画素信号は、水平信号線７６、出力アンプ５６を介して出力される。なお、全ての画素から出力される画素信号をまとめたものが画像信号となる。

次に、動画撮影時のデジタルカメラの撮像処理について説明する。このデジタルカメラの撮像処理では、走査ライン毎に順次シャッタを切る、所謂、ローリングシャッタ方式を用いた撮像処理が実行される。この撮像処理が実行されると、残像効果を付与する動画撮影を行うモード、又は残像効果を付与しない一般的な動画撮影（以下、通常の動画撮影）を行うモードに関係なく、（１）画素リセット処理、（２）電荷蓄積処理、（３）電荷転送処理、（４）電荷読出処理が、二次元に配列された複数の画素のうち、各行に配列された画素毎、つまり走査ライン毎に実行される。

（１）画素リセット処理
動画撮影が開始されると、通常の動画撮影を行うモードであれば、垂直走査回路５１は、タイミングジェネレータ１７からの制御信号を受けて、転送信号及びリセット信号を転送信号、リセット信号の順で出力する。転送信号を受けると、転送トランジスタ６３がオンとなる。この状態でリセット信号が出力されることで、リセットトランジスタ６８がオンとなり、フォトトランジスタ６１及びフローティングディフュージョン６２にリセット電圧が印加される。これにより、フォトトランジスタ６１及びフローティングディフュージョン６２がリセットされる。

なお、残像効果を付与する動画撮影を行うモードの場合には、撮影が開始された直後に得られる１フレーム目のフレーム画像については、通常の動画撮影を行うモードと同様の処理が実行される。そして、２フレーム目以降のフレーム画像を取得する場合には撮像素子１６の制御が変更される。詳細には、垂直走査回路５１は、上述した信号のうち、転送信号を出力せずに、リセット信号のみを出力する。つまり、２フレーム目以降のフレーム画像の取得時には、フローティングディフュージョン６２のみがリセットされ、フォトダイオード６１に蓄積される信号電荷はリセットされずに、そのまま残留する。

（２）電荷蓄積処理
被写体光は、撮像光学系１５を介して撮像素子１６の各画素Ａ_ijに対して入射されている。フォトダイオード６１は、被写体光を受光し、受光した被写体光を光電変換する。なお、光電変換された信号電荷はフォトダイオード６１に蓄積されていく。

（３）電荷転送処理
垂直走査回路５１は、タイミングジェネレータ１７からの制御信号を受けて転送信号を出力する。この転送信号の出力により転送トランジスタ６３がオンとなるので、フォトダイオード６１に蓄積された信号電荷がフローティングディフュージョン６２に転送される。ここで、転送トランジスタ６３がオンとなる時間、言い換えれば、信号電荷がフォトダイオード６１からフローティングディフュージョン６２に転送される時間（転送時間）は一定時間である。つまり、フォトダイオード６１からフローティングディフュージョン６２に転送される単位時間当たりの転送量（転送速度）は、蓄積された信号電荷の電荷量に比例して速くなる。

例えば通常の動画撮影を行うモードが選択された場合の転送時間Ｔ_０とした場合、残像効果を付与する動画撮影を行うモードが選択された場合の転送時間Ｔ_１は、Ｔ_１＝αＴ_０（係数α＜１）となるように設定される。なお、転送時間Ｔ_０は、フォトダイオード６１に蓄積された全ての信号電荷をフローティングディフュージョン６２に転送するための時間である。また、係数αは、フォトダイオード６１に蓄積された信号電荷の一部を、フローティングディフュージョン６２に転送せずにフォトダイオード６１に残留させるための係数であり、その値が１に近いほど残留させる信号電荷の電荷量が少なくなる。つまり、フォトダイオード６１に残留させる信号電荷量が少なければ少ないほど、各フレーム画像に対する残像効果が低くなる。

以下では、係数αをα＝０．９に設定した場合について説明する。なお、この係数αは、撮影前に得られるスルー画像の明るさ（輝度）や、動画撮影により得られたフレーム画像の明るさ（輝度）に基づいて自動的に決定されるものであってもよいし、ユーザの設定操作により決定されるものであってもよい。また、転送トランジスタ６３がオンとなった直後は、フォトダイオード６１からフローティングディフュージョン６２に転送される信号電荷の転送速度は安定しないことから、信号電荷の転送時間Ｔ_１が、転送速度が安定するまでの不足分を加味した値となるように係数αを設定することも可能である。

（４）電荷読出処理
垂直走査回路５１は、タイミングジェネレータ１７からの制御信号を受けて選択信号を出力する。この選択信号の出力により、選択トランジスタ６５がオンとなり、フローティングディフュージョン６２により変換された電圧が、増幅トランジスタ６４、選択トランジスタ６５を介して、画素信号として垂直信号線７５に出力される。なお、この電荷読出処理では、タイミングジェネレータ１７からの制御信号が水平走査回路５２及びＣＤＳ回路５５に出力されている。つまり、垂直信号線７５に出力された画素信号は、垂直線選択用トランジスタ５３を介して、カラムアンプ５４に入力される。なお、カラムアンプ５４に入力された画素信号は、カラムアンプ５４により増幅された後、ＣＤＳ回路５５に入力される。ＣＤＳ回路５５は、入力される画素信号に対して相関二重サンプリング処理を施し、水平信号線７６に出力する。水平信号線７６に出力された画素信号は、出力アンプ５６を介して出力される。

次に、残像効果を付与した動画撮影を行った場合の具体例を説明する。図３は、ｎフレーム目のフレーム画像ＦＩ_ｎから（ｎ＋６）フレーム目のフレーム画像ＦＩ_ｎ＋６に対して、残像効果を付与した動画撮影を行った場合について示している。なお、被写体Ｖは、図３中左方から右方に向けて移動する動体とし、被写体Ｖの光量に基づく信号電荷の電荷量（以下、被写体Ｖにおける信号電荷の電荷量）が１０ｅ⁻、背景の光量に基づく信号電荷の電荷量（以下、背景における信号電荷の電荷量）が５ｅ⁻となる場合について説明する。

まず、図３〜図５を用いて、画素Ｏについて説明する。画素リセット処理により、画素Ｏのフォトダイオード６１及びフローティングディフュージョン６２に残留する信号電荷がリセットされる。つまり、フォトダイオード６１及びフローティングディフュージョン６２の信号電荷の電荷量はそれぞれ０となる。取得されるフレーム画像ＦＩ_ｎにおいては、画素Ｏは被写体Ｖの領域に含まれる画素であることから、フォトダイオード６１には被写体Ｖにおける信号電荷の電荷量１０ｅ⁻が蓄積される。上述したように、残像効果を付与した動画撮影では、電荷転送処理における信号電荷の転送時間が変更される、つまり、転送時間がＴ_１（＝０．９Ｔ_０）に変更される。つまり、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量１０ｅ⁻のうち、信号電荷の電荷量９ｅ⁻がフローティングディフュージョン６２に転送され、信号電荷の電荷量１ｅ⁻がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量９ｅ⁻）に基づく電圧が画素信号として出力される。

この状態で、次のフレーム画像ＦＩ_ｎ＋１が取得される。フレーム画像ＦＩ_ｎ＋１においても、画素Ｏは被写体Ｖの領域に含まれる画素となる。なお、フレーム画像ＦＩ_ｎ＋１の取得時には、フォトダイオード６１に信号電荷の電荷量１ｅ⁻が残留された状態で、電荷蓄積処理が行われる。この電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は１１ｅ⁻となる。そして、本実施形態においては、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量１１ｅ⁻のうち、信号電荷の電荷量９．９ｅ⁻がフォトダイオード６１からフローティングディフュージョン６２に転送され、信号電荷の電荷量１．１ｅ⁻がフォトダイオード６１に残留する。なお、上述および後述される本実施形態におけるこれら数値においては、本実施形態を具体的に説明するために用いる一例でありこれら数値に限るものではない。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量９．９ｅ⁻）に基づく電圧が画素信号として出力される。

さらに、フレーム画像ＦＩ_ｎ＋２が取得された場合も、フレーム画像ＦＩ_ｎ＋１と同様に、画素Ｏは、被写体Ｖの領域に含まれる画素となる。このフレーム画像ＦＩ_ｎ＋２の取得時には、フォトダイオード６１に信号電荷の電荷量１．１ｅ⁻が残留された状態で、電荷蓄積処理が行われる。この電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は１１．１ｅ⁻となる。そして、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量１１．１ｅ⁻のうち、信号電荷の電荷量９．９９ｅ⁻がフローティングディフュージョン６２に転送され、信号電荷の電荷量１．１１ｅ⁻がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量９．９９ｅ⁻）に基づく電圧が画素信号として出力される。

フレーム画像ＦＩ_ｎ＋３が取得されるときには、画素Ｏは、被写体Ｖの領域に含まれる画素ではなく、背景の領域に含まれる画素となる。このフレーム画像ＦＩ_ｎ＋３の取得時には、フォトダイオード６１に信号電荷の電荷量１．１ｅ⁻が残留された状態で電荷蓄積処理が行われる。上述したように、背景における信号電荷の電荷量は５ｅ⁻であることから、電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は６．１１ｅ⁻となる。そして、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量６．１１ｅ⁻のうち、信号電荷の電荷量５．４９９ｅ⁻がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．６１１ｅ⁻がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．４９９ｅ⁻）に基づく電圧が画素信号として出力される。

このフレーム画像ＦＩ_ｎ＋３の後に取得されるフレーム画像ＦＩ_ｎ＋４においては、フレーム画像ＦＩ_ｎ＋３と同様に、画素Ｏは背景の領域に含まれる画素となる。このフレーム画像ＦＩ_ｎ＋４の取得時には、フォトダイオード６１に信号電荷の電荷量０．６１１ｅ⁻が残留された状態で電荷蓄積処理が行われる。この電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は５．６１１ｅ⁻となる。そして、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量５．６１１ｅ⁻のうち、信号電荷の電荷量５．０４９９ｅ⁻がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．５６１１ｅ⁻がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．０４９９ｅ⁻）に基づく電圧が画素信号として出力される。

同様にして、フレーム画像ＦＩ_ｎ＋５においても、画素Ｏは、背景の領域に含まれる画素となる。このフレーム画像ＦＩ_ｎ＋５の取得時には、フォトダイオード６１に信号電荷の電荷量０．５６１１ｅ⁻が残留された状態で電荷蓄積処理が行われる。この電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は５．５６１１ｅ⁻となる。そして、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量５．５６１１ｅ⁻のうち、信号電荷の電荷量５．００４９９ｅ⁻がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．５５６１１ｅ⁻がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．００４９９ｅ⁻）に基づく電圧が画素信号として出力される。

さらに、フレーム画像ＦＩ_ｎ＋６の場合、信号電荷の電荷量０．５５６１１ｅ⁻が残留した状態で、電荷蓄積処理が実行される。つまり、フォトダイオード６１に蓄積される信号電荷の電荷量は、５．５５６１１ｅ⁻となる。この場合、フォトダイオード６１に蓄積された信号電荷の電荷量５．５５６１１ｅ⁻のうち、信号電荷の電荷量５．０００４９９ｅ⁻がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．５５５６１１ｅ⁻がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．０００４９９ｅ⁻）に基づく電圧が画素信号として出力される。

このように、画素Ｏから出力される各フレーム画像における信号電荷の電荷量（読出光量）は、９ｅ⁻→、９．９ｅ⁻→９．９９ｅ⁻→５．４９９ｅ⁻→５．０４９９ｅ⁻→５．００４９９ｅ⁻→５．０００４９９ｅ⁻と変化し、背景の領域における光量に基づく電荷量５ｅ⁻に収束していく。つまり、フレーム画像ＦＩ_ｎ＋３以降のフレーム画像において、残像効果が徐々に低減されていることから、フレーム画像ＦＩ_ｎ＋３以降のフレーム画像において、残像効果を適切に付与することができる。

次に、画素Ｐについて、図３、図６及び図７を用いて説明する。フレーム画像ＦＩ_ｎ及びフレーム画像ＦＩ_ｎ＋１の取得時においては、画素Ｐは被写体Ｖの領域に含まれる画素であることから、これらフレーム画像の取得時に読み出される信号電荷の電荷量や、フォトダイオード６１に残留する信号電荷の電荷量は、画素Ｏと同一の値となる。フレーム画像ＦＩ_ｎ＋２の取得時には、画素Ｐは、被写体Ｖの領域ではなく、背景の領域に含まれる画素となる。このため、電荷蓄積処理では、背景における信号電荷の電荷量５ｅ⁻がフォトダイオード６１に蓄積される。つまり、本実施形態においては、フォトダイオード６１には、信号電荷の電荷量６．１ｅ⁻が蓄積される。電荷蓄積処理の後の電荷転送処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量６．１ｅ⁻のうち、信号電荷の電荷量５．４９ｅ⁻がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．６１ｅ⁻がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．４９ｅ⁻）に基づく電圧が画素信号として出力される。

なお、本実施形態においては、フレーム画像ＦＩ_ｎ＋３以降（フレーム画像ＦＩ_ｎ＋３、フレーム画像ＦＩ_ｎ＋４、フレーム画像ＦＩ_ｎ＋５及びフレーム画像ＦＩ_ｎ＋６）においては、画素Ｐは背景の領域に含まれる画素となることから、フレーム画像ＦＩ_ｎ＋２と同様に、背景の領域の光量に基づく電荷量５ｅ⁻がフォトダイオード６１にて受光され、フォトダイオード６１に蓄積される信号電荷の９０％がフローティングディフュージョン６２に転送され、残りの１０％がフォトダイオード６１に残留する。そして、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷に基づく電圧が画素信号として出力される。

このように、画素Ｐから出力される各フレーム画像における信号電荷の読出光量は、９ｅ⁻→、９．９ｅ⁻→５．４９ｅ⁻→５．０４９ｅ⁻→５．００４９ｅ⁻→５．０００４９ｅ⁻→５．００００４９ｅ⁻と変化し、背景の領域における光量に基づく電荷量５ｅ⁻に収束していく。つまり、画素Ｐは、フレーム画像ＦＩ_ｎ＋２以降のフレーム画像において、残像効果が徐々に低減されていることから、フレーム画像ＦＩ_ｎ＋２以降のフレーム画像において、残像効果を適切に付与することができる。

最後に、画素Ｑについて、図３、図８及び図９を用いて説明する。この画素Ｑは、被写体Ｖの領域ではなく、背景の領域に含まれる画素である。つまり、本実施形態においては、この画素Ｑには、各フレーム画像の取得時には、背景の領域における光量に基づく電荷量５ｅ⁻が、フォトダイオード６１に蓄積され、この画素Ｑにおいても、画素Ｏ、画素Ｐと同一の処理が実行されることから、フォトダイオード６１に蓄積される信号電荷の９０％がフローティングディフュージョン６２に転送され、残りの１０％がフォトダイオード６１に残留する。そして、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷に基づく電圧が画素信号として出力される。なお、この画素Ｑから出力される各フレーム画像における信号電荷の読出光量は、４．５ｅ⁻→、４．９５ｅ⁻→４．９９５ｅ⁻→４．９９９５ｅ⁻→４．９９９９５ｅ⁻→４．９９９９９５ｅ⁻→４．９９９９９９５ｅ⁻と背景の領域における光量に基づく電荷量５ｅ⁻に収束する。なお、この画素Ｑは、動画撮影時には背景の領域に含まれる画素となることから、この画素Ｑにおいては、残像効果が付与されないことがわかる。

このようにして、撮像素子１６から出力される画像信号は、残像効果が付与された画像信号となる。図１０に示すように、取得された動画像を表示すると、移動する被写体に対しては適切な残像効果が付与され、背景の領域には、残像効果は付与されない動画像として表示される。これによれば、通常の動画撮影により得られた複数のフレーム画像を合成する処理を行わなくとも、撮像素子１６に対する制御を変更するだけで、残像効果を付与した動画像を容易に取得することができる。また、画像処理回路３０においては、通常の動画像に対する画像処理を行えば済むので、画像処理回路３０における処理負荷を増加させなくて済む。

第１実施形態では、残像効果を付与する動画撮影を開始した直後のフレーム画像において、各画素から読み出される光量に基づく信号電荷の電荷量が実際の電荷量よりも低くなっていることから、残像効果を付与する動画撮影の開始から得られる２，３フレーム目までのフレーム画像は記録せずに削除することも可能である。

また、残像効果を付与する動画撮影の開始から得られる２，３フレーム目までのフレーム画像を削除せずに、フレーム画像における各画素の画素値（撮像素子１６の各画素から出力される画素信号の出力値）を増幅させることも可能である。この場合、上述したカラムアンプ５４や出力アンプ５６において各画素の画素値を増幅させる、ＡＦＥ回路１８におけるゲインコントロール処理によって各画素の画素値を増幅させる、或いは画像処理回路３０における階調変換処理などの際に、２，３フレーム目までのフレーム画像に対して階調値を補正するなどの処理のいずれかを行えばよい。

第１実施形態では、撮像素子の各画素に信号電荷を残留させる一形態として、フォトダイオード６１に信号電荷の一部を残留させる場合を挙げて説明したが、これに限定される必要はなく、撮像素子の各画素のフローティングディフュージョンを複数設け、複数のフローティングディフュージョンのいずれかに信号電荷を残留させることも可能である。以下、撮像素子に設けられた複数のフローティングディフュージョンのいずれかに信号電荷を残留させる場合について、第２実施形態として説明する。

＜第２実施形態＞
なお、第２実施形態におけるデジタルカメラにおいては、撮像素子以外の構成は同一となる。以下、第２実施形態においては、第１実施形態に示す撮像素子１６の代わりに、図に示す撮像素子８１が用いられる。以下、第１実施形態と同様の構成については、同一の符号を付して説明する。

図１１に示すように、撮像素子８１は、二次元状に配列された複数の画素Ｂ_ij（ｉ＝１，２，・・、ｊ＝１，２，・・・）、垂直走査回路８２、水平走査回路８３、垂直線選択用トランジスタ８４、カラムアンプ８５、ＣＤＳ回路８６及び出力アンプ８７を備えている。なお、垂直走査回路８２、水平走査回路８３及びＣＤＳ回路８５は、それぞれタイミングジェネレータ１７からの制御信号に基づいて作動する。

これら複数の画素Ｂ_ijは、フォトダイオード（ＰＤ）９１、フローティングディフュージョン（ＦＤ１）９２、フローティングディフュージョン（ＦＤ２）９３、フローティングディフュージョン（ＦＤ３）９４、転送トランジスタ（ＴＸ−Ｔｒ）９５、スイッチングトランジスタ（ＳＷ１）９６、スイッチングトランジスタ（ＳＷ２）９７、スイッチングトランジスタ（ＳＷ３）９８、増幅トランジスタ（ＡＭＩ−Ｔｒ）９９、選択トランジスタ（ＳＥＬ−Ｔｒ）１００、リセットトランジスタ（ＦＤＲＳＴ−Ｔｒ）１０１から構成される。なお、フローティングディフュージョン９２、フローティングディフュージョン９３、フローティングディフュージョン９４の容量比は、例えば９：１：１となるように、各フローティングディフュージョンが設定される。なお、各フローティングディフュージョンの容量比は一例であり、適宜設定されるものとする。

複数の画素Ｂ_ijは、垂直走査回路８２から水平方向に延びる複数の信号線１０２，１０３，１０４，１０５，１０６，１０７，１０８によって電気的にそれぞれ接続される。これら複数の信号線のうち、信号線１０２は転送用の信号線、信号線１０３はリセット用の信号線、信号線１０４，１０５，１０６は、スイッチングトランジスタ９６，９７，９８のオンオフを個別に切り替える切替用の信号線、信号線１０７は行選択用の信号線、信号線１０８は電源用の信号線である。また、信号線１０９は垂直信号線である。

垂直走査回路８２は、タイミングジェネレータ１７からの制御信号を受けて、転送信号、リセット信号、切替信号、行選択信号などを各画素Ｂ_ijに出力する。また、水平走査回路８３は、垂直線選択トランジスタ８４に列選択信号を出力する。以下、スイッチングトランジスタ９６に対する切替信号を第１切替信号、スイッチングトランジスタ９７に対する切替信号を第２切替信号、スイッチングトランジスタ９８に対する切替信号を第３切替信号と称して説明する。

垂直線選択用トランジスタ８４は、水平走査回路８３からの選択信号を受けてオンとなり、読み出し対象となる列に配置されている画素Ｂ_ijの画素信号をカラムアンプ８５に入力させる。このカラムアンプ８５により増幅された画素信号は、ＣＤＳ回路８６に入力される。ＣＤＳ回路８６は、入力される画素信号に対して相関二重サンプリング処理を施すことで、各画素に設けられたトランジスタのばらつきによるノイズ成分を除去する。なお、このＣＤＳ回路８６から出力される画素信号は、水平信号線１１０、出力アンプ８７を介して出力される。

次に、動画撮影時のデジタルカメラの撮像処理について説明する。このデジタルカメラの撮像処理では、走査ライン毎に順次シャッタを切る、所謂、ローリングシャッタ方式を用いた撮像処理が実行される。なお、通常の動画撮影を行うモードが選択されている場合には、撮像処理として、画素リセット処理、電荷蓄積処理、電荷転送処理、電荷読出処理が実行される。

画素リセット処理が実行されると、垂直走査回路８２から転送信号、第１切替信号、第２切替信号、第３切替信号、リセット信号を順次出力される。転送信号が出力されることで転送トランジスタがオンとなり、第１〜第３切替信号が出力されることでスイッチングトランジスタ９６，９７，９８がそれぞれオンとなる。この状態でリセット信号が出力されると、リセットトランジスタ９５がオンとなり、フォトダイオード９１及びフローティングディフュージョン９２，９３，９４のそれぞれにリセット電圧が印加される。これにより、フォトダイオード９１及びフローティングディフュージョン９２，９３，９４がリセットされる。

画素リセット処理の後に、実行される電荷蓄積処理においては、第１実施形態の電荷蓄積処理と同様にして、フォトダイオード９１により光電変換が実行され、光電変換により生成される信号電荷が蓄積されていく。

電荷転送処理が実行されると、垂直走査回路８２は第１切替信号を出力し、スイッチングトランジスタ９６をオンにする。その後、垂直走査回路８２は転送信号を出力し、転送トランジスタをオンにする。これにより、フォトダイオード９１に蓄積された信号電荷がフローティングディフュージョン９２に転送される。

電荷読出処理が開始されると、垂直走査回路８２は、第１切替信号を出力する。同時に垂直走査回路８２は行選択信号を出力し、選択トランジスタ９６をオンにする。これにより、フローティングディフュージョン９２により転送された信号電荷に基づく画素信号が垂直信号線１０９に出力される。水平走査回路８３は、選択信号を出力するので、水力信号線１０９に出力された画素信号が、カラムアンプ８５に入力される。なお、カラムアンプ８５に入力された画素信号は、カラムアンプ８５により増幅された後、ＣＤＳ回路８６に入力される。ＣＤＳ回路８６は、入力される画素信号に対して相関二重サンプリング処理を施し、水平信号線１１０に出力する。水平信号線１１０に出力された画素信号は、出力アンプ８７を介して出力される。

なお、通常の動画撮影においては、フローティングディフュージョン９２にのみ信号電荷を転送させているが、これに限定される必要はなく、全てのフローティングディフュージョン９２，９３，９４に対して信号電荷を転送し、これらフローティングディフュージョン９２，９３，９４に転送された信号電荷を電荷読出処理時に画素信号としてよみだすことも可能である。

一方、残像効果を付与する動画撮影を実行するモードが選択されている場合には、（５）画素リセット処理、（６）電荷蓄積処理、（７）電荷転送処理、（８）電荷分配処理、（９）電荷読出処理が走査ライン毎に順次実行される。

（５）画素リセット処理
残像効果を付与する動画撮影においても、通常の動画撮影と同様に、画素リセット処理が実行される。残像効果を付与する動画撮影が開始された直後、言い換えれば１フレーム目のフレーム画像を取得する場合には、通常の動画撮影と同様の処理が実行される。
動画撮影が開始されてから２フレーム目以降のフレーム画像を取得する場合、画素リセット処理が変更される。つまり、垂直走査回路８２は上述した第１切替信号、第２切替信号、第３切替信号、リセット信号のうち、第３切替信号以外の信号を出力する。つまり、２フレーム目以降のフレーム画像の取得時には、フォトトランジスタ９１、フローティングディフュージョン９２，９３がリセット処理され、フローティングディフュージョン９４はリセットされない。つまり、フローティングディフュージョン９４に転送された信号電荷は、そのまま残留される。

（６）電荷蓄積処理
残像効果を付与する動画撮影においても、通常の動画撮影と同一の電荷蓄積処理が実行される。

（７）電荷転送処理
垂直走査回路８２は、タイミングジェネレータ１７からの制御信号を受けて、第１切替信号及び第２切替信号を出力する。これを受けて、スイッチングトランジスタ９６，９７がそれぞれオンとなる。これら切替信号が出力された後、垂直走査回路８２は転送信号を出力する。この転送信号の出力により転送トランジスタ９５がオンとなるので、フォトダイオード９１に蓄積された信号電荷がフローティングディフュージョン９２，９３にそれぞれ転送される。なお、フローティングディフュージョン９２及びフローティングディフュージョン９３の容量比は、９：１に設定されていることから、フォトダイオード９１に蓄積される信号電荷の電荷量の９０％がフローティングディフュージョン９２に転送され、フォトダイオード９１に蓄積される信号電荷の電荷量の１０％がフローティングディフュージョン９３に転送される。

（８）電荷分配処理
上述したように、電荷転送処理が行われることで、フローティングディフュージョン９３に信号電荷が転送されている。垂直走査回路８２は、タイミングジェネレータ１７からの制御信号を受けて、第２切替信号及び第３切替信号を出力する。これにより、スイッチングトランジスタ９７及びスイッチングトランジスタ９８がそれぞれオンとなる。上述した電荷転送処理が終了した直後においては、フローティングディフュージョン９３には信号電荷が蓄積され、フローティングディフュージョン９４には信号電荷は転送されていない。第２切替信号及び第３切替信号の出力により、スイッチングトランジスタ９７及びスイッチングトランジスタ９８がオンとなると、フローティングディフュージョン９３，９４がそれぞれ等電位となる。これらフローティングディフュージョン９３及びフローティングディフュージョン９４の容量比は１：１であることから、フローティングディフュージョンに転送される信号電荷の電荷量が等しくなるまで、フローティングディフュージョン９３からフローティングディフュージョン９４へ信号電荷が転送される。これにより、信号電荷がフローティングディフュージョン９３からフローティングディフュージョン９４に分配される。なお、この処理が終了すると、上述した各信号の出力が停止される。

（９）電荷読出処理
垂直走査回路８２は、タイミングジェネレータ１７からの制御信号を受けて、第１切替信号、第２切替信号を出力する。これにより、スイッチングトランジスタ９６，９７がそれぞれオンとなる。これら切替信号が出力された後、垂直走査回路８２は行選択信号を出力する。この行選択信号の出力により、選択トランジスタ１００がオンとなり、フローティングディフュージョン９２及びフローティングディフュージョン９３に蓄積される信号電荷が画素信号として垂直信号線１０９に出力される。なお、この電荷読出処理では、タイミングジェネレータ１７からの制御信号が水平走査回路８３及びＣＤＳ回路８６に出力されている。つまり、垂直信号線１０９に出力された画素信号は、垂直線選択用トランジスタ８４を介して、カラムアンプ８５に入力される。なお、カラムアンプ８５に入力された画素信号は、カラムアンプ８５により増幅された後、ＣＤＳ回路８６に入力される。ＣＤＳ回路８６は、入力される画素信号に対して相関二重サンプリング処理を施し、水平信号線１１０に出力する。水平信号線１１０に出力された画素信号は、出力アンプ８７を介して出力される。

次に、残像効果を付与した動画撮影を行った場合の具体例を説明する。なお、第２実施形態の残像効果を付与した動画撮影は、第１実施形態と同様に、被写体Ｖが図３中左方から右方に向けて移動する動体とし、被写体Ｖにおける信号電荷の電荷量が１０ｅ⁻、背景における信号電荷の電荷量が５ｅ⁻となる場合を例に取り上げて説明する。

まず、図３、図１２及び図１３を用いて、画素Ｏについて説明する。画素リセット処理により、画素Ｏのフォトダイオード９１及びフローティングディフュージョン９２，９３，９４に残留する信号電荷がリセットされる。つまり、フォトダイオード９１及びフローティングディフュージョン９２，９３，９４の信号電荷の電荷量はそれぞれ０となる。取得されるフレーム画像ＦＩ_ｎにおいて、画素Ｏは被写体Ｖの領域に含まれる画素である。つまり、電荷蓄積処理が実行されると、フォトダイオード９１には被写体Ｖにおける信号電荷の電荷量１０ｅ⁻が蓄積される。この処理の後、電荷転送処理が実行されると、フォトダイオード９１に蓄積された信号電荷は、フローティングディフュージョン９２，９３に転送される。このとき、フローティングディフュージョン９２及びフローティングディフュージョン９３の容量比は９：１であることから、フォトダイオード９１に蓄積される信号電荷の電荷量１０ｅ⁻のうち、信号電荷の電荷量９ｅ⁻がフローティングディフュージョン９２に転送され、信号電荷の電荷量１ｅ⁻がフローティングディフュージョン９３に転送される。

電荷分配処理が実行されると、フローティングディフュージョン９３，９４が等電位になることから、それぞれのフローティングディフュージョン９３からフローティングディフュージョン９４に信号電荷が分配（転送）される。つまり、フローティングディフュージョン９３及びフローティングディフュージョン９４には、電荷量０．５ｅ⁻の信号電荷に基づく電圧がそれぞれ蓄積される。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送された信号電荷（電荷量９．５ｅ⁻）に基づく電圧が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．５ｅ⁻の信号電荷は、そのまま残留する。

この状態で、次のフレーム画像ＦＩ_ｎ＋１が取得される。フレーム画像ＦＩ_ｎ＋１においても、画素Ｏは被写体Ｖの領域に含まれる画素となる。なお、このフレーム画像ＦＩ_ｎ＋１を取得する際に実行される電荷リセット処理では、フローティングディフュージョン９４に対して電荷リセット処理は実行されない。この画素リセット処理の後に実行される電荷蓄積処理により、フォトダイオード９１には、電荷量１０ｅ⁻の信号電荷が蓄積される。そして、電荷転送処理が実行されると、フォトダイオード９１に蓄積された信号電荷の電荷量１０ｅ⁻のうち、信号電荷の電荷量９ｅ⁻がフォトダイオード９１からフローティングディフュージョン９２に転送され、信号電荷の電荷量１ｅ⁻がフォトダイオード９１からフローティングディフュージョン９３に転送される。この電荷蓄積処理が行われた直後において、フローティングディフュージョン９３には電荷量１ｅ⁻の信号電荷が、フローティングディフュージョン９４には、電荷量０．５ｅ⁻の信号電荷がそれぞれ蓄積されている。電荷分配処理が実行されると、フローティングディフュージョン９３，９４が等電位になることから、それぞれのフローティングディフュージョン９３からフローティングディフュージョン９４に信号電荷が分配（転送）される。この信号電荷の分配により、フローティングディフュージョン９３及びフローティングディフュージョン９４には電荷量０．７５ｅ⁻の信号電荷がそれぞれ蓄積される。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送された信号電荷（電荷量９．７５ｅ⁻）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．７５ｅ⁻の信号電荷は、そのまま残留する。

さらに、フレーム画像ＦＩ_ｎ＋２が取得された場合も、フレーム画像ＦＩ_ｎ＋１と同様に、画素Ｏは、被写体Ｖの領域に含まれる画素となる。このフレーム画像ＦＩ_ｎ＋２の取得時には、フローティングディフュージョン９４に電荷量０．７５ｅ⁻の信号電荷が残留された状態で、リセット処理、電荷蓄積処理、電荷転送処理が実行される。つまり、フォトダイオード９１に蓄積された信号電荷の電荷量１０ｅ⁻のうち、信号電荷の電荷量９ｅ⁻がフローティングディフュージョン９２に転送され、信号電荷の電荷量１ｅ⁻がフローティングディフュージョン９３に転送される。その後の電荷分配処理が実行されることで、フローティングディフュージョン９３及びフローティングディフュージョン９４には、電荷量０．８７５ｅ⁻の信号電荷が蓄積された状態となる。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送された信号電荷（電荷量９．８７５ｅ⁻）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．８７５ｅ⁻の信号電荷は、そのまま残留する。

フレーム画像ＦＩ_ｎ＋３が取得されるときには、画素Ｏは、被写体Ｖの領域に含まれる画素ではなく、背景の領域に含まれる画素となる。このフレーム画像ＦＩ_ｎ＋３の取得時には、このフレーム画像ＦＩ_ｎ＋２の取得時には、フローティングディフュージョン９４に電荷量０．８７５ｅ⁻の信号電荷が残留された状態で、リセット処理、電荷蓄積処理、電荷転送処理が実行される。この場合、信号電荷の電荷量５ｅ⁻がフォトダイオード９１に蓄積される。この信号電荷の電荷量５ｅ⁻のうち、信号電荷の電荷量４．５ｅ⁻がフローティングディフュージョン９２に転送され、信号電荷の電荷量０．５ｅ⁻がフローティングディフュージョン９３に転送される。その後の電荷分配処理が実行されることで、フローティングディフュージョン９３及びフローティングディフュージョン９４には、電荷量０．６８７５ｅ⁻の信号電荷が蓄積された状態となる。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送された信号電荷（電荷量５．１８７５ｅ⁻）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．６８７５ｅ⁻の信号電荷は、そのまま残留する。

このフレーム画像ＦＩ_ｎ＋３の後に取得されるフレーム画像ＦＩ_ｎ＋４においては、フレーム画像ＦＩ_ｎ＋３と同様に、画素Ｏは背景の領域に含まれる画素となる。このフレーム画像ＦＩ_ｎ＋４の取得時には、フローティングディフュージョン９４に信号電荷の電荷量０．６８７５ｅ⁻が残留された状態で、リセット処理、電荷蓄積処理、電荷転送処理が実行される。この場合も、信号電荷の電荷量５ｅ⁻がフォトダイオード９１に蓄積される。この信号電荷の電荷量５ｅ⁻のうち、信号電荷の電荷量４．５ｅ⁻がフローティングディフュージョン９２に転送され、信号電荷の電荷量０．５ｅ⁻がフローティングディフュージョン９３に転送される。その後の電荷分配処理が実行されることで、フローティングディフュージョン９３及びフローティングディフュージョン９４には、電荷量０．５９３７５ｅ⁻の信号電荷が蓄積された状態となる。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送される信号電荷（電荷量５．０９３７５ｅ⁻）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．５９３７５ｅ⁻の信号電荷は、そのまま残留する。

同様にして、フレーム画像ＦＩ_ｎ＋５においても、フローティングディフュージョン９４に信号電荷の電荷量０．５９３７５ｅ⁻が残留された状態でリセット処理、電荷蓄積処理、電荷転送処理及び電荷読出処理が実行される。このフレーム画像ＦＩ_ｎ＋５の取得時には、上述した電荷分配処理により、電荷量０．５４６８７５ｅ⁻の信号電荷がフローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積される。この場合には、電荷読出処理によりフローティングディフュージョン９２，９３に転送された信号電荷（電荷量５．０４６８７５ｅ⁻）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．５４６８７５ｅ⁻の信号電荷は、そのまま残留する。また、フレーム画像ＦＩ_ｎ＋６もフローティングディフュージョン９４に信号電荷の電荷量０．５４６８７５ｅ⁻が残留された状態でリセット処理、電荷蓄積処理、電荷転送処理及び電荷読出処理が実行される。このフレーム画像ＦＩ_ｎ＋６の取得時には、上述した電荷分配処理により、電荷量０．５２３４３７５ｅ⁻の信号電荷がフローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積される。この場合には、電荷読出処理によりフローティングディフュージョン９２，９３に転送された信号電荷（電荷量５．０２３４３７５ｅ⁻）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．５２３４３７５ｅ⁻の信号電荷は、そのまま残留する。

このように、画素Ｏから出力される各フレーム画像における信号電荷の電荷量は、９．５ｅ⁻→、９．７５ｅ⁻→９．９．８７５ｅ⁻→５．１８７５ｅ⁻→５．０９３７５ｅ⁻→５．０４６８７５ｅ⁻→５．０２３４３７５ｅ⁻と変化し、背景の領域における光量に基づく電荷量５ｅ⁻に収束していく。つまり、フレーム画像ＦＩ_ｎ＋３以降のフレーム画像において、残像効果が徐々に低減されていることから、フレーム画像ＦＩ_ｎ＋３以降のフレーム画像において、残像効果を適切に付与することができる。

次に、画素Ｐについて、図３、図１４及び図１５を用いて説明する。フレーム画像ＦＩ_ｎ及びフレーム画像ＦＩ_ｎ＋１の取得時においては、画素Ｐは被写体Ｖの領域に含まれる画素であることから、これらフレーム画像ＦＩ_ｎ，ＦＩ_ｎ＋１の取得時に読み出される信号電荷の電荷量や、フローティングディフュージョン９４に残留する信号電荷の電荷量（読出光量）は、画素Ｏと同一の値となる。フレーム画像ＦＩ_ｎ＋２の取得時には、画素Ｐは、被写体Ｖの領域ではなく、背景の領域に含まれる画素となる。このため、電荷蓄積処理では、背景における信号電荷の電荷量５ｅ⁻がフォトダイオード９１に蓄積される。つまり、電荷転送処理が行われると、信号電荷の電荷量４．５ｅ⁻がフローティングディフュージョン９２に転送され、信号電荷の電荷量０．５ｅ⁻がフローティングディフュージョン９３に転送される。このとき、フローティングディフュージョン９４には、信号電荷の電荷量０．７５ｅ⁻が蓄積されていることから、電荷分配処理によりフローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積される信号電荷は、電荷量０．６２５ｅ⁻となる。つまり、電荷読出処理が実行されると、フローティングディフュージョン９２及びフローティングディフュージョン９３に転送された信号電荷（電荷量５．１２５ｅ⁻）が画素信号として出力される。このとき、フローティングディフュージョン９４に蓄積される信号電荷は、そのまま残留される。

なお、フレーム画像ＦＩ_ｎ＋３以降（フレーム画像ＦＩ_ｎ＋３、フレーム画像ＦＩ_ｎ＋４、フレーム画像ＦＩ_ｎ＋５及びフレーム画像ＦＩ_ｎ＋６）においては、画素Ｐは背景の領域に含まれる画素となることから、フレーム画像ＦＩ_ｎ＋２と同様に、背景の領域の光量に基づく電荷量５ｅ⁻がフォトダイオード９１にて受光され、フォトダイオード９１に蓄積される信号電荷の９０％がフローティングディフュージョン９２に転送され、残りの１０％がフローティングディフュージョン９３に転送される。その後、電荷分配処理により、フローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積された信号電荷は、等しくされた後、電荷読出処理により、フローティングディフュージョン９２及びフローティングディフュージョン９３に蓄積された信号電荷に基づく電圧が画素信号として出力される。

このように、画素Ｐから出力される各フレーム画像における信号電荷の電荷量は、９．５ｅ⁻→、９．７５ｅ⁻→５．１２５ｅ⁻→５．０６２５ｅ⁻→５．０３１２５ｅ⁻→５．０１５６２５ｅ⁻→５．００７８１２５ｅ⁻と変化し、背景の領域における光量に基づく電荷量５ｅ⁻に収束していく。つまり、画素Ｐは、フレーム画像ＦＩ_ｎ＋２以降のフレーム画像において、残像効果が徐々に低減されていることから、フレーム画像ＦＩ_ｎ＋２以降のフレーム画像において、残像効果を適切に付与することができる。

最後に、画素Ｑについて、図３、図１６及び図１７を用いて説明する。この画素Ｑは、被写体Ｖの領域ではなく、背景の領域に含まれる画素である。つまり、この画素Ｑには、各フレーム画像の取得時には、背景の領域における光量に基づく電荷量５ｅ⁻が、フォトダイオード９１に蓄積される。この画素Ｑにおいても、画素Ｏ、画素Ｐと同一の処理が実行されることから、フォトダイオード９１に蓄積される信号電荷の９０％がフローティングディフュージョン９２に転送され、残りの１０％がフローティングディフュージョン９３に残留する。そして、電荷分配処理が行われることで、フローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積される信号電荷が等しくされる。最後に、電荷読出処理によりフローティングディフュージョン９２及びフローティングディフュージョン９３に蓄積された信号電荷に基づく電圧が、画素信号として出力される。この画素Ｑから出力される各フレーム画像における信号電荷の電荷量は、４．７５ｅ⁻→、４．８７５ｅ⁻→４．９３７５ｅ⁻→４．９６８７５ｅ⁻→４．９８４３７５ｅ⁻→４．９９２１８７５ｅ⁻→４．９９６０９３７５ｅ⁻と背景の領域における光量に基づく電荷量５ｅ⁻に収束する。なお、この画素Ｑは、動画撮影時には背景の領域に含まれる画素となることから、この画素Ｑにおいては、残像効果が付与されないことがわかる。

このようにして、撮像素子１６から出力される画像信号は、残像効果が付与された画像信号となる。図１０に示すように、取得された動画像を表示すると、移動する被写体に対しては適切な残像効果が付与され、背景の領域には、残像効果は付与されない動画像として表示される。つまり、撮像素子の各画素の構成、言い換えればフローティングディフュージョンの数を増やし、また、撮像素子１６に対する制御を変更することで、残像効果を付与した動画像を容易に取得することができる。この場合も、通常の動画撮影により得られた動画像に対して残像効果を付与する画像処理を行わずに済む。これにより、画像処理回路３０の処理負荷を増加させなくとも、残像効果を付与した動画像を容易に取得することが可能となる。

この第２実施形態においても、第１実施形態と同様に、残像効果を付与する動画撮影を開始した直後のフレーム画像において、各画素から読み出される光量に基づく信号電荷の電荷量が実際の電荷量よりも低くなっていることから、残像効果を付与する動画撮影の開始から得られる２，３フレーム目までのフレーム画像は記録せずに削除することも可能である。また、この他に、残像効果を付与する動画撮影の開始から得られる２，３フレーム目までのフレーム画像に対しては、例えば撮像素子８１に設けられるカラムアンプ８５や出力アンプ８７において、その出力値を増幅させることも可能である。また、この他に、ＡＦＥ回路１８におけるゲインコントロール処理によって各画素からの出力値を増幅させることも可能である。さらに、画像処理回路３０における階調変換処理などの際に、２，３フレーム目までのフレーム画像を補正することも可能である。

この第２実施形態では、フローティングディフュージョン９４を、残留させる信号電荷を次のフレーム画像の取得時にまで蓄積させておく実施形態としているが、これに限定される必要はなく、フローティングディフュージョン９３に蓄積される信号電荷を蓄積させることも可能である。また、この他に、フレーム画像毎に、次のフレーム画像の取得時まで残留させる信号電荷を蓄積させておくフローティングディフュージョンを切り替えることも可能である。

上述した第２実施形態では、各画素に設けられるフローティングディフュージョンの数を３個としているが、これに限定される必要はなく、各画素に設けられるフローティングディフュージョンは２個以上であればよい。なお、各画素に設けられるフローティングディフュージョンの数を２個とした場合には、上述した電荷分配処理を行う必要はない。例えば、画素に設けられるフローティングディフュージョンを、フローティングディフュージョンＸ、フローティングディフュージョンＹとした場合、フローティングディフュージョンＸとフローティングディフュージョンＹの容量比を９：１とする。この場合、上述した電荷転送処理時にフォトダイオードに蓄積された信号電荷をフローティングディフュージョンＸ，Ｙに転送すると、フローティングディフュージョンＸには９０％の信号電荷が転送され、フローティングディフュージョンＹには１０パーセントの信号電荷が転送される。そして、電荷読出処理が実行されたときには、フローティングディフュージョンＸに蓄積された信号電荷を画素信号として出力し、フローティングディフュージョンＹに蓄積された信号電荷を残留させる。そして、次のフレーム画像を取得するときに、フォトダイオードに蓄積される信号電荷をフローティングディフュージョンＸ，Ｙのそれぞれに転送する。このとき、フローティングディフュージョンＹに信号電荷が蓄積されている。また、フローティングディフュージョンＸ，Ｙには等電位となることから、フォトダイオードに蓄積される信号電荷とフローティングディフュージョンＹに蓄積される信号電荷との総和が、容量比９：１となるようにフローティングディフュージョンＸ，Ｙに分配される。そして、電荷読出処理においてフローティングディフュージョンＸに転送された信号電荷に基づく電圧を画素信号として出力すればよい。なお、フローティングディフュージョンＹに転送された信号電荷は、次のフレーム画像の取得時まで残留される。

この場合も、撮像素子の各画素の構成、言い換えればフローティングディフュージョンの数を増やし、また、撮像素子１６に対する制御を変更することで、残像効果を付与した動画像を容易に取得することができるので、画像処理による残像効果を付与する必要はなく、画像処理回路の処理負荷を低減させることができる。

第１実施形態及び第２実施形態においては、動画撮影を例に挙げているが、撮影待機状態のときに得られるスルー画像や、静止画像を連続的に撮影する、所謂連写撮影にて得られる画像を取得する場合にも、本発明を適用することができる。

第１実施形態及び第２実施形態における撮像装置として、ＣＭＯＳイメージセンサを備えたデジタルカメラを挙げて説明しているが、これに限定される必要はなく、ＣＣＤイメージセンサを用いることも可能である。

本発明は、撮像装置として、デジタルカメラを例に取り上げて説明しているが、これに限定される必要はなく、例えば携帯型電話機などの携帯型電子機器にカメラ機能が付加されていれば、そのような携帯型電子機器に対して本発明を用いることが可能である。

１０…デジタルカメラ、１６，８１…撮像素子、１７…タイミングジェネレータ、４６…残像付与ボタン、５１，８２…垂直走査回路、５２，８３…水平走査回路、６１，９１…フォトダイオード、６２，９２，９３，９４…フローティングディフュージョン、６３、９５…転送トランジスタ、６６、１０１…リセットトランジスタ、９６，９７，９８…スイッチングトランジスタ

Claims (10)

1. 入射光に応じた信号電荷を生成し蓄積する光電変換部と、前記信号電荷の容量比が予め設定され、それぞれが並列に接続される第１及び第２の電荷電圧変換部と、を有する画素を備えた撮像素子と、
   前記第１の電荷電圧変換部に転送された信号電荷を画素信号として出力し、前記第２の電荷電圧変換部に転送された信号電荷を残留させる駆動手段と、
   前記駆動手段による前記撮像素子の駆動を制御する制御手段と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画素は、
   前記光電変換部に蓄積された信号電荷を前記第１及び第２の電荷電圧変換部に転送するか否かを切り替える転送トランジスタと、
   前記転送トランジスタと前記第１の電荷電圧変換部との間に設けられる第１のスイッチングトランジスタと、
   前記転送トランジスタと前記第２の電荷電圧変換部との間に設けられる第２のスイッチングトランジスタと、
   を備え、
   前記駆動手段は、前記転送トランジスタ、前記第１のスイッチングトランジスタ及び前記第２のスイッチングトランジスタのそれぞれをオン動作させることで、前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部のそれぞれに転送することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記画素は、
   前記画素信号を出力するか否かを選択する選択トランジスタを備え、
   前記駆動手段は、前記選択トランジスタ及び前記第１のスイッチングトランジスタをオン動作させることで、前記第１の電荷電圧変換部により変換された電圧を画素信号として出力することを特徴とする撮像装置。
4. 請求項２又は請求項３に記載の撮像装置において、
   前記画素は、前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部をリセットするリセットトランジスタを備え、
   前記駆動手段は、連続的に複数の画像を取得する場合に、前記複数の画像の取得が開始された直後の画像の取得時には前記リセットトランジスタ、前記転送トランジスタ、前記第１のスイッチングトランジスタ及び前記第２のスイッチングトランジスタをオン動作させることで前記光電変換部、前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部をリセットし、前記複数の画像の取得された直後の画像を除いた残りの画像の取得時には前記リセットトランジスタ、前記転送トランジスタ、前記第１のスイッチングトランジスタをオン動作させることで前記光電変換部及び前記第１の電荷電圧変換部をリセットして前記第２の電荷電圧変換部に転送された信号電荷を残留させることを特徴とする撮像装置。
5. 請求項２から請求項４のいずれか１項に記載の撮像装置において、
   前記画素は、
   前記第１の電荷電圧変換部及び第２の電荷電圧変換部と並列に接続される第３の電荷電圧変換部と、
   前記光電変換部と前記第３の電荷電圧変換部との間に設けられる第３のスイッチングトランジスタと、
   を備え、
   前記駆動手段は、前記第２の電荷電圧変換部に前記信号電荷が転送された後に、前記第２のスイッチングトランジスタ及び前記第３のスイッチングトランジスタをオン動作させて、前記第２の電荷電圧変換部に転送された信号電荷を前記第３の電荷電圧変換部に分配することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記駆動手段は、前記選択トランジスタ及び前記第１のスイッチングトランジスタをオン動作させる際に、前記第２のスイッチングトランジスタ又は第３のスイッチングトランジスタのいずれかのスイッチングトランジスタをオン動作させることで、前記第２の電荷電圧変換部又は前記第３の電荷電圧変換部のいずれかにより変換された電圧を、前記第１のトランジスタにより変換された電圧とともに前記画素信号として出力することを特徴とする撮像装置。
7. 請求項１に記載の撮像装置において、
   前記駆動手段は、連続的な複数の画像を取得するときに、前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部の双方に転送する第１モード、又は前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部にのみ転送させる第２モードとのいずれかのモードで前記撮像素子を駆動させることを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記第１モード又は前記第２モードのいずれか一方のモードに切り替える際に操作される操作部材を備え、
   前記制御手段は、前記操作部材の操作を受けて、前記駆動手段による前記撮像素子の駆動を前記第１モード及び前記第２モードの間で切り替えることを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記制御手段は、前記連続的な複数の画像の取得の際に前記操作部材が操作された場合に、前記駆動手段による前記撮像素子の駆動を前記第１モード及び前記第２モードの間で切り替えることを特徴とする撮像装置。
10. 請求項４から請求項９に記載の撮像装置において、
    前記連続的な複数の画像は、動画像、スルー画像、或いは連写撮影時に得られる画像のいずれかからなることを特徴とする撮像装置。

Images