JP2011233949A - 撮像装置 - Google Patents

Abstract

【課題】単一の撮像素子を用いて空間分解能の高い静止画と時間分解能の高い動画を同時に得ることが可能な撮像装置を提供することを目的とする。
【解決手段】ローリングシャッタタイプの撮像素子２と、撮像素子２から静止画生成用の画像信号として出力される画像信号を用いて静止画フレームを生成する静止画処理部３と、撮像素子２から動画生成用の画像信号として出力される画像信号を用いて複数の動画フレームを生成する動画処理部４とを備える撮像装置１であって、動画処理部４は、動画撮影中に静止画撮影指示があると、静止画生成用の画像信号が優先的に静止画処理部３に出力されることにより動画生成用の画像信号として動画処理部４に入力されない欠落ラインを、その欠落ラインを含んで生成される動画フレームの前後の動画フレームを生成するための画像信号を用いて補間する。
【選択図】図１

Description

本発明は、動画と静止画が撮影可能な撮像装置に関する。

動画と静止画が撮影可能なＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）（以下、撮像装置）が普及している。Ｌｉｖｅ Ｖｉｅｗ機能など動画撮影が可能な撮像装置は以前からあったが、記録できる動画もＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）が当然の状況となってきている。Ｌｉｖｅ Ｖｉｅｗ動画にくらべＨＤ動画は単位時間あたりに取扱うデータ量が多い。

また、ＤＳＣの多画素化は留まることを知らず、１２Ｍ画素が一般的となっている。動画は規格上２ＭのＨＤが標準であり、動画の単位時間あたりに取扱うデータ量が伸びたとはいえ、画素数のうえでは静止画とは６倍以上の格差がある。つまり、単位時間あたりのデータ量が同一の静止画と動画とでは、静止画は空間分解能が高い反面、時間分解能が低くなり、動画は空間分解能が低い反面、時間分解能が高くなる傾向がある。

そこで、静止画と動画の処理を同時に行うために、画像信号を複数の出力先に出力することが可能な撮像素子を備え、動画処理部と静止画処理部を個別に持つ撮像装置が考えられる（例えば、特許文献１及び特許文献２参照）。例えば、１コマが１２Ｍｐｉｘの静止画フレームを１秒間に１０コマ撮影しているときと、１コマが２Ｍｐｉｘの動画フレームを１秒間に６０コマ撮影しているときとでは単位時間あたりに取扱われるデータ量が互いに等しい。処理性能１２０Ｍｐｉｘ／ｓで撮影〜記録まで可能な撮像装置においては、１コマが１２Ｍｐｉｘの静止画フレームを１秒間に１０コマ撮影している最中にいかなる動画も処理できないが、処理性能１２０Ｍｐｉｘ／ｓの動画処理部と処理性能１２０Ｍｐｉｘ／ｓの静止画処理部を共に持つ撮像装置では１コマが１２Ｍｐｉｘの静止画フレームを１秒間に１０コマ撮影しつつ、１コマが２Ｍｐｉｘの動画フレームを１秒間で６０コマ撮影することができる。

特開２０００−２０９５０３号公報 特開２００８−２０５６２０号公報

しかしながら、動画撮影中に静止画撮影を行う場合、図１３に示すように、静止画用の画像信号を撮像素子に蓄積しているとき、同じ撮像素子において同時にさらに動画用の画像信号も蓄積することができないため、その間の動画フレームが途切れてしまうという問題がある。なお、図１３はローリングシャッタタイプの撮像素子を用いた場合の例である。

そこで、前後の動画フレームを合成して途切れてしまった動画フレームを補間することが考えられるが、上述したように、動画と静止画とのフレームレート差が大きいと、動画フレームが途切れる期間が長くなる。そのため、動画の時間分解能が低くなり、違和感のある動画となってしまうという問題がある。

そこで、本発明では、単一の撮像素子を用いて空間分解能の高い静止画と時間分解能の高い動画を同時に得ることが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、ライン単位で画像信号を出力するローリングシャッタタイプの撮像素子と、静止画撮影指示があると、前記撮像素子から静止画生成用の画像信号として出力される画像信号を用いて静止画フレームを生成するとともに、動画撮影指示があると、前記撮像素子から動画生成用の画像信号として出力される画像信号を用いて複数の動画フレームを生成する画像処理部とを備え、前記撮像素子は、動画撮影中に静止画撮影指示があると、前記静止画生成用の画像信号を優先的に前記画像処理部に出力し、前記画像処理部は、動画撮影中に静止画撮影指示があると、前記撮像素子から前記静止画生成用の画像信号が優先的に出力されることにより、前記動画生成用の画像信号として前記画像処理部に入力されない欠落ラインを、その欠落ラインを含んで生成される動画フレームの前後の動画フレームを生成するための画像信号を用いて補間する。

本発明によれば、動画と静止画が撮影可能な撮像装置において、単一の撮像素子を用いて空間分解能の高い静止画と時間分解能の高い動画を同時に得ることができる。

本発明の実施形態の撮像装置を示す図である。 ローリングシャッタタイプの撮像素子における１フレーム分の画像信号の蓄積期間と読出し期間を示す図である。 本実施形態の撮像装置において、動画撮影中に静止画撮影を行った場合の動画生成用の画像信号の蓄積期間と静止画生成用の画像信号の蓄積期間を示す図である。 本実施形態の撮像素子を示す図である。 静止画生成に使用される撮像素子の領域及び動画生成に使用される撮像素子の領域の一例を示す図である。 本実施形態の撮像素子における画素を示す図である。 図４に示す各スイッチ及び図６に示す各トランジスタを制御する制御信号の制御タイミングを示す図である。 静止画生成用の画像信号の読出しタイミング及び動画生成用の画像信号の読出しタイミングを示す図である。 欠落ラインの補間を説明するための図である。 他の実施形態の撮像素子を示す図である。 他の実施形態の撮像素子における画素を示す図である。 図１１に示す各トランジスタを制御する制御信号の制御タイミングを示す図である。 図１１に示す各トランジスタを制御する制御信号の制御タイミングを示す図である。 既存の撮像装置において、動画撮影中に静止画撮影を行った場合の動画生成用の画像信号の蓄積期間と静止画生成用の画像信号の蓄積期間を示す図である。

図１は、本発明の実施形態の撮像装置を示す図である。
図１に示す撮像装置１は、撮像素子２と、静止画処理部３と、動画処理部４と、静止画記録部５と、動画記録部６とを備えている。なお、静止画処理部３及び動画処理部４を単一の画像処理部で構成してもよい。このように構成する場合、画像処理部に入力される画像信号は画像処理部内の記憶部に一時的に記憶され、画像処理部内で静止画生成処理及び動画生成処理が時系列で実施される。また、静止画記録部５と動画記録部６は個別の記録部で構成されていてもよいし、単一の記録部で構成されていてもよい。

撮像素子２は、ローリングシャッタタイプの撮像素子であり、図２に示すように、撮像素子２の各画素から読み出される被写体像に対応する画像信号をライン単位で出力する。
静止画処理部３は、静止画記録処理部７を備え、撮像素子２から出力される画像信号に基づいて静止画フレームを生成する。

静止画記録処理部７は、静止画フレームの圧縮処理などを行う。
動画処理部４は、動画欠落ライン補間部８と、動画記録処理部９とを備え、撮像素子２から出力される画像信号に基づいて複数の動画フレームを生成する。

動画欠落ライン補間部８は、動画撮影中に静止画撮影指示があると、動画生成用の画像信号として動画処理部４に入力されない欠落ラインを、その欠落ラインを含んで生成される動画フレームの前後の動画フレームを生成するための画像信号を用いて補間する。

動画記録処理部９は、動画フレームの圧縮処理などを行う。
静止画記録部５は、静止画処理部３で生成される静止画フレームを記録する。
動画記録部６は、動画処理部４で生成される複数の動画フレームを記録する。

本実施形態の撮像装置１の特徴とする点は、ローリングシャッタタイプの撮像素子２からライン単位で出力される画像信号に基づいて、静止画フレームや複数の動画フレームを生成するとともに、動画撮影中に静止画撮影指示があると、図３に示すように、優先して静止画生成用の画像信号を蓄積して静止画フレームを生成しつつ、同時に欠落ラインを含む動画生成用の画像信号を蓄積して複数の動画フレームも生成する点である。また、本実施形態の撮像装置１では、撮像素子２から静止画生成用の画像信号が優先的に出力されることにより、動画生成用の画像信号として動画処理部４に入力されない欠落ラインを、その欠落ラインを含んで生成される動画フレームの前後の動画フレームを生成するための画像信号を用いて補間する。これにより、単一の撮像素子２を用いて空間分解能の高い静止画と時間分解能の高い動画を同時に得ることができる。

図４は、撮像素子２の一例を示す図である。
図４に示す撮像素子２は、画素部１０と、静止画垂直走査部１１と、動画垂直走査部１２と、動画静止画垂直走査部１３と、スイッチ制御部１４と、スイッチ１５〜１８（第１のスイッチ）と、第１の水平走査部１９と、スイッチ２０〜２３（第２のスイッチ）と、第２の水平走査部２４とを備えて構成されている。

画素部１０は、光電変換を行う４×４の画素（画素ａ１〜ａ４、画素ｂ１〜ｂ４、画素ｃ１〜ｃ４、及び画素ｄ１〜ｄ４）から構成されている。なお、画素部１０においてマトリクス状に構成される画素の個数は特に限定されない。

静止画垂直走査部１１は、静止画生成用の画像信号を画素部１０に蓄積させたり、画素部１０に蓄積された静止画生成用の画像信号を画素部１０から読み出させたりするための静止画用制御信号φｓＶ（φｓＶ１〜φｓＶ４）を出力する。

動画垂直走査部１２は、動画生成用の画像信号を画素部１０に蓄積させたり、画素部１０に蓄積された動画生成用の画像信号を画素部１０から読み出させたりするための動画用制御信号φｍＶ（φｍＶ１〜φｍＶ４）を出力する。

動画静止画垂直走査部１３は、入力される静止画用制御信号φｓＶ（φｓＶ１〜φｓＶ４）を制御信号φＶ（φＶ１〜φＶ４）として画素部１０に出力するとともに、入力される動画用制御信号φｍＶ（φｍＶ１〜φｍＶ４）を制御信号φＶ（φＶ１〜φＶ４）として画素部１０に出力する。また、動画静止画垂直走査部１３は、静止画用制御信号φｓＶ１が入力されると、画素ａ１〜ａ４から画像信号が読み出されるまでの期間、動画用制御信号φｍＶ１が入力されても画素部１０への制御信号φＶ１の出力を禁止する。また、動画静止画垂直走査部１３は、静止画用制御信号φｓＶ２が入力されると、画素ｂ１〜ｂ４から画像信号が読み出されるまでの期間、動画用制御信号φｍＶ２が入力されても画素部１０への制御信号φＶ２の出力を禁止する。また、動画静止画垂直走査部１３は、静止画用制御信号φｓＶ３が入力されると、画素ｃ１〜ｃ４から画像信号が読み出されるまでの期間、動画用制御信号φｍＶ３が入力されても画素部１０への制御信号φＶ３の出力を禁止する。また、動画静止画垂直走査部１３は、静止画用制御信号φｓＶ４が入力されると、画素ｄ１〜ｄ４から画像信号が読み出されるまでの期間、動画用制御信号φｍＶ４が入力されても画素部１０への制御信号φＶ４の出力を禁止する。

スイッチ制御部１４は、動画静止画垂直走査部１３から出力されるタイミング信号に基づいて、スイッチ１５〜１８をそれぞれオン、オフさせるための制御信号φｓｇ１を出力するとともに、スイッチ２０〜２３をそれぞれオン、オフさせるための制御信号φｓｇ２を出力する。

スイッチ１５〜１８がそれぞれオンしている期間は、画素部１０からライン単位で読み出される画像信号が第１の水平走査部１９に出力され、スイッチ１５〜１８がそれぞれオフしている期間は、画素部１０からライン単位で読み出される画像信号が第１の水平走査部１９に出力されない。また、スイッチ２０〜２３がそれぞれオンしている期間は、画素部１０からライン単位で読み出される画像信号が第２の水平走査部２４に出力され、スイッチ２０〜２３がそれぞれオフしている期間は、画素部１０からライン単位で読み出される画像信号が第２の水平走査部２４に出力されない。また、動画静止画垂直走査部１３は、動画撮影中に静止画撮影指示があると、制御信号φｓｇ１、φｓｇ２でスイッチ１５〜１８、スイッチ２０〜２３のオン、オフを制御することにより、画素部１０から読み出される１ラインの静止画生成用の画像信号と同じラインの動画生成用の画像信号を動画処理部４に出力させないようにする。これにより、動画撮影中に静止画撮影指示があると、画素部１０から出力される画像信号が優先的に静止画処理部３に出力され、優先的に静止画フレームが生成される。

第１の水平走査部１９は、スイッチ１５〜１８から出力されるライン単位の画像信号を静止画処理部３に出力する。
第２の水平走査部２４は、スイッチ２０〜２３から出力されるライン単位の画像信号を動画処理部４に出力する。

一般に、動画生成のために使用される画素は、図５に示すように、静止画生成のために使用される画素に比べて領域が小さく、一部が間引かれている。本実施形態では、画素部１０内の全ての画素ａ１〜ａ４、ｂ１〜ｂ４、ｃ１〜ｃ４、ｄ１〜ｄ４により得られる画像信号に基づいて静止画フレームが生成され、画素部１０内の画素ｂ１、ｂ３、ｃ１、ｃ３により得られる画像信号に基づいて動画フレームが生成されるものとする。

図６は、画素ａ１の一例を示す図である。なお、その他の画素も図６に示す構成と同様の構成とする。
図６に示す画素ａ１は、フォトダイオード２５と、制御信号φＴによりオン、オフする電荷転送トランジスタ（ＭＯＳＦＥＴ）２６と、制御信号φＲによりオン、オフする電荷リセットトランジスタ２７と、読出しトランジスタ２８と、制御信号φＬによりオン、オフする垂直選択トランジスタ２９と、垂直読出し線３０とを備えている。なお、垂直読出し線３０の一方端はスイッチ１５を介して第１の水平走査部１９に接続され、垂直読出し線３０の他方端はスイッチ２０を介して第２の水平走査部２４に接続されているものとする。

次に、画素ａ１の動作を説明する。
図７は、制御信号φｓｇ１、φｓｇ２及び制御信号φＴ、φＲ、φＬを示す図である。なお、上記制御信号φＶ１〜φＶ４は、それぞれ、制御信号φｓｇ１、φｓｇ２及び制御信号φＴ、φＲ、φＬから構成されるものとする。

まず、制御信号φＴにパルスが生じると、電荷転送トランジスタ２６がオン、オフして、フォトダイオード２５における電荷蓄積が開始する（Ｓ１）。
次に、制御信号φＲにパルスが生じると、電荷リセットトランジスタ２７がオン、オフして、読出しトランジスタ２８のゲートの電荷がリセットされる（Ｓ２）。

次に、制御信号φＬにパルスが生じると、垂直選択トランジスタ２９がオン、オフして、読出しトランジスタ２８にかかるフローティング電圧が垂直読出し線３０に読み出される（Ｓ３）。

次に、制御信号φＴにパルスが再度生じると、電荷転送トランジスタ２６がオン、オフして、フォトダイオード２５の電荷蓄積が終了する（Ｓ４）。
次に、制御信号φＬのパルスが再度生じると、垂直選択トランジスタ２９がオン、オフして、読出しトランジスタ２８にかかる電圧が画像信号として垂直読出し線３０に読み出される（Ｓ５）。このとき、制御信号φｓｇ１がハイレベルでスイッチ１５〜１８がオンしていると、垂直読出し線３０に読み出された画像信号が第１の水平走査部１９に出力される。一方、制御信号φｓｇ２がハイレベルでスイッチ２０〜２３がオンしていると、垂直読出し線３０に読み出された画像信号が第２の水平走査部２４に出力される。

なお、図７では、制御信号φｓｇ１のパルスタイミングが制御信号φｓｇ２のパルスタイミングよりも早いが、制御信号φｓｇ２のパルスタイミングを制御信号φｓｇ１のパルスタイミングよりも早くしてもよい。

例えば、静止画撮影用のボタンがユーザにより押されるなどして静止画撮影指示があると、図４の静止画垂直走査部１１は、制御信号φｓＶ１〜φｓＶ４を動画静止画垂直走査部１３に出力する。
動画静止画垂直走査部１３は、制御信号φｓＶ１を制御信号φＶ１として画素ａ１〜ａ４にそれぞれ出力し、制御信号φｓＶ２を制御信号φＶ２として画素ｂ１〜ｂ４にそれぞれ出力し、制御信号φｓＶ３を制御信号φＶ３として画素ｃ１〜ｃ４にそれぞれ出力し、制御信号φｓＶ４を制御信号φＶ４として画素ｄ１〜ｄ４にそれぞれ出力する。これにより、画素ａ１〜ａ４からそれぞれ読み出される画像信号がスイッチ１５〜１８を介して第１の水平走査部１９に出力された後、画素ｂ１〜ｂ４からそれぞれ読み出される画像信号がスイッチ１５〜１８を介して第１の水平走査部１９に出力され、その後、画素ｃ１〜ｃ４からそれぞれ読み出される画像信号がスイッチ１５〜１８を介して第１の水平走査部１９に出力された後、画素ｄ１〜ｄ４からそれぞれ読み出される画像信号がスイッチ１５〜１８を介して第１の水平走査部１９に出力される。そして、図１の静止画処理部３は、撮像素子２からライン単位に順次出力される画像信号に基づいて静止画フレームを生成し、その生成した静止画フレームを静止画記録部５に記録する。

また、例えば、動画撮影用のボタンがユーザにより押されるなどして動画撮影指示があると、図４の動画垂直走査部１２は、制御信号φｍＶ２、φｍＶ４を動画静止画垂直走査部１３に出力する。動画静止画垂直走査部１３は、制御信号φｍＶ２を制御信号φＶ２として画素ｂ１、ｂ３にそれぞれ出力し、制御信号φｍＶ４を制御信号φＶ４として画素ｄ１、ｄ３にそれぞれ出力する。これにより、画素ｂ１、ｂ３からそれぞれ読み出される画像信号がスイッチ２０、２２を介して第２の水平走査部２４に出力された後、画素ｄ１、ｄ３からそれぞれ読み出される画像信号がスイッチ２０、２２を介して第２の水平走査部２４に出力される。そして、図１の動画処理部４は、撮像素子２からライン単位に順次出力される画像信号に基づいて動画フレームを生成し、その生成した動画フレームを動画記録部６に記録する。動画撮影では、この動作が繰り返されることにより複数の動画フレームからなる動画が動画記録部６に記録される。

次に、動画撮影中に静止画撮影指示があった場合の撮像装置１の動作について説明する。
図８は、動画撮影中に静止画撮影指示があった場合に撮像素子２から出力される画像信号を示す図である。なお、静止画垂直走査部１１から制御信号φｓＶ１が出力されるタイミングと動画垂直走査部１２から制御信号φｍＶ２が出力されるタイミングは互いに一致しているものとする。また、図８では、制御信号φＶ１〜φＶ４として、それぞれ、上記制御信号φＴのみを示している。また、斜線期間は、静止画生成用の画像信号が優先的に出力されている期間を示している。

図８に示すように、まず、制御信号φＶ１、φＶ２により、時刻Ｔ１において画素ａ１〜ａ４及び画素ｂ１、ｂ３の電荷蓄積を開始し、時刻Ｔ３において画素ａ１〜ａ４及び画素ｂ１、ｂ３の電荷蓄積を終了して画素ａ１〜ａ４から読み出される静止画生成用の画像信号が静止画処理部３に出力されるとともに、画素ｂ１、ｂ３から読み出される動画生成用の画像信号が動画処理部４に出力される。

次に、制御信号φＶ４により、時刻Ｔ２において画素ｄ１、ｄ３の電荷蓄積を開始し、時刻Ｔ４において画素ｄ１、ｄ３の電荷蓄積を終了して画素ｄ１、ｄ３から読み出される動画生成用の画像信号が動画処理部４に出力される。

次に、制御信号φＶ２により、時刻Ｔ３において画素ｂ１〜ｂ４の電荷蓄積を開始し、時刻Ｔ５において画素ｂ１〜ｂ４の電荷蓄積を終了して画素ｂ１〜ｂ４から読み出される静止画生成用の画像信号が静止画処理部３に出力される。なお、時刻Ｔ４において動画垂直走査部１２から動画静止画垂直走査部１３に制御信号φｍＶ２が出力されるが、既に静止画垂直走査部１１から動画静止画垂直走査部１３に制御信号φｓＶ２が出力されているため、動画静止画垂直走査部１３は時刻Ｔ４において制御信号φＶ２を画素部１０に出力しない。そのため、動画撮影中に静止画撮影指示がなければ時刻Ｔ６において画素ｂ１、ｂ３から読み出されるはずの画像信号が画素部１０から読み出されない。

次に、制御信号φＶ３、φＶ４により、時刻Ｔ５において画素ｃ１〜ｃ４及び画素ｄ１、ｄ３の電荷蓄積を開始し、時刻Ｔ７において画素ｃ１〜ｃ４及び画素ｄ１、ｄ３の電荷蓄積を終了して画素ｃ１〜ｃ４から読み出される画像信号が静止画処理部３に出力されるとともに、画素ｄ１、ｄ３から読み出される画像信号が動画処理部４に出力される。

次に、制御信号φＶ２、φＶ４により、時刻Ｔ７において画素ｄ１〜ｄ４及び画素ｂ１、ｂ３の電荷蓄積を開始し、時刻Ｔ９において画素ｄ１〜ｄ４及び画素ｂ１、ｂ３の電荷蓄積を終了して画素ｄ１〜ｄ４から読み出される画像信号が静止画処理部３に出力されるとともに、画素ｂ１、ｂ３から読み出される画像信号が動画処理部４に出力される。なお、時刻Ｔ８において動画垂直走査部１２から動画静止画垂直走査部１３に制御信号φｍＶ４が出力されるが、既に静止画垂直走査部１１から動画静止画垂直走査部１３に制御信号φｓＶ４が出力されているため、動画静止画垂直走査部１３は時刻Ｔ８において制御信号φＶ４を画素部１０に出力しない。そのため、動画撮影中に静止画撮影指示がなければ時刻Ｔ１０において画素ｄ１、ｄ３から読み出されるはずの画像信号が画素部１０から読み出されない。

次に、制御信号φＶ２により、時刻Ｔ１０において画素ｂ１、ｂ３の電荷蓄積を開始し、時刻Ｔ１２において画素ｂ１、ｂ３の電荷蓄積を終了して画素ｂ１、ｂ３から読み出される画像信号が動画処理部４に出力される。

次に、制御信号φＶ４により、時刻Ｔ１１において画素ｄ１、ｄ３の電荷蓄積を開始し、時刻Ｔ１３において画素ｄ１、ｄ３の電荷蓄積を終了して画素ｄ１、ｄ３から読み出される画像信号が動画処理部４に出力される。

そして、静止画処理部３は、時刻Ｔ３で取得される１ライン分の画像信号、時刻Ｔ５で取得される１ライン分の画像信号、時刻Ｔ７で取得される１ライン分の画像信号、及び時刻Ｔ９で取得される１ライン分の画像信号に基づいて静止画フレームを生成する。

また、動画欠落ライン補間部８は、図９に示すように、動画撮影中に静止画撮影指示がなければ時刻Ｔ４〜Ｔ６において画素ｂ１、ｂ３に蓄積され時刻Ｔ６で読み出されるはずの画像信号（欠落ライン）を、時刻Ｔ１〜Ｔ３において画素ｂ１、ｂ３に蓄積され時刻Ｔ３で読み出される画像信号及び時刻Ｔ７〜Ｔ９において画素ｂ１、ｂ３に蓄積され時刻Ｔ９で読み出される画像信号を用いて補間する。同様に、動画欠落ライン補間部８は、図９に示すように、動画撮影中に静止画撮影指示がなければ時刻Ｔ９〜Ｔ１０において画素ｄ１、ｄ３に蓄積され時刻Ｔ１０で読み出されるはずの画像信号（欠落ライン）を、時刻Ｔ５〜Ｔ７において画素ｄ１、ｄ３に蓄積され時刻Ｔ７で読み出される画像信号及び時刻Ｔ１１〜Ｔ１３において画素ｄ１、ｄ３に蓄積され時刻Ｔ１３で読み出される画像信号を用いて補間する。例えば、動画欠落ライン補間部８は、Ｆ（ｎ）＝（Ｔ（ｎ）−Ｔ（ｎ−１））／（Ｔ（ｎ＋１）−Ｔ（ｎ−１））×Ｆ（ｎ−１）＋（Ｔ（ｎ＋１）−Ｔ（ｎ））／（Ｔ（ｎ＋１）−Ｔ（ｎ−１））×Ｆ（ｎ＋１）を演算することにより、ｎフレーム目の欠落ラインのレベル：Ｆ（ｎ）を求める。なお、Ｔ（ｎ）は、ｎフレーム目の時刻とする。なお、動画欠落ライン補間部８は、隣同士の動画フレームを用いて擬似動画フレームをさらに生成して動画の時間分解能を高めるように構成してもよい。

また、動画処理部４は、時刻Ｔ３、Ｔ４で取得される画像信号に基づいて１つの動画フレームを生成する。また、動画処理部４は、動画欠落ライン補間部８により時刻Ｔ３、Ｔ９で補間される画像信号及び時刻Ｔ７で取得される画像信号に基づいて１つの動画フレームを生成する。また、動画処理部４は、時刻Ｔ９で取得される画像信号及び動画欠落ライン補間部８により時刻Ｔ７、Ｔ１３で補間される画像信号に基づいて１つの動画フレームを生成する。また、動画処理部４は、時刻Ｔ１２、Ｔ１３で取得される画像信号に基づいて１つの動画フレームを生成する。

なお、上記実施形態では、スイッチ１５〜１８及びスイッチ２０〜２３により、画素部１０から読み出される画像信号の出力先を第１の水平走査部１９又は第２の水平走査部２４に切り替える構成であるが、画素部１０と第１の水平走査部１９とを接続する第１の垂直読出し線及び画素部１０と第２の水平走査部２４とを接続する第２の垂直読出し線を備え、それら垂直読出し線のどちらか一方のみに画像信号を読み出させることにより、画素部１０から読み出される画像信号の出力先を第１の水平走査部１９又は第２の水平走査部２４に切り替えるように構成してもよい。動画撮影中に静止画撮影指示がある場合は、どちらか一方の垂直読出し線のみに画像信号を読み出させることにより、画素部１０から読み出される１ラインの静止画生成用の画像信号と同じラインの動画生成用の画像信号を動画処理部４に出力させないようにする。このように構成することにより、動画撮影中に静止画撮影指示があった場合に、画素部１０から読み出される互いに異なるラインの画像信号を第１の水平走査部１９及び第２の水平走査部２４にそれぞれ同時に出力することができるため、図４に示す撮像素子２に比べて、静止画フレームや動画フレームのフレームレートを高くすることができる。図１０は、このように構成する場合の撮像素子２を示す図である。また、図１１は、図１０に示す撮像素子２の画素部１０を構成する各画素を示す図である。

図１１に示すように、各画素は、さらに垂直選択トランジスタ３１及び垂直読み出し線３２を備え、垂直選択トランジスタ２９と第１の水平走査部１９とが垂直読出し線３０を介して接続され、垂直選択トランジスタ３１と第２の水平走査部２４とが垂直読出し線３２を介して接続されている。画素部１０から読み出される画像信号を第１の水平走査部１９に出力させる場合は、図１２Ａに示すように、制御信号φＬ１にパルスを発生させる。また、画素部１０から読み出される画像信号を第２の水平走査部２４に出力させる場合は、図１２Ｂに示すように、制御信号φＬ２にパルスを発生させる。なお、このように、垂直選択トランジスタ３１や垂直読出し線３２をさらに追加する場合、画素部１０の各画素は、裏面照射型の画素により構成してもよい。これにより、垂直選択トランジスタ３１や垂直読出し線３２で、画素の開口部が狭くなることを防止することができる。

また、上記実施形態では、静止画処理部３及び動画処理部４をそれぞれ１つずつ備える構成であるが、静止画処理部３又は動画処理部４を２つ以上備えるように構成してもよい。このように構成する場合、第１の水平走査部１９や第２の水平走査部２４を静止画処理部３や動画処理部４の個数に応じて備えるように構成してもよい。

１ 撮像装置
２ 撮像素子
３ 静止画処理部
４ 動画処理部
５ 静止画記録部
６ 動画記録部
７ 静止画記録処理部
８ 動画欠落ライン補間部
９ 動画記録処理部
１０ 画素部
１１ 静止画垂直走査部
１２ 動画垂直走査部
１３ 動画静止画垂直走査部
１４ スイッチ制御部
１５〜１８ スイッチ
１９ 第１の水平走査部
２０〜２３ スイッチ
２４ 第２の水平走査部

Claims (6)

1. ライン単位で画像信号を出力するローリングシャッタタイプの撮像素子と、
   静止画撮影指示があると、前記撮像素子から静止画生成用の画像信号として出力される画像信号を用いて静止画フレームを生成するとともに、動画撮影指示があると、前記撮像素子から動画生成用の画像信号として出力される画像信号を用いて複数の動画フレームを生成する画像処理部と、
   を備え、
   前記撮像素子は、動画撮影中に静止画撮影指示があると、前記静止画生成用の画像信号を優先的に前記画像処理部に出力し、
   前記画像処理部は、動画撮影中に静止画撮影指示があると、前記撮像素子から前記静止画生成用の画像信号が優先的に出力されることにより、前記動画生成用の画像信号として前記画像処理部に入力されない欠落ラインを、その欠落ラインを含んで生成される動画フレームの前後の動画フレームを生成するための画像信号を用いて補間する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像素子は、
   光電変換を行う複数の画素からなり被写体像に対応する画像信号を読み出す画素部と、
   静止画撮影指示があると、前記画素部からライン単位で前記静止画生成用の画像信号を読み出す静止画垂直走査部と、
   動画撮影指示があると、前記画素部からライン単位で前記動画生成用の画像信号を読み出す動画垂直走査部と、
   前記画素部からライン単位で読み出される前記静止画生成用の画像信号を前記画像処理部に出力する第１の水平走査部と、
   前記画素部からライン単位で読み出される前記動画生成用の画像信号を前記画像処理部に出力する第２の水平走査部と、
   動画撮影中に静止画撮影指示があると、前記画素部から読み出される１ラインの前記静止画生成用の画像信号と同じラインの前記動画生成用の画像信号を前記画像処理部に出力させないようにする動画静止画垂直走査部と、
   を備えることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記撮像素子は、
   前記画素部と前記第１の水平走査部との間に設けられる第１のスイッチと、
   前記画素部と前記第２の水平走査部との間に設けられる第２のスイッチと、
   を備え、
   前記動画静止画垂直装置は、動画撮影中に静止画撮影指示があると、前記第１のスイッチをオン、前記第２のスイッチをオフすることにより、前記画素部から読み出される１ラインの前記静止画生成用の画像信号と同じラインの前記動画生成用の画像信号を前記画像処理部に出力させないようにする
   ことを特徴とする撮像装置。
4. 請求項２に記載の撮像装置であって、
   前記撮像素子は、
   前記画素部と前記第１の水平走査部とを接続する第１の垂直読出し線と、
   前記画素部と前記第２の水平走査部とを接続する第２の垂直読出し線と、
   を備え、
   前記動画静止画垂直装置は、動画撮影中に静止画撮影指示があると、前記第１の垂直読出し線のみに前記画像信号を読み出させることにより、前記画素部から読み出される１ラインの前記静止画生成用の画像信号と同じラインの前記動画生成用の画像信号を前記画像処理部に出力させないようにする
   ことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記撮像素子上の複数の画素は、それぞれ、裏面照射型の画素構造を有する
   ことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記画像処理部により生成される静止画フレームを記録する静止画記録部と、
   前記画像処理部により生成される複数の動画フレームを記録する動画記録部と、
   を備えることを特徴とする撮像装置。