JP2020096212A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】１つの撮像素子から異なるフレームレートの高品位な画像を取得できる撮像装置を提供する。【解決手段】撮像装置１００は、１つのフォトダイオード５００に対して少なくとも１つの電荷保持部を有する画素を２次元に配列した撮像素子１８４と、撮像素子１８４を制御し、第１の画像と前記第１の画像よりフレームレートの高い第２の画像とを並行して取得する取得手段と、を備え、取得手段は、１撮影周期中に電荷保持部に時分割で電荷を蓄積して第１の画像を取得する。【選択図】図２

Description

本発明は、撮像装置およびその制御方法に関する。

近年、２つの映像を同時に撮影する撮像装置が開発されている。特許文献１は、１つの撮像素子を用いて２つの映像を同時に撮影した際に、画素間のクロストーク成分を、第１の映像信号から除去する撮像装置を開示している。しかしながら、特許文献１では、被写体のＢＶ値に対し、２つの映像のシャッタ速度あるいはフレームレートの設定は、撮像素子の画素に設けた２種類のフォトダイオードの感度の差の範囲で行っている。そのため、シャッタ速度を自由に選択しながら、フレームレートの異なる複数の動画を同時に撮影することができない。さらに、露出を合わせるために、通常のフレームレートである低フレームレートのシャッタ速度を高フレームレート画像のシャッタ速度にあわせると、画像はぱらぱら感のある低品位な動画になってしまう恐れがある。そこで、シャッタ速度を自由に選択しながら、通常再生でパラパラ感の無い高品位な再生が可能な高品位な映像を取得する。

また、近年、より高品位な画像を得るために、像ブレ補正やオートフォーカスが行われている。像ブレ補正では、手ブレの量・方向を示す指標となる動きベクトルを検出し、手ブレ補正機構を用いたブレ補正や、撮影画像から画像を切り出す電子防振などが行われている。特許文献２は、複数の画像間で対象物の動きを示す動きベクトルを検出する方法を開示している。オートフォーカスでは、複数の画像間のコントラストを比較することでコントラスト評価により被写体の焦点状態の検出を行う方法が知られている。

特開２０１７―０２２４４５号公報 特開平２−１７０６８１号公報

しかしながら、動きベクトルの検出及び利用は、動画撮影のような複数フレームを連続的に取得する場合においては有効であるが、静止画撮影においては静止画露光時間内に動きベクトルを取得することができない。そのため、静止画露光中のブレを補正するためには別途ブレ検出センサを用いなくてはならないが、装置が複雑化することやブレ検出センサのドリフトなどのノイズ影響を受ける恐れがある。オートフォーカスについても同様に、別途測距センサを用いなくてはならず、装置が複雑化する恐れなどがある。そこで、別途検出用のセンサを設けることなく、静止画像と検出用画像を並行して撮影し、検出した撮影状態に応じて静止画撮影を制御し、高品位な静止画像を取得する。

本発明は、１つの撮像素子から異なるフレームレートの高品位な画像を取得できる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、１つの光電変換部に対して少なくとも１つの電荷保持部を有する画素を２次元に配列した撮像素子と、前記撮像素子を制御し、第１の画像と前記第１の画像よりフレームレートの高い第２の画像とを並行して取得する取得手段と、を備え、前記取得手段は、１撮影周期中に前記電荷保持部に時分割で電荷を蓄積して前記第１の画像を取得する。

本発明によれば、１つの撮像素子から異なるフレームレートの高品位な画像を取得できる撮像装置を提供することができる。

撮像装置の外観を示す図である。 撮像装置の構成例を示すブロック図である。 撮像素子の画素の構成例を示す回路図である。 読み出し回路の構成例を示す回路図である。 撮像素子の駆動シーケンスを示すタイミングチャートである。 ブレ補正を含む静止画撮影の処理を示すフローチャートである。 ブレ補正の処理を示すフローチャートである。 撮像素子の駆動シーケンスを示すタイミングチャートである。 ブレ補正を含む静止画撮影の処理を示すフローチャートである。 ブレ補正の処理を示すフローチャートである。 露光量検出を含む静止画撮影の処理を示すフローチャートである。 露光量検出の処理を示すフローチャートである。 撮像素子の画素の構成例を示す回路図である。 第１の動画と第２の動画の撮影条件の設定画面を説明する図である。 第１の動画と第２の動画の撮影条件の設定を説明する図である。 撮像素子における蓄積および読み出しタイミングを説明する図である。 撮像素子における蓄積および読み出しタイミングを説明する図である。 表示部に表示される画面を表す図である。 第１の動画と第２の動画の活用例を説明する図である。 第１の動画と第２の動画の活用例を説明する図である。

（第１実施形態）
図１は、撮像装置１００の外観図である。図１（Ａ）は撮像装置１００の正面図、図１（Ｂ）は撮像装置１００の背面図である。撮像装置１０は、例えば、静止画および動画の撮影が可能なデジタルモーションカメラである。本実施形態では、撮像装置本体とレンズが一体となった撮像装置の例を説明するがこれに限られるものではなく、例えば、レンズ交換式のデジタル一眼カメラであってもよい。また、撮像素子１８４から出力される画像信号を処理する画像処理部は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子１８４や撮影光学系とは別のハードウェアにより構成されていてもよい。また、画像処理部の機能の全部又は一部を、撮像素子１８４に搭載するようにしてもよい。

撮像装置１００は、撮像装置本体１５１、撮像装置本体１５１の正面部に撮像光学系１５２、撮像装置本体１５１の上面部にスイッチＳＴ１５４を備える。また、撮像装置１００は撮像装置本体１５１の背面部に、表示部１５３、スイッチＭＶ１５５、選択レバー１５６、メニューボタン１５７、アップスイッチ１５８、ダウンスイッチ１５９、ダイアル１６０および再生ボタン１６１を備える。

撮像装置本体１５１は、内部に撮像素子１８４やシャッタ装置を収納した撮像装置１００の本体部である。撮像光学系１５２は、撮像素子１８４に被写体の光学像を結像するための光学系であり、内部にレンズや絞りを有している。表示部１５３は、撮影情報や映像を表示するための表示部である。表示部１５３は、ダイナミックレンジの広い映像の輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。また、表示部１５３には、必要に応じて画面の向きを変えるための可動機構を備えていてもよい。

スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影を開始および停止するためのボタンである。選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのメニューボタンである。アップスイッチ１５８およびダウンスイッチ１５９は、各種の設定値を変更するためのアップダウンスイッチである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００内の記録媒体１９３に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。

図２は、撮像装置１００の構成例を示すブロック図である。撮像装置１００は、フォーカスレンズ１８１、フォーカスレンズ駆動部１８２、光学フィルタ１８３、撮像素子１８４、ブレ補正レンズ１８５およびブレ補正駆動部１８６を備える。また、撮像装置１００は、デジタル信号処理部１８７、アナログフロントエンド１８８、タイミング発生部１８９、システム制御ＣＰＵ１７８、スイッチ入力手段１７９および映像メモリ１９０を備える。また、撮像装置１００は、表示Ｉ／Ｆ１９１、表示部１５３、記録Ｉ／Ｆ１９２、記録媒体１９３、プリントＩ／Ｆ１９４、外部Ｉ／Ｆ１９６および無線Ｉ／Ｆ１９８を備える。

光軸１８０は、撮像光学系１５２の光軸である。フォーカスレンズ１８１は、撮影光学系１５２の焦点状態を調整するための光学レンズである。フォーカスレンズ駆動部１８２は、フォーカスレンズ１８１を駆動させる。ブレ補正レンズ１８５は、像ブレを補正するための光学レンズである。ブレ補正駆動部１８６は、ブレ補正レンズ１８５を駆動させる。光学フィルタ１８３は、撮像素子１８４に入射する光の波長および撮像素子１８４に伝達する空間周波数を制限する。

撮像素子１８４は、撮像光学系１５２を介して結像された被写体の光学像を電気的な画像信号に変換する。アナログフロントエンド１８８は、撮像素子１８４から出力される画像信号のアナログ処理とアナログ−デジタル変換を行う。アナログフロントエンド１８８は、読み出し回路と、アナログ信号をデジタル化するＡ／Ｄ変換器等を有する。読み出し回路の詳細は、後述する。

デジタル信号処理部１８７は、撮像素子１８４より出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮する。また、デジタル信号処理部１８７は、画像生成手段および画像合成手段の機能を有する。タイミング発生部１８９は、撮像素子１８４およびデジタル信号処理部１８７に各種タイミング信号を出力し、各種タイミングを制御する。システム制御ＣＰＵ１７８は、各種演算を行い、撮像装置１００全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。すなわち、タイミング発生部１８９およびシステム制御ＣＰＵ１７８は、撮像素子１８４における信号電荷の転送や蓄積、読み出しのタイミングを制御する制御手段の機能を有する。

また、システム制御ＣＰＵ１７８は、第１実施形態〜第３実施形態では、デジタル信号処理部１８７により取得した複数の検出用の画像信号を比較することで撮像装置１００および撮影光学系１５２の状態（撮影状態）を検出する検出手段の機能を有する。また、システム制御ＣＰＵ１７８はブレ補正算出手段の機能も有しており、動きベクトルの検出結果に基づきブレ補正信号を生成し、ブレ補正信号をブレ補正駆動部１８６に送出する。

映像メモリ１９０は、映像データを一時的に記憶する。表示Ｉ／Ｆ１９１は、撮影された映像を表示部１５３に表示するためのインターフェースである。表示部１５３は、液晶ディスプレイ等の表示部である。記録Ｉ／Ｆ１９２は、記録媒体１９３に記録または読み出しを行うためのインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するためのメモリ等の記録媒体である。記録媒体１９３は、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。

プリントＩ／Ｆ１９４は、撮影された映像を外部のプリンタ１９５に出力し印刷するためのインターフェースである。プリンタ１９５は、小型インクジェットプリンタ等のプリンタである。外部Ｉ／Ｆ１９６は、外部装置１９７等と通信するためのインターフェースである。外部装置１９７は、コンピュータやテレビなどの画像を表示可能な装置である。無線Ｉ／Ｆ１９８は、外部のネットワーク１９９と通信するためのインターフェースである。ネットワーク１９９は、インターネットなどのコンピュータネットワークである。スイッチ入力部１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５や各種モードの切り替えを行う複数のスイッチを含み、ユーザからの操作を受け付ける。

図３は、撮像素子１８４の画素の構成を示す回路図である。撮像素子１８４は、２次元配列された多数の画素要素（画素部）を有している。図３では、撮像素子１８４の多数の画素要素のうち、１行１列目（１，１）の画素要素５０と、最終行であるｍ行１列目（ｍ、１）の画素要素５１を示している。画素要素５０と画素要素５１の構成は同じであるため、各画素の各構成要素には同じ符号を付している。

画素要素５０は、光電変換部であるフォトダイオード５００、第１の電荷保持部５０７Ａおよび第２の電荷保持部５０７Ｂを有する。また、画素要素５０は、第１の転送トランジスタ５０１Ａ、第２の転送トランジスタ５０２Ａ、第３の転送トランジスタ５０１Ｂ、第４の転送トランジスタ５０２Ｂおよび第５の転送トランジスタ５０３を有する。また、画素要素５０は、リセットトランジスタ５０４、増幅トランジスタ５０５、選択トランジスタ５０６およびフローティングディフュージョン領域（以下、ＦＤ領域という）５０８を有している。さらに、画素要素５０には、電源線５２０、電源線５２１および信号出力線５２３が含まれる。

撮像素子１８４の１つの画素要素は、１つのフォトダイオード５００に対して２つの電荷保持部（第１の電荷保持部５０７Ａおよび第２の電荷保持部５０７Ｂ）を有している。
これにより、第１の画像信号である静止画像信号と第２の画像信号である検出用画像信号を並行して取得することが可能である。本実施形態においては、第１の電荷保持部５０７Ａが静止画用の電荷を蓄積し、第２の電荷保持部５０７Ｂが検出用画像の電荷を蓄積する。電荷保持部を有する撮像素子１８４の基本構造は、本出願人により特開２０１３−１７２２１０号公報にて開示されているので、説明は省略する。なお、本実施形態では電荷保持部が２つある例を説明するが、これに限られるものではなく、電荷保持部は複数あってもよい。

フォトダイオード５００のアノードは、接地線に接続されている。フォトダイオード５００のカソードは、第１の転送トランジスタ５０１Ａのソース、第３の転送トランジスタ５０１Ｂのソースおよび第５の転送トランジスタ５０３のソースに、それぞれ接続されている。第１の転送トランジスタ５０１Ａのドレインは、第２の転送トランジスタ５０２Ａのソースに接続されている。第１の転送トランジスタ５０１Ａのドレインと第２の転送トランジスタ５０２Ａのソースとの間の接続ノードは、第１の電荷保持部５０７Ａを構成する。第３の転送トランジスタ５０１Ｂのドレインは、第４の転送トランジスタ５０２Ｂのソースに接続されている。第３の転送トランジスタ５０１Ｂのドレインと第４の転送トランジスタ５０２Ｂのソースとの間の接続ノードは、第２の電荷保持部５０７Ｂを構成する。

第１の転送トランジスタ５０２Ａのドレインおよび第３の転送トランジスタ５０２Ｂのドレインは、リセットトランジスタ５０４のソースおよび増幅トランジスタ５０５のゲートに接続されている。第２の転送トランジスタ５０２Ａのドレイン、第４の転送トランジスタ５０２Ｂのドレイン、リセットトランジスタ５０４のソースおよび増幅トランジスタ５０５のゲートの接続ノードは、ＦＤ領域５０８を構成する。増幅トランジスタ５０５のソースは、選択トランジスタ５０６のドレインに接続されている。リセットトランジスタ５０４のドレインおよび増幅トランジスタ５０５のドレインは、電源線５２０に接続されている。第５の転送トランジスタ５０３のドレインは、電源線５２１に接続されている。選択トランジスタ５０６のソースは、信号出力線５２３に接続されている。信号出力線５２３の他端は、読み出し回路３０８に接続されている。

各画素要素は、行単位で、垂直走査回路３０７から行方向に配された制御線に接続されている。各行の制御線は、各転送トランジスタ５０１Ａ，５０２Ａ，５０１Ｂ，５０２Ｂ，５０３、リセットトランジスタ５０４および選択トランジスタ５０６のゲートにそれぞれ接続された複数の制御線を含む。垂直走査回路３０７から各トランジスタに、システム制御ＣＰＵ１７８からの制御信号に基づいて各制御パルスが送出される。各トランジスタは、制御パルスがハイレベルのときにオンとなり、制御パルスがローレベルのときにオフとなる。

具体的には、第１の転送トランジスタ５０１Ａは、転送パルスφＴＸ１Ａによって制御される。第２の転送トランジスタ５０２Ａは、転送パルスφＴＸ２Ａによって制御される。第３の転送トランジスタ５０１Ｂは、転送パルスφＴＸ１Ｂによって制御される。第４の転送トランジスタ５０２Ｂは、転送パルスφＴＸ２Ｂによって制御される。第５の転送トランジスタ５０３は、転送パルスφＴＸ３によって制御される。リセットトランジスタ５０４は、リセットパルスφＲＥＳによって制御される。選択トランジスタ５０６は、選択パルスφＳＥＬによって制御される。

第５の転送トランジスタ５０３を制御する転送パルスφＴＸ３により、フォトダイオード５００をリセット状態として、蓄積開始のタイミングを決定する。また、第１の転送トランジスタ５０１Ａを制御する転送パルスφＴＸ１Ａにより、フォトダイオード５００に蓄積された電荷が第１の電荷保持部５０７Ａへ転送されるタイミングを決定する。第３の転送トランジスタ５０１Ｂを制御する転送パルスφＴＸ１Ｂにより、フォトダイオード５００に蓄積された電荷が第２の電荷保持部５０７Ｂへ転送されるタイミングを決定する。

図４は、撮像素子１８４の読み出し回路３０８の構成例を示す回路図である。読み出し回路３０８は、第１のスイッチ４１４、第２のスイッチ４１５、第３のスイッチ４１８、第４のスイッチ４１９、第１の容量４１０、第２の容量４１１、第１の水平出力線４２４、第２の水平出力線４２５、出力アンプ４２１を含む。

第１のスイッチ４１４は、容量４１０への画素信号の書き込みを制御するスイッチである。第１のスイッチ４１４は、信号Ｔｓで制御されるスイッチであり、信号Ｔｓがハイレベルのときにオン状態となり、信号出力線５２３の出力端子と容量４１０とを接続する。第２のスイッチ４１５は、容量４１１への画素信号の書き込みを制御するスイッチである。第２のスイッチ４１５は、信号Ｔｎで制御されるスイッチであり、信号Ｔｎがハイレベルのときにオン状態となり、信号出力線５２３の出力端子と容量４１１とを接続する。

第３のスイッチ４１８は、容量４１０に保持されている画素信号の出力アンプ４２１への出力を制御するスイッチである。第４のスイッチ４１９は、容量４１１に保持されている画素信号の出力アンプ４２１への出力を制御するスイッチである。第３のスイッチ４１８および第４のスイッチ４１９は、水平シフトレジスタ４３１からの制御信号に応じてオン状態になる。これにより、容量４１０に書き込まれた信号は、第３のスイッチ４１８および水平出力線４２４を介して出力アンプ４２１に出力される。また、容量４１１に書き込まれた信号は、第４のスイッチ４１９および水平出力線４２５を介して出力アンプ４２１に出力される。

出力アンプ４２１は、水平出力線４２４と水平出力線４２５からの信号の差動信号を出力する。出力アンプ４２１の出力はアナログフロントエンド１８８が有するＡ／Ｄ変換器でデジタル信号に変換され、デジタル信号処理部１８７に送られる。信号Ｔｓ、信号Ｔｎおよび水平シフトレジスタ４３１からの信号は、システム制御ＣＰＵ１７８による制御に基づいて、タイミング発生部１８９から供給される信号である。

図５は、第１実施形態における、撮像素子１８４の駆動シーケンスを示すタイミングチャートである。以下の説明では、図３に示される回路図の（１，１）の画素要素５０を例に、撮像素子の制御のタイミングを説明する。なお、図５のタイミングチャートでは時間の間隔を模式的に示しており、実際の制御の時間間隔とは異なる。

まず、時刻ｔ１において、垂直走査回路３０７から供給される転送パルスφＴＸ３がハイレベルからローレベルへと遷移する。これにより、画素要素５０の転送トランジスタ５０３がオフとなり、画素要素５０のフォトダイオード５００のリセットが解除される。そして、画素要素５０のフォトダイオード５００において、静止画用となる信号電荷の蓄積が開始される。

時刻ｔ２において、選択パルスφＳＥＬがローレベルからハイレベルへと遷移する。これにより、画素要素５０の選択トランジスタ５０６がオンとなり、画素要素５０からの画像信号の読み出しが可能となる。
時刻ｔ３において、転送パルスφＴＸ１Ａがローレベルからハイレベルへと遷移する。これにより、第１の転送トランジスタ５０１Ａがオンとなり、画素要素５０のフォトダイオード５００に蓄積された信号電荷が第１の電荷保持部５０７Ａに転送される。

時刻ｔ４において、転送パルスφＴＸ１Ａがハイレベルからローレベルへと遷移する。これにより、第１の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された信号電荷の第１の電荷保持部５０７Ａへの転送が終了する。
同じく時刻ｔ４において、転送パルスφＴＸ３がローレベルからハイレベルに遷移する。これにより、第５の転送トランジスタ５０３がオンとなり、フォトダイオード５００がリセット状態になる。

時刻ｔ５において、転送パルスφＴＸ３がハイレベルからローレベルに遷移する。これにより、第５の転送トランジスタ５０３がオフとなり、画素要素５０のフォトダイオード５００において、検出用となる信号電荷の蓄積が開始される。
時刻ｔ６において、リセットパルスφＲＥＳがハイレベルからローレベルへ遷移する。これにより、リセットトランジスタ５０４がオフとなり、ＦＤ領域５０８のリセット状態が解除される。このとき、ＦＤ領域５０８に存在する残留ノイズ成分による電位に応じた信号が、増幅トランジスタ５０５および選択トランジスタ５０６を介して、信号出力線５２３に読み出される。

時刻ｔ７において、信号Ｔｎがローレベルからハイレベルに遷移する。これにより、第２のスイッチ４１５がオンになり、信号出力線５２３からの出力信号が容量４１１に書き込まれる。
時刻ｔ８において、信号Ｔｎをハイレベルからローレベルへ遷移して、第２のスイッチ４１５をオフ状態とし、容量４１１への書き込みを終了する。容量４１１には、時刻ｔ６で信号出力線５２３で読み出されたＦＤ領域５０８の残留ノイズに応じた信号が書き込まれる。

時刻ｔ９において、転送パルスφＴＸ１Ｂがローレベルからハイレベルへと遷移する。これにより、第３の転送トランジスタ５０１Ｂがオンとなり、フォトダイオード５００に蓄積された信号電荷が第２の電荷保持部５０７Ｂに転送される。
時刻ｔ１０において、転送パルスφＴＸ１Ｂがハイレベルからローレベルへと遷移する。これにより、第３の転送トランジスタ５０１Ｂがオフとなり、フォトダイオード５００に蓄積された信号電荷の第２の電荷保持部５０７Ｂへの転送が終了する。
同じく時刻ｔ１０において、転送パルスφＴＸ３がローレベルからハイレベルに遷移する。これにより、第５の転送トランジスタ５０３がオンとなり、フォトダイオード５００がリセット状態になる。

時刻ｔ１１において、転送パルスφＴＸ３がハイレベルからローレベルに遷移する。これにより、第５の転送トランジスタ５０３がオフとなり、画素要素５０のフォトダイオード５００において、静止画となる信号電荷の蓄積が再び開始される。
時刻ｔ１２において、転送パルスφＴＸ２Ｂがローレベルからハイレベルへと遷移する。これにより、第４の転送トランジスタ５０２Ｂがオンとなり、第２の電荷保持部５０７Ｂに蓄積された信号電荷がＦＤ領域５０８に転送される。そして、ＦＤ領域５０８の電位の変化に応じた信号が、増幅トランジスタ５０５および選択トランジスタ５０６を介して、信号出力線５２３に読み出される。

時刻ｔ１３において、転送パルスφＴＸ２Ｂがハイレベルからローレベルへと遷移する。これにより、第４の転送トランジスタ５０２Ｂがオフとなり、第２の電荷保持部５０７Ｂに蓄積された信号電荷のＦＤ領域５０８への転送が終了する。
時刻ｔ１４において、信号Ｔｓがローレベルからハイレベルに遷移する。これにより、第１のスイッチ４１４がオンになり、信号出力線５２３からの出力信号が容量４１０に書き込まれる。

時刻ｔ１５において、信号Ｔｓをハイレベルからローレベルへ遷移する。これにより、第１のスイッチ４１４をオフ状態とし、容量４１０への書き込みを終了する。容量４１０には、時刻ｔ１２で信号出力線５２３で読み出されたＦＤ領域５０８の検出用画像の信号が書き込まれる。
同じく時刻ｔ１５において、水平シフトレジスタ４３１からの信号により、第３のスイッチ４１８と第４のスイッチ４１９を同時にオンの状態にする。これにより、容量４１０に書き込まれた信号を水平出力線４２４を介して出力アンプ４２１に出力し、容量４１１に書き込まれた信号を水平出力線４２５を介して出力アンプ４２１に出力する。出力アンプ４２１では、水平出力線４２４からの信号の差動信号を出力する。これにより、検出用画像の信号から残留ノイズを取り除いた画像信号を取り出すことが可能となる。

時刻ｔ１６において、選択パルスφＳＥＬがハイレベルからローレベルへと遷移する。これにより、選択トランジスタ５０６がオフとなり、非選択の状態となる。
同じく時刻ｔ１６において、リセットパルスφＲＥＳがローレベルからハイレベルへと遷移する。これにより、リセットトランジスタ５０４はオン状態になり、ＦＤ領域５０８はリセットされる。

時刻ｔ１７において、選択パルスφＳＥＬがローレベルからハイレベルへと遷移する。これにより、選択トランジスタ５０６がオンとなり、画素要素５０からの画像信号の読み出しが可能となる。
時刻ｔ１８において、転送パルスφＴＸ１Ａがローレベルからハイレベルへと遷移する。これにより、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された信号電荷が第１の電荷保持部５０７Ａに転送される。

時刻ｔ１９において、転送パルスφＴＸ１Ａがハイレベルからローレベルへと遷移する。これにより、第１の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された信号電荷の第１の電荷保持部５０７Ａへの転送が終了する。これにより、第１の電荷保持部５０７Ａには、時刻ｔ１から時刻ｔ４の期間にフォトダイオード５００で蓄積され時刻ｔ４に転送された信号電荷に、時刻ｔ１１から時刻ｔ１９までにフォトダイオード５００で蓄積された信号電荷が加算される。

時刻ｔ１７から時刻ｔ２０の動作は時刻ｔ２から時刻ｔ１６の動作と同様のため、以降の詳細な説明は割愛する。
時刻ｔ１７から時刻ｔ２１の間に、時刻ｔ２から時刻ｔ１６の動作が複数回繰り返される。これにより検出用画像の読み出し動作が複数回行われる。検出用画像を使用した像ブレ検出動作については後述する。また、静止画用にフォトダイオード５００で蓄積された信号電荷の第１の電荷保持部５０７Ａへの転送動作が複数回行われる。

時刻ｔ２１において、選択パルスφＳＥＬがローレベルからハイレベルへと遷移する。これにより、選択トランジスタ５０６がオンとなり、画素要素５０からの画像信号の読み出しが可能となる。
時刻ｔ２２において、リセットパルスφＲＥＳがハイレベルからローレベルへ遷移する。これにより、リセットトランジスタ５０４がオフとなり、ＦＤ領域５０８のリセット状態が解除される。このとき、時刻ｔ６と同様に、ＦＤ領域５０８に存在する残留ノイズ成分による電位に応じた信号が、増幅トランジスタ５０５および選択トランジスタ５０６を介して、信号出力線５２３に読み出される。

時刻ｔ２３において、信号Ｔｎがローレベルからハイレベルに遷移する。これにより、第２のスイッチ４１５がオンになり、信号出力線５２３からの出力信号が容量４１１に書き込まれる。
時刻ｔ２４において、信号Ｔｎをハイレベルからローレベルへ遷移する。これにより、第２のスイッチ４１５をオフ状態とし、容量４１１への書き込みを終了する。容量４１１には、時刻ｔ２３で信号出力線５２３で読み出されたＦＤ領域５０８の残留ノイズに応じた信号が書き込まれる。

時刻ｔ２５において、転送パルスφＴＸ１Ａがローレベルからハイレベルへと遷移する。これにより、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された信号電荷が第１の電荷保持部５０７Ａに転送される。
時刻ｔ２６において、転送パルスφＴＸ１Ａがハイレベルからローレベルへと遷移する。これにより、第１の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された信号電荷の第１の電荷保持部５０７Ａへの転送が終了する。
同じく時刻ｔ２６において、転送パルスφＴＸ３がローレベルからハイレベルに遷移する。これにより、第５の転送トランジスタ５０３がオンとなりフォトダイオード５００がリセット状態になる。

時刻ｔ２７において、転送パルスφＴＸ２Ａがローレベルからハイレベルへと遷移する。これにより、第２の転送トランジスタ５０２Ａがオンとなり、第１の電荷保持部５０７Ａに蓄積された信号電荷が、ＦＤ領域５０８に転送される。そして、ＦＤ領域５０８の電位の変化に応じた信号が、増幅トランジスタ５０５および選択トランジスタ５０６を介して、信号出力線５２３に読み出される。

時刻ｔ２８において、転送パルスφＴＸ２Ａがハイレベルからローレベルへと遷移する。これにより、第２の転送トランジスタ５０２Ａがオフとなり、第２の電荷保持部５０７Ｂに蓄積された信号電荷のＦＤ領域５０８への転送が終了する。
時刻ｔ２９において、信号Ｔｓがローレベルからハイレベルに遷移する。これにより、第１のスイッチ４１４がオンになり、信号出力線５２３からの出力信号が容量４１０に書き込まれる。

時刻ｔ３０において、信号Ｔｓをハイレベルからローレベルへ遷移する。これにより、スイッチ４１４をオフ状態とし、容量４１０への書き込みを終了する。容量４１０には、時刻ｔ２９において信号出力線５２３から読み出されたＦＤ領域５０８の静止画の信号が書き込まれた状態となる。
同時に時刻ｔ３０において、水平シフトレジスタ４３１からの信号により、第３のスイッチ４１８と第４のスイッチ４１９をオンの状態にする。これにより、容量４１０に書き込まれた信号を水平出力線４２４を介して出力アンプ４２１に出力し、容量４１１に書き込まれた信号を水平出力線４２５を介して出力アンプ４２１に出力する。そして、出力アンプ４２１では、水平出力線４２４からの信号の差動信号を出力する。これにより、静止画の信号から残留ノイズを取り除いた画像信号を取り出すことが可能となる。

時刻ｔ３１において、選択パルスφＳＥＬがハイレベルからローレベルへと遷移する。これにより、選択トランジスタ５０６がオフとなり、非選択の状態となる。
同時に時刻ｔ３１において、リセットパルスφＲＥＳがローレベルからハイレベルへと遷移する。これにより、リセットトランジスタ５０４はオン状態になり、ＦＤ領域５０８はリセットされる。そして、撮像素子１８４の駆動が終了する。

以上説明したように第１実施形態では、フォトダイオード５００で蓄積した静止画の信号電荷を時間分割して第１の電荷保持部５０７Ａに複数周期転送してから、第１の電荷保持部５０７Ａの電荷信号をＦＤ領域５０８に転送し、画像信号を読み出す。つまり、フォトダイオード５００での露光開始から第１の電荷保持部５０７Ａの電荷信号をＦＤ領域５０８に転送するまでの期間内に、フォトダイオード５００で蓄積した静止画の信号電荷の第１の電荷保持部５０７Ａへの転送を複数回行っている。そして、上記の期間内（静止画の１撮影周期中）にフォトダイオード５００で蓄積した検出用画像の信号電荷の第２の電荷保持部５０７Ｂへの転送および第２の電荷保持部５０７Ｂの電荷信号のＦＤ領域５０８への転送および読み出しを複数回行う。これにより、静止画の１回の撮影動作中に、検出用画像を複数回取得することができる。

次に、図６および図７のフローチャートを用いて、検出用画像を用いた検出動作を含む静止画撮影動作のフローについて説明する。本実施形態の撮像装置１００は、撮影光学系１５２にブレ補正レンズ１８５およびブレ補正駆動部１８６を備える手ブレ補正機構を有しており、静止画撮影中においても検出用画像を読み込んで、像ブレ量を検出し像ブレ補正を行う。なお、図６および図７のフローチャートでは、説明の簡易化のために検出動作に関わる部分だけを示している。

図６は、第１実施形態における、検出用画像を用いたブレ補正を含む静止画撮影の処理を示すフローチャートである。本処理は、ユーザによりスイッチＳＴ１５４が押下され静止画撮影の指示が下されることにより開始する。ステップＳ６０１において、フォトダイオード５００での静止画信号の露光蓄積動作を開始する。具体的には、システム制御ＣＰＵ１７８およびタイミング発生部１８９で構成される信号制御手段からの制御パルス信号により、転送トランジスタ５０３をオフの状態とし、フォトダイオード５００での静止画信号の露光蓄積動作を開始する。ステップＳ６０１の動作が、図５のタイミングチャートの時刻ｔ１に相当する。なお、スイッチ入力手段１７９により静止画撮影の命令が下される前に、静止画の露光時間は予め定められている。

ステップＳ６０２において、静止画信号を第１の電荷保持部５０７Ａへ転送する。具体的には、信号制御手段からの制御パルス信号により転送トランジスタ５０１Ａをオンの状態とし、ステップＳ６０１においてフォトダイオード５００で露光蓄積を行った静止画信号を第１の電荷保持部５０７Ａへ転送する。その後、転送トランジスタ５０１Ａをオフの状態とし、転送を終了する。ステップＳ６０２の動作が、図５のタイミングチャートの時刻ｔ３および時刻ｔ４の動作に相当する。

ステップＳ６０３において、フォトダイオード５００での検出用画像信号の露光蓄積動作を開始する。ステップＳ６０３の動作が、図５のタイミングチャートの時刻ｔ５に相当する。

ステップＳ６０４において、検出用画像信号を第２の電荷保持部５０７Ｂへ転送する。具体的には、信号制御手段からの制御パルス信号により転送トランジスタ５０１Ｂをオンの状態とし、ステップＳ６０３においてフォトダイオード５００で露光蓄積を行った検出用画像信号を第２の電荷保持部５０７Ｂへ転送する。その後、転送トランジスタ５０１Ｂをオフの状態とし、転送を終了する。ステップＳ６０４の動作が、図５のタイミングチャートの時刻ｔ９および時刻１０の動作に相当する。

ステップＳ６０５において、静止画信号の露光蓄積動作を再開する。具体的には、信号制御手段からの制御パルス信号により転送トランジスタ５０３をオフの状態とし、フォトダイオード５００での静止画信号の露光蓄積動作を再開する。ステップＳ６０５の動作が、図５のタイミングチャートの時刻ｔ１１の動作に相当する。

ステップＳ６０６において、検出用画像信号をＦＤ領域５０８へ転送する。具体的には、信号制御手段からの制御パルス信号により転送トランジスタ５０２Ｂをオンの状態とし、ステップＳ６０４において第２の電荷保持部５０７Ｂで保持された電荷信号をＦＤ領域５０８へ転送する。その後、転送トランジスタ５０２Ｂをオフの状態とし、転送を終了する。ステップＳ６０６の動作が、図５のタイミングチャートの時刻ｔ１２および時刻１３に相当する。

ステップＳ６０７において、検出用画像ＩＭＧ−Ｄ（ｉ）を読み出す。具体的には、ステップＳ６０６においてＦＤ領域５０８へ転送した電荷信号が、読み出し回路３０８にて検出用画像ＩＭＧ−Ｄ（ｉ）として読み出される。ｉは０から始まる整数値であり、静止画撮影が開始されてから数えられる検出用画像ＩＭＧ−Ｄの数を示している。ｉ＝０は最初に読み出された検出用画像ＩＭＧ−Ｄを表す。ステップＳ６０７の動作が、図５のタイミングチャートの時刻ｔ１５に相当する。

ステップＳ６０８において、ブレ補正を行う。ブレ補正の詳細については、図７を用いて後述する。
ステップＳ６０９において、静止画信号を電荷保持部５０７Ａへ転送する。具体的には、信号制御手段からの制御パルス信号により転送トランジスタ５０１Ａをオンの状態とし、ステップＳ６０５からフォトダイオード５００で露光蓄積を行った静止画信号を第１の電荷保持部５０７Ａへ転送する。そして、既に電荷保持部５０７Ａに蓄積されている電荷に、ステップＳ６０９で転送した静止画信号を加算する。電荷の加算後、転送トランジスタ５０１Ａをオフの状態とし、転送を終了する。ステップＳ６０９の動作が、図５のタイミングチャートの時刻ｔ１８および時刻１９の動作に相当する。

ステップＳ６１０において、ステップＳ６０７で読み出された検出用画像ＩＭＧ−Ｄ（ｉ）がｉ＝Ｎか否か、つまりＮ番目か否かをシステム制御ＣＰＵ１７８が判断する。ｉ＝Ｎの場合は、ステップＳ６１１に進む。一方、ｉ＝Ｎ以外の場合は、ステップＳ６１４に進む。ステップＳ６１４では、ｉ＝ｉ＋１のようにｉをインクリメントし、ステップＳ６０３に戻る。なお、Ｎは静止画撮影中に検出用画像ＩＭＧ−Ｄが読み出される回数であり、撮影開始前に予め決められた撮影露光時間に基づき決定される。

ステップＳ６１１において、静止画信号をＦＤ領域５０８へ転送する。具体的には、信号制御手段からの制御パルス信号により転送トランジスタ５０２Ａをオンの状態とし、ステップＳ６０１からステップＳ６０９の間に断続的に第１の電荷保持部５０７Ａに転送され保持された電荷信号をＦＤ領域５０８へ転送する。そして、転送トランジスタ５０２Ａをオフの状態とし、転送を終了する。ステップＳ６１１の動作が、図５のタイミングチャートの時刻ｔ２７および時刻２８に相当する。

ステップＳ６１２において、静止画信号を読み出す。具体的には、読み出し回路３０８が、ステップＳ６１１でＦＤ領域５０８へ転送した電荷信号を静止画信号として読み出す。ステップＳ６１２の動作が、図５のタイミングチャートの時刻ｔ３０に相当する。
ステップＳ６１３において、静止画画像と検出用画像を合成した画像を記録する。具体的には、デジタル信号処理部１８７が、ステップＳ６０７で複数回読み出された検出用画像ＩＭＧ−Ｄ（ｉ）とステップＳ６１２で読み出された静止画信号を合成し、１枚の合成画像として出力する。システム制御ＣＰＵ１７８は、合成画像を映像メモリ１９０に記録し、本処理を終了する。

図７は、図６のステップＳ６０８のブレ補正の処理を示すフローチャートである。
ステップＳ７０１おいて、システム制御ＣＰＵ１７８が、ステップＳ６０７で読み出された検出用画像ＩＭＧ−Ｄ（ｉ）がｉ＝０か否か、つまり１枚目の検出用画像か否かを判定する。ｉ＝０の場合は、本処理を終了する。一方、ｉ＝０以外の場合は、ステップＳ７０２に進む。

ステップＳ７０２において、システム制御ＣＰＵ１７８は、読み出された２枚の検出用画像ＩＭＧ−Ｄ（ｉ）とＩＭＧ−Ｄ（ｉ−１）を用いて、動きベクトルを検出する。動きベクトルは、例えば、時間的に連続した２枚の画像の特徴点を比較することで画像の動きを出することで検出できる。動きベクトルの検出は周知の技術のため、その説明を割愛する。第１実施形態では、システム制御ＣＰＵ１７８が動きベクトル検出手段として機能する。

ステップＳ７０３において、システム制御ＣＰＵ１７８は、ステップＳ７０２で検出した動きベクトルに基づいて、ブレ補正量を算出する。
ステップＳ７０４において、ブレ補正駆動部１８６は、システム制御ＣＰＵ１７８が算出したブレ補正量に応じてブレ補正レンズ１８５を駆動させ、本処理を終了する。

以上、図６および図７を用いて説明したフローで、撮像装置１００は静止画の撮影を行う。フォトダイオード５００で断続的に静止画像用信号の露光蓄積を行う合間に、複数回の検出用画像信号の露光蓄積および検出用画像信号としての読み出しを行う。そして、時間的に連続して取得された検出用画像信号を用いて動きベクトルを検出し、ブレ補正量を算出してブレ補正レンズ１８５駆動により静止画露光中の像ブレを補正することができる。このように、本実施形態では、別途像ブレ検出センサを取り付けることなく静止画露光中の像ブレを検出して、像ブレ補正をすることができる。

なお、本実施形態ではステップＳ６１３において、静止画像信号に、動きベクトル検出に用いた複数回の検出用画像信号を加算合成して、一枚の合成画像を生成した。これは、所望の露光量を得るためである。予め定められた撮像画像の設定露光時間が、ステップＳ６０１からステップＳ６０９までの期間にあたる。なお、設定露光時間は図５のタイミングチャートでは時刻ｔ１から時刻ｔ２５の期間に相当する。静止画像信号のフォトダイオード５００での露光蓄積は断続的に行われるため、露光蓄積時間の積算は設定露光時間よりも短くなる。つまり、ステップＳ６１２で読み出された静止画像信号は設定露光時間よりも短いため、所望の露光量よりも低くなっている。また、フォトダイオード５００で静止画像信号の露光蓄積が中断する間は、検出用画像信号の露光蓄積が行われる。そのため、検出用画像信号を静止画像信号に加算合成することで、合成画像の露光蓄積時間を設定露光時間に合わせることができる。

また、ステップＳ６１３では、静止画像と検出用画像を単純に加算合成する例を説明したが、これに限られるものではなく、所望の露光量を得るための合成を行えばよい。例えば、静止画像信号と検出用画像信号では露光蓄積時間が異なるため、加算合成時にそれぞれを所定の割合で合成し、記録ビット数を上げて記録することで、ダイナミックレンジが拡大した画像を得ることができる。露光量の異なる複数の画像を用いたダイナミックレンジ拡大の画像処理については、公知の技術のため説明を割愛する。

なお、ステップＳ６１３において撮像装置１００内で合成画像を生成せずに、静止画像と検出用画像を映像メモリ１９０に記録するようにしてもよい。この場合、撮影終了後に、記録した静止画像と検出用画像に基づいて、撮像装置１００または記録データが転送された外部装置１９７において、加算合成を行えばよい。

また、本実施形態では、図５のタイミングチャートにおいて、検出用画像の１回の露光蓄積時間である時刻ｔ５から時刻ｔ１０は、静止画像のフォトダイオード５００での１回の露光蓄積時間である時刻ｔ１から時刻ｔ５よりも短時間に設定されている。動きベクトルの検出に用いられる検出用画像は、ブレの影響が少ないほうが望ましいので、検出用画像の１回の露光蓄積時間は短く設定されている。

本実施形態では、静止画撮影中の像ブレ検出および像ブレ補正について述べたが、静止画撮影中にその他の撮影状態の検出を行ってもよい。例えば、連続する複数の画像に基づいて、被写体の含まれる範囲のコントラスト評価値を算出し、コントラスト評価値の変化により被写体に対しフォーカスレンズ１８１が合焦状態であるかを検出するコントラスト検出を行ってもよい。この場合、システム制御ＣＰＵ１７８がコントラスト評価値を算出して焦点状態を検出する焦点検出手段として機能する。コントラスト検出では、静止画像露光中にフォーカスレンズ駆動部１８６によりフォーカスレンズ１８１を微小駆動させるいわゆるウォブリング動作を行い、焦点検出手段により複数回得られる検出用画像のそれぞれのコントラスト評価値を算出する。そして、ウォブリング動作によるフォーカスレンズ１８１の移動位置とその位置で得られた検出用画像のコントラスト評価値の変化より、被写体が合焦状態になるようにフォーカスレンズ１８１を駆動さる。

コントラスト検出を行う場合、図６のフローチャートにおいて、フローの開始時からフォーカスレンズ１８１がウォブリング駆動をし続けることと、ステップＳ６０８のブレ補正動作がＡＦ動作となる以外は上述と同じである。ＡＦ動作内ではウォブリング駆動中に得られる検出用画像ＩＭＧ−Ｄ（ｉ）を用いてコントラスト評価を行い、被写体が合焦状態になるようにフォーカスレンズ１８１をウォブリング駆動に重畳して駆動させる。このように制御を行うことで、別途焦点検出用のセンサを取り付けることなく静止画露光中に被写体がピント方向に動いた場合や、光軸方向の手ブレが発生した場合でも、被写体に対する撮影光学系１５２の焦点状態を検出することができる。そして、焦点検出結果に基づきフォーカスレンズ１８１を駆動させることで被写体を合焦状態に保つことができる。

以上説明したように、第１実施形態によると、検出用画像から検出された像ブレや合焦状態等の撮影状態に応じて、像ブレ補正やフォーカスを合わせる焦点調節等を行いながら静止画を取得することで、高品位な静止画を取得することができる。

（第２実施形態）
第１実施形態では、１つのフォトダイオードに対して２つの電荷保持部を有する構成の撮像素子１８４を用いて静止画像と検出用画像を取得し、検出用画像を用いて撮像装置１００の状態を検出して、光学状態の補正を行った。第２実施形態では、第１実施形態と同様の構成の撮像素子１８４を用いて静止画像と検出用画像を取得し、検出用画像を用いて撮像装置１００の状態を検出して、検出状態に応じて静止画像用に露光蓄積した電荷の転送を制御する。

第２実施形態では、検出用画像を用いて撮像装置１００の状態を検出し、撮影状態の変化が所定以上である場合は、静止画像用に露光蓄積した電荷のフォトダイオード５００から第１の電荷保持部５０７Ａへの転送を一旦停止する。以下では、静止画像用に露光蓄積した電荷の第１の電荷保持部５０７Ａへの転送を一旦停止する動作のことを、転送停止動作と呼ぶ。静止画像用の転送停止動作中にも検出用画像の読み出しは行われ、検出用画像の結果に応じて転送停止動作を解除し、静止画像用にフォトダイオード５００で露光蓄積した電荷の第１の電荷保持部５０７Ａへの転送を再開する。図８〜図１０を参照して、第２実施形態の詳細について説明する。なお、第２実施形態における撮像装置１００の全体の構成および撮像素子１８４の回路構成は第１実施形態と同様のため、詳細な説明は省略する。

図８は、第２実施形態における、撮像素子１８４の駆動シーケンスを示すタイミングチャートである。図８のタイミングチャートは、撮像素子１８４の駆動シーケンスの中でも転送停止動作に関わる部分を示しており、時刻ｔ４１は第１実施形態の図５に示されるタイミングチャートにおける時刻ｔ１６に対応する。時刻ｔ４１までの動作は第１実施形態と同様のため説明を割愛し、時刻ｔ４２から転送停止動作について説明を行う。時刻ｔ４２の時点では、静止画撮影動作中に後述する転送停止ＦＬＡＧがＯＮの状態になっており、転送停止動作に切り替わっている。

時刻ｔ４２において、選択パルスφＳＥＬがローレベルからハイレベルへと遷移する。これにより、画素要素５０の選択トランジスタ５０６がオンとなり、画素要素５０からの画像信号の読み出しが可能となる。なお、時刻ｔ４２は、第１実施形態における時刻ｔ１７に対応している。
時刻ｔ４３は、第１実施形態では時刻ｔ１８に対応するタイミングである。図８において点線で示されるように、時刻ｔ１８では静止画第１行の転送パルスφＴＸ１Ａがローレベルからハイレベルへと遷移していた。一方、第２実施形態においては、実線で示されるように、転送停止動作中のため転送パルスφＴＸ１Ａはローレベルのままである。

時刻ｔ４４において、転送パルスφＴＸ３がローレベルからハイレベルに遷移する。これにより、転送トランジスタ５０３がオンとなり、フォトダイオード５００がリセット状態になる。つまり、転送停止動作中は時刻ｔ４４までフォトダイオード５００で露光蓄積されていた電荷が、第１の電荷保持部５０７Ａに転送することなくリセットされる。

時刻ｔ４５において、転送パルスφＴＸ３がハイレベルからローレベルに遷移する。これにより、転送トランジスタ５０３がオフとなり、フォトダイオード５００のリセット状態が解除され、フォトダイオード５００において検出用画像の信号電荷の蓄積が開始される。

時刻ｔ４６において、リセットパルスφＲＥＳがハイレベルからローレベルへ遷移する。これにより、リセットトランジスタ５０４がオフとなり、ＦＤ領域５０８のリセット状態が解除される。このとき、ＦＤ領域５０８に存在する残留ノイズ成分による電位に応じた信号が、増幅トランジスタ５０５および選択トランジスタ５０６を介して信号出力線５２３に読み出される。

時刻ｔ４７から時刻ｔ５０までの動作は、第１実施形態の図５のタイミングチャートの時刻ｔ７から時刻ｔ１０の動作と同様のため、説明を省略する。
時刻ｔ５１において、転送パルスφＴＸ３がハイレベルからローレベルに遷移する。これにより、転送トランジスタ５０３がオフとなり、フォトダイオード５００において静止画の信号電荷の蓄積が再び開始される。

時刻ｔ５２以降の動作は、第１実施形態の図５のタイミングチャートの時刻ｔ１２以降の動作と同様であるが、転送停止動作中は以降も転送パルスφＴＸ１Ａはローレベルのままである。その結果、時刻ｔ４５と同様にフォトダイオード５００で露光蓄積された電荷は第１の電荷保持部５０７Ａに転送されることなく、フォトダイオード５００はリセット状態に遷移する。一方、転送停止動作が解除された場合は、第１実施形態の図５のタイミングチャートの時刻ｔ１８と同様に、転送パルスφＴＸ１Ａがローレベルからハイレベルへと遷移される。そのため、第１の電荷保持部５０７Ａに蓄積されている信号電荷に、フォトダイオード５００で露光蓄積された信号電荷が加算される。

次に、図９のフローチャートを用いて検出用画像を用いた検出動作を含む静止画撮影動作について説明する。図９は、第２実施形態における、検出用画像を用いたブレ補正を含む静止画撮影の処理を示すフローチャートである。本処理は、ユーザによりスイッチＳＴ１５４が押下され静止画撮影の指示が下されることにより開始する。ステップＳ９０１からステップＳ９０７の処理は、第１実施形態の図６のステップＳ６０１からＳ６０７と同様のため説明を省略する。

ステップＳ９０８において、ブレ補正を行う。ブレ補正の詳細については図１０を用いて後述する。
ステップＳ９０９において、システム制御ＣＰＵ１７８は、転送停止ＦＬＡＧがＯＮの状態か否かを判定する。転送停止ＦＬＡＧは、静止画撮影中において転送停止中の状態を示す判定フラグであり、転送停止中は転送停止ＦＬＡＧがＯＮの状態にある。転送停止ＦＬＡＧは、システム制御部ＣＰＵ１７８によりＯＮ／ＯＦＦの状態に切り替えられる。また、フローの開始時はシステム制御部ＣＰＵ１７８により、転送停止ＦＬＡＧはＯＦＦの状態になっている。ステップＳ９０９で、転送停止ＦＬＡＧがＯＮの状態と判定されると、ステップＳ９１１に進む。一方、転送停止ＦＬＡＧがＯＦＦの状態と判定されると、ステップＳ９１０に進む。

ステップＳ９１０において、システム制御ＣＰＵ１７８は、制御パルス信号により第１の転送トランジスタ５０１Ａをオンの状態とし、ステップＳ９０５からフォトダイオード５００において露光蓄積された静止画信号を第１の電荷保持部５０７Ａへ転送する。そして、既に第１の電荷保持部５０７Ａに蓄積されている電荷に加算する。

ステップＳ９１１において、システム制御ＣＰＵ１７８は、制御パルス信号により転送トランジスタ５０３をオンの状態とし、フォトダイオード５００をリセット状態とする。ステップＳ９０９において転送停止ＦＬＡＧがＯＮと判断されステップＳ９１１に進んだ場合は、フォトダイオード５００で蓄積されていた電荷は、第１の電荷保持部５０７Ａに転送されることなくリセットされる。

ステップＳ９１２からステップＳ９１５およびステップＳ９１６の処理は、第１実施形態の図６のフローチャートのステップＳ６１０からステップＳ６１３およびステップＳ６１４の処理と同様のため説明を省略する。

図１０は、図９のステップＳ９０８のブレ補正の処理を示すフローチャートである。ステップＳ１００１からステップＳ１００３の処理は、第１実施形態の図７のフローチャートのステップＳ７０１からステップＳ７０３の処理と同様のため説明を省略する。

ステップＳ１００４において、システム制御ＣＰＵ１７８は、ステップＳ９０８が繰り返されることで、ステップＳ１００３において複数回にわたり算出されたブレ補正量を積算し、積算ブレ補正量を算出する。例えば、ステップＳ１００３で算出されるブレ補正量をＢｃ、積算ブレ補正量をＢｉとしたとき、ステップＳ１００４は下記の式（１）の処理を行う。

Ｂｉ（ｉ） ＝ Ｂｉ（ｉ−１）＋ Ｂｃ ・・・式（１）

式（１）で示されるように、１つ前に算出された積算ブレ補正量Ｂ（ｉ−１）に補正量Ｂｃを加算し、積算ブレ補正量Ｂｉ（ｉ）を算出する。なお、メインのフロー開始時においてＢｉ（０）は０に初期化されている。

ステップＳ１００４において算出される積算ブレ補正量Ｂｉ（ｉ）は、静止画撮影が開始されてからのブレ量の合計値であり、ブ静止画撮影開始から移動をしたブレ補正レンズ１８５の現在の位置とみなすことができる。しかしながら、ブレ補正レンズ１８５はある所定のストロークの範囲内でしか駆動することができないので、ストロークを超えるブレ補正量が算出された場合は、ブレ補正レンズ１８５によるブレ補正をすることができない。そこで、積算ブレ補正量Ｂｉ（ｉ）がブレ量閾値Ｂｔｈを超えて、ブレ補正レンズ１８５のストロークの限界を超える場合には、転送停止ＦＬＡＧをＯＮにしてブレ補正レンズ１８５のブレ補正動作を一旦停止にする。ブレ量閾値Ｂｔｈは、ブレ補正レンズ１８５のストロークに応じて設定する。

ブレ補正動作を行っていない間に静止画像用にフォトダイオード５００で露光蓄積される電荷信号から得られる画像には像ブレが生じてしまう。そこで、ステップＳ９０９で転送停止ＦＬＡＧがＯＮになっていると判断された場合は、ステップＳ９１０において第１の電荷保持部５０７Ａへの電荷の転送を行わずに、フォトダイオード５００をリセット状態とする。そして、積算ブレ補正量Ｂｉ（ｉ）がブレ閾値Ｂｔｈ以下に収まったと判断されると、転送停止ＦＬＡＧをＯＦＦとする。転送停止ＦＬＡＧをＯＦＦとすることで、ブレ補正レンズ１８５の駆動によるブレ補正を再開する。

また、転送停止ＦＬＡＧをＯＦＦにすることで、ステップＳ９１０において第１の電荷保持部５０７Ａへの電荷の転送を行い、既に第１の電荷保持部５０７Ａに保持されている電荷に加算され保持される。このように撮像装置１００を制御することで、振れ補正レンズ１８５のストローク範囲を超える大きなブレが発生した場合においても、ブレ補正の影響を低減した静止画像を得ることができる。

ステップＳ１００５において、システム制御ＣＰＵ１７８は、ステップＳ１００４で算出した積算ブレ補正量Ｂｉ（ｉ）がブレ量閾値Ｂｔｈ以上か否かを判定する。積算ブレ補正量Ｂｉ（ｉ）がブレ量閾値Ｂｔｈ未満の場合はステップＳ１００６に進む。一方、積算ブレ補正量Ｂｉ（ｉ）がブレ量閾値Ｂｔｈ以上の場合は、ステップＳ１００８へ進む。

ステップＳ１００６において、システム制御ＣＰＵ１７８は、転送停止ＦＬＡＧをＯＦＦに設定する。
ステップＳ１００７において、ブレ補正駆動部１８６は、システム制御ＣＰＵ１７８が算出した積算ブレ補正量Ｂｉ（ｉ）に応じてブレ補正レンズ１８５を駆動させてブレ補正を行い、本処理を終了する。
一方、ステップＳ１００８において、システム制御ＣＰＵ１７８は、転送停止ＦＬＡＧをＯＮに設定し、本処理を終了する。

第２実施形態では、転送停止ＦＬＡＧがＯＮになった後、積算ブレ補正量Ｂｉがブレ閾値Ｂｔｈよりも小さくなると再度転送停止ＦＬＡＧをＯＦＦとしたが、一度転送停止ＦＬＡＧがＯＮになった場合は、速やかにステップＳ９１２に進むように制御してもよい。このように制御しても、ブレ補正の影響を低減した静止画像を得ることができる。この場合、静止画の露光時間が設定よりも短くなり露光量が足りないことが考えられるので、取得した静止画像の全体の輝度を上げるゲインアップ処理を行うようにしてもよい。但し、ゲインアップ処理を行うとノイズも増幅されるので、ゲインアップ処理のゲイン値は所定以下に押さえられることが望ましい。

また、第２実施形態では、ステップＳ９１２において検出用画像ＩＭＧ−Ｄ（ｉ）がＮ枚目かどうかで、ステップＳ９１３に進むかを判断していたが、他の判定によりステップＳ９１３に進んでもよい。例えば、転送停止動作中は静止画像用のフォトダイオード５００で露光蓄積された電荷が第１の電荷保持部５０７Ａに転送されない。つまり、静止画撮影中に転送停止動作に移行した場合に、検出用画像ＩＭＧ−Ｄ（ｉ）がＮ枚目に到達したタイミングでステップＳ９１２に進み、第１の電荷保持部５０７Ａの電荷をＦＤ領域５０８へ転送されると、以下のようなことが発生する。ステップＳ９１４で読み出される静止画像は、撮影命令開始前に設定された露光時間に対し、電荷が露光蓄積された積算時間が短いため、露光量が足りない画像となってしまう。そこで、ステップＳ９１０を通過するごとにカウントアップするカウンターｊを有しておき、ｊ＝Ｎになった場合にステップＳ９１３に進むように制御することが考えられる。このように制御することで、静止画像信号のフォトダイオード５００での露光蓄積時間の積算時間が設定された露光時間に達してから、静止画撮影のフローを終了することになる。

また、第２実施形態では、ブレ補正レンズ１８５を有しており、検出用画像信号を用いて動きベクトル算出を行うことでブレ補正を行ったが、撮像装置１００にブレ補正レンズ１８５がない構成の場合は以下のように制御すればよい。ステップＳ１００５で用いられるブレ量閾値Ｂｔｈを静止画撮影時に発生しても許容できるブレ量として設定しておき、積算ブレ補正量Ｂｉ（ｉ）がブレ量閾値Ｂｔｈよりも大きいかを判断すればよい。この許容できるブレ量とは、撮像面上でブレに換算した時に数１０ｕｍであることが望ましい。そして、積算ブレ補正量Ｂｉ（ｉ）がブレ量閾値Ｂｔｈよりも小さい場合、ステップＳ１００６には進むが、ブレ補正レンズ１８５がないのでステップＳ１００７は進まずにサブフローを終了するように制御する。このように制御することで、積算ブレ補正量Ｂｉが大きいときは転送停止動作になり、静止画像用のフォトダイオード５００で露光蓄積した信号が電荷保持部５０７Ａに転送されず加算されない。よって、ブレの影響を低減した静止画像を取得することができる。なお、転送停止動作に移行した後、静止画の撮影を終了するとしてステップＳ９１３に進んでもよいし、上述のように積算ブレ補正量Ｂｉが閾値未満になってから転送停止動作を解除してもよい。

第２実施形態では、１つのフォトダイオードに対して２つの電荷保持部を有する構成の撮像素子１８４を用いて静止画像と検出用画像を取得し、検出用画像を用いて像ブレの状態を検出して、像ブレ補正および転送停止動作を行った。検出用画像を用いて検出を行う対象は像ブレに限られるものではなく、例えば、合焦状態などの光学状態であってもよい。合焦状態を検出する場合、例えば、連続する複数の画像について被写体の含まれる範囲のコントラスト評価値を算出し、コントラスト評価値の変化により被写体に対しフォーカスレンズ１８１が合焦状態であるかを検出する。

コントラスト評価値に応じて転送停止動作を行場合、ブレ補正量を算出する代わりにコントラスト評価値を算出し、積算ブレ補正量の変わりにＩＭＧ−Ｄ（０）のコントラスト評価値との差分がコントラスト評価閾値よりも大きいかを判断する。そして、コントラスト評価値の差分値がコントラスト評価閾値より大きい場合は、被写体の焦点状態のボケ量が範囲を超えたと判断し、転送停止ＦＬＡＧをＯＮとする。そして、静止画像用のフォトダイオード５００で露光蓄積した信号を第１の電荷保持部５０７Ａに転送しないよう制御する。一方、コントラスト評価値の差分値がコントラスト評価閾値より小さい場合は、被写体が合焦状態のままと判断し転送停止ＦＬＡＧをＯＦＦのままとし、ステップＳ１００７に移行せずにサブフローを終了すればよい。このように制御することで、合焦状態からフォーカス状態が大きく変化した際にフォトダイオード５００で露光蓄積した信号は、第１の電荷保持部５０７Ａで蓄積されないので、被写体のピント状態の劣化の少ない静止画像を得ることができる。

以上説明したように、第２実施形態によると、検出用画像から検出される撮影状態に応じて、静止画像用に露光蓄積した電荷のフォトダイオード５００から第１の電荷保持部５０７Ａへの転送を停止したり再開したり等の制御を行う。これにより、画像の品位低下につながるような大きなブレや非合焦状態が生じた際の電荷を含まない静止画を生成することができ、より高品位な静止画を取得することができる。

（第３実施形態）
第３実施形態では、静止画撮影中に検出用画像を用いて輝度（露光量）の状態を検出し、検出結果を用いて静止画像の画像内で露光量が飽和している箇所がないかを判断する。そして、そのまま露光を続けると静止画像に飽和する箇所が発生する場合には、露光を終了するように制御する。第３実施形態における撮像装置１００の全体の構成および撮像素子１８４の回路構成は第１実施形態と同様のため、詳細な説明は省略する。また、撮像素子１８４の制御タイミングについても、図５を用いて示した第１実施形態のタイミングチャートと同様のため説明を省略する。なお、第３実施形態においては、システム制御ＣＰＵ１７８が、輝度の検出手段（輝度値算出手段および輝度値推定手段）としての機能を有する。

図１１は、第３実施形態における、検出用画像を用いた露光量検出を含む静止画撮影の処理を示すフローチャートである。本処理は、ユーザによりスイッチＳＴ１５４が押下され静止画撮影の指示が下されることにより開始する。ステップＳ１１０１からステップＳ１１０７の処理は、第１実施形態の図６のフローチャートのステップＳ６０１からＳ６０７までと同様のため説明を省略する。

ステップＳ１１０８においては、システム制御ＣＰＵ１７８は、露光量が飽和していないかを判断する露光量検出の処理を行う。露光量検出処理の詳細は、図１２を用いて後述する。
ステップＳ１１０９において、システム制御ＣＰＵ１７８は、飽和ＦＬＡＧがＯＮの状態か否かを判定する。飽和ＦＬＡＧは、静止画撮影中において静止画像による画像内でこのまま撮影露光を続けると飽和に達することを示す判定フラグであり、露光量検出動作で飽和直前と判断されると飽和ＦＬＡＧはＯＮの状態になる。また、飽和ＦＬＡＧはフローの開始時はＯＦＦの状態になっている。ステップＳ１１０９で飽和ＦＬＡＧがＯＮの状態と判定されると、ステップＳ１１１３に進み、第１の電荷保持部５０７Ａの電荷をＦＤ領域５０８へ転送し、静止画の露光蓄積を終了する。一方、飽和ＦＬＡＧがＯＦＦの状態と判定されると、ステップＳ１１１０に進む。

ステップＳ１１１０において、システム制御部ＣＰＵ１７８は、ユーザがスイッチＳＴ１５４をＯＦＦにして静止画撮影の停止指示を出したか否かを判定する。スイッチＳＴ１５４がＯＦＦである場合はステップＳ１１１３に進む。一方、スイッチＳＴ１５４がＯＮのままである場合はステップＳ１１１１に進む。スイッチＳＴ１５４はユーザが押下している間はＯＮの状態で、押下をやめるとＯＦＦになるタクトスイッチなどでもよく、その他のスイッチの方式でもよい。

ステップＳ１１１１において、システム制御部ＣＰＵ１７８は、第１の転送トランジスタ５０１Ａをオンの状態とする。これにより、ステップＳ１１０５から開始されたフォトダイオード５００で露光蓄積を行った静止画信号を第１の電荷保持部５０７Ａへ転送し、既に第１の電荷保持部５０７Ａに蓄積されている電荷に加算する。
ステップＳ１１１２からステップＳ１１１５およびステップＳ１１１６の動作は、第１実施形態のステップＳ６１０からステップＳ６１３およびステップＳ６１４の動作と同様であるため、その説明を省略する。

図１２は、図１１のステップＳ１１０８の露光量検出の処理を示すフローチャートである。
ステップＳ１２０１において、システム制御部ＣＰＵ１７８は、読み出された検出用画像ＩＭＧ−Ｄ（ｉ）の輝度値を検出し、検出用画像ＩＭＧ−Ｄ（ｉ）を所定の補正値Ｇｉでゲインアップし、画像全体の輝度値を上昇させる。所定の補正値Ｇｉは、フォトダイオード５００で周期的に行われる静止画像信号の１回の露光蓄積時間と、検出用画像の１回の露光蓄積時間の比率で定められる。具体的には図５のタイミングチャートの時刻ｔ１からｔ４までの時間をＴｓ、時刻ｔ５からｔ１０までの時間をＴｄとすると、補正値Ｇｉは下記の式（２）で求められる。

Ｇｉ ＝ Ｔｓ／Ｔｄ ・・・式（２）

補正値Ｇｉでゲインアップをすることで、フォトダイオード５００での１回の露光蓄積で得られる検出用画像の輝度を、１回の露光蓄積で得られる静止画像の蓄積輝度と同等に補正することができる。

ステップＳ１２０２において、システム制御部ＣＰＵ１７８は、ステップＳ１２０１でゲインアップされたＩＭＧ−Ｄ（ｉ）を積算画像ＩＭＧ−Ｉに加算し、検出用画像信号による積算画像を算出する。積算画像ＩＭＧ−Ｉは、検出用画像ＩＭＧ−Ｄ（ｉ）と同じ画素数を有する画像である。積算画像ＩＭＧ−Ｉは、撮影開始時には全画素について０が設定されている。ゲインアップされた検出用画像信号ＩＭＧ−Ｄ（ｉ）を繰り返し積算することで、積算画像ＩＭＧ−Ｉは第１の電荷保持部５０７Ａで蓄積された静止画像信号の電荷信号から生成できる静止画像の輝度値を推定することができる。つまり、静止画像と同等の露光量の仮想画像を積算画像ＩＭＧ−Ｉとして得ることができる。

ステップＳ１２０３において、システム制御部ＣＰＵ１７８は、ステップＳ１２０２で作成した積算画像ＩＭＧ−Ｉを表示部１５３に表示し、ユーザに対し現在の露光時間で得られると想定される静止画像の仮想画像を表示する。
ステップＳ１２０４において、システム制御部ＣＰＵ１７８は、積算画像ＩＭＧ−Ｉの全画素の中で輝度の最大値が閾値Ｄｔｈ以上か否かを判定する。ＩＭＧ−Ｉが閾値Ｄｔｈ未満の場合は、静止画像はまだ飽和しないと判断しフローを終了する。一方、ＩＭＧ−Ｉが閾値Ｄｔｈ以上であれば、静止画像が飽和間近と判断し、ステップＳ１２０４に進む。閾値Ｄｔｈは、静止画像信号の画素値の設定できる最大値つまり飽和値か、飽和値よりも若干少ない値が設定されている。
ステップＳ１２０４において、システム制御部ＣＰＵ１７８は、飽和ＦＬＡＧをＯＮにしてフローを終了する。

第３実施形態では、検出用画像を用いて静止画像の仮想画像である積算画像ＩＭＧ−Ｉを生成し、生成した積算画像ＩＭＧ−Ｉを用いて第１の電荷保持部５０７Ａで蓄積されている静止画像信号が飽和間近かを判定している。そして、この判定結果に基づいて静止画撮影を終了させるかを判定し、静止画像信号のＦＤ領域５０８への転送を制御している。つまり、積算画像ＩＭＧ−Ｉの輝度が所定以上の場合は、第１の転送トランジスタ５０１Ａによる電荷保持部５０７Ａへの転送を停止し、第２の転送トランジスタ５０２Ａにより第１の電荷保持部５０７Ａの電荷をＦＤ領域へ転送する。そのため、静止画撮影において静止画像が飽和することなく適正な露光量で取得することができる。

また、静止画露光中に表示部１５３に現在の静止画像信号の仮想画像を表示することで、ユーザが仮想画像の露光量を判断し、所望のタイミングで静止画撮影を終了することができ、ユーザが所望する高品位な静止画像を得ることができる。なお、バルブ撮影のような撮影開始前に静止画露光時間を定めないで撮影を行う場合は、ステップＳ１１１２での判断は行わずに、常にステップＳ１１１１からステップＳ１１１６に進むように制御すればよい。このように撮像装置１００を制御することで、別途露光状態を検出するセンサを設けることなく、静止画露光中に静止画像が飽和するかどうかの状態を検出することができる。その結果、例えば、長秒露光によって何発もの花火を１枚の静止画像に露光するような露光中に被写体に変化のある長秒露光撮影においても、適正な露光量の静止画像を得ることができる。

なお、第１実施形態〜第３実施形態では、１つのフォトダイオード５００に対して第１の電荷保持部５０７Ａと第２の電荷保持部５０７Ｂを有する構成の撮像素子１８４を用いて、静止画像と検出用画像を取得する例を説明した。しかし、これに限られるものではなく、静止画像と検出用画像を並行して取得し、検出用画像を用いた検出結果に応じて静止画像のための電荷の蓄積を制御できる撮像装置であればよい。例えば、図１３を用いて後述する１つのフォトダイオードに対して１つの電荷保持部を有する構成の撮像素子を用いて、電荷の蓄積を行う行を異ならせることで、静止画像と検出用画像を並行して取得してもよい。

（第４実施形態）
第１実施形態〜第３実施形態では、静止画像と検出用画像を取得し、検出用画像を用いて撮像状態を検出して、撮像状態に応じて静止画を生成するための電荷の蓄積の制御を行った。本実施形態では、フレームレートの異なる２つの画像を取得する実施形態について、低フレームレートの第１の動画と高フレームレートの第２の動画を例に説明する。

本実施形態における撮像装置１００の全体の構成は第１実施形態と同様のため、詳細な説明は省略する。図１３は、本実施形態における撮像素子１８４の画素の構成例を示す回路図である。本実施形態の画素は、１つのフォトダイオード５００に対して第１の電荷保持部５０７Ａのみを有している。即ち、１つの光電変換部に対して１つの電荷保持部を有する構成となっている。なお、各構成の詳細は第１実施形態と同様のため、同じ符号を付すことでその詳細な説明を省略する。

図１４は、第１の動画（ｐｉｃｔｕｒｅ Ａ）と第２の動画（ｐｉｃｔｕｒｅ Ｂ）の撮影条件の設定画面を説明する図である。設定画面は、撮像装置本体１５１の表示部１５３に表示される。撮影モード選択レバー１５６を時計方向に回転させることによって、２つの動画を同時に撮影することが出来るデュアル撮影モードに入る。設定画面には、第１の動画と第２の動画について、輝度、レンズの絞り値、ＩＳＯ感度、シャッタ速度および再生モードが表示される。それぞれの項目は、アップスイッチ１５８、ダウンスイッチ１５９およびダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することで設定する。また、いくつかの項目が入力されると残りの項目は自動演算されて候補が表示されるようにしてもよい。

輝度には、その時の被写体の輝度がＢｖ値１３２１として表示される。レンズの絞り値には、設定したレンズの絞り値がＦナンバー１３２２として表示される。ＩＳＯ感度には、第１の動画のＩＳＯ感度１３２３と第２の動画のＩＳＯ感度１３２４が表示される。シャッタ速度には、第１の動画のシャッタ速度１３２５と第２の動画の１３２６が表示される。再生モードには、第１の動画の再生モード１３２７と第２の動画の再生モード１３２８が表示される。本実施形態では、第１の動画の再生モード１３２７に通常再生である「Ｎｏｒｍａｌ」が、第２の動画の再生モード１３２８にスロー再生である「Ｓｌｏｗ」が設定されている例を説明する。再生モード１３２８に「Ｓｌｏｗ」が設定されている第２の動画は、スロー再生に対応するため、第１の動画より高フレームレートの動画を取得する。

図１５は、第１の動画と第２の動画の撮影条件の設定を説明する図である。一例として、第２の動画のシャッタ速度を変更した、設定項目１と設定項目２を示している。高フレームレートの第２の動画のシャッタ速度は、例えば、スローモーション再生した時に動きが停止する精細な画像が連続再生できているようなシャッタ速度を設定する。本実施形態では、撮影する被写体の移動速度により、第２の動画のシャッタ速度を、１／２５０秒もしくは１／５００秒に設定する。低フレームレートの第１の動画におけるシャッタ速度は、フレームレートに対してパラパラ感のない滑らかな映像を得られる１／６０秒に設定する。

一般に、同じ絞り値で同時に撮影されるフレームレートの異なる第１の動画と第２の動画は、シャッタ速度が異なるため、ＩＳＯ感度が異なるように制御される。そのため、高フレームレートの第２の動画が適正露出になるように露出制御を行うと、低フレームレートの第１の動画は飽和してしまいＩＳＯ感度を制御することができない。そこで、本実施形態では、低フレームレートの第１の動画を取得する１／６０秒の間に、一定の間隔で短い蓄積をＮｐ回加算して動画を生成する、時分割蓄積を行う。時分割蓄積を行うことで、蓄積される期間はパラパラ感の無い１／６０秒だが、実際に露光される積算光量は１／６０秒より少なくなり、実質的にはＩＳＯ感度が小さくなるようにしている。時分割蓄積により、本実施形態では、第１の動画と第２の動画のＩＳＯ感度は１００となる。

設定項目１で示されるように、Ｂｖ値１３２１が７、絞り値１３２２がＦ４．０、第１の動画のＩＳＯ感度１３２３と第２の動画のＩＳＯ感度１３２４が共に１００の場合、第２の動画のシャッタ速度１３２６は１／２５０秒で適性露光となる。また、ここでは第１の動画の蓄積回数Ｎｐを１６とする。通常再生される第１の動画のシャッタ速度１３２５は、パラパラ感の無い１／６０秒が必要であるが、合計露光量は第２の動画と同じ１／２５０秒とする必要があるので、第１の動画の１回の蓄積時間は、１／２５０秒÷１６＝１／４０００秒となる。

以上説明したように、本実施形態では、第１の動画の合計の蓄積時間を、第２の動画の蓄積時間と同じになるように制御する。すなわち、撮像素子１８４の第１の電荷保持部５０７Ａにて短い蓄積をＮｐ回加算して生成された第１の動画の全蓄積時間は、第２の動画の蓄積時間と等しくなる。そのため、同じ撮影周期に撮影された第１の動画の露出は、第２の動画と同じ露出となり、ＩＳＯ感度によるゲインアップ操作をしなくても、双方の画質の差が生じないようにすることが可能となる。

図１６および図１７は、第１の動画と第２の動画を同時に撮影するための、撮像素子１８４における蓄積および読み出しタイミングを説明する図である。図１６が図１５に示される設定項目１に、図１７が設定項目２に対応している。ここで、蓄積とは、フォトダイオード５００で発生した電荷を第１の電荷保持部５０７Ａもしくは第２の電荷保持部５０７Ｂに転送することにより実行される。また、読み出しとは、第１の電荷保持部５０７Ａもしくは第２の電荷保持部５０７Ｂに保持された電荷を、ＦＤ領域５０８を介して撮像素子１８４の外部に出力することを指している。

図１６および図１７は概念図であり、記載された行は実際の撮像素子１８４の画素の行では無く、同時に読み出す行を一行にまとめて表現している。例えば、撮像素子１８４の画素がベイヤー配列されている場合、ＧＢ行とＲＧ行の２行を、図１６および図１７では１行で表示している。また、図１６および図１７では便宜的に数行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有する。図１６および図１７では、最終行をｍ行としている。

図１６および図１７には、横軸を時間として、垂直同期信号１６５０、水平同期信号１６５１、第１の蓄積期間１６６３、第１の転送期間１６６４、第１の読み出し期間１６６６、第２の蓄積期間１６６１、第２の転送期間１６６２、第２の読み出し期間１６６５を示している。本実施形態では、垂直同期信号１６５０の１撮影周期中に第１の動画と第２の動画を読み出すようになっている。

ここで、第１の蓄積期間１６６３とは、第１の動画の蓄積期間のための信号電荷のフォトダイオード６００への蓄積期間を示している。第１の転送期間１６６４とは、第１の動画のための信号電荷をフォトダイオード６００から第１の電荷保持部６０７Ａに転送する期間を示している。第１の読み出し期間１６６６とは、第１の動画の読み出し期間である。第２の蓄積期間１６６１とは、第２の動画の蓄積期間のための信号電荷のフォトダイオード６００への蓄積期間を示している。第２の転送期間１６６２とは、第２の動画のための信号電荷をフォトダイオード６００から第２の電荷保持部６０７Ｂに転送する期間を示している。第２の読み出し期間１６６５とは、第２の動画の読み出し期間である。

撮影者により設定項目１が設定された場合の電荷の蓄積、転送、読み出しについて、図１６を用いて説明する。まず、蓄積について説明する。ここでは、被写体の移動速度に適したスローモーション再生がされるように、第２の動画のシャッタ速度としてＴ１＝１／２５０秒を撮影者が選択しているとする。すなわち、図１５の設定項目１が設定されているとする。そのため、１撮影周期（時間Ｔｆ＝１／６０秒）において、低フレームレートの第１の動画のために第１の蓄積期間１６６３でＮｐ回（Ｎｐ＝１６）の蓄積がなされる。なお、第１の蓄積期間１６６３は、Ｔ１（＝１／２５０秒）／１６で１／４０００秒である。１６回の蓄積分が第１の電荷保持部６０７Ａにて加算され、合計の露光量は１／２５０秒の蓄積を１回行った場合と同等となる。また、１６回の蓄積を行うが、実質的には第１回目の蓄積期間の開始時刻から１６回目の蓄積期間の終了時刻までが１つの長い蓄積期間である。したがって、第１の動画は、パラパラ感の抑制された滑らかな画像を取得することが可能である。

１行目は、低フレームレートの第１の動画のための信号電荷の蓄積を示している。垂直同期信号１６５０の１周期（時間Ｔｆ＝１／６０秒）中にＮｐ回（Ｎｐ＝１６）に分割された第１の蓄積期間１６６３で蓄積がなされる。２行目は、高フレームレートの第２の動画のための信号電荷の蓄積を示している。垂直同期信号１６５０の１周期（時間Ｔｆ＝１／６０秒）中の２回の蓄積のうち、Ｔ１＝１／２５０秒で、第２の蓄積期間１６６１で蓄積がなされる。

３行目は、１行目と同様に、低フレームレートの第１の動画のための信号電荷の蓄積を示している。４行目は、２行目と同様に、高フレームレートの第２の動画のための信号電荷の蓄積を示している。ただし、２行目は垂直同期信号１６５０の１周期（時間Ｔｆ＝１／６０秒）の後半での蓄積であったが、４行目は垂直同期信号１６５０の１周期の前半での蓄積である。このように、第２の動画は撮影周期毎に蓄積行が異なっている。以降、（２Ｎ＋１）行目に第１の動画のための信号電荷の蓄積が、（２Ｎ）行目に第２の動画のための信号電荷の蓄積が行われ、いわゆる行間間引き撮影が行われる。なお、第２の動画の間引き行の数は２行で、第１の動画の１行に比べて行数が多い。

次に、読み出しついて説明する。１行目において、第１の読み出し期間１６６６で示されるように、垂直同期信号１６５０の１周期に第１の蓄積期間１６６３で蓄積された低フレームレートの第１の動画の読み出しは、次の垂直同期信号１６５０の周期の最初から開始される。３行目の第１の動画の読み出しは、１行目の読み出しに続いて行われ、以降の（２Ｎ＋１）行の読み出しも順次同様に動作する。そのため、最終行までの読み出しには垂直同期信号１６５０の１周期Ｔｆの１／２の時間がかかる。

２行目において、第２の読み出し期間１６６５で示されるように、垂直同期信号１６５０の１周期の後半に蓄積された高フレームレートの第２の動画の読み出しは、次の垂直同期信号１６５０の周期の半分から開始される。６行目の第２の動画の読み出しは、２行目の読み出しに続いて行われ、以降の２（２Ｎ＋１）行の読み出しも順次同様に動作する。そのため、最終行までの読み出しには垂直同期信号１６５０の１周期Ｔｆの１／４の時間がかかる。

４行目において、第２の読み出し期間１６６５で示されるように、垂直同期信号１６５０の１周期の後半に蓄積された高フレームレートの第２の動画の読み出しは、次の垂直同期信号１６５０の周期の４分の３から開始される。８行目の第２の動画の読み出しは、４行目の読み出しに続いて行われ、以降の２（２Ｎ＋２）行の読み出しも順次同様に動作する。そのため、最終行までの読み出しには垂直同期信号１６５０の１周期Ｔｆの１／４の時間がかかる。

それぞれの動画の最終行までの読み出し時間は、第１の動画は１周期の１／２、第２の動画の２（２Ｎ＋１）行は１周期の１／４、同じく第２の動画の２（２Ｎ＋２）行は１周期Ｔｆの１／４かかる。そのため、全ての画素の読み出しは１周期の期間内に終了する。
なお、（２Ｎ＋１）行に生成される第２の動画の蓄積タイミングは、２行毎に撮影周期の範囲の中で、前半と後半に分けられているが、これは撮影周期内での偏りを防ぐためであり、行毎の露光量に変化はない。

第２の動画の蓄積時間は、撮影者によって設定されたシャッタ速度Ｔ１に設定されている。第２の動画の蓄積終了時間は全行固定（垂直同期信号１６５０からＴｆ時間）で、第２の読み出し期間１６６５の開始直前に蓄積が終了するように設定されている。第２の動画の蓄積終了時間は全行固定のため、第２の動画のシャッタ速度Ｔ１に応じて、垂直同期信号１６５０に対する第２の動画の蓄積開始時間が設定される。また、第２の動画の蓄積終了時間は、垂直同期信号１６５０の時間Ｔｆの半分以下に設定される。

また、各行の動画の蓄積開始時間は垂直同期信号１６５０に対して固定であり、撮影者によって設定された第２の動画のシャッタ速度Ｔ１に応じて、第１の動画の１回の蓄積終了時間が垂直同期信号１６５０に対して設定される。そして本実施形態では、撮影周期の長い第１の動画はＮｐ回に時分割して蓄積されて、その時分割蓄積時間は第２の動画のシャッタ速度に応じて決定している。

また、低フレームレートの第１の動画において「撮影周期」とは、時間Ｔｆ＝１／６０秒となり、同一の蓄積タイミングが繰り返される。高フレームレートの第２の動画における「撮影周期」とは、例えば、時間Ｔｆ内の前半と後半となる。したがって、第２の動画では撮影周期毎に蓄積行が異なっている。

次に、被写体の移動速度が速い場合について説明する。移動速度が速い被写体に適したスローモーション再生を実現するために、撮影者は第２の動画のシャッタ速度Ｔ２をシャッタ速度Ｔ１に比べ短く設定する（例えば、Ｔ２＝１／５００秒）。この設定を示したのが、図１５の設定項目２である。設定項目１と比較すると、設定項目２の絞り値１３２２は１段開いたＦ２．８となっている。Ｂｖ値１３２１、第１の動画のＩＳＯ感度１３２３と第２の動画のＩＳＯ感度１３２４、第１の動画のシャッタ速度１３２５は設定項目１と共通である。そのため、第１の動画の１回の蓄積時間はＴ２／１６（＝１／８０００秒）に設定される。そして、第１の動画の合計露光量は１／８０００秒×１６＝１／５００秒なので、第２の動画の露光量と等しくなる。

撮影者により設定項目２が設定された場合の電荷の蓄積、転送、読み出しについて、図１７を用いて説明する。まず、蓄積について説明する。撮影周期の長い第１の動画はＮｐ回に時分割して蓄積されて、第２の動画のシャッタ速度に応じて、第１の画像の時分割蓄積時間が決定している。本実施形態では、第１の動画の１回の蓄積時間はＴ２／１６（＝１／８０００秒）に設定される。また、図１７においては、第２の動画の間引き行の数は４行で、第１の動画の１行に比べて行数が多い。また、第２の動画では撮影周期毎に蓄積行が異なっている。

また、図１６で説明したように、第２の動画の蓄積終了時間は全行固定で、第１行目の画像の読み出し開始直前に蓄積が終了するように設定されている。第２の動画の蓄積終了時間は全行固定のため、第２の動画のシャッタ速度に応じて、垂直同期信号１６５０に対する第１の動画の時分割蓄積時間が設定されるようになっている。

図１６と同様に、第１の動画の蓄積は１周期中に均等の時間間隔で行われ、各行の動画の読み出し開始直前までに１６回に分割された蓄積が終了するように時間間隔が設定される。このとき第１の動画の蓄積の時間間隔は、水平同期信号１６５１の間隔Ｔｈの整数倍に設定される。その結果、各行の動画の蓄積タイミングが同じになるようになっている。各行の動画の蓄積開始時間は垂直同期信号１６５０に対して固定であり、撮影者によって設定された第２の動画のシャッタ速度に応じて、第１の動画の１回の蓄積終了時間が垂直同期信号１６５０に対して設定される。

次に、読み出しついて説明する。低フレームレートの第１の動画では、図１６の説明と同様に、最終行までの読み出しには１周期Ｔｆの１／２の時間がかかる。
高フレームレートの第２の動画では、以下のようになる。まず、２（４Ｎ＋１）行について説明する。２行目では、垂直同期信号１６５０の１周期Ｔｆの期間の後半に蓄積された高フレームレートの第２の動画の読み出しは、次の垂直同期信号１６５０の期間の半分から開始される。次の１０行目では、第２の動画の読み出しは２行目の読み出しに続いて行われる。以降の２（４Ｎ＋１）行の読み出しも、順次同様に動作する。そのため、最終行までの読み出しには、１周期の１／８の時間がかかる。

次に、２（４Ｎ＋２）行について説明する。４行目では、垂直同期信号１６５０の１周期Ｔｆの期間の最終に蓄積された高フレームレートの第２の動画の読み出しは、次の垂直同期信号１６５０の期間における蓄積の最終行の読み出しに続いて開始される。次の１２行目では、第２の動画の読み出しは、４行目の読み出しに続いて行われる。以降の２（４Ｎ＋２）行の読み出しも、順次同様に動作する。そのため、最終行までの読み出しには、１周期Ｔｆの１／８の時間がかかる。

次に、２（４Ｎ＋３）行について説明する。６行目では、垂直同期信号１６５０の１周期Ｔｆの期間の前半に蓄積された高フレームレートの第２の動画の読み出しは、同じ垂直同期信号１６５０の期間における２（４Ｎ＋２）行の最終行の読み出しに続いて開始される。次の１４行目では、第２の動画の読み出しは、６行目の読み出しに続いて行われる。以降の２（４Ｎ＋３）行の読み出しも、順次同様に動作する。そのため、最終行までの読み出しには１周期Ｔｆの１／８の時間がかかる。

次に、２（４Ｎ＋４）行について説明する。８行目では、垂直同期信号１６５０の１周期Ｔｆの期間の前半に蓄積された高フレームレートの第２の動画の読み出しは、同じ垂直同期信号１６５０の期間における２（４Ｎ＋３）行の最終行の読み出しに続いて開始される。次の１６行では、第２の動画の読み出しは、８行目の読み出しに続いて行われる。以降の２（４Ｎ＋４）行の読み出しも、順次同様に動作する。そのため、最終行までの読み出しには、１周期の１／８の時間がかかる。

第１の動画の最終行までの読み出し時間は、垂直同期信号１６５０の１周期Ｔｆの１／２となる。第２の動画の最終行までの読み出し時間は、２（４Ｎ＋１）行〜２（４Ｎ＋４）行それぞれが垂直同期信号１６５０の１周期Ｔｆの１／８かかるため、合計で垂直同期信号１６５０の１周期Ｔｆの１／２となる。したがって、第１の動画の読み出しと第２の動画の読み出しを合わせた全画素の読み出しは、垂直同期信号１６５０の１周期Ｔｆとなる。

本実施形態では、１行毎に蓄積される第１の動画に対し、第２の動画は２（４Ｎ＋１）行、２（４Ｎ＋２）行、２（４Ｎ＋３）行、２（４Ｎ＋４）行の合計４行に渡って間引かれて蓄積される。すなわち、第２の動画の間引きの行数は４行で、第１の動画の間引きの行数より多い。なお、２（４Ｎ＋１）行、２（４Ｎ＋２）行、２（４Ｎ＋３）行、２（４Ｎ＋４）行に生成される第２の動画の蓄積タイミングは、撮影周期である垂直同期信号１６５０の１周期Ｔｆの範囲の中で、４つに分けられている。これは撮影周期内での偏りを防ぐためであり、行毎の露光量には変わりはない。

以上説明したように、異なる複数のフレームレートで撮影可能な撮像装置において、低フレームレートの第１の動画のシャッタ速度は、通常再生でパラパラ感がないようなシャッタ速度として３０ｆｐｓ程度では１／３０、或いは１／６０を常に選択できる。一方、高フレームレートの第２の動画のシャッタ速度は、被写体の移動速度によって、それに適したスローモーション再生がされるようなシャッタ速度を撮影者が自由に選択できる。また、シャッタ速度の選択に際してＩＳＯ感度の変更を必要としないので、ゲインアップなどによる画質低下を抑制することができる。

図１８は、表示部１５３に表示される画面を表す図である。撮影光学系１５２を通して捉えられたフェンシングをする人物１６３が、表示部１５３上に表示されている。図１８（Ａ）は、通常再生が選択され、第１の動画が表示されている様子を示している。表示部１５３には、通常再生として第１の動画（ｐｉｃｔｕｒｅ Ａ）と、第１の動画を撮影するシャッタ速度１７９１およびＦナンバー１７９３が表示されている。第１の動画は低フレームレートである１／６０秒で撮影されており、パラパラ感のない滑らかな映像で再生されている。

図１８（Ｂ）は、スロー再生が選択され、第２の動画が表示されている様子を示している。表示部１５３には、スロー再生として第２の動画（ｐｉｃｔｕｒｅ Ｂ）と、第２の動画を撮影したシャッタ速度１７９１およびＦナンバー１７９３が表示されている。第２の動画は高フレームレートである１／２５０秒で撮影されており、スローモーション再生によって、肉眼では見えにくかったフェンシングの突きの様子などを確認することができる。なお、第１の動画および第２の動画を再生する端末は撮像装置１００に限られるものではなく、タブレット端末、パーソナルコンピュータ、テレビモニタ等の外部装置１９７で表示してもよい。

図１９は、第１の動画と第２の動画の活用例を説明する図である。第１の動画（ｐｉｃｔｕｒｅ Ａ）と第２の動画（ｐｉｃｔｕｒｅ Ｂ）のデータファイルは、記録媒体１９３やネットワーク上のストレージ等に格納されている。第１の動画および第２の動画は、例えばＭＰ４ファイルとして保存され、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。第１のフレーム群１８０１は、低フレームレートの第１の動画（ｐｉｃｔｕｒｅ Ａ）のフレーム群である。第２のフレーム群１８１１は、高フレームレートの第２の動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群である。

第２の動画（ｐｉｃｔｕｒｅ Ｂ）は１／２５０秒で撮影され、第１の動画（ｐｉｃｔｕｒｅ Ａ）のフレームレート１／６０秒に対し４倍速い。そのため、第１の動画の１枚のフレーム１８０２に対応する第２の動画のフレームは、フレーム１８２１〜１８２４の４枚の画像群となる。同様に、第１の動画のフレーム１８０３に対応する第２の動画のフレームは、フレーム１８３１〜１８３４である。

通常再生中に、例えばユーザにより画面がタップされる等の再生モードを切り替える操作がなされると、スロー再生に切り替わる。すなわち、第１の動画の再生中に再生モードを切り替える操作がなされると、対応する第２の動画が再生される。例えば、フェンシングをする人を撮影していて、突きの瞬間の画像を視聴したいとする。まず、動画の再生をスタートすると第１の動画のフレーム群１８０１の先頭のフレーム１８０２から決められたフレームレートで順次、第１のフレーム群１８０１のフレームが再生される。

所望のシーン近傍のフレーム１８０３まで再生が進み、ユーザが画面をタップすると、第１の動画に対応する第２の動画のデータファイルから同一タイムコードのフレーム１８３１が検索される。そして、ユーザが画面をタップし続けている間、フレーム１８３１から順次フレーム１８３２、フレーム１８３３、フレーム１８３４と第２のフレーム群１８１１のフレームがスローモーション再生される。スローモーション再生によって、肉眼では見えにくかったフェンシングの突きの様子などを確認することができる。

そして、ユーザがフレーム１９３４でタップをやめると、第１の動画の通常再生に戻り、第２の動画に対応する第１の動画の同一タイムコードの次のフレーム１８０４から再生が再開する。本実施形態では、同一画面において第１の動画の動画を表示する通常再生中に画面をタップすると、画面をタップし続けている間は第２の動画の動画をスローモーション再生する例を説明した。この例に限られるものではなく、図２０に示すように、第１の動画の動画を表示する通常再生中に画面をタップすると第２の動画の動画に切り替わり、ユーザの操作に応じて第２の動画をコマ送りで再生できるようにしてもよい。また、表示部が２箇所ある場合は、一方に通常再生を表示しておき、これをタップすると他方の画面にスローモーション再生がされるように構成してもよい。この構成では２つの表示動画が一度に視聴できるが、本実施形態では２つの動画の露出は揃っているので不具合が発生することはない。

また、高フレームレートの第２の動画をコマ送りで再生し、所望のフレームを選択して、希望する瞬間の画像を印刷できるようにしてもよい。フレームを選択後、印刷を決定すると、選択したフレームのデータがプリントＩ／Ｆ１９４を介してプリンタ１９５に対して出力される。速いシャッタースピードで撮像した画像をプリントできるため、印刷物はストップモーション効果がある迫力のあるものとなる。

第４実施形態では、１つのフォトダイオードに対して１つの電荷保持部を有する構成の撮像素子を用いて、第１の動画と第２の動画の電荷の蓄積を行う行を異ならせることで、フレームレートの異なる動画を並行して取得する例を説明した。しかし、これに限られるものではなく、フレームレートの異なる動画を並行して取得できる撮像装置であればよい。例えば、図３に示される、１つのフォトダイオード５００に対して第１の電荷保持部５０７Ａと第２の電荷保持部５０７Ｂを有する構成の撮像素子１８４を用いて、フレームレートの異なる動画を並行して取得してもよい。１つのフォトダイオードに対して複数の電荷保持部を備える撮像素子を用いる場合も、高フレームレートの動画の露出に低フレームレートの動画の露出が合うように、低フレームレートの動画の時分割を制御することで、露出の揃った動画を取得できる。

以上説明したように、本実施形態によれば、通常再生用のパラパラ感のない滑らかな高品位な動画と、スローモーション再生用の高フレームレートの動画とを、露出を揃えて、並行して取得することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 撮像装置
１８４ 撮像素子
１７８ システム制御ＣＰＵ

Claims (13)

1. １つの光電変換部に対して少なくとも１つの電荷保持部を有する画素を２次元に配列した撮像素子と、
   前記撮像素子を制御し、第１の画像と前記第１の画像よりフレームレートの高い第２の画像とを並行して取得する取得手段と、を備え、
   前記取得手段は、１撮影周期中に前記電荷保持部に時分割で電荷を蓄積して前記第１の画像を取得する
   ことを特徴とする撮像装置。
2. 前記第２の画像から撮影状態を検出する検出手段を備え、
   前記取得手段は、前記検出手段が検出した前記撮影状態に応じて、前記第１の画像に対応する電荷の蓄積を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、複数の前記第２の画像から動きベクトルを検出し、
   前記取得手段は、前記動きベクトルに応じて、前記第１の画像に対応する電荷の蓄積を制御することを特徴とする請求項２に記載の撮像装置。
4. 前記検出手段が検出した前記動きベクトルに基づいて、像ブレを補正する補正手段を備えることを特徴とする請求項３に記載の撮像装置。
5. 前記検出手段は、複数の前記第２の画像からコントラストの変化を算出して焦点状態を検出し、
   前記取得手段は、前記焦点状態に応じて、前記第１の画像に対応する電荷の蓄積を制御することを特徴とする請求項２に記載の撮像装置。
6. 前記検出手段が検出した前記焦点状態に基づいて、焦点調節を行う合焦手段をさらに備えることを特徴とする請求項５に記載の撮像装置。
7. 前記検出手段は、複数の前記第２の画像から輝度を検出し、
   前記取得手段は、前記輝度に応じて、前記第１の画像に対応する電荷の蓄積を制御することを特徴とする請求項２に記載の撮像装置。
8. 前記複数の第２の画像は、前記第１の画像の１撮影周期中に取得した画像であることを特徴とする請求項３乃至７のいずれか１項に記載の撮像装置。
9. 前記取得手段は、前記第２の画像のシャッタ速度に応じて、前記第１の画像の時分割の蓄積時間を決定することを特徴とする請求項１に記載の撮像装置。
10. 前記撮像素子は、１つの光電変換部に対して、前記第１の画像を生成するための電荷の蓄積を行う第１の電荷保持部と、前記第２の画像を生成するための電荷の蓄積を行う第２の電荷保持部とを有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記第１の画像および前記第２の画像は、行間間引き画像であり、
    前記取得手段は、前記第１の画像に対応する電荷の蓄積と、前記第２の画像に対応する電荷の蓄積を前記撮像素子の異なる行で行うことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
12. 前記取得手段は、前記第２の画像に対応する電荷の蓄積を行う前記撮像素子の行を、撮影周期に応じて変更することを特徴とする請求項１１に記載の撮像装置。
13. １つの光電変換部に対して少なくとも１つの電荷保持部を有する画素を２次元に配列した撮像素子を有する撮像装置の制御方法であって、
    前記電荷保持部に電荷を蓄積する蓄積工程と、
    第１の画像と前記第１の画像よりフレームレートの高い第２の画像とを並行して取得する取得工程と、を有し、
    前記蓄積工程では、１撮影周期中に時分割で前記第１の画像に対応する電荷を蓄積する
    ことを特徴とする制御方法。

Images