JP2018125697A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】単一の撮像素子を用いて動画と静止画の二つの映像を同時に撮影するともに、動きのある被写体に対してはローリング歪みの小さい映像を取得する。【解決手段】電変換部、第１の電荷保持部、及び第２の電荷保持部を含む画素が行列状に配置された撮像素子と、撮影周期中の第１の蓄積期間において光電変換部に生じた信号電荷を第１の電荷保持部へ転送して得られる第１の映像信号、及び、撮影周期中の複数の第２の蓄積期間において光電変換部に生じた信号電荷を第２の電荷保持部へ転送及び加算して得られる第２の映像信号、を読み出すように撮像素子を制御する制御手段と、を備えた撮像装置であって、制御手段は、第１の蓄積期間を挟まないで複数の第２の蓄積期間を設ける第２の撮影モードにおいては、複数の第２の蓄積期間を、撮像素子のいずれかの行の第１の映像信号の読み出し期間中に設ける。【選択図】図１０

Description

本発明は、蓄積期間の異なる複数の映像を同時に撮影可能な撮像装置及びその制御方法に関する。

動画と静止画を一台のカメラで同時に撮影することにより、撮影シーンを動画として視聴しながら、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを、高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、受光効率の異なる２つの光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。

例えば、特許文献１には、受光効率の異なる２つの光電変換部を備えた撮像装置が記載されている。特許文献１に記載の撮像装置は、このような構成により、単一の撮影レンズを通して蓄積期間（露光時間）が異なる動画と静止画を同時に撮影することを可能としている。

特開２０１４−４８４５９号公報 特開２０１３−１７２２１０号公報

しかし、特許文献１に記載された撮像装置では、画素から映像信号を読み出すための回路が画素アレイの同一列で共用されるため、映像信号を読み出すタイミングが画素アレイの行毎に異なり、いわゆるローリング歪みが発生するという課題がある。

本発明の一観点によれば、光電変換部、第１の電荷保持部、及び第２の電荷保持部を含む画素が行列状に配置された撮像素子と、撮影周期中の第１の蓄積期間において光電変換部に生じた信号電荷を第１の電荷保持部へ転送して得られる第１の映像信号、及び、撮影周期中の複数の第２の蓄積期間において光電変換部に生じた信号電荷を第２の電荷保持部へ転送及び加算して得られる第２の映像信号、を読み出すように撮像素子を制御する制御手段と、を備えた撮像装置であって、制御手段は、撮影周期中に、第１の蓄積期間を挟んで複数の第２の蓄積期間を設ける第１の撮影モードと、撮影周期中に、第１の蓄積期間を挟まないで複数の第２の蓄積期間を設ける第２の撮影モードと、を有し、第２の撮影モードでは、複数の第２の蓄積期間を、撮像素子のいずれかの行の第１の映像信号の読み出し期間中に設けることを特徴とする撮像装置が提供される。

また、本発明の別観点によれば、光電変換部、第１の電荷保持部、及び第２の電荷保持部を含む画素が行列状に配置された撮像素子と、撮影周期中の第１の蓄積期間において光電変換部に生じた第１の信号電荷を第１の電荷保持部へ転送して得られる第１の映像信号、及び、撮影周期中の複数の第２の蓄積期間において光電変換部に生じた第２の信号電荷を第２の電荷保持部へ転送及び加算して得られる第２の映像信号、を読み出すように撮像素子を制御する制御手段と、を備えた撮像装置であって、制御手段は、撮影周期中に、第１の蓄積期間を挟んで複数の第２の蓄積期間を設ける第１の撮影モードと、撮影周期中に、第１の蓄積期間を挟まないで複数の第２の蓄積期間を設ける第２の撮影モードと、を有し、第２の撮影モードでは、第１の信号電荷の蓄積期間及び転送期間を、撮像素子のいずれかの行の第２の映像信号の読み出し期間中に設けることを特徴とする撮像装置が提供される。

更に、本発明の他の別観点によれば、光電変換部、第１の電荷保持部、及び第２の電荷保持部を含む画素が行列状に配置された撮像素子と、撮影周期中の第１の蓄積期間において光電変換部に生じた信号電荷を第１の電荷保持部へ転送して得られる第１の映像信号、及び、撮影周期中の複数の第２の蓄積期間において光電変換部に生じた信号電荷を第２の電荷保持部へ転送及び加算して得られる第２の映像信号、を読み出すように撮像素子を制御する制御手段と、を備えた撮像装置において、撮影周期中に、第１の蓄積期間を挟んで複数の第２の蓄積期間を設ける第１の撮影モードと、撮影周期中に、第１の蓄積期間を挟まないで複数の第２の蓄積期間を設ける第２の撮影モードと、を有し、第２の撮影モードでは、複数の第２の蓄積期間を、撮像素子のいずれかの行の第１の映像信号の読み出し期間中に設けるステップを有することを特徴とする撮像装置の制御方法が提供される。

本発明の撮像装置によれば、単一の撮像素子を用いて蓄積期間が異なる複数の映像を同時に撮影しつつ、ローリング歪みを抑えた映像を撮影し得る撮像装置を提供することができる。

本発明の第１実施形態による撮像装置を示す外観図である。 本発明の第１実施形態による撮像装置の概略例を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の構成例を示すブロック図である。 本発明の第１実施形態による撮像装置における画素の等価回路を示す概略図である。 動画及び静止画の撮影条件の設定画面を説明するための図である。 デュアル映像モードにおけるプログラムＡＥ線図である。 デュアル映像モードにおける撮影動作のフローチャートである。 第１の撮影モードにおける撮像素子の駆動方法を説明するための図である。 第１の撮影モードにおける撮像素子の駆動シーケンスを示すタイミングチャートである。 第２の撮影モードにおける撮像素子の駆動方法を説明するための図である。 第２の撮影モードにおける撮像素子の駆動シーケンスを示すタイミングチャートである。 撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を示す図である。 表示部上にｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを並べて表示した様子を示す図である。 本発明の第１実施形態による画像再生方法を示す図である。 第１の撮影モードにおける撮像素子の別の駆動方法を説明するための図である。

一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積期間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積期間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。

一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積期間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積期間を設定することとなる。

単一の撮影レンズを通して動画と静止画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積期間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。

また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（High Dynamic Range）技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。

このような背景から、蓄積期間が異なる２つの映像信号を同時に取得可能な画素群を撮像装置内の撮像素子に設け、これら画素群からの出力を合成することによってダイナミックレンジを拡大する技術が提案されている。この技術においても同様に、蓄積期間が異なる２つの映像信号のどちらからもＳ／Ｎ比の良好なノイズ感のない中間映像データを作成し、最終的に品位の高いＨＤＲ映像を合成できることが望ましい。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

［第１実施形態］
以下、本発明の第１実施形態による撮像装置について、図１乃至図１５を用いて説明する。本実施形態では、撮像のための撮像素子や撮影光学系等を備えた撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、撮影光学系等は、必ずしも撮像装置の一部として構成される必要はなく、撮像装置とは別に構成されていてもよい。

図１は、第１実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。

本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子やシャッター装置等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。

アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換処理を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。

表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

本実施形態で説明する撮像装置１００のような画像再生装置を備えた撮像装置では、撮影した映像データを表示部１５３や外部モニタ等を用いて再生することができる。映像データの再生時には、記録媒体１９３から映像データや付加データが読み出される。読み出されたデータは、システム制御ＣＰＵ１７８の指示によりデジタル信号処理部１８７，１８８で復調され、表示インターフェース部１９１を介して表示部１５３に画像として提示される。また、再生時の動作は、撮像装置１００の背面に備えられた操作部（メニューボタン１５７、アップダウンスイッチ１５８，１５９、ダイアル１６０など）をユーザが操作することによって制御することができる。ユーザの操作には、動画の再生、停止、一時停止などが含まれる。

図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。

画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。画素３０３は、それぞれ光電変換により信号を生成する。

画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。信号出力線３０４Ａ，３０４Ｂには、画素３０３からの信号が出力される。画素アレイ３０２の各列には、また、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。

垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳ（ｎ）、転送パルスφＴＸ（ｎ）、選択パルスφＳＥＬ（ｎ）を示している（ｎは、行番号に対応した整数）。

読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。

タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号を出力する。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号を出力する。なお、２つの読み出し回路３０８Ａ，３０８Ｂを有する代わりに、１つの読み出し回路を有する構成としてもよい。信号出力線３０４Ａ，３０４Ｂについても同様である。

図４は、第１実施形態による撮像装置における画素３０３の構成例を示す回路図である。図４には、行列状に配置された複数の画素３０３のうち、第１行第１列（１、１）の画素３０３と、第ｍ行第１列（ｍ、１）の画素３０３を示し、その他の画素３０３については記載を省略している。第ｍ行は画素アレイ３０２の最下行を表し、典型的には数千程度である。画素アレイ３０２を構成する各画素３０３は、概ね同一の構成を有している。このため、図４に示す第１行第１列（１、１）の画素３０３と第ｍ行第１列（ｍ、１）の画素３０３には同一の符号を付している。

本実施形態の画素３０３は、１つのフォトダイオード６００に対して２つの電荷保持部６０７Ａ、６０７Ｂを有することを特徴としている。例えば特許文献２には、１つのフォトダイオード６００に対して１つの電荷保持部を有する画素の構成が開示されているため、電荷保持部の詳細については説明を省略する。以下では、画素３０３が、１つのフォトダイオード６００に対して２つの電荷保持部６０７Ａ、６０７Ｂを有する構成について説明する。

画素３０３は、フォトダイオード６００、電荷保持部６０７Ａ、６０７Ｂ、転送トランジスタ６０１Ａ、転送トランジスタ６０１Ｂ、フローティングディフュージョン領域６０８を少なくとも有している。画素３０３は、更に、リセットトランジスタ６０４、増幅トランジスタ６０５、選択トランジスタ６０６、転送トランジスタ６０２Ａ、転送トランジスタ６０２Ｂ、オーバーフロートランジスタ６０３等を有してもよい。

以下、第１行第１列（１、１）の画素３０３の構成について説明するが、その他の行及び列の画素３０３の構成についても概ね同じである。画素３０３は、垂直走査回路３０７が出力する制御信号であるφＴＸ１Ａ（ｎ）、φＴＸ２Ａ（ｎ）、φＴＸ１Ｂ（ｎ）、φＴＸ２Ｂ（ｎ）、φＴＸ３（ｎ）、φＲＥＳ（ｎ）、φＳＥＬ（ｎ）により制御される（ｎは、行番号に対応した整数）。信号出力線６２３には、画素３０３からの映像信号が出力される。電源線６２０、６２１は、各トランジスタに電源を供給する。

フォトダイオード６００は、被写体からの入射光を光電変換し、生じた信号電荷を蓄積する。転送トランジスタ６０１Ａは転送パルスφＴＸ１Ａにより制御され、フォトダイオード６００に蓄積された信号電荷を電荷保持部６０７Ａへ転送する。電荷保持部６０７Ａは、フォトダイオード６００から転送された信号電荷を保持する。転送トランジスタ６０２Ａは転送パルスφＴＸ２Ａにより制御され、電荷保持部６０７Ａが保持する信号電荷をフローティングディフュージョン領域６０８へ転送する。

同様に、転送トランジスタ６０１Ｂは転送パルスφＴＸ１Ｂにより制御され、フォトダイオード６００に蓄積された信号電荷を電荷保持部６０７Ｂへ転送する。電荷保持部６０７Ｂは、フォトダイオード６００から転送された信号電荷を保持する。転送トランジスタ６０２Ｂは転送パルスφＴＸ２Ｂにより制御され、電荷保持部６０７Ｂが保持する信号電荷をフローティングディフュージョン領域６０８へ転送する。

増幅トランジスタ６０５はフローティングディフュージョン領域６０８へ転送された信号電荷量に基づく映像信号を出力する。選択トランジスタ６０６は選択パルスφＳＥＬにより制御され、増幅トランジスタ６０５が出力する映像信号を信号出力線６２３に出力する。リセットトランジスタ６０４はリセットパルスφＲＥＳにより制御され、フローティングディフュージョン領域６０８に転送された信号電荷をリセットする。

このような画素３０３の構成により、第１映像信号用の蓄積期間に生じた信号電荷を電荷保持部６０７Ａへ転送して保持しつつ、第２映像信号用の蓄積期間に生じた信号電荷を電荷保持部６０７Ｂへ転送して保持することができる。すなわち、蓄積期間が異なる２つの映像信号用の信号電荷を、２つの電荷保持部６０７Ａ、６０７Ｂにおいて独立に保持することができる。

更に、図４に示す画素３０３は、オーバーフロートランジスタ６０３を備えている。オーバーフロートランジスタ６０３は転送パルスφＴＸ３により制御され、フォトダイオード６００に蓄積されている信号電荷を電源線６２１を介して排出する。これにより、フォトダイオード６００には、オーバーフロートランジスタ６０３がオフである間にだけ信号電荷が蓄積されるため、フォトダイオード６００における信号電荷の蓄積期間をより自由に制御することができる。

以後の説明では、電荷保持部６０７Ａに保持した信号電荷に基づく第１映像信号を「ｐｉｃｔｕｒｅＡ」、電荷保持部６０７Ｂに保持した信号電荷に基づく第２映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢと表記することがある。また、映像信号ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢに基づいて得られた画像を、それぞれｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することもある。

図５は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。

図６は、デュアル映像モードにおけるプログラムＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。静止画（ｐｉｃｔｕｒｅＡ）のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、動画（ｐｉｃｔｕｒｅＢ）のＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図６において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図６を用いて説明する。本実施形態の撮像装置は静止画と動画とを同時に撮影するため、プログラムＡＥ線図は同じ被写体輝度に対して同じ絞り値になるように設定されている。

まず、Ｂｖ１４のときは、静止画では、ＩＳＯ感度はＩＳＯ１００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００秒、絞り値Ｆ１１と定まる。一方、動画では、ＩＳＯ感度はＩＳＯ１に設定される。動画の等Ｂｖ線は、動画のプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。

Ｂｖ１１のときは、静止画では、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００秒、絞り値Ｆ１１と定まる。一方、動画では、ＩＳＯ感度はＩＳＯ１２に設定される。動画の等Ｂｖ線は、動画のプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。

Ｂｖ７のときは、静止画では、ＩＳＯ感度はＩＳＯ２００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、動画では、ＩＳＯ感度はＩＳＯ１２に設定される。動画の等Ｂｖ線は、動画のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

Ｂｖ６のときは、静止画では、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、動画では、ＩＳＯ感度はＩＳＯ２５に設定される。動画の等Ｂｖ線は、動画のプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

以降、輝度が下がるにつれて、静止画、動画ともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲において静止画は１／１０００秒以上のシャッタースピードを保ち、動画は全輝度範囲で１／６０秒のシャッタースピードを保っている。これにより、静止画ではストップモーション効果を得つつ、動画ではジャーキネスの抑制された高品位な動画を得ることができる。

ところで、同じ絞り値で同時に撮影される静止画と動画とは、ＩＳＯ感度が異なるように制御されるが、静止画が適正露出になるように露出制御を行うと、動画は飽和してしまい適正露出とならない。そこで本発明の撮像装置では、動画のフレームレートに相当するシャッタースピード１／６０秒の間で均等の時間間隔で短い蓄積をＮｐ（Ｎｐ＞１）回加算して動画を生成することにより、実質的にＩＳＯ感度が小さくなるようにしている。

本実施形態では、動画のシャッタースピード１／６０秒を動画の蓄積期間の長さとし、静止画のシャッタースピード１／１０００秒を静止画の蓄積期間の長さとする。そして、動画の複数の蓄積時間を合計した長さが静止画の１回の蓄積期間の長さと同じになるように制御される。すなわち、動画のＮｐ（Ｎｐ＞１）回の短い蓄積期間中に撮像素子１８４の信号保持部５０７に加算して生成された動画の全露光時間は静止画の露光時間と同じで、同じ撮影周期に撮影された静止画と同じＩＳＯ感度で制御するようにしている。

例えば輝度Ｂｖ７のとき、シャッタースピード１／６０秒の周期中に１６回に分けて配置された蓄積期間に生じた信号電荷を加算して動画を生成する場合、動画を生成するための１回の蓄積時間は１／１６０００秒に設定される。これにより、静止画のＩＳＯ２００と同様のＩＳＯ制御が行われる。

図７は、静止画と動画とを同時に撮影するデュアル映像モードにおける撮影動作のフローチャートである。本実施形態の撮像装置は、静止画と動画とを同時に撮影する際に、滑らかな動画が撮影できる撮影モード、及びＣＭＯＳ型撮像素子で一般的に生じるローリング歪みが発生しない撮影モードのいずれかで撮影を行うことができる。そこで、本実施形態では、静止画のシャッタースピードから滑らかな動画が撮影できる第１の撮影モードか、ローリング歪みが発生しない動画が撮影できる第２の撮影モードかを選択するようにしている。以下、図７のフローチャートを用いて、デュアル映像モードにおける撮影動作を説明する。

まず、ステップＳ５０１において、撮像装置の制御手段であるシステム制御ＣＰＵ１７８は、撮影者により設定された動画・静止画撮影モード（以下、単に「撮影モード」という）を確認する。システム制御ＣＰＵ１７８は、撮影モードが静止画と動画とを同時撮影するデュアル映像モードであることを確認すると、ステップＳ５０２へと移行する。

次いで、ステップＳ５０２において、システム制御ＣＰＵ１７８は、設定された動画の撮影周期を確認する。

次いで、ステップＳ５０３において、システム制御ＣＰＵ１７８は、撮影者により設定された静止画のシャッタースピード（静止画シャッタースピード）を確認する。

次いで、ステップＳ５０４において、システム制御ＣＰＵ１７８は、設定された静止画のシャッタースピードが所定値よりも速いかどうかを判定する。静止画のシャッタースピードが、動きの速い被写体に対してストップモーション効果のある画像を得るために所定のシャッタースピードＴｔｈよりも速いシャッタースピードに設定されたと判定された場合（ｙｅｓ）、ステップＳ５０５へと移行する。ステップＳ５０５において、システム制御ＣＰＵ１７８は、ローリング歪みが発生しない第２の撮影モード（歪み無し動画撮影モード）に撮影モードを設定し、ステップＳ５０７へと移行する。

一方、第１のシャッタースピードが所定のシャッタースピードＴｔｈよりも遅いシャッタースピードに設定されたと判定された場合（ｎｏ）、ステップＳ５０６へと移行する。ステップＳ５０６において、システム制御ＣＰＵ１７８は、滑らかな動画が撮影できる第１の撮影モード（滑らか動画撮影モード）に撮影モードを設定し、ステップＳ５０７へと移行する。

ステップＳ５０５又はステップＳ５０６において撮影モードが設定されると、ステップＳ５０７において、システム制御ＣＰＵ１７８は、設定された撮影モードに応じた撮像素子１８４の制御方法を設定する。第１の撮影モード及び第２の撮影モードにおける撮像素子１８４の制御方法については、後述する。

次いで、ステップＳ５０８において、システム制御ＣＰＵ１７８は、スイッチ入力手段１７９を介して、動画撮影の開始及び停止を行うためのボタンであるスイッチＭＶ１５５の状態を確認し、撮影を開始するかどうかを判定する。スイッチＭＶ１５５で動画の撮影開始が指示されていない場合（ｎｏ）には、ステップＳ５０１に戻り、撮影モードの確認から繰り返す。一方、スイッチＭＶ１５５で動画の撮影開始が指示されている場合（ｙｅｓ）には、ステップＳ５０９へと移行する。

ステップＳ５０９において、システム制御ＣＰＵ１７８は、それ以前に撮像された画像のＡＥ情報と設定された静止画のシャッタースピードとに基づき、撮影光学系１５２の絞り１８１を絞り制御部１８２を介して制御する。

次いで、ステップＳ５１０において、システム制御ＣＰＵ１７８は、タイミング発生部１８９を介して撮像素子１８４を駆動し、撮影を実行する。本実施形態では、静止画と動画とを同時撮影するデュアル映像モードであることより、動画撮影の開始及び停止を行うためのボタンであるスイッチＭＶ１５５によって撮影動作が実行される。撮影動作の実行は、ステップＳ５０７で設定された撮像素子１８４の制御方法に従う。撮像素子１８４の制御方法については、後述する。

次いで、ステップＳ５１１において、システム制御ＣＰＵ１７８は、スイッチ入力手段１７９を介して、動画撮影の開始及び停止を行うためのスイッチＭＶ１５５の状態を確認し、撮影が終了したかどうかを判定する。スイッチＭＶ１５５が撮影状態に設定されている場合（ｎｏ）には、ステップＳ５０９に戻り、撮影を続行する。一方、スイッチＭＶ１５５が撮影停止状態に設定されている場合（ｙｅｓ）には、ステップＳ５１２に移行し、撮影を停止する。

図８は、本実施形態の撮像装置において、滑らかな動画の撮影ができる第１の撮影モードで静止画と動画とを同時に撮影する際の、撮像素子１８４の蓄積及び読み出しタイミングを説明する図である。ここでいう蓄積とは、フォトダイオード６００で発生した電荷を電荷保持部６０７Ａ，６０７Ｂに転送して蓄積する動作である。また、読み出しとは、電荷保持部６０７Ａ，６０７Ｂに保持された電荷に基づく信号を、フローティングディフュージョン領域６０８を介して撮像素子１８４の外部に出力する動作である。

図８には、横軸を時間として、垂直同期信号６５０、水平同期信号６５１、静止画蓄積期間６６１、静止画転送期間６６２、静止画読み出し期間６６５、動画蓄積期間６６３、動画転送期間６６４、動画読み出し期間６６６を示している。ここで、静止画蓄積期間６６１とは、静止画のための信号電荷のフォトダイオード６００への蓄積期間を示している。静止画転送期間６６２とは、静止画のための信号電荷をフォトダイオード６００から電荷保持部６０７Ａに転送する期間を示している。静止画読み出し期間６６５とは、静止画の読み出し期間である。動画蓄積期間６６３とは、動画のための信号電荷のフォトダイオード６００への蓄積期間を示している。動画転送期間６６４とは、動画のための信号電荷をフォトダイオード６００から電荷保持部６０７Ｂに転送する期間を示している。動画読み出し期間６６６とは、動画の読み出し期間である。

本駆動例では、垂直同期信号６５０の１撮影周期の間に静止画と動画とを読み出すようになっている。また、図８には便宜的に１６行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有する。図８では、最終行を第ｍ行としている。

静止画は、垂直同期信号６５０の１周期（時間Ｔｆ）の間に全行同時に実施される１回の蓄積期間（静止画蓄積期間６６１）の間に生じた信号電荷に基づいて生成される。また、動画は、Ｎｐ回（Ｎｐは２以上の整数（Ｎｐ＞１））に分割された蓄積期間（動画蓄積期間６６３）の間にそれぞれ生じた信号電荷を加算した信号電荷に基づいて生成される。１撮影周期の間に行われる動画の蓄積期間の回数Ｎｐは、例えば１６回であり、これら蓄積期間は均等な時間間隔で行われる。垂直同期信号６５０の間隔（時間Ｔｆ）は、１／６０秒であり、第１の撮影モードでは、おおよそ動画のＮｐ回の蓄積期間を行う期間に相当する。静止画の蓄積は、１撮影周期中の動画の読み出し（動画読み出し期間６６６）中に行う。

このようにすることで、静止画と動画とを同時に撮影することが可能である。また、静止画として、撮影者の意図する蓄積期間の短いブレのない画像を取得することが可能である。また、Ｎｐ回の蓄積期間を均等な時間間隔で行うことは、実質的には第１回目の蓄積期間の開始時刻からＮｐ回目の蓄積期間の終了時刻までが１つの長い蓄積期間である。したがって、動画として、ジャーキネスの抑制された滑らかな画像を取得することが可能である。

図８において、静止画の蓄積期間（静止画蓄積期間６６１）は、撮影者によって設定されたシャッタースピードＴ１に相当する時間に設定されている。本駆動例では、シャッタースピードＴ１は、１／５００秒とする。静止画の蓄積期間は、全行同時であり、静止画の第１行目の読み出し（静止画読み出し期間６６５）の開始直前に終了するように設定されている。静止画の蓄積期間の終了時刻は、垂直同期信号６５０から時間Ｔａの経過後の時刻である。時間Ｔａは、垂直同期信号６５０の間隔Ｔｆの半分以下に設定される。静止画の蓄積期間（静止画蓄積期間６６１）の終了時刻は全行同時のため、垂直同期信号６５０に対する静止画の蓄積期間の開始時刻は、静止画のシャッタースピードＴ１に応じて設定されるようになっている。

一方、動画の蓄積期間（動画蓄積期間６６３）は、１撮影周期中に均等な時間間隔で複数回行われる。本駆動例では、各行の読み出し（動画読み出し期間６６６）の開始直前までに１６回に分割された蓄積期間が終了するように時間間隔が設定されている。動画の蓄積期間の時間間隔は、水平同期信号６５１の間隔Ｔｈの整数倍に設定される。これにより、動画の各行の蓄積タイミングは同じになっている。図８では、動画の蓄積期間の時間間隔は、便宜的に水平同期信号６５１の間隔Ｔｈの２倍になるように図示されている。通常は、動画の蓄積期間の時間間隔は、撮像素子１８４の行数をｍ、１撮影周期中の動画の蓄積回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号６５１の間隔Ｔｈを掛けた値に設定される。

また、動画の１回の蓄積期間の長さは、Ｔ１／Ｎｐ（＝１／８０００秒）に設定される。動画の各行の蓄積期間の開始時刻は、垂直同期信号６５０に対して固定である。動画の１回の蓄積期間の終了時刻は、撮影者によって設定された静止画のシャッタースピードＴ１に応じて、垂直同期信号６５０に対して設定されるようになっている。

なお、図８では、静止画の蓄積期間の長さ（Ｔ１）が長いため、１撮影周期中における動画の蓄積期間の回数Ｎｐは１４回になっている。そのため、１撮影周期で生成された動画は、同一撮影周期で生成された静止画を用いて補正を行っている。

また、本実施形態において全行で同時というときの同時性は、実用上問題のない程度であればよい。例えば、複数の画素３０３を完全に同時に駆動すると駆動回路に負荷がかかるため、この負荷を軽減するために一部の画素３０３で小さな時間差を設ける構成としてもよい。

次に、図９のタイミングチャートを用いて、図８の時刻ｔ１から開始する撮影周期における撮像素子１８４の制御方法の一例を説明する。図９において垂直同期信号φＶが立ち上がる時刻ｔ１は、図８において垂直同期信号６５０が立ち上がる時刻ｔ１と同じである。

ここでは、撮像素子１８４が垂直方向にｍ行の画素列を有している場合を想定する。図９には、これらのうち第１行と最終行の第ｍ行のタイミングを示している。図９において、信号φＶは垂直同期信号であり、信号φＨは水平同期信号である。

まず、時刻ｔ１において、タイミング発生部１８９から供給される垂直同期信号φＶ及び水平同期信号φＨがローレベルからハイレベルへと遷移する。

次いで、垂直同期信号φＶがハイレベルになるのに同期した時刻ｔ２において、垂直走査回路３０７から供給される第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、垂直走査回路３０７から供給される第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ３において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、直前の撮影周期（時刻ｔ１に終了する撮影周期）中に電荷保持部６０７Ｂに蓄積された動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて動画の第１行の映像信号として外部に出力される（図８の動画読み出し期間６６６に相当）。

次いで、時刻ｔ４において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）及び全行の転送パルスφＴＸ２Ａ（φＴＸ２Ａ（１），φＴＸ２Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂ及び全行の画素３０３の転送トランジスタ６０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（φＲＥＳ（１），φＲＥＳ（ｍ））はハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、全行の画素３０３のフローティングディフュージョン領域６０８、全行の画素３０３の電荷保持部６０７Ａ、第１行の画素３０３の電荷保持部６０７Ｂは、リセットされる。このとき、第１行の選択パルスφＳＥＬ（１）もローレベルに遷移しており、第１行の画素３０３は非選択の状態に戻っている。

次いで、時刻ｔ５において、垂直走査回路３０７から供給される全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３のオーバーフロートランジスタ６０３がオフとなり、全行のフォトダイオード６００のリセットが解除され、全行のフォトダイオード６００で動画の信号電荷の蓄積が開始される（図８の動画蓄積期間６６３に相当）。

ここで、垂直同期信号φＶがハイレベルになる時刻ｔ１と全行の画素３０３のフォトダイオード６００で動画の信号電荷の蓄積が開始する時刻ｔ５との時間間隔Ｔｂは、固定である。

なお、図９の時刻ｔ５での動画の第１行の蓄積期間の開始は、図８の時刻ｔ１からの撮影周期における動画の蓄積期間の開始を表している。また、時刻ｔ５での動画の第ｍ行の蓄積期間の開始は、図８の時刻ｔ１より前の撮影周期における動画の蓄積期間の開始を表している。

次いで、時刻ｔ７の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ｂ（φＴＸ１Ｂ（１），φＴＸ１Ｂ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ｂがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が電荷保持部６０７Ｂに転送される（図８の動画転送期間６６４に相当）。

次いで、時刻ｔ７において、全行の転送パルスφＴＸ１Ｂ（φＴＸ１Ｂ（１），φＴＸ１Ｂ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ｂがオフとなり、フォトダイオード６００に蓄積された信号電荷の電荷保持部６０７Ｂへの転送が終了する。

時刻ｔ５から時刻ｔ７までの時間が、動画のためのＮｐ回の蓄積期間のそれぞれにおける蓄積時間（＝Ｔ１／１６）に相当する。

同じく時刻ｔ７において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３のオーバーフロートランジスタ６０３がオンとなり、全行の画素３０３のフォトダイオード６００がリセット状態になる。

時刻ｔ１から始まる撮影周期における動画の第１回目の蓄積期間の開始の時刻ｔ５から水平同期信号φＨの間隔Ｔｈの２倍の時間が経過した時刻ｔ８に、動画の第２回目の蓄積期間が開始される。

時刻ｔ８から始まり時刻ｔ１０に終了する動画の第２回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

ここで、動画の第１回目及び第２回目の蓄積期間の動作において、これら２回の蓄積期間の間に生じた動画の信号電荷は、電荷保持部６０７Ｂにおいて加算して保持される。

次いで、時刻ｔ１０から時刻ｔ１１の間に、前述の時刻ｔ５から時刻ｔ７までの期間と同様にして、動画の第３回目から第５回目の蓄積期間が行われる。

次いで、時刻ｔ１１から、動画の第６回目の蓄積期間が開始される。ここで、動画の第６回目の蓄積期間の開始の時刻ｔ１１は、垂直同期信号φＶがハイレベルになる時刻ｔ１から時間Ｔ（＝６×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。ここで、Ｔｈは水平同期信号φＨの時間間隔であり、Ｔｂは垂直同期信号φＶがハイレベルになる時刻ｔ１とフォトダイオード６００で動画の第１回目の蓄積期間が開始される時刻ｔ５との時間間隔である。

時刻ｔ１１から始まり時刻ｔ１３に終了する動画の第６回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様なので説明は省略する。

次いで、時刻ｔ１４から、静止画の蓄積期間が開始される。本駆動例では、１撮影周期中における静止画の蓄積期間の回数は１回である。垂直同期信号φＶに対する静止画の読み出し期間（図８の静止画読み出し期間６６５に相当）の開始時刻は固定されている。そのため、垂直同期信号φＶに対する静止画の蓄積期間の終了時刻は、開始時刻から時間Ｔａの経過後の時刻に固定され、静止画の蓄積期間は時刻ｔ１９に終了するように設定されている。ここで、時刻ｔ１から時刻ｔ１９の間の時間間隔が、図８の時間Ｔａに相当する。撮影者によって設定された静止画のシャッタースピードＴ１に基づいて、静止画の蓄積期間の開始の時間が制御される。

静止画の蓄積期間の終了の時刻ｔ１９より時間Ｔ１だけ遡った時刻ｔ１４において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３のオーバーフロートランジスタ６０３がオフとなり、全行の画素３０３のフォトダイオード６００のリセットが解除される。そして、全行の画素３０３のフォトダイオード６００において、静止画の信号電荷の蓄積期間が開始される（図８の静止画蓄積期間６６１に相当）。

また、静止画の信号電荷の蓄積期間中に、時刻ｔ１に終了する１つ前の撮影周期の第ｍ行の動画の読み出し期間が終了する。

まず、時刻ｔ１５において、垂直走査回路３０７から供給される第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、垂直走査回路３０７から供給される第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ１６において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、時刻ｔ１に終了する１つ前の撮影周期中に電荷保持部６０７Ｂに蓄積された動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて動画の第ｍ行の映像信号として外部に出力される（図８の動画読み出し期間６６６に相当）。

これにより、時刻ｔ１に終了する１つ前の撮影周期の動画の読み出しが完了し、次に、時刻ｔ１から開始する撮影周期の静止画の読み出しが行われる（図８の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ１７において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなる。このとき既に第ｍ行のリセットパルスφＲＥＳ（ｍ）はハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、第ｍ行の画素３０３のフローティングディフュージョン領域６０８、第ｍ行の画素３０３の電荷保持部６０７Ｂは、リセットされる。このとき、第ｍ行の選択パルスφＳＥＬ（ｍ）もローレベルに遷移しており、第ｍ行の画素３０３は非選択の状態に戻っている。

次いで、時刻ｔ１８において、第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルに遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ１９の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が電荷保持部６０７Ａに転送される（図８の静止画転送期間６６２に相当）。

時刻ｔ１９において、全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオフとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷の電荷保持部６０７Ａへの転送が終了する。

時刻ｔ１４から時刻ｔ１９までの時間が、時刻ｔ１から開始する撮影周期における静止画の蓄積時間（Ｔ１）に相当する。本駆動例では、１撮影周期中の静止画の蓄積期間の回数は１回のため、静止画の蓄積時間と蓄積期間に相当する時間とは同じである。

次いで、時刻ｔ２０において、第１行の転送パルスφＴＸ２Ａ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第１行の画素３０３の電荷保持部６０７Ａに蓄積された信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第１行の画素３０３の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて静止画の第１行の映像信号として外部に出力される（図８の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ２１から、動画の第７回目の蓄積期間が開始される。ここで、動画の第７回目の蓄積期間の開始の時刻ｔ２１は、垂直同期信号φＶがハイレベルとなる時刻ｔ１から時間Ｔ（＝（７＋２）×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。本駆動例では、動画の２回の蓄積期間が静止画の蓄積期間（図８の静止画蓄積期間６６１に相当）と重なっている。このため、動画の第７回目の蓄積期間の開始の時刻ｔ２１は、時刻ｔ１に開始する撮影周期の動画の第９回目の蓄積期間の開始の時刻と同等になっている。

時刻ｔ２１から始まり時刻ｔ２３に終了する動画の第７回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

次いで、時刻ｔ２３から時刻ｔ２４の間に、前述の時刻ｔ５から時刻ｔ７までの期間と同様にして、動画の第８回目から第１３回目の蓄積期間が行われる。

次いで、時刻ｔ２４から、時刻ｔ１から開始する撮影周期における動画の最後の第１４回目の蓄積期間が開始される。ここで、動画の第１４回目の蓄積期間の開始の時刻ｔ２４は、垂直同期信号φＶがハイレベルとなる時刻ｔ１から時間Ｔ（＝（１４＋２）×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。

時刻ｔ２４から始まり時刻ｔ２６に終了する動画の第１４回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様なので説明は省略する。本撮影モードにおいて、動画のＮｐ回の蓄積期間を行う期間は、時刻ｔ５から時刻ｔ２６である。

次いで、時刻ｔ２７において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへとする。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ２８において、第ｍ行の転送パルスφＴＸ２Ａ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第ｍ行の画素３０３の電荷保持部６０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第ｍ行の画素３０３の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて静止画の第ｍ行の映像信号として外部に出力される（図８の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ２９において、タイミング発生部１８９から供給される垂直同期信号φＶがローレベルからハイレベルへと遷移し、次の撮影周期が開始される。

以上のように、第１の撮影モードでは、静止画の蓄積期間の終了時刻を垂直同期信号に対して固定とし、１撮影周期中に複数回行われる動画の蓄積期間の開始の時刻は垂直同期信号に対して固定にしている。これにより、同一撮影周期内に静止画と動画とを読み出すことを可能にしている。

これにより、静止画のシャッタースピードＴ１が所定のシャッタースピードＴｔｈよりも遅い場合、１撮影周期中に、蓄積時間が短くブレのない静止画と、蓄積期間が長くジャーキネスの抑制された動画と、を同時に撮影することができる。

図１０は、本実施形態の撮像装置において、ローリング歪みが発生しない動画の撮影ができる第２の撮影モードで静止画と動画とを同時に撮影する際の、撮像素子１８４の蓄積及び読み出しタイミングを説明する図である。ここでいう蓄積とは、フォトダイオード６００で発生した電荷を電荷保持部６０７Ａ，６０７Ｂに転送して蓄積する動作である。また、読み出しとは、電荷保持部６０７Ａ，６０７Ｂに保持された電荷に基づく信号を、フローティングディフュージョン領域６０８を介して撮像素子１８４の外部に出力する動作である。

図１０には、横軸を時間として、垂直同期信号６５０、水平同期信号６５１、静止画蓄積期間６６１、静止画転送期間６６２、静止画読み出し期間６６５、動画蓄積期間６６３、動画転送期間６６４、動画読み出し期間６６６を示している。本駆動例では、垂直同期信号６５０の１撮影周期の間に静止画と動画とを読み出すようになっている。また、図１０では便宜的に１６行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有する。図１０では、最終行を第ｍ行としている。

静止画は、垂直同期信号６５０の１周期（時間Ｔｆ）の間に全行同時に実施される１回の蓄積期間（静止画蓄積期間６６１）の間に生じた信号電荷に基づいて生成される。また、動画は、Ｎｐ回（Ｎｐは２以上の整数（Ｎｐ＞１））に分割された蓄積期間（動画蓄積期間６６３）の間にそれぞれ生じた信号電荷を加算した信号電荷に基づいて生成される。１撮影周期の間に行われる動画の蓄積期間の回数Ｎｐは、例えば８回であり、静止画の読み出し期間（静止画読み出し期間６６５）中に全行において均等な時間間隔で行われる。垂直同期信号６５０の間隔（時間Ｔｆ）は、動画のフレームレートに相当し、本駆動例では１／６０秒である。また、静止画の蓄積は、１撮影周期中の動画の読み出し（動画読み出し期間６６６）中に行う。

このようにすることで、静止画と動画とを同時に撮影することが可能である。また、静止画として、撮影者の意図する蓄積時間の短いブレのない画像を取得することが可能である。また、Ｎｐ回の蓄積期間を均等な時間間隔で行うことは、実質的には第１回目の蓄積期間の開始時刻からＮｐ回目の蓄積期間の終了時刻までが１つの長い蓄積期間である。したがって、動画として、ジャーキネスが抑制されローリング歪みのない画像を取得することが可能である。

図１０の時刻ｔ５１に終了する１つ前の撮影周期において、静止画の蓄積期間（静止画蓄積期間６６１）は、撮影者によって設定されたシャッタースピードＴ２に相当する時間に設定されている。本駆動例では、シャッタースピードＴ２は、１／２０００秒とする。静止画の蓄積期間の中心時刻は全行同じ（垂直同期信号６５０から時間Ｔｃの経過後の時刻）であり、静止画の第１行の読み出し期間（静止画読み出し期間６６５）の前に蓄積期間が終了するように設定されている。ここで、静止画の蓄積期間の中心時刻までの時間Ｔｃは全行同じのため、静止画のシャッタースピードＴ２に応じて、垂直同期信号６５０に対する静止画の蓄積期間の開始時刻と終了時刻とが設定されるようになっている。静止画の蓄積期間の中心時刻までの時間Ｔｃは、動画の読み出し期間（動画読み出し期間６６６）の中心になるように設定され、垂直同期信号６５０の間隔に相当する時間Ｔｆの約１／４に設定される。

一方、動画の蓄積期間（動画蓄積期間６６３）は、静止画の読み出し期間（静止画読み出し期間６６５）中に均等な時間間隔で複数回行われる。本駆動例では、動画の第１行の読み出し期間（動画読み出し期間６６６）の開始直前までに８回に分割された蓄積期間が終了するように時間間隔が設定されている。動画の蓄積期間の時間間隔は、水平同期信号６５１の間隔Ｔｈの整数倍に設定される。これにより、動画の全行のＮｐ回の蓄積期間が同じになっている。図１０では、動画の蓄積期間の時間間隔は、便宜的に水平同期信号６５１の間隔Ｔｈの２倍になるように図示されている。通常は、動画の蓄積期間の時間間隔は、撮像素子１８４の行数をｍ、１撮影周期中の動画の蓄積回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号６５１の間隔Ｔｈを掛けた値に設定される。

また、動画の１回の蓄積期間の長さは、Ｔ２／Ｎｐ（＝１／１６０００秒）に設定される。動画の全行の蓄積期間の開始時刻は、垂直同期信号６５０に対して固定である。動画の１回の蓄積期間の終了時刻は、撮影者によって設定された静止画のシャッタースピードＴ２に応じて、垂直同期信号６５０に対して設定されるようになっている。

時刻ｔ５１に終了する１つ前の撮影周期で生成された動画は、この撮影周期で生成された静止画を用いて欠落時間の補正を行うのも有効である。

このように、動画の蓄積期間は、静止画の読み出し期間（静止画読み出し期間６６５）中に全行同じタイミングで行うことにより、ローリング歪みが発生しない動画を取得することができるようになっている。

次に、図１１のタイミングチャートを用いて、図１０の時刻ｔ５１から開始する撮影周期における撮像素子１８４の制御方法の一例を説明する。図１１において垂直同期信号φＶが立ち上がる時刻ｔ５１は、図１０において垂直同期信号６５０が立ち上がる時刻ｔ５１と同じである。

ここでは、撮像素子１８４が垂直方向にｍ行の画素列を有している場合を想定する。図１１には、これらのうち第１行と最終行の第ｍ行のタイミングを示している。図１１において、信号φＶは垂直同期信号であり、信号φＨは水平同期信号である。

まず、時刻ｔ５１において、タイミング発生部１８９から供給される垂直同期信号φＶ及び水平同期信号φＨがローレベルからハイレベルへと遷移する。

次いで、垂直同期信号φＶがハイレベルになるのに同期した時刻ｔ５２において、垂直走査回路３０７から供給される第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、垂直走査回路３０７から供給される第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ５３において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、直前の撮影周期（時刻ｔ５１に終了する撮影周期）中に電荷保持部６０７Ｂに蓄積された動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて動画の第１行の映像信号として外部に出力される（図１０の動画読み出し期間６６６に相当）。

次いで、時刻ｔ５４において、垂直走査回路３０７から供給される第１行の転送パルスφＴＸ２Ｂ（１）及び全行の転送パルスφＴＸ２Ａ（φＴＸ２Ａ（１），φＴＸ２Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ｂ及び全行の画素３０３の転送トランジスタ６０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（φＲＥＳ（１），φＲＥＳ（ｍ））はハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、全行の画素３０３のフローティングディフュージョン領域６０８、全行の画素３０３の電荷保持部６０７Ａ、第１行の画素３０３の電荷保持部６０７Ｂは、リセットされる。このとき、第１行の選択パルスφＳＥＬ（１）もローレベルに遷移しており、第１行の画素３０３は非選択の状態に戻っている。

次いで、時刻ｔ５５から静止画の蓄積期間が実行される。本駆動例では、１撮影周期中の静止画の蓄積期間の回数は１回である。静止画の蓄積期間の中心時刻は全行同じ（垂直同期信号６５０から時間Ｔｃの経過後の時刻）であり、静止画の第１行の読み出し期間（静止画読み出し期間６６５）の前に蓄積が終了するように設定されている。ここで、静止画の蓄積期間の中心時刻までの時間Ｔｃは全行同じのため、撮影者によって設定された静止画のシャッタースピードＴ２に応じて、垂直同期信号６５０に対する静止画の蓄積期間の開始時刻と終了時刻とが設定される。

静止画の蓄積期間の中心時刻である時刻ｔ５６より時間Ｔ２／２だけ遡った時刻ｔ５５において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３のオーバーフロートランジスタ６０３がオフとなり、全行の画素３０３のフォトダイオード６００のリセットが解除される。そして、全行の画素３０３のフォトダイオード６００において、静止画の信号電荷の蓄積期間が開始される（図１０の静止画蓄積期間６６１に相当）。ここで、時刻ｔ５１から時刻ｔ５６までの時間が、図１０の時間Ｔｃに相当する。また、時刻ｔ５１までの撮影周期における動画の第ｍ行の読み出し期間（図１０の動画読み出し期間６６６に相当）が終わる前に、静止画の信号電荷の蓄積が終了するようになっている。

次いで、時刻ｔ５７の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が電荷保持部６０７Ａに転送される（図１０の静止画転送期間６６２に相当）。

次いで、時刻ｔ５７において、全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１），φＴＸ１Ａ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ａがオフとなり、フォトダイオード６００に蓄積された信号電荷の電荷保持部６０７Ａへの転送が終了する。

時刻ｔ５５から時刻ｔ５７までの時間が、図１０の時刻ｔ５１から開始する撮影周期における静止画の蓄積時間（シャッタースピードＴ２）に相当する。本駆動例では１撮影周期中の静止画の蓄積期間の回数は１回であるため、１撮影周期中の静止画の蓄積時間と蓄積期間とは同じである。

次いで、時刻ｔ５８において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ５９において、垂直走査回路３０７から供給される第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなり、直前の撮影周期（図１０の時刻ｔ５１までの撮影周期）中に電荷保持部６０７Ｂに蓄積された動画の信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて動画の第ｍ行の映像信号として外部に出力される（図１０の動画読み出し期間６６６に相当）。

次いで、時刻ｔ６０において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルとへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ｂがオンとなる。このとき既に第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルに遷移しており、リセットトランジスタ６０４はオン状態になっている。これにより、第ｍ行の画素３０３のフローティングディフュージョン領域６０８、第ｍ行の画素３０３の電荷保持部６０７Ｂは、リセットされる。このとき、第ｍ行の選択パルスφＳＥＬ（ｍ）もローレベルに遷移しており、第ｍ行の画素３０３は非選択の状態に戻っている。

時刻ｔ５１に終了する１つ前の撮影周期の動画の読み出しが完了すると、時刻ｔ５１から開始する撮影周期の静止画の読み出し（図１０の静止画読み出し期間６６５に相当）が開始される。また、動画の蓄積（図１０の動画蓄積期間６６３に相当）が開始される。

時刻ｔ６１において、第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルへと遷移する。これにより、第１行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の選択トランジスタ６０６がオンとなり、第１行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ６２において、第１行の転送パルスφＴＸ２Ａ（１）がローレベルからハイレベルへと遷移する。これにより、第１行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第１行の画素３０３の電荷保持部６０７Ａに蓄積された信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第１行の画素３０３の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて静止画の第１行の映像信号として外部に出力される（図１０の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ６３において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３のオーバーフロートランジスタ６０３がオフとなり、全行の画素３０３のフォトダイオード６００のリセットが解除され、フォトダイオード６００での信号電荷の蓄積が開始される（図１０の動画蓄積期間６６３に相当）。

ここで、垂直同期信号φＶがハイレベルになる時刻ｔ５１と全行の画素３０３のフォトダイオード６００で信号電荷の蓄積が開始する時刻ｔ６３との時間間隔Ｔｂは固定である。

次いで、時刻ｔ６４の直前に、垂直走査回路３０７から供給される全行の転送パルスφＴＸ１Ｂ（φＴＸ１Ｂ（１），φＴＸ１Ｂ（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ｂがオンとなり、全行の画素３０３のフォトダイオード６００に蓄積された信号電荷が電荷保持部６０７Ｂに転送される（図１０の動画転送期間６６４に相当）。

次いで、時刻ｔ６４において、全行の転送パルスφＴＸ１Ｂ（φＴＸ１Ｂ（１），φＴＸ１Ｂ（ｍ））がハイレベルからローレベルへと遷移する。これにより、全行の画素３０３の転送トランジスタ６０１Ｂがオフとなり、フォトダイオード６００に蓄積された信号電荷の電荷保持部６０７Ｂへの転送が終了する。

時刻ｔ６３から時刻ｔ６４までの時間が、動画のための１回の蓄積期間における蓄積時間（＝Ｔ２／８）に相当する。

同じく時刻ｔ６４において、全行の転送パルスφＴＸ３（φＴＸ３（１），φＴＸ３（ｍ））がローレベルからハイレベルへと遷移する。これにより、全行の画素３０３のオーバーフロートランジスタ６０３がオンとなり、全行の画素３０３のフォトダイオード６００がリセット状態になる。

時刻ｔ５１から始まる撮影周期における動画の第１回目の蓄積期間の開始の時刻ｔ６３から水平同期信号φＨの間隔Ｔｈの２倍の時間が経過した時刻ｔ６５に、動画の第２回目の蓄積期間が開始される。

時刻ｔ６５から始まり時刻ｔ６６に終了する動画の第２回目の蓄積期間の動作は、前述の時刻ｔ６３から始まり時刻ｔ６４に終了する動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

ここで、動画の第１回目及び第２回目の蓄積期間の動作において、これら２回の蓄積期間の間に生じた動画のための信号電荷は、電荷保持部６０７Ｂにおいて加算して保持される。

次いで、時刻ｔ６６から時刻ｔ６７の間に、前述の時刻ｔ６３から時刻ｔ６４までの期間と同様にして、動画の第３回目から第７回目の蓄積期間が行われる。

次いで、時刻ｔ６７から、１撮影周期中の最後となる動画の第８回目の蓄積期間が開始される。ここで動画の第８回目の蓄積期間の開始の時刻ｔ６７は、垂直同期信号φＶがハイレベルになる時刻ｔ５１から時間Ｔ（＝８×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。ここで、Ｔｈは水平同期信号φＨの時間間隔であり、Ｔｂは垂直同期信号φＶがハイレベルになる時刻ｔ５１とフォトダイオード６００で動画の第１回目の蓄積期間が開始される時刻ｔ６３との時間間隔である。

時刻ｔ６７から始まり時刻ｔ６８に終了する動画の第８回目の蓄積期間の動作は、前述の時刻ｔ６３から始まり時刻ｔ６４に終了する動画の第１回目の蓄積期間の動作と同様なので、説明は省略する。

時刻ｔ６３から時刻ｔ６８までが本撮影モードにおける動画のための信号電荷を蓄積するための期間であり、静止画の読み出し期間（時刻ｔ６２から時刻ｔ７０までの期間）中に行われる。

動画の蓄積期間が終了している時刻ｔ６９において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルへと遷移する。これにより、第ｍ行の画素３０３のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の選択トランジスタ６０６がオンとなり、第ｍ行の画素３０３からの映像信号の読み出しが可能となる。

次いで、時刻ｔ７０において、第ｍ行の転送パルスφＴＸ２Ａ（ｍ）がローレベルからハイレベルへと遷移する。これにより、第ｍ行の画素３０３の転送トランジスタ６０２Ａがオンとなり、第ｍ行の画素３０３の電荷保持部６０７Ａに蓄積された信号電荷がフローティングディフュージョン領域６０８に転送される。すると、フローティングディフュージョン領域６０８の電位の変化に応じた信号が、第ｍ行の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に読み出される。信号出力線６２３に読み出された信号は、不図示の読み出し回路に供給されて静止画の第ｍ行の映像信号として外部に出力される（図１０の静止画読み出し期間６６５に相当）。

次いで、時刻ｔ７１において、タイミング発生部１８９から供給される垂直同期信号φＶがローレベルからハイレベルへと遷移し、次の撮影周期が開始される。

このように、第２の撮影モードでは、動画の蓄積期間は、静止画の読み出し期間（静止画読み出し期間６６５）中に全行同じタイミングで行う。これにより、ローリング歪みが発生しない動画を取得することができる。また、静止画の蓄積期間に対して動画の蓄積期間が長くなるようにしているため、ジャーキネスの抑制された画像を取得することができる。

また、本実施形態によれば、ストップモーション効果が得られるｐｉｃｔｕｒｅＡと、ジャーキネスを抑制したｐｉｃｔｕｒｅＢとを同時に取得することができる。このような特性の異なる２つの動画に対して、第１実施形態で示したような画像の提示方法を用いることで、単一の撮像素子１８４を用いて複数の映像を同時に撮影し鑑賞する際に、動画／静止画のそれぞれの鑑賞に適した画像を提供することができる。

図１２は、撮像素子１８４に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が、図１（ｂ）の状態から時計方向に９０度回動した位置にあるので、デュアル映像モードでのｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのシャッタースピード４９１，４９２及びＦナンバー４９３が表示されている。

デジタルスチルモーションカメラの表示部１５３上では、再生ボタン１６１が操作されたときに、例えば図１３に示すように、静止画「ｐｉｃｔｕｒｅＡ」４９６と動画「ｐｉｃｔｕｒｅＢ」４９７の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。

図１４は、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを含むデータファイルの画像再生装置における再生方法を説明する図である。画像再生装置としては、本実施形態で説明した撮像装置１００が有する画像再生装置のみならず、タブレット端末、パーソナルコンピュータ、テレビモニタなどを活用することができる。タブレット端末、パーソナルコンピュータ、テレビモニタ等の装置には、ＭＰ４ファイル等の動画ファイルを再生するための構成（ＣＰＵ、復調部、表示部など）が設けられており、画像再生装置として動作する。本実施形態の撮像装置１００では、画像再生部としての機能は、主にシステム制御ＣＰＵ１７８が実施する。

ここで、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図において、フレーム群５８１は、ＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルには、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。

動画の再生をスタートすると、ｐｉｃｔｕｒｅＢのフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。ｐｉｃｔｕｒｅＢは、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はジャーキネスの抑制された高品位なものである。なお、本明細書では、撮影時のフレームレート以上のフレームレートで動画の再生を行う場合の動画ファイルの再生モードを、時間に応じて提示画像を変化する提示モードと表現することがある。

ここで、ｐｉｃｔｕｒｅＢの動画の提示中に、使用者から再生モードの切り替え指示があった場合を想定する。例えば、フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にｐｉｃｔｕｒｅＢに対応するｐｉｃｔｕｒｅＡのデータファイルから同一タイムコードのフレーム５８２が検索され、表示される。ｐｉｃｔｕｒｅＡは、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積時間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

ここで、印刷の指示を行うと、ｐｉｃｔｕｒｅＡのフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、ｐｉｃｔｕｒｅＡを反映したストップモーション効果がある迫力のあるものとなる。

使用者が一時停止を解除すると、自動的にｐｉｃｔｕｒｅＢのフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はジャーキネスの抑制された高品位なものである。

なお、図１４ではｐｉｃｔｕｒｅＢの再生を一時停止したときにｐｉｃｔｕｒｅＡのフレーム提示に遷移したが、ｐｉｃｔｕｒｅＢをコマ送り再生にしたときにｐｉｃｔｕｒｅＡのフレーム提示に遷移してもよい。本明細書では、一時停止やコマ送り再生を行う場合の動画ファイルの再生モードを、時間に応じて提示画像を変化しない提示モードと表現することがある。或いは、一定以上フレームレートを下げて連続的に一コマごと画像を確認しながら再生を行うようなモードにしたときにｐｉｃｔｕｒｅＡのフレーム提示に遷移してもよい。すなわち、通常の再生フレームレート（撮影時のフレームレート）よりもコマの送り速度が十分に小さい場合は、提示モードの切り替え指示の有無にかかわらずｐｉｃｔｕｒｅＡを提示すると都合がよい。

再生画像に現れる上記のような効果の違いは、時間に応じて提示画像を変化するような提示と、時間に応じて提示画像を変化しない提示（コマ送り再生も含む）という、画像の提示方法の違いによって生じていると考えられる。つまり、ジャーキネスの抑制された映像に対する要求とストップモーション効果の高い映像に対する要求という、相反する要求のどちらが重要であるかという提示条件によって異なっている。

本実施形態では、撮像装置での画像取得の特長に鑑みて、時間に応じて提示画像を変化するような提示（動提示）においては、相対的に蓄積時間が長い画素からの信号に基づく画像を提示する。一方、時間に応じて提示画像を変化しないような提示（静止提示）においては、相対的に蓄積時間が短い画素からの信号に基づく画像を提示する。これにより、ジャーキネスの抑制された映像とストップモーション効果の高い映像という、相反する要求に応じた映像の提供を可能にしている。この効果は非常に大きいといえる。本実施形態に示したような画像の提示方法を用いることで、単一の撮像素子を用いて複数の映像を同時に撮影し鑑賞する際に、動画／静止画の双方の鑑賞に適した画像を取得し再生することができる。

以上のように、本実施形態の制御手段（システム制御ＣＰＵ１７８、タイミング発生部１８９）は、静止画と動画を同時に撮影するための、第１の撮影モード及び第２の撮影モードを有している。第１の撮影モードでは、１撮影周期中に、第１の蓄積期間を挟んで複数の第２の蓄積期間を設けることで、複数の第２の蓄積期間を１撮影周期中に分散させて、よりジャーキネスの抑制された映像を得ることができる。他方、第２の撮影モードでは、１撮影周期中に、第１の蓄積期間を挟まないで複数の第２の蓄積期間を設けることで、１撮影周期中における蓄積期間を撮像素子の行間で同じにして、ローリング歪みを抑えることができる。

特に、第２の撮影モードでは、複数の第２の蓄積期間を、撮像素子のいずれかの行の第１の映像信号の読み出し期間中に設けるようにしている。これにより、蓄積期間が異なる複数の映像を同時に撮影しつつ、よりジャーキネスを抑えたローリング歪みのない映像を撮影することができるという従来にない効果を得ることができる。なお、第２の撮影モードでは、複数の第２の蓄積期間を、いずれかの行の第１の映像信号の読み出し期間中に設ける代わりに、第１の映像信号の信号電荷の蓄積及び転送期間を、撮像素子のいずれかの行の第２の映像信号の読み出し期間中に設けてもよい。

図８及び図１０では、全行の動画の蓄積期間の開始又は終了タイミングを、垂直同期信号６５０と同期させて制御した。しかし、ジャーキネスのない滑らかな動画を撮影する第１の撮影モードでは、図１５に示すように、各行の動画の蓄積期間の開始又は終了タイミングを、垂直同期信号の代わりに、各行の基準信号である水平同期信号６５１と同期させて制御するようにしてもよい。この場合でも、ジャーキネスのない滑らかな動画を撮影することができる。

また、図８では、複数の第２の蓄積期間の最初の蓄積期間が撮影周期と共に開始し、複数の第２の蓄積期間の最後の蓄積期間が撮影周期と共に終了するようにして、ジャーキネスを抑えた滑らかな動画を撮影できるようにした。しかし、ジャーキネスのない滑らかな動画を撮影する第１の撮影モードは、必ずしもこのような制御方法に限定されない。複数の第２の蓄積期間の開始及び終了のタイミングは、複数の第２の蓄積期間が１撮影周期中に分散して設けられるように制御されていれば、条件に応じて自由に設定可能である。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は一例を示したものであり、本発明を適用可能な撮像装置はこのような構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像装置
１７８…システム制御ＣＰＵ
１８４…撮像素子
１８７，１８８…デジタル信号処理部
３０３…画素
６００…フォトダイオード（光電変換部）

Claims (12)

1. 光電変換部、第１の電荷保持部、及び第２の電荷保持部を含む画素が行列状に配置された撮像素子と、
   撮影周期中の第１の蓄積期間において前記光電変換部に生じた信号電荷を前記第１の電荷保持部へ転送して得られる第１の映像信号、及び、前記撮影周期中の複数の第２の蓄積期間において前記光電変換部に生じた信号電荷を前記第２の電荷保持部へ転送及び加算して得られる第２の映像信号、を読み出すように前記撮像素子を制御する制御手段と、
   を備えた撮像装置であって、
   前記制御手段は、前記撮影周期中に、前記第１の蓄積期間を挟んで前記複数の第２の蓄積期間を設ける第１の撮影モードと、前記撮影周期中に、前記第１の蓄積期間を挟まないで前記複数の第２の蓄積期間を設ける第２の撮影モードと、を有し、前記第２の撮影モードでは、前記複数の第２の蓄積期間を、前記撮像素子のいずれかの行の前記第１の映像信号の読み出し期間中に設ける
   ことを特徴とする撮像装置。
2. 光電変換部、第１の電荷保持部、及び第２の電荷保持部を含む画素が行列状に配置された撮像素子と、
   撮影周期中の第１の蓄積期間において前記光電変換部に生じた第１の信号電荷を前記第１の電荷保持部へ転送して得られる第１の映像信号、及び、前記撮影周期中の複数の第２の蓄積期間において前記光電変換部に生じた第２の信号電荷を前記第２の電荷保持部へ転送及び加算して得られる第２の映像信号、を読み出すように前記撮像素子を制御する制御手段と、
   を備えた撮像装置であって、
   前記制御手段は、前記撮影周期中に、前記第１の蓄積期間を挟んで前記複数の第２の蓄積期間を設ける第１の撮影モードと、前記撮影周期中に、前記第１の蓄積期間を挟まないで前記複数の第２の蓄積期間を設ける第２の撮影モードと、を有し、前記第２の撮影モードでは、前記第１の信号電荷の蓄積期間及び転送期間を、前記撮像素子のいずれかの行の前記第２の映像信号の読み出し期間中に設ける
   ことを特徴とする撮像装置。
3. 前記第１の映像信号に基づいて静止画を生成し、前記第２の映像信号に基づいて動画を生成する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記撮像素子の行間で前記第１の蓄積期間が同じになるように前記撮像素子を制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記撮像素子の行間で前記複数の第２の蓄積期間が同じになるように前記撮像素子を制御する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記第１の蓄積期間の長さに応じて、前記第１の撮影モードと前記第２の撮影モードとを切り替える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記撮影周期中における前記複数の第２の蓄積期間を合計した長さが、前記第１の蓄積期間の長さと同じとなるように前記撮像素子を制御する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記第１の撮影モードでは、前記複数の第２の蓄積期間の最初の蓄積期間が前記撮影周期と共に開始し、前記複数の第２の蓄積期間の最後の蓄積期間が前記撮影周期と共に終了するように前記撮像素子を制御する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、前記撮影周期中における前記第１の蓄積期間が１回となるように前記撮像素子を制御する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 光電変換部、第１の電荷保持部、及び第２の電荷保持部を含む画素が行列状に配置された撮像素子と、
    撮影周期中の第１の蓄積期間において前記光電変換部に生じた信号電荷を前記第１の電荷保持部へ転送して得られる第１の映像信号、及び、前記撮影周期中の複数の第２の蓄積期間において前記光電変換部に生じた信号電荷を前記第２の電荷保持部へ転送及び加算して得られる第２の映像信号、を読み出すように前記撮像素子を制御する制御手段と、
    を備えた撮像装置において、
    前記撮影周期中に、前記第１の蓄積期間を挟んで前記複数の第２の蓄積期間を設ける第１の撮影モードと、前記撮影周期中に、前記第１の蓄積期間を挟まないで前記複数の第２の蓄積期間を設ける第２の撮影モードと、を有し、前記第２の撮影モードでは、前記複数の第２の蓄積期間を、前記撮像素子のいずれかの行の前記第１の映像信号の読み出し期間中に設けるステップを有する
    ことを特徴とする撮像装置の制御方法。
11. 光電変換部、第１の電荷保持部、及び第２の電荷保持部を含む画素が行列状に配置された撮像素子と、
    撮影周期中の第１の蓄積期間において前記光電変換部に生じた信号電荷を前記第１の電荷保持部へ転送して得られる第１の映像信号、及び、前記撮影周期中の複数の第２の蓄積期間において前記光電変換部に生じた信号電荷を前記第２の電荷保持部へ転送及び加算して得られる第２の映像信号、を読み出すように前記撮像素子を制御する制御手段と、
    を備えた撮像装置において、コンピュータを、
    前記撮影周期中に、前記第１の蓄積期間を挟んで前記複数の第２の蓄積期間を設ける第１の撮影モードと、前記撮影周期中に、前記第１の蓄積期間を挟まないで前記複数の第２の蓄積期間を設ける第２の撮影モードと、を有し、前記第２の撮影モードでは、前記複数の第２の蓄積期間を、前記撮像素子のいずれかの行の前記第１の映像信号の読み出し期間中に設ける手段として機能させる
    ことを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。