JP2019180055A - 撮像装置及び画像歪検出方法 - Google Patents

Abstract

【課題】 単一の撮像素子を用いて２つの映像を同時に撮影する際に、画像歪を検出することができる撮像装置を提供すること。【解決手段】 制御部は、撮像素子を制御して、１つの垂直同期期間の中の第１の期間に光電変換部で発生した信号電荷をＮ回（Ｎは１以上の整数）第１の信号保持部に転送して生成される第１の映像信号と、垂直同期期間の中の第２の期間に光電変換部で発生した信号電荷をＭ回（ＭはＮ以上の整数）第２の信号保持部に転送して生成される第２の映像信号とを取得する取得手段と、第１映像信号と第２映像信号とを比較することにより画像歪を検出する画像歪検出手段と、を含むことを特徴とする。【選択図】 図７

Description

本発明は、同時期に露出の異なる複数の画像を取得可能な撮像装置に関し、特に画像歪の検出方法に関するものである。

動画と静止画を一台のカメラで同時期に撮影することにより、撮影シーンを動画として視聴すると同時に、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、受光効率の異なる２つの光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。

特開２０１４−０４８４５９号公報

２つの映像を同時に撮影する撮像素子の露光期間を制御するためには、フォーカルプレーンシャッターなどのメカニカルなシャッター方式は適さないため、電気的に読み出しタイミングを制御できる電子シャッター方式が必要となる。しかしながら、電子シャッターとして代表的なローリングシャッターでは、撮影中に被写体が動いたり、パンニングしたりすると、被写体画像が斜めに歪むいわゆるローリングシャッター歪が発生して画質が低下してしまうという課題がある。

本発明の目的は、単一の撮像素子を用いて２つの映像を同時に撮影する際に、画像歪を検出することができる撮像装置を提供することにある。

前記目的と達成するために、本発明に係る撮像装置は、１つの光電変換部に並列に接続された第１の信号保持部と第２の信号保持部を有する画素要素が行方向および列方向の２次元に配列した撮像素子と、前記撮像素子の駆動を制御するための制御部とを有した撮像装置で、前記制御部は、前記撮像素子を制御して、１つの垂直同期期間の中の第１の期間に光電変換部で発生した信号電荷をＮ回（Ｎは１以上の整数）第１の信号保持部に転送して生成される第１の映像信号と、前記垂直同期期間の中の第２の期間に光電変換部で発生した信号電荷をＭ回（ＭはＮ以上の整数）第２の信号保持部に転送して生成される第２の映像信号とを取得する取得手段と、前記第１映像信号と前記第２映像信号とを比較することにより画像歪を検出する画像歪検出手段とを、含むことを特徴とする。

本発明によれば、単一の撮像素子を用いて２つの映像を同時に撮影する際に、画像歪を検出することができる撮像装置を得ることができる。

本発明の第１実施形態による撮像装置を示す外観図である。 本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。 撮像素子から出力される映像信号を説明するための概略図である。 本発明の第１実施形態による撮像装置における画素の構成例を示す回路図である。 本発明の第１実施形態による撮像装置における読み出し回路の構成を示す回路図である。 本発明の第１実施形態による蓄積及び読み出しタイミングを示すシーケンス図である。 本発明の第１実施形態による撮像装置の撮像シーケンスを説明するためのタイミングチャートである。 動画及び静止画撮影データの各フレームに付加されるタイムコードの一例を示す図である。 動画及び静止画の撮影データのファイル構造の一例を示す図である。 ローリングシャッター方式で撮影を行う際の、蓄積及び読み出しタイミングを示すシーケンス図である。 撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を表す図である。 ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。 ローリングシャッター歪について説明するための図である。 本発明の第１実施形態による撮像装置におけるローリングシャッター歪の検出方法を説明するためのタイミング図である。 本発明の第１実施形態による撮像装置におけるローリングシャッター歪の検出方法で撮影した画像の例を示す図である。 本発明の第２実施形態による撮像装置におけるｐｉｃｔｕｒｅＡのローリングシャッター歪を補正する方法を説明するためのタイミング図である。 本発明の第２実施形態による撮像装置におけるローリングシャッター歪を補正した画像の例を示す図である。 本発明の第２実施形態による撮像装置におけるｐｉｃｔｕｒｅＢのローリングシャッター歪を補正する方法を説明するためのタイミング図である。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

（第１実施形態）
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。

一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積時間を設定することとなる。

単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の２つの映像を同時期に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積時間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。

また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（ハイ・ダイナミックレンジ）技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。

そこで、本実施形態では、まず、単一の撮像素子を用いて撮影条件（露出）が異なる２つの映像を同時に撮影する際に、２つの映像の露光をより適正化する方法について説明する。なお、本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加した撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。

図１は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。

本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。

アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログデジタル変換を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。

表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、画素３０３、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。

画素アレイ３０２には、画素要素として複数の画素３０３が行列状に２次元的に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。

画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素３０３に接続されている。信号出力線３０４Ａには、画素３０３からの信号が出力される。各列の信号出力線３０４Ｂも、当該列に属する画素３０３に接続されている。信号出力線３０４Ｂにも、画素３０３からの信号が出力される。画素アレイ３０２の各列には、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。なお、電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。

垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号の例として、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ，ＴＸｎＢを示している（ｎは、行番号に対応した整数）。

読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、ノイズ除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。

タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号が出力される。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号が出力される。

図４は、撮像素子から出力される映像信号を説明するための概略図である。ここで、画素アレイ３０２に、図４（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図４（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタの色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタが配置されている。

このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図４（ｂ）及び図４（ｃ）に示される出力データ２８２，２８３が得られる。図４（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の信号出力線３０４Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の信号出力線３０４Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の信号出力線３０４Ａからの出力を表している。図４（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の信号出力線３０４Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の信号出力線３０４Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の信号出力線３０４Ｂからの出力を表している。

図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ，３０８Ｂからの２系統の出力が得られ、そのうちの一方が図４（ｂ）に示す出力データ２８２であり、他方が図４（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＡとなる。また、出力データ２８３は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＢとなる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅＡ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することがある。

図５は、画素３０３の構成例を示す回路図である。図５の回路図において、１つの画素３０３は、フォトダイオード５００と、第１の転送トランジスタ５０１Ａと、第１の信号保持部５０７Ａ、第２の転送トランジスタ５０２Ａを備える。さらに、第３の転送トランジスタ５０１Ｂと、第２の信号保持部５０７Ｂと、第４の転送トランジスタ５０２Ｂとを有する。さらに１つの画素は、第５の転送トランジスタ５０３と、リセットトランジスタ５０４と、増幅トランジスタ５０５と、第１の選択トランジスタ５０６Ａと、第２の選択トランジスタ５０６Ｂを有している。また、画素３０３は上記のように一つの画素３０３に対して二つの信号出力線３０４Ａおよび信号出力線３０４Ｂに接続されている。

フォトダイオード５００のアノードはＧＮＤに接続され、フォトダイオード５００のカソードは第１の転送トランジスタ５０１Ａと、第３の転送トランジスタ５０１Ｂのソースに接続されている。第１の転送トランジスタ５０１Ａのドレインは、信号保持部５０７Ａおよび第２の転送トランジスタ５０２Ａのソースに接続されている。第３の転送トランジスタ５０１Ｂのドレインは、信号保持部５０７Ｂおよび第４の転送トランジスタ５０２Ｂのソースに接続されている。第２の転送トランジスタ５０２Ａのドレインおよび第４の転送トランジスタ５０２Ｂのドレインは、リセットトランジスタ５０４のソース及び増幅トランジスタ５０５のゲートに接続されている。増幅トランジスタ５０５のゲートの接続ノードは、フローティングディフュージョン領域を構成する。リセットトランジスタ５０４のドレイン及び増幅トランジスタ５０５のドレインは、電源線に接続されている。画素信号出力部を構成する増幅トランジスタ５０５のソースは、第１の選択トランジスタ５０６Ａと、第２の選択トランジスタ５０６Ｂのドレインに接続されている。第１の選択トランジスタ５０６Ａと、第２の選択トランジスタ５０６Ｂのソースはそれぞれ、信号出力線３０４Ａおよび信号出力線３０４Ｂに接続されている。

また、第１の転送トランジスタ５０１Ａは転送パルスφＴＸ１Ａにて制御され、第２の転送トランジスタ５０２Ａは転送パルスφＴＸ２Ａにて制御される。また、第３の転送トランジスタ５０１Ｂは転送パルスφＴＸ１Ｂにて制御され、第４の転送トランジスタ５０２Ｂは転送パルスφＴＸ２Ｂにて制御される。また、リセットトランジスタ５０４はリセットパルスφＲＥＳで制御され、選択トランジスタ５０６Ａは選択パルスφＳＥＬ１で制御され、選択トランジスタ５０６Ｂは選択パルスφＳＥＬ２で制御される。さらに第５の転送トランジスタ５０３は転送パルスφＯＦＤにて制御される。ここで各制御パルスは、撮像装置のシステム制御ＣＰＵ１７８からの制御信号に基づいて不図示の垂直走査回路から送出される。

本発明の撮像装置を構成する撮像素子１８４は、１つのフォトダイオード５００に対して２つの信号保持部５０７Ａ、５０７Ｂを有しているため、第１の映像信号である静止画と第２の映像信号である動画とを同時に撮影することが可能となっている。そのため、Ｓ／Ｎの低下を伴わずに蓄積期間の異なる二つの映像信号を読み出すことが可能となっている。なお、本実施形態の画素３０３は二つの信号保持部を有する構成としたが、２つ以上の保持部を備える構成としてよい。

フォトダイオード５００は光電変換により電荷を生成及び蓄積する光電変換部である。フローティングディフュージョン領域は、電荷を保持して電圧に変換する電荷電圧変換領域である。

垂直走査回路３０７からハイレベルの転送パルスφＴＸ１Ａが出力されると、第１の転送トランジスタ５０１Ａがオン状態となり、フォトダイオード５００と第１の信号保持部５０７Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸ１Ｂが出力されると、第３の転送トランジスタ５０１Ｂがオン状態となり、フォトダイオード５００と第２の信号保持部５０７Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳが出力されると、リセットトランジスタ５０４がオン状態となり、フォトダイオード５００、フローティングディフュージョン領域等がリセットされる。

図６は、撮像素子１８４の読み出し回路の構成例を示す回路図である。なお、図６には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。

読み出し回路３０８Ａは、図６に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。

読み出し回路３０８Ａは、また、スイッチ４１４，４１５，４１８，４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４，４１５は、容量ＣＴＳＡ，ＣＴＮＡへの画素信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。

スイッチ４１８，４１９は、容量ＣＴＳＡ，ＣＴＮＡに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８，４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０Ｒ、信号ＰＴＮＡ及び信号ＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。

読み出し回路３０８Ｂも、読み出し回路３０８Ａと同様の構成を有している。また、以下の説明における信号ＰＴＮＢ及び信号ＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号であって、読み出し回路３０８Ａでの信号ＰＴＮＡ及び信号ＰＴＳＡと同等の役割を担っている。

図７は本発明の撮像装置において、静止画像に相当するｐｉｃｔｕｒｅＡと動画像に相当するｐｉｃｔｕｒｅＢとを同時に撮影するための、撮像素子１８４における蓄積、読み出しタイミングの一例を説明するための図である。ここでいう蓄積とは、フォトダイオード５００で発生した電荷を信号保持部５０７Ａまたは信号保持部５０７Ｂに転送することにより実行される。また読み出しとは、信号保持部５０７Ａおよび信号保持部５０７Ｂに保持された電荷を、フローティングディフュージョン領域を介して撮像素子１８４の外部に出力することを指している。同図において５５０は垂直同期信号で、本発明の撮像装置は垂直同期信号５５０の１周期中にｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢを各１枚ずつ読み出せるようになっている。

また、図７は便宜的に６行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有し、本実施形態では最終行をｍ行としている。

図７で示す読み出しタイミングとして、ｐｉｃｔｕｒｅＡは垂直同期信号５５０の１周期（時間Ｔｆ）中に全行同時に１回の蓄積（５６１）で生成される。そして、ｐｉｃｔｕｒｅＢは全行Ｎｐ（Ｎｐ＞１）回に分割された蓄積（５６３）を信号保持部５０７Ｂにて加算して生成されることを特徴とする。本実施形態ではｐｉｃｔｕｒｅＢの１周期中に行われる蓄積の回数は８回で、１周期中に均等の時間間隔で蓄積加算が行われる。垂直同期信号５５０の間隔Ｔｆ（垂直同期期間）は動画のフレームレートに相当し、本実施形態では１／６０秒である。

その結果、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢを同時に撮影することが可能で、かつｐｉｃｔｕｒｅＡは撮影者の意図する蓄積時間の短いブレの少ない画像を取得可能で、一方ｐｉｃｔｕｒｅＢはジャーキネスのない滑らかな画像を取得可能となっている。

図７（ａ）を用いて本実施形態における撮像素子１８４における蓄積、読み出しタイミングの一例を説明する。図７（ａ）においては、ｐｉｃｔｕｒｅＡおよびｐｉｃｔｕｒｅＢの両方を、ローリングシャッター方式を用いて読み出す例を示す。蓄積、読み出しタイミングの説明図の撮影周期Ｔｆにおいて、ｐｉｃｔｕｒｅＡの蓄積時間（５６１）は撮影者によって設定されたシャッタースピードＴ１に設定されている。本実施形態では、Ｔ１＝１／２０００である。ｐｉｃｔｕｒｅＡの蓄積終了時間は全行異なり、各行目の読み出し（５６５）開始直前に蓄積が終了するように設定されている。ｐｉｃｔｕｒｅＡの蓄積終了時間は全行異なるが、リセットタイミングも同様に異なるため、シャッタースピードＴ１に応じて、蓄積開始時間が設定されるようになっている。なお、ｐｉｃｔｕｒｅＡの読み出し（５６５）は、ｐｉｃｔｕｒｅＢの蓄積（５６３）期間中に実行される。

一方、ｐｉｃｔｕｒｅＢの蓄積は１周期中に均等の時間間隔で行われ、各行のｐｉｃｔｕｒｅＢの読み出し（５６６）開始直前までに本実施形態では８回に分割された蓄積が終了するように時間間隔が設定される。このときｐｉｃｔｕｒｅＢの蓄積の時間間隔は、水平同期信号５５１の間隔Ｔｈの整数倍に設定される。その結果、各行のｐｉｃｔｕｒｅＢの蓄積タイミングが同じになるようになっている。図７では、動画の蓄積の時間間隔は、便宜的に水平同期信号間隔Ｔｈの２倍になるように図示されている。通常は、ｐｉｃｔｕｒｅＢの蓄積の時間間隔は、撮像素子１８４の行数をｍ、１周期中の動画の蓄積回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号５５１の間隔Ｔｈを掛けた値に設定される。

また、ｐｉｃｔｕｒｅＢの１回の蓄積時間はＴ１／８（＝１／１６０００）に設定される。ここで、ｐｉｃｔｕｒｅＢの各行における蓄積開始時間は垂直同期信号５５０に対して異なる。つまり、撮影者によって設定されたｐｉｃｔｕｒｅＡのシャッタースピードＴ１に応じて、ｐｉｃｔｕｒｅＢの１回の蓄積終了時間が垂直同期信号５５０に対して設定されるようになっている。

ｐｉｃｔｕｒｅＡの１回の蓄積時間はｐｉｃｔｕｒｅＢの８回分の蓄積時間とほぼ等しい。そのため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの露出自体も等しくなる。しかし、ｐｉｃｔｕｒｅＢは異なる時間に複数回の蓄積と転送を行った信号を加算することとなる。これは、実質的にはｐｉｃｔｕｒｅＡと比較してジャーキネスの観点においては長い蓄積時間で画像を取得したことに相当し、良好な動画像を取得することが可能となる。つまり、ｐｉｃｔｕｒｅＢの蓄積期間をＮｐ回の蓄積と定義して考えれば、ｐｉｃｔｕｒｅＡの蓄積期間よりも実質的に長い蓄積を実現することができる。

以下、ｐｉｃｔｕｒｅＡおよびｐｉｃｔｕｒｅＢの撮影における蓄積、転送、読み出しのタイミングについて説明する。まずｐｉｃｔｕｒｅＢの映像信号の取得タイミングについて述べる。

時刻ｔ１８０において、第１行の転送パルスφＴＸ２Ｂ（１）、及び全行の転送パルスφＴＸ２Ａがハイレベルとなる。これにより、第１行の第４の転送トランジスタ５０２Ｂ、全行の第２の転送トランジスタ５０２Ａがオンとなる。このとき既に全行のリセットパルスφＲＥＳがハイレベルになり、リセットトランジスタ５０４がオン状態になる。そして、全行のフローティングディフュージョン領域、信号保持部５０７Ａ、信号保持部５０７Ｂがリセットされる。なお、第１行の選択パルスφＳＥＬ（１）はローレベルになっている。

ｔ１８１において、全行の転送パルスφＯＦＤがローレベルとなると、全行の第５の転送トランジスタ５０３がオフとなり、全行のフォトダイオード５００のリセットが解除されて全行のフォトダイオード５００での信号電荷の蓄積が開始される（５６３）。

ｔ１８２において、第１行の転送パルスφＴＸ１Ｂ（１）がハイレベルとなり、第１行の第３の転送トランジスタ５０１Ｂがオンとなる。第１行のフォトダイオード５００に蓄積された信号電荷は第１行の信号保持部５０７Ｂに転送され、転送パルスφＴＸ１Ｂ（ｍ）がローレベルになるまで転送が行われる。

ｔ１８３においてｔ１８１と同様の動作が行われ、フォトダイオード５００において２回目の信号電荷の蓄積が行われ、ｔ１８４においてはｔ１８２と同様にフォトダイオード５００に蓄積された信号電荷は信号保持部５０７Ｂに転送される。ｔ１８４で転送された信号電荷は、ｔ１８２で転送された信号電荷に加算して保持される。この間欠的なフォトダイオード５００での電荷信号の蓄積と、転送および加算が繰り返される。また、第１行について述べたが、すべての行において電荷の蓄積と転送が同様に行われる。なお、ｐｉｃｔｕｒｅＢの電荷の蓄積期間はすべて同じに設定される。さらに蓄積開始時間から次の蓄積開始時間まで（たとえばｔ１８１からｔ１８３）は後述するｐｉｃｔｕｒｅＡの蓄積期間を挟む期間を除いて、同様である。

ｔ１９２において、第１行目の８回目の信号保持部５０７Ｂへの転送が終了すると、第１行のリセットパルスφＲＥＳ（１）がローレベルとなり第１行のリセットトランジスタ５０４がオフとなる。そして、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ２（１）がハイレベルとなると第１行の第２の選択トランジスタ５０６Ｂがオンとなって、第１行の映像信号の読み出しが可能となる。そして、第１行の転送パルスφＴＸ２Ｂ（１）がハイレベルとなると第１行の第４の転送トランジスタ５０２Ｂがオンとなり、信号保持部５０７Ｂの加算蓄積された信号電荷がフローティングディフュージョン領域に転送される。

さらにｔ１９３において、フローティングディフュージョン領域の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６Ｂを介して信号出力線３０４Ｂに読み出される。そして、不図示の読み出し回路に供給されて第１行の信号として外部に出力される（５６６）。ｔ１９１以降も、第１行目ではｔ１８０から行われた動作を繰り返し行い第１行目の信号を取得する。

さらに、ｔ１９０からｔ１８１〜ｔ１８３の時間間隔が過ぎたｔ１９５において、第２行目においてｔ１９０で説明したのと同様に信号電荷のフローティングディフュージョン領域への転送および、読み出し回路への読み出しが行われる。以下、順次つぎの行において同様の動作が行われ、ｔ１９６で最下段のｍ行目まで行われると、ｐｉｃｔｕｒｅＢの１フレームの映像信号を得ることができる。

次に、第１の映像信号であるｐｉｃｔｕｒｅＡの映像信号の取得タイミングについて述べる。ｔ１８５において、１行目の転送パルスφＯＦＤがローレベルとなると、１行目の第５の転送トランジスタ５０３がオフとなり、フォトダイオード５００のリセットが解除されてフォトダイオード５００での静止画の信号電荷の蓄積が開始される（５６１）。

ｔ１８８において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると第１行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ１（１）がハイレベルとなると第１行の選択トランジスタ５０６Ａがオンとなって、第１行の信号の読み出しが可能となる。さらに、全行の転送パルスφＴＸ１Ａがハイレベルとなると、全行の第１の転送トランジスタ５０１Ａがオンとなり、全行のフォトダイオード５００に蓄積された信号電荷は全行の静止画の電荷を保持する信号保持部５０７Ａに転送される（５６２）。

次にｔ１８９において、１行目の転送パルスφＴＸ１Ａがローレベルとなると、１行目の第１の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。さらに、第１行の転送パルスφＴＸ２Ａ（１）がハイレベルとなると第１行の第２の転送トランジスタ５０２Ａがオンとなり、第１行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域に転送される。さらに、フローティングディフュージョン領域の電位の変化に応じた出力が第１行の増幅トランジスタ５０５及び選択トランジスタ５０６Ａを介して信号出力線３０４Ａに読み出される。そして、読み出し回路に供給されて第１行の静止画信号として外部に出力される（５６５）。

そしてｔ１８７以降においては、第１行と同様に動作によって、蓄積およびフローティングディフュージョン領域の電位の変化に応じた出力が読み出し回路に供給されて第２行の信号として外部に出力される。以下、順次各行の映像信号が取得される。

なお、ｐｉｃｔｕｒｅＡのための蓄積が行われる期間は、ｐｉｃｔｕｒｅＢのための蓄積および信号保持部５０７Ｂへの加算の繰り返し動作は一時中断され、静止画の蓄積期間が終了後に再開される。動画の８回の蓄積による１フレームの撮影１回に対し、静止画も１回の撮影が行われる。

また、図７（ｂ）において本実施形態における撮像素子１８４における蓄積、読み出しタイミングの他の例を説明する。図７（ｂ）においては、ｐｉｃｔｕｒｅＡを、グローバルシャッター方式を用いて読み出す例を示す。

ｐｉｃｔｕｒｅＡの蓄積終了時間は全行固定（ｔ２８６）で、第１行目の静止画の読み出し（５６５）開始直前に蓄積が終了するように設定されている。ｐｉｃｔｕｒｅＡの蓄積終了時間は全行固定のため、シャッタースピードＴ１に応じて、蓄積開始時間が設定されるようになっている。ｐｉｃｔｕｒｅＡの読み出し（５６５）は、ｐｉｃｔｕｒｅＢの蓄積（５６３）期間中に実行される。ｔ２８５において、全行の転送パルスφＯＦＤがローレベルとなると、全行の第５の転送トランジスタ５０３がオフとなる。全行のフォトダイオード５００のリセットが解除されて全行のフォトダイオード５００での静止画の信号電荷の蓄積が開始される（５６１）。

ｔ２８６において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると第１行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ１（１）がハイレベルとなると第１行の選択トランジスタ５０６Ａがオンとなって、第１行の信号の読み出しが可能となる。さらに、全行の転送パルスφＴＸ１Ａがハイレベルとなると、全行の第１の転送トランジスタ５０１Ａがオンとなる。そして、全行のフォトダイオード５００に蓄積された信号電荷は全行の静止画の電荷を保持する信号保持部５０７Ａに転送される（５６２）。

次にｔ２８７において、全行の転送パルスφＴＸ１Ａがローレベルとなると、全行の第１の転送トランジスタ５０１Ａがオフとなり、全行のフォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。さらに、第１行の転送パルスφＴＸ２Ａ（１）がハイレベルとなると第１行の第２の転送トランジスタ５０２Ａがオンとなり、第１行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域に転送される。さらに、フローティングディフュージョン領域の電位の変化に応じた出力が第１行の増幅トランジスタ５０５及び選択トランジスタ５０６Ａを介して信号出力線３０４Ａに読み出される。そして、読み出し回路に供給されて第１行の静止画信号として外部に出力される（５６５）。

そしてｔ２８８においては、第２行の転送パルスφＴＸ２Ａ（１）がハイレベルとなると第２行の第２の転送トランジスタ５０２Ａがオンとなり、第１行の信号保持部５０７Ａに蓄積された信号電荷がフローティングディフュージョン領域に転送される。そして第１行目と同様に、フローティングディフュージョン領域の電位の変化に応じた出力が読み出し回路に供給されて第２行の信号として外部に出力される。以下、順次各行の映像信号が取得される。

なお、ｐｉｃｔｕｒｅＡのための蓄積が行われる期間は、ｐｉｃｔｕｒｅＢのための蓄積および信号保持部５０７Ｂへの加算の繰り返し動作は一時中断され、静止画の蓄積期間が終了後に再開される。動画の８回の蓄積による１フレームの撮影１回に対し、静止画も１回の撮影が行われる。なお、ｐｉｃｔｕｒｅＡのための蓄積は垂直同期期間内に必ずしも１回である必要はなくＮ回（１以上の整数）行われてもよい。この場合にｐｉｃｔｕｒｅＢのための蓄積は垂直同期期間内にＭ回（Ｎ以上の整数）行われるとすると、ｐｉｃｔｕｒｅＡのＮ回分の蓄積期間の合計長さと、ｐｉｃｔｕｒｅＢのＭ回分の蓄積期間の長さが略同一の関係を満たせばよい。

以上説明したように、上述のように撮像装置を構成・制御することで動画と静止画を同時に撮影することが可能である。

なお本実施形態では、ｐｉｃｔｕｒｅＡの映像信号の蓄積開始と終了をローリングシャッター方式とグローバルシャッター方式にて行う場合について説明をしたが、これに限られるものではない。例えば、ローリングシャッター方式においてｐｉｃｔｕｒｅＢと異なる走査スピードで読み出しを行う動作としてもよい。また、ｐｉｃｔｕｒｅＡの読み出しタイミングをｐｉｃｔｕｒｅＢの読み出しの中心付近としたが、これに限られるものではなく適宜変更することができる。例えばｐｉｃｔｕｒｅＡの露光タイミングをｐｉｃｔｕｒｅＢの露光動作の前に行うことでより簡略化した制御で実現することが可能となる。

図８は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は「時：分：秒：フレーム」を表している。

時刻ｔ３１は、撮像装置１００の電源投入時刻である。

時刻ｔ３２において、動画撮影ボタンであるであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、ｐｉｃｔｕｒｅＢの撮像及びｐｉｃｔｕｒｅＡの撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、ｐｉｃｔｕｒｅＢについては、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。

時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、ｐｉｃｔｕｒｅＡについても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。なお、ｐｉｃｔｕｒｅＡの映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、ｐｉｃｔｕｒｅＢの映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。

ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの何れについても、記録媒体１９３に記録された各映像データは同一フレームレートで、例えば、６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図９に示すようになる。

図１０は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ １４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘ５０２に格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。

スキップＢｏｘ５０４内には、この映像ファイルデータを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Ｕｎｉｑｕｅ Ｍａｔｅｒｉａｌ Ｉｄｅｎｔｉｆｉｅｒ）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘ５０４に格納されているので、汎用のビューアで再生する際に影響を与えない。

ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ―ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行えるようになる。

図１１は、ローリングシャッター方式で撮影を行う際の、蓄積及び読み出しタイミングを示すシーケンス図である。図１１には、第ｎフレームにおける垂直同期信号４８１を示すとともに、ｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４８２と、ｐｉｃｔｕｒｅＡの下端ラインの蓄積期間４８３を太い実線で示している。また、ｐｉｃｔｕｒｅＢの上端ラインの蓄積期間４８６と、ｐｉｃｔｕｒｅＢの下端ラインの蓄積期間４８７を、同様に太い実線で示している。横軸は時間を表している。なお、図１１には、画素アレイ３０２の任意の１列についてのタイミングシーケンスを示しているが、同一行（同一ライン）の画素は互いに同期して制御されるので、他の列も同様のタイミングシーケンスとなる。

図５で示した第１の転送トランジスタ５０１Ａがオンとなると、フォトダイオード５００が光電変換及び蓄積した電荷は、信号保持部５０７Ａに転送されて保持される。同様に、第３の転送トランジスタ５０１Ｂがオンとなると、フォトダイオード５００が光電変換及び蓄積した電荷は、信号保持部５０７Ｂに転送されて保持される。各ラインの蓄積期間は、上端ラインから下端ラインへと所定の時間間隔で順次開始され、当該時間間隔で順次終了する。露出としてはほぼ同じとなるが、画像を取得するために複数回の転送を行うｐｉｃｔｕｒｅＢはｐｉｃｔｕｒｅＡと比べて蓄積期間が実質的に長く設定されたとみなすことができる。

また、図１１には、信号保持部５０７Ａに保持された映像信号の読み出し期間であって、ｐｉｃｔｕｒｅＡの上端ラインの読み出し期間４８４と、ｐｉｃｔｕｒｅＡの下端ラインの読み出し期間４８５を点線で示している。また、信号保持部５０７Ｂに保持された映像信号の読み出し期間であって、ｐｉｃｔｕｒｅＢの上端ラインの読み出し期間４８８と、ｐｉｃｔｕｒｅＢの下端ラインの読み出し期間４８９を、同様に点線で示している。この読み出し期間には、増幅トランジスタ５０５を介しての読み出し回路３０８Ａ、３０８Ｂへの転送、読み出し回路３０８Ａ、３０８Ｂでの読み出し、及びデジタル信号処理部１８７，１８８への転送が含まれる。各ラインの読み出し期間は、各ラインの蓄積時間終了後に上端ラインから下端ラインへと所定の時間間隔で順次開始され、当該時間間隔で順次終了する。

時刻ｔ５３〜時刻ｔ５４がｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４８２であり、時刻ｔ５６〜時刻ｔ５７がｐｉｃｔｕｒｅＡの下端ラインの蓄積期間４８３である。同様に、時刻ｔ５１〜時刻ｔ５４がｐｉｃｔｕｒｅＢの上端ラインの蓄積期間４８６であり、時刻ｔ５２〜時刻ｔ５７がｐｉｃｔｕｒｅＢの下端ラインの蓄積期間４８７である。また、時刻ｔ５４〜時刻ｔ５５がｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの上端ラインの読み出し期間４８４、４８８であり、時刻ｔ５７〜時刻ｔ５８がｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの下端ラインの読み出し期間４８５、４８９である。

なお、図１１において、ｐｉｃｔｕｒｅＡを取得するための露光期間とｐｉｃｔｕｒｅＢを取得するための露光期間は一部重複する。例えば、時刻ｔ５３〜時刻ｔ５４で各露光期間は重複する。各露光期間の定義の詳細は前述したが、本実施形態の撮像素子においては、第１の転送トランジスタ５０１Ａおよび第３の転送トランジスタ５０１Ｂを時分割でオンさせることによって露光期間を重複させることが可能となる。

図１２は、撮像装置に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。図１２では、撮影モード選択レバー１５６が、図１（ｂ）の状態から９０度時計方向に回動した位置に設定されたデュアル映像モードとなっている。このため、表示部１５３には、ｐｉｃｔｕｒｅＡの蓄積期間１６４、ｐｉｃｔｕｒｅＢの蓄積期間１６５、及びＦナンバー１６６が表示されている。

図１３は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのファイルデータは、ネットワーク１９９上のストレージ等に格納されているものとする。図１３において、フレーム群５８１は、ＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルは、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定されて互いに関連付けがなされている。

まず、動画の再生をスタートすると、ｐｉｃｔｕｒｅＢのフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。ｐｉｃｔｕｒｅＢは、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。図１３ではフレーム５７３の被写体周囲をぼかしてジャーキネスが出ない程度の被写体の動きを表現している。

フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にｐｉｃｔｕｒｅＡのファイルデータから、ｐｉｃｔｕｒｅＢと同一タイムコードのフレーム５８２が検索されて表示される。ｐｉｃｔｕｒｅＡは、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積時間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

ここで、印刷の指示を行うと、ｐｉｃｔｕｒｅＡのフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、ｐｉｃｔｕｒｅＡを反映したストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的にｐｉｃｔｕｒｅＢのフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。

このように、ｐｉｃｔｕｒｅＢを、動画用の映像信号として用いることにより、ジャーキネスのない動画向きの映像を得ることができる。また、ｐｉｃｔｕｒｅＡを、静止画用の映像信号として用いることにより、ストップモーション効果が得られた静止画及び印刷向きの映像を得ることができる。本実施形態の撮像装置では、これら２つの効果を１つの撮像素子を用いて実現できる。

また、本実施形態においては、再生時の操作性向上のために、静止画用のファイルと動画用のファイルとを分けて、記録媒体１９３の別々のフォルダにファイルしている。例えば、前述したように、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢとも、同一フレームレート且つ同一のＭＰ４ファイルフォーマットで、動画用のフォルダと静止画用のフォルダに分けて記録する。そして、再生ボタン１６１が操作されると、動画用のファイルデータとして記録されたｐｉｃｔｕｒｅＢが、動画として連続再生される。また、静止画用のファイルデータとして記録されたｐｉｃｔｕｒｅＡが、画像送り操作とともに一枚ずつ静止画として再生される。

動画再生中の静止画の表示については、スイッチＳＴ１５４が操作されたタイミングで、再生中の動画のｐｉｃｔｕｒｅＢと同一タイムコードの静止画ｐｉｃｔｕｒｅＡを表示するようにしてもよい。また、アップダウンスイッチ１５８、１５９を操作してその前後の静止画を表示してもよい。動画撮影及び静止画撮影に用いるｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢの組み合わせは撮影時に決定される。そして、撮影されたｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢの各々が動画用、静止画用のフォルダにファイルされる。

次に、単一の撮像素子を用いて２つの映像を同時に撮影する際に、ローリングシャッター歪を検出する方法について説明する。

まず、ローリングシャッター歪について説明する。ローリングシャッター方式では、画素に保持された映像信号が、画素アレイ３０２の上端ラインから下端ラインへ順に読み出される。すなわち、前のラインの映像信号の読み出しが終了するまでは、次のラインの映像信号の読み出しは待機される。これにより、各ラインの読み出し終了後に開始する蓄積期間も遅延するので、各ラインで蓄積期間の開始タイミングが異なってしまう。この結果、ローリングシャッター歪と呼ばれる画質の劣化が発生する。

図１４は、ローリングシャッター歪について説明するための図である。図１４（ａ）には、撮影対象となる被写体７０１、７０２を示している。一方、図１４（ｂ）には、ローリングシャッター方式により撮影された被写体７０１、７０２を示している。被写体７０１は、実線の枠で示す撮影画角に対して静止しているが、被写体７０２は、撮影画角に対して矢印の方向に移動している。ローリングシャッター方式では、図１４（ｂ）に示すように、動きのない被写体７０１は歪みなく撮影されるが、動きのある被写体７０２は歪んで撮影される。これがローリングシャッター歪である。

なお、図１４では被写体が撮影画角に対して動いている場合について説明したが、撮影者がカメラを水平方向にパンニング動作を行ったときのように、撮影画角が被写体に対して動いているような場合にもローリングシャッター歪は発生する。また、ローリングシャッター歪は、例えばフォーカルプレーンシャッターのようなメカシャッター方式においても発生する。しかし、メカシャッター方式では、１フレームの上端から下端までのシャッター幕の移動時間がローリングシャッター方式に比べて短いため、ローリングシャッター歪は抑制されて識別されにくい。

本実施形態では、ローリングシャッター歪を検出する画像歪検出モードを有している。画像歪検出モードにおいては、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを比較することによりローリングシャッター歪を検出する。この画像歪検出モードは、撮影者が、図１で示したメニューボタン１５７、アップダウンスイッチ１５８、１５９を撮影前に操作することにより設定する。

次に、画像歪検出モードにおける蓄積及び読み出しタイミングについて説明する。図１５は、本発明の第１実施形態による撮像装置におけるローリングシャッター歪の検出方法を説明するためのタイミング図である。図１５は、図１１と同様に、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積及び読み出しタイミングシーケンスを示す図であり、特に、画像歪検出モードにおけるタイミングシーケンスを示している。

図１５に示すｐｉｃｔｕｒｅＢの蓄積及び読み出しタイミングは、図１１と同様であるので、図１１と同じ符号を付して説明は省略する。以下では、ｐｉｃｔｕｒｅＡのシーケンスについて説明する。画像歪検出モードにおいては、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで、フォトダイオードが光電変換した電荷の蓄積及び読み出しタイミングが異なる。図１５には、第ｎフレームにおける垂直同期信号４８１を示すとともに、ｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４９１と、その次のラインの蓄積期間４９２を太い実線で示している。蓄積期間４９１、４９２においてフォトダイオード５００が光電変換及び蓄積した電荷は、図５に示す画素３０３に設けられた第１電荷保持部（フローティングディフュージョン領域５０８）に転送されて保持される。

また、図１５には、信号保持部５０７Ａに保持された電荷信号の読み出し期間であって、ｐｉｃｔｕｒｅＡの上端ラインの読み出し期間４９３と、その次のラインの読み出し期間４９４を点線で示している。この読み出し期間には、図３に示す信号保持部５０７Ａから読み出し回路３０８Ａへの転送、第１読み出し部による読み出し、及びデジタル信号処理部への転送が含まれる。

時刻ｔ５９〜時刻ｔ６１が上端ラインの蓄積期間４９１であり、時刻ｔ６０〜時刻ｔ６２がその次のラインの蓄積期間４９２である。また、時刻ｔ６１〜時刻ｔ６３が上端ラインの読み出し期間４９３であり、時刻ｔ６３〜時刻ｔ６４がその次のラインの読み出し期間４９４である。

図１５に示す画像歪検出モードでは、図１１で示した通常撮影モードと比較して、ｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４９１の開始時刻ｔ５９から、その次のラインの蓄積期間４９２の開始時刻ｔ６０までの時間が短くなっている。一方、ｐｉｃｔｕｒｅＡの上端ラインの読み出し期間４９３の開始時刻ｔ６１から、その次のラインの読み出し期間４９４の開始時刻ｔ６３までの時間は変わらない。これは、同一列の異なるラインで読み出し回路３０８が共用されている場合には、読み出し処理を１ラインずつ順番に行う必要があり、１フレームの全体の読み出し期間は短くできないためである。よって、画像歪検出モードにおいても、読み出し処理は、各ラインの蓄積期間の終了後すぐに行われるのではなく、前のラインの読み出し処理が終了するまで待機される。このように、画像歪検出モードにおいては、画素アレイの各行で同期して蓄積される電荷の蓄積期間の開始時刻と、他の行の蓄積期間の開始時刻との時間差（以下単に「蓄積期間の開始時刻の時間差」という）が、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで異なる。また、この結果として、蓄積期間が終了してから読み出しを開始するまでの待機期間も異なる。

図１５に示すように、ｐｉｃｔｕｒｅＢは、各ラインにおいて、信号保持部５０７Ｂへの電荷の転送後、待機期間なしに読み出し回路３０８Ｂにより順次読み出される。一方、ｐｉｃｔｕｒｅＡは、信号保持部５０７Ａへの電荷の転送後、各ラインにおいて、待機時間を前のラインよりも長くしながら読み出し回路３０８Ａにより順次読み出される。

なお、図１５に示す画像歪検出モードにおいて、図１１に示した通常撮影モードと比較して蓄積期間の開始時刻の時間差を小さくする動作を示したが、時間差が小さくなればよく図１５以外に示した動作であってもよい。例えば、垂直同期信号４８１に対する時刻ｔ６０のタイミングは図１１と同様としているが、蓄積期間の開始時刻の時間差を小さくするともに時刻ｔ６０および時刻ｔ６１に相当するタイミングを早めるようにしてもよい。具体的には、蓄積の開始タイミングをそろえることが好ましい。また、全行のタイミングを図１５に示すタイミングにする必要はなく、一部の行の蓄積期間の開始時刻の時間差を小さくするように制御してもよい。さらに、図１５は蓄積期間の開始時刻の時間差を小さくするように制御したが、時間差を大きくするように制御してもよい。この場合、読み出しタイミングも合わせて変更する必要がある。

また、図１５に示す画像歪検出モードにおいて、通常撮影モードと比較してｐｉｃｔｕｒｅＢを取得するための分割数Ｎｐを変更させ、または取得タイミングを変化させるように制御してもよい。ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢは時分割に一つの光電変換部を共有していることから、ｐｉｃｔｕｒｅＡの取得タイミングの変化に応じてｐｉｃｔｕｒｅＢの取得タイミングも合わせて変化させることが好ましい。

図１６は、本発明の第１実施形態による撮像装置におけるローリングシャッター歪の検出方法で撮影した画像の例を示す図である。図１６（ａ）に示すｐｉｃｔｕｒｅＡによる画像、及び図１６（ｂ）に示すｐｉｃｔｕｒｅＢによる画像は、図１５に示すシーケンスに従って、図１４（ａ）に示す被写体７０１、７０２を撮影することにより得られる。図１６（ｂ）に示すｐｉｃｔｕｒｅＢによる画像には、図１４（ｂ）と同様に、動きのある被写体７０２にローリングシャッター歪が発生している。一方、図１６（ａ）に示すｐｉｃｔｕｒｅＡによる画像は、各ラインにおける蓄積期間の開始時刻の他のラインとの差を短くしたため、図１６（ｂ）と比べて被写体７０２のローリングシャッター歪が低減されている。このように、画像歪検出モードにおいては、ｐｉｃｔｕｒｅＡによる画像とｐｉｃｔｕｒｅＢによる画像とで、ローリングシャッター歪の大きさが異なる。

そこで、本実施形態では、ｐｉｃｔｕｒｅＡによる画像とｐｉｃｔｕｒｅＢによる画像とを比較することにより、ローリングシャッター歪を検出する画像歪検出手段を備える。画像歪検出手段はシステム制御ＣＰＵ１７８により実行され、例えばｐｉｃｔｕｒｅＡによる画像とｐｉｃｔｕｒｅＢによる画像とを画像マッチングにより比較する。そして、動きのある被写体７０２を撮影したときに発生するローリングシャッター歪特有のベクトルを検出する。図１６（ｃ）は、図１６（ａ）の画像と図１６（ｂ）の画像とを重ね合わせた画像を示している。図１６（ｃ）には、ｐｉｃｔｕｒｅＡによる画像における被写体７０２の輪郭７０２ａを点線で示し、ｐｉｃｔｕｒｅＢによる画像における被写体７０２の輪郭７０２ｂを実線で示している。そして、図１６（ｄ）には、輪郭７０２ａと輪郭７０２ｂを抽出して示すとともに、輪郭７０２ａと輪郭７０２ｂの対応するいくつかの点の動きベクトルを矢印で示している。図１６（ｄ）に示すように、動きベクトルが上端方向から下端方向に大きくなっているのがローリングシャッター歪の特徴である。画像歪検出手段は、このような動きベクトルが検出され、且つその大きさが予め設定した閾値を超えている場合にローリングシャッター歪が発生していると判断する。

なお、図７で示したようにｐｉｃｔｕｒｅＡの信号とｐｉｃｔｕｒｅＢの信号は単一の垂直同期信号５５０の間隔Ｔｆ内で時分割に取得される。さらにｐｉｃｔｕｒｅＢの信号を取得するための蓄積期間は、ジャーキネスを低減させるためにｐｉｃｔｕｒｅＡの信号を取得するための蓄積期間よりも長い。そのため、検出された動きベクトルに対して露光期間の差を考慮することが好ましい。例えば、露光期間の比の分だけ動きベクトルの絶対値を低減させるような係数を乗算させてもよい。

以上のように、本実施形態の撮像装置は、第１映像信号（ｐｉｃｔｕｒｅＡ）と第２映像信号（ｐｉｃｔｕｒｅＢ）とを比較することにより画像歪（ローリングシャッター歪）を検出する画像歪検出手段（システム制御ＣＰＵ）を備えている。ここで、画像歪検出手段は、画像歪を検出する際には、画素アレイの各行における電荷の蓄積期間の開始時刻と他の行の蓄積期間の開始時刻との時間差が、異なるように設定する。これにより、単一の撮像素子を用いて２つの映像を同時に撮影する際に、画像歪を検出することができる。

（第２実施形態）
本発明の第２実施形態による撮像装置について、図１７乃至図１９を用いて説明する。本実施形態では、ローリングシャッター歪を検出した場合に、ローリングシャッター歪を補正する方法について説明する。本実施形態では、第１実施形態で説明した画像歪検出手段に加え、ローリングシャッター歪を補正する画像歪補正手段を備える。画像歪補正手段は、画像歪検出手段と同様にシステム制御ＣＰＵ１７８によって実行される。

図１７は、本発明の第２実施形態による撮像装置におけるｐｉｃｔｕｒｅＡのローリングシャッター歪を補正する方法を説明するためのタイミング図である。図１７は、画像歪補正手段によってローリングシャッター歪が発生していると判断された場合に、ローリングシャッター歪を補正するための蓄積及び読み出しのタイミングシーケンスを示している。図１７に示すｐｉｃｔｕｒｅＢの蓄積及び読み出しタイミングは、図１１と同様であるので、図１１と同じ符号を付して説明は省略する。

図１７には、第ｎフレームにおける垂直同期信号４８１を示すとともに、ｐｉｃｔｕｒｅＡの上端ラインの蓄積期間４９５と、その次のラインの蓄積期間４９６を太い実線で示している。また、図１７には、ｐｉｃｔｕｒｅＡの上端ラインの読み出し期間４９７と、その次のラインの読み出し期間４９８を点線で示している。時刻ｔ６５は上端ラインの蓄積期間４９５の開始時刻であり、時刻ｔ６６はその次のラインの蓄積期間４９６の開始時刻である。また、時刻ｔ６７は上端ラインの読み出し期間４９７の開始時刻であり、時刻ｔ６８は読み出し期間４９８の開始時刻である。

図１７に示すｐｉｃｔｕｒｅＡのタイミングシーケンスは、図１５に示すｐｉｃｔｕｒｅＡのタイミングシーケンスと比較して、各ラインの電荷蓄積期間の開始時刻を繋ぐ線の傾きが大きくなっている。すなわち、画素アレイの各ラインにおける蓄積期間の開始時刻の時間差が短くなっている。具体的には、図１７に示す蓄積期間４９５の開始時刻ｔ６５から次の蓄積期間４９６の開始時刻ｔ６６までの時間が、図１５に示す蓄積期間４９１の開始時刻ｔ５９から次の蓄積期間４９２の開始時刻ｔ６０までの時間よりも短く設定されている。ただし、各ラインの読み出し期間の開始時刻は、タイミングシーケンス変更前と同様であり、前のラインの読み出しが終了してから、次のラインの読み出しが行われる。このようなタイミングシーケンスに従って、図１４（ａ）に示す被写体７０１、７０２を撮影することにより、図１８に示すｐｉｃｔｕｒｅＡによる画像が得られる。図１８に示すｐｉｃｔｕｒｅＡによる画像では、各ラインにおける蓄積期間の開始時刻の時間差が短くなったことで、図１６（ａ）と比べて被写体７０２のローリングシャッター歪が低減されている。このように、ｐｉｃｔｕｒｅＡに対しては、蓄積期間の開始時刻の時間差を短くするとともに、蓄積期間が終了してから読み出しが開始されるまでの待機時間を長くすることにより、ローリングシャッター歪を低減することができる。

ローリングシャッター歪の大きさは、被写体の撮影画角に対する移動速度に依存する。よって、画像歪検出手段により検出したローリングシャッター歪のベクトル変化に応じて、ライン毎に蓄積期間の開始時刻の時間差を短くすることで、ローリングシャッター歪を低減することができる。

また、画像歪検出手段によりローリングシャッター歪が発生している範囲が分かるので、画像歪補正手段は、ｐｉｃｔｕｒｅＢのローリングシャッター歪を補正することもできる。例えば、ｐｉｃｔｕｒｅＢによる画像のローリングシャッター歪が発生している範囲を、同一の範囲のｐｉｃｔｕｒｅＡによる画像で置き換えることにより、ｐｉｃｔｕｒｅＢの画像歪を補正する。このようにして、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの両方のローリングシャッター歪を低減することができる。なお、ｐｉｃｔｕｒｅＢの画像歪の補正手段は、ローリングシャッター歪の発生している範囲の画像を置き換える方法には限定されず、例えば、幾何学的変換を行うことにより画像歪を補正することも可能である。

ところで、ローリングシャッター歪を除去するためには、全ラインにおいて蓄積期間を同一の時刻に開始すればよいようにも思われる。しかし、フローティングディフュージョン領域に電荷が保持されている待機期間が長いと、暗電流等のノイズが生じてしまう。したがって、蓄積期間が終了してから読み出しを開始するまでの待機期間は、発生するノイズとのバランスを考慮した上で設定する必要がある。また、撮影中において被写体の撮像素子面上での速度が変化することも考えられる。そこで、ローリングシャッター歪が小さいときは、ライン毎に蓄積期間の開始時刻の時間差を長くしてノイズ影響を低減するなど、ローリングシャッター歪の量に合わせてタイミングシーケンスを制御することが望ましい。また、ＩＳＯ感度等の露出設定が高く設定されている場合にはノイズ影響が大きいと判断し、待機時間を短くするように制御することが望ましい。

次に、ｐｉｃｔｕｒｅＢについても、ｐｉｃｔｕｒｅＡと同様に蓄積時間の開始時刻の時間差を短くすることによってローリングシャッター歪を補正する方法について説明する。図１９は、本発明の第２実施形態による撮像装置におけるｐｉｃｔｕｒｅＢのローリングシャッター歪を補正する方法を説明するためのタイミング図である。上段の図１９（ａ）には、従来と同様のｐｉｃｔｕｒｅＢの蓄積期間４６３及び読み出しのタイミングシーケンスを示している。また、中段の図１９（ｂ）には、各ラインの蓄積期間４６４の開始時刻の時間差を短くしたｐｉｃｔｕｒｅＢのタイミングシーケンスを示している。

図１９（ｂ）に示す補正後のｐｉｃｔｕｒｅＢのフレーム期間ｔ７０〜ｔ７２は、図１９（ａ）に示す補正前のｐｉｃｔｕｒｅＢのフレーム期間ｔ７０〜ｔ７１と比較して長くなってしまっている。これは、蓄積期間４６４の長さを維持したまま、読み出しを開始するまでの待機期間を長くしたためである。この結果、図１９（ｂ）では、ｐｉｃｔｕｒｅＢのフレームレートが低下してしまう。これに対し、ｐｉｃｔｕｒｅＡでは、蓄積期間４９５、４９６が短く、蓄積も読み出しも行わない余裕時間がフレーム期間中に存在するために、画像歪補正手段による補正後でもフレーム期間は長くならない。

そこで、本実施形態では、ｐｉｃｔｕｒｅＢの蓄積期間の開始時刻の時間差を短くするのに合わせて、図１９（ｃ）に示すように蓄積期間４６６を短く設定する。これにより、補正後のフレーム期間を、図１９（ｃ）に示すように、図１９（ａ）と同じ時刻ｔ７０〜時刻ｔ７１に収めることができるので、フレームレートを維持したままローリングシャッター歪を低減することができる。また、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで、読み出しタイミングを合わせることができるので撮像素子の制御を簡素化できる。

ところで、画像歪検出モードでない通常のモードにおいては、前のラインの信号保持部５０７Ａおよび信号保持部５０７Ｂからの読み出し処理が終了した後に、次のラインにおける読み出し処理が行われる。例えば、図１１を用いて説明した読み出し回路３０８内のノイズを除去する二重相関サンプリング回路の読み出し処理は、図１１のタイミングシーケンスの点線で示した読み出し期間４８８内に行われる。このように、通常のモードにおいては、撮像素子の同一列の異なるラインの画素について、読出しが同時に行われることはないので、読み出し回路３０８は、同一列の異なるラインの画素で共用される。ここでいう、同一列の異なるラインの画素とは、例えば図３でいう同一の垂直走査用の信号出力線３０４Ａでつながれた縦方向に並ぶフォトダイオード群に対応する画素のことである。

一方、画像歪検出モードにおいては、前のラインの読み出し処理が終了する前に、次のラインの読み出し処理を行うことができれば、ｐｉｃｔｕｒｅＢについても、蓄積期間を短くすることなく、蓄積時間の開始時刻の時間差を短くすることができる。そこで、本実施形態では、読み出し回路３０８Ｂを、同一列の異なる行を独立して読み出し可能な複数の読み出し部を用いて構成することを考える。

例えば、あるラインの読み出し処理が終了した後に、その５行下のラインの読み出し処理が開始されるものとする。ｎを１からＮまでの自然数とし、撮像素子の総ライン数を（５Ｎ＋１）とするとき、（５ｎ＋１）となる複数のラインについてのみ、同一の読み出し回路３０８を共用する。同様に（５ｎ＋２）行、（５ｎ＋３）行、及び（５ｎ＋４）となる複数のラインの画素について、それぞれ独立した読み出し回路を共用する。これにより、（５ｎ＋１）行を読み出している間でも、（５ｎ＋２）行、（５ｎ＋３）行、及び（５ｎ＋４）行の読み出し処理を並行して行うことができる。また、各画素に読み出し回路を設ける場合に比べて、読み出し回路３０８の数を抑えて回路規模の増加を抑えることができる。

以上のように、本実施形態では、画像歪検出手段による画像歪の検出結果に基づいて、画像歪を補正する画像歪補正手段を備えている。これにより、単一の撮像素子を用いて２つの映像を同時に撮影する際に、画像歪を補正することができる。

なお、システム制御ＣＰＵ１７８によって実行される画像歪補正手段は、ローリングシャッター歪を補正した画像を記録媒体に記録してもよく、その他の方法を用いてもよい。例えば、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢに対して画像歪補正を行わずにそのまま記録媒体に記録しておき、画像歪検出手段及び画像歪補正手段を有するパーソナルコンピュータ等の外部の映像処理装置で画像を取り込んでから、補正処理をしてもよい。

なお、本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１及び図２に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図３、図５、図６等に示した構成に限定されるものではない。また、光電変換部は必ずしも図４に示すようなフォトダイオードに限定されるものではなく、光電変換機能を有するものであればよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置
１５２ 撮影光学系
１７８ システム制御ＣＰＵ（画像歪検出手段、画像歪補正手段）
１８４ 撮像素子
１８７，１８８ デジタル信号処理部

Claims (6)

1. １つの光電変換部に並列に接続された第１の信号保持部と第２の信号保持部を有する画素要素が行方向および列方向の２次元に配列した撮像素子と、前記撮像素子の駆動を制御するための制御部とを有した撮像装置であって、
   前記制御部は、
   前記撮像素子を制御して、１つの垂直同期期間の中の第１の期間に光電変換部で発生した信号電荷をＮ回（Ｎは１以上の整数）第１の信号保持部に転送して生成される第１の映像信号と、前記垂直同期期間の中の第２の期間に光電変換部で発生した信号電荷をＭ回（ＭはＮ以上の整数）第２の信号保持部に転送して生成される第２の映像信号とを取得する取得手段と、
   前記第１映像信号と前記第２映像信号とを比較することにより画像歪を検出する画像歪検出手段と、を含む
   ことを特徴とする撮像装置。
2. 前記第１の信号保持部における蓄積期間に相当するＮ回分の前記第１の期間の長さは、前記第２の信号保持部における蓄積期間に相当するＭ回分の前記第２の期間の長さと略同一であることを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記撮像素子の各号の前記第１の期間および前記第２の期間をローリングシャッター方式を用いて制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御部は、前記垂直同期期間の中に前記第２の期間を等間隔に制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１映像信号と前記第２映像信号とを比較することにより画像歪を検出する画像歪検出モードにおいて、前記垂直同期期間の中における隣接する行間において前記第１の信号保持部への転送開始時刻の時間差を前記第２光電変換部の前記蓄積期間の開始時刻の時間差よりも短く制御するとともに、前記第１の信号保持部から前記第１映像信号の読み出しを開始するまでの待機期間を長くすることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記画像歪検出手段は、前記第１映像信号と前記第２映像信号とを画像マッチングすることにより得られる動きベクトルの大きさが予め設定した閾値を超えている場合に、画像歪が発生していると判断することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

Images