JP2018160854A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】フラッシュバンドの発生を高精度に検出可能な撮像装置及びその制御方法を提供する。【解決手段】本発明の一観点によれば、受光感度が異なる第１の光電変換部及び第２の光電変換部を含む画素が行列状に配された撮像素子と、撮影周期中の第１の蓄積期間において第１の光電変換部に生じた信号電荷に基づく第１の映像信号、及び、撮影周期中の第２の蓄積期間において第２の光電変換部に生じた信号電荷に基づく第２の映像信号、を読み出す読み出し部と、第１の映像信号の輝度分布と第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出部と、を備えることを特徴とする撮像装置が提供される。【選択図】図３１

Description

本発明は、蓄積期間の異なる複数の映像を同時に撮影可能な撮像装置及びその制御方法に関する。

動画と静止画を一台のカメラで同時に撮影することにより、撮影シーンを動画として視聴しながら、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを、高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、受光感度の異なる２つの光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。

例えば、特許文献１には、受光感度の異なる２つの光電変換部を備えた撮像装置が記載されている。このような構成により、特許文献１に記載の撮像装置は、単一の撮影レンズを通して信号電荷の蓄積期間（露光時間）が異なる動画と静止画を同時に撮影することを可能としている。

特開２０１４−４８４５９号公報 特開２０１２−１５６６３４号公報 特開２０１３−１７２２１０号公報

一方で、画素の信号電荷の蓄積及び読み出しをラインごとに順に行ういわゆるローリング電子シャッター方式の撮像装置では、画素のラインごとに蓄積期間の遅れが生じる。このため、例えば撮影者の近くで別の撮影者がストロボ等を発光させると、その光を撮像素子が受光して、撮像素子が出力する映像信号にバンド（帯）状の明るい領域（フラッシュバンド）が発生する。この結果、映像信号から生成される画像に著しい画質の劣化が生じてしまう。

そこで、例えば特許文献２に記載の技術では、連続した複数の異なるフレームの画像を画素ごとに比較することで、フラッシュバンドの開始ライン及び終了ラインを検出している。しかし、このようなフレーム間で画像を比較する方法では、フレーム間に時間差が存在するため、例えば、高速で動く明るい物体がフレーム間において画像に映り込んだ場合等には、フラッシュバンドが発生した場合と区別するのが難しいという課題があった。

本発明の一観点によれば、受光感度が異なる第１の光電変換部及び第２の光電変換部を含む画素が行列状に配された撮像素子と、撮影周期中の第１の蓄積期間において第１の光電変換部に生じた信号電荷に基づく第１の映像信号、及び、撮影周期中の第２の蓄積期間において第２の光電変換部に生じた信号電荷に基づく第２の映像信号、を読み出す読み出し部と、第１の映像信号の輝度分布と第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出部と、を備えることを特徴とする撮像装置が提供される。

本発明の別の観点によれば、光電変換部、第１の電荷保持部及び第２の電荷保持部を含む画素が行列状に配された撮像素子と、撮影周期中の第１の蓄積期間において光電変換部に生じた信号電荷を第１の電荷保持部に転送して得られる第１の映像信号、及び、撮影周期中の複数の第２の蓄積期間において光電変換部に生じた信号電荷を第２の電荷保持部に転送して得られる第２の映像信号、を読み出す読み出し部と、第１の映像信号の輝度分布と第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出部と、を備えることを特徴とする撮像装置が提供される。

本発明の更に別の観点によれば、受光感度が異なる第１の光電変換部及び第２の光電変換部を含む画素が行列状に配された撮像素子を備える撮像装置の制御方法であって、撮影周期中の第１の蓄積期間において第１の光電変換部に生じた信号電荷に基づく第１の映像信号、及び、撮影周期中の第２の蓄積期間において第２の光電変換部に生じた信号電荷に基づく第２の映像信号、を読み出すステップと、第１の映像信号の輝度分布と第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するステップと、を有することを特徴とする撮像装置の制御方法が提供される。

本発明によれば、フラッシュバンドの発生を高精度に検出可能な撮像装置及びその制御方法を提供することができる。

本発明の第１実施形態による撮像装置を示す外観図である。 本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の内部構造を示す断面図である。 画素に入射する光線の角度とフォトダイオードからの出力との関係を示す図である。 本発明の第１実施形態による撮像装置における撮影光学系と撮像素子との関係を示す図である。 撮像素子から出力される映像信号を説明する概略図である。 本発明の第１実施形態による撮像装置の撮像素子の画素の構成例を示す回路図である。 本発明の第１実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図（その１）である。 本発明の第１実施形態による撮像装置の撮像素子の画素の要部を示す平面レイアウト図（その２）である。 本発明の第１実施形態による撮像装置の撮像素子の読み出し回路構成例を示す回路図である。 撮像素子の駆動シーケンスを示すタイミングチャートである。 フォトダイオードにおける信号電荷の時間的な変化を示すグラフである。 図９のＡ−Ｂ線に沿った画素のポテンシャル図である。 撮像素子の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。 本発明の第１実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。 動画データの各フレームに付加されるタイムコードの値の一例を示す図である。 ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのファイル構造の一例を示す図である。 ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの撮影条件の設定画面を説明する図である。 ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのＩＳＯ感度範囲の関係を示す図である。 本発明の第１実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。 ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのシャッタースピードの差異を撮像シーケンス上で説明する図である。 撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を示す図である。 スイッチＳＴ、スイッチＭＶを操作して取得された映像のうちの１フレームを示す図である。 デジタル信号処理部において行われるクロストーク補正処理を説明する図である。 クロストーク補正関数の具体例を示す図である。 クロストーク補正を施した後の映像の一例を示す図である。 表示部上にｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを並べて表示した様子を示す図である。 本発明の第１実施形態による画像再生方法を示す図である。 フラッシュバンドが発生した画像の例を示す図である。 フラッシュバンドが発生するメカニズムについて説明するためのシーケンス図である。 図３１に示したタイミングチャートにおいて取得されるｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢを示す図である。 本発明の第１実施形態による撮像装置におけるフラッシュバンドの検出方法を示すフローチャートである。 本発明の第２実施形態による撮像装置の撮像素子の画素の構成例を示す回路図である。 本発明の第２実施形態による撮像装置における撮像素子の駆動シーケンスを示す図である。 外部ストロボの発光が第１の発光タイミングで行われた場合のフラッシュバンドを示す図である。 外部ストロボの発光が第２の発光タイミングで行われた場合のフラッシュバンドを示す図である。 外部ストロボの発光が第３の発光タイミングで行われた場合のフラッシュバンドを示す図である。

一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積期間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積期間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。

一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積期間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積期間を設定することとなる。

単一の撮影レンズを通して動画と静止画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積期間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。

また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（High Dynamic Range）技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。

このような背景から、蓄積期間が異なる２つの映像信号を同時に取得可能な画素群を撮像装置内の撮像素子に設け、これら画素群からの出力を合成することによってダイナミックレンジを拡大する技術が提案されている。この技術においても同様に、蓄積期間が異なる２つの映像信号のどちらからもＳ／Ｎ比の良好なノイズ感のない中間映像データを作成し、最終的に品位の高いＨＤＲ映像を合成できることが望ましい。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

（第１実施形態）
以下、本発明の第１実施形態による撮像装置について、図１乃至図３３を用いて説明する。本実施形態では、撮像のための撮像素子や撮影光学系等を備えた撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、撮影光学系等は、必ずしも撮像装置の一部として構成される必要はなく、撮像装置とは別に構成されていてもよい。

図１は、第１実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。

本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子やシャッター装置等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。

アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換処理を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。

表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

本実施形態で説明する撮像装置１００のような画像再生装置を備えた撮像装置では、撮影した映像データを表示部１５３や外部モニタ等を用いて再生することができる。映像データの再生時には、記録媒体１９３から映像データや付加データが読み出される。読み出されたデータは、システム制御ＣＰＵ１７８の指示によりデジタル信号処理部１８７，１８８で復調され、表示インターフェース部１９１を介して表示部１５３に画像として提示される。また、再生時の動作は、撮像装置１００の背面に備えられた操作部（メニューボタン１５７、アップダウンスイッチ１５８，１５９、ダイアル１６０など）をユーザが操作することによって制御することができる。ユーザの操作には、動画の再生、停止、一時停止などが含まれる。

図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。

画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。

画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素要素３０３Ａに接続されている。信号出力線３０４Ａには、画素要素３０３Ａからの信号が出力される。各列の信号出力線３０４Ｂは、当該列に属する画素要素３０３Ｂに接続されている。信号出力線３０４Ｂには、画素要素３０３Ｂからの信号が出力される。画素アレイ３０２の各列には、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。

垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された不図示の制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ，ＴＸｎＢを示している（ｎは、行番号に対応した整数）。

読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。

タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号を出力する。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号を出力する。

図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ，３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ，３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６，２５７により構成した例を示している。

ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ，３１０Ｂに導くことができる。フォトダイオード３１０Ａ，３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。更に、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ，３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。

図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性２６２とを示している。

図５に示すように、出力特性２６１及び出力特性２６２は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、出力特性２６２のピーク強度ＰＢは、出力特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ，３１０Ｂの入射角依存性はともに小さく、それらの受光感度はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。

次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。

撮像素子１８４が、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルター１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２から射出される光束を何れの画素においても高効率で受光することが可能となっている。

図７は、撮像素子から出力される映像信号を説明する概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタの色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタが配置されている。

このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２，２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。

図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ，３０８Ｂからの２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＡとなる。また、出力データ２８３は、所定の信号処理ののちに映像信号ｐｉｃｔｕｒｅＢとなる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅＡ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することがある。

図８は、画素３０３の構成例を示す回路図である。画素３０３は、上記のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３Ａと、リセットトランジスタ３１４Ａと、増幅トランジスタ３１５Ａとを有する。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３Ｂと、リセットトランジスタ３１４Ｂと、増幅トランジスタ３１５Ｂとを有する。なお、フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応する。

フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３１０Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。転送トランジスタ３１１Ａのドレインは、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートに接続されている。転送トランジスタ３１１Ａのドレイン、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートの接続ノードが、フローティングディフュージョン領域３１３Ａを構成する。リセットトランジスタ３１４Ａのドレイン及び増幅トランジスタ３１５Ａのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ａを構成する増幅トランジスタ３１５Ａのソースは、信号出力線３０４Ａに接続されている。

同様に、フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ｂのドレインは、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートに接続されている。転送トランジスタ３１１Ｂのドレイン、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートの接続ノードが、フローティングディフュージョン領域３１３Ｂを構成する。リセットトランジスタ３１４Ｂのドレイン及び増幅トランジスタ３１５Ｂのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ｂを構成する増幅トランジスタ３１５Ｂのソースは、信号出力線３０４Ｂに接続されている。

各列の画素３０３は、垂直走査回路３０７から行方向に配されたリセット制御線３１９及び転送制御線３２０Ａ，３２０Ｂに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＡを供給する。転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＢを供給する。なお、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ及び転送パルスφＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。

フォトダイオード３１０Ａは光電変換により電荷を生成する第１の光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成する第２の光電変換部である。フローティングディフュージョン領域３１３Ａ，３１３Ｂは、電荷を蓄積する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３Ａに転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３Ｂに転送するためのものである。

垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎが出力されると、リセットトランジスタ３１４Ａ，３１４Ｂがオン状態となり、フォトダイオード３１０Ａ，３１０Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂがリセットされる。

垂直走査回路３０７からローレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａの信号電荷はフローティングディフュージョン領域３１３Ａに転送される。すると、増幅トランジスタ３１５Ａは、フォトダイオード３１０Ａから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ａの電圧を増幅して信号出力線３０４Ａに出力する。

同様に、垂直走査回路３０７からローレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂの信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。すると、増幅トランジスタ３１５Ｂは、フォトダイオード３１０Ｂから転送された信号電荷の量に応じたフローティングディフュージョン領域３１３Ｂの電圧を増幅して信号出力線３０４Ｂに出力する。

図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ，３１０Ｂ、転送トランジスタ３１１Ａ，３１１Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂを示している。リセットトランジスタ３１４Ａ，３１４Ｂ及び増幅トランジスタ３１５Ａ，３１５Ｂを含むその他の回路要素は、図面において読み出し回路部３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４Ａ，３０４Ｂ及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。

図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ，３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。

転送トランジスタ３１１Ａ，３１１Ｂ、コンタクト部３１２Ａ，３１２Ｂ、転送制御線３２０Ａ，３２０Ｂは、フォトダイオード３１０Ａ，３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光感度は高く、フォトダイオード３１０Ｂの受光感度は低くなっている。

本実施形態による撮像素子１８４では、フォトダイオード３１０Ａ，３１０Ｂの受光感度の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像が異なる蓄積期間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。

図１１は、撮像素子１８４の読み出し回路３０８Ａ，３０８Ｂの構成例を示す回路図である。なお、図１１には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。

読み出し回路３０８Ａは、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。

読み出し回路３０８Ａは、また、スイッチ４１４，４１５，４１８，４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４，４１５は、容量ＣＴＳＡ，ＣＴＮＡへの画素信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。

スイッチ４１８，４１９は、容量ＣＴＳＡ，ＣＴＮＡに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８，４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０Ｒ、信号ＰＴＮＡ及び信号ＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。

読み出し回路３０８Ｂも、読み出し回路３０８Ａと同等の構成を有している。また、以下の説明における信号ＰＴＮＢ及び信号ＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号であって、読み出し回路３０８Ａでの信号ＰＴＮＡ及び信号ＰＴＳＡと同等の役割を担っている。

次に、撮像素子１８４におけるリセット、蓄積及び読み出しの動作について、第１行目の画素３０３からの読み出し動作を例にして、図１２のタイミングチャートを用いて順次説明する。

まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに出力する転送パルスφＴＸ１Ａ，ＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳ１が出力されており、リセットトランジスタ３１４Ａ，３１４Ｂもオン状態である。これにより、フォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ａ，３１３Ｂも、リセット状態となる。

次いで、時刻ｔ２において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ｂはオフ状態となり、フォトダイオード３１０Ｂでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ３において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａはオフ状態となり、フォトダイオード３１０Ａでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ４において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ａ，３１４Ｂはオフ状態となり、フローティングディフュージョン領域３１３Ａ，３１３Ｂのリセットを解除する。

これにより、フローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介してリセット信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、フローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介してリセット信号レベルの画素信号として読み出され、読み出し回路３０８Ｂに入力される。

時刻ｔ４において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂには、ハイレベルの信号ＰＣ０Ｒが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ａには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ａからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路３０８Ｂにも同様に、画素要素３０３Ｂからリセット信号レベルの画素信号が入力される。

次いで、時刻ｔ５において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂに出力する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。

次いで、時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。

次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。

次いで、時刻ｔ８において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ａに転送し、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ｂに転送する。

時刻ｔ８において転送パルスφＴＸ１Ａ，φＴＸ１Ｂを同時にハイレベルにすることで、フォトダイオード３１０Ａ，３１０Ｂの蓄積期間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。したがって、ｐｉｃｔｕｒｅＡのデータを用いてｐｉｃｔｕｒｅＢのデータを補正する、ｐｉｃｔｕｒｅＢのデータを用いてｐｉｃｔｕｒｅＢのデータを補正する、といったクロストーク補正が非常に簡単な演算で実現できるようになる。

次いで、時刻ｔ９において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３Ａへの読み出し及びフォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３Ｂへの読み出しを終了する。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介して光信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、信号電荷により変化したフローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介して光信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
そして、読み出し回路３０８Ａでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。同様に、読み出し回路３０８Ｂにおいても、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ１０において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。

次いで、時刻ｔ１１において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。

次いで、時刻ｔ１２において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ａ，３１４Ｂをオン状態とする。これにより、フローティングディフュージョン領域３１３Ａ，３１３Ｂは、リセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。

図１３は、フォトダイオード３１０Ａ，３１０Ｂにおいて光電変換によって生成され蓄積されていく信号電荷の時間的な変化を示すグラフである。同図において、グラフの横軸は時間を表し、縦軸は信号電荷の量を表している。時間軸上には、図１２に示した時刻ｔ１から時刻ｔ１２を表示している。

時刻ｔ２において、転送パルスφＴＸ１Ｂをローレベルとして転送トランジスタ３１１Ｂをオフ状態にし、フォトダイオード３１０Ｂにおける信号電荷の蓄積を開始すると、フォトダイオード３１０Ｂが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻ｔ８において転送パルスφＴＸ１Ｂをハイレベルにして転送トランジスタ３１１Ｂをオン状態にし、フォトダイオード３１０Ｂの信号電荷をフローティングディフュージョン領域３１３Ｂへ転送するまで継続する。

また、時刻ｔ３において、転送パルスφＴＸ１Ａをローレベルとして転送トランジスタ３１１Ａをオフ状態にし、フォトダイオード３１０Ａにおける信号電荷の蓄積を開始する。これにより、フォトダイオード３１０Ａが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻ｔ８において転送パルスφＴＸ１Ａをハイレベルにして転送トランジスタ３１１Ａをオン状態にし、フォトダイオード３１０Ａの信号電荷をフローティングディフュージョン領域３１３Ａへ転送するまで継続する。

時刻ｔ８において、フォトダイオード３１０Ｂが保持する信号電荷量ＬＢとフォトダイオード３１０Ａが保持する信号電荷量ＬＡとは、受光感度の差を蓄積期間の差によって相殺することにより、ほぼ同程度となっている。

転送パルスφＴＸ１Ｂと転送パルスφＴＸ１Ａがともにローレベルである期間ＴＭ１において、フォトダイオード３１０Ａとフォトダイオード３１０Ｂの間のクロストークが発生する。期間ＴＭ１は、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積期間のうちの短い方の値である。クロストーク量は、信号電荷の量にほぼ比例するので、信号電荷量が大きくなる期間ＴＭ１の後半の期間ＴＭ２において、相対的に多くのクロストークが発生する。

フォトダイオード３１０Ａからフォトダイオード３１０Ｂへのクロストーク量ＣＴＡＢは、右下がりの斜影線を付した領域９５３の面積に比例する。また、フォトダイオード３１０Ｂからフォトダイオード３１０Ａへのクロストーク量ＣＴＢＡは、左下がりの斜影線を付した領域９５４の面積に比例する。これらの比例定数をそれぞれｋ，ｇと定義すると、クロストーク量ＣＴＡＢ，ＣＴＢＡは、
ＣＴＡＢ＝ｋ×（ＬＡ×ＴＭ１）／２ …（１）
ＣＴＢＡ＝ｇ×（ＬＡ＋ＬＢＳ）×ＴＭ１／２ …（２）
と表すことができる。ここで、ＬＢＳは、時刻ｔ３におけるフォトダイオード３１０Ｂの信号電荷量である。また、この図には表現していないが、時刻ｔ２から時刻ｔ３までの期間が期間ＴＭ１に対して十分に小さいと仮定すると、ＬＢ＝ＬＢＳと近似することができる。したがって、式（２）は、
ＣＴＢＡ＝ｇ×ＬＢ×ＴＭ１ …（３）
と変形することができる。

したがって、式（１）及び式（３）から、クロストーク量ＣＴＡＢは、信号電荷量ＬＡと、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積期間のうちの短い方の値（期間ＴＭ１）との関数であることが判る。また、クロストーク量ＣＴＢＡは、信号電荷量ＬＢと、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積期間のうちの短い方の値（期間ＴＭ１）との関数であることが判る。

図１４は、図９のＡ−Ｂ線に沿った画素３０３のポテンシャル図である。図１４（ａ）は図１２の時刻ｔａにおけるポテンシャル図、図１４（ｂ）は図１２の時刻ｔｂにおけるポテンシャル図、図１４（ｃ）は図１２の時刻ｔｃにおけるポテンシャル図である。

時刻ｔａにおいては、図１４（ａ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、フォトダイオード３１０Ａ，３１０Ｂには、それぞれ信号蓄積レベル３２３Ａ，３２３Ｂの信号電荷が蓄積されている。前述のように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとでは受光感度が異なるが、蓄積期間の差によって受光感度の差を相殺することで、信号蓄積レベル３２３Ａ，３２３Ｂは同程度になっている。この状態は比較的長く続くため、フォトダイオード３１０Ａの蓄積電荷が隣接するフォトダイオード３１０Ｂに漏れる現象及びフォトダイオード３１０Ｂの蓄積電荷が隣接するフォトダイオード３１０Ａに漏れる現象が、無視できないレベルで発生する。

時刻ｔｂにおいては、図１４（ｂ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオン状態であり、転送トランジスタ３１１Ａ，３１１Ｂのポテンシャル障壁が低くなっている。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ａに転送され、フォトダイオード３１０Ｂに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。この際、分離部３２２のポテンシャル障壁も低くなるが、転送トランジスタ３１１Ａ，３１１Ｂのポテンシャル障壁は十分に小さくなっている。そのため、このタイミングでフォトダイオード３１０Ａ，３１０Ｂの蓄積電荷が分離部３２２を介して隣接するフォトダイオード３１０Ｂ，３１０Ａへ漏れる現象はほとんど生じない。

時刻ｔｃにおいては、図１４（ｃ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、ポテンシャルは図１４（ａ）の状態に戻る。

図１５は、撮像素子１８４の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。図において、画素３０３に入射する光束４５１は、まずカラーフィルタ２５６に入射して所定の波長成分がここで吸収され、絶縁層２５４の最上部にあたる界面不活性化膜（図示せず）を通過し、ライトガイド２５５に入射する。ライトガイド２５５内では、先に図５を用いて説明したように、光の波動的な振る舞いによって光線の方位情報、すなわち瞳情報が消失する。光束４５１は、ライトガイド２５５と絶縁層２５４との屈折率差によってライトガイド２５５の内部に閉じ込められたままシリコン基板２５１側に進み、ライトガイド２５５の底部分に達する。ライトガイド２５５の底部分はシリコン基板２５１に隣接し、ライトガイド２５５を射出した光束はシリコン基板２５１に入射する。シリコン基板２５１内に隣接して設けられたフォトダイオード３１０Ａとフォトダイオード３１０Ｂとは、ライトガイド２５５に対して大きく偏芯して配置されている。このため、ライトガイド２５５を射出した光束のうちの大部分の光束４５２がフォトダイオード３１０Ａへ入射し、ライトガイド２５５を射出した光束のうちの残りの一部分の光束４５３がフォトダイオード３１０Ｂへ入射する。フォトダイオード３１０Ａ，３１０Ｂでは、入射した光子が信号電荷へと変換される。

この際、撮像素子１８４のシリコン基板２５１内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード３１０Ａで発生した信号電荷４５４は、拡散によってフォトダイオード３１０Ｂに漏れ込む。また。フォトダイオード３１０Ｂで発生した信号電荷４５５は、拡散によってフォトダイオード３１０Ａに漏れ込む。この現象は映像に悪影響を及ぼし、画像の滲みとなって現れる。

図１６は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は、「時：分：秒：フレーム」を表している。

時刻ｔ３１は、撮像装置１００の電源投入時刻である。
時刻ｔ３２において、動画撮影ボタンであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、ｐｉｃｔｕｒｅＢの撮像及びｐｉｃｔｕｒｅＡの撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、ｐｉｃｔｕｒｅＢについては、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。

なお、ｐｉｃｔｕｒｅＢの撮像だけでなくｐｉｃｔｕｒｅＡの撮像も同時に行っているのは、後述するクロストーク補正を常に有効にするためである。図１３に示した転送パルスφＴＸ１Ａがローレベルにならなければ、転送トランジスタ３１１Ａはオン状態であるため、フォトダイオード３１０Ａで発生した信号電荷は蓄積されることはない。しかし、仮にスイッチＳＴ１５４が操作された期間のみをクロストーク補正の対象にすると、クロストーク補正誤差の影響で、スイッチＳＴ１５４の操作タイミングにおいて記録されたｐｉｃｔｕｒｅＢに微妙な輝度変化や色相の変化が生じることとなる。

時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、ｐｉｃｔｕｒｅＡについても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。なお、ｐｉｃｔｕｒｅＡの映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、ｐｉｃｔｕｒｅＢの映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。

ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの何れについても、記録媒体１９３に記録された各映像データは、同一フレームレート、例えば６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図１７に示すようになる。

図１８は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ １４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオおよびオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘ５０２に格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。

スキップＢｏｘ５０４内には、この映像データファイルを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Unique Material Identifier）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、また、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘに格納されているので、汎用のビューアで再生する際に影響を与えない。

ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ―ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行うことができる。

図１９は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。

前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光感度の差は、３段に設定されている。このため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとの間のＩＳＯ感度範囲には、３段の差がある。図２０に示すように、ｐｉｃｔｕｒｅＡはＩＳＯ１００〜ＩＳＯ１０２４００、ｐｉｃｔｕｒｅＢはＩＳＯ１２〜ＩＳＯ１２８００となっている。

図２１は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。ｐｉｃｔｕｒｅＡのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、ｐｉｃｔｕｒｅＢのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図２１において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図２１を用いて説明する。

まず、Ｂｖ１３のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ１００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００秒、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００秒、絞り値Ｆ１１と定まる。

Ｂｖ１０のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００秒、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。

Ｂｖ６のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

Ｂｖ５のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ２５に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

以降、輝度が下がるにつれて、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲においてｐｉｃｔｕｒｅＡは１／１０００秒以上のシャッタースピードを保ち、ｐｉｃｔｕｒｅＢは多くの輝度範囲で１／６０秒のシャッタースピードを保っている。これにより、ｐｉｃｔｕｒｅＡではストップモーション効果を得つつ、ｐｉｃｔｕｒｅＢではジャーキネスの抑制された高品位な動画を得ることができる。

図２２は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとの間のシャッタースピードの差異を撮像シーケンス上で説明する図である。図には、横軸を時間として、垂直同期信号４８１、ｐｉｃｔｕｒｅＡの蓄積期間４８２，４８３、ｐｉｃｔｕｒｅＢの蓄積期間４８４，４８５を示している。ｎは、フレーム番号である。

蓄積期間４８２は、ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間であり、蓄積期間４８３は、ｐｉｃｔｕｒｅＡの画面下端ラインの蓄積期間である。撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。時刻ｔ５３から時刻ｔ５４までが蓄積期間４８２であり、時刻ｔ５５から時刻ｔ５６までが蓄積期間４８３である。

また、蓄積期間４８４は、ｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間であり、蓄積期間４８５は、ｐｉｃｔｕｒｅＢの画面下端ラインの蓄積期間である。ｐｉｃｔｕｒｅＢにおいてもｐｉｃｔｕｒｅＡと同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。時刻ｔ５１から時刻ｔ５４までが蓄積期間４８４であり、時刻ｔ５２から時刻ｔ５６までが蓄積期間４８５である。

ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積期間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度のレベルの信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

図２３は、撮像素子１８４に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が図１（ｂ）の状態から時計方向に９０度回動した位置にあるので、デュアル映像モードでのｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのシャッタースピード４９１，４９２及びＦナンバー４９３が表示されている。

図２４（ａ），（ｂ）は、スイッチＳＴ１５４、スイッチＭＶ１５５を操作することにより取得された映像のうちの１フレームを示したものである。図２４（ａ）は、シャッタースピード１／１０００秒、絞り値Ｆ４．０で撮影されたｐｉｃｔｕｒｅＡの映像である。図２４（ｂ）は、シャッタースピード１／６０秒、絞り値Ｆ４．０で撮影されたｐｉｃｔｕｒｅＢの映像である。図２４（ｂ）に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにぶれている。ただし、これを６０ｆｐｓ程度のフレームレートの動画として再生すると、このぶれがむしろ良い方向に働いてジャーキネスの抑制された滑らかな高品位な映像となる。一方、図２４（ａ）に示した映像は、シャッタースピードが速く、本来であればストップモーション効果が現れるはずである。しかしながら、図１５を用いて先に説明したように、シリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込み、図２４（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっている。このクロストーク現象は、図２４（ｂ）に示した映像においても発生しているが、元々ぶれた映像であるためほとんど目立たない。

そこで、速いシャッタースピードによる本来のストップモーション効果を得るために、本実施形態による撮像装置においては、撮像素子１８４から出力された映像信号に対して以下に説明するクロストーク補正を施す。

図２５は、デジタル信号処理部１８７，１８８において行われるクロストーク補正処理を説明するための図である。実際の処理は、デジタル信号処理として実行される。

デジタル信号処理部１８７において、Ａ／Ｄ変換処理が施された後の信号４７１Ａは、クロストーク量補正部４７３Ａに入力され、また、クロストーク量演算部４７２Ａを介してクロストーク量補正部４７３Ｂに入力される。同様に、デジタル信号処理部１８８において、Ａ／Ｄ変換処理が施された後の信号４７１Ｂは、クロストーク量補正部４７３Ｂに入力され、また、クロストーク量演算部４７２Ｂを介してクロストーク量補正部４７３Ａに入力される。

クロストーク量補正部４７３Ａでは、信号４７１Ａと、クロストーク量演算部４７２Ｂにおいてクロストーク補正関数ｇｉｊ（ｎ）により所定の演算が施された後の信号４７１Ｂとに基づき、信号４７１Ａのクロストーク補正を行い、出力信号４７４Ａを得る。出力信号４７４Ａに対しては、デジタル信号処理部１８７における後段の処理である現像や圧縮処理が施される。

クロストーク量補正部４７３Ｂでは、信号４７１Ｂと、クロストーク量演算部４７２Ａにおいてクロストーク補正関数ｆｉｊ（ｎ）により所定の演算が施された後の信号４７１Ａとに基づき、信号４７１Ｂのクロストーク補正を行い、出力信号４７４Ｂを得る。出力信号４７４Ｂに対しては、デジタル信号処理部１８８における後段の処理である現像や圧縮処理が施される。

クロストークは生成される信号電荷の量に依存するため、クロストーク量補正部４７３Ａ，４７３Ｂにより、一方の画素要素で生成された信号電荷の量に応じたクロストーク量によって他方の画素要素の出力信号を補正することでクロストーク補正が可能となる。これにより、他方の画素の出力信号から、これに重畳している一方の画素要素からのクロストーク成分を除去することができる。

クロストークは生成される信号電荷の量に依存するため、クロストーク量補正部４７３Ａ，４７３Ｂにより、一方の画素要素で生成された信号電荷の量に応じたクロストーク量によって他方の画素要素の出力信号を補正することでクロストーク補正が可能となる。これにより、他方の画素の出力信号から、これに重畳している一方の画素要素からのクロストーク成分を除去することができる。

ここで、ｎフレーム目のｐｉｃｔｕｒｅＡの画素アドレスｉｊにおけるデータをＤＡＴＡ＿Ａｉｊ（ｎ）、ｎフレーム目のｐｉｃｔｕｒｅＢの画素アドレスｉｊにおけるデータをＤＡＴＡ＿Ｂｉｊ（ｎ）、補正係数をαとする。クロストークは入力光量に依存することから、ｎフレーム目のｐｉｃｔｕｒｅＡの画素アドレスｉｊの補正されたデータＣ＿ＤＡＴＡ＿Ａｉｊ（ｎ）は、式（４）のように表すことができる。
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）
＝ＤＡＴＡ＿Ａｉｊ（ｎ）−α×ＤＡＴＡ＿Ｂｉｊ（ｎ） …（４）
クロストーク補正関数ｆｉｊ（ｎ）を、
ｆｉｊ（ｎ）＝−α×ＤＡＴＡ＿Ｂｉｊ（ｎ）
とすると、式（４）は、
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）＝ＤＡＴＡ＿Ａｉｊ（ｎ）＋ｆｉｊ（ｎ）
と表すことができる。

同様に、ｎフレーム目のｐｉｃｔｕｒｅＢの画素アドレスｉｊにおける補正されたデータＣ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）は、補正係数をβとして、式（５）のように表すことができる。
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）
＝ＤＡＴＡ＿Ｂｉｊ（ｎ）−β×ＤＡＴＡ＿Ａｉｊ（ｎ） …（５）
クロストーク補正関数ｇｉｊ（ｎ）を、
ｇｉｊ（ｎ）＝−β×ＤＡＴＡ＿Ａｉｊ（ｎ）
とすると、式（５）は、
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）＝ＤＡＴＡ＿Ｂｉｊ（ｎ）＋ｇｉｊ（ｎ） …（６）
と表すことができる。

前述したように、ｐｉｃｔｕｒｅＢでもクロストークは発生しているが、元々ぶれた映像であるためにほとんど目立たないので、式（５）〜式（６）に示した処理は省略してもよい。比較的短い蓄積期間の映像に対してはクロストーク補正を行い、比較的長い蓄積期間の映像に対してはクロストーク補正を行わないようにすれば、演算負荷を低減することも可能である。

図２６は、クロストーク補正関数ｆｉｊ（ｎ），ｇｉｊ（ｎ）の具体例を示す図である。同図において、横軸が入力データの大きさを示し、縦軸が補正すべきクロストーク補正量を示している。クロストーク補正関数ｆｉｊ（ｎ），ｇｉｊ（ｎ）は、いずれも、入力データに比例したクロストーク補正量を得る関数である。厳密には、画素構造に依存して異なるものの、補正係数αと補正係数βとは同程度の数値となる。ただし、画素要素への光の入射角に依存してシリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込む度合いは異なる。このことから、絞り１８１を開けてＦナンバーが大きくなっているときほどクロストークは大きく、クロストーク補正量の絶対値も大きくなる。一方、絞り１８１を絞ってＦナンバーが小さくなっているときほどクロストークは小さく、クロストーク補正量の絶対値も小さくなる。図において、特性５９１はＦ２．８のときのクロストーク補正関数であり、特性５９２はＦ５．６のときのクロストーク補正関数であり、特性５９３はＦ１１のときのクロストーク補正関数である。特性５９１、特性５９２、特性５９３の順に傾きが小さくなっている。なお、撮影光学系１５２のＦナンバーは連続的に変化させることができるので、補正係数α及び補正係数βをＦナンバーの関数とすれば、より高精度なクロストーク補正を実現することができる。

また、図１３を用いて先に説明したように、補正係数αと補正係数βは、相対的に短く設定したｐｉｃｔｕｒｅＡ用のフォトダイオードの蓄積期間の関数とするとよい。更に、像高によってもクロストーク補正量を変えることで、より正確なクロストーク補正を実現することができる。ライトガイド２５５への光の入射が斜めになることでクロストークは増加するので、画素アドレスｉｊを基に光軸１８０から画素までの距離ＺＫを算出し、距離ＺＫに比例して絶対値が増加するようにクロストーク補正を加えるとよい。さらに、ライトガイド２５５への光の入射角の変化は、撮影光学系１５２の射出瞳と撮像素子１８４との距離ＨＫにも依存するので、クロストーク補正関数を距離ＨＫの関数とすることでより高精度な補正を行うことができる。

図２７は、シャッタースピード１／１０００秒、絞り値Ｆ４．０で撮影されたｐｉｃｔｕｒｅＡの映像（図２４（ａ））に対してクロストーク補正を施した後のｐｉｃｔｕｒｅＡの映像である。図２４（ａ）の映像では、シリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込み、図２４（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっていた。それに対して、図２８の映像では、本来の速いシャッタースピードによるストップモーション効果が現れている。デジタルスチルモーションカメラの表示部１５３上では、再生ボタン１６１が操作されたときに、例えば図２８に示すように、ｐｉｃｔｕｒｅＡによる画像４９６とｐｉｃｔｕｒｅＢによる画像４９７の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。

図２９は、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを含むデータファイルの画像再生装置における再生方法を説明する図である。画像再生装置としては、本実施形態で説明した撮像装置１００が有する画像再生装置のみならず、タブレット端末、パーソナルコンピュータ、テレビモニタなどを活用することができる。タブレット端末、パーソナルコンピュータ、テレビモニタ等の装置には、ＭＰ４ファイル等の動画ファイルを再生するための構成（ＣＰＵ、復調部、表示部など）が設けられており、画像再生装置として動作する。本実施形態の撮像装置１００では、画像再生部としての機能は、主にシステム制御ＣＰＵ１７８が実施する。

ここで、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図において、フレーム群５８１は、ＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルには、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。

動画の再生をスタートすると、ｐｉｃｔｕｒｅＢのフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。ｐｉｃｔｕｒｅＢは、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はジャーキネスの抑制された高品位なものである。なお、本明細書では、撮影時のフレームレート以上のフレームレートで動画の再生を行う場合の動画ファイルの再生モードを、時間に応じて提示画像を変化する提示モードと表現することがある。

ここで、ｐｉｃｔｕｒｅＢの動画の提示中に、使用者から再生モードの切り替え指示があった場合を想定する。例えば、フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にｐｉｃｔｕｒｅＢに対応するｐｉｃｔｕｒｅＡのデータファイルから同一タイムコードのフレーム５８２が検索され、表示される。ｐｉｃｔｕｒｅＡは、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積期間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳ／Ｎ比の良好なノイズ感のない映像となる。

ここで、印刷の指示を行うと、ｐｉｃｔｕｒｅＡのフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、ｐｉｃｔｕｒｅＡを反映したストップモーション効果がある迫力のあるものとなる。

使用者が一時停止を解除すると、自動的にｐｉｃｔｕｒｅＢのフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はジャーキネスの抑制された高品位なものである。

次に、上述した撮像素子１８４を備えた撮像装置において、フラッシュバンドを検出する方法について説明する。図３０は、フラッシュバンドが発生した画像の例を示す図である。図３０（ｂ）〜図３０（ｄ）に示す斜線部は、フラッシュバンドの発生した領域を表している。一方、図３０（ａ）は、フラッシュバンドが発生していない画像を比較用として示している。図３０（ｂ）〜図３０（ｄ）では、それぞれ画像の下方、上方、中央にフラッシュバンド８０１ｂ〜８０１ｄが発生している。フラッシュバンド８０１ｂ〜８０１ｄが発生した領域では、フラッシュバンド発生していない領域と比べて高輝度な映像信号が得られる。

このようなフラッシュバンドは、画素の信号電荷の蓄積及び読み出しをライン（行）ごとに順に行ういわゆるローリング電子シャッター方式に特有な現象である。ローリング電子シャッター方式では、画素のラインごとに蓄積期間の遅れが生じる。このため、例えば撮影者の近くで別の撮影者がストロボ（以下、「外部ストロボ」という）等を発光させると、その光を撮像素子が受光して、撮像素子が出力する映像信号にバンド状（帯状）の明るい領域（フラッシュバンド）が発生する。したがって、外部ストロボが発光するより前に信号電荷の蓄積期間が終了したラインでは映像信号の輝度が適切となるが、外部ストロボが発光している期間に信号電荷の蓄積期間が重なったラインでは映像信号の輝度が高くなってしまう。

フラッシュバンドが発生するメカニズムについて、図３１に示す撮像シーケンスを用いて説明する。図３１は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積期間と外部ストロボの発光タイミング８０２との関係をタイミングチャートで示している。発光タイミング８０２のＨｉｇｈの部分は外部ストロボが発光している期間を示し、Ｌｏｗの部分は外部ストロボが発光していない期間を示している。また、図３１には垂直同期信号４８１を示している。

図３１に示す外部ストロボの発光開始タイミング８０３は、第２フレームのｐｉｃｔｕｒｅＡの蓄積期間８０５と交差している。また、図３１に示す外部ストロボの発光終了タイミング８０４は、第２フレームのｐｉｃｔｕｒｅＡの蓄積期間８０６と交差している。すなわち、蓄積期間８０５は第２フレームのｐｉｃｔｕｒｅＡの蓄積期間が外部ストロボの発光期間と重なる一番上のラインを表し、蓄積期間８０６は第２フレームのｐｉｃｔｕｒｅＡの蓄積期間が外部ストロボの発光期間と重なる一番下のラインを表している。したがって、ｐｉｃｔｕｒｅＡでは、第２フレームの蓄積期間８０５のラインから第２フレームの蓄積期間８０６のラインまでにおいて取得された信号電荷に基づく映像信号が、外部ストロボの影響を受けてフラッシュバンドとなる。

同様に、図３１に示す外部ストロボの発光開始タイミング８０３は、第２フレームのｐｉｃｔｕｒｅＢの蓄積期間８０７のライン以下の蓄積期間と交差している。また、図３１に示す外部ストロボの発光終了タイミング８０４は、第３フレームのｐｉｃｔｕｒｅＢの蓄積期間８０８のライン以上の蓄積期間と交差している。すなわち、蓄積期間８０７は第２フレームのｐｉｃｔｕｒｅＢの蓄積期間が外部ストロボの発光期間と重なる一番上のラインを表し、蓄積期間８０８は第３フレームのｐｉｃｔｕｒｅＢの蓄積期間が外部ストロボの発光期間と重なる一番下のラインを表している。したがって、ｐｉｃｔｕｒｅＢでは、第２フレームの蓄積期間８０７のラインから第３フレームの蓄積期間８０８のラインまでにおいて取得された信号電荷に基づく映像信号が、外部ストロボの影響を受けてフラッシュバンドとなる。

特にｐｉｃｔｕｒｅＢの蓄積期間はｐｉｃｔｕｒｅＡの蓄積期間と比べて長く調整されるため、第２フレームのｐｉｃｔｕｒｅＢでは、蓄積期間８０７のライン以下が全て外部ストロボの影響を受けてフラッシュバンドとなってしまう。また、第３フレームのｐｉｃｔｕｒｅＢでは、蓄積期間８０８のライン以上が全て外部ストロボの影響を受けてフラッシュバンドとなってしまう。

前述のように、本実施形態ではｐｉｃｔｕｒｅＡの蓄積期間の長さとｐｉｃｔｕｒｅＢの長さの比が、ｐｉｃｔｕｒｅＡの受光感度とｐｉｃｔｕｒｅＢの受光感度の比に応じて調整される。典型的にはｐｉｃｔｕｒｅＡの蓄積期間の長さとｐｉｃｔｕｒｅＢの長さの比は、ｐｉｃｔｕｒｅＡの受光感度とｐｉｃｔｕｒｅＢの受光感度の比に反比例するように調整される。

ｐｉｃｔｕｒｅＡの受光感度はｐｉｃｔｕｒｅＢの受光感度と比べて高いため、ｐｉｃｔｕｒｅＡの蓄積期間は相対的に短く設定される。このため、蓄積期間が外部ストロボの発光期間と重なるｐｉｃｔｕｒｅＡのライン数は、ｐｉｃｔｕｒｅＢと比べて相対的に少なくなる。例えば図３１に示すタイミングチャートでは、第２フレームのｐｉｃｔｕｒｅＡの蓄積期間８０５及び蓄積期間８０６だけが、外部ストロボの発光期間と重なっている。

一方、ｐｉｃｔｕｒｅＢの受光感度はｐｉｃｔｕｒｅＡの受光感度と比べて低いため、ｐｉｃｔｕｒｅＢの蓄積期間は相対的に長く設定される。このため、蓄積期間が外部ストロボの発光期間と重なるｐｉｃｔｕｒｅＢのライン数は、ｐｉｃｔｕｒｅＡと比べて相対的に多くなる。例えば図３１に示すタイミングチャートでは、第２フレームのｐｉｃｔｕｒｅＢの蓄積期間８０７以下の全ラインと、第３フレームのｐｉｃｔｕｒｅＢの蓄積期間８０８以上の全ラインが、外部ストロボの発光期間と重なっている。

次に、図３１に示したタイミングチャートにおいてｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢに発生するフラッシュバンドの検出方法について、図３２を用いて説明する。図３２（ａ）は、図３１に示したタイミングチャートにおいて取得された第２フレームのｐｉｃｔｕｒｅＡの画像を表しており、画像の中央の開始ライン８０９から終了ライン８１０までの領域にフラッシュバンドが発生している。図３２（ｂ）は、図３１に示したタイミングチャートにおいて取得された第２フレームのｐｉｃｔｕｒｅＢの画像を表しており、画像の下方の開始ライン８１１以下の領域にフラッシュバンドが発生している。図３２（ｃ）は、図３１に示したタイミングチャートにおいて取得された第３フレームのｐｉｃｔｕｒｅＢの画像を表しており、画像の上方の終了ライン８１２以上の領域にフラッシュバンドが発生している。

図３２（ｄ）は、図３２（ａ）に示す破線８１３に沿った画像の高さ方向の輝度分布を概略的に表している。図３２（ｅ）は、図３２（ｂ）に示す破線８１４に沿った画像の高さ方向の輝度分布を概略的に表している。図３２（ｆ）は、図３２（ｃ）示す破線８１５に沿った画像の高さ方向の輝度分布を概略的に表している。

撮影者の近くで外部ストロボが発光して撮影画像にフラッシュバンドが発生した場合には、図３２（ｄ）〜図３２（ｆ）に示すように、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで画像の高さ方向の輝度分布が異なる。そこで、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの輝度分布を比較することでフラッシュバンドの発生を検出することができる。以下、フラッシュバンドの開始ライン及び終了ラインの検出方法についてより具体的に説明するが、以下で説明するフラッシュバンドの検出方法は一例であり、本発明は必ずしもこの方法に限定されるものではない。

以下の説明において、フラッシュバンドの開始ラインとは、撮像素子１８４から映像信号を読み出す際に、フラッシュバンドの影響が最初に現れるラインのことをいう。また、フラッシュバンドの終了ラインとは、撮像素子１８４から映像信号を読み出す際に、フラッシュバンドの影響が最後に現れるラインのことをいう。図３２（ａ）には、ｐｉｃｔｕｒｅＡに発生したフラッシュバンドの開始ライン８０９及び終了ライン８１０を示している。図３２（ｂ）には、ｐｉｃｔｕｒｅＢに発生したフラッシュバンドの開始ライン８１１を示している。図３２（ｃ）には、ｐｉｃｔｕｒｅＢに発生したフラッシュバンドの終了ライン８１２を示している。

まず、フラッシュバンドの開始ラインの検出方法について説明する。前述のように、本実施形態では、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの輝度が概ね等しくなるように、両信号の蓄積期間の長さが調整される。このため、通常はｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで輝度は概ね等しい。しかし、外部ストロボのように強い光が短期間に発光される場合には、１撮影周期中に受光される光量は両信号で等しくならず、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの輝度は、両信号の受光感度に比例して異なってくる。したがって、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの輝度の比が大きく変化しているラインを検出することで、フラッシュバンドの開始ラインと終了ラインを判定することができる。

以下では説明を簡単にするため、フラッシュバンドが発生した場合でもｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢは飽和しないことを仮定する。その他の場合として、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの両方が飽和する場合や、受光感度の高いｐｉｃｔｕｒｅＡのみが飽和する場合等が考えられるが、このような場合であっても以下で説明する手法を適用することは可能である。

図３２（ｄ）〜図３２（ｆ）はそれぞれ、図３２（ａ）〜図３２（ｃ）に示した破線８１３、８１４、８１５に沿った、画像の高さ方向の輝度分布を示している。図３２（ｄ）に示すｐｉｃｔｕｒｅＡに発生したフラッシュバンドの輝度８１６と、図３２（ｅ）及び図３２（ｆ）に示すｐｉｃｔｕｒｅＢに発生したフラッシュバンドの輝度８１７は、概ね両信号の受光感度に比例して大きさが異なっている。一方、図３２（ｄ）〜図３２（ｅ）に示すフラッシュバンドが発生していない領域８２０、８２１では、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの輝度が概ね等しくなっている。

したがって、図３２（ｄ）及び図３２（ｅ）に示すように、ｐｉｃｔｕｒｅＡのｐｉｃｔｕｒｅＢに対する輝度の比が大きく変化して、例えば所定の第１の閾値を超えた場合に、そのラインをフラッシュバンドの開始ラインとして判定することができる。

或いは、フラッシュバンドの開始ラインの判定方法として別の方法を用いることもできる。本実施形態では、図３１に示したようにｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢで読み出しタイミングが一致するように制御される。すなわち、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで蓄積期間の終了タイミングが一致する。この場合、図３２（ａ）及び図３２（ｂ）に示すように、ｐｉｃｔｕｒｅＡのフラッシュバンドの開始ライン８０９と、ｐｉｃｔｕｒｅＢのフラッシュバンドの開始ライン８１１は一致する。したがって、ｐｉｃｔｕｒｅＡの輝度及びｐｉｃｔｕｒｅＢの輝度が共に所定の閾値以上に変化したラインを、フラッシュバンドの開始ラインと判定することもできる。これらのフラッシュバンドの開始ラインの判定方法は、組み合わせて用いることも可能である。

次に、フラッシュバンドの終了ラインの検出方法について説明する。フラッシュバンドの終了ラインについても、フラッシュバンドの開始ラインと同様に、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの輝度の比が大きく変化しているラインとして検出することができる。したがって、図３２（ｄ）及び図３２（ｅ）に示すように、ｐｉｃｔｕｒｅＡのｐｉｃｔｕｒｅＢに対する輝度の比が大きく変化して、第１の閾値を下回った場合に、そのラインをｐｉｃｔｕｒｅＡのフラッシュバンドの終了ラインとして判定することができる。

但し、ｐｉｃｔｕｒｅＢのフラッシュバンドの終了ラインを判定する場合は、ｐｉｃｔｕｒｅＡのフラッシュバンドの終了ラインを判定する場合とは異なる方法を用いる必要がある。ｐｉｃｔｕｒｅＢではジャーキネスを抑えるために、受光感度を抑えつつ蓄積期間が長くなるように制御される。このため、外部ストロボのように強い光が短期間に発光される場合には、外部ストロボの影響がｐｉｃｔｕｒｅＢの多くのラインに及ぶ。例えば図３２（ｂ）に示したｐｉｃｔｕｒｅＢでは、第２フレームの開始ライン８１１以下の全てのラインにフラッシュバンドの影響が現れる。そして、フラッシュバンドの終了ライン８１２は、図３２（ｃ）に示すように、次の第３フレームに現れる。一方、図３２には示していないが、ｐｉｃｔｕｒｅＡでは、蓄積期間が短くなるように制御されるため、第３フレームにはフラッシュバンドが現れない。

したがって、第３フレームのｐｉｃｔｕｒｅＢの第３フレームのｐｉｃｔｕｒｅＡに対する輝度の比が大きく変化して、所定の閾値を下回った場合に、そのラインをｐｉｃｔｕｒｅＢのフラッシュバンドの終了ラインとして判定することができる。或いは、ｐｉｃｔｕｒｅＢのフラッシュバンドの終了ラインの判定方法として、より単純な方法を用いることもできる。例えば、フラッシュバンドの開始ラインを検出した後にｐｉｃｔｕｒｅＢの輝度が大きく変化して、所定の第２の閾値を下回った場合に、そのラインをｐｉｃｔｕｒｅＢのフラッシュバンドの終了ラインとして判定してもよい。

このように、本実施形態では、受光感度の異なる２つの光電変換部から得られる同一フレームのｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの輝度分布を比較することで、フラッシュバンドの開始ライン及び終了ラインを検出することが可能となる。これにより、従来のようにフレーム間で画像を比較してフラッシュバンドを検出する方法と比較して、以下のような優れた効果が得られる。すなわち、例えば高速で動く明るい物体がフレーム間において画像に映り込んだ場合等であっても、本実施形態では、同一フレームの被写体の位置が変わらない２つの画像を比較するため、フラッシュバンドが発生した場合を区別することができる。

また、本実施形態ではｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで受光感度及び蓄積期間の長さが異なるため、高速で動く物体は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとでブレの程度が異なる。したがって、高速で動く物体が明るい物体であっても、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで高速で動く物体の輪郭のブレの程度を比較することで、高速で動く明るい物体映り込んだ場合とフラッシュバンドが発生した場合とを区別することができる。

次に、上述した方法により検出したフラッシュバンドを補正して適切な露出の画像を得る方法について説明する。本実施形態では、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢを相互に補正することが可能である。例えば、図３１に示した外部ストロボの発光タイミング８０２の場合には、第３フレームのｐｉｃｔｕｒｅＢにはフラッシュバンドが発生するが、第３フレームのｐｉｃｔｕｒｅＡにはフラッシュバンドが発生しない。したがって、第３フレームのｐｉｃｔｕｒｅＡを用いて、第３フレームのｐｉｃｔｕｒｅＢを補正することができる。

また、図３２（ｂ）にした第２フレームのｐｉｃｔｕｒｅＢでは、開始ライン８１１以下の全てのラインにフラッシュバンドが発生している。一方、図３２（ａ）に示した第２フレームのｐｉｃｔｕｒｅＡでは、終了ライン８１０以下にはフラッシュバンドが発生していない。したがって、第２フレームのｐｉｃｔｕｒｅＡのフラッシュバンドが発生していないラインを用いて、第２フレームのｐｉｃｔｕｒｅＢのフラッシュバンドが発生しているライン補正することができる。なお、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの両方にフラッシュバンドが発生しているラインについては、従来のフレーム間の補正を行うことが考えられる。

次に、上述したフラッシュバンドの検出方法及び補正方法について、図３３に示すフローチャートを用いて説明する。

ステップＳ７０１では、図１６に示した撮像シーケンスの時刻ｔ３２におけるスイッチＭＶの操作に応じて、図１２に示したシーケンスに従って、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを取得するための信号電荷の蓄積と読み出しを行う。

ステップＳ７０２では、読み出された信号を、アナログフロントエンド１８５、１８６によりデジタル化（Ａ／Ｄ変換）する。

ステップＳ７０３では、光電変換部に発生した信号電荷が拡散して隣接する画素要素に漏れ込むことによるクロストークを補正する。この処理はデジタル信号処理部１８７、１８８において行われる。

ステップＳ７０４では、クロストーク補正が行われたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢに基づいて、上述したフラッシュバンドの検出を行う。この処理もデジタル信号処理部１８７、１８８において行われる。すなわち、デジタル信号処理部１８７、１８８はフラッシュバンド検出部として機能する。

ステップＳ７０５では、ステップＳ７０４で検出したフラッシュバンドの領域に対して、上述したフラッシュバンドの補正を行う。この処理もデジタル信号処理部１８７、１８８において行われる。すなわち、デジタル信号処理部１８７、１８８はフラッシュバンド補正部としても機能する。フラッシュバンドの補正方法に関しては、上述した方法以外の公知の方法を用いてもよい。

ステップＳ７０６では、ガンマ補正等の現像処理と、必要に応じて圧縮処理を行う。ガンマ補正は、入力された光量分布に対してガンマ関数を施す処理である。この結果、入力された光量分布に対してその出力は線形性が保たれず、クロストークの比もその時の光量によって変わってきてしまう。現像後にクロストークの補正を行なう場合は、光量の大きさによってクロストーク処理を変えたり、映像信号そのものを逆ガンマ補正してからクロストーク低減の補正をしたりする必要がある。このため、クロストーク補正は、ステップＳ７０６よりも前に行うようにする。

ステップＳ７０７では、記録媒体１９３に映像の記録を行う。或いは、無線インターフェース部１９８を介してネットワーク上に映像を保存してもよい。

以上のように、本実施形態の撮像装置は、受光感度が異なる第１の光電変換部及び第２の光電変換部を含む画素が行列状に配された撮像素子を備えている。また、同一フレームの第１の映像信号の輝度分布と第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出部（デジタル信号処理部）を備えている。このような構成により、フラッシュバンドの発生を高精度に検出可能な撮像装置及びその制御方法を提供することができる。

また、本実施形態の撮像装置では、第１の蓄積期間の長さと第２の蓄積期間の長さの比が、第１の光電変換部の受光感度と第２の光電変換部の受光感度の比に応じて設定される。したがって、第１の映像信号の輝度の第２の映像信号の輝度に対する比が、所定の第１の閾値以上に変化したラインを、第１の映像信号及び第２の映像信号の開始ラインと判定することができる。また、第１の映像信号の輝度の第２の映像信号の輝度に対する比が、第１の閾値未満に変化したラインを、第１の映像信号の終了ラインと判定することができる。また、フラッシュバンドの開始ラインを判定した後に、第２の映像信号の輝度が所定の第２の閾値未満に変化したラインを、第２の映像信号の終了ラインと判定することができる。

また、本実施形態の撮像装置は、フラッシュバンド検出部により検出したフラッシュバンドの補正を行うフラッシュバンド補正部（デジタル信号処理部）を備えている。このような構成により、フラッシュバンドを補正可能な撮像装置及びその制御方法を提供することができる。

（第２実施形態）
以下、第５実施形態に係る撮像装置について、図３４乃至図３８を用いて説明する。先の第１実施形態では、受光感度の異なる２つのフォトダイオードを有する画素３０３を用いて、蓄積期間が異なる２つの映像信号を得る構成について説明した。これに対し、本実施形態では、１つのフォトダイオードに対して２つの電荷保持部を有する画素３０３を用いて、蓄積期間が異なる２つの映像信号を得る構成について説明する。本実施形態の撮像装置は、画素３０３の構成が主に第１実施形態と異なっている。その他の構成については概ね第１実施形態と同じであるので説明は省略する。

図３４は、第１実施形態による撮像装置における画素３０３の構成例を示す回路図である。図３４には、行列状に配置された複数の画素３０３のうち、第１行第１列（１、１）の画素３０３と、第ｍ行第１列（ｍ、１）の画素３０３を示し、その他の画素３０３については記載を省略している。第ｍ行は画素アレイ３０２の最下行を表し、ｍは典型的には数千程度である。画素アレイ３０２を構成する各画素３０３は、概ね同一の構成を有している。このため、図４に示す第１行第１列（１、１）の画素３０３と第ｍ行第１列（ｍ、１）の画素３０３には同一の符号を付している。

本実施形態の画素３０３は、１つのフォトダイオード６００に対して２つの電荷保持部６０７Ａ、６０７Ｂを有することを特徴とする。例えば特許文献３には、１つのフォトダイオード６００に対して１つの電荷保持部を有する画素の構成が開示されているため、電荷保持部の詳細については説明を省略する。以下では、画素３０３が、１つのフォトダイオード６００に対して２つの電荷保持部６０７Ａ、６０７Ｂを有する構成について説明する。

画素３０３は、フォトダイオード６００、電荷保持部６０７Ａ、６０７Ｂ、転送トランジスタ６０１Ａ、転送トランジスタ６０１Ｂ、フローティングディフュージョン領域６０８を少なくとも有している。画素３０３は、更に、リセットトランジスタ６０４、増幅トランジスタ６０５、選択トランジスタ６０６、転送トランジスタ６０２Ａ、転送トランジスタ６０２Ｂ、オーバーフロートランジスタ６０３等を有してもよい。

以下、第１行第１列（１、１）の画素３０３の構成について説明するが、その他の行及び列の画素３０３の構成についても概ね同じである。画素３０３は、垂直走査回路３０７が出力する制御信号であるφＴＸ１Ａ（ｎ）、φＴＸ２Ａ（ｎ）、φＴＸ１Ｂ（ｎ）、φＴＸ２Ｂ（ｎ）、φＴＸ３（ｎ）、φＲＥＳ（ｎ）、φＳＥＬ（ｎ）により制御される（ｎは、行番号に対応した整数）。信号出力線６２３には、画素３０３からの映像信号が出力される。電源線６２０、６２１は、各トランジスタに電源を供給する。

フォトダイオード６００は、被写体からの入射光を光電変換し、生じた信号電荷を蓄積する。転送トランジスタ６０１Ａは転送パルスφＴＸ１Ａにより制御され、フォトダイオード６００に蓄積された信号電荷を電荷保持部６０７Ａへ転送する。電荷保持部６０７Ａは、フォトダイオード６００から転送された信号電荷を保持する。転送トランジスタ６０２Ａは転送パルスφＴＸ２Ａにより制御され、電荷保持部６０７Ａが保持する信号電荷をフローティングディフュージョン領域６０８へ転送する。

同様に、転送トランジスタ６０１Ｂは転送パルスφＴＸ１Ｂにより制御され、フォトダイオード６００に蓄積された信号電荷を電荷保持部６０７Ｂへ転送する。電荷保持部６０７Ｂは、フォトダイオード６００から転送された信号電荷を保持する。転送トランジスタ６０２Ｂは転送パルスφＴＸ２Ｂにより制御され、電荷保持部６０７Ｂが保持する信号電荷をフローティングディフュージョン領域６０８へ転送する。

増幅トランジスタ６０５はフローティングディフュージョン領域６０８へ転送された信号電荷量に基づく映像信号を出力する。選択トランジスタ６０６は選択パルスφＳＥＬにより制御され、増幅トランジスタ６０５が出力する映像信号を信号出力線６２３に出力する。リセットトランジスタ６０４はリセットパルスφＲＥＳにより制御され、フローティングディフュージョン領域６０８に転送された信号電荷をリセットする。

このような画素３０３の構成により、第１映像信号用の蓄積期間に生じた信号電荷を電荷保持部６０７Ａへ転送して保持しつつ、第２映像信号用の蓄積期間に生じた信号電荷を電荷保持部６０７Ｂへ転送して保持することができる。すなわち、蓄積期間が異なる２つの映像信号用の信号電荷を、２つの電荷保持部６０７Ａ、６０７Ｂにおいて独立に保持することができる。

更に、図３４に示す画素３０３は、オーバーフロートランジスタ６０３を備えている。オーバーフロートランジスタ６０３は転送パルスφＴＸ３により制御され、フォトダイオード６００に蓄積されている信号電荷を電源線６２１を介して排出する。これにより、フォトダイオード６００には、オーバーフロートランジスタ６０３がオフである間にだけ信号電荷が蓄積されるため、フォトダイオード６００における信号電荷の蓄積期間をより自由に制御することができる。

以後の説明では、電荷保持部６０７Ａに保持した信号電荷に基づく第１映像信号を「ｐｉｃｔｕｒｅＡ」、電荷保持部６０７Ｂに保持した信号電荷に基づく第２映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢと表記することがある。また、映像信号ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢに基づいて得られた画像を、それぞれｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することもある。

図３５は本発明の撮像装置において、第１の映像信号である静止画と、第２の映像信号である動画とを同時に撮影するための、撮像素子１８４における蓄積、読み出しタイミングを説明するための図である。ここでいう蓄積とは、フォトダイオード６００で発生した電荷を電荷保持部６０７Ａ、６０７Ｂに転送することをいう。また読み出しとは、電荷保持部６０７、６０７Ｂに保持された電荷を、フローティングディフュージョン領域６０８を介して撮像素子１８４の外部に出力することをいう。

本実施形態の撮像装置は、垂直同期信号８５０の１撮影周期Ｔｆ（図３５ではＴｆ１〜Ｔｆ３と表記）中に静止画と動画を読み出せるようになっている。図３５では、便宜的に１６行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有している。以下の説明では、最終行を第ｍ行とする。

本実施形態の撮像装置は、更に、垂直同期信号８５０の１撮影周期Ｔｆ中に、第１の映像信号である静止画を、１回の蓄積期間８６１により生成し、第２の映像信号である動画を、複数Ｎｐ回に分割された蓄積期間８６３により生成することを特徴とする。１撮影周期Ｔｆ中の蓄積期間８６１において生成された静止画用の信号電荷は電荷保持部６０７Ａに保持され、１撮影周期Ｔｆ中の複数Ｎｐ回の蓄積期間８６３において生成された動画用の信号電荷は電荷保持部６０７Ｂに加算して保持される。本実施形態では、第２の映像信号である動画の１撮影周期Ｔｆ中に行われる蓄積の回数は１６回で、１撮影周期Ｔｆ中に均等の時間間隔で蓄積加算が行われる。垂直同期信号８５０の間隔Ｔｆは動画のフレームレートに相当し、本実施形態では１／６０秒である。

これにより、動画と静止画を同時に撮影することが可能で、かつ静止画は撮影者の意図する蓄積期間の短いブレのない画像を取得可能で、一方動画はジャーキネスを抑えた滑らかな画像を取得可能となる。

図３５に示す静止画の蓄積期間８６１は、撮影者によって設定されたシャッタースピードＴ１と同じ値となるように設定されている。以下の説明では、シャッタースピードＴ１＝１／５００秒とする。本実施形態では、静止画の蓄積を第１行から第ｍ行まで順次行い、その後静止画の読み出しが終わると動画の読み出しが開始される（８５０）。つまり、全行の静止画の読み出し期間８６５が終了した後に、動画の読み出し期間８６６が開始される。したがって、第１の映像信号である静止画のシャッタースピードＴ１は、基本的には撮影者によって設定されたフレームレートの半分（例えば図３５では１／１２０秒）よりも短くされる。また、１撮影周期Ｔｆ中の動画の最初の蓄積期間８６３の開始時間は、撮影者の設定した動画のフレームレート及び、静止画のシャッタースピードＴ１に基づいて決定される。

一方、動画の蓄積は１撮影周期Ｔｆ中に均等の時間間隔で行われ、各行の動画の読み出し期間８６６が開始する直前までに、本実施形態では複数Ｎｐ＝１６回に分割された蓄積期間８６３が終了するように時間間隔が設定される。このとき動画の複数の蓄積期間８６３の間隔は、水平同期信号８５１の間隔Ｔｈの整数倍に設定される。その結果、各行の動画の蓄積タイミングが同じになっている。図３５では便宜的に、動画の複数の蓄積期間８６３の間隔が水平同期信号の間隔Ｔｈと等しくなるように図示されている。典型的には、動画の複数の蓄積期間８６３の間隔は、撮像素子１８４の行数をｍ、１撮影周期Ｔｆ中の動画の蓄積期間８６３の回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号８５１の間隔Ｔｈを掛けた値に設定される。また、動画の１回当りの蓄積期間８６３は、Ｔ１／１６（＝１／８０００秒）に設定される。すなわち複数の動画の蓄積期間８６３を合計した長さは、静止画の蓄積期間８６１の長さと等しくなっている。

以下、本実施形態の撮像装置による動画および静止画の撮影における、蓄積、転送、読み出しのタイミングについて図３４及び図３５を参照しながら説明する。まず、第１の映像信号である静止画の取得タイミングについて述べる。

時刻ｔ８０において、第１行の転送パルスφＴＸ２Ａ（１）、φＴＸ２Ｂ（１）がハイレベルとなると、第１行の転送トランジスタ６０２Ｂ、全行の転送トランジスタ６０２Ａがオンとなる。このとき既に全行のリセットパルスφＲＥＳがハイレベルになり、リセットトランジスタ６０４がオン状態になっている。このため、全行のフローティングディフュージョン領域６０８、全行の静止画の電荷保持部６０７Ａ、第１行の動画の電荷保持部６０７Ｂがリセットされる。なお、第１行の選択パルスφＳＥＬ（１）はローレベルになっている。

その後、第１行の転送パルスφＴＸ３（１）がローレベルとなると、第１行のオーバーフロートランジスタ６０３がオフとなる。この結果、第１行のフォトダイオード６００のリセットが解除されて、第１行のフォトダイオード６００での静止画用の信号電荷の蓄積期間８６１が開始される。

時刻ｔ８１において、第１行と同様に、第２行の転送パルスφＴＸ３（２）がローレベルとなると、第１行のオーバーフロートランジスタ６０３がオフとなる。この結果、第２行のフォトダイオード６００のリセットが解除されて第１行のフォトダイオード６００での静止画の信号電荷の蓄積期間８６１が開始される。以下、第ｍ行まで、各行の蓄積期間８６１が順次開始される。

時刻ｔ８２において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると、第１行のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると、第１行の選択トランジスタ６０６がオンとなり、第１行の映像信号の読み出しが可能となる。更に、第１行の転送パルスφＴＸ１Ａ（１）がハイレベルとなると、第１行の転送トランジスタ６０１Ａがオンとなり、第１行のフォトダイオード６００に蓄積された静止画用の信号電荷が第１行の電荷保持部６０７Ａに転送されて保持される。この転送期間８６２は、転送パルスφＴＸ１Ａ（１）がローレベルになるまで行われる。

時刻ｔ８３において、第１行と同様に、第２行のリセットパルスφＲＥＳ（２）がローレベルとなると、第２行のリセットトランジスタ６０４がオフとなり、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第２行の選択パルスφＳＥＬ（２）がハイレベルとなると、第２行の選択トランジスタ６０６がオンとなり、第２行の映像信号の読み出しが可能となる。更に、第２行の転送パルスφＴＸ１Ａ（２）がハイレベルとなると、第２行の転送トランジスタ６０１Ａがオンとなり、第２行のフォトダイオード６００に蓄積された静止画用の信号電荷が第２行の電荷保持部６０７Ａに転送されて保持される。この転送期間８６２は、転送パルスφＴＸ１Ａ（２）がローレベルになるまで行われる。

第３行以降についても同様に、静止画の転送が行われ、最終行の転送パルスφＴＸ１Ａ（ｍ）がローレベルになるまで転送が行われる。各行において、転送パルスφＴＸ１Ａがローレベルになると、転送トランジスタ６０１Ａがオフとなり、フォトダイオード６００に蓄積された信号電荷の電荷保持部６０７Ａへの転送が終了する。

時刻ｔ８４において、第１行の転送パルスφＴＸ２Ａ（１）がハイレベルとなると、第１行の転送トランジスタ６０２Ａがオンとなり、第１行の電荷保持部６０７Ａに蓄積された静止画用の信号電荷がフローティングディフュージョン領域６０８に転送される。更に、フローティングディフュージョン領域６０８の電位の変化に応じた出力が、第１行の増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に供給される。信号出力線６２３に供給された信号は、読み出し期間８６５において、不図示の読み出し回路により第１行の静止画信号として外部に出力する。

時刻ｔ８５において、第２行の転送パルスφＴＸ２Ａ（２）がハイレベルとなると、第２行の転送トランジスタ６０２Ａがオンとなり、第２行の電荷保持部６０７Ａに蓄積された静止画用の信号電荷がフローティングディフュージョン領域６０８に転送される。そして第１行目と同様に、フローティングディフュージョン領域６０８の電位の変化に応じた出力が、読み出し回路により第２行の静止画信号として外部に出力される。以下、第ｍ行まで、各行の映像信号が順次取得される。

次に、第２の映像信号である動画の取得タイミングについて述べる。時刻ｔ８０において、静止画の場合と同様に、第１行の転送パルスφＴＸ２Ｂ（１）、及び全行の転送パルスφＴＸ２Ａ（１）がハイレベルとなると、第１行の転送トランジスタ６０２Ｂ、全行の転送トランジスタ６０２Ａがオンとなる。このとき既に全行のリセットパルスφＲＥＳがハイレベルになり、リセットトランジスタ６０４がオン状態になっている。このため、全行のフローティングディフュージョン領域６０８、全行の静止画の電荷保持部６０７Ａ、第１行の動画の電荷保持部６０７Ｂがリセットされる。

時刻ｔ８６において、第１行の転送パルスφＴＸ３（１）がローレベルとなると、第１行のオーバーフロートランジスタ６０３がオフとなる。この結果、第１行のフォトダイオード６００のリセットが解除されて、第１行のフォトダイオード６００での動画の信号電荷の蓄積期間８６３が開始される。

時刻ｔ８７において、第１行の転送パルスφＴＸ１Ｂ（１）がハイレベルとなり、第１行の転送トランジスタ６０１Ｂがオンとなる。この結果、第１行のフォトダイオード６００に蓄積された信号電荷が第１行の動画の電荷を保持する電荷保持部６０７Ｂに転送されて保持される。この転送期間８６４は、転送パルスφＴＸ１Ｂ（１）がローレベルになるまで行われる。

時刻ｔ８８において、時刻ｔ８６と同様の動作が行われ、第１行のフォトダイオード６００において第２回の動画の信号電荷の蓄積が行われる。時刻ｔ８９において、時刻ｔ８７と同様にフォトダイオード６００に蓄積された信号電荷が電荷保持部６０７Ｂに転送される。時刻ｔ８９で転送された信号電荷は、時刻ｔ８７で転送された信号電荷に加算して保持される。動画の蓄積においては、この間欠的なフォトダイオード６００での電荷信号の蓄積と、転送および加算が繰り返される。

第１行と同様に、時刻ｔ８８において、第２行のフォトダイオード６００での蓄積が開始される。時刻ｔ８９において、第２行のフォトダイオード６００に蓄積された信号電荷が電荷保持部６０７Ｂに転送され、転送パルスφＴＸ１Ｂ（２）がローレベルになるまで転送が行われる。このように、各行において電荷の蓄積と転送が同様に行われ、図３５に示すように動画の蓄積が順次行われる。

時刻ｔ９０において、第１行の１６回目の電荷保持部６０７Ｂへの転送が終了すると、第１行のリセットパルスφＲＥＳ（１）がローレベルとなり第１行のリセットトランジスタ６０４がオフとなる。この結果、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると、第１行の選択トランジスタ６０６がオンとなり、第１行の映像信号の読み出しが可能となる。更に、第１行の転送パルスφＴＸ２Ｂ（１）がハイレベルとなると、第１行の転送トランジスタ６０２Ｂがオンとなり、電荷保持部６０７Ｂに加算蓄積された動画用の信号電荷がフローティングディフュージョン領域６０８に転送される。

更に、フローティングディフュージョン領域６０８の電位の変化に応じた出力が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に供給される。信号出力線６２３に供給された信号は、読み出し期間８６６において、不図示の読み出し回路により第１行の動画信号として外部に出力される。

第１行と同様に、第２行以降に関しても同様の処理が行われる。時刻ｔ９１において、第２行の１６回目の電荷保持部６０７Ｂへの転送が終了すると、第２行のリセットパルスφＲＥＳ（２）がローレベルとなり、第２行のリセットトランジスタ６０４がオフとなる。この結果、フローティングディフュージョン領域６０８のリセット状態が解除される。同時に、第２行の選択パルスφＳＥＬ（２）がハイレベルとなると、第２行の選択トランジスタ６０６がオンとなり、第２行の映像信号の読み出しが可能となる。そして、第２行の転送パルスφＴＸ２Ｂ（２）がハイレベルとなると、第２行の転送トランジスタ６０２Ｂがオンとなり、電荷保持部６０７Ｂに加算蓄積された動画の信号電荷がフローティングディフュージョン領域６０８に転送される。

更に、フローティングディフュージョン領域６０８の電位の変化に応じた出力が、増幅トランジスタ６０５及び選択トランジスタ６０６を介して信号出力線６２３に供給され、不図示の読み出し回路により第２行の動画信号として外部に出力される。

このようにして、各行での読み出しが行われ、時刻ｔ９２においてｍ行目の読み出しが開始され、時刻ｔ９３においてｍ行目の読み出しが終了する。このようにして最下行である第ｍ行までの処理が行われると、動画の１フレームの映像信号を得ることができる。以上のようにして、第１の映像信号である静止画と、第２の映像信号である動画を１フレーム期間中に同時に取得することが可能になる。

次に、このような２つの電荷保持部を用いて蓄積期間が異なる２つの映像信号を得る撮像装置において、フラッシュバンドを検出及び補正する方法について説明する。図３６〜図３８は、静止画及び動画の蓄積期間と外部ストロボの発光タイミングとの関係をタイミングチャートで示している。図３６〜図３８では、外部ストロボの発光タイミングが互いに異なっている。

図３６（ａ）は、外部ストロボの発光が第１の発光タイミング８７１で行われた場合のタイミングチャートを表している。図３６（ｂ）は、フレーム期間Ｔｆ１において取得された第１フレームの静止画を表している。図３６（ｃ）は、フレーム期間Ｔｆ１において取得された第１フレームの動画を表している。第１の発光タイミング８７１のＨｉｇｈの部分は外部ストロボが発光している期間を示し、Ｌｏｗの部分は外部ストロボが発光していない期間を示している。

なお、図３６に示すようなローリングシャッター方式の撮像動作においては、画素のラインごとに信号電荷の蓄積期間に遅れが生じる。このため、第１フレームの下方のラインの映像信号は、厳密にはフレーム期間Ｔｆ１において発生した信号電荷のみに基づくものではなく、次のフレーム期間Ｔｆ２において発生した信号電荷に基づく成分も含まれる。そこで、以下の説明では、このようなフレーム期間Ｔｆｎがラインごとに遅延するローリングシャッター方式の１撮影周期において取得された画像を「第ｎフレーム」の画像という。後の図３７及び図３８についても同様である。

図３６（ａ）に示す第１の発光タイミング８７１において、外部ストロボの発光開始タイミング８７２及び発光終了タイミング８７３は、第１フレームの静止画の蓄積期間８６１とは交差しないが、第１フレームの動画の蓄積期間８６３とは交差している。

このため、第１フレームの静止画は、図３６（ｂ）に示すようにフラッシュバンドの影響のない画像となり、第１フレームの動画は、図３６（ｃ）に示すようにフラッシュバンドの影響を受けた画像となる。したがって、第１フレームの静止画の輝度分布と第１フレームの動画の輝度分布とを比較することで、フラッシュバンドの開始ライン及び終了ラインを検出することができる。

次に、図３７（ａ）は、外部ストロボの発光が第２の発光タイミング８７４で行われた場合のタイミングチャートを表している。図３７（ｂ）は、第１フレームの静止画を表している。図３７（ｃ）は、第１フレームの動画を表している。図３７（ｄ）は、第２フレームの静止画を表している。図３７（ｅ）は、第２フレームの動画を表している。第２の発光タイミング８７４のＨｉｇｈの部分は外部ストロボが発光している期間を示し、Ｌｏｗの部分は外部ストロボが発光していない期間を示している。

図３７（ａ）に示す第２の発光タイミング８７４において、外部ストロボの発光開始タイミング８７５及び発光終了タイミング８７６は、第１フレームの動画の蓄積期間８６３、及び第２フレームの静止画の蓄積期間８６１と交差している。

このため、第１フレームの静止画は、図３７（ｂ）に示すようにフラッシュバンドの影響のない画像となり、第１フレームの動画は、図３７（ｃ）に示すようにフラッシュバンドの影響を受けた画像となる。また、第２フレームの静止画は、図３７（ｄ）に示すように、フラッシュバンドの影響を受けた画像となり、第２フレームの動画は、図３７（ｅ）に示すようにフラッシュバンドの影響のない画像となる。したがって、図３７（ａ）に示す場合でも、図３６（ａ）に示した場合と同様に、同一フレームの静止画の輝度分布と動画の輝度分布とを比較することで、フラッシュバンドの開始ライン及び終了ラインを検出することができる。

このように、図３７に示した第１の発光タイミング８７１や図３８に示した第２の発光タイミング８７４の場合は、同一フレームの２つの画像のうちの一方のみにフラッシュバンドが発生し、他方にはフラッシュバンドが発生していない。したがって、同一フレームの２つの画像の輝度分布を比較することで、フラッシュバンドの開始ライン及び終了ラインを検出することができる。

次に、図３８（ａ）は、外部ストロボの発光が第３の発光タイミング８７７で行われた場合のタイミングチャートを表している。図３８（ｂ）は、第２フレームの静止画を表している。図３８（ｃ）は、第２フレームの動画を表している。第３の発光タイミング８７７のＨｉｇｈの部分は外部ストロボが発光している期間を示し、Ｌｏｗの部分は外部ストロボが発光していない期間を示している。

図３８（ａ）に示す第３の発光タイミング８７７において、外部ストロボの発光開始タイミング８７８及び発光終了タイミング８７９は、第２フレームの静止画の蓄積期間８６１、及び第２フレームの動画の蓄積期間８６３と交差している。

このため、第２フレームの静止画は、図３８（ｂ）に示すように画像の下方の領域にフラッシュバンドの影響を受けた画像となる。また、第２フレームの動画は、図３８（ｃ）に示すように画像の上方の領域にフラッシュバンドの影響を受けた画像となる。したがって、図３８（ａ）に示す第３の発光タイミング８７７の場合は、図３６（ａ）や図３７（ａ）の場合とは異なり、同一フレームの動画と静止画の両方にフラッシュバンドが発生する。しかし、この場合でも、図３７や図３８に示した場合と同様に、同一フレームの静止画の輝度分布と動画の輝度分布とを比較することで、フラッシュバンドの開始ライン及び終了ラインを検出することができる。

なお本実施形態でも第１実施形態と同様に、静止画と動画とで輝度が概ね等しくなるように両信号の蓄積期間の長さが調整される。具体的には、複数の動画の蓄積期間８６３を合計した長さが、静止画の蓄積期間８６１の長さと等しくなるように制御される。したがって、フラッシュバンドが発生していないときには、同一フレームの２つの画像の輝度分布は概ね等しく一定となる。

また、本実施形態では、静止画と動画の２つの画像を取得するために、１つのフォトダイオード６００が共用される。このため、先の第１実施形態とは異なり、フラッシュバンドが発生したときでも、フラッシュバンドが同一フレームの静止画と動画とで同じラインに現れることはない。

したがって、同一フレームの２つの映像信号の輝度分布を比較して、バンド状の高輝度領域が静止画と動画で異なるラインに存在する場合には、高輝度領域が開始しているラインをそれぞれの画像のフラッシュバンドの開始ラインと判定することができる。また、高輝度領域が終了しているラインをそれぞれの画像のフラッシュバンドの終了ラインと判定することができる。

また、例えば、図３５に示すタイミングチャートでは、同一のフレーム期間において、静止画の蓄積が動画の蓄積よりも前に行われる。したがって、図３８に示すように、同一フレームの２つの画像を比較すると、静止画のフラッシュバンドは必ず動画のフラッシュバンドよりも下方に現れる。このような傾向も含めて、同一フレームの２つの画像の輝度分布を比較することで、フラッシュバンドの開始ライン及び終了ラインをより高精度に検出することもできる。なお、動画の蓄積が静止画の蓄積よりも前に行われる場合には、静止画のフラッシュバンドは動画のフラッシュバンドよりも上方に現れる。

上述した方法により検出したフラッシュバンドを補正する方法については、第１実施形態と同様に、同一フレームの２つの画像を用いて相互に補正することができる。或いは、従来のようにフレーム間の補正を行うようにしてもよい。

以上のように、本実施形態の撮像装置は、光電変換部、第１の電荷保持部及び第２の電荷保持部を含む画素が行列状に配された撮像素子を備えている。また、同一フレームの第１の映像信号の輝度分布と第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出部（デジタル信号処理部）を備えている。このような構成によっても、第１実施形態と同様に、フラッシュバンドの発生を高精度に検出可能な撮像装置及びその制御方法を提供することができる。

また、本実施形態の撮像装置は、フラッシュバンド検出部により検出したフラッシュバンドの補正を行うフラッシュバンド補正部（デジタル信号処理部）を備えている。このような構成により、フラッシュバンドを補正可能な撮像装置及びその制御方法を提供することができる。

（変形実施形態）
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は一例を示したものであり、本発明を適用可能な撮像装置はこのような構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像装置
１５２…撮影光学系
１７８…システム制御ＣＰＵ
１８４…撮像素子
１８７，１８８…デジタル信号処理部
１９１…表示インターフェース部
１９２…記録インターフェース部
３０２…画素アレイ
３０３…画素
３０７…垂直走査回路
３０３Ａ，３０３Ｂ…画素要素
３０８Ａ、３０８Ｂ…読み出し回路（読み出し部）
３１０Ａ，３１０Ｂ，６００…フォトダイオード（光電変換部）
３１３Ａ，３１３Ｂ，６０８…フローティングディフュージョン領域
６０７Ａ，６０７Ｂ…電荷保持部

Claims (15)

1. 受光感度が異なる第１の光電変換部及び第２の光電変換部を含む画素が行列状に配された撮像素子と、
   撮影周期中の第１の蓄積期間において前記第１の光電変換部に生じた信号電荷に基づく第１の映像信号、及び、前記撮影周期中の第２の蓄積期間において前記第２の光電変換部に生じた信号電荷に基づく第２の映像信号、を読み出す読み出し部と、
   前記第１の映像信号の輝度分布と前記第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出部と、
   を備えることを特徴とする撮像装置。
2. 前記第１の蓄積期間の長さと前記第２の蓄積期間の長さの比が、前記第１の光電変換部の受光感度と前記第２の光電変換部の受光感度の比に応じて設定される
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の蓄積期間の長さと前記第２の蓄積期間の長さの比が、前記第１の光電変換部の受光感度と前記第２の光電変換部の受光感度の比に反比例するように設定される
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第１の光電変換部の受光感度が前記第２の光電変換部の受光感度よりも大きく、
   前記第１の映像信号の輝度の前記第２の映像信号の輝度に対する比が、所定の第１の閾値以上に変化したラインを、前記第１の映像信号及び前記第２の映像信号の前記開始ラインと判定する
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記第１の映像信号の輝度の前記第２の映像信号の輝度に対する比が、前記第１の閾値未満に変化したラインを、前記第１の映像信号の前記終了ラインと判定し、
   前記開始ラインを判定した後に、前記第２の映像信号の輝度が所定の第２の閾値未満に変化したラインを、前記第２の映像信号の前記終了ラインと判定する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記第１の蓄積期間の終了タイミングと前記第２の蓄積期間の終了タイミングとが一致しており、
   前記第１の映像信号の輝度及び前記第２の映像信号の輝度が共に所定の閾値以上に変化したラインを前記開始ラインと判定する
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 光電変換部、第１の電荷保持部及び第２の電荷保持部を含む画素が行列状に配された撮像素子と、
   撮影周期中の第１の蓄積期間において前記光電変換部に生じた信号電荷を前記第１の電荷保持部に転送して得られる第１の映像信号、及び、前記撮影周期中の複数の第２の蓄積期間において前記光電変換部に生じた信号電荷を前記第２の電荷保持部に転送して得られる第２の映像信号、を読み出す読み出し部と、
   前記第１の映像信号の輝度分布と前記第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出部と、
   を備えることを特徴とする撮像装置。
8. 複数の前記第２の蓄積期間を合計した長さが、前記第１の蓄積期間の長さと等しくなるように設定される
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記第１の映像信号の輝度分布と前記第２の映像信号の輝度分布とで、バンド状の高輝度領域が異なるラインに存在する場合に、前記高輝度領域が開始しているラインを前記開始ラインと判定し、前記高輝度領域が終了しているラインを前記終了ラインと判定する
   ことを特徴とする請求項７又は８に記載の撮像装置。
10. 画素のラインごとに前記第１の蓄積期間及び前記第２の蓄積期間の遅れが生じている
    ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記フラッシュバンド検出部により検出したフラッシュバンドの補正を行うフラッシュバンド補正部を更に備える
    ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記フラッシュバンド補正部は、前記第１の映像信号及び前記第２の映像信号のうちの一方のフラッシュバンドが発生していないラインの映像信号を用いて他方のフラッシュバンドが発生しているラインの映像信号を補正する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 受光感度が異なる第１の光電変換部及び第２の光電変換部を含む画素が行列状に配された撮像素子を備える撮像装置の制御方法であって、
    撮影周期中の第１の蓄積期間において前記第１の光電変換部に生じた信号電荷に基づく第１の映像信号、及び、前記撮影周期中の第２の蓄積期間において前記第２の光電変換部に生じた信号電荷に基づく第２の映像信号、を読み出すステップと、
    前記第１の映像信号の輝度分布と前記第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出するステップと、
    を有することを特徴とする制御方法。
14. 受光感度が異なる第１の光電変換部及び第２の光電変換部を含む画素が行列状に配された撮像素子を備える撮像装置において、コンピュータを、
    撮影周期中の第１の蓄積期間において前記第１の光電変換部に生じた信号電荷に基づく第１の映像信号、及び、前記撮影周期中の第２の蓄積期間において前記第２の光電変換部に生じた信号電荷に基づく第２の映像信号、を読み出す手段と、
    前記第１の映像信号の輝度分布と前記第２の映像信号の輝度分布とを比較して、フラッシュバンドの開始ライン及び終了ラインを検出する手段と、
    として機能させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。