JP2017192102A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】単一の撮像素子を用いて複数の映像を同時に撮影する際に、隣接する光電変換部から漏れ込む信号電荷によるクロストークを低減する。【解決手段】第１光電変換部及び第２光電変換部を含む画素が行列状に配列された画素アレイを有し、第１光電変換部において第１蓄積期間に生じた信号電荷に基づく映像信号と、第２光電変換部において第２蓄積期間に生じた信号電荷に基づく映像信号を出力する撮像素子と、第１光電変換部又は第２光電変換部に隣接する光電変換部が出力する映像信号に基づいて、第１光電変換部又は第２光電変換部が出力する映像信号に含まれる光電変換部からのクロストーク成分を補正するクロストーク補正部とを備え、同一画素の第１光電変換部と第２光電変換部が並ぶ方向と、隣接する画素の第１光電変換部同士又は第２光電変換部同士が並ぶ方向とで、クロストーク補正量が異なる。【選択図】図１５Ａ

Description

本発明は、蓄積期間の長さが異なる複数の光電変換部を有する撮像装置及び撮像方法に関するものである。

動画と静止画を一台のカメラで同時に撮影することにより、撮影シーンを動画として視聴しながら、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、蓄積期間の異なる複数の光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。

特許文献１では、蓄積期間の異なる２つの光電変換部から第１画像信号及び第２画像信号を読み出す撮像装置が提案されている。これにより、単一の撮影レンズを通して、動画と静止画を同時に撮影することができる。また、通常フレームレート動画と高フレームレート動画を同時に撮影することができる。

特開２０１４−０４８４５９号公報

しかしながら、複数の映像の同時撮影が可能な撮像装置では、撮像素子の光電変換部で発生した信号電荷が隣接する光電変換部に漏れ込むことによって映像信号間にクロストークが生じ、両方の映像が混じり合って画質が低下してしまうという課題があった。このようなクロストークによる画質低下は、同一画素内の２つの光電変換部の間だけでなく、隣接する画素の光電変換部との間でも生じる。

本発明に係る撮像装置は、第１光電変換部及び第２光電変換部を含む画素が行列状に配列された画素アレイを有し、第１光電変換部において第１蓄積期間に生じた信号電荷に基づく第１の映像信号と、第２光電変換部において第１蓄積期間とは異なる第２蓄積期間に生じた信号電荷に基づく第２の映像信号を出力する撮像素子と、第１光電変換部又は第２光電変換部に隣接する光電変換部が出力する映像信号に基づいて、第１光電変換部又は第２光電変換部が出力する映像信号に含まれる光電変換部からのクロストーク成分を補正するクロストーク補正部とを備え、同一画素の第１光電変換部と第２光電変換部が並ぶ方向を第１の方向とし、隣接する画素の第１光電変換部同士又は第２光電変換部同士が並ぶ方向を第２の方向とするとき、第１の方向と第２の方向とで、クロストーク補正部によるクロストーク補正量が異なることを特徴とする。

また、本発明に係る撮像方法は、第１光電変換部及び第２光電変換部を含む画素が行列状に配列された画素アレイを有し、第１光電変換部において第１蓄積期間に生じた信号電荷に基づく第１の映像信号と、第２光電変換部において第１蓄積期間とは異なる第２蓄積期間に生じた信号電荷に基づく第２の映像信号を出力する撮像素子を備えた撮像装置における撮像方法であって、第１光電変換部又は第２光電変換部に隣接する光電変換部が出力する映像信号に基づいて、第１光電変換部又は第２光電変換部が出力する映像信号に含まれる光電変換部からのクロストーク成分を補正するクロストーク補正ステップを有し、同一画素の第１光電変換部と第２光電変換部が並ぶ方向を第１の方向とし、隣接する画素の第１光電変換部同士又は第２光電変換部同士が並ぶ方向を第２の方向とするとき、第１の方向と第２の方向とで、クロストーク補正ステップにおけるクロストーク補正量が異なることを特徴とする。

本発明によれば、単一の撮像素子を用いて複数の映像を同時に撮影する際に、隣接する光電変換部から漏れ込む信号電荷によるクロストークを低減することができる。

本発明の第１実施形態による撮像装置を示す外観図である。 本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の内部構造を示す断面図である。 画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。 本発明の第１実施形態による撮像装置における撮影光学系と撮像素子との関係を示す図である。 撮像素子から出力される映像信号を説明するための概略図である。 本発明の第１実施形態による撮像装置における画素の構成例を示す回路図である。 本発明の第１実施形態による撮像装置における画素の要部を示す平面レイアウト図である。 本発明の第１実施形態による撮像装置における画素の要部をライトガイドと共に示す平面レイアウト図である。 本発明の第１実施形態による撮像装置における読み出し回路の構成を示す回路図である。 本発明の第１実施形態による撮像装置における撮像素子の駆動シーケンスを示すタイミングチャートである。 フォトダイオードにおける信号電荷の時間的な変化を示すグラフである。 図９のＡ−Ｂ線に沿った画素のポテンシャル図である。 本発明の第１実施形態による撮像装置における撮像素子に発生した信号電荷の挙動を示す第１の方向における断面図である。 本発明の第１実施形態による撮像装置における撮像素子に発生した信号電荷の挙動を示す第２の方向における断面図である。 本発明の第１実施形態による撮像装置の撮像シーケンスを説明するためのタイミングチャートである。 動画及び静止画撮影データの各フレームに付加されるタイムコードの一例を示す図である。 動画及び静止画の撮影データのファイル構造の一例を示す図である。 動画及び静止画の撮影条件の設定画面を説明するための図である。 受光効率の異なる２つのフォトダイオードを用いて撮影した映像信号のＩＳＯ感度範囲の例を示す図である。 本発明の第１実施形態による撮像装置のデュアル映像モードにおけるプログラムＡＥ線図である。 ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのシャッタースピードの差異を撮像シーケンス上で説明する図である。 撮像装置に電源を投入した後のライブビュー表示中の表示部の様子を表す図である。 スイッチＳＴ、スイッチＭＶを操作して取得された映像のうちの１フレームを示す図である。 クロストーク補正を含む一連の処理手順を示すフローチャートである。 本発明の第１実施形態による撮像装置の第１の方向におけるクロストーク補正方法を示す概略図である。 本発明の第１実施形態による撮像装置の第２の方向におけるクロストーク補正方法を示す概略図である。 本発明の第１実施形態による撮像装置におけるクロストーク補正関数を示す図である。 本発明の第１実施形態による撮像装置におけるクロストーク補正関数の大きさを示す図である。 本発明の第１実施形態による撮像装置における飽和出力推定処理を示す概略図である。 クロストーク補正を施した後の映像の一例を示す図である。 表示部上にｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを並べて表示した様子を示す図である。 ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。 ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとのフレームレートの差異を撮像シーケンス上で説明するための図である。 タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。 ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積動作を撮像シーケンス上で説明するための図である。 ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとの合成比率を説明するための図である。 ＨＤＲ合成用のｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの例を示す図である。 クロストーク補正処理後にＨＤＲ映像を合成した結果を表示部に表示した状態を示す図である。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

（第１実施形態）
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、１フレーム期間に近い蓄積期間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い蓄積期間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。

一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば１／１０００秒程度の短い蓄積期間を設定する必要がある。また、高フレームレートの動画では、１フレーム期間が短いので、例えばフレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積期間を設定することとなる。

単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の２つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、２つの映像が異なる蓄積期間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもＳ／Ｎ比の良好なノイズ感のない映像となることが望ましい。

また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。

このような背景から、撮像装置内の撮像素子に感度の異なる２つの画素群を設け、これら画素群からの出力を合成することによってダイナミックレンジを拡大する技術が提案されている。この技術においても同様に、２つの画素群のどちらからもＳ／Ｎ比の良好なノイズ感のない中間映像データを作成し、最終的に品位の高いＨＤＲ映像を合成できることが望ましい。

本実施形態では、まず、単一の撮像素子を用いて撮影条件が異なる２つの映像を同時に撮影する方法について説明する。なお、本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加した撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。

図１は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）がその正面図を示し、図１（ｂ）がその背面図を示している。
本実施形態による撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子やシャッター装置等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルター１８３、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００を有している。また、撮像装置１００は、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルター１８３は、撮像素子１８４に入射する光の波長、撮像素子１８４に伝達する空間周波数を制限するためのものである。撮影光学系１５２、絞り１８１、光学フィルター１８３、撮像素子１８４は、撮影光学系１５２の光軸１８０上に配置されている。

アナログフロントエンド１８５，１８６は、撮像素子１８４から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換を行うためのものである。アナログフロントエンド１８５，１８６は、例えば、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等により構成される。デジタル信号処理部１８７，１８８は、アナログフロントエンド１８５，１８６から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。デジタル信号処理部１８７，１８８が行う補正には、後述するクロストーク補正が含まれる。タイミング発生部１８９は、撮像素子１８４、アナログフロントエンド１８５，１８６、デジタル信号処理部１８７，１８８に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、各種演算の実行や撮像装置１００の全体の制御を司る制御部である。映像メモリ１９０は、映像データを一時的に記憶するためのものである。

表示インターフェース部１９１は、撮影された映像を表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部１９２は、記録媒体１９３に記録又は記録媒体１９３から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

図３は、撮像素子１８４の構成例を示すブロック図である。撮像素子１８４は、図３に示すように、画素アレイ３０２、垂直走査回路３０７、読み出し回路３０８Ａ，３０８Ｂ及びタイミング制御回路３０９Ａ，３０９Ｂを含む。

画素アレイ３０２には、複数の画素３０３が行列状に配置されている。なお、画素アレイ３０２に属する画素３０３の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、４行×４列の行列状に配置された１６個の画素３０３のみを示している。複数の画素３０３の各々は、画素要素３０３Ａと画素要素３０３Ｂとの組みを有する。図３では、画素３０３の上半分の領域を画素要素３０３Ａとし、画素３０３の下半分の領域を画素要素３０３Ｂとしている。画素要素３０３Ａ及び画素要素３０３Ｂは、それぞれ光電変換により信号を生成する。

画素アレイ３０２の各列には、列方向に延在する信号出力線３０４Ａ，３０４Ｂが、それぞれ設けられている。各列の信号出力線３０４Ａは、当該列に属する画素要素３０３Ａに接続されている。信号出力線３０４Ａには、画素要素３０３Ａからの信号が出力される。各列の信号出力線３０４Ｂは、当該列に属する画素要素３０３Ｂに接続されている。信号出力線３０４Ｂには、画素要素３０３Ｂからの信号が出力される。画素アレイ３０２の各列には、列方向に延在する電源線３０５及び接地線３０６が、それぞれ設けられている。各列の電源線３０５及び接地線３０６は、当該列に属する画素３０３に接続されている。電源線３０５及び接地線３０６は、行方向に延在する信号線としてもよい。

垂直走査回路３０７は、画素アレイ３０２に対して行方向に隣接して配置される。垂直走査回路３０７は、画素アレイ３０２の複数の画素３０３に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素３０３内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ，ＴＸｎＢを示している（ｎは、行番号に対応した整数）。

読み出し回路３０８Ａ，３０８Ｂは、画素アレイ３０２を挟むように、画素アレイ３０２に対して列方向に隣接して配置されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａに接続されている。読み出し回路３０８Ａは、各列の信号出力線３０４Ａを順次選択的に活性化することで、各列の信号出力線３０４Ａからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂに接続されている。読み出し回路３０８Ｂは、各列の信号出力線３０４Ｂを順次選択的に活性化することで、各列の信号出力線３０４Ｂからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路３０８Ａ，３０８Ｂは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。

タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａに接続されている。タイミング制御回路３０９Ａは、垂直走査回路３０７及び読み出し回路３０８Ａの駆動タイミングを制御する制御信号が出力される。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂに接続されている。タイミング制御回路３０９Ｂは、垂直走査回路３０７及び読み出し回路３０８Ｂの駆動タイミングを制御する制御信号が出力される。

図４は、撮像素子１８４の画素３０３の内部構造を示す断面図である。それぞれの画素３０３は、図４に示すように、２つのフォトダイオード３１０Ａ，３１０Ｂと、ライトガイド２５５と、カラーフィルタ２５６とを含む。フォトダイオード３１０Ａは画素要素３０３Ａの一部を構成し、フォトダイオード３１０Ｂは画素要素３０３Ｂの一部を構成する。フォトダイオード３１０Ａ，３１０Ｂは、シリコン基板２５１内に設けられている。ライトガイド２５５は、シリコン基板２５１上に設けられた絶縁層２５４内に設けられている。絶縁層２５４は例えば酸化シリコンにより構成され、ライトガイド２５５は絶縁層２５４よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド２５５間の絶縁層２５４には、配線層２５２が設けられている。ライトガイド２５５上には、所定の分光透過率特性を有するカラーフィルタ２５６が設けられている。なお、図４には、隣接する２つの画素３０３のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ２５６，２５７により構成した例を示している。

ライトガイド２５５は、絶縁層２５４との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ２５６を介して入射した光をライトガイド２５５によってフォトダイオード３１０Ａ，３１０Ｂに導くことができる。フォトダイオード３１０Ａ，３１０Ｂは、ライトガイド２５５に対して非対称に配置されており、ライトガイド２５５を伝搬した光束は、高い効率でフォトダイオード３１０Ａに入射し、低い効率でフォトダイオード３１０Ｂに入射する。更に、ライトガイド２５５は、その深さや傾斜角を調節することにより、フォトダイオード３１０Ａ，３１０Ｂが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。

図５は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図５において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図５には、フォトダイオード３１０Ａからの出力特性２６１と、フォトダイオード３１０Ｂからの出力特性２６２とを示している。

図５に示すように、出力特性２６１及び出力特性２６２は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、出力特性２６２のピーク強度ＰＢは、出力特性２６１のピーク強度ＰＡの１／８程度になっている。このことは、フォトダイオード３１０Ａ，３１０Ｂの入射角依存性はともに小さく、それらの受光効率はフォトダイオード３１０Ａに比べてフォトダイオード３１０Ｂが１／８であるということを表している。すなわち、フォトダイオード３１０Ｂは、ＩＳＯ感度の設定値に置き換えると、フォトダイオード３１０Ａよりも３段分、感度が低いことになる。

次に、撮影光学系１５２と撮像素子１８４との関係を、図６を用いてより詳しく説明する。図６は、撮影光学系１５２と撮像素子１８４との関係を説明する図である。図６（ａ）は、撮影光学系１５２をその光軸１８０方向から見た図である。図６（ｂ）は、図２の撮影光学系１５２から撮像素子１８４に至る部分をより詳細に示した図である。

撮像素子１８４が、図６（ｂ）に示すように、撮像領域の中央部に位置する画素２７６と、撮像領域の外縁近傍に位置する画素２７７とを含むものとする。この場合、画素２７６は、光線２７２と光線２７３とで囲まれた領域からの光束を受光することができる。また、画素２７７は、光線２７４と光線２７５とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ２７０が光学フィルター１８３と撮影光学系１５２との間に配置されているため、撮影光学系１５２の付近では、画素２７６が受光する光束と画素２７７が受光する光束とは、図６（ａ）に領域２７１で示すように重なっている。この結果、撮影光学系１５２からの光束を何れの画素においても高効率で受光することが可能となっている。

図７は、撮像素子から出力される映像信号を説明するための概略図である。ここで、画素アレイ３０２に、図７（ａ）に示すカラーフィルタ配列２８１で、所定の光透過率特性を有するカラーフィルタ２５６が配置されている場合を想定する。図７（ａ）は、６行×８列の行列状に画素３０３が配列された画素アレイ３０２と、各画素に配置されるカラーフィルタ２５６の色を模式的に示したものである。図中、Ｒは赤色カラーフィルタを、Ｇ１及びＧ２は緑色カラーフィルタを、Ｂは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列２８１は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、Ｇ１ＢＧ１Ｂ…，ＲＧ２ＲＧ２…，Ｇ１ＢＧ１Ｂ…，…、といった繰り返しで、各色のカラーフィルタ２５６が配置されている。

このようなカラーフィルタ配列２８１を有する画素アレイ３０２からは、図７（ｂ）及び図７（ｃ）に示される出力データ２８２，２８３が得られる。図７（ｂ）中、ｇ１Ａ及びｇ２Ａは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｂＡは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。ｒＡは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ａからの出力を表している。図７（ｃ）中、ｇ１Ｂ及びｇ２Ｂは、緑色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｂＢは、青色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。ｒＢは、赤色カラーフィルタが配置された画素３０３の画素要素３０３Ｂからの出力を表している。

図３を用いて説明したように、撮像素子１８４からは、読み出し回路３０８Ａ，３０８Ｂからの２系統の出力が得られ、そのうちの一方が図７（ｂ）に示す出力データ２８２であり、他方が図７（ｃ）に示す出力データ２８３である。出力データ２８２は、所定の信号処理ののちに映像信号「ｐｉｃｔｕｒｅＡ」となる。また、出力データ２８３は、所定の信号処理ののちに映像信号「ｐｉｃｔｕｒｅＢ」となる。以後の説明では、出力データ２８２に基づく映像信号を「ｐｉｃｔｕｒｅＡ」、出力データ２８３に基づく映像信号を「ｐｉｃｔｕｒｅＢ」と表記するものとする。なお、ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢと表記することがある。

図８は、画素３０３の構成例を示す回路図である。画素３０３は、上記のように、画素要素３０３Ａ及び画素要素３０３Ｂを有する。画素要素３０３Ａは、フォトダイオード３１０Ａと、転送トランジスタ３１１Ａと、フローティングディフュージョン領域３１３Ａと、リセットトランジスタ３１４Ａと、増幅トランジスタ３１５Ａとを有する。画素要素３０３Ｂは、フォトダイオード３１０Ｂと、転送トランジスタ３１１Ｂと、フローティングディフュージョン領域３１３Ｂと、リセットトランジスタ３１４Ｂと、増幅トランジスタ３１５Ｂとを有する。なお、フォトダイオード３１０Ａは、図４に示したフォトダイオード３１０Ａに対応し、フォトダイオード３１０Ｂは、図４に示したフォトダイオード３１０Ｂに対応している。

フォトダイオード３１０Ａのアノードは接地線３０６に接続され、フォトダイオード３１０Ａのカソードは転送トランジスタ３１１Ａのソースに接続されている。転送トランジスタ３１１Ａのドレインは、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートに接続されている。転送トランジスタ３１１Ａのドレイン、リセットトランジスタ３１４Ａのソース及び増幅トランジスタ３１５Ａのゲートの接続ノードが、フローティングディフュージョン領域３１３Ａを構成する。リセットトランジスタ３１４Ａのドレイン及び増幅トランジスタ３１５Ａのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ａを構成する増幅トランジスタ３１５Ａのソースは、信号出力線３０４Ａに接続されている。

同様に、フォトダイオード３１０Ｂのアノードは接地線３０６に接続され、フォトダイオード３１０Ｂのカソードは転送トランジスタ３１１Ｂのソースに接続されている。転送トランジスタ３１１Ｂのドレインは、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートに接続されている。転送トランジスタ３１１Ｂのドレイン、リセットトランジスタ３１４Ｂのソース及び増幅トランジスタ３１５Ｂのゲートの接続ノードが、フローティングディフュージョン領域３１３Ｂを構成する。リセットトランジスタ３１４Ｂのドレイン及び増幅トランジスタ３１５Ｂのドレインは、電源線３０５に接続されている。画素信号出力部３１６Ｂを構成する増幅トランジスタ３１５Ｂのソースは、信号出力線３０４Ｂに接続されている。

各列の画素３０３は、垂直走査回路３０７から行方向に配されたリセット制御線３１９及び転送制御線３２０Ａ，３２０Ｂに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに接続されている。転送制御線３２０Ａは、コンタクト部３１２Ａを介して転送トランジスタ３１１Ａのゲートに接続されている。転送制御線３２０Ｂは、コンタクト部３１２Ｂを介して転送トランジスタ３１１Ｂのゲートに接続されている。リセット制御線３１９は、リセットトランジスタ３１４Ａのゲート及びリセットトランジスタ３１４Ｂのゲートに、垂直走査回路３０７から出力されるリセットパルスφＲＥＳｎを供給する。転送制御線３２０Ａは、転送トランジスタ３１１Ａのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＡを供給する。転送制御線３２０Ｂは、転送トランジスタ３１１Ｂのゲートに、垂直走査回路３０７から出力される転送パルスφＴＸｎＢを供給する。なお、リセットパルスφＲＥＳｎ、転送パルスφＴＸｎＡ及び転送パルスφＴＸｎＢの符号に付したｎは、行番号に対応した整数である。図面には、ｎを行番号に対応した整数で置き換えた符号で表している。

フォトダイオード３１０Ａは光電変換により電荷を生成及び蓄積する第１光電変換部であり、フォトダイオード３１０Ｂは光電変換により電荷を生成及び蓄積する第２光電変換部である。フローティングディフュージョン領域３１３Ａ，３１３Ｂは、電荷を保持する領域である。転送トランジスタ３１１Ａは、フォトダイオード３１０Ａにより生成された電荷をフローティングディフュージョン領域３１３Ａに転送するためのものである。転送トランジスタ３１１Ｂは、フォトダイオード３１０Ｂにより生成された電荷をフローティングディフュージョン領域３１３Ｂに転送するためのものである。

垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａとフローティングディフュージョン領域３１３Ａとが接続される。同様に、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂとフローティングディフュージョン領域３１３Ｂとが接続される。垂直走査回路３０７からハイレベルのリセットパルスφＲＥＳｎが出力されると、リセットトランジスタ３１４Ａ，３１４Ｂがオン状態となり、フォトダイオード３１０Ａ，３１０Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂがリセットされる。

垂直走査回路３０７からローレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオフ状態となり、フォトダイオード３１０Ａは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＡが出力されると、転送トランジスタ３１１Ａがオン状態となり、フォトダイオード３１０Ａの信号電荷はフローティングディフュージョン領域３１３Ａに転送される。すると、増幅トランジスタ３１５Ａは、フォトダイオード３１０Ａから転送されてフローティングディフュージョン領域３１３Ａに保持された信号電荷に基づく増幅信号を信号出力線３０４Ａに出力する。

同様に、垂直走査回路３０７からローレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオフ状態となり、フォトダイオード３１０Ｂは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路３０７からハイレベルの転送パルスφＴＸｎＢが出力されると、転送トランジスタ３１１Ｂがオン状態となり、フォトダイオード３１０Ｂの信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。すると、増幅トランジスタ３１５Ｂは、フォトダイオード３１０Ｂから転送されてフローティングディフュージョン領域３１３Ｂに保持された信号電荷に基づく増幅信号を信号出力線３０４Ｂに出力する。

図９及び図１０は、画素３０３の要部を示す平面レイアウト図である。図９には、画素３０３の構成要素のうち、フォトダイオード３１０Ａ，３１０Ｂ、転送トランジスタ３１１Ａ，３１１Ｂ、フローティングディフュージョン領域３１３Ａ，３１３Ｂを示している。リセットトランジスタ３１４Ａ，３１４Ｂ及び増幅トランジスタ３１５Ａ，３１５Ｂを含むその他の回路要素は、図面において読み出し回路３２１として表し、詳細な図示は省略している。また、画素３０３の垂直方向に配される信号出力線３０４Ａ，３０４Ｂ及び電源線３０５を省略し、リセット制御線３１９、電源線３０５、接地線３０６のコンタクト部を省略している。図１０には、図９に示した構成要素に加え、図４において説明したライトガイド２５５を示している。ライトガイド２５５は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。

以降の説明では、図９において同一画素のフォトダイオード３１０Ａとフォトダイオード３１０Ｂが並ぶＸ−Ｘ’線に沿った方向を「第１の方向」ということがある。また、隣接する画素のフォトダイオード３１０Ａ同士又はフォトダイオード３１０Ｂ同士が並ぶＹ−Ｙ´線に沿った方向を「第２の方向」ということがある。

図９及び図１０において、コンタクト部３１２Ａは、転送制御線３２０Ａと転送トランジスタ３１１Ａのゲートとを接続するコンタクト部である。コンタクト部３１２Ｂは、転送制御線３２０Ｂと転送トランジスタ３１１Ｂのゲートとを接続するコンタクト部である。フォトダイオード３１０Ａ，３１０Ｂは、光電変換を行う光電変換部であり、第１導電型（例えばＰ型）の半導体領域と、第１導電型の半導体領域とＰＮ接合を構成する第２導電型（例えばＮ型）の半導体領域（Ｎ型の電子蓄積領域）とを有する。フォトダイオード３１０Ａの第２導電型の半導体領域とフォトダイオード３１０Ｂの第２導電型の半導体領域とは、分離部３２２によって分離されている。

転送トランジスタ３１１Ａ，３１１Ｂ、コンタクト部３１２Ａ，３１２Ｂ、転送制御線３２０Ａ，３２０Ｂは、フォトダイオード３１０Ａ，３１０Ｂ間にある分離部３２２に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド２５５は、図１０に示すように、分離部３２２に対して偏った位置に配置されている。すなわち、フォトダイオード３１０Ａがライトガイド２５５の底部分の多くの面積を占めるのに対して、フォトダイオード３１０Ｂはライトガイド２５５の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード３１０Ａの受光効率は高く、フォトダイオード３１０Ｂの受光効率は低くなっている。

本実施形態による撮像素子１８４では、フォトダイオード３１０Ａ，３１０Ｂの受光効率の比を８：１程度、すなわち感度の差を３段程度に設定している。そして、２つの映像を異なる蓄積期間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもＳＮ比の良好なノイズ感のない映像としたり、或いは、品位の高いＨＤＲ映像を合成可能としたりすることに供している。詳細については、後述する。

図１１は、撮像素子１８４の読み出し回路の構成例を示す回路図である。なお、図１１には、読み出し回路３０８Ａを想定して、一部の構成要素の符号の末尾に「Ａ」を付記している。読み出し回路３０８Ｂにおいては、対応する構成要素の符号の末尾に「Ｂ」が付記されるものと理解されたい。

読み出し回路３０８Ａは、図１１に示すように、クランプ容量Ｃ０、フィードバック容量Ｃｆ、オペアンプ４０６、基準電圧源４０７、スイッチ４２３を含む。オペアンプ４０６の一方の入力端子は、クランプ容量Ｃ０を介して信号出力線３０４Ａに接続されている。オペアンプ４０６の当該一方の入力端子と出力端子との間には、フィードバック容量Ｃｆとスイッチ４２３とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源４０７に接続されている。基準電圧源４０７は、オペアンプ４０６に基準電圧Ｖｒｅｆを供給するためのものである。スイッチ４２３は、信号ＰＣ０Ｒで制御されるスイッチであり、信号ＰＣ０Ｒがハイレベルのときにオン状態となり、フィードバック容量Ｃｆの両端を短絡させる。

読み出し回路３０８Ａは、また、スイッチ４１４，４１５，４１８，４１９、容量ＣＴＳＡ、容量ＣＴＮＡ、水平出力線４２４，４２５、出力アンプ４２１を含む。スイッチ４１４，４１５は、容量ＣＴＳＡ，ＣＴＮＡへの画素信号の書き込みを制御するスイッチである。スイッチ４１４は、信号ＰＴＳＡで制御されるスイッチであり、信号ＰＴＳＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＳＡとを接続する。スイッチ４１５は、信号ＰＴＮＡで制御されるスイッチであり、信号ＰＴＮＡがハイレベルのときにオン状態となり、オペアンプ４０６の出力端子と容量ＣＴＮＡとを接続する。

スイッチ４１８，４１９は、容量ＣＴＳＡ，ＣＴＮＡに保持されている画素信号の出力アンプ４２１への出力を制御するためのスイッチである。スイッチ４１８，４１９は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量ＣＴＳＡに書き込まれた信号は、スイッチ４１８及び水平出力線４２４を介して出力アンプ４２１に出力される。また、容量ＣＴＮＡに書き込まれた信号は、スイッチ４１９及び水平出力線４２５を介して出力アンプ４２１に出力される。信号ＰＣ０Ｒ、信号ＰＴＮＡ及び信号ＰＴＳＡは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号である。

読み出し回路３０８Ｂも、読み出し回路３０８Ａと同様の構成を有している。また、以下の説明における信号ＰＴＮＢ及び信号ＰＴＳＢは、システム制御ＣＰＵ１７８による制御の下でタイミング発生部１８９から供給される信号であって、読み出し回路３０８Ａでの信号ＰＴＮＡ及び信号ＰＴＳＡと同等の役割を担っている。

次に、撮像素子１８４におけるリセット、蓄積及び読み出しの動作について、第１行目の画素３０３からの読み出し動作を例にして、図１２のタイミングチャートを用いて順次説明する。

まず、時刻ｔ１において、垂直走査回路３０７は、転送制御線３２０Ａ，３２０Ｂに出力する転送パルスφＴＸ１Ａ，ＴＸ１Ｂを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ３１１Ａ，３１１Ｂは、オン状態となる。このとき、垂直走査回路３０７からは、リセット制御線３１９にハイレベルのリセットパルスφＲＥＳ１が出力されており、リセットトランジスタ３１４Ａ，３１４Ｂもオン状態である。これにより、フォトダイオード３１０Ａ，３１０Ｂは、転送トランジスタ３１１Ａ，３１１Ｂ及びリセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。この際、フローティングディフュージョン領域３１３Ａ，３１３Ｂも、リセット状態となる。

次いで、時刻ｔ２において、垂直走査回路３０７は、転送パルスφＴＸ１Ｂをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ｂはオフ状態となり、フォトダイオード３１０Ｂでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ３において、垂直走査回路３０７は、転送パルスφＴＸ１Ａをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ３１１Ａはオフ状態となり、フォトダイオード３１０Ａでは光電変換による信号電荷の蓄積が開始する。

次いで、時刻ｔ４において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ３１４Ａ，３１４Ｂはオフ状態となり、フローティングディフュージョン領域３１３Ａ，３１３Ｂのリセットを解除する。

これにより、フローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介してリセット信号レベルの画素信号として読み出され、読み出し回路３０８Ａに入力される。また、フローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介してリセット信号レベルの画素信号として読み出され、読み出し回路３０８Ｂに入力される。

時刻ｔ４において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂには、ハイレベルの信号ＰＣ０Ｒが出力されており、スイッチ４２３はオン状態である。このため、読み出し回路３０８Ａには、オペアンプ４０６が基準電圧Ｖｒｅｆの出力をバッファする状態で、画素要素３０３Ａからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路３０８Ｂにも同様に、画素要素３０３Ｂからリセット信号レベルの画素信号が入力される。

次いで、時刻ｔ５において、タイミング発生部１８９から読み出し回路３０８Ａ及び読み出し回路３０８Ｂに出力する信号ＰＣ０Ｒをハイレベルからローレベルへと遷移し、スイッチ４２３をオフ状態にする。
次いで、時刻ｔ６において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをローレベルからハイレベルへと遷移してスイッチ４１５をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＮＢへ書き込む。

次いで、時刻ｔ７において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＮＡをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＮＢをハイレベルからローレベルへと遷移してスイッチ４１５をオフ状態にし、容量ＣＴＮＢへの書き込みを終了する。

次いで、時刻ｔ８において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをローレベルからハイレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオン状態にする。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ａに転送し、フォトダイオード３１０Ｂに蓄積されていた信号電荷をフローティングディフュージョン領域３１３Ｂに転送する。
時刻ｔ８において転送パルスφＴＸ１Ａ，φＴＸ１Ｂを同時にハイレベルにすることで、フォトダイオード３１０Ａ，３１０Ｂの蓄積期間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。したがって、ｐｉｃｔｕｒｅＡのデータを用いてｐｉｃｔｕｒｅＢを補正する、或いは、ｐｉｃｔｕｒｅＢを用いてｐｉｃｔｕｒｅＡのデータを補正する、といった後述のクロストーク補正が非常に簡単な演算で実現できるようになる。

次いで、時刻ｔ９において、垂直走査回路３０７は、転送パルスφＴＸ１Ａ，φＴＸ１Ｂをハイレベルからローレベルへと遷移し、転送トランジスタ３１１Ａ，３１１Ｂをオフ状態にする。これにより、フォトダイオード３１０Ａに蓄積された信号電荷のフローティングディフュージョン領域３１３Ａへの読み出し及びフォトダイオード３１０Ｂに蓄積された信号電荷のフローティングディフュージョン領域３１３Ｂへの読み出しを終了する。

これにより、信号電荷により変化したフローティングディフュージョン領域３１３Ａの電位が信号出力線３０４Ａに増幅トランジスタ３１５Ａを介して光信号レベルとして読み出され、読み出し回路３０８Ａに入力される。また、信号電荷により変化したフローティングディフュージョン領域３１３Ｂの電位が信号出力線３０４Ｂに増幅トランジスタ３１５Ｂを介して光信号レベルとして読み出され、読み出し回路３０８Ｂに入力される。
そして、読み出し回路３０８Ａでは、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。同様に、読み出し回路３０８Ｂにおいても、クランプ容量Ｃ０とフィードバック容量Ｃｆとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ４０６から出力される。

次いで、時刻ｔ１０において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＡへ書き込む。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをローレベルからハイレベルへと遷移してスイッチ４１４をオン状態にし、そのときのオペアンプ４０６の出力を容量ＣＴＳＢへ書き込む。

次いで、時刻ｔ１１において、タイミング発生部１８９から読み出し回路３０８Ａへ出力する信号ＰＴＳＡをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＡへの書き込みを終了する。同様に、タイミング発生部１８９から読み出し回路３０８Ｂへ出力する信号ＰＴＳＢをハイレベルからローレベルへと遷移してスイッチ４１４をオフ状態にし、容量ＣＴＳＢへの書き込みを終了する。

次いで、時刻ｔ１２において、垂直走査回路３０７は、リセットパルスφＲＥＳ１をローレベルからハイレベルへと遷移し、リセットトランジスタ３１４Ａ，３１４Ｂをオン状態とする。これにより、フローティングディフュージョン領域３１３Ａ，３１３Ｂは、リセットトランジスタ３１４Ａ，３１４Ｂを介して電源線３０５に接続され、リセット状態となる。

図１３は、フォトダイオード３１０Ａ，３１０Ｂにおいて光電変換によって生成され蓄積されていく信号電荷の時間的な変化を示すグラフである。同図において、グラフの横軸は時間を表し、縦軸は信号電荷の量を表している。時間軸上には、図１２に示した時刻ｔ１から時刻ｔ１２を表示している。

時刻ｔ２において、転送パルスφＴＸ１Ｂをローレベルとして転送トランジスタ３１１Ｂをオフ状態にし、フォトダイオード３１０Ｂにおける信号電荷の蓄積を開始する。すると、フォトダイオード３１０Ｂが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻ｔ８において転送パルスφＴＸ１Ｂをハイレベルにして転送トランジスタ３１１Ｂをオン状態にし、フォトダイオード３１０Ｂの信号電荷をフローティングディフュージョン領域３１３Ｂへ転送するまで継続する。
また、時刻ｔ３において、転送パルスφＴＸ１Ａをローレベルとして転送トランジスタ３１１Ａをオフ状態にし、フォトダイオード３１０Ａにおける信号電荷の蓄積を開始する。すると、フォトダイオード３１０Ａが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻ｔ８において転送パルスφＴＸ１Ａをハイレベルにして転送トランジスタ３１１Ａをオン状態にし、フォトダイオード３１０Ａの信号電荷をフローティングディフュージョン領域３１３Ａへ転送するまで継続する。

時刻ｔ８において、フォトダイオード３１０Ｂが保持する信号電荷量ＬＢとフォトダイオード３１０Ａが保持する信号電荷量ＬＡとは、受光効率の差を蓄積期間の差によって相殺することにより、ほぼ同程度となっている。

転送パルスφＴＸ１Ｂと転送パルスφＴＸ１Ａがともにローレベルである期間ＴＭ１において、フォトダイオード３１０Ａとフォトダイオード３１０Ｂの間のクロストークが発生する。期間ＴＭ１は、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積期間のうちの短い方の値である。クロストーク量は、信号電荷の量にほぼ比例するので、信号電荷量が大きくなる期間ＴＭ１の後半の期間ＴＭ２において、相対的に多くのクロストークが発生する。

フォトダイオード３１０Ａからフォトダイオード３１０Ｂへのクロストーク量ＣＴＡＢは、右下がりの斜影線を付した領域９５３の面積に比例する。また、フォトダイオード３１０Ｂからフォトダイオード３１０Ａへのクロストーク量ＣＴＢＡは、左下がりの斜影線を付した領域９５４の面積に比例する。これらの比例定数をそれぞれｋ，ｇと定義すると、クロストーク量ＣＴＡＢ，ＣＴＢＡは、
ＣＴＡＢ＝ｋ×（ＬＡ×ＴＭ１）／２ …（１）
ＣＴＢＡ＝ｇ×（ＬＡ＋ＬＢＳ）×ＴＭ１／２ …（２）
と表すことができる。ここで、ＬＢＳは、時刻ｔ３におけるフォトダイオード３１０Ｂの信号電荷量である。また、この図には表現していないが、時刻ｔ２から時刻ｔ３までの期間が期間ＴＭ１に対して十分に小さいと仮定すると、ＬＢ＝ＬＢＳと近似することができる。したがって、式（２）は、
ＣＴＢＡ＝ｇ×ＬＢ×ＴＭ１ …（３）
と変形することができる。

したがって、式（１）及び式（３）から、クロストーク量ＣＴＡＢは、信号電荷量ＬＡと、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積期間のうちの短い方の値（期間ＴＭ１）との関数であることが判る。また、クロストーク量ＣＴＢＡは、信号電荷量ＬＢと、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積期間のうちの短い方の値（期間ＴＭ１）との関数であることが判る。

図１４は、図９のＡ−Ｂ線に沿った画素３０３のポテンシャル図である。図１４（ａ）は図１２の時刻ｔａにおけるポテンシャル図、図１４（ｂ）は図１２の時刻ｔｂにおけるポテンシャル図、図１４（ｃ）は図１２の時刻ｔｃにおけるポテンシャル図である。

時刻ｔａにおいては、図１４（ａ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、フォトダイオード３１０Ａ，３１０Ｂには、それぞれ信号蓄積レベル３２３Ａ，３２３Ｂの信号電荷が蓄積されている。前述のように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとでは受光効率が異なるが、蓄積期間の差によって受光効率の差を相殺することで、信号蓄積レベル３２３Ａ，３２３Ｂは同程度になっている。この状態は比較的長く続くため、フォトダイオード３１０Ａの蓄積電荷が隣接するフォトダイオード３１０Ｂに漏れる現象及びフォトダイオード３１０Ｂの蓄積電荷が隣接するフォトダイオード３１０Ａに漏れる現象が、無視できないレベルで発生する。

時刻ｔｂにおいては、図１４（ｂ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオン状態であり、転送トランジスタ３１１Ａ，３１１Ｂのポテンシャル障壁が低くなっている。これにより、フォトダイオード３１０Ａに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ａに転送され、フォトダイオード３１０Ｂに蓄積されていた信号電荷はフローティングディフュージョン領域３１３Ｂに転送される。この際、分離部３２２のポテンシャル障壁も低くなるが、転送トランジスタ３１１Ａ，３１１Ｂのポテンシャル障壁は十分に小さくなっている。そのため、このタイミングでフォトダイオード３１０Ａ，３１０Ｂの蓄積電荷が分離部３２２を介して隣接するフォトダイオード３１０Ｂ，３１０Ａへ漏れる現象はほとんど生じない。

時刻ｔｃにおいては、図１４（ｃ）に示すように、転送トランジスタ３１１Ａ，３１１Ｂはオフ状態であり、ポテンシャルは図１４（ａ）の状態に戻る。

図１５Ａは、本発明の第１実施形態による撮像装置における撮像素子１８４に発生した信号電荷の挙動を示す第１の方向における断面図である。図１５Ａは、図９に示すＸ−Ｘ´線に沿った第１の方向における断面図を示している。

図１５Ａにおいて、画素に入射した光束４５１は、まずカラーフィルタ２５６に入射し、所定の波長成分がカラーフィルタ２５６を通過する。そして、絶縁層２５４の最上部にあたる界面不活性化膜（図示せず）を通過し、ライトガイド２５５に入射する。ライトガイド２５５内では、先に図５を用いて説明したように、光の波動的な振る舞いによって光線の方位情報、すなわち瞳情報が消失する。光束４５１は、ライトガイド２５５と絶縁層２５４との屈折率差によって、ライトガイド２５５の内部に閉じ込められたままシリコン基板２５１側に進み、ライトガイド２５５の底部分に達する。ライトガイド２５５の底部分はシリコン基板２５１に隣接し、ライトガイド２５５を通過した光束はシリコン基板２５１に入射する。

シリコン基板２５１内に隣接して設けられたフォトダイオード３１０Ａとフォトダイオード３１０Ｂとは、ライトガイド２５５に対して大きく偏芯して配置されている。このため、ライトガイド２５５を通過した光束のうちの大部分の光束４５２がフォトダイオード３１０Ａへ入射し、ライトガイド２５５を通過した光束のうちの残りの一部分の光束４５３がフォトダイオード３１０Ｂへ入射する。フォトダイオード３１０Ａ，３１０Ｂでは、入射した光子が信号電荷へと変換される。

この際、撮像素子１８４のシリコン基板２５１内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード３１０Ａで発生した信号電荷４５４は、拡散によってフォトダイオード３１０Ｂに漏れ込む。また、逆に、フォトダイオード３１０Ｂで発生した信号電荷４５５は、拡散によってフォトダイオード３１０Ａに漏れ込む。このクロストーク現象は映像に悪影響を及ぼし、画像の滲みとなって現れる。

同様の漏れ込みが、図１５Ａの第１の方向の右側（Ｘ´側）に隣接する別の画素のフォトダイオード３３９Ａとの間でも発生する。図１５Ａの右側に隣接する画素のライトガイド２５５を通過した光束のうちの大部分の光束３３１がフォトダイオード３３９Ａへ入射する。フォトダイオード３３９Ａで発生した信号電荷３３６は、拡散によってフォトダイオード３１０Ｂに漏れ込む。また、逆に、フォトダイオード３１０Ｂで発生した信号電荷３３５は、拡散によってフォトダイオード３３９Ａに漏れ込む。

このように、フォトダイオード３１０Ｂで発生した電荷は、信号電荷４５５のように同一画素のフォトダイオード３１０Ａへ漏れ込むだけでなく、信号電荷３３５のように隣接画素のフォトダイオード３３９Ａへも漏れ込む。フォトダイオード３１０Ｂから隣接画素のフォトダイオード３３９Ａまでの距離は、フォトダイオード３１０Ｂから同一画素のフォトダイオード３１０Ａまでの距離よりも長い。このため、隣接画素のフォトダイオード間のクロストークは、同一画素のフォトダイオード間のクロストークよりも小さい。

また、同様の漏れ込みが、図１５Ａの第１の方向の左側（Ｘ側）に隣接する別の画素のフォトダイオード３５０Ｂとの間でも発生する。図１５Ａの左側に隣接する画素のライトガイド２５５を通過した光束のうちの一部分の光束３３２がフォトダイオード３５０Ｂへ入射する。フォトダイオード３５０Ｂで発生した信号電荷３３４は、拡散によってフォトダイオード３１０Ａに漏れ込む。また、逆に、フォトダイオード３１０Ａで発生した信号電荷３３３は、拡散によってフォトダイオード３５０Ｂに漏れ込む。

このように、フォトダイオード３１０Ａで発生した電荷は、信号電荷４５４のように同一画素のフォトダイオード３１０Ｂへ漏れ込むだけでなく、信号電荷３３３のように隣接画素のフォトダイオード３５０Ｂへも漏れ込む。フォトダイオード３１０Ａから隣接画素のフォトダイオード３５０Ｂまでの距離は、フォトダイオード３１０Ａから同一画素のフォトダイオード３１０Ｂまでの距離よりも長い。したがって、この場合でも、隣接画素のフォトダイオード間のクロストークは、同一画素のフォトダイオード間のクロストークよりも小さい。

一方、図１５Ｂは、本発明の第１実施形態による撮像装置における撮像素子１８４に発生した信号電荷の挙動を示す第２の方向における断面図である。図１５Ｂは、図９に示すＹ−Ｙ´線に沿った第２の方向における断面図を示している。

図１５Ｂにおいて、シリコン基板２５１に設けられたフォトダイオード３５８Ａはライトガイド２５５の下にある。ライトガイド２５５を通過した光束３５１は、フォトダイオード３５８Ａへと入射する。フォトダイオード３５８Ａでは、入射した光子が信号電荷へと変換される。図１４で説明したように、転送トランジスタ３１１Ａ１がオンすると、転送トランジスタ３１１Ａ１のポテンシャル障壁が低くなり、フォトダイオード３５８Ａに蓄積されていた蓄積電荷がフローティングディフュージョン領域３１２Ａ１に転送される。

この際、撮像素子１８４のシリコン基板２５１内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード３５８Ａで発生した信号電荷３５４は、拡散によって図１５Ｂの第２の方向の右側（Ｙ´側）に隣接する別の画素のフォトダイオード３５９Ａに漏れ込む。また、逆に、フォトダイオード３５９Ａで発生した信号電荷３５５が、拡散によってフォトダイオード３５８Ａに漏れ込む。

同様に、フォトダイオード３５８Ａで発生した信号電荷３５６は、拡散によって図１５Ｂの第２の方向の左側（Ｙ側）に隣接する別の画素のフォトダイオード３７０Ａに漏れ込む。また、逆に、フォトダイオード３７０Ａで発生した信号電荷３５７が、拡散によってフォトダイオード３５８Ａに漏れ込む。

フォトダイオード３５８Ａ、３５９Ａ、３７０Ａには、異なる色のカラーフィルタ２５６、２５８、２５９を透過した光束３５１、３５２、３５３がそれぞれ到達する。このため、フォトダイオード３５８Ａ、３５９Ａ、３７０Ａの間の電荷の漏れ込みは、異なる色の映像信号として出力されてしまう。このように、異なるカラーフィルタ２５６、２５８、２５９を有するフォトダイオードの間の漏れ込みによって、撮影画像の混色が発生して画質が低下してしまう。

フォトダイオード３５８Ａの右側には、フォトダイオード３５８Ａに生じた信号電荷を転送するための転送トランジスタ３１１Ａ１と、転送された信号電荷を保持するためのフローティングディフュージョン領域３１２Ａ１が設けられている。同様に、フォトダイオード３７０Ａの右側には、フォトダイオード３７０Ａに生じた信号電荷を転送するための転送トランジスタ３１１Ａ３と、転送された信号電荷を保持するためのフローティングディフュージョン領域３１２Ａ３が設けられている。このように、転送トランジスタやフローティングディフュージョンがフォトダイオードに隣接して存在する場合には、これらが障害物となって電荷が漏れ出しにくくなる。

特に、フォトダイオードの第２の方向において、転送トランジスタやフローティングディフュージョンが隣接する側への電荷の漏れ込みは、そうでない側への電荷の漏れ込みと比較して小さくなる。例えば、図１５Ｂにおいて、フォトダイオード３５８Ａからフォトダイオード３５９Ａへの漏れ込みは、フォトダイオード３５９Ａからフォトダイオード３５８Ａへの漏れ込みよりも小さい。同様に、フォトダイオード３７０Ａからフォトダイオード３５８Ａへの漏れ込みは、フォトダイオード３５８Ａからフォトダイオード３７０Ａへの漏れ込みよりも小さい。

このように、図１５Ａに示す第１の方向、及び図１５Ｂに示す第２の方向においては、フォトダイオードの一方の側と他方の側で隣接するフォトダイオードの間隔や画素の構造が異なることから、クロストークの大きさが方向により異なる。後の図２６Ａ、図２６Ｂでは、方向によって異なる電荷の漏れ込み量に応じてクロストーク補正量を異ならせる方法について説明する。

図１６は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「００：００：００：００」は「時：分：秒：フレーム」を表している。

時刻ｔ３１は、撮像装置１００の電源投入時刻である。
時刻ｔ３２において、動画撮影ボタンであるであるスイッチＭＶ１５５が使用者によって操作されてＯＮとなり、これに応じて、ｐｉｃｔｕｒｅＢの撮像及びｐｉｃｔｕｒｅＡの撮像が開始される。動画撮影のためのボタンであるスイッチＭＶ１５５が操作されることに応じて、ｐｉｃｔｕｒｅＢについては、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。

なお、ｐｉｃｔｕｒｅＢの撮像だけでなくｐｉｃｔｕｒｅＡの撮像も同時に行っているのは、後述するクロストーク補正を常に有効にするためである。図１３に示した転送パルスφＴＸ１Ａがローレベルにならなければ、転送トランジスタ３１１Ａはオン状態であるため、フォトダイオード３１０Ａで発生した信号電荷は蓄積されることはない。しかし、仮にスイッチＳＴ１５４が操作された期間のみをクロストーク補正の対象にすると、クロストーク補正誤差の影響で、スイッチＳＴ１５４の操作タイミングにおいて記録されたｐｉｃｔｕｒｅＢに微妙な輝度変化や色相の変化が生じることとなる。

時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間では、静止画の撮影を行うために使用するスイッチＳＴ１５４が操作されている。これを受けてこれら期間においては、ｐｉｃｔｕｒｅＡについても、所定の信号処理を経て記録媒体１９３にその映像データが書き込まれる。ここで、ｐｉｃｔｕｒｅＡの映像データは、時刻ｔ３３から時刻ｔ３４の期間及び時刻ｔ３５から時刻ｔ３６の期間のみならず、ｐｉｃｔｕｒｅＢの映像データと同じ期間の間、記録媒体１９３に書き込むようにしてもよい。

ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの何れについても、記録媒体１９３に記録された各映像データは同一フレームレートで、例えば、６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図１７に示すようになる。

図１８は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてＭＰ４ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。ＭＰ４ファイルフォーマットは、ＩＳＯ／ＩＥＣ １４４９６−１／ＡＭＤ６で規格化されている。全ての情報はＢｏｘと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム（メディアデータ）と、これらメディアデータに対する管理情報（メタデータ）から構成されている。各Ｂｏｘは４文字の識別子でそれぞれのＢｏｘタイプが表される。ファイルタイプＢｏｘ５０１（ｆｔｙｐ）は、ファイル先頭にあり、ファイルを識別するためのＢｏｘである。メディアデータＢｏｘ５０２（ｍｄａｔ）は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーＢｏｘ５０３（ｍｏｏｖ）は、メディアデータＢｏｘ５０２に格納されたビットストリームを再生するための管理情報が格納されている。スキップＢｏｘ５０４（ｓｋｉｐ）は、再生時にはスキップＢｏｘ５０４内に格納されているデータを読み飛ばし、スキップするためのＢｏｘである。

スキップＢｏｘ５０４内には、この映像データファイルを含むクリップのクリップ名５０８、本素材に付与されているクリップのＵＭＩＤ（Unique Material Identifier）５０９（ＣＬＩＰ−ＵＭＩＤ）が格納される。スキップＢｏｘ５０４内には、また、クリップ先頭フレームのタイムコード値（タイムコード先頭値）５１０、本素材ファイルが記録された記録メディアのシリアル番号５１１が格納される。なお、本図においては、スキップＢｏｘ５０４に、フリースペース５０５、ユーザデータ５０６、メタデータ５０７も含まれている。本素材ファイルのＵＭＩＤや記録メディアのシリアル番号のような特殊なデータは、スキップＢｏｘ５０４に格納されているので、汎用のビューアで再生する際に影響を与えない。

ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＭＰ４ファイルには、同じＣＬＩＰ−ＵＭＩＤが設定される。これにより、ＣＬＩＰ−ＵＭＩＤを使って１つの素材ファイルから同じＣＬＩＰ−ＵＭＩＤのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行えるようになる。

図１９は、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの撮影条件の設定画面を説明する図である。撮影モード選択レバー１５６を、例えば図１（ｂ）の位置から時計方向に９０度回転させることによって、２つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部１５３には、そのときの被写体の輝度に応じたＢｖ値５２１、Ｆナンバー５２２、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれのＩＳＯ感度５２３，５２４、シャッタースピード５２５，５２６が表示される。また、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのそれぞれについて、現在設定されているピクチャーモード５２７，５２８が表示される。ピクチャーモードは、アップダウンスイッチ１５８，１５９及びダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。

前述したように、フォトダイオード３１０Ａとフォトダイオード３１０Ｂとの間の受光効率の差は、３段に設定されている。このため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのＩＳＯ感度範囲には３段の差がある。図２０に示すように、ｐｉｃｔｕｒｅＡはＩＳＯ１００〜ＩＳＯ１０２４００、ｐｉｃｔｕｒｅＢはＩＳＯ１２〜ＩＳＯ１２８００となっている。

図２１は、デュアル映像モードにおけるプログラムＡＥ（Automatic Exposure）線図である。横軸がＴｖ値とそれに対応するシャッタースピードを示し、縦軸がＡｖ値とそれに対応する絞り値を示している。また、斜め方向は等Ｂｖ線となっている。ｐｉｃｔｕｒｅＡのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５６に表されており、ｐｉｃｔｕｒｅＢのＢｖ値とＩＳＯ感度との関係がゲイン表記領域５５７に表されている。なお、図２１において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で表している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図２１を用いて説明する。

まず、Ｂｖ１３のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ１００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５１で交差し、点５５１からシャッタースピード１／４０００、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５２で交差し、点５５２からシャッタースピード１／５００、絞り値Ｆ１１と定まる。

Ｂｖ１０のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５３で交差し、点５５３からシャッタースピード１／１０００、絞り値Ｆ１１と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５６０で交差し、点５６０からシャッタースピード１／６０、絞り値Ｆ１１と定まる。

Ｂｖ６のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度はＩＳＯ２００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ１２に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。

Ｂｖ５のときは、ｐｉｃｔｕｒｅＡでは、ＩＳＯ感度は１段分上昇してＩＳＯ４００に設定される。ｐｉｃｔｕｒｅＡの等Ｂｖ線は、ｐｉｃｔｕｒｅＡのプログラム線図５５８と点５５４で交差し、点５５４からシャッタースピード１／１０００、絞り値Ｆ２．８と定まる。一方、ｐｉｃｔｕｒｅＢでは、ＩＳＯ感度はＩＳＯ２５に設定される。ｐｉｃｔｕｒｅＢの等Ｂｖ線は、ｐｉｃｔｕｒｅＢのプログラム線図５５９と点５５５で交差し、点５５５からシャッタースピード１／６０、絞り値Ｆ２．８と定まる。

以降、輝度が下がるにつれて、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢともに、シャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲においてｐｉｃｔｕｒｅＡは１／１０００以上のシャッタースピードを保ち、ｐｉｃｔｕｒｅＢは多くの輝度範囲で１／６０のシャッタースピードを保っている。これにより、ｐｉｃｔｕｒｅＡではストップモーション効果を得つつ、ｐｉｃｔｕｒｅＢではコマ送り的なジャーキネスのない高品位な動画を得ることができる。

図２２は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとの間のシャッタースピードの差異を撮像シーケンス上で説明する図である。図には、横軸を時間として、Ｖ同期信号４８１、ｐｉｃｔｕｒｅＡの蓄積期間４８２，４８３、ｐｉｃｔｕｒｅＢの蓄積期間４８４，４８５を示している。ｎは、フレーム番号である。

蓄積期間４８２は、ｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間であり、蓄積期間４８３は、ｐｉｃｔｕｒｅＡの画面下端ラインの蓄積期間である。撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。時刻ｔ５３から時刻ｔ５４までが蓄積期間４８２であり、時刻ｔ５５から時刻ｔ５６が蓄積期間４８３である。

また、蓄積期間４８４は、ｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間であり、蓄積期間４８５はｐｉｃｔｕｒｅＢの画面下端ラインの蓄積期間である。ｐｉｃｔｕｒｅＢにおいてもｐｉｃｔｕｒｅＡと同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。時刻ｔ５１から時刻ｔ５４までが蓄積期間４８４であり、時刻ｔ５２から時刻ｔ５６が蓄積期間４８５である。

ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積期間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度のレベルの信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳＮ比の良好なノイズ感のない映像となる。

図２３は、撮像装置１００に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。表示部１５３には、撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が図１（ｂ）の状態から時計方向に９０度回動した位置にあるので、デュアル映像モードでのｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのシャッタースピード４９１，４９２及びＦナンバー４９３が表示されている。

図２４（ａ），（ｂ）は、スイッチＳＴ１５４、スイッチＭＶ１５５を操作することにより取得された映像のうちの１フレームを示したものである。図２４（ａ）は、シャッタースピード１／１０００、絞り値Ｆ４．０で撮影されたｐｉｃｔｕｒｅＡの映像である。図２４（ｂ）は、シャッタースピード１／６０、絞り値Ｆ４．０で撮影されたｐｉｃｔｕｒｅＢの映像である。図２４（ｂ）に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにぶれている。ただし、これを６０ｆｐｓ程度のフレームレートの動画として再生すると、このぶれがむしろ良い方向に働いてコマ送り的なパラパラ間のない滑らかな高品位な映像となる。一方、図２４（ａ）に示した映像は、シャッタースピードが速く、本来であればストップモーション効果が現れるはずである。しかしながら、図１５Ａ、図１５Ｂを用いて先に説明したように、シリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込み、図２４（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっている。このクロストーク現象は、図２４（ｂ）に示した映像においても発生しているが、元々ぶれた映像であるためほとんど目立たない。

そこで、速いシャッタースピードによる本来のストップモーション効果を得るために、本実施形態による撮像装置においては、撮像素子１８４から出力された映像信号に対して以下に説明するクロストーク補正を施す。

図２５は、クロストーク補正を含む一連の処理手順を示すフローチャートである。本実施形態による撮像装置１００における撮像から記録までの処理は、例えば図２５に示すステップＳ１５１〜ステップＳ１５６により実行される。

ステップＳ１５１においては、図１６を用いて説明した時刻ｔ３２におけるスイッチＭＶ１５５の操作に応じて、図１２を用いて説明したシーケンスに従い、フォトダイオード３１０Ａ，３１０Ｂへの信号電荷の蓄積と信号の読み出しとを行う。

ステップＳ１５２では、撮像素子１８４から読み出された信号がアナログフロントエンド１８５，１８６に入力され、ここでアナログ信号がデジタル化される。

ステップＳ１５３において、高感度なフォトダイオード３１０Ａの出力が飽和しているときには、フォトダイオード３１０Ａが飽和していない場合の出力の推定値を、同一画素のフォトダイオード３１０Ｂの出力に基づいて求める。この飽和出力推定処理はデジタル信号処理部１８７と１８８において行われる。飽和出力推定処理の詳細については図２７Ｃで後述する。

ステップＳ１５４では、シリコン基板内部で発生した信号電荷が隣接画素要素に漏れ込むことにより生じるクロストークを低減するためのクロストーク補正を行う。クロストーク補正は、デジタル信号処理部１８７，１８８において行われる。すなわち、デジタル信号処理部１８７，１８８は、クロストーク補正部として機能する。クロストーク補正処理の詳細については図２６Ａ、図２６Ｂで後述する。

ステップＳ１５５では、現像と、必要に応じて圧縮処理を行う。なお、現像処理では、一連の処理のうちの１つとしてガンマ補正が行われる。ガンマ補正とは、入力された光量分布に対してガンマ関数を施す処理である。この結果、入力された光量分布に対してその出力は線形性が保たれず、クロストークの比もその時の光量によって変わってきてしまう。このため、クロストーク補正は、図２５に示すように、ステップＳ１５４よりも前段階で行うことが望ましい。なお、現像後にクロストーク補正を行う場合には、光量の大きさによってクロストーク処理を変更し、或いは、映像信号そのものを逆ガンマ補正してからクロストーク補正を行なうようにすればよい。

ステップＳ１５６では、記録媒体１９３への映像の記録を行う。記録媒体１９３に記録する代わりに或いは記録媒体１９３への記録とともに、無線インターフェース部１９８を介してネットワーク上の記憶装置等に保存するようにしてもよい。

図２６Ａは、本発明の第１実施形態による撮像装置の第１の方向におけるクロストーク補正方法を示す概略図である。また、図２６Ｂは、本発明の第１実施形態による撮像装置の第２の方向におけるクロストーク補正方法を示す概略図である。図２６Ａ及び図２６Ｂに示す処理は、図２５に示すフローチャートにおけるステップＳ１５４に相当する。このクロストーク補正処理は、デジタル信号処理部１８７，１８８により、デジタル信号として処理される。

図２６Ａは、図９に示すＸ−Ｘ´線に沿った第１の方向におけるクロストーク補正を示す。図２６Ａには、第ｉ行ｊ列の画素におけるｐｉｃｔｕｒｅＡの信号をＤＡＴＡ＿Ａｉｊ（ｎ）と表記し、第ｉ行ｊ列の画素におけるｐｉｃｔｕｒｅＢの信号をＤＡＴＡ＿Ｂｉｊ（ｎ）と表記している。括弧内のｎはフレーム番号であり、特定のフレームにおける信号値であることを表している。図２６Ａに示す信号ＤＡＴＡ＿Ｂｉｊ−１（ｎ）、ＤＡＴＡ＿Ａｉｊ（ｎ）、ＤＡＴＡ＿Ｂｉｊ（ｎ）は、それぞれ、図１５Ａに示すフォトダイオード３５０Ｂ、３１０Ａ、３１０Ｂにおいて生じた信号電荷に基づく信号を表している。

フォトダイオードから漏れ出す信号電荷の量は、フォトダイオードにおいて生じた信号電荷の量に依存する。したがって、クロストーク量補正部４６２は、隣接するフォトダイオードにおいて生じた信号電荷に基づく信号ＤＡＴＡ＿Ｂｉｊ−１（ｎ）、ＤＡＴＡ＿Ｂｉｊ（ｎ）に基づいて、信号ＤＡＴＡ＿Ａｉｊ（ｎ）をクロストーク補正する。具体的には、クロストーク量補正部４６２は、クロストーク量演算部４６４及びクロストーク量演算部４６７が出力する信号に基づいて、信号ＤＡＴＡ＿Ａｉｊ（ｎ）をクロストーク補正し、出力信号Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）を得る。クロストーク量補正部４６２による処理は、下式（４）で表される。
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）＝ＤＡＴＡ＿Ａｉｊ（ｎ）
＋ｅｉｊ（ｎ）＋ｇｉｊ（ｎ） …（４）

ここで、クロストーク量演算部４６４は、クロストーク補正関数ｅｉｊ（ｎ）により、信号ＤＡＴＡ＿Ｂｉｊ−１（ｎ）に対して所定の演算を施す。また、クロストーク量演算部４６７は、クロストーク補正関数ｇｉｊ（ｎ）により、信号ＤＡＴＡ＿Ｂｉｊ（ｎ）に対して所定の演算を施す。クロストーク量演算部４６４、４６７による処理は、下式（５）で表される。ここで、α１、α２は補正係数である。
ｅｉｊ（ｎ）＝−α１×ＤＡＴＡ＿Ｂｉｊ−１（ｎ）
ｇｉｊ（ｎ）＝−α２×ＤＡＴＡ＿Ｂｉｊ（ｎ） …（５）

上式（４）及び（５）より、図２６Ａに示すクロストーク補正は、下式（６）で表される。
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）＝ＤＡＴＡ＿Ａｉｊ（ｎ）
−α１×ＤＡＴＡ＿Ｂｉｊ−１（ｎ）
−α２×ＤＡＴＡ＿Ｂｉｊ（ｎ） …（６）

上式（６）に示すクロストーク補正により、第１の方向に隣接するフォトダイオードからのクロストーク成分が除去される。クロストーク量補正部４６２が出力する出力信号Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）は、更にデジタル信号処理部１８７，１８８により、後段の処理である現像や圧縮処理が施される。

図２６Ａに示すクロストーク量補正部４６１、４６３によるクロストーク補正方法は、上述のクロストーク量補正部４６２によるクロストーク補正方法と同様であるので説明は省略する。ただし、クロストーク量演算部４６５、４６６が用いるクロストーク補正関数ｈｉｊ（ｎ）、ｇｉｊ（ｎ）は異なる。クロストーク補正関数の違いについては、図２７Ｂで後述する。

ＤＡＴＡ＿Ｂｉｊ（ｎ）をクロストーク補正した出力信号Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）は、同様にして、下式（７）で表される。ここで、β１、β２は補正係数である。
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）＝ＤＡＴＡ＿Ｂｉｊ（ｎ）
−β１×ＤＡＴＡ＿Ａｉｊ−１（ｎ）
−β２×ＤＡＴＡ＿Ａｉｊ（ｎ） …（７）

一方、図２６Ｂは、図９に示すＹ−Ｙ´線に沿った第２の方向におけるクロストーク補正を示す。図２６Ｂに示す信号ＤＡＴＡ＿Ａｉ−１ｊ（ｎ）、ＤＡＴＡ＿Ａｉｊ（ｎ）、ＤＡＴＡ＿Ａｉ＋１ｊ（ｎ）は、それぞれ、図１５Ｂに示すフォトダイオード３７０Ａ、３５８Ａ、３５９Ａにおいて生じた信号電荷に基づく信号を表している。

フォトダイオードから漏れ出す信号電荷の量は、フォトダイオードにおいて生じた信号電荷の量に依存する。したがって、クロストーク量補正部４７２は、隣接するフォトダイオードにおいて生じた信号電荷に基づく信号ＤＡＴＡ＿Ａｉ−１ｊ（ｎ）、ＤＡＴＡ＿Ａｉ＋１ｊ（ｎ）に基づいて、信号ＤＡＴＡ＿Ａｉｊ（ｎ）をクロストーク補正する。具体的には、クロストーク量補正部４７２は、クロストーク量演算部４７４及びクロストーク量演算部４７７が出力する信号に基づいて、信号ＤＡＴＡ＿Ａｉｊ（ｎ）をクロストーク補正し、出力信号Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）を得る。クロストーク量補正部４７２による処理は、下式（８）で表される。
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）＝ＤＡＴＡ＿Ａｉｊ（ｎ）
＋Ｏｉｊ（ｎ）＋Ｒｉｊ（ｎ） …（８）

ここで、クロストーク量演算部４７４は、クロストーク補正関数Ｏｉｊ（ｎ）により、信号ＤＡＴＡ＿Ａｉ−１ｊ（ｎ）に対して所定の演算を施す。また、クロストーク量演算部４７７は、クロストーク補正関数Ｒｉｊ（ｎ）により、信号ＤＡＴＡ＿Ａｉ＋１ｊ（ｎ）に対して所定の演算を施す。クロストーク量演算部４７４、４７７による処理は、下式（９）で表される。ここで、α３、α４は補正係数である。
Ｏｉｊ（ｎ）＝−α３×ＤＡＴＡ＿Ａｉ−１ｊ（ｎ）
Ｒｉｊ（ｎ）＝−α４×ＤＡＴＡ＿Ａｉ＋１ｊ（ｎ） …（９）

上式（８）及び（９）より、図２６Ｂに示すクロストーク補正は、下式（１０）で表される。
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）＝ＤＡＴＡ＿Ａｉｊ（ｎ）
−α３×ＤＡＴＡ＿Ａｉ−１ｊ（ｎ）
−α４×ＤＡＴＡ＿Ａｉ＋１ｊ（ｎ） …（１０）

上式（１０）に示すクロストーク補正により、第２の方向に隣接するフォトダイオードからのクロストーク成分が除去される。クロストーク量補正部４７２が出力する出力信号Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）は、更にデジタル信号処理部１８７，１８８により、後段の処理である現像や圧縮処理が施される。

図２６Ｂに示すクロストーク量補正部４７１、４７３によるクロストーク補正方法は、上述のクロストーク量補正部４７２によるクロストーク補正方法と同様であるので説明は省略する。ただし、クロストーク量演算部４７５、４７６が用いるクロストーク補正関数Ｐｉｊ（ｎ）、Ｑｉｊ（ｎ）は異なる。クロストーク補正関数の違いについては、図２７Ｂで後述する。

ＤＡＴＡ＿Ｂｉｊ（ｎ）をクロストーク補正した出力信号Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）は、同様にして、下式（１１）で表される。ここで、β３、β４は補正係数である。
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）＝ＤＡＴＡ＿Ｂｉｊ（ｎ）
−β３×ＤＡＴＡ＿Ｂｉ−１ｊ（ｎ）
−β４×ＤＡＴＡ＿Ｂｉ＋１ｊ（ｎ） …（１１）

前述したように、ｐｉｃｔｕｒｅＢでもクロストークは発生しているが、元々ぶれた映像であるためにほとんど目立たないので、上式（７）、（１１）に示すクロストーク補正処理は省略してもよい。比較的短い蓄積期間の映像に対してはクロストーク補正を行い、比較的長い蓄積期間の映像に対してはクロストーク補正を行わないようにすることで、デジタル信号処理部１８７，１８８おける演算負荷を低減することができる。

図２７Ａは、本発明の第１実施形態による撮像装置におけるクロストーク補正関数を示す図である。図２７Ａでは、横軸が入力データの大きさを示し、縦軸が補正すべきクロストーク補正量を示している。クロストーク補正関数ｅｉｊ（ｎ）、ｈｉｊ（ｎ）、ｆｉｊ（ｎ）、ｇｉｊ（ｎ）、Ｏｉｊ（ｎ）、Ｐｉｊ（ｎ）、Ｑｉｊ（ｎ）、Ｒｉｊ（ｎ）は、いずれも、入力データに比例したクロストーク補正量を得る関数である。ただし、前述のように、画素構造等に依存してその補正係数は異なる。

また、絞り１８１を開けてＦナンバーが大きくなっているときほどクロストークは大きく、クロストーク補正量の絶対値も大きくなる。一方、絞り１８１を絞ってＦナンバーが小さくなっているときほどクロストークは小さく、クロストーク補正量の絶対値も小さくなる。図２７Ａにおいて、特性５９１はＦ２．８のときのクロストーク補正関数であり、特性５９２はＦ５．６のときのクロストーク補正関数であり、特性５９３はＦ１１のときのクロストーク補正関数である。特性５９１、特性５９２、特性５９３の順に傾きが小さくなっている。なお、撮影光学系１５２のＦナンバーは連続的に変化させることができるので、上式（６）、（７）、（１０）、（１１）の補正係数α１〜α４、β１〜β４をＦナンバーの関数とすれば、より高精度なクロストーク補正を実現することができる。

また、図１３で説明したように、クロストーク量は、フォトダイオード３１０Ａの蓄積期間とフォトダイオード３１０Ｂの蓄積期間のうちの短い方の値の関数とすることができる。したがって、補正係数α１〜α４、β１〜β４は、相対的に短く設定したフォトダイオード３１０Ａの蓄積期間の関数とするとよい。さらに、像高によってもクロストーク補正量を変えることで、より正確なクロストーク補正を実現することができる。ライトガイド２５５への光の入射が斜めになることでクロストークは増加するので、画素アドレスｉｊを基に光軸１８０から画素までの距離ＺＫを算出し、距離ＺＫに比例して絶対値が増加するようにクロストーク補正をすればよい。さらに、ライトガイド２５５への光の入射角の変化は、撮影光学系１５２の射出瞳と撮像素子１８４との距離ＨＫにも依存するので、クロストーク補正関数を距離ＨＫの関数とすることでより高精度な補正を行うことができる。

図２７Ｂは、本発明の第１実施形態による撮像装置におけるクロストーク補正関数ｅｉｊ（ｎ）、ｈｉｊ（ｎ）、ｆｉｊ（ｎ）、ｇｉｊ（ｎ）、Ｏｉｊ（ｎ）、Ｐｉｊ（ｎ）、Ｑｉｊ（ｎ）、Ｒｉｊ（ｎ）の大きさを示す図である。

クロストーク補正関数ｅｉｊ（ｎ）、ｈｉｊ（ｎ）、ｆｉｊ（ｎ）、ｇｉｊ（ｎ）は、第１の方向におけるクロストークの補正量を算出する。前述のように、第１の方向においては、同一画素のフォトダイオード間の電荷の漏れ込みが、隣接画素のフォトダイオード間の電荷の漏れ込みよりも大きい。したがって、図２７Ｂでは、同一画素のフォトダイオード間のクロストーク補正関数ｆｉｊ（ｎ）、ｇｉｊ（ｎ）を、隣接画素のフォトダイオード間のクロストーク補正関数ｅｉｊ（ｎ）、ｈｉｊ（ｎ）よりも大きくしている。このように、本実施形態では、第１の方向に隣接するフォトダイオードが同一画素のフォトダイオードか否かで、クロストーク補正の補正係数の大きさを変えている。

クロストーク補正関数Ｏｉｊ（ｎ）、Ｐｉｊ（ｎ）、Ｑｉｊ（ｎ）、Ｒｉｊ（ｎ）は、第２の方向におけるクロストークの補正量を算出する。前述のように、第２の方向においては、転送トランジスタやフローティングディフュージョンが設けられた側への電荷の漏れ出しが小さい。したがって、図２７Ｂでは、フォトダイオードの転送トランジスタ及びフローティングディフュージョンが設けられた側へのクロストーク補正関数Ｏｉｊ（ｎ）、Ｑｉｊ（ｎ）を、そうでない側へのＰｉｊ（ｎ）、Ｒｉｊ（ｎ）よりも小さくしている。このように、本実施形態では、転送トランジスタ及びフローティングディフュージョンが第２の方向に隣接して設けられている側か否かで、クロストーク補正の補正係数の大きさを変えている。

次に、第１の方向における電荷の漏れ込み量と、第２の方向における電荷の漏れ込み量とを比較する。図９に示すように、同一画素内のフォトダイオード３１０Ａ及びフォトダイオード３１０Ｂは、第１の方向に隣接して並んでいるので、第２の方向よりも第１の方向のほうがフォトダイオード間の距離が短い。また、第２の方向よりも第１の方向のほうが、フォトダイオード間の漏れ出しを抑える転送トランジスタやフローティングディフュージョン等の構造物が少ない。このため、第１の方向のほうが、第２の方向よりもフォトダイオード間の電荷の漏れ込みが大きくなる。したがって、図２７Ｂでは、第１の方向におけるクロストーク補正関数ｆｉｊ（ｎ）、ｇｉｊ（ｎ）、ｅｉｊ（ｎ）、ｈｉｊ（ｎ）を、第２の方向におけるクロストーク補正関数Ｏｉｊ（ｎ）、Ｐｉｊ（ｎ）、Ｑｉｊ（ｎ）、Ｒｉｊ（ｎ）よりも大きくしている。このように、本実施形態では、第１の方向と第２の方向とで、クロストーク補正の補正係数の大きさを変えている。

図２７Ｂに示すように、方向によって異なる電荷の漏れ込み量に応じてクロストーク補正の補正係数の大きさを異ならせることで、良好なクロストーク補正が可能となる。そしてクロストークによる画質の劣化を抑えることができる。

次に、フォトダイオードが飽和した場合のクロストーク補正方法について説明する。図２７Ａに示したクロストーク補正処理は、フォトダイオードから漏れ出す電荷量が、フォトダイオードの出力に比例することを仮定している。しかし、フォトダイオードが飽和すると、フォトダイオードの出力は受光量が増加しても増加しないが、フォトダイオードから漏れ出す電荷量は受光量に応じて増加する。このため、図２７Ａに示すフォトダイオードの出力に基づくクロストーク補正量は、フォトダイオードが飽和すると実際のクロストークの量と比較して小さくなってしまう。そこで、本実施形態では、同一画素のフォトダイオードの一方が飽和したときには、同一画素の他方の飽和していないフォトダイオードの出力に基づいてクロストーク補正量を求めるようにする。

図２７Ｃは、本発明の第１実施形態による撮像装置における飽和出力推定処理を示す概略図である。図２７Ｃは、フォトダイオード３１０Ａの飽和していない場合の出力の推定値を、同一画素の飽和していないフォトダイオード３１０Ｂの出力に基づいて求める飽和出力推定処理を示している。この飽和出力推定処理は、図２５に示すフローチャートにおけるステップＳ１５３に相当する。飽和出力推定処理は、デジタル信号処理部１８７，１８８により、デジタル信号として処理される。

第ｉ行ｊ列の画素におけるｐｉｃｔｕｒｅＢの値をＤＡＴＡ＿Ｂｉｊ（ｎ）と表記する。ここで、括弧内のｎはフレーム番号である。フォトダイオード３１０Ａが飽和している場合あっても、フォトダイオード３１０Ａの飽和していない場合の出力の推定値を、ＤＡＴＡ＿Ｂｉｊ（ｎ）から推定できる。本実施形態では、同一画素のフォトダイオード３１０Ａに入射する光量と、フォトダイオード３１０Ｂに入射する光量が比例することを利用する。フォトダイオード３１０Ａの出力の推定値Ｓ＿ＤＡＴＡ＿Ａｉｊ（ｎ）は、同一画素におけるフォトダイオード３１０Ａとフォトダイオード３１０Ｂとの感度の比γ、及び蓄積期間の比εを用いて、下式（１２）で推定できる。
Ｓ＿ＤＡＴＡ＿Ａｉｊ（ｎ） ＝γ×ε×ＤＡＴＡ＿Ｂｉｊ（ｎ） …（１２）

感度の比γは画素構造で決まる固定値であり、蓄積期間の比εは撮影条件によって変わる可変値である。図２７Ｃは、上式（１２）の飽和出力推定処理を示している。特性５９４は蓄積期間の比εが１より大きい場合、特性５９５は蓄積期間の比εが１の場合、特性５９６は蓄積期間の比εが１より小さい場合である。図２７Ｃに示すように、信号ＤＡＴＡ＿Ｂｉｊ（ｎ）と推定値Ｓ＿ＤＡＴＡ＿Ａｉｊ（ｎ）との比例定数は、同一画素におけるフォトダイオード３１０Ａとフォトダイオード３１０Ｂの蓄積期間の比εが大きくなるほど大きくなる。

図２６Ａおよび図２６Ｂに示すクロストーク補正処理は、高感度フォトダイオードの出力が飽和したときは、ＤＡＴＡ＿Ａｉｊ（ｎ）の代わりに、図２７Ｃに示す推定値Ｓ＿ＤＡＴＡ＿Ａｉｊ（ｎ）に基づいてクロストーク補正処理を行う。

図２８は、シャッタースピード１／１０００、絞り値Ｆ４．０で撮影されたｐｉｃｔｕｒｅＡの映像（図２４（ａ））に対してクロストーク補正を施した後のｐｉｃｔｕｒｅＡの映像である。図２４（ａ）の映像では、シリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込み、図２４（ｂ）に示した映像があたかも足し合わされたかのような滲んだ映像となっていた。それに対して、図２８の映像では、本来の速いシャッタースピードによるストップモーション効果が現れている。デジタルスチルモーションカメラの表示部１５３上では、再生ボタン１６１が操作されたときに、例えば図２９に示すように、ｐｉｃｔｕｒｅＡ４９６とｐｉｃｔｕｒｅＢ４９７の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。

図３０は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの活用例を説明するための図である。ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図３０において、フレーム群５８１は、ＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルは、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定されて互いに関連付けがなされている。

まず、動画の再生をスタートすると、ｐｉｃｔｕｒｅＢのフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。ｐｉｃｔｕｒｅＢは、シャッタースピードが過度に速くならないような設定（この例では１／６０秒）で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。

フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にｐｉｃｔｕｒｅＡのデータファイルから、ｐｉｃｔｕｒｅＢと同一タイムコードのフレーム５８２が検索されて表示される。ｐｉｃｔｕｒｅＡは、ストップモーション効果が得られやすい高速シャッタースピード（この例では１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積期間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳＮ比の良好なノイズ感のない映像となる。

ここで、印刷の指示を行うと、ｐｉｃｔｕｒｅＡのフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物も、ｐｉｃｔｕｒｅＡを反映したストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的にｐｉｃｔｕｒｅＢのフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。

このように、ｐｉｃｔｕｒｅＢを、動画用の映像信号として用いることにより、ジャーキネスのない動画向きの映像を得ることができる。また、ｐｉｃｔｕｒｅＡを、静止画用の映像信号として用いることにより、ストップモーション効果が得られた静止画及び印刷向きの映像を得ることができる。本実施形態の撮像装置では、これら２つの効果を１つの撮像素子を用いて実現できる。

以上のように、本実施形態では、隣接する光電変換部が出力する映像信号に基づいて、第１光電変換部又は第２光電変換部が出力する映像信号に含まれる光電変換部からのクロストーク成分を補正するクロストーク補正部を備えている。そして、同一画素の第１光電変換部と第２光電変換部が並ぶ方向と、隣接する画素の第１光電変換部同士又は第２光電変換部同士が並ぶ方向とで、クロストーク補正量が異なるようにしている。これにより、単一の撮像素子を用いて複数の映像を同時に撮影する際に、隣接する光電変換部から漏れ込む信号電荷によるクロストークを低減することができる。
また、本実施形態では、第１光電変換部の出力が飽和しているときは、第１光電変換部の飽和していない場合の出力の推定値を、同一画素の第２光電変換部の出力に基づいて求める飽和出力推定部を備えている。そして、クロストーク補正部は、第１光電変換部からのクロストーク補正量を推定値に基づいて求めるようにしている。これにより、第１光電変換部の出力が飽和している場合であってもクロストークによる画質の低下を抑えることができる。

（第２実施形態）
本発明の第２実施形態による撮像装置について、図３１及び図３２を用いて説明する。図１乃至図３０に示す第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

撮影時にｐｉｃｔｕｒｅＡのフレームレートとｐｉｃｔｕｒｅＢのフレームレートを異なる設定にすると、ｐｉｃｔｕｒｅＡを用いて高品位なスロー再生を実現することができる。本実施形態では、このような撮影モードにおけるクロストーク補正について説明する。

図３１は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのフレームレートの差異を撮像シーケンス上で説明するための図である。図の意味合いは、図２２を用いて説明した通りである。図には、横軸を時間として、Ｖ同期信号４８１、ｐｉｃｔｕｒｅＡの蓄積期間４８２，４８３、ｐｉｃｔｕｒｅＢの蓄積期間４８４，４８５を示している。ｎは、フレーム番号である。ｐｉｃｔｕｒｅＢの１フレーム期間Ｔ５１の間にｐｉｃｔｕｒｅＡは４回の蓄積と信号電荷の読み出しを行っている。したがって、ｐｉｃｔｕｒｅＡのシャッタースピードは、少なくともｐｉｃｔｕｒｅＢの１フレーム期間Ｔ５１の１／４よりも速い側に制限される。

図３２は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの活用例を説明するための図である。
ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図３２において、フレーム群６８１は、ＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群、フレーム群６７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルには撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。

まず、動画の再生をスタートすると、ｐｉｃｔｕｒｅＢのフレーム群６７１の先頭フレーム６７２から決められたフレームレートで順次フレームが再生される。ｐｉｃｔｕｒｅＢは、シャッタースピードが過度に速くならないような設定（この例では１／１００秒）で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。

フレーム６７２まで再生が進んだ時点で使用者がスロー再生の操作を行うと、自動的にｐｉｃｔｕｒｅＢに対応するｐｉｃｔｕｒｅＡのデータファイルから同一タイムコードのフレーム６８２が検索され、表示される。ｐｉｃｔｕｒｅＡは、スロー再生でもぶれが目立たない高速シャッタースピード（この例では１／４００秒）で撮影されており、スポーツシーンの激しい動きを具に描き出した迫力のある映像となる。

使用者がスロー再生を解除すると、自動的にｐｉｃｔｕｒｅＢのフレーム群６７１に戻って、フレーム６７４から通常の速度の再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。

次に、このようにｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのフレームレートが異なる場合のクロストーク補正について説明する。
ｐｉｃｔｕｒｅＢが蓄積を行っていないタイミングではｐｉｃｔｕｒｅＡへのクロストークは生じないので、本実施形態では、ｐｉｃｔｕｒｅＢの蓄積期間に応じてクロストーク補正を切り替えることとする。

具体的には、ｐｉｃｔｕｒｅＢの蓄積期間をＳｔ、ｐｉｃｔｕｒｅＢの１フレーム当たりの時間をＦｔ、フレーム番号をｎとし、次のように蓄積期間Ｓｔと時間Ｆｔとの大きさの関係による場合分けを行ってクロストーク補正を実現する。
（Ｓｔ＞３Ｆｔ／４のとき）
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）
＝ＤＡＴＡ＿Ａｉｊ（ｎ）
−α２×ＤＡＴＡ＿Ｂｉｊ（１＋ＱＵＯＴＩＥＮＴ（ｎ＋２，４））
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）
＝ＤＡＴＡ＿Ｂｉｊ（ｎ）
−（β５×ＤＡＴＡ＿Ａｉｊ（４ｎ−６）＋β６×ＤＡＴＡ＿Ａｉｊ（４ｎ−５）
＋β７×ＤＡＴＡ＿Ａｉｊ（４ｎ−４）＋β８×ＤＡＴＡ＿Ａｉｊ（４ｎ−３））
（３Ｆｔ／４≧Ｓｔ＞２Ｆｔ／４のとき）
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）
＝ＤＡＴＡ＿Ａｉｊ（ｎ）
−α２×ＤＡＴＡ＿Ｂｉｊ（１＋ＱＵＯＴＩＥＮＴ（ｎ＋２，４））
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）
＝ＤＡＴＡ＿Ｂｉｊ（ｎ）−（β６×ＤＡＴＡ＿Ａｉｊ（４ｎ−５）
＋β７×ＤＡＴＡ＿Ａｉｊ（４ｎ−４）＋β８×ＤＡＴＡ＿Ａｉｊ（４ｎ−３））
（２Ｆｔ／４≧Ｓｔ＞Ｆｔ／４のとき）
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）
＝ＤＡＴＡ＿Ａｉｊ（ｎ）
−α２×ＤＡＴＡ＿Ｂｉｊ（１＋ＱＵＯＴＩＥＮＴ（ｎ＋２，４））
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）
＝ＤＡＴＡ＿Ｂｉｊ（ｎ）−（β７×ＤＡＴＡ＿Ａｉｊ（４ｎ−４）
＋β８×ＤＡＴＡ＿Ａｉｊ（４ｎ−３））
（Ｆｔ／４≧Ｓｔのとき）
Ｃ＿ＤＡＴＡ＿Ａｉｊ（ｎ）
＝ＤＡＴＡ＿Ａｉｊ（ｎ）
−α２×ＤＡＴＡ＿Ｂｉｊ（１＋ＱＵＯＴＩＥＮＴ（ｎ＋２，４））
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）
＝ＤＡＴＡ＿Ｂｉｊ（ｎ）−β８×ＤＡＴＡ＿Ａｉｊ（４ｎ−３）
なお、これらの式で用いたＱＵＯＴＩＥＮＴ関数は、除算の商の小数値を切り捨てて整数のみを返す関数である。ＱＵＯＴＩＥＮＴ関数は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのフレームレートが異なることに起因してｐｉｃｔｕｒｅＡのフレーム番号ｎが速く進むことを考慮するために用いている。

以上のようにクロストーク補正を構成することによって、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのフレームレートが異なるときにも適切な補正を行うことができるので、ｐｉｃｔｕｒｅＡを用いた高品位のスロー映像を得ることができる。この際、ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢの２つの映像は、異なる蓄積期間の設定で撮影されるが、ｐｉｃｔｕｒｅＡについてゲインアップするのではなく、撮像素子１８４において同程度の信号電荷を得ている。このため、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢのどちらもＳＮ比の良好なノイズ感のない映像となる。また、この技術は、ｐｉｃｔｕｒｅＢを用いたファスト映像を得る際に、その高品位化に用いることもできる。

このように、本実施形態によれば、１つの撮像素子を用いて複数の映像を同時に撮影する際に、クロストークによる画質の低下を抑えることができる。また、複数の映像間でフレームレートを異なる値に設定にすることにより、高品位なスロー再生の実現が可能となる。

（第３実施形態）
本発明の第３実施形態による撮像装置について、図３３乃至図３６を用いて説明する。図１乃至図３２に示す第１及び第２実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

本実施形態では、ｐｉｃｔｕｒｅＡ，ｐｉｃｔｕｒｅＢを合成してＨＤＲ映像（ハイ・ダイナミックレンジ映像）を作成する際のクロストーク補正について述べる。構成要素は第１実施形態と同様である。

ｐｉｃｔｕｒｅＡは受光効率の高い画素要素３０３Ａを用いて撮影され、ｐｉｃｔｕｒｅＢは受光効率の低い画素要素３０３Ｂを用いて撮影される。このため、両者に同一の蓄積期間を設定するだけでも、ｐｉｃｔｕｒｅＢはｐｉｃｔｕｒｅＡに対して感度が３段劣る映像となる。したがって、ｐｉｃｔｕｒｅＡにおいて低輝度領域が十分に再現可能なレベルのときに多くの場合で高輝度領域は白飛びしてしまうが、ｐｉｃｔｕｒｅＢではその高輝度領域でも白飛びせずに輝度情報を残すことができる。ただし、ｐｉｃｔｕｒｅＢの低輝度部分は非常に信号レベルが低くなって黒つぶれを起こしているので、逆に、多くの場合は使用することはできない。

ＨＤＲ映像を取得するためには、まず、感度の低い画素要素から取得した映像（以下、「アンダー映像」と呼ぶ）と感度の高い画素要素から取得した映像（以下、「オーバー映像」と呼ぶ）とを適切にゲイン調整する。そして、アンダー映像の輝度閾値より暗い領域はオーバー映像で置き換え、輝度閾値より明るい領域はアンダー映像をそのままに合成する。本実施形態では、アンダー映像としてｐｉｃｔｕｒｅＢを、オーバー映像としてｐｉｃｔｕｒｅＡを用いればよい。ただし、輝度閾値付近の明るさの中間領域は、映像の合成比率を徐々に変化させるなど、ユーザにとってより自然な映像に見えるように適宜調整することが望ましい。

ｐｉｃｔｕｒｅＡに対してｐｉｃｔｕｒｅＢの感度を何段低く設定するかは、被写体の輝度分布の範囲に依存する。輝度範囲が広く、アンダー映像としてのｐｉｃｔｕｒｅＢの信号レベルを３段よりも低くするときには、ｐｉｃｔｕｒｅＢの蓄積期間をｐｉｃｔｕｒｅＡよりも短くする。逆に、輝度範囲が狭く、アンダー映像としてのｐｉｃｔｕｒｅＢの信号レベルを３段低い感度よりも高くするには、ｐｉｃｔｕｒｅＢの蓄積期間をｐｉｃｔｕｒｅＡよりも長くすればよい。被写体が風景などの場合には、ｐｉｃｔｕｒｅＢはｐｉｃｔｕｒｅＡに対して感度が３段程度低いことが適切な場合が多いため、感度の差を相殺してｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの蓄積期間は同程度になる。ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの蓄積期間が同程度であることによって、被写体が動いているときにもｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの対応する画素位置における被写体像のぶれやボケの状態が良く揃うことになる。これにより、より高品位なＨＤＲ映像を得ることができる。

図３３は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの蓄積動作を撮像シーケンス上で説明するための図である。図には、横軸を時間として、Ｖ同期信号７８１、ｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢの蓄積期間、フレーム番号ｎを示している。蓄積期間７８２がｐｉｃｔｕｒｅＡの画面上端ラインの蓄積期間であり、蓄積期間７８３がｐｉｃｔｕｒｅＡの画面下端ラインの蓄積期間である。また、蓄積期間７８４がｐｉｃｔｕｒｅＢの画面上端ラインの蓄積期間であり、蓄積期間７８５がｐｉｃｔｕｒｅＢの画面下端ラインの蓄積期間である。

撮像素子１８４はローリング電子シャッター機能で露光動作を行うために、ｐｉｃｔｕｒｅＡでは、画面上端から画面下端に向かって時系列的に蓄積が開始され、時系列的に終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８５に入力される。時刻ｔ７２から時刻ｔ７３までが蓄積期間７８２であり、時刻ｔ７５から時刻ｔ７６までが蓄積期間７８３である。

また、ｐｉｃｔｕｒｅＡと同様に、ｐｉｃｔｕｒｅＢにおいても、画面上端から画面下端に向かって時系列的に蓄積が開始され、時系列的に終了する。蓄積が終了すると信号電荷は撮像素子１８４から順次読み出され、アナログフロントエンド１８６に入力される。時刻ｔ７１から時刻ｔ７３までが蓄積期間７８４であり、時刻ｔ７４から時刻ｔ７６が蓄積期間７８５である。

図３４は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの合成比率を説明するための図である。横軸が輝度レベルを示し、縦軸が合成比率を示している。輝度レベルがＬ５１までの低い範囲では、ｐｉｃｔｕｒｅＡの合成比率が１、ｐｉｃｔｕｒｅＢの合成比率がゼロとされている。輝度レベルがＬ５１からＬ５２の範囲では、ｐｉｃｔｕｒｅＡの合成比率が１からゼロに徐々に下降し、代わりにｐｉｃｔｕｒｅＢの合成比率がゼロから１に徐々に上昇する。輝度レベルがＬ５２を超える高い範囲では、ｐｉｃｔｕｒｅＡの合成比率がゼロ、ｐｉｃｔｕｒｅＢの合成比率が１とされている。

このとき、輝度レベルがＬ５１を下回る低輝度領域では、ｐｉｃｔｕｒｅＢの信号レベルが非常に低いので、撮像素子１８４のシリコン基板内部で発生した信号電荷の拡散によるｐｉｃｔｕｒｅＡへの影響は無視することができる。ｐｉｃｔｕｒｅＡからｐｉｃｔｕｒｅＢへの信号電荷の拡散による漏れ込みは発生するものの、ｐｉｃｔｕｒｅＢの合成比率がゼロなので問題にはならない。

一方、輝度レベルがＬ５１を超える高輝度域では、撮像素子１８４のシリコン基板内部で発生した信号電荷が拡散によってｐｉｃｔｕｒｅＡ側の画素要素からｐｉｃｔｕｒｅＢ側の画素要素に電気的に漏れ込むことがある。この場合、ｐｉｃｔｕｒｅＡの信号レベルが高いため、ｐｉｃｔｕｒｅＢの映像は明らかに劣化する。しかも、この輝度範囲ではｐｉｃｔｕｒｅＢの合成比率が高くなっているため、このままでは合成映像としてもＬ５１を超えた高輝度域における映像の劣化が目立ってしまうこととなる。

そこで、輝度レベルの高い領域の合成比率が高いｐｉｃｔｕｒｅＢについて、クロストーク補正を行う。クロストーク補正処理は、先に図２６Ａ、図２６Ｂを用いて説明したものと基本的には同様である。クロストークは信号電荷の量に依存するため、一方の画素要素で生成された信号電荷の量に応じたクロストーク量によって他方の画素要素の出力信号を補正することでクロストーク補正が可能となる。

ここで、ｎフレーム目のｐｉｃｔｕｒｅＡの画素アドレスｉｊにおけるデータをＤＡＴＡ＿Ａｉｊ（ｎ）、ｎフレーム目のｐｉｃｔｕｒｅＢの画素アドレスｉｊにおけるデータをＤＡＴＡ＿Ｂｉｊ（ｎ）とする。また、ｎフレーム目のｐｉｃｔｕｒｅＢの画素アドレスｉｊにおける補正されたデータをＣ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）、補正係数をβ２とする。補正されたデータとしてはｐｉｃｔｕｒｅＢだけを得ればよいので、
Ｃ＿ＤＡＴＡ＿Ｂｉｊ（ｎ）
＝ＤＡＴＡ＿Ｂｉｊ（ｎ）−β２×ＤＡＴＡ＿Ａｉｊ（ｎ） …（１４）
となる。クロストーク補正関数ｇｉｊ（ｎ）を、
ｇｉｊ（ｎ）＝−β２×ＤＡＴＡ＿Ａｉｊ（ｎ）
とすると、式（１４）は、
ＤＡＴＡ＿Ｂｉｊ（ｎ）＝ＤＡＴＡ＿Ｂｉｊ（ｎ）＋ｇｉｊ（ｎ）
と表すことができる。

上述したＨＤＲ映像の合成処理は、例えば、記録媒体１９３からｐｉｃｔｕｒｅＡ及びｐｉｃｔｕｒｅＢを受信したシステム制御ＣＰＵ１７８において実行される。すなわち、システム制御ＣＰＵ１７８は、ハイ・ダイナミックレンジ映像合成部として機能する。

図３５は、ＨＤＲ合成用のｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの例であって、太陽を含む夜明けの風景の映像である。図３５（ａ）がｐｉｃｔｕｒｅＡであり、図３５（ｂ）がｐｉｃｔｕｒｅＢである。ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの撮像条件は、ともに、シャッタースピードが１／６０、絞り値がＦ２．８となっている。ただし、撮像時の実際のシャッタースピードは表示よりも細かく制御されているので、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとで全く同一とは限らない。

図３５（ａ）は、受光効率の高い画素要素を用いて撮影されたｐｉｃｔｕｒｅＡの映像のうちの１フレームであり、建物７９１は陰になっているもののディテールは再現されている。一方、太陽７９２は非常に高輝度であるためにその周辺部も含めて白飛びしている。これに対し、図３５（ｂ）は、受光効率の低い画素要素を用いて撮影されたｐｉｃｔｕｒｅＢの映像のうちの図３５（ａ）と同一タイミングのフレームであり、建物７９３は陰になっていてディテールも失われている。一方、太陽７９４は非常に高輝度ではあるが、受光効率の低い画素要素での撮影であるために白飛びせず、輝度情報や色情報は失われていない。

図３６は、上述したクロストーク補正処理を施したのちにＨＤＲ映像を合成した結果を撮像装置の表示部１５３上に表示した状態を示す図である。建物７９５のディテール及び太陽７９６とその周辺のグラデーションが良好に再現されたＨＤＲ映像を得ることができている。

このように、本実施形態によれば、１つの撮像素子を用いて複数の映像を同時に撮影する際に、クロストークによる画質の低下を抑えることができる。また、これら映像を合成することにより、高品位のＨＤＲ映像を得ることができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１及び図２に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図３、図８、図１１等に示した構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像装置
１５２…撮影光学系
１７８…システム制御ＣＰＵ
１８４…撮像素子
１８７，１８８…デジタル信号処理部
３０２…画素アレイ
３０３…画素
３０３Ａ，３０３Ｂ…画素要素
３１０Ａ，３１０Ｂ…フォトダイオード（光電変換部）
３１３Ａ，３１３Ｂ…フローティングディフュージョン領域

Claims (12)

1. 第１光電変換部及び第２光電変換部を含む画素が行列状に配列された画素アレイを有し、前記第１光電変換部において第１蓄積期間に生じた信号電荷に基づく第１の映像信号と、前記第２光電変換部において前記第１蓄積期間とは異なる第２蓄積期間に生じた信号電荷に基づく第２の映像信号を出力する撮像素子と、
   前記第１光電変換部又は前記第２光電変換部に隣接する光電変換部が出力する映像信号に基づいて、前記第１光電変換部又は前記第２光電変換部が出力する映像信号に含まれる前記光電変換部からのクロストーク成分を補正するクロストーク補正部と、
   を備え、
   同一画素の前記第１光電変換部と前記第２光電変換部が並ぶ方向を第１の方向とし、隣接する画素の前記第１光電変換部同士又は前記第２光電変換部同士が並ぶ方向を第２の方向とするとき、前記第１の方向と前記第２の方向とで、前記クロストーク補正部によるクロストーク補正量が異なることを特徴とする撮像装置。
2. 前記第１の方向における前記クロストーク補正量が、前記第２の方向における前記クロストーク補正量よりも大きいことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の方向における一方の側と他方の側とで、前記クロストーク補正量が異なることを特徴とする請求項１または２に記載の撮像装置。
4. 前記画素は、特定の波長成分を通過させるカラーフィルタを有し、
   同一画素の前記第１光電変換部及び前記第２光電変換部は、同一の前記カラーフィルタを通過した光を受光し、
   前記同一画素の光電変換部との間の前記クロストーク補正量が、隣接する画素の光電変換部との間の前記クロストーク補正量よりも大きいことを特徴とする請求項３に記載の撮像装置。
5. 前記第２の方向における一方の側と他方の側とで、前記クロストーク補正量が異なることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記画素は、前記画素に生じた前記信号電荷を転送する転送トランジスタ、又は転送された前記信号電荷を保持するフローティングディフュージョンを、前記第２の方向における一方の側に有し、同一画素の前記転送トランジスタ又は前記フローティングディフュージョンが設けられた側への前記クロストーク補正量が、他方の側への前記クロストーク補正量よりも小さいことを特徴とする請求項５に記載の撮像装置。
7. 前記クロストーク補正部は、前記第１光電変換部の蓄積期間と前記第２光電変換部の蓄積期間のうちの短い方の蓄積期間に基づいて前記クロストーク補正量を求めることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記第１光電変換部は前記第２光電変換部よりも受光効率が高く、
   前記第１光電変換部の出力が飽和しているときは、前記第１光電変換部の飽和していない場合の出力の推定値を、同一画素の前記第２光電変換部の出力に基づいて求める飽和出力推定部を更に備え、
   前記クロストーク補正部は、前記第１光電変換部からの前記クロストーク補正量を、前記飽和出力推定部による前記推定値に基づいて求める
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記飽和出力推定部は、前記第１光電変換部と前記第２光電変換部との感度の比、および蓄積期間の比に基づいて、前記推定値を求めることを特徴とする請求項８に記載の撮像装置。
10. 第１光電変換部及び第２光電変換部を含む画素が行列状に配列された画素アレイを有し、前記第１光電変換部において第１蓄積期間に生じた信号電荷に基づく第１の映像信号と、前記第２光電変換部において前記第１蓄積期間とは異なる第２蓄積期間に生じた信号電荷に基づく第２の映像信号を出力する撮像素子を備えた撮像装置における撮像方法であって、
    前記第１光電変換部又は前記第２光電変換部に隣接する光電変換部が出力する映像信号に基づいて、前記第１光電変換部又は前記第２光電変換部が出力する映像信号に含まれる前記光電変換部からのクロストーク成分を補正するクロストーク補正ステップを有し、
    同一画素の前記第１光電変換部と前記第２光電変換部が並ぶ方向を第１の方向とし、隣接する画素の前記第１光電変換部同士又は前記第２光電変換部同士が並ぶ方向を第２の方向とするとき、前記第１の方向と前記第２の方向とで、前記クロストーク補正ステップにおけるクロストーク補正量が異なることを特徴とする撮像方法。
11. 第１光電変換部及び第２光電変換部を含む画素が行列状に配列された画素アレイを有し、前記第１光電変換部において第１蓄積期間に生じた信号電荷に基づく第１の映像信号と、前記第２光電変換部において前記第１蓄積期間とは異なる第２蓄積期間に生じた信号電荷に基づく第２の映像信号を出力する撮像素子を備えた撮像装置において、コンピュータを、
    前記第１光電変換部又は前記第２光電変換部に隣接する光電変換部が出力する映像信号に基づいて、前記第１光電変換部又は前記第２光電変換部が出力する映像信号に含まれる前記光電変換部からのクロストーク成分を補正するクロストーク補正手段として機能させるプログラムであって、
    同一画素の前記第１光電変換部と前記第２光電変換部が並ぶ方向を第１の方向とし、隣接する画素の前記第１光電変換部同士又は前記第２光電変換部同士が並ぶ方向を第２の方向とするとき、前記第１の方向と前記第２の方向とで、前記クロストーク補正手段によるクロストーク補正量が異なることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。

Images