JP2017192102A - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP2017192102A JP2017192102A JP2016082115A JP2016082115A JP2017192102A JP 2017192102 A JP2017192102 A JP 2017192102A JP 2016082115 A JP2016082115 A JP 2016082115A JP 2016082115 A JP2016082115 A JP 2016082115A JP 2017192102 A JP2017192102 A JP 2017192102A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- conversion unit
- picture
- crosstalk
- crosstalk correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 109
- 238000012937 correction Methods 0.000 claims abstract description 156
- 238000006243 chemical reaction Methods 0.000 claims abstract description 139
- 238000009825 accumulation Methods 0.000 claims abstract description 106
- 239000011159 matrix material Substances 0.000 claims abstract description 9
- 238000012546 transfer Methods 0.000 claims description 86
- 238000009792 diffusion process Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 47
- 238000007667 floating Methods 0.000 claims description 43
- 230000035945 sensitivity Effects 0.000 claims description 28
- 229920006395 saturated elastomer Polymers 0.000 claims description 18
- 230000035508 accumulation Effects 0.000 description 91
- 238000012545 processing Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 36
- 238000000034 method Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 32
- 239000003990 capacitor Substances 0.000 description 25
- 230000003321 amplification Effects 0.000 description 19
- 238000003199 nucleic acid amplification method Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 14
- 229910052710 silicon Inorganic materials 0.000 description 14
- 239000010703 silicon Substances 0.000 description 14
- 239000000758 substrate Substances 0.000 description 14
- JOXIMZWYDAKGHI-UHFFFAOYSA-N toluene-4-sulfonic acid Chemical compound CC1=CC=C(S(O)(=O)=O)C=C1 JOXIMZWYDAKGHI-UHFFFAOYSA-N 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 208000012661 Dyskinesia Diseases 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 101001122938 Homo sapiens Lysosomal protective protein Proteins 0.000 description 7
- 102100028524 Lysosomal protective protein Human genes 0.000 description 7
- 230000004907 flux Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- LZZYPRNAOMGNLH-UHFFFAOYSA-M Cetrimonium bromide Chemical compound [Br-].CCCCCCCCCCCCCCCC[N+](C)(C)C LZZYPRNAOMGNLH-UHFFFAOYSA-M 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 238000005036 potential barrier Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 102100021633 Cathepsin B Human genes 0.000 description 2
- 101000898449 Homo sapiens Cathepsin B Proteins 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 229910052581 Si3N4 Inorganic materials 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 1
- 229910052814 silicon oxide Inorganic materials 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】単一の撮像素子を用いて複数の映像を同時に撮影する際に、隣接する光電変換部から漏れ込む信号電荷によるクロストークを低減する。【解決手段】第1光電変換部及び第2光電変換部を含む画素が行列状に配列された画素アレイを有し、第1光電変換部において第1蓄積期間に生じた信号電荷に基づく映像信号と、第2光電変換部において第2蓄積期間に生じた信号電荷に基づく映像信号を出力する撮像素子と、第1光電変換部又は第2光電変換部に隣接する光電変換部が出力する映像信号に基づいて、第1光電変換部又は第2光電変換部が出力する映像信号に含まれる光電変換部からのクロストーク成分を補正するクロストーク補正部とを備え、同一画素の第1光電変換部と第2光電変換部が並ぶ方向と、隣接する画素の第1光電変換部同士又は第2光電変換部同士が並ぶ方向とで、クロストーク補正量が異なる。【選択図】図15A
Description
本発明は、蓄積期間の長さが異なる複数の光電変換部を有する撮像装置及び撮像方法に関するものである。
動画と静止画を一台のカメラで同時に撮影することにより、撮影シーンを動画として視聴しながら、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、蓄積期間の異なる複数の光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。
特許文献1では、蓄積期間の異なる2つの光電変換部から第1画像信号及び第2画像信号を読み出す撮像装置が提案されている。これにより、単一の撮影レンズを通して、動画と静止画を同時に撮影することができる。また、通常フレームレート動画と高フレームレート動画を同時に撮影することができる。
しかしながら、複数の映像の同時撮影が可能な撮像装置では、撮像素子の光電変換部で発生した信号電荷が隣接する光電変換部に漏れ込むことによって映像信号間にクロストークが生じ、両方の映像が混じり合って画質が低下してしまうという課題があった。このようなクロストークによる画質低下は、同一画素内の2つの光電変換部の間だけでなく、隣接する画素の光電変換部との間でも生じる。
本発明に係る撮像装置は、第1光電変換部及び第2光電変換部を含む画素が行列状に配列された画素アレイを有し、第1光電変換部において第1蓄積期間に生じた信号電荷に基づく第1の映像信号と、第2光電変換部において第1蓄積期間とは異なる第2蓄積期間に生じた信号電荷に基づく第2の映像信号を出力する撮像素子と、第1光電変換部又は第2光電変換部に隣接する光電変換部が出力する映像信号に基づいて、第1光電変換部又は第2光電変換部が出力する映像信号に含まれる光電変換部からのクロストーク成分を補正するクロストーク補正部とを備え、同一画素の第1光電変換部と第2光電変換部が並ぶ方向を第1の方向とし、隣接する画素の第1光電変換部同士又は第2光電変換部同士が並ぶ方向を第2の方向とするとき、第1の方向と第2の方向とで、クロストーク補正部によるクロストーク補正量が異なることを特徴とする。
また、本発明に係る撮像方法は、第1光電変換部及び第2光電変換部を含む画素が行列状に配列された画素アレイを有し、第1光電変換部において第1蓄積期間に生じた信号電荷に基づく第1の映像信号と、第2光電変換部において第1蓄積期間とは異なる第2蓄積期間に生じた信号電荷に基づく第2の映像信号を出力する撮像素子を備えた撮像装置における撮像方法であって、第1光電変換部又は第2光電変換部に隣接する光電変換部が出力する映像信号に基づいて、第1光電変換部又は第2光電変換部が出力する映像信号に含まれる光電変換部からのクロストーク成分を補正するクロストーク補正ステップを有し、同一画素の第1光電変換部と第2光電変換部が並ぶ方向を第1の方向とし、隣接する画素の第1光電変換部同士又は第2光電変換部同士が並ぶ方向を第2の方向とするとき、第1の方向と第2の方向とで、クロストーク補正ステップにおけるクロストーク補正量が異なることを特徴とする。
本発明によれば、単一の撮像素子を用いて複数の映像を同時に撮影する際に、隣接する光電変換部から漏れ込む信号電荷によるクロストークを低減することができる。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。
(第1実施形態)
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、1フレーム期間に近い蓄積期間を設定する必要がある。すなわち、フレームレートが30fpsであれば、1/30秒や1/60秒といった比較的長い蓄積期間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、1フレーム期間に近い蓄積期間を設定する必要がある。すなわち、フレームレートが30fpsであれば、1/30秒や1/60秒といった比較的長い蓄積期間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。
一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば1/1000秒程度の短い蓄積期間を設定する必要がある。また、高フレームレートの動画では、1フレーム期間が短いので、例えばフレームレートが120fpsであれば、1/125秒や1/250秒といった必然的に短い蓄積期間を設定することとなる。
単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の2つの映像を同時に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、2つの映像が異なる蓄積期間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもS/N比の良好なノイズ感のない映像となることが望ましい。
また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のHDR(High Dynamic Range)技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。
このような背景から、撮像装置内の撮像素子に感度の異なる2つの画素群を設け、これら画素群からの出力を合成することによってダイナミックレンジを拡大する技術が提案されている。この技術においても同様に、2つの画素群のどちらからもS/N比の良好なノイズ感のない中間映像データを作成し、最終的に品位の高いHDR映像を合成できることが望ましい。
本実施形態では、まず、単一の撮像素子を用いて撮影条件が異なる2つの映像を同時に撮影する方法について説明する。なお、本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加した撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。
図1は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図1(a)がその正面図を示し、図1(b)がその背面図を示している。
本実施形態による撮像装置100は、筐体151と、筐体151の正面部に設けられた撮影光学系152と、筐体151の上面部に設けられたスイッチST154及びプロペラ162とを有している。また、撮像装置100は、筐体151の背面部に、表示部153と、スイッチMV155と、撮影モード選択レバー156と、メニューボタン157と、アップダウンスイッチ158,159と、ダイアル160と、再生ボタン161とを有している。
本実施形態による撮像装置100は、筐体151と、筐体151の正面部に設けられた撮影光学系152と、筐体151の上面部に設けられたスイッチST154及びプロペラ162とを有している。また、撮像装置100は、筐体151の背面部に、表示部153と、スイッチMV155と、撮影モード選択レバー156と、メニューボタン157と、アップダウンスイッチ158,159と、ダイアル160と、再生ボタン161とを有している。
筐体151は、撮像素子やシャッター装置等の撮像装置100を構成する種々の機能部品を収納する容器である。撮影光学系152は、被写体の光学像を結像するための光学系である。表示部153は、撮影情報や映像を表示するための表示装置により構成される。表示部153には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部153は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチST154は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチMV155は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー156は、撮影モードを選択するための切り替えスイッチである。メニューボタン157は、撮像装置100の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ158,159は、各種の設定値を変更する際に用いるボタンである。ダイアル160は、各種の設定値を変更するためのダイアルである。再生ボタン161は、撮像装置100に収納されている記録媒体に記録されている映像を表示部153上で再生する再生モードへ移行するためのボタンである。プロペラ162は、空中からの撮影を行うために撮像装置100を空中に浮上させるためのものである。
図2は、本実施形態による撮像装置100の概略構成を示すブロック図である。撮像装置100は、図2に示すように、絞り181、絞り制御部182、光学フィルター183、撮像素子184、アナログフロントエンド185,186、デジタル信号処理部187,188、タイミング発生部189を有している。また、撮像装置100は、システム制御CPU178、スイッチ入力手段179、映像メモリ190、飛行制御装置200を有している。また、撮像装置100は、表示インターフェース部191、記録インターフェース部192、記録媒体193、プリントインターフェース部194、外部インターフェース部196、無線インターフェース部198を有している。
撮像素子184は、撮影光学系152を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子184は、特に限定されるものではないが、例えば、UHDTV(Ultra High Definition Television)の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り181は、撮影光学系152を通る光の量を調節するためのものである。絞り制御部182は、絞り181を制御するためのものである。光学フィルター183は、撮像素子184に入射する光の波長、撮像素子184に伝達する空間周波数を制限するためのものである。撮影光学系152、絞り181、光学フィルター183、撮像素子184は、撮影光学系152の光軸180上に配置されている。
アナログフロントエンド185,186は、撮像素子184から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換を行うためのものである。アナログフロントエンド185,186は、例えば、ノイズを除去する相関二重サンプリング(CDS)回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するA/D変換器等により構成される。デジタル信号処理部187,188は、アナログフロントエンド185,186から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。デジタル信号処理部187,188が行う補正には、後述するクロストーク補正が含まれる。タイミング発生部189は、撮像素子184、アナログフロントエンド185,186、デジタル信号処理部187,188に各種タイミング信号を出力するためのものである。システム制御CPU178は、各種演算の実行や撮像装置100の全体の制御を司る制御部である。映像メモリ190は、映像データを一時的に記憶するためのものである。
表示インターフェース部191は、撮影された映像を表示部153に表示するためのシステム制御CPU178と表示部153との間のインターフェースである。記録媒体193は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置100に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部192は、記録媒体193に記録又は記録媒体193から読み出しを行うためのシステム制御CPU178と記録媒体193との間のインターフェースである。外部インターフェース部196は、外部コンピュータ197等の外部機器と通信するためのシステム制御CPU178と外部機器との間のインターフェースである。プリントインターフェース部194は、撮影された映像を小型インクジェットプリンタ等のプリンタ195に出力し印刷するためのシステム制御CPU178とプリンタ195との間のインターフェースである。無線インターフェース部198は、インターネット等のネットワーク199と通信するためのシステム制御CPU178とネットワーク199との間のインターフェースである。スイッチ入力手段179は、スイッチST154、スイッチMV155、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置200は、空中からの撮影を行うためにプロペラ162を制御して撮像装置100を飛行させるための制御装置である。
図3は、撮像素子184の構成例を示すブロック図である。撮像素子184は、図3に示すように、画素アレイ302、垂直走査回路307、読み出し回路308A,308B及びタイミング制御回路309A,309Bを含む。
画素アレイ302には、複数の画素303が行列状に配置されている。なお、画素アレイ302に属する画素303の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、4行×4列の行列状に配置された16個の画素303のみを示している。複数の画素303の各々は、画素要素303Aと画素要素303Bとの組みを有する。図3では、画素303の上半分の領域を画素要素303Aとし、画素303の下半分の領域を画素要素303Bとしている。画素要素303A及び画素要素303Bは、それぞれ光電変換により信号を生成する。
画素アレイ302の各列には、列方向に延在する信号出力線304A,304Bが、それぞれ設けられている。各列の信号出力線304Aは、当該列に属する画素要素303Aに接続されている。信号出力線304Aには、画素要素303Aからの信号が出力される。各列の信号出力線304Bは、当該列に属する画素要素303Bに接続されている。信号出力線304Bには、画素要素303Bからの信号が出力される。画素アレイ302の各列には、列方向に延在する電源線305及び接地線306が、それぞれ設けられている。各列の電源線305及び接地線306は、当該列に属する画素303に接続されている。電源線305及び接地線306は、行方向に延在する信号線としてもよい。
垂直走査回路307は、画素アレイ302に対して行方向に隣接して配置される。垂直走査回路307は、画素アレイ302の複数の画素303に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素303内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφRESn、転送パルスφTXnA,TXnBを示している(nは、行番号に対応した整数)。
読み出し回路308A,308Bは、画素アレイ302を挟むように、画素アレイ302に対して列方向に隣接して配置されている。読み出し回路308Aは、各列の信号出力線304Aに接続されている。読み出し回路308Aは、各列の信号出力線304Aを順次選択的に活性化することで、各列の信号出力線304Aからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路308Bは、各列の信号出力線304Bに接続されている。読み出し回路308Bは、各列の信号出力線304Bを順次選択的に活性化することで、各列の信号出力線304Bからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路308A,308Bは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。
タイミング制御回路309Aは、垂直走査回路307及び読み出し回路308Aに接続されている。タイミング制御回路309Aは、垂直走査回路307及び読み出し回路308Aの駆動タイミングを制御する制御信号が出力される。タイミング制御回路309Bは、垂直走査回路307及び読み出し回路308Bに接続されている。タイミング制御回路309Bは、垂直走査回路307及び読み出し回路308Bの駆動タイミングを制御する制御信号が出力される。
図4は、撮像素子184の画素303の内部構造を示す断面図である。それぞれの画素303は、図4に示すように、2つのフォトダイオード310A,310Bと、ライトガイド255と、カラーフィルタ256とを含む。フォトダイオード310Aは画素要素303Aの一部を構成し、フォトダイオード310Bは画素要素303Bの一部を構成する。フォトダイオード310A,310Bは、シリコン基板251内に設けられている。ライトガイド255は、シリコン基板251上に設けられた絶縁層254内に設けられている。絶縁層254は例えば酸化シリコンにより構成され、ライトガイド255は絶縁層254よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド255間の絶縁層254には、配線層252が設けられている。ライトガイド255上には、所定の分光透過率特性を有するカラーフィルタ256が設けられている。なお、図4には、隣接する2つの画素303のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ256,257により構成した例を示している。
ライトガイド255は、絶縁層254との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ256を介して入射した光をライトガイド255によってフォトダイオード310A,310Bに導くことができる。フォトダイオード310A,310Bは、ライトガイド255に対して非対称に配置されており、ライトガイド255を伝搬した光束は、高い効率でフォトダイオード310Aに入射し、低い効率でフォトダイオード310Bに入射する。更に、ライトガイド255は、その深さや傾斜角を調節することにより、フォトダイオード310A,310Bが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。
図5は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図5において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図5には、フォトダイオード310Aからの出力特性261と、フォトダイオード310Bからの出力特性262とを示している。
図5に示すように、出力特性261及び出力特性262は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、出力特性262のピーク強度PBは、出力特性261のピーク強度PAの1/8程度になっている。このことは、フォトダイオード310A,310Bの入射角依存性はともに小さく、それらの受光効率はフォトダイオード310Aに比べてフォトダイオード310Bが1/8であるということを表している。すなわち、フォトダイオード310Bは、ISO感度の設定値に置き換えると、フォトダイオード310Aよりも3段分、感度が低いことになる。
次に、撮影光学系152と撮像素子184との関係を、図6を用いてより詳しく説明する。図6は、撮影光学系152と撮像素子184との関係を説明する図である。図6(a)は、撮影光学系152をその光軸180方向から見た図である。図6(b)は、図2の撮影光学系152から撮像素子184に至る部分をより詳細に示した図である。
撮像素子184が、図6(b)に示すように、撮像領域の中央部に位置する画素276と、撮像領域の外縁近傍に位置する画素277とを含むものとする。この場合、画素276は、光線272と光線273とで囲まれた領域からの光束を受光することができる。また、画素277は、光線274と光線275とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ270が光学フィルター183と撮影光学系152との間に配置されているため、撮影光学系152の付近では、画素276が受光する光束と画素277が受光する光束とは、図6(a)に領域271で示すように重なっている。この結果、撮影光学系152からの光束を何れの画素においても高効率で受光することが可能となっている。
図7は、撮像素子から出力される映像信号を説明するための概略図である。ここで、画素アレイ302に、図7(a)に示すカラーフィルタ配列281で、所定の光透過率特性を有するカラーフィルタ256が配置されている場合を想定する。図7(a)は、6行×8列の行列状に画素303が配列された画素アレイ302と、各画素に配置されるカラーフィルタ256の色を模式的に示したものである。図中、Rは赤色カラーフィルタを、G1及びG2は緑色カラーフィルタを、Bは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列281は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、G1BG1B…,RG2RG2…,G1BG1B…,…、といった繰り返しで、各色のカラーフィルタ256が配置されている。
このようなカラーフィルタ配列281を有する画素アレイ302からは、図7(b)及び図7(c)に示される出力データ282,283が得られる。図7(b)中、g1A及びg2Aは、緑色カラーフィルタが配置された画素303の画素要素303Aからの出力を表している。bAは、青色カラーフィルタが配置された画素303の画素要素303Aからの出力を表している。rAは、赤色カラーフィルタが配置された画素303の画素要素303Aからの出力を表している。図7(c)中、g1B及びg2Bは、緑色カラーフィルタが配置された画素303の画素要素303Bからの出力を表している。bBは、青色カラーフィルタが配置された画素303の画素要素303Bからの出力を表している。rBは、赤色カラーフィルタが配置された画素303の画素要素303Bからの出力を表している。
図3を用いて説明したように、撮像素子184からは、読み出し回路308A,308Bからの2系統の出力が得られ、そのうちの一方が図7(b)に示す出力データ282であり、他方が図7(c)に示す出力データ283である。出力データ282は、所定の信号処理ののちに映像信号「pictureA」となる。また、出力データ283は、所定の信号処理ののちに映像信号「pictureB」となる。以後の説明では、出力データ282に基づく映像信号を「pictureA」、出力データ283に基づく映像信号を「pictureB」と表記するものとする。なお、pictureA,pictureBは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもpictureA,pictureBと表記することがある。
図8は、画素303の構成例を示す回路図である。画素303は、上記のように、画素要素303A及び画素要素303Bを有する。画素要素303Aは、フォトダイオード310Aと、転送トランジスタ311Aと、フローティングディフュージョン領域313Aと、リセットトランジスタ314Aと、増幅トランジスタ315Aとを有する。画素要素303Bは、フォトダイオード310Bと、転送トランジスタ311Bと、フローティングディフュージョン領域313Bと、リセットトランジスタ314Bと、増幅トランジスタ315Bとを有する。なお、フォトダイオード310Aは、図4に示したフォトダイオード310Aに対応し、フォトダイオード310Bは、図4に示したフォトダイオード310Bに対応している。
フォトダイオード310Aのアノードは接地線306に接続され、フォトダイオード310Aのカソードは転送トランジスタ311Aのソースに接続されている。転送トランジスタ311Aのドレインは、リセットトランジスタ314Aのソース及び増幅トランジスタ315Aのゲートに接続されている。転送トランジスタ311Aのドレイン、リセットトランジスタ314Aのソース及び増幅トランジスタ315Aのゲートの接続ノードが、フローティングディフュージョン領域313Aを構成する。リセットトランジスタ314Aのドレイン及び増幅トランジスタ315Aのドレインは、電源線305に接続されている。画素信号出力部316Aを構成する増幅トランジスタ315Aのソースは、信号出力線304Aに接続されている。
同様に、フォトダイオード310Bのアノードは接地線306に接続され、フォトダイオード310Bのカソードは転送トランジスタ311Bのソースに接続されている。転送トランジスタ311Bのドレインは、リセットトランジスタ314Bのソース及び増幅トランジスタ315Bのゲートに接続されている。転送トランジスタ311Bのドレイン、リセットトランジスタ314Bのソース及び増幅トランジスタ315Bのゲートの接続ノードが、フローティングディフュージョン領域313Bを構成する。リセットトランジスタ314Bのドレイン及び増幅トランジスタ315Bのドレインは、電源線305に接続されている。画素信号出力部316Bを構成する増幅トランジスタ315Bのソースは、信号出力線304Bに接続されている。
各列の画素303は、垂直走査回路307から行方向に配されたリセット制御線319及び転送制御線320A,320Bに接続されている。リセット制御線319は、リセットトランジスタ314Aのゲート及びリセットトランジスタ314Bのゲートに接続されている。転送制御線320Aは、コンタクト部312Aを介して転送トランジスタ311Aのゲートに接続されている。転送制御線320Bは、コンタクト部312Bを介して転送トランジスタ311Bのゲートに接続されている。リセット制御線319は、リセットトランジスタ314Aのゲート及びリセットトランジスタ314Bのゲートに、垂直走査回路307から出力されるリセットパルスφRESnを供給する。転送制御線320Aは、転送トランジスタ311Aのゲートに、垂直走査回路307から出力される転送パルスφTXnAを供給する。転送制御線320Bは、転送トランジスタ311Bのゲートに、垂直走査回路307から出力される転送パルスφTXnBを供給する。なお、リセットパルスφRESn、転送パルスφTXnA及び転送パルスφTXnBの符号に付したnは、行番号に対応した整数である。図面には、nを行番号に対応した整数で置き換えた符号で表している。
フォトダイオード310Aは光電変換により電荷を生成及び蓄積する第1光電変換部であり、フォトダイオード310Bは光電変換により電荷を生成及び蓄積する第2光電変換部である。フローティングディフュージョン領域313A,313Bは、電荷を保持する領域である。転送トランジスタ311Aは、フォトダイオード310Aにより生成された電荷をフローティングディフュージョン領域313Aに転送するためのものである。転送トランジスタ311Bは、フォトダイオード310Bにより生成された電荷をフローティングディフュージョン領域313Bに転送するためのものである。
垂直走査回路307からハイレベルの転送パルスφTXnAが出力されると、転送トランジスタ311Aがオン状態となり、フォトダイオード310Aとフローティングディフュージョン領域313Aとが接続される。同様に、垂直走査回路307からハイレベルの転送パルスφTXnBが出力されると、転送トランジスタ311Bがオン状態となり、フォトダイオード310Bとフローティングディフュージョン領域313Bとが接続される。垂直走査回路307からハイレベルのリセットパルスφRESnが出力されると、リセットトランジスタ314A,314Bがオン状態となり、フォトダイオード310A,310B、フローティングディフュージョン領域313A,313Bがリセットされる。
垂直走査回路307からローレベルの転送パルスφTXnAが出力されると、転送トランジスタ311Aがオフ状態となり、フォトダイオード310Aは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路307からハイレベルの転送パルスφTXnAが出力されると、転送トランジスタ311Aがオン状態となり、フォトダイオード310Aの信号電荷はフローティングディフュージョン領域313Aに転送される。すると、増幅トランジスタ315Aは、フォトダイオード310Aから転送されてフローティングディフュージョン領域313Aに保持された信号電荷に基づく増幅信号を信号出力線304Aに出力する。
同様に、垂直走査回路307からローレベルの転送パルスφTXnBが出力されると、転送トランジスタ311Bがオフ状態となり、フォトダイオード310Bは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路307からハイレベルの転送パルスφTXnBが出力されると、転送トランジスタ311Bがオン状態となり、フォトダイオード310Bの信号電荷はフローティングディフュージョン領域313Bに転送される。すると、増幅トランジスタ315Bは、フォトダイオード310Bから転送されてフローティングディフュージョン領域313Bに保持された信号電荷に基づく増幅信号を信号出力線304Bに出力する。
図9及び図10は、画素303の要部を示す平面レイアウト図である。図9には、画素303の構成要素のうち、フォトダイオード310A,310B、転送トランジスタ311A,311B、フローティングディフュージョン領域313A,313Bを示している。リセットトランジスタ314A,314B及び増幅トランジスタ315A,315Bを含むその他の回路要素は、図面において読み出し回路321として表し、詳細な図示は省略している。また、画素303の垂直方向に配される信号出力線304A,304B及び電源線305を省略し、リセット制御線319、電源線305、接地線306のコンタクト部を省略している。図10には、図9に示した構成要素に加え、図4において説明したライトガイド255を示している。ライトガイド255は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。
以降の説明では、図9において同一画素のフォトダイオード310Aとフォトダイオード310Bが並ぶX−X’線に沿った方向を「第1の方向」ということがある。また、隣接する画素のフォトダイオード310A同士又はフォトダイオード310B同士が並ぶY−Y´線に沿った方向を「第2の方向」ということがある。
図9及び図10において、コンタクト部312Aは、転送制御線320Aと転送トランジスタ311Aのゲートとを接続するコンタクト部である。コンタクト部312Bは、転送制御線320Bと転送トランジスタ311Bのゲートとを接続するコンタクト部である。フォトダイオード310A,310Bは、光電変換を行う光電変換部であり、第1導電型(例えばP型)の半導体領域と、第1導電型の半導体領域とPN接合を構成する第2導電型(例えばN型)の半導体領域(N型の電子蓄積領域)とを有する。フォトダイオード310Aの第2導電型の半導体領域とフォトダイオード310Bの第2導電型の半導体領域とは、分離部322によって分離されている。
転送トランジスタ311A,311B、コンタクト部312A,312B、転送制御線320A,320Bは、フォトダイオード310A,310B間にある分離部322に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド255は、図10に示すように、分離部322に対して偏った位置に配置されている。すなわち、フォトダイオード310Aがライトガイド255の底部分の多くの面積を占めるのに対して、フォトダイオード310Bはライトガイド255の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード310Aの受光効率は高く、フォトダイオード310Bの受光効率は低くなっている。
本実施形態による撮像素子184では、フォトダイオード310A,310Bの受光効率の比を8:1程度、すなわち感度の差を3段程度に設定している。そして、2つの映像を異なる蓄積期間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもSN比の良好なノイズ感のない映像としたり、或いは、品位の高いHDR映像を合成可能としたりすることに供している。詳細については、後述する。
図11は、撮像素子184の読み出し回路の構成例を示す回路図である。なお、図11には、読み出し回路308Aを想定して、一部の構成要素の符号の末尾に「A」を付記している。読み出し回路308Bにおいては、対応する構成要素の符号の末尾に「B」が付記されるものと理解されたい。
読み出し回路308Aは、図11に示すように、クランプ容量C0、フィードバック容量Cf、オペアンプ406、基準電圧源407、スイッチ423を含む。オペアンプ406の一方の入力端子は、クランプ容量C0を介して信号出力線304Aに接続されている。オペアンプ406の当該一方の入力端子と出力端子との間には、フィードバック容量Cfとスイッチ423とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源407に接続されている。基準電圧源407は、オペアンプ406に基準電圧Vrefを供給するためのものである。スイッチ423は、信号PC0Rで制御されるスイッチであり、信号PC0Rがハイレベルのときにオン状態となり、フィードバック容量Cfの両端を短絡させる。
読み出し回路308Aは、また、スイッチ414,415,418,419、容量CTSA、容量CTNA、水平出力線424,425、出力アンプ421を含む。スイッチ414,415は、容量CTSA,CTNAへの画素信号の書き込みを制御するスイッチである。スイッチ414は、信号PTSAで制御されるスイッチであり、信号PTSAがハイレベルのときにオン状態となり、オペアンプ406の出力端子と容量CTSAとを接続する。スイッチ415は、信号PTNAで制御されるスイッチであり、信号PTNAがハイレベルのときにオン状態となり、オペアンプ406の出力端子と容量CTNAとを接続する。
スイッチ418,419は、容量CTSA,CTNAに保持されている画素信号の出力アンプ421への出力を制御するためのスイッチである。スイッチ418,419は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量CTSAに書き込まれた信号は、スイッチ418及び水平出力線424を介して出力アンプ421に出力される。また、容量CTNAに書き込まれた信号は、スイッチ419及び水平出力線425を介して出力アンプ421に出力される。信号PC0R、信号PTNA及び信号PTSAは、システム制御CPU178による制御の下でタイミング発生部189から供給される信号である。
読み出し回路308Bも、読み出し回路308Aと同様の構成を有している。また、以下の説明における信号PTNB及び信号PTSBは、システム制御CPU178による制御の下でタイミング発生部189から供給される信号であって、読み出し回路308Aでの信号PTNA及び信号PTSAと同等の役割を担っている。
次に、撮像素子184におけるリセット、蓄積及び読み出しの動作について、第1行目の画素303からの読み出し動作を例にして、図12のタイミングチャートを用いて順次説明する。
まず、時刻t1において、垂直走査回路307は、転送制御線320A,320Bに出力する転送パルスφTX1A,TX1Bを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ311A,311Bは、オン状態となる。このとき、垂直走査回路307からは、リセット制御線319にハイレベルのリセットパルスφRES1が出力されており、リセットトランジスタ314A,314Bもオン状態である。これにより、フォトダイオード310A,310Bは、転送トランジスタ311A,311B及びリセットトランジスタ314A,314Bを介して電源線305に接続され、リセット状態となる。この際、フローティングディフュージョン領域313A,313Bも、リセット状態となる。
次いで、時刻t2において、垂直走査回路307は、転送パルスφTX1Bをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ311Bはオフ状態となり、フォトダイオード310Bでは光電変換による信号電荷の蓄積が開始する。
次いで、時刻t3において、垂直走査回路307は、転送パルスφTX1Aをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ311Aはオフ状態となり、フォトダイオード310Aでは光電変換による信号電荷の蓄積が開始する。
次いで、時刻t4において、垂直走査回路307は、リセットパルスφRES1をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ314A,314Bはオフ状態となり、フローティングディフュージョン領域313A,313Bのリセットを解除する。
これにより、フローティングディフュージョン領域313Aの電位が信号出力線304Aに増幅トランジスタ315Aを介してリセット信号レベルの画素信号として読み出され、読み出し回路308Aに入力される。また、フローティングディフュージョン領域313Bの電位が信号出力線304Bに増幅トランジスタ315Bを介してリセット信号レベルの画素信号として読み出され、読み出し回路308Bに入力される。
時刻t4において、タイミング発生部189から読み出し回路308A及び読み出し回路308Bには、ハイレベルの信号PC0Rが出力されており、スイッチ423はオン状態である。このため、読み出し回路308Aには、オペアンプ406が基準電圧Vrefの出力をバッファする状態で、画素要素303Aからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路308Bにも同様に、画素要素303Bからリセット信号レベルの画素信号が入力される。
次いで、時刻t5において、タイミング発生部189から読み出し回路308A及び読み出し回路308Bに出力する信号PC0Rをハイレベルからローレベルへと遷移し、スイッチ423をオフ状態にする。
次いで、時刻t6において、タイミング発生部189から読み出し回路308Aへ出力する信号PTNAをローレベルからハイレベルへと遷移してスイッチ415をオン状態にし、そのときのオペアンプ406の出力を容量CTNAへ書き込む。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTNBをローレベルからハイレベルへと遷移してスイッチ415をオン状態にし、そのときのオペアンプ406の出力を容量CTNBへ書き込む。
次いで、時刻t6において、タイミング発生部189から読み出し回路308Aへ出力する信号PTNAをローレベルからハイレベルへと遷移してスイッチ415をオン状態にし、そのときのオペアンプ406の出力を容量CTNAへ書き込む。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTNBをローレベルからハイレベルへと遷移してスイッチ415をオン状態にし、そのときのオペアンプ406の出力を容量CTNBへ書き込む。
次いで、時刻t7において、タイミング発生部189から読み出し回路308Aへ出力する信号PTNAをハイレベルからローレベルへと遷移してスイッチ415をオフ状態にし、容量CTNAへの書き込みを終了する。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTNBをハイレベルからローレベルへと遷移してスイッチ415をオフ状態にし、容量CTNBへの書き込みを終了する。
次いで、時刻t8において、垂直走査回路307は、転送パルスφTX1A,φTX1Bをローレベルからハイレベルへと遷移し、転送トランジスタ311A,311Bをオン状態にする。これにより、フォトダイオード310Aに蓄積されていた信号電荷をフローティングディフュージョン領域313Aに転送し、フォトダイオード310Bに蓄積されていた信号電荷をフローティングディフュージョン領域313Bに転送する。
時刻t8において転送パルスφTX1A,φTX1Bを同時にハイレベルにすることで、フォトダイオード310A,310Bの蓄積期間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。したがって、pictureAのデータを用いてpictureBを補正する、或いは、pictureBを用いてpictureAのデータを補正する、といった後述のクロストーク補正が非常に簡単な演算で実現できるようになる。
時刻t8において転送パルスφTX1A,φTX1Bを同時にハイレベルにすることで、フォトダイオード310A,310Bの蓄積期間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。したがって、pictureAのデータを用いてpictureBを補正する、或いは、pictureBを用いてpictureAのデータを補正する、といった後述のクロストーク補正が非常に簡単な演算で実現できるようになる。
次いで、時刻t9において、垂直走査回路307は、転送パルスφTX1A,φTX1Bをハイレベルからローレベルへと遷移し、転送トランジスタ311A,311Bをオフ状態にする。これにより、フォトダイオード310Aに蓄積された信号電荷のフローティングディフュージョン領域313Aへの読み出し及びフォトダイオード310Bに蓄積された信号電荷のフローティングディフュージョン領域313Bへの読み出しを終了する。
これにより、信号電荷により変化したフローティングディフュージョン領域313Aの電位が信号出力線304Aに増幅トランジスタ315Aを介して光信号レベルとして読み出され、読み出し回路308Aに入力される。また、信号電荷により変化したフローティングディフュージョン領域313Bの電位が信号出力線304Bに増幅トランジスタ315Bを介して光信号レベルとして読み出され、読み出し回路308Bに入力される。
そして、読み出し回路308Aでは、クランプ容量C0とフィードバック容量Cfとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ406から出力される。同様に、読み出し回路308Bにおいても、クランプ容量C0とフィードバック容量Cfとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ406から出力される。
そして、読み出し回路308Aでは、クランプ容量C0とフィードバック容量Cfとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ406から出力される。同様に、読み出し回路308Bにおいても、クランプ容量C0とフィードバック容量Cfとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ406から出力される。
次いで、時刻t10において、タイミング発生部189から読み出し回路308Aへ出力する信号PTSAをローレベルからハイレベルへと遷移してスイッチ414をオン状態にし、そのときのオペアンプ406の出力を容量CTSAへ書き込む。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTSBをローレベルからハイレベルへと遷移してスイッチ414をオン状態にし、そのときのオペアンプ406の出力を容量CTSBへ書き込む。
次いで、時刻t11において、タイミング発生部189から読み出し回路308Aへ出力する信号PTSAをハイレベルからローレベルへと遷移してスイッチ414をオフ状態にし、容量CTSAへの書き込みを終了する。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTSBをハイレベルからローレベルへと遷移してスイッチ414をオフ状態にし、容量CTSBへの書き込みを終了する。
次いで、時刻t12において、垂直走査回路307は、リセットパルスφRES1をローレベルからハイレベルへと遷移し、リセットトランジスタ314A,314Bをオン状態とする。これにより、フローティングディフュージョン領域313A,313Bは、リセットトランジスタ314A,314Bを介して電源線305に接続され、リセット状態となる。
図13は、フォトダイオード310A,310Bにおいて光電変換によって生成され蓄積されていく信号電荷の時間的な変化を示すグラフである。同図において、グラフの横軸は時間を表し、縦軸は信号電荷の量を表している。時間軸上には、図12に示した時刻t1から時刻t12を表示している。
時刻t2において、転送パルスφTX1Bをローレベルとして転送トランジスタ311Bをオフ状態にし、フォトダイオード310Bにおける信号電荷の蓄積を開始する。すると、フォトダイオード310Bが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻t8において転送パルスφTX1Bをハイレベルにして転送トランジスタ311Bをオン状態にし、フォトダイオード310Bの信号電荷をフローティングディフュージョン領域313Bへ転送するまで継続する。
また、時刻t3において、転送パルスφTX1Aをローレベルとして転送トランジスタ311Aをオフ状態にし、フォトダイオード310Aにおける信号電荷の蓄積を開始する。すると、フォトダイオード310Aが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻t8において転送パルスφTX1Aをハイレベルにして転送トランジスタ311Aをオン状態にし、フォトダイオード310Aの信号電荷をフローティングディフュージョン領域313Aへ転送するまで継続する。
また、時刻t3において、転送パルスφTX1Aをローレベルとして転送トランジスタ311Aをオフ状態にし、フォトダイオード310Aにおける信号電荷の蓄積を開始する。すると、フォトダイオード310Aが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻t8において転送パルスφTX1Aをハイレベルにして転送トランジスタ311Aをオン状態にし、フォトダイオード310Aの信号電荷をフローティングディフュージョン領域313Aへ転送するまで継続する。
時刻t8において、フォトダイオード310Bが保持する信号電荷量LBとフォトダイオード310Aが保持する信号電荷量LAとは、受光効率の差を蓄積期間の差によって相殺することにより、ほぼ同程度となっている。
転送パルスφTX1Bと転送パルスφTX1Aがともにローレベルである期間TM1において、フォトダイオード310Aとフォトダイオード310Bの間のクロストークが発生する。期間TM1は、フォトダイオード310Aの蓄積期間とフォトダイオード310Bの蓄積期間のうちの短い方の値である。クロストーク量は、信号電荷の量にほぼ比例するので、信号電荷量が大きくなる期間TM1の後半の期間TM2において、相対的に多くのクロストークが発生する。
フォトダイオード310Aからフォトダイオード310Bへのクロストーク量CTABは、右下がりの斜影線を付した領域953の面積に比例する。また、フォトダイオード310Bからフォトダイオード310Aへのクロストーク量CTBAは、左下がりの斜影線を付した領域954の面積に比例する。これらの比例定数をそれぞれk,gと定義すると、クロストーク量CTAB,CTBAは、
CTAB=k×(LA×TM1)/2 …(1)
CTBA=g×(LA+LBS)×TM1/2 …(2)
と表すことができる。ここで、LBSは、時刻t3におけるフォトダイオード310Bの信号電荷量である。また、この図には表現していないが、時刻t2から時刻t3までの期間が期間TM1に対して十分に小さいと仮定すると、LB=LBSと近似することができる。したがって、式(2)は、
CTBA=g×LB×TM1 …(3)
と変形することができる。
CTAB=k×(LA×TM1)/2 …(1)
CTBA=g×(LA+LBS)×TM1/2 …(2)
と表すことができる。ここで、LBSは、時刻t3におけるフォトダイオード310Bの信号電荷量である。また、この図には表現していないが、時刻t2から時刻t3までの期間が期間TM1に対して十分に小さいと仮定すると、LB=LBSと近似することができる。したがって、式(2)は、
CTBA=g×LB×TM1 …(3)
と変形することができる。
したがって、式(1)及び式(3)から、クロストーク量CTABは、信号電荷量LAと、フォトダイオード310Aの蓄積期間とフォトダイオード310Bの蓄積期間のうちの短い方の値(期間TM1)との関数であることが判る。また、クロストーク量CTBAは、信号電荷量LBと、フォトダイオード310Aの蓄積期間とフォトダイオード310Bの蓄積期間のうちの短い方の値(期間TM1)との関数であることが判る。
図14は、図9のA−B線に沿った画素303のポテンシャル図である。図14(a)は図12の時刻taにおけるポテンシャル図、図14(b)は図12の時刻tbにおけるポテンシャル図、図14(c)は図12の時刻tcにおけるポテンシャル図である。
時刻taにおいては、図14(a)に示すように、転送トランジスタ311A,311Bはオフ状態であり、フォトダイオード310A,310Bには、それぞれ信号蓄積レベル323A,323Bの信号電荷が蓄積されている。前述のように、フォトダイオード310Aとフォトダイオード310Bとでは受光効率が異なるが、蓄積期間の差によって受光効率の差を相殺することで、信号蓄積レベル323A,323Bは同程度になっている。この状態は比較的長く続くため、フォトダイオード310Aの蓄積電荷が隣接するフォトダイオード310Bに漏れる現象及びフォトダイオード310Bの蓄積電荷が隣接するフォトダイオード310Aに漏れる現象が、無視できないレベルで発生する。
時刻tbにおいては、図14(b)に示すように、転送トランジスタ311A,311Bはオン状態であり、転送トランジスタ311A,311Bのポテンシャル障壁が低くなっている。これにより、フォトダイオード310Aに蓄積されていた信号電荷はフローティングディフュージョン領域313Aに転送され、フォトダイオード310Bに蓄積されていた信号電荷はフローティングディフュージョン領域313Bに転送される。この際、分離部322のポテンシャル障壁も低くなるが、転送トランジスタ311A,311Bのポテンシャル障壁は十分に小さくなっている。そのため、このタイミングでフォトダイオード310A,310Bの蓄積電荷が分離部322を介して隣接するフォトダイオード310B,310Aへ漏れる現象はほとんど生じない。
時刻tcにおいては、図14(c)に示すように、転送トランジスタ311A,311Bはオフ状態であり、ポテンシャルは図14(a)の状態に戻る。
図15Aは、本発明の第1実施形態による撮像装置における撮像素子184に発生した信号電荷の挙動を示す第1の方向における断面図である。図15Aは、図9に示すX−X´線に沿った第1の方向における断面図を示している。
図15Aにおいて、画素に入射した光束451は、まずカラーフィルタ256に入射し、所定の波長成分がカラーフィルタ256を通過する。そして、絶縁層254の最上部にあたる界面不活性化膜(図示せず)を通過し、ライトガイド255に入射する。ライトガイド255内では、先に図5を用いて説明したように、光の波動的な振る舞いによって光線の方位情報、すなわち瞳情報が消失する。光束451は、ライトガイド255と絶縁層254との屈折率差によって、ライトガイド255の内部に閉じ込められたままシリコン基板251側に進み、ライトガイド255の底部分に達する。ライトガイド255の底部分はシリコン基板251に隣接し、ライトガイド255を通過した光束はシリコン基板251に入射する。
シリコン基板251内に隣接して設けられたフォトダイオード310Aとフォトダイオード310Bとは、ライトガイド255に対して大きく偏芯して配置されている。このため、ライトガイド255を通過した光束のうちの大部分の光束452がフォトダイオード310Aへ入射し、ライトガイド255を通過した光束のうちの残りの一部分の光束453がフォトダイオード310Bへ入射する。フォトダイオード310A,310Bでは、入射した光子が信号電荷へと変換される。
この際、撮像素子184のシリコン基板251内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード310Aで発生した信号電荷454は、拡散によってフォトダイオード310Bに漏れ込む。また、逆に、フォトダイオード310Bで発生した信号電荷455は、拡散によってフォトダイオード310Aに漏れ込む。このクロストーク現象は映像に悪影響を及ぼし、画像の滲みとなって現れる。
同様の漏れ込みが、図15Aの第1の方向の右側(X´側)に隣接する別の画素のフォトダイオード339Aとの間でも発生する。図15Aの右側に隣接する画素のライトガイド255を通過した光束のうちの大部分の光束331がフォトダイオード339Aへ入射する。フォトダイオード339Aで発生した信号電荷336は、拡散によってフォトダイオード310Bに漏れ込む。また、逆に、フォトダイオード310Bで発生した信号電荷335は、拡散によってフォトダイオード339Aに漏れ込む。
このように、フォトダイオード310Bで発生した電荷は、信号電荷455のように同一画素のフォトダイオード310Aへ漏れ込むだけでなく、信号電荷335のように隣接画素のフォトダイオード339Aへも漏れ込む。フォトダイオード310Bから隣接画素のフォトダイオード339Aまでの距離は、フォトダイオード310Bから同一画素のフォトダイオード310Aまでの距離よりも長い。このため、隣接画素のフォトダイオード間のクロストークは、同一画素のフォトダイオード間のクロストークよりも小さい。
また、同様の漏れ込みが、図15Aの第1の方向の左側(X側)に隣接する別の画素のフォトダイオード350Bとの間でも発生する。図15Aの左側に隣接する画素のライトガイド255を通過した光束のうちの一部分の光束332がフォトダイオード350Bへ入射する。フォトダイオード350Bで発生した信号電荷334は、拡散によってフォトダイオード310Aに漏れ込む。また、逆に、フォトダイオード310Aで発生した信号電荷333は、拡散によってフォトダイオード350Bに漏れ込む。
このように、フォトダイオード310Aで発生した電荷は、信号電荷454のように同一画素のフォトダイオード310Bへ漏れ込むだけでなく、信号電荷333のように隣接画素のフォトダイオード350Bへも漏れ込む。フォトダイオード310Aから隣接画素のフォトダイオード350Bまでの距離は、フォトダイオード310Aから同一画素のフォトダイオード310Bまでの距離よりも長い。したがって、この場合でも、隣接画素のフォトダイオード間のクロストークは、同一画素のフォトダイオード間のクロストークよりも小さい。
一方、図15Bは、本発明の第1実施形態による撮像装置における撮像素子184に発生した信号電荷の挙動を示す第2の方向における断面図である。図15Bは、図9に示すY−Y´線に沿った第2の方向における断面図を示している。
図15Bにおいて、シリコン基板251に設けられたフォトダイオード358Aはライトガイド255の下にある。ライトガイド255を通過した光束351は、フォトダイオード358Aへと入射する。フォトダイオード358Aでは、入射した光子が信号電荷へと変換される。図14で説明したように、転送トランジスタ311A1がオンすると、転送トランジスタ311A1のポテンシャル障壁が低くなり、フォトダイオード358Aに蓄積されていた蓄積電荷がフローティングディフュージョン領域312A1に転送される。
この際、撮像素子184のシリコン基板251内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード358Aで発生した信号電荷354は、拡散によって図15Bの第2の方向の右側(Y´側)に隣接する別の画素のフォトダイオード359Aに漏れ込む。また、逆に、フォトダイオード359Aで発生した信号電荷355が、拡散によってフォトダイオード358Aに漏れ込む。
同様に、フォトダイオード358Aで発生した信号電荷356は、拡散によって図15Bの第2の方向の左側(Y側)に隣接する別の画素のフォトダイオード370Aに漏れ込む。また、逆に、フォトダイオード370Aで発生した信号電荷357が、拡散によってフォトダイオード358Aに漏れ込む。
フォトダイオード358A、359A、370Aには、異なる色のカラーフィルタ256、258、259を透過した光束351、352、353がそれぞれ到達する。このため、フォトダイオード358A、359A、370Aの間の電荷の漏れ込みは、異なる色の映像信号として出力されてしまう。このように、異なるカラーフィルタ256、258、259を有するフォトダイオードの間の漏れ込みによって、撮影画像の混色が発生して画質が低下してしまう。
フォトダイオード358Aの右側には、フォトダイオード358Aに生じた信号電荷を転送するための転送トランジスタ311A1と、転送された信号電荷を保持するためのフローティングディフュージョン領域312A1が設けられている。同様に、フォトダイオード370Aの右側には、フォトダイオード370Aに生じた信号電荷を転送するための転送トランジスタ311A3と、転送された信号電荷を保持するためのフローティングディフュージョン領域312A3が設けられている。このように、転送トランジスタやフローティングディフュージョンがフォトダイオードに隣接して存在する場合には、これらが障害物となって電荷が漏れ出しにくくなる。
特に、フォトダイオードの第2の方向において、転送トランジスタやフローティングディフュージョンが隣接する側への電荷の漏れ込みは、そうでない側への電荷の漏れ込みと比較して小さくなる。例えば、図15Bにおいて、フォトダイオード358Aからフォトダイオード359Aへの漏れ込みは、フォトダイオード359Aからフォトダイオード358Aへの漏れ込みよりも小さい。同様に、フォトダイオード370Aからフォトダイオード358Aへの漏れ込みは、フォトダイオード358Aからフォトダイオード370Aへの漏れ込みよりも小さい。
このように、図15Aに示す第1の方向、及び図15Bに示す第2の方向においては、フォトダイオードの一方の側と他方の側で隣接するフォトダイオードの間隔や画素の構造が異なることから、クロストークの大きさが方向により異なる。後の図26A、図26Bでは、方向によって異なる電荷の漏れ込み量に応じてクロストーク補正量を異ならせる方法について説明する。
図16は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「00:00:00:00」は「時:分:秒:フレーム」を表している。
時刻t31は、撮像装置100の電源投入時刻である。
時刻t32において、動画撮影ボタンであるであるスイッチMV155が使用者によって操作されてONとなり、これに応じて、pictureBの撮像及びpictureAの撮像が開始される。動画撮影のためのボタンであるスイッチMV155が操作されることに応じて、pictureBについては、所定の信号処理を経て記録媒体193にその映像データが書き込まれる。
時刻t32において、動画撮影ボタンであるであるスイッチMV155が使用者によって操作されてONとなり、これに応じて、pictureBの撮像及びpictureAの撮像が開始される。動画撮影のためのボタンであるスイッチMV155が操作されることに応じて、pictureBについては、所定の信号処理を経て記録媒体193にその映像データが書き込まれる。
なお、pictureBの撮像だけでなくpictureAの撮像も同時に行っているのは、後述するクロストーク補正を常に有効にするためである。図13に示した転送パルスφTX1Aがローレベルにならなければ、転送トランジスタ311Aはオン状態であるため、フォトダイオード310Aで発生した信号電荷は蓄積されることはない。しかし、仮にスイッチST154が操作された期間のみをクロストーク補正の対象にすると、クロストーク補正誤差の影響で、スイッチST154の操作タイミングにおいて記録されたpictureBに微妙な輝度変化や色相の変化が生じることとなる。
時刻t33から時刻t34の期間及び時刻t35から時刻t36の期間では、静止画の撮影を行うために使用するスイッチST154が操作されている。これを受けてこれら期間においては、pictureAについても、所定の信号処理を経て記録媒体193にその映像データが書き込まれる。ここで、pictureAの映像データは、時刻t33から時刻t34の期間及び時刻t35から時刻t36の期間のみならず、pictureBの映像データと同じ期間の間、記録媒体193に書き込むようにしてもよい。
pictureA及びpictureBの何れについても、記録媒体193に記録された各映像データは同一フレームレートで、例えば、60fpsの動画であり、NTSC方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図17に示すようになる。
図18は、pictureA及びpictureBの映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてMP4ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。MP4ファイルフォーマットは、ISO/IEC 14496−1/AMD6で規格化されている。全ての情報はBoxと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム(メディアデータ)と、これらメディアデータに対する管理情報(メタデータ)から構成されている。各Boxは4文字の識別子でそれぞれのBoxタイプが表される。ファイルタイプBox501(ftyp)は、ファイル先頭にあり、ファイルを識別するためのBoxである。メディアデータBox502(mdat)は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーBox503(moov)は、メディアデータBox502に格納されたビットストリームを再生するための管理情報が格納されている。スキップBox504(skip)は、再生時にはスキップBox504内に格納されているデータを読み飛ばし、スキップするためのBoxである。
スキップBox504内には、この映像データファイルを含むクリップのクリップ名508、本素材に付与されているクリップのUMID(Unique Material Identifier)509(CLIP−UMID)が格納される。スキップBox504内には、また、クリップ先頭フレームのタイムコード値(タイムコード先頭値)510、本素材ファイルが記録された記録メディアのシリアル番号511が格納される。なお、本図においては、スキップBox504に、フリースペース505、ユーザデータ506、メタデータ507も含まれている。本素材ファイルのUMIDや記録メディアのシリアル番号のような特殊なデータは、スキップBox504に格納されているので、汎用のビューアで再生する際に影響を与えない。
pictureA及びpictureBのそれぞれのMP4ファイルには、同じCLIP−UMIDが設定される。これにより、CLIP−UMIDを使って1つの素材ファイルから同じCLIP−UMIDのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行えるようになる。
図19は、pictureA及びpictureBの撮影条件の設定画面を説明する図である。撮影モード選択レバー156を、例えば図1(b)の位置から時計方向に90度回転させることによって、2つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部153には、そのときの被写体の輝度に応じたBv値521、Fナンバー522、pictureA及びpictureBのそれぞれのISO感度523,524、シャッタースピード525,526が表示される。また、pictureA及びpictureBのそれぞれについて、現在設定されているピクチャーモード527,528が表示される。ピクチャーモードは、アップダウンスイッチ158,159及びダイアル160を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。
前述したように、フォトダイオード310Aとフォトダイオード310Bとの間の受光効率の差は、3段に設定されている。このため、pictureAとpictureBのISO感度範囲には3段の差がある。図20に示すように、pictureAはISO100〜ISO102400、pictureBはISO12〜ISO12800となっている。
図21は、デュアル映像モードにおけるプログラムAE(Automatic Exposure)線図である。横軸がTv値とそれに対応するシャッタースピードを示し、縦軸がAv値とそれに対応する絞り値を示している。また、斜め方向は等Bv線となっている。pictureAのBv値とISO感度との関係がゲイン表記領域556に表されており、pictureBのBv値とISO感度との関係がゲイン表記領域557に表されている。なお、図21において各Bv値は、他のパラメータと区別するために、四角で囲んだ数値で表している。
高輝度から低輝度になるに従って、シャッタースピード、絞り値、ISO感度がどのように変化するかについて、図21を用いて説明する。
まず、Bv13のときは、pictureAでは、ISO感度はISO100に設定される。pictureAの等Bv線は、pictureAのプログラム線図558と点551で交差し、点551からシャッタースピード1/4000、絞り値F11と定まる。一方、pictureBでは、ISO感度はISO12に設定される。pictureBの等Bv線は、pictureBのプログラム線図559と点552で交差し、点552からシャッタースピード1/500、絞り値F11と定まる。
Bv10のときは、pictureAでは、ISO感度は1段分上昇してISO200に設定される。pictureAの等Bv線は、pictureAのプログラム線図558と点553で交差し、点553からシャッタースピード1/1000、絞り値F11と定まる。一方、pictureBでは、ISO感度はISO12に設定される。pictureBの等Bv線は、pictureBのプログラム線図559と点560で交差し、点560からシャッタースピード1/60、絞り値F11と定まる。
Bv6のときは、pictureAでは、ISO感度はISO200に設定される。pictureAの等Bv線は、pictureAのプログラム線図558と点554で交差し、点554からシャッタースピード1/1000、絞り値F2.8と定まる。一方、pictureBでは、ISO感度はISO12に設定される。pictureBの等Bv線は、pictureBのプログラム線図559と点555で交差し、点555からシャッタースピード1/60、絞り値F2.8と定まる。
Bv5のときは、pictureAでは、ISO感度は1段分上昇してISO400に設定される。pictureAの等Bv線は、pictureAのプログラム線図558と点554で交差し、点554からシャッタースピード1/1000、絞り値F2.8と定まる。一方、pictureBでは、ISO感度はISO25に設定される。pictureBの等Bv線は、pictureBのプログラム線図559と点555で交差し、点555からシャッタースピード1/60、絞り値F2.8と定まる。
以降、輝度が下がるにつれて、pictureA、pictureBともに、シャッタースピードと絞り値は変化せずにゲインアップしISO感度が上昇していく。
このプログラムAE線図に示した露光動作を行うことにより、表記した全輝度範囲においてpictureAは1/1000以上のシャッタースピードを保ち、pictureBは多くの輝度範囲で1/60のシャッタースピードを保っている。これにより、pictureAではストップモーション効果を得つつ、pictureBではコマ送り的なジャーキネスのない高品位な動画を得ることができる。
図22は、pictureAとpictureBとの間のシャッタースピードの差異を撮像シーケンス上で説明する図である。図には、横軸を時間として、V同期信号481、pictureAの蓄積期間482,483、pictureBの蓄積期間484,485を示している。nは、フレーム番号である。
蓄積期間482は、pictureAの画面上端ラインの蓄積期間であり、蓄積期間483は、pictureAの画面下端ラインの蓄積期間である。撮像素子184はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子184から順次読み出され、アナログフロントエンド185に入力される。時刻t53から時刻t54までが蓄積期間482であり、時刻t55から時刻t56が蓄積期間483である。
また、蓄積期間484は、pictureBの画面上端ラインの蓄積期間であり、蓄積期間485はpictureBの画面下端ラインの蓄積期間である。pictureBにおいてもpictureAと同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子184から順次読み出され、アナログフロントエンド186に入力される。時刻t51から時刻t54までが蓄積期間484であり、時刻t52から時刻t56が蓄積期間485である。
pictureAとpictureBの2つの映像は、異なる蓄積期間の設定で撮影されるが、pictureAについてゲインアップするのではなく、撮像素子184において同程度のレベルの信号電荷を得ている。このため、pictureA及びpictureBのどちらもSN比の良好なノイズ感のない映像となる。
図23は、撮像装置100に電源を投入した後のライブビュー表示中の表示部153の様子を表す図である。表示部153には、撮影光学系152を通して捉えられた人物163のスポーツシーンが表示されている。また、撮影モード選択レバー156が図1(b)の状態から時計方向に90度回動した位置にあるので、デュアル映像モードでのpictureAとpictureBのシャッタースピード491,492及びFナンバー493が表示されている。
図24(a),(b)は、スイッチST154、スイッチMV155を操作することにより取得された映像のうちの1フレームを示したものである。図24(a)は、シャッタースピード1/1000、絞り値F4.0で撮影されたpictureAの映像である。図24(b)は、シャッタースピード1/60、絞り値F4.0で撮影されたpictureBの映像である。図24(b)に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにぶれている。ただし、これを60fps程度のフレームレートの動画として再生すると、このぶれがむしろ良い方向に働いてコマ送り的なパラパラ間のない滑らかな高品位な映像となる。一方、図24(a)に示した映像は、シャッタースピードが速く、本来であればストップモーション効果が現れるはずである。しかしながら、図15A、図15Bを用いて先に説明したように、シリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込み、図24(b)に示した映像があたかも足し合わされたかのような滲んだ映像となっている。このクロストーク現象は、図24(b)に示した映像においても発生しているが、元々ぶれた映像であるためほとんど目立たない。
そこで、速いシャッタースピードによる本来のストップモーション効果を得るために、本実施形態による撮像装置においては、撮像素子184から出力された映像信号に対して以下に説明するクロストーク補正を施す。
図25は、クロストーク補正を含む一連の処理手順を示すフローチャートである。本実施形態による撮像装置100における撮像から記録までの処理は、例えば図25に示すステップS151〜ステップS156により実行される。
ステップS151においては、図16を用いて説明した時刻t32におけるスイッチMV155の操作に応じて、図12を用いて説明したシーケンスに従い、フォトダイオード310A,310Bへの信号電荷の蓄積と信号の読み出しとを行う。
ステップS152では、撮像素子184から読み出された信号がアナログフロントエンド185,186に入力され、ここでアナログ信号がデジタル化される。
ステップS153において、高感度なフォトダイオード310Aの出力が飽和しているときには、フォトダイオード310Aが飽和していない場合の出力の推定値を、同一画素のフォトダイオード310Bの出力に基づいて求める。この飽和出力推定処理はデジタル信号処理部187と188において行われる。飽和出力推定処理の詳細については図27Cで後述する。
ステップS154では、シリコン基板内部で発生した信号電荷が隣接画素要素に漏れ込むことにより生じるクロストークを低減するためのクロストーク補正を行う。クロストーク補正は、デジタル信号処理部187,188において行われる。すなわち、デジタル信号処理部187,188は、クロストーク補正部として機能する。クロストーク補正処理の詳細については図26A、図26Bで後述する。
ステップS155では、現像と、必要に応じて圧縮処理を行う。なお、現像処理では、一連の処理のうちの1つとしてガンマ補正が行われる。ガンマ補正とは、入力された光量分布に対してガンマ関数を施す処理である。この結果、入力された光量分布に対してその出力は線形性が保たれず、クロストークの比もその時の光量によって変わってきてしまう。このため、クロストーク補正は、図25に示すように、ステップS154よりも前段階で行うことが望ましい。なお、現像後にクロストーク補正を行う場合には、光量の大きさによってクロストーク処理を変更し、或いは、映像信号そのものを逆ガンマ補正してからクロストーク補正を行なうようにすればよい。
ステップS156では、記録媒体193への映像の記録を行う。記録媒体193に記録する代わりに或いは記録媒体193への記録とともに、無線インターフェース部198を介してネットワーク上の記憶装置等に保存するようにしてもよい。
図26Aは、本発明の第1実施形態による撮像装置の第1の方向におけるクロストーク補正方法を示す概略図である。また、図26Bは、本発明の第1実施形態による撮像装置の第2の方向におけるクロストーク補正方法を示す概略図である。図26A及び図26Bに示す処理は、図25に示すフローチャートにおけるステップS154に相当する。このクロストーク補正処理は、デジタル信号処理部187,188により、デジタル信号として処理される。
図26Aは、図9に示すX−X´線に沿った第1の方向におけるクロストーク補正を示す。図26Aには、第i行j列の画素におけるpictureAの信号をDATA_Aij(n)と表記し、第i行j列の画素におけるpictureBの信号をDATA_Bij(n)と表記している。括弧内のnはフレーム番号であり、特定のフレームにおける信号値であることを表している。図26Aに示す信号DATA_Bij−1(n)、DATA_Aij(n)、DATA_Bij(n)は、それぞれ、図15Aに示すフォトダイオード350B、310A、310Bにおいて生じた信号電荷に基づく信号を表している。
フォトダイオードから漏れ出す信号電荷の量は、フォトダイオードにおいて生じた信号電荷の量に依存する。したがって、クロストーク量補正部462は、隣接するフォトダイオードにおいて生じた信号電荷に基づく信号DATA_Bij−1(n)、DATA_Bij(n)に基づいて、信号DATA_Aij(n)をクロストーク補正する。具体的には、クロストーク量補正部462は、クロストーク量演算部464及びクロストーク量演算部467が出力する信号に基づいて、信号DATA_Aij(n)をクロストーク補正し、出力信号C_DATA_Aij(n)を得る。クロストーク量補正部462による処理は、下式(4)で表される。
C_DATA_Aij(n)=DATA_Aij(n)
+eij(n)+gij(n) …(4)
C_DATA_Aij(n)=DATA_Aij(n)
+eij(n)+gij(n) …(4)
ここで、クロストーク量演算部464は、クロストーク補正関数eij(n)により、信号DATA_Bij−1(n)に対して所定の演算を施す。また、クロストーク量演算部467は、クロストーク補正関数gij(n)により、信号DATA_Bij(n)に対して所定の演算を施す。クロストーク量演算部464、467による処理は、下式(5)で表される。ここで、α1、α2は補正係数である。
eij(n)=−α1×DATA_Bij−1(n)
gij(n)=−α2×DATA_Bij(n) …(5)
eij(n)=−α1×DATA_Bij−1(n)
gij(n)=−α2×DATA_Bij(n) …(5)
上式(4)及び(5)より、図26Aに示すクロストーク補正は、下式(6)で表される。
C_DATA_Aij(n)=DATA_Aij(n)
−α1×DATA_Bij−1(n)
−α2×DATA_Bij(n) …(6)
C_DATA_Aij(n)=DATA_Aij(n)
−α1×DATA_Bij−1(n)
−α2×DATA_Bij(n) …(6)
上式(6)に示すクロストーク補正により、第1の方向に隣接するフォトダイオードからのクロストーク成分が除去される。クロストーク量補正部462が出力する出力信号C_DATA_Aij(n)は、更にデジタル信号処理部187,188により、後段の処理である現像や圧縮処理が施される。
図26Aに示すクロストーク量補正部461、463によるクロストーク補正方法は、上述のクロストーク量補正部462によるクロストーク補正方法と同様であるので説明は省略する。ただし、クロストーク量演算部465、466が用いるクロストーク補正関数hij(n)、gij(n)は異なる。クロストーク補正関数の違いについては、図27Bで後述する。
DATA_Bij(n)をクロストーク補正した出力信号C_DATA_Bij(n)は、同様にして、下式(7)で表される。ここで、β1、β2は補正係数である。
C_DATA_Bij(n)=DATA_Bij(n)
−β1×DATA_Aij−1(n)
−β2×DATA_Aij(n) …(7)
C_DATA_Bij(n)=DATA_Bij(n)
−β1×DATA_Aij−1(n)
−β2×DATA_Aij(n) …(7)
一方、図26Bは、図9に示すY−Y´線に沿った第2の方向におけるクロストーク補正を示す。図26Bに示す信号DATA_Ai−1j(n)、DATA_Aij(n)、DATA_Ai+1j(n)は、それぞれ、図15Bに示すフォトダイオード370A、358A、359Aにおいて生じた信号電荷に基づく信号を表している。
フォトダイオードから漏れ出す信号電荷の量は、フォトダイオードにおいて生じた信号電荷の量に依存する。したがって、クロストーク量補正部472は、隣接するフォトダイオードにおいて生じた信号電荷に基づく信号DATA_Ai−1j(n)、DATA_Ai+1j(n)に基づいて、信号DATA_Aij(n)をクロストーク補正する。具体的には、クロストーク量補正部472は、クロストーク量演算部474及びクロストーク量演算部477が出力する信号に基づいて、信号DATA_Aij(n)をクロストーク補正し、出力信号C_DATA_Aij(n)を得る。クロストーク量補正部472による処理は、下式(8)で表される。
C_DATA_Aij(n)=DATA_Aij(n)
+Oij(n)+Rij(n) …(8)
C_DATA_Aij(n)=DATA_Aij(n)
+Oij(n)+Rij(n) …(8)
ここで、クロストーク量演算部474は、クロストーク補正関数Oij(n)により、信号DATA_Ai−1j(n)に対して所定の演算を施す。また、クロストーク量演算部477は、クロストーク補正関数Rij(n)により、信号DATA_Ai+1j(n)に対して所定の演算を施す。クロストーク量演算部474、477による処理は、下式(9)で表される。ここで、α3、α4は補正係数である。
Oij(n)=−α3×DATA_Ai−1j(n)
Rij(n)=−α4×DATA_Ai+1j(n) …(9)
Oij(n)=−α3×DATA_Ai−1j(n)
Rij(n)=−α4×DATA_Ai+1j(n) …(9)
上式(8)及び(9)より、図26Bに示すクロストーク補正は、下式(10)で表される。
C_DATA_Aij(n)=DATA_Aij(n)
−α3×DATA_Ai−1j(n)
−α4×DATA_Ai+1j(n) …(10)
C_DATA_Aij(n)=DATA_Aij(n)
−α3×DATA_Ai−1j(n)
−α4×DATA_Ai+1j(n) …(10)
上式(10)に示すクロストーク補正により、第2の方向に隣接するフォトダイオードからのクロストーク成分が除去される。クロストーク量補正部472が出力する出力信号C_DATA_Aij(n)は、更にデジタル信号処理部187,188により、後段の処理である現像や圧縮処理が施される。
図26Bに示すクロストーク量補正部471、473によるクロストーク補正方法は、上述のクロストーク量補正部472によるクロストーク補正方法と同様であるので説明は省略する。ただし、クロストーク量演算部475、476が用いるクロストーク補正関数Pij(n)、Qij(n)は異なる。クロストーク補正関数の違いについては、図27Bで後述する。
DATA_Bij(n)をクロストーク補正した出力信号C_DATA_Bij(n)は、同様にして、下式(11)で表される。ここで、β3、β4は補正係数である。
C_DATA_Bij(n)=DATA_Bij(n)
−β3×DATA_Bi−1j(n)
−β4×DATA_Bi+1j(n) …(11)
C_DATA_Bij(n)=DATA_Bij(n)
−β3×DATA_Bi−1j(n)
−β4×DATA_Bi+1j(n) …(11)
前述したように、pictureBでもクロストークは発生しているが、元々ぶれた映像であるためにほとんど目立たないので、上式(7)、(11)に示すクロストーク補正処理は省略してもよい。比較的短い蓄積期間の映像に対してはクロストーク補正を行い、比較的長い蓄積期間の映像に対してはクロストーク補正を行わないようにすることで、デジタル信号処理部187,188おける演算負荷を低減することができる。
図27Aは、本発明の第1実施形態による撮像装置におけるクロストーク補正関数を示す図である。図27Aでは、横軸が入力データの大きさを示し、縦軸が補正すべきクロストーク補正量を示している。クロストーク補正関数eij(n)、hij(n)、fij(n)、gij(n)、Oij(n)、Pij(n)、Qij(n)、Rij(n)は、いずれも、入力データに比例したクロストーク補正量を得る関数である。ただし、前述のように、画素構造等に依存してその補正係数は異なる。
また、絞り181を開けてFナンバーが大きくなっているときほどクロストークは大きく、クロストーク補正量の絶対値も大きくなる。一方、絞り181を絞ってFナンバーが小さくなっているときほどクロストークは小さく、クロストーク補正量の絶対値も小さくなる。図27Aにおいて、特性591はF2.8のときのクロストーク補正関数であり、特性592はF5.6のときのクロストーク補正関数であり、特性593はF11のときのクロストーク補正関数である。特性591、特性592、特性593の順に傾きが小さくなっている。なお、撮影光学系152のFナンバーは連続的に変化させることができるので、上式(6)、(7)、(10)、(11)の補正係数α1〜α4、β1〜β4をFナンバーの関数とすれば、より高精度なクロストーク補正を実現することができる。
また、図13で説明したように、クロストーク量は、フォトダイオード310Aの蓄積期間とフォトダイオード310Bの蓄積期間のうちの短い方の値の関数とすることができる。したがって、補正係数α1〜α4、β1〜β4は、相対的に短く設定したフォトダイオード310Aの蓄積期間の関数とするとよい。さらに、像高によってもクロストーク補正量を変えることで、より正確なクロストーク補正を実現することができる。ライトガイド255への光の入射が斜めになることでクロストークは増加するので、画素アドレスijを基に光軸180から画素までの距離ZKを算出し、距離ZKに比例して絶対値が増加するようにクロストーク補正をすればよい。さらに、ライトガイド255への光の入射角の変化は、撮影光学系152の射出瞳と撮像素子184との距離HKにも依存するので、クロストーク補正関数を距離HKの関数とすることでより高精度な補正を行うことができる。
図27Bは、本発明の第1実施形態による撮像装置におけるクロストーク補正関数eij(n)、hij(n)、fij(n)、gij(n)、Oij(n)、Pij(n)、Qij(n)、Rij(n)の大きさを示す図である。
クロストーク補正関数eij(n)、hij(n)、fij(n)、gij(n)は、第1の方向におけるクロストークの補正量を算出する。前述のように、第1の方向においては、同一画素のフォトダイオード間の電荷の漏れ込みが、隣接画素のフォトダイオード間の電荷の漏れ込みよりも大きい。したがって、図27Bでは、同一画素のフォトダイオード間のクロストーク補正関数fij(n)、gij(n)を、隣接画素のフォトダイオード間のクロストーク補正関数eij(n)、hij(n)よりも大きくしている。このように、本実施形態では、第1の方向に隣接するフォトダイオードが同一画素のフォトダイオードか否かで、クロストーク補正の補正係数の大きさを変えている。
クロストーク補正関数Oij(n)、Pij(n)、Qij(n)、Rij(n)は、第2の方向におけるクロストークの補正量を算出する。前述のように、第2の方向においては、転送トランジスタやフローティングディフュージョンが設けられた側への電荷の漏れ出しが小さい。したがって、図27Bでは、フォトダイオードの転送トランジスタ及びフローティングディフュージョンが設けられた側へのクロストーク補正関数Oij(n)、Qij(n)を、そうでない側へのPij(n)、Rij(n)よりも小さくしている。このように、本実施形態では、転送トランジスタ及びフローティングディフュージョンが第2の方向に隣接して設けられている側か否かで、クロストーク補正の補正係数の大きさを変えている。
次に、第1の方向における電荷の漏れ込み量と、第2の方向における電荷の漏れ込み量とを比較する。図9に示すように、同一画素内のフォトダイオード310A及びフォトダイオード310Bは、第1の方向に隣接して並んでいるので、第2の方向よりも第1の方向のほうがフォトダイオード間の距離が短い。また、第2の方向よりも第1の方向のほうが、フォトダイオード間の漏れ出しを抑える転送トランジスタやフローティングディフュージョン等の構造物が少ない。このため、第1の方向のほうが、第2の方向よりもフォトダイオード間の電荷の漏れ込みが大きくなる。したがって、図27Bでは、第1の方向におけるクロストーク補正関数fij(n)、gij(n)、eij(n)、hij(n)を、第2の方向におけるクロストーク補正関数Oij(n)、Pij(n)、Qij(n)、Rij(n)よりも大きくしている。このように、本実施形態では、第1の方向と第2の方向とで、クロストーク補正の補正係数の大きさを変えている。
図27Bに示すように、方向によって異なる電荷の漏れ込み量に応じてクロストーク補正の補正係数の大きさを異ならせることで、良好なクロストーク補正が可能となる。そしてクロストークによる画質の劣化を抑えることができる。
次に、フォトダイオードが飽和した場合のクロストーク補正方法について説明する。図27Aに示したクロストーク補正処理は、フォトダイオードから漏れ出す電荷量が、フォトダイオードの出力に比例することを仮定している。しかし、フォトダイオードが飽和すると、フォトダイオードの出力は受光量が増加しても増加しないが、フォトダイオードから漏れ出す電荷量は受光量に応じて増加する。このため、図27Aに示すフォトダイオードの出力に基づくクロストーク補正量は、フォトダイオードが飽和すると実際のクロストークの量と比較して小さくなってしまう。そこで、本実施形態では、同一画素のフォトダイオードの一方が飽和したときには、同一画素の他方の飽和していないフォトダイオードの出力に基づいてクロストーク補正量を求めるようにする。
図27Cは、本発明の第1実施形態による撮像装置における飽和出力推定処理を示す概略図である。図27Cは、フォトダイオード310Aの飽和していない場合の出力の推定値を、同一画素の飽和していないフォトダイオード310Bの出力に基づいて求める飽和出力推定処理を示している。この飽和出力推定処理は、図25に示すフローチャートにおけるステップS153に相当する。飽和出力推定処理は、デジタル信号処理部187,188により、デジタル信号として処理される。
第i行j列の画素におけるpictureBの値をDATA_Bij(n)と表記する。ここで、括弧内のnはフレーム番号である。フォトダイオード310Aが飽和している場合あっても、フォトダイオード310Aの飽和していない場合の出力の推定値を、DATA_Bij(n)から推定できる。本実施形態では、同一画素のフォトダイオード310Aに入射する光量と、フォトダイオード310Bに入射する光量が比例することを利用する。フォトダイオード310Aの出力の推定値S_DATA_Aij(n)は、同一画素におけるフォトダイオード310Aとフォトダイオード310Bとの感度の比γ、及び蓄積期間の比εを用いて、下式(12)で推定できる。
S_DATA_Aij(n) =γ×ε×DATA_Bij(n) …(12)
S_DATA_Aij(n) =γ×ε×DATA_Bij(n) …(12)
感度の比γは画素構造で決まる固定値であり、蓄積期間の比εは撮影条件によって変わる可変値である。図27Cは、上式(12)の飽和出力推定処理を示している。特性594は蓄積期間の比εが1より大きい場合、特性595は蓄積期間の比εが1の場合、特性596は蓄積期間の比εが1より小さい場合である。図27Cに示すように、信号DATA_Bij(n)と推定値S_DATA_Aij(n)との比例定数は、同一画素におけるフォトダイオード310Aとフォトダイオード310Bの蓄積期間の比εが大きくなるほど大きくなる。
図26Aおよび図26Bに示すクロストーク補正処理は、高感度フォトダイオードの出力が飽和したときは、DATA_Aij(n)の代わりに、図27Cに示す推定値S_DATA_Aij(n)に基づいてクロストーク補正処理を行う。
図28は、シャッタースピード1/1000、絞り値F4.0で撮影されたpictureAの映像(図24(a))に対してクロストーク補正を施した後のpictureAの映像である。図24(a)の映像では、シリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込み、図24(b)に示した映像があたかも足し合わされたかのような滲んだ映像となっていた。それに対して、図28の映像では、本来の速いシャッタースピードによるストップモーション効果が現れている。デジタルスチルモーションカメラの表示部153上では、再生ボタン161が操作されたときに、例えば図29に示すように、pictureA496とpictureB497の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。
図30は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたpictureA及びpictureBの活用例を説明するための図である。pictureA及びpictureBのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図30において、フレーム群581は、MP4ファイルに格納されたpictureAのフレーム群であり、フレーム群571は、別のMP4ファイルに格納されたpictureBのフレーム群である。これらのMP4ファイルは、撮影時に同じCLIP−UMIDが設定されて互いに関連付けがなされている。
まず、動画の再生をスタートすると、pictureBのフレーム群571の先頭フレーム572から決められたフレームレートで順次フレームが再生される。pictureBは、シャッタースピードが過度に速くならないような設定(この例では1/60秒)で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。
フレーム573まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にpictureAのデータファイルから、pictureBと同一タイムコードのフレーム582が検索されて表示される。pictureAは、ストップモーション効果が得られやすい高速シャッタースピード(この例では1/1000秒)で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。pictureA,pictureBの2つの映像は、異なる蓄積期間の設定で撮影されるが、pictureAについてゲインアップするのではなく、撮像素子184において同程度の信号電荷を得ている。このため、pictureA及びpictureBのどちらもSN比の良好なノイズ感のない映像となる。
ここで、印刷の指示を行うと、pictureAのフレーム582のデータがプリントインターフェース部194を介してプリンタ195に対して出力される。したがって、印刷物も、pictureAを反映したストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的にpictureBのフレーム群571に戻って、フレーム574から再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。
このように、pictureBを、動画用の映像信号として用いることにより、ジャーキネスのない動画向きの映像を得ることができる。また、pictureAを、静止画用の映像信号として用いることにより、ストップモーション効果が得られた静止画及び印刷向きの映像を得ることができる。本実施形態の撮像装置では、これら2つの効果を1つの撮像素子を用いて実現できる。
以上のように、本実施形態では、隣接する光電変換部が出力する映像信号に基づいて、第1光電変換部又は第2光電変換部が出力する映像信号に含まれる光電変換部からのクロストーク成分を補正するクロストーク補正部を備えている。そして、同一画素の第1光電変換部と第2光電変換部が並ぶ方向と、隣接する画素の第1光電変換部同士又は第2光電変換部同士が並ぶ方向とで、クロストーク補正量が異なるようにしている。これにより、単一の撮像素子を用いて複数の映像を同時に撮影する際に、隣接する光電変換部から漏れ込む信号電荷によるクロストークを低減することができる。
また、本実施形態では、第1光電変換部の出力が飽和しているときは、第1光電変換部の飽和していない場合の出力の推定値を、同一画素の第2光電変換部の出力に基づいて求める飽和出力推定部を備えている。そして、クロストーク補正部は、第1光電変換部からのクロストーク補正量を推定値に基づいて求めるようにしている。これにより、第1光電変換部の出力が飽和している場合であってもクロストークによる画質の低下を抑えることができる。
また、本実施形態では、第1光電変換部の出力が飽和しているときは、第1光電変換部の飽和していない場合の出力の推定値を、同一画素の第2光電変換部の出力に基づいて求める飽和出力推定部を備えている。そして、クロストーク補正部は、第1光電変換部からのクロストーク補正量を推定値に基づいて求めるようにしている。これにより、第1光電変換部の出力が飽和している場合であってもクロストークによる画質の低下を抑えることができる。
(第2実施形態)
本発明の第2実施形態による撮像装置について、図31及び図32を用いて説明する。図1乃至図30に示す第1実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本発明の第2実施形態による撮像装置について、図31及び図32を用いて説明する。図1乃至図30に示す第1実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
撮影時にpictureAのフレームレートとpictureBのフレームレートを異なる設定にすると、pictureAを用いて高品位なスロー再生を実現することができる。本実施形態では、このような撮影モードにおけるクロストーク補正について説明する。
図31は、pictureAとpictureBのフレームレートの差異を撮像シーケンス上で説明するための図である。図の意味合いは、図22を用いて説明した通りである。図には、横軸を時間として、V同期信号481、pictureAの蓄積期間482,483、pictureBの蓄積期間484,485を示している。nは、フレーム番号である。pictureBの1フレーム期間T51の間にpictureAは4回の蓄積と信号電荷の読み出しを行っている。したがって、pictureAのシャッタースピードは、少なくともpictureBの1フレーム期間T51の1/4よりも速い側に制限される。
図32は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、pictureAとpictureBの活用例を説明するための図である。
pictureAとpictureBのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図32において、フレーム群681は、MP4ファイルに格納されたpictureAのフレーム群、フレーム群671は、別のMP4ファイルに格納されたpictureBのフレーム群である。これらのMP4ファイルには撮影時に同じCLIP−UMIDが設定され、関連付けがなされている。
pictureAとpictureBのデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図32において、フレーム群681は、MP4ファイルに格納されたpictureAのフレーム群、フレーム群671は、別のMP4ファイルに格納されたpictureBのフレーム群である。これらのMP4ファイルには撮影時に同じCLIP−UMIDが設定され、関連付けがなされている。
まず、動画の再生をスタートすると、pictureBのフレーム群671の先頭フレーム672から決められたフレームレートで順次フレームが再生される。pictureBは、シャッタースピードが過度に速くならないような設定(この例では1/100秒)で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。
フレーム672まで再生が進んだ時点で使用者がスロー再生の操作を行うと、自動的にpictureBに対応するpictureAのデータファイルから同一タイムコードのフレーム682が検索され、表示される。pictureAは、スロー再生でもぶれが目立たない高速シャッタースピード(この例では1/400秒)で撮影されており、スポーツシーンの激しい動きを具に描き出した迫力のある映像となる。
使用者がスロー再生を解除すると、自動的にpictureBのフレーム群671に戻って、フレーム674から通常の速度の再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。
次に、このようにpictureAとpictureBのフレームレートが異なる場合のクロストーク補正について説明する。
pictureBが蓄積を行っていないタイミングではpictureAへのクロストークは生じないので、本実施形態では、pictureBの蓄積期間に応じてクロストーク補正を切り替えることとする。
pictureBが蓄積を行っていないタイミングではpictureAへのクロストークは生じないので、本実施形態では、pictureBの蓄積期間に応じてクロストーク補正を切り替えることとする。
具体的には、pictureBの蓄積期間をSt、pictureBの1フレーム当たりの時間をFt、フレーム番号をnとし、次のように蓄積期間Stと時間Ftとの大きさの関係による場合分けを行ってクロストーク補正を実現する。
(St>3Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α2×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)
−(β5×DATA_Aij(4n−6)+β6×DATA_Aij(4n−5)
+β7×DATA_Aij(4n−4)+β8×DATA_Aij(4n−3))
(3Ft/4≧St>2Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α2×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)−(β6×DATA_Aij(4n−5)
+β7×DATA_Aij(4n−4)+β8×DATA_Aij(4n−3))
(2Ft/4≧St>Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α2×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)−(β7×DATA_Aij(4n−4)
+β8×DATA_Aij(4n−3))
(Ft/4≧Stのとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α2×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)−β8×DATA_Aij(4n−3)
なお、これらの式で用いたQUOTIENT関数は、除算の商の小数値を切り捨てて整数のみを返す関数である。QUOTIENT関数は、pictureAとpictureBのフレームレートが異なることに起因してpictureAのフレーム番号nが速く進むことを考慮するために用いている。
(St>3Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α2×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)
−(β5×DATA_Aij(4n−6)+β6×DATA_Aij(4n−5)
+β7×DATA_Aij(4n−4)+β8×DATA_Aij(4n−3))
(3Ft/4≧St>2Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α2×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)−(β6×DATA_Aij(4n−5)
+β7×DATA_Aij(4n−4)+β8×DATA_Aij(4n−3))
(2Ft/4≧St>Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α2×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)−(β7×DATA_Aij(4n−4)
+β8×DATA_Aij(4n−3))
(Ft/4≧Stのとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α2×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)−β8×DATA_Aij(4n−3)
なお、これらの式で用いたQUOTIENT関数は、除算の商の小数値を切り捨てて整数のみを返す関数である。QUOTIENT関数は、pictureAとpictureBのフレームレートが異なることに起因してpictureAのフレーム番号nが速く進むことを考慮するために用いている。
以上のようにクロストーク補正を構成することによって、pictureAとpictureBのフレームレートが異なるときにも適切な補正を行うことができるので、pictureAを用いた高品位のスロー映像を得ることができる。この際、pictureA,pictureBの2つの映像は、異なる蓄積期間の設定で撮影されるが、pictureAについてゲインアップするのではなく、撮像素子184において同程度の信号電荷を得ている。このため、pictureA及びpictureBのどちらもSN比の良好なノイズ感のない映像となる。また、この技術は、pictureBを用いたファスト映像を得る際に、その高品位化に用いることもできる。
このように、本実施形態によれば、1つの撮像素子を用いて複数の映像を同時に撮影する際に、クロストークによる画質の低下を抑えることができる。また、複数の映像間でフレームレートを異なる値に設定にすることにより、高品位なスロー再生の実現が可能となる。
(第3実施形態)
本発明の第3実施形態による撮像装置について、図33乃至図36を用いて説明する。図1乃至図32に示す第1及び第2実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本発明の第3実施形態による撮像装置について、図33乃至図36を用いて説明する。図1乃至図32に示す第1及び第2実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、pictureA,pictureBを合成してHDR映像(ハイ・ダイナミックレンジ映像)を作成する際のクロストーク補正について述べる。構成要素は第1実施形態と同様である。
pictureAは受光効率の高い画素要素303Aを用いて撮影され、pictureBは受光効率の低い画素要素303Bを用いて撮影される。このため、両者に同一の蓄積期間を設定するだけでも、pictureBはpictureAに対して感度が3段劣る映像となる。したがって、pictureAにおいて低輝度領域が十分に再現可能なレベルのときに多くの場合で高輝度領域は白飛びしてしまうが、pictureBではその高輝度領域でも白飛びせずに輝度情報を残すことができる。ただし、pictureBの低輝度部分は非常に信号レベルが低くなって黒つぶれを起こしているので、逆に、多くの場合は使用することはできない。
HDR映像を取得するためには、まず、感度の低い画素要素から取得した映像(以下、「アンダー映像」と呼ぶ)と感度の高い画素要素から取得した映像(以下、「オーバー映像」と呼ぶ)とを適切にゲイン調整する。そして、アンダー映像の輝度閾値より暗い領域はオーバー映像で置き換え、輝度閾値より明るい領域はアンダー映像をそのままに合成する。本実施形態では、アンダー映像としてpictureBを、オーバー映像としてpictureAを用いればよい。ただし、輝度閾値付近の明るさの中間領域は、映像の合成比率を徐々に変化させるなど、ユーザにとってより自然な映像に見えるように適宜調整することが望ましい。
pictureAに対してpictureBの感度を何段低く設定するかは、被写体の輝度分布の範囲に依存する。輝度範囲が広く、アンダー映像としてのpictureBの信号レベルを3段よりも低くするときには、pictureBの蓄積期間をpictureAよりも短くする。逆に、輝度範囲が狭く、アンダー映像としてのpictureBの信号レベルを3段低い感度よりも高くするには、pictureBの蓄積期間をpictureAよりも長くすればよい。被写体が風景などの場合には、pictureBはpictureAに対して感度が3段程度低いことが適切な場合が多いため、感度の差を相殺してpictureAとpictureBの蓄積期間は同程度になる。pictureAとpictureBの蓄積期間が同程度であることによって、被写体が動いているときにもpictureAとpictureBの対応する画素位置における被写体像のぶれやボケの状態が良く揃うことになる。これにより、より高品位なHDR映像を得ることができる。
図33は、pictureAとpictureBの蓄積動作を撮像シーケンス上で説明するための図である。図には、横軸を時間として、V同期信号781、pictureA及びpictureBの蓄積期間、フレーム番号nを示している。蓄積期間782がpictureAの画面上端ラインの蓄積期間であり、蓄積期間783がpictureAの画面下端ラインの蓄積期間である。また、蓄積期間784がpictureBの画面上端ラインの蓄積期間であり、蓄積期間785がpictureBの画面下端ラインの蓄積期間である。
撮像素子184はローリング電子シャッター機能で露光動作を行うために、pictureAでは、画面上端から画面下端に向かって時系列的に蓄積が開始され、時系列的に終了する。蓄積が終了すると信号電荷は撮像素子184から順次読み出され、アナログフロントエンド185に入力される。時刻t72から時刻t73までが蓄積期間782であり、時刻t75から時刻t76までが蓄積期間783である。
また、pictureAと同様に、pictureBにおいても、画面上端から画面下端に向かって時系列的に蓄積が開始され、時系列的に終了する。蓄積が終了すると信号電荷は撮像素子184から順次読み出され、アナログフロントエンド186に入力される。時刻t71から時刻t73までが蓄積期間784であり、時刻t74から時刻t76が蓄積期間785である。
図34は、pictureAとpictureBの合成比率を説明するための図である。横軸が輝度レベルを示し、縦軸が合成比率を示している。輝度レベルがL51までの低い範囲では、pictureAの合成比率が1、pictureBの合成比率がゼロとされている。輝度レベルがL51からL52の範囲では、pictureAの合成比率が1からゼロに徐々に下降し、代わりにpictureBの合成比率がゼロから1に徐々に上昇する。輝度レベルがL52を超える高い範囲では、pictureAの合成比率がゼロ、pictureBの合成比率が1とされている。
このとき、輝度レベルがL51を下回る低輝度領域では、pictureBの信号レベルが非常に低いので、撮像素子184のシリコン基板内部で発生した信号電荷の拡散によるpictureAへの影響は無視することができる。pictureAからpictureBへの信号電荷の拡散による漏れ込みは発生するものの、pictureBの合成比率がゼロなので問題にはならない。
一方、輝度レベルがL51を超える高輝度域では、撮像素子184のシリコン基板内部で発生した信号電荷が拡散によってpictureA側の画素要素からpictureB側の画素要素に電気的に漏れ込むことがある。この場合、pictureAの信号レベルが高いため、pictureBの映像は明らかに劣化する。しかも、この輝度範囲ではpictureBの合成比率が高くなっているため、このままでは合成映像としてもL51を超えた高輝度域における映像の劣化が目立ってしまうこととなる。
そこで、輝度レベルの高い領域の合成比率が高いpictureBについて、クロストーク補正を行う。クロストーク補正処理は、先に図26A、図26Bを用いて説明したものと基本的には同様である。クロストークは信号電荷の量に依存するため、一方の画素要素で生成された信号電荷の量に応じたクロストーク量によって他方の画素要素の出力信号を補正することでクロストーク補正が可能となる。
ここで、nフレーム目のpictureAの画素アドレスijにおけるデータをDATA_Aij(n)、nフレーム目のpictureBの画素アドレスijにおけるデータをDATA_Bij(n)とする。また、nフレーム目のpictureBの画素アドレスijにおける補正されたデータをC_DATA_Bij(n)、補正係数をβ2とする。補正されたデータとしてはpictureBだけを得ればよいので、
C_DATA_Bij(n)
=DATA_Bij(n)−β2×DATA_Aij(n) …(14)
となる。クロストーク補正関数gij(n)を、
gij(n)=−β2×DATA_Aij(n)
とすると、式(14)は、
DATA_Bij(n)=DATA_Bij(n)+gij(n)
と表すことができる。
C_DATA_Bij(n)
=DATA_Bij(n)−β2×DATA_Aij(n) …(14)
となる。クロストーク補正関数gij(n)を、
gij(n)=−β2×DATA_Aij(n)
とすると、式(14)は、
DATA_Bij(n)=DATA_Bij(n)+gij(n)
と表すことができる。
上述したHDR映像の合成処理は、例えば、記録媒体193からpictureA及びpictureBを受信したシステム制御CPU178において実行される。すなわち、システム制御CPU178は、ハイ・ダイナミックレンジ映像合成部として機能する。
図35は、HDR合成用のpictureAとpictureBの例であって、太陽を含む夜明けの風景の映像である。図35(a)がpictureAであり、図35(b)がpictureBである。pictureAとpictureBの撮像条件は、ともに、シャッタースピードが1/60、絞り値がF2.8となっている。ただし、撮像時の実際のシャッタースピードは表示よりも細かく制御されているので、pictureAとpictureBとで全く同一とは限らない。
図35(a)は、受光効率の高い画素要素を用いて撮影されたpictureAの映像のうちの1フレームであり、建物791は陰になっているもののディテールは再現されている。一方、太陽792は非常に高輝度であるためにその周辺部も含めて白飛びしている。これに対し、図35(b)は、受光効率の低い画素要素を用いて撮影されたpictureBの映像のうちの図35(a)と同一タイミングのフレームであり、建物793は陰になっていてディテールも失われている。一方、太陽794は非常に高輝度ではあるが、受光効率の低い画素要素での撮影であるために白飛びせず、輝度情報や色情報は失われていない。
図36は、上述したクロストーク補正処理を施したのちにHDR映像を合成した結果を撮像装置の表示部153上に表示した状態を示す図である。建物795のディテール及び太陽796とその周辺のグラデーションが良好に再現されたHDR映像を得ることができている。
このように、本実施形態によれば、1つの撮像素子を用いて複数の映像を同時に撮影する際に、クロストークによる画質の低下を抑えることができる。また、これら映像を合成することにより、高品位のHDR映像を得ることができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図1及び図2に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図3、図8、図11等に示した構成に限定されるものではない。
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図1及び図2に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図3、図8、図11等に示した構成に限定されるものではない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100…撮像装置
152…撮影光学系
178…システム制御CPU
184…撮像素子
187,188…デジタル信号処理部
302…画素アレイ
303…画素
303A,303B…画素要素
310A,310B…フォトダイオード(光電変換部)
313A,313B…フローティングディフュージョン領域
152…撮影光学系
178…システム制御CPU
184…撮像素子
187,188…デジタル信号処理部
302…画素アレイ
303…画素
303A,303B…画素要素
310A,310B…フォトダイオード(光電変換部)
313A,313B…フローティングディフュージョン領域
Claims (12)
- 第1光電変換部及び第2光電変換部を含む画素が行列状に配列された画素アレイを有し、前記第1光電変換部において第1蓄積期間に生じた信号電荷に基づく第1の映像信号と、前記第2光電変換部において前記第1蓄積期間とは異なる第2蓄積期間に生じた信号電荷に基づく第2の映像信号を出力する撮像素子と、
前記第1光電変換部又は前記第2光電変換部に隣接する光電変換部が出力する映像信号に基づいて、前記第1光電変換部又は前記第2光電変換部が出力する映像信号に含まれる前記光電変換部からのクロストーク成分を補正するクロストーク補正部と、
を備え、
同一画素の前記第1光電変換部と前記第2光電変換部が並ぶ方向を第1の方向とし、隣接する画素の前記第1光電変換部同士又は前記第2光電変換部同士が並ぶ方向を第2の方向とするとき、前記第1の方向と前記第2の方向とで、前記クロストーク補正部によるクロストーク補正量が異なることを特徴とする撮像装置。 - 前記第1の方向における前記クロストーク補正量が、前記第2の方向における前記クロストーク補正量よりも大きいことを特徴とする請求項1に記載の撮像装置。
- 前記第1の方向における一方の側と他方の側とで、前記クロストーク補正量が異なることを特徴とする請求項1または2に記載の撮像装置。
- 前記画素は、特定の波長成分を通過させるカラーフィルタを有し、
同一画素の前記第1光電変換部及び前記第2光電変換部は、同一の前記カラーフィルタを通過した光を受光し、
前記同一画素の光電変換部との間の前記クロストーク補正量が、隣接する画素の光電変換部との間の前記クロストーク補正量よりも大きいことを特徴とする請求項3に記載の撮像装置。 - 前記第2の方向における一方の側と他方の側とで、前記クロストーク補正量が異なることを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
- 前記画素は、前記画素に生じた前記信号電荷を転送する転送トランジスタ、又は転送された前記信号電荷を保持するフローティングディフュージョンを、前記第2の方向における一方の側に有し、同一画素の前記転送トランジスタ又は前記フローティングディフュージョンが設けられた側への前記クロストーク補正量が、他方の側への前記クロストーク補正量よりも小さいことを特徴とする請求項5に記載の撮像装置。
- 前記クロストーク補正部は、前記第1光電変換部の蓄積期間と前記第2光電変換部の蓄積期間のうちの短い方の蓄積期間に基づいて前記クロストーク補正量を求めることを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
- 前記第1光電変換部は前記第2光電変換部よりも受光効率が高く、
前記第1光電変換部の出力が飽和しているときは、前記第1光電変換部の飽和していない場合の出力の推定値を、同一画素の前記第2光電変換部の出力に基づいて求める飽和出力推定部を更に備え、
前記クロストーク補正部は、前記第1光電変換部からの前記クロストーク補正量を、前記飽和出力推定部による前記推定値に基づいて求める
ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。 - 前記飽和出力推定部は、前記第1光電変換部と前記第2光電変換部との感度の比、および蓄積期間の比に基づいて、前記推定値を求めることを特徴とする請求項8に記載の撮像装置。
- 第1光電変換部及び第2光電変換部を含む画素が行列状に配列された画素アレイを有し、前記第1光電変換部において第1蓄積期間に生じた信号電荷に基づく第1の映像信号と、前記第2光電変換部において前記第1蓄積期間とは異なる第2蓄積期間に生じた信号電荷に基づく第2の映像信号を出力する撮像素子を備えた撮像装置における撮像方法であって、
前記第1光電変換部又は前記第2光電変換部に隣接する光電変換部が出力する映像信号に基づいて、前記第1光電変換部又は前記第2光電変換部が出力する映像信号に含まれる前記光電変換部からのクロストーク成分を補正するクロストーク補正ステップを有し、
同一画素の前記第1光電変換部と前記第2光電変換部が並ぶ方向を第1の方向とし、隣接する画素の前記第1光電変換部同士又は前記第2光電変換部同士が並ぶ方向を第2の方向とするとき、前記第1の方向と前記第2の方向とで、前記クロストーク補正ステップにおけるクロストーク補正量が異なることを特徴とする撮像方法。 - 第1光電変換部及び第2光電変換部を含む画素が行列状に配列された画素アレイを有し、前記第1光電変換部において第1蓄積期間に生じた信号電荷に基づく第1の映像信号と、前記第2光電変換部において前記第1蓄積期間とは異なる第2蓄積期間に生じた信号電荷に基づく第2の映像信号を出力する撮像素子を備えた撮像装置において、コンピュータを、
前記第1光電変換部又は前記第2光電変換部に隣接する光電変換部が出力する映像信号に基づいて、前記第1光電変換部又は前記第2光電変換部が出力する映像信号に含まれる前記光電変換部からのクロストーク成分を補正するクロストーク補正手段として機能させるプログラムであって、
同一画素の前記第1光電変換部と前記第2光電変換部が並ぶ方向を第1の方向とし、隣接する画素の前記第1光電変換部同士又は前記第2光電変換部同士が並ぶ方向を第2の方向とするとき、前記第1の方向と前記第2の方向とで、前記クロストーク補正手段によるクロストーク補正量が異なることを特徴とするプログラム。 - 請求項11に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016082115A JP2017192102A (ja) | 2016-04-15 | 2016-04-15 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016082115A JP2017192102A (ja) | 2016-04-15 | 2016-04-15 | 撮像装置及び撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017192102A true JP2017192102A (ja) | 2017-10-19 |
Family
ID=60085996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016082115A Pending JP2017192102A (ja) | 2016-04-15 | 2016-04-15 | 撮像装置及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017192102A (ja) |
-
2016
- 2016-04-15 JP JP2016082115A patent/JP2017192102A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5045791B2 (ja) | 撮像装置及び撮像方法 | |
JP4888069B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
US10424343B2 (en) | Imaging device and playback device | |
JP2005072965A (ja) | 画像合成方法及び固体撮像装置並びにデジタルカメラ | |
JP2005051695A (ja) | 画像合成方法及び固体撮像装置並びにデジタルカメラ | |
JP2017112596A (ja) | 撮像装置及びその制御方法 | |
JP2006121151A (ja) | 信号処理方法および信号処理装置並びに物理情報取得装置 | |
US10924693B2 (en) | Image sensor and image capturing apparatus | |
US10757349B2 (en) | Imaging device and reproducing device | |
JP6855251B2 (ja) | 撮像装置及び再生装置 | |
US10283538B2 (en) | Imaging device and method of driving imaging device | |
WO2019138747A1 (ja) | 撮像装置およびその制御方法 | |
JP6581409B2 (ja) | 撮像装置及び映像処理装置 | |
JP2017126898A (ja) | 撮像装置及び映像処理装置 | |
JP6674225B2 (ja) | 撮像装置及び画像歪検出方法 | |
JP2017192102A (ja) | 撮像装置及び撮像方法 | |
JP6808473B2 (ja) | 撮像装置及びその駆動方法 | |
JP4015492B2 (ja) | 画像合成方法および撮像装置 | |
JP2018160854A (ja) | 撮像装置及びその制御方法 | |
JP2015109502A (ja) | イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム | |
JP6732587B2 (ja) | 撮像装置 | |
JP2018125697A (ja) | 撮像装置及びその制御方法 | |
JP2006109046A (ja) | 撮像装置 | |
JP2019180055A (ja) | 撮像装置及び画像歪検出方法 | |
JP2022120682A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |