JP2022111738A - 撮像装置および画像処理方法 - Google Patents
撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP2022111738A JP2022111738A JP2021007365A JP2021007365A JP2022111738A JP 2022111738 A JP2022111738 A JP 2022111738A JP 2021007365 A JP2021007365 A JP 2021007365A JP 2021007365 A JP2021007365 A JP 2021007365A JP 2022111738 A JP2022111738 A JP 2022111738A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- correction
- pixel
- correction circuit
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 67
- 238000003672 processing method Methods 0.000 title description 2
- 238000012937 correction Methods 0.000 claims abstract description 279
- 238000000034 method Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 90
- 230000006870 function Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 55
- 238000010586 diagram Methods 0.000 description 20
- 238000012546 transfer Methods 0.000 description 14
- 239000000758 substrate Substances 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 208000009989 Posterior Leukoencephalopathy Syndrome Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 101000622137 Homo sapiens P-selectin Proteins 0.000 description 2
- 102100023472 P-selectin Human genes 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Abstract
【課題】補正値の増加を抑制しつつ、適切な補正を実現することが可能な撮像装置およびその制御方法を提供する。【解決手段】、複数の画素が行列状に配置された画素部と、画素の列ごとに設けられた複数の列信号線とを有し、画素から複数種の画素信号を読み出し可能な撮像素子と、第1の補正回路と、第2の補正回路と、を有し、第1の補正回路および第2の補正回路は、画素信号が読み出される列信号線の違いに起因するオフセットの補正を、分担して適用する撮像装置である。【選択図】図4
Description
本発明は撮像装置および画像処理方法に関し、特には画像補正技術に関する。
デジタル(ビデオ)カメラなどの撮像装置には撮像素子が用いられている。撮像素子には数百万から数千万の微細な画素が形成されており、各画素における光電変換によって蓄積された電荷量に相当する電圧値を画像信号として取得する。
各画素が有するフォトダイオードやトランジスタの特性に生じるばらつきに起因した信号値のばらつきは画像信号に含まれるノイズ成分となるため、読み出した画像信号に対してノイズ成分を除去もしくは抑制するための補正を適用する必要がある。
また、画素から信号を読み出すために画素列ごとに設けられている読み出し回路(垂直信号線および列回路)についても特性にばらつきが存在する。そのため読み出し回路の特性のばらつきが画素信号に与える影響についても補正する必要がある。
特許文献1には、画素列ごとに複数の読み出し回路が設けられている構成の撮像装置において、読み出し回路ごとの補正値を用いて特性のばらつきを補正することが開示されている。
読み出し回路の特性のばらつきを高精度に補正するためには、読み出し回路ごと、かつ読み出す信号の種類ごとに異なる補正値を用いる必要がある。例えば、各画素が2つの副画素A,Bを有し、副画素A,Bの両方からまとめて画素信号を読み出す場合と、副画素AまたはBの一方から画素信号を読み出し可能な場合がある。この場合、それぞれの場合について別個の補正値を用いる必要がある。したがって、各画素から2種類の信号が読み出し可能で、画素列ごとに6本の垂直信号線が設けられている場合、12種類の補正値が必要となる。
記憶すべき補正値が増加すると、必要なメモリ容量ならびに部品コストが増大する。また、撮像装置の起動時にメモリから補正値を読み出すための時間が増大するため、撮像装置の応答性低下の要因となる。
また、画像信号を補正するための補正回路に対して1フレーム内に通信できるデータ量やデータレートには制限がある。したがって、使用する補正値の増加は、補正回路に送信可能な画像データの量を制限し、撮影フレームレートや1フレーム当たりの画素数の向上を妨げる要因となる。
本発明はその一態様において、補正値の増加を抑制しつつ、適切な補正を実現することが可能な撮像装置およびその制御方法を提供する。
上述の目的は、複数の画素が行列状に配置された画素部と、画素の列ごとに設けられた複数の列信号線とを有し、画素から複数種の画素信号を読み出し可能な撮像素子と、第1の補正回路と、第2の補正回路と、を有し、第1の補正回路および第2の補正回路は、画素信号が読み出される列信号線の違いに起因するオフセットの補正を、分担して適用することを特徴とする、撮像装置によって達成される。
本発明の一態様によれば、補正値の増加を抑制しつつ、適切な補正を実現することが可能な撮像装置およびその制御方法を提供することができる。
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
なお、以下の実施形態では、本発明をデジタルカメラもしくはデジタルビデオカメラである撮像装置で実施する場合に関して説明する。しかし、本発明は撮像機能を有する任意の電子機器で実施可能である。このような電子機器には、コンピュータ機器(パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、PDAなど)、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。なお、これらは例示であり、本発明は他の電子機器でも実施可能である。
●(第1実施形態)
図1は本発明の実施形態に係る撮像素子の構成例を示すブロック図である。撮像素子100は、複数の画素102が行列状に配置された画素部101を有する。画素部101は画素アレイとも呼ばれる。画素部101には原色ベイヤ配列のカラーフィルタが設けられている。図1において、画素102に付されているR、G、Bは、その画素に設けられているカラーフィルタの色を示している。また、画素列ごとに6本の垂直信号線(列信号線)が設けられている。なお、画素列ごとの垂直信号線の数は一例であり、4本、12本、20本など、任意の複数でありうる。図1では画素部101に設けられた数百万から数千万の画素のうち、6行2列の12画素のみを示している。
図1は本発明の実施形態に係る撮像素子の構成例を示すブロック図である。撮像素子100は、複数の画素102が行列状に配置された画素部101を有する。画素部101は画素アレイとも呼ばれる。画素部101には原色ベイヤ配列のカラーフィルタが設けられている。図1において、画素102に付されているR、G、Bは、その画素に設けられているカラーフィルタの色を示している。また、画素列ごとに6本の垂直信号線(列信号線)が設けられている。なお、画素列ごとの垂直信号線の数は一例であり、4本、12本、20本など、任意の複数でありうる。図1では画素部101に設けられた数百万から数千万の画素のうち、6行2列の12画素のみを示している。
画素102Aは、不図示の選択スイッチにより垂直信号線105Aに接続され、画素信号を行ごとに列回路106Aへ出力する。垂直信号線105Aには第1行目から6行ごとに、第6n+1行目(nは0以上の整数)の画素が接続されている。同様に、垂直信号線105Bには第6n+2行目、垂直信号線105Cには第6n+3行目、垂直信号線105Dには第6n+4行目、垂直信号線105Eには第6n+5行目、垂直信号線105Fには第6(n+1)行目、の画素が接続される。また、垂直信号線105A~105Fのそれぞれには対応する列回路106A~106Fが接続されている。
選択スイッチのオンおよびオフは、垂直走査回路104に接続された信号線103によって画素行ごとに制御される。本実施形態では垂直走査回路104が複数の画素行について同じタイミングで選択スイッチを制御することにより、最大6画素行分の画素102から信号を一度に読み出すことができる。
タイミングジェネレータ(TG)110は、垂直走査回路104および水平走査回路112の動作を制御するパルス信号を出力する。垂直走査回路104は、TG110から出力されるパルス信号に基づいて、画素部101の各画素102が有するトランジスタの動作を制御する。TG110はまた、D/A変換器111が用いる基準信号を出力する。D/A変換器(DAC)111は、時間とともに電圧が変化する参照信号(スロープ信号またはランプ信号)を生成し、列回路106が有する比較器107に供給する。
次に列回路106の構成を述べる。列回路106は垂直信号線105ごとに設けられており、図1では垂直信号線105Aから105Fに対応した列回路106Aから106Fが形成される。
列回路106は比較器107、カウンタ108、列メモリ109から構成される。比較器107の一方の入力にはDAC111で生成された参照信号が入力され、他方の入力には垂直信号線105からの画素信号が入力される。
比較器107は垂直信号線105から入力される画素信号の電圧値(電位V)と、参照信号の電圧値とを比較し、信号の大小関係が変化すると出力信号のレベルを変化させる。比較器107の出力信号はカウンタ108の動作を制御する。カウンタ108は不図示の信号源から入力されるクロックパルスのパルス数を計測する。カウンタ108は、比較器107の出力信号により、パルス数の計測を終了し、そのときの計測値を出力する。カウンタ108の計測値は、画素信号の電圧値に対応するデジタル値である。なお、パルス数の代わりに時間を計測してもよい。カウンタ108の計測値は列メモリ109に保持される。そして、カウンタ108の計測値はリセットされる。
このように、個々の列回路106は対応する垂直信号線105から入力される画素信号を、所定範囲(例えば0~255)内の値を有するデジタル信号に変換するA/D変換器として機能する。列回路106Aは水平走査回路112がオンオフを制御するスイッチを介して水平信号線113Aに接続される。列回路106B~106Fも同様に、水平信号線113B~113Fに接続される。
水平走査回路112はスイッチをオンオフ制御し、列回路106の列メモリ109に保持されたデジタル信号を水平信号線113Aから113Fに出力する。水平走査回路112の動作はTG110から供給される制御信号によって制御される。水平信号線113Aから113Fに出力されたデジタル信号は第1の補正回路114に供給される。第1の補正回路114は、後述する制御回路406による設定に従って、デジタル信号に対してオフセット補正を適用して、あるいはオフセット補正を適用せずに、撮像素子100の外部へ出力する。基板メモリ115は第1の補正回路114がオフセット補正を適用する際に用いるメモリであり、例えばDRAMである。第1の補正回路114の詳細については後述する。
図2は画素102の構成例を示す回路図である。画素102は1つのマイクロレンズ(不図示)を共有する複数のフォトダイオード(PD)201Aと201Bとを有する。PD201AおよびPD201Bはそれぞれ、入射光量に応じた電荷を生成する光電変換部として機能する。PD201AおよびPD201Bはそれぞれ副画素とも呼ばれる。
以下では、PD201Aが生成する電荷に基づく信号をA信号、PD201Bが生成する電荷に基づく信号をB信号と呼ぶ。また、同じ画素で得られるA信号とB信号とを合わせた信号をA+B信号と呼ぶ。A信号からなる画像とB信号からなる画像とは視差画像対を形成する。一方、複数の画素102から得られるA信号列とB信号列とを用いることで、位相差検出方式の自動焦点検出(AF)を実施することができる。したがって、A信号、B信号は焦点検出用信号もしくはAF用信号とも呼ばれる。
また、A+B信号は、画素102が1つのPDを有する一般的な撮像素子で得られる画像信号と見なすことができる。したがって、A+B信号は、A信号やB信号を焦点検出用信号と呼ぶ場合に、画像信号もしくは撮影画像信号と呼ばれることがある。なお、A信号はA+B信号からB信号を減じることによって得てもよく、またB信号はA+B信号からA信号を減じることによって得てもよい。画素信号は画素から読み出される信号を意味し、A+B信号、A信号、B信号、もしくは後述するリセット信号Nのいずれでもありうる。
PD201Aは転送スイッチ202Aを介して、PD201Bは転送スイッチ202Bを介して、それぞれ共通のフローティングディフュージョン(以下FD)203に接続される。転送スイッチ202Aのオンオフは転送パルスPTXAによって、転送スイッチ202Bのオンオフは転送パルスPTXBによって、それぞれ制御される。転送パルスPTXAおよびPTXBは垂直走査回路104から与えられる。
FD203はPD201Aおよび201Bの少なくとも一方から転送された電荷を一時的に蓄積することにより、転送された電荷量に応じた電圧を示す。したがって、FD203は電荷を電圧に変換する機能を有する。
リセットスイッチ204はFD203に基準電位VDDを供給する。リセットスイッチ204のオンオフは垂直走査回路104が供給するリセットパルスPRESによって制御される。
画素アンプ205はMOSトランジスタと定電流源からなるソースフォロア回路である。選択スイッチ206は画素アンプ205の電位変動を垂直信号線105に出力する。選択スイッチ206のオンオフは垂直走査回路104が供給する選択パルスPSELによって制御される。
転送スイッチ202Aおよび202B、リセットスイッチ204、および選択スイッチ206はそれぞれMOSトランジスタである。
図3は撮像素子100の実装例を模式的に示した斜視図である。撮像素子100は主に画素部101が形成された第1の半導体基板301と、列回路106などの読み出し回路と、第1の補正回路114と、基板メモリ115が形成された第2の半導体基板302とが積層された構造をとることができる。第1の半導体基板301と第2の半導体基板302とは例えばバンプによって電気的に接続され、第2の半導体基板302に実装される列回路106は、第1の半導体基板301に設けられた画素102から読み出された画素信号を受け取ることができる。
図4は撮像素子100を用いた電子機器の一例としての撮像装置400の構成例を示すブロック図である。
撮影レンズ401は被写体光学像を撮像素子100の撮像面に形成する。撮影レンズ401は電子機器に対して着脱することで交換可能であってもよい。撮影レンズ401はフォーカスレンズなどの可動レンズと絞りとを有している。可動レンズおよび絞りの動作はレンズ駆動回路402を通じて制御回路406が制御する。
撮影レンズ401は被写体光学像を撮像素子100の撮像面に形成する。撮影レンズ401は電子機器に対して着脱することで交換可能であってもよい。撮影レンズ401はフォーカスレンズなどの可動レンズと絞りとを有している。可動レンズおよび絞りの動作はレンズ駆動回路402を通じて制御回路406が制御する。
シャッタ403はメカニカルシャッタであり、撮像素子100の露光量を制御する。シャッタ403の動作はメカ駆動回路404を通じて制御回路406が制御する。なお、絞りがメカニカルシャッタを兼ねる場合、メカ駆動回路404は絞りを駆動し、レンズ駆動回路402は可動レンズを駆動するように構成してもよい。
信号処理回路405は、撮像素子100から得られる信号に対して予め定められた画像処理を適用し、信号を補正したり、別の信号を生成したり、画像データを生成したり、各種の情報を取得および/または生成したりする。後述するオフセット補正処理についても、信号処理回路405が行う。信号処理回路405は例えば特定の機能を実現するように設計されたASICのような専用のハードウェア回路であってもよいし、DSPのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。あるいは、制御回路406が信号処理回路405の少なくとも一部を兼ねてもよい。
画像処理回路405が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。
前処理には、オフセット補正、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。
色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理や同時化処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正(ガンマ処理)、撮影レンズ401の光学収差や周辺減光の影響を補正する処理、色を補正する処理などが含まれる。
検出処理には、特徴領域(たとえば顔領域や人体領域)やその動きの検出、人物の認識処理などが含まれる。
データ加工処理には、合成処理、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。
評価値算出処理には、自動焦点検出(AF)に用いる信号や評価値の生成、自動露出制御(AE)に用いる評価値の算出処理などが含まれる。
特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理などが含まれる。なお、これらは画像処理回路405が適用しうる画像処理の例示であり、画像処理回路405が適用する画像処理を限定するものではない。また、例示した画像処理の全てを画像処理回路405が実施可能であることを要しない。
前処理には、オフセット補正、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。
色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理や同時化処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正(ガンマ処理)、撮影レンズ401の光学収差や周辺減光の影響を補正する処理、色を補正する処理などが含まれる。
検出処理には、特徴領域(たとえば顔領域や人体領域)やその動きの検出、人物の認識処理などが含まれる。
データ加工処理には、合成処理、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。
評価値算出処理には、自動焦点検出(AF)に用いる信号や評価値の生成、自動露出制御(AE)に用いる評価値の算出処理などが含まれる。
特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理などが含まれる。なお、これらは画像処理回路405が適用しうる画像処理の例示であり、画像処理回路405が適用する画像処理を限定するものではない。また、例示した画像処理の全てを画像処理回路405が実施可能であることを要しない。
制御回路406は例えばCPU(MPU、マイクロプロセッサとも呼ばれる)、ROM、RAMを有する。制御回路406はROMに記憶されたプログラムをRAMに読み込んで実行することにより、撮像装置400の各部の動作を制御し、撮像装置400の機能を実現する。なお、撮影レンズ401が交換式の場合、制御回路406は撮影レンズ401が有する制御回路と通信しながら、撮影レンズ401の動作を制御する。
メモリ407は例えば画像データやオフセット補正値を保持するために用いられる。メモリ407は撮像素子100が有する第1の補正回路114と、撮像素子100の外部に設けられている信号処理回路405が有する第2の補正回路4051との両方からアクセス可能である。なお、第2の補正回路4051は信号処理回路405の一部ではなく、信号処理回路405が第2の補正回路4051として機能してもよい。
記録媒体408は例えば着脱可能なメモリカードであり、撮像素子100を用いて取得された信号に基づくデータ(例えば撮像画像データ)などを記録するために用いられる。
表示回路409は例えばLCDなどの表示デバイスを有し、撮像装置400の情報、撮影画像およびその情報、GUI画像などを表示する。
表示回路409は例えばLCDなどの表示デバイスを有し、撮像装置400の情報、撮影画像およびその情報、GUI画像などを表示する。
操作部材410はユーザが撮像装置400に指示を与えるために設けられている入力デバイスの総称である。典型的な入力デバイスはボタンおよびスイッチである。また、表示回路409がタッチディスプレイの場合、タッチディスプレイが有するタッチパネルは操作部材410に含まれる。操作部材410に含まれる入力デバイスには、シャッターボタン、電源ボタン、決定ボタン、方向キー、メニューボタンなど、割り当てられた機能に応じた名称が与えられている。なお、同一の操作部材に割り当てられる機能が撮像装置400の動作モードなどに応じて変化してもよい。
図5は撮像素子100から信号を読み出す際のタイミングチャートの一例を示している。本実施形態において撮像素子100は第1~第3の読み出しモードを有する。図5は第1の読み出しモードにおける動作のタイミングチャートである。なお、第1の読み出しモードでは撮像素子100からリセット信号N、画像信号(A+B信号)、および焦点検出用信号(A信号)を読み出すものとする。
時刻t500の前にリセットパルスPRESをHi、転送パルスPTXをHiとすることにより画素102がリセットされる。時刻t500において、転送パルスPTXをLoとすることにより画素102のリセットが解除され、電荷の蓄積が開始される。上述の通り、これらの制御パルスはTG110から供給される制御信号に基づいて垂直走査回路104から画素102に供給される。
時刻t501において信号の読み出しを行う画素行の選択パルスPSELがHiになり、その画素行に含まれる画素102が垂直信号線105と接続される。
時刻t502においてリセットパルスPRESがHiからLoに変化する。これにより、リセット時点におけるFD203の電位V(リセット信号N)が垂直信号線105を介して比較器107に入力される。リセット信号Nは、画素102をリセットする際に発生するリセットノイズを除去するために用いられる。
時刻t503においてDAC111は時間とともに電圧レベルが線形に増加もしくは減少する参照信号VL(ランプ信号)の出力を開始する。図5の例では線形減少する参照信号VLを用いている。DAC111が参照信号VLを出力すると、カウンタ108がパルスの計数を開始する。
時刻t504においてリセット信号Nと参照信号VLとの大小関係が逆転すると、比較器107の出力レベルがHiからLoに変化する。比較器107の出力レベルがHiからLoに変化すると、カウンタ108の計数値が列メモリ109に保持される。
その後、参照信号VLが時刻t505で所定の下限値に達するまで遷移したのち、水平走査回路112によって列回路106からリセット信号Nに対応する計数値が出力されると、画素102のリセット信号Nの読み出し(N読み)が終了する。
時刻t506で転送パルスPTXAがHiになると、PD201Aに蓄積された電荷がFD203に転送される。これにより、垂直信号線105の電位Vが、PD201Aに蓄積された電荷に応じた電位となる。この電位がA信号の値に相当する。また、時刻t506で比較器107がリセットされる。
時刻t507においてDAC111は再び参照信号VLの出力を開始する。DAC111が参照信号VLを出力すると、カウンタ108がパルスの計数を開始する。
時刻t508においてA信号と参照信号VLの大小関係が逆転すると、比較器107の出力レベルがHiからLoに変化する。比較器107の出力レベルがHiからLoに変化すると、カウンタ108の計数値が列メモリ109に保持される。
時刻t508においてA信号と参照信号VLの大小関係が逆転すると、比較器107の出力レベルがHiからLoに変化する。比較器107の出力レベルがHiからLoに変化すると、カウンタ108の計数値が列メモリ109に保持される。
その後、参照信号VLが時刻t509で所定の下限値に達するまで遷移したのち、水平走査回路112によって列回路106からA信号に対応する計数値が出力されると、画素102のA信号の読み出し(A読み)が終了する。
時刻t510で転送パルスPTXAとPTXBの両方がHiになると、PD201AとPD201Bに蓄積された電荷がFD203に転送される。これにより、垂直信号線105の電位Vが、PD201AおよびPD201Bに蓄積された電荷に応じた電位となる。この電位がA+B信号の値に相当する。また、時刻t510で比較器107がリセットされる。
時刻t511においてDAC111は再び参照信号VLの出力を開始する。DAC111が参照信号VLを出力すると、カウンタ108がパルスの計数を開始する。
時刻t512においてA+B信号と参照信号の大小関係が逆転すると、比較器107の出力レベルがHiからLoに変化する。比較器107の出力レベルがHiからLoに変化すると、カウンタ108の計数値が列メモリ109に保持される。
時刻t512においてA+B信号と参照信号の大小関係が逆転すると、比較器107の出力レベルがHiからLoに変化する。比較器107の出力レベルがHiからLoに変化すると、カウンタ108の計数値が列メモリ109に保持される。
その後、参照信号VLが時刻t513で所定の下限値に達するまで遷移したのち、水平走査回路112によって列回路106からA+B信号に対応する計数値が出力されると、画素102のA+B信号の読み出し(A+B読み)が終了する。
その後、A信号、A+B信号のそれぞれからリセット信号Nを減算するなど、所定の信号処理が実施される。また、A+B信号からA信号を減算することでB信号が得られる。このようにして、画素102から画像信号(A+B信号)と、焦点検出用信号(A信号およびB信号)が得られる。
図5には1つの画素102からの読み出し動作について示している。しかし、同じ動作を垂直信号線105Aから105Fに接続された複数の画素102と、対応する列回路106Aから106Fとについて並行して実施することで、最大で6つの画素行から信号を並列に読み出すことができる。
図6は撮像素子100の第2の読み出しモードにおける動作のタイミングチャートである。第2の読み出しモードでは、リセット信号Nと画像信号(A+B信号)とを読み出すものとする。
時刻t600からt605までのリセット信号Nの読み出し(N読み)終了までは図5を用いて説明した第1の読み出しモードにおける時刻t500からt505までの動作と同一であるため説明を省略する。
時刻t606で転送パルスPTXAとPTXBがHiになると、PD201Aに蓄積された電荷とPD201Bに蓄積された電荷がFD203に転送される。これにより、垂直信号線105の電位Vが、PD201AおよびPD201Bに蓄積された電荷に応じた電位となる。この電位が画像信号(A+B信号)の値に相当する。また、時刻t606で比較器107がリセットされる。
時刻t607においてDAC111は再び参照信号VLの出力を開始する。DAC111が参照信号VLを出力すると、カウンタ108がパルスの計数を開始する。
時刻t608においてA+B信号と参照信号VLの大小関係が逆転すると、比較器107の出力レベルがHiからLoに変化する。比較器107の出力レベルがHiからLoに変化すると、カウンタ108の計数値が列メモリ109に保持される。
時刻t608においてA+B信号と参照信号VLの大小関係が逆転すると、比較器107の出力レベルがHiからLoに変化する。比較器107の出力レベルがHiからLoに変化すると、カウンタ108の計数値が列メモリ109に保持される。
その後、参照信号VLが時刻t609で所定の下限値に達するまで遷移したのち、水平走査回路112によって列回路106からA+B信号に対応する計数値が出力されると、画素102のA+B信号の読み出し(A+B読み)が終了する。
その後、A+B信号からN信号を減算するなど、所定の信号処理が実施される。このようにして、画素102から画像信号(A+B信号)が得られる。
このように、第2の読み出しモードではリセット信号Nと画像信号(A+B信号)の読み出しを行い、第1の読み出しモードで行う焦点検出用信号(A信号またはB信号)の読み出しを行わない。
なお、第1の読み出しモードにおいて、時刻t509での水平走査回路112がA信号を転送しないことにより、実質的に第2の読み出しモードと同様の読み出しを実現してもよい。第1の読み出しモードにおいて焦点検出用信号を転送しない場合を、第3の読み出しモードと呼ぶ。
図7は画素部101に含まれる画素102の列オフセットを説明するための模式図である。列オフセットは、画素列に対応づけて設けられる読み出し回路間の特性のばらつきによって生じる信号レベルのばらつきである。列オフセットは、筋状のノイズとして画像信号に重畳する。
図7では一例として、同じ画素列に設けられた6つの列回路106Aから106Fのそれぞれから出力された信号に基づく、画素部101が露光されていない状態における列オフセットの分布を示している。
写像nから写像n+5は、画素列ごとに、同じ垂直信号線105に接続された複数の画素についてのオフセットの平均値を求め、平均値を画素行ごとにプロットしたものである。例えば、写像nは、垂直信号線105Aに接続されている、画素部101の6n(nは0以上の整数)行目に含まれる複数の画素102について求めたオフセットの平均値の水平方向における分布である。写像(n+1)から写像(n+5)は、それぞれ(6n+1)行目から(6n+5)行目に含まれる画素について同様に求めたオフセットの平均値の分布である。
図7に示すように、オフセットの平均値は一定でない。そのため、破線で示した所定のオフセットレベルと実際のオフセットレベルとのずれが、画像の部分的な色むらや、縦筋、横筋といったパターンノイズとして画像信号に現れる。また、一般に、列オフセットは、電源インピーダンスや容量カップリング等に起因する電圧レベルの変動により、垂直信号線ごとにレベルが異なる。このため、撮像素子100のように画素列ごとに複数の垂直信号線105A~105Fが設けられている場合、周期的な横筋ノイズが発生しやすい。また、列オフセットは画素から読み出す信号の種類(画像信号か焦点検出用信号か)によっても異なりうる。読み出す信号の種類によるオフセットの差は、主に画素がリセットされてから信号が読み出されるまでの時間の差に起因する。
オフセット補正は、上述したオフセットのばらつきを抑制するために実施される。図8はオフセット補正を模式的に示す図である。撮像素子100は、第1の補正回路114により、列回路106Aから106Fのそれぞれから出力される信号に対して個別にオフセット補正を適用することができる。
第1の補正回路114は、同じ列に配置され、かつ同じ垂直信号線105に接続される画素102から読み出された信号に対して、あらかじめ記憶された同一の値を減算するオフセット補正を適用する。
画素から読み出される信号の値は被写体の明るさやランダムノイズなどの影響によって一定でない。しかし、図7に写像として示したオフセットの平均値を減じることは、列に対応した一定値(オフセット補正値)を減算することに相当する。
撮像素子の製造時などに、例えば画素部101を遮光した状態で読み出した画像信号や焦点検出用信号に基づいて、図7で説明したように算出したオフセットの平均値を補正値として算出することができる。そして、この補正値を、例えば第1の補正回路114とともに設けられた不揮発性の基板メモリ115に記憶しておく。そして、第1の補正回路114は水平走査回路112によって水平信号線113に出力される信号から補正値を減じることによってオフセット補正を適用することができる。
オフセット補正により、図8に示すように列方向におけるオフセットのばらつきが抑制され、列方向のオフセットは所定レベル近辺の値となる。そのため、横筋ノイズや色むらを抑制することができる。
なお、信号処理回路405が有する第2の補正回路4051は第1の補正回路114と同じ補正機能を有している。第2の補正回路4051は、オフセット補正において用いる補正値を、撮像素子100の第1の補正回路114や基板メモリ115から取得してもよいし、遮光状態において撮像素子100から読み出した画像信号または焦点検出用信号に基づいて生成してもよい。
なお、第1の補正回路114および第2の補正回路4051が用いる補正値は必ずしも予め記憶された補正値でなくてもよい。例えば、撮影の直前に撮像素子100から得られる信号に基づいて補正値を生成して用いるように構成されてもよい。
また、補正の対象は遮光時における画素値のオフセットに限定されない。例えば、垂直信号線105ごとのゲインのばらつきを予め補正値として記憶しておき、各列のゲイン補正として適用することも可能である。
次に、図9を用いて、撮像素子100から行ごとに読み出す信号の種別に関して説明する。図9(a)は撮像素子100のすべての行で画像信号(A+B信号)と焦点検出用信号(A信号またはB信号)とを読み出す場合を模式的に示している。図9以降では画像信号をA+B、焦点検出用信号をAと表記する。本実施形態では列ごとに6つの垂直信号線105A~105Fが設けられているため、撮像素子100の画素部101の画素行を6n行目~6(n+5)行目として示している(nは0以上の整数)。
図9(a)に示すように、全ての画素行について画像信号と焦点検出用信号とを読み出す場合、全ての画素行から第1の読み出しモードで信号を読み出す。
一方、図9(b)は、画像信号(A+B信号)は全ての画素行から読み出すが、焦点検出用信号(A信号またはB信号)は一部の画素行からのみ読み出す場合を示している。具体的には、図9(b)は、6n行目、6(n+1)行目、6(n+4)行目、6(n+5)行目から焦点検出用信号(A信号)を読み出し、6(n+2)行目と6(n+3)行目からは焦点検出用信号(A信号)を読み出さない場合を示している。
図9(b)に示すような場合、画像信号と焦点検出用信号の両方を読み出す画素行については第1の読み出しモードで信号を読み出し、画像信号のみを読み出す画素行については第2または第3の読み出しモードで信号を読み出す。図9(b)のように、焦点検出用信号を読み出さない画素行を設けることで、1フレーム分の信号読み出し時間を削減することができる。
以下、全ての画素行から焦点検出用信号を読み出す場合を全行AF読み出し、一部の画素行から焦点検出用信号を読み出す場合を部分AF読み出しと呼ぶ。第1から第3の読み出しモードに応じた読み出し動作は、制御回路406がTG110の動作を制御することにより実現することができる。また、部分AF読み出しにおいてどの行から焦点検出用信号を読み出すかについても、制御回路406がTG110の動作を制御することにより制御することができる。
次に、第1の補正回路114と第2の補正回路4051とがどのようにオフセット補正を分担するかについて図10を用いて説明する。図10は、全行AF読み出しの場合の例を示している。
図10に示すように、全行AF読み出しの場合、第1の補正回路114では画像信号(A+B信号)に対してオフセット補正を適用し、焦点検出用信号(A信号)に対してはオフセット補正を適用しない。一方、第2の補正回路4051は焦点検出用信号(A信号)に対してオフセット補正を適用し、画像信号(A+B信号)に対してはオフセット補正を適用しない。
具体的には、制御回路406が、第1の補正回路114に対し、画像信号(A+B信号)についてはオフセット補正を適用してから信号を出力し、焦点検出用信号(A信号)についてはオフセット補正を行わずに信号を出力するように設定する。また、制御回路406が、第2の補正回路4051に対し、画像信号(A+B信号)についてはオフセット補正を適用せず、焦点検出用信号(A信号)についてはオフセット補正を行うように設定する。
したがって、図5に示した第1の読み出しモードの動作において、第1の補正回路114は、時刻t509から出力される焦点検出用信号(A信号)についてはオフセット補正を適用せずにメモリ407に書き込む。そして、第2の補正回路4051(信号処理回路405)が、メモリ407から焦点検出用信号(A信号)を読み出してオフセット補正を適用し始める。第2の補正回路4051(信号処理回路405)は、オフセット補正を適用した焦点検出用信号(A信号)をメモリ407に再び書き込む。
その後、第1の補正回路114は、時刻t513から出力される画像信号(A+B信号)についてオフセット補正を適用してからメモリ407に書き込む。一方、第2の補正回路4051(信号処理回路405)は、メモリ407に書き込まれた画像信号(A+B信号)についてはオフセット補正を適用しない。
信号処理回路405は、メモリ407に書き込まれたオフセット補正済みの画像信号(A+B信号)および焦点検出用信号(A信号)から焦点検出用信号(B信号)を生成する。
このように、本実施形態では、撮像素子から画像信号と焦点検出用信号とを読み出す場合、それぞれの信号に対して適用する補正処理を、一方の信号については撮像素子内の補正回路で、他方の信号については撮像素子外の補正回路で適用するようにした。これにより、読み出す信号の種類ごとに異なる補正値を用いる場合、撮像素子内に保持する補正値の量を削減することができる。特に、画素列ごとに複数の垂直信号線が設けられており、垂直信号線ごとの補正値を用いる場合には効果が大きい。
また、画像信号と焦点検出用信号のように、1回の露光処理に対応して複数種の画素信号を読み出す場合、連写速度の上限は読み出しに要する時間によって制限を受ける。本実施形態では、信号の種類に応じて補正処理を2つの補正回路で分担するため、読み出しに要する時間を短縮することができ、連写速度の向上に寄与する。
なお、上述の説明ではオフセット補正を画像信号と焦点検出用信号に適用するものとしたが、リセット信号Nについてもオフセット補正を適用してもよい。この場合、リセット信号Nのオフセット補正は第1の補正回路114と第2の補正回路4051のどちらで適用してもよい。制御回路406はリセット信号N用の補正値を記憶した補正回路にリセット信号Nに対するオフセット補正を適用するように設定する。
●(第2実施形態)
次に、本発明の第2実施形態について説明する。なお、本実施形態は第2の補正回路4051の動作以外は第1実施形態と同じであってよいため、以下では本実施形態における第2の補正回路4051の動作について重点的に説明する。
次に、本発明の第2実施形態について説明する。なお、本実施形態は第2の補正回路4051の動作以外は第1実施形態と同じであってよいため、以下では本実施形態における第2の補正回路4051の動作について重点的に説明する。
図11は第2実施形態における読み出しおよび補正動作を図10と同様に示した図である。ここでは、画像信号(A+B信号)と焦点検出用信号(A信号)は第1実施形態と同様に、全行にわたって読み出されている。
第1の補正回路114が画像信号(A+B信号)に対して適用するオフセット補正処理は第1実施形態と同じである。一方、焦点検出用信号を補正する第2の補正回路4051は、垂直信号線105A~105Fにそれぞれ接続された6n行~(6n+5)行の画素から読み出された焦点検出用信号から、補正を適用する焦点検出用信号を生成する。
第2の補正回路4051は複数行分の画素信号を1行分に合成する。例えば、第2の補正回路4051は、6n行、(6n+1)行、(6n+2)行の画素から読み出された焦点検出用信号を1行分の焦点検出用信号に合成する。また、第2の補正回路4051は、(6n+3)行、(6n+4)行、(6n+5)行の画素から読み出された焦点検出用信号を1行分の焦点検出用信号に合成する。合成は例えば各行の同じ列から読み出された焦点検出用信号を加算平均することであってよい。
なお、第2の補正回路4051が合成を行うか否か、またどの行の画素信号を合成するかについては、制御回路406が第2の補正回路4051に設定する。また、第2の補正回路4051が複数の合成方法をサポートしている場合、使用する合成方法についても制御回路406が第2の補正回路4051に設定する。
そして第2の補正回路4051は、生成した2行分の焦点検出用信号に対してオフセット補正を適用する。したがって、第2の補正回路4051が用いる補正値は、合成後の焦点検出用信号に対応した補正値である。補正値は、例えば、合成を行わない場合に用いる補正値(第1実施形態の第2の補正回路4051が用いる補正値)を、焦点検出用信号と同様に合成することによって生成することができる。また、合成後の焦点検出信号に対応した補正値をあらかじめ取得し、保持しておいてもよい。
このように、補正を適用する焦点検出用信号を削減することにより、第2の補正回路4051が用いる補正値の量を削減することができる。合成によって補正の精度は低下するが、焦点検出用信号は画像信号よりも要求される補正精度が低いため、補正値のデータ量を削減できる効果の方が大きい。画素列ごとに複数の垂直信号線が設けられる場合、合成を行わないと垂直信号線ごとに補正値が必要になるため、特に効果が大きい。
なお、図11では画素列ごとに6つの垂直信号線が設けられる構成において、隣接する3つの垂直信号線から読み出される信号に対して共通の補正値を用いるようにした。しかし、共通の補正値を用いる垂直信号線の数や位置関係は単なる例示に過ぎない。
例えば6n行から(6n+5)行を1行に合成し、全ての焦点検出用信号について共通の補正値を用いてもよい。また、図1のように画素部101に原色ベイヤ配列のカラーフィルタが設けられている場合、同色のカラーフィルタが設けられた複数の画素から読み出された焦点検出用信号を合成するようにしてもよい。具体的には、6n行、(6n+2)行、(6n+4)行の画素から読み出された信号を1行に合成し、(6n+1)行、(6n+3)行、(6n+5)行の画素から読み出された信号を1行に合成することができる。
また、全行AF読み出しを行う代わりに部分AF読み出し(図9(b))を行ってもよい。この場合、A信号の読み出しに要する時間や第2の補正回路4051での合成に要する時間を削減することができる。第2の補正回路4051は、焦点検出用信号の読み出し方法と合成方法に合わせた補正値を用いてオフセット補正を適用する。
本実施形態では、第1実施形態の効果に加え、画像信号の補正精度は維持しながら、焦点検出用信号のオフセット補正に要する記憶容量や処理時間を削減することができる。
●(第3実施形態)
次に、本発明の第3実施形態について説明する。なお、本実施形態は第2の補正回路4051の動作以外は第1実施形態と同じであってよいため、以下では本実施形態における第2の補正回路4051の動作について重点的に説明する。
次に、本発明の第3実施形態について説明する。なお、本実施形態は第2の補正回路4051の動作以外は第1実施形態と同じであってよいため、以下では本実施形態における第2の補正回路4051の動作について重点的に説明する。
図12は第3実施形態における読み出しおよび補正動作を図10と同様に示した図である。画像信号(A+B信号)の読み出しと、画像信号(A+B信号)に対するオフセット補正とについては、第1実施形態と同様である。
一方、焦点検出用信号(A信号)については、全行AF読み出しの場合(図12(a))と、部分AF読み出し(図12(b))の場合がある。焦点検出用信号の読み出し方法は、例えば撮像装置400の撮影モードと予め対応付けられている。したがって、制御回路406は、設定されている撮影モードに応じて、撮像素子100からの焦点検出用信号の読み出し方法を全行AF読み出しか部分AF読み出しか決定し、TG110に読み出し方法を設定する。また、第2の補正回路4051において画素信号の合成を行う場合、制御回路406は合成する行および合成方法を第2の補正回路4051に設定する。
例えば低照度のシーンなど、AF精度が低下しやすいシーンを撮影する撮影モードについては、全行AF読み出しを行い、それ以外のシーンを撮影する撮影モードについては部分AF読み出しを行う。あるいは、高い撮影フレームレートが必要な撮影モードについては部分AF読み出しを行い、他の撮影モードでは全行AF読み出しを行ってもよい。なお、これらは読み出し方法と撮影モードとの対応付けの単なる例示であり、他の対応付けも可能である。
また、撮影モードに限らず、他の条件に応じて読み出し方法を決定してもよい。例えば、消費電力を低減する必要がある場合や、低消費電力での動作が設定されている場合には部分AF読み出しを行うようにすることができる。
図12(b)に示す例では部分AF読み出し時に(6n+2)行および(6n+5)行以外の画素から焦点検出用信号(A信号)を読み出すが、信号を読み出さない行の数や配置はこれに限定されない。
全行AF読み出しの場合、第2の補正回路4051は、第2実施形態と同様に、6行分の焦点検出用信号(A信号)の連続する3行分をそれぞれ1行に合成して2行分の焦点検出用信号を生成する。
一方、部分AF読み出しの場合、第2の補正回路4051は、6n行の画素から読み出された信号と(6n+1)行の画素から読み出された信号とを1行に合成する。第2の補正回路405は、さらに、(6n+3)行の画素から読み出された信号と(6n+4)行の画素から読み出された信号とを1行に合成することにより、2行分の焦点検出用信号を生成する。合成は例えば列ごとに画素値を加算平均することであってよい。部分AF読み出しにより焦点検出用信号の読み出し量を削減でき、撮影フレームレートの向上や消費電力の低減が実現できる。
本実施形態により、第2実施形態と同様に、焦点検出用信号に適用するオフセット補正で用いる補正値のデータ量を削減することができる。具体的には、全行AF読み出しの場合と、部分AF読み出しの場合とのそれぞれについて、2行分の補正値を記憶しておけばよい。
なお、本実施形態では、全行AF読み出しの場合と部分AF読み出しの場合とで合成後の焦点検出用信号の行数が等しい。さらに、全行AF読み出しの場合に合成する行に包含される行を部分AF読み出しの場合に合成するようにしている。そのため、用意する補正値のデータ量をさらに削減する必要があれば、全行AF読み出しの場合に用いる補正値を、部分AF読み出しの場合にも用いるようにしてもよい。これにより、補正値のデータ量をさらに削減することができる。
補正値は、例えば、合成を行わない場合の補正値(第1実施形態の第2の補正回路4051が用いる補正値)を、第2の補正回路4051における行データの合成方法と同様にして合成することによって生成することができる。
第2の補正回路4051は、合成後の2行分の焦点検出用信号のそれぞれから、対応する補正値を減算することにより、オフセット補正を適用する。
本実施形態では、第2実施形態の効果に加え、部分AF読み出しを併用することにより、焦点検出用信号の読み出しおよび補正に要する時間を短縮することができる。また、全行AF読み出しの場合の補正値を部分AF読み出しの場合にも用いるようにすれば、補正値用の記憶容量を第2実施形態と同等に抑制することができる。
●(第4実施形態)
次に、本発明の第4実施形態について説明する。第4実施形態は、撮像装置400が記録する信号の種類に応じた補正動作に関する。撮像装置400は、ユーザ設定により、記録する信号の種類を変更可能である。例えば、撮像装置400は、画像信号に加え、焦点検出用信号を記録するか否かを設定可能であるものとする。
次に、本発明の第4実施形態について説明する。第4実施形態は、撮像装置400が記録する信号の種類に応じた補正動作に関する。撮像装置400は、ユーザ設定により、記録する信号の種類を変更可能である。例えば、撮像装置400は、画像信号に加え、焦点検出用信号を記録するか否かを設定可能であるものとする。
図13(a)は、焦点検出用信号を記録する場合の読み出し動作と補正動作を模式的に示している。この場合、画像信号(A+B信号)と焦点検出用信号(A信号)とが全行について読み出される。このように、全画素について焦点検出用信号を記録することにより、撮影後に合焦距離の調整やゴースト除去を実施することが可能になる。これらの処理においてA信号は画像信号としても用いられうるため、A+B信号と同様の精度でオフセット補正を行う必要がある。
したがって、焦点検出用信号(A信号)を記録する場合には、第1実施形態と同様に、A+B信号については第1の補正回路114でオフセット補正を適用し、A信号については第2の補正回路4051でオフセット補正を適用する。
焦点検出用信号(A信号)を記録しない場合は、第1~第3実施形態における焦点検出用信号(A信号)と同様に、焦点検出用信号を撮像装置400のAF動作にのみ用いる場合である。この場合、図13(b)に示すように、部分AF読み出しを行い、焦点検出用信号(A信号)に対して第2の補正回路4051でオフセット補正を適用する。なお、焦点検出用信号(A信号)を記録しない場合には、第2実施形態(図11(a))または第3実施形態(図12(b))と同様に焦点検出用信号(A信号)に対するオフセット補正を適用してもよい。
制御回路406は、記録する信号の設定に応じて、図13(a)および図13(b)に示した読み出しおよびオフセット補正を実施するように、TG110、第1の補正回路114、および第2の補正回路4051に設定する。
本実施形態によれば、画像信号に加えて焦点検出用信号を記録する場合と、焦点検出用信号は記録しない場合とで、それぞれ適切なオフセット補正を焦点検出用信号に適用することができる。また、2つの補正回路でオフセット補正処理を分担することにより、撮像素子内に保持する補正値のデータ量を削減することができるとともに、オフセット補正に要する時間を短縮することができる。
なお、焦点検出用信号(A信号)を記録する場合に、画像信号(A+B信号)だけでなく焦点検出用信号(A信号)についても第1の補正回路114でオフセット補正を適用するようにしてもかまわない。撮像素子内に保持する補正値のデータ量を減らす必要がある場合には、撮像素子の外部から補正値を入力するようにしてもよい。
●(第5実施形態)
次に、本発明の第5実施形態について説明する。本実施形態は、列ごとに設けられた複数の垂直信号線を2つのグループに分割し、第1グループの垂直信号線と第2グループの垂直信号線とで読み出し周期(読み出しレート)が異なる場合のオフセット補正に関する。
次に、本発明の第5実施形態について説明する。本実施形態は、列ごとに設けられた複数の垂直信号線を2つのグループに分割し、第1グループの垂直信号線と第2グループの垂直信号線とで読み出し周期(読み出しレート)が異なる場合のオフセット補正に関する。
図14は第5実施形態における読み出しおよび補正動作を図10と同様に示した図である。本実施形態では列ごとに設けられている6つの垂直信号線105A~105Fを垂直信号線105A~105Dと105E~105Fとの2グループに分割し、各グループで読み出し周期を異ならせている。
具体的には、垂直信号線105A~105D(6n行~(6n+3)行)の画素からは第1の周期で画像信号(A+B信号)と焦点検出用信号(A信号)とを読み出す(図14(a))。読み出された画素信号は、画像データの生成と焦点検出に用いられる。
また、垂直信号線105E~105F((6n+4)行~(6n+5)行)の画素からは第1の周期より短い第2の周期で画像信号(A+B信号)を読み出し、焦点検出用信号は読み出さない(図14(b))。読み出された画素信号は一般にマルチストリーム信号と呼ばれ、環境光のフリッカー検知や露出制御に用いられる。
なお、垂直信号線105をグループに分割する方法や読み出す信号の種類については単なる例示である。例えば、第1の周期では画像信号のみを読み出し、焦点検出用信号については第2の周期で読み出して第2の補正回路4051でオフセット補正を適用してもよい。ただし、第2の周期で読み出す垂直信号線の数は、第1の周期よりも短い周期で読み出すために、第1の周期で読み出す垂直信号線の数よりも少なくするのが一般的である。
このような、垂直信号線105に応じた読み出し周期の制御は、制御回路406がTG110の動作を制御することで実現することができる
本実施形態では、第1の周期で読み出される画素信号については第1の補正回路114で、第2の周期で読み出される画素信号については第2の補正回路4051でオフセット補正を適用するものとする。なお、補正回路と補正する画素信号の関係は逆でもよい。基本的に、画素信号を合成してオフセット補正を適用する場合には第2の補正回路4051を用いるが、画素信号の合成を伴わない場合には、第1の補正回路114および第2の補正回路4051のどちらでオフセット補正を適用してもよい。
図14に示す例では、基板メモリ115に垂直信号線105A~105Dごと、かつ読み出す画素信号の種類ごとの、計8種類の補正値を保持する。また、メモリ407には垂直信号線105E~105Fごとに計2種類の画像信号用の補正値を保持する。先の実施形態と同様、基板メモリ115が保持する補正値は、予め保持されていてもよいし、メモリ407から取得してもよい。
なお、第2の補正回路4051では、(6n+4)行と(6n+5)行の画素から読み出された画素信号(A+B信号)を1行に合成してからオフセット補正を適用してもよい。この場合、第2の補正回路4051で用いる補正値の量を半減することができる。
制御回路406は、垂直信号線105A~105Dに対応する水平信号線113A~113D)に読み出される画素信号にのみオフセット補正を適用するように第1の補正回路114を設定する。また、制御回路406は、垂直信号線105E~105Fに対応する水平信号線113E~113Fに読み出される画素信号にのみオフセット補正を適用するように第2の補正回路4051を設定する。制御回路406は、第2の補正回路4051に、補正前に合成を行うか否かについても設定することができる。
本実施形態によれば、画素行に応じて周期が異なる読み出しを行う場合に、第1の周期で読み出される画素信号については第1の補正回路で、第2の周期で読み出される画素信号については第2の補正回路で、それぞれオフセット補正を適用する。そのため、撮像素子に保持する補正値を削減しつつ、オフセット補正の負荷を分散することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
100…撮像素子、114…第1の補正回路、304…基板メモリ、400…撮像装置、401…撮影レンズ、402…レンズ駆動回路、403…シャッタ、404…メカ駆動回路、405…信号処理回路、406…制御回路、407…メモリ
Claims (18)
- 複数の画素が行列状に配置された画素部と、前記画素の列ごとに設けられた複数の列信号線とを有し、前記画素から複数種の画素信号を読み出し可能な撮像素子と、
第1の補正回路と、
第2の補正回路と、を有し、
前記第1の補正回路および前記第2の補正回路は、前記画素信号が読み出される列信号線の違いに起因するオフセットの補正を、分担して適用することを特徴とする、撮像装置。 - 前記第1の補正回路は前記撮像素子に設けられ、前記第2の補正回路は前記撮像素子の外部に設けられることを特徴とする、請求項1に記載の撮像装置。
- 前記第1の補正回路は第1の画素信号に前記補正を適用し、前記第2の補正回路は第2の画素信号に前記補正を適用することを特徴とする請求項1または2に記載の撮像装置。
- 前記第2の補正回路は、複数行分の前記第2の画素信号を1行分に合成してから前記補正を適用することを特徴とする請求項3に記載の撮像装置。
- 前記第2の補正回路は、前記第2の画素信号が全ての行の画素から読み出される場合と、前記第2の画素信号が一部の行の画素から読み出される場合とで、前記第2の画素信号の合成後の行数が等しくなるように前記合成を行うことを特徴とする請求項4に記載の撮像装置。
- 前記第2の補正回路は、前記第2の画素信号が全ての行の画素から読み出される場合と、前記第2の画素信号が一部の行の画素から読み出される場合とで、同じ補正値を用いて前記合成後の画素信号に補正を適用することを特徴とする請求項5に記載の撮像装置。
- 前記第2の画素信号が全ての行の画素から読み出される場合と、前記第2の画素信号が一部の行の画素から読み出される場合とが、前記撮像装置の設定に応じて変更されることを特徴とする請求項5または6に記載の撮像装置。
- 前記設定が撮影モードであることを特徴とする請求項7に記載の撮像装置。
- 前記第1の画素信号と前記第2の画素信号とが記録される場合には、前記第1の画素信号と前記第2の画素信号とが全ての行の画素から読み出され、
前記第1の画素信号が記録され、前記第2の画素信号が記録されない場合には、前記第1の画素信号が全ての行の画素から読み出され、前記第2の画素信号が一部の行の画素から読み出される、
ことを特徴とする請求項3から7のいずれか1項に記載の撮像装置。 - 前記複数の垂直信号線の第1のグループから第1の周期で第1の画素信号が読み出され、前記複数の垂直信号線の第2のグループから前記第1の周期よりも短い第2の周期で前記第1の画素信号が読み出される場合、
読み出される周期が異なる前記第1の画素信号の一方に前記第1の補正回路が前記補正を適用し、他方に前記第2の補正回路が補正を適用する、
ことを特徴とする請求項3に記載の撮像装置。 - さらに、前記第2の画素信号が前記第1の周期で読み出される場合は前記第1の周期で読み出される前記第1の画素信号に前記補正を適用する補正回路で前記第2の画素信号に前記補正を適用し、
前記第2の画素信号が前記第2の周期で読み出される場合は前記第2の周期で読み出される前記第1の画素信号に前記補正を適用する補正回路で前記第2の画素信号に前記補正を適用する、
ことを特徴とする請求項10に記載の撮像装置。 - 前記第1のグループに属する列信号線の数が、前記第2のグループに属する列信号線の数より多いことを特徴とする請求項10または11に記載の撮像装置。
- 前記第1の画素信号が画像信号であり、前記第2の画素信号が焦点検出用信号であることを特徴とする請求項3から12のいずれか1項に記載の撮像装置。
- 前記画素は複数の光電変換部を有し、前記第1の画素信号が前記複数の光電変換部から読み出される画素信号であり、前記第2の画素信号が前記複数の光電変換部の一部から読み出される画素信号であることを特徴とする請求項3から13のいずれか1項に記載の撮像装置。
- 前記第1の補正回路が前記補正に用いる補正値は前記撮像素子が有するメモリに保持され、前記第2の補正回路が前記補正に用いる補正値は前記撮像素子の外部に設けられたメモリに保持されることを特徴とする請求項1から14のいずれか1項に記載の撮像装置。
- 前記撮像素子が有するメモリに保持される補正値は、前記撮像素子の外部に設けられたメモリから取得されることを特徴とする請求項15に記載の撮像装置。
- 複数の画素が行列状に配置された画素部と、前記画素の列ごとに設けられた複数の列信号線とを有し、前記画素から複数種の画素信号を読み出し可能な撮像素子と、
第1の補正回路と、
第2の補正回路と、を有する撮像装置の制御方法であって、
制御手段が、前記画素信号が読み出される列信号線の違いに起因するオフセットの補正を、分担して適用するように前記第1の補正回路および前記第2の補正回路を制御する工程を有することを特徴とする、撮像装置の制御方法。 - 撮像装置が有するコンピュータを、請求項17に記載の撮像装置の制御方法を実施する制御手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021007365A JP2022111738A (ja) | 2021-01-20 | 2021-01-20 | 撮像装置および画像処理方法 |
US17/578,235 US11716551B2 (en) | 2021-01-20 | 2022-01-18 | Image capture apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021007365A JP2022111738A (ja) | 2021-01-20 | 2021-01-20 | 撮像装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022111738A true JP2022111738A (ja) | 2022-08-01 |
JP2022111738A5 JP2022111738A5 (ja) | 2024-01-19 |
Family
ID=82405699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021007365A Pending JP2022111738A (ja) | 2021-01-20 | 2021-01-20 | 撮像装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11716551B2 (ja) |
JP (1) | JP2022111738A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5645505B2 (ja) * | 2010-06-29 | 2014-12-24 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5862126B2 (ja) * | 2011-09-06 | 2016-02-16 | ソニー株式会社 | 撮像素子および方法、並びに、撮像装置 |
JP6418839B2 (ja) * | 2014-08-04 | 2018-11-07 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP6579782B2 (ja) | 2015-04-09 | 2019-09-25 | キヤノン株式会社 | 撮像装置 |
-
2021
- 2021-01-20 JP JP2021007365A patent/JP2022111738A/ja active Pending
-
2022
- 2022-01-18 US US17/578,235 patent/US11716551B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11716551B2 (en) | 2023-08-01 |
US20220232178A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5371463B2 (ja) | 撮像装置、撮像システム、および、撮像装置の制御方法 | |
US9319614B2 (en) | Image pickup device with a group of focus detection pixels associated with a dedicated readout circuit and image pickup apparatus including the image pickup device | |
JP5746521B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
US10638072B2 (en) | Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal | |
JP6272085B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US20180220058A1 (en) | Image capture apparatus, control method therefor, and computer-readable medium | |
JP2016048813A (ja) | 固体撮像素子、撮像方法、および電子機器 | |
JP5489739B2 (ja) | 信号処理装置、撮像装置、及び信号処理方法 | |
JP2008306565A (ja) | 撮像装置及びその信号補正方法 | |
US10924693B2 (en) | Image sensor and image capturing apparatus | |
KR20170077784A (ko) | 고체 촬상 소자 및 촬상장치 | |
JP2018074311A (ja) | 撮像装置及び撮像装置の駆動方法 | |
US9838591B2 (en) | Imaging apparatus and imaging system for generating a signal for focus detection | |
JP2022111738A (ja) | 撮像装置および画像処理方法 | |
JP7134786B2 (ja) | 撮像装置および制御方法 | |
US10432880B2 (en) | Imaging apparatus, imaging system, and driving method for imaging apparatus | |
JP2020022096A (ja) | 撮像素子及びその制御方法、及び撮像装置 | |
US11368610B2 (en) | Image capture apparatus and control method therefor | |
JP6393087B2 (ja) | 撮像素子及び撮像装置 | |
JP6590055B2 (ja) | 撮像装置 | |
JP7020463B2 (ja) | 撮像装置 | |
JP7277251B2 (ja) | 撮像装置およびその制御方法 | |
JP6167473B2 (ja) | 撮像装置 | |
US11284017B2 (en) | Image pickup device and storage medium | |
JP6402807B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240111 |