JP2010268162A - 撮像装置、及びその制御方法 - Google Patents

Abstract

【課題】撮像素子に含まれる画素の出力信号レベルが入射光の実際の強度に対応する値よりも低下する現象の発生をより正確に検出する。
【解決手段】所定の輝度の入射光に対して第２のレベルの信号を出力する第２の画素と、前記所定の輝度の入射光に対して前記第２のレベルより低い第１のレベルの信号を出力する第１の画素と、前記第１の画素及び第２の画素から出力された信号を基準信号に基づいて補正する補正手段と、前記補正手段により補正された第１の画素からの信号のレベルに基づいて、前記補正手段により補正された第２の画素からの信号を所定の値に置換すべきか否かを判定する判定手段とを備えた撮像装置を提供する。
【選択図】図２

Description

本発明は、撮像装置、及びその制御方法に関する。

近年、撮像素子としてＣＭＯＳイメージセンサが注目を集めている。ＣＭＯＳイメージセンサはＣＣＤイメージセンサよりも消費電力が低く、且つＣＣＤイメージセンサと同等の高いＳＮ比の信号を得ることができるからである。また、ＣＭＯＳイメージセンサには、内部に信号処理部を混在させることができるという利点もある。

ＣＭＯＳイメージセンサを使用するデジタルカメラ等を用いて写真撮影を行う場合、ＣＭＯＳイメージセンサの画素に非常に強い光が入射すると、その画素の出力信号レベルが低くなる場合がある。その結果、写真の一部が実際よりも暗く見える「高輝度黒沈み」という現象が生じることが知られている。

この原因は、ＣＭＯＳイメージセンサにおいて基準レベルを読み出す際に画素のフォトダイオード（ＰＤ）からフローティング・ディフュージョン（ＦＤ）に電荷が漏れこみ、基準レベルが急激に大きなレベルになることであると考えられている。そこで、特許文献１は、出力信号レベルが飽和している画素の間にあり、且つ出力信号レベルが所定の閾値より小さい画素を補正領域とし、補正領域の画素の出力信号を飽和値に置換することによって「高輝度黒沈み」の問題に対処することを開示している。

特開２００６−３２４８４３号公報

しかしながら、特許文献１に開示されている技術では、出力信号レベルが所定の閾値より小さい画素において「高輝度黒沈み」が発生しているのか、或いは、実際に入射光の強度が弱いのかを判別することが困難である。従って、実際に入射光の強度が低いにも関わらず出力信号を飽和値に置換してしまい、その結果、撮影画像の画質が低下してしまう場合がある。

本発明はこのような状況に鑑みてなされたものであり、撮像素子に含まれる画素の出力信号レベルが入射光の実際の強度に対応する値よりも低下する現象の発生をより正確に検出する技術を提供することを目的とする。

上記課題を解決するために、本発明の技術的特徴としては、所定の輝度の入射光に対して第２のレベルの信号を出力する第２の画素と、前記所定の輝度の入射光に対して前記第２のレベルより低い第１のレベルの信号を出力する第１の画素とを有する撮像装置の制御方法であって、補正手段が、前記第１の画素及び第２の画素から出力された信号を基準信号に基づいて補正する補正ステップと、判定手段が、前記補正ステップにより補正された第１の画素からの信号のレベルに基づいて、前記補正ステップにより補正された第２の画素からの信号を所定の値に置換すべきか否かを判定する判定ステップとを備えたことを特徴とする。

本発明によれば、撮像素子に含まれる画素の出力信号レベルが入射光の実際の強度に対応する値よりも低下する現象の発生をより正確に検出することが可能となる。

実施例１に係るデジタルカメラ１００の構成を示すブロック図である。 実施例１に係る撮像素子１０２の内部構成図である。 画素２０１の構成例を示す図である。 画素補間処理部１０６の動作を表すタイミングチャートである。 実施例１において補正領域検出部１０４が補正領域を検出する方法を説明する図である。 実施例２において補正領域検出部１０４が補正領域を検出する方法を説明する図である。

以下、添付図面を参照して、本発明の実施例を説明する。

本発明の撮像装置をデジタルカメラに適用した実施例について説明する。図１は、実施例１に係るデジタルカメラ１００の構成を示すブロック図である。図１において、１０１はレンズ群、１０２は複数の画素を持つＣＭＯＳイメージセンサ等の撮像素子、１０３は撮像素子１０２の出力信号を増幅してＡ／Ｄ変換するアナログフロントエンド（ＡＦＥ）である。１０４は、ＡＦＥ１０３及び後述する画素補間処理部１０６から入力された信号に基づいて、「高輝度黒沈み」が発生している領域を補正領域として検出する補正領域検出部である。１０５は撮像装置全体を制御するＣＰＵ（制御部）、１０６は撮像素子１０２の複数の画素から読み出された信号（画像信号）を補間する画素補間処理部である。１０７は補正領域検出部１０４で検出された補正領域の画像信号をあるレベルの画像信号に置換することにより画素補間処理部１０６が出力した画像信号を補正する補正部である。１０８はカメラ信号処理部、１０９は記録用信号処理部、１１０は液晶パネルなどを含む表示装置、１１１はＤＶＤディスクなどの記録メディアである。

撮像素子１０２は、第１の画素の集合である第１画素群と第２の画素の集合である第２画素群とを含み、第１画素群と第２画素群とは、入射光に対して相互に異なる感度で光電変換を行うことができる。「感度が異なる」とは、画素の出力信号が飽和レベルに達しないような閾値以下の所定の輝度の被写体からの入射光を光電変換した場合に、異なるレベル（第１のレベル、及び第２のレベル）の信号が出力されるということを意味する。第１画素群と第２画素群との感度を相互に異ならせる方法としては、例えば以下の方法が挙げられる。

１．画素の前段に配置されるフィルタの透過率を、第１画素群用のフィルタ（第１フィルタ）と第２画素群用のフィルタ（第２フィルタ）とで異ならせる。
２．画素を構成するフォトダイオードの面積、又は画素の開口部の面積を、第１画素群の画素と第２画素群の画素とで相互に異ならせる。
３．第１画素群と第２画素群とで、相互に異なる蓄積時間で電荷を読み出せるように、撮像素子１０２を構成する。

いずれの場合も、後述する補正領域検出部１０４の動作は同様であるので、本実施例では、第１画素群と第２画素群とで、相互に異なる蓄積時間で電荷を読み出せるように、撮像素子１０２を構成する場合について説明する。

図２は、実施例１に係る撮像素子１０２の内部構成図である。撮像素子１０２は、ＸＹアドレス方式の固体撮像素子であり、図２においては、一部の行と列のみを示す。

図２において、２０１はそれぞれ１つの画素（画素の内部構成は、図３を参照して後述する）、２０２はフローティングディフュージョンアンプ（ＦＤアンプ）である。２０３ａ，２０３ｂは行読み出し制御線（２０行目〜２３行目の分を２０３ａ−２０〜２０３ａ−２３，２０３ｂ−２０〜２０３ｂ−２３と表記する）である。２０４ａ，２０４ｂは行リセット制御線（２０行目〜２３行目の分を２０４ａ−２０〜２０４ａ−２３，２０４ｂ−２０〜２０４ｂ−２３と表記する）である。２０５ａ，２０５ｂは行選択制御線（２０行目〜２３行目の分を２０５ａ−２０〜２０５ａ−２３，２０５ｂ−２０〜２０５ｂ−２３と表記する）である。

２０６ａ，２０６ｂは列信号線、２０７ａ，２０７ｂは列アンプ、２０８ａ，２０８ｂは垂直走査回路、２０９ａ，２０９ｂは水平走査回路、２１０ａ，２１０ｂは列信号バッファ容量である。２１１ａ，２１１ｂは列選択線、２１２ａ，２１２ｂは列選択スイッチ、２１３ａ，２１３ｂは水平信号線、２１４ａ，２１４ｂは出力バッファアンプ、２１５ａ，２１５ｂは映像出力端子である。

２１６ａ，２１６ｂは設定によってリセットタイミングや読み出しタイミングを生成するタイミングジェネレータ（ＴＧ）（第１制御回路、第２制御回路）である。２１７は垂直同期信号入力端子、２１８は水平同期信号入力端子である。２１９ａ，２１９ｂは外部ＣＰＵのＴＧ２１６ａ，２１６ｂに対するリセットと読み出しの設定信号線である。２２０ａ，２２０ｂは読み出し行タイミング信号、２２１ａ，２２１ｂは読み出し列タイミング信号である。

図３は、画素２０１の構成例を示す図である。図３において、３０１はフォトダイオード（ＰＤ）、３０２は行読み出し制御線（図２の行読み出し制御線２０３ａ又は２０３ｂに接続される）、３０３は行読み出しトランジスタである。

３０４はフローティング・ディフュージョン（ＦＤ）、３０５は行リセット制御線（図２の行リセット制御線２０４ａ又は２０４ｂに接続される）、３０６は行リセットトランジスタである。３０７はリセットレベル入力、３０８は行選択制御線（図２の行選択制御線２０５ａ又は２０５ｂに接続される）、３０９は行選択トランジスタ、３１０は信号出力である。

本実施例では、撮像素子１０２の全画素が２種類の画素群（第１画素群及び第２画素群）に分けられている。それぞれの画素群は、別々のＴＧ及び走査回路に接続されることにより、相互に異なる蓄積時間で駆動が可能であり、別々の出力端子より信号を出力する。もちろん、２つの画素群の出力信号を多重して１つの出力端子より出力し、Ａ／Ｄ変換後にそれぞれの画素群の出力に分離する方法をとってもよい。

図２においては、添え字として「ａ」を持つ番号の制御線に接続されている画素が第１画素群を構成し、添え字として「ｂ」を持つ番号の制御線に接続されている画素が第２画素群を構成する。図２においては、第１画素群が離散的に第２画素群の中に１行１列おきに配置されているが、必ずしもこの例で示す配置でなくても、本発明を実現することができる。

次に、図１、図２、及び図３を参照して、デジタルカメラ１００の動作を説明する。ＣＰＵ１０５が、撮像素子１０２内のＴＧ２１６ａ，２１６ｂに対して、フィールド又はフレームごとの各画素群のリセット・読み出しタイミングを設定する。レンズ群１０１を通って撮像素子１０２の受光面上に光学像が結像されると、撮像素子１０２の各画素群のＰＤでは、各々の画素でのリセット・読み出しタイミング、及び入射光量に応じて、光電荷が発生する。

ここで、撮像素子１０２内の動作を説明する。ＦＤ３０４は、所定の容量のキャパシタンスで構成されており、キャパシタンスにチャージされた電荷に応じた電圧を発生する。まず、行リセット制御線３０５が活性化されると行リセットトランジスタ３０６がオンになり、リセットレベル入力３０７（電源ＶＤＤ）がＦＤをチャージし、ＦＤはリセットレベルとなる。

次いで、行選択制御線３０８が活性化されると行選択トランジスタ３０９がオンになり、ＦＤ３０４のリセットレベルがＦＤアンプ２０２において増幅されて、列信号線２０６ａ，２０６ｂに基準信号が出力される。基準信号は、列アンプ２０７ａ，２０７ｂで増幅され、列信号バッファ容量２１０ａ，２１０ｂに格納される。

一方、ＰＤ３０１には、各画素への入射光量に応じた光電荷が蓄積されており、行読み出し制御線３０２が活性化されると行読み出しトランジスタ３０３がオンになり、ＰＤ３０１の光電荷がＦＤ３０４に移動する。このとき、ＦＤ３０４においては、移動した光電荷分の差だけ、リセットレベルに対して電圧レベルが変化する。

変化後の電圧レベルは、ＦＤアンプ２０２において増幅されて、列信号線２０６ａ，２０６ｂに補正前の電圧信号として出力され、列信号バッファ容量２１０ａ，２１０ｂに格納された基準信号を補正前の電圧信号から減じる補正により、補正後の電圧信号（画素電圧信号）が得られる。

水平走査回路２０９ａ，２０９ｂにおいて列信号選択線２１１ａ，２１１ｂに印加する制御信号を所定のタイミングと順序に従って動作させることにより、列選択スイッチ２１２ａ，２１２ｂが順次開閉動作する。これにより、１行分の画素電圧信号が、水平信号線２１３ａ，２１３ｂと出力バッファ２１４ａ，２１４ｂとを通じて、映像出力端子２１５ａ，２１５ｂから出力される。

このように、第１画素群及び第２画素群において生じた光電荷は、撮像素子１０２のそれぞれのＴＧ２１６ａ，２１６ｂによって駆動された蓄積時間に従って、各々の映像出力端子２１５ａ，２１５ｂから所定の順序で出力映像電圧信号として出力される。出力映像電圧信号は、ＡＦＥ１０３において増幅されデジタルデータに変換される。

画素補間処理部１０６は、第１画素群及び第２画素群の出力信号より、記録表示に使われる映像用の信号を生成する。具体的な方法は後述するが、本実施例では画素補間処理部１０６は、第２画素群の出力信号に補間処理を行ったものを映像用の信号とするように動作する。

補正領域検出部１０４は第１画素群の出力信号、及び、画素補間処理部１０６によって補間された第２画素群の出力信号に基づいて、補正領域を検出する。補正領域の検出方法は後述する。補正部１０７は、画素補間処理部１０６によって補間された第２画素群の出力信号に対して、補正領域検出部１０４から検出された補正領域の画素を、ある特定の画素信号レベル（通常は、飽和レベル）に置換することによって補正処理を行う。

以上のような処理が行われた後、第２画素群の出力信号は、カメラ信号処理部１０８において所定のカメラ信号処理が行われ、表示装置１１０に表示される。また、第２画素群の出力信号は、記録用信号処理部１０９を経て、記録メディア１１１に撮像画像として記録される。

図４は、画素補間処理部１０６の動作を表すタイミングチャートである。撮像素子１０２においては、第１画素群が第２画素群中に離散的に配置されているので、第２画素群の信号は、ところどころに欠落が発生する。そのため、第２画素群の出力信号が欠落する画素（即ち、第１画素群の位置に対応する画素）に対して補間処理を行って映像信号を生成する必要がある。

図４において、垂直アドレスは撮像素子１０２上の行番号、水平アドレスは画素番号（列番号）に相当する。本実施例では、奇数の行番号のライン上に１画素おきに第１画素群の画素と第２画素群の画素が配置されている。そのため、偶数ラインには第２画素群の全画素の信号が入力されるが、奇数ラインでは第２画素群の信号が１画素おきに欠落する。また、図４において、Ｓ（Ｘ，Ｙ）は、Ｘ行Ｙ列の画素からの出力信号を表す。

ＣＰＵ１０５は、撮像素子１０２における第１画素群及び第２画素群の配置情報、垂直アドレス、そして水平アドレスに従って、画素ごとの画素補間制御信号を生成し、画素補間処理部１０６に入力する。画素補間処理部１０６は、画素補間制御信号が０のときは、第２画素群からの入力をそのまま出力し、画素補間制御信号が１のときは、その周辺画素より補間を行って補間信号を出力する。本実施例では、隣接画素の平均値を補間信号としている。

図５は、実施例１において補正領域検出部１０４が補正領域を検出する方法を説明する図である。横軸は画素に対する入力光量Ｘを表し、縦軸はその画素の出力信号レベルを表す。５０１は第１画素群の画素からの出力信号Ｙ１（第１信号）、５０２は第２画素群の画素からの出力信号Ｙ２（第２信号）を表す。

第２画素群に対する第１画素群の感度比をＫ（０＜Ｋ＜１）とした場合、入力光量Ｘが、ある光量値Ｘ１より小さい場合（図５における範囲５０３）は、
Ｙ１＝Ｋ×Ｙ２ （式１）
の関係が成り立つ。入力光量がＸ１以上Ｘ２以下の場合（図５における範囲５０４）は、第２画素群が飽和に達し、一定の出力信号レベルＴｈ１になるため、
Ｙ２＝Ｔｈ１ （式２）
となり、
Ｙ１＞Ｋ×Ｔｈ１ （式３）
の関係が成り立つ。

即ち、第１画素群の出力信号に対して式３が成り立つ場合に、補正領域検出部１０４は、第２画素群の出力信号が飽和レベルを超えるであろうことが推測できる。

入力光量がＸ２を超えた場合（図５における範囲５０５）も同様に第１画素群の出力信号に対して式３が成り立つので、補正領域検出部１０４は、第２画素群の出力信号が飽和レベルを超えるであろうことが推測できる。しかしながら、実際には「高輝度黒沈み」現象が起きるため、第２画素群の出力信号は飽和レベルに達せず、
Ｙ２＜Ｔｈ１ （式４）
となる。

よって補正領域検出部１０４は、予め設定可能な飽和レベルＴｈ１をもとに、第１画素群の出力信号に対して式３が成り立ち、且つ、画素補間処理部１０６によって補間された第２画素群の出力信号に対して式４が成り立つ画素を、補正領域として検出する。換言すれば、補正領域検出部１０４は、第２画素群の出力信号を判定すべきか否かを判定する判定部として動作可能である。

第１画素群が離散的に配置されている場合には、第２画素群の判断対象の画素に対して、最も近傍の第１画素群の画素の判断結果を用いることで、補正領域の検出が可能である。

また、入力光量が更に増えた場合には、第１画素群も飽和レベルに達するが、本実施例のように、それぞれの画素群が独立して蓄積時間を変更可能な場合には、第１画素群の蓄積時間を更に短くすればよい。このようにして感度比Ｋを制御することによって、第１画素群が飽和レベルに達しないように制御することが可能である。

以上説明したように、本実施例によれば、撮像素子１０２は、第１画素群と第２画素群とを含み、第１画素群と第２画素群とは、入射光に対して相互に異なる感度で光電変換を行うことができる。そして、補正領域検出部１０４は、各画素群からの出力信号に基づいて、補正領域を検出する。

これにより、撮像素子に含まれる画素の出力信号レベルが入射光の実際の強度に対応する値よりも低下する現象の発生をより正確に検出することが可能となる。また、こうして検出された画素に対して補正を行えば、画質の劣化を抑制しつつ、「高輝度黒沈み」の発生を抑制することができる。

実施例２では、補正領域検出部１０４における補正領域の他の検出方法を説明する。デジタルカメラ１００や撮像素子１０２などの構成及び動作に関しては実施例１と同一なので、説明を割愛する（図１乃至図４参照）。

図６は、実施例２において補正領域検出部１０４が補正領域を検出する方法を説明する図である。図５と同様、横軸は画素に対する入力光量Ｘを表し、縦軸は該当画素の出力信号レベルを表す。６０１は第１画素群からの出力信号Ｙ１、６０２は第２画素群からの出力信号Ｙ２を表す。

第２画素群に対する第１画素群の感度比をＫ（０＜Ｋ＜１）とした場合、入力光量Ｘが、ある光量値Ｘ１より小さい場合（図６における範囲６０３）は、
Ｙ１＝Ｋ×Ｙ２ （式１）
の関係が成り立つ。入力光量がＸ１以上Ｘ２以下の場合（図６における範囲６０４）は、第２画素群が飽和に達し、一定の出力信号レベルＴｈ１になるため、
Ｙ２＝Ｔｈ１ （式２）
となり、
Ｙ１＞Ｋ×Ｔｈ１ （式３）
の関係が成り立つ。

即ち、第１画素群の出力信号に対して式３が成り立つ場合に、補正領域検出部１０４は、第２画素群の出力信号が飽和レベルを超えるであろうことが推測できる。

入力光量がＸ２を超えた場合（図６における範囲６０５）も同様に第１画素群の出力信号に対して式３が成り立つので、補正領域検出部１０４は、第２画素群の出力信号が飽和レベルを超えるであろうことが推測できる。しかしながら、実際には「高輝度黒沈み」現象が起きるため、第２画素群の出力信号は飽和レベルＴｈ１よりも低い、ほぼ一定レベルの信号（Ｔｈ２（第４レベル）より大きくＴｈ３（第３レベル）より小さい）になるので、
Ｔｈ２＜Ｙ２＜Ｔｈ３ （式５）
となる。

よって補正領域検出部１０４は、予め設定可能な飽和レベルＴｈ１に加えて信号レベルＴｈ２，Ｔｈ３をもとに、第１画素群の出力信号に対して式３が成り立ち、且つ、画素補間処理部１０６によって補間された第２画素群の出力信号に対して式５が成り立つ画素を、補正領域として検出する。

第１画素群が離散的に配置されている場合には、第２画素群の判断対象の画素に対して、最も近傍の第１画素群の画素の判断結果を用いることで、補正領域の検出が可能である。

また、入力光量が更に増えた場合には、第１画素群も飽和レベルに達するが、本実施例のように、それぞれの画素群が独立して蓄積時間を変更可能な場合には、第１画素群の蓄積時間を更に短くすればよい。このようにして感度比Ｋを制御することによって、第１画素群が飽和レベルに達しないように制御することが可能である。

以上説明したように、本実施例によれば、補正領域検出部１０４は、予め設定可能な飽和レベルＴｈ１に加えて信号レベルＴｈ２，Ｔｈ３をもとに、補正領域を検出する。

これにより、撮像素子に含まれる画素の出力信号レベルが入射光の実際の強度に対応する値よりも低下する現象の発生をより正確に検出することが可能となる。

Claims (7)

1. 所定の輝度の入射光に対して第２のレベルの信号を出力する第２の画素と、前記所定の輝度の入射光に対して前記第２のレベルより低い第１のレベルの信号を出力する第１の画素と、
   前記第１の画素及び第２の画素から出力された信号を基準信号に基づいて補正する補正手段と、
   前記補正手段により補正された第１の画素からの信号のレベルに基づいて、前記補正手段により補正された第２の画素からの信号を所定の値に置換すべきか否かを判定する判定手段とを備えたことを特徴とする撮像装置。
2. 前記判定手段は、前記補正手段により補正された第２の画素の信号レベルが飽和レベルよりも低く、前記補正手段により補正された第１の画素の信号レベルが予め設定された閾値よりも高い場合に、前記第２の画素からの信号を所定の値に置換すると判定することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画素における電荷の蓄積時間を制御する第１制御回路と、前記第２の画素における電荷の蓄積時間を制御する第２制御回路と、
   前記第１制御回路による蓄積時間が前記第２制御回路による蓄積時間よりも短くなるように前記第１制御回路及び前記第２制御回路を制御する制御手段とを更に備えることを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記制御手段は、前記第２の画素の信号レベルが飽和レベルに達しないように、前記第２制御回路による蓄積時間を制御することを特徴とする請求項３に記載の撮像装置。
5. 前記第２の画素に配置された第２フィルタと、前記第１の画素に配置された前記第２フィルタよりも透過率の低い第１フィルタと、を有することを特徴とする請求項１又は請求項２に記載の撮像装置。
6. 前記第１の画素の面積は、前記第２の画素の面積よりも小さいことを特徴とする請求項１又は請求項２に記載の撮像装置。
7. 所定の輝度の入射光に対して第２のレベルの信号を出力する第２の画素と、前記所定の輝度の入射光に対して前記第２のレベルより低い第１のレベルの信号を出力する第１の画素とを有する撮像装置の制御方法であって、
   補正手段が、前記第１の画素及び第２の画素から出力された信号を基準信号に基づいて補正する補正ステップと、
   判定手段が、前記補正ステップにより補正された第１の画素からの信号のレベルに基づいて、前記補正ステップにより補正された第２の画素からの信号を所定の値に置換すべきか否かを判定する判定ステップとを備えたことを特徴とする制御方法。

Images