JP2005332880A - 撮像素子および画像入力処理装置 - Google Patents

Abstract

【課題】感度が異なる画素を有する撮像素子では、異なる画素からの信号レベルを揃える演算が必要であり、そのためハード的またはソフト的な負担が大きい。
【解決手段】受光部（たとえばフォトダイオードＰＤ）の感度が異なる高感度画素１１と低感度画素１２を有している。フォトダイオードＰＤから信号の出力端子までの経路途中で蓄積ノードＳＮに接続されているアンプトランジスタ１５の入力段に、フォトダイオードＰＤで発生する電子を一時蓄える蓄積容量Ｃ１（またはＣ２）を備えている。高感度画素の蓄積容量Ｃ１の大きさを低感度画素１２の蓄積容量Ｃ２より大きくし、これによって信号レベルを撮像素子内部で揃えている。
【選択図】図３

Description

本発明は、入射光を受光し光電変換する受光部を画素ごとに有し、光電変換により発生する電荷に基づく信号を増幅して出力する撮像素子と、当該撮像素子を内蔵する画像入力処理装置とに関する。

動画を撮影するビデオカメラ、あるいは、静止画を撮影するスチルカメラなどの画像入力処理装置に内蔵する撮像素子は、ＣＣＤ、ＭＯＳセンサなどであり電子的に画像を撮影することから、一般に、銀塩フィルムなどに撮影する場合に比べると階調表現のダイナミックレンジが狭い。そこで、撮影画像のダイナミックレンジを広げるために、感度が異なる画素を内蔵した撮像素子が知られている（たとえば、特許文献１参照）。

このような撮像素子は、撮像素子の最小単位である画素として、任意の感度の画素と、これよりも相対的に感度の高い（もしくは低い）画素とを交互に配置している。たとえば図２に示す画素構成では、画素１１は相対的に感度が高い高感度画素であり、画素１２は相対的に感度が低い低感度画素である。
ここで画素の感度を異ならせる方法としては、光を受けるフォトダイオードの感度を隣接画素で変える方法、フォトダイオードの受光面あるいはフォトダイオード上の開口部の面積を隣接画素で変える方法、画素上を覆うオンチップカラーフィルタなどのフィルタの透過率を隣接画素で変える方法、あるいは、受光時間を隣接画素で変えて受光する光の積分値を制御する方法などがある。上記特許文献１では、オンチップカラーフィルタ（ＮＤフィルタ）を画素の配列に対しモザイク状に配置することにより、ＮＤフィルタを配置している画素の感度を、ＮＤフィルタを配置していない隣接画素より低下させている。

一般に、暗い画像の場合は感度を高くすると、暗部の階調表現を豊かにし黒つぶれという問題を回避することができる。また、強い光が入力される明るい画像の場合は、入射光量に対する発生電荷量が飽和することから一定以上の光強度部分で画像が白とびする問題があるが、この問題は感度を低くすることにより回避できる。

特許文献１に示す撮像素子のように感度が異なる画素を内蔵した撮像素子１０からは、高感度画素１１からの信号（高感度画素信号）と低感度画素１２からの信号（低感度画素信号）が出力される。撮像素子より後段の画像処理回路において、低感度画素信号を被写体の明るい部分を表現するのに利用し、高感度画素信号を被写体の暗い部分を表現するのに利用する。つまり、撮像素子１０から出力される高感度画素信号と低感度画素信号をデジタル信号に変換（Ａ／Ｄ変換）した後、両信号を画像処理回路が適当な方法でミックスさせることにより、暗い部分から明るい部分までまんべんなく表現する撮影画像を得ている。これにより得られた撮影画像は、上述した黒つぶれや白とびを防止し、かつ、広いダイナミックレンジの画像となる。
特開２００３−３２４６５６号公報

高感度画素と低感度画素とを有する撮像素子に同一の明るさの光が入射した場合、その感度差に起因して、高感度画素と低感度画素のそれぞれが出力する信号量（光電変換後の電子数に相当）は異なったものとなる。
たとえば感度比が低感度画素：高感度画素＝１：２の場合、光電変換により得られる電子数もこの比となり、この電子数の信号をＡ／Ｄ変換した値も、やはりこの比程度となる。つまり、低感度画素信号から得られるデジタル値が「１００」程度であれば、高感度画素信号から得られるデジタル値は「２００」程度となる。
しかし、これらのデジタル値「１００」と「２００」は、実際は同一の入射光から得られたものであり、これらのデジタル値を有する画素信号を後に信号処理する場合は、同じデジタル値の画素信号として扱うためのレベル合わせ用の演算が必要となる。

図１０のブロック図に、撮像素子より後段の処理回路の一般的な構成を示す。
高感度画素１１からの信号（高感度画素信号）と低感度画素１２からの信号（低感度画素信号）を、クロックで制御して撮像素子１０の別々の端子から外部に出力する場合と、クロック数で規定される画素単位ごとに両画素信号を交互に繰り返して同じ端子から出力する場合がある。いずれにしても、撮像素子１０の画素信号の出力端子に対し、Ａ／Ｄ変換回路１１０と、種々のデジタル信号処理の機能を備えた画像処理回路１２０とが直列に接続されている。画像処理回路１２０は、デジタル信号レベルを高感度画素信号と低感度画素信号で合わせる信号レベル調整回路１２１と、他の処理、たとえばホワイトバランス調整、補間処理あるいはγ処理の機能を有する回路部分１２２とを備える。信号レベル調整回路１２１でレベルが揃えられたデジタル信号から後段の処理回路部分１２２でダイナミックレンジが広い画像の生成を行い、ＲＧＢまたはＹＵＶの画像信号として出力する。

前述した特許文献１に示すデジタルスチルカメラでは、図１０の信号レベル調整回路１２１に対応する構成として感度均一化部を備え、そこで各画素信号に所定のゲインを乗算して、全ての画素の撮影時における感度を均一化している。
また、特許文献１には、感度均一化部より後段の欠陥画素補間部により、低感度画素信号でノイズに埋もれている低レベル側を、高感度画素信号を用いて補間し、逆に高感度画素信号で飽和する高レベル側を、低感度画素信号を用いて補間することにより、各画素信号のダイナミックレンジを相互に拡大する方法が開示されている。

本発明が解決しようとする課題は、感度が異なる画素を有する撮像素子を用いることを前提とする画像入力処理装置では、異なる画素からの信号レベルを揃える演算処理を実行する構成、たとえば図１０に示す信号レベル調整回路１２１が必要であり、この演算処理をハード的に処理する場合は回路面積の増大を招き、ソフト的に処理する場合は演算時間の増大を招くことである。

本発明にかかる撮像素子は、入射光を受光し光電変換する受光部を画素ごとに有し、光電変換により発生する電荷に基づく信号を増幅して出力する撮像素子であって、受光部の感度が異なる複数種類の画素を有し、受光部から前記信号の出力端子までの経路に接続されている増幅手段の入力側で電荷を一時蓄える蓄積容量の大きさを、当該蓄積容量に蓄える電荷を生成する受光部の感度ごとに異なる値に設定している。

この撮像素子は、好適に、前記蓄積容量の大きさを、受光部の感度が相対的に高い場合は相対的に大きい値に設定し、受光部の感度が相対的に低い場合は相対的に小さい値に設定している。
さらに好適に、光電変換によって発生する電荷の数あるいは電荷量と前記蓄積容量の大きさとの比が、相対的に感度の高い受光部を有する画素と相対的に感度の低い受光部を有する画素とでほぼ同一となるように、前記蓄積容量の大きさに差を設けている。

本発明にかかる画像入力処理装置は、入射光を受光し光電変換する受光部を画素ごとに有し、光電変換により発生する電荷に基づく信号を出力する撮像素子と、当該撮像素子からの信号を処理する信号処理回路とを備える画像入力処理装置であって、前記撮像素子は受光部の感度が異なる複数種類の画素を有し、前記撮像素子内に、感度が異なる受光部からの電荷に基づく信号のレベルを感度の比率に応じて揃える手段を有し、前記信号処理回路は、信号レベルが揃った複数の信号を前記撮像素子から入力し、内蔵する共通のＡ／Ｄ変換部でデジタル化して所定のデジタル信号処理を施す。

この画像入力処理装置は、好適に、前記画像素子内で、前記受光部から前記信号の出力端子までの経路に接続されている増幅手段の入力側で電荷を一時蓄える蓄積容量を、前記信号レベルを揃える手段として有し、当該蓄積容量の大きさを、当該蓄積容量に一時蓄える電荷を生成する受光部の感度に応じた値に設定している。
この場合、好適に、前記蓄積容量の大きさを、受光部の感度が相対的に高い場合は相対的に大きい値に設定し、受光部の感度が相対的に低い場合は相対的に小さい値に設定している。
さらに好適に、光電変換によって発生する電荷の数あるいは電荷量と前記蓄積容量の大きさとの比が、相対的に感度の高い受光部を有する画素と相対的に感度の低い受光部を有する画素とでほぼ同一となるように、前記蓄積容量の大きさに差を設けている。

以上のように構成する撮像素子および画像入力処理装置において、被写体の撮像時に受光部の感度が異なる複数種類の画素に入射される光は、各画素の受光部で光電変換される。全体の信号の流れを俯瞰すると、光電変換により生じた電荷は感度が異なる画素信号として、それぞれ増幅手段で増幅され、一つのあるいは別々の信号として出力端子から撮像素子の外部に出力される。

より詳細には、撮像素子内で増幅手段の入力側に蓄積容量が設けられている。蓄積容量は送られてくる電荷を一時蓄えた後、増幅手段に送る。本発明では、この蓄積容量の値を、蓄積すべき電荷を生成した受光部の感度ごとに異なる値に設定している。本発明では好適に、蓄積容量の大きさを、受光部の感度が相対的に高い場合は相対的に大きい値に設定し、受光部の感度が相対的に低い場合は相対的に小さい値に設定している。さらに好適に、光電変換によって発生する電荷の数あるいは電荷量と蓄積容量の大きさとの比が、相対的に感度の高い受光部を有する画素と相対的に感度の低い受光部を有する画素とでほぼ同一となるように、前記蓄積容量の大きさに差を設けている。

このため、蓄積容量から増幅手段に送られる電荷数が撮像素子全体で揃えられる。つまり、感度が相対的に低い受光部の画素からの信号を低感度画素信号と称し、感度が相対的に高い受光部の画素からの信号を高感度画素信号と称し、この２つの画素信号を例として比較する場合を例にとると、高感度画素信号と低感度画素信号の信号レベルが撮像素子内で揃えられる。つまり、本発明の撮像素子では信号レベルを揃える機能を撮像素子内に有することになる。
また、本発明の画像入力処理装置では、撮像信号からの感度が異なる画素信号は共通のＡ／Ｄ変換部でデジタル化され、その後段の回路で、信号レベルが既に揃った状態の信号に対し所定の信号処理が実行される。

本発明にかかる撮像素子および画像入力処理装置によれば、受光部の感度が異なる画素からの信号のレベルを撮像素子内で揃えることが可能であるという利点がある。
そのため、撮像素子からの信号を処理する信号処理回路に、信号レベルを揃える手段をハード的またはソフト的に備える必要がない。信号レベルをハード的に揃える必要がないことにより、信号処理回路の規模をそれだけ小さくできるという利点がある。また、信号レベルをソフト的に備える必要がないことにより、信号処理プログラムの規模をそれだけ小さくでき、また信号処理にかかる時間をそれだけ短くできるという利点がある。

［第１の実施の形態］
第１の実施の形態は、ＭＯＳ型の撮像素子（ＭＯＳセンサ）を備える画像入力処理装置に関する。画像入力処理装置としては、動画を撮影するビデオカメラ、静止画を撮影するデジタルスチルカメラのいずれでもよい。

図１に、画像入力処理装置の基本的構成を示す。
画像入力処理装置は、撮像素子１０と光学部品１Ａとを備える撮像部１、撮像素子１０からの信号をデジタル信号に変換するＡ／Ｄ変換部２、Ａ／Ｄ変換後のデジタル信号に各種処理を施す画像処理回路３、および、これらを制御する制御部４を有する。画像処理回路３は各種処理として、たとえばホワイトバランス調整、補間処理、γ処理などを施し、処理後の画像を、たとえばＲＧＢまたはＹＵＶの画像信号として出力する。
なお図示を省略したが、画像入力処理装置は、他の構成として撮影画像をスルーで表示するモニタ、画像処理のための画像メモリ、処理後の画像を保存する記録媒体、電源などを備える。

本実施の形態の撮像素子１０は、詳細は後述するが、各画素からの信号のレベルを揃える機能を有する。そのため図１に示す画像入力処理装置は、図１０に示す構成と比較すると画像処理回路３に信号レベルを調整する機能（図１０に示す信号レベル調整回路１２１）を備えていない。

図２に、本実施の形態における撮像素子（ＭＯＳセンサ）１０の有効画素領域の画素配列構成を示す。図２に示す画素構成では、相対的に感度が高い高感度画素１１と、相対的に感度が低い低感度画素１２とを行単位で配置している。そのため各画素列で、高感度画素１１と低感度画素１２を交互に配置している。
なお画素配列構成は、図２とは逆に、高感度画素１１と低感度画素１２を列単位で配置し、各行で高感度画素１１と低感度画素１２が交互になるようにしてもよい。また、各行および各列で高感度画素１１と低感度画素１２が交互になるモザイク状に配置してもよい。

画素の感度を異ならせる方法としては、前述した種々の方法、すなわち光を受けるフォトダイオードの感度を隣接画素で変える方法、フォトダイオードの受光面あるいはフォトダイオード上の開口部の面積を隣接画素で変える方法、画素上を覆うオンチップカラーフィルタなどのフィルタの透過率を隣接画素で変える方法、あるいは、受光時間を隣接画素で変えて受光する光の積分値を制御する方法などの何れを採用してもよい。

図３に、列方向に隣接する高感度画素１１と低感度画素１２の一構成例（４トランジスタ型）を等価回路により示す。
高感度画素１１と低感度画素１２のそれぞれは、入射光を光電変換するフォトダイオードＰＤ、４つのトランジスタ１３〜１６および１つの蓄積容量Ｃ１（またはＣ２）とを有する。低感度画素１２の蓄積容量Ｃ２と高感度画素１１の蓄積容量Ｃ１は、それぞれの感度に応じて異なる値を有する。

４つのトランジスタは、蓄積ノードＳＮをフローティング状態から電源線１７への接続状態に切り替え、蓄積ノードＳＮに電源電圧を充電して、その蓄積電荷量をリセットするリセットトランジスタ１３と、リセット後に再びフローティング状態となった蓄積ノードＳＮにフォトダイオードＰＤで発生した電荷（通常、電子）を転送する転送トランジスタ１４と、ドレインが電源線１８に接続され、蓄積ノードＳＮに転送した蓄積電荷に応じた画素信号を増幅するアンプトランジスタ１５と、アンプトランジスタ１５と垂直信号線２０との間に接続され、アンプトランジスタ１５により増幅された画素信号の垂直信号線２０への出力を制御するセレクトトランジスタ１６とからなる。

各画素１１，１２において、リセットトランジスタ１３のゲートに、同一行内の画素に共通なリセット制御線２１が接続されている。また、転送トランジスタ１４のゲートに、同一行内の画素に共通な転送制御線２２が接続されている。さらに、セレクトトランジスタ１６のゲートに、同一行内の画素に共通なセレクト制御線２３が接続されている。

とくに図示していないが、これらのリセット制御線２１、転送制御線２２およびセレクト制御線２３、ならびに、電源線１７と１８のそれぞれに各種信号または電圧を供給する垂直駆動回路が画素部の周囲に設けられている。また、垂直信号線２０に読み出された画素信号を、たとえばノイズ除去のために処理して読み出すための画素信号読み出し回路（水平駆動回路）が画素部の周囲に設けられている。さらに、これらの垂直または水平の駆動回路を制御するタイミング制御回路も画素部に設けられ、その制御により画素信号読み出し回路からの信号（撮影画素信号）が、当該撮像素子の出力端子を介して外部に出力される。

図２に示す撮像素子１０は、この撮影画素信号を出力する出力端子１０Ａを備えている。
高感度画素１１からの信号（高感度画素信号）と低感度画素１２からの信号（低感度画素信号）を、タイミング制御回路から出力されるクロックで制御して撮像素子１０の別々の出力端子１０Ａ（この場合、出力端子１０Ａを２つ有する）から外部に出力してもよいし、あるいは、クロック数で規定される画素単位ごとに両画素信号を交互に繰り返して１つの時系列信号にして、１つの出力端子１０Ａから出力してもよい。いずれにしても、本実施の形態では、各画素の受光部から出力端子１０Ａまでの経路に接続されている増幅手段の入力側に蓄積容量を備える。

このことを図３に戻って説明すると、各画素のアンプトランジスタ１５が本発明の「増幅手段」を構成し、その入力（ゲート）側に蓄積容量Ｃ１またはＣ２が接続されている。また、本発明の「受光部」は、フォトダイオードＰＤと、フォトダイオードに光を導く部分、すなわち開口部、フィルタ、あるいはオンチップレンズなどの総称である。高感度画素１１と低感度画素１２では、受光部全体の構成または受光時間の違いによって感度に違いを持たせている。

本実施の形態では、好ましくは、高感度画素１１の蓄積容量Ｃ１の値を、低感度画素１２の蓄積容量Ｃ２の値より大きくしている。さらに好ましくは、蓄積容量Ｃ１とＣ２の各値を、感度に応じた値に設定している。より詳細には、蓄積容量Ｃ１とＣ２の各値を、フォトダイオードＰＤで光電変換により発生した電荷（ここでは電子）の量Ｑにほぼ比例した値に設定している。

電荷量Ｑは受光部の感度に比例し、相対的に、高感度画素１１で生じた電荷量が低感度画素１２で生じた電荷量より大きい。そして、この電荷量Ｑがアンプトランジスタ１５のゲートに接続されている蓄積容量Ｃ１またはＣ２において電圧値に変換され、その変換により生じたアンプトランジスタ１５のゲート電圧が、画素信号として垂直信号線２０に読み出される。本実施の形態では、高感度画素１１からの画素信号（高感度画素信号）と低感度画素１２からの画素信号（低感度画素信号）の電圧レベルを揃えるために、蓄積容量Ｃ１の値を、感度比とほぼ等しい比率で蓄積容量Ｃ２の値より大きくしている。

蓄積容量Ｃ１やＣ２の構造は任意であり、半導体の不純物拡散層あるいは積層型キャパシタなどにより容量差を設けることができる。また、アンプトランジスタ１５のゲート容量を変えてもよいが、その場合、アンプトランジスタ１５の増幅率が高感度画素１１と低感度画素１２で違わないようにすることが前提となる。ここで蓄積容量Ｃ１とＣ２の容量比は、容量差を設けるための不純物拡散層やキャパシタなどの各容量に寄生容量（ゲート容量や配線容量など）を加えた、フローティング状態となったときの蓄積ノードＳＮの全容量の相対的な比率である。

つぎに、この電圧レベルを揃えることを画素信号の読み出し動作において、より具体的に説明する。
最初に高感度画素１１を読み出すとした場合、初期状態ではリセットトランジスタ１３をオン、転送トランジスタ１４をオフさせていることから、蓄積ノードＳＮはハイレベルの電圧（以下、電源電圧Ｖｃｃとする）が印加されている。電源電圧Ｖｃｃの設定が完了するとリセットトランジスタ１３をオフさせて蓄積ノードＳＮをフローティング状態にする。フォトダイオードＰＤが所定の時間だけ受光し、光電変換により画素電荷（負の電荷量Ｑ１）が発生すると、転送トランジスタ１４をオンさせて、画素電荷を蓄積ノードＳＮに転送する。これにより、画素電荷の負の電荷量Ｑ１が蓄積容量Ｃ１に蓄積される。このとき電荷量Ｑ１と蓄積容量Ｃ１の値（以下、この容量値も同じ符号Ｃ１で表記）で決まる電圧Ｖ１（＝Ｑ１／Ｃ１）だけ、蓄積ノードＳＮの電位が低下する。その後、セレクトトランジスタ１６がオンすると、電源電圧Ｖｃｃから低下した電圧差Ｖ１（＝Ｑ１／Ｃ１）がアンプトランジスタ１５により増幅されて、垂直信号線２０の電位変化または電流として現出し、これが高感度画素信号として出力される。

つぎに低感度画素１２を読み出すが、その基本動作は上記高感度画素１１の読み出し時と同じである。ただし、低感度画素１２で生じる負の電荷量をＱ２とし、蓄積容量Ｃ２の値を同じ符号Ｃ２で表記すると、低感度画素１２では、電荷転送時に電源電圧Ｖｃｃから低下する蓄積ノードＳＮの電圧差Ｖ２がＶ２＝Ｑ２／Ｃ２となる。

本実施の形態では、低感度画素１２における電圧差Ｖ２が、前述した高感度画素１１における電圧差Ｖ１とほぼ等しくなるように、感度比（電荷量Ｑ１とＱ２の比）に応じて、蓄積容量値Ｃ１とＣ２の比が規定されている。
ここで説明を簡便にするため、高感度画素１１で発生する電子数（電荷量Ｑ１）は、低感度画素１２で発生する電子数（電荷量Ｑ２）の２倍となるように設計したと仮定する（ただし、この比だけに限定されるものではない）。
この場合、高感度画素１１内の蓄積容量値Ｃ１を、低感度画素１２内の蓄積容量値Ｃ２の２倍とする。これにより、高感度画素１１内における電荷量と蓄積容量値の比（Ｑ１／Ｃ１）と、低感度画素１２内における電荷量と蓄積容量値の比（Ｑ２／Ｃ２）とが等しくなる。その結果、それぞれの画素から出力される高感度画素信号と低感度画素信号の信号レベルが等しくなる。すなわち、受けた光が同じ明るさであれば、高感度画素であろうと低感度画素であろうと画素の出力値は一定となる。

高感度画素信号と低感度画素信号は、図１に示すように撮像素子１０から出力されると、Ａ／Ｄ変換部２でデジタル化され、画像処理回路３で所定の方法によりミックスされ、かつ種々の処理が施される。画像処理回路３からは、ダイナミックレンジが拡大された撮影画像が出力される。

図４と図５は、信号レベル合わせとダイナミックレンジ拡大を、従来と比較して説明するための図である。図４に高感度画素と低感度画素で蓄積容量値を変えていない従来の場合を示し、図５に本実施の形態の場合を示す。図４と図５においては、入射光強度Ｌに対する発生電荷数（電荷量）Ｑを示すグラフと、発生電荷数Ｑに対する出力信号レベルＶ（＝Ｑ／Ｃ）を示すグラフとを、発生電荷数の軸を共通にして重ねている。

図４と図５に示すように、高感度画素１１は相対的に大きな感度を有することから、入射光強度Ｌに対する発生電荷数Ｑの傾きが大きく、ある程度の入射光強度以上で発生電荷数が飽和する。この飽和領域では入射光量を正しくセンシングできず「白とび」が発生し、そのため飽和領域への推移点が入射光強度の上限となる。一方、低感度画素１２は相対的に小さい感度を有することから、入射光強度Ｌに対する発生電荷数Ｑの傾きが小さく、かなり強い入射光でも白とびが発生しない。

なお、とくに図解していないが、高感度画素１１と低感度画素１２のそれぞれで、入射光強度が極めて低い場合は、画素信号がノイズレベルに埋もれることから「黒つぶれ」が発生し、その限界が、それぞれの入射光強度の下限となる。ただし、同じ入射光強度で発生電荷数がより小さい低感度画素信号はノイズに埋もれやすいことから、入射光強度の下限は、高感度画素１１側より低感度画素１２側で大きい値をとる。

図４に示す従来の場合は、発生電荷数（電荷量）Ｑが、一つの共通な蓄積容量（容量値：Ｃ）により出力信号レベルを規定する電圧Ｖに変換される。そのときの変換係数は図４に示す１本の直線３０の傾き、すなわち発生電荷量Ｑを横軸とし出力信号レベルＶを縦軸とした場合の傾き（１／Ｃ）により決定される。
したがって、光強度が比較的低い入射光（暗）を高感度画素１１と低感度画素１２にともに入射した場合、それによって生じる高感度画素信号（暗）と低感度画素信号（暗）との信号レベルは、図解した出力信号レベルＶに応じて異なったものとなる。このことは、光強度が比較的高い入射光（明）を入射した場合も同じであり、常に、高感度画素信号と低感度画素信号に感度比に応じたレベル差が生じる。このため、図１０に示すように、後段の回路に信号レベル調整回路１２１が必須となる。

これに対し、図５に示す本実施の形態の場合、低感度画素用の電荷量と電圧の変換直線３２の傾き（１／Ｃ１）と、高感度画素用の電荷量と電圧の変換直線３１の傾き（１／Ｃ２）とが、感度の違いに合わせて異なっている。
したがって、入射光（暗）であるか入射光（明）であるかにかかわらず、同一強度の光を入射した場合は、常に、それによって生じる高感度画素信号と低感度画素信号とが、ほぼ同一な信号レベルの画素信号となる。このため、図１に示す本実施の形態の構成では、図１０に示す信号レベル調整回路１２１と同じような機能が不要である。
前述したように信号レベル調整の機能は、図１０に示すようにハード的に実現する場合とソフト的に実現する場合がある。信号レベルをハード的に揃える必要がないことにより、信号処理回路３（図１）の規模をそれだけ小さくできるという利点がある。また、信号レベルをソフト的に備える必要がないことにより、たとえば制御部４が実行する信号処理プログラムの規模をそれだけ小さくでき、また信号処理にかかる時間をそれだけ短くできるという利点がある。

図１に示す画像処理回路３では、このようにしてレベルを揃えた隣接画素（高感度画素と低感度画素）の信号を用いて、それぞれのダイナミックレンジの拡大を行う。
ダイナミックレンジの拡大方法は種々あるが、一例を挙げると、相互補間により行う方法がある。この方法では、隣接する高感度画素１１と低感度画素１２に対しほぼ同一の光が入射されると見做されることから、感度飽和やノイズの影響を受けない情報が存在する画素信号を用いた補間処理により、他の画素信号の感度飽和やノイズの影響を受ける部分の情報を生成する。つまり、図５に示すように、高感度画素信号の飽和領域から得られた情報は信頼性が低く使用できないことから、この部分は、低感度画素信号を用いて補間処理により生成する。逆に、低感度画素信号の低信号レベルの情報はＳＮＲが悪く使用できないことから、この部分は、高感度画素信号を用いて補間処理により生成する。なお、通常は補間処理を、隣接する複数の画素信号を用いた補間演算により実行する。
これにより、解像度を実質的に落とすことなくダイナミックレンジの拡大を図り高品質な撮影画像の生成が可能となる。

［第２の実施形態］
図６に、第２の実施の形態にかかる撮像素子の画素構成を等価回路により示す。
図６に示す画素は、図３に示す第１の実施の形態と異なり、蓄積容量値を電気的制御により変更できる。そのための構成として、蓄積ノードＳＮと基準電位（接地電位）との間に複数のキャパシタ、ここでは３つのキャパシタＣ４１、Ｃ４２およびＣ４３を並列接続可能にしている。各キャパシタの容量値は、組み合わせにより得たい蓄積容量の値に応じて任意であるが、ここでは、３つのキャパシタＣ４１、Ｃ４２およびＣ４３の各容量値は同一である（容量値：Ｃ０）と仮定する。また、キャパシタＣ４２と基準電位との間にスイッチとしての容量制御トランジスタ４２を接続し、キャパシタＣ４３と基準電位との間にスイッチとしての容量制御トランジスタ４３を接続している。容量制御トランジスタ４２のゲートに容量制御線４４を接続し、容量制御トランジスタ４３のゲートに容量制御線４５を接続している。２つの容量制御トランジスタ４２と４３は、容量制御線４４と４５に印加される電圧の組み合わせに応じてオンとオフが制御される。
なお、もう一つのキャパシタＣ４１は常時接続となっているが、このキャパシタＣ４１を、他の２つのキャパシタＣ４２とＣ４３と同様に容量制御トランジスタによる接続制御を行う構成としてもよい。その場合、最低の蓄積容量値は３つのキャパシタＣ４１〜Ｃ４３がすべて非接続のときの蓄積ノードＳＮの寄生容量のみとなる。

以上の蓄積容量を変更するための構成以外は、基本的に、図３に示す高感度画素１１や低感度画素１２と同様である。図６において他の構成は、図３と同一符号を付して、その説明を省略する。

図６に示す構成は、受光部の物理的構造（フォトダイオードＰＤのサイズ、フィルタの有無による入射光量規制、オンチップレンズ性能や開口部面積による入射光量の違いなど）により、あるいは、受光時間制御により、感度差を設けることができる。ただし、図６に示す画素４０は蓄積容量を電気的に変化させることができることから、この画素４０に対しては、電気的制御が可能な、受光時間に応じて感度差を持たせる方法の適用が、より望ましい。
これによって、本実施の形態における撮像素子１０は、受光時間を任意の時間で画素ごとに変化させることができる。この機能は、撮影の途中で実効的に感度を変えるタイプの可変ダイナミックレンジのカメラシステムにおいて、とくに有効となる。可変ダイナミックレンジのカメラシステムにおいては、被写体の明暗に応じて感度比を、その都度、最適に制御して被写体に適したダイナミックレンジを選択する機能が要求されることがある。その場合、図６に示す画素４０の搭載によって、そのようなカメラシステムを実現することが動作的に可能となる。

図６に示す画素４０の場合、３つのキャパシタＣ４１〜Ｃ４３が同一の容量値Ｃ０を有することから、寄生容量が十分小さい場合は、蓄積ノードＳＮに接続される蓄積容量値を、容量値Ｃ０の約１倍、約２倍または約３倍の任意の値で、かつ任意のタイミングで切り替えることができる。このことは、１対２、１対３、２対３の感度比を持たせた動作に対応することが可能なことを意味する。さらに、感度比１対１を選択すれば、広ダイナミックレンジ動作ではない、通常動作も可能となる。

このような蓄積容量値の変更を実現するには、容量制御トランジスタ４２と４３のオンとオフを適宜制御すれば良い。感度比が１対２の場合は、感度が低い側の画素では、容量制御トランジスタ４２と４３をともにオフし、感度が高い側の画素では、容量制御トランジスタ４２と４３のどちらかをオンにする。これにより、第１の実施の形態と同様に、光電変換で発生する電荷量（発生電子数）Ｑと蓄積容量Ｃの比がどちらも等しくなり、それぞれの画素信号の電圧レベルもほぼ同一となる。すなわち、受けた光が同じ明るさであれば、高感度画素であろうと低感度画素であろうと画素の出力値は一定となる。

ダイナミックレンジを拡大する方法としては、たとえば第１の実施の形態と同じ方法が採用できる。
また、ダイナミックレンジを可変とする手段としては、図６に示す容量制御線４４と４５、および、受光部の受光時間を制御するタイミング制御回路（不図示）、これに指示を与えるＣＰＵなどを備えている。このタイミング制御回路やＣＰＵが本発明の「制御回路」を構成する。なお、このダイナミックレンジの可変制御を行うＣＰＵは、通常、カメラ（画像入力処理装置）全体の制御をつかさどる制御部４により実現される。

このように第２の実施の形態は、第１の実施の形態と同様な利点に加えて、ダイナミックレンジが可変なカメラに適した画素を提供できるという利点がある。

［第３の実施の形態］
第３の実施の形態は、撮像素子として電荷結合素子（ＣＣＤ）を有する画像入力処理装置に関する。画像入力処理装置の基本構成は図１と同じである。以下、図１において撮像素子（ＭＯＳセンサ）１０と置き換え可能なＣＣＤ５０の構成と、その構成を用いて信号レベルを揃える動作について主に説明する。

図７は、ＣＣＤ５０の基本構成を示すブロック図である。
ＣＣＤ５０は、有効画素領域５０Ｃにマトリクス状に配置されている高感度画素５１と低感度画素５２、有効画素領域５０Ｃの外部に配置され画素信号の水平転送路を形成している第１および第２の水平レジスタ５３と５４、および、有効画素領域５０Ｃ内の各画素列に隣接する位置から第１および第２の水平レジスタ５３と５４まで画素信号の垂直転送路を形成している垂直レジスタ５５を有する。

第１の水平レジスタ５３は高感度画素信号の転送用であり、その出力側端と当該ＣＣＤの出力端子５０Ａとの間にフローティング・ディフュージョン（ＦＤ）アンプ６１が設けられている。第２の水平レジスタ５４は低感度画素信号の転送用であり、その出力側端と当該ＣＣＤの出力端子５０Ｂとの間にＦＤアンプ６２が設けられている。
ＦＤアンプ６１は、さらにＦＤ部６１Ａとアンプ出力段６１Ｂとを備え、同様に、ＦＤアンプ６２はＦＤ部６２Ａとアンプ出力段６２Ｂとを備える。なお、ＦＤアンプには、通常、リセットゲートとリセットドレインを有するが、ここでは図示を省略している。

図８（Ａ）に、第１の水平レジスタ５３の一部の簡略化した断面構成とＦＤアンプ６１の等価回路構成を示す。また、図８（Ｂ）に、第２の水平レジスタ５４の一部の簡略化した断面構成とＦＤアンプ６２の等価回路構成を示す。
第１および第２の水平レジスタ５３と５４において、たとえば、Ｎ形の半導体基板５６に、不図示のＰウェルが形成され、Ｐウェル内にさらにＮ形の領域が順次形成されている。これにより、図８（Ａ）および図８（Ｂ）に示すように、半導体基板５６の表面部に転送チャネル５７が形成される。
転送チャネル５７上に、不図示の絶縁膜を介して所定ピッチの転送電極５８Ａ、５８Ｂおよび５８Ｃが形成されている。転送電極５８Ａ〜５８Ｃは、通常、２層ポリシリコンから形成され端部同士が重なっている。転送電極５８Ａ〜５８Ｃに順次位相が異なるパルス電圧を印加することにより、転送チャネル５７のポテンシャル分布が変化し、これによって転送チャネル５７内の保持電荷が、画素単位で順送りされる。

最後尾の転送電極５８Ｃにより制御される電子に対する電位障壁が下がると、転送チャネル５７内の画素電荷（ここでは電子）が、画素単位で隣接するＦＤ部６１Ａまたは６２Ａに出力され、ここで電荷量が電圧値に変換される。

ＦＤ部６１Ａと６２Ａのそれぞれは、半導体基板５６に形成されている不純物拡散層から構成されている。本実施の形態では、このＦＤ部６１Ａと６２Ａの大きさなどが、転送される電荷を発生した画素の感度に応じて異なっている。
より詳細にＦＤ部６１Ａと６２Ａは、そのサイズやポテンシャルの深さなどが異なっている。このため、高感度画素用の第１の水平レジスタ５３に接続されている図８（Ａ）に示すＦＤ部６１Ａが持つ蓄積容量Ｃ１が、低感度画素用の第２の水平レジスタ５４に接続されている図８（Ｂ）に示すＦＤ部６２Ａが持つ蓄積容量Ｃ２より大きく設定されている。しかも、その蓄積容量の比（Ｃ１／Ｃ２）が感度比、すなわち高感度画素信号の電荷量Ｑ１と低感度画素信号の電荷量Ｑ２との比（Ｑ１／Ｑ２）とほぼ等しくなっている。たとえば、画素の感度比が高感度：低感度＝２：１の場合は、蓄積容量Ｃ１は、蓄積容量Ｃ２の約２倍の値を有する。
なお本実施の形態においても、他の実施の形態と同様に、感度比は２倍に限定されるものではなく任意である。また、画素の感度を調整するための方法は第１の実施の形態で述べた、どの方法を用いても構わない。

高感度用のアンプ出力段６１Ｂは、電源電圧の供給線６３と共通電位、たとえば接地電位との間に直列接続させた出力アンプトランジスタ６４と電流源６５を有する。この基本構成は、低感度用のアンプ出力段６２Ｂにおいても同じである。
高感度用のアンプ出力段６１Ｂの出力アンプトランジスタ６４のゲートをＦＤ部６１Ａに接続し、低感度用のアンプ出力段６２Ｂの出力アンプトランジスタ６４のゲートをＦＤ部６２Ａに接続している。また、高感度用のアンプ出力段６１Ｂの出力アンプトランジスタ６４のソースから高感度画素信号を取り出すこととし、このソースを出力端子５０Ａに接続している。同様に、低感度用のアンプ出力段６１Ｂの出力アンプトランジスタ６４のソースから低感度画素信号を取り出すこととし、このソースを出力端子５０Ｂに接続している。

つぎに、このように構成したＣＣＤの撮像動作を、感度比が２の場合を例として説明する。
図７に示すように垂直方向に隣接する２つの高感度画素５１と低感度画素５２に注目すると、これらの画素には同じ程度の光が入射される。これにより、高感度画素５１の受光部において所定の受光時間あたり電荷量Ｑ１の電子（以下、高感度画素電荷）が発生し、低感度画素５２の受光部において所定の受光時間あたり電荷量Ｑ２（≒Ｑ１／２）の電子（以下、低感度画素電荷）が発生する。これらの画素電荷を内蔵の読み出しゲートにより垂直レジスタ５５に一斉に出力する。
垂直レジスタ５５を、たとえば４相の駆動パルスにより駆動して高感度画素電荷と低感度画素電荷を順次転送し、その後、高感度画素電荷を第１の水平レジスタ５３に出力し、低感度画素電荷を第２の水平レジスタ５４に出力する。

第１および第２の水平レジスタ５３と５４のそれぞれを、たとえば２相の駆動パルスにより駆動する。これにより第１の水平レジスタ５３が高感度画素電荷を順次転送し、第２の水平レジスタ５４が低感度画素電荷を順次転送し、それぞれ最後尾からＦＤ部に画素ごとに転送電荷を出力し、そこで一時蓄積する。つまり、図８（Ａ）に示すＦＤ部６１Ａは高感度画素電荷を蓄積し、その蓄積容量Ｃ１の大きさに応じて、高感度画素電荷を出力アンプトランジスタ６４のゲート電圧に変換する。同様に、図８（Ｂ）に示すＦＤ部６２Ａは低感度画素電荷を蓄積し、その蓄積容量Ｃ２（＝Ｃ１／２）の大きさに応じて、低感度画素電荷を出力アンプトランジスタ６４のゲート電圧に変換する。
このとき出力アンプトランジスタ６４のソースから画素信号（高感度画素信号または低感度画素信号）を出力するが、前述したように２つの蓄積容量の比が感度比にほぼ等しく設定されていることから、高感度画素信号と低感度画素信号の信号レベルが揃う。すなわち、受けた光が同じ明るさであれば、高感度画素であろうと低感度画素であろうと画素の出力値は一定となる。

ダイナミックレンジを拡大する方法としては、たとえば第１の実施の形態と同じ方法が採用できる。
ここまでの説明で明らかなように、出力アンプトランジスタ６４が本発明の「増幅手段」を構成し、その入力側の蓄積容量Ｃ１とＣ２の値が感度に応じて変えてある。したがって、第３の実施の形態は、第１の実施の形態と同様な利点が得られる。

［第４の実施の形態］
第４の実施の形態は、水平レジスタを単一にする第３の実施の形態の変形例である。
図９に、単一の水平レジスタから後段部分の等価回路図を示す。
単一の水平レジスタ５９は、第３の実施の形態における第１および第２の水平レジスタ５３，５４とほぼ同様な構造を有し、転送クロックに制御されて電荷量Ｑ１の高感度画素電荷と電荷量Ｑ２の低感度画素電荷が画素単位で転送チャネル５７を順次転送し、共通のＦＤ部６０に交互に出力する。なお、第３の実施の形態でも同様であるが、ＦＤ部６０で一時蓄積され、電荷量と電圧の変換に寄与した後の画素電荷は不図示のリセットゲートから棄てられる。

共通のＦＤ部６０と、高感度用のアンプ出力段６１Ｂの出力アンプトランジスタ６４のゲートとの間に、第１の経路を選択するための経路制御トランジスタ６６Ａを接続し、かつ、経路制御トランジスタ６６Ａおよび出力アンプトランジスタ６４の接続中点と、接地電位との間に第１のキャパシタ６７Ａ（容量値：ΔＣ１）を接続させている。
同様に、共通のＦＤ部６０と、低感度用のアンプ出力段６２Ｂの出力アンプトランジスタ６４のゲートとの間に、第２の経路を選択するための経路制御トランジスタ６６Ｂを接続し、かつ、経路制御トランジスタ６６Ｂおよび出力アンプトランジスタ６４の接続中点と、接地電位との間に第２のキャパシタ６７Ｂ（容量値：ΔＣ２）を接続させている。

２つの経路制御トランジスタ６６Ａと６６Ｂを、互いに逆位相のパルス信号により制御し、共通のＦＤ部６０に画素単位で電荷が送られるごとに交互にオンとオフが切り替える。
このとき共通のＦＤ部６０の容量値を「Ｃ０」、第１および第２の経路それぞれの寄生容量（トランジスタ寄生容量や配線容量など）を「α」とすると、高感度用の蓄積容量Ｃ１は、第１の経路に接続されているキャパシタ６７Ａの容量ΔＣ１に応じて（Ｃ１＝Ｃ０＋ΔＣ１＋α）で表わすことができる。同様に、低感度用の蓄積容量Ｃ２は、第２の経路に接続されているキャパシタ６７Ｂの容量ΔＣ２に応じて（Ｃ２＝Ｃ０＋ΔＣ２＋α）で表わすことができる。

本実施の形態では、第３の実施の形態と同じように感度比を２とした場合、蓄積容量比（Ｃ１／Ｃ２）も２となるように、容量値ΔＣ１とΔＣ２をそれぞれ規定する。そのため、上述した他の実施の形態と同様、高感度画素信号と低感度画素信号の信号レベルが揃う。すなわち、受けた光が同じ明るさであれば、高感度画素であろうと低感度画素であろうと画素の出力値は一定となる。
ダイナミックレンジを拡大する方法としては第１の実施の形態と同じ方法が採用でき、また、第１の実施の形態と同様な利点が得られる。

以上のように、第１から第４の実施の形態のいずれにおいても、撮像素子１０内の異なる感度を有する場合であっても、受光レベルが同じならば出力の信号レベルを１対１の関係となる。これにより、後段の画像処理回路３において出力信号レベルを調整するための回路や工程が不要となり、画像処理回路３のチップ面積縮小、あるいはプログラムの処理速度向上を達成することができる。
また、信号レベルが撮像素子１０内で既に揃えられ、Ａ／Ｄ変換回路２が高感度画素信号と低感度画素信号で共通に設けられていることから、Ａ／Ｄ時の量子化誤差が両画素信号で等しく、その点で、画像のノイズレベルの均一性が高いという利点もある。

本発明の第１〜第４の実施の形態にかかる画像入力処理装置の基本的構成図である。 第１および第２の実施の形態における撮像素子（ＭＯＳセンサ）の有効画素領域の画素配列構成を示す図である。 第１の実施の形態において、列方向に隣接する高感度画素と低感度画素の一構成例を示す等価回路図である。 比較例として、高感度画素と低感度画素で蓄積容量値を変えていない従来の場合における、同じ強度の入射光において出力信号レベルが異なること説明するための図である。 本発明の実施の形態において、高感度画素と低感度画素で蓄積容量値を変えることにより実現できる出力信号のレベル合わせとダイナミックレンジ拡大を説明するための図である。 第２の実施の形態にかかる撮像素子の画素構成を示す等価回路図である。 第３の実施の形態にかかる撮像素子として、ＣＣＤの基本構成を示すブロック図である。 （Ａ）と（Ｂ）は、それぞれ高感度用と低感度用について、水平レジスタの一部の簡略化した断面構成とＦＤアンプの等価回路構成を示す図である。 第４の実施の形態にかかる撮像素子（ＣＣＤ）において、高感度用と低感度用で共通の水平レジスタから後段部分の等価回路図である。 従来の画像入力処理装置において、撮像素子より後段の処理回路の一般的な構成を示す図である。

符号の説明

１…撮像部、２…Ａ／Ｄ変換部、３…画像処理回路、４…制御部、１０，５０…撮像素子、１０Ａ，１０Ｂ，５０Ａ，５０Ｂ…出力端子、１１，５１…高感度画素、１２，５２…低感度画素、１５…アンプトランジスタ、４２，４３…容量制御トランジスタ、５３…第１の水平レジスタ、５４…第２の水平レジスタ、５５…垂直レジスタ、５９…共通の水平レジスタ、６０，６１Ａ，６２Ａ…ＦＤ部、６４…出力アンプトランジスタ、６６Ａ，６６Ｂ…経路制御トランジスタ、Ｃ０，Ｃ１，Ｃ２…蓄積容量またはその値、６７Ａ，６７Ｂ，Ｃ４１〜Ｃ４３…蓄積容量の一部を構成するキャパシタ、ＰＤ…フォトダイオード、ＳＮ…蓄積ノード、Ｑ…電荷量または発生電荷数

Claims (13)

1. 入射光を受光し光電変換する受光部を画素ごとに有し、光電変換により発生する電荷に基づく信号を増幅して出力する撮像素子であって、
   受光部の感度が異なる複数種類の画素を有し、
   受光部から前記信号の出力端子までの経路に接続されている増幅手段の入力側で電荷を一時蓄える蓄積容量の大きさを、当該蓄積容量に蓄える電荷を生成する受光部の感度ごとに異なる値に設定している
   撮像素子。
2. 前記蓄積容量の大きさを、受光部の感度が相対的に高い場合は相対的に大きい値に設定し、受光部の感度が相対的に低い場合は相対的に小さい値に設定している
   請求項１に記載の撮像素子。
3. 光電変換によって発生する電荷の数あるいは電荷量と前記蓄積容量の大きさとの比が、相対的に感度の高い受光部を有する画素と相対的に感度の低い受光部を有する画素とでほぼ同一となるように、前記蓄積容量の大きさに差を設けている
   請求項２に記載の撮像素子。
4. 前記増幅手段としてのアンプトランジスタを画素ごとに有し、
   各アンプトランジスタの入力側ノードに接続されているキャパシタの容量を、同一画素内の受光部の感度に応じた値に設定している
   請求項１に記載の撮像素子。
5. 画素ごとの前記キャパシタを、前記アンプトランジスタの入力側ノードに並列に接続可能な複数のキャパシタから構成し、
   各キャパシタと前記入力側ノードとの間にそれぞれスイッチを設け、
   当該スイッチの制御により、画素ごとのキャパシタの容量値の変更を可能に構成している
   請求項４に記載の撮像素子。
6. 前記受光部への光の入射時間に応じて前記スイッチを制御し、前記入力側ノードに並列接続させるキャパシタの組み合わせを変更可能な制御回路をさらに有する
   請求項５に記載の撮像素子。
7. 転送する電荷を生成する受光部の感度ごとに設けられている複数の電荷転送路を有し、
   当該電荷転送路ごとに前記増幅素子としての出力アンプを備え、
   各出力アンプの入力側ノードの蓄積容量の大きさを、当該蓄積容量に一時蓄える電荷を生成する受光部の感度に応じた値に設定している
   請求項１に記載の撮像素子。
8. 受光部の感度が異なる画素からの電荷を画素単位で順番に繰り返し転送する電荷転送路と、
   当該電荷転送路の出力端に形成され、異なる感度の受光部からの電荷を別々の出力経路に振り分ける手段とを有し、
   当該出力経路ごとに前記増幅素子としての出力アンプを備え、
   各出力アンプの入力側ノードの蓄積容量の大きさを、当該蓄積容量に一時蓄える電荷を生成する受光部の感度に応じた値に設定している
   請求項１に記載の撮像素子。
9. 入射光を受光し光電変換する受光部を画素ごとに有し、光電変換により発生する電荷に基づく信号を出力する撮像素子と、当該撮像素子からの信号を処理する信号処理回路とを備える画像入力処理装置であって、
   前記撮像素子は受光部の感度が異なる複数種類の画素を有し、
   前記撮像素子内に、感度が異なる受光部からの電荷に基づく信号のレベルを感度の比率に応じて揃える手段を有し、
   前記信号処理回路は、信号レベルが揃った複数の信号を前記撮像素子から入力し、内蔵する共通のＡ／Ｄ変換部でデジタル化して所定のデジタル信号処理を施す
   画像入力処理装置。
10. 前記画像素子内で、前記受光部から前記信号の出力端子までの経路に接続されている増幅手段の入力側で電荷を一時蓄える蓄積容量を、前記信号レベルを揃える手段として有し、
    当該蓄積容量の大きさを、当該蓄積容量に一時蓄える電荷を生成する受光部の感度に応じた値に設定している
    請求項９に記載の画像入力処理装置。
11. 前記蓄積容量の大きさを、受光部の感度が相対的に高い場合は相対的に大きい値に設定し、受光部の感度が相対的に低い場合は相対的に小さい値に設定している
    請求項１０に記載の画像入力処理装置。
12. 光電変換によって発生する電荷の数あるいは電荷量と前記蓄積容量の大きさとの比が、相対的に感度の高い受光部を有する画素と相対的に感度の低い受光部を有する画素とでほぼ同一となるように、前記蓄積容量の大きさに差を設けている
    請求項１１に記載の画像入力処理装置。
13. 前記蓄積容量を、前記増幅手段の入力側ノードに並列に接続可能な複数のキャパシタから構成し、
    各キャパシタと前記入力側ノードとの間にそれぞれ接続されている複数のスイッチと、
    当該スイッチを制御して、入力側ノードに並列接続させるキャパシタの組み合わせを変更可能な制御回路と
    をさらに有する請求項１０に記載の画像入力処理装置。
    

Images