JP2012513160A - 同色の画素のビニングによるｃｃｄイメージセンサ - Google Patents

Abstract

CCDイメージセンサは、行及び列で配列される感光素子、複数の列のうちの対応する１つの複数の感光素子のうちのそれぞれ１つに関連する垂直方向のシフトレジスタをそれぞれ有する複数の垂直方向のCCD、及び複数の垂直方向のCCDのそれぞれに結合される水平方向のCCDを有する。水平方向のCCDは、互いに配置される２つの異なるタイプの水平方向のシフトエレメントを有する。第一のタイプの水平方向のシフトエレメントは、複数の垂直方向のCCDのそれぞれからシフトされた電荷パケットを直接に受ける。第二のタイプの水平方向のシフトエレメントは、複数の垂直方向のCCDの何れからもシフトされた電荷パケットを直接に受けない。この構成は、疎なCFAパターンとBayer CFAパターンの両者について同色の画素のビニングを容易にする。

Description

本発明は、デジタルカメラ及び他のタイプの画像形成装置で使用される電子的イメージセンサに関するものであり、より詳細には、電荷結合素子（CCD: Charge Coupled Device）イメージセンサのための読み取り技術に関する。

典型的な電子的なイメージセンサは、二次元アレイで配列された多数のフォトダイオード又は他の感光性素子を有している。また、これらの素子は、ピクチャエレメント又は「ピクセル」と一般に呼ばれており、対応するアレイは、ピクセルアレイと呼ばれる。

係るイメージセンサがカラー画像を生成するのを可能にするため、イメージセンサは、それぞれの画素からなるアレイにわたり配列されるカラーフィルタアレイ（CFA）のカラーフィルタエレメントにより構成される。１つの一般的に使用されるタイプのCFAパターンは、“Color Imaging Array”と題された米国特許第3971065号に開示されるBayerパターンであり、この米国特許は、引用により本明細書に盛り込まれる。BayerのCFAパターンは、それぞれの画素に、可視スペクトルの３つの指定された部分のうちの１つに対する支配的な感度を示す色の光感応を与える。３つの指定された部分は、たとえば赤、緑及び青、又はシアン、マゼンダ及び黄色である場合がある。所与のCFAパターンは、パターンの基本的なビルディングブロックとしての役割を果たす隣接する画素からなるサブアレイの形式で最小の繰返し単位により一般に特徴付けされる。最小の繰返し単位からなる多数のコピーは、完全なパターンを形成するために並置される。

BayerのCFAパターンをもつイメージセンサを使用して捕捉される画像は、それぞれの画素で唯一の色の値を有する。従って、フルカラー画像を生成するため、それぞれの画素で欠けている色の値は、隣接する画素の色の値から補間される。当該技術分野において、様々な係る補間技術が知られている。たとえば、引用により本明細書に盛り込まれる“Adaptive Color Plane Interpolation in Single Sensor Color Electric Camera”と題された米国特許第5652621号を参照されたい。

引用により本明細書に盛り込まれる“Image Sensor with Improved Light Sensitivity”と題された米国特許出願公開第2007/0024931号は、所定の画素にパンクロ（全整色）の光感応を与えるパターンを含む改善されたCFAパターンを開示している。また、係るパターンは、「疎な“sparse”」CFAパターンと一般に呼ばれる。パンクロの光感応は、カラーの光感応の選択されたセットで表されるスペクトル感度よりも広いスペクトル感度を有し、たとえば、可視スペクトルの実質的に全体にわたり高い感度を有する場合がある。改善されたCFAパターンで構成されるイメージセンサは、より高い光感受性を示し、低いシーン照明、短い露光時間、小さいアパーチャ、又はイメージセンサに到達する光の量に関する他の制約を含む応用において使用するために良好に適している。

CCDイメージセンサでは、フォトダイオード又はピクセルアレイの他の感光素子からの収集された電荷を転送するために垂直及び水平CCDが使用される。所与の画像捕捉期間に１つの感光素子から収集された電荷は、電荷パケットと呼ばれることがある。典型的なCCDイメージセンサの構成は、それぞれの画素の列について個別の垂直CCD（VCCD）と、VCCDの出力に結合される少なくとも１つの水平CCD（HCCD）を含む。それぞれのVCCDは、画素アレイのその対応する列のそれぞれの感光素子に関連されるシフトエレメントを有するシフトレジスタとして構成される。VCCDの出力は、HCCDのそれぞれのシフトエレメントに結合される。このタイプの構成における画素アレイの読み取りは、垂直方向にVCCDを通して、HCCDに電荷パケットをシフトし、次いで、水平方向にHCCDを通して、出力増幅器に電荷パケットをシフトすることを含む。しばしば、CCDイメージセンサにおいてVCCDとHCCDとについて多相CCD構造が使用される。係る構成では、VCCD又はHCCDのシフトエレメントは、係る構造を通して電荷パケットの転送を容易にするため、多数の部分又は「フェーズ」にそれぞれ分離される。

全体の電荷パケットの数を低減するため、同じカラーフィルタエレメントを有する隣接する画素から電荷パケットを結合することが知られている。この「カラービニング“color binning”」により、画像の解像度が低減されるが、画像の読取りが高速になる。カラービニング技術の例は、米国特許出願公開第2005/0243195号、第2005/0280726号、第2006/0044441、第2006/0125943号及び第2007/0139545号に開示されており、これらの全ては、同一出願人によるものであり、引用により本明細書に盛り込まれる。

先の引用文献記載されるカラービニング技術により提供される重要な利点にも係らず、特に疎なCFAパターンを有するCCDイメージセンサのカラービニングの観点で、更なる改善が必要とされている。

本発明の例示的な実施の形態は、VCCD及びHCCD構造を有するCCDイメージセンサを提供するものであり、本CCDイメージセンサは、疎なCFAパターンとBayerのCFAパターンを含む、多種多様なCFAパターンについて同色の画素のビニングを容易にする。

本発明の１態様によれば、CCDイメージセンサは、行及び列に配列されるフォトダイオード又は他の感光素子を有し、VCCDのそれぞれは、対応する１つの列の感光素子のそれぞれ１つに関連される垂直方向のシフトエレメントを有し、HCCDは、VCCDのそれぞれに結合される。HCCDは、互いに分散して配置される２つの異なるタイプの水平方向シフトエレメントを有する。第一のタイプの水平方向シフトエレメントは、VCCDのうちのそれぞれ１つからシフトされた電荷パケットを直接に受ける。第二のタイプの水平方向のシフトエレメントは、VCCDの何れかからもシフトされた電荷パケットを直接に受けない。

先に述べた例示的な実施の形態の所与の１つでは、HCCDにおける水平方向のシフトエレメントの数は、たとえば、VCCDの数よりも少なくとも５０％だけ多い場合がある。

HCCDにおける水平方向のシフトエレメントは、２相又は４相の水平方向のシフトエレメント、単相又は「仮想位相」水平方向のシフトエレメント、或いは他の水平方向CCD構造を有する場合がある。

疎なCFAパターンに従って感光素子が構成される例示的な実施の形態では、VCCDとHCCDは、パンクロの電荷パケットのビニングなしに、同色の電荷パケットのビニングを提供する。より詳細には、パンクロの電荷パケットのビニングなしに、同色の画素のビニングは、VCCDにおける垂直方向のシフト、続いてHCCDにおける水平方向のシフト、続いてVCCDにおける別の垂直方向のシフトを有する読み取りプロセスにより感光素子の行のペアについて提供される。次いで、HCCDの内容が読み出される。この例示的に連動されるシフトプロセスは、画素アレイの更なる行のペアの読み出しについて繰り返される場合がある。

本発明の別の態様によれば、HCCDは、多数の動作モードに再構成可能である場合がある。たとえば、HCCDは、少なくとも第一及び第二の異なる動作モードで動作する場合があり、第一の動作モードでは、HCCDにおける水平方向のシフトエレメントの数は、VCCDの数よりも多く、第二の動作モードでは、HCCDにおける水平方向のシフトエレメントの数は、VCCDの数に等しい。

本発明に係るイメージセンサは、デジタルカメラ又は他のタイプの画像形成装置で実現される。この例示的な実施の形態は、疎なCFAパターンとBayerのCFAパターンの両者について、画素アレイの読み出しにおいて改善された効率を提供するものである。この改善された効率は、２つの個別のHCCDの使用を必要とすることなしに、又は個別のクロッキングによる更なるVCCDの使用を必要とすることなしに、或いは、画素アレイの所定の行から電荷を取り除くことを必要とすることなしに提供される。

本発明の上記目的、特徴及び利点、並びに他の目的、特徴及び利点は、以下の説明及び図面と共に読まれたときに更に明らかとなるであろう。図面では、同じ参照符号は、図面に共通している同じ特徴を示すために可能であれば使用されている。
本発明の例示的な実施の形態に従って構成されるCCDイメージセンサを有するデジタルカメラのブロック図である。 疎なCFAパターンを有する図１のデジタルカメラのCCDイメージセンサの１つの可能な実現の読み取りプロセスを例示する図である。 BayerのCFAパターンを有する図１のデジタルカメラのCCDイメージセンサの別の可能な実現の読み取りプロセスを例示する図である。 図３のCCDイメージセンサの読み取りプロセスを更に例示する図である。

本発明は、デジタルカメラ、イメージセンサ及び関連する読み取りプロセスの特定の実施の形態と共に本明細書で例示される。しかし、これらの例示的な構成は、単なる例示であって、本発明の範囲を限定するものとして解釈されるものではないことを理解されたい。当業者であれば、開示される構成は、多種多様な他のタイプの画像形成装置、イメージセンサ及び関連される読み取りプロセスとの使用のために簡単なやり方で適合することができることを認識されるであろう。

図１は、本発明の例示的な実施の形態におけるデジタルカメラ１００を示す図である。このデジタルカメラでは、対象となるシーンからの画像は、画像形成ステージ１０２に入力される。画像形成ステージは、レンズ、減光フィルタ、アイリス及びシャッターのような従来のエレメントを有する。光は、画像形成ステージ１０２により焦点が合わせられ、イメージセンサ１０４で画像が形成され、このイメージセンサは、入射光を電気信号に変換する。デジタルカメラ１００は、プロセッサ１０６、メモリ１０８、ディスプレイ１１０及び１以上の更なる入力／出力（I/O）エレメント１１２を更に含む。

図１の実施の形態において個別のエレメントとして示されているが、画像形成ステージ１０２は、イメージセンサ１０４、及びおそらくデジタルカメラ１００の１以上の更なるエレメントと共に統合され、小型のカメラモジュールが形成される場合がある。

イメージセンサ１０４は、CCDイメージセンサである。イメージセンサの構造的なコンフィギュレーションの更に詳細な例は、図２及び図３と共に以下で説明される。イメージセンサは、行及び列に配列される複数の画素を有する画素アレイを一般に有しており、画素アレイの読み取りに関連する更なる回路を含む場合がある。この更なる回路は、たとえば画素アレイから読み取られたアナログ信号を処理するアナログシグナルプロセッサ、及び係る信号をデジタル形式に変換するアナログ−デジタル変換器を含む場合がある。デジタルカメラ１００で使用するのに適したこれらの回路及び他のタイプの回路は、当業者に知られており、本実施の形態では詳細に記載されない。読み取り回路の一部は、イメージプロセッサの外部に配置されるか、たとえば感光素子及び画素アレイの他の素子と共に共通の集積回路上に、画素アレイと統合して形成される場合がある。

イメージプロセッサ１０４は、関連するCFAパターンを有するカラーイメージセンサとして典型的に実現される。イメージセンサ１０４と共に使用されるCFAパターンの例は、先に引用された米国特許出願公開第2007/0024931号に記載されるものを含むが、他のCFAパターンが本発明の他の実施の形態において使用される場合もある。別の例として、先に引用された米国特許第3971065号に記載される従来のBayerパターンが使用される場合がある。

プロセッサ１０６は、たとえばマイクロプロセッサ、中央処理装置（CPU）、特定用途向け集積回路（ASIC）、デジタルシグナルプロセッサ（DSP）、又は他の処理装置、或いは多数の係る装置の組み合わせを有する場合がある。画像形成ステージ１０２及びイメージセンサ１０４の様々なエレメントは、タイミング信号、又はプロセッサ１０６から供給される他の信号により制御される。

メモリ１０８は、たとえばランダムアクセスメモリ（RAM）、リードオンリメモリ（ROM）、フラッシュメモリ、ディスクに基づくメモリ、取り外し可能なメモリ、又は他のタイプのメモリ素子、或いはそれらの組み合わせのような任意のタイプのメモリを有する場合がある。

画素アレイの読み取り及び対応するイメージデータの処理に関連する機能は、メモリ１０８に記憶され、プロセッサ１０６により実行されるソフトウェアの形式で少なくとも実現される場合がある。

イメージセンサ１０４により捕捉される所与の画像は、プロセッサ１０６によりメモリ１０８に記憶され、ディスプレイ１１０に表示される。ディスプレイ１１０は、典型的にアクティブマトリクス型液晶ディスプレイ（LCD）であるが、他のタイプのディスプレイが使用される場合がある。更なるI/Oエレメント１１２は、たとえば様々なオンスクリーンコントロール、ボタン又は他のユーザインタフェース、ネットワークインタフェース、メモリカードインタフェース等を含む。

図１に示されるタイプのデジタルカメラの動作に関する更なる詳細は、たとえば先に引用された米国特許出願公開第2007/0024931に記載される。

図１に示されるデジタルカメラは、当業者にとって知られたタイプの更なるエレメント又は代替的なエレメントを含む場合があることを理解されたい。本実施の形態で特に図示又は記載されないエレメントは、当該技術分野で知られるものから選択される場合がある。先に述べたように、本発明は、多種多様な他のタイプのデジタルカメラ又は画像形成装置で実現される場合がある。また、先に述べたように、本明細書で記載される実施の形態の所定の態様は、画像形成装置の１以上の処理エレメントにより実行されるソフトウェアの形式で少なくとも部分的に実現される場合がある。係るソフトウェアは、当業者により理解されるように、本実施の形態で提供される教示が与えられると簡単なやり方で実現される場合がある。

先に示されたように、図２及び図３は、CCDイメージセンサ１０４の例示的な実現を示す。なお、これらの図は、本発明の様々な態様を明らかに例示するために簡略化されており、必ずしもスケーリングするように描かれていない。たとえば、これらの図は比較的少数の画素を示しているのに対して、実際には、所与のイメージセンサは、非常に多くの画素数を典型的に含んでいる。所与の実施の形態は、明示的に示されていないが、記載される一般的なタイプのイメージセンサに共通に関連されるものとして当業者に精通した様々な他の特徴又はエレメントを含む場合がある。図２及び図３に示されるイメージセンサ２００又は３００の何れかは、図１のデジタルカメラ１００におけるイメージセンサ１０４として、明示的に示されていない更なる回路又は他のエレメントと共に使用される場合がある。

図２を参照して、イメージセンサ２００が示されている。この図は、イメージセンサ２００の一般的な構造を示す上面図、及び例示的な読出しプロセスのそれぞれのステップでイメージセンサ２００の状態を示す９つの更なる図の系列を含む。これらのステップは、STEP1からSTEP9でラベル付けされている。イメージセンサの構造は、この図の上面図を参照してはじめに記載され、続いて読み取りプロセスが記載される。

イメージセンサ２００は、行及び列で配列される複数の感光素子２０２を有する画素アレイを含む。感光素子２０２は、たとえばフォトダイオード又はフォトキャパシタを含む。イメージセンサは、複数の垂直方向CCD（VCCD）２０４及び水平方向CCD（HCCD）２０６を更に含む。それぞれのCCD２０４は、画素アレイの対応する列２１０においてシフトレジスタとして実現される。画素アレイの所与の列２１０は、感光素子２０２からなる列２１２、及びその列の感光素子２０２のそれぞれの感光素子に関連付けされた垂直方向のシフトエレメント２１４を有する対応するVCCD２０４を含む。垂直方向のシフトエレメントは、それぞれの感光素子に統合されるか、結合されるか、さもなければ関連付けされる場合がある。たとえば、所与のVCCDは、知られているように、光感知及び電荷転送機能を結合する。従って、感光素子は、VCCDの垂直方向のシフトエレメントと統合して実現される場合がある。様々な代替となる構成が可能である。

本実施の形態では、VCCD２０４のそれぞれの個々の垂直方向のシフトエレメント２１４は、個々の電荷パケットを保持及び転送し、特定の垂直方向のシフトエレメントの上及び下にある垂直方向のシフトエレメントにおける電荷パケットとは異なって保持する。特定の垂直方向のシフトエレメントは、当業者にとって知られた様々なやり方で構築される場合がある。これらは、２相又は４相CCD、単相又は「仮想位相」CCD、又はCCD構造を含む。図２におけるSTEP1からSTEP9により例示される例示的な読み取りプロセスでは、ある垂直方向のシフトエレメントから別の垂直方向のシフトエレメントに電荷パケットを移動させることに係る個々の位相の遷移は、明示的に示されていない。これは、これらの位相の遷移は、垂直方向のシフトエレメントについて選択された特定の構造に依存するからである。当業者であれば、先に述べた例示的なCCD構造に関連する位相の遷移に精通しているであろう。

それぞれのVCCD２０４は、そのVCCD２０４の他の垂直方向のシフトエレメント２１４とHCCD２０６との間に位置される更なる垂直方向のシフトエレメント２１６を更に含む。この更なる垂直方向のシフトエレメント２１６は、感光素子２０２のうちの特定の１つと関連付けされないが、代わりに、VCCD２０４とHCCD２０６との間の遷移を容易にする。図２において１つの垂直方向のシフトエレメントとして示されているが、それぞれの更なる垂直方向のシフトエレメント２１６は、多数の垂直方向のシフトエレメントを有する場合がある。代替的に、更なる垂直方向のシフトエレメント２１６が全て除かれる場合があり、それぞれのVCCDの下の垂直方向のシフトエレメント２１４は、HCCD２０６に直接に接続される。

図２におけるSTEP1〜STEP9により示される例示的な読み取りプロセスでは、更なる垂直方向のシフトエレメント２１６を通して電荷パケットを移動させるために必要とされる更なる垂直方向のシフトは、読み取りプロセスの説明を簡略化するために示されていない。しかしながら、当業者であれば、電荷パケットがHCCD２０６に到達する前に、更なる垂直方向のシフトエレメントの特定の実現に依存して、更なる垂直方向のシフトエレメント２１６を通して電荷パケットを垂直方向に移動させるために１以上の更なる垂直方向のシフトが必要とされることを認識されるであろう。

HCCD２０６は、互いに分散して配置される２つの異なるタイプの水平方向のシフトエレメントを含む。第一のタイプの水平方向のシフトエレメント２２０は、VCCD２０４のうちのそれぞれのVCCDに直接に結合される一方で、第二のタイプの水平方向のシフトエレメント２２２は、VCCDの何れにも直接に結合されていない。ここで、「VCCDに直接に結合される」とは、そのVCCDから直接にシフトされた電荷パケットを受けるように構成されることを意味する。第一のタイプの水平方向のシフトエレメント２２０は、VCCDのうちのそれぞれのVCCDからシフトされた電荷パケットを直接に受けるように構成されている。第二のタイプの水平方向のシフトエレメント２２２は、VCCDのうちの何れかからシフトされた電荷パケットを直接に受けるように構成されていない。第一のタイプの水平方向のシフトエレメント２２０と第二のタイプの水平方向のシフトエレメント２２の両者は、何れかのタイプの別の水平方向のシフトエレメントからシフトされた電荷パケットを直接に受けるように構成されており、これにより、HCCD２０６の水平方向のシフトエレメントを通して電荷パケットの水平方向のシフトを順次に行うことを可能にする。

HCCD２０６における水平方向のシフトエレメント２２０及び２２２の数は、VCCD２０４の数よりも多いことが分かる。より詳細には、イメージセンサ２００において４つのVCCD２０４が存在し、それぞれ画素アレイの画素の４つの列にそれぞれに対応する。HCCD２０６は、第一のタイプの水平方向のシフトエレメント２２０と２つの第二のタイプの水平方向のシフトエレメント２２２からなる２つのペアを含む、６つの水平方向のシフトエレメントを含んでおり、第二のタイプの水平方向のシフトエレメントの個々のシフトエレメントは、第一のタイプの水平方向のペアの間に配置される。図２における例示的なアレイの小さいサイズのため、第一のタイプの水平方向のシフトエレメントの２つのペアの間に配置される１つの第二のタイプの水平方向のシフトエレメントが存在しており、残りの第二のタイプの水平方向のシフトエレメントは、HCCDの左端に位置される。しかし、第一のタイプの水平方向のシフトエレメントの２つのペア間に配置される１つの第二のタイプの水平方向のシフトエレメントのこのパターンは、更に大型の画素のアレイを収容するためにスケーリングできることが容易に認識される。

従って、HCCD２０６は、VCCD２０４が存在するよりも多くの水平方向のシフトエレメントを含む。特に、図２では、HCCD２０６は、VCCD２０４が存在するよりも５０％だけ多くの水平方向のシフトエレメントを含む。第一のタイプの水平方向のシフトエレメント２２０のみが、VCCDのうちのそれぞれのVCCDに直接に結合される。このHCCD２０６の例示的な構成は、以下に更に詳細に記載されるように、イメージセンサ２００の画素アレイから読み取りを行うときに、同色の画素のビニングを容易にする。

本実施の形態は、VCCDが存在するよりも５０％だけ多くの水平方向のシフトエレメントを有するHCCDにより構成されるが、他の実施の形態は、多かれ少なかれ水平方向のシフトエレメントを有することができる。一般に、本発明の所与の実施の形態は、VCCDが存在するよりも多くの水平方向のシフトエレメントを有するHCCDを有する。

HCCD２０６のそれぞれ個々の水平方向のシフトエレメント２２０又は２２２は、個々の電荷パケットを保持及び転送し、その電荷パケットを、特定の水平方向シフトエレメントの左又は右にある水平方向のシフトエレメントにおける電荷パケットとは別に保持する。垂直方向のシフトエレメントと同様に、特定の水平方向のシフトエレメントは、２相又は４相CCD、単相又は「仮想位相」CCD、或いは他の公知のCCD構造を使用して構成される場合がある。さらに、HCCD２０６の水平方向シフトエレメント２２０及び２２２について、VCCD２０４の垂直方向シフトエレメント２１４又は２１６を構成するために使用される同じタイプのCCD構造を使用して構成されることは必要ではない。図２におけるSTEP1〜STEP9により示される例示的な読み取りプロセスでは、ある水平方向のシフトエレメントから別の水平方向のシフトエレメントへの電荷パケットの移動に関与する個々の位相の遷移は、明示的に示されていない。これは、これらの位相の遷移が水平方向のシフトエレメントについて選択された特定の構造に依存するからである。

図２の実施の形態では、２つの第一のタイプの水平方向のシフトエレメント２２０の間に配置される１つの第二のタイプの水平方向のシフトエレメント２２２が存在するように、第一のタイプ及び第二のタイプの水平方向のシフトエレメントが互いに配置される。代替的な実施の形態において、他のタイプの係るエレメントの配置が可能である。たとえば、２以上の第二のタイプの水平方向のシフトエレメントは、２つの第一のタイプの水平方向のシフトエレメントの間に互いにグループ化される。

また、VCCD２０４とHCCD２０６は共通の集積回路上に画素アレイと共に集積されるか、画素アレイとは別に読み取り回路において少なくとも部分的に実現される場合がある。先に示されたように、係るエレメントを構築する様々な従来のアレンジメントが当業者に知られており、従って本実施の形態では詳細に記載されない。

イメージセンサ２００は、例示的な疎なCFAパターンを利用する。画素アレイの感光素子２０２のそれぞれは、疎なCFAパターンに従って、赤（R）、青（B）、緑（G）又はパンクロ（P）である場合がある、その対応する色のインジケータでラベル付けされる。本実施の形態で使用される特定の疎なCFAパターンは、先に引用された米国特許出願公開第2007/0024931に開示されるタイプのパンクロ・チェッカーボードのパターンであるが、様々な他のCFAパターンが使用される場合がある。このパンクロのチェッカーボードのパターンの最小の繰返し単位は、以下のように配置される１６の連続する画素を含む。

ここでPはパンクロ画素のうちの１つを表し、X，Y及びZは、それぞれのカラー画素を表す。この特定の実施の形態では、X，Y及びZは、それぞれ赤、緑及び青である。代替的に、X，Y及びZは、赤、緑及び青と異なるやり方で個々に選択されるか、又はシアン、マゼンダ及び黄色のような色の別のセットから個々に選択される場合がある。先に引用された米国特許出願公開第2007/0024931号に記載される少なくとも１２の画素からなる最小の繰返し単位のような、他の最小の繰返し単位を持つパターンが使用される場合がある。

図２に示される画素アレイの上側の２行は、赤／緑の行のペアと呼ばれ、画素アレイの下側の２行は、青／緑の行のペアと呼ばれる。図２におけるSTEP1からSTEP9でラベル付けされる９つの図のシーケンスは、VCCD２０４及びHCCD２０６を使用して画素アレイの青／緑及び赤／緑の行のペアの読み取りの例示的なプロセスを示す。この読み取りプロセスは、以下に記載されるように、同じ色の画素のビニングを一般に提供するものであり、パンクロ画素（panchromatic pixel）のビニングを提供しない。

読み取りプロセスのSTEP1の前に、イメージセンサ２００の入力する光は、感光素子２０２で統合され、それぞれの電荷パケットが形成される。本明細書で先に示したように、所与の画像の捕捉期間についてある感光素子から収集された電荷は、電荷パケットと呼ばれる。所与の係る電荷パケットは、カラー又はパンクロを生成する画素のタイプに依存して、カラー又はパンクロと更に詳細には呼ばれる。

STEP1では、電荷パケットは、感光素子２０２からVCCD２０４のそれぞれの垂直方向のシフトエレメント２１４に転送される。

STEP2からSTEP5は、パンクロ画素のビニングなしに、同色の画素のビニングを達成するやり方でVCCD２０４及びHCCD２０６における電荷パケットの調整された垂直方向及び水平方向のシフトを含む。より詳細には、STEP2は、VCCD２０４における電荷パケットの垂直の下方向のシフトを提供し、電荷パケットの下側の行をVCCDからHCCD２０６の第一のタイプの水平方向のシフトエレメント２２０にシフトする。これに、STEP3に示されるHCCD２０６における電荷パケットの左方向のシフトが続く。STEP4に示される、VCCD２０４における電荷パケットの別の垂直方向の下方向のシフトは、電荷パケットの次の行をVCCDからHCCD２０６にシフトする。最後に、HCCD２０６における電荷パケットは、STEP５で読み出される。

STEP6からSTEP9は、STEP2からSTEP5に一般に対応しており、同様のやり方でアレイの赤／緑の行のペアの読み出しが進められるのを可能にする。任意の垂直方向の高さのアレイから読み出す順序でSTEP2からSTEP5を繰り返すことができることが容易に分かる。

先に述べたように、図２の実施の形態では、パンクロ画素のビニングなしに、それぞれの行のペアにおける２つの同色の画素に対してビニングが行われる。たとえば、青／緑の行のペアで生成された２つの青の電荷パケットがHCCDで結合され、青／緑の行のペアで生成された２つの緑の電荷パケットがHCCDで結合される。従って、６つの電荷パケットのみが行のペアの８つの画素についてHCCDから読み出され、フレームレートが３３％増加する。さらに、パンクロ画素をビニングすることなしに、同色画素をビニングすることで、カラー画素とパンクロ画素との間の近似的な写真スピードの整合が達成される。

本明細書における図２及び他の図面は、画素のビニングを示すためにプライム記号を使用している。従って、たとえばGは、ビニングされていない緑の画素を示し、G’は、互いにビニングされた２つのG画素を示し、G’’は、互いにビニングされた３つのG画素を示し、G’’’は、互いにビニングされた４つのG画素を示す。B及びR画素について、同様のビニングの表記が使用される。

本発明の教示は、BayerのCFAパターンを含めて多種多様なCFAパターンに適用可能であることを先に述べた。本発明の１つの可能性のある代替的な実施の形態は、図３に示されるBayerのCFAパターンを使用するイメージセンサ３００を含む。この公知のCFAパターンにおける最小の繰返し単位は、１つの赤、２つの緑及び１つの青といった４つの連続する画素を含む。図２と同様に、図３は、イメージセンサの一般的な構造を示す上面図、及び例示的な読出しプロセスのそれぞれのステップでのイメージセンサの状態を示す９つの更なる図のシーケンスを含む。これらのステップは、STEP1からSTEP9でラベル付けされている。イメージセンサの構造は、図における上面図を参照してはじめに記載され、次いで読み取りプロセスが記載される。

イメージセンサ３００は、行及び列に配列される複数の感光素子３０２を有する画素アレイを含む。イメージセンサは、複数のVCCD３０４とHCCD３０６を更に含む。それぞれのVCCD３０４は、画素アレイの対応する列３１０において実現される。画素アレイの所与の列３１０は、感光素子３０２の列３１２、及び感光素子３０２のうちのそれぞれの感光素子に関連される垂直方向のシフトエレメント３１４を含む。図２の実施の形態におけるように、それぞれのVCCD304は、感光素子のうちの特定の１つに関連されない更なる垂直方向のシフトエレメント３１６を更に含む。図２における垂直方向のシフトエレメント２１４及び更なる垂直方向のシフトエレメント２１６の機能及び構成に関する先の記載は、図３における垂直方向のシフトエレメント３１４及び更なる垂直方向のシフトエレメント３１６にも同様に適用される。

図２の実施の形態におけるHCCD２０６と同様に、図３におけるイメージセンサ３００のHCCD３０６は、互いに分散して配置される２つの異なるタイプの水平方向のシフトエレメントを含む。第一のタイプの水平方向のシフトエレメント３２０は、VCCD３０４のうちのそれぞれ１つに直接に結合されるが、第二のタイプの水平方向のシフトエレメント３２２は、VCCDのうちの何れとも直接に結合されない。従って、HCCD３０６における水平方向のシフトエレメント３２０及び３２２の数は、VCCD３０４の数よりも多い。

より詳細には、イメージセンサ３００には４つのVCCD３０４が存在し、それぞれ画素アレイの画素の４つの列のそれぞれに対応する。VCCD３０４のそれぞれは、それぞれが感光素子３０２のそれぞれに対応する４つの垂直方向のシフトエレメント３１４に加え、先に述べたような更なる垂直方向のシフトエレメント３１６を含む。HCCD３０６は、６つの水平方向のシフトエレメント３２０に加え、HCCD３０６の右端に位置される更なる水平方向のシフトエレメント３２２を含む。この更なる水平方向のシフトエレメントの関連性は、以下に記載される。従って、HCCD３０６は、VCCD３０４が存在するよりも５０％だけ多くの水平方向のシフトエレメントを含む。図２の実施の形態に置けるように、この例示的なHCCD構成は、以下に更に詳細に記載されるように、イメージセンサ３００の画素アレイから読み出すときに、同色の画素のビニングを容易にする。他の実施の形態は、VCCDの数よりも多い水平方向のシフトエレメントの他の数を有するようにHCCDを構成する場合がある。

イメージセンサ３００のHCCD３０６は、双方向性のHCCD、すなわち左及び右で示される２つの方向で水平にシフト可能なHCCDであることが想定される。これは、１つのみの方向で水平方向にシフトすることが必要とされる図２のHCCD２０６とは対照的である。HCCD３０６は双方向HCCDであるので、先に述べた更なる第二のタイプの水平方向のシフトエレメント３２２は、HCCDにおける電荷パケットの右方向のシフトの後に、HCCDの右端で電荷パケットを保持することが要求される。

図３における図のシーケンスは、VCCD３０４及びHCCD３０６を使用して全体の画素アレイの読み取りの例示的なプロセスを示す。先に述べたように、イメージセンサ３００は、時間的に９つの異なるポイントで示されており、STEP1からSTEP9でラベル付けされ、それぞれ異なる読み取りプロセスのステップに対応する。この読み取りプロセスは、記載されるように、４つの緑の画素からなるセットのビニング、２つの赤の画素からなるセットのビニング、及び２つの青の画素からなるセットのビニングを一般的に提供する。

読み取りプロセスのSTEP1では、感光素子３０２で生成される電荷パケットは、VCCD３０４のそれぞれの垂直方向のシフトエレメント３１４に転送される。これは、図示されるように、VCCDへの電荷パケットの水平方向のシフトを含む。

STEP2からSTEP8は、同色の画素の先に述べたビニングを達成するやり方でVCCD３０４及びHCCD306における電荷パケットの水平方向及び垂直方向のシフトを調整することを一般に含む。

更に詳細には、STEP2において、電荷パケットはHCCD３０６に垂直方向にシフトされ、続いてSTEP3において左シフトが行われる。次いで、STEP4において、電荷パケットのHCCDへの別の垂直方向のシフトが行われる。これに続いて、STEPにおいて、HCCDへの電荷パケットの別の垂直方向のシフトが行われ、次いで、STEP7において、HCCDの左シフトが行われる。STEP8において、電荷パケットのHCCDへの第四の垂直方向のシフトが行われる。最後に、STEP9において、HCCDにおける電荷パケットが読み出される。

先に述べたように、図３の実施の形態では、４つの緑の画素からなるセットがビニングされ、２つの赤の画素からなるセットがビニングされ、２つの青の画素からなるセットがビニングされる。図示される完全なアレイは、８つの緑の画素、４つの青の画素及び４つの赤の画素を含む。ビニングプロセスを通して、STEP9に示されるように、１６のオリジナルの電荷パケットは、６つの電荷パケットに低減される。このように、画素アレイの１６の画素について、６つのみの電荷パケットがHCCDから読み出され、フレームレートが１６７％に増加される。

図４は、大型の画素アレイ４００に適用される図３の実施の形態の読み取りプロセスを例示する。この図の右側に示される画素アレイ４００は、図３に示される１６画素の構成をそれぞれ有する４つのサブアレイを有する。アレイ４００における様々な画素を接続する線は、読み取りプロセスにおいて互いにビニングされる画素を例示する。この図の左側は、ビニング後に結果として得られる電荷パケットを表しているものと見る事ができ、このビニングは、先に示されたように、１６の画素からなるそれぞれのサブアレイについて全体で６つの電荷パケットを含んでいる。

図３の実施の形態に置けるような双方向HCCDの使用は、色の分離を保持し且つHCCDに対する増加される電荷容量の要件を制限しつつ、非常に柔軟な垂直方向のビニングの構成を提供する。

この双方向HCCDの構成は、様々な更なる又は代替的なBayerビニングモードを可能にする。たとえば３つの緑の画素をジグザグの方式でビニングし、２つの赤の画素又は２つの青の画素をビニングし、残りの色はビニングされない。これは、たとえば拡張されたダイナミックレンジを提供するためにビニングされた色及びビニングされない色が互いに使用されない実施の形態に有効である。

図２及び図３の例示的な実施の形態では、従来の構成の問題を回避しつつ、同色の画素の改善されたビニングを提供する。たとえば、所定の従来のカラービニング技術は、２つの個別のHCCDの使用、又は個別のクロッキングによる更なるVCCDの使用、画素アレイの所定の行からの電荷の除去を含む場合がある。２つの個別のHCCD又は個別のクロッキングによる更なるVCCDの使用は、イメージセンサの動作を複雑にし、更なるクロック信号及び費用を必要とする。電荷を除去することは、イメージセンサの感度を低減し、エリアシングのエラーを形成する可能性がある。例示される実施の形態は、VCCDの数よりも多い水平方向のシフトエレメントの数をもつ１つのHCCDを構成し、上述された読み取りプロセスにおける調整された垂直及び水平方向のシフトを提供することで、これらの問題を回避するものである。

本発明の代替的な実施の形態は、少なくとも第一及び第二の動作モードにおいてHCCDが動作するように構成する場合がある。たとえば、第一の動作モードでは、HCCDは、HCCDにおける水平方向のシフトレジスタの数は、図２及び図３の実施の形態に置けるように、VCCDの数よりも多いように構成される場合がある。しかし、HCCDは、HCCDにおける水平方向のシフトエレメントの数はVCCDの数と実質的に同じであるように第二の動作モードに再構成可能である。係る再構成は、たとえばHCCDの位相クロッキングの操作により提供される場合がある。

本発明は、本発明の所定の例示的な実施の形態を参照して詳細に説明されたが、特許請求の範囲で記載されるように変更及び変形が本発明の範囲で実施することができることを理解されたい。たとえば、本発明は、代替的なVCCD及びHCCD構造を使用して、他のタイプのイメージセンサ及びデジタル画像形成装置で実現することができる。使用される特定のVCCD及びHCCD構造は、単相構造、又は２相、擬似２相又は他のタイプの多相構造、或いはこれらの任意の組み合わせを含む場合がある。第一のタイプの水平方向のシフトエレメント及び第二のタイプの水平方向のシフトエレメントが互いに配置される特定の方式を変えることができる。更に、使用される特定のタイプのCFAパターンのような特徴、画素アレイの構成及び読み取りプロセスのシーケンスは、他の画像捕捉装置及び動作モードの必要を収容するために、他の実施の形態において変更される場合がある。また、例示的な実施の形態が画素アレイのプログレッシブスキャニングについて構成されるが、これらの構成は、画素アレイのインタレーススキャニングを実現するために簡単なやり方で適合される場合がある。たとえば、HCCDの水平方向のシフトエレメントの数とVCCDの数との間の特定の関係は、これら代替的な実施の形態及び他の代替的な実施の形態は、当業者にとって明らかであろう。

１００：デジタルカメラ
１０２：画像形成ステージ
１０４：イメージセンサ
１０６：プロセッサ
１０８：メモリ
１１０：ディスプレイ
１１２：入力／出力（I/O）エレメント
２００：イメージセンサ
２０２：感光素子
２０４：垂直方向CCD（VCCD）
２０６：水平方向CCD（HCCD）
２１０：画素アレイの列
２１２：感光素子の列
２１４：垂直方向のシフトエレメント
２１６：更なる垂直方向のシフトエレメント
２２０：第一のタイプの水平方向のシフトエレメント
２２２：第二のタイプの水平方向のシフトエレメント
３００：イメージセンサ
３０２：感光素子
３０４：VCCD
３０６：HCCD
３１０：感光素子の列
３１４：垂直方向のシフトエレメント
３１６：更なる垂直方向のシフトエレメント
３２０：第一のタイプの水平方向のシフトエレメント
３２２：第二のタイプの水平方向のシフトエレメント
４００：画素アレイ

Claims (20)

1. 電荷結合素子（CCD）イメージセンサであって、
   行及び列に配置される複数の感光素子と、
   前記列のうちの対応する１つの列の感光素子のうちのそれぞれ１つと関連付けされる垂直方向のシフトエレメントをそれぞれ有する複数の垂直方向のCCDと、
   前記複数の垂直方向のCCDのそれぞれに結合される水平方向のCCDとを備え、
   前記水平方向のCCDは、互いに配置される２つの異なるタイプの水平方向のシフトエレメントを有し、第一のタイプの前記水平方向のシフトエレメントは、前記複数の垂直方向のCCDのそれぞれ１つから、シフトされた電荷パケットを直接に受け、第二のタイプの前記水平方向のシフトエレメントは、前記複数の垂直方向のCCDの何れからも、シフトされた電荷パケットを直接に受けない、
   ことを特徴とするCCDイメージセンサ。
2. 前記水平方向のCCDにおける水平方向のシフトエレメントの数は、前記複数の垂直方向のCCDの数よりも少なくとも５０％多い、
   請求項１記載のCCDイメージセンサ。
3. 前記水平方向のシフトエレメントは、２相垂直方向のシフトエレメントを有する、
   請求項１記載のCCDイメージセンサ。
4. 前記水平方向のCCDは、少なくとも第一の動作モードと第二の動作モードにおいて動作し、前記第一の動作モードにおいて、前記水平方向のCCDにおける水平方向のシフトエレメントの数は、前記複数の垂直方向のCCDの数よりも多く、前記第二の動作モードにおいて、前記水平方向のCCDにおける水平方向のシフトエレメントの数は、前記複数の垂直方向のCCDの数に等しい、
   請求項１記載のCCDイメージセンサ。
5. 前記複数の感光素子は、疎なカラーフィルタアレイのパターンに従って構成される、
   請求項１乃至４の何れか記載のCCDイメージセンサ。
6. 前記垂直方向のCCDは、全整色の電荷パケットをビニングすることなしに、同色の電荷パケットのビニングを行う、
   請求項５記載のCCDイメージセンサ。
7. 全整色の電荷パケットのビニングを行うことなしに、同色の電荷パケットのビニングを行うことは、前記複数の垂直方向のCCDにおいて垂直方向のシフトを行い、続いて前記水平方向のCCDにおいて水平方向のシフトを行い、続いて前記複数の垂直方向のCCDにおいて更なる垂直方向のシフトを行うことを含む読み取り処理により、前記複数の感光素子からなる行のペアについて行われる、
   請求項６記載のCCDイメージセンサ。
8. 前記疎なカラーフィルタアレイのパターンの最小の繰返し単位は、Pを全整色の画素、X，Y及びZを第１の色、第２の色及び第３の色をそれぞれ有する画素を表すものとして、
   

   

   のように配置される１６の隣接する画素を含む、
   請求項５記載のCCDイメージセンサ。
9. 前記複数の感光素子は、Bayerカラーフィルタアレイのパターンに従って構成される、
   請求項１乃至４の何れか記載のCCDイメージセンサ。
10. 前記水平方向のCCDは、双方向型の水平方向CCDである、
    請求項９記載のCCDイメージセンサ。
11. 前記水平方向のCCDは、４つの緑の電荷パケットのビニング、２つの赤の電荷パケットのビニング及び２つの青の電荷パケットのビニングを行う、
    請求項１０記載のCCDイメージセンサ。
12. 前記４つの緑の電荷パケットのビニング、前記２つの赤の電荷パケットのビニング及び前記２つの青の電荷パケットのビニングは、前記複数の垂直方向のCCDにおいて第１の垂直方向のシフトを行い、続いて前記水平方向のCCDにおいて第１の方向でシフトを行い、続いて前記複数の垂直方向のCCDにおいて第２の垂直方向のシフトを行い、続いて前記水平方向のCCDにおいて第２の方向でシフトを行い、続いて前記複数のCCDにおいて第３の垂直方向のシフトを行い、続いて前記水平方向のCCDにおいて前記第１の方向において更なるシフトを行い、続いて前記複数のCCDにおいて第４の垂直方向のシフトを行うことを含む読み取り処理により、隣接する行からなる２つのペアからなる所与のセットについて行われる、
    請求項１１記載のCCDイメージセンサ。
13. 前記水平方向のCCDは、３つの緑の電荷パケットのビニング、２つの赤の電荷パケット又は２つの青の電荷パケットの何れかのビニングを行い、残りの色の電荷パケットのビニングを行わない、
    請求項１０記載のCCDイメージセンサ。
14. 電荷結合素子（CCD）イメージセンサによる読み取リ方法であって、
    前記CCDイメージセンサは、行及び列に配置される複数の感光素子を有し、
    当該方法は、
    前記列のうちの対応する１つの列の感光素子のうちのそれぞれ１つと関連付けされる垂直方向のシフトエレメントをそれぞれ有する複数の垂直方向のCCDにより電荷パケットをシフトするステップと、
    前記複数の垂直方向のCCDのそれぞれに結合される水平方向のCCDにより前記電荷パケットをシフトするステップとを含み、
    前記水平方向のCCDは、互いに配置される２つの異なるタイプの水平方向のシフトエレメントを有し、第一のタイプの前記水平方向のシフトエレメントは、前記複数の垂直方向のCCDのそれぞれ１つから、シフトされた電荷パケットを直接に受け、第二のタイプの前記水平方向のシフトエレメントは、前記複数の垂直方向のCCDの何れからも、シフトされた電荷パケットを直接に受けない、
    ことを特徴とする方法。
15. 前記水平方向のCCDは、少なくとも第一の動作モードと第二の動作モードにおいて動作し、前記第一の動作モードにおいて、前記水平方向のCCDにおける水平方向のシフトエレメントの数は、前記複数の垂直方向のCCDの数よりも多く、前記第二の動作モードにおいて、前記水平方向のCCDにおける水平方向のシフトエレメントの数は、前記複数の垂直方向のCCDの数に等しい、
    請求項１４記載の方法。
16. 前記複数の感光素子は、疎なカラーフィルタアレイのパターンに従って構成され、
    前記複数の垂直方向のCCDにより電荷パケットをシフトするステップ及び前記水平方向のCCDにより前記電荷パケットをシフトするステップは、全整色の電荷パケットをビニングすることなしに、同色の電荷パケットのビニングを行うステップを含む、
    請求項１４又は１５記載の方法。
17. 前記複数の垂直方向のCCDにより電荷パケットをシフトするステップ及び前記水平方向のCCDにより前記電荷パケットをシフトするステップは、前記複数の垂直方向のCCDにおいて垂直方向のシフトを行い、続いて前記水平方向のCCDにおいて水平方向のシフトを行い、続いて前記複数の垂直方向のCCDにおいて更なる垂直方向のシフトを行うことを含む、
    請求項１４又は１５記載の方法。
18. 前記複数の垂直方向のCCDにより電荷パケットをシフトするステップ及び前記水平方向のCCDにより前記電荷パケットをシフトするステップは、前記複数の垂直方向のCCDにおいて第１の垂直方向のシフトを行い、続いて前記水平方向のCCDにおいて第１の方向でシフトを行い、続いて前記複数の垂直方向のCCDにおいて第２の垂直方向のシフトを行い、続いて前記水平方向のCCDにおいて第２の方向でシフトを行い、続いて前記複数のCCDにおいて第３の垂直方向のシフトを行い、続いて前記水平方向のCCDにおいて前記第１の方向において更なるシフトを行い、続いて前記複数のCCDにおいて第４の垂直方向のシフトを行う、
    請求項１４又は１５記載の方法。
19. デジタル画像形成装置であって、
    電荷結合素子（CCD）イメージセンサと、
    前記CCDイメージセンサの出力を処理してデジタル画像を生成する１以上の処理手段とを備え、
    前記CCDイメージセンサは、
    行及び列に配置される複数の感光素子と、
    前記列のうちの対応する１つの列の感光素子のうちのそれぞれ１つと関連付けされる垂直方向のシフトエレメントをそれぞれ有する複数の垂直方向のCCDと、
    前記複数の垂直方向のCCDのそれぞれに結合される水平方向のCCDとを有し、
    前記水平方向のCCDは、互いに配置される２つの異なるタイプの水平方向のシフトエレメントを有し、第一のタイプの前記水平方向のシフトエレメントは、前記複数の垂直方向のCCDのそれぞれ１つから、シフトされた電荷パケットを直接に受け、第二のタイプの前記水平方向のシフトエレメントは、前記複数の垂直方向のCCDの何れからも、シフトされた電荷パケットを直接に受けない、
    ことを特徴とするデジタル画像形成装置。
20. 当該デジタル画像形成装置は、デジタルカメラである、
    請求項１９記載のデジタル画像形成装置。
    

Images