JP2013534083A - ２センサー撮像システム - Google Patents

Abstract

２アレイカラー撮像システム、画像処理システムおよび関係する原理が開示される。たとえば、第一の単一アレイ（１０）カラー画像センサーからの画素および第二の単一アレイ（１２）カラー画像センサーからの画素によって画素のペアが画定される。そのペアの一方の画素は輝度情報を検出するように構成され、他方の画素は色度情報を検出するように構成される。複数のそのような画素ペアが画像によって照射され、その照射に応答して、上記輝度および色度情報を運ぶ１つ以上の電気出力信号を発生する。その出力信号を表示可能な画像に変換することができる。関係するコンピューティング環境も開示される。

Description

関連出願の相互参照
本願は、２０１０年５月２８日に出願された米国特許出願第１２／７９０，５６４号の優先権および利益を主張するものであり、すべての目的に対し、その全体を本明細書に記載されているがごとく援用する。

本明細書に開示される発明的主題（以下、単に「本開示」と呼ぶ）は、画素アレイを使用する電子的カラー撮像システムに関する。本開示は、具体的には新規な２チップシステムに関する。本撮像システムは、内視鏡撮像システム、小型カラー撮像システム、望遠鏡撮像システム、ハンドヘルド一眼レフ撮像システム、および動画撮像システムを含む、広範な静止画像および動画像のキャプチャ用途に使用することができる。

従来のセンサー搭載カメラは、カラーセンサーまたはモノクロセンサーの単一画像センサーを内蔵する設計・構造となっている。そのようなセンサーは、画素のアレイを使用して光を検出し、その検出光に応じて電気信号を発生する。モノクロセンサーでは、各画素が撮像データ（「輝度（ルミナンス）」情報とも呼ばれる）を与えることにより、高解像度の画像が得られる。比較すると、画素数が同じ単一アレイカラー画像センサーは、カラーセンサー内の各画素が１色（「色度（クロミナンス）」情報とも呼ばれる）しか処理できないため、相対的により低い解像度になる。したがって、従来のカラーセンサーの場合、色のスペクトルを有する画像を表現するためには複数の画素からの情報を取得しなければならない。別の言い方をすれば、あるパターンで配置された各画素が基本色（たとえば赤、緑または青）を表す信号を生成するように構成され、その信号を隣接画素の信号（おそらくは別の基本色を表す）と混合することによって色スペクトル全体のさまざまな色が生成されるということであり、その詳細は後述する。

したがって、所与のモノクロ画素サイズで得られるモノクロ画像と比較してカラー画像の解像度を向上させようとすれば、従来の単一アレイカラーセンサーではより多くの画素が必要になる。単一アレイカラー画像センサーに対する従来の代替物は、図１に示すような３アレイセンサーである。３センサーカメラは、単一アレイセンサーよりも相当に大きく、大きな物理的寸法が許容されないか、または望ましくない（たとえば内視鏡の先端部など）用途には適切でない。３アレイセンサーのサイズが大きくなるのは、各々が電磁スペクトルの特定部分（たとえば原色またはその他の基本色の光）に応答する３個の単一アレイセンサーとともに、入射画像をそれら３個のセンサーに向けるように構成された複雑な光学系を使用しているためである。それに応じて複雑さとコンポーネント数が増大するため、３アレイセンサーは、単一アレイシステムよりもコスト（たとえばコンポーネントのコストおよび組み立て／製造コスト）が大幅に上昇する。さらに、３アレイセンサーは、典型的には、複数のアレイからの画像を組み立てるために複雑なアルゴリズムを必要とし、その複雑なアルゴリズムを処理するために相応に大きな処理帯域幅が必要とされる。

比較すると、単一アレイカラー画像センサー２１０は、図２に示すように、典型的には画素のアレイ２１４を画定する単一の半導体画像センサー２１２を使用する。画像センサーに多色カラーフィルタ２１６を適用し、画像センサー２１２の各検出素子（たとえば画素）２１４に特定のカラーフィルタを適用することによって、色選択性が実現される。典型的な構成には、画像センサー２１２の表面に適用する「モザイクフィルタ」と呼ばれるフィルタ構造２１６が含まれる。そのモザイクフィルタは、各フィルタ素子が画像センサー２１２の対応する各検出素子２１４の前に（たとえば積層して）配置された小型カラーフィルタ素子２１８のマスクであってよい。フィルタ素子２１６のアレイは、典型的には、赤、緑、青の原色（「ＲＧＢ」と呼ばれることもある）またはシアン、マゼンタ、グリーン、イエローという補色の混在パターンを含む。その他の電磁スペクトルの混在セグメントも可能である。これらの色を使用して完全な色情報（色度）を再構成することができる。たとえば、本明細書に援用する米国特許第４６９７２０８号には、固体撮像素子および補色タイプのモザイクフィルタを有するカラー撮像装置が記述されている。

デジタルビデオ用途に使用される１つのフィルタ構成は、「ベイヤーセンサー」または「ベイヤーモザイク」と呼ばれる。典型的なベイヤーモザイクは、図２に示す構成を有する。たとえば、モザイクフィルタ（マスク）２１６内の各正方形（セル）２１８は、画像センサー２１２の１個の検出素子（画素）２１４に対応するカラーフィルタ素子を表す。各セル２１８内の英字（Ｒ、Ｇ、Ｂ）は、フィルタセルが通過させて対応画素に到達する電磁スペクトル、すなわち光の色の個別セグメントを示す（たとえばＲは赤、Ｇは緑、Ｂは青を意味する）。

本明細書に援用する米国特許第３，９７１，０６５号にもベイヤーモザイクの記述がある。ベイヤーモザイクによって作成された画像の処理には、典型的には、画素のアレイから３種類の色信号（赤、緑、青）を抽出し、個別の画素について欠落した２色に対応する値を各画素に割り当てるという方法でフルカラー画像を再構成することが含まれる。このような再構成および欠落色の割り当ては、各セルで検出された各色の単純な平均化または加重平均化によって達成されうる。他の例では、隣接画素で検出された色の加重平均を組み込むなど、より複雑な各種の方法によってそのような再構成を達成することができる。

画像品質を向上させるいくつかの試みとして、単一アレイカラーセンサーとともにモノクロセンサーまたは代替的に赤外線センサーが使用されている。たとえば、処理結果の画像に関する輝度レベルを検出するためにモノクロまたは赤外線センサーデータが用いられている。このようなモノクロセンサーとの組み合わせにおいて、単一アレイカラーセンサーの各画素によって与えられるのは１つの基本色に関係した色情報であり、少なくとも２つの欠落色に関する色情報を取得するために周囲画素からの色データの補間を必要とする。たとえば、色を検出するために赤（Ｒ）、青（Ｂ）、または緑（Ｇ）（ＲＢＧ）のセンサーアレイを使用する場合、各画素によって直接的に測定されるのは３色の中の１つだけであり、他の２色の値は隣接画素によって検出された色に基づいて補間しなければならない。カラーセンサーとともにモノクロセンサーを使用するこのようなアプローチの例は、Ｊｅｎｋｉｎｓの米国特許第７，６６７，７６２号、Ｔａｎｉの米国特許第５，３７９，０６９号、およびＭｕｒａｍａｔｓｕの米国特許第４，８７６，５９１に見出され、それらを本明細書に援用する。各画素に関する補間によって２色が決定されるため、色ぼけが生じる可能性があり、また、得られたカラー画像の品質は、たとえば３アレイカラーセンサーと比較して低下する。

他のアプローチは、２つのセンサーを別の方法で使用しているように見える。１つのアプローチは、２つのセンサーを交互に切り替えるシャッターとして機能する回転ホイール装置を使用するものであり、これにより入射光に対する各センサーの露出がオンオフされる。入射光に対して両方のセンサーが互いに同一範囲で露出されるようには見えない。このようなアプローチの例がＩｎｇｒａｍの米国特許第７，２０２，８９１号に開示されており、その内容を本明細書に援用する。２つのセンサーの別の使用がＫｏｂａｙａｓｈｉの日本特許出願ＪＰ２００６−０３８６２４号（日本特許公報２００７−２２１３８６号として公開）に見出され、その内容を本明細書に援用する。同特許出願には、ズームレンズなしで高速にズームインまたはズームアウトするプロセスを補助するための２つのセンサーの使用が開示されている。

他の静止画像カメラは、単一アレイカラーセンサーを複数回露出させ、各回の露出の間にセンサーの位置をカラーフィルタに対してずらすことによって、画像の付加的な色データを取り込もうとする。このアプローチでは、各画素について色データが得られるが、その複数回の露光サンプリングにより長い取得時間（たとえば複数回の露光のための時間）が必要とされ、また、カラーフィルタおよびセンサーの相対的位置を物理的に動かすために可動部品が必要になりえる。これにより、コストおよびシステムの複雑さがさらに増大する。

したがって、小型カラー撮像システムに対するニーズは依然として存在し、比較的高解像度のカラー撮像システムに対するニーズも依然として存在する。低コストかつ経済的なカラー撮像システムも必要とされている。

本開示は、幅広い種類の用途に使用できる２センサー撮像システムに関する。開示されたいくつかの撮像システムは、医療用途（たとえば内視鏡）に関係するカラー撮像システムであり、その他のシステムは工業用途（たとえばボアスコープ）に関係し、さらに別のシステムはカラー静止画像および動画像のキャプチャおよび処理を伴う民生用途または業務用途（たとえばカメラ、写真）に関係する。

たとえば、開示されたいくつかの２センサー撮像システムは、第一の単一アレイセンサーおよび補完的な構成を有する第二の単一アレイセンサーを含む。第一のセンサーは、第一の複数の第一の画素、第一の複数の第二の画素、および第一の複数の第三の画素を含むことができる。対応する第二のセンサーは、第二の複数の第一の画素、第二の複数の第二の画素、および第二の複数の第三の画素を含むことができる。適切に構成された第一および第二の各センサーは、第一および第二の対応する各画像部分によって照射され、第一の画像部分によって照射される各画素が第二の画像部分によって照射される画素に対応し、それにより個別の画素ペアが画定される。各画素ペアは、第一の画素を含むことができる。

各画素について、第一の範囲内の電磁放射の波長を検出するように第一の画素を構成することができ、第二の範囲内の電磁放射の波長を検出するように第二の画素を構成することができ、第三の範囲内の電磁放射の波長を検出するように第三の画素を構成することができる。

開示された特定の実施形態において、第一の画素は、緑色の光など、人間の目が感知できる可視光の波長に応答し、それによって輝度を示すものであり、その輝度が画像の詳細（すなわち画像の解像度）を与えるために使用される。別の言い方をすれば、第一の画素は輝度画素を含むことができる。このような実施形態において、第二および第三の画素は、青色の光または赤色の光など、可視光の他の波長に応答し、それによって色度情報を与えることができる。別の言い方をすれば、第二および第三の画素はそれぞれ色度画素を含むことができる。

いくつかの例では、波長の第一の範囲は、約４７０ｎｍから約５９０ｎｍまでの幅を有し、たとえば４９０ｎｍから５７０ｎｍの範囲になる。波長の第二の範囲は、約５５０ｎｍから約７００ｎｍまでの幅を有することができ、たとえば５７０ｎｍから６８０ｎｍの範囲になる。波長の第三の範囲は、約４３０ｎｍから約５１０ｎｍまでの幅を有することができ、たとえば４５０ｎｍから４９０ｎｍの範囲になる。

いくつかの撮像システムは、電磁放射の入射ビームを第一および第二の各画像部分に分割するように構成されたビームスプリッタも含む。このスプリッタは、第一のセンサー上に第一の画像部分を投射し、それにより第一のセンサーの１つ以上の画素を照射するように構成することもできる。このスプリッタはまた、第二のセンサー上に第二の画像部分を投射し、それにより第二のセンサーの１つ以上の画素を照射するように構成することもできる。

開示された撮像システムで使用されるいくつかの単一アレイセンサーは、ベイヤーセンサーなどのカラー撮像センサーである。適切なセンサーには、ＣＭＯＳまたはＣＣＤセンサーなどの単一アレイセンサーが含まれる。

第一のセンサーおよび第二のセンサーの各々は、実質的に平面である個別の基板を有することができる。この２つの実質的に平面の基板を実質的に互いに直交するように配向させることができる。他の例では、この２つの実質的に平面の基板を実質的に互いに平行になるように配向することができる。さらに別の例では、この２つの実質的に平面の基板を互いに対して斜角になるように配向することができる。

第一のセンサー、第二のセンサー、またはその両方のセンサーの第一の画素の合計数と第二の画素の合計数と第三の画素の合計数の比は、約１．５：１：１から約２．５：１：１までの範囲とすることができる。

前述のように、第一および第二のセンサーの各々は、個別のベイヤーセンサーであってよい。第一のセンサーに対して第二のセンサーを適切に配置することにより、第一の画像部分が第一のセンサーの一部を照射し、対応する第二の画像部分が第二のセンサーの一部を照射する時に、第二のセンサーの照射部分が第一のセンサーの照射部分に対して画素の１行分ずれるようにすることができる。この方法により、各々が第一の画素を含む個別の画素ペアが画定される。

開示されたいくつかの撮像システムは、外面および内部容積を画定する筐体も含む。その筐体の内部容積内に対物レンズを配置することができる。入射電磁放射を集め、電磁放射の入射ビームをビームスプリッタに合焦させるように、その対物レンズを構成することもできる。

このような筐体は、遠位先端および近位ハンドル端を画定する細長い筐体を含むことができる。その遠位先端に隣接して、対物レンズ、ビームスプリッタ、第一および第二のセンサーを配置することができる。この筐体は、顕微鏡筐体、望遠鏡筐体および内視鏡筐体のいずれか１つまたは複数を含むことができる。いくつかの例では、内視鏡筐体は、腹腔鏡筐体、ボロスコープ筐体、気管支鏡筐体、結腸内視鏡筐体、胃内視鏡筐体、十二指腸内視鏡筐体、Ｓ状結腸内視鏡筐体、プッシュ小腸内視鏡筐体、胆道鏡筐体、膀胱鏡筐体、子宮鏡筐体、喉頭鏡筐体、鼻喉頭鏡筐体、胸腔鏡筐体、尿管鏡筐体、関節鏡筐体、カンデラ筐体、神経内視鏡筐体、耳鏡筐体、洞鏡筐体のいずれか１つまたは複数を含むことができる。

開示された撮像システムが適合するのは、たとえば、第一のセンサーおよび第二のセンサーの各出力信号から合成出力画像を生成するように構成されたカメラコントロールユニット（ＣＣＵ）などの画像処理システムである。さらに、いくつかのシステムは、第一のセンサーおよび第二のセンサーからの各出力信号を画像処理システムに伝送するように構成された信号結合器を含む。この信号結合器は、筐体内部のセンサーから近位ハンドル端まで延在することができる。

本明細書における「画像処理システム」という用語は、画像システム（たとえば２アレイセンサー）によって出力される出力信号を、モニター入力信号または表示画像（たとえば静止画像または動画像）などの別の利用可能形式に変更または変換することができる任意の種類のシステムを意味する。

画像を取得する方法も開示される。たとえば、電磁放射のビームを第一のビーム部分および対応する第二のビーム部分に分割することができる。第一のビーム部分を第一の画素化センサーに投射し、対応する第二のビーム部分を第二の画素化センサーに投射することができる。色度および輝度情報が個別の画素ペアによって検出され、その各画素ペアには、第一の画素化センサーの１画素と第二の画素化センサーの対応する画素が含まれる。個別の画素ペアは、輝度情報を検出するように構成された１画素を含むことができる。個別の画素ペアによって検出される色度および輝度情報を処理することにより、合成カラー画像を生成することができる。

いくつかの例では、第一の画素化センサーは、第一の複数の第一の画素、第一の複数の第二の画素および第一の複数の第三の画素を画定し、第一のビーム部分を第一の画素化センサー上に照射する動作は、第一のセンサーの少なくとも１つの画素を照射することを含むことができる。第二の画素化センサーは、第二の複数の第一の画素、第二の複数の第二の画素および第二の複数の第三の画素を画定することができ、対応する第二の画像部分を第二のセンサー上に照射する動作は、第二のセンサーの少なくとも１つの画素を照射することを含むことができる。第一のセンサーの照射された各画素は第二のセンサーの照射された画素との対応関係を有することができ、これにより個別の画素ペアが画定される。

約４７０ｎｍから約５９０ｎｍの範囲（たとえば４９０ｎｍ〜５７０ｎｍなど）の電磁放射の波長を検出するように第一の画素の各々を構成することができる。〈脱落〉の範囲の電磁放射の波長を検出するように第二の画素の各々を構成することができる。

いくつかの例では、輝度情報を検出する動作は、輝度情報を検出するように構成された一方の画素で、約４７０ｎｍから約５９０ｎｍの範囲（たとえば４９０ｎｍ〜５７０ｎｍなど）の電磁放射の波長を検出することを含む。色度情報を検出する動作は、当該ペアの他方の画素で、約５５０ｎｍから約７００ｎｍの範囲（たとえば５７０ｎｍ〜６８０ｎｍなど）あるいは約４３０ｎｍから約５１０ｎｍの範囲（たとえば４５０ｎｍ〜４９０ｎｍなど）の電磁放射の波長を検出することを含むことができる。個別の画素ペアによって検出される色度および輝度情報を処理して合成カラー画像を生成する動作は、隣接する画素ペアからの色度情報を使用して、各画素ペアから欠落している色度情報を生成することを含むことができる。色度および輝度情報を処理する動作は、モニター上に合成カラー画像を表示することも含むことができる。

コンピュータ可読媒体も開示される。その媒体は、コンピューティング装置に２アレイカラー画像センサーからの１つ以上の電気信号を表示可能な画像に変換させるコンピュータ実行可能命令を格納、画定またはその他の形で含むことができ、その変換方法も開示される。いくつかの例では、その方法は、第一および第二の単一アレイカラー画像センサーを含む２アレイカラー画像センサーからの電気信号を検出し、その検出信号から色度および輝度情報の合成アレイを生成することを含む。その合成アレイの各セルは、一方のセンサーによって検出された輝度情報および他方のセンサーによって検出された色度情報を含むことができる。輝度および色度情報が入っている画像信号を生成して、表示可能な画像を表示するように構成されたディスプレイに出力することができる。場合によっては、その画像信号を出力する動作は、有線または無線で画像信号を送信することを含む。

このコンピュータ実装可能な方法は、合成アレイを輝度および色度の個別アレイに分解することも含むことができる。以下に開示された方法により、色度アレイの各セルについて欠落した色度情報が確定される。

上記およびその他の特徴および利点は、添付の図面を参照しながら進める以下の詳細な説明から明らかになるはずである。
以下の図面は、先行技術を示すとの注記がない限り、本発明の主題に従った実施形態を示す。

従来の３アレイカラーセンサーの概略図である。 ベイヤーセンサーなどの単一アレイカラー画像センサーの分解図を示す概略図である。 開示された撮像システムの概略図である。 開示された別の撮像システムの概略図である。 第一の単一アレイカラーセンサーからの１画素および第二の単一アレイセンサーからの別の画素を含む個別の画素ペア間の対応を示す概略図である。 第一の単一アレイカラーセンサーからの１画素および第二の単一アレイセンサーからの別の画素を含む個別の画素ペア間の対応を示す概略図である。 第一および第二の垂直に配向された単一アレイカラーセンサーによる個別の画素ペア間の対応を示す概略図である。 開示された第三の２アレイ撮像センサー構成の概略図である。 第一および第二の単一アレイ撮像センサーから選択された個別の画素ペア間の対応を示す概略図である。 図８に示す個別の画素ペアの分解を示す概略図である。 個別の画素ペアから輝度および色度の個別アレイへの別の分解を示す概略図である。 分解された色度アレイの概略図であり、欠落色の色度値を決定するために使用できる補間マスクの例を合わせて図示する。 撮像方法のフローチャートを示す。 画像処理システムと組み合わされた２アレイカラー撮像センサーを有するカラー撮像システムの概略図である。 図１３に示す撮像システム内部に動作可能に配置された図３の２アレイカラー撮像センサーを示す図である。 図１３に示す撮像システム内部に動作可能に配置された図４の２アレイカラー撮像センサーを示す図である。 例示的コンピューティング環境のブロック図である。

例示的システムを参照して、２アレイカラー撮像システムに関係したさまざまな原理を以下に説明する。１つまたは複数の開示された原理を各種のシステム構成に組み込み、さまざまな撮像システムの特徴を達成することができる。１つの特定の応用例に関係したシステムは２アレイカラー撮像システムの例にすぎない。それらのシステムについて以下に説明し、本明細書に開示するさまざまな原理の特徴を例示する。本発明の主題による実施形態は、工業用および医療用内視鏡、望遠鏡、顕微鏡などの特殊なカメラだけでなく、一般的な商用および業務用のビデオカメラおよびスチルカメラでの使用にも等しく適用可能になりえる。

本発明の主題によれば、２アレイカラー撮像センサーは、たとえばベイヤーセンサーなどの第一および第二の単一アレイカラーセンサーを含む。１つの例において、２つの単一アレイカラーセンサーからの画像を統合することによって単一カラー画像が得られる。この例では、画素１行分のシフトを用いて画像の統合が実施される。たとえば、各センサーは標準ベイヤーカラーフォーマットフィルタを有し、１つおきの画素が緑（Ｇ）になり、各行の他のすべての画素に青（Ｂ）または赤（Ｒ）が入る。１つの態様において、本開示は、いずれかの単一アレイカラーセンサーが単独で生成できる画像よりも高品質の単一カラー画像を生成することに関する。たとえば、説明されたいくつかの撮像システムによって達成できる空間分解能は、単一アレイカラーセンサーを使用して達成できる空間分解能の約２倍である。さらに、単一アレイカラーセンサーと比較すると、単一アレイカラーセンサーでは各画素位置（たとえば各画素に対応）について２色の補間が必要とされるのに対し、各画素位置（たとえば各画素ペアに対応）における色情報を判別する際に１色しか補間されないという理由により、単一アレイカラーセンサーと比較して、少なくとも部分的にカラー欠陥が大幅に減少する。別の態様において、本開示は、たとえば、工業用、医療用、業務用および民生用の撮像装置などの２アレイカラー撮像センサーおよび関連装置に関する。

再び図２を参照して、単一アレイカラー画像センサーアセンブリ２１０の一実施形態について次に説明する。この実施形態において、センサーアセンブリ２１０は、正方格子などの一様な分散パターンに配置されたセンサー（局所センサー）２１４（本書では「画素」とも呼ばれる）の画素化アレイを画定するセンサーアレイ２１２を含む。しかしながら、菱形、三角形、六角形、円形、レンガ状、および非対称の格子パターンを非限定的に含む、他の画素配置が企図される。センサーアセンブリ２１０は、相補型金属酸化膜半導体（ＣＭＯＳ）を使用できる電荷結合素子（ＣＣＤ）または能動画素センサーを非限定的に含む固体撮像装置であるか、あるいは周知の、または将来的に発見される、その他の適切な画素化センサーまたはレセプタであってもよい。

画像センサーアセンブリ２１０は、カラーフィルタアレイ（ＣＦＡ）２１６を含むこともできる。ＣＦＡは、均一に分散されたカラーフィルタ２１８を有することができる。別の言い方をすれば、ＣＦＡ２１６は、センサーアレイ２１２の各画素２１４に合わせて配置された個別および混在カラーフィルタの画素化アレイを画定することができる。カラーフィルタ２１８は、センサーアレイ２１２内の局所センサー（画素）２１４の一様な分散パターンに対応する一様な分散パターンに配置することができる。カラーフィルタ２１８は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、白（Ｗ）、シアン（Ｃ）、黄（Ｙ）、マゼンタ（Ｍ）、エメラルド（Ｅ）などのさまざまな基本色の中の２色以上を非限定的に含むことができる。使用するフィルタの色に応じ、これらの色を組み合わせることによって既知の種類のＣＦＡが形成される。一例として、ベイヤーフィルタは、図２に示すパターンに配置された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色を使用することができる。ＲＧＢＥ、ＣＹＹＭ、ＣＹＧＭ、ＲＧＢＷなど、他の種類のフィルタとともに、既知の、またはまだ知られていない、その他のフィルタを使用することができる。

いくつかの例では、ＣＦＡは、ローパスフィルタ機能を備えることもできる。実質的にベイヤーＣＦＡは２：１：１というＧ：Ｒ：Ｂの比を有するが、この比は変更可能であり、その場合でも本発明の主題に効果的に使用することができる。たとえば、Ｇ：Ｒ：Ｂの比は１．５：１：１から２．５：１：１の範囲であってよく、あるいはその他の適切な範囲を含むことができる。同様に、代替的なＣＦＡ構成に関する上記の例の比も同じく変更することができる。

可視光がカラーフィルタを通過する時、カラーフィルタは、対応する波長範囲（たとえば可視スペクトルの一部）の光だけを通過させてセンサーに到達させる。図２に関する一例として、入射光の中の、たとえば青の波長だけがカラーフィルタ２２０を通過して、その背後の画素に到達する。図では、センサー（画素）とフィルタを点線で囲むことによってフィルタとセンサーの対応関係を示している。各画素センサー２１４は、光に応答して、その光の輝度および色度に対応する電気信号を発生し、その電気信号が画像処理システム（たとえばカメラコントロールユニットすなわち「ＣＣＵ」）内のプロセッサに送られる。プロセッサは、他の画素センサーからの同様の情報を組み合わせて、静止画像または動画像を作成することができる。

図３は、入射光（または電磁放射の他の波長）２０が対物レンズ１６によって集光されることを示す。レンズ１６は、光のビーム２１をビームスプリッタ１４上に合焦させることができる。ビームスプリッタ１４は、入射ビーム２１を第一のビーム（画像部分）２２および対応する第二のビーム（画像部分）２４に分割する。ビームスプリッタ１４は、図３の配置において、第一の光のビーム２２を第一の単一アレイカラーセンサー１０上に直接投射し、第二の光のビーム２４を第二の単一アレイカラーセンサー１２上に照射することができる。

上記のように第一および第二の画像部分が第一および第二の単一アレイカラーセンサー１０、１２に投射されると、センサー１０、１２の各々の１つ以上の画素が照射され、第一のセンサーの照射された各画素と第二のセンサーの照射された画素の対応関係によって個別の画素ペアが画定される。以下により詳しく説明するように、センサー１０、１２が互いに「オフセット」されている場合、照射された画素の各ペアは、１個の「輝度」画素と１個の色度画素を含むことができる。両方の単一アレイカラーセンサー１０、１２がベイヤーセンサーであれば、照射された画素の各ペアの「輝度」画素は緑（Ｇ）の画素を含み、その他の「色度」画素は「赤」の画素または「青」の画素になる。

図３において、撮像センサー１０および１２は、互いに約９０度の角度で配向されている。しかしながら、ビームスプリッタ構成に対応した他の配向も可能である。たとえば、第一または第二の各画像部分が各センサーに正確に入射する限り、センサー１０、１２の任意の配向が適切である。

ビームスプリッタ１４は、間隙または適切な接着剤を有するプリズムなど、光を分割するための既知または新規の任意の適切なプロセスまたは材料の中の１つによるものとして、ガラス、水晶、プラスチック、金属または複合材料から作製することができる。

たとえば、図４は、ビームスプリッタ１１４を第一および第二の単一アレイカラーセンサー１１０、１１２と組み合わせた別の実施形態を示す。図４に示す実施形態において、光１２０の入射ビームがビームスプリッタ１１４に入り、光が第一の画像部分（光ビーム）１２２および対応する第二の画像部分（光ビーム）１２４に分割される。図のように、画像部分の一方（たとえば光ビーム１２４）はビームスプリッタ１１４を通って伝搬し、第一の光リダイレクション装置（ミラー）１１６ａに到達することができる。光リダイレクション装置１１６ａは、第二の光ビーム１２４を第二の画像センサー１１２上に向けることができる。第一の画像部分（光ビーム）１２２はビームスプリッタ１１４内部で反射され、そこから第二の光リダイレクション装置（ミラー）１１６ｂ内まで伝搬される。第一の画像部分１２２は、ミラー１１６ｂから第一の画像センサー１１０上に投射される。画像リダイレクション装置１１６は、多数の装置、材料、または手法の中の１つまたは組み合わせであってよく、これには、適切に成形および配置されたミラー、プリズム、水晶、流体、レンズのほか、反射面または屈折率を有する任意の適切な材料が非限定的に含まれる。１つの実施形態において、構造体１１８を支持するように画像センサーアレイ１１０および１１２を取り付けることができる。

画像センサーアセンブリ１０、１２、１１０、１１２は任意の構成で配置することができ、その構成を決定する要因には、全体的なパッケージング、ビームスプリッタの種類および構成１４、１１４、ならびに光リダイレクション装置１１６に関する制約、限定条件、コストまたは可用性などが含まれる。

前述のように、１つの可能な実施形態において、本発明の主題は、それぞれが標準ベイヤーＣＦＡ（図２）を有する２つのセンサーからの画像に基づき、１つおきの画素が緑（Ｇ）であり、かつその他の画素として各行に青（Ｂ）または赤（Ｒ）が入る（図５Ａ）ような単一の画像を合成することに関する。

人間の視覚系は画像の輝度成分から空間分解能を推測し、その輝度は主に緑成分によって決定される。したがって、すべてのセンサー位置で緑の画素が与えられ、かつ緑成分に関して補間を回避することが可能ならば、センサーの解像度を効果的に倍増させることができる。この特徴は、緑に対する人間の感受性と相まって、２アレイ撮像センサーに３アレイセンサーと同様の解像度を与えることができる。このアプローチは、１つのセンサー上で観察される同じ画像が第二のセンサーによって検出され、第二のセンサーの対応する画素色が別の色になるようにすることによって達成される。これを別の方法で達成することもできる。たとえば、各センサーアレイを互いに奇数の行数または列数だけずれるようにシフトすることができる。そのようなアプローチの一例として、先に図３に関連して説明したように、センサーアレイを互いに１行または１列だけずれるように物理的にシフトすることができる。別のアプローチとして、２つの異なる、しかし相関したセンサーを使用し、各センサー上の相関ＣＦＡパターンにより、各画素位置において少なくとも１つの輝度（たとえば緑）画素および異なる色（たとえば赤、青）の中の１つが与えられるようにしてもよい。追加的アプローチでは、ビームスプリッタの光学特性、光リダイレクション装置、その２つの組み合わせ、またはその他の方法を用いて、対応する各画素位置に異なる色が作成される。これらのアプローチを別個に、または組み合わせて使用し、所望の効果を達成することができる。

図５Ａ、図５Ｂおよび図６は、このような対応する画素ペアの例を示す。図５Ａは、一方のセンサーの画素を他方のセンサーの画素に対して１列だけずらした結果、２アレイ画像センサーの色画素がどのような並びになるかを示す概略図である。長い点線は、対応する画素ペア間の整列を示す。同様に、図５Ｂは、各画素アレイ上で補完的な、しかし異なるＣＦＡパターンを使用した場合に２アレイ画像センサーの色画素がどのような並びになるかを示す概略図である。図６は、ミラー画像アプローチ（たとえば図３に示すビームスプリッタおよび２アレイセンサーによって実現可能）をどのように実装すれば同様の画素のペア化が達成されるかを示す概略図である。

さらに図６を参照して、入射光ビーム３０８はビームスプリッタ（図外）に入り、分割位置３０６において第一の画像部分（ビーム）３１０および対応する第二の画像部分（ビーム）３１２に分割される。図６に示す例において、分割位置３０６は、単一アレイ画像センサー３０２上の緑の画素３１４の延長線上かつ単一アレイ画像センサー３０４上の対応する赤の画素３１８の延長線上に配置される。この実施形態において、光ビーム３０８が表現する画像の同じ部分が画素３１４および画素３１８によって検出され、画素３１４はＧであり、画素３１８はＲである。このようなビーム分割手法の１つの特徴は、一方の画像がビームスプリッタを透過し、対応する他方の画像が反射されることである。したがって、単一アレイ画像センサー３０２および３０４の各々が偶数個の画素を有し、各センサーが同一の色パターンを有する場合には、一方の画像の反射により、対応する画素の各ペア（たとえば画素３１４、３１８）が互いに１色だけずれるようにオフセットされる。図６の画像センサー３０２上に重畳された英字「Ｆ」および画像センサー３０４上に重畳された反射像の英字「Ｆ」は、その効果を模式的に示したものである。

パッケージング寸法の低減および高解像度の撮像が望ましい内視鏡などの応用例には、図１に示すような種類の３センサー撮像システムよりも２センサー撮像システムが適している。たとえば、３センサー撮像システムは、横断寸法がセンサーアレイの一辺の長さＸの約５^１／２（約２．２３６）倍になりえるとともに、画素数が約１２０万画素から約３００万画素の範囲になりえる。比較すると、図３に示すような２センサー撮像システムは、横断寸法がセンサーアレイ１０、１２の一辺の長さＸとほぼ同一であってよく、また、画素数は約１５０万画素から約２５０万画素の範囲、たとえば約２００万画素であってよい。図３に示す構成では、対角線２３の長さでさえ、図１に示す３センサーシステムの横断寸法よりも短い（たとえば約１．４４倍）。図４に示す代替的構成では、横断寸法がセンサーアレイ１１０、１１２の一辺の長さＸの約４／３（たとえば約１．３３）倍になる。一方、単一センサー撮像システムによって提供されるのは約４０万〜約１００万画素である。２センサーシステムは、単一センサーシステムとほぼ同一の横断寸法になりえる一方で、色度および輝度情報を取得するための画素数が単一センサーシステムよりも大幅に増加する。

所望の構成を実現するために画像センサーを配置する方法に関して、追加的手法が有用になる場合もある。

本明細書に援用する米国特許第７，２４１，２６２号に教示された１つの手法は、入射画像を歪めて画像センサー上に投射するものである。この画像の歪みにより、他の手法による歪みのない画像よりも大きな画像センサー上に画像が投射されることになる。このようなアプローチにより、比較的小さい投射画像サイズでありながら、より大きなセンサーを使用することが可能になる。

各種のビームスプリッタ構成の中で任意のものを使用することができる。たとえば、図７は、２アレイセンサーの別の実施形態を示す。対物レンズ４１６によって入射光４２０を集光し、対物レンズの光学軸に沿ってビームスプリッタ４１４上に合焦させる。伝搬された光（第一の画像部分）４２２は、光リダイレクション装置４２６に入り、反射されて第一の単一アレイセンサー４１０に入射する。ビームスプリッタ４１４は、反射光（対応する第二の画像部分）４２４を入射光の幅よりも長い幅に分散させる屈折特性を有する。反射光４２４の長さを第二の単一アレイ画像センサー４１２の長さと一致させることができる。この実施形態において、第一および第二の画像部分の各々が反射され、そのために画像センサー４１２および４１０が互いに１画素行または１画素列だけずれるようにオフセットされることにより、対応する各画素位置で異なる色が得られる。対物レンズの光学軸を中心として画像センサー４１０を約９０度回転させ、画像センサー４１０が画像センサー４１２と直交し、かつ画像センサー４１０と対物レンズの光学軸４１６の平行が維持されるようにすることができる。この配向により、所与の画像センサーサイズに対してパッケージングの全体的な外径をより小さくすることができる。

たとえばベイヤーフィルタを使用する１つの可能な実施形態において、上述のようにセンサーを整列させた後、対応する画素の各ペアは、第一のセンサーまたは第二のセンサーからの緑の色サンプルとともに、赤または青の色サンプルを有している。図８において、ベイヤーＣＦＡを有する第一の画像センサー５５０については、各色をその色に対応する英字で表すとともに添字「１」を付け、ベイヤーＣＦＡを有する第二の画像センサー５５２については、各色の英字に添字「２」を付けてある。また、上述のような１列オフセットを用いて第一および第二の画像センサー５５０、５５２を模式的に重ね合わせてあり、その結果、個別の画素ペア（たとえばＲ_１Ｇ_２、Ｇ_１Ｒ_２）を有する合成アレイ５５４が得られる。図９に示すように、このような色の重なりは、緑のみの画素の第一のアレイおよび赤と青の画素の第二の対応するアレイに解像すなわち分解され、その２つのアレイによって表現される。

本発明の主題の１つの可能な実施形態において、２つの単一アレイカラー画像センサーからの出力を組み合わせることによって合成アレイが形成され、その合成アレイの各位置に選択された色（たとえば緑などの「輝度」色）が入る。一例として、２つの画像センサーがベイヤーＣＦＡを使用し、選択された色が緑である場合には、図８に示すように個別の画素ペアの各々に緑の画素が入った合成アレイ５５４が得られる。さらに、図９に示すように、合成アレイ５５４は第一および第二の有効アレイ５５６および５５８に分解され、第一の有効アレイ５５６は、合成アレイ５５４の各内部位置に選択色の緑（Ｇ）を有し、第二の有効アレイは、他の各位置に他の１色（赤（Ｒ）または青（Ｂ））を有する。

前述し、より詳しくは後述するように、画像処理システムのカメラコントロールユニット（ＣＣＵ）９２６（図１３）またはその他の計算素子は、合成アレイ５５４の画素データ（たとえば色度および輝度）を処理し、各位置の欠落色を補間して高解像度カラー画像を作成することができる。たとえば、開示されたいくつかの画像処理システムは、図１２のフローチャートに例示するような方法を実装することができる。

本発明の主題のいくつかの実施形態に適する１つのＣＣＵは、ＡＣＭＩ Ｃｏｒｐｏｒａｔｉｏｎ（米国コネチカット州スタンフォード）から入手可能なＩｎｖｉｓｉｏモデルＩＤＣ１５００のＣＣＵである。さらに、望ましい条件として、画像フレームレートが少なくとも毎秒３０フレームであり、センサーが画像を検出してからＣＣＵがそれを表示するまでの遅延時間が２．５フレーム未満であることが求められる場合もある。

１つの実施形態において、１０７４×７６８の６０Ｈｚの画像表示を達成するとともに修正済みベイヤーＣＦＡデータを変換してカラー画像を表示するために必要なすべての処理を実行するようにＣＣＵを構成することができる。

１つの可能な実施形態において、ＣＣＵは、センサー１もしくはセンサー２またはその両方からの画像を出力するように構成される。図１２を参照すると、ＣＣＵまたは他の画像処理システムは、８０２で第一の単一アレイセンサーから情報を受け取り、それと同時に、並行して、別個に、または連続して、８０４で第二の単一アレイセンサーから情報を受け取ることができる。次にＣＣＵは、８０４で第一および第二の単一アレイ画像センサーから収集した未処理画像データを評価して関連づけるための方法（本明細書に開示された方法など）を呼び出すことができる。続いてＣＣＵは、８０８で各画素ペアに関する欠落した色情報を生成することができる。たとえば、２つのベイヤーＣＦＡを使用している場合、ＣＣＵは、各画素ペアに関する欠落したＲまたはＢの色情報を生成することができる（図９の合成アレイ５５４を参照）。ＣＣＵはさらに、８１０で未処理の色情報および生成された色情報をまとめ、単一カラー画像を生成することができる。

第一および第二のベイヤーＣＦＡからこのような画像を生成するプロセスは「デモザイキング」と呼ばれることがある。図１０、図１１および図１２を参照して、デモザイキングの１つのアプローチを以下に説明する。最初に図１０を参照すると、緑（Ｇ）の画素と赤（Ｒ）の画素が交互に並ぶ画素行５１４における製造工程の欠陥により、緑（Ｇ）と青（Ｂ）の画素が交互に並ぶ画素行５１６と比較して、緑（Ｇ）の各画素の応答特性がわずかに異なることがありえる。したがって、図１０では、第一の単一アレイ画像センサー５１０内のＧ画素をＧｒ（赤（Ｒ）の行５１４における緑（Ｇ）の画素を表す）とＧｂ（青（Ｂ）の行５１６における緑（Ｇ）の画素を表す）で示している。さらに、第一の単一アレイ画像センサー５１０と第二の単一アレイ画像センサー５１２の製造過程の違いにより、それぞれのセンサーで各種の画素の応答が若干異なることがありえる。したがって、第一の単一アレイ画像センサー５１０の各色Ｒ、Ｇｒ、Ｂ、Ｇｂには第一の単一アレイセンサーとの関連を意味する「１」を付け、第二の単一アレイ画像センサー５１２のフィルタ素子には第二の単一アレイ画像センサーとの関連を意味する「２」を付けてある。

製造上の不完全さが画素化アレイの寸法変化を引き起こすことがある。そのため、仮想的な「完全な」整列と比較して、センサー相互間の位置がわずかにずれることがありえる。しかしながら、多くの場合、実際の整列は約０．２画素幅の範囲内に収まる。別の言い方をすれば、画素の行または列間の最大オフセットを、たとえば約０．２画素幅（またはその他の固有画素寸法）になるように選択することができる。２．２μ×２．２μ画素のセンサーを使用する１つの可能な実施形態において、閾値オフセットを０．４４μ未満になるように選択することができる。さらに、センサー平面内での２つのセンサーの角度ずれは約０．０２度未満になりえる。センサー平面間の傾きは、約１度未満になるように規定することができる。一般的に、各センサーは、投射画像部分と実質的に垂直で、画像部分全体の合焦が維持されるように配置される。別の言い方をすれば、各センサーの光路の長さは、望ましくは同一であり、場合によっては光路長の差を約１μ未満に抑えることができる。

第一および第二の単一アレイ画像センサー５１０、５１２の整列後、得られた画素データのペアは、図１０に示すように表現される（たとえば、先に図８に関連して説明したように画素ペアの合成アレイを画定し、先に図９に関連して説明したように合成アレイを輝度アレイと色度アレイに分解した後）。さらに図１０を参照すると、緑センサーデータを第一の（たとえば輝度）アレイ５１８にまとめ、赤−青センサーデータを第二の（たとえば色度）アレイ５２０にまとめることができる。この輝度および色度アレイは、それぞれ、第一および第二の単一アレイベイヤーＣＦＡの一方を１つの緑センサーに、他方を青と赤の画素が交互に並ぶ１つのセンサーに置き換えることによって直接的に生成される。

前述のように、製造上の欠陥により、同一の入力によって照射された場合であれ、Ｇ１ｒ、Ｇ２ｒおよびＧ１ｂ、Ｇ２ｂが同一の出力信号を生成することは期待できない。これに対し、既知の方法を用いてＧ１ｒ、Ｇ２ｒおよびＧ１ｂ、Ｇ２ｂの各画素を較正することができる。

このような単一アレイセンサーからの画像データ出力を「未処理」画像データと呼ぶことがある。未処理画像データに色情報が含まれるとはいえ、表示された時、さらなるデジタル画像処理なしでは人間の目でそのカラー画像を容易に知覚し、または完全に認識することはできない。

未処理データに対して実行されるデジタル画像処理のレベルは、デジタルカメラの設計者が達成したいと考える所望の品質レベルによって決定されうる。未処理データ出力に含まれる色を再構成して表示するために使用できる３種類のデジタル画像処理動作には、（１）色補間、（２）ホワイトバランス、（３）色補正が非限定的に含まれる。これらの各処理段階を２種類のセンサーのベイヤー形式から画像が形成される実施形態に適合させることができる。

未処理センサー出力の較正は、各カラーチャネルに関する個別センサーの異なるゲインおよびオフセットを考慮に入れて実行される。この較正を実行する１つの方法として、目標物に均一に照射された１組のグレーを観察し、Ｇ１ｒとＧ２ｒとの間のゲインおよびオフセットを計算して差分２乗総和を最小にする。そのときに目標物の均一に照射された画像が得られる。各画素ペアについてゲイン／オフセットを計算してもよい。あるいは、画像を１組のブロックに分割して各ブロックごとに補正係数を計算するという方法もある。このプロセスをＧｂ、Ｂ、Ｒの各画素についても実行することができる。

各画素についてＲ、Ｇ、Ｂの三つ組を作成するために色補間を採用することができる。たとえば、単一アレイ画像センサー５１０、５１２（図１０）の整列および較正後、各画素ペアのそれぞれにＧ値およびＢまたはＲのいずれかの値が入っている。欠落したＢ値またはＲ値は、たとえば、隣接画素のＢ値またはＲ値に基づいて補間される。

実行可能な補間方法の１つは、周囲の色値を用いて欠落色の近似値を確定するものである。図１１は、赤−青センサーデータのアレイ６１２に適用するための３×３の補間マスク６１０を示す。欠落した赤または青の色値は中心に位置しており、これを「０」で示してある。また、周囲の各位置に関する重み付け係数を「ａ」および「ｂ」で示してある。一実施形態により、重み付け係数「ａ」＝１／６および「ｂ」＝１／１２が与えられる。たとえば、画素６１４に位置する青（Ｂ）値（Ｂ０）は、次式のように隣接のＢ値に補間マスク６１０内の重み付け係数を掛けることによって近似される。
（Ｂ２−１）＊ｂ＋（Ｂ２−２）＊ｂ＋（Ｂ１−３）＊ａ＋（Ｂ１−４）＊ａ＋（Ｂ２−５）＊ｂ＋（Ｂ２−６）＊ｂ＋（Β’−１）＊ａ＋（Ｂ’−２）＊ａ＝Ｂ０
ここで、Ｂ’−１およびＢ’−２は、センサーからＢの測定値が得られなかった場合にＢ０に隣接する位置でＢに対して以前に補間された値である（たとえば画素６１４の上下の網かけされたＲ１セル）。代替的アプローチ（補間マスク６２０によって表現される）において、Ｂ’−１およびＢ’−２の値は無視することができ、また、次式によってＢ０を計算することができる。
（Ｂ２−１）＊ｂ＋（Ｂ２−２）＊ｂ＋（Ｂ１−３）＊ａ＋（Ｂ１−４）＊ａ＋（Ｂ２−５）＊ｂ＋（Ｂ２−６）＊ｂ＝Ｂ０

各重み付け係数の合計が１に等しい限り、ａおよびｂの多数の値を選択することができる。たとえば、補間マスク６１０に示したすべての重み付け係数を使用する場合には、重み付け係数の合計が４ａ＋４ｂ＝１になっていなければならない。補間マスク６２０を使用する代替的アプローチにおいて、０に隣接してＢ値を有する画素に対応するのは２個のａだけであり、重み付け係数を規定する等式は２ａ＋４ｂ＝１になる。場合によっては、重み付け係数の値が重み付け係数ｂの値の約２倍から約６倍の大きさになることもある。

３×３の補間を直接適用できない場合として、異なる（たとえば、より小さい）補間マスク６１８または６２２を画像の縁に沿って使用することができる。別の言い方をすれば、アレイの縁に直接隣接する（境界を接する）セルでは、少なくともいくつかの「隣接セル」が存在しないため、３×３の補間マスクを適用することは不可能である。このような「周縁効果」に対処するため、「ミラーリング」手法を用いることができる。たとえば、欠落セルの係数として、その欠落セルに対向して配置されたセル内の係数に基づく値を割り当てることができる（たとえば、対向するセル内の係数と同じ値が割り当てられる）。言い換えれば、補間マスク内の各欠落セルに対して補間マスクの「ミラー」側の対応する値を割り当てることができる。たとえば、図１１を参照すると、係数の１番目の列６１８ａの同一の値を有する３番目の列（すなわちｂ、ａ、ｂ）を追加することによって係数マトリクス６１８が完成する。同様の方法により、３番目の列には、マスク６２２の１番目の列に基づいてマスク６２２内の係数を割り当てることができる。したがって、マスク６２２を使用して画素６１６のＢ値を計算するには、次式を用いればよい。
２＊（（Ｂ２−７）＊ｂ）＋２＊（（Ｂ１−８）＊ａ）＋２＊（（Ｂ２−９）＊ｂ）＝Ｂ０

代替的アプローチでは、マスク６１８など、より小さい、または異なる形状の補間マスクを使用する。マスク６１０の適用と同様、選択されたマスク内部のすべての重み付け係数の合計は１であってよい。別の実施形態によって与えられる補間マスク６２２では、関連の色情報が入っている０に隣接した係数「ａ」のみが使用される。１つのアプローチにおいて、ａ＋２ｂ＝１になるように係数を組み合わせることができる。いくつかの実施形態によって与えられる「ａ」は、「ｂ」値の約２倍から約６倍の範囲になりえる。

上述のような補間方法を選択すれば、欠落した色情報を有する各セルについて、欠落した各色値（たとえばＢ、Ｒ）を計算することができる。また、各単一アレイセンサーの出力に対して従来のホワイトバランスおよび色補正を適用することにより、開示された２アレイカラー画像センサーにホワイトバランスおよび色補正を適用することができる。場合によっては、以下により詳しく説明するようなコンピューティング環境において、欠落した色値の計算を実行することができる。さらに、所与の計算の完了後、そのコンピューティング環境は、各画素アレイからの出力信号をモニター上に表示し、コンピュータ可読媒体に格納し、または印刷が可能な画像に変換することができる。

標準ベイヤーセンサーおよび関連の電子入出力回路については、開示された２アレイカラーセンサーとともに使用するために変更を加える必要がない。そのため、実装によっては市販の標準化されたコンポーネントを使用することができ、結果的にコストが削減されるだけでなく製造サイクルも短縮される。

前述のように、開示されたいくつかの２アレイカラー画像センサーは、たとえば内視鏡撮像システムなど、物理的空間がわずかしかない用途での使用に適合しえる。たとえば、一部の硬性内視鏡によって与えられる内部パッケージング容積は、空間の内径が約１０ｍｍである。別の言い方をすれば、一部の硬性内視鏡は直径が約１０ｍｍの実質的に円筒形の容積を有し、その中に撮像システムの光学素子および画像センサーがパッケージングされることになる。開示されたいくつかの２アレイカラー画像センサー（口語的に「カメラ」と呼ばれることもある）は、そのような内視鏡（またはその他の空間が限定された用途）の内部に配置することができる。たとえば、一部の軟性内視鏡では、開口直径が約３ｍｍから約４ｍｍの範囲である。

そのような内視鏡撮像システムの概略図を図１３に示す。システム９２０は、遠位先端９３０および挿入管９２８を画定する内視鏡９２２を含む。挿入管９２８の内部に小型カメラ（たとえば本明細書に開示された２アレイカラー画像センサーを有するもの）を配置することができる。いくつかの例では、開示されたカラー画像センサーの物理的サイズが小さいため、遠位端９３０に隣接して（たとえば対物レンズの焦点距離の範囲内）センサーが配置される。ケーブル（またはその他の信号結合器）９２４によって、センサー（図１３に図示せず）を画像処理システム（たとえばＣＣＵ）９２６のプロセッサに電気的に結合することができる。

いくつかの例では、内視鏡９２２は内部光源（図１４）も有し、その内部光源は観察対象の領域を照射するように構成され、内視鏡の遠位端９３０に隣接して外部に配置される。内視鏡９２２内部の光ガイドを照射するために、光ファイバ束９３４と組み合わせて外部光源９３２を使用することができる。いくつかの実施形態では、内部光源と組み合わせて（またはその代わりに）外部光源を使用することができる。

モニター９３６を処理ユニットと結合し、処理ユニットが２アレイカラー画像センサーからの信号に基づいて組み立てた画像を表示するように構成することができる。

次に図１４を参照し、挿入管９２８（図１３）に適合する小型カメラのヘッドアセンブリ９４０について以下に説明する。１つ以上の光源９４２（たとえばＬＥＤ、光ファイバ束）をアセンブリ９４０の遠位端９２８に配置することができる。そのような配置により、内視鏡９２２に対して遠位側に位置する領域を使用時に照射することが可能になる。遠位端９３０に隣接し、かつ光源に隣接して、光学対物レンズ９４４を取り付けることができる。前述のように、レンズ９４４は、光源９４２によって照射された対象物からの反射光を集め、ビームをビームスプリッタ９４６上に合焦する。また、ビームスプリッタは、レンズからの入射ビームを第一および第二の画像部分に分割し、第一および第二の単一アレイカラー画像センサー９４８、９５２のそれぞれに各画像部分を投射する。センサーアレイ９４８、９５２は、１つ以上の回路部分（たとえばプリント基板すなわち「ＰＣＢ」）を画定する基板９５０に電気的に結合される。

図１５は、図４に示した２アレイカラー撮像センサーを挿入管９２８の遠位先端に取り付けた概略図である。

内視鏡９２２の挿入管９２８を通過するケーブル９２４（図１３）は、アセンブリ９４０を処理ユニット９２６に接続する。いくつかの例では、１つ以上のコントローラおよび／または通信インタフェースチップ９５４を基板９５０の回路部分に結合することができ、また、処理ユニット９２６のために画像センサーアセンブリ９４８からの電気信号を調整（たとえば増幅）することができる。そのインタフェースチップ９５４は、処理ユニットからの制御入力信号に応答することができる。場合によっては、センサーアレイ９４８、９５２からの信号がチップ９５４によって十分に処理され、合成画像信号がチップ９５４から出力されてケーブル９２４によって伝送される。場合によっては、ケーブル９２４を省略することができ、合成画像に関する情報を運ぶ信号を送信するように構成された無線信号送信器（たとえば赤外線信号送信器、無線周波数送信器）がチップ９５４によって画定される。処理ユニット９２６は、そのような信号を受信して機能的に応答するように構成された受信器を画定することができる。

実質的に内視鏡９２２の全長にわたって伸びるワーキングチャネル９５６を基板９５０の下に配置することができる。このワーキングチャネル９５６は、既知の方法で１つ以上の機器（たとえば医療機器）を通すように構成することができる。

開示された２アレイセンサーは、可視光スペクトル内の電磁放射に応答することができる。他の実施形態において、開示されたセンサーは、赤外波長および／または紫外波長に応答する。たとえば、いくつかの実施形態は、たとえば約４５０ｎｍから約６５０ｎｍの範囲内の１つ以上の波長（λ）など、約３８０ｎｍから約７５０ｎｍの範囲内の１つ以上の波長（λ）に応答することができる。

いくつかの実施形態では、１００度の画角（拡がり角）が与えられる。しかしながら、カメラが使用される用途によって異なる画角がありえる。たとえば、広角レンズ（たとえば「魚眼」レンズ）との組み合わせによって１８０度という広さの画角が得られ、あるいは、より狭い画角（たとえば望遠鏡またはズームレンズの場合に望ましい１度未満の角度）もありえる。

小型撮像センサーを使用することが可能である。たとえば、米国カリフォルニア州サンノゼのＡｐｔｉｎａ（登録商標）からＭＴ９Ｍ０１９Ｄ００ＳＴＣというモデル番号で市販されているダイなど、２．０メガピクセルＣＭＯＳダイは、画素サイズが２．２μｍ×２．２μｍ、センサーフォーマットサイズが１／４インチであり、たとえば内視鏡の実施形態など、いくつかの実施形態に適合しえる。

しかしながら、センサーの物理的サイズおよびその解像度に関する要件は、いくつかの実施形態において緩和されることがあり、あるいは意図された用途によって、少なくとも部分的に強化されることもある。その例として、デジタル一眼レフカメラ、望遠鏡、またはハンドヘルド型ビデオカメラには、たとえば内視鏡に適したセンサーよりも大型のセンサーが適する。画素数については、物理的サイズの制約によってセンサーが限定される場合のように非常に小さい数から、たとえばＩＭＡＸ（登録商標）上映に適した「高精細」カメラの場合のように非常に大きい数までの範囲がありえる。

場合によっては、歪みが２８％未満に抑えられ、相対照度を９０％よりも大きくすることができ、また、作業距離（たとえば焦点距離）を、たとえば約６０ｍｍから約１００ｍｍの範囲（単なる一例として約８０ｍｍ）など、約４０ｍｍから約２００ｍｍの範囲にすることができる。また、センサーの仕様と一致するように主光線角度を選択することができる。しかしながら、とくにセンサーのマイクロレンズの効果が無効化されている（たとえばセンサーの接着による）場合には、テレセントリック設計が適切でありえる。だとしても、トランジスタを共有することによる不均一サンプリングの影響は、主光線角度の基準が満たされている実施形態と比較した性能低下の原因になりえる。画像品質は回折限界に近づくことができる。エアリーディスクの直径は、画素サイズの２倍で望ましい閾値に到達できる。したがって、エアリーディスクの直径は約４μになる。

３センサーシステムと比較した本発明の主題の１つの有意な利点は、撮像システムを収容するために必要とされるサイズの低減である。図１２に示すように、センサーサイズが同等ならば、２センサー構成７０２は、３センサー構成７０４の少なくとも半分になる。これは、使用センサー数が少ないことと、３センサー構成に必要とされるビームスプリッタの方が相当に大きく、より複雑であることによる。

特定の３センサーシステムと比較した本発明の主題の実施形態に関するもう１つの利点は、感度の増加である。特定の３センサーシステムにおいて、入射光は３本のビームに分割され、エネルギーが約１／３に減少する。続いて光がカラーフィルタを通過することにより、さらにエネルギーが１／３に減少する。これらの影響が重なり、各センサーで読み取られるのは入射光の約１／９になる。しかし、本発明によれば、少なくとも１つの実施形態に例示されているように、入射光は２本のビームに分割され、エネルギーは１／２に減少する。続いて光がカラーフィルタを通過することにより、さらにエネルギーが１／３に減少する。これらの影響が重なり、各センサーで読み取られるのは入射光の約１／６になる。２つの結果を比較すると、２センサーシステムは各センサーでより多くの光エネルギーを受けるため、強度の差に対してセンサーがより敏感になる。

３センサーシステムと比較した本発明の主題の実施形態に関する追加的な利点は、電力消費の低減および処理速度の向上である。センサー数を２個に制限することにより、センサーを動作させるために必要な電力がその個数に応じて１／３減少する。同様に、２個のセンサーからの未処理データを処理するために必要とされる時間は、３個のセンサーからの未処理データの場合よりも少なくなる。

本明細書に引用するすべての特許および非特許文献について、すべての目的に対し、その全体を本明細書に援用する。
コンピュータ環境

図１６は、前述の方法、実施形態、手法、および技術を実装するための適切なコンピューティング環境１１００の一般化された例を示す。当該技術は汎用または専用の多様なコンピューティング環境において実装可能であり、コンピューティング環境１１００は、当該技術の使用または機能の範囲に関していかなる限定も示唆するものではない。たとえば、開示された技術を他のコンピュータシステム構成で実装することができ、これにはハンドヘルド型装置、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどが含まれる。開示された技術を分散コンピューティング環境で実施することもでき、その場合、通信ネットワークを介してリンクされた遠隔処理装置によってタスクが実行される。分散コンピューティング環境において、プログラムモジュールをローカルとリモートの両方の記憶装置に配置することができる。

図１６を参照すると、コンピューティング環境１１００は、少なくとも１つの中央処理ユニット１１１０およびメモリ１１２０を含む。図１６において、このもっとも基本的な構成１１３０を点線で囲んである。コンピュータ実行可能命令を実行する中央処理ユニット１１１０は、実在のプロセッサと仮想的なプロセッサのいずれでもよい。多重処理システムでは、処理能力を増大させるために複数の処理ユニットがコンピュータ実行可能命令を実行する。そのため、複数のプロセッサが同時に動作しているということがありえる。メモリ１１２０は、揮発性メモリ（たとえばレジスタ、キャッシュ、ＲＡＭ）、不揮発性メモリ（たとえばＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなど）、またはその２つの何らかの組み合わせであってよい。ソフトウェア１１８０は、たとえば本明細書に説明する技術を実装することができ、メモリ１１２０に格納される。コンピューティング環境が追加的な特徴を有していてもよい。たとえば、コンピューティング環境１１００は、記憶装置１１４０、１つ以上の入力装置１１５０、１つ以上の出力装置１１６０、および１つ以上の通信接続部１１７０を含む。バス、コントローラ、またはネットワークなどの相互接続機構（図示せず）によって、コンピューティング環境１１００の各種コンポーネントが相互接続される。典型的には、オペレーティングシステムソフトウェア（図示せず）がコンピューティング環境１１００内で実行される他のソフトウェアのための動作環境を提供するとともに、コンピューティング環境１１００の各種コンポーネントの動作を調整する。

記憶装置１１４０は、着脱式または非着脱式であってよく、磁気ディスク、磁気テープまたはカセット、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤなどのほか、情報を保存するために使用可能かつコンピューティング環境１１００の内部でアクセス可能な任意の媒体を含む。記憶装置１１４０は、本明細書に説明する技術を実装できるソフトウェア１１８０のための命令を格納する。

入力装置１１５０は、キーボード、キーパッド、マウス、ペン、トラックボールなどのタッチ入力装置、音声入力装置、スキャン装置、その他、コンピューティング環境１１００に対して入力を与える任意の装置である。音声に関して、入力装置１１５０は、アナログまたはデジタル形式の音声入力を受け入れるサウンドカードまたは類似の装置、あるいはコンピューティング環境１１００に対して音声サンプルを与えるＣＤ−ＲＯＭ読取装置であってよい。出力装置１１６０は、ディスプレイ、プリンタ、スピーカー、ＣＤ書込装置、その他、コンピューティング環境１１００からの出力を与える任意の装置である。

通信接続部１１７０は、通信媒体（たとえば接続ネットワーク）を介した別のコンピューティングエンティティとの通信を可能にする。その通信媒体により、コンピュータ実行可能命令、圧縮されたグラフィックス情報、または変調データ信号内のその他のデータなどの情報が伝達される。

コンピュータ可読媒体は、コンピューティング環境１１００の内部でアクセス可能な任意の実用媒体である。非限定的な例として、コンピューティング環境１１００におけるコンピュータ可読媒体は、メモリ１１２０、記憶装置１１４０、通信媒体（図示せず）、およびそれらの任意の組み合わせを含む。

その他の実施形態
本明細書に開示されたシステムでは、多くの実施形態において、わずか２個の撮像センサーを使用して高品質のカラー画像を得ることが可能である。いくつかの２センサー撮像システムは非常に小型であり、これまで高品質モノクロ画像または低品質カラー画像に限定されていた用途に使用することができる。非限定的な例として、開示された２センサーカラー撮像システムは、腹腔鏡、ボロスコープ、気管支鏡、結腸内視鏡、胃内視鏡、十二指腸内視鏡、Ｓ状結腸内視鏡、プッシュ小腸内視鏡、胆道鏡、膀胱鏡、子宮鏡、喉頭鏡、鼻喉頭鏡、胸腔鏡、尿管鏡、関節鏡、カンデラ、神経内視鏡、耳鏡および洞鏡を含む各種内視鏡に使用することができる。

本開示で言及する添付の図面は本明細書の一部を形成するものであり、全体を通じて同種の番号は同種の部分を示す。これらの図面には特定の実施形態が例示されているが、その他の実施形態も可能であり、本開示の意図された範囲から逸脱することなく構造上の変更を加えることができる。図面の説明を容易にするために方向および参照指示（上、下、上端、下端、左、右、後方、前方など）を用いているが、これらは制限的な意味を有するものではない。たとえば、「上」、「下」、「上側」、「下側」、「水平」、「垂直」、「左」、「右」などの特定の用語を使用している場合がある。これらの用語は、とくに実施形態の図に関して、相対的な関係を含む説明をより明確なものとするために必要に応じて使用している。しかし、これらの用語は、絶対的な関係、位置、および／または向きを意味するものではない。たとえば、対象物に関して、「上」面は、単にその対象物を裏返すだけで「下」面になりえる。しかしながら、それによって別の面になるわけではなく、対象物自体に変化はない。本明細書の用語として、「および／または」は、「および」とともに「および」かつ「または」を意味する。

したがって、上述の詳細な説明は限定の意味で解釈されるべきものではなく、本開示の精査後、当業者によって理解されるように、本明細書に説明する各種の概念を用いて考案し、構築することができる広範な種類の撮像システムがありえる。さらに、同じく当業者によって理解されるように、本明細書に開示された概念から逸脱することなく、開示された実施例をさまざまな構成に適合させることができる。したがって、開示された原理が適用されうる多くの可能な実施形態を前提として、上述の実施形態は例にすぎず、範囲を制限するものとして解釈すべきではないということが認識されるべきである。これらの理由により、以下の請求項の範囲および趣旨内に含まれるすべてのものを本発明者らの発明として主張する。

１０ 第一の単一アレイカラーセンサー
１２ 第二の単一アレイカラーセンサー
１４ ビームスプリッタ
１６ レンズ
２０ 入射光
２１ 入射ビーム
２２ 第一の光のビーム
２４ 第二の光のビーム

Claims (31)

1. 撮像システムであって、
   第一の複数の第一の画素、第一の複数の第二の画素および第一の複数の第三の画素を有する第一の単一アレイセンサーと、
   第二の複数の第一の画素、第二の複数の第二の画素および第二の複数の第三の画素を有する第二の単一アレイセンサーとを備え、
   前記第一および第二の各単一アレイ画像センサーは、第一および第二の対応する各画像部分によって照射されるように構成され、該第一の画像部分によって照射される各画素が該第二の画像部分によって照射される画素に対応することにより個別の画素ペアが画定され、各画素ペアは第一の画素を含む、撮像システム。
2. 請求項１の撮像システムであって、電磁放射の入射ビームを前記第一および第二の各画像部分に分割するように構成されたビームスプリッタをさらに備え、
   前記スプリッタは、前記第一のセンサー上に前記第一の画像部分を投射し、それにより前記第一のセンサーの１つ以上の画素を照射するとともに、前記第二のセンサー上に前記第二の画像部分を投射し、それにより前記第二のセンサーの１つ以上の画素を照射するようにさらに構成される、前記撮像システム。
3. 前記第一の画素の各々は輝度画素を構成する、請求項１の撮像システム。
4. 前記第二の画素の各々および前記第三の画素の各々は色度画素を構成する、請求項１の撮像システム。
5. 前記第一のセンサーおよび前記第二のセンサーの一方または両方がベイヤーセンサーを含む、請求項１の撮像システム。
6. 前記第一の画素の各々は第一の範囲内の電磁放射の波長を検出するように構成され、前記第二の画素の各々は第二の範囲内の電磁放射の波長を検出するように構成され、前記第三の画素の各々は第三の範囲内の電磁放射の波長を検出するように構成される、請求項１の撮像システム。
7. 前記波長の第一の範囲は約４７０ｎｍから約５９０ｎｍまでの幅を有する、請求項６の撮像システム。
8. 前記波長の第二の範囲は約４３０ｎｍから約５１０ｎｍまでの幅を有し、前記波長の第三の範囲は約５５０ｎｍから約７００ｎｍまでの幅を有する、請求項６の撮像システム。
9. 各々のベイヤーセンサーはＣＭＯＳセンサーまたはＣＣＤセンサーを含む、請求項５の撮像システム。
10. 前記第一のセンサーおよび前記第二のセンサーの各々は個別の実質的に平面の基板を備え、該個別の実質的に平面の基板は互いに実質的に直交して配向される、請求項１の撮像システム。
11. 前記第一および第二のセンサーの各々は個別の実質的に平面の基板を備え、該個別の実質的に平面の基板は互いに実質的に平行に配向される、請求項１の撮像システム。
12. 前記第一および第二のセンサーの各々は個別の実質的に平面の基板を備え、該個別の実質的に平面の基板は互いに対して斜角に配向される、請求項１の撮像システム。
13. 前記第一のセンサー、前記第二のセンサーまたはその両方の第一の画素の合計数と第二の画素の合計数と第三の画素の合計数の比は、約１．５：１：１から約２．５：１：１の範囲である、請求項１の撮像システム。
14. 前記第一のセンサーおよび前記第二のセンサーの各々は個別のベイヤーセンサーを含み、前記第一の画像部分が前記第一のセンサーの一部を照射し、前記対応する第二の画像部分が前記第二のセンサーの一部を照射する時に、前記第二のセンサーの照射部分が前記第一のセンサーの照射部分に対して少なくとも画素１行分シフトされ、それにより各々が第一の画素を含む前記個別の画素ペアが画定されるように、前記第一のセンサーに対して前記第二のセンサーが配置される、請求項１の撮像システム。
15. 請求項２の撮像システムであって、
    外面および内部容積を画定する筐体と、
    前記筐体の内部容積内に配置され、入射する電磁放射を集め、それにより該電磁放射の入射ビームを前記ビームスプリッタに向けて合焦するように構成された対物レンズとをさらに備える、前記撮像システム。
16. 前記筐体は遠位先端および近位ハンドル端を画定する細長い筐体を含み、前記対物レンズ、ビームスプリッタおよび前記第一および第二のセンサーは前記遠位先端に隣接して配置される、請求項１５の撮像システム。
17. 前記細長い筐体は内視鏡筐体を含む、請求項１６の撮像システム。
18. 前記内視鏡筐体は、腹腔鏡筐体、ボロスコープ筐体、気管支鏡筐体、結腸内視鏡筐体、胃内視鏡筐体、十二指腸内視鏡筐体、Ｓ状結腸内視鏡筐体、プッシュ小腸内視鏡筐体、胆道鏡筐体、膀胱鏡筐体、子宮鏡筐体、喉頭鏡筐体、鼻喉頭鏡筐体、胸腔鏡筐体、尿管鏡筐体、関節鏡筐体、カンデラ筐体、神経内視鏡筐体、耳鏡筐体、洞鏡筐体、顕微鏡筐体および望遠鏡筐体の中の１つまたは複数を含む、請求項１７の撮像システム。
19. 前記第一および第二の単一アレイセンサーは個別の第一および第二の出力信号をＣＣＵによって受信可能な形式で出力するように構成され、該ＣＣＵは前記個別の出力信号から合成画像を生成するように構成される、請求項１６の撮像システム。
20. 前記第一のセンサーおよび前記第二のセンサーからの前記個別の出力信号を前記ＣＣＵの入力に伝送するように構成された信号結合器をさらに備え、該信号結合器は前記筐体内部の前記センサーから前記近位ハンドル端まで延在する、請求項１９の撮像システム。
21. 画像を取得する方法であって、
    電磁放射のビームを第一のビーム部分および対応する第二のビーム部分に分割することと、
    前記第一のビーム部分を第一の画素化センサー上に照射し、前記対応する第二のビーム部分を第二の画素化センサー上に照射することと、
    個別の画素ペアについて色度および輝度情報を検出し、各画素ペアは前記第一の画素化センサーの一方の画素および前記第二の画素化センサーの対応する画素を含み、個別の各画素ペアは前記輝度情報を検出するように構成された１画素を含むことと、
    前記個別の画素ペアによって検出される前記色度および輝度情報を処理して合成カラー画像を生成することとを含む、方法。
22. 前記第一の画素化センサーは、第一の複数の第一の画素、第一の複数の第二の画素および第一の複数の第三の画素を有し、前記第一のビーム部分を前記第一の画素化センサー上に照射する動作は、前記第一のセンサーの画素の少なくとも１つを照射することを含み、前記第二の画素化センサーは、第二の複数の第一の画素、第二の複数の第二の画素および第二の複数の第三の画素を有し、前記対応する第二の画像部分を前記第二のセンサー上に照射する動作は、前記第二のセンサーの画素の少なくとも１つを照射することを含み、前記第一のセンサーの照射された各画素は、前記第二のセンサーの照射された画素に対応し、それにより個別の画素ペアが画定される、請求項２１の方法。
23. 前記第一の画素の各々は約４７０ｎｍから約５９０ｎｍまでの電磁放射の波長を検出するように構成され、前記第二の画素の各々は約４３０ｎｍから約５１０ｎｍまでの電磁放射の波長を検出するように構成され、前記第三の画素の各々は約５５０ｎｍから約７００ｎｍまでの電磁放射の波長を検出するように構成されており、個別の各画素ペアは第一の画素を含む、請求項２２の方法。
24. 前記輝度情報を検出する動作は、前記輝度情報を検出するように構成された１画素によって約４７０ｎｍから約５９０ｎｍまでの電磁放射の波長を検出することを含み、前記色度情報を検出する動作は、前記ペアの他方の画素によって約４３０ｎｍから約５１０ｎｍまでの、または約５５０ｎｍから約７００ｎｍまでの電磁放射の波長を検出することを含む、請求項２１の方法。
25. 前記個別の画素ペアによって検出される前記色度および輝度情報を処理して合成カラー画像を生成する動作は、個別の画素ペアの各々から欠落した色度情報を、隣接する画素ペアからの色度情報を使用して生成することを含む、請求項２１の方法。
26. 前記個別の画素ペアによって検出される前記色度および輝度情報を処理して合成カラー画像を生成する動作は、モニター上に合成カラー画像を表示することをさらに含む、請求項２５の方法。
27. コンピュータ実行可能命令を収納する１つ以上のコンピュータ可読媒体であって、該コンピュータ実行可能命令は、一連のステップを実行することによってコンピューティング装置に２アレイカラー画像センサーからの１つ以上の電気信号を表示可能な画像に変換させるためのものであり、前記一連のステップは、
    第一および第二の単一アレイカラー画像センサーを含む２アレイカラー画像センサーからの電気信号を検出することと、
    前記検出された信号から色度および輝度情報の合成アレイを生成し、該合成アレイの各セルは前記センサーの一方からの検出された輝度情報および前記他方のセンサーからの検出された色度情報を有することと、
    前記輝度および色度情報が入っている画像信号を生成して出力装置に送出することとを含む、コンピュータ可読媒体。
28. 前記画像信号を送出するステップは、前記画像信号を有線または無線で送信することを含む、請求項２７の１つ以上のコンピュータ可読媒体。
29. 前記一連のステップは、前記合成アレイを個別の輝度アレイおよび色度アレイに分解することをさらに含む、請求項２７の１つ以上のコンピュータ可読媒体。
30. 前記一連のステップは、前記色度アレイの各セルに関する欠落した色度情報を確定することをさらに含む、請求項２９の１つ以上のコンピュータ可読媒体。
31. 前記輝度情報は、約４７０ｎｍから約５９０ｎｍまでの波長に少なくとも部分的に対応する、請求項２７の１つ以上のコンピュータ可読媒体。