JP2011507353A - カラーモザイク撮像器から全色性応答を達成するための方法および装置 - Google Patents

Abstract

低価格のカラー撮像器から単色応答を達成するための方法および装置を提示する。本方法および装置において、赤外（ＩＲ）光に対する帯域外の応答は、単色画像を生成するように開発されたソリッドステートセンサによるものである。単色画像は、該センサからＩＲ遮断フィルタを除去し、ＬＥＤからのＩＲ放射で撮像される光景を照明することにより生成される。該ＬＥＤから発される波長は、該センサにカラーモザイクフィルタが恒久的に取り付けられているにもかかわらず、該センサのＩＲ光に対する応答が比較的一様である領域に応答する波長に適合される。

Description

本発明は撮像システムに関し、特に、マシンビジョンシステムに適用される撮像システムに関する。特に、本発明は、マシンビジョンシステム内のカラー撮像器の使用に関する。より具体的には、マシンビジョン処理のために単色画像を作成するカラー撮像器の使用に関する。

従来、当該技術分野で、それらの基底技術（つまり、電荷結合素子の略称、ＣＣＤまたは相補型金属酸化膜半導体の略称、ＣＭＯＳ）による、焦点面アレイソリッドステート撮像器の市場は、ビデオカメラの市場により牽引されており、その中で、ＣＣＤまたはＣＭＯＳセンサが主要構成要素である。放送局で使用されるようなビデオカメラ、電子的ニュース取材（ＥＮＧ）および消費者カムコーダ（ビデオカメラやテープデッキまたはディスクドライブレコーダが単一の小型本体に統合される）はすべて典型的にカラー信号を提供する。この信号は典型的に２つの方法のどちらかにより生成される。

第１の方法は、典型的に専門家用の機器および最高級の消費者機器に適用される。この方法の場合、入力画像はビデオレンズを通過してから、二色性プリズムクラスタを通過する。二色性プリズムクラスタは、３つのプリズムの組立体で、そのうちの２つは二色性（色帯域選択）コーティングを有する。第１のプリズムは、１つの色帯域、典型的には青を第１のＣＣＤまたは類似の撮像器に反射し、かつ残りの色を通過させる表面を有する。第２のプリズムは、第２の色帯域、典型的には緑を第２のＣＣＤまたは類似の撮像器に反射する表面を有する。第３のプリズムは信号の残り、この場合は赤帯域を受容し、その赤帯域第３のＣＣＤまたは類似の撮像器へ透過させる。第３のプリズムにコーティングがある場合、典型的には、例えば、赤外光のように、ＣＣＤは感知するが望ましくないと考えられる、帯域外の光をカットするコーティングである。赤外（ＩＲ）光をカットするこのコーティングは、代替として、プリズムクラスタの前面に配置されるか、または保護窓に組み入れられるか、またはレンズに組み入れられることができる。第１の方法においては、色分解が二色性プリズムクラスタで実現されるので、ＣＣＤまたは類似のセンサの各々は、フルカラースペクトル応答が失われずにそのままで配備されることに留意されたい。さらに、センサの各々はその固有の最大分解能で画像データを取得し、撮像される光景から３色を表す３つの最大分解能の画像を生成する。

第２の方法は、典型的に、低価格および／または非常に小型のＥＮＧシステム、ならびにほとんどの消費者向けカムコーダシステム等の低級機器において使用される。ここでは単一のＣＣＤまたは類似の撮像器が使用される。カラーモザイクフィルタは、ソリッドステート撮像器と統合され、これによって、撮像器アレイの各画素（ピクセル）は対応する色帯域フィルタにより被覆される。図１は、例示的な赤１２、緑１４および青１６のカラーフィルタ素子を示す、カラーモザイクフィルタ１３の図である。典型的に、ピクセルの半分は、主に緑の画像成分を透過させる色帯域フィルタに関連付けられ、ピクセルの４分の１は、主に青の画像成分を透過させる色帯域フィルタに関連付けられ、ピクセルの４分の１は、主に赤の画像成分を透過させる色帯域フィルタに関連付けられる。この種のフィルタは、ベイヤ型フィルタと称されることがある。このシステムは、人間の観察者を最も満足させる熟慮された妥協策として緑のスペクトルに偏っている。人間は緑の光に最も感度が高く、青と赤の光には感度が低い。緑の構成要素は、人間が特に反応する人間の顔に関する大部分の情報を伝える。本方法においては、フィルタは、製造工程中にセンサの不連続の受光素子と正確に整合されて、適切に機能するには整合されたままであることが必要であるため、カラーモザイクフィルタは、ソリッドステート撮像器から分離不可能であることに留意されたい。図２は、カラーモザイクフィルタが取り付けられた先行技術のソリッドステートビデオセンサの模式図で、カラーモザイクフィルタ２２が取り付けられたセンサ２０と、任意選択のＩＲ遮断フィルタ２４、光学組立体２６と、ケーブル２８によりセンサに接続された制御器３０と、を示す。

マシンビジョンを含む二次産業は、放送、ＥＮＧおよび消費者カムコーダ業界と比較すると、ビデオセンサおよびカメラのユーザは比較的小規模である。結果として、製造業者は典型的にこれらの二次市場専用のセンサを製造することはなく、したがって、これらの用途は他で使用するために製造されたセンサに依存しなければならない。マシンビジョンの用途が成功するためには、しばしば高速度処理、および高感度、高分解能かつ低価格のセンサを必要とする。これらの理由ならびに他の理由から、マシンビジョンの用途は典型的に、撮像される光景からの画像データがグレーの陰影で描画される、単色センサを使用する。単色の撮像を実現するために、マシンビジョンの用途はしばしば３チャネルの二色性プリズムクラスタの専門機器で使用するために開発されたセンサを使用する。これにより、色情報が処理される必要がないために高速度処理が達成され、広帯域の照明を感知するためにセンサ全体が利用可能であるために高感度が達成され、さらに画素またはピクセルのすべてが使用されるために高分解能が達成される。しかしながら、これらのセンサは典型的に大量生産されるカラーモザイクセンサよりはるかに高価であるため、これは安価な解決策ではない。

カラーモザイクセンサは、その低価格のためにマシンビジョンの用途で使用されることが望ましい。恒久的にカラーフィルタを取り付けた結果、これらのセンサは単色センサほど高い性能がなく、典型的に、色情報を排除する追加の処理が必要で、これにより単色画像を形成する。これらのカメラは色情報を生成するように設計されているため、これらのセンサからの画像データは、典型的に、３つの分離（赤、緑、および青）画像として、または使用可能な多数の色フォーマットのうちの１つで符号化された状態、のどちらかで伝送される。空間的に分離された赤、緑および青のピクセルは組み合わせて、単一の単色ピクセルを形成しなければならず、したがって、空間分解能を低下させ、この処理の一つの結果として、分解能を低下させる。これに加えて、カラーフィルタは各ピクセルの感度を低下させ、露出時間を長くすること、および／または光景の光エネルギーを多くすることが必要であるが、どちらも望ましくない。

ソリッドステート撮像器のＩＲに対する感度は周知である。可視および赤外を同時に撮像するための方法および装置は開発されてきた。例えば、米国特許第３，８０６，６３３号明細書のＭｕｌｔｉｓｐｅｃｔｒａｌ Ｄａｔａ Ｓｅｎｓｏｒ ａｎｄ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍは、可視画像とともに記録されるＩＲ画像を生成するように、光学機器を備えるデュアルセンサ配置を考察する。米国特許第４，６５１，００１号明細書のＶｉｓｉｂｌｅ Ｉｎｆｒａｒｅｄ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅ ｗｉｔｈ Ｓｔａｃｋｅｄ Ｃｅｌｌ Ｓｔｒｕｃｔｕｒｅは、新規のセンサアーキテクチャを使用して可視およびＩＲの画像を同時に生成することを模索する。可視およびＩＲ両方のデータを取得するソリッドステートセンサの能力は、米国特許第５，５５５，４６４号明細書のＲｅｄ／Ｎｅａｒ−Ｉｎｆｒａｒｅｄ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ ＣＣＤ Ｃａｍｅｒａｓにより活用され、可視光に加えてＩＲ光を許容するように、標準のフィルタの代わりに革新的なモザイクカラーフィルタが使用される。これらの手法はすべて、ＩＲ画像に加えてカラー画像を生成するか、またはＩＲデータまたはＩＲおよび可視データが組み合わされたフォールスカラー画像を生成し、これらのすべては、マシンビジョンの安価で高速、高い分解能処理という目標に反する傾向がある。

現在、カラーモザイクフィルタタイプのカラーセンサを使用するデジタルスチルカメラやセルラー式携帯電話等、ＣＣＤ、ＣＭＯＳおよび類似のセンサには他の主要な市場が存在する。これらの開発により、マシンビジョンシステムに適用され得るセンサがはるかに安価で入手できるようになり、これによりこのようなシステムの価格を低下させる。これらの安価なセンサを使用してＩＲデータを撮像するための１つのシステムは、米国特許第７，２３５，７７５号明細書のＩｎｆｒａｒｅｄ Ｉｍａｇｉｎｇ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｅｍｉｓｓｉｏｎｓ ｉｎ Ｉｎｆｒａｒｅｄ ａｎｄ Ｖｉｓｉｂｌｅ Ｓｐｅｃｔｒｕｍに示される。その中で説明されたシステムはセンサからＩＲフィルタを除去し、ＩＲデータだけを通過させるフィルタで置換する。次に、該システムは、可視光のカラーモザイクフィルタに依存して、ＩＲ応答において分離した３つのピークを形成し、これにより、ＩＲ波長領域で３つのスペクトル帯域のフォールスカラー画像を形成する。この手法は、ＩＲデータを取得するためにカラーモザイクセンサを使用する場合の重大な問題のうちの２つに対処することができない。第１に、システムは３つの分離した画像を処理しなければならず、これは標準の可視処理に比べて改善されていない。第２に、取得された３つのフォールスカラー画像は、空間的に多重化されているため、センサの潜在的分解能に対して、分解能が低下している。

したがって、カラーモザイクセンサは、上記の制限により、マシンビジョンに関連する特殊な要件に適合していないことが明らかである。このため、カラーモザイクフィルタされたソリッドステート撮像器から全色性応答を取得することにより、マシンビジョンの用途に適用され得る安価なセンサに対する必要性が依然として存在する。

本発明は、カラーモザイクビデオセンサから全色性応答をシミュレーションするための方法および装置である。本発明の一実施形態においては、波長の関数としてマルチカラービデオセンサの応答を表す一連の色応答曲線が検証され、マルチカラービデオセンサが各波長に対して実質的に一様な応答を有する、該色応答曲線の領域を特定する。図３は、典型的なカラーモザイクフィルタのスペクトル応答を示すグラフ４０である。このグラフは、波長の関数として、青４２、緑４４および赤３６のフィルタの量子効率パーセントで応答を示す。スペクトルのＩＲ部分において３つのフィルタすべてが一様な応答であることに留意されたい。この波長領域はＩＲ波長帯にあり、これは約８５０ｎｍを中心として約７００ｎｍから１０００ｎｍまでの波長にある。この波長領域は、典型的に、ＩＲ放射がセンサに到達し、画像に悪影響を与えることを防止するために、市販のカメラにおいては遮断される。本発明はこのＩＲフィルタを除去し、これを、可視光を遮断し、ＩＲ放射を通過させるフィルタと任意選択的に置換する。本発明においては、波長はこの波長領域から選択され、マルチカラービデオセンサにより撮像される撮像光景は、特定された領域内の選択された波長で照明され、これにより、撮像光景に関するＩＲデータをセンサから取得する。本発明に従って構築されるシステムの模式図は図４に示され、カラーモザイクフィルタ５２が取り付けられたセンサ５０と、任意選択のＩＲ通過フィルタ５４と、光学組立体５６と、センサ５０を制御器６０に接続するケーブル５８、ならびに照明源６２を制御器６０に動作可能に接続するケーブル６４をともなう照明源６２とが示される。

モザイクフィルタを備える従来の画像センサの模式図である。 従来のカラーモザイクソリッドステートカメラの模式図である。 モザイクフィルタの３色のスペクトル応答を示すグラフである。 カラーモザイクセンサを使用する単色のマシンビジョンシステムの模式図である。

図１は、ＣＣＤまたはＣＭＯＳソリッドステート撮像器に整合されるカラーモザイクフィルタ１０のための標準のベイヤタイリングを示す。例示的な赤１２、緑１４および青１６のフィルタ素子が示される。このタイプのフィルタをソリッドステート撮像センサに適切に適用するには、フィルタの各カラー部をセンサ内の単一の有効な画素に整合させることが必要である。これによって、各センサ素子またはピクセルが１つのフィルタされた色だけに露出される。これには、フィルタを慎重に整合し、センサに恒久的に取り付けることが必要である。本図を分析することにより、緑の光源の支援を受けて形成される画像の場合、画像は、同等な全色性センサの分解能の基本的に半分で形成され、青または赤の光源の場合、得られる画像は、同等な全色性撮像器の分解能の４分の１であることが明らかである。

マシンビジョンの場合、一般的な実践として、光の最適な形状のため、および光のタイミング（ストロボまたはフラッシュの適用）のために、照明器を制御することは一般的な手段である。これら用途の最も実際的な光源はしばしば発光ダイオード（ＬＥＤ）照明で、典型的に、波長が数ナノメートルの範囲だけにわたる準単色である。白色ＬＥＤは少なくとも２つの異なる技術（三刺激および二次放射タイプ）で利用可能であるが、どちらもより確立された単色ＬＥＤの様々な本体タイプや型式では入手できない。さらに、適切な広帯域の照明が利用可能である場合でも、しばしば被写体の形状であって、検討中の被写体の色ではなく、また、色情報が存在する場合でも（カラー撮像器および広帯域照明の使用による等）、コンピュータ的に除去または無視されなければならない偽情報が存在する場合がある。

図２は、カラーモザイクフィルタ２２が取り付けられたソリッドステートセンサ２０を含む、典型的な従来のカラーモザイクソリッドステートビデオシステムを示す。光は、光学組立体２６を介してシステムに入射し、ＩＲ光がセンサに到達することを防止する任意選択のＩＲフィルタ２４を通過してから、カラーモザイクフィルタ２２を通ってソリッドステートセンサ２０に到達する。センサ２０により形成される画像データは、ケーブル２８を経由して、処理のために制御器３０へ伝送される。全部ではないがほとんどのカラーモザイク撮像器はＩＲフィルタを含む。ＩＲフィルタの目的は、撮像器の色応答を歪曲することになる、光景におけるＩＲ放射由来の無関係な情報を除去することである。ほとんどの商業用途の場合、最大感度または分解能ではなく、正確な色の忠実度が目標とされる。ＩＲフィルタは恒久的な正確な整合を必要としないため、典型的には、カラーモザイクフィルタ２２の上にセンサ２０の外面に取り付けられるか、または光学組立体に含まれるかのどちらかである。システム内に存在するかどうかに関わらず、通常は、ＩＲフィルタを排除して、所望される場合、別のタイプのフィルタに置換することが可能である。

図３は、典型的なカラーモザイクフィルタのスペクトル応答を示すグラフ４０である。このグラフは、波長の関数として、青４２、緑４４および赤３６のフィルタの量子効率パーセントで応答を示す。この画像の分析により、帯域のすべては赤外領域で「漏れ」を有することがわかる。典型的に、この漏れは、この「帯域外」放射を排除する光学フィルタで対処される。しかしながら、本発明はこの漏れを活用する。好ましい実施形態においては、光源は、最高および最も近似して適合した応答性の点で選択される。この適合した応答性は典型的に７００ｎｍと１０００ｎｍの間で発生する。本発明の一実施形態においては、８５０ｎｍでの照明は実質的に全色性応答となる。また、偶然にも、この色は一般的なＬＥＤタイプであり、広範囲の本体およびサイズで容易に入手可能である。このような機器は、典型的に、半導体材料のアルミニウムガリウムヒ素に基づき、８５０ｎｍでまたは８５０ｎｍ近辺での発光に対応するバンドギャップを有する。

図４は、本発明に従い構築されるシステムを示す。本発明の実施形態は、市販のカラーモザイク撮像器５０、またはカラーモザイクフィルタ５２が取り付けられたカラーモザイク撮像器５０に基づくカメラを使用する。ＩＲ遮断フィルタを排除し、これを選択された波長のＩＲ放射を透過させ、かつ可視光を遮断するフィルタ５４で任意選択的に置換することにより、ほぼ全色性の応答が該撮像器またはカメラで実現される。好ましい実施形態においては、特定の波長範囲、具体的には、３色すべてのチャネルが、実質的に等しい、またはそのサブセットである撮像器のスペクトル応答に対応する波長範囲の準単色照明器６２が使用される。この場合、波長範囲は７００から１０００ｎｍの間である。具体的には、約８５０ｎｍの波長が使用される。好ましい実施形態においては、準単色照明器は、全３色チャネルに対する応答が実質的に等しい範囲内の応答性の相対的ピークで選択される。照明器６２は、ケーブル６４経由で接続される制御器６０の制御下で、適切な時間に選択された波長で光景（図示せず）を照明する。光景は、照明器６２により発光され、光景（図示せず）により反射されるＩＲ放射に焦点をあわせるように動作可能なレンズを備える光学組立体５６経由で撮像され、カラーモザイクフィルタ５２および任意選択のＩＲ通過フィルタ５４を介して、センサ５０上に撮像される。このようにセンサ５０により取得された画像データは、ケーブル５８を経由して、さらなる処理のために制御器６０へ伝送される。

本発明の実施形態においては、最初の処理は、センサにより制御器に伝送された３つの疑似カラー画像から単一の単色画像を形成するステップが関与する。色情報は様々な方法で符号化され得ることに留意されたい。最も簡単な方式がＲＧＢ形式で、センサ領域の削減されたサンプリングと同程度に削減された分解能で３つの分離された画像が伝送される。ＹＵＶまたはＮＴＳＣ等の他の符号化も可能で、空間分解能またはダイナミックレンジが削減される可能性はあるが、本方法では機能する。この最初の処理は、３つの疑似カラー画像からのデータを用いてオリジナルの最大サイズのセンサと同一の寸法で２Ｄ配列に書き込むことにより、単色画像を作成する。「赤」、「青」および「緑」の画像からのデータは、特定のピクセルがオリジナルのセンサから取得された場所に従って単色画像配列に配置され、これにより、オリジナルのセンサと同一の固有の分解能で単色画像を作成する。さらに、光景は全３色により同等に伝送されるように選択されたＩＲ光で照明されたため、光に対するシステムの感度は最大である。

本発明の別の実施形態は、カラーモザイクセンサによるフィルタされたＩＲデータに応答してあらゆる相違を削除するように、データをさらに処理する。カラーモザイクフィルタ／センサの組み合わせにおける異なる色は、ＩＲ放射に対して異なって応答する場合があることが考えられる。本発明は、フィルタに関係なく、センサからの一様な応答を有することに依存するため、応答におけるこの差異は、選択されたＩＲ光の波長でセンサのダイナミックレンジに対する応答を測定し、応答に基づいて修正因子を計算することによって、排除され得る。カラーモザイクフィルタの様々な色の間の応答の相違を排除または削減するために、どのカラーフィルタを介して取得されたかに応じて、制御器により、これらの因子を加法因子または乗法因子とすることが可能であり、かつこれらは各ピクセルに適用される。

当業者には、本発明の上記の実施形態の詳細にその基底の原則から逸脱することなく多数の変更が行われ得ることが明らかであろう。したがって、本発明の範囲は以下の請求項によってのみ決定されるものとする。

Claims (13)

1. マルチカラービデオセンサからの全色性応答をシミュレーションする改善された方法であって、前記マルチカラービデオセンサは、色応答曲線を有すると共に、カラーフィルタと可能性として赤外フィルタとを含み、前記カラービデオセンサは、撮像光景を撮像して画像データを取得するように動作し、前記データは制御器へ伝送され、前記改善は、
   前記マルチカラービデオセンサが各波長に対して実質的に一様な応答を有する、前記色応答曲線の領域を特定するステップと、
   前記特定された領域内の波長で、前記マルチカラービデオセンサによる前記撮像光景を照明するステップと、
   前記撮像光景に関する前記データを前記マルチカラービデオセンサから取得するステップと、
   前記取得したデータを前記制御器に伝送し、かつ前記データを単色画像に組み合わせるステップと、を含むことを特徴とする方法。
2. 前記実質的に一様な応答の領域に応答して、何らかの差異がある場合、この差異を決定するステップと、
   前記決定された差異に基づいて前記データに修正を適用するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記カラーフィルタは、赤、緑および青のフィルタ構成要素を有するベイヤ型フィルタであることを特徴とする請求項１に記載の方法。
4. 各波長に対する前記実質的に一様な応答は、前記カラービデオセンサから前記赤外フィルタを除去することにより改善されることを特徴とする請求項１に記載の方法。
5. 前記実質的に一様な応答は、前記カラービデオセンサに可視光フィルタを追加することにより改善されることを特徴とする請求項１に記載の方法。
6. 前記照明は、約７００ｎｍから１０００ｎｍの間の波長を含むことを特徴とする請求項１に記載の方法。
7. 前記照明は、約８５０ｎｍの波長を含むことを特徴とする請求項１に記載の方法。
8. マルチカラービデオセンサからの全色性応答をシミュレーションするための改善されたシステムであって、前記マルチカラービデオセンサは色応答曲線を有するカラーフィルタを含み、かつ関連する赤外フィルタと、撮像光景を撮像して画像データを取得するように動作する前記カラービデオセンサと、制御器を有することができ、前記制御器は、前記データを処理するように動作し、前記改善は、
   前記色応答曲線の実質的に一様な応答領域に適合する照明源を含む、ことを特徴とするシステム。
9. 前記カラーフィルタは、赤、緑および青のフィルタ構成要素を有するベイヤ型フィルタであることを特徴とする請求項８に記載のシステム。
10. 各波長に対する前記実質的に一様な応答は、前記カラービデオセンサから前記赤外フィルタを除去することにより改善されることを特徴とする請求項８に記載のシステム。
11. 各波長に対する前記実質的に一様な応答は、前記カラービデオセンサに可視光フィルタを追加することにより改善されることを特徴とする請求項８に記載のシステム。
12. 前記照明源は、約７００ｎｍから１０００ｎｍの間の波長を含むことを特徴とする請求項８に記載のシステム。
13. 前記照明源は、約８５０ｎｍの波長を含むことを特徴とする請求項８に記載のシステム。

Images