本発明は撮像システムに関し、特に、マシンビジョンシステムに適用される撮像システムに関する。特に、本発明は、マシンビジョンシステム内のカラー撮像器の使用に関する。より具体的には、マシンビジョン処理のために単色画像を作成するカラー撮像器の使用に関する。
従来、当該技術分野で、それらの基底技術(つまり、電荷結合素子の略称、CCDまたは相補型金属酸化膜半導体の略称、CMOS)による、焦点面アレイソリッドステート撮像器の市場は、ビデオカメラの市場により牽引されており、その中で、CCDまたはCMOSセンサが主要構成要素である。放送局で使用されるようなビデオカメラ、電子的ニュース取材(ENG)および消費者カムコーダ(ビデオカメラやテープデッキまたはディスクドライブレコーダが単一の小型本体に統合される)はすべて典型的にカラー信号を提供する。この信号は典型的に2つの方法のどちらかにより生成される。
第1の方法は、典型的に専門家用の機器および最高級の消費者機器に適用される。この方法の場合、入力画像はビデオレンズを通過してから、二色性プリズムクラスタを通過する。二色性プリズムクラスタは、3つのプリズムの組立体で、そのうちの2つは二色性(色帯域選択)コーティングを有する。第1のプリズムは、1つの色帯域、典型的には青を第1のCCDまたは類似の撮像器に反射し、かつ残りの色を通過させる表面を有する。第2のプリズムは、第2の色帯域、典型的には緑を第2のCCDまたは類似の撮像器に反射する表面を有する。第3のプリズムは信号の残り、この場合は赤帯域を受容し、その赤帯域第3のCCDまたは類似の撮像器へ透過させる。第3のプリズムにコーティングがある場合、典型的には、例えば、赤外光のように、CCDは感知するが望ましくないと考えられる、帯域外の光をカットするコーティングである。赤外(IR)光をカットするこのコーティングは、代替として、プリズムクラスタの前面に配置されるか、または保護窓に組み入れられるか、またはレンズに組み入れられることができる。第1の方法においては、色分解が二色性プリズムクラスタで実現されるので、CCDまたは類似のセンサの各々は、フルカラースペクトル応答が失われずにそのままで配備されることに留意されたい。さらに、センサの各々はその固有の最大分解能で画像データを取得し、撮像される光景から3色を表す3つの最大分解能の画像を生成する。
第2の方法は、典型的に、低価格および/または非常に小型のENGシステム、ならびにほとんどの消費者向けカムコーダシステム等の低級機器において使用される。ここでは単一のCCDまたは類似の撮像器が使用される。カラーモザイクフィルタは、ソリッドステート撮像器と統合され、これによって、撮像器アレイの各画素(ピクセル)は対応する色帯域フィルタにより被覆される。図1は、例示的な赤12、緑14および青16のカラーフィルタ素子を示す、カラーモザイクフィルタ13の図である。典型的に、ピクセルの半分は、主に緑の画像成分を透過させる色帯域フィルタに関連付けられ、ピクセルの4分の1は、主に青の画像成分を透過させる色帯域フィルタに関連付けられ、ピクセルの4分の1は、主に赤の画像成分を透過させる色帯域フィルタに関連付けられる。この種のフィルタは、ベイヤ型フィルタと称されることがある。このシステムは、人間の観察者を最も満足させる熟慮された妥協策として緑のスペクトルに偏っている。人間は緑の光に最も感度が高く、青と赤の光には感度が低い。緑の構成要素は、人間が特に反応する人間の顔に関する大部分の情報を伝える。本方法においては、フィルタは、製造工程中にセンサの不連続の受光素子と正確に整合されて、適切に機能するには整合されたままであることが必要であるため、カラーモザイクフィルタは、ソリッドステート撮像器から分離不可能であることに留意されたい。図2は、カラーモザイクフィルタが取り付けられた先行技術のソリッドステートビデオセンサの模式図で、カラーモザイクフィルタ22が取り付けられたセンサ20と、任意選択のIR遮断フィルタ24、光学組立体26と、ケーブル28によりセンサに接続された制御器30と、を示す。
マシンビジョンを含む二次産業は、放送、ENGおよび消費者カムコーダ業界と比較すると、ビデオセンサおよびカメラのユーザは比較的小規模である。結果として、製造業者は典型的にこれらの二次市場専用のセンサを製造することはなく、したがって、これらの用途は他で使用するために製造されたセンサに依存しなければならない。マシンビジョンの用途が成功するためには、しばしば高速度処理、および高感度、高分解能かつ低価格のセンサを必要とする。これらの理由ならびに他の理由から、マシンビジョンの用途は典型的に、撮像される光景からの画像データがグレーの陰影で描画される、単色センサを使用する。単色の撮像を実現するために、マシンビジョンの用途はしばしば3チャネルの二色性プリズムクラスタの専門機器で使用するために開発されたセンサを使用する。これにより、色情報が処理される必要がないために高速度処理が達成され、広帯域の照明を感知するためにセンサ全体が利用可能であるために高感度が達成され、さらに画素またはピクセルのすべてが使用されるために高分解能が達成される。しかしながら、これらのセンサは典型的に大量生産されるカラーモザイクセンサよりはるかに高価であるため、これは安価な解決策ではない。
カラーモザイクセンサは、その低価格のためにマシンビジョンの用途で使用されることが望ましい。恒久的にカラーフィルタを取り付けた結果、これらのセンサは単色センサほど高い性能がなく、典型的に、色情報を排除する追加の処理が必要で、これにより単色画像を形成する。これらのカメラは色情報を生成するように設計されているため、これらのセンサからの画像データは、典型的に、3つの分離(赤、緑、および青)画像として、または使用可能な多数の色フォーマットのうちの1つで符号化された状態、のどちらかで伝送される。空間的に分離された赤、緑および青のピクセルは組み合わせて、単一の単色ピクセルを形成しなければならず、したがって、空間分解能を低下させ、この処理の一つの結果として、分解能を低下させる。これに加えて、カラーフィルタは各ピクセルの感度を低下させ、露出時間を長くすること、および/または光景の光エネルギーを多くすることが必要であるが、どちらも望ましくない。
ソリッドステート撮像器のIRに対する感度は周知である。可視および赤外を同時に撮像するための方法および装置は開発されてきた。例えば、米国特許第3,806,633号明細書のMultispectral Data Sensor and Display Systemは、可視画像とともに記録されるIR画像を生成するように、光学機器を備えるデュアルセンサ配置を考察する。米国特許第4,651,001号明細書のVisible Infrared Imaging Device with Stacked Cell Structureは、新規のセンサアーキテクチャを使用して可視およびIRの画像を同時に生成することを模索する。可視およびIR両方のデータを取得するソリッドステートセンサの能力は、米国特許第5,555,464号明細書のRed/Near−Infrared Filtering for CCD Camerasにより活用され、可視光に加えてIR光を許容するように、標準のフィルタの代わりに革新的なモザイクカラーフィルタが使用される。これらの手法はすべて、IR画像に加えてカラー画像を生成するか、またはIRデータまたはIRおよび可視データが組み合わされたフォールスカラー画像を生成し、これらのすべては、マシンビジョンの安価で高速、高い分解能処理という目標に反する傾向がある。
現在、カラーモザイクフィルタタイプのカラーセンサを使用するデジタルスチルカメラやセルラー式携帯電話等、CCD、CMOSおよび類似のセンサには他の主要な市場が存在する。これらの開発により、マシンビジョンシステムに適用され得るセンサがはるかに安価で入手できるようになり、これによりこのようなシステムの価格を低下させる。これらの安価なセンサを使用してIRデータを撮像するための1つのシステムは、米国特許第7,235,775号明細書のInfrared Imaging Apparatus for Processing Emissions in Infrared and Visible Spectrumに示される。その中で説明されたシステムはセンサからIRフィルタを除去し、IRデータだけを通過させるフィルタで置換する。次に、該システムは、可視光のカラーモザイクフィルタに依存して、IR応答において分離した3つのピークを形成し、これにより、IR波長領域で3つのスペクトル帯域のフォールスカラー画像を形成する。この手法は、IRデータを取得するためにカラーモザイクセンサを使用する場合の重大な問題のうちの2つに対処することができない。第1に、システムは3つの分離した画像を処理しなければならず、これは標準の可視処理に比べて改善されていない。第2に、取得された3つのフォールスカラー画像は、空間的に多重化されているため、センサの潜在的分解能に対して、分解能が低下している。
したがって、カラーモザイクセンサは、上記の制限により、マシンビジョンに関連する特殊な要件に適合していないことが明らかである。このため、カラーモザイクフィルタされたソリッドステート撮像器から全色性応答を取得することにより、マシンビジョンの用途に適用され得る安価なセンサに対する必要性が依然として存在する。
本発明は、カラーモザイクビデオセンサから全色性応答をシミュレーションするための方法および装置である。本発明の一実施形態においては、波長の関数としてマルチカラービデオセンサの応答を表す一連の色応答曲線が検証され、マルチカラービデオセンサが各波長に対して実質的に一様な応答を有する、該色応答曲線の領域を特定する。図3は、典型的なカラーモザイクフィルタのスペクトル応答を示すグラフ40である。このグラフは、波長の関数として、青42、緑44および赤36のフィルタの量子効率パーセントで応答を示す。スペクトルのIR部分において3つのフィルタすべてが一様な応答であることに留意されたい。この波長領域はIR波長帯にあり、これは約850nmを中心として約700nmから1000nmまでの波長にある。この波長領域は、典型的に、IR放射がセンサに到達し、画像に悪影響を与えることを防止するために、市販のカメラにおいては遮断される。本発明はこのIRフィルタを除去し、これを、可視光を遮断し、IR放射を通過させるフィルタと任意選択的に置換する。本発明においては、波長はこの波長領域から選択され、マルチカラービデオセンサにより撮像される撮像光景は、特定された領域内の選択された波長で照明され、これにより、撮像光景に関するIRデータをセンサから取得する。本発明に従って構築されるシステムの模式図は図4に示され、カラーモザイクフィルタ52が取り付けられたセンサ50と、任意選択のIR通過フィルタ54と、光学組立体56と、センサ50を制御器60に接続するケーブル58、ならびに照明源62を制御器60に動作可能に接続するケーブル64をともなう照明源62とが示される。
モザイクフィルタを備える従来の画像センサの模式図である。
従来のカラーモザイクソリッドステートカメラの模式図である。
モザイクフィルタの3色のスペクトル応答を示すグラフである。
カラーモザイクセンサを使用する単色のマシンビジョンシステムの模式図である。
図1は、CCDまたはCMOSソリッドステート撮像器に整合されるカラーモザイクフィルタ10のための標準のベイヤタイリングを示す。例示的な赤12、緑14および青16のフィルタ素子が示される。このタイプのフィルタをソリッドステート撮像センサに適切に適用するには、フィルタの各カラー部をセンサ内の単一の有効な画素に整合させることが必要である。これによって、各センサ素子またはピクセルが1つのフィルタされた色だけに露出される。これには、フィルタを慎重に整合し、センサに恒久的に取り付けることが必要である。本図を分析することにより、緑の光源の支援を受けて形成される画像の場合、画像は、同等な全色性センサの分解能の基本的に半分で形成され、青または赤の光源の場合、得られる画像は、同等な全色性撮像器の分解能の4分の1であることが明らかである。
マシンビジョンの場合、一般的な実践として、光の最適な形状のため、および光のタイミング(ストロボまたはフラッシュの適用)のために、照明器を制御することは一般的な手段である。これら用途の最も実際的な光源はしばしば発光ダイオード(LED)照明で、典型的に、波長が数ナノメートルの範囲だけにわたる準単色である。白色LEDは少なくとも2つの異なる技術(三刺激および二次放射タイプ)で利用可能であるが、どちらもより確立された単色LEDの様々な本体タイプや型式では入手できない。さらに、適切な広帯域の照明が利用可能である場合でも、しばしば被写体の形状であって、検討中の被写体の色ではなく、また、色情報が存在する場合でも(カラー撮像器および広帯域照明の使用による等)、コンピュータ的に除去または無視されなければならない偽情報が存在する場合がある。
図2は、カラーモザイクフィルタ22が取り付けられたソリッドステートセンサ20を含む、典型的な従来のカラーモザイクソリッドステートビデオシステムを示す。光は、光学組立体26を介してシステムに入射し、IR光がセンサに到達することを防止する任意選択のIRフィルタ24を通過してから、カラーモザイクフィルタ22を通ってソリッドステートセンサ20に到達する。センサ20により形成される画像データは、ケーブル28を経由して、処理のために制御器30へ伝送される。全部ではないがほとんどのカラーモザイク撮像器はIRフィルタを含む。IRフィルタの目的は、撮像器の色応答を歪曲することになる、光景におけるIR放射由来の無関係な情報を除去することである。ほとんどの商業用途の場合、最大感度または分解能ではなく、正確な色の忠実度が目標とされる。IRフィルタは恒久的な正確な整合を必要としないため、典型的には、カラーモザイクフィルタ22の上にセンサ20の外面に取り付けられるか、または光学組立体に含まれるかのどちらかである。システム内に存在するかどうかに関わらず、通常は、IRフィルタを排除して、所望される場合、別のタイプのフィルタに置換することが可能である。
図3は、典型的なカラーモザイクフィルタのスペクトル応答を示すグラフ40である。このグラフは、波長の関数として、青42、緑44および赤36のフィルタの量子効率パーセントで応答を示す。この画像の分析により、帯域のすべては赤外領域で「漏れ」を有することがわかる。典型的に、この漏れは、この「帯域外」放射を排除する光学フィルタで対処される。しかしながら、本発明はこの漏れを活用する。好ましい実施形態においては、光源は、最高および最も近似して適合した応答性の点で選択される。この適合した応答性は典型的に700nmと1000nmの間で発生する。本発明の一実施形態においては、850nmでの照明は実質的に全色性応答となる。また、偶然にも、この色は一般的なLEDタイプであり、広範囲の本体およびサイズで容易に入手可能である。このような機器は、典型的に、半導体材料のアルミニウムガリウムヒ素に基づき、850nmでまたは850nm近辺での発光に対応するバンドギャップを有する。
図4は、本発明に従い構築されるシステムを示す。本発明の実施形態は、市販のカラーモザイク撮像器50、またはカラーモザイクフィルタ52が取り付けられたカラーモザイク撮像器50に基づくカメラを使用する。IR遮断フィルタを排除し、これを選択された波長のIR放射を透過させ、かつ可視光を遮断するフィルタ54で任意選択的に置換することにより、ほぼ全色性の応答が該撮像器またはカメラで実現される。好ましい実施形態においては、特定の波長範囲、具体的には、3色すべてのチャネルが、実質的に等しい、またはそのサブセットである撮像器のスペクトル応答に対応する波長範囲の準単色照明器62が使用される。この場合、波長範囲は700から1000nmの間である。具体的には、約850nmの波長が使用される。好ましい実施形態においては、準単色照明器は、全3色チャネルに対する応答が実質的に等しい範囲内の応答性の相対的ピークで選択される。照明器62は、ケーブル64経由で接続される制御器60の制御下で、適切な時間に選択された波長で光景(図示せず)を照明する。光景は、照明器62により発光され、光景(図示せず)により反射されるIR放射に焦点をあわせるように動作可能なレンズを備える光学組立体56経由で撮像され、カラーモザイクフィルタ52および任意選択のIR通過フィルタ54を介して、センサ50上に撮像される。このようにセンサ50により取得された画像データは、ケーブル58を経由して、さらなる処理のために制御器60へ伝送される。
本発明の実施形態においては、最初の処理は、センサにより制御器に伝送された3つの疑似カラー画像から単一の単色画像を形成するステップが関与する。色情報は様々な方法で符号化され得ることに留意されたい。最も簡単な方式がRGB形式で、センサ領域の削減されたサンプリングと同程度に削減された分解能で3つの分離された画像が伝送される。YUVまたはNTSC等の他の符号化も可能で、空間分解能またはダイナミックレンジが削減される可能性はあるが、本方法では機能する。この最初の処理は、3つの疑似カラー画像からのデータを用いてオリジナルの最大サイズのセンサと同一の寸法で2D配列に書き込むことにより、単色画像を作成する。「赤」、「青」および「緑」の画像からのデータは、特定のピクセルがオリジナルのセンサから取得された場所に従って単色画像配列に配置され、これにより、オリジナルのセンサと同一の固有の分解能で単色画像を作成する。さらに、光景は全3色により同等に伝送されるように選択されたIR光で照明されたため、光に対するシステムの感度は最大である。
本発明の別の実施形態は、カラーモザイクセンサによるフィルタされたIRデータに応答してあらゆる相違を削除するように、データをさらに処理する。カラーモザイクフィルタ/センサの組み合わせにおける異なる色は、IR放射に対して異なって応答する場合があることが考えられる。本発明は、フィルタに関係なく、センサからの一様な応答を有することに依存するため、応答におけるこの差異は、選択されたIR光の波長でセンサのダイナミックレンジに対する応答を測定し、応答に基づいて修正因子を計算することによって、排除され得る。カラーモザイクフィルタの様々な色の間の応答の相違を排除または削減するために、どのカラーフィルタを介して取得されたかに応じて、制御器により、これらの因子を加法因子または乗法因子とすることが可能であり、かつこれらは各ピクセルに適用される。
当業者には、本発明の上記の実施形態の詳細にその基底の原則から逸脱することなく多数の変更が行われ得ることが明らかであろう。したがって、本発明の範囲は以下の請求項によってのみ決定されるものとする。