JP2019036947A - 色画像を生成するカメラおよび方法 - Google Patents

Abstract

【課題】弱光状態においてさえ、色分解された画像を得る手段を提供する。【解決手段】カメラ１００は、ピクセルの複数のペア中において、第１のピクセルが、アパーチャから第１の放射経路を介して伝わった放射を検出するように構成され、第２のピクセルが、第２の放射経路を介して伝わった放射を検出するように構成された、複数のピクセルのペアを備える画像センサー１０２と、アパーチャ１１０の近傍に配置された、赤外線または可視光線を阻止するように構成された第１の部分と、第１の部分によって阻止された波長に対して透過的であるように構成された第２の部分とを備え、第１の部分を通過した放射が第１のピクセルに伝わるように及び第２の部分を通過した放射が第２のピクセルに伝わるように配置された、フィルタ１１２とを備える。【選択図】図１

Description

本発明は、色画像を生成することに関し、特に、弱光状態下で色画像を生成することを可能にするカメラ設計に関する。

デジタルカメラにおいて使用される画像センサーは、赤外線（ＩＲ）における無視できない成分をもつスペクトル応答を有する。これは、機会ならびに課題を生じる。

機会は、夜間に、または弱光状態において、ＩＲ成分が、撮像されたシーンに関する有用な情報を提供し得ることにある。一般に、弱光状態は、夕暮れまたは夜明けの間に起こる。他の弱光状態シーンは、薄暗い部屋である。弱光状態は、可視光線の量と赤外線の量とが同等である状態としても定義され、それゆえに、弱光状態は、混合光状態と呼ばれることもある。

夜間に、または弱光状態において、スペクトルのＩＲ部分からの入来する放射が利用され得る。赤外線は、色情報を含んでおらず、色分解を実施する代わりに、唯一のパラメータは、白黒強度画像として（または任意の望ましい色スケールを用いて）提示され得る、入来する放射の強度である。

課題は、昼間の撮像の間に見つかり、ＩＲ成分の追加が、デジタルカメラを使用してキャプチャされた画像中の色バランスをひずませ得る。いくつかの状況では、画像センサーの一部または全部のピクセルが、赤外線成分によって完全に飽和されることさえある。

あまり有益でない効果を抑制しながら有益な効果を維持するやり方は、画像センサーの前でビーム経路中に可動ＩＲカットフィルタを追加することである。このようにして、ＩＲカットフィルタは昼光状態の間に使用され得、色画像の収集を有効にする。画像センサーのピクセルが、次いで、第１の様式で動作することになり、入射光が、各色に分けられ、個々の光検出器上の電荷として検出され、したがって色分解を有効にする。ＩＲカットフィルタは、夜間に、または弱光状態において取り外され、赤外線が画像センサーに到達することを可能にする。画像センサーのピクセルは、次いで、第２の様式で動作することになり、ピクセルによって測定される唯一のパラメータが、入来する放射の強度である。それゆえに、強度ベースの画像がキャプチャされ、黒および白で提示され得る。

しかしながら、弱光状態においてさえ、色分解された画像をキャプチャすることが可能であることが望ましい事例があり得る。

欧州特許出願第１６２０７１２６．０号

上記に鑑みて、本発明の目的は、弱光状態においてさえ、色分解された画像をキャプチャするための手段を提供することである。

第１の態様によれば、カメラが提供される。本カメラは、アパーチャと、ピクセルの複数のペアを備える画像センサーであって、上記ペア中において、第１のピクセルが、アパーチャを通ってカメラに入射し、アパーチャから第１の放射経路を介して画像センサーに伝わった放射を検出するように構成され、第２のピクセルが、アパーチャを通ってカメラに入射し、アパーチャから第２の放射経路を介して画像センサーに伝わった放射を検出するように構成され、第２の放射経路が第１の放射経路とは異なる、画像センサーと、アパーチャにおいて、またはアパーチャの近傍に配置されたフィルタであって、フィルタが、赤外線または可視光線を阻止するように構成された第１の部分と、第１の部分によって阻止された波長に対して透過的であるように構成された第２の部分とを備え、フィルタが、第１の部分を通過した放射がピクセルの複数のペアの第１のピクセルに伝わるように、および第２の部分を通過した放射がピクセルの複数のペアの第２のピクセルに伝わるように配置された、フィルタとを備える。

それゆえに、改善された撮像が有効にされる。これは、赤外線の成分が、第１のピクセルおよび第２のピクセルの各ペア中の、第１のピクセルおよび第２のピクセルによって検出された放射を比較することと、そのＩＲ部分を補償することとによって決定され得ることによるものである。たとえば、色画像は、画像センサーによって検出された放射のＩＲ部分を決定することによって生成され得る。このようにして、撮像されたシーンは、画像センサーによってキャプチャされた赤外線を含んでいるが、トゥルーカラー表現が取得され得る。

「放射」という用語は、赤外スペクトル範囲と可視光スペクトル範囲の両方におけるスペクトル成分を備える放射と解釈されるべきである。

フィルタの第１の部分は、赤外線を阻止するように構成され得る。

フィルタの第１の部分は、可視光線を阻止するように構成され得る。

フィルタの第２の部分は、赤外線と可視光線の両方に対して透過的であるように構成され得る。

フィルタの第１の部分は、赤外線を阻止するように構成され得、フィルタの第２の部分は、可視光線を阻止するように構成され得る。

フィルタは、アパーチャにおいて、またはアパーチャの近傍に固定的に位置決めされ得る。したがって、極めて少数の可動部分をもつ単純なカメラが提供され得る。フィルタは、厳密にアパーチャ面にある必要がない（しばしば、あることができない）が、フィルタが十分に近接している限り、フィルタがアパーチャのどちら側であるかは問わない。

フィルタは、アパーチャに近接していなければならない。フィルタは、厳密にアパーチャ面にある必要がない（しばしば、あることができない）が、フィルタが十分に近接している限り、フィルタがアパーチャのどちら側であるかは問わない。

フィルタは、第１の放射経路および第２の放射経路内及び経路外に位置決めできるように可動であり得る。したがって、カメラを、第１の部分および第２の部分をもつフィルタが、ピクセルの複数のペアの第１のピクセルおよび第２のピクセルの各々によって検出された放射の量に基づいて、シーンにおける赤外線の比率を計算するために使用される、日中モード、ならびに、フィルタが取り外され、白黒画像を生成するために画像センサーの全スペクトル応答が使用される、夜間モードなど、異なるモードに入れることが可能であろう。

フィルタは、シーンが可視光線と赤外線の両方を含むとき、有用である。これらの状況では、赤外線を補償し、良好な色忠実度を得ることが可能である。これは、とりわけ混合光（夕暮れおよび夜明けなどにおける、弱光）において有用であり、今日の実装では、単に、放射の量を登録し、ＩＲカットフィルタを取り外すことへの切替えが使用される。これは、可視光レベルがあまりに低くなるときに必要とされる。昼光または良好な光においては、多量の可視光線があるので、赤外線は必要とされない。しかしながら、本発明に従って設定されたカメラは、赤外線を補償することを可能にする。旧来の監視カメラでは、これは、ＩＲカットフィルタが挿入されるときである。

夜に、または他の実に弱い光において、基本的に可視光線はなく、少なくとも、視覚光よりもずっと多い赤外線があるので、色画像を生成することは極めて厳しい。したがって、フィルタは、夜に取り外され得る。これは、（赤外線を阻止しないことによって）できるだけ多くの放射が画像センサーに到達しているようにするためである。夜間モードへのこの切替えは、本発明を使用して、より弱い光レベルに繰り下げられ得る。

フィルタの分割は、赤外線が、ピクセルのペア中の第１のピクセルに到達せず、赤外線が、ピクセルのペア中の第２のピクセルに到達するように、第１のピクセルおよび第２のピクセルと整合され得る。

画像センサーの各ピクセルは、ピクセルのそれぞれのペアに属し得る。

画像センサーは、カメラが、可視光線と赤外線の両方を含む放射に露出されると、ピクセルの複数のペアの各々に到達する放射の量を示す値を登録するように構成され得る。本カメラは、ピクセルの複数のペアの第１のピクセルの各々について、それぞれの第１のピクセルによって検出された放射の第１の量を示す値を決定することと、ピクセルの複数のペアの第２のピクセルの各々について、それぞれの第２のピクセルによって検出された放射の第２の量を示す値を決定することと、ピクセルの複数のペアの第１のピクセルおよび第２のピクセルの各々について決定された放射の第１の量および第２の量に基づくシーンにおける赤外線の比率を計算することと、赤外線の計算された比率に基づいて、カメラによってキャプチャされた画像中のＩＲ寄与を補償することによって、シーンの色画像を生成することとを行うように構成された処理ユニットをさらに備え得る。

第２の態様によれば、可視光線と赤外線の両方を含む放射に露出されたカメラによってキャプチャされたシーンの色画像を生成する方法が提供される。本方法は、ピクセルの複数のペアの各々中の放射の量を示す値を検出することであって、各ペアが第１のピクセルと第２のピクセルとを備える、検出することと、ピクセルの複数のペアの第１のピクセルの各々について、それぞれの第１のピクセルによって検出された放射の第１の量を示す値を決定することと、ピクセルの複数のペアの第２のピクセルの各々について、それぞれの第２のピクセルによって検出された放射の第２の量を示す値を決定することと、ピクセルの複数のペアの第１のピクセルおよび第２のピクセルの各々について決定された放射の第１の量および第２の量に基づくシーンにおける赤外線の比率を計算することと、赤外線の計算された比率に基づいて、カメラによってキャプチャされた画像中のＩＲ寄与を補償することによって、シーンの色画像を生成することとを含む。

本方法は、赤外線または可視光線が、ピクセルの複数のペアの第１のピクセルに到達することを阻止することと、ピクセルの複数のペアの第１のピクセルに到達することを阻止された波長が、ピクセルの複数のペアの第２のピクセルに到達することを可能にすることとをさらに備え得る。

カメラの上述の特徴は、適用可能なとき、この第２の態様にも適用される。過度の繰返しを回避するために、上記への参照が行われる。

第３の態様によれば、非一過性コンピュータ可読記憶媒体が提供される。処理能力を有するデバイス上で実行されたとき、コンピュータ可読プログラムコードを記憶した、非一過性コンピュータ可読記憶媒体は、第２の態様による方法を実施するように構成される。

本発明の適用可能性のさらなる範囲は、以下の発明を実施するための形態から明らかになろう。しかしながら、本発明の範囲内の様々な変更および改変が、発明を実施するための形態から当業者に明らかになるので、発明を実施するための形態および具体的な例は、本発明の好ましい実施形態を示すが、例示として与えられるものにすぎないことを理解されたい。

それゆえに、そのようなデバイスおよび方法は変わり得るので、本発明は、説明されるデバイスの具体的な構成要素部分、または説明される方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、具体的な実施形態を説明するためのものにすぎず、限定するものではないことも理解されたい。本明細書および添付の特許請求の範囲において使用される、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、コンテキストが別段に明白に規定しない限り、要素のうちの１つまたは複数があることを意味するものとすることに留意されなければならない。したがって、たとえば、「ａ ｕｎｉｔ」または「ｔｈｅ ｕｎｉｔ」への言及は、数個のデバイスなどを含み得る。その上、「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｎｔａｉｎｉｎｇ（含んでいる）」という単語および同様の表現は、他の要素またはステップを除外しない。

次に、本発明の実施形態を示す添付の図面を参照しながら、本発明の上記の態様および他の態様についてより詳細に説明する。図は、本発明を特定の実施形態に制限すると見なされるべきではなく、代わりに、本発明を解説および理解するために使用される。

図に例示されているように、層および領域のサイズは、例示の目的で誇張され得、したがって、本発明の実施形態の概略構造を例示するために提供される。同じような参照番号は、全体を通して同じような要素を指す。

カメラを例示する図である。 ａ〜ｃは、ピクセルのペアを備える画像センサーの異なる実施形態を例示する図である。 ａ〜ｃは、フィルタの異なる実施形態を例示する図である。 ａ〜ｃは、フィルタの異なる構成と、フィルタがどのように赤外線および／または可視光線を阻止するかとを例示する図である。 画像センサーの赤ピクセル、緑ピクセルおよび青ピクセルのための応答曲線を例示する図である。 色画像を生成する方法の流れ図である。

次に、本発明の現在好ましい実施形態が示された付随する図面を参照しながら、本発明について以下でより十分に説明する。しかしながら、本発明は、多くの異なる形態で具現化されてよく、本明細書で述べる実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、完全さおよび完全性のために提供され、本発明の範囲を当業者に十分に伝えるために提供される。

図１は、画像センサー１０２とカメラレンズハウジング１０４とを有するカメラ１００を例示する。カメラはビデオカメラであり得る。カメラ１００は監視カメラであり得る。

カメラレンズハウジング１０４および画像センサー１０２は、カメラレンズハウジング１０４を介してカメラ１００に入射する放射が、画像センサー１０２と相互作用するように配置される。それゆえに、カメラは、カメラレンズハウジング１０４のレンズシステム１０８が見たシーンの画像をキャプチャするように構成される。カメラ１００に入射する放射は、一般に、可視光線と赤外線の両方を含む。

シーンの画像をキャプチャするために、画像センサー１０２は、画像センサー１０２の面上に分配された複数のピクセルを備える。画像センサーのピクセルは、一般に、可視光線と、赤外線、またはより詳しくは近赤外放射（ＮＩＲ）との両方に反応する。送信された放射が、十分にスペクトル的に解像された場合、可視光線および赤外線の異なる色の比率を監視および評価することは容易に可能であるが、概して、画像センサー１０２（および、たとえば画像プロセッサ１２０を備える、関連する構成要素）は、色画像を再生成することが可能であるように、せいぜい、入来する放射を、図５に示される、色成分の各々がＩＲ成分を含む、赤成分、緑成分および青成分に分類することに留意されたい。図５では、画像センサーの赤ピクセル、緑ピクセルおよび青ピクセルのための応答曲線が例証される。概して、まったくＩＲ成分を分離することは可能でない。いくつかの実装形態では、放射が画像センサーに達する前に、放射のＩＲ成分を阻止するために、ＩＲカットフィルタが使用される。その理由は、図５を参照すると、赤外線はすべてのピクセルに影響を及ぼすので、画像センサーへの赤外線の導入が、カメラコントローラによって実施される色補正をひずませることになり、ＩＲカットフィルタが、トゥルーカラー表現を提供することが可能であるために必要であるからである。

カメラレンズハウジング１０４は、レンズシステム１０８とアパーチャ１１０とを備える。

アパーチャ１１０はダイヤフラムと呼ばれることもある。アパーチャ１１０の役割は、アパーチャ１１０を通過する光を除いて、光の通過を停止することである。アパーチャ１１０は、固定サイズの開口を有する固定アパーチャであり得る。固定サイズの開口を有する固定アパーチャを有することによって、より少ない可動部分をもつカメラが提供される。代替的に、アパーチャ１１０は、アパーチャ開口のサイズが変わり得る、アイリスアパーチャであり得る。アパーチャ１１０の開口のサイズを制御することによって、画像センサー１０２に到達する放射の量を制御することが可能であり、これは、もちろん、カメラにおいて使用される通常のアイリスアパーチャからよく知られている。

アパーチャ１１０は、レンズシステム１０８のいわゆるアパーチャストップ面に置かれるか、またはそうではなく、アパーチャストップ面に物理的にできるだけ近接して置かれる。本開示の残部では、アパーチャストップ面は、単に、アパーチャストップと呼ばれる。通常構成では、アパーチャストップの面は、画像センサー１０２の面との空間相関がない位置を表す。理想的な単一レンズシステムの場合、アパーチャストップは、光軸に対して直角に、レンズの中央に位置決めされる。アパーチャストップは、対象の各点からどのくらいの光が共役画像点（我々のケースでは、画像センサー）に到達するかを制限する。したがって、アパーチャストップはビーム経路中の面を定義し、時々、「アパーチャ面」という用語が同じ特徴のために使用される。この面の特徴は、この面が、アパーチャのサイズの変更が、少なくとも、理想的状況において、画像面全体に等しく影響を及ぼすことになる位置であることである。すでに論じられたことに加えて、アパーチャストップの特徴は、アパーチャのサイズが、実際の画像ではなく、画像センサー１０２に到達する光の量にのみ影響を及ぼすことになることを暗示する。より具体的には、アパーチャストップは、画像面において、すなわち画像センサー１０２の面において、シャドーイングあるいは同様の効果またはアーテファクトを発生させない。この理由で、アパーチャ１１０（ダイヤフラム）をアパーチャストップに位置決めすることは、標準手法である。本明細書のコンテキスト内で、「アパーチャ」は、アパーチャストップにおいて、またはアパーチャストップの近傍に配置された、アイリスアパーチャまたは固定サイズのアパーチャに対応する。フィルタは、好ましくは、フィルタを通過したすべての光が画像センサーに等しく影響を及ぼすほどアパーチャに十分に近接しているものとする。

画像センサー１０２に戻ると、画像センサー１０２の少なくともいくつかのピクセルは、ピクセルの複数のペアに属する。それゆえに、画像センサー１０２は、ピクセルの複数のペアを備える。この文献では、ピクセルの複数のペアは、しばしば、位相ピクセル、位相検出ピクセル、またはデュアルピクセルと称される。本発明のために使用される、ピクセルの複数のペアをもつ画像センサーは、今日すでに、位相検出オートフォーカスを実施するために使用されている。そのような知られているセンサーは、センサーにわたって拡散した比較的少数の位相ピクセルを有するものもあるが、すべてのピクセルが位相ピクセルであるものもある。

画像センサー１０２のすべてのピクセルは、位相ピクセルであり得る。それゆえに、図２ａに例示されているように、画像センサー１０２の各ピクセルは、ピクセルのそれぞれのペアに属し得る。ピクセルの各ペアは、第１のピクセル２００と第２のピクセル２０２とを備える。代替的に、画像センサー１０２は、センサーエリアにわたって広がるより少数の位相ピクセルを有し得る。それゆえに、図２ｂおよび図２ｃに例示されているように、画像センサー１０２のピクセルのサブセットが、ピクセルのそれぞれのペアに属し得る。

ピクセルの各ペア中においては、第１のピクセル２００は、アパーチャ１１０を通ってカメラ１００に入射し、アパーチャ１１０から第１の放射経路を介して画像センサー１０２に伝わった放射を検出するように構成され、第２のピクセル２０２は、アパーチャ１１０を通ってカメラ１００に入射し、アパーチャ１１０から第２の放射経路を介して画像センサー１０２に伝わった放射を検出するように構成される。第２の放射経路は、第１の放射経路とは異なる。第２の放射経路は、第１の放射経路とは別個であり得る。それゆえに、第１の放射経路と第２の放射経路とは、重複しないことがある。

ピクセルの各ペア中においては、アパーチャ１１０を通ってカメラ１００に入射し、アパーチャ１１０から第１の放射経路を介して画像センサー１０２に伝わった放射を第１のピクセル２００が検出するように、第１のピクセル２００の第１の半分がマスキングされ得、アパーチャ１１０を通ってカメラ１００に入射し、アパーチャ１１０から第２の放射経路を介して画像センサー１０２に伝わった放射を第２のピクセル２０２が検出するように、第２のピクセル２０２の第２の半分がマスキングされ得る。第２の半分は、第１の半分と相補関係にあり得る。

ピクセルの各ペア中においては、第１のピクセル２００は、アパーチャ１１０を通ってカメラ１００に入射し、アパーチャ１１０から第１の放射経路を介して画像センサー１０２に伝わった放射を検出するように整形され得、第２のピクセル２０２は、アパーチャ１１０を通ってカメラ１００に入射し、アパーチャ１１０から第２の放射経路を介して画像センサー１０２に伝わった放射を検出するように整形され得る。第２のピクセル２０２は、第１のピクセル２００に対して相補的形状であり得る。

カメラレンズハウジング１０４は、フィルタ１１２をさらに備える。フィルタ１１２は、アパーチャ１１０において、またはアパーチャ１１０の近傍に配置される。フィルタ１１２は、好ましくは、光の量のみが影響を受け、空間画像が影響を受けないように、アパーチャ面に十分に近接している。フィルタ１１２を、アパーチャ１１０において、またはアパーチャ１１０の近傍に有し、それにより、アパーチャストップの面に近接させることにおいて、付加的利益がある。これは、通常構成では、アパーチャストップの面は、画像センサー１０２の面との空間相関がない位置を表すからである。

フィルタ１１２がアパーチャ１１０の近傍に配置された場合、フィルタ１１２は、アパーチャ１１０と画像センサー１０２との中間に、またはアパーチャの外に配置され得る。

図３ａ、図３ｂおよび図３ｃに例示されているように、フィルタ１１２は、赤外線または可視光線を阻止するように構成された第１の部分３００と、第１の部分によって阻止された波長に対して透過的であるように構成された第２の部分３０２とを備える。

フィルタ１１２は、可視光線および赤外線に対して透過的な材料で作られ得る。そのような材料の例は、ガラスおよびプラスチックである。フィルタは固体シートを備え得る。シートは、１つまたは複数のコーティングによって部分的にカバーされ得る。１つまたは複数のコーティングをもつフィルタ１１２の部分は、フィルタ１１２の第１の部分３００であり得る。また、フィルタ１１２の第２の部分３０２が、１つまたは複数のコーティングによってカバーされ得る。しかしながら、フィルタの第２の部分３０２は、波長阻止コーティングによってカバーされないこともある。１つまたは複数のコーティングの特定の組成が、波長のある特定の範囲における波長をもつ放射を阻止し得、波長の別の特定の範囲における波長をもつ放射が通過することを可能にし得る。これは、図４ａ、図４ｂおよび図４ｃに関して、さらに論じられる。

フィルタ１１２の分割は、ちょうど図３ａに例示されているように、第１の部分３００がフィルタ１１２の第１の半分を表し、第２の部分３０２がフィルタ１１２の第２の半分を表し、第２の半分が第１の半分と相補関係にあるように、行われ得る。しかしながら、分割は別様に行われ得、これは、次に、図３ｂおよび図３ｃに関して、さらに論じられる。

図３ｂおよび図３ｃは、第１の部分３００が第２の部分３０２よりも大きい、フィルタ１１２の２つの異なる例証する実施形態を例示する。これらの例証する実施形態に従って、第１の部分３００は、赤外線を阻止するように構成される。図３ｂおよび図３ｃに例証されたフィルタ設計は、第１の部分３００が第２の部分３０２よりも大きい、多くの可能な設計のうち２つの例にすぎない。フィルタ１１２のＩＲ阻止部分をフィルタ１１２の非ＩＲ阻止部分よりも大きくすることによって、赤外線を検出することになっていないピクセルのペアからのピクセルへの赤外線の漏れのリスクが低減される。なお、これは、第２の経路中のピクセルが、フィルタ処理された放射とフィルタ処理されていない放射との混合物を得るので、シーンにおける赤外線の推定値が正確でないことがあることを犠牲にして成り立ち得る。図３ｃに例示されているフィルタ設計によれば、フィルタ１１２は、デュアル機能を有し得る。赤外線を部分的に阻止することの他に、本開示のコンテキスト内で論じられているように、弱光状態に有用であるので、フィルタ１１２は、昼光状態の間にＩＲカットフィルタとしても使用され得る。これは、昼光状態の間に、アイリスアパーチャの形態のアパーチャ１１０が、一般に、サイズが低減され、その結果、それが、フィルタ１１２の第１の部分３００内に位置するエリア３０６内で動作されるからである。フィルタのそのような設計を用いると、第２の経路中の、フィルタ処理された放射とフィルタ処理されていない放射とを混合することに関する上述の問題は、ピクセルペア中のピクセルが、異なる量の光を受信するように、異なるサイズで形成される場合、緩和され得る。

フィルタ１１２は、第１の放射経路および第２の放射経路内及び経路外に位置決めできるように可動であり得る。代替的に、フィルタ１１２は、アパーチャ１１０において、またはアパーチャ１１０の近傍に固定的に位置決めされ得る。

フィルタ１１２および画像センサー１０２は、フィルタ１１２の分割が、ピクセルの複数のペアの第１のピクセル２００および第２のピクセル２０２の向きと整合されるか、またはそれに対して平行であるように配置される。整合は、第１のピクセル２００が、フィルタ１１２の第１の部分３００を通過した放射を受信し、第２のピクセル２０２が、フィルタ１１２の第２の部分３０２を通過した放射を受信することをもたらす。したがって、フィルタ１１２および画像センサー１０２は、フィルタ１１２の第１の部分３００を通過した放射が、ピクセルの複数のペアの第１のピクセル２００に伝わるように、およびフィルタ１１２の第２の部分３０２を通過した放射がピクセルの複数のペアの第２のピクセル２０２に伝わるように、互いに対して配置される。フィルタ１１２と画像センサー１０２との整合は、フィルタ１１２の分割が、画像センサー１０２の第１のピクセル２００および第２のピクセル２０２の向きに対して平行であるように行われ得る。

図示の実施形態では、ピクセルペアならびにフィルタは、左部分と右部分とに分けられる。上側部分および下側部分、または任意の他の向きなど、他の区分も可能であることに留意されたい。

上記で定義されたように、赤外線または可視光線を阻止するように構成された第１の部分３００と、第１の部分によって阻止された波長に対して透過的であるように構成された第２の部分３０２とを有するフィルタ１１２と、ピクセルの複数のペアを備える画像センサー１０２とをもつ本設定は、カメラ１００に入射する放射中に備えられた赤外線の量の推定を有効にする。これは、それ自体で可視光線と赤外線とを区別しない、画像センサーを使用する。赤外線の量の推定は、たとえば、弱光状態の間にさえ色画像を生成するために使用され得る。これは、この説明においてさらに下でより詳細に論じられる。

本発明に関して使用され得るフィルタ１１２の若干の可能な構成がある。

第１の構成によれば、第１の部分３００は、赤外線を阻止するように構成され、第２の部分３０２は、赤外線に対して透過的であるように構成される。この第１の構成の場合、フィルタ１１２の第１の部分３００と第２の部分３０２の両方は、可視光線が通過することを可能にするように構成される。それに応じて、フィルタ１１２の第１の部分３００は赤外線を阻止し、可視光線が通過することを可能にするように構成され、フィルタ１１２の第２の部分３０２は、可視光線と赤外線の両方が通過することを可能にするように構成される。これは図４ａに例示されている。可視スペクトル範囲における強度（Ｉ_ｖｉｓ）とＩＲスペクトル範囲における強度（Ｉ_ＩＲ）の両方を有する放射が、フィルタ１１２に入射している。フィルタ１１２の第１の部分３００は赤外線を阻止し、可視光線が通過することを可能にし、それゆえに、フィルタ１１２の第１の部分３００を通過した放射は、可視スペクトル範囲における強度（Ｉ_ｖｉｓ）のみを有することになる。フィルタ１１２の第２の部分３０２は赤外線と可視光線の両方が通過することを可能にし、それゆえに、フィルタ１１２の第２の部分３０２を通過した放射は、ＩＲスペクトル範囲における強度（Ｉ_ＩＲ）と可視スペクトル範囲における強度（Ｉ_ｖｉｓ）の両方を有することになる。複数のピクセルの第１のピクセル２００が、次いで、Ｉ_ｖｉｓに比例する信号（Ｓ_１）を生成することになり、複数のピクセルの第２のピクセル２０２が、次いで、Ｉ_ｖｉｓ＋Ｉ_ＩＲに比例する信号（Ｓ_２）を生成することになる。このことから、赤外線の量は、Ｓ_２−Ｓ_１として推定され得る。さらに、赤外線と可視光線の両方を検出する画像センサー１０２のピクセルからの信号（Ｓ_ｔｏｔ）における可視光線からの寄与は、次いで、Ｓ_ｔｏｔ−（Ｓ_２−Ｓ_１）であると推定され得る。

第２の構成によれば、第１の部分３００は、可視光線を阻止するように構成され、第２の部分３０２は、可視光線に対して透過的であるように構成される。この第２の構成の場合、フィルタ１１２の第１の部分３００と第２の部分３０２の両方は、赤外線が通過することを可能にするように構成される。それに応じて、フィルタ１１２の第１の部分３００は可視光線を阻止し、赤外線が通過することを可能にするように構成され、フィルタ１１２の第２の部分３０２は、可視光線と赤外線の両方が通過することを可能にするように構成される。これは図４ｂに例示されている。可視スペクトル範囲における強度（Ｉ_ｖｉｓ）とＩＲスペクトル範囲における強度（Ｉ_ＩＲ）の両方を有する放射が、フィルタ１１２に入射している。フィルタ１１２の第１の部分３００は可視光線を阻止し、赤外線が通過することを可能にし、それゆえに、フィルタ１１２の第１の部分３００を通過した放射は、ＩＲスペクトル範囲における強度（Ｉ_ＩＲ）のみを有することになる。フィルタ１１２の第２の部分３０２は赤外線と可視光線の両方が通過することを可能にし、それゆえに、フィルタ１１２の第２の部分３０２を通過した放射は、ＩＲスペクトル範囲における強度（Ｉ_ＩＲ）と可視スペクトル範囲における強度（Ｉ_ｖｉｓ）の両方を有することになる。複数のピクセルの第１のピクセル２００が、次いで、Ｉ_ＩＲに比例する信号（Ｓ_１）を生成することになり、複数のピクセルの第２のピクセル２０２が、次いで、Ｉ_ｖｉｓ＋Ｉ_ＩＲに比例する信号（Ｓ_２）を生成することになる。このことから、赤外線の量は、Ｓ_１として推定され得る。さらに、赤外線と可視光線の両方を検出する画像センサー１０２のピクセルからの信号（Ｓ_ｔｏｔ）における可視光線からの寄与は、次いで、Ｓ_ｔｏｔ−Ｓ_１であると推定され得る。

第３の構成によれば、第１の部分３００は、赤外線を阻止するように構成され、第２の部分３０２は、赤外線に対して透過的であるように構成される。さらに、第１の部分３００は、可視光線に対して透過的であるように構成され、第２の部分３０２は、可視光線を阻止するように構成される。それに応じて、フィルタ１１２の第１の部分３００は赤外線を阻止し、可視光線が通過することを可能にするように構成され、フィルタ１１２の第２の部分３０２は、赤外線が通過することを可能にし、可視光線を阻止するように構成される。これは図４ｃに例示されている。可視スペクトル範囲における強度（Ｉ_ｖｉｓ）とＩＲスペクトル範囲における強度（Ｉ_ＩＲ）の両方を有する放射が、フィルタ１１２に入射している。フィルタ１１２の第１の部分３００は赤外線を阻止し、可視光線が通過することを可能にし、それゆえに、フィルタ１１２の第１の部分３００を通過した放射は、可視スペクトル範囲における強度（Ｉ_ｖｉｓ）のみを有することになる。フィルタ１１２の第２の部分３０２は赤外線が通過することを可能にするが、可視光線を阻止することになり、それゆえに、フィルタ１１２の第２の部分３０２を通過した放射は、ＩＲスペクトル範囲における強度（Ｉ_ＩＲ）を有することになる。複数のピクセルの第１のピクセル２００が、次いで、Ｉ_ｖｉｓに比例する信号（Ｓ_１）を生成することになり、複数のピクセルの第２のピクセル２０２が、次いで、Ｉ_ＩＲに比例する信号（Ｓ_２）を生成することになる。このことから、赤外線の量は、Ｓ_２として推定され得る。さらに、赤外線と可視光線の両方を検出する画像センサー１０２のピクセルからの信号（Ｓ_ｔｏｔ）における可視光線からの寄与は、次いで、Ｓ_ｔｏｔ−Ｓ_２であると推定され得る。

それゆえに、フィルタ１１２の構成にかかわらず、シーンにおける赤外線の比率が計算され得る。

カメラ１００はプロセッサ１２４を備え得る。プロセッサ１２４は、シングルコアプロセッサまたはマルチコアプロセッサであり得る。プロセッサ１２４は、デジタルデータ処理を実施するための任意の好適なプロセッサであり得る。プロセッサ１２４は、ピクセルの複数のペアの第１のピクセル２００からの信号と、ピクセルの複数のペアの第２のピクセル２０２からの信号とを処理するように構成され得る。代替的に、画像プロセッサ１２０が、ピクセルの複数のペアの第１のピクセル２００からの信号と、ピクセルの複数のペアの第２のピクセル２０２からの信号とを処理するように構成され得る。また代替的に、第１のピクセル２００からの信号と第２のピクセル２０２からの信号とは、部分的にプロセッサ１２４によって処理され、部分的に画像プロセッサ１２０によって処理され得る。

カメラ１００はメモリ１２２をさらに備え得る。メモリ１２２は、任意の種類の揮発性メモリまたは不揮発性メモリであり得る。さらに、メモリ１２２は複数のメモリユニットを備え得る。メモリ１２２は、プロセッサ１２４および／または画像プロセッサ１２０による処理を実施しながら、データをバッファするためのバッファメモリとして使用され得る。メモリは、たとえば、画像センサー１０２のピクセルのためのピクセル値信号に関係する情報をバッファするように構成され得る。

画像プロセッサ１２０とメモリ１２２とプロセッサ１２４とは、データバス１２６上で通信し得る。

カメラ１００の、プロセッサ１２４、画像プロセッサ１２０またはそれらの組合せのいずれかである、処理ユニットが、ピクセルの複数のペアの第１のピクセル２００の各々について、それぞれの第１のピクセル２００によって検出された放射の第１の量を示す値を決定するように構成され得る。カメラ１００の処理ユニットは、ピクセルの複数のペアの第２のピクセル２０２の各々について、それぞれの第２のピクセル２０２によって検出された放射の第２の量を示す値を決定するようにさらに構成され得る。ピクセルの複数のペアの第１のピクセル２００および第２のピクセル２０２の各々について決定された放射の第１の量および第２の量を示す値に基づいて、処理ユニットは、シーンにおける赤外線の比率を計算するように構成され得る。赤外線の比率は、シーンの異なるエリアについて異なり得る。画像センサー１０２がピクセルの複数のペアを備えるので、シーンの異なるエリアにおける赤外線の比率は決定され得る。これは、特に、ピクセルのペアが画像センサー１０２のエリアにわたって一様に分散される場合である。

赤外線の比率を決定することによって、視覚光の寄与を評価することが可能であろう。この評価は、画像について、個々のピクセルまたはピクセルのグループから、画像フレームのより大きい部分、あるいは画像フレーム全体の範囲に及ぶ、任意のレベルの解像度に対して実施され得る。また、この評価は、単一フレームに基づき得るが、より良い統計値のために、評価が実施される前に、平均値を形成するために、いくつかの画像フレームが組み合わせられ得る。

評価に続いて、視覚波長からの寄与と赤外波長からの寄与とを分離し、それに応じて、得られた画像を補償することが可能であろう。それゆえに、シーンにおける赤外線の計算された比率に基づいて、処理ユニットは、カメラ１００によってキャプチャされた画像中のＩＲ寄与を補償することによって、シーンの色画像を生成するように構成され得る。

要約すれば、弱光状態下でさえ色画像を生成するために、以下が良好な結果を与えることが了解される。
・できるだけ多くの放射を、すなわち可視光線と赤外線の両方を、画像センサー１０２に到達させる。これは、画像センサー上で必要とされるゲインを低減し、それゆえに、画像センサーからの信号中のノイズのレベルを低減するためである。
・可視光線と赤外線の両方を検出する画像センサー１０２のピクセルに到達する放射中の赤外線の比率を決定する。これは、ピクセルのペアの第１のピクセル２００に到達する放射と第２のピクセル２０２に到達する放射とを別様にフィルタ処理することによるものである。
・カメラによってキャプチャされた画像中のＩＲ寄与を補償することによって、色画像を生成する。

図６に関して、可視光線と赤外線の両方を含む放射に露出されたカメラによってキャプチャされたシーンの色画像を生成する方法が論じられる。方法は、以下を含む。Ｓ６０２において、ピクセルの複数のペアの各々中の放射の量を示す値を検出することであって、各ペアが第１のピクセルと第２のピクセルとを備える、検出すること。それゆえに、カメラは、上記で論じられたように、ピクセルの複数のペアを備える画像センサーを備える。Ｓ６０４において、ピクセルの複数のペアの第１のピクセルの各々について、それぞれの第１のピクセルによって検出された放射の第１の量を示す値を決定すること。Ｓ６０６において、ピクセルの複数のペアの第２のピクセルの各々について、それぞれの第２のピクセルによって検出された放射の第２の量を示す値を決定すること。Ｓ６０８において、ピクセルの複数のペアの第１のピクセルおよび第２のピクセルの各々について決定された放射の第１の量および第２の量に基づくシーンにおける赤外線の比率を計算すること。Ｓ６１０において、赤外線の計算された比率に基づいて、カメラによってキャプチャされた画像中のＩＲ寄与を補償することによって、シーンの色画像を生成すること。

方法は、赤外線または可視光線が、ピクセルの複数のペアの第１のピクセルに到達することを阻止することと、ピクセルの複数のペアの第１のピクセルに到達することを阻止された波長が、ピクセルの複数のペアの第２のピクセルに到達することを可能にすることとをさらに備え得る。

本発明が、決して、上記で説明された好ましい実施形態に限定されないことを、当業者は了解されよう。見方を変えれば、多くの改変および変形が、添付の特許請求の範囲内で可能である。

たとえば、その通常動作に加えて、アパーチャ１１０は、制御および設計の点でいくつかの追加の特徴を有し得る。設計特徴は、フィルタ１１２の組込みを伴い得る。

さらに、フィルタ１１２は、第１の放射経路中の赤外線と、第２の放射経路中の赤外線とを別様にフィルタ処理するように構成され得る。たとえば、フィルタ１１２の第１の部分３００は、すべての赤外線を阻止するように構成され得、フィルタ１１２の第２の部分３０２は、ＩＲスペクトル中の波長の所定のサブ部分を除くすべての赤外線を阻止するように構成され得る。これは、たとえば、カメラ１００が見たシーンを照明するためにＩＲ照明器が使用され、ＩＲ照明器が、ＩＲスペクトル中の波長の所定のサブ部分内の波長でシーンを照明するように構成された、実装形態において有用であり得る。次いで、フィルタの第２の部分は、ＩＲスペクトル中の波長の所定のサブ部分中の赤外線が、画像センサーに到達することを可能にするように構成される。次いで、ＩＲスペクトル中の波長の所定のサブ部分中の赤外線は、補償され得る。ＩＲ照明器は、カメラ中にまたはカメラ上に、あるいはシーン中の他の場所に配置され得る。

また、ピクセルのペアの第１のピクセルに到達する放射と、第２のピクセルに到達する放射とを別様にフィルタ処理するために、他のタイプのフィルタが使用され得る。たとえば、可視スペクトルの異なる部分が、別様にフィルタ処理され得る。ほんの１つの可能な実装形態を挙げると、植物を研究するために、緑色光が別様にフィルタ処理され得る。環境における１つまたは複数の妨害する光源に関するスペクトル情報を知ると、そのような光源の寄与は、ピクセルの複数のペアを備える画像センサーとともに、１つまたは複数の妨害する光源の波長を阻止する第１の部分と、同じ波長が通過することを可能にする第２の部分とを有するフィルタを使用することによって、補償され得る。放射スペクトルの他の部分に反応するセンサーを用いると、たとえば、ＵＶ放射を選択的に阻止または送信することによって、入来する放射中の紫外線放射成分を研究するために、同じ原理が使用され得る。

その上、ピクセルの複数のペアの各々中の放射の量を示す値を検出することと、ピクセルの複数のペアの第１のピクセルの各々について、それぞれの第１のピクセルによって検出された放射の第１の量を示す値を決定することと、ピクセルの複数のペアの第２のピクセルの各々について、それぞれの第２のピクセルによって検出された放射の第２の量を示す値を決定することと、ピクセルの複数のペアの第１のピクセルおよび第２のピクセルの各々について決定された放射の第１の量および第２の量に基づくシーンにおける赤外線の比率を計算することと、赤外線の計算された比率に基づいて、カメラによってキャプチャされた画像中のＩＲ寄与を補償することによって、シーンの色画像を生成することとのうちの１つまたは複数が、カメラ１００とは別個のデバイスにおいて行われ得る。それゆえに、カメラ１００は、カメラとは別個のデバイスと通信するように構成され得る。そのようなデバイスは、たとえば、サーバであり得る。サーバは、たとえば、色画像の生成を複数のカメラにサービスするように構成され得る。サーバは、上記で論じられたカメラ１００としての１つまたは複数のカメラを、日中モードまたは夜間モードにセットするために、１つまたは複数のカメラを制御するように構成され得る。日中モードでは、フィルタ１１２は、好ましくは、使用されないが、代わりに、すべての赤外線が画像センサーに到達することを阻止するＩＲカットフィルタが使用される。それゆえに、フィルタ１１２は、それぞれのカメラ１００のビーム経路から退避され得、ＩＲカットフィルタは、それぞれのカメラ１００のビーム経路に挿入され得る。夜間モードでは、フィルタ１１２は、それぞれのカメラ１００のビーム経路に挿入され、ＩＲカットフィルタは、それぞれのカメラ１００のビーム経路から退避される。

上記で論じられたように、フィルタ１１２の第１の部分３００は、すべての赤外線を阻止するように構成され得、フィルタ１１２の第２の部分３０２は、カメラ中に、または、シーン中の他の場所に配置されたＩＲ照明器によって放出された波長に対応する、ＩＲスペクトル中の波長の所定のサブ部分を除くすべての赤外線を阻止するように構成され得る。この構成の変形態では、フィルタの第１の部分は、可視光線と赤外線のＩＲ照明器サブ部分とに対して透過的であり得るが、フィルタの第２の部分は、すべての赤外線を阻止し、可視光線のみが通るのを可能にする。混合光シーン、すなわち赤外線と低レベルの可視光線とをもつシーンでは、そのような構成は、ＩＲ照明器が、そのシーンにおいてすべてまたはほとんどすべての赤外線を提供し、照明器サブスペクトル外に赤外線がほとんどまたはまったくない場合、有用であり得る。照明器によって付加された赤外線が、シーンにおける放射の総量を増加させ、それゆえに、画像センサー上のゲインの必要を低減する。ピクセルペアとスプリットフィルタとにより、ＩＲ成分を決定し、それを補償することが可能になり、その結果、良好な色忠実度をもつ色画像が、夕暮れおよび夜明けなどにおける、弱光においても生成され得る。なお、昼光では、太陽が、ＩＲ照明器のスペクトル範囲外でかなりの量の赤外線を寄与し得、ゆえに、入来する放射における赤外線の総量を決定することが可能でない。ゆえに、すべての赤外線を阻止するか、または少なくともＩＲ照明器のスペクトル範囲を阻止するが、可視光線に対して透過的である、追加の可動フィルタをもつフィルタ配置が提供され得る。固定フィルタと可動フィルタとの組合せを使用するフィルタ配置は、出願人の欧州特許出願第１６２０７１２６．０号で説明される。高い光レベルがシーンにあるとき、追加のフィルタが挿入され得る。そのような照明状態では、ノイズを十分に低く保つために、ＩＲ成分が必要でない。混合光では、可視光レベルが、許容できる信号対ノイズ比を与えるにはあまりに低いとき、可動ＩＲカットフィルタが取り外され、ＩＲ照明器がオンに切り替えられ、それにより、照明器からの赤外線が各ピクセルペアの１つのピクセルに到達することを可能にし得る。夜間などにおける、暗闇では、可動ＩＲカットフィルタは、取り外されたままでなければならず、白黒画像が、照明器および他のソースからの赤外線に基づいて生成され得るが、可視光線寄与はわずかである。

図２ａ〜図２ｃに示されている実施形態では、第１のピクセルおよび第２のピクセルは、ピクセルのペアの各部分である。しかしながら、第１のピクセルおよび第２のピクセルは、ピクセルのトリプレットまたはクアドルプレットなど、ピクセルのより大きいグループの部分であり得ることに留意されたい。ピクセルのトリプレットでは、たとえば、１つの第１のピクセルと２つの第２のピクセルとがあり得、またはその逆も同様である。ピクセルのクアドルプレットでは、２つの第１のピクセルと２つの第２のピクセルとがあり得るが、同様に、１つの第１のピクセルと３つの第２のピクセルとがあり得、またはその逆も同様である。

追加として、開示される実施形態の変形が、図面、本開示、および添付の特許請求の範囲の研究から、請求される本発明を行う際に、当業者によって理解および実現され得る。

１００ カメラ
１０２ 画像センサー
１０４ カメラレンズハウジング
１０８ レンズシステム
１１０ アパーチャ
１１２ フィルタ
１２０ 画像プロセッサ
１２２ メモリ
１２４ プロセッサ
１２６ データバス
２００ 第１のピクセル
２０２ 第２のピクセル
３００ 第１の部分
３０２ 第２の部分
３０６ エリア

Claims (12)

1. カメラであって、
   アパーチャ（１１０）と、
   ピクセルの複数のペアを備える画像センサー（１０２）であって、前記ペア中において、
   第１のピクセル（２００）が、前記アパーチャ（１１０）を通って前記カメラに入射し、前記アパーチャ（１１０）から第１の放射経路を介して前記画像センサー（１０２）に伝わった放射を検出するように構成され、
   第２のピクセル（２０２）が、前記アパーチャ（１１０）を通って前記カメラに入射し、前記アパーチャ（１１０）から第２の放射経路を介して前記画像センサー（１０２）に伝わった放射を検出するように構成され、前記第２の放射経路が前記第１の放射経路とは異なる、
   画像センサー（１０２）と、
   前記アパーチャ（１１０）において、または前記アパーチャ（１１０）の近傍に配置されたフィルタ（１１２）であって、前記フィルタ（１１２）が、赤外線または可視光線を阻止するように構成された第１の部分（３００）と、前記第１の部分（３００）によって阻止された波長に対して透過的であるように構成された第２の部分（３０２）とを備え、前記フィルタ（１１２）は、前記第１の部分（３００）を通過した放射がピクセルの前記複数のペアの前記第１のピクセル（２００）に伝わるように、および前記第２の部分（３０２）を通過した放射がピクセルの前記複数のペアの前記第２のピクセル（２０２）に伝わるように配置された、フィルタ（１１２）と
   を備えるカメラ。
2. 前記フィルタ（１１２）の前記第１の部分（３００）が、赤外線を阻止するように構成され、前記フィルタ（１１２）の前記第２の部分（３０２）が、赤外線と可視光線の両方に対して透過的であるように構成された、請求項１に記載のカメラ。
3. 前記フィルタ（１１２）の前記第１の部分（３００）が、可視光線を阻止するように構成され、前記フィルタ（１１２）の前記第２の部分（３０２）が、赤外線と可視光線の両方に対して透過的であるように構成された、請求項１に記載のカメラ。
4. 前記フィルタ（１１２）の前記第１の部分（３００）が、赤外線を阻止するように構成され、前記フィルタ（１１２）の前記第２の部分（３０２）が、可視光線を阻止するように構成された、請求項１に記載のカメラ。
5. 前記フィルタ（１１２）が、前記アパーチャ（１１０）において、または前記アパーチャ（１１０）の近傍に固定的に位置決めされた、請求項１から４のいずれか一項に記載のカメラ。
6. 前記フィルタ（１１２）が、前記第１の放射経路および前記第２の放射経路内および経路外に位置決めできるように可動である、請求項１から４のいずれか一項に記載のカメラ。
7. 前記フィルタの分割は、
   赤外線が、ピクセルの前記ペア中の前記第１のピクセルに到達せず、
   赤外線が、ピクセルの前記ペア中の前記第２のピクセルに到達する
   ように、前記第１のピクセルおよび前記第２のピクセルと整合される、請求項２、４から６のいずれか一項に記載のカメラ。
8. 前記画像センサー（１０２）の各ピクセルが、ピクセルのそれぞれのペアに属する、請求項１から７のいずれか一項に記載のカメラ。
9. 前記画像センサー（１０２）は、前記カメラが、可視光線と赤外線の両方を含む放射に露出されると、ピクセルの前記複数のペアの各々に到達する放射の量を示す値を登録するように構成され、前記カメラが、
   ピクセルの前記複数のペアの前記第１のピクセル（２００）の各々について、前記それぞれの第１のピクセル（２００）によって検出された放射の第１の量を示す値を決定することと、
   ピクセルの前記複数のペアの前記第２のピクセル（２０２）の各々について、前記それぞれの第２のピクセル（２０２）によって検出された放射の第２の量を示す値を決定することと、
   ピクセルの前記複数のペアの前記第１のピクセルおよび前記第２のピクセル（２００、２０２）の各々について決定された放射の前記第１の量および前記第２の量に基づくシーンにおける赤外線の比率を計算することと、
   前記計算された赤外線の比率に基づいて、前記カメラによってキャプチャされた画像中の赤外寄与分を補償することによって、前記シーンの色画像を生成することと
   を行うように構成された処理ユニット（１２０、１２４）をさらに備える、請求項１から８のいずれか一項に記載のカメラ。
10. 可視光線と赤外線の両方を含む放射に露出されたカメラによってキャプチャされたシーンの色画像を生成する方法であって、
    ピクセルの複数のペアの各々中の放射の量を示す値を検出することであって、各ペアが第１のピクセルと第２のピクセルとを備える、検出することと、
    ピクセルの前記複数のペアの前記第１のピクセルの各々について、前記それぞれの第１のピクセルによって検出された放射の第１の量を示す値を決定することと、
    ピクセルの前記複数のペアの前記第２のピクセルの各々について、前記それぞれの第２のピクセルによって検出された放射の第２の量を示す値を決定することと、
    ピクセルの前記複数のペアの前記第１のピクセルおよび前記第２のピクセルの各々について決定された放射の前記第１の量および前記第２の量に基づく前記シーンにおける赤外線の比率を計算することと、
    前記計算された赤外線の比率に基づいて、前記カメラによってキャプチャされた画像中の赤外寄与分を補償することによって、前記シーンの前記色画像を生成することと
    を含む、方法。
11. 赤外線または可視光線が、ピクセルの前記複数のペアの前記第１のピクセルに到達することを阻止することと、
    ピクセルの前記複数のペアの前記第１のピクセルに到達することを阻止された波長が、ピクセルの前記複数のペアの前記第２のピクセルに到達することを可能にすることと
    をさらに含む、請求項１０に記載の方法。
12. 処理能力を有するデバイス上で実行されたとき、請求項１０または１１に記載の前記方法を実施するように構成された、コンピュータ可読プログラムコードを記憶した、非一過性コンピュータ可読記憶媒体。

Images