JP2020522937A - 自動車の安全及び運転システムのためのシャッタレス遠赤外線（ｆｉｒ：ｆａｒ ｉｎｆｒａｒｅｄ）カメラ - Google Patents

Abstract

高度な運転者支援システム用のシャッタレス遠赤外線（ＦＩＲ）カメラであって、少なくとも１枚のレンズを具備する少なくとも１つの光学ユニットと、光学ユニットに結合され、ＦＩＲ画像を取り込むよう構成されるＦＩＲセンサと、改善された熱ビデオ・ストリームを出力するために、取り込まれたＦＩＲ画像を処理するよう構成される集積回路（ＩＣ）とを備え、ここでＩＣは、処理回路と、処理回路によって実行されるとき、少なくともシャッタレス補正を含む画像補正を実行するよう処理回路を構成する命令を有するメモリとをさらに備える。

Description

本出願は、２０１７年６月５日に出願された米国仮特許出願第６２／５１５，２００号、２０１７年６月２９日に出願された米国仮特許出願第６２／５２６，７３３号、２０１７年８月９日に出願された米国仮特許出願第６２／５４３，１０８号、及び２０１７年８月３１日に出願された米国特許仮出願第６２／５５２，６２０号の利益を主張する。上記で言及した出願のすべてが、参照により本明細書に組み込まれる。

本開示は概して、自動車安全システムに関し、より詳細には、かかるシステムで効率的に利用することができるシャッタレス遠赤外線（ＦＩＲ）カメラに関する。

熱赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）カメラは、７．５マイクロメートルから１４マイクロメートルの範囲内の画像の波長を取り込む。代表的なＩＲカメラは、赤外線センサ（又は検出器）を使用して、カメラのレンズを通してセンサに導かれる赤外線エネルギを検出する。ＩＲカメラは、受動的動き検出、暗視、熱マッピング、健康管理、建物検査、監視などを含むがこれらに限定されない、様々な撮像用途に利用できる。最近ＩＲの業界では、ＩＲカメラを高度な運転者支援システム及び自律走行車両システムに統合する試みが行われている。

カメラの用途、したがってカメラの種類は、赤外線スペクトルに依存する場合がある。赤外線スペクトルは可視光範囲外にあり、０．７５〜１．０マイクロメートル（μｍ）の波長の近赤外線部（ＮＩＲ：ｎｅａｒ ｉｎｆｒａｒｅｄ ｓｅｃｔｉｏｎ）、１〜３．０マイクロメートル（μｍ）の波長の短波長赤外線部（ＳＷＩＲ：ｓｈｏｒｔ ｉｎｆｒａｒｅｄ ｓｅｃｔｉｏｎ）、３．０〜５．０μｍの波長の中波長赤外線部（ＭＩＲ：ｍｉｄ−ｉｎｆｒａｒｅｄ ｓｅｃｔｉｏｎ）、及び７．０〜１４．０μｍの波長の遠赤外線（ＦＩＲ）部で構成される。

ＦＩＲセンサの一種に、小さな形状要素を有する非冷却センサがある。かかるセンサは通常、低コストの技術を使用して大量生産できる。典型的な配置で、非冷却センサは、クライオクーラを必要とすることなく適切に動作するが、頻繁な較正のためにシャッタを必要とする。シャッタは、レンズとＦＩＲセンサとの間に配置され、センサを赤外線波長に対して交互に遮断し露出する、機械的な要素である。概してシャッタは、平刃型のフラグ、スリーブ、及びスリーブをフラグに接続するアームを備える。フラグは、予め定義された時間間隔で開閉する。

シャッタは、フラットフィールド補正（ＦＦＣ：ｆｌａｔ−ｆｉｅｌｄ ｃｏｒｒｅｃｔｉｏｎ）のプロセス中に使用される。ＦＦＣプロセスで、シャッタはＦＩＲセンサに均一温度の熱源を提示する。フラットフィールドの熱源を撮像するときに、カメラはオフセット補正係数を更新し、その結果プロセス完了後には、より均一な画像が得られる。ＦＣＣプロセスの時間は数百ミリ秒であり、その間に、シャッタが視野を遮る直前に取り込まれた画像は、ＦＦＣプロセスが終了してシャッタが再び開かれるまでフリーズされる。このプロセスは、数分ごとに１回行う必要がある。

シャッタを使用すると、ＦＩＲセンサで取り込まれる熱画像の品質と精度が向上する可能性があるが、特定の用途では数百ミリ秒の周期の黒画像は許容できない。たとえば、高度な運転者支援システム及び自律走行車両システムでシャッタベースのＦＩＲカメラを使用すると、ＦＦＣの期間頻繁にカメラを停止する必要があるので、リスクが高くなる可能性がある。さらに、シャッタは、時間と共に摩耗する可動部品を備える。これにより、カメラの寿命が短くなるのみならず、運転中にカメラが故障する可能性がある。

高度な運転者支援システム及び自律走行車両システム用に設計されたＦＩＲカメラは、安全性以外の付加的な制約も満足させる必要がある。かかる制約には、小さい形状要素、正確で遅延の少ない画像処理、及び低消費電力が含まれる。したがって、現在入手可能なＦＩＲカメラ、特にシャッタベースのＦＩＲカメラは、かかる車用途にはあまり適していない。

したがって、上記の欠点を克服する高度な運転者支援システム及び自律走行車両システム用のシャッタレスＦＩＲカメラを提供することは、有利であろう。

本開示のいくつかの例示的な実施例の概要を、以下に続ける。本概要は、かかる実施例の基本的な理解をもたらすよう読者の便宜のために提供され、開示の幅を全体的に定義するものではない。本概要は、考えられるすべての実施例の広範な大要ではなく、すべての実施例の重要な又は決定的な要素を特定することも、任意の又はすべての態様の範囲を示すことも意図するものではない。本概要の唯一の目的は、以降に提示する、より詳細な説明の前置きとして、１つ又は複数の実施例のいくつかの概念を簡略化した形で提示することである。便宜上、本明細書では「特定の実施例」という用語を使用して、本開示のただ１つの実施例又は複数の実施例を指すことができる。

本明細書で開示する特定の実施例は、高度な運転者支援システム用のシャッタレス遠赤外線（ＦＩＲ）カメラを含み、少なくとも１枚のレンズを具備する少なくとも１つの光学ユニットと、光学ユニットに結合され、ＦＩＲ画像を取り込むよう構成されるＦＩＲセンサと、改善された熱ビデオ・ストリームを出力するために、取り込まれたＦＩＲ画像を処理するよう構成される集積回路（ＩＣ：ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）とを備え、ここでＩＣは、処理回路と、処理回路によって実行されるとき、少なくともシャッタレス補正を含む画像補正を実行するよう処理回路を構成する命令を有するメモリとをさらに備える。

本明細書で開示する特定の実施例はまた、シャッタレス遠赤外線（ＦＩＲ）カメラに統合され、ＦＩＲ画像を処理するよう構成され、処理回路と、処理回路によって実行されるとき、改善された熱ビデオ・ストリームを出力するために、少なくともＦＩＲ画像のシャッタレス補正を含む画像補正を実行するよう処理回路を構成する命令を有するメモリとを具備する、電子回路を備える。

本明細書で開示する主題は、本明細書の結論において、特に指摘し、特許請求の範囲の中で明確に特許請求する。開示する実施例の前述のもの、並びに他の目的、特徴、及び利点は、添付図面と併せて理解される以下の詳細な説明から明らかとなろう。

一実施例にしたがって構成されたＦＩＲカメラの構成図である。 一実施例による、図１のＦＩＲカメラに統合された集積回路（ＩＣ）の構成図である。 一実施例による、図２のＩＣで実行される処理タスクのパイプラインの図である。 図１のＦＩＲカメラによって出力される熱画像の図である。 図１のＦＩＲカメラによって出力される熱画像の図である。 実施例にしたがって設計されたＦＩＲカメラの例示的な形状要素の図である。 車にＦＩＲカメラを取り付けるための、様々な場所を示す概略図である。

本明細書で開示する実施例は、本明細書の革新的な教示の多くの有利な使用法の実例にすぎないことに留意されたい。一般に、本出願の明細書でなされた記述は、様々な請求する実施例のいずれかを必ずしも制限するものではない。さらに、いくつかの記述は、いくつかの本発明の特徴に適用されるが、他の特徴には適用されない場合がある。概ね、別段の指示がない限り、一般性を失うことなく、単数の要素は複数であってもよく、その逆も同様である。図面において、同様の数字はいくつかの図にわたって同様の部分を指す。

開示する実施例は、動作中にカメラの視野を遮断するシャッタ又は他のどんな可動部品も備えていない遠赤外線（ＦＩＲ）カメラを含む。したがって、このＦＩＲカメラはシャッタレスカメラである。一実施例では、ＦＩＲカメラは、高度な運転者支援システム及び自律走行車両システム（これ以降、集合的にＡＶＳシステムと呼ぶ）を作動する、又はＡＶＳシステムに統合されるよう最適化される。

図１は、一実施例にしたがって実施されたＦＩＲカメラ１００の例示的な構成図である。ＦＩＲカメラ１００は、集積回路（ＩＣ）１３０に結合された光学ユニット１１０及びＦＩＲセンサ１２０を備える。ＦＩＲカメラ１００の出力は、ＦＩＲセンサ１２０により取り込まれ、ＩＣ１３０により処理される熱画像のビデオ・ストリーム（熱ビデオ・ストリーム）である。

一実施例では、２本の熱ビデオ・ストリームがＦＩＲカメラ１００から出力される。第１のストリーム１０４は、ＦＩＲセンサ１２０により取り込まれ、シャッタレス補正及び画像改善のためにＩＣ１３０により処理される熱画像を含む。例示的な実施例では、第１の熱ビデオ・ストリーム１０４は、８ビットのグレースケールのビデオ・ストリームである。第１の熱ビデオ・ストリーム１０４は、車両のスクリーン又はダッシュボードであり得るディスプレイ１４０に供給される。さらなる実施例では、複数本の熱ビデオ・ストリームがＦＩＲカメラから出力される。出力ストリームには、非ＦＩＲセンサ、たとえば可視波長のＣＣＤ又はＣＭＯＳセンサから受信した画像の結果が含まれ得る。

第２のストリーム１０５は、ＦＩＲセンサ１２０により取り込まれ、少なくともシャッタレス補正のためにＩＣ１３０により処理される熱画像を含む。例示的な実施例では、第２の熱ビデオ・ストリーム１０５は１４ビットのデータ・ストリームである。第２のストリーム１０５は、コンピュータ・ビジョン処理のために、コンピュータ１５０に供給される。具体的には、コンピュータ１５０は、ＡＶＳ並びに他の自律走行システム及び用途に関連する様々なコンピュータ・ビジョン・アルゴリズムを実行するよう構成され得る。アルゴリズムは、道路上の物体、障害物、又は危険を検出することを含むことができるが、それに限定されるものではない。たとえば、ＦＩＲカメラ１００からの出力として処理された熱ビデオ・ストリームは、車両、歩行者、動物、二輪車、薄氷の張った箇所、ごみ、がれき、窪み、マンホールの蓋（ｇｕｌｌｙ ｃｏｖｅｒ）、縁石などの検出に利用することができる。一実施例では、コンピュータ１５０は、車載コンピュータ、又は車両に設置された専用コンピュータ（図示せず）であってもよい。いくつかの例示的な実施例では、コンピュータは、クラウド・コンピューティング・プラットフォーム（図示せず）で動作可能な、仮想又は物理コンピューティングマシンであってもよい。

以下で説明するように、いくつかの実施例によれば、ＩＣ１３０で実行される処理は、取り込まれた熱画像の品質を向上させ、道路上の物体、障害物、及び危険の正確且つ迅速な検出を可能にするよう構成される。ＩＣ１３０での処理により、昼間や夜間の照明条件及びあらゆる気象条件で、物体を確実に受動検出する。この目的を達成するために、ＩＣ１３０は、１つ又は複数の画像処理タスクを実行するよう構成される。かかるタスクには、シャッタレス補正、日焼け防止、不良ピクセル置換、近視野補正（ｎｅａｒ ｆｉｅｌｄ ｃｏｒｒｅｃｔｉｏｎ）、時間ノイズ除去、空間ノイズ除去、エッジ強調、自動ゲイン制御、局所コントラスト、強調、並びに輝度及び極性調整が含まれるが、それに限定されるものではない。一実施例では、これらのタスクは、一部又はすべてのタスクを利用してＦＩＲ画像（フレーム）を処理することができるパイプラインの形で実行され、それにより確実に少ない遅延で処理される。

ＩＣ１３０で実行される重要な画像処理タスクは、ＦＩＲセンサ１２０によって取り込まれたＦＩＲ画像のシャッタレス補正である。図１に示すように、ＦＩＲカメラ１００は、どんなシャッタ（又はシャッタとして見ることができるどんな可動部分）も備えていない。ＩＣ１３０で実行されるシャッタレス補正は、どんなシャッタもなしにフラットフィールド補正の実行を可能にする。つまり、シャッタレス補正により、均一なＦＩＲ画像が可能となる。

シャッタレスＦＩＲカメラ１００は、機械的に信頼性が高く、ＡＶＳシステムに必要な安全基準を満たすことを理解されたい。さらに、シャッタを使用しないことで、設計に可動部品を含める必要がないため、小さな形状要素でＦＩＲカメラ１００を設計できる。ＦＩＲカメラ１００の例示的な形状要素を、図５に示す。

一実施例では、光学ユニット１１０は、そのそれぞれが所定の視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有する、１枚又は複数枚のレンズ要素を備える。一実施例では、レンズ要素はカルコゲン化合物である。レンズは、保護窓で保護することができる（図１には表示せず）。さらに、光学ユニット１１０の着氷を防止するために、光学ユニットは、加熱手段（図１には表示せず）で覆うことができる。加熱手段には、ワイヤ又はコイルが含まれ得る。

一実施例では、ＦＩＲカメラ１００は、複数の光学ユニット１１０を備えることができる。各光学ユニット１１０は、独立して使用されてもよく、又は１つ又は複数の他の光学ユニット１１０と共に使用されてもよい。たとえば、単一のＦＩＲセンサ１２０は、２つ以上の光学ユニット１１０に接続されてもよい。さらに、一実施例では、複数のＦＩＲセンサ１２０を、単一のＩＣ１３０に接続することができる。複数の光学ユニット１１０及び／又は複数のＦＩＲセンサ１２０を並行して使用することで、さもなければ単一の光学ユニット１１０又はＦＩＲセンサ１２０がもたらし得るものよりも高い最終解像度を有する、結果として得られる画像を取り込み、作成することができる。非限定的な実例として、２つのＶＧＡ（６４０ピクセル×４８０ピクセル）サイズのＦＩＲセンサ１２０を使用して、単一の１２８０ピクセル×４８０ピクセルのＦＩＲ画像を取り込むことができる。ＩＣ１３０は、２つの隣接する画像を自動的に、つなぎ合わせるように構成されてもよく、本明細書で論じるすべての補正を最終の合成画像に適用してもよい。或いは、個々の画像それぞれを最初に補正し、次いでつなぎ合わせてもよい。さらなる実施例では、画像はつながれず、むしろディスプレイ又はコンピュータへの出力時に、水平又は垂直に連結される。さらに別の実施例では、複数の光学ユニット１１０又はＦＩＲセンサ１２０を、立体視用途に使用するか、又はシーンの複数の視野角度を提供するために使用することができる。

さらに別の実施例では、複数本の画像ストリームが、ＦＩＲカメラ１００によって受信され処理される。かかる実施例には、相異なる撮像様式、たとえば、ＦＩＲ画像の可視スペクトル画像との融合、様々な焦点距離を有するＦＩＲ画像の融合などを含む、複数のビデオ・ストリームを融合したものである出力ストリームを作成することが含まれ得る。何本の入力ストリームでも受信して処理し、融合された出力ストリームを生成できる。

ＦＩＲセンサ１２０は、冷却されていないＦＩＲセンサである。つまり、センサ１２０は、波長７．０〜１４．０μｍのＦＩＲスペクトルで動作する。一実例では、ＦＩＲセンサ１２０は、第１のバス１０１を介してＩＣ１３０に結合され、取り込まれたＦＩＲ画像及びメタデータを入力する。一実施例では、接合温度センサ（温度センサ）１２１がＦＩＲセンサ１２０の筐体内に備えられ、筐体内の接合温度を測定する。

制御バス１０２も、ＦＩＲセンサ１２０とＩＣ１３０との間に接続される。バス１０２上で、センサ１２０の状態、クロック、同期、及び他のデジタル制御信号に関連する信号が転送される。一実施例では、バス１０２は、たとえば、現在のＦＩＲセンサ１２０の周囲温度を示すアナログ信号を伝搬することができる。別法として、アナログ信号は、制御バス１０２の一部でなくてもよい。

ＩＣ１３０は、メモリ、処理回路、及び本明細書で述べるタスクの実行を可能にする様々な回路及びモジュールを備える。図２に、ＩＣ１３０の詳細な構成図を提供する。ＩＣ１３０は、チップセット、システム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）、現場でプログラム可能なゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プログラム可能な論理デバイス（ＰＬＤ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、又は他の任意の種類のデジタル及び／又はアナログ・ハードウェア構成部品として実現できる。

ＩＣ１３０、ひいてはＦＩＲカメラ１００は、４つの相異なるモード、すなわち較正、電源オンテスト、機能、及びスタンバイで動作する。較正モードは、ラボで実行され、そこでＩＣ１３０が以前の較正点に基づいて較正プロセスを実行する。このプロセス中、ＦＩＲカメラ１００は所定の温度で安定化され、ＦＰＧＡの温度と周囲温度との両方がＦＩＲセンサ１２０から定期的に読み取られ、温度安定性が判断される。

電源オンテスト・モードでは、ＦＩＲカメラ１００は、その電源投入の際に、ＩＣ１３０の様々な回路が適切に動作するかどうかをチェックされる。これには、たとえば、メモリ、論理モニタ、デジタル及びアナログ構成部品の内部セルフテストの実行が含まれる。機能モードでは、ＩＣ１３０は、画像処理タスクを実行し、外部システム及び構成要素（たとえば、センサ及びコンピュータ）と通信する。スタンバイ・モードでは、画像処理は実行されず、外部システム及び外部構成要素との通信だけが実行される。スタンバイ・モードは、車両が動いていないときに起動され得る。

ＦＩＲセンサ１２０及びＩＣ１３０は、熱コア内にカプセル化されている。熱コアを利用して、確実にＦＩＲカメラ１００の温度を均一化する。熱コアの温度較正は、較正モード中に実行される。光学ユニット１１０は、典型的には、ＦＩＲセンサ１２０及びＩＣ１３０が熱コア内にカプセル化された後、ＦＩＲカメラ１００に組み立てられる。

図２は、一実施例にしたがって設計されたＩＣ１３０の例示的な構成図を示す。ＩＣ１３０は、本明細書で論じる様々な画像処理タスクを実行するよう構成された処理回路２１０、シャッタレス補正プロセッサ（ＳＬＣＰ：ｓｈｕｔｔｅｒｌｅｓｓ ｃｏｒｒｅｃｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）２２０、及び画像改善プロセッサ（ＩＥＰ：ｉｍａｇｅ ｅｎｈａｎｃｉｎｇ ｐｒｏｃｅｓｓｏｒ）２３０を備える。ＩＣ１３０は、メモリ２４０と、温度センサ２６０とをさらに備える。

ＩＣ１３０は、マルチメディア・リンク２０２を介して、コンピュータ１４０やディスプレイ１５０などの外部要素と、インタフェースで接続する。例示的な実施例では、メディア・リンクはギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：ｇｉｇａｂｉｔ ｍｕｌｔｉｍｅｄｉａ ｓｅｒｉａｌ ｌｉｎｋ）である。上記のように、一実施例では、ＩＣ１３０は、ＦＩＲ画像の２本の熱ビデオ・ストリームを出力するよう構成することができ、第１のストリーム（１０４）はＳＬＣＰ２２０及びＩＥＰ２３０で処理されてディスプレイ１４０に入力され、第２のストリーム（１０５）はＳＬＣＰ２２０で処理されてディスプレイ１５０に入力される。両方の熱ビデオ・ストリームが、マルチメディア・リンク２０２を介して出力される。さらなる実施例では、単一の熱ビデオ・ストリームがコンピュータ１５０に出力される。たとえば、特定の自律走行車両システムはディスプレイを備えない場合があり、したがって、熱ビデオ・ストリームからコンピュータ１５０への入力だけを必要とする。

いくつかの任意選択の実施例では、ＩＣ１３０はＩＥＰ２３０を備えない。かかる実施例では、シャッタレス補正がＳＬＣＰ２２０によって実行され、出力はコンピュータ１４０に供給される。ＩＥＰ１３０のないＦＩＲカメラ１００の構成は、ディスプレイが必要とされない場合の自律走行車両システムで利用することができる。

一実施例では、メモリ２４０は、較正テーブルを格納するよう構成される。較正テーブルは、少なくとも、ラボで計算されたピクセルごとの様々な較正値を有する。較正値には、広範な周囲温度で、ＦＩＲセンサの不規則性を克服し、ＩＲ放射線に対するピクセルの応答を統一する目的で、２つの温度ポイント（Ｔ_１、Ｔ_２）から計算されたゲイン及びオフセットが含まれ得る。較正テーブルには、較正プロセス中に各温度ポイントでピクセルごとに決定されたドリフト値も含まれる。一実施例では、テーブルには、ＦＩＲカメラ１００を設定するための様々なパラメータ値も格納する。

メモリ２４０はさらに、処理回路２１０、ＳＬＣＰ２２０、及びＩＥＰ２３０で実行されるべきコンピュータ可読命令を格納することができる。コンピュータ可読命令は、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などと呼ばれるかどうかにかかわらず、どんな種類の命令も意味すると広く解釈されるものとする。命令には、（たとえば、ソース・コード形式、バイナリ・コード形式、実行可能コード形式、又は他の任意の好適なコード形式の）コードが含まれ得る。命令は、処理回路２１０、ＳＬＣＰ２２０、及び／又はＩＥＰ２３０で実行されるとき、これらのプロセッサに、本明細書で説明する様々な実施例及びタスクを実行させる。メモリ２４０は、揮発性（たとえば、ＲＡＭなど）、不揮発性（たとえば、ＲＯＭ、フラッシュ・メモリなど）、又はその組合せであり得る。

任意選択の構成では、カメラＩＣ１３０は、動き検出ユニット（ＭＤＵ：ｍｏｔｉｏｎ ｄｅｔｅｃｔｉｏｎ ｕｎｉｔ）２５０を備える。ＭＤＵ２５０は、ＦＩＲカメラ１００が（したがって車両が）動いているかどうかを判断するために利用される、１つ又は複数の加速度計を備える。ＭＤＵ２５０が利用されない場合、動き検出は、取り込まれた画像に基づく。ＳＬＣＰ２２０及びＩＥＰ２３０に、動き指標が供給される。温度センサ２６０は、ＦＩＲカメラ１００の筐体内部の周囲温度を測定する。

処理回路２１０は、ＩＣ１３０の様々な要素を制御するよう構成される。回路２１０はさらに、ＦＩＲセンサ１２０に電源投入し、初期較正テーブルをアップロードし、かかるテーブルのパラメータ値に基づいてＦＩＲセンサ１２０、ＳＬＣＰ２２０、及びＩＥＰ２３０を設定するよう構成される。一実施例では、回路２１０は、温度センサ２６０で測定される温度を周期的にサンプリングし、測定された温度範囲に対する較正値を有するメモリ２４０から、１組の較正テーブルをアップロードする。高速での実行を可能にするために、一部のテーブルをバックグラウンドで、すなわちＦＩＲ画像の処理中にアップロードできる。

一実施例では、ＳＬＣＰ２２０は、少なくともシャッタレスのピクセルベースの補正及びシーンベースの補正を実行するよう構成される。ピクセルベースの補正は、ピクセルごとのオフセット、ゲイン、及びドリフトを補正する。一実施例では、ピクセルのオフセット及びゲインは、温度センサ１２１（図１）で測定されるそれぞれの温度に一致する、較正テーブル内のそれぞれの値に基づいて補正される。この補正により、広範な周囲温度で、センサの不規則性が補償され、ＩＲ放射線に対するピクセルの応答が統一される。ドリフト補正には、それぞれのピクセルにドリフト補正を加えることが含まれる。具体的には、ピクセルごとの補正は、ピクセルごとに別個にロードされた較正テーブルから得られる予め定義されたドリフト値と、ＦＩＲセンサによって生成されたフレームから計算されるガンマ値との積を減算するものである。予め定義されたドリフト値は、ＦＩＲセンサ１２１での現在の測定された温度に基づいて、テーブルから選択される。

いくつかの実施例によれば、ドリフト補正は、ＦＩＲセンサから出力される画像内のピクセルごとの温度ドリフト補正に基づく。これは、ＦＩＲカメラ全体の温度値並びにＦＩＲセンサ及びＩＣの温度値が別個に、動作中にシフトする場合に必要であり得る。

ドリフト補正は、ＦＩＲカメラ１００の較正段階の間に記録されたドリフト・パターンを使用した、ドリフト係数γの推定に基づき得る。一実施例では、ドリフト係数γの推定は、各入力画像に基づく小さな増分の更新によって繰り返し実行され、その結果、たとえば周囲温度のシフトによるどんな残留ノイズ又は新しいノイズも検出され、以降の各画像では除去される。

入力画像の周囲のドリフトは、推定されたドリフト係数γを使用して補正される。ドリフト補正画像（Ｉ_ｏｕｔ）は、以下のように表すことができる。

ここで、Ｉ_ｉｎは（ＦＩＲセンサ１２０で生成された）入力画像、γはすべてのピクセルで同じドリフト係数、「Ｄ」はピクセルごとに固有のドリフト・パターン、「Ｏ」はオフセット・ゲイン・パターン、「Ｇ」はピクセルごとに固有のシーン・ゲイン・パターンの値であり、ここでＤ、Ｏ、及びＧの値は、ＦＩＲセンサ１２０の初期較正の際に決定される。

いくつかの構成では、ドリフト補正の前にゲイン及びオフセットが補正され、その場合、かかる値はドリフト係数γを推定するのに不要である。したがって、ドリフト補正計算のより一般化されたバージョンでは、２点補正された入力画像（Ｉ_２ｐｔ）、ドリフト係数、及び較正の結果のドリフト・パターンを使用し、以下の方程式で表すことができる。

方程式２において、

は、ドリフト・パターン（Ｄ）をゲインパターン（Ｇ）で除算した値である。

補正に使用されるドリフト係数γは、初期較正の結果のドリフト・パターン、及びそれに高域通過フィルタが適用された後の入力画像内に結果として生じるドリフトのパターンから導出される。

ドリフト係数の一般化された方程式は、ドリフト・パターン及びそれに高域通過フィルタを適用した後の入力画像ピクセル値の積と、ドリフト・パターン及びそれに高域通過フィルタを適用した後のドリフト・パターンの積との商であり、以下の方程式で表される。

ここで、Ｈ_１、Ｈ_２は、シーンの鮮明な画像とドリフト・パターンとの間の相関性を最小限に抑えるよう設計された前処理演算子である。一般性を失うことなく、これらの演算子には、高域通過フィルタ処理及びマスキングが含まれ得る。かかる動作の実例は、一般性を失うことなく、Ｈ_１＝恒等写像（ｉｄｅｎｔｉｔｙ ｍａｐ）及びＨ_２＝高域通過フィルタであり得る。

方程式３（式３）において、γは、２つの内積の比として得られるスカラ値である。したがってこの段階で、γは、すべてのピクセルに対して１つの値である。一実施例では、画像の相異なるセグメントで式３を使用し、結果を補間することにより、スカラ値を、（ゆっくり変化する）ピクセルごとの値に変換することができる。かかる実施例の実例について、以下で論じる。

一実施例では、シーンベースの補正は、固定ノイズ・パターンの除去を含む。かかるパターンは、元の画像から低域通過平滑化画像を差し引いた後、処理されたＦＩＲ画像に残る高周波信号から得られる。シャッタレスの実施態様では、結果として得るシーンは均一であり、実際のシーンからエッジ（高周波信号）を生じ、得られたノイズ・パターン内に現れる。これにより、シーンからの実際のエッジが、誤ってノイズとして分類され得る。このため、ノイズ・パターンは、時間内の画像サンプルに基づいて、且つ空間内の均一な区域から決定される。

以下で詳細に論じるように、ＳＬＣＰ２２０は、シャッタレス補正及び他の画像改善タスクを実行するために複数のモジュールを実装する。一実施例では、シーンベース補正は、「日焼け効果」を受けるピクセルの補正も含む。かかる効果は、ＦＩＲカメラを直射日光にさらすと、露出過剰になって露出したピクセルが深く飽和することによって生じる。この効果の結果は、露光時間に応じて数分又は数週間続く可能性のある固定パターン・ノイズと同様の、太陽のゴースト・フットプリントによって特徴づけられる。開示する実施例によれば、日焼け補正は、数秒（たとえば、２〜５秒）で画像からゴースト・フットプリントも除去する。

少なくとも、ピクセルベースのシャッタレス補正、カラム・ノイズ抑制、シーンベースのノイズ除去、及び近視野補正を実行するために、ＳＬＣＰ２２０が実装される。一実施例では、ＳＬＣＰ２２０は、さらなる画像処理タスクを実行して、物体の正確な検出を可能にする高品質の熱ビデオ・ストリームを供給するよう構成され得る。画像処理タスクは、図３に示して説明する、様々なモジュールによってパイプラインの形で実行される。

不良ピクセル補正（ＢＰＣ：ｂａｄ ｐｉｘｅｌ ｃｏｒｒｅｃｔｉｏｎ）モジュール３０１は、不良ピクセル・マップ内に設計されたピクセルをマスクする。かかるピクセルは、ＦＩＲセンサの製造元が必要とする基本的な品質要件を満たしていない。マップ内の不良ピクセルは、製造元によって、すなわちラボにおいてＦＩＲセンサのテストを行う際に、特定できる。不良ピクセル・マップは、メモリ２４０に保存される。

日焼け検出モジュール３０２は、日焼けを受けるピクセル、すなわち、深い飽和にさらされたピクセルを検出する。一実施例では、ＦＩＲセンサから受信した画像は、画像の各ピクセルに関連する取り込まれた抵抗値を計算し、ピクセルの値が、予め定義された時間内に所定の日焼け閾値（ＰＳＴＶ：ｐｒｅｄｅｔｅｒｍｉｎｅｄ ｓｕｎｂｕｒｎ ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ）を超えるかどうかを判定することにより分析される。ＰＳＴＶは、太陽や車のハイ・ビームなどの明るい光源によって生じる日焼けアーチファクトである可能性が高い、ピクセルの過飽和を表す値である。以下の式を使用して、判定できる。
Ｍａｘ＞Ｐ＞ＰＳＴＶ 式４
ここで、Ｍａｘはピクセルの取り得る最大値を表し、Ｐはピクセルの現在の値を表し、ＰＳＴＶは所定の閾値である。Ｐが予め定義された時間、ＰＳＴＶとＭａｘ値との間にある場合、Ｐに日焼け指定が与えられる。

現在のピクセルに隣接するピクセルがＰＳＴＶを超えるかどうかが判定される。非限定的な実例では、ピクセルの周囲のｒ×ｒピクセルの正方形が分析される（ここで、ｒは１より大きい整数）。ピクセル自体がＰＳＴＶ以下である場合でも、ｒ×ｒの隣接するピクセルのいずれかがＰＳＴＶを超え、所定の時間を超えて最大値より低い場合、現在のピクセルには日焼け指定が与えられる。これにより確実に、日焼けによって生じたアーチファクトであると判定された、より大きい区域内に位置する単一のピクセルが、やはり日焼けしたピクセルとして扱われる。日焼けのアーチファクトは、隣接するピクセルと高い相関性を持つ局所化されたパターンとして現れるので、この方法は日焼けしたピクセルの特定に効果的である。したがって、隣接するピクセルの値は、十分な時間にわたって測定されると、日焼けアーチファクトの存在を示すことができる。これは、画像内のランダムな位置に現れ、隣接するピクセルとの相関性が低い固定パターン・ノイズなど、画像内にもたらされる他の好ましからざるアーチファクトとは対照的である。

一実施例では、Ｐ＝Ｍａｘである場合、評価されたピクセルは現在明るい光源にさらされていると判断される。明るい光が画像内に存在すると判断されるので、シーンは適切に表示されているため、即座に補正する必要はない。むしろピクセル値は観察され、ピクセル値が所定の時間ＰＳＴＶを超えると補正がトリガされる。

隣接するピクセルのいずれもが所定の時間ＰＳＴＶを超えていないと判断された場合、ピクセルは非日焼け指定を与えられる。このプロセスは、画像全体が評価されるまで続く。分析されるべきピクセル・マトリクス内に、さらなるピクセルがあるかどうかを判断できる。

ピクセルベースのシャッタレス補正（ＰＢＳＣ：ｐｉｘｅｌ−ｂａｓｅｄ ｓｈｕｔｔｅｒｌｅｓｓ ｃｏｒｒｅｃｔｉｏｎ）モジュール３０３は、先に論じたように、ピクセルごとのオフセット、ゲイン、及びドリフト値の補正を実行する。カラム・ノイズ抑制（ＣＮＳ：ｃｏｌｕｍｎ ｎｏｉｓｅ ｓｕｐｐｒｅｓｓｉｏｎ）モジュール３０４は、ＦＩＲセンサで取り込まれるＦＩＲ画像内の固定パターン・カラム・ノイズを抑制する。不良ピクセル補正（ＢＰＣ）モジュール３０５は、その最も近傍で隣接する、予め定義された数（たとえば８）のピクセルに基づく最適な補間を使用して各不良ピクセルを近似することにより、不良ピクセルを補正しようとする。

近視野補正（ＮＦＣ：ｎｅａｒ ｆｉｅｌｄ ｃｏｒｒｅｃｔｉｏｎ）３０６は、カメラ・ケース及びレンズの反射など、様々な物理的作用によりシーン画像に重ね合わされた望ましからざるパターンを補正する。かかるパターンは、較正モード中にモデル化される。動作モード中、ＮＦＣモジュール３０６は、パターンと入力画像との間の最良の適合度を識別し、それに応じて画像からパターンを減算する。ＮＦＣモジュール３０６は、２つのかかるパターンを別個に、又は線形結合したものとして扱う。必要なパターン画像及びパラメータは、電源投入時に処理回路２１０によって供給され、必要に応じて更新される。

シーンベースのノイズ除去（ＳＢＮＲ：ｓｃｅｎｅ−ｂａｓｅｄ ｎｏｉｓｅ ｒｅｍｏｖａｌ）モジュール３０７は、先に論じたシャッタレスのシーンベース補正タスク及び日焼け補正タスクを実行する。モジュール３０７は、適切なシャッタレス動作のために必要である。

シーンベースの不均一性補正を実行するために、ＳＬＣＰ２２０は、ノイズ・パターンを学習するか、さもなければ推定するための平滑な領域を検出し、ＦＩＲカメラが（したがって車両が）動いているかどうかを検出し（ノイズの推定は、動いている際にしか実行されないため）、且つ一部の領域は動いている間でさえもフレームごとに変化しないので、変化する領域を検出するよう構成される。いくつかの開示する実施例によれば、特定の時間における画像内に残留する不均一性の推定値（Ｄ_ｔ）は、以下のように表すことができる。
Ｄ_ｔ＝Ｄ_ｔ−１＋（１−α）・Ｄ_ｃｕｒｒ 式５
ここで、Ｄ_ｔは推定される、時間ｔにおけるノイズ、Ｄ_ｔ−１は以前に推定された、時刻ｔ−１でのノイズ、Ｄ_ｃｕｒｒは現在取り込まれている画像から推定されるノイズ、αは０から１までのスカラ値を持つ学習率である。時間ｔ＝０で、Ｄ_ｔの値は０である。Ｄ_ｔ、Ｄ_ｔ−１、及びＤ_ｃｕｒｒは、「ｍ」×「ｎ」ピクセルを含む画像での、サイズが「ｍ」×「ｎ」の行列であることに留意されたい。一実施例では、画像内の各ピクセルのノイズが計算され、したがって各ピクセルにノイズ値が割り当てられる。

例示的な実施例では、値Ｄ_ｃｕｒｒは以下のように表すことができる。
Ｄ_ｃｕｒｒ＝ＨＩ_ｄ・Ｍ 式６
Ｉ_ｄ＝Ｉ−Ｄ_ｔ−１ 式７
ここで、ＨＩ_ｄは画像の高周波数表現（ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を示す。ＨＩ_ｄは、現在の入力画像Ｉと、時間ｔ−１での推定されたノイズＤ_ｔ−１との間の差分画像Ｉ_ｄに、高域通過フィルタを適用することによって決定できる。一実施例では、Ｉ_ｄに高域通過フィルタを適用することにより、Ｉ_ｈ＝ＨＩ_ｄが計算される。Ｉ_ｄの計算は、画像内のあらゆるピクセルに対して実行される。一実施例では、不良ピクセル及び飽和ピクセルは、それらをマスクＭ内に含めることにより計算から除外される。ここで、マトリクスＭは、マスキング、すなわち、現在の画像内に存在する、残留する不均一性の計算に含まれるように指定された画像内のピクセルを表す。例示的な実施例では、マスク行列Ｍは、４つの相異なるマスクの組合せに基づく。かかる実施例では、Ｍは以下のように表すことができる。
Ｍ＝Ｍ_ｓａｔ・Ｍ_ｂ・Ｍ_ｅｄｇｅ・Ｍ_ｔ 式８
ここで、Ｍ_ｓａｔは過飽和ピクセルのないマスク、Ｍ_ｂは「不良ピクセル」が除外されていると見なされるピクセルのマスク、Ｍ_ｅｄｇｅはエッジが除外されているマスク、Ｍ_ｔは時間変化のない領域が除外されているマスクである。Ｍ_ｓａｔ、Ｍ_ｂ、Ｍ_ｅｄｇｅ、Ｍ_ｔはすべて行列である。一実施例では、Ｍは、１が含まれるピクセルを示し、０が除外されるピクセルを示す、２値のマスクである。

画像を分析することにより特定された過飽和ピクセル及び「不良」ピクセルを表すＭ_ｓａｔ及びＭ_ｂは、シーンベースの不均一性補正を計算するために使用される画像領域から除去される。「不良ピクセル」とは、欠陥があることが先験的に知られている画像内のピクセルである。こうしたピクセルは、画像にマスクＭ_ｂを適用することで計算から除去される。対照的に、Ｍ_ｅｄｇｅ及びＭ_ｔは、エッジが強すぎる領域に由来するか、又は十分に動的ではないので、落とす必要がある「ライブ」ピクセルを除外する。

マトリクスＭ_ｅｄｇｅは、ピクセルを隣接するピクセルと比較すること、たとえば、ピクセルの周りにｑ×ｑ（ここで、ｑは１より大きい整数）のマトリクスを作成し、ピクセル値に著しい相違があるかどうかを判断することにより計算される。

マトリクスＭ_ｔは、２つの画像間に変化がある領域を表す。たとえば、最初の画像内での遠い山の低コントラストの描写が、２番目の画像に対して静止状態でとどまっている場合、対応するピクセルは、画像内で変化を表さないので、マスクされて計算から除外される。しかし、フレームの前景内で動いている物体が、最初の画像と２番目の画像との間で位置を変更した場合、そうしたピクセルはマスクされず、画像内の変化からノイズの計算を可能にする。

ｈフリップ・モジュール３０８は、受信したセンサ画像の水平フリップを実施する。一実施例では、モジュール３０８はさらに、最小値と最大値との間でピクセル値をクリップするよう構成される。これらの値は、事前に設定される。

時間ノイズ除去モジュール３０９は、赤外線ビデオの時間ノイズ除去プロセスを実行するよう構成される。ＦＩＲセンサから取得したビデオには、白ノイズ、ごま塩状ノイズ（ときどきちらつく）、及びロウ／カラム・ノイズなど、変化するタイプの一時的なノイズが含まれる。一実施例では、モジュール３０９は、適応型の閾値を有するＩＩＲフィルタ、及びちらつきを防止する仕組みを使って実現される。時間ノイズ除去モジュール３０９は、フレームごとのピクセル値の変化を、推定されるノイズの分散と比較し、かかる値がノイズによって生じるのか、又は風景の実際の何らかの変化によって生じるのかを判断する。この比較に基づいて、信号対雑音比が決定される。

空間ノイズ除去モジュール３１０は、空間ノイズを除去するよう構成される。かかるノイズは、内部電子ノイズ、ピクセル・ゲイン及びオフセットの誤差、並びに温度変動で生じるドリフトによってもたらされる。一実施例では、モジュール３１０は、ノイズがあるそれぞれのピクセルを、隣接するピクセルの加重平均と置換する。一実施例では、予め定義されたグレー・レベルの閾値により近いグレー・レベルを有するピクセルしか置換されない。

特定の構成では、処理の一部として必要となるのは、説明したモジュールの一部だけであることに留意されたい。様々なパラメータ、マップ、及び較正値は、メモリ２４０に格納された様々なモジュール及びプロセスを動作させるのに必要ではなく、単に簡略化を目的として本明細書では示していない。

例示的な実施例では、空間ノイズ除去モジュール３１０の出力は、コンピュータ１４０（図１）及びＩＥＰ２３０に供給される１４ビットのグレースケールのビデオ・ストリームである。

図２に戻って、ＩＥＰ２３０は、１４ビットのストリームを処理して、人間が見ることのできる改善された熱ビデオ・ストリームを生成する。一実施例では、ＩＥＰ２３０は、１４ビットのストリームを、画面上に効率的に表示できる、高品質の８ビットストリームに変換する。

一実施例では、ＩＥＰ２３０は、図３に示す画像改善プロセスを実行するモジュールを備える。第１のモジュールは、エッジ保存及びノイズ低減フィルタに利用されるバイラテラル・フィルタ３１１である。自動利得制御（ＡＧＣ：ａｕｔｏｍａｔｉｃ ｇａｉｎ ｃｏｎｔｒｏｌ）モジュール３１２は、グレー・レベルの範囲からの空のビンの影響を低減するよう構成される。すなわち、モジュール３１２は、本質的に情報を失うことなく、画像内のグレー・レベルの最小値と最大値との間の距離を、最小まで低減させる。ダイナミック・レンジを縮小することにより、画像のヒストグラムを可能な限り伸張することができる。

局所コントラスト強調（ＬＣＥ：ｌｏｃａｌ ｃｏｎｔｒａｓｔ ｅｎｈａｎｃｅｍｅｎｔ）モジュール３１３は、コントラスト制限付適応ヒストグラム均等化（ＣＬＡＨＥ：ｃｏｎｔｒａｓｔ ｌｉｍｉｔｅｄ ａｄａｐｔｉｖｅ ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ）のためのプロセスを実行する。画像処理では、コントラスト制限付適応ヒストグラム均等化は、画像の局所のコントラストを改善するために使用される手法である。適応ヒストグラム均等化を実行して、その局所（近傍）のグレースケール分布に基づいて、ピクセルごとのマッピングを見つける。

一実施例では、ＬＣＥモジュール３１３は、画像を重複するブロックに分割して、ブロッキング効果をさらに低減するよう構成される。場合によっては、グレースケール分布が非常に局所化されているとき、完全なヒストグラム均等化によって非常にコントラストの低い画像を変換することは望ましくない可能性がある。かかる場合には、マッピング曲線には勾配の大きいセグメントが含まれる可能性がある。つまり、２つの非常に近いグレースケールが、大幅に相異なるグレースケールにマッピングされる可能性がある。これは、ヒストグラム均等化で許容されるコントラストを制限することにより解決される。

最後の画像処理改善モジュールは、極性及び輝度（ＰＢ：ｐｏｌａｒｉｔｙ−ａｎｄ−ｂｒｉｇｈｔｎｅｓｓ）モジュール３１４である。一実施例では、モジュール３１４は、画像のピクセルの輝度を、白いホット・ピクセルと黒いホット・ピクセルとの間で変化させ、予め定義されたオフセットだけ調整する。

図３に示す様々なモジュールの処理は、ＦＩＲセンサ１２０によって入力される赤外線画像上で実行されることに留意されたい。結果の画像は、依然として赤外線画像である（本明細書では「ＦＩＲ画像」と称する）。したがって、処理は画像の本質を（たとえば、赤外線画像から可視スペクトル画像に）変更せず、それどころか赤外線画像の品質を改善する。

再び図２を参照すると、一実施例では、処理回路２１０は、シングル・コアか、又はマルチコアＣＰＵであってもよい。ＳＬＣＰ２２０及びＩＥＰ２３０はそれぞれ、１つ又は複数のハードウェア論理構成部品及び回路として実現され得る。たとえば、それに限定されるものではないが、使用できるハードウェア論理構成部品の例示的な種類には、ＦＰＧＡ、ＡＳＩＣ、ＡＳＳＰ、ＳＯＣ、汎用マイクロプロセッサ、マイクロコントローラ、ＤＳＰ、ＧＰＵなど、又は情報の計算又は他の操作を実行できる、他のどんなハードウェア論理構成部品も含まれる。

上記のように、熱ビデオ・ストリーム出力を処理及び分析して、シーン内の物体、障害物、及び危険を検出することができる。以下は、いくつかの実例である。

図４Ａは、車（図示せず）上に設置されたＦＩＲカメラ１００によって出力された、夜間に取り込まれた例示的な熱画像４００を示す。画像４１０の分析により、道路を横断する動物（４１０）の検出が可能になる。

図４Ｂは、車（図示せず）上に設置されたＦＩＲカメラ１００によって出力された、雨の夜に取り込まれた例示的な熱画像４２０を示す。ＦＩＲ画像の分析により、道路を歩いている歩行者（４３０）の検出が可能になる。

図５は、シャッタレスＦＩＲカメラ１００の例示的な実施例を示す。一実施例では、シャッタレスＦＩＲカメラ１００は、「Ｃ」サイズのバッテリに匹敵するサイズを有する円筒の形状である。例示的な実施例では、カメラの直径は２５．４ｍｍであり、レンズなしでのカメラの長さは１２ｍｍである。ＦＩＲカメラ１００の小さなサイズの形状要素により、車両の全体的な外観を変えないであろう車両上の様々な目立たない場所に、カメラを設置することが可能である。

図６は、車上にＦＩＲカメラを取り付けるための、様々な場所を示す概略図である。例示的な実施例では、シャッタレスＦＩＲカメラ１００は、車両６００のサイドミラー６１０の一方又は両方、グリル・ガード（図示せず）、フロント・バンパ６２０、バック・バンパ６３０、車の上部６４０、フード６５０、ヘッドライト６６０、及びアンテナ（たとえば、無線衛星アンテナ、図示せず）に取り付けることができる。視野が遮断されない他の場所にも適用可能である。

一実施例では、複数のシャッタレスＦＩＲカメラ１００を、ただ１台の車両に設置又は取り付けることができる。かかる構成では、複数のカメラの広い視野が、横断する物体の検出及びシーンの理解を担当し、一方狭い視野のカメラが、遠距離の物体（又は障害物）を扱う。

さらに別の実施例では、車両は、ＣＭＯＳカメラ、ＬＩＤＡＲ、及びＲＡＤＡＲなど、他の受動的又は能動的検出手段を装備することができる。かかる構成では、物体、障害物、又は危険の検出は、かかる検出手段によって取り込まれたデータ、及び開示するシャッタレスＦＩＲカメラ１００によって取り込まれて処理されたＦＩＲ画像に基づいて実行することができる。

開示するシャッタレスＦＩＲカメラは、どんな種類の乗り物に関しても開示できることに留意されたい。たとえば、開示するＦＩＲカメラは、車、バス、オートバイ、トラック、列車、ドローン、無人航空機、飛行機、気球、装甲車、農業機械、タンクなどに取付け、設置、又は統合できる。乗り物は、自律走行車両であっても、又はオペレータ（たとえば、運転手）によって運転されてもよい。

本明細書で開示するいくつかの実施例は、ハードウェア、ファームウェア、ソフトウェア、又はその任意の組合せとして実装することができる。さらに、ソフトウェアは、部品、或いは特定のデバイス及び／又はデバイスの組合せで構成されるプログラム記憶装置又はコンピュータ可読媒体上で実体的に具現化されるアプリケーション・プログラムとして実装されることが好ましい。アプリケーション・プログラムは、任意の好適なアーキテクチャを有するマシンにアップロードされ、実行され得る。マシンは、１つ又は複数の中央処理装置（「ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ」）、メモリ、及び入出力インタフェースなどのハードウェアを備えるコンピュータ・プラットフォーム上に実装されることが好ましい。コンピュータ・プラットフォームには、オペレーティング・システム及びマイクロ命令コードも含まれ得る。本明細書で説明する様々なプロセス及び機能は、かかるコンピュータ又はプロセッサを明示的に示しているかどうかにかかわらず、ＣＰＵによって実行することができる、マイクロ命令コードの一部、アプリケーション・プログラムの一部、又はその組合せであり得る。加えて、追加のデータ記憶装置及び印刷装置など、他の様々な周辺装置を、コンピュータ・プラットフォームに接続することができる。さらに、非一時的なコンピュータ可読媒体は、一時的な伝播信号を除く任意のコンピュータ可読媒体である。

本明細書で使用されるとき、その後に項目の列挙が続く語句「〜の少なくとも１つ」は、列挙された項目のいずれかを個別に利用できるか、又は列挙された項目の２つ以上の任意の組合せを利用できることを意味する。たとえば、システムが「Ａ、Ｂ、及びＣの少なくとも１つ」を備えると記載している場合、システムは、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢとの組合せ、ＢとＣとの組合せ、ＡとＣとの組合せ、又はＡ、Ｂ、及びＣの組合せを備えることができる。

本明細書で「第１の」、「第２の」などの指定を使用した要素へのどんな言及も、全般的にそうした要素の量又は順序を限定するものではないことを理解されたい。むしろこうした指定は、本明細書では全般的に、２つ以上の要素又は要素の実例間を区別する便利な方法として使用されている。したがって、第１及び第２の要素への言及は、そこで２つの要素だけしか使用できないこと、又は何らかのやり方で第１の要素が第２の要素に先行しなければならないことを意味するものではない。また、特に記載しない限り、１組の要素は、１つ又は複数の要素を含む。

本明細書に列挙されるすべての実例及び条件付きの言葉は、開示する実施例の原理、及び本発明者が技術をさらに進めることで貢献する概念を読者が理解するのを助ける、教育上の目的を意図しており、かかる具体的に列挙された実例及び条件を限定しないものであると解釈されるべきである。さらに、開示する実施例の原理、態様、及び実施例、並びにその特定の実例を列挙する本明細書のすべての記載は、構造及び機能の両面でそれに均等なものを包含することを意図している。さらに、かかる均等物は、現在知られている均等物並びに将来開発される均等物、すなわち、構造にかかわらず同じ機能を実行する、開発される任意の要素の両方を含むことを意図している。

Claims (30)

1. 高度な運転者支援システムのためのシャッタレス遠赤外線（ＦＩＲ）カメラであって、
   少なくとも１枚のレンズを備える少なくとも１つの光学ユニットと、
   前記光学ユニットに結合され、ＦＩＲ画像を取り込むよう構成されるＦＩＲセンサと、
   改善された熱ビデオ・ストリームを出力するために、前記取り込まれたＦＩＲ画像を処理するよう構成される集積回路（ＩＣ）と
   を備え、前記ＩＣは、
   処理回路と、
   前記処理回路によって実行されるとき、少なくともシャッタレス補正を含む画像補正を実行するよう前記処理回路を構成する命令を有するメモリと
   をさらに備えるシャッタレスＦＩＲカメラ。
2. 前記ＩＣはさらに、第１の熱ビデオ・ストリーム出力をコンピュータに出力するよう構成される、請求項１に記載のシャッタレスＦＩＲカメラ。
3. 前記ＩＣはさらに、第２の熱ビデオ・ストリーム出力をディスプレイに出力するよう構成される、請求項２に記載のシャッタレスＦＩＲカメラ。
4. 前記ＦＩＲカメラは、前記ＩＣに結合される複数の画像センサをさらに備える、請求項１に記載のシャッタレスＦＩＲカメラ。
5. 前記複数の画像センサのうちの少なくとも１つはＦＩＲセンサである、請求項４に記載のシャッタレスＦＩＲカメラ。
6. 前記ＩＣはさらに、前記複数の画像センサの画像を融合したものである熱ビデオ・ストリームを出力するよう構成される、請求項４に記載のシャッタレスＦＩＲカメラ。
7. 前記ＦＩＲセンサ及び前記ＩＣは、熱コア内にカプセル化される、請求項１に記載のシャッタレスＦＩＲカメラ。
8. 前記ＩＣはさらに、
   所定の較正テーブルを読み出し、
   前記所定の較正テーブルに基づく、シャッタレスのピクセルベースの補正を、前記ＦＩＲ画像に適用し、
   シャッタレスのシーンベースのノイズ補正を、前記ＦＩＲ画像に適用する
   よう構成される、請求項１に記載のシャッタレスＦＩＲカメラ。
9. 前記較正テーブルは、広範な周囲温度で、前記ＦＩＲセンサのゲイン及びオフセットの不規則性を克服し、赤外（ＩＲ）放射線に対する前記ＦＩＲセンサの応答を統一するために、２つの温度ポイントに基づいて計算された、少なくともゲイン及びオフセットの値を有する、請求項８に記載のシャッタレスＦＩＲカメラ。
10. 前記ＩＣはさらに、
    前記較正テーブルから較正値のサブセットを読み出すよう構成され、前記較正値のサブセットは、現在測定されている温度に基づいて決定された特定の温度範囲の較正値のサブセットである、請求項９に記載のシャッタレスＦＩＲカメラ。
11. 前記較正テーブルは、前記ＦＩＲセンサの較正プロセスの間に、各温度ポイントでピクセルごとに決定されたドリフト値を有する、請求項８に記載のシャッタレスＦＩＲカメラ。
12. 画像改善プロセッサ（ＩＥＰ）
    をさらに備え、前記ＩＥＰはさらに、前記取り込まれたＦＩＲ画像に複数の補正プロセスを適用するよう構成され、前記複数の補正プロセスはパイプラインの形で適用される、請求項１に記載のシャッタレスＦＩＲカメラ。
13. 前記複数の補正プロセスのうちの１つの補正プロセスは、前記取り込まれたＦＩＲ画像内のエッジを保存してノイズを低減するバイラテラル・フィルタを使用することを含む、請求項１２に記載のシャッタレスＦＩＲカメラ。
14. 前記複数の補正プロセスのうちの１つの補正プロセスは、前記ＦＩＲ画像内のグレー・レベルの最小値と最大値との間の距離を低減させ、それにより前記ＦＩＲ画像の画像ヒストグラムを伸張する、自動ゲインを適用することを含む、請求項１２に記載のシャッタレスＦＩＲカメラ。
15. 前記複数の補正プロセスのうちの１つの補正プロセスは、前記ＦＩＲ画像を重複するブロックに分割し、それぞれの個々のブロック内でヒストグラム均等化を適用することで、コントラスト制限付適応ヒストグラム均等化（ＣＬＡＨＥ）を適用することを含む、請求項１２に記載のシャッタレスＦＩＲカメラ。
16. 前記複数の補正プロセスのうちの１つの補正プロセスは、白いホット・ピクセルを黒いホット・ピクセルに変化させること、及び予め定義されたオフセットだけ前記ＦＩＲ画像の輝度を調整することのうちの少なくとも１つを実行するよう構成される、極性及び輝度モジュールを含む、請求項１０に記載のシャッタレスＦＩＲカメラ。
17. 前記改善された熱ビデオ・ストリームは、高度な運転者支援システムで物体を検出するよう構成される、請求項１に記載のシャッタレスＦＩＲカメラ。
18. 前記物体には、車両、歩行者、動物、二輪車、薄氷の張った箇所、ごみ、がれき、窪み、マンホールの蓋、及び縁石のうち少なくとも１つが含まれる、請求項１７に記載のシャッタレスＦＩＲカメラ。
19. 前記高度な運転者支援システムは、自律走行車両システムを含む、請求項１に記載のシャッタレスＦＩＲカメラ。
20. シャッタレス遠赤外線（ＦＩＲ）カメラに一体化され、ＦＩＲ画像を処理するよう構成された電子回路であって、
    処理回路と、
    前記処理回路によって実行されるとき、改善された熱ビデオ・ストリームを出力するために少なくとも前記ＦＩＲ画像のシャッタレス補正を含む画像補正を実行するよう前記処理回路を構成する命令を有するメモリと
    を備える電子回路。
21. 前記電子回路及びＦＩＲカメラは、高度な運転者支援システムに一体化される、請求項２０に記載の電子回路。
22. 前記処理回路はさらに、
    所定の較正テーブルを読み出し、
    前記所定の較正テーブルに基づく、シャッタレスのピクセルベースの補正を、前記ＦＩＲ画像に適用し、
    シャッタレスのシーンベースのノイズ補正を、前記ＦＩＲ画像に適用する
    よう構成される、請求項２０に記載の電子回路。
23. 前記較正テーブルは、広範な周囲温度で、ＦＩＲセンサのゲイン及びオフセットの不規則性を克服し、赤外（ＩＲ）放射線に対する前記ＦＩＲセンサの応答を統一するために、２つの温度ポイントに基づいて計算された、少なくともゲイン及びオフセットの値を有する、請求項２２に記載の電子回路。
24. 前記処理回路はさらに、
    前記較正テーブルから較正値のサブセットを読み出すよう構成され、前記較正値のサブセットは、現在測定されている温度に基づいて決定された特定の温度範囲の較正値のサブセットである、請求項２２に記載の電子回路。
25. 前記較正テーブルは、ＦＩＲセンサの較正プロセスの間に、各温度ポイントでピクセルごとに決定されたドリフト値を有する、請求項２２に記載の電子回路。
26. 画像改善プロセッサ（ＩＥＰ）
    をさらに備え、前記ＩＥＰはさらに、前記取り込まれたＦＩＲ画像に複数の補正プロセスを適用するよう構成され、前記複数の補正プロセスはパイプラインの形で取り込まれる、請求項２０に記載の電子回路。
27. 前記複数の補正プロセスのうちの１つの補正プロセスは、前記取り込まれたＦＩＲ画像内のエッジを保存してノイズを低減するバイラテラル・フィルタを使用することを含む、請求項２６に記載の電子回路。
28. 前記複数の補正プロセスのうちの１つの補正プロセスは、前記ＦＩＲ画像内のグレー・レベルの最小値と最大値との間の距離を低減させ、それにより前記ＦＩＲ画像の画像ヒストグラムを伸張する、自動ゲインを適用することを含む、請求項２６に記載の電子回路。
29. 前記複数の補正プロセスのうちの１つの補正プロセスは、前記ＦＩＲ画像を重複するブロックに分割し、それぞれの個々のブロック内でヒストグラム均等化を適用することで、コントラスト制限付適応ヒストグラム均等化（ＣＬＡＨＥ）を適用することを含む、請求項２６に記載の電子回路。
30. 前記複数の補正プロセスのうちの１つの補正プロセスは、白いホット・ピクセルを黒いホット・ピクセルに変化させること、及び予め定義されたオフセットだけ前記ＦＩＲ画像の輝度を調整することのうちの少なくとも１つを実行するよう構成される、極性及び輝度モジュールを含む、請求項２６に記載の電子回路。