JP2008532386A

JP2008532386A - 赤外線カメラ・システムとその方法

Info

Publication number: JP2008532386A
Application number: JP2007557094A
Authority: JP
Inventors: テール、ビル; コストルツェワ、ジョセフ; ケールハメル、ヤンエリック; フーグルンド、トビアス
Original assignee: Flir Systems Inc
Current assignee: Teledyne Flir LLC
Priority date: 2005-02-23
Filing date: 2006-02-15
Publication date: 2008-08-14
Anticipated expiration: 2026-02-15
Also published as: US7340162B2; WO2006091559A8; JP4931831B2; US20060188246A1; DE112006000457T5; WO2006091559A1

Abstract

【課題】様々な条件下で画質又は赤外線カメラの性能を向上する赤外線カメラ・システムを提供する。
【解決手段】本発明のシステム及び方法は、様々な条件下で画質又はカメラの性能を向上する赤外線カメラの技術を提供する。例えば、本発明のある実施形態では、システムは、赤外線カメラによって提供されたデータを、そのデータが得られた時刻における環境状況に基づいて変換する。例えば、赤外線カメラによって提供された画質は、センサーの情報に基づいて選択される適切な変換によって様々な環境状況下で向上する。
【選択図】図１

Description

本発明は、一般的にはカメラ、さらに具体的には赤外線カメラ及びそのシステム（例えば、車両に利用するため）に関連する

赤外線カメラは、様々な利用法で知られ、使用されている。赤外線カメラの典型的な構成の１つは、赤外線を感知するために使用されるマイクロボロメータの構成要素の２次元配列を含む。各マイクロボロメータの構成要素は、感知された赤外線に基づいて２次元画像を作り出すピクセルとして機能する。各マイクロボロメータの構成要素の抵抗の変化は、読み出し集積回路（read out integrated circuit：ＲＯＩＣ）として知られる回路によって、時分割の電気信号に変換される。ＲＯＩＣとマイクロボロメータアレイとの組み合わせは、一般的にマイクロボロメータ焦点面アレイ（focal plane array：ＦＰＡ）又はマイクロボロメータ赤外線ＦＰＡとして知られている。

従来の赤外線カメラの１つの欠点として、例えば、ＲＯＩＣによって提供される赤外線画像（そのまま表示される場合もあれば、保存される場合もある）が、赤外線画像が得られた時刻における状況を考慮していないということである。前記状況は、例えば、赤外線カメラに対して外的又は内的なものであり得る（例えば、赤外線画像の外観を影響する環境状況など）。したがって、様々な環境状況下で赤外線カメラの性能を変える技術が必要である。

本明細書では、様々な条件下で画質又は赤外線カメラの性能を向上し得る赤外線カメラ技術を提供するためのシステム及び方法が開示されている。例えば、本発明のある実施形態では、赤外線カメラによって提供されたデータを、そのデータが得られた時間における環境状況に基づいて変換するシステムが開示されている。例として、前記システムは車両に組み込まれることがあり、その場合、環境状況に関する情報は車両のセンサーによって提供される。赤外線カメラによって提供された画像外観は、例えば、センサーの情報に基づいて、データのための適切な変換を選択する及び／又は表示部を調整する（明るさ、コントラスト、及び／又はガンマを調整する）ことによって様々な環境状況下で向上し得る。

さらに具体的には、本発明のある実施形態では、赤外線カメラ・システムは、赤外線画像データを提供するように構成された赤外線カメラと、環境情報を提供するために構成された少なくとも１つのセンサーと、前記少なくとも１つのセンサーからの環境情報を受信し、その環境情報に基づいて複数の種類の変換から１つの変換を選択し、赤外線画像データに加えるように構成されたコントローラとを含む。

本発明の他の実施形態では、赤外線カメラ・システムは、赤外線画像データを提供するように構成された赤外線カメラと、画像データに関連する環境状況に基づく情報を受信する手段と、環境状況の情報に基づいて画像データに第１の変換を加える手段とを含む。

本発明の他の実施形態では、環境状況に基づいて赤外線カメラ・データを変換する方法は、環境状況に関する情報を受信するステップと、環境状況に基づいて赤外線カメラ・データに加える第１の変換を決定するステップと、赤外線カメラ・データに第１の変換を加えるステップとを含む。その後、例えば、環境状況が変化する場合は、画像外観を最適化するために別の変換を加えることができる。

本発明の範囲は、請求の範囲によって定義されている。１つ以上の実施形態に関する下記の詳細な説明により、当業者は、本発明の実施形態をさらに完全に理解すると共に、本発明の利点を認識することができるであろう。

本発明の実施形態及び実施形態の利点は、下記の詳細な説明を参照することにより容易に理解できる。参照番号は１つ以上の図に図示されている要素を特定するために使用されることを理解されたい。

図１は、本発明のある実施形態におけるシステム１００のブロック図である。システム１００は、赤外線カメラ１０２と、コントローラ１０４と、１つ以上のセンサー１０６と、表示電子回路１０８と、表示部１１０とを含む。システム１００は、赤外線画像の保存及び／又は表示を必要とする車両（例えば、自動車若しくは他の種類の陸上車両、航空機、又は宇宙船）又は非可動装置に組み込まれ得る。

赤外線カメラ１０２は、いかなる種類の赤外線カメラ（例えば、赤外線を検知し、表現的なデータ（例えば、１つ以上の赤外線画像のスナップ写真又はビデオ）を提供する赤外線カメラ）であり得る。例えば、赤外線カメラ１０２は、近赤外スペクトル、中赤外スペクトル、及び／又は遠赤外スペクトルを対象にする赤外線カメラであり得る。センサー１０６には、目的の利用又は実施必要条件に応じて１つ以上の様々なセンサーが使用され得る。センサー１０６は、コントローラ１０４に情報を提供する。

コントローラ１０４は、センサー１０６（例えば、センサー１０６からセンサー情報を受信することで）と赤外線カメラ１０２（例えば、赤外線カメラ１０２からデータを受信し、赤外線カメラ１０２に指令、制御、又は他の情報を提供することで）と連絡している。システム１００は、また、表示回路１０８と表示部１１０とを含み得る。表示回路１０８及び表示部１１０は、赤外線カメラ１０２からのデータ（例えば、赤外画像）を表示するためにシステム１００によって使用される。表示回路１０８及び表示部１１０は、コントローラ１０４を介して（図に示されているように）赤外線カメラ１０２又は直接赤外線カメラ１０２からデータを受信し得る。

表示回路１０８及び表示部１１０は、例えば、陰極線管、プラズマ表示盤、遠隔映写ヘッド・アップ・ディスプレー（remote projection head-up display）、又は液晶ディスプレーに相当する。或いは、システム１００は、表示回路１０８及び表示部１１０などのシステム１００の適切な構成要素で後に表示する（例えば、別の表示部で）ために、赤外線カメラ１０２からのデータを保存し得る（例えば、コントローラ１０４のメモリー内に）。

本発明のある実施形態では、目的又は利用及び必要条件に応じて、システム１００の様々な構成要素が組み合わされ、その場合は、システム１００はシステムの様々な機能ブロックに相当する。例えば、コントローラ１０４は、表示回路１０８、表示部１１０、赤外線カメラ１０２、及び／又は１つ以上のセンサー１０６を含むようにこれらと組み合わせられ得る。或いは、コントローラ１０４は、赤外線カメラ１０２に組み込まれ得る。その際、コントローラ１０４は、赤外線カメラ１０２内の回路（例えば、マイクロプロセッサ）によって機能する。

具体的な実施例として、本発明のある実施形態では、システム１００は、車両（例えば、自動車）の１人以上の乗員のために表示部１１０で赤外線画像を表示する目的で車両に組み込まれ得る。コントローラ１０４は、例えば、車両の電子制御装置（electronic control unit：ＥＣＵ）であり得る。車両に組み込まれ得るセンサー１０６は、最新の環境状況に関する情報をコントローラ１０４に提供する（例えば、コントローラ・エア・ネットワーク（controller area network：ＣＡＮ）バス・プロトコルを介して）。

例えば、センサー１０６は、外部気温、照明状況（例えば、日中、夜間、夕暮れ及び／又は夜明け）、湿度、特定の気象条件（例えば、晴れ、雨、及び／又は雪）などの環境状況、及び／又は、トンネル、屋根のある駐車場、若しくは他の包囲された空間への入出に関する情報を提供し得る。センサー１０６は、赤外線カメラ１０２によって提供されたデータに対して影響し得る（例えば、画像外観に対して）様々な条件（例えば、環境状況）をモニターする、当業者に公知の従来のセンサーであり得る。

本発明のある実施形態では、センサー１０６（例えば、１つ以上のセンサー１０６）は、コントローラ１０４に情報を中継する装置である場合もある。その場合は、情報は、例えば無線通信によってセンサー１０６に受信される。例えば、車両内のセンサー１０６は、ローカル放送（例えば、無線）通信、携帯電話若しくはセルラー・ネットワーク、及び／又は設備内の情報ビーコン（例えば、交通、幹線道路の情報ビーコン設備）又は他の有線若しくは無線技術で衛星から情報を受信し得る。

赤外線カメラ１０２の適切な操作パラメータ又は設定を決定するために、センサー１０６によって提供された情報は、コントローラ１０４によって評価及び利用され得る。例えば、センサー１０６（例えば、車両のセンサー）によって提供された外部の環境状況に関する情報を使用することによって、最も適切な変換が選択され（例えば、コントローラ１０４又は赤外線カメラ１０２によって）、赤外線カメラ１０２によって発生したデータに加えられ得る。データの変換は、例えば、赤外線カメラ１０２、表示部１１０、媒介装置（例えば、表示電子回路１０８）、又はこれらの組み合わせの中で行われる。或いは、又はさらに、表示部１１０のパラメータ（例えば、明るさ、コントラスト、及び／又はガンマ）は、センサー１０６から提供された外部環境の状況に関する情報に基づいて調整され得る（例えば、直接コントローラ１０４又は表示回路１０８によって）。

特に、本発明のある実施形態では、赤外線カメラ１０２からのデータ（例えば、画像又はビデオ画像）の最適化には、変換が発生し、データに加えられる必要がある。変換により、データは高解像度の画像から低解像度の画像に変換される。例えば、赤外線カメラ１０２が１４ビットのデータを提供すると、変換により、このデータは１４ビットから８ビットに変換され得る。尚、加えられる変換は、運転又は外部環境の状況に基づく（例えば、センサー１０６からの情報に基づく）。したがって、最適な変換を選択し、赤外線カメラ１０２によって発生したデータに加えることによって、全ての環境状況において又は環境状況に関わらずに加えられる単一及び普遍的な変換から発生する画像外観と比較して、より優れた画像外観が得られ、保存及び／又は表示され得る。

赤外線カメラ１０２は、例えば、赤外線カメラ１０２によって発生したデータに加えられ得る選択可能な多くの変換を保存し得る。又は、コントローラ１０４が選択可能な変換を発生させ及び／又は保存し、赤外線カメラ１０２によって提供されたデータに選択した変換を加え得る。例えば、センサー１０６から提供された情報に基づいて、コントローラ１０４は環境状況に対応する適切な変換を決定し、赤外線カメラ１０２による変換の適用を指令する（例えば、赤外線カメラ１０２とコントローラ１０４との間のローカル相互接続ネットワーク（ＬＩＮ）プロトコルを介して）。

図２乃至４は、本発明のある実施形態において図１の赤外線カメラ１０２によって発生したデータに加えられる典型的な変換のグラフを例示する。例えば、図２は、典型的な線形型（下降）変換を例示する。この線形型変換は、白昼、夕暮れ、又は夜明けの環境状況下で選択される。線形型変換は、方程式（１）によって表され得る。但し、「ｋ」は傾き、「ｍ」はオフセットを表す。線形型変換において、「ｋ」の値は、異なる環境状況に応じてより適切な画像外観を提供するために選択され得る（例えば、正若しくは負の傾き、又は傾き無し）。

図３は、典型的なレーリー型変換を例示する。レーリー型変換は、例えば、夜又は夜のような環境状況のために選択され得る。レーリー型変換は、方程式（２）によって表され得る。但し、「ｓ」は、ピークの位置を表す。

図４は、典型的なシグモイド型変換を例示する。シグモイド型変換は、例えば、システム１００（例えば、具体的な例としてシステム１００を有する車両）がトンネル、駐車場、若しくは他の種類の包囲された場所、又は環境状況が突然変化する同様な場所に入るときに選択され得る。シグモイド型変換は、方程式（３）で表され得る。但し、「ａ」は、傾きを表す。

データのさらなるロジック又はさらなる変換は、センサー１０６によって提供される情報に基づいて行われる。例えば、環境状況の変化に応じて画像外観をさらに向上するために、所望のとおりに特定の変換（例えば、レーリー型）を修正、変更、又は変化させうことができる。

また、例示されている変換は、例的なものであり、様々な種類の変換（例えば、区分線形型、ガウス型、逆シグモイド型、又は順序交換変形型及び他の変形型の変換）が使用され得ることを理解されたい。これは、本明細書で説明されている技術により、当業者に理解されるであろう。例えば、本発明の１つ以上の実施形態では、センサー１０６によって提供された環境情報に基づいて、赤外線カメラ１０２によって発生したデータに様々な種類の変換技術（例えば、ヒストグラム仕様（histogram specification）、ヒストグラム・プロジェクション（histogram projection）、ヒストグラム・リグレッション（histogram regression）、及び又はヒストグラム平坦化（histogram equalization）などのヒストグラム又は空間変換）が利用され得る。

また、又は別の方法として、表示部１１０の表示設定は、センサー１０６によって提供された環境情報に基づいて調節され得る。例えば、コントローラ１０４は（直接又は表示回路１０８を介して）、センサー１０６によって提供された環境情報に基づいて表示部１１０の１つ以上の設定を調節し得る。例えば、コントローラ１０４は、表示部１１０の明るさの設定、コントラストの設定、及び／又はガンマの設定を調節し得る。したがって、例えば、画像の最適化アルゴリズムは、環境情報に基づいてデータ及び／又は画像外観を最適化する目的で赤外線カメラ１０２及び／又は表示部１１０を制御するために、コントローラ１０４によって行われ得る。

上記に説明した技術の例として、雨が感知された場合、又は他の環境状況によって赤外線カメラ１０２からの画像データのダイナミック・レンジが低い場合は、異なる変換が選択され得る、又は加えられる変換の１つ以上のパラメータは環境状況に応じて調節され得る。或いは、又はその上、表示される画像外観を改善するために表示部１１０の表示設定が調節され得る（例えば、明るさ、コントラスト、及び／又はガンマの値が１又は２増加する）。また、赤外線カメラ１０２によって発生したデータに加えられる変換を他の変換に変えるとき、又は表示部１１０の表示設定を変えるときにその移行をスムーズにするために補間が行われ得る。

表示部１１０の表示設定もまた、選択された変換及び／又はその時の環境状況に基づいて決定され得る。例えば、線形型変換が加えられるとき、表示部１１０の明るさ及びコントラストは、それらの公称値からそれぞれ−３及び＋３に調節され得る。他の例として、レーリー型変換又はシグモイド型変換が加えられるとき、表示部１１０の明るさ及びコントラストは、それらの公称値からそれぞれ＋３及び−３に調節され得る。

本発明の１つ以上の実施形態では、赤外線カメラは、赤外線カメラによって発生したデータを環境状況の変化に応じて変換するために選択的にロジックを利用する。赤外線画像の質は、システム・オペレーションのために様々な状況（例えば、環境状況）で向上し得る。

例えば、本発明のある実施形態では、赤外線カメラ・システムは、車両に組み込まれている。車両のプロセッサ（例えば、車両の電子制御装置又は赤外線カメラ内に存在するプロセッサ）は、車両のセンサーの情報に基づいて赤外線カメラによって発生したデータに加えられる最適な変換を発生させる及び／又は選択する切り替えロジック（すなわち、決定ロジック）を含む。

車両のセンサーは、例えば白昼若しくは夜間、夕暮れ若しくは夜明け、車両が覆われた構造物（例えば、トンネル）に入ったかどうか、及び／又は具体的な気象情報（例えば、晴れ、雨、又は雪）などの情報を提供し得る。プロセッサは、車両のセンサーからの情報に基づいて、多くのデータ変換の中から１つの変換を選択し、赤外線カメラによって発生したデータに加える（例えば、赤外線カメラのためのモードを選択する）。

したがって、リアルタイムのセンサー情報（例えば、環境状況）に基づいて適切な変換が加えられることによって、表示されている赤外線画像が動的に最適化（すなわち、リアルタイムで）される。環境状況の変化にしたがってある変換から他の変換に変えるときに表示されている画像が突然変化することなく、漸次的に変化するようにするために、赤外線カメラはあるモードから次のモードまでを補間する（例えば、ある変換から他の変換へ補間する）。また、表示されている画像の質を向上させるために、表示設定は、環境状況又は選択されている変換に基づいて自動的に調節される。

上記に説明した実施形態は、例示するためであって、本発明を制限するものではない。本発明の原則を逸脱することなく、様々な変更が可能であることを理解されたい。本発明の範囲は、特許請求の範囲のみに決定される。

本発明のある実施形態での赤外線カメラ・システムのブロック図を示す。本発明のある実施形態での図１の赤外線カメラの典型的な変換のグラフを示す。本発明のある実施形態での図１の赤外線カメラの典型的な変換のグラフを示す。本発明のある実施形態での図１の赤外線カメラの典型的な変換のグラフを示す。

Claims

赤外線カメラ・システムであって、
赤外線画像データを提供するように構成された赤外線カメラと、
環境情報を提供するように構成された少なくとも１つのセンサーと、
前記少なくとも１つのセンサーから前記環境情報を受信し、前記環境情報に基づいて複数の変換から１つの変換を選択し、前記赤外線画像データに前記１つの変換を加えるコントローラとを含むことを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
前記複数の変換は、線形型、レーリー型、シグモイド型、区分線形型、ガウス型、及び逆シグモイド型の変換の内の少なくとも１つを含むことを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
前記複数の変換は、ヒストグラム仕様、ヒストグラム・プロジェクション、ヒストグラム・リグレッション、及びヒストグラム平坦化の内の少なくとも１つを含むことを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
前記赤外線画像データに基づいて画像を表示するように構成された表示部をさらに含むことを特徴とする赤外線カメラ・システム。
請求項４に記載の赤外線カメラ・システムであって、
前記コントローラは、選択された前記変換及び前記環境情報の内の少なくとも１つに基づいて前記表示部の明るさ、コントラスト、及びガンマの設定の内の少なくとも１つを調節するようにさらに構成されていることを特徴とするカメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
前記コントローラは、前記少なくとも１つのセンサーによって提供された前記環境情報の変化に基づいて、前記複数の変換から異なる変換を選択するようにさらに構成されていることを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
選択された前記変換により、前記赤外線画像がより低解像度の画像に変換することを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
第１の変換から前記複数の変換からの第２の変換に切り替えられるときに、補間が実施されることを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
前記赤外線カメラ・システムは、車両に組み込まれることを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
前記環境情報は、気温、光の強度、湿度、及び気象の具体的な指標の内の少なくとも１つを含むことを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
前記赤外線カメラは、遠赤外線カメラをさらに含むことを特徴とする赤外線カメラ・システム。
請求項１に記載の赤外線カメラ・システムであって、
前記環境情報は、ワイヤレス・インターフェースで前記少なくとも１つのセンサーの少なくとも１つに提供されることを特徴とする赤外線カメラ・システム。
赤外線カメラ・システムであって、
赤外線画像データを提供するように構成された赤外線カメラと、画像データに関連する環境状況に関する情報を受信する手段と、前記環境状況の情報に基づいて前記画像データに第１の変換を加える手段とを含むことを特徴とする赤外線カメラ・システム。
請求項１３に記載の赤外線カメラ・システムであって、
前記赤外線カメラは、遠赤外線カメラを含むことを特徴とする赤外線カメラ・システム。
請求項１３に記載の赤外線カメラ・システムであって、
前記第１の変換を加えることによって、前記画像データがより低解像度の画像に変換することを特徴とする赤外線カメラ・システム。
請求項１３に記載の赤外線カメラ・システムであって、
前記受信する手段は、衛星、無線放送、セルラー送信、及び道路のビーコンの内の少なくとも１つから情報を受信するための無線インターフェースを含むことを特徴とする赤外線カメラ・システム。
請求項１３に記載の赤外線カメラであって、
前記第１の変換を加える手段は、前記環境の情報に基づいて、第１の変換として提供するために多くの可能な変換の中から変換を選択することをさらに含むことを特徴とする赤外線カメラ。
請求項１３に記載の赤外線カメラであって、
前記第１の変換は、ヒストグラム仕様、ヒストグラム・プロジェクション、ヒストグラム・リグレッション、及びヒストグラム平坦化の内の少なくとも１つを含むことを特徴とする赤外線カメラ。
請求項１３に記載の赤外線カメラであって、
前記画像データを表示する手段をさらに含むことを特徴とする赤外線カメラ。
請求項１９に記載の赤外線カメラであって、
前記表示する手段の明るさ、コントラスト、及びガンマの設定の内の少なくとも１つを前記環境状況に基づいて調節する手段をさらに含むことを特徴とする赤外線カメラ。
請求項１３に記載の赤外線カメラであって、
前記環境状況は、気温、光の強度、湿度、及び具体的な気象状況の内の少なくとも１つを含み、
前記赤外線カメラ・システムは車両に含まれることを特徴とする赤外線カメラ。
請求項１３に記載の赤外線カメラであって、
前記第１の変換と前記画像データに加えられる第２の変換との間を補間する手段を含むことを特徴とする赤外線カメラ。
請求項１３に記載の赤外線カメラであって、
前記加える手段は、環境状況の変化に基づいて異なる変換を加えることをさらに含むことを特徴とする赤外線カメラ。
環境状況に基づいて赤外線カメラのデータを変換する方法であって、
環境状況に関する情報を受信するステップと、前記環境状況に基づいて前記赤外線カメラのデータに加える第１の変換を決定するステップと、前記赤外線カメラのデータに前記第１の変換を加えるステップとを含むことを特徴とする方法。
請求項２４に記載の方法であって、
前記第１の変換を決定するステップは、前記環境状況に基づいて多くの可能な変換の中から前記第１の変換を選択するステップを含むことを特徴とする方法。
請求項２４に記載の方法であって、
前記第１の変換を加えるステップは、前記赤外線データの画像外観を向上することを特徴とする方法。
請求項２４に記載の方法であって、
前記第１の変換は、ヒストグラム仕様、ヒストグラム・プロジェクション、ヒストグラム・リグレッション、及びヒストグラム平坦化の内の少なくとも１つを含むことを特徴とする方法。
請求項２４に記載の方法であって、
前記第１の変換を加えるステップの後に前記赤外線カメラのデータを表示するステップをさらに含むことを特徴とする方法。
請求項２８に記載の方法であって、
前記環境状況に基づいて、表示されている前記赤外線カメラのデータの明るさ、コントラスト、及びガンマの設定の内の少なくとも１つを調節する手段をさらに含むことを特徴とする方法。
請求項２４に記載の方法であって、
前記環境状況が変化するときに前記赤外線カメラのデータに加える第２の変換を決定するステップと、前記赤外線カメラのデータに前記第２の変換を加えるステップと、前記第２の変換を加える際に前記第１の変換から前記第２の変換までを補間するステップとをさらに含むことを特徴とする方法。
請求項２４に記載の方法であって、
前記第１の変換を加えるステップにより、前記赤外線カメラのデータがより低解像度の画像に変換することを特徴とする方法。