JP2021108112A - サーマル健全度モニタリングセンサ - Google Patents

サーマル健全度モニタリングセンサ Download PDF

Info

Publication number
JP2021108112A
JP2021108112A JP2020197654A JP2020197654A JP2021108112A JP 2021108112 A JP2021108112 A JP 2021108112A JP 2020197654 A JP2020197654 A JP 2020197654A JP 2020197654 A JP2020197654 A JP 2020197654A JP 2021108112 A JP2021108112 A JP 2021108112A
Authority
JP
Japan
Prior art keywords
shutter
image
average response
response value
thermal camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020197654A
Other languages
English (en)
Other versions
JP7299868B2 (ja
Inventor
トマス ウィンツェル,
Winzell Thomas
トマス ウィンツェル,
イェスパー ベンツソン,
Bengtsson Jesper
イェスパー ベンツソン,
マッツ バイランデール,
Bylander Mats
マッツ バイランデール,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of JP2021108112A publication Critical patent/JP2021108112A/ja
Application granted granted Critical
Publication of JP7299868B2 publication Critical patent/JP7299868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/03Arrangements for indicating or recording specially adapted for radiation pyrometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80Calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Abstract

【課題】サーマルカメラの機能不全を検出するための、コンピュータプログラム製品を含む、方法および装置を提供する。【解決手段】サーマルカメラの機能不全を検出するためのプロセスであって、第1の平均応答値は、サーマルカメラ内の画像センサによって取り込まれる第1のシャッター画像について決定される。第2の平均応答値は、サーマルカメラ内の画像センサによって取り込まれる第2のシャッター画像について決定される。第1の平均応答値と第2の平均応答値は比較される。第1の平均応答値および第2の平均応答値が所定の値より大きい値だけ異なると判定することに応答して、サーマルカメラの機能不全の表示が提供される。【選択図】図2

Description

本発明はサーマルカメラに関し、より具体的には、サーマルカメラの種々のタイプの機能不全を自動的に検出することに関する。
サーマルカメラはいろいろなモニタリング状況で使用される。サーマルカメラは、電磁スペクトルの可視範囲内で動作するモニタリングカメラと比べてしばしば好ましく、なぜならば、サーマルカメラが、真っ暗から直射日光に及ぶ本質的に任意の光条件下で動作することができるからである。サーマルカメラは同様に、影、逆光、暗闇、およびさらに偽装された対象などの異なる光条件に対して感度が低い。煙(smoke)、煙霧(haze)、塵(dust)、および薄い霧(light fog)などの異なる天候条件においてさえも、サーマルカメラは、概して、非常に良好な性能を有する。さらに、サーマルカメラは、完全な暗闇の中でさえも投光照明(floodlight)を必要としないため、同様に、光汚染を低減し、エネルギー消費を下げる。
サーマルカメラは、人間が背景に溶け込むことをより難しくする非常に小さい温度差を検出することができる。したがって、サーマルカメラは、複雑な背景によって曖昧にされるかまたは暗い影に隠蔽される人間を検出するのに優れている。さらに、多くの他のタイプの対象は同様に、周囲環境と異なる温度を有し、検出を容易にする。少なくともこれらの理由で、サーマルカメラは、工業用地、空港、および発電所の周りの周辺保護などの広範囲のセキュリティ用途において使用することができる。その検出能力は同様に、サーマルカメラを、例えば、研究および救助オペレーションにおいて価値あるツールにする。
1つの例として、サーマルカメラからのライブビデオは、視覚カメラが運動を検出することになるのに先んじて、駐車場内で車の間で歩く人をカメラオペレータに知らせることができる。同定(identification)のことになると、学校においてなど、プライバシーが問題である状況においてサーマルカメラを使用することが可能である。
視覚カメラと比較して、サーマルカメラは、高い画像コントラストを動き検出と組み合わせることによって、より信頼性のある検出および形状認識を提供することができる。これは、少数の偽アラームをもたらし、要員による不必要な応答および行為を低減する。カメラは同様に、画像に熱情報を付加し、例えば、建物内の熱漏洩を発見する、または、車が、直近の期間内に運転されたか否かを判定するために、プロセスをモニターし、温度が変化したときに異常挙動を検出することを可能にする。
概して、サーマルカメラによって取り込まれるビデオは、連続してモニターされない。むしろ、事象が起こるときのみに、オペレータが、警告され、その後、問題が何である場合があるかを決定し、適切な処置をとるであろう。これは、サーマルカメラが改ざんされるかまたは偶然に方向転換される場合、あるいは、サーマルカメラが汚れる場合、このことが、長い間、見過ごされる場合があり、種々のセキュリティおよび信頼性問題をもたらすことになることを意味する。これは、多数の、例えば、千台程度のモニタリングカメラを含むシステムについて特に関連性があり、そのシステムにおいて、カメラオペレータが、十分に定期的に各カメラの「健全度(health)」をチェックすることは実行可能でないまたは可能でない場合がある。少なくともこれらの理由で、サーマルカメラの機能不全を検出するためのよりよい方法についての必要性が存在する。
第1の態様によれば、本発明は、サーマルカメラの機能不全を検出するための、コンピュータシステム内の方法に関する。方法は、
・サーマルカメラ内の画像センサによって取り込まれる第1のシャッター画像について第1の平均応答値を決定すること、
・サーマルカメラ内の画像センサによって取り込まれる第2のシャッター画像の第2の平均応答値を決定すること、
・第1の平均応答値と第2の平均応答値を比較すること、および、
・第1の平均応答値および第2の平均応答値が所定の値より大きい値だけ異なると判定することに応答して、サーマルカメラの機能不全の表示を提供すること
を含む。
これは、画像センサの劣化または動かない機械式シャッターなどの、サーマルカメラの関する問題が存在するか否かを自動的に検出し、そのような問題をユーザーに警告する方法を提供する。これは、特に、全てのカメラを手作業で連続してモニターすることが実行可能でない場合がある大規模監視カメラシステムにおいて特に有用である。
1つの実施形態によれば、表示は、サーマルカメラ内の画像センサの劣化の表示とすることができる。サーマルカメラ内の画像センサは経時的に劣化する傾向があるため、画像センサに関する問題が存在するとき、および、画像センサが許容可能でないレベルに達したときの自動表示を有することが有用である。
1つの実施形態によれば、表示は、サーマルカメラ内のシャッター機能不全の表示とすることができる。シャッターは、カメラの不可欠な構成要素であり、センサを再較正するために(それにより、信頼性のある画像を得るために)定期的に使用されるため、シャッターが最適に常に働くことを確実にすることが重要である。これは個々のカメラにおいて重大な問題でない場合があるが、未検出のシャッター問題のリスクは、数百台または数千台のカメラを含むことができる大規模システムにおいて増大する場合があり、したがって、シャッター機能不全を検出するための信頼性のある自動化方法を有することが重要である。
1つの実施形態によれば、第1のシャッター画像および第2のシャッター画像は、取り込み条件が本質的に同一である互いの時間内に取り込まれる。2つのシャッター画像間の意味のある比較を行うことができ、問題の自動決定の信頼性を上げるために、2つの画像は、好ましくは、非常に類似する周囲条件下で取り込まれる。
1つの実施形態によれば、第1のシャッター画像を取り込むことと第2のシャッター画像を取り込むこととの間の時間は、カメラタイプおよびセンサタイプの一方または両方に基づいて予め決定される時間である。これは、最適な再較正時間間隔が、特定のタイプのサーマルカメラおよびセンサのために設定されることを可能にし、それにより、「追加の(extra)」シャッター画像は取り込まれる必要がない。
1つの実施形態によれば、第1のシャッター画像および第2のシャッター画像は、サーマルカメラ内の画像センサの測定温度に応答して取り込まれる。すなわち、設定された時間スケジュール通りであるのではなく、サーマルカメラ内の温度センサが、シャッター画像をいつ取り込むかについてのトリガーとして働くことができる。これは、カメラが、より速い温度変化により迅速に応答し、また同様に、長い期間の間、温度が比較的一定のままであるときに、資源を節約し、不必要な画像を取り込まないことを可能にする。
1つの実施形態によれば、方法は、第1のシャッター画像の取り込み時に焦点面アレイ温度を決定すること、および、異なる焦点面アレイ温度で取り込まれたシャッター画像のライブラリから、類似の焦点面アレイ温度で取り込まれた第2のシャッター画像を取り出すことを含むことができる。幾つかの状況において、使用する最近のシャッター画像が存在しない場合があり、そのようなシナリオでは、データをそこから得ることができるライブラリに記憶されたシャッター画像および/または平均応答値が存在する可能性がある。これは、特定の問題が何であるかについてより信頼性のある決定を提供するために使用することができる。例えば、シャッター画像が、1か月前および2か月前に類似の周囲温度で取り込まれ、かつ、各画像の品質の一貫性のある劣化が存在する場合、問題が、動かないシャッターではなく、画像センサ劣化による可能性が高いと結論付けることができる。
1つの実施形態によれば、第1の平均応答値および第2の平均応答値は、全体の第1のシャッター画像および全体の第2のシャッター画像についてそれぞれ決定される。すなわち、全体の画像は、考えられる問題が存在するか否かのより信頼性のある表示を得るために使用される。
第2の態様によれば、本発明は、サーマルカメラの機能不全を検出するためのシステムに関する。システムはメモリおよびプロセッサを含む。メモリは命令を含み、命令は、プロセッサによって実行されると、方法であって、
・サーマルカメラ内の画像センサによって取り込まれる第1のシャッター画像について第1の平均応答値を決定すること、
・サーマルカメラ内の画像センサによって取り込まれる第2のシャッター画像の第2の平均応答値を決定すること、
・第1の平均応答値と第2の平均応答値を比較すること、および、
・第1の平均応答値および第2の平均応答値が所定の値より大きい値だけ異なると判定することに応答して、サーマルカメラの機能不全の表示を提供すること
を含む、方法をプロセッサに実施させる。
システムの利点は、方法の利点に対応し、同様に変動する場合がある。
第3の態様によれば、本発明は、本発明の第2の態様によるシステムを含むサーマルカメラに関する。サーマルカメラの利点は、方法の利点に対応し、同様に変動する場合がある。
第4の態様によれば、本発明は、サーマルカメラの機能不全を検出するためのコンピュータプログラムに関する。コンピュータプログラムは命令を含み、命令は、
・サーマルカメラ内の画像センサによって取り込まれる第1のシャッター画像について第1の平均応答値を決定するステップ、
・サーマルカメラ内の画像センサによって取り込まれる第2のシャッター画像の第2の平均応答値を決定するステップ、
・第1の平均応答値と第2の平均応答値を比較するステップ、および、
・第1の平均応答値および第2の平均応答値が所定の値より大きい値だけ異なると判定することに応答して、サーマルカメラの機能不全の表示を提供するステップ
に対応する。
コンピュータプログラムは、方法の利点に対応する利点を含み、同様に変動する場合がある。
本発明の1つまたは複数の実施形態の詳細は、添付図面および以下の説明において述べられる。本発明の他の特徴および利点は、説明および図面からまた特許請求の範囲から明らかになる。
1つの実施形態による画像センサの略図である。 1つの実施形態による画像センサおよびシャッターの略図である。 1つの実施形態によるシャッターの略図である。 1つの実施形態によるサーマルカメラの機能不全を検出するためのプロセスを示すフローチャートである。
種々の図面における類似の参照符号は類似の要素を示す。
上述したように、本発明の種々の実施形態に関する1つの目標は、サーマルカメラの機能不全を自動的に検出することができることである。一般的なレベルで、本発明の種々の実施形態は以下のように働く。サーマルカメラを較正するために撮影されるシャッター画像を使用することによって、例えば、センサが劣化した(例えば、「デッド(dead)」ピクセルの増加した数が存在する)か否かまたはカメラの機械式シャッターが動かないか否かを判定し、肯定的な判定をすることに応答して、カメラのオペレータに通知することが可能である。
より具体的には、シャッター画像が取り込まれてしまうと、画像は、記憶され、次のシャッター画像が取り込まれるときの基準として使用される。現在のシャッター画像と基準シャッター画像を比較し、2つのシャッター画像を焦点面アレイ温度に関連付けることによって、カメラに関する問題が存在するか否かを判定することができる。さらに、シャッター画像の外観に応じて、問題がセンサ劣化によるものか、動かない機械式シャッターによるものかを判定することもできる。
シャッター画像解析が十分に頻繁に行われる限り、直近のシャッター画像のみが基準画像として保存される必要があり、なぜならば、取り込み条件が、シャッター画像間で本質的に同一であることになるからである。解析が頻繁に行われない場合、変動する取り込み条件を反映するために、異なる焦点面アレイ温度で取り込まれたシャッター画像のセットを、取り込み記憶することができ、現在の取り込み条件について適切である記憶されたこれらの画像の1つの画像を、その後、比較のために選択することができる。本発明の種々の実施形態が、ここで例としてまた図面を参照してより詳細に述べられる。最初に、しかしながら、サーマルカメラの概要が提示されるであろう。
電磁スペクトルの可視範囲内で動作する従来のネットワークカメラおよびサーマルネットワークカメラは、圧縮およびネットワーキング機能、異なる環境および状況において使用するための異なるフォームファクタの可用性などのような多くの局面において類似する。しかしながら、2つの事:レンズおよびセンサは実質的に異なる。
通常ガラスは熱放射を遮断するため、通常ガラスベースの光学部品およびレンズは、サーマルカメラで使用することができない。現在、ゲルマニウムが、サーマルカメラ光学部品について最も一般的に使用される材料である。スズおよびシリコンと化学的に類似した高価なメタロイドであるゲルマニウムは、IR光を通過させながら、可視光を遮断する。純粋のゲルマニウムを使用することに対する代替法も存在する。例えば、一部のレンズは、より広いスペクトルのIR光が通過することを可能にする、カルコゲナイドガラスと呼ぶゲルマニウムベース材料で作られる。
従来のレンズのように、サーマルレンズは、異なる焦点距離として供給される。視野は、焦点距離およびセンサの径に依存する。サーマルカメラ内のセンサは、熱赤外(IR:infrared)放射に感度がある数千個の検出器のアレイである。サーマルイメージングのために使用される検出器は、2つのタイプ:冷却式および非冷却式IRセンサに大まかに分割することができる。非冷却式IR画像センサは、より小さく、少数の可動部と共に構築され、そのことは、非冷却式IR画像センサを、冷却式の相方より安価にする。冷却式センサを有するカメラは、概して、サービスされる必要があり、また同様に、冷却媒体を8,000〜10,000時間ごとに再充填される。商業的に最も入手可能なサーマルカメラは、非冷却式IRセンサを使用し、したがって、本明細書の説明は、そのようなセンサに言及するであろう。しかしながら、本発明の種々の実施形態による技法が、機械式シャッターを使用する任意のタイプのサーマルカメラに適用することができること、および、特許請求の範囲が非冷却式センサを有するサーマルカメラのみに限定されるものと解釈されるべきでないことが留意されるべきである。
非冷却式センサ内の個々の要素は、到来するIR放射に対して異なる方法で応答する。これは、個々のピクセル値の「ドリフト(drift)」をもたらす。これを改善するために、サンサは、非均一性補正を定期的に実施する。これは、機械式シャッターにセンサを遮断させることによって行われ、全てのピクセルがそれに対して補正される標準的かつ均一な温度ターゲットをセンサに与える。シャッターがセンサを遮断するときに記録される画像は、シャッター画像と呼ばれる。この較正プロセスは、一定時間間隔でまたは特定の温度変化が起こるときに行われる。図1Aは、完全にオープンの構成にある画像センサ100の概略図を示し、図1Bは、画像センサ100が機械式シャッター102によって部分的に遮断されているときの画像センサ100の概略図を示し、図1Cは、画像センサ100がシャッター102によって完全に遮断されているときの画像センサ100の概略図を示し、その時点で、シャッター画像が記録される。画像センサ100および機械式シャッター102が、矩形形状を有するものとして図1A〜1Cに示されるが、本明細書で述べる技法が、サーマルカメラで使用することができる任意の幾何学的形状を有するセンサおよびシャッターに適用可能であることが留意されるべきである。
非冷却式センサは、通常、約8〜15マイクロメートルの長波赤外(LWIR:Long−wave Infrared)帯で動作し、全てが特有の利益を提供する種々の材料に基づくことができる。1つの一般的な設計は、当業者によく知られているマイクロボロメータ技術に基づく。マイクロボロメータは、概して、ピクセルのアレイを構成し、それぞれのピクセルは、熱検知材料を含むマイクロボロメータから構築され、熱検知材料の電気抵抗率は、熱検知材料が、入射するIR放射を吸収するときに変化する。IR吸収材料は、電極によって読み出し回路に接続され、吸収材料を通過するIR放射を後方に反射するために反射体がIR吸収材料の内部に配置される。ピクセルの熱吸収特性に対する対流の影響を低減するために、マイクロボロメータは真空封止される。マイクロボロメータの内部で放出されるガス分子と反応するまたはそれを吸収するためにゲッター材料がマイクロボロメータ内に堆積され、それにより、真空の寿命を延長することができる。マイクロボロメータに入射するIR放射は、IR吸収材料の抵抗率を変化させ、その変化は、処理するために読み出し回路に転送される。抵抗率の変化は、IR放射がそこから生じる、取り込まれるシーンの部分の温度に変換される。
解像度は、従来のネットワークカメラの場合に比べてサーマルカメラの場合、概して低い。これは、主にサーマルイメージングに関わるより高価なセンサ技術による。ピクセルはより大きく、そのことは、センササイズならびに材料および生産のコストに影響を及ぼす。現在、サーマルカメラについての典型的な解像度は、160×120から640×480の高解像度(VGA)に及ぶが、さらに高いまたは低い解像度が利用可能である。
図2は、1つの実施形態によるサーマルカメラの機能不全を検出するための方法200のフローチャートである。図に見ることができるように、方法200は、第1のシャッター画像について平均応答値を決定する、ステップ202、ことによって始まる。第1のシャッター画像は、画像センサ100が遮断される閉鎖位置にシャッターがある状態で、図1Cに関して上述したように取り込まれる「現在の画像(current image)」である。第1のシャッター画像を取り込むと、センサ内の全てのピクセルは応答値を生成し、応答値は、本質的に、入力強度に関するピクセルの出力信号として記述することができる。センサの異なるピクセルについて応答値の平均を計算することによって、取り込まれた第1のシャッター画像を表す単一数値を得ることができる。この「平均応答値(average response value)」は、例えば、マイクロボロメータ内の異なるピクセルについての応答値の平均値または中央値であるとすることができる。幾つかの実装態様において、最小/最大または最小値/最大値の間の範囲を、シャッター画像を表す値として使用することもできる。さらに他の実装態様において、種々のタイプの統計モデルを使用することができる。そのような統計モデルの1つの例は、ヒストグラムとしてのピクセル強度分布であることになる。ピクセル強度分布が、記憶されたまたは直前の分布から或る量より大きい量だけ偏位する場合、それは、何らかの問題が存在するという表示とすることができる。
平均応答値が画像センサの全ての単一ピクセルを使用して計算される必要がないことも留意されるべきである。「デッド(dead)」であるセンサの一部のピクセルが存在すること、または、カメラオペレータが、実際には、センサの特定の領域によって取り込まれるシーンの部分に関心があるだけであることが先験的にわかっている状況が存在する場合がある。そのような場合、平均応答値を決定するときに「重要である(of importance)」ピクセルを含むだけであることが意味をなす可能性がある。多くのそのような変形は、目の前の特定の状況に基づいて、当業者によって想定される可能性がある。
次に、記憶された平均応答値は、ステップ204にて、同じカメラによって取り込まれる第2のシャッター画像のために取り出される。記憶された平均応答値は、上述した同じ方法で決定され、直前に取り込まれたシャッター画像の表現である。第2のシャッター画像は、直近に取り込まれたシャッター画像であるとすることができる、または、第2のシャッター画像は、或る時間前に取り込まれたシャッター画像であって、その画像について、平均応答値(または、上述した他の統計的尺度)が記憶された、シャッター画像であるとすることができる。留意すべき重要なポイントは、2つのシャッター画像が、同じサーマルカメラによってかつ本質的に同一の周囲条件下で取り込まれるべきであることである。本質的に、2つの画像間の「類似度(similarity)」の必要とされる程度は、システムオペレータが、どんな種類のエラーを検出するのに興味があるかに基づいて支配される。概して、シャッター機能不全は、類似性の低い条件下でも、検出することが容易であるが、センサ劣化は、一方で典型的には、2つのシャッター画像間の類似度の高い条件を必要とする。
2つの平均応答値は、その後、例えば、1つの値から他の値を引くことによって比較され、その後、ステップ208にて、その結果(すなわち、絶対値)が所定の値を超えるか否かを判定することによって、ステップ206にて比較される。所定の値は、何らかの変動、例えば、2つのシャッター画像が取り込まれた間の期間中に周囲温度が1度または2度だけ変化した場合を可能にするために、サーマルカメラのオペレータによって設定することができる。所定の値は、目の前の特定の状況に応じて、絶対値としてまたは相対値(例えば、5%差)として設定することができる。
ステップ208にて、2つの平均応答値の間の差が所定の値より小さいと判定される場合、処置は講じられれず、プロセス200は終了する。しかしながら、ステップ208にて、2つの平均応答値の間の差が所定の値を超えると判定される場合、これは、サーマルカメラの機能不全を示すことができる(例えば、シャッターは、機械的エラーを受けてた場合があり、図1Bに示すように、センサの一部分のみが覆われる位置で動かなくなる場合がある、または、画像センサ自身が何らかの劣化を経験した場合がある)。そのような差を検出することに応答して、機能不全であるカメラの表示が提供される。その表示は、カメラのオペレータに送信される警告、または、カメラのサイトを訪れるというサービス会社に対する自動化着信呼などであるとすることができる。多くの変形を、当業者によって実装することができる。
当業者によって認識されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化することができる。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マクロコードなどを含む)、または、ソフトウェア態様およびハードウェア態様を組み合わせる実施形態の形態をとることができ、それら全てを、全体として本明細書で「回路(circuit)」、「モジュール(module)」、または「システム(system)」と呼ぶことができる。さらに、本発明の態様は、コンピュータ可読プログラムコードがそこで具現化されている1つまたは複数のコンピュータ可読媒体(複数可)で具現化されるコンピュータプログラム製品の形態をとることができる。
1つまたは複数のコンピュータ可読媒体(複数可)の任意の組み合わせを利用することができる。コンピュータ可読媒体はコンピュータ可読信号媒体またはコンピュータ可読記憶媒体であるとすることができる。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光、電磁、赤外、または半導体のシステム、装置、またはデバイス、あるいは上記の任意の適切な組み合わせであるとすることができる。コンピュータ可読記憶媒体のより特定の例(非網羅的リスト)は、以下:1つまたは複数のワイヤを有する電気接続、可搬型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、可搬型コンパクトディスク読み出し専用メモリ(CD−ROM)、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含むことになる。本文書の文脈で、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによってまたはそれに関連して使用するためのプログラムを収容または記憶することができる任意の有形媒体であるとすることができる。
コンピュータ可読信号媒体は、例えばベースバンドのまたは搬送波の一部としての、その中で具現されたコンピュータ可読プログラムコードを有する伝搬データ信号を含むことができる。そのような伝搬信号は、限定はしないが、電磁、光、またはその任意の適切な組み合わせを含む種々の形態の任意の形態をとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによってまたはそれに関連して使用するためのプログラムを、通信、伝搬、または輸送することができる任意のコンピュータ媒体であるとすることができる。
コンピュータ可読媒体上で具現化されるプログラムコードは、限定はしないが、無線、有線、光ファイバケーブル、RFなど、または上記の任意の適切な組み合わせを含む任意の適切な媒体を使用して伝送することができる。本発明の態様についての動作を実施するためのコンピュータプログラムコードは、1つまたは複数のプログラミング言語の任意の組み合わせで書くことができ、プログラミング言語は、Java、Smalltalk、C++、または同様なものなどのオブジェクト指向プログラミング言語、および、「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、ユーザーのコンピュータ上で完全に、ユーザーのコンピュータ上で部分的に、独立型ソフトウェアパッケージとして、ユーザーのコンピュータ上で部分的にかつリモートコンピュータ上で部分的に、あるいはリモートコンピュータまたはサーバー上で完全に実行することができる。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを通してユーザーのコンピュータに接続することができる、または、接続は、(例えば、インターネットサービスプロバイダーを使用するインターネットを通して)外部コンピュータに対して行うことができる。
本発明の態様は、本発明の実施形態による、方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロックダイヤグラムを参照して述べられる。フローチャート図および/またはブロックダイヤグラムの各ブロックならびにフローチャート図および/またはブロックダイヤグラム内のブロックの組み合わせは、コンピュータプログラム命令によって実装することができる。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータのプロセッサ、または他のプログラム可能データ処理装置に提供されて、コンピュータのプロセッサまたは他のプログラム可能データ処理装置によって実行される命令が、フローチャートおよび/またはブロックダイヤグラムの1つまたは複数のブロックで指定される機構/行為を実装するための手段を作成するような機械を生み出すことができる。
これらのコンピュータプログラム命令は同様に、コンピュータ可読媒体に記憶することができ、コンピュータプログラム命令は、コンピュータ可読媒体に記憶された命令が、フローチャートおよび/またはブロックダイヤグラムの1つまたは複数のブロックで指定される機構/行為を実装する命令を含む製造品を生み出すような特定の方法で機能するように、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに指令することができる。
コンピュータプログラム命令は同様に、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされて、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、または他のデバイス上で実施させ、それにより、コンピュータまたは他のプログラム可能データ処理装置上で実行される命令が、フローチャートおよび/またはブロックダイヤグラムの1つまたは複数のブロックで指定される機構/行為を実装するためのプロセスを提供するようなコンピュータ実装式プロセスを生み出すことができる。
図のフローチャートおよび/またはブロックダイヤグラムは、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の考えられる実装態様のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロックダイヤグラム内の各ブロックは、指定された論理機能(複数可)を実装するための1つまたは複数の実行可能命令を含む、モジュール、セグメント、または命令の所定の部分を表すことができる。幾つかの代替の実装態様において、ブロックにおいて述べる機能は、図で述べる順序から外れて起こる場合がある。例えば、連続して示す2つのブロックは、実際には、実質的に同時に実行することができる、または、ブロックは、時として、関係する機能に応じて、逆順で実行することができる。ブロックダイヤグラムおよび/またはフローチャート図の各ブロックおよびブロックダイヤグラムおよび/またはフローチャート図内のブロックの組み合わせが、指定された機能または行為を実施するあるいは専用ハードウェアおよびコンピュータ命令の組み合わせを実施する専用ハードウェアベースシステムによって実装することができることも留意されるであろう。
本発明の種々の実施形態の説明は、例示のために提示されたが、網羅的であることまたは開示する実施形態に限定されることを意図されない。多くの修正および変形が、述べる実施形態の範囲および趣旨から逸脱することなく、当業者に明らかになるであろう。例えば、矩形の機械式シャッターは、上述した種々の実施形態において例として使用された。しかしながら、シャッターは、光路内に移動する任意の形状の平坦表面、アイリス、または検出器の視線をカメラ内の均一表面に向けるミラーなどの幾つかの他の形態をとることもできる。そのため、特許請求項の範囲内に入る多くの他の変形を、当業者によって想定することができる。
本明細書で使用する用語は、実施形態の原理、実用的な用途、または市場で見出される技術に勝る技術的改善を最もよく説明するために、また、当業者が、本明細書で開示される実施形態を理解することを可能にするために選択された。

Claims (12)

  1. サーマルカメラの機能不全を検出するための方法であって、
    シャッターが画像センサ(100)を遮断するする位置にあるときに、前記サーマルカメラ内の前記画像センサ(100)によって取り込まれる第1のシャッター画像の個々のピクセルについて第1の平均応答値を決定することを含み、
    前記シャッターが前記画像センサ(100)を遮断するする位置にあるときでかつ前記第1のシャッター画像と本質的に同一の取り込み条件下で、前記サーマルカメラ内の前記画像センサ(100)によって取り込まれる第2のシャッター画像の個々のピクセルについて第2の平均応答値を決定すること、
    前記第1の平均応答値と前記第2の平均応答値を比較すること、および、
    前記第1の平均応答値および前記第2の平均応答値が所定の値より大きい値だけ異なると判定することに応答して、前記サーマルカメラの機能不全の表示を提供すること
    を特徴とする、方法。
  2. 前記表示は、前記サーマルカメラ内の画像センサ(100)の劣化の表示である、請求項1に記載の方法。
  3. 前記表示は、前記サーマルカメラ内のシャッター機能不全の表示である、請求項1に記載の方法。
  4. 前記第1のシャッター画像を取り込むことと前記第2のシャッター画像を取り込むこととの間の時間は、カメラタイプおよびセンサタイプの一方または両方に基づいて予め決定される時間である、請求項1〜3のいずれか一項に記載の方法。
  5. 前記第1のシャッター画像および前記第2のシャッター画像は、前記サーマルカメラ内の前記画像センサ(100)の測定温度に応答して取り込まれる、請求項1〜3のいずれか一項に記載の方法。
  6. 前記第1のシャッター画像の取り込み時に焦点面アレイ温度を決定すること、および、
    異なる焦点面アレイ温度で取り込まれたシャッター画像のライブラリから、類似の焦点面アレイ温度で取り込まれた前記第2のシャッター画像を取り出すこと
    をさらに含む、請求項1〜5のいずれか一項に記載の方法。
  7. 前記第1の平均応答値および前記第2の平均応答値は、全体の第1のシャッター画像および前記全体の第2のシャッター画像についてそれぞれ決定される、請求項1に記載の方法。
  8. サーマルカメラの機能不全を検出するためのシステムであって、
    メモリと、
    プロセッサとを備え、
    前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、
    シャッターが画像センサ(100)を遮断するする位置にあるときに、前記サーマルカメラ内の前記画像センサ(100)によって取り込まれる第1のシャッター画像の個々のピクセルについて第1の平均応答値を決定することを含み、
    前記シャッターが前記画像センサ(100)を遮断するする位置にあるときでかつ前記第1のシャッター画像と本質的に同一の取り込み条件下で、前記サーマルカメラ内の前記画像センサ(100)によって取り込まれる第2のシャッター画像の個々のピクセルについて第2の平均応答値を決定すること、
    前記第1の平均応答値と前記第2の平均応答値を比較すること、および、
    前記第1の平均応答値および前記第2の平均応答値が所定の値より大きい値だけ異なると判定することに応答して、前記サーマルカメラの機能不全の表示を提供すること
    を特徴とする、方法を前記プロセッサに実施させる、システム。
  9. 前記第1のシャッター画像および前記第2のシャッター画像は、前記サーマルカメラ内の前記画像センサ(100)の測定温度に応答して取り込まれる、請求項8に記載のシステム。
  10. 請求項8または9に記載のシステムを備えるサーマルカメラ。
  11. 非一時的コンピュータ可読記憶媒体であって、プログラム命令が非一時的コンピュータ可読記憶媒体によって具現化されており、前記プログラム命令は、サーマルカメラの機能不全を検出するための方法を実施するためにプロセッサによって実行可能であり、前記方法は、
    シャッターが画像センサ(100)を遮断するする位置にあるときに、前記サーマルカメラ内の前記画像センサ(100)によって取り込まれる第1のシャッター画像の個々のピクセルについて第1の平均応答値を決定することを含み、
    前記シャッターが前記画像センサ(100)を遮断するする位置にあるときでかつ前記第1のシャッター画像と本質的に同一の取り込み条件下で、前記サーマルカメラ内の前記画像センサ(100)によって取り込まれる第2のシャッター画像の個々のピクセルについて第2の平均応答値を決定すること、
    前記第1の平均応答値と前記第2の平均応答値を比較すること、および、
    前記第1の平均応答値および前記第2の平均応答値が所定の値より大きい値だけ異なると判定することに応答して、前記サーマルカメラの機能不全の表示を提供すること
    を特徴とする、非一時的コンピュータ可読記憶媒体。
  12. 前記第1のシャッター画像および前記第2のシャッター画像は、前記サーマルカメラ内の前記画像センサ(100)の測定温度に応答して取り込まれる、請求項11に記載の非一時的コンピュータ可読記憶媒体。
JP2020197654A 2019-12-05 2020-11-27 サーマル健全度モニタリングセンサ Active JP7299868B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19213800.6A EP3832538B1 (en) 2019-12-05 2019-12-05 Automatic malfunction detection in a thermal camera
EP19213800 2019-12-05

Publications (2)

Publication Number Publication Date
JP2021108112A true JP2021108112A (ja) 2021-07-29
JP7299868B2 JP7299868B2 (ja) 2023-06-28

Family

ID=68806654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020197654A Active JP7299868B2 (ja) 2019-12-05 2020-11-27 サーマル健全度モニタリングセンサ

Country Status (6)

Country Link
US (1) US11457205B2 (ja)
EP (1) EP3832538B1 (ja)
JP (1) JP7299868B2 (ja)
KR (1) KR102520798B1 (ja)
CN (1) CN112929653A (ja)
TW (1) TWI820354B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230060132A (ko) 2021-10-27 2023-05-04 한화비전 주식회사 열화상 카메라 및 열화상 카메라에서의 셔터 동작 상태 모니터링 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10142065A (ja) * 1996-11-06 1998-05-29 Mitsubishi Electric Corp 赤外線撮像装置および画像補正方法
JP2013255120A (ja) * 2012-06-07 2013-12-19 Nec Corp 撮像装置
EP3062074A1 (en) * 2015-02-27 2016-08-31 Axis AB Method and system for detecting a need for recalibrating a microbolometer, and method and system for recalibrating a microbolometer
JP2018200206A (ja) * 2017-05-26 2018-12-20 日本アビオニクス株式会社 赤外線撮影装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4020175C2 (de) 1990-06-25 1994-01-20 Waldemar Marinitsch Vorrichtung zur Failsafeprüfung einer Infrarotsensoranordnung
JP3785520B2 (ja) 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US6953932B2 (en) 1999-10-07 2005-10-11 Infrared Solutions, Inc. Microbolometer focal plane array with temperature compensated bias
JP3952989B2 (ja) 2003-04-30 2007-08-01 住友電気工業株式会社 カメラ式車両感知器の露光制御方法及び装置
US7030378B2 (en) 2003-08-05 2006-04-18 Bae Systems Information And Electronic Systems Integration, Inc. Real-time radiation sensor calibration
WO2007065259A1 (en) 2005-12-06 2007-06-14 March Networks Corporation System and method for automatic camera health monitoring
JP2007300547A (ja) 2006-05-02 2007-11-15 Megachips System Solutions Inc カメラの異常検出方法
GB0625936D0 (en) * 2006-12-28 2007-02-07 Thermoteknix Systems Ltd Correction of non-uniformity of response in sensor arrays
US8103121B2 (en) 2007-08-31 2012-01-24 Adobe Systems Incorporated Systems and methods for determination of a camera imperfection for an image
US20090273675A1 (en) * 2008-05-05 2009-11-05 Flir Systems Ab Ir camera and method for use with ir camera
TW201013172A (en) 2008-09-22 2010-04-01 Lumous Technology Co Ltd Lens testing device with variable testing patterns
JP4670943B2 (ja) * 2008-11-27 2011-04-13 ソニー株式会社 監視装置、及び妨害検知方法
US9674458B2 (en) * 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
JP5127883B2 (ja) 2010-06-04 2013-01-23 株式会社日立システムズ ネットワークカメラ異常検知及び通報方式
JP5087112B2 (ja) 2010-07-22 2012-11-28 アイテック阪急阪神株式会社 自立監視型カメラ装置
JP5241782B2 (ja) * 2010-07-30 2013-07-17 株式会社日立製作所 カメラ異常検出装置を有する監視カメラシステム
US8816280B2 (en) * 2012-03-21 2014-08-26 Analog Devices, Inc. Infrared sensor
EP2804382B1 (en) * 2013-05-15 2015-04-29 Axis AB Reliability determination of camera fault detection tests
GB2518224A (en) * 2013-09-16 2015-03-18 Selex Es Ltd Thermal imaging calibration system and method
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
US9851259B2 (en) 2014-03-26 2017-12-26 Mivalife Mobile Technology, Inc. Infrared detector
US9930324B2 (en) * 2014-08-05 2018-03-27 Seek Thermal, Inc. Time based offset correction for imaging systems
US9854188B2 (en) * 2015-12-16 2017-12-26 Google Llc Calibration of defective image sensor elements
US10867374B2 (en) 2017-02-13 2020-12-15 Sensors Unlimited, Inc. Auto-focusing system and method by determining contrast difference between adjacent pixels using sobel filter
US10591313B2 (en) 2017-09-29 2020-03-17 Intel Corporation Detecting mobile device sensor malfunctions
US11182914B2 (en) 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
US10750063B2 (en) 2018-07-19 2020-08-18 Hand Held Products, Inc. System and method for an image focusing adjustment module
EP3885725B1 (en) 2020-03-23 2022-01-12 Axis AB Method, device, and system for temperature calibration and determination of a temperature in a scene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10142065A (ja) * 1996-11-06 1998-05-29 Mitsubishi Electric Corp 赤外線撮像装置および画像補正方法
JP2013255120A (ja) * 2012-06-07 2013-12-19 Nec Corp 撮像装置
EP3062074A1 (en) * 2015-02-27 2016-08-31 Axis AB Method and system for detecting a need for recalibrating a microbolometer, and method and system for recalibrating a microbolometer
JP2018200206A (ja) * 2017-05-26 2018-12-20 日本アビオニクス株式会社 赤外線撮影装置

Also Published As

Publication number Publication date
KR20210070907A (ko) 2021-06-15
CN112929653A (zh) 2021-06-08
US11457205B2 (en) 2022-09-27
EP3832538B1 (en) 2022-05-11
US20210176457A1 (en) 2021-06-10
EP3832538A1 (en) 2021-06-09
TW202126996A (zh) 2021-07-16
KR102520798B1 (ko) 2023-04-12
JP7299868B2 (ja) 2023-06-28
TWI820354B (zh) 2023-11-01

Similar Documents

Publication Publication Date Title
US11630022B2 (en) Gas quantification systems and methods
US11218628B2 (en) Method and system for identifying light source and application thereof
US11092507B2 (en) Method of indicating gas movement in a scene
KR101906900B1 (ko) 열화상카메라를 이용한 화재감지 시스템
KR101607683B1 (ko) 다차원 화재감지시스템
US8993966B2 (en) Flame sensor integrity monitoring
JP5876347B2 (ja) 水素火炎可視化装置および方法
JP7070844B2 (ja) ガス検知システム
CN111366245B (zh) 提升红外测温对异常发热检出能力的方法
JP7299868B2 (ja) サーマル健全度モニタリングセンサ
JP2010256194A (ja) 侵入検知装置
KR101625471B1 (ko) 보급형 열화상 카메라의 해상도 향상 방법 및 장치
TWI812896B (zh) 熱像儀健康監測
KR101128022B1 (ko) 다목적 감시용 카메라
JP2011243037A (ja) 画像処理装置
JP2010262422A (ja) 赤外線異常検知装置
EP3029600A1 (en) Thermal image object detection
ES2716486A1 (es) Sistema y metodo de deteccion de gases con firma espectral en la region infrarroja
Katkovsky et al. Metrological characteristics of thermal video fire detection systems
Marked Thermal Imager Technical Guidance Document

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221220

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230616

R150 Certificate of patent or registration of utility model

Ref document number: 7299868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150