JP2020115323A - 熱カメラによって取得される画像内の変化を強調するための方法、デバイス、およびシステム - Google Patents

熱カメラによって取得される画像内の変化を強調するための方法、デバイス、およびシステム Download PDF

Info

Publication number
JP2020115323A
JP2020115323A JP2019212868A JP2019212868A JP2020115323A JP 2020115323 A JP2020115323 A JP 2020115323A JP 2019212868 A JP2019212868 A JP 2019212868A JP 2019212868 A JP2019212868 A JP 2019212868A JP 2020115323 A JP2020115323 A JP 2020115323A
Authority
JP
Japan
Prior art keywords
image
function
value
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019212868A
Other languages
English (en)
Other versions
JP6929923B2 (ja
JP2020115323A5 (ja
Inventor
トマス ウィンツェル,
Winzell Thomas
トマス ウィンツェル,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of JP2020115323A publication Critical patent/JP2020115323A/ja
Publication of JP2020115323A5 publication Critical patent/JP2020115323A5/ja
Application granted granted Critical
Publication of JP6929923B2 publication Critical patent/JP6929923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】熱カメラによって取得される画像シーケンスの画像内の変化を強調するための方法、デバイス及びシステムを提供する。【解決手段】方法は、画像シーケンスの一部である画像を受信しS02、シーケンス内の他の画像に対して変化した画像内のピクセルを識別しS04、識別ピクセルの輝度値に基づいて、画像内で変化ピクセルならびに非変化ピクセルの輝度値を再分配するために使用される関数を決定するS06。関数は、識別ピクセルの輝度値の範囲内の第1の輝度値2について最大を有し、また、第1の輝度値からの距離の増加と共に減衰する。【選択図】図3

Description

本発明は、熱画像を処理する分野に関係する。特に、本発明は、熱カメラによって取得される画像シーケンスの画像内の変化を強調するための方法、デバイス、およびシステムに関係する。
熱カメラは、今日、監視のためにしばしば使用される。熱カメラは、長い距離においてまた困難な状況下で、オブジェクトを検出すると共に分類するために使用され得る偉大な検出器であり、しばしば、可視光カメラよりずっとよい。しかしながら、可視光カメラと比較して熱カメラの解像度が全体的に低いため、この検出潜在力は、自動化動き検出システムなどの自動システムにおいて利用することが難しい。解像度が低いため、シーン内の小さいまたは遠いオブジェクトは、取得される熱画像の1つまたは少数のピクセルを覆うだけである場合がある。シーン内の動きが熱画像から検出されると、小さいまたは遠いオブジェクトは、したがって、移動オブジェクトとして検出される代わりに、容易にノイズと間違えられる場合がある。さらに、ほとんどの動き検出エンジンは、熱カメラ画像のためでなく、可視カメラ画像のために最適化される。
これらの問題は、EP3016383 A1において認識される。その文書において、画像シーケンス内の以前の画像以降に変化した画像シーケンス内の画像のピクセルを強調することが提案される。そうして、シーン内の小さいまたは遠い移動オブジェクトは、画像内でより大きいものとして現れることになる。すなわち、オブジェクトは、画像内の増加した量のピクセルを覆うであろう。したがって、ノイズと間違える可能性が少なく、移動オブジェクトとして検出される可能性が高い。
EP3016383 A1は、ピクセル値を増加させるまたはピクセル値にオフセットを付加することによって、以前のフレーム以降に変化したピクセルを強調する過度に単純化したアプローチをとる。しかしながら、熱画像シーケンスから移動オブジェクトを正しく検出する機会をさらに改善するため、熱画像シーケンス内の変化をさらにもっと強調するのに役立つ方法についての必要性が存在する。
上記を考慮して、したがって、上記問題を軽減し、熱画像シーケンス内の変化の強調をさらに改善することが本発明の目的である。
第1の態様によれば、上記目的は、熱カメラによって取得される画像シーケンスの画像内の変化を強調するための方法によって達成される。方法は、
熱カメラによって取得される画像シーケンスの一部である画像を受信すること、
画像シーケンス内の別の画像に対して変化した画像内のピクセルを、その画像を、画像シーケンス内の他の画像と比較することによって、識別すること、
識別ピクセルの輝度値に基づいて、画像内でピクセルの輝度値を再分配するための関数を決定することであって、関数は、識別ピクセルの輝度値の範囲内の第1の輝度値について最大を有し、また、第1の輝度値からの距離の増加と共に減衰し、それにより、関数は、第1の輝度値に対するよりも、範囲の外の輝度値に対してより低い値を割り当てる、決定すること、および、
決定された関数を使用することによって、他の画像に対して変化した画像内のピクセルの輝度値および他の画像に対して変化しなかった画像内のピクセルの輝度値を再分配することであって、それにより、画像内の変化を強調する、再分配することを含む。
この方法によって、シーケンス内の別の画像以降に変化したピクセルが識別される。識別ピクセルの輝度値に基づいて、画像内で輝度値を再分配するときに後で使用される関数が決定される。そうすることによって、関数は、画像内の変化ピクセルの輝度値後に調節することができ、それにより、これらの輝度値は、再分配動作を実施すると、所望の方法で、画像内で強調される。
関数は、画像内で変化ピクセルならびに非変化ピクセルの輝度値を再分配するために使用される。換言すれば、他の画像に対して変化したピクセルと他の画像に対して変化しなかったピクセルの両方の輝度値が再分配される。これは、画像内の全てのピクセル又は画像内のピクセルの少なくとも大多数を含むことができる。その形状のせいで、変化ピクセルの輝度値の範囲内の最大及び最大からの距離の増加に伴う減衰によって、関数は幾つかの目的を果たす。より具体的には、関数は、変化ピクセルのピクセル輝度に対応するピクセル輝度により高い重みを与える傾向があるだけでなく、関数は、変化ピクセルの輝度範囲内にないピクセル輝度を抑制する傾向もある。そうして、変化ピクセルの輝度範囲内の輝度値を有するピクセルとその輝度範囲の外の輝度値を有するピクセルとの間のコントラストが増加する。結果として、移動オブジェクトは、例えば、画像の処理において後で適用される動き検出を使用することによって、オリジナルの画像と比較して、強調画像内で区別し検出することが容易になるであろう。
識別ピクセルの輝度値の範囲によって、概して、識別ピクセルの最小輝度値と最大輝度値との間の輝度値の間隔が意味される。
画像内でピクセルの輝度値を再分配するための関数は、ピクセル内の輝度値を重み付け係数にマッピングする関数である。そのため、関数は、画像内でピクセルの輝度値に重み付けるための関数と同様に考えることができる。関数は、関数によって輝度値に割り当てられる重み付け係数によって、画像内の各ピクセルの輝度値を重み付けることによって、画像内の全てのピクセルの輝度値を再分配するために使用することができる。
距離の増加に伴う関数の減衰によって、関数が距離の増加と共に減少することが意味される。減少は狭義(strict)または非狭義(non−strict)であることができる。しかしながら、関数は、範囲の内部にある第1の輝度値に対するよりも、範囲の外の輝度値に対してより低い値を割り当てるため、識別ピクセルの輝度値の範囲の少なくとも一部分について距離と共に狭義単調減少する(strictly decrease)。
関数の減衰レートは、識別ピクセルの輝度値の変動に基づいて決定することができ、より高い変動はより低い減衰レートを与える。こうして、関数は、変化ピクセルの輝度値の変動に適応することができる。より具体的には、識別ピクセルの輝度値の変動に対して減衰レートがあまりにも速くなることを回避することができ、なぜならば、あまりにも速くなることが、変化ピクセルの一部が適切に強調されなくさせることになるからである。逆に、識別ピクセルの輝度値の変動に対して減衰レートがあまりにもゆっくりであることを回避することができ、なぜならば、あまりにもゆっくりであることが、変化ピクセルの輝度範囲内の輝度値を有するピクセルと、その輝度範囲の外の輝度値を有するピクセルとの間の不十分なコントラストをもたらすことになるからである。例として、識別ピクセルの輝度値がヒストグラム内の狭いピークとして現れる場合、変化ピクセルの輝度値がヒストグラム内の幅広のピークとして現れる場合と比較して、より速い減衰関数を使用することができる。
識別ピクセルの輝度値の変動は、識別ピクセルの輝度値の範囲の幅に基づいて決定することができる。代替的に、識別ピクセルの輝度値の変動は、識別ピクセルの輝度値の標準偏差に基づいて計算することができる。
関数の減衰レートは、他の画像に対して変化したと識別されない画像内のピクセルの輝度値の変動にさらに基づくことができ、他の画像に対して変化したと識別されない画像内のピクセルの輝度値のより高い変動はより低い減衰レートを与える。同様にこの場合、変動は、関心のあるピクセルの輝度値の範囲の幅または輝度値の標準偏差に基づいて計算することができる。こうして、変化ピクセルの輝度値の変動だけでなく、非変化ピクセルの輝度値の変動もまた考慮される。例えば、非変化ピクセルの輝度値の変動と変化ピクセルの輝度値の変動との間の関係は、関数の減衰レートを設定するときに考慮することができる。非変化ピクセルの輝度値の変動が、変化ピクセルの変動に対して大きい場合、例えば、より低い減衰レートを有する関数を有することが有利である場合がある。そのような状況は、少数のピクセルのみが、他の画像に対して変化したと識別されたときに起こる場合がある。こうした少数の変化ピクセル(可能である場合)から変動を推定することによって、減衰レートであって、速過ぎて、画像内の変化の適切な強調を可能にしない、減衰レートに到達することができることが見出された。非変化ピクセルの輝度値の変動を同様に考慮することによって、代わりに、より低い減衰レートを有する関数に到達し、それにより、画像内の変化の強調を改善することができる。
異なるアプローチは、決定される関数が、それについて最大を有する第1の輝度値を選択するために採用することができる。
1つのアプローチにおいて、第1の輝度値は、識別ピクセルの輝度値のモードに対応する。モードは、識別ピクセルの最も頻度の高い輝度値である。モードは、輝度値のヒストグラムから抽出することができる。
別のアプローチにおいて、第1の輝度値は、識別ピクセルの輝度値の範囲の中間点に対応する。これは、ヒストグラムの計算を必要としない、第1の輝度値を設定する単純な方法である。
さらに別のアプローチにおいて、第1の輝度値は、識別ピクセルの輝度値の平均値に対応する。これは、第1の輝度値を設定する単純な方法を同様に提供する。
さらなるアプローチは、識別ピクセルの輝度値の中央値または輝度値の分布の重心を含む。
特定の状況においてどのアプローチを選択すべきかは、例えば、識別ピクセルの輝度値の分布の形状に依存することができる。分布の形状が対称である場合、平均値で間に合う場合があり、一方、分布の形状がより複雑である場合、モードまたは範囲の中間点が好ましい場合がある。一部の場合に、その選択は、識別ピクセルの輝度値が輝度スケール上のどこに位置するかに依存することができる。例えば、変化ピクセルの輝度値の範囲が、輝度スケールの上側端に位置する場合、第1の輝度値を、変化ピクセルの輝度値の範囲の下側端になるように設定することが有益である場合があり、また、その逆も同様である。
関数は、第1の輝度値の周りに対称であることができる。これは、識別ピクセルの輝度値の分布がほぼ対称である場合に適切であることができる。
代替的に、関数は、第1の輝度値の周りに歪む(skew)ことができる。関数が歪むことによって、そのテールのうちの1つのテールが他のテールより重いことが意味される。スキュード関数(skewed function)を使用する理由は、スキュード関数が、第1の輝度より低い輝度値に比べて、第1の輝度より高い輝度値をより強調することを可能にする、または、その逆も同様であることである。
例えば、関数は、より低い輝度値の場合に比べて、より高い輝度値の場合に重いテールを有するように歪むことができる。これは、例えば、人間または動物の身体温度より冷たい環境内の人間または動物を検出することを扱う用途で使用することができる。そして、より高い輝度値についてより重いテールを有することは、背景と比較して人間に関連する輝度値をより強調することを可能にすることになる。
より温かい環境内の人間または動物が検出される逆の状況において、より重いテールを、代わりに、より低い輝度値について位置付けることができる。
実際には、例えば、熱カメラ内に位置する温度センサは、周囲温度を決定するために使用される可能性があり、歪の側は、測定される周囲温度に基づいて決定することができる。周囲温度が、関心のオブジェクトの典型的な温度より低い場合、関数の歪は、より低い輝度値の場合よりも、より高い輝度値の場合に重いテールを有するように設定することができ、また、その逆も同様である。周囲温度は、熱カメラ内のボロメータータイプの熱検出器を使用して測定することができる。
関数はパラメトリック関数であることができる。例えば、関数は、ガウス関数(対称の場合)またはスキュードガウス関数(非対称の場合)であることができる。これは、識別ピクセルの輝度値から抽出される少数のパラメータから関数を容易に決定することができる点で有利である。
画像シーケンス内の別の画像に対して変化した画像内のピクセルを識別するステップは、画像シーケンス内の他の画像の対応するピクセルの輝度値と、閾値よい大きい値だけ異なる輝度値を有する画像内のピクセルを識別することを含むことができる。閾値を適用することによって、小さくかつ取るに足らない変化(ノイズなど)を排除することができる。
第2の態様によれば、熱カメラによって取得される画像シーケンスの画像内の変化を強調するためのデバイスが提供され、デバイスは、
熱カメラによって取得される画像シーケンスの一部である画像を受信するように構成される受信器と、
画像シーケンス内の別の画像に対して変化した画像内のピクセルを、その画像を、画像シーケンス内の他の画像と比較することによって、識別するように構成される変化検出器と、
識別ピクセルの輝度値に基づいて、画像内でピクセルの輝度値を再分配するための関数を決定するように構成される再分配関数決定器であって、関数は、識別ピクセルの輝度値の範囲内の第1の輝度値について最大を有し、また、第1の輝度値からの距離の増加と共に減衰し、それにより、関数は、第1の輝度値に対するよりも、範囲の外の輝度値に対してより低い値を割り当てる、再分配関数決定器と、
決定された関数を使用することによって、他の画像に対して変化した画像内のピクセルの輝度値および他の画像に対して変化しなかった画像内のピクセルの輝度値を再分配するように構成される輝度値再分配器であって、それにより、画像内の変化を強調する、輝度値再分配器と
を備える。
第3の態様によれば、熱カメラによって取得される画像シーケンスの画像内の変化を強調するためのシステムが提供され、システムは、
画像シーケンスを取得するように構成される熱カメラと、
熱カメラによって取得される画像シーケンスの画像を受信するために配置される、第2の態様によるデバイスと
を備える。
第4の態様によれば、コンピュータ可読記憶媒体が提供され、コンピュータ可読記憶媒体は、コンピュータ可読記憶媒体上に記憶されたコンピュータコード命令を有し、コンピュータコード命令は、プロセッサによって実行されると、第1の態様の方法をプロセッサに実施させる。コンピュータ可読記憶媒体は非一時的コンピュータ可読記憶媒体であることができる。
第2、第3、および第4の態様は、概して、第1の態様と同じ特徴および利点を有することができる。本発明が、別段に明示的に述べられない限り、特徴の考えられる全ての組み合わせに関係することがさらに留意される。
本発明の、上記のならびにさらなる目的、特徴、および利点は、同じ参照数字が同様の要素のために使用される添付図面を参照して、本発明の、以下の例証的かつ非制限的な詳細な説明を通してよりよく理解される。
実施形態による熱カメラによって取得される画像シーケンス内の変化を強調するためのシステムを概略的に示す図である。 実施形態による熱カメラによって取得される画像シーケンス内の変化を強調するためのデバイスを概略的に示す図である。 実施形態による熱カメラによって取得される画像シーケンス内の変化を強調するための方法のフローチャートである。 実施形態による別の画像に対して変化した現在の画像内のピクセルを識別する方法を概略的に示す図である。 現在の画像の輝度値のヒストグラムの例を示す図である。 別の画像に対して変化した現在の画像の輝度値のヒストグラムの例を示す図である。 変化が強調された画像の輝度値のヒストグラムの例を示す図である。 実施形態による、画像内のピクセルの輝度値を再分配するために使用することができる関数の種々の例を概略的に示す図である。
本発明は、ここで、本発明の実施形態がそこで示される添付図面を参照して、以降でより完全に述べられる。
図1はシステム100を示す。システム100は、熱カメラ102によって取得される画像シーケンスの画像内の変化を強調するために使用することができる。システム100は熱カメラ102および画像強調デバイス104を備える。システム100は動き検出器106を同様に備えることができる。画像強調デバイス104は熱カメラ102の一体部分であることができる。例えば、画像強調デバイス104は、熱カメラ102の画像処理パイプライン内に一体化することができる。したがって、画像強調デバイス104は、熱カメラの分離コンポーネントである必要があるのではなく、コンポーネント、例えばプロセッサを、熱カメラの他の部分と共有することができる。代替的にまた図1に示すように、画像強調デバイス104は、熱カメラ102から離れて設けることができる。
システム100は、モニタリングまたは監視のために使用することができる。したがって、熱カメラはモニタリングカメラであることができる。システム100は、例えば、周辺監視のためなど、ほとんどの時間、静的であるシーン内の動き検出のために使用することができる。そのような目的で使用されるとき、システム100は、画像内の変化を強調することによって動き検出の性能を改善するのに役立ち、それにより、画像内の変化をより見易く、また、動き検出器106にとって検出するのをより容易にする。
熱カメラ102は、シーン内の熱差を可視化するために熱センサを利用する。当技術分野で知られているように、熱センサは、シーン内のオブジェクトによって放出される熱エネルギーを検出し、検出された熱エネルギーを電気信号に変換して、熱画像または熱ビデオ、すなわち、熱画像103のシーケンスを生成する。そのため、そのように生成される画像のピクセルの輝度値は、シーン内のオブジェクトによって放出される熱エネルギーを示し、その熱エネルギーは、次に、放出オブジェクトの温度に依存する。したがって、熱カメラ102は、熱画像103のシーケンスを提供することができ、そのシーケンス内で、人間または動物などの温かいオブジェクトは、周囲のより冷たい背景に対して目立つ、または、その逆も同様である。本発明をそのために使用することができる他のオブジェクトの例は、車またはドローンなどの異なるタイプの電動乗り物である。例として、図5aは、より冷たい背景内の人間を描写する熱画像の輝度値のヒストグラム500を概略的に示す。人間は、ヒストグラム500内のピーク502として現れる。
システム100は、熱カメラ102が完全に較正されるか否かによらず、画像シーケンス103の画像内の変化を強調することが可能である。完全に較正される熱カメラの場合、熱画像の輝度値は、温度スケールに関して較正される。これは、熱画像103の輝度値から温度を直接読み出すことができることを示唆する。
熱カメラ102は、画像強調デバイス104に熱画像103のシーケンスを提供するために配置される。画像強調デバイス104が熱カメラ102から離れている場合、熱画像103のシーケンスは、熱カメラ102からデバイス104に、ケーブルを介してまたはネットワークを通じて無線で送信することができる。画像強調デバイス104は、次に、シーケンスの画像103を処理して、画像内の変化がそこで強調される、画像の強調シーケンス105を生成する。処理の結果として、画像内の変化は、周囲背景からより明瞭に目立つように強調されるであろう。例えば、処理は、画像内で変化ピクセルと背景との間のコントラストの増加をもたらす。画像強調デバイス104は、熱カメラ102の処理チェーンまたはパイプライン内に早期に位置付けることができる。幾つかの実施形態において、画像強調デバイス104は、画像未処理データにさらに作用する。処理チェーンにおける早期において、画像データは、高空間解像度および/または高ビット解像度(ピクセル当たりのより多くのビット数)などの高解像度で、通常表される。処理チェーンにおいて後で(動き検出の前になどで)、画像データの解像度は、例えば、空間解像度および/またはビット解像度を低減することによって、ダウンスケールすることができる。早期段階で、より高い解像度で変化を強調することによって、ダウンスケールすることによって普通なら失われることになる変化も検出し強調することができる。そうして、変化の強調は、処理チェーン内で早期に行われる場合、より大きい影響を及ぼす。
一部の場合、これは、熱カメラ102によって取得される画像のシーケンス103内の移動オブジェクトの検出を改善するために利用することができる。より詳細には、画像の強調シーケンス105は、動き検出器106に入力することができる。動き検出器106は、知られている動き検出アルゴリズムを実装する、標準的で商業的に入手可能な動き検出器であることができる。動き検出器106は、熱画像を処理するように特に適合する必要はない。むしろ、しばしばそうであるように、動き検出器106は、可視光カメラによって取得される画像内の動きを検出するように設計することができる。画像内の変化が、強調画像シーケンス105内で強調されるため、代わりに、オリジナルの画像シーケンス103がその入力に提供された場合と比較して、画像内の変化は、動き検出器106にとって検出するのがより容易である。例えば、また、上述したように、熱画像内で1つまたは少数のピクセルを覆うだけであるシーン内の小さいまたは遠いオブジェクトを検出する機会が改善される。したがって、画像強調デバイス104によって実施される処理は、一部の場合に、動き検出に先立つ、熱画像のシーケンス103の前処理と見なすことができる。
他の場合に、画像内の変化の強調は、形状検出を実施することによってなどで、画像のシーケンス103内の移動オブジェクトの識別を改善するために利用することができる。したがって、システム100は、動き検出106の代わりにまたはそれに加えて、形状検出器を含むことができる。形状検出器を使用することによって、動きを検出するだけでなく、どんな種類のオブジェクトが移動しているかを識別することも可能である。
図2は、画像強調デバイス104をより詳細に示す。画像強調デバイス104は、受信器202、変化検出器204、再分配関数決定器206、および輝度値再分配器208を備える。
そのため、画像強調デバイス104は、デバイス104の機能を実装するように構成される種々のコンポーネント202、204、206、208を備える。特に、示す各コンポーネントは、デバイス104の機能に対応する。概して、デバイス104は、コンポーネント202、204、206、208、より具体的には、それらの機能を実装するように構成される回路要素(circuitry)を備えることができる。
ハードウェア実装態様において、コンポーネント202、204、206、208のそれぞれは、コンポーネントの機能を提供するために専用でありかつ特別に設計される回路要素に対応することができる。回路要素は、1つまたは複数の特定用途向け集積回路あるいは1つまたは複数のフィールドプログラマブルゲートアレイなどの1つまたは複数の集積回路の形態であることができる。例として、変化検出器204は、そのため、使用中であるときに、画像シーケンス内の別の画像に対して変化した画像内のピクセルを識別する回路要素を備えることができる。
ソフトウェア実装態様において、回路要素は、代わりに、マイクロプロセッサなどのプロセッサの形態であることができ、プロセッサは、不揮発性メモリなどの(非一時的)コンピュータ可読媒体上に記憶されたコンピュータコード命令と連携して、本明細書で開示される任意の方法をデバイス104に実施させる。不揮発性メモリの例は、読み出し専用メモリ、フラッシュメモリ、強誘電体RAM、磁気コンピュータ記憶デバイス、光ディスク、および同様なものを含む。ソフトウェアの場合、コンポーネント202、204、206、208は、そのため、それぞれ、コンピュータ可読媒体上に記憶されたコンピュータコード命令の一部分に対応することができ、コンピュータコード命令は、プロセッサによって実行されると、コンポーネントの機能をデバイス104に実施させる。
ハードウェアおよびソフトウェア実装態様の組み合わせを有することが同様に可能であり、コンポーネント202、204、206、208の一部のコンポーネントの機能がハードウェアで実装され、他のコンポーネントの機能がソフトウェアで実装されることを意味することが理解される。
熱カメラ102によって取得される画像のシーケンス103の画像内の変化を強調するときの画像強調デバイス104の動作は、ここで、図1、図2、および図3のフローチャートを参照して述べられる。
図3のステップS02にて、画像強調デバイス104の受信器202は、熱カメラ102によって取得される画像シーケンス103を受信する。画像のシーケンス103は、熱カメラ102によって取得されるときに順次受信することができる。特に、受信器202は、強調されようとしている現在の画像103aおよびシーケンス103の別の画像103bを受信する。他の画像103bは、画像シーケンス103内の現在の画像103aの以前のものであることができる、または、画像シーケンス103内の現在の画像103aより後のものであることができる。他の画像103bは、シーケンス103内の現在の画像103aに隣接することができる。例えば、他の画像103bは、シーケンス103内の現在の画像103aに対して直前の画像であることができる。しかしながら、他の画像103bは、原理上、シーケンス103内の早期のまたは後期の任意の画像であることができる。
例示するため、図4は、シーケンス103内の現在の画像103aおよび以前の画像103bを示す。以前の画像103bおよび現在の画像103aのそれぞれは、第1のオブジェクト402、第2のオブジェクト404、および背景406を描写する。例において、オブジェクト402、404は、人間として示される。第1のオブジェクト402は以前のフレーム103bと現在のフレーム103aとの間で移動しており、一方、第2のオブジェクト404は静止している。このことを示すため、以前のフレーム103b内の第1のオブジェクト402の位置は、破線で現在の画像103a内に示される。
現在の画像103aおよび他の画像103bは変化検出器204に入力される。ステップS04にて、変化検出器204は、他の画像103bに対して変化した画像103a内のピクセルを識別する。そのため、変化検出器204は、現在の画像103aを他の画像103bとピクセルごとに比較して、どのピクセルが変化しているかを調べることができる。そうして、画像103a内の変化を迅速に識別することができる。どのピクセルが変化しているかを決定するため、変化検出器204は閾値を適用することができる。以前のフレーム以降に、閾値より大きい値だけ変化した輝度値を有するピクセルを、変化したピクセルとして識別することができる。他のピクセルは変化していないピクセルとして識別される。閾値の値は、熱センサにおけるノイズの変動に応じて設定することができる。特に、熱カメラの場合、閾値は、熱カメラについてのシグナルノイズ比である、ノイズ等価温度差、NETD(:Noise Equivalent Temperature Difference)に関係することができる。例えば、センサノイズの標準偏差の2倍に等しい閾値を使用することができる。そうして、変化検出器204によって識別される画像103a内の変化のほとんどは、ノイズの結果であるのではなく、シーン内の変化に対応するであろう。
代替的にまたは付加的に、変化検出器204は、分離ピクセルまたは隣接ピクセルの小群を、識別ピクセルのセットから取り除くことができる。例えば、変化検出器204は、その群内の隣接ピクセルの数が閾値より小さい場合、ピクセルの群を、識別ピクセルのセットから取り除くことができる。そうして、識別ピクセルのセットは、各群内の隣接ピクセルの数が閾値以上である隣接ピクセルの群を含むだけである。
変化検出器204は、3つの画像など、3つ以上の画像を同様に比較することができる。連続した画像の各対の間で変化したピクセルは、変化ピクセルとして識別することができる。
変化検出器204は、現在の画像103a内のどのピクセルが他の画像103bに対して変化したかについての指示210を再分配関数決定器206に送信することができる。指示は、例えば、変化したことが見出されるピクセルについて1つの値(値「1」など)を、また、変化したことが見出されないピクセルについて別の値(値「0」など)をとるマスクの形態であることができる。
図4の例に戻ると、変化検出器204は、ステップS04にて、現在の画像103a内にあるものとしてまたは以前の画像103b内あるものとして位置決めされたときの、第1のオブジェクト402に対応する現在の画像103a内のピクセルが変化したことを見出すことになる。変化検出器204は、第2のオブジェクト404または背景406に対応する現在の画像103a内のピクセルが変化していないことをさらに見出すことになり、なぜならば、第2のオブジェクト404ならびに背景406が静止しているからである。その発見に基づいてまた図4に示すように、変化検出器204は、以前の画像以降に、どのピクセル408が変化したかについての指示210を生成することができる。変化ピクセル408は、図4において黒で示される。図4の例は、本発明の原理を示すために簡略化される。現実の状況では、第1のオブジェクト402の内部の全てのピクセルが、変化したとして識別されることになるわけではなく、なぜならば、オブジェクト402の内部のピクセルの多くが、本質的に同じ温度を有し、したがって、オブジェクトの内部のピクセルの値が、オブジェクトが移動した場合でも、本質的に同じであることになるからである。しかしながら、オブジェクト402の境界にあるほとんどのピクセルは、変化したものとして識別されることになり、なぜならば、これらのピクセルが、背景ピクセルからオブジェクトピクセルへの変化を表す、また、その逆も同様であるからである。
上記例において、変化検出器204は、他の画像103bに対して、閾値より大きい値だけ変化した現在の画像103a内の全てのピクセルを、変化ピクセルとして識別した。他の実施形態において、変化検出器204は、変化の方向を同様に考慮することができる。例えば、変化検出器204は、他の画像103bに対して、閾値より大きい値だけ増加した現在の画像103a内のピクセルを、変化ピクセルとして識別するだけである場合がある。これは、背景より暖かいオブジェクトが興味深いときに重要である場合がある。代替的に、変化検出器204は、他の画像103bに対して、閾値より大きい値だけ減少した現在の画像103a内のピクセルを、変化ピクセルとして識別するだけである場合がある。これは、背景より冷たいオブジェクトが興味深いときに重要である場合がある。
変化ピクセルを識別するときに、変化の方向(輝度値の増加または減少)を考慮することが必要でないことが見出されている。本発明は、変化した全てのピクセルが、変化の方向によらず、変化ピクセルとして識別される、図4に示す状況において依然として十分にうまく働く。これは、背景より暖かいオブジェクトが興味深いか、冷たいオブジェクトが興味深いかがわかっているときに特に有用である場合がある。これらの変化ピクセルの一部は、原理上、現在の画像103a内の背景に属することになる。しかしながら、現実には、屈折によって、オブジェクトの先鋭な輪郭が全く存在しない。これは、オブジェクトの輪郭にあるピクセルが、背景およびオブジェクトピクセルの混合であることになることを意味する。2つのフレーム間の移動が、屈折と同じ規模である(通常、各方向に、2〜3ピクセルなどの数ピクセルである)限り、変化ピクセルを識別するときに、変化の方向を考慮することは必要でない。オブジェクトの輪郭にある変化ピクセルは、いずれにしても、オブジェクトおよび背景ピクセルの混合であることになり、良好な結果を伴う場合がある。
ステップS06にて、再分配関数決定器206は、現在の画像103a内のピクセルの輝度値を再分配するときに使用することができる関数212を決定することに進む。関数212の決定は、変化検出器204によって識別される変化ピクセル408の輝度値に基づく。そうするため、再分配関数決定器206は、変化検出器204によって生成される指示210を使用して、現在の画像103aから変化ピクセル408の輝度値を抽出することができる。例えば、指示210がマスクとして提供される場合、これは、マスキング手順によって実施することができる。
図5aは、現在の画像103a内の全てのピクセルの輝度値のヒストグラム500を概略的に示す。ヒストグラム500は、現在の画像103a内のピクセルの輝度値がどのように分配されるかを示す。ヒストグラム500は、輝度スケールの下側部分に第1のピーク501を、また、輝度スケールの上側部分に第2のピーク502を有する。第1のピーク501は、シーン内の背景406によって放出される熱エネルギーに関連し、第2のピーク502は、第1のオブジェクト402および第2のオブジェクト404によって放出される熱エネルギーに関連する。そのため、これは、オブジェクト402および404が背景406より暖かい例である。しかしながら、逆である状況が存在する可能性があること、すなわち、オブジェクトが背景より冷たいことが理解される。図5bは、現在の画像103aの変化ピクセル408の輝度値のヒストグラム510を概略的に示す。ヒストグラム510は、現在の画像103a内の変化ピクセル408の輝度値がどのように分配されるかを示す。この場合、ヒストグラム510は、第1の移動オブジェクト402によって放出される熱エネルギーに主に対応する単一ピーク512を有する。ヒストグラム510から見てわかるように、変化ピクセル408の輝度値は、最小輝度値「lmin」と最大輝度値「lmax」との間の範囲514内の値をとる。
再分配関数決定器206は、概して、輝度値の分布または輝度値の特性などの、変化ピクセル408の輝度値を解析して、関数212を決定することができる。図6は、関数212がどのようなものであるかを、5つの例の関数212a、212b、212c、212d、212eによって示す。ヒストグラム510の形状は、参照だけのために、図6に同様に示される。図6は一定比例尺にしたがって描かれていない。
関数212a、212b、212c、212d、212eは、7つの特徴を共通に有する。第1に、関数は、変化ピクセル408の輝度値の範囲514内の第1の輝度値602について最大601を有する。最大601は、値1をとることができ、関数が第1の輝度値に値1を割り当てることを意味する。最大601は、上側端点「Imax」になど、その端点の一方にではなく、範囲514の内部に位置することができる。これは、範囲514が輝度スケールの上側端に近い場合に特に有利であり、なぜならば、関数212を使用して再分配されると、範囲514内の輝度が飽和するリスクが、普通なら存在するからである。関数212cおよび212eの場合、最大601は、単一の第1の輝度値についてではなく、範囲514の部分範囲内の輝度値について達成される。
第2に、関数212a、212b、212c、212d、212eは、第1の輝度値602からの距離の増加と共に減衰する。関数212a、212b、212dの場合、減衰は狭義であり、一方、関数212cおよび212eの場合、減衰は、輝度の部分範囲にわたって非狭義である。
第3に、関数212a、212b、212c、212d、212eは、第1の輝度値602に対するよりも、範囲514の外の輝度値に対してより低い値を割り当てる。関数212a、212b、212d、212eは、範囲内の各輝度値に対するよりも、範囲514の外の輝度値に対してより低い値を割り当てる。しかしながら、これは、関数212dついては当てはまらない。
関数212は、これらの共通の特徴によって設定される境界内で概して変動することができ、図6に示す例よりもっと多い例を考えることができる。例示するため、関数212は第1の輝度値602の周りに対称であることができる(関数212a、212b、212c、212e参照)、または、関数212は第1の輝度値の周りに非対称であることができる(関数212d参照)。例えば、関数212は、第1の輝度値602の周りで歪むことができる。例の関数212dで示すように、関数212は、より低い輝度値についてよりも、より高い輝度値についてより重いテールを有することができる。これは、より低い輝度に対するよりも、より高い輝度に対してより大きい強調を与えるのに役立つであろう。これは、背景より暖かいオブジェクトを画像が描写する状況において重要である場合がある。暑いサバンナの上の動物など、関心のオブジェクトが背景より冷たい、反対の状況において、テールは、代わりに、より低い輝度についてより重い場合がある。関数212は、連続(関数212a、212b、212c、212d参照)または不連続(関数212e参照)であることができる。さらに、関数212は、平滑(微分可能であるなど、関数212a、212b、212d参照)または非平滑(関数212e参照)であることができる。
上述した共通の特徴を有する関数212を決定するため、再分配関数決定器206は、パラメトリック関数を使用することができる。パラメトリック関数は、例えば、ガウス関数またはスキュードガウス関数(skewed Gaussian function)であることができる。関数212aおよび212bはガウス関数を概略的に示し、一方、関数212dはスキュードガウス関数を概略的に示す。パラメトリック関数は、パラメータのセットによって完全に規定される。再分配関数決定器206は、変化ピクセル408の分布の種々の特性に基づくなど、変化ピクセル408の輝度値に基づいて、パラメトリック関数のパラメータを決定することができる。これらの特性は、輝度値の平均、輝度値のモード、輝度値の範囲の中間点、および輝度値の変動の1つまたは複数を含むことができる。例えば、関数の最大のロケーションは、輝度値の平均、輝度値のモード、または輝度値の範囲の中間点に基づいて決定することができる。さらに、関数の幅(関数の減衰レートに逆に関連する)は、変化ピクセル408の輝度値の変動に応じて、また一部の場合、同様に、現在の画像103a内の非変化ピクセルの変動に応じて設定することができる。
例示するため、ガウス関数は、形態:
Figure 2020115323
である。ガウス関数は、3つのパラメータ:利得パラメータa、ロケーションパラメータb、および曲線の幅を左右するパラメータc(したがって、1/cは、曲線の減衰レートを左右する)を有する。利得パラメータaは、1に等しくなるように設定することができるが、これは、必要な要件ではない。
ガウス関数は、x=bの場合、その最大を有する。したがって、ロケーションパラメータbは、第1の輝度値602に対応する。再分配関数決定器206は、ロケーションパラメータbを、変化ピクセル408の輝度値のモード(すなわち、ヒストグラム510がその最大を有する輝度値)、変化ピクセル408の輝度値の平均値、および範囲514の中間点(すなわち、Imin+(Imax−Imin)/2)のうちの1つに等しくなるように設定することができる。
関数の幅、すなわち、パラメータcは、変化ピクセル408の輝度値の変動に応じて設定することができる。概して、輝度値の変動が大きければ大きいほど関数の幅は広い。変化ピクセルの輝度値の変動は、変化ピクセル408の輝度値の標準偏差から、または、変化ピクセル408の輝度値の範囲514の幅から決定することができる。例えば、再分配関数決定器206は、幅パラメータcを、或る係数dについて、c=d(Imax−Imin)として設定することができる。図6の関数212a、212bを参照すると、係数dは、関数212aについてよりも、関数212bについて大きくなるように設定される。
係数dは、固定値を有することができ、その固定値は、或る用途について適切であることを経験的に見出される。代替的に、係数dは、変化したと識別されない現在の画像103a内のピクセルについて、輝度の変動に応じて設定することができる。例えば、係数dは、非変化ピクセルの輝度値の変動に比例することができる。変動は、標準偏差を計算することによって、または、関心のある輝度値の範囲の幅を計算することによって、再び推定することができる。
図3のステップS08によれば、関数212が決定されると、輝度値再分配器208は、関数212を使用して、現在の画像103a内のピクセルの輝度値を再分配し、それにより、シーケンス105の強調画像を生成する。換言すれば、関数212は、変化ピクセル408と非変化ピクセルの両方の輝度値を再分配するために使用される。輝度値の再分配は、現在の画像103a内のピクセルの大多数に、また好ましくは、現在の画像103a内の全てのピクセルに適用される。
より詳細に、関数212は、現在の画像103a内のピクセルについて重み付け係数を計算するために使用することができる。重み付け係数は、ピクセルについて、そのピクセル内の輝度値について関数212を評価することによって計算される。シーケンス105の強調画像は、その後、ピクセル内の輝度値を、それらのピクセルの対応する重み付け係数で掛けることによって決定される。例えば、ピクセル内の輝度値をIで、また、関数212をfで表示すると、シーケンス105の強調画像内のピクセルの輝度値は、I・f(I)として計算される。
上述した関数212の特性によって、関数212は、概して、範囲514の外の輝度値に対してよりも、範囲514内の輝度値に対して、より大きい重み付け係数を割り当てるであろう。特に、より大きい重み付け係数は、背景406の輝度値に対してよりも、第1の移動オブジェクト402に対応する変化ピクセルの輝度値に対して適用されるであろう。結果として、第1のオブジェクト402と背景406との間のコントラストは増加する。特に、同様に、第2のオブジェクト404(第1のオブジェクト402と同様に人間である)は、背景406より大きい重み付け係数を与えられることになり、なぜならば、その輝度値が、通常、範囲514内にあるからである。
したがって、関数212を適用する効果は、画像内の輝度値が再分配されることである。換言すれば、輝度値の分布が、第1の分布から第2の分布に変更される。これは、図5aおよび図5cにさらに例示される。図5aは現在の画像103aのヒストグラム500を示し、一方、図5cは、シーケンス105の強調画像の、すなわち、現在の画像103a内の輝度値の再分配後のヒストグラム520を示す。図5cから、背景の輝度(ピーク521に対応する)が、オブジェクト402、404の輝度(ピーク522に対応する)からさらに分離されるように、より低い輝度に向かってシフトされることが見られる。
上記の例において、シーン内に1つのタイプのオブジェクトのみ、すなわち人間402および404が存在した。用途に応じて、シーン内に幾つかのタイプのオブジェクトが存在することができる。異なるタイプのオブジェクトは、異なる温度に関連することができ、したがって、輝度値のヒストグラム内の異なるピークとして現れることができる。特に、変化ピクセルの輝度値に関連してヒストグラム内の幾つかの別個のピークが存在することができる。換言すれば、ヒストグラムはマルチモードであることができる。そのような状況において、ヒストグラム内の異なるピークを、互いに別個に考えることができる。より詳細に、関数は、上記で説明したように、ヒストグラム内の各ピークについて決定することができる。そのため、各関数は、ピークのうちの1つのピークに関連する範囲内の輝度についての最大を有し、その距離からの距離が増加すると共に減衰し、それにより、関数は、それについて最大に達する輝度に対してよりも、範囲の外の輝度値に対してより低い値を割り当てる。異なるピークは、互いに対して異なる重み付け係数を与えられることができる。重みの間の関係は、例えば、ピークの間の強度比を表すことができる。異なる重みは、上述した利得パラメータaが異なるピークについて異なることを可能にすることによって実装することができる。決定された関数は、その後、例えば、各輝度値について関数の最大をとることによって、単一関数に統合することができる。複数の関数を単一関数に統合するための他のオプションが存在することが理解される。これは、関数がオーバラップする場合に輝度値について関数の平均値をとること、変化ピクセルに対応する輝度値について関数の最大をとること、および、非変化ピクセルに対応する輝度値について関数の最小をとることを含む。単一関数が、その後、使用されて、上記にしたがって画像内の全てのピクセルの輝度値を再分配することができる。
当業者が、上述した実施形態を多くの方法で修正し、上記実施形態において示す本発明の利点を依然として使用することができることが認識されるであろう。したがって、本発明は、示す実施形態に限定されるべきではなく、添付特許請求項によって規定されるだけであるべきである。さらに、当業者が理解するように、示す実施形態を組み合わすことができる。

Claims (15)

  1. 熱カメラ(102)によって取得される画像シーケンス(103)の画像(103a)内の変化を強調するための方法であって、
    熱カメラ(102)によって取得される画像シーケンス(103)の一部である画像(103a)を受信する(S02)こと、
    前記画像シーケンス(103)内の別の画像(103b)に対して変化した前記画像(103a)内のピクセル(408)を、前記画像シーケンス(103)内の前記他の画像(103b)と前記画像(103a)を比較することによって、識別する(S04)こと、
    前記識別ピクセル(408)の輝度値に基づいて、前記画像(103a)内でピクセルの輝度値を再分配するための関数(212,212a,212b,212c,212d,212e)を決定する(S06)ことであって、前記関数(212,212a,212b,212c,212d,212e)は、前記識別ピクセル(408)の輝度値の範囲(514)内の第1の輝度値(602)について最大を有し、また、前記第1の輝度値(602)からの距離の増加と共に減衰し、前記関数は、前記第1の輝度値(602)に対するよりも、前記範囲(514)の外の輝度値に対してより低い値を割り当てる、決定する(S06)こと、および、
    前記決定された関数(212,212a,212b,212c,212d,212e)を使用することによって、前記他の画像(103b)に対して変化した前記画像(103a)内のピクセルの輝度値および前記他の画像(103b)に対して変化しなかった前記画像(103a)内のピクセルの輝度値を再分配する(S08)ことであって、前記画像(103a)内の変化を強調する、再分配する(S08)こと
    を含む、方法。
  2. 前記関数(212,212a,212b,212c,212d,212e)の減衰レートは、前記識別ピクセル(408)の前記輝度値の変動に基づいて決定され、より高い変動はより低い減衰レートを与える、請求項1に記載の方法。
  3. 前記識別ピクセル(408)の輝度値の前記変動は、前記識別ピクセル(408)の輝度値の前記範囲(514)の幅に基づいて決定される、請求項2に記載の方法。
  4. 前記関数(212,212a,212b,212c,212d,212e)の前記減衰レートは、前記他の画像(103b)に対して変化したと識別されない前記画像(103a)内のピクセルの輝度値の変動にさらに基づき、前記他の画像(103b)に対して変化したと識別されない前記画像(103a)内のピクセルの輝度値のより高い変動はより低い減衰レートを与える、請求項2または3に記載の方法。
  5. 前記第1の輝度値(602)は、前記識別ピクセル(408)の輝度値のモードに対応する、請求項1から4のいずれか一項に記載の方法。
  6. 前記第1の輝度値(602)は、前記識別ピクセル(408)の輝度値の前記範囲(514)の中間点に対応する、請求項1から4のいずれか一項に記載の方法。
  7. 前記第1の輝度値(602)は、前記識別ピクセル(408)の輝度値の平均値に対応する、請求項1から4のいずれか一項に記載の方法。
  8. 前記関数(212,212a,212b,212c,212e)は、前記第1の輝度値(602)の周りに対称である、請求項1から7のいずれか一項に記載の方法。
  9. 前記関数(212,212d)は、前記第1の輝度値(602)の周りに歪む(skew)、請求項1から7のいずれか一項に記載の方法。
  10. 前記関数(212,212d)は、より低い輝度値に比べて、より高い輝度値についてより重いテールを有するように歪む、請求項9に記載の方法。
  11. 前記関数(212,212a,212b,212e)は、ガウス関数またはスキュードガウス関数である、請求項1から10のいずれか一項に記載の方法。
  12. 前記画像シーケンス(103)内の別の画像(103b)に対して変化した前記画像(103a)内のピクセルを識別する(S04)ステップは、前記画像シーケンス(103)内の前記他の画像(103b)の対応するピクセルの輝度値と、閾値より大きい値だけ異なる輝度値を有する前記画像(103a)内のピクセルを識別することを含む、請求項1から11のいずれか一項に記載の方法。
  13. 熱カメラ(102)によって取得される画像シーケンス(103)の画像(103a)内の変化を強調するためのデバイス(104)であって、
    熱カメラ(102)によって取得される画像シーケンス(103)の一部である画像(103a)を受信するように構成される受信器(202)と、
    前記画像シーケンス(103)内の別の画像(103b)に対して変化した前記画像(103a)内のピクセル(408)を、前記画像シーケンス(103)内の前記他の画像(103b)と前記画像(103a)を比較することによって、識別するように構成される変化検出器(204)と、
    前記識別ピクセル(408)の輝度値に基づいて、前記画像(103a)内でピクセルの輝度値を再分配するための関数(212,212a,212b,212c,212d,212e)を決定するように構成される再分配関数決定器(206)であって、前記関数(212,212a,212b,212c,212d,212e)は、前記識別ピクセル(408)の輝度値の範囲(514)内の第1の輝度値(602)について最大を有し、また、前記第1の輝度値(602)からの距離の増加と共に減衰し、前記関数は、前記第1の輝度値(602)に対するよりも、前記範囲(514)の外の輝度値に対してより低い値を割り当てる、再分配関数決定器(206)と、
    前記決定された関数(212,212a,212b,212c,212d,212e)を使用することによって、前記他の画像(103b)に対して変化した前記画像(103a)内のピクセルの輝度値および前記他の画像(103b)に対して変化しなかった前記画像(103a)内のピクセルの輝度値を再分配するように構成される輝度値再分配器(208)であって、前記画像(103a)内の変化を強調する、輝度値再分配器(208)と
    を備える、デバイス(104)。
  14. 熱カメラ(102)によって取得される画像シーケンス(103)の画像(103a)内の変化を強調するためのシステム(100)であって、
    画像シーケンス(103)を取得するように構成される熱カメラ(102)と、
    前記熱カメラ(102)によって取得される前記画像シーケンス(103)の画像(103a,103b)を受信するために配置される、請求項13に記載のデバイス(104)と
    を備える、システム(100)。
  15. コンピュータ可読記憶媒体であって、コンピュータ可読記憶媒体上に記憶されたコンピュータコード命令を有し、前記コンピュータコード命令は、プロセッサによって実行されると、請求項1から12のいずれか一項に記載の方法を前記プロセッサに実施させる、コンピュータ可読記憶媒体。
JP2019212868A 2018-12-18 2019-11-26 熱カメラによって取得される画像内の変化を強調するための方法、デバイス、およびシステム Active JP6929923B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18213427.0 2018-12-18
EP18213427.0A EP3671625B1 (en) 2018-12-18 2018-12-18 Method, device, and system for enhancing changes in an image captured by a thermal camera

Publications (3)

Publication Number Publication Date
JP2020115323A true JP2020115323A (ja) 2020-07-30
JP2020115323A5 JP2020115323A5 (ja) 2021-03-25
JP6929923B2 JP6929923B2 (ja) 2021-09-01

Family

ID=64744635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212868A Active JP6929923B2 (ja) 2018-12-18 2019-11-26 熱カメラによって取得される画像内の変化を強調するための方法、デバイス、およびシステム

Country Status (6)

Country Link
US (1) US10789688B2 (ja)
EP (1) EP3671625B1 (ja)
JP (1) JP6929923B2 (ja)
KR (1) KR102206815B1 (ja)
CN (1) CN111339817B (ja)
TW (1) TWI751460B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4361940A1 (en) * 2022-10-31 2024-05-01 Axis AB A method and a device for reducing a dynamic range of an image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879632A (ja) * 1994-08-30 1996-03-22 Mitsubishi Electric Corp 赤外線撮像装置
WO2011074413A1 (ja) * 2009-12-14 2011-06-23 日本電気株式会社 画像生成装置、画像生成方法、画像生成プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949918A (en) 1997-05-21 1999-09-07 Sarnoff Corporation Method and apparatus for performing image enhancement
US7426314B2 (en) * 2004-07-30 2008-09-16 Hewlett-Packard Development Company, L.P. Adjusting pixels by desired gains and factors
JP2008300980A (ja) 2007-05-29 2008-12-11 Canon Inc 画像処理装置および画像処理方法
WO2013109742A1 (en) * 2012-01-18 2013-07-25 Logos Technologies, Inc. Method, device, and system for computing a spherical projection image based on two-dimensional images
JP6399999B2 (ja) * 2012-03-26 2018-10-03 マウイ イマギング,インコーポレーテッド 重み付け係数を適用することによって超音波画像の質を改善するためのシステム及び方法
CN105009568B (zh) 2012-12-21 2018-12-18 菲力尔系统公司 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质
JP5811228B2 (ja) 2013-06-24 2015-11-11 大日本印刷株式会社 画像処理装置、表示装置並びに画像処理方法及び画像処理用プログラム
US20150009355A1 (en) 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
EP3016383B1 (en) * 2014-11-03 2017-06-21 Axis AB Method, device, and system for pre-processing a video stream for subsequent motion detection processing
US9947086B2 (en) * 2014-12-02 2018-04-17 Seek Thermal, Inc. Image adjustment based on locally flat scenes
EP3046319A1 (en) 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
EP3142355B1 (en) * 2015-09-08 2017-10-25 Axis AB Method and apparatus for enhancing local contrast in a thermal image
CN106296618A (zh) * 2016-09-19 2017-01-04 河南工业大学 一种基于高斯函数加权直方图规定化的彩色图像去雾方法
CN108376391B (zh) * 2018-01-29 2022-04-05 江苏宇特光电科技股份有限公司 一种智能化红外图像场景增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879632A (ja) * 1994-08-30 1996-03-22 Mitsubishi Electric Corp 赤外線撮像装置
WO2011074413A1 (ja) * 2009-12-14 2011-06-23 日本電気株式会社 画像生成装置、画像生成方法、画像生成プログラム

Also Published As

Publication number Publication date
EP3671625B1 (en) 2020-11-25
KR102206815B1 (ko) 2021-01-22
JP6929923B2 (ja) 2021-09-01
US20200193574A1 (en) 2020-06-18
EP3671625A1 (en) 2020-06-24
KR20200075734A (ko) 2020-06-26
TW202038186A (zh) 2020-10-16
CN111339817B (zh) 2021-07-20
US10789688B2 (en) 2020-09-29
TWI751460B (zh) 2022-01-01
CN111339817A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN105404884B (zh) 图像分析方法
JPH07302328A (ja) 背景差分による動物体領域抽出方法
EP3016383B1 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
US20180225522A1 (en) Ir or thermal image enhancement method based on background information for video analysis
JP6520919B2 (ja) 画像補正装置、画像補正方法およびプログラム
TW201702600A (zh) 球狀體之旋轉之測定裝置、測定方法以及程式
RU2615063C2 (ru) Способ и устройство для обнаружения движущихся объектов в последовательности видеоизображений
TWI624806B (zh) 物體追蹤裝置及物體追蹤方法
US10250809B2 (en) Video stabilization system and method
WO2013102797A1 (en) System and method for detecting targets in maritime surveillance applications
JP6929923B2 (ja) 熱カメラによって取得される画像内の変化を強調するための方法、デバイス、およびシステム
JP7163049B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20150029230A1 (en) System and method for estimating target size
CN111460944B (zh) 一种基于热成像的活体识别方法、装置、设备及存储介质
Srikantha et al. An SVD-based approach for ghost detection and removal in high dynamic range images
US20180150966A1 (en) System and method for estimating object size
Patel et al. Illumination invariant moving object detection
Nagelli et al. Blurred image enhancement using contrast stretching, local edge detection and blind deconvolution
WO2017153410A1 (en) Method for generating a noise-reduced image based on a noise model of multiple images, as well as camera system and motor vehicle
Hong et al. A blur estimation and detection method for out-of-focus images
Rabha Background modelling by codebook technique for automated video surveillance with shadow removal
JP5818571B2 (ja) 撮像装置、その制御方法、および制御プログラム
TWI844554B (zh) 過濾熱影像資料之方法及系統
Gong et al. A new destriping method combining moment matching and interpolation in infrared images
EP4258654A1 (en) Method and device for acquiring an image, software and image signal processing device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210208

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210811

R150 Certificate of patent or registration of utility model

Ref document number: 6929923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150