JP2013093849A - 赤外線サーモグラムのデジタル信号処理システム及び方法 - Google Patents

赤外線サーモグラムのデジタル信号処理システム及び方法 Download PDF

Info

Publication number
JP2013093849A
JP2013093849A JP2012234088A JP2012234088A JP2013093849A JP 2013093849 A JP2013093849 A JP 2013093849A JP 2012234088 A JP2012234088 A JP 2012234088A JP 2012234088 A JP2012234088 A JP 2012234088A JP 2013093849 A JP2013093849 A JP 2013093849A
Authority
JP
Japan
Prior art keywords
gradation
image
pixels
histogram
gradation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012234088A
Other languages
English (en)
Other versions
JP5396527B2 (ja
Inventor
▲呉継▼平
Jiping Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou SAT Infrared Technology Co Ltd
Original Assignee
Guangzhou SAT Infrared Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou SAT Infrared Technology Co Ltd filed Critical Guangzhou SAT Infrared Technology Co Ltd
Publication of JP2013093849A publication Critical patent/JP2013093849A/ja
Application granted granted Critical
Publication of JP5396527B2 publication Critical patent/JP5396527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)

Abstract

【課題】良好なシーンへの適応性を有する赤外線サーモグラムを提供する。
【解決手段】FPGAチップを含み、FPGAチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、画像処理モジュールと接続され、フレームの有効走査期間において、画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールとを含む。
【選択図】図1

Description

本発明は、赤外線サーモグラフィの技術分野に関し、特に、赤外線サーモグラムのデジタル信号処理(FPGAにより実現)などの技術に関する。
現在、多くの赤外線サーモグラフィシステムにおいて、赤外線検出器から出力されるアナログ信号は、前置A/D変換により14bitのデジタル信号に変換されてから、デジタル信号処理モジュールに入力されて8bitの階調信号に変換され、さらに、ビデオデコーダーモジュールにより標準テレビ信号に変換されてからモニターに出力される。
デジタル信号処理モジュールは、ハイビット・ハイダイナミックレンジの入力信号を人間の視覚特性に適した256階調レベルの階調信号に変換するために、デジタル信号の圧縮/伸張、オーバーフロー/カットオフ処理、及び輝度のオフセット/ゲイン調整などの操作をリアルタイム且つ速やかに行う必要がある。これにより、ハイビット・ハイダイナミックレンジの入力信号を人間の視覚特性に適した画像信号に変換することができる。
従来技術1においては、隣り合うフレームの画像の間で通常連続性を有する特性に基づいて、前のフレームの画像における各画素のAD値(デジタル化エネルギー値、すなわち、取得されたアナログ画像に対してA/D変換を行うことにより得られる16ビットの信号)の相加平均値を、現フレームの画像の輝度のオフセットの参照とする。
従来技術2はヒストグラムによる統計に基づく画像均等化技術であり、当該従来技術2においては、前のフレームの画像にける階調レベルごとの画素の数を統計することで分布曲線を取得し、出力するときには、画素の数がゼロである階調レベル或いは画素の数の少ない階調レベルを圧縮するとともに、画素の数の多い階調レベルを伸張することにより、画像の強調を実現するようにしている。
なお、本出願人は、本願発明と関連する先行技術文献を検索したが、発見することができなかった。
しかしながら、上述の2つの従来技術のそれぞれには以下の問題点が存在する。
従来技術1において、シーン中に小面積であって平均値を遥かに上回る明るいターゲットが現れると、AD値の累積和が大幅に増加して、現フレームの画像の輝度の低下が比較的激しくなるため、他の大面積のターゲットが完全に暗くなる場合もあり、ターゲットの観察に影響を与えてしまう。
従来技術2において、画像が強調されると同時に、バックグラウンド及びノイズも強調されるため、一部の画素の数の少ない「キーポイントになるターゲット」が埋没されたり、ターゲットのエッジ画素まで合併されたりして、画像の細部を失う恐れがある。
本発明は、シーンに大きい変化が発生する場合、赤外線サーモグラフィの適応性の不良により、ターゲットの観察に影響を与えてしまう問題を解決するためになされたものである。
具体的に、本発明は、従来技術1と従来技術2との存在する問題点を解消するために、従来技術1と従来技術2の両者の利点を同時に有し、シーンへの良好な適応性を有する赤外線サーモグラムのデジタル信号処理システム及び方法を提供する。本発明によれば、前のフレームの画像のレベルの異なるAD値に対して個別重み累計処理を行うことにより、画像全体の輝度が、部分的に明るすぎるターゲットや暗すぎるターゲットの影響を受けないように確保することができるとともに、同時に、ヒストグラム統計技術を使用して、線形範囲を超えた明るいターゲットや暗いターゲットの階調値をオフセットさせ、線形範囲内まで圧縮することにより、明るいターゲットや暗いターゲットの細部を確保することができる。
以上の目的を達成するために、本発明は、赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対し処理を行うFPGAチップ、を含む赤外線サーモグラムのデジタル信号処理システムを提供する。ここで、前記FPGAチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールとを含む。
本発明の実施例において、前記画像処理モジュールが前記初期ヒストグラムのデータに対して行う個別重み累計処理は、数が総画素数の2%を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を最大階調値Xmaxとするステップと、数が総画素数の2%を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を最小階調値Xminとするステップと、階調値がXmaxより大きい全ての画素の階調値を255に圧縮し、階調値がXminより小さい全ての画素の階調値を0に圧縮するステップとを含む。
本発明の実施例において、前記無効走査期間において、前記画像処理モジュールは、重み関数y(X)を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、前記重み関数y(X)の算出には、前記初期ヒストグラムの分布曲線の関数h(Xn)のメインピークの最大値h(X0)、即ちh(X0)=MAX[h(Xn)]を決定するステップと、h(Xn)の振幅が前記メインピークから減少して当該メインピーク値の1/√2になる時点の階調値同士の差であるXbw1−Xbw2を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数h(Xk)を、h(Xk)の前記バンド幅Xbw1−Xbw2の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と類似する曲線波形を有し、かつ、h(Xk)の当該バンド幅Xbw1−Xbw2の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と略等しくなるように、取得するステップと、前記重み関数y(X)及び前記初期ヒストグラムの分布曲線の関数h(Xn)と前記ターゲットのヒストグラムの分布曲線の関数h(Xk)との間で成り立つ関係式h(Xk)=h(Xn)*y(X)(但し、Xnは初期画像の1画素の階調値、h(Xn)は当該階調値に対応する画素の数であり、Xkはターゲットのヒストグラムにおける1画素の階調値、h(Xk)は当該階調値に対応する画素の数であり、Xは重み関数y(X)の、Xkに対応する定義域、y(X)は当該重み関数の値域を示す)により、重み関数y(X)を算出するステップとを含む。
本発明の実施例において、前記画像出力モジュールにより行われる多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップとを含む。
本発明の実施例において、前記FPGAチップは、さらに、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行うように、前記画像処理モジュールと前記画像出力モジュールを制御するための同期/制御モジュールを含む。
本発明の実施例において、前記FPGAチップは、さらに、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのDPRAMを含む。
本発明の実施例において、無効走査期間において、前記画像処理モジュールは、前記現フレームの画像の初期ヒストグラムのデータに対する上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する。
本発明の実施例において、無効走査期間において、前記画像処理モジュールは、階調変換処理を完了した後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する。
本発明の実施例において、前記画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、表示のために、デコード処理後のビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに出力する。
上述の目的を達成するために、本発明は赤外線サーモグラムのデジタル信号処理方法を提供する。当該赤外線サーモグラムのデジタル信号処理方法は、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送するステップと、フレームの有効走査期間において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力するステップとを含む。
本発明の実施例において、前記初期ヒストグラムのデータに対して行われる個別重み累計処理は、数が総画素数の2%を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を最大階調値Xmaxとするステップと、数が総画素数の2%を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を最小階調値Xminとするステップと、階調値がXmaxより大きい全ての画素の階調値を255に圧縮し、階調値がXminより小さい全ての画素の階調値を0に圧縮するステップとを含む。
本発明の実施例において、無効走査期間において、個別重み累計処理完了後、重み関数y(X)を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、前記重み関数y(X)の算出には、前記初期ヒストグラムの分布曲線の関数h(Xn)のメインピークの最大値h(X0)、即ちh(X0)=MAX[h(Xn)]を決定するステップと、h(Xn)の振幅が前記メインピークから減少して当該メインピーク値の1/√2になる時点の階調値同士の差であるXbw1−Xbw2を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数h(Xk)を、h(Xk)の前記バンド幅Xbw1−Xbw2の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と類似する曲線波形を有し、かつ、h(Xk)の当該バンド幅Xbw1−Xbw2の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と略等しくなるように、取得するステップと、前記重み関数y(X)及び前記初期ヒストグラムの分布曲線の関数h(Xn)と前記ターゲットのヒストグラムの分布曲線の関数h(Xk)との間で成り立つ関係式h(Xk)=h(Xn)*y(X)(但し、Xnは初期画像の1画素の階調値、h(Xn)は当該階調値に対応する画素の数であり、Xkはターゲットのヒストグラムにおける1画素の階調値、h(Xk)は当該階調値に対応する画素の数であり、Xは重み関数y(X)の、Xkに対応する定義域、y(X)は当該重み関数の値域を示す)により、重み関数y(X)を算出するステップとを含む。
本発明の実施例において、前記多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップとを含む。
本発明の実施例において、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行う。
本発明の実施例において、赤外線サーモグラムのデジタル信号処理方法は、さらに、無効走査期間において、前記個別重み累計処理を行う前に、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値に基づき現フレームの画像の初期ヒストグラムの分布曲線を取得するステップを含む。
本発明の実施例において、無効走査期間において、上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する。
本発明の実施例において、無効走査期間において、重み付け処理後のヒストグラムに対する階調変換処理が完了後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する。
本発明の実施例において、赤外線サーモグラムのデジタル信号処理方法は、さらに、出力された多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データに対して、表示のためにビデオデータのデコード処理を行うステップを含む。
本発明によれば、画像のコントラストを強調することができるとともに、S/N比(信号対雑音比)を有効に向上させることができるため、ターゲット画像の細部が一層明瞭になり、異なるシーンへの適応性を向上させることができる。
具体的に、本発明は以下の利点を有する。
1.コントラストの低い赤外線画像において、当該赤外線画像のヒストグラム分布が集中し、通常、メインピークと対応る階調レベルは画像のバックグラウンドに該当する。特に、ターゲットが小さい場合、このような分布がより著しくなる。重み付け処理は、当該メインピークを平滑化することができ、その後のヒストグラム均等化処理に余裕を持たせることが可能である。
2.メジアンフィルタ処理は、ヒストグラム均等化処理により発生されたバックグラウンド・ノイズを効果的に除去することが可能である。
3.画像全体の輝度を適切且つ安定的なレベルに保持することができ、シーンへの適応性を向上させることが可能である。
4.明るすぎるターゲットの階調値に対して多段折れ線式のオフセット処理を施すことで、画像の一部分のみの飽和を避けることが可能である。
図1は、本発明の実施例に係る赤外線サーモグラムのデジタル信号処理システムの原理を示すブロック図である。 図2は、本発明の実施例に係る赤外線サーモグラムのデジタル信号処理方法のフローチャートである。 図3は、画像出力モジュールが前のフレームの画像に対して行う3段折れ線式の階調オフセット方法を模式的に示す図である。 図4Aは、現フレームの画像の初期ヒストグラムである。 図4Bは、本発明に係る赤外線サーモグラムのデジタル信号処理方法により算出された重み関数を模式的に示す図である。 図4Cは、図4Bに示す重み関数を用いて図4A中の初期ヒストグラムに対して重み付け処理を施した後のヒストグラムである。 図5Aは、表示された現フレームの赤外線サーモグラムの初期画像を模式的に示す図である。 図5Bは、図5A中の初期画像に対し伝統的なヒストグラム均等化処理を施した後の画像を模式的に示す図である。 図5Cは、図5A中の初期画像に対し本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した後の画像を模式的に示す図である。
以下、本発明に係る実施例の目的、技術案及びその利点をより一層明確にするために、図面を参照しながら、本発明に係る実施例についてさらに詳しく説明する。ここで、本発明を模式的に示す実施例及びその説明は、本発明を解釈するためのものであって、本発明に対する限定と見なしてはいけない。
前のフレームの画像における各画素のAD値の相加平均値を現フレームの画像の輝度オフセットの参照とする方法、及びヒストグラム均等化は、画像処理中の一般的な手法であり、特に、ヒストグラム均等化は、今のところ、画像強調のために用いられる最も重要な手段の1つである。均等化は、その効果が特に可視光領域の画像に対して著しいが、赤外線画像それ自体の特徴(バックグラウンドにより占められる階調レベルが大きく、ターゲットの階調レベルが小さい)により、予備処理なしに均等化を施してしまうと、バックグラウンド・ノイズも増幅されてしまう確率が高く、さらに、均等化後に伸張されるのは画像のバックグラウンドであり、ターゲットが埋没されてしまう可能性まである。本発明のコアになる内容として、均等化に先行してヒストグラム重み付け処理を行うことにより、バックグラウンド・ノイズを抑制し、さらに、メジアンフィルタリングによりS/N(信号対雑音)比を一層向上させている。
本発明の1つの実施例において、図1に示すように、本発明の赤外線サーモグラムのデジタル信号処理システムは、赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対して処理を行うためのFPGAチップを含んで構成されても良い。当該FPGAチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールと、信号処理時系列上の異なるタイミングでそれぞれ前記個別重み累計処理と多段折れ線式の階調オフセット処理を行うように前記画像処理モジュールと前記画像出力モジュールを制御するための同期/制御モジュールと、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのDPRAM(Dual Port RAM)とを含む。
画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを、前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、デコードされたビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに伝送して表示する。
図2は、本実施例に係る赤外線サーモグラムのデジタル信号処理方法のフローチャートである。
図2に示すように、本発明の1つの実施例によれば、本発明の赤外線サーモグラムのデジタル信号処理方法は、主に、フレームの有効走査処理とフレームの無効走査処理の2つの処理ステップを含む。
フレームの無効走査処理において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査ステップで処理された前のフレームの画像の階調データを前記画像出力モジュールに伝送し、
フレームの有効走査処理において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する。
具体的に、有効走査処理と無効走査処理は、通常以下の内容を含む。
1.フレームの有効走査処理の期間において、システムは、前のフレームの画像の階調データを出力して表示するイベントと、現フレームの画像の階調データを統計するイベントとを同時に実行する。
1)前のフレームの画像のデータを出力するイベントにおいて、現フレームの画像の初期AD値をベースアドレスとして、ルックアップ・テーブル中から統計及び処理済みの前のフレームの画像のデータ(階調の写像値、すなわち、前のフレームの画像に対し有効走査処理及び無効走査処理を行った後、最終的にルックアップ・テーブル中に格納されたメジアンフィルタ処理後のヒストグラムデータ)を探し出してFPGA内部の画像出力モジュールに出力し,当該画像出力モジュールにより多段折れ線式の階調オフセット処理を行うことにより、画像の暗すぎ及び明るすぎを防ぐことができる。
多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段(セグメント)に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップを含む。
例えば、本発明の1つの実施例として、図3には画像出力モジュールが前のフレームの画像に対して行う3段折れ線式の階調オフセット方法が示されている。ここで、x軸は、前のフレームの画像の全ての画素の階調値の階調空間を示し、y軸は、階調オフセット処理後の階調値を示す。階調オフセット処理を行うとき、前のフレームの画像の階調空間を例え三つの段に分割し、各段ごとに該当する傾き(当該傾きは階調オフセット係数を示す。通常、低階調レベルの段に対応する階調オフセット係数は1より大きく、中間階調レベルに対応する段に対してはオフセットを行わず(すなわち、中間階調レベルの段に対応する階調オフセット係数は1であり、高階調レベルの段に対応する階調オフセット係数は1より小さい)を掛け算すればよく、最終的に、オフセットされた階調データをFPGAチップの外部に設けられたビデオデコーダーモジュールに出力して表示する。
本発明に係る多段折れ線式の階調オフセット処理は、上述の実施例に限定されるものではなく、前のフレームの画像の階調空間の分割の段数及び各段に対応する折れ線の傾きの大きさは、初期画像とターゲット画像(つまり、処理済みの画像)の表示品質に基づいて適宜に調整することができる。
2)現フレームの画像のデータを統計するイベントにおいて、FPGAは、内蔵のDPRAMを介して赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信し、現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値から現フレームの画像の初期画像のヒストグラム分布(以降、初期ヒストグラムという)を取得してから、当該初期画像のヒストグラムにおけるレベルの異なるAD値に対し個別重み累計処理を行う。前記個別重み累計処理は、下記の3つのステップを含む。
(1)例えば、数が総画素数の2%(当該パーセンテージは、表示される画像の品質により適宜に変更可能)を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とする。すなわち、ヒストグラムにおいて、階調値の大きい順で、最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を探し出そうとする最大階調値Xmaxとする。
(2)例えば、数が総画素数の2%(当該パーセンテージは、表示される画像の品質により適宜に変更可能)を占める、最小階調値を有する画素の中から最大階調値を探し出して全ての画素の最小階調値とする。すなわち、ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の階調値を探し出そうとする最小階調値Xminとする。
(3)階調値がXmaxより大きい全ての画素の階調値を255に圧縮し、階調値がXminより小さい全ての画素の階調値を0に圧縮する(画像階調の計量化レベルが8bitであるとする)。
2.無効走査処理期間内に、システムは以下の処理を行う。
1)無効走査処理の第1段階において、個別重み累計処理後のヒストグラムの分布曲線に基づいて、重み関数を算出する。
個別重み累計処理完了後、重み関数y(X)を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得することができる。図4A〜図4Cを参照すると、図4Aは、現フレームの画像の初期ヒストグラムであり、図4Bは、本発明に係る赤外線サーモグラムのデジタル信号処理方法により算出された重み関数を模式的に示す図であり、図4Cは、図4Bに示す重み関数を用いて図4A中の初期ヒストグラムに対して重み付け処理を施した後のヒストグラムである。
ここで、前記重み関数y(X)の算出には、以下のステップを含まれる。
前記初期ヒストグラムの分布曲線の関数h(Xn)のメインピークの最大値h(X0)、すなわちh(X0)=MAX[h(Xn)]を決定し、
h(Xn)の振幅が前記メインピークから減少して当該メインピーク値の1/√2になる時点の階調値同士の差であるXbw1−Xbw2(Xbw1>Xbw2)を、当該メインピークに対する平滑処理のバンド幅として決定し、
所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数h(Xk)を、h(Xk)の前記バンド幅Xbw1−Xbw2の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と類似する曲線波形を有し、かつ、h(Xk)の当該バンド幅Xbw1−Xbw2の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と略等しくなるように取得し、
前記重み関数y(X)及び前記初期ヒストグラムの分布曲線の関数h(Xn)と前記ターゲットのヒストグラムの分布曲線の関数h(Xk)との間では、以下の関係式が成り立つ。
h(Xk)=h(Xn)*y(X)
但し、図4Aに示すように、Xnは初期画像に含まれる階調値、h(Xn)は同一の階調値を有する画素の数であり、図4Bに示すように、Xは初期画像中の階調値に対応する階調値,yは同一の階調値を有する画素の重み関数値であり、言い換えると、XはXk及びXnに対応する重み関数の定義域を示し、y(X)は当該重み関数の値域を示し、図4Cに示すように、Xkは重み付け処理後の画像に含まれる階調値である。図面から、XkとXnとは基本的に対応付けられており、yは同一の階調値を有する画素の数であることがわかる。
実験により明らかになったように、通常、前記バンド幅Xbw1−Xbw2の範囲内において、赤外線画像の初期ヒストグラムのメインピークが指数分布を示しているため、当該バンド幅範囲内の重み関数y(X)も必ず指数分布を示すようになる。また、当該バンド幅Xbw1−Xbw2範囲外において、h(Xk)がh(Xn)と略等しいため、図4Bに示すように、y(X)は略1である。
2)無効走査処理の第2段階において、重み関数を用いて初期ヒストグラムのデータに対して重み付け処理(注意すべきことは、ここでのヒストグラムに対する重み付け処理と上記の個別重み累計処理とは同様の処理ではない)を行う。ユーザは、いずれのフレームの画像に対して、その具体的なシーン中のターゲット及び出力画像の品質の優劣に基づき、個別重み累計処理のみを行うか、それともさらにヒストグラムに対する重み付け処理を行うかを決めて、端末により制御指令を送信することで、ヒストグラムに対する重み付け処理を選択的に行うようにする。
図4Cに示すように、重み付け処理後のヒストグラムはより平滑且つ均等になる。
したがって、ヒストグラムに対する重み付け処理は、主に、初期ヒストグラムのメインピークを平滑にして、重り付け処理後のヒストグラムの分布をより均等にする役割を果たす。
3)無効走査処理の第3段階において、重み付け処理後のヒストグラムデータに対して階調変換処理を行うことにより、ヒストグラムの均等化を実現する。本発明に係る前記ヒストグラムに対する重み付け処理を実行してからヒストグラム均等化を行う方法によれば、重み付け処理を行わずに直接ヒストグラム均等化を行う伝統的な方法により発生されるバックグラウンド・ノイズの深刻程度を改善できる。
4)無効走査処理の最終段階において、均等化されたヒストグラムに対してメジアンフィルタ処理を行う。ヒストグラムに対する重み付け処理により初期ヒストグラムのメインピークがきれいに平滑化することができるが、均等化によりバックグラウンド・ノイズが再び増大される。ヒストグラム均等化処理の欠点の一つは、バックグラウンド・ノイズを増大させることであり、通常、このようなバックグラウンド・ノイズの増大は、なるべく減少させることはできるものの不可避である。均等化処理に先行して重み付け処理を行う理由は、バックグラウンド・ノイズをなるべく抑制するためであるが、バックグラウンド・ノイズの増大は依然として不可避であるため、さらにメジアンフィルタ処理を実行する必要がある。メジアンフィルタ処理は、均等化により発生され得るバックグラウンド・ノイズを除去することができる。
メジアンフィルタは、実際の効果に基づき、例えば4つの画素或いは9つの画素を選び取ってメジアンフィルタ処理をすることができ、ノイズを有効に除去することができるだけでなく、出力画面の更なる均等化を図ることができ、シーンへの適応性を向上される。
メジアンフィルタ処理後のヒストグラムデータをルックアップ・テーブルに格納すると同時に、DPRAMを空にする。
その後、次のフレームの画像があるかどうかを判断し、次のフレームの画像がある場合に、前記処理が施された現フレームの画像を前のフレームの画像とし、次のフレームの画像を現フレームの画像としてから、関連するデータに対して前記有効走査処理から前記無効走査処理までのステップを繰り返して行うようにする。
ここで、FPGAチップに備えられた同期/制御モジュールは、当該FPGAチップに備えられた画像出力モジュールと画像処理モジュールのそれぞれが信号処理時系列上の異なるタイミングで前記フレームの有効走査処理とフレームの無効走査処理を行うように制御する。さらに、本発明において、実際には、本来の信号処理時系列上に存在する隙間(処理に利用されていない時間帯)を利用して、それぞれフレームの有効走査処理及びフレームの無効走査処理に必要なデータ統計、演算及び変換を行っているため、時間資源及びFPGAチップ内部のRAM資源を無駄にすることはない。
いずれのフレームの画像に対して前記フレームの有効走査処理とフレームの無効走査処理を完了した後、赤外線サーモグラフィに設けられたビデオデコーダーモジュールは、画像出力モジュールから出力された多段折れ線式の階調オフセット処理後の当該フレーム(ここでは、現フレームの前のフレームである)の画像の階調データに対してビデオデータのデコード処理を行い、デコード処理後のデータを赤外線サーモグラフィの画像表示モジュールに表示する。
図5A〜図5Cのそれぞれには、赤外線サーモグラムの現フレームの初期画像と、当該初期画像に対して伝統的なヒストグラム均等化処理を施した後の画像と、当該初期画像に対して本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した後の画像の表示効果が実例的に示されている。
図5Aに示すように、初期画像に対し何らかの処理も施されてない場合、シーン中に高輝度のターゲットが現れると、バックグラウンドは暗くなってしまう。
図5Bに示すように、初期画像に対して伝統的なヒストグラム均等化処理を行った場合、表示される画像が有するノイズが大きく、高輝度のターゲットが飽和しやすくなる問題点がある。
図5Cに示すように、初期画像に対し本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した場合、表示される画像は、そのコントラストが強調されているだけでなく、ノイズも抑制されているため、シーンへの適応性が改善され、画像の画質も著しく向上される。
本発明は、従来技術に比べて、全体の流れにおいて以下のような効果及び利点を有する。
本発明と従来技術は、信号処理の全体の流れが類似している。しかし、本発明は、処理の際に、2つの従来技術の利点を取り入れ、本来の信号処理時系列上の隙間を利用して統計、演算及び変換などの処理を追加させることにより、時間資源及びFPGAチップ内部のRAM資源を無駄にすることがないようになり、ハードウェアシステムをアップデートせずにも、赤外線サーモグラムのシーンへの適応性を大幅に改善することができる。ヒストグラムに対する重み付け処理を取り入れた画像強調方法によれば、画像のバックグラウンドを効果的に抑制することができ、ターゲットを目立つようにすることができる。
本発明の技術的なキーポイントは以下のとおりである。
a.異なるレベルのAD値に対し個別重み累計処理を行うことで、明るすぎる画素や暗すぎる画素を除去することにより、画像全体の輝度の安定性を保持し、シーンへの適応性を向上させる。
b.多段折れ線式の階調オフセット処理により、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調オフセットを施すことで、画像全体の輝度の更なる均等化を図り、シーンへの適応性を一層向上させる。
c.ヒストグラムに対する重み付け処理及びメジアンフィルタ処理などを取り入れたヒストグラム強調方法は、画像を効果的に強調することができるだけでなく、バックグラウンド・ノイズを抑えることができ、ターゲットが目立つようにすることができる。
本発明のアルゴリズムは、通常のヒストグラム均等化アルゴリズムの欠点を克服するためになされたものであって、異なるシーンに応じて自己適応的に初期画像を強調し、画像のバックグラウンドを効果的に抑制することができ、ターゲットが目立つようにすることができる。
以上、図面を参照しながら複数の実施例を挙げて本発明を具体的に説明したが、本発明に開示された内容の原理を逸脱しない主旨及び範囲内において、当業者が各種の変更及び他の実施例に想到しえることは言うまでもない。特に、本発明の開示内容、図面及び各請求項の保護範囲内において、コンポーネント及び/または付属品の設置や組合せに対して様々な変更及び改良を行うことが可能である。コンポーネント及び/または付属品に対する変更及び改良以外の、他の選択可能な適用も、当業者にとって自明なものである。

Claims (18)

  1. 赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対し処理を行うFPGAチップ、を含む赤外線サーモグラムのデジタル信号処理システムであって、
    前記FPGAチップは、
    フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、
    前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールと、
    を含む、赤外線サーモグラムのデジタル信号処理システム。
  2. 前記画像処理モジュールが前記初期ヒストグラムのデータに対して行う個別重み累計処理は、
    数が総画素数の2%を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を最大階調値Xmaxとするステップと、
    数が総画素数の2%を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を最小階調値Xminとするステップと、
    階調値がXmaxより大きい全ての画素の階調値を255に圧縮し、階調値がXminより小さい全ての画素の階調値を0に圧縮するステップと、
    を含む、請求項1に記載の赤外線サーモグラムのデジタル信号処理システム。
  3. 前記無効走査期間において、前記画像処理モジュールは、重み関数y(X)を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、
    前記重み関数y(X)の算出には、
    前記初期ヒストグラムの分布曲線の関数h(Xn)のメインピークの最大値h(X0)、即ちh(X0)=MAX[h(Xn)]を決定するステップと、
    h(Xn)の振幅が前記メインピークから減少して当該メインピークの1/√2になる時点の階調値同士の差であるXbw1−Xbw2を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、
    所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数h(Xk)を、h(Xk)の前記バンド幅Xbw1−Xbw2の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と類似する曲線波形を有し、かつ、h(Xk)の当該バンド幅Xbw1−Xbw2の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と略等しくなるように、取得するステップと、
    前記重み関数y(X)及び前記初期ヒストグラムの分布曲線の関数h(Xn)と前記ターゲットのヒストグラムの分布曲線の関数h(Xk)との間で成り立つ関係式
    h(Xk)=h(Xn)*y(X)
    (但し、Xnは初期画像の1画素の階調値、h(Xn)は当該階調値に対応する画素の数であり、Xkはターゲットのヒストグラムにおける1画素の階調値、h(Xk)は当該階調値に対応する画素の数であり、Xは重み関数y(X)の、Xkに対応する定義域、y(X)は当該重み関数の値域を示す)により、重み関数y(X)を算出するステップと、
    を含む、請求項2に記載の赤外線サーモグラムのデジタル信号処理システム。
  4. 前記画像出力モジュールにより行われる多段折れ線式の階調オフセット処理は、
    前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、
    各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップと、
    を含む、請求項1に記載の赤外線サーモグラムのデジタル信号処理システム。
  5. 前記FPGAチップは、さらに、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行うように、前記画像処理モジュールと前記画像出力モジュールを制御するための同期/制御モジュールを含む、請求項1〜4の何れかの1項に記載の赤外線サーモグラムのデジタル信号処理システム。
  6. 前記FPGAチップは、さらに、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのDPRAMを含む、請求項5に記載の赤外線サーモグラムのデジタル信号処理システム。
  7. 無効走査期間において、前記画像処理モジュールは、前記現フレームの画像の初期ヒストグラムのデータに対する上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する、請求項1〜4の何れかの1項に記載の赤外線サーモグラムのデジタル信号処理システム。
  8. 無効走査期間において、前記画像処理モジュールは、階調変換処理を完了した後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する、請求項7に記載の赤外線サーモグラムのデジタル信号処理システム。
  9. 前記画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、表示のために、デコード処理後のビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに出力する、請求項1〜4の何れかの1項に記載の赤外線サーモグラムのデジタル信号処理システム。
  10. 赤外線サーモグラムのデジタル信号処理方法であって、
    フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送するステップと、
    フレームの有効走査期間において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力するステップと、
    を含む、赤外線サーモグラムのデジタル信号処理方法。
  11. 前記初期ヒストグラムのデータに対して行われる個別重み累計処理は、
    数が総画素数の2%を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を最大階調値Xmaxとするステップと、
    数が総画素数の2%を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の2%を占める時点の画素の階調値を最小階調値Xminとするステップと、
    階調値がXmaxより大きい全ての画素の階調値を255に圧縮し、階調値がXminより小さい全ての画素の階調値を0に圧縮するステップと、
    を含む、請求項10に記載の赤外線サーモグラムのデジタル信号処理方法。
  12. 無効走査期間において、個別重み累計処理完了後、重み関数y(X)を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、
    前記重み関数y(X)の算出には、
    前記初期ヒストグラムの分布曲線の関数h(Xn)のメインピークの最大値h(X0)、即ちh(X0)=MAX[h(Xn)]を決定するステップと、
    h(Xn)の振幅が前記メインピークから減少して当該メインピークの1/√2になる時点の階調値同士の差であるXbw1−Xbw2を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、
    所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数h(Xk)を、h(Xk)の前記バンド幅Xbw1−Xbw2の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と類似する曲線波形を有し、かつ、h(Xk)の当該バンド幅Xbw1−Xbw2の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数h(Xn)の当該バンド幅Xbw1−Xbw2の範囲外にある部分と略等しくなるように、取得するステップと、
    前記重み関数y(X)及び前記初期ヒストグラムの分布曲線の関数h(Xn)と前記ターゲットのヒストグラムの分布曲線の関数h(Xk)との間で成り立つ関係式
    h(Xk)=h(Xn)*y(X)
    (但し、Xnは初期画像の1画素の階調値、h(Xn)は当該階調値に対応する画素の数であり、Xkはターゲットのヒストグラムにおける1画素の階調値、h(Xk)は当該階調値に対応する画素の数であり、Xは重み関数y(X)の、Xkに対応する定義域、y(X)は当該重み関数の値域を示す)により、重み関数y(X)を算出するステップと、
    を含む、請求項11に記載の赤外線サーモグラムのデジタル信号処理方法。
  13. 前記多段折れ線式の階調オフセット処理は、
    前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、
    各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップと、
    を含む、請求項10に記載の赤外線サーモグラムのデジタル信号処理方法。
  14. 信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行う、請求項10〜13の何れかの1項に記載の赤外線サーモグラムのデジタル信号処理方法。
  15. さらに、
    無効走査期間において、前記個別重み累計処理を行う前に、赤外線サーモグラフィからのマルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値に基づき現フレームの画像の初期ヒストグラムの分布曲線を取得するステップを含む、請求項14に記載の赤外線サーモグラムのデジタル信号処理方法。
  16. 無効走査期間において、上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する、請求項10〜13の何れかの1項に記載の赤外線サーモグラムのデジタル信号処理方法。
  17. 無効走査期間において、重み付け処理後のヒストグラムに対する階調変換処理が完了後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する、請求項16に記載の赤外線サーモグラムのデジタル信号処理方法。
  18. さらに、
    出力された多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データに対して、表示のためにビデオデータのデコード処理を行うステップを含む、請求項10〜13の何れかの1項に記載の赤外線サーモグラムのデジタル信号処理方法。
JP2012234088A 2011-10-25 2012-10-23 赤外線サーモグラムのデジタル信号処理システム及び方法 Active JP5396527B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110340580.5 2011-10-25
CN201110340580.5A CN102413283B (zh) 2011-10-25 2011-10-25 红外热图数字信号处理系统及方法

Publications (2)

Publication Number Publication Date
JP2013093849A true JP2013093849A (ja) 2013-05-16
JP5396527B2 JP5396527B2 (ja) 2014-01-22

Family

ID=45915099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012234088A Active JP5396527B2 (ja) 2011-10-25 2012-10-23 赤外線サーモグラムのデジタル信号処理システム及び方法

Country Status (4)

Country Link
US (1) US8896702B2 (ja)
EP (1) EP2587449A1 (ja)
JP (1) JP5396527B2 (ja)
CN (1) CN102413283B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017096915A (ja) * 2015-09-08 2017-06-01 アクシス アーベー 熱画像内の局所コントラストを強調する方法及び装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801912A (zh) * 2012-07-17 2012-11-28 北京伽略电子系统技术有限公司 一种红外图像处理芯片及处理方法
CN103826072B (zh) * 2014-02-13 2018-02-16 北京科技大学 一种小型红外成像系统
CN105118037B (zh) * 2015-09-02 2017-04-19 华中科技大学 一种气动热辐射图像自动校正方法
CN106791283B (zh) * 2017-01-25 2019-11-19 京东方科技集团股份有限公司 一种校正视频闪烁的方法、装置及视频设备
CN108805942B (zh) * 2017-04-28 2021-08-17 武汉多谱多勒科技有限公司 一种红外图像宽动态压缩方法
CN108962185B (zh) * 2017-05-22 2020-05-29 京东方科技集团股份有限公司 一种降低显示画面亮度的方法、其装置及显示装置
CN107493504A (zh) * 2017-09-19 2017-12-19 北京奇虎科技有限公司 基于分层的视频数据实时处理方法、装置及计算设备
CN108024074B (zh) * 2017-10-17 2020-05-01 中国航空工业集团公司洛阳电光设备研究所 一种基于sopc的小型化红外成像方法
CN108924525B (zh) * 2018-06-06 2021-07-06 平安科技(深圳)有限公司 图像亮度调整方法、装置、计算机设备及存储介质
CN109767402A (zh) * 2019-01-17 2019-05-17 中科威晟(天津)光电科技有限公司 一种基于直方图统计的非制冷红外热像自适应映射方法
CN110211056B (zh) * 2019-05-06 2022-08-12 南京理工大学 基于局部中值直方图的自适应红外图像去条纹算法
CN112839180B (zh) * 2019-11-25 2022-05-31 合肥美亚光电技术股份有限公司 曝光控制方法、装置以及图像采集设备、口内扫描仪
CN111105371B (zh) * 2019-12-10 2023-05-02 南京莱斯电子设备有限公司 一种低对比度红外图像的增强方法
CN111292267B (zh) * 2020-02-04 2020-10-23 北京锐影医疗技术有限公司 一种基于拉普拉斯金字塔的图像主观视觉效果增强方法
US11386530B2 (en) * 2020-02-26 2022-07-12 Flir Systems Ab Digital filter for turbulence reduction and gas detection in thermal images
CN111612710B (zh) * 2020-05-14 2022-10-04 中国人民解放军95859部队 一种目标矩形投影图像几何成像像素数计算方法
CN111724301B (zh) * 2020-06-19 2023-05-12 电子科技大学 一种基于直方图统计的自适应拉伸方法及系统
CN111899297B (zh) * 2020-08-06 2024-01-23 中国铁建重工集团股份有限公司 线结构光条纹中心提取方法
CN112598567B (zh) * 2020-12-29 2023-11-14 北京环境特性研究所 一种fpga实现红外实时拼图中图像增强的方法
CN113542550B (zh) * 2021-06-09 2023-07-07 重庆电子工程职业学院 一种基于fpga的高速图像采集系统
CN113808135B (zh) * 2021-11-19 2022-03-25 北京的卢深视科技有限公司 图像亮度异常检测方法、电子设备及存储介质
CN114113165B (zh) * 2021-12-08 2023-08-08 北京航星机器制造有限公司 一种用于安检设备的行包判读方法
CN114596683A (zh) * 2022-02-09 2022-06-07 青岛海信日立空调系统有限公司 入侵检测方法及装置
CN116503408B (zh) * 2023-06-28 2023-08-25 曲阜远大集团工程有限公司 基于扫描技术的钢结构表面缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344167A (ja) * 2002-05-23 2003-12-03 Visteon Global Technologies Inc 遠赤外カメラのイメージを強調するシステム
JP2008532386A (ja) * 2005-02-23 2008-08-14 フリール・システムズ・インコーポレイテッド 赤外線カメラ・システムとその方法
JP2009014475A (ja) * 2007-07-04 2009-01-22 Sony Corp 遠赤外線画像処理装置、遠赤外線撮像装置、遠赤外線画像処理方法および遠赤外線画像処理プログラム
JP2009303010A (ja) * 2008-06-16 2009-12-24 Mitsubishi Electric Corp 撮像装置及び撮像方法
JP2010166143A (ja) * 2009-01-13 2010-07-29 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410418A (en) * 1992-06-24 1995-04-25 Dainippon Screen Mfg. Co., Ltd. Apparatus for converting image signal representing image having gradation
JP4006347B2 (ja) * 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
CN100454968C (zh) * 2004-10-08 2009-01-21 中华映管股份有限公司 显示器之显示特性调整电路及方法
CN1333585C (zh) * 2005-09-14 2007-08-22 上海广电(集团)有限公司中央研究院 一种基于最大最小值进行动态视频层次处理的方法
CN100539659C (zh) * 2006-07-07 2009-09-09 帆宣系统科技股份有限公司 图像信号的对比伸张与溢位补偿系统及方法
US8218868B2 (en) * 2007-06-13 2012-07-10 Sensors Unlimited, Inc. Method and apparatus for enhancing images
JP5152203B2 (ja) * 2008-01-24 2013-02-27 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
CN101707666A (zh) * 2009-11-26 2010-05-12 北京中星微电子有限公司 一种高动态范围的调整方法和装置
CN201910868U (zh) * 2010-12-30 2011-07-27 无锡华润矽科微电子有限公司 动态对比度自动调整电路
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344167A (ja) * 2002-05-23 2003-12-03 Visteon Global Technologies Inc 遠赤外カメラのイメージを強調するシステム
JP2008532386A (ja) * 2005-02-23 2008-08-14 フリール・システムズ・インコーポレイテッド 赤外線カメラ・システムとその方法
JP2009014475A (ja) * 2007-07-04 2009-01-22 Sony Corp 遠赤外線画像処理装置、遠赤外線撮像装置、遠赤外線画像処理方法および遠赤外線画像処理プログラム
JP2009303010A (ja) * 2008-06-16 2009-12-24 Mitsubishi Electric Corp 撮像装置及び撮像方法
JP2010166143A (ja) * 2009-01-13 2010-07-29 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017096915A (ja) * 2015-09-08 2017-06-01 アクシス アーベー 熱画像内の局所コントラストを強調する方法及び装置

Also Published As

Publication number Publication date
US20130100294A1 (en) 2013-04-25
CN102413283A (zh) 2012-04-11
EP2587449A1 (en) 2013-05-01
JP5396527B2 (ja) 2014-01-22
CN102413283B (zh) 2013-08-14
US8896702B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
JP5396527B2 (ja) 赤外線サーモグラムのデジタル信号処理システム及び方法
JP3375921B2 (ja) 入力映像の輝度を維持する画質改善装置及びその方法
EP2833317B1 (en) Image display device and/or method therefor
WO2018133609A1 (zh) 从低动态图像生成高动态图像的方法
KR100782845B1 (ko) 비로그 도메인 조도 수정을 이용한 디지털 영상 개선방법과 시스템
US8339518B2 (en) Video signal processing method and apparatus using histogram
CN107680056B (zh) 一种图像处理方法及装置
JP4912398B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
JP4795473B2 (ja) 画像処理装置及びその制御方法
JP2006197584A (ja) 画像のrgb情報を利用したブラック/ホワイト拡張システム
US6753910B1 (en) Image processing apparatus and image processing method
JP2008017458A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび集積回路
JP5648849B2 (ja) 画像処理装置、画像処理方法
CN112598612A (zh) 一种基于照度分解的无闪烁暗光视频增强方法及装置
JP2002359754A (ja) 階調補正装置及び方法
JP2007013666A (ja) 画像処理装置
TWI462575B (zh) 影像處理裝置及影像處理方法
JP5089797B2 (ja) 画像処理装置及びその制御方法
US7042524B2 (en) Video data correction device and video data correction method
JP2021064917A (ja) 映像信号変換装置及びプログラム
Jung et al. Naturalness-preserved tone mapping in images based on perceptual quantization
JP5233757B2 (ja) 画像処理装置および画像表示装置
JP2006180267A (ja) 画質補正回路
CN114820359B (zh) 基于人眼视觉区域划分的红外图像全局色调映射方法
JP7503655B2 (ja) トーンマッピング曲線のためのパラメータセットの決定

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

R150 Certificate of patent or registration of utility model

Ref document number: 5396527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250