JP2016189588A - ローカルエリアコントラスト強化 - Google Patents

ローカルエリアコントラスト強化 Download PDF

Info

Publication number
JP2016189588A
JP2016189588A JP2016077795A JP2016077795A JP2016189588A JP 2016189588 A JP2016189588 A JP 2016189588A JP 2016077795 A JP2016077795 A JP 2016077795A JP 2016077795 A JP2016077795 A JP 2016077795A JP 2016189588 A JP2016189588 A JP 2016189588A
Authority
JP
Japan
Prior art keywords
image
pixel
dynamic range
low
pass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016077795A
Other languages
English (en)
Other versions
JP2016189588A5 (ja
JP6302501B2 (ja
Inventor
ジャーデヴ,ドミトリ
Jerdev Dmitri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2016189588A publication Critical patent/JP2016189588A/ja
Publication of JP2016189588A5 publication Critical patent/JP2016189588A5/ja
Application granted granted Critical
Publication of JP6302501B2 publication Critical patent/JP6302501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】画像処理において、コントラスト強化を改善するし、高ダイナミックレンジを有するシーンを表示できる技術を提供する。【解決手段】イメージデータを受信するステップと、イメージデータからローパスイメージおよびハイパスイメージを生成するステップと、ダイナミックレンジ圧縮をハイパスイメージでなくローパスイメージに適用するステップと、出力イメージを生成するためにダイナミックレンジ圧縮の後、ローパスイメージにハイパスイメージを加えるステップとを有する。【選択図】図1

Description

この開示は、一般に画像処理に関し、より詳しくはコントラスト強化を改善する技術に関する。
今日、赤外線の(IR)イメージングが、様々なアプリケーションで使われる。たとえば、法の執行グループおよび軍隊は、人または他の目標を低い光の状況で発見するためにしばしばIRイメージングを使用する。IRイメージングはまた、熱発生量に関する情報を提供する産業アプリケーションおよび製造プロセスの転送において使われる。
典型的IRイメージ装置は、非常に高いダイナミックレンジを有する入力を受信することができる。IRイメージングのコンテキストにおいて、ダイナミックレンジはシーンの多数の目的の中の温度差の機能であってもよい。オブジェクトの全てが温度において非常に近い場合、ダイナミックレンジは比較的低くてもよい。他方、温度差が大きい場合(例えば、冷水と熱いはんだごてが同じシーンにおいてある場合)、ダイナミックレンジは比較的高くてもよい。
多くの従来のディスプレイは、有限数の異なる色またはシーンの範囲内で温度差を表すために用いることができる陰を有するだけである。このように、ダイナミックレンジが線形に処理される場合、従来のディスプレイは高いダイナミックレンジを有するシーンを表示することが可能ではない。
現在、利用できる多くの範囲圧縮アルゴリズムがある。たとえば、ナカ-ラシュトン方
程式を使用している圧縮は、高いダイナミックレンジ・イメージ・モニタにおいて一般的に用いられる。ダイナミックレンジ圧縮はシーンに適用されることができるが、しかし、この種のダイナミックレンジ圧縮は人間のユーザに目立つシーンの詳細の損失を与える(そして、しばしばなされた)。諸事例では、詳細の損失は受け入れられてもよいが、しかし、他の例において、詳細を保存することは、望ましい。
ある実施形態では、方法は、イメージデータを受信するステップと、前記イメージデータからローパスイメージおよびハイパスイメージを生成するステップと、ダイナミックレンジ圧縮をハイパスイメージでなくローパスイメージに適用するステップと、出力イメージを生成するためにダイナミックレンジ圧縮の後、ローパスイメージにハイパスイメージを加えるステップとを有することを特徴とする。
方法は更に、ディスプレイデバイスで、出力イメージを表示するステップと、前記加えるステップの前にハイパスイメージのコントラストゲインを調整するステップと、を更に有し、前記ローパスイメージを生成するステップが、ローパスフィルタをイメージデータに適用するステップからなり、前記ローパスフィルタが、N×N重み付け平均フィルタの少なくとも1つを包含し、Nが、1よりも大きな整数であり、バイラテラルフィルタであることを特徴とし、前記ローパスフィルタが、周りのピクセルのサブセットで中央のピクセルを平均化し、更に、周りのピクセルが、周りのピクセルと中央のピクセルとの間の値の特別な差によって重み付けされることを特徴とし、前記ローパスフィルタが、周りのピクセルのサブセットで中央のピクセルを平均化し、周りのピクセルがバーチャルピクセルにグループ化され、バーチャルピクセルが、バーチャルピクセルと中央のピクセルとの間
の値の差によって重み付けされることを特徴とし、前記ハイパスイメージを生成するステップが、イメージデータからローパスイメージを引くステップからなることを特徴とし、ダイナミックレンジ圧縮が、以下の関係を採用するアルゴリズムからなり、
out=Pin*(1+X0)/(Pin+X0)
ここで、Pinは入力ピクセルであり、Poutは出力ピクセルであり、X0は湾曲パラメータ
であることを特徴とし、ダイナミックレンジ圧縮が、ローパスイメージに対してピクセル毎に実行されることを特徴とする。
別の実施形態では、イメージプロセッシングシステムは、光を受信し、シーンを表すイメージデータを生成するトランスデューサユニットと、前記イメージデータからローパスイメージおよびハイパスイメージを生成する周波数フィルタユニットと、ローパスイメージでダイナミックレンジ圧縮を実行するダイナミックレンジ圧縮ユニットと、結合されたイメージを生成するためにダイナミックレンジ圧縮後、ローパスイメージとハイパスイメージを結合する結合ユニットと、シーンのビューをレンダリングするように適合されたユーザインターフェースユニットとを有する。
システムは更に、フィルタ周波数ユニットが、ローパスイメージを生成するローパスフィルタと、ハイパスイメージを生成するためにイメージデータからローパスイメージを引く減算ユニットとを有することを特徴とし、ローパスフィルタが周りのピクセルのサブセットで中央のピクセルを平均化し、更に、周りのピクセルが、周りのピクセルと中央のピクセルとの間との値の特定の差によって重み付けされることを特徴とし、ローパスフィルタが周りのピクセルのサブセットで中央のピクセルを平均化し、更に、周りのピクセルがバーチャルピクセルにグループ化され、バーチャルピクセルが、バーチャルピクセルと中央のピクセルとの間の値の差によって重み付けされることを特徴とする。
更に別の実施形態では、ローカルコントランスト強化を提供するためのコンピュータプログラムロジックを有形に記録するコンピュータ読み取り可能媒体を備えたコンピュータプログラム製品であって、該コンピュータプログラム製品が、第1の周波数コンポーネントイメージおよび第2の周波数コンポーネントイメージを生成するために、受信されたイメージデータに周波数フィルタを適用するためのコードと、第2の周波数コンポーネントイメージではない第1の周波数コンポーネントイメージでダイナミックレンジ圧縮を実行するためのコードと、ゲイン調整された第2の周波数コンポーネントイメージと、ダイナミックレンジ圧縮された第1の周波数コンポーネントイメージを包含する結合されたイメージを生成するためのコードとを有することを特徴とする。
コンピュータプログラム製品は更に、第1の周波数コンポーネントイメージが、ローパスイメージであり、第2の周波数コンポーネントイメージがハイパスイメージである、ことを特徴とし、第1及び第2の周波数コンポーネントイメージを結合する前に、ゲインステージを第2の周波数コンポーネントイメージに適用するためのコードと、を更に有することを特徴とし、ユーザインターフェースユニットで結合されたイメージを表示するためのコードを更に有することを特徴とし、周波数フィルタを適用するコードが、周りのピクセルのサブセットで中央のピクセルを平均化するためのコードを更に有し、
周りのピクセルが、周りのピクセルと中央のピクセルとの間の値の特定の差によって重み付けされる、ことを特徴とし、周波数フィルタを適用するコードが、周りのピクセルのサブセットで中央のピクセルを平均化するためのコードを有し、
周りのピクセルが、バーチャルピクセルにグループ化され、バーチャルピクセルが、バーチャルピクセルと中央のピクセルとの間の値の差によって重み付けされる、ことを特徴とする。
本発明のより良い理解は、添付の図面とともに必要とされ、あとに続く詳細な説明で得
られる。
図1は、ある実施形態によるイメージを処理する典型的な工程の実例である。 図2は、ある実施形態による典型的なローパス・フィルタ動作の実例である。 図3は、ある実施形態による例示のローパス・フィルタのウェイトとピクセル値との間の例示的な関係である。 図4は、ある実施形態による典型的なダイナミックレンジ圧縮アルゴリズムのグラフの具体例である。 図5は、ある実施形態によるイメージを処理する典型的なシステムの具体例である。
さまざまな実施形態は、イメージ演算処理システムの可視詳細を強化するために技術を提供する。実施形態の範囲が、いかなる種類ものイメージ演算処理システム(例えば可視光イメージ演算処理システム、紫外線(UV)イメージ演算処理システム、レーダー・イメージ演算処理システム、その他)を含むけれども、ある具体例は、IRイメージ演算処理システムを含む。
この例示の実施形態において、光検出装置(例えばIRビデオ・カメラ)は、シーンのイメージを受信する。光検出装置は、シーンを表すデジタル信号またはアナログ信号に光を変換する。信号は、元の画像データを含み、元の入力画像として図1において関連されることができる。
元の入力画像はローパスフィルター(Low-Pass Filter(LPF))への入力であり、それは元の入力画像からローパス・イメージを出す。システムも、ハイパス・イメージを出す。ローパス・イメージはそれからダイナミックレンジ圧縮を受け、ハイパス・イメージはそれをバイパスする。このように、2つの周波数構成要素イメージのうちの1つだけは、圧縮されるダイナミックレンジである。
実施形態はイメージの精巧な詳細が、ハイパス・イメージに含まれると仮定し、ローパス・イメージはより大きいダイナミックレンジの範囲内でより粗く示されるより大きい特徴を含む。ローパス・イメージだけをダイナミックレンジ圧縮に従属させることによって、同時に、適切な範囲圧縮を適用すると共に、例示の実施形態は精巧な詳細を保存する。
圧縮ローパス・イメージおよびハイパス・イメージは、それから出力画像を作成するために結合される。更なる処理には、ユーザ・インタフェース装置(例えば液晶ディスプレイ(LCD)、LEDディスプレイ)上のイメージを実際に表示することや同類などを含め
ることができる。
さまざまな実施形態は、上で議論される手段を実装するプロセッサ・ベースのシステムを更に含む。たとえば、いくつかの実施形態は、画像処理技術を形成するフィルタで、圧縮、加算他の機能を実行するためにコンピュータ・コードを実行するプロセッサを含む。他の実施形態は、ハードウェアまたはハードウェアおよびソフトウェアの組合せにおいて実行されることができる。更なる実施形態は、画像処理を含む方法を表示する。
先ほど確認した例示の実施形態は説明目的だけのためにあり、実施形態の範囲は上記した詳細に限られない。以下の図は、更に詳細に例示の実施形態を記載するために用いる。
図1は典型的なプロセス100の実例であり、ある実施形態によって構成される。プロセ
ス100は、イメージ演算処理システムの一つ以上のハードウェアおよび/またはソフトウ
ェア・モジュールによって実行されることができ、この種のモジュールは本願明細書において記載されている機能性を提供しているコンピュータ可読のコード(例えばソフトウェアまたはファームウェア)を実行することができる。
例えば、元の入力画像101は、IRイメージキャプチャ装置(例えばカメラ)から受け取
られる。元の入力画像101はいずれのアナログもまたはディジタルの形であるが、多くの
場合、実施形態は処理を容易にするためにデジタル化される。更にこの例では、元の入力画像101は、シーンに含まれる温度が非常に異なるオブジェクトの結果として、高いダイ
ナミックレンジを有する。たとえば、シーンは摂氏数百または摂氏数千度まで変化するオブジェクトを包含し、オブジェクトの補正は、温度レンジにわたって均一に分布するよりむしろハイエンドまたはローエンドの温度範囲に偏っても良い。
したがって、目的をそれらのそれぞれの温度に従うシーンにおいて代表するオブジェクトがある出力を容易にすることは、元の入力画像101上の非線形ダイナミックレンジ圧縮
を実行するのを要求されることができる。また、それは詳細の相当な損失のないダイナミックレンジ圧縮を提供するのを要求されることができる。
ブロック110では、元の画像データ101はローパス・フィルタへの入力であり、それはローパス・イメージ103を生成する。さまざまな実施形態は、適当なローパス・フィルタの
いかなるタイプも使用することができる。ある実施形態では、ローパス・フィルタはスムージング・アルゴリズムでオリジナルのイメージ・ピクセル-バイ-ピクセルを処理する。
図2は、ある実施形態によって構成される典型的なローパス・フィルタ動作の実例である。所定のピクセルP0に関して、この実施形態(5x5カーネル210)では、ローパスフィルタはNxNカーネルを生成する。ローパス・フィルタオペレーションは、NxNカーネルのその隣に従って、アルゴリズムをP0に適用するスムージング動作を提供する。
この例では、5x5カーネルは、4つのクォータ部201-204に分けられる。クオータ部201のピクセルは、仮想ピクセルP1を生成するように平均される。同様に、クオータ部202-204のピクセルは、それぞれ、仮想ピクセルP2-P4を生成するために平均化される。
フィルタ・プロセスは、各々の仮想ピクセルP1-P4のための重みを算出することに続く
。この例では、仮想ピクセルの重みは、特定の仮想ピクセルとP0との間のピクセル値の違いに基づいて算出される。差が大きいほど、重みは小さい。次いで、P0のための新しい値は、式1
P0=sum(Wi*Pi)/sum(Wi) 式(1)
を使用して算出される、ここで、Wiは特定の仮想ピクセルPiに関する重みである。方法は、次いで、フレームの次のピクセルへ移動して、プロセスを繰り返す。フレームの全ての所望のピクセルがスムージングされるまで、プロセスは続く。
図3は、ある実施形態によるピクセル値と重量との間の典型的な関係を示す。x軸は仮想ピクセルとPOとの間の違いであり、y軸は仮想ピクセルの重みを割り当てられる。図3の関係は、仮想ピクセルとPOとの間の差が大きければ、より小さな重みが仮想ピクセルに割り当てられることを提供する。この種の関係は、高いダイナミックレンジを有するデータからイメージを生成するシステムおよび方法に役立ってもよい。たとえば、シーンのアイテムが非常に熱いか非常に冷たいとき、アイテムの境界線の周囲の画素は、画素と異なる周囲と平均化されるぼかし、または「ハロー効果」を被る。しかし、図3に示される関係は、傾き、POからのかなりの差を有するピクセルがPOのための最終的な値に対してほと
んど何も寄与しないことを確実にすることによってこのエッジ感度を減らして平均化する。
実施形態の範囲は、図2に関して上記した正確な方法に限られない。
他の実施形態は、異なるフィルタ技術を提供することができる。たとえば、いくつかの実施形態は、仮想ピクセルの世代を省略することができ、その代わりにそのNxNカーネルの
各々の個々のピクセルを有するPOを平均化することができる。この種の方法は、精度を方法に加えることができるが、また、図2において例示される実施形態より多くのメモリお
よび処理力を消費することができる。さらに、実施の形態では、平均値、カーネル内の個々のピクセルは、重量の割り当てで他のパラメータを使用するための柔軟性が向上した可能性がある。プロセス内のいくつかのピクセルが空間的に遠く、POから他の画素よりも時に、たとえば、割り当てられた重みは、空間的な距離に比例して低下することがある。任意の数のパラメータは、いくつかの実施形態において可能であるが、重み付けのための2
つのパラメータを使用する例示的なフィルタは、バイラテラルフィルタと呼ぶことができる。
その上、別の実施形態は、5x5とは異なるサイズのカーネルを使用することができる。
事実、いかなる適切な大きさを設定されたカーネルも、さまざまな実施形態によって使われることができる。一般に、より大きなカーネルは、方法により多くのメモリおよび処理力を消費させるが、いくつかの例では、より良い結果を提供することができる。
図1に戻ると、ローパス・イメージ103は、ハイパス・イメージ107を生成するために元
の入力画像101に沿ってブロック130を減ずる入力である。図1は、単にハイパス・イメージ107およびローパス・イメージ103を生成する1つの方法を示すだけである。別の実施形態では、方法100は、ハイパス・イメージ107を生成するために、ローパス・フィルタ・ブロック110と並列に、ハイパス・フィルタリングブロックを含むことができる。実施形態
の範囲は、ハイパス・イメージ107およびローパス・イメージ103を生成することのいかなる特定の技術にも、限られていない。
ブロック120で、ローパス・イメージ103は、ダイナミックレンジ圧縮を受ける。様々な技術のいずれかが、ダイナミックレンジ圧縮を提供するのに用いることができる。ある具体例では、下記式2で示されるナカ-ラシュトン関係に基づくアルゴリズムは、ローパス・イメージ103に対してピクセルごとに印加される。
式(2) Pout=Pin*(1+X0)/(Pin+X0)、ここで、Pinは入力ピクセルであり、Poutは出力ピクセルであり、X0はキャプチャパラメータである。
式2において、X0のより少ない値は、圧縮のより大きな量を提供する。式1は、X0の異なる値が指定されたイメージに適用される圧縮にどのような影響を与えるかを示すために、図4にグラフ化される。しかしながら、他の実施形態が改変されたNaka-Rushton関係を含んでもよく、またはダイナミックレンジ圧縮の別のタイプを使用することができるように、実施形態の範囲は、ダイナミックレンジ圧縮のための任意の特定の技術に限定されないことに留意すべきである。
図1に戻ると、ブロック120は圧縮、ローパス・イメージ105を出力し、ハイパス・イメージ107はゲインブロック140に対する入力である。ブロック140でゲインファクタを増や
すことは、ハイパス・イメージ107に、そして、次に、出力画像109に詳細のより高いレベルを提供することができる。さまざまな実施形態は、出力画像109を調整する方法を提供
する。たとえば、いくつかの実施形態は、ユーザが手動でX0またはコントラストゲインファクタを調整することができることができ、または、この種のパラメータの一方または両方は自動的に調整されることができる。事実、いくつかの実施形態は、パラメータのリア
ルタイム手動または自動調整を提供することができる。
イメージ105および107は、ブロック150で結合される。この特定の例では、イメージ105および107は結合された出力画像109を作成するためにブロック150で加えられる。上記し
た処理によって、出力画像109はダイナミックレンジ圧縮の適当な量を含み、その一方で
、従来のシステムによって失われたかもしれないより精巧な詳細をさらに含む。
方法100は例示的であり、実施形態の範囲は図1に示される正確な構成に、限られない。さまざまな実施形態は、一つ以上の動きを加えることができ、省略することができ、再配置することができ、または修正することができる。例えば、いくつかの実施形態は表示方法を更に含み、出力画像109は人間のユーザに認知可能な形式のイメージ109にするトランスデューサ装置(例えばLCD)への入力である。方法100は、要求されることができるかまたは適当である他の画像処理技術を除外しない。
図5は、プロセス100を実行する典型的なシステム500の具体例である。プロセッサ装置に通されるコンピュータ実行コード(例えばソフトウェア、ファームウェア)において、いくつかの実施形態が実行されると理解される。ある実施形態は独立のイメージャ(例えばライフルスコープ、ゴーグル、双眼鏡など)を含むのに、適切なカメラ入力および表示を有する特別な目的または汎用コンピュータで他の実施形態は稼働することができる。
コンピュータ実行可能な指示を介してインプリメントされるとき、いくつかの実施形態のさまざまな要素は本質的にこの種のさまざまな要素の動作を定めているコードである。実行可能な指示またはソフトウェア/ファームウェア・コードは、有形の読み込み可能な
媒体(例えばハードディスク・メディア、光学式媒体、RAM、EPROM、EEPROM、テープ媒体、カートリッジ・メディア、フラッシュメモリ、ROM、メモリースティック、ネットワー
ク記憶装置および/または同様なもの)から得られることができる。事実、読み込み可能なメディアは、情報を格納することができるいかなる媒体も含むことができる。
例えば、処理ユニットは多目的CPUを含むことができ、それは現在の開示の実施形態に従うさまざまな論理命令を実行することができる。例えば、一つ以上のCPUは、図1
とともに上記した典型的な活動中の流れに従うマシンレベル指示を実行することができる。さらに、ディジタル信号プロセッサ(DSP)または他の専門処理が巡回するアプリケー
ション特定の集積回路(ASIC)で、現在の開示の実施形態は、実行されることができる。事実、当業者は現在の開示の実施形態に従う論理演算を実行することができるいかなる数の適切な構造を利用することができる。
図5はレンジスケーラ502を含み、それはカメラ入力からデータを受け取る。レンジス
ケーラ502は予め設定された範囲の中でデータを正常化し、ピクセル値がゼロ、値がプレ
セット最大に課される最も高いピクセルおよびピクセル値にセットされる最も低いものはレンジの中で正常化される。
次に、ピクセル値はラインバッファ503にロードされ、それはビデオ・データのメモリ
装置である。
現在公知であるかまたは後で開発されるラインバッファのいかなるタイプもいくつかの実施形態において使われることができるにもかかわらず、先入れ先出し(FIFO)バッファにおいて、ラインバッファ503はこの例で実行される。ラインバッファ503は、フィルター504にピクセルを出力し、それはカーネル・モジュール505およびLPF 506を含む。カーネ
ル・モジュール505はカーネルにピクセルを配置し、LPF 506はカーネルの他のピクセルに基づいて、与えられたピクセル上のスムージング動作(例えば加重平均機能)を実行する。各々のピクセルがそれ自身のカーネルを伴って、フィルタリングされるため、カーネル
・モジュール505およびLPF 506はピクセルごとに作動する。十分なメモリおよび処理資源が提供される場合、いくつかの実施形態は並列に多数のピクセルにフィルターをかけることができる。
ローパス・イメージはレンジ圧縮モジュール507に送られ、ハイパス・イメージはゲイ
ンステージモジュール508に送られる。2つのイメージは、それから、例えば、加わるこ
とによってモジュール509を合併することで結合される。次いで、合成映像は、それがあ
るモジュールが人間のユーザに表示したユーザインターフェース(UI)に送信される。
さまざまな実施形態は、一つ以上の効果を含む。たとえば、いくつかの実施態様は、より精巧な詳細を含む周波数構成要素上のダイナミックレンジ圧縮を実行しない。高ダイナミックレンジを含む別の周波数成分が十分に圧縮されつつ、精巧な詳細が保存される。したがって、まだ、少なくともいくつかのより精巧な詳細をシーンに含むと共に、出力画像は色または明るさレベル(ダイナミックレンジ圧縮によって)の有限数を有する装置に表示されることができる。
選択された実施形態が例示され、詳細に記載されていたにもかかわらず、あとに続く請求項に記載の、様々な置換および変更が本発明の趣旨および範囲から逸脱することなく、可能であると理解されなければならない。

Claims (17)

  1. イメージデータを受信するステップと、
    前記イメージデータからローパスイメージおよびハイパスイメージを生成するステップ
    と、
    ダイナミックレンジ圧縮をハイパスイメージでなくローパスイメージに適用するステップと、
    ハイパスイメージのコントラストゲインを調整するステップと、
    出力イメージを生成するためにダイナミックレンジ圧縮の後、ローパスイメージにハイパスイメージを加えるステップと
    を有し、
    ダイナミックレンジ圧縮が、以下の関係を採用し、
    out=Pin*(1+X0)/(Pin+X0)
    ここで、Pinは入力ピクセルであり、Poutは出力ピクセルであり、X0は湾曲パラメータであり、
    パラメータX0が、リアルタイムで手動または自動で調整されることができ、
    前記ダイナミックレンジ圧縮が、ローパスイメージに対してピクセル毎に実行されることを特徴とする方法。
  2. ディスプレイデバイスで、出力イメージを表示するステップを更に有することを特徴とする請求項1に記載の方法。
  3. 前記ローパスイメージを生成するステップが、
    ローパスフィルタをイメージデータに適用するステップからなることを特徴とする請求項1に記載の方法。
  4. 前記ローパスフィルタが、N×N重み付け平均フィルタの少なくとも1つを包含し、Nが、1よりも大きな整数であり、バイラテラルフィルタであることを特徴とする請求項に記載の方法。
  5. 前記ローパスフィルタが、周りのピクセルのサブセットで中央のピクセルを平均化し、更に、周りのピクセルが、周りのピクセルと中央のピクセルとの間の値の特別な差によって重み付けされることを特徴とする請求項に記載の方法。
  6. 前記ローパスフィルタが、周りのピクセルのサブセットで中央のピクセルを平均化し、周りのピクセルがバーチャルピクセルにグループ化され、バーチャルピクセルが、バーチャルピクセルと中央のピクセルとの間の値の差によって重み付けされることを特徴とする請求項に記載の方法。
  7. 前記ハイパスイメージを生成するステップが、
    イメージデータからローパスイメージを引くステップからなることを特徴とする請求項に記載の方法。
  8. 光を受信し、シーンを表すイメージデータを生成するトランスデューサユニットと、
    前記イメージデータからローパスイメージおよびハイパスイメージを生成する周波数フィルタユニットと、
    ローパスイメージでダイナミックレンジ圧縮を実行するダイナミックレンジ圧縮ユニットであって、ダイナミックレンジ圧縮が、以下の関係を採用し、
    out=Pin*(1+X0)/(Pin+X0)
    ここで、Pinは入力ピクセルであり、Poutは出力ピクセルであり、X0は湾曲パラメータであることを特徴とする、ダイナミックレンジ圧縮ユニットと、
    ハイパスイメージのコントラストゲインを調整するゲインユニットと、
    結合されたイメージを生成するためにダイナミックレンジ圧縮後、ローパスイメージとハイパスイメージを結合する結合ユニットと、
    シーンのビューをレンダリングするように適合されたユーザインターフェースユニットと
    を有し、
    パラメータX0が、リアルタイムで手動または自動で調整されることができ、
    前記ダイナミックレンジ圧縮が、ローパスイメージに対してピクセル毎に実行されることを特徴とするイメージプロセッシングシステム。
  9. フィルタ周波数ユニットが、ローパスイメージを生成するローパスフィルタと、ハイパスイメージを生成するためにイメージデータからローパスイメージを引く減算ユニットとを有することを特徴とする請求項に記載のイメージプロセッシングシステム。
  10. ローパスフィルタが周りのピクセルのサブセットで中央のピクセルを平均化し、更に、周りのピクセルが、周りのピクセルと中央のピクセルとの間との値の特定の差によって重み付けされることを特徴とする請求項に記載のイメージプロセッシングシステム。
  11. ローパスフィルタが周りのピクセルのサブセットで中央のピクセルを平均化し、更に、周りのピクセルがバーチャルピクセルにグループ化され、バーチャルピクセルが、バーチャルピクセルと中央のピクセルとの間の値の差によって重み付けされることを特徴とする請求項に記載のイメージプロセッシングシステム。
  12. ローカルコントランスト強化を提供するためのコンピュータプログラムであって、該コンピュータプログラムが、
    第1の周波数コンポーネントイメージおよび第2の周波数コンポーネントイメージを生成するために、受信されたイメージデータに周波数フィルタを適用するためのコードと、
    第2の周波数コンポーネントイメージではない第1の周波数コンポーネントイメージでダイナミックレンジ圧縮を実行するためのコードであって、ダイナミックレンジ圧縮が、
    以下の関係を採用し、
    out=Pin*(1+X0)/(Pin+X0)
    ここで、Pinは入力ピクセルであり、Poutは出力ピクセルであり、X0は湾曲パラメータであることを特徴とする、実行するためのコードと、
    第1の周波数コンポーネントイメージのコントラストゲインを調整するコードと、
    ゲイン調整された第2の周波数コンポーネントイメージと、ダイナミックレンジ圧縮された第1の周波数コンポーネントイメージを包含する結合されたイメージを生成するためのコードと
    を有し、
    パラメータX0が、リアルタイムで手動または自動で調整されることができ、
    前記ダイナミックレンジ圧縮が、ローパスイメージに対してピクセル毎に実行されることを特徴とすることを特徴とする、コンピュータプログラム。
  13. 第1の周波数コンポーネントイメージが、ローパスイメージであり、第2の周波数コン
    ポーネントイメージがハイパスイメージである、ことを特徴とする請求項12に記載のコ
    ンピュータプログラム。
  14. 第1及び第2の周波数コンポーネントイメージを結合する前に、ゲインステージを第2の周波数コンポーネントイメージに適用するためのコードと
    を更に有することを特徴とする請求項12に記載のコンピュータプログラム。
  15. ユーザインターフェースユニットで結合されたイメージを表示するためのコードを更に有することを特徴とする請求項12に記載のコンピュータプログラム。
  16. 周波数フィルタを適用するコードが、周りのピクセルのサブセットで中央のピクセルを平均化するためのコードを更に有し、
    周りのピクセルが、周りのピクセルと中央のピクセルとの間の値の特定の差によって重み付けされる
    ことを特徴とする請求項12に記載のコンピュータプログラム。
  17. 周波数フィルタを適用するコードが、周りのピクセルのサブセットで中央のピクセルを平均化するためのコードを有し、
    周りのピクセルが、バーチャルピクセルにグループ化され、バーチャルピクセルが、バーチャルピクセルと中央のピクセルとの間の値の差によって重み付けされる、ことを特徴とする請求項12に記載のコンピュータプログラム。

JP2016077795A 2011-08-02 2016-04-08 ローカルエリアコントラスト強化 Active JP6302501B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/196,681 2011-08-02
US13/196,681 US8457418B2 (en) 2011-08-02 2011-08-02 Local area contrast enhancement

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014523929A Division JP6239505B2 (ja) 2011-08-02 2012-06-18 ローカルエリアコントラスト強化

Publications (3)

Publication Number Publication Date
JP2016189588A true JP2016189588A (ja) 2016-11-04
JP2016189588A5 JP2016189588A5 (ja) 2017-09-28
JP6302501B2 JP6302501B2 (ja) 2018-03-28

Family

ID=46466853

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014523929A Expired - Fee Related JP6239505B2 (ja) 2011-08-02 2012-06-18 ローカルエリアコントラスト強化
JP2016077795A Active JP6302501B2 (ja) 2011-08-02 2016-04-08 ローカルエリアコントラスト強化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014523929A Expired - Fee Related JP6239505B2 (ja) 2011-08-02 2012-06-18 ローカルエリアコントラスト強化

Country Status (6)

Country Link
US (1) US8457418B2 (ja)
EP (1) EP2740101B1 (ja)
JP (2) JP6239505B2 (ja)
KR (1) KR101577918B1 (ja)
IL (1) IL230452A (ja)
WO (1) WO2013019327A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137418A (ja) * 2011-12-28 2013-07-11 Panasonic Liquid Crystal Display Co Ltd 液晶表示装置
SE536510C2 (sv) * 2012-02-21 2014-01-14 Flir Systems Ab Bildbehandlingsmetod för detaljförstärkning och brusreduktion
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN104240183B (zh) * 2013-06-08 2017-03-29 富士通株式会社 图像处理过程中的滤波方法和装置
KR102265887B1 (ko) * 2013-10-15 2021-06-17 삼성전자주식회사 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
CN104240208A (zh) * 2014-09-30 2014-12-24 成都市晶林科技有限公司 非制冷红外焦平面探测器图像细节增强方法
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US9875524B2 (en) * 2015-01-16 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
US11908109B1 (en) * 2019-11-04 2024-02-20 madVR Holdings LLC Enhanced video processor
KR20210121508A (ko) 2020-03-30 2021-10-08 삼성전자주식회사 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템
US11528435B2 (en) 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
CN113496531B (zh) * 2021-03-31 2024-02-09 北京航天飞腾装备技术有限责任公司 一种红外图像动态范围压缩方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278529A (ja) * 1999-03-26 2000-10-06 Noritsu Koki Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP2008072450A (ja) * 2006-09-14 2008-03-27 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP2008160740A (ja) * 2006-12-26 2008-07-10 Sanyo Electric Co Ltd 画像処理装置
WO2009072537A1 (ja) * 2007-12-04 2009-06-11 Sony Corporation 画像処理装置および方法、プログラム、並びに記録媒体
JP2009272983A (ja) * 2008-05-09 2009-11-19 Fujifilm Corp 画像処理装置および方法並びにプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
JP3188491B2 (ja) * 1990-10-24 2001-07-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ X線記録のダイナミック圧縮方法及びその装置
KR0176601B1 (ko) 1996-05-21 1999-05-01 김광호 저역 필터링과 히스토그램 등화를 이용한 화질개선 방법 및 그 회로
US5978518A (en) 1997-02-25 1999-11-02 Eastman Kodak Company Image enhancement in digital image processing
US6137533A (en) * 1997-05-14 2000-10-24 Cirrus Logic, Inc. System and method for enhancing dynamic range in images
US6285798B1 (en) * 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
DE60022237T2 (de) * 1999-01-14 2006-07-06 Fuji Photo Film Co., Ltd., Minami-Ashigara Bidverarbeitungsverfahren und -System und Aufzeichnungsmedium zur Durchfürung des Verfahrens
US7315656B2 (en) * 2003-05-22 2008-01-01 The Boeing Company Methods and apparatus for enhanced viewing of aerial refueling operations
US7558436B2 (en) * 2006-07-20 2009-07-07 Max-Viz, Inc. Image dynamic range control for visual display
US7916967B2 (en) * 2006-07-20 2011-03-29 Panasonic Corporation Image processing apparatus and image processing method
JP4874184B2 (ja) * 2006-07-20 2012-02-15 パナソニック株式会社 画像処理装置及び画像処理方法
WO2009107197A1 (ja) * 2008-02-26 2009-09-03 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2010100609A1 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
JP2011090445A (ja) 2009-10-21 2011-05-06 Canon Inc 画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278529A (ja) * 1999-03-26 2000-10-06 Noritsu Koki Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP2008072450A (ja) * 2006-09-14 2008-03-27 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP2008160740A (ja) * 2006-12-26 2008-07-10 Sanyo Electric Co Ltd 画像処理装置
WO2009072537A1 (ja) * 2007-12-04 2009-06-11 Sony Corporation 画像処理装置および方法、プログラム、並びに記録媒体
JP2009272983A (ja) * 2008-05-09 2009-11-19 Fujifilm Corp 画像処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
JP2014522051A (ja) 2014-08-28
JP6239505B2 (ja) 2017-11-29
US8457418B2 (en) 2013-06-04
EP2740101A1 (en) 2014-06-11
IL230452A0 (en) 2014-03-31
US20130034307A1 (en) 2013-02-07
KR20140035521A (ko) 2014-03-21
WO2013019327A1 (en) 2013-02-07
IL230452A (en) 2016-06-30
EP2740101B1 (en) 2017-03-22
JP6302501B2 (ja) 2018-03-28
KR101577918B1 (ko) 2015-12-15

Similar Documents

Publication Publication Date Title
JP6302501B2 (ja) ローカルエリアコントラスト強化
CN106504278B (zh) 高动态范围色调映射
Delbracio et al. Mobile computational photography: A tour
WO2016139260A9 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
AU2014233518C1 (en) Noise aware edge enhancement
TWI387312B (zh) 影像雜訊消除方法以及影像處理裝置
TW201143378A (en) Temporal filtering techniques for image signal processing
KR101119268B1 (ko) 영상의 컬러 잡음 제거 방법 및 장치
JP2008160740A (ja) 画像処理装置
JP2017130060A (ja) 画像処理装置、画像処理方法及びプログラム
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2018152977A1 (zh) 一种图像降噪方法及终端和计算机存储介质
JP2012138043A (ja) 画像ノイズ除去方法及び画像ノイズ除去装置
JP2012128529A (ja) 画像処理装置及びその制御方法、プログラム
JP2015177528A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020187549A (ja) 画像処理装置、画像処理方法及びプログラム
TWI584642B (zh) 影像濾波裝置及其影像濾波方法
Liu et al. A novel method for high dynamic range with binocular cameras
Narasimha et al. A real-time high dynamic range HD video camera
JP6858073B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2016170637A (ja) 画像処理装置および画像処理方法
Li et al. Realistic Scenes Reproduction Based on Total Variation
JP2014158074A (ja) 画像処理装置、画像処理方法及びプログラム
JP6202989B2 (ja) 画像処理装置、画像処理方法およびプログラム
Huo et al. Evaluation of HDR tone mapped image and single exposure image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170816

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20170816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180302

R150 Certificate of patent or registration of utility model

Ref document number: 6302501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250