JP2018518735A - カラーキャリブレーション装置及び方法 - Google Patents

カラーキャリブレーション装置及び方法 Download PDF

Info

Publication number
JP2018518735A
JP2018518735A JP2017554010A JP2017554010A JP2018518735A JP 2018518735 A JP2018518735 A JP 2018518735A JP 2017554010 A JP2017554010 A JP 2017554010A JP 2017554010 A JP2017554010 A JP 2017554010A JP 2018518735 A JP2018518735 A JP 2018518735A
Authority
JP
Japan
Prior art keywords
image
histogram
outlier
edge
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017554010A
Other languages
English (en)
Other versions
JP6548743B2 (ja
Inventor
ファハド ボウサッラ
ファハド ボウサッラ
ウルファリオグリュ,オネ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2018518735A publication Critical patent/JP2018518735A/ja
Application granted granted Critical
Publication of JP6548743B2 publication Critical patent/JP6548743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本発明はさらに、少なくとも1つのソース画像の色を基準画像の色にマッピングする装置と方法に関する。本装置は、前記ソース画像のヒストグラムを前記基準画像のヒストグラムとマッチして、前記ソース画像のヒストグラムマッチ画像を生成するように構成されたヒストグラムマッチングユニット(52)と、前記基準画像の条件付き確率分布を生成するように構成された確率分布計算ユニット(54)と、前記条件付き確率分布に基づき前記ヒストグラムマッチ画像中の外れ値を検出するように構成された外れ値検出ユニット(55)とを有する。

Description

本発明はカラーキャリブレーション装置に関し、より具体的には、少なくとも1つのソース画像の色を基準画像の色にマッピングする装置に関する。本発明はさらに、少なくとも1つのソース画像の色を基準画像の色にマッピングする方法に関する。最後に、本発明は、例えば高ダイナミックレンジイメージング、背景減算、または動き推定の画像処理において、このような方法を実行するプログラムコード、このような方法を使用するプログラムコードを有するコンピュータプログラムに関する。
コンピュータビジョンおよびコンピューテーショナルフォトグラフィのような画像処理の分野では、画像グループの全体的な視覚的品質を向上させることが望ましい。このような向上は、色と、場合によっては内容の差異とを提示する2つの画像の間でカラーキャリブレーションを実行することによって2つの画像間の類似性を向上することにある。このようなカラーキャリブレーションは、カラーマッチングとも呼ばれる。
従来技術では、カラーキャリブレーションは、典型的には、ヒストグラムマッチング(HM)技術によって行われる。ヒストグラムマッチング技術は、画像間の色の不一致を減少させるために、異なる露出を示す2つの画像の間で色調整を行うことにある。ヒストグラムマッチングは、例えば、Gonzalez and Woods著「Digital Image Processing」(New Jersey、Prentice Hall、2006)で知られている。ヒストグラムマッチングは、カラーマッチング技術であり、ソース画像のヒストグラムが基準画像のヒストグラムとマッチングされる。
それにもかかわらず、カメラまたは物体の動きのためにソース画像と基準画像が完全に位置合わせされていない場合、ヒストグラムマッチングは、ミスマッチによるアーティファクトを生成することがある。ヒストグラムマッチング画像、すなわち、ヒストグラムマッチング動作によって生成された結果画像は、ソース画像と基準画像との間に大きな露出差がある場合に、ミスマッチに起因するアーティファクトも示すことがある。さらに、ヒストグラムマッチングは、一般的に、ソース画像の暗領域を明るくすることを含み、同時に、画像ノイズのレベルを増加させ、結果として得られる画像の画質をさらに低下させる。
上記の欠点と問題を考慮して、本発明は技術水準の向上を目的とする。特に、本発明の目的は、2つの画像間のカラーキャリブレーションを改善できる装置と方法を提供することである。
本発明は、ヒストグラムマッチングの品質を、特にヒストグラムマッチング結果に含まれる可能性のあるカラーアーチファクトおよび画像ノイズに関して、改善することも意図する。また、本発明は、ヒストグラムマッチングに関連するアーティファクトまたはノイズを示すピクセル(かかるピクセルは外れ値と呼ばれる)を検出すること、及び有利にもヒストグラムマッチング結果を補正することも意図する。
本発明の上記の目的は、添付の独立請求項に提供される解決策によって達成される。本発明の有利な実施形態はさらに各従属項に規定されている。
本発明の第1の態様では、少なくとも1つのソース画像の色を基準画像の色にマッピングする装置が提供される。該装置は、前記ソース画像のヒストグラムを前記基準画像のヒストグラムとマッチして、前記ソース画像のヒストグラムマッチ画像を生成するように構成されたヒストグラムマッチングユニットを有する。該装置は、基準画像の条件付き確率分布を生成するように適合される確率分布計算ユニットを有する。該装置はさらに、前記条件付き確率分布に基づき前記ヒストグラムマッチ画像中の外れ値を検出するように構成された外れ値検出ユニットを有する。
それにより、基準画像内の条件付き色分布、すなわち中心ピクセルとその近傍の組み合わせが、基準画像内のすべてのピクセルについて、ヒストグラムマッチ画像と同じでなければならないと仮定する。条件付き色分布は、条件付き確率分布とも呼ばれる。可能性のある外れ値、すなわちミスマッチによるアーティファクトおよびノイズの検出は、ヒストグラムマッチ画像内の観測された条件付き色分布が、基準画像の目標とされた色分布内にありそうかどうかをチェックすることに基づいている。
第1の態様による装置の第1の実施形態では、確率分布計算ユニットは、所与ピクセルの近傍ピクセルの強度が与えられたとき、基準画像の前記所与ピクセルの強度の条件付き確率を推定することにより、条件付き確率分布を生成するように構成され、近傍ピクセルは近傍構成にしたがって選択される。
これにより、基準画像の目標色分布を決定することができるので、ヒストグラムマッチ画像は、外れ値の検出を可能にするように、基準画像の条件付き確率分布に関して評価することができる。
第1の態様による装置のさらに別の実施形態では、近傍構成は、ソース画像および/または基準画像の内容に応じて適応的に選択される。
これにより、条件付き確率分布は固定されず、特に基準画像に対して校正されなければならない現在のソース画像に適合させることができる。外れ値検出の品質は、近傍構成を現在の入力画像の内容に適合させることによっても向上させることができる。
第1の態様による装置のさらに別の実施形態では、
近傍構成によって規定される近傍の数は、ソース画像および/または基準画像のテクスチャに依存する。好ましくは、近傍の数は、均一領域がより大きい、及び/又はテクスチャがより少ないソース画像および/または基準画像ほど、増加される。
これにより、ソース画像及び/又は基準画像が大きな均一領域又は少ないテクスチャを有する場合、近傍ピクセルの数を増加させることができ、構成全体のサイズを増大させることができ、外れ値の検出を改善することができる。一方、入力画像がより多くのテクスチャを含む場合、または小さな均質領域のみを含む場合、近傍の数および構成全体のサイズを低減することができ、これはまた、ヒストグラムマッチ画像内の外れ値を検出するための計算時間および労力を低減する。
第1の態様による装置のさらに別の実施形態では、外れ値検出ユニットは、条件付き確率分布に基づいて、近傍構成に従って選択された、マッチしたピクセルとその近傍ピクセルとの組み合わせの確率が閾値Tよりも低い場合、ヒストグラムマッチ画像のマッチしたピクセルを外れ値として検出する。
第1の態様による装置のさらに別の実施形態では、前記外れ値検出ユニットは、前記マッチしたピクセルと前記近傍構成にしたがって選択されたその近傍ピクセルとについて、前記条件付き確率が閾値よりも低い場合、前記ヒストグラムマッチ画像のマッチしたピクセルを外れ値として検出するように適合される。
それにより、所与のピクセルの組み合わせの確率と閾値との比較、または条件付き確率と閾値との比較は、ピクセルが外れ値であることを自動的に検出するための便利な技法を提供する。
第1の態様による装置のさらに別の実施形態では、前記閾値はユーザにより予め確定され、または自動的に計算される。好ましくは、前記閾値は0.05と0.3の間にある。
それにより、外れ値検出の品質をさらに適合させることができる。ユーザは、しきい値を設定してニーズに最も適した比較しきい値を確定できる。さらに、閾値は、事前の実験によって達成された結果に基づいて自動的に適合させることができる。
第1の態様による装置のさらに別の実施形態では、前記外れ値検出ユニットは、各カラーチャネルについて前記ヒストグラムマッチ画像中の外れ値を検出するように適合される。
これにより、1つ以上のカラーチャネルを有するソース画像に対して外れ値を検出することができる。
第1の態様による装置のさらに別の実施形態では、前記外れ値検出ユニットは、前記ヒストグラムマッチ画像中に検出されたすべての外れ値を特定する外れ値マップを生成するように適合される。
これにより、外れ値検出の結果は、外れ値マップ内の外れ値として識別されたピクセルのその後の補正を可能にするように、便利な方法で外れ値マップに要約される。
第1の態様による装置のさらに別の実施形態では、該装置は、前記条件付き確率分布に基づき、前記外れ値検出ユニットにより外れ値として検出された前記マッチしたピクセルの強度を補正することにより外れ値を補正するように適合された外れ値補正ユニットを有する。
これにより、アーティファクト及びノイズのより少ない改善されたヒストグラムマッチ画像を生成するため、ヒストグラムマッチ画像において最初に検出された外れ値を補正することもできる。
第1の態様による装置のさらに別の実施形態では、条件付き確率を最大化する強度を見つけることによって、外れ値として検出されたマッチングされたピクセルの強度を補正する。
これにより、条件付き確率を最大にする新しく発見された強度が、ヒストグラムマッチ画像中の以前の強度値を置き換える。この置換によって、改善されたヒストグラムマッチ画像が作成される。
第1の態様による装置のさらに別の実施形態では、前記外れ値検出ユニットと前記外れ値補正ユニットは、外れ値の検出と外れ値の補正を複数回繰り返すように適合される。前記ソース画像及び/又は前記基準画像中のテクスチャの量が減少したとき、反復回数は好ましくは増加される。
それにより、プロセスの反復により、ヒストグラムマッチ画像の品質の更なる改善が可能になる。さらに、テクスチャのようなソース画像の内容に基づく反復回数の適合により、不必要な反復を回避し、テクスチャ量が増加するとき、計算時間および計算リソースを節約することができ、テクスチャ量が減少するとき、全体的な品質を向上させることができる。
第1の態様による装置のさらに別の実施形態では、該装置は、前記基準画像のエッジを検出し、前記ヒストグラムマッチ画像のエッジを検出し、前記基準画像の対応するエッジマップと、前記ヒストグラムマッチ画像の対応するエッジマップとを生成するように適合されるエッジ検出ユニットを備える。前記確率分布計算ユニットは、前記基準画像のエッジマップに基づき前記条件付き確率を生成するように適合される。前記外れ値検出ユニットは、前記ヒストグラムマッチ画像のエッジマップに基づいて前記ヒストグラムマッチ画像中の外れ値を検出するように適合される。
エッジは、大きな勾配を含み、条件付き分布のサポートが粗くなるという事実のため、実際には特別な注意を必要とする。結果として、エッジは、外れ値として、すなわちヒストグラムマッチ画像における誤ったピクセルとして検出される可能性がある。これにより、エッジ検出は、エッジをさらなる処理から除外することによって外れ値検出を改善することができ、エッジにはピクセル色分布の推定は行われない。次に、確率分布計算ユニットは、条件付き確率分布を生成するために基準画像のエッジマップのエッジを考慮しないように、すなわち基準画像上で検出されたエッジを条件付き確率の推定から除外することができるように適合される。外れ値検出ユニットは、外れ値を検出するためにヒストグラムマッチ画像のエッジマップのエッジを考慮しないように適合させることができる。
第1の態様による装置のさらに別の実施形態では、該装置は融合演算ユニットを有する。エッジ検出ユニットは、ソース画像のエッジを検出し、ソース画像の対応するエッジマップを生成するように適合される。融合演算ユニットは、ヒストグラムマッチ画像のエッジマップとソース画像のエッジマップとを合成することにより、ヒストグラムマッチ画像のエッジマップを処理するように適合される。
これにより、ソース画像上で検出されたエッジを考慮に入れることができ、ヒストグラムマッチ画像に対して実行されるエッジ検出を改善することができる。さらに、ヒストグラムマッチ画像上で検出されなかったエッジも、さらなる処理から除外することが可能である。
第1の態様による装置のさらに別の実施形態では、該装置は、各ピクセル位置について、この位置のピクセルが前記ヒストグラムマッチ画像又は前記ソース画像中でよりよく露出されるかどうかを識別する露出マップを生成するように構成された露出評価ユニットを有する。融合演算ユニットは、露出マップに応じてヒストグラムマッチ画像のエッジマップとソース画像のエッジマップとを合成することにより、ヒストグラムマッチ画像のエッジマップを処理するように適合される。
これにより、露出に基づく組み合わせは効率的なエッジマージ動作を可能にする。
第1の態様による装置のさらに別の実施形態では、該装置は、前記基準画像のエッジマップと、前記ヒストグラムマッチ画像のエッジマップとにエロージョンを適用するように適合されたエロージョン演算ユニットを有する。
これにより、検出されたエッジのすぐ近くのピクセルも、さらなる処理から除外することができる。
第1の態様による装置のさらに別の実施形態では、前記エロージョン演算ユニットはエロージョンカーネルにしたがって前記エロージョンを適用するように適合される。前記エロージョンカーネルのサイズは前記近傍構成に依存し、特に、前記近傍構成のサイズ又は深さに依存する。
これにより、エロージョンは近傍構成に依存するので、エロージョンは、エッジピクセルが近傍ピクセルのセットの一部になるのを防ぐことができ、外れ値を検出して補正するときに、エッジピクセルが考慮されることを防ぐことができる。
本発明の第2の態様は、少なくとも1つのソース画像の色を基準画像の色にマッピングする方法を提供する。該方法は、前記ソース画像のヒストグラムマッチ画像を生成するために、前記ソース画像のヒストグラムを前記基準画像のヒストグラムとマッチングすることを含むヒストグラムマッチングを含む。該方法は、前記基準画像の条件付き確率分布を生成することを含む確率分布計算を含む。該方法は、前記条件付き確率分布に基づいて前記ヒストグラムマッチ画像中の外れ値を検出することを含む外れ値検出を含む。
本発明の第2の態様による方法は、本発明の第1の態様によるシステムによって実行することができる。本発明の第2の態様による方法のさらに別の特徴または実装形態は、本発明の第1の態様による装置およびその異なる実装形態の機能を実行することができる。
本発明の第3の態様では、コンピュータプログラムがコンピューティングデバイス上で実行されるときに、この方法を実行するためのプログラムコードを有するコンピュータプログラムが提供される。
本発明の第4の態様では、高ダイナミックレンジイメージング、背景減算、又は動き推定のための、この方法の使用が提供される。
留意点として、本出願において説明される全てのデバイス、要素、ユニット及び手段は、ソフトウェア要素又はハードウェア要素又はそれらの任意の種類の組み合わせで実施され得る。本出願に記載されている様々なエンティティによって実行されるすべてのステップ、及び様々なエンティティによって実行されるように記載された機能は、それぞれのエンティティがそれぞれのステップおよび機能を実行するように適合または校正されていることを意味することを意図している。特定の実施形態の以下の説明において、その特定のステップまたは機能を実行するエンティティの特定の詳細な要素の記述に反映されていない永続的なエンティティによって完全に形成される特定の機能またはステップがあったとしても、当業者であれば、これらの方法および機能は、それぞれのソフトウェア要素、またはハードウェア要素、またはそれらの任意の種類の組み合わせで実施することができることは明らかである。
本発明の上記態様および実施形態は、添付の図面に関連する具体的な実施形態の以下の説明において説明される。
本発明の一実施形態による装置を示す図である。 本発明の一実施形態による近傍構成を示す図である。 本発明の一実施形態による外れ値検出ユニットによって生成される外れ値マップを示す。 本発明の一実施形態による装置を示す図である。 本発明の一実施形態によるエッジマッピングユニットを示す図である。 本発明の一実施形態によるエッジマッピングユニットの入力画像と、エッジマッピングユニットによって生成された異なるマップとを示す図である。 本発明の一実施形態による外れ値検出・補正ユニットを示す図である。
図1は、本発明の一実施形態による装置56を示す模式図である。
装置56は、少なくとも1つのソース画像の色を基準画像の色にマッピングするように構成されている。この場合、カラーマッピング、すなわちカラーキャリブレーションまたはカラーマッチングは、ソース画像の色を基準画像の色にマッピングする動作である。装置56は、前記ソース画像のヒストグラムを前記基準画像のヒストグラムとマッチして、前記ソース画像のヒストグラムマッチ画像を生成するように構成されたヒストグラムマッチングユニット52と、前記基準画像の条件付き確率分布を生成するように構成された確率分布計算ユニット54と、前記条件付き確率分布に基づき前記ヒストグラムマッチ画像中の外れ値を検出するように構成された外れ値検出ユニット55とを有する。
ソース画像は、カラーマッピング動作中に色分布またはヒストグラムが基準にマッピングされる画像であり、基準画像は、カラーマッピング動作中に色分布またはヒストグラムが基準として使用される画像である。
ヒストグラムマッチングユニット52は、ソース画像である入力画像のヒストグラムを、基準画像である入力画像のヒストグラムにマッチングさせて、ソース画像のヒストグラムマッチ画像を生成するように構成される。図1に示すヒストグラムマッチングユニット52は、ソース画像と基準画像である2つの入力を有し、ソース画像に対してヒストグラムマッチングを行うか、ソース画像に対してヒストグラムマッチングベースの手法を実行する。ヒストグラムマッチングユニット52の出力は、ソース画像のヒストグラムマッチ画像である。あるいは、ヒストグラムマッチングユニット52は、いくつかのソース画像および基準画像からなる3つ以上の入力を備えることができる。そのような場合、ヒストグラムマッチングユニット52は、ソース画像のそれぞれのヒストグラムマッチ画像であるいくつかの出力も提供する。
ヒストグラムマッチングユニット52によって実行されるヒストグラムマッチングは、ソース画像のヒストグラムを基準画像のヒストグラムにマッチングすること、すなわちソースヒストグラムを基準ヒストグラムにマッチングすることを含む。このマッチングは、ソース画像のヒストグラムマッチ画像を出力し、この画像のカラー特性は、理想的には基準画像の色特性に近い。
マッチングは、当技術分野で知られているように、ヒストグラムマッチ画像を生成する以下のステップを含むことができる。
最初に、それぞれのヒストグラムが、ソース画像および基準画像から生成される。ヒストグラムは、画像のピクセル色強度の分布のグラフィカル表示である。次いで、生成された2つのヒストグラムのそれぞれは、ヒストグラム値をそれぞれの画像の全ピクセル数で除算することによって正規化される。
さらなるステップでは、正規化されたヒストグラムが処理されて、ソース画像および基準画像の両方のヒストグラムのそれぞれの累積分布関数(CDF)が生成される。ここで、CDFは、式FX(x)=P(X≦x)による、ある値xと等しい又はより大きい、確率分布を有する確率変数Xの尤度を記述する。2つのCDFはそれぞれFsource()とFreference()と名前が付けられてもよい。次に、2つのCDFはそれぞれルックアップテーブルとして動作する。各ルックアップテーブルのインデックスはグレーレベル値に対応し、所与のインデックスにおける各ルックアップテーブルの内容はCDFの値に対応する。たとえば、グレーレベル値の範囲は0から255である。
さらなるステップでは、関連付けられたグレーレベル値Isourceを有するソース画像の各ピクセルについて、ソース画像のルックアップテーブルが、ソース画像のCDFの対応する値を決定するために使用される。次いで、このCDF値が検索され、ルックアップテーブルにおいて特定されて、基準画像内の対応するグレーレベル値Ireferenceが決定される。最後に、ソース画像内のグレーレベルIsourceをグレーレベルIreferenceに置き換え、ソース画像のヒストグラムマッチ画像を生成する。言い換えれば、2つのCDFを用いて、{0,255}の範囲内のソース画像内のすべてのピクセルグレイレベルIsourceを、次の式を満たす新しい強度Ireferenceとマッチングさせる:
source(Isource)=Freference(Ireference)。
確率分布計算ユニット54は、基準画像の条件付き確率分布を生成するように構成される。好ましくは、確率分布計算ユニット54は、所与ピクセルの近傍ピクセルの強度In1,In2,In3…InNが与えられたとき、基準画像の前記所与ピクセルの強度Iの条件付き確率p(I|In1,In2,In3…InN)を推定することにより、条件付き確率分布を生成するように構成され、近傍ピクセルは近傍構成にしたがって選択される。
これは、基準画像の色分布をモデル化するために使用される条件付き確率が計算されることを意味する。N個の近傍を有する選択された近傍構成に対して、各隣接に対して、条件付き確率p(I|In1,In2,In3...InN)が推定される。値IおよびIn1ないしInNは、それぞれ、近傍構成の中心ピクセルの強度および近傍構成の残りのピクセルのN個の強度を表す。
推定された条件付き確率は、式p(a|b)=p(a,b)/p(b)にしたがってベイジアンフレームワークを用いて、目標色分布を含む基準画像から計算された結合確率p(I,In1,In2,In3...InN)およびp(In1,In2,In3...InN)に基づく。あるいは、条件付き確率の推定に先立って、結合確率が統計的に独立であると仮定することも可能である。
図2は、本発明の一実施形態による、確率分布計算ユニット54、より一般的には装置56によって使用されるそのような近傍構成の例を示す。
第1の例によれば、近傍構成は、中心ピクセルならびにその中心ピクセルに直接隣接する4つのピクセル、すなわち中心ピクセルの上のピクセル1、下のピクセル3、左のピクセル2、及び右のピクセル4の4つのピクセルを含む。図2の第2の例は、中心ピクセルと、各4方向の2つずつのピクセル、すなわち中心ピクセルの上の2つのピクセル1、5と、その下の2つのピクセル3、7と、その左の2つのピクセル2、6と、その右の2つのピクセル4、8とを含む。中心ピクセルの上の2つのピクセルは、実際には、中心ピクセル1の上に位置する隣接ピクセル、および後者の上に位置する隣接ピクセルに対応する。第3の構成は、中心ピクセルと、中心ピクセルを取り囲む8つのすべてのピクセル、すなわち、4つの隣接ピクセル1,2,3,4と、斜め方向に隣接する4つのピクセル5,6,7,8とを含む。第4の構成は、第2の構成と第4の構成の組み合わせであり、これに対応して、中心ピクセルの他に、これらの第2の構成および第3の構成で規定されたすべての隣接ピクセルを含む。
装置56によって、特に確率分布計算ユニット54によって使用される近傍構成は、好ましくは、ソース画像および/または基準画像の内容に応じて適応的に選択される。近傍構成の選択は、入力画像の性質に適合するように適応的に設定することができる。両方の入力画像が類似の内容を含むと考えられるので、適応選択は、ソース画像または基準画像に応じて実行することができ、または両方の入力画像に応じて実行することさえもできる。
近傍構成によって規定される近傍の数は、好ましくは、ソース画像および/または基準画像のテクスチャに依存する。好ましくは、近傍の数は、均一領域が大きいソース画像および/または基準画像ほど、増加される。あるいは、それに加えて、近傍の数は、より少ないテクスチャを提示するソース画像および/または基準画像に対して増加される。テクスチャが豊富な入力画像では、図2の第1の構成のように、近傍がより少ない数である構成がより適切である。一方、図2の第4の構成のように、より多数の近傍を有する構成は、均一領域が大きくテクスチャがより少ない画像により適している。
近傍構成の適応選択のために、装置56は、図2に示す構成のようなさまざまな近傍構成を記憶するように適合されたメモリ(図示せず)を備えることができる。装置56はさらに、入力画像内のテクスチャ量を定量化し、定量化されたテクスチャ量に応じて格納された構成を選択するように適合させることができる。定量化は、例えば、エッジ検出を用いる統計的手法に基づくことができる。
図1を参照して、外れ値検出ユニット55は、前記条件付き確率分布に基づき前記ヒストグラムマッチ画像中の外れ値を検出するように適合される。外れ値検出ユニット55は、ヒストグラムマッチングユニット52により生成されたヒストグラムマッチ画像と、確率分布計算ユニット54により生成された条件付き確率分布との2つの入力を有する。外れ値は、ヒストグラムマッチングに関連するアーティファクトが検出されるピクセルであると定義される。
以前に計算された条件付き確率分布は、ヒストグラムマッチングアーチファクトおよびノイズ、すなわち外れ値を検出するために使用される。根底にあるアイデアは、ヒストグラムマッチ画像の中の各ピクセルについて、指定された構成に従って、この特定の中心ピクセル強度とその近傍の組み合わせが、可能性が高いか否かをチェックすることである。
好ましくは、外れ値検出ユニット55は、条件付き確率分布に基づいて、近傍構成に従って選択された、マッチしたピクセルとその近傍ピクセルとの組み合わせの確率が閾値Tよりも低い場合、ヒストグラムマッチ画像のマッチしたピクセルを外れ値として検出する。
好ましくは、外れ値検出ユニット55は、マッチしたピクセルと近傍構成にしたがって選択された近傍ピクセルとについて、条件付き確率p(Ic|In1,In2,In3...InN)が閾値Tよりも低い場合、ヒストグラムマッチ画像のマッチしたピクセルを外れ値として検出する。近傍構成は、好ましくは、条件付き確率分布を生成する確率分布計算ユニット54のコンテキストで装置によって既に選択された構成である。
したがって、外れ値検出ユニット55では、以前に推定された条件付き確率分布および閾値Tを考慮して、ヒストグラムにマッチする外れ値が検出される。提案されたアプローチは、ヒストグラムマッチ画像内の考慮中のピクセルおよびその近傍の分布が、可能性が高いかどうかをチェックする:
−p(I|In1,In2,In3...InN)>Tならば、ピクセルが正しいマッチに対応している可能性が高く、
−p(I|In1,In2,In3...InN)<Tならば、ピクセルがミスマッチである可能性が高い。
条件付き確率がTより小さい場合、中心ピクセル(考慮中のピクセル)は誤りであると仮定され、したがって外れ値とみなされる。
閾値Tは、好ましくは装置に格納されるが、ユーザによって予め定められるか、または自動的に計算され得る。ユーザは、例えば、閾値Tの値を装置に送信するか、またはその値を装置に直接格納することができる。閾値Tの値は、事前の実験に基づいて、すなわち経験的に計算することができる。例えば、事前の実験において、外れ値として検出されたマッチしたピクセルの数が大きすぎる場合、すなわち、検出された外れ値の数が実際の外れ値の数に対して大きすぎる場合、閾値Tを小さくして、次のカラーマッピング動作では検出される外れ値をより少なくすることができる。反対の場合には、次のカラーマッピング動作においてより多くの外れ値を検出するように閾値Tを増加させることができる。閾値Tは、好ましくは0.05ないし0.3の値に設定することができる。
外れ値検出ユニット55は、好ましくは、各カラーチャネルについてのヒストグラムマッチ画像における外れ値を検出するように適合される。すなわち、赤チャネル、緑チャネル、および青チャネルのヒストグラムマッチ画像において外れ値を検出することができる。検出は、各チャネルに対して独立して行われる。外れ値検出が行われるカラーチャネルは、選択されるカラーモデルに依存する。カラーマッピングがRGBカラーモデルに基づく場合、赤、緑、および青の各チャネル内において外れ値が検出される。代替的なCMYKカラーモデルでは、4つのシアン、マゼンタ、イエロー、およびブラックの各チャネルにおいて外れ値が検出される。入力画像、すなわちソース画像および基準画像がグレースケール画像である場合、1つのチャネルのみが利用可能であり、このチャネルのみに対して外れ値が検出される。
外れ値検出ユニット55は、好ましくは、ヒストグラムマッチ画像内で検出されたすべての外れ値を特定する外れ値マップを生成するように適合される。外れ値マップは、好ましくはバイナリ外れ値マップ、すなわちヒストグラムにマッチする外れ値の位置または座標を示すマップである。バイナリ外れ値マップの白いピクセルは、ほぼ確実にヒストグラムマッチングに関連する外れ値の位置を示すが、黒いピクセルは、外れ値として検出されなかったことを示す。逆に、バイナリ外れ値マップの黒いピクセルも、検出された外れ値を示すことができる。
外れ値検出ユニット55が、RGBチャネルのようないくつかのカラーチャネルについてヒストグラムマッチ画像の外れ値を検出するように適合されている場合、外れ値検出ユニット55は、いくつかの外れ値マップを生成するようにも適合される。好ましくは、各カラーチャネルに対して1つの外れ値マップが生成される。
この点、図3は、本発明の一実施形態による外れ値検出ユニットによって生成される外れ値マップを示す。図示された3つの外れ値マップは、赤、緑、および青の各チャネルのバイナリ外れ値マップであり、白のピクセルは、ほぼ確実に検出された外れ値を示す。
図4は、本発明の一実施形態による装置106を示す図である。装置106は、少なくとも1つのソース画像の色を基準画像の色にマッピングするように構成されている。
装置106は、前記ソース画像のヒストグラムを前記基準画像のヒストグラムとマッチして、前記ソース画像のヒストグラムマッチ画像を生成するように構成されたヒストグラムマッチングユニット102と、前記基準画像の条件付き確率分布を生成するように構成された確率分布計算ユニット104と、前記条件付き確率分布に基づき前記ヒストグラムマッチ画像中の外れ値を検出するように構成された外れ値検出・補正ユニット105とを有する。好ましくは、ヒストグラムマッチングユニット102、確率分布計算ユニット104、外れ値検出・補正ユニット105はそれぞれ、図1に示された装置56のヒストグラムマッチングユニット52、確率分布計算ユニット54、及び外れ値検出ユニット55に対応し、これらの機能を有し、後者のユニット52、54、55と同じ特徴を実行するように適合されている。装置106のこれらのユニットの追加的特徴を以下に詳述する。
好ましくは、装置106はさらに、キャプチャ基準画像ユニット100およびキャプチャソース画像ユニット101を備える。これらのユニット100、101は、好ましくは、基準画像およびソース画像をキャプチャするカメラである。2つ以上のソース画像に対してカラーマッピングが実行される場合、装置106は、1つ以上の追加的なキャプチャソース画像ユニットを備えることができる。あるいは、基準画像およびソース画像は、単一のキャプチャ画像ユニット(図示せず)のみによってキャプチャされ、その単一のキャプチャ画像ユニットは基準画像およびソース画像を順次、またはその逆にキャプチャするために使用されることができる。かかる単一のキャプチャ画像ユニットの出力は、ヒストグラムマッチングユニット102に接続される。代替的に、キャプチャ基準画像ユニット100およびキャプチャソース画像ユニット101を備える代わりに、装置106は、基準画像およびソース画像を受信し、それらをヒストグラムマッチングユニット102に送信するように適合されている1つまたは複数のインタフェース(図示せず)を備えることができ、この場合、基準画像およびソース画像は、装置106の外部でキャプチャされる。
さらに、装置106は、好ましくはエッジマッピングユニット103を備える。エッジマッピングユニット103は、図5により詳細に示されている。
エッジマッピングユニット103は、好ましくは、エッジ検出ユニット301を備え、エッジ検出ユニットは、基準画像のエッジを検出し、ヒストグラムマッチ画像のエッジを検出し、基準画像の対応するエッジマップと、ヒストグラムマッチ画像の対応するエッジマップとを生成するように適合される。これは、基準画像のエッジマップが、その基準画像のすべての検出されたエッジを識別し、ヒストグラムマッチ画像のエッジマップが、そのヒストグラムマッチ画像のすべての検出されたエッジを識別することを意味する。エッジ検出ユニット301は、Cannyエッジ検出器のような既知のエッジ検出器、または例えば差分エッジ検出のような代替技術に基づく検出器を含む。
したがって、確率分布計算ユニット104は、基準画像に基づき、また基準画像のエッジマップに基づき、条件付き確率分布を生成するように適合される。これは、条件付き確率分布を生成するために、基準画像中に検出されたエッジが考慮されないことを意味する。
同様に、外れ値検出・補正ユニット105は、条件付き確率分布に基づいて、またヒストグラムマッチ画像のエッジマップに基づいて、ヒストグラムマッチ画像中の外れ値を検出するように適合される。これは、外れ値を検出する際に、ヒストグラムマッチ画像中に検出されたエッジが考慮されないことを意味する。
さらに、エッジマッピングユニット103は、好ましくは、基準画像のエッジマップおよびヒストグラムマッチ画像のエッジマップにエロージョンを適用するように適合されたエロージョン演算ユニット302を備える。言い換えれば、エロージョン演算ユニット302は、第1に、基準画像とヒストグラムマッチ画像において既に検出されているエッジの近傍のピクセルを検出し、第2に、エッジの近傍で検出されたピクセルも2つのエッジマップによって識別されるように、基準画像のエッジマップとヒストグラムマッチ画像のエッジマップとを適宜補正するように適合される。エロージョンは、バイナリ画像、例えば、白黒画像に適用されるとき、オブジェクトの境界上のピクセルを除去する形態的画像処理演算である。これは一般的に境界とエッジの拡張を意味する。図4において、エッジ検出ユニット301の出力は、エロージョン演算ユニット302の入力に相応する。
好ましくは、エロージョン演算ユニット302は、エロージョンカーネルに従ってエロージョンを適用するように、すなわち、エロージョンカーネルに従ってエッジの近傍のピクセルを検出するように適合される。エロージョンカーネルのサイズは、装置の近傍構成に依存することができ、例えば、近傍構成のサイズと同じであってもよい。エロージョンカーネルのサイズは、隣接構成のサイズまたは深さに依存し得る。深さは、近傍構成内で、中心ピクセルからより遠いピクセルまでの距離であると定義することができる。例えば、図2に示す第1および第3の構成は、中心ピクセル以外のすべてのピクセルが中心ピクセルの直接的な隣接ピクセルであるため、深さ2を示す。第2および第4の構成は、例えば、第2の構成では、より遠くにあるピクセル5、6、7、8が、1つのさらなるピクセルだけ中心ピクセルから離れているので、深さ3を示す。
さらに、エッジマッピングユニット103は、融合演算ユニット304を含むことが好ましい。エッジ検出ユニット301は、ソース画像のエッジを検出し、ソース画像の対応するエッジマップを生成するように適合される。融合演算ユニット304は、ヒストグラムマッチ画像のエッジマップとソース画像のエッジマップとを合成することにより、ヒストグラムマッチ画像のエッジマップを処理するように適合される。ヒストグラムマッチ画像の処理されたエッジマップは、図4および図5のジョイントエッジマップと呼ばれる。任意に、エロージョン演算ユニット302は、ソース画像のこの生成されたエッジマップにエロージョンを適用するように適合される。
さらに、エッジマッピングユニット103は、各ピクセル位置(x,y)について、この位置(x,y)のピクセルがヒストグラムマッチ画像又はソース画像によりよく露出されるかどうかを識別する露出マップを生成するように構成された露出評価ユニット303を含むことが好ましい。融合演算ユニット304は、露出マップに応じてヒストグラムマッチ画像のエッジマップとソース画像のエッジマップとを合成することにより、ヒストグラムマッチ画像のエッジマップを処理するように適合される。
この場合、ピクセルが他のピクセルよりも良く露出されていることは、ピクセルが前記他のピクセルよりも良好な露出を示すことを意味し、露出は、キャプチャユニットによって、すなわち、例えばカメラによって収集される光の量を表す。低露出画像は暗く見え、高露出画像は明るく見える。露出マップは、低露出または高露出のピクセルを無視し、露出が良好なピクセルを特別扱いすることを可能にする。
露出評価ユニット303は、ソース画像とヒストグラムマッチ画像から露出マップを生成する。露出マップは、各ピクセルについて、このピクセルが最もよく露出される画像を示すバイナリマップである。例えば、バイナリマップが所与のピクセル位置(x,y)において1(または0)の値を有する場合、これはこの位置によって規定されたピクセルがソース画像においてよりよく露出されることを示し、0(または1)の値は、ピクセルがヒストグラムマッチ画像においてより良く露出されることを示す。露出マップは、例えば、Mertens、Kautz、およびVan Reeth著、「Exposure Fusion」(Pacific Graphics、2007、pp.369−378)に記載されている既知の露出融合法に従って生成することができる。
融合演算ユニット304は、ヒストグラムマッチ画像のエッジマップ、ソース画像のエッジマップ、及び好ましくは露出マップであるいくつかの入力を有する。ヒストグラムマッチ画像のエッジマップは、融合演算ユニット304が露出マップに応じてヒストグラムマッチ画像のエッジマップとソース画像のエッジマップとを適応的にマージするという点で処理される。マージ動作は、事前に生成されたバイナリ露出マップに基づき、より高い露出値を有するエッジピクセルがジョイントエッジマップに、すなわちヒストグラムマッチ画像の処理済みのエッジマップに選択される。これにより効率的なエッジマージ動作が可能になる。
より高い露出を有するピクセルの選択により、例えば、0に近い、または1に近い強度を有するピクセル、すなわち、露出不足または過露出のピクセルを廃棄することを可能にする。露出は、以下の式に従ってガウシアン加重曲線を使用することによって計算することができる:
Figure 2018518735
Mertens、Kautz、およびVan Reeth著「Exposure Fusion」(Pacific Graphics、2007、pp。369−378)で提案されているように、露出度または十分な露出は、各ピクセルの強度をそれがどれだけ0.5に近いかに基づいて加重することにより得られ、上記式におけるδの値は0.2であってもよい。いくつかのチャネルにいくつかの強度を有するピクセルの場合、各チャネルにガウシアン加重曲線を適用し、次に各チャネルの得られた値を加算または乗算することによって、露出を得ることができる。
図6は、本発明の一実施形態によるエッジマッピングユニットの入力画像と、エッジマッピングユニットによって生成された異なるマップとを示す図である。具体的に、図6は、図5を参照して説明した様々な画像およびエッジマップの例を示す。
図7は、本発明の一実施形態による外れ値検出・補正ユニットを示す図である。図7は、図4の外れ値検出・補正ユニット105の詳細な模式図である。
外れ値検出・補正ユニット105は、図1の外れ値検出ユニット55に対応する外れ値検出ユニット501を有し、外れ値マップを生成する。好ましくは、外れ値検出・補正ユニット105および外れ値検出ブロック55は、各カラーチャネルについて1つの外れ値マップを生成する。
外れ値検出ユニット501は、エッジマッピングユニット103によって生成されたジョイントエッジマップを受信するためのさらに別の入力を有する点で、図1の外れ値検出ユニット55とは異なる。上述のように、このジョイントエッジマップは、ソース画像とヒストグラムマッチ画像のエッジマップを含む。外れ値検出ユニット501は、この外れ値の検出からこのジョイントエッジマップによって識別される位置、すなわちエッジを除外するために、ジョイントエッジマップを使用する。外れ値マップ、または各チャネルの外れ値マップは、外れ値検出ユニット501により、このジョイントエッジマップを考慮して生成される。
外れ値補正ユニット502が、外れ値マップによって識別された外れ値を補正する外れ値検出・補正ユニット105に設けられる。この補正は、外れ値検出ユニット501により外れ値として検出されたマッチしたピクセルの強度を、条件付き確率分布に基づいて補正することにより行われる。
外れ値として検出されたマッチピクセルの強度は、条件付き確率p(I|In1,In2,In3…InN)を最大にする強度Icを見つけることによって補正される。これにより、条件付き確率を最大にする新しく発見された強度IcNewが、ヒストグラムマッチ画像中の以前の強度値を置き換える。
したがって、各カラーチャネルに対して可能なすべての外れ値を別々に配置して、外れ値補正ユニットブロック502は、以前に生成された外れ値マップに示されているようなヒストグラムマッチング関連外れ値を修正することにフォーカスする。根底にあるアイデアは、その近傍を使用して中心ピクセルの強度について最大事後推定(MAP)推定値を見出すことである。MAPは、利用可能な経験的情報に基づいて観察されないデータの確率を推定するために使用されるベイジアン推定アプローチである。ここで、MAP推定は、条件付き確率p(I|In1,In2,In3...InN)を最大にする強度Iを求めることを目的とする。
cNew=arg max{p(I|In1,In2,In3…InN)};I∈{0,255}
外れ値補正ユニット502の出力は、図7において統計的に強調されたヒストグラムマッチ画像としてラベル付けされた、ヒストグラムマッチ画像の改良バージョンである。外れ値検出ユニット501および外れ値補正ユニット502は、提案された方法の性能を向上させるために、複数回反復することができる。統計的に強調されたヒストグラムマッチ画像が外れ値検出ユニット501と外れ値補正ユニット502の両方の入力として再利用される反復が、図7に示されている。
反復回数は、入力画像の要件により良く合うように自動的に設定され得る。例えば、反復回数が増えると、テクスチャの少ない画像の場合に有益である。反復により最終結果がぼける傾向があるので、より多くのテクスチャを有する画像の反復回数を減らす。反復回数を決定するために、テクスチャの量を反映する値が、既知の技術によって、例えばパッチの分散を計算することによって、エッジ検出によって、または勾配ベース法によって、計算することができる。
任意的に、前述の検出および補正ステップが複数回反復される場合、ジョイントエッジマップは、ジョイントエッジマップ実現ユニット503において更新されることができる。この更新は、例えば検出および補正ステップの各反復後に行われる。ジョイントエッジマップ実現ユニット503は、ソース画像と統計的に強調されたヒストグラムマッチ画像である入力を有する。エッジ検出ユニット103がソース画像とヒストグラムマッチ画像とに基づいてジョイントエッジマップを生成するのと同様に、これらの2つの入力画像は、ジョイントエッジマップの更新バージョンを生成するために、ジョイントエッジマップ実現ユニット503により使用される。これは、ジョイントエッジマップ実現ユニット503が、同様に、エッジ検出ユニット、任意的なエロージョン演算ユニット、露出評価ユニット、および融合演算ユニット(図示せず)を備え、ジョイントエッジマップの更新バージョンを生成することができることを意味する。この更新バージョンは、図7に示すように、外れ値検出ユニット501にフィードバックされる。
具体的には、このエッジ検出ユニット(図示せず)は、エッジ検出ユニット301と同様に、統計的に強調されたヒストグラムマッチ画像のエッジおよびソース画像のエッジを検出し、統計的に強調されたヒストグラムマッチ画像の対応するエッジマップと、ソース画像の対応するエッジマップとを生成することができる。この任意的なエロージョン演算ユニット(図示せず)は、エロージョン演算ユニット302と同様に、これらの2つのエッジマップにエロージョンを適用することができる。さらに、この露出評価ユニットおよびこの融合演算ユニット(図示せず)は、露出評価ユニット303および融合演算ユニット304と同様に、ジョイントエッジマップの更新バージョンを生成することができる。
外れ値検出・補正ユニット105によって出力される、結果として得られるヒストグラムマッチ画像は、より少ない雑音およびアーティファクトを含み、したがってより良好で正確なエッジ検出を可能にする。
本発明を、例としての様々な実施形態及び実施例に関して説明した。しかし、当業者であって特許請求の範囲に記載の発明を実施するものは、図面、本開示及び独立請求項の研究から、他の変形を理解し、実施することができる。請求項及び明細書において、「有する」という用語は他の要素やステップを排除するものではなく、「1つの」という表現は複数ある場合を排除するものではない。単一の要素又はその他のアイテムが請求項に記載した複数のエンティティやアイテムの機能を満たすこともできる。相異なる従属クレームに手段が記載されているからといって、その手段を組み合わせて有利に使用することができないということではない。

Claims (20)

  1. 少なくとも1つのソース画像の色を基準画像の色にマッピングする装置であって、
    前記ソース画像のヒストグラムを前記基準画像のヒストグラムとマッチして、前記ソース画像のヒストグラムマッチ画像を生成するように構成されたヒストグラムマッチングユニットと、
    前記基準画像の条件付き確率分布を生成するように構成された確率分布計算ユニットと、
    前記条件付き確率分布に基づき前記ヒストグラムマッチ画像中の外れ値を検出するように構成された外れ値検出ユニットと
    を有する装置。
  2. 前記確率分布計算ユニットは、所与ピクセルの近傍ピクセルの強度が与えられたとき、前記基準画像の前記所与ピクセルの強度の条件付き確率を推定することにより、前記条件付き確率分布を生成するように構成され、前記近傍ピクセルは近傍構成にしたがって選択される、
    請求項1に記載の装置。
  3. 前記近傍構成は、前記ソース画像及び/又は前記基準画像のコンテンツにしたがって適応的に選択される、
    請求項2に記載の装置。
  4. 前記近傍構成によって定義された近傍の数は、均一面積がより大きい及び/又はテクスチャがより少ないソース画像及び/又は基準画像の前記近傍の数が増加される点で、前記ソース画像および/または前記基準画像のテクスチャに依存し、
    請求項3に記載の装置。
  5. 前記外れ値検出ユニットは、前記条件付き確率分布に基づいて、前記近傍構成に従って選択された、マッチしたピクセルとその近傍ピクセルとの組み合わせの確率が閾値よりも低い場合、前記ヒストグラムマッチ画像のマッチしたピクセルを外れ値として検出するように適合される、
    請求項2ないし4いずれか一項に記載の装置。
  6. 前記外れ値検出ユニットは、前記マッチしたピクセルと前記近傍構成にしたがって選択されたその近傍ピクセルとについて、前記条件付き確率が閾値よりも低い場合、前記ヒストグラムマッチ画像のマッチしたピクセルを外れ値として検出するように適合される、
    請求項2ないし5いずれか一項に記載の装置。
  7. 前記閾値はユーザにより予め確定され、または自動的に計算され、
    好ましくは、前記閾値は0.05と0.3の間にある、
    請求項5または6に記載の装置。
  8. 前記外れ値検出ユニットは、各カラーチャネルについて前記ヒストグラムマッチ画像中の外れ値を検出するように適合される、
    請求項1乃至7いずれか一項に記載の装置。
  9. 前記外れ値検出ユニットは、前記ヒストグラムマッチ画像中に検出されたすべての外れ値を特定する外れ値マップを生成するように適合される、
    請求項1乃至8いずれか一項に記載の装置。
  10. 前記条件付き確率分布に基づき、前記外れ値検出ユニットにより外れ値として検出された前記マッチしたピクセルの強度を補正することにより外れ値を補正するように適合された外れ値補正ユニットを有する、
    請求項5ないし9いずれか一項に記載の装置。
  11. 外れ値として検出された前記マッチしたピクセルの強度は、前記条件付き確率を最大にする強度を見つけることによって補正される、
    請求項10に記載の装置。
  12. 前記外れ値検出ユニットと前記外れ値補正ユニットはそれぞれ、外れ値の検出と外れ値の補正を複数回繰り返すように適合され、前記ソース画像及び/又は前記基準画像中のテクスチャの量が減少したとき、反復回数は好ましくは増加される、
    請求項10ないし11いずれか一項に記載の装置。
  13. 前記基準画像のエッジを検出し、前記ヒストグラムマッチ画像のエッジを検出し、前記基準画像の対応するエッジマップと、前記ヒストグラムマッチ画像の対応するエッジマップとを生成するように適合されるエッジ検出ユニットを備え、
    前記確率分布計算ユニットは、前記基準画像のエッジマップに基づき前記条件付き確率を生成するように適合され、
    前記外れ値検出ユニットは、前記ヒストグラムマッチ画像のエッジマップに基づいて前記ヒストグラムマッチ画像中の外れ値を検出するように適合される、
    請求項1乃至12いずれか一項に記載の装置。
  14. 融合演算ユニットを有し、
    前記エッジ検出ユニットは、前記ソース画像のエッジを検出し、前記ソース画像の対応するエッジマップを生成するように適合され、前記融合演算ユニットは、前記ヒストグラムマッチ画像のエッジマップと前記ソース画像のエッジマップとを合成することにより、前記ヒストグラムマッチ画像のエッジマップを処理するように適合される、
    請求項13に記載の装置。
  15. 各ピクセル位置について、この位置のピクセルが前記ヒストグラムマッチ画像又は前記ソース画像中でよりよく露出されるかどうかを識別する露出マップを生成するように構成された露出評価ユニットを有し、
    前記融合演算ユニットは、前記露出マップに応じて、前記ヒストグラムマッチ画像のエッジマップと前記ソース画像のエッジマップとを合成することにより、前記ヒストグラムマッチ画像のエッジマップを処理するように適合される、
    請求項14に記載の装置。
  16. 前記基準画像のエッジマップと、前記ヒストグラムマッチ画像のエッジマップとにエロージョンを適用するように適合されたエロージョン演算ユニットを有する、
    請求項13に記載の装置。
  17. 請求項2に従属するとき、
    前記エロージョン演算ユニットはエロージョンカーネルにしたがって前記エロージョンを適用するように構成され、
    前記エロージョンカーネルのサイズは前記近傍構成に依存し、特に、前記近傍構成のサイズ又は深さに依存する、
    請求項16に記載の装置。
  18. 少なくとも1つのソース画像の色を基準画像の色にマッピングする方法であって、
    前記ソース画像のヒストグラムマッチ画像を生成するために、前記ソース画像のヒストグラムを前記基準画像のヒストグラムとマッチングすることを含むヒストグラムマッチングと、
    前記基準画像の条件付き確率分布を生成することを含む確率分布計算と、
    前記条件付き確率分布に基づいて前記ヒストグラムマッチ画像中の外れ値を検出することを含む外れ値検出とを含む、
    方法。
  19. 計算デバイス上で実行されたとき、前記計算デバイスに請求項18に記載の方法を実行させるプログラムコードを有するコンピュータプログラム。
  20. 高ダイナミックレンジイメージング、背景減算、又は動き推定のための、請求項18に記載の方法の使用。
JP2017554010A 2015-05-22 2015-05-22 カラーキャリブレーション装置及び方法 Active JP6548743B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/061407 WO2016188549A1 (en) 2015-05-22 2015-05-22 Apparatus and method for color calibration

Publications (2)

Publication Number Publication Date
JP2018518735A true JP2018518735A (ja) 2018-07-12
JP6548743B2 JP6548743B2 (ja) 2019-07-24

Family

ID=53373411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017554010A Active JP6548743B2 (ja) 2015-05-22 2015-05-22 カラーキャリブレーション装置及び方法

Country Status (6)

Country Link
US (1) US10291823B2 (ja)
EP (1) EP3272110B1 (ja)
JP (1) JP6548743B2 (ja)
KR (1) KR101944208B1 (ja)
CN (1) CN107209931B (ja)
WO (1) WO2016188549A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209931B (zh) * 2015-05-22 2020-03-10 华为技术有限公司 颜色校正装置和方法
US10902951B2 (en) 2016-10-17 2021-01-26 Reliant Immune Diagnostics, Inc. System and method for machine learning application for providing medical test results using visual indicia
US11107585B2 (en) 2016-10-17 2021-08-31 Reliant Immune Diagnostics, Inc System and method for a digital consumer medical wallet and storehouse
US11651866B2 (en) 2016-10-17 2023-05-16 Reliant Immune Diagnostics, Inc. System and method for real-time insurance quote in response to a self-diagnostic test
US11579145B2 (en) 2016-10-17 2023-02-14 Reliant Immune Diagnostics, Inc. System and method for image analysis of medical test results
US11693002B2 (en) 2016-10-17 2023-07-04 Reliant Immune Diagnostics, Inc. System and method for variable function mobile application for providing medical test results using visual indicia to determine medical test function type
US10527555B2 (en) 2016-12-14 2020-01-07 Reliant Immune Disgnostics, Inc. System and method for visual trigger to perform diagnostic test
US11915810B2 (en) * 2016-12-14 2024-02-27 Reliant Immune Diagnostics, Inc. System and method for transmitting prescription to pharmacy using self-diagnostic test and telemedicine
US10331924B2 (en) 2016-12-14 2019-06-25 Reliant Immune Diagnostics, Inc. System and method for audiovisual response to retail diagnostic product
US11170877B2 (en) * 2016-12-14 2021-11-09 Reliant Immune Diagnostics, LLC System and method for correlating retail testing product to medical diagnostic code
US11599908B2 (en) 2016-12-14 2023-03-07 Reliant Immune Diagnostics, Inc. System and method for advertising in response to diagnostic test
US11594337B2 (en) 2016-12-14 2023-02-28 Reliant Immune Diagnostics, Inc. System and method for advertising in response to diagnostic test results
CN110738685B (zh) * 2019-09-09 2023-05-05 桂林理工大学 一种融合颜色直方图响应的时空上下文跟踪方法
CN113676624A (zh) * 2021-06-30 2021-11-19 西人马帝言(北京)科技有限公司 一种图像获取方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110701A (ja) * 2011-11-24 2013-06-06 Samsung Yokohama Research Institute Co Ltd 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840067B2 (en) * 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image
US7706593B2 (en) * 2006-09-20 2010-04-27 Primax Electronics Ltd. Verification method for determining areas within an image corresponding to monetary banknotes
JP5367455B2 (ja) * 2008-06-04 2013-12-11 Toa株式会社 複数のカラーカメラ間の色調整装置および方法
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
GB2483213B8 (en) * 2009-06-11 2016-09-14 Toshiba Res Europ Ltd 3D image generation
CN101916430B (zh) * 2010-07-13 2011-12-28 武汉大学 基于波段相关性的遥感影像类内局部拟合恢复方法
US8842911B2 (en) * 2011-02-04 2014-09-23 Apple Inc. Luma-based color matching
US9649371B2 (en) * 2011-02-25 2017-05-16 University Of Georgia Research Foundation, Inc. Recombinant mumps virus vaccine
JP2012203852A (ja) 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US20140108401A1 (en) * 2012-10-05 2014-04-17 Opera Solutions, Llc System and Method for Adjusting Distributions of Data Using Mixed Integer Programming
KR101373471B1 (ko) 2012-10-15 2014-03-13 세종대학교산학협력단 스테레오 영상 보정 장치 및 그 방법
CN102930291B (zh) * 2012-10-15 2015-04-08 西安电子科技大学 用于图形图像的k近邻局部搜索遗传自动聚类方法
US9324138B2 (en) * 2013-03-15 2016-04-26 Eric Olsen Global contrast correction
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
US10318576B2 (en) * 2013-12-12 2019-06-11 Nant Holdings Ip, Llc Image recognition verification
US9536321B2 (en) * 2014-03-21 2017-01-03 Intel Corporation Apparatus and method for foreground object segmentation
US9349162B1 (en) * 2014-10-24 2016-05-24 Matrox Electronic Systems Ltd. System and method for image color correction
CN104766065B (zh) * 2015-04-14 2018-04-27 中国科学院自动化研究所 基于多视角学习的鲁棒性前景检测方法
CN107209931B (zh) * 2015-05-22 2020-03-10 华为技术有限公司 颜色校正装置和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110701A (ja) * 2011-11-24 2013-06-06 Samsung Yokohama Research Institute Co Ltd 画像処理装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEAN-CLAUDE ROSENTHAL, FREDERIK ZILLY, PETER KAUFF: "Preserving dynamic range by advanced color histogram matching in stereo vision", 2012 INTERNATIONAL CONFERENCE ON 3D IMAGING (IC3D), JPN6018044729, 2012, US, pages 1 - 6, XP032491663, DOI: doi:10.1109/IC3D.2012.6615122 *

Also Published As

Publication number Publication date
US10291823B2 (en) 2019-05-14
KR101944208B1 (ko) 2019-01-30
WO2016188549A1 (en) 2016-12-01
US20180054548A1 (en) 2018-02-22
KR20170125859A (ko) 2017-11-15
JP6548743B2 (ja) 2019-07-24
EP3272110B1 (en) 2019-07-31
EP3272110A1 (en) 2018-01-24
CN107209931A (zh) 2017-09-26
CN107209931B (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
JP6548743B2 (ja) カラーキャリブレーション装置及び方法
Galdran et al. Fusion-based variational image dehazing
US11017509B2 (en) Method and apparatus for generating high dynamic range image
US9269155B2 (en) Region growing method for depth map/color image
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US20150170389A1 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
KR20110138114A (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
Hong et al. Single image dehazing via atmospheric scattering model-based image fusion
Celebi et al. Fuzzy fusion based high dynamic range imaging using adaptive histogram separation
JP2012208553A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6103649B2 (ja) 複数のレベルの中間閾値ビットマップを用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法
WO2017096814A1 (zh) 一种图像处理方法及装置
US9258490B2 (en) Smoothing of ghost maps in a ghost artifact detection method for HDR image creation
Ramos et al. Single image highlight removal for real-time image processing pipelines
Rahman et al. Efficient contrast adjustment and fusion method for underexposed images in industrial cyber-physical systems
Tallon et al. Space-variant blur deconvolution and denoising in the dual exposure problem
JP2017085570A (ja) 画像補正方法及び画像補正装置
JP6624061B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
KR101617551B1 (ko) 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
Kaur et al. An improved adaptive bilateral filter to remove gaussian noise from color images
Jang et al. Adaptive contrast enhancement using edge-based lighting condition estimation
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
An et al. Reduction of ghost effect in exposure fusion by detecting the ghost pixels in saturated and non-saturated regions
Simpkins et al. Robust grid registration for non-blind PSF estimation
Nam et al. Flash shadow detection and removal in stereo photography

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190625

R150 Certificate of patent or registration of utility model

Ref document number: 6548743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250