JP2003196653A - イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム - Google Patents
イメージコンテンツに基づいて画像の特性を改善するための方法及びシステムInfo
- Publication number
- JP2003196653A JP2003196653A JP2002339710A JP2002339710A JP2003196653A JP 2003196653 A JP2003196653 A JP 2003196653A JP 2002339710 A JP2002339710 A JP 2002339710A JP 2002339710 A JP2002339710 A JP 2002339710A JP 2003196653 A JP2003196653 A JP 2003196653A
- Authority
- JP
- Japan
- Prior art keywords
- image
- confidence
- sharpening
- skin
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000000463 material Substances 0.000 claims abstract description 34
- 230000006872 improvement Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 12
- 239000013077 target material Substances 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 14
- 230000000873 masking effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- AAOVKJBEBIDNHE-UHFFFAOYSA-N diazepam Chemical compound N=1CC(=O)N(C)C2=CC=C(Cl)C=C2C=1C1=CC=CC=C1 AAOVKJBEBIDNHE-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
像全体の改善を調節可能な、画像を迅速に改善する方法
の提供。 【解決手段】 そのマテリアルコンテンツに従う画像の
特性を改善するための方法では、画像が画素からなって
おり、画素に空間的に対応する信頼マップが生成され
る。信頼マップは、それぞれの画素が肌のような特定の
マテリアルを表す尤度を示す信頼値を含んでいる。改善
パラメータは、信頼マップから生成される。改善パラメ
ータは、画像の鮮鋭度のような特性を改善するために画
素に一様に適用される。
Description
の分野に関し、より詳細には、処理パラメータをイメー
ジコンテンツに関連付けする方法に関する。
リズムにより画像を鮮鋭化して、細部の詳細を強調する
ことが一般的に行われている。典型的に、この鮮鋭化処
理は、畳み込み処理により実行される(たとえば、A.K.
Jainによる“Fundamentals ofDigital Image Processin
g” Prentice-Hall: 1989, pp.249-pp251を参照)。ア
ンシャープマスクによる処理は、畳み込みに基づいた鮮
鋭化処理の1つの例である。
の鮮鋭化は、以下の式により説明することができる。 s(x,y)=i(x,y)**b(x,y)+βf(i(x,y)−i(x,y)**b(x,y)) (1) ここで、s(x,y)は強調された鮮鋭化による出力画
像、i(x,y)は入力される原画像、b(x,y)は低域通
過フィルタ、βはアンシャープマスクのスケールファク
タ、f( )はフリンジ関数、(x,y)は画像のx番目の行
及びy番目の列を示している。
域通過フィルタとの畳み込みにより生成される(すなわ
ち、アンシャープ画像はi(x,y)**b(x,y)により与
えられる)。つぎに、高域通過、すなわちフリンジのデ
ータは、アンシャープ画像を原画像から減算することに
より生成される(すなわち、高域通過データはi(x,
y)‐i(x,y)**b(x,y)により発見される)。
ファクタβ又はフリンジ関数f( )のいずれか又は両者
により修正される。最後に、修正された高域通過データ
は、原画像又はアンシャープ画像のいずれかと加算さ
れ、鮮鋭化された画像が生成される。
の分野では公知であるように、周波数領域(たとえば、
FFT領域)における画像の修正により達成することが
できる。空間領域の手法(たとえば、畳み込み手法)と
画像の鮮鋭度を強調する周波数領域の手法の両者は、シ
フト不変の手法である。言い換えれば、鮮鋭度プロセス
は、画像における位置に対して不変である。
成する一方で、結果的に得られる画像の品質は、イメー
ジコンテンツに依存して変動することがある。たとえ
ば、アンシャープマスクアルゴリズムを使用すること
は、建物の画像について満足する結果を生じる場合があ
る。
は、人間の顔の画像について過度に鮮鋭化処理された望
まれない概観を生じることがある(たとえば、傷が強調
される場合がある)。スケールファクタのパラメータ
は、人間のオペレータによりそれぞれのシーンについて
個々に修正される場合があるが、これは高価なプロセス
である。
cDonald等は、画素毎に基づいて、アンシャープマスク
に関連するパラメータを修正する方法を説明している。
本質的には、式(1)における定数であるスケールファ
クタβは、位置β(x,y)に基づいて変化するスケール
ファクタと置き換えられる。これらのパラメータは、局
所的な近傍において、画素の色に基づいて変動される。
的に肌色に着色された画素の詳細に関してこれまで程強
調しないことが可能となる。しかし、この方法はシフト
不変ではない。それは、フリンジデータがそれぞれの画
素の色成分のそれぞれについてシャープデータ又はアン
シャープデータの値に従い決定される重み付け関数で修
正されるためである。
タがそれぞれの画素について変動されるために計算的に
集中する。さらに、この手法は、画像の1つの領域が近
くの領域と同様に鮮鋭化されるとき、スイッチングアー
チファクトを生成する。
を生成することなしに、画像のマテリアルコンテンツに
基づいて、画像の全体の改善を調節することができる、
画像を迅速に鮮鋭化、さもなければ改善するための必要
性が存在する。
つ以上の問題を解決することに向けられる。簡単に説明
すると、本発明の1態様によれば、そのマテリアルコン
テンツに従い画像の特性を改善するための方法は、画素
からなる画像を提供するステップと、該画素に空間的に
対応する信頼マップを生成するステップと、該信頼マッ
プから改善パラメータを生成するステップと、該改善パ
ラメータを使用して、画像の特性を改善するステップと
を備えている。ここで、該信頼マップは、それぞれの画
素が特定のマテリアルを表現する尤度を示す信頼値を含
む。該改善パラメータは、該画素に一様に適用される。
は、画像において検出されたマテリアルに依存して変動
されるという利点を有している。この特性が鮮鋭度であ
るとき、ある画像において鮮鋭度のアーチファクトをつ
くることがないように控えめなレベルで画像全体を鮮鋭
化するためにシステムを調整するよりはむしろ、本発明
によるシステムは、高感度の画像を控えめに鮮鋭化し、
低感度の画像を積極的に鮮鋭化して、それぞれの画像に
ついて鮮鋭化することを自動的に決定する。
検出される画像を控えめに鮮鋭化し、人間の素肌が検出
されない画像を積極的に鮮鋭化する。別の態様では、本
発明によるシステムは、植物の画像におけるような、雑
音の低減が不都合なアーチファクトをもたらす可能性の
ある画像の領域では、雑音を控えめに低減し、かかる高
感度のマテリアルコンテンツが検出されない画像では、
雑音を積極的に低減する。本発明のこれら及び他の態
様、目的、機能並びに効果は、好適な実施の形態の以下
の詳細な説明を検討し、添付図面を参照することから明
らかに理解されるであろう。
形態は、ソフトウェアプログラムとして実現される方法
として記載される。当業者であれば、かかるソフトウェ
アの等価な概念はハードウェアで構築されることが容易
に認識されるであろう。イメージエンハンスメントアル
ゴリズム及び方法は公知であるため、ここでの説明は、
本発明による方法及びシステムの一部を構成する要素、
該方法及びシステムと更に直接連動する要素に対して特
に向けられる。
の要素、ハードウェア及び/又はソフトウェアは、特に
図示又は説明されないが、かかるマテリアルから選択さ
れる場合がある。以下のマテリアルにおいて本発明に従
い図示及び説明されるシステム及び方法が与えられたと
すると、本発明の実現のために有効な本実施の形態で特
に図示、説明又は提案されていないソフトウェアは、慣
習的なものであり、当該技術分野における通常の知識に
該当する。
ように、コンピュータプログラムは、コンピュータ読取
り可能な記憶媒体に記憶される場合があり、この記憶媒
体は、たとえば、磁気ディスク(ハードディスクドライ
ブ又はフロプティカルディスク等)のような磁気記憶媒
体、光記憶媒体(光ディスク、光テープ又はマシン読取
りバーコード)、ランダムアクセスメモリ(RAM)、
リードオンリメモリ(ROM)のような固体電子記憶装
置、或いはコンピュータプログラムを記憶するために使
用される他の任意の物理的な装置又は媒体である。
画素値又は光強度に対応する単色の画素値の数からなる
2次元アレイである。専門用語に関して、x番目の行及
びy番目の列のデジタル画像が参照される座標(x,y)
に位置されるデジタル画像の画素の値は、位置(x,y)
での赤、緑及び青のデジタル画像チャネルの値がそれぞ
れ参照される3つ組の値[r(x,y),g(x,y),b
(x,y)]を備えている。
の数のデジタル画像チャネルを備えているものとして考
慮される。デジタル画像が赤、緑及び青の2次元アレイ
を備えている場合、画像は、3つのチャネル、いわば
赤、緑及び青のスペクトルチャネルを備えている。
得するために特定の画像処理経路により画像を処理する
ための本発明の第1実施の形態が示されている。一般
に、本発明は、画像に対してシフト不変の改善を実行す
る。改善の規模は、画像における物体のマテリアルコン
テンツにより決定される。したがって、連続する画像に
提供される改善は、イメージコンテンツに強く依存す
る。特定の画像に提供される改善の規模は、イメージコ
ンテンツに適したものとなるために選択される。
明は、シフト不変の鮮鋭化処理を実行する。鮮鋭化の規
模は、画像における物体により決定される。したがっ
て、連続する画像に提供される鮮鋭度は、イメージコン
テンツに強く依存する。任意の特定の画像に提供される
鮮鋭化の規模は、イメージコンテンツに適するように選
択される。
該画像は、x0行及びy0列を有しており、画像に含まれ
る画素数を減少し、したがって、鮮鋭化パラメータを決
定するために、本発明により要求される処理時間を減少
するための画像サブサンプラ2に入力される。
であり、たとえば、例示的な高解像度の画像は、x0=
1024行の画素に、y0=1536列の画素を掛けた
ものである。画像サブサンプラ2から出力される画像
は、m0行とn0列を有する低解像度の画像であり、たと
えば、例示的な低解像度の画像は、m0=128にn0=
192を掛けたものである。
w画素ブロック(たとえば、w=8(先の例示的な画像
に対応する))を通してブロック平均処理を実行して、
画像サブサンプラ2から出力される低解像度の画像を生
成する。大きな画像から小さな画像をつくる多くの他の
方法は、画像処理の分野で公知であり、画像サブサンプ
ラ2として使用することができる(先の例は本発明を限
定するものではない。実際、画像サブサンプラは、追加
の処理を許容することができる場合に省略することがで
きる)。
は、特定の画素又は画素からなる領域が所与のターゲッ
トマテリアルを表現する信頼度を示す信頼マップの作成
のためにマテリアル検出器4に入力される。ターゲット
マテリアルは、画像の鮮鋭度が高感度であるマテリアル
として選択される。
検出器4に入力される画像の行及び列に関して同じ画素
寸法を有している信頼マップM(m,n)を出力する。信
頼マップは、特定の画素がターゲットマテリアルを表現
する信頼性を示す。この信頼性は、確率として表現され
ることが好ましい。たとえば、それぞれの画素値M(m,
n)は、(低解像度の画素(m,n)がターゲットマテリア
ルを表す)100*Pに等しい。P(A)は事象Aの確率
を表している。
は、信頼性を示す2進区分を表している。たとえば、信
頼マップにおける画素値1は、画素がターゲットマテリ
アルを表す信頼性を表し、画素値0は、画素がターゲッ
トマテリアルを表していない信頼性を表している。
アルは、人間の素肌である。M.W.Dupin及びJ.Luo等によ
り“Method for Processing a Digital Image to Adjus
t Brightness”と題され、2001年7月12日に提出された
係属している米国特許出願シリアル番号09/904,366号で
は、素肌のターゲットマテリアルについて信頼性を示す
信頼マップを作成する方法が記載されている。
ルについて信頼マップを作成する方法は、以下の論文に
記載されている。K.Cho, J.Jang, K.Hongによる“Adapt
iveSkin-Color Filter” Pattern Recognition, 34(200
1) 1067-1073; 及びM.Fleck, D.Forsyth, C.Breglerに
よる“Finding Naked People” Proceedings of theEur
opean Conference on Computer Vision, Vol.2, Vol.2,
1996, pp592-602。
04,366号に記載される方法は、皮膚の階調の領域につい
て使用することができ、以下のように要約することがで
きる。画像の画素RGBの値は、以下の式により“Ls
t”座標に変換される、 L=(R+G+B)/sqrt(3) s=(R−B)/sqrt(2) t=(2G−R−B)/sqrt(6) 入力されるカラーデジタル画像におけるそれぞれ画素に
ついて、皮膚の階調である確率が計算される。確率は、
所定の皮膚の階調の確率関数に基づいて、Lst空間にお
けるその座標から導出される。これらの確率関数は、シ
ーンバランスされた画像の大きな集合のおける皮膚及び
非皮膚の領域の色空間分布のデータの集合に基づいて構
築される。
画素である条件付き確率は、以下の式で表される。 Pr(Skin|L,s,t)=Pr(Skin|L)*Pr(Skin|s)*Pr(Skin|t) ここで、それぞれの条件付き確率Pr(Skin|L)、Pr(Skin|
s)及びPr(Skin|t)は、皮膚及び非皮膚の画素について、
ベイズ理論をオリジナルのトレイニング分布に適用する
ことにより構築される。この方法論の更なる詳細は、上
述した係属中の米国特許出願シリアル番号09/904,306号
に見ることができ、参照により本実施の形態に組込まれ
る。
画素の検出のための他の慣習的な方法が存在する。たと
えば、米国特許第4,203,671号(Takahashi)及び米国特
許第5,781,276号(Zahn)では、尤度確率P(色/皮膚)を
使用している。しかし、この慣習的な確率を使用する1
つの問題点は、非皮膚階調の画素の確率分散が説明され
ないことである。結果的に、誤った検出について高い尤
度が存在する。
画像について皮膚の階調の確率分散を形成する。皮膚の
階調の確率分散は、境界設定され、それぞれの画素が皮
膚の階調又は非皮膚の階調として指定されるように2進
マップが作成される。
使用して、入力されるカラーデジタル画像における人間
の顔の領域を発見することができる。顔を検出する方法
の説明については、Moghaddam及びPentlandによる(“D
etection, recognition andCoding of Complex Objects
Using Probabilistic Eigenspace Analysis”と題され
た)米国特許第5,710,833号を参照されたい。
いる。ここでは、図2が数人の画像を示し、図3が関連
する信頼マップを示しており、ターゲットマテリアルが
人間の皮膚である。画像の背景12は、低解像度画像に
おける対応する画素がターゲットマテリアル(人間の皮
膚)である信頼値0を有する画素から構成される。
ての画素がターゲットマテリアルを表す低い確率を有す
る場合、全体の信頼マップは、バックグランド12とな
る(好適な符号化では全て0)。図3は、非ゼロの信頼
性を有する画素から構成される幾つかの領域を示してい
る。
ける顔に対応し、たとえば、高い信頼値95を有する。
領域14は腕に対応し、信頼値60を有する。領域18
は、誤って信頼値40を有しており、木の枝が人間の素
肌である信頼性を示している。かかる誤った信頼値は、
誤った肯定である。一般に、マテリアル検出器4のよう
な自動的な検出アルゴリズムは、誤った否定と同様に、
領域18のような誤った肯定を生じる(たとえば、真の
素肌を背景12として誤って分類する)。
化された方法が画像からマテリアルの信頼度を決定する
ために存在する人間の顔、空又は任意の他のマテリアル
のような画像における他のタイプの物体のマテリアルコ
ンテンツとすることができる。人間の顔の検出は、多く
の論文において説明されている。たとえば、B.Heisele,
T.Poggio, M.Pontil等による“Face Detection in Sti
ll Gray Images”MITArtificial Intelligence Lab, Me
mo1687, May2000を参照されたい。
n Images”と題され、J.Luo及びS.Etz等により1999年11
月29日に提出された)係属中の米国特許出願シリアル番
号09/450,190号には、ターゲットマテリアルが青い空で
ある場合の信頼マップの作成が記載されている。
される。マップアナライザ8は、信頼マップを分析し
て、1つ以上の鮮鋭化パラメータとして、画像の鮮鋭化
についての推薦を出力する。鮮鋭化パラメータは、画像
に適用される鮮鋭化のレベル又は強さに直接関連する任
意のパラメータである。
8は、信頼マップの分析から導出されるスケールファク
タβを出力する。一般に、鮮鋭化パラメータは、信頼マ
ップの関数である。
βは、信頼マップM(m,n)の関数であり、以下のよう
に導出されることが好ましい。
ついての理想的な鮮鋭化スケールファクタである。β
non-materialは、ターゲットマテリアルを含まない画像
についての理想的な鮮鋭化スケールファクタである。
ルは、人間の素肌であることが好ましい。したがって、
βmaterialは、素肌を含む画像についての理想的な鮮鋭
化レベルである。一般的な非肌の画像は、肌を含む画像
よりも多くの量により満足される程度に鮮鋭化されるた
めに、好ましくは、βmaterial=1.5であり、βno
n-material=5である。
マップに含まれる素肌の最大の信頼値に基づいて決定さ
れる。なお、βmaterial,βnon-materialそれ自身は、
画像又は画像システムの特性に関する関数である場合が
ある。たとえば、βmaterial,βnon-materialは、粒子
のために高速フィルムについて減少される。
プの他の特性に基づいて決定される。たとえば、スケー
ルファクタβは、特別な信頼度を有する信頼マップの一
部に基づいて計算される場合がある。たとえばβ=g
(z)であり、ここで、
タβに変換するために使用される関数である。図4に
は、関数g(z)の例が示される。
プの他の特性に基づいて決定される場合がある。大きな
素肌の領域は、過度の鮮鋭化処理に対して最も感度が高
いことが観察される。これは、傷等の部分が迅速に明ら
かになるためである。しかし、素肌の領域が小さいと
き、一般に画像は、問題となるアーチファクトの外観な
しに、更に鮮鋭化される。
検出器4は、上述した係属中の米国特許出願シリアル番
号09/904,366号に記載されている。ここでは、Dupin及
びLuoは、背景領域12から一般に構成される信頼マッ
プを回復しており、全ての画素は、画素がターゲットマ
テリアル(人間の素肌)を表す確率が0であると推定さ
れることを示す値0を有している。
8が示されており、信頼マップは定数、それらの領域に
属する全ての画素について画素がターゲットマテリアル
を表す非ゼロの信頼値を示している。画像処理の技術分
野において公知の連結されたコンポーネントアルゴリズ
ムを使用することにより、非ゼロの信頼度を有するそれ
ぞれの信頼領域は、信頼マップから抽出される。
は、領域18のサイズよりも大きな領域14のサイズよ
りも大きい。それぞれの信頼領域のサイズは、本明細書
で説明された幾つかの手法のうちの1つを含めて、任意
の数の手法により決定される。
に属する画素数をカウントすることにより決定される。
代替的に、(及び好ましくは)サイズは、それぞれの信
頼領域に属する画素数とそれぞれの信頼領域の信頼マッ
プにおける関連する値との積をとることにより決定され
る場合がある。
ズの関数である。たとえば、β=h(z)であり、この場
合、
(z)は信頼マップの平均値をスケールファクタβに変換
するために使用される関数である。図5には、関数h
(z)の例が示されている。
化パラメータβは、シャープナー10に入力される。本
発明の実施の形態では、鮮鋭化パラメータはスケーリン
グファクタβであるが、マップアナライザ8の機能は、
かかる制限がなく、他の鮮鋭化に関連した決定は、当業
者には明らかである。たとえば、シャープナー10によ
り実行される鮮鋭化の畳み込みにおいて使用されるフィ
ルタは、信頼マップの分析に基づいてマップアナライザ
8により決定することができる。
入力し、鮮鋭化パラメータを利用して、画像に鮮鋭化ア
ルゴリズムを適用する。これにより、問題となる鮮鋭度
のアーチファクトなしに、改善された鮮鋭度を有する強
調された出力画像が生成される。好適な実施の形態で
は、シャープナー10は、強調された画像を生成するた
めに決定された値βを使用して、アンシャープマスキン
グアルゴリズムを画像に適用する。
先に説明したアンシャープマスク処理による式におい
て、目下説明されている鮮鋭化パラメータβの使用によ
り実行することができる。 s(x,y)=i(x,y)**b(x,y)+βf(i(x,y)−
i(x,y)**b(x,y)) ここで、s(x,y)は強調された鮮鋭度により出力画像
である。i(x,y)は入力された原画像である。b(x,
y)は低域通過フィルタである。f( )はフリンジ関数で
ある。**は2次元の畳み込みである。(x,y)は画像の
x番目の行及びy番目の列である。βはマップアナライ
ザ8により決定されるスケールファクタである。
れるような)アンシャープマスク処理を複数のチャネル
を有するカラー画像に適用することができる幾つかの方
法が存在することを認識されるであろう。たとえば、ア
ンシャープマスク処理は、カラー画像のそれぞれのチャ
ネルに適用することができる。好ましくは、アンシャー
プマスク処理は、一般に当該技術分野に知られているよ
うな、以下のやり方で適用される。
ら構成されるカラー画像であると仮定すると、はじめ
に、行列が画像に適用され、輝度チャネル及び2つ以上
の色差チャネルが生成される。つぎに、アンシャープマ
スク処理が輝度チャネルに適用される。最後に、逆行列
が幾つかのチャネルに適用され、強調されたカラー画像
が生成される。
のみの画像チャネル(たとえば、緑チャネル)に適用さ
れる場合があり、修正されたフリンジデータは、それぞ
れの色チャネルと加算され、強調されたカラー画像が生
成される。アンシャープマスク処理へのこれら及び他の
類似の修正及び強調は、当業者により良好に理解され
る。その使用の特殊性は、シフト不変の鮮鋭化のための
鮮鋭化パラメータの方法に基本的に関連しないので、そ
の特定の用途は、本発明を限定するものではない。
明は、アンシャープマスクにより実行されるものとして
画像に適用される鮮鋭化を一般的に説明しているが、必
ずしもこれに限らない。式(1)のフリンジ関数f( )
が同じであると仮定すると、アンシャープマスク処理
は、畳み込みで画像に適用することができる1つのフィ
ルタとして常に再構成することができ、アンシャープマ
スクと同じ結果を得ることができる。たとえば、フィル
タ係数b(x,y)が以下に与えられるものとする。
c(x,y)の適用は、式(1)のアンシャープマスクに
おけるフィルタb(x,y)と比較して同じ結果を得るこ
とができる。
による好適な実施の形態に対するかかる修正は、代数で
知られている手法により決定することができ、デジタル
信号処理は当業者にとって明らかであり、本発明の範囲
に含まれる。
示されている。この実施の形態では、フィルタ20は、
マップアナライザ8により決定されるパラメータに従い
適用される。フィルタは、マップアナライザ8から出力
されるフィルタパラメータに従い、画素にわたって一様
に適用される。
ではなく、フィルタは、鮮鋭化フィルタではない、むし
ろ、画像の特性は、別のタイプの改善に関連されてお
り、フィルタは、別のタイプのフィルタである。たとえ
ば、画像特性は雑音であり、フィルタは、雑音低減フィ
ルタである。たとえば、Jong-Sen Leeは、論文“Digita
l Image Smoothing and the Sigma Filter” Computer
Vision, Graphics, andImage Processing, 24, 255-26
9, 1983でシグマフィルタを説明している。
を中央の画素からの強度であるΔコード内の全ての画素
で置き換える。パラメータΔは、パラメータβが決定さ
れるやり方と類似のやり方でマップアナライザ8により
選択される。分析されるマテリアルコンテンツは、鮮鋭
度について分析されるのと同じであるか、又は雑音に対
して特に感度が高い幾つかの他のマテリアルコンテンツ
である場合がある。
ンテンツが植物である場合、マップアナライザ8は、高
い信頼値を有する領域を含む画像について小さな値のΔ
を出力し、高い信頼性による領域を有さない画像につい
て大きな値のΔを出力する。
ための技法を説明するブロック図である。
されるタイプの画像の例を示す図である。
の、図2に示される画像について、図1に示される画像
を改善する技法により生成される信頼マップの例を示す
図である。
ケールファクタβを決定するために使用される関数g
(z)を表す図である。
ケールファクタβを決定するために使用される別の関数
h(z)を表す図である。
ための技法を説明するブロック図である。
Claims (4)
- 【請求項1】 マテリアルコンテンツに従い画像の特性
を改善する方法であって、 画素からなる画像を提供するステップと、 それぞれの画素が特定のマテリアルを表現する尤度を示
す信頼値を含む信頼マップを、前記画素に空間的に対応
して生成するステップと、 前記信頼値に比例し、前記画素に一様に適用される改善
パラメータを、前記信頼マップの前記信頼値から生成す
るステップと、 前記画像の特性を改善するために、前記改善パラメータ
を使用するステップと、を備えることを特徴とする方
法。 - 【請求項2】 前記特性は鮮鋭度であり、前記改善パラ
メータは鮮鋭化パラメータである、ことを特徴とする請
求項1記載の方法。 - 【請求項3】 前記改善パラメータを使用するステップ
は、アンシャープマスク処理で鮮鋭化を実行するステッ
プを備える、ことを特徴とする請求項2記載の方法。 - 【請求項4】 前記特性は雑音であり、前記改善パラメ
ータは雑音パラメータである、ことを特徴とする請求項
1記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/020,031 US7050636B2 (en) | 2001-12-07 | 2001-12-07 | Method and system for improving an image characteristic based on image content |
US020031 | 2001-12-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003196653A true JP2003196653A (ja) | 2003-07-11 |
JP4498671B2 JP4498671B2 (ja) | 2010-07-07 |
Family
ID=21796353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002339710A Expired - Fee Related JP4498671B2 (ja) | 2001-12-07 | 2002-11-22 | イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US7050636B2 (ja) |
EP (1) | EP1324265B1 (ja) |
JP (1) | JP4498671B2 (ja) |
DE (1) | DE60235292D1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165684A (ja) * | 2003-12-02 | 2005-06-23 | Canon Inc | 画像処理方法および装置 |
JP2006215785A (ja) * | 2005-02-03 | 2006-08-17 | Ricoh Co Ltd | 画像処理方法、画像処理装置、画像処理プログラム、および、記録媒体 |
US7853094B2 (en) | 2006-01-24 | 2010-12-14 | Sharp Laboratories Of America, Inc. | Color enhancement technique using skin color detection |
US8395577B2 (en) | 2004-05-04 | 2013-03-12 | Sharp Laboratories Of America, Inc. | Liquid crystal display with illumination control |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7064740B2 (en) * | 2001-11-09 | 2006-06-20 | Sharp Laboratories Of America, Inc. | Backlit display with improved dynamic range |
US7092573B2 (en) * | 2001-12-10 | 2006-08-15 | Eastman Kodak Company | Method and system for selectively applying enhancement to an image |
DE60314851D1 (de) * | 2003-05-19 | 2007-08-23 | St Microelectronics Sa | Bildverarbeitungsverfahren für numerische Bilder mit Belichtungskorrektur durch Erkennung von Hautbereichen des Gegenstandes |
US7092552B2 (en) * | 2003-07-30 | 2006-08-15 | Xerox Corporation | System and method for measuring and quantizing document quality |
JP2005141477A (ja) * | 2003-11-06 | 2005-06-02 | Noritsu Koki Co Ltd | 画像鮮鋭化処理方法とこの方法を実施する画像処理装置 |
US7623105B2 (en) * | 2003-11-21 | 2009-11-24 | Sharp Laboratories Of America, Inc. | Liquid crystal display with adaptive color |
US7602369B2 (en) | 2004-05-04 | 2009-10-13 | Sharp Laboratories Of America, Inc. | Liquid crystal display with colored backlight |
US7872631B2 (en) | 2004-05-04 | 2011-01-18 | Sharp Laboratories Of America, Inc. | Liquid crystal display with temporal black point |
US7777714B2 (en) | 2004-05-04 | 2010-08-17 | Sharp Laboratories Of America, Inc. | Liquid crystal display with adaptive width |
CN101685536B (zh) * | 2004-06-09 | 2011-11-30 | 松下电器产业株式会社 | 图象处理方法 |
KR100618849B1 (ko) * | 2004-07-22 | 2006-09-01 | 삼성전자주식회사 | 영상에서의 블록킹 현상 필터링 장치 및 방법 |
KR100565209B1 (ko) * | 2004-08-11 | 2006-03-30 | 엘지전자 주식회사 | 인간 시각 시스템에 기초한 영상 선명도 개선 장치 및 방법 |
US7898519B2 (en) | 2005-02-17 | 2011-03-01 | Sharp Laboratories Of America, Inc. | Method for overdriving a backlit display |
US8050511B2 (en) | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
US8050512B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
US7473745B2 (en) * | 2005-09-02 | 2009-01-06 | Equistar Chemicals, Lp | Preparation of multimodal polyethylene |
US8121401B2 (en) * | 2006-01-24 | 2012-02-21 | Sharp Labortories of America, Inc. | Method for reducing enhancement of artifacts and noise in image color enhancement |
US8941580B2 (en) | 2006-11-30 | 2015-01-27 | Sharp Laboratories Of America, Inc. | Liquid crystal display with area adaptive backlight |
US8031961B2 (en) * | 2007-05-29 | 2011-10-04 | Hewlett-Packard Development Company, L.P. | Face and skin sensitive image enhancement |
US7933454B2 (en) * | 2007-06-25 | 2011-04-26 | Xerox Corporation | Class-based image enhancement system |
JP5349790B2 (ja) * | 2007-11-16 | 2013-11-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US8295557B2 (en) * | 2009-01-12 | 2012-10-23 | Arcsoft Hangzhou Co., Ltd. | Face image processing method |
CN111127307A (zh) * | 2019-12-09 | 2020-05-08 | 上海传英信息技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
US11488285B2 (en) * | 2020-04-13 | 2022-11-01 | Apple Inc. | Content based image processing |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09138470A (ja) * | 1995-11-14 | 1997-05-27 | Fuji Photo Film Co Ltd | 画像の主要部判定方法及び複写条件決定方法 |
JPH09233423A (ja) * | 1996-02-27 | 1997-09-05 | Fuji Photo Film Co Ltd | デジタルプリンタの画像データ変換方法 |
JPH1191169A (ja) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP2000149018A (ja) * | 1998-09-10 | 2000-05-30 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置及び記録媒体 |
JP2000196901A (ja) * | 1998-12-24 | 2000-07-14 | Dainippon Screen Mfg Co Ltd | 画像の鮮鋭度強調方法、並びに、その処理を実行するためのプログラムを記録した記録媒体 |
JP2001119575A (ja) * | 1999-10-15 | 2001-04-27 | Ricoh Co Ltd | 画像処理装置 |
JP2001218015A (ja) * | 2000-01-31 | 2001-08-10 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS52156624A (en) | 1976-06-22 | 1977-12-27 | Fuji Photo Film Co Ltd | Detection of skin color of color film |
US5781276A (en) | 1992-07-27 | 1998-07-14 | Agfa-Gevaert Ag | Printing of color film |
EP0617548B1 (en) * | 1993-03-24 | 2001-09-05 | Fujifilm Electronic Imaging Limited | Image colour modification |
US5889578A (en) * | 1993-10-26 | 1999-03-30 | Eastman Kodak Company | Method and apparatus for using film scanning information to determine the type and category of an image |
US5710833A (en) | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
US6453069B1 (en) * | 1996-11-20 | 2002-09-17 | Canon Kabushiki Kaisha | Method of extracting image from input image using reference image |
US5867606A (en) * | 1997-08-12 | 1999-02-02 | Hewlett-Packard Company | Apparatus and method for determining the appropriate amount of sharpening for an image |
US6282317B1 (en) * | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
US6707940B1 (en) * | 2000-03-31 | 2004-03-16 | Intel Corporation | Method and apparatus for image segmentation |
US6738494B1 (en) * | 2000-06-23 | 2004-05-18 | Eastman Kodak Company | Method for varying an image processing path based on image emphasis and appeal |
US6731821B1 (en) * | 2000-09-29 | 2004-05-04 | Hewlett-Packard Development Company, L.P. | Method for enhancing compressibility and visual quality of scanned document images |
US7092573B2 (en) * | 2001-12-10 | 2006-08-15 | Eastman Kodak Company | Method and system for selectively applying enhancement to an image |
US6891977B2 (en) * | 2002-02-27 | 2005-05-10 | Eastman Kodak Company | Method for sharpening a digital image without amplifying noise |
-
2001
- 2001-12-07 US US10/020,031 patent/US7050636B2/en not_active Expired - Lifetime
-
2002
- 2002-11-22 JP JP2002339710A patent/JP4498671B2/ja not_active Expired - Fee Related
- 2002-11-25 DE DE60235292T patent/DE60235292D1/de not_active Expired - Lifetime
- 2002-11-25 EP EP02079890A patent/EP1324265B1/en not_active Expired - Lifetime
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09138470A (ja) * | 1995-11-14 | 1997-05-27 | Fuji Photo Film Co Ltd | 画像の主要部判定方法及び複写条件決定方法 |
JPH09233423A (ja) * | 1996-02-27 | 1997-09-05 | Fuji Photo Film Co Ltd | デジタルプリンタの画像データ変換方法 |
JPH1191169A (ja) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP2000149018A (ja) * | 1998-09-10 | 2000-05-30 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置及び記録媒体 |
JP2000196901A (ja) * | 1998-12-24 | 2000-07-14 | Dainippon Screen Mfg Co Ltd | 画像の鮮鋭度強調方法、並びに、その処理を実行するためのプログラムを記録した記録媒体 |
JP2001119575A (ja) * | 1999-10-15 | 2001-04-27 | Ricoh Co Ltd | 画像処理装置 |
JP2001218015A (ja) * | 2000-01-31 | 2001-08-10 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165684A (ja) * | 2003-12-02 | 2005-06-23 | Canon Inc | 画像処理方法および装置 |
JP4659354B2 (ja) * | 2003-12-02 | 2011-03-30 | キヤノン株式会社 | 画像処理方法および装置 |
US8395577B2 (en) | 2004-05-04 | 2013-03-12 | Sharp Laboratories Of America, Inc. | Liquid crystal display with illumination control |
JP2006215785A (ja) * | 2005-02-03 | 2006-08-17 | Ricoh Co Ltd | 画像処理方法、画像処理装置、画像処理プログラム、および、記録媒体 |
US7853094B2 (en) | 2006-01-24 | 2010-12-14 | Sharp Laboratories Of America, Inc. | Color enhancement technique using skin color detection |
US9143657B2 (en) | 2006-01-24 | 2015-09-22 | Sharp Laboratories Of America, Inc. | Color enhancement technique using skin color detection |
Also Published As
Publication number | Publication date |
---|---|
EP1324265B1 (en) | 2010-02-10 |
US7050636B2 (en) | 2006-05-23 |
US20030108245A1 (en) | 2003-06-12 |
JP4498671B2 (ja) | 2010-07-07 |
EP1324265A3 (en) | 2006-08-16 |
DE60235292D1 (de) | 2010-03-25 |
EP1324265A2 (en) | 2003-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4498671B2 (ja) | イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム | |
US10339643B2 (en) | Algorithm and device for image processing | |
Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
JP4460839B2 (ja) | デジタル画像鮮鋭化装置 | |
EP1318475B1 (en) | A method and system for selectively applying enhancement to an image | |
JP3775782B2 (ja) | ディジタル画像中の肌色を検出する方法 | |
EP1174824B1 (en) | Noise reduction method utilizing color information, apparatus, and program for digital image processing | |
EP1347415B1 (en) | Method for sharpening a digital image without amplifying noise | |
JP2001005960A (ja) | 画像処理方法および装置 | |
JP2001126075A (ja) | 画像処理方法および装置並びに記録媒体 | |
JP2010525486A (ja) | 画像分割及び画像強調 | |
Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
US6323855B1 (en) | Sharpening edge features in digital image providing high frequency edge enhancement | |
Han et al. | Automatic illumination and color compensation using mean shift and sigma filter | |
Jin et al. | Color correction and local contrast enhancement for underwater image enhancement | |
Sonawane et al. | Adaptive rule-based colour component weight assignment strategy for underwater video enhancement | |
Goel | The implementation of image enhancement techniques using Matlab | |
Akai et al. | Low-Artifact and Fast Backlit Image Enhancement Method Based on Suppression of Lightness Order Error | |
JP4445026B2 (ja) | 画像処理方法および装置並びにプログラム | |
Jiji et al. | Hybrid technique for enhancing underwater image in blurry conditions | |
Supraja et al. | LIME: Low-Light Image Enhancement via Illumination Map Estimation | |
Kojima et al. | Fast and Effective Scene Segmentation Method for Luminance Adjustment of Multi-Exposure Image | |
Pardhi et al. | Contrast Enhancement Using Adaptive Threshold Based Dynamic Range Adjustment In Luv Colour Space | |
Stange | Gradient Based Histogram Equalization of Thermal Infrared Images | |
AU727553B2 (en) | Improvements in Image Filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080819 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090223 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100113 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100414 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |