JP2003198850A - デジタルカラー画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像内に含まれる異なる対象または主題を検
出し、それにより画像の各部分の品質（例えば、シャー
プネスおよび色）が改善され得る、特定の画像に対する
エンハンスメントの種類および量の決定。 【解決手段】 以下のステップを有するデジタルカラー
画像処理方法である。それらは、標的および背景主題を
識別するため、主題検出器を用意するステップ、画像の
画素が標的主題に属しているとする信頼度を示すビリー
フマップを作成するために画像を主題検出器を適用する
ステップ、画像エンハンスメントの程度を制御するため
の制御信号に応答する、画像エンハンスメント操作の準
備をするステップ、およびエンハンスメントされた画像
を生成するため、ビリーフマップに従って制御信号を変
化させてデジタル画像に画像エンハンスメントを加える
ステップ、である。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は一般にデジタル画像
処理の分野に属し、特に画像の主題に基づいて画像に適
用されるエンハンスメントの量を決定する方法に関す
る。 【０００２】 【従来の技術】一般に、画像のエンハンスメントには、
少なくとも一つの画像に対する画質改善操作が含まれ、
例えば、尖鋭化は画像の細部を改善し、ノイズリダクシ
ョンは画像のノイズを除去し、デブロッキングは、例え
ばＪＰＥＧ画像圧縮によって発生するブロッキングアー
ティファクトを除去し、シーンバランスアジャストメン
トは画像のコントラストおよび描写(rendering)を改善
する。 【０００３】実際にこれらの方法によりエンハンス画像
(enhanced image)を生成する場合、結果得られる画像の
質はしばしば画像の内容によって変化する。例えば、建
物の画像には、ぼけマスクアルゴリズム(unsharp mask
algorithm)を使用することで満足のいく結果が得られる
かもしれない。しかしながら、人面の画像に同一のアル
ゴリズムを使用すると、好ましくないほどに過度に鮮明
な見栄えに映るかもしれない（例えば、しわ、染みが不
愉快なほどに「エンハンス」され、つまり、よりよく見
えるようになる。）。別の例として、平滑化アルゴリズ
ムは、ノイズおよび／またはブロッキングアーティファ
クトの量を取り除くのに役立ち、人面または晴天の画像
を感じの良いものに仕上げる。しかし、同一の操作を同
じ量だけ行っても、芝生、布地のきめ、または獣毛の細
部を期せずして除去してしまう。従来、尖鋭化する量、
またはその他の種類のエンハンスメントの量は、オペレ
ータが各画像ごとに個別に調整する必要があり、費用の
嵩む処理である。従来の取り扱いでは、同一画像におけ
る領域ごとでの尖鋭化の量の調整が容易ではなく、その
結果として、画像内の異なる主題または対象から要求さ
れる異なるエンハンスメント量と相殺関係を持つエンハ
ンスメント量を適用しなければならなくなってしまう。 【０００４】先行技術においては、画素の色に基づいて
画像エンハンスメント操作を修正する技術例が存在す
る。例えば、グーチらは画素ごとにぼけマスクに関する
パラメータを修正する方法を記している（特許文献１参
照）。ぼけマスクによる画像の尖鋭化は以下の式によっ
て記述される。 【数１】 ここで、 【数２】 である。 【０００５】通常、不鮮明(unsharp)な画像は、ローパ
スフィルタとのコンボリューション（、つまり不鮮明画
像はi(x,y)**b(x,y)で得られる。）によって生成され
る。次に、ハイパス、またはフリンジデータはオリジナ
ル画像から不鮮明画像を差し引くことで生成される（ハ
イパスデータは、i(x,y)-i(x,y)**b(x,y)で得られ
る。）。そして、ハイパスデータはスケール係数(scale
factor)βもしくはフリンジ関数f()またはその両方に
よって修正される。最終的には尖鋭化画像を生成するた
めに、修正ハイパスデータをオリジナル画像または不鮮
明画像と足し合わせる。 【０００６】グーチら(Gouch et al.)の言によれば、フ
リンジ関数は画素i(x,y)の色に従属的であってよい。こ
の特徴により、例えば、肌の色と似ている画素のために
前もって尖鋭化(sharpening)を仕立てておくことが可能
である。しかしこの方法は、ある特定の画素が人肌を表
していることの信頼度または確率に基づいてはおらず、
その為に、レンガまたは木といった人肌に似た色を有す
る領域の画像をおそらくいたずらに控えめな尖鋭化を行
う。グーチらの方法では、専ら画像の色のみを使用し、
研究により画像領域を効率的にに分類することが示され
ている、質感(texture)または形状の特徴といった他の
特徴を使用することはできない。特許文献２において、
シュバルツ(Schwartz)は、パターン認識技術を用いた自
動画像補正の概念を開示しており、そこではパターン認
識サブシステムが色に特徴のある物体(color significa
nt object)の存在および位置を検出している。にて、カ
ナタら(Cannata et al.)は、類似した別の画像データの
選択的エンハンスメントの方法について記している。あ
る実施形態においては、空間的処理変換(spatial proce
ssing transformations)によって悪影響を及ぼすことが
知られている範囲に含まれる色コード値を有する画素に
対し、尖鋭化のような空間的処理変換を減縮またはバイ
パスしている。別の実施形態においては、中間色の範囲
にある色コード値を有する画素に対しては、色補正処理
変換(color correction processing transformations)
をバイパスさせている。明らかだが、選択的エンハンス
メントを実行するために用いている特性が色のみなの
で、類似した色を有する他の主題が望ましくない効果を
受けるおそれがある。 【０００７】 【特許文献１】米国特許第５６８２４４３号明細書 【特許文献２】欧州特許出願公開第６８１２６８号明細
書 【特許文献３】米国特許出願公開第０９／７２８３６５
号明細書 【０００８】 【発明が解決しようとする課題】従って、画像内に含ま
れる異なる対象または主題を検出し、それにより画像の
各部分の品質（例えば、シャープネスおよび色）が改善
され得るような、特定の画像に対するエンハンスメント
の種類および量の決定に関するニーズが存在する。 【０００９】 【課題を解決するための手段】上記ニーズは本発明によ
り満足される。本発明は標的(target)および背景(backg
round)主題(subject matter)を識別する主題検出器の提
供を含むデジタルカラー画像を処理する方法を提供し、
該主題検出器を画像に適用することで、画素が標的主題
に属しているとする信頼度を示すビリーフマップを作成
し、画像へのエンハンスメントの度合いを制御する制御
信号に応答できる画像エンハンスメント操作(image enh
ancement operation)を供し、またエンハンス画像を生
成するため、ビリーフマップに従って制御信号を変化さ
せながら画像エンハンスメントをデジタル画像に適用す
る。 【００１０】本発明は画像内において検出された主題物
に従って画像に施す画像エンハンスメント操作の量を場
所ごとに変化させることができるという利点を有する。
幾つかの画像または画像における幾つかの領域において
エンハンスメントアーティファクトが生成されることを
恐れて、あらゆる画像または画像全体に控えめな(conse
rvative)レベルで画像エンハンスメントを施すようにシ
ステムを調整するよりむしろ、本発明は各領域における
主題内容に基づく画像エンハンスメント量の決定を各領
域について自動的に行っている。さらに、画像における
特定の領域に対し、その領域には特定の標的主題が存在
するという強い信念に基づいてエンハンスメント操作を
全く行わない（つまりエンハンスメント量はゼロであ
る。）。 【００１１】 【発明の実施の形態】以下の記述においては本発明をソ
フトウェアプログラムにて実行される方法として記す。
当然ながら、当業者ならばこのようなソフトウェアの均
等物はまた、ハードウェアとして構成することも可能で
ある。画像エンハンスメントアルゴリズムおよび方法は
周知なので、本記述では特に本発明による方法の一部で
あるかまたはより直接的に協同するアルゴリズムおよび
方法について記す。本明細書では特に図示または記述し
ていないアルゴリズムおよび方法の別の部分、ならび
に、画像信号を生成、さもなくば処理をするための、ハ
ードウェアおよび／もしくはソフトウェアは、当業者が
知るところの主題、構成(component)および要素(elemen
t)から選択してよい。以下に示す記述により、全てのソ
フトウェアの実施自体は従来的で、当該技術分野の通常
の技術範囲に属する。 【００１２】図１は、エンハンス出力画像(enhanced ou
tput image)を得るための、特定の画像処理経路による
画像処理に用いる本発明の好ましい実施形態を示してい
る。一般に、本発明は画像に対してエンハンスメント操
作を行い、そのエンハンスメントの量は画像内の主題ま
たは対象によって決定される。つまり、個々の画像また
は特定の画像における個々の領域に適用されるエンハン
スメントの量は画像の内容によって変化する。いかなる
特定の画像または画像内の特定の領域においてもエンハ
ンスメントの量は、特定の画像の内容にとって適切とな
る様に選択される。 【００１３】本発明の好ましい実施形態においては、ｘ
_０行ｙ_０列を有する画像i(x,y)は、先ず、興味を引く主
題および対応する画像エンハンスメントの制御信号を検
出する本発明が必要とする時間を短縮するため、その低
解像度バージョンが作成される。好ましくは、画像i(x,
y)は高解像度で、例えばｘ_０＝１０２４行の画素とｙ _０
＝１５３６列の画素である。低解像度画像は、ｍ_０行お
よびｎ_０列を有し、好ましくはｍ_０＝２５６およびｎ_０
＝３８４画素である。大きな画像から小さな画像を生成
するための多くの方法が、画像処理の分野において知ら
れており、それらを利用することができる（テキストを
参照：ゴンザレスら、デジタルイメージプロセッシン
グ、アジソン−ウェスレイ、１９９２(Gonzalez et a
l., DigitalImage Processing, Addison-Wesley, 199
2)）。あるいは、このステップを省いてもよい。 【００１４】図１を参照すると、本発明のブロック図が
示されている。デジタル画像を獲得する１０。次に、主
題検出器２２の集合体から主題が選択され２０、そして
デジタル画像に適用される２４。結果は主題ビリーフマ
ップとなり３０、それは与えられた標的主題に特定の画
素または画素領域が属しているかどうかに関する信頼性
を示している。標的主題とは、特定の画像エンハンスメ
ント操作に対して敏感に反応する(sensitive)主題であ
る。標的主題群は、所定の(pre-determined)ものでもよ
い。ステップ２０において選択された主題検出器は主題
ビリーフマップＭ（ｍ，ｎ）を出力し３０、該マップは
主題検出器に入力された画像と行数および列数において
同一の寸法を有することが望ましい。もし、入力デジタ
ル画像がサイズを減縮され、オリジナル入力画像の大き
さとビリーフマップの大きさが一致しないならば、それ
相応にビリーフマップを補間することもできる。ビリー
フマップは特定の画素が標的主題を表していることに関
する信頼性を示している。信頼性は確率で表されること
が望ましい。例えば、各画素値Ｍ（ｍ，ｎ）は１００×
Ｐ（低解像度画像の画素（ｍ，ｎ）が標的主題を表して
いること）に等しく、ここでＰ（Ａ）とは事象Ａの起こ
る確率である。各画素値Ｍ（ｍ，ｎ）は、（予め決定さ
れている閾値で信頼値を分けた後、）信頼性を示す二値
分類(binaryclassification)で表してもよい。例えば、
ビリーフマップにおいて、１なる画素値は、高確率で該
画素が標的主題を表している信頼性を示しており、０な
る画素値は、高確率で該画素が標的主題を表していない
ことに対する信頼性を示している。また、信頼性を距離
で、例えば一般に長距離が低信頼値に、および短距離が
高信頼値に対応している特性空間(feature space)にお
ける距離で示してもよい。 【００１５】好ましい実施形態においては、標的主題の
一つは人肌である。デュピンらによる米国特許出願公開
第０９／９０４３６６号明細書は肌についての標的主題
に関する信頼性を示すビリーフマップを作成する方法を
開示している。 【００１６】図９を参照すれば、主題検出器２２を実施
するために本発明で使用することができる方法が示され
ている。先ず、入力デジタル画像獲得ステップ９５１に
より、入力されたデジタル画像を獲得する。この入力デ
ジタル画像は、従来式のシーンバランスアルゴリズムを
用いて画像の適切なカラーバランスの推定値を得るため
に、シーンバランス適用ステップ９５２を用いて処理さ
れる。次に、初期シーンバランスデジタル画像(initial
scene balanced digital images)生成ステップ９５２
を用いてあらゆる必要な補正を入力デジタル画像に対し
て適用する。それから肌色画素確率値取得ステップ９５
４により、シーンバランスデジタル画像は処理される。
規定閾値適用ステップ９５５が確率値に適用され、続い
て肌色領域取得ステップ９５６に進む。 【００１７】肌色画素領域取得ステップ９５４に利用で
きる一つの方法については以下に、より完全な記述を設
ける。画素のＲＧＢ値は以下の式を用いて「Ｌｓｔ」系
に変換される。 【数３】 【００１８】入力カラーデジタル画像の各画素に関し、
肌色画素である確率が計算される。規定の肌色確率関数
に基づいて、Ｌｓｔ空間における座標から確率が得られ
る。これらの確率関数は、シーンバランス画像の膨大な
コレクションにおける肌色領域および非肌色領域の色空
間分布に関するデータのコレクションに基づいて構成さ
れている。与えられたＬｓｔ座標における画素が肌色画
素である条件付確率は、 【数４】 であり、ここでの条件付分布Ｐｒ（Ｓｋｉｎ｜Ｌ）、Ｐ
ｒ（Ｓｋｉｎ｜ｓ）、およびＰｒ（Ｓｋｉｎ｜ｔ）のそ
れぞれは、肌色および非肌色画素に関する原始トレーニ
ング分布(original training distribution)にベイズ理
論を適用して構成する。相対的に、他の従来的肌色画素
の検出方法では、Ｐ（ｃｏｌｏｒ｜Ｓｋｉｎ）の尤度確
率を用いている（タカハシら(Takahashi et al.)による
米国特許第４２０３６７１号およびザーンら(Zahn et a
l.)による米国特許第５７８１２７６号参照。）。従来
的な尤度確率を用いる一つの欠点は非肌色画素の確率分
布を明らかにしていない点である。結果、誤った検出の
尤度が高い。 【００１９】全ての画素に対する確率の収集で入力画像
に対する肌色確率分布を形成している。肌色確率分布
は、閾値で分類され(thresholded)、各画素が肌色また
は非肌色かを指定されている二値マップが作成される。
代わりに、入力カラー画像における人面領域を検出する
ために顔検出アルゴリズム(face detection algorithm)
を使用することも可能である。そして検出された顔領域
から肌色領域が抽出される。顔検出方法に関しては、モ
ハダムら(Moghaddam et al.)による米国特許第５７１０
８３３号を参照されたい。 【００２０】加えて、人肌を標的主題とするビリーフマ
ップの作成方法について以下の論文が記されている。チ
ョウら(Cho et al.)による、Adaptive Skin-Color Filt
er,Pattern Recognition, 34 (2001) 第１０６７−１０
７３頁、およびフレックら(Fleck et al.)による、Find
ing Naked People, Proceedings of the European Conf
erence on Computer Vision, Vol. 2, 1996、第５９２
−６０２頁である。 【００２１】また、標的主題は人面、空、芝生、雪、
水、または自動的に画像から主題であることの信頼性を
決定する方法が存在するあらゆる主題であってもよい。
人面の検出については多くの論文がある。例えば、ヘイ
セルら(Heisele et al.)による、Face Detection in St
ill Gray Images, MIT Artificial Intelligence Lab,
A. I. Memo 1687, C.B.C.L. Paper １８７号２０００年
５月。ルオら(Luo et al.)による米国特許出願公開第０
９／４５０１９０号は標的主題が青空である場合にビリ
ーフマップの作成に関し記述している。 【００２２】主題検出の従来技術の主な欠点は、主題に
固有の特性を考慮していないので、主な主題を確実に識
別できない点にある。例えば、セーバーら(Saber et a
l.)による、Automatic Image Annotation Using Adapti
ve Color Classification, Graphical Models and Imag
e Processing、５８巻、５号では、空を検出するために
色の類別のみを用いている。結果としてしばしば、衣
類、人工物の表面、および水のような多くの種類の空色
の主題が空と間違われる。さらには、これらの技術のい
くつかは画像の指向性(image orientation)に関する演
繹的知識(a prioriknowledge)を頼みとしなければなら
ないのである。主要な主題の存在を確実に検出するする
ことに失敗すれば、特に誤って積極的な(positive)検出
をすれば、後のアプリケーション(downstream applicat
ion)において失敗を導く（例えば、誤った空領域の検出
により不正確な画像指向性の推定を導く。）。従い、よ
り強固な主要主題検出方法を必要としている。 【００２３】この必要性を満足させるために、値（赤、
緑、青）を有する画素からなるデジタルカラー画像の主
題領域検出方法を提供する。この方法は、色およびテク
スチャの特徴から、各画素が主題に含まれているかにつ
いての信頼値を与えるステップ、信頼値を閾値で分類す
ることで空間的に隣接候補主題を形成するステップ、領
域が主題に含まれている確率を決定するために、空間的
に隣接する領域を一つまたはそれよりも多くの固有の主
題特性に基づいて分析するステップ、ならびに検出され
た主題領域および対応した、領域が主題に含まれる確率
のマップを作成するステップで達成される。 【００２４】図１０は、晴天または芝生のような主題を
検出するための本発明による方法を示している。先ず、
入力カラーデジタル画像を取得する１０１１。次に、色
およびテクスチャによって画素を分類するステップにお
いて、色とテクスチャの特徴に基づき、適度に学習され
た(suitably trained)多層ニューラルネットワークによ
って各画素に主題信頼値が割り当てられる。次に、数多
くの候補主題領域を作成するため、領域抽出ステップ１
０２３が用いられる。同時に入力画像は開空間検出ステ
ップ１０２２により処理され、開空間マップが生成され
る１０２４（ワーニックら(Warnick)による米国特許第
５９０１２４５号に記載の内容。本明細書に参照として
収録。）。開空間マップにおける領域との顕著なオーバ
ーラップ（例えば８０％以上）を有する候補領域のみが
「滑らか(smooth)」であり、さらなる処理に向けて選択
される１０２６。これら選択された候補領域は、その固
有の特性について分析される１０２８。青空の場合、こ
れの固有の特性とは彩度減少効果、つまりは水平線に向
かって徐々に青味の程度が減少していくことである。こ
の青空の固有の特性を用いて真の青空領域と他の青色主
題とを区別する。特に、二次の多項式を用い、赤、緑、
および青のチャンネルのそれぞれにおいて、得られた滑
らかな空色の候補領域を近似する。多項式の係数は学習
後のニューラルネットワークにより分類され、候補領域
が青空固有の特性と一致しているのかが決定される。こ
れらの固有の特性を示している候補領域のみが滑らかな
青空領域と呼ばれる。芝生の場合、その固有の特性とは
光および当方的テクスチャ、特定の位置（画像の底辺近
傍であり、画像境界に接している。）である。このよう
な固有の特性を示す候補領域のみが滑らかな芝生領域と
呼ばれる。分析の結果、検出された主題領域に関連した
信頼値、それと同様に、位置および量が示された、主題
ビリーフマップが作成される１０３０。他の一般的主題
（例えば雪や水）の検出は同様のアプローチで可能であ
る。 【００２５】図１に戻ると、複数主題検出器が選択され
２０、並列的にまたは連続的に、一組のビリーフマップ
Ｍ_ｉ（ｘ，ｙ）を作成し、ここでｉは１からＮまでの範
囲である。別の場合、主題検出器の一つがビリーフマッ
プＭ_０（ｘ、ｙ）を作成するのに用いられ、このＭ
_０（ｘ，ｙ）は、与えられている画素が、選択されてい
るどの主題検出器もが、いかなる標的主題とも判断しな
いことに関する信頼性を示している。このようなビリー
フマップが高い値（例えば１．０に近い確率）を有する
のは、全てのビリーフマップＭ_ｉ（ｘ，ｙ）が低い値
（例えば０．０に近い確率）である画素においてのみで
ある。実質的にＭ_０（ｘ，ｙ）は、与えられた画素位置
が全ての選択されている主題検出器に背景であるとみな
す信頼性を示している。 【００２６】図１にて、規定の画像エンハンスメント操
作の集合体４４から画像エンハンスメント操作が選択さ
れる。選択されている画像エンハンスメント操作に基づ
き、適切な量の選択されているエンハンスメントが標的
主題および背景主題になされるようにエンハンスメント
制御信号５０が生成される。選択されている画像エンハ
ンスメントが制御信号に従い、入力画像１０に適用され
６０、エンハンス画像７０が作成される。 【００２７】本発明によって様々な種類の標的主題を検
出可能であり、また様々な画像操作が可能である。例え
ば本発明では、人肌が検出されている画像領域を控えめ
に尖鋭化して人肌が検出されていない画像領域を積極的
に尖鋭化したり、晴天が検出されている画像領域を控え
めに尖鋭化して晴天が検出されていない画像領域を積極
的に尖鋭化することができる。複数の標的主題を選択的
画像エンハンスメントの規準に用いることができる。例
えば本発明では、人肌または晴天が検出されている画像
領域を控えめに尖鋭化して人肌および晴天が検出されて
いない画像領域を積極的に尖鋭化することができる。 【００２８】代わりに、または、それに加えて本発明で
は、芝生が検出されている画像領域に控えめにノイズ除
去を行い、芝生が検出されていない画像領域には積極的
なノイズ除去を行うことや、人肌が検出されている画像
領域に積極的なノイズ除去を行い、人肌が検出されてい
ない画像領域には控えめなノイズ除去を行うこと、また
水(bodies of water)が検出されている画像領域に控え
めなノイズ除去を行い、水が検出されていない画像領域
には積極的なノイズ除去を行うことができる。 【００２９】代わりに、または、さらに加えて本発明で
は、人肌が検出されている画像領域に積極的にデブロッ
キングを行い、人肌が検出されていない画像領域には控
えめにデブロッキングを行うことや、晴天が検出されて
いる画像領域に積極的なデブロッキングを行い、晴天が
検出されていない画像領域には控えめにデブロッキング
を行うことができる。 【００３０】代わりに、または、さらに加えて本発明で
は、特定の標的主題の色を選択的に修正（色再配置(col
or re-mapping)）できる。例えば画像内の空の領域の色
を所定の「好ましい(preferred)」または「記憶の(memo
ry)」空の色に修正したり、画像内の草の領域の色を所
定の「好ましい」または「記憶の」芝生の色に（例えば
ゴルフコースの色に）修正したり、また画像内の肌領域
の色を所定の「好ましい」または「記憶の」肌の色（例
えば日焼けした肌の色）へ向かう方向性で修正できる。
色再配置には、色相、明度、および彩度の修正が挙げら
れる。主題の彩度を増加させることは、色再配置の一例
である。 【００３１】代わりに、または、さらに加えて本発明で
は、特定の標的主題の色および輝度に基準を置いてシー
ンバランス（輝度およびカラーバランス）を選択的に調
整できる。例えば、複数の光源が存在するのならば雪の
領域の色および輝度を用いて全体または部分のシーンバ
ランスを決められ、また、複数の光源が存在するのなら
ば肌（顔）の領域の色および輝度を用いても全体または
部分のシーンバランスを決めることができる。 【００３２】代わりに、または、さらに加えて本発明で
は、特定の標的主題の色調を選択的に調整できる。例え
ば、画像内の空領域の色の階調度(color gradient)を所
定の「好ましい」または「記憶の」空の色調（色の階調
度）に修正でき、また画像内の顔領域のコントラストお
よび色調を所定の「好ましい」または「記憶の」顔の色
調（例えば、スタジオ肖像写真）へ向かう方向性で修正
できる。 【００３３】代わりに、または、さらに加えて本発明で
は、標的主題に基づいて画像を補間(interpolate)でき
る。画像の補間とは、存在する画像の大きな、拡大バー
ジョンを作成することである。標準では、双線形インタ
ーポレーションまたは三次スプラインを基にしたインタ
ーポレーションを用いる。異なる主題範囲に対して異な
るインターポレーション技術を適用するのが望ましい。
一般に、例えば青空といった画像の平面的な領域には、
周知の双線形インターポレーションのような平面モデル
を扱うインターポレーションアルゴリズムが首尾よく機
能する。例えば、芝生、群葉(foliage)、および波立つ
水(bodies of rippled water)といった別の標的主題に
は、平面モデルでは上手く働かず、キュビロら(Cubillo
et al.)らによる米国特許第６１４１０１７号によって
開示されているフラクタルを基にした、より複雑なモデ
ルを必要とするかもしれない。 【００３４】デジタル画像処理において、尖鋭化アルゴ
リズムで画像を尖鋭化し、細部を際立たせることはよく
知られている。標準として、コンボリューション処理で
この尖鋭化を行う。その例としては、ジェーンの教科書
(Jain's textbook)、Fundamentals of Digital Image P
rocessing、１９８９年、プレンタイス−ホール(Prenti
ce-Hall)、第２４９−２５０頁を参照されたい。ぼけマ
スク処理は、コンボリューションを基にした尖鋭化処理
の例である。 【００３５】例えば、ぼけマスクを用いる画像の尖鋭化
は以下の式で表される。 【数５】 ここで、 【数６】 である。 【００３６】標準として、ぼけた画像(unsharp image)
は画像とローパスフィルタとのコンボリューションによ
って、（つまり、ぼけた画像はi(x,y)**b(m,n)によっ
て、）生成される。次に、オリジナル画像からぼけた画
像を引いて、ハイパス信号を生成する（つまり、ハイパ
ス信号はi(x,y)-i(x,y)**b(m,n)で与えられる。）。そ
して、このハイパス信号がフリンジ関数f(x,y)およびぼ
けマスクスケール係数として機能する制御信号関数で修
正される。注意すべきは、f()は好ましくは一致演算(id
entity operation)である（つまりは、何も行わな
い。）という点である。最後に、修正されたハイパス信
号が、オリジナル画像またはぼけた画像に加算されて、
尖鋭化画像を生成する。本発明の好ましい実施形態にお
いては、ぼけマスクスケール係数β(x,y)のコレクショ
ンで制御信号を表している。いかなる特定の場所(x,y)
においても制御信号β(x,y)の値は、対応する画像の位
置における様々なビリーフマップの値Ｍ（ｘ、ｙ）と関
係がある。（行および列に関し）ビリーフマップのサイ
ズが画像サイズと同一であると仮定すれば、制御信号β
(x,y)およびビリーフマップの値Ｍ（ｘ、ｙ）の関係性
は以下の式で表され、 【数７】 ここで、ｉは主題検出器を指す。例えば、Ｍ_１（ｘ、
ｙ）は人肌に関する信頼性を示すビリーフマップで、Ｍ
_２（ｘ、ｙ）は青空に関する信頼性を示すビリーフマッ
プ、Ｍ_３（ｘ，ｙ）は草に関する信頼性を示すビリーフ
マップ、等々、でよい。 【００３７】Ｔｉは、対応する標的主題に関して高い信
頼性を有する画素に対する制御信号を示す。上記の例を
継続するなら、人肌には、Ｔ_１＝１．５、青空には、Ｔ
_２＝１．５、緑の草にはＴ_３＝６．０、等々、でよい。 【００３８】Ｔ_０は、全ての主題検出器に関し背景
（「純」背景）と一般にみなされる画素に対する制御信
号を示している。 【００３９】本実施形態では、主題検出器は互いに排反
するものとは想定されていない。換言すれば、幾つかの
画素位置（ｘ、ｙ）においては、Σ_ｉ（Ｍ_ｉ（ｘ，
ｙ））は１．０よりも大きくなるかもしれないというこ
とである。 【００４０】別の実施形態においては、 【数８】 としている。 【００４１】この例においては、主題検出器は互いに排
反するものと想定されてる。換言すれば、Σ_ｉ（Ｍ
_ｉ（ｘ，ｙ））はいかなる画素位置（ｘ,ｙ）において
も１．０よりも大きいことはない。 【００４２】ビリーフマップＭ_ｉ（ｘ，ｙ）の集積体に
対する制御信号には多くの別の式が利用できることは、
画像処理に関する技術分野の技能を有する者であれば理
解するところである。例えば、さらに別の場合におい
て、Ｍ_０（ｘ，ｙ）がいかなる選択されている主題検出
器が標的主題であるとみなさない画素であることの信頼
性を示すのであれば、以下の関係式が成立する。 【数９】 【００４３】デジタル信号処理の技術分野において周知
である、周波数領域（例えば、ＦＦＴ領域）における画
像の修正によって同様の尖鋭化効果は可能であるが、一
般に周波数領域において空間的に変化する尖鋭化を行う
ことはさらに困難である。換言すれば、周波数領域を用
いる技術は一般的に本発明での利用には適さないのであ
る。 【００４４】先の例においては、特定の位置における制
御信号の値は、対応する少なくとも一つのビリーフマッ
プの値Ｍ_ｉ（ｘ，ｙ）の値にのみ従属することが示され
ている。その代わりに、図８に示されているように、制
御信号は、ビリーフマップ解析器３２による解析から得
られる別の特性に従属している。ビリーフマップ解析器
３２はビリーフマップを入力とし、ビリーフマップに関
連した様々な信号を出力可能である。ビリーフマップ解
析器から出力される信号はビリーフマップの平均値、最
小値、最大値、または分散値といったスカラー量であっ
てよい。代わりに、または、加えて、ビリーフマップ解
析器の出力信号は、別のマップも可能であり、そのマッ
プは一または複数のビリーフマップと同一の寸法を有す
ることが好ましい。例えば、ビリーフマップ解析器３２
はロケーションマップＬ_ｉ（ｘ，ｙ）を生成してもよ
く、そのロケーションマップは、各画素の画像の中心か
らの距離、またはその他の適当な距離を示している。加
えて、上記マップ解析器３２がサイズマップＳ_ｉ（ｘ，
ｙ）を生成してもよく、該サイズマップの各画素の値は
その画素に対応する領域のサイズを示すものである。画
像処理の技術分野において周知の連結構成要素アルゴリ
ズム(connected component algorithm)を用いて、非ゼ
ロの信頼性を有する信頼性領域のサイズをビリーフマッ
プから抽出できる。そのサイズは各信頼性領域に属する
画素数（または総画素に占めるパーセンテージ）を計数
して求めてよい。ビリーフマップ解析器からの出力信号
は、ビリーフマップに加えてエンハンスメント制御信号
生成器３４に入力される。そしてエンハンスメント制御
信号生成器３４はエンハンスメント制御信号を生成し、
それは、対応するビリーフマップ値Ｍ_ｉ（ｘ，ｙ）、ロ
ケーションマップＬ_ｉ（ｘ，ｙ）、およびサイズマップ
Ｓ_ｉ（ｘ，ｙ）に従属する、各位置に関する制御値であ
る。 【００４５】ビリーフマップ解析器３２により、標的主
題に対する選択した画像エンハンスメント操作の調整に
柔軟性を与えている。例として、再度画像の尖鋭化につ
いて考察する。一般に、人肌を表している画素には僅か
な尖鋭化が理想的である。しかしながら、小さな人肌領
域（例えば画像に含まれる小さな顔）は大きな人肌領域
よりも、視覚的に望ましくない染みや皺の顕在化なしで
高レベルの尖鋭化に耐え得るという認識で、さらなる尖
鋭化を行ってもよい。サイズマップＳ_ｉ（ｘ，ｙ）は、
エンハンスメント制御信号生成器３４を、信頼値および
それのサイズマップにおける値に基づいた制御信号に適
応可能にしている。従って小さな顔は大きな顔よりも控
えめに尖鋭化され、両顔は顔ではない領域よりも控えめ
に尖鋭化される。 【００４６】例えば、以下の関係式は、エンハンスメン
ト制御信号生成器３４によって制御信号を生成するため
に実施されるものであり、 【数１０】 ここで、k()は尖鋭化のパラメータへ及ぶ領域サイズの
影響を制御する関数である。k()の値は、Ｓ_ｉ（ｘ，
ｙ）の小さな値に対する０から、Ｓ_ｉ（ｘ，ｙ）の大き
な値に対する１．０まで単調に変化する。 【００４７】図２を参照すると、典型的なスナップショ
ット画像が示されており、そこには、（顔領域が肌領域
１００としてマークされている）人、群葉１０１、曇天
１０２、晴天１０３および芝生１０４がある。そのよう
な画像には、雪の積もった地面（図示せず）および水
（図示せず）があってもよい。図３ないし図８には、標
的主題がそれぞれ人肌、空、芝生、雪の積もった地面、
水とする場合の、それに対応するビリーフマップが示さ
れている。ゼロ値のビリーフマップは、信頼値がゼロで
ある画素のみからなり、それは対応する主題が画像に存
在しないこと（例えば図７において水の領域は検出され
ていないこと）を示している。与えられている一つのビ
リーフマップは一種類の主題にのみ関連していることに
注意すべきである。換言すれば、空領域が、人肌ビリー
フマップにおいては背景領域とされており、その逆の場
合も同様である。画像の「純」背景領域１１０はいかな
る標的主題に対しても信頼性ゼロの画素から構成されて
いる。画素または領域が一よりも多いビリーフマップに
おいて非ゼロの信頼値を持つことは可能であり、それは
その画素が一よりも多い種類の主題に属しているかもし
れないことを示している（例えば、図２における領域１
０１は草に属している確率が０．３であり緑色の群葉に
属している確立が０．７である。）。図３は、標的主題
を人肌とした場合における、主題検出器が生成するビリ
ーフマップの例であり、画像内の異なる主題に信頼値が
付されている。例えば、顔領域は、０から１００のスケ
ールで人肌に対する信頼値９５が付され、木の幹には信
頼値３０が、背景領域には信頼値０が付されている。図
４には、標的主題を空とした場合の主題検出器が生成す
るビリーフマップの例が示されており、そこでは信頼値
１００が付されている。図５には、標的主題を草とした
場合の主題検出器が生成するビリーフマップの例が示さ
れており、草には信頼値１００が付され、木の葉には信
頼値３０が付されている。図６には、標的主題を雲およ
び雪とした場合の主題検出器が生成するビリーフマップ
の例が示されており、雲には信頼値８０が付されてい
る。図７には、標的主題を水とした場合の主題検出器が
生成するビリーフマップの例が示されており、この光景
には露に水は存在しない。 【００４８】図１に戻り、上記の代わりにまたは上記に
加え、画像エンハンスメント操作には、ノイズリダクシ
ョン、デブロッキング、シーンバランスの調整、色調の
調整、色の再配置、画像の補間、または少なくとも一つ
の画像の属性を強化することができるあらゆる他の操作
を含めてもよい。 【００４９】ＪＰＥＧデブロッキングとは、ＪＰＥＧ画
像圧縮の結果生じる視覚的に好ましからざるブロック状
の人工的な境界を称している（ルオらによる、アーティ
ファクト リダクション イン ロウ ビットレート
ＤＣＴベースド イメージコンプレッション(Luo et a
l. Artifact Reduction in Low Bit Rate DCT-BasedIma
ge Compression)ＩＥＥＥ トランザクションズ オン
イメージ プロセッシング(Transactions on Image P
rocessing)、５巻、９号、１９９６年９月、第１３６３
−１３６８ページを参照。）。一般に、人面および晴天
における滑らかな変化においては、積極的にブロッキン
グアーティファクトを除去することが望まれ、これらの
場所はブロッキングアーティファクトが最も目に映りや
すく、不快だからである。しかし、通常デブロッキング
アルゴリズムは、ブロッキングアーティファクトが目立
たない芝生、雪の積もった地面、および水のような領域
の画像の細部を除去する傾向を有する。従って、異なる
主題領域には異なる量のデブロッキングを適用すること
に利がある。なおその上に、高度なテクスチャ内容を有
する主題領域には一切のデブロッキングの適用がないこ
とが望まれる。なぜならば、そのような領域は自然とブ
ロッキングアーティファクトを隠し、また細部の損失に
対し許容性がないからである。 【００５０】一般に、ＪＰＥＧ圧縮処理における量子化
による失われた情報を回復することは不可能だが、いく
つかのコーディングによるアーティファクトは、適当な
先行する画像モデルを用い、画像平滑化の制約条件の合
同で緩和させることができる。 【００５１】画像平滑化の制約条件を実施するため、幾
つかの凸ポテンシャル関数が存在する。しばしば凸関数
が好まれるが、それは凸制約条件問題の収束性は、解が
存在すれば保証されており、高速な集束によって効果的
な最適化が可能だからである。さらに重要なことに、隣
接画素の差分を変数とし、滑らかに推移する、つまり十
分な連続性を有する凸ポテンシャル関数によって画像に
望ましい連続性がもたらされる。 【００５２】フーバー−マルコフのランダム場（ＨＭＲ
Ｆ）と呼ばれる、特定のギブスのランダム場が好まし
い。そのポテンシャル関数Ｖ_ｃ，Ｔ（ｘ）は次の形式で
あり、 【数１１】 ここで、Ｔは閾値である。現下の画素Ｘ_ｍ，ｎとそれに
隣接する画素Ｎ_ｍ，ｎとの階調の差分を次のように定義
すれば、 【数１２】 これらの差分はフーバーのミニマックス関数の変数に代
入することができる。フーバーのミニマックス関数の良
い性質とは、稜線およびテクスチャ領域といった画像の
細部を残しながら、ある種のアーティファクトを平滑化
できる点である。局所的な変動が閾値Ｔよりも小さけれ
ば、関数の二次セグメントをアーティファクトの最小２
乗平均による平滑化に用いる。他方、関数の線形セグメ
ントが、画像内の大きな不連続性にはずっと軽いペナル
ティーにし、画像細部の保護を可能にしている。 【００５３】性質を異にする不連続性を識別する上で、
ＨＭＲＦモデルのスイッチング機能が非常に重要であ
る。しかし、我々が画像の細部とアーティファクトを識
別する必要がある場合には、このスイッチング特性では
まだ不十分である。意味論を持ちこまずに、単一の閾値
Ｔでは、あらゆる不連続性を説明できず、真の画像稜線
とアーティファクトとを識別するのに十分ではない。検
出された主題に関する知識で、異なる主題それぞれに適
切な閾値Ｔを選び出すことができる。例えば、肌および
青空に関する領域の画素に対してアーティファクトを平
滑化するために、ＨＭＲＦモデルの閾値Ｔ（Ｔ１＝１
０）は大きな値が選ばれ、芝生および波立った水に関す
る領域には中間的な閾値Ｔ（Ｔ２＝５）が選ばれ、また
群葉のように高度なテクスチャを有する領域には閾値Ｔ
をゼロ（Ｔ＝０）とする。 【００５４】デノイジングとは、画像のノイズ低減を意
味する。リー(Lee)によるDigital Image Smoothing and
the Sigma Filter, Computer Vision, Graphics, Imag
e Processing、２４巻、第１８９−１９８ページ、１９
８３年４月に記載の非線形フィルタを参照されたい。現
下の画素値との差がσ内である隣接する画素値の局所的
平均を用いて現下の画素値の値を置き換えている。明ら
かなことだが、これにより、大きな値を有する稜線部は
保護される一方、小さな値であるノイズ成分は除去され
る。 【００５５】本発明の主題は、デジタル画像理解技術に
関し、この技術はデジタル的にデジタル画像を認識し、
それによって人間が理解できる対象、属性、または状態
に有用な意味を与え、後続のデジタル画像処理によって
得られる結果を利用する技術を意味すると解される。 【００５６】本発明は、例えばコンピュータプログラム
製品において実施されてもよい。コンピュータプログラ
ム製品は少なくとも一つの記憶媒体に収録されてもよ
く、それら記憶媒体とは例えば、（フロッピィーディス
クのような）磁気ディスクもしくは磁気テープといった
磁気記憶媒体、光学ディスク、光学テープ、もしくは器
械読み取り可能なバーコードといった光学記憶媒体、ラ
ンダムアクセスメモリ（ＲＡＭ）もしくはリードオンリ
メモリ（ＲＯＭ）といった固体電子記憶装置、または他
のあらゆる物理装置もしくは少なくとも一つのコンピュ
ータを制御して本発明による方法を実施するための命令
を有するコンピュータプログラムを記憶するのに用いら
れる媒体、である。 【００５７】 【発明の効果】本発明は画像内において検出された主題
物に従って画像に施す画像エンハンスメント操作の量を
場所ごとに変化させることができる。あらゆる画像また
は画像全体に控えめなレベルで画像エンハンスメントを
施すようにシステムを調整するのではなくむしろ、本発
明は各領域における主題内容に基づく画像エンハンスメ
ント量の決定を各領域について自動的に行っている。

【図面の簡単な説明】 【図１】 本発明を示す流れ図である。 【図２】 無加工画像の例である。 【図３】 標的主題を人肌とした場合の主題検出器４に
よって生成されたビリーフマップの例であり、画像内の
異なる主題にも信頼値が付されている。 【図４】 標的主題を空とした場合の主題検出器４によ
って生成されたビリーフマップの例であり、画像内の異
なる主題にも信頼値が付されている。 【図５】 標的主題を草とした場合の主題検出器４によ
って生成されたビリーフマップの例であり、画像内の異
なる主題にも信頼値が付されている。 【図６】 標的主題を雲および雪とした場合の主題検出
器４によって生成されたビリーフマップの例であり、画
像内の異なる主題にも信頼値が付されている。 【図７】 標的主題を水とした場合の主題検出器４によ
って生成されたビリーフマップの例であり、画像内の異
なる主題にも信頼値が付されている。 【図８】 本発明によるエンハンスメント制御信号の生
成を示すブロック図である。 【図９】 肌の色調の領域を検出するための方法を示す
ブロック図である。 【図１０】 空または草のような主題領域を検出するた
めの方法を示すブロック図である。 【符号の説明】 １０ ・・・ デジタルカラー画像 ２２ ・・・ 主題検出器 ３０ ・・・ 主題ビリーフマップ ３２ ・・・ ビリーフマップ解析器 ３４ ・・・ エンハンスメント制御信号生成器 ７０ ・・・ エンハンス画像 １００ ・・・ 顔／肌領域 １０１ ・・・ 葉領域 １０２ ・・・ 曇天領域 １０３ ・・・ 晴天領域 １０４ ・・・ 芝領域 １１０ ・・・ 背景（非標的）領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者 アミット・シンガル アメリカ合衆国14546ニューヨーク州スコ ッツビル、ロバート・クイッグリー・ドラ イブ163番 (72)発明者 ロバート・テリー・グレイ アメリカ合衆国14617ニューヨーク州ロチ ェスター、フランクランド・ロード225番 Ｆターム(参考） 5C021 XB03 YA02 5C077 LL02 LL19 MP01 MP08 PP03 PP27 PP28 PP32 PP43 PP68 5L096 AA02 FA01 FA15 GA40 MA03

Claims (1)

1. 【特許請求の範囲】 【請求項１】 ａ）標的および背景主題を識別する主題
   検出器を準備するステップ、 ｂ）主題検出器を画像に適用して画像内の画素が標的主
   題に属する信頼度を示すビリーフマップを生成するステ
   ップ、 ｃ）画像エンハンスメントの程度を制御している制御信
   号に応答する画像エンハンスメント操作を準備するステ
   ップ、 ｄ）ビリーフマップによって制御信号を変化させて、デ
   ジタル画像に画像エンハンスメント操作を適用し、エン
   ハンス画像を生成するステップ、を有するデジタルカラ
   ー画像処理方法。