JP2016519366A - 知覚調和マップを作成する方法および装置 - Google Patents

Abstract

本発明は、一般に、画像の知覚調和マップを作成する方法に関し、画像の多解像度分解を計算するステップ（１０）と、各解像度レベルで、各調和色彩テンプレート（Ｔm）に関して、解像度レベルで画像の各ピクセルに関連付けられた色相値に関して最適回転角（αm,l）および調和距離（ＨＤm,l（ｈ））を計算し（２０）、かつ調和距離（ＨＤm,l（ｈ））の和を重み付けすることにより調和距離マップ（ＨＤＭａｐl（ｘ，ｙ））を計算するステップと、コントラスト・マップ（ＣＭl,o（ｍ，ｎ））（３０）およびエントロピー・アクティビティ・マップ（ＳＭＬl）（４０）を計算するステップと、コントラスト・マップ（ＣＭl,o（ｍ，ｎ））、エントロピー・アクティビティ・マップ（ＳＭＬl（ｘ，ｙ））および調和距離マップ（ＨＤＭａｐl（ｘ，ｙ））を一体化することにより知覚調和マップ（ＰＨＤＭａｐl（ｘ，ｙ））を得るステップ（５０）と、知覚調和マップＰＨＤＭａｐl（ｍ，ｎ）を累算することにより知覚マップ（ＰＨＤＭａｐ（ｍ，ｎ））を得るステップ（６０）と、を有する。本発明は、画像の品質を評価する方法および装置にも関する。

Description

本発明は、一般に、画像の調和マップを作成する方法および装置に関する。本発明は、画像の品質を評価する方法および装置にも関する。

画像を操作する、編集する、改善するとき、特定の美的意図と同様に最高の品質は、一般に最終的なものである。それにもかかわらず、目的の品質評価に関する課題が低レベルアーティファクト（例えば、ぼけ、ブロックノイズ、ジッターなど）のコンテキストにおいて広く研究されているが、美的意図は、モデリング又は汎用化において高い難度をより巧妙に、かつ主観的にもたらす問題であるようである。

中間の指標のように、美と直感的に関連する特徴（彩度、線方向、形状など）およびルール（コンポジション、三分割法（rules-of-third）、スカイラインなど）に基づく美的な品質基準は、最近のコミュニティにおいて見られる。

アプリケーション・コンテキストに応じて、いくつかのアプローチは、絶対的品質測定を提供するとき、参照源を利用する、又は如何なる参照も無しに最善を尽くす。

発明により解決される課題は、画像の色彩調和を評価するための、および画像の品質が何であるかを評価するための方法を定義することである。

本発明は、画像の知覚調和マップを作成する方法を定義することによって、この問題を解決し、上記方法は、
上記画像の多解像度分解を計算するステップと、
各解像度レベルで、
各調和色彩テンプレートに関して、上記解像度レベルにおける上記画像の各ピクセルと関連付けられた色相値に関する最適回転角（optimal rotation angle）および調和距離を計算し、上記調和距離の和を重み付けすることにより調和距離マップを計算するステップと、
コントラスト・マップおよびエントロピー・アクティビティ・マップを計算するステップと、
上記コントラスト・マップ、上記エントロピー・アクティビティ・マップ、および調和距離マップを一体化することによって知覚調和マップを得るステップと、
上記知覚調和マップを累算することによって知覚マップを得るステップと、
を有する。

本発明は、画像の上記品質を評価する方法にも関するものであり、上記画像の評価スコアが上記前の方法から作成された上記画像の知覚マップから得られる。

コンテンツ・クリエータにとって興味深いツールとして、および芸術的効果を最大化することを目的として、上記提案する方法は、参照画像無しに、画像の不調和のスコアと同様に知覚調和誘導品質マップを提供する。

上記方法は、２つの別個の対象：新たなツールをどのような専門的レベルのコンテンツ・クリエータにも提供するために知覚品質基準および調和色相テンプレート、を繋ぐ。

上記画像の上記多解像度分解は、人間の視覚系に似せるために、上記画像の異なる解像度で知覚調和マップを計算するように処理される。

さらに、各知覚調和マップは、上記調和距離マップにマスキング機能を適用することによって、又は、言い換えると、上記コントラスト・マップ、上記エントロピー・アクティビティ・マップ、および上記調和距離マップを一体化することによって得られる。上記調和距離マップのそのようなマスキングは、ローカルおよびグローバルでの可視性に関する情報を提供する。

本発明の特定の特質も、本発明の他の対象、優位性、特徴、および使用と同様に、添付の図面と共に好ましい実施形態についての下記記載から明らかになるであろう。

実施形態を下記図面に関して説明する。

色彩テンプレートを示す図である。 画像の知覚調和マップを作成する処理方法のフローチャートである。 画像の知覚調和マップを作成する方法を実装する手段を備えた装置を示す図である。

調和は、その定義およびその測定が困難な、主観的な概念である。Fedorovskayaなど（E. Fedorovskaya, C. Neustaedter, and W. Hao. Image harmony for consumer images. In Image Processing, 2008. ICIP 2008. 15^th IEEE International Conference on, pages121-124, Oct.）は、調和（不）快を伴ういくつかの画像の特徴の識別を一連の実験を通じて調査した。彼らは、エッジコントラスト、平均輝度、輝度の範囲．．．がグローバル調和評価に影響を及ぼすことを発見した。この以前の参考文献にも関わらず、画像処理分野における調和調査の大部分は、色の組み合わせおよびコンプリメンタリ（complementary）に関係する。調和したダブレットおよびトリプレットが定義されたIttenのコントラスト測定（J. Itten. The art of color: the subjective experience and objective rationale of color. Van Nostrand Reinhold, New York, 1973.）をはじめ、Matsuda（Y. Matsuda. Color design, Asakura Shoten, 1995）が、画像内の調和した色相のセットを予測するＨＳＶ（Hue, Saturation, Value）ベースのテンプレートを定義することによって、この研究を拡張した。

調和色彩テンプレートは、このように、同時に存在するとき、グローバルに調和した効果をレンダリング／反映するとみなされているＨＳＶ値（色相、彩度および明度）のセットである。高さ調和色彩テンプレートＴ_m（ｍ∈｛ｉ，Ｉ，Ｌ，Ｔ，Ｖ，Ｘ，Ｙ，Ｊ｝）は、図１に示すように使用される。調和色彩テンプレートＯおよびＮは使用されない。各調和色彩テンプレートＴ_mは、異なる部分／セクタでできており、色のコンプリメンタリと、色の直交性と、近い色相のセットとを扱う。各セクタは中央α_mおよびサイズｗ_mを有する。調和色彩テンプレートは色相環を回動されることができる。このように、調和色彩テンプレートは、テンプレートタイプおよびセクタ角度α_mによって定義される。

本発明の完全な実装を図２に示す。ある者は、下記方法が、連続するフレームに対して同じ処理を適用することによって映像源に拡張され得ることに気付くことができる。

ステップ１０で、画像の多解像度分解を計算する。

例えば、予測および計算性能の両方において効率が良いことが証明された離散ウェーブレット変換（ＤＷＴ）（A. Ninassi, O. Lemeur, P. Le Callet, and D. Baraba .On the performance of human visual system based image quality assessment metric using wavelet domain. Pages 680610-680610-12, 2008.）。ＣＤＦ ９／７（Cohen-Daubechies-Feauveau）カーネルを使用することができる。

各分解レベルは、３方向サブバンド（水平、垂直、および斜めの周波数）を備える。分解レベルｌ∈［０；Ｌ−１］の空間周波数領域は、［２^-(l+1)・ｆ_max；２^-1・ｆ_max］であり、ここでｆ_maxが入力画像Ｉｍの最大空間周波数である。

ステップ２０で、各解像度レベルｌにおいて、調和色彩テンプレートＴ_mごとに、最適回転角α_m,lを計算し、調和距離ＨＤ_m,l（ｈ）を、画像Ｉｍの各ピクセル（ｘ，ｙ）に関連付けられた色相値ｈについて、解像度レベルｌで計算する。その後、調和距離マップＨＤＭａｐ_l（ｘ，ｙ）を、調和距離ＨＤ_m,l（ｈ）の和を重み付けすることにより、画像Ｉｍの各ピクセルについて解像度レベルｌで計算する。

一実施形態によると、調和色彩テンプレートＴ_mについて計算された最適回転角α_m,lは、例えば、Baveyeなど(Y. Baveye, F. Urban, C. Chamaret, V. Demoulin, and P. Hellier. Saliecy-guided consistent color harmonization. In S. Tominaga, R. Shettini, and A. Trmeau, editors, Computational Color Imaging, volume 7786 of Lecture Notes in Computer Science, pages 105-118. Springer Berlin Heidelberg, 2013) によって説明されているような、解像度レベルｌでの画像Ｉｍの元の色相分布Ｍ_h,lと、角度α_m,lについての調和色彩テンプレートＴ_mの分布Ｐ_h,l（ｍ，α_m,l）との間のカルバック・ライブラー・ダイバージェンスによって定義されるエネルギーＥ_αm,lを最小化する。

分布Ｍ_h,l及びＰ_h,l（ｍ，ｌ，α_m,l）を３６０個のビンを有するヒストグラムであると考えることができることに留意する。

分布Ｍ_h,l、すなわち色彩ヒストグラムＭ_h,lは、彩度Ｓ（ｘ，ｙ）および明度Ｖ（ｘ，ｙ）によって重み付けされた規格化色相分布としてＨＳＶ空間において計算される。

ここで（ｘ，ｙ）は、各解像度レベルｌでの画像Ｉｍに属するピクセルである。

数学的に表すと、エネルギーＥ_αm,lは、

により得られ、

により得られるｎセクタを有する調和色彩テンプレートＴ_mに関する分布Ｐ_h,l（ｍ，α）および

によってビン値ｉ毎に得られるセクタＳ_k（ｍ，α_k）の分布を有する。

本発明は、分布が定義された手法によって限定されない。

一実施形態によると、調和距離ＨＤ_m,l（ｈ）は、（度数(degree)で測定される）色相環上のアーク長距離であり、

で得られる。

ここで、||.||はアーク長距離であり、α_kは最も近接したセクタ中心であり、ｗ_kは度数でのサイズであり、ｈは解像度レベルｌでの画像Ｉｍのピクセルの色相値である。

一実施形態によると、調和距離マップＨＤＭａｐ_l（ｘ，ｙ）は、調和色彩テンプレートにわたって計算された相対的なエネルギーによって重み付けされた調和距離ＨＤ_m,l（ｈ）の和である。

数学的に表すと、調和距離マップＨＤＭａｐ_l（ｘ，ｙ）は下記によって得られる。

ステップ３０で、コントラスト・マップＣＭ_l,o（ｍ，ｎ）を解像度レベルｌごとに計算する。

コントラスト・マップは、コントラスト値による信号の視認性の変化をモデル化する。

一実施形態によると、ＤＷＴがステップ１０で使用されるとき、コントラスト・マスキングを、空間周波数および方向ｏに対する視覚感度における変化を解像度レベルｌで記述するＣＳＦ関数によって重み付けされた、サイト（ｍ，ｎ）でウェーブレット変換された値として定義する。

数学的に表すと、サブバンドＳ_l,oによってカバーされる空間周波数にわたるDaly（S. Daly. Digital images and human vision. Chapter The visible differences predictor: an algorithm for the assessment of mage）から２ＤのＣＳＦの平均値としてＣＳＦ値Ｎ_l,oが得られ、コントラスト・マスキング・マップは、下記により得られる。

ステップ４０で、エントロピー・アクティビティ・マップＳＭＬ_l（ｘ，ｙ）を解像度レベルｌごとに計算する。

エントロピー・アクティビティ・マップは、テクスチャ領域におけるような画像の不確実性を反映する。

一実施形態によると、エントロピー・アクティビティ・マップＳＭＬ_lは、ｎ×ｎ近傍(n-by-n neighborhood)におけるエントロピーの計算によって評価される。

好ましくは、エントロピー・アクティビティ・マップＳＭＬ_lは、画像Ｉｍの各ピクセル（ｘ，ｙ）方向の勾配（水平、垂直、斜め）の最小値として計算することによって評価される。そのようなセミローカルなアクティビティ・マップＳＭＬ_lは下記により得られる。

ここで、Ｉは入力画像である。

調和距離マップは、ＨＶＳモデルにマッチするように異なる解像度レベルで計算される。

ステップ５０で、解像度レベルｌ毎に、コントラスト・マップＣＭ_l,o（ｍ，ｎ）、エントロピー・アクティビティ・マップＳＭＬ_l（ｘ，ｙ）および調和距離マップＨＤＭａｐ_l（ｘ，ｙ）は一体化されて知覚調和距離マップＰＨＤＭａｐ_l（ｘ，ｙ）を得る。

一例によれば、知覚調和距離マップＰＨＤＭａｐ_l（ｘ，ｙ）は下記により得られる。

ここで、（ｍ，ｎ）は解像度レベルｌにおける画像Ｉｍのピクセル（ｘ，ｙ）に対応する座標である。

ステップ６０で、知覚調和距離マップＰＨＤＭａｐ_l（ｍ，ｎ）は、累算されて知覚マップＰＨＭａｐ（ｘ，ｙ）を構築する。

数学的に表すと、知覚マップＰＨＭａｐ（ｘ，ｙ）は下記によって得られる。

知覚マップＰＨＭａｐ（ｘ，ｙ）は、調和距離マップＨＤＭａｐ_l（ｘ，ｙ）を累算することによって計算される調和距離マップに視覚的に近いが、少数のピクセルの影響を低減することでマスキング効果を統合することに留意する。

本発明の一態様によると、画像の品質を評価する方法は、知覚マップＰＨＭａｐ（ｘ，ｙ）からの画像のレーティング又は評価スコアＲを得ることによって定義される（図２のステップ７０）。

一実施形態によると、レーティングＲは、下記で与えられるMinkowskiの和の平均値によって計算される。

ここで、ＷとＨはそれぞれ、画像Ｉｍの幅と高さであり、βは例えば２のパラメータセットである。

１つの解像度レベルでの画像の色情報は、最も低いサブバンドによって運ばれる。

その結果、別の方法によれば、コントラストおよびエントロピー・アクティビティ・マップは、所与の解像度レベルで、その解像度レベルの最も低いサブバンドに関してのみ、調和距離マップと統合される。

図３は、特定のかつ非限定的な実施形態の処理装置３００の例示的構成を示す。処理装置は、例えば、タブレット、ＰＤＡ又は携帯電話であり得る。処理装置３００は、データおよびアドレスバス３０によって相互接続された下記要素を備える。
− マイクロ・プロセッサ３１（又はＣＰＵ）、例えば、ＤＳＰ（すなわち、デジタル・シグナル・プロセッサ）；
− ＲＯＭ（すなわち、リード・オンリー・メモリ）３２；
− ＲＡＭ（すなわち、ランダム・アクセス・メモリ）３３；
− １つ又は複数の入力／出力インターフェース３５、例えば、キーボード、マウス；および
− バッテリ３６。

図３のこれら要素の各々は、当業者によってよく知られているので、これ以上説明しない。処理装置３００は、処理した画像を表示するためのスクリーンなどの表示装置を備えることができる。本発明に従う処理方法のアルゴリズムはＲＯＭ３２に記憶される。ＲＡＭ３３は、レジスターに、処理装置３００のスイッチ・オン後にＣＰＵ３１によって実行され、アップロードされるプログラムを有する。スイッチ・オンしたとき、ＣＰＵ２１はプログラムをＲＡＭにアップロードし、対応する命令を実行する。処理される画像は、入力／出力インターフェース３５の１つで受信される。入力／出力インターフェース３５の１つは、本発明に従って処理された画像を送信するように適合される。

別の態様によれば、処理装置３００は、本発明が純粋なハードウェアの具現化によって、例えば、専用コンポーネント（例えば、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）、ＶＬＳＩ（Very Large Scale Integration）又は装置に統合された電子部品）の形で、又はハードウェア要素とソフトウェア要素との組み合わせの形で、実施されることもできる。

明確に記載していないが、本実施形態および他の態様を任意の組み合わせ又は部分的な組み合わせで使用するようことができる。

Claims (4)

1. 画像の知覚調和マップを作成する方法であって、
   前記画像の多解像度分解を計算するステップ（１０）と、
   各解像度レベルで、
   各調和色彩テンプレート（Ｔ_m）に関して、前記解像度レベルで前記画像の各ピクセルに関連付けられた色相値に関して最適回転角（α_m,l）および調和距離（ＨＤ_m,l（ｈ））を計算し（２０）、かつ前記調和距離（ＨＤ_m,l（ｈ））の和を重み付けすることにより調和距離マップ（ＨＤＭａｐ_l（ｘ，ｙ））を計算するステップと、
   コントラスト・マップ（ＣＭ_l,o（ｍ，ｎ））（３０）およびエントロピー・アクティビティ・マップ（ＳＭＬ_l）（４０）を計算するステップと、
   前記コントラスト・マップ（ＣＭ_l,o（ｍ，ｎ））、前記エントロピー・アクティビティ・マップ（ＳＭＬ_l（ｘ，ｙ））および前記調和距離マップ（ＨＤＭａｐ_l（ｘ，ｙ））を一体化することにより知覚調和マップ（ＰＨＤＭａｐ_l（ｘ，ｙ））を得るステップ（５０）と、
   前記知覚調和マップＰＨＤＭａｐ_l（ｍ，ｎ）を累算することにより知覚マップ（ＰＨＤＭａｐ（ｍ，ｎ））を得るステップ（６０）と、
   を有する、前記方法。
2. 画像の品質を評価する方法であって、前記画像の評価スコア（Ｒ）は、請求項１に記載の方法から作成された前記画像の知覚マップ（ＰＨＤＭａｐ（ｘ，ｙ））から得られる、前記方法。
3. 請求項１に記載の方法を実施する処理手段を備えた装置。
4. 請求項２に記載の方法を実施する処理装置を備えた装置。