JP2007515009A - 画像の顕著性マップを生成する装置および方法 - Google Patents

Abstract

本発明は、画像の顕著性マップを作成する装置および方法に関する。この方法は、
− 輝度成分（Ａ）にしたがって画像を投影し、またこの画像がカラー画像の場合には、輝度成分（Ａ）および色成分（Ｃｒ１，Ｃｒ２）にしたがって画像を投影するステップ（Ｅ１）と、
− 人間の眼の視感度閾値にしたがって上記成分（Ａ，Ｃｒ１，Ｃｒ２）の知覚的サブバンド分解を行うステップ（Ｅ３，Ｔ２，Ｔ'２，Ｔ''２）と、
− 上記の輝度成分（Ａ）に関連したサブバンドの顕著要素を抽出するステップ（Ｅ７）と、
− 上記の輝度成分（Ａ）に関連したサブバンド毎にこの顕著要素の輪郭強調を行うステップ（Ｅ８，Ｔ７）と、
− 上記の輝度成分（Ａ）に関連したサブバンド毎にこの輪郭強調から顕著性マップを計算するステップ（Ｔ７）と、
− サブバンド毎に得たこれらの顕著性マップの関数として上記記顕著性マップを作成するステップ（Ｔ８）とを有する。

Description

本発明は、画像の顕著性マップ（saliency map）を生成する装置および方法に関する。

人間情報処理系（human information processing system）は、本質的に制限された系であり、殊に視覚系ついては限られた系である。人間の認識の供給源は限られているが、この系は、その視環境に含まれている大量の情報に立ち向かわなければならないのである。それにも拘わらずまた逆説的であるが、人間はこの問題の解決に成功していると考えられる。それは人間はその視環境を理解できることからである。

視覚系にとって極めて簡単であり、そのために注意資源（attentional resource）を知覚しなくてよいほどの視覚的特徴（visual feature）があると広く考えられている。これらの視覚的特徴は、前注意特徴（pre-attentive feature）と称されている。

視覚研究のこのような考え方によれば、人間注意行動（human attentive behavior）は、前注意処理（pre-attentive processing）と注意処理（attentive processing）との間で共有される。上述のように前注意処理、いわゆるボトムアップ処理は、無意識の注意（involuntary attention）と結びついている。人間の注意は、特に努力することなく、その視野の顕著な部分に向けられる。注意処理、いわゆるトップダウン処理を考察する場合、証明されているのは、人間の注意と、意図している特定のタスクとが結びついていることである。注意のこの第２の形態はより一層意図的かつ強力な注意であり、この形態の注意より、特定の方向を注視しようとする努力が要求されるのである。

画像の顕著点（salient point）を検出することによって可能になるのは、符号化または画像のインデクシング、透かし、ビデオ品質推定など後続のステップを改善することである。

公知のアプローチは多かれ少なかれ、非サイコビジュアル特徴（non-psycho visual feature）に基づいている。このような手法とは異なり、ここで提案される方法がよりどころとしているのは、モデルが、人間視覚系ＨＶＳ（human visual system）に完全に基づいているということであり、これには例えば初期の視覚的特徴の計算などがある。

第１の様相において本発明により提案されるのは、画像の顕著性マップを生成する方法であり、ここでこれは以下のステップを含む。すなわち、
− 輝度成分にしたがって上記の画像を投影し、またこの画像がカラー画像の場合には輝度成分および色成分にしたがって投影するステップと、
− 人間の眼の視感度閾値（visibility threshold）にしたがって上記成分の知覚的サブバンド分解を行うステップと、
− 輝度成分に関連したサブバンドの顕著要素（salient element）を抽出するステップと、
− 輝度成分に関連したサブバンド毎にこれらの顕著要素の輪郭強調を行うステップと、
− 輝度成分に関連したサブバンド毎にこの輪郭強調から顕著性マップを計算するステップと、
− サブバンド毎に得た顕著性マップの関数として顕著性マップを生成するステップとを含むのである。

第２の様相において本発明により提案されるのは、画像の顕著性マップを生成する装置であり、この装置はつぎのような手段、すなわち、
− 輝度成分にしたがって上記の画像を投影し、また画像がカラー画像の場合は輝度成分および色成分にしたがって画像を投影する手段と、
− 上記の輝度および色信号を周波数領域に変換する手段と、
− 人間の眼の視感度閾値にしたがって、周波数領域の上記成分の知覚的サブバンド分解を行う手段と、
− 輝度成分に関連するサブバンドの顕著要素を抽出する手段と、
− 輝度成分に関連するサブバンド毎に顕著性要素の輪郭強調を行う手段と、
− 輝度成分に関連するサブバンド毎にこの輪郭強調から顕著性マップを計算する手段と、
− サブバンド毎に得られた顕著性マップの関数として顕著性マップを生成する手段とを含むことを特徴する、画像の顕著性マップを生成する装置が提案されるのである。

本発明のその他の特徴および利点は、制限を意図しない本発明の実施形態の説明に記載されている。以下では本発明を添付の図面に基づいて説明する。ここで
− 図１は、白黒画像に適用される本発明の有利な実施形態の一般的なフローチャートを示しており、
− 図２は、カラー画像に適用される本発明の有利な実施形態の一般的なフローチャートを示しており、
− 図３は、無彩色成分（achromatic component）に対するサイコビジュアル空間周波数分割（psycho visual spatial frequency partitioning）を示しており、
− 図４は、有彩色成分（chromatic component）に対するサイコビジュアル空間周波数分割を示しており、
− 図５は、Dallyコントラスト感度関数を示しており、
− 図６ａおよび６ｂは視覚マスキングおよびマスキングの非線形モデルをそれぞれ示しており、
− 図７は、有利な実施形態による正規化ステップのフローチャートを示しており、
− 図８は、抑制／興奮ステップを示しており、
− 図９は、θ＝０に対する促進相互作用（facilitative interaction）をモデル化するフィルタのグラフを示しており、
− 図１０は、演算子Ｄ(ｚ)の図を示しており、
− 図１１は、有彩色強化（chromatic reinforcement）ステップを示しており、
− 図１２は、ＣＲＦ側面の隣接エリアによって発生した非ＣＲＦ抑制を示しており、
− 図１３は、所定の方位および半径方向の周波数に対する、正規化された重み付け関数のグラフの例を示している。

図１は、白黒画像に適用される本発明の有利な実施形態の一般的なフローチャートを示している。

このアルゴリズムは、３つの主要部に分かれている。

視感度と称される最初の主要部は、ＨＶＳ（human visual system）の感度が限られているという事実に基づいている。例えば、ＨＶＳは、実際の環境において良好な精度ですべての信号を知覚することなはできず、また小さな刺激を感知することができない。この最初のステップの目標は、知覚的分解、コントラスト感度関数ＣＳＦ（contrast sensitivity function）およびマスキング関数を使用して、これらの本来的な制限を考慮することである。

第２の部分は、知覚コンセプト専用である。ここでの知覚とは、観察者にとって有益でありかつ無関係な情報によって混乱させられていない記述を、外部世界の複数の画像から生成する処理のことである。関係のある情報を選択するため、生物学的な明証にしたがって殊に中心周辺メカニズム（center surround mechanism）が使用される。

最後のステップは、知覚的群化（perceptual grouping）の領域のいくつかの様相に関連する。知覚的群化とは、画像コンテンツに対する如何なる知識もなしに低レベルでプリミティブな画像特徴から、画像の重要な関係を抽出し、これらを群化して意味のある、より一層高レベルの構造を得ることのできる人間の視覚能力のことである。ここ提案される方法は、輪郭統合（contour integration）およびエッジリンキング（edge linking）だけを対象とする。

ステップＥ３，Ｅ４は、周波数領域の信号に対して実行される。

ステップＥ１，Ｅ６およびＥ９は空間領域で行われる。

ステップＥ７およびＥ８は、周波数または空間領域で行われる。これらが周波数領域で行われる場合、ステップＥ７の前にフーリエ変換を実行し、またステップＥ９の前に逆フーリエ変換を実行しなければならない。

ステップＥ１では、考察している画像から輝度成分を抽出する。

ステップＥ２では、フーリエ変換のような既知の変換を使用することによって輝度成分が周波数領域に変換され、これによってステップＥ３において画像に知覚的サブバンド分解が行えるようにする。

ステップＥ３では、知覚的分解を輝度成分に適用する。この分解は、皮質変換（cortex transform）からヒントを得たものであり、また刊行物"The computation of visual bandwidths and their impact in image decomposition and coding", International Conference and Signal Processing Applications and Technology, Santa-Clara, California, pp. 776-770, 1993に提案された分解に基づくものである。この分解は、人間の目の視感度閾値にしたがって行われる。

精神物理学のさまざまな実験に基づき、上記の分解は、半径方向空間周波数（spatial radial frequency）および方位の両方で周波数領域を切り分けることによって得られる。成分Ａの知覚的分解により、図３に示したように４つの冠部（crown）に分配された１７個のサイコビジュアルサブバンドが得られる。

図３の斜線部は、第３の冠部に所属するサブバンドのスペクトルサポート（spectral support）を示しており、また１５〜４５度の３０度の角度選択性（angular selectivity）を有する。

空間周波数の４つの領域（冠部）にはＩ〜IVがラベル付けされている。すなわち、
Ｉ：１度当たり０〜１．５サイクルの空間周波数、
II：１度当たり１．５〜５．７サイクルの空間周波数、
III：１度当たり５．７〜１４．２サイクルの空間周波数、
IV：１度当たり５．７〜２８．２サイクルの空間周波数
である。

上記の角度選択性は、考察する周波数領域に依存する。低い周波数に対して角度選択性は存在しない。

上記の分解の主要な特性および皮質変換との主な違いは、非ダイアディックな半径方向選択性（non-dyadic radial selectivity）と、半径方向周波数（radial frequency）に伴って増大する方位選択性（orientation selectivity）とである。

結果的に得られる各サブバンドは、空間周波数の1範囲および所定の方位に調整された視細胞の集団（population）に相応する神経画像（neural image）と見なすことができる。実際にこれらの細胞は、一次視覚皮質（視覚野１に対する有線領またはＶ１とも称される）に所属する。これは全部で約２０億のニューロンからなり、外側膝状核からその入力を受け取る。約８０％の細胞が視覚刺激の空間周波数および方位に対して選択的である。

画像空間スペクトルに対して、ＨＶＳのよく知られた特性が適用される。これはＣＳＦ（contrast sensitivity function）として知られている。適用されるＣＳＦは、主に空間周波数、方位および視距離（viewing distance）に依存する多変量関数である。

生物学的な明証によって示されているのは、所定のコントラストを上回る刺激に視細胞が応答することである。視細胞が応答するコントラスト値は、視感度閾値（この閾値を上回ると、この刺激が見えるようになる）。この閾値は、刺激の空間周波数、刺激の方位、および視距離などの数多くのパラメタに伴って変化する。このような多様性によって辿り着いたのが、人間の眼の感度（この感度は、コントラスト閾値の逆数に等しい）を多変量関数として表すというＣＳＦの考え方である。その結果、このＣＳＦにより、与えられた刺激に対する人間の目の感度を推定することができる。

ステップＥ４では、Dallyによって設計された２Ｄ非等方性ＣＳＦが適用される。このようなＣＳＦは、１９９２年のproceedings of SPIE Human vision, visual processing and digital display III, volume 1666の刊行物"the visible different predictor: an algorithm for the assessment of image fidelity"の第２〜１５頁に記載されている。

上記のＣＳＦによって可能になるのは、眼の重要な特性のモデリングを行うことである。それはＳＶＨ細胞は空間周波数に対して極めて感度がよいからである。

このDally ＣＳＦは図５に記載されている。

Dally関数を適用した後、ステップＥ５で逆フーリエ変化を信号に適用して、つぎのステップ６が適用できるようにする。

自然画に対して、別の刺激が存在するによって感度が変わる（視感度閾値を増大または減少させる）ことがある。人間の眼の感度をこのように変わることは、視覚マスキングと称され、ステップＥ６で行われる。

マスキング効果の説明は図６ａおよび６ｂに示されている。ここでは２つのキュー（cue）、すなわちターゲットキューおよびマスカキュー（masker cue）が考察される。ここでＣ_ＴおよびＣ_Ｍはそれぞれ、マスカが存在する場合のターゲットのコントラスト閾値およびマスカのコントラストである。さらにＣ_Ｔ０は（マスキング効果なしに）ＣＳＦによって測定したコントラスト閾値である。

Ｃ_Ｍが変化する場合、３つの領域を定めることができる。すなわち、
・ Ｃ_Ｍの値が小さい場合、検出閾値は一定のままである。ターゲットの視感度は、マスカによって変更されない。

・ Ｃ_ＭがＣ_Ｔ０の方に進む場合、マスカにより、視感度閾値が低減されることによってターゲットの検出が容易になる。この現象を促進またはペデスタル効果（facilitative or pedestal effect）と称する。

・ Ｃ_Ｍが増大する場合、ターゲットはマスカによってマスクされる。そのコントラスト閾値は大きくなる。

視覚マスキング法は、正弦波パターンである単純な信号を検出することに基づいている。

精神物理学の実験に基づく視覚マスキングモデリングを得るためには別のいくつかの手法があり、例えば、最善の方法は、量子化ノイズの検出といわれている。

有利な手法が、自然画の本来的な複雑さについて大きく単純化することであることは明らかである。それにもかかわらず、このような原理を中心として数多くのアプリケーション（透かし、ビデオ品質推定）などが作成されており、複雑さに比較して興味深い結果が得られている。

サブバンド分解との関連では、マスキングは集中的に研究されて、イントラチャネルマスキング（intra-channel masking）、インターチャネルマスキング（inter-channel masking）およびインターコンポーネントマスキング（inter-component masking）の３種類のマスキングが定められている。

イントラチャネルマスキングは、同じ特徴（周波数および方位）を有する信号間で発生し、結果的に同じチャネルに所属する。これは最も重要なマスキング効果である。

インターチャネルマスキングは、同じ成分の別のチャネルに所属する信号間で発生する。

インターコンポーネントマスキングは、別の成分（例えば、成分Ａおよび１つ色成分）のチャネル間で発生する。これらの最後の２つの視覚マスキングを合わせて、以下では単にインターマスキングと称する。

無彩色成分に対し、ここでは１９９４年のIEEE international conference on image processingの第１６〜２０頁に"A visual model for Optimizing the Design of Image Processing Algorithms"という名称の刊行物に記載され、Dallyによって設計されたマスキング関数を使用する。しかしながらこのモデルは、上記のペデスタル効果を考慮していないという事実がある。このモデルの強みは、大量の実験結果によって最適化されている事実である。

視感度閾値の変化は、

によって与えられ、ここでＲ_ｉ，ｊは、知覚的チャネル分解から得られるサイコビジュアルチャネルである（例えば、図２．１の斜線領域によりチャネルＲ_{ＩＩＩ，２}）。値k_１，k_２，ｓ，ｂはつぎのようになる。すなわち、
k1 ＝ 0.0153
k2 ＝ 392.5
である。

つぎの表によって示されているのは、考察するサブバンドにしたがったｓおよびｂの値である。

上記のマスキングステップの出力側において信号Ｒ'_ｉ，ｊ(ｘ,ｊ)
Ｒ'_ｉ，ｊ(ｘ,ｙ) ＝Ｒ_ｉ，ｊ(ｘ,ｙ)／Ｔ_ｉ，ｊ(ｘ,ｙ)
が得られる。

つぎにステップＥ７において、正規化のステップにより、サブバンドから重要で主要な情報を抽出することができる。ステップＥ７は図７に詳しく示されている。

ステップＳ１では、最初のサブバンドＲ'_ｉ，ｊ(ｘ,ｙ)を選択する。ステップＳ２〜Ｓ４およびＳ８は、１７個のサブバンドの各サブバンドＲ'_ｉ，ｊ(ｘ,ｊ)に対して実行される。

ステップＳ５〜Ｓ７は、第２の冠部（II）に対して行われる。

Ｉは半径方向空間周波数バンドを表し、Ｉは｛Ｉ，II，III，IV｝に属する。

Ｊは方位を表し、ｊは｛１，２，３，４，５，６｝に属する。

(ｘ，ｙ)は空間座標を表す。

別の実施形態では、すべてのサブバンドに対して別のステップを実行することが可能である。

ステップＳ２およびＳ３は、古典的受容野（ＣＲＦ classical receptive field）の特性をモデリングすることを目標としている。

ＣＲＦのコンセプトによって可能になるのは、網膜画像と、シーンの大域的な知覚との間のリンクを形成することである。ＣＲＦは、視野の特定領域として定められ、この特的領域内では（有利な方位および周波数を有する）適切な刺激により、関連した応答が引き起こされ、ここでこれは視細胞から生じたものである。結果として、定義により、外側の領域（周辺部と称される）における刺激は細胞を直接活性化することはできない。

ステップＳ２およびＳ３における抑制および興奮は、ガボールフィルタ（Gabor filter）によって得られ、ここでこのフィルタは、方位および周波数を感知することができる。

ガボールフィルタはつぎのように表すことができる。すなわち、

である。ここでｆは１度当たりのサイクル数（cy／°）で表したコサイン変調の空間周波数である。

（ｘ_θ，ｙ_θ）は、元々の座標を（ｘ_０，ｙ_０）だけ平行移動し、θだけ回転することによって得られ、

である。ただしＡは振幅、σ_ｘおよびσ_ｙはそれぞれ、ｘおよびｙ軸に沿ったガウス包絡の幅を表す。

楕円の形状を得るために、異なる偏差σ_ｘ＜σ_ｙとする。

最終的に出力

が得られる。

ステップＳ３では、抑制が式

によって計算される。

最終的に

になる。

ステップＳ４において興奮と抑制との間の差分が形成される。正の成分は保持され、負の成分は「０」に設定される。これは演算

である。

ステップＳ５では方位毎に、第２の領域の各サブバンドに対して２つの合成積が計算される。すなわち
Ｌ^０ _ｉ，ｊ (ｘ,ｙ)＝Ｒ''_ｉ，ｊ(ｘ,ｙ)＊Ｂ^０ _ｉ，ｊ(ｘ,ｙ)
Ｌ^１ _ｉ，ｊ (ｘ,ｙ)＝Ｒ''_ｉ，ｊ(ｘ,ｙ)＊Ｂ^１ _ｉ，ｊ(ｘ,ｙ)
である。Ｂ^０ _ｉ，ｊ(ｘ,ｙ)およびＢ^１ _ｉ，ｊ(ｘ,ｙ)は２つのハーフバタフライフィルタである。これらのフィルタのグラフによって可能になるのは、図９に示したθ＝０に対する促進相互作用のモデリングである。これらのフィルタは、バイポール／バタフライフィルタを使用することによって定められる。

これは方向についての項Ｄ_θ(ｘ,ｙ)と、ガウスフィルタＧ_{σｘ，σｙ}(ｘ,ｙ)によってぼやかされた円Ｃ_ｒによって生成される近似項とを含む。

であり、φ＝arctan(ｙ'／ｘ')、また（ｘ',ｙ'）^Ｔはθ_ｉ，ｊだけ回転したベクトル（ｘ,ｙ）^Ｔである。パラメタαはバイポールフィルタの開き角（opening angle）を定める。これは、考察するサブバンドの角度選択性γに依存する。ここではα＝０．４×γとする。バイポールフィルタのサイズは、視細胞のＣＲＦのサイズの約２倍である。

ステップＳ６では促進係数（facilitative coefficient）

を計算する。

演算子Ｄ(ｚ)の説明は図９に示されている。

促進係数の適用を容易にするため、演算子Ｄ(ｚ)によって保証するのは、図９に示したようにこの促進係数が区分的に一定であることである。

ステップＳ７では、促進係数が、ステップＳ４で得られた正規化の結果に適用される。

Ｒ'''_ｉ，ｊ(ｘ,ｙ)＝Ｒ''_ｉ，ｊ(ｘ,ｙ)×(１＋ｆ^ｉｓｏ _ｉ，ｊ(ｘ,ｙ))
図１のステップＥ８に戻ると、図７のステップＳ７の後、領域IIに対して得た４つの顕著性マップが結合されて、つぎの式による全体的な顕著性マップが得られる。

fixation(ｘ,ｙ)＝α×Ｒ'''_ＩＩ，０(ｘ,ｙ)＋β×Ｒ'''_ＩＩ，１(ｘ,ｙ)
＋χ×Ｒ'''_ＩＩ，２(ｘ,ｙ)＋δ×Ｒ'''_ＩＩ，３(ｘ,ｙ)
ここでα，β，χ，δは、アプリケーション（透かし、符号化…）に依存する重み付け係数を表す。

別の実施形態では、顕著性マップは、領域IIのサブバンドだけなく１７個のすべてのサブバンドを使用して計算することによって得ることができる。

図２は、カラー画像に適用される本発明による方法の有利な実施形態の一般的なフローチャートを示している。

ステップＴ１，Ｔ４，Ｔ'４，Ｔ''４，Ｔ５およびＴ８は、空間領域において行われる。

ステップＴ２，Ｔ'２，Ｔ''２，Ｔ３，Ｔ'３，Ｔ''３は、周波数領域において行われる。

ステップＴ１と、ステップＴ２，Ｔ'２，Ｔ''２との間で３つの成分にフーリエ変換が適用される。

Ｔ３とＴ４，Ｔ'３とＴ'４，Ｔ''３とＴ''４との間でそれぞれ逆フーリエ変換が適用される。

ステップＴ６およびＴ７は周波数または空間領域において行うことができる。これらが周波数領域において行われる場合、フーリエ変換が、ステップＴ５とＴ６との間で信号に対して行われ、また逆フーリエ変換がステップＴ７とＴ８との間で行われる。

ステップＴ１ではＲＧＢ輝度が、基本方向（cardinal direction）Ａ，Ｃｒ１およびＣｒ２によって構成されるKrauskopfの反対色空間（opponent color space）に変換される。

反対色空間へのこの変換は、色情報をデコリレート（decorrelate）する１手法である。実際に脳は情報を符号化するために相異なる３つの経路を使用すると考えられており、最初の経路は輝度信号（Ａ）を、第２の経路は赤および緑の成分（Ｃｒ１）を、また第３の経路は青および黄色の成分（Ｃｒ２）を伝達すると考えられている。

これらの基本方向は、３タイプの錐体（Ｌ，Ｍ，Ｓ）から得られる信号に密接に対応している。

これらの３つの成分ＲＧＢの各々は、まずｘ^γ（ただしγ≒２．４）の形のべき法則の非線形性（power-law non linearity）（gamma lawと称される）を受ける。このステップは、ディスプレイシステムの伝達関数を考慮するために必要である。つぎにＨＶＳ色空間への変換に対するベースを形成するＣＩＥ（フランス語の"commission internationale de l'eclairage"の頭字語）ＸＹＺ３刺激値が以下の式によって計算される。

（Ｌ，Ｍ，Ｓ）錐体の応答はつぎのように計算される。

このＬＭＳ空間から反対色空間が得られるはずである。ここではさまざまな反対色空間があり、これらは相異なる錐体応答の組み合わせ方が異なる。複数の実験から、Krauskopfによって設計された色空間は、有効性が確認されており、またつぎの変換によって得られる。

つぎにステップＴ２では知覚的分解が輝度成分に適用される。Ｔ２の前、さらにさかのぼってＴ１の前に、輝度成分は、フーリエ変換などの既知の変換が使用されて周波数領域に変換されている。これにより、ステップＴ２において知覚的サブバンド分解を画像に適用することができる。

ステップＴ２の知覚的サブバンド分解は、図１のステップＥ３と同じであり、ここでは前のようには説明しない。

ステップＴ'２およびＴ''２の有彩色成分Ｃｒ２およびＣｒ１の分解に関していえば、図４に示したようにこの分解によって、２つの冠部に分配されたこれらのコンポーネント毎に５つのサイコビジュアルサブバンドが得られる。ステップＴ'２，Ｔ''２の前、さらにさかのぼってステップＴ１の前に色成分は、フーリエ変換などの既知の変換が使用されて周波数領域に変換されている。これにより、ステップＴ'２，Ｔ''２において知覚的サブバンド分解を画像に適用することができる。

空間周波数の２つの領域にはＩ〜IIのラベルが付与される。すなわち、
Ｉ：１度当たりに０〜１．５サイクルの空間周波数
II：１度当たりに１．５〜５．７サイクルの空間周波数
である。

ステップＴ３，Ｔ'３，Ｔ''３においてコントラスト感度関数（ＣＳＦ）が適用される。

ステップＴ３では図１のステップＥ４と同じコントラスト感度が輝度成分に実行される。そのためここでは説明しない。

ステップＴ'３，Ｔ''３において、同じＣＳＦが２つの色成分Ｃｒ１およびＣｒ２に適用される。これらの２つの有彩色成分には、Le Calletによって設計された２次元の非等方性ＣＳＦが適用される。これはLe Calletの刊行物"criteres objectifs avec references de qualite visuelle des images couleurs", University of Nantes, 2001に記載されている。

このＣＳＦは、Ｃｒ１およびＣｒ２成分に対してそれぞれ１度当たり約５．５サイクルおよび１度当たり４．１サイクルのカットオフ周波数を有する２つのローパスフィルタを使用する。

異なる視覚モダリティ（無彩色および有彩色成分）から得られる早期の視覚特徴間で直接比較できるようにするため、視感度に関連するサブバンドを重み付けする。上記の視感度閾値は、刺激がまさに見えるようになる特定の点における刺激のコントラストとして定められる。

つぎに逆フーリエ変換を（図２に示されていない）異なる成分に適用して、空間領域においてマスキングが適用できるようにする。

つぎにステップＴ'４およびＴ''４中に有彩色成分Ｃｒ１およびＣｒ２に対するサブバンドに、またステップＴ４において無彩色成分に対するサブバンドにイントラマスキングが適用される。この最後のステップについては図１のステップＥ６の説明ですでに述べた。したがってここでは繰り返して説明しない。

イントラチャネルマスキングは、ＣＳＦ関数の出力を重み付けするものとして組み込まれている。マスキングは知覚において極めて重要な現象である。それはこれが刺激間の相互作用を表すからである。実際に刺激の視感度閾値は、別の刺激が存在することによって影響され得るのである。

マスキングは、同じ知覚的チャネルまたは同じサブバンドに位置している刺激間で最大である。ここでは、図１のステップＥ１で説明したDallyによって設計されたイントラマスキング関数を無彩色成分に適用し、また色成分には、P. Le CalletおよびD. Barbaによる刊行物"Frequency and spatial pooling of visual differences for still image quality assesment", in Proc. SPIE Human Vision and Electronic Imaging Conference, San Jose, CA, Vol. 3959, January 2000に記載されているイントラマスキング関数を適用する。

これらのマスキング関数は、LeggeおよびFoleyの刊行物"Contrast Masking in Human Vision", Journal of the Optical Society of America, Vol.70, N^ｏ12, pp.1458-1471, December 1980に記載された非線形トランスデューサから構成される。

視覚マスキングは、同じ知覚チャネル内に位置する刺激間で最大である（イントラチャネルマスキング）。それにも拘わらず、数多くの研究において示されたように、マスキングまたはペデスタル効果を与え、インターコンポーネントマスキングと称されるいくつかの相互作用が存在する。ここでは精神物理学の実験から、有彩色成分を含む重要な成分間相互作用が選択されている。その結果、無彩色成分の感度は、Ｃｒ１成分によって増大または減少することがある。Ｃｒ２が無彩色成分に与える影響は、重要でないと考えられる。最終的にＣｒ１により、Ｃｒ２成分の感度を変えること（またその逆）も可能である。

つぎにステップＴ５において有彩色強化が行われる。

色は、最も強く注意を引きつけるものの１つであり、本発明では、つぎの性質を前面に押し出すことによってこの引きつける強さの利点を活用したい。すなわち、鮮やかな色を示し、かつ全く別の色を有するエリアによって完全に包囲されている領域が存在することは、この領域の境界への特に注意が行くことを意味する。

無彩色および有彩色成分から得られる測定値を集計するという困難な問題を回避するため、色促進化（color facilitation）では、有彩色成分の低い周波数について計算した促進係数を使用することによって無彩色構造の顕著性が増強される。

有利な実施形態では、無彩色チャネルからなる集合の１部分集合だけ増強される。この部分集合は、π／４に等しい角度選択性と、［１．５，５．７］に所属する半径方向空間周波数（cyc／degで表される）とを含む。これらのチャンネルはＲ_ｉ，ｊと記され、ここでｉは半径方向空間周波数を表し、またｊは方位に関係する。ここの例では、ｊは｛０，π／４，π／２，３π／４｝に等しい。促進係数を計算するため、Ｃｒ１およびＣｒ２の低周波数のピクセル毎に、隣接エリアのコンテンツおよび増強された無彩色チャネルの目下の方位に関連したコントラスト値を決定する。これは図１１に示されているとおりである。図１１においてコントラスト値は、集合Ａの平均値と集合Ｂの平均値との間の差の絶対値を計算することによって得られる。集合ＡおよびＢは、Ｃｒ１およびＣｒ２の低周波に所属し、また考察する無彩色チャネルの有利な方位を向いている。

有彩色強化は、無彩色（輝度）チャネルＲ_ｉ，ｊ(ｘ,ｙ)についてのつぎの式によって得られる。

Ｒ^（１） _ｉ，ｊ＝Ｒ_ｉ，ｊ(ｘ,ｙ)×(１＋｜Ａ−Ｂ｜_Ｃｒ１＋｜Ａ−Ｂ｜_Ｃｒ２)｜_ｉ＝ＩＩ
ここで
Ｒ^（１） _ｉ，ｊは強化された無彩色サブバンドを表し、
Ｒ_ｉ，ｊ(ｘ,ｙ)は無彩色サブバンドを表す。

｜Ａ−Ｂ｜_ｋは、サブバンドＲ_ｉ，ｊ(ｘ,ｙ)の有利な方位における有彩色成分ｋについて、目下の点の周りで計算したコントラスト値を表す。これは図７に示したとおりである。この実施形態では集合ＡおよびＢは、π／４に等しい方位を有する有彩色成分ｋの第１冠部（低周波のサブバンド）のサブバンドに所属する。

別の実施形態ではすべてのサブバンドを考慮することができる。

ステップＴ６において中心／周辺抑圧相互作用（center／surround suppresive interaction）が行われる。

この処理では最初に抑制／興奮のステップが行われる。

２次元のガウシアンの差分（ＤｏＧ difference-of-Gaussian）が使用されて、細胞の非ＣＲＦ抑制特性がモデリングされる。

はつぎ式によって与えられる。すなわち

である。

パラメタ（σ_ｘ ^ｅｘ，σ_ｙ ^ｅｘ）および（σ_ｘ ^ｉｎｈ，σ_ｙ ^ｉｎｈ）は、中心ガウシアン（ＣＲＦ中心）および抑制ガウシアン（inhibitory Gaussian）（周囲）のｘおよびｙ軸に沿ったガウス包絡の空間的な広がりにそれぞれ相応する。これらのパラメタは、第２冠部の半径方向周波数にしたがって実験的に決定されている（半径方向周波数ｆ∈［１．５，５．７］はサイクル／度で表される）。最後につぎの式

で与えられる正規化された重み付け関数

によって非古典的周囲抑制（non-classical surround inhibition）をモデリングすることができる。

（ｘ'，ｙ'）は、元々の座標系を（ｘ_０，ｙ_０）だけ平行移動し、ラジアンで表されるθ_ｉ，ｊだけ回転することによって得られる。

‖・‖_１はＬ_１ノルム、すなわち絶対値を表す。

図１２は非ＣＲＦ抑制の構造を示している。

図１３は、正規化された重み付け関数

のグラフの例を示している。

特定のサブバンドＲ_ｉ，ｊ ^（１）(ｘ，ｙ)に対する皮質細胞の応答Ｒ_ｉ，ｊ ^（２）(ｘ，ｙ)は、サブバンドＲ_ｉ，ｊ ^（１）(ｘ，ｙ)と、重み付け関数

との畳込みによって計算される。すなわち、

であり、Ｈ(ｚ)は上記のように定められる。

ステップＴ７では促進相互作用が行われる。

この促進相互作用はふつう、輪郭強化（contour enhancement）または輪郭統合と称される。

促進相互作用は、ＣＲＦの外部において有利な方位軸に沿って発生する。このタイプの相互作用は、中心および周囲の刺激がアイソオリエンテッド（iso-oriented）かつコアラインド（co-aligned）になっている場合に最大になる。言い換えると、いくつかの生理学的な観察によって示されているように、細胞の活動は、ＣＲＦ内の刺激と、周辺部内の刺激とがリンクされて輪郭を形成する場合に増強されるのである。

前に行われた視覚前処理における輪郭統合は、２つのハーフバタフライフィルタＢ_ｉ，ｊ ^０およびＢ_ｉ，ｊ ^１を使用してシミュレートされる。これらのフィルタのグラフは図９に示されており、これらバイポール／バタフライフィルタによって定められる。これは、方向についての項Ｄ_θ(ｘ,ｙ)と、ガウスフィルタＧ_{σｘ，σｙ}(ｘ,ｙ)によってぼかされた円Ｃ_ｒによって生成される近似項とからなる。

であり、φ＝arctan(ｙ'／ｘ')、また（ｘ',ｙ'）^Ｔはθ_ｉ，ｊだけ回転したベクトル（ｘ,ｙ）^Ｔである。パラメタαはバイポールフィルタの開き角２αを定める。これは、考察するサブバンドの角度選択性γに依存する。ここではα＝０．４×γとする。バイポールフィルタのサイズは、視細胞のＣＲＦのサイズの約２倍である。

上記の２つのハーフバタフライフィルタＢ_ｉ，ｊ ^０およびＢ_ｉ，ｊ ^１は、有利なウィンドウを使用することによって上記のバタフライフィルタから後で導き出される。

方位、サブバンドおよび位置毎につぎの促進係数

を計算する。

演算子Ｄ(ｚ)の説明は図９に示されている。

上記の促進相互作用から得られるサブバンドＲ ^（３） _ｉ，ｊは最終的に、促進係数ｆ^ｉｓｏ _ｉ，ｊ (ｘ,ｙ)の局所的な最大値と、同じ空間周波数範囲に所属するすべてのサブバンドについて計算した促進係数の大域的な最大値との比に依存するファクタによってサブバンドＲ ^（２） _ｉ，ｊを重み付けすることによって得られる。すなわち

である。

標準のバタフライ形から、上記の促進ファクタにより、分離された直線の顕著性を改善することできる。η^ｉｓｏにより、この促進相互作用の強さを制御することができる。

ステップＥ８ではステップＥ７で結果的に得られたすべての足し合わせることによって顕著性マップが得られる。

本発明の別の実施形態では、第２の冠部のサブバンドだけでなく、すべてのサブバンドを使用することが可能である。

水平および垂直方向の方位に調整された皮質細胞は、別の方位に調整された細胞と同様に多数であるが、重み付けは行わない。ＨＶＳのこの特徴は、２Ｄ非等方性ＣＳＦのアプリケーションによる暗黙的な模倣である。

白黒画像に適用される本発明の有利な実施形態の一般的なフローチャートである。 カラー画像に適用される本発明の有利な実施形態の一般的なフローチャートである。 無彩色成分に対するサイコビジュアル空間周波数分割を示す図である。 有彩色成分に対するサイコビジュアル空間周波数分割を示す図である。 Dallyコントラスト感度関数を示す図である。 視覚マスキングおよびマスキングの非線形モデルを示す図である。 有利な実施形態による正規化ステップのフローチャートである。 抑制／興奮ステップを示す図である。 θ＝０に対する促進相互作用（facilitative interaction）をモデル化するフィルタのグラフである。 演算子Ｄ(ｚ)を示す図である。 有彩色強化ステップを示す図である。 ＣＲＦ側面の隣接エリアによって発生したＣＲＦ抑制を示す図である。 所定の方位および半径方向の周波数に対する、正規化された重み付け関数のグラフの例である。

Claims (9)

1. 画像の顕著性マップを作成する方法において、
   該方法は、
   − 輝度成分（Ａ）にしたがって画像を投影し、また前記画像がカラー画像の場合には、輝度成分（Ａ）および色成分（Ｃｒ１，Ｃｒ２）にしたがって画像を投影するステップ（Ｅ１）と、
   − 人間の眼の視感度閾値にしたがって前記成分（Ａ，Ｃｒ１，Ｃｒ２）の知覚的サブバンド分解を行うステップ（Ｅ３，Ｔ２，Ｔ'２，Ｔ''２）と、
   − 前記の輝度成分（Ａ）に関連したサブバンドの顕著要素を抽出するステップ（Ｅ７）と、
   − 前記の輝度成分（Ａ）に関連したサブバンド毎に当該顕著要素の輪郭強調を行うステップ（Ｅ８，Ｔ７）と、
   − 前記の輝度成分（Ａ）に関連したサブバンド毎に当該輪郭強調から顕著性マップを計算するステップ（Ｔ７）と、
   − サブバンド毎に得た当該顕著性マップの関数として前記顕著性マップを作成するステップ（Ｔ８）とを有することを特徴とする、
   画像の顕著性マップを作成する方法。
2. 前記の知覚的サブバンド分解にさらに、
   − 前記の輝度成分（Ａ）に対して無彩色コントラスト感度関数（ＣＳＦ）を適用するステップと、前記画像がカラー画像の場合に
   − 有彩色成分（Ｃｒ１，Ｃｒ２）に対して色感度関数を適用するステップとを有する、
   請求項１に記載の方法。
3. 前記の輝度成分（Ａ）および色成分（Ｃｒ１，Ｃｒ２）のサブバンド毎にコントラスト感度関数を適用するステップにさらに視覚マスキングを行うステップ（Ｅ６，Ｔ４，Ｔ'４，Ｔ''４）を含む、
   請求項２に記載の方法。
4. 前記画像がカラー画像の場合、輝度（Ａ）サブバンドを有彩色強化するステップ（Ｔ５）を含む、
   請求項３に記載の方法。
5. 半径方向空間周波数および方位の両方で周波数領域を切り分けることによって前記の知覚のサブバンド分解を得る、
   請求項１から４までのいずれか１項に記載の方法。
6. 前記の輝度成分（Ａ）の知覚的分解により、４つの冠部に分配された１７個のサイコビジュアルサブバンドを得る、
   請求項５に記載の方法。
7. 前記の色成分（Ｃｒ１，Ｃｒ２）の知覚的分解により、色成分（Ｃｒ１，Ｃｒ２）毎に２つの冠部に分配された５つのサイコビジュアルサブバンドを得る、
   請求項５または６に記載の方法。
8. 前記の第２の冠部のサブバンドに対し、また色成分（Ｃｒ１，Ｃｒ２）の第１の冠部のサブバンドに基づいて前記の輝度成分（Ａ）の有彩色強化を行う、
   請求項４から７までのいずれか１項に記載の方法。
9. 画像の顕著性マップを作成する装置において、
   − 輝度成分（Ａ）にしたがって画像を投影し、また前記画像がカラー画像の場合は輝度成分（Ａ）および色成分（Ｃｒ１，Ｃｒ２）にしたがって画像を投影する手段と、
   − 前記の輝度および色信号を周波数領域に変換する手段と、
   − 人間の眼の視感度閾値にしたがって、当該周波数領域の前記成分の知覚的サブバンド分解を行う手段と、
   − 前記の輝度成分に関連したサブバンドの顕著要素を抽出する手段と、
   − 前記の輝度成分に関連したサブバンド毎に当該顕著性要素の輪郭強調を行う手段と、
   − 前記の輝度成分に関連したサブバンド毎に当該輪郭強調から顕著性マップを計算する手段と、
   − サブバンド毎に得た当該顕著性マップの関数として前記顕著性マップを作成する手段とを有することを特徴とする、
   画像の顕著性マップを作成する装置。

Images