JP2009500736A

JP2009500736A - 視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法

Info

Publication number: JP2009500736A
Application number: JP2008519936A
Authority: JP
Inventors: ムール，オリヴィエル; カレ，パトリックル; バルバ，ドミニク
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2005-07-06
Filing date: 2006-07-05
Publication date: 2009-01-08
Anticipated expiration: 2026-07-05
Also published as: EP1899915A1; FR2888375A1; CN101218605B; KR101240745B1; WO2007003651A1; CN101218605A; KR20080030604A; US8326026B2; JP5011287B2; EP1899915B1; US20090110269A1

Abstract

本発明は、種々の視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法であって、・前記複数の顕著性マップを各視覚量の理論的な最大に基づいて規格化する段階と、・各顕著性マップにおける主たる顕著性領域を選択するマップ内競合段階と、・前記諸マップ内競合と、前記諸マップ内競合とある部位が前記複数の顕著性マップ上に現れる確率との積の関数であるマップ間冗長性項との和に基づくマップ間競合段階とを有する方法に関する。

Description

本発明は種々の視覚量（visual quantity）から生成された複数の顕著性マップ（saliency map）から一つの顕著性マップを得る方法に関する。

人間の視覚は選択的な注目をもつ。これは、我々の視覚系は主として、我々の環境のオブジェクトおよびイベントから発されるある数の信号に応答するということを意味している。

我々の注目を最も明らかに、かつ最も直観的に引きつける信号は、疑いなく、場面にオブジェクトが突然現れることである。

最終的に、さまざまな研究は、実際の諸固定点から、我々の視線を引きつける視覚特徴の類似性を推定しようとする。一般論として、そうした研究は、画像の平均輝度（brightness）によって規格化された分散、エントロピーおよび測定された固定点とその近傍の間の相関といったさまざまな量の測定に関係する。主たる結論は次のとおりである：
・固定領域のコントラスト測定値は、ランダムに取った領域のコントラスト測定値よりも高い。換言すれば、ある領域のコントラストは、その性質（ルミナンス、色、動き、テクスチャなど）に関わりなく、我々の注目を引きつける。たとえその領域が観察者によって実行されようとしているタスクに関係ないときでさえそうである。
・相関測定に基づいて、これらの研究はまた、固定領域がその近傍と異なることを示している。

画像中の顕著性点（saliency point）の検出は、その後、エンコードおよびインデックス付け方法を改良することを可能にする。画像の顕著性点のリストを得る方法として顕著性マップを得ることは、2003年12月18日にトムソン・ライセンシングSAの名の下に出願され、EP1544792号の下に公表された欧州特許出願において記載されている。

顕著性マップの生成は、種々の視覚量に関する：ある顕著性マップは可能性としては色成分（chromatic components）に関係し、あるマップは各色成分についてであり、あるいは無色成分（achromatic components）に関していてもよい。しかしながら、ひとたび種々の顕著性マップが生成されたら、それらをマージすることは望ましくない結果を生じることがある。

従来式のマージ方法は、種々の顕著性マップを同じダイナミックレンジになるよう規格化することを含む。マップCの規格化N(C)は、マップCに対して決定された全体的な最大を使う。その場合、最終的な顕著性マップSは単に次の関係式によって得られる：
CS(s)＝N（N(CSA(s))＋N(CS_Cr1(s))＋N(CS_Cr2(s))）
ここで、CSA(s)は無色成分の顕著性マップを表し、CS_Cr1は第一の色成分の顕著性マップを表し、CS_Cr2は第二の色成分の顕著性マップを表す。

この方法の一つの利点は、単純さである。だが、この方法はさまざまな欠点を呈する：
・この方法は、準一様な分布をもつ顕著性マップと一つまたは複数の顕著性ピークをもつ顕著性マップの間の区別をしない；
・顕著性マップにいくつかの顕著性ピークが存在するとき、この種のマージは明らかに最高の顕著性ピークを優遇する；
・この方法はインパルスノイズに非常に敏感である；
・マップ間の相互作用がない。

したがって、本発明は、前述の欠点のうちの少なくとも一つを直すことを提案する。この目的のため、本発明は、種々の視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法を提案する。本発明によれば、本方法は、
・前記複数の顕著性マップを各視覚量の理論的な最大に基づいて規格化する段階と、
・各顕著性マップにおける主たる顕著性領域を選択するマップ内競合（competition）段階と、
・前記諸マップ内競合と、前記諸マップ内競合とある部位が前記複数の顕著性マップ上に現れる確率との積の関数であるマップ間冗長性項との和に基づくマップ間競合段階とを有する。

顕著性マップをマージするそのような方法は、二つの競合法に関わる：
・マップの最も有意な領域を識別するマップ内競合；
・種々のマップの冗長性と相補性を活用したマップ間競合。マップ間冗長性の使用は、ある種の領域がいくつかの次元での顕著性を生成するときに、該ある種の領域の顕著性を補強する方法である。逆に、ある領域が一つの視覚的次元においてのみ顕著性を生成するときには、マップ間相補性を使うことが必要である。

ある好ましい実施形態によれば、規格化段階において、
・前記複数の顕著性マップの諸部位は、視覚量の値の理論的な最大に対して規格化され、
・前記複数のマップは、所定の数のレベルを使って線形に量子化される。

ある好ましい実施形態によれば、前記マップ内競合段階において、
・視覚量の値が大きくなる諸部位を含む、顕著であると言われる諸部位を含む予備的リストが定義され、
・顕著であると言われる前記諸部位の前記予備的リストが前記値の降順にスキャンされ、顕著であると言われる前記部位を中心とする所定の半径の円形領域内に存在する顕著であると言われるその他の部位が禁止され、
・次に大きい値の部位の値との比が所定の閾値より大きい非禁止部位を含む、前記諸顕著部位のリストが確立される。

ある好ましい実施形態によれば、視覚量は色成分および無色成分に関する。

ある好ましい実施形態によれば、色成分に関する複数の顕著性マップがマージされ、次いで結果として得られる顕著性マップが無色成分に関する顕著性マップとマージされる。

本発明は、単一の付属の図面を参照する、決して限定的な意味ではない例示的な実施形態および有利な実装によってよりよく理解され、例解される。

以下に述べる実施形態は、成分Cr1およびCr2から導かれるCS^Cr1およびCS^Cr2で表される二つのマップについてのコヒーレントなマージを提案する。n個の顕著性マップへの一般化は容易に構想できる。

本マージ方法は、予備的なダイナミック規格化段階を有する。各マップの全体的な最大に基づく規格化を使う既知の規格化とは異なり、本マージ方法において使用される規格化は、各視覚的次元の理論的な最大に基づいている。これらの最大は、個別的な試験を使って実験的に決定される。たとえば、成分Cr1について、一様なルミナンスをもつが飽和した赤いパターンをもつ画像は、視覚軸Cr1の最大ダイナミックに近いダイナミックを生成する。この種の実験を繰り返すことは、成分A、Cr1、Cr2の理論的な最大を定義する一つの方法である。

二つのマップCS^Cr1およびCS^Cr2は次いで規格化され、L個のレベル上で量子化される。規格化（normalization）および量子化（quantization）後のそれらのマップはCS_NQ ^Cr1およびCS_NQ ^Cr2と表される。

規格化段階に続いて、本方法はマップ内（intra-map）競合段階を含む。このマップ内競合は、マップCS_NQ ^Cr1およびCS_NQ ^Cr2の各部位sの値を、最も近い極大に従って修正する。この種の競合は、次の関係式によって与えられる：
IntraMap^Cr1(s)＝CS_NQ ^Cr1(s)／NearestMaxc_r1(s)
IntraMap^Cr2(s)＝CS_NQ ^Cr2(s)／NearestMaxc_r2(s)
関数NearestMaxC_r1（またNearestMaxc_r2）は、部位sに最も近い成分Cr1（またCr2）の極大値を返す。この値は、サイズがK1（またK2）個の値のリストL1（またL2）から取られる。リストのサイズは、極大nと極大n＋1との間の比が、ある閾値より大きくなるように決定される。閾値は任意に1.3に設定される。これは、主たる顕著性領域のみを考慮することを可能にする。

極大n＋1は、図１に表されるように、極大nを中心とし、2視覚度（two visual degrees）の半径をもつ円形領域を禁止することによって決定される。円の大きさは、見る距離に比例する。

マップ内競合段階に続いて、マップ間競合が適用される。このマップ間競合は、異なる複数のマップの冗長性および相補性を活用する。項Intermapは次の関係式で与えられる：
Intermap(s)＝complementarity(s)＋redundancy(s)
項complementarity(s)〔相補性〕は、マップ内競合の結果どうしを足し合わせることによって得られる：
complementarity(s)＝intraMap^Cr1(s)＋intraMap^Cr2(s)
マップ間冗長性（redundancy）は、マージされるべき複数のマップの分布の同時解析（joint analysis）に基づいて処理される
redundancy(s)＝intraMap^Cr1(s)×intraMap^Cr2(s)
×Log［N／H(CS_NQ ^Cr1,CS_NQ ^Cr2)］／3Log(L)
Nは、関係するマップの部位の数を表す。

マップCS_NQ ^Cr1およびCS_NQ ^Cr2の組み合わされたヒストグラムから推定される因子Log［N／H(CS_NQ ^Cr1,CS_NQ ^Cr2)］／3Log(L)は、関係する部位sの値をその現れる確率に従って修正する。部位sによって伝達される情報の量は、その現れる確率に反比例する。結果として、上記の因子は、部位sの値を、現れる確率が低いときに増加させる。逆に、部位sの値は、現れる確率が高いときには低下させられる。

マップCS^Cr1およびCS^Cr2のマージは、前記の項intermap(s)によって与えられる。

視覚量Cr1およびCr2が色成分を表すとき、無色成分に関する第三の顕著性マップを導入することもできる。すると、三つの顕著性マップのマージを実行するために、階層的なアプローチが実行すべく導入される。

それによると、顕著性マップは、まず無色成分に関する二つの顕著性マップをマージし、次いでこの結果として得られる色の顕著性マップと無色顕著性マップとの間のマージを実行することによって、得られる。

そのような階層的なアプローチは、時間的な顕著性マップを前記の空間的な顕著性マップとマージすることによっても適用されうる。その際、色顕著性マップおよび無色顕著性マップは、上述した階層的なアプローチに従ってマージされる。すると、この空間的顕著性マップの、時間的顕著性マップとの階層的マージが実行される。

未修正の成分A上で極大値の例示的な検索を表す図である。

Claims

種々の視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法であって、
・前記複数の顕著性マップを各視覚量の理論的な最大に基づいて規格化する段階と、
・各顕著性マップにおける主たる顕著性領域を選択するマップ内競合段階と、
・前記諸マップ内競合と、前記諸マップ内競合とある部位が前記複数の顕著性マップ上に現れる確率との積の関数であるマップ間冗長性項との和に基づくマップ間競合段階とを有することを特徴とする方法。
前記規格化段階において、
・前記複数の顕著性マップの諸部位が、視覚量の値の理論的な最大に対して規格化され、
・前記複数のマップが、所定の数のレベルを使って線形に量子化されることを特徴とする、請求項１記載の方法。
前記マップ内競合段階において、
・視覚量の値が大きくなる諸部位を含む、顕著であると言われる諸部位を含む予備的リストが定義され、
・顕著であると言われる前記諸部位の前記予備的リストが前記値の降順にスキャンされ、顕著であると言われる前記部位を中心とする所定の半径の円形領域内に存在する顕著であると言われるその他の部位が禁止され、
・次に大きい値の部位の値との比が所定の閾値より大きい非禁止部位を含む、前記諸顕著部位のリストが確立される請求項１記載の方法。
前記視覚量が色成分および無色成分に関する、請求項１ないし３のうちいずれか一項記載の方法。
複数の色成分に関する複数の顕著性マップがマージされ、次いで結果として得られる顕著性マップが無色成分に関する顕著性マップとマージされる、請求項４記載の方法。