JP2017068739A

JP2017068739A - 物体顕著性マップ算出装置、方法、及びプログラム

Info

Publication number: JP2017068739A
Application number: JP2015195822A
Authority: JP
Inventors: 周平田良島; Shuhei Tarashima; 豪入江; Takeshi Irie; 潤島村; Jun Shimamura; 啓之新井; Hiroyuki Arai; 之人渡邉; Yukito Watanabe; 大我吉田; Taiga Yoshida; 明小島; Akira Kojima
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-10-01
Filing date: 2015-10-01
Publication date: 2017-04-06
Anticipated expiration: 2035-10-01
Also published as: JP6517652B2

Abstract

【課題】画像中の主要物体をより正しく捉えた物体顕著性マップを算出できる。
【解決手段】物体候補領域抽出部３０が、入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出する。空間重複度算出部３２が、抽出された物体候補領域毎に、物体候補領域と、他の物体候補領域の各々とのペアの各々についての空間的な重複度を算出する。物体候補領域ランキング部３４が、物体候補領域毎に算出されたペアの各々についての重複度に基づいて、複数の物体候補領域をランキングする。顕著スコア算出部３６が、ランキング上位の物体候補領域を１つ以上用いて、入力画像の各ピクセルの顕著スコアを算出する。
【選択図】図１

Description

本発明は、物体顕著性マップ算出装置、方法、及びプログラムに係り、特に、画像から物体顕著性マップを算出するための物体顕著性マップ算出装置、方法、及びプログラムに関する。

物体顕著性マップは、画像中のどの領域に主要物体が写り込んでいそうかを定量的に示したものであり、画像を構成する各ピクセルに対し、そのピクセルが主要物体に含まれる尤もらしさ（顕著性スコア）が定義される。物体顕著性マップは、物体認識(物体セグメンテーションや物体検出)や画像編集（リサイズやフィルタリング）の構成要素としてごく一般的に用いられており、その産業上の利用価値は極めて高い。

物体顕著性マップを算出する代表的な方法の１つは、画像中の局所的なコントラスト変化の検出に基づくものである。例えば非特許文献１では、ピクセルのUniqueness（空間的に近いピクセルとのコントラストが高いほど顕著）とDistribution（見た目の類似したピクセルが画像中で局所的に集中しているほど顕著）とから物体顕著性を算出する方法が開示されている。

物体顕著性マップを算出する方法として、画像中の物体らしい領域（物体候補領域）の抽出に基づく方法も代表的である。例えば非特許文献２では、画像から物体候補領域を複数抽出し、各ピクセルの物体顕著性を、そのピクセルを含む全ての物体候補領域の物体らしさスコアの和として算出する方法が開示されている。

F. Perazzi et al., Saliency Filters: Contrast Based Filtering for Salient Region Detection, in CVPR, 2012. J. C. Rubio et al., Unsupervised Co-segmentation through Region Matching, in CVPR, 2012.

非特許文献１のような局所的なコントラスト変化検出に基づく方法では、基本的には周辺とのコントラストが高い小さな領域ほどより顕著性が高く算出されるため、主要物体のアピアランスが複雑な場合、主要物体の一部分の顕著性のみが極端に高く検出され、得られる物体顕著性マップから主要物体の全貌が正確に捉えられないという問題がある。例えば図５（Ａ）のような画像を入力としたとき、非特許文献１で開示されている方法を用いると図５（Ｂ）のような物体顕著性マップが得られる。図５（Ｂ）では主要物体（イラストが書かれた板)の一部（ビニールボートおよびその上のキャラクター）の顕著性のみが極端に高く検出されており、主要物体の全貌を明確に捉えることができていない。

しかし、非特許文献２のような物体顕著性マップ算出方法が礎としている物体候補領域は、色やエッジといったごく基本的な画像特徴量から特定されるため、抽出される各物体候補領域が画像中の主要物体を正しく捉えているとは限らず、したがって算出される物体顕著性マップも主要物体の全貌を正しく捉えているとは限らないという問題がある。図５（Ｃ）は、非特許文献２で開示されている手法で算出された物体顕著性マップである。図５から明らかなように、図５（Ｂ）に比して主要物体のより広い範囲の顕著性が高く評価されてはいるものの、それは主要物体の一部であり、主要物体全貌が図５（Ｃ）で捉えられているとは言えない。

このように、物体顕著性マップを算出する公知の技術では、算出される物体顕著性マップで主要物体を正しく捉えることができないという問題があった。

本発明は、上記問題点を解決するために成されたものであり、画像中の主要物体をより正しく捉えた物体顕著性マップを算出できる物体顕著性マップ算出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る物体顕著性マップ算出装置は、画像を入力として、前記画像の物体顕著性マップを算出する物体顕著性マップ算出装置における物体顕著性マップ算出方法であって、物体候補領域抽出部が、入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出するステップと、空間重複度算出部が、前記抽出された物体候補領域毎に、前記物体候補領域と、他の物体候補領域の各々とのペアの各々についての空間的な重複度を算出するステップと、物体候補領域ランキング部が、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度に基づいて、前記複数の物体候補領域をランキングするステップと、顕著スコア算出部が、前記物体候補領域ランキング部によって得られたランキング上位の物体候補領域を１つ以上用いて、前記入力画像の各ピクセルの顕著スコアを算出するステップと、を含んで実行することを特徴とする。

また、第１の発明に係る物体顕著性マップ算出方法において、前記物体候補領域ランキング部がランキングするステップは、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度に基づいて、主要物体らしさが高い他の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、前記複数の物体候補領域をランキングするようにしてもよい。

また、第１の発明に係る物体顕著性マップ算出方法において、前記物体候補領域ランキング部がランキングするステップは、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度を要素とする行列Ａと、前記複数の物体候補領域の各々についての、他の物体候補領域の各々との前記重複度の和を対角成分とする次数行列Ｄとに基づいて、予め定めた条件を満たすまで、前回のランキングが上位の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、前記複数の物体候補領域の各々のランキングスコアを更新することを繰り返して、前記複数の物体候補領域をランキングするようにしてもよい。

また、第１の発明に係る物体顕著性マップ算出方法において、前記物体候補領域ランキング部がランキングするステップは、前記物体候補領域の各々のうち、全ての他の物体候補領域と重ならない前記物体候補領域についてのランキングスコアをゼロとして、前記予め定めた条件を満たすまで、前記複数の物体候補領域の各々のランキングスコアを更新することを繰り返して、前記複数の物体候補領域をランキングするようにしてもよい。

第２の発明に係る物体顕著性マップ算出装置は、画像を入力として、前記画像の物体顕著性マップを算出する物体顕著性マップ算出装置であって、入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出する物体候補領域抽出部と、前記抽出された物体候補領域毎に、前記物体候補領域と、他の物体候補領域の各々とのペアの各々についての空間的な重複度を算出する空間重複度算出部と、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度に基づいて、前記複数の物体候補領域をランキングする物体候補領域ランキング部と、前記物体候補領域ランキング部によって得られたランキング上位の物体候補領域を１つ以上用いて、前記入力画像の各ピクセルの顕著スコアを算出する顕著スコア算出部と、を含んで構成されている。

また、第２の発明に係る物体顕著性マップ算出装置において、前記物体候補領域ランキング部は、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度に基づいて、主要物体らしさが高い他の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、前記複数の物体候補領域をランキングするようにしてもよい。

また、第２の発明に係る物体顕著性マップ算出装置において、前記物体候補領域ランキング部は、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度を要素とする行列Ａと、前記複数の物体候補領域の各々についての、他の物体候補領域の各々との前記重複度の和を対角成分とする次数行列Ｄとに基づいて、予め定めた条件を満たすまで、前回のランキングが上位の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、前記複数の物体候補領域の各々のランキングスコアを更新することを繰り返して、前記複数の物体候補領域をランキングするようにしてもよい。

第３の発明に係るプログラムは、コンピュータに、第１の発明に係る物体顕著性マップ算出方法の各ステップを実行させるためのプログラムである。

本発明の物体顕著性マップ算出装置、方法、及びプログラムによれば、入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出し、抽出された物体候補領域毎に、物体候補領域と、他の物体候補領域の各々とのペアの各々についての空間的な重複度を算出し、物体候補領域毎に算出されたペアの各々についての重複度に基づいて、複数の物体候補領域をランキングし、ランキング上位の物体候補領域を１つ以上用いて、入力画像の各ピクセルの顕著スコアを算出することにより、画像中の主要物体をより正しく捉えた物体顕著性マップを算出できる、という効果が得られる。

本発明の実施の形態に係る物体顕著性マップ算出装置の構成を示すブロック図である。物体候補領域の抽出の一例を示す図である。空間重複度の算出の一例を示す図である。本発明の実施の形態に係る物体顕著性マップ算出装置における物体顕著性マップ算出処理ルーチンを示すフローチャートである。従来技術及び本発明の手法による物体顕著性マップの一例である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

本発明の実施の形態に係る手法は上記の課題を鑑みてなされたものである。公知の技術のうち、特に物体候補領域の抽出に基づく方法では、抽出される候補領域が主要物体を必ずしも捉えてはいないことが原因で、得られる物体顕著性マップもまた主要物体を必ずしも正しく捉えることができていなかった。この問題を解決すべく、任意の物体候補領域抽出処理で得られる１つ以上の物体候補領域間の空間的な重複度に基づき物体候補領域をランキングし、ランキング上位の物体候補領域を用いて物体顕著性マップを算出することで、画像中の主要物体をより正しく捉えた物体顕著性マップを算出する。物体候補領域間の空間的な重複度に基づくランキングは、仮に物体候補領域が、主要物体を正しく捉えている度合で理想的にランキングされていると仮定すると、主要物体を正しく捉えた物体候補領域は、主要物体を正しく捉えている度合の高い他の物体候補領域とより広い領域を共有しているであろうという考察に基づいている。他の多くの物体候補領域とより重複している物体候補領域ほど上位にくるよう物体候補領域をランキングすることで、主要物体をより正しく捉えた物体候補領域を選択することが可能となり、得られた物体候補領域を用いることで、図５（Ｄ）が示すように、画像中の主要物体をより正しく捉えた物体顕著性マップを算出することが可能となる。

＜本発明の実施の形態に係る物体顕著性マップ算出装置の構成＞

次に、本発明の実施の形態に係る物体顕著性マップ算出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る物体顕著性マップ算出装置１００は、ＣＰＵと、ＲＡＭと、後述する物体顕著性マップ算出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この物体顕著性マップ算出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、入力画像を受け付ける。

演算部２０は、物体候補領域抽出部３０と、空間重複度算出部３２と、物体候補領域ランキング部３４と、顕著スコア算出部３６とを含んで構成されている。

物体候補領域抽出部３０は、以下に説明するように、入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出する。

物体候補領域抽出部３０は、具体的には、入力画像から、Ｎ_１個の物体候補領域集合

を抽出する。Ｎ_１は正の整数の値をとるパラメータであり、例えば３００などとすればよい。物体候補領域集合＾Ｒを抽出する方法としては、例えば参考文献１や参考文献２で開示されているような、画像中の任意の矩形部分領域の物体らしさを評価する手法を用いて、特に物体らしさの高い上位Ｎ_１領域を選択すればよい。なお、ベクトル、行列、又は集合を表す場合には、記号の前に「＾」を付して表現する。

［参考文献１］B. Alexe et al., Measuring the Objectness of Image Windows, TPAMI, 2012.

［参考文献２］M. M. Cheng et al., BING: Binarized Normed Gradients for Objectness Estimation at 300fps, in CVPR, 2014.

あるいは、参考文献３や参考文献４で開示されているような、見た目に一貫性のある任意の形状の部分領域を複数抽出し、その物体らしさを評価する方法を用いて、特に物体らしさの高い上位Ｎ_１領域を物体候補領域集合＾Ｒとして選択してもよい。物体矩形候補領域集合Ｂは、各物体候補領域ｒ_ｉ∈Ｒを囲う最小の矩形領域の集合として一意に定義できる。

［参考文献３］J. Carreira et al., CPMC: Automatic Object Segmentation Using Constrained Parametric Min-Cuts, TPAMI, 2012.

［参考文献４］P. Arbelaez et al., Multiscale Combinatorial Grouping, in CVPR, 2014.

更には、参考文献５や参考文献６に開示されているような、見た目に一貫性のある任意の形の部分領域を複数抽出するのみの方法を用いてもよい。この場合、各部分領域の物体らしさは与えられないため、部分領域からランダムにＮ_１領域を選択したり、あるいは得られた全ての部分領域を物体候補領域として選択してもよい(この場合、抽出された部分領域の数をＮ_１と設定する)。

［参考文献５］J.R.R. Uijlings et al., Selective Search for Object Recognition, IJCV, 2013.

［参考文献６］P. Krahenbuhl et al., Geodesic Object Proposal, in ECCV, 2014.

なお、参考文献３、参考文献４、参考文献５、参考文献６で開示されている方法で直接得られる物体候補領域は任意の形状を取りうるが、図２に示すように、任意の形状を参考文献１、参考文献２で得られるような矩形の物体候補領域に変換して以降の処理で用いてもよい。任意の形状の物体候補領域は、例えば物体候補領域を囲う最小の矩形領域を定義することで、矩形の物体候補領域へと変換することができる。

空間重複度算出部３２は、物体候補領域抽出部３０により抽出された物体候補領域毎に、以下に説明するように、当該物体候補領域と、他の物体候補領域の各々とのペア（以下、物体候補領域ペアと称する）の各々についての空間的な重複度を算出する。

空間重複度算出部３２において、物体候補領域ペアの空間重複度は、物体候補領域ｒに対応するバイナリマスク＾ｂに基づいて算出される。ここでバイナリマスク＾ｂは、入力画像と同サイズであり、物体候補領域ｒに含まれるピクセルに１、含まれないピクセルに０が割り当てられたデータとして定義される。ここで、物体候補領域ｒ_ｉと物体候補領域ｒ_ｊ（１≦ｉ，ｊ≦Ｎ_１，ｉ≠ｊ）とのペアの空間重複度ａ_ｉｊを算出することを考える。空間重複度ａ_ｉｊは、例えば以下の（１）式で定義されるＪａｃｃａｒｄ類似度を用いて計算することができる。

Ｊａｃｃａｒｄ類似度は、直感的には図３に示すように、物体候補領域ペアの共通領域の面積を物体候補領域ペアの和集合領域の面積で割ることで算出される。一般に物体矩形領域が任意の形状を取る場合、Ｊａｃｃａｒｄ類似度の算出には高次元特徴の比較が必要となるが、物体候補領域抽出部３０で得られる物体候補領域が矩形の場合、図３の下部に示すように物体候補領域ペアの共通領域の面積もまた矩形となることを利用すれば、Ｊａｃｃａｒｄ類似度は数回の演算（矩形の面積演算など）で高速に算出することができるため好適である。

物体候補領域ランキング部３４は、以下に説明するように、空間重複度算出部３２により物体候補領域毎に算出された物体候補領域ペアの各々についての重複度に基づいて、主要物体らしさが高い他の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、複数の物体候補領域をランキングする。

より詳細には、空間重複度算出部３２により物体候補領域毎に算出された物体候補領域ペアの各々についての前記重複度を要素とする行列＾Ａと、複数の物体候補領域の各々についての、他の物体候補領域の各々との重複度の和を対角成分とする次数行列＾Ｄとに基づいて、予め定めた収束条件を満たすまで、前回のランキングが上位の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、複数の物体候補領域の各々のランキングスコアを更新することを繰り返して、複数の物体候補領域をランキングする。

ここで物体候補領域は、ランキング上位の物体候補領域とより重複している物体候補領域ほど上位となるようランキングされるものとする。本実施の形態では、収束条件は予め定めた回数とする。

物体候補領域ランキング部３４は、具体的には、物体候補領域をランキング上位の物体候補領域とより広い領域で重複している物体候補領域ほど上位となるようランキングするため、例えば以下の方法を用いる。

まず、各物体候補領域ｒ_ｉのランキングスコアｐ_ｉ＞０を要素とするベクトル

を考え、以下の（２）式を満たすベクトル＾ｐを算出する。

ただし、

とする。

ここで行列

は、空間重複度算出部３２で得られた空間重複度ａ_ｉｊを要素としている。ただし、ａ_ｉｉ＝０である。また、行列

は行列＾Ａの次数行列である。具体的には、行列＾Ｄは対角成分のみ値を持ち、他の物体候補領域の各々との重複度の和を対角成分とする。すなわち、対角成分の値は、

である。上記（２）式は、

かつ行列＾Ｄの全対角成分が非ゼロである場合ベクトル＾ｐの解を一意に与える。（２）式を解く方法として、本実施の形態では、ベクトル＾ｐの初期値ｐ_０を

と与え、収束するまで以下の（３）式に従ってベクトル＾ｐを更新する。

ただし、ｔは繰り返し回数を表すインデクスである。収束した回数をＴと表すとし、以降＾ｐ＝＾ｐ_Ｔとする。得られたベクトル＾ｐのランキングスコアが高い順に物体候補領域をランキングすることで、物体候補領域を、ランキング上位の物体候補領域とより重複している物体候補領域ほど上位となるようランキングすることができる。

また、物体候補領域ランキング部３４では、物体候補領域の各々のうち、全ての他の物体候補領域と重ならない物体候補領域についてのランキングスコアをゼロとしたベクトル＾ｐを用いて、上記（３）式に従ってベクトル＾ｐを更新することを繰り返す。

これは、抽出された物体候補領域の中に、他とは空間的に完全に孤立した物体候補領域、すなわち、他の候補領域と一切空間的重複が無いようなものが存在する場合、Ｎ_１の物体候補領域全てを用いて上記（１）式を計算しようとすると、計算される行列＾Ｄの対角成分にゼロ要素が混在するために解ベクトル＾ｐが算出できないという問題があるためである。これは、例えば以下のように解決することができる。まず、空間的に孤立した物体候補領域をすべて除外することで得られるＮ_１’物体候補領域を対象として（３）式からベクトル＾ｐ’を算出する。次に、除外した孤立物体候補領域のランキングスコアをゼロとしてベクトル＾ｐ’の対応する位置に挿入し、解ベクトル＾ｐを算出すればよい。孤立物体候補領域のランキングスコアをゼロとするのは、本発明の実施の形態における原理、すなわち主要物体を正しく捉えた物体候補領域は、主要物体を正しく捉えている度合の高い他の物体候補領域と多くの領域を共有しているという観点に基づけば、重複する物体候補領域が存在しない物体候補領域は主要物体を捉えてはいないと考えられるためである。

顕著スコア算出部３６は、物体候補領域ランキング部３４によって得られたランキング上位の物体候補領域を１つ以上用いて、入力画像の各ピクセルの顕著スコアを算出し、出力部５０に出力する。

顕著スコア算出部３６は、具体的には、物体候補領域ランキング手段で得られたランキング上位Ｎ_２（≦Ｎ_１）物体候補領域を用いて、画像中の各ピクセルｘの顕著スコアｓ（ｘ）を算出する。Ｎ_２はパラメータであり、例えばＮ_１＝３００のとき、Ｎ_２＝３０などと設定すればよい。画像中ピクセルｘの顕著スコアｓ（ｘ）は、物体候補領域ｒ_ｉ∈＾Ｒ’に対応するバイナリマスクｂ_ｉと、スコアベクトル＾ｐとを用いて、以下の（４）式で計算することができる。ここで＾Ｒ’は、ランキング上位Ｎ_２の物体候補領域の集合である。

＜本発明の実施の形態に係る物体顕著性マップ算出装置の作用＞

次に、本発明の実施の形態に係る物体顕著性マップ算出装置１００の作用について説明する。入力部１０において入力画像を受け付けると、物体顕著性マップ算出装置１００は、図４に示す物体顕著性マップ算出処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０において受け付けた入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出する。

次に、ステップＳ１０２では、ステップＳ１００で抽出した物体候補領域毎に、上記（１）式に従って、当該物体候補領域と、他の物体候補領域の各々とのペアの各々についての空間的な重複度を算出する。

ステップＳ１０４では、上記（３）式に従って、行列＾Ａと、次数行列＾Ｄとに基づいて、前回のランキングが上位の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、複数の物体候補領域の各々のランキングスコアからなるベクトル＾ｐを更新する。

ステップＳ１０６では、収束条件を満たすかを判定し、収束条件を満たしていればステップＳ１０８へ移行し、収束条件を満たしていなければステップＳ１０４に戻って更新を繰り返す。

ステップＳ１０８では、ステップＳ１０４により更新されたベクトル＾ｐに基づいて、複数の物体候補領域をランキングする。

ステップＳ１１０では、ステップＳ１０８で得られたランキング上位Ｎ_２の物体候補領域を用いて、上記（４）式に従って、入力画像の各ピクセルの顕著スコアを算出し、出力部５０に出力して処理を終了する。

以上説明したように、本発明の実施の形態に係る物体顕著性マップ算出装置によれば、入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出し、抽出された物体候補領域毎に、物体候補領域と、他の物体候補領域の各々とのペアの各々についての空間的な重複度を算出し、物体候補領域毎に算出されたペアの各々についての重複度に基づいて、複数の物体候補領域をランキングし、ランキング上位の物体候補領域を１つ以上用いて、入力画像の各ピクセルの顕著スコアを算出することにより、画像中の主要物体をより正しく捉えた物体顕著性マップを算出できる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１０入力部
２０演算部
３０物体候補領域抽出部
３２空間重複度算出部
３４物体候補領域ランキング部
３６顕著スコア算出部
５０出力部
１００物体顕著性マップ算出装置

Claims

画像を入力として、前記画像の物体顕著性マップを算出する物体顕著性マップ算出装置における物体顕著性マップ算出方法であって、
物体候補領域抽出部が、入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出するステップと、
空間重複度算出部が、前記抽出された物体候補領域毎に、前記物体候補領域と、他の物体候補領域の各々とのペアの各々についての空間的な重複度を算出するステップと、
物体候補領域ランキング部が、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度に基づいて、前記複数の物体候補領域をランキングするステップと、
顕著スコア算出部が、前記物体候補領域ランキング部によって得られたランキング上位の物体候補領域を１つ以上用いて、前記入力画像の各ピクセルの顕著スコアを算出するステップと、
を含む物体顕著性マップ算出方法。
前記物体候補領域ランキング部がランキングするステップは、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度に基づいて、主要物体らしさが高い他の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、前記複数の物体候補領域をランキングする請求項１記載の物体顕著性マップ算出方法。
前記物体候補領域ランキング部がランキングするステップは、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度を要素とする行列Ａと、前記複数の物体候補領域の各々についての、他の物体候補領域の各々との前記重複度の和を対角成分とする次数行列Ｄとに基づいて、予め定めた条件を満たすまで、前回のランキングが上位の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、前記複数の物体候補領域の各々のランキングスコアを更新することを繰り返して、前記複数の物体候補領域をランキングする請求項２に記載の物体顕著性マップ算出方法。
前記物体候補領域ランキング部がランキングするステップは、前記物体候補領域の各々のうち、全ての他の物体候補領域と重ならない前記物体候補領域についてのランキングスコアをゼロとして、前記予め定めた条件を満たすまで、前記複数の物体候補領域の各々のランキングスコアを更新することを繰り返して、前記複数の物体候補領域をランキングする請求項３に記載の物体顕著性マップ算出方法。
画像を入力として、前記画像の物体顕著性マップを算出する物体顕著性マップ算出装置であって、
入力画像から物体らしい部分を捉えた複数の物体候補領域を抽出する物体候補領域抽出部と、
前記抽出された物体候補領域毎に、前記物体候補領域と、他の物体候補領域の各々とのペアの各々についての空間的な重複度を算出する空間重複度算出部と、
前記物体候補領域毎に算出された前記ペアの各々についての前記重複度に基づいて、前記複数の物体候補領域をランキングする物体候補領域ランキング部と、
前記物体候補領域ランキング部によって得られたランキング上位の物体候補領域を１つ以上用いて、前記入力画像の各ピクセルの顕著スコアを算出する顕著スコア算出部と、
を含む物体顕著性マップ算出装置。
前記物体候補領域ランキング部は、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度に基づいて、主要物体らしさが高い他の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、前記複数の物体候補領域をランキングする請求項５記載の物体顕著性マップ算出装置。
前記物体候補領域ランキング部は、前記物体候補領域毎に算出された前記ペアの各々についての前記重複度を要素とする行列Ａと、前記複数の物体候補領域の各々についての、他の物体候補領域の各々との前記重複度の和を対角成分とする次数行列Ｄとに基づいて、予め定めた条件を満たすまで、前回のランキングが上位の物体候補領域と広い領域で重複している物体候補領域ほど上位となるように、前記複数の物体候補領域の各々のランキングスコアを更新することを繰り返して、前記複数の物体候補領域をランキングする請求項６に記載の物体顕著性マップ算出装置。
コンピュータに、請求項１〜請求項４のいずれか１項に記載の物体顕著性マップ算出方法の各ステップを実行させるためのプログラム。