JP2016162420A - 注目領域検出装置、注目領域検出方法及びプログラム - Google Patents

Abstract

【課題】 注目領域が背景領域と重複している場合や、注目領域と背景領域の特徴量が類似する場合などで、注目領域の検出精度を向上させること。
【解決手段】 本発明は、入力画像に設定した部分領域と背景領域との重複する領域における特徴量を算出し、この算出した特徴量と入力画像の各位置における特徴量とに基づいて、入力画像の各位置における顕著度を算出する。そして、この顕著度の大きさに基づいて、入力画像から注目領域を検出する。
【選択図】 図１

Description

本発明は、視覚的顕著度に基づいて、入力画像から注目領域を検出する技術に関する。

従来から、入力画像中の注目領域を検出する種々の方法が知られている。特許文献１に記載の方法では、まず入力画像の四隅の領域（画像の左上、右上、左下、右下）を背景領域に設定し、各背景領域から特徴量を抽出する。そして、各背景領域から抽出した特徴量と画像中の各点から抽出した特徴量との相違に基づいて、画像の各点における顕著度を算出し、この顕著度の大きさに基づいて画像中の注目領域を検出している。

特開２０１１−５３７５９号公報

Ｈ．Ｖｉｎｏｄ "Ｉｎｔｅｇｅｒ Ｐｒｏｇｒａｍｍｉｎｇ ａｎｄ Ｔｈｅ Ｔｈｅｏｒｙ ｏｆ Ｇｒｏｕｐｉｎｇ" Ｊｏｕｒｎａｌ Ａｍｅｒｅｒｉｃａｎ Ｓｔａｔｉｓｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ，ｖｏ．６４，ｐｐ．５０６−５１７ （１９６９） Ｄｏｒｉｎ Ｃｏｍａｎｉｃｉｕ，Ｐｅｔｅｒ Ｍｅｅｒ， Ｓｅｎｉｏｒ Ｍｅｍｂｅｒ，Ｍｅａｎ ｓｈｉｆｔ： Ａ ｒｏｂｕｓｔ ａｐｐｒｏａｃｈ ｔｏｗａｒｄ ｆｅａｔｕｒｅ ｓｐａｃｅ ａｎａｌｙｓｉｓ，ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， ２００２． 大津展之：判別および最小２乗法に基づく自動しきい値選定法，電子通信学会論文誌、Ｊ６３−Ｄ−４（１９８０−４）、３４９．３５６．

しかしながら、非特許文献１に記載の方法では、注目領域が背景領域と重複している場合や、注目領域と背景領域の特徴量が類似する場合などにおいては、注目領域の検出精度が低下するという問題があった。

以上の課題を解決するために、本発明は、入力画像を複数の部分領域に分割する領域分割手段と、前記入力画像に背景領域を設定する背景領域設定手段と、前記部分領域と前記背景領域との重複する領域における特徴量を算出する特徴量算出手段と、前記算出した特徴量と前記入力画像の各位置における特徴量とに基づいて、前記入力画像の各位置における顕著度を算出する顕著度算出手段と、前記算出した顕著度に基づいて、前記入力画像の注目領域を検出する検出手段と、を有することを特徴とする。

以上の構成によれば、本発明は、注目領域が背景領域と重複している場合や、注目領域と背景領域の特徴量が類似する場合であっても、注目領域の検出精度の低下を軽減させることができる。

第１の実施形態に関わる注目領域検出装置の構成を示す概略ブロック図。 第１の実施形態において領域分割部の機能を説明する図。 第１の実施形態において背景領域設定部の機能を説明する図。 第１の実施形態において部分領域と背景領域との関係を示す図。 第１の実施形態において検出部の機能を説明する図。 第１の実施形態に関わる注目領域検出方法のフローチャート。 第２の実施形態に関わる注目領域検出装置の構成を示す概略ブロック図。 第２の実施形態において背景領域の設定方法の一例を示す図。 第２の実施形態において背景領域の設定方法の別の例を示す図。 第２の実施形態において背景領域の設定方法のまた別の例を示す図。 第２の実施形態において統合部の機能を説明する図。 第２の実施形態に関わる注目領域検出方法のフローチャート。 第３の実施形態において領域分割部の機能を説明する図。

［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本実施形態に係る注目領域検出装置の構成を示す概略ブロック図である。注目領域検出装置１は、領域分割部１１、背景領域設定部１２、重複率算出部１３、特徴量算出部１４、顕著度算出部１５、検出部１６を有する。

本実施形態に係る注目領域検出装置１は、半導体集積回路（ＬＳＩ）を用いて実現される。または、注目領域検出装置１が、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備えるようにしてもよい。その場合、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。

領域分割部１１は、注目領域検出装置１の外部から入力される入力画像を取得し、各画素間の色特徴の類似性に基づきＮ個の部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）に分割する。図２は、領域分割部１１によって入力画像をＮ個の部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）に分割する様子を示している。ここでは、入力画像の水平方向サイズをＸ、垂直方向サイズをＹとしている。図２の例では、領域分割部１１は、部分領域Ｒ_１（斜線部分）、Ｒ_２（点線部分）、Ｒ_３（斜線部分と点線部分以外の部分）の３つの部分領域Ｒ_ｎ（ｎ＝１，．．．，３）に分割している。入力画像を複数の部分領域に分割する手法としては、非特許文献１，２に記載された方法の他、種々の自動領域分割アルゴリズムを用いればよい。領域分割部１１は、入力画像を背景領域設定部１２に出力するとともに、Ｎ個の部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）に分割した結果を重複率算出部１３、特徴量算出部１４に出力する。

背景領域設定部１２は、入力画像に背景領域Ｂを設定する。図３は、背景領域設定部１２による背景領域Ｂの設定の様子を示している。同図（ａ）は元の入力画像であり、背景領域設定部１２は、例えば同図（ｂ）〜（ｄ）のように背景領域Ｂを設定する。図３（ｂ）の例では、入力画像の左部、上部、右部の幅Ｗの画枠領域を背景領域Ｂとして設定しており、図３（ｃ）の例では、入力画像の左部、上部、右部、下部の幅Ｗの画枠領域を背景領域Ｂとして設定している。また、図３（ｄ）の例では、入力画像の左上部、右上部、左下部、右下部の幅Ｗの正方領域を背景領域Ｂとして設定している。

なお、これらの例に限らず、背景領域設定部１２は、入力画像の端部に少なくとも１以上の領域を背景領域Ｂとして設定すればよい。また、背景領域Ｂを設定するためのＷの大きさは、所定値として予め決めておいてもよいし、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて適切な値が求められるよう機械学習しておき、入力画像ごとに決定するようにしてもよい。背景領域設定部１２は、設定した背景領域Ｂの結果を重複率算出部１３に出力する。

重複率算出部１３は、領域分割部１１が入力画像を分割して生成した分割領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）と、背景領域設定部１２が設定した背景領域Ｂとが重複する領域（Ｒ_ｎ∩Ｂ）の重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）を算出する。重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）は、以下の数１式のように、背景領域Ｂの面積Ｓ_Ｂと、部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒ_ｎ∩Ｂ）における面積Ｓ_ｎ（ｎ＝１，．．．，Ｎ）と、の比率として与えられる。

また、重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）は、以下の数２式により与えられてもよい。すなわち、部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）の面積Ｓ’_ｎ（ｎ＝１，．．．，Ｎ）と、部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒ_ｎ∩Ｂ）における面積Ｓ_ｎ（ｎ＝１，．．．，Ｎ）と、の比率として与えられてもよい。

重複率算出部１３は、算出した重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）を顕著度算出部１５に出力する。

特徴量算出部１４は、領域分割部１１が生成した部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）と、背景領域設定部１２が設定した背景領域Ｂとに基づいて、特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）を算出する。特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）は、部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒ_ｎ∩Ｂ）における色特徴の平均値（Ａ（Ｙ_ｎ），Ａ（Ｃｂ_ｎ），Ａ（Ｃｒ_ｎ））で与えられる。図４は、部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒ_ｎ∩Ｂ）を示している。同図（ａ）は入力画像を部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）に分割した様子を示しており、同図（ｂ）〜（ｄ）には、この部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）が、図３（ｂ）〜（ｄ）のように設定した背景領域Ｂと重複している様子を示している。

なお、特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）を、部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒ_ｎ∩Ｂ）における色特徴の中央値（Ｍ（Ｙ_ｎ），Ｍ（Ｃｂ_ｎ），Ｍ（Ｃｒ_ｎ））で与えてもよい。また、他の基本統計量（Ｆ（Ｙ_ｎ），Ｆ（Ｃｂ_ｎ），Ｆ（Ｃｒ_ｎ））で与えてもよい。特徴量算出部１４は、算出した特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）を顕著度算出部１５に出力する。

顕著度算出部１５は、重複率算出部１３が算出した重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）と、特徴量算出部１４が算出した特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）とに基づいて、顕著度Ｓ_ｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）を算出する。顕著度Ｓ_ｘ，ｙは、以下の数３式のように、入力画像中の着目点（ｘ，ｙ）における色特徴（Ｙ，Ｃｂ，Ｃｒ）と特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）との距離Ｄ_ｎ（ｎ＝１，．．．，Ｎ）と、重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）と、の積和で与えられる。

顕著度Ｓ_ｘ，ｙは、数４式のように、入力画像中の着目点（ｘ，ｙ）における色特徴（Ｙ，Ｃｂ，Ｃｒ）と特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）との距離Ｄ_ｎ（ｎ＝１，．．．，Ｎ）と、重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）と、の積和のうちの最大値で与えてもよい。
Ｓ_ｘ，ｙ＝ｍａｘ（Ｄ_１・Ｗ_１，Ｄ_２・Ｗ_２，．．．，Ｄ_Ｎ・Ｗ_Ｎ） （数４）
ここで、距離Ｄ_ｎは、特徴量算出部１４が算出した領域（Ｒ_ｎ∩Ｂ）における特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）と、入力画像中の着目点（ｘ，ｙ）における特徴量との相違に相当するものである。具体的には、数５式のように、領域（Ｒ_ｎ∩Ｂ）における色特徴の平均値（Ａ（Ｙ_ｎ），Ａ（Ｃｂ_ｎ），Ａ（Ｃｒ_ｎ））と、入力画像の着目点（ｘ，ｙ）における色特徴（Ｙ，Ｃｂ，Ｃｒ）と、のユークリッド距離ＤＥ_ｎまたはマンハッタン距離ＤＭ_ｎで与えられる。

なお、特徴量算出部１４が、領域（Ｒ_ｎ∩Ｂ）における色特徴の中央値や他の基本統計量を用いて特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）を算出している場合は、数５式において、これらの値を色特徴の平均値に代えて距離Ｄ_ｎを算出すればよい。顕著度算出部１５は、算出した顕著度Ｓ_ｘ，ｙを検出部１６に出力する。

検出部１６は、顕著度算出部１５が算出した顕著度Ｓ_ｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）に基づいて、入力画像から注目領域を検出する。本実施形態では、検出部１６は、まず顕著度Ｓ_ｘ，ｙを画像上に配置した顕著度マップを作成する。図５は、検出部１６による注目領域の検出処理を説明する図であり、同図（ａ）は、検出部１６が作成する顕著度マップを示している。そして、検出部１６は、作成した顕著度マップに対して２値化処理することで、注目領域の候補領域（図５（ｂ）の白色領域）とそれ以外の領域（図５（ｂ）の黒色領域）とに分離する。顕著度マップを２値化処理する手法としては、非特許文献３に開示されている、クラス内分散を最小化し、クラス間分散を最大化することにより適応的に閾値を設定する手法を採用すればよい。さらに、検出部１６は、得られた注目領域の候補領域に対して、図５（ｃ）のように外接する矩形領域を設定することにより、最終的な注目領域を検出する。

このようにして検出された注目領域は、注目領域検出結果を用いて処理を行う装置へと出力される。例えば、デジタルカメラのような撮像装置においては、検出された注目領域にフォーカスを合わせ、当該領域を高画質化するような処理に供される。また、デジタルカメラのような撮像装置に備えられた半導体集積回路が前述の注目領域検出装置としての機能を実現するようにしてもよく、この場合、撮像装置自体が本実施形態の注目領域検出装置に相当する。

図６は、本実施形態に係る注目領域検出方法のフローチャートを示している。本処理が開始されると、まず、ステップＳ１０１において、領域分割部１１は、入力画像を取得し、各画素間の色特徴の類似性に基づきＮ個の部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）に分割する。次に、ステップＳ１０２では、背景領域設定部１２が、入力画像に対して背景領域Ｂを設定する。

ステップＳ１０３において、重複率算出部１３は、領域分割部１１により生成された分割領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ）と、背景領域設定部１２により設定された背景領域Ｂとが重複する領域（Ｒ_ｎ∩Ｂ）の重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）を算出する。そして、ステップＳ１０４において、特徴量算出部１４は、領域（Ｒ_ｎ∩Ｂ）における特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）として、当該領域における色特徴に関する情報（例えば平均値）を算出し、顕著度算出部１５に出力する。

ステップＳ１０５では、顕著度算出部１５は、重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）と特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）とに基づいて、顕著度Ｓ_ｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）を算出する。そして、Ｓ１０６において、検出部１６が顕著度Ｓ_ｘ，ｙから顕著度マップを作成し、この顕著度マップに基づき注目領域を検出する。なお、本実施形態の注目領域検出方法の各ステップの処理は順に実行される必要はなく、例えば、ステップＳ１０１の部分領域に分割する処理と、ステップＳ１０２の背景領域を設定する処理とを並行して行ってもよい。

以上、本実施形態によれば、入力画像に設定した部分領域と背景領域との重複する領域における特徴量を算出し、この重複領域の特徴量と入力画像の各位置における特徴量とに基づいて、入力画像の各位置における顕著度を算出する。そのため、注目領域が背景領域と重複している場合や、注目領域と背景領域の特徴量が類似する場合であっても、算出した顕著度に基づいて、精度よく注目領域を検出することが可能となる。

（その他）
上述の説明において、顕著度算出部１５は、重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）と特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ）とに基づいて、顕著度Ｓ_ｘ，ｙを算出している。しかし、重複率の情報は用いずに、特徴量Ｆ_ｎから導出される距離Ｄ_ｎ（ｎ＝１，．．．，Ｎ）に基づいて算出するようにしてもよい。例えば、以下の数６式のように、顕著度Ｓ_ｘ，ｙを距離Ｄ_ｎ（ｎ＝１，．．．，Ｎ）のうちの最小値として与えてもよい。
Ｓ_ｘ，ｙ＝ｍｉｎ（Ｄ_１，Ｄ_２，．．．，Ｄ_Ｎ） （数６）
また、重複率Ｗ_ｎ（ｎ＝１，．．．，Ｎ）が閾値Ｔ以上の部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ’）に注目するようにしてもよい。つまり、数７式のように、入力画像中の着目点（ｘ，ｙ）における色特徴（Ｙ，Ｃｂ，Ｃｒ）と、閾値Ｔ以上の部分領域Ｒ_ｎ（ｎ＝１，．．．，Ｎ’）の特徴量Ｆ_ｎ（ｎ＝１，．．．，Ｎ’）との距離Ｄ_ｎ（ｎ＝１，．．．，Ｎ’）のうちの最小値でもよい。ここで、閾値Ｔは、予め定められた所定値であてもよいし、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて適切な値が求められるよう機械学習しておき、入力画像ごとに決定するようにしてもよい。
Ｓ_ｘ，ｙ＝ｍｉｎ（Ｄ_１，Ｄ_２，．．．，Ｄ_Ｎ’） （数７）
このように、重複率の情報を用いずに顕著度Ｓ_ｘ，ｙを算出することにより、重複率算出部１３の構成およびその処理を省略することができる。

［第２の実施形態］
次に、本発明の第２の実施形態として、複数の背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）を設定し、各背景領域に対して算出された顕著度Ｓ_{ｋ，ｘ，ｙ}（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて、統合顕著度ＩＳ_ｘ，ｙを算出する構成について説明を行う。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。

図７は、本実施形態に係る注目領域検出装置の構成を示す概略ブロック図である。本実施形態の注目領域検出装置１は、第１の実施形態で説明をした各機能部に加えて、統合部２１を備えている。また、本実施形態では、背景領域設定部１２が実行する処理の内容が、第１の実施形態と異なっている。

本実施形態において、背景領域設定部１２は、取得した入力画像に複数の背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）を設定する。図８〜１０は、背景領域設定部１２によって設定される背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）の様子を示している。

背景領域設定部１２は、例えば図８（ａ）〜（ｃ）のように、入力画像の左部、上部、右部に対して複数の幅Ｗ_ｋ（ｋ＝１，．．．，Ｋ）で規定される画枠領域を、背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）として設定する。なお、背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）は、図９（ａ）〜（ｃ）のように、入力画像の左部、上部、右部、下部に対する複数の幅Ｗ_ｋ（ｋ＝１，．．．，Ｋ）の画枠領域として設定してもよい。また、図１０（ａ）〜（ｃ）のように、入力画像の左上部、右上部、左下部、右下部における複数の幅Ｗ_ｋ（ｋ＝１，．．．，Ｋ）の正方領域として設定してもよい。いずれにしても、本実施形態では、入力画像の端部の少なくとも１か所に対して複数の幅Ｗ_ｋ（ｋ＝１，．．．，Ｋ）で規定される領域を、背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）とすることができる。なお、複数の幅Ｗ_ｋ（ｋ＝１，．．．，Ｋ）の間隔や個数Ｋの値は、予め定められた所定値とすることができる。または、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて適切な値が求められるよう機械学習しておき、入力画像ごとに決定するようにしてもよい。

そして、重複率算出部１３は、各背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）に対して、第１の実施形態と同様にして、重複率Ｗ_ｋ，ｎ（ｋ＝１，．．．，Ｋ）を算出する。同様にして、特徴量算出部１４、顕著度算出部１５は、各背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）に対して、特徴量Ｆ_ｋ，ｎ（ｋ＝１，．．．，Ｋ）、顕著度Ｓ_{ｋ，ｘ，ｙ}（ｋ＝１，．．．，Ｋ）を算出する。

統合部２１は、顕著度算出部１５が算出した顕著度Ｓ_{ｋ，ｘ，ｙ}（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳ_ｘ，ｙを算出する。図１１は、統合顕著度ＩＳ_ｘ，ｙを算出する処理を模式的に示す図であり、同図においては、顕著度Ｓ_{１，ｘ，ｙ}〜Ｓ_{３，ｘ，ｙ}を階層的に足し合わせている。

検出部１６は、統合部２１により算出された統合顕著度ＩＳ_ｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）に基づいて、入力画像から注目領域を検出する。検出部１６による注目領域の検出処理の内容は、第１の第１の実施形態と同様であり、生成した顕著度マップに基づいて注目領域の候補領域を抽出し、候補領域に外接する矩形領域を設定することにより、最終的な注目領域を検出する。

図１２は、本実施形態に係る注目領域検出方法のフローチャートを示している。本実施形態の検出フローが第１の実施形態と異なる点は、ステップＳ１０５とＳ１０６との間に、ステップＳ２０１の処理が実行されることである。ステップＳ２０１では、統合部２１が、前述したように、顕著度算出部１５が算出した顕著度Ｓ_{ｋ，ｘ，ｙ}（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳ_ｘ，ｙを算出する。また、ステップＳ１０２において、背景領域設定部１２は、複数の背景領域Ｂ_ｋ（ｋ＝１，．．．，Ｋ）を設定する。

以上、本実施形態によれば、入力画像に大きさの異なる複数の背景領域を設定し、この複数の背景領域ごとに顕著度を算出する。そして、算出した複数の背景領域ごとの顕著度を統合し、統合顕著度に基づいて入力画像から注目領域を検出する。したがって、第１の実施形態のように単一のサイズで背景領域を設定する場合に比べて、注目領域の検出の炉バスト性を向上させることができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明を行う。本実施形態では、複数の部分領域Ｒ_ｋ，ｎ（ｋ＝１，．．．，Ｋ，ｎ＝１，．．．，Ｎ）を設定し、各部分領域に対して算出される顕著度Ｓ_{ｋ，ｘ，ｙ}（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳ_ｘ，ｙを算出する。なお、第１、第２の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。

本実施形態の注目領域検出装置１は、第２の実施形態で説明した注目領域検出装置１の構成と同じである。すなわち、第１の実施形態で説明をした各機能部に加えて、統合部２１を備えた構成となっている。ただし、本実施形態では、領域分割部１１が実行する処理の内容が、第１、第２の実施形態と異なっている。

本実施形態の領域分割部１１は入力画像を取得し、各画素間の色特徴の類似性に基づいて、粒度が異なるＮ_ｋ通りで、取得した入力画像を部分領域Ｒ_ｋ，ｎ（ｎ＝１，．．．，Ｎ_ｋ）に分割する。本実施形態で、粒度は、入力画像からどの程度細かく部分領域に分割するかという、分割の細かさに相当している。

図１３は、領域分割部１１が、元の入力画像（同図（ａ））に対して、ｋ＝１番目の粒度からｋ＝３番目の粒度までの３通り（同図（ｂ）〜（ｄ））で、部分領域Ｒ_ｋ，ｎ（ｎ＝１，．．．，Ｎ_ｋ）に分割している様子を示す図である。図１２（ｂ）は、領域分割部１１が、ｋ＝１番目の粒度で入力画像を部分領域に分割する様子を示しており、ここでは、３つの部分領域Ｒ_１，ｎ（ｎ＝１，．．．，３）に分割されている。同様にして、図１２（ｃ）はｋ＝２番目の粒度の場合であり、Ｒ_２１、Ｒ_２２、Ｒ_２３、Ｒ_２４の４つの部分領域Ｒ_２，ｎ（ｎ＝１，．．．，４）に分割されている。また、図１２（ｄ）はｋ＝３番目の粒度の場合であり、Ｒ_３１、Ｒ_３２、Ｒ_３３、Ｒ_３４、Ｒ_３５の５つの部分領域Ｒ_３，ｎ（ｎ＝１，．．．，５）に分割されている。なお、粒度の個数Ｋの値は、予め定められた所定値としてもよいし、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて適切な値が求められるよう機械学習しておき、入力画像ごとに決定するようにしてもよい。

そして、重複率算出部１３、特徴量算出部１４、顕著度算出部１５は、各粒度Ｎ_ｋで分割された部分領域に対して、重複率Ｗ_ｋ，ｎ（ｋ＝１，．．．，Ｋ）、特徴量Ｆ_ｋ，ｎ（ｋ＝１，．．．，Ｋ）、顕著度Ｓ_{ｋ，ｘ，ｙ}（ｋ＝１，．．．，Ｋ）を算出する。そして、統合部２１は、第２の実施形態と同様にして、顕著度算出部１５が算出した顕著度Ｓ_{ｋ，ｘ，ｙ}（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳ_ｘ，ｙを算出する。また、検出部１６は、第２の実施形態と同じように、統合部２１により算出された統合顕著度ＩＳ_ｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）に基づいて、入力画像から注目領域を検出する。

本実施形態に係る注目領域検出方法のフローは、第２の実施形態と同様である。ただし、本実施形態の検出フローにおいて、ステップＳ１０１において、領域分割部１１は、粒度が異なるＮ_ｋ通りで、入力画像を複数の部分領域Ｒ_ｋ，ｎ（ｎ＝１，．．．，Ｎ_ｋ）に分割する。また、ステップＳ２０１では、統合部２１が、粒度Ｎ_ｋごとに算出された顕著度Ｓ_{ｋ，ｘ，ｙ}（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳ_ｘ，ｙを算出する。

以上、本実施形態によれば、複数の粒度によって入力画像を複数の部分領域に分割し、複数の粒度ごとに顕著度を算出する。そして、複数の粒度ごとに算出した顕著度を統合して、統合顕著度に基づいて入力画像から注目領域を検出する。したがって、第１の実施形態のように単一の粒度で部分領域に分割する場合に比べて、注目領域の検出の炉バスト性を向上させることができる。

［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１ 注目領域検出装置
１１ 領域分割部
１２ 背景領域設定部
１３ 重複率算出部
１４ 特徴量算出部
１５ 顕著度算出部
１６ 検出部

Claims (10)

1. 入力画像を複数の部分領域に分割する領域分割手段と、
   前記入力画像に背景領域を設定する背景領域設定手段と、
   前記部分領域と前記背景領域との重複する領域における特徴量を算出する特徴量算出手段と、
   前記算出した特徴量と前記入力画像の各位置における特徴量とに基づいて、前記入力画像の各位置における顕著度を算出する顕著度算出手段と、
   前記算出した顕著度に基づいて、前記入力画像の注目領域を検出する検出手段と、
   を有することを特徴とする注目領域検出装置。
2. 前記背景領域は、前記入力画像の端部に設定される少なくとも１つの領域であることを特徴とする請求項１に記載の注目領域検出装置。
3. 前記背景領域設定手段は、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて予め機械学習されており、入力画像ごとに背景領域の大きさを決定することを特徴とする請求項１または２に記載の注目領域検出装置。
4. 前記部分領域と前記背景領域とが重複する領域の重複率を算出する重複率算出手段を更に有し、
   前記顕著度算出手段は、前記特徴量算出手段により算出した特徴量と、前記入力画像の各位置における特徴量と、前記重複率算出手段により算出した重複率とに基づいて、前記入力画像の各位置における顕著度を算出することを特徴とする請求項１から３のいずれか１項に記載の注目領域検出装置。
5. 前記重複率は、前記背景領域の面積と、前記背景領域と前記部分領域とが重複する領域の面積と、の比であることを特徴とする請求項４に記載の注目領域検出装置。
6. 前記顕著度は、前記特徴量算出手段により算出した特徴量と前記入力画像の各位置における特徴量との相違と、前記重複率と、の積和であることを特徴とする請求項４または５に記載の注目領域検出装置。
7. 複数の前記顕著度を統合する統合手段を更に有し、
   前記背景領域設定手段は、前記入力画像に大きさの異なる複数の背景領域を設定し、
   前記徴量算出手段は、前記複数の背景領域ごとに、前記部分領域と重複する領域における特徴量を算出し、
   前記顕著度算出手段は、前記複数の背景領域ごとに前記顕著度を算出し、
   前記統合手段は、前記複数の背景領域ごとの顕著度を統合し、
   前記検出手段は、前記統合された顕著度に基づいて、前記入力画像の注目領域を検出することを特徴とする請求項１から６のいずれか１項に記載の注目領域検出装置。
8. 複数の前記顕著度を統合する統合手段を更に有し、
   前記領域分割手段は、異なる複数の粒度により、前記入力画像を複数の部分領域に分割し、
   前記徴量算出手段は、前記複数の粒度ごとに、前記部分領域と重複する領域における特徴量を算出し、
   前記顕著度算出手段は、前記複数の粒度ごとに前記顕著度を算出し、
   前記統合手段は、前記複数の粒度ごとの顕著度を統合し、
   前記検出手段は、前記統合された顕著度に基づいて、前記入力画像の注目領域を検出することを特徴とする請求項１から６のいずれか１項に記載の注目領域検出装置。
9. 入力画像を複数の部分領域に分割するステップと、
   前記入力画像に背景領域を設定するステップと、
   前記部分領域と前記背景領域との重複する領域における特徴量を算出するステップと、
   前記算出した特徴量と前記入力画像の各位置における特徴量とに基づいて、前記入力画像の各位置における顕著度を算出するステップと、
   前記算出した顕著度に基づいて、前記入力画像の注目領域を検出するステップと、
   を有することを特徴とする注目領域検出方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の注目領域検出装置として機能させるためのプログラム。