JP2014149788A - 物体領域境界推定装置、物体領域境界推定方法及び物体領域境界推定プログラム - Google Patents

Abstract

【課題】対象画像の制限がなく、様々な画像に対する３次元的なオクルージョン境界の推定を行うことができる物体領域境界推定装置を提供する。
【解決手段】方向付き境界属性モデルのモデルパラメータを入力するパラメータ入力手段と、入力画像を小領域に分割する小領域分割手段と、小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力手段と、入力したパラメータと、量子化特徴量を入力し、方向付き境界属性モデルの更新を行い、更新された方向付き境界属性モデルに基づいて、領域境界のそれぞれに対して、方向付きの境界属性を付与して出力する境界属性推定手段とを備える。
【選択図】図１

Description

本発明は、画像から物体の境界線を抽出して、境界線を挟んだ前後関係や上下関係といった方向を持った境界線の３次元的な性質を推定する物体領域境界推定装置、物体領域境界推定方法及び物体領域境界推定プログラムに関する。

従来より複数視点の画像や動画像を用いることで被写体の３次元構造を推定する手法は多くあるが、１枚の画像を用いて、被写体の３次元構造を推定する問題は非常に困難である。１枚の画像による被写体物体の３次元推定に関する手法として、画像内の領域に３次元構造に関するラベル付けを行う手法や、画像内の平面の３次元的な向きを推定する手法などがある。特に、非特許文献１には、推定された３次元構造ラベルに基づいて物体のオクルージョン境界検出及び前後関係の推定を実現できることが示されている。

D.Hoiem et al. "Recovering Occlusion Boundaries from an Image," IJCV vol.91, pp.328-346, 2011.

非特許文献１に記載の技術では、画像内の領域に対して３次元構造に関するラベル付けを行い、その結果に基づき境界線の検出及び属性推定を実現している。

しかしながら、非特許文献１に記載の技術にあっては、領域のラベル付けに際して推定対象となる画像の構成に強い仮定を設けており、地面・直立物体・空の領域が画面下から上に並ぶような風景画像に対してのみ良好な推定が可能な手法である。このため、対象画像の制限がなく、様々な画像に対する３次元的なオクルージョン境界の推定を行うことはできないという問題がある。

本発明は、このような事情に鑑みてなされたもので、対象画像の制限がなく、様々な画像に対する３次元的なオクルージョン境界の推定を行うことができる物体領域境界推定装置、物体領域境界推定方法及び物体領域境界推定プログラムを提供することを目的とする。

本発明は、入力画像を小領域に分割する小領域分割手段と、前記入力画像に応じた方向付き境界属性を入力し、前記入力画像の領域境界について隣接する双方の領域に対して、該方向付き境界属性を設定する境界属性設定手段と、前記小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力手段と、前記量子化特徴量と、前記領域境界について隣接する双方の領域に対して設定した前記方向付き境界属性とを入力し、方向付き境界属性モデルの学習を行った結果得られたモデルパラメータを出力するモデル推定手段とを備えることを特徴とする。

本発明は、方向付き境界属性モデルのモデルパラメータを入力するパラメータ入力手段と、入力画像を小領域に分割する小領域分割手段と、前記小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力手段と、入力したパラメータと、前記量子化特徴量を入力し、前記方向付き境界属性モデルの更新を行い、更新された前記方向付き境界属性モデルに基づいて、領域境界のそれぞれに対して、方向付きの境界属性を付与して出力する境界属性推定手段とを備えることを特徴とする。

本発明は、入力画像を小領域に分割する小領域分割ステップと、前記入力画像に応じた方向付き境界属性を入力し、前記入力画像の領域境界について隣接する双方の領域に対して、該方向付き境界属性を設定する境界属性設定ステップと、前記小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力ステップと、前記量子化特徴量と、前記領域境界について隣接する双方の領域に対して設定した前記方向付き境界属性とを入力し、方向付き境界属性モデルの学習を行った結果得られたモデルパラメータを出力するモデル推定ステップとを有することを特徴とする。

本発明は、方向付き境界属性モデルのモデルパラメータを入力するパラメータ入力ステップと、入力画像を小領域に分割する小領域分割ステップと、前記小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力ステップと、入力したパラメータと、前記量子化特徴量を入力し、前記方向付き境界属性モデルの更新を行い、更新された前記方向付き境界属性モデルに基づいて、領域境界のそれぞれに対して、方向付きの境界属性を付与して出力する境界属性推定ステップとを有することを特徴とする。

本発明は、コンピュータを、前記物体領域境界推定装置と機能させるための物体領域境界推定プログラムである。

本発明によれば、構図の様々な画像に対して物体境界を検出し、境界線上の前後・上下関係も推定することができるという効果が得られる。これにより、推定された境界線情報と前後関係情報は被写体の３次元的な構造情報を含むため、推定結果に基づき画像の３次元構成を復元することが可能になる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像特徴生成部２、７の詳細な構成を示すブロック図である。 各画像特徴の関係を示す説明図である。 モデル推定時の領域・境界の関係性を示す模式図である。 各要素間の確率的な関係性を示したグラフィカルモデルを示す図である。 境界属性推定時に用いるグラフィカルモデルを示す図である。 様々なレイアウトを持つ写真を用いて境界属性推定を行った適用例を示す図である。

以下、図面を参照して、本発明の一実施形態による物体領域境界推定装置を説明する。図１は同実施形態の構成を示すブロック図である。図１に示す物体領域境界推定装置は、コンピュータ装置によって構成し、パラメータ学習部１１と境界属性推定部１２を備えている。パラメータ学習部１１は、画像データ集合と、画像内容に応じた方向付き境界属性とをセットで入力し、各種モデルパラメータを出力する。境界属性推定部１２は、１枚の画像と、パラメータ学習部１１によって学習されたモデルパラメータとを入力とし、検出された境界線とその境界属性（方向付き境界属性）を出力する。

パラメータ学習部１１は、小領域分割部１、画像特徴生成部２、境界属性ラベル設定部３、モデル推定部４及びモデルパラメータ記憶部５を備える。モデル推定部４は、さらに、モデルパラメータ推定部４１、領域トピック推定部４２、学習時３次元構成トピックモデル記憶部４３を備える。モデルパラメータ記憶部５は、領域・領域特徴辞書記憶部５１、領域・境界辞書記憶部５２、領域・境界・境界特徴辞書記憶部５３を備える。

境界属性推定部１２は、小領域分割部６、画像特徴生成部７及びモデル推定部８を備える。モデル推定部８は、さらに、領域・境界推定部８１、境界属性統合部８２、推定時３次元構成トピックモデル記憶部８３を備える。

次に、図２を参照して、図１に示す画像特徴生成部２、７の詳細な構成について説明する。図２は、図１に示す画像特徴生成部２、７の詳細な構成を示すブロック図である。パラメータ学習部１１に備えている画像特徴生成部２と、境界属性推定部１２に備えている画像特徴生成部７は、同じ構成を備えているため、ここでは、画像特徴生成部２について説明する。画像特徴生成部２は、局所領域特徴抽出部２１、大域領域特徴抽出部２２、局所境界特徴抽出部２３、大域境界特徴抽出部２４からなる特徴抽出部２５と、量子化辞書２６と、量子化部２７とを備える。画像特徴生成部２は、分割画像を入力し、量子化画像特徴を出力する。

次に、図１に示すパラメータ学習部１１の動作を説明する。初めに、小領域分割部１は、入力画像を多数の小領域に分割する。この小領域には単一の物体のみが含まれていることを仮定しており、複数の物体が同じ小領域となることがないように十分に細かく分割する。具体的な画像分割手法としてＦｅｌｚｅｎｓｚｗａｌｂらのＧｒａｐｈ−ｂａｓｅｄ Ｉｍａｇｅ ＳｅｇｍｅｎｔａｔｉｏｎやＬｉｕらのＥｎｔｒｏｐｙ Ｒａｔｅ Ｓｕｐｅｒｐｉｘｅｌを用いることができる。これらの画像分割手法は、公知の手法であるため、ここでは詳細な説明を省略する。

次に、画像特徴生成部２は、画像特徴を生成する。まず、局所領域特徴抽出部２１は、小領域分割画像から局所領域特徴を抽出する。局所領域特徴とは、分割された小領域中からランダムに得られる特徴点から抽出される局所画像特徴ベクトルである。具体的にはＳＩＦＴ特徴量やＳＵＲＦ特徴量といった局所勾配を表現する画像特徴量を用いる。抽出する特徴点は領域面積について一定の割合でランダムに選択する。

次に、大域領域特徴抽出部２２は、小領域分割画像から大域領域特徴を抽出する。大域領域特徴とは、分割された領域全体の画素分布を示す画像特徴であり、具体的には色ヒストグラムや重心座標、テクスチャ特徴などを用いる。

次に、局所境界特徴抽出部２３は、小領域分割画像から局所境界特徴を抽出する。局所境界特徴とは、分割された領域同士の境界線について、線上のランダムな点から抽出される局所画像特徴である。エッジ上の局所画像特徴として、具体的にはＧｅｏｍｅｔｒｉｃＢｌｕｒなどを用いる。抽出する特徴点は境界線長さについて一定の割合でランダムに選択する。

次に、大域境界特徴抽出部２４は、小領域分割画像から大域境界特徴を抽出する。大域境界特徴とは、分割された領域同士の境界線について、２つの領域をつなぐ１本の線全体の勾配分布を示す画像特徴を示す。具体的にはＥＯＨ特徴量のような勾配ヒストグラムを用いることができるが、その他線の長さや傾きといった線全体に関する特徴であれば同様に用いることができる。

局所領域特徴抽出部２１、大域領域特徴抽出部２２、局所境界特徴抽出部２３、大域境界特徴抽出部２４のそれぞれが抽出する画像特徴の関係を図３に示す。図３は、各画像特徴の関係を示す説明図である。

次に、量子化部２７は、抽出された各画像特徴を量子化辞書２６を用いて量子化する。量子化辞書２６は４種それぞれの画像特徴についてクラスタリングを行うことで構築し、生成された各画像特徴のベクトル値が属するクラスタのインデックスを推定に用いる画像特徴の値とする。画像特徴生成部２によって出力される値はこれらの量子化された値である。

次に、モデル推定部４は、画像特徴生成部２から出力する画像特徴を用いて各領域・境界と各画像特徴との確率的な関係性を示すパラメータの学習を行う。図４は、モデル推定時の領域・境界の関係性を示す模式図である。画像から複数の小領域が得られており、隣接する領域間に境界が設定されている。境界属性ラベルは、境界属性ラベル設定部３によって、１つの境界について隣接する双方の領域に対して設定されており、領域同士の前後関係や上下関係を示す。各領域からは１つの大域領域特徴と複数の局所領域特徴が観測され、各境界からは１つの大域境界特徴と複数の局所境界特徴が観測される。

図５は、各要素間の確率的な関係性を示したグラフィカルモデルを示す図である。グラフィカルモデル中の枠は繰り返しを表しており、各画像の中に複数の物体領域があり、各物体領域の中に複数の小領域がある。また各小領域の中に隣接した領域数分の境界属性が設定されている。ここで物体領域とは、正解として与えられた物体境界線に基づいて得られる境界線に囲まれた領域のことを意味する。

各小領域の領域トピックはＴ、各境界の境界属性ラベルがＵと＾Ｕ（＾はＵの上に付く，以下同様））で示されている。＾Ｕは領域トピックと境界属性ラベルによって決定される境界トピックであり、変換パラメータＳによって決められる。観測された境界属性及び画像特徴はグレーの丸で示され、学習のために与えられるパラメータは黒い点で示している。観測された画像特徴はそれぞれ、大域領域特徴がｘ^（ｇ）、局所領域特徴がｘ^（ｌ）、大域境界特徴がｙ^（ｇ）、局所境界特徴がｙ^（ｌ）で表されている。領域・境界のラベルと特徴との確率的な関係性を示すパラメータとしてφ^（ｇ），φ^（ｌ），η^（ｇ），η^（ｌ）があり、それぞれ大域領域特徴と領域トピックの関係、局所領域特徴と領域トピックの関係、大域境界特徴と境界属性ラベルの関係、局所境界特徴と境界属性ラベルの関係を示している。

さらに、物体領域毎の領域トピックの出現頻度を示すベクトルがθで示され、隣接する領域トピックと境界属性ラベルとの関係性がξで示されている。〜θ，〜φ，〜η，〜ξ（〜はそれぞれ文字の上に付く、以下同様）はそれぞれθ，φ，η，ξを生成するディリクレ分布のパラメータを示す。また、枠の右下に書かれたＮ_Ｉ，Ｋ，Ｌはそれぞれ画像の枚数、領域トピック数、境界ラベル数を示し、枠の内部がその数だけ繰り返し存在していることを意味する。

この確率モデルは生成モデルと呼ばれるが、このモデルの生成動作を説明する。まず、パラメータ〜θ，〜φ，〜η，〜ξを持つディリクレ分布によってθ，φ，η，ξを生成する。θは各領域がそれぞれのトピックに属する確率を示しており、確率θに応じて領域トピックＴが生成される。次に、パラメータφ^（ｇ），φ^（ｌ）は各領域トピックに応じて各領域の画像特徴が生成される確率を示しており、それらのパラメータと領域トピックに従って領域の画像特徴ｘ^（ｇ），ｘ^（ｌ）が生成される。

次に、パラメータξは隣接する領域トピックの組み合わせに応じた境界属性ラベルの出現確率であり、それらによって境界属性ラベルＵが生成される。生成された領域トピックＴ及び境界属性ラベルＵと変換パラメータＳによって境界トピック＾Ｕは一意に決定される。最後に、境界トピック＾Ｕに応じた境界特徴の出現確率を示すパラメータη^（ｇ），η^（ｌ）によって境界の画像特徴ｙ^（ｇ），ｙ^（ｌ）が生成されることになる。

このモデルに従って各変数の事後分布を求め、パラメータφ，η，ξを学習する。領域トピック推定部４２は、モデルパラメータφ，η，ξを仮に決めた状態で画像毎の領域トピックを推定し、モデルパラメータ推定部４１は全画像で推定された領域トピックに従ってモデルパラメータを更新する。各変数の事後分布を求める手法として、Ｊｏｈｎ Ｗｉｎｎらの提案するＶａｒｉａｔｉｏｎａｌ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇを用いる。Ｖａｒｉａｔｉｏｎａｌ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇは変分ベイズ法と呼ばれる推論の枠組みにおいてグラフィカルモデルの各ノードについて隣接ノードに期待値を伝搬していくことで各ノードの事後分布を更新していく手法であり、指数型分布族に属する確率分布によって記述される確率モデルに対して汎用的に適用することができる。

Ｖａｒｉａｔｉｏｎａｌ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇに従うとパラメータ学習部１１のモデルにおける各変数の更新式は以下のようになる。まず、領域トピック推定部４２における画像毎に設定された変数の更新式を示す。以下で、領域トピックＴ及び境界属性Ｕ、境界トピック＾ＵはそれぞれＫ，Ｌ，Ｋ×Ｌ次元のベクトルとして表記し、ある領域トピックがｋであるとは、Ｔ_ｋ＝１でそれ以外の要素が０である状態を示す。さらに、Ｔの期待値をｔで表す。

θの更新は以下の式に従う。
ここで、＜・＞は変数の期待値、Ψ（・）はディガンマ関数を示す。ｔ_ｒｋはｒ番目の領域Ｔ_ｒがトピックｋとなる確率を示す。α（ο）はο番目の物体領域に含まれる小領域の集合を示し、Ｒ_οは物体οの領域内の小領域数を示している。

領域トピックの期待値ｔ_ｒは以下の式で更新される。
ここで、β（ｒ）は領域ｒ内の局所領域特徴のインデックス、β（ｂ）は境界ｂ内の局所境界特徴のインデックス、ε^（ｒ）は領域ｒに隣接する領域のインデックスｓと、領域ｒに含まれる境界属性ラベルの中で、領域ｒとｓとの境界のインデックスｂとの組み合わせの集合を示す。ｍｅｓ（ｂ，ｋ）は境界トピック＾Ｕを介した領域トピックへのメッセージを表しているが、境界トピック自体は境界属性ラベルと変換行列Ｓ_ｋによって一意に決められるため、境界属性ラベルと境界特徴から得られるメッセージとなっている。

なお、Ｓ_ｋは以下のような行列である。
ここで、Ο_ＬはＬ×Ｌのゼロ行列、Ι_ＬはＬ×Ｌの単位行列を示す。変換行列Ｓ_ｋはｋ番目のブロックに単位行列が設定された行列である。

変換行列によって境界トピックの期待値＾Ｕ_ｂは、以下のように更新される。

各画像について、十分な回数更新を行った後、モデルパラメータ推定部においてφ^（ｇ），φ^（ｌ），η^（ｇ），η^（ｌ）は各画像特徴と各トピックとの関係から以下の式によって更新される。これらは、同様の式によって更新されるため、φ^（ｇ）の更新式のみ以下に示す。
ここで、δ（ａ，ｂ）はａ＝ｂの時のみ１となるディラックのδ関数を示し、Ｖは画像特徴の取り得る最大値を示す。

最後にξは以下の式で更新される。
ここで、Ｒ_ｄは画像内の領域の数を示す。

与えられた訓練画像集合について十分な回数更新を繰り返し、得られたφ，η，ξの事後分布を境界属性推定部１２において用いるモデルパラメータとして、領域・領域特徴辞書記憶部５１、領域・境界辞書記憶部５２、領域・境界・境界特徴辞書記憶部５３のそれぞれに記憶する。これにより、モデルパラメータ記憶部５には、境界属性推定部１２において用いるモデルパラメータが記憶されたことになる。

次に、図１に示す境界属性推定部１２の動作について説明する。図６は、境界属性推定時に用いるグラフィカルモデルを示す図である。パラメータ学習部１１で用いるモデルとの違いは、入力データとして境界線情報が与えられていないため、領域トピック分布を示すθが画像全体の領域トピック分布を示しており、また境界属性ラベルが確率変数となっていることである。このモデルに従い、パラメータ学習時Ａと同様にして各ノードの事後確率を推定することで、境界属性ラベルの推定を行う。パラメータ学習部１１によって学習されたφ，η，ξの事後分布は、推定モデルにおける事前分布〜φ，〜η，〜ξとして用いる。パラメータ学習部１１と同様にして、領域・境界推定部８１においてＶａｒｉａｔｉｏｎａｌ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇによる各ノードの事後確率の更新を行い、境界属性統合部において同一の境界線を示す境界属性ラベルの整合性を保証する。

以下に各ノードの事後確率を更新する動作を示す。まず、θの更新は以下の式に従う。
学習時の更新式とほぼ同様であるが、画像全体の領域トピック分布について更新する。各領域トピック及び境界トピックの期待値の更新は学習時と同様である。境界属性ラベルに関しては、推定時には新たに変数となっているため分布を推定する必要がある。

領域ｒに含まれる領域ｓとの境界属性ラベルの期待値ｕ_ｂの更新は以下の式に従う。
ここで、ｅ_ｌはｌ番目の要素が１のベクトルを示す。ｍｅｓ（ｂ，ｌ）は境界トピック＾Ｕを介した境界属性へのメッセージを表しているが、境界トピック自体は領域トピックと変換行列Ｓ_ｋによって一意に決められるため、領域トピックと境界特徴から得られるメッセージとなっている。上記の式のようにして領域・境界推定部において推定された境界属性ラベルの分布から、境界属性統合部において境界線を共有する２つのラベルについて整合性を保つ処理を行う。

境界属性ｕ_ｂに関して境界線を共有するもう１つの境界属性ｕ_ｂ’を用いて以下のように足し合わせる。
Ｂは境界属性同士の双対関係を示しており、例えば前後関係を表すラベルであれば片方が手前ラベルである確率と他方が奥ラベルである確率が同一となる。

境界属性ラベルを５種類として｛同一物体、前、後、上、下｝とした場合、行列Ｂは以下のようになる。
この変換によって境界属性ｕ_ｂ’は境界属性ｕ_ｂに対応した属性を持ったラベルを持つ。

その他のパラメータの更新に関しては、領域・境界推定部においてパラメータ学習時と同様の更新を行う。領域・境界推定部における各変数の更新と境界属性統合部８２における処理を十分な回数繰り返し、各境界属性の事後分布を得る。計算された事後分布において最大の確率を持つラベルが推定結果として出力される。

図７は、様々なレイアウトを持つ写真を用いて境界属性推定を行った適用例を示す図である。これは、本手法によるパラメータ学習を境界属性の付与された２５０枚の画像に対して行い、得られたパラメータに基づいて訓練データとは異なる画像に適用した結果を示している。図７において、水色線が‘手前’、青線が‘奥’、赤線が‘上’、黄線が‘下’を示している。人手によって与えられた正解と比較して、おおよそ正しい境界属性が得られていることがわかる。

以上説明したように、物体領域境界推定装置をパラメータ学習部と境界属性推定部から構成するようにした。そして、パラメータ学習部と境界属性推定部のそれぞれに小領域分割部と画像特徴生成部、モデル推定部を設け、小領域分割部において入力画像を細かい領域と境界に分割し、画像特徴生成部で得られた領域・境界に応じた画像特徴を得るようにした。最後にモデル推定部において、パラメータ学習時であればパラメータの推定、境界属性推定時であれば境界属性の推定を行うようにした。推定に用いるモデルは、画像内の各小領域の持つ潜在変数と領域境界の持つラベル、さらに各領域・境界に属する画像特徴との確率的関係性を記述した生成モデルを導入した。この生成モデルに基づき、確率的に最も尤もらしい領域トピックと境界属性の組み合わせを算出することで、領域情報を加味した高精度な境界属性推定を実現することができる。

特に、本実施形態では、予め正解となる境界線情報が付与された画像集合を訓練データとしてその画像特徴などを学習し、学習されたパラメータを用いて入力画像に対する推定を行えるようにした。これを実現するために、１本の境界線に対して２つのラベルを設定することで、前後・上下などの方向性を持つ境界属性を確率モデルによって表現するようにした。また、学習時に方向付き境界属性情報と画像特徴に基づいて、同様の３次元構造を持つ領域をトピックとして抽出するようにした。このように、方向付き境界属性を推定し、また方向付き境界属性に応じたトピック抽出を行うために、１本の境界線に対して２つの境界属性ノードを持つ確率モデルを持つことになる。またモデルパラメータとして領域・境界・境界特徴辞書を持ち、推定処理において境界属性統合部を備えた。

これにより、画像から物体の境界線を抽出して、境界線を挟んだ前後関係や上下関係といった方向を持った境界線の３次元的な性質を推定する際に、訓練データの境界線情報から領域の３次元構造に関するトピックを抽出し、領域トピックと境界ラベルの同時推定によって精度よく境界検出及び分類を行うことができる。

なお、図１におけるパラメータ学習部１１と境界属性推定部１２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより物体領域境界推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

画像から物体の境界線を抽出して、境界線を挟んだ前後関係や上下関係といった方向を持った境界線の３次元的な性質を推定する技術において、訓練データの境界線情報から領域の３次元構造に関するトピックを抽出し、領域トピックと境界ラベルの同時推定によって精度よく境界検出及び分類を行うことが不可欠な用途に適用できる。

１１・・・パラメータ学習部、１・・・小領域分割部、２・・・画像特徴生成部、３・・・境界属性ラベル設定部、４・・・モデル推定部、４１・・・モデルパラメータ推定部、４２・・・領域トピック推定部、４３・・・学習時３次元構成トピックモデル記憶部、５・・・モデルパラメータ記憶部、５１・・・領域・領域特徴辞書記憶部、５２・・・領域・境界辞書記憶部、５３・・・領域・境界・境界特徴辞書記憶部、１２・・・境界属性推定部、６・・・小領域分割部、７・・・画像特徴生成部、８・・・モデル推定部、８１・・・領域・境界推定部、８２・・・境界属性統合部、８３・・・推定時３次元構成トピックモデル記憶部

Claims (5)

1. 入力画像を小領域に分割する小領域分割手段と、
   前記入力画像に応じた方向付き境界属性を入力し、前記入力画像の領域境界について隣接する双方の領域に対して、該方向付き境界属性を設定する境界属性設定手段と、
   前記小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力手段と、
   前記量子化特徴量と、前記領域境界について隣接する双方の領域に対して設定した前記方向付き境界属性とを入力し、方向付き境界属性モデルの学習を行った結果得られたモデルパラメータを出力するモデル推定手段と
   を備えることを特徴とする物体領域境界推定装置。
2. 方向付き境界属性モデルのモデルパラメータを入力するパラメータ入力手段と、
   入力画像を小領域に分割する小領域分割手段と、
   前記小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力手段と、
   入力したパラメータと、前記量子化特徴量を入力し、前記方向付き境界属性モデルの更新を行い、更新された前記方向付き境界属性モデルに基づいて、領域境界のそれぞれに対して、方向付きの境界属性を付与して出力する境界属性推定手段と
   を備えることを特徴とする物体領域境界推定装置。
3. 入力画像を小領域に分割する小領域分割ステップと、
   前記入力画像に応じた方向付き境界属性を入力し、前記入力画像の領域境界について隣接する双方の領域に対して、該方向付き境界属性を設定する境界属性設定ステップと、
   前記小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力ステップと、
   前記量子化特徴量と、前記領域境界について隣接する双方の領域に対して設定した前記方向付き境界属性とを入力し、方向付き境界属性モデルの学習を行った結果得られたモデルパラメータを出力するモデル推定ステップと
   を有することを特徴とする物体領域境界推定方法。
4. 方向付き境界属性モデルのモデルパラメータを入力するパラメータ入力ステップと、
   入力画像を小領域に分割する小領域分割ステップと、
   前記小領域毎に、局所領域特徴、大域領域特徴、局所境界特徴及び大域境界特徴を抽出し、それぞれの特徴を量子化した量子化特徴量を出力する画像特徴出力ステップと、
   入力したパラメータと、前記量子化特徴量を入力し、前記方向付き境界属性モデルの更新を行い、更新された前記方向付き境界属性モデルに基づいて、領域境界のそれぞれに対して、方向付きの境界属性を付与して出力する境界属性推定ステップと
   を有することを特徴とする物体領域境界推定方法。
5. コンピュータを、請求項１または２に記載の物体領域境界推定装置と機能させるための物体領域境界推定プログラム。