JP2017027227A - ラベル推定関数学習装置、方法、ラベル推定装置、方法及びプログラム - Google Patents

Abstract

【課題】ラベルの推定精度を向上させることができるラベル推定関数を学習する。【解決手段】ベル情報学習部２００は、学習データ記憶部２０から学習データを読み出し、ラベル間共起性特徴及びラベル別位置存在確率を含むラベル情報を学習して、ラベル情報記憶部２０３に記憶する。画像特徴抽出部１０１は、学習データ記憶部２０から学習データの内の画像データを読み出し、読み出した画像データに基づいて、学習画像の画像特徴を抽出するための画像特徴抽出フィルタ１０２を用いて、学習画像の画像特徴を抽出する。ラベル推定関数学習部１０３は、画像特徴抽出部１０１により抽出された学習画像の画像特徴と、ラベル情報記憶部２０３から読み出したラベル情報とに基づいて、ラベルを推定するためのラベル推定関数を学習する。【選択図】図１

Description

本発明は、ラベルを推定するためのラベル推定関数を学習するラベル推定関数学習装置、方法、及びプログラムに関する。

複数の要素の組み合わせから成る被写体の画像から、その中に含まれている要素を推定する方法及び装置が提案されている。ここで、要素は、画像の中の分割可能な領域である。被写体とは、単一または複数の要素を含む、物体やシーンのことである。

要素を推定する従来の方法及び装置では、複数の要素の組み合わせから成る被写体の画像から、その中に含まれている要素を詳細に分類する試みが多く行われている。特に近年、洋服、服飾雑貨、料理等を被写体とする商品画像やＳＮＳに投稿された画像について、各画像がどのようなカテゴリの画像であるかということだけではなく、画像の中にどのような要素を含んでいるかを自動で認識することが様々に試みられている。

非特許文献１では、画像の局所特徴やカラー特徴を用いて、人物の上半身の服装について、ジャケット、ドレス、スーツ等の要素を推定する技術を提案している。

非特許文献２では、髪、顔、トップス、スカートなどの要素ごとに画像を分解することで画像の分割の精度を高めている。

L. Bossard, M. Dantone, C. Leistner, C. Wengert, T. Quack and L. V. Gool, 「Apparel Classification with Style」 ACCV, pp. 1-14 (2012) J. Dong, Q. Chen, W. Xia, Z. Huang and S. Yan, 「A Deformable Mixture Parsing Model with Parselets」 ICCV (2013).

しかし、従来の技術では、画像の中にどのような要素を含んでいるかを精度よく推定することができない。非特許文献１では、上半身の服装について要素を推定するので、上下の服装の組み合わせを考慮して要素を推定していない。また、非特許文献２では、要素の名称であるラベルの整合性は考慮されていない。そのため、上着がスーツのジャケットに似ていると、ボトムスの種類によらずスーツと推定する。また、被写体の人物がスカートと組み合わせトップスを着ている場合でも、スカートとは本来組み合わされないドレスという推定がされるような場合がある。

このように、要素に対して、他の要素との関係で通常考えにくいラベル付けがされている。

本発明は、上記の課題に鑑みてなされたもので、ラベルの推定精度を向上させることができるラベル推定関数を得ることができるラベル推定関数学習装置、方法、及びプログラム、及び、ラベルの推定精度を向上させたラベル推定装置、方法、及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係るラベル推定関数学習装置は、複数の要素を備えた被写体の学習画像の複数の画像データと前記複数の画像データの各々に対応付けられた各要素の名称であるラベルのデータとを含む複数の学習データを記憶する学習データ記憶部と、前記複数の学習データに基づいて、前記複数の学習画像に存在する要素のラベルのラベル別位置存在確率を計算するラベル別位置存在確率学習部と、前記複数の学習データに基づいて、ラベルに対応する要素と他のラベルに対応する要素とが前記学習画像に同時に存在する度合いを表すラベル間共起性特徴を計算するラベル間共起性特徴学習部と、前記複数の画像データに基づいて、前記複数の学習画像の各々の複数の画像特徴を抽出する画像特徴抽出部と、前記複数の学習データ、前記抽出された前記複数の学習画像の各々の複数の画像特徴、前記計算されたラベル別位置存在確率、及び前記計算されたラベル間共起性特徴に基づくラベル間共起性確率に基づいて、前記複数の画像特徴に対応する複数の要素の存在確率を推定するラベル推定関数を学習するラベル推定関数学習部を備えている。

学習データ記憶部は、複数の要素を備えた被写体の学習画像の複数の画像データと前記複数の画像データの各々に対応付けられた各要素の名称であるラベルのデータとを含む複数の学習データを記憶する。

ラベル別位置存在確率学習部は、前記複数の学習データに基づいて、前記複数の学習画像に存在する要素のラベルのラベル別位置存在確率を計算する。ラベル間共起性特徴学習部は、前記複数の学習データに基づいて、ラベルに対応する要素と他のラベルに対応する要素とが前記学習画像に同時に存在する度合いを表すラベル間共起性特徴を計算する。画像特徴抽出部は、前記複数の画像データに基づいて、前記複数の学習画像の各々の複数の画像特徴を抽出する。

ラベル推定関数学習部は、前記複数の学習データ、前記抽出された前記複数の学習画像の各々の複数の画像特徴、前記計算されたラベル別位置存在確率、及び前記計算されたラベル間共起性特徴に基づくラベル間共起性確率に基づいて、前記複数の画像特徴に対応する複数の要素の存在確率を推定するラベル推定関数を学習する。

このように、ラベル別位置存在確率の他にラベル間共起性特徴に基づくラベル間共起性確率に基づいて、複数の画像特徴に対応する複数の要素の存在確率を推定するラベル推定関数を学習するので、ラベルの推定精度を向上させることができるラベル推定関数を得ることができる。

上記の目的を達成するために本発明に係るラベル推定装置は、複数の要素を備えた被写体のクエリ画像の画像データを入力するクエリ画像入力部と、前記画像データに基づいて、前記クエリ画像の画像特徴を抽出する画像特徴抽出部と、前記抽出された画像特徴と、上記ラベル推定関数学習装置により学習されたラベル推定関数とに基づいて、前記クエリ画像の複数の要素の各々のラベルを推定するラベル推定部を備えている。

クエリ画像入力部は、複数の要素を備えた被写体のクエリ画像の画像データを入力する。画像特徴抽出部は、前記画像データに基づいて、前記クエリ画像の画像特徴を抽出する。ラベル推定部は、前記抽出された画像特徴と、上記ラベル推定関数学習装置により学習されたラベル推定関数とに基づいて、前記クエリ画像の複数の要素の各々のラベルを推定する。

このように、ラベルの推定精度を向上させることができるラベル推定関数を用いて、クエリ画像の複数の要素の各々のラベルを推定するので、ラベルの推定精度を向上させることができる。

本発明に係るプログラムは、コンピュータを、上記のラベル推定関数学習装置又はラベル推定装置の各部として機能させるためのプログラムである。

以上説明したように、本発明のラベル推定関数学習装置、方法、及びプログラムによれば、ラベルの推定精度を向上させることができるラベル推定関数を得ることができる、という効果が得られる。

以上説明したように、本発明のラベル装置、方法、及びプログラムによれば、ラベルの推定精度を向上させることができる、という効果が得られる。

本実施の形態のラベル推定関数学習装置１０のブロック図である。 ラベル推定関数学習装置１０を構成するラベル情報学習部２００のブロック図である。 ラベル推定装置３０のブロック図である。 ラベル推定関数学習装置１０が実行するラベル推定関数学習プログラムを示すフローチャートである。 複数のファッションアイテムを含む人物を被写体とした画像を示す図である。 （Ａ）は、想定しているドメインの１つの画像に出現する可能性のある複数の要素のラベルを縦及び横に並べてマトリクス状に相関係数ｃ_i,jを配置して得られたデータテーブルを示す図であり、（Ｂ）は、図６（Ａ）に示したデータテーブルにおける相関係数ｃ_i,jを、１の場合には白、−１の場合には黒、１に近くなるに従って白に近く、−１に近くなるに従って黒に近くなるように、グレースケールで表現した図である。 （Ａ）は、要素の平均画像を、画素位置を無視して所定の順番に並べた図であり、（Ｂ）は、要素の平均画像を囲む矩形（バウンディングボックス）を画素位置に対応して配置した図である。 ラベル推定装置３０が実行するラベル推定プログラムを示すフローチャートである。 画像特徴抽出フィルタ１０２としてＣＮＮのフィルタを用いる場合のラベル推定器学習部１００のブロック図である。

以下、図面を参照して、本実施の形態のラベル推定関数学習装置１０及びラベル推定装置３０の構成を説明する。

図１は、本実施の形態のラベル推定関数学習装置１０のブロック図である。図１に示すように、本実施の形態のラベル推定関数学習装置１０は、複数の学習データを記憶する学習データ記憶部２０を備えている。

ここで、複数の学習データの各々は、所定のドメイン、即ち、例えば、複数の要素としての複数のファッションアイテムを含む人物を撮影して得られた学習画像の画像データを含む。また、複数の学習データの各々は、当該画像データに対応付けられると共に、上記複数の要素の各々の名称である複数のラベル、例えば、サングラス、ドレス、シューズ、バッグ、ネックレス等のデータを含む。

ラベル推定関数学習装置１０は、学習データ記憶部２０から学習データを読み出し、後述するラベル間共起性特徴及びラベル別位置存在確率を含むラベル情報を学習するラベル情報学習部２００を備えている。ラベル推定関数学習装置１０は、ラベル情報学習部２００により学習されたラベル情報を記憶するラベル情報記憶部２０３を備えている。

また、ラベル推定関数学習装置１０は、ラベルを推定するラベル推定関数を学習するラベル推定器学習部１００を備えている。ラベル推定器学習部１００は、画像特徴抽出部１０１を備えている。画像特徴抽出部１０１は、学習データ記憶部２０から複数の学習データの内の各画像データを読み出し、各学習画像の画像特徴を抽出するための画像特徴抽出フィルタ１０２を用いて、読み出した各画像データについて各学習画像の画像特徴を抽出する。ラベル推定器学習部１００は、画像特徴抽出部１０１により抽出された各学習画像の画像特徴と、ラベル情報記憶部２０３から読み出したラベル情報とに基づいて、ラベルを推定するためのラベル推定関数を学習するラベル推定関数学習部１０３を備えている。

更に、ラベル推定関数学習装置１０は、ラベル推定器学習部１００により学習されたラベル推定関数を記憶するラベル推定関数記憶部１０４を備えている。

図２は、ラベル推定関数学習装置１０を構成するラベル情報学習部２００のブロック図である。図２に示すように、ラベル情報学習部２００は、学習データ記憶部２０から複数の学習データを読み出し、読み出した複数の学習データに基づいてラベル間共起性特徴を学習するラベル間共起性特徴学習部２０１を備えている。また、ラベル情報学習部２００は、学習データ記憶部２０から学習データを読み出し、読み出した複数の学習データに基づいてラベル別位置存在確率を学習するラベル別位置存在確率学習部２０２を備えている。

図２に示すように、ラベル情報記憶部２０３は、ラベル間共起性特徴学習部２０１により得られたラベル間共起性特徴を記憶するラベル間共起性特徴記憶領域２０５を備えている。また、ラベル情報記憶部２０３は、ラベル別位置存在確率学習部２０２により得られたラベル別位置存在確率を記憶するラベル別位置存在確率記憶領域２０６を備えている。

図３は、ラベル推定装置３０のブロック図である。図３に示すように、ラベル推定装置３０は、クエリ画像を入力するクエリ画像入力部３５と、入力されたクエリ画像の中の被写体の要素のラベルを推定するラベル推定装置３００とを備えている。

図３に示すように、ラベル推定装置３００は、図１に示す画像特徴抽出部１０１と同様の構成の画像特徴抽出部１０１を備えている。ラベル推定装置３００は、画像特徴抽出部１０１により抽出された画像特徴と、図１に示すラベル推定関数学習装置１０により得られたラベル推定関数とに基づいて、クエリ画像の中の被写体の要素のラベルを推定するラベル推定部３０１を備えている。

ラベル推定関数学習装置１０は、図示しないＣＰＵ、ＲＯＭ、メモリ、ディスプレイ、及び後述するラベル推定関数学習プログラムを記憶する記憶装置などを含んで構成されている。ＣＰＵが記憶装置に記憶されたラベル推定関数学習プログラムを実行することで、ＣＰＵは、上記各部（２００（２０１、２０２）、１００（１０１、１０３））として機能する。ラベル推定装置３００は、図示しないＣＰＵ、ＲＯＭ、メモリ、ディスプレイ、及び後述するラベル推定プログラムを記憶する記憶装置などを含んで構成されている。ＣＰＵが記憶装置に記憶されたラベル推定プログラムを実行することで、ＣＰＵは、上記各部（３００（１０１、３０１））として機能する。

次に、本実施の形態の作用を説明する。
図４は、ラベル推定関数学習装置１０が実行するラベル推定関数学習プログラムを示すフローチャートである。

図４に示すように、ステップ２０１Ｓで、ラベル間共起性特徴学習部２０１（図２参照）は、２つのラベルの要素の組み合わせ毎に、当該組み合わせの一方の要素が画像の中に出現する確率と他方の要素が画像の中に出現する確率との相関係数を、当該組み合わせの各要素が画像に同時に存在する度合いを表すラベル間共起性特徴として学習して、ラベル間共起性特徴をラベル間共起性特徴記憶領域２０５におけるデータテーブルに記憶する。なお、相関係数としては、例えば、ピアソン相関係数がある。ラベル間共起性特徴は、後述する式４におけるｃ_i,jに相当する。

図５は、複数のファッションアイテムを含む人物を被写体とした画像を示す図である。図６（Ａ）は、想定しているドメインの１つの画像に出現する可能性のある複数の要素のラベルを縦及び横に並べてマトリクス状に相関係数ｃ_i,jを配置して得られたデータテーブルを示す図である。図６（Ｂ）は、図６（Ａ）に示したデータテーブルにおける相関係数ｃ_i,jを、１の場合には白、−１の場合には黒、１に近くなるに従って白に近く、−１に近くなるに従って黒に近くなるように、グレースケールで表現した図である。

ラベル間共起性特徴の学習処理（ステップ２０１Ｓ）を更に説明する。ラベル間共起性特徴学習部２０１（図２参照）は、学習データ記憶部２０から複数の学習データを読み出し、読み出した複数の学習データに基づいてラベル間共起性特徴を学習する。具体的には、ラベル間共起性特徴学習部２０１は、複数の学習データに基づいて、想定しているドメインの画像に出現する可能性のある複数の要素の各ラベルの出現確率を計算する。ラベル間共起性特徴学習部２０１は、各ラベルと、他の全てのラベルの各々との出現確率のピアソン相関係数を、ラベル間共起性特徴として計算する。ラベル間共起性特徴記憶領域２０５には、図６（Ａ）に示すように、想定しているドメインの画像に出現する可能性のある複数の要素のラベルを縦及び横に並べてマトリクス状に配置したデータテーブルが設けられている。ラベル間共起性特徴学習部２０１は、ラベル間共起性特徴（ｃ_i,jの値）を、データテーブルの対応する位置に記憶して、データテーブルを完成する。なお、想定しているドメインは、例えば、図５に示すように、複数の要素としての複数のファッションアイテムを含む人物などである。ラベル間共起性特徴（ｃ_i,jの値）は、２つのラベルの間に完全な正の相関がある場合の１から負の相関の−１の間の値をとる。図５に示すように複数のファッションアイテムを含む人物を被写体とした画像においては、シャツ、トップス、ドレスといったラベルは、いずれも上半身の領域をカバーしてつけられるラベルであるため、同一の被写体の画像につけられることはほとんどない。同様に、ドレス、パンツ、スカート、ショートパンツなども同一の被写体の画像につけられることはほとんどない。こうした場合に、これらのラベル間の相関係数は−１に近い値となる。例えば、図６（Ａ）に示す縦の列の上から３番目の「shirt」のラベルと、横の行の左から４番目の「top」のラベルとのラベル間共起性特徴は、−０．２５となっている。

図４のステップ２０２Ｓで、ラベル別位置存在確率学習部２０２はラベル別位置存在確率を学習する。具体的には、ラベル別位置存在確率学習部２０２は、学習データ記憶部２０から、同じラベルが対応付けられている複数の学習画像の画像データを読み出す。ラベル別位置存在確率学習部２０２は、複数の学習画像の全てについて画素毎に、要素に該当することを示す画素データの個数をカウントする。各画素のカウント値を、全ての学習画像の個数で割る。以上を全てのラベルについて同様に行う。これにより、ラベル別のラベルに対応する要素の画素位置の存在確率がラベル別位置存在確率として計算される。

ラベル別位置存在確率学習部２０２は、ラベル別位置存在確率に基づいて、ラベル別の要素の平均画像を作成する。例えば、ある画素位置でのシャツの要素の個数が９０個で、全ての学習画像の個数が１００個とすると、当該画素位置でのラベル別位置存在確率は、０．９となる。また、別のある画素位置でのシャツの要素の個数が１０個の場合には、当該別の画素位置でのラベル別位置存在確率は、０．１となる。ラベル別位置存在確率が１の場合に白、０の場合に黒、１に近くなるに従って白に近く、０に近くなるに従って黒に近くなるように、各要素の平均画像を作成する。図７（Ａ）は、要素の平均画像を、画素位置を無視して所定の順番に並べた図である。図７（Ａ）に示すように、各要素の平均画像は、各要素の形状をぼかした画像となる。

図７（Ｂ）は、要素の平均画像を囲む矩形（バウンディングボックス）を画素位置に対応して配置した図である。ラベル別位置存在確率学習部２０２は、上記平均画像を囲む矩形（バウンディングボックス）を作成し、各要素のバウンディングボックスを画素位置に対応して配置する。図７（Ｂ）に示すように、各要素のバウンディングボックスが、当該要素の位置に応じた位置に配置される。例えば、画像に人物の全身が収まるように撮影されているファッション系ＳＮＳのファッション画像を複数の学習画像とする場合、帽子、靴、上半身の服装、下半身の服装など、要素ごとに画像内で偏った位置に配置される。

なお、図４のステップ２０１Ｓとステップ２０２Ｓの処理の順番は、この順番に限らず、ステップ２０２Ｓの処理の後にステップ２０１Ｓの処理を実行したり、両者を同時に実行したりしてもよい。

図４のステップ１０１Ｓで、画像特徴抽出部１０１は、画像特徴を抽出する。具体的には、画像特徴抽出部１０１は、学習データ記憶部２０から各学習データの内の各画像データを読み出す。画像特徴抽出部１０１は、各学習画像の画像特徴を抽出するための画像特徴抽出フィルタ１０２を用いて、読み出した各画像データに基づいて、各学習画像の複数の画像特徴を抽出する。各画像特徴ｘを変数ｉ（ｉ＝１、２、・・・）で識別する。画像特徴群を、Ｘ＝{ｘ_i}とする。なお、後述するｊ（ｊ＝１、２、・・・）も画像特徴ｘを識別する変数である。

画像特徴抽出フィルタ１０２は、次の画像特徴を抽出する。色特徴、例えば、ＲＧＢ、Ｌａｂ、ＨＳＶ等のカラーヒストグラムである。また、局所特徴、例えば、エッジや輝度勾配を反映するような特徴量、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等である。また、ＣＮＮ（Convolutional Neural Network）のフィルタを用いることができる。図９には、画像特徴抽出フィルタ１０２としてＣＮＮのフィルタを用いる場合のラベル推定器学習部１００のブロック図が示されている。図９に示すように、ラベル推定器学習部１００には、複数のラベルに対応する複数の要素を表す複数の画像から、複数のラベルに対応する複数の画像特徴を抽出するためのＣＮＮのフィルタを学習する画像特徴学習部１０５が設けられる。画像特徴抽出部１０１は、画像特徴抽出フィルタ１０２を用いて、学習画像から複数の画像特徴を抽出する。

図４のステップ１０３Ｓで、ラベル推定関数学習部１０３は、画像特徴抽出部１０１により抽出された学習画像の画像特徴と、ラベル情報記憶部２０３から読み出したラベル情報とに基づいて、ラベルを推定するラベル推定関数を学習する。ラベル推定関数学習部１０３は、ラベル推定関数をラベル推定関数記憶部１０４に記憶する。以下、詳細に説明する。

画像特徴群Ｘ＝{ｘ_i}の画像特徴ｘ_iに対応するラベルｙ_iのラベル群ＹをＹ＝{ｙ_i}とする。なお、ｙ_iは、ｙ_i＝{０，１}とする。ラベルｙ_i が画像特徴ｘ_iに対応する場合には、ｙ_i＝１、ラベルｙ_i が画像特徴ｘ_iに対応しない場合には、ｙ_i＝０である。なお、画像特徴ｘ_jに対応するラベルをｙ_jとする。

ラベル推定関数学習部１０３は、画像特徴群Ｘからラベル群Ｙの発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））を推定するラベル推定関数（式１）を学習する。例えば、ラベル推定関数（式１）は、画像特徴群Ｘ＝（ｘ_１、ｘ_２、ｘ_５、ｘ_６）からラベル群Ｙ＝（ｙ_１、ｙ_２、ｙ_５、ｙ_６）の発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））を推定する関数である。ラベル推定関数（式（１））を学習する１つの方法として、Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ(ＣＲＦ)を用いた確率表現の方法を用いることができる。式（１）は、最大周辺化事後確率推定（ＭＡＰ推定）により、ラベル群Ｙの発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））が求められることを表す。ラベル群Ｙの発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））は、画像特徴ｘ_iに依存する要素のラベルｙ_iのラベル別位置存在確率φ（ｘ_i，ｙ_i）と、２つのラベルｙ_i、ｙ_jが１つの画像に共に出現する確率（ラベル間共起性確率）ψ（ｙ_i、ｙ_j）とに基づいて求められる。

（数１）
Ｉｎ（Ｐ（Ｙ｜Ｘ））＝Σw_iφ（ｘ_i，ｙ_i）＋Σw_i,j∈Ｖψ（ｙ_i，ｙ_j）−ＩｎＺ （１）
Ｘ＝{ｘ_i}
ｙ_i＝{０，１}

ここで、ｉは１つの要素を示し、Ｖは、要素の集合を示し、w_i、w_i,jは、モデルパラメータであり、ＩｎＺは、正規化項である。

式（１）におけるラベル別位置存在確率φ（ｘ_i，ｙ_i）は、次式（２）に示すように、画像特徴群Ｘ＝{ｘ_i}からｙ_i＝{０，１}を求める関数で表され、式３に示すように、ロジスティック回帰により、ａ、ｂを係数とするｘの多項式を入力とするシグモイド関数σの出力を用いて計算される。

（数２）
φ（ｘ_i，ｙ_i）＝Ｉｎｐ（ｙ_i｜ｘ_i） （２）

（数３）
ｐ（ｙ_i＝１｜ｘ_i）＝σ（ａ_i ^Tｘ_i＋ｂ_i） （３）

また、ψ（ｙ_i，ｙ_j）は次の通りである。

（数４）
ψ（ｙ_i，ｙ_j）＝Ｉｎ（１/２）（１＋ｃ_i,j） if ｙ_i=ｙ_j
ψ（ｙ_i，ｙ_j）＝Ｉｎ（１/２）（１−ｃ_i,j） otherwise （４）

式１のφ（ｘ_i，ｙ_i）とψ（ｙ_i，ｙ_j）とを統合すると次式（５）が得られる。

（数５）
Ｉｎ（Ｐ（Ｙ｜Ｘ））＝w^TΨ（Ｘ、Ｙ）−ＩｎＺ （５）

ここで、画像特徴抽出部１０１が、学習データ記憶部２０から読み出したｋ個の学習データから画像特徴群Ｘ_ｋを抽出したとする。

ラベル推定関数学習部１０３は、ｋ個の学習データから、各画像特徴群Ｘ_ｋに対する正しいラベル群Ｙ_ｋに対する確率を求める。

ラベル推定関数学習部１０３は、式（５）において、画像特徴群Ｘ_ｋに対する正しいラベル群Ｙ_ｋの確率がそれ以外のラベル群に対する確率よりも大きくなるようにモデルパラメータｗ（w_i、w_i,j）を、Ｓｔｒｕｃｔｕｒａｌ ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などを用いて学習する。本実施形態では、当該学習の際には次のデータを用いる。即ち、上記のように求めた画像特徴群Ｘ_ｋに対応する正しいラベル群Ｙ_ｋに対する確率（式（５）の左辺）を用いる。また、ラベル間共起性確率ψ（ｙ_i，ｙ_j）として、ラベル間共起性特徴記憶領域２０５から読み出したラベル間共起性特徴（ｃ_i,j）に基づいて数（４）より求めた値を用いる。更に、ラベル別位置存在確率記憶領域２０６から読み出したラベル別位置存在確率を、φ（ｘ_i，ｙ_i）として用いる。

ラベル推定関数学習部１０３は、以上の学習に基づいて生成された式（１）〜式（４）で示される推定モデルをラベル推定関数として、ラベル推定関数記憶部１０４に記憶する。

図８は、ラベル推定装置３０が実行するラベル推定プログラムを示すフローチャートである。
ステップ３５Ｓで、クエリ画像入力部３５は、クエリ画像を入力する。ステップ１０１Ｓで、画像特徴抽出部１０１は、対象をクエリ画像とすること以外は、図４のステップ１０１Ｓと同様に画像特徴を抽出する。

ステップ３０１Ｓで、ラベル推定部３０１は、ステップ１０１Ｓで得られたクエリ画像の画像特徴と、ラベル推定関数学習装置１０により得られたラベル推定関数とに基づいて、クエリ画像の中の被写体の要素のラベルを推定する。具体的には、ラベル推定部３０１は、クエリ画像の画像特徴とラベル推定関数学習装置１０により得られたラベル推定関数とに基づいて、式（６）に示すように、最も高い確率のラベル群Ｙ^*を、ディスプレイに表示する。

（数６）
Ｙ^*∈ａｒｇ_YｍａxＰ（Ｙ｜Ｘ） （６）

以上説明したように本実施の形態のラベル推定関数学習装置１０は、ラベル群Ｙの発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））を求めるラベル推定関数を求める。ラベル推定関数は、複数の学習画像から抽出した画像特徴ｘ_iに依存する要素のラベルｙ_iのラベル別位置存在確率φ（ｘ_i，ｙ_i）と、２つのラベルｙ_i、ｙ_jが１つの画像に共に出現する確率（ラベル間共起性確率）ψ（ｙ_i、ｙ_j）とを用いて求めている。よって、画像特徴のみによる場合と比較してラベルの推定精度を向上させたラベル推定関数を求めることができる。

また、ラベル推定装置３０は、ラベル推定関数学習装置１０により求められたラベル推定関数を用いてクエリ画像の要素のラベルを推定する。よって、画像特徴のみによる場合と比較してラベルの推定精度を向上させることができる。

上記のように本実施形態では、ラベル推定関数を求める。よって、複数の学習画像から抽出された画像特徴以外の画像特徴がクエリ画像から抽出されても、ラベル推定関数を用いてクエリ画像の要素のラベルを推定することができる。

［変形例］

ラベル別位置存在確率学習部２０２により生成された、ラベル別位置存在確率のバウンディングボックスは、ラベル毎の特徴量領域の絞り込みによる画像特徴の学習の効率的化およびラベル推定関数への組み込みによる高精度化に利用できる。例えば、バウンディングボックス内の画像領域をＣＮＮの入力とし、その中間層の出力を特徴量して、特徴抽出の精度を高めることができる。

また、要素どうしの空間的な配置関係を含めたラベル別位置存在確率を学習し、空間的な情報をもつ共起性特徴としてラベル推定関数に反映させることもできる。例えば、画像特徴ｘ_iに位置座標を含めたり、ｃ_i,jをｉとｊの位置座標の関数としたり、ψ（ｙ_i，ｙ_j）の定義においてｉとｊの位置関係を含めた条件分岐を行う、などの方法がある。

前述した実施の形態によれば、想定しているドメインは、例えば、図５のように、複数の要素としての複数のファッションアイテムを含む人物であるが、これに限定されない。例えば、他の画像を対象として、料理の素材の推定に適用することができる。具体的には、ラベル間共起性特徴学習部では、例えば、皿の種類や素材の種類のラベルつき学習画像を学習する。これにより、スイーツと野菜は共起性が低い、揚げ物と野菜は共起性が高いといった一緒に用いられやすい素材の相互関係が学習される。また、皿が中央付近にあり、料理素材が更にその中央付近にあるなど、ラベル別位置存在確率も意味のあるデータになりやすいため、これをラベル推定関数に反映させラベル推定を行うことで、より高精度な素材ラベル認識が可能になる。

なお、ラベル推定関数学習装置１０及びラベル推定装置３０のラベル推定関数学習プログラム及びラベル推定プログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたラベル推定関数学習プログラム及びラベル推定プログラムをコンピュータシステムに読み込ませ、実行することにより、ラベル推定関数学習装置１０及びラベル推定装置３０に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０ ラベル推定関数学習装置
２０ 学習データ記憶部
３０ ラベル推定装置
３５ クエリ画像入力部
１００ ラベル推定器学習部
１０１ 画像特徴抽出部
１０２ 画像特徴抽出フィルタ
１０３ ラベル推定関数学習部
１０４ ラベル推定関数記憶部
１０５ 画像特徴学習部
２００ ラベル情報学習部
２０１ ラベル間共起性特徴学習部
２０２ ラベル別位置存在確率学習部
２０３ ラベル情報記憶部
２０５ ラベル間共起性特徴記憶領域
２０６ ラベル別位置存在確率記憶領域
３００ ラベル推定器
３０１ ラベル推定部

Claims (7)

1. 複数の要素を備えた被写体の学習画像の複数の画像データと前記複数の画像データの各々に対応付けられた各要素の名称であるラベルのデータとを含む複数の学習データを記憶する学習データ記憶部と、
   前記複数の学習データに基づいて、前記複数の学習画像に存在する要素のラベルのラベル別位置存在確率を計算するラベル別位置存在確率学習部と、
   前記複数の学習データに基づいて、ラベルに対応する要素と他のラベルに対応する要素とが前記学習画像に同時に存在する度合いを表すラベル間共起性特徴を計算するラベル間共起性特徴学習部と、
   前記複数の画像データに基づいて、前記複数の学習画像の各々の複数の画像特徴を抽出する画像特徴抽出部と、
   前記複数の学習データ、前記抽出された前記複数の学習画像の各々の複数の画像特徴、前記計算されたラベル別位置存在確率、及び前記計算されたラベル間共起性特徴に基づくラベル間共起性確率に基づいて、前記複数の画像特徴に対応する複数の要素の存在を推定するラベル推定関数を学習するラベル推定関数学習部と、
   を備えたラベル推定関数学習装置。
2. 前記ラベル推定関数は、前記ラベル別位置存在確率に対する第１のパラメータと、前記ラベル間共起性確率に対する第２のパラメータとを含み、
   前記ラベル推定関数学習部は、前記第１のパラメータ及び前記第２のパラメータを学習する
   請求項１記載のラベル推定関数学習装置。
3. 複数の要素を備えた被写体のクエリ画像の画像データを入力するクエリ画像入力部と、
   前記画像データに基づいて、前記クエリ画像の画像特徴を抽出する画像特徴抽出部と、
   前記抽出された画像特徴と、請求項１又は請求項２に記載のラベル推定関数学習装置により学習されたラベル推定関数とに基づいて、前記クエリ画像の複数の要素の各々のラベルを推定するラベル推定部と、
   を備えたラベル推定装置。
4. 複数の要素を備えた被写体の学習画像の複数の画像データと前記複数の画像データの各々に対応付けられた各要素の名称であるラベルのデータとを含む複数の学習データを記憶する学習データ記憶部の前記複数の学習データに基づいて、前記複数の学習画像に存在する要素のラベルのラベル別位置存在確率を計算し、
   前記複数の学習データに基づいて、ラベルに対応する要素と他のラベルに対応する要素とが前記学習画像に同時に存在する度合いを表すラベル間共起性特徴を計算し、
   前記複数の画像データに基づいて、前記複数の学習画像の各々の複数の画像特徴を抽出し、
   前記複数の学習データ、前記抽出された前記複数の学習画像の各々の複数の画像特徴、前記計算されたラベル別位置存在確率、及び前記計算されたラベル間共起性特徴に基づくラベル間共起性確率に基づいて、前記複数の画像特徴に対応する複数の要素の存在を推定するラベル推定関数を学習する
   ことを含むラベル推定関数学習方法。
5. 前記ラベル推定関数は、前記ラベル別位置存在確率に対する第１のパラメータと、前記ラベル間共起性確率に対する第２のパラメータとを含み、
   前記ラベル推定関数を学習する際は、前記第１のパラメータ及び前記第２のパラメータを学習する
   請求項４に記載のラベル推定関数学習方法。
6. 複数の要素を備えた被写体のクエリ画像の画像データを入力し、
   前記画像データに基づいて、前記クエリ画像の画像特徴を抽出し、
   前記抽出された画像特徴と、請求項４又は請求項５に記載のラベル推定関数学習方法により学習されたラベル推定関数とに基づいて、前記クエリ画像の複数の要素の各々のラベルを推定する
   ことを含むラベル推定方法。
7. コンピュータを、請求項１又は請求項２に記載のラベル推定関数学習装置又は請求項３に記載のラベル推定装置の各部として機能させるためのプログラム。