JP2017084078A - スタイル検索装置、方法、及びプログラム - Google Patents

Abstract

【課題】同じスタイルに対する画像を精度よく検索するための確率モデルを推定する。【解決手段】領域分割部１２４により、学習用画像の各々について、学習用画像を、人物のパーツの各々を表す領域に分割し、特徴量ヒストグラム算出部１２６により、学習用画像の各々について、パーツ毎に、パーツを表す領域から特徴量を抽出し、抽出した特徴量に基づいて、量子化した特徴量毎の数を算出し、スタイル生成部により、学習用画像の各々についてパーツ毎に算出した量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び複数のトピックの各々における、量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定する。【選択図】図２

Description

本発明は、入力された画像に対応したスタイルを決定するためのスタイル検索装置、方法、及びプログラムに関するものである。

多くの人が、ファッションに関心を持ち、自分の好みや興味のあるスタイルをもつ。また、ファッション雑誌等のファッションコーディネートをチェックし、興味のあるコーディネートと似た印象の服を、自分が所持する服の中から選択したい、あるいはオンラインストアで購入したいといったニーズがある。

ここで、スタイルとは、例えば一般的にはオフィス、アウトドア、ストリート、ナチュラル、カジュアル、ガーリー、フェミニン、コンサバ、モード、セレブ、及びギャル系といった表現がされ、服やアクセサリー等の色やデザイン、またそれらの組合せから生まれる雰囲気を示している。

これらの雰囲気を明確にテキストで定義することは難しいため、店舗によって、スタイル名が同一でも商品の印象がだいぶ違うということが起きえる。また、ユーザのニーズに応えるには、見た目から受ける印象をもとにファッションコーディネートのスタイルを推定し、自動分類する技術が必要とされる。

ここで、ファッションスタイルを推定する技術として各ファッションアイテムのデザインを細部にわたって分類し、その認識を行う方法がある（非特許文献１）。

また、ファッションにラベルを人手で付与し、当該ラベルを教師として識別器を作成する方法がある。

Wei Di ら, "Style Finder: Fine-Grained Clothing Style Recognition and Retrieval", CVPRW.2013 M. Hadi Kiapour, Kota Yamaguchi, Alexander C. Berg, Tamara L. Berg, "Hipster Wars: Discovering Elements of Fashion Styles" , In European Conference on Computer Vision (2014).

しかし、上述した非特許文献１の方法では、細部を認識することによってスタイルを決定しようとしているため、全体の印象から受けるスタイル決定までには至っておらず、細部の情報を使ってスタイルを決定する技術が必要となるという問題がある。

また、上述した非特許文献２の方法では、スタイル名を人手で付与することにより、学習をおこなうが、スタイル名の定義が曖昧なことも多く、ラベル付そのものが困難な場合が多いという問題がある。また、ファッションの場合には、コーディネート画像から受ける印象をもとに分類されることが望ましい。

本発明では、上記問題点を解決するために成されたものであり、同じスタイルに対する画像を精度よく検索するための確率モデルを推定することができるスタイル検索装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係るスタイル検索装置は、学習用画像の各々について、前記学習用画像を、パーツの各々を表す領域に分割する領域分割部と、前記学習用画像の各々について、前記パーツ毎に、前記パーツを表す領域から特徴量を抽出し、前記抽出した特徴量に基づいて、量子化した特徴量毎の数を算出する特徴量ヒストグラム算出部と、前記学習用画像の各々について前記パーツ毎に算出した前記量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び前記複数のトピックの各々における、前記量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定するスタイル生成部と、を含んで構成されている。

第２の発明に係るスタイル検索方法は、領域分割部と、特徴量ヒストグラム算出部と、スタイル生成部と、を含むスタイル検索装置における、スタイル検索方法であって、前記領域分割部は、学習用画像の各々について、前記学習用画像を、パーツの各々を表す領域に分割し、前記特徴量ヒストグラム算出部は、前記学習用画像の各々について、前記パーツ毎に、前記パーツを表す領域から特徴量を抽出し、前記抽出した特徴量に基づいて、量子化した特徴量毎の数を算出し、前記スタイル生成部は、前記学習用画像の各々について前記パーツ毎に算出した前記量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び前記複数のトピックの各々における、前記量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定する。

第１及び第２の発明によれば、領域分割部により、学習用画像の各々について、学習用画像を、パーツの各々を表す領域に分割し、特徴量ヒストグラム算出部により、学習用画像の各々について、パーツ毎に、パーツを表す領域から特徴量を抽出し、抽出した特徴量に基づいて、量子化した特徴量毎の数を算出し、スタイル生成部により、学習用画像の各々についてパーツ毎に算出した量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び複数のトピックの各々における、量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定する。

このように、学習用画像の各々について、学習用画像を、パーツの各々を表す領域に分割し、学習用画像の各々について、パーツ毎に、パーツを表す領域から特徴量を抽出し、抽出した特徴量に基づいて、量子化した特徴量毎の数を算出し、学習用画像の各々についてパーツ毎に算出した量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び複数のトピックの各々における、量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定することにより同じスタイルに対応する画像を精度よく検索するための確率モデルを推定することができる。

また、第１の発明において、前記領域分割部は、クエリ画像を、パーツの各々を表す領域に分割し、前記特徴量ヒストグラム算出部は、前記クエリ画像について、前記パーツ毎に、前記パーツを表す領域から特徴量を抽出し、前記抽出した特徴量に基づいて、量子化した代表特徴量毎の数を算出し、前記クエリ画像について前記パーツ毎に算出した前記量子化した特徴量毎の数と、第１の発明に係るスタイル検索装置において推定した確率モデルとに基づいて、前記画像に対応するスタイルを決定するスタイル決定部を更に含んでもよい。

また、第１の発明において、更に、前記決定した前記スタイルに対応する画像を、前記スタイルが予め求められた画像から検索する検索部を含んでもよい。

また、第１の発明において、前記領域分割部は、更に、前記クエリ画像及び前記学習用画像について、前記パーツを表す領域の各々、又は小領域の各々の重要度を推定し、前記特徴量ヒストグラム算出部は、更に、前記領域分割部によって推定された前記重要度を用いて、前記パーツ毎に算出した、量子化した特徴量毎の数に対して重み付けを行ってもよい。

また、第１の発明において、前記スタイル生成部は、前記学習用画像の各々について前記パーツ毎に算出した前記量子化した特徴量毎の数と、前記学習用画像の各々に予め付加されている前記スタイルを表すラベルとに基づいて、前記確率モデルで表現するモデルを推定してもよい。

また、第１の発明において、前記学習用画像の各々に付加されている前記ラベルは、複数のユーザの各々が収集した、ユーザ履歴から求められる、複数のスタイルを表す複数のラベルとしてもよい。

また、本発明のプログラムは、コンピュータを、上記のスタイル検索装置を構成する各部として機能させるためのプログラムである。

以上説明したように、本発明のスタイル検索装置、方法、及びプログラムによれば、学習用画像の各々について、学習用画像を、パーツの各々を表す領域に分割し、学習用画像の各々について、パーツ毎に、パーツを表す領域から特徴量を抽出し、抽出した特徴量に基づいて、量子化した特徴量毎の数を算出し、学習用画像の各々についてパーツ毎に算出した量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び複数のトピックの各々における、量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定することにより同じスタイルに対応する画像を精度よく検索するための確率モデルを推定することができる。

第１の実施形態に係るスタイル検索システムの構成を示す図である。 第１の実施形態に係るスタイル検索装置の機能的構成を示すブロック図である。 第１の実施形態に係るスタイル検索装置におけるスタイルデータベース生成処理ルーチンを示すフローチャートである。 第１の実施形態に係るスタイル検索装置におけるスタイルデータベース生成処理ルーチンを示すフローチャートである。 第１の実施形態に係るスタイル検索装置におけるスタイル検索処理ルーチンを示すフローチャートである。 本発明の第２の実施形態に係るスタイル検索装置の機能的構成を示すブロック図である。 本発明の第２の実施形態に係るスタイル検索装置におけるスタイルデータベース生成処理ルーチンのフローチャートである。 本発明の第２の実施形態に係るスタイル検索装置におけるスタイルデータベース生成処理ルーチンのフローチャート図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。本発明の実施の形態においては、ユーザが興味あるファッションに関して印象をテキストデータで表現するといった手間をかける必要なく、ユーザが興味あるファッションのコーディネートを表す画像を入力するだけで、スタイルを推定し、同じ印象をもつコーディネートと推定された例を推薦してくれるシステムについて説明する。ここで、スタイルとは、例えば、通勤、スポーティ、コンサバ、及びフェミニンといったような用語で表現される場合もある

なお、以下の実施形態においては、ファッションコーディネートを対象とした場合について説明するが、これに限定されるものではなく、例えば、メイクアップなども眉毛、目、チーク、唇などの組合せで印象の変わるものであり、同じように潜在変数を介した確率モデルで組合せをモデル化し、メイクアップのスタイルを推定してもよい。このようなシステムを実現することにより、日々の化粧を短時間にすることが可能となる。また、コーディネート画像群には、化粧、靴、帽子、及びアクセサリー等を含んでもよい。

＜本発明の第１の実施形態に係るスタイル検索システムの構成＞
まず、本発明の第１の実施形態に係るスタイル検索システムの構成について説明する。図１に示すように、第１の実施形態に係るスタイル検索システム１は、クライアント端末５０と、ネットワーク８０と、スタイル検索装置１００とを含んで構成されている。

クライアント端末５０は、利用者から画像の入力を受け付け、当該画像をクエリ画像として、ネットワーク８０を介して、スタイル検索装置１００に送信する。また、クライアント端末５０は、ネットワーク８０を介して、スタイル検索装置１００から受信した推薦画像の各々を当該クライアント端末５０のディスプレイ等に表示する。

スタイル検索装置１００は、ネットワーク８０を介して、クライアント端末５０から受信したクエリ画像に基づいて、当該クエリ画像のスタイルを決定し、当該スタイルに対応する推薦画像の各々を、ネットワーク８０を介して、クライアント端末５０に送信する。

＜本発明の第１の実施形態に係るスタイル検索装置の構成＞
次に、本発明の第１の実施形態に係るスタイル検索装置の構成について説明する。図２に示すように、第１の実施形態に係るスタイル検索装置１００は、ＣＰＵと、ＲＡＭと、後述するスタイルデータベース生成処理ルーチン、及びスタイル検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このスタイル検索装置１００は、機能的には図２に示すように入力部１１０と、演算部１２０と、出力部１９０とを含んで構成されている。

入力部１１０は、ネットワーク８０を介してクライアント端末５０から受信したクエリ画像を受け付ける。

演算部１２０は、画像データベース１２２と、領域分割部１２４と、特徴量ヒストグラム算出部１２６と、スタイル生成部１２８と、スタイルデータベース１３０と、スタイル決定部１３２と、検索部１３４とを含んで構成されている。

画像データベース１２２には、スタイルの確率モデルを推定するための学習用データであるコーディネート画像群が記憶されている。なお、第１の実施形態においては、女性のファッションに関し、自動でスタイルを推定し、各スタイルに分類する方法について説明する。この場合、学習用データには、女性のファッション画像をそろえることが望ましい。

また、画像データベース１２２に記憶されている学習用データについては、後述するスタイル決定部１３２における学習用データについての処理が終了した場合には、当該学習用データの画像の各々について、スタイルが付与されている形式において記憶されているものとする。

具体的な、画像データベース１２２に記憶されているコーディネート画像としては、例えば、店舗がユーザに商品を推薦したい場合などは、当該店舗の商品群をコーディネートした画像を複数枚用意するのが好ましい。しかし、店舗の商品群をコーディネートした画像を用意できない場合には、インターネット上の、ファッション雑誌やファッション店舗が商品の宣伝をするための、商品を組み合わせたコーディネート例の画像が数多く掲載されているため、当該画像を利用してもよい。またファッションブランドのコレクションなどで発表された作品の画像群を利用してもよい。さらに、一般の人々の日々のコーディネートをブログ等にして発表しているサイトもあり、当該サイト等を利用し、多くのコーディネート画像を収集してもよい。

領域分割部１２４は、画像データベース１２２に記憶されているコーディネート画像の各々について、衣服領域の抽出を行う。また、領域分割部１２４は、当該抽出された衣服領域からパーツごとに領域分割を行い、特徴量ヒストグラム算出部１２６に出力する。なお、各コーディネート画像から取得されるパーツは、同一のパーツ種別について同数取得されるものとする。そのため、各コーディネート画像によって、パーツ数、及びパーツ種別に差異があるものではない。また、左肩、右肩、胸部、腰部、左足、及び右足などのパーツに分割したとき、パーツごとの領域に重なりがあってもよい。

なお、衣服領域の抽出には、どのような特徴量、識別器を用いてもよいが、第１の実施形態においては、画像から高次元の特徴量ベクトルを抽出し、統計学学習手法により識別する手法が高い性能を示すことから、当該手法を用いる（非特許文献３：信学技法2012．11．17 「サーベイ論文」 統計的学習手法による人検出）。また、事前に衣服領域と衣服領域以外の大量の学習用画像を用意し、エッジなどの色々な特徴量からＡｄａｂｏｏｓｔ（非特許文献４：情報処理学会研究報告2009 人検出のためのreal AdaboostによるHOG特徴量の効率的な削減法）などにより識別に有効な特徴量を選択する方法を用いてもよい。

上述した方法により、衣服領域を囲む矩形領域を抽出し、当該矩形領域について、前景と背景とをＧｒａｂｃｕｔの方法（非特許文献５：情報処理学会 研究報告 2007-CVIM-158 グラフカット 石川 博）で分離し、衣服領域を切り出す。

また、パーツごとの領域分割の方法についても、上述した衣類領域の抽出と同様の方法に限られず、例えば、肩や足といった必要なパーツを予め設定し、当該パーツごとに上述の方法と同様の方法で識別器を作成し、当該識別器により分割する等の、目的にあっていればどのような方法を用いてもよい。なお、衣類領域の抽出、及びパーツ領域の分割に用いる識別器は予め学習され、メモリ（図示省略、以下同様）に記憶されているものとする。

ここで、第１の実施の形態においては、左肩、右肩、胸部、腰部、左足、及び右足のパーツを矩形領域として識別する識別器を作成するとする。また、パーツ識別機を作成する場合は、あらかじめ学習用画像には、パーツのラベルを付与しておく。例えば、頭領域ならば頭、右肩の領域ならば右肩とラベルをつけ、パーツごとに特徴量を抽出し、ラベルとセットで学習をおこなう。作成した識別器により、衣服領域内の小矩形領域ごとに所望のパーツか判定をおこない、パーツの位置を決定する。

必要となるパーツは肩や腰などが考えられるが、それらの位置はパーツのなかで上下に反転の位置になることはほとんどないため、識別器で頭に近い矩形領域が腰と判定された場合などは、矩形領域の座標をもとに、パーツ判定にフィードバックをおこなってもよい。例えば、首と腰の上下位置の制約、「首が上」といった制約規則が保持されていて、この規則に沿った処理をしてもよい。また、大量の学習用画像をもとにポーズ推定をおこない、パーツ推定をおこなってもよい（非特許文献６：Kota Yamaguchi, M Hadi Kiapour, Luis E Ortiz, Tamara L Berg, "Parsing Clothing in Fashion Photographs", CVPR 2012）。

また、領域分割部１２４は、画像データベース１２２に記憶されているコーディネート画像の各々について、当該画像について人が注目しやすい箇所を自動検出し、Ｓａｌｉｅｎｃｙマップを作成し（非特許文献７：L. Itti, C. Koch, E. Niebur, A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, Nov 1998.）、特徴量ヒストグラム算出部１２６に出力する。

また、領域分割部１２４は、入力部１１０において受け付けたクエリ画像についても、上述のコーディネート画像の処理と同様に、衣服領域の抽出を行い、当該抽出された衣服領域からパーツごとに領域分割を行い、特徴量ヒストグラム算出部１２６に出力する。また、領域分割部１２４は、入力部１１０において受け付けたクエリ画像についても、上述のコーディネート画像の処理と同様に、Ｓａｌｉｅｎｃｙマップを作成し、特徴量ヒストグラム算出部１２６に出力する。

特徴量ヒストグラム算出部１２６は、領域分割部１２４において取得したコーディネート画像毎のパーツの各々について、特徴量ヒストグラムを算出する。ここで、特徴量ヒストグラムを算出する際に用いる特徴量はどのようなものでもよいが、例えば、形状、柄、カラーといったファッションに関する特徴を捉える特徴量を用いることが好ましい。また、ＨＯＧ特徴量やカラーヒストグラムで表現してもよいし、それらを統合した特徴量を用いてもよい。なお、第１の実施形態においては、カラー特徴量を用いることとする。

具体的には、まず、コーディネート画像毎のパーツの各々について、特徴量を抽出する。次に、抽出した特徴量を量子化し、量子化した特徴量（代表特徴量）毎の数をカウントする。

具体的には、特徴量としてカラー特徴量を用いる場合、カラー画像では各ピクセル（画素）はＲ,Ｇ,Ｂがそれぞれ０〜２５５までの値を取るので、カラー値は２５６×２５６×２５６個存在する。これを、例えば４×４×４の６４色に落とす。落とし方は、まず、Ｒ,Ｇ,Ｂそれぞれについて、０〜２５５の区間を、０〜６３、６４〜１２７、１２８〜１９１、１９２〜２５５の４つに分ける。０〜６３の間の場合、カラー値を０とし、６４〜１２７の間の場合、カラー値を１、１２８〜１９１の間の場合カラー値を２とし、１９２〜２５５の間の場合、カラー値を３とする。次に、（Ｒのカラー値）×４×４＋（Ｇのカラー値）×４＋（Ｂのカラー値）で表現することにより量子化を行う。例えば（Ｒ，Ｇ，Ｂ）＝（６０,１８９,２１４）のとき、Ｒのカラー値は０、Ｇのカラー値は２、Ｂのカラー値は３であり、０×１６＋２×４＋３となることから、量子化された特徴量（以後、代表特徴量とする）は１１と表現される。各ピクセルについて、６４までの値を割り振ることにより各ピクセルの特徴量を代表特徴量に変換する。

また、取得したＳａｌｉｅｎｃｙマップに基づいて、各ピクセルが重みづけの対象か否かを判定する。具体的には、当該処理対象となるパーツを含むコーディネート画像に対応するＳａｌｉｅｎｃｙマップにおいて人が注目しやすい箇所であると判定されたピクセルであって、かつ当該処理対象となるパーツに含まれるピクセルである場合には、当該パーツにおいて重みづけの対象であるピクセルであると判定する。

そして、重みづけの対象であるピクセルについての代表特徴量については、数を２倍して、代表特徴量毎の数をカウントすることによりヒストグラムを算出する。具体的には、重みづけの対象であるピクセルの代表特徴量が１１で有る場合、当該ピクセルでは、代表特徴量１１が２つあるとカウントすることになる。なお、特徴量をカラー特徴量とする場合、上述のように、６４色までの値で表現しなおした場合には、ビン番号が０〜６３となり、各々の個数をカウントすることとなる。

また、特徴量ヒストグラム算出部１２６は、取得したコーディネート画像の各々について、当該コーディネート画像のパーツの各々についての特徴量ヒストグラムに基づいて、当該コーディネート画像の特徴量ヒストグラムを算出し、スタイル生成部１２８、及びスタイル決定部１３２に出力する。具体的には、コーディネート画像のパーツごとの特徴量ヒストグラムを、予め定められたパーツの順番で並べ、当該並べたベクトルを当該コーディネート画像の特徴量ヒストグラムとして算出する。ここで、並べ替えられた特徴量ヒストグラムについては、新たに代表特徴量として、ビンの各々に個別の番号が付与されるものとする。そのため、１つのコーディネート画像の特徴量ヒストグラムについてビンの値は、各々別の値となる。

また、特徴量ヒストグラム算出部１２６は、領域分割部１２４において取得したクエリ画像のパーツの各々について、上述のコーディネート画像の処理と同様に、特徴量ヒストグラムを算出し、領域分割部１２４において取得した当該クエリ画像のＳａｌｉｅｎｃｙマップに基づいて、特徴量ヒストグラムに対して、重みづけを行う。また、特徴量ヒストグラム算出部１２６は、取得したクエリ画像のパーツの各々についての特徴量ヒストグラムに基づいて、上述のコーディネート画像の処理と同様に、当該クエリ画像の特徴量ヒストグラムを算出し、スタイル決定部１３２へ出力する。

スタイル生成部１２８は、特徴量ヒストグラム算出部１２６において取得したコーディネート画像の各々の特徴量ヒストグラムに基づいて、学習を行うことにより、スタイルの各々を生成する。なお、第１の実施形態においては、スタイルを生成する方法として、ＬＤＡを用いた方法を用いる（非特許文献８：Blei et al, “Latent Dirichlet Allocation”, Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.、非特許文献９：岩田具治、斉藤和巳、上田修功、“パラメトリック埋め込み法によるクラス構造の可視化”、情報処理学会論文誌、vol.46、pp.2337-2346（2005））。

ここで、コーディネート画像の各々の特徴量ヒストグラムに基づいて、スタイルを潜在変数とした確率モデルの推定を行う。また、潜在変数であるトピックを介して、画像と特徴量との関係を確率モデルで記載する。

具体的には、コーディネート画像各々の特徴量ヒストグラムに基づいて、ＬＤＡを用いて確率パラメータを算出する。ＬＤＡにおけるドキュメントがコーディネート画像にあたり、ワードが代表特徴量にあたる。各コーディネート画像特徴量のヒストグラムを入力とし、学習することで、各コーディネート画像からの潜在変数にあたる各トピックの生成比率と各トピックからの各代表特徴量の出現確率が算出される。なお、分類するスタイル数であるトピック数は予め定義されているものとする。また、第１の実施形態においては、トピック数を１０とする場合について説明する。

また、スタイル生成部１２８は、学習により自動形成されたトピックをスタイルとして、各スタイルの生成比率と各スタイルからの各代表特徴量の出現確率とをスタイルデータベースに記憶する。

スタイルデータベース１３０には、スタイル生成部１２８において学習した各スタイルの生成比率と、各スタイルからの各代表特徴量の出現確率とが記憶されている。

スタイル決定部１３２は、コーディネート画像の各々について、特徴量ヒストグラム算出部１２６において取得した、当該コーディネート画像の特徴量ヒストグラムと、スタイルデータベース１３０に記憶されている各スタイルからの各代表特徴量の出現確率とに基づいて、当該コーディネート画像のスタイルを決定する。また、スタイル決定部１３２は、コーディネート画像の各々について決定したスタイルを当該コーディネート画像に付加し、画像データベース１２２に記憶する。

具体的には、まず、コーディネート画像の特徴量ヒストグラムと、各スタイルからの各代表特徴量の出現確率とに基づいて、下記（１）式に従って、各スタイルのスコアｐ_ｋを算出する。なお、下記（１）式の例においては、代表特徴量数が１０００個とした場合についての例である。

ここで、ｖは代表特徴量を表し、ｔ_ｖｋは各代表特徴量ｖのスタイルｋからの出現確率を表し、ｈ_ｖは、コーディネート画像の特徴量ヒストグラムにおける代表特徴量ｖのビンの値を表す。次に、取得した各スタイルのスコアｐ_ｋに基づいて、例えば一番大きい値のスタイルを当該処理対象のコーディネート画像に付加する。なお、各スタイルに名称を設定したい場合には、コーディネート画像の各々に付加されたスタイルと、当該コーディネート画像の各々とに基づいて、特定のスタイルを表現するコーディネート画像に多く割り当てられたスタイルを、当該特定のスタイル名として設定する。例えば、特定のスタイルとして、「アウトドア」、「フェミニン系」等が存在する。スタイル名をスタイル決定部１３２において設定した場合には、スタイルデータベース１３０に記憶されている各スタイルについても当該設定したスタイル名に変更する。

また、スタイル決定部１３２は、特徴量ヒストグラム算出部１２６において取得したクエリ画像の特徴量ヒストグラムと、スタイルデータベースに記憶されているスタイルデータベース１３０に記憶されている各スタイルからの各代表特徴量の出現確率とに基づいて、上述のコーディネート画像の処理と同様に、上記（１）式に従って当該クエリ画像のスタイルを決定し検索部１３４に出力する。

検索部１３４は、スタイル決定部１３２において取得したクエリ画像のスタイルに基づいて、画像データベース１２２を検索し、クエリ画像のスタイルと同一のスタイルが付加されているコーディネート画像の各々を推薦画像として、出力部１９０からネットワーク８０を介して、クライアント端末５０に送信する。

＜本発明の第１の実施形態に係るクライアント端末の作用＞
次に、第１の実施形態に係るクライアント端末５０の作用について説明する。クライアント端末５０は、ユーザから画像を受け付けると、当該画像をクエリ画像として、ネットワーク８０を介して、スタイル検索装置へ送信する。また、クライアント端末５０は、ネットワーク８０を介して、スタイル検索装置１００から推薦画像の各々を受信すると、推薦画像の各々を当該クライアント端末５０のディスプレイ等に表示する。

＜本発明の第１の実施形態に係るスタイル検索装置の作用＞
次に、本発明の第１の実施形態に係るスタイル検索装置１００の作用について説明する。事前に、スタイル検索装置１００は、画像データベース１２２に記憶されている学習用データであるコーディネート画像群を読み込み、図３及び図４に示すスタイルデータベース生成処理ルーチンを実行する。また、スタイル検索装置１００は、入力部１１０によって、クエリ画像を受け付けると、スタイル検索装置１００によって、図５に示すスタイル検索処理ルーチンが実行される。

まず、図３及び図４に示すスタイルデータベース生成処理ルーチンについて説明する。図３に示すスタイルデータベース生成処理のステップＳ１００で、メモリに記憶されている、衣類領域の抽出、及びパーツ領域の分割に用いる識別器を読み込む。

次に、ステップＳ１０２で、読み込んだコーディネート画像の各々から、処理対象となるコーディネート画像を決定する。

次に、ステップＳ１０４で、処理対象のコーディネート画像について、ステップＳ１００において取得し、衣類領域の抽出に用いる識別器を用いて、当該コーディネート画像から衣類領域を抽出する。

次に、ステップＳ１０６で、処理対象のコーディネート画像について、Ｓａｌｉｅｎｃｙマップを生成する。

次に、ステップＳ１０８で、ステップＳ１０４において取得した処理対象のコーディネート画像の衣類領域について、ステップＳ１００において取得したパーツ領域の分割に用いる識別器を用いて、パーツの各々に分割する。

次に、ステップＳ１１０で、ステップＳ１０８において取得したパーツの各々から、処理対象となるパーツを決定する。

次に、ステップＳ１１２で、処理対象となるパーツについて特徴量を抽出する。

次に、ステップＳ１１４で、処理対象となるパーツについて量子化を行う。

次に、ステップＳ１１６で、処理対象となるパーツについて、ステップＳ１０６において取得したＳａｌｉｅｎｃｙマップに基づいて、処理対象となるパーツにおいて、重みづけを行うピクセルを決定する。

次に、ステップＳ１１８で、処理対象となるパーツについて、ステップＳ１１４において取得した各ピクセルの量子化した値と、ステップＳ１１６において取得した重みづけを行うピクセルとに基づいて、重みづけを行うピクセルの代表特徴量の個数を２倍とする。なお、重みづけを行わないピクセルの代表特徴量についての個数は１つのままとする。

次に、ステップＳ１２０で、ステップＳ１１８において取得した重みづけ処理を行った処理対象となるパーツの各ピクセルの代表特徴量について、各代表特徴量の個数をカウントし、特徴量ヒストグラムを算出する。

次に、ステップＳ１２２で、ステップＳ１０８において取得した全てのパーツについてステップＳ１１０〜ステップＳ１２０までの処理を終了したか否かを判定する。全てのパーツについてステップＳ１１０〜ステップＳ１２０までの処理を終了した場合には、スタイルデータベース生成処理ルーチンは、ステップＳ１２４へ移行する。一方、全てのパーツについてステップＳ１１０〜ステップＳ１２０までの処理を終了していない場合には、ステップＳ１１０へ移行し、処理対象となるパーツを変更し、ステップＳ１１２〜ステップＳ１２２までの処理を繰り返す。

次に、ステップＳ１２４で、読み込んだ全てのコーディネート画像について、ステップＳ１０２〜ステップＳ１２２までの処理を終了したか否かを判定する。全てのコーディネート画像について、ステップＳ１０２〜ステップＳ１２２までの処理を終了した場合には、スタイルデータベース生成処理ルーチンは、ステップＳ１２６へ移行する。一方、全てのコーディネート画像についてステップＳ１０２〜ステップＳ１２２までの処理を終了していない場合には、ステップＳ１０２に移行し、処理対象となるコーディネート画像を変更し、ステップＳ１０４〜ステップＳ１２４までの処理を繰り返す。

次に、ステップＳ１２６で、ステップＳ１２０において取得したコーディネート画像の各々についてのパーツ毎の特徴量ヒストグラムに基づいて、コーディネート画像の各々について、当該コーディネート画像の特徴量ヒストグラムを算出する。

次に、ステップＳ１２８で、ステップＳ１２６において取得したコーディネート画像の各々についての特徴量ヒストグラムに基づいて、ＬＤＡを用いて各スタイルの生成比率と各スタイルからの各代表特徴量の出現確率とを推定し、スタイルデータベース１３０に記憶する。

次に、図４に示すステップＳ１３０で、読み込んだコーディネート画像から処理対象となるコーディネート画像を決定する。

次に、ステップＳ１３２で、処理対象となるコーディネート画像について、ステップＳ１２６において取得した当該コーディネート画像の特徴量ヒストグラムと、ステップＳ１２８において取得した各スタイルからの各代表特徴量の出現確率とに基づいて、上記（１）式に従って、各スタイルのスコアを算出する。

次に、ステップＳ１３４で、処理対象となるコーディネート画像について、ステップＳ１３２において取得した各スタイルのスコアに基づいて、スタイルを決定する。

次に、ステップＳ１３６で、処理対象となるコーディネート画像について、ステップＳ１３４において取得したスタイルを付加し、画像データベース１２２に記憶する。

次に、ステップＳ１３８で、読み込んだ全てのコーディネート画像について、ステップＳ１３０〜ステップＳ１３６までの処理を終了したか否かを判定する。全てのコーディネート画像について、ステップＳ１３０〜ステップＳ１３６までの処理を終了した場合には、スタイルデータベース生成処理ルーチンを終了する。一方、全てのコーディネート画像について、ステップＳ１３０〜ステップＳ１３６までの処理を終了していない場合には、ステップＳ１３０へ移行し、処理対象となるコーディネート画像を変更し、ステップＳ１３２〜ステップＳ１３８までの処理を繰り返す。

次に、図５に示すスタイル検索処理ルーチンについて説明する。図５のスタイル検索処理ルーチンのステップＳ１５０で、スタイルデータベース１３０から、各スタイルからの各代表特徴量の出現確率を読み込む。

次に、ステップＳ１５２で、画像データベース１２２を読み込む。

次に、ステップＳ１５４で、受け付けたクエリ画像について、上述のスタイルデータベース生成処理ルーチンのステップＳ１０４〜ステップＳ１２６までの処理と同様に、当該クエリ画像の特徴量ヒストグラムを算出する。なお、スタイル検索処理ルーチンにおいては、上述のスタイルデータベース生成処理ルーチンのステップＳ１２４の処理はないものとする。

次に、ステップＳ１５６で、ステップＳ１５０において取得した各スタイルからの各代表特徴量の出現確率と、ステップＳ１５４において取得したクエリ画像の特徴量ヒストグラムとに基づいて、上記（１）式に従って、各スタイルのスコアを算出する。

次に、ステップＳ１５８で、ステップＳ１５６において取得した各スタイルのスコアに基づいて、クエリ画像のスタイルを決定する。

次に、ステップＳ１６０で、ステップＳ１５８において取得したスタイルと、ステップＳ１５２において取得した画像データベース１２２とに基づいて、推薦画像を抽出する。

次に、ステップＳ１６２で、ステップＳ１６０において取得した推薦画像を出力部１９０から、ネットワーク８０を介して、クライアント端末５０へ送信し、スタイル検索処理ルーチンを終了する。

以上説明したように、本発明の第１の実施形態に係るスタイル検索装置によれば、学習用画像の各々について、学習用画像を、パーツの各々を表す領域に分割し、学習用画像の各々について、パーツ毎に、パーツを表す領域から特徴量を抽出し、抽出した特徴量に基づいて、量子化した特徴量毎の数を算出し、学習用画像の各々についてパーツ毎に算出した量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び複数のトピックの各々における、量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定することにより同じスタイルに対応する画像を精度よく検索するための確率モデルを推定することができる。

また、第１の実施形態に係るスタイル検索装置のように、学習用画像からスタイルを自動推定し、認識対象となるファッション画像がどのスタイルに近いか自動判定することにより、ユーザが気に入った雰囲気のファッションコーディネート画像を入力するだけで、同じ雰囲気の似た画像を推薦することができる。また、店舗が店舗前などを通行していくお客の画像から自動で判定されたスタイルの商品画像を提示することなどにより、集客効果を高めることができる。

また、インターネット上にある衣服や化粧、靴や帽子、アクセサリーなどのコーディネート画像群を利用して、自動でファッションのスタイルを推定し、各スタイルに分類していくことで、洋服を購買しようとしている客に、客の服装からあるいは客が好みのファッション画像を提示してもらうことから好みのスタイルを推定し商品を推薦することができる。また、お客にとっては好みのコーディネートを面倒な言葉の説明なしで提示してもらうことができ、定員も各人によって指すものが異なる言葉から推測しなければいけないといった困難なく、お客のニーズにこたえることができる。

また、所望のファッション雰囲気などを表現しにくいテキストにする必要なく、画像を送るだけで似た雰囲気の商品の推薦を可能にする。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

次に、第２の実施形態に係るスタイル検索装置について説明する。第２の実施形態においては、学習用データに予めラベルが付与されている点が第１の実施形態と異なる。なお、第１の実施形態に係るクライアント端末及びスタイル検索装置と同様の構成及び作用については、同一の符号を付して、説明を省略する。

＜本発明の第２の実施形態の概要＞
まず、本発明の第２の実施形態の概要について説明する。第２の実施形態においては、スタイルを学習するための学習データである画像の各々にスタイルのラベルが予め付与されている。このように、学習データに予めスタイルのラベルを付与することにより、各トピックから生成される特徴量の分離がはっきりし、より精度がよくなるといった効果がある。なお、ラベルはスタイルと一対一対応とする。

ここで、ラベルはあらかじめ手作業で付与してもよいし、ある基準をもとに自動で割り振ってもよい。なお、店舗があらかじめ、ある程度自商品にスタイルをラベルとしてつけている場合には、そのラベルをスタイルとして用いてもよい。また、スタイルの確率モデルを生成後、追加の商品に自動ラベル付けしてもよいし、ユーザからのクエリ画像を受信した際には、当該店舗におけるスタイルを決定し、類似のスタイルから商品を推薦するなどのサービスが考えられる。

第２の実施形態においては、ユーザの好みといった軸によるラベル付与を行う。各ユーザは好みのスタイルがあり、好みのスタイルにそって毎日のコーディネートを選択したり、購買していると考えられる。そこで、第２の実施形態においては、ユーザの履歴からどのような画像特徴量をもつコーディネート画像を好みとするグループにわけられるのか学習をおこなう。なお、第２の実施形態においては、ユーザの嗜好を学習する方法として、トピックモデルを用いた方法を用いる（非特許文献１０：PRMU2012-133「SNSを利用したトピックモデルによる画像へのユーザ嗜好性の解析」p19-ｐ24（片岡、木村、村崎、数藤、谷口）信学技法Vol.112 No.441）。

＜本発明の第２の実施形態にスタイル検索装置の構成＞
次に、本発明の第２の実施形態に係るスタイル検索装置の構成について説明する。図６に示すように、第２の実施形態に係るスタイル検索装置２００は、ＣＰＵと、ＲＡＭと、後述するスタイルデータベース生成処理ルーチン、及びスタイル検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このスタイル検索装置２００は、機能的には図６に示すように入力部１１０と、演算部２２０と、出力部１９０とを含んで構成されている。

演算部２２０は、ユーザ画像データベース２２２と、画像データベース２２４と、特徴量抽出部２２６と、ヒストグラム作成部２２８と、出現確率算出部２３０と、ラベル付与部２３２と、スタイル決定部２３６と、領域分割部１２４と、特徴量ヒストグラム算出部１２６と、スタイル生成部１２８と、スタイルデータベース１３０と、検索部１３４とを含んで構成されている。

ユーザ画像データベース２２２には、複数のユーザ毎に、当該ユーザの履歴から取得したユーザ履歴画像であるユーザコーディネート画像群（ファッション画像も含む）が記憶されている。ここで、ユーザの履歴とは、例えば、ファッションが対象であれば、ライフログとして撮りためている毎日のコーディネート画像やＳＮＳで収集している好みのファッション画像群、購買履歴などを用いる。

画像データベース２２４には、スタイルの確率モデルを推定するための学習用データであるコーディネート画像群が記憶されている。なお、後述するラベル付与部２３２の処理が終了した場合には、当該学習用データの画像の各々について、スタイルを表すラベルが付与されているものとする。

特徴量抽出部２２６は、ユーザ画像データベース２２２に記憶されているユーザコーディネート画像の各々について、特徴量を抽出する。ここで、抽出する特徴量は、カラーヒストグラムやＨＯＧなどの特徴量を用いる。

また、特徴量抽出部２２６は、画像データベース２２４に記憶されているコーディネート画像の各々について、上述のユーザコーディネート画像と同様の特徴量を抽出する。

ヒストグラム作成部２２８は、特徴量抽出部２２６において取得したユーザコーディネート画像の各々の特徴量に基づいて、クラスタリングを行い、ユーザコーディネート画像の各々から代表画像を決定する。

また、クラスタリングの結果に基づいて、ユーザ毎に、当該ユーザのユーザコーディネート画像群に割り当てられた各代表画像の個数をカウントし、ユーザコーディネート画像群のヒストグラムを作成する。

また、ヒストグラム作成部２２８は、取得したユーザ毎の、ユーザコーディネート画像群のヒストグラムに基づいて、ＬＤＡを用いて学習を行い、各トピックからの代表画像の出現確率を算出する。ここで、形成されるトピックがユーザの好みによる分類がなされたスタイルに該当する。

ラベル付与部２３２は、画像データベース２２４に記憶されているコーディネート画像の各々について、ヒストグラム作成部２２８において取得したクラスタリング結果の代表画像と、特徴量抽出部２２６において取得した当該コーディネート画像の特徴量とに基づいて、当該コーディネート画像がどの代表画像に対応するか決定する。また、ラベル付与部２３２は、コーディネート画像の各々について、取得した当該コーディネート画像に対応する代表画像と、ヒストグラム作成部２２８において取得した各トピックからの代表画像の出現確率とに基づいて、当該コーディネート画像に対応するトピックを、スタイルを表すラベルとして、当該コーディネート画像に付与し、画像データベース２２４に記憶する。

具体的には、トピック数が１０個であり、各トピックからの代表画像の出現確率が（０．１,０．１,０．１,０．１, ０．４,０．１,０．１,０．１,０．１,０．１）であるとき、例えば、一番確率の高いトピック、ここでは、５番目のトピックを、スタイルを表すラベルとして決定してもよい。また、生成比率が予め定められた閾値以上のトピックの各々について、スタイルを表すラベルとして複数付加してもよい。

スタイル生成部２３４は、スタイルを表すラベルが付与されたコーディネート画像の各々と、特徴量ヒストグラム算出部１２６において取得したコーディネート画像の各々の特徴量ヒストグラムとに基づいて、Ｌａｂｅｌｅｄ ＬＤＡ（非特許文献１１：D. Ramage, D. Hall, R. Nallapati, and C.D. Manning: “Labeled LDA: A supervised topic model for credit attribution in multi-labeled corpora”.EMNLP2009, pp. 248-256, 2009.）を用いて、各トピックからの各代表特徴量の出現確率の学習を行う。なお、スタイル生成部２３４の他の構成については、第１の実施形態に係るスタイル生成部１２８と同様のため、説明を省略する。

具体的には、例えば、スタイルラベルは、ラベル数が１０の場合、コーディネート画像Ｉに付与されているスタイルラベルが２と３のとき、Ｌ＝（０，１，１，０，０，０，０，０，０，０）のように入力する。つまり、各コーディネート画像中の代表特徴量は、そのコーディネート画像に付与されたスタイルラベルが表すトピックから生成される。この学習により代表特徴量のトピック比率を算出する。

スタイル決定部２３６は、特徴量ヒストグラム算出部１２６において取得したクエリ画像の特徴量ヒストグラムと、スタイルデータベース１３０に記憶されている各スタイルからの各代表特徴量の出現確率とに基づいて、上記（１）式に従って当該クエリ画像のスタイルを決定し検索部１３４に出力する。

なお、スタイル検索装置２００の他の構成については、第１の実施形態に係るスタイル検索装置１００と同様のため、説明は省略する。

＜本発明の第２の実施形態に係るスタイル検索装置の作用＞
次に、本発明の第２の実施形態に係るスタイル検索装置２００の作用について説明する。事前に、スタイル検索装置２００は、ユーザ画像データベースに記憶されているユーザ毎の、ユーザコーディネート画像群と、画像データベース１２２に記憶されているコーディネート画像群とを読み込み、図７、及び図８に示すスタイルデータベース生成処理ルーチンを実行する。また、スタイル検索装置２００は、入力部１１０によって、クエリ画像を受け付けると、スタイル検索装置２００によって、図５に示すスタイル検索処理ルーチンが実行される。

まず、図７、及び図８に示すスタイルデータベース生成処理ルーチンについて説明する。図７に示すスタイルデータベース生成処理のステップＳ２００で、読み込んだコーディネート画像の各々と、ユーザ毎のユーザコーディネート画像群に含まれるユーザコーディネート画像の各々と、について、特徴量を抽出する。

次に、ステップＳ２０２で、ステップＳ２００において取得したユーザ毎のユーザコーディネート画像群に含まれるユーザコーディネート画像の各々の特徴量に基づいて、クラスタリングを行い、代表画像の各々を決定する。

次に、ステップＳ２０４で、ステップＳ２０２において取得したクラスタリング結果から、ユーザ毎に、各代表画像の個数を表した、ユーザコーディネート画像群のヒストグラムを作成する。

次に、ステップＳ２０５で、ステップＳ２０４において取得したユーザコーディネート画像群のヒストグラムに基づいて、ＬＤＡを用いて学習を行い、各トピックからの代表画像の出現確率を算出する。

次に、ステップＳ２０６で、ステップＳ２００において取得したコーディネート画像の各々の特徴量と、ステップＳ２０２において取得したクラスタリング結果とに基づいて、コーディネート画像の各々の代表画像を決定する。

次に、ステップＳ２０８で、コーディネート画像の各々について、ステップＳ２０６において取得した当該コーディネート画像の代表画像と、ステップＳ２０５において取得した各トピックからの代表画像の出現確率とに基づいて、当該コーディネート画像のトピックを決定し、当該トピックを、スタイルを表すラベルとして、当該コーディネート画像に付与し、図８のステップＳ１００へ移行する。

図８のステップＳ２１０で、ステップＳ１２６において取得したコーディネート画像の各々の特徴量ヒストグラムと、ステップＳ２０８において取得したコーディネート画像の各々のラベルとに基づいて、Ｌａｂｅｌｅｄ ＬＤＡを用いて、各トピックからの各代表特徴量の出現確率を推定し、スタイルデータベース１３０に記憶し、スタイルデータベース生成処理ルーチンを終了する。

なお、他のスタイル検索装置２００の作用については、上述した第１の実施形態に係るスタイル検索装置１００の作用と同様のため、説明を省略する。

以上説明したように、本発明の第２の実施形態に係るスタイル検索装置によれば、あらかじめファッションコーディネートに対する好みを学習しておき嗜好に応じたラベルを付与することにより、精度よくスタイルを決定することができる。

また、クエリ画像やユーザのその場の衣服の情報から間接的に嗜好を推定することができ、感覚的に嗜好と直結したカテゴリからの推薦ができる。

また、推薦画像を要求するユーザの履歴がわからなくても、他のユーザの履歴を用いることにより、間接的に嗜好を推定することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第１及び第２の実施形態においては、重みづけを２倍とする場合について説明したが、これに限定されるものではなく、任意の重みづけを行ってもよい。また、代表特徴量毎の数をカウントする際に、パーツとしてアクセサリー等のファッションアイテムの領域を認識できている場合には、当該パーツについて重みづけを行ってもよい。また、予めファッションコーディネートのプロフェッショナルにより、どのパーツの重要度が高いかを設定しておき、当該パーツについての代表特徴量毎のカウントする際に、当該パーツについての代表特徴量のカウントについては、重みづけを行ってもよい。また、任意に設定した小領域毎に重みづけを行ってもよい。
よい。

また、第１及び第２の実施形態においては、特徴量をカラー特徴量とし、量子化する際に、０〜２５５の区間を４つの領域に分割する場合について説明したがこれに限定されるものではない。例えば、任意の領域数に分割してもよい。

また、第１及び第２の実施形態においては、特徴量としてカラー特徴量を用いる場合について説明したが、これに限定されるものではない。例えば、特徴量を形状に関する特徴量であるＳＵＲＦなどの局所特徴量を用いる場合には、画像データベースに記憶されているコーディネート画像すべてから局所特徴量を算出し、抽出した特徴量をk-means法により、クラスタリングし、各クラスタの中心を代表特徴量としてもよい。この場合、Ｋ個にクラスタした場合、Ｋ個の代表特徴量が存在することになる。そのため、各パーツについて抽出された特徴量とＫ個の代表特徴量との距離を算出し、近い距離の代表特徴量を割り当てる。また、パーツごとに、代表特徴量の個数を数え、ヒストグラムを算出する。この場合、ビン番号が１〜Ｋになるため、各々のビン番号に対応する代表特徴量の個数をカウントすることになる。

また、第１及び第２の実施形態においては、学習用の画像であるコーディネート画像の各々についてスタイルを付加し、クエリ画像について決定したスタイルと同一のスタイルが付加されているコーディネート画像の各々を推薦画像とする場合について説明したが、これに限定されるものではない。例えば、クエリ画像のトピック比率が一番高いトピックに対し、他のトピックよりも大きい値を示したコーディネート画像を推薦画像として抽出してもよい。また、クエリ画像の全部または複数個のトピックに対する比率をベクトルとして記憶し、検索対象のコーディネート画像の各々も同じ複数個のトピックに対する比率をベクトルとして記憶し、クエリ画像のベクトルに距離が近いベクトルをもつコーディネート画像の各々を推薦画像としてもよい。

また、第１及び第２の実施形態においては、服装のコーディネートの例について説明したが、これに限定されるものではない。例えば、化粧、靴や帽子、アクセサリーなどコーディネートが必要なものには、何にでも適用できる。

また、第１及び第２の実施形態において、パーツを左肩、右肩、胸部、腰部、左足、及び右足とする場合について説明したが、これに限定されるものではない。例えば、パーツとして任意の領域を設定してもよい。具体的には、トップスとボトムスとの２つの領域を各々パーツとしてもよい。

また、第１及び第２の実施形態において、複数のパーツの領域に分割して、パーツ毎に特徴量ヒストグラムを算出する場合について説明したが、これに限定されるものではない。複数のパーツの領域に分割できない場合には、１つの領域から、特徴量ヒストグラムを算出するようにしてもよい。

また、第２の実施形態においては、クエリ画像を送信するユーザの履歴からユーザコーディネート画像群を構成する場合について説明したが、これに限定されるものではない。例えば、ファッション画像の推薦を要求するユーザの履歴がわからなくても、他のユーザの履歴や、参考にしたいユーザの履歴を用いてもよい。また、ユーザ履歴は、画像に限定されず何を用いてもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１ スタイル検索システム
５０ クライアント端末
８０ ネットワーク
１００、２００ スタイル検索装置
１１０ 入力部
１２０、２２０ 演算部
１２２、２２４ 画像データベース
１２４ 領域分割部
１２６ 特徴量ヒストグラム算出部
１２８、２３４ スタイル生成部
１３０ スタイルデータベース
１３２、２３６ スタイル決定部
１３４ 検索部
１９０ 出力部
２２２ ユーザ画像データベース
２２６ 特徴量抽出部
２２８ ヒストグラム作成部
２３０ 出現確率算出部
２３２ ラベル付与部

Claims (8)

1. 学習用画像の各々について、前記学習用画像を、パーツの各々を表す領域に分割する領域分割部と、
   前記学習用画像の各々について、前記パーツ毎に、前記パーツを表す領域から特徴量を抽出し、前記抽出した特徴量に基づいて、量子化した特徴量毎の数を算出する特徴量ヒストグラム算出部と、
   前記学習用画像の各々について前記パーツ毎に算出した前記量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び前記複数のトピックの各々における、前記量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定するスタイル生成部と、
   を含む、スタイル検索装置。
2. 前記領域分割部は、クエリ画像を、パーツの各々を表す領域に分割し、
   前記特徴量ヒストグラム算出部は、前記クエリ画像について、前記パーツ毎に、前記パーツを表す領域から特徴量を抽出し、前記抽出した特徴量に基づいて、量子化した代表特徴量毎の数を算出し、
   前記クエリ画像について前記パーツ毎に算出した前記量子化した特徴量毎の数と、請求項１のスタイル検索装置において推定した確率モデルとに基づいて、前記画像に対応するスタイルを決定するスタイル決定部を更に含む、請求項１記載のスタイル検索装置。
3. 更に、前記決定した前記スタイルに対応する画像を、前記スタイルが予め求められた画像から検索する検索部を含む請求項２記載のスタイル検索装置。
4. 前記領域分割部は、更に、前記クエリ画像及び前記学習用画像について、前記パーツを表す領域の各々、又は小領域の各々の重要度を推定し、
   前記特徴量ヒストグラム算出部は、更に、前記領域分割部によって推定された前記重要度を用いて、前記パーツ毎に算出した、量子化した特徴量毎の数に対して重み付けを行う請求項２又は３の何れか１項記載のスタイル検索装置。
5. 前記スタイル生成部は、前記学習用画像の各々について前記パーツ毎に算出した前記量子化した特徴量毎の数と、前記学習用画像の各々に予め付加されている前記スタイルを表すラベルとに基づいて、前記確率モデルで表現するモデルを推定する請求項１〜４の何れか１項記載のスタイル検索装置。
6. 前記学習用画像の各々に付加されている前記ラベルは、
   複数のユーザの各々が収集した、ユーザ履歴から求められる、複数のスタイルを表す複数のラベルである請求項５記載のスタイル検索装置。
7. 領域分割部と、特徴量ヒストグラム算出部と、スタイル生成部と、を含むスタイル検索装置における、スタイル検索方法であって、
   前記領域分割部は、学習用画像の各々について、前記学習用画像を、パーツの各々を表す領域に分割し、
   前記特徴量ヒストグラム算出部は、前記学習用画像の各々について、前記パーツ毎に、前記パーツを表す領域から特徴量を抽出し、前記抽出した特徴量に基づいて、量子化した特徴量毎の数を算出し、
   前記スタイル生成部は、前記学習用画像の各々について前記パーツ毎に算出した前記量子化した特徴量毎の数に基づいて、画像が表すスタイルを推定するための確率モデルであって、複数のスタイルに対応する複数のトピックの生成比率、及び前記複数のトピックの各々における、前記量子化した特徴量毎の代表特徴量の各々の出現確率を含む確率モデルを推定する
   スタイル検索方法。
8. コンピュータを、請求項１〜６の何れか１項記載のスタイル検索装置の各部として機能させるためのプログラム。