JP2017167759A - コーディネート推薦装置、及びプログラム - Google Patents

Abstract

【課題】ユーザの属性に応じたコーディネートを推薦する装置及びプログラムを提供する。【解決手段】特徴量抽出部１３０が、学習用のコーディネート画像の各々から、ファッションのコーディネート対象となるパーツ領域を抽出する。確率モデル構築部１３２が、パーツ領域の各々についての各特徴量の頻度を表すヒストグラムを並べた特徴量ヒストグラムを抽出し、学習用のコーディネート画像の各々の特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の属性とに基づいて、属性毎に、属性の人物が各トピックを好む確率、及び属性の人物において各トピックから各特徴量が出現する確率を含む確率モデルを構築する。コーディネート推薦部１３４が、ユーザが入力した画像と、構築された確率モデルとに基づいて、入力した画像のトピック比率を算出し、算出されたトピック比率に対応するコーディネートを推薦する。【選択図】図２

Description

本発明は、コーディネート推薦装置、及びプログラムに係り、特に、ユーザにコーディネートを推薦するためのコーディネート推薦装置、及びプログラムに関する。

従来より、コーディネートを推薦する手法に関する技術が提案されている。非特許文献１には、日々のコーディネートを天気や会う人といった情報とともに記録し、これらの情報をもとに天気予報や、スケジュール、会う人などに応じて過去の履歴を参照しコーディネートを推薦する技術が提案されている。

非特許文献２には、鏡の前に立つとその日のコーディネートが撮影・記録され、それらの過去のユーザの履歴からコーディネートを推薦する技術が提案されている。

辻田 眸，北村 香織，神原 啓介，塚田 浩二，椎尾 一郎，「Asa1-coordinator：履歴情報を利用したファッションコーディネート支援」ヒューマンインターフェースシンポジウム2009 佐藤 彩夏，渡邊 恵太，安村 通晃，「姿を利用したファッションコーディネート支援システムsuGATALOG」情報処理学会インタラクション2011

しかし、非特許文献１、及び非特許文献２では、過去の履歴のデータがユーザに適しているのか、客観的にみてより似合ったものになっているのかは考慮されていない。ファッションは、時と場所、場合、また各アイテムの組合せ、それらコーディネートの雰囲気への好みといった観点以外に、ユーザの年齢や体型を考慮し、そもそもユーザの体型にあっているのか判断する必要があるが、そのような推薦をするシステムはこれまでに存在しなかった。ユーザの体型にあっているかは、サイズを測り、サイズにあったものを着るだけで克服できるものではなく、例えば、柄の細かいデザインの服を着ることで、相対的に体を細く見せるなど、視覚効果をねらったコーディネートが必要となり、その推薦をすることができるシステムは存在しなかった。また、一般に、ファッションアイテムを購買する際には、テレビや雑誌で気になるファッションコーディネートをチェックし、それを参考にする。しかし、そのファッションを身に着けているモデルと体型が違えば、テレビや雑誌での映像、画像で気に入ったからといってそれと同じものを購入しても、結局似合わずに着られない場合は多々でてくる。

本発明は、上記事情を鑑みて成されたものであり、ユーザの属性に応じたコーディネートを推薦することができるコーディネート推薦装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係るコーディネート推薦装置は、ユーザの属性にあったコーディネートを提示するコーディネート推薦装置であって、学習用のコーディネート画像の各々から、ファッションのコーディネート対象となるパーツ領域を抽出し、パーツ領域の各々についての各特徴量の頻度を表すヒストグラムを並べた特徴量ヒストグラムを抽出する特徴量抽出部と、前記特徴量抽出部により抽出された学習用のコーディネート画像の各々の前記特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の属性とに基づいて、前記属性毎に、前記属性の人物が各トピックを好む確率、及び前記属性の人物において各トピックから各特徴量が出現する確率を含む確率モデルを構築する確率モデル構築部と、前記ユーザが入力したクエリ画像と、前記確率モデル構築部により構築された前記確率モデルとに基づいて、前記入力したクエリ画像のトピック比率を算出し、算出された前記トピック比率に対応するコーディネートを推薦するコーディネート推薦部と、を含んで構成されている。

また、第１の発明に係るコーディネート推薦装置において、前記コーディネート推薦部は、前記ユーザが入力したコーディネートを表すクエリ画像から、前記特徴量ヒストグラムを抽出し、前記抽出された特徴量ヒストグラムと、前記構築された前記確率モデルにおける、前記クエリ画像が表す人物の属性において各トピックから各特徴量が出現する確率とに基づいて、前記クエリ画像のトピック比率を算出し、

予め用意された複数のコーディネート画像の各々についての、前記コーディネート画像から抽出された特徴量ヒストグラムと、前記構築された前記確率モデルにおける、前記ユーザの属性において各トピックから各特徴量が出現する確率とに基づいて算出される前記コーディネート画像のトピック比率と、算出された前記入力したクエリ画像のトピック比率とに基づいて、前記入力したクエリ画像のトピック比率に対応するコーディネートを推薦するようにしてもよい。

また、第１の発明に係るコーディネート推薦装置において、前記コーディネート推薦部は、前記ユーザが入力したアイテムを表すクエリ画像から、前記特徴量ヒストグラムを抽出し、前記抽出された特徴量ヒストグラムと、前記構築された前記確率モデルにおける、前記ユーザが入力した前記ユーザの属性において各トピックから各特徴量が出現する確率とに基づいて、前記クエリ画像のトピック比率を算出し、予め用意された前記クエリ画像が表すアイテムのパーツとは異なるパーツのアイテムを表す複数の画像の各々についての、前記画像から抽出された特徴量ヒストグラムと、前記構築された前記確率モデルにおける、前記ユーザの属性において各トピックから各特徴量が出現する確率とに基づいて算出される前記画像のトピック比率と、算出された前記クエリ画像の前記トピック比率とに基づいて、前記クエリ画像のトピック比率に対応する、前記クエリ画像が表すアイテムのパーツとは異なるパーツのアイテムを推薦するようにしてもよい。

また、第１の発明に係るコーディネート推薦装置において、前記確率モデル構築部は、前記特徴量抽出部により抽出された学習用のコーディネート画像の各々の前記特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の属性とに基づいて、前記確率モデルとして、ダイナミックトピックモデルを構築するようにしてもよい。

また、第１の発明に係るコーディネート推薦装置において、前記属性は、身長、肩幅、ウエスト幅、又は年齢の値とするようにしてもよい。

第２の発明に係るプログラムは、コンピュータを、第１の発明に係るコーディネート推薦装置の各部として機能させるためのプログラムである。

本発明のコーディネート推薦装置、及びプログラムによれば、学習用のコーディネート画像の各々から、ファッションのコーディネート対象となるパーツ領域を抽出し、パーツ領域の各々についての各特徴量の頻度を表すヒストグラムを並べた特徴量ヒストグラムを抽出し、学習用のコーディネート画像の各々の特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の属性とに基づいて、属性毎に、属性の人物が各トピックを好む確率、及び属性の人物において各トピックから各特徴量が出現する確率を含む確率モデルを構築し、クエリ画像と、構築された確率モデルとに基づいて、クエリ画像のトピック比率を算出し、算出されたトピック比率に対応するコーディネートを推薦することにより、ユーザの属性に応じたコーディネートを推薦することができる、という効果が得られる。

本発明の実施の形態に係るコーディネート推薦システムの構成を示す図である。 本発明の第１の実施の形態に係るコーディネート推薦装置の構成を示すブロック図である。 本発明の第１の実施の形態に係るコーディネート推薦装置におけるコーディネート推薦処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係るコーディネート推薦装置における確率モデル構築処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係るコーディネート推薦装置における推薦処理ルーチンを示すフローチャートである。 本発明の第２の実施の形態に係るコーディネート推薦装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る推薦装置におけるコーディネート推薦処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。コーディネートの推薦においては、気に入ったファッションコーデを考慮するだけでなく、ユーザの年齢や体型といった属性にあうようにアレンジした商品をレコメンドすることにより、よりユーザの満足度を高めることができると考えられる。例えば、ユーザの体型にあうようなアレンジとは、小柄な体型が気になるならば、柄は小さいものを選択する、足を長く見せたければ、ウエストより少し上にベルトをまき、重心を高くするなど、体型にあわせたコーディネートのテクニックがファッションに関する雑誌などでは紹介されている。しかし、それらのアレンジを、ファッションコーディネータではない一般の人が考慮しようとしても、なかなかうまく適用するのは難しい。そこで、本発明の実施の形態に係るシステムでは、身長など体型ごとに、どのようなコーディネートが適しているのか、配色やデザインといった観点からコーディネートのモデルを作成する。これにより、ユーザの希望するスタイルでユーザの体型にあったアイテムを推薦することも可能となり、ユーザの希望するアイテムにどのような他のアイテムを組み合わせれば、ユーザの体型にあったものになるのかなどの算出も可能となる。

＜本発明の実施形態に係るコーディネート推薦システムの構成＞

まず、本発明の実施形態に係るコーディネート推薦システムの構成について説明する。図１に示すように、実施形態に係るコーディネート推薦システム１は、クライアント端末５０と、ネットワーク８０と、コーディネート推薦装置１００（２００）とを含んで構成されている。

クライアント端末５０は、ユーザからコーディネート画像の入力を受け付け、当該コーディネート画像を、ネットワーク８０を介して、コーディネート推薦装置１００に送信する。また、クライアント端末５０は、ネットワーク８０を介して、コーディネート推薦装置１００から受信したコーディネートの推薦結果を当該クライアント端末５０のディスプレイ等に表示する。

コーディネート推薦装置１００は、ネットワーク８０を介して、クライアント端末５０から受信したコーディネート画像に基づいて、コーディネートを推薦し、推薦するコーディネートを、ネットワーク８０を介して、クライアント端末５０に送信する。

＜本発明の第１の実施の形態に係るコーディネート推薦装置の構成＞

次に、本発明の第１の実施の形態に係るコーディネート推薦装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係るコーディネート推薦装置１００は、ＣＰＵと、ＲＡＭと、後述するコーディネート推薦処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このコーディネート推薦装置１００は、機能的には図１に示すように入力部１１０と、演算部１２０と、出力部１５０とを備えている。

入力部１１０は、学習用のコーディネート画像の各々と、学習用のコーディネート画像の各々が表す人物の身長とを受け付ける。コーディネート画像は、モデルなどファッションに関する知見のある人物のファッションのコーディネート例の画像を、モデルの身長の情報とともに多数収集したものである。また、入力部１１０は、ユーザが入力したコーディネート画像、及びユーザの身長を表す情報を受け付ける。

演算部１２０は、画像ＤＢ１２２と、ファッションコーディネートＤＢ１２４と、特徴量抽出部１３０と、確率モデル構築部１３２と、コーディネート推薦部１３４とを含んで構成されている。

画像ＤＢ１２２には、年齢別、体型別といった人物の属性ごとに、コーディネートを表す画像が格納されている。コーディネート画像は、可能であればサイズごとに用意しておき、ユーザが着用可能なサイズのコーディネート画像を取得できるようにしておく。

ファッションコーディネートＤＢ１２４には、体型によるコーディネートについて考慮するため、後述する確率モデル構築部１３２で学習した、体型に応じたファッションコーディネートを確率モデルで表現するためのパラメータ、及び後述する特徴量抽出部１３０で抽出する画像の特徴量に関する情報等が記憶されている。

特徴量抽出部１３０は、入力部１１０で受け付けた学習用のコーディネート画像の各々から、ファッションのコーディネート対象となるパーツ領域を抽出し、パーツ領域の各々についての各特徴量の頻度を表すヒストグラムを並べた特徴量ヒストグラムを抽出する。

特徴量抽出部１３０は、具体的には、まず、入力されたコーディネート画像から人物領域を抽出し、トップス、ボトムスなどのパーツ領域ごとに分割する。参考文献１のように大量の学習用画像をもとにポーズ推定をおこない、パーツの位置推定をおこなってもよい。

［参考文献１］Kota Yamaguchi, M Hadi Kiapour, Luis E Ortiz, Tamara L Berg, "Parsing Clothing in Fashion Photographs", CVPR 2012

特徴量抽出部１３０は、次に、抽出したパーツ領域ごとに特徴量ヒストグラムを算出する。

特徴量はどのようなものでもよいが、形状、柄、カラーといったファッションに関する特徴を捉える特徴量をもちいることが好ましい。例えば、参考文献２に記載のLBPや、カラー特徴量、参考文献３に記載のBag of visual wordsなどを用いる。

［参考文献２］T. Ojala, M. Pietikainen, and D. Harwood (1996), "A Comparative Study of Texture Measures with Classification Based on Feature Distributions", Pattern Recognition, vol. 29, pp. 51-59.

［参考文献３］八木康史・齋藤英雄編，「コンピュータビジョン最先端ガイド3」“4章 Bag-of-Featuresに基づく物体認識(2) - 一般物体認識 -”，アドコム・メディア株式会社，2010年6月発行．

ここでは、一例としてカラー特徴量について述べる。カラー画像では各ピクセル（画素）はＲ，Ｇ，Ｂがそれぞれ０から２５５までの値を取るのでカラー値は２５６×２５６×２５６個ある。これを、例えば４×４×４の６４色に落とす。落とし方は、まず、Ｒ，Ｇ，Ｂそれぞれについて、０から２５５の区間を、０から６３、６４から１２７、１２８から１９１、１９２から２５５の４つの区間に分ける。０から６３の区間の場合、カラー値０とし、６４から１２７の区間の場合、カラー値１、１２８から１９１の区間の場合カラー値２、１９２から２５５の区間の場合カラー値を３とする。これにより、Ｒのカラー値×４×４＋Ｇのカラー値×４＋Ｂのカラー値で、カラー特徴量を表現する。たとえば（Ｒ，Ｇ，Ｂ）＝（６０，１８９，２１４）のとき、Ｒのカラー値は０、Ｇのカラー値２、Ｂのカラー値３となり、０×１６＋２×４＋３となり、カラー特徴量は１１と表現される。このように、各ピクセルごとに、６４までの値で、カラー特徴量が表現される。

特徴量抽出部１３０は、上記の特徴量をパーツ領域ごとに抽出し、パーツ領域ごとに、各カラー特徴量の値の出現頻度を表すヒストグラムを生成する。

参考文献２に記載のＬＢＰは、注目する画素の近傍８画素について、注目画素との差が正ならば１を、０以下ならば０を割り当て、８近傍を８ビットの１と０の２進数で表現する特徴量である。得られた８ビットの数を１０進数になおし、各画素での値をＬＢＰ特徴量とし、パーツ領域ごとに、各ＬＢＰ特徴量の値の出現頻度を表すヒストグラムを算出する。また、参考文献３に記載のBag of visual wordsを用いて、パーツ領域ごとに、Bag of visual wordsを表すヒストグラムを算出する。

これらのパーツ領域ごとのヒストグラムを、パーツ領域ごとに並べることで特徴量ヒストグラムを作成する。たとえば、パーツ領域のうち、左肩領域から抽出した、ＬＢＰ特徴量のヒストグラム、Bag of visual wordsを表すヒストグラム、カラー特徴量のヒストグラムを並べ、次に右肩領域のＬＢＰ特徴量のヒストグラム、Bag of visual wordsを表すヒストグラム、カラー特徴量のヒストグラム、次に足領域のＬＢＰ特徴量のヒストグラム、Bag of visual wordsを表すヒストグラム、カラー特徴量のヒストグラムの順に格納するといったように、パーツ領域ごとに決まった順番にヒストグラムを並べ、並べられたヒストグラムを学習用画像の特徴量ヒストグラムとする。

確率モデル構築部１３２は、特徴量抽出部１３０により抽出された学習用のコーディネート画像の各々の特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の身長とに基づいて、身長毎に、身長の人物が各トピックを好む確率、及び当該身長の人物において各トピックから各特徴量が出現する確率を含む確率モデルを構築する。本実施の形態では、確率モデルとして、ダイナミックトピックモデルを構築する。また、本実施の形態では、属性として身長を用いたが、属性としては身長の他に、例えば、肩幅、ウエスト幅、又は年齢の値とすることができる。

本実施の形態では、参考文献４に記載のダイナミックトピックモデルを構築する。

［参考文献４］Blei, David M; Lafferty, John D (2006). "Dynamic topic models". Proceedings of the ICML. ICML'06: 113-120. ISBN 1-59593-383-2.

参考文献４記載のダイナミックトピックモデルにおけるパラメータ時刻が、ユーザの体型つまり身長にあたり、トピックは、ファッションのスタイルにあたると想定され、たとえば、通勤、スポーティ、コンサバ、フェミニンといったような用語で表現されるものである。

また、参考文献４記載のダイナミックトピックモデルにおけるワードは、特徴量、つまりデザインにあたり、たとえば、柄の大きさやえりまわりのかたち、配色などの出現の仕方にあたる。

ダイナミックトピックモデルは、次のようなトピックの段階的な変化を考慮したモデルである。身長によって興味のあるファッションのスタイル（ダイナミックトピックモデルにおけるトピック）はおのずと変わってくる。例えば、高い身長の人たちにはスポーティ、クールといったようなスタイルが好まれ、身長の低い人たちにはガーリーやフェミニンといったスタイルが好まれるといったような傾向があると想定される。それを身長ｔごとに異なるスタイル分布α_ｔｚをもつとする。身長ごとにランダムに異なるわけではなく、身長ごとに少しずつ好みのスタイルが変化すると期待され、隣の身長の分布から少しだけ移動させながら推測する。また、好みのスタイルと同様に、同じスタイルに分類されても、身長によって着こなせるデザイン（ダイナミックトピックモデルにおけるワード）も少しずつ変わってくると考えられる。同じフェミニンでも、高い身長の人は大きな柄のデザインを好み、低い身長の人は小さい柄のデザインを好むなど、身長ｔごとに各ファッションのトピック（スタイル）ｚから出現しやすい画像特徴量（デザイン）ｖの分布（画像特徴量ｖの出現確率）β_ｔｚｖの傾向が異なると推定され、その分布を表すパラメータα_ｔｚ、及びβ_ｔｚｖを学習する。

つまり、学習用のコーディネート画像の各々から、上記参考文献４に記載の手法によって学習されるパラメータα_ｔｚは、身長ｔの人物がトピックｚを好む確率であり、β_ｔｚｖは、身長ｔの人物のトピックｚから画像特徴量（デザイン）ｖが出現する出現確率である。

ここで、ダイナミックトピックモデルによる、身長ｔにおけるトピック及び画像特徴量の生成過程を以下に説明する。なお、各身長ｔについて順に生成されるものとする。

まず、トピックｋ（k＝１，…，Ｚ）について、画像特徴量分布β_ｔ，ｚを以下の式に従って生成する。

β_ｔ，ｚ|β_{ｔ-１，ｚ}〜Ｎ(β_ｔ-１,ｚ，σ^２Ｉ

次に、トピックｋ（k＝１，…，Ｚ）について、トピックの事前分布α_ｔ,ｚを以下の式に従って生成する。

α_ｔ,ｚ|α_{ｔ-１，ｚ}〜Ｎ(α_{ｔ-１，ｚ}，δ^２Ｉ)

また、画像（ｄ＝１，…，Ｄ）について、画像特徴量（ｖ＝１，…，Ｖ）毎に、以下の式に従って、トピックＺ_{ｔ，ｖ，ｎ}を生成する。

Ｚ_{ｔ，ｖ，ｎ}〜Ｍｕｌｔ（π（η_ｔ，ｄ））
ただし、
η_ｔ，ｖ〜Ｎ（α_ｔ，ａ^２Ｉ）

また、以下の式に従って、画像特徴量Ｗ_{ｔ，ｖ，ｎ}を生成する。

ここで、Ｎはガウシアン分布、Ｍｕｌｔは多項分布である。

確率モデル構築部１３２は、各身長ｔについて順に上記の生成過程でトピック及び画像特徴量を生成するダイナミックトピックモデルにおける、身長ｔごとのパラメータα_ｔｚ、及びβ_ｔｚｖを学習し、ファッションコーディネートＤＢ１２４に格納する。

また、雑誌に出てくるモデルの身長は高い傾向にあると思われるので、たとえば、学習用データの中で一番高い身長から順次低い身長のトピックを推定していくように学習してもよい。ダイナミックトピックモデルにより、高い身長のモデルのコーディネートを目標にしつつ、各身長にあうように少しずつデザインをアレンジしている様子がトピックのなかの特徴量の変化に現れると思われる。身長別に独立にスタイルやデザインが選択されるわけではなく、模倣したい身長のコーディネートモデルにおけるトピックから、少しずつ真似しつつ各身長に合うように変化しているはずであり、その関連性もファッションコーディネートモデルで表現することができる。

例えば、オフィスというスタイルを表すトピックで、高身長のモデルはパンツ姿が多くても、小柄になるにつれ、同じオフィスのスタイルの雰囲気でも着用するものはタイトスカートを好むなどの好みのデザイン（画像特徴量）が変化してくる傾向が表れるなどの例があげられる。

上記のようにファッションコーディネートをダイナミックトピックモデルで記述する。

ファッションコーディネートＤＢ１２４には、各画像特徴量の算出方法、各身長の好みのトピック分布や各トピックからのデザイン（画像特徴量）の出現確率等とともに、後述する類似度を算出するための式も記憶しておく。

コーディネート推薦部１３４は、入力部１１０で受け付けたユーザが入力したコーディネート画像と、確率モデル構築部１３２により構築された確率モデルとに基づいて、入力した画像のトピック比率を算出し、算出されたトピック比率に対応するコーディネート画像を画像ＤＢ１２２から取得して出力部１５０に出力し、ネットワーク８０を介して、クライアント端末５０にコーディネート推薦結果として送信する。

コーディネート推薦部１３４は、具体的には以下に説明するように、ユーザが入力したコーディネートを表すクエリ画像から、特徴量ヒストグラムを抽出し、抽出された特徴量ヒストグラムと、構築された確率モデルにおける、クエリ画像が表す人物の身長ｔにおいて各トピックから各特徴量が出現する確率とに基づいて、クエリ画像のトピック比率を算出し、画像ＤＢ１２２に記憶された複数のコーディネート画像の各々についての、当該コーディネート画像から抽出された特徴量ヒストグラムと、確率モデルにおける、ユーザの属性において各トピックから各特徴量が出現する確率とに基づいて算出されるコーディネート画像のトピック比率と、算出されたクエリ画像のトピック比率とに基づいて、クエリ画像のトピック比率に対応するコーディネートを推薦する。

ここでは、ユーザが入力した、ユーザの真似したい全身のファッションを表すコーディネート画像（以下クエリ画像とする）と、ユーザの身長とをもとに推薦画像を検索する方法について説明する。

まず、上記確率モデル構築部１３２と同様の手法で、クエリ画像から人の領域を切り出し、パーツ領域ごとに分割する。パーツ領域ごとに学習時に用いたものと同じ特徴量を抽出し、パーツ領域ごとのヒストグラムを並べた特徴量ヒストグラムを算出する。

次に、クエリ画像のトピック比率を算出する。クエリ画像が表す人物（モデル）の身長がわかればその身長の値を用い、わからなければ、雑誌の女性モデルの身長のだいたい平均にあたる１６８ｃｍをデフォルトで入力してもよい。例えば、デフォルトの身長で作られた各トピックの確率Ｐ_ｚからなるトピック比率Ｐを以下（１）式で計算する。

ｚはトピック、ｖは特徴量、ｍ_ｖは特徴量ヒストグラムの特徴量ｖのビンの出現頻度を表し、β_ｔｚｖは、入力した身長ｔのトピックｚにおける画像特徴量ｖの出現確率である。β_ｔｚｖは、ファンションコーディネートＤＢ１２４に格納されている確率モデルから得られる。上記（２）式で表されるトピック比率が、どのようなスタイルのコーディネートが望ましいかを示した数値と考えられる。そのため、ユーザが望んでいるのは、どのようなスタイルのコーディネートなのか、例えば、オフィススタイルでかつフェミニンな雰囲気がいいのか（この場合は、オフィススタイルを表現するトピックとフェミニンを表現するトピックの比率が高くなる）、オフィススタイルでクールな雰囲気がいいのかなどを判定することが可能となる。

また、画像ＤＢ１２２に記憶されているコーディネート画像から、ユーザの属性に対応するコーディネート画像を、推薦用のコーディネート画像として取得し、推薦用のコーディネート画像の各々において、トピック比率を算出する。このとき、以下（２）式のように、ユーザの身長のトピックｚにおける画像特徴量ｖの出現確率を用いて、各トピックの確率Ｐ´ｚを算出する。

そして、画像ＤＢ１２２のコーディネート画像の各々のトピック比率と、クエリ画像のトピック比率との照合を行い、画像ＤＢ１２２のコーディネート画像のうち類似度の高いコーディネート画像を推薦画像として決定する。

学習時に同じ身長のモデルのコーディネート画像を用いて身長ｔごとに独立にトピックモデルを学習した場合、トピックも独立に生成されてしまうため、ユーザと異なる身長のモデルのコーディネート画像を用いてこのような推薦をすることはできない。しかし、前述のように、どの身長であっても似通ったスタイルが生成され、そのスタイルから出現するデザインが少しずつ変化するといった前提をもとに学習したダイナミックトピックモデルを用いていることにより、ユーザ自身とは身長の異なるモデルのコーディネート画像のスタイルから、ユーザ自身の身長にあったアレンジがされたコーディネート画像を検索することを可能にしている。

＜本発明の実施の形態に係るコーディネート推薦装置の作用＞

次に、本発明の実施の形態に係るコーディネート推薦装置１００の作用について説明する。入力部１１０において学習用のコーディネート画像の各々及び学習用のコーディネート画像の各々が表す人物の身長と、ユーザが入力したコーディネートを表すクエリ画像、及びユーザの身長を表す情報とを受け付けると、コーディネート推薦装置１００は、図３に示すコーディネート推薦処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１１０で受け付けた学習用のコーディネート画像の各々と、学習用のコーディネート画像の各々が表す人物の身長とに基づいて、確率モデルを構築する。

ステップＳ１０２では、入力部１１０で受け付けたユーザが入力したクエリ画像と、ステップＳ１００により構築された確率モデルと、ユーザの身長を表す情報とに基づいて、コーディネートを推薦する。

上記ステップＳ１００は、図４に示す確率モデル構築処理ルーチンによって実行される。

ステップＳ２００では、入力部１１０で受け付けた入力された学習用のコーディネート画像の各々から人物領域を抽出し、トップス、ボトムスなどのパーツ領域ごとに分割する。

ステップＳ２０２では、ステップＳ２００で分割したパーツ領域ごとに特徴量を抽出する。

ステップＳ２０４では、パーツ領域ごとに、ステップＳ２０２で抽出した特徴量から算出されるヒストグラムを並べて、特徴量ヒストグラムを生成する。

ステップＳ２０６では、ステップＳ２０４で生成した学習用のコーディネート画像の各々の特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の身長とに基づいて、身長毎に、身長の人物が各トピックを好む確率、及び当該身長の人物において各トピックから各特徴量が出現する確率を含む確率モデルを構築する。

上記ステップＳ１０２は、図５に示す推薦処理ルーチンによって実行される。

ステップＳ３００では、上記確率モデル構築部１３２と同様の手法で、ユーザが入力したクエリ画像から人の領域を切り出し、パーツ領域ごとに分割する。

ステップＳ３０２では、パーツ領域ごとに、学習時に用いたものと同じ特徴量を抽出してヒストグラムを算出し、パーツ領域ごとにヒストグラムを並べた特徴量ヒストグラムを抽出する。

ステップＳ３０４では、ステップＳ３０２で抽出された特徴量ヒストグラムと、ステップＳ１００で構築された確率モデルにおける、入力したクエリ画像が表す人物の身長ｔにおいて各トピックから各特徴量が出現する確率とに基づいて、上記（１）式に従って、ユーザが入力したクエリ画像のトピック比率を算出する。

ステップＳ３０６では、画像ＤＢ１２２に記憶されているコーディネート画像から、ユーザの属性に対応するコーディネート画像を、推薦用のコーディネート画像として取得し、推薦用のコーディネート画像の各々について、上記（２）式に従って、ユーザの身長において各トピックから各特徴量が出現する確率を用いて、トピック比率を算出する。

ステップＳ３０８では、推薦用のコーディネート画像の各々のトピック比率と、ユーザが入力したクエリ画像のトピック比率との照合を行い、推薦用のコーディネート画像のうち類似度の高いコーディネート画像を推薦画像として決定する。

ステップＳ３１０では、ステップＳ３１０で推薦画像として決定したコーディネート画像を画像ＤＢ１２２から取得して出力部１５０に出力し、ネットワーク８０を介して、クライアント端末５０にコーディネート推薦結果として送信する。

以上説明したように、第１の実施の形態に係るコーディネート推薦装置によれば、学習用のコーディネート画像の各々から、ファッションのコーディネート対象となるパーツ領域を抽出し、パーツ領域の各々についての各特徴量の頻度を表すヒストグラムを並べた特徴量ヒストグラムを抽出し、学習用のコーディネート画像の各々の特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の身長とに基づいて、身長毎に、身長の人物が各トピックを好む確率、及び身長の人物において各トピックから各特徴量が出現する確率を含む確率モデルを構築し、ユーザが入力したクエリ画像と、構築された確率モデルとに基づいて、入力したクエリ画像のトピック比率を算出し、算出されたトピック比率に対応するコーディネートを推薦することにより、ユーザの身長に応じたコーディネートを推薦することができる。

また、ユーザが自分と異なる体型のモデルの着用しているファッションコーディネートを真似したい場合、学習により得られたファッションの確率モデルから当該ユーザの体型にあうようにアレンジされたコーディネートを推薦することができる。

＜本発明の第２の実施の形態に係るコーディネート推薦装置の構成＞

次に、本発明の第２の実施の形態に係るコーディネート推薦装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。

図６に示すように、本発明の第２の実施の形態に係るコーディネート推薦装置２００は、ＣＰＵと、ＲＡＭと、後述するコーディネート推薦処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このコーディネート推薦装置２００は、機能的には図６に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。

入力部２１０は、学習用のコーディネート画像の各々と、学習用のコーディネート画像の各々が表す人物の身長とを受け付ける。また、入力部２１０は、ユーザが入力したアイテムを表す画像、及びユーザの身長を表す情報を受け付ける。ここで、アイテムとは、人物が各パーツ領域において着用しているトップス、ボトムス等のファッションアイテムを示す。

演算部１２０は、画像ＤＢ２２２と、ファッションコーディネートＤＢ１２４と、特徴量抽出部１３０と、確率モデル構築部１３２と、コーディネート推薦部２３４とを含んで構成されている。

画像ＤＢ２２２には、年齢別、体型別といった人物の属性ごとに、パーツごとのアイテムを表す画像（トップスだけ、あるいはボトムスだけなどのアイテムを表す画像）が格納されている。

コーディネート推薦部２３４は、入力部２１０で受け付けたユーザが入力したアイテムを表すクエリ画像から、特徴量ヒストグラムを抽出し、抽出された特徴量ヒストグラムと、構築された確率モデルにおける、ユーザが入力したユーザの身長において各トピックから各特徴量が出現する確率とに基づいて、入力したアイテムを表すクエリ画像のトピック比率を算出する。そして、画像ＤＢ２２２に記憶されたクエリ画像が表すアイテムのパーツとは異なるパーツのアイテムを表す複数の画像の各々についての、当該画像から抽出された特徴量ヒストグラムと、確率モデルにおける、ユーザの身長において各トピックから各特徴量が出現する確率とに基づいて算出される当該画像のトピック比率と、算出されたクエリ画像のトピック比率とに基づいて、クエリ画像のトピック比率に対応する、クエリ画像が表すアイテムのパーツとは異なるパーツのアイテムを表す画像を画像ＤＢ２２２から取得して出力部１５０に出力し、ネットワーク８０を介して、クライアント端末５０にコーディネート推薦結果として送信する。

例えば、ユーザが入力したアイテムを表すクエリ画像が、トップスのアイテムを表す画像であれば、当該トップスに合うボトムスのアイテムを表す画像を画像ＤＢ２２２から取得する。

まず、入力されたアイテムを表すクエリ画像（以下、クエリ画像とする）から、参考文献５に記載のGrabcutの手法などでアイテム領域を抽出し、学習に用いられた画像特徴量と同じ特徴量を抽出し、アイテム領域のヒストグラムを並べた特徴量ヒストグラムを算出する。次に、クエリ画像のトピック比率を算出する。トップスの各トピックのトピック比率を算出する場合は、トピック毎に、当該トップスの各特徴量の、ユーザの身長における当該トピックからの出現確率を、トップスの各特徴量のビンの頻度と掛け合わせ、加算することで得られる。ボトムスの場合も同様に算出する。

［参考文献５］“GrabCut”-Interactive Foreground Extraction using Iterated Graph Cuts SIGGRAPH '04 ACM SIGGRAPH 2004 Papers P.309-314

また、画像ＤＢ２２２に記憶されているアイテムを表す画像から、ユーザの属性に対応するアイテムを表す画像であって、クエリ画像とは異なるパーツのアイテムを表す画像を、推薦用のアイテムを表す画像として取得し、推薦用のアイテムを表す画像の各々において、クエリ画像と同様に、トピック比率を算出する。そして、画像ＤＢ２２２のアイテムを表す画像の各々のトピック比率と、クエリ画像のトピック比率との照合を行い、画像ＤＢ２２２のコーディネート画像のうち類似度の高いコーディネート画像を推薦画像として決定する。類似度の算出には何を用いてもよいが、ユークリッド距離やコサイン類似度、ＫＬダイバージェンスなどがあげられる。データベースに保存された類似度算出式を用い、類似度が高いと判定された画像を推薦する。身長ごとに、トピックからの画像特徴量の出現確率等が少しずつ異なるため、アイテム画像が同じデザインでも、身長ごとに異なるトピック比率となり、身長ごとに適したアイテムを推薦することを可能にする。

なお、第２の実施の形態に係るコーディネート推薦装置２００の他の構成は第１の実施の形態と同様であるため詳細な説明を省略する。

＜本発明の第２の実施の形態に係るコーディネート推薦装置の作用＞

次に、本発明の第２の実施の形態に係るコーディネート推薦装置２００の作用について説明する。入力部２１０において学習用のコーディネート画像の各々及び学習用のコーディネート画像の各々が表す人物の身長と、ユーザが入力したアイテムを表すクエリ画像と、ユーザの身長を表す情報とを受け付けると、コーディネート推薦装置２００は、上記図３に示すコーディネート推薦処理ルーチンを実行する。

ただし、第２の実施の形態のステップＳ１０２は、図７に示す推薦処理ルーチンによって実行される。

ステップＳ４００では、アイテムを表すクエリ画像について、学習時に用いたものと同じ特徴量を抽出してヒストグラムを算出し、ヒストグラムを並べた特徴量ヒストグラムを抽出する。

ステップＳ４０２では、ステップＳ３０２で抽出された特徴量ヒストグラムと、ステップＳ１００で構築された確率モデルにおける、ユーザが入力したユーザの属性（身長ｔ）において各トピックから各特徴量が出現する確率とに基づいて、ユーザが入力したクエリ画像のトピック比率を算出する。

ステップＳ４０４では、画像ＤＢ２２２に記憶されているアイテムを表す画像から、ユーザの属性に対応するアイテムを表す画像であって、クエリ画像とは異なるパーツのアイテムを表す画像を、推薦用のアイテムを表す画像として取得し、推薦用のアイテムを表す画像の各々について、クエリ画像と同様に、ユーザの身長において各トピックから各特徴量が出現する確率を用いて、トピック比率を算出する。

ステップＳ４０６では、推薦用のアイテムを表す画像の各々のトピック比率と、ユーザが入力したクエリ画像のトピック比率との照合を行い、推薦用のアイテムを表す画像のうち類似度の高いアイテムを表す画像を推薦画像として決定する。

ステップＳ４０８では、ステップＳ３１０で推薦画像として決定したアイテムを表す画像を画像ＤＢ２２２から取得して出力部２５０に出力し、ネットワーク８０を介して、クライアント端末５０にコーディネート推薦結果として送信する。

以上説明したように、第２の実施の形態に係るコーディネート推薦装置によれば、学習用のコーディネート画像の各々から、ファッションのコーディネート対象となるパーツ領域を抽出し、パーツ領域の各々についての各特徴量の頻度を表すヒストグラムを並べた特徴量ヒストグラムを抽出し、学習用のコーディネート画像の各々の特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の身長とに基づいて、身長毎に、身長の人物が各トピックを好む確率、及び身長の人物において各トピックから各特徴量が出現する確率を含む確率モデルを構築し、クエリ画像と、構築された確率モデルとに基づいて、クエリ画像のトピック比率を算出し、算出されたトピック比率に対応するアイテムを推薦することにより、ユーザの身長に応じたコーディネートを推薦することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

５０ クライアント端末
８０ ネットワーク
１００、２００ コーディネート推薦装置
１１０、２１０ 入力部
１２０、２２０ 演算部
１３０ 特徴量抽出部
１３２ 確率モデル構築部
１３４、２３４ コーディネート推薦部
１５０ 出力部

Claims (6)

1. ユーザの属性にあったコーディネートを提示するコーディネート推薦装置であって、
   学習用のコーディネート画像の各々から、ファッションのコーディネート対象となるパーツ領域を抽出し、パーツ領域の各々についての各特徴量の頻度を表すヒストグラムを並べた特徴量ヒストグラムを抽出する特徴量抽出部と、
   前記特徴量抽出部により抽出された学習用のコーディネート画像の各々の前記特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の属性とに基づいて、前記属性毎に、前記属性の人物が各トピックを好む確率、及び前記属性の人物において各トピックから各特徴量が出現する確率を含む確率モデルを構築する確率モデル構築部と、
   前記ユーザが入力したクエリ画像と、前記確率モデル構築部により構築された前記確率モデルとに基づいて、前記入力したクエリ画像のトピック比率を算出し、算出された前記トピック比率に対応するコーディネートを推薦するコーディネート推薦部と、
   を含むコーディネート推薦装置。
2. 前記コーディネート推薦部は、前記ユーザが入力したコーディネートを表すクエリ画像から、前記特徴量ヒストグラムを抽出し、前記抽出された特徴量ヒストグラムと、前記構築された前記確率モデルにおける、前記クエリ画像が表す人物の属性において各トピックから各特徴量が出現する確率とに基づいて、前記クエリ画像のトピック比率を算出し、
   予め用意された複数のコーディネート画像の各々についての、前記コーディネート画像から抽出された特徴量ヒストグラムと、前記構築された前記確率モデルにおける、前記ユーザの属性において各トピックから各特徴量が出現する確率とに基づいて算出される前記コーディネート画像のトピック比率と、算出された前記入力したクエリ画像のトピック比率とに基づいて、前記入力したクエリ画像のトピック比率に対応するコーディネートを推薦する請求項１に記載のコーディネート推薦装置。
3. 前記コーディネート推薦部は、前記ユーザが入力したアイテムを表すクエリ画像から、前記特徴量ヒストグラムを抽出し、前記抽出された特徴量ヒストグラムと、前記構築された前記確率モデルにおける、前記ユーザが入力した前記ユーザの属性において各トピックから各特徴量が出現する確率とに基づいて、前記クエリ画像のトピック比率を算出し、
   予め用意された前記クエリ画像が表すアイテムのパーツとは異なるパーツのアイテムを表す複数の画像の各々についての、前記画像から抽出された特徴量ヒストグラムと、前記構築された前記確率モデルにおける、前記ユーザの属性において各トピックから各特徴量が出現する確率とに基づいて算出される前記画像のトピック比率と、算出された前記クエリ画像の前記トピック比率とに基づいて、前記クエリ画像のトピック比率に対応する、前記クエリ画像が表すアイテムのパーツとは異なるパーツのアイテムを推薦する請求項１に記載のコーディネート推薦装置。
4. 前記確率モデル構築部は、前記特徴量抽出部により抽出された学習用のコーディネート画像の各々の前記特徴量ヒストグラムと、学習用のコーディネート画像の各々が表す人物の属性とに基づいて、前記確率モデルとして、ダイナミックトピックモデルを構築する請求項１〜請求項３のいずれか１項に記載のコーディネート推薦装置。
5. 前記属性は、身長、肩幅、ウエスト幅、又は年齢の値とする請求項１〜請求項４のいずれか１項に記載のコーディネート推薦装置。
6. コンピュータを、請求項１〜請求項５のいずれか１項に記載のコーディネート推薦装置の各部として機能させるためのプログラム。