JP2014229129A - 組み合わせ提示装置及びコンピュータプログラム - Google Patents

Abstract

【課題】コーディネートを行う際に生じる手間を軽減しつつ、ユーザの嗜好に応じたコーディネートを提示すること。【解決手段】組み合わせに関するユーザの要望を取得し、要望に応じた組み合わせ画像を取得する取得部と、ユーザが保有する物品を表す複数の保有物品画像の中から、取得部によって取得された組み合わせ画像に類似する保有物品画像を選択する選択部と、選択部によって選択された保有物品画像を提示する提示部と、を備える組み合わせ提示装置。【選択図】図２

Description

本発明は、画像の検索技術に関する。

日常生活における衣服のコーディネートは、出かけ先の場所、会う人、天候など様々な要因を踏まえて考えられる。そのため、人は、それぞれの状況にあった衣服のコーディネートを考える必要がある。しかし、このようなことは、日常生活では毎日のことであるため、忙しい場合には衣服のコーディネートを考える時間が取れないこともある。その結果、同じような衣服の組み合わせを何度もしてしまうことがある。このような問題を解決するために、従来、衣服のコーディネートに関する技術が複数提案されている。

１つ目の技術として、ユーザが手入力した服の色や形などの情報に基づいて、学習画像から作成したベイジアンネットワークモデルにあう服の組み合わせを提案する技術がある（例えば、非特許文献１参照）。非特許文献１の技術によれば、ユーザは季節ごとに服の組み合わせを選択することができる。
また、２つ目の技術として、鏡に装着したカメラでユーザの服を撮影・蓄積し、蓄積した画像を組み合わせることで、コーディネート例を作成する技術がある（非特許文献２参照）。非特許文献２の技術によれば、ユーザは実際に衣服を着用することなく、自身が保有している衣服の画像を組み合わせて様々なコーディネート画像を閲覧することができる。

森本泰貴、外2名、「ベイジアンネットワークモデルを用いた衣服コーディネイト推薦システムの開発」、社団法人情報処理学会研究報告、MPS、数理モデル化と問題解決研究報告、2008(126)、p.177-180、2008-12-10 佐藤彩夏、外2名、「姿を利用したファッションコーディネート支援システムｓｕＧＡＴＡＬＯＧの提案と評価」、情報処理学会シンポジウムシリーズ、ISSN1344-0640、2011.3.10-12、Vol. 2011、No. 3、pp.41-48

しかしながら、非特許文献１の技術では、ユーザは１着１着、服装に関する情報を入力する必要があるため手間がかかってしまう。また、非特許文献２の技術では、ユーザの嗜好に応じたコーディネートをユーザに推薦、提示することができないといった問題がある。

上記事情に鑑み、本発明は、コーディネートを行う際に生じる手間を軽減しつつ、ユーザの嗜好に応じたコーディネートを提示する技術の提供を目的としている。

本発明の一態様は、組み合わせに関するユーザの要望を取得し、前記要望に応じた組み合わせ画像を取得する取得部と、ユーザが保有する物品を表す複数の保有物品画像の中から、前記取得部によって取得された前記組み合わせ画像に類似する保有物品画像を選択する選択部と、選択部によって選択された前記保有物品画像を提示する提示部と、を備える組み合わせ提示装置である。

本発明の一態様は、上記の組み合わせ提示装置であって、前記取得部は、ユーザから組み合わせの分類に関する情報を前記要望として取得し、前記分類に関連する組み合わせ画像を取得する。

本発明の一態様は、上記の組み合わせ提示装置であって、前記取得部は、前記分類に関連する複数の組み合わせ画像を選択し、前記複数の組み合わせ画像の中から前記ユーザによって選択された組み合わせ画像を、前記要望に応じた組み合わせ画像として取得する。

本発明の一態様は、上記の組み合わせ提示装置であって、前記取得部は、ユーザが利用したい物品に関する情報をユーザから前記要望として取得し、ユーザが利用したい物品に類似する物品を含む組み合わせ画像を取得する。

本発明の一態様は、組み合わせに関するユーザの要望を取得し、前記要望に応じた組み合わせ画像を取得する取得ステップと、ユーザが保有する物品を表す複数の保有物品画像の中から、前記取得ステップによって取得された前記組み合わせ画像に類似する保有物品画像を選択する選択ステップと、選択ステップによって選択された前記保有物品画像を提示する提示ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、コーディネートを行う際に生じる手間を軽減しつつ、ユーザの嗜好に応じたコーディネートを提示することが可能となる。

図１は、本実施形態における組み合わせ決定システムのシステム構成を示す図である。 本実施形態における端末装置１０及び組み合わせ提示装置２０の機能構成を表す概略ブロック図である。 コーディネート画像をパーツ領域に分割した具体例を示す図である。 カテゴリと代表コーディネート画像との関係を表す図である。 確率パラメータの具体例を示す図である。 コーディネート画像と保有アイテム画像との照合の概念図である。 本実施形態におけるコーディネートＤＢ生成処理の流れを示すフローチャートである。 本実施形態における組み合わせ提示装置２０の画像配信処理の流れを示すフローチャートである。 本実施形態における端末装置１０の画像要求処理の流れを示すフローチャートである。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本実施形態における組み合わせ決定システムのシステム構成を示す図である。本実施形態の組み合わせ決定システムは、複数の端末装置１０（１０−１〜１０−Ｎ：Ｎは１以上の整数）、組み合わせ提示装置２０、ネットワーク３０及び共有サーバ４０を備える。
組み合わせ決定システムの理解のため、具体例として、衣服のコーディネート（組み合わせ）を決定するシステムについて説明する。まず、以下の説明において使用する文言を定義する。
コーディネート画像とは、コーディネート例の参考にする画像である。
保有アイテムとは、ユーザが保有している衣服である。
保有アイテム画像とは、保有アイテムの画像である。
まず、保有アイテム画像の組み合わせを要求したいユーザは、端末装置１０を操作して組み合わせ提示装置２０に保有アイテム画像の組み合わせを要求する。組み合わせ提示装置２０は、ネットワーク３０上や共有サーバ４０から取得したコーディネート画像と、保有アイテム画像との類似度から保有アイテム画像の組み合わせ例を提示する。

端末装置１０は、例えばスマートフォン、携帯電話機、ＰＤＡ（Personal Digital Assistant）、携帯ゲーム装置、タブレット装置、パーソナルコンピュータ等の情報処理装置を用いて構成される。端末装置１０は、ユーザによって入力された組み合わせ要求の指示に応じて組み合わせ要求情報を生成し、ネットワーク３０を介して組み合わせ提示装置２０に送信する。

組み合わせ提示装置２０は、情報処理装置を用いて構成される。組み合わせ提示装置２０は、端末装置１０から送信された組み合わせ要求情報に応じて画像を検索する。組み合わせ提示装置２０は、例えば端末装置１０から送信された組み合わせ要求情報に応じて、ユーザに合ったコーディネート画像を検索する。また、組み合わせ提示装置２０は、検索されたコーディネート画像を端末装置１０に送信する。
ネットワーク３０は、どのように構成されたネットワークでもよい。例えば、ネットワーク３０はインターネットを用いて構成されてもよい。

共有サーバ４０は、情報処理装置を用いて構成される。共有サーバ４０は、端末装置１０から送信された保有アイテム画像を、端末装置１０のユーザに割り当てられたユーザＩＤに対応付けて蓄積する。以下の説明では、共有サーバ４０に蓄積された画像を「蓄積画像」という。共有サーバ４０は、例えば画像共有サイトを提供するサーバとして構築されてもよい。

図２は、本実施形態における端末装置１０及び組み合わせ提示装置２０の機能構成を表す概略ブロック図である。まず、端末装置１０の機能構成を説明する。端末装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、検索要求プログラムを実行する。検索要求プログラムの実行によって、端末装置１０は、入力部１０１、要求部１０２、通信部１０３、表示部１０４を備える装置として機能する。なお、端末装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、検索要求プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、検索要求プログラムは、電気通信回線を介して送受信されてもよい。

入力部１０１は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部１０１は、ユーザの配信要求の指示を端末装置１０に入力する際にユーザによって操作される。入力部１０１は、入力装置を端末装置１０に接続するためのインタフェースであってもよい。この場合、入力部１０１は、入力装置においてユーザの入力に応じ生成された入力信号を端末装置１０に入力する。
要求部１０２は、入力部１０１に入力された配信要求の指示に基づいて組み合わせ要求情報を生成する。

通信部１０３は、組み合わせ提示装置２０との間で通信を行う。通信部１０３は、例えば要求部１０２によって生成された組み合わせ要求情報を組み合わせ提示装置２０に送信する。また、通信部１０３は、例えば組み合わせ提示装置２０から送信された画像データを受信する。通信部１０３が受信する画像データは、例えばコーディネート画像や保有アイテム画像などである。

表示部１０４は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１０４は、例えば画像データを表示する。表示部１０４は、画像表示装置を端末装置１０に接続するためのインタフェースであってもよい。この場合、表示部１０４は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

次に、組み合わせ提示装置２０の機能構成を説明する。組み合わせ提示装置２０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、配信プログラムを実行する。配信プログラムの実行によって、組み合わせ提示装置２０は、通信部２０１、制御部２０２、画像取得部２０３、特徴量抽出部２０４、確率パラメータ算出部２０５、コーディネートＤＢ（データベース）２０６、検索部２０７、ユーザＤＢ２０８、類似度算出部２０９、配信部２１０を備える装置として機能する。なお、組み合わせ提示装置２０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、配信プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、配信プログラムは、電気通信回線を介して送受信されてもよい。

通信部２０１は、端末装置１０との間で通信を行う。通信部２０１は、例えば端末装置１０から送信された組み合わせ要求情報を受信する。また、通信部２０１は、例えば受信された組み合わせ要求情報に応じた画像データを端末装置１０に送信する。
制御部２０２は、組み合わせ提示装置２０の各機能部を制御する。

画像取得部２０３は、共有サーバ４０に記憶されている蓄積画像やネットワーク３０上からコーディネート画像を取得する。
特徴量抽出部２０４は、画像取得部２０３によって取得された蓄積画像及びコーディネート画像から特徴量を抽出する。
確率パラメータ算出部２０５は、特徴量抽出部２０４によって抽出された蓄積画像の特徴量に基づいて確率パラメータを算出する。確率パラメータとは、コーディネートを確率モデルで表すために用いられるパラメータである。

コーディネートＤＢ２０６は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。コーディネートＤＢ２０６は、確率パラメータ算出部２０５によって算出された確率パラメータ及びコーディネート画像を記憶している。
検索部２０７は、通信部２０１によって受信された組み合わせ要求情報に基づいてコーディネートＤＢ２０６からコーディネート画像を検索する。また、検索部２０７は、通信部２０１によって受信された組み合わせ要求情報に基づいてユーザＤＢ２０８から保有アイテム画像を検索する。

ユーザＤＢ２０８は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。ユーザＤＢ２０８は、保有アイテム画像と当該保有アイテム画像の特徴量とを対応付けて記憶している。
類似度算出部２０９は、コーディネートＤＢ２０６に記憶されているコーディネート画像の特徴量と、ユーザＤＢ２０８に記憶されている保有アイテム画像の特徴量との類似度を算出する。類似度とは、特徴量の類似の度合いの高さを表す。類似度が高いほど、コーディネート画像と保有アイテム画像との特徴が類似している。
配信部２１０は、類似度算出部２０９によって算出された類似度に応じて画像データを端末装置１０に送信する。配信部２１０は、例えばコーディネート画像と類似度が高い保有アイテム画像を端末装置１０に送信してもよい。

次に、コーディネートＤＢ２０６の生成方法について説明する。
まず、コーディネート画像を取得する前処理として識別器を作成する方法について説明する。識別器を作成するための学習用画像として、コーディネート画像とコーディネート画像以外とが複数枚用意される。次に、用意された複数枚の学習用画像からそれぞれ特徴量を抽出する。そして、抽出されたそれぞれの特徴量を、統計的学習手法を用いて学習させることによってコーディネート画像とコーディネート画像以外とを識別する識別器が作成される。
以上の処理が前処理である。

画像取得部２０３は、以上の前処理によって予め作成された識別器を用いてネットワーク３０上や共有サーバ４０からコーディネート画像を取得する。ネットワーク３０上のｗｅｂサイト（例えば、ファッション店舗のホームページなど）には、ファッション雑誌やファッション店舗が商品の宣伝をするために、商品を組み合わせたコーディネート例の画像が数多く掲載されている。また、ネットワーク３０上には、ファッションブランドのコレクションなどで発表されたコーディネート例の画像も数多く掲載されている。さらに、一般の人々が日々のコーディネート例をブログ等に掲載している場合もある。そのため、画像取得部２０３は、ネットワーク３０上から多くのコーディネート画像を取得することができる。なお、コーディネート画像は、人手で収集されてもよい。

次に、画像取得部２０３は、取得したコーディネート画像をカテゴリごとに分類する。カテゴリごとに分類する方法として、例えば画像を収集するサイトでカテゴリ別にタグ付されている場合には、画像取得部２０３は取得したコーディネート画像をそれぞれのカテゴリの中から適合するカテゴリに分類する。また、画像取得部２０３は、コーディネート画像を取得したサイトごとにコーディネート画像を分類してもよいし、季節や天候、出かけ先などＴＰＯ（Time Place Occasion）にあったカテゴリごとに分類してもよい。また、カテゴリは、上述したカテゴリ以外のカテゴリに分類されてもよい。例えば、カテゴリは、「春、暖かい、入学式」、「春、肌寒い、卒業式」などの季節や用途ごとのカテゴリであってもよいし、「３０代、身長低い、フェミニン」、「４０代、大柄、フォーマル」などの雰囲気ごとのカテゴリであってもよい。なお、カテゴリの分類は、人手で行われてもよい。

次に、特徴量抽出部２０４は、カテゴリごとに分類された複数のコーディネート画像から特徴量を抽出する。以下、特徴量を抽出する方法について具体的に説明する。特徴量を抽出する方法は、コーディネート画像から衣服領域の抽出を行うステップ、抽出された衣服領域をさらに細かいパーツ領域に分割するステップ、パーツ領域ごとに特徴量を抽出するステップ、の３つのステップによって実行される。以下、各ステップの処理について図３を用いて説明する。衣服領域とは、衣服や衣服を着用している人物が撮像されている領域である。パーツ領域とは、人物の肩や腕、足などの各部位が撮像されている領域である。

まず、矩形領域画像から衣服領域を抽出する処理について説明する。
図３は、コーディネート画像をパーツ領域に分割した具体例を示す図である。図３（Ａ）は、画像取得部２０３が取得したコーディネート画像を示す図である。まず、特徴量抽出部２０４は、図３（Ａ）に示すコーディネート画像に対し、参考文献１の技術を用いることでコーディネート画像から衣服領域を囲む矩形領域を抽出する。参考文献１は、事前に衣服領域の学習用画像と衣服領域以外の学習用画像とを学習させた識別器を作成し、エッジなどの特徴量からAdaboostなどにより識別に有効な特徴量を選択する手法である。（参考文献１：信学技法2012．11．17 「サーベイ論文」 統計的学習手法による人検出）。また、Adaboostの具体例として、例えば以下の文献に開示される技術が適用されてもよい。情報処理学会研究報告2009 「人検出のためのreal AdaboostによるＨＯＧ特徴量の効率的な削減法」。

特徴量抽出部２０４は、このようにコーディネート画像から衣服領域を囲む矩形領域を抽出することによって矩形領域画像を生成する。次に、特徴量抽出部２０４は、Ｇｒａｂ ｃｕｔにより矩形領域画像の前景領域と背景領域とを分離する。その後、特徴量抽出部２０４は、分離した前景領域を衣服領域として抽出することによって衣服領域画像を生成する。前景領域とは、矩形領域画像内の手前に撮像されている物体の領域である。前景領域の具体例として、人物や人物が着用している衣服の領域などがある。背景領域とは、矩形領域画像内の前景領域以外の領域である。背景領域の具体例として、壁や天井などの領域がある。特徴量抽出部２０４は、このように矩形領域画像から衣服領域を抽出することによって衣服領域画像を生成する。生成された衣服領域画像を図３（Ｂ）に示す。図３（Ｂ）に示すように、円５０内の衣服領域が図３（Ａ）のコーディネート画像から抽出されている。Ｇｒａｂ ｃｕｔの具体例として、例えば以下の文献に開示される技術が適用されてもよい。情報処理学会 研究報告 2007-CVIM-158 「グラフカット」 石川 博。
以上で、矩形領域画像から衣服領域を抽出する処理についての説明を終了する。

次に、衣服領域画像をパーツ領域に分割する処理について説明する。パーツ領域に分割する方法として、肩や足といった必要なパーツ領域を予め設定し、設定されたパーツごとに上記参考文献１と同様の方法で識別機を作成する。具体的には、左肩、右肩、胸部、左腕、右腕、腰部、左足、右足のパーツ領域を矩形領域として識別する識別器を作成する。また、識別器を作成する場合、予めパーツ領域ごとの学習用画像にはそれぞれのパーツに対応するラベルを付与しておく。例えば、左肩領域ならば左肩、右肩領域ならば右肩とラベルを付与しておく。その後、パーツ領域ごとに特徴量を抽出し、ラベルとパーツ領域ごとの特徴量とをセットで学習させることによって識別器を作成する。

特徴量抽出部２０４は、作成された識別器により、衣服領域画像内の当該パーツ領域ごとに所望のパーツか判定をおこない、パーツの位置を決定する。必要となるパーツは肩や腰などが考えられるが、それらの位置はパーツのなかで上下に反転の位置になることはほとんどない。そのため、識別器で頭に近い矩形領域が腰と判定された場合などは、矩形領域の座標をもとに、パーツ領域ごとに判定にフィードバックをおこなってもよい。たとえば、首と腰との上下位置の制約「首が腰よりも上」といった制約規則が保持されていて、この規則に従った処理が行われる。分割されたパーツ領域画像を図３（Ｃ）に示す。図３（Ｃ）に示すように、衣服領域画像に撮像されている人物の各部位の領域が複数のパーツ領域６０に分割されている。
以上で、衣服領域画像をパーツ領域に分割する処理についての説明を終了する。

そして、特徴量抽出部２０４は、分割されたパーツ領域６０ごとに特徴量を抽出する。抽出される特徴量としては、形状、柄、カラーといったファッションに関する特徴を捉える特徴量が好ましい。例えば、形状を表現する方法として、ＨＯＧ（Histgrams of Oriented Gradients）特徴量が用いられてもよい。また、柄を表現する方法として、直線検出を行うことによって、検出された直線の数を柄の特徴量として用いられてもよい。カラーはカラーヒストグラムが用いられてもよい。

特徴量抽出部２０４は、上述した３つのステップを実行することによって、コーディネート画像から特徴量を抽出する。服は撮影された画像によって変形度が大きい。変形度とは、変形の度合いの高さを表す。変形度の値が高いほど、元の形状から形が変形している。例えば、肘が伸びている状態で撮影された画像と肘が曲がっている状態で撮影された画像とでは、服の形状に大きな変化が生じている。そのため、変形度が大きくなる。変形度が大きい場合、同じ衣服であっても違う衣服と判定されてしまうおそれがある。特に、腕は、動きが大きく、上述したように肘の状態などによっては衣服の変形度が大きくなってしまうため、照合が困難になる。そこで、上述したようなパーツ領域に分割することにより、コーディネート画像そのものから特徴量を抽出するよりも衣服の変形の影響を受けにくい領域の特徴量を選択して照合に用いることができる。そのため、変形度の大きさによる誤判定を軽減することが可能になる。

その後、特徴量抽出部２０４は、全てのパーツ領域６０から抽出した特徴量を一つのデータに格納する。具体的には、特徴量抽出部２０４は、左肩領域から抽出した形状、柄、カラーそれぞれの特徴量、右肩領域から抽出した形状、柄、カラーそれぞれの特徴量、…、足領域から抽出した形状、柄、カラーそれぞれの特徴量の順に、パーツ領域ごとの特徴量と当該特徴量がどのパーツ領域の特徴量であるのかを識別するためにラベルと共に格納する。以下の説明では、コーディネート画像のパーツ領域ごとに抽出された特徴量を一つのデータとして格納したデータをコーディネート画像の特徴量と称する。

なお、パーツ領域６０から抽出した特徴量を格納する順番は、上述の順番に限定される必要はない。例えば、足領域から抽出した形状、柄、カラーそれぞれの特徴量、腰領域から抽出した形状、柄、カラーそれぞれの特徴量、…、左肩領域から抽出した形状、柄、カラーそれぞれの特徴量の順に格納してもよい。
特徴量抽出部２０４は、取得された全てのコーディネート画像からコーディネート画像の特徴量を抽出する。

次に、コーディネートモデルの生成方法について説明する。本実施例では、ＬＤＡ（Latent Dirichlet Allocation）を用いたモデル生成方法について説明する。ＬＤＡの具体例として、例えば以下の文献に開示される技術が適用されてもよい。[Blei, 2003] Blei et al, “Latent Dirichlet Allocation”, Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

まず、確率パラメータ算出部２０５は、抽出した特徴量をｋ−ｍｅａｎｓ法により、クラスタリングすることによって得られる各クラスタの代表特徴量を算出する。代表特徴量とは、各クラスタの中心に存在する特徴量である。Ｋ個にクラスタした場合、Ｋ個の代表特徴量が存在する。確率パラメータ算出部２０５は、コーディネート画像の特徴量と代表特徴量との距離を算出し、各コーディネート画像に最も近い代表特徴量のクラスタに当該コーディネート画像の特徴量を分類する。この処理を、全てのコーディネート画像の特徴量に対して行う。なお、代表特徴量は、必ずしも各クラスタの中心に存在する特徴量である必要なく、各クラスタの中心に一番近い位置に存在する特徴量を代表特徴量としてもよい。各コーディネート画像には、コーディネート画像の特徴量と代表特徴量の名前とともに記憶されている。

次に、潜在変数であるトピックを介してカテゴリと代表コーディネート画像とを結ぶ確率パラメータを算出する。トピックとは、トピックモデルで学習することによって得られる値を表す。トピックの具体例としては、『アウトドア用コーディネート』、『淡色系コーディネート』、『シンプル系コーディネート』などがある。本実施例では、ＬＤＡを用いて学習することによって確率パラメータを算出する。ＬＤＡにおけるドキュメントがカテゴリにあたり、ワードが代表特徴量にあたる。そこで、ドキュメントごとのワードのヒストグラムを入力とし、学習させることによって確率パラメータが算出される。具体的には、カテゴリごとの代表特徴量のヒストグラムを入力とし、学習することによって確率パラメータを算出する。

具体的な処理として、確率パラメータ算出部２０５は、カテゴリごとに、クラスタリングで分類された代表特徴量の数を算出し、代表特徴量のヒストグラムを作成する。その後、確率パラメータ算出部２０５は、作成したヒストグラムを入力とし、ＥＭアルゴリズム等を用いてコーディネートモデルを生成し、確率パラメータとしてトピック比率及び生成比率を算出する。確率パラメータ算出部２０５は、算出したトピック比率及び生成比率をコーディネートデータベースに格納する。トピック比率は、各トピックから各代表特徴量が生起される確率を表す。生成比率は、カテゴリからトピックが生成される確率を表す。

図４は、カテゴリと代表コーディネート画像との関係を表す図である。
図４に示す例では、カテゴリの具体例として、「カテゴリ１：デート用」、「カテゴリ２：面接用」、「カテゴリ３：アウトドア用」の３つの例が示されている。また、代表コーディネート画像の具体例として、「代表コーディネート００１」、「代表コーディネート００２」、「代表コーディネート００３」の３つの例が示されている。また、各カテゴリと各代表コーディネート画像との間には、潜在変数である複数（図４では、３つ）のトピックが示されている。各カテゴリと各トピックとの間には、コーディネートモデルにより算出された確率パラメータ（トピック比率及び生成比率）に基づいてそれぞれ太さの異なる直線で示されている。すなわち、直線の太さは、カテゴリと代表コーディネート画像との生起確率である。具体的には、カテゴリ１から各トピック（トピック１〜トピック３）に対して直線が３本示されている。カテゴリ１では、トピック２に対して伸びる線がカテゴリ１から伸びる直線の中で最も太い。したがって、「カテゴリ１：デート用」で生起される確率が最も高いトピックは「トピック２」であり、トピック２で生起される確率が高い代表特徴量の代表コーディネート画像が「代表コーディネート００２」であることが表されている。

図５は、確率パラメータ算出部２０５によって算出された確率パラメータの具体例を示す図である。
図５（Ａ）は、トピックと代表特徴量との関係を示す図である。図５（Ａ）に示される表では、項目“代表特徴量００１”、“代表特徴量００２”、“…”と、項目“トピック１”、“トピック２”、“…”との組み合わせ毎に、算出されたトピック比率が示されている。
トピック比率が高い組み合わせは、そのトピックから代表特徴量のコーディネートの生起確率が高いことを表す。すなわち、トピック比率が高い組み合わせは、そのトピックで着用されることが多い衣服のコーディネートが示されている。また、トピック比率が低い組み合わせは、そのトピックから代表特徴量のコーディネートの生起確率が低いことを表す。すなわち、トピック比率が低い組み合わせは、そのトピックで着用されることが少ない衣服のコーディネートが示されている。

図５（Ｂ）は、トピックとカテゴリとの関係を示す図である。図５（Ｂ）に示される表では、項目“カテゴリ１”、“カテゴリ２”、“…”と、項目“トピック１”、“トピック２”、“…”との組み合わせ毎に、算出された生成比率が示されている。
生成比率が高い組み合わせは、そのカテゴリからトピックの生起確率が高いことを表す。すなわち、生成比率が高い組み合わせは、選択されたカテゴリで着用されることが多い衣服のコーディネートと関連するトピックであることを示す。また、生成比率が低い組み合わせは、そのカテゴリが選択されると、選択されたカテゴリでのコーディネートの生起確率が低いことを表す。すなわち、生成比率が低い組み合わせは、選択されたカテゴリで着用されることが少ない衣服のコーディネートと関連するトピックであることを示す。

図６は、コーディネート画像と保有アイテム画像との照合の概念図である。
図６（Ａ）は、コーディネート画像を示す図である。また、図６（Ｂ）は、保有アイテム画像を示す図である。コーディネート画像と保有アイテム画像との照合は、図６に示すようにコーディネート画像のパーツ領域と保有アイテム画像のパーツ領域とで行われる。例えば、類似度算出部２０９は、コーディネート画像の左肩領域の特徴量と保有アイテム画像との左肩領域の特徴量とを照合する。そして、類似度算出部２０９は、両肩領域の特徴量と類似度の高い特徴量の保有アイテム画像をジャケットとし、首領域の特徴量とお腹領域の特徴量と類似度の高い特徴量の保有アイテム画像をインナーとし、足領域の特徴量と類似度の高い特徴量の保有アイテム画像をボトムスとしてユーザＤＢ２０８から取得する。

類似度は、コーディネート画像のパーツ領域の特徴量と保有アイテム画像のパーツ領域の特徴量との差分の２乗した値であってもよいし、その他の方法で算出された値であってもよい。類似度算出部２０９は、類似度の値が小さい値であるほど、コーディネート画像のパーツ領域の特徴量と保有アイテム画像のパーツ領域の特徴量とが類似していると判定してもよい。
また、類似度に所定の閾値を設け、類似していると判定される保有アイテムの画像がない場合には、コーディネート画像中の衣服を購入できるように推薦してもよい。

以下、コーディネートＤＢ２０６から端末装置１０の組み合わせ要求情報にしたがって、コーディネート画像を検索し、保有アイテム画像の組み合わせをユーザに提示する方法の具体例を２つ説明する。なお、ユーザＤＢ２０８には、保有アイテム画像の特徴量が格納されている。具体的には、保有アイテム画像の特徴量は、保有アイテム画像のパーツ領域ごとに抽出された特徴量を一つのデータとして格納したデータである。

（１．ユーザが好みのカテゴリを選択した場合）
まず、ユーザが好みのカテゴリを選択した場合について説明する。ユーザによってカテゴリが選択されると、検索部２０７はコーディネートＤＢ２０６を参照し、ユーザが選択したカテゴリからの生成比率が高いトピックを選択する。次に、検索部２０７は、コーディネートＤＢ２０６を参照し、選択されたトピックのトピック比率が高い代表特徴量を選択する。その後、検索部２０７は、選択した代表特徴量のクラスタに属するコーディネート画像をコーディネートＤＢ２０６から複数検索する。その後、組み合わせ提示装置２０は、検索した複数のコーディネート画像を端末装置１０に送信する。

そして、ユーザによってコーディネート画像が選択されると、類似度算出部２０９は選択されたコーディネート画像の各パーツ領域の特徴量とユーザＤＢ２０８に格納されている保有アイテム画像の各パーツ領域の特徴量とを照合する。そして、配信部２１０は、類似度算出部２０９の照合結果に基づいて保有アイテム画像の組み合わせを端末装置１０に送信する。
以上で、ユーザが好みのカテゴリを選択した場合についての説明を終了する。

（２．ユーザが１つの保有アイテムを選択した場合）
次に、ユーザが１つの保有アイテムを選択した場合について説明する。まず、ユーザは、端末装置１０の画面に保有アイテム画像が並んで表示されている状態で、好みの保有アイテム画像を選択する。ユーザが１つの保有アイテム画像を選択すると、類似度算出部２０９はコーディネートＤＢ２０６を参照し、ユーザが選択した保有アイテム画像のパーツ領域の特徴量との類似度が高いコーディネート画像を検索する。例えば、ユーザがお気に入りのジャケットの画像を選択すると、両肩領域が保有アイテム画像に含まれていると考えられる。そのため、類似度算出部２０９は、コーディネートＤＢ２０６に記憶されているコーディネート画像の両肩領域とユーザが選択したジャケットの両肩領域の特徴量とを照合し、類似度が高いコーディネート画像を選択する。その後、類似度算出部２０９は、選択したコーディネート画像の両肩領域を除くその他のパーツ領域（例えば、腰領域や足領域など）の特徴量と類似度が高い保有アイテム画像をそれぞれ選択する。例えば、類似度算出部２０９は、コーディネート画像の両足領域の特徴量と類似度が高い保有アイテム画像をボトムスとして選択する。そして、配信部２１０は、類似度算出部２０９の照合結果に基づいて保有アイテム画像の組み合わせを端末装置１０に送信する。
以上で、ユーザが１つの保有アイテムを選択した場合についての説明を終了する。

図７は、本実施形態におけるコーディネートＤＢ生成処理の流れを示すフローチャートである。画像取得部２０３は、ネットワーク３０上や共有サーバ４０からコーディネート画像を取得する（ステップＳ１０１）。次に、画像取得部２０３は、取得したコーディネート画像をカテゴリごとに分類する（ステップＳ１０２）。
特徴量抽出部２０４は、分類されたコーディネート画像から衣服領域を囲む矩形領域を抽出することによって矩形領域画像を生成する。その後、特徴量抽出部２０４は、生成した矩形領域画像から衣服領域を抽出する（ステップＳ１０３）。具体的には、特徴量抽出部２０４は、Ｇｒａｂ ｃｕｔにより矩形領域画像から前景領域として衣服領域を抽出することによって衣服領域画像を生成する。

次に、特徴量抽出部２０４は、予め作成された識別器を用いて衣服領域画像をパーツ領域に分割する（ステップＳ１０４）。特徴量抽出部２０４は、分割したパーツ領域ごとに特徴量を抽出する（ステップＳ１０５）。その後、特徴量抽出部２０４は、各パーツ領域から抽出した特徴量を１つのデータに格納することによってコーディネート画像の特徴量を算出する（ステップＳ１０６）。特徴量抽出部２０４は、取得された全てのコーディネート画像の特徴量を算出したか否かを判定する（ステップＳ１０７）。

全てのコーディネート画像の特徴量を算出していない場合（ステップＳ１０７−ＮＯ）、ステップＳ１０３の処理に戻る。一方、全てのコーディネート画像の特徴量を算出している場合（ステップＳ１０７−ＹＥＳ）、確率パラメータ算出部２０５はコーディネート画像をクラスタリングする（ステップＳ１０８）。次に、確率パラメータ算出部２０５は、カテゴリごとに代表特徴量のヒストグラムを生成する（ステップＳ１０９）。その後、確率パラメータ算出部２０５は、生成した代表特徴量のヒストグラムを入力として、ＥＭアルゴリズム（Expectation Maximization algorithm）等により生成比率及びトピック比率である確率パラメータを算出する（ステップＳ１１０）。確率パラメータ算出部２０５は、算出した生成比率及びトピック比率をコーディネートＤＢに格納する（ステップＳ１１１）。その後、コーディネートＤＢの生成処理を終了する。

図８は、本実施形態における組み合わせ提示装置２０の画像配信処理の流れを示すフローチャートである。組み合わせ提示装置２０の通信部２０１は、端末装置１０から組み合わせ要求情報を受信する（ステップＳ２０１）。制御部２０２は、カテゴリが選択されたか否かを判定する（ステップＳ２０２）。具体的には、制御部２０２は、受信された組み合わせ要求情報にカテゴリが選択されたことを示す情報が格納されているか否かを判定する。カテゴリが選択された場合（ステップＳ２０２−ＹＥＳ）、検索部２０７はコーディネート画像を検索する（ステップＳ２０３）。具体的には、まず、検索部２０７は、コーディネートＤＢ２０６を参照し、ユーザに選択されたカテゴリの項目で生成比率が高いトピックを選択する。次に、検索部２０７は、コーディネートＤＢ２０６を参照し、選択したトピックの項目でトピック比率が高い代表特徴量を選択する。その後、検索部２０７は、選択した代表特徴量のクラスタに分類された複数のコーディネート画像の中から所定枚数分のコーディネート画像を取得する。そして、検索部２０７は、通信部２０１を介して取得したコーディネート画像を端末装置１０に送信する（ステップＳ２０４）。なお、検索部２０７は、複数のコーディネート画像の中から代表特徴量と類似度が高い特徴量のコーディネート画像を順番に取得してもよい。

通信部２０１は、ユーザによって選択されたコーディネート画像の情報を受信する（ステップＳ２０５）。類似度算出部２０９は、選択されたコーディネート画像の各パーツ領域の特徴量とユーザＤＢ２０８に記憶されている保有アイテム画像の各パーツ領域の特徴量とを照合する（ステップＳ２０６）。その後、配信部２１０は、保有アイテム画像の組み合わせ情報を端末装置１０に送信する（ステップＳ２０７）。

また、ステップＳ２０２の処理において、カテゴリが選択されなかった場合（ステップＳ２０２−ＮＯ）、検索部２０７は保有アイテム画像が選択されたか否かを判定する（ステップＳ２０８）。具体的には、制御部２０２は、受信された保有アイテム画像が選択されたことを示す情報と当該保有アイテム画像の画像データとが格納されているか否かを判定する。保有アイテム画像が選択されなかった場合（ステップＳ２０８−ＮＯ）、処理を終了する。一方、保有アイテム画像が選択された場合（ステップＳ２０８−ＹＥＳ）、検索部２０７は選択された保有アイテム画像のパーツ領域の特徴量との類似度が高い特徴量のコーディネート画像を検索する（ステップＳ２０９）。次に、検索部２０７は、ユーザＤＢ２０８を参照し、検索したコーディネート画像のその他のパーツ領域（例えば、選択された保有アイテム画像に撮像されているパーツ領域以外）の特徴量と類似度が高い特徴量の保有アイテム画像をパーツ領域ごとに検索する（ステップＳ２１０）。その後、配信部２１０は、保有アイテム画像の組み合わせ情報を端末装置１０に送信する（ステップＳ２０７）。その後、画像配信処理を終了する。

図９は、本実施形態における端末装置１０の画像要求処理の流れを示すフローチャートである。端末装置１０は、ユーザから配信要求の指示を受け付ける（ステップＳ３０１）。ユーザからコーディネート配信要求の指示が入力されると、要求部１０２はカテゴリが選択されたか否かを判定する（ステップＳ３０２）。カテゴリが選択された場合（ステップＳ３０２−ＹＥＳ）、要求部１０２はカテゴリが選択されたことを示す情報を含む組み合わせ要求情報を生成する（ステップＳ３０３）。通信部１０３は、生成された組み合わせ要求情報を組み合わせ提示装置２０に送信する（ステップＳ３０４）。

通信部１０３は、組み合わせ提示装置２０から所定枚数分のコーディネート画像を受信する（ステップＳ３０５）。その後、表示部１０４は、受信されたコーディネート画像を画面に表示し、ユーザからの選択を受け付ける（ステップＳ３０６）。通信部１０３は、ユーザに選択されたコーディネート画像の情報を組み合わせ提示装置２０に送信する（ステップＳ３０７）。その後、通信部１０３は、組み合わせ提示装置２０から保有アイテム画像の組み合わせ情報を受信する（ステップＳ３０８）。表示部１０４は、受信された組み合わせ情報を画面に表示する（ステップＳ３０９）。その後、画像要求処理を終了する。

また、ステップＳ３０２の処理において、カテゴリが選択されなかった場合（ステップＳ３０２−ＮＯ）、要求部１０２は保有アイテム画像が選択されたことを示す情報と当該保有アイテム画像の画像データとを含む組み合わせ要求情報を生成する（ステップＳ３１０）。通信部１０３は、生成された組み合わせ要求情報を組み合わせ提示装置２０に送信する（ステップＳ３１１）。その後、画像要求処理を終了する。

以上のように構成された組み合わせ提示装置２０によれば、コーディネート画像の特徴量と、保有アイテム画像の特徴量とに基づいて特徴量の類似度が高い保有アイテム画像のコーディネート例が端末装置１０に送信される。具体的には、ユーザが選択したコーディネート画像を選択した場合には、選択されたコーディネート画像の各パーツ領域の特徴量と類似度が高い保有アイテム画像がパーツ領域ごとに選択され、選択された保有アイテム画像の組み合わせが端末装置１０に送信される。また、ユーザがある保有アイテム画像を選択した場合には、ユーザが選択した保有アイテム画像のパーツ領域の特徴量と類似度が高いコーディネート画像が選択され、当該コーディネート画像のその他のパーツ領域の特徴量と類似度が高い保有アイテム画像がパーツ領域ごとに選択され、選択された保有アイテム画像の組み合わせが端末装置１０に送信される。したがって、ユーザが自分の好みの服装又は好みのアイテムを選択することで、ユーザの好み応じたコーディネート例が表示される。また、ユーザは、保有画像の組み合わせを要求する際に、カテゴリを選択するか、保有アイテム画像を選択するだけでよい。そのため、コーディネートを行う際に生じる手間を軽減しつつ、ユーザの嗜好に応じたコーディネートを提示することが可能となる。

＜変形例＞
本実施例では、衣服のコーディネートに関して記載したが、これに限定される必要はない。例えば、化粧、靴や帽子、アクセサリーなどコーディネートが必要となるものであればどのようなものあってもよい。
なお、組み合わせ提示装置２０は、ユーザが選択したコーディネート画像をもとにユーザの嗜好を学習するフィードバック機能を備えるように構成されてもよい。ユーザが好むコーディネート画像を選択した履歴をユーザデータベースに蓄積できる場合、選択されたコーディネート画像の代表特徴量のヒストグラムを作成し、当該ヒストグラムと類似したヒストグラムをもつカテゴリと同じ嗜好をもつと設定する。すなわち、ユーザが選択したコーディネート画像の代表特徴量のヒストグラムと類似したヒストグラムのもつカテゴリのトピック比率が一番高いトピックに含まれる画像がユーザのお気に入りと考えられ、そのトピック比率の高い他のコーディネート画像を提示し、推薦することができる。あるいは、ユーザの気に入った衣服コーディネート画像の生成比率の高いトピックに属する他のコーディネート画像を推薦してもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０（１０−１〜１０−Ｎ）…端末装置， ２０…組み合わせ提示装置， ３０…ネットワーク， ４０…共有サーバ， １０１…入力部， １０２…要求部， １０３…通信部， １０４…表示部， ２０１…通信部， ２０２…制御部， ２０３…画像取得部， ２０４…特徴量抽出部， ２０５…確率パラメータ算出部， ２０６…コーディネートＤＢ（コーディネートデータベース）， ２０７…検索部（取得部）， ２０８…ユーザＤＢ， ２０９…類似度算出部（選択部）， ２１０…配信部（提示部）

Claims (5)

1. 組み合わせに関するユーザの要望を取得し、前記要望に応じた組み合わせ画像を取得する取得部と、
   ユーザが保有する物品を表す複数の保有物品画像の中から、前記取得部によって取得された前記組み合わせ画像に類似する保有物品画像を選択する選択部と、
   選択部によって選択された前記保有物品画像を提示する提示部と、
   を備える組み合わせ提示装置。
2. 前記取得部は、ユーザから組み合わせの分類に関する情報を前記要望として取得し、前記分類に関連する組み合わせ画像を取得する請求項１に記載の組み合わせ提示装置。
3. 前記取得部は、前記分類に関連する複数の組み合わせ画像を選択し、前記複数の組み合わせ画像の中から前記ユーザによって選択された組み合わせ画像を、前記要望に応じた組み合わせ画像として取得する、請求項２に記載の組み合わせ提示装置。
4. 前記取得部は、ユーザが利用したい物品に関する情報をユーザから前記要望として取得し、ユーザが利用したい物品に類似する物品を含む組み合わせ画像を取得する、請求項１に記載の組み合わせ提示装置。
5. 組み合わせに関するユーザの要望を取得し、前記要望に応じた組み合わせ画像を取得する取得ステップと、
   ユーザが保有する物品を表す複数の保有物品画像の中から、前記取得ステップによって取得された前記組み合わせ画像に類似する保有物品画像を選択する選択ステップと、
   選択ステップによって選択された前記保有物品画像を提示する提示ステップと、
   をコンピュータに実行させるためのコンピュータプログラム。

Images