JP2019028698A - 判定器学習装置、組み合わせの良さ判定装置、方法、及びプログラム - Google Patents

Abstract

【課題】アイテムのカテゴリの組み合わせ方のバリエーションを許容し、且つ、高精度に組み合わせの良さを判定することができる。
【解決手段】組み合わせの良さ判定部１３０が、入力された服飾アイテムを表す画像の組み合わせに基づいて、組み合わせの良さ判定器を用いて、組み合わせの良さを表すスコアを算出する。このとき、服飾アイテムを表す画像の組み合わせを組み合わせの良さ判定器に入力する際に、服飾アイテムを表す画像の組み合わせに含まれないアイテムカテゴリが存在する場合、当該アイテムカテゴリに対する平均画像を入力とする。
【選択図】図３

Description

本発明は、判定器学習装置、組み合わせの良さ判定装置、方法、及びプログラムに係り、特に、服飾アイテムの組み合わせの良さを判定するための判定器学習装置、組み合わせの良さ判定装置、方法、及びプログラムに関する。

洋服を着る、靴を履く、バッグを持つ、時計や装飾品を身に付ける、といった行動は、日々の生活において欠かせない日常の行動である。しかし、服飾品のアイテムの組み合わせ方を間違えると、人に与える印象の良さや、自らの快適さが損なわれるため、多くの人にとって時間を要する難しい問題となっている。

そこで、日々のコーディネートをサポートする試みとして、プロがコーディネートした服飾品一式を宅配するサービスが存在する。しかし、手持ちの服を活かすことは想定されておらず、レンタル費用もかかるため、一般の人が安価に利用できるサービスとして、コーディネートの自動推薦技術が望まれる。また、手持ちの服に合った新たなアイテムの推薦や、自分のその日の着こなしの良し悪しの客観的な評価などを自動的に行う技術も望まれている。

自動的に洋服を推薦するシステムとして、非特許文献１〜３のような技術がある。

非特許文献１では、どのアイテムとアイテムが一緒に購入されたかの関係情報があるデータセットを学習する。また、アイテムが適した利用シーンを学習して、クエリとなるアイテムと利用シーンに対して適するアイテムを推薦する。しかし、一緒に購入されたもの同士が必ずしも同時に身に付けるアイテム同士になっているとは限らず、また、同時に身に付けたときに良いコーディネートであるとは限らないため、推薦の精度が得られなかった。

非特許文献２では、アイテムと好み、アイテムとシーンの関係性を考慮しながら、ウェブ上のデータベースからユーザの好みや利用シーンにあうと考えられるコーディネートを推薦する。しかし、アイテム同士の組み合わせの良さを判定する機能はないため、既に持っているワードローブの中から最適な組み合わせを見つけることや、その組み合わせの良さの定量評価を行うことはできなかった。

非特許文献３は、コーディネートをカジュアル、ビジネスなどドレスコードのクラスに分類して学習し、髪などの色に合う色を判定し、ユーザ入力のドレスコードにあった服装を提案する技術である。ワードローブのデータベースの中から最適なアイテムの組み合わせを選択することができるが、ドレスコードが限定されていることや、モデルの着用が前提とされている、学習データに手作業でドレスコードのラベルづけをする必要がある、などの制限があった。

Julian J. McAuley, Christopher Targett, Qinfeng Shi, and Anton van den Hengel. 2015. Image-based Recommendations on Styles and Substitutes. CoRR abs/1506.04757 (2015). http://arxiv.org/abs/1506.04757 Si Liu, Jiashi Feng, Zheng Song, Tianzhu Zhang, Hanqing Lu, Changsheng Xu, and Shuicheng Yan. 2012. Hi, Magic Closet, Tell Me What to Wear!. In Proceedings of the 20th ACM International Conference on Multimedia (MM ’12). ACM, New York, NY, USA, 619-628. DOI:http://dx.doi.org/10.1145/2393347.2393433 Lap-Fai Yu, Sai-Kit Yeung, Demetri Terzopoulos, and Tony F. Chan. 2012. DressUp!: Outft Synthesis through Automatic Optimization. ACM Trans. Graph. 31, 6, Article 134 (Nov. 2012), 14 pages. DOI:http://dx.doi.org/10.1145/2366145.2366153

しかし、非特許文献１では、一緒に購入されたもの同士が必ずしも同時に身に付けるアイテム同士になっているとは限らず、また、同時に身に付けたときに良いコーディネートであるとは限らないため、推薦の精度が得られなかった。

また、非特許文献２では、アイテム同士の組み合わせの良さを判定する機能はないため、既に持っているワードローブの中から最適な組み合わせを見つけることや、その組み合わせの良さの定量評価を行うことはできなかった。

また、非特許文献３では、ワードローブのデータベースの中から最適なアイテムの組み合わせを選択することができるが、ドレスコードが限定されていることや、モデルの着用が前提とされている、学習データに手作業でドレスコードのラベルづけをする必要がある、などの制限があった。

また、アイテムとアイテムを一緒に身に付けた時の組み合わせの良さを学習し、クエリとなる服飾品のアイテムに対する新たなアイテムの推薦や、手持ちの服飾品のワードローブの中からの最適な組み合わせを構成するアイテムの推薦や、自分で選んだコーディネートの良し悪しの客観的な評価を行う技術が求められている。

従来では、色々な条件に合わせて適切なコーディネートを学習し、クエリに対してコーディネートを推薦する技術が提案されているが、どのカテゴリのアイテム同士が同時に身に付けられるか、いくつのアイテム同士が同時に身に付けられるか、暗に仮定をおいている場合が多く、実際のワードローブから柔軟に選択できるような仕組みがなかった。

本発明は、上記事情を鑑みて成されたものであり、アイテムのカテゴリの組み合わせ方のバリエーションを許容し、且つ、高精度に組み合わせの良さを判定するための判定器を学習することができる判定器学習装置、方法、及びプログラムを提供することを目的とする。

また、アイテムのカテゴリの組み合わせ方のバリエーションを許容し、且つ、高精度に組み合わせの良さを判定することができる組み合わせの良さ判定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る判定器学習装置は、服飾アイテムの組み合わせの良さを判定するための組み合わせの良さ判定器を学習する判定器学習装置であって、複数のアイテムカテゴリの各々に対して、前記アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を生成する平均画像生成部と、服飾アイテムを表す画像の組み合わせのポジティブセット及び服飾アイテムを表す画像の組み合わせのネガティブセットに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための前記組み合わせの良さ判定器を学習する組み合わせの良さ判定器学習部とを含み、前記組み合わせの良さ判定器学習部は、前記ポジティブセットを前記組み合わせの良さ判定器に入力する際に、前記ポジティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とし、前記ネガティブセットを前記組み合わせの良さ判定器に入力する際に、前記ネガティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とする。

また、本発明に係る判定器学習方法は、服飾アイテムの組み合わせの良さを判定するための組み合わせの良さ判定器を学習する判定器学習装置における判定器学習方法であって、平均画像生成部が、複数のアイテムカテゴリの各々に対して、前記アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を生成し、組み合わせの良さ判定器学習部が、服飾アイテムを表す画像の組み合わせのポジティブセット及び服飾アイテムを表す画像の組み合わせのネガティブセットに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための前記組み合わせの良さ判定器を学習することを含み、前記組み合わせの良さ判定器学習部によって学習することでは、前記ポジティブセットを前記組み合わせの良さ判定器に入力する際に、前記ポジティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とし、前記ネガティブセットを前記組み合わせの良さ判定器に入力する際に、前記ネガティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とする。

本発明に係る組み合わせの良さ判定装置は、服飾アイテムの組み合わせの良さを判定する組み合わせの良さ判定装置であって、複数のアイテムカテゴリの各々に対して、前記アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を記憶する平均画像記憶部と、入力された服飾アイテムを表す画像の組み合わせに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための予め学習された組み合わせの良さ判定器を用いて、組み合わせの良さを表すスコアを算出する組み合わせの良さ判定部とを含み、前記組み合わせの良さ判定部は、前記入力された服飾アイテムを表す画像の組み合わせを前記組み合わせの良さ判定器に入力する際に、前記入力された服飾アイテムを表す画像の組み合わせに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とする。

また、本発明に係る組み合わせの良さ判定方法は、複数のアイテムカテゴリの各々に対して、前記アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を記憶する平均画像記憶部、及び組み合わせの良さ判定部を含み、服飾アイテムの組み合わせの良さを判定する組み合わせの良さ判定装置における組み合わせの良さ判定方法であって、前記組み合わせの良さ判定部が、入力された服飾アイテムを表す画像の組み合わせに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための予め学習された組み合わせの良さ判定器を用いて、組み合わせの良さを表すスコアを算出することを含み、前記組み合わせの良さ判定部が算出することでは、前記入力された服飾アイテムを表す画像の組み合わせを前記組み合わせの良さ判定器に入力する際に、前記入力された服飾アイテムを表す画像の組み合わせに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とする。

本発明に係るプログラムは、コンピュータを、上記の発明に係る判定器学習装置又は組み合わせの良さ判定装置の各部として機能させるためのプログラムである。

本発明の判定器学習装置、方法、及びプログラムによれば、組み合わせの良さ判定器を学習するために、ポジティブセット又はネガティブセットを組み合わせの良さ判定器に入力する際に、ポジティブセット又はネガティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とすることにより、アイテムのカテゴリの組み合わせ方のバリエーションを許容し、且つ、高精度に組み合わせの良さを判定するための判定器を学習することができる、という効果が得られる。

本発明の組み合わせの良さ判定装置、方法、及びプログラムによれば、組み合わせの良さ判定器を用いてスコアを算出するために、入力された服飾アイテムを表す画像の組み合わせを組み合わせの良さ判定器に入力する際に、入力された服飾アイテムを表す画像の組み合わせに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とすることにより、アイテムのカテゴリの組み合わせ方のバリエーションを許容し、且つ、高精度に組み合わせの良さを判定することができる、という効果が得られる。

本発明の実施の形態に係る判定器学習装置の構成を示すブロック図である。 本発明の実施の形態に係る組み合わせの良さ判定器４０の構成を示すブロック図である。 本発明の実施の形態に係る組み合わせの良さ判定装置の構成を示すブロック図である。 組み合わせ毎に算出されるスコアの一例を示す図である。 本発明の実施の形態に係る判定器学習装置における判定器学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る組み合わせの良さ判定装置における組み合わせの良さ判定処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。本発明の実施の形態では、服飾アイテムのポジティブセットとネガティブセットを判別する高精度な２クラス判別部の学習によって、組み合わせの良さ判定器を実現する。本発明の実施の形態は、ポジティブセットとして学習に用いることが可能な良いコーディネートがなされた服飾アイテムのセットが多数収集可能であることを想定しており、そのようなポジティブセットと、同じ服飾アイテムをランダムに組み替えて生成したネガティブセットを学習し、新たな服飾アイテムのワードローブに対して、その中から可能な服飾アイテムの組み合わせを生成し、それらに対して組み合わせの良さ判定器によって自動で組み合わせの良さを判定し、もっとも良い組み合わせを推薦する。判別器への入力として服飾アイテムの画像を用い、アイテムのカテゴリに応じて算出された画像特徴を結合させるが、対応するアイテムの存在しないカテゴリについては平均画像を入力の代わりとすることで、多様なカテゴリの組み合わせに対して同一のモデルによって判別器の学習及び判別を行うことができる。また、ワードローブにある限られたアイテム集合から網羅的なセットを用意し、それぞれを組み合わせの良さ判定にかけ、判定値の良いセットを選ぶことで組み合わせの良いアイテムセットを推薦することができる。

＜本発明の実施形態に係る判定器学習装置の構成＞
次に、本発明の実施の形態に係る判定器学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る判定器学習装置１００は、ＣＰＵと、ＲＡＭと、後述する判定器学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この判定器学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、ポジティブセット画像群と、ネガティブセット画像群とを受け付ける。具体的には、学習に用いるデータは、服飾アイテムの画像のセットであり、ポジティブセット、ネガティブセットとしてラベルづけされたものを多数入力する。ポジティブセット画像群とは、服飾アイテムの良好な組み合わせのセット群であり、ネガティブセット画像群とは、良くない組み合わせのセット群である。

これらのセット群を生成するために、コーディネートの投稿型サイトなどから大量のコーディネート画像を収集する。収集されたコーディネートをポジティブセットとし、コーディネートに用いられているアイテムをランダムに組みなおしたものをネガティブセットとする。これらのセット群の具体的な生成アルゴリズムは以下の通りである。ポジティブセット画像群からそれらに含まれる各アイテムを抽出しアイテム保存領域に保存する。次に、各ポジティブセットにつき、セットに含まれる各アイテムを同一カテゴリの異なるアイテムによって置き換えることでネガティブセットを生成する。このネガティブセット生成を各ポジティブセットについて複数回行うことで、自動的に大量のネガティブセット群を生成することができる。

コーディネート画像が１枚の画像になっている場合、コーディネートに含まれるアイテムの１つ１つを切り出して、それらの複数アイテムの組を入力用の１セットとする。また、データセットに含まれる画像は全て同一のサイズにリサイズする。

演算部２０は、ポジティブセット画像群記憶部２２と、ネガティブセット画像群記憶部２４と、平均画像生成部２６と、平均画像記憶部２８と、組み合わせの良さ判定器学習部３０と、学習パラメータ記憶部３２とを含んで構成されている。

ポジティブセット画像群記憶部２２には、入力されたポジティブセット画像群が記憶されている。ネガティブセット画像群記憶部２４には、入力されたネガティブセット画像群が記憶されている。

平均画像生成部２６は、ポジティブセット画像群、及びネガティブセット画像群に基づいて、複数のアイテムカテゴリの各々に対して、当該アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を生成する。

平均画像記憶部２８には、複数のアイテムカテゴリの各々に対して生成された平均画像が記憶されている。

組み合わせの良さ判定器学習部３０は、ポジティブセット画像群及びネガティブセット画像群と、複数のアイテムカテゴリの各々に対して生成された平均画像とに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための組み合わせの良さ判定器を学習する。

ここで、図２に示すように、組み合わせの良さ判定器４０は、入力スロット４２と、特徴抽出部４４と、２クラス判別部４６とをもつ。入力スロット４２は、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像を受け付ける。

特徴抽出部４４は、入力された各アイテムカテゴリの画像から特徴量を抽出する。学習済みディープニューラルネットワークの中間層の出力を特徴量として用いることが有効であるが、一般的な画像特徴の抽出処理を合わせ用いることもできる。

２クラス判別部４６は、各アイテムカテゴリの画像の特徴量を結合したベクトルを入力とし、良い組み合わせか否かを判別する。具体的な判別器として、例えばニューラルネットワークを用いることが有効であるが、それ以外の判別器を用いることもできる。以下では、２クラス判別部４６に多層ニューラルネットワークを用い、出力値をシグモイド関数によって0〜1に設定することを想定する。組み合わせの良さ判定器４０の出力として、ポジティブセットが１、ネガティブセットが０になるよう学習した場合、１に近いほうが良い組み合わせであるというスコアとして用いることができる。

２クラス判別部４６に入力される特徴は特徴抽出部４４で抽出された画像特徴をあらかじめ決められたカテゴリ順（例えば、1:トップス、2:ボトムス、3:ワンピース、4:アウター、5:靴、6:アクセサリー１、7:アクセサリー２、8:バッグ）に結合することで得る。この時、入力画像が与えられていないカテゴリが存在すると、入力特徴に抜けが生じることになる。そこで、入力画像が与えられていないアイテムカテゴリに対しては、当該アイテムカテゴリに対して生成された平均画像を入力画像として入力スロット４２に設定する。例えば、組み合わせの良さ判定器学習部３０は、ポジティブセットを組み合わせの良さ判定器４０に入力する際に、当該ポジティブセットに含まれないアイテムカテゴリが存在する場合、当該アイテムカテゴリに対する平均画像を入力とする。また、ネガティブセットを組み合わせの良さ判定器４０に入力する際に、当該ネガティブセットに含まれないアイテムカテゴリが存在する場合、当該アイテムカテゴリに対する平均画像を入力とする。これによってアイテムカテゴリの組み合わせが違うセットについても組み合わせの良さ判定器４０にかけて出力のスコアを得ることができ、柔軟な組み合わせへの対応が可能となる。なお、ここでアクセサリー２は、アクセサリー１と種類は重なってもよく、アクセサリーは２つまで身に付けられることを許容するためにはこのような構成にする。

組み合わせの良さ判定器学習部３０は、ポジティブセット画像群と、ネガティブセット画像群を入力として、組み合わせの良さ判定器４０を学習し、学習パラメータを生成する。２クラス判別部４６として多層ニューラルネットを用いる場合、クロスエントロピー誤差を損失関数として誤差逆伝播法によって２クラス判別部４６の学習パラメータを求めることができる。

学習パラメータ記憶部３２には、生成された学習パラメータが記憶される。

出力部５０は、平均画像記憶部２８に記憶されている複数のアイテムカテゴリの各々に対する平均画像と、学習パラメータ記憶部３２に記憶されている学習パラメータとを出力する。

＜本発明の実施形態に係る組み合わせの良さ判定装置の構成＞
次に、本発明の実施の形態に係る組み合わせの良さ判定装置の構成について説明する。図３に示すように、本発明の実施の形態に係る組み合わせの良さ判定装置２００は、ＣＰＵと、ＲＡＭと、後述する組み合わせの良さ判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この組み合わせの良さ判定装置２００は、機能的には図３に示すように入力部１１０と、演算部１２０と、出力部１５０とを備えている。

入力部１１０は、判定器学習装置１００によって出力された、複数のアイテムカテゴリの各々に対する平均画像と、学習パラメータとを受け付ける。

また、入力部１１０は、手持ちの服飾アイテムのワードローブを表す画像群を受け付ける。

演算部１２０は、服飾アイテム画像群記憶部１２２と、平均画像記憶部１２４と、学習パラメータ記憶部１２６と、服飾アイテム組み合わせ生成部１２８と、組み合わせの良さ判定部１３０とを含んで構成されている。

服飾アイテム画像群記憶部１２２は、入力された手持ちの服飾アイテムのワードローブを表す画像群を記憶している。

平均画像記憶部１２４には、複数のアイテムカテゴリの各々に対して生成された平均画像が記憶されている。

学習パラメータ記憶部１２６には、生成された学習パラメータが記憶されている。

服飾アイテム組み合わせ生成部１２８は、ワードローブを表す画像群を入力として、服飾アイテムの画像の組み合わせを各々生成する。服飾アイテム組み合わせ生成部１２８では、組み合わせの良さ判定器４０の入力スロット４２のアイテムカテゴリに合わせてワードローブ内の服飾アイテムを網羅的に設定し、服飾アイテムの画像の組み合わせを多数生成する。ここで、ワードローブ内の各服飾アイテムを表す画像には事前にカテゴリが付与されているとする。網羅的な組み合わせ生成については、各アイテムカテゴリについてワードローブ内の該当する服飾アイテムを表す画像を１つ選ぶかアイテムなしとするかを選択し、全ての組み合わせを生成する。

服飾アイテム組み合わせ生成部１２８は、多数の服飾アイテムの画像の組み合わせを出力し、これを組み合わせの良さ判定部１３０への入力とする。

組み合わせの良さ判定部１３０は、学習パラメータと、組み合わせの良さ判定器４０とを用いて、服飾アイテムの画像の組み合わせごとに、良さのスコアを出力する。

ここで、組み合わせの良さ判定部１３０は、服飾アイテムを表す画像の組み合わせを組み合わせの良さ判定器４０の入力スロット４２に入力する際に、入力された服飾アイテムを表す画像の組み合わせに含まれないアイテムカテゴリが存在する場合、当該アイテムカテゴリに対する平均画像を入力スロット４２に入力する。

算出されたスコアが高い組み合わせを選び出すことで、ワードローブ内の服飾アイテムを用いた良好な組み合わせを提示する。

その結果、図４のように、ワードローブ内の服飾アイテムを表す画像群からの組み合わせで形成された複数の良い組み合わせと、その良さの定量的な数値を得ることができる。

＜本発明の実施の形態に係る判定器学習装置の作用＞
次に、本発明の実施の形態に係る判定器学習装置１００の作用について説明する。入力部１０においてポジティブセット画像群と、ネガティブセット画像群とを受け付けると、判定器学習装置１００は、ポジティブセット画像群記憶部２２と、ネガティブセット画像群記憶部２４とに格納し、そして、図５に示す判定器学習処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０で受け付けたポジティブセット画像群と、ネガティブセット画像群とに基づいて、複数のアイテムカテゴリの各々に対して、当該アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を生成する。

ステップＳ１０２では、組み合わせの良さ判定器学習部３０は、ポジティブセット画像群及びネガティブセット画像群と、上記ステップＳ１００で複数のアイテムカテゴリの各々に対して生成された平均画像とに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための組み合わせの良さ判定器４０を学習し、学習パラメータを生成する。

そして、ステップＳ１０４において、出力部５０により、複数のアイテムカテゴリの各々に対して生成された平均画像と学習パラメータとを出力し、判定器学習処理ルーチンを終了する。

＜本発明の実施の形態に係る組み合わせの良さ判定装置の作用＞
次に、本発明の実施の形態に係る組み合わせの良さ判定装置２００の作用について説明する。入力部１１０において、判定器学習装置１００によって出力された、複数のアイテムカテゴリの各々に対する平均画像と、学習パラメータとを受け付けると、組み合わせの良さ判定装置２００は、平均画像記憶部１２４と、学習パラメータ記憶部１２６とに格納する。また、入力部１１０において、手持ちの服飾アイテムのワードローブを表す画像群を受け付けると、組み合わせの良さ判定装置２００は、服飾アイテム画像群記憶部１２２に格納し、そして、図６に示す組み合わせの良さ判定処理ルーチンを実行する。

まず、ステップＳ１１０では、入力部１１０で受け付けたワードローブを表す画像群に基づいて、服飾アイテムの画像の組み合わせを各々生成する。

そして、ステップＳ１１２では、組み合わせの良さ判定部１３０は、学習パラメータと、組み合わせの良さ判定器４０とを用いて、上記ステップＳ１１０で生成された服飾アイテムの画像の組み合わせについて、良さのスコアを算出する。

ステップＳ１１４では、上記ステップＳ１１０で生成された服飾アイテムの画像の組み合わせの全てについて、上記ステップＳ１１２の処理を実行したか否かを判定し、上記ステップＳ１１２の処理を実行していない組み合わせが存在する場合には、上記ステップＳ１１２へ戻り、当該組み合わせについて処理を実行する。一方、服飾アイテムの画像の組み合わせの全てについて、上記ステップＳ１１２の処理を実行したと判定された場合には、ステップＳ１１６へ移行する。

ステップＳ１１６では、服飾アイテムの画像の組み合わせごとに、良さのスコアを出力し、組み合わせの良さ判定処理ルーチンを終了する。

以上説明したように、本発明の実施の形態に係る判定器学習装置によれば、組み合わせの良さ判定器を学習するために、ポジティブセット又はネガティブセットを組み合わせの良さ判定器に入力する際に、ポジティブセット又はネガティブセットに含まれないアイテムカテゴリが存在する場合、当該アイテムカテゴリに対する平均画像を入力とすることにより、アイテムのカテゴリの組み合わせ方のバリエーションを許容し、且つ、高精度に組み合わせの良さを判定するための判定器を学習することができる。

また、本発明の実施の形態に係る組み合わせの良さ判定装置によれば、組み合わせの良さ判定器を用いてスコアを算出するために、入力された服飾アイテムを表す画像の組み合わせを組み合わせの良さ判定器に入力する際に、入力された服飾アイテムを表す画像の組み合わせに含まれないアイテムカテゴリが存在する場合、当該アイテムカテゴリに対する平均画像を入力とすることにより、アイテムのカテゴリの組み合わせ方のバリエーションを許容し、且つ、高精度に組み合わせの良さを判定することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１０、１１０ 入力部
２０、１２０ 演算部
２２ ポジティブセット画像群記憶部
２４ ネガティブセット画像群記憶部
２６ 平均画像生成部
２８、１２４ 平均画像記憶部
３０ 組み合わせの良さ判定器学習部
３２、１２６ 学習パラメータ記憶部
４０ 組み合わせの良さ判定器
４２ 入力スロット
４４ 特徴抽出部
４６ ２クラス判別部
５０、１５０ 出力部
１００ 判定器学習装置
１２２ 服飾アイテム画像群記憶部
１２８ 服飾アイテム組み合わせ生成部
１３０ 組み合わせの良さ判定部
２００ 組み合わせの良さ判定装置

Claims (8)

1. 服飾アイテムの組み合わせの良さを判定するための組み合わせの良さ判定器を学習する判定器学習装置であって、
   複数のアイテムカテゴリの各々に対して、前記アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を生成する平均画像生成部と、
   服飾アイテムを表す画像の組み合わせのポジティブセット及び服飾アイテムを表す画像の組み合わせのネガティブセットに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための前記組み合わせの良さ判定器を学習する組み合わせの良さ判定器学習部とを含み、
   前記組み合わせの良さ判定器学習部は、前記ポジティブセットを前記組み合わせの良さ判定器に入力する際に、前記ポジティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とし、
   前記ネガティブセットを前記組み合わせの良さ判定器に入力する際に、前記ネガティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とする
   判定器学習装置。
2. 前記組み合わせの良さ判定器は、
   前記複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像を受け付けるための入力スロットと、
   前記複数のアイテムカテゴリの各々に対して、前記入力スロットにより受け付けた、前記アイテムカテゴリに対応する服飾アイテムを表す画像から特徴量を抽出する特徴抽出部と、
   前記複数のアイテムカテゴリの各々に対して抽出された特徴量に基づいて、組み合わせの良さを表すスコアを算出する２クラス判別部と、
   を含む請求項１記載の判定器学習装置。
3. 服飾アイテムの組み合わせの良さを判定する組み合わせの良さ判定装置であって、
   複数のアイテムカテゴリの各々に対して、前記アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を記憶する平均画像記憶部と、
   入力された服飾アイテムを表す画像の組み合わせに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための予め学習された組み合わせの良さ判定器を用いて、組み合わせの良さを表すスコアを算出する組み合わせの良さ判定部とを含み、
   前記組み合わせの良さ判定部は、前記入力された服飾アイテムを表す画像の組み合わせを前記組み合わせの良さ判定器に入力する際に、前記入力された服飾アイテムを表す画像の組み合わせに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とする
   組み合わせの良さ判定装置。
4. 前記組み合わせの良さ判定器は、
   前記複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像を受け付けるための入力スロットと、
   前記複数のアイテムカテゴリの各々に対して、前記入力スロットにより受け付けた、前記アイテムカテゴリに対応する服飾アイテムを表す画像から特徴量を抽出する特徴抽出部と、
   前記複数のアイテムカテゴリの各々に対して抽出された特徴量に基づいて、組み合わせの良さを表すスコアを算出する２クラス判別部と、
   を含む請求項３記載の組み合わせの良さ判定装置。
5. 入力された服飾アイテムを表す画像群から、前記服飾アイテムを表す画像の組み合わせを各々生成する服飾アイテム組み合わせ生成部を更に含み、
   前記組み合わせの良さ判定部は、前記服飾アイテム組み合わせ生成部によって生成された前記組み合わせの各々について、前記組み合わせに基づいて、前記組み合わせの良さ判定器を用いて、組み合わせの良さを表すスコアを算出する請求項３又は４記載の組み合わせの良さ判定装置。
6. 服飾アイテムの組み合わせの良さを判定するための組み合わせの良さ判定器を学習する判定器学習装置における判定器学習方法であって、
   平均画像生成部が、複数のアイテムカテゴリの各々に対して、前記アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を生成し、
   組み合わせの良さ判定器学習部が、服飾アイテムを表す画像の組み合わせのポジティブセット及び服飾アイテムを表す画像の組み合わせのネガティブセットに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための前記組み合わせの良さ判定器を学習することを含み、
   前記組み合わせの良さ判定器学習部によって学習することでは、前記ポジティブセットを前記組み合わせの良さ判定器に入力する際に、前記ポジティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とし、
   前記ネガティブセットを前記組み合わせの良さ判定器に入力する際に、前記ネガティブセットに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とする
   判定器学習方法。
7. 複数のアイテムカテゴリの各々に対して、前記アイテムカテゴリに対応する服飾アイテムを表す画像の平均画像を記憶する平均画像記憶部、及び組み合わせの良さ判定部を含み、服飾アイテムの組み合わせの良さを判定する組み合わせの良さ判定装置における組み合わせの良さ判定方法であって、
   前記組み合わせの良さ判定部が、入力された服飾アイテムを表す画像の組み合わせに基づいて、複数のアイテムカテゴリの各々に対応する服飾アイテムを表す画像からなる服飾アイテムの組み合わせの良さを判定するための予め学習された組み合わせの良さ判定器を用いて、組み合わせの良さを表すスコアを算出することを含み、
   前記組み合わせの良さ判定部が算出することでは、前記入力された服飾アイテムを表す画像の組み合わせを前記組み合わせの良さ判定器に入力する際に、前記入力された服飾アイテムを表す画像の組み合わせに含まれないアイテムカテゴリが存在する場合、前記アイテムカテゴリに対する前記平均画像を入力とする
   組み合わせの良さ判定方法。
8. コンピュータを、請求項１若しくは請求項２に記載の判定器学習装置、又は請求項３〜請求項５の何れか１項に記載の組み合わせの良さ判定装置の各部として機能させるためのプログラム。