JP2017027597A - ファッションコーディネートリコメンドシステム - Google Patents

Abstract

【課題】ユーザの嗜好により適合するファッションコーディネートをリコメンドする。【解決手段】ＥＣサイトからアイテム情報を取得してアイテム情報テーブルに保存すると共にアイテム情報テーブルのアイテム情報に基づいて少なくともアイテムのカテゴリとフォーマルの程度とを含む予め定めたアイテム特徴量に対するアイテム特徴量ベクトルを計算してアイテム特徴量ベクトルテーブルに保存し、アイテム情報テーブルから選択したアイテムおよび入力されたアイテムのアイテム情報をユーザアイテムテーブルに保存しておく。そして、ユーザ端末からアイテムとフォーマルの程度の目標値とが指定されたときには、ユーザアイテムテーブルとアイテム特徴量ベクトルテーブルとを参照し、所定の目的関数と所定の制約条件とに基づいて指定したアイテムを含み且つ目標値に近いコーディネートを計算してユーザ端末に提示する。【選択図】図１

Description

本発明は、ファッションコーディネートリコメンドシステムに関し、詳しくは、ユーザ端末に対してファッションコーディネートをリコメンドするファッションコーディネートリコメンドシステムに関する。

従来、ファッションコーディネートを自動的に構築する方法としては、アイテムのテキスト情報からアイテムに含まれる色や柄などのアイテム特徴量を決定し、コーディネートを算出して提示するものが提案されている（例えば、特許文献１参照）。この方法のコーディネートの算出過程では、まず、ベースカラーをランダムに決定した上で、他の色情報やアイテムカテゴリの組み合わせについて条件に合うようなコーディネートを複数パターン生成する。次に、ユーザの嗜好に合うように、条件を設定してコーディネートを絞り込んで、ユーザに提示するコーディネートを選択する。

また、あらかじめ準備されたアイテムデータベースを用いて色や柄などのアイテム特徴量を決定し、ユーザが指定した属性条件を満たし、かつ、ユーザが指定したアイテムに合うようなコーディネートを算出して提示するものも提案されている（例えば、特許文献２参照）。この手法のコーディネートの算出過程では、ユーザが指定した属性（フォーマル度，気候）条件、ユーザが指定したアイテムが持つ色情報に対する明度・色相条件を検索条件として、コーディネートを絞り込んでいる。

特開２０１５−０７２６３９号公報 特開２０１３−１９６５５３号公報

上述の手法は、いずれもコーディネートを構成しうるアイテムの情報をそれぞれ独立に扱って、条件に合うアイテムを検索することでコーディネートを算出しているが、このような手法では、コーディネートを構成するアイテムを総合的に評価してコーディネートの算出を行なうことができない。例えば、フォーマル度を例に取ると、すべて同じ値のフォーマル度（例えば、すべてのアイテムのフォーマル度が７）をもつコーディネートを絞り込むことは可能だが、フォーマル度が異なる複数のアイテムを組み合わせて、その重み付き平均値がユーザの必要とする目標値に近いコーディネートを探索することはできない。目標とするフォーマル度が７の場合、トップスのフォーマル度が７、ボトムスのフォーマル度が５、ハットのフォーマル度が８、即ち、ボトムスで少しカジュアル感を出した分、ハットでバランスを整えるといったコーディネートを探索することができない。また、条件に合わないアイテムを含むコーディネートは提示されないため、ある程度制約を侵害するが、ユーザが設定した目標に近いコーディネートなどの柔軟性に富んだ探索を行なうことができない。このように、上述の方法では、多様性 (diversity) と意外性 (serendipity) に富んだコーディネートを提示することができない。

本発明のファッションコーディネートリコメンドシステムは、ユーザの嗜好により適合するファッションコーディネートをリコメンドすることを主目的とする。

本発明のファッションコーディネートリコメンドシステムは、上述の主目的を達成するために以下の手段を採った。

本発明のファッションコーディネートリコメンドシステムは、
ユーザ端末にファッションコーディネートをリコメンドするファッションコーディネートリコメンドシステムであって、
ＥＣサイトからアイテム情報を取得してアイテム情報テーブルに保存するアイテム情報取得手段と、
前記アイテム情報テーブルのアイテム情報に基づいて少なくともアイテムのカテゴリとフォーマルの程度とを含む予め定めたアイテム特徴量に対するアイテム特徴量ベクトルを計算してアイテム特徴量ベクトルテーブルに保存するアイテム特徴量ベクトル計算手段と、
前記アイテム情報テーブルからユーザが選択したアイテムのアイテム情報とユーザにより入力されたアイテムのアイテム情報とをユーザアイテムテーブルに保存するユーザアイテム情報保存手段と、
ユーザ端末からアイテムとフォーマルの程度の目標値とが指定されたとき、前記ユーザアイテムテーブルと前記アイテム特徴量ベクトルテーブルとを参照し、所定の目的関数と所定の制約条件とに基づいて前記指定したアイテムを含み且つ前記指定した目標値に近いコーディネートを計算してコーディネートテーブルに保存すると共に該コーディネートを前記ユーザ端末に提示するコーディネート計算手段と、
を備えることを要旨とする。

この本発明のファッションコーディネートリコメンドシステムでは、アイテム情報取得手段が、ＥＣ（electronic commerce）サイトからアイテム情報を取得してアイテム情報テーブルに保存する。アイテム情報としては、例えば、アイテム販売ページのＵＲＬ（Uniform Resource Locator），アイテム名（〇〇Ｔシャツ，△△パンツ，□□スーツ等），ＥＣサイトのショップ名（〇〇ストア，〇〇Ｗｅｂ等），ブランド名，アイテム画像ＵＲＬ（Uniform Resource Locator），大カテゴリ（トップス，アウター，ボトムス等），小カテゴリ（Ｔシャツ，ポロシャツ，チュニック，ジーンズ等），性別（メンズ，ウィメンズ等），価格，紹介文などを挙げることができる。アイテム特徴量ベクトル計算手段は、アイテム情報テーブルのアイテム情報に基づいて少なくともアイテムのカテゴリとフォーマルの程度とを含む予め定めたアイテム特徴量に対するアイテム特徴量ベクトルを計算してアイテム特徴量ベクトルテーブルに保存する。ここで、アイテム特徴量としては、例えば、コーディネートカテゴリ，アイテムのフォーマルの度合い（程度）としてのＦ値（Formalness），自己主張が強いアイテムであるか否かの指標としてのＡ値（Assertiveness），アイテムの色の重さを表すＷｃ値（Color Weight），アイテムの形状の重さを表すＷｓ値（Shape Weight），アイテム画像に含まれる暖色，寒色，無彩色，中性色の比率を示す色比率，アイテムを着用すべき季節を示す季節タグ，アイテム画像に顔が検出されるか否かを示す顔判定フラグなどを挙げることができる。なお、コーディネートカテゴリとしては、Hat，Tops1，Tops2（Tops1に重ね着可），Tops3（Tops2とTops3に重ね着可），All in one，Bottoms，Shoes，Bag，Glass，Muffler，Necklace，Pierce，Braceletなどを挙げることができる。ユーザアイテム情報保存手段は、アイテム情報テーブルからユーザが選択したアイテムのアイテム情報とユーザにより入力されたアイテムのアイテム情報とをユーザアイテムテーブルに保存する。コーディネート計算手段は、ユーザ端末からアイテムとフォーマルの程度の目標値とが指定されたとき、ユーザアイテムテーブルとアイテム特徴量ベクトルテーブルとを参照し、所定の目的関数と所定の制約条件とに基づいて指定したアイテムを含み且つ指定した目標値に近いコーディネートを計算してコーディネートテーブルに保存すると共に、そのコーディネートをユーザ端末に提示する。

このように、本発明のファッションコーディネートリコメンドシステムでは、ユーザ端末からコーディネートに含みたいアイテムとコーディネートのフォーマルの程度の目標値とが指定されると、ユーザが選択したアイテムのアイテム情報とユーザにより入力されたアイテムのアイテム情報とを保存するユーザアイテムテーブルとこれらのアイテム特徴量ベクトルを保存するアイテム特徴量ベクトルテーブルとを参照し、所定の目的関数と所定の制約条件とに基づいて指定されたアイテムを含み且つ指定されたフォーマルの程度の目標値に近いコーディネートを計算し、ユーザ端末に提示する。このため、ユーザが想定している時間や場所，場合（ＴＰＯ：Time，Place，Occasion）とユーザの嗜好を考慮して、ユーザが指定したアイテムにあったファッションコーディネートを計算してユーザ端末に提示することができる。

こうした本発明のファッションコーディネートリコメンドシステムにおいて、前記コーディネート計算手段は、アイテムを総合評価する関数を前記所定の目的関数として前記所定の制約条件に基づいて最適化問題を解くことにより前記コーディネートを計算する手段であるものとすることもできる。こうすれば、柔軟性と多様性に富んだコーディネートを提示することができる。例えば、フォーマル度を例に取ると、コーディネート全体のフォーマル度に対する目標値（Ｆ値の目標値）の計画問題を解くから、目標とするフォーマル度が７の場合には、トップスのフォーマル度が７、ボトムスのフォーマル度が６、ハットのフォーマル度が８、即ち、ボトムスで少しカジュアル感を出した分だけハットでバランスを整えるといったコーディネートを探索して提示することができる。また、これと同時に、同じ評価値となるトップスのフォーマル度が５、ボトムスのフォーマル度が８、バッグのフォーマル度が８、ハットのフォーマル度が７というコーディネートも提示することができる。

また、本発明のファッションコーディネートリコメンドシステムにおいて、前記コーディネートテーブルに保存されたコーディネートに対して該コーディネートに含まれるアイテムがカスタマイズ対象アイテムとして選択されたとき、該コーディネートに含まれるアイテムのアイテム情報を用いて前記所定の目的関数と前記所定の制約条件とに基づいて前記カスタマイズ対象アイテムの代替えとなる交換アイテム候補を検索して前記ユーザ端末に提示し、前記ユーザ端末から前記交換アイテム候補のうち交換対象アイテムが指定されたとき、前記コーディネートに対して前記カスタマイズ対象アイテムを前記交換対象アイテムに置き換えて前記コーディネートテーブルに保存するカスタマイズ手段を備えるものとすることもできる。こうすれば、計算され提示されたコーディネートに含まれるアイテムをユーザの嗜好に合ったものに変更（カスタマイズ）することができる。

さらに、本発明のファッションコーディネートリコメンドシステムにおいて、前記ユーザ端末からコーディネートがお気に入りコーディネートとして指定されたとき、前記お気に入りコーディネートをユーザ情報テーブルに保存すると共に、前記ユーザ情報テーブルに保存された前記所定の制約条件に対する許容度を更新するコーディネート評価処理手段を備えるものとすることもできる。こうすれば、ユーザの嗜好をより直接的に考慮したコーディネートを提示することができる。

また、本発明のファッションコーディネートリコメンドシステムにおいて、前記コーディネートテーブルに保存されたユーザ毎の少なくとも一部のコーディネートまたは前記ユーザ情報テーブルに保存されたユーザ毎の少なくとも一部のお気に入りコーディネートを用いて該コーディネートに含まれるアイテムのアイテム情報に基づいてユーザの嗜好を反映する嗜好指標を学習すると共に該嗜好指標をユーザ情報テーブルに保存する嗜好指標学習手段を備えるものとすることもできる。この嗜好指標に基づいたユーザのコーディネート評価の予測値を前記目的関数に組み込むことで、ユーザの嗜好をより反映したコーディネートを提示することができる。

本発明の一実施例としてのファッションコーディネートリコメンドシステム２０の概略を示す概略構成図である。 コーディネートカテゴリを設定するテーブルの一例を示す説明図である。 Ｆ値を設定するテーブルの一例を示す説明図である。 切り抜きパラメータの一例を示す説明図である。 カテゴリがアウターの場合の切り抜きパラメータによるアイテム画像中の切り抜き領域の一例を示す説明図である。 支配ベクトルの決定の様子の一例を示す説明図である。 Ｗｓ値を増減するテーブルの一例を示す説明図である。 Ｗｓ値を増減するためのテーブルの一例を示す説明図である。 Ｗｓ値を増減するためのテーブルの一例を示す説明図である。 季節タグを設定するテーブルの一例を示す説明図である。 ユーザ登録処理の流れの一例を示す説明図である。 クローゼット閲覧処理の流れの一例を示す説明図である。 ユーザ端末１２に提示されるクローゼット閲覧画面の一例を示す説明図である。 ユーザ所有アイテム登録処理の流れの一例を示す説明図である。 お気に入りアイテム登録処理の流れの一例を示す説明図である。 コーディネート提案処理の流れの一例を示す説明図である。 制約満足として値１を出力するＣ₁（ｘ），Ｃ₂（ｘ）の組み合わせを説明する説明図である。 コーディネート閲覧処理の流れの一例を示す説明図である。 コーディネートカスタマイズ処理の流れの一例を示す説明図である。 コーディネート評価処理の流れの一例を示す説明図である。 コーディネート学習処理の流れの一例を示す説明図である。

次に、本発明を実施するための形態を実施例を用いて説明する。

図１は、本発明の一実施例としてのファッションコーディネートリコメンドシステム２０の概略を示す概略構成図である。実施例のファッションコーディネートリコメンドシステム２０は、図示するように、ＥＣ（electronic commerce）サイト１０やユーザ端末１２と接続可能に構成されており、クローラ２２と、アイテム特徴量ベクトル計算機２４と、コーディネート計算機２６と、コーディネート学習機２８と、Ｗｅｂサーバ３０と、クローラアイテム情報テーブル３２と、クローラアイテム特徴量ベクトルテーブル３４と、コーディネートテーブル３６と、ユーザアイテムテーブル３８と、ユーザクローゼットテーブル４０と、ユーザ情報テーブル４２と、を備える。クローラ２２やアイテム特徴量ベクトル計算機２４，コーディネート計算機２６，コーディネート学習機２８，Ｗｅｂサーバ３０は、実施例では個別のコンピュータにより構成したが、それぞれの機能の一部を兼ねる複数のコンピュータにより構成してもよいし、単一のコンピュータにより構成してもよい。クローラアイテム情報テーブル３２やクローラアイテム特徴量ベクトルテーブル３４，コーディネートテーブル３６，ユーザアイテムテーブル３８，ユーザクローゼットテーブル４０，ユーザ情報テーブル４２は、複数の記憶装置により構成してもよいし、単一の記憶装置により構成してもよい。

クローラ２２は、ＥＣサイト１０からアイテム情報を収集し、収集したアイテム情報にアイテム識別子（ＩＤ）を付与してクローラアイテム情報テーブル３２に格納する。クローラ２２が動作する間隔は任意に設定可能であるが、例えば１日１回の運用を考えることができる。アイテム情報としては以下のものを挙げることができる。なお、アイテム情報は以下のものに限定されるものではなく、これらの一部としてもよいし、これらの一部と他の情報との組み合わせとしてもよいし、これらと他の情報との組み合わせとしてもよい。
(a)アイテム販売ページのＵＲＬ（Uniform Resource Locator）
(b)アイテム名（〇〇Ｔシャツ，△△パンツ，□□スーツ等）
(c)ＥＣサイトのショップ名（〇〇ストア，〇〇Ｗｅｂ等）
(d)ブランド名
(e)アイテム画像ＵＲＬ（Uniform Resource Locator）
(f)大カテゴリ（トップス，アウター，ボトムス等）
(g)小カテゴリ（Ｔシャツ，ポロシャツ，チュニック，ジーンズ等）
(h)性別（メンズ，ウィメンズ等）
(i)価格
(j)紹介文

アイテム特徴量ベクトル計算機２４は、クローラアイテム情報テーブル３２からアイテム特徴量ベクトルが計算されていないアイテム情報をアイテム識別子を用いて取り出し、取り出したアイテム情報に基づいてアイテム特徴量ベクトルを計算する。そして、計算したアイテム特徴量ベクトルをアイテム識別子に関連づけてクローラアイテム特徴量ベクトルテーブル３４に保存する。アイテム特徴量ベクトルとしては、実施例では以下の成分を有するものとした。なお、アイテム特徴量ベクトルは、以下のものに限定されるものではなく、これらの一部としてもよいし、これらの一部と他の要素との組み合わせとしてもよいし、これらと他の要素との組み合わせとしてもよい。
(a)コーディネートカテゴリ
(b)Ｆ値（Formalness）
(c)Ａ値（Assertiveness）
(d)Ｗｃ値（Color Weight）
(e)Ｗｓ値（Shape Weight）
(f)色比率
(g)季節タグ
(h)顔判定フラグ

(a)コーディネートカテゴリ
コーディネートカテゴリは、図２に示すように、アイテムの小カテゴリをキーとして、あらかじめ設定しておいたテーブルを参照して設定する。コーディネートカテゴリは、実施例では、Hat，Tops1，Tops2（Tops1に重ね着可），Tops3（Tops2とTops3に重ね着可），All in one，Bottoms，Shoes，Bag，Glass，Muffler，Necklace，Pierce，Braceletの１３種類とし、アイテムはいずれかのカテゴリに分類されるものとした。なお，コーディネートカテゴリは、１３種類に限定されるものではなく、１３種類未満としてもよく、或いは１４種類以上としても構わない。

(b)Ｆ値（Formalness）
Ｆ値は，アイテムのフォーマルの度合い（程度）を１〜１０までの数値で示すものであり、図３に示すように、アイテムの小カテゴリをキーとして、あらかじめ設定しておいたテーブルを参照して設定する。

(c)Ａ値（Assertiveness）
Ａ値は、実施例では、絵柄等の入ったアイテムやプリントが入ったアイテムなどの自己主張が強いアイテムであるか否かを値１と値０とを用いて示す指標である。Ａ値は、実施例では、以下の（１）〜（４）に該当する場合には値１が設定され、（１）〜（４）に該当しないときには値０が設定される。
（１）アイテムの小カテゴリが、あらかじめ設定されたカテゴリ（例えば、リングピアス，チョーカー，ビブネックレスなど）であるとき。
（２）アイテムの紹介文に、あらかじめ設定しておいたキーワードが含まれているかを確認し、キーワードが含まれているとき。キーワードの例としては、「柄」，「プリント」，「水玉」などを挙げることができる。
（３）アイテム画像のＵＲＬから画像をダウンロードし、背景画像等を除去するためにダウンロードした画像からあらかじめ設定しておいた領域（例えば、中心から縦方向に全体の２／３，横方向に１／３）を抽出し，抽出した画像をあらかじめ設定しておいた画像サイズ（例えば，100px×100px）にリサイズし、リサイズした画像を公知の画像識別器（例えば，ImageNetなど）に入力し、画像内に、プリント，水玉模様，ボーダー柄等のあらかじめ設定しておいた柄パターンが含まれると判定したとき。
（４）上記（３）で得られたリサイズした画像に対して算出されるｋ個の代表色ｙ_i，ｉ＝１，…，ｋ（代表色ベクトルｙ₁，ｙ₂，…，ｙ_k）とこの代表色の占有率ｚ_i，ｉ＝１，…，ｋに対して、ｙ_i＝（ｙ_i,L，ｙ_i,a，ｙ_i,b），ｚ_i，ｉ＝１，…，ｋが次式（１）の無地原色判定条件を満たすとき。

代表色ベクトルｙ₁，ｙ₂，…，ｙ_kは、例えば、以下のように計算することができる。まず、アイテム情報に含まれるアイテム画像のＵＲＬを用いてアイテム画像をダウンロードし、アイテムのカテゴリに対応した切り抜きパラメータにしたがって、ダウンロードしたアイテム画像の一部分を切り抜く。切り抜きパラメータの一例を図４に示す。図５にカテゴリがアウターの場合の切り抜きパラメータによるアイテム画像中の切り抜き領域の一例を示す。図５中、幅が（Width=100）、高さが（height=100）で示された矩形領域がアイテム画像であり、このアイテム画像中に幅が（１００×０．２５＝２５）、高さが（１００×０．２５×１．０＝２５）で示された矩形領域が切り抜き領域である。図４中、「w#offset」は切り抜き領域の中心のアイテム画像における左側からの位置を意味している。アウターの場合、「０．６」であるから、アイテム画像の左側からアイテム画像の幅に「０．６」を乗じた位置（Width×0.6）となる。図４中、「h#offset」は切り抜き領域の中心のアイテム画像における上側からの位置を意味している。アウターの場合、「０．４７」であるから、アイテム画像の左側からアイテム画像の幅に「０．４７」を乗じた位置（height×0.47）となる。図４中、「h#ratio」は切り抜き領域の高さのアイテム画像の高さに対する比を意味している。アウターの場合、「０．２５」であるから、アイテム画像の高さ（height=100）に「０．２５」を乗じた値（height×0.25）となる。図４中、「w#h#ratio」は切り抜き領域の幅の切り抜き領域の高さに対する比を意味している。アウターの場合、「１．０」であるから、切り抜き領域の高さ（height×0.25）に「１．０」を乗じた値（height×0.25×1.0）となる。切り抜きパラメータは、初期値として予め定められた値、例えばカテゴリー毎に画像の特徴をよく表わしている部分であると想定される領域として予め設定した値を用いるものとしたが、その後にパラメータの最適値を計算して更新するものとしてもよい。

次に、切り抜き領域の画像の各画素の色情報をＬａｂ色空間（ＣＩＥ Ｌａｂ表色系）に変換し、切り抜き領域の左上の画素から順にｉ番目の画素のＬ値がＬ、ａ値がａ、ｂ値がｂとしたときにｉ番目の画素の色情報ｘ_i＝（Ｌ，ａ，ｂ）としてメモリに保存する。そして、色情報ｘ_i（ｉ＝１，…，画素数）をニューラルガス（ＮＧ）に入力し、色情報ｘ_i（ｉ＝１，…，画素数）の分布を最もうまく代表するｋ個の代表色ベクトルｙ₁，ｙ₂，…，ｙ_kを算出する。ここで、「ｋ」は予め設定しておくパラメータである。実施例ではｋ＝４として代表色を４色とした。また、 ニューラルガスは、多数の入力ベクトルの集合を比較的少ないユニット（参照ベクトル）で近似するベクトル量子化に用いられるネットワークであり、自己組織化マップ（ＳＯＭ）と同様に教師なし学習によって自己組織的にベクトル量子化を行なう。ニューラルガスは、入力ベクトルが与えられると入力ベクトルに最も近い参照ベクトルを持つユニットを勝者ユニットとするから、実施例では、この勝者ユニットとして代表色ベクトルｙ₁，ｙ₂，…，ｙ_kを算出するものとした。なお、実施例ではニューラルガスを用いたが、k-means法などのベクトル量子化を実現する他の方法を用いるものとしてもよい。

代表色の占有率ｚ_i，ｉ＝１，…，ｋは、色情報ｘ_i（ｉ＝１，…，画素数）と代表色ベクトルｙ₁，ｙ₂，…，ｙ_kを用いて算出する。具体的には、ｉ番目の画素の色情報ｘ_iと代表色ベクトルｙ₁，ｙ₂，…，ｙ_kとの差を計算し、この差が最も小さい代表色ベクトルをｉ番目の画素の色情報ｘ_iの支配ベクトルとし、各代表色ベクトルが支配ベクトルとなった画素数の全画素数に対する割合として占有率を算出する。例えば、３×３の画素で色ベクトルの成分が１つの場合を考える。図６は、３×３の画素で色ベクトルの成分が１つで代表色ベクトルｙ₁＝０．２，ｙ₂＝０．４，ｙ₃＝０．６，ｙ₄＝０．８の場合の支配ベクトルの決定の様子の一例を示す説明図である。図中、上段左の画素では色ベクトルが「０．８」であるから、代表色ベクトルｙ₁，ｙ₂，ｙ₃，ｙ₄との差は、０．６，０．４，０．２，０となり、差の最も小さい代表色ベクトルｙ₄が支配ベクトルとなる。上段中の画素では色ベクトルが「０．６」であるから、代表色ベクトルｙ₁，ｙ₂，ｙ₃，ｙ₄との差は、０．４，０．２，０，０．２となり、差の最も小さい代表色ベクトルｙ₃が支配ベクトルとなる。以下、同様に支配ベクトルを決定することができる。代表色ベクトルｙ₁，ｙ₂，ｙ₃，ｙ₄の各占有率ｚ₁，ｚ₂，ｚ₃，ｚ₄は、全画素数に対する代表色ベクトルが支配ベクトルの画素数の割合であるから、３／９，２／９，２／９，２／９として算出することができる。

(d)Ｗｃ値（Color Weight）
Ｗｃ値は、アイテムの色の重さを表す数値であり、Ｗｃ値が大きいほど重く、小さいほど軽いことを示す。Ｗｃ値は以下の設定手順１または設定手順２を用いて設定することができる。
（Ｗｃ値の設定手順１）
（１）アイテム画像のＵＲＬから画像をダウンロードし、アイテムのカテゴリに対応した切り抜きパラメータにしたがって、ダウンロードしたアイテム画像の一部分を切り抜き（図４，図５参照）、代表色ベクトルｙ₁，ｙ₂，…，ｙ_kを計算し、代表色ｙ₁を第１代表色ｘ₁として得る。
（２）次式（２）が成立するときにはＷｃ値に値−１を設定し、式（３）が成立するときにはＷｃ値に値１を設定し、式（２）および式（３）のいずれも成立しないときにはＷｃ値に値０を設定する。

（Ｗｃ値の設定手順２）
（１）アイテム画像のＵＲＬから画像をダウンロードし、アイテムのカテゴリに対応した切り抜きパラメータにしたがって、ダウンロードしたアイテム画像の一部分を切り抜き（図４，図５参照）、代表色ベクトルｙ₁，ｙ₂，…，ｙ_kと代表色の占有率ｚ_i，ｉ＝１，…，ｋを得る。
（２）次式（４）の高Ｌ値判定条件が成立するときにはＷｃ値に値−１を設定し、式（５）の低Ｌ値判定条件が成立するときにはＷｃ値に値１を設定し、式（４）および式（５）のいずれも成立しないときにはＷｃ値に値０を設定する。

(e)Ｗｓ値（Shape Weight）
Ｗｓ値は、アイテムの形状の重さを表す数値であり、大きいほど重く，小さいほど軽いことを表す。Ｗｓ値は以下のように設定することができる。
（１）Ｗｓ値に初期値として値０を設定する。
（２）アイテムの小カテゴリをキーとして、図７に示すように、あらかじめ設定しておいたテーブルから増減値を参照し、Ｗｓ値を設定する。
（３）アイテムの小カテゴリをキーとして、図８に示すように、あらかじめ設定しておいたテーブルからキーワードを参照し、アイテムの紹介文に、参照したキーワードが含まれているかを確認する。キーワード１が含まれているときには、アイテムがぴったり目のアイテムであると判定し、Ｗｓ値から値１を減じ、キーワード２が含まれているときには、アイテムがゆったり目のアイテムであると判定し、Ｗｓ値に値１を加える。
（４）アイテムの小カテゴリをキーとして、図９に示すように、あらかじめ設定しておいたテーブルからキーワードを参照し、アイテムの紹介文に、参照したキーワードが含まれているかを確認する。キーワード１が含まれているときには、アイテムが標準より短袖丈のアイテムであると判定し、Ｗｓ値から値１を減じる。キーワード２が含まれているときには、アイテムが標準より長袖丈のアイテムであると判定し、Ｗｓ値に値１を加える。

(f)色比率
色比率は、アイテム画像に含まれる暖色，寒色，無彩色，中性色の比率を意味しており、以下の算出手順１または算出手順２のいずれかを用いて得ることができる。
（色比率の算出手順１）
（１）アイテム画像のＵＲＬから画像をダウンロードし、ダウンロードした画像の各画素の色情報をCIE Lab表色系に変換する。変換された値については、画素値の左上から順にメモリ上に保存する。
（２）Ｎを画素数として，画素ごとの色情報ｘ_i＝（ｘ_i,L，ｘ_i,a，ｘ_i,b），ｉ＝１，…，Ｎを用いて次式（６）にしたがって、各画素の色分類ｙ_i∈[Ｗ，Ｃ，Ａ，Ｎ｝，ｉ＝１，…，Ｎを算定する。ここで、Ｗは暖色，Ｃは寒色，Ａは無彩色，Ｎは中性色であることを示す。
（３）すべての画素の色分類ｙ_i∈[Ｗ，Ｃ，Ａ，Ｎ｝，ｉ＝１，…，Ｎについて、Ｗ，Ｃ，Ａ，Ｎが現れた回数を数え、色比率ｚ＝（ｚ_W，ｚ_C，ｚ_A，ｚ_N）を算出する。例えば、Ｎ＝１００として，Ｗが４０回，Ｃが３０回，Ａが２０回，Ｎが１０回現れた場合、ｚ＝（０．４，０．３，０．２，０．１）と算出する。

（色比率の算出手順２）
（１）アイテム画像のＵＲＬから画像をダウンロードし、アイテムのカテゴリに対応した切り抜きパラメータにしたがって、ダウンロードしたアイテム画像の一部分を切り抜き（図４，図５参照）、ｋ個の代表色ｘ_i，ｉ＝１，…，ｋとその占有率ａ_i，ｉ＝１，…，ｋを得る。
（２）上記式（６）を用いてｋ個の代表色ｘ_i，ｉ＝１，…，ｋの色分類ｙ_i∈[Ｗ，Ｃ，Ａ，Ｎ｝，ｉ＝１，…，Ｎを算出する。
（３）色比率ｚ＝（ｚ_W，ｚ_C，ｚ_A，ｚ_N）を次式（７）〜（１０）により算出する。

(g)季節タグ
季節タグは、アイテムを着用すべき季節を表し、Ｓが夏物，Ｗが冬物，Ａがオールシーズンであることを表す。季節タグは、図１０に示すように、アイテムの小カテゴリをキーとして、あらかじめ設定しておいたテーブルを参照して設定する。

(h)顔判定フラグ
顔判定フラグは、初期値として値０が設定され、アイテム画像に顔が検出されたときに値１が設定される。具体的には、アイテム画像のＵＲＬから画像をダウンロードし、公知の顔認識アルゴリズム（例えば、M. J. Marin-Jimenez, A. Zisserman, M. Eichner, V. Ferrari: Detecting People Looking at Each Other in Videos, International Journal of Computer Vision, Vol. 106, No. 3, pp 282-296 (2014)）を用いて顔部分を検出し、顔が検出されたときに値１を設定する。

コーディネート計算機２６は、ユーザが選択したＦ値を目標値としてユーザが選択したアイテムにあったファッションコーディネートを計算し、計算したコーディネートをコーディネートテーブル３６に保存する。コーディネートの計算や提示等については後で詳しく述べる。

コーディネート学習機２８は、コーディネートに対するユーザの嗜好を学習し、学習した結果をユーザ情報テーブル４２に保存する。コーディネートの学習については後で詳しく述べる。

Ｗｅｂサーバ３０は、ファッションコーディネートリコメンドシステム２０に必要なアプリケーションソフトウエアが組み込まれたユーザ端末１２と情報の送受信を行ない、ユーザ端末１２からのユーザ情報テーブル４２へのユーザ登録やユーザが所有するアイテム（以下、ユーザ所有アイテムと称する）のユーザアイテムテーブル３８への登録，ユーザのお気に入りのアイテムのユーザクローゼットテーブル４０への登録などの登録処理や、ユーザが選択したＦ値（目標値）とアイテムとに基づくコーディネート計算処理の際のユーザ端末１２とコーディネート計算機２６との間における情報のやりとりの中継処理などを行なう。以下にこれらの処理について順に説明する。

１．ユーザ登録処理
図１１は、ユーザ登録処理の流れの一例を示す説明図である。ユーザ登録処理は、ユーザ端末１２に組み込まれたファッションコーディネートリコメンドシステム２０用のアプリケーションソフトウエアを起動させ、まず、ユーザは、ユーザ登録に必要な情報を入力すると共に（Ｓ１００）、アプリケーションソフトウエアにより提示されるベンチマークコーディネートからユーザの嗜好にあったコーディネートを選択し（Ｓ１１０）、入力されたユーザ登録に必要な情報と選択されたコーディネートの識別子（コーディネート識別子）とをＷｅｂサーバ３０に送信する（Ｓ１２０）。ユーザ登録に必要な情報とコーディネート識別子とを受信したＷｅｂサーバ３０は、新たなユーザ識別子を作成し（Ｓ１３０）、ユーザが選択したコーディネート識別子をお気に入りコーディネートとしてユーザ識別子と共にユーザ情報テーブル４２に保存する（Ｓ１４０）。そして、選択したベンチマークコーディネートに付与されたＦ値の平均値をユーザのお気に入りコーディネートＦ値平均値としてユーザ情報テーブル４２に保存すると共に、選択したベンチマークコーディネートに付与されたＡ値の平均値，最大値，最小値をユーザのお気に入りコーディネートＡ値平均値，Ａ値最大値，Ａ値最小値としてユーザ情報テーブル４２に保存する（Ｓ１５０）。こうした処理によりユーザ登録が行なわれる。

２．クローゼット閲覧処理
ユーザ登録を行なうと、ユーザ端末１２には、デフォルトの立ち上がり画面としてユーザが登録したアイテムを格納するクローゼットを閲覧する画面が表示され、この画面を用いてユーザが所有するアイテムの登録やお気に入りアイテムの登録，コーディネート提案を行なうことができる。クローゼットの閲覧は、図１２に例示するクローゼット閲覧処理により行なわれる。クローゼット閲覧処理は、まず、ユーザ端末１２からＷｅｂサーバ３０に対してクローゼットの閲覧要求を行なう（Ｓ２００）。Ｗｅｂサーバ３０は、ユーザ端末１２からの閲覧要求を受信すると、ユーザクローゼットテーブル４０からユーザのクローゼットに登録されているアイテム識別子を取得すると共に（Ｓ２１０）、取得したアイテム識別子をキーとして、ユーザアイテムテーブル３８，クローラアイテム情報テーブル３２，クローラアイテム特徴量ベクトルテーブル３４からユーザに提示するアイテム情報を取得し（Ｓ２２０）、取得したアイテム情報をクロゼット閲覧用の情報としてユーザに送信する（Ｓ２３０）。ユーザ端末１２は、アイテム情報を受信すると、ユーザ端末１２のクローゼット閲覧画面にアイテムを配列提示する（Ｓ２４０）。ユーザ端末１２に提示されるクローゼット閲覧画面の一例を図１３に示す。このとき、クローラが収集したアイテムの画像は、アイテム画像のＵＲＬに基づいてユーザ端末１２がＥＣサイト１０から直接ダウンロードして提示するようにアプリケーションソフトウエアを構成しておくのが好ましい。ユーザは提示されたアイテム情報を閲覧し、次の行動として、ユーザ所有アイテム登録やお気に入りアイテム登録，コーディネート提案のいずれかの機能を選択することができる。

３．ユーザ所有アイテム登録処理
図１４は、ユーザ所有アイテム登録処理の流れの一例を示す説明図である。ユーザ所有アイテム登録処理は、まず、所有するアイテムをユーザ端末１２のカメラ機能を用いて撮影してアイテム画像を取得すると共に（Ｓ３００）、アイテム画像の他のアイテム情報を入力し（Ｓ３１０）、所有アイテム情報をユーザ識別子と共にＷｅｂサーバ３０に送信する（Ｓ３２０）。アイテム情報としては、アイテム画像を含めて以下のものを挙げることができる。なお、以下のうち(e)〜(g)については入力を省略しても構わない。
(a)アイテム画像（写真）
(b)アイテム名（〇〇Tシャツ，△△パンツ，□□スーツ等）
(c)大カテゴリ（トップス，アウター，ボトムス等）
(d)小カテゴリ（Tシャツ，ポロシャツ，チュニック，ジーンズ等）
(e)Ａ値の決定に必要な情報（柄あり，プリントあり，無地蛍光色，無地原色，いずれにも該当しない等のうちからいずれかを選択）
(f)Ｗｓ値の決定に必要な情報（ゆったり，袖が短い，いずれにも該当しない等のうち複数を選択）
(g)季節タグの決定に必要な情報（夏物，冬物，いずれにも該当しない等のうちからいずれかを選択）

Ｗｅｂサーバ３０は、所有アイテム情報とユーザ識別子を受け取ると、新たなアイテム識別子を作成し（Ｓ３３０）、作成したアイテム識別子と共に所有アイテム情報とユーザ識別子とをユーザアイテムテーブル３８に保存する（Ｓ３４０）。また、Ｗｅｂサーバ３０は、アイテム識別子とユーザ識別子をユーザクローゼットテーブル４０に保存する（Ｓ３５０）。更に、Ｗｅｂサーバは、アイテム識別子をアイテム特徴量ベクトル計算機２４に送付してアイテム特徴量ベクトルの計算を要求する（Ｓ３５０）。アイテム特徴量ベクトル計算機２４は、Ｗｅｂサーバ３０からアイテム識別子を受け取ると、ユーザアイテムテーブル３８から、アイテム識別子をキーとして、アイテム特徴量ベクトルの算出に必要な情報を受け取って対象のアイテムのアイテム特徴量ベクトルを算出し（Ｓ３６０）、算出したアイテム特徴量ベクトルを対象のアイテムのアイテム識別子と共にユーザアイテムテーブル３８に保存する（Ｓ３７０）。なお、アイテム特徴量ベクトルの算出に際し、対象のアイテムについて、Ａ値の決定に必要な情報が入力されている場合は、この情報を優先してＡ値を算出し、上述したＡ値の算出手順の一部ないしはすべてを省略する。Ｗｃ値の決定に必要な情報が入力されている場合は、この情報を優先してＷｃ値を算出し、上述したＷｃ値の算出手順の一部を省略する。季節タグの決定に必要な情報が入力されている場合は、上述した季節タグの算出手順を省略する。

こうしたユーザ所有アイテム登録処理により登録されたユーザ所有アイテムは、上述したクローゼット閲覧処理により、ユーザ端末１２のクローゼット閲覧画面に配列提示される。

４．お気に入りアイテム登録処理
図１５は、お気に入りアイテム登録処理の流れの一例を示す説明図である。お気に入りアイテム登録処理は、まず、ユーザ端末１２にアイテムの検索条件を入力し（Ｓ４００）、アイテム検索条件をユーザ識別子と共にＷｅｂサーバ３０に送信する（Ｓ４１０）。アイテムの検索条件としては、ＥＣサイト１０のショップ，ブランド，アイテムカテゴリ，価格帯，色，自由入力のキーワードなどを挙げることができる。Ｗｅｂサーバ３０は、ユーザ端末１２からユーザ識別子とアイテム検索条件とを受信すると、クローラアイテム情報テーブル３２およびクローラアイテム特徴量ベクトルテーブル３４とから検索条件に合致するアイテムを検索し（Ｓ４２０）、検索結果をユーザ端末１２に送信する（Ｓ４３０）。このとき、顔判定フラグが値１のアイテムを含まないようにする。なお、顔判定フラグが値１のアイテムを含むように構成しても構わない。ユーザ端末１２は検索結果を受信すると、検索されたアイテムを提示する（Ｓ４４０）。このとき、アイテムの画像については、アイテム画像のＵＲＬに基づいてＥＣサイト１０から直接ダウンロードして提示するようにアプリケーションソフトウエアを構成しておくのが好ましい。ユーザは、ユーザ端末１２に提示されたアイテムの中からお気に入りに登録したいアイテムを選択し（Ｓ４５０）、ユーザ識別子と選択したアイテム識別子をＷｅｂサーバ３０に送付する（Ｓ４６０）。Ｗｅｂサーバ３０は、選択されたアイテムのアイテム識別子とユーザ識別子をユーザクローゼットテーブル４０にお気に入りアイテムとして保存する（Ｓ４７０）。こうしたお気に入りアイテム登録処理により登録されたお気に入りアイテムは、上述したクローゼット閲覧処理により、ユーザ端末１２のクローゼット閲覧画面に配列提示される。

５．コーディネート
実施例のファッションコーディネートリコメンドシステム２０では、ユーザ端末１２により選択されたＦ値の目標値を用いて、ユーザ端末１２により選択されたアイテムにあったファッションコーディネートを計算して提示する。ユーザは提示されたコーディネートを確認し、コーディネート内のいずれかのアイテムを変更（カスタマイズ）した上で（変更しなくてもよい）、そのコーディネートの評価を行なう。

（１）コーディネート提案処理
図１６は、コーディネート提案処理の流れの一例を示す説明図である。コーディネート提案処理は、まず、ユーザは、ユーザ端末１２のクローゼット閲覧画面に配列提示されたアイテムのうちから基準となるアイテムを選択する（Ｓ５００）。なお、基準となるアイテムを選択しないものとしてもよい。次に、Ｆ値の目標値を設定する（Ｓ５１０）。Ｆ値の設定にはインターフェースとしては「ビジネス・パーティー」を最大値，「普段着」を最小値としたスライダを用いる手法を用いることができる。なお、スライダの初期値にはユーザ情報テーブル４２に保存されているユーザのお気に入りコーディネートＦ値平均値をＷｅｂサーバ３０を経由して取得する手法も用いることができる。こうしてＦ値の目標値が設定されると、ユーザ端末１２は、選択したアイテムのアイテム識別子と設定したＦ値の目標値をユーザ識別子と共にＷｅｂサーバ３０に送信する（Ｓ５２０）。Ｗｅｂサーバ３０は、ユーザ端末１２から選択したアイテム識別子，Ｆ値の目標値，ユーザ識別子を受信すると、受信したアイテム識別子，Ｆ値の目標値，ユーザ識別子をコーディネート計算機２６に送付し（Ｓ５３０）、コーディネート計算機２６に対してコーディネートの計算を要求する（Ｓ５４０）。コーディネート計算機２６は、アイテム識別子，Ｆ値の目標値，ユーザ識別子を受け取ると、クローラアイテム特徴量ベクトルテーブル３４やユーザアイテムテーブル３８，ユーザ情報テーブル４２から必要な情報を参照してコーディネートを算出し（Ｓ５５０）、新たなコーディネート識別子を作成し（Ｓ５６０）、算出したコーディネートをアイテム識別子とユーザ識別子と共にコーディネートテーブル３６に保存し（Ｓ５７０）、計算が終了した旨をＷｅｂサーバ３０に送信する（Ｓ５８０）。

コーディネートの計算は、以下のように行なわれる。いま、各コーディネートカテゴリに属する自然数で表現されたアイテム識別子と「選択なし」を表す「０」によって構成された集合をＪ_Hat，Ｊ_Tops1，Ｊ_Tops2，Ｊ_Tops3，Ｊ_{All in one}，Ｊ_Bottoms，Ｊ_Shoes，Ｊ_Bag，Ｊ_Glass，Ｊ_Muffler，Ｊ_Necklace，Ｊ_Pierce，Ｊ_Bracelet（数式中の「Ｊ」は筆記体）とする。コーディネートを表現する変数を次式（１１）とする。ここで、Ｎは任意に定めてよい。ｘの各成分は，いずれかのコーディネートカテゴリに属するアイテム識別子とする。ｘの成分番号をカテゴリ成分番号とよぶ。例えば、Ｎ＝１３の場合に，各成分をｘ₁∈Ｊ_Hat，ｘ₂∈Ｊ_Tops1，ｘ₃∈Ｊ_Tops2，ｘ₄∈Ｊ_Tops3，ｘ₅∈Ｊ_{All in one}，ｘ₆∈Ｊ_Bottoms，ｘ₇∈Ｊ_Shoes，ｘ₈∈Ｊ_Bag，ｘ₉∈Ｊ_Glass，ｘ₁₀∈Ｊ_Muffler，ｘ₁₁∈Ｊ_Necklace，ｘ₁₂∈Ｊ_Pierce，ｘ₁₃∈Ｊ_Braceletとすると、ｘ₁はＨａｔカテゴリに属するいずれかのアイテムのアイテム識別子，ないしは選択なし（ｘ₁＝０）となり，Ｈａｔカテゴリのカテゴリ成分番号は値１である。アイテムｘ₁（≠０），ｉ＝１，…，Ｎについて、算出したＦ値をＦ（ｘ_i），算出したＡ値をＡ（ｘ_i），算出したＷｃ値をＷｃ（ｘ_i），算出したＷｓ値をＷｓ（ｘ_i），算出した色比率をＣ（ｘ_i）＝（Ｃ_W（ｘ_i），Ｃ_C（ｘ_i），Ｃ_A（ｘ_i），Ｃ_N（ｘ_i）），算出した顔判定フラグをΦ（ｘ_i）とする。ｘ₁＝０のとき，Ｆ値，Ａ値，Ｗｃ値，Ｗｓ値，色比率，顔判定フラグはすべて値０、即ちＦ（０）＝０，Ａ（０）＝０，Ｗｃ（０）＝０，Ｗｓ（０）＝０，Ｃ（０）＝（０，０，０，０），Φ（０）＝０とする。Ｓ_t（ｘ）をｘに含まれる算出した季節タグとする。例えば，ｘが冬物を表すＷとオールシーズンを表すＡのみで構成される場合はＳ_t（ｘ）＝｛Ｗ，Ａ｝となる。Ｓ_c（ｘ）をｘに含まれる小カテゴリとする。例えば、ｘが，小カテゴリがＴシャツ，パンツ，サンダルであるアイテムによって構成されていれば、Ｓ_c（ｘ）＝｛Ｔシャツ，パンツ，サンダル｝となる。筆記体の「Ａ」を用いてＡ（ｘ）＝｛ｉ｜ｘ_i≠０，ｉ＝１，…，Ｎ｝とし、その要素数を｜Ａ（ｘ）｜とする。上半身カテゴリ成分番号集合を筆記体の「Ｔ」を用いてＴ’とする。上記の例ではＴ’＝｛１、２、３、４、５、１０｝である。Ｔ（ｘ）＝Ｔ’∩Ａ（ｘ）とし、その要素数を｜Ｔ（ｘ）｜とする。下半身カテゴリ成分番号集合を筆記体の「Ｂ」を用いてＢ’とする。上記の例では、Ｂ’＝｛５，６｝である。Ｂ（ｘ）＝Ｂ’∩Ａ（ｘ）とし、その要素数を｜Ｂ（ｘ）｜とする。靴カテゴリ成分番号集合を筆記体の「Ｓ」を用いてＳ’とする。上記の例では、Ｓ’＝｛７｝である。Ｓ（ｘ）＝Ｓ’∩Ａ（ｘ）とし、その要素数を｜Ｓ（ｘ）｜とする。ｉ番目のコーディネートカテゴリの面積比率をＲ_i，ｉ＝１，…，Ｎとする。Ｒ_i，ｉ＝１，…，Ｎは事前に設定するパラメータである。ユーザが指定したアイテムのコーディネートカテゴリに対応するカテゴリ成分番号集合を筆記体の「Ｕ」を用いてＵとし、指定されたアイテムのアイテム識別子をｙとする。ｙの成分番号はＵの要素のみとする。例えば，ユーザがＨａｔカテゴリとＢｏｔｔｏｍｓカテゴリのアイテムを指定した場合、Ｕ＝｛１，６｝でｙ＝（ｙ₁，ｙ₆）となる。ユーザが指定したＦ値の目標値をアッパーバー付きのＦとする。Ｕ，ｙ，アッパーバー付きＦが与えられた下で，最適なコーディネートを算出するための最適化問題は、次式（１３）〜式（２２）で与えられる制約条件を満たすもとで、式（１２）で与えられる目的関数を最小にするｘを決定する問題と定式化される。

式（１２）は、Ｆ値の目標値とのコーディネートのＦ値との誤差を表す。コーディネートのＦ値は，コーディネート内に含まれるアイテムの加重和で与えられる。
式（１３）は、コーディネート内にユーザが指定したアイテムが含まれていることを表す。
式（１４）は、画像内に顔が含まれるアイテムの使用の有無を表し，θΦ＝０であれば使用しないこと、θΦ＝１であれば使用することを表す。
式（１５）は、コーディネートに含まれるアイテムのＦ値の差が極端に大きくないことを表す。
式（１６）は、Ａ値の加重和が一定値以内であり、即ちコーディネートの自己主張の度合いが一定の範囲内であることを表す。範囲の上限値と下限値は、お気に入りコーディネートＡ値平均値を用いる場合は、次式（２３）により設定する。お気に入りコーディネートＡ値最大値とＡ値最小値を用いる場合は、式（２４）により設定する。

式（１７）は、上半身のＷｃ値の平均が下半身と靴のＷｃ値の平均より小さいことを表す。
式（１８）は、アイテムの形状の重さのバランスが、上のアイテムほど軽い三角形状のバランスか、下半身に頂点が集まる２つの三角形状のバランスのいずれかになっていることを表す。
式（１９）は，コーディネートを構成するアイテム内に夏物と冬物の両方が含まれていないことを表す。

式（２０）は，コーディネートの配色が設定された制約に違反していないことを表す。Ｇ_c（Ｃ（ｘ））は配色制約関数であり、その値はつぎのように算出される。次式（２５）とし式（２６）とする。アッパー波バー付きＣ（ｘ）をその値が大きい順に並び替えてＣ’（ｘ）とし、対応する色分類を筆記体の「Ｃ」を用いてＣ’（ｘ）とする。例えば、式（２７）の場合には式（２８）となる。

式（２９）が成立するならば、４種類以上のコーディネートカラーが存在するとみなし、制約違反として値０を出力して終了する。式（３０）が成立するならば、コーディネートカラーが１種類であるとみなし，制約違反として値０を出力して終了する。式（３１）が成立するならば、コーディネートカラーが３種類であるとみなす。筆記体の「Ｃ」を用いた Ｃ₁（ｘ），Ｃ₂（ｘ），Ｃ₃（ｘ）の組合せがＷ，Ｃ，Ａの組み合わせであれば、制約満足として値１を出力して終了する。そうでなければ，制約違反として値０を出力して終了する。式（３２）が成立するならば、コーディネートカラーが２種類であるとみなす。筆記体の「Ｃ」を用いたＣ₁（ｘ），Ｃ₂（ｘ）が図１７に示すいずれかであれば、制約満足として値１を出力して終了する。そうでなければ，制約違反として値０を出力して終了する。

式（２１）は、ｘが、コーディネートカテゴリに関して、コーディネートとして成立する組み合わせであることを表す。Ｇ_p（ｘ）は，ｘがコーディネートとして成立しない組み合わせのときに制約違反として値０を出力し、そうでなければ値１を出力する関数である。例えば、Ｎ＝１３で，各成分がｘ₁∈Ｊ_Hat，ｘ₂∈Ｊ_Tops1，ｘ₃∈Ｊ_Tops2，ｘ₄∈Ｊ_Tops3，ｘ₅∈Ｊ_{All in one}，ｘ₆∈Ｊ_Bottoms，ｘ₇∈Ｊ_Shoes，ｘ₈∈Ｊ_Bag，ｘ₉∈Ｊ_Glass，ｘ₁₀∈Ｊ_Muffler，ｘ₁₁∈Ｊ_Necklace，ｘ₁₂∈Ｊ_Pierce，ｘ₁₃∈Ｊ_Braceletのとき、コーディネートとして成立しないアイテムの組み合わせの例は、以下のように与えられる。

式（２２）は、Ｓ_c（ｘ）がコーディネートとして成立する小カテゴリの組み合わせであることを表す。Ｇ_s（Ｓ_c（ｘ））は、Ｓ_c（ｘ）内にコーディネートとして成立しない小カテゴリの組み合わせが含まれているときに制約違反として値０を出力し、そうでなければ値１を出力する関数である。コーディネートとして成立しない小カテゴリの例としては，カフスボタンとＴシャツ，デニムジャケットとパーティードレスなどを挙げることができる。

なお、ある一定数以上コーディネートを生成したユーザについては、式（１２）で与えられる目的関数にコーディネート学習器からの出力を加えてもよい。即ち、コーディネートｘに対するコーディネート学習器の出力をＦ’（ｘ）として、目的関数を次式（３３）と構成してもよい。

また、最適化問題は、以下のように解いてもよい。まず，ユーザの嗜好を反映したペナルティ関数を用いて、最適化問題の緩和可能な制約条件の違反量を目的関数に組み込んだ緩和問題を、次式（３５）（３６）で与えられる制約条件を満たすもとで、式（３４）で与えられる目的関数を最小にするｘを決定する問題として考える。

目的関数を式（１２）とし、制約条件を式（１３）〜式（２２）とする最適化問題と対応させると、Ｍ＝８で、Ｖ₁が制約条件（式(１５））の正規化制約違反量，Ｖ₂が制約条件（式（１６））の正規化制約違反量，…，Ｖ₈が制約条件（式（２２））の正規化制約違反量を表し、ｒ₁，ｒ₂，…，ｒ₈が対応する制約条件の違反に対するペナルティ係数となる。ｒ_m，ｍ＝１，…，Ｍはユーザごとに制約条件に対する感度が反映された値とする。例えば、ｒ₁＝ｒ₂＝…＝ｒ₇＝１００，ｒ₈＝１０は、小カテゴリ制約の違反に対しては寛容であるユーザの嗜好を表現している。
目的関数を式（３４）とし、制約条件を式（３５），（３６）とする緩和問題は、有制約組合せ最適化問題であり、その目的関数と実行可能領域の形状は不明である。その解法としては、遺伝的アルゴリズムをはじめとするメタヒューリスティクスを考えることができる。

（２）コーディネート閲覧処理
図１８は、コーディネート閲覧処理の流れの一例を示す説明図である。コーディネート閲覧処理は、まず、ユーザの操作によりユーザ端末１２がＷｅｂサーバ３０にコーディネートの閲覧の要求を行なう（Ｓ６００）。Ｗｅｂサーバ３０は、コーディネートの閲覧の要求を受信すると、ユーザ識別子をキーとしてコーディネートテーブル３６からユーザが保存したコーディネートを取得し（Ｓ６１０）、取得したコーディネートをユーザ端末１２に送信する（Ｓ６２０）。この際、ユーザ情報テーブル４２に保存されているユーザのお気に入りコーディネートを参照し、お気に入りコーディネートを優先して取得して送信するように構成するものとしてもよい。ユーザ端末１２は、受信したコーディネートを提示する（Ｓ６３０）。このとき、コーディネート内に含まれるクローラ２２が収集したアイテムの画像は，アイテム画像のＵＲＬに基づいてＥＣサイト１０から直接ダウンロードして提示するようにアプリケーションソフトウエアを構成しておくのが好ましい。ユーザは、ユーザ端末１２に提示されたコーディネートを閲覧し、コーディネートのカスタマイズやコーディネートの評価を行う。

（３）コーディネートカスタマイズ処理
図１９は、コーディネートカスタマイズ処理の流れの一例を示す説明図である。コーディネートカスタマイズ処理は、ユーザが、ユーザ端末１２に提示されたコーディネートから、カスタマイズ対象アイテムを選択すると（Ｓ７００）、ユーザ端末１２は、ユーザ識別子，カスタマイズ対象アイテムのアイテム識別子，コーディネート識別子をＷｅｂサーバ３０に送信する（Ｓ７１０）。Ｗｅｂサーバ３０は、ユーザ識別子，カスタマイズ対象アイテムのアイテム識別子，コーディネート識別子を受信すると、コーディネート識別子をキーとして、コーディネートテーブル３６からコーディネートに含まれるアイテムのアイテム識別子を参照し（Ｓ７２０）、アイテム識別子をキーとして、クローラアイテム特徴量ベクトルテーブル３４とユーザアイテムテーブル３８からコーディネート計算に必要な情報を参照する（Ｓ７３０）。式（１２）〜式（２２）の目的関数および制約条件式を参考に、カスタマイズ対象アイテムの代替となりうるアイテムを検索するための検索条件式を生成する（Ｓ７４０）。カスタマイズ対象アイテムの成分番号をｔとすると，以下の条件をすべて満たすアイテムが検索対象となる。
(a)ｔに対するコーディネートカテゴリのアイテム
(b)目的関数（式（１２））に関して、斜体の「Ｆ」で表されるＦ値が次式（３７）を満たすアイテム。
(c)制約条件（式（１４））に関して、顔判定フラグΦがΦ≦θΦを満たすアイテム。
(d)制約条件（式（１６））に関して、斜体の「Ａ」で表されるＡ値が式（３８）を満たすアイテム。
(e)制約条件（式（１９））に関して、Ｓ_tで表わされる季節タグが式（３９）を満たすアイテム。

次に、Ｗｅｂサーバ３０は、クローラアイテム特徴量ベクトルテーブル３４とユーザアイテムテーブル３８から生成した検索条件式に該当するアイテムを検索し（Ｓ７５０）、検索されたアイテムをカスタマイズ対象アイテムと交換したコーディネートを改めてｘとして、制約条件（式（１５）），（式（１７）），（式（１８）），（式（２０）），（式（２２））の満足性を確認する（Ｓ７６０）。制約条件を満たさない場合は，当該アイテムをユーザに提示するアイテム候補から除外する。以上の過程を経て得られた交換アイテム候補をユーザ端末１２に送信する（Ｓ７７０）。ユーザ端末１２は、交換アイテム候補を受信すると、受信した交換アイテム候補を提示する（Ｓ７８０）。このとき、コーディネート内に含まれるクローラが収集したアイテムの画像は，アイテム画像のＵＲＬに基づいてＥＣサイト１０から直接ダウンロードして提示するようにアプリケーションソフトウェアを構成しておいてもよい。ユーザ端末１２は、ユーザにより提示された交換アイテム候補の中から交換対象アイテムが選択されると（Ｓ７９０）、カスタマイズ対象アイテム識別子，交換対象アイテム識別子，コーディネート識別子をＷｅｂサーバ３０に送信する（Ｓ８００）。Ｗｅｂサーバ３０は、カスタマイズ対象アイテム識別子，交換対象アイテム識別子，コーディネート識別子を受け取ると、コーディネートテーブル３６におけるコーディネート識別子が示すコーディネートにおいて、カスタマイズ対象アイテム識別子を交換対象アイテム識別子に上書きする（Ｓ８１０）。

（４）コーディネート評価処理
図２０は、コーディネート評価処理の流れの一例を示す説明図である。コーディネート評価処理は、ユーザがコーディネートをお気に入りに登録する場合に行なわれ、ユーザがコーディネートを選択すると、ユーザ端末１２はユーザ識別子とコーディネート識別子とをＷｅｂサーバ３０に送信する（Ｓ８５０）。Ｗｅｂサーバ３０は、ユーザ識別子とコーディネート識別子を受信すると、ユーザ識別子に対応づけてコーディネート識別子をお気に入りコーディネートとして、ユーザ情報テーブル４２に保存する（Ｓ８６０）。また、Ｗｅｂサーバ３０は、そのコーディネートの次式（４０）により計算されるＦ値を用いてユーザのお気に入りコーディネートのＦ値平均値を更新すると共にそのコーディネートの式（４１）により計算されるＡ値を用いてユーザのお気に入りコーディネートのＡ値平均値，Ａ値最大値，Ａ値最小値を更新する（Ｓ８７０）。そして、そのコーディネートの制約違反量を用いて、違反を許容している緩和制約条件に対するペナルティ係数を小さくし、違反を許容していない緩和制約条件に対するペナルティ係数を大きくするように更新する（Ｓ８８０）。

（５）コーディネート学習処理
図２１は、コーディネート学習処理の流れの一例を示す説明図である。コーディネート学習処理では、コーディネート学習機２８がコーディネートに対するユーザ毎の嗜好を学習する。コーディネート学習機２８は、まず、コーディネートテーブル３６から、学習対象ユーザ識別子をキーとして、コーディネートを構成しているアイテム識別子を取得し（Ｓ９００）、クローラアイテム特徴量ベクトルテーブル３４とユーザアイテムテーブル３８から、取得したアイテム識別子をキーとして、アイテム特徴量ベクトルを取得する（Ｓ９１０）。続いて、ユーザ情報テーブル４２から学習対象ユーザのお気に入りとなっているコーディネート識別子を取得し（Ｓ９２０）、取得した情報を元に訓練データ（ｘ^p，ｓ^p），ｐ＝１，…，Ｐを次式（４２）のように準備する（Ｓ９３０）。各カテゴリのアイテムの有無は、コーディネート内に当該カテゴリのアイテムが含まれているかを表し、含まれていなければ値０、含んでいれば値１とする。アイテムｐに対するスコアは、例えば、お気に入りコーディネートに対しては値１、そうでないコーディネートに対しては値０とする方法や、何らかのインターフェースを用いてユーザに点数を付けてもらい、その点数とする方法が考えられる。式（４２）のｘ^pの構成は実装方法の一例であり、別の特徴量を用いて構成する方法も考えられる。訓練データの選択方法としては、お気に入りコーディネートのみを用いる方法や、ユーザに提示した直近１００件のコーディネートを用いる方法などが考えられる。

コーディネート学習機２８は，ｘ^pを入力するとｓ^pが出力されるように，即ち，すべてのｐについて、次式（４３）となるように、機械学習器を用いて近似関数Ｆを構築する（Ｓ９４０）。

ここで，近似関数の構築（これを学習とよぶ）とは、関数構造Ｆおよびそのパラメータを決定することを意味している。機械学習法としては、ニューラルネットワークを始めとしてさまざまな方法が適用できるが、実施例では、ラジアル基底関数ネットワークを用いた。ラジアル基底関数ネットワークでは、複数のガウス関数の重ね合わせで近似関数を構成する。ラジアル基底関数の近似関数は次式（４４）により構成される。ラジアル基底関数ネットワークの学習では、ｘの成分数をＮとして、パラメータｗ，ｒ，ｖ１，…，ｖＭを式（４５）〜式（４８）のように算出する。

学習が終了すると、コーディネート学習機２８は、学習した（学習器を用いて新たなコーディネートを評価するために必要な）パラメータをユーザ情報テーブル４２にユーザ識別子とともに保存する（Ｓ９５０）。なお、コーディネート学習を行なう間隔は任意に設定可能であるが、例えば１日１回の運用が考えられる。

以上説明した実施例のファッションコーディネートリコメンドシステム２０では、ユーザ端末１２からアイテムを指定すると共にＦ値の目標値が指定されると、ＥＣサイト１０から収集したアイテムのアイテム特徴量ベクトルを保存するクローラアイテム特徴量ベクトルテーブル３４や、ユーザ所有アイテムのアイテム情報等を保存するユーザアイテムテーブル３８，ユーザの嗜好（Ａ値平均値、Ａ値最大値、Ａ値最小値など）を保存するユーザ情報テーブル４２を参照して、指定されたアイテムにあったコーディネートを最適化計算により算出して提示する。これにより、ユーザが想定している時間や場所，場合（ＴＰＯ：Time，Place，Occasion）とユーザの嗜好を考慮して、ユーザが指定したアイテムにあったファッションコーディネートを自動的に計算し提案することができる。しかも、コーディネートを構成するアイテムを総合的に評価する関数を目的関数とした最適化問題を解いてコーディネートを推薦するから、柔軟性と多様性に富んだコーディネートを提示することができる。例えば、フォーマル度を例に取ると、コーディネート全体のフォーマル度に対する目標値（Ｆ値の目標値）の計画問題を解くから、目標とするフォーマル度が７の場合には、トップスのフォーマル度が７、ボトムスのフォーマル度が６、ハットのフォーマル度が８、即ち、ボトムスで少しカジュアル感を出した分だけハットでバランスを整えるといったコーディネートを探索して提示することができる。また、これと同時に、同じ評価値となるトップスのフォーマル度が５、ボトムスのフォーマル度が８、バッグのフォーマル度が８、ハットのフォーマル度が７というコーディネートも提示することができる。

また、実施例のファッションコーディネートリコメンドシステム２０では、制約条件をペナルティ関数として目的関数に組み込んだ問題を解いてコーディネートを探索するから、ある程度制約を侵害するが、ユーザが設定した目標には近い意外性のあるコーディネートを提示することできる。さらに、ユーザの嗜好を制約条件の侵害度に対する感度（ペナルティ係数）として、ペナルティ関数を介して目的関数に組み込むことにより、ユーザの嗜好をより直接的に考慮したコーディネートを探索し提示することができる。これに加えて、コーディネートに対するユーザの評価の予測値を目的関数に組み込むことにより、ユーザの嗜好をより直接的に考慮したコーディネートを探索し提示することができる。

実施例のファッションコーディネートリコメンドシステム２０では、ユーザ端末１２から提示されたコーディネートに含まれるアイテムがカスタマイズ対象アイテムとして指定されると、このカスタマイズ対象アイテムの代替えのアイテムをコーディネート提案処理の一部を用いて算出して交換アイテム候補としてユーザ端末１２に提示し、ユーザ端末１２から提示された交換アイテム候補からアイテムが交換対象アイテムとして指定されると、提示されたコーディネートに含まれるアイテムのうちカスタマイズ対象アイテムを交換対象アイテムに置き換える。これにより、コーディネートに含まれるアイテムを変更することができる。

実施例のファッションコーディネートリコメンドシステム２０では、提示されたコーディネートをお気に入りコーディネートとしてユーザ情報テーブル４２に保存すると共に、ユーザのお気に入りコーディネートのＦ値平均値やＡ値平均値，Ａ値最大値，Ａ値最小値を更新し、コーディネートの制約違反量を用いてペナルティ係数を更新する。これにより、ユーザの嗜好をより直接的に考慮したコーディネートを提示することができる。

実施例のファッションコーディネートリコメンドシステム２０では、コーディネートテーブル３６に保存された学習対象のユーザのコーディネートに含まれるアイテムやユーザのお気に入りコーディネートに含まれるアイテムを用いた訓練データを準備して、コーディネートに対するユーザ毎の嗜好を学習する。これにより、ユーザの嗜好をより反映したコーディネートを提示することができる。

以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。

本発明は、ファッションコーディネートリコメンドシステムの製造産業などに利用可能である。

１０ ＥＣサイト、１２ ユーザ端末、２０ ファッションコーディネートリコメンドシステム、２２ クローラ、２４ アイテム特徴量ベクトル計算機、２６ コーディネート計算機、２８ コーディネート学習機、３０ Ｗｅｂサーバ、３２ クローラアイテム情報テーブル、３４ クローラアイテム特徴量ベクトルテーブル、３６ コーディネートテーブル、３８ ユーザアイテムテーブル、４０ ユーザクローゼットテーブル、４２ ユーザ情報テーブル。

Claims (5)

1. ユーザ端末にファッションコーディネートをリコメンドするファッションコーディネートリコメンドシステムであって、
   ＥＣサイトからアイテム情報を取得してアイテム情報テーブルに保存するアイテム情報取得手段と、
   前記アイテム情報テーブルのアイテム情報に基づいて少なくともアイテムのカテゴリとフォーマルの程度とを含む予め定めたアイテム特徴量に対するアイテム特徴量ベクトルを計算してアイテム特徴量ベクトルテーブルに保存するアイテム特徴量ベクトル計算手段と、
   前記アイテム情報テーブルからユーザが選択したアイテムのアイテム情報とユーザにより入力されたアイテムのアイテム情報とをユーザアイテムテーブルに保存するユーザアイテム情報保存手段と、
   ユーザ端末からアイテムとフォーマルの程度の目標値とが指定されたとき、前記ユーザアイテムテーブルと前記アイテム特徴量ベクトルテーブルとを参照し、所定の目的関数と所定の制約条件とに基づいて前記指定したアイテムを含み且つ前記指定した目標値に近いコーディネートを計算してコーディネートテーブルに保存すると共に該コーディネートを前記ユーザ端末に提示するコーディネート計算手段と、
   を備えるファッションコーディネートリコメンドシステム。
2. 請求項１記載のファッションコーディネートリコメンドシステムであって、
   前記コーディネート計算手段は、アイテムを総合評価する関数を前記所定の目的関数として前記所定の制約条件に基づいて最適化問題を解くことにより前記コーディネートを計算する手段である、
   ファッションコーディネートリコメンドシステム。
3. 請求項１または２記載のファッションコーディネートリコメンドシステムであって、
   前記コーディネートテーブルに保存されたコーディネートに対して該コーディネートに含まれるアイテムがカスタマイズ対象アイテムとして選択されたとき、該コーディネートに含まれるアイテムのアイテム情報を用いて前記所定の目的関数と前記所定の制約条件とに基づいて前記カスタマイズ対象アイテムの代替えとなる交換アイテム候補を検索して前記ユーザ端末に提示し、前記ユーザ端末から前記交換アイテム候補のうち交換対象アイテムが指定されたとき、前記コーディネートに対して前記カスタマイズ対象アイテムを前記交換対象アイテムに置き換えて前記コーディネートテーブルに保存するカスタマイズ手段、
   を備えるファッションコーディネートリコメンドシステム。
4. 請求項１ないし３のうちのいずれか１つの請求項に記載のファッションコーディネートリコメンドシステムであって、
   前記ユーザ端末からコーディネートがお気に入りコーディネートとして指定されたとき、前記お気に入りコーディネートをユーザ情報テーブルに保存すると共に、前記ユーザ情報テーブルに保存された前記所定の制約条件に対する許容度を更新するコーディネート評価処理手段、
   を備えるファッションコーディネートリコメンドシステム。
5. 請求項１ないし４のうちのいずれか１つの請求項に記載のファッションコーディネートリコメンドシステムであって、
   前記コーディネートテーブルに保存されたユーザ毎の少なくとも一部のコーディネートまたは前記ユーザ情報テーブルに保存されたユーザ毎の少なくとも一部のお気に入りコーディネートを用いて該コーディネートに含まれるアイテムのアイテム情報に基づいてユーザの嗜好を反映する嗜好指標を学習すると共に該嗜好指標をユーザ情報テーブルに保存する嗜好指標学習手段、
   を備えるファッションコーディネートリコメンドシステム。