JP2022087689A - コーディネート用評価サーバ装置、コーディネート用評価サーバ装置の制御方法、およびそれに用いるプログラムおよび記録媒体 - Google Patents

Abstract

【課題】コーディネートに係るアイテムもしくはアイテム組合せがユーザーに適合するかを客観的に評価でき、主体的にコーディネートできるコーディネート用評価サーバ装置、その制御方法、それに用いるプログラムおよび記録媒体を提供する。【解決手段】サーバ１００は、ユーザーの身体的特徴情報、ユーザーが注目するアイテムもしくはアイテム組合せに係る情報、コーディネートに係る複数のアイテムに係る情報の内の少なくとも２つの情報を記憶する記憶部１０１と、ユーザー適合度に関し評価のための人工知能システムを記憶する記憶部１０３と、記憶部に記憶される少なくとも２つの情報に基づき、ユーザーが注目するアイテムもしくはアイテム組合せ、もしくはコーディネートに係る複数のアイテムにおけるユーザー適合度を人工知能システムにより評価する評価部１０４と、評価部で評価された結果をユーザーに対し出力可能な出力部１０５と、を有する。【選択図】図２

Description

本発明は、コーディネートに係るアイテムがユーザーに適合するかを客観的にかつユーザーが主体的に評価可能とするためのコーディネート用評価サーバ装置、コーディネート用評価サーバ装置の制御方法、およびそれに用いるプログラムおよび記録媒体に関する。

従来のショッピングにおいて、ユーザーは、ファッション店などでコーディネートに係るアイテムを選択（購入）する。そして、ユーザーが迷ったときなど、ファッション店などの店員が、ユーザーに似合う（適合する）アイテムをアドバイスしたりする。

また、オンラインショッピングにおいては、ユーザーをサポートする人がいない中で、
ユーザー自身の主観だけでコーディネートに係るアイテムを選択（購入）する。

ここで、オンライン上で人体に衣服を着させ、不自然なく試着可能とすることが、特許文献１に知られる。

ＷＯ２０１６／０１９０３３号公報

しかしながら、ファッション店などを訪れる従来のショッピングにおいて、ユーザー自身の主観、あるいはユーザーをサポートする店員の主観が刹那的に強く働いてしまい、実は自分に適合したものでなかったと自宅に戻ってユーザーが反省することが考えられる。

また、オンラインショッピングにおいては、ユーザーをサポートする人がいない中で、
ユーザー自身の主観だけでコーディネートに係るアイテムを選択（購入）してしまうことが考えられる。

そして、このような事情があるため、コーディネートに係るアイテムをプレゼントしようとしても贈られる側にとって贈る側が考えるように喜ばれないということもあった。

また、従来技術においては、２人のユーザーが着用する服（ペアルック・リンクコーデ）または３人以上のユーザーが着用する服の適合性を客観的に評価することができなかった。

そして、特許文献１にも、このような問題を解決することが開示示唆されていない。

本発明の目的は、コーディネートに係るアイテムもしくはアイテム組合せがユーザーに適合するかを客観的に評価できると共に、ユーザー自身が受動的でなく主体的にコーディネートできるコーディネート用評価サーバ装置、コーディネート用評価サーバ装置の制御方法、およびそれに用いるプログラムおよび記録媒体を提供することにある。

上記目的を達成するため、本発明に係るコーディネート用評価サーバ装置は、コーディネートに係るアイテムもしくはアイテム組合せに関し、ユーザー自身の身体的特徴に対し似合うアイテムもしくはアイテム組合せであるか、もしくはユーザーが着用するために注目するアイテムもしくはアイテム組合せに対し似ている、もしくは調和するアイテムもしくはアイテム組合せであるかを、ユーザー適合度としてユーザーが主体的に評価可能とするためのコーディネート用評価サーバ装置であって、ユーザー固有情報としてのユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムもしくはアイテム組合せに係る情報、コーディネートに係る複数のアイテムに係る情報の内の少なくとも２つの情報を記憶する第１の記憶部と、前記ユーザー適合度に関し評価のための人工知能システムを記憶する第２の記憶部と、前記第１の記憶部に記憶される少なくとも２つの情報に基づき、前記ユーザーが注目するアイテムもしくはアイテム組合せ、もしくは前記コーディネートに係る複数のアイテムにおける前記ユーザー適合度を前記人工知能システムにより評価する評価部と、前記評価部で評価された結果をユーザーに対し出力可能な出力部と、を有することを特徴とする。

また、本発明に係るコーディネート用評価サーバ装置は、前記出力部は、前記評価部で評価された結果について、前記ユーザー適合度に対応させて１つ以上のアイテムを表示可能にユーザーに対して出力するという態様とすることもできる。

また、本発明に係るコーディネート用評価サーバ装置の制御方法は、コーディネートに係るアイテムもしくはアイテム組合せに関し、ユーザー自身の身体的特徴に対し似合うアイテムもしくはアイテム組合せであるか、もしくはユーザーが着用するために注目するアイテムもしくはアイテム組合せに対し似ている、もしくは調和するアイテムもしくはアイテム組合せであるかを、ユーザー適合度としてユーザーが主体的に評価可能とするためのコーディネート用評価サーバ装置の制御方法であって、ユーザー固有情報としてのユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムもしくはアイテム組合せに係る情報、コーディネートに係る複数のアイテムに係る情報の内の少なくとも２つの情報を前記コーディネート用評価サーバ装置が記憶する第１のステップと、前記ユーザー適合度に関し評価のための人工知能システムを前記コーディネート用評価サーバ装置が記憶する第２のステップと、前記第１の記憶部に記憶される少なくとも２つの情報に基づき、前記ユーザーが注目するアイテムもしくはアイテム組合せ、もしくは前記コーディネートに係る複数のアイテムにおける前記ユーザー適合度を前記コーディネート用評価サーバ装置が前記人工知能システムにより評価する第３のステップと、前記評価部で評価された結果を前記コーディネート用評価サーバ装置がユーザーに対し出力可能とする第４のステップと、を有することを特徴とする。

また、本発明に係るプログラムは、上記コーディネート用評価サーバ装置としてコンピュータを機能させることを特徴とする。

また、本発明に係る記録媒体は、上記コーディネート用評価サーバ装置としてコンピュータを機能させるためのプログラムを格納し、コンピュータが読み取り可能なものであることを特徴とする。

本発明によれば、コーディネートに係るアイテムもしくはアイテム組合せがユーザーに適合するかを客観的に評価できると共に、ユーザー自身が受動的でなく主体的にコーディネートできる。

本発明の実施形態に係るコーディネート用評価サーバを含むシステムを示す図 評価サーバの内部構成を示す図 人工知能システムとして機械学習システムの生成方法を示す図 人工知能システムとしてエキスパートシステムの生成方法を示す図 人工知能システムとして探索システムの生成方法を示す図 第１の実施形態のイメージ図 第１の実施形態のイメージ図 第１の実施形態のイメージ図 第１の実施形態のフローチャート（図４Ａに関連） 第１の実施形態のフローチャート（図４Ｂに関連） 第１の実施形態のフローチャート（図４Ｃに関連） 第１の実施形態の変形例のフローチャート（図４Ａ、図４Ｂ、図４Ｃの全てに関連） 第１の実施形態のユーザー似合い度およびコーディネートにおけるユーザー似合い度に基づくマッピング表示図 第１の実施形態のユーザー似合い度およびコーディネートにおけるユーザー似合い度に基づくマッピング表示図 第２の実施形態のイメージ図 第２の実施形態のフローチャート（アイテム間類似度および調和度を評価） 第２の実施形態の変形例のフローチャート（アイテム間類似度あるいは調和度を評価） 第２の実施形態の類似度に基づくマッピング表示図 第２の実施形態の類似度に基づくマッピング表示図 第２の実施形態の調和度に基づくマッピング表示図 第２の実施形態の調和度に基づくマッピング表示図 第３の実施形態のイメージ図 第３の実施形態のフローチャート（ブランド間類似度および調和度を評価） 第３の実施形態のフローチャート（ブランド間類似度あるいは調和度を評価） 第３の実施形態のブランド別のマッピング表示図 第１の実施形態のユーザー似合い度および第２の実施形態のアイテム間類似度に基づくマッピング表示図 第１の実施形態のユーザー似合い度および第２の実施形態のアイテム間類似度に基づくマッピング表示図 第１の実施形態のユーザー似合い度および第２の実施形態のアイテム間調和度に基づくマッピング表示図 第１の実施形態のユーザー似合い度および第２の実施形態のアイテム間調和度に基づくマッピング表示図 第１の実施形態のユーザー似合い度、および第２の実施形態のアイテム間類似度とアイテム間調和度に基づくマッピング表示図 第１の実施形態のユーザー似合い度、および第２の実施形態のアイテム間類似度とアイテム間調和度に基づくマッピング表示図 ユーザー間のコーディネート適合度を表す図 （ａ）、（ｂ）は本発明の概念を示す図

以下、本発明の実施形態に関し、図面を用いて説明する。本発明の実施形態は、ユーザー（顧客）にとってコーディネートに係るアイテムが適合するかの度合いの客観的な評価と、主体的なコーディネートが可能なコーディネート用評価サーバ装置に関する。

（定義）
１）コーディネートに係るアイテムに関して
ここで、本明細書において、コーディネートとは、ユーザー（顧客）が着用する服やその他のアイテムに関し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法など、また外的要素としての年齢、性別などのカテゴリーが適合するように組み合わせられることである。また、主体的なコーディネートとは、プロに選んでもらうのではなくユーザー自身が着用するアイテムをコーディネートすることである。

また、アイテムとは、商品であり、コーディネートに係るアイテムとは、服の他、メイク（つけまつげ等）、髪形、帽子、ネクタイ、ネックレス、ペンダント、眼鏡（サングラス）、ハンカチ、マスク、シューズなどを含むものである。そして、服に関しても、男女別にそれぞれ若者向け、シニア向け、子供向け、乳幼児向けがあり、種類（ジャンル）としても洋服、和服（着物）、カジュアル、モード、コンサバ、ストリート、ベーシックなどといったものがある。

また、着用のためユーザーが注目するアイテムとは、ユーザーが着用するために既に所有しているアイテムの他、ユーザーが所有していないがユーザーが所有したいと考えているアイテムや、ユーザーが他の人（例えば、注目するファッションモデル、後述するペアやグループを構成する人）の着用として注目するものを含む。

また、カテゴリー別のアイテムとは、性別として男女向け、年齢（年代）別として例えば若者向け、シニア向け、子供向け、乳幼児向け、種類（ジャンル）別として例えば服の場合であればコート、ジャケット、スカートなど、またブランドやユーザー希望（着用目的、着用場所、着用シーズン、着用ファッションモデル、着用感覚等）などに分類されるアイテムをいう。ここで、着用目的には、フォーマルやプライベート、デート、ショッピング、ドライブ、食事、観光等がある。着用場所には、ショッピングモールやデパート、遊園地、レストラン、観光地名、旅館名、ホテル名等がある。着用シーズンには、春や夏、秋、冬、初春、初夏、初秋、晩秋、初冬等がある。また、着用ファッションモデルには、Ｔシャツやスカート等アイテムを着用したファッションモデルのモデル画像、モデル氏名がある。また、着用感覚には、綺麗やかわいい、派手、かっこいい、美しい等、五感を通じて感じる全ての感覚が含まれる。

また、アイテムに係る情報とは、アイテムの画像情報のみの場合の他、アイテムの画像情報および画像に付随する情報の場合、アイテムの画像に付随する情報のみの場合を含む。アイテムの画像に付随する情報としては、内的要素や外的要素などの着用ファッションモデルといった人などの情報を含むことができる。

２）ユーザーに対するアイテムの評価に関して
客観的な評価とは、ユーザー自身の主観あるいはユーザーをサポートするプロ（ファッション店の店員など）の主観によらず、世の中の大多数の人が適合すると感じることをいう。

そして、ユーザーに対するアイテムの評価方法に関連し、人工知能（ＡＩ）とは、機械学習（コンピュータがデータからパターンや判断基準を学習することにより分類や回帰などの未知のタスクに対し推論を行う）、エキスパートシステム（コンピュータが推論エンジンと知識ベース（人間が設定したルール）に基づき未知のタスクに対し推論を行う）を含む。また、人工知能に機械学習やエキスパートシステムだけでなく探索（未知のタスクに対し具体的な解法を持たなくてもコンピュータが自動的に探索の情報空間内のを探す）も含む。

そして、機械学習には、説明に基づく学習（演繹学習）、例からの学習（教師あり学習、教師なし学習、半教師あり学習）、能動学習、質問による学習、強化学習、模倣学習、類推、転移学習、構造的学習、前記学習方法を組み合わせた多戦略学習のいずれかが含まれる。探索には、情報なし探索、情報あり探索のいずれかが含まれる。

そして、評価の度合いに関連し、ユーザー適合度とは、ユーザーに対するコーディネートに係るアイテムの相性の良さの度合い（適合する度合い）をいい、ユーザーとアイテムの関係に関しユーザーに対してアイテムが似合っている度合い（似合い度、ユーザー似合い度）、アイテムとアイテムの関係に関しユーザーが着用のために注目するアイテムに対して別アイテムが似ている度合い（類似度、アイテム間類似度）、アイテムとアイテムの関係に関しユーザーが着用のために注目するアイテムに対して別アイテムが全体として調和する度合い（調和度、アイテム間調和度）を含む（記憶部に２つ以上の情報が記憶される本発明の概念を示す図１２を参照）。アイテム間調和度（アイテム調和度）に関しては、例えば、白のジャケットに黒のスカートで全体としてシンプル感を与える場合、あるいはジャケットの一部模様とスカートの一部模様が組み合って全体として特定イメージを与える模様を構成する場合、ゆったりとしたジャケットにタイトなスカートで全体としてお洒落な着こなし感を与える場合などが考慮される。

また、コーディネートにおけるユーザー似合い度とは、ユーザー適合度のうち、ユーザーに対してコーディネートに係るアイテム組合せが似合っている度合いをいう。

またユーザー適合度は、ユーザーが１人の場合に限らず、２人の場合（ペアユーザー）、３人以上の場合（グループユーザー）を含む。すなわち、複数人のユーザーに対するコーディネートに係るアイテムの相性の良さの度合い（適合する度合い）を含む。

またブランド間類似度は、アイテム間類似度としてアイテムの数もしくは有効数の多寡に応じて定まるブランド同士の類似度である。アイテム間類似度としてアイテムの数もしくは有効数が多いブランド同士は、ブランド間類似度が高い。

同様に、ブランド間調和度は、アイテム間調和度としてアイテムの数もしくは有効数の多寡に応じて定まるブランド同士の調和度である。アイテム間調和度としてアイテムの数もしくは有効数が多いブランド同士は、ブランド間調和度が高い。
これにより、ユーザーは評価結果のマッピング表示をスマホなどの表示画面で確認することができる。

（第１の実施形態）
（コーディネート用評価システム）
次に、本発明の実施形態に係るコーディネート用評価サーバ装置（以下、評価サーバあるいはサーバともいう）を含むコーディネート用評価システムを、図１を用いて説明する。図１において、評価サーバ１００は、ユーザー（スマホ、ＰＣなど利用）２００とネットワークとしてのインターネットで接続される。そして、評価サーバ１００は、ユーザー２００からの評価依頼の入力を受けてユーザー適合度を評価し、評価結果をユーザー２００に出力する。

図２にサーバ１００の内部構成を機能別に示す。サーバ１００は、第１の情報として、複数のアイテムに係る情報としてそれぞれのアイテムの画像情報（更には画像に付随する情報）を記憶する記憶部１０１と、第２の情報としてユーザー固有情報を記憶する記憶部１０２と、人工知能システムを記憶する記憶部１０３と、人工知能システムを用いてユーザー適合度を評価する評価部１０４と、ユーザー２００からの入力およびユーザー２００への出力に係る通信部（入力部および出力部）１０５を備える。

記憶部１０１には機械学習等で第１の情報が記憶される一方、記憶部１０２には後からユーザーによる入力によって第２の情報が記憶される。なお、記憶部１０１、記憶部１０２が単一の記憶部（第１の記憶部）であっても良い。

以下、人工知能システムとして、ユーザー適合度を評価するために機械学習がされた機械学習システムとしての機械学習モデル、エキスパートシステム、探索システムについて、順に説明する。なお、後述する本発明の第２、第３の実施形態も、第１の実施形態の人工知能システムが適用できるものである。

（機械学習モデル）
図３Ａに、機械学習モデルの生成方法を示す。ここで、機械学習には、説明に基づく学習（演繹学習）、例からの学習（教師あり学習、教師なし学習、半教師あり学習）、能動学習、質問による学習、強化学習、模倣学習、類推、転移学習、構造的学習、前記学習方法を組み合わせた多戦略学習のいずれかが含まれる。なお学習とは、知識、行動、スキル、選考を、新しく獲得したり、修正することである。以下、主に教師あり学習について説明する。

図３において、事前準備のフェーズ３０１では学習用のデータセットを作る。データ収集として、ネット上や、実際に写真を撮影したりした人物や風景やアイテムやブランドの画像などを幅広く収集する。また、それに付随する情報である言語データ（かっこいい、かわいい等）などを集める。このように収集した情報（例えば、アイテムに係る情報である内的要素や外的要素など）が学習の際の特徴量として学習フェーズ３０２で用いられる場合もある。そして、前処理として、生データを学習用データセット（一般的に訓練データ・検証データ・テストデータからなる。）として相応しい形式に整えるため、変換、統合や綺麗にしたりする。

そして、学習フェーズ３０２では、訓練データを用い入力と出力の関係から分類や回帰分析するために設定された特徴量を用いる、または分類や回帰分析するために特徴量を抽出するモデルを作る。ここで、教師あり学習の場合に未知のデータに対して離散値であるカテゴリー（クラス）を予測することをを分類といい、未知のデータに対して連続値を予測することを回帰という。また、オンライン学習やミニバッチ学習やバッチ学習を検討する。

そして、学習してより良い結果を得るため、検証データを用いモデルの評価を行い、データセットを変更・パラメータチューニングやアルゴリズムを変更する場合もある。

次に予測フェーズ３０３では、学習して得られたモデルに未知データ（テストデータ）を入力し出力（予測結果）を得ることで、実際に未知データに対し正確な結果を出力できるかを検証する。

そして、システムへの組み込みフェーズ３０４では、システム上で動作するようにモデルを組み込む（記憶させる）。このようにして、コーディネートに係るユーザー適合度を評価する機械学習モデルが実装される。

次に図３Ｂで、人工知能システムとしてユーザー適合度を評価するためにエキスパートシステムを用いる場合を説明する。

（エキスパートシステム）
事前準備のフェーズ３０１ではコンピュータに知識獲得させるための事前準備として知識源からデータを集め整える。データ収集として、ネット上や、実際に写真を撮影したりした人物や風景やアイテムやブランドの画像などを幅広く収集する。また、それに付随する情報である言語データ（かっこいい、かわいい等）などを集める。また、適合度を評価するための指標を得る。たくさんの人や専門家からの知識を得ることでより一般化することができる。そして、前処理として、生データをエキスパートシステムで用いられるように相応しい形式に整えたりするため、変換、統合や綺麗にしたりする。

そして、知識ベースの実装フェーズ３０２では、コンピュータに知識獲得、つまりルールを理解させる。そのため、推論エンジンが使いやすい形式に整理してｉｆ条件ｔｈｅｎ実行のルール形式でプログラムする。例えば、ある身体的特徴（例えばストレートタイプのユーザーであればＩラインが似合うなどである。

推論エンジンの実装フェーズ３０３では、コンピュータが顧客の入力に対し知識ベースを元に演繹推論する論理式のプログラムを記載する。論理式の種類は命題論理、述語論理、様相論理、時間論理、ファジイ論理等がある。

説明機構の実装フェーズ３０４では、エキスパートシステムとユーザーの対話機能を実装する。知識ベースと推論エンジンの組み合わせによる結果をユーザーに出力するために用いられる。

次に予測フェーズ３０５では、エキスパートシステムに未知データ（テストデータ）を入力し出力（結果）を得ることで、実際に未知データに対し正確な結果を出力できるかを検証する。そして、より良い結果を得るため、知識ベースのルールを修正したり論理式を変更する場合もある。

そして、システムへの組み込みフェーズ３０６では、アプリ上で動作するようにシステムにモデルを組み込む（記憶させる）。このようにして、コーディネートに係るユーザー適合度を評価するエキスパートシステムが実装される。

このように、人工知能システムとしてユーザー適合度を評価するために機械学習およびエキスパートシステムを用いることができる。

次に図３Ｃで、人工知能システムとして、エキスパートシステム、機械学習により得られたユーザー適合度を元に探索手法を用い、組合せ最適化問題としてユーザーがより主体的なコーディネートをするために用いる場合を説明する。

（探索システム）
ここで、探索手法には、情報なし探索や情報あり探索が含まれる。その中でも、情報なし探索は深さ優先探索や幅優先探索、深さ優先反復深化、反復深化Ａ＊アルゴリズム、山登り法、最良優先探索、Ａ＊アルゴリズムなどのアルゴリズムがある。情報あり探索はＡＮＤ／ＯＲ探索、ＡＯ＊アルゴリズム、確率的探索法（シミュレーテッドアニーリング、マルコフ連鎖モンテカルロ法、遺伝的アルゴリズムなど）などのアルゴリズムがある。

事前準備のフェーズ３０１では探索する状態空間（状態空間探索）に用いられるデータを集め整える。データ収集として、ネット上や、実際に写真を撮影したりした人物や風景やアイテムやブランドの画像などを幅広く収集する。また、それに付随する情報である言語データ（かっこいい、かわいい等）などを集める。そして、前処理として、生データを探索で用いられるように相応しい形式に整えたりするため、変換、統合や綺麗にしたりする。

そして、状態空間探索の定式化フェーズ３０２では、エキスパートシステムや機械学習モデルが第１および第２アイテムに対するユーザー適合度である似合う度を評価後、スタート状態で選択されたアイテムに対し、似合うコーディネートであるゴール状態の間の経路をスタート状態から変化をさせる可能なオペレータを適用することでコーディネートの組み合わせである状態空間を設定する。それにより組合せ最適化を行う。状態をノードで表し、オペレータにより次に移れる次の状態である継続状態をリングでつないでこのような状態空間の中でゴール状態を達成する経路を見出す。開始ノード（スタート）から目標ノード（ゴール）までの間で経路を産み出していく子ノードを生成して目標ノードを見つけるためのノードの生成することでノードを展開するが、ノードの展開の仕方は探索手法により異なる。

次に予測フェーズ３０３では、設定したアルゴリズムにデータ入力をし出力（予測結果）を得ることで、実際に未知データに対し正確な結果を出力できるかを検証する。そして、より良い結果を得るため、探索手法やパラメータの変更をする場合もある。

そして、システムへの組み込みフェーズ３０４では、アプリ上で動作するようにシステムにモデルを組み込む（記憶させる）。このようにして、コーディネートに係るユーザー適合度を評価する探索システムが実装される。

このように、ユーザー適合度を評価するために人工知能システムとして機械学習がされた機械学習モデルやエキスパートシステムを用いることができる。また、各々のシステムを組み合わせても良い。更に、探索は、より主体的かつ効率的なコーディネートのためのアイテム探索に用いることが可能である。

（コーディネート用評価）
本実施形態のイメージ図を図４Ａ、図４Ｂ、図４Ｃに、またフローチャートを図４Ａに対応して図５Ａ、図４Ｂに対応して図５Ｂ、図４Ｃに対応して図５Ｃ、全体まとめたものを図５Ｄに、またマッピング表示を図５Ｅに示す。

本実施形態においては、先ず図４Ａに示すように、ユーザー固有情報としてのユーザーの身体的特徴情報（顔情報、体型情報、骨格情報、色情報）と、ユーザー固有情報としてのユーザー注目のアイテム情報が記憶部に記憶される。

ここで、ユーザー注目のアイテムは，ユーザー似合い度の対象となる１つのアイテム、あるいは複数のアイテム（それぞれがユーザー似合い度の対象となる）であっても良いし、コーディネートにおける似合い度の対象となるアイテム組合せであっても良い。
コーディネートするためのアイテム組合せとして２つのアイテムの内、ユーザー似合い度で一方のアイテムが高く、他方のアイテムが低い場合であっても、両方のアイテムがコーディネートにおける似合い度が高く評価されれば、ユーザーは客観的に見て好ましいコーディネートをすることができる。コーディネートするためのアイテム組合せとしては、３つ以上のアイテムであっても良い。

そして、本実施形態では、身体的特徴情報に基づき、ユーザー注目のアイテムにおけるユーザー適合度として似合い度を人工知能システムが評価する。そして、ユーザー着用の全体画像表示、更にはユーザー適合度スコアが表示される。このフローチャートを図５Ａに示す。

図５ＡのステップＳ１で、ユーザー固有情報としてユーザー身体的特徴情報（顔・体型・骨格・色の情報）が測定あるいはユーザー入力により取得される。また、ステップＳ２で、ユーザー固有情報として着用のためユーザーが注目する（ユーザーが所有する等）アイテムの情報（アイテム画像情報、あるいはアイテム画像情報および付随する情報）が取得される。

なお、ユーザー固有情報（第２の情報）として、ステップＳ２に係るユーザー注目のアイテム情報を用いることに関しては、ユーザーに対するこのアイテムが似合っている度合い（ユーザー似合い度）を評価するのに使用されるが、このアイテムに類似するアイテム、もしくは調和するアイテムがユーザーにとって相性が良いと評価することとなるものとしても使用され得る、これについては、後述の第２、第３の実施形態で詳細に説明する。

そして、ステップＳ３で、ユーザー希望（例えば着用目的や着用シーズン）があるか判断され、希望がある場合にはステップＳ４で希望するユーザー注目のアイテム情報が絞り込まれる。なお、ステップＳ３で、ユーザー希望がない場合にはステップＳ５に至る。

ステップＳ５で、ユーザー適合度の人工知能システムによる評価として、ユーザー固有情報である身体的特徴情報に基づき、ユーザー注目のアイテムにおけるユーザー似合い度の評価がされる。ここで、ステップＳ５において画像（アイテム画像やユーザーの顔や体型の画像）が取り扱われるとき、画像情報を正確に読み取るため、画像切り取りとして、ピクセル単位の物体認識を行えるようにすることが好ましい。そのため、インスタンスセグメンテーションもしくはセマンティックセグメンテーションにより画像を輪郭で切り取る。これにより、周辺部（輪郭の外側）がノイズとなって評価に影響を及ぼしてしまうことを回避できる。

そして、ステップＳ６で、ユーザー似合い度を距離でマッピング表示する。具体的には、図５Ｅのユーザー注目ジャケット（ユーザー似合い度；高）とユーザー注目スケート（ユーザー似合い度：低）とがユーザー似合い度の違いとして異なる位置に表示される。

また、ステップＳ６で、着用画像（全身画像）とユーザー適合度スコア（ユーザー似合い度スコア、更にはコーディネートにおけるユーザー似合い度スコア）がユーザーのスマホなどの画面に表示される。

このように、着用画像（全身画像）として、ユーザーは、ＶＲやＡＲ上で自分に服を着させ、実際に似合っているかや服のフィット感、質感やクオリティを視覚的に検討できる。

なお、ステップＳ６に示すユーザー適合度スコアに関しては、ユーザーとの相性が良いアイテムが高いスコアとなるように、連続的や絶対的な点数で表示しても良いし、離散的や相対的な高、中、低で表示しても良い。

なお、評価結果として、ユーザー適合度スコアを表示せずに、ユーザー適合度スコアの高い、ユーザー注目のアイテムを着用した着用画像（全身画像）だけを表示させても良い。

なお、ステップＳ６において、ユーザー適合度の高いものでユーザーが気に入るであろうものを候補として複数表示させ、その中から一番気に入るものをユーザーに選ばせるようにしても良い。

そして、図５ＡのステップＳ７でユーザーは気に入ったか判断する。気に入れば終了するが、気に入らなければステップＳ５に戻る。

また、本実施形態では、図４Ｂに示すように、第１の情報として複数のアイテム情報と、第２の情報としてユーザーの身体的特徴情報が記憶される。これにより、ユーザーに似合うアイテム（例えばジャケット、スカート）が出力（表示）され、ユーザーは主体的にコーディネートすることができる。このフローチャートを図５Ｂに示す。

図５ＢのステップＳ１で、ユーザー固有情報としてユーザー身体的特徴情報（顔・体型・骨格・色の情報）が測定あるいはユーザー入力により取得される。そして、ステップＳ２で、第１の情報として複数のアイテム情報が入力しており、ユーザー適合度の人工知能システムにより、ユーザー固有情報（第２の情報である身体的特徴情報）に基づき、複数のアイテム情報（第１の情報）に係るアイテムにおけるユーザー似合い度の評価がされる。
ここで、ステップＳ２において画像（アイテム画像やユーザーの顔や体型の画像）が取り扱われるとき、画像情報を正確に読み取るため、画像切り取りとして、ピクセル単位の物体認識を行えるようにすることが好ましい。そのため、インスタンスセグメンテーションもしくはセマンティックセグメンテーションにより画像を輪郭で切り取る。これにより、周辺部（輪郭の外側）がノイズとなって評価に影響を及ぼしてしまうことを回避できる。

そして、ステップＳ３で、ユーザー似合い度を距離でマッピング表示する。具体的には、図５Ｅのユーザー注目ジャケット（ユーザー似合い度；高）とユーザー注目スケート（ユーザー似合い度：低）とがユーザー似合い度の違いとして異なる位置に表示される。

また、ステップＳ３で、着用画像（全身画像）とユーザー適合度スコア（ユーザー似合い度スコア、更にはコーディネートにおけるユーザー似合い度スコア）がユーザーのスマホなどの画面に表示される。この場合、ユーザー適合度に対応させて１つ以上のアイテム（より好ましくは複数のアイテム）に関する着用画像を同時に、あるいは非同時に連続して表示させることもできる。

このように、着用画像（全身画像）として、ユーザーは、ＶＲやＡＲ上で自分に服を着させ、実際に似合っているかや服のフィット感、質感やクオリティを視覚的に検討できる。

なお、ステップＳ３に示すユーザー適合度スコアに関しては、ユーザーとの相性が良いアイテムが高いスコアとなるように、連続的や絶対的な点数で表示しても良いし、マッピングに関する図５Ｅに示すように、離散的や相対的な高、中、低で表示しても良い。

なお、評価結果として、ユーザー適合度スコアを表示せずに、ユーザー適合度スコアの高い、ユーザー注目のアイテムを着用した着用画像（全身画像）だけを表示させても良い。

なお、ステップＳ３において、ユーザー適合度の高いものでユーザーが気に入るであろうものを候補として複数表示させ、その中から一番気に入るものをユーザーに選ばせるようにしても良い。

そして、図５ＢのステップＳ４でユーザーは気に入ったか判断する。気に入れば終了するが、気に入らなければステップＳ２に戻る。

また、本実施形態では、図４Ｃに示すように、図４Ａに示す形態と図４Ｂに示す形態を組合わせ、ユーザー注目のアイテム情報と、複数のアイテム情報とを、ユーザーの身体的特徴情報と共に用いてユーザーに似合うアイテム（例えばジャケット、スカート）が出力（表示）され、ユーザーは主体的にコーディネートすることができる。このフローチャートを図５Ｃに示す。

図５ＣのステップＳ１で、ユーザー固有情報としてユーザー身体的特徴情報（顔・体型・骨格・色の情報）が測定あるいはユーザー入力により取得される。また、ステップＳ２で、ユーザー固有情報として着用のためユーザーが注目する（ユーザーが所有する等）アイテムの情報（アイテム画像情報、あるいはアイテム画像情報および付随する情報）が取得される。

そして、ステップＳ３で、ユーザー希望（例えば着用目的や着用シーズン）があるか判断され、希望がある場合にはステップＳ４で希望するユーザー注目のアイテム情報が絞り込まれる。なお、ステップＳ３で、ユーザー希望がない場合にはステップＳ５に至る。

ステップＳ５で、第１の情報として複数のアイテム情報が入力しており、ユーザー固有情報である身体的特徴情報に基づき、ユーザー注目のアイテム情報および複数のアイテム情報を組合わせユーザー似合い度の評価がされる。ここで、ステップＳ５において画像（アイテム画像やユーザーの顔や体型の画像）が取り扱われるとき、画像情報を正確に読み取るため、画像切り取りとして、ピクセル単位の物体認識を行えるようにすることが好ましい。そのため、インスタンスセグメンテーションもしくはセマンティックセグメンテーションにより画像を輪郭で切り取る。これにより、周辺部（輪郭の外側）がノイズとなって評価に影響を及ぼしてしまうことを回避できる。

そして、ステップＳ６で、ユーザー似合い度を距離でマッピング表示する。具体的には、図５Ｅ、図５Ｆにおいて、ユーザー注目ジャケット（ユーザー似合い度；高）、ユーザー注目スケート（ユーザー似合い度：低）、Ａ社ジャケット（ユーザー似合い度：中）、Ｂ社スカート（ユーザー似合い度：高）とが、異なる位置に表示される。また、図５Ｅにおいてコーディネートに係るジャケットとスカートのアイテム組合せに対し、コーディネートにおけるユーザー似合い度が、高、中、低で表示される。例えば、ユーザーの注目ジャケット（ユーザー似合い度：高）と、ユーザー注目スカート（ユーザー似合い度：低）のアイテム組合せに対しては、コーディネートにおけるユーザー似合い度：中と評価された結果が表示される。

そして、ステップＳ６で、着用画像（全身画像）とユーザー適合度スコア（ユーザー似合い度スコア、更にはコーディネートにおけるユーザー似合い度スコア）がユーザーのスマホなどの画面に表示される。

このように、着用画像（全身画像）として、ユーザーは、ＶＲやＡＲ上で自分に服を着させ、実際に似合っているかや服のフィット感、質感やクオリティを視覚的に検討できる。

なお、ステップＳ６に示すユーザー適合度スコアに関しては、ユーザーとの相性が良いアイテムが高いスコアとなるように、連続的や絶対的な点数で表示しても良い。また、図５Ｅに示すように、離散的や相対的な高、中、低で表示しても良い。図５Ｅで、ユーザー注目ジャケットはユーザー適合度としてのユーザー似合い度が高、ユーザー注目スケートはユーザー似合い度が低、Ａ社ジャケットはユーザー似合い度が中、Ｂ社スカートはユーザー似合い度が高と表示される。

なお、評価結果として、ユーザー適合度スコアを表示せずに、ユーザー適合度スコアの高い、ユーザー注目のアイテムを着用した着用画像（全身画像）だけを表示させても良い。

なお、ステップＳ６において、ユーザー適合度の高いものでユーザーが気に入るであろうものを候補として複数表示させ、その中から一番気に入るものをユーザーに選ばせるようにしても良い。

そして、図５ＣのステップＳ７でユーザーは気に入ったか判断する。気に入れば終了するが、気に入らなければステップＳ５に戻る。

図５Ａ、図５Ｂ、図５Ｃのフローチャートの全体をまとめたものを図５Ｄに示すが、図５Ａ、図５Ｂ、図５Ｃのフローチャートの少なくとも１つを実行するものであれば良く、この内の２つ、更には３つ（全て）を実行できるものであればより好ましい。

このように、本実施形態では、ユーザー固有情報としてのユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムに係る情報、コーディネートに係る複数のアイテムに係る情報の内の少なくとも２つの情報（すなわち、これらのいずれか２つの情報、あるいは３つ全ての情報）を記録部に記憶する。そして、評価部は、記憶部に記憶された少なくとも２つの情報に基づき、ユーザーが注目するアイテムもしくはコーディネートに係る複数のアイテムにおけるユーザー適合度として似合い度を人工知能システムにより評価する。

このような本実施形態では、ユーザーの身体的特徴情報を似合い度の評価に用いる場合、以下のＡ）乃至Ｆ）のようにアイテムの評価を行うことができる。

Ａ）ユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムに係る情報を記録部に記憶する場合（図４Ａ）、ユーザー自身の身体的特徴情報を基に、注目アイテム（例えば、注目ジャケットＡや注目スカートＢの各々）がユーザーに似合う／似合わないかユーザー似合い度が分かる。

Ｂ）ユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムに係る情報を記録部に記憶する場合（図４Ａ）、ユーザー自身の身体的特徴情報を基に、ユーザーが注目するアイテム組合せ（例えば、注目ジャケットＡと注目スカートＢのアイテム組合せ）がトータルのコーディネートとしてユーザーに似合う／似合わないか、コーディネートにおけるユーザー似合い度が分かる。

Ｃ）ユーザー自身の身体的特徴情報、複数のアイテムに係る情報を記録部に記憶する場合（図４Ｂ）、ユーザーが注目するアイテムに係る情報を入力（例えば、注目ジャケットＡの入力）をしなくても、ユーザー自身の身体的特徴情報を基に、第１の記憶部に第１の情報として記憶されるアイテム（世の中にあるアイテムなど）がユーザーに似合う／似合わないかが分かる。例えば、ユーザーが注目する注目アイテムに係る情報を入力（例えば、注目ジャケットＡの入力）をしなくても、ユーザー自身の身体的特徴情報を基に、ユーザーに対して似合うアイテム（例えば、ジャケットＡ’やスカートＢ’の各々）を提案したり、ユーザーに似合う／似合わないかのユーザー似合い度が分かる。

Ｄ）ユーザー自身の身体的特徴情報、複数のアイテムに係る情報を記録部に記憶する場合（図４Ｂ）、ユーザーが注目するアイテム組合せに係る情報を入力（例えば、注目ジャケットＡと注目スカートＢを入力）しなくても、ユーザー自身の身体的特徴情報を基に、第１の記憶部に第１の情報として記憶されるアイテム（世の中にあるアイテムなど）におけるアイテム組合せがトータルのコーディネートとしてユーザーに似合う／似合わないかが分かる。例えば、ユーザーが注目するアイテム組合せに係る情報を入力（例えば、注目ジャケットＡと注目スカートＢのアイテム組合せを入力）しなくても、ユーザー自身の身体的特徴情報を基に、アイテム組合せ（例えば、ジャケットＡ’とスカートＢ’のアイテム組合わせ）を提案したり、トータルのコーディネートとしてユーザーに似合う／似合わないかのコーディネートにおけるユーザー似合い度が分かる。

Ｅ）ユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムに係る情報、複数のアイテムに係る情報を記録部に記憶する場合（図４Ｃ）、ユーザー自身の身体的特徴情報を基に、注目アイテム（例えば、注目ジャケットＡや注目スカートＢ各々）がユーザーに似合う／似合わないかが分かる。加えて、ユーザー自身の身体的特徴情報だけでなく、より似合うアイテムを提案するためにユーザー固有情報としての着用のためユーザーが注目するアイテムに係る情報を基に、複数のアイテムに係る情報からユーザーに対してより似合うアイテム（例えば、ジャケットＡ’やスカートＢ’各々）を提案する。

Ｆ）ユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムに係る情報、複数のアイテムに係る情報を記録部に記憶する場合（図４Ｃ）、ユーザー自身の身体的特徴情報を基に、ユーザーが注目するアイテム組合せ（例えば、注目ジャケットＡや注目スカートＢの組合せ）がトータルのコーディネートとしてユーザーに似合う／似合わないかが分かる。加えて、ユーザー自身の身体的特徴情報だけでなく、より似合うコーディネートを提案するためにユーザー固有情報としてのユーザーが注目するアイテムに係る情報を基に、複数のアイテムに係る情報からユーザーに対して似合うアイテム組合せによるトータルのコーディネート（例えば、注目ジャケットＡとスカートＢ’や、ジャケットＡ’と注目スカートＢや、ジャケットＡ’とスカートＢ’の組合せ）を提案する。

本実施形態において、マッピングの指標（適合度に係る要因。例えば機械学習の場合、入力する特徴量の値によって適合度が高いか低いかが分かるので、適合度を評価する指標になる。つまり、入力（ユーザーの身体的特徴情報およびアイテムに係る情報（内的要素および外的要素）などのあらかじめ想定してある特徴量や抽出された特徴量など）と適合度は一連のつながりをもっている。例えば、入力のある指標の値が高ければ適合度も高くなるが、入力のある指標の値が低ければ適合度も低くなる。したがって、マッピングの指標になり、それをグラフとして入力と適合度の値をプロットすることでマッピング可能になる。）に関しては、アイテムの分類やユーザー適合度を点数など定量的に予測できる回帰に使用される値を用いるが、これに限られない。一般にマッピングに関しては、人工知能技術の機械学習における説明に基づく学習（演繹学習）、例からの学習（教師あり学習に関連する分類（離散的な表示）や回帰（連続的な表示）の他、教師なし学習に関連する次元削除やクラスタリング、半教師あり学習）、能動学習、質問による学習、強化学習、模倣学習、類推、転移学習、構造的学習、前記学習方法を組み合わせた多戦略学習のいずれかが含まれる。また、エキスパートシステム。探索には、情報なし探索、情報あり探索のいずれかが含まれる。というように、適合度の評価に用いられる人工知能技術全てを含む。

人工知能システムによるユーザー適合度の評価結果に関しては、マッピング表示するかしないか選択できるものであるが、以下マッピング表示する場合を説明する。 ここで、マッピング表示に関し、上述した指標を用い、直交座標系で、似合い度に対して原点であるユーザー情報に対してユーザーが注目するアイテムもしくはアイテム組合せを注目点とし、ユーザーにユーザーが注目するアイテムが似合うかもしくはアイテム組合せほど近くにくるようにアイテムもしくはアイテム組合せ別に注目点からの距離でマッピング表示させることが出来る。

また、極座標系で、似合い度に対してユーザーに対してアイテムもしくはアイテム組合せが似合っているほど、原点であるユーザー情報に対してユーザーが注目するアイテムもしくはアイテム組合せほど近くにくる（原点から距離が近いほど似合い度が高くなる。）ように、もしくはアイテム組合せほど同じ向き（ベクトル間の角度が近いほどコーディネートにおける似合い度が高くなる）となるようにアイテムもしくはアイテム別に原点からのベクトルでマッピング表示させることができる。

マッピング表示は１２～ｎ次元で表示出来、例えば、図５Ｅにあるように、平面上の直交座標系において、似合い度およびコーディネートにおける似合い度をマッピング表示する場合、ユーザーの身体的特徴情報およびアイテムに係る情報（内的要素および外的要素）などのあらかじめ想定してある特徴量や抽出された特徴量やいずれかを入力した値を原点とし、ｘ軸（似合い度）およびｙ軸（コーディネートにおける似合い度）とし、ユーザーとアイテム間およびアイテムの組み合わせ間の距離を原点からの距離で似合い度およびコーディネートにおける似合い度としてマッピング表示可能である。必要であれば、入力を新しい次元として扱うことも可能で、マッピング表示可能である。また、似合い度も要素ごとに分解してマッピング表示可能である。例えば、色の入力に対する似合い度などである。上記直交座標系を用いての説明だが、極座標系を用いることも可能である。

マッピング表示に際しては、着用画像（全身画像）として、例えばモデルの画像に服を着させる、ユーザーの写真を入力しユーザー自身の画像に服を着させるなど、と共に、更には適合度スコアと共に行うことが可能である。

上述した距離に関しては、ユークリッド距離、マンハッタン距離、マハラノビス距離、ミンコフスキー距離、コサイン類似度と相関係数、離散変数間の類似度、カーネル学習法を用いた類似度尺度などを用いることができる。似合い度に関しても、類似度に準じて適用可能である。

以下、代表例として図５Ｂに関し、より具体的に説明する。図５ＢのステップＳ１に関し、ユーザー固有情報として顔・体型・骨格・色の情報が測定あるいはユーザー入力により取得されることについて、より具体的に説明する。先ず、顔の情報に関しては、額、まゆげ、目、鼻、口、頬、耳、髪の毛を含むものであるが、ユーザーの顔の部位のサイズや部位間の距離を得る。この顔の部位のサイズや部位間の距離に関しては、ユーザーの２次元の全身画像から３次元画像を採り出して測定する他、ユーザー自身でサイズを測定してもらう、あるいはユーザー自身が記憶しているサイズを入力してもらうことでも良い。

また、体型・骨格の情報に関しては、体型例（定性的）と体型サイズ（定量的）が対象となる。具体的には、やせ型や普通体型などや上半身および下半身の部位のサイズや部位間の距離（背丈（身長）、胸囲、袖丈、腹囲、股下など）が対象となる。この体型サイズに関しては、ユーザーの２次元の全身画像から３次元画像を採り出して測定する他、ユーザー自身でサイズを測定してもらう、あるいはユーザー自身が記憶しているサイズを入力してもらうことでも良い。

また、色の情報に関しては、顔の色および身体の複数個所から抽出された肌の色が対象となる。そして、この顔の色および身体の色に関しては、ユーザーの２次元の顔や全身画像から色を測定する他、ユーザー自身で色を測定してもらう、あるいはユーザー自身が記憶している色を入力してもらうことでも良い。

図５ＢのステップＳ２に関し、複数のアイテム情報（内的要素および外的要素（カテゴリー別））を取得する。例えば、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法など、また外的要素としての性別として男女向け、年齢（年代）別として例えば若者向け、シニア向け、子供向け、乳幼児向けとして取得する。、また種類（ジャンル）別として例えば服の場合であればコート、ジャケット、スカートなどとして取得する。またブランドやユーザー希望（着用目的、着用場所、着用シーズン、、着用ファッションモデル、着用感覚等）などに分類されるアイテムとして取得する。ここで、着用目的には、フォーマルやプライベート、デート、ショッピング、ドライブ、食事、観光等がある。着用場所には、ショッピングモールやデパート、遊園地、レストラン、観光地名、旅館名、ホテル名等がある。着用シーズンには、春や夏、秋、冬、初春、初夏、初秋、晩秋、初冬等がある。また、着用ファッションモデルには、Ｔシャツやスカート等アイテムを着用したファッションモデルのモデル画像、モデル氏名がある。また、着用感覚には、綺麗やかわいい、派手、かっこいい、美しい等、五感を通じて感じる全ての感覚が含まれる。勿論、これらの一部でも可能である。

図５ＢのステップＳ２で用いられる人工知能システムとして、機械学習システムとしての機械学習モデルを用いる場合に関しては、学習フェーズ３０２（図３Ａ）で、訓練データを用い入力と出力の関係から評価するために設定された特徴量を用いる、または評価するための特徴量を抽出し、何が要因でユーザーにアイテムが適合するかが見極められている。そして、例えばディープラーニングにより学習が完成された機械学習モデルにより、ユーザー自身の身体的特徴情報の入力に対し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素としての年齢や性別など各カテゴリーに対応させて、アイテムのユーザー適合度が出力可能となっている。そして、このように完成された機械学習モデルについて、顔・体型を読み取ることで、時間的に顔・体型が変化するダイエット中にも似合うアイテムを提供できるように学習させておくこともできる。

図５ＢのステップＳ２で、人工知能システムとしてエキスパートシステムを用いる場合に関しては、知識ベースの実装フェーズ３０２（図３Ｂ）で、コンピュータに知識獲得、つまりルールを理解させるため、推論エンジンが使いやすい形式に整理して実行のルール形式でプログラムすることで、何が要因でユーザーにアイテムが適合するかが設定されている。推論エンジンの実装フェーズ３０３では、コンピュータが顧客の入力に知識ベースを元に演繹推論する論理式をプログラムに記載する。論理式の種類は命題論理、述語論理、様相論理、時間論理、ファジイ論理等がある。

そして、エキスパートシステムによりユーザー自身の身体的特徴情報の入力に対し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素としての年齢や性別など各カテゴリーに対応させて、複数のアイテムのユーザー適合度が出力可能となっている。

このようなエキスパートシステムを用いる場合のユーザー固有情報として顔・体型・骨格・色の情報が測定あるいはユーザー入力によりなされる。そして、額（まゆげ、目、鼻、口、頬、耳、髪の毛を含む）に関しては、ユーザーの顔の部位のサイズや部位間の距離を得る。そして、いわゆる顔タイプ診断として、顔タイプ例（例えばフレッシュ・クール・エレガント・キュートの少なくとも４パターンの顔型）のいずれが該当するか診断する。ユーザーの顔情報は、ユーザーの２次元の全身画像から３次元画像を採り出して測定する他、ユーザー自身でサイズを測定してもらう、あるいはユーザー自身が記憶しているサイズを入力してもらうことでも良い。

また、体型・骨格の情報に関しては、体型例（定性的）と体型サイズ（定量的）が対象となる。具体的には、骨格診断として、体型例（例えば、ウェーブ・ストレート・ナチュラルの少なくとも３パターンの体型）のいずれが該当するか、サイズ診断として、上半身および下半身の部位のサイズや部位間の距離（背丈、胸囲、袖丈、腹囲、股下など）が対象となる。この体型サイズに関しては、ユーザーの２次元の全身画像から３次元画像を採り出して測定する他、ユーザー自身でサイズを測定してもらう、あるいはユーザー自身が記憶しているサイズを入力してもらうことでも良い。

また、色の情報に関しては、顔の色および身体の複数個所から抽出された肌の色が対象となる。そして、パーソナルカラー診断として、パーソナルカラータイプ例（例えば春、夏、秋、冬の季節ごとの少なくとも４パターンに対する色彩、明度、彩度などにより分類されるユーザーに似合う色も対象となり得る。この顔の色および身体の色に関しては、ユーザーの２次元の顔や全身画像から色を測定する他、ユーザー自身で色を測定してもらう、あるいはユーザー自身が記憶している色を入力してもらうことでも良い。

上記の顔・骨格・サイズ・色診断により得られた診断結果により内的要素である色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法および外的要素としてのカテゴリーに対応させて、各アイテムやアイテム組合せのユーザー適合度が出力可能となっている。他にもそれらに対応する、似合う／似合わないアイテムや似合う／似合わないアイテム組合せのルールが用いられる。顔・体型を読み取ることで、時間的に顔・体型が変化するダイエット中にも似合うアイテムを提供できるように学習させておくこともできる。

図５ＢのステップＳ２で、人工知能システムとして探索システムを用いる場合に関しては、状態空間探索の定式化フェーズ３０２（図３Ｃ）で、エキスパートシステムや機械学習モデルが第１および第２アイテムに対するユーザー適合度である似合い度を評価後、より主体的かつ効率的なコーディネートをユーザーの好みで選択するために、スタート状態（例えば、似合う度評価をしたアイテムを選択に対し、ゴール状態（複数のアイテムを組み合わせた似合うコーディネート）の間の経路（アイテムの組み合わせ方に相当する）をスタート状態から変化をさせることが可能なオペレータを適用することで、コーディネートの組み合わせである状態空間を設定し、組合せ最適化問題として探索システムによりユーザーが主体的かつ効率的なコーディネートをすることが可能である。

このように、ユーザー適合度を評価するために人工知能システムとして探索は、より主体的かつ効率的なコーディネートのためのアイテム探索に用いることが可能である。例えば、深さ優先探索や幅優先探索を用いる場合、選択したアイテムに対し網羅的にコーディネートを評価する場合もあるが、以下に示す遺伝的アルゴリズムを用いる場合、より主体的かつ効率的に似合うコーディネートを選択することも可能である。

確率的探索法の一部である遺伝的アルゴリズムは、各世代ごとに集団を構成するいくつかの個体（ＰＴＹＰＥ）がある。そして、個体がＧＴＹＰＥとして遺伝子コードを持ち、それが発現した個体がＰＴＹＰＥであり、ある環境に対してＰＴＹＰＥごとに適応度（環境に適応する度合い。例えば、ユーザーに対するコーディネート（ＰＴＹＰＥ）におけるユーザー適合度が高いことは、適応度が高いということに相当する。）が決まっている。これらの集団から適応度に応じて良い個体ほど多く次世代に引き継ぐ候補として選択を行い、選びだされたＰＴＹＰＥのもつＧＴＹＰＥにＧＡオペレータ（突然変異、交叉）という操作を繰り返すことで、集合内のＰＴＹＰＥの適応度を大きくしていく。そして、世代が進むにつれ次第に集団の適応度が上がっていき、ＰＴＹＰＥの最適解が求まるという仕組みである。

具体的には、最初に、初期世代の集団で、設定された数だけのコーディネートをアイテムを組み合わせ生成する。そして、集団内の各コーディネートの評価値（適応度）を計算し、各コーディネートの適応度から次世代へ各コーディネートをどれだけ選択（選択の手法には、ルーレット方式、ランク方式、トーナメント方式、エリート戦略などがある。）するかの指標とする。そして、選択されたコーディネートのもつＧＴＹＰＥにＧＡオペレータの操作（突然変異（ＧＴＹＰＥの一部分をランダムに変換する。突然変異の手法には、置換、摂動、逆位、スクランブル、転座、重複、位置移動、欠失などがある。）、交叉（ＰＴＹＰＥ間でＧＴＹＰＥ情報を交換する。交叉の手法には、一点交叉、ｎ点交叉、一様交叉、平均化交叉、循環交叉、部分的交叉、順序交叉、一様順序交叉、一様位置交叉、部分写像交叉、サブツアー交換交叉、辺組み換え交叉、枝組み立て交叉などがある。））を行い次世代の集団を形成する。また、最適化手法として人間の知識、好み、完成など主観的な評価に基づいた、対話型進化計算を用いることで、ユーザー自身が良い悪いの指標を設定、つまり評価（選択）してもよい（例えば、コーディネートＡよりコーディネートＢの方が似合わないが気に入るので、コーディネートＢを選択しコーディネートやその要素を次世代に引き継ぐなど。それにより最終的に、そこまで似合うものでもなくてもユーザーが好きなそこそこ似合うコーディネートを選択することが可能になる。）。

なお、全体のＧＴＹＰＥのうち何割のＧＴＹＰＥが突然変位をするかは突然変異率によって定める。あらかじめ定められた終了条件が満たされたら終了する。そうでなければ、再度新しい世代の集団を作り繰り返す。例えば、ユーザーが満足したら終了するというのもひとつである。

機械学習やエキスパートシステムだけでもコーディネートに係るアイテムがユーザーおよびユーザー間に適合するかを客観的に評価できると共に、ユーザー自身が受動的でなく主体的にコーディネートできる。しかしながら、その似合うコーディネートを気に入るかどうかの選択はユーザーが主体的に選択するので、探索を用いることで機械学習やエキスパートシステムが似合うものとした中でもユーザーが気に入ったコーディネートをユーザーの情報である好みを入れて選択をしていくことが可能になる。そのため、より主体的かつ効率的に似合うコーディネートを選択することも可能である。このように、探索は、より主体的かつ効率的なコーディネートのためのアイテム探索に用いることが可能である。

これにより、機械学習またはエキスパートシステムを用いてユーザーが注目するアイテム（例えばジャケット）に関してユーザー似合い度を診断した後、探索でより主体的なコーディネートを選択する（例えば上記ジャケットと、上記ジャケットに対するスカートとをコーディネートにおけるユーザー似合い度が高いものとしてコーディネートする）ことができる。

なお、カテゴリー別のアイテムとしてジャンル、着用目的などでユーザー希望を出してユーザー適合度の高いアイテムを検索することも可能である。また、服の大きな違いではなく、もうちょっと丈が長ければなどの細かな要素で検索することも可能となる。これらにより、アイテムをデザインしたデザイナーの好みとユーザーの好みの傾向が近い場合、ユーザーとデザイナーのマッチングが可能となるとも言える。更に、家族の衣類を一箇所に集約する共有クローゼットのように、似ている人の好みで彼女、彼氏あるいは妻、夫の一方が検索、他方にリコメンド（推奨）することもできる。

（ユーザーが２人のペアもしくは３人以上のグループである場合）
ユーザーが、２人のペアもしくは３人以上のグループであるとき、評価部は、ペアもしくはグループに対し、各ユーザーが着用するアイテムが全体として適合するかを評価することが好ましい。すなわち、各ユーザーに対し、それぞれの顔・体型・骨格・色の情報に基づき、ユーザー適合度を評価すると、ペアもしくはグループの全体として似合わない可能性がある。すなわち、各ユーザーに似合う色、一例としてパーソナルカラーに対応したアイテムの色がばらばらとなったりすることが考えられる。

そこで、エキスパートシステムの場合のルール例として、評価されるアイテムの色については、各ユーザーのパーソナルカラーにおける明度もしくは彩度に対して、イエローベース（春、秋）同士またはブルーベース（夏、冬）同士やパーソナルカラー同士に統一や同じパーソナルカラー同士でも近い明度や彩度、同明度や同彩度、またはその両方や、色相も同じにし完全に同色にするというように段階的な色の統一により異なるアイテムとしてユーザー間で融和させることが考えられる。しかしながら、それによりあるユーザーのユーザー適合度が下がる可能性があり、結果としてユーザー間の適合度が下がるためトレードオフの関係になる。

評価結果として、各々のユーザーの顔・骨格・サイズ・色診断により得られた診断結果に加え各々のアイテムに係る情報の入力をする場合は各々のユーザーの注目のアイテムに係る情報を入力するのに対し、内的要素としてアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素として年齢など各カテゴリーの少なくともいずれか１つを統一することが好ましい。より好ましくは、これらのうち２つあるいは３つ、更には全てを統一することが好ましい。しかしながら、それによりあるユーザーのユーザー適合度が下がる可能性があり、結果としてユーザー間の適合度が下がるためトレードオフの関係になる。ただし、ユーザー間における似合い度に関し、素材よりも、色が似合っている場合の方が、印象として似合い度が高いと感じられるように、内的要素および外的要素内で優先度合いをつけ、２つ以上似ていても１つの似ている方を優先する可能性もある。他にもそれらに対応する、似合う／似合わないアイテムや似合う／似合わないアイテム組合せのルールが用いられる。

そこで、評価結果としてアイテムに関して、ペアもしくはグループにおける目立つ人や、主役や引き立て役（例えばペアの場合は一般には女性のユーザー、グループの場合は一番美人あるいは一番ハンサムなユーザー）に統一することで融和を印象付けることも考えられる。この場合は、特定ユーザーに対し、ユーザー適合度を評価することとなる。また、特定ユーザーだけでなく、全体を最大化するためにユーザー適合度の平均値が高くなるようにすることも望ましい。平均値を計算する際、ペアもしくはグループにおける目立つ人や、主役や引き立て役や場面に応じて重みづけされた評価値を用いることも出来る。

機械学習の場合も同様、各々のユーザー自身の身体的特徴情報に加え各々のアイテムに係る情報の入力をする場合は各々のユーザーの注目のアイテムに係る情報の入力に対し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素としての年齢や性別など各カテゴリーに対応させて、ペアもしくはグループにおける目立つ人や、主役や引き立て役である特定のユーザーに対し、各アイテムのユーザー適合度が出力された値だけで評価しても良いが、ユーザー間で最大化するためにユーザー適合度の平均値が高くなるようにすることも望ましい。平均値を計算する際、ペアもしくはグループにおける目立つ人や、主役や引き立て役や場面に応じて重みづけされた評価値を用いることも出来る。また、訓練データを用い入力と出力の関係から評価するために単体の情報だけでなく複数人に係る情報（例えば、集合写真など複数人が同時に写っている写真など）から設定された特徴量を用いる、または評価するための特徴量を単体の情報だけでなく複数人に係る情報から抽出し、何が要因でユーザー複数にとって評価値を最大化するかを見極めてもよい。

機械学習システムとしての機械学習モデルを用いる場合に関しては、学習フェーズ３０２（図３Ａ）で、訓練データを用い入力と出力の関係から評価するために設定された特徴量を用いる、または評価するための特徴量を抽出し、何が要因でユーザーにアイテムが適合するかが見極められている。そして、例えばディープラーニングにより学習が完成された機械学習モデルにより、ユーザー自身の身体的特徴情報の入力に対し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素としての年齢や性別など各カテゴリーに対応させて、アイテムのユーザー適合度が出力可能となっている。そして、このように完成された機械学習モデルについて、顔・体型を読み取ることで、時間的に顔・体型が変化するダイエット中にも似合うアイテムを提供できるように学習させておくこともできる。

機械学習やエキスパートシステムにより得られたコーディネート評価だけでなく、探索システムを用いることで、機械学習やエキスパートシステムがユーザー間にとって似合うものとした中でも各ユーザーが気に入ったコーディネートを各ユーザーの情報である好みを入れて選択をしていくことが可能になる。そのため、より主体的かつ効率的に似合うコーディネートを選択することも可能である。このように、探索は、ユーザー間においてもより主体的かつ効率的なコーディネートのためのアイテム探索に用いることが可能であり、深さ探索などでアイテムに近いアイテムを検索しても良いが、より主体的に遺伝的アルゴリズムで選択していっても良い。

なお、２人のペアの場合に、本実施形態を基に、例えば男性が先ず自分の身体的特徴を表す写真画像を入力し似合うアイテムを確認し、次に女性の身体的特徴を表す写真画像を入力して女性に似合うアイテムを認識し、男性の似合うアイテムと女性の似合うアイテムを並べて表示することでペアとしてのアイテムの確認をとるようにすることもできる。そして、確認後に男性から女性に女性に似合うアイテムをプレゼントすることもできる。

以上、本実施形態によれば、ユーザーやファッション店などの店員という個人の主観的な評価でなく、人工知能システムによる客観的な評価がされ、かつ、ユーザーが主体的に評価を行うことができる。

（第２の実施形態）
本実施形態は、ユーザーの注目するアイテムもしくはアイテム組合せ（例えばユーザーが所有するジャケット、もしくはジャケットとスカートのアイテム組合せ）を注目点とし、アイテム別もしくはアイテム組合せ別に類似・調和しているアイテムもしくはアイテム組合せから近くにマッピングして、直感的かつ簡便にショッピングを可能とするものである。本実施形態によれば、コーディネートに係るアイテムもしくはアイテム組合せが服の場合、ユーザーが知らないが、潜在的に好きな服を見つけることができる。

以下、アイテム別にマッピング表示させることを主に説明するが、アイテム組合せ別にマッピング表示させることも同様に適用できる。

第１の実施形態で述べた評価サーバを含むシステム、人工知能システムとしての機械学習モデル、エキスパートシステム、探索については、本実施形態についても適用するものである。すなわち、人工知能システムとして、ユーザー適合度を評価するために機械学習がされた機械学習システムとしての機械学習モデルやエキスパートシステムを用いることができる。また、各々を組み合わせたものでも良い。更に、探索システムによる探索は、より主体的かつ効率的なコーディネートのためのアイテム探索に用いることができる。

（コーディネート用評価）
本実施形態のイメージ図を図６に、またフローチャートを図７Ａ、図７Ｂに、またマッピング表示を図７Ｃ乃至図７Ｅに示す。図７Ｃは各種アイテムを含むアイテム間類似度を示すマッピング表示、図７Ｄは図７Ｃのマッピング表示を２次元でなくｎ次元として表示、図７Ｅは各種アイテムを含むアイテム間調和度でのマッピング表示である。

ここで、フローチャートに関し、図７Ａはアイテム間類似度および調和度を評価するものを示し、図７Ｂはアイテム間類似度あるいは調和度を評価するものを示す。

図７ＡのステップＳ１１で、ユーザー固有情報としてユーザー注目（所有など）のアイテム情報（第２の情報）が取得される。そして、ステップＳ１２で、ユーザー希望があるか判断され、希望がある場合にはステップＳ１３で希望するユーザー注目（所有など）のアイテム情報が絞り込まれる（例えば着用目的や着用シーズンなど）。なお、ステップＳ１２で、ユーザー希望がない場合にはステップＳ１４に至る。

ステップＳ１４では、複数のアイテム情報（第１の情報）が入力しており、ユーザー注目のアイテム情報に基づき、複数のアイテム情報におけるユーザー適合度の評価としてアイテム間類似度および調和度が評価される。

ここで、ステップＳ１４で画像（アイテム画像）が取り扱われるとき、画像情報を正確に読み取るため、画像切り取りとして、ピクセル単位の物体認識を行えるようにすることが好ましい。そのため、インスタンスセグメンテーションもしくはセマンティックセグメンテーションにより画像を輪郭で切り取る。これにより、周辺部（輪郭の外側）がノイズとなって評価に影響を及ぼしてしまうことを回避できる。

そして、ステップＳ１５で、アイテム間類似度および調和度を距離でマッピング表示する。すなわち、マッピングに関し、ユーザーが注目するアイテムを注目点とし、似ている、あるいは調和するもの（が近くにくるようにアイテム別に該注目点からの距離でマッピング表示する。

また、ステップＳ１５では、着用画像（全身画像）として、例えばモデルの画像に服を着させる、ユーザーの写真を入力しユーザー自身の画像に服を着させるなど、とユーザー適合度スコア（類似度スコアおよび調和度スコアがユーザーのスマホなどの画面に表示される。この場合、ユーザー適合度に対応させて複数のアイテムに関する着用画像を同時に、あるいは非同時に連続して表示させることができる。

このように、着用画像（全身画像）として、ユーザーは、ＶＲやＡＲ上で自分に服を着させ、実際に似合っているかや服のフィット感、質感やクオリティを視覚的に検討できる
なお、ステップＳ１５に示すユーザー適合度スコアに関しては、ユーザー注目（所有など）のアイテムと類似する、および調和するアイテムが高いスコアとなるように、連続的や絶対的な点数で表示しても良いし、図７Ｄに示すように、離散的や相対的な高、中、低で表示しても良い。

図７Ｃ、図７Ｄ、図７Ｅ、図７Ｆで、ユーザー注目ジャケットに対し、Ａ社ジャケットは類似度が高、ユーザー注目スカートは類似度が中、Ｂ社スカートは類似度が低である。また、図７Ｅで、ユーザー注目ジャケットに対し、ユーザー注目スカート、Ｂ社スカートは調和度が高であるが、Ａ社ジャケットに対して、ユーザー注目スカートは調和度が中、Ｂ社スカートは調和度が低である。

このようにして、ユーザーはユーザーが注目（例えば所有）するジャケットに対し、似ているジャケットを見つけたり、調和するスカートを見つけたりすることができる。そして、ユーザーは、調和するスカートが見つかれば、ユーザーが所有するジャケットと組合わせて、主体的にコーディネートすることができる。

また、ユーザーは、ユーザー注目のアイテム組合せ（例えばユーザーが所有するジャケットとユーザーが所有するスカート）に対し、似ているジャケットとスカートの組合せを見つけたり、調和する別アイテム（例えばインナー）を見つけたりすることができる。そして、ユーザーは、調和するインナーが見つかれば、ユーザーが所有するジャケット、スカートと組合わせて、主体的にコーディネートすることができる。

ここで、図７Ｃ乃至図７Ｅに示すように、ユーザー適合度スコアと同等のものとして、注目点（ユーザー注目のアイテムであるユーザー注目ジャケット）からの距離をユーザー適合度に対応させて異ならせるようにすることができる。すなわち、注目点からの距離が近い場合は類似度あるいは調和度が高く、注目点からの距離が遠い場合は類似度あるいは調和度が低いと表示されることとなる。すなわち、注目点からの距離が実質的なユーザー適合度スコアに相当することとなる。

そして、図７ＡのステップＳ１６でユーザーは気に入ったか判断する。気に入れば終了するが、気に入らなければステップＳ１４に戻る。

このように、本実施形態では、コーディネートに係るアイテム別の複数のアイテム画像が、ユーザーが注目するアイテム画像に対し似ている（類似する）かの度合い（アイテム間類似度）および調和しているかの度合い（アイテム間調和度）をユーザー適合度として人工知能システムが評価する。

図７Ｂは、ユーザーが注目するアイテム画像に対し似ている（類似する）かの度合い（アイテム間類似度）、あるいは調和しているかの度合い（アイテム間調和度）をユーザー適合度として人工知能システムが評価する。図７Ｂのようにアイテム間類似度、アイテム間調和度の一方だけを評価する場合、図７Ａのようにアイテム間類似度、アイテム間調和度の両方を評価する場合のいずれであっても良い。

アイテム間調和度に関し、アイテム間が似ていないが、例えば白のジャケットに黒のスカートで全体としてシンプル感を与える場合、あるいはジャケットの一部模様とスカートの一部模様が組み合って全体として特定イメージを与える模様を構成する場合、ゆったりとしたジャケットにタイトなスカートで全体としてお洒落な着こなし感を与える場合など）の場合、調和されていると人工知能システムが評価する。

本実施形態において、マッピングの指標（適合度に係る要因。例えば機械学習の場合、入力する特徴量の値によって適合度が高いか低いかが分かるので、適合度を評価する指標になる。つまり、入力（ユーザーの身体的特徴情報およびアイテムに係る情報（内的要素および外的要素）などのあらかじめ想定してある特徴量や抽出された特徴量など）と適合度は一連のつながりをもっている。例えば、入力のある指標の値が高ければ適合度も高くなるが、入力のある指標の値が低ければ適合度も低くなる。したがって、マッピングの指標になり、それをグラフとして入力と適合度の値をプロットすることでマッピング可能になる。）に関しては、アイテムの分類やユーザー適合度を点数など定量的に予測できる回帰に使用される値を用いるが、これに限られない。一般にマッピングに関しては、人工知能技術の機械学習における説明に基づく学習（演繹学習）、例からの学習（教師あり学習に関連する分類（離散的な表示）や回帰（連続的な表示）の他、教師なし学習に関連する次元削除やクラスタリング、半教師あり学習）、能動学習、質問による学習、強化学習、模倣学習、類推、転移学習、構造的学習、前記学習方法を組み合わせた多戦略学習のいずれかが含まれる。また、エキスパートシステム。探索には、情報なし探索、情報あり探索のいずれかが含まれる。というように、適合度の評価に用いられる人工知能技術全てを含む。

人工知能システムによるユーザー適合度の評価結果に関しては、マッピング表示するかしないか選択できるものであるが、以下マッピング表示する場合を説明する。

ここで、マッピング表示に関し、上述した指標を用い、直交座標系で、類似度・調和度に対してユーザーが注目するアイテムもしくはアイテム組合せを注目点とし、ユーザーが注目するアイテムに似ている、もしくは調和するアイテムもしくはアイテム組合せほど近くにくるようにアイテムもしくはアイテム組合せ別に注目点からの距離でマッピング表示させることができる。

また、極座標系で、類似度・調和度に対してユーザーが注目するアイテムもしくはアイテム組合せに似ている、もしくは調和するアイテムもしくはアイテム組合せほど同じ向き（ベクトル間の角度が近いほどアイテム間の類似度やコーディネートにおける調和度が高くなる）となるようにアイテムもしくはアイテム別に原点からのベクトルでマッピング表示させることができる。

マッピング表示に際しては、着用画像（全身画像）として、例えばモデルの画像に服を着させる、ユーザーの写真を入力しユーザー自身の画像に服を着させるなど、と共に、更には適合度スコアと共に行うことが可能である。

マッピング表示は１２～ｎ次元で表示出来、例えば、図７Ｃ、図７Ｅにあるように、平面上の直交座標系において、類似度または調和度をマッピング表示する場合、アイテムに係る情報（内的要素および外的要素）などのあらかじめ想定してある特徴量や抽出された特徴量やいずれかを入力した一部の値を原点とし、ｘ軸（アイテム情報）およびｙ軸（類似度または調和度）とし、アイテム間の距離をアイテム情報の各点からの距離で類似度または調和度としてマッピング表示可能である。必要であれば、入力を新しい次元として扱うことも可能で、マッピング表示可能である。また、類似度、調和度も要素ごとに分解してマッピング表示可能である。例えば、形の入力に対する類似度や着用目的の入力に対する調和度などである。上記直交座標系を用いての説明だが、極座標系を用いることも可能である。

上述した距離に関しては、ユークリッド距離、マンハッタン距離、マハラノビス距離、ミンコフスキー距離、コサイン類似度と相関係数、離散変数間の類似度、カーネル学習法を用いた類似度尺度などを用いることができる。調和度に関しても、類似度に準じて適用可能である。

人工知能システムとして、エキスパートシステムを用いる場合、ステップＳ１４におけるアイテム同士の類似度に関しては、内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法などや、外的要素としての年齢、性別などのカテゴリーが考慮され、これらのうちの１つだけ（例えば模様だけ）が似ているアイテムに比べ、これらのうちの２つ以上が似ているアイテムの場合は類似度が高いと評価され、注目点に示されるユーザー注目のアイテム（例えばユーザーが所有するアイテム）により近く表示される。、ステップＳ１５におけるアイテム同士の調和度に関しては、内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法などが考慮され、外的要素としての年齢、性別などのカテゴリーであるこれらのうちの１つだけ（例えば模様だけ）が調和しているアイテム（例えばジャケットの一部模様とスカートの一部模様が組み合って全体として特定イメージを与える模様の場合）に比べ、これらのうちの２つ以上が調和しているアイテムの場合は調和度が高いと評価され、注目点に示されるユーザー注目のアイテム（例えばユーザーが所有するアイテム）により近く表示される。ただし、類似度および調和度に関し、素材よりも、色が類似および調和している場合の方が、印象として類似性や調和性が高いと感じられるように、内的要素および外的要素内で優先度合いをつけ、２つ以上類似・調和していても１つの類似・調和の方を優先する可能性もある。他にもそれらに対応する、類似・調和する／類似・調和しないアイテムや類似・調和する／類似・調和しないアイテム組合せのルールが用いられる。

図７ＡのステップＳ１４、図７ＢのステップＳ１４、Ｓ１５で、人工知能システムとして、機械学習システムとしての機械学習モデルを用いる場合に関しては、学習フェーズ３０２（図３）で、訓練データを用い入力と出力の関係から評価するために設定された特徴量を用いる、または評価するための特徴量を抽出し、何が要因でユーザーにアイテムが適合するかが見極められている。そして、例えばディープラーニングにより学習が完成された機械学習モデルにより、ユーザー固有情報の入力に対し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法および外的要素としての年齢、性別などのカテゴリーに対応させて各アイテムの類似度及び調和度のユーザー適合度が出力可能となっている。

エキスパートシステムを用いる場合に関しては、知識ベースの実装フェーズ３０２（図３Ｂ）で、コンピュータに知識獲得、つまりルールを理解させるため、推論エンジンが使いやすい形式に整理して実行のルール形式でプログラムすることで、何が要因でユーザーにアイテムが適合するかが設定されている。推論エンジンの実装フェーズ３０３では、コンピュータが顧客の入力に知識ベースを元に演繹推論する論理式をプログラムに記載する。論理式の種類は命題論理、述語論理、様相論理、時間論理、ファジイ論理等がある。

そして、エキスパートシステムによりアイテムに係る情報の入力に対し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素としての年齢や性別など各カテゴリーに対応させて、複数のアイテムのユーザー適合度が出力可能となっている。

機械学習やエキスパートシステムだけでもコーディネートに係るアイテムがユーザーおよびユーザー間に適合するかを客観的に評価できると共に、ユーザー自身が受動的でなく主体的にコーディネートできる。しかしながら、その類似・調和しているコーディネートを気に入るかどうかの選択はユーザーが主体的に選択するので、探索を用いることで機械学習やエキスパートシステムが類似・調和しているものとした中でもユーザーが気に入ったコーディネートをユーザーの情報である好みを入れて選択をしていくことが可能になる。そのため、より主体的かつ効率的に似合うコーディネートを選択することも可能である。このように、探索は、より主体的かつ効率的なコーディネートのためのアイテム探索に用いることが可能である。

本実施形態に係るユーザー適合度を評価するために、人工知能システムとして機械学習がされた機械学習モデルやエキスパートシステムを用いることができ、各々のシステムの組み合わせたを用いても良い。更に、探索システムを、より主体的なコーディネートのためのアイテム探索に用いることが可能であり、深さ探索などでアイテムに近いアイテムを検索しても良いが、より主体的に遺伝的アルゴリズムで選択していっても良い。

なお、カテゴリー別のアイテムとしてジャンル、着用目的などでユーザー希望を出してユーザー適合度の高いアイテムを検索することも可能である。また、服の大きな違いではなく、もうちょっと丈が長ければなどの細かな要素で検索することも可能となる。これらにより、アイテムをデザインしたデザイナーの好みとユーザーの好みの傾向が近い場合、ユーザーとデザイナーのマッチングが可能となるとも言える。更に、家族の衣類を一箇所に集約する共有クローゼットのように、似ている人の好みで彼女、彼氏あるいは妻、夫の一方が検索、他方にリコメンド（推奨）することもできる。

（ユーザーが２人のペアもしくは３人以上のグループである場合）
ユーザーが、２人のペアもしくは３人以上のグループであるとき、評価部は、ペアもしくはグループに対し、各ユーザーが着用するアイテムが全体として適合するかを評価することが好ましい。すなわち、各ユーザーに対し、それぞれのユーザーが注目するアイテムの画像情報に基づき、ユーザー適合度を評価すると、評価結果として共通のものが得られない。

そこで、ペアもしくはグループにおける特定ユーザーが注目するアイテムの画像情報に基づき、ユーザー適合度を評価することが考えられる。例えば、引き立て役（ペアの場合は一般には女性のユーザー、グループの場合は一番目立つユーザー）を特定ユーザーとする。

そこで、エキスパートシステムの場合、類似度評価されるアイテムの色については、色相・明度・彩度の１つだけが類似しているアイテムに比べ、これらのうちの２つ以上が類似しているアイテムの場合は類似度が高いと評価されるように段階的な色の統一により異なるアイテムとして類似させることが考えられる。

すなわち、評価結果として、各々のユーザーの注目のアイテムに係る情報の入力に対し、内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、および外的要素としての年齢、性別などのカテゴリーの少なくともいずれか１つを統一することが好ましい。より好ましくは、これらのうち２つあるいは３つ、更には全てを類似させることが好ましい。

アイテム同士の調和度に関しては、各々のユーザーの注目のアイテムに係る情報の入力に対し、内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、および外的要素としての年齢、性別などのカテゴリーなどが考慮され、これらのうちの１つだけ（例えば模様だけ）が調和しているアイテムに比べ、これらのうちの２つ以上が調和しているアイテムの場合は調和度が高いと評価され、注目点に示されるユーザー注目のアイテム（例えばユーザーが所有するアイテム）により近く表示される。

例えば、あるユーザーが選択したアイテムが白のジャケットに黒のスカートで全体としてシンプル感を与える場合、異なるユーザーもシンプル感を与えるアイテムを選択する。あるいは、あるユーザーが選択したアイテムがジャケットの一部模様とスカートの一部模様が組み合って全体として特定イメージを与える模様を構成する場合、異なるユーザーもその特定イメージを与える模様に調和する模様のアイテムを選択する。ただし、類似度および調和度に関し、素材よりも、色が類似および調和している方が、印象として類似性や調和性が高いと感じられるように、内的要素および外的要素内で優先度合いをつけ、２つ以上類似・調和していても１つの類似・調和の方を優先する可能性もある。他にもそれらに対応する、類似・調和する／類似・調和しないアイテムや類似・調和する／類似・調和しないアイテム組合せのルールが用いられる。

また、類似度、調和度の評価に関して、ペアもしくはグループにおける目立つ人や、主役や引き立て役（例えばペアの場合は一般には女性のユーザー、グループの場合は一番美人あるいは一番ハンサムなユーザー）に統一することで類似・調和を印象付けることも考えられる。この場合は、特定ユーザーに対し、ユーザー適合度を評価することとなる。また、特定ユーザーだけでなく、全体を最大化するユーザー適合度の平均値が高くなるようにすることが望ましい。平均値を計算する際、ペアもしくはグループにおける目立つ人や、主役や引き立て役に応じて重みづけされた評価値を用いることも出来る。

エキスパートシステムでなく、機械学習の場合も同様、各々のユーザーの注目のアイテムに係る情報の入力に対し、内的要素としての各アイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、および外的要素としての年齢、性別などの各カテゴリーに対応させて、ペアもしくはグループにおける目立つ人や、主役や引き立て役である特定のユーザーに対し、各アイテムのユーザー適合度が出力された値だけで評価してもいいが、ユーザー間で最大化するためにユーザー適合度の平均値が高くなるようにすることも望ましい。平均値を計算する際、ペアもしくはグループにおける目立つ人や、主役や引き立て役や場面に応じて重みづけされた評価値を用いることも出来る。また、訓練データを用い入力と出力の関係から評価するために単体の情報だけでなく複数人に係る情報（例えば、集合写真など複数人が同時に写っている写真など）から設定された特徴量を用いる、または評価するための特徴量を単体の情報だけでなく複数人に係る情報から抽出し、何が要因でユーザー複数にとって評価値を最大化するかを見極めてもよい。

機械学習システムとしての機械学習モデルを用いる場合に関しては、学習フェーズ３０２（図３Ａ）で、訓練データを用い入力と出力の関係から評価するために設定された特徴量を用いる、または評価するための特徴量を抽出し、何が要因でユーザーにアイテムが適合するかが見極められている。そして、例えばディープラーニングにより学習が完成された機械学習モデルにより、ユーザー自身の身体的特徴情報の入力に対し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素としての年齢や性別など各カテゴリーに対応させて、アイテムのユーザー適合度が出力可能となっている。そして、このように完成された機械学習モデルについて、顔・体型を読み取ることで、時間的に顔・体型が変化するダイエット中にも似合うアイテムを提供できるように学習させておくこともできる。

機械学習やエキスパートシステムにより得られたコーディネート評価だけでなく、探索システムを用いることで、機械学習やエキスパートシステムがユーザー間にとって類似・調和しているものとした中でも各ユーザーが気に入ったコーディネートを各ユーザーの情報である好みを入れて選択をしていくことが可能になる。そのため、より主体的かつ効率的に似合うコーディネートを選択することも可能である。このように、探索は、ユーザー間においてもより主体的かつ効率的なコーディネートのためのアイテム探索に用いることが可能である。可能であり、深さ探索などでアイテムに近いアイテムを検索しても良いが、より主体的に遺伝的アルゴリズムで選択していっても良い。

（第３の実施形態）
第２の実施形態は、アイテム別にマッピング表示可能とするものであったが、本実施形態はブランド別にマッピング表示可能とするものである。すなわち、ユーザーの注目するブランドを注目点とし、ブランド別に似ているブランドから近くにマッピングして、直感的かつ簡便にショッピングを可能とするものである。本実施形態によれば、コーディネートに係るブランドのアイテムが服の場合、ユーザーが知らないブランドであるが、潜在的に好きなブランドの服を見つけることができる。

第１、第２の実施形態で述べた評価サーバを含むシステム、人工知能システムとしての機械学習モデル、エキスパートシステム、探索については、本実施形態についても適用できるものである。すなわち、人工知能システムとしてユーザー適合度を評価するために機械学習がされた機械学習システムとしての機械学習モデルやエキスパートシステムを用いる、また、各々を組み合わせたものを用いても良い。更に、探索システムで、探索をより主体的なコーディネートのためのブランド探索に用いることができる。

（コーディネート用評価）
本実施形態のイメージ図を図８に、フローチャートを図９Ａ、図９Ｂに、またブランド類似間のマッピング表示を図９Ｃ、ブランド別のマッピング表示を図９Ｄに示す。フローチャートに関し、図９Ａでは、ブランド間類似度および調和度を評価するのに対し、図９Ｂではブランド間類似度あるいは調和度を評価する。

本実施形態におけるブランド間類似度あるいは調和度の具体的評価は以下の原理に従っている。すなわち、評価部が、ユーザーが注目するブランドに係るアイテムもしくはアイテム組合せに対する、各ブランドにおける似ているアイテムもしくはアイテム組合せ、もしくは調和するアイテムもしくはアイテム組合せの数、もしくは該数に似ているもしくは調和する度合いで重み付けをした有効数の多寡に基づいて、ユーザーが注目するブランドに対し各ブランドの似ているもしくは調和する度合いを評価する。数もしくは有効数が多い場合は、ブランド間類似度あるいは調和度が高いこととなる。ただし、その数もしくは有効数の計算の仕方に対し、アイテム間の類似度や調和度は内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、および外的要素としての年齢、性別などのカテゴリーなどが考慮され得る、素材よりも色が類似および調和している場合の方が、印象として類似性や調和性が高いと感じられるように、内的要素および外的要素内で優先度合いをつけ、２つ以上類似・調和していても１つの類似・調和の方を優先する可能性もある。

図９ＡのステップＳ２１で、ユーザー固有情報としてユーザー注目のブランドＡにおけるアイテム情報が取得される。そして、ステップＳ２２で、ユーザー希望があるか判断され、希望がある場合にはステップＳ２３で希望するユーザー注目（所有など）の所定アイテムａ１、ａ２、ａ３、・・・の情報が例えば着用目的、着用シーズンなどに応じて絞り込まれる。なお、ステップＳ２２で、ユーザー希望がない場合にはステップＳ２４に至る。

そして、ステップＳ２４では、第１の情報として各ブランドにおける複数のアイテム情報が入力しており、ユーザー適合度の人工知能システムにより、ユーザー固有情報（ユーザー注目のブランドＡにおけるアイテム情報）に基づき、上述した原理に従ってブランドＡと他ブランド間のの類似度および調和度が評価される。

ここで、各ブランドのアイテム同士の類似度に関しては、内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法などが香料される。また、各ブランドのアイテム同士の調和度に関しては、各ブランドの内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法などや、外的要素としての年齢、性別などのカテゴリーが考慮される。

そして、上述した原理における重み付けに関し、これらのうちの１つだけ（例えば模様だけ）が類似する、あるいは調和するものに比べ、２つ以上が類似する、あるいは調和する場合は高いスコアが与えられる。ただし、その数もしくは有効数の計算の仕方に対し、素材よりも色の方が類似および調和している方が印象として素材が類似・調和しているよりも類似性や調和性が高いと感じられるように、内的要素および外的要素内で優先度合いをつけ、２つ以上類似・調和していても１つの類似・調和の方を優先する可能性もある。

ここで、図９ＡのステップＳ２４、図９ＢのステップＳ２４、Ｓ２５で画像（アイテム画像）が取り扱われるとき、画像情報を正確に読み取るため、画像切り取りとして、ピクセル単位の物体認識を行えるようにすることが好ましい。そのため、インスタンスセグメンテーションもしくはセマンティックセグメンテーションにより画像を輪郭で切り取る。これにより、周辺部（輪郭の外側）がノイズとなって評価に影響を及ぼしてしまうことを回避できる。

そして、ステップＳ２５で、ブランド間類似度および調和度を距離でマッピング表示する。すなわち、マッピングに関し、図９Ｃに示すようにユーザーが注目するブランドを注目点とし、似ている、あるいは調和するものが近くにくるようにブランド別に該注目点からの距離でマッピング表示する。

また、ステップＳ２５では、着用画像（全身画像）として、例えばモデルの画像に服を着させる、ユーザーの写真を入力しユーザー自身の画像に服を着させるなど、とユーザー適合度スコア（類似度スコアあるいは調和度スコア）がユーザーのスマホなどの画面に表示される。この場合、ユーザー適合度に対応させて複数のアイテムに関する着用画像を同時に、あるいは非同時に連続して表示させることができる。

このように、着用画像（全身画像）として、ユーザーは、ＶＲやＡＲ上で自分に服を着させ、実際に似合っているかや服のフィット感、質感やクオリティを視覚的に検討できる
なお、ステップＳ２５に示すユーザー適合度スコアに関しては、ユーザー注目（所有など）のアイテムと類似する、あるいは調和するブランドが高いスコアとなるように、連続的や絶対的な点数で表示しても良いし、図９Ｃで示すように離散的や相対的な高、中、低で表示しても良い。

図９Ｃで、ユーザー注目ブランドに対し、ブランドＢ社は類似度が高、調和度が中であり、ブランドＣ社は類似度が中、調和度が高であり、ブランドＢ社とブランドＣ社は類似度が低、調和度も低である。

このようにして、ユーザーはユーザーが所有するブランドのジャケットに似ている（類似する）他のブランドのジャケットを見つけたり、ユーザーが所有するブランドのジャケットと他のブランドのスカートとを主体的にコーディネートすることができる。

そして、図９ＡのステップＳ２６、図９ＢのステップＳ２８でユーザーは気に入ったか判断する。気に入れば終了するが、気に入らなければ図９ＡのステップＳ２４、図９ＢのステップＳ２４、Ｓ２５に戻る。

本実施形態におけるマッピングの指標（適合度に係る要因。例えば機械学習の場合、入力する特徴量の値によって適合度が高いか低いかが分かるので、適合度を評価する指標になる。つまり、入力（ユーザーの身体的特徴情報およびアイテムに係る情報（内的要素および外的要素）などのあらかじめ想定してある特徴量や抽出された特徴量など）と適合度は一連のつながりをもっている。例えば、入力のある指標の値が高ければ適合度も高くなるが、入力のある指標の値が低ければ適合度も低くなる。したがって、マッピングの指標になり、それをグラフとして入力と適合度の値をプロットすることでマッピング可能になる。）に関しては、各ブランドにおけるアイテムの分類やユーザー適合度を点数など定量的に予測できる回帰に使用される値を用いるが、これに限られない。一般にマッピングに関しては、人工知能技術の機械学習における説明に基づく学習（演繹学習）、例からの学習（教師あり学習に関連する分類（非連続な表示）や回帰（連続的な表示）の他、教師なし学習に関連する次元削除やクラスタリング、半教師あり学習）、能動学習、質問による学習、強化学習、模倣学習、類推、転移学習、構造的学習、前記学習方法を組み合わせた多戦略学習のいずれかが含まれる。また、エキスパートシステム。探索には、情報なし探索、情報あり探索のいずれかが含まれる。というように、適合度の評価に用いられる人工知能技術全てを含む。

人工知能システムによるユーザー適合度の評価結果に関しては、マッピング表示するかしないか選択できるものであるが、以下マッピング表示する場合を説明する。

ここで、マッピング表示に関し、上述した指標を用い、直交座標系で、類似度・調和度に対して評価部で評価された結果について、ユーザーが注目するブランドを注目点とし、ユーザーが注目するブランドに似ている、もしくは調和するブランドほど近くにくるようにブランド別に注目点からの距離でマッピング表示させることができる。

また、また、極座標系で、類似度・調和度に対してユーザーが注目するブランドに似ている、もしくは調和するブランドほど同じ向き（ベクトル間の角度が近いほどブランド間の類似度や調和度が高くなる。）となるようにブランド別に原点からのベクトル角度でマッピング表示させることができる。

マッピング表示に際しては、着用画像（全身画像）として、例えばモデルの画像に服を着させる、ユーザーの写真を入力しユーザー自身の画像に服を着させるなど、と共に、更には適合度スコアと共に行うことが可能である。

マッピング表示は１ｎ次元で表示出来、例えば、図９Ｃにあるように、３次元の直交座標系において、類似度または調和度をマッピング表示する場合、各ブランドのアイテムに係る情報（内的要素および外的要素）などのあらかじめ想定してある特徴量や抽出された特徴量やいずれかを入力した一部の値を原点とし、ｘ軸（ブランド情報）、ｙ軸（類似度）およびｚ軸（調和度）とし、ブランド間の距離をブランド情報の各点からの距離で類似度または調和度としてマッピング表示可能である。必要であれば、入力を新しい次元として扱うことも可能で、マッピング表示可能である。また、類似度、調和度も要素ごとに分解してマッピング表示可能である。例えば、形の入力に対する類似度や着用目的の入力に対する調和度などである。上記直交座標系を用いての説明だが、極座標系を用いることも可能である。

上述した距離に関しては、ユークリッド距離、マンハッタン距離、マハラノビス距離、ミンコフスキー距離、コサイン類似度と相関係数、離散変数間の類似度、カーネル学習法を用いた類似度尺度などを用いることができる。調和度に関しても、類似度に準じて適用可能である。

人工知能システムとして、エキスパートシステムを用いる場合、図９ＡのステップＳ２４、図９ＢのステップＳ２４、Ｓ２５で各ブランドのアイテム同士の評価に関しては、各ブランドにおける各アイテムの内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法などや、外的要素としての年齢、性別などのカテゴリーが考慮され、これらのうちの１つだけ（例えば模様だけ）が上述した数もしくは有効数が多いとして似ている、あるいは調和すると評価されるブランドに比べ、これらのうちの２つ以上が似ているブランドの場合は類似度あるいは調和度が高いブランドと評価され、注目点に示されるユーザー注目のブランド（例えばユーザーが所有するアイテムのブランド）により近く表示される。ただし、その数もしくは有効数の計算の仕方に対し、素材よりも色の方が類似および調和している方が印象として素材が類似・調和しているよりも類似性や調和性が高いと感じられるように、内的要素および外的要素内で優先度合いをつけ、２つ以上類似・調和していても１つの類似・調和の方を優先する可能性もある。他にもそれらに対応する、類似・調和する／類似・調和しないアイテムや類似・調和する／類似・調和しないアイテム組合せのルールが用いられる。

図９ＡのステップＳ２４、図９ＢのステップＳ２４、Ｓ２５で用いられる機械学習モデルに関しては、学習フェーズ３０２（図３）で、訓練データを用い入力と出力の関係から評価するために設定された特徴量を用いる、またはそれを抽出し、何が要因でユーザーにブランドが適合するかが見極められている。そして、例えばディープラーニングにより学習が完成された機械学習モデルにより、ユーザー固有情報の入力に対し、各ブランドの内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、および外的要素としての年齢、性別などのカテゴリーに対応させて各ブランドの評価結果が出力可能となっている。

ただし、その数もしくは有効数の計算の仕方に対し、素材よりも色の方が類似および調和している方が印象として素材が類似・調和しているよりも類似性や調和性が高いと感じられるように、内的要素および外的要素内で優先度合いをつけ、２つ以上類似・調和していても１つの類似・調和の方を優先する可能性もあるが、機械学習ではこれを自動的に学習することもできる。

機械学習やエキスパートシステムだけでもコーディネートに係るアイテムがユーザーおよびユーザー間に適合するかを客観的に評価できると共に、ユーザー自身が受動的でなく主体的にコーディネートできる。しかしながら、その類似・調和しているブランドのコーディネートを気に入るかどうかの選択はユーザーが主体的に選択するので、探索を用いることで機械学習やエキスパートシステムが類似・調和しているものとした中でもユーザーが気に入ったコーディネートをユーザーの情報である好みを入れて選択をしていくことが可能になる。そのため、より主体的かつ効率的に似合うコーディネートを選択することも可能である。このように、探索は、より主体的かつ効率的なコーディネートのためのブランド探索に用いることが可能である。

以上、本実施形態に係るユーザー適合度を評価するために人工知能システムとして機械学習モデルやエキスパートシステムを用いる、また、各々のシステムを組み合わせたものを用いることでも良い。更に、探索システムは、より主体的なコーディネートのためのブランド探索に用いることが可能である。なお、深さ探索などでブランドに近いブランドを検索しても良いが、より主体的に遺伝的アルゴリズムで選択していっても良い。

（ユーザーが２人のペアもしくは３人以上のグループである場合）
ユーザーが、２人のペアもしくは３人以上のグループであるとき、評価部は、ペアもしくはグループに対し、各ユーザーが着用するアイテムのブランドが全体として適合するかを評価することが好ましい。すなわち、各ユーザーに対し、それぞれのユーザーが注目するブランドに係るアイテムの画像情報に基づき、ユーザー適合度を評価すると、評価結果として共通のものが得られない。

そこで、ペアもしくはグループにおける特定ユーザーが注目するブランドに係るアイテムの画像情報に基づき、ユーザー適合度を評価することが考えられる。例えば、引き立て役（ペアの場合は一般には女性のユーザー、グループの場合は一番目立つユーザー）を特定ユーザーとする。

そこで、エキスパートシステムの場合、類似度評価される各ブランドのアイテムの色については、色相・明度・彩度の１つだけが類似している各アイテムのブランド間に比べ、これらのうちの２つ以上が類似している各アイテムのブランド間の場合は類似度が高いと評価されるように段階的な色の統一または類似しているアイテムが多いブランドをユーザーが選択することで、ユーザー間でブランドを融和させることが考えられる。

すなわち、評価結果として、各々のユーザーの注目のブランドのアイテムに係る情報の入力に対し、各ブランドの内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、および外的要素としての年齢、性別などのカテゴリーの少なくともいずれか１つを統一することが好ましい。より好ましくは、これらのうち２つあるいは３つ、更には全てを類似させることが好ましい。つまり、類似しているアイテムが多いほどブランド間の類似度が高い可能性が高く、その類似度の高いブランド同士をユーザー間で選択することで、ユーザー間の適合度が上がると考えられる。各ブランド同士の調和度に関しては、各々のユーザーの注目のブランドのアイテムに係る情報の入力に対し、各ブランドの内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、および外的要素としての年齢、性別などのカテゴリーなどが考慮され、これらのうちの１つだけ（例えば模様だけ）が調和している各アイテムのブランド間に比べ、これらのうちの２つ以上が調和している各アイテムのブランド間の場合は調和度が高いと評価され、中心点（注目点）に示されるユーザー注目のブランドにより近く表示される。

ただし、ユーザー間におけるブランド間の類似度および調和度に対する、その数もしくは有効数の計算の仕方に対し、素材よりも色の方が類似および調和している方が印象として素材が類似・調和しているよりも類似性や調和性が高いと感じられるように、内的要素および外的要素内で優先度合いをつけ、２つ以上類似・調和していても１つの類似・調和の方を優先する可能性もある。他にもそれらに対応する、類似・調和する／類似・調和しないアイテムや類似・調和する／類似・調和しないアイテム組合せのルールが用いられる。

各ブランドのアイテム同士の類似性に関しては、あるブランドは白と黒を基調としたシンプルで落ち着いたデザインが多いのに対し、同様の落ち着いた色を用いたシンプルなデザインが多いブランドの方が、ショッキングピンクのような目立つ色を用いた派手なデザインが多いブランドより類似度が高いと考えられる。

各ブランドのアイテム同士の相性の良さに関しては、例えば、あるユーザーが選択したアイテムに関し、白のジャケットに黒のスカートなど全体としてシンプル感を与えるアイテムが多いブランドの場合、異なるユーザーもシンプル感を与えるアイテムが多いブランドを選択する。あるいは、あるユーザーが選択したアイテムがジャケットの一部模様とスカートの一部模様が組み合って全体として特定イメージを与える模様を構成するアイテムが多いブランドの場合、異なるユーザーもその特定イメージを与える模様に調和する模様のアイテムが多いブランドを選択する。あるいは、あるユーザーが選択したアイテムがゆったりとしたジャケットにタイトなスカートで全体としてお洒落な着こなし感を与えるアイテムが多いブランドの場合、異なるユーザーも同様のお洒落な着こなし感を与えるアイテムが多いブランドを選択するなどである。

また、類似度、調和度の評価結果として各ブランドに関して、ペアもしくはグループにおける目立つ人や、主役や引き立て役（例えばペアの場合は一般には女性のユーザー、グループの場合は一番美人あるいは一番ハンサムなユーザー）に統一することで調和を印象付けることも考えられる。この場合は、特定ユーザーに対し、ユーザー適合度を評価することとなる。また、特定ユーザーだけでなく、全体を最大化するユーザー適合度の平均値が高くなるようにすることが望ましい。平均値を計算する際、ペアもしくはグループにおける目立つ人や、主役や引き立て役に応じて重みづけされた評価値を用いることも出来る。

機械学習の場合も同様、各々ユーザーの注目のブランドＡにおけるアイテム情報の入力に対し、各ブランドの内的要素としてのアイテムの色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素としての年齢や性別など各カテゴリーに対応させて、ペアもしくはグループにおける目立つ人や、主役や引き立て役である特定のユーザーに対し、各アイテムのブランドに対するユーザー適合度が出力された値だけで評価してもいいが、ユーザー間で最大化するために各ブランドのユーザー適合度の平均値が高くなるようにすることも望ましい。また、平均値を計算する際、ペアもしくはグループにおける目立つ人や、主役や引き立て役や場面に応じて重みづけされた評価値を用いることも出来る。また、訓練データを用い入力と出力の関係から評価するために単体の情報だけでなく複数人に係る情報から設定された特徴量を用いる、または評価するための特徴量を単体の情報だけでなく複数人に係る情報から抽出し、何が要因でユーザー複数にとって評価値を最大化するかを見極めてもよい。

機械学習システムとしての機械学習モデルを用いる場合に関しては、学習フェーズ３０２（図３Ａ）で、訓練データを用い入力と出力の関係から評価するために設定された特徴量を用いる、または評価するための特徴量を抽出し、何が要因でユーザーにアイテムが適合するかが見極められている。そして、例えばディープラーニングにより学習が完成された機械学習モデルにより、ユーザー自身の身体的特徴情報の入力に対し、内的要素としての色、形、柄、ディテール、素材、サイズ、主に服の場合は生地の製法、また外的要素としての年齢や性別など各カテゴリーに対応させて、アイテムのユーザー適合度が出力可能となっている。そして、このように完成された機械学習モデルについて、顔・体型を読み取ることで、時間的に顔・体型が変化するダイエット中にも似合うアイテムを提供できるように学習させておくこともできる。

機械学習やエキスパートシステムにより得られたコーディネート評価だけでなく、探索システムを用いることで、機械学習やエキスパートシステムがユーザー間にとって類似・調和しているものとした中でも各ユーザーが気に入ったコーディネートを各ユーザーの情報である好みを入れて選択をしていくことが可能になる。そのため、より主体的かつ効率的に似合うブランドのコーディネートを選択することも可能である。このように、探索は、ユーザー間においてもより主体的かつ効率的なコーディネートのためのブランド探索に用いることが可能である。可能であり、深さ探索などでブランドに近いブランドを検索しても良いが、より主体的に遺伝的アルゴリズムで選択していっても良い。

（変形例）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上述した実施形態の組み合わせとして、ユーザー似合い度に関連した第１の実施形態と、アイテム間類似度あるいはアイテム間調和度に関連した第２の実施形態もしくはブランド間類似度あるいはブランド間調和度に関連した第３の実施形態とを組合わせて用いても良い。

図１０Ａ、図１０Ｂは、ユーザー似合い度、およびアイテム間類似度に関する複数アイテムのマッピング表示図、図１０Ｃ、図１０Ｄはユーザー似合い度、およびアイテム間調和度に関する複数アイテムのマッピング表示図、図１０Ｅ、図１０Fはユーザー似合い度、アイテム間類似度およびアイテム間調和度に関する複数アイテムのマッピング表示図である。

これにより、第１の実施形態を用いてジャケットとスカートを選択しようとするとき、ジャケットに関してはユーザー似合い度の高いものが見つかったが、スカートに関しては見つからなかったような場合に、第２もしくは第３の実施形態を用いて見つかったジャケットに基づいて類似する、あるいは調和するスカートを見つけることができる。その結果、ユーザーは客観的に見て自分に適合するジャケットとスカートとして自分自身の主体的なコーディネートに満足することができる。

また、上述した実施形態では、服（ジャケットやスカートなどの洋服、着物などの和服を含む）について説明したが、本発明はこれに限られず、他のカテゴリーであるメイク（つけまつげ等）、髪形、帽子、ネクタイ、ネックレス、ペンダント、眼鏡（サングラス）、ハンカチ、マスク、シューズなど、あるいはこれらのいずれかの組合せにも同様に適用できる。組合せに関しては、例えば、服と履物・小物の組合せとして、洋服と靴・ネクタイ（スカーフ）など、あるいは和服と草履・帯などがあり、これらを全体としてコーディネートすることができる。

また、上述した実施形態はコーディネート用評価サーバ装置に係るものであったが、コーディネート用評価サーバ装置の制御方法、これに用いるプログラム、記録媒体としても成り立つ。

すなわち、本発明は、以下の処理を実行することによっても実現され、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理を含む。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

また、機械学習モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものである。

そして、図１１に示すように、異なるユーザー（ユーザーＡ、ユーザーＢ）に関してそれぞれ評価部で評価された結果の相対関係を、異なるユーザーにおけるユーザー間適合度として距離で表示（ユーザーＡやユーザーＢのスマホ等に表示）させることもできる。異なるユーザー間でもユーザー似合い度に関連した第１の実施形態と、アイテム間類似度あるいはアイテム間調和度に関連した第２もしくはブランド間類似度あるいはブランド間調和度に関連した第３の実施形態とを組合わせて用いても良い。

また、上述した実施形態における適合度スコアに関し、複数（多数）の評価項目を放射状に設け、それぞれの評価結果のスコア位置を連結させた多角形表示とすることもできる。表示の仕方は他に、それぞれの評価結果を縦棒あるいは横棒の長さで示す棒グラフ、それぞれの評価結果を中心角の大きさとして扇形で示す円グラフ、それぞれの評価結果をピラミッドの各階層の長さ（水平方向）で示すピラミッド型グラフなどを用いることもできる。

また、本発明を用いてユーザー適合度が高いと評価されたアイテムについて、ユーザーは購入することもできるが、レンタル店でレンタルすることもできる。

１００・・コーディネート用評価サーバ、１０１・・複数のアイテム情報記憶部、１０２・・ユーザー固有情報記憶部、１０３・・人工知能システム記憶部、１０４・・ユーザー適合度評価部、１０５・・通信部（入力部、出力部）

Claims (14)

1. コーディネートに係るアイテムもしくはアイテム組合せに関し、ユーザー自身の身体的特徴に対し似合うアイテムもしくはアイテム組合せであるか、もしくはユーザーが着用するために注目するアイテムもしくはアイテム組合せに対し似ている、もしくは調和するアイテムもしくはアイテム組合せであるかを、ユーザー適合度としてユーザーが主体的に評価可能とするためのコーディネート用評価サーバ装置であって、
   ユーザー固有情報としてのユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムもしくはアイテム組合せに係る情報、コーディネートに係る複数のアイテムに係る情報の内の少なくとも２つの情報を記憶する第１の記憶部と、
   前記ユーザー適合度に関し評価のための人工知能システムを記憶する第２の記憶部と、
   前記第１の記憶部に記憶される少なくとも２つの情報に基づき、前記ユーザーが注目するアイテムもしくはアイテム組合せ、もしくは前記コーディネートに係る複数のアイテムにおける前記ユーザー適合度を前記人工知能システムにより評価する評価部と、
   前記評価部で評価された結果をユーザーに対し出力可能な出力部と、
   を有することを特徴とするコーディネート用評価サーバ装置。
2. 前記出力部は、前記評価部で評価された結果について、前記ユーザー適合度に対応させて１つ以上のアイテムを表示可能にユーザーに対して出力することを特徴とする請求項１に記載のコーディネート用評価サーバ装置。
3. 前記第１の記憶部は、少なくとも前記ユーザー自身の身体的特徴情報と、前記ユーザーが注目するアイテムもしくはアイテム組合せに係る情報を記憶し、
   前記評価部は、ユーザー自身の身体的特徴に対し似合うアイテムもしくはアイテム組合せであるかについて、前記ユーザー自身の身体的特徴情報に基づいて、前記ユーザーが注目するアイテムもしくはアイテム組合せにおける前記ユーザー適合度を評価することを特徴とする請求項１または２に記載のコーディネート用評価サーバ装置。
4. 前記第１の記憶部は、更に前記コーディネートに係る複数のアイテムに係る情報を記憶し、
   前記評価部は、前記ユーザー自身の身体的特徴情報に基づいて、前記コーディネートに係る複数のアイテムに係る情報の中からよりユーザーに似合うアイテムもしくはアイテム組合せが有るかを評価することを特徴とする請求項３に記載のコーディネート用評価サーバ装置。
5. 前記ユーザー自身の身体的特徴情報は、ユーザーの顔情報と、体型情報と、骨格情報と、色情報を備え、
   前記評価部は、前記ユーザーの顔情報、体型情報、骨格情報、色情報に基づき、前記ユーザーが注目するアイテムもしくはアイテム組合せ、もしくは前記コーディネートに係る複数のアイテムに係る内的要素、外的要素の内、少なくとも一つの要素に対応させて前記ユーザー適合度を前記人工知能システムにより評価することを特徴とする請求項３もしくは４に記載のコーディネート用評価サーバ装置。
6. 前記第１の記憶部は、前記ユーザー固有情報としての着用のためユーザーが注目するアイテムもしくはアイテム組合せに係る情報、前記コーディネートに係る複数のアイテムに係る情報を記憶し、
   前記出力部は、前記評価部で評価された結果について、前記ユーザーが注目するアイテムもしくはアイテム組合せを注目点とし、前記ユーザーが注目するアイテムもしくはアイテム組合せに似ている、もしくは調和するアイテムもしくはアイテム組合せほど近くにくるようにアイテムもしくはアイテム組合せ別に前記注目点からの距離でマッピング表示可能にユーザーに対して出力する、
   あるいは前記ユーザーが注目するアイテムもしくはアイテム組合せに似ている、もしくは調和するアイテムもしくはアイテム組合せほど同じ向きとなるようにアイテムもしくはアイテム組合せ（別に原点からのベクトル角度でマッピング表示可能にユーザーに対して出力する、あるいは前記ユーザーが注目するアイテムもしくはアイテム組合せに似ている、もしくは調和するアイテムもしくはアイテム組合せほど高いスコアとなるようにアイテムもしくはアイテム組合せ別にマッピング表示可能にユーザーに対して出力することを特徴とする請求項１または２に記載のコーディネート用評価サーバ装置。
7. 前記第１の記憶部は、前記ユーザー固有情報としての着用のためユーザーが注目するブランドのアイテムもしくはアイテム組合せに係る情報、前記コーディネートに係るユーザーが注目するブランドを含む各ブランドにおける複数のアイテムに係る情報を記憶し、
   前記評価部は、前記コーディネートに係るユーザーが注目するブランドに係るアイテムもしくはアイテム組合せに対する、各ブランドにおける似ているアイテムもしくはアイテム組合せ、もしくは調和するアイテムもしくはアイテム組合せの数、もしくは該数に似ているもしくは調和する度合いで重み付けをした有効数の多寡に基づいて、前記コーディネートに係るユーザーが注目するブランドに対し各ブランドの似ているもしくは調和する度合いを評価し、
   前記出力部は、前記評価部で評価された結果について、前記ユーザーが注目するブランドを注目点とし、前記ユーザーが注目するブランドに似ている、もしくは調和するブランドほど近くにくるようにブランド別に前記注目点からの距離でマッピング表示可能にユーザーに対して出力する、あるいは前記ユーザーが注目するブランドに似ている、もしくは調和するブランドほど同じ向きとなるようにブランド別に原点からのベクトル角度でマッピング表示可能にユーザーに対して出力する、あるいは前記ユーザーが注目するブランドに似ている、もしくは調和するブランドほど高いスコアとなるようにブランド別にマッピング表示可能にユーザーに対して出力することを特徴とする請求項１または２に記載のコーディネート用評価サーバ装置。
8. 前記ユーザーが、２人のペアもしくは３人以上のグループであるとき、
   前記評価部は、
   前記ペアもしくは前記グループに対し、各ユーザーが着用するアイテムもしくはアイテム組合せが全体として適合するかを評価することを特徴とする請求項１乃至７のいずれか１項に記載のコーディネート用評価サーバ装置。
9. 前記評価部は、
   異なるユーザーにおける、それぞれのユーザーに関して前記評価部で評価された結果の相対関係をユーザー間適合度としてユーザーに対して表示可能に出力することを特徴とする請求項１乃至８のいずれか１項に記載のコーディネート用評価サーバ装置。
10. 前記評価部は、
    ピクセル単位の物体認識により輪郭が切り取られた画像情報を前記ユーザー適合度の評価に用いることを特徴とする請求項１乃至９のいずれか１項に記載のコーディネート用評価サーバ装置。
11. 前記人工知能システムは、ユーザー自身の身体的特徴としての体型の時間的変化を含んで学習されたものであることを特徴とする請求項１乃至１０のいずれか１項に記載のコーディネート用評価サーバ装置。
12. コーディネートに係るアイテムもしくはアイテム組合せに関し、ユーザー自身の身体的特徴に対し似合うアイテムもしくはアイテム組合せであるか、もしくはユーザーが着用するために注目するアイテムもしくはアイテム組合せに対し似ている、もしくは調和するアイテムもしくはアイテム組合せであるかを、ユーザー適合度としてユーザーが主体的に評価可能とするためのコーディネート用評価サーバ装置の制御方法であって、
    ユーザー固有情報としてのユーザー自身の身体的特徴情報、ユーザー固有情報としての着用のためユーザーが注目するアイテムもしくはアイテム組合せに係る情報、コーディネートに係る複数のアイテムに係る情報の内の少なくとも２つの情報を前記コーディネート用評価サーバ装置が記憶する第１のステップと、
    前記ユーザー適合度に関し評価のための人工知能システムを前記コーディネート用評価サーバ装置が記憶する第２のステップと、
    前記第１の記憶部に記憶される少なくとも２つの情報に基づき、前記ユーザーが注目するアイテムもしくはアイテム組合せ、もしくは前記コーディネートに係る複数のアイテムにおける前記ユーザー適合度を前記コーディネート用評価サーバ装置が前記人工知能システムにより評価する第３のステップと、
    前記評価部で評価された結果を前記コーディネート用評価サーバ装置がユーザーに対し出力可能とする第４のステップと、
    を有することを特徴とするコーディネート用評価サーバ装置の制御方法。
13. 請求項１乃至１１のいずれか１項に記載のコーディネート用評価サーバ装置としてコンピュータを機能させることを特徴とするプログラム。
14. 請求項１乃至１１のいずれか１項に記載のコーディネート用評価サーバ装置としてコンピュータを機能させるためのプログラムを格納した記録媒体であって、コンピュータが読み取り可能な記録媒体。

Images