JP2016502713A - 衣類マッチングシステム及び方法 - Google Patents

衣類マッチングシステム及び方法 Download PDF

Info

Publication number
JP2016502713A
JP2016502713A JP2015541743A JP2015541743A JP2016502713A JP 2016502713 A JP2016502713 A JP 2016502713A JP 2015541743 A JP2015541743 A JP 2015541743A JP 2015541743 A JP2015541743 A JP 2015541743A JP 2016502713 A JP2016502713 A JP 2016502713A
Authority
JP
Japan
Prior art keywords
clothing
computer
color
clothes
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015541743A
Other languages
English (en)
Inventor
サイ−キット・ヨン
トニー・チャン
ラプ−ファイ・ユー
デメトリ・テルゾポウロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong University of Science and Technology HKUST
Singapore University of Technology and Design
University of California
University of California Los Angeles UCLA
Original Assignee
Hong Kong University of Science and Technology HKUST
Singapore University of Technology and Design
University of California
University of California Los Angeles UCLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong University of Science and Technology HKUST, Singapore University of Technology and Design, University of California, University of California Los Angeles UCLA filed Critical Hong Kong University of Science and Technology HKUST
Publication of JP2016502713A publication Critical patent/JP2016502713A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations

Abstract

本発明は、衣服一式の少なくとも1つの提案を生成するための衣類マッチングシステム及び方法を提供する。本システム及び方法は、ユーザの色の分類を決定することと、複数の衣料品を提供することと、ユーザの選好情報に基づいてドレスコードを選択することと、ユーザの色の分類、複数の衣料品、及び選択されたドレスコードに基づいて、衣服一式の少なくとも1つの提案を生成することとを含む。

Description

本発明は衣類マッチングシステム及び方法に関する。
関連出願
本願は、2012年11月12日に出願された米国仮出願61/725,073号の利益を主張し、その内容は参照によって本明細書に組み込まれる。
毎日、人はしばしば簡単な質問をするだろう。私は今日どのような服を着るべきであろうか。彼又は彼女のワードローブは、正装用シャツ、正装用ズボン、ジーンズ、セーター、スーツ、及び異なるタイプの靴などのような、さまざまな種類の衣服を含んでいる。その日の活動のために衣類のどのような組み合わせが最も適切であり、彼又は彼女を視覚的に最もアピールさせるだろうか。ことによると、誰かから誕生日の贈り物としてのもらった新しいネクタイと最も調和する複数の提案がある。衣服一式の選択に係る問題は、コンピュータグラフィックスモデリングにおいても発生し、特に、映画及びゲームの制作において発生する。視覚的な不格好さ及び繰り返しを回避しながら、機能を目的として、多数の人間のキャラクターに適切な服をどのように着せるべきか。衣類を手動で特定することは明らかに退屈であり、それは大規模の場合には禁じられているかもしれない。
ワードローブから衣料品(clothing items)の適切な部分集合を選ぶという問題は、形式的には、組み合わせ最適化問題として取り扱うことができる。適切な衣服一式は、機能的基準及び所定の視覚的基準を満たすように、さまざまな衣料品を組み合わせて合わせることを必要とする。例えば、一般的には、サンダルと正装用ズボンとの組み合わせを着用してオフィスに出勤することはなく、また、商談のために赤い正装用シャツと緑のスーツとを組み合わせて着用することもない。さらに、ワードローブを完全に利用するために、人は、衣服の多様性を示すことができるように、できるだけ多くの良好な解を有することを希望するであろう。類似の、ただしずっと大規模な問題は、買物客が多数の衣料品から選択できる場所である、オンラインブティックウェブサイトに関して生じる。通常、買物客にとって所望の衣料品を見つけることは難しくない。非自明な質問は、この衣料品を、同じ又は異なる店からの他の衣料品、又は自宅のワードローブからの他の衣料品と、スタイル及び色に関してどのように合わせるべきか、ということである。
関連する機能的基準及び視覚的基準の両方を満たす単一の一般的なルールは存在しない。一般に、人々は、衣服一式を、異なる機能を表す複数のドレスコード(dress codes)へ分類する。これらは、フォーマルのイベントに適した、白い蝶ネクタイのような厳密に規定されたものから、多くの日常の活動に適した、カジュアルのような比較的に制限のないものにわたる範囲を有する可能性がある。制限なしに、人は、あるイベントのための特定の衣類要件を定義し、それをドレスコードとみなすことができる。異なる宗教、社会、及び文化的慣習が異なるドレスコードに結びついている。例えば、あるフォーマルの場合において、スコットランドの男性は、他の場所では一般的には男性によって着用されることがないある種の正装である、キルトを着用する。視覚的基準は、モデル特有である皮膚の色、目の色、髪の色、及び体形のような人体の属性から、衣類の色、裁断、スタイル、及び織物のテクスチャのような衣料品の態様までに至る、多数のファクタを含んでいる。ルールは、国家的及び文化的な境界及び歴史的なタイムラインにわたって変動する。ある人物が適用可能なすべてのルールを満たした場合であってもなお、当該人物が視覚的に満足な方法で服を着ているかどうか、というむしろ主観的な質問が存在する。
衣服マッチング問題に取り組む際に、機能的基準及び視覚的基準は2つの最も重要なファクタ、すなわちドレスコード及び色を介して適用される。色が自明な視覚的ファクタであるとき、ある程度まで、それは機能にも関連し、それは次いで文化に依存する。例えば、中国の人々は通常、祝祭では赤い服を着て、葬式では白い服を着る。一方、ドレスコードは、衣料品の組み合わせにより関連する、もっと広いガイドラインである。一部のドレスコードは、さらに特定の品目の色について厳密な要件を有するが、異なる色をどのように調和させるかは、それらの主な関心事ではない。
コンピュータグラフィックスの分野において、視覚的に現実的な衣類をモデリングし、アニメーションにし、レンダリングすることは、数十年間にわたって関心分野であった。これは、近年になって、映画及びゲームで、特に多数の人間のキャラクターに服を着せるために、大きな注目を受けるようになった。研究者らは、衣類の現実的なモデリング及び/又はアニメーションに大きな労力を注いでいる。彼らの労力の結果、コンピュータでアニメーション化された衣類を、現実の俳優によって着用された衣類とシームレスに混ぜ合わせることができるようになった。現在、デザイナーが仮想的な衣服を対話式にデザインすることを支援するためのツールが利用可能であり、これは、例えば映画のための、非常に詳細事項の多い小規模製造に適している。しかしながら、仮想的な都市において多数の仮想的な人間に服を着せる必要がある場合のような、大規模の場合には、手動のアプローチはあまりにも退屈になる。コンピュータグラフィックスにおいて自動的に衣服一式を合成すること、すなわち、1組の衣料品及び人体モデルが与えられたとき、一般的なシナリオ又は特定のシナリオのための衣類の組み合わせを自動的に提案することについての研究は利用可能ではない。
人間のモデリングの分野において、人間のキャラクターは、仮想世界の作成に係る重要な態様である。現実的な人間のアニメーション及びレンダリングが関連する可能性がある一方で、大きなグループの人々を考慮するときに、人間の外観の多様性も関連する可能性がある。大部分について、既存の人間モデリングソフトウェアは実質的に手動の介入を必要とする。しかしながら、従来技術の研究は、何らかの自然な変動を示す群衆を作成するために、異なる身体部分のテクスチャ、色、及び幾何学的形状を自動的に修正することで、様々なキャラクターを大量に生成するアプローチを提案した。しかしながら、従来のアプローチの目的は、群衆の中の個人が適切に又は視覚的に満足な方法で服を着せられているかどうかに関する特定の関心事にはなく、群衆のリアリズムを全体として向上させることにある。この課題への高速で、高度に自動化されたアプローチが欠けていることは、人間のキャラクターのスタイルにおける変動を制限し、このことは特に、反復的な衣服パターンをもたらし、リアリズムを大幅に低下させる。
本発明は衣類マッチングシステム及び方法を提供する。
本発明の第1の特定の態様によれば、衣服一式の提案を生成するためのコンピュータで実行される方法が提供され、上記方法は、
複数の衣料品を表すワードローブデータを提供することと、
確率モデルを表す確率モデルデータを提供することとを含み、上記確率モデルは、1つ以上のパラメータの条件下で、上記複数の衣料品が互いにマッチする確率を含み、
上記1つ以上のパラメータのうちの少なくとも1つに関するユーザ入力を受信することと、
上記確率モデルデータ及び上記ユーザ入力に基づいて上記ワードローブデータから最適又は準最適な衣服一式の1つ以上の提案を生成する最適化を実行することと
を含む。
実施形態は請求項2〜23のうちの任意のものに従って実装されてもよい。
衣服一式の提案を生成するための方法の概要である。 典型的なドレスコードの例示画像を示す。 衣服一式の提案を生成するための代替方法の概要である。 ベイジアンネットワークと組み合わせた衣料品の分配を表すテーブルを示す。 ラベル付けられたファッション画像を用いてトレーニングされた、男性の例示的なベイジアンネットワークの一部を示す。 男性の完全なベイジアンネットワークを示す。 女性の完全なベイジアンネットワークを示す。 ベイジアンネットワークのトレーニングに使用される、対応するラベル付けられたデータの例示画像を示す。 女性のベイジアンネットワークによってサポートされた例示的な確率的クエリーを示すテーブルである。 四季の身体の色調に係る例示的な分類ガイドラインを示すテーブルである。 例示的なファッション画像及びその対応する5色パレットを示す。 特定の衣料品が固定されている場合に生成された結果を示す。 個々のコスト項を省略する影響から生成された結果を示す。 2つの異なる色パレットで生成された結果を示す。 衣服一式の複数のお勧めにより生成された結果を示す。 ビジネスのドレスコードのための、左側のランダムな初期構成から生成される衣服一式の提案を示し、調和した色を有する所望の衣料品の組み合わせに衣服一式が収束するまで反復的に更新される様子を示す。 複数のモデル、関連付けられた品目、及び5色パレットに係る衣服一式の合成結果を示す。 (a)〜(d)は衣服一式の考慮の有無に応じた、人物を含む仮想的シーンの拡大図を示す。 多数の人物を含み、「スポーツウェア」及び「カジュアル」のドレスコードで服を着せられた仮想的な海岸シーンを示す。 知覚研究の実験2の例示画像を示す。 実験1の認識率の結果を示す。 実験2のユーザの選好の結果を示す。 実験1の場合の偶然に対するt検定の結果を示す。 実験2を示す。 衣服一式の提案を生成するためのシステムのブロック図である。
ここで、本願の例示的で非限定的な実施形態が、添付の図面を参照して説明される。
図1は、衣服一式の少なくとも1つの提案を生成するための入力として、機能的基準(例えば特定の髪の色、目の色、及び皮膚の色を有する身体)と、視覚的基準(例えば指定された色を有する衣料品)とを用いて、衣服一式の提案を生成するためのシステム及び方法を示す実施形態を示す。ユーザは機能的基準、視覚的基準を入力し、また、提供された複数の衣料品の集合に基づいて、システムはユーザへの衣服一式の提案を生成する。実施形態は、オンラインショッピングもしくはブティックのウェブサイトにおいて、又は、個人使用のためのスタイリングガイドとしてのスマートフォンのモバイルのアプリケーションもしくはデスクトップアプリケーションにおいて、又は、ゲーム/仮想世界のアプリケーションのためのキャラクターをモデリングエンジンの一部として、利用されてもよい。
衣類における色
最近、あるシーンにおいて複数の色を組み合わせて、それを例えば「調和的」又は「穏やか」に見せるための技術が、興味を集めるいようになっている。色のコーディネーションは、衣服マッチングにおける中核的な考慮事項である。ファッション及びメークアップの専門家は通常、色コーディネーションを人物特有のもの、すなわち、人物固有の色調、特に、皮膚、目、及び髪の色に多くの場合に依存するものとみなす。基礎的なアプローチは、まず、「暖色」又は「寒色」の色パレットに適したものとして個人を分類することであり、彼らはそこから彼らの衣服の色を選択するべきである。決定的な分類ルールは存在しないので、通常は主観的な評価が行われ、また、一般的なテストは、個人が最も良く見えるのは金のアクセサリーを着用したときか、それとも銀のアクセサリーを着用したときかを、観察者に評価させることである。例えば、季節による、又は、「明るい/深い/クリアな/柔らかい」による、より微妙かつ抽象的な分類の他の変形が存在する。しかしながら、基本原理はなお同じであり、分類結果に基づいて衣料品の色パレットを提案する。
衣料品及び人体の様々な組み合わせを選好する特定のドレスコードが与えられたとき、実施形態は、機能的基準及び視覚的基準の両方を実現するために、人体及び提案された品目の間の色適合性を最適化してもよい。世界の大部分において日常生活の主な機能をカバーする最も一般的なドレスコードのうちの4つ、「スポーツウェア」、「カジュアル」、「ビジネス・カジュアル」、及び「ビジネス」がカバーされる。好ましい実施形態において、これらのドレスコードは、ベイジアンネットワークを介して確率的フレームワーク内に符号化される。ベイジアンネットワークは現実の画像データでトレーニングされ、それは、任意の特定の衣料品の組み合わせを、任意の特定のドレスコード下の観察された確率分布と関連付ける。同様の方法で、追加のドレスコード及び他のマッチング基準がトレーニングされて包含されることが可能である。ファッション産業での一般的慣例であるように、人間である対象者の色タイプは、彼又は彼女の皮膚、髪、及び目の色に基づいて、「暖色」又は「寒色」に分類可能である。これは、人々の画像のデータベースで予めトレーニングされた分類器によって自動的に達成される。ユーザの色タイプを割り当てた後に、本システム及び方法は、対象者のための好ましい色パレットを提案し、この色パレットは、提案された色パレットに従う色適合性基準を満たしながらドレスコードによってガイドされた衣料品を自動的に探索する最適化の実行中に、柔らかい拘束条件として作用するであろう。
ドレスコード
ドレスコードは、何の設定内容において何の衣服が同時に着用されてもよいかを管理する1組のルールである。一般的には、そのようなルールは、通常は時と場合に依存して人々の同意を受ける。最近の一般的なドレスコードは、「スポーツウェア」、「カジュアル」、「ビジネス・カジュアル」、「ビジネス」、及び「フォーマル」を含む。図3は、これらのドレスコードの典型的な例示画像を示す。前述のドレスコードのうちの一部は、品目の色に対する制約も有する。例えば、カジュアル又はスポーツウェアにはあまり制約がない一方で、ビジネスの衣類はより暗くなる傾向がある。パターン、織物の重量、及びテクスチャもまたドレスコードに関連する。ドレスコードは、衣類の機能を管理する上で重要である。しかしながら、ドレスコードの主な目的は、様々な衣料品の組み合わせを介してメッセージを伝えることである。例えば、仕事上の面談のためのネクタイなしで服を着ることは、フォーマルさに欠け、よりリラックスした印象を伝え、その一方、スーツ、正装用シャツ、及びネクタイを身につけて海岸へ行くことは、異常なシーンを作るであろう。厳密な定義なしで、一部のドレスコードの知覚は、曖昧かつ個人的なものになる可能性がある。例えば、一部のビジネス・カジュアルの衣服一式は、ビジネスとみなされることも、又はカジュアルとみなされることもある。
データ駆動式のアプローチ
図2は、衣服一式の提案を生成する方法に係る実施形態の概要を示す。その入力は、人体モデル、身体の色属性、入力されたドレスコード、及び予め定義されたワードローブを含む。人体モデルは、OBJのような標準的な3Dファイル形式で入力されてもよい。また、入力データは、Smith Micro SoftwareのPoser(poser.smithmicro.com)、又はBlender(www.blender.org)のような3Dレンダリングソフトウェアによって生成された、予め生成されたモデルを含んでもよい。代替として、人体モデルは、例えば、ManCTL(skanect.manctl.com)のSkanectのような適切な再構成ソフトウェアとともに、特定目的のカラー3Dスキャン装置を用いて、又は、Microsoft CorporationのKinectもしくはASUSTeK Computer Inc.のXtionのようなモーション検出装置を用いて、ユーザのカラー3Dスキャンによって生成されてもよい。
本方法は、ドレスコード、提案された色パレット、及び色適合性によって定義されたコスト項に従って、最適化された衣服一式の1つ以上の提案を生成する。本方法は、色の好みのようなユーザのスタイルの変化、又は特定の衣料品の仕様にも応答することができる。
最適化処理の前に、2つの前処理ステップ、すなわち、衣類関係を符号化するステップ、及び対象者の身体の色調を分類するステップが存在する。異なる衣料品の間で適合性コストを定義できるように、それら異なる衣料品の間の関係が定量化されなければならない。例えば、選択されたドレスコード及び既に選択されたいくつかの衣料品に基づいて、何が着用されるべきであり、何が着用されるべきでないのかについての関係が定量化されなければならない。議論するように、ドレスコードは様々なファクタを含み、経時的に変化する可能性がある。例えば、正装用ズボンが着用されている場合、正装用シャツは通常は正装用靴とともに着用されるが、ジーンズが着用されている場合、より大きな柔軟性が存在する可能性がある。
多様な衣服一式を生成する便宜的な方法は、衣料品を組み合わせる予め定義された複数のルールのうちからランダムに選択することである。しかしながら、合成品質にとって重要である、ルールを定義する方法についての質問は、主観的なバイアスの影響を受けやすい。可能なすべての組み合わせを考慮することは困難であり、また、衣料品のタイプが増えるとき、ルールを保持することはすぐに手に負えなくなる。可能な衣服一式の小さな部分集合に制限することは、不格好な合成物を回避する可能性があるが、それは、限られた多様性及びありふれた人工物をもたらし、例えば、仮想的シーンにおいて顕著な「繰り返された」キャラクターをもたらすであろう。条件付きクエリーのサポートが欠けていることで、実際的なシナリオ(例えばショッピングウェブサイト)においてそのようなアプローチを使用することも禁止された。
様々な関係を符号化して衣料品間の適合性コストを定義する1つの可能性は、観測データに基づいた、データ駆動式のアプローチを採用することである。最近になって、データ駆動式のアプローチは、抽象的な意味論的関係をともなう問題において、例えば、建築設計、家具レイアウト、アセンブリに基づいく3Dモデリング、及び色適合性アプリケーションにおいて成功をおさめることが立証された。分別のある方法で、かつ現実世界の観察結果に適合する自然な多様性で、複数の異なる衣料品を合わせることが目的であるので、現実世界のデータによってトレーニングされた確率的機械学習フレームワークは、特定の衣服の組み合わせの確率が高くなるほど、そのマッチングコストがより低くなるように、マッチングコストを符号化するのに適している。
複数の異なる衣料品の間の確率的関係を確立するときに重要な問題は、それらの条件付きの依存関係に関する。例えば、ジーンズ・サンダルの組み合わせと正装用シャツ・ジーンズの組み合わせとがデータ中で頻繁に発生することは、非常に低い確率を有するべきである、正装用シャツ・ジーンズ・サンダルの組み合わせスタイルが生成されている状態をもたらす可能性がある。従って、衣料品と、他の品目との間の任意の組み合わせとの観察された確率を単に符号化することは、誤りをもたらす傾向がある。
確率的グラフィカルモデル、特にベイジアンネットワークは、衣料品の条件付きの依存関係と矛盾しない複数の異なる衣料品の間の暗黙の関係を学習するためのエレガントかつ効率的な選択肢である。トレーニングしたベイジアンネットワークは、衣類の組み合わせの空間において確率分布を有効に符号化する。ベイジアンネットワークの重要な特徴は、衣服マッチングに頻繁に必要とされる条件付きのクエリーをサポートするその能力にある。衣類の組み合わせの任意の部分集合の値は固定されてもよく、残りの衣服の確率を計算することができる。例えば、「ビジネス・カジュアル」のドレスコードが与えられたとき、上半身にTシャツ及びブレザーを着るという拘束条件を与え、トレーニングした分布に従って、下半身にジーンズを着る確率を尋ねてもよい。これは、異なるユーザに特有の条件又はシナリオの下で衣料品を勧めるための、より良好な柔軟性を可能にする。
衣類関係のためのベイジアンネットワーク
実施形態において、男性及び女性の服の別個のベイジアンネットワークはトレーニングされ、色は処理から除外された。現行システムにおいて、4つのドレスコード、すなわち、「スポーツウェア」、「カジュアル」、「ビジネス・カジュアル」、及び「ビジネス」が含まれていた。図4(a)及び図4(b)は、男性のベイジアンネットワークの一部を示す。女性のネットワークは類似しているが、ノード状態のうちの一部において異なり、例えば、ノード「胸部1」において状態「ドレス」を有する。
図5は、男性の完全なベイジアンネットワークを示す。図6は、女性の完全なベイジアンネットワークを示す。ベイジアンネットワークの複数のノードは、衣料品を着用することができる異なる身体領域に対応し、各ノード状態は、着用されている衣料品のタイプを表す。例えば、「ノード」足は、状態「正装用靴」、「スリッパ」、「ブーツ」などを有する。ドレスコードのノードを除いて、各ノードは状態「なし」をさらに有し、これは、ノードに衣料品を着用しないときに使用され、例えば、靴が着用されないときには「足=なし」になる。状態の選択肢を特定の領域のニーズに適合させるように容易に修正することができるが、一般的な場合としては、「H&M」及び「eBay」のようなブティックウェブサイトにおける一般的な分類が続く。
重ね着を行うより複雑な状況を扱うために、身体の領域を、複数の衣類層に対応する複数のノードによって表すことができる。例えば、「胸部」はノード「胸部1」、「胸部2」、及び「胸部3」を有し、「胸部1」は最も内側の層(例えばTシャツ)に対応し、「胸部2」は中間層(例えばベスト)に対応し、「胸部3」は外側層(例えばジャケット)に対応する。
記憶手段は、男性及び女性のための4つのドレスコードについて、グーグル画像検索からダウンロードされた複数の画像のデータベースを備える。そのようなグーグルの画像を得るために使用されたキーワードのうちの一部は、「男性用カジュアルウェア」、「男性用ビジネス・カジュアルウェア」、「男性用ビジネスウェア」、及び女性に係る同様のキーワードである。通常、妥当な量の入力トレーニングデータが必要である。ダウンロードされた画像のうちの一部が有用ではなく、画像がドレスコードに属するか否かを決定することが主観的な処理であるので、われわれは、ネットワークにおける各インスタンスの属性を手動でラベル付けるために、3人の服飾学校学生を雇った。彼らは、不適切な画像を無視するために彼らの判断を用いた。ベイジアンネットワークをトレーニングするために、男性及び女性のための合計約2000個のラベル付けられたデータセットが使用された。各画像にラベル付けするために約15〜20秒かかり、ラベル付け処理全体には4時間かかった。図6は、「ビジネス」及び「スポーツウェア」のトレーニング画像のいくつかの例を示す。同じドレスコードの下で品目の複数の組み合わせが生じる場合に多様性が生じる。
2つの衣類属性は、対応する2つの衣料品、例えばシャツ及びスーツジャケットが共存できる場合、2つの異なるノードに割り当てられるべきである。そうでなければ、例えばサンダル及び編上げ靴の場合、両方を同時に着用することができないので、それらは同じノードの下に置かれるべきである。複数の衣料品とそれらの条件付きの依存関係との関係が捕捉されるべきである。ラベル付けられたデータを用いて、男性及び女性に係るベイジアンネットワーク構造はそれぞれ、属性間の条件付きの相互情報量を最大化する木構造拡張ナイーブベイズ法(Tree Augmented Naive Bayes method)によって学習された。条件つき確率テーブルは、一部のトレーニングデータが部分的にのみラベル付けられている場合であっても確率を学習可能である期待値最大化アルゴリズムによってトレーニングされる。最尤推定のような他の方法が採用されてもよい。学習されたネットワークを用いて生成された結果は、考慮している4つのドレスコードに係るわれわれ人間の知覚要件を忠実に再現する。図8は、捕捉された確率に基づくいくつかの例示のクエリーを含むテーブルを示す。テーブルにおいて条件つき確率と呼んでいるものは、条件つき確率による簡単なクエリーを示す。同時条件付き確率(joint conditional probabilities)は、トレーニングデータから「ゲートル、ドレス」、「正装用シャツ、セーター」のような一般的なマッチングスタイルを有効に反映する、増大した同時条件付き確率を表す。条件付き同時確率(conditional joint probabilities)は、より複雑な組み合わせに係る条件付き同時確率を表す。ベイジアンネットワークの利点は、それらが即席の任意のクエリーをサポートするということにある。
身体色調分類器
衣料品の間の確率的関係を符号化した後に、次のステップでは、最適化処理に色ガイドを通知する。ファッション上の習慣によれば、まず、ある人物の身体の色調を分類し、次に、彼らの衣服に合わせるための適当な色パレットを提案する。色調分類のための多数の方法があり、例えば、主観的な評価テストのような方法、又は「ガイドライン」もしくは「ルール」による方法がある。しかしながら、図9(b)に示すように、分類「ガイドライン」は、非常に不明瞭で扱いにくく、恐らくは一般的なユーザによって解釈できない可能性がある。図9(b)のテーブルに、四季の身体の色調に係る例示的な分類ガイドラインを示す。分類結果を得るために、ユーザはまず、説明に従って彼又は彼女の身体属性を決定しなければならない。説明及び分類は、解釈するのに不明瞭になりえる。例えば、テーブル中の(a)及び(b)は異なる説明を有するが、同じものとして分類される。一方、(b)及び(c)は同様の説明を有するが、異なるものとして分類される。明らかに、身体の色属性及び色調の分類の間にユーザが従う一意的な一対一対応は存在しない。
この目的のために、人間の選好情報と矛盾しない目標人物の身体の色調を予測する、身体色調予測器手段又は分類器が使用される。これは2つの主な利点を持つ。第1に、ファッションで一般的に採用される主観的評価テストは、多数の人々から主観的評価を捕捉することにより、機械学習フレームワークへ統合される。第2に、分類器がトレーニングされた後、それはユーザエンドにおいて直観的になる。ユーザは、不明瞭な説明を解釈する代わりに、単に彼または彼女の身体の色を(例えば、彼または彼女の顔写真を何回かクリックすることによって)入力し、身体の色調の分類結果を自動的に得る。
トレーニングデータセットを得るために、男性及び女性の両方を含む1000個の顔画像を含むグーグル画像が、強い照明の影響を受けた画像を廃棄した後に取得された。各画像について、目、皮膚、及び髪の2つの場所(髪の色の変動を符号化するため)のRGB値が手動で抽出された。ファッション産業での習慣に従って、各画像は、1組の銀のアクセサリーと合わせられ、次に1組の金のアクセサリーと合わせられ、被験者は、「寒色」及び「暖色」の色調をそれぞれ示すそれらのうちのどちらを好むのかを選択するように頼まれる。1000個の顔映像を評価するために、20歳から60歳までの範囲の年齢を有する、20人の男性及び20人の女性を含む40人のボランティアの参加者が募集された。評価は、1つの画像当たり約5〜10秒かかった。トレーニングのために900のデータをランダムに選択し、テストのために100のデータをランダムに選択することによって、サポートベクトルマシン(SVM)分類器はトレーニングされ、クロス確認を行い、約77%の予測レートを達成した。特定の皮膚、髪、及び目の色を有する以前に見たことがない人体モデルが与えられたとき、トレーニングされた分類器は身体の色調を予測し、これにより、最適化において「寒色」及び「暖色」のいずれかの色パレットの使用を勧める。例えば、提案された各色パレットは、40個の色から構成されてもよい。皮膚、髪、及び目の色は、人体モデルの目視検査に基づいて手動で抽出されてもよいし、又は、当業者に既知の画像特徴抽出方法を用いて1つ以上の画像又は多角形メッシュから自動的に抽出されてもよい。
評価はその特性によって主観的かつ曖昧であるが、概して、褐色/赤みがかった髪及び褐色/緑がかった目を有する人々は通常は「暖色」に分類され、一方、明るい色の髪及び暗い/青みがかった目を有する人々は「寒色」に分類されることがわかった。
色適合性予測器
図9(a)は、「Wear Palettes」及び「COLOURLovers」のようなファッションウェブサイトから抽出された例示画像を示す。これらは、通常、色マッチングのアイデアをサポートする代表的な5色パレットが伴っている。この実施と同様に、最適化の各反復において、最適化器は、衣服一式から代表的な5色パレットを抽出し、ユーザによって評価された多数の色パレットによってトレーニングされた回帰モデルに基づいて、パレットの色適合性を評価する。トレーニングされた回帰モデルは、入力として5色パレットを取得し、ユーザの好みによる評価値を予測することができる。5色より少数又は多数がパレットにおいて使用されてもよいが、5色パレットは、それがファッション産業で使用されるパレット定義の慣行を模倣したものであり、それによって、トレーニングデータをより容易に生成することを可能にするので、非常に有利である。
衣服一式の最適化
衣服一式の生成フェーズの最適化又は生成を行う際に、実施形態は、上述のセクションで述べた、トレーニングされたベイジアンネットワーク、身体色調分類器、及び色適合性予測器を使用する。人間のモデル、衣料品のワードローブ、及びドレスコードが入力として与えられたとき、実施形態は、色パレットによってガイドされて互いに適合するように好ましく調節された色をそれぞれ有する、複数の衣服一式を提案する。
目的を達成するために、組み合わせ最適化問題が解かれる。すべての衣料品を含む集合であるワードローブをWで示すとき、システムの状態はWの部分集合になり、これは、衣服一式φ={θ|i=1,…,T}と呼ばれる。ここで、各θ=(c,n,s)は、好ましくは、選択された衣料品を表す5値の組である。項c=(r,g,b)は衣料品のRGB値を含み、それらは0から255に量子化される。nはこの衣料品が属するベイジアンネットワークのノードである。sは対応するノード状態である。例えば、n=「足」及びs=「正装用靴」は、衣料品θを選択することが、ベイジアンネットワークのノード「足」を状態「正装用靴」に設定することに対応することを意味する。
実施形態において、選択された衣料品の合計個数Tは可変な変数である。したがって、入力空間の次元は変数である。目的は、次のセクションに述べる目的関数を最小化する衣服一式を得ることにある。
目的関数
ここで、全体的な目的関数を構成するコスト項について説明する。
スタイルコスト:
異なる衣料品間のマッチングコストを取得するために、各反復において、ベイジアンネットワークのすべてのノード状態を決定しなければならない。ネットワークが、x,…,xによって示されたN個のノード(ルートノード「ドレスコード」を除く)を有すると仮定する。衣服一式φが与えられたとき、すべてのノードxは、次式によって状態S(x)にインスタンス化される。
Figure 2016502713
スタイルコスト項は2つの要素
Figure 2016502713
及び
Figure 2016502713
を有する。「ドレスコード」=d∈{カジュアル;スポーツウェア;ビジネス・カジュアル;ビジネス}が与えられたとき、
Figure 2016502713
は、各衣料品の条件付き確率を符号化する。それは、ドレスコードdに適合しない衣料品の選択にペナルティを与えることで、最適化器をガイドする。一方、
Figure 2016502713
は、衣料品の組み合わせの条件付き同時確率を定義する。
Figure 2016502713
Figure 2016502713
これらのコストを評価するために、実施形態は、(2)及び(3)の条件付き確率及び条件付き同時確率を提供するために、ベイジアンネットワーク上でクエリーを発行する。
Figure 2016502713
の有効性を示すために、ドレスコードが「ビジネス」であり、初期化された衣服一式が「シャツ、ジーンズ、スリッパ」であり、別の衣服一式「シャツ、正装用ズボン、スリッパ」がサンプリングされる、ということを仮定する。
Figure 2016502713
は両方の衣服一式をありそうもないと評価するが、
Figure 2016502713
は後者に有利になり、従って、合成物を「ビジネス」の衣服一式に向かって効果的にガイドする。ユーザが1つ又は複数のノード状態を固定した場合、固定されたノード状態は、与えられた状態になる。図10は、特定の品目が固定されている場合の結果を示す。図において、固定の黒色セーターが(a)から(c)において固定され、固定のオレンジの靴が(d)から(f)において固定され、色評価値を下部に示す。
色評価コスト
ファッション画像の慣行と同様に、以下の発見的方法に基づいて、T個の選択された衣料品を含む衣類の組み合わせを表すために、5色パレットが使用されてもよい。
1. 各衣料品は、その最大の表面積の色によって表される。
2. 5色を選択する。
T=5である場合、すべての衣料品から色を選択する。
T>5である場合、それらの表面積によって衣料品をソートする。最大の表面積を有する5つの衣料品から色を選択する。
T<5である場合、それらの表面積によって衣料品をソートする。最大の表面積を有する(5−T)個の衣料品の色を複製する。(5−T)個の複製された色及びT個の衣料品の色を選択する。
3. 選択された5色を、身体におけるそれらの物理位置により上から下までソートする。
実際には、衣服一式は少なくとも2つの衣料品を含み、すなわちT>=2になる。これらの順序付けられた5つの色をλ,…,λとして表すことで、これは衣服一式φを表す5色パレットになる。色適合性コストは次式になる。
Figure 2016502713
(4)において、R∈[1,5]は回帰モデルであり、これは、より高い評価値がより高いユーザ選好を意味する、5色パレットのユーザ評価を予測する。(4)のコストは適宜に正規化される。
色パレットコスト
衣料品の色が提案された色パレットに近い状態を維持するために、システムは、各衣料品の色cから提案された色パレットにおける各色cまでの距離を計算し、最短の距離がしきい値hより大きい場合、それにペナルティを与える。色パレットコスト項は次式によって定義される。
Figure 2016502713
ここで、Z=255は最大の量子化されたRGB値である。
合計のコスト関数は、上述のコスト項の重みづけられた総和である。
Figure 2016502713
w係数は、コスト項の間の相対的な重み付けを決定し、ある実施形態では、
Figure 2016502713
Figure 2016502713
Figure 2016502713
Figure 2016502713
が設定される。本発明者らは、この重み付け方式が、各ドレスコードの下で視覚的に妥当な衣服一式の合成結果を生成することを発見した。ある要件のより厳密に遵守させることが望まれる場合、代替の重み付け方式が使用されてもよく、例えば、厳密に色パレットに従ったことを確認しようとした場合、色パレットにより大きな重み付けを行ってもよい。図11は、スタイル及び色のコスト項を省略する影響を示す。左上画像は、ドレスコードなし、かつ色最適化なしの場合の影響を示す。右上画像は、固定のドレスコードを用い、色最適化なしの場合の影響を示す。左下画像は、ドレスコードなし、ただし色最適化ありの場合の影響を示す。右下画像は、色最適化を行う固定のドレスコードの影響を示す。図12は、異なる色パレットを使用することの効果を示す。
可逆ジャンプマルコフ連鎖モンテカルロ(Reversible Jump Markov Chain Monte Carlo)
最適化問題が組み合わせを含み、組み合わせ品目の個数は可変である(例えば、ジャケットが追加されても除去されてもよい)ので、閉じた形式の解を定義することは困難である。実際、現実世界におけるように、同じワードローブから、単一の大域的な最適解ではなく、複数の最適解(衣服一式)を得ることが望ましい。これは、可能な衣服一式の空間上に定義された密度関数をサンプリングすることにより候補解を生成することを動機づける。密度関数は、理想化された解析的な定式化を用いて定義される。サンプリングは、好ましくは、マルコフ連鎖モンテカルロサンプラを用いて行われる。図13は、服を着せられたモデル及び対応する衣料品とともに生成された、最適な衣服一式の複数の提案を示す。上の画像はドレスコード「スポーツウェア」のためのものであり、下の画像はドレスコード「ビジネス・カジュアル」のためのものである。勧められた画像は、左から右へ降順のマッチングコスト値で配置されている。
最適化問題に係る困難のうちの1つは、その次元が変化する可能性があるということであり、すなわち、衣料品の個数は、最適化処理の実行中に変更されてもよい。この複雑化に対処するために、可逆ジャンプMCMC(Reversible Jump MCMC:RJMCMC)フレームワークが採用され、これは、オリジナルのメトロポリス−ヘースティングズ(Metropolis-Hastings:MH)アルゴリズムの一般化とみなすことができる。RJMCMCは、MHのパラメータを変化させる拡散移動に、次元を変更するジャンプ移動の追加の集合を補うことで機能し、これにより、異なる次元の部分空間の間で連鎖が移動することを可能にする。RJMCMCは、手続き型モデリング及び画像セグメント化のような、他のグラフィックス及びビジョンの問題にうまく適用された。
アニーリング
解空間を効率的に探索するために、最適化処理においてシミュレーションされたアニーリング技術が適用される。ボルツマン的な目的関数が次式のように定義される。
Figure 2016502713
ここで、βは、アニーリング処理の温度に反比例する定数である。最適化の最初において、βは低い値に設定される。これは高温を設定することに等価であり、これにより、サンプラがより積極的に解空間を探索することが可能になる。その後、βは、最適化の過程にわたって次第に増大される。終了の近くになって、βは大きな値に到達する。これは0の近くの温度を設定することに等価であり、これにより、サンプラが解を改善することが可能になる。図14は反復的な最適化処理を示す。
提案された移動
異なる次元の部分空間にわたって、又は同じ部分空間内で可逆なジャンプを可能にするために、次元マッチング法が採用される。最適化の各反復において、移動m’∈{m,m,m,m}が確率pm’で選択される。移動と関連付けられるものは、移動特有の提案分布qm’( )であり、これは補助変数U’の関数である。移動m’が選択されたとき、補助変数U’のサンプルがqm’(U’)から取り出され、それは、決定論的関数phi’=h(phi,U’)によって、現在の衣服一式φを提案された新規な衣服一式φ’に修正する。φ=h(φ’,U)になるようにq(U)からUをサンプリングすることによって、φ’をφに戻す逆の移動mが計算される。その後、提案された衣服一式φ’は、次式の確率で受理される。
Figure 2016502713
ここで、|∂(φ’,U)/∂(φ,U’)|は、(φ,U’)から(φ’,U)への微分同相写像のヤコビ行列式である。φ’=h(φ,U’)=U’及びφ=h(φ’,U)=Uを定義すると、ヤコビ行列式は1になる。
RJMCMC定式化に基づいて、自然な方法に従って、以下のように、次元の変化を引き起こす、衣服一式に/から衣料品を追加/除去するジャンプ移動を定義し、また、次元の変化を伴わない、品目を交換するか又は品目の色を修正する拡散移動を定義する。
品目の追加(m):ワードローブWから利用可能な衣料品θをランダムに取り、それを衣服一式φに追加し、その結果、φ’=φ∪{θ}になる。
品目の除去(m):衣服一式φから選択された衣料品θをランダムに除去し、その結果、φ’=φ\{θ}になる。
品目の交換(m):衣服一式φから選択された衣料品θをランダムに取り、それを、ワードローブWからの利用可能な衣料品θと交換し、その結果、φ’=φ\{θ}∪{θ}になる。
品目の色の修正(m):衣服一式φから選択された衣料品θをランダムに取り、その色cを変化させる。従って、θは、θ’=(c+δc,n,s)により更新される。ここで、次式を用いる。
Figure 2016502713
ここで、N(μ,σ)は、平均μ及び分散σを有する、次式を満たすガウス分布である。
Figure 2016502713
変化の平均の大きさを決定する分散σ は、温度に比例する。
提案されたRJMCMC移動の受理確率は以下の通りである。
品目の追加(m):
Figure 2016502713
品目の除去(m):
Figure 2016502713
品目の交換(m):
Figure 2016502713
品目の色の修正(m):
Figure 2016502713
1つの実装において、事前分布は、p=p=p=p=0.25として、各移動に関して一様に設定される。他の実施形態では、例えば、最適化の速さを改善するために、あるいは最適値のまわりでより大きく変動させるために、例えば、色を変化させる移動により高い確率を割り当てるように、不均等な確率を有することが望ましい可能性がある。
アプリケーションの結果及び議論
最適化アプローチの有効性は、6つの異なる仮想的な人間モデル、3人の男性及び3人の女性に対してテストされた。図15は2人の男性及び2人の女性を示す。男性の場合、「Thor」は白い皮膚及び暗褐色の髪を有し、「Eddie」は黄色の皮膚及び黒色の髪を有し、「Jacen」は黒い皮膚及び黒い髪を有する。女性の場合、「Fiona」は白い皮膚及びブロンドの髪を有し、「Mag」は黄色の皮膚及び黒色の髪を有し、「Ce」は暗褐色の皮膚及び黒色の髪を有する。
すべてのモデルのための4つすべてのドレスコード「スポーツウェア」、「カジュアル」、「ビジネス・カジュアル」、及び「ビジネス」が合成された。男性モデル及び女性モデルの衣服一式は、男性及び女性について学習されたベイジアンネットワークを用いてそれぞれ最適化された。また、衣料品は、男性のワードローブ及び女性のワードローブへ分離される。各ワードローブは、ベイジアンネットワークにおける40個の状態のそれぞれについて約10個の衣料品を含み、したがって、合計で約400個の衣料品が存在する。各衣服一式の合成の最適化のために250回の反復が使用された。これは3.33GHzのIntel Xeon PC上で1つの合成当たり約1〜2秒かかる。
図15に、対応する選択された品目を有する最終的な最適化された衣服一式を示す。品目の横に、対応する5色のパレットも示す。Mag及びEddieは「寒色」に分類され、最適化の前に「寒色」の色パレットが彼らに割り当てられた。一方、Ce及びJacenは「暖色」に分類される。図3に、「寒色」及び「暖色」の色パレットを示す。すべての生成された結果で、色評価値は3.3を超える。ルートノードとしてのドレスコードは、合成物のスタイル、すなわち、どの衣料品を選択すべきであり、また、それらをどのように組み合わせるべきであるのかを決定する。例えば、Ceのための合成物を示す3行目において、「カジュアル」及び「ビジネス」のために同じセーターが選ばれている。しかしながら、セーターは、「カジュアル」では単独で着用される一方、「ビジネス」ではスーツジャケットともに着用される。ベイジアンネットワークが設計されたとき、胸部において複数の異なる品目の共存を可能にするために1つより多くのノードが定義された。複数の生成された結果はこの特性を反映し、これは変化物の作成にとって重要である。それは、ドレスコード「ビジネス」ではよりしばしば発生する。例えば、2行目のエディは、彼の上半身の衣服一式として、「ビジネス」のトレーニングデータ中で時々観察される組み合わせである、正装用シャツ、ベスト、及びスーツジャケットを着用している。
衣服一式の提案の最適化は、例えば以下のように、多数の潜在的なアプリケーションを有する。
衣服一式提案エンジン:
衣服一式の提案は、ブティックウェブサイト又は試着室においてで買物客を容易に支援することができ、この場合、衣料品は店において利用可能なものである。あるいは、それは、個人の衣服一式アドバイザとして使用可能であり、この場は、衣料品はユーザのワードローブにおいて利用可能なものである。効率的で任意の確率的クエリーをサポートしたことにより、衣服マッチング処理中で一般的に遭遇するシナリオを扱うことができる。例えば、条件付きクエリーは、1つ又は複数の衣料品を固定し、複数のマッチング提案を求めることを可能にする。図10は、固定されている特有の衣料品を有する結果の2つの例を示す。好ましい色パレットを変更することもでき、その後、最適化器は、図12に示すように、適宜に提案を更新する。個人の衣服一式アドバイザとして、ドレスコードが与えられたとき、それは、ユーザのワードローブから多数の適正な衣服一式を自動的に提案し、それを完全に利用することができる。図13を参照すると、2つの例がある。
1つの実装において、eBayのようなオンラインショッピングシステムのサーバ構成要素は、オンラインショッピングシステム内の1つ以上の仮想的な店において利用可能なすべての衣料品及びアクセサリーに関連したワードローブデータを格納しているデータベースと通信する。データベースはさらにユーザーアカウント情報を格納する。上述した方法を行うように構成された衣服一式提案構成要素は、サーバ構成要素及びデータベースと通信している。サーバ構成要素は、ユーザの身体の色、ドレスコード、又はユーザによって所有されている特定の衣料品(これらはワードローブデータに既に含まれていても、含まれていなくてもよい)など、1つ以上の入力パラメータに関するユーザ入力データを、クライアント構成要素から受信する。
サーバ構成要素は、ユーザ入力データを衣服一式提案構成要素に送信し、それは、上述した最適化方法に基づいて衣服一式の1つ以上の提案を生成する。その後、サーバ構成要素は、1つ又は複数の衣服一式提案を受信し、それらをクライアント構成要素に伝達する。
クライアント構成要素は、例えば、入力パラメータに関するテキスト入力によって、又はユーザの画像のアップロードによって、ユーザ入力データを受理するためのユーザインターフェース構成要素を含んでもよい。画像は、身体の様々な部分をクリックすることでユーザがパラメータを定義できるようにするクリックインターフェースの一部として表示されてもよく、又は、自動的に画像をセグメント化して当該技術で既知の方法により関連する身体部分情報を抽出するための画像解析構成要素に送られてもよい。
いくつかの実施形態において、アカウント情報の一部として保持されたユーザの購入履歴は、衣服一式提案構成要素に関連付けたベイジアンネットワーク構成要素のためのトレーニングデータとして使用されてもよい。例えば、ユーザが以前に同じ購入でスポーツシューズ及びベストを購入していれば、ベイジアンネットワーク構成要素は、スポーツ靴及びベストが両方ともスポーツウェアの衣服一式に属するべきであることを認識してもよい。
仮想的キャラクターモデリング:
われわれのアプローチは、大規模な仮想世界において人間に類似したキャラクターに服を着せる場合にも有用である。この場合には、デザイナーは、ドレスコードを特定し、完全に自動化された方法で、各キャラクターのための調和した衣類の組み合わせをコンピュータに合成させることができる。従って、別の実では、衣服一式提案構成要素は、ゲーミングアプリケーションにおけるキャラクターモデリングエンジンの一部を形成してもよく、あるいはそれに関連付けられてもよい。ゲーミングアプリケーションは、一般に、仮想的キャラクターに対する自動的な衣服メッシング(clothes meshing)をサポートするが(例示は、Playstation home、XBOX 360アバター、the Sims、Second Lifeなどを含む)、利用可能な大量の衣料品から多数の可能な衣服一式について推論することのサポートを欠く。プレイヤー体験は、実施形態に係る衣服一式提案構成要素と対話的に動作するキャラクターモデリングエンジンを有することで、著しく向上させることができる。キャラクターモデリングエンジンは、仮想的キャラクターのドレスコード及び身体の着色のような入力データを生成してもよい。入力データは、プレイヤーへの提示のため、上述した内容に従って衣服一式の少なくとも1つ、好ましくは複数の最適又は準最適な提案を生成するために衣服一式提案構成要素にわたされてもよい。
図16は、衣服一式を考慮した場合及び考慮しなかった場合の仮想的シーンを示す。図16の(a)は、ランダムに生成されている衣服一式の図である。図16の(b)及び(c)は、ドレスコード「ビジネス」の下で実施形態に従って生成された衣服一式の図である。図16(d)は、ドレスコードを「スポーツウェア」に変化させた後に再生成された衣服一式の図を示す。不自然な外観は、明らかに、適切なドレスコードの欠如をもたらす。従って、キャラクターが適切に服を着ていない場合、例えば、ジムにおいてスーツジャケットを着ていたり、もしくはドレスを着ていたりする場合、あるいはオフィスにおいてスポーツウェアを着ている場合、シーンが不自然な外観を有することを容易に見てとれる。図17は、「スポーツウェア」及び「カジュアル」のドレスコードで実施形態に従って自動的に服を着せた約100人の仮想的キャラクターを含む海岸シーンを示す。最適化を行うと、シーンに適した多様性をもたらすように複数の方法で適切に複数のキャラクターに服を着せることができる。
別のアプリケーションでは、実施形態に係る衣服一式提案方法は、Marvelous Designerのようなファッションデザインソフトウェアの一部として、又はそれと関連して使用されてもよい。特定の衣料品のデザイン処理中に、ファッションデザインソフトウェアは、現在のデザインを、本方法を実現する衣服一式提案構成要素にわたしてもよい。次いで、衣服一式提案構成要素は、すべての衣料品の色がよい色マッチを与えるように衣服一式提案構成要素によって自動的に最適化された状態で、よい衣服一式を作るための提案された関連する衣料品を(ファッションデザインソフトウェアのユーザインターフェースに表示するために)生成する。
現在一般的な4つのドレスコードに基づいて本アプローチが実証されたが、テーマに合う特定の衣類スタイルに対処する柔軟性がある。興味深い例示は、中世のファンタジーを特色とする大規模多人数参加型オンラインゲームに関するものであり、この場合には、ノード状態は中世の衣服と置き換えることができ、「武器」のような特有のノードが追加されてもよい。この場合、トレーニング例は、プレイヤーが作成したゲームキャラクターから直接的に集められてもよい。また、キャラクターモデリングエンジンにおける衣服一式の提案は、新規のプレイヤーによって使用可能であり、又は非プレイヤーキャラクターの自動的かつ現実的な合成及び服の着用のために使用可能である。
知覚研究
機能的及び視覚的な外観を評価するために知覚研究が行われた。衣服一式の比較は本質的に主観的であるので、1つの可能な方法は、人間のファッションデザイナーによって生成された比較可能な結果に対して合成結果を評価することである。しかしながら、大きな差がある場合にメトリックを評価してペア毎の比較を行うことは非常に困難であり、それらは意味のある結論をもたらさない可能性がある。例えば、特定の対象者は、何らかの程度の特定のスカートが好きであり、このスカートを着ている女性に対して好意のバイアスを抱いている可能性がある。したがって、視覚的に妥当又は満足な衣服一式が、所定のドレスコードの下で合成されてもよい。衣料品は選択されたドレスコードを実施するものであってもよく、それらの色はうまく調和されていてもよい。次の2つの条件が2つの実験によって検証された。第1の条件は、うまく生成された衣服一式の推薦がドレスコードを反映していることを証明し、従って、ベイジアンネットワークトレーニングを検証する分類実験である。第2の条件は、ドレスコードを組み込んだことが、それなしの場合に得られた衣服一式の合成結果に対して利益をもたらすことを検証する区別実験である。
実験は、主観的な、5つの選択肢/2つの選択肢を含む、強制的な選択選好アプローチを用いて行なわれた。実験1において、帰無仮説Hは、ユーザが各カテゴリに係る合成物のドレスコードを認識できない、すなわち、認識率が偶然のレベルにあるということであった。実験2において、帰無仮説Hは、ドレスコードを考慮した場合及び考慮しなかった場合にユーザが複数の合成物間での選好を示さない、ということであった。
参加者:
知覚研究の目的に気づいていない32人のボランティアの参加者が募集された。参加者は16人の男性及び16人の女性を含み、彼らの年齢は20歳から60歳までの範囲を有していた。すべての対象者は、色盲なしの正常な視力あるいは正常に矯正した視力を 報告し、彼らが研究でテストされるドレスコードに精通していると報告した。29人の対象者が、彼らがファッションデザインの専門知識を持っていないと報告した。
データ:
両方のジェンダーをカバーするために、4つの仮想的モデルが取りあげられた。Thor及びJacenは男性であり、Fiona及びMagは女性である。各仮想的モデルについて、20個の衣服一式(1つのドレスコード当たり5個)が完全な目的関数を用いて合成され、スタイルコスト項を欠く目的関数を用いて20個の衣服一式が合成された。図15は、例示のマッチング結果を、ユーザ研究で使用されるそれらの関連付けられた品目とともに示す。ペア毎の比較のために、図18に、実験2の例示画像である例示を示す。左側では、衣服一式は対応するドレスコードを用いて合成された。右側では、衣服一式はドレスコードを考慮することなく合成された。1つのドレスコード当たりの複数の衣服一式を含むように、比較における多様性を作成することができる。
手順:
本研究は2つの実験で行なわれた。参加者は、研究前に任意の質問もするように奨励された。同意書及び質問書を書き終えた後に、彼らには、タスク記述を詳述するシートが与えられた。
実験1(分類):
主な目的は、生成された結果が、対応するドレスコードを忠実に反映しているか否かをテストし、従って、ベイジアンネットワークの符号化を検証することであった。これを達成するために、対象者は、合成された衣類組み合わせが、符号化されたドレスコードのうちのいずれかに該当するか否かについて尋ねられた。
「この実験は、服を着せられたモデルの画像からドレスコードを選択することを含む。80個の画像がある。各評価でのあなたのタスクは、画像中に示される衣服一式を最もよく説明しているとあなたが感じる、次のドレスコードのうちの1つを選択することである:スポーツウェア、カジュアル、ビジネス・カジュアル、ビジネス、画像が前の4つのうちのどれもも合わない場合には、その他。あなたは、テスト画像を無制限の時間長にわたって見ることができるが、われわれは、あなたが選択する前に、あなたが各画像に対して約15秒の時間をかけることを提案する。」
実験2(区別):
主な目的は、スタイルコスト項を組み込むことが、ドレスコードを考慮することなく合成された衣服一式に比較して、衣服一式の機能における有意な選好を実際に示すかについて、評価することであった。
「この実験は、1ペアの画像から服を着せられたモデルを選択することを含み、合計で160ペアが存在する。あなたには、画像が並べて示され、各評価間でグレー画像が表示されるであろう。各評価でのあなたのタスクは、モデルをそれらの衣服一式に基づいて選択することであり、ここで、衣服一式は、画像ペアの上部に示す特定の場合、すなわち、カジュアル、スポーツウェア、ビジネス・カジュアル、又はビジネスにおいて、あなたが着用することを好むであろうものである。あなたは、テストペアを無制限の時間長にわたって見ることができるが、われわれは、あなたが選択する前に、あなたが各ペアに対して約15秒の時間をかけることを提案する。」
各参加者は、合計で160回の試行(4つのモデル×4つのドレスコード×5つのペア×2つの試行)を見た。各ペアは、完全な目的の結果と、スタイルコスト項を考慮せずに合成されたものからランダムに選択された結果とを含む。複数のペアは、異なるランダムな順で各参加者に提示された。いかなる順序のバイアスも回避するためにつり合わせが使用され、各ペアの比較は、各参加者によって2度ずつ評価された。完全な目的の結果は、試行の半分で左側に表示され、残り半分で右側に表示された。
結果及び分析:
図19(a)は、実験1の正しい認識率を示し、テストされたドレスコードに対する知覚されたドレスコードを示す。「A/A」は、すべての合成物を知覚するすべての参加者を表す。「M/F」は、女性の合成物を知覚する男性の参加者を表す。「M/F」、「F/M」、及び「F/F」も同様である。すべての認識率は、偶然のレベルを有意に越えている。合成物のジェンダーに対する参加者のジェンダーの結果が示されている。全体として、正しい認識率は次のとおりである:カジュアル(83.125%)、スポーツウェア(66.875%)、ビジネス・カジュアル(67.969%)、ビジネス(76.25%)。
図19(a)はさらに、いくつかの興味深い観察結果を示す。すべての正しい認識率が偶然を有意に越えていたが、「スポーツウェア」及び「ビジネス・カジュアル「はより低い認識率を有している。「スポーツウェア」の所定部分は「カジュアル」として知覚され、一方、「ビジネス・カジュアル」の所定部分が「ビジネス」及び「カジュアル」とそれぞれ知覚された。これは恐らくは、実際には、異なるドレスコードの知覚が曖昧である可能性があり、重複してもよいからである。例えば、一部の人々は、「スポーツウェア」の部分集合及び「ビジネス・カジュアル」の部分集合をさらに「カジュアル」に属するとみなしてもよく、これは、結果としてより頻繁に選択され、より高い認識率を受ける傾向がある。これは、また、「ビジネス・カジュアル」として知覚された小部分を有する「ビジネス」の認識率を説明し、これは、ともに合計されれば、両方のジェンダーでに90%を越えるレートをもたらすはずである。
ジェンダーによる相違に関して、男性の「ビジネス」は女性の「ビジネス」よりも明確である傾向があり、男性の「ビジネス」の合成物ではわずかに高い正しい認識率を有し、「ビジネス」と知覚されている男性の「ビジネス・カジュアル」の合成物は少ない、ということを注意する。これに反して、男性の「カジュアル」は、「スポーツウェア」とより大きく知覚的に重複する傾向がある。「カジュアル」のプロットは、男性の「カジュアル」の所定部分が「スポーツウェア」と知覚されているが、これは女性の「カジュアル」の場合にはまれである、ということを示す。最後に、男性及び女性の参加者が分類で同様の応答の傾向を与える傾向があるということに注意する。
図19(b)は、合成された衣服一式及びランダムな合成物を選択するレートを比較することで、実験2の結果を示す。すべての場合に、合成物はランダムな合成物よりずっと好ましい。ドレスコード「カジュアル」における認識率が比較的より低いことは、そのあまり限定的でない特性に起因して驚くべきことではでない、ということに注意する。結果が有意であると確認するために、両方の実験でt検定が偶然の場合に対して行われた。図19は、実験1(左側)及び実験2(右側にlog(p値)として示す)についての、偶然の場合に対するt検定の結果を示す。使用される表記法は図19(a)のものと同じである。A/Aのテストはd.f.=31を有する。他のテストはd.f.=15を有する。すべてのテストはlog(p値)<−5を有し、これはp値<0.00001に等価である。すべての場合に、われわれは、非常に小さい0.00001未満のp値を有する。従って、我々は、両方の実験で帰無仮説Hを棄却する。実験1については、これは、対象者が合成物のドレスコードを、4つの符号化されたドレスコードのうちの1つとして正しく認識することができる、と結論する。実験2については、これは、ドレスコードの考慮事項を含む合成物を対象者が好む、と結論する。
衣服一式の合成のための方法及びシステムがもたらされ、これは、毎日の生活及びコンピュータグラフィックスの両方において非常に実際的なトピックである。本アプローチは、現実世界の状況に類似した方法で衣服一式を最適化する。身体色調分類器は、扱いにくく不明瞭な手動の分類を回避して、ファッションの慣習で分類の前段処理を自動化する。ユーザの観点からは、本方法は、実際の使用において高度に直観的である。一方では、品目色が固定され、最適化中に追加、除去、又は交換の移動のみが許可される場合、固定のワードローブのシナリオが模倣され、最適化器は、利用可能な衣料品から衣服一式を合成するときにスタイル及び色を同時に考慮する。一方でが、所定の衣料品色の取り換えが許可される場合、これは新規な衣服を買うことに類似し、これは、現実的な衣服の多様性を示すキャラクターを仮想世界に配置するために特に有用である。
現在、4つの異なるドレスコードが組み込まれているが、その十分な柔軟性によれば、季節、テクスチャパターン、衣類形状、年齢、身体のプロポーションのような追加の基準に適合することが可能であり、又は、トレーニング中に衣服一式を複数のドレスコードと関連付けることさえ可能である。例えば、衣服一式が複数のドレスコードに属する一連のトレーニング例が、各ドレスコードについて別個のベイジアンネットワークをトレーニングするために使用されてもよい。追加の基準を組み込むために、各衣料品のための追加の記述子が使用されてもよい。例えば、Tシャツは、「ヒップホップTシャツ」、「ロックTシャツ」、又は「パンクTシャツ」としてより具体的に定義されてもよく、トレーニングデータに注釈するとき、Tシャツの「ヒップホップ性」、「ロック性」、又は「パンク性」は指定されてもよい。簡単化のため、各衣料品は、その支配的な色によって表されると仮定される。例えば、無地のシャツの場合に1色及び格子縞模様のシャツの場合に2色など、任意個数の色各衣料品を表す場合のように、より複雑な表現は、次元の個数を柔軟に変えることを可能にするわれわれのRJMCMC定式化によって容易に扱うことができる。一方、色パレットの提案はファッションの文献から動機づけられ、例えば、祭りの場合によりカラフルなパレットを用いたり、色パレットを、ファッション専門家によって特定クライアントのために注文で作られたものと交換したり、大規模な商業的データセットによってトレーニングしたりすることで、ユーザ自身の選みにより変化させることはユーザにとって簡単である。見かけ上では抽象的なファッションマッチング問題は、スタイル及び色が同時に考慮される組み合わせ最適化課題として定式化されてもよい。
概して、本明細書で説明した方法はデータ処理システムで具体化されてもよく、これは、例えばユーザのワードローブから、複数の衣料品の画像自動的に捕捉して処理するために、及び/又は、ユーザの画像を捕捉して処理するための構成要素を含んでもよく、又は含まなくてもよい。例示として、1つの実施形態において、データ処理システムは、図21に示すように、32ビット又は64ビットのインテルアーキテクチャのコンピュータシステム2100のような標準的なコンピュータシステムであり、システム2100によって実行される方法は、図21に示すように、システム2100に関連付けられた不揮発性(例えばソリッドステート又はハードディスク)の記憶媒体2104上に格納された、1つ以上のソフトウェアモジュール又は構成要素2102のプログラミング命令の形式で実現される。しかしながら、本方法は、代替として、例えば、特定用途向け集積回路(ASIC)のような1つ以上の専用ハードウェア構成要素の形式で、及び/又は、フィールドプログラマブルゲートアレイ(FPGA)のような構成可能なハードウェア構成要素のための構成データの形式で、部分的あるいは全体的に実現可能である、ということは当業者に明らかであろう。
図21に示すシステム2100は、ランダムアクセスメモリ(RAM)、少なくとも1つのプロセッサ、及び外部インターフェースを含み、すべてバスで相互接続された、標準的なコンピュータ構成要素を含む。外部インターフェースはユニバーサルシリアルバス(USB)インターフェースを含み、その少なくとも1つはなキーボード及びマウスのようポインティングデバイスに接続される。外部インターフェースはネットワークインターフェースコネクタ(NIC)を含み、それは、インターネットのような通信ネットワーク2120にシステム2100を接続し、それを介して、システム2100はユーザ入力及び他のデータにアクセスすることができる。システム2100は、LCDパネルディスプレイのような表示装置に接続されたディスプレイアダプタと、多数の標準的なソフトウェアモジュールとを含む。ソフトウェアモジュールは、Linux(登録商標)又はMicroSoft Windows(登録商標)のようなオペレーティングシステム2124と、http://www.apache.orgにおいて利用可能なApacheのようなウェブサーバソフトウェア2126と、http://www.php.netにおいて利用可能なPHP又はMicroSoft ASPのようなスクリプト言語サポート2128と、SQLデータベース2132にデータを格納し、データを検索できるようにする、http://www.mysql.comから利用可能なMySQLのような構造化照会言語(SQL)サポート2130とを含む。
ウェブサーバ2126、スクリプト言語2128、及びSQLモジュール2130はともに、標準的なウェブブラウザソフトウェアを備えたクライアント計算装置2140がシステム2100にアクセスできるようにし、特に、データベース2132にデータを提供してデータベース2132からデータを受信できるようにする一般的な能力を、システム2100に提供する。
したがって、いくつかの実施形態において、構成要素2102は、
複数の衣料品を表す格納されたワードローブデータを検索するか、そうでなければアクセスし、
確率モデルを表す確率モデルデータを検索するか、そうでなければアクセスし、確率モデルは、1つ以上のパラメータの条件下で、上記複数の衣料品が互いにマッチする確率を含み、
例えばWAN2120を介してシステム2100と通信するユーザーシステム2140を介して、1つ以上のパラメータの少なくとも1つに関するユーザ入力を受信し、
ユーザ入力、確率モデルデータ、及びワードローブデータを処理して、確率モデルデータ及記ユーザ入力に基づいてワードローブデータから最適又は準最適な衣服一式の1つ以上の提案を生成する
ように構成される。
いくつかの実施形態において、画像取り込みモジュール2150は、ユーザの1つ以上の画像を取り込み、当該ユーザに係る身体色調分類の生成で使用するために画像データをシステム2100に(ユーザーシステム2140を介して、又は直接的に)送信してもよい。画像取り込みモジュール2150は、ディジタルカメラ、3Dスキャン装置、又は、Microsoft CorporationのKinectもしくはASUSTeK Computer Inc.のXtionのようなモーション検出装置を、例えば、ManCTL(skanect.manctl.com)のSkanectのような適切な再構成ソフトウェアとともに備えてもよい。
構成要素2102は、
データベース2132に格納されたワードローブデータにおける複数の衣料品間の関係を学習するための、ベイジアンネットワーク構成要素のようなグラフィカルモデル構成要素と、
ユーザ入力データ、ワードローブデータ、及びグラフィカルモデル構成要素によって出力された学習された関係に基づいて衣服一式の提案を生成するための、グラフィカルモデル構成要素と通信する最適化構成要素と
を備えてもよい。
最適化構成要素は、例えばシミュレーションされたアニーリングとともに、上述したRJMCMC法を実現してもよい。
もし、別途ことわりのないかぎり、用語「備える」、「含む」、及びそれらの文法的な変形は、それらは言及された構成要素を含むだけでなく、明示的には述べられていない追加の構成要素を含むことを許容するように、「開かれた」又は「包括的な」言葉を表すように意図されている。
本発明の精神及び範囲から外れることなしに上述したことの様々な他の修正及び適合が当業者に明らかになり、すべてのそのような修正及び適合が添付の特許請求のの範囲内にあることが意図される、ということは明らかであろう。例えば、説明した実施形態において、ベイジアンネットワークは異なるタイプの衣服間の関係を学習して記述するために使用される確率モデルとして使用されたが、他のグラフィカルモデル(例えば、それらは学習のためのグラフカーネルに基づく方法を使用してもよい)が使用されてもよい。さらに、各拘束条件がコスト項として数学的に表現可能であれば、任意個数の拘束条件が最適化処理に追加されてもよい。

Claims (23)

  1. 衣服一式の提案を生成するためのコンピュータで実行される方法であって、上記方法は、
    複数の衣料品を表すワードローブデータを提供することと、
    確率モデルを表す確率モデルデータを提供することとを含み、上記確率モデルは、1つ以上のパラメータの条件下で、上記複数の衣料品が互いにマッチする確率を含み、
    上記1つ以上のパラメータのうちの少なくとも1つに関するユーザ入力を受信することと、
    上記確率モデルデータ及び上記ユーザ入力に基づいて上記ワードローブデータから最適又は準最適な衣服一式の1つ以上の提案を生成する最適化を実行することと
    を含む方法。
  2. 上記確率モデルはグラフィカルモデルである請求項1記載のコンピュータで実行される方法。
  3. 上記グラフィカルモデルはベイジアンネットワークである請求項2記載のコンピュータで実行される方法。
  4. 最適化は、
    (i)現在の衣服一式に基づいて、提案された衣服一式をランダムに生成することと、
    (ii)上記確率モデルデータに基づいて、上記提案された衣服一式を受理又は拒絶することと、
    (iii)上記提案された衣服一式が受理された場合、上記現在の衣服一式を上記提案された衣服一式に更新することと
    を反復的に行うことを含む請求項1〜3のうちの1つに記載のコンピュータで実行される方法。
  5. 上記最適化はマルコフ連鎖モンテカルロ(MCMC)法を含む請求項4記載のコンピュータで実行される方法。
  6. 上記最適化は可逆ジャンプMCMC法を含む請求項5記載のコンピュータで実行される方法。
  7. 上記最適化はシミュレーションされたアニーリングを含む請求項4〜6のうちの1つに記載のコンピュータで実行される方法。
  8. 提案された衣服一式をランダムに生成することは、
    上記複数の衣料品からランダムに選ばれた衣料品を追加することと、
    上記現在の衣服一式から衣料品をランダムに除去することと、
    上記現在の衣服一式における衣料品を上記複数の衣料品のうちの1つと交換することと、
    上記現在の衣服一式における衣料品の色を修正することと
    のうちの1つによって、現在の衣服一式を修正することを含む請求項4〜7のうちの1つに記載のコンピュータで実行される方法。
  9. 上記1つ以上のパラメータは、ドレスコード、色パレット、身体の色調の分類、季節、テクスチャパターン、衣類の形状、年齢、身体のプロポーション、及び体形から選択される請求項1〜8のうちの1つに記載のコンピュータで実行される方法。
  10. 上記身体の色調の分類は、
    トレーニングされた身体色調分類器を提供することと、
    1つ以上の身体色属性に関する入力データをユーザから受信することと、
    上記身体色調分類器によって上記入力データから身体の色調の分類を生成することと
    によって生成される請求項9記載のコンピュータで実行される方法。
  11. 上記入力データは、
    上記ユーザの画像における1つ以上の場所を示すユーザ入力を取得することと、
    上記1つ以上の場所において上記画像の色属性を生成することと
    によって受信される請求項10記載のコンピュータで実行される方法。
  12. 上記最適又は準最適な衣服一式の提案は、上記各パラメータのコスト項の重みづけられた総和である目的関数に基づいて決定される請求項9〜11のうちの1つに記載のコンピュータで実行される方法。
  13. 上記ドレスコードは、スポーツウェア、カジュアル、ビジネス・カジュアル、及びビジネスからなるグループから選択される請求項9〜12のうちの1つに記載のコンピュータで実行される方法。
  14. 上記ユーザ入力は、上記複数の衣料品のうちの少なくとも1つに対する拘束条件を含む請求項1〜13のうちの1つに記載のコンピュータで実行される方法。
  15. 上記グラフィカルモデルの複数のノードは、衣料品を着用することができる異なる身体領域に対応し、各ノード状態は、着用されている衣料品のタイプを表す請求項2〜14のうちの1つに記載のコンピュータで実行される方法。
  16. 上記提案された衣服一式の受理確率を計算することを含む請求項4〜15のうちの1つに記載のコンピュータで実行される方法。
  17. [0,1]上の一様分布から数aをランダムにサンプリングすることと、
    aが上記受理確率以下であるとき、上記提案された衣服一式を受理することと
    を含む請求項16記載のコンピュータで実行される方法。
  18. 上記ワードローブデータは複数のアクセサリーをさらに表し、
    上記確率モデルは、上記アクセサリーが、上記1つ以上のパラメータの条件下で、衣料品とマッチする及び/又は互いにマッチする確率をさらに含む
    請求項1〜17のうちの1つに記載のコンピュータで実行される方法。
  19. 上記確率モデルをトレーニングすることをさらに含む請求項1〜18のうちの1つに記載のコンピュータで実行される方法。
  20. 衣服一式の提案を生成するためのシステムであって、上記システムは、
    複数の衣料品を表すワードローブデータと、確率モデルを表す確率モデルデータとを、その上に格納した不揮発性記憶媒体を備え、上記確率モデルは、1つ以上のパラメータの条件下で、上記複数の衣料品が互いにマッチする確率を含み、
    上記システムは、
    上記1つ以上のパラメータのうちの少なくとも1つに関するユーザ入力を受信し、
    上記確率モデルデータ及び上記ユーザ入力に基づいて上記ワードローブデータから最適又は準最適な衣服一式の1つ以上の提案を生成する最適化を実行する
    ように構成された衣服一式提案モジュールを備えるシステム。
  21. 衣服一式の提案を生成するための方法であって、上記方法は、
    ユーザの色の分類を決定することと、
    複数の衣料品を提供することと、
    ユーザの選好情報に基づいてドレスコードを選択することと、
    上記ユーザの色の分類、上記複数の衣料品、及び上記選択されたドレスコードに基づいて、衣服一式の少なくとも1つの提案を生成することと
    を含む方法。
  22. ユーザの色の分類を決定することは、
    少なくとも1つの身体色属性を提供するステップと、
    上記身体色属性を色パレットとマッチングして、上記ユーザの色の分類が暖色であるか、それとも寒色であるかを決定することと
    を含む請求項21記載の方法。
  23. 衣服一式の提案を生成するためのシステムであって、上記システムは、
    ユーザの色の分類を決定するための視覚的プロファイリング手段と、
    複数の衣料品のデータベースを保持して更新するための記憶手段と、
    特定のドレスコードを選択するための機能的プロファイリング手段と、
    上記機能的プロファイリング手段及び視覚的プロファイリング手段から得られた結果に基づいて、衣服一式の少なくとも1つの提案を生成するための推薦手段と
    を備えるシステム。
JP2015541743A 2012-11-12 2013-11-12 衣類マッチングシステム及び方法 Pending JP2016502713A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261725073P 2012-11-12 2012-11-12
US61/725,073 2012-11-12
PCT/SG2013/000482 WO2014074072A1 (en) 2012-11-12 2013-11-12 Clothing matching system and method

Publications (1)

Publication Number Publication Date
JP2016502713A true JP2016502713A (ja) 2016-01-28

Family

ID=50685012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015541743A Pending JP2016502713A (ja) 2012-11-12 2013-11-12 衣類マッチングシステム及び方法

Country Status (5)

Country Link
US (1) US20160026926A1 (ja)
JP (1) JP2016502713A (ja)
CN (1) CN104981830A (ja)
SG (3) SG11201503743QA (ja)
WO (1) WO2014074072A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960959A (zh) * 2018-05-23 2018-12-07 山东大学 基于神经网络的多模态互补服装搭配方法、系统及介质
JP2021009517A (ja) * 2019-06-28 2021-01-28 パナソニックIpマネジメント株式会社 服装学習システム、服装評価システム、服装学習評価システム、電子ミラー、服装学習方法、服装評価方法、プログラム
WO2022024392A1 (ja) * 2020-07-31 2022-02-03 富士通株式会社 算出プログラム、算出方法および情報処理装置
JP7092769B2 (ja) 2019-03-11 2022-06-28 株式会社Preferred Networks 画像生成方法、画像生成装置、画像生成システム及びプログラム
JP2023098351A (ja) * 2021-12-28 2023-07-10 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP2023098350A (ja) * 2021-12-28 2023-07-10 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7391166B1 (ja) 2022-09-30 2023-12-04 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7391165B1 (ja) 2022-09-30 2023-12-04 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7407882B1 (ja) 2022-08-23 2024-01-04 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7443473B2 (ja) 2021-11-23 2024-03-05 エヌエイチエヌ クラウド コーポレーション ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム
JP7459206B1 (ja) 2022-09-30 2024-04-01 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150339726A1 (en) * 2014-05-23 2015-11-26 Toshiba Global Commerce Solutions Holdings Corporation Advertising for sensor-enabled clothing
US10529009B2 (en) 2014-06-25 2020-01-07 Ebay Inc. Digital avatars in online marketplaces
US20160035000A1 (en) * 2014-07-31 2016-02-04 Shelly Xu System and method for providing an instant stylist
TWI518616B (zh) * 2014-09-24 2016-01-21 國立清華大學 穿搭評選方法與電子裝置
WO2016070309A1 (en) 2014-11-03 2016-05-12 Carroll Terrence A Textile matching using color and pattern recognition and methods of use
WO2016076021A1 (ja) * 2014-11-11 2016-05-19 富士フイルム株式会社 商品検索装置及び商品検索方法
US20170352091A1 (en) * 2014-12-16 2017-12-07 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
ES2765277T3 (es) 2014-12-22 2020-06-08 Reactive Reality Gmbh Método y sistema para generar datos de modelo de prenda
CN106033547A (zh) * 2015-03-12 2016-10-19 阿里巴巴集团控股有限公司 颜色搭配评价方法、服饰搭配推荐方法及装置
US9827496B1 (en) 2015-03-27 2017-11-28 Electronics Arts, Inc. System for example-based motion synthesis
US10022628B1 (en) 2015-03-31 2018-07-17 Electronic Arts Inc. System for feature-based motion adaptation
KR20170137054A (ko) * 2015-04-09 2017-12-12 인텔 아이피 코포레이션 캐리어 집성 측정 갭을 위한 사용자 장비 무선 주파수 및 대역 기능
CN104835062A (zh) * 2015-05-04 2015-08-12 小米科技有限责任公司 服饰搭配方法及装置
US20170004428A1 (en) * 2015-06-30 2017-01-05 International Business Machines Corporation Event attire recommendation system and method
CN106375544B (zh) * 2015-07-23 2020-11-06 青岛海尔洗衣机有限公司 一种衣物搭配推荐方法及智能终端
US10792566B1 (en) 2015-09-30 2020-10-06 Electronic Arts Inc. System for streaming content within a game application environment
US9836867B2 (en) * 2015-11-06 2017-12-05 International Business Machines Corporation Photograph augmentation with garment overlay
US11004115B2 (en) * 2015-11-19 2021-05-11 International Business Machines Corporation Determining a user's shopping interests based on sensor data identifying attributes of the user's garment
US20170148076A1 (en) * 2015-11-25 2017-05-25 Electronics And Telecommunications Research Institute Method for operating personal information brokerage apparatus and method for operating customized product production system using the same
US10063408B2 (en) 2015-12-22 2018-08-28 Rovi Guides, Inc. System and methods for alerting a user consuming media to the progress of others consuming media
US9460557B1 (en) 2016-03-07 2016-10-04 Bao Tran Systems and methods for footwear fitting
US9996981B1 (en) 2016-03-07 2018-06-12 Bao Tran Augmented reality system
CN105808774A (zh) * 2016-03-28 2016-07-27 北京小米移动软件有限公司 信息提供方法及装置
CN106055893B (zh) * 2016-05-27 2018-08-31 杭州一土网络科技有限公司 基于时尚模板库和自动匹配的服装搭配方案生成方法
CN106056120B (zh) * 2016-06-14 2020-07-24 浙江理工大学 基于服装的轮廓形状跟踪实现衣服款式识别与推荐的方法
CN106202352B (zh) * 2016-07-05 2019-11-15 华南理工大学 基于贝叶斯网络的室内家居风格与颜色搭配设计的方法
US10403018B1 (en) * 2016-07-12 2019-09-03 Electronic Arts Inc. Swarm crowd rendering system
US10726611B1 (en) 2016-08-24 2020-07-28 Electronic Arts Inc. Dynamic texture mapping using megatextures
CN106503082B (zh) * 2016-10-08 2019-03-08 广东小天才科技有限公司 一种服装搭配的自动推荐方法及装置、智能设备
US20180173807A1 (en) * 2016-12-21 2018-06-21 Mastercard International Incorporated System for managing a wardrobe
US11544768B2 (en) 2017-01-27 2023-01-03 Color Butler, Inc. System and method for fashion recommendations
US11430043B2 (en) * 2017-01-27 2022-08-30 Color Butler, Inc. System and method for fashion recommendations
US11790429B2 (en) 2017-01-27 2023-10-17 Color Butler, Inc. Systems and methods for interpreting colors and backgrounds of maps
US10614506B2 (en) 2017-01-27 2020-04-07 Color Butler, Inc. System and method for fashion recommendations
US11157988B2 (en) 2017-01-27 2021-10-26 Color Butler, Inc. System and method for fashion recommendations
US11526925B2 (en) 2017-01-27 2022-12-13 Color Butler, Inc. System and method for fashion recommendations
US11328339B2 (en) 2017-01-27 2022-05-10 Color Butler, Inc. System and method for fashion recommendations
US10282897B2 (en) * 2017-02-22 2019-05-07 Microsoft Technology Licensing, Llc Automatic generation of three-dimensional entities
US10052026B1 (en) 2017-03-06 2018-08-21 Bao Tran Smart mirror
US10282668B2 (en) * 2017-03-09 2019-05-07 Thomas Danaher Harvey Devices and methods to detect compliance with regulations
US10096133B1 (en) 2017-03-31 2018-10-09 Electronic Arts Inc. Blendshape compression system
US10878540B1 (en) 2017-08-15 2020-12-29 Electronic Arts Inc. Contrast ratio detection and rendering system
CN107563490A (zh) * 2017-08-30 2018-01-09 北京理工大学 一种基于关注力模型的人群多样性仿真方法
US10535174B1 (en) 2017-09-14 2020-01-14 Electronic Arts Inc. Particle-based inverse kinematic rendering system
KR101846422B1 (ko) 2017-09-14 2018-05-18 박희영 빅데이터를 활용해 개인별 특성 및 선호도를 고려한 고객 맞춤형 온오프라인 연계 의류 추천 시스템
US11017461B2 (en) 2017-11-03 2021-05-25 Bonobos, Inc. Systems and methods for displaying a personalized outfit
US10614342B1 (en) * 2017-12-11 2020-04-07 Amazon Technologies, Inc. Outfit recommendation using recurrent neural networks
CN110021061B (zh) * 2018-01-08 2021-10-29 Oppo广东移动通信有限公司 搭配模型构建方法、服饰推荐方法、装置、介质及终端
US10860838B1 (en) 2018-01-16 2020-12-08 Electronic Arts Inc. Universal facial expression translation and character rendering system
US11315338B1 (en) 2018-03-12 2022-04-26 AI Incorporated Virtual tailor
CN110309412A (zh) * 2018-03-15 2019-10-08 阿里巴巴集团控股有限公司 提供服饰搭配信息的方法、装置及电子设备
US10776626B1 (en) 2018-05-14 2020-09-15 Amazon Technologies, Inc. Machine learning based identification of visually complementary item collections
CN108920828B (zh) * 2018-06-29 2021-02-05 云智衣橱(深圳)科技有限责任公司 一种服装搭配的方法及系统
NL2022937B1 (en) * 2019-04-12 2020-10-20 Yoox Net A Porter Group S P A Method and Apparatus for Accessing Clothing
WO2020079235A1 (en) * 2018-10-19 2020-04-23 Yoox Net-A-Porter Group S.P.A. Method and apparatus for accessing clothing
US20200302378A1 (en) * 2019-03-19 2020-09-24 Caastle, Inc. Systems and methods for electronically optimizing merchandise planning
CN110175253A (zh) * 2019-05-13 2019-08-27 山东大学 一种用户个性化服装搭配方法及装置
CN110096156B (zh) * 2019-05-13 2021-06-15 东北大学 基于2d图像的虚拟换装方法
US10902618B2 (en) 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
RU2019125602A (ru) * 2019-08-13 2021-02-15 Общество С Ограниченной Ответственностью "Тексел" Комплексная система и способ для дистанционного выбора одежды
US10964064B1 (en) * 2019-10-23 2021-03-30 Kimberly M. Watling Seasonal color coding systems and methods
US11195221B2 (en) * 2019-12-13 2021-12-07 The Mada App, LLC System rendering personalized outfit recommendations
US20210192552A1 (en) * 2019-12-18 2021-06-24 International Business Machines Corporation Clothing design attribute identification for geographical regions
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
US20210334877A1 (en) * 2020-04-27 2021-10-28 Jingdong Digits Technology Holding Co., Ltd. System and method for fashion style recommendation
CN112380687B (zh) * 2020-11-10 2024-02-13 西安工程大学 一种基于模糊理论的西装快速配衬量化方法
CN112750151B (zh) * 2020-12-30 2023-09-26 成都云盯科技有限公司 基于数理统计的服装颜色匹配方法、装置和设备
US11830121B1 (en) 2021-01-26 2023-11-28 Electronic Arts Inc. Neural animation layering for synthesizing martial arts movements
IT202100013418A1 (it) * 2021-05-24 2022-11-24 Pac S R L Metodo per selezionare un set di capi di abbigliamento per un utilizzatore di un guardaroba dinamico periodicamente rinnovato
IT202100013427A1 (it) * 2021-05-24 2022-11-24 Pac S R L Metodo per selezionare un set di capi di abbigliamento per un utilizzatore di un guardaroba dinamico periodicamente rinnovato
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation
US11670030B2 (en) 2021-07-01 2023-06-06 Electronic Arts Inc. Enhanced animation generation based on video with local phase
US11562523B1 (en) 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases
CN117258283A (zh) * 2022-06-14 2023-12-22 腾讯科技(深圳)有限公司 虚拟对象的套装处理方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002079942A2 (en) * 2001-03-29 2002-10-10 Artmecca.Com System for visual preference determination and predictive product selection
WO2005111877A1 (en) * 2004-05-13 2005-11-24 Koninklijke Philips Electronics N.V. Wardrobe management system
CN101021926A (zh) * 2006-02-13 2007-08-22 上海摩方信息科技有限公司 一种个性化形象设计平台及用其进行设计的方法
US7830554B2 (en) * 2007-06-29 2010-11-09 Xerox Corporation Fiducial artifact detection and compensation algorithm
US8103551B2 (en) * 2007-07-31 2012-01-24 Style Du Jour, Inc. Fashion matching algorithm solution
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960959A (zh) * 2018-05-23 2018-12-07 山东大学 基于神经网络的多模态互补服装搭配方法、系统及介质
CN108960959B (zh) * 2018-05-23 2020-05-12 山东大学 基于神经网络的多模态互补服装搭配方法、系统及介质
JP7092769B2 (ja) 2019-03-11 2022-06-28 株式会社Preferred Networks 画像生成方法、画像生成装置、画像生成システム及びプログラム
JP2021009517A (ja) * 2019-06-28 2021-01-28 パナソニックIpマネジメント株式会社 服装学習システム、服装評価システム、服装学習評価システム、電子ミラー、服装学習方法、服装評価方法、プログラム
JP7417887B2 (ja) 2019-06-28 2024-01-19 パナソニックIpマネジメント株式会社 服装学習システム、服装評価システム、服装学習評価システム、電子ミラー、服装学習方法、服装評価方法、プログラム
WO2022024392A1 (ja) * 2020-07-31 2022-02-03 富士通株式会社 算出プログラム、算出方法および情報処理装置
JPWO2022024392A1 (ja) * 2020-07-31 2022-02-03
JP7443473B2 (ja) 2021-11-23 2024-03-05 エヌエイチエヌ クラウド コーポレーション ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム
JP7312810B2 (ja) 2021-12-28 2023-07-21 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7312811B2 (ja) 2021-12-28 2023-07-21 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP2023098350A (ja) * 2021-12-28 2023-07-10 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP2023098351A (ja) * 2021-12-28 2023-07-10 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7407882B1 (ja) 2022-08-23 2024-01-04 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7391166B1 (ja) 2022-09-30 2023-12-04 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7391165B1 (ja) 2022-09-30 2023-12-04 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7459206B1 (ja) 2022-09-30 2024-04-01 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
WO2014074072A1 (en) 2014-05-15
CN104981830A (zh) 2015-10-14
SG11201503743QA (en) 2015-06-29
US20160026926A1 (en) 2016-01-28
WO2014074072A8 (en) 2014-11-20
SG10201703852XA (en) 2017-06-29
SG10201912801UA (en) 2020-02-27

Similar Documents

Publication Publication Date Title
JP2016502713A (ja) 衣類マッチングシステム及び方法
KR102296906B1 (ko) 이미지 또는 비디오 데이터로부터의 가상 캐릭터 생성
US20230351663A1 (en) System and method for generating an avatar that expresses a state of a user
Guan et al. Apparel recommendation system evolution: an empirical review
Yu et al. DressUp!: outfit synthesis through automatic optimization.
Kim et al. Decoding fashion advertising symbolism in masstige and luxury brands
Kim et al. Application of interactive genetic algorithm to fashion design
US9959569B2 (en) Computer implemented methods and systems for generating virtual body models for garment fit visualisation
US9223469B2 (en) Configuring a virtual world user-interface
CN108960959B (zh) 基于神经网络的多模态互补服装搭配方法、系统及介质
US8108774B2 (en) Avatar appearance transformation in a virtual universe
KR100511210B1 (ko) 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법
CN109840825A (zh) 基于用户的物理特征的推荐系统
US20120299912A1 (en) Avatar-based virtual dressing room
US20150026016A1 (en) System and method of producing model figure of person with associated clothing
WO2015066675A2 (en) System and method for controlling and sharing online images of merchandise
US20210160018A1 (en) Automated customization with compatible objects
JP2022145944A (ja) コーディネート用評価サーバ装置、コーディネート用評価サーバ装置の制御方法、およびそれに用いるプログラムおよび記録媒体
Tapley Designing your second life
WO2020079235A1 (en) Method and apparatus for accessing clothing
Lim et al. Discovering Social and Aesthetic Categories of Avatars: A Bottom-Up Artificial Intelligence Approach Using Image Clustering.
Kim et al. Development of an IGA-based fashion design aid system with domain specific knowledge
Ross Co-creation via digital fashion technology in new business models for premium product innovation: Case-studies in menswear and womenswear adaptation
Mohr The Production of Consumer Society: Cultural-Economic Principles of Distinction
Hou et al. Climaxing vr character with scene-aware aesthetic dress synthesis