JP2022051430A - 情報処理プログラム、情報処理方法および情報処理装置 - Google Patents

Abstract

【課題】ユーザに相応しい商品であるか否かを評価する基準を提供できる情報処理プログラム、情報処理方法および情報処理装置を提供する。【解決手段】情報処理装置である端末装置において、制御部は、取得部と、抽出部と、算出部と、提供部と、を有する。取得部は、動画像を取得する。抽出部は、取得部により取得された動画像からユーザＵの外観の特徴を抽出する。算出部は、抽出部により抽出されたユーザの外観の特徴と、電子商取引サービスで取引対象とされる商品との相性度を算出する。提供部は、算出部により算出された相性度を提供する。【選択図】図３

Description

特許法第３０条第２項適用申請有り 公開日 令和２年８月１３日 ｈｔｔｐｓ：／／ａｐｐｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｉｄ１４８３９００１３８ 公開日 令和２年８月１９日 ｈｔｔｐｓ：／／ｐｌａｙ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｔｏｒｅ／ａｐｐｓ／ｄｅｔａｉｌｓ？ｉｄ＝ｊｐ．ｃｏ．ｙａｈｏｏ．ａｎｄｒｏｉｄ．ｐｍａｌｌ 公開日 令和２年８月２０日 ｈｔｔｐｓ：／／ａｂｏｕｔ．ｙａｈｏｏ．ｃｏ．ｊｐ／ｐｒ／ｒｅｌｅａｓｅ／２０２０／０８／２０ａ／

本発明は、情報処理プログラム、情報処理方法および情報処理装置に関する。

近年、インターネットの飛躍的な普及に伴い、ウェブサイトやアプリを介して、ショッピングサービス等の提供が盛んに行われている。例えば、様々な事業者が提供するオンラインショップを一同に集め、商品検索や決済処理の統一を図って利便性を向上させた、いわゆるショッピングモール（電子モール、電子商店街等とも称される）が提供されている。

このようなショッピングモールに関する技術として、ユーザが閲覧した商品に基づき、かかるユーザに対してレコメンド商品を提案する技術が知られている（例えば、特許文献１参照）。

特許第６３１１０５２号公報

しかしながら、従来技術には、ユーザに相応しい商品であるか否かを評価する基準を提供する点において改善の余地があった。例えば、ユーザが閲覧した商品であるからといってユーザに相応しい商品であるとは限らない。なぜなら、商品の閲覧は、ユーザに相応しい商品であるか否かを判断する側面から行われるのであってユーザに相応しい商品であるから行われるのではないからである。

本願は、上記に鑑みてなされたものであって、ユーザに相応しい商品であるか否かを評価する基準を提供できる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。

本願にかかる情報処理プログラムは、取得手順と、抽出手順と、算出手順と、提供手順とをコンピュータに実行させる。前記取得手順は、動画像を取得する。前記抽出手順は、前記取得手順により取得された動画像から利用者の外観の特徴を抽出する。前記算出手順は、前記抽出手順により抽出された利用者の外観の特徴と、電子商取引サービスで取引対象とされる商品との相性度を算出する。前記提供手順は、前記算出手順により算出された相性度を提供する。

実施形態の一態様によれば、ユーザに相応しい商品であるか否かを評価する基準を提供できる。

図１は、実施形態に係る情報処理の一例を示す説明図である。 図２は、情報処理システムの構成例を示す図である。 図３は、端末装置の構成例を示す図である。 図４は、バーチャル試着の処理手順の一例を示すフローチャートである。 図５は、商品詳細ページの一例を示す図である。 図６は、バーチャル試着ページの一例を示す図である。 図７は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願に係る情報処理プログラム、情報処理方法および情報処理装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願にかかる情報処理プログラム、情報処理方法および情報処理装置が限定されるものではない。

〔１．情報処理〕
まず、実施形態に係る情報処理の一例について図１を参照して説明する。図１は、実施形態に係る情報処理の一例を示す説明図である。

図１に示すように、端末装置１０は、電子商取引サービスの一例として、上記のショッピングモールサービスのクライアント用のアプリケーション（以下、「モールＡＰＰ」と呼ぶ）がインストールされたコンピュータである。

図１には、一例として、本実施形態にかかるバーチャル試着機能が上記のモールＡＰＰのモジュールの１つとして実現される例を挙げるが、これに限定されない。例えば、バーチャル試着機能は、上記のショッピングモールサービスの一機能としてパッケージ化されることにより提供されることとしてもよい。

さらに、バーチャル試着機能は、上記のショッピングモールサービスで取引対象とされる商品を対象に適用される例を挙げるが、これに限定されない。例えば、上記のショッピングモールサービス以外の他のＥＣ（Electronic Commerce）サービス、例えばオークションサービスやフリーマーケットサービス等に適用されることを妨げない。以下、上記のショッピングモールサービスを始めとするＥＣサービスで取引対象とされる商品のことを「ＥＣ商品」と記載する場合がある。

端末装置１０は、ショッピングモールサーバ３０とネットワークＮＷ（図２参照）を介して通信を行うことができる。端末装置１０は、例えば、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、ノート型ＰＣ（Personal Computer）、デスクトップ型ＰＣ等により実現される。

端末装置１０は、上記のショッピングモールサービスに加入するユーザＵによって使用され得る。

ここで、図１に示す情報処理では、上記のバーチャル試着機能のユースケースの一例として、上記のショッピングモールサービスにより提供されるトップページからユーザＵの外観の特徴との相性度が高いＥＣ商品のリストを含むページへ誘導する例を挙げる。

図１に示すように、先ず、端末装置１０は、トップページ３１０上でバーチャル試着のリクエストを受け付ける（ステップＳ１）。

トップページ３１０は、任意のデザインであってよいが、バーチャル試着の広告やバーチャル試着へ誘導するＧＵＩ（Graphical User Interface）コンポーネントなどが含まれ得る。

具体的には、トップページ３１０には、検索窓３１１と、ストアへの誘導エリア３１２と、バーチャル試着への誘導エリア３１３とが含まれる。

検索窓３１１には、検索キーワードの入力を受け付けるテキストボックス３１１Ａが含まれる。このようなテキストボックス３１１Ａに検索キーワードが入力されることにより、上記のショッピングモールサービスで取引対象とされるＥＣ商品のうち検索キーワードに対応する商品を検索する検索機能が提供される。

ストアへの誘導エリア３１２には、上記のショッピングモールサービスに加入するストアＡ～ストアＤのページへ遷移するボタン３１２Ａ～３１２Ｄが含まれる。

バーチャル試着への誘導エリア３１３は、バーチャル試着を広告するバナー３１３Ａと、バーチャル試着のページへ遷移するボタン３１３Ｂとが含まれる。これらバナー３１３Ａまたはボタン３１３Ｂのいずれかに対する操作を介して、バーチャル試着のリクエストを受け付けることができる。

このようにトップページ３１０に配置されたバナー３１３Ａまたはボタン３１３Ｂのいずれかに対する操作が行われた場合、モールＡＰＰによる画面表示は、トップページ３１０からバーチャル試着ページ３２０へ遷移する。

バーチャル試着ページ３２０には、カメラアイコン３２１が含まれる。このカメラアイコン３２１に対する操作を受け付けた場合、端末装置１０に搭載されたカメラ、例えばインカメラによる動画の撮影が開始される。

このようなカメラ撮影により、端末装置１０上で動作するモールＡＰＰは、カメラにより撮像される動画像を取得する（ステップＳ２）。このようにステップＳ２で取得される動画像は、バーチャル試着ページ３２０のカメラ映像の表示エリア３２２に表示される。

なお、図１には、インカメラによりユーザＵ自身の動画像が撮影される例を挙げるが、これに限定されない。例えば、アウトカメラにより他者の動画像が撮影されることとしてもよい。

次いで、端末装置１０は、ステップＳ２でキャプチャされる動画像からユーザＵの外観の特徴を抽出する（ステップＳ３）。

ここで、図１では、ユーザＵの外観の特徴の一例として、ユーザＵの顔の輪郭が抽出される例を挙げる。このような顔の輪郭は、任意の画像解析技術を動画像に適用されることにより得ることができる。例えば、フェイストラキングが動画像に適用される場合、当該動画像に含まれる静止画のフレームごとに顔の輪郭の他、顔の向きや傾き、大きさ、さらには顔の造作、例えば目や鼻、口、眉といった顔パーツの位置や大きさなどが得られる。

その後、端末装置１０は、動画像から抽出されたユーザＵの顔の輪郭と、上記のショッピングモールサービスで取引対象とされるＥＣ商品との相性度を算出する（ステップＳ４）。

ここで、ステップＳ４では、全ての商品カテゴリのＥＣ商品を対象に相性度が算出されることとしてもよいが、相性度の算出対象とするＥＣ商品の商品カテゴリの設定をユーザ設定またはシステム設定により受け付けることもできる。なお、上記の「商品カテゴリ」とは、商品が種類や特性により分類された区分を指す。

例えば、図１に示す例で言えば、「メガネ」および「イヤリング・ピアス」の２つの商品カテゴリに対応する２つのボタン３２３Ａ及び３２３Ｂの中から１つのタブの選択を受け付ける。これにより、「メガネ」および「イヤリング・ピアス」の２つの商品カテゴリの中から相性度の算出対象とするＥＣ商品の商品カテゴリのユーザ設定を受け付ける。図１に示すバーチャル試着ページ３２０の通り、「メガネ」のボタン３２３Ａが選択された場合、商品カテゴリが「メガネ」に対応するＥＣ商品が相性度の算出対象とされる。

このような商品カテゴリの設定の下、端末装置１０は、顔の輪郭等の顔の特徴量を顔型判定モデルへ入力することにより当該顔型判定モデルから出力される複数の顔型別の確信度を得る。

ここで言う「顔型判定モデル」とは、顔の輪郭等の顔の特徴量に正解の顔型のラベルが付与された訓練データを用いて機械学習が実行された機械学習モデルを指す。このような顔型判定モデルの生成には、ディープラーニングをはじめ、ロジスティック分析やランダムフォレスト、サポートベクタマシン、決定木などの任意の機械学習のアルゴリズムを適用することができる。

例えば、顔型判定モデルが識別する顔型のクラスが「三角顔」、「面長顔」、「丸顔」および「四角顔」の４つであるとする。この場合、顔の輪郭等の顔の特徴量が入力された顔型判定モデルは、例えば、三角顔の確信度「０．３０」、面長顔の確信度「０．０５」、丸顔の確信度「０．６０」および四角顔の確信度「０．０５」といった要領で４つの顔型別の確信度を出力する。なお、顔型判定モデルには、動画像に含まれる静止画のフレームごとに顔の特徴量を入力することもできれば、１つの静止画をピックアップして顔の特徴量を入力することもできる。例えば、フェイストラッキングの結果として得られる顔の向きや傾きが最も正面寄りと識別される静止画から得られる顔の特徴量に絞って入力することもできる。

このように得られる複数の顔型別の確信度と、ＥＣ商品「メガネ」の外観カテゴリごとに付与された複数の顔型別の相性スコアとを照合することにより、端末装置１０は、各外観カテゴリの相性度を算出する。

例えば、「相性スコア」は、外観スコアごとに複数の顔型別にあらかじめ付与される。ここで言う「外観カテゴリ」とは、ＥＣ商品の外観の特徴に応じて分類される区分を指す。例えば、ＥＣ商品「メガネ」は、メガネフレームの種類によって分類することができる。この場合、「スクエア」や「オーバル」、「ラウンド」、「ウェリントン」、「ハーフリム」、「リムレス」、「フォックス」などの区分が外観カテゴリに対応する。

外観カテゴリ「オーバル」がおすすめである顔型を似合う順に列挙すれば、四角顔、三角顔、丸顔、面長顔の順となる。この場合、四角顔の相性スコアには「１」が付与され、三角顔の相性スコアには「０．５」が付与され、丸顔の相性スコアには「０．２５」が付与され、面長顔の相性スコアには「０．１２５」が付与される。他の外観カテゴリについても似合う顔型の順に所定の値「１」を初期値としてそこから順位が繰り下がる度に半減されたスコアが相性スコアとして設定される。

このような相性スコアの設定の下、あくまで一例として、下記の式（１）にしたがって顔型ｉの確信度と顔型ｉの相性スコアを合成することにより外観カテゴリｊの相性度Ｍｊを算出することができる。例えば、顔型のクラスが「三角顔」、「面長顔」、「丸顔」および「四角顔」の４つである場合、下記の式（１）は下記の式（２）で表される。なお、下記の式（２）では、一例として、バイアス値が７０に設定された場合が示されている。

相性度Ｍｊ（％）＝確信度Ｃｉと相性スコアＳｉｊの内積×（１００－バイアス値）＋バイアス値・・・（１）
＝（三角顔の確信度×三角顔の外観カテゴリｊの相性スコア＋面長顔の確信度×面長顔の外観カテゴリｊの相性スコア＋丸顔の確信度×丸顔の外観カテゴリｊの相性スコア＋四角顔の確信度×四角顔の外観カテゴリｊの相性スコア）×３０＋７０・・・（２）

このように顔型別の確信度を用いるのは、ユーザＵの顔が１つの顔型の特徴しか持たないとは限らないからである。例えば、上述の例の通り、顔型判定モデルから三角顔の確信度「０．３０」、面長顔の確信度「０．０５」、丸顔の確信度「０．６０」および四角顔の確信度「０．０５」が出力されたとき、ユーザＵの顔は、丸顔と三角顔の特徴を併せ持つと言える。この場合、クラスの分類結果だけを用いたのでは、確信度が最高でない三角顔の特徴が無視された状態で相性度が評価されることになる。このような評価を避ける側面から、相性度の算出には、顔型別の確信度を用いる。

さらに、相性度の算出にバイアス値を設定するのは、著しく低い値を相性度として提供するのを抑制するためである。なぜなら、相性度は、ユーザＵに似合うＥＣ商品をレコメンドする側面から提供されるものであってユーザＵにＥＣ商品が似合わないことをあえて通知するためのものではないからである。例えば、上述の例の通り、バイアス値が７０に設定された場合、相性度の値を７０％～９４％の範囲に正規化できる。

このようにして相性度が算出された場合、端末装置１０は、当該相性度を提供する（ステップＳ５）。例えば、外観カテゴリごとに算出された相性度のうち最高の相性度を提供する。図１の例で言えば、ＥＣ商品「メガネ」の外観カテゴリのうち外観カテゴリ「ボストン」の相性度「８８％」が最高である場合が示されている。

この場合、バーチャル試着ページ３２０のカメラ映像の表示エリア３２２には、相性度「８８％」の標示３２４が表示される。さらに、最高の相性度を有する外観カテゴリ「ボストン」に対応するＥＣ商品「メガネ」の標示３２５が相性度の算出対象とされた動画像あるいは静止画上のユーザＵの装着部位に重畳して表示される。例えば、重畳表示は、一例として、メガネの左右のレンズの中心と、ユーザＵの左右の瞳の瞳孔中心とを対応付けることにより実現できる。

このような重畳表示により、ユーザＵによるＥＣ商品「メガネ」のバーチャル試着が実現される。以下、ＥＣ商品が動画像または静止画上の装着部位に重畳表示された画像のことを「試着画像」と記載する場合がある。

ここで、ユーザＵの顔画像、あるいはバストアップ画像に重畳表示されるＥＣ商品「メガネ」の標示３２５は、外観カテゴリ「ボストン」に属するテンプレートがＶＲ（Virtual Reality）化されたテンプレート画像であってよい。また、ＥＣ商品「メガネ」の標示３２５は、外観カテゴリ「ボストン」に属する実製品がＶＲ化された商品画像であってもよい。このように実製品を重畳表示させる場合、一例として、上記のショッピングモールサービスに取引対象として出品登録されたＥＣ商品のうち出品登録の日時が最新であるＥＣ商品を選択することができる。

さらに、カメラ映像の表示エリア３２２のうち、中央よりも下側の領域、例えばユーザＵの顔パーツ「口」よりも下側に位置する可能性が高い領域に、外観カテゴリ、あるいは外観カテゴリに対応するＥＣ商品のサムネイル群３２６Ａ～３２６Ｃが表示される。

これらサムネイル群の位置や大きさは、一例として、相性度により制御される。例えば、試着中、言い換えれば最高の相性度を有する外観カテゴリのサムネイルを中心に配置し、相性度が高い外観カテゴリほど中心に近づけて他のサムネイルが配置される。さらに、試着中の外観カテゴリのサムネイルは、他の外観カテゴリよりも大きいサイズで表示される。図１の例で言えば、試着中の外観カテゴリ「ボストン」のサムネイル３２６Ａが中心に配置される。また、試着中の外観カテゴリ「ボストン」のサムネイル３２６Ａの左側には、２番目に相性度が高い外観カテゴリ「ラウンド」のサムネイル３２６Ｂが配置される。さらに、試着中の外観カテゴリ「ボストン」のサムネイル３２６Ａの右側には、３番目に相性度が高い外観カテゴリ「フォックス」のサムネイル３２５Ｃが配置される。これらサムネイル群３２６Ａ～３２６Ｃのうち、試着中の外観カテゴリのサムネイル３２６Ａは、他の外観カテゴリのサムネイル３２６Ｂ及び３２６Ｃよりも大きいサイズで表示される。

このようなサムネイル群３２６Ａ～３２６Ｃの操作により、試着中の外観カテゴリを切り替えることができる。例えば、試着中でない外観カテゴリのサムネイルを左右方向の中央にスワイプさせることにより、中心にスワイプされた外観カテゴリ、あるいは外観カテゴリに対応するＥＣ商品に関する相性度表示および重畳表示を実行することができる。この他、サムネイルに対するタップを受け付けることにより、試着中の外観カテゴリを切り替えることもできる。

これらサムネイル群３２６Ａ～３２６Ｃに加えて、メガネフレームの色を切り替えるカラーアイコン３２７Ａ～３２７Ｄが配置される。例えば、図１には、４つのカラーアイコン３２７Ａ～３２７Ｄのうち、ハッチングの外周部が白色で縁取られたカラーアイコン３２７Ｃが選択中である例が示されている。この場合、試着中のＥＣ商品「メガネ」の標示３２５においてメガネフレームがカラーアイコン３２７Ｃに対応する色で表示される。

さらに、バーチャル試着ページ３２０には、試着中である外観カテゴリに対応するＥＣ商品リストの表示をリクエストする「メガネを探す」のボタン３２８が含まれる。

このような「メガネを探す」のボタン３２８に対する操作を受け付けることにより、端末装置１０は、試着中である外観カテゴリに対応するＥＣ商品リストを提供する（ステップＳ６）。

例えば、「メガネを探す」のボタン３２８が外観カテゴリ「ボストン」が試着中である状態で操作された場合、商品カテゴリが「メガネ」であり、外観カテゴリ「ボストン」に対応するＥＣ商品が検索される。このようなカテゴリ検索にヒットするＥＣ商品のリストを含むページがモールＡＰＰにより表示される。

このようなＥＣ商品のリストの他、図示しないＵＩを介して、ＥＣ商品が静止画上の装着部位に重畳して表示された試着画像のダウンロードやＳＮＳ（Social Networking Service）のシェアなどのリクエストを受け付けることもできる。

以上のように、本実施形態にかかるバーチャル試着機能は、試着画像上でユーザＵの外観の特徴とＥＣ商品とがマッチする度合を示す相性度を提供する。したがって、ユーザに相応しい商品であるか否かを評価する基準を提供できる。

さらに、上記のステップＳ１から上記のステップＳ６までの一連の処理により、上記のショッピングモールサービスのトップページからユーザＵの外観の特徴との相性度が高いＥＣ商品のリストを含むページへ誘導できる。加えて、トップページからの誘導が商品カテゴリのユーザ設定またはシステム設定により実現されるので、ユーザＵが自身に相応しいＥＣ商品を探し出す手間を省略できる。

〔２．情報処理システム〕
図２は、情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、端末装置１０Ａ～１０Ｎと、ショッピングモールサーバ５０とを備える。

端末装置１０Ａ～１０Ｎと、ショッピングモールサーバ５０とは、ネットワークＮＷを介して無線または有線で互いに通信可能に接続される。また、端末装置１０Ａ～１０Ｎの間でも、ネットワークＮＷを介して通信することができる。ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）や、インターネットなどのＷＡＮ（Wide Area Network）である。なお、図２に示す端末装置１０の台数は、あくまでも例示であって限定されるものではない。

ショッピングモールサーバ５０は、上記のショッピングモールサービスを提供するコンピュータの一例である。例えば、ショッピングモールサーバ５０は、Ｗｅｂサーバ等により実現される。上記のショッピングモールサービスは、オンプレ環境またはクラウド環境のいずれで提供されることとしてもよい。

また、端末装置１０Ａ～１０Ｎを区別しない場合には、単に端末装置１０と表記する場合がある。

以下、端末装置１０の構成について具体的に説明する。

〔３．端末装置１０〕
図３は、端末装置１０の構成例を示す図である。図３に示すように、端末装置１０は、通信部１１と、表示部１２と、入力部１３と、撮像部１４と、記憶部１５と、制御部１６とを備える。

〔３．１．通信部１１〕
通信部１１は、ネットワークＮＷと有線または無線で接続され、他の端末装置１０やショッピングモールサーバ５０などとの間で情報の送受信を行う。例えば、通信部１１は、ＮＩＣ（Network Interface Card）等によって実現される。

〔３．２．表示部１２〕
表示部１２は、上記したトップページ３１０やバーチャル試着ページ３２０など各種の情報等を表示する表示デバイスである。例えば、表示部１２は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイである。また、表示部１２は、タッチパネル式のディスプレイであるが、これに限定されるものではない。

〔３．３．入力部１３〕
入力部１３は、ユーザＵから各種操作を受け付ける入力デバイスである。入力部１３は、例えば、文字や数字などを入力するためのボタン等を有する。また、表示部１２がタッチパネル式のディスプレイである場合、表示部１２の一部が入力部１３として機能する。

〔３．４．撮像部１４〕
撮像部１４は、静止画、あるいは動画像を撮像する処理部である。例えば、撮像部１４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載するカメラにより実現できる。このようなカメラの例として、インカメラやアウトカメラが挙げられる。

〔３．５．記憶部１５〕
記憶部１５は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。かかる記憶部１５には、各種プログラムやブログラムが使用するデータなどが記憶される。

〔３．６．制御部１６〕
制御部１６は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。また、制御部１６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路等のハードウェアで構成されてもよい。制御部１６は、取得部１６Ａと、抽出部１６Ｂと、算出部１６Ｃと、提供部１５Ｄとを備える。

〔３．６．１．取得部１６Ａ〕
取得部１６Ａは、動画像を取得する。１つの側面として、取得部１６Ａは、図１に例示されるトップページ３１０上でバーチャル試着のリクエストを受け付けた場合、動画像の取得を開始できる。例えば、バーチャル試着のリクエストが受け付けられることによりトップページ３１０から遷移されたバーチャル試着ページ３２０でカメラアイコン３２１に対する操作を受け付けた場合、取得部１６Ａは、撮像部１４へ動画像のキャプチャ開始を指示する。これにより、動画像のキャプチャが開始される。このように取得部１６Ａにより取得される動画像は、バーチャル試着ページ３２０のカメラ映像の表示エリア３２２に表示される。

〔３．６．２．抽出部１６Ｂ〕
抽出部１６Ｂは、取得部１６Ａにより取得された動画像から利用者の外観の特徴を抽出する。あくまで一例として、抽出部１６Ｂは、図１で例示した通り、ユーザＵの外観の特徴として、ユーザＵの顔の輪郭を抽出する。例えば、顔の輪郭は、任意の画像解析技術を取得部１６Ａにより取得される動画像に適用されることにより抽出することができる。このような画像解析技術を実現する画像解析エンジンの一例として、フェイストラッキングが挙げられる。フェイストラキングが動画像に適用されることにより、当該動画像に含まれる静止画のフレームごとに顔の輪郭の他、顔の向きや傾き、大きさ、さらには顔の造作、例えば目や鼻、口、眉といった顔パーツの位置や大きさなどが得られる。

〔３．６．３．算出部１６Ｃ〕
算出部１６Ｃは、抽出部１６Ｂにより抽出された利用者の外観の特徴と、上記のショッピングモールサービスで取引対象とされるＥＣ商品との相性度を算出する。あくまで一例として、算出部１６Ｃは、顔の輪郭等の顔の特徴量を顔型判定モデルへ入力して得られる複数の顔型別の確信度と、ＥＣ商品の外観カテゴリごとに付与された複数の顔型別の相性スコアとに基づいて各外観カテゴリの相性度を算出する。このように顔型判定モデルへ入力される顔の特徴量として、動画像に含まれる静止画のフレームの中から顔の向きや傾きが最も正面寄りと識別される静止画から得られる顔の特徴量が選択される。

例えば、算出部１６Ｃは、上記の式（１）にしたがって顔型ｉの確信度と顔型ｉの相性スコアを合成することにより外観カテゴリｊの相性度Ｍｊを算出することができる。より具体的には、顔型のクラスが「三角顔」、「面長顔」、「丸顔」および「四角顔」の４つである場合、上記の式（１）は下記の式（２）で表される。

ここでは、あくまで一例として、相性スコアのプリセットを行う労力を軽減する側面から、ＥＣ商品の外観カテゴリごとに当該外観カテゴリとユーザＵの顔の輪郭との相性度を算出する例を挙げたが、これに限定されない。例えば、上述の例では、複数の顔型別の相性スコアが外観カテゴリごとに設定される例を挙げたが、ＥＣ商品ごとに複数の顔型別の相性スコアが設定されることとしてもよい。この場合、相性度を算出する粒度を最大でＥＣ商品１つずつまで細分化できる。

なお、上記の顔型判定モデルや相性スコアのプリセットデータは、モールＡＰＰのダウンロード時に取得することとしてもよいし、バーチャル試着の初回のリクエストの受付時に取得することとしてもよい。

〔３．６．４．提供部１６Ｄ〕
提供部１６Ｄは、算出部１６Ｃにより算出された相性度を提供する。１つの側面として、提供部１６Ｄは、図１のバーチャル試着ページ３２０に例示した通り、最高の相性度を有する外観カテゴリ「ボストン」に対応するＥＣ商品「メガネ」の標示３２５を相性度の算出対象とされた静止画上のユーザＵの装着部位に重畳表示する。このように標示３２５が重畳表示された試着画像に関連付けて、提供部１６Ｄは、外観カテゴリのうち最高の相性度「８８％」の標示３２４を表示する。

このような試着画像の表示後、提供部１６Ｄは、各外観カテゴリのサムネイル群３２６Ａ～３２６Ｃに対する操作を介して、試着中の外観カテゴリの切り替えを受け付けることもできる。例えば、試着中でない外観カテゴリのサムネイルを左右方向の中央にスワイプされた場合、提供部１６Ｄは、中心にスワイプされた外観カテゴリ、あるいは外観カテゴリに対応するＥＣ商品に関する相性度表示および重畳表示を再実行することができる。この再実行時には、算出部１６Ｃにより算出済みである相性度を用いることもできれば、新たな動画像または静止画から再算出された相性度を用いることもできる。

また、提供部１６Ｄは、試着中である外観カテゴリに対応するＥＣ商品リストの表示のリクエストを受け付けることもできる。図１に示す例で言えば、「メガネを探す」のボタン３２８が外観カテゴリ「ボストン」が試着中である状態で操作された場合、提供部１６Ｄは、商品カテゴリが「メガネ」であり、外観カテゴリ「ボストン」に対応するＥＣ商品を検索する。このようなカテゴリ検索は、検索条件とする商品カテゴリ「メガネ」および外観カテゴリ「ボストン」を含む検索リクエストをショッピングモールサーバ５０に通知することで、ショッピングモールサーバ５０にカテゴリ検索を実行させることとしてもよい。この結果、提供部１６Ｄは、当該カテゴリ検索にヒットするＥＣ商品のリストを含むページを表示部１２に表示させる。

〔４．端末装置１０の動作〕
次に、本実施形態に係る端末装置１０の動作について、図４を用いて説明する。図４は、バーチャル試着の処理手順の一例を示すフローチャートである。

図４に示すように、バーチャル試着のリクエストを受け付けると（ステップＳ１０１）、取得部１６Ａは、動画像を取得する（ステップＳ１０２）。

次いで、抽出部１６Ｂは、ステップＳ１０２で取得された動画像にフェイストラキングを実行することにより、当該動画像に含まれる静止画のフレームごとに顔の輪郭を顔の特徴量として抽出する（ステップＳ１０３Ａ）。なお、ステップＳ１０３Ａでは、フレームごとに顔の特徴量が抽出される例を挙げたが、所定数のフレームごとに顔の特徴量が抽出されることとしてもよい。

続いて、算出部１６Ｃは、ステップＳ１０３Ａで静止画のフレームごとに抽出された顔の特徴量のうち顔の向きや傾きが最も正面寄りと識別される静止画から抽出された顔の特徴量を選択する（ステップＳ１０４Ａ）。

これらステップＳ１０３Ａ及びステップＳ１０４Ａと並行または同時のタイミングで、算出部１６Ｃは、下記のステップＳ１０３Ｂの処理を実行することができる。例えば、ステップＳ１０３Ｂでは、算出部１６Ｃは、全ての商品カテゴリのＥＣ商品のうち相性度の算出対象とするＥＣ商品の商品カテゴリの設定をユーザ設定またはシステム設定により受け付けることができる（ステップＳ１０３Ｂ）。

その後、算出部１６Ｃは、ステップＳ１０４Ａで選択された顔の特徴量を顔型判定モデルへ入力して得られる顔型別の確信度と、ＥＣ商品の外観カテゴリごとに付与された顔型別の相性スコアとに基づいて各外観カテゴリの相性度を算出する（ステップＳ１０５）。

次いで、算出部１６Ｃは、ステップＳ１０５で算出された相性度のうち最高の相性度を有する外観カテゴリを選択する（ステップＳ１０６）。

続いて、提供部１６Ｄは、ステップＳ１０６で選択された最高の相性度を有する外観カテゴリに対応するＥＣ商品をステップＳ１０４Ａで選択された顔の特徴量の抽出に用いられた静止画上のユーザＵの装着部位に重畳表示する（ステップＳ１０７）。これと共に、提供部１６Ｄは、ステップＳ１０７で重畳表示される試着画像に関連付けて、外観カテゴリのうちステップＳ１０６で選択された外観カテゴリの相性度を表示する（ステップＳ１０８）。

そして、図１に例示された外観カテゴリのサムネイル群３２６Ａ～３２６Ｃに対する操作を介して試着中の外観カテゴリの切り替えを受け付けると（ステップＳ１０９Ｙｅｓ）、提供部１６Ｄは、次のような処理を実行する。すなわち、提供部１６Ｄは、ステップＳ１０９で切り替えられた外観カテゴリの相性度の表示および当該外観カテゴリに対応するＥＣ商品の重畳表示を再実行する（ステップＳ１０７およびステップＳ１０８）。

その後、試着中である外観カテゴリに対応するＥＣ商品リストの表示のリクエストを受け付けると（ステップＳ１１０Ｙｅｓ）、提供部１６Ｄは、次のような処理を実行する。すなわち、提供部１６Ｄは、ステップＳ１０３Ｂで設定を受け付けた商品カテゴリおよびステップＳ１０６またはステップＳ１０９で選択された外観カテゴリに対応するＥＣ商品のリストを表示部１２に表示させる（ステップＳ１１１）。

〔５．効果〕
端末装置１０は、取得部１６Ａと、抽出部１６Ｂと、算出部１６Ｃと、提供部１６Ｄとを備える。例えば、取得部１６Ａは、動画像を取得する。抽出部１６Ｂは、取得部１６Ａにより取得された動画像から利用者の外観の特徴を抽出する。算出部１６Ｃは、抽出部１６Ｂにより抽出された利用者の外観の特徴と、上記のショッピングモールサービスで取引対象とされるＥＣ商品との相性度を算出する。提供部１６Ｄは、算出部１６Ｃにより算出された相性度を提供する。したがって、ユーザに相応しい商品であるか否かを評価する基準を提供できる。

さらに、提供部１６Ｄは、算出部１６Ｃにより外観カテゴリごとに算出された相性度のうち最高の相性度を提供する。これにより、ＥＣ商品のうちユーザＵに相応しいＥＣ商品を取捨選択するフィルタリングを実現できる。加えて、提供部１６Ｄは、相性度が最高である外観カテゴリに対応する商品のリストを提供する。これらフィルタリングおよびリスト提供により、一例として、上記のショッピングモールサービスのトップページからユーザＵの外観の特徴との相性度が高いＥＣ商品のリストを含むページへ誘導できる。

〔６．応用例〕
上述の実施形態は一例を示したものであり、種々の応用が可能である。以下、上記の実施形態の応用例について説明する。

〔６．１．商品詳細ページからの誘導〕
図１では、トップページ３１０からＥＣ商品のリストを含むページへ誘導する例を挙げたが、これは例示に過ぎない。例えば、あるＥＣ商品の詳細を表示する商品詳細ページから当該ＥＣ商品の購入手続きへの誘導も実現することができる。

図５は、商品詳細ページ３３０の一例を示す図である。図５には、一例として、外観カテゴリ「ボストン」に属するＥＣ商品「メガネＡ」に関する商品詳細ページ３３０が示されている。図５に示すように、商品詳細ページ３３０には、商品写真の表示エリア３３１と、商品詳細の表示エリア３３２と、「Ｗｅｂで試着」のボタン３３３と、「カートに入れる」のボタン３３４とが含まれる。

商品写真の表示エリア３３１には、外観カテゴリ「ボストン」に属するＥＣ商品「メガネＡ」の商品写真が含まれる。さらに、商品写真の表示エリア３３１には、ＥＣ商品「メガネＡ」のバーチャル試着のリクエストを受け付けるアイコン３３１Ａが含まれる。

商品詳細ページ３３０には、外観カテゴリ「ボストン」、ＥＣ商品「メガネＡ」および販売価格「５５００円」などの詳細情報が含まれる。

「Ｗｅｂで試着」のボタン３３３は、上記のアイコン３３１Ａと同様、ＥＣ商品「メガネＡ」のバーチャル試着のリクエストを受け付けるＧＵＩコンポーネントである。

「カートに入れる」のボタン３３４は、ＥＣ商品「メガネＡ」を購入（注文）予定のＥＣ商品が格納されるリストに保存するリクエストを受け付けるＧＵＩコンポーネントである。

これら「バーチャル試着」のアイコン３３１Ａまたは「Ｗｅｂで試着」のボタン３３３のいずれかに対する操作を介して、ＥＣ商品「メガネＡ」に関するバーチャル試着のリクエストを受け付けることができる。

このように商品詳細ページ３３０に配置されたアイコン３３１Ａまたはボタン３３３のいずれかに対する操作が行われた場合、モールＡＰＰによる画面表示は、図５に示す商品詳細ページ３３０から図６に示すバーチャル試着ページ３４０へ遷移する。

図６は、バーチャル試着ページ３４０の一例を示す図である。図６に示すように、バーチャル試着ページ３４０には、カメラアイコン３４１が含まれる。このカメラアイコン３４１に対する操作を受け付けた場合、取得部１６Ａは、動画像のキャプチャの開始を撮像部１４に指示する。このように取得部１６Ａにより取得される動画像は、バーチャル試着ページ３４０のカメラ映像の表示エリア３４２に表示される。

その後、抽出部１６Ｂは、取得部１６Ａにより取得された動画像にフェイストラキングを実行することにより、当該動画像に含まれる静止画のフレームごとに顔の輪郭を顔の特徴量として抽出する。そして、算出部１６Ｃは、静止画のフレームごとに抽出される顔の特徴量のうち顔の向きや傾きが最も正面寄りと識別される静止画から抽出された顔の特徴量を選択する。

その上で、算出部１６Ｃは、先に選択された顔の特徴量を顔型判定モデルへ入力して得られる顔型別の確信度と、ＥＣ商品の外観カテゴリごとに付与された顔型別の相性スコアとに基づいて各外観カテゴリの相性度を算出する。

このとき、選択中のＥＣ商品「メガネＡ」に対応する外観カテゴリ「ボストン」に絞って相性度を算出することもできるが、他の外観カテゴリの相性度の方が高い場合にそのＥＣ商品をレコメンドする側面から各外観カテゴリの相性度を算出する例を挙げる。

その後、提供部１６Ｄは、選択中のＥＣ商品「メガネＡ」に対応する外観カテゴリ「ボストン」に対応するＥＣ商品の標示３４３をバーチャル試着ページ３４０のカメラ映像の表示エリア３４２に含まれる静止画上のユーザＵの装着部位に重畳表示する。これと共に、提供部１６Ｄは、標示３４３が重畳表示された試着画像に関連付けて、外観カテゴリのうち選択中のＥＣ商品「メガネＡ」に対応する外観カテゴリ「ボストン」の相性度「８５％」の標示３４４を表示する。

さらに、提供部１６Ｄは、カメラ映像の表示エリア３４２と、選択中のＥＣ商品「メガネＡ」が属する外観カテゴリ「ボストン」以外の他の外観カテゴリのサムネイルの表示領域３４６との境界部に、当該外観カテゴリ「ボストン」のサムネイル３４５を表示する。さらに、提供部１６Ｄは、他の外観カテゴリのサムネイルの表示領域３４６に、試着中の外観カテゴリを切り替えるサムネイル群を表示すると共にメガネフレームの色を切り替えるカラーアイコン３４６Ａ～３４６Ｄを表示する。

ここで、提供部１６Ｄは、選択中のＥＣ商品「メガネＡ」に対応する外観カテゴリ「ボストン」の相性度「８５％」よりも高い相性度を有する外観カテゴリのサムネイルをレコメンド領域３４７にさらに表示する。

このように、ユーザＵは、ＥＣ商品の中からユーザＵ自身に似合うものを必ずしも選択できるとは限らない。例えば、ＥＣ商品が多種多様にわたることが一因となったり、ユーザＵが自身の顔の特徴を正確に把握できていないことが一因となったり、ユーザＵの顔の特徴がどのような外観カテゴリにマッチするかという知識不足が一因となったりする。このようなケースにおいてユーザＵが選択するＥＣ商品の外観カテゴリよりもユーザＵに似合う外観カテゴリのＥＣ商品のレコメンドを実現できる。

さらに、提供部１６Ｄは、バーチャル試着ページ３４０のカート誘導エリア３４８には、選択中のＥＣ商品「メガネＡ」およびその販売価格「５５００円」と共に、「カートに入れる」のボタン３３４を表示する。例えば、「カートに入れる」のボタン３３４に対する操作を受け付けた場合、ＥＣ商品「メガネＡ」が購入（注文）予定のＥＣ商品が格納されるリストに保存される。

このような「カートに入れる」のボタン３３４の配置により、ユーザＵがＥＣ商品「メガネＡ」のバーチャル試着の結果に満足した段階で即座にカート機能を利用させることができる。

〔６．２．メガネフレーム以外の外観カテゴリ〕
上記の実施形態では、ＥＣ商品「メガネ」の外観カテゴリとして、メガネフレームの種類を例示したが、これに限定されない。例えば、ＥＣ商品「メガネ」の外観カテゴリには、メガネフレームの種類以外にも、メガネレンズの色やメガネレンズの色の濃さ、メガネフレームの色などが含まれてよい。

このように複数の外観カテゴリを相性度の算出に用いる場合、メガネフレームの種類、メガネレンズの色、メガネレンズの色の濃さ及びメガネフレームの色のうち少なくともいずれか１つを含む外観カテゴリの組合せごとに複数の顔型別の相性スコアを設定することができる。例えば、メガネフレームの形状を８種類とし、メガネレンズを３色とし、メガネレンズの色の濃さを３段階とし、メガネフレームの色を４種類としたとき、外観カテゴリの組合せは２８８通りとなる。この場合、２８８通りの相性スコアが設定される。このように外観カテゴリを細分化して相性スコアを設定することにより、相性度算出の高精度化を実現できる。

〔６．３．顔の輪郭以外の顔の特徴〕
上記の実施形態では、相性度の算出に用いる顔の外観特徴として、顔の輪郭を例示したが、これに限定されない。例えば、顔の外観特徴には、顔の輪郭以外にも、肌の色や性別、年代が含まれてよい。

このように複数の顔の外観特徴を相性度の算出に用いる場合、顔型、肌の色、性別および年代のうち少なくともいずれか１つを含む組合せ別の相性スコアを外観カテゴリ別に設定することができる。例えば、顔型を「三角顔」、「面長顔」、「丸顔」および「四角顔」の４クラスとし、肌の色を８クラスとし、性別のクラスを「男性」および「女性」の２クラスとし、年代を「１０代」、「２０代」、「３０代」、「４０代」および「５０代」の５クラスとする。この場合、顔の外観特徴の組合せは、３２０通りとなる。さらに、３２０通りの顔の外観特徴の組合せ別の相性スコアがメガネフレームの外観カテゴリ８種類ごとに設定されるので、２５６０通りの相性スコアが設定される。このように顔の外観特徴の種類を細分化して相性スコアを設定することでも、相性度算出の高精度化を実現できる。

〔６．４．コスメの相性度〕
上記の実施形態では、ＥＣ商品の商品カテゴリの一例として、メガネとユーザＵの顔の外観特徴との相性度を算出する例を挙げたが、これに限定されない。例えば、端末装置１０は、コスメとユーザＵの顔の外観特徴との相性度を算出することもできる。具体的には、算出部１６Ｃは、抽出部１６Ｂにより抽出された肌の色と、ＥＣ商品「コスメ」の外観カテゴリごとに付与された肌の色別の相性スコアとに基づいて相性度を算出する。例えば、コスメの外観カテゴリの例として、コスメの色の種類が挙げられる。あくまで一例として、肌の色を８クラスとし、コスメの色を８色としたとき、６４通りの相性スコアが設定される。このような相性スコアの下、メガネの相性度を算出する式（１）や式（２）において「顔型」を「肌の色」と読み替えると共に「メガネフレームの種類」を「コスメの色の種類」と読み替える。これにより、コスメの相性度の算出時も上記の式（１）及び上記の式（２）を同様に適用できる。

さらに、当然のことながら、コスメの相性度の算出に用いる顔の外観特徴として、肌の色を例示したが、これに限定されない。例えば、顔の外観特徴には、肌の色以外にも、性別や年代、顔パーツが顔上で位置するレイアウトパターンなどが含まれてよい。

このように複数の顔の外観特徴をコスメの相性度の算出に用いる場合、肌の色、性別および年代のうち少なくともいずれか１つを含む組合せ別の相性スコアを外観カテゴリ別に設定することができる。例えば、肌の色を８クラスとし、性別のクラスを「男性」および「女性」の２クラスとし、年代を「１０代」、「２０代」、「３０代」、「４０代」および「５０代」の５クラスとする。さらに、目や口、鼻、眉などの顔パーツが顔上で位置するレイアウトパターンを５クラスとする。この場合、顔の外観特徴の組合せは、４００通りとなる。さらに、４００通りの顔の外観特徴の組合せ別の相性スコアがコスメの色の外観カテゴリ８種類ごとに設定されるので、３２００通りの相性スコアが設定される。このように顔の外観特徴の種類を細分化してコスメの相性スコアを設定することでも、相性度算出の高精度化を実現できる。

〔６．５．外観特徴の抽出から相性度算出までのフレームワーク化〕
本実施形態にかかる端末装置１０では、動画像または動画像に含まれる静止画を入力として前記相性度を出力する機械学習モデルを用いて、抽出部１６Ｂによる外観特徴の抽出から算出部１６Ｃによる相性度算出までの一連の処理をフレームワーク化できる。

〔６．５．１．機械学習モデルの訓練方法１〕
あくまで一例として、上記の機械学習モデルは、ＥＣ商品とモデルが関連付けられた動画像または静止画などの画像を正例の訓練データとして用いる機械学習を実行することにより生成できる。ここで言う「モデル」の一例には、いわゆるファッションモデルが対応し得る。例えば、訓練データの画像は、ファッションモデルのアカウントに対応する試着画像を収集したり、ニュースサイトやＳＮＳサイトからファッションモデルのアカウントでＥＣ商品が装着された画像を収集したりすることで取得できる。このような画像を正例の訓練データとし、ファッションモデル以外の人がＥＣ商品を装着する画像を負例の訓練データとして、任意の機械学習のアルゴリズムで機械学習モデルを訓練する。例えば、正例の訓練データが機械学習モデルへ入力された場合、機械学習モデルが出力する相性度と正例のラベル、例えば１００％との損失に基づいて機械学習モデルのパラメータを更新する。一方、負例の訓練データが機械学習モデルへ入力された場合、機械学習モデルが出力する相性度と負例のラベル、例えば７０％との損失に基づいて機械学習モデルのパラメータを更新する。このように正例の訓練データおよび負例の訓練データを用いて機械学習モデルのパラメータをＥＣ商品ごとまたは外観カテゴリごとに訓練することにより、ＥＣ商品単位または外観カテゴリ単位で相性度を算出できる。

〔６．５．２．機械学習モデルの訓練方法２〕
他の一例として、上記の機械学習モデルは、ユーザとユーザにより購入されたＥＣ商品とが関連付けられた動画像または静止画などの画像を正例の訓練データとして用いる機械学習を実行することにより生成できる。例えば、訓練データの画像は、ユーザの試着画像のうち購入手続き、あるいは決済処理が行われた試着画像を収集することで取得できる。このような画像を正例の訓練データとし、試着画像のうち購入手続きや決済処理が行われなかった試着画像を負例の訓練データとして、任意の機械学習のアルゴリズムで機械学習モデルを訓練する。例えば、正例の訓練データが機械学習モデルへ入力された場合、機械学習モデルが出力する相性度と正例のラベル、例えば１００％との損失に基づいて機械学習モデルのパラメータを更新する。一方、負例の訓練データが機械学習モデルへ入力された場合、機械学習モデルが出力する相性度と負例のラベル、例えば７０％との損失に基づいて機械学習モデルのパラメータを更新する。このように正例の訓練データおよび負例の訓練データを用いて機械学習モデルのパラメータをＥＣ商品ごとまたは外観カテゴリごとに訓練することにより、ＥＣ商品単位または外観カテゴリ単位で相性度を算出できる。

〔６．５．３．機械学習モデルの訓練方法２〕
上記の機械学習モデルの訓練方法１および上記の機械学習モデルの訓練方法２は、組み合わせて実施することもできる。さらに、上記の機械学習モデルの訓練方法１および上記の機械学習モデルの訓練方法２で例示した訓練データのうち、機械学習モデルの訓練が実行される時点から遡及して作成日時が所定の期間、例えば３か月以内の訓練データを機械学習モデルの訓練に使用できる。この際、訓練データの画像の作成日時として、ニュースサイトやＳＮＳの投稿日時、あるいは画像のメタデータに含まれる撮影日時などを参照することができる。このように機械学習モデルの訓練に使用する訓練データを所定の期間以内に作成されたものに絞り込むことで、トレンドを反映する機械学習モデルを生成できる。

〔６．６．ＥＣ商品の商品カテゴリ〕
上述の実施形態では、バーチャル試着が適用されるＥＣ商品の商品カテゴリの例として、メガネやイヤリング、ピアス、コスメを挙げたが、これに限定されない。これ以外にも、ヘッドホンや帽子、メイク、かつらなどのＥＣ商品についても、ユーザＵの顔の外観特徴との相性度を算出することができる。さらに、衣類や指輪、靴などの衣類や装飾に限らず、インテリア等の人を含む環境を装飾する物品についても、ユーザＵの装着部位、あるいは全身の外観特徴、例えばシルエットとの相性度を算出することができる。

〔６．７．相性度の再算出〕
本実施形態にかかる端末装置１０は、任意のタイミングで相性度を再算出することができる。例えば、バーチャル試着ページ３２０または３４０上に相性度算出のリトライをリクエストするＧＵＩコンポーネントの操作を受け付けたり、所定のジェスチャコマンドを受け付けたりしたタイミングで相性度を再算出できる。

〔７．変形例〕
上述の実施形態は一例を示したものであり、種々の変形が可能である。以下、上記の実施形態の変形例について説明する。

〔７．１．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部５１は、取得手段や取得回路に読み替えることができる。

〔８．ハードウェア構成〕
上述した実施形態における端末装置１０は、例えば図７に示すような構成のコンピュータ１００がプログラムを実行することによって実現される。

図７は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。コンピュータ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ（Hard Disk Drive）１０４、通信インターフェイス（Ｉ／Ｆ）１０５、入出力インターフェイス（Ｉ／Ｆ）１０６、およびメディアインターフェイス（Ｉ／Ｆ）１０７を備える。

ＣＰＵ１０１は、ＲＯＭ１０３またはＨＤＤ１０４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１０３は、コンピュータ１００の起動時にＣＰＵ１０１によって実行されるブートプログラムや、コンピュータ１００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１０４は、ＣＰＵ１０１によって実行されるプログラムやプログラムによって使用されるデータ等を格納する。通信インターフェイス１０５は、通信部１１に対応し、ネットワークＮＷを介して他の機器からデータを受信してＣＰＵ１０１へ送り、ＣＰＵ１０１が生成したデータを、ネットワークＮを介して他の機器へ送信する。

ＣＰＵ１０１は、入出力インターフェイス１０６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１０１は、入出力インターフェイス１０６を介して、入力装置からデータを取得する。また、ＣＰＵ１０１は、生成したデータを、入出力インターフェイス１０６を介して出力装置へ出力する。

メディアインターフェイス１０７は、記録媒体１０８に格納されたプログラムまたはデータを読み取り、ＲＡＭ１０２を介してＣＰＵ１０１に提供する。ＣＰＵ１０１は、当該プログラムを、メディアインターフェイス１０７を介して記録媒体１０８からＲＡＭ１０２上にロードし、ロードしたプログラムを実行する。記録媒体１０８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

コンピュータ１００が端末装置１０として機能する場合、コンピュータ１００のＣＰＵ１０１は、ＲＡＭ１０２上にロードされたプログラムを実行することにより、図３に示す取得部１６Ａ、抽出部１６Ｂ、算出部１６Ｃ及び提供部１５Ｄの各機能を実現する。

コンピュータ１００のＣＰＵ１０１は、これらのプログラムを、記録媒体１０８から読み取って実行するが、他の例として、他の装置から、ネットワークＮＷを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

１ 情報処理システム
１０ 端末装置
１１ 通信部
１２ 表示部
１３ 入力部
１４ 撮像部
１５ 記憶部
１６ 制御部
１６Ａ 取得部
１６Ｂ 抽出部
１６Ｃ 算出部
１６Ｄ 提供部
５０ ショッピングモールサーバ

Claims (20)

1. 動画像を取得する取得手順と、
   前記取得手順により取得された動画像から利用者の外観の特徴を抽出する抽出手順と、
   前記抽出手順により抽出された利用者の外観の特徴と、電子商取引サービスで取引対象とされる商品との相性度を算出する算出手順と、
   前記算出手順により算出された相性度を提供する提供手順と
   をコンピュータに実行させることを特徴とする情報処理プログラム。
2. 前記算出手順は、前記電子商取引サービスで取引対象とされる商品の外観の特徴に応じて分類された外観カテゴリごとに前記相性度を算出することを特徴とする請求項１に記載の情報処理プログラム。
3. 前記提供手順は、前記算出手順により前記外観カテゴリごとに算出された相性度のうち最高の相性度を提供することを特徴とする請求項２に記載の情報処理プログラム。
4. 前記提供手順は、前記相性度が最高である外観カテゴリに対応する商品のリストを提供することを特徴とする請求項３に記載の情報処理プログラム。
5. 前記提供手順は、前記算出手順により前記外観カテゴリごとに算出された相性度のうち選択が受け付けられた選択商品の外観カテゴリの相性度を提供することを特徴とする請求項２に記載の情報処理プログラム。
6. 前記提供手順は、前記選択商品の外観カテゴリとは異なる他の外観カテゴリのうち前記選択商品の外観カテゴリの相性度よりも高評価である外観カテゴリの相性度を提供することを特徴とする請求項５に記載の情報処理プログラム。
7. 前記抽出手順は、前記利用者の顔の輪郭を抽出し、
   前記算出手順は、前記顔の輪郭から複数の顔型ごとに得られる確信度と、前記電子商取引サービスで取引対象とされるメガネの外観カテゴリごとに付与された前記複数の顔型別の相性スコアとに基づいて前記相性度を算出することを特徴とする請求項２～６のいずれか１つに記載の情報処理プログラム。
8. 前記外観カテゴリは、前記メガネのフレームの種類を含むことを特徴とする請求項７に記載の情報処理プログラム。
9. 前記外観カテゴリは、前記メガネのフレームの種類と、前記メガネのレンズの色、前記メガネのレンズの色の濃さまたは前記メガネのフレームの色との組合せを含むことを特徴とする請求項７に記載の情報処理プログラム。
10. 前記抽出手順は、前記顔の輪郭と、前記利用者の肌の色、前記利用者の性別または前記利用者の年代との組合せを抽出し、
    前記算出手順は、前記メガネの外観カテゴリごとに付与された前記組合せ別の相性スコアに基づいて前記相性度を算出することを特徴とする請求項７～９のいずれか１つに記載の情報処理プログラム。
11. 前記抽出手順は、前記利用者の肌の色を抽出し、
    前記算出手順は、前記抽出手順により抽出された肌の色と、前記電子商取引サービスで取引対象とされるコスメの外観カテゴリごとに付与された肌の色別の相性スコアとに基づいて前記相性度を算出することを特徴とする請求項２～６のいずれか１つに記載の情報処理プログラム。
12. 前記外観カテゴリは、前記コスメの色の種類を含むことを特徴とする請求項１１に記載の情報処理プログラム。
13. 前記抽出手順は、前記肌の色と、前記利用者の性別、前記利用者の年代または前記利用者の顔パーツが顔上で位置するレイアウトパターンとの組合せを抽出し、
    前記算出手順は、前記コスメの外観カテゴリごとに付与された前記組合せ別の相性スコアに基づいて前記相性度を算出することを特徴とする請求項１１または１２に記載の情報処理プログラム。
14. 前記抽出手順および前記算出手順は、動画像または動画像に含まれる静止画を入力として前記相性度を出力する機械学習モデルに、前記取得手順により取得される動画像または前記動画像に含まれる静止画を入力することを特徴とする請求項１～６のいずれか１つに記載の情報処理プログラム。
15. 前記機械学習モデルは、商品とモデルが関連付けられた動画像または静止画を正例の訓練データとする機械学習が実行されることにより生成されることを特徴とする請求項１４に記載の情報処理プログラム。
16. 前記機械学習モデルは、利用者と前記利用者により購入された商品とが関連付けられた動画像または静止画を正例の訓練データとする機械学習が実行されることにより生成されることを特徴とする請求項１４に記載の情報処理プログラム。
17. 前記訓練データは、前記機械学習が実行される時点から所定期間以内の動画像または静止画であることを特徴とする請求項１５または１６に記載の情報処理プログラム。
18. 前記提供手順は、前記動画像または前記動画像に含まれる静止画上の装着部位に重畳して表示された商品に関連付けて前記相性度を表示することを特徴とする請求項１～１７のいずれか１つに記載の情報処理プログラム。
19. コンピュータが実行する情報処理方法であって、
    動画像を取得する取得工程と、
    前記取得工程により取得された動画像から利用者の外観の特徴を抽出する抽出工程と、
    前記抽出工程により抽出された利用者の外観の特徴と、電子商取引サービスで取引対象とされる商品との相性度を算出する算出工程と、
    前記算出工程により算出された相性度を提供する提供工程と
    を含むことを特徴とする情報処理方法。
20. 動画像を取得する取得部と、
    前記取得部により取得された動画像から利用者の外観の特徴を抽出する抽出部と、
    前記抽出部により抽出された利用者の外観の特徴と、電子商取引サービスで取引対象とされる商品との相性度を算出する算出部と、
    前記算出部により算出された相性度を提供する提供部と
    を備えることを特徴とする情報処理装置。

Images