JP2021189752A - 情報処理装置、制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザの動作も考慮した推奨する情報を提供することを目的とする。【解決手段】情報処理装置は、ユーザを撮影した画像データに基づいて、ユーザの識別情報を取得する第１取得手段と、画像データに基づいて、ユーザの動作の状況を示す動作情報を取得する第２取得手段と、識別情報と動作情報とを関連付けたデータを送信する送信手段と、を備え、識別情報と動作情報とに基づいて推奨される商品の情報が、ユーザの端末に送信されることを特徴とする。【選択図】図４

Description

本発明は、情報処理装置、制御方法およびプログラムに関する。

近年、インターネット上のＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ）サイトで衣服を購入する消費者が増えている。また、ＥＣサイトは、ユーザによる購入を促すため、ユーザを撮影した画像に基づいて、ユーザに対して推奨する衣服を提示するシステムを採用しているものもある。関連する技術として、特許文献１の技術が提案されている。特許文献１の技術では、ユーザの身体を含むユーザ画像に基づいて、ユーザの体形情報を生成し、体形情報を用いて、選択された衣服の情報をユーザに提供している。

特開２０１９−１２８９２３号公報

特許文献１の技術では、ユーザ画像から生成された体形情報を用いて、推奨する衣服の情報をユーザに提供しているが、ユーザ情報は静的な情報である。しかしながら、ユーザに推奨する衣服の情報としては、静的な情報では依然として不十分である。例えば、静的な情報であるユーザ画像に基づいて推奨された衣服は、ユーザによっては、着脱が容易ではないというケースがあるという問題がある。かかる問題は、静的な情報に基づいて、ユーザに推奨する任意の情報の提供にも生じ得るものである。

本発明は、ユーザの動作も考慮した推奨する情報を提供することを目的とする。

上記目的を達成するために、本発明の情報処理装置は、ユーザを撮影した画像データに基づいて、前記ユーザの識別情報を取得する第１取得手段と、前記画像データに基づいて、前記ユーザの動作の状況を示す動作情報を取得する第２取得手段と、前記識別情報と前記動作情報とを関連付けたデータを送信する送信手段と、を備え、前記識別情報と前記動作情報とに基づいて推奨される商品の情報が、前記ユーザの端末に送信されることを特徴とする。

本発明によれば、ユーザの動作も考慮した推奨する情報を提供することができる。

第１実施形態のシステムの一例を示す図である。 ネットワークカメラのハードウェア構成を示すブロック図である。 学習モデルの入力および出力を示す図である。 システム全体のデータの流れを示す図である。 衣服データベースのテーブルの一例を示す図である。 ユーザ端末に表示される画面例を示す図である ネットワークカメラの処理の流れを示すフローチャートである。 第２実施形態のシステムの一例を示す図である。

以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
図１は、第１実施形態のシステムの一例を示す図である。ユーザ端末１０１は、スマートフォンやタブレット端末、パーソナルコンピューター等の端末であり、ユーザが所持する端末である。ユーザ端末１０１は、インターネット１００を介して、ＥＣサイトやＷｅｂサイトにアクセス可能である。ネットワークカメラ１０２は、撮影した画像から画像データを生成する撮像装置である。また、ネットワークカメラ１０２は、通信機能を有する。各実施形態では、ネットワークカメラ１０２は情報処理装置に対応する。ネットワークカメラ１０２は、撮影した画像を入力とした推定処理を行う機能を有し、推定結果等を含む各種の情報をインターネット１００に送信する。ネットワークカメラ１０２は、単体の撮像装置であってもよいし、ユーザ端末１０１と一体であってもよい。

アカウント管理サーバ１０３、衣服データベース１０４およびＷｅｂサーバ１０５は、ＥＣサイトを構成するサーバ群である。アカウント管理サーバ１０３と衣服データベース１０４とＷｅｂサーバ１０５とは１つのサーバにより実現されてもよい。アカウント管理サーバ１０３は、ＥＣサイトを利用するユーザに関するユーザ情報を管理する。ユーザ情報は、例えば、氏名やメールアドレス、電話番号、性別、年齢、服の購入履歴等を含む。ユーザ情報は、ユーザに関する他の情報を含んでもよい。アカウント管理サーバ１０３は、ユーザを特定する固有の識別ＩＤとユーザ情報とを関連付けて記憶して管理する。アカウント管理サーバ１０３は、インターネット１００を介して、ネットワークカメラ１０２から受信した識別ＩＤおよび推定結果を記憶する。

衣服データベース１０４は、ユーザが購入可能な衣服（商品）の情報を記憶するデータベースサーバである。例えば、衣服データベース１０４は、ＥＣサイトを運営している自社や他社のブランドショップ、生産業者や販売業者のアイテム等の衣服の情報を記憶する。ユーザは、ユーザ端末１０１に実装されるブラウザや記憶されたアプリケーション等を用いて、所定の操作を行う。ユーザ端末１０１は、ユーザ操作に基づくリクエスト（例えば、ＥＣサイトにアクセスするリクエスト）をＷｅｂサーバ１０５に送信する。Ｗｅｂサーバ１０５は、ユーザ端末１０１からのリクエストを受信する。Ｗｅｂサーバ１０５は、ユーザ端末１０１からのリクエストを受信すると、アカウント管理サーバ１０３や衣服データベース１０４と通信して情報を取得し、ＥＣサイトに関する各種の情報をユーザ端末１０１に送信する。これにより、ユーザ端末１０１は、アクセスしたＥＣサイトの画面を表示することができる。

図２は、ネットワークカメラ１０２のハードウェア構成を示すブロック図である。システムバス２０１は、画像データや撮影制御信号、指示信号等をネットワークカメラ１０２の各ブロックに送るための汎用バスである。ＣＰＵ２０２は、ネットワークカメラ１０２の各部の制御や、各部の間で行われるデータ転送の制御を行う。また、ＣＰＵ２０２は、ユーザからの操作を受け付ける入力部２０８からの入力信号に応じて、ネットワークカメラ１０２の各部を制御（例えば、電源をＯＮまたはＯＦＦにする制御等）を行う。ＣＰＵ２０２は、第１取得手段、第２取得手段および送信手段に対応する。

ＣＰＵ２０２は、ＭＰＵ（マイクロプロセッシングユニット）やＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートウェイ）、ＤＳＰ（デジタルシグナルプロセッサ）等であってもよい。また、ＣＰＵ２０２は、ＤＦＰ（データフロープロセッサ）やＮＰＵ（ニューラルプロセッシングユニット）等であってもよい。

ＲＯＭ２０３は、電気的に消去および記録が可能な不揮発性メモリである。ＲＯＭ２０３には、例えば、ＦｌａｓｈＲＯＭ等が適用され得る。ＲＯＭ２０３には、ネットワークカメラ１０２を制御するための制御プログラムが格納されている。ＲＡＭ２０４は、ＣＰＵ２０２の動作用の定数や変数、プログラム等を一時的に記憶するメモリである。また、ＲＡＭ２０４は、撮像部２０７で撮像して得られた一時的に画像データを記憶する。ＲＯＭ２０３に記憶された制御プログラムがＲＡＭ２０４に展開され、ＣＰＵ２０２がＲＡＭ２０４に展開された制御プログラムを実行することで、ネットワークカメラ１０２による各処理が実現される。

ＧＰＵ２０５は、積和演算等の演算を並列処理することで、高速な演算を行うグラフィックスプロセッシングユニットである。ネットワークカメラ１０２は、機械学習された学習モデルを用いて、推定処理を行う。推定処理は、ＣＰＵ２０２により行われてもよいし、ＧＰＵ２０５により行われてもよいし、ＣＰＵ２０２とＧＰＵ２０５との協働動作により行われてもよい。ＣＰＵ２０２により推定処理が行われる場合、ネットワークカメラ１０２には、ＧＰＵ２０５が内蔵されなくてもよい。推定処理については、後述する。ＮＩＣ２０６は、ネットワークインタフェースカードである。ネットワークカメラ１０２は、ＮＩＣ２０６を介して、ＥＣサイトを構成するアカウント管理サーバ１０３と通信を行うことができる。

撮像部２０７は、撮像光学系や撮像素子（ＣＭＯＳセンサ等）、撮像素子の周辺回路を含み、撮像光学系により形成された被写体像を電荷に変換して蓄積する。そして、撮像部２０７は、蓄積電荷を読み出して生成した電気信号としてのアナログ撮像信号をデジタル撮像信号に変換して各種画像処理を施し、画像データを生成する。表示部２０９は、撮影した画像（撮影画像）を表示する。また、ネットワークカメラ１０２を用いて、衣服の購入（ショッピング）を行うこともできる。この場合、表示部２０９は、ＥＣサイトにアクセスして得られた情報に基づいて、衣服を購入するための情報を表示する。

次に、学習モデルについて説明する。図３は、学習モデルの入力および出力を示す図である。各実施形態では、ＣＰＵ２０２またはＧＰＵ２０５は、２つの学習モデル（第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂ）を用いて、それぞれ推定処理を行う。第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂは、それぞれ異なる教師データおよび学習用の画像データを用いて、機械学習されたモデルである。機械学習の詳細については、後述する。図３の例では、第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂはニューラルネットワークである例を示している。例えば、それぞれのニューラルネットワークの機械学習が行われることで、所望の結果が出力されるように、ニューラルネットワークの係数パラメータ（重みやバイアス等）が調整される。第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂは、例えば、サポートベクターマシンや決定木等、任意の手法により機械学習されたモデルであってもよい。

第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂに入力される入力データは、撮像部２０７が撮影した被写体として人物の身体を含む画像データである。第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂは、一体として１つの学習モデルにより構成されてもよい。

第１学習モデル４０３Ａ（人物推定学習モデル）は、入力された画像データに含まれる被写体としての人物を推定し、推定結果として、人物を特定する情報である人物特定情報を出力データとして出力する。具体的には、第１学習モデル４０３Ａは、画像データに含まれる人物の顔から、人物に対応する識別ＩＤを人物特定情報として出力する。識別ＩＤは、アカウント管理サーバ１０３により管理されるユーザのアカウント（識別情報）である。

第２学習モデル４０３Ｂ（着脱動作認識モデル）は、入力された画像データに含まれる被写体としての人物が衣服を着脱している動作の状況を示す着脱動作情報を出力する。着脱動作は所定の動作に対応する。また、着脱動作情報は、動作情報に対応する。第２学習モデル４０３Ｂは、画像データに含まれる人物の動作に基づいて、衣服の着脱動作に関する情報（着脱動作情報）を出力する。ここで、第２学習モデル４０３Ｂは、人物の動作に基づいて着脱動作情報を出力するため、第２学習モデル４０３Ｂに対して入力されるデータは、動画データである。この場合、第１学習モデル４０３Ａに入力される画像データは、動画データを構成する画像データであってよい。第２学習モデル４０３Ｂに入力されるデータは、人物の動作を推定可能であれば、１枚の画像データであってもよい。

着脱動作情報は、衣服を着脱する際の動作に問題があるか否かを示すタグでもある。例えば、着脱動作情報は、衣服をかぶる動作がスムーズに行われているか否かを示すタグや、シャツのボタンを付ける動作がスムーズに行われているかを示すタグ、ワンピースに袖を通す動作がスムーズに行われているかを示すタグ等であってもよい。

図４は、システム全体のデータの流れを示す図である。図４の例において、ネットワークカメラ１０２は、例えば、ユーザが衣服を着脱する室内に設置されており、日常的にユーザの着脱動作の撮影を行っている。また、ユーザは、ユーザ端末１０１を用いて、ＥＣサイトにアクセスして、衣服の購入することができる。図４に示される処理が行われることで、ユーザの着脱動作に基づいて推奨される衣服がユーザ端末１０１に提示される。

まず、ネットワークカメラ１０２は、撮影視野に人物の被写体が映っているかを判定する。ネットワークカメラ１０２は、撮影視野に人物の被写体が映っていると判定した場合、撮影した画像データを第１学習モデル４０３Ａに入力する。第１学習モデル４０３Ａは、画像データに含まれる人物の推定処理を行い、上述した識別ＩＤを出力する。出力される識別ＩＤは、アカウント管理サーバ１０３が管理するユーザの識別ＩＤである。ただし、画像データに含まれる人物が、アカウント管理サーバ１０３が管理するユーザでない場合、第１学習モデル４０３Ａからは正当な識別ＩＤが出力されない。

また、ネットワークカメラ１０２は、第２学習モデル４０３Ｂに、動画データを入力すると、第２学習モデル４０３Ｂは、上述した着脱動作情報を出力する。ネットワークカメラ１０２は、識別ＩＤと着脱動作情報とを関連付けたデータをアカウント管理サーバ１０３に送信する。図４では、ネットワークカメラ１０２からアカウント管理サーバ１０３へのデータの送信が、１番目の「データ送信」として示される。アカウント管理サーバ１０３は、ネットワークカメラ１０２から受信する上述したデータを記憶していくことで、登録されたユーザの着脱動作情報を蓄積していく。

次に、ユーザは、自身のユーザ端末１０１を用いて、ＥＣサイトにアクセスする操作を行う。例えば、ユーザ端末１０１には、ＥＣサイトにアクセスするアプリケーションが記憶されており、ユーザがアプリケーションを起動して、所定の操作をすることで、ユーザ端末１０１は、ＥＣサイトにアクセスする。これにより、ユーザ端末１０１は、インターネット１００を介して、Ｗｅｂサーバ１０５にアクセスする。図４では、ユーザ端末１０１からＷｅｂサーバ１０５へのリクエストの送信が、２番目の「ＥＣサイトリクエスト」として示されている。上記リクエストには、ユーザを識別する識別ＩＤが含まれる。このため、Ｗｅｂサーバ１０５には、ユーザ端末１０１から識別ＩＤが送信される。

上記のリクエストを受信したＷｅｂサーバ１０５は、受信した識別ＩＤとともに、ユーザ情報および着脱動作情報を取得するリクエストをアカウント管理サーバ１０３に送信する。ユーザ情報は、性別や年齢、体形、購入履歴等の情報を含む属性情報である。アカウント管理サーバ１０３は、受信した識別ＩＤと一致する識別ＩＤ（ユーザ登録済みの識別ＩＤ）を特定し、特定された識別ＩＤに関連付けられたユーザ情報および着脱動作情報を、Ｗｅｂサーバ１０５に送信する。Ｗｅｂサーバ１０５とアカウント管理サーバ１０３との間での上記のデータのやり取りが、図４の３番目の「情報取得要求」および「情報返信」である。

Ｗｅｂサーバ１０５は、アカウント管理サーバ１０３から受信したユーザ情報および着脱動作情報を情報取得要求として衣服データベース１０４に送信する。衣服データベース１０４は、例えば、図５のようなテーブルを有するデータベースサーバである。衣服データベース１０４のテーブルは、通し番号、アイテム名、性別、サイズおよび分類タグを含む。各テーブルのうち分類タグは、上述した着動作情報に対応する情報である。衣服データベース１０４は、受信したユーザ情報および着脱動作情報に基づいて、推奨する１または複数の衣服の情報を抽出する。衣服データベース１０４のテーブル構成は、図５の例には限定されない。

例えば、着脱動作情報が、衣服をかぶる動作がスムーズに行われていることを示し、シャツのボタンを付ける動作がスムーズに行われていることを示しているとする。この場合、衣服データベース１０４は、テーブルの中から「かぶり動作ＯＫ」および「シャツボタン付ＯＫ」の分類タグを抽出する。このとき、衣服データベース１０４は、図５のテーブルから、分類タグが着脱動作情報に合致するアイテム名「ＹＹシャツ」を抽出する。ここで、衣服データベース１０４は、ユーザ情報をＷｅｂサーバ１０５から受信している。そこで、衣服データベース１０４は、Ｗｅｂサーバ１０５から受信したユーザ情報と着脱動作情報との両者に基づいて、推奨する衣服の情報を抽出してもよい。

例えば、ユーザ情報が示す性別が男性であり、体形が標準である場合、衣服データベース１０４は、ユーザ情報および着脱動作情報の両者が合致する上述のアイテム名「ＹＹシャツ」を抽出する。一方、ユーザ情報が示す性別が女性であり、体形が標準である場合、衣服データベース１０４は、アイテム名「ＺＺワンピース」を抽出する。従って、衣服データベース１０４は、ユーザ情報が示す性別を、着脱動作情報よりも優先して、推奨する衣服の情報を抽出してもよい。

ここでは、衣服データベース１０４は、複数の推奨する衣服の情報を抽出するものとする。衣服データベース１０４は、抽出した複数の推奨する衣服の情報をＷｅｂサーバ１０５に送信する。Ｗｅｂサーバ１０５と衣服データベース１０４との間での上記のデータのやり取りが、図４の４番目の「情報取得要求」および「情報返信」である。

Ｗｅｂサーバ１０５は、衣服データベース１０４から受信した複数の推奨する衣服の情報に関する衣服情報を、ＥＣサイトにアクセスしたユーザに送信する。Ｗｅｂサーバ１０５からユーザ端末１０１へのデータの送信が、図４の５番目の「衣服情報送信」である。ユーザ端末１０１は、上記の衣服情報をリスト形式で表示する。これにより、ユーザは、購入に推奨されるリストをユーザ端末１０１の画面で確認できる。リスト形式で表示される衣服情報は、ユーザの着脱動作情報を反映した情報であるため、ユーザの身体の動作も考慮して推奨する衣服の情報を提供することができる。

次に、第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂの機械学習について説明する。第１学習モデル４０３Ａは、人物の顔を含む学習用の画像データを入力とし、識別ＩＤを教師データとして、機械学習がされる。これにより、ネットワークカメラ１０２の第１学習モデル４０３Ａに画像データが入力されると、第１学習モデル４０３Ａは、人物の顔の特徴を抽出し、第１学習モデル４０３Ａは識別ＩＤを出力することができるようになる。なお、第１学習モデル４０３Ａは、ユーザの顔以外の部分の特徴を抽出するような機械学習が行われてもよい。第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂの機械学習は、所定の学習装置により行われてもよいし、Ｗｅｂサーバ１０５等が行ってもよい。また、ネットワークカメラ１０２が、第１学習モデル４０３Ａの機械学習を行ってもよい。

第２学習モデル４０３Ｂは着脱動作の認識に関する学習モデルであり、行動認識等の技術を利用して生成され得る。上述したように、第２学習モデル４０３Ｂには、動画データが入力される。第２学習モデル４０３Ｂの機械学習には、学習用の動画データとして、様々な衣服の着脱動作を撮影した動画データが用いられる。着脱する対象となる衣服は、衣服データベース１０４に記憶されているテーブルの分類タグに関連する衣服である。例えば、テーブルに、袖通しやすさに関する分類タグがある場合には、袖通しやすさの情報がない衣服（アイテム）の着脱動作を撮影した動画データが、学習用の動画データとして用いられる。これにより、ネットワークカメラ１０２の第２学習モデル４０３Ｂに画像データが入力されると、第２学習モデル４０３Ｂは着脱動作の特徴を抽出して、着脱動作情報を出力するようになる。

また、学習用の動画データとしては、着脱動作がスムーズに行われている状況を撮影した動画データが用いられてもよいし、着脱動作がスムーズに行われていない状況を撮影した動画データが用いられてもよい。着脱動作がスムーズに行われていない状況としては、例えば、衣服の着脱の時間が長い状況や痛みを伴う着脱動作を行っている状況、通常とは異なる動作をしないと着脱できない状況等がある。また、着脱動作がスムーズに行われていない状況としては、ユーザが他者と会話している状況やユーザが何かに気を取られている状況等もある。また、学習用の動画データは、ユーザの着脱動作を様々な角度から撮影した動画データであることが好ましい。教師データは、動画データを撮影したときの状況が、着脱動作がスムーズに行われている状況であれば「正解」であり、着脱動作がスムーズに行われていない状況でれば「不正解」であるデータであってもよい。学習用の動画データと教師データとは対応付けられて、第２学習モデル４０３Ｂの機械学習が行われる。これにより、第２学習モデル４０３Ｂは、ユーザの着脱動作を撮影した動画データが入力されたときに、着脱動作がスムーズに行われているか否かを推定できる。

着脱動作情報は、機械学習された第２学習モデル４０３Ｂにより生成されてもよいが、機械学習を使用しない任意の手法により生成されてもよい。着脱動作情報は、ルックアップテーブル（ＬＵＴ）等のルールベースに基づいて、生成されてもよい。例えば、入力データと出力データとの関係が予め規定されたＬＵＴがネットワークカメラ１０２のＲＡＭ２０３に記憶されているとする。この場合、ＣＰＵ２０２やＧＰＵ２０５が、ＬＵＴを参照して、入力された動画データに対応する着脱動作情報を生成してもよい。また、ＣＰＵ２０２やＧＰＵ２０５は、ＬＵＴを参照して、画像データに含まれる人物の顔を推定してもよい。これにより、ＣＰＵ２０２やＧＰＵ２０５は、画像データに含まれる人物がユーザであるかを推定できる。識別ＩＤについても同様であり、機械学習された学習モデルが使用されなくもよい。

図６は、ユーザ端末１０１に表示される画面例を示す図である。ユーザ端末１０１の画面５００は、ＥＣサイトにアクセスしたときの画面である。ユーザ端末１０１は、Ｗｅｂサーバ１０５から受信した複数の推奨する衣服の情報に関する衣服情報に基づいて、画面５００の例に示されるような画面を表示することができる。画面５００の例では、推奨する衣服の情報が「おすすめアイテム」として示されている。例えば、ユーザの着脱動作情報が、衣服をかぶる着脱動作がスムーズに行われていないことを示している場合、推奨する衣服の付帯情報として、「肩がつらいあなたに」という文章が付されている。また、ユーザの着脱動作が、衣服のボタンを付ける動作がスムーズに行われていないことを示している場合、推奨する衣服の付帯情報として、「ボタンを付けにくい、あなたに」という文章が付されている。図６のような画面５００が表示されることで、ユーザ端末１０１を所持するユーザに、ユーザの身体の動作も考慮して推奨する衣服の情報を提示することができる。

例えば、同じユーザでも、高齢になると、高齢になる前はスムーズに着脱できていた衣服が、着脱しにくくなることがある。この場合、ユーザ端末１０１に、ユーザの身体の動作も考慮して推奨する衣服の情報が提示されると、ユーザが衣服を購入する際に、ユーザの年齢に応じて、より利便性の高い情報を提供できる。また、ユーザが、自身の判断により、着脱の容易性だけを考慮して、ユーザ端末１０１を用いて衣服の購入を行う場合、ユーザの選択肢は狭まる。この場合、ユーザは、ファッション性を楽しむことができない。本実施形態では、ユーザの身体の動作も考慮して推奨する衣服の情報が提示されるため、ユーザは、ファッション性を楽しむことができるようになる。

次に、第１実施形態のネットワークカメラ１０２の処理の流れについて説明する。図７は、ネットワークカメラ１０２の処理の流れを示すフローチャートである。ネットワークカメラ１０２の撮像部２０７は動画を撮影しており、ＣＰＵ２０２は、撮像部２０７が撮影した動画（動画データ）を構成する複数の画像データを順次、取得するものとする。Ｓ７０１において、ＣＰＵ２０２は、所定の顔検出手法を用いて、取得した画像データに被写体としての人物の顔が含まれているかを判定する。ＣＰＵ２０２は、Ｓ７０１でＮＯと判定した場合、処理をＳ７０６に進める。ＣＰＵ２０２は、Ｓ７０１でＹＥＳと判定した場合、処理をＳ７０２に進める。

Ｓ７０２において、ＣＰＵ２０２は、第１学習モデル４０３Ａに、被写体の顔が検出された画像データを入力して、被写体の推定処理を行う。上述したように、被写体の推定処理は、ＣＰＵ２０２が行ってもよいし、ＧＰＵ２０５が行ってもよいし、ＣＰＵ２０２とＧＰＵ２０５とが協働して行ってもよい。第１学習モデル４０３Ａによる推定処理の出力として、識別ＩＤが得られる。このとき、検出された被写体の顔が、アカウント管理サーバ１０３に登録されていないユーザの顔であれば、第１学習モデル４０３Ａから正常な識別ＩＤが出力されない。

Ｓ７０３において、ＣＰＵ２０２は、第２学習モデル４０３Ｂに動画データを入力し、着脱動作の推定処理を行う。着脱動作の推定処理も、被写体の推定処理と同様に、ＣＰＵ２０２が行ってもよいし、ＧＰＵ２０５が行ってもよいし、ＣＰＵ２０２とＧＰＵ２０５とが協働して行ってもよい。第２学習モデル４０３Ｂによる推定結果の出力として、着脱動作情報が得られる。Ｓ７０４において、ＣＰＵ２０２は、識別ＩＤと着脱動作情報とを関連付ける。そして、Ｓ７０５において、ＣＰＵ２０２は、識別ＩＤと着脱動作情報とを関連付けたデータをアカウント管理サーバ１０３に送信する。

Ｓ７０６において、ＣＰＵ２０２は、ネットワークカメラ１０２の処理を終了させるかを判定する。ＣＰＵ２０２は、所定の終了条件を満たしたときにＳ７０６でＹＥＳと判定してもよい。所定の終了条件は、ネットワークカメラ１０２の電源がＯＦＦにする操作がされた場合やユーザからの指示があった場合等に満たされてもよい。ＣＰＵ２０２は、Ｓ７０６でＮＯと判定した場合、処理をＳ７０１に戻す。ＣＰＵ２０２は、Ｓ７０６でＹＥＳと判定した場合、図７のフローチャートを終了させる。

以上において、ユーザの身体の動作も考慮した推奨する衣服の情報は、ユーザ端末１０１によりアクセスしたＥＣサイトの画面以外の画面に表示されてもよい。例えば、Ｗｅｂサイトや検索エンジンの検索ページ、メール、ＳＮＳ（ソーシャルネットワークサービス）等に含まれる広告画面に、上述したユーザの身体の動作も考慮した推奨する衣服の情報が表示されてもよい。

また、第１学習モデル４０３Ａによる推定結果である識別ＩＤおよび第２学習モデル４０３Ｂによる推定結果である着脱動作情報は、他の用途に用いられてもよい。上述した例における着脱動作情報は、衣服の着脱に関する情報であるが、例えば、ユーザの室内における動作を監視する情報（動作情報）であってもよい。この場合、ユーザの室内における動作に対して推奨される情報が、ユーザが使用する端末（ユーザ端末１０１等）に表示されてもよい。一例として、ネットワークカメラ１０２が、椅子に着座して仕事をしているときの動作（所定の動作）を監視しているとする。このとき、Ｗｅｂサーバ１０５は、ユーザが着座するために推奨する椅子（商品）の情報をユーザの端末に提示するように制御してもよい。この場合、衣服データベース１０４は、商品としての椅子を取り扱う商品データベースとなる。また、ネットワークカメラ１０２が表示機能を有している場合、推奨する衣服の情報が、ネットワークカメラ１０２に表示されてもよい。

また、ユーザは、ユーザ端末１０１を用いて、推奨する衣服の情報を修正することができる。例えば、ユーザが、怪我等をしていることに起因して、上着をスムーズにできない場合を想定する。この場合、ネットワークカメラ１０２は、上着をスムーズに着脱できていないことを示す着脱動作情報を、識別ＩＤとともに、アカウント管理サーバ１０３に送信する。これにより、Ｗｅｂサーバ１０５は、上着をスムーズに着脱できないことを示す着脱動作情報を考慮した衣服情報をユーザ端末１０１に送信する。そして、ユーザ端末１０１は、図６に示されるような「肩がつらいあなたに」に対応する推奨する衣服の情報を表示する。ここで、ユーザの怪我はある程度の期間が経過するとともに治癒することが想定される。このため、ユーザは、ユーザ端末１０１に対して、上記の推奨する衣服の情報が意図していない旨を指示する操作を行うことができる。例えば、ユーザは、画面５００の表示されている推奨する衣服の情報を取り消す操作を行うことができる。

ユーザ端末１０１は、上記の操作を受け付けると、推奨する衣服の情報が意図していないことを示す指示に関する情報（指示情報）をＷｅｂサーバ１０５に送信する。そして、Ｗｅｂサーバ１０５は、アカウント管理サーバ１０３を介して、または直接的に、ネットワークカメラ１０２に上記の指示情報を送信する。例えば、ＣＰＵ２０２は、衣服をかぶる動作がスムーズでない動画が第２学習モデル４０３Ｂに入力されたときに、衣服をかぶる動作がスムーズでないことを示す着脱動作情報を出力しないように、第２学習モデル４０３Ｂを更新してもよい。これにより、ユーザの意図を反映した推奨する衣服の情報を提示することができる。また、Ｗｅｂサーバ１０５は、上記の指示情報を受信したことに応じて、ユーザ端末１０１に送信する衣服情報（推奨する衣服の情報）から、指示情報に合致する衣服の情報を除外してもよい。

＜第２実施形態＞
次に、第２実施形態について説明する。図８は、第２実施形態のシステムの一例を示す図である。第２実施形態のうち第１実施形態と重複する部分については、説明を省略する。第２実施形態では、Ｗｅｂサーバ８００が、アカウント管理サーバ１０３および衣服データベース１０４の機能を有する。ただし、アカウント管理サーバ１０３および衣服データベース１０４は、Ｗｅｂサーバ８００とは別途の装置として設けられてもよい。Ｗｅｂサーバ８００は、情報処理装置に対応する。Ｗｅｂサーバ８００のＣＰＵ８０２〜ＮＩＣ８０６は、第１実施形態のネットワークカメラ１０２のＣＰＵ２０２〜ＮＩＣ２０６と同様である。第２実施形態のＷｅｂサーバ８００のシステムバス８０１には、データベース８０７が接続される。図８において、データベース８０７は「ＤＢ」と表記される。データベース８０７は、衣服データベース１０４と同じ内容のテーブルを記憶する。ＣＰＵ８０２は、取得手段、検索手段および送信手段に対応する。

ユーザ端末８１０は、第１実施形態のユーザ端末１０１とネットワークカメラ１０２との両者の機能を有する。例えば、ユーザ端末８１０は、撮影機能を有するスマートフォンやタブレット端末等である。また、ユーザ端末８１０は、アプリケーションを記憶している。ユーザ端末８１０の画面はタッチパネルディスプレイで構成されており、タッチパネルディスプレイに対するユーザ操作に基づき、各実施形態の処理を実現するアプリケーションを起動することができる。

例えば、ユーザ端末８１０が、上記のアプリケーションを起動する操作を受け付けると、撮影機能が起動する（カメラが起動する）。第２実施形態のユーザ端末８１０は、上述した第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂを有する。第１学習モデル４０３Ａに画像データが入力されると、識別ＩＤが出力される。また、第２学習モデル４０３Ｂに動画データが入力されると、着脱動作情報が出力される。ユーザ端末８１０は、識別ＩＤと着脱動作情報とを関連付けたデータを、インターネット１００を介して、Ｗｅｂサーバ８００に送信する。

Ｗｅｂサーバ８００は、識別ＩＤと着脱動作情報とを関連付けたデータを受信する。Ｗｅｂサーバ８００のＣＰＵ８０２は、受信した識別ＩＤが、予め登録された識別ＩＤ（アカウント）であるかを判定する。ＣＰＵ８０２が、受信した識別ＩＤが予め登録された識別ＩＤであると判定した場合、識別ＩＤに対応するユーザ情報と着脱動作情報とに基づいて、データベース８０７を検索する。そして、ＣＰＵ８０２は、データベース８０７の検索結果として、複数の推奨する衣服（商品）の情報を抽出する。この処理は、第１実施形態の衣服データベース１０４が行う処理と同様である。そして、ＣＰＵ８０２は、抽出された複数の推奨する衣服の情報を衣服情報として、ユーザ端末８１０に送信する制御を行う。これにより、ユーザ端末８１０に、衣服情報が送信される。ユーザ端末８１０は、受信した衣服情報に基づいて、図６に示されるように、複数の推奨する衣服の情報を含む画面を表示する。

第２実施形態でも、第１実施形態と同様の効果を得ることができる。ここで、第１学習モデル４０３Ａおよび第２学習モデル４０３Ｂを用いた推定処理は、ユーザ端末８１０ではなく、Ｗｅｂサーバ８００により行われてもよい。この場合、ユーザ端末８１０は、撮影した動画データをＷｅｂサーバ８００に送信する。Ｗｅｂサーバ８００は、第１学習モデル４０３Ａを記憶しており、受信した動画データを構成する画像データを第１学習モデル４０３Ａに入力する。これにより、Ｗｅｂサーバ８００のＣＰＵ８０２またはＧＰＵ８０５は、識別ＩＤの推定処理を行うことができる。また、Ｗｅｂサーバ８００は、第２学習モデル４０３Ｂを記憶しており、受信した動画データを第２学習モデル４０３Ｂに入力する。これにより、Ｗｅｂサーバ８００のＣＰＵ８０２またはＧＰＵ８０５は、着脱動作情報の推定処理を行うことができる。この場合、ユーザ端末８１０は、推定処理を行う必要がないため、ＧＰＵ８０５を有していなくてもよい。また、ＣＰＵ８０２に高い性能が要求されなくなる。以上の点は、第１実施形態も同様である。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ユーザ端末
１０２ ネットワークカメラ
１０３ アカウント管理サーバ
１０４ 衣服データベース
１０５ Ｗｅｂサーバ
２０２ ＣＰＵ
２０７ 撮像部
４０３Ａ 第１学習モデル
４０３Ｂ 第２学習モデル
８００ Ｗｅｂサーバ
８０２ ＣＰＵ
８１０ ユーザ端末

Claims (11)

1. ユーザを撮影した画像データに基づいて、前記ユーザの識別情報を取得する第１取得手段と、
   前記画像データに基づいて、前記ユーザの動作の状況を示す動作情報を取得する第２取得手段と、
   前記識別情報と前記動作情報とを関連付けたデータを送信する送信手段と、
   を備え、
   前記識別情報と前記動作情報とに基づいて推奨される商品の情報が、前記ユーザの端末に送信されることを特徴とする情報処理装置。
2. 前記動作情報は、前記ユーザの衣服の着脱動作の状況を示す着脱動作情報であることを特徴とする請求項１に記載の情報処理装置。
3. 前記推奨される情報は、推奨される衣服の情報であり、
   前記推奨される衣服の情報は、予め登録された識別情報に対応する前記ユーザの属性情報と前記着脱動作情報とに基づく情報であることを特徴とする請求項２に記載の情報処理装置。
4. 前記属性情報は、性別と年齢と体形と購入履歴とのうち少なくとも１つを含むことを特徴とする請求項３に記載の情報処理装置。
5. 前記推奨される衣服の情報は、前記着脱動作情報よりも前記性別を優先して抽出された情報であることを特徴とする請求項４に記載の情報処理装置。
6. 前記推奨される衣服の情報は、Ｗｅｂサイトと検索エンジンの検索ページとメールとソーシャルネットワークサービスとのうち何れかの広告画面に表示されることを特徴とする請求項３乃至５のうち何れか１項に記載の情報処理装置。
7. 前記第１取得手段は、人物を含む学習用の画像データを入力として機械学習された第１学習モデルを用いて、前記ユーザの識別情報を取得し、
   前記第２取得手段は、人物の着脱動作を含む学習用の動画データを入力として機械学習された第２学習モデルを用いて、前記動作情報を取得することを特徴とする請求項１乃至６のうち何れか１項に記載の情報処理装置。
8. 前記ユーザの端末に送信された前記推奨される情報を取り消す操作が行われた場合、取り消された前記推奨される情報が出力されないように、前記第２学習モデルの更新が行われることを特徴とする請求項７に記載の情報処理装置。
9. ユーザの動作を撮影した動画データに基づいて生成される前記ユーザの識別情報と、前記動画データに基づいて生成される前記ユーザの動作の状況を示す動作情報とを取得する取得手段と、
   前記識別情報と前記動作情報とを用いて、複数の商品の情報を記憶するデータベースを検索する検索手段と、
   検索結果として抽出された商品の情報を、推奨する商品の情報として前記ユーザの端末に送信する送信手段と、
   を備えることを特徴とする情報処理装置。
10. ユーザを撮影した画像データに基づいて、前記ユーザの識別情報を取得する工程と、
    前記画像データに基づいて、前記ユーザの動作の状況を示す動作情報を取得する工程と、
    前記識別情報と前記動作情報とを関連付けたデータを送信する工程と、
    を備え、
    前記識別情報と前記動作情報とに基づいて推奨される商品の情報が、前記ユーザの端末に送信されることを特徴とする制御方法。
11. 請求項１乃至９のうち何れか１項に記載の情報処理装置の各手段をコンピュータに実行させるためのプログラム。

Images