JP2021033963A - 情報処理装置、表示制御方法および表示制御プログラム - Google Patents

Abstract

【課題】装着感を高めて購買を促進することを課題とする。【解決手段】ユーザ端末は、撮影された２次元画像を表示し、２次元画像の中から、時系列的に変化する予め決められた被写体を検出し、仮想オブジェクトの３次元画像データを表示する表示姿勢を指示する。ユーザ端末は、指示された仮想オブジェクトの３次元画像データの表示姿勢に基づき表示される仮想オブジェクトのうち、優先的に表示する優先領域を決定する。ユーザ端末は、２次元画像とともに、予め決められた表示位置に仮想オブジェクトを表示するとともに、少なくとも表示されている被写体と仮想オブジェクトの表示が重なったときに、重なった領域のうち、優先領域を被写体に優先して表示するとともに、優先領域以外の仮想オブジェクトの領域を非表示とする。【選択図】図８

Description

本発明は、情報処理装置、表示制御方法および表示制御プログラムに関する。

近年、仮想試着などのサービスが利用されている。例えば、店舗内に鏡に見立てた大型ディスプレイを置き、その大型ディスプレイにカメラで撮像した試着者の映像を写し、洋服の画像データを試着者の映像に重畳させることで、あたかも試着しているように見せるシステムが知られている。また、被写体の身体の骨格位置の時系列変化を算出し、被写体に重畳して表示される仮想的な服飾品の着脱を制御する技術が知られている。

特開２０１３−９７６９９号公報 特開２００６−７２６６９号公報 特開２０１３−１０１５２７号公報 特開２０１０−１５２５５６号公報

しかしながら、上記技術では、現実の試着と仮想的な試着との感覚の違いが大きいので、満足な装着感を得られるとは言い難く、購買を促進する有効な手法とは言い難い。

特に、指輪やピアスなどの小さな服飾品の場合、服飾品を付けた状態と服飾品を外した状態とを繰り返して、装着感を確認することが多いが、店舗内の大型ディスプレイでは、小さな服飾品の仮想試着は却って見づらく、有効的とは言い難い。また、わざわざ店舗に行って順番等を待って仮想試着を行うことも、ユーザの負担が大きく、有効な手法とは言い難い。

一つの側面では、装着感を高めて購買を促進することができる情報処理装置、表示制御方法および表示制御プログラムを提供することを目的とする。

第１の案では、情報処理装置は、撮影された２次元画像を表示する表示手段と、前記撮影された２次元画像の中から、時系列的に変化する予め決められた被写体を検出する検出手段と、表示すべき仮想オブジェクトの３次元画像データを記憶する記憶手段と、前記記憶手段に記憶された前記仮想オブジェクトの３次元画像データを前記表示手段に表示する表示姿勢を指示する指示手段と、前記指示手段により指示された前記仮想オブジェクトの３次元データの表示姿勢に基づき前記表示手段に表示される前記仮想オブジェクトのうち、優先的に表示する優先領域を決定する決定手段と、前記撮影された２次元画像とともに、前記表示手段の予め決められた表示位置に前記仮想オブジェクトを表示するとともに、少なくとも前記表示手段に表示されている前記被写体と前記仮想オブジェクトの表示が重なったときに、当該重なった領域のうち、前記決定手段により決定された前記優先領域を前記被写体に優先して表示するとともに、前記優先領域以外の前記仮想オブジェクトの領域を非表示とする表示制御手段と、を備える。

一つの側面では、装着感を高めて購買を促進することができる。

図１は、実施例１にかかるシステムの全体構成例を説明する図である。 図２は、実施例１にかかるシステムの利用シーンを説明する図である。 図３は、実施例１にかかる商品サーバの機能構成を示す機能ブロック図である。 図４は、商品情報ＤＢに記憶される情報の例を示す図である。 図５は、画像データＤＢに記憶される情報の例を示す図である。 図６は、表示されるＷｅｂページの遷移を説明する図である。 図７は、仮想オブジェクトの２次元画像データを生成する例を説明する図である。 図８は、生成される２次元画像データを説明する図である。 図９は、試着イメージを説明する図である。 図１０は、仮想オブジェクトの試着の構成を説明する図である。 図１１は、試着の遷移を説明する図である。 図１２は、試着の別例を説明する図である。 図１３は、試着処理の流れを示すシーケンス図である。 図１４は、ハードウェア構成例を説明する図である。

以下に、本願の開示する情報処理装置、表示制御方法および表示制御プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［システム構成］
図１は、実施例１にかかるシステムの全体構成例を説明する図である。図１に示すように、このシステムは、商品サーバ１０とユーザ端末３０とがネットワークＮを介して相互に通信可能に接続される。なお、商品サーバ１０やユーザ端末３０の数は、一例であり、図示したもの限定されない。また、ネットワークＮには、有線や無線を問わず、インターネットや専用線などの各種通信網を採用することができる。

商品サーバ１０は、ユーザ端末３０に対して、商品の閲覧、試着、購入などの各種サービスを提供するサーバ装置の一例である。例えば、商品サーバ１０は、Ｗｅｂブラウザなどを介してユーザ端末５からのアクセスを受け付けると、各種商品の情報が掲載される商品サイトを表示する。そして、商品サーバ１０は、Ｗｅｂブラウザにより表示される各ページによって各種サービスを提供する。

ユーザ端末３０は、指輪やスカーフなどの服飾品の購入を検討するユーザが利用する端末装置の一例であり、例えばカメラなどの撮像部やＷｅｂブラウザなどを有する端末装置である。例えば、ユーザ端末３０としては、スマートフォン、携帯電話、タブレット、パーソナルコンピュータなどを採用することができる。このユーザ端末３０は、Ｗｅｂブラウザなどを用いて、商品サーバ１０へアクセスし、商品サーバ１０が提供する各種サービスを利用する。

ここで、ユーザ端末３０は、商品サーバ１０から商品に関する情報を取得して、Ｗｅｂブラウザ上で試着サービスを実行する。具体的には、商品サーバ１０は、例えば指輪などの商品の値段やサイズなどの商品に関する情報である商品情報と、商品の３次元画像データとを保存する。そして、商品サーバ１０は、ユーザ端末３０からアクセスを受け付けると、商品情報が掲載される商品サイトをユーザ端末３０に表示する。続いて、商品サーバ１０は、商品サイトを表示するＷｅｂブラウザ上でユーザ端末３０から試着対象の商品の選択を受け付けると、当該商品の３次元画像データと制御用のスクリプトを組み込んだ試着ページを、ユーザ端末３０に応答する。

このようにして、ユーザは、試着対象の商品の３次元画像データと制御スクリプトが組み込まれた試着ページを用いて、ユーザ端末３０上で商品の試着を行う。具体的には、ユーザ端末３０は、Ｗｅｂブラウザで表示する試着ページ上に、カメラにより撮影される被写体（例えば、手）の映像を表示させる。そして、ユーザ端末３０は、商品の３次元画像データから２次元画像データを生成し、Ｗｅｂブラウザ上で、２次元画像データをその被写体の映像に重畳することで、試着を実現する。

［利用シーン］
次に、ユーザ端末３０を用いて実行される試着サービスの利用シーンを説明する。図２は、実施例１にかかるシステムの利用シーンを説明する図である。図２に示すように、ユーザは、商品サーバ１０から商品の３次元画像データと制御用のスクリプトを組み込んだ試着ページを取得することで、オンラインに限らず、オフラインの状態であっても試着サービスを利用することができる。

例えば、図２に示すように、自宅のリビングで無線通信を行いながら、指輪の試着サービスを利用することができる。また、恋人同士で婚約指輪を検討する際に、商品サーバ１０が提供する試着サービスを利用することにより、様々なブランドの婚約指輪の試着をリビングで繰り返すことができ、店舗に行く前に、購入対象を絞り込むこともできる。また、通勤途中の電車の中で、指輪の試着サービスを利用することができる。

このように、商品サーバ１０が提供する試着サービスは、実際の店舗に行く必要はなく、Ｗｅｂブラウザを用いて利用することができることから、場所を選ばすに、様々な場所で利用することができる。

［機能構成］
次に、図３を用いて、図１に示した各装置の機能構成を説明する。図３は、実施例１にかかるシステムの機能構成を示す機能ブロック図である。ここでは、商品サーバ１０とユーザ端末３０のそれぞれについて説明する。

（商品サーバ１０の機能構成）
図３に示すように、商品サーバ１０は、通信部１１、記憶部１２、制御部２０を有する。通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、ユーザ端末３０との間で、Ｗｅｂブラウザによるセッションを確立し、Ｗｅｂブラウザを介してデータの送受信を実行する。

記憶部１２は、各種データや制御部２０が実行する各種プログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部１２は、商品情報ＤＢ１３、画像データＤＢ１４を記憶する。

商品情報ＤＢ１３は、商品サーバ１０が取り扱う各商品に関するデータを記憶するデータベースである。具体的には、商品情報ＤＢ１３は、各服飾品に関するデータを記憶する。図４は、商品情報ＤＢ１３に記憶される情報の例を示す図である。図４に示すように、商品情報ＤＢ１３は、「商品ＩＤ、商品、価格」などを対応付けて記憶する。

ここで記憶される「商品ＩＤ」は、商品を識別する識別子であり、「商品」は、商品名などであり、「価格」は、商品の価格である。図４の例では、商品ＩＤ「ＩＤ０１」で識別される商品「指輪Ａ」の価格が「３万円」であることを示す。

画像データＤＢ１４は、各商品の３次元の画像データ（以下では単に「３次元画像データ」と記載する場合がある）を記憶するデータベースである。具体的には、画像データＤＢ１４は、試着サービスの利用時にユーザ端末３０に仮想オブジェクトとして送信される３次元画像データを記憶する。

図５は、画像データＤＢ１４に記憶される情報の例を示す図である。図５に示すように、画像データＤＢ１４は、「商品ＩＤ、商品、３次元画像データ」を対応付けて記憶する。ここで記憶される「商品ＩＤ」は、商品情報ＤＢ１３の商品ＩＤと同じであり、商品を識別する識別子である。「商品」は、商品情報ＤＢ１３の商品と同じであり、商品名などである。「３次元画像データ」は、商品の３次元画像データである。図５の例では、商品ＩＤ「ＩＤ０１」で識別される商品「指輪Ａ」には、画像データ「３次元画像データＡ」が対応付けられていることを示す。なお、３次元画像データは、商品そのものを撮像したデータから作成したり、仮想空間上で作成したり、公知の手法を用いて作成することができる。

制御部２０は、商品サーバ１０全体を司る処理部であり、例えばプロセッサなどである。この制御部２０は、受付部２１、応答部２２を有する。なお、受付部２１、応答部２２は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。また、制御部２０は、アクセスしてきたユーザが正規なユーザであるか否かを認証する認証処理、ユーザが購入する意思を示したときに実行される商品の購入処理なども実行するが、一般的な処理なので、詳細な説明は省略する。

受付部２１は、ユーザ端末３０からの要求に応じて、各種Ｗｅｂページをユーザ端末３０に表示し、ユーザ端末３０からの各種操作を受け付ける処理部である。具体的には、受付部２１は、ユーザ端末３０からＷｅｂブラウザ等を用いたアクセスを受け付けると、商品サイトをユーザ端末３０に表示する。そして、受付部２１は、商品サイト上で商品の選択を受け付けると、商品の詳細情報が掲示される商品ページをユーザ端末３０に表示する。このようにして、受付部２１は、ユーザの操作に対応するＷｅｂページ等を表示する。

応答部２２は、ユーザ端末３０から商品の試着要求を受け付けた場合に、試着サービスを提供する各種情報をユーザ端末３０に応答する処理部である。具体的には、応答部２２は、受付部２１により表示された商品ページにおいて、ユーザにより試着の選択が行われると、試着が要求された商品の３次元画像データを画像データＤＢ１４から取得する。そして、応答部２３は、仮想オブジェクトとして利用される商品の３次元画像データと、商品の３次元画像データの操作に関する制御用のスクリプトとを組み込んだ試着ページを、ユーザ端末３０に応答する。

ここで、表示されるＷｅｂページの遷移を説明する。図６は、表示されるＷｅｂページの遷移を説明する図である。図６の（ａ）に示すように、受付部２１は、ユーザ端末３０からアクセスを受け付けると、各商品が掲載される商品サイト６０をユーザ端末３０に表示する。なお、商品サイト６０には、画面をスクロールするスライダーなども表示される。

続いて、図６の（ｂ）に示すように、受付部２１は、商品サイト６０上で商品「指輪Ａ」が選択されると、選択された商品「指輪Ａ」の詳細情報を商品情報ＤＢ１３から取得して、商品「指輪Ａ」の詳細情報が掲載される商品ページ６１をユーザ端末３０に表示する。なお、商品ページ６１には、前の画面に戻る「戻る」ボタン、商品の購入に進む「購入」ボタン、商品の試着に進む「試着」ボタンなども表示される。

その後、図６の（ｃ）に示すように、商品ページ６１上で「試着」ボタンが選択されると、応答部２２は、表示中の商品「指輪Ａ」の３次元画像データＡを画像データＤＢ１４から取得して、３次元画像データＡと試着を行うための各種制御を制御用のスクリプトとを組み込んだ、商品「指輪Ａ」の試着を行う試着ページ６２を表示する。なお、制御用のスクリプトで実行される各種処理は、ユーザ端末３０で説明する各種処理部の機能を提供する。なお、この試着ページ６２には、試着ページ６２をディスプレイに表示するユーザ端末３０のカメラと連携し、カメラの撮影対象の領域を含むとともに、当該領域に商品「指輪Ａ」の仮想オブジェクトが表示される。なお、試着ページ６２には、前の画面に戻る「戻る」ボタン、商品の購入に進む「購入」ボタンなども表示される。

（ユーザ端末３０の機能構成）
図３に示すように、ユーザ端末３０は、通信部３１、撮像部３２、記憶部３３、制御部４０を有する。

通信部３１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部３１は、商品サーバ１０との間で、Ｗｅｂブラウザによるセッションを確立し、Ｗｅｂブラウザを介してデータの送受信を実行する。

撮像部３２は、カメラなどを用いて撮像された画像や映像などの２次元画像データを取得する処理部である。例えば、撮像部３２は、試着を行うユーザの手、顔、身体などを撮像し、撮像した画像データを、制御部４０に出力する。

記憶部３３は、各種データや制御部４０が実行する各種プログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。例えば、この記憶部３３は、商品サーバ１０から受信した商品の３次元画像データや、撮像部３２により撮像された画像データなどを記憶する。

制御部４０は、ユーザ端末３０全体を司る処理部であり、例えばプロセッサなどである。この制御部４０は、アクセス部４１と試着制御部４２を有する。なお、アクセス部４１と試着制御部４２は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

アクセス部４１は、商品サーバ１０との間で、Ｗｅｂブラウザを用いた各種制御を実行する処理部である。例えば、アクセス部４１は、ユーザの指示操作により、Ｗｅｂブラウザを起動し、商品サーバ１０にアクセスする。そして、アクセス部４１は、商品サーバ１０から受け付けた商品サイト６０や商品ページ６１をディスプレイ等に表示する。また、アクセス部４１は、試着対象の商品の３次元画像データと制御用のスクリプトが組み込まれた試着ページ６２を受け付けると、試着ページをディスプレイ等に表示する。

試着制御部４２は、２次元画像生成部４３と表示制御部４４を有し、ユーザ端末３０のディスプレイ上で、試着サービスを実行する処理部である。具体的には、試着制御部４２は、アクセス部４１により試着ページ６２が取得されると、試着ページ６２に組み込まれる制御用のスクリプトを実行して、２次元画像生成部４３と表示制御部４４とによる処理を実行することで、試着対象の商品の２次元画像データを生成する仮想空間を用いた制御と、その２次元画像データをディスプレイに実際に表示する制御とを、リアルタイムに連携して試着サービスを実行する。

２次元画像生成部４３は、各商品について、試着サービスで使用する仮想オブジェクトの２次元画像データを生成する処理部である。具体的には、２次元画像生成部４３は、アクセス部４１により取得された試着ページ６２から、商品サーバ１０によって送信された商品の３次元画像データを取得する。そして、２次元画像生成部４３は、コンピュータ上でシミュレートした３次元の仮想空間上に、当該商品の３次元画像データを仮想オブジェクトとして配置する。そして、２次元画像生成部４３は、３次元の仮想空間上に配置した仮想カメラを用いて、商品の仮想オブジェクトを撮像し、２次元画像データを生成する。また、２次元画像生成部４３は、撮影して得られた商品の２次元画像データを、表示制御部４４などに出力する。なお、３次元的な仮想空間のシミュレートや仮想カメラなどは、公知のソフトウェアなどを用いることもできる。

図７は、仮想オブジェクトの２次元画像データを生成する例を説明する図である。図７に示す図は、商品の仮想オブジェクトの２次元画像データを生成する３次元の仮想空間を上から見た図であり、仮想空間上に配置した複数の仮想カメラを用いて商品となるオブジェクトを撮像する。図７に示すように、仮想空間上で仮想カメラ１と仮想カメラ１´とを同位置に設置する。そして、仮想カメラ１が撮影できる領域Ｐと仮想カメラ１´が撮影できる領域Ｐ´との境界上に仮想オブジェクト（３次元画像データ）を配置する。なお、仮想オブジェクトは、任意の方向に回転させることができる。また、仮想オブジェクトのうち、各仮想カメラが撮影できる領域から外れた部分は、その仮想カメラの映像には映らない。そして、仮想オブジェクトを回転させて、各仮想カメラで仮想オブジェクトを撮影し、撮影された画像を組み合わせることで、仮想オブジェクトの２次元画像データを生成する。

より詳細に説明する。仮想空間上における仮想オブジェクトの中心座標を（ｘ＝０，ｙ＝０，ｚ＝１００）と設定し、仮想オブジェクトは、仮想空間上で様々な方向に自転することができ、自転しても中心座標は変わらない。また、２つの仮想カメラ（仮想カメラ１、仮想カメラ１´）は、仮想空間上の（ｘ＝０，ｙ＝０，ｚ＝０）の位置にあり（ｘ＝０，ｙ＝０，ｚ＝１００）の方向を撮影する。

そして、仮想カメラ１は、ｚ≧１０からｚ≦１００までの領域を撮影し映像化し、ｚ＜１０またはｚ＞１００の領域は映らない。仮想カメラ１´は、ｚ＞１００からｚ≦２００までの領域を撮影し映像化し、ｚ≦１００またはｚ＞２００の領域は映らない。すなわち、仮想カメラ１からは、ｚ≧１０からｚ≦１００までの領域に含まれる仮想オブジェクトのうち一部分が映り、それ以外が透過された映像が得られる。仮想カメラ１´からは、ｚ＞１００からｚ≦２００までの領域に含まれる仮想オブジェクトの一部分が映り、それ以外が透過された映像が得られる。

そして、仮想カメラ１と仮想カメラ１´の映像をそれぞれＨＴＭＬ（Hyper Text Markup Language）上のcanvas要素に出力し、画面に表示することで、仮想カメラ１の映像を出力したcanvasと仮想カメラ１´の映像を出力したcanvasとが、画面上で同じ位置に重なって表示されるようレイアウトされる。

このように、２次元画像生成部４３は、シミュレーションした３次元空間上に試着対象として選択された商品の仮想オブジェクトを配置し、２つの仮想カメラで撮影した画像を組み合わせて、商品の２次元画像データを生成する。図８は、生成される２次元画像データを説明する図である。図８に示すように、２次元画像生成部４３は、仮想カメラ１から得られる映像と、仮想カメラ１´から得られる映像とを合成して、１つの２次元画像データを生成する。なお、１つの２次元画像データのうち、仮想カメラ１で撮影された映像（データ）の領域が被写体よりも常に優先表示される優先領域となる。

上述したように、仮想空間上の各仮想カメラは、仮想空間上の仮想オブジェクトを常に撮像して、３次元画像データである仮想オブジェクトのリアルタイムな２次元画像データを生成する。

ここで、２次元画像データの生成タイミングについて具体的に説明する。例えば、２次元画像生成部４３は、試着サービス開始時は、仮想空間上の所定位置に、予め定めたデフォルトの姿勢で仮想オブジェクトを配置して、２次元画像データを生成する。

また、２次元画像生成部４３は、試着ページ６２に表示される仮想オブジェクトの２次元画像データに対してユーザが操作すると、当該操作に応じて、仮想空間上の仮想オブジェクト（３次元画像データ）の姿勢を変更して、２次元画像データを生成する。より詳細には、２次元画像生成部４３は、試着ページ６２に表示される仮想オブジェクトの２次元画像データに対するフリック操作を検出すると、フリック操作に応じた距離だけ、仮想空間上の仮想オブジェクトを回転させる。そして、２次元画像生成部４３は、回転後の姿勢の仮想オブジェクトを撮影して２次元画像データを生成する。

図３に戻り、表示制御部４４は、ユーザ端末３０のディスプレイに表示される試着ページ６２の表示制御に関する各種処理を実行する処理部である。具体的には、表示制御部４４は、仮想オブジェクトの２次元画像データを表示する表示処理、試着を行う被写体を検出する検出処理、２次元画像データを用いた試着を行う試着処理などを実行する。

（表示処理）
例えば、表示制御部４４は、２次元画像生成部４３により生成された仮想オブジェクトの２次元画像データを、試着ページ６２の予め指定された位置に表示する処理部である。すなわち、表示制御部４４は、２次元画像生成部４３が随時生成する２次元画像データを、ディスプレイに表示される試着ページ６２にリアルタイムに表示する。

（検出処理）
また、表示制御部４４は、カメラ等により撮像された画像データから被写体を検出する。例えば、表示制御部４４は、ユーザ端末３０の撮像部３２により取得される２次元画像である画像データを試着ページ６２に表示し、表示される画像データから、時系列に変化する被写体を検出する。具体的には、表示制御部４４は、カメラにより撮影された画像データから、被写体の輪郭、肌色等の指定された色の領域、予め定めておいた型と類似する領域などの様々な手法を用いて、手などの被写体を検出する。

ここで、被写体の検出手法の一例として、（１）特定の色と類似する領域を検出する手法、（２）特徴量抽出を用いた手法、（３）背景差分を用いる手法を説明する。

（１）特定の色と類似する領域を検出する手法
例えば、表示制御部４４は、あらかじめ決めておいた基準の色と合致する画素だけを、被写体と判断することができる。具体的には、表示制御部４４は、検出対象のＲＧＢ値（画素値）の範囲を予め保持する。そして、表示制御部４４は、撮像された画像データの各画素を参照して検出対象のＲＧＢ値の範囲内か否かを判定する。そして、表示制御部４４は、検出対象のＲＧＢ値の範囲内と判定された各画素を、被写体と判定する。

また、表示制御部４４は、撮像された画像データ上でユーザの選択を受け付ける。そして、表示制御部４４は、選択された画素のＲＧＢ値を中央値として所定の範囲を検出対象に決定する。その後、表示制御部４４は、撮像された画像データの各画素を参照して、検出対象のＲＧＢ値の範囲内の各画素を、被写体と判定する。このようにして、表示制御部４４は、画像データの各画素を参照して、被写体（例えば手）の輪郭を検出することができる。なお、所定の範囲等は、任意に設定変更することができる。

（２）特徴量抽出を用いた手法
例えば、表示制御部４４は、画像データの中から特徴を検出し、あらかじめ決めておいた被写体の特徴との類似度を比較し、類似する部分を被写体と判断することもできる。具体的には、表示制御部４４は、画素同士の明暗差の並びのパターンを特徴とする手法（Haar Like特徴）、画素同士の輝度の分布を特徴とする手法（Local Binary Pattern特徴）、輝度の方向（画像データの中のグラデーションのつき方）の組み合わせ方を特徴とする手法（Histogram of Oriented Gradients特徴）などを用いることができる。

（３）背景差分を用いる手法
例えば、表示制御部４４は、時系列に沿って画像を比較し、差分がある領域を被写体として検出することができる。具体的には、表示制御部４４は、例えば１秒おきに画像データを撮像部３２から順次取得する。そして、表示制御部４４は、前後の各画像データを比較し、画像データの中で動きがあった領域を被写体と判定することができる。

（試着処理）
また、表示制御部４４は、試着ページ６２上に、２次元画像生成部４３により生成される仮想オブジェクトの２次元画像データと、カメラ等によりリアルタイムに撮影された画像データから検出された被写体とを表示し、仮想オブジェクトの試着を実行する。

例えば、表示制御部４４は、撮影された画像データから随時認識される被写体の画像データとともに、予め決められた表示位置に商品に対応する２次元画像データを表示する。そして、表示制御部４４は、表示されている被写体と２次元画像データの表示が重なったときに、当該重なった領域のうち、優先的に表示させる仮想カメラ１で撮影された２次元画像データの領域を被写体に優先して表示するとともに、それ以外の２次元画像データの領域を非表示する。

［具体例］
次に、図９から図１２を用いて、一例として、指輪Ａの試着を行う具体例で説明する。ここでは、ユーザ操作、ディスプレイ制御、試着における画面遷移例、試着例を順に説明する。

（ユーザ操作）
図９は、試着イメージを説明する図である。図９に示すように、ユーザ端末３０の表示制御部４４は、ディスプレイに表示される試着ページ６２に、２次元画像生成部４３により生成された指輪Ａの２次元画像データＱを表示する。ユーザが、このユーザ端末３０のカメラを用いて自分の手を撮影することで、表示制御部４４が、被写体であるユーザの手を検出して、試着ページ６２に表示する。そして、ユーザが、カメラで撮影しながら自分の手を移動させると、表示制御部４４が、時系列で撮影された各画像データからユーザの指を随時検出して試着ページ６２に表示する。この結果、ユーザは、カメラで手を撮影しながら、試着ページ６２上で指に指輪（２次元画像データＱ）をはめることで、試着を行う。

（ディスプレイ制御）
ここで、ユーザ端末３０の試着制御部４２は、Ｗｅｂブラウザを介して、カメラなどによりリアルタイムに撮像された指の状態を取得し、ユーザ端末３０のディスプレイ上で試着を実現する。図１０は、商品に対応する２次元画像データの試着の構成を説明する図である。

図１０に示すように、表示制御部４４は、ユーザ端末３０で撮影された実オブジェクトの映像（レイヤー３）から、検出された被写体（手）のみの領域を示す映像（レイヤー２）を切り抜く。そして、表示制御部４４は、２次元画像生成部４３により生成された商品の仮想オブジェクトの２次元画像データのうち優先的に表示されないレイヤー１´の映像、レイヤー３から切り抜かれた被写体（手）のみの領域を示す映像（レイヤー２）、当該商品に対応する２次元画像データのうち優先的に表示されるレイヤー１の映像を順に重ねて１つの画面に映し出す。なお、表示制御部４４は、レイヤー１´、レイヤー２、レイヤー１については、表示対象のオブジェクトや手以外の領域を透明にすることで、各レイヤーを重ねても下のレイヤーが映るように制御する。また、表示制御部４４は、試着ページ６２の背景として、カメラで手を撮影しているときの背景を表示することもでき、予め用意しておいた別の背景を表示することもできる。

（試着における画面遷移例）
次に、実際の試着例について説明する。図１１は、試着の遷移を説明する図である。図１１の（ａ）に示すように、試着制御部４２は、レイヤー１の映像とレイヤー１´の映像とを組み合わせた指輪Ａの２次元画像データ（図１１の説明では単に指輪Ａと記載する場合がある）を予め指定した領域に表示させた試着ページ６２上で、ユーザ端末３０のカメラで撮像された映像を表示させ、被写体である手を検出する。

続いて、図１１の（ｂ）に示すように、試着制御部４２は、ユーザの操作によって手が指輪Ａに近づき、ユーザの指が指輪Ａと重なり始めると、指輪Ａのレイヤー１´の部分より手を優先させて表示する。この結果、指輪Ａのレイヤー１´の部分の上に、ユーザの指が表示される。

その後、図１１の（ｃ）に示すように、試着制御部４２は、ユーザの操作によって手が指輪Ａに近づき、ユーザの指が指輪Ａと完全に重なると、指輪Ａのレイヤー１´の部分より手を優先させて表示するとともに、指輪Ａのレイヤー１の部分を手より優先させて表示する。

この結果、試着制御部４２は、指輪Ａが指に装着しているように表示することができる。なお、試着制御部４２は、指輪Ａのレイヤー１´の部分について、指と重なっている部分だけを非表示とするので、指の太さ等により、非表示となる領域の大きさが変わる。したがって、ユーザごとの各指に適した装着感を提供することができる。

（試着例）
次に、試着制御部４２は、指輪などの商品に対応する２次元画像データ（図１２の説明では、単に指輪と記載する場合がある）を様々な方向に動かすことができるので、様々な方向からの試着をユーザに提供することができる。図１２は、試着の別例を説明する図である。

図１２に示すように、ユーザ端末３０の表示制御部４４は、試着ページ６２に、指輪を横方向に回転させるスライダーＡと指輪を上下方向に回転させるスライダーＢとを表示する。これらのスライダーにより、指輪を様々な向きに変更することができる。例えば、表示制御部４４は、スライダーが操作されると、操作方向や操作距離を検出して２次元画像生成部４３に出力する。２次元画像生成部４３は、入力された操作方向や操作距離に応じて、仮想空間上に配置した仮想オブジェクトの姿勢を変更し、変更後の姿勢の仮想オブジェクトを撮影して２次元画像データを生成する。そして、表示制御部４４は、新たな２次元画像データを試着ページ６２に表示する。このように、試着ページ６２のユーザ操作を仮想空間にリアルタイムに通知して、仮想オブジェクトの姿勢を動的に変更することができるので、ユーザは、試着ページ６２上であたかも商品を動かしているかのように認識することができる。なお、指輪の回転等の操作は、スライダーに限らず、指輪を選択した状態でのフリック操作を採用することができる。

ユーザ端末３０の試着制御部４２は、指輪を横向きにした状態で、ユーザの手を検出することで、横から見た試着を提供する。ここでも、試着制御部４２は、指輪のレイヤー１´の部分より手を優先させて表示するとともに、指輪のレイヤー１の部分を手より優先させて表示する。

また、試着制御部４２は、指輪を裏側にした状態で、すなわち手のひら側の指輪が見える状態で、ユーザの手を検出して、裏側から見た試着を提供する。ここでも、試着制御部４２は、指輪のレイヤー１´の部分より手を優先させて表示するとともに、指輪のレイヤー１の部分を手より優先させて表示する。なお、図１２に示すように、裏側の場合、通常時とレイヤーの映像の位置が逆となるが、レイヤー１の映像は常に優先され、レイヤー１´の映像は常に優先されないので、通常時と同様に、仮想的に正しく装着した映像を提供できる。

なお、ここでは、スライダーを用いて、指輪を回転させる例を説明したが、これに限定されるものではない。例えば、２次元画像生成部４３は、表示される指輪に対するフリック操作等により指輪の姿勢や向きを変更した２次元画像データを生成することもできる。また、ディスプレイの任意の領域をフリック操作することにより、操作されたフリックの向きに合わせて、指輪の姿勢等を変更した２次元画像データを生成することもできる。また、ダブルクリックやピンチアウト操作等に応じて、２次元画像生成部４３が２次元画像データの拡大縮小を行うことで、試着ページ６２に表示される指輪を拡大縮小させることもできる。

［処理の流れ］
図１３は、試着処理の流れを示すシーケンス図である。図１３に示すように、ユーザ端末３０のアクセス部４１は、ユーザ操作により、Ｗｅｂブラウザを用いて商品サーバ１０のサイトへアクセスする（Ｓ１０１とＳ１０２）。すると、商品サーバ１０の受付部２１は、各商品が掲示される商品サイト６０をユーザ端末３０に表示する（Ｓ１０３とＳ１０４）。

その後、ユーザ端末３０において、商品サイト６０上で商品が選択されると（Ｓ１０５とＳ１０６）、商品サーバ１０の受付部２１は、選択された商品の商品ページ６１をユーザ端末３０に表示する（Ｓ１０７とＳ１０８）。

そして、ユーザ端末３０において、商品ページ６１上で試着ボタンが選択されると（Ｓ１０９とＳ１１０）、商品サーバ１０の応答部２３は、選択された商品の３次元画像データと制御用のスクリプトとを組み込んだ試着ページ６２を、ユーザ端末３０に応答する（Ｓ１１１とＳ１１２）。

このようにして、ユーザ端末３０の試着制御部４２は、試着ページ６２を取得すると（Ｓ１１３）、試着ページ６２に含まれる３次元画像データを用いて、商品に対応する２次元画像データを生成する（Ｓ１１４）。

その後、ユーザ端末３０の試着制御部４２は、商品サーバ１０から送信された制御用スクリプトを用いて、商品の２次元画像データを表示させた試着ページ６２をディスプレイ等に表示する（Ｓ１１５）。

続いて、ユーザ端末３０の試着制御部４２は、手の撮像（Ｓ１１６）、商品の２次元画像データを回転させたりする操作（Ｓ１１７）、商品の試着確認（Ｓ１１８）などを実行して試着サービスを実行する。

そして、ユーザ端末３０上で試着が繰り返される間（Ｓ１１９：Ｎｏ）、Ｓ１１６以降が繰り返され、ユーザ端末３０上で試着終了の操作が実行されると（Ｓ１１９：Ｙｅｓ）、試着サービスを終了する（Ｓ１２０）。

［効果］
上述したように、ユーザ端末３０は、場所や時間を選ばずに、商品の試着サービスを実行することができる。また、ユーザ端末３０は、各ユーザの指の大きさなどに応じて、商品に対応する２次元画像データの非表示とする部分を動的に制御することができるので、実際の指輪装着と同じような装着感を提供することができる。これらの結果、ユーザ端末３０は、試着サービスにおける装着感を高めて購買を促進することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［商品例］
上記例では、指輪を例にして説明したが、これに限定されるものではない。例えば、スカーフ、ブレスレット、アンクレット、イヤリング、ピアス、時計、帽子などの服飾品も同様に処理することができる。また、これらの服飾品は、ユーザが自分で手などの一部分を用いた試着を行うが、洋服などユーザ全体を撮影して試着を行う商品も採用することができる。例えば、乳幼児、被介護者などを撮影して、洋服の試着などを行うこともできる。また、人間に限らず、ペットの洋服や服飾品も採用することができる。

［数値等］
上記実施例で用いたデータ例、数値例、表示例等は、あくまで一例であり、任意に変更することができる。例えば、各種Ｗｅｂページの構成等は一例であり、任意に変更することができる。被写体も指に限らず、スカーフの時は首、時計の時は手首のように、商品によって検出する被写体を変更することができる。例えば、商品サーバ１０や試着制御部４２が、商品と検出対象の被写体とを対応付けて管理することで、試着する商品によって、検出対象を動的に変更することができる。

［商品の操作］
また、商品に対応する２次元画像データが被写体とともに表示されているときでも当該商品の表示姿勢の指示が可能である。例えば、試着制御部４２は、指輪（２次元画像データ）が指と重なっている状態であっても、試着ページ６２上で指輪の回転などの操作を受け付けると、仮想空間上で回転等を行って回転後の２次元画像データを生成して、試着ページ６２に表示することができる。このときの回転後の２次元画像データにおいても、レイヤー１の映像が優先的に表示される。なお、ディスプレイ上でユーザによって操作された領域を特定する手法は、公知の手法を採用することができる。

また、試着制御部４２は、指輪の２次元画像データが指を装着できないような姿勢で試着ページ６２に表示されるときは、時系列で撮影される各画像データから認識された指（被写体）の認識結果を用いて、試着ページ６２上で指の向きや移動方向等を検出し、仮想空間上の仮想オブジェクトの姿勢を装着可能な姿勢に修正した上で２次元画像データの生成を行って、試着ページ６２に表示することもできる。この結果、ユーザ操作により指輪（２次元画像データ）の姿勢が正しくない場合でも、試着可能な姿勢に動的に補正することができる。

［サイト例］
上記実施例で説明したＷｅｂサイトやＷｅｂページには、ＨＴＭＬ（HyperText Markup Language）などで記述されたサイトやページを採用することができる。また、制御用のスクリプトとしては、ＪａｖａＳｃｒｉｐｔ（登録商標）などを採用することができる。また、仮想空間に限らず、商品を各方向から撮影した２次元画像データを予め用意しておき、試着ページ６２に表示することもできる。

［適用システム］
上記実施例では、商品の閲覧、試着、購入を行うＥＣ（Electronic Commerce）サイトを例にして説明したが、これに限定されるものではない。例えば、試作品や、現品を作る前にデザインの段階で、仮想オブジェクトとする３次元画像データを生成することで、上記試着サービスと同等のサービスを提供することができる。この結果、商品の大量生産を行う前に、デザインの修正や相談を行うことができるので、不要なコストの削減や製造工程を効率化することができる。

また、商品サーバ１０上で試着サービスを提供することもできる。具体的には、商品サーバ１０が、ユーザ端末３０と試着制御部４２と同等の処理部を有し、Ｗｅｂブラウザを用いて、ユーザ端末３０に試着サービスを提供する。また、ユーザ端末３０は、ユーザ端末３０は、制御用のスクリプトがすでに組み込まれたＷｅｂブラウザを用いて、商品の３次元画像データを商品サーバ１０から取得して試着サービスを実行することもできる。

また、上記例では、ユーザ端末３０が、１つの商品の３次元画像データを商品サーバ１０から取得する例を説明したが、これに限定されず、複数の商品それぞれの３次元画像データを商品サーバ１０から取得することもできる。例えば、ユーザ端末３０は、試着対象の指輪を３つ選択して、それぞれの３次元画像データを商品サーバ１０から取得する。ユーザ端末３０は、ユーザの指示操作により、対象商品を切替えて、試着サービスを実行することができる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、オブジェクト生成、試着サービス、商品管理などを別々のサーバで実現することもできる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
図１４は、ハードウェア構成例を説明する図である。商品サーバ１０とユーザ端末３０とは同様のハードウェア構成を有するので、ここでは、コンピュータ１００として説明する。図１４に示すように、コンピュータ１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図１４に示した各部は、バス等で相互に接続される。

通信装置１００ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１００ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１００ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図３等で説明した各機能を実行するプロセスを動作させる。例えば、ユーザ端末３０を例にして説明すると、このプロセスは、ユーザ端末３０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、アクセス部４１と試着制御部４２等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、アクセス部４１と試着制御部４２等と同様の処理を実行するプロセスを実行する。

このように、コンピュータ１００は、プログラムを読み出して実行することで試着制御方法を実行する情報処理装置として動作する。また、コンピュータ１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、コンピュータ１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

１０ 商品サーバ
１１ 通信部
１２ 記憶部
１３ 商品情報ＤＢ
１４ 画像データＤＢ
２０ 制御部
２１ 受付部
２２ 応答部
３０ ユーザ端末
３１ 通信部
３２ 撮像部
３３ 記憶部
４０ 制御部
４１ アクセス部
４２ 試着制御部
４３ ２次元画像生成部
４４ 表示制御部

Claims (11)

1. 撮影された２次元画像を表示する表示手段と、
   前記撮影された２次元画像の中から、時系列的に変化する予め決められた被写体を検出する検出手段と、
   表示すべき仮想オブジェクトの３次元画像データを記憶する記憶手段と、
   前記記憶手段に記憶された前記仮想オブジェクトの３次元画像データを前記表示手段に表示する表示姿勢を指示する指示手段と、
   前記指示手段により指示された前記仮想オブジェクトの３次元データの表示姿勢に基づき前記表示手段に表示される前記仮想オブジェクトのうち、優先的に表示する優先領域を決定する決定手段と、
   前記撮影された２次元画像とともに、前記表示手段の予め決められた表示位置に前記仮想オブジェクトを表示するとともに、少なくとも前記表示手段に表示されている前記被写体と前記仮想オブジェクトの表示が重なったときに、当該重なった領域のうち、前記決定手段により決定された前記優先領域を前記被写体に優先して表示するとともに、前記優先領域以外の前記仮想オブジェクトの領域を非表示とする表示制御手段と、
   を備えた情報処理装置。
2. 前記検出手段は、前記２次元画像の各画素を参照し、前記各画素の画素値、前記各画素を用いた特徴量または前記各画素の変化量に基づき、前記時系列に変化する被写体を検出することを特徴とする請求項１に記載の情報処理装置。
3. 前記指示手段は、前記仮想オブジェクトが前記被写体とともに前記表示手段に表示されているときでも前記仮想オブジェクトの表示姿勢の指示が可能であり、
   前記表示制御手段は、前記指示手段による表示姿勢の指示により優先的に表示する前記仮想オブジェクトの表示領域を動的に変化させることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記仮想オブジェクトは、前記被写体に仮想的に装着する服飾品であり、
   前記決定手段は、前記服飾品の表示姿勢により決定される前記被写体への装着時に前記被写体によって隠れる領域以外を前記被写体に優先して表示する前記優先領域と決定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 第１の領域と第２の領域とを有する３次元の仮想空間をシミュレートし、前記第１の領域と前記第２の領域との境界に、前記仮想オブジェクトの３次元画像データを配置するとともに、前記第１の領域のみを撮影する第１の仮想カメラを用いて、前記仮想オブジェクトの３次元画像データのうち前記第１の領域に位置する第１の部分画像を撮影し、前記第２の領域のみを撮影する第２の仮想カメラを用いて、前記仮想オブジェクトの３次元画像データのうち前記第２の領域に位置する第２の部分画像を撮影し、前記第１の部分画像と前記第２の部分画像とを組み合わせた、前記仮想オブジェクトの２次元画像データを生成する生成手段を、さらに有し、
   前記表示制御手段は、前記仮想オブジェクトの２次元画像データを前記表示手段に表示する際に、前記第１の部分画像を前記優先領域として表示することを特徴とする請求項１に記載の情報処理装置。
6. 撮影された２次元画像を表示するステップと、
   前記２次元画像の中から、時系列的に変化する予め決められた被写体を検出するステップと、
   仮想オブジェクトの３次元画像データを表示する表示姿勢を指示するステップと、
   指示された前記仮想オブジェクトの３次元画像データの表示姿勢に基づき表示される前記仮想オブジェクトのうち、優先的に表示する優先領域を決定するステップと、
   前記２次元画像とともに、予め決められた表示位置に前記仮想オブジェクトを表示するとともに、少なくとも表示されている被写体と前記仮想オブジェクトの表示が重なったときに、重なった領域のうち、前記優先領域を被写体に優先して表示するとともに、前記優先領域以外の前記仮想オブジェクトの領域を非表示とするステップと、
   を含む、表示制御方法。
7. 撮影された２次元画像を表示する処理と、
   前記２次元画像の中から、時系列的に変化する予め決められた被写体を検出する処理と、
   仮想オブジェクトの３次元画像データを表示する表示姿勢を指示する処理と、
   指示された前記仮想オブジェクトの３次元画像データの表示姿勢に基づき表示される前記仮想オブジェクトのうち、優先的に表示する優先領域を決定する処理と、
   前記２次元画像とともに、予め決められた表示位置に前記仮想オブジェクトを表示するとともに、少なくとも表示されている被写体と前記仮想オブジェクトの表示が重なったときに、重なった領域のうち、前記優先領域を被写体に優先して表示するとともに、前記優先領域以外の前記仮想オブジェクトの領域を非表示とする処理と、
   をコンピュータに実行させる、表示制御プログラム。
8. 前記被写体を検出する処理は、前記２次元画像の各画素を参照し、前記各画素の画素値、前記各画素を用いた特徴量または前記各画素の変化量に基づき、前記時系列に変化する被写体を検出する請求項７に記載の表示制御プログラム。
9. 前記表示姿勢を指示する処理は、前記仮想オブジェクトが前記被写体とともに表示されているときでも前記仮想オブジェクトの表示姿勢の指示が可能であり、
   前記表示を制御する処理は、前記表示姿勢の指示により優先的に表示する前記仮想オブジェクトの表示領域を動的に変化させる、請求項７または８に記載の表示制御プログラム。
10. 前記仮想オブジェクトは、前記被写体に仮想的に装着する服飾品であり、
    前記優先領域を決定する処理は、前記服飾品の表示姿勢により決定される前記被写体への装着時に前記被写体によって隠れる領域以外を前記被写体に優先して表示する前記優先領域と決定する、請求項７乃至９の何れか１項に記載の表示制御プログラム。
11. 第１の領域と第２の領域とを有する３次元の仮想空間をシミュレートし、
    前記第１の領域と前記第２の領域との境界に、前記服飾品に対応する前記仮想オブジェクトの３次元画像データを配置するとともに、前記第１の領域のみを撮影する第１の仮想カメラを用いて、前記仮想オブジェクトの３次元画像データのうち前記第１の領域に位置する第１の部分画像を撮影し、
    前記第２の領域のみを撮影する第２の仮想カメラを用いて、前記仮想オブジェクトの３次元画像データのうち前記第２の領域に位置する第２の部分画像を撮影し、
    前記第１の部分画像と前記第２の部分画像とを組み合わせた、前記仮想オブジェクトの２次元画像データを生成する処理を、前記コンピュータにさらに実行させ、
    前記表示する処理は、前記仮想オブジェクトの２次元画像データを表示する際に、前記第１の部分画像を前記優先領域として表示することを特徴とする請求項１０に記載の表示制御プログラム。

Images