JP2016004564A - 拡張現実を利用した試着支援システム - Google Patents

Abstract

【課題】ユーザの身体寸法に合った衣料品画像を用いて試着画像を生成する試着支援システムを提供する。
【解決手段】試着支援システム１の端末装置２は，カメラ２４が撮影している映像内のマーカ６を認識し，マーカ６を認識できた時の映像をユーザ画像として取得した後，マーカ６を貼り付ける身体位置と身体寸法を示す情報を参照して，ユーザ画像上におけるマーカ６の位置とユーザの身体位置を対応付けし，ユーザの身体寸法を計測する。そして，端末装置２は，基準マーカ６ａのパターンに紐付けられた衣料品画像の中から，身体寸法計測部２２が計測した身体寸法に適合するサイズの衣料品画像をデータベース装置３から取得し，衣料品画像をユーザ画像に合成した試着画像を生成してディスプレイ２５に表示する。
【選択図】図１

Description

本発明は，拡張現実（Augmented Reality）を利用し，衣料品を仮想的に試着した画像をユーザに提供する発明である。

街にある実店舗にて消費者が衣料品を購入する場合、消費者は実際に試着する衣料品を商品棚から手にとり、手にとった衣料品を試着室で試着していたが、試着室が混雑していたり、実際に手にした衣料品が想像したサイズと異なったりで，消費者は試着に多くの時間を要してしまう。また、店舗側からすると，消費者が試着した衣料品は乱雑に商品棚に戻されることが多く、商品棚に戻された衣料品を整理する作業に人件費がかさんでしまう。

また、インターネット上の仮想店舗にて消費者が衣料品を購入する場合、消費者は，衣料品を試着できないため、仮想店舗が販売している衣料品のサイズ等が自分に合うか否かを消費者側で確認することができない。

このようなことを考慮し，衣料品を仮想的に試着した画像（以下，試着画像）をユーザに提供するサービスシステムがすでに提案されている。例えば，特許文献１では，ユーザの身体寸法を計測してユーザの３次元画像を作成し，衣料品の３次元画像とユーザの３次元画像を合成することで，ユーザに試着画像を提供する発明が開示されている。また，特許文献２では，拡張現実で用いるマーカを表示した携帯端末を持たせた消費者をカメラで撮影し，マーカに対応した衣料品の画像をカメラの撮影画像に合成することで，ユーザに試着画像を提供する発明が開示されている。

特開２００３−４１４２１号公報 特開２０１１−６０００５号公報

特許文献１で開示されている発明のように，ユーザの身体寸法を用いて試着画像を作成すると，身体寸法を計測していないユーザには試着画像を提供することができない。これに対して，特許文献２で開示されている発明のように，マーカ型の拡張現実を利用して試着画像を作成すると，身体寸法を計測しなくともユーザに試着画像を提供できる。

しかしながら，ユーザの身体寸法を計測すると，ユーザの身体寸法が事前にわかるため，試着画像を作成する際に消費者の身体寸法に適合するサイズの衣料品の画像を選択することができるが，マーカ型の拡張現実を利用して試着画像を作成すると，ユーザの身体寸法を事前に計測しないため，ユーザの身体寸法に衣料品のサイズを合わせて試着画像を作成できない問題がある。

そこで，本発明は，マーカ型の拡張現実を利用して試着画像を生成するシステムにおいて，ユーザの身体寸法に合った衣料品画像を用いて試着画像を生成する試着支援システムを提供することを目的とする。

上述した課題を解決する第１の発明は，ユーザの身体に貼り付ける複数のマーカと端末装置とから少なくとも構成したシステムであって，前記端末装置は，前記マーカの形状とそれぞれの前記マーカに描かれているパターンを利用して，前記カメラが撮影している映像内の前記マーカを認識し，前記マーカを認識できた時の映像をユーザ画像として取得する画像キャプチャー部と，前記マーカを貼り付ける身体位置と身体寸法を示す情報を参照して，前記ユーザ画像上における前記マーカの位置とユーザの身体位置を対応付けし，ユーザの身体寸法を計測する身体寸法計測部と，衣料品画像が紐付けられている前記パターンを特定し，この前記パターンに紐付けられている衣料品画像の中から，身体寸法計測部が計測した身体寸法に適合するサイズの衣料品画像を選択し，選択した衣料品画像を前記ユーザ画像に合成した試着画像を生成する試着画像生成部を備えたことを特徴とする試着支援システムである。上述した試着支援システムによれば，複数の前記マーカを身体に貼り付けたユーザを撮影し，複数の前記マーカを用いてユーザの身体寸法を測定するため，ユーザの身体寸法に合った衣料品画像を用いて試着画像を生成することができる。なお，前記端末装置の形態としては，店舗に設置するデジタルサイネージの形態や，ユーザが所持するスマートフォンやタブレットの形態が考えられる。

更に，第２の発明は，第１の発明に記載の試着支援システムであって，前記端末装置の前記試着画像生成部は，衣料品画像を前記ユーザ画像に合成した画像を鏡像加工することで試着画像を生成することを特徴とする。実際の店舗にある試着室では鏡が利用されるため，ユーザに提供する試着画像は鏡像であることが望ましい。

更に，第３の発明は，第１の発明または第２の発明に記載の試着支援システムであって，衣料品画像を紐付ける前記パターンに紐付けして，前記パターンに対応する衣料品の衣料品画像を衣料品のサイズごとに記憶したデータベースを備えたデータベース装置を含み，前記端末装置の前記試着画像生成部は，前記データベース装置から衣料品画像を取得するように構成したことを特徴とする。前記データベース装置を含ませれば，衣料品画像を紐付ける前記パターンに紐付けする衣料品画像を容易に変更できるようになる。

このように，上述した本発明によれば，マーカ型の拡張現実を利用して試着画像を生成するシステムにおいて，ユーザの身体寸法に合った衣料品画像を用いて試着画像を生成する試着支援システムを提供できる。

試着支援システムの構成を説明する図。 試着支援システムで用いるマーカを説明する図。 マーカの貼り付け方を説明する図。 試着支援システムのブロック図。 端末装置の動作を説明する図。 試着画像を生成する内容を説明する図。 タブレットで端末装置を実現した形態を説明する図。

ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の範囲を束縛するものでなく，理解を助けるために記述するものである。

図１は，試着支援システム１の構成を説明する図，図２は，試着支援システム１で用いるマーカ６を説明する図，図３は，マーカ６の貼り付け方を説明する図，図４は，試着支援システム１のブロック図，図５は，端末装置の動作を説明する図，図６は，試着画像を生成する内容を説明する図，図７は，タブレットで端末装置２を実現した形態を説明する図である。

図１を参照しながら，本実施形態に係る試着支援システム１の構成について説明する。図１で図示した試着支援システム１は，マーカ型の拡張現実を利用したシステムで，ユーザの身体に貼り付ける複数のマーカ６と， 複数のマーカ６を身体に貼り付けたユーザをカメラ２４で撮影し，基準となるマーカ６で示される衣料品画像をカメラ２４が撮影した画像に合成した試着画像を生成する端末装置２と，様々な衣料品の衣料品画像を記憶しているデータベース装置３とから少なくとも構成され，図１では，これらに加え，衣料品を取り扱う店舗の運営者側で利用するパーソナルコンピュータ４を図示している。

まず，図２，本実施形態に係る試着支援システム１で使用するマーカ６について説明する。本実施形態に係る試着支援システム１で用いるマーカ６は，ＡＲＴｏｏｌＫｉｔ等で用いられるものと同様に，黒枠の正方形内に所定のパターンを描いたものである。

通常の拡張現実技術では，一つのコンピュータグラフィックスの合成に用いるマーカ６は一つになるが，本実施形態に係る試着支援システム１では，一つの衣料品画像の合成に用いるマーカ６は複数になる。複数のマーカ６を利用する場合であっても，カメラ２４に対するマーカ６の位置と姿勢を求めなければならないため，本実施形態の試着支援システム１では，衣料品画像を紐付けしたパターン（ここでは，「Ｔ０００１」）を一つのマーカ６内に描き，このマーカ６を基準マーカ６ａとし，カメラ２４に対する基準マーカ６ａの位置と姿勢を求める。また，図２では，基準マーカ６ａ以外のマーカ６には，衣料品画像を紐付けしていない同一のパターン（ここでは，「★」）を描いている。

図３を参照して，マーカ６を貼り付ける身体位置について説明する。本実施形態において，一つの衣料品画像の合成に複数のマーカ６を用いるのは，衣料品のサイズ選択に必要なユーザの身体寸法を計測できるようにするためである。例えば，衣料品を半袖のＴシャツとする場合，ユーザの身丈と身幅がわかればＴシャツのサイズ合わせできるため，本実施形態で用いるマーカ６の数は，ユーザの身丈の計測に用いる２つのマーカ６と，ユーザの身幅の計測に用いる２つのマーカ６の合計４つになる。身丈は，衣料品の種類にかかわらず，衣料品のサイズ合わせに必要な数値であるため，図３では，ユーザの身丈の計測に用いるマーカ６に基準マーカ６ａを用い，ユーザの首元に基準マーカ６ａを貼り付けている。また，基準マーカ６ａとの長さがユーザのおおよその身丈を示すように，基準マーカ６ａでない一つのマーカ６をユーザのへその位置に貼り付けている。また，図３では，ユーザのおおよその身幅がマーカ６によって示されるように，基準マーカ６ａでない一つのマーカ６を左の脇下に貼り付け，更に，基準マーカ６ａでない一つのマーカ６を右の脇下に貼り付けている。なお，衣料品が長袖のＴシャツの場合，図３で図示したマーカ６に加え，ユーザのおおよその袖丈を示すマーカ６が必要になる。

次に，図４を参照して，本実施形態に係る試着支援システム１を構成する装置について説明する。

本実施形態に係る試着支援システム１を構成するデータベース装置３は，データベース（DB: DataBase）として，衣料品に係る情報を記憶した衣料品ＤＢ３０と接続している。衣料品ＤＢ３０には，衣料品に係る情報として，基準マーカ６ａに描かれたパターンに紐付けして，基準マーカ６ａのパターンに対応させる衣料品のサイズ（例えば，Ｓ，Ｍ，Ｌ）ごとに，サイズ寸法（ここでは，身丈の範囲と身幅の範囲）と衣料品のサイズに適合する衣料品画像が記憶されている。

図１で図示したパーソナルコンピュータ４は，基準マーカ６ａのパターンに紐付ける情報を店舗側で変更する時に操作する装置である。データベース装置３は，店舗向けのウェブサイトを備え，基準マーカ６ａのパターンに紐付ける情報（例えば，衣料品画像）を店舗の運営者が変更できるようにすることで，基準マーカ６ａに描くパターンを店舗で取り扱う衣料品毎に用意する必要はなくなる。

次に，本実施形態に係る試着支援システム１を構成する端末装置２について説明する。端末装置２はコンピュータを利用して実現される装置で，映像を撮影するカメラ２４と，映像や画像を表示するディスプレイ２５が接続されている。

また，端末装置２は，端末装置２として利用するコンピュータを動作させるコンピュータプログラムにより実現される機能して，マーカ６の形状とそれぞれのマーカ６に描かれているパターンを利用して，カメラ２４が撮影している映像内のマーカ６を認識し，マーカ６を認識できた時の映像をユーザ画像として取得する画像キャプチャー部２０と，衣料品画像が紐付けられているパターンが描かれているマーカ６を基準マーカ６ａとし，基準マーカ６ａのサイズとユーザ画像上における基準マーカ６ａの座標を利用して，基準マーカ６ａの座標系をカメラ２４の座標系に変換する座標変換行列を算出する座標変換行列算出部２１と，マーカ６を貼り付ける身体位置と身体寸法を示す情報を参照して，ユーザ画像上におけるマーカ６の位置とユーザの身体位置を対応付けし，座標変換行列の逆行列を用いて，ユーザの身体寸法を計測する身体寸法計測部２２と，基準マーカ６ａのパターンに紐付けられた衣料品画像の中から，身体寸法計測部２２が計測した身体寸法に適合するサイズの衣料品画像を選択し，座標変換行列を用いて，選択した衣料品画像をユーザ画像に合成した試着画像を生成してディスプレイ２５に表示する試着画像生成部２３を備える。

図５を参照しながら，端末装置２の動作について説明する。まず，端末装置２の画像キャプチャー部２０は，カメラ２４が撮影している映像内のマーカ６を認識し，マーカ６を認識できた時の映像をユーザ画像として取得する（Ｓ１）。図２に図示したように，本実施形態におけるマーカ６の形状は，黒枠の正方形であるため，本実施形態に係る画像キャプチャー部２０は，黒枠の正方形が４隅を有することを利用して，カメラ２４が撮影している映像のフレームに含まれる四角形を認識し，更に，この四角形内に描かれているパターンを認識することで，最終的にマーカ６を認識する。なお，四角形内に描かれているパターンを認識する手法としては，四角形内を所定数の領域に分割し，一つの領域内における白黒の割合を求めることでパターンコードを生成し，パターンコードを用いて四角形内に描かれているパターンを認識する手法が広く用いられている。

次に，端末装置２の座標変換行列算出部２１は，基準マーカ６ａの座標系をカメラ２４の座標系に変換する座標変換行列を算出する（Ｓ２）。本実施形態では，基準マーカ６ａのパターンは他のマーカ６のパターンと異なるため，本実施形態に係る座標変換行列算出部２１は，マーカ６のパターンをそれぞれ比較することで，基準マーカ６ａを特定し，基準マーカ６ａの実サイズとユーザ画像上における基準マーカ６ａの特徴点（ここでは，４隅の座標）の座標を用い，基準マーカ６ａの座標系をカメラ２４の座標系に変換する座標変換行列を算出する。

次に，端末装置２の身体寸法計測部２２は，ユーザの身体寸法を計測する（Ｓ３）。本実施形態に係る身体寸法計測部２２は，ユーザの身体寸法を計測できるように，図３で図示したような，マーカ６を貼り付ける身体位置と身体寸法を示す情報を記憶している。本実施形態に係る身体寸法計測部２２は，マーカ６を貼り付ける身体位置と身体寸法を示す情報を参照して，ユーザ画像上におけるマーカ６の位置とユーザの身体位置を対応付した後，身体寸法に対応するマーカ６間の長さを求め，座標変換行列の逆行列を利用して，ユーザ画像上におけるマーカ６間の長さを実際の長さに変換する。

次に，端末装置２の試着画像生成部２３は試着画像を生成して（Ｓ４），図５の手順は終了する。本実施形態に係る試着画像生成部２３は，衣料品の試着画像を生成する際，まず，データベース装置３の衣料品ＤＢ３０にアクセスし，基準マーカ６ａのパターンに紐付けられているサイズ寸法の中から，身体寸法計測部２２が計測した身体寸法が適合するサイズ寸法を特定し，特定したサイズ寸法に対応する衣料品画像を取得し，座標変換行列を用いて，この衣料品画像をユーザ画像に合成することで試着画像を生成する。

図６を参照しながら，本実施形態に係る試着画像生成部２３が試着画像を生成する内容について説明する。図６（ａ）は，ユーザ画像を説明する図である。図６（ａ）で図示したユーザ画像には，基準マーカ６ａを含む４つのマーカ６を上半身に貼り付けたユーザが撮影されている。図６（ｂ）は，ユーザ画像に合成する衣料品画像である。上述しているように，ユーザ画像に合成する衣料品画像は，基準マーカ６ａのパターンに対応し，ユーザの身体寸法に適合する衣料品画像になる。図６（ｃ）は，座標変換行列を用いて，カメラ２４の座標系に座標変換した後の衣料品画像である。図６（ｃ）に図示したように，座標変換した後の衣料品画像の姿勢は，ユーザ画像における基準マーカ６ａの姿勢に合せてられている。図６（ｄ）は，試着画像を説明する図である。図６（ｃ）で図示した衣料品画像を，図６（ａ）で図示したユーザ画像の前面に重ね合わせることで，図６（ｄ）で図示した試着画像が得られる。

マーカ型の拡張現実を利用する際，拡張現実に用いるマーカ６上にコンピュータグラフィックスを合成するが，図６（ｄ）に図示したように，本実施形態に係る試着支援システム１では，ユーザの身体にマーカ６が貼られるため，ユーザ画像に含まれるマーカ６が隠れるように衣料品画像が合成されることになる。また，端末装置２のディスプレイ２５に表示する画像は，図６（ｄ）のように，左右が反転されていない試着画像でもよいが，実際の店舗の試着室では鏡が用いられているため，図１のように，図６（ｄ）で図示した試着画像を鏡像加工し，左右が反転されている試着画像の鏡像をディスプレイ２５に表示させることが望ましい。

このように，本実施形態に係る試着支援システム１によれば，複数のマーカ６を身体に貼り付けたユーザを撮影し，複数のマーカ６を用いてユーザの身体寸法を測定するため，ユーザの身体寸法に合った衣料品画像を用いて試着画像を生成することができる。

これまで，本実施形態に係る試着支援システム１について説明してきた。上述の実施形態では，試着支援システム１を構成する端末装置２を店舗に設置する装置としたが，端末装置２の形態は店舗に設置する装置の形態に限らず，カメラ付きのスマートフォンやカメラ付きのタブレットを端末装置２に利用することができる。

図７は，カメラ付きのスマートフォン７で端末装置２を実現した試着支援システム１ａを説明する図である。図７の図示したスマートフォン７には，拡張現実に対応したアプリケーション（例えば，拡張現実に対応したブラウザ）が実装されており，このアプリケーションは，図４で示した機能を備えている。

１ 試着支援システム
２ 端末装置
２０ 画像キャプチャー部
２１ 座標変換行列算出部
２２ 身体寸法計測部
２３ 試着画像生成部
３ データベース装置
３０ 衣料品ＤＢ
６ マーカ
６ａ 基準マーカ

Claims (3)

1. ユーザの身体に貼り付ける複数のマーカと端末装置とから少なくとも構成したシステムであって，
   前記端末装置は，前記マーカの形状とそれぞれの前記マーカに描かれているパターンを利用して，前記カメラが撮影している映像内の前記マーカを認識し，前記マーカを認識できた時の映像をユーザ画像として取得する画像キャプチャー部と，前記マーカを貼り付ける身体位置と身体寸法を示す情報を参照して，前記ユーザ画像上における前記マーカの位置とユーザの身体位置を対応付けし，ユーザの身体寸法を計測する身体寸法計測部と，衣料品画像が紐付けられている前記パターンを特定し，この前記パターンに紐付けられている衣料品画像の中から，身体寸法計測部が計測した身体寸法に適合するサイズの衣料品画像を選択し，選択した衣料品画像を前記ユーザ画像に合成した試着画像を生成する試着画像生成部を備えた，
   ことを特徴とする試着支援システム。
2. 前記端末装置の前記試着画像生成部は，衣料品画像を前記ユーザ画像に合成した画像を鏡像加工することで試着画像を生成することを特徴とする，請求項１に記載した試着支援システム。
3. 衣料品画像を紐付ける前記パターンに紐付けして，前記パターンに対応する衣料品の衣料品画像を衣料品のサイズごとに記憶したデータベースを備えたデータベース装置を含み，前記端末装置の前記試着画像生成部は，前記データベース装置から衣料品画像を取得するように構成したことを特徴とする，請求項１または請求項２に記載した試着支援システム。
   

Images