JP2010113716A - 比較ショッピングのためのビデオマッチングの方法 - Google Patents

Abstract

【課題】コンピュータによって実施される比較ショッピングのためのビデオマッチングの方法を提供する。
【解決手段】単一のカメラの前において第１の衣服、宝飾品、又はその他の装身具を着用するユーザの、第１の連続する画像を記録し、第１の連続する画像を記憶し、単一のカメラの前において第２の衣服、宝飾品、又はその他の装身具を着用するユーザの、第２の連続する画像を記録し、第２の連続する画像を記憶し、第１の連続する画像から第３の連続する画像を作成するために、マッチングアルゴリズムに従い、第１の連続する画像内における、第２の連続する画像内の各画像毎にマッチする画像を識別し、ユーザが、第１と第２の衣服、宝飾品、又はその他の装身具を着用した場合にどのように見えるかを容易に比較することを可能にするめに、第２の連続する画像と第３の連続する画像とを相互に近接させてユーザに表示する。
【選択図】図１Ａ

Description

本発明は、コンピュータによって実施される比較ショッピングのためのビデオマッチングの方法に関し、より詳細には、画像と連続する画像からの類似の身体および頭部のポーズとを確実にマッチングする方法に関する。

衣服、宝飾品、又はその他の装身具の買い物は、オンラインでも実際の店舗でも行われ得るよくある行動である。実際の店舗でよく行われるのは、興味のある商品を求めて在庫を調べ、比較のために数点選択し、もしあれば、どれを購入すべきか決めるためにそれらを試着することである。買物客は、着用可能な商品を、それらがどれほど実際に適合するかによって、またその買物客が他人に知覚してほしい自分自身のイメージにどれほど適合するかによって評価する。すなわち買物客は、衣服が自分の身体に適合するかどうかだけでなく、衣服が自分のスタイルに適合するかどうかもチェックする。

特に衣類の場合、買物客は、通常、試着室で複数の衣服を比較したがる。最新の感知技術は、この経験を増強することができる。更衣室の中には、買物客が持ち込んだ際に（ＲＦＩＤ読取装置等によって）衣服を識別し、その衣服の価格や代替の色、及び、サイズに関する追加情報、すなわち、買物客が商品をオンラインでブラウジングするときに見ることのできる類の情報を提供する。試着室における他の技術の中には、買物客の動きを記録し、その買物客にビデオを再生するビデオカメラが含まれる。

過去には、試着の際のユーザを見せるための技術（例えば、ユーザが第２の衣服、又は、宝飾品を着用している間に、第１の衣服、又は、宝飾品を着用した画像を見せるなど）が開発されている。さらに、２つの記録された動画像列（ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ）をマッチングする技術も開発されている。非特許文献１などを参照されたい。

サンド（Sand）及びテラー（Teller）、「ビデオマッチング（Video Matching）」、ＡＣＭトランザクション・オン・グラフィックス（ＴＯＧ）、２００４年、第２２巻、第３号、ｐ．５９２−５９９

本発明は、コンピュータによって実施される比較ショッピングのためのビデオマッチングの方法を提供することを目的としている。

本発明の第１の態様は、コンピュータによって実施される比較ショッピングのためのビデオマッチングの方法であって、単一のカメラの前において第１の衣服、宝飾品、又はその他の装身具を着用するユーザの、第１の連続する画像を記録し、第１の連続する画像を記憶し、単一のカメラの前において第２の衣服、宝飾品、又はその他の装身具を着用するユーザの、第２の連続する画像を記録し、第２の連続する画像を記憶し、第１の連続する画像から第３の連続する画像を作成するために、マッチングアルゴリズムに従い、第１の連続する画像内における、第２の連続する画像内の各画像毎にマッチする画像を識別し、ユーザが、第１と第２の衣服、宝飾品、又はその他の装身具を着用した場合にどのように見えるかを容易に比較することを可能にするめに、第２の連続する画像と第３の連続する画像とを相互に近接させてユーザに表示する、ことを含む。

本発明の第２の態様は、第１の態様の方法であって、表示することは、第１のユーザ入力装置に応答して第２連続する画像及び第３の連続する画像の位置を調整するように、ユーザが制御し得る、ことを含む。

本発明の第３の態様は、第１の態様の方法であって、表示することは、衣類又は宝飾品を着用したユーザのものである、第２の連続する画像とマッチングされた複数の追加の連続する画像を、第２の連続する画像及び第３の連続する画像と近接させて表示する、ことを更に含む。

本発明の第４の態様は、第１の態様の方法であって、第１の連続する画像及び第２の連続する画像を記録することは、第１及び第２の衣服又は宝飾品を試着するのに使用される鏡の前で行われる、ことを含む。

バッチモードで２つの事前に記録された動画像列を確実にマッチングするプロセスの例を示す図である。 準リアルタイムモードで事前に記録された動画像列をライブ動画像列に確実にマッチングするプロセスの例を示す図である。 衣類比較システムの卓上実施形態を示す図である。 衣類比較システムの試着室実施形態を示す図である。 一実施形態による衣類比較システムのユーザインターフェースの一部を示す図である。 一実施形態による衣類比較システムのユーザインターフェースの一部を示す図である。 いくつかの実施形態で使用されるコンピュータを示す図である。 マッチングの滑らかさを改善するためのいくつかの実施形態で使用されるパス符号化技術を示す図である。

小売店の買い物比較では、顧客が一連の衣料品、宝飾品、又はその他の装身具（眼鏡、サングラス、ハンドバッグなど）を繰返し試着して、それらを着用した場合に他と比べてどのように見えるか査定することが、必要とされる。買物客は、複数の帽子やイヤリングを比較しようとする場合、鏡を向いて異なる商品を様々なやり方で支え、それらがどのように見えるか査定する。本発明の各実施形態は、このプロセスを改善するシステム及び方法を提供する。

考察を以下のように整理する。まず、一実施形態の概要を簡単に説明する。次にシステムを、関連プロセス及びユーザインターフェースを含めて、より詳細に説明する。次いで、各実施形態で使用されるビデオマッチングアルゴリズムの詳細を論じる。最後に、様々な代替の実施形態を論じる。

簡単にするために、以下の考察においては、「商品」、「衣類」、「宝飾品」、及び「装身具」の各用語を区別なく使用する。同様に、「買物客」及び「ユーザ」の各用語も区別なく使用し、単数形女性代名詞を使用する。「ポーズ」という用語は、本明細書で使用する場合、ユーザが特定の衣服を着用しているときの体位や姿勢といった特定の身体構成としてのユーザを意味する。例えば、ポーズは、鏡やディスプレイに対するユーザの角度位置を指すものとすることもできる。またポーズは、脚を上げる、腕を上げる、座る、頭部を向けるといった、ユーザの身ぶりを指すものとすることもできる。「準リアルタイム」という用語は、本明細書で使用する場合、自動化データ処理又はネットワーク伝送によって、表示又はフィードバック及び制御などのために、イベントの発生と処理データの使用との間に遅延が導入されることを意味する。一般に、本明細書で使用する場合、準リアルタイムは、人間操作性での予想及び要件に見合うように、１秒未満の長さとする。

例えば、準リアルタイム表示は、イベント又は状況を、現在時刻から処理時間を引いた時刻に存在したものとして描写する。

準リアルタイムとリアルタイムの区別は様々であり、遅延は、伝送の種類及び速度に依存する。

一実施形態によれば、買物客は、カルバンクライン（Ｃａｌｖｉｎ Ｋｌｅｉｎ：登録商標）の首飾りなど、第１の商品を着用して鏡の前でビデオに記録される。次いで買物客は、ティファニー（Ｔｉｆｆａｎｙ：登録商標）の首飾りなど、第２の商品を試着し、記録される。この時点で買物客は、システムを使用して、それら２回の試着時の自分を比較することができる。カルバンクライン（登録商標）の試着を第１の連続する画像とする。システムは、その第１の連続する画像（ｓｅｑｕｅｎｃｅ）を、ティファニー（登録商標）の首飾りを着けて記録された第２の連続する画像と対照して分析し、類似のフレームをマッチングする。これにより、（第１の連続する画像からのフレームを「再編集」したものからなる）第３の連続する画像が作成される。システムに結合されたディスプレイ上には、第２の連続する画像と第３の連続する画像が近接して見えるようにユーザに再生される。

特に、システムは２つの記録された連続する画像をマッチングすることから、買物客が腕を上げる、頭部を回すといったポーズもマッチングされる。よって、ユーザが、第１の連続する画像において自分の腕時計を持ち上げて首飾りと比較し、第２の連続する画像においても同様に比較した場合、再生時には、これら２つのマッチングポーズが、第１の連続する画像内のその類似のポーズが発生した時間位置に関わらず、第２の連続する画像におけるタイミングに合わせて同時に表示される。

システムは、連続する画像内の各位置を迅速に飛ばし読みするためのユーザインターフェース装置（つまみやスクリーンタッチ制御など）を含むことができる。実施形態の中には、比較ショッピングの開始前に、２回を超える試着を記録させてもよい。別の実施形態では、第２の連続する画像は、事前に記録されるのではなく、ライブ動画像列である。第１の連続する画像からの記録画像が、第２の連続する画像のライブビデオの現在の画像と準リアルタイムでマッチングされる。この概要の次に、システムを、関連プロセス及びユーザ対話の観点からより詳細に説明する。

図１Ａに、小売店衣類試着システム（バッチモード）において事前に記録された動画像列を確実にマッチングするプロセスの例を示す。プロセス１００Ａでは、まず初めに第１の連続する画像を記録し（ステップ１１０）、次にこれら画像が記憶される（ステップ１２０）。これら基本ステップを繰り返して、第２の連続する画像が記録され（ステップ１３０）、第２の連続する画像が記憶される（ステップ１４０）。次に、第２の連続する画像に最も近くマッチするように、第１の連続する画像からのフレームを再編集することによって、第３の連続する画像が作成される（ステップ１５０）。最後に、第２の連続する画像と第３の連続する画像とが、相互に近接して見えるように表示される（ステップ１６０）。

記録（ステップ１１０及びステップ１３０）は、コンピュータ処理のための連続するディジタル画像を生成することのできる、１台のビデオカメラを用いて行うことができる。記憶（ステップ１２０及びステップ１４０）は、任意のコンピュータ可読記憶媒体において行うことができる。

プロセス１００Ａのあるステップから別のステップへの流れは、典型的には、ユーザなどからの１つ又は複数の入力によって決定される。例えば、プロセス１００Ａを実行するシステムでは、記録の開始／停止をトリガし、再生をトリガするための１つ又は複数のユーザ入力装置を、提供してもよい。実施形態によっては、視覚アルゴリズムが身ぶり又はその他の合図を検出し、記録の開始／停止をトリガし、再生をトリガする、ことも可能である。

図１Ｂに、小売店衣類試着システムにおいて事前に記録された動画像列を、ライブ動画像列に対して確実にマッチングする代替プロセスの例を示す。プロセス１００Ｂでは、まず初めに、第１の連続する画像を記録し（ステップ１１０Ｂ）、次に、これらの画像が記憶される（ステップ１２０Ｂ）。次いで、ライブ動画像列から画像が取り込まれる（ステップ１３０Ｂ）。次いで、取り込まれた画像に最適にマッチする第１の連続する画像内の画像が探索される（ステップ１４０Ｂ）。第１の連続する画像からのマッチする画像と、ライブビデオからの取り込み画像とが、相互に近接して見えるように表示される（ステップ１５０Ｂ）。最後に、ライブ動画像列から、新しい画像の取り込み（ステップ１３０Ｂ）に戻って、これらプロセスが繰り返される。

実施形態によっては、プロセス１００Ａとプロセス１００Ｂが同時に実行される。より具体的には、ステップ１１０〜ステップ１２０とステップ１１０Ｂ〜ステップ１２０Ｂを同一のステップ（単一の記録シーケンス）とすることができ、次いで、プロセス１００Ｂのステップ１３０Ｂ〜ステップ１５０Ｂを、プロセス１００Ａのステップ１３０〜ステップ１４０の間に行うことができる。

図２Ａ〜２Ｂに、衣類比較システムの２つの実施形態を示す。より具体的には、図２Ａには、卓上実施形態が示され、図２Ｂには、試着室実施形態が示されている。２つの実施形態の主要な違いは、システムの様々な部分の構成及びサイズにある。これらの実施形態は、どちらも、図１Ａのバッチマッチングプロセス又は図１Ｂの準リアルタイムマッチングプロセスを用いて実施し得ることに留意されたい。

次に、各実施形態を論じる。各実施形態毎に、各図の各要素を論じ、次いで各要素の相互接続を論じる。最後に、システムの用法を、プロセス１００Ａとプロセス１００Ｂとを参照し、両実施形態について一括して論じる。

図２Ａは、衣類比較のためのシステム２００の卓上実施形態である。システム２００は、鏡２０２、ディスプレイ２０４、カメラ２０６、入力装置２０８、及び、コンピュータ２１０を含む。説明のために、鏡２０２には、ユーザ２２０の鏡像が示されている。次に、各構成要素の相互接続について説明する（相互接続は図示されていないことに留意されたい）。カメラ２０６、ディスプレイ２０４、及び、入力装置２０８は、コンピュータ２１０と通信するように結合されている。一実施形態では、システム２００の卓上実施形態は、例えば宝石店のカウンタなど、小売店内の陳列棚の上に置かれるような設計、及び、サイズとされる。このような実施形態では、コンピュータ２１０を含むすべての要素が単一のハウジング内に含まれ得る。加えて、カメラ２０６の位置を、必要に応じて、鏡２０２に映るものを最適に取り込むように調節することもできる。別の実施形態では、入力装置２０８は、ユーザがそれを回して２つのマッチングされた連続する画像をスクロールさせるための、つまみとすることができる。

図２Ｂは、衣類比較のためのシステム２４０の試着室実施形態である。図２Ａと図２Ｂとでの類似の構成要素には、参照しやすいように、同じ番号が指定されている。多くの場合これらの構成要素は、２つの実施形態で異なる寸法とされる。システム２４０は、鏡２０２、ディスプレイ２０４、カメラ２０６、（遠隔制御装置２５０上の）入力装置２０８及びコンピュータ２１０を含む。この場合もやはり、説明のために、鏡２０２には、ユーザ２２０の鏡像が示されている。図２Ａの場合と同様に、各要素間の相互接続は、図示されていない。一実施形態では、ディスプレイ２０４及び鏡２０２は、台、又は、スタンド（不図示）上に取り付けられている。遠隔制御装置２５０は、有線方式でも無線方式でもよい。加えて、カメラ２０６の位置を、必要に応じて、鏡２０２に映るものを最適に取り込むように調節することもできる。

システム２４０（又はシステム２００）の一実施形態では、遠隔制御装置、又は、他の直接のユーザ入力装置は、必須ではない。ユーザが近づくと、システム２４０は、カメラ２０６、及び、コンピュータ２１０上で実行されるソフトウェアとして実施された画像分析アルゴリズムを使用して、ユーザが近くにいることを検出し、第１の連続する画像、すなわちマッチング画像の記録を開始する。ユーザが離れると、システム２４０はこれを検出し、記録を停止する。次回ユーザが近づくと、ユーザは検出され、第２の、すなわちマッチングするための連続する画像として再度記録される。今度は、鏡２０２と近接して見えるディスプレイ２０４が、プロセス１００Ｂが使用されている場合には、ユーザの現在のポーズにマッチする第１の連続する画像からの画像の表示を開始する。このような実施形態は、異なるユーザの検出を処理するために、タイムアウト、人物認識ソフトウェア、顔認識ソフトウェア、及び／又は、店員ユーザ入力装置を含んでいてもよい。加えて、複数の前の試着の表示をサポートするユーザ入力自由の実施形態では、すべての前の試着連続画像を、現在の試着、最近の試着のみ、及び／又は、コンピュータ２１０に事前ロードされた店舗構成設定や、店員用の入力装置といった、異なる入力による他のオプションと同時に表示することもできる。

本考察の残りの部分では、図２Ａの卓上実施形態を中心に論じるが、各概念は、図２Ｂの実施形態にも同様に適用され得ることを理解すべきである。実施形態によっては、鏡２０２は、カメラ２０６からのライブ出力を表示し、よって鏡のように働くコンピュータディスプレイなどのディスプレイで置き換えられる。

図１Ａのプロセス１００Ａを、図２Ａに示すシステム２００の実施形態の状況で考察する。この例では、買物客は、第１の衣服を着けてシステム２００の前に立ち、又は、座ることができる。この例では帽子を使用する。入力装置２０８を押す、ディスプレイ２０４上のタッチスクリーン制御など、１つ又は複数のユーザインターフェース要素により、コンピュータ２１０上で第１の連続する画像の記録（ステップ１１０）の開始をトリガすることができる。実施形態によっては、この記録は、コンピュータ２１０によるカメラ２０６からの画像の処理に基づき、動き検出又は位置検出によりトリガされてもよい。買物客は、入力装置２０８を押すなど、ユーザインターフェース要素を使用し、記録を停止することができる。この時点で、第１の連続する画像が記録される。記録プロセスの間、買物客は、異なるポーズに対応する画像がシステムによって取り込まれるように、頭部を上下左右に回す、両手を様々なポーズで動かすなど、自分の位置を変えることができることに留意されたい。実施形態によっては、記録（ステップ１１０）及び記憶（ステップ１２０）は、（連続する画像全体が記録されるまで待ってから記憶するのではなく）同時に行われてもよい。この後ディスプレイ２０４は、図３Ａのように見えるはずであり、図３Ａには、第１の連続する画像（マッチング連続画像ともいう）の１フレーム３０２を含むディスプレイ２０４が示されている。

次のユーザ入力で、第２の連続する画像の記録及び記憶（ステップ１３０及びステップ１４０）をトリガすることができる。この後、ディスプレイ２０４は、各連続するフレームの１フレームを並べて表示する、図３Ｂのように見えるはずである。この例では、２つの連続する画像には、２つの異なる帽子（先のとがった帽子とドーム形の帽子）を試着していた買物客が映っていることに留意されたい。次に、プロセス１００Ａは、ユーザ入力に応答して、又は、第２の連続する画像３０４の記録完了時に自動的に、２つの試着をマッチングし（ステップ１５０）、並べて表示する（ステップ１６０）。ステップ１５０及びステップ１４０Ｂで使用されるアルゴリズム及び技法について後述する。

例えば、一実施形態では、ディスプレイ２０４は、タッチスクリーンを備え、（ｉ）新しいセッションの開始（新しい買物客がプロセス１００Ａを再開するなど）、（ｉｉ）連続する画像の記録の開始／停止、マッチングのトリガ（ステップ１５０）、及び（ｉｉｉ）再生位置調整（物理入力装置２０８に置き換わることができる）のための、ユーザインターフェース入力を提供する。

次にいくつかの特徴及び実施形態について論じる。
２つの連続する画像を、全く異なる時刻に、あるいは異なる店舗でさえも記録することができ、両システムともが、先に記憶された連続する画像にアクセスすることができる場合、店舗間での比較が可能になる。
記録プロセスの間、買物客は、様々なポーズをとることができる。すなわち、マッチング（ステップ１５０）では、異なるポーズを有する２つの連続する画像に、それら２つの連続する画像の間で、ユーザがカメラから見て異なる位置（左／右／上／下、すなわち変換）にいる場合でさえも適応する。
実施形態によっては、２つを超える連続する画像にわたる記録及びマッチングをサポートする。このような実施形態は、プロセス１００Ａを変更し、２つを超える連続する画像の記録を行わせ、プロセス１００Ａを変更してマッチング（ステップ１５０）する前に、１ステップを追加し、そこでマッチング／再生のために２つのビデオが選択される。
実施形態によっては、複数の連続する画像のうち、基礎連続画像に対するマッチングをサポートする。これらの実施形態は、すべて基礎連続画像に対してマッチングされる複数の連続する画像を、近接して見えるように再生することができる。さらに、基礎連続画像は、ライブビデオからの取り込み画像とすることができる。
実施形態によっては、身ぶり又はカメラからのその他の視覚的合図を検出することによって、明示的なユーザ対話なしで、プロセス１００Ａ又はプロセス１００Ｂのフローをトリガすることができる。例えば、一実施形態では、カメラの視界内の人の存在を、記録開始のトリガとすることができ、視界内の人の不在を、記録停止のトリガとすることができる。また、人の動きを、マッチングプロセス及びマッチングされた連続する画像の再生のトリガとすることも可能である。

図４に、各実施形態で使用されるコンピュータ２１０をより詳細に示す。コンピュータ２１０は、プロセッサ４０２、メモリ４０４、記憶装置４１０、ディスプレイ２０４、ならびに２つの入力装置、すなわちキーボード４５０及びポインティングデバイス４６０を含む。記憶装置４１０は、衣類比較システム４４０を含む。ネットワークリソース及びコンピュータ２１０のその他の通信リソースは、簡潔にするために図示していない。コンピュータ２１０は、衣類比較システム４４０、図２Ａ、図２Ｂのシステム２００に示すような、連続する画像の記録及び再生を行うための関連するハードウェアをサポートするように適切に変更され、かつ／又は、プログラムされた任意の市販のコンピュータとすることができる。衣類比較システム４４０は、図１Ａのプロセス１００Ａを実施し、プロセッサ４０２を制御し、コンピュータ２１０及びシステム２００の各構成要素を調整するための命令として、任意のコンピュータ可読記憶媒体に記憶されていてもよい。図示の入力装置（キーボード４５０及びポインティングデバイス４６０）は、例示にすぎず、図２Ａ、図２Ｂに示すように、ディスプレイ２０４をタッチスクリーンディスプレイとすることや、入力装置２０８（つまみなど）、遠隔制御装置２５０、カメラからの視覚的合図の検出などといった、他の入力装置も可能である。所望の実施形態に応じて、コンピュータ２１０は、そのような入力装置に結合されるはずである。

次に、いくつかの実施形態で使用される、マッチングアルゴリズムを論じる。

本発明の実施形態で使用されるマッチングアルゴリズムについて説明する。従来の比較ショッピングのための画像マッチング法の中には、身体部分／衣類マッチング及び衣類対人物の抽出を中心としているものもある。加えて、このような技法の多くは、複数のカメラを必要とする。

本発明の各実施形態は、身体ポーズを決定するステップを省き、代わりに、２つのフレーム間の距離尺度を策定することにより、画像を全体として比較する。一実施形態では、画素差の二乗の和であるＬ２距離尺度を使用して、画像フレームが比較される。具体的には、（それぞれ１つの連続する画像からの）２つの画像Ｉ₁とＩ₂の間のＬ２距離ｄが以下の式１によって与えられる。

言い換えると、Ｉ₁内の各画素の値が、Ｉ₂内の対応する画素の値から差し引かれ、次いでその差が二乗され、すべての画素（Ｐ）にわたって合計される。

一実施形態では、前述のマッチングは、ステップ１５０で、最小の差を有する２つのフレームを選択することによって用いられる。具体的には、第１の（マッチング）連続する画像ａ，ｂ，…ｍと、第２の（基礎）連続する画像Ａ，Ｂ，…Ｚと、を考える。第２の連続する画像内の第１の画像と、並べて表示される第３の連続する画像内の第１の画像と、を参照すると、ａ…ｍのそれぞれとＡとの間のＬ２距離を比較し、最小距離の画像が選択される。第２の連続する画像内のすべての画像について同様の比較を行い、ｍ，ａ，ｃ，ｄ，ｄ，ｄ，…とのようになる、第２の連続する画像と同じ長さになるはずの、第３の連続する画像を生成する。

Ｌ２距離の並進不変変形（ｔｒａｎｓｌａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｍｏｄｉｆｉｃａｔｉｏｎ）を式２で示す。

式中、ΔｘとΔｙとはｘ方向とｙ方向の画素オフセットである。ΔｘとΔｙがその範囲に並び得る値の集合は、以下のように実施形態によって異なる。
１）最大固定不変量の総当たり法、例えば、全方向に±５０画素を検査してその範囲内の最適マッチを探索する、
２）有向探索法、例えば、８つの隣接する１画素変換すべてを検査し、次いで、それら８画素のうちの最適画素の周りの８画素すべてを検査し、以下同様に最大固定距離及び／又は有界計算時間に至るまで検査する、
３）様々なより大きい変換を試し次いでその変換を微調整するように、様々なΔｘとΔｙの値を、勾配降下しながら探索する。

変換を可能にすると、マッチング品質が向上するが、連続する画像間のマッチング画像を探索する計算コストも増大する。

一実施形態では、並進不変処理を伴うＬ２距離が、ステップ１５０のマッチングとして使用される。マッチングは、前述の、より単純なＬ２変形例について説明したのと同様に行われるはずである。

上記２つの手法は、第３の連続する画像のビデオ再生の滑らかさを強調するものではない。第１の連続する画像は、第２の連続する画像に最適にマッチするように再編集されているため、並列再生全体を理想的とは言えないものにする、大量のジッタ又はその他のアーチファクト（ａｒｔｉｆａｃｔ）が生じ得る。あるいは言い換えると、式１又は式２で与えられるような、最適なマッチングフレームは、第３の連続する画像におけるフレーム間ジッタが大きすぎるために、滑らかなビデオ再生をもたらさないこともある。したがって、実施形態によっては、滑らかさに対処するために、マッチングをさらに改善する。

このような実施形態の１つを、いくつかの実施形態でマッチングの滑らかさを改善するのに使用されるパス符号化技術を、図５を参照して説明する。図５には、画像ａ，ｂ，ｃ，…ｍを有する第１の連続する画像５００（マッチングともいう）と、画像Ａ，Ｂ，Ｃ，…Ｚを有する第２の連続する画像５１０（基礎ともいう）が含まれている。

異なる連続する画像のフレーム間の距離を、ｄ（ａ，Ａ）、ｄ（ａ，Ｂ）、…ｄ（ｍ，Ａ）、…ｄ（ｍ，Ｚ）とし、図５の各円形ノード上に示す。連続する画像内の距離を、ｄ（ａ，ａ）、ｄ（ａ，ｂ）、ｄ（ａ，ｃ）などとする。これらは、各円形ノードをつなぐパス上に示されている。パスの距離は、これらの距離を合計することにより計算することができる。図５に戻ると、２つのパス例の一部がパス５２０（細線）とパス５３０（太線）として示されており、それぞれに距離尺度が付されている。その場合最善のパスは、合計距離が最小のパスである。

使用される距離式は、式１又は式２のＬ２距離、又は変形されたＬ２距離、あるいは、エントロピ、相互情報量、及び／又は、クルバック−リブラ（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ）距離等の、１つ又は複数の他の距離尺度とすることができる。実施形態の中には、連続する画像内比較に、連続する画像間比較とは異なる距離尺度が使用され、例えば、連続する画像内比較にはＬ２距離、連続する画像間比較には並進不変Ｌ２が使用されるものもある。実施形態によっては、距離に重みづけして、連続する画像内と連続する画像間の距離の影響を変えることもできる。

Ｍ^N通りの可能なパスのうち（Ｎ＝第２の（基礎）連続する画像内の画像数、Ｍ＝第１の（マッチング）連続する画像）内の画像数）、解は、ビタビアルゴリズム及びＯ（Ｎ×Ｍ²）時間内に識別される最短パスを使用したシーケンス−復号問題として、再定式化することができる。次いで、パス５２０など、結果として生じるパスを使用して、プロセス１００Ａのステップ１５０における第３の連続する画像が構築される。

プロセス１００Ｂの場合には、ステップ１４０Ｂは、前述の距離関数を利用して、第１の連続する画像内の画像との最適マッチ画像を決定することができる。実施形態によっては、プロセス１００Ａが同時に行われている場合、ステップ１４０Ｂで決定されるマッチを再利用することができ、よって、ステップ１５０における第３の連続する画像を、ステップ１４０Ｂにおいて同時に生成することもできる。次に、本発明のいくつかの別の実施形態を論じる。

システム２００の実施形態は、比較ショッピングのシステム及びプロセスのための特注の一体型ハウジングとして、単一のベンダから供給することができる。別の実施形態は、一般に利用できるコンピュータ、カメラ、ディスプレイ、鏡といった、市販の部品で組み立てられ、ユーザインターフェースを提供し、プロセス１００を実施するための独自の衣類比較システム４４０と併せて使用される。

鏡が全く除かれている実施形態の中には、単一のディスプレイが使用されるものもある。このような実施形態では、プロセス１００の記録ステップの間、ディスプレイは、カメラが取り込んでいる準リアルタイム画像を表示する。次いで、表示するステップでは、単一のディスプレイを使用して、２つの連続する画像が再生される。この実施形態は、衣類比較システム４４０の家庭版や、市販のコンピュータを使用して自宅で１つ又は複数の基礎連続画像を事前記録するのに、より適し得る。例えば、このような実施形態の１つでは、（カメラが内蔵された）アップル社製ＭａｃＢｏｏｋ（登録商標）といった家庭用ラップトップコンピュータを使用して、買物客は、すでに所有している複数の洋服を着用した自分自身を記録することもできる。記録された基礎連続画像は、店舗システムからアクセス可能なネットワーク記憶装置や、ユーザが店舗に持ち込む着脱可能なＳＤカードといったコンピュータ可読記憶媒体に記憶させることもできる。買物客が、異なる店舗で複数の試着を記録し（この場合もやはり、記録されたセッションを衣類比較システム４４０からアクセス可能なネットワーク記憶装置に記憶させる）、又は、買物客が各店舗に持ち込んだコンピュータ可読記憶媒体上に記録する場合には、単一ディスプレイ実施形態の「逆方向の」変形も役立ち得る。その場合、家庭用コンピュータで、前に記録された連続する画像を使用して、プロセス１００の残りのステップを実施することもできる。

前述のような実施形態では、それぞれに異なる用途がある。「順方向の」変形は、ユーザが購入しようとする新しいものが、すでに所有しているものと比べてどうか（似すぎている、引き立たないなど）を判断しようとしている場合に、特に有用である。逆方向の変形は、５件のブティックでウェディングドレスを試着するなど、複数の店舗にわたる相互比較に有用である。

以上を要約すると、一実施形態の概要を首飾りの例を使用して論じた。次いで、１つのプロセスと２つのシステム実施形態を、ユーザ対話を参照してより詳細に説明した。具体的には、小さな衣類、宝飾品及び服飾付属品の比較ショッピングにより適する卓上実施形態について説明したものであり、試着室実施形態は、服装一式といった大きな衣類の比較ショッピングにより適する。次いで、各実施形態で使用される画像マッチングアルゴリズムの詳細を論じた。具体的には、画像と類似の身体及び頭部のポーズとを確実にマッチングするためのＬ２距離尺度及び並進不変について論じた。結果として生じる連続する画像の再生に際して、滑らかさを改善し、ジッタを回避する変更を、このような連続する画像を探索する高速アルゴリズムと共に論じた。最後に、様々な代替の実施形態について論じた。

１００Ａ プロセス
１００Ｂ プロセス
２００ システム
２４０ システム
４５０ キーボード
４６０ ポインティングデバイス
５００ 第１の連続する画像
５１０ 第２の連続する画像

Claims (4)

1. コンピュータによって実施される比較ショッピングのためのビデオマッチングの方法であって、
   単一のカメラの前において第１の衣服、宝飾品、又はその他の装身具を着用するユーザの、第１の連続する画像を記録し、
   前記第１の連続する画像を記憶し、
   前記単一のカメラの前において第２の衣服、宝飾品、又はその他の装身具を着用する前記ユーザの、第２の連続する画像を記録し、
   前記第２の連続する画像を記憶し、
   前記第１の連続する画像から第３の連続する画像を作成するために、マッチングアルゴリズムに従い、前記第１の連続する画像内における、前記第２の連続する画像内の各画像毎にマッチする画像を識別し、
   前記ユーザが、前記第１と前記第２の衣服、宝飾品、又はその他の装身具を着用した場合にどのように見えるかを容易に比較することを可能にするめに、前記第２の連続する画像と前記第３の連続する画像とを相互に近接させて前記ユーザに表示する、
   ことを含む方法。
2. 前記表示することは、第１のユーザ入力装置に応答して前記第２連続する画像及び前記第３の連続する画像の位置を調整するように、ユーザが制御し得る、請求項１に記載の方法。
3. 前記表示することは、衣類又は宝飾品を着用した前記ユーザのものである、前記第２の連続する画像とマッチングされた複数の追加の連続する画像を、前記第２の連続する画像及び前記第３の連続する画像と近接させて表示する、
   ことを更に含む、請求項１に記載の方法。
4. 前記第１の連続する画像及び前記第２の連続する画像を記録することは、前記第１及び第２の衣服又は宝飾品を試着するのに使用される鏡の前で行われる、請求項１に記載の方法。

Images