JP2016532197A - 鏡における仮想化の装置、システム、及び方法 - Google Patents

Abstract

反射する鏡を見ることをシミュ—レートする歪み変換のためのコンピュータ化された方法であって、カメラからデジタル画像を取得するステップと、画像を垂直軸について反転して画像の右左を入れ替えるステップと、画像に変換マッピングを適用して、鏡の反射を再現して見えるように画像を改変するステップと、画像のサイズを変更して、カメラに対する対象の距離の変化によって起こる変動を低減するステップと、反転、変換マッピング、及びサイズの変更をおこなった後、画像をモニタに表示するステップとを含む。また、カメラから画像又は映像を取得する方法では、画像又は映像から要素を特定し、特定された要素を選択し、選択された要素の元のモデルをレンダリングし、選択された要素のための新規の外観を選択し、元のモデル及び該要素のために選択された新規の外観に基づいた新規モデルをレンダリングする。【選択図】図１５

Description

本発明は、全体として撮像及びディスプレイシステムに関し、特に例えば小売及び／又はサービス環境、医療又は家庭での場面、テレビ会議、テレビゲームなどにおけるモニタ及び双方向ディスプレイに関する。特定の実施形態は、例えば衣料品の試着など、ユーザが鏡を見ることを望む場面において鏡を仮想化することに関する。他の特定の実施形態は、テレビ会議など、標準的なビデオ画像よりも自然な見た目が好まれる場面に関する。

従来の鏡（つまり反射面）は、人がリアルタイムで実際の自分の外観をよく調べるには一般的で最も信頼のおける道具である。従来の鏡に代わるカメラとスクリーンとの組合せを中心にして、いくつかの代替品が提案されているが、これらの技術は満足のいくものではなく、まるで人が従来の鏡における自分自身を見ているというような信頼のおける人の像としてはまだ受け入れられていない。これは主に、カメラにより生成される像が鏡により生成される像と大きく異なるためである。

米国特許出願第１３／８４３，００１号において、１つ以上のカメラによって、その他のセンサを用いて又は用いず、生成された静止画像又は２Ｄ・３Ｄ映像を鏡又はテレビ会議の体験に変換及び変形するという課題に取り組んだ新規の技術（コンピュータ化された方法）が提案された。

本開示における以下の発明の概要は、本発明の一部の態様及び特徴に対して基本的な理解をするために含まれる。この発明の概要は、本発明の広範な概要ではなく、またこれ自体で本発明のキーになる若しくは重要な要素を具体的に特定すること、又は本発明の範囲を示すこと、を意図するものではない。その唯一の目的は、以下に示されるより詳細な説明の前置きとして、本発明のいくつかのコンセプトを単純化した形態で示すことである。

本開示では、米国特許出願第１３／８４３，００１号に記載される変形の前又は後の、映像、スチル、又はスチル画像群を用いるコンピュータ化された技術が記載され、物体、身体、又は背景におけるユーザインターフェース、拡張現実、色彩変換、テクスチャ変換、形状編集などのさらなる機能を扱うためにコンピュータ化された方法が引き続きおこなわれる。さらに、キャリブレーションされた仮想カメラ手法により、２Ｄ又は３Ｄの画像又は映像からボディライン、ボディカーブ、及び体型の測定が可能になる。

拡張現実機能では、まず、２Ｄ及び／又は３Ｄモデル又はマスクが、１つ以上の品物又は要素（例えば、シャツ、ドレス、ズボン、頭部、靴、眼鏡、全身など）について生成され、そして、該モデル又はマスク処理により、色、テクスチャの置換及び処理、又は幾何学的測定、又は対象の完全な置換などの拡張現実特性を可能にする。本開示の技術は、３Ｄカメラ（ＩＲ又はデュアルカメラ）のみを用いる他の技術とは差別化される。以下に開示される技術では、単一の通常のカメラからモデルが構築され、そして複数のカメラ、及びＩＲ、３Ｄカメラ、若しくはその他のセンサによる追加的情報、及び処理される対象に関する情報によってその結果が向上されることが可能である。

一部の実施形態では多段階のユーザ識別が含まれ得る。特に、それらの実施形態には顔認識の向上、ユーザ学習及び適応が含まれる。顔認識における既知の方法では、顔のポーズに大変反応しやすいアルゴリズムが用いられる。本技術においては顔のポーズについての自然な体験が種々のカメラ配置及び角度を適応させるように作り出される。

種々の実施形態では、例えば、クイックレスポンス（ＱＲ）コード、１Ｄコード、隠しコードなどのコード識別が含まれる。実施形態は、投影された又はその他の光学的歪みを受けた画像と比較すると比較的小さい画像を用いて、比較的長距離から、コードを見つけるように適応され得る。また、例えば、ＮＦＣ、ＷｉＦｉ広帯域無線、マイクロ波３Ｄ、人体通信（ＢＡＮ）チップなどの無線識別を含んでもよい。無線識別は、モバイルデバイス、時計、眼鏡、マイクロチップ、又は任意の他の携帯型装置又はマイクロチップによっておこなわれることができる。その他の身体計測技術は、指紋、身体識別、体型、眼、手のひら認識、Ｘ線相関、体温、身体のパルス、血圧などを含み得る。

他の態様において、仮想化鏡機能を手動又は自動で制御及び動作させるためのユーザインターフェースと方法とが記載される。

さらなる実施形態において、使いやすさ及び機能性及びユーザ体験全体を向上するため、製品の機械的設計及び外観が開示される。

一部の実施形態において、モニタ、カメラ、及びプロセッサを動作させる非一過性、非一時的でコンピュータ読み取り可能な媒体は、モニタ上に鏡を再現する画像を表示するように提供及び構成され、プロセッサ及び該プロセッサによって実行されるプログラムを格納するメモリを備えるデバイスにおいて、システムから画像又は映像を取得し、画像又は映像をユーザトラッキングシステムに基づいてキャリブレーションし、取得された画像又は映像における対象の端部を検出し、前記対象の特徴を測定し、前記対象の測定シグネチャーを生成する指令を含むプログラムを含む。

一部の実施形態において、モニタ、カメラ、及びプロセッサを備えたシステムを動作させるためのコンピュータにより実施される方法は、モニタ上にユーザの像を表示するために提供及び構成され、プロセッサと、該プロセッサによって実行するためのプログラムを格納するメモリとを備えるデバイスにおいて、システムから画像又は映像を取得し、画像及び映像から要素を特定し、特定された要素を選択し、選択された要素の元のモデルをレンダリングし、選択された要素の新しい外観を選択し、元のモデルと要素の新しい外観の選択とに基づいて新モデルをレンダリングする指令を含むプログラムを含む。プロセッサは、従来の反射鏡を見るユーザをシミュレートするユーザ体験をもたらす操作を含む歪み変換をおこなう。歪み変換は、カメラからデジタル画像を取得するステップと、画像の右側と左側とを入れ替えるように垂直軸について画像を反転するステップと、画像に変換マッピングを適用して鏡の反射を再現するように見えるように画像を変形するステップと、画像のサイズ変更をおこなってカメラに対する対象の距離が変化することによってもたらされる変動を低減するステップと、反転、変換マッピング、及びサイズ変更をおこなった後に画像をモニタに表示するステップとを含んでもよい。

別の態様において、コンピュータ化された方法は、モニタの前のユーザの視点及び位置に基づく複合的なスティッチング、店舗の在庫を効率よく利用し、電子商取引プラットフォームを支援する画像又は映像分析、画像又は映像の光学的歪みの補正、さらなる情報を提供する複数のカメラの使用、及びモバイルデバイス又は静止モニタにおける局所又は遠隔地でのモデルの提示、からなるグループの少なくとも１つのための指令を含む。

さらなる態様において、画像において選択された対象の測定値を得るための方法は、ピクセルにおける測定、及び周囲の長さモデル、複数の２Ｄカット、３Ｄモデル、統計的最適化に基づく測定されたピクセルの既知の測定単位への変換、ユーザに関して以前に取得された一連の測定結果との比較、ユーザの１つ以上の特徴に基づく測定用焦点の決定、ユーザの身長に基づく測定用焦点の決定、ユーザの性別に基づく測定用焦点の決定、ユーザの身長及び性別に基づくユーザのおよそのバスト・胸部に対応する領域の決定、及びユーザの身長及び性別に基づくユーザのおよそのへそに対応する領域の決定、からなる群の少なくとも１つを含む。

他の態様において、画像における対象の測定シグネチャーを生成するための方法は、ユーザ同士の間で単一又は複数の属性におけるスコアリング比較を可能にする重み付けされたベクトルとして分析データを保存すること、将来の比較のために処理画像を記録すること、追加的情報を将来的に推測するために処理画像を記録すること、将来の画像相関技術を可能にするように処理画像を記録すること、相関を容易にするようにポインタを画像に追加すること、相関を容易にするように線を画像に追加すること、からなる群の少なくとも１つを含む。

本明細書に包含される添付の図面は、本明細書に記載される本発明の１つ以上の例示的実施形態を描出し、発明の詳細な説明と共に本発明の原理や例示的実施形態を説明する役割を担う。図面は描出のみが意図され、そこに表されるものは本明細書の記載や本明細書における教示の趣旨及び範囲に基づいて適応されることを当業者は理解するであろう。

図面において、同様の参照符号は明細書における同様の参照符号に関する。

図１は、フラットスクリーンディスプレイにおいて鏡の外観をシミュレートする拡張現実の実施形態を示す。 図２は、拡張現実モジュールの実施形態を示す。 図３は、画像の前景又は背景において、品物又は対象の部位、色、方向及びテクスチャを置換することができる拡張現実モジュールの実施形態を示す。 図４は、色及びテクスチャの変換用モデルを生成するためのコンピューティング方法の実施形態を示す。 図５は、画像、複数の画像又は短い映像から身体計測値を抽出する方法の実施例を示す。 図６は、多段階のユーザ学習及び認証のためのセキュリティシステムへの適用の実施例を示す。 図７は、パラレル又は帯域内のカメラ操作のためのセキュリティシステムへの適用の実施例を示す。 図８ａ−８ｃは、テレビ・音声会議において鏡像を共有するための概略図を示す 図９は、モデルジェネレータへの２Ｄ入力のための実施例を示す。 図１０は、図９の像における上部のシャツの２Ｄモデルの実施例である。 図１１は、男性の体型の分類を表す概略図である。 図１２は、女性の体型の分類を表す概略図である。 図１３は、身体から手を除き、所定の身体計測のために観測するところの種々の間隔を表す、追加処理結果の実施例を表す。 図１４は、背景の環境において鏡効果を生成するためのカメラストリームにおける変換の実施例を表す。 図１５は、ユーザ識別及び認証並びにユーザインターフェイスを備えた仮想鏡の実施例を表す。 図１６は、分割スクリーンモード及びサムネイルを備えた仮想鏡の実施例を表す。 図１７は、使用におけるユーザフローの実施形態を示す。

以下の実施例は、本発明の一部の実施形態及び態様を表す。本発明の趣旨又は範囲を変更することなく種々の変形、追加、代替などがおこなわれ得、そのような変形及び変化形は以下の特許請求の範囲に規定される本発明の範囲内に含まれるということは当業者には明白である。以下の実施例は本発明をいかようにも限定しない。詳細な説明は、種々の実施形態の理解を容易にするために、所定の項目のもとで様々な特徴の記載を含む。しかしながらそれらの特徴は、特定の適用に対して特定の特徴を利用するために、個々に、又は組合せで実施され得る。

［概要］
本発明の実施形態では、ユーザに鏡を見ている体験を提供するためにカメラ及びフラットパネルディスプレイが利用される。すなわち、カメラからの画像ストリームは、スクリーン上に表示されるときに、記録されたビデオストリームというよりも鏡の反射を再現しているように見えるように操作及び変形される。「仮想鏡」の像がデジタル式に生成されるので、さらに特徴を拡張するために保存及び処理されることが可能である。例として、画像は処理されて、色を変更したり、多段階のユーザ識別及び認証や、身体計測を可能にすることができる。システムはキャリブレーションされたカメラを含み、例えば仮想鏡又はテレビ会議における適用などにおいて、例えば身体部分又は背景の色、テクスチャ、形状編集などの拡張現実特性を提供できる。また、商業、セキュリティ、及び健康管理への適用のための身体計測及び身体のモニタリングをおこなうことも可能である。

種々の実施形態では、ハードウェアについて、ＣＣＤ、ＣＭＯＳ、ＩＲ ＣＭＯＳなどを含むがこれに限定されないあらゆるタイプのセンサから単一又は複数のカメラと、ＨＤＭＩ（登録商標）、ファイヤワイヤ、ＵＳＢ、ＩＰ、ＨＤｂａｓｅＴ、無線などを含むフォーマット規格と、ＨＤ、通常のＳＩＦ、４ｋ、８ｋなどの任意の利用可能な解像度とが含まれてもよい。ディスプレイは、あらゆるサイズ、形状、及び比率である、単一若しくは複数の、スクリーン又は仮想スクリーン、及び通常のスクリーンを含み得る。ディスプレイは、鏡のようなスクリーン、スマートフォン又はタブレット、プロジェクタ、ホログラム、３Ｄスクリーン、グーグルグラス、プロジェクタヘッドマウントディスプレイ（ＨＭＤ）、及び（切り替え可能な不透明のレイヤーを備えた）ガラスなどを含み得る。

開示される実施形態において、カメラはどこに配置されてもよい。最適な実施において、カメラはユーザに面するスクリーンの上部に提供される。追加的な配置として、スクリーンの底部、スクリーンの側部、又はスクリーンが双方向スクリーンである場合にスクリーンの背後が含まれる。３Ｄの場合では、２つのカメラが、例えば上部に並んで提供されることが可能であり、これにより優れた結果が得られ且つコンピュータ化された方法が容易になる。またユーザが移動及び／又は回転するとき、３Ｄは単一のカメラから処理されることもできる。

実施形態において、全身又は体の一部、及びユーザの選択毎の異なるスケーリングに対応するコンピュータ化された方法が含まれることが可能である（例えば、頭部及び／又は目、視野・視点の方向などの補正）。

開示される実施形態のそれぞれは、２Ｄ又は３Ｄのハードコピー静止画像、２Ｄ又は３Ｄのデジタル静止画像、アナログ・デジタルカメラによって若しくはフレームグラバＨＤＭＩ（又は同等のもの）、ＩＰ、ＵＳＢ、ファイヤワイヤ（有線又は無線リンク）などによって記録されたアナログ・デジタルビデオ上に提供されてもよい。開示される実施形態のそれぞれは、単一ケーブル又は複数のケーブルにおける、ＵＳＢ、ＨＤＭＩ、ＩＰ ｃａｔ−５／ファイバー、ＷＬＡＮ、ファイヤワイヤ、ＨＤｂａｓｅＴなど任意の適切な通信法、上述の任意の組合せを介してコンピューティングデバイスに伝送されるデジタルストリーミングビデオ上に提供されることができる。また、開示される実施形態のそれぞれは、コンピューティングデバイスが、カメラ、スクリーン、クラウド、又はワークステーション、サーバなどを含むコンピュータ内にある場合に提供されることができる。

開示される実施形態のそれぞれは、コンピューティングデバイスがシステム構成要素間に分散される場合に提供されてもよく、例として、コンピュータ化された方法は、部分的にカメラに、部分的に映像取得要素に、部分的にスクリーンのグラフィックプロセッシングユニット（ＧＰＵ）に、部分的にクラウドに、部分的にユーザのスマートフォンデバイスに、又はそれらの任意の適切な組合せにおいて存在することが可能である。開示される実施形態のそれぞれは、コンピューティングデバイスがスマートフォン、タブレット、ノートブック、スクリーン、カメラ、ＨＭＤ、グーグルグラスなどに存在する場合に提供されることができる。

開示される実施形態のそれぞれは、ユーザの手動或いは選択用規則を適用することで自動的に予め選択されることが可能である選択された品物の３Ｄモデルを抽出するために映像が事前処理されるときに、提供されることができる。モデル抽出は、クラウド又はユーザのデバイスのユーザアプリケーションにおいて、カメラに隣接するＤＳＰ／ＣＰＵによってローカルでおこなわれることが可能である。ＧＰＵ（グラフィックプロセッシングユニット）における単一の対象又は静止画像のモデルの抽出はより効率的である。この場合には通常のＣＰＵで十分である。

開示される実施形態のそれぞれは、レンダリングがクラウド又はユーザのモバイルデバイスにおける拡張現実ステーションにおいてローカルでおこなわれる場合に提供されることが可能である。レンダリングは、単一の画像又はごく短い映像用にＧＰＵにおいておこなわれてもよい。これらの場合においてＣＰＵは十分な性能である。

開示される実施形態のそれぞれは、例えば対象及び画像を高解像度へと補間し、合成後に間引きして、エッジを円滑化しエイリアシングの影響を除去するなど、映像の質を改善するために高度なレンダリング技術がおこなわれる場合に提供されることが可能である。本発明は、例えばフレーム毎にモデルを円滑化することによって、エッジにおいてフレーム毎に許容される変化を削減すること、フレーム毎にエッジを円滑化すること、単一又は複数のフレームに平均化フィルタを適用することなどによって、エッジのちらつきを削減することが可能である。さらに、フレームレートを増加させ、追加フレームにさらなる円滑化技術を適用して元のフレームレートで起こり得る効果を軽減することによって向上が図られることが可能である。

開示される実施形態のそれぞれは、スクリーンがカメラ近傍にあるかどうかに関係なく提供されることが可能である。例として、スクリーンは制御室に配置されてもよい。カメラのメインストリーム又は記録情報は、リモートコントロールを介して、物理的設備を備えた他のアドレスディレクトリを介して、又はクラウドを介して利用することができる。

一実施形態において、ステーション機能の制御はジェスチャー、目の動作、手のひらの動作、指の動作、又は脳における制御によっておこなわれることが可能である。本発明は、レーザビームポインタ、音声制御、無線、又は超音波トレーシングなどの追加的なアクセサリで制御され得る。

［セグメンテーション］
画像又は映像からの対象及び／又は要素の精密なセグメンテーションは当該分野において最も大きな課題のひとつである。この課題を解決する既知の技術では、正確性と速さとの明らかな引き換えがある。本発明以前に、課題に対する十分な解決策はない。３次元（３Ｄ）深度測定を伴う赤外線（ＩＲ）カメラの使用は当該産業におけるひとつの手法であるが、該手法において質が犠牲になる。例として、ＩＲと通常のカメラとのエッジ、画像の歪み、及び／又は低解像度のずれにより、正常且つ十分なセグメンテーションがおこなわれない。色を利用した分離及びエッジ検出技術は、コンピュータ資源の観点から非常に要求が大きく、性能において信頼されない。ユーザ又は対象を抽出するための一部の技術では、例えば、区別されやすいグリーンバックが採用されるが、グリーンバックが利用できないところで適用されることは適切ではない。

処理される品物のモデルが取得されると、２つ目の課題は、モデルを更新し、元の映像又は新規の情報を有する他の拡張現実映像に円滑にレンダリングし戻すという、円滑なレンダリングフローを生み出すことである。以下に開示される実施形態では、質が高く比較的速い円滑なレンダリングフローが得られ、処理は、所定の適用における要求に応じてリアルタイムで、準リアルタイムで、又は比較的速くおこなわれることが可能である。また実施形態は、カメラのメインストリーム配信においてリアルタイムで、又はユーザが記録した映像においてオフラインで、品物（色、テクスチャ、形状）を処理するように適応される。

映像からの対象毎のモデル、マスク、及び／又はアルファチャンネルに基づいて、ユーザの動作は学習され、対象の形状及び形象と適合する又は適合しない別の対象が説得力のある方法で配置される。開示される実施形態は、すべてを仮想的におこなおうとする先行技術とは異なる。本実施形態は、種々の衣類、ユーザの顔の変更、ユーザの体型の変更、画像からのユーザの削除などの変更を覆い隠すマスクを用いて処理することを含み得る。

開示される他の特徴は衣服の識別であり、品物及びユーザの着用する衣服を特定することができる。例として、これは生地における隠しコード又は情報を含み得る。

その他の特徴及び実施形態として、マイクロ波センサがスクリーンに一体化されるマイクロ波スキャナと、例えば映像からの２Ｄ及び３Ｄのボディライン検出又は２Ｄ・３Ｄモデル・マスク生成などの身体計測機能と、例えば体型、出生、性別、年齢、提案される衣類のサイズ、提案される食事又は処置など、測定からの分析結果と、診断、変化の特定、ユーザ識別などのための時間の経過に伴うボディラインのトラッキングとを含んでもよい。

一部の実施形態において、カメラのメインストリームは、ユーザの外観を変えるか、又は映像若しくは画像からユーザを完全に消し去るようにリアルタイムで処理されてもよい。この場合、カメラのＤＳＰ又は個別のＤＳＰ若しくはＧＰＵ対応デバイスは、カメラストリームを取得し、該カメラストリームを、リモートコントロールセンタを介して処理し、カメラのメインストリームとして再度設定する必要がある。また、カメラのメインストリーム（スニファー）に対する並列計算は一実施形態における選択肢である。

以下に、本発明の技術を活用可能なさらなる適用についてのいくつかの実施例が提供される。具体的に、ベース映像変換は信憑性をもって仮想的に着用させるために用いられ得る。

ベース映像変換は、テレビ会議に信頼感を持たせるために用いられることができ、通信の反対側のユーザが参加者を見るときに、ユーザには、カメラの視点からの画像ではなく、参加者がユーザを直接見ているように見える。代替的に、変換は、信憑性のあるライブ体験を提供するため、ユーザが他のユーザの目を見ているように画像を生成するために用いられる。

拡張現実用のベース映像変換は、身体加工及びサイズの変更、身体計測、医療的診断・モニタリング・トレーニング、並びに／又はトラッキング、ゲーム、着衣、デート、会議、セキュリティ、全身のシミュレート、ダンスのトレーニング、髪型、化粧、一般的なトレーニング、旅行などを含むが、これに限定されない複数の目的のためおこなわれることが可能である。

本実施形態は、ユーザがその外観（例として、皮膚の色つや、着衣、顔等）を変更することを望む、テレビ会議又はゲームに適用されることが可能である。本発明では、モデルにより、所望の外観に円滑に変更することができるか、又はユーザが映像から消去されるという像を生成することすらできる。

本実施形態は、カメラがユーザの目に対して投影範囲に配置されるときにキャリブレーションされたアイズマッチ（米国特許出願第１３／８４３，００１号を参照）を介した正確な顔認識に、動的ＱＲ（クイックレスポンス）コード識別（例えば、モバイルアプリケーション又はバッジを介したユーザ利用の認証及び管理、ＱＲコード（登録商標）はクラウドからモバイルアプリケーション用に生成され、アプリケーションにおけるユーザ認証によって検証されることができる）に、全身の認識、スキャニング、及び学習に、品物識別（例えば、衣服、制服、バッジなど）に、無線スニファー（例えば、ＷｉＦｉ、セルラー、超音波など）に、セキュリティデータベースのＡＰＩに、位置特定システムに、公共の情報になど、セキュリティにおける適用に用いられることが可能である。本実施形態は、特定の事項（例として、ドアの施錠、電灯のオンオフ、煙の発生、例えば電気ショック、銃弾、紙などの発射機器）の認識に基づいた、危険防止活動に用いられることが可能である。キャリブレーションされた像の幾何学性により、画像におけるターゲットの位置が非常に正確に測定されることが可能であり、他を危険にさらすことなく、ターゲットに対する正確な攻撃を効果的におこなうために用いられ得る。

リアルタイム及びオフラインの外観登録及び比較が提供され、ユーザは、時間や年数の経過に伴って外観の変化を追跡することができる。これらの処理は、例えば温度、血圧などを目的として、複数・種々のセンサを用い、複数の検査間で、所定の期間にわたり得る医療的な登録を含む複数の目的のために提供されてもよい。

一部の実施形態において、その他のセンサからの補足的情報を有する又は有しないキャリブレートされたカメラ・複数のカメラは、患者の診断及び患者のモニタリングに用いられることが可能である。例として、本発明は、皮膚がんであるメラノーマなど皮膚の健康問題、乳がんのさらなるテストを示唆し得る胸部の変化、心拍数及び血圧測定、患者の体温、ユーザの後光、変化を見るための皮膚及び爪の記録モニタリング、目の健康問題、スピン、骨、筋肉、及び身体の柔軟性の傾向や変化のために、モニタリングし、警告するために用いられることが可能であるが、これに制限されない。

［拡張現実プラットフォーム］
図１は、リアルタイム又は記録された映像・画像処理を支援する拡張現実プラットフォームのシステムブロック図である。システムは、ビデオカメラ、スチルカメラ、ＩＲカメラ、２Ｄカメラ又は３Ｄカメラを含む、１又は複数（１：ｎ）の入力デバイス１０１を含み得る。入力デバイス１０１は、情報を１つ以上のマシンビジョン拡張現実モジュール１０２、１０３、１０４、１０５、１０７、１０８及び１０９に送信するように適応されてもよい。１つ以上のマシンビジョン拡張現実モジュール１０２、１０３、１０４、１０５、１０７、１０８及び１０９は、情報を１又は複数（１：ｍ）のスクリーン１０６に送信するように適応されてもよい。１つ以上のマシンビジョン拡張現実モジュール１０２、１０３、１０４、１０５、１０７、１０８及び１０９は、情報をインターフェイス又はユーザインターフェイスモジュール１１０に送受信するように適応されてもよい。インターフェイス１１０は、情報を１つ以上のクラウド、ウェブ若しくはストアの少なくともどちらか一方、又は例えばスマートフォン若しくはタブレットなどのユーザデバイスに送受信するように適応されてもよい。

１つ以上のマシンビジョン拡張現実モジュール１０２、１０３、１０４、１０５、１０７、１０８及び１０９は、画像グラバモジュール１０２、アイズマッチ変換モジュール１０３、拡張現実モジュール１０４、映像・スチル記録モジュール１０５、トリガイベントモジュール１０７、制御要素モジュール１０８、及び工場キャリブレーションモジュール１０９を含んでもよい。

画像グラバモジュール１０２は、強調フィルタ、フォーマット変換、映像フレーム分離、画像クロッピング、画像サイズ変更、画像スティッチングなどの特徴のうちの１つ以上を含んでもよい。画像グラバモジュール１０２は、情報をアイズマッチ変換モジュール１０３に送信するように適応されてもよい。画像グラバモジュール１０２は、情報をトリガイベントモジュール１０７に送受信するように適応されてもよい。

アイズマッチ変換モジュール１０３は、カメラの視点を理論上の鏡における視点（ユーザの目の反射）に一致させるために適切なマッピングを画像に適用し、マッピング後にもし存在する場合にブラインドピクセルを充填するように適応されてもよい。アイズマッチ変換モジュール１０３は、情報を拡張現実モジュール１０４及び／又は映像・スチル記録モジュール１０５に送信するように適応されてもよい。また、アイズマッチ変換モジュール１０３は、情報を制御要素モジュール１０８に送受信するように適応されてもよい。さらに、アイズマッチ変換モジュール１０３は、鏡の反射を再現する画像を表示するために、情報を１又は複数のスクリーン１０６に送信するように適応されてもよい。

拡張現実モジュール１０４は、例えば仮想的な色及びテクスチャ置換、仮想的着用、物品の挿入などをおこなうように適応されてもよい。拡張現実モジュール１０４は、情報を制御要素モジュール１０８及び／又は映像・スチル記録モジュール１０５に送受信するように適応されてもよい。また拡張現実モジュール１０４は、拡張現実モジュール１０４によっておこなわれた変更によって改変された鏡の反射を再現する画像を表示するために、情報を１又は複数のスクリーン１０６に送信するように適応されてもよい。

映像・スチル記録モジュール１０５は、単一の画像（フレーム）又はソフトウエア制御に基づいた短いショットを記録するように適応されてもよい。映像・スチル記録モジュール１０５は、情報を制御要素モジュール１０８に送受信するように適応されてもよい。また、映像・スチル記録モジュール１０５は、情報を１又は複数のスクリーン１０６に送信するように適応されてもよい。

トリガイベントモジュール１０７は、鏡の前のユーザ認識、顔認識、ユーザのジェスチャーによる指令認識、品物認識、距離測定、ユーザの身体計測・評価、（身長、年齢、体重、人種、性別などを含む）、及び理論上の鏡におけるユーザの理論上の視点を算出という特徴のうちの１つ以上を含んでもよい。トリガイベントモジュール１０７は情報を制御要素モジュール１０８に送受信するように適応されてもよい。

制御要素モジュール１０８は、質を最適化するカメラ設定の制御及び管理、その他のハードウェア要素の設定、アルゴリズムモジュールと高次コード・アプリケーション・ユーザインターフェイスとの連絡、工場からのキャリブレーションデータのアルゴリズム要素へのプッシュという特徴のうちの１つ以上を含んでもよい。制御要素モジュールは、情報を工場キャリブレーションモジュール１０９に送受信するように適応されてもよい。

工場キャリブレーションモジュール１０９は、カメラとスクリーンの前のユーザの視点との間のマッピング変換を規定するように適応されてもよい。また、工場キャリブレーションモジュール１０９は、距離、特定の位置（例えば床の印など）、ユーザの身長、又はそれらの任意の組合せに基づいて画像をキャリブレーションするように適応されることが可能である。

図１及び以下の記載は本発明の一実施形態の単なる実施例を表す。その他のフロー又は機能はモジュール間に配置され、本発明の一部であるさらなる実施形態を表し得る。本発明者らは、拡張現実機能（リアルタイム及びオフライン）を実現するための２つの方法を提案する。両方法は、リアルタイムに又は例えばアイズマッチ変換モジュール１０３などを介した処理後に取得された実際の画像又は映像データを伴う拡張現実モジュール１０４を含む。つまり、拡張現実モジュール１０４によって処理される画像は、鏡におけるユーザの反射を表す変換された画像であってもよい。

一特性として、ユーザがどのようなものを処理及び編集したいかや、どのような結果が得られるかについての規則を、ユーザは手動又は自動で（例えばインターフェイス１１０を介して）規定することが可能であり、例えば自動化規則は、自動的又は手動で異なる色に変更されるか、又はユーザがタッチスクリーンを用いて手動で選択及び手動で色を選択し得る、ユーザのシャツの自動識別のようなものであり得る。そして、選択された物品は、処理、及び抽出か又は分割かの少なくとも一方がおこなわれ、記録された元の映像又は画像に連結されたデータベースに記録されることが可能である。また、拡張現実モジュール１０４は、リアルタイムで、元の映像又は画像より低いか又は高いフレームレートであり得る所定のフレームレートで、そして元の映像又は画像と同様又は異なるサイズで、モデル・マスクを処理することが可能である。一部の適用において、ユーザが変更（１つ以上の選択肢）と共に自身を見ることを望む場合の衣服の試着など、ライブの拡張現実は必要とされない（が、含まれ得る）。ライブの場面から抽出された物品が保存されると、複数の変更（色、テクスチャ、サイズなど）がより容易になる。追加的に、フレーム積分に基づくユーザの動作、身体計測、及び質などのより多くの情報を生成する処理を用いて、さらにより正確に、より高い質で、より長い処理をおこなうことが容易になる。テレビ会議などリアルタイム処理を必要とする他の適用では、第２の方法が用いられるとよい。第２の方法では、フレーム落ち及び性能の低下を招き得る遅延・タイムラグの導入を回避するために、実際のカメラのフレームレートに可能な限り近づくように性能が適応される必要がある。遅延・タイムラグが起こると、そのような遅延・タイムラグはフレーム遅れのない円滑な映像を生成するように処理される。そのような処理は、バッファ、いくらかの遅延を伴う画像タイムスタンプ、又はレンダリングのためのタイムスタンプ及びフレームの再スケジュールによりおこなわれることが可能である。

ビデオ入力において、映像に遅延が導入されることを避けるために、レンダリング処理がＤＳＰ又はＧＰＵデバイスにおいておこなわれることが特に推奨される。第１の方法（リアルタイムではない）については、マスク・モデルの生成はＣＰＵにおいておこなわれることも可能である。第２の方法については、マスク・モデルはＤＳＰか又はＧＰＵかの少なくとも一方において実行及び演算がおこなわれることも可能である。

トリガイベントモジュール１０７において、トリガ機能の一部は完全に自動化され得、例として、処理は顔検出又は存在の検出がおこなわれる場合に開始されることが可能である。トリガの一部は、コンピュータデバイスを制御するあらゆる方法を含み得るユーザのインターフェイスモジュール１１０から準自動化された手法でおこなわれることができる。トリガイベントの機能の一部は、例えばユーザ、目、頭部、手、位置、動作などの位置特定などの、幾何学的情報、キャリブレーション、及び／又はリアルタイムのユーザトラッキングに基づいて画像変換の演算をすることである。トラッキングは、背景分離、パターン認識、色セグメンテーションなどの１つ以上の技術を用いておこなわれることができる。変換トラッキング演算機能は他のモジュールでおこなわれてもよい。

制御要素モジュール１０８は、システム設定、カメラデバイス、認証などを構成するように適用され、またトラッキング変換機能からの情報を実際の幾何学的変換モジュール又は拡張現実モジュールなどに提供することが可能である。

工場キャリブレーションモジュール１０９では、画像・映像に適用される変換を演算するために必要とされる情報の一部は、工場キャリブレーション時に生成されるか、又は例えば床又は机などからの高さ、３Ｄ視点、レンズの視野（ＦＯＶ）など、現場における実際のカメラの方向におけるさらなる情報をもとに演算されてもよい。工場情報、及び適用における実際の幾何学的情報は処理されて、キャリブレーションと正確性との向上のため該情報を使用する、システムのしかるべき要素に伝送される。

鏡の適用用のローカルのスクリーンへの適用に加え、本発明は、映像及びそれを変換する手段、又は実際に処理及び変換がおこなわれた映像を、クラウド上の他のアドレス又は単一若しくは双方向テレビ会議として局所的に送信するために用いられることが可能である。

図２は、上述された拡張現実モジュール１０４と対応し得る拡張現実モジュールの実施例を示す。具体的に、拡張現実モジュールは、ユーザが仮想的な着用、色やアクセサリーなど外観の変更をすることができる機能を有することが可能である。本実施形態では、システムは、例えばアイズマッチのコンピュータ化された方法２０１、又は例えばユーザのスマートフォン、セキュリティカメラ、グーグルグラス、モバイルカメラ、若しくは固定カメラなどの他の任意の画像・映像ソースからの入力画像又は映像を取得する。さらなる実施形態では、ユーザの身長、視線などの比の演算を補助する追加的な幾何学的情報が含まれてもよい。ユーザの映像又は画像がアイズマッチモジュールから送信される場合（キャリブレーションされた画像・映像）、身体計測、対象のポーズ、サイズ、正確性の高い方向検出などが可能になるという、さらに包括的なモデルが生成される。キャリブレーションされた対象又は映像から算出され得る追加的情報により、物品の適用、物品の置換及び新規の物品のフレーム・映像への挿入が実現されることができるが、これはカメラの位置及び視野によって導入される任意の歪みが考慮されて補正されるためである。これらの補正は、ユーザの身長、ウエストなどの正確性の高い測定と、一般的な分類の体型に対するユーザの身体の分類を可能にする。

選出モジュール２０２は、ユーザによって手動（Ｘ、Ｙ若しくは対象の名前）、又は例えばズボンやワイシャツなど予め規定された対象を自動的に検出することができる機構などの選択方法によって自動的に、インターフェイス２０６から選出情報を取得可能である。例えば、インターフェイス２０６によって、例えば色、生地のタイプの変更など、変更される衣服をユーザが選択することが可能になってもよい。この選出は選出モジュール２０２に送信され、変形される適切な品物が画像のその他の部分から抽出される。

対象の抽出は多少困難な作業である。例として、ユーザが赤いシャツを着ており、背景には赤い椅子があり、ユーザは赤いじゅうたんの上に立っている場合に、人の目はシャツに属する赤い部分とそうではない赤い部分との区別を容易につけることができる。しかし、そのような決定をコンピュータで自動的におこなうことは非常に困難な作業である。さらに、照明やシャツの折り目によって、シャツに属する様々なピクセルは異なる色として現れる。故に、すべての赤いピクセルを単に選択することでおこなう場合、シャツに属する一部の暗いピクセルは包含されず、一方で椅子や絨毯に属する一部のピクセルが選択される。

抽出モジュール２０３は、対象（つまり、対象に属するすべてのピクセル）の位置を測定することが可能であり、色（又は１つ以上の色であり得る対象の平均色）をサンプリングする。モジュール２０３は、２Ｄ又は３Ｄのテクスチャ、濃淡、及び色を有するマスクを生成するためにまず用いられる白黒のマスクを生成するためにこの情報を用いることができる。

対象を抽出する技術は、対象のピクセルを画像全体から分離するため、３Ｄ色相関、又は対象の平均色とピクセル色との間の最も近いユークリッド距離などの他の任意の技術に基づく。ピクセルが対象内にあるかどうかについての決定は、多段階でおこなわれ得、以下の実施例に限定されない。

１、色相関及び第１の測定はユークリッド距離しきい値に基づくことが可能であり、ユークリッド距離しきい値はＲＧＢ空間又は有彩色空間内に存在する。つまりユークリッド距離は、各ピクセルにおいて、ピクセルの色から、対象の単一又は平均色をとることで決定されるような対象の色に対して測定される。ピクセルの色がしきい値より高い距離にある場合、対象に属していないと決定される。

２、膨張及び収縮などのモフォロジー演算子を適用することによるフィルタノイズ。これは対象の一部として又は対象の一部でないとして「誤ってラベルを付けられた」ピクセルに対する決定を改善することができる。多くの適用において、対象の形状は既知であるか、又は推定され得る。例として、ユーザがズボンを選択する場合にシステムはズボンの形状を推定する。つまり、上述の（１）における選択結果は、各除外ピクセルが推定形状内にあり、対象に包含される必要があるか、また反対に、包含されるピクセルが実際にはズボンの推定形状内の外側にあり、除外される必要があるかを確認することによってさらに調整されることが可能である。

３、以前の若しくは先のフレームからの、又は、列で若しくはピクセル周囲において隣接するピクセルからの情報に基づく測定。このステップは本処理における主要な測定を表す。多くの適用において、連続するピクセルが対象に属する、属しないとして交互に選択されることは異常であろう。物理的対象は大きく、単一よりも多いピクセルで覆われる。故に、ピクセルは所属する又はしないとしてグループ化され、また隣接するピクセルの確認は選択を確実にするために用いられることができる。

４、しきい値として用いられ得る、元の選出からの対象の距離。例えば、各ピクセルにおいて、元の選択ピクセルに対する直交距離が算出され、予期される距離の外側にある場合、ピクセルは対象の外にあると考えられ、逆もまた然りである。

５、対象表面の連続性。対象表面が連続することがわかる場合、ノイズの一部をフィルターで除外することができる。例えば、画像には、ピクセル色が実際の色から大きく異なるように見え、故に対象に属さないように示されるということをもたらす反射又は影がしばしばある。しかしながら、対象は通常は連続的な表面である。つまり、連続性はこのような誤ったラベル付けを除くように用いられ得る。

６、対象のエッジ。ハイパス（ＨＰ）フィルタ又はその他の技術によっておこなわれ得るエッジ検出によってエッジについての測定を向上させることが可能である。

７、色エネルギーに基づく測定。色分離の問題の１つは、暗い照明条件における色は黒く見え、測定のダイナミックレンジが著しく低下されることである。暗い・黒いピクセルは分離され、暗い・黒いピクセルが対象に属するかどうかを決定するためにその他の技術が適用され得る。例えば、本発明はピクセルが対象境界の内部に配置されているかどうか、又は対象の標準偏差色からのエネルギーの距離が変化するかどうかを測定することができる。

８、優れた結果を得るため、予期される対象形状における以前の情報の使用。

９、対象が複数の色若しくは形状の組合せであるか、又はロゴや他の写真を有する場合、複数の色相関及び結合が用いられ得る。さらに、上述された多段階の方法のいずれかは、対象についてより高いレベルで測定するために用いられることが可能である。

１０、測定は、測定における重み付け因子としての隣接するピクセル・画像に関する大多数又は測定に基づくことが可能である。画像において測定をベクトルとして処理する場合、画像マトリックスがどのようにベクトルに再形成されるか次第で、同列又は同じ行において隣接するものを参照することが容易であり得る。

１１、品物における材料・テクスチャの色の標準偏差（ＳＴＤ）推定によっても、対象のセグメンテーションに重要な情報を追加することができる。一部の適用において、種々の生地及びそのテクスチャのデータベースがそのような測定を支援するため保存される。

１２、上述のステップ１〜１１のうちの１つ以上の任意の組合せ。

マスクは、単純な白黒のマスクとしてレンダリングに用いられることが可能である。しかし、対象を十分に認識させる印象をつくり出すために、対象のテクスチャ又は外観からのさらなる情報が保持される。さらなる重要な情報を得るために、マスクは元のフレーム又は映像に適用され、対象におけるＲＧＢ又はグレースケールのテスクチャ、濃淡、又は明るさのスケールが取得され得る。この情報は、元の対象のしわのテクスチャ、濃淡、光の反射、材料シグネチャなどを保持するため、色の変化についてさらにより正確で説得力を持つ。

モデルマスクは、処理の向上のためレイヤーで構成され得る。可能なレイヤー構造の例は、以下のとおりである。

１、（対象を分割するための）白黒のマスク。白黒のマスクは、対象と背景と、又は対象と対象周囲の他の要素と区別するために非常に重要である。対象のマスクか又は境界かの測定の少なくとも一方を最適化するために複数の技術が用いられ得る。

２、対象のエッジマスク。これは対象のエッジ又は輪郭を表す。

３、赤色マスク。これは対象における赤色の領域を表す。

４、緑色マスク。これは対象における緑色の領域を表す。

５、青色マスク。これは対象における青色の領域を表す。

６、全色マスクに適用するテクスチャ。これは対象のテクスチャの外観を表す。

７、濃淡又は明るさのマスク。これは対象における陰影のある又は明るい領域を表す。またはこれは、対象に属するあらゆるピクセルの強度マップであり得る。

８、材料の光反射マスク。これは対象の光の反射を表す。

９、材料の光吸収マスク。これは対象の光の吸収領域を表す。

１０、ＩＲ、マイクロ波、深度、超音波、超帯域などのその他のセンサからのマスク。

１１、上述に記載されたものと類似のレイヤー。

色又はテクスチャを変更するために、マスクモデルが必要な情報を備えると、レンダリングモジュール２０４は特定のレイヤーを改変するために用いられ、大変現実的であるレンダリングされた映像２０５をもたらす複数レイヤーから対象を再生成する。例として、ユーザが赤いシャツを着用し、赤色マスクが青色マスクと置換されて、青いシャツを着用するユーザを描画する。その他のあらゆるマスクは同様であるので、青いシャツは、赤いシャツの濃淡、明るさ、反射、テクスチャなどのすべてと共に描画されて、同様の折り目を有する非常に現実感のある青いシャツが描画され、赤いシャツと同じ身体の輪郭に追従する。一部のレイヤーの効果は、乗算、又は改変されたレイヤーをフレームに加えることによって導入されることができる。減算及び除算もレイヤー同士の関係を規定し得る。より複雑な対象処理を可能にするさらなる技術には、処理された対象の境界内に適合するように対象又は材料を引き延ばすか又は変形するかの少なくとも一方をおこなういくつかの点に基づき得る位置合わせ技術が包含される。

モジュールは元の映像・画像、モデル化されたマスクのマルチチャンネル、及び必要とされる変更を得ることが可能である。必要とされる変更は、色、明るさ、材料、テクスチャ、図像・ロゴ、プリント、生地などの任意の組合せであり得る。

一実施形態では、必要とされる変更は元の対象の境界の外側又は内側であり得、新規の対象の境界用の改変されたマスクが生成されて、元のマスクモデルと置換されてもよい。

一実施形態では、必要とされる変更は、特定の向きのテクスチャと特定の方向に挿入され得る色とを備えた生地である。この実施形態では、材料の方向は適宜改変及び適用される。例として、データベースには種々の生地に対応するマスクが保存されることが可能であり、ユーザのインターフェイスにおいて異なる生地を単に選択することによって、ユーザが着用する品物の生地を変更することができる。このシステムでは、ユーザが着用する実際の品物に対応するマスクが選択された生地に対応する生地のマスクで置換される。

一実施形態では、必要とされる変更は他のユーザの試着マスクであり得る。他のユーザの試着マスクは、位置合わせ技術を用いて、ユーザの類似の品物に新規の品物を適合して試着するように適用されることが可能である。例として、ユーザはシャツ用に計測され、他のユーザはジャケット用に計測される。該方法は、第１のユーザに第２のユーザのジャケットがどのように見えるかを示すために、第１のユーザの正確なボディライン形状を取得及び適用するように第２のユーザのジャケットを適合する位置合わせ技術を用いることが可能であり、試着がより説得力をもつことができる。この方法の一利点は、第２のユーザにおけるあらゆるテクスチャを保持するように描画されるという点で、ジャケットがさらにより現実的に見えることである。該方法は、これらの結果を得るために第１のユーザの方向、位置、及びサイズを位置合わせすることが可能である。位置合わせ点は、例えば目の間の中間点、肩の端部、ウエストの端部、膝などを含み得る。ひとりのユーザから他のユーザへと位置合わせ点を引き伸ばすか又は収縮させることで、ひとりのユーザの衣服を他のユーザが着用するように見せることができる。

一実施形態において、マスクは仮想的な対象位置合わせのためのポインタとして用いられ得る。一実施形態において、ユーザとして適切な変形におけるマスク及び背景記録は、画像・映像からユーザ・品物を除くために使用され得る。

一実施形態において、モデル化される必要がある単一の対象又は複数（１：ｎ）の対象の選出が取得される。マスクはフレーム毎に映像から生成され得る。ユーザが向きを変える場合、３Ｄ又は部分的に３Ｄのフレーム毎のモデルが生成されることができる。このフレーム毎のモデルより、様々の投影が得られ、ユーザの動作の一部又はすべてを含む３Ｄモデルを生成するために用いられる。この情報は、より説得力をもつ仮想的着用を生成するために後に用いられることが可能である。つまり、本方法はモデルの形成においてユーザ自身の動作を利用することができる。

一実施形態において、レンダリングはＧＰＵ，ＣＰＵ，クラウドＧＰＵ又はクラウドＣＰＵにおいておこなわれることが可能である。レンダリングされる入力要素は、ＣＰＵから、クラウドにおけるユーザのデータベースから、又は在庫・他の任意のデータべース・３Ｄプリント、電子商取引データベース、ソーシャルデータベースなどとの能動的なリンクから受け取られる。

品物の色の変更は、実際の試着、及び利用可能な在庫、又はユーザのカスタマイズのため現場若しくは工場における任意的な３Ｄプリントに基づくことが可能である。通常の仮想的着用に対する一有利性は、あらゆる折り目、濃淡などが適切なマスクで転移されるため、品物が、現実的にそうであるように身体上におけるひだを表すことである、これは多くの観点から重要な特徴である。ユーザは、品物がその身体上でどのような感じであるか、その身体形状にどのような効果をもたらし、どのように変化させるかなどを知覚することができる。

一実施形態において、アクセサリー又は他の任意の品物は、関連する対象の動的な動作及びマスクモデルを学習することによって追加されることが可能である。また背景は、同様の技術によって異なる環境に変更又は創出するために拡張されることができる。必要とされる対象すべてにラベルが付けられると、必要とされる対象はマスクされ、組合せマスクが用いられて背景を変更することが可能である。

一実施形態において、レンダリングモジュールは、対象及びフレームを高解像度に補間するレンダリング技術の向上により対象をレンダリングし、高解像度で対象を組み合わせ、エッジを円滑化し、そしてフレームへとより質の高い積算をする、必要とされる解像度に対象を間引きして戻すことができる。さらなる技術は、対象を背景色によりよく混ぜるために、いくつかの重み付け係数でピクセル値を平均化することによって、対象のエッジに直接的に作用することを含む。

図３は、画像の前景又は背景において、品物又は対象の身体部位、色、方向及びテクスチャを置換することができる拡張現実モジュールを示し、例えば、モジュールはユーザに毛髪を加えたり、ユーザの目、皮膚、及び毛髪の色を変えたり、目のポーズなどを変えることが可能である。

モジュール３０１、３０２、３０３及び３０６は、前述された通常の拡張現実モジュールのモジュール２０１、２０２、２０３及び２０６と比較して同様の方法で機能する。モジュール３０４は、対象の３Ｄ動作及び方向に対して専用の検出器を利用するアイズマッチモジュール又はモジュール３０７から直接的に、動作における頭部のポーズ又は身体の方向などの追加の情報を算出又は取得することを許容でき、必要とされる身体部位を改変するためにこの情報を使用することができる。例として、頭部のポーズを取得し、マスク・モデルの目を要求される方向に改変することによって目の向きの補正ができる。さらに、頭部の検出により、適切な方向に毛髪や、帽子を追加することができる。

いくつかのサイズの必要とされるマスクが、元のマスクよりも小さい場合の一実施形態では、モジュール３０７は、リアルタイム又はオフラインで、記録された背景画像又は映像のアイズマッチ変換をおこない、伝送することが可能である。背景変形画像又は映像は、例えば、ユーザの頭部又は上体を映像から除きたい場合などに、前景又は背景処理を用いて、身体部位又は品物の一部分を描画することを許容し得る。変形背景画像又は映像は、頭部及び上体を捉えたマスク上に適用されることが可能であり、結果は、元の変形又は非変形映像に描画されることができる。結果は、ユーザが頭部及び上体を有しない、レンダリングされたビデオ３０５になる。

例として、さらに複雑な場合において、所定のワンピースを短い長さで示すことが所望され得る。モジュール３０４におけるマスク処理では、新しいワンピース用のより短いマスクを生成することが必要とされ、元のマスクと処理後のマスクとの違いが処理のための新規のマスクになる。新規のマスクでは、部分的にユーザの脚部が推定され、部分的には短い長さのワンピースにより新たに視覚化されるであろう背景が表される。新規のマスクは脚部と背景とに分割され、新しい描画されたオブジェクトは、背景画像と予測された脚部との組合せになって、新しく描画される品物を生成する。変形された品物を映像にレンダリングして戻した後の結果は、短いワンピースを着用したユーザになる。複数の技術が使用されて、実際の領域に脚部がどのように見えるかを予測することができる
［カラーグラム］
フレーム内の要素の色又は外観を処理するために、その要素に属するピクセルが特定される必要がある。これは、色の比較と、同様の色のピクセルが同様の対象に属することの推定によって通常はおこなわれる。しかしながら、そのような手順は正確ではない。開示の実施形態において、比較は色以外に変数を用いておこなわれる。この方法では、対象の部分が陰になり、その他の部分が強く照明されるか又はさらに反射されるときでも対象を見分けることができる人の目をシミュレートすることが試みられる。例として、一実施形態において、対象は予測される境界を有する既知の対象として認識される。

仮想鏡として適用されるとき、対象は、シャツ、ズボン、ジャケットなどの衣類を含んでもよい。そして、ユーザが処理のためにシャツを選択するとき、システムは予測的関連付けを用いて対象に含まれる必要のあるピクセルの位置を予測する。例として、ユーザの頭部より上のすべてのピクセル及びユーザのウエストより下のすべてのピクセルはシャツに関連する必要はない。ゆえに検索空間は減縮される。この予測アルゴリズムは、アイズマッチのキャリブレーション処理を受けたフレームに適用するときに向上される。これらの方法の組合せの想到される例を示すと、ユーザがその靴の色のみを変更するため選出する場合に、フレームがアイズマッチを用いてキャリブレーションされると、およその靴の位置が識別され、靴に属するピクセルを検索するときにユーザの脚部より上のすべてのピクセルは無視され得る。このため、検索領域が大幅に限定される。

つまり、処理する対象を特定するために、ピクセルは、色の比較に加えて、品物の予測的位置、対象における既知又は大凡の幾何学性、対象のテクスチャ、テクスチャからの標準偏差、代表色の標準偏差、などを用いて評価されてもよい。これらの変数のそれぞれは、各ピクセルの統計的評価における特定の重み付けを割り当てられることが可能である。また、各パラメータは、種々のエラー又は統計的偏差値を割り当てられてもよい。

図４は、カラーグラムとして言及され得る、色及びテクスチャの変換用モデルを生成するためのコンピューティング方法示す。この技術は多数のユーザ又は多数のフレーム・映像を扱うことの可能な並列計算に最も有利であり、フォトショップ（登録商標）などのソフトウエアプログラムにおいて見受けられ得る超高品質の色変換に相対する。そのような方法では、時間が多くかかり得、任意の多数のユーザの画像又は映像において実行されることは実用的ではない。図４の記載は、単なる実施例であり、記載されるフローの任意の派生形は本発明の一部である。

映像又は画像において対象の色を変更するための１つの課題は、対象の関連するピクセルを正確に特定することである。映像のファイルにおいて、速度は適切な変換を限定する要因である。図４において、映像から対象を分割するか又は抽出するかの少なくとも一方をおこなう方法の簡易化された実施例が記載される。図４の方法は、図２及び図３に関して記載されるシステムによって実行され得る。

改変される画像又は映像は４０１において受信される。４０２において、色画像又は映像のフレームはラインベクトルに変換され、ラインベクトルは、画像のベクトル化が処理時間を大幅に速めることを可能にするものの任意的である。ベクトルのサイズは１×ｎであり、ｎはフレームの全ピクセル数、つまり、ＲＧＢ色のそれぞれに対して、フレーム幅における全ピクセル数×フレーム高さにおける全ピクセル数×３である。また、４０３においては明るさの影響が除かれる。明るさの影響を取り除く多くの技術が存在するが、本実施例では、各ピクセルをＸＹＺの合計で除算することによって、ＸＹＺ有彩空間におけるピクセル毎のエネルギー平均が用いられる。ＣＩＥのＸＹＺ色空間は、平均的な人が体験するすべての色感覚を包含する。Ｙは輝度として規定され、任意のＹ値に対して、ＸＺ平面は、その輝度におけるすべての可能な色度を含む。例として、３×３のマトリクスは、ＲＧＢシステム（ｘ_ｒ、ｙ_ｒ）、（ｘ_ｇ、ｙ_ｇ）及び（ｘ_ｂ、ｙ_ｂ）並びにその参照白色（Ｘ_Ｗ、Ｙ_Ｗ、Ｚ_Ｗ）の色度座標を用いて、ＲＧＢをＸＹＺに変換するために使用される。

並行して、４０４では、各ピクセルが対象に属するかどうかを決定するためのすべてのピクセルの検査に用いられ得る比較色をまず決定することによって対象選択がおこなわれる。比較色は、対象内にあると考えられるいくつかのＫピクセルの色を統計的に解析することで決定される。これは、例えば、画像内の対象の幾何学性又はおおよその位置を捉えることによって、変換される対象に属すると考えられるいくつかの点Ｋ（ｘ、ｙ）をまず選択することでおこなわれる。Ｋは、背景又はその他の物品から分割され得る識別される色を有する位置か区域かの少なくとも一方の数である。一部の適用では、それぞれの位置において、ウィンドウ又は区域が特定の点の周囲において選択されて、点又はピクセルが例外でなく特定の区域の代表であることを確実にする。そして、４０５では、各点Ｋ（ｘ、ｙ）には、モジュール４０３において実行されるような同様の変換がおこなわれる。４０６では、ｋ回の反復がおこなわれ、各ピクセルの色を見つけ出し、そこから対象の最も代表となる色を取得する。この色が次の検出に使用されて、対象に属するすべてのピクセルを見つけ出す。この技術において、Ｋは２と等しいか、又は２より大きい。各ｋに対して、ユークリッド距離２Ｄ又は３Ｄが算出される。最低距離及びＫ値が保存され、比較又は代表色として用いられる。この操作は、比較的速い処理において、一度にすべてのピクセルにおこなわれる。

距離=√((X-xi(k))² + (Y-yi(k)) ² + (Z-zi(k)) ²)
Ｋ回の反復後、ラベルが付けられた画像を取得することが可能である。ユークリッド距離「距離」は色同士を区別するための計算方法の単なる例である。例えば、人の色知覚（色彩、彩度、及び明るさ）に基づいた色距離モデル、ＣＩＥ７６、ＣＩＥ９４、ＣＩＥＤＥ２０００などのように人の目で色を区別するために感度と能力とを適合させる高度なキャリブレーション技術、又はヒストグラム伸長ＩＲ／３Ｄ深度カメラ、時間経過による色積分、若しくは色検出の感度を向上する任意の他の方法との任意の組合せなど（モジュール４１１）、色同士の距離を算出するその他の方法が存在する。モジュール４１１からの追加的情報は、距離比較レベル４０６で、モデル生成４０９の最後で、又は追加的情報の特性次第で（決定性、統計的、時間的変動など）任意の組合せにて適用されるか又は適用されないということが可能である。

例として、ＩＲカメラが用いられるとき、ＩＲカメラの画像は標準的なカメラの画像に位置合わせをされてもよい。そして、ＩＲカメラの画像は、ユーザを背景から容易に分離するために用いられることができる。この情報は、対象に属するかどうかを評価される標準的なカメラのピクセルを限定するために用いられることが可能である。例として、ベクトルを用いて比較がおこなわれるとき、ＩＲカメラからの情報は評価される必要のあるベクトルにおけるエントリ数を削減するために用いられ得る。同様に、テクスチャマスクは、評価ベクトルからピクセルを除くために用いられてもよい。例として、カーペットのテクスチャが保存され、ユーザがカーペットを着用しないだろうことは明らかであるので、画像において同様のテクスチャを有するあらゆる部分が評価から除外される。つまり、複数のレイヤー又はマスクは、ベクトル上で処理されるように用いられ、対象の分離と対象に属するすべてのピクセルの割り当てとにおける結果の正確性を向上する。

色の違いに加えて、区域見込み（所定のピクセルは隣接する又はいくらかの集合であるピクセルを有する必要がある）、区域特性、最終決定をする前に対象の境界を分離するための境界フィルタ、深度情報（これは深度情報の輪郭を２Ｄ又は３Ｄの対象の最終画像に適合させることが通常必要とされる）、ピクセルが複数のフレームにわたって対象の区域にあるかどうかを測定する時間積分など、測定を向上するために対象についての情報を追加できるその他の技術も用いられることが可能である。

モジュール４０７は、必要な色とその他の色空間とをどのように区別するかを表す一実施形態の実施例である。モジュール４０７では、しきい値よりも大きい距離を有するすべてのピクセルは非関連としてゼロ化され（１〜ｋの色のいずれか１つとは異なる色を有するピクセル）、関連するピクセルすべてに１が割り当てられるので、対象に属するすべてのピクセルを特定するバイナリマスクを生成する。

モジュール４０７は、特定の色を分離することが所望される場合の実施例である。ここでは必要とされるものを除いてすべての指標がゼロ化される。この処理は、すべての非関連指標がゼロ化され、背景及び非関連色値（０）を取得し、そして１のラベルが付けられた必要な色対象を選出する、というようにおこなわれる。対象に１つ以上の色が存在する場合、１は任意の選出された指標２〜ｋ＋１に割り当てられ、０はその他すべてに割り当てられることができる。

４０８では、ノイズを除去し対象の形状を円滑化するために白黒フィルタが用いられることができる。その他の技術が用いられて、どのピクセルが対象に属するかの測定を向上させてもよい。結果として、すべての関連色の指標は２〜Ｋ＋１から開始される。

モジュール４０９では、取得された白黒マスクが元の色画像に適用され、色及びテクスチャ変更用の３Ｄモデルが取得される。モデルはグレースケールの２Ｄアルファチャンネル又は色空間の３Ｄであり得る。モジュール４１０では、対象の２Ｄ又は３Ｄモデルが取得されることができる。単一のカメラからの映像の場合、ユーザが例えばカメラの前で回るなど、カメラの前で移動していても３Ｄモデルを取得することが可能である。この場合、ユーザの３Ｄにおけるボディカーブを推定するために複数のカットにおける対象の寸法を取得することも可能である。

モデルジェネレータへの２Ｄ入力の実施例が以下に提示され、ここでは図９に示されるユーザの青いシャツのモデルを生成することが期待される。図１０は、色情報を有しない、シャツの２Ｄモデル又はマスクの例である。代わりに、この場合はシャツである選択された対象のグレースケールマスクが生成され、任意的に適用される色で後に使用されることが可能である。この方法では、シャツのテクスチャは保持されるので、色又はテクスチャを処理すること、又はモデルの境界を変更して異なる対象を生成することすら比較的容易である。

色の違いのみに基づくモデルは質において完全ではないため、追加的情報及び技術が用いられて対象モデルの質を向上させることができる（モジュール４１１参照）。補間及び間引き又はエッジの円滑化などの追加的情報の技術は、モデルの質を向上させるために、モジュール４１０を介した処理後に適用されることが可能である。

［身体計測］
図５は、画像、複数の画像又は短い映像から身体計測値を抽出する方法の実施例を示す。身体計測は、例えば体重の推測、最も適合する衣服の決定、体型及び体重の経時的なモニター等の種々の適用及びサービスに用いられ得る。システムは、様々な姿勢及び方向であるユーザの数多くの画像を取得するので、身体計測をおこなうために最適な画像を選択することは有益である。どの画像を選択するかの決定は、図５に示される処理の前又は一部としておこなわれてもよい。具体的に、画像が、カメラの光学的軸に対して垂直に配置されるユーザの身体を示すときに優れた身体計測がおこなわれることができる。これは、両目の中間を通過する垂直線に沿って顔が対称に見えるかどうかをまず測定することによって決定されてもよい。顔がこの線に沿って対称に見える場合、身体の中央に沿う垂直線は、身体がその線に沿って対称であることを確認するために用いられ得る。この段階では、身体の中央部のみが対称の測定に考慮されるように、まず手を画像から除くことが有用であり得る。画像から手を除く処理は、以下においてさらに全体的に記載される。

モジュール５０１において、画像は、米国特許出願第１３／８４３，００１号に記載されるアイズマッチ手法と類似する処理をまず用いることによって、ボディライン及びボディマス指標（ＢＭＩ）解析を使用して分析される。この手法では、画像は再配置及び変換されて、カメラの構成的幾何学性と光学的歪みによる歪みを補正することが可能である。構成的歪みの要因の例は、カメラに対するユーザの距離、カメラの高さ、カメラの投影角度、カメラ光学系のＦＯＶ、及びその他の光学的歪みを含む。画像補正後、各ピクセル領域表示は領域（ｃｍ^２）において概して同様であり得る。処理は、ＣＰＵ，ＧＰＵ、カメラのＤＳＰ、カメラ近傍のローカルコンピュータ、又は遠隔サーバにおいておこなわれることが可能である。

モジュール５０２は、２Ｄ画像をベクトル変換に変えて処理速度を上げることが可能である任意的な要素である。ベクトルのサイズは画像の幅、掛ける高さ、掛ける３ピクセル（ＲＧＢの場合）である。また、モジュール５０１に入力される画像は既にベクトルであってもよい。一部の型の画像処理は２Ｄマトリクス上でおこなわれることが容易であり得る一方で、他の型の画像処理はベクトル画像により適する。

モジュール５０３において、ベクトル画像における光と彩度との影響を除去するように色処理をおこなうことがより容易であり得る。これは、上述の４０３に関する記載と類似の方法でおこなわれることが可能である。

モジュール５０６において、画像は、色変更を強調し且つボディラインの視認性を向上することができるエッジ検出フィルタを通過するようにしてもよい。エッジ検出はボディラインのエッジを支援し、複数のエッジ方向に対応できる。例として、垂直、水平、及び＋／−４５°特性のエッジフィルタはボディラインの優れたエッジ検出をおこなうことができる。

モジュール５０４及び５０５は、ユーザの性別、年齢、人種などの画像解析を支援することが可能なアルゴリズムに追加的情報を提供し、該情報に関連する統計的比率を提供できる。この情報は、身体部位の検索に重点を置くために後に用いられてもよい。身長測定は、例えば胸部、臍部、ウエスト、臀部等の特定の身体部位の検索に重点を置くために、補足的身体比率情報と共に用いられてもよい。

モジュール５０７では頭部検出をおこなうことが可能である。頭部検出には複数の技術が存在する。例として、エッジ強調画像を取得し、身体の長さに沿ってそれを反転し、画像同士の間の相関をおこなうことができる。相関の頂点は身体の中心質量を示し得る。他の代替的方法は、エッジのみの、重心中心質量の算出である。重心中心質量の算出は、ユーザ上の光が十分に均一でない場合にやや正確性が低いが、この技術はより高速であり得る。その他の技術は、パターン認識、目、鼻、及び頭部の形状検出に基づき得る。中心質量が得られると、画像から身体を特定するために適切なウインドウがクロッピングされることが可能である。また、頭部の頂点の強調エッジによりピクセルにおけるユーザの身長を得ることが可能である。画像はピクセル毎の長さにおいて均一の重みを有するので、全身長が算出されることができる。モジュール５０１の変換が、例えば１〜５メートル（ｍ）の配置にわたって均質な処理画像を生成するということが仮定され、スクリーン上のピクセルにおけるユーザの実際の身長は、実際のユーザの身長に比例する。この仮定がすべての距離に対して必ずしも当てはまらない場合に、さらなる係数が追加されることができる。

モジュール５０８はピクセルにおける身体部位のサイズを測定することが可能である。この技術は焦点となる領域における追加的処理であって、さらに身体部位を強調することができる。図１３は、身体から腕や手を除き、所定の身体計測のために観測する箇所の様々な間隔を示す、追加処理結果の例を表す。該間隔は、重力の中心又はユーザの画像における垂直対称の軸を通過し得る垂直中心線１３０１を生成することによって算出され得る。そして、水平切断線が追加されて身体計測に適合する領域を生成する。例として、線１３０３は、脚部が胴体に接続される位置を示す一方で、線１３０４及び１３０５はウエストの最も細い領域を示す。

ピクセルにおける測定は、予測カーブに従ってセンチメートル（ｃｍ）に変換される。例えば、頚部は筒状にモデル化され、ピクセルにおける頚部の測定幅はピクセルにおける２×半径を表し、ピクセルにおける半径はキャリブレーション毎にｃｍに変換されることができる。男性の胸部はさらに楕円形のモデルであるので変換はやや異なる。追加の側部測定値が利用できる場合、そのような測定値が追加されてより正確な情報をモデルに提供することができる。

モジュール５１０では、測定値はユーザの体型から推量される。例として、臀部が胸部やウエストよりも幅広である場合には「梨」型である（図１１及び図１２参照）。さらに、
１、心臓における健康問題などの健康上のリスクにおける身体の状態、
２、ユーザの体型に最も合う衣類のタイプ、
３、履歴の比較おけるユーザの身体の傾向、
４、ユーザの体型に基づいた重点的広告（例えば、中胚葉型・内胚葉型は体型に合う最適な栄養摂取のため重点型クーポンを取得できる）、
５、身体認識、及び
６、身体の経時的変化（スピン条件、柔軟性、潜在的腫瘍など）をモニター可能な身体的診断、
といういくつかの分析が提案される。

ユーザのＢＭＩにおける情報は、図４に記載される対象モデルか、又は直接的に図５に記載される画像ＢＭＩ分析から学習又は推定されることが可能である。

種々の適用において、画像における特定の商品のテクスチャを「学習」することは有用である。種々の実施形態によると、高い解像度でテクスチャを測定するために、対象はまず画像から分離される。一実施形態において、要素又は身体の部位を分割した後、さらなる精細なテクスチャの再構成又は測定がおこなわれることができる。テクスチャ測定は２Ｄ又は３Ｄセンサ（カメラ）でおこなわれることが可能である。

２Ｄセンサを利用する実施形態において、以下の２つの実施例がおこなわれてもよい。ユーザは鏡の前で動いているので、システムは深度又はテクスチャを算出するために用いられる２つの画像（例えば連続する画像）を撮像する。これをおこなうには複数の方法があり、例として、システムは、２つ以上の画像を映像から抽出することができ、また中心質量検出に基づいて距離を算出し、距離をテクスチャの立体視計算に用いることができる。つまり、２つのカメラを用いて立体視画像を取得するとき、カメラ同士の間の距離が分かるので、２つのカメラ間の距離とその光学軸の角度と用いて三角測量がおこなわれることができる。しかしながら１つのカメラしかない場合、システムは、同じカメラを用いるが、別々の時間に２つの画像を取得する。故に、ユーザは２つの画像同士の間にやや動いている。システムは２つの画像の間の違いを算出し、逆三角測量をおこなう。これは例えば各画像の中心質量を算出することによっておこなわれ、（例としてピクセルにおいて）２つの中心質量間のｘ-ｙ距離が算出されることが可能である。該距離は２つの画像が２つのカメラを用いて撮像されたようにして、逆三角測量をおこなうために用いられる。その他のポインタも距離を算出するために用いられ得る。例えばプロセッサは２つの画像における両目を特定し、２つの画像において両目の間の距離を算出することが可能である。他の選択肢は、ユーザの回転、つまり（ｒ、θ）を測定し、それを用いて逆三角測量をおこなうことである。これらの方法のいずれにおいても、カメラはユーザの中心質量の上である高さ、つまりモニタの上部に配置され得るので、逆三角測量は深度を算出するために用いられ、故に深度センサとして作用することが可能である。

代替的に、システムは、両画像において目を引くポインタを見つけ、それらのマッチングを試み、そして明確に識別せずすべてのポインタを取り除くことができる。これは例えばＲＡＮＳＡＭ、無作為サンプルマッチング技術を用いておこなわれて、無作為のポインタ一式から類似の挙動をする群を見つけ、要素のテクスチャ測定及び３Ｄ構成のためのピクセルにおける距離を取得するようにそれらのポインタを使用する。

他の選択肢として、距離に基づく鏡と身体の回転との間の距離の推定がある。例として、システムがユーザの身体のポーズを測定できる場合、テクスチャを推定することが可能である。

３Ｄセンサでは、システムは２Ｄと同様のことをおこなうことができるが、ダイナミックレンジと正確性を向上させるため、測定される要素を分離する必要がある。背景除去はおよその深度測定しきい値によって向上されることができる。システムは、１つ以上のフレーム毎にテクスチャを推定し、カルマンフィルタ又は他の任意の補間・間引き技術によってフレーム間のテクスチャ変更を適宜円滑化することができる。

一部の実施形態において、３Ｄセンサのみがユーザのアバターのパラメトリックモデルを制御するために用いられ得る深度測定値を生成し得る。ユーザは仮想的に着衣し、３６０度で閲覧されることができる。さらにシステムは、鏡の適用又はテレビ会議において位置移動をユーザに適合させるように制御されることが可能である。アバターをユーザの動作に適合させるため位置合わせ技術が用いられ、位置合わせポインタは、例えば自動認識要素検出及びＲＡＮＳＡＭ無作為サンプリング及びマッチング技術など複数の方法で割り当てられることができる。システムがポインタを得ると、実際のユーザの動きに基づいてアバターを動作させることはより容易である。深度センサ又は３Ｄカメラからのデータは同様のマッピング変換エンジンを通過し、結果はさらに正確なユーザの３Ｄアバターのベースになり得る。アバターはモデルベースとして全体又は部分的に用いられて、仮想的な要素をユーザに提供する。

位置合わせマッピングを適合させるその他の技術は、頭部、手、上体、足など要素を画像において特定することと、アバターの動作をこれらの要素の動きに適合させることである。この動きが、１つ以上のフレーム毎に測定及び推定され、カルマンフィルタ技術によってアバターの動作を円滑に進行させる。アバターの動作はリアルタイム、準リアルタイム、又はオフラインでおこなわれる。

一部の実施形態において、システムは（カメラ、２つのカメラ、又は３Ｄカメラのいずれかから）画像ストリームを受信し、画像ストリームを用いてリアルタイムで仮想現実を生成する。カメラからの元の画像は放棄され、代わりに仮想的世界がモニタに表示される。リアルタイムの画像は仮想現実を生成するために用いられるので、仮想現実画像はカメラにて撮像されるような現実の世界を忠実に表す。つまり上述されたように、リアルタイムの画像はリアルタイムでアバターを生成するために用いられ得、アバターは画像に撮像されたユーザを忠実に表す。一方で、背景及びユーザが着用する商品は、ユーザのアバターがユーザのものと同様又は異なる商品を着用して別の場所にいるというように表示されるように変更されることができる。例として、ユーザがスキージャケットを試着する場合、リアルタイムの画像はユーザに対応し、同じコートを着用するアバターを生成するために用いられることが可能である。しかしながら背景は、スキー場に変更され、ユーザがスキー場でコートを着用している自分自身を描くことができる。

また一方で、ユーザをもとにしたアバターを用いて動画を生成するために高度な処理機能が利用できるように、リアルタイムの画像を保存し、オフラインで画像を処理することも可能である。そして動画は、例えばインターネットを介して、ユーザに送信されることができる。

［セキュリティ及びその他の適用］
図６は、多段階のユーザ学習及び認証のためのセキュリティシステムへの適用の実施例を示す。これは考えられるフロー適用の単に１つの例である。図式モジュール間のフローの任意の組合せ又は種々の機能的分離は本発明の一部である。

前述された図において、デバイス６０１からのスチル又は映像は、画像グラバモジュール６０２に入力されることが可能である。画像グラバモジュール６０２は、上述されたようなトリガイベントによって制御され、トラッキング情報及び規則を提供してイメージ取得処理を開始するトリガイベントモジュール６０７によって処理されることが可能である。具体的に、画像グラバモジュール６０２は、入力６０１から画像を取得し、追加的トラッキング情報と共に（リアルタイムの幾何学的測定値）アイズマッチ変換モジュール６０３にプッシュする。トラッキング情報とイベント要件に基づいて、アイズマッチ変換モジュール６０３は、キャリブレーションされた画像を生成するために、カメラの視点、画角などで処理する変換を計算することができる。さらに、アイズマッチ変換はＧＰＵ・ＣＰＵ・ＤＳＰにおいてローカルで、クラウド等において、おこなわれることが可能である。一実施形態において、ユーザ又は場面の幾何学的構造の高度な情報が、トラッキングアルゴリズムに供給され、キャリブレーションに関与し得る。追加的情報は、例えばユーザの身長、ユーザの両目の間の距離など１回のみの幾何学的情報として提供され得る。この場合、追加の幾何学的情報は必要とされる変換を計算するために使用されることができる。歪んだ画像と既知である幾何学性との間の相違は、変換を計算し、キャリブレーションするために用いられることが可能である。

アイズマッチ変換モジュール６０３からのキャリブレーションされた出力は、場面分析モジュールとも呼称され得るセキュリティスキャナモジュール６０４に供給されることが可能である。セキュリティスキャナモジュール６０４は、ユーザが向きを変えるときに、例えばエッジ検出、統計的エッジ検出、ＩＲカメラ、マイクロ波センサ、３Ｄカメラ、単一のカメラ、及び複数のカットなどの複数の技術に基づいたボディライン又はボディカーブスキャニングのうちの１つ以上を学習するように適用されることができる。また、ユーザがビデオカメラの前で向きを変えるときに身体の完全な３Ｄモデルが取得され、図４に示される技術、つまりカラーグラムなどにおいて記載されるようにユーザの衣類がアルファチャンネルに抽出されることが可能である。

その他の学習及び認証方法は例えば衣類検出などを含み、品物のシグネチャーが生成され、データベースに分類される。データベースは、複数のデータベース及び電子商取引店舗から衣類をスキャニングすることによって、又はオペレータにより能動的にスキャニング及び情報更新をおこなうことによってインターネットから更新されることができる。例として、警備員の制服、生地のタイプなどが入力され得る。

また、アイズマッチと顔認識との組合せのため、オペレータはカメラをユーザの身長より上に、例えば約３０〜４５度で下方を向いてドアの上に設置することができる。そのように設置することによりユーザはカメラのもとで自由に動くことができる。この方法において、例えば検出可能な顔認識の範囲は、カメラの前の約１〜５メートルである。ユーザの頭部が＋／−１５度の角度でスキャンされる場合に既知の顔認識システムはさほど正確ではないため、これは有利である。

さらなる身体認証センサは、音声、匂い、手のひら、指紋、目、ＤＮＡ、Ｘ線センサによる骨格、又は超音波、歯、毛髪、印象、色、目、血液、後光、温度、皮膚における跡、耳などを含み得る。

映像、スチル又は分析データは、映像・スチル記録モジュール６０５で、カメラから直接的に、アイズマッチ変換モジュール６０４から、処理画像から、又はセンサのデータから記録されてもよい。

視覚的映像・画像又は分析データはユーザスクリーン前に表示（全身又はそれ以下）されるか、クラウドを介して伝送されるか、又はスクリーン６０６に表示されるように制御センタに若しくは処理及び分析のためにモジュールに直接的に伝送されることが可能である。

モジュール６０７、６０８、６０９及び６１０はそれぞれモジュール１０７、１０８、１０９及び１１０と類似する（図１及びその関連する記載を参照）。

図７は、パラレル又は帯域内のカメラ操作のためのセキュリティシステムへの適用の実施例を示す。

図７におけるデバイスの特性は、図７に示されるようなスタンドアローンのデバイス又はカメラのＤＳＰ機能の一部にある。機能の起動は無線又は有線設備を介して制御されることができる。加えて、例えば測定及びトラッキングなど特性の一部は遠隔地において対応されることができる。さらに、デバイスはカメラの前に配置され、小さいスクリーン上の処理画像をカメラに投影させることができる。

カメラのメインストリームはデバイスに供給されることが可能であり、又はデバイスはカメラのメインストリームをタッピング及びスニフィングするように適用されることが可能である。処理後、デバイスは並列データをオペレータに送信するように適用されることができる。

デバイスは、複数画像コンピューティング機能、例としてアイズマッチ変換モジュール７０３におけるアイズマッチ幾何学機能、例としてセキュリティスキャニングモジュール７０４における身体計測及びユーザ認証、並びに例として拡張現実モジュール７０６における拡張現実機能を有し、画像は、メインストリームにおいて又はメインストリームに対して並列で処理されることができる。例として、処理はユーザの体型、色、ユーザが所持する品物、髪型の変更、ユーザの完全な消去などを含み得る。これらの機能はセキュリティにおける用途に非常に重要である。

さらに映像ストリームは、例えばロボット、ヘッドマウントディスプレイ、ユーザアプリケーション等他のデバイスに供給されることが可能である。

デバイス機能をコントロールするインターフェイスは有線若しくは無線設備を介するか、又はローカル若しくは遠隔地にあってもよい。測定モジュールはデバイス又はクラウドに配置されてもよい。

一実施形態において、機能は例えばリアルタイム又はオフラインで実行されてもよい。デバイスの起動は、例えば、一定期間ごとに、トリガイベントに応答して、又は必要又は所望されるときに手動でおこなわれてもよい。

デバイスは、リアルタイム制御とその他のデバイスのためのトリガイベントに対応し、例としてユーザが見得る画像を変更する（カモフラージュ）ためのプロジェクタ、又はカメラの前の正確な調整を必要とする正確な危険排除デバイスのためのトリガが挙げられる。

映像はリアルタイムで追加のステーションと共有されることができる。映像を共有する複数の方法が存在し、一部の例示的方法は以下に詳細に記載される。

鏡体験を１人以上の他のユーザと遠隔的に共有するとき、ユーザはローカルステーションで自分自身を見て、遠隔のユーザは鏡において前記ユーザを見て、その体験を共有する。遠隔のユーザは任意の適切なデバイスを有し、そして鏡の前に立って検討のため何かおこなっている前記ユーザを見ることが主な体験となる。前記ユーザはアイズマッチ又は任意の他の技術に基づいた自分自身の鏡像を見ることができる。図８はこの方法を表す。遠隔のユーザは単に前記ユーザの配信を見て、前記ユーザにメッセージを送り、会話をするか、及び／又は鏡スクリーン上の小ウインドウにおいて視認される。

図８ａは、テレビ・音声会議における共有鏡体験を表す。図８ａに示されるように、鏡体験は、クラウド上で又は他の鏡ステーションを介してユーザとライブで共有されることが可能である。第１の場合では、クラウドへと送信され、他方の側における視線方向を補正するためにさらに鏡を反転して戻すことが必要とされる映像ストリームを介して、ユーザは鏡モードで自身を見る。つまり、（鏡モードの）ユーザが右又は左を見ると、他方の側におけるその目・視線は適切な方向を見ているように適切な方向に動く。

図８ｂは、全身のテレビ会議の共有を表す。カメラが「そのまま」他方の側にストリーミングされる通常のテレビ会議とは異なり、鏡ステーションでは、他方の側に送信される画像は遠隔地において左右を反転される必要がある。これは、ローカルで撮像された鏡を反転することでおこなわれるか又は遠隔地側においておこなわれる。

図８ｂにおいて、２人以上のユーザが全身のステーションにおいて互いに話し合う場合、一方のステーションのユーザは、他方のユーザを適切な方向で見ることもできる。図８ｂに示されるように、ユーザはローカルスクリーンの左側に立っている自分自身を見て、そして別のユーザをローカルスクリーンの右側に見ることができる。この場合、ローカルの映像は既に鏡化されており、遠隔地で映像をストリーミングするとき（配信されるとき）には追加の反転・鏡化が必要とされる。

このローカルの鏡体験に合致するためのローカルの又はストリーミングされる映像の鏡化、反転、回転などの任意の組合せ、及び他方の遠隔地における視線補正は本発明の一部である。

一実施形態において、両ステーションは同様の幾何学性及び寸法にアイズマッチ変換・キャリブレーションされる。あらゆるステーションにおいて全身鏡が生成され、遠隔地に送信される。全身のアイズマッチ体験はテレビ会議においても得られ、ユーザは互いの目を見ている感覚を得ることができる。

一実施形態において、１つの位置に１人より多いユーザが存在する場合、アイズマッチ又は身体歪み補正はユーザ毎のトラッキング機能によりユーザ毎に、又は共におこなわれることが可能である。この場合には、線効果を除去するために、拡張現実機能が上述のように背景を置換することが可能である。拡張現実モードにおいて、カラーグラム又は他の技術は背景を装飾のない背景に置換するために用いられることができる。接続線は、ユーザ自身に対する線又は非連続性を排除するためにユーザ同士の間に配置されてもよい。

一実施形態において、２より多いステーションが存在するとき、スクリーンが分割されて複数の位置における複数のユーザが共に表示されることが可能であるか、又は、例えば図８ｃに示されるように複数のスクリーンが隣接して配置され得る。具体的に、図８ｃは分割スクリーン又は複数のスクリーンを備えた複数の鏡・全身のステーションを表す。図８ｃに示されるように、ユーザが鏡に描画される順番のため適切な視線の会話が可能になる。ユーザが右を見るとき、例えば遠隔のスクリーンでは、反転後に、ユーザは遠隔のユーザに向かって左を見ているようにみえる。

これは単なる実施例であり、スクリーン近傍又は遠隔地における任意の数のユーザは、適切な視線導入を実現するため配置される必要がある。一実施形態では、この体験を向上させるために、視線及び目が合うということがさらに改善される。一実施形態において、スクリーンはスクリーンにおける３Ｄ機能、ユーザごとの３Ｄ機能を包含する。

一実施形態では、一方の側におけるアイズマッチ又は任意のコンピュータ化された画像処理に加え、遠隔地において追加のコンピュータ化された機能が提供されて、ローカルのユーザトラッキングに基づいて遠端の映像を処理することが可能である。例えば、ユーザがスクリーンに近づくと、遠端の映像又は画像はやや大きく見えるように処理され、ライブの会合である雰囲気を一層提供するように投影される。他の実施例では、ユーザが一端において近づくとより広い遠端のＦＯＶを見ることができる。

［ユーザインターフェイス］
本発明は、仮想鏡を使いやすくするための仮想鏡制御及び仮想システム特性を含む。仮想鏡制御及び仮想システムは、例えばオン、オフ、再始動、鏡、ディスプレイ、待機などを含む種々の操作モードを包含可能である。仮想鏡制御及び仮想システムは、自動、手動、又は自動と手動の組合せであり得るユーザの認証及び登録を含むことができる。仮想鏡制御及び仮想システムは、ユーザ体験を容易に且つ向上させる最適な操作フローを包含可能である。

仮想鏡制御及び仮想システムは、例えば、自動ジェスチャー、音声、視線、モバイルアプリケーション、遠隔地の専門家、ローカル支援など、鏡を制御するための１つ以上のインターフェイスを含み得る。仮想鏡制御及び仮想システムは、記録映像の再生（自動、手動）、進歩的効果（品物の色編集、拡張現実特性、ゲーム機能、背景変更、３Ｄ効果、照明効果など）、スクリーンモード（方向、フルサイズ又は分割スクリーン）、友人・専門家とリアルタイム及びその場ですぐに体験を共有するための共有技術及び方法、ディスプレイ及び共有を制御するためのモバイルユーザアプリケーション（例えば仮想鏡又はユーザのモバイルデバイスから取得された個人的映像及び画像を共有するなど）、一般的な管理のための小売り又は企業のリモート（リアルタイムのユーザについての小売情報を高度制御及び分析的機能に提供）、及び鏡の操作方法をユーザに教示するためのモジュール（アニメーション、映像、音声、視覚的な案内など）を含む、インターフェイスの広範な組合せを包含する。

図１４、図１５及び図１６は、鏡体験をシミュレートするために共にひと続きであり得る仮想鏡ユーザインターフェイス（ＵＩ）フローの実施例を表す。動作外時間では、鏡スクリーン及び／又はスクリーンに供給する計算デバイスは、オフにされるか又はディスプレイ電子部品が急速に劣化しないようにスクリーンセーバと共に残存する。鏡ステーションは自動的に電源が入るように動作され得る。鏡ステーションは、再起動され通常の動作に入るためにリモートコントロールを介してローカルで又はクラウドを介して制御されることが可能である。

システムがオンにされるとき、ユーザが鏡の前に立つ前にシステムは待機モードで動作し、その際にコントローラは鏡の反射を再現する変換をするか又はしなくともよい。ユーザがカメラの視野の前の特定の区域に入ると、プロセッサは記録された画像においてユーザをトラッキングすることができる。トラッキングに基づいて、プロセッサのビデオエンジンは画像の変換を計算して鏡の挙動を再現することが可能である。

鏡の前にユーザがいないときに通常は動作し得る待機モードにおいて、モニタはスクリーンセーバ、静止画像、ビデオクリップなどを表示してもよい。これらのすべての例は待機画像として言及され、「画像」という用語は映像を含む。待機モード時に、モニタは特定の時にカメラによって記録された背景画像を表示してもよい。背景画像を適切に表示し、鏡の反射のように見えるように、コントローラのビデオエンジンが初期設定を有し（例えばモニタから２メートルなど）、カメラストリームに２メートルの変換を適用して、例えば図１４に示されるように背景環境に鏡の効果を生成することができる。

種々の実施形態において、システムはカメラの前のユーザの存在を自律的に認識し、ユーザ認識、アカウント一致等を含む鏡再現手順を自動的に開始することができる。一実施形態では、ユーザの存在は、カメラによって撮像された画像を連続的に分析して画像における変化を検出し、ユーザを特定することによっておこなわれる。一実施形態では、マットを配置するか、又はカメラの視野の前や視野内のカーペット上における所定のしるしを用いてトリガ区域が指定されることが可能である。カーペットは、ユーザのトラッキング及び検出を向上させる所定のパターン及び色を用いてデザインされてもよい。さらに、カーペットの色は、例えば特定のコントラストを向上させることにより映像の質を改善させることも可能である。例として、照明条件を改善させ、結果としての映像の質を向上させるためにより薄い色が用いられることができる。一実施形態では、カーペットのパターンにおいて、より薄い色と濃い色が約５〜１０ｃｍで交互に配置されるので、ユーザが濃い色又は薄い色の靴を履いて立つときに、ユーザの靴が容易に検出及びトラッキングされ、最大距離エラーは色分離の半分、即ち５〜１０／２より大きくならない。一実施形態において、カーペットは、ユーザに鏡の操作方法を案内するユーザへの指示を含むことが可能である。代替的に一実施形態において、ユーザが受容パッド上に足を載せて、手又は音声ではなく足で鏡を操作する操作デバイスが提供されてもよい。一実施形態において、鏡はユーザを適切な位置に立たせることが可能である。例として、ユーザが近づくと、鏡は待機モードに切り替えられて戻るか、又は鏡は画像においてユーザの脚を切り取るなどをおこなうことができる。

ユーザが鏡の前のトラッキング又は登録区域に立ち入ると、コントローラのビデオエンジンが反応して対象のトラッキングを開始するように、システムは構成されることが可能である。ビデオエンジンは、対象の配置に基づいて映像変換を調整して、鏡の挙動を再現することができる。トラッキングに対するさらなる入力は、アイズマッチ処理において記載されるようなユーザの身長、空間配置、ポーズなどを含み得る。この時点で、ユーザはまだシステムに登録されないので、ユーザ認識の追加処理がおこなわれることができる。例として、認証は、顔認識、ユーザがシステムに対して提示してスキャンされる特別なカード、ユーザのモバイルデバイス（音声、無線、ＱＲ（クイックレスポンス）コード）、又はその他の生体測定登録機能を含み得る。

一実施形態において、顔認識は１００％完全には信頼できないので、追加的識別機能が数秒など適切な時間間隔でスクリーン上にポップアップされるように表示される。現在の実施例では、ＱＲブラケット１５０５（図１５）が開き、ユーザは、その固有の適用に対して送信された例えばスマートフォン上のＱＲバッジ又はＱＲを鏡に示し、現在の顔の像が認証されたユーザと関連することをシステムと効果的に通信することができる。この技術は、特定のユーザが１より多い顔アカウントを有する場合の準自動であるユーザ統合を可能にするために用いられることができる。さらに、顔情報が統合されると、経時的にユーザ認識を向上させるために追加の顔測定及び／又は改良がおこなわれる。つまり、ＱＲコードを用いてユーザが認証される場合に、現在及び過去のセッションから特定のコードに関連するすべての顔情報が用いられて、そのユーザのための顔認識情報を更新する。

図１５に表される特定の一実施形態では、モニタに示される画像は、映像イメージにスーパーインポーズされたフレーム１５０５を含む。つまりモニタを見るユーザは、モニタにおける自身の人工的な「反射」とスーパーインポーズされたフレーム又はブラケット１５０５とを目にする。そしてユーザは、コードがモニタ上のフレーム内に適合するようにコードを提示してもよい。一実施形態においてコードはカード上の印刷されたバーコードである。他の実施例では、ユーザは、例えばスマートフォンなどのユーザのモバイルデバイスにアプリをダウンロードしてもよい。アプリは、特にユーザ又はユーザのスマートフォンに対応するＱＲコードなどのバーコードを含む。ユーザがフレームを見ると、ユーザはアプリを開いてスマートフォンがフレーム内に収まるようにスマートフォンを提示する。そしてコントローラはフレーム内のコードを特定し、ユーザを特定する。

ユーザが特定されると、ユーザのアカウントが開いて最後の記録が表示されてもよい。例として、一実施形態では、図１５に示されるもののようなサムネイル構成１５１０が表示されることが可能である。代替的に、他の任意の画像制御バーが表示されてもよい。ユーザが特定されない場合、ユーザ登録処理が開示され、数秒後に新規のアカウントが開いて、鏡は自動的に記録を開始するように構成されることができる。例として、ユーザが特定されない場合、ユーザがモバイルデバイスでスキャンしてアプリをダウンロードできるように、ＱＲなどのコードがモニタに表示されてもよい。アプリがダウンロードされ、ユーザが登録処理を終えると、ユーザのデバイスのアプリは、以降の訪問においてフレームに提示されることが可能なコードを包含する。

一実施形態において、システムは、Ｎ秒のビデオクリップを記録及び保存することが可能である。例として１０〜１３秒は、特定の品物がどのように見えるかの十分な印象をユーザが得ることのできる十分な時間であり、ユーザが回って向きを変えることなどを含むことが可能である。ユーザが鏡において現在の品物を検分し続け、コントローラが鏡の再現のための変換を提供し続けるとき、システムはセッション全体のうちのサブセッションのみを記録する。このサブセッションが、例えばクラウド上のデータベースに保存されて、同じユーザの後のセッションに利用されるか、ユーザデバイスへのダウンロードに利用されるか、及び／又はユーザがその他のユーザ又はデバイスに送信するために利用可能であり得る。例として、ユーザはセッションをソーシャルメディア又はその他のアプリケーションにアップロードすることが可能であってよい。

一実施形態において、鏡はユーザを認識するときに自動的に記録を開始するように構成されることができるが、ユーザがそのような自動認識を望まない場合に、鏡は映像をローカルに保存し、ユーザは以前のサムネイルのうちの１つをトリガして、鏡はディスプレイモードに切り替えられて、鏡は映像を再生するように構成されることが可能である。つまり、特定の場面がユーザによって切り取られ、システムに保存されないという処理を実行するように、ユーザは誘導される。

一実施形態において、１つ以上のサムネイル１５１０が鏡に追加され、これはスクリーンが例えば２１：９など幅の狭いものであるか又はその他の任意のワイドスクリーン構成であるときに有用であり得る。一実施形態において、サムネイル１５１０は、鏡ストリームに隣接するか又は再現映像ストリームの下の別のバーにポップアップするように表示されてもよい。この特性は、再現鏡ストリーム用に必要とされるか又はそのための比率であるものよりスクリーンの幅が広いときに有用である。一実施形態において、任意の適切な数のサムネイルが表示され得るものの、６つのサムネイル１５１０がユーザに表示される。サムネイルのサイズは、ディスプレイに対し適切な比率であるように構成され得る。各サムネイル１５１０はユーザの以前のセッションへのハイパーリンクを含み、ハイパーリンクを起動にすることでアクセスされることができる。ハイパーリンクは、手の動作、マウス、リモートコントロール等種々の方法で起動されてもよい。一実施例では、コントローラは画像内のユーザの手を識別する。ユーザが手を上下に動かすと、コントローラはその動きを追跡し、対応するサムネイルを強調表示する。ユーザがこぶしを作るように手を握ると、コントローラはその特定のタイミングに強調表示されたサムネイルに対応するハイパーリンクを起動する。

一実施形態において、例えば図１５において提示されるように、記録インジケータ１５２０が表示されてもよい。記録インジケータは「録画」などの文言、赤色の円などの表示を含み得る。

また、文字情報又はユーザの名前が図１５の１５１５に示されるように表示されることが可能である。一実施形態において、追加のパスワードがユーザに関連付けられ、文字情報１５１５として表示されてもよい。またユーザがこのパスワードを利用した認証を取得して、これを登録処理に使用することが可能である。一実施形態において、従業員又はユーザ自身が、電話番号、電子メール、ＮＦＣ信号又はその他の任意の識別情報を入力して、即座に若しくは後にクラウド上のデータベースへのリンクを取得できる。

一実施形態において、例えば記録開始、映像消去や、明るさ、色の変更、背景選択などの映像効果の追加など、追加の制御機能が加えられてもよい。一実施形態において、すべての映像はクラウドにアップロードされ、予めプログラムされたいくらかの期間の後、ローカルステーションから消去されることが可能である。一実施形態において、ビデオは記録後に、映像を向上させるか、又は拡張現実効果を反映するように若しくはＢＭＩ・仕立て用・ボディライン測定分析のために映像を変更する追加の効果で処理されることが可能である。一実施形態において、映像記録はさらなる分析のために周囲環境の音声記録を含んでもよい。一実施形態において、映像記録はユーザのＭＡＣを記録するために環境のＷＬＡＮ記録を含み、後にさらなる相関によって、モバイルデバイスのＭＡＣをユーザに関連させるように適用させることができる。

本発明は、ユーザが鏡を制御しやすくするためのシステムを含む。一実施形態において、ユーザが予め規定された区域内に存在し、鏡によって一度認識されると、ユーザがそこにいまだ立っており、他の人が認識されない限り、ユーザは鏡を制御して、例えば画像・映像の再生、開始及び停止、画像・映像の消去、拡張現実特性の追加などをおこなうことができる。ユーザはまた、ジェスチャーによる制御を介して、又はスマートフォンなどのデバイスから、専用アプリケーション若しくはリテールアプリケーションの一部としての追加制御機能を介して、鏡を制御することができる。一実施形態において、ジェスチャーによる制御によって一部の基本的な機能がおこなわれ、またジェスチャーによる制御に対してユーザアプリケーションはさらなる機能を実現させることが可能である。一実施形態において、店舗の店員又はクラウドにおいて仮想的・遠隔的に利用可能なアシスタントが鏡の操作においてユーザを補助することが可能である。一実施形態において、ユーザは、アプリケーション又はウェブから、ＵＩ用の自分の初期設定を設定することが可能である。すべてのユーザ専用設定がユーザのアカウントに追加されることができる。例として、ユーザはセッション記録の時間、サムネイルの数などを変更することができる。

初期設定モードでは、ユーザは最後のｎ個の映像を見ることができる。映像は所定の鏡の位置において取得されたものか又は取得されたものではないが、例えばクラウドからなど主要な格納場所にアクセスすることが可能である。ユーザは、ローカルの試着映像のサムネイルの外観を設定可能である。ユーザは、そのアプリケーションからすべてのサムネイルを見て、タッチするか又はその他の任意の選択方法を用いて特定のサムネイルに関連する映像を再生させることが可能である。

一実施形態において、サムネイル１５１０は、例として図１５に提示されるように再現鏡ストリームの上部にポップアップするように構成される。例えば図１６に示されるように、ジェスチャーによる制御の識別をおこなわず、リアルタイムの鏡再現映像が再生されているか、分割モードであるときに、サムネイルは背景に送りこまれることができる。またユーザは、例えば図１６に示されるようにスクリーンを分割モードに設定することができる。具体的に、図１６は、ユーザがスクリーンの一方においてリアルタイムで自身を見て、他方において以前の記録映像を再生することが可能であるという並びの設定を提示する。

一実施形態において、ユーザのリモートコントロールは特定されたユーザの情報を自動的に取得して、店舗の店員が登録のためユーザリンクをユーザのアカウントに送信するか、又は衣服の色変更又は通常の衣服の変更などの追加の機能によりユーザを補助することが可能である。

一実施形態において、ユーザはモバイルデバイスを使用して、リアルタイムで助言をすることができる遠隔の専門家又は友人と鏡においてテレビ電話をすることが可能である。電話は、専用アプリケーション又はスカイプ（登録商標）など他の任意のサードパーティのアプリケーションからおこなわれてもよい。鏡の映像ストリームはローカルのスカイプ（登録商標）に供給され、遠隔のユーザはリアルタイムで鏡ストリームを取得することができる。例として、リアルタイム又は保存された鏡再現映像は例えばＷｉＦｉ接続を用いてユーザのデバイスに送信されることができる。そして、アプリはダウンロード又はストリーム映像をスカイプ（登録商標）などの通信アプリと連結することができる。一方で、アプリは、ユーザが例えば電子メール又はＳＭＳなどを介してリンクを送信することを可能にして、リアルタイムの鏡再現ストリーミング映像へサードパーティのクラウドがアクセスすることができる。

図１７は、使用において提案されるフローの一実施形態を示す。具体的に、図１７は、図１４、図１５及び図１６並びにその関連する記載に示される追加的実施形態の使用におけるユーザフローの一実施形態を表す。ステップ１７０１において、鏡は、待機画像がモニタに表示される待機モードである。待機画像は、スクリーンセーバ、コマーシャル、スライドショー、又は単なるカメラの前の視野の画像であってよく、該視野の鏡の反射を再現するためにコントローラによって変換されてもよい。

ステップ１７０２において、ユーザが鏡に近づき、ユーザの存在が例えばモーションセンサによって又はカメラにおいて検知される画像における変化を検出することによって感知されると、システムは鏡モードにおいて動作を開始する。つまり、コントローラは、モニタに表示される画像が鏡におけるユーザの反射を再現するようにユーザの画像に変換操作をおこなう。ステップ１７０３において、システムは認証手続きを開始してユーザを特定及び認証する。例として、システムは、一実施形態において顔認識を用いてユーザの特定及び認証をおこなうが、一方で他の実施形態ではユーザはＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣなどの機能を有するスマートフォンなどのデバイスを用いて認証されてもよい。例として、一実施形態において、顔認識はユーザを特定するために用いられるが、例えばＱＲコードの使用など第２のステップが用いられてユーザを認証してもよい。ユーザが特定されない場合、例として新規のユーザである場合など、ユーザはアカウントを開くことを促されてもよい。例として、ＱＲコードがモニタ上に表示され、ユーザは該ＱＲコードをモバイルデバイスを用いてスキャンし、そしてユーザのデバイスにアプリをダウンロードしてもよい。また、或いはユーザがアカウントを開くことを拒否する場合、保存画像への遠隔アクセスなど一部の機能はゲストのアクセスでは利用できないが、ユーザはゲストとして進められてもよい。

ステップ１７０４において、ユーザはディスプレイに対してユーザコントロールを得る。一実施形態において、所定の制御初期設定が各特定のユーザに対して保存され、ユーザが識別されると起動される。または、例えば手のジェスチャーで起動するインターフェイスなど、通常のユーザインターフェイスが起動される。一実施形態において、ユーザが識別されるか、又は同じセッションにおいて複数の衣服を試着するとき、以前の試着が主ディスプレイの側部にサムネイルとして表示される。ユーザがサムネイルの側に対応して手を上げると、その手の高さ次第で、対応するサムネイルが選択のため強調表示される。ユーザが手を上げるか又は下げるとき、その手の高さに対応する他のサムネイルが選択のため強調表示される。そして、ユーザがこぶしをつくると、強調表示されたサムネイルが選択され、対応する画像又は映像が主スクリーンに表示される。

ステップ１７０５に示されるように、各セッションの画像及び映像はクラウド上に保存され、例えばスマートフォン、タブレットなどを用いて遠隔からアクセス可能であってもよい。つまり、ユーザは遠隔的に友人と会話をし、ユーザが試着している衣類についての意見を得てもよい。例として、ユーザは記録された試着又はシステムからのライブストリーミング映像のリンクを友人に送信してもよい。つまり、ユーザは買い物の体験を遠くにいる人達と共有してもよい。

さらに、ステップ１７０５にも示されるように、システムはユーザを特定し、例えば体重、身長などユーザのパラメータを算出することもできるので、それらのパラメータに基づいてユーザに推奨され得る入手可能な品物のデータベースにアクセスすることが可能であってもよい。さらに詳細には、ユーザが同じセッション内で２つの異なるシャツの２回の試着を記録する場合、システムは、ユーザがシャツの購入に興味があることを導き出し、種々のシャツなどの代替的な推奨をおこなうか、又は試着しているシャツに合う所定のズボンなど補完的な推奨をおこなう。また、システムはシャツ及びシャツのブランドを特定することができるので、ステップ１７０６に例示されるように製造業者から所定のインセンティブを受けることが可能であり得る。

また、ステップ１７０６において、ユーザには実際に衣服を着替える必要なく色を変更する機能が提供されてもよい。上述されたように、複数のマスク又はレイヤーの使用によって、システムは、ユーザが着用しているような生地の現実的な視覚効果を保持しながら品物の色を変更することが可能である。システムは濃淡のレイヤー、テクスチャのレイヤー、反射のレイヤーなどを保持するので、レンダリングされた画像は色が変更されるのみで前の画像の特徴のすべてを維持するというように他のレイヤーすべてを維持しながら色のレイヤーが変更される。

鏡の前における体験フローを複雑にしないために、補完的アプリケーションにより追加的特徴及び設定が可能になる。例として、ジェスチャーによる制御を容易におこなえる上級のユーザは、触感的なインターフェイスアプリケーションを使用しないで、高度な機能を操作する補助となるさらなるジェスチャーをおこなうことが可能である。手のジェスチャーに不安があるユーザには基本的な自動機能が提供され、モバイルアプリケーションが他の高度な機能を操作するために用いられることができる。

一実施形態において、鏡ステーションは、ユーザの挙動を特定し、ジェスチャーによる制御を、ユーザが操作を試みているような方法に適応させるように構成されることが可能である。例として、サムネイルを操作するために一部のユーザは指を差し、一部のユーザは掴み、一部のユーザは押す。システムはユーザ毎の制御プロファイルを学習及び更新するように適応されることが可能である。

一実施形態において、鏡ステーションはユーザへの指示を補助することができるので、システムが、適正な方法で鏡を制御していないユーザを特定する場合に、短い説明がポップアップ表示されて、ユーザを処理に導くことが可能である。

一実施形態において、鏡は、ユーザのシステムに対する馴染みに関する情報に基づいて、例として、ユーザが初めてのユーザかどうかに基づいて、システムにおけるユーザの映像の数に基づいて、ユーザがシステムに指示を有効にするように最後に要求したときなどに基づいて、予め決定された特性を示し、音声アシストなどの比較的単純な機能を提供し、遠隔の専門家の支援などを提供するように適用されることができる。

一実施形態において、図１５及び図１６において示されるような予め規定された数のサムネイルという概念は、サムネイルのスライドメニューに置換されることが可能である。

記載されるような通常の操作モードでは、例えば、図１５及び図１６において、ユーザはサムネイルを選択するために手を上げたり下げたりして動かしてもよく、ユーザの手が止まると、最も近いサムネイルが選択され、ユーザが選択に対する反応を得られるように指示されることが可能である。例として、選択されたサムネイルの周囲にその選択を示すために青色が提供されてもよい。ユーザがサムネイルを掴む、押す、又はその手・指を指し示すときに、映像はディスプレイモードの設定に基づいて再生を始めることが可能であり、ユーザはまた映像を停止し、その他の操作などをおこなうことができる。ユーザが再生映像を例えば停止すると、停止バーがサムネイル上に表示されて、再生映像の状態を表示し、ユーザの命令が鏡ステーションに受け入れられたことをユーザに承認して返す。

一実施形態において、さらに操作を簡易にするために、ユーザがその手を上下又は他の任意の方向ではなく左右に動かしている場合でも、手のジェスチャーによる制御はサムネイル同士の間のジャンプを検出するように構成されることができる。システムはそれ自体をユーザの手の動きの距離及び速度に適応させるように構成されるので、ユーザは選択を見てその動きの速さと距離を適応させることもできる。

実施形態は、モニタに鏡再現画像を表示するために、モニタ、カメラ、及びプロセッサを動作させる非一過性、非一時的でコンピュータ読み取り可能な媒体において実行され、プロセッサ及びプロセッサによって実行されるプログラムを保存するメモリを有するデバイスにおいて、ユーザを感知し、モニタに鏡再現画像を表示するための鏡再現モードを開始させ、認証処理を開始させ、ユーザにモニタの制御を促すための指示を含むプログラムを含む。

［拡張商品マーチャンダイジング］
鏡システムは、優れたサービスをユーザに提供し、商品を販売促進し、マーチャンダイザに反応を提供することによって、拡張商品マーチャンダイジングを提供するために使用されることができる。鏡はビジネスプロセスを補完及び拡張するように構成されることが可能である。本発明の鏡ステーションは市場において新規のデバイスであるので、収益の流れを創出するための鏡の使用も他に類をみないものである。続くいくつかの実施形態は、ビジネスを拡張するため、そして新規の収益の流れを創出するために能動的鏡がどのように用いられるかについての実施例を示す詳細を含む。

例として、一実施形態において、特定のブランド若しくはパートナーのロゴ又は他の任意のロゴが記録映像に追加され、ユーザが例えばブランドのロゴを伴う映像を取得し、結果としての映像を友人と共有することが可能である。つまり、システムの前における単一のセッションは所定の品物及び／又はブランドを販売促進するように用いられてもよい。例として、ユーザがセッションをソーシャルネットワークのサイトにアップロードする場合、該セッションを多くの人が見て、そのすべての人が重ねられたロゴを目にすることが可能である。

一実施形態において、鏡は、類似する体型の他のユーザが以前に試着した品物から説得力を持つ拡張現実機能を提供するように構成されることができる。このマッチング技術はさらにより満足のいく体験を生み出し、ユーザにとってよりよい推奨がおこなわれる。

鏡では、コマーシャル、クーポン、及びロゴを、鏡の所定の部分内に又は分割スクリーンモードによって、待機モードの鏡に挿入することができる。また鏡は、コマーシャル、クーポン、及びロゴを記録映像に導入し、ユーザがコマーシャル・クーポン・ロゴと共に映像を見ることが可能である。これらのディスプレイは広告として販売されることができる。ユーザは、例えばセッションをソーシャルネットワークのサイトにアップロードすることなどによって、コマーシャル、クーポン、ロゴを共有することができる。またユーザは、コマーシャル、クーポン、ロゴを共有することと引き換えにインセンティブを提示されることが可能である。

ユーザの衣服試着セッションは、ＢＭＩ、性別、出生、年齢、身体計測、顔の表情、声の表現、推奨されるサイズなどの測定及び／又は特性のために分析されることが可能である。このデータは、電子商取引アプリケーションに組込まれることができる。このデータは高価値であり、ブランド、ユーザ、ユーザ及びブランドの同意に基づいてサードパーティなどと共有されることができる。本発明を利用して、例えば記録されたセッションからユーザに的を絞った適切な広告を提示することによって、収益の流れがユーザに関する分析データから創出されることが可能である。

鏡は、ユーザが所定の購入を考えるときに、ユーザが専門家、友人又はアドバイザと繋がることができるサービスとして構成されることができる。遠隔の専門家のアドバイスに関連する販売の機会を促進することによって、本発明を用いてさらなる収益が創出されることが可能である。専門家はユーザによって評価され、ユーザは自分のお気に入りの専門家を選ぶか、又はブランドが指定する専門家を選択することが可能である。

ユーザには、例えば異なる色など、ユーザが試用する特定の品物に対する提案及び／又はインセンティブを含む表示が提示されることが可能である。この方法によりアップセリングを促進するさらなる機会が提示される。拡張現実はアップセリングを促進するために用いられることができる。具体的に、鏡及び他のユーザの試用から取得された情報に基づいて、さらなる説得力のある拡張現実表示がユーザ及び同様の体型を有する類似するユーザについての情報の組合せを基にして生成される。

一実施形態において、ユーザのソーシャルネットワークは、ユーザ及び／又は品物に対するユーザの所感へのコメントを支援するような方法で取り入れられることが可能である。システムはユーザの映像を共有するように構成されることが可能である。ソーシャルネットワーク機能は扱われ得る顧客のデータベースを拡大するために用いられてもよい。

一実施形態において、ユーザは自身の写真をアップロードし、ビデオエンジンが画像を処理して、ＢＭＩ、顔、出生などの同様の分析をおこなうように構成されることが可能である。システムは電子商取引アプリケーション用に推奨されるサイズを提供することが可能である。またシステムは異なる色で購入された品物を提示することができる。この方法では、ユーザが物理的に鏡の前に立っていなくても、鏡は適切なデータベース用にマーケティング情報を取得するように用いられることができる。

一実施形態において、ユーザはアプリケーションにおいてその予測されるサイズを見て測定値を更新することができ、これがサイズ予測モデルを向上させ、特定のブランドにおいて調整をおこなうように用いられ得る。

［物理的設計］
本発明は機器の機械的な設計及び外観を含む。スクリーンは垂直又は水平のいずれかで壁上に位置するように設置されるか、又は垂直と水平とで切替可能であってよい（より大きい又は類似の機械的解決策によって、スクリーンは傾斜、回転などされることも可能である）スクリーンは専用スタンド、壁、又は壁の背後に設置されてもよい。スクリーンが壁の内部にあるとき、スクリーンとコンピューティングデバイスと維持するために熱排気管が設けられる必要がある。

一実施形態において、スクリーンは例えば２１：９の鏡の比率を有してもよい。

一実施形態において、スクリーンは例えば１６：９の通常の比率を有してもよく、ディスプレイの設定は分割スクリーン又は鏡の比率、つまり２１：９をなすために側部に黒いバーを備えてもよい。

一実施形態において、スクリーンは、暗い色に見受けられ得る反射を排除するマット仕上げであってよい。換言すると、ユーザが黒を着用し、スクリーンがマット仕上げではないとき、ユーザは自身の本当の鏡の反射を見得る。この効果は望ましくなく、仮想鏡効果を低減させ、歪ませ、又は完全に損ない得る。

フレームは図１４、図１５及び図１６に表されるような方法で提示されてもよい。最小限のフレームが用いられるか、又はフレームは壁の背後に隠されることも可能である。

一実施形態において、カメラ又は制御カメラはフレーム内に配置されることが可能である。カメラはスクリーンフレームの上部に設置されること、隠されること、及び壁上に設置されることができる。カメラには、画像からフィルタによって除かれ得るシェードが設けられることができる。カメラは下向きであることから、カメラ本体の大部分を隠し得るカバーによって、離れたところからのを視線を遮ることが可能である。

スクリーンは、ＬＥＤ、ＬＣＤ、プラズマ、ガラス、プロジェクタ等であってよい。

背景は、より質の高い映像をもたらす優れたホワイトバランスを得られるように用いられることが可能である。

照明は、白、黄の組合せ又はスポットにおける任意の組合せ又はプロジェクタの組合せを含み、ビデオの質及び色を向上するように構成されることが可能である。

専用のカーペットは、背景の変更を可能にし、ユーザ区域を規定し、鏡の前のユーザ検出及びトラッキングを向上し、ユーザに立つ場所を指示をし、そしてユーザに鏡の操作方法を指示するように用いられることが可能である。

［結論］
上述されたモジュール又はプログラムのそれぞれは、上述されたような機能を実施するための指示一式に対応する。これらのモジュール及びプログラム（即ち、指示一式）は別のソフトウエアプログラム、手順、又はモジュールとして適用される必要はなく、つまり、種々の実施形態において、これらのモジュールの種々のサブセットが組み合わせられるか、そうでなければ再配置されてもよい。一部の実施形態において、メモリは上述されたようなモジュールのサブセット及びデータ構造を保存してもよい。さらに、メモリは上述されていないさらなるモジュール及びデータ構造を保存してもよい。

本開示において描出される態様はまた、所定の割当作業が通信ネットワークを介して連結される遠隔処理デバイスによっておこなわれる分散コンピューティング環境において実施されてもよい。分散コンピューティング環境において、プログラムモジュールはローカル及び遠隔の両方のメモリ格納デバイスに配置されることが可能である。

さらに、本明細書に記載される種々の構成要素は、本課題の技術革新の実施形態を適用するために構成要素及び適切な値の回路素子を含み得る電気回路を含み得ることが理解される必要がある。さらに、種々の構成要素の多くは１つ以上の集積回路（ＩＣ）チップにおいて実行され得るということが理解されることが可能である。例として、一実施形態において、構成要素一式は単一のＩＣチップにおいて実行されることが可能である。他の実施形態において、各構成要素の１つ以上は別のＩＣチップにおいて構成されるか又は実行される。

上述されてきたことは本発明の実施形態の実施例を含む。本発明を記載する目的で、考えられるすべての構成要素又は方法の組合せを記載することは当然のこととして可能ではないが、本課題の技術革新の多くのさらなる組合せ及び変形が可能であることが理解される必要がある。従って、本発明は添付の特許請求の範囲の趣旨及び範囲内に該当するそのようなすべての代替形、変形、及び変化形を含むことが意図される。さらに、本開示の実施形態を描出する上述の記載は、要約書に記載されるものも含み、網羅的であること又は開示の実施形態を開示されたその形態に制限することを意図していない。特定の実施形態及び実施例は本明細書に実例としての目的で記載される一方で、当業者が想到可能であるようなそのような実施形態及び実施例の範囲内にあると考えられる種々の変形が可能である
上述の構成要素、デバイス、回路、システムなどによって実施される種々の機能に特に及び関連して、そのような構成要素を記載するために用いられる用語は、特に提示されない限り、本明細書において記載される本発明の例示的態様における機能を実施する開示の構造と構造的に同等でないとしても、上述の構成要素の特定の機能を実施する任意の構成要素（例えば、機能的に同等）に対応することが意図される。このため、本発明による種々の方法の実行及び／又はイベントをおこなうためのコンピュータによる実行指令を備えたシステム及びコンピュータ読み取り可能な媒体を本発明が含むということも認識される。

前述のシステム・回路・モジュールは、いくつかの構成要素・ブロック同士の間の相互作用に関して記載されている。そのようなシステム・回路及び構成要素・ブロックが、前述の種々の変形及び組合せに従って、それらの構成要素若しくは特定の副構成要素、特定の構成要素若しくは副構成要素の一部、及び／又は追加的構成要素を含み得るということが理解されることが可能である。また、副構成要素は、親構成要素内に包含される（階層的）というよりもその他の構成要素と通信するように連結される構成要素として適用され得る。さらに、１つ以上の構成要素が、集合的機能を提供する単一の構成要素に組み合わせられ得るか、又は複数の別の副構成要素に分割されてもよく、そして管理層などの任意の１つ以上の中間層が、一体的な機能を提供するためにそのような副構成要素と通信するように連結されるように提供され得るということが言及される必要がある。また、本明細書に記載される任意の構成要素は、本明細書には特に記載されていないが、当業者には既知である１つ以上の他の構成要素と相互作用することも可能である。

加えて、本課題の技術革新の特定の特徴は複数の実施形態のうちのただ１つに関して記載されてきたが、そのような特徴は、所望されるように他の実施形態の１つ以上の他の特徴と組み合わせられ、任意の又は特定の適用において有用であり得る。さらに、用語「含む」、「包含する」、「有する」、「含有する」、その変形、及びその他の類似の文言が発明の詳細な説明又は特許請求の範囲のいずれかにおいて使用されるという点で、これらの用語は、いずれの追加的又は他の要素を排除することなく、非制限的移行用語としての用語「含む」と同様の方法において包括的であることが意図される。

本願において用いられるように、用語「構成要素」、「モジュール」、又は「システム」等は、ハードウエア（例えば回路）、ハードウエアとソフトウエアとの組合せ、ソフトウエア、又は１つ以上の特定の機能を備えた操作機器に関連する実体のいずれかであるコンピュータに関連する実体への言及が通常は意図される。例えば、構成要素は、プロセッサ（例えばデジタルシグナルプロセッサ）で実行される処理、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム、及び／又はコンピュータであるが、これに限定されない。一例として、コントローラで実行されるアプリケーション及びコントローラの両方は構成要素であり得る。１つ以上の構成要素は処理及び／又は実行スレッド内に存在してもよく、構成要素は１つのコンピュータに配置されるか及び／又は２つ以上のコンピュータ間で分散されていてもよい。さらに、「デバイス」は、ハードウエアが特定の機能を実施することを可能にするソフトウエアの実行に特化された汎用型ハードウエア、コンピュータ読み取り可能な媒体に保存されたソフトウエア、又はそれらの組合せである、特別に設計されたハードウエアの形態であってもよい。

コンピューティングデバイスはコンピュータ読み取り可能な記憶媒体及び／又は通信媒体を含み得る種々の媒体を通常含む。コンピュータ読み取り可能な記憶媒体は、一般にコンピュータによってアクセスすることが可能である任意の利用可能な記憶媒体であってよく、非一過性、非一時的特性を通常有し、揮発性記及び不揮発性媒体、取り外し可能及び取外し不可能な媒体を含み得る。限定的ではない一例として、コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な指令、プログラムモジュール、構造化データ、又は非構造化データなどの情報の記録のための任意の方法又は技術に関連して適用される。コンピュータ読み取り可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、若しくはその他の記憶技術、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）、若しくはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、若しくはその他の磁気記憶装置、又は、所望の情報を保存するために用いられ得る実体的及び／又は非一過性、非一時的媒体を含むが、これらに限定されない。コンピュータ読み取り可能な記憶媒体は、媒体に保存された情報に関する種々の操作のため、例えばアクセス要求、クエリ又はその他のデータ検索プロトコルなどを介して、１つ以上のローカル又は遠隔のコンピューティングデバイスによってアクセスされることが可能である。

通信媒体は、通常、例えば搬送波又はその他の伝送機構である変調データ信号など一過性、一時的であり得るデータ信号における、コンピュータ読み取り可能な指令、データ構造、プログラムモジュール、又はその他の構造化若しくは非構造化データを表し、任意の情報伝送又は伝達媒体を含む。「変調データ信号」という用語は、１つ以上の特性一式を有するか、又は１つ以上の信号において情報を符号化するような方法で変更された信号を表す。限定的ではない一例として、通信媒体は、有線ネットワーク又は直接的な有線接続などの有線媒体、並びに音響、ＲＦ、赤外線及びその他の無線媒体などの無線媒体を含む。

上述された例示のシステムについて、本発明の記載に従って適用され得る方法は種々の図のフローチャートに関連してより理解される。説明を簡易にするため、該方法は事象一式として描出及び記載される。しかしながら、本開示に従った事象は様々な順序で及び/又は共に、並びに本明細書に提示及び記載されていない他の事象と共におこなわれることが可能である。さらに、記載されるすべての事象が本発明の記載に従った方法を実行するために必要なわけではない。加えて、当業者は、該方法が状態図又はイベントを介して一連の相互に関連する状態として代替的に表されるということを理解及び認識するであろう。その上、本明細書に開示される方法は製品に保存されて、そのような方法をコンピューティングデバイスに伝送又は伝達することを容易にすることが可能であるということが理解される必要がある。本明細書で用いられる製品という用語は、例えばクラウドに連結されたサーバに保存された、任意のコンピュータ読み取り可能なデバイス又は記憶媒体からアクセスすることができるコンピュータプログラムを含むことが意図される。

上述の記載は、説明を目的とするものであり、特定の実施形態に関して記載されている。しかしながら、上述の例証的記載は網羅的であること又は開示されたその形態に制限されることを意図しない。上述の教示から、多くの変形及び変化形がなされることが可能である。
実施形態は態様の原理とその実際的な適用を最適に記載するため、そして当業者がその態様を最適に利用可能であるために選択及び記載され、種々の変形を伴う種々の実施形態は考慮される特定の用途に適する。

Claims (94)

1. モニタ、カメラ、及びプロセッサを備えたシステムを動作させてユーザの像を該モニタに表示するための、コンピュータにより実施される方法であって、
   前記プロセッサと前記プロセッサによって実行されるプログラムを格納するメモリとを備えたデバイスにおいて、前記プログラムは、
   前記カメラによって撮像された画像が前記モニタに表示されるためにバッファに入れられるが保存はされない待機モードで前記システムを動作させ、
   前記カメラの視野にユーザの存在が検出されるときに前記システムを仮想鏡モードに切り替え、
   前記視野から前記ユーザが退出すると前記システムを前記待機モードに戻すための指令を含み、
   前記仮想鏡モードにおいて、前記システムは、
   前記カメラによって撮像された画像を変換して鏡像を生成するステップと、
   前記鏡像を保存するステップと、
   前記鏡像を前記モニタに表示させるステップと、
   前記ユーザが現存するアカウントを有するかどうかを判断し、前記ユーザが現存するアカウントを有する場合に、前記ユーザのアカウントを開いて前記ユーザのアカウントに対応するサムネイルを前記モニタに表示させ、前記ユーザが現存するアカウントを有しない場合に、一時的なアカウントを設定し、前記ユーザが前記モニタの前に存在する限り前記ユーザが前記一時的なアカウントを制御することを可能にするステップと、を含むステップを実行する、方法。
2. 前記システムは、前記ユーザの存在が検出されるときに、前記ユーザの身長を算出することを含むステップをさらにおこなう、請求項１に記載の方法。
3. 前記身長の算出は、
   前記カメラによって撮像された画像のフレームにおける前記ユーザの目を特定して、前記ユーザの頭部を特定するステップと、
   前記ユーザの頭部周囲の長円形を登録するステップと、
   前記長円形頂部の少なくとも１ピクセルを身長キャリブレーションと合致させて、前記ユーザの身長を推定するステップとを含む、請求項２に記載の方法。
4. 前記方法において、前記ユーザの存在が検出されるときに、ユーザ認証手続きを実行するステップがさらにおこなわれる、請求項１に記載の方法。
5. 前記ユーザ認証手続きは、
   前記モニタの背景領域にフレームを表示するステップと、
   前記フレーム内におけるコードの検出を目的として、前記カメラによって撮像された前記画像を連続的に分析するステップと、
   コードが検出されると、前記コードを分析して前記ユーザの認証をするステップとを含む、請求項４に記載の方法。
6. 前記ユーザの存在が検出されるときに、前記ユーザが着用する衣料品を分析して、対応する商品が、前記プロセッサによりアクセスされることが可能であるデータべースに保持されているかどうかを判断するステップと、
   前記対応する商品が前記プロセッサによりアクセスされることが可能であるデータべースに保持されている場合に、前記ユーザが着用する前記衣料品から前記ユーザが選択商品を特定することを可能にし、前記選択商品に対して用意可能な色を前記モニタに表示するステップとをさらに含む、請求項１に記載の方法。
7. 前記ユーザが前記選択商品に対して用意可能な色のうちから特定の色を選択するとき、前記選択商品を前記特定の色でレンダリングするように前記鏡像を改変するステップをさらに含む、請求項６に記載の方法。
8. 前記鏡像を改変するステップは、
   前記商品の推定される幾何学性を特定するステップと、
   前記推定される幾何学性内における複数の代表ピクセルを選択するステップと、
   前記代表ピクセルを分析して、代表色を取得するステップと、
   前記代表色を用いて、前記商品に属するすべてのピクセルを取得するステップと、
   前記商品に属する各ピクセルに前記特定の色を適用するステップとを含む、請求項７に記載の方法。
9. 前記代表ピクセルを分析することは、前記代表ピクセルのそれぞれのＲＧＢ値をＸＹＺ色フィールドに変換するステップを含む、請求項８に記載の方法。
10. 前記代表ピクセルのそれぞれの、平均色からの距離を測定するステップと、前記距離がしきい値を超える場合にそのピクセルを前記代表色の決定から除くステップとをさらに含む、請求項９に記載の方法。
11. 前記鏡像のグレースケール画像を生成するステップと、
    前記グレースケール画像を、前記商品に属する各ピクセルに前記特定の色を適用するときに用いて、改変された前記鏡像においてテクスチャを生成するステップとをさらに含む、請求項８に記載の方法。
12. 前記選択商品を特定することは、前記ユーザが前記ユーザの身体上の実際の前記商品を手で触ること、前記ユーザが前記商品の名前をメニューから選択すること、前記ユーザが前記商品の名前を発言し、前記システムが前記ユーザの発言を音声認識システムによって認識すること、及び前記鏡像に規則を適用して、前記鏡像内の前記商品に適合する事前規定された要素を選択するように構成される事前選択及び自動識別システムを利用すること、からなる群より少なくとも１つを含む、請求項６に記載の方法。
13. 前記鏡像を改変するステップは、前記鏡像にマスクを適用し、前記選択商品において、生地、テクスチャ、反射、吸収、明るさ、又は色調を再現することをさらに含む、請求項７に記載の方法。
14. 前記鏡像を改変するステップは、前記鏡像に濃淡を導入するマクロテクスチャマスクと、前記鏡像に生地のテクスチャを導入するミクロテクスチャマスクとから選択される少なくとも１つのマスクを適用することをさらに含む、請求項７に記載の方法。
15. 前記少なくとも１つのマスクを適用することは、前記鏡像のフレームのすべてのピクセルからベクトルを生成するステップと、前記マスクを前記ベクトルに適用するステップとを含む、請求項１４に記載の方法。
16. 前記画像を変換することは、各フレームに対して、
    前記画像を垂直軸について反転して前記画像の右側と左側とを入れ替えるステップと、
    前記画像に変換マッピングを適用して、鏡の反射を再現して見えるように前記画像を改変するステップと、
    前記画像のサイズを変更して、前記カメラに対する前記ユーザの距離の変化により起こる変動を低減するステップとを含む、請求項１に記載の方法。
17. 前記カメラからの前記画像の各フレームを分析して、前記ユーザの両目の中間を通過する垂直線に沿って前記ユーザの顔が対称に見える対称フレームを検出するステップをさらに含む、請求項１に記載の方法。
18. 前記対称フレームの前記画像から前記ユーザの腕及び手を除外して、前記ユーザの胴体のみの画像を取得するステップをさらに含む、請求項１７に記載の方法。
19. 前記胴体のみの画像をデータベースに保存された体型と相関させて、前記ユーザの身体の計測値を推定するステップをさらに含む、請求項１８に記載の方法。
20. 前記計測値を推定するステップはボディマスの推定を含む、請求項１８に記載の方法。
21. プロセッサによって実行されるプログラムを格納する非一過性、非一時的でコンピュータ読み取り可能な媒体であって、前記プログラムはデジタル画像における対象を分離するための指令を含み、前記対象の分離は、
    デジタル画像を取得するステップと、
    前記デジタル画像内の対象の選択を受信するステップと、
    前記対象内に存在すると推定される複数の代表ピクセルを選択するステップと、
    前記複数の代表ピクセルから代表色を算出するステップと、
    前記デジタル画像のピクセルを選択し、各前記ピクセルについて前記代表色に対するユークリッド距離を算出し、前記ユークリッド距離が設定しきい値内にある場合に前記ピクセルを前記対象に属すると特定するステップと、を含むステップをおこなうことによってなされる、非一過性、非一時的でコンピュータ読み取り可能な媒体。
22. 前記デジタル画像のピクセルを選択することは、前記デジタル画像を形成するすべての前記ピクセルからベクトルを生成するステップを含む、請求項２１に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
23. 前記代表色を算出するステップは、選択された各前記ピクセルのＲＧＢ値を
    ＸＹＺ色空間に変換するステップを含む、請求項２１に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
24. 前記代表色を算出するステップは、選択された各前記ピクセルについて、
    距離=√（（Ｘ−ｘｉ（ｋ））^２＋（Ｙ−ｙｉ（ｋ））^２＋（Ｚ−ｚｉ（ｋ））^２）
    を算出することをさらに含み、
    Ｘ、Ｙ、及びＺは選択された前記ピクセルの平均ＸＹＺ値であり、ｘｉ、ｙｉ、及びｚｉはｉ個目の選択ピクセルのＸＹＺ値であり、ｋは選択された前記ピクセルの総数であり、
    前記ｉ個目の選択ピクセルの算出距離が設定しきい値より大きい場合に、該ピクセルは前記代表色の算出から除外される、請求項２３に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
25. 前記対象の幾何学的推定を取得するステップと、前記幾何学的推定の外部に該当するすべてのピクセルを前記ユークリッド距離の算出から除外するステップとをさらに含む、請求項２１に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
26. ＩＲ画像を取得するステップと、前記ＩＲ画像を前記デジタル画像と位置合わせして、前記対象が占める前記デジタル画像の領域を取得するステップと、前記領域の外部に該当するすべてのピクセルを前記ユークリッド距離の算出から除外するステップとをさらに含む、請求項２１に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
27. 前記対象の画像テクスチャと、前記対象の前記画像テクスチャのすべてのピクセルを前記ユークリッド距離の算出から除外するステップとをさらに含む、請求項２１に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
28. 前記対象の境界を測定するステップと、前記境界の外部に該当するすべてのピクセルを前記対象に属さないようにラベル付けするステップとをさらに含む、請求項２１に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
29. 前記対象の境界を測定するステップと、算出された前記ユークリッド距離が前記設定しきい値外である各前記ピクセルについて前記ピクセルが前記境界内にあるかどうかを決定するステップと、前記ピクセルが前記境界内にある場合に前記ピクセルを前記対象に属するように再ラベル付けするステップとをさらに含む、請求項２１に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
30. 複数のマスクを生成するステップをさらに含み、前記マスクのそれぞれは前記対象を特徴づける画像の一特性に対応する、請求項２１に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
31. 前記マスクは、グレースケール、ＲＧＢ、ＸＹＺ、白黒、色相、彩度、吸収、及び明るさから選択される、請求項３０に記載の非一過性、非一時的でコンピュータ読み取り可能な媒体。
32. デジタル画像内の対象において色変更をおこなうようにプログラムされ、プロセッサによって実行されるプログラムを格納するメモリを含むコンピュータシステムであって、前記プログラムは、
    色変更される前記デジタル画像における選択対象を受信し、
    前記選択対象に属するピクセル集合を取得するために要素選択をおこない、
    前記ピクセル集合の異なる特性値をそれぞれが保持する複数のマスクを生成し、
    新規の色を選択し、
    前記新規の色に前記マスクを適用して、前記対象の新規の画像を生成し、
    前記新規の画像を表示するための指令を含む、コンピュータシステム。
33. 前記複数のマスクは、前記対象に属するピクセルのグレースケール値を保持するグレースケールマスクと、前記対象に属するピクセルのＲＧＢ色値を保持するＲＧＢマスクと、前記対象に属するピクセルのＸＹＺ値を保持するＸＹＺマスクと、前記対象に属するピクセルの反射値を保持する光反射マスクとを含む、請求項３２に記載のコンピュータシステム。
34. 前記複数のマスクは、前記対象に属するピクセルの彩度値を保持する彩度マスクをさらに含む、請求項３３に記載のコンピュータシステム。
35. 前記複数のマスクの生成に先立って、前記画像をキャリブレーションし、前記画像において歪み変換をおこなうための指令をさらに含む、請求項３２に記載のコンピュータシステム。
36. 前記プログラムは、ユーザによる前記要素選択のための指令を含む、請求項３２に記載のコンピュータシステム。
37. 前記プログラムは、生地、色、テクスチャ、反射、吸収、明るさ、及び色調のうちの少なくとも１つを改変することによって、前記要素の外観を変更するための指令を含む、請求項３２に記載のコンピュータシステム。
38. 前記プログラムは、背景の変更、ユーザの仮想的な着用、前記画像における品物の色の変更、及びアクセサリの追加のうちの少なくとも１つを含む拡張現実のレンダリングをモニタ上においておこなうための指令を含む、請求項３２に記載のコンピュータシステム。
39. 前記プログラムは、赤外線画像を使用してユーザの定位ボディラインを取得するための指令を含む、請求項３２に記載のコンピュータシステム。
40. 前記プログラムは、ユーザの画像における位置合わせ点を設定するための指令を含む、請求項３２に記載のコンピュータシステム。
41. 前記プログラムは、保存された対象をデータベースから取得し、前記保存された対象の画像を前記位置合わせ点に従って引き伸ばすか又は収縮することによって前記ユーザの画像において前記対象を適合させるための指令を含む、請求項４０に記載のコンピュータシステム。
42. 前記プログラムは、前記画像を改変して、前記ユーザの視点から取得される像に対応する鏡化された像をレンダリングし、鏡像を再現するための指令を含む、請求項４０に記載のコンピュータシステム。
43. 前記プログラムは、エッジ検出処理のための指令を含む、請求項４０に記載のコンピュータシステム。
44. 前記プログラムは、身体又は身体部位の測定シグネチャーを生成するための指令を含む、請求項４０に記載のコンピュータシステム。
45. 前記プログラムは、前記デジタル画像を取得するために使用されるカメラの投影的変換及び前記カメラに対するユーザの距離に基づく前記画像のキャリブレーションのための指令を含み、この指令により身長が補正されるため、前記カメラからの距離において広範囲にわたる前記画像においてユーザは同じ大きさ及び方向に維持される、請求項４０に記載のコンピュータシステム。
46. 前記プログラムは、色分離、深度情報、勾配検出のうちの１つ以上のエッジ強調技術によるエッジ検出のための指令を含む、請求項４０に記載のコンピュータシステム。
47. 前記プログラムは、ユーザ同士の間で単一又は複数の属性のスコアリング比較を可能にする重み付けを備えたデータベクトルとして分析データを保存するのための指令を含む、請求項４０に記載のコンピュータシステム。
48. カメラ、モニタ、及びプロセッサを備えた鏡ディスプレイシステムを動作させるための方法であって、
    前記鏡ディスプレイシステムを、前記モニタ上に待機画像が表示され、前記プロセッサが前記カメラの前にユーザが現れることを待つ待機モードで動作させるステップと、
    前記カメラの前においてユーザの存在が特定されると、前記鏡ディスプレイの動作を鏡モードに切り替え、前記カメラは連続的に前記ユーザを映し、撮像された画像を前記プロセッサに送信し、前記プロセッサは撮像された前記画像を垂直軸について反転して撮像された前記画像の右側と左側とを入れ替え、撮像された前記画像に変換マッピングを適用して鏡の反射を再現して見せる改変画像を生成するステップと、
    前記改変画像を前記モニタに表示するステップと、を含む方法。
49. 前記待機モード時に、前記カメラは背景画像を前記プロセッサに連続的に送信し、前記プロセッサは前記背景画像における変化を検出して前記ユーザの存在を特定する、請求項４８に記載の方法。
50. 前記ユーザの存在が検出されるとき、前記プロセッサは撮像された前記画像に顔認識処理をおこない、データベースに問い合わせて、前記ユーザに対応するアカウントが前記データベース上に存在するかどうかを判断する、請求項４８に記載の方法。
51. 前記ユーザの存在が検出されると、前記プロセッサは撮像された前記画像を検索して前記画像内のコードを識別する、請求項４８に記載の方法。
52. 前記コードはスマートフォンに表示される画像コードを含む、請求項５１に記載の方法。
53. 前記コードはカードに表示された画像コードを含む、請求項５１に記載の方法。
54. 前記画像内においてコードが識別されると、前記プロセッサはデータベースに問い合わせて前記ユーザを特定し、特定された前記ユーザの以前の画像が前記データベースに保存されているかどうかを判断し、そして、前記プロセッサが、特定された前記ユーザの以前の画像が前記データベースに保存されていることを判断すると、前記改変画像の表示に加え、保存された画像のサムネイルを前記モニタに表示する、請求項５１に記載の方法。
55. 前記ユーザの存在が検出されると、前記モニタの前記改変画像内にフレームが表示され、前記プロセッサは前記フレーム内のコードを識別するために撮像された前記画像を検索する、請求項４８に記載の方法。
56. 前記モニタにおいてコードをスーパーインポーズすることをさらに含み、前記コードはハイパーリンクに対応する、請求項５５に記載の方法。
57. モニタ、カメラ、及びプロセッサを備えたシステムを動作させて該モニタに鏡再現画像を表示するための、コンピュータにより実施される方法であって、
    前記プロセッサ、及び前記プロセッサにより実行されるプログラムを格納するメモリを備えたデバイスにおいて、
    ユーザを感知し、
    前記モニタに前記鏡再現画像を表示するための鏡再現モードを開始し、
    認証処理を開始し、
    前記ユーザを誘導して前記モニタを制御するための指令を含む前記プログラムを包含する、方法。
58. 前記ユーザが前記システムの視野における特定の区域に入ると前記ユーザが感知される、請求項５７に記載の方法。
59. 前記プログラムは、前記ユーザを誘導して、前記ユーザが前記システムの動作のために所望される位置に配置されるまで前記ユーザの位置を変更させるための指令をさらに含む、請求項５７に記載の方法。
60. 前記システムは、生体認識、顔認識、音声制御、指のジェスチャー、手のジェスチャー、腕のジェスチャー、脚部のジェスチャー、足のジェスチャー、入力デバイスを介した入力、感知デバイスとの物理的接触、前記モニタに表示された仮想的領域との仮想的接触、ユーザによる識別カードの提示、及びモバイルデバイスを介した入力よりなる群からの１つによって制御されるように構成される、請求項５７に記載の方法。
61. 事前に認証及び登録されたユーザを認証すると、前記ユーザの最近の記録が前記モニタに表示される、請求項５７に記載の方法。
62. 事前に未認証及び未登録のユーザを認証すると、前記ユーザは新規のユーザ認証及び登録シークエンスを提示される、請求項５７に記載の方法。
63. 前記モニタは、前記鏡再現画像、記録インジケータ、追加的識別のためのＱＲブラケット、少なくとも１つのサムネイル画像、固有のアカウント名、一方側にライブ画像及び他方側に記録画像を表示する分割スクリーンモード、テレビ電話の表示領域、及びソーシャルメディア連携オプション、よりなる群から少なくとも１つ以上を表示するように構成される、請求項５７に記載の方法。
64. 前記ユーザは約１０秒〜１３秒間記録される、請求項５７に記載の方法。
65. 基本制御機能にジェスチャーによる制御が用いられ、高度制御機能にモバイルデバイスにおけるユーザアプリケーションが用いられる、請求項５７に記載の方法。
66. 前記システムは、前記ユーザに固有のジェスチャーによる制御方法を学習し、前記ユーザ用のプロファイルを更新するように構成される、請求項５７に記載の方法。
67. 前記システムは、前記ユーザが初めてのユーザかどうか、前記システムに保存された前記ユーザ用の画像の数、及び前記ユーザが前記システムの操作を最後に試みたとき、からなる群のうちの少なくとも１つ以上に基づいた、前記ユーザの前記システムに対する馴染みの評価に基づいて動作するように構成される、請求項５７に記載の方法。
68. 前記システムは、前記ユーザのジェスチャーに応答して、ポインティング行動としてモニタにおける物体の仮想的表示に対して前記ユーザの身体部位が仮想的に近接することを認識するように構成される、請求項５７に記載の方法。
69. 前記システムは、前記ユーザのジェスチャーに応答して、ポインティング及びクリックであるマウス操作と機能的に同等であるように前記ユーザの１つ以上のジェスチャーを認識するように構成される、請求項５７に記載の方法。
70. 前記方法は、
    前記カメラからデジタル画像を取得するステップと、
    前記画像を垂直軸について反転して前記画像の右側と左側とを入れ替えるステップと、
    前記画像に変換マッピングを適用して鏡の反射を再現して見せるように前記画像を改変するステップと、
    前記画像のサイズを変更して、前記カメラに対する対象の距離の変化によって起こる変動を低減するステップと、
    前記反転、前記変換マッピング、及び前記サイズの変更をおこなった後に、前記画像を前記モニタに表示するステップと、をさらに含む、請求項５７に記載の方法。
71. モニタ、カメラ、及びプロセッサを動作させて該モニタに鏡再現画像を表示するためのコンピュータ化されたシステムであって、前記プロセッサ、及び前記プロセッサにより実行されるプログラムを格納するメモリを備えたデバイスにおいて、
    ユーザの存在を検知しながら、前記モニタを待機モードで動作させ、
    前記ユーザの存在が検出されると、
    前記カメラから画像を取得することによって鏡再現モードを開始し、前記プロセッサによって前記画像を操作して、前記鏡再現画像を生成するステップと、
    前記鏡再現画像を前記モニタに表示するステップと、
    前記ユーザを認証するために認証処理を開始するステップとを、自動的に及び前記ユーザの誘導なくおこなう、ための指令を含む前記プログラムを包含する、システム。
72. 前記認証処理を開始するステップは、前記ユーザのモバイルデバイスにコードを表示させるように前記ユーザを誘導することを含む、請求項７１に記載のシステム。
73. 前記コードを表示させるように前記ユーザを誘導することは、前記ユーザが前記モバイルデバイスを提示するための領域を示す、前記モニタにおけるフレームを表示させることを含む、請求項７２に記載のシステム。
74. モニタ、カメラ、及びプロセッサを動作させて該モニタに鏡再現画像を表示するための非一過性、非一時的でコンピュータ読み取り可能な媒体であって、前記プロセッサ、及び前記プロセッサにより実行されるプログラムを格納するメモリを備えたデバイスにおいて、
    ユーザを感知し、
    前記モニタに前記鏡再現画像を表示するための鏡再現モードを開始し、
    認証処理を開始し、
    前記ユーザを誘導して前記モニタを制御するための指令を含む前記プログラムを包含する、非一過性、非一時的でコンピュータ読み取り可能な媒体。
75. カメラ、モニタ、及びプロセッサを備えた鏡ディスプレイシステムを動作させるための方法であって、
    前記鏡ディスプレイシステムを待機モードで動作させ、前記モニタ上に待機画像が表示されるステップと、
    前記プロセッサを動作させて前記カメラの前のユーザの存在を検出するステップと、
    前記カメラの前の前記ユーザの存在が特定されると、前記カメラの実際の視点と異なる視点から取得されたように見える改変画像を生成するために、前記プロセッサを動作させて前記カメラによって撮像された画像に適応型変換マッピングを適用することによって、前記鏡ディスプレイシステムを鏡トラッキングモードで動作させるステップと、
    前記改変画像を前記モニタに表示させるステップとを含む、方法。
76. 前記異なる視点は、前記カメラによって撮像された実際の前記画像と異なる角度及び異なる距離から取得された画像に対応する、請求項７５に記載の方法。
77. 前記変換マッピングは、垂直軸について左右反転、投影変換、回転、サイズ変更、２次元オフセット、光学歪み補正、及び部分的又は全取得画像における多項式マッピングである変換のうちの少なくとも２つの組合せを含む、請求項７５に記載の方法。
78. 前記待機モード時に、前記カメラは撮像された画像を前記プロセッサに連続的に送信し、前記ユーザの存在は、前記画像における身体部位を検出する前記プロセッサによって特定される、請求項７５に記載の方法。
79. 前記身体部位は脚部、顔、目、及び手のうちの１つを含む、請求項７８に記載の方法。
80. 前記鏡トラッキングモード時に、前記プロセッサは、前記カメラによって撮像された前記画像の角度を推定し、前記カメラによって撮像された前記画像の撮像視野を変更する変換マッピングのためのパラメータ入力を適用する、請求項７５に記載の方法。
81. ユーザ入力を受信するステップと、前記プロセッサを動作させて、前記ユーザ入力に従って前記改変画像の画像の大きさ又は視野を変化させるステップとをさらに含む、請求項７５に記載の方法。
82. 前記プロセッサは前記画像の大きさ又は視野のマッピングを変化させて、前記改変画像における前記ユーザの部分的身体又は全身を表示させる、請求項８１に記載の方法。
83. 前記プロセッサを動作させて、前記画像に現れるユーザの身体的特徴と対応する身体的特徴を有するアバターを生成するステップをさらに含む、請求項７５に記載の方法。
84. 前記プロセッサを動作させて、前記改変画像と前記アバターの像とを前記モニタに表示させるステップをさらに含む、請求項８３に記載の方法。
85. 前記プロセッサを動作させて、前記アバターに仮想的物品を重ね合わせることによって前記改変画像を拡張するステップをさらに含む、請求項８３に記載の方法。
86. 前記プロセッサを動作させて、前記変換画像内に現れるユーザの像に仮想的物品を重ね合わせることによって前記改変画像を拡張するステップをさらに含む、請求項７５に記載の方法。
87. 前記プロセッサを動作させて、前記変換画像をネットワークを介して伝送するステップをさらに含む、請求項７５に記載の方法。
88. 前記変換画像を映像テレプレゼンスのために遠隔のスクリーンに表示させるステップをさらに含む、請求項７５に記載の方法。
89. 前記プロセッサに深度センサからのデータを提供するステップと、前記プロセッサを動作させて、前記データから前記画像のテクスチャを測定するステップとをさらに含む、請求項７５に記載の方法。
90. 前記プロセッサを動作させて、前記深度センサからの前記データを用いてアバターを生成するステップをさらに含む、請求項８９に記載の方法。
91. 前記プロセッサは、前記カメラの前記画像の位置合わせポインタを分析することによって前記アバターを生成する、請求項８９に記載の方法。
92. 前記プロセッサは、前記カメラからの前記画像に処理をして背景セグメンテーションを生成し、前記画像上のセグメントを置換セグメントによって置換する、請求項７５に記載の方法。
93. 前記置換セグメントは、仮想的背景、又は異なる設定において撮像された背景を含む、請求項９２に記載の方法。
94. 前記プロセッサは遠隔地に配置され、前記方法は、前記画像を前記カメラからネットワークを介して前記プロセッサに伝送し、前記改変画像を前記プロセッサから前記ネットワークを介して前記モニタに伝送し戻すことによっておこなわれる、請求項７５に記載の方法。