JP2015531907A - 現実的かつ拡張デジタルオブジェクトの表示と相互作用体験を提供するためのユーザ制御３ｄシミュレーション - Google Patents

Abstract

【課題】方法、技術及びユーザ制御リアルな３Ｄシミュレーションとの相互作用のシステムが現実的と強化されたデジタルオブジェクトの表示と相互作用体験を提供するための開示されている改善された３次元（３Ｄ）可視化効果。【解決手段】解決策は、実オブジェクトのような類似の特性を実施する利用可能な３次元モデルを作成するために設けられている、突き出す的な相互作用から選択されたユーザ制御の現実的な相互作用を行う場合、侵入的な相互作用、期限付きの変更ベースの対話と実環境マッピングベースの対話は、ユーザの選択に従って可能です。【選択図】図１

Description

本発明は仮想現実の分野に関し、特にユーザ制御現実的な３Ｄシミュレーションと相互作用技術、を提供するための現実的と強化されたデジタルオブジェクトと相互作用経験と改善された３次元（３Ｄ）可視化効果。

ユーザ制御現実的な３Ｄシミュレーションとの相互作用技術のアプリケーションが、オンラインショッピングの分野で強化されたデジタルオブジェクトの表示と相互作用の経験を提供し、コラボレーションとオブジェクトデモンストレーション、ｅラーニング、メディア、エンターテインメント、コンテンツ産業、コンピューティング、機械的および通信業界を含まれている。

３次元（３Ｄ）ビューイングの使用が増加する傾向がある様々な産業などのエンターテイメント、機械工学デザインビュー、オンラインショッピングサイト、とオフライン商品広告パネル。多くのウェブベースのショッピング市場がありますが、ウェブサイトや店舗の前線画像を表示したり、オブジェクトや製品のいくつかの場合で短いビデオ。

イメージは静的ですが、ケースのみ拡大またはズームで鮮明な画像を取得することができます。他のいくつかのケースで製品のビデオがキャプチャされる。これはロードを行い、最終的な表示が遅く、さらにユーザーがほとんどが捕獲されているどちらかストリーミングまたは２次元投影中にまたは部分的に３次元でのメディアプレイヤーを通じて何でも見ることを得る。

表示されたイメージと書かれた情報が目的のオブジェクトについての限られた情報を提供します。限られた情報は、ここで、書かれていると表示されたオブジェクトに関連する情報を意味します、そのエンドユーザーに表示可能です。これは、情報転送の受動的な方法です。

従来のシステムでは、ウェブベースのポータルやサイト、とオンラインショッピングポータル、顧客に比べて物理的に大幅に店を訪れるように、ユーザーは、製品と対話することはできません、例えば、機能性をチェックする、すべての可能な角度で製品を閲覧する、商品についての必要の問合せを尋ねる、本物のシナリオのように、その製品の内部または外部を見て相互作用。これは、情報転送の活性的な方法です。

ＵＳ７６８０６９４Ｂ２、ＵＳ８０６９０９５Ｂ２、ＵＳ８３２６７０４Ｂ２、ＵＳ２０１３００６６７５１Ａ１、ＵＳ２０１２００３６０４０Ａ１、ＵＳ２０１００１８５５１４Ａ１、ＵＳ２００７０１７９８６７Ａ１ ａｎｄ ＵＳ２００２０００２５１１Ａ１３Ｄはビューのためにソリューションについて議論する、と何らかの形の オンラインショッピングの関連の相互作用、ショッピングの場所、と店。ウェブブラウザを介して３Ｄインタラクティブシミュレーションビューをストリーミングすることにより、ユーザのコンピュータで仮想商店の場所を表示することに限定されている。しかし、これが可能なユーザ制御シミュレーションとの相互作用が制限されているか、相互作用をプリセットまたは所定のために限定されるものではないの本当の意味での実際のオブジェクトのプロパティを持つ３Ｄモデルを生成するために提供していません。従来のシステム、方法及び技術は、実際のオブジェクトのプロパティを保有する３次元モデルを生成する際に欠ける、といった、 外観は、形状、 寸法、 質感、内部部品のフィッティング、 ミラー効果、タッチオブジェクトの表面特性、滑らかさ、ライトの性質とその他の自然、特性、と実際のオブジェクトの状態、そのような全ての面で３６０度回転の表示など、ユーザ制御の現実的な相互作用を行うとき、非限定的な侵入相互作用、特性、状態と前記物体の性質に従って期限付きの変更に基づく相互作用と、実環境マッピングに基づく相互作用が欠けている。

米国特許第７，６８０，６９４Ｂ２、ＵＳ８３２６７０４Ｂ２、ＷＯ０１／１１５１１Ａｌ、コンシェルジュについて議論し、またはアニメーション図形やアバターや営業アシスタント、お客様に製品やグラフィックスについての情報を提供できる、顧客の購買行動を思い出し、製品の選択、提供のヒントやプロモーションを提供しています。これらのタイプの相互作用は、所定のセットのオファー、製品についての情報に限定されている。入力クエリは、構造化され、見つけると回答を検索するためのデータベースと一般的に一致する。しかしながら、リアルタイムと述べ、アニメーションの図と実際の人間のユーザーの間でインテリジェントな人間のような相互作用をギャップが存在する。顔の表情、手の動きと精密、アニメの図からの応答を受信するための主要な基準、または人間のようで、実際の人間のユーザーのクエリごととしてコンシェルジュは言及がありません。能動通信のために、英語などの言語の理解などの自然なインターフェースが必要です。

このような技術は、仮想アシスタントまたはインテリジェントシステムによってテキストチャット中に言語の意味を解読するそして、ユーザの問合せを提供する特定の応答は、依然として高価な努力と、解決すべき問題がある。

日本特許出願番号２０００１２９０４３（公開番号２００１３１２６３３）システムについて議論します。単にテクスチャ情報、とタッチセンス情報は記事の形で、それに加えて静止画情報、や写真画像、説明文、ビデオ、と読み取る必要がユーザーのみ３Ｄ情報を示している。これとほかの特許ＵＳ６０７０１４９Ａ、Ｗ００１６９３６４Ａ３、ＷＯ０２／４８９６７Ａ１、ＵＳ５７３７５３３Ａ、ＵＳ７７２０２７６Ｂ１、ＵＳ７３５３１８８Ｂ２、ＵＳ６９１２２９３Ｂ１、ＵＳ２００９０３１５９１６Ａ１、ＵＳ２００５０２５３８４０Ａ１ ３Ｄ表示やシミュレーション、と仮想またはオンラインショッピングの経験について説明します。しかしながら、一つまたは複数の下記の以下の点や技術は欠ける。さらに、デジタルオブジェクトの表示と相互作用経験を提供するための３Ｄシミュレーションのほとんどの既存の技術、上記に加えて、以下の一つまたは複数も欠いている。

１．既存のシミュレートされた３Ｄ−モデルが中空モデルである、中空モデルの意味は、このようなモデルで、侵入的な相互作用することができません。そのようなリアルタイムで物体のシミュレートされた３Ｄモデルの部品の分解図を参照するように、または、物体の３Ｄモデルの一部を一つずつ開き、人物として本当のシナリオで行われた可能性があります。例えば、従来の仮想現実のセットアップで、ユーザーは、冷蔵庫の仮想３Ｄ−モデルから冷蔵庫のコンプレッサーを開くことができません、または、電池などのシミュレートされた３Ｄモデルの部分と相互作用する、相互作用と現実的な視聴のためにモバイルの３Ｄモデルの他の部分を取り除いて、車のタイヤを回転する、運動とパワーステアリングを判断するためにハンドルを移動する、または、リアルタイムでモバイルの内部部分と構築を検査する。

いくつかの従来において、限られた選択肢が設けられている、クリックでそれらのオブジェクトの内部部分は写真またはパノラマビューに表示されます。しかし、提供されるオプションを越えて内部の部品のさらなる分析を行うことはできません。

別の例では、油または他の液体で満たされたボトルの３Ｄビュー、従来のシステムで３Ｄ−シミュレートビューだけの表示することができますが、ユーザは、ボトルのコルクを開くか実際のシナリオで可能である自分の欲望に従って対話的にボトルから液体を注ぐことができません。言い換えれば、ユーザ制御の相互作用は、ユーザの選択に従って実行不可能です。

２．それらは現実的な噴出相互作用を許可しない、 そのような異なる平面で３６０度内のオブジェクトの３Ｄモデルを回転させることとして、 すべての投影角度からの相互作用の能力を持っています。
主に、一つの面で３６０度だけの回転は、既存の技術では許可されています。さらに、現在の３Ｄシミュレーション技術は、現実的な３Ｄシミュレーション効果や３Ｄ視覚効果を与えること欠けている、物体の３Ｄモデルの発光部品の照明効果、電子ディスプレイ機能を理解するための電子表示部を有する３次元モデルと相互作用する、サウンドエフェクト、とオブジェクトのようなことを実際のオブジェクトの錯覚を作成すると、仮想ビューでは非常に正確でありません。

３．運転圧力、味の感覚を判定とタッチの感覚の実際のセットアップの独創性と近さに欠けている。例えば、ユーザが冷蔵庫を開く時ハンドルを保持し、冷蔵庫のドアを開くために圧力を適用する。対象と技術の既存仮想 ３Ｄ−シミュレートモデルはハンドルの滑らかさや柔らかさを判断することはできません、と使用圧力または、冷蔵庫のドアを開くための必要な力を判断することはできません。

４．オブジェクトに対して観察された期限付きの変更を監視または可視化することができません。ユーザーは、所望の期間の後、製品とオブジェクト動作をチェックすることはできません。例えば、鉄の加熱をチェックする、または冷蔵庫の冷却、客室内にエアコンによって生成された 冷却、さらに、実際のセットアップで実際の冷蔵庫の扉を開いたときに、本物の音の模したオブジェクトのシミュレートされた３Ｄモデルから、冷蔵庫のドアが開かれたときにユーザが音を聞くことができない。さらに、時間間隔の後の音の変化が聞こえない、または製品の性能を体験するために監視、あるいは他の製品と比較する。

５．さらに、実際のシナリオでは、ユーザーがラップトップに切り替えることができます、コンピュータ、パッド、携帯電話または、コンピューティング装置と起動時間、オペレーティングシステムのローディングの速度、と音楽を再生などを確認する。このような相互作用は、様々な仮想３Ｄ−モデルとユーザーの選択のためのリアルタイムに欠けているが、ラップトップのようなオブジェクトの外側だけの外観を観察するに限定されています。

６．リアル環境マッピングに基づく相互作用がユーザの環境の相互作用です。それはユーザの近傍内の場所又は位置で、カメラを介して取り込まれ、リアルタイムでマッピングとシミュレートされるような、現実的な３Ｄモデルや仮想物体を表示されています。このようなリアルタイム相互作用はミラー効果を含んで現在の技術に欠けている。

７．既存の技術は３Ｄモデルのロード中に、３Ｄモデルのテクスチャリングパターンの動的なカスタマイゼーションを許可していません。

このようなリアルタイムの相互作用が強化され、現在の仮想現実関連技術に欠けている。上記の制約で現在利用可能な技術は人間のユーザが相互作用できるような 仮想的な物事のように世界で相互作用するのは非常に困難です。したがって、デジタルオブジェクトの表示と相互作用の経験を強化する技術が必要とされている、そして真の意味でのリアルと仮想世界の間のギャップを埋める。

発明の目的は、強化されたオブジェクトの表示用にユーザ制御リアルな３Ｄシミュレーションのシステムを提供すること、とインタラクティブと現実的な３Ｄモデルが仮想的に実際の製品の相互作用経験を表示することが可能です。ユーザ制御現実的な３Ｄシミュレーションとの相互作用技術、 仮想オペレーティングサブシステムで３Ｄモデル表示機能を備えたシステムのすべての角度から現実の世界のように３次元図でデジタルオブジェクトを表示するのに便利です、そして同時に、電子ディスプレイ上に現実的な３Ｄ可視化効果をもたらす現実的な方法で、オブジェクトのシミュレートされた３Ｄモデルを操作する。

本発明の別の目的は、ユーザ制御のリアルな３Ｄシミュレーションの前記システムを使用して、現実的かつ改良されたデジタルオブジェクトの表示と相互作用経験を提供するためのユーザ制御の現実的な３Ｄシミュレーション方法を提供することです。

同様の性質を保有する３Ｄモデルを提供するためにソリューション、といった、外観は、形状、寸法、質感、内部部品のフィッティング、タッチオブジェクトの表面特性、滑らかさ、そして他の性質、特性、タッチオブジェクトの表面特性 と実際のオブジェクトの状態、噴出相互作用から選択されたユーザ制御の現実的な相互作用を行う場合には、侵入の相互作用、 期限付きの変更ベースの対話と実環境マッピングベースの対話はリアルタイムでユーザーの選択に従って特性、状態、および前記オブジェクトの性質に従って可能となる。

ユーザ制御リアルな３Ｄシミュレーションと相互作用技術は、３Ｄモデルのロード中に、３Ｄモデルのテクスチャリングパターンのダイナミックカスタマイズすることができます、これにより、３Ｄモデルの選択的ロード機能を提供し、メモリを効率的に利用する。これは、ロード時間を最適化し、データをハイパーテキスト転送プロトコル（ＨＴＴＰ）を介してウェブ・ページを介して送信されても物体の３Ｄモデルの表示にはほとんどあるいは全く影響がない。

発明の他のさらなる目的はダイナミックインタラクティブなポイントを作成できるようにすることでリアルタイムで実際のオブジェクトを複数有する場所のテレビ中継からライブ映像に仮想３Ｄオブジェクトを表示することが可能です。

発明の別の目的は、仮想オペレーティングサブシステムを提供することである、または表示された３Ｄモデルの動作の機能を提供する、仮想オペレーティングサブシステムは、３Ｄモデルのロード中にインストールされている。

ユーザ制御現実的なシミュレーションと強化されたオブジェクトの表示と発明による相互作用経験のための相互作用の方法を示すフローチャートです。 モバイルの３Ｄモデルの異概略図及び斜視図と、発明の好ましい実施形態によれば噴出及び侵入的な相互作用を示すフローチャートです。 モバイルの３Ｄモデルの異概略図及び斜視図と、発明の好ましい実施形態によれば噴出及び侵入的な相互作用を示すフローチャートです。 発明の好ましい実施形態によれば、複数の平面内で３６０度で噴出的な相互作用を示す冷蔵庫のようなマルチパーツオブジェクトの３Ｄモデルの異斜視図を示す。 発明の好ましい実施形態による侵入的な相互作用の別の例を示す冷蔵庫の３次元モデルの斜視図を示す。 発明の仮想オペレーティングサブシステムを使用して侵入的な相互作用を示すノートパソコンの３Ｄモデルの異概略図を示す。 発明の一実施形態に係る、時間限界変更の相互作用に基づいた、異なる時間間隔で鉄下面の加熱を示す、鉄のシミュレートされ３Ｄモデルの模式温度表示を示す。 発明による侵入的な相互作用にシートとバッククッションの柔らかさを判断するためのタッチ・ビューと椅子の現実的な３Ｄシミュレーションの異斜視図を示す。 発明の一実施形態に係る味ビューで徳利の３Ｄモデルの概略図仮想シミュレーションで示す。 発明による侵入の相互作用でチューブから出てくるペーストを示す歯磨き粉チューブの３Ｄモデルに連続するユーザー制御３Ｄシミュレーションとの相互作用の異なるフレームの概略図を示している。 発明によるユーザー選択に従って侵入的な相互作用の例を示す自転車の３Ｄモデルの斜視図を示している。 発明による侵入的な相互作用の例として、動作した圧力ビューを描いた図１１の自転車の３Ｄモデルの部分拡大図と斜視図を示す。 図１１の自転車の３Ｄモデルのためのさらなる侵入的な相互作用、発明によるユーザーの選択に従って崩壊されている３Ｄモデルのいくつかの部分を示している。 発明の好ましい実施形態による侵入的な相互作用の他の形態を示す自動車の３Ｄモデルの斜視図を示す。 発明の好ましい実施形態によれば、環境マッピングに基づいた相互作用の概略斜視図を示している。 発明の好ましい実施形態によれば、ミラー効果を別の形態として環境マッピングに基づいた相互作用を示している。 発明の実施形態による、統合ビューカテゴリの冷蔵庫のショールームの内部の３Ｄグラフィックス環境モデルのインタラクティブビデオの異なる、概略図及び斜視図を示している。 発明の好ましい実施形態による、冷蔵庫の３Ｄモデルを含む、 冷蔵庫のショールームの内部の３Ｄグラフィックス環境モデルのパノラマビューの統合ビューのカテゴリに異なる斜視図を示す。 発明の好ましい実施形態による、仮想アシスタントサブシステムと統合されたビューのカテゴリに異なる、冷蔵庫の３Ｄモデルを含む冷凍機ショールームの内部の３Ｄグラフィックス環境モデルのパノラマビューの斜視図を示す。 オブジェクトの変化が認識され、動的リンクはリアルタイムで内蔵されていることで、発明の実施形態による３Ｄモデルの表示を、リモート物理的ショップのテレビ中継の回路図と視点表現を示す。 発明の実施形態に係るリモートデモンストレーション用旋盤の３Ｄモデルを機械工学設計の斜視図を示す。 発明による、相互作用の経験のための相互作用の方法、ユーザ制御の現実的なシミュレーション及びエンハンストオブジェクトの表示を示す別のフローチャートを示す図である。 発明による、ユーザ制御現実的なシミュレーションと強化されたオブジェクト表示システムのための相互作用を示す図である。

図１は、ユーザ制御現実的なシミュレーションと強化されたオブジェクトの表示と発明による相互作用経験のための相互作用の方法を示すフローチャートです。ステップ１１０１は、オブジェクトの表示のためにいずれかの入力モードによって要求を受信することを含む。ステップ１１０２は、前記オブジェクトまたはオブジェクトを含む連結ビューカテゴリの画像が表示されます。ステップ１１０３で、いずれかの入力モードで 前記物体の３Ｄモデルを表示するためのセカンド要求は、 リアルタイム（ステップ１１０４）において、前記物体の３Ｄモデルをロードとシミュレーションが続く。仮想オペレーティングサブシステムがインストールされた、３Ｄモデルに基づく特性、状態、および前記オブジェクトの性質、をロードされてもよい。例えば、 要求されたオブジェクトはコンピュータまたはラップトップコンピュータである場合、スマートフォン、または任意のコンピューティングデバイスは、仮想オペレーティングシステムはロードされる、

そしてそのような製品やブランドの特性に基づいてノートパソコンのシミュレートされた３Ｄモデル以内ようにロードされた３次元モデル内にインストールされている、そのようなＷｉｎｄｏｗｓバージョンのオペレーティングシステムは、実際の製品仕様に存在したかのようにＷｉｎｄｏｗｓバージョンの形式のオペレーティングシステムに関連する仮想オペレーティングシステムは、リアルタイムで応じてロードします。特性、状態と表示されたオブジェクトの性質が表示され、ロードされたオブジェクトを、可能な相互作用は本当の特性と現実の性質の通りである。オブジェクトの特性、状態や性質は、実際のオブジェクトが含まれて、例えば、開いた状態または閉じ内のオブジェクトのような単一のパーツオブジェクト、マルチパートオブジェクト、ラップトップなどのデジタルまたは通信デバイス、スマートフォン、コンピュータ、固体、液体、半固体、気体のオブジェクト状態の性質、または動作状態などの特性状態等、オブジェクトの性質によっては、予想される動作とオブジェクトの目的を意味する。単一の部品オブジェクトを崩壊や車のビューを判断するために、実際のセットアップに期待することはできません。例えば、欲しいオブジェクトはアイロンである場合、その加熱特性をテストすることは正当化され、このオブジェクト期待される動作は寒さではない、とオブジェクトの目的は、衣服を押すための熱を生産している。

ステップ１１０５は、３Ｄコンピュータグラフィック環境におけるオブジェクトの表示を３Ｄモデルで行われる、オブジェクトの表示された３Ｄモデルは、少なくとも一つの現実的な３Ｄビューを含む。
現実的な３Ｄビューは、最初の現実的な３Ｄビューで、表示されたオブジェクトを操作するために必要な圧力を判断する圧力ビュー、味ビューは、味の感覚の認識を判断する、一定の時間間隔の後に、表示されたオブジェクトの動作中に発生する熱を判断するための温度ビュー、表示されたオブジェクトに適用されたときの柔らかタッチの感覚を判定するためのタッチビューです。

最初の現実的な３Ｄビューがデフォルトで表示されます。圧力ビュー、味ビュー、温度表示、タッチビューが利用可能であり、リクエストによる表示される、特性に従って、状態と表示されたオブジェクトの性質に依存する。

圧力ビューは、動作させることができる固体のオブジェクト用である、 例えば冷蔵庫、ガソリン発電機やハンドポンプ。

味ビューは、現実のシナリオ例えば、食品のために利用可能である。味ビューは、オブジェクトの味を判断するのに役立ちますと苦味、甘味、酸味の度合いを示す他のオブジェクトと味を比較する塩味、エマミの味や食品ごととして問題になっている。温度表示は、温度を扱う実際のセットアップ内のオブジェクトの温度変化を確認するのに役立ちます、例えば冷蔵庫、エアコン、アイロン、あらゆる電子機器、それらは実際のセットアップで長時間の操作後に熱を発生する。

タッチビューを、色表現を通して柔らかさと滑らかさを確認するのに役立ち、比較のための利用可能な判断の別のパラメータを利用できる。加熱の性質、冷却、柔らかさ、硬度および圧力は、オープンまたはマルチパート３Ｄモデルの可動サブパーツは、異なる色の３Ｄモデルをテクスチャで表される動作に適用、ここで、異なる圧力、温度、柔らかさまたは硬さは、異なる色の３Ｄモデル全体の３Ｄモデルの異なるサブ部分に区別される。
ステップ１１０６では、表示された３Ｄモデルとユーザ制御の現実的な相互作用は、ユーザーに利用可能にされる。

ユーザー制御現実的な相互作用は、噴出相互作用および／または侵入的の相互作用および／または時間バインドの変更に基づく相互作用および／または実際の環境マッピングユーザーの選択に従って特性、状態、および前記物体の性質に従ってベースの相互作用が含まれる。噴出相互作用は、実際のオブジェクトの外部から可能な相互作用である。３Ｄ−モデルとの、噴出の相互作用は、表示やオブジェクトを調べるに関しては実生活のシナリオをエミュレートします。

ユーザーの選択に従って、異なる角度でオブジェクトを表示するための入力を受信すると、オブジェクトの３Ｄモデルは、異なる平面で３６０度に回転される。オブジェクトは、受信した入力に従って表示される。噴出相互作用において、マルチオブジェクトの３次元モデルをシミュレートする部分がユーザーの選択に従って可能となる。シミュレーションは、閲覧、検査するとテストオブジェクトの機能または製品の特徴は、正確にリアルタイムで可能となるとテクスチャとともにポリゴンに関連する、３Ｄモデルまたは部品の３Ｄモデルをユーザーのコマンドに従って移動し、移動が達成され、リアルタイムでユーザ入力コマンドに基づいて精度で表示する。

侵入的な相互作用は表示と内部部品を検証することを含み、リアルタイムのオブジェクトの一部を崩壊することは一つずつ、物体の内部と個々の部品を調べる。

ユーザーコマンドに従って３Ｄモデルの移動の関連したテクスチャーと一緒に多角形、３Ｄモデルまたは部分の動きが達成され、リアルタイムでユーザ入力コマンドに基づいて精度で表示される。期間限定変化に基づく相互作用
オブジェクトを操作する上で観測監視または可視化する期間限定の変更を含む。
ユーザは、所望の期間の後に、製品またはオブジェクトの動作を確認することができます。例えば、アイロンを加熱することチェックしたり、冷蔵庫の冷却、または室内の空気調和機で生成された冷却が可能です。また、ユーザは、サウンドを聞くことができる、冷蔵庫のドアは、オブジェクトの３次元モデルの仮想シミュレーションから開いたとき、その実際のセットアップで実際の冷蔵庫のドアを開くときに本当の音が生産模倣する。一定の時間間隔の後にサウンドの更なる変化が、製品の性能を体験したり、他の製品と比較するために聞いたり監視することができる。圧力ビュー、味ビュー、温度ビューとタッチビューの相互作用も、期間限定の相互作用に含まれています。
実際の環境マッピングベースの相互作用は相互作用の含む場合、ユーザー環境、

つまり、ユーザーの近傍内の場所又は位置である、カメラを通してキャプチャされ、マッピングされ、リアルタイムでシミュレーションするようにユーザの電子画面上に表示される現実的な３Ｄモデルや仮想オブジェクトがマッピングされ、シミュレーション環境と相互作用することが分かる。ステップ１１０７では、ユーザーは、少なくとも一つの入力を提供することによって表示される３Ｄモデルとユーザー制御の現実的な相互作用を行い、ここで行った相互作用は、少なくとも一つのリアルな３Ｄビューに表示されます。

図２と図３は、噴出と侵入的な相互作用におけるモバイルの３Ｄ−モデルを示しています。図２ａと図２ｄは、ユーザーの選択に従って、リアルタイムで複数の平面における移動の３Ｄモデルの回転を示している。

モバイルの３Ｄモデルは、その３６０度任意の角度で、ユーザーが回転させることができるコースは、元の位置に戻ります。ユーザーは、電池のサイズを確認することを望むと内部コンポーネントは、バックカバー（２０１）を開くなどの侵入的相互作用を行うことができます。さらに、３ＤモデルでデュアルＳＩＭのレイアウトを表示するには、リアルタイムでモバイルバッテリー（２０２２０２）を取り出す。

さらに、ユーザーがさらにチェックや他の内部コンポーネント（２０３）モバイルのについて問い合わせしたい場合、ユーザーが携帯を開くことができますし、ｆｉｇ．２ｈに示すように、サブ部分の３Ｄモデルをチェックして、またはアクティブな製品情報を得るために仮想アシスタントサブシステムをお願いする、図３は、ユーザーがモバイルの３Ｄモデルとの相互作用を示し、ユーザーがモバイル見てもテンキーパッド（３０２）を確認モバイルをスライドさせて侵入的に相互作用することだけでなく、数字キーを押すこともできます。数字キーを押すと、押された数字（３０３）はモバイルの３Ｄモデルの携帯電話の画面（３０２）でリアルタイムに反映される。

ユーザーは、３Ｄモデルのディスプレーヤ（２３０５の図２３）の仮想３Ｄスペース内のすべての機能を確認することができます、ユーザーは、まさに本物のセットアップのようにシミュレートされたモバイルの３Ｄモデルと相互作用することができる。

そのようなメッセージを開くなど、連絡先リストを見る、ボタンを押す、本物のモバイルのような仮想的非常によく似たカメラを使用することもできます。その他、噴出相互作用は、物体の３次元モデルの発光部品の効果を照明することができる、電子表示機能と実際のシナリオをエミュレートする音響効果を理解するための電子表示部を有する３次元モデルと相互作用する。

図４は、回転の噴出相互作用が行われ、冷蔵庫、の３次元モデルの異なる透視図を示している。 図４に、様々な角度での現実的な回転は、マウスカーソルの移動などのポインティングデバイスを利用して行われるように示されている。全ての面で３６０度の全回転は、ポインティングデバイス、キーボードなどの任意の従来の入力デバイスを使用して可能である。仮想アシスタントサブシステムは、音声コマンドの形式で要求または英語などの自然言語でチャットするための入力モードとして使用することができる。

また、図５ａ〜５ｅは、冷蔵庫の同じ３Ｄモデルの斜視図で侵入的相互作用の別の例として示され、ユーザーが表示された３Ｄモデルの（５０１５０２）のドアを選択し、そのようなドアを引っ張っとして入力を提供する、 ユーザーはそのような（５ｂ）は、実際のシナリオをエミュレートするアニメーションのように連続移動シミュレーションにおけるドアの開口部（５０１’、５０２’）のビューを取得します。さらに、ユーザーが冷蔵庫の下部を調査することを望む場合、ユーザはまず、３Ｄモデルシミュレーションは、（５ｂ）のドア開口に既に要求された３Ｄモデル上に下部引出し（５０３）を開くことができる。開いた引出し（５０３’）のリアルタイム３Ｄシミュレーションが生成され、図５の５ｃに見られるようにユーザーの前に提示される。ユーザーは自己を表現する彼自身の仮想シミュレーション（５０４、５０４’）を生成するために、自分の写真をアップロードすることができます。シミュレートされた人間の３Ｄモデルは、ショールームに自分の欲望に従って歩いたり、製品を直接訪問することができます。シミュレートされた人間の３Ｄモデルを歩き、別の仮想世界を体験できるだけでなく、しかし自身が製品の操作見ることができます。ここでは、人間の３Ｄモデルは、冷蔵庫の３Ｄモデルに歩いて示されている、冷蔵庫自身（５ｅ）の表示された３Ｄモデルの（”５０１）ドアを開きます。

冷蔵庫内のライトもターンオンしますドアを開くときに、冷却はまた、仮想的、実際の生活のセットアップを模倣することによって経験することができる。 表示された相互作用は、相互作用のみ可能ではありません。ユーザがドアを開けるために適用されても圧力が別の動作圧力の表示を使用して判定することができる。このビューは、エネルギーまたは圧力を計算するために利用可能な標準のメトリックを使用して圧力およびディスプレイを算出する。 実際のセットアップの実シナリオをエミュレートする製品の選んを決定するより多くの情報を取得するように、これは、他のオブジェクトと比較することができる。

図６は、仮想オペレーティングサブシステム（ＯＳ）との侵入的な相互作用を示すラップトップの３Ｄモデルの異なる模式図を示している。図６ａは、電源オフモードに概略的にラップトップの３Ｄモデルの仮想シミュレーションを示している。

ユーザーは、ノートパソコンのルックスをチェックして、仕様を比較することはできません、しかし、このような起動時間を判断するためにそれをスイッチング素子としてだけで実際のシナリオではラップトップを操作することができる、その製品は、実際の生活のセットアップで開始されていた場合には、製品の実際の起動時間です。

仮想オペレーティングサブシステム（ＯＳ）はラップトップの３Ｄモデル内に装填示されている。 図６ｂは、仮想オペレーティングサブシステム（ＯＳ）の助けを借りて（６０１）を開始する、ラップトップの模式的に現実的なシミュレーションを示しています。仮想オペレーティングサブシステムは、人工知能と現実的な３Ｄシミュレーションとの相互作用の技術で作られています。仮想オペレーティングサブシステム（ＯＳ）は、既存のシステムにロードされたリアルオペレーティングシステムを模倣
またはコンピューター、または操作するための任意のコンピューティングデバイスラップトップの３Ｄモデルの表示された仮想シミュレーションのハードウェアは、仮想オペレーティング・サブシステムを介して動作することができるようになっている。

図６ｃは、ユーザーログインの準備ができて仮想オペレーティングサブシステムを開始しまし示し、 このような、システムのブート時間はリアルシナリオのように仮想的に推定することができる。図７は、アイロン（図７ａ−７ｂ）のシミュレートされた３Ｄモデルの温度ビューを概略的に示す、期間限定の変更に基づいた相互作用に従って異なる時間間隔（図７ｃ、図７ｅ）でアイロンの下面の加熱を示す。ここで、アイロンの３Ｄモデルのシミュレーションを模式的に示している。アイロンで生成された加熱は、それぞれ高温低表す暗い色合いを光からカラーコードによって確認され、特定の時間間隔（図示せず）に程度、摂氏または華氏などの標準的な測定基準で表示することができる。

操作の１．５分後に、温度の７０セ氏温度でアイロンを熱と仮定し、異なる製品の２つの３Ｄ−モデルは操作後１分と言う同時に温度について（７Ｆと７グラム）を比較した場合の値はです、実際にアイロンを操作することなく、リアルタイムで生成された温度差を参照して、これは可能なまたはリアルセットアップでは許可されないことがあります。

図８は、侵入的な相互作用にシートとバッククッションの柔らかさを判断するためのタッチビューと椅子の現実的な３Ｄシミュレーションの異なる透視図を示している。図８ａと図８ｃの椅子は、シートの柔らかさ、クッション（８Ｂ、８ｄは）示してタッチビューで色の濃淡で表現別のビューにリアルタイムで変換します。柔らかさは、それぞれのソフト、ハード面に、非常に柔らかい表現暗い色合いに光からカラーコード化することができ、またはインデックスは、柔らかさや滑らかさのパラメータを持つ製品の比較を可能に数値標準で表示されます。

図９は、味ビューで酒瓶（９Ａ）の３次元モデルの仮想シミュレーションの概略図を示す。 ユーザは、この実施形態では酒などの食品アイテムの味ビューを選択すると、味の種類は、オブジェクトが表示されるブランドの味を模倣して表示される、本発明のこの特徴は、リアルセットアップのシナリオを超えてリアルシナリオのように、ユーザーが製品を購入する前にボトルを開いたり、製品を味わうことができない。また、ユーザーは、ボトルのコルクを開く、または液体（９ｂ−９ｃ）を注ぐことができるリアルシナリオをエミュレートするボトルの３Ｄ−モデルです。

図１０は、侵入的な相互作用にチューブから出た練り歯磨きチューブを示すペーストの３次元モデルの仮想シミュレーションの連続的なアニメーションの異なるフレームの概略図を示す。練り歯磨きチューブの３Ｄモデルの仮想シミュレーションのキャップが開放され、チューブからペースト（１４ａ−１４ｃ）．を絞り出すために押される。ペーストの色はまた、ペーストチューブの外装体と一緒に観察することができる。チューブを押すために必要な強度も判断し、製品の特性、状態や性質は実店舗で実際の商品のと同じであり、異なる製品やブランド、別のペーストと比較することができます。

図１１は、３Ｄモデルの一部を開くことができるユーザー選択に従って、交換されたり、ユーザーの選択肢ごとに、異なる色や形状が類似した性質の別の部分に変更を侵入的な相互作用の例を示す自転車の３Ｄモデルの斜視図を示している。ここでは、自転車の３Ｄモデルのシート（１１０１）は、実質侵入的相互作用を実行しているユーザーの選択に従って自転車の本体と一致するように異なる色のシート（１１０２）に変更されます。自転車の３Ｄモデルは、その部品の動作圧力を判断する圧力ビューで見ることができます。

図１２は、図１１の視点とイチジクの自転車の３Ｄモデルの部分拡大と描いた圧力ビュー（１２ａ）を示す、ここで、圧力またはブレーキ（１２ｂ）を動作させるために必要な力、またはキック（１２ｃ）の操作を侵入的な相互作用に色合い分化によって判断することができる。

図１２ｃは、キックを操作しながら発生する圧力（ｐｌ）を示す。図１３に示すように、ユーザーは、さらに自転車の３Ｄモデルの個々の部分を確認することができます。 ここで、３Ｄモデルのようなホイールなどのいくつかの部分（１３０１、１３０１’、１３０１”）は、ユーザーの選択に従って崩壊されている。

図１４は、侵入的な相互作用の別の形態を示す自動車（１４ａ−１４ｃ）の３Ｄモデルの斜視図を示している。
車（１４ａ）のシミュレートされた３Ｄモデルのドアは（１４０１’）そのような本当の意味で実際のシナリオのような方法で開くことができます。
車の３Ｄモデルの分解図では、ユーザーが制御現実的なシミュレーションにおけるユーザーの選択に従って各部分をイントロスペクト表示することができます。
さらに、ステアリングホイールはパワーステアリングを判断するために回転させることができ、タイヤの滑らかさを判定することができる、個々の部品は、ユーザー制御現実的なシミュレーションを使用してリアルタイムで崩壊している場所、相互作用技術は、実際のシナリオを模倣する。崩壊部品、例えばこの場合はホイールが、また、ホイールのような個々の部品は本物のセットアップのように別々に回転することができる３Ｄシミュレーションビューに表示される。

図１８は、環境マッピング基づく相互作用の例が概略的に示されている、図１５ａは、本物のソファ（１５０３）付きの部屋（１５０１）のセクション、カメラ（１５０２）を備えたシステムが示されている。
カメラ（１５０２’）は電子画面（１５０７）に搭載され、ソファ付きの部屋部分の映像をキャプチャします。キャプチャされたビデオ（１５０４）は、図１５ｂに電子画面（１５０７’）の前面側に示されている、ここで、 ソファのクッション（１５０５）のシミュレートされた３Ｄモデルも、相互作用のための３Ｄモデルディスプレーヤ（１５０６、１５０６’）で表示される。ユーザーは、仮想アシスタントサブシステムに要求することによって、環境マッピングのシミュレーションを開始することができます。

仮想アシスタントサブシステムは、実際のソファ（１５０３）の部屋（１５０１）の部分のビデオをキャプチャするためにカメラを向ける、図．１５ｃに見られるようにクッション（１５０５’）で所期の目的ソファ（１５０３”）のキャプチャされたビデオの上に配置されている、対話形式で、３Ｄモデルのディスプレーヤ（１５０６’）を通じてクッションを選択するか、ユーザーの選択に従って、異なる製品／クッションを検索するための情報に基づいた意思決定を行うためにカラーマッチと美学の面で互換性をチェックする。

図１６は、環境マッピングベースに基いた相互作用の別の形態として、ミラー効果を示す。

ここで、図１６ａと１６ｂは、自転車（１６０５、１６０５’）の３Ｄモデルのフロントトップ部は、リアビューミラー（１６０３、１６０３１）でズーム表示されます、フロントカメラ（１６０１、１６０１’）、電子画面（１６０２、１６０２’）、と自転車の表示された３Ｄモデルの前に座っているユーザー（１６０４）を示す。

ユーザの顔の反射（１６０４’）は本物のシナリオのように、自転車の３Ｄモデルのリアビューミラー（１６０３'）に見ることができる。

反射が（１６０３’）の電子画面の前に座っているユーザーがユーザー制御現実的なシミュレーションとの相互作用のシステムを使用して、任意の入力モードを介して環境マッピングシミュレーションを開始し、リアルタイムで生成される。

もう一つの例は、前記のミラー効果でユーザーの体の反射を生成するドレッシングテーブルの３Ｄモデルをシミュレートする。

パノラマビューで相互作用する時には、仮想アシスタント（１９０１、１９０１’）は、パノラマビューにわたって同じ位置にそのまま残りパノラマ画像やインタラクティブと同期化された方法で、パノラマのモデルが移動する。図１７は、統合されたビューカテゴリの冷蔵庫のショールームの内部の３Ｄグラフィックス環境モデルのインタラクティブビデオの異なる概略図と斜視図を示している。仮想アシスタントは、右手側（１７Ａ）にロードされている冷蔵庫のショールームを、表示するように要求されている。

図面１７ａで、仮想アシスタント（１７０１’）を、初期化が可能な左側に表示されている、リアルタイムのインテリジェントな人間のような本当のユーザーとの相互作用をチャットする。３Ｄ−モデルの異なる冷蔵庫（１７０３、１７０４、１７０５）の冷蔵庫のショールームのインテリア３Ｄのコンピュータグラフィックスモデルのインタラクティブなのビデオで表示されます。

図１７ｃと１７ｄに見られるように、マウスカーソル（１７０２）はそのうちのパス上のクリックで、図１７（ｂ）に示す、バックドラッグしている、冷蔵庫（１７０６、１７０６’）の他の３Ｄモデルが表示されます。図１７Ｄは、ユーザーが表示のために要求することができますので、さらに右から冷蔵庫（１７０３”）をイントロスペクトしたい、ことを示しています、そのようなドアの開放などの、さらにユーザー制御現実的な相互作用のために選択された冷蔵庫の現実的な３Ｄモデルを図５に示す。パノラマビューのカテゴリは、異なるフレーム（１８Ａ−１８Ｃ）に示すように、仮想ショールームの場所の３６０度のビューです。

パノラマショールームに示したオブジェクトは、インタラクティブなオブジェクトである、ここでユーザー制御現実的な相互作用が可能な３Ｄモデルでオブジェクトのユーザー制御現実的なシミュレーションを生成するための可能な冷蔵庫の３Ｄモデルのビューを統合しました。

冷蔵庫のショールームの内部の３Ｄグラフィックス環境モデルのパノラマビューの図１９別の斜視表現で、仮想アシスタント（１９０１、１９０１’）と異なる冷蔵庫の３Ｄ−モデルを含むように示されている。仮想アシスタントは、イメージまたは３Ｄモデルとすることができ、ここで仮想アシスタントは（１９０１’）問い合わせに応答して唇を動かし示されている。ユーザーは面積位置（Ａ−１）に面積位置（Ａ−２）とパノラマのビューを移動すると、仮想アシスタントは、まだ改善されたパノラマ画像やモデルビューイング経験を与えて、その前の位置にそのままです、 ユーザー制御現実的なシミュレーションと相互作用技術を使用して同期移動することによって可能となるものです。

図２０は、リモートの物理ショップのテレビ中継の概略図と斜視図を示して、 ここでオブジェクトの変化が認識され、動的なリンクは、３Ｄ−モデルの表示のため実時間で構築されている。 ライブ動画で、リアルタイムで自動的にオブジェクトの種類を検出し、そのオブジェクトが洗濯機（２０２０）に冷凍機（２０１０）などの、実店舗に交換された場合、オブジェクトの変化を認識することが困難となる。

ユーザー制御現実的な相互作用のシステムは、実時間で、またはいくつかの時間差をおいてオブジェクトの変化を認識し、識別された各オブジェクトに対する動的なリンクを構築することができる。入力を提供する上でユーザーは、さらに相互作用のために前記オブジェクトの３Ｄモデルの表示を開始することができます。

物理的なショールームのビデオは、ビデオ、送信部と受信部を捕捉することができるカメラを介してなどの従来の装置によって捕捉することができる。受信ユニットは、ビデオを受信し、ユーザー制御の現実的な相互作用のシステムの中央データベースにライブフィードを供給することができる。ウェブサイトとＨＴＴＰでもライブフィードが互換性を持たせることができる。

図２１は、ユーザー制御の現実的なシミュレーションとの相互作用技術の別のアプリケーションとしてリモートデモンストレーションのための旋盤機械の３Ｄモデルの機械工学設計の斜視図を示す。これは 、リモートから従来の手段を使用して複雑な機械を協働すると実証することが困難となる。
ある位置（２１０１から他の位置（２１０２）へ旋盤機の中間部分の摺動が表示されている。ユーザーは、そのパーツと相互作用することができる、仮想で、実際のセットアップのようにその機能を理解するには、ユーザーとして実マシンと相互作用する。ユーザーは製品や機械についてもっと知りたい場合は、彼は単に仮想アシスタントを照会することができ、そのクエリごとのように正確な回答で応答します。クエリがチャットで入力することができます、仮想アシスタントは、話すことによって、または、唇の信用によって、またはクエリを解決するためのメッセージを書いて、ご返信させていただきます。

図２２は、ユーザ制御の現実的なシミュレーションと強化されたオブジェクトの表示と相互作用の経験のための対話の方法の別のフローチャートを示している。ステップ２２０１は、ショールームモードまたは製品モードから選択されたモードの選択する際に意思決定を含まれている。ステップ２２０１は、選択したモードごとのように表示されたさまざまなレイアウトが続いている。リアルモードが選択される場合、ショールームビューレイアウト（２２０２）が表示され、や製品のモードが選択する場合は、製品ビューのレイアウト（２２０３）が表示されている。ステップ２２０４は、入力をショールーム ビュー レイアウトの表示後、予め設定された統合ビューカテゴリにショールーム型の表示のためにユーザーによって提供される。

ここでは、入力が、ショールーム型はユーザーの選択に従って、テレビのショールームと 冷蔵庫のショールームを表示のために要求される、ステップ２２０５は、プロセッサとメモリは、ユーザシステムのプロセッサであり、プロセッサと／またはネットワーク接続速度と／またはメモリ・スペースの処理の消費電力を検出することを含む。

ステップ２２０６では、予め設定された統合ビューカテゴリのプロセッサと／またはネットワーク接続速度および／またはメモリ・スペース、ショールーム型の選択的なローディングの検出処理の消費電力に基づいて行われる。ネットワークが遅い場合は、全体ショールームビューがロードされていない、ネットワークとプロセッサの速度が良好であれば、全体のショールームビューがロードされますが、シミュレートされ、テクスチャリングは、調整されているのに対し、ユーザ側には視覚的な影響はありません。

これは現実的な仮想シミュレーションの視聴経験のネットワーク速度と処理能力の遅さの影響を最小限に抑えるのに役に立ちます。これはまた、シームレスな視聴のためのグラフィックスの迅速なロードを可能にします。ステップ２２０７では、表示された複数のオブジェクトのうち、入力がこのステップが直接到達または製品モードでの製品ビューのレイアウト（２２０３）の表示の後に開始することができ、目的のオブジェクト、の現実的な３Ｄモデルの表示のために受信される。

受信入力は、マウスなどのポインティングデバイスなどの従来の装置を介し得る、システムやタッチのセンサーによってキャプチャキーボードやハンドのジェスチャーガイド付き入力や目移動のガイド入力を介した、仮想アシスタントシステムにコマンドを提供する。仮想アシスタントシステムへのコマンドは、音声命令やチャットを介して行うことができる。ステップ２２０８では、 目的のオブジェクトの現実的な３Ｄモデルがロードされ、受信される入力をシミュレートする。目的のオブジェクトは、コンピュータまたはラップトップまたは任意のコンピューティングデバイスである場合、仮想オペレーティングサブシステムは、そのような製品やブランドの特性に基づいて、ノートパソコンのシミュレートされた３Ｄモデル内のようにロードされ、ロードされた３Ｄモデル内に設置されている。

ステップ２２０９は、３Ｄコンピュータグラフィックス環境では目的のオブジェクトの３Ｄモデルを表示することを含む。目的のオブジェクトの表示された３Ｄモデルはデフォルトで、標準的な現実的な３Ｄビューを持っています。

その他のインタラクティブなビューは、言っ表示されたオブジェクトを操作するために必要な圧力の判断のための圧力表示することができます、味ビューは、味の感覚の認識を判断する、一定の時間間隔の後に、前記表示されたオブジェクトの動作時に発生する熱を判断するための温度ビューと表示されたオブジェクトに適用されたときの柔らかタッチの感覚を判定する。

その他のビューが、特性、状態と表示されたオブジェクトの性質に従って利用できます。

ステップ２２１０は、ユーザ制御の現実的な相互作用が行われ、実際のセットアップ実シナリオをエミュレートするために表示された現実的な３Ｄモデルを利用可能にすることができる。

図２３は、ユーザ制御の現実的なシミュレーションと拡張オブジェクトの表示と相互作用の経験のための相互作用のシステムを示している。

前記システムは、
ａ） ユーザ入力を受け入れるために構成された中央検索コンポーネントに接続されたグラフィカルユーザインタフェース（ＧＵＩ）。
ｂ） ３Ｄ統合ビュー生成エンジンを使用して組織的に１つまたは複数の３Ｄモデルを含むの３Ｄグラフィックス環境を表示するための統合されたビューのディスプレーヤです。
ｃ） ３Ｄオブジェクトの生成エンジンを使用してシミュレート対象の３Ｄモデルを表示するための３次元モデルのディスプレーヤ、ここで、の３Ｄモデルのディスプレーヤは、仮想インタラクティブな３Ｄモデルを表示するための少なくとも１つの表示スペースを含む。
ｄ） 表示されたの３Ｄモデルの動作の機能性を提供するための仮想オペレーティングサブシステム、 仮想オペレーティングサブシステムは、３Ｄモデルの状態と表示されたオブジェクトの性質に従ってロード中にインストールされている 。ここで仮想オペレーティングサブシステムは、３Ｄモデルディスプレーヤとエンジンを生成する３Ｄオブジェクトに直接接続している。
ｅ） 双方向通信用の入力モードとして仮想アシスタントサブシステム随意。
ｆ） 複数のオブジェクトを含有する場所のライブテレビ放送を表示するためのライブテレビ放送のディスプレーヤを任意選択、 ここで、ダイナミックリンクが識別された各オブジェクトの上に構築されている、識別されたオブジェクトの３Ｄモデルを表示するために各ダイナミックリンクは、３Ｄモデルのディスプレーヤを発動されます；と、
ｇ） 必要に応じて背景マッピングベースの対話のためのビデオを撮影するためのカメラ、ここで、カメラから撮影された映像は、３Ｄモデルのディスプレーヤの下にレイヤードされている。

グラフィカル・ユーザー・インターフェース（ＧＵＩ）は、統合ビューのディスプレーヤに直接接続している、仮想アシスタントサブシステム、３Ｄモデルのディスプレーヤ、と中央の検索コンポーネントに加えて中央データベースとここで、３Ｄモデルのディスプレーヤ、エンジンを生成する３Ｄオブジェクトは、互いに直接接続している、または仮想オペレーティングサブシステムに接続されている。３Ｄモデルのディスプレーヤは、オブジェクトの３Ｄモデルのユーザー制御現実的なシミュレーションによって仮想的なオブジェクトは現実の世界を表示可能になります、このような生きているような実際のシナリオの方法で相互作用することが可能です。３Ｄモデルのディスプレーヤは、ユーザーの選択に従って、および／または侵入的な相互作用および／または時間バインド変更基づく相互作用および／または特性、状態、と対象の性質のような、実際の環境マッピングベースの相互作用を、噴出的な相互作用を実施するためインタラクティブなプラットフォームです。

３Ｄオブジェクト生成エンジンは、画像に関連するデータ、実際のオブジェクトに関連するデータ、ポリゴンデータとシミュレートされた３Ｄモデルは、複数のポリゴンを含む３Ｄモデルを生成するためのオブジェクトのテクスチャデータを使用する。このシステムは、ウェアラブルまたは非ウェアラブルディスプレイにハイパーテキストトランスファープロトコルを介して実施することができる。仮想アシスタントサブシステムは、グラフィカルユーザインターフェース、単語や文章の形式でのユーザ入力の処理および自然言語処理部は、中央のデータベースに統合されて受信された入力に従って出力を提供するための自然言語処理コンポーネントを構成されています。

仮想アシスタントサブシステムは、さらに、ボイスコマンドおよびサウンド出力装置を受けるためのマイクが含まれている。含まれた図面は模式的な表現であることが注目される、一般的に一定の縮尺で描かれていない。

さらに、概略図は、本発明を説明するために使用されることに留意しなければならない。本発明に従って実際の３Ｄ−モデルがありません。このようなクライアントサーバアーキテクチャとして、実質的に任意のコンピュータ・アーキテクチャは、本開示の範囲から逸脱することなしに使用されることが理解される。

システム（図２３）は、サーバコンピュータの形態をとることができる。ここでカメラのようないくつかのコンポーネント、グラフィカルユーザーインターフェース、 ３Ｄモデルが使用されている、や表示される、 やＬＡＮまたはインターネットを介してクライアント側でアクセスできる。

いくつかの実施形態では、クライアント側は、ラップトップ、スマートフォンなどのようにハンドヘルドコンピューティングデバイスとすることができる。
例および他の様々な情報は、添付の特許請求の範囲内で種々の態様を説明するために使用されてきたが、特許請求の範囲の制限はないが、このような例で、特定の機能や配置に基づいて暗示されるべきではない、通常の技術はさまざまな実装を導出するためにこれらの例を使用することができる。

本発明の実施形態は、そのため、限定的ではないと単なる例示として考慮される、と記載された特徴およびステップは以下の特許請求の範囲の範囲内であるとみなされるシステム及び方法の構成要素の例として開示されている。

Claims (12)

1. 強化されたオブジェクトの表示と相互作用体験のためのユーザ制御リアルな３Ｄシミュレーションの方法、
   ことを含む方法、オブジェクト（１１０１）を表示するために少なくとも一つの入力モードによって要求を受信する。
   前記物体の画像表示や連結ビューのカテゴリ（１１０２）を含むオブジェクト。
   前記対象物（１１０３）の３次元モデルを表示するための少なくとも一つの入力モードによって、第２の要求を受信する。
   リアルタイムで、前記オブジェクト３Ｄモデルをロードとシミュレートした、仮想オペレーティングサブシステムは、必要に応じて、前記対象物の特性、状態や性質に基づいてロードされた３Ｄモデルにインストールされている、
   ここは、リアルタイムで、前記オブジェクト３Ｄモデルをロードとシミュレートすることを含む。
   ｉ） 前記対象物の画像に関連するデータを使用して、模擬的方法で前記オブジェクトのポリゴンデータやテクスチャデータ、実際のオブジェクトに関連付けられたデータを自動リンクする、
   ｉｉ） リンクされたポリゴンデータを変換する、テクスチャデータ、画像関連データと実際の対象とオブジェクト（１１０４）の３Ｄモデルにデータを関連付けられる。
   前記オブジェクトの表示された３Ｄモデルは、少なくとも一つの現実的な３Ｄを含む３Ｄコンピュータグラフィック環境で前記オブジェクトの３Ｄモデルを表示する。
   ビュー（１１０５）；
   ユーザー制御現実的な相互作用が、噴出相互作用が含まれ、ユーザーに表示された３Ｄモデルで利用可能なユーザー制御現実的な相互作用を行う（図４）と／や侵入的的相互作用（図１ｅ−１ｈ、図３ｂ、図３ｆ、図５ｂ、５ｅ、図６ａ−６ｃは、図９ａ−９ｃは、図１０Ａ−１０ｃは、図１１、図１３、図１４）と／または時間バインドの変更がベースの相互作用（図７）、と／または実際の環境マッピングベースの的相互作用（図１５、図１６）ユーザーの選択に従って特性、状態と前記物体（１１０６）の性質に従って表示する。
   表示された３Ｄモデルと同時に、少なくとも一つの入力（１１０７）と少なくとも一つの現実的な３Ｄビューを表示でにユーザー制御現実的な相互作用を行います。
2. クレーム１に記載の方法は、前記物体の３Ｄモデルの負荷が直接的にルーティングされる、や統合されたビューのカテゴリ（図１７、図１８、図１９）を介して、またはユーザーの選択ごとまたは予め決められた方法でライブテレビ放送カテゴリ（図２０）を介して、
   連結ビューのーのカテゴリは、実際の製品を含む本物のディーラーからのビューをエミュレートするとインタラクティブビデオビューカテゴリまたはインタラクティブなパノラマビュカテゴリから選択すると連結ビューカテゴリとテレビ中継カテゴリは、３Ｄモデルのテクスチャパターンの動的なカスタマイズは、３Ｄモデルのロード中に行なわれるように設計されている。パノラマ画像やパノラマモデルがインタラクティブと同期して移動しながら、パノラマビューで相互作用する時に、仮想アシスタント（１９０１，１９０１’）は、パノラマビュー上の同じ位置にそのまま残ります。
3. クレーム１に記載の方法は、現実的な３Ｄビューは最初のリアルな３Ｄビューで、
   前記表示されたオブジェクトを操作するために必要な圧力を判断する圧力ビュー、味覚ビュー味の感覚を判定するために、一定の時間間隔の後に、前記表示されたオブジェクトの動作中に発生する熱を判断するための温度ビュー、表示されたオブジェクトに適用されたときの柔らかタッチの感覚を判定するためのタッチビューを示す、ここに、最初のリアルな３Ｄビューは、好ましくは、最初に表示される、圧力ビュー、味ビュー、温度ビュー、タッチビューが利用可能ですと特性、状態と表示されたオブジェクトの性質の依頼に応じて表示される、と加熱、冷却、柔らかさ、硬さおよび圧力の特性が適用される場合、３Ｄモデルの可動部分は開いたり、操作するのは異なる色で３Ｄモデルをテクスチャで表現されている、異なる圧力、温度、柔らかさや硬さが、３Ｄ−モデルや異なる色で全体３Ｄモデルさが異なるサブ部分に区別される。
4. 入力モードが前記オブジェクトを検索する検索クエリを配置から選択される、 マウス等のポインティングデバイスを介して、キーボードを介した、手やシステムのセンサによって捕捉眼球運動のジェスチャーガイド入力、タッチ入力、仮想アシスタントサブシステムへのコマンド、ここで、仮想アシスタントシステムへのコマンドは、ボイスコマンドやチャットを介して行うことができる。
5. 噴出相互作用は、異なる平面で３６０度でオブジェクトの３Ｄモデルを回転させることを含む、オブジェクトの３Ｄモデルの発光部品の照明効果、電子ディスプレイ機能を理解するための電子表示部を有する３Ｄモデルとの相互作用、サウンドエフェクト、と正確にリアルタイムで入力に従って前記オブジェクトを表示する、ここでユーザーコマンドに従って言った３Ｄモデルの移動の関連付けられテクスチャーと一緒に多角形、、とシミュレートされた３Ｄモデルやその部分の動きは、達成されたユーザー入力コマンドに基づいて、リアルタイムにかつ高精度に表示されている、侵入的の相互作用は、表示および内部部品との相互作用が３Ｄモデルの部分の閉鎖を含まれる、シミュレートされた３Ｄモデルは、マルチパートオブジェクトです、３Ｄモデルの内部と個々のパーツと相互作用するようにシミュレートされ３Ｄモデルの部分を崩壊する、分解図のために相互作用し、とユーザーコマンドに従って３Ｄモデルの移動の関連付けられテクスチャーと多角形を示す、３Ｄモデルまたはその部分の動きを実現とリアルタイムに表示される、ユーザ入力に基づいて精度は、特性、状態と表示されたオブジェクトの性質に従ってコマンドする。
6. 強化されたオブジェクトの表示となる相互作用の経験のためのユーザー制御リアルな３Ｄシミュレーションのシステム：
   ユーザ入力を受け入れるために構成された中央検索コンポーネント（２３０１）に接続されたグラフィカル・ユーザー・インターフェース（ＧＵＩ）（２３０２）、３Ｄグラフィックス環境を表示するための統合ビューをディスプレーヤ（２３０３）、３Ｄ統合ビュー生成エンジン（２３０６を使用して組織的に１つまたは複数の３Ｄモデルを含む。３Ｄモデル生成エンジン（２３０７）を使用してシミュレートオブジェクトの３次元モデルを表示するための３Ｄモデルのディスプレーヤ（２３０５）、ここで、３Ｄモデルのディスプレーヤは、仮想インタラクティブな３Ｄモデルを表示するための少なくとも１つのディスプレイスペースを含む、表示された３次元モデルの動作の機能性を提供するための仮想オペレーティング部分システム（２３０８）、特性、状態と表示されたオブジェクトの性質に従って３Ｄモデルが言ったの仮想オペレーティング部分システムがロード中にインストールされている、仮想オペレーティング部分システムは、３Ｄモデルディスプレーヤとエンジンを生成する３Ｄオブジェクトに直接接続している。バックグラウンドマッピングに基いた相互作用のためのビデオを撮影するためのカメラ（２３１１）、このカメラから撮影された映像は、３Ｄモデルのディスプレーヤの下に積層されている。グラフィカルユーザーインターフェース（ＧＵＩ）は、統合されたビューのディスプレーヤとの直接接続です、
   仮想アシスタントサブシステム、３Ｄモデルのディスプレーヤ、と中央の検索コンポーネントに加えて、中央データベース、３Ｄモデルのディスプレーヤと、３Ｄオブジェクトの生成エンジンは、相互に直接接続している、また、仮想オペレーティング部分システムに接続されて、ここで、中央のデータベースは、少なくとも画像関連付けられデータを記憶するための中央データストレージ（２３１０）に接続されている。
7. クレーム６のシステムのように、３Ｄモデルのディスプレーヤユーザーの選択に従ってと／や侵入的の相互作用および／や時間バインド変更基づく相互作用および／や実際の環境マッピングベースの相互作用を、噴出相互作用を行うための特性、状態と前記オブジェクトの性質に従ってインタラクティブなプラットフォームです。
8. クレーム６のシステムのように、３Ｄオブジェクト生成エンジンは、画像に関連するデータ、実際のオブジェクト関連付けられデータ、ポリゴンデータと３Ｄモデルを複数のポリゴンを含む３Ｄモデルをシミュレートするためのオブジェクトのテクスチャデータを使用する。
9. クレーム６のシステムのように、強化されたオブジェクトの表示と対話経験はウェアラブルや非ウェアラブルディスプレイでハイパーテキスト転送プロトコルを介してウェブページ上に設けられ、や、スタンドアロンデバイスまたはシステムのようにオフラインコンテンツすることができる。
10. クレーム６のシステムのように、仮想アシスタントサブシステムは、さらに、ボイスコマンドを受信するためのマイクロホンを含む、音声出力装置、仮想アシスタントシステムとの相互作用は、オブジェクト関連情報及び受信正確な応答を得るために、実在の人物と相互作用するユーザーをエミュレートする双方向通信であり、どちらテキスト出力や音声出力の形式でリアルタイムに尋ねたクエリごとのように返信する。
11. クレーム６のシステムのように、テレビ中継のディスプレーヤで特定された各オブジェクトの上に構築されたリンクは、遠隔地やラグ時間で構築されたリンクのライブビデオ放映中にリアルタイムで構築されたダイナミックリンクです。
12. クレーム６のシステムのように、実際のオブジェクト関連付けられデータ、ポリゴンデータと前記オブジェクトのテクスチャデータを中央データベースにや部分的に中央データ記憶装置に記憶されている。

Images