JP2014532225A - コンピューティング装置におけるコンテキストアウェア・モデル・ベースの画像合成及びレンダリングを容易にする機構 - Google Patents

Abstract

本発明の一実施例による、コンピューティング装置において計算的に合成され、レンダリングされる物理オブジェクトの画像及び／又は仮想モデルのコンテキストアウェア合成及びレンダリングを容易にする機構を説明する。本発明の実施例の方法は、シーンに対する、複数のコンピューティング装置それぞれの位置に応じてシーンのポイント・オブ・ビュー位置を提供するよう複数のコンピューティング装置の初期校正を行う工程を含み、複数のコンピューティング装置のコンピューティング装置はネットワークを介して互いに通信する。方法は更に、複数のコンピューティング装置のポイント・オブ・ビュー位置に基づいてシーンのコンテキストアウェア・ビューを生成する工程を含み得る。方法は、シーンのコンテキストアウェア表示に基づいてシーンの画像を生成する工程であって、各画像はコンピューティング装置に対応する工程と、その対応する計算装置において各画像を表示する工程とを含み得る。

Description

本発明の分野は、一般にコンピューティング装置に関し、より具体的には、コンピューティング装置におけるコンテキストアウェア・モデル・ベースの画像合成及びレンダリングを容易にする機構を使用する方法に関する。

コンピューティング装置上のオブジェクトの画像（例えば、３次元（「３Ｄ」）画像）のレンダリングは一般的である。表示されている３Ｄモデルの場合、表示されたオブジェクトは、回転させ、種々の視野角からみることが可能である。しかし、同時に複数のパースペクティブでみることには課題がある。例えば、単一の画面をみる場合、ユーザは、全画面ビューで一度にオブジェクトの１つのパースペクティブをみるか、又は、より小さな複数のウィンドウを介して複数のパースペクティブをみることにし得る。

しかし、前述の従来の手法は、単一のユーザ／装置に制限され、複数のビューのリアルタイム合成及びレンダリングによるものである。

本発明の実施例は、添付図面の図における限定の目的でなく、例示の目的で例証し、同様な参照符号は同様な構成要素を示す。

本発明の一実施例による、コンピューティング装置における画像のコンテキストアウェア合成及びレンダリングを容易にするコンテキストアウェア画像合成及びレンダリング機構を使用するコンピューティング装置を示す図である。 本発明の一実施例による、コンピューティング装置において使用されるコンテキストアウェア画像合成及びレンダリング機構を示す図である。 本発明の一実施例による、画像の種々のパースペクティブを示す図である。 本発明の一実施例による、コンテキストアウェア画像合成及びレンダリング機構を使用した、画像のコンテキストアウェア合成及びレンダリングのシナリオを示す図である。 本発明の一実施例による、コンテキストアウェア画像合成及びレンダリング機構を使用した、画像のコンテキストアウェア合成及びレンダリングのシナリオを示す図である。 本発明の一実施例による、コンテキストアウェア画像合成及びレンダリング機構を使用した、画像のコンテキストアウェア合成及びレンダリングのシナリオを示す図である。 本発明の一実施例による、コンピューティング装置におけるコンテキストアウェア画像合成及びレンダリング機構を使用した画像のコンテキストアウェア合成及びレンダリングを容易にする方法を示す図である。 本発明の一実施例による、コンピューティング・システムを示す図である。

本発明の実施例は、本発明の一実施例による、コンピューティング装置における画像のコンテキストアウェア合成及びレンダリングを容易にする機構を提供する。本発明の実施例の方法は、シーンに対して、複数のコンピューティング装置それぞれの位置に応じたシーンのポイント・オブ・ビュー位置を提供するよう複数のコンピューティング装置の初期校正を行う工程を含み、複数のコンピューティング装置のコンピューティング装置はネットワークを介して互いに通信する。方法は更に、複数のコンピューティング装置のポイント・オブ・ビュー位置に基づいてシーンのコンテキストアウェア・ビューを生成する工程を含み得、コンテキストアウェア・ビューはそれぞれ、コンピューティング装置に対応する。方法は、シーンのコンテキストアウェア・ビューに基づいてシーンの画像を生成する工程であって、各画像はコンピューティング装置に対応する工程と、その対応するコンピューティング装置において各画像を表示する工程とを含み得る。

更に、本発明の実施例のシステム又は装置は、コンピューティング装置における画像のコンテキストアウェア合成及びレンダリングを容易にする機構を提供し、上述の処理、並びに、本明細書を通して記載された他の方法及び／又は処理を行い得る。例えば、一実施例では、本発明の実施例の装置は、上述の初期校正を行うための第１のロジック、コンテキストアウェア・ビューの上述の生成を行うための第２のロジック、画像の上述の生成を行うための第３のロジック、上述の表示を行うための第４のロジック、並びに、本明細書及び特許請求の範囲に記載の他の処理及び／又は方法を行うために他のロジック、又は同様なロジックの組などの同様な構成を含み得る。

図１は、本発明の一実施例による、コンピューティング装置における画像のコンテキストアウェア合成及びレンダリングを容易にするコンテキストアウェア画像合成及びレンダリングを使用するコンピューティング装置を示す。一実施例では、コンピューティング装置における画像のコンテキストアウェア合成及びレンダリングを提供するためのコンテキストアウェア画像処理及びレンダリング（「ＣＩＰＲ」）機構１０８を有するものとしてコンピューティング装置１００を示す。コンピューティング装置１００は、スマートフォン（例えば、アイフォン（登録商標）、ブラックベリー（登録商標）等）を含むセルラー電話機などのモバイル・コンピューティング装置、ハンドヘルド型コンピューティング装置、携帯情報端末（ＰＤＡ）等、タブレット型コンピュータ（例えば、アイパッド（登録商標）、サムソン（登録商標）社Ｇａｌａｘｙ Ｔａｂ（登録商標）等）、ラップトップ型コンピュータ（例えば、ノートブック、ネットブック）、ｅリーダ（例えば、Ｋｉｎｄｌｅ（登録商標）、Ｎｏｏｋ（登録商標）等）、ケーブル・セットトップ・ボックス等を含み得る。コンピューティング装置１００は更に、（デスクトップ型コンピュータ、サーバ・コンピュータ等などの）更に大型のコンピューティング装置を含み得る。

一実施例では、ＣＩＰＲ機構１０８は、画面上の、何れかの数の方向、角度等におけるビュー又は画像（例えば、オブジェクト、シーン、人等の画像）の合成及びレンダリングを容易にする。更に、一実施例では、複数のコンピューティング装置がネットワークを介して互いに通信する場合、複数のコンピューティング装置それぞれのユーザ（例えば、ビュ―ア）はそれぞれ、ビュー又は画像を構成し、レンダリングし、それぞれの特定のコンピューティング装置上で表示されるような、画像のコンテキスト（例えば、配置、位置等）に応じて、ネットワークを介して通信する他のコンピューティング装置全てにレンダリングを送信し得る。このことは、後続の図を参照して更に説明する。

コンピューティング装置１００は、ユーザと、コンピューティング装置１００の何れかのハードウェア・リソース又はソフトウェア・リソースとの間のインタフェースとしての役目を担うオペレーティング・システム１０６を更に含む。コンピューティング装置１００は更に、１つ又は複数の、タッチスクリーン、タッチ・パネル、タッチ・パッド、仮想のキーボード又は通常のキーボード、仮想のマウス又は通常のマウス等などの入出力源１１０、及び、プロセッサ１０２、メモリ装置１０４、ネットワーク装置、ドライバ、ディスプレイ等を含む。「マシン」、「装置」、「コンピューティング装置」、「コンピュータ」、「コンピューティング・システム」等のような用語は、本明細書及び特許請求の範囲を通して同義で使用されるものとする。

図２は、本発明の一実施例による、コンピューティング装置において使用されるコンテキストアウェア画像合成及びレンダリング機構を示す。一実施例では、ＣＩＰＲ機構１０８は、パースペクティブ・ポイント・オブ・ビュー（「ＰＯＶ」）位置の初期校正で開始するための校正器２０２を含む。校正器２０２は、何れかの数及びタイプの方法を使用して校正を行うことが可能である。校正は、ユーザ・インタフェースを使用してコンピューティング装置にコンピューティング装置の現在の位置をユーザ（例えば、ビューア）が入力することで開始し得、又は、２つ以上のコンピューティング装置が互いに衝突し、１つ又は複数のセンサ２０４によって得られた値に基づいて、それらが同じＰＯＶにあり、場合によっては別々の方向をみているということを確かめることを可能にする「校正のための衝突」の手法などにより、前述の位置を自動的に入力し得る。例えば、対向する２つの側から仮想オブジェクトをみている２つのノートブック・コンピュータを背中合わせに配置し得る。初期校正が行われると、移動がセンサ２０４によって検出され、次いで、その処理モジュール２１２を介して処理するために画像レンダリング・システム（「レンダリング器」）２１０に中継される。前述の画像レンダリングは、単一のコンピューティング装置上で、又はそれぞれの個別のコンピューティング装置上で行い得る。画像がレンダリングされると、ネットワーク（例えば、インターネット、イントラネット等）を介して接続された各コンピューティング装置上に表示モジュール２１４を介して表示される。更に説明すれば、別々の３つの関連したシナリオを図３Ｂ乃至図３Ｄを参照して説明する。

一実施例では、ＣＩＰＲ機構１０８は、実像の側部全てを範囲に含む１つ又は複数のカメラを使用して、次いで、例えば、１つ又は複数のプログラミング手法若しくはアルゴリズムを使用して、オブジェクト、シーン等のモデル（例えば、３Ｄコンピュータ・モデル）を生成するためのモデル生成器２０６を更に含む。ＣＩＰＲ機構１０８をホスティングするコンピューティング装置は更に、１つ又は複数のカメラ（図示せず）を使用し、又は上記カメラと通信し得る。更に、モデル生成器２０６は、例えば、シーン等の外形、テクスチャ、色合い、照明の数理モデルに基づいて、かつ／又は、例えば、コンピュータ・グラフィクスを使用して前述のモデル画像を生成し得る。モデル生成器は更に、経時的に画像のオブジェクト（又はシーン、人等）がどのようにしてふるまうかを説明する物理学に基づいてモデル画像を生成し、互いに相互作用し、外的刺激（例えば、ユーザのうちの一人による仮想接触等）に反応し得る。更に、前述のモデル画像は、ビデオ・ストリームにおけるように複数の画像の時間ベースのシーケンス、又は静止画像であり得る。

ＣＩＰＲ機構１０８は更に、モデルの元の位置付けに対して、空間における特定の向き及び位置から３Ｄ画像をみる必要があるユーザ／ビューアの位置を固定するパースペクティブＰＯＶを提供するためのＰＯＶモジュール２０８を含む。ここで、一実施例では、パースペクティブＰＯＶは、コンピューティング装置が配置された位置からモデルをレンダリングする必要があるコンピューティング装置の位置を表し得る。パースペクティブ・ビュー・ウィンドウ（「ビュー」）はＰＯＶからみたモデルを示す。上記ビューは、モデルに対して、パースペクティブ・レンダリングと呼ばれる１つ又は複数の画像変換をモデルに施すことによって得ることができる。

１つ又は複数のセンサ２０４（例えば、動きセンサ、位置センサ等）は、コンピューティング装置がそのＰＯＶを判定することを容易にする。例えば、コンピューティング装置は、それ自体を数え上げ、複数のコンピューティング装置からリーダ・コンピューティング装置を選び、例えば、円（例えば、４つのコンピューティング装置の間隔が９０度である等）周りの等距離点を計算し、モデル周りの固定ＰＯＶを選択する等をすることが可能である。更に、モデル周りの円におけるＰＯＶの回転の角度は自動的に判定し得る。センサ２０４は、動き、相対移動、向き、及び位置を検出するために使用することが可能な、加速度計、ジャイロメータ、コンパス、傾斜計、全地球測位システム（ＧＰＳ）等のような特殊なハードウェア・センサであり得る。センサ２０４は、位置を判定するためにコンピューティング装置周りのワイファイ・アクセス・ポイントの近く、又は種々の無線送信器の信号強度の検出などの機構を使用するソフトウェア・センサを含み得る。前述の細粒度センサ・データは、モデルに対する、空間及び向きにおける各ユーザの位置を判定するために使用し得る。使用される方法にかかわらず、ここで関係性の高いのは、算出されるか、又は得られるセンサ・データである。

コンピューティング装置間で、コンピューティング装置における画像のコンテキストアウェア合成及びレンダリングを提供するためにＣＩＰＲ機構１０８の作用及び運用性を容易にするために、何れかの数及びタイプの構成部分をＣＩＰＲ機構１０８との間で追加し、除外し得るということが想定される。話を簡潔かつ明瞭にし、理解を容易にし、ＣＩＰＲ機構１０８に焦点を当てるために、コンピューティング装置、カメラ等などの種々の装置のデフォルトの、又は既知の構成部分の多くは、ここでは示しておらず、又は記載していない。

図３Ａは、本発明の一実施例による、画像の種々のパースペクティブを示す。図示したように、種々のオブジェクト３０２がテーブル上に配置される。そこで、それぞれがコンピューティング装置（例えば、タブレット・コンピュータ、ノートブック、スマートフォン、デスクトップ等）を備えた４人のユーザが、テーブルの周りに座っている（か、又は、それぞれのコンピューティング装置上のオブジェクト３０２の仮想画像を遠隔でみている）と仮定する。例証したように、前述の画像３０４、３０６、３０８、及び３１０はそれぞれ、別々の４つの位置（北、東、南、及び西）から違ったふうにみえ、テーブルにつくユーザ、又はテーブル上のそのコンピューティング装置若しくはオブジェクト３０２が動き回るにつれ、それらの画像が変わる。例えば、オブジェクト３０２の１つが、テーブル上で動き、又はテーブルから除去された場合、４つの画像３０２乃至３１０それぞれは、テーブル上のオブジェクト３０２の現在の配置における変動に応じて変わる。

例えば、図示したように、画像３０２−３１０が、テーブル上のオブジェクト３０２の３Ｄモデルのビューである場合、各画像は仮想オブジェクト３０２の別々の３Ｄビューを提供する。ここで、一実施例では、画像３１０などの画像に示されている仮想オブジェクトを仮想空間内でユーザにより、自分のコンピューティング装置上で（例えば、マウス、キーボード、タッチ・パネル、タッチ・パッド等を使用して）移動させた場合、それぞれのコンピューティング装置上でレンダリングされている画像３０４乃至３１０は全て、（仮想オブジェクトでなく）実オブジェクト３０２の１つを移動させたかのように、自分自身のＰＯＶに応じて変わる。同様に、一実施例では、画像３１０をレンダリングするコンピューティング装置などのコンピューティング装置が、何らかの理由で（ユーザ、事故、又は特定の他の理由などにより、）移動し、前述のコンピューティング装置上の画像３１０のレンダリングも変わる。例えば、コンピューティング装置が中央に近付けられた場合、画像３１０は、実画像３０２を表す仮想画像のズームイン・ビュー、又はより大きなビューをもたらし、対照的に、コンピューティング装置が遠ざけられた場合、画像３１０は仮想オブジェクトの遠隔の、ズームアウト・ビューを示す。すなわち、実在する人が実オブジェクト３０２をみているかにように思われ、又は、実在する人が実オブジェクト３０２をみているかのような状態を表す。

ここに示すオブジェクト３０２が例として、かつ、話を簡潔にかつ明瞭にし、理解を容易にするために示されているに過ぎず、本発明の実施例があらゆる類のオブジェクト、物、人、シーン等と互換であり、あらゆる類のオブジェクト、物、人、シーン等を対象にすることが想定されている。例えば、オブジェクト３０２の代わりに、建物は画像３０２乃至３１０としてみることができる。同様に、例えば、北、東、南、及び西などの種々のサイド又はエンドからのサッカーの試合の種々のリアルタイム高品位３Ｄビューを、対応する画像３０４、３０６、３０８、及び３１０それぞれによってレンダリングし得る。画像が、ここで例証されたような４つの側部に限定されず、北東、南西、上方、下方、円形等などの何れかの数の側部を捕捉し得るということが更に想定される。更に、例えば、インタアクティブなゲームの場合、一実施例では、複数のプレイヤは、テーブルの周りに（又は、それぞれの自宅若しくは他の場所に）座り、スクラブルのようなボード・ゲームなどのゲームをプレイし、各コンピューティング装置は、それ自身の方向パースペクティブからゲーム基板をみる。

例えば、２人のプレイヤによって使用される２つのコンピューティング装置の２つの画面によるテニスの試合により、自分の自宅にいる第１のユーザ／プレイヤがテニスボールを自分のオフィスにいる第２のユーザ／プレイヤに向けて仮想的に打ち、仮想コートの反対側に入れることが可能になり得る。第２のプレイヤは仮想ボールを受け取り、第１のプレイヤに向けて打ち返し、あるいは、仮想ボールを打ちそこね、あるいは、打ったボールが仮想的にアウトオブバウンズになる。同様に、４人のユーザ／プレイヤは、ダブルスの試合を行うことが可能であり、更なる他のユーザは自分自身の物理的な場所／位置、及び、例えば、仮想テニス・コートに対するコンテキストに基づいた自分自身の個々のパースペクティブから仮想ゲームを観ている観客としての役目を担い得る。前述のユーザは、同じ部屋にいるか、又はそれぞれ、自宅、オフィス、公園、浜、道路、バス、電車等において世界中に分散する。

図３Ｂは、本発明の一実施例による、コンテキストアウェア画像合成及びレンダリング機構を使用した、モデルのコンテキストアウェア合成及びレンダリングのシナリオを示す。シナリオ３２０では、一実施例において、複数のコンピューティング装置３２２−３２８の組がネットワーク３３０（例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイド・エリア・ネットワーク（ＷＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、パーソナル・エリア・ネットワーク（ＰＡＮ）、ブルートゥース（登録商標）、インターネット、イントラネット等）を介して通信し、単一のコンピューティング装置３２２は、モデル２０６Ａを含み、コンピューティング装置３２２−３２８から受信された位置データに基づいて複数のコンピューティング装置３２２−３２８の複数のＰＯＶ３３６Ａ、３３６Ｂ、３３６Ｃ、３３６Ｄのビューを生成する役割を果たす。各コンピューティング装置３２２−３２８はそれぞれ、それ自身のＰＯＶモジュール（図２にＰＯＶモジュール２０８と示す）を有し得るので、ＰＯＶ３３６Ａ−３３６Ｄは、各コンピューティング装置３２２−３２８によって判定し、コンピューティング装置３２２に送信し得る。レンダリング器２１０Ａがビュー３３２Ａ−３３２Ｄ全てを生成し得るように各ＰＶ３３６Ａ−３３６Ｄがモデル２０６Ａに付加される。例証された実施例では、各コンピューティング装置３２２、３２４、３２６、３２８はそれ自体のＰＯＶ３３６Ａ−Ｄを有する一方、別の実施例では、コンピューティング装置３２２は、その個々のセンサ２０４Ａ−Ｄからのデータに基づいて他の参加コンピューティング装置３３４−３２８のＰＯＶ３３６Ｂ−３３６Ｄを生成し得る。コンピューティング装置３２２−３２８は、スマートフォン、タブレット型コンピュータ、ノートブック、ネットブック、ｅリーダ、デスクトップ等、又はそれらの何れかの組み合わせ等を含み得る。

一実施例では、コンピューティング装置３２２におけるＣＩＰＲ機構は複数のビュー３３２Ａ−３３２Ｄを生成し、それらはそれぞれ次いで、図２に関して参照したようなＣＩＰＲ機構のレンダリング器２１０の処理モジュールとの組み合わせで表示モジュールによって行われた表示リダイレクションとして知られている転送処理を使用して、対応するコンピューティング装置３２２−３２８に送出される。表示リダイレクションの処理には、ビュー・ウィンドウのグラフィカル・コンテンツを符号化し、効率的な伝送のためにコンテンツを圧縮し、各ビュー３３２Ｂ−３３２Ｄをその対応するターゲット・コンピューティング装置３２４−３２８に送出するフォワード処理が関係し得、そこでは、処理モジュールを介して、伸長し、復号化し、コンピューティング装置３２４−３２８それぞれの表示画面上のビュー３３２Ｂ−３３２Ｄに基づいて画像をレンダリングするリバース処理が関係し得る。主コンピューティング装置３２２に関しては、ビュー３３２Ａが生成され、表示リダイレクションのために処理され（フォワード処理及びリバース処理）、コンピューティング装置３２２における画面上に表示されるように処理を内部で行い得る。更に、例証されたように、適切なＰＯＶ ３３６Ａ−３３６Ｄ、及びビュー３３２Ａ−３３２Ｄを適切に生成し得るように表示されているオブジェクト又はシーン等に関してコンピューティング装置３２２−３２８それぞれのコンテキストアウェアの場所、位置等を検知するためにセンサ２０４Ａ−Ｄが提供される。

ユーザ入力３３４Ａ−３３４Ｄは、コンピューティング装置３２２−３２８それぞれにおけるユーザ・インタフェース及び入力装置（例えば、キーボード、タッチ・パネル、マウス等）を介してコンピューティング装置３２２−３２８の何れかのユーザによって提供される入力を表す。前述のユーザ入力３３４Ａ−３３４Ｄは、コンピューティング装置３２６の表示画面上に表示されているオブジェクト又はシーンの何れかの変更又は移動を、ユーザがコンピューティング装置３２６などから要求することが関係し得る。例えば、ユーザは、画面の一部分から別の部分に、表示されている仮想オブジェクトをドラッグし、移動させるようにし得、それは、次いで、他のユーザそれぞれの仮想オブジェクトのビューを変更することが可能であり、よって、新たなビュー３３２Ａ−３３２Ｄが、コンピューティング装置３２２においてＣＩＰＲ機構によって生成され、それ自体及び他のコンピューティング装置３２４−３２８における表示のためにレンダリングされる。あるいは、ユーザは、コンピューティング装置３２６の表示画面との間で仮想オブジェクトを追加又は除去し、前述のオブジェクトが各装置３２２−３２８のＰＯＶから目に見えたか否かに応じてビュー３３２Ａ−３３２Ｄとの間で仮想オブジェクトのビューの追加又は除去をもたらし得る。

ここで、図３Ｃを参照するに、本発明の一実施例による、コンテキストアウェア画像合成及びレンダリング機構を使用した画像のコンテキストアウェア合成及びレンダリングのシナリオを示す。話を簡潔にするために、図３Ｂ及び他の先行する図を参照して説明した構成部分の一部はここでは説明しない。前述のシナリオ３５０では、各コンピューティング装置３２２−３２８は、モデル２０６Ａ−２０６Ｂ（例えば、同じモデル）を含む。このモデル２０６Ａ−２０６Ｄは、インターネットからなどの中央サーバからダウンロード又はストリーミングされ、又は、ネットワーク３３０を介した通信で、参加しているコンピューティング装置３２２−３２８の１つ又は複数から供給され得る。それ自身の位置データに基づいて、コンピューティング装置３２２−３２８それぞれは、それ自身のＰＯＶ３３６Ａ−３３６Ｄを行い、処理し、対応するビュー３３２Ａ−３３２Ｄを生成し、表示リダイレクションの処理、並びにそのフォワード処理及びリバース処理を含む関連した変換を行い、それ自身の表示画面上に結果として生じる画像をレンダリングする。前述のシナリオ３５０は、各参加コンピューティング装置３２２−３２８と無関係に、コンテンツの表示の更なるデータ転送及び時間同期化を使用し得る。更に、ユーザ・インタフェースを介したユーザ相互作用により、各コンピューティング装置３２２−３２８は、それ自身のモデル２０６Ａ−２０６Ｄを更新することが可能であり得る。

図３Ｄは、本発明の一実施例による、コンテキストアウェア画像合成及びレンダリング機構を使用した、画像のコンテキストアウェア合成及びレンダリングのシナリオを示す。話を簡潔にするために、図３Ｂ及び図３Ｃ、並びに他の先行する図を参照して説明した構成部分はここでは説明しない。前述のシナリオ３７０では、各コンピューティング装置３２２−３２８は、観察されているオブジェクト又はシーンに向けられたそれ自身のカメラ３４２Ａ−３４２Ｄ（例えば、ビデオ捕捉装置の何れかのタイプ又は形態）を使用する。例として、コンピューティング装置３２２−３２８を校正するために、コンピューティング装置３２２−３２８がオブジェクトに面し、その適切な校正が実現されるまで調節することが可能であるどこかの場所に物理オブジェクト（例えば、特定のマーキングを有する立方体）を配置し得る。更に、３Ｄカメラ位置を含むメタデータを、圧縮されたビデオ・ビットストリームに注釈し得る。一実施例では、ＰＯＶ３３６Ａ−３３６Ｄは、物理シーン又はオブジェクト及びその３Ｄ座標の圧縮されたビデオをレンダリング器２１０Ａに送信するために使用し得る。

校正が実現されると、元のビュー３３２Ａ−３３２Ｄを圧縮されたビットストリームに注釈することが可能である。更に、コンピューティング装置３２２−３２８の何れかを移動させる（例えば、わずかに、又は大きく移動させるか、参加から完全に除外するか、又は参加するようコンピューティング装置を追加した場合）につれ、その３Ｄ位置が再計算又は判定され、物理ビデオ（又は静止画像）を、図３Ｂのように、圧縮し、単一の／選ばれたコンピューティング装置３２２に送信し、又は、図３Ｃにように、複数のコンピューティング装置３２２−３２８における複数のレンダリング装置に送信する。各コンピューティング装置３２２−３２８では、受信されたビデオ（又は静止画像）が、伸長し、ビットストリーム復号化器３４０によって復号化する等のリバース処理を受け、３Ｄメタデータは、物理モデル及び仮想モデルをビデオ・バッファに合成するために使用される。

一実施例では、各コンピューティング装置３２２−３２８は、一度校正され、次いで、カメラ３４２Ａ−３４２Ｄを使用してビデオ又は静止画像を連続して捕捉し、それに、ビットストリーム（及び／又は静止画像）等の圧縮、注釈、送信、及び受信が続き得る。受信側の（合成）コンピューティング装置３２２−３２８は、ビットストリーム（及び／又は静止画像）並びに仮想モデル２０６Ａを使用して複数のビュー３３２Ａ−３３２Ｂを構築し得、複数のビュー３３２Ａ−３３２Ｂは次いで、圧縮され、送信され、次いで、受信され、伸長され、次いで、コンピューティング装置３２２−３２８の表示画面上に表示され得る。モデル２０６Ａは、ビュー３３２Ａ−３３２Ｄ毎にレンダリングし得るが、更に、変化していることがあり得る。例えば、特定のモデル２０６Ａは、どのようにしてモデル２０６Ａの種々の構成部分が経時的に移動させられ、互いに相互作用するかを説明する物理エンジンを含み得る。更に、ユーザは、モデル２０６Ａ内のオブジェクト又はシーンにクリック又は接触することにより、又は何れかの他のインタフェース機構（例えば、キーボード、マウス等）を使用することにより、モデル２０６Ａと相互作用することができることもあり得る。前述の場合には、モデル２０６Ａを更新し得、その場合、個々のビュー３３２Ａ−３３２Ｄそれぞれに影響を及ぼすか、又は個々のビュー３３２Ａ−３３２Ｄを変える可能性が高い。更に、モデル２０６Ａが個々のコンピューティング装置３２２−３２８それぞれによってレンダリングされている場合、モデル２０６Ａの関連した更新をレンダリング器２１ＯＡにより、主コンピューティング装置３２２及び他のコンピューティング装置３２４−３２８に送信又は供給し、よって、ビュー３３２Ａ−３３２Ｄを更新し得るようにし得る。更新されたビュー３３２Ａ−３３２Ｄの変換された画像は、次いで、コンピューティング装置３２２−３２の表示画面上に表示し得る。

図４は、本発明の一実施例による、コンピューティング装置におけるコンテキストアウェア画像合成及びレンダリング機構を使用した画像のコンテキストアウェア合成及びレンダリングを容易にする方法を示す。方法４００は、ハードウェア（例えば、回路、専用ロジック、プログラマブル・ロジック等）、（処理装置上で実行される命令などの）ソフトウェア、又はそれらの組み合わせを含み得る処理ロジックによって行い得る。一実施例では、方法４００は、複数のコンピューティング装置上の図１のＣＩＰＲ機構によって行い得る。

方法４００は、表示されているオブジェクト又はシーン等を参照してＰＯＶ位置の適切な校正を実現するために、ネットワークを介して通信する複数の参加コンピューティング装置の校正を有するブロック４０５で始まる。ブロック４１０では、シーン内のオブジェクト又は何か、及び／若しくは、コンピューティング装置の何れかの移動が１つ又は複数のセンサにより、検出又は検知される。ブロック４１５では、検出された移動は、一実施例による、ＣＩＰＲ機構をホスティングする主コンピューティング装置として選ばれたコンピューティング装置のレンダリング器に中継される。別の実施例では、複数の装置は、ＣＩＰＲ機構を使用し得る。ブロック４２０では、ビューが、複数のコンピューティング装置それぞれについて生成される。ブロック４２５では、ビューの対応する画像を生成することが可能であるようにビュー毎に表示リディレクション（例えば、フォワード処理、リバース処理等）が行われる。ブロック４３０では、前述の画像が次いで、参加しているコンピューティング装置の表示画面上に表示される。

図５は、本発明の一実施例により、コンテキストアウェア画像機構を使用して、画像のコンテキストアウェア合成及びレンダリングを容易にするコンピューティング・システムを示す。例示的なコンピューティング・システム５００は、図１及び図３Ｂ−図３Ｄのコンピューティング装置１００、３２２−３２８と同じ又は同様であり得、１）上記構成を少なくとも１つが含み得る１つ又は複数のプロセッサ５０１、 ２）（例えば、メモリ制御ハブ（ＭＣＨ）、Ｉ／Ｏ制御ハブ（ＩＣＨ）、プラットフォーム・コントローラ・ハブ（ＰＣＨ）、システム・オン・チップ（ＳｏＣ）等を含む）チップセット５０２、 ３）（倍データレートＲＡＭ（ＤＤＲ ＲＡＭ）、拡張データ出力ＲＡＭ（ＥＤＯ ＲＡＭ）等などの各種が存在する）システム・メモリ５０３、 ４）キャッシュ５０４、 ５）グラフィクス・プロセッサ５０６、 ６）（陰極線管（ＣＲＴ）、薄膜トランジスタ（ＴＦＴ）、発光ダイオード（ＬＥＤ）、分子有機ＬＥＤ（ＭＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、ディジタル投光機（ＤＬＰ）等などの各種が存在している）ディスプレイ／画面、及び ７）１つ又は複数のＩ／Ｏ装置５０８を含み得る。

１つ又は複数のプロセッサ５０１は、コンピューティング・システムが実現する如何なるソフトウェア・ルーチンをも行うために命令を実行する。命令には、データに対して行われる特定の類の動作が関係することが多い。データ及び命令はともにシステム５０３及びキャッシュ５０４に記憶される。キャッシュ５０４は通常、システム・メモリ５０３よりも短いレーテンシ時間を有することが企図されている。例えば、キャッシュ５０４は、プロセッサと同じシリコン・チップ上に集積させ、かつ／又は、より高速のスタティックＲＡＭ（ＳＲＡＭ）セルで構成し得る一方、システム・メモリ５０３は、より低速のダイナミックＲＡＭ（ＤＲＡＭ）セルで構成し得る。システム・メモリ５０３に対して、より頻繁に使用される命令及びデータをキャッシュ５０４に記憶する傾向があることにより、コンピューティング・システムの全体的な性能効率が向上する。

システム・メモリ５０３は意図的に、コンピューティング・システム内の他の構成部分に利用可能にされる・例えば、コンピュータ・システムの内部記憶エレメント（例えば、ハード・ディスク・ドライブ）から取り出され、又は、コンピューティング・システムへの種々のインタフェース（例えば、キーボード及びマウス、プリンタ・ポート、ＬＡＮ、ポート、モデム・ポート等）から受け取られたデータは、ソフトウェア・プログラムの実現形態において１つ又は複数のプロセッサ５０１によって処理される前に、システム・メモリ５０３に一時的にキューイングされることが多い。同様に、コンピューティング・システム・インタフェースの１つを介して外部エンティティにコンピューティング・システムから送出されるか、内部記憶エレメントに記憶されるべきであるとソフトウェア・プログラムが判定するデータは、送信又は記憶される前にシステム・メモリ５０３に一時的にキューイングされることが多い。

チップセット５０２（例えば、ＩＣＨ）は、システム・メモリ５０３と、その適切な対応コンピューティング・システム・インタフェース（及び、コンピューティング・システムがそう設計されている場合には、内部記憶装置）との間で前述のデータが適切に転送されることを確実にする役割を果たし得る。チップセット（例えば、ＭＣＨ）は、互いに時間的に近くで生じ得る、プロセッサ５０１と、インタフェースと、内部記憶エレメントとの間での、システム・メモリ５０３のアクセスへの種々の競合する要求を管理する役割を果たし得る。

１つ又は複数のＩ／Ｏ装置５０８は更に、通常のコンピューティング・システムにおいて実現される。Ｉ／Ｏ装置は一般に、コンピューティング・システムとの間でデータを転送する役割を果たし（例えば、ネットワーキング・アダプタ）、又はコンピューティング・システム内の大規模の不揮発性記憶装置の役割を果たす（例えば、ハード・ディスク・ドライブ）。チップセット５０２のＩＣＨは、それ自体と、観察されたＩ／Ｏ装置５０８との間で双方向ポイントツーポイント・リンクを提供し得る。

本発明の種々の実施例の一部分は、本発明の実施例による処理を行うようコンピュータ（又は他の電子装置）をプログラムするために使用し得るコンピュータ・プログラム命令を記憶させたコンピュータ読み取り可能な媒体を含み得るコンピュータ・プログラム・プロダクトとして提供し得る。マシン読み取り可能な媒体は、限定列挙でないが、フロッピー（登録商標）・ディスク、光ディスク、コンパクト・ディスク・リードオンリ・メモリ（ＣＤ−ＲＯＭ）、及び光磁気ディスク、ＲＯＭ、ＲＡＭ、消去可能なプログラマブル・リードオンリ・メモリ（ＥＰＲＯＭ）、電気的に消去可能なＥＰＲＯＭ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュ・メモリ、又は、電子命令の記憶に適した他のタイプの媒体／マシン読み取り可能な媒体を含み得る。

図に示す手法は、コードを使用して実現し、１つ又は複数の電子装置（例えば、端局、ネットワーク・エレメント）上で実行することが可能である。前述の電子装置は、一時的でないコンピュータ読み取り可能な記憶媒体（例えば、磁気ディスク、光ディスク、ランダム・アクセス・メモリ、リードオンリ・メモリ、フラッシュ・メモリ装置、相変化メモリ）及び一時的なコンピュータ読み取り可能な伝送媒体（例えば、電気、光、音響、又は他の形式の伝搬信号（搬送波、赤外信号、ディジタル信号など））などのコンピュータ読み取り可能な媒体を使用して、コード及びデ―タを（内部的に、かつ／又は、ネットワークを介して他の電子装置との間で）記憶し、通信する。更に、前述の電子装置は通常、１つ又は複数の記憶装置（一時的でないマシン読み取り可能な記憶媒体）、ユーザ入出力装置（例えば、キーボード、タッチ画面、及び／又はディスプレイ）、及びネットワーク接続などの他の１つ又は複数の構成部分に結合された１つ又は複数のプロセッサの組を含む。プロセッサ及び他の構成部分の組の結合は通常、１つ又は複数のバス及びブリッジ（バス・コントローラとも呼ばれる）を介する。よって、特定の電子装置の記憶装置は通常、前述の電子装置の１つ又は複数のプロセッサの組上の実行のためのデータ及び／又はコードを記憶する。当然、本発明の実施例の１つ又は複数の部分は、ソフトウェア、ファームウェア、及び／又はハードウェアの種々の組み合わせを使用して実現し得る。

上記明細書では、本発明は、その特定の例示的な実施例を参照して説明してきた。しかし、特許請求の範囲に記載の本発明のより広い趣旨及び範囲から逸脱しない限り、修正及び変更を行い得るということは明らかとなろう。よって、明細書及び添付図面は、制限的意味合いというよりもむしろ例証的意味合いでとらえられるものとする。

Claims (21)

1. コンピュータによって実現される方法であって、
   シーンに対する、複数のコンピューティング装置それぞれの位置に応じて前記シーンのポイント・オブ・ビュー位置を提供するよう前記複数のコンピューティング装置の初期校正を行う工程であって、前記複数のコンピューティング装置はネットワークを介して互いに通信する工程と、
   前記複数のコンピューティング装置の前記ポイント・オブ・ビュー位置に基づいて前記シーンのコンテキストアウェア・ビューを生成する工程であって、コンテキストアウェア・ビューそれぞれがコンピューティング装置に対応する工程と、
   前記シーンの前記コンテキストアウェア・ビューに基づいて前記シーンの画像を生成する工程であって、各画像がコンピューティング装置に対応する工程と、
   その対応するコンピューティング装置において各画像を表示する工程とを含む、コンピュータによって実現される方法。
2. 請求項１記載のコンピュータによって実現される方法であって、
   前記シーンの１つ又は複数のオブジェクトの操作を検出する工程と、
   前記操作に基づいた新たなポイント・オブ・ビュー位置を提供するよう前記複数のコンピューティング装置の再校正を行う工程と
   を更に含む、コンピュータによって実現される方法。
3. 請求項２記載のコンピュータによって実現される方法であって、更に、
   前記新たなポイント・オブ・ビュー位置に基づいて前記シーンの新たなコンテキストアウェア・ビューを生成する工程と、
   前記新たなコンテキストアウェア・ビューに基づいて前記シーンの新たな画像を生成する工程と、
   その対応するコンピューティング装置において新たな画像それぞれを表示する工程と
   を含む、コンピュータによって実現される方法。
4. 請求項１記載のコンピュータによって実現される方法であって、更に、
   前記複数のコンピューティング装置のうちの１つ又は複数のコンピューティング装置の移動を検出する工程と、
   前記操作に基づいた新たなポイント・オブ・ビュー位置を提供するよう前記複数のコンピューティング装置の再校正を行う工程とを含む、コンピュータによって実現される方法。
5. 請求項４記載のコンピュータによって実現される方法であって、更に、
   前記新たなポイント・オブ・ビュー位置に基づいて前記シーンの新たなコンテキストアウェア・ビューを生成する工程と、
   前記シーンの前記新たなコンテキストアウェア・ビューに基づいて前記シーンの新たな画像を生成する工程と、
   その対応するコンピューティング装置において新たな画像それぞれを表示する工程と
   を含む、コンピュータによって実現される方法。
6. 請求項１記載の、コンピュータによって実現可能な方法であって、前記シーンの画像を生成する工程は、１つ又は複数の仮想表示リディレクションを行って、前記画像をその対応するコンピューティング装置に送信する工程を含み、前記表示リディレクションは、前記画像の圧縮、符号化、送信を含むフォワード処理、及び、前記画像の伸長、復号化、受信を含むリバース処理を含む、コンピュータによって実現可能な方法。
7. 請求項１記載のコンピュータによって実現される方法であって、
   前記複数のコンピューティング装置は、スマートフォン、携帯情報端末（ＰＤＡ）、ハンドヘルド型コンピュータ、ｅリーダ、タブレット型コンピュータ、ノートブック、ネットブック、及びデスクトップ型コンピュータの１つ又は複数を含む、コンピュータによって実現される方法。
8. システムであって、
   命令を記憶するためのメモリと、前記命令を実行するための処理装置とを有するコンピューティング装置を備え、前記命令は前記処理装置に
   前記コンピューティング装置の初期校正を行って、シーンに対する前記コンピューティング装置の位置に応じて前記シーンのポイント・オブ・ビュー位置を提供し、前記初期校正に関する情報を１つ又は複数のコンピューティング装置に伝達して、それぞれの１つ又は複数の初期校正を行って、前記シーンのポイント・オブ・ビュー位置を、前記シーンに対する前記１つ又は複数のコンピューティング装置それぞれの位置に応じて提供する工程と、
   前記シーンのコンテキストアウェア・ビューを前記コンピューティング装置の前記ポイント・オブ・ビュー位置に基づいて生成する工程と、
   前記シーンの前記コンテキストアウェア・ビューに基づいて前記シーンの画像を生成する工程であって、前記画像が前記コンピューティング装置に対応する工程と、
   前記コンピューティング装置において前記画像を表示する工程と
   を行わせるシステム。
9. 請求項８記載のシステムであって、前記処理装置は更に、
   前記シーンの１つ又は複数のオブジェクトの操作を検出し、
   前記操作に基づいた新たなポイント・オブ・ビュー位置を提供するよう前記コンピューティング装置の再校正を行うシステム。
10. 請求項９記載のシステムであって、前記処理装置は更に、
    前記新たなポイント・オブ・ビュー位置に基づいて前記シーンの新たなコンテキストアウェア・ビューを生成し、
    前記シーンの前記新たなコンテキストアウェア・ビューに基づいて前記シーンの新たな画像を生成し、
    前記コンピューティング装置において新たな画像を表示するシステム。
11. 請求項８記載のシステムであって、前記処理装置は更に、
    前記コンピューティング装置の移動を検出し、
    前記移動に基づいた新たなポイント・オブ・ビュー位置を提供するよう前記コンピューティング装置の再校正を行うシステム。
12. 請求項１１記載のシステムであって、前記処理装置は更に、
    前記新たなポイント・オブ・ビュー位置に基づいて前記シーンの新たなコンテキストアウェア・ビューを生成し、
    前記シーンの前記新たなコンテキストアウェア・ビューに基づいて前記シーンの新たな画像を生成し、
    前記コンピューティング装置において新たな画像を表示するシステム。
13. 請求項８記載のシステムであって、前記シーンの前記画像を生成する工程は、１つ又は複数の仮想表示リディレクションを行って、前記画像を前記コンピューティング装置に送信する工程を含み、前記表示リディレクションは、前記画像の圧縮、符号化、送信を含むフォワード処理、及び、前記画像の伸長、復号化、受信を含むリバース処理を含むシステム。
14. 請求項８記載のシステムであって、前記コンピューティング装置は、スマートフォン、携帯情報端末（ＰＤＡ）、ハンドへルド型コンピュータ、ｅリーダ、タブレット型コンピュータ、ノートブック、ネットブック、及びデスクトップ型コンピュータを含むシステム。
15. コンピューティング装置によって実行されると、前記コンピューティング装置に、
    前記コンピューティング装置の初期校正を行って、シーンに対する前記コンピューティング装置の位置に応じてシーンのポイント・オブ・ビュー位置を提供し、前記初期校正に関する情報を１つ又は複数のコンピューティング装置に伝達して、それぞれの１つ又は複数の初期校正を行って、前記シーンのポイント・オブ・ビュー位置を、前記シーンに対する前記１つ又は複数のコンピューティング装置それぞれの位置に応じて提供する工程と、
    前記シーンのコンテキストアウェア・ビューを前記コンピューティング装置の前記ポイント・オブ・ビュー位置に基づいて生成する工程と、
    前記シーンの前記コンテキストアウェア・ビューに基づいて前記シーンの画像を生成する工程であって、各画像がコンピューティング装置に対応する工程と、
    前記コンピューティング装置において前記画像を表示する工程と
    を行わせる命令を含むマシン読み取り可能な媒体。
16. 請求項１５記載のマシン読み取り可能な媒体であって、前記コンピューティング装置によって実行されると、前記コンピューティング装置に、
    前記シーンの１つ又は複数のオブジェクトの操作を検出し、
    前記操作に基づいた新たなポイント・オブ・ビュー位置を提供するよう前記コンピューティング装置の再校正を行う
    工程を更に行わせる１つ又は複数の命令を更に備えるマシン読み取り可能な媒体。
17. 請求項１６記載のマシン読み取り可能な媒体であって、前記コンピューティング装置によって実行されると、前記コンピューティング装置に、
    前記新たなポイント・オブ・ビュー位置に基づいて前記シーンの新たなコンテキストアウェア・ビューを生成し、
    前記シーンの前記新たなコンテキストアウェア・ビューに基づいて前記シーンの新たな画像を生成し、
    前記コンピューティング装置において新たな画像を表示する
    工程を更に行わせる１つ又は複数の命令を更に備えるマシン読み取り可能な媒体。
18. 請求項１５記載のマシン読み取り可能な媒体であって、前記コンピューティング装置によって実行されると、前記コンピューティング装置に、
    前記コンピューティング装置の移動を検出し、
    前記移動に基づいた新たなポイント・オブ・ビュー位置を提供するよう前記コンピューティング装置の再校正を行う
    工程を更に行わせる１つ又は複数の命令を更に備えるマシン読み取り可能な媒体。
19. 請求項１６記載のマシン読み取り可能な媒体であって、前記コンピューティング装置によって実行されると、前記コンピューティング装置に、
    前記新たなポイント・オブ・ビュー位置に基づいて前記シーンの新たなコンテキストアウェア・ビューを生成し、
    前記シーンの前記新たなコンテキストアウェア・ビューに基づいて前記シーンの新たな画像を生成し、
    前記コンピューティング装置において新たな画像を表示する
    工程を更に行わせる１つ又は複数の命令を更に備えるマシン読み取り可能な媒体。
20. 請求項１５記載のマシン読み取り可能な媒体であって、前記シーンの前記画像を生成する工程は、１つ又は複数の仮想表示リディレクションを行って、前記画像を前記コンピューティング装置に送信する工程を含み、前記表示リディレクションは、前記画像の圧縮、符号化、送信を含むフォワード処理、及び、前記画像の伸長、復号化、受信を含むリバース処理を含むマシン読み取り可能な媒体。
21. 請求項１５記載のマシン読み取り可能な媒体であって、前記コンピューティング装置は、スマートフォン、携帯情報端末（ＰＤＡ）、ハンドへルド型コンピュータ、ｅリーダ、タブレット型コンピュータ、ノートブック、ネットブック、及びデスクトップ型コンピュータを含むマシン読み取り可能な媒体。

Images