JP2018514093A - ズーム関連方法および装置 - Google Patents

Abstract

立体、例えば３Ｄ表示の間、ユーザが制御するズーム操作を実現するための方法および装置を説明する。シーン環境の３Ｄ表示を見る間、ユーザは、表示されている環境の特定の部分上でユーザがズームできるようにするズームモードに切り替えてもよい。イベントに物理的に存在する効果を維持するために、環境を考慮して、突然の非現実世界のような変化からユーザを不快にするリスクを低減するためにも、ズーム操作モードを開始することに応答するユーザに、一組の双眼鏡をのぞいた結果として期待されるかもしれないビューと同じまたは類似したビューが提示される。いくつかの実施形態では、表示されることになる左および右目ビューの拡大されたバージョンにマスクを適用することにより、ビューにおける制限が達成される。
【選択図】図８

Description

分野

[0001] 本出願は、立体再生方法および装置に関し、より具体的には、ズーム操作に関連する方法および装置に関する。

背景

[0002] 立体再生デバイス、例えば、３Ｄ体験をユーザに提供する左および右目イメージの再生を可能にするデバイスは、人気が高まっている。このようなデバイスは、スポーツイベント、ファッションショー、コンサート、および／または、他のシーンに対応するイメージを表示するために使用され、表示されるシーン／環境内に存在する感覚をユーザに提供することができる。

[0003] 立体シーンの再生または表示の間に、ユーザは、提示されているシーンの一部分に、例えば、ボール蹴るプレーヤーに、または、ファッションショーでの特定のモデルに、ズームインすることを望むかもしれない。シミュレートされた３Ｄ環境に浸っているユーザの視点（perspective）から、シーンの一部分で突然にズームインすることは、ユーザビューポジションにおける突然で不自然な変化として知覚されるかもしれないことから、シーンの一部分で突然にズームインすることは望ましくないかもしれない。通常のビューへのスイッチバックは、結果として、実際のイベントで存在している望ましい感覚を破壊するという、ユーザにとって類似した望ましくない突然の視点の変化となるかもしれない。さらに、視点のこのような変化は、通常、実際の世界の環境では起こらないことから、このような突然の変化は、ユーザを不安に、不快に、または、病気に、例えば、めまいにさえさせるかもしれない。

[0004] 上述の観点で、普通であれば、ビューの視点における不自然な変化として知覚されるものを最小化または低減するために他の何らかのアクションをとることなく、ズームにおける突然の変化が生成する効果のうちの少なくともいくつかが生じないように、立体イメージに関してユーザ制御可能ズーム操作をユーザが実現できるようにする方法および装置に対する必要性があることを認識すべきである。

概要

[0005] 例えば３Ｄのような立体表示の間、ユーザが制御するズーム操作を実現するための方法および装置を説明する。さまざまな実施形態において、スポーツイベント、コンサート、他のイベントまたはシミュレートされた環境の３Ｄ表示を見る間、ユーザが、表示されているイベントまたは環境の特定の部分にズームできるようにする、ズーム操作モードに切り替える機会がユーザに提供される。イベントに物理的に存在する効果を維持するために、環境を考慮して、突然の非現実世界のような変化からユーザを不快にするリスクを低減するためにも、ズーム操作モードを開始することに応答するユーザに、一組の双眼鏡をのぞいた結果として期待されるかもしれないものと同じまたは類似したビューが提示される。ズーム操作モードの間、ユーザのビューは、双眼鏡をのぞいた場合に見ることをユーザが期待するかもしれない、表示されるシーンの一部分に制限される。このようなケースでは、観測可能なシーンのフィールドが減らされるが、イメージは、ズームファクター、例えば、２ｘ、５ｘ、１０ｘ、２０ｘ、または、他の何らかの量だけ、拡大して見られる。いくつかの実施形態では、表示されることになる拡大されたビューのバージョンにマスクを適用することにより、ビューにおける制限が達成される、例えば、拡大された左および右目ビューが生成され、表示される前にマスクされる。

[0006] 通常およびズーム操作モードの両方の間、ヘッドポジションが監視される。ヘッドポジションにおける変化、例えば、ユーザの頭の回転またはユーザの頭の傾斜が検出され、ヘッドポジションにおける変化の関数として、表示されるイベントまたは環境の部分を変化させる。表示されるイメージにおける変化は、ユーザが彼／彼女の頭を実際環境で動かす場合にユーザに見えるであろうエリアにおける変化をシミュレートする。ズーム操作モードの間、ユーザに提示されるシーンの視点をどの程度シフトさせるかに関して、ズームファクターが考慮される。例えば、５ｘズームモードの間、ヘッドポジションにおける変化は、５ｘビューファクターを反映して表示される環境の部分の５ｘシフトをトリガするだろう。したがって、高ズーム指数で双眼鏡を使用するとき、ビュー角度における小さな変化が、結果として、見ることができるシーンにおける著しい変化になるかもしれず、同じ効果が、ズーム操作モードの間にシミュレートされる。

[0007] ユーザ入力は監視され、ズームファクターは、ユーザ入力にしたがって、ズーム操作モードの間に調整される。操作モードを変更するユーザ入力に応答して、ズームモードから通常モードへのモードにおけるユーザ変化も監視され、検出される。

[0008] ズームモードから通常モードへの操作における変化を検出することに応答して、拡大およびマスキング操作が停止され、それらの通常のサイズでイメージが出される。

[0009] 本発明の方法および装置は、ストリームされたコンテンツとともに記憶されたイメージコンテンツによる使用に対してうまく適している。スポーツイベントまたは他のイベントのケースでは、方法および装置は、イベントの間に、関心のあるエリア、例えば、アクションが生じる場所に焦点を合わせるために、ユーザが一組の双眼鏡を彼／彼女の目に置く場合、ズームの開始により、イベントにいる感覚および／または視点をユーザが得ることができるようにし、通常のビューへの切り替えは、期待されるものと類似しており、その後、通常の視野に戻るために一組の双眼鏡を取り除き、全体のイベントを楽しむ。双眼鏡の影響をシミュレートするマスクの使用は、ズーム操作が、ユーザがイベントまたは現実世界環境にいる効果または錯覚をこわすかもしれないというリスクを低減させ、普通であれば、視点、または、環境におけるポジションのかなり不自然な変化と感じさせる原因により、ズーム操作がユーザを不快または不安にさせるリスクも低減させる。

[0010] 本発明の方法および装置は、立体イメージ、例えば、３Ｄ効果をユーザに適用するように意図された左および右目イメージのペアを提示できる広範囲のデバイスとともに使用されてもよい。例えば、方法は、イメージの処理、例えば、ユーザの頭上に据え付けられた１つ以上のコンポーネント内でズーム、マスク等が実行される、ヘッドマウントディスプレイとともに、および／または、周辺デバイスを介して、例えば、ヘッドマウントディスプレイの形態で、ユーザに表示される立体イメージをレンダリングできるゲームシステムまたは他のシステムとともに使用されてもよい。再生デバイスが完全なヘッドマウントシステムとして実現される実施形態の一例は、ヘッドマウントシステムがセル電話機を組み込んでいるＳａｍｓｕｎｇ Ｇｅａｒ ＶＲを含み、これは、ヘッドマウント入力デバイス、例えばタッチパッドを介して入力されることができるユーザ入力に制御される立体イメージのペアを処理し、表示することを担う。ゲームシステムの実施形態の一例は、ユーザの左および右目に異なるイメージを表示することができる１組のディスプレイメガネのようなディスプレイ周辺機器に、ワイヤを介してまたはワイヤレスに結合されているＰＳ３またはＰＳ４またはＸＢＯＸのようなゲームシステムを含む。このような実施形態では、双眼鏡が使用された場合に遭遇するかもしれない体験をシミュレートするズーム操作を実現するために、再生デバイスは、本発明にしたがって制御される。

[0011] 本発明の方法および装置は、広範囲の入力イメージ解像度で使用されることができる。入力イメージ、例えば左および右目イメージペアが、使用されるディスプレイデバイスの解像度よりも高解像度であるケースでは、セル電話機ディスプレイがヘッドマウントディスプレイデバイスとして使用されるときによくあることだが、ズーム操作は、別の使用されていないイメージ解像度を利用してもよいので、ズームによるイメージ品質において知覚損失がないか、または、ほとんどない状態で、ズーム方法を実現することができる。

[0012] 多数の追加の態様、利点、および、実施形態を、以下の詳細な説明でこれから議論する。

[0013] 図１は、本発明のいくつかの実施形態にしたがって実現される例示的なシステムを図示しており、システムは、環境の１つ以上の合成された部分とともに、１以上のユーザデバイスによって、後続の表示のために、コンテンツをキャプチャし、ストリームするために使用されることができる。 [0014] 図２は、本発明の１つの例示的な実施形態にしたがって実現される、例示的なレンダリングおよび再生システム、例えば、３Ｄレンダリングおよび再生システムを図示している。 [0015] 図３は、本発明の他の何らかの他の実施形態にしたがって実現される別の例示的な３Ｄレンダリングおよび再生システムを図示している。 [0016] 図４は、例えば、立体カメラペアの左目カメラによってキャプチャされたシーンの例示的な左目イメージを図示している。 [0017] 図５は、例えば、立体カメラペアの右目カメラによってキャプチャされたシーンの例示的な右目イメージを図示している。 [0018] 図６は、本発明のいくつかの実施形態にしたがって、図４−５の左および右目イメージペアを使用して生成した例示的に表示した立体シーンを図示している。 [0019] 図７は、本発明のいくつかの実施形態にしたがって、操作のズームモードを示すユーザ入力に応答してズームされた、例えば、拡大されたシーン部分を示すために、矩形中に示された中央の表示された立体シーンの一部分とともに図６の例示的に表示された立体シーンを示す図を図示している。 [0020] 図８は、双眼鏡を通したシーンの部分のシミュレートされたビューを提示する立体シーンの表示される部分とともに、ズームおよびマスク操作が適用された後、ビューアーに表示される立体シーンのマスクされたズーム部分を図示している。 [0021] 図９Ａは、例示的な実施形態にしたがって、対話型システムを操作する例示的な方法のステップを図示したフローチャートの第１の部分である。 [0022] 図９Ｂは、図９Ａと９Ｂの組み合わせを備える図９による、本発明にしたがって、対話型システムを操作する例示的な方法のステップを図示したフローチャートの第２の部分である。 [0023] 図１０は、本発明のいくつかの実施形態にしたがって、ズームおよびマスク操作を実行することの一部として実行される例示的なプロセスを図示している。 [0024] 図１１は、本発明の特徴にしたがって、コンテンツをエンコードし、ストリームするために使用できる例示的なコンテンツ配信システムを図示している。 [0025] 図１２は、図１１のシステムによってストリームされるコンテンツを受信し、デコードし、および表示するために使用できる例示的なレンダリングおよび再生システムを図示している。

詳細な説明

[0026] 図１は、本発明のいくつかの実施形態にしたがって実現される、例示的なシステム１００を図示している。システム１００は、１以上の顧客デバイスへの、例えば、顧客構内に位置付けられている３Ｄ対応再生デバイスへの、コンテンツ配信、例えば、イメージングコンテンツ配信をサポートする。システム１００は、例示的なイメージキャプチャシステム１０２、コンテンツ配信システム１０４、通信ネットワーク１０５、および、複数の顧客構内（customer premise）１０６、．．．、１１０を含む。イメージキャプチャシステム１０２は、例えば、立体カメラペアを使用するとともに通常の非立体イメージをキャプチャして、立体イメージのキャプチャをサポートする。イメージキャプチャシステム１０２は、本発明の特徴にしたがってイメージングコンテンツをキャプチャして処理し、および、１つ以上のカメラ／立体カメラペアを含んでいてもよい。通信ネットワーク１０５は、例えば、ハイブリッド光ファイバ−同軸（ＨＦＣ）ネットワーク、衛星ネットワーク、および／または、インターネットであってもよい。

[0027] コンテンツ配信システム１０４は、エンコード装置１１２とコンテンツストリーミングデバイス／サーバ１１４を含む。いくつかの実施形態において、エンコード装置１１２は、イメージデータをエンコードするための複数のエンコーダを含んでいてもよい。異なるデータレートを有するエンコードされたバージョンを生成するにあたり、シーンの異なる部分をエンコードするために、および／または、シーンの所定の部分をエンコードするために、エンコーダは並行して使用されてもよい。リアルタイムまたはほぼリアルタイムのストリーミングがサポートされることになるときに、並行して複数のエンコーダを使用することは、特に有用であることがある。

[0028] コンテンツストリーミングデバイス１１４は、例えば、通信ネットワーク１０５を通して、エンコードされたイメージコンテンツを１つ以上の顧客デバイスに配信するために、エンコードされたコンテンツをストリームする、例えば送信するように構成されている。ネットワーク１０５を介して、コンテンツ配信システム１０４は、通信ネットワーク１５０を横切るリンク１２０によって図中で示されるように、顧客構内１０６、１１０に位置付けられているデバイスに情報を送るおよび／または交換することができる。エンコード装置１１２とコンテンツ配信サーバは図１の例で別々の物理的デバイスとして示されているが、いくつかの実施形態では、これらは、コンテンツをエンコードし、ストリームする単一のデバイスとして実現される。エンコードプロセスは、３Ｄイメージエンコーディングプロセス、例えば、立体イメージエンコーディングプロセスであってもよく、シーン部分の左および右目ビューに対応する情報は、３Ｄイメージビューがサポートされるように、エンコードされ、エンコードされたイメージデータ中に含まれる。使用される特定のエンコード方法は、現在のアプリケーションには重要ではなく、幅広いエンコーダがエンコード装置１１２として、または、エンコード装置１１２を実現するために使用されてもよい。

[0029] 各顧客構内１０６、１１０は、１つ以上のデバイス／システム、例えば、コンテンツストリーミングデバイス１１４によってストリームされるイメージングコンテンツをデコードし、レンダリングし、再生し、表示できるデバイスを含んでいてもよい。顧客構内１ １０６は、３Ｄレンダリングおよび再生システム１２２を含む一方で、顧客構内Ｎ １１０は、３Ｄレンダリングおよび再生システム１２４を含む。いくつかの実施形態では、３Ｄレンダリングおよび再生システム１２２、１２４は、本発明にしたがって、３Ｄイメージングコンテンツをレンダリングおよび表示することができる。

[0030] さまざまな実施形態では、３Ｄレンダリングおよび再生システム１２２、１２４は、コンテンツ配信システム１０４から受信したイメージングコンテンツをデコードし、デコードされたコンテンツを使用して、イメージングコンテンツを生成し、イメージングコンテンツ、例えば、３Ｄイメージコンテンツをディスプレイ上に、例えば、立体ディスプレイ上にレンダリングしてもよい。さまざまな実施形態では、３Ｄレンダリングおよび再生システム１２２、１２４は、追加のプロセスを実行、例えば、本発明の特徴にしたがった、ズームおよびマスク操作を実行できる。

[0031] 図２は、本発明の１つの実施形態にしたがって実現される例示的な３Ｄレンダリングおよび再生システム２００を図示している。例示的な３Ｄレンダリングおよび再生システム２００は、１つの例示的な実施形態にしたがって、イメージングシステム１０２の１つ以上のカメラによってキャプチャされ、コンテンツ配信システム１０４によってユーザに、例えば、顧客構内１０６、１１０に対応する顧客にストリームされるコンテンツを表示するために使用されてもよい。例示的な３Ｄレンダリングおよび再生システム２００は、図１に示す３Ｄレンダリングおよび再生システムのいずれかとして使用されてもよい。図２は、ユーザが、レンダリングおよび再生システム２００を身につける、例えば、頭に装着しようとしているかのようなユーザの視点からの３Ｄレンダリングおよび再生システム２００の背面ビューを示している。したがって、図２中に図示されているビューは、例えば、背面からレンダリングシステム２００をのぞくような、背面から見えるかもしれない少なくともいくつかの要素を示している。例示的な３Ｄレンダリングおよび再生システム２００は、ヘッドマウントディスプレイアセンブリ２０２、スマートフォン挿入／スロット２０４、ユーザ入力インターフェース２０６、レンズ２１０、２１２のペア、および、ヘッドストラップ２０８を含む。

[0032] スマートフォン挿入/スロット２０４を介して、スマートフォンは、システム２００のヘッドマウントディスプレイアセンブリ２０２に挿入されることができ、それにより、スマートフォンディスプレイをシステム２００のディスプレイにすることができる。いったんスロット２０４に挿入されると、スマートフォンは、ヘッドマウントディスプレイアセンブリ２０２と通信し、シグナリングを交換することができる。スマートフォン挿入／スロット２０４は、レンダリングおよび再生システム２００の頂部におけるスロット２０４のロケーションを示すために、破線の矩形のボックスとして示されている。スマートフォンは、例えば、システム２００に対する処理、レンダリング、再生、および、さまざまな操作を実行するレンダリングおよび再生デバイスとして、システム２００のディスプレイスクリーンとして機能するスマートフォンスクリーンによるシステム２００のディスプレイデバイスとしての両方の機能をする。ユーザによって装着されるとき、ユーザは、表示されたシーン、例えば、レンズ２１０、２１２を通して、シーンに対応するコンテンツを含むシミュレートされた３Ｄ環境を見ることができる。ユーザがシミュレートされた環境に実際に存在するかのように、ユーザに表示されるシミュレートされた３Ｄ環境は、実生活の３Ｄ体験を可能にする。

[0033] ユーザ入力インターフェース２０６を介して、ユーザ入力が検出され、レンダリングおよび再生システム２００によって、アクションが行われる。例えば、いくつかの実施形態では、インターフェース２０６を介したユーザ入力は、本発明の特徴にしたがって、表示されたシーンがズームされるズーム操作モードのアクティブ化を示してもよい。いくつかの実施形態では、ユーザ入力インターフェース１０６は、ユーザが彼の指を動かすことができるタッチパッドと、ディスプレイスクリーン上でユーザに見え、ユーザがスクリーン上に表示されたオブジェクトと対話できるように沿って動く、対応するポインタとを含む。このような実施形態では、ユーザは、スクリーン上に表示されたアイコンおよび／またはオブジェクトにより、対話する、例えば、選択、移動、削除等するようにポインタを制御してもよい。例えば、いくつかの実施形態では、インターフェース２０６を介して、ユーザは、シーンの表示された部分にポインタをドラッグし、例えば、インターフェース１０６のタッチパッド上をタッピングし、および／または、選択したエリアにズームインするために、エリア選択エリアを使用することにより、シーン部分のエリアを選択してもよい。このようなズームイン操作の結果として、一部の実施形態では、残りのシーンエリアがマスクされている間に双眼鏡を介して見ているかのように、選択されたエリアの拡大版が表示される。ズーム表示モードにおけるいくつかの実施形態では、ズームするように選択されたシーンエリア部分の外側のシーンエリア部分上でマスクを見ることができる。通常表示モードでは、マスクなしで全シーンエリアが表示される。

[0034] 図３は、本発明の他の実施形態にしたがって実現される別の例示的なレンダリングおよび再生システム３００を図示している。レンダリングおよび再生システム３００は、３Ｄレンダリングおよび表示をサポートする。レンダリングおよび再生システム３００は、図１中に示す例示的なレンダリングおよび再生システムのうちのいずれかとして使用されてもよい。レンダリングおよび再生システム３００は、本発明の方法を実現するために使用されてもよい。 例示的な３Ｄレンダリングおよび再生システム３００は、再生およびレンダリングデバイス３０２、例えば、ＰＳ３、ＰＳ４または他のｐｌａｙ ｓｔａｔｉｏｎバージョン、Ｘｂｏｘバージョン等のようなゲームコンソールを含む。さらに、レンダリングおよび再生システム３００は、立体ディスプレイ３０４と、オプション的に、ハンドヘルド制御装置３０６をさらに含む。システム３００の要素３０２、３０４、３０６は、ワイヤードおよび／またはワイヤレスに接続されてもよい（例えば、破線がワイヤードおよび／またはワイヤレスなリンクを示す）。いくつかの実施形態におけるディスプレイ３０４は、ヘッドマウント立体ディスプレイであるが、他の実施形態では、ディスプレイ３０４は、立体イメージングコンテンツを表示することができる別のディスプレイデバイスであってもよい。いくつかの実施形態では、ヘッドマウント立体ディスプレイ３０４は、ユーザの頭の動きを追跡する、および／または、ユーザの頭のポジションにおける変化を検出するように構成されている１以上のセンサを含む。いくつかの実施形態では、再生およびレンダリングデバイス２０２は、ユーザの頭の動きを追跡する、および／または、ユーザの頭のポジションにおける変化を検出する１つ以上のセンサ、例えば、カメラを含む。

[0035] 図４は、立体カメラペア、例えば、イメージキャプチャシステム１０２において使用される立体カメラペアの左目カメラによってキャプチャされた、シーンの例示的な左目イメージ４００を図示している。

[0036] 図５は、例えば、立体カメラペアの右目カメラによってキャプチャされた、シーンの例示的な右目イメージ５００を図示している。左目ビューおよび右目ビューが通常互いにオフセットすることから、左および右目イメージが互いに関してわずかにオフセットしていると図示するために、シーンの中心を通る点線が、図４−５中に示されている。さまざまな実施形態では、左および右目イメージペアは、レンダリングおよび表示のために顧客デバイスに送信される。

[0037] 図６は、本発明のいくつかの実施形態にしたがって、図４−５の左および右目イメージペアを使用して生成された、例示的に表示された立体シーン６００を図示している。立体シーン６００は、通常、複数のカメラ、例えば、左目カメラと右目カメラを含む少なくとも立体カメラペアからキャプチャされたイメージを組み合わせた結果であり、通常表示モード（非ズーム操作モード）の間に表示される。立体シーン６００は、受信した左および右目イメージ４００、５００を使用して、レンダリングおよび再生装置、例えば、システム１２２、１２４によって生成され、ユーザに表示される。

[0038] 図７は、例えば、ズームインのために、ユーザによって選択されたシーン部分を示すために、図６の例示的に表示された立体シーン６００を、矩形７０２で示されている中心に表示された立体シーンの部分とともに示している図７００を図示している。ユーザは、さまざまな方法で、シーンエリア部分７０２を選択してもよい。ユーザは、シーン６００コンテンツを含むシミュレートされた３Ｄ環境がさまざまな方法で表示されている間に、シーンエリア部分７０２を選択してもよい。例えば、いくつかの実施形態では、部分７０２に対応するシーンエリアに向かって顔を向けて見て、ズームイン機能をアクティブ化するために、インターフェース２０６を介して例えば、入力インターフェース２０６をダブルタップして、ズームイン操作を選択することにより、シーンエリア部分７０２はユーザによって選択されることができる。ユーザの頭のポジションおよび／または向きが監視され、所定の時間でユーザが見ている表示される３Ｄ環境中のシーンエリア部分を決定する際にユーザの頭のポジションおよび／または向きが使用されてもよいことから、これは可能である。他の実施形態では、表示される３Ｄ環境で、エリア選択ツールが提供され、これは、ユーザがズームすることを望むシーンエリア部分を手動で選択するために使用されることができ、例えば、ズームされることになるシーンエリア部分の周りに（例えば、矩形７０２のような）矩形を抜き取るために使用される。いくつかの実施形態では、ユーザがズームされることになるシーンエリア部分を具体的に選択せずに、（例えば、インターフェース２０６上のダブルタッピングまたはピンチ−スプレッドアクションにより）単にズームインする入力を提供するとき、表示されるシーンエリア中のアクションが生じるシーンエリア部分、例えば、ステージ、フィールドおよび／または他のパフォーマンスエリアの中央がズームされる。

[0039] 図８は、ズーム表示モードの間に表示される、立体シーンエリア８００を図示しており、これは、双眼鏡を通してシーン６００のシミュレートされた部分のビューを提示するシーンエリア８００の表示される部分とともに、ズームおよびマスク操作が適用された後、ビューアーに表示される。シーンエリア８００は、シーン６００に対応する左および右目イメージ上で実行されるズームおよびマスク操作から結果的に生じる、表示されるシーン６００の一部分である。シーン部分８０４は、例えば、ユーザ選択に応答して、ズームされる関心のあるシーン部分に対応する。ユーザに表示される、ズームされるシーン部分８０４は、図７の矩形７０２中に含まれるシーンエリア部分に対応する。図８から認識できるように、表示されるシーン部分８０４は、例えば、シミュレートされた双眼鏡のビューを示す、表示される左および右の円と、ユーザが選択したエリアのズームバージョンである内部可視シーンエリアとにより、双眼鏡を通してユーザが選択したシーンエリアのシミュレートされたビューを提示する。シーンエリア８００のマスクされた部分８０２は、例えばマスクを表すために斜線パターンを使用して示される。ズーム表示モードでは、拡大された関心のあるエリア８０４の外部のエリアをカバーするマスクがユーザに見える。マスクパターンがユーザに表示される一方で、ズームされた／拡大されたシーン部分８０４の外部であるマスク下のシーン６００の実際の部分は、マスクによってブロックされていることから、ユーザに見えず、それにより、双眼鏡を通したビューに対応するビュー制約をシミュレートする。このように、ズームモードがアクティブ化されるとき、ユーザのビューは、双眼鏡をのぞく場合にユーザが見ることを期待するかもしれない表示されるシーンの部分に制限される。しかしながら、通常表示モードでは、表示より前に、シーンエリア部分上にマスク操作がないことから、マスクは見えない。

[0040] 図９Ａと９Ｂの組み合わせを備える図９は、例示的な実施形態にしたがって、対話型システム、例えば、レンダリングおよび再生システムを操作する例示的な方法のステップを図示するフローチャートである。フローチャート９００の方法は、本発明の対話型システム、例えば、図２−３の３Ｄレンダリングおよび再生システムを使用して、いくつかの実施形態で実現される。

[0041] 方法は、例えば、レンダリングおよび再生が電力供給され、初期化されることにより、ステップ９０２で開始する。方法は、開始ステップ９０２からステップ９０４、９０６、９０８に進み、これらは、並行して非同期的に実行されてもよい。ステップ９０４では、対話型システムにおいてユーザ入力に対する監視を開始する。ユーザ入力に対する監視は、ループバックによって示されるように、継続的に実行される。操作は、ステップ９０４からステップ９１０に進む。

[0042] ステップ９０６において、イベントのシーンがディスプレイ上に、例えば、３Ｄレンダリングおよび再生システムの一部であってもよい立体ディスプレイ上に表示される。さまざまな実施形態において、ステップ９０６は、ステップ９０７を実行することを含み、ステップ９０７では、シーンの３Ｄ表示を提供するためにディスプレイ上に立体イメージペアが表示され、各立体イメージペアは左目ビューと右目ビューを含む。操作は、ステップ９０４からステップ９１０に進む。

[0043] ステップ９０８において、ユーザのヘッドポジションおよび／または頭の向きを監視することが、例えば、通常の向きに対するユーザの頭の向きへの何らかの変化を追跡するために、対話型システムで開始する。いくつかの実施形態では、ステップ９０８より前の初期化の間に、または、ステップ９０８の一部として、ユーザの現在のヘッドポジションが検出される。ユーザは、初期化フェーズの間に検出されたヘッドポジションが前向きポジションになるように仮定されること知り、通常は、ステップ９０８の間、彼の頭を前向きポジションの快適なレベルに維持し、例えば、通常は、表示される３Ｄ環境において、関心のあるシーンを直接見る。初期化の間に検出されたユーザのヘッドポジションは、基準ヘッドポジションとしてみなされ、基準ポジションに対する頭の向きにおける変化が追跡される。ユーザヘッドポジションに対する監視は、継続的に実行される。例えば、ヘッドポジションにおける変化を監視して、検出すると、操作は、ステップ９０８から次の処理ステップに進む。いくつかの実施形態では、操作は、９０８から接続ノードＡ９０９を介してステップ９２８に進む。

[0044] ステップ９１０に戻る。ステップ９１０において、ズーム操作モードのユーザ入力、例えば、ズームモードのアクティブ化を示す入力が検出される。いくつかの実施形態おけるユーザ入力は、図２および図３中で図示されているデバイスのようなレンダリングおよび再生デバイスのユーザ入力インターフェース上で、および／または、ユーザ入力を検出できる別のインターフェースを介して、例えば、制御デバイスから受信した制御信号を介して、検出される。いくつかの実施形態では、ユーザ入力インターフェースは、タッチ感応センサである一方で、他の実施形態では、ズームモードのアクティブ化を示すために押されることができるボタンであってもよい。いくつかの実施形態では、例えば、ズーム操作モードを示す入力の一部として、ズーム操作モードの間に使用されることになるズームファクターを示すユーザ入力が検出されるステップ９１２を、ステップ９１０は含む。操作は、ステップ９１０からステップ９１４に進む。

[0045] ステップ９１４では、操作のズームモードがアクティブ化されたことを示すユーザ入力を受信することに応答して、システムは、双眼鏡を通したシーンの一部分のビューをシミュレートする。さまざまな実施形態では、ステップ９１４を実現する一部として、ステップ９１６、９１７、９１８、および、９１９が実行される。ステップ９１６では、ズーム操作は、第１の左目イメージ、例えば、シーンに対応する左目カメラ上でズーム操作が実行される。次に、ステップ９１７では、マスクされたズーム左目イメージを生成するために、双眼鏡を通したビューに対応するビュー制約をシミュレートするマスクがズーム第１左目イメージに適用される。ステップ９１６の結果、マスクされたズーム左目イメージが生成される。ステップ９１８では、第１の右目イメージ、例えば、第１の左目イメージに対応する右目カメライメージ上でズーム操作が実行される。次に、ステップ９１９では、マスクされたズーム右目イメージを生成するために、双眼鏡を通したビューに対応するビュー制約をシミュレートするマスクがズーム第１右目イメージに適用される。

[0046] 操作は、ステップ９１４からステップ９２０に進む。ステップ９２０では、例えば、図８中で示されるような、双眼鏡を通したシーンの部分の立体表示を提示するために、立体ディスプレイ上に、マスクされたズーム左およびズーム右目イメージを含むマスクされたズーム立体イメージペアが表示される。

[0047] 操作は、ステップ９２０からステップ９２２に進む。ステップ９２２では、システムがズーム操作モードであり、例えば、ズームファクターを示すユーザ入力に基づくズームレベルにより、シーンに対応するフレームまたは連続するフレーム中でイメージを表示している間、マスクおよびズーム操作は、追加のマスクされたズーム立体イメージペアを生成するために追加の左および右目イメージ上で実行される。

[0048] 操作は、ステップ９２２からステップ９２４に進む。ステップ９２４では、システムがズーム操作モードである時間期間の間、マスクおよびズームされた追加の左および右目イメージを含むマスクされたズーム追加立体イメージペアが、立体ディスプレイ上に表示される。操作は、ステップ９２４から接続ノードＢ９２６を介してステップ９２８に進む。

[0049] これからステップ９２８を参照する。ステップ９２８では、例えば、見つめる向きの変化により、ユーザが頭を動かすことにより、ユーザの頭の向き、例えば、ヘッドポジションにおける変化が検出される。操作は、ステップ９２８からステップ９３０に進む。ステップ９３０では、ユーザヘッドポジションにおける変化を検出することに応答して、例えば、立体シーンを生成するために使用される左および右目イメージを備える表示シーンの中央部は、ヘッドポジションにおいて検出された変化とズーム操作モードの間に使用されたズームファクターの関数に相当する量だけ変化される。いくつかの実施形態では、ステップ９３０においてヘッドポジションにおいて検出された変化とズームファクターの関数に相当する量だけ表示されるシーンの中央部を変化させることは、通常操作モードの間に、ヘッドポジションにおける変化が検出された場合、ズームファクターと、検出された変化位置に応答して表示されたイメージが動く量とを掛けた量だけ、表示されるイメージの中央を動かすことを含み、これは、サブステップであるステップ９３２で実現される。

[0050] 操作は、ステップ９３０からステップ９３４に進む。ステップ９３４では、ズーム操作モードから通常操作モードへの切り替えを示すユーザ入力が検出される。操作は、ステップ９３４からステップ９３６に進む。ステップ９３６では、ズーム操作モードから通常操作モードへの切り替えを示すユーザ入力に応答して、イメージ上でのズームおよびマスク操作が中止される。操作は、ステップ９３６からステップ９３８に進む。ステップ９３８では、例えば、通常モードの間の操作の一部として、イベントの立体シーンを提示するために、ディスプレイ上に立体イメージペアを形成する左および右目イメージが表示される。さまざまな実施形態において、操作を継続し、方法のさまざまなステップが繰り返されてもよい。

[0051] 図１０は、本発明のいくつかの実施形態にしたがって、ズームおよびマスク操作を実行する一部として実行される例示的なプロセス１０００を図示している。図１０は、マスクされた左および右目イメージがディスプレイに出力される前に、どのように入力された左および右目イメージ１００４、１００６がズームおよびマスク操作にしたがうかを示す例を図示している。プロセスは、左および右目イメージ１００４、１００６が受信されるステップ１００２で開始する。ステップ１００８および１０２０では、左および右目イメージ１００４、１００６上で、それぞれがズーム左目イメージ１０１０およびズーム右目イメージ１０２２を生成するズーム操作が実行される。

[0052] 次に、ズーム左およびイメージ１０１０、１０２２は、それぞれステップ１０１２および１０２４におけるマスク操作にしたがう。ステップ１０１２および１０２４におけるマスク操作は、マスクされたズーム左目イメージ１０１４とマスクされたズーム右目イメージ１０２６をそれぞれ生成する。さまざまな実施形態では、マスク操作は、例えば、ズーム左および右目イメージがユーザの目を通して双眼鏡を通して見られるように、双眼鏡を通したビューに対応するビュー制約をシミュレートする。

[0053] 次に、マスクされたズーム左および右目イメージ１０１４、１０２６を含むマスクされたズーム立体イメージペアが出力される、例えば、ステップ１０１６、１０２８において、立体ディスプレイ上に表示される。

[0054] 図１１は、本発明の特徴にしたがって、コンテンツをエンコードおよびストリームするために使用されることができる例示的なコンテンツ配信システム１１００を図示している。

[0055] システム１１００は、本発明の特徴にしたがって、エンコード、記憶、ならびに、送信および／またはコンテンツ出力を実行するために使用されてもよい。コンテンツ配信システム１１００は、図１のシステム１０４として使用されてもよい。図１１中に示すシステムは、コンテンツのエンコード、処理、および、ストリーミングのために使用されるが、システム１１００は、処理されたおよび／またはエンコードされたイメージデータをデコードし、そして、例えばオペレータに表示する能力も含むことを認識すべきである。

[0056] システム１１００は、ディスプレイ１１０２、入力デバイス１１０４、入力／出力（Ｉ／Ｏ）インターフェース１１０６、プロセッサ１１０８、ネットワークインターフェース１１１０、および、メモリ１１１２を含む。システム１１００のさまざまなコンポーネントは、データをシステム１１００のコンポーネント間で通信できるようにするバス１１０９を介してともに結合される。

[0057] メモリ１１１２は、例えば、プロセッサ１１０８によって実行されるとき、本発明にしたがって、エンコード、記憶、ならびに、ストリーミング／送信および／または出力操作を実行するようにシステム１１００を制御するルーチンのような、さまざまなモジュールを含む。

[0058] メモリ１１１２は、例えば、プロセッサ１１０８によって実行されるとき、本発明にしたがって、立体ビデオ獲得、エンコード、記憶、ならびに、送信および／または出力方法を実現するようにコンピュータシステム１１００を制御するルーチンのような、さまざまなモジュールを含む。メモリ１１１２は、制御ルーチン１１１４、エンコーダ１１１８、ストリーミング制御装置１１２０、受信した入力イメージ１１３２、例えば、シーンの３６０度立体コンテンツ、エンコードされたイメージコンテンツ１１３４、および、タイミング情報１１３６を含む。いくつかの実施形態では、モジュールは、ソフトウェアモジュールとして実現される。他の実施形態では、モジュールは、例えば、モジュールが対応する機能を実行するための回路として実現される各モジュールとともに個々の回路として、ハードウェアで実現される。さらに他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実現される。

[0059] エンコーダ１１１８は、および、いくつかの実施形態では、受信したイメージを、例えば、シーンおよび／または１つ以上のシーン部分の３６０度バージョンをエンコードするように構成されている複数のエンコーダを含んでいてもよい。いくつかの実施形態では、エンコーダは、所定のビットレートストリームをサポートするように、立体シーンおよび／または区分されたシーン部分をエンコードするように構成されている各エンコーダを有する複数のエンコーダを含む。いくつかの実施形態では、各シーン部分は、各シーンに対する複数の異なるビットレートストリームをサポートするために、複数のエンコーダを使用して、エンコードされることができる。エンコーダ１１１８の出力は、顧客デバイス、例えば再生デバイスへのストリーミングのためにメモリ中に記憶された、エンコードされたイメージコンテンツ１１３４である。エンコードされたコンテンツは、ネットワークインターフェース１１１０を介して１つまたは複数の異なるデバイスにストリームされることができる。

[0060] ストリーミング制御装置１１２０は、例えば、通信ネットワーク１０５を通して、エンコードされたイメージコンテンツを１つ以上の顧客デバイスに配信するためのエンコードされたコンテンツのストリーミングを制御するように構成されている。ストリーミング制御装置１１２０は、要求処理モジュール１１２２、データレート決定モジュール１１２４、現在のヘッドポジション決定モジュール１１２６、選択モジュール１１２８、および、ストリーミング制御モジュール１１３０を含む。要求処理モジュール１１２２は、顧客再生デバイスからのイメージングコンテンツに対して受信した要求を処理するように構成されている。コンテンツに対する要求は、ネットワークインターフェース１１１０中の受信器を介して、さまざまな実施形態で受信される。いくつかの実施形態では、コンテンツに対する要求は、再生デバイスを要求する識別子を示す情報を含む。いくつかの実施形態では、コンテンツに対する要求は、顧客再生デバイス、ユーザの現在のヘッドポジション、例えばヘッドマウントディスプレイのポジションによってサポートされるデータレートを含んでいてもよい。要求処理モジュール１１２２は、受信した要求を処理し、さらなるアクションをとるために、ストリーミング制御装置１１２０の他の要素に取り出した情報を提供する。コンテンツに対する要求がデータレート情報および現在のヘッドポジション情報を含む一方で、さまざまな実施形態では、再生デバイスによってサポートされるデータレートは、ネットワークテストと、システム１１００と再生デバイスとの間の他のネットワーク情報交換から決定されることができる。いくつかの実施形態では、いくつかの顧客レンダリングおよび再生システムは、例えば、それに応じてユーザが環境を見ることができるようにするために、所定の時間で、決定されたユーザの頭の向きに基づいて、コンテンツストリームを要求してもよいが、多くのケースでは、顧客レンダリングおよび再生システムは、具体的にコンテンツストリームを要求しなくてもよく、むしろ、コンテンツ配信システム１１００によってブロードキャストされる複数のコンテンツストリーム間で、単にブロードキャストコンテンツストリームにアタッチしてもよい。いくつかの実施形態では、コンテンツ配信システム１１００は、所定の時間で、ビューアーの現在の頭の向きに基づいて、レンダリングおよび再生システムが１つ以上のコンテンツストリームにアタッチすることを可能にする、３６０度シーン環境の異なる部分に対応する異なるコンテンツストリームをブロードキャストする。

[0061] データレート決定モジュール１１２４は、イメージングコンテンツを顧客デバイスにストリームするために使用されることができる利用可能なデータレートを決定するように構成され、例えば、複数のエンコードされたシーン部分がサポートされることから、コンテンツ配信システム１１００は、複数のデータレートで顧客デバイスにコンテンツをストリームすることをサポートできる。データレート決定モジュール１１２４は、システム１１００からのコンテンツを要求する再生デバイスによってサポートされるデータレートを決定するようにさらに構成されている。いくつかの実施形態では、データレート決定モジュール１１２４は、ネットワーク測定に基づいて、イメージコンテンツの配信のための利用可能なデータレートを決定するように構成されている。

[0062] 現在のヘッドポジション決定モジュール１１２６は、ユーザの現在のビュー角度および／または現在のヘッドポジション、例えば、ヘッドマウントディスプレイの向きを顧客レンダリングおよび再生デバイスから受信した情報から決定するように構成されている。

[0063] ストリーミング制御モジュール１１３０は、例えば、３６０度の立体シーンの複数の部分のようなイメージコンテンツのストリーミングを、本発明の特徴に従った、さまざまなサポートされたデータレートで、制御するように構成されている。

[0064] いくつかの実施形態におけるストリーム情報１１３６は、ガイド情報、例えば、レンダリングおよび再生システムが受信することを選択するかもしれないコンテンツストリームに関する情報を提供する電子プログラムの一部として、顧客レンダリングおよび再生システムに通信される。ストリーム情報１１３６は、顧客デバイスへの配信のためのコンテンツ配信システム１１００から利用可能なコンテンツストリームにアクセスするために、顧客デバイスにより使用されることができる。いくつかの実施形態では、ストリーム情報１１３６は、複数の利用可能なコンテンツストリームについて、所定の対応するコンテンツストリームを受信するために加えられることできるマルチキャストグループのマルチキャストアドレスのうちの１つ、所定のコンテンツストリームを提供するために使用される切替されたデジタルビデオチャネルへのアクセスを要求するために使用されることができる情報 、または、所定のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するために、再生システムの同調器を制御するために使用されることができるチャネル同調情報を含む。

[0065] 図１２は、図１１のシステムによってストリームされるコンテンツを受信、デコード、および、表示するために使用されることができる、例示的なレンダリングおよび再生システム１２００を図示している。例示的なレンダリングおよび再生システム１２００は、図１および１１中に示すシステムのような、コンテンツ配信システムから受信したイメージングコンテンツを受信、デコード、記憶、および、表示するために使用されることができる。例示的なレンダリングおよび再生システム１２００は、図１−３中で示すレンダリングおよび再生システムのうちのいずれかとして使用されてもよい。いくつかの実施形態におけるレンダリングおよび再生システム１２００は、３Ｄヘッドマウントディスプレイ１２０２を含むおよび／または３Ｄヘッドマウントディスプレイ１２０２に結合されている。システム１２００は、受信してエンコードされたイメージデータをデコードし、顧客に表示するための３Ｄイメージコンテンツを生成する能力を含む。いくつかの実施形態におけるレンダリングおよび再生システム１２００は、家またはオフィスのような顧客構内ロケーションに位置付けられるが、イメージキャプチャサイトにも位置付けられることができる。レンダリングおよび再生システム１２００は、信号受信、デコード、ズーム、マスク、表示、および／または、本発明にしたがう他の操作を実行できる。

[0066] レンダリングおよび再生システム１２００は、ディスプレイ１２０２、ユーザ入力インタフェースデバイス１２０４、カメラ１２０５、入力／出力（Ｉ／Ｏ）インターフェース１２０６、プロセッサ１２０８、ネットワークインターフェース１２１０、および、メモリ１２１２を含む。レンダリングおよび再生システム１２００のさまざまなコンポーネントは、バス１２０９を介して互いに結合され、バス１２０９は、システム１２００のコンポーネント間でデータを通信することを可能にする。レンダリングおよび再生システム１２００は、例えば、立体コンテンツのケースではユーザの左および右目が異なるイメージで提示される、イメージコンテンツが提示されるヘッドマウント３Ｄディスプレイを含む。単一のスクリーン上で左および右目に異なるイメージを、例えば、異なる目に単一スクリーンの異なる部分を表示することにより、単一のディスプレイは、ビューアーの左および右目によって別々に感知されるであろう左および右目イメージを表示するために使用されることができる。いくつかの実施形態では、レンダリングおよび再生システム１２００は、レンダリングおよび再生システム２００として使用され、セル電話機／スマートフォンスクリーンはディスプレイ１２０２として使用される。他の何らかの実施形態では、再生およびレンダリングシステム１２００は、再生およびレンダリングシステム３００として使用される。ヘッドマウントディスプレイ１２０２は、ヘッドマウントディスプレイ１２０２を含むことができるＯＣＵＬＵＳ ＲＩＦＴ（登録商標）ＶＲ（仮想現実）ヘッドセットを使用して実現されてもよい。他のヘッドマウントディスプレイも使用されてもよい。セル電話機、例えば、スマートフォンのケースでは、プロセッサは、プロセッサ１２０８として使用され、セル電話機は、（ヘッドマウント１０２のような）ヘッドマウントアセンブリにおいてイメージを生成して表示し、システム１２００は、ヘッドマウントプロセッサの一部として、プロセッサ１２０８、ディスプレイ１２０２、カメラ１２０５、および、メモリ１２１２を含んでいてもよい。プロセッサ１２０８、ディスプレイ１２０２、および、メモリ１２１２は、すべてセル電話機の一部であってもよい。システム１２００の他の実施形態では、プロセッサ１２０８は、ディスプレイ１２０２がヘッドマウントデバイスに据え付けられ、ゲームシステムに結合されている、ＸＢＯＸ、ＰＳ３、ＰＳ４等のようなゲームシステムの一部であってもよい。プロセッサ１２０８またはメモリ１２１２が頭上に装着されているデバイス中に位置付けられているか否かは重要ではなく、認識されるように、いくつかのケースでは、電力、熱、および、重量の視点からヘッドギア中のプロセッサを同じ位置に配置することが便利であるかもしれない一方で、少なくともいくつかのケースでは、ディスプレイを含むヘッドギアに結合された、プロセッサ１２０８とメモリとを有することが望ましい。さまざまな実施形態は、ヘッドマウントディスプレイ１２０２を企図している一方で、方法およびシステムはまた、３Ｄイメージをサポートすることができる非ヘッドマウントディスプレイと共に使用されることができる。

[0067] したがって、ディスプレイデバイス１２０２は、シーンに対応するディスプレイイメージを表示するように構成されている。いくつかの実施形態では、シーンに対応するイメージを表示するように構成されているものの一部として、ディスプレイデバイスは、シーンの３Ｄ表示を提供するために、立体イメージペア、例えば、左および右目イメージを出力するように構成されている。シーンはイベントに対応することができる。各立体イメージペアは、例えば、立体カメラシステム中の、左および右目カメラによってキャプチャされる、左目ビューおよび右目ビューを含む。

[0068] 再生およびレンダリングシステム１２００のオペレータ／ユーザは、ユーザ入力インターフェース１２０４を介して、1つ以上のパラメータ、入力情報、コマンド等を制御し、および／または、実行されることになる操作を選択し、例えば、ズーム操作モードを選択し、使用されることになるズームファクターを提供し、および／または、ズームされることになるシーンエリア部分を選択してもよい。ユーザ入力インターフェース１２０４を介して、ユーザは、レンダリングおよび再生システム１２００への入力、例えば、通常モードからズームモードへのユーザが選択した切り替えを示す入力をさらに提供してもよく、逆もまた同じである。ユーザ入力インターフェース１２０４は、例えば、キーボード、キーパッド、タッチパッド、および／または、タッチ感知スクリーンを含んでいてもよい。ユーザ入力インターフェース１２０４は、受信機１２１１を含み、受信機１２１１を介して、レンダリングおよび再生システム１２００は、ユーザによって提供される情報／データを受信する。ユーザは、アイテムの選択を行い、ならびに／あるいは、表示されたプロンプトおよび／またはユーザの入力を必要とする他の表示に応答するために、ユーザ入力インターフェース１２０４を使用してもよい。ユーザ入力は、例えば、シングルタップ、ダブルタップ、ピンチおよびスプレッドアクション、または、入力インターフェース１２０４上の他の何らかのアクションによって提供されることができる。

[0069] カメラ１２０５は、ときには、例えば人、物理的環境、および／または、システム１２００が位置付けられている物理的環境における物体の、イメージをキャプチャするために使用されることができる１つ以上のカメラを含む。システム１２００がレンダリングおよび再生２００として使用されるいくつかの実施形態では、カメラ１２０５は、システム２００において使用されるスマートフォンのカメラデバイスであってもよい。システム１２００がレンダリングおよび再生システム３００として使用されるいくつかの実施形態では、カメラ１２０５は、レンダリングデバイス３０２上にまたはヘッドマウントディスプレイ３０４上に位置付けられているカメラであってもよい。いくつかの実施形態では、カメラ１２０５は、頭の向き、および／または、例えば、初期化の間の設定する基準の向きに対するユーザのビュー角度における変化を追跡するために使用されることができる。

[0070] Ｉ／Ｏインターフェース１２０６を介して、システム１２００は、他のデバイスと信号および／または情報を交換するために、外部デバイスと結合されることができる。いくつかの実施形態では、Ｉ／Ｏインターフェース１２０６を介して、システム１２００は、情報および／または外部カメラによってキャプチャされたイメージを受信し、情報および／またはイメージを外部デバイスに出力できる。Ｉ／Ｏインターフェース１２０６は、受信機（ＲＸ）１２２１と送信機（ＴＸ）１２２３を含み、これらを介して、受信および送信操作が実行される。いくつかの実施形態では、インターフェース１２０６を介して、システム１２００は、例えば、ハンドヘルド制御装置３０６のような外部制御装置に結合される。ハンドヘルド制御装置３０６が利用可能な実施形態では、ハンドヘルド制御装置３０６は、I／Ｏインターフェース１２０６に結合され、情報を入れる、および／または、上述したタイプのユーザ入力を提供するために使用されてもよい。

[0071] プロセッサ１２０８、例えば、ＣＰＵは、ルーチン１２１４を実行し、本発明にしたがって操作するために、システム１２００を制御するためのさまざまなモジュールを使用する。プロセッサ１２０８は、システム１２００の全体的な一般的な操作を制御する役割を果たす。さまざまな実施形態では、プロセッサ１２０８は、再生およびレンダリングシステム１２００によって実行されるとして議論された機能を実行するように構成されている。

[0072] ネットワークインターフェース１２２０を介して、システム１２００は、（例えば、イメージおよび／またはシーンに対応するビデオコンテンツを含む）信号および／または情報を、例えば、通信ネットワーク１０５のような通信ネットワークを通してさまざまな外部デバイスに／から通信するおよび／または受信する。ネットワークインターフェース１２２０は、受信機１２３１と送信機１２３３を含み、これらを介して、受信および送信操作が実行される。いくつかの実施形態では、システムは、コンテンツ配信システム１０４からネットワークインターフェース１２２０を介して、例えば、立体コンテンツのケースでは、左および右目イメージを含む、１つ以上のコンテンツストリームを受信する。受信したコンテンツは、エンコードされたデータ、例えば、エンコードされたシーンデータ１２４２として受信されてもよい。

[0073] いくつかの実施形態では、メモリ１２１２は、さまざまなルーチンおよび／またはモジュールを含み、これらは、プロセッサ１２０８によって実行されるとき、レンダリングおよび再生システム１２００を制御して、本発明にしたがう操作を実行する。メモリ１２１２は、制御ルーチン１２１４、頭の向きおよび／またはビュー角度決定器１２１６、ヘッドポジション監視モジュール１２１８、ユーザ入力処理モジュール１２１９、デコーダ１２２０、イメージレンダラ１２２２、シミュレータ１２２４、モード制御装置１２２８、および、ディスプレイ制御装置１２３０を含む。メモリ１２１２は、エンコードされたデータ１２４２、デコードされたデータ１２４４、生成されたイメージコンテンツ１２４６を含むデータ／情報をさらに含む。

[0074] 制御ルーチン１２１４は、システム１２００の操作を制御するための、デバイス制御ルーチンおよび通信ルーチンを含む。頭の向きおよび／またはビュー角度決定器１２１６は、ユーザの現在のヘッドポジション、例えば、ヘッドマウントディスプレイの向きを決定するように構成され、いくつかの実施形態では、決定されたポジションおよび／またはビュー角度情報をコンテンツ配信システム１１００に報告するように構成されている。頭の向き決定器１２１６は、所定の時間でユーザの頭の向きを検出するために、センサのうちの１つまたはセンサの組み合わせを使用して、実現されてもよい。いくつかの実施形態では、決定された頭の向きおよび／または基準の向きからの向きの変化は、表示されるシーンのどの部分を、所定の時間にユーザが見ているかを決定する際に使用される。

[0075] 監視モジュール１２１８は、例えば、初期／現在の頭の向きからの、頭の回転、頭の傾斜、または、回転と傾斜の両方による、ユーザの頭の向きにおける変化を検出するために、ユーザのヘッドポジションを監視するように構成されている。いくつかの実施形態では、監視モジュール１２１８は、ユーザの頭の向きの初期検出、および、デフォルト／基準の頭の向きの設定に続き、頭の向きの変化を監視する。監視モジュール１２１８は、所定の時間で、現在設定されている頭の向き、例えば、頭の向き決定モジュール１２１６によって最初に検出されたデフォルト／基準の頭の向きに対する頭の向きの変化を検出するように構成されている。したがって、例えば、頭の回転、傾斜、またはその両方により、ユーザの頭部の向きが、最初に検出された頭部の向きから変化する場合、監視モジュール１２１８は、現在の頭の向きを示す頭の向き決定器１２１６からの入力を受信し、頭の向きに任意の変化があるか否かを決定するために、メモリ１２１２中に記憶されている、現在設定されている／以前に検出したユーザの頭の向きに対して入力を比較する。いくつかの実施形態では、監視モジュール１２１８は、デフォルトの頭の向きに対する頭の回転の角度および／または頭の傾斜角度、例えば、デフォルト／基準の頭の向きに対応する０°のポジション、または、以前に検出した頭の向きに対応する角度から、どのくらいユーザが回転したかおよび／または彼または彼女の頭が傾いたか、を決定するようにさらに構成されている。さまざまな実施形態では、このような頭の回転の角度および／または頭の傾斜角度情報は、例えば、表示されたシーンにおいて、どのシーン部分をユーザが見ているかを決定するために使用される。ユーザ入力処理モジュール１２１９は、受信したユーザ入力、コマンド、例えば、ユーザ入力インターフェース１２０４および／またはＩ／Ｏインターフェース１２０６を介してユーザによって提供された命令を処理するようにさらに構成されている。いくつかの実施形態では、ユーザ入力処理モジュール１２１９は、ユーザ制御入力を処理し、本発明にしたがう操作を制御するために、情報および／または信号をレンダリングおよび再生システム１２００の他の要素に提供する。

[0076] デコーダモジュール１２２０は、デコードされたイメージデータ１２３４を生成するために、コンテンツ配信システムから受信したエンコードされたイメージコンテンツ１２３２をデコードするように構成されている。デコードされたイメージデータ１２３４は、デコードされた立体シーンおよび／またはデコードされたシーン部分を含んでいてもよい。イメージレンダラ１２２２は、ディスプレイ１２０２上に、ユーザに表示するためのコンテンツを生成するためのシーンに対応するコンテンツを含む、デコードされたイメージコンテンツ（例えば、通常操作モード中でデコードされたデータ１２３４およびズーム操作モード中でマスクされたズームイメージデータ１２３６）を使用する。イメージレンダラ１２２２は、３Ｄ立体イメージコンテンツをレンダリングするために、３Ｄイメージ生成モジュールとして実現されてもよい。

[0077] シミュレータ１２２４は、ズーム操作を示す（例えば、ユーザインターフェース１２０４を介して検出した)ユーザ入力に応答して、双眼鏡を通して表示されたシーンの一部分のビューをシミュレートするように構成されている。いくつかの実施形態では、シミュレータ１２２４は、双眼鏡を通したシーンの一部分のビューをシミュレートする構成の一部として、第１左目イメージ上でズーム操作を実行し、双眼鏡を通したビューに対応するビュー制約をシミュレートするマスクを、ズーム第１左目イメージに適用し、マスクされたズーム左目イメージを生成するように構成されている。いくつかの実施形態におけるシミュレータ１２２４は、双眼鏡を通したシーンの一部分のビューをシミュレートする構成の一部として、第１左目イメージに対応する第１右目イメージ上でズーム操作を実行し、双眼鏡を通したビューに対応するビュー制約をシミュレートするマスクを、ズーム右目イメージに適用し、マスクされたズーム右目イメージを生成するようにさらに構成されている。さまざまな実施形態では、シミュレータ１２２４は、ズーム制御装置１２２５とマスカ１２２６を含み、これらは、上述したズームおよびマスク操作をそれぞれ実行するように構成されている。ズーム制御装置１２２５およびマスカ１２２６は、ズーム操作モードがマスクされたズーム左および右目イメージを生成することが可能なときに、本発明の特徴にしたがって、デコードされた左および右目イメージ１２３４上で、ズームおよびマスク操作をそれぞれ実行する。さまざまな実施形態では、ディスプレイデバイス１２０２は、双眼鏡を通したシーンのシミュレートされた部分のビューを提示するために、マスクされたズーム左および右目イメージを含むマスクされたズーム立体イメージペアを表示するように構成されている。したがって、いくつかの実施形態では、システム１２００がズーム操作モードであるとき、ディスプレイデバイス１２０２は、マスクされたズーム左目イメージが表示されている間、マスクされたズーム左目イメージとマスクされたズーム右目イメージを表示する。

[0078] いくつかの実施形態では、ユーザ入力インターフェース１２０４は、ズーム操作モードの間に使用されることになるズームファクターを示すユーザ入力を受信するように構成されている受信機１２１１を含む。いくつかの実施形態では、表示されたシーンを見ながら、ユーザは、彼／彼女のヘッドポジションを変化させる、例えば、回転する、傾斜する、および／または、そうでなければ、見つめる向きを変化させる。ユーザのヘッドポジションを監視するヘッドポジション監視モジュール１２１８は、ユーザヘッドポジションにおける変化を検出し、いくつかの実施形態において、検出された変化情報をディスプレイ制御装置１２３０に提供する。ディスプレイ制御装置１２３０は、ヘッドポジションにおいて検出された変化の関数と、ズーム操作モードの間に使用されたズームファクターである量だけ、表示されるシーンの中央部を変化させるように構成されている。いくつかの実施形態では、通常操作モードの間にヘッドポジションにおける変化が検出される場合、ヘッドポジションにおいて検出された変化の関数とズームファクターである量だけ、表示されるシーンの中央部を変更するように構成されているものの一部として、ディスプレイ制御装置１２３０は、ズームファクターと、検出された変化ポジションに応答して表示されるイメージが動く量とを掛けた量だけ、表示されるシーンの中央を動かすように構成されている。

[0079] モード制御装置１２２８は、例えば、ズーム操作モードまたは通常操作モードのような特定の操作モードのユーザ選択に基づいて、異なるモードで操作するために、システム１２００を制御するように構成されている。いくつかの実施形態では、ユーザインターフェース１２０４がズーム操作モードを示すユーザ入力を検出すると、モード制御装置１２２８は、ズーム操作モードで操作するようにシステム１２００を制御し、例えば、双眼鏡を通して表示されるシーンのシミュレートされたシーン部分のビューがユーザに提示される。

[0080] いくつかの実施形態では、例えば、ユーザが通常モードの選択をすると、ユーザ入力インターフェース１２０４は、ズームモードから通常操作モードへの切り替えを示すユーザ入力を検出する。通常操作およびシステム１２００の初期化の間、モード制御装置１２２８は、ズームすることなく通常の方法でイメージコンテンツが表示される通常操作モードで操作するように、デバイスを制御する。いくつかの実施形態では、シミュレータ１２２４は、ズーム操作モードから通常操作モードへの切り替えを示す入力を検出するユーザ入力インターフェース１２０４に応答して、ズームおよびマスク操作を中止するようにさらに構成されている。

[0081] コンテンツストリーム情報１２３８は、再生する際に受信および使用するために利用可能であってもよい複数のコンテンツストリームに関する情報を含む。いくつかの実施形態では、ストリーム情報１２３８は、コンテンツプロバイダのコンテンツ配信システム１１００（例えば、ストリーム情報１１３６）によって提供される。いくつかの実施形態では、ストリーム情報１２３８は、複数の利用可能なコンテンツストリームについて、所定のシーン部分、例えば、前方シーン部分、後方左部、後方右部分等に対応する所定のコンテンツストリームを受信するために加えられることができるマルチキャストグループのマルチキャストアドレスのうちの１つを含む。いくつかの実施形態では、ストリーム情報１２３８は、所定のコンテンツストリームを提供するために使用される切り替えられたデジタルビデオチャネル（a switched digital video channel）へのアクセスを要求するために使用されることができる情報、または、所定のシーン部分に対応する所定のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するために、再生システム１２００の同調器を制御するために使用されることができるチャネル同調情報をさらに含む。

[0082] いくつかの実施形態では、メモリ１２１２中に示されるモジュールおよび／または要素は、ソフトウェアモジュールとして実現される。他の実施形態では、メモリ１２１２中に含まれることになるように示されている要素は、ハードウェアで、例えば、要素に対応する機能を実行するための回路として各要素が実現される、個々の回路として実現される。さらに他の実施形態では、モジュールおよび／または要素は、ソフトウェアおよびハードウェアの組み合わせを使用して実現される。

[0083] メモリ１２１２中に含まれることになる例が図１２に示されているが、メモリ１２１２中に含まれるように示されるモジュールおよび要素は、いくつかの実施形態では、プロセッサ１２０８の内のハードウェアで、例えば、個々の回路として完全に実施されることができる。他の実施形態では、要素のうちのいくつかが、他の要素が実現されているプロセッサ１２０８内で、例えば回路として、例えば、プロセッサ１２０８の外部の、および、プロセッサに１２０８に結合されている回路として実現される。認識されるべきであるように、プロセッサ上のモジュールの統合のレベル、および／またはプロセッサの外部にあるいくつかのモジュールによるレベルは、設計の選択のうちの１つであってもよい。代替的に、回路として実現されるよりもむしろ、要素のすべてまたはいくつかは、モジュールがプロセッサ、例えば、プロセッサ１２０８によって実行されるとき、モジュールに対応する機能を実現するために、システム１２００の操作を制御するソフトウェアモジュールにより、ソフトウェア中で実現されてもよく、システム１２００のメモリ１２１２中に記憶されてもよい。さらに別の実施形態では、例えば、プロセッサ１２０８に入力を提供し、その後、ソフトウェア制御下で、モジュールの機能の一部分を実行するように操作する、プロセッサ１２０８の外部の回路により、ハードウェアおよびソフトウェアの組み合わせとして、さまざまな要素が実現される。

[0084] 図１２では実施形態を単一のプロセッサとして、例えば、単一のコンピュータとして示されているが、プロセッサ１２０８は、１つ以上のプロセッサとして、例えば、１つ以上のコンピュータとして実現されてもよいことを認識すべきである。メモリ１２１２中の１つ以上の要素がソフトウェアモジュールとして実現されるとき、モジュールはコードを含み、コードがプロセッサ１２０８によって実行されるとき、モジュールに対応する機能を実現するようにプロセッサ１２０８を構成する。図１２中に示されているさまざまなモジュールがメモリ１２１２中に記憶されている実施形態では、メモリ１２１２は、モジュールが対応する機能を少なくとも１つのコンピュータに、例えば、プロセッサ１２０８に実現させるためのコードを、例えば、それぞれのモジュールに対する個々のコードを備えるコンピュータ読取可能媒体を備えるコンピュータプログラムプロダクトである。

[0085] 完全にハードウェアベースまたは完全にソフトウェアベースのモジュールを使用してもよい。しかしながら、ソフトウェアとハードウェアとの任意の組み合わせ、例えば、回路実現モジュールを使用して機能を実現してもよいことを認識すべきである。認識すべきであるように、図１１および図１２に図示されるモジュールは、例えば、フローチャート９００中で図示したおよび／または説明した機能のような、本発明の方法の対応するステップの機能を実行するように、システム１１００および１２００、または、プロセッサ１１０８および１２０８のようなその中の要素それぞれを制御および／または構成する。

[0086] いくつかの実施形態は、コンピュータまたは他の装置を制御して、立体ビデオをエンコードおよび圧縮するために、例えばコンピュータ実行可能な命令のような、ソフトウェア命令のセットを具現化する非一時的なコンピュータ可読媒体に向けられている。他の実施形態は、例えば、プレーヤー側でビデオをデコードおよび伸長する（decompress）ためにコンピュータまたは他のデバイスを制御するための、例えばコンピュータ実行可能命令のような、ソフトウェア命令のセットを具体化するコンピュータ読取可能媒体に向けられている実施形態である。エンコードおよび圧縮は、可能な別の操作として言及される一方で、エンコードは、圧縮を実行するために使用されてもよいこと認識すべきであり、したがって、エンコードは、一部に、圧縮を含んでいてもよい。同様に、デコードすることは、伸長を伴ってもよい。

[0087] さまざまな実施形態の技術は、ソフトウェア、ハードウェア、および／または、ソフトウェアとハードウェアとの組み合わせを使用して実現されることができる。さまざまな実施形態は、装置に、例えば、イメージデータ処理システムに向けられている。さまざまな実施形態はまた、方法に、例えば、イメージデータを処理する方法に向けられている。さまざまな実施形態は、非一時的機械にも、例えば、コンピュータ、読取可能媒体、例えば、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスク等にも向けられており、これらは、方法の１つ以上のステップを実現するための機械を制御するための機械読取可能命令を含む。

[0088] 本発明のさまざまな特徴は、モジュールを使用して実現される。このようなモジュールは、いくつかの実施形態では、ソフトウェアモジュールとして実現される。他の実施形態では、モジュールはハードウェアで実現される。さらに他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実現される。いくつかの実施形態では、モジュールが対応する機能を実行するための回路として各モジュールが実現される個々の回路としてモジュールは実現される。例えば、ハードウェアのうちのいくつか、ソフトウェアのうちのいくつか、および、ハードウェアとソフトウェアの組み合わせを使用するいくつかのような、異なるモジュールが異なって実現されるいくつかの実施形態を含む、さまざまな実施形態が企図される。ルーチンおよび／またはサブルーチン、あるいは、このようなルーチンによって実行されるステップのうちのいくつかは、汎用プロセッサ上で実行されるソフトウェアとは対照的に専用ハードウェアで実現されることができることに留意すべきである。このような実施形態は、本発明の範囲内にある。上述した方法または方法ステップの多くは、機械を、例えば、付加的なハードウェアを持つ、または、持たない汎用コンピュータを制御して、上述した方法のすべて、または、一部分を実現するために、メモリデバイス、例えば、ＲＡＭ、フロッピー（登録商標）ディスク等のような、機械読取可能媒体中に含まれる、ソフトウェアのような機械実行可能な命令を使用して実現することができる。したがって、数ある中でも、本発明は、機械に、例えば、プロセッサおよび関係付けられているハードウェアに、上述した方法のステップのうちの１つ以上を実行させるための機械実行可能な命令を含む機械読取可能媒体に向けられている。

[0089] 上述したさまざまな実施形態の方法および装置上の数々の付加的なバリエーションが、上述の観点から、当業者に明らかになるだろう。このようなバリエーションは、範囲内であると考えるべきである。

Claims (19)

1. 対話型システムを操作する方法であって、
   ディスプレイ上にシーンを表示することと、
   ズーム操作モードを示すユーザ入力を検出することと、
   前記ズーム操作を示す検出されたユーザ入力に応答して、双眼鏡を通した前記シーンの一部分のビューをシミュレートすることとを備える、方法。
2. 前記ディスプレイ上にシーンを表示することは、
   前記シーンの３Ｄ表示を提供するために、前記ディスプレイ上に立体イメージペアを出力することとを含み、前記シーンは、イベントに対応し、各立体イメージペアは、左目ビューと右目ビューを含む、請求項１に記載の方法。
3. 前記シーンの一部分のビューをシミュレートすることは、
   第１左目イメージ上でズーム操作を実行することと、
   マスクされたズーム左目イメージを生成するために、双眼鏡を通したビューに対応するビュー制約をシミュレートするマスクを、ズーム第１左目イメージに適用することとを含む、請求項１に記載の方法。
4. 前記マスクされたズーム左目イメージを表示することをさらに備える、請求項３に記載の方法。
5. 前記シーンの一部分のビューをシミュレートすることは、
   前記第１左目イメージに対応する第１右目イメージ上でズーム操作を実行することと、
   マスクされたズーム右目イメージを発生するために、双眼鏡を通したビューに対応するビュー制約をシミュレートするマスクを、ズーム右目イメージに適用することと、
   前記マスクされたズーム左目イメージが表示されている間、マスクされたズーム右目イメージを表示することとをさらに含む、請求項４に記載の方法。
6. 前記対話型システムが前記ズーム操作モードである時間期間の間、追加の左および右目イメージを表示する前に、前記追加の左および右目イメージ上にズームおよびマスク操作を適用する、請求項５に記載の方法。
7. 前記ズーム操作モードから通常操作モードへの切り替えを示すユーザ入力を検出することと、
   前記ズーム操作モードから前記通常操作モードへの切り替えを示す入力を検出することに応答して、左および右目イメージを表示する前に、前記ズームおよびマスク操作を中止することとをさらに備える、請求項６に記載の方法。
8. ユーザのヘッドポジションを監視することと、
   ユーザのヘッドポジションにおける変化を検出することと、
   ヘッドポジションにおいて検出された変化と前記ズーム操作モードの間に使用されたズームファクターの関数に相当する量だけ表示されるシーンの中央部を変化させることとをさらに備える、請求項１に記載の方法。
9. 前記ズーム操作モードの間に使用されることになる前記ズームファクターを示すユーザ入力を受信することをさらに備え、
   前記ヘッドポジションにおいて検出された変化と前記ズームファクターの関数に相当する量だけ前記表示されるシーンの中央部を変化させることは、通常操作モードの間に、ヘッドポジションにおける変化が検出された場合、前記ズームファクターと、前記検出された変化位置に応答して表示されたイメージが動く量とを掛けた量だけ、前記表示されるシーンの中央を動かすことを含む、請求項８記載の方法。
10. 対話型システムであって、
    シーンに対応するイメージを表示するように構成されているディスプレイデバイスと、
    ズーム操作モードを示すユーザ入力を検出するように構成されているユーザ入力インターフェースと、
    前記ズーム操作を示す検出したユーザ入力に応答して、双眼鏡を通した前記シーンの一部分のビューをシミュレートするように構成されているシミュレータとを備えるシステム。
11. 前記ディスプレイデバイスは、シーンに対応するイメージを表示するように構成される一部として、前記シーンの３Ｄ表示を提供するために、前記ディスプレイデバイス上に立体イメージペアを出力するように構成され、
    前記シーンは、イベントに対応し、各立体イメージペアは、左目ビューと右目ビューを含む、請求項１０に記載のシステム。
12. 前記シミュレータは、双眼鏡を通した前記シーンの一部分のビューをシミュレートするように構成される一部して、
    第１左目イメージ上でズーム操作を実行し、
    マスクされたズーム左目イメージを発生するために、双眼鏡を通したビューに対応するビュー制約をシミュレートするマスクを、ズーム第１左目イメージに適用するように構成されている、請求項１０に記載のシステム。
13. 前記ディスプレイデバイスは、前記マスクされたズーム左目イメージを表示するようにさらに構成されている、請求項１２に記載のシステム。
14. 前記シミュレータは、双眼鏡を通した前記シーンの一部分のビューをシミュレートするように構成される一部として、
    前記第１左目イメージに対応する第１右目イメージ上でズーム操作を実行し、
    マスクされたズーム右目イメージを発生するために、双眼鏡を通したビューに対応するビュー制約をシミュレートするマスクを、前記ズーム右目イメージに適用するようにさらに構成され、
    前記ディスプレイデバイスは、前記マスクされたズーム左目イメージが表示されている間、マスクされたズーム右目イメージを表示するようにさらに構成されている、請求項１３に記載のシステム。
15. 前記シミュレータは、前記対話型システムが前記ズーム操作モードである時間期間の間、前記ディスプレイデバイスによって、追加の左および右目イメージを表示する前に、前記追加の左および右目イメージ上でズームおよびマスク操作を実行するようにさらに構成されている、請求項１４に記載のシステム。
16. 前記ユーザ入力インターフェースは、前記ズーム操作モードから通常操作モードへの切り替えを示すユーザ入力を検出するように構成され、
    前記シミュレータは、前記ズーム操作モードから前記通常操作モードへの切り替えを示す前記入力を検出する前記ユーザ入力インターフェースに応答して、前記ズームおよびマスク操作を中止するようにさらに構成されている、請求項１５に記載のシステム。
17. ユーザのヘッドポジションにおける変化を検出するために、ユーザのヘッドポジションを監視するように構成されているヘッドポジション監視モジュールと、
    ヘッドポジションにおいて検出された変化と前記ズーム操作モードの間に使用されたズームファクターの関数に相当する量だけ表示されるシーンの中央部を変化させるように構成されているディスプレイ制御装置をさらに備える、請求項１０に記載のシステム。
18. 前記ユーザ入力インターフェースは、前記ズーム操作モードの間に使用されることになる前記ズームファクターを示すユーザ入力を受信するように構成されている受信機をさらに含み、
    前記ディスプレイ制御装置は、前記ヘッドポジションにおいて検出された変化と前記ズームファクターの関数に相当する量だけ前記表示されるシーンの中央部を変化するように構成される一部として、通常操作モードの間に、ヘッドポジションにおける変化が検出された場合、前記ズームファクターと、前記検出された変化位置に応答して表示されたイメージが動く量とを掛けた量だけ、前記表示されるシーンの中央を動かすように構成されている、請求項１７記載のシステム。
19. プロセッサ実行可能命令を備える非一時的機械読取可能媒体であって、命令は、プロセッサによって実行されるときに、
    ディスプレイデバイス上にシーンを表示し、
    ズーム操作モードを示すユーザ入力を検出し、
    前記ズーム操作モードを示すユーザ入力に応答して、双眼鏡を通した前記シーンの一部分のビューをシミュレートするように、
    再生システムを制御する、非一時的機械読取可能媒体。

Images