JP2016178655A - マルチビューシーン内のグラフイックス表示 - Google Patents

Abstract

【課題】奥行き知覚による３次元場面の人間の知覚に適合しないグラフイックス及び画像の重ね合わせが観察者の視認体験を低下させないようにする。
【解決手段】計算デバイスはインストラクションを記憶するメモリーとプロセッサとを有する。該プロセッサは予め規定された３次元場面内のグラフイカル要素の位置を、該予め規定された３次元場面の２つ以上の異なる２次元表現内に含まれるコンテンツの奥行き情報を使って、識別する該インストラクションを実行するよう構成される。該プロセッサはまた、該グラフイカル要素を含む該予め規定された３次元場面の２つ以上の異なる２次元表現を作るよう構成される。
【選択図】図６

Description

本説明はマルチビューシーン内での画像、テキスト及びユーザーインターフエースの様なグラフイックスの表示に関する。

映画劇場｛例えば、アイマックス スリーディー（ＩＭＡＸ ３Ｄ）映画館｝に於ける様な、２次元スクリーンでの３次元（３Ｄ）画像の表示と、放送プログラミング（例えば、地上デジタル又はケーブルシステム上の３次元テレビジョン）の絶えず拡大する分野では、場面の多重画像（例えば、ステレオ画像）が人間の眼が奥行きを認識するよう作られることが多い。例えば、左及び右眼視認画像の同時表示により、奥行きは、カラーフイルター、偏光フイルター、時間ベースシャッター他の様な種々の分離技術を使うことにより模擬される。この様な分離技術は奥行き知覚を提供するが、３次元場面の人間の知覚に適合しないグラフイックス及び画像の重ね合わせは観察者の視認体験を低下させ、破滅さえさせる。

ここで説明するシステムと技術は、視認者の奥行き知覚を保ちながら、予め規定された３次元場面内にグラフイック要素を位置付ける位置を決定することに関する。

１側面では、コンピュータで実施する方法は、予め規定された３次元場面のグラフイカル要素の位置を、該予め規定された３次元場面の２つ以上の異なる２次元表現に含まれるコンテンツの奥行き情報を使い、識別する過程を含む。該方法はまた、該グラフイカル要素を含む該予め規定された３次元場面の２つ以上の異なる２次元表現の作成を含む。

実施例は下記特徴の何れか又は全てを含む。本方法はまた、該予め規定された３次元場面の該２つ以上の異なる表現から、該奥行き情報を決定する過程を含む。該奥行き情報の決定は、該予め規定された３次元場面の該２つ以上の異なる２次元表現にフイルターをかける過程を含む。奥行き情報の決定はまた、該予め規定された３次元場面の、該フイルターをかけられた２つ以上の異なる２次元表現の比較を含む。該２つ以上の異なる２次元表現にフイルターをかける過程はコンテンツのエッジを識別する過程を含む。フイルターをかける過程は該２つ以上の異なる２次元表現内で表される高空間周波数特性を識別するために、ハイパスフイルターをかける過程を含む。該２つ以上の異なる２次元表現は該予め規定された３次元場面の異なる視認図（ｖｉｅｗｓ）を表す。奥行き情報を決定する過程は該２つ以上の異なる２次元表現の間の視差を計算する過程を含む。該２つの異なる表現の作成は２つ以上の異なる２次元視認図を用いて該グラフイカル要素を表す過程を含む。該グラフイカル要素は幾何学的物体、ユーザーインターフエースの１部、画像及びテキストを表してもよい。該奥行き情報は圧縮された映像データから決定されてもよい。

もう１つの側面では、計算デバイスはインストラクションを記憶するメモリーとプロセッサを有する。該プロセッサは、予め規定された３次元場面内のグラフイカル要素の位置を、該予め規定された３次元場面の２つ以上の異なる２次元表現に含まれるコンテンツの奥行き情報を使って、識別するインストラクションを実行するよう構成される。該プロセッサはまた、該グラフイカル要素を有する該予め規定された３次元場面の２つ以上の異なる２次元表現を作るよう構成される。

実施例は下記特徴の何れか又は全てを含む。該プロセッサは該予め規定された３次元場面の該２つ以上の異なる表現から奥行き情報を決定するよう、更に構成される。該奥行き
情報を決定するために、該プロセッサは該予め規定された３次元場面の該２つ以上の異なる２次元表現にフイルターをかけるよう構成される。更に、該奥行き情報を決定するために、該プロセッサは該予め規定された３次元場面の該フイルターをかけられた２つ以上の異なる２次元表現を比較するよう構成される。該２つ以上の異なる２次元表現にフイルターをかけるために、該プロセッサはコンテンツのエッジを識別するよう構成される。フイルターをかけるために、該プロセッサはまた、該２つ以上の異なる２次元表現内に表された高空間周波数特性を識別するためにハイパスフイルターをかけるよう構成される。該２つ以上の異なる２次元表現は該予め規定された３次元場面の異なる視認図を表す。該奥行き情報を決めるために、該プロセッサは該２つ以上の異なる２次元表現間の視差を計算するよう構成される。該２つの異なる表現を作るために、該プロセッサは該グラフイカル要素を２つ以上の異なる２次元の視認図で表すよう構成される。該グラフイカル要素は幾何学的物体、ユーザーインターフエースの１部分、画像及びテキストの少なくとも１つを表してもよい。該奥行き情報は圧縮された映像データから決定されてもよい。

なおもう１つの側面では、１つ以上のコンピュータ読み出し可能な媒体は、処理デバイスにより実行可能であり、この様な実行時、該処理デバイスに、予め規定された３次元場面内のグラフイカル要素の位置を、該予め規定された３次元場面の２つ以上の異なる２次元表現に含まれるコンテンツの奥行き情報を使って、識別する過程を含む操作を行わせる、インストラクションを記憶する。該操作はまた、該グラフイカル要素を含む該予め規定された３次元場面の２つ以上の異なる２次元表現を作る過程を含む。

実施例は下記特徴の幾つか又は全てを含んでもよい。該操作はまた、該予め規定された３次元場面の該２つ以上の異なる表現からの奥行き情報の決定を含んでもよい。該奥行き情報の決定は該予め規定された３次元場面の該２つ以上の異なる２次元表現のフイルタリングを含んでもよい。該奥行き情報の決定はまた、該予め規定された３次元場面の該フイルターをかけられた２つ以上の異なる２次元表現の比較を含んでもよい。該２つ以上の異なる２次元表現のフイルタリングはコンテンツのエッジの識別を含んでもよい。フイルタリングは、該２つ以上の異なる２次元表現内に表される高空間周波数特性を識別するためのハイパスフイルタリングを含んでもよい。該２つ以上の異なる２次元表現は該予め規定された３次元場面の異なる視認図を表してもよい。該奥行き情報の決定は該２つ以上の異なる２次元表現の間の視差の計算を含む。該２つの異なる表現の作成は、該グラフイカル要素を２つ以上の異なる２次元視認図で表す過程を含んでもよい。該グラフイカル要素は幾何学的物体、ユーザーインターフエースの１部分、画像及びテキストを表してもよい。該奥行き情報は圧縮された映像データから決定されてもよい。

これら及び他の側面及び特徴と、それらの種々の組み合わせは、機能を行う方法、装置、システム、手段、プログラム製品として、そして他の仕方で表されてもよい。

他の特徴及び利点は説明及び請求項から明らかになるであろう。

３次元場面のステレオ画像を図解する。 ３次元場面のステレオ画像を図解する。 焦点面を識別する画像の処理を図解する。 ３次元場面の２つの視認図の間の空間的差を図解する。 奥行き知覚を提供するためにステレオ画像内で視認図を位置づける過程を図解する。 ステレオ画像内でグラフイカル要素を位置づける操作の例示用フローチャートである。 計算デバイス及びシステムのブロック線図である。

図１を参照すると、３次元（３Ｄ）場面の例示用の２次元（２Ｄ）ステレオ画像が提示される。特に、月の画像が、ステレオ画像１００の前景に図解され、一面の星が後景に表示される。視認者用に奥行き知覚を提供する（そして３次元場面を模擬する）ために、該ステレオ画像１００は場面の２つの異なる視認図（例えば、右眼の視点からの１つの視認図と左眼の視点からのもう１つの視認図）を有する。典型的に、該２つの視認図は１つの面上に重ね合わされ（例えば、映画スクリーン、紙片、コンピュータディスプレー、他）そして該視認図間の僅かの差に基づき、観察者により奥行きが認識される。一般に、３次元場面のこの様な複数の視認図を見る時、各眼により観察される視覚情報は独立に認識され、視認者用の３次元奥行き知覚を提供するために、立体視（ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ）が確立される。この様なステレオ画像では、観察者の適当な眼による受け入れ用に該２つの視認図を分離する技術が使われる。例えば、観察者の視認系により受けられる画像が、各眼用に異なり、３次元空間内で該画像を見る幻影を創るよう、該２つの視認図を分離するために、２、３例を上げれば、カラーフイルター、偏光フイルター（例えば、映画劇場で使われることが多い）、そして時間ベースシャッターが使われてもよい。この図解で、星の後景の左及び右の眼の視認図は、特に大きい星の２つの表現１０２、１０４により気付くことが出来る。

これらの２つの視認図（例えば、立体視を提供する）は実質的に真の３次元表現を可能にするが、視認経験を向上させるためには追加の要素が付加される必要がある。例えば、視認者を助けるために追加のグラフイカルコンテンツ（例えば、テキスト、画像、ユーザーインターフエース）が該場面内に組み入れられてもよい。この様な追加のコンテンツは、自然な３次元場面用のステレオ図が作られた後、組み入れられることが多い。この様な作成後コンテンツの追加は、もし追加コンテンツが３次元場面の予め規定されたステレオ図上に単純に被せられた場合特に、視認経験の質を落とす。例えば、３次元テレビスクリーン上に画かれた普通のテキストの文字列はその奥行きを、丁度テレビスクリーン面上に配置された様に、人間観察者に認識させ、そして該３次元場面のもう１つの不透明物体の背後に位置付けられた様に見えるので、該テキストを読み出し不可能にさせて、観察者の３次元知覚を混乱させる。一般に、予め規定された３次元場面上にグラフイカルコンテンツを重ね合わせると、線遠近法、相対的な物体寸法及び配置、閉塞及び運動視差の様な他の要因が、人間の視認系に認識される奥行きに影響することは考慮されるべきである。

或る従来の３次元システムはほとんどの場合マルチビュー３次元画像の前景に新コンテンツ（例えば、テキスト、画像、ユーザーインターフエース）を位置付けることに依って、追加のコンテンツを３次元場面の前に作成されたステレオ図内へ組み入れている。この様であるから、観察者は彼の眼の焦点面を該前景（テキストが配置される）と、該３次元コンテンツが認識される場面の部分（ステレオ図で提供される）と、の間を絶えずシフトする必要がある。この様な焦点合わせと再焦点合わせは特に紛らわしく、３次元視認体験の質を低下させる眼の疲労（視認者の眼の緊張から）を引き起こしさえする。

この図解された例では、２つの語１０６、１０８（すなわち、“Ｂａｃｋｇｒｏｕｎｄ”（後景）及び“Ｆｏｒｅｇｒｏｕｎｄ”（前景））がステレオ画像１００内に含まれた視認図上に重ね合わされる。画像面上に単純に置かれると、該語の各々は画像１００内に含まれる関連コンテンツに対応する奥行きでは認識されない。例えば、ステレオ画像１００に含まれる２つの異なる視認図に基づいて、星は該画像内に沈んで見え、一方月は該画像から前へ飛び出すように見える。該テキストを重ね合わせることによって、語１０６、１０８の何れもが該星又は月の奥行きに配置されているようには見えない。該ステレオ画像１００の右の、奥行きチャート１１０は該場面内に含まれるコンテンツの認識される奥行きを表す。視認者の遠近感（象徴的な眼１１２で表される）からは、月は、図が投影さ
れる面（例えば、頁の面）を表す面１１６の前にある面１１４上にあると認識される。ステレオ画像１００により提供される認識される奥行きに基づき、もう１つの面１１８は星が月の面１１４と比較して現れる奥行きを規定する。この様であるから、視認者は月をより近くに配置されていると感じ、星を遙か後ろに配置されていると感じる。語１０６、１０８は画像が投影される面に重ね合わされるので、それらは月の奥行き（面１１４にある）又は星の奥行き（面１１８にある）には認識されない。この様であるから、視認者は該語の何れかを読むために彼の眼を面１１６上に焦点合わせするように調整する必要があり、それは疲労を引き起こし、視認体験の質を落とさせる。更に、その配置のために、語１０８は月の表現により見え難くされたように見えるかもしれない。その様なので、視認者用に焦点合わせの問題を引き起こす場所にテキストを位置付けることと一緒に、追加的なテキストのコンテンツは観察人間の３次元視認体験を損ね、ステレオ画像内ではっきり読みやすくはない。

混乱させる効果と起こり得る視認者の眼の疲労とを減じるために、３次元場面の予め規定されたステレオ画像内に導入されるグラフイカル要素の場所と奥行きを決める１つ以上の技術が実施される。例えば、テキスト（例えば、ラベル、クローズドキャプションのテキスト、他）は、該テキストがステレオ画像内に既に表されている対応物体と近似的に等しい奥行きで認識されるよう、処理される。図１で図解される場面を参照すると、語１０６、１０８は、それらが関連するグラフイックスと等しい奥行きで認識されるよう位置付けられるように、処理される（例えば、語“Ｂａｃｋｇｒｏｕｎｄ”１０６は星の面１１８に位置付けられ、語“Ｆｏｒｅｇｒｏｕｎｄ”１０６は月が認識される面１１４の奥行きで認識される）。

図２を参照すると、該導入されたテキスト（例えば、図１に示す語１０６、１０８）は、関連するグラフイックスと等しいと認識される奥行きに各語をそれぞれ位置付けるように、処理される。この特定の例では、語“Ｂａｃｋｇｒｏｕｎｄ”は星が視認者１１２により認識される面１１８の奥行きに位置付けられる（奥行きチャート２００で表される様に）。同様な仕方で、語“Ｆｏｒｅｇｒｏｕｎｄ”は月のグラフイックの認識される奥行きを表す面１１４の奥行きに位置付けられる。この様であるから、視認者１１２は、認識される奥行きのテキスト及び関連する画像上に焦点合わせするように彼の眼を実質的に調整する必要はない。より快適な視認体験を提供することと一緒に、眼の緊張は視認の煩わしさと共に減じられる。

３次元場面の予め規定されたステレオ画像に関連して認識される奥行きにこの様なグラフイカル要素（例えば、語“Ｂａｃｋｇｒｏｕｎｄ”及び“Ｆｏｒｅｇｒｏｕｎｄ”）を位置付ける１つ以上の技術が実施されてもよい。例えば、各語用の左及び右眼透視図が作られ、該３次元場面のステレオ画像上に適切に位置付けされてもよい。この特定の例では、該３次元場面のステレオ画像２０２は、星空の適当な奥行き（例えば、面１１８で表される）に認識されるように位置付けられた語“Ｂａｃｋｇｒｏｕｎｄ”の左及び右の眼の透視グラフイカル表現２０４、２０６を有する。同様に、グラフイカル表現２０８、２１０は、語“Ｆｏｒｅｇｒｏｕｎｄ”が月のグラフイックと等しい奥行き（例えば、面１１４で表される）にあるとして視認者１１２により認識されるよう、ステレオ画像２００内に作られ、位置付けられる。この様なグラフイカル要素をこの様なステレオ画像内に位置付けるために、該３次元場面に関連する奥行き情報が必要とされる。マルチビューデータ（場面の左及び右の眼視認図を表す）からこの様な情報を決めるために１つ以上の技術が使われてもよい。例えば、視差と呼ばれることが多い、ステレオ図間の見掛けのずれ又は差が、奥行き情報を提供するため決定されてもよい。視認図間の視差から奥行き情報を計算する前に、該マルチビューはそれらのそれぞれの焦点面を識別するよう処理される必要がある。例えば、画像のシャープに焦点合わせされた部分（例えば、高空間周波数成分又はエッジ）が１つ以上の技術［例えば、圧縮画像の離散コサイン変換（ＤＣＴ）係数を解
析するハイパスフイルター］を使って識別されてもよい。この様な奥行き情報はまた、ステレオ画像の作成時に決められ、受信者による追加処理が必要ないように、コンテンツ（例えば、ビデオ）と共に提供されてもよい。

図３を参照すると、３次元場面のステレオ視認図間の差（例えば、左眼視認図と右眼視認図）を決定する前に、該視認図の焦点面が１つ以上の処理技術により識別されてもよい。比較的浅い視野奥行きを有し、一般に特定時の場合１つの範囲（または１つの焦点面）上にのみ焦点合わせする人間の眼と同様に、広いアパーチャー用に調整されたカメラレンズは、場面の１つの特定範囲をシャープにそして焦点に合って現れさせ、一方該場面の残り部分はぼやけで留まる。この技術は画像フレーム内の特定主題に視認者の注意を捕らえるためにフイルム及び写真で屡々そして故意に使われる。マルチビュー画像の１対（ステレオ画像により提供される左右眼視認の様な）の各々内の異なる要素の焦点面を決めることにより、視差計算用の適切なコンテンツが識別されてもよい。例えば、画像３００は、焦点が合った前景内の１物体（水平に位置付けられた瓶）を有する３物体の絵を提示する。極めて異なって、画像３０２は等しいコンテンツを含むが、しかしながら焦点面は該画像の後景にシフトされている。例えば、水平に位置付けられた瓶（前景の）はぼやけて見え、垂直に位置付けられた瓶とギヤ（後景の）は焦点が合って見える。

焦点合わせされた（そして焦点面内にある）コンテンツを適切に識別するために、１つ以上の処理技術が実施される。例えば、焦点面内にある画像部分（例えば、物体エッジの様なシャープな移行部）の詳細を表すために画像がフイルターにかけられ、１つ以上の領域（例えば、空間領域、周波数領域、他）で評価される。図解例では、それぞれフイルターがかけられた画像３０４、３０６を作るために、画像３００、３０２にフイルター（例えば、ハイパスフイルター）が適用される。該フイルターの適用により、比較的高い空間周波数のコンテンツを含む画像の部分が検出され、対応するフイルターがかけられた画像内に含まれる。この様にして、焦点の合った物体のエッジがフイルターがかけられた画像内にマップ化される。可視化用フイルターの適用された勾配を有するフイルター済み画像３０４では、該画像の前景内に水平に位置付けられた瓶のエッジが強調されて示される。同様に、等しいタイプのフイルターにより処理されたフイルター済み画像３０６は、該画像の焦点の合った物体のエッジ（例えば、垂直に位置付けられた瓶とギヤ）を強調して示している。

空間周波数情報を取得するためにはハイパスフイルタリングの様なフイルタリング技術が使われるが、他の技術が実施されてもよい。例えば、圧縮画像データを評価することにより、空間情報を得ることが出来る。Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）標準、高解像度ビデオ符号化（例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準）、他により使われるそれらの様な圧縮技術の適用により処理されたデータが、空間周波数情報の源として使われてもよい。この様な不可逆的圧縮技術は、画像品質を顕著に劣化させることなく、除去されてもよい画像コンテンツの量を決定するために、一般に画像を空間領域から周波数領域へ変換する。圧縮されると、画像データは符号化され、周波数領域に記憶される。この様であるから、１つ以上のフイルター又は他種類のフイルタリング操作を適用する必要なく、空間周波数情報を解析し、識別するために該記憶されたデータが検索される。

図面内で処理された画像３００、３０２と同様に、ステレオ画像のマルチビューが、焦点のあった物体（例えば、エッジの様なシャープな移行部）と該視認図の対応する焦点面とを決めるために処理される。これらの処理された視認図から、視認図に含まれる１つ以上の物体の見掛けの変位（例えば、視差）が見積もられる。例えば、該視認図に含まれる焦点の合った物体のエッジの位置を識別するために、ステレオ画像の左右眼視認図は各々が独立に処理される（例えば、ハイパスフイルターされる）。２つのフイルターをかけら
れた図を同時に比較することにより、ステレオ画像と関連する奥行き情報を作るために、等しい物体の対応するエッジの変位を評価して、視差値が見積もられる。該奥行き情報から、焦点面上のグラフイカル要素（例えば、テキスト、画像、ユーザーインターフエース、他）の位置付け用の適切な場所が決められてもよい。加えて、焦点面の場の相対奥行きが決められてもよい。

図４を参照すると、各々が２つの視認図からのワイヤーフレームオブジェクトを表す２つの画像が表される。特に、画像４００は左眼視認から認識される該ワイヤーフレームオブジェクトの視認図を図解し、一方もう１つの画像４０２は観察者の右眼視認から認識された該物体の視認図を提供する。ワイヤーフレーム表現の性質の故に、各画像はステレオ画像の対応する視認図のフイルター済み版（ハイパスフイルターがかけられた）と考えられてもよい。画像４００、４０２の各々により提供された視認図は同様に見えるが、しかしながら、該画像を比較することにより、該画像の視差に対応する空間的差異が存在する。該ワイヤーフレームオブジェクトの等価部分の間の視差を評価することにより、奥行き情報が作られてもよい。次に、該奥行き情報は、該視認図を含むステレオ画像内のグラフイカル要素（例えば、テキスト、画像、ユーザーインターフエース、他）を画くための場所及び奥行きを決めるために使われてもよい。画像４００、４０２により提供される視認間の視差を図解するために、各視認からの該ワーヤーフレームオブジェクトの表現が画像４０４で重ね合わされる。カラー分離の様な種々の分離技術の１つが３次元の該ワーヤーフレームオブジェクトを認識するために実施されてもよい。同様な結果は、重ね合わされた図への偏光の割り当てと偏光眼鏡の使用によるとか、時間ベースのシャッター眼鏡と同期した、反復配列での左右眼視認図の表示による、様な分離視認用の他の技術の実施により達成されてもよい。

ワーヤーフレームオブジェクトの重ね合わされた視認図は該物体の等価部分の空間的差を示している。更に、該重ね合わされた視認図は、該物体の異なる部分上の視差値の分散を図解する。例えば、該重ね合わされた物体の下右部分（人間観察者に近いと認識される画像の部分に対応する）には、該重ね合わされた物体の上左部分（画像の該部分が後景に近く位置付けられるように見える）に比較して比較的大きな空間差が存在する。これらの空間的差から、奥行き情報（例えば、マップ）が、例えば、該ワーヤーフレームオブジェクトの等価部分を比較することにより、作られてもよい。一旦定量化されると、該奥行き情報はグラフイカル要素（例えば、テキスト、画像、ユーザーインターフエース、他）の位置付け用に適切な場所と奥行きを決めるために使われてもよい。この様な位置付けを可能にすることにより、グラフイカル要素は３次元場面の前に作られたステレオ画像に関連する焦点面内に置かれ、それにより観察者がステレオ画像の元のコンテンツと、新しく組み入れられたグラフイカル要素との間で再焦点合わせする必要がある場合の数を減じる。また、この様な３次元画像の構成に関する情報はグラフイカル要素が該場面内に含まれる物体により見えなくされないよう、そして該画像の部分間の奥行き知覚を保存するよう位置付けされることを可能にして、それにより観察者のために３次元視認体験を改善する。

奥行き情報を作るために空間的差を定量化する１つ以上の技術が実施されてもよい。視差値は、例えば、左右眼視認図を走査し、最初の走査位置から焦点面内の物体のエッジまでの距離を測定することにより決定される。スクリーン面上で収斂する点はゼロの視差値を有するが（例えば、該左右眼視認図内の対応する点は等価位置に配置される）、非ゼロ視差値（すなわち正及び負）はスクリーン面の前に又は背後に位置付けられるように見える画像の部分を規定する。

図５を参照すると、例示用グラフイカル要素の位置付けは、該要素がステレオ画像の異なる焦点面に現れるように、図解される。この例で、グラフイカル要素の視認を表す１対の画像が予め規定された３次元場面のステレオ画像上に重ね合わされる。該グラフイカル
要素の左眼視認を表す画像と、該要素の右眼視認を表すもう１つの画像と、が該対に含まれる。該画像が位置付けられ、分離技術（例えば、カラーフイルター、偏光フイルター、時間ベースシャッター、他）が実施される場所に基づき、該グラフイカル要素は観察者５００により特定奥行きで認識される。例えば、グラフイカル要素の左眼視認（黒充実円５０２により表される）と該グラフイカル要素の右眼視認（白充実円５０４により表される）は前に作られたステレオ画像を含む面５０６上に重ね合わされる。この例で、視認５０２、５０４の位置（間隔Ｓ₁で表される）と、利用可能な分離技術の１つと、に基づきグラフイカル要素（網目円５０８で表される）が後景面５１０の奥行きで一般的に認識される。この様なので、該グラフイカル要素（例えば、語“Ｂａｃｋｇｒｏｕｎｄ”）は後景面５１０に配置された他のグラフイカル要素（例えば、図１の星空のステレオ画像）の等価焦点面に配置されていると認識され、それにより該グラフイカル要素と予め規定されたステレオ画像のコンテンツとを見るために要する再焦点合わせの量を著しく減じる。

同様な仕方で、該画像により表されるグラフイカル要素が前景の奥行きで観察者５００により認識されるよう、１対の画像が面５０６上に重ね合わされる。例えば、左右眼視認を置き換えることにより（視認５０２と５０４と比較して）、該視認により表されるグラフイカル要素が前景にあるように現れる。図解例では、グラフイカル要素の左眼視認（黒充実円５１２により表される）とグラフイカル要素の右眼視認（白充実円５１４により表される）との位置は該面上で逆になり、位置付けられる（間隔Ｓ₂により表される）。視認５１２、５１４の位置と、実施分離技術と、に基づき、該グラフイカル要素は、前景面５１６の奥行きでステレオ的に認識される（網目円５１８で表される様に）。この様であるから、該グラフイカル要素（例えば、語“Ｆｏｒｅｇｒｏｕｎｄ”）は前に作られたグラフイカル要素により共有された焦点面で認識され得る（例えば、月のステレオ画像）。それ故に、観察者５００は該グラフイカル要素と、該前景面５１６で認識される予め規定された３次元場面の部分と、のはっきりした視認を提供され、合成３次元場面を観察する時、彼の眼を再焦点合わせする必要性を減少出来る。該図解例は、視認の位置付けがグラフイカル要素が３次元場面の前に作られたステレオ画像内に挿入されることを可能にすることを示す。更に該視認の位置付けを制御することにより、該グラフイカル要素は、予め規定されたステレオ画像のコンテンツにより見えなくされぬように配置されてもよい。

図６を参照すると、フローチャート６００は、３次元場面の予め規定されたステレオ画像内の１つ以上のグラフイカル要素（例えば、テキスト、画像、ユーザーインターフエース、他）を含むコンピュータシステムの様な計算デバイスの操作を表す。この様な操作は１つの計算デバイスにより実行されるのが典型的であるが、しかしながら、該操作の実行が複数の計算デバイスにより実行されてもよい。１つのサイト（例えば、計算デバイスの場所）で実行されると共に、操作実行が２つ以上の場所間に分散されてもよい。

計算デバイスの操作は、予め規定された３次元場面の２つ以上の視認図（例えば、ステレオ画像）を受信する過程６０２を有する。例えば、３次元場面の左眼視認図と右眼視認図が受信される。操作はまた、該２つ以上の視認図から奥行き情報を決定する過程６０４を有する。例えば、視認図の各々は該視認図に含まれる物体のエッジ（又は他のコンテンツ）を識別するため処理されてもよい（例えば、フイルターをかけられてもよい）。該多数画像間の視差の様な空間的差は該処理された視認図内に表される対応するエッジの位置を比較することにより決定されてもよい。該奥行き情報から、該視認の焦点面が、３次元空間内の該焦点面の位置の様な他の情報と一緒に識別されてもよい。該奥行き情報を使うことにより、操作は該３次元場面内のグラフイカル要素を含むための位置を識別する過程６０６を含んでもよい。例えば、該奥行き情報は、該焦点面に対して、観察者により認識されるべきグラフイカル要素のステレオ図の位置（例えば、２次元座標）と寸法を決めるために使われてもよい。一旦該グラフイカル要素用の位置情報（例えば、場所、寸法、他）が決められると、操作は該グラフイカル要素を含む該３次元場面（例えば、ステレオ画
像）の２つ以上の視認図を作る過程６０８を有する。例えば、左眼視認図と右眼視認図は、各々が、観察者により視認された時、該要素が３次元空間内で適切に認識されるよう、該グラフイカル要素を有するよう画かれてもよい。

図７は、グラフイカル要素の視認図を３次元場面の予め規定されたステレオ画像内に組み込むことに関連する操作を実行するよう使われ、実現される計算デバイスのブロック線図である。計算デバイス７００は、種々の形式のデジタルコンピュータ、画像処理デバイス及び、デジタルテレビセット、セットトップボックス及び受信器｛例えば、ケーブル、地上、インターネットプロトコルテレビジョン（ＩＰＴＶ）、他｝、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、セルラー電話の様なモバイルデバイス、サーバー、ブレードサーバー、メインフレーム、そして他の適当なコンピュータ、の様な同様な種類のデバイスを表すよう意図されている。

計算デバイス７００はプロセッサ７０２、メモリー７０４、記憶デバイス７０６、メモリー７０４及び高速拡張ポート７１０に接続する高速インターフエース７０８、低速バス７１４及び記憶デバイス７０６に接続する低速インターフエース７１２を有する。該部品７０２、７０４、７０６、７０８、７１０及び７１２の各々は種々のバスを使って相互接続され、共通マザーボード上に又は適当な他の仕方で設置されてもよい。プロセッサ７０２は、高速インターフエース７０８に接続されたデイスプレー７１６の様な外部入／出力デバイス上にジーユーアイ（ＧＵＩ）用グラフイカル情報を表示するために、メモリー７０４内又は記憶デバイス７０６上に記憶されたインストラクションを含む、計算デバイス７００内の実行用インストラクションを処理することが出来る。他の実施例では、多数のメモリー及びメモリーのタイプと一緒に、適当な多数のプロセッサ及び／又は多数のバスが使われてもよい。また、多数の計算デバイス７００が、必要な操作の部分を提供する各デバイスと接続されてもよい（例えば、サーバーバンク、ブレードサーバーのグループ、又はマルチプロセッサシステム）。

該メモリー７０４は該計算デバイス７００内の情報を記憶する。１実施例では、メモリー７０４はコンピュータ読み出し可能な媒体である。１実施例では、該メモリー７０４は揮発性メモリーユニット、又は同複数ユニットである。もう１つの実施例では、該メモリー７０４は不揮発性メモリーユニット又は同複数ユニットである。

該記憶デバイス７０６は該計算デバイス７００用の大量記憶を提供出来る。１実施例では、該記憶デバイス７０６はコンピュータ読み出し可能な媒体である。種々の異なる実施例では、該記憶デバイス７０６はフロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、又はテープデバイス、フラッシュメモリー又は他の同様な固体メモリーデバイス、又はストレージエリアネットワーク又は他の構成のデバイスを有するデバイスのアレーであってもよい。１実施例では、コンピュータプログラム製品は情報担体内で明白に具体化される。該コンピュータプログラム製品は、実行時、上記で説明したそれらの様な１つ以上の方法を行うインストラクションを含む。該情報担体はメモリー７０４、記憶デバイス７０６、プロセッサ７０２上のメモリー等の様なコンピュータ読み出し可能な又は機械読み出し可能な媒体である。

該高速制御器７０８は該計算デバイス７００用のバンド幅重点的操作を管理する、一方低速制御器７１２はバンド幅重点性の低い操作を管理する。この様な負荷配分は単なる例示である。１実施例では、該高速制御器７０８はメモリー７０７、デイスプレー７１６（例えば、グラフイックスプロセッサ又はアクセラレーターを通して）そして高速拡張ポート７１０に接続され、該ポートは種々の拡張カード（示されてない）を受け入れることが出来る。該実施例では、低速制御器７１２は記憶デバイス７０６及び低速拡張ポート７１４に接続される。種々の通信ポート（例えば、ＵＳＢ、ブルーツース、イーサーネット、
無線イーサーネット）を有し得る該低速拡張ポートは、キーボード、ポインティングデバイス、スキャナーの様な１つ以上の入力／出力デバイス、又は例えばネットワークアダプターを通して、スイッチ又はルーターの様なネットワーク化デバイスに接続される。

該計算デバイス７００は、図に示す様な多数の種々の形式で実現されてもよい。例えば、該デバイスは標準サーバー７２０として、又はこの様なサーバーのグループ内で多数倍で、実現されてもよい。また、該デバイスはラックサーバーシステム７２４の１部分として実現されてもよい。加えて、該計算デバイスはラップトップコンピュータ７２２の様なパーソナルコンピュータで実現されてもよい。代わりに、計算デバイス７００の部品はモバイルデバイス（示されてない）内の他の部品と組み合わされてもよい。

主題の実施例とこの明細書に説明される機能的動作は、本明細書で開示される構造体及びそれらの構造的等価物、又はそれらの１つ以上の組み合わせを含む、デジタル電子回路、又はコンピュータソフトウエア、ファームウエア、又はハードウエアで実現されてもよい。本明細書で説明される主題の実施例は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行用の又は該装置の操作を制御する、コンピュータ読み出し可能な媒体上で符号化されたコンピュータプログラムインストラクションの１つ以上のモジュール、として実現されてもよい。該コンピュータ読み出し可能な媒体は、機械読み出し可能な記憶デバイス、機械読み出し可能な記憶基盤、メモリーデバイス、機械読み出し可能な伝播信号をもたらす物の構成又はそれらの１つ以上の組み合わせであってもよい。用語“データ処理装置”は、例を上げれば、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを有する、データ処理用の全ての装置、デバイス、及び機械を含む。該装置は、ハードウエアに加えて、問題のコンピュータプログラム用の実行環境を創るコード、例えば、プロセッサファームウエア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコード、を含む。

コンピュータプログラム（プログラム、ソフトウエア、ソフトウエア・アプリケーション、スクリプト、又はコードとしても知られている）は、コンパイラ型又はインタプリタ型言語を含むどんな形式のプログラム用言語で書かれてもよく、該コンピュータプログラムは、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、又は計算環境での使用に好適な他のユニットとして、を含むどんな形式で展開されてもよい。コンピュータプログラムはフアイルシステム内のフアイルに必ずしも対応する必要はない。プログラムは、他のプログラム又はデータを保持するフアイルの部分（例えば、マークアップ言語ドキュメント内に記憶された１つ以上のスクリプト）内に、問題のプログラムに専用化された１つのフアイル内に、或いは複数の協調したフアイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を記憶するフアイル）内に、記憶されてもよい。コンピュータプログラムは、１つのサイトに配置された、又は複数のサイトに亘り分散し、通信ネットワークにより相互接続された、１つのコンピュータ又は複数のコンピュータ、の上で実行されるよう展開されてもよい。

本明細書に説明された過程及びロジックフローは、入力データ上で動作し、出力を発生することにより機能を行うよう、１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサにより実行される。該過程及びロジックフローはまた、特定目的論理回路、例えば、ＦＰＧＡ｛フイールドプログラマブルゲートアレー（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）｝又はＡＳＩＣ｛特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）｝、により実行されてもよく、そしてまた、該装置は該回路として実現されてもよい。

コンピュータプログラムの実行用に好適なプロセッサは、例によれば、汎用及び特定目的用マイクロプロセッサの両者、そして何等かの種類のデジタルコンピュータの何等かの１つ以上のプロセッサを含む。一般に、プロセッサはリードオンリーメモリー又はランダムアクセスメモリー又は両者からインストラクションとデータを受信する。コンピュータの重要要素は、インストラクションを実行するプロセッサとインストラクションとデータを記憶する１つ以上のメモリーデバイスである。一般に、コンピュータは、データを記憶する１つ以上の大量記憶デバイス、例えば磁気、光磁気ディスク又は光ディスク、を有するか、又はそれらからデータを受信する又はそれらにデータを転送する、又はその両者を行うよう、動作的に接続されている。しかしながら、コンピュータはこの様なデバイスを有する必要はない。更に、コンピュータはもう１つのデバイス、例えば、少しだけ例をあげれば、モバイル電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオプレーヤー、グローバルポジションニングシステム（ＧＰＳ）受信器内に埋め込まれてもよい。コンピュータプログラムインストラクション及びデータを記憶するために好適なコンピュータ読み出し可能な媒体は、例によれば、半導体メモリーデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリーデバイス、磁気ディスク、例えば、内蔵されたハードディスク又は取り外し可能なディスク、光磁気ディスクそしてＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む全ての形式の不揮発性のメモリー、媒体及びメモリーデバイスを含む。該プロセッサ及びメモリーは特定目的論理回路、により補足されてもよく、該回路内に組み込まれてもよい。

本明細書に説明された主題の実施例は、例えばデータサーバーとしてバックエンドコンポーネントを有する、又はミドルウエアコンポーネント、例えば応用サーバー、を有する、又はフロントエンドコンポーネント、例えばユーザーが本明細書に説明される主題の実施で相互作用するグラフイカルユーザーインターフエース又はウエブブラウザーを有するクライアントコンピュータ、又は１つ以上のこの様なバックエンド、ミドルウエア又はフロントエンドコンポーネントの何等かの組み合わせ、を有する、計算システム内で実現されてもよい。該システムの該コンポーネントは何等かの形式の又は媒体のデジタルデータ通信、例えば、通信ネットワークにより相互接続されてもよい。通信ネットワークの例はローカルエリアネットワーク（“ＬＡＮ”）及びワイドエリヤネットワーク（“ＷＡＮ”）、例えばインターネットを含む。

該計算システムはクライアント及びサーバーを有してもよい。クライアント及びサーバーは一般に相互に遠隔にあり、通信ネットワークを通して相互作用するのが典型的である。クライアントとサーバーの関係は、それぞれのコンピュータ上で実行し、相互にクライアント−サーバー関係を有するコンピュータプログラムにより発生する。

本明細書は多くの詳細事項を含むが、これらは本発明の範囲又は請求されるものの限定としてでなく、寧ろ本発明の特定の実施例に特定的な特徴の説明として解釈されるべきである。別々の実施例の文脈で本明細書で説明された或る特徴はまた、１つの実施例内で組み合わせで実施されてもよい。逆に、１つの実施例の文脈で説明された種々の特徴が、多数の実施例で別々に、又は何等か適当な部分組み合わせで、実現されてもよい。更に、特徴が、上記で或る組み合わせで作用すると説明され、例えその様に最初に請求されても、請求された組み合わせからの１つ以上の特徴は、或る場合には該組み合わせから切り取られてもよく、請求された組み合わせは部分組み合わせ又は部分組み合わせの変種に向けられてもよい。

同様に、操作は特定の順序で図に画かれているが、これは、望ましい結果を達成するために、この様な操作が示された特定の順序又はシーケンシャルな順序で行われること、又は全ての図解された操作が行われること、を要すると理解されるべきでない。或る環境では、マルチタスク及び並列処理が有利であるかも知れない。更に、上記説明の実施例の種
々のシステムコンポーネントの分離は全ての実施例でこの様な分離を要すると理解されるべきでなく、説明されたプログラムコンポーネントとシステムは概略、１つのソフトウエア製品に一緒に集積されてもよく、或いは複数のソフトウエア製品内にパッケージされてもよいと理解されるべきである。

かくして、本発明の特定の実施例は説明された。他の実施例は下記請求項の範囲内にある。例えば、請求項で詳述されるアクションは異なる順序で行われてもよく、それでも望ましい結果を達成する。

Claims (30)

1. コンピュータで実施する方法であって、
   予め規定された３次元場面の焦点面を、該３次元場面の２つ以上の異なる２次元表現のセットから識別する過程であって、該焦点面は該２つ以上の異なる２次元表現の各々からの高空間周波数成分によって識別される過程、
   高空間周波数成分によって識別された物体の一部に基づき予め規定された３次元場面内のグラフイカル要素の奥行きを識別する過程であって、該物体が該予め規定された３次元場面の２つ以上の異なる２次元表現のそれぞれに表現されており、該奥行きを識別する過程が２つ以上の異なる２次元表現に表現された高空間周波数成分によって識別された物体の対応する複数の部分の間の視差を決定する過程を含む、該グラフイカル要素の奥行きを識別する過程と、そして、
   該グラフイカル要素を有する該予め規定された３次元場面の２つ以上の異なる２次元表現を作る過程と、を具備する該コンピュータで実施する方法。
2. 前記予め規定された３次元場面の前記２つ以上の異なる表現から前記物体の部分の高空間周波数成分を決定する過程を更に具備する請求項１記載のコンピュータで実施する方法。
3. 前記物体の部分の高空間周波数成分を決定する過程が前記予め規定された３次元場面の前記２つ以上の異なる２次元表現にフイルターをかける過程を備える請求項２記載のコンピュータで実施する方法。
4. 前記物体の部分の高空間周波数成分を決定する過程が前記予め規定された３次元場面の前記フイルターをかけられた２つ以上の異なる２次元表現を比較する過程を備える請求項３記載のコンピュータで実施する方法。
5. 前記２つ以上の異なる２次元表現にフイルターをかける過程がコンテンツのエッジを識別する過程を有する請求項３記載のコンピュータで実施する方法。
6. フイルターをかける過程が、前記２つ以上の異なる２次元表現内に表された高空間周波数特性を識別するためにハイパスフイルターをかける過程を有する請求項３記載のコンピュータで実施する方法。
7. 前記２つ以上の異なる２次元表現が前記予め規定された３次元場面の異なる視認図を表す請求項１記載のコンピュータで実施する方法。
8. 前記２つの異なる表現を作る過程が２つ以上の異なる２次元視認図で該グラフイカル要素を表す過程を備える請求項１記載のコンピュータで実施する方法。
9. 前記グラフイカル要素が幾何学的物体、ユーザーインターフエースの部分、画像及びテキストの少なくとも１つを表す請求項１記載のコンピュータで実施する方法。
10. 奥行き情報が圧縮された映像データから決定される請求項１記載のコンピュータで実施する方法。
11. 計算デバイスであって
    インストラクションを記憶するメモリーと、そして
    予め規定された３次元場面の焦点面の、該３次元場面の２つ以上の異なる２次元表現のセットからの識別であって、該２つ以上の異なる２次元表現の各々からの高空間周波数成
    分による該焦点面の識別、
    高空間周波数成分によって識別された物体の一部に基づき予め規定された３次元場面内のグラフイカル要素の奥行きの識別であって、該物体が該予め規定された３次元場面の２つ以上の異なる２次元表現のそれぞれに表現されており、該奥行きを識別する過程が２つ以上の異なる２次元表現に表現された高空間周波数成分によって識別された物体の対応する複数の部分の間の視差を決定する過程を含む、該グラフイカル要素の奥行きの識別、そして、
    該グラフイカル要素を有する該予め規定された３次元場面の２つ以上の異なる２次元表現の作成
    のインストラクションを実行するよう構成されたプロセッサ
    を具備する該計算デバイス。
12. 前記プロセッサが
    前記予め規定された３次元場面の前記２つ以上の異なる表現から前記物体の部分の高空間周波数成分を決定するよう更に構成される請求項１１記載の計算デバイス。
13. 前記物体の部分の高空間周波数成分を決定するために、前記プロセッサが前記予め規定された３次元場面の前記２つ以上の異なる２次元表現にフイルターをかけるよう構成される請求項１２記載の計算デバイス。
14. 前記物体の部分の高空間周波数成分を決定するために、前記プロセッサが前記予め規定された３次元場面の前記フイルターをかけられた２つ以上の異なる２次元表現を比較するよう構成される請求項１３記載の計算デバイス。
15. 前記２つ以上の異なる２次元表現にフイルターをかけるために、前記プロセッサがコンテンツのエッジを識別するよう構成される請求項１３記載の計算デバイス。
16. フイルターをかけるために、前記プロセッサが前記２つ以上の異なる２次元表現内に表された高空間周波数特性を識別するためにハイパスフイルターをかけるよう構成される請求項１３記載の計算デバイス。
17. 前記２つ以上の異なる２次元表現が前記予め規定された３次元場面の異なる視認図を表す請求項１１記載の計算デバイス。
18. 前記２つの異なる表現を作るために、前記プロセッサが前記グラフイカル要素を２つ以上の異なる２次元視認図で表すよう構成される請求項１１記載の計算デバイス。
19. 前記グラフイカル要素が幾何学的物体、ユーザーインターフエースの１部分、画像及びテキストの少なくとも１つを表す請求項１１記載の計算デバイス。
20. 奥行き情報が圧縮された映像データから決定される請求項１１記載の計算デバイス。
21. 処理デバイスにより実行可能なインストラクションであり、この様な実行時、該処理デバイスに、
    予め規定された３次元場面の焦点面を、該３次元場面の２つ以上の異なる２次元表現のセットから識別する過程であって、該焦点面は該２つ以上の異なる２次元表現の各々からの高空間周波数成分によって識別される過程、
    高空間周波数成分によって識別された物体の一部に基づき予め規定された３次元場面内のグラフイカル要素の奥行きを識別する過程であって、該物体が該予め規定された３次元場面の２つ以上の異なる２次元表現のそれぞれに表現されており、該奥行きを識別する過
    程が２つ以上の異なる２次元表現に表現された高空間周波数成分によって識別された物体の対応する複数の部分の間の視差を決定する過程を含む、該グラフイカル要素の奥行きを識別する過程と、
    該グラフイカル要素を有する該予め規定された３次元場面の２つ以上の異なる２次元表現を作る過程と、を具備する操作を行わせる該インストラクションを記憶する、１つ以上のコンピュータ読み出し可能な媒体。
22. 前記操作が
    前記予め規定された３次元場面の前記２つ以上の異なる表現から前記物体の部分の高空間周波数成分を決定する過程を更に具備する請求項２１記載のコンピュータ読み出し可能な媒体。
23. 前記物体の部分の高空間周波数成分を決定する過程が前記予め規定された３次元場面の前記２つ以上の異なる２次元表現にフイルターをかける過程を備える請求項２２記載のコンピュータ読み出し可能な媒体。
24. 前記物体の部分の高空間周波数成分を決定する過程が前記予め規定された３次元場面の前記フイルターをかけられた２つ以上の異なる２次元表現を比較する過程を備える請求項２３記載のコンピュータ読み出し可能な媒体。
25. 前記２つ以上の異なる２次元表現にフイルターをかける過程がコンテンツのエッジを識別する過程を有する請求項２３記載のコンピュータ読み出し可能な媒体。
26. フイルターをかける過程が前記２つ以上の異なる２次元表現内に表された高空間周波数特性を識別するためにハイパスフイルターをかける過程を有する請求項２３記載のコンピュータ読み出し可能な媒体。
27. 前記２つ以上の異なる２次元表現が前記予め規定された３次元場面の異なる視認図を表す請求項２１記載のコンピュータ読み出し可能な媒体。
28. 前記２つの異なる表現を作る過程が前記グラフイカル要素を２つ以上の異なる２次元視認図を用いて表す過程を備える請求項２１記載のコンピュータ読み出し可能な媒体。
29. 前記グラフイカル要素が幾何学的物体、ユーザーインターフエースの１部分、画像及びテキストの少なくとも１つを表す請求項２１記載のコンピュータ読み出し可能な媒体。
30. 奥行き情報が圧縮された映像データから決定される請求項２１記載のコンピュータ読み出し可能な媒体。

Images