JP2010033367A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】 現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置において、当該画像情報に対して生じる知覚の差異を、簡易な方法により解消する。
【解決手段】 表示装置に表示するＭＲ画像を生成する情報処理装置であって、前記生成されたＭＲ画像を複数の領域に分割する手段（４０２）と、前記分割された複数の領域のうちの１つに、または複数の領域それぞれに、重畳するパターン画像を生成する手段（４０３）と、前記生成されたパターン画像を、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳する手段（４０４）と、前記パターン画像が重畳されたＭＲ画像を前記表示装置に出力する手段とを備える。
【選択図】 図４

Description

現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置における情報処理技術に関する。

従来より、ヒトの視覚等に与える刺激を制御することで、本来の状態とは異なる知覚を生じさせることができることが知られている。

コンピュータグラフィック（以後ＣＧとする）等の技術は、ヒトの空間知覚特性を考慮することで、２次元の平面上に描画された仮想の物体を、あたかも３次元的に存在しているかのように表示する技術である。ＣＧの場合、仮想の物体の影や重なり、きめの勾配といった３次元的手がかり（奥行き手がかり）を制御することで、本来の状態（２次元）とは異なる知覚（３次元の物体という知覚）を生じさせている。

また、ＣＧ以外でも、ランダムドットステレオグラムや、両眼立体視を用いた立体感表示等の技術が、同様の技術として知られている。

これらの技術を応用したシステムとして、複合現実感システム（以下、ＭＲシステム）が挙げられる。ＭＲシステムとは、当該技術を用いて現実空間映像が示す視点の位置・方向等に対応した仮想空間映像を生成し、それらを合成することにより、現実空間映像と仮想空間映像の合成映像をユーザに表示するシステムである。

ＭＲシステムによれば、ユーザは、現実空間中に仮想物体が実在しているかのように知覚することができる。ＭＲシステムの場合、仮想空間映像を現実空間映像に合成する構成となっているため、従来の仮想現実感システム（ＶＲシステム）に比べて、よりリアルに、実寸感覚を伴った観察できるという利点がある。
特開平０９−２６９７２３号公報 特開２００６−０６９５２２号公報

しかしながら、ＭＲシステム等のように現実空間映像と仮想空間映像とを合成して表示するシステムの場合、現実空間映像が示す視点の位置・方向と同じ位置・方向から見ているように仮想空間映像を生成したとしても、奥行き知覚には差異が生じてしまう。

つまり、現実空間と仮想空間の視点の位置及び方向が同じになるように、整合性をとった仮想物体からなる仮想空間映像を生成したとしても、現実空間映像と合成すると、奥行き知覚に差異が生じることとなる。このような現象が生じる原因としては、大きくわけて以下の２つが考えられる。
（１）奥行き手がかりの違いによるもの
第１の原因として、同じ奥行きの物体（オブジェクト）に対して、異なる奥行き手がかりが表示されていることが挙げられる。

一般に、ＭＲシステムの場合、現実空間映像が示す視点に基づいて仮想物体のレンダリングを行い仮想空間映像を生成するため、形状については仮想物体と現実物体との間で高い整合性を維持することができる。しかし、彩度や鮮明度については、仮想物体と現実物体との間で整合性を保つことができない。この結果、奥行き知覚に差異が生じることとなる。以下に更に詳説する。

（ａ）現実空間映像と仮想空間映像との彩度の不整合に起因する奥行き知覚の差異
通常、ビデオなどで撮影した現実空間映像とＣＧによって生成された仮想空間映像とでは画像生成手段が異なるため彩度が異なる。ヒトの奥行き知覚特性は、彩度が高いものほど近く、低いものほど遠くに知覚される傾向があるが、一般にＣＧよりもビデオなどによる現実空間映像の方が彩度が低い。このため、同一距離に存在する仮想物体と現実物体とでは仮想物体の方が近くに知覚されることとなる。

（ｂ）現実空間映像と仮想空間映像との鮮明度の不整合に起因する奥行き知覚の差異
一般に、ヒトの奥行き知覚特性は、エッジが鮮明なものほど近く、ボケ量が多いものほど遠くに知覚される傾向がある。仮想空間映像と現実空間映像とでは、仮想空間映像の方がエッジが鮮明であるため、同一距離に存在する仮想物体と現実物体とでは、通常、仮想物体の方が近くに知覚されることとなる。

なお、ここでは、ＭＲシステムを例に説明したが、このような奥行き知覚の差異は、ＭＲシステムに限らず、通常の仮想空間映像生成システム（以下、ＣＧシステム）やビデオカメラなどの現実空間映像生成システムの場合にも当てはまる。
（２）奥行き手がかりの欠落によるもの
第２の原因として、奥行き手がかりが欠落していることが挙げられる。具体例として、ＭＲシステムやＣＧシステムにおいて、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）や立体視用眼鏡などを用いて３次元画像をユーザに体験させるシステムについて説明する。このようなシステムでは、ヒトが奥行きを知覚するために必要な奥行き手がかり自体が欠落しているため、現実空間映像と仮想空間映像とで奥行き知覚に差異が生じることとなる。なお、ここでいう奥行き手がかりとは、輻輳情報や焦点調節情報等を指す。

（ａ）輻輳情報の欠落に起因する奥行き知覚の差異
ヒトが取得する奥行き手がかりとして眼球の輻輳情報がある。一般に、ヒトは近くを見るときには外眼筋を働かせて眼球を内側に向け、注視対象が両眼の網膜中心付近にくるように調節する。そして、その際の外眼筋の活動量を奥行き手がかりとして取得している。

しかし、ビデオカメラのように撮影者の注視情報をもとに撮像装置の位置・方向を変更することが困難な装置の場合、この輻輳情報を加味した画像情報を生成することができない。つまり、生成される画像情報には、輻輳情報という奥行き手がかりが欠落しており、このため、奥行き知覚に差異が生じることとなる。

（ｂ）焦点調節情報の欠落に起因する奥行き知覚の差異
ヒトが取得する奥行き手がかりとして焦点調節情報がある。一般に、ヒトがある対象を観察するとき、その距離に応じて毛様体を活動させ水晶体の厚みをコントロールすることで、焦点を合わせる。そして、その際の毛様体の活動量を奥行き手がかりとして取得している。

しかし、観察者が表示装置の表示面を通して対象を観察する場合、焦点はその表示面となる。つまり、表示面に表示された対象には、焦点調節情報という奥行き手がかり自体が欠落しており、このため奥行き知覚に差異が生じることとなる。

ここで、上述のような奥行き知覚の差異を解消するための方法として、上述したような奥行き手がかりを考慮に入れて仮想空間映像と現実空間映像との間で整合性をとるように構成することが考えられる。

しかしながら、このような方法の場合、現実空間映像を画像解析し、現実空間上の照明条件やヒトの焦点調節情報等を取得して、形状や彩度、鮮明度を補正する必要がある。

また、表示装置の輻輳角を変更可能にし、ヒトの眼球状態を計測した値に基づいて表示装置の輻輳角を変更する構成にする必要がある。あるいは、ヒトの毛様体の活動量を計測する装置を配し、計測された情報に基づいてレンズの調節を行う構成とするか、表示装置の位置を変更可能にし、ヒトの毛様体の活動量に基づいて、表示装置の位置を制御する構成とする必要がある。

しかしながら、このような構成とした場合、システムの大型化が不可避であり、コストもかかるという問題がある。また、処理時間が増大するため、リアルタイムで処理を行う必要のあるシステムには適用できないという問題もある。更に、仮想空間映像と現実空間映像との間で整合性をとった場合、特定の位置・方向から見た場合の奥行き知覚の差異は解消するが、異なる位置・方向から見た場合の形状（形及び大きさ）の整合性が損なわれてしまうという問題もある。

このため、奥行き手がかりの違いや欠落等に起因して生じる奥行き知覚の差異等、現実空間もしくは仮想空間における任意視点の画像情報において生じる知覚の差異を、簡易な方法により解消できるようにすることが望まれている。

本発明は上記課題に鑑みてなされたものであり、現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置において、当該画像情報に対して生じる知覚の差異を、簡易な方法により解消することを目的とする。

上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
表示装置に表示する表示画像を生成する情報処理装置であって、
前記生成された表示画像を複数の領域に分割する分割手段と、
前記分割手段により分割された複数の領域のうちの１つに、または複数の領域それぞれに、重畳するパターン画像を生成する生成手段と、
前記生成されたパターン画像を、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳する重畳手段と、
前記パターン画像が重畳された表示画像を前記表示装置に出力する出力手段とを備える。

本発明によれば、現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置において、当該画像情報に対して生じる知覚の差異を、簡易な方法により解消することが可能となる。

以下、図面を参照しながら、本発明の好適な実施形態について説明する。なお、以下の実施形態における情報処理装置は、ユーザに提供する画像情報に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳することにより、知覚の差異を解消することを特徴とする。

つまり、奥行き手がかりの違いや欠落に対して諸々の物理量を計測し、計測結果に基づいて表示される画像情報自体を直接補正することで、奥行き知覚の差異等を解消させるのではなく、ヒトの錯覚を利用して奥行き知覚の差異等を解消させる点に特徴がある。

かかる方法の場合、諸々の物理量を計測する必要がないため、システムの大型化やコストの上昇を回避することが可能である。また、表示される画像情報自体を補正するわけではないため、リアルタイム性が損なわれることもない。更に、表示される画像情報における、各物体間の形状の整合性も維持されることとなる。

なお、以下の各実施形態のうち、第１乃至第６の実施形態では、本発明にかかる情報処理装置を、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（頭部装着型表示装置））と組み合わせて、ＭＲシステムとして利用する場合について説明する。

また、第７乃至第９の実施形態では、ＣＧシステムとして、第１０の実施形態では、再生システムとして利用する場合について説明する。ただし、本発明にかかる情報処理装置は、これらのシステムとして利用する場合に限られないことは言うまでもない。

［第１の実施形態］
１．ＭＲシステムの構成
図１は、本発明の第１の実施形態にかかる情報処理装置１００をＨＭＤと組み合わせることで構成されたＭＲシステムの全体構成を示す図である。

図１において、１００は情報処理装置であり、現実空間１２０を撮影することにより得られた現実空間映像と、仮想空間１３０の仮想物体（オブジェクト）を所定の位置・方向から見た場合の仮想空間映像とを合成し、ＭＲ画像（表示画像）を生成する。また、生成されたＭＲ画像に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳することで、出力画像を生成する。更に、生成した出力画像を、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に表示する制御を行う。

１１０はＨＭＤであり、現実空間１２０を撮影し、現実空間映像を生成する画像入力部１１１を備える。なお、画像入力部は、ユーザの右目に対応する右側画像入力部１１１Ｒと、ユーザの左目に対応する左側画像入力部１１１Ｌとを備える。右側画像入力部１１１Ｒと左側画像入力部１１１Ｌとにおいて生成された現実空間映像は、情報処理装置１００に入力される。

また、ＨＭＤ１１０は、ＨＭＤ１１０の位置及び姿勢を計測するための位置・姿勢計測部１１３を備える。位置・姿勢計測部１１３により計測されたＨＭＤ１１０の位置及び姿勢情報は、情報処理装置１００に入力される。

更に、ＨＭＤ１１０は、情報処理装置１００において生成された出力画像を表示するための映像表示部１１２を備える。なお、映像表示部１１２は、ユーザの右目により知覚されるように表示される右側映像表示部１１２Ｒと、ユーザの左目により知覚されるように表示される左側映像表示部１１２Ｌとを備える。

１２０は現実空間を示しており、また、１３０は仮想空間を示している。１３１〜１３３は、仮想空間における仮想物体を示している。

２．情報処理装置１００の機能構成
次に情報処理装置１００の機能構成について説明する。図２は、情報処理装置１００の機能構成を説明するための図である。

図２において、２０１は画像キャプチャ部であり、ＨＭＤ１１０の画像入力部１１１より入力された現実空間映像を情報処理装置１００内に取り込む。なお、画像キャプチャ部２０１は、右側画像入力部１１１Ｒより入力された現実空間映像を情報処理装置１００内に取り込む右側画像キャプチャ部２０１Ｒを備える。また、左側画像入力部１１１Ｌより入力された現実空間映像を情報処理装置１００内に取り込む左側画像キャプチャ部２０１Ｌを備える。

２０２は位置・姿勢情報入力部であり、位置・姿勢計測部１１３より入力されるＨＭＤ１１０の位置・姿勢情報を情報処理装置１００内に取り込む。

２０３はＣＧレンダリング部である。ＣＧレンダリング部２０３は、位置・姿勢情報入力部２０２を介して取り込まれた位置・姿勢情報に基づいて、画像キャプチャ部２０１を介して取り込まれた現実空間映像に対して合成される仮想空間映像の位置、姿勢、大きさ、角度（パース）などを計算する。この結果、仮想空間映像を生成する。

２０４はモデリング情報記憶部であり、仮想空間映像により形成される仮想空間１３０に存在する仮想物体１３１乃至１３３の情報が格納されている。ＣＧレンダリング部２０３では、位置・姿勢情報入力部２０２を介して入力された位置・姿勢情報に基づいて仮想空間映像２１２を取得する。

２０５は現実空間映像／仮想空間映像合成部であり、画像キャプチャ部２０１を介して入力された現実空間映像２１１に対して、ＣＧレンダリング部２０３にて生成した仮想空間映像２１２を合成し、ＭＲ画像２１３を生成する。なお、現実空間映像／仮想空間映像合成部２０５は、右側画像キャプチャ部２０１Ｒより出力された現実空間映像に対して、仮想空間映像を合成する現実空間映像／仮想空間映像合成部２０５Ｒを備える。また、左側画像キャプチャ部２０１Ｌより出力された現実空間映像に対して、仮想空間映像を合成する現実空間映像／仮想空間映像合成部２０５Ｌを備える。

２０６はパターン画像合成部であり、現実空間映像／仮想空間映像合成部２０５において生成されたＭＲ画像に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳する。なお、パターン画像合成部２０６は、現実空間映像／仮想空間映像合成部２０５Ｒ、２０５Ｌそれぞれにおいて生成されたＭＲ画像に対してパターン画像をそれぞれ重畳するパターン画像合成部２０６Ｒとパターン画像合成部２０６Ｌとを備える。

２０６は映像生成部であり、パターン画像合成部２０６においてパターン画像が重畳されたＭＲ画像を、アナログもしくはデジタルデータに変換することで出力画像を生成し、ＨＭＤ１１０の映像表示部１１２へ出力する。なお、映像生成部２０７は、パターン画像合成部２０６Ｒにおいてパターン画像が重畳されたＭＲ画像に基づいて出力画像を生成する映像生成部２０７Ｒを備える。また、パターン画像合成部２０６Ｌにおいてパターン画像が重畳されたＭＲ画像に基づいて出力画像を生成する映像生成部２０７Ｌを備える。

３．ＭＲ画像を生成するまでの処理
次に、情報処理装置１００において、ＭＲ画像を生成するまでの処理の流れについて、図３を用いて説明する。

図３において、２１１は、ＨＭＤ１１０の画像入力部１１１を用いて現実空間１２０を所定の位置・方向から撮影し、画像キャプチャ部２０１を介して情報処理装置１００内に取り込まれた現実空間映像の一例である。

また、２１２は、ＨＭＤ１１０の位置・姿勢計測部１１３が計測することにより得られた位置・姿勢情報に基づいて、ＣＧレンダリング部２０３が生成した仮想空間映像の一例である。仮想空間映像２１２において３０１〜３０３は、仮想空間１３０における仮想物体１３１〜１３３を、所定の位置、方向から見た場合の仮想物体画像である。

現実空間映像／仮想空間映像合成部２０５では、画像キャプチャ部２０１より出力された現実空間映像２１１に対して、ＣＧレンダリング部２０３において生成された仮想空間映像２１２を合成し、ＭＲ画像を生成する。

２１３は、現実空間映像／仮想空間映像合成部２０５において生成されたＭＲ画像の一例である。ここで、現実空間映像／仮想空間映像合成部２０５において生成されるＭＲ画像２１３には、現実空間を見ている視点で仮想物体画像３０１〜３０３がレンダリングされている。このため、形状（位置、大きさ）については仮想物体と現実物体との間の整合性が高い。一方、上述したように、彩度及び鮮明度については、整合性が低いため、奥行き知覚に差異が生じている。

４．パターン画像合成部の機能構成
そこで、本実施形態にかかる情報処理装置１００では、パターン画像合成部２０６において、ＭＲ画像２１３に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳する。

図４は、パターン画像合成部２０６の機能構成を示す図である。また、図５は、パターン画像合成部２０６においてパターン画像を生成するまでの処理の流れを説明するための図である。以下、図４及び図５を用いてパターン画像合成部２０６の機能について説明する。なお、パターン画像合成部２０６には、パターン画像合成部２０６Ｒと２０６Ｌとが含まれるが、それぞれの機能は同じであるため、ここでは両者を区別することなく説明する。

図４において、４０１はＭＲ画像取得部であり、現実空間映像／仮想空間映像合成部２０５より出力されたＭＲ画像２１３を取得する。

４０２はＭＲ画像領域分割部であり、取得されたＭＲ画像を複数の領域に分割することで、分割画像４１１を得る。なお、ここで分割される領域は、奥行き知覚に差異が生じており、ユーザの錯覚を誘発することで、これを是正しようとしている領域である。本実施形態では、仮想物体画像３０１〜３０３により規定される領域が、ＭＲ画像領域分割部４０２において分割されるべき領域である。

図５の４１１は、ＭＲ画像領域分割部４０２においてＭＲ画像が分割されることで得られた分割画像の一例を示す図である。本実施形態の場合、分割画像４１１は仮想空間映像２１２と同じ画像となる。

４０３はパターン画像生成部であり、ユーザの錯覚を誘発する所定のパターン画像を生成する。パターン画像生成部４０３では、ＭＲ画像領域分割部４０２において生成された分割画像４１１に基づいて、分割された領域を認識する。そして、当該分割された領域と、それ以外の領域とで、それぞれ別個にパターン画像を重畳するように（あるいは分割された領域のみにパターン画像を重畳するように）、各領域の形状に則したパターン画像をそれぞれ生成する。

図５の４１２は、パターン画像生成部４０３で生成されたパターン画像の一例を示す図である。図５の４１２の例では、パターン画像として、チェッカー模様が用いられている。また、分割された領域として、領域５０１〜５０３が認識されている。なお、図５の４１２では、分割された領域５０１〜５０３と、それ以外の領域の両方に、パターン画像を重畳している。

このように、分割された領域に選択的にパターン画像を重畳することで、あるいは分割された領域とそれ以外の領域の両方にそれぞれ別個にパターン画像を重畳することで、ユーザの錯覚を誘発し、奥行き知覚の差異を低減させることが可能となる。

５．パターン画像の例
次に、パターン画像生成部４０３により生成されるパターン画像４１２の例について説明する。上記説明では、パターン画像として、チェッカー模様を用いた場合について説明したが、パターン画像はチェッカー模様に限られず、誘発させようとする錯覚の内容に応じて変更するものとする。

図６は、パターン画像生成部４０３により生成されるパターン画像４１２の一例を示す図である。図６において、６００はオリジナルパターン画像であるチェッカー模様のパターン画像である。

６０１〜６０３は、各非線形変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。

６１１〜６１３は、アフィン変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。

６２１〜６２２は、マテリアル変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。

このうち、パターン画像６０１〜６０３は、ＭＲ画像中の特定の領域をユーザに注視させたい場合において利用されるパターン画像である。当該パターン画像６０１〜６０３は、ＭＲ画像上の特定の点を中心にしてオリジナルパターン画像６００に対して集中変換処理、渦巻き変換処理、せん断変形変換処理などを施すことにより生成される。

また、パターン画像６１１は、オリジナルパターン画像６００に回転変換を施すことにより生成されるパターン画像であり、特定領域とそれ以外の領域とで回転変換量を変えたパターン画像を適用することにより平衡感覚を強調または抑制することが可能となる。つまり、ＭＲ画像内の特定の領域の平衡感覚に錯覚を起こさせるのに有効である。

また、パターン画像６１２〜６１４は、ＭＲ画像中の特定の領域をユーザに注視させたい場合において利用されるパターン画像である。当該パターン画像６１２〜６１４は、オリジナルパターン画像６００に対して画素単位での合成割合の変換処理や、特定領域のα値の変換処理、特定領域の色情報変換処理などを施すことにより生成される。

また、パターン画像６１３は、ＭＲ画像内の特定の領域の奥行き知覚に錯覚を起こさせるのに有効なパターン画像である。また、パターン画像６２１やパターン画像６２２は、ＭＲ画像内の特定の領域の明るさ（彩度）、色、透明度に錯覚を起こさせるのに有効なパターン画像である。

このように、誘発させようとする錯覚の内容に応じて、諸々の変換マトリックスを用いてオリジナルパターン画像６００を変換することで、様々な種類のパターン画像を生成することができる。

なお、図６の例では、オリジナルパターン画像６００として、チェッカー模様のパターン画像を用いる場合について説明したが、本発明はこれに限定されるものではなく、例えば、ランダムノイズのパターン画像をオリジナルパターン画像として用いてもよい。

以上の説明から明らかなように、本実施形態では、生成されたＭＲ画像において、現実空間映像と仮想物体画像との間に生じる奥行き知覚の差異を低減するために、ＭＲ画像にパターン画像を重畳し、ユーザの錯覚を誘発させる構成とした。

そして、パターン画像を重畳するにあたっては、ユーザに錯覚を誘発させるのに有効な領域を分割し、当該分割した領域に対してパターン画像を個別に重畳する構成とした。あるいは、分割した領域とそれ以外の領域とに別個にパターン画像を重畳する構成とした。

この結果、ＭＲ画像における奥行き知覚の差異を低減させることが可能となった。

［第２の実施形態］
上記第１の実施形態では、奥行き知覚の差異を低減させるために、生成されたそれぞれのＭＲ画像（１フレーム分のＭＲ画像）において、分割された領域に対して個別にパターン画像を重畳する場合について説明した。

しかしながら、本発明はこれに限定されず、例えば、複数フレーム間にわたるＭＲ画像内の各物体の動き（オプティカルフロー）を考慮に入れて、パターン画像を重畳するようにしてもよい。

図７は、本発明の第２の実施形態にかかる情報処理装置１００のパターン画像生成部４０３において生成されるパターン画像の一例を示す図である。

図７において、（ａ）は時刻Ｔ１における分割画像４１１を示している。また、（ｂ）は時刻Ｔ２における分割画像４１１を示している。時刻Ｔ１から時刻Ｔ２の間における、ユーザの視点変化に伴って、分割画像４１１内の仮想物体画像３０１〜３０３の見え方が、時刻Ｔ１と時刻Ｔ２とでは異なっている。

具体的には、時刻Ｔ１に比べて、時刻Ｔ２では、仮想物体がより重なって見える方向にユーザの視点が移動したため、時刻Ｔ２における仮想物体画像３１１〜３１３は、時刻Ｔ１における仮想物体画像３０１〜３０３と比べて、より重なって見える。

換言すると、時刻Ｔ１から時刻Ｔ２の間に、仮想物体画像３０１〜３０３がＭＲ画像内を移動し、仮想物体画像３１１〜３１３となっている。この場合、ユーザからの距離が近い（手前にある）仮想物体画像ほど移動距離が大きく、ユーザからの距離が遠い仮想物体画像ほど移動距離が小さくなる。

図７の（ｃ）、（ｄ）は、それぞれＴ＝Ｔ１及びＴ＝Ｔ２のときに分割画像４１１に基づいて生成されたパターン画像を示している。

図７の（ｃ）に示すように、ここでは、分割された領域（仮想物体画像３０１〜３０３により規定される領域）に対して、チェッカー模様のパターン画像を重畳するとともに、分割された領域以外の領域に対しても、同様にパターン画像を重畳している。

同様に、図７の（ｄ）では、分割された領域（仮想物体画像３１１〜３１３）に対して、チェッカー模様のパターン画像を重畳するとともに、分割された領域以外の領域に対しても、別個に、チェッカー模様のパターン画像を重畳している。

このとき、分割された領域以外の領域に対しては、時刻Ｔ１と時刻Ｔ２とで、同じパターン画像を重畳する。

一方、分割された領域（仮想物体画像）に対しては、時刻Ｔ１から時刻Ｔ２の間に移動しているため、異なるパターン画像を重畳する。

ここで、図７の（ｄ）の例では、仮想物体画像３０１の移動距離がより大きく見えるような錯覚を誘発させるためのパターン画像を重畳している。具体的には、時刻Ｔ１において仮想物体画像３０１に重畳されたパターン画像に対して、時刻Ｔ２において仮想物体画像３１１に重畳されたパターン画像の移動距離は、仮想物体画像自体の移動距離よりも大きくなっている。

６０１は、仮想物体画像３０１に重畳されたパターン画像の特定の位置を指している。仮に、時刻Ｔ２において仮想物体画像３１１に重畳されるパターン画像の、時刻Ｔ１における対応するパターン画像に対する移動距離を、仮想物体画像３１１の移動距離と等しくした場合には、時刻Ｔ１における位置７０１は、時刻Ｔ２では、位置７１１となる。

これに対して、本実施形態では、時刻Ｔ１における位置７０１は、時刻Ｔ２では、位置７１１’に表示されるようにパターン画像を重畳している。

一方、時刻Ｔ２において仮想物体画像３１２、３１３に重畳されるパターン画像の、時刻Ｔ１において仮想物体画像３１２に重畳されるパターン画像に対する移動距離は、時刻Ｔ１から時刻Ｔ２までの仮想物体画像３１１の移動距離と等しい。このため、時刻Ｔ１における位置７０２は、時刻Ｔ２では、位置７１２に表示されるようにパターン画像を重畳している。同様に、時刻Ｔ１における位置７０３は、時刻Ｔ３では、位置７１３に表示されるようにパターン画像を重畳している。

このように、仮想物体画像に重畳されるパターン画像の移動距離を、仮想物体画像の移動距離よりも大きくすることで、当該仮想物体画像の移動距離が、実際の移動距離よりも大きいかのようにユーザに錯覚させることができる。

以上の説明から明らかなように、本実施形態では、複数フレームのＭＲ画像内の各物体の動きを錯覚させるために、重畳するパターン画像の移動距離を、対応する各物体画像の移動距離よりも大きくする構成とした。

この結果、当該物体画像の移動距離を、実際の画像空間内の移動距離よりも大きく見せることが可能となる。

［第３の実施形態］
上記第１及び第２の実施形態では、ＭＲ画像領域分割部４０２が、ＭＲ画像から仮想空間映像を分割する場合について説明した。しかしながら、本発明はこれに限定されない。

例えば、ＨＭＤ１１０に距離センサを配し、当該距離センサより出力された距離情報に基づいて、現実空間映像内の各オブジェクトのうち所定の距離にあるオブジェクトにより規定される領域を分割するようにしても良い。

図８は、距離情報に基づいて領域を分割する場合の、パターン画像合成部の機能構成を示す図である。図４に示すパターン画像合成部２０６Ｒ、２０６Ｌの機能と同一の機能を有する部位には、同じ参照番号を付してある。

図８において、８０１は特徴検出部であり、ＨＭＤ１１０より送信された距離情報（特徴情報）を取得する。８０２はＭＲ画像領域分割部であり、ＭＲ画像取得部４０１において取得されたＭＲ画像のうち、所定の距離にあるオブジェクトにより規定される領域を距離情報に基づいて識別し、当該領域を分割する。

８０３はパターン画像生成部であり、所定の距離にあるオブジェクトにより規定される領域を強調または抑制して見せるためのパターン画像を生成する。

これにより、ＭＲ画像のうち、現実空間映像内の所定の距離にあるオブジェクトにより規定される領域を、強調または抑制して見せることが可能となる。

なお、このときＨＭＤ１１０に配される距離センサとしては、例えば、レンジファインダが挙げられるが、これに限定されるものではない。現実物体に距離に応じたマーカを添付し、当該マーカを読み取ることで距離情報を取得するようにしてもよいし、複数のカメラを用いることにより距離情報を取得するようにしてもよい。

［第４の実施形態］
上記各実施形態では、パターン画像を生成するにあたり、ＭＲ画像領域分割部４０２により分割された領域を認識し、当該認識した領域に対応する領域を、予め生成されたパターン画像から抽出し、対応する領域に重畳する構成とした。

しかしながら、本発明はこれに限定されるものではない。例えば、前もってパターン画像を生成しておくのではなく、分割された領域を認識した後に、当該認識した領域ごとに新たにパターン画像を生成するように構成してもよい。

［第５の実施形態］
上記第３の実施形態では、特徴検出部において、特徴情報として距離情報を抽出することとしたが、本発明はこれに限定されない。例えば、ＭＲ画像内の各画素の明度情報を特徴情報として抽出し、ＭＲ画像領域分割部では、当該明度情報に基づいて、領域を分割するように構成してもよい。この場合、明るい領域と暗い領域とで異なるパターン画像が重畳されることとなる。

［第６の実施形態］
上記各実施形態では、ＭＲ画像内の奥行き知覚の差異を是正する場合について説明したが、本発明はこれに限定されず、ＭＲ画像内を移動する所定の物体の移動速度について、ユーザに錯覚を誘発させるように構成してもよい。

図９は、ＭＲ画像内を移動する所定の物体の移動速度について、ユーザの錯覚を誘発させる構成を説明するための図である。

図９において、９０１は時刻Ｔ１における仮想空間映像であり、仮想物体画像９０２が含まれる。９１１は時刻Ｔ２における仮想空間映像であり、仮想物体画像９１２が含まれる。

図９において、仮想物体画像９０２の移動速度を、実際の移動速度よりも速く知覚させる場合、仮想物体画像９０２に重畳するパターン画像の移動速度を仮想物体画像９０２の移動速度ｖ１よりも速くする。ここで仮想物体画像９０２に対するパターン画像の相対速度をｖ２とすると、ＭＲ画像内のパターン画像の移動速度はｖ１＋ｖ２となり、より速いオプティカルフローを提示することができる。

反対に、仮想物体画像９０２の移動速度を実際の移動速度よりも遅く知覚させる場合には、仮想物体画像９０２に重畳するパターン画像の移動速度を、仮想物体画像９０２の移動速度ｖ１よりも遅くする。仮想物体画像９０２に対するパターン画像の相対速度ｖ２を負の値に設定すれば、仮想物体画像９０２の移動速度は、実際の移動速度よりも遅く知覚されることとなる。

なお、上記説明では、分割された領域（仮想物体画像）９０２、９１２に対応するパターン画像の移動速度を変更することとしたが、本発明はこれに限定されない。例えば、分割された領域以外の領域（現実空間映像）９０３、９１３のパターン画像を移動させる構成としてもよい。

この場合、分割された領域の移動方向と同じ方向に、分割された領域以外の領域のパターン画像を移動させる構成とすることで、分割された領域の移動速度を実際の移動速度よりも遅く知覚させることが可能となる。また、分割された領域の移動方向と反対方向に、分割された領域以外の領域のパターン画像を移動させる構成とすることで、分割された領域の移動速度を実際の移動速度よりも速く知覚させることが可能となる。

［第７の実施形態］
上記第１の実施形態では、ＨＭＤ１１０の位置・姿勢計測部１１３において取得された位置・姿勢情報に基づいて、ＭＲ画像を遅滞なく生成した場合であっても生じえる奥行き知覚の差異について低減させる構成について説明した。しかしながら、本発明はこれに限定されない。

一般に、ＨＭＤ１１０の位置・姿勢計測部１１３において取得された位置・姿勢情報に基づいてＭＲ画像を生成する場合、ＣＧレンダリング部２０３や現実空間映像／仮想空間映像合成部２０５に対しては、高い処理負荷がかかる。

このため、ＨＭＤ１１０の動きに対して、そもそも映像生成部２０７より出力される出力画像には遅れが生じることが考えられる。

そこで、本実施形態では、パターン画像を重畳することによるユーザの錯覚の効果を利用して、映像生成部２０７より出力される出力画像の遅れを目立たなくさせるための構成について説明する。

なお、上記各実施形態では、ＭＲ画像を対象としてパターン画像を重畳する場合について説明したのに対して、本実施形態を含む以下の実施形態では、ＣＧ画像を対象としてパターン画像を重畳する場合について説明する。

１．情報処理装置の機能構成
図１０は、本実施形態にかかる情報処理装置１０００を適用したＣＧシステムの機能構成を示す図である。図１０において、１００２はＣＧ画像生成部であり、ＨＭＤ１０２０の位置・姿勢計測部１０２１より送信された位置・姿勢情報に基づいて、記憶装置１００１より読み出された仮想データ１０１１を処理する。そして、ユーザの視点の位置・方向に対応したＣＧ画像１０１３を生成する。

１００４は幾何変換量計算部であり、ＨＭＤ１０２０の位置・姿勢計測部１０２１より送信された位置・姿勢情報に基づいて、ユーザの視点の移動方向と移動距離とを計算する。１００５は、パターン画像変換部であり、記憶装置１００１より読み出したパターン画像１０１２を、幾何変換量計算部１００４において計算された移動方向及び移動距離に基づいて、平行移動変換する。

１００３はパターン画像合成部であり、ＣＧ画像生成部１００２において生成されたＣＧ画像１０１３に、パターン画像変換部１００５において平行移動変換されたパターン画像１０１４を重畳する。これにより、ＣＧ画像の生成に遅延が生じた際のオプティカルフローを補う。

１００６は映像生成部であり、パターン画像合成部１００３においてパターン画像が重畳されたＣＧ画像を、アナログもしくはデジタルデータに変換することで出力画像を生成し、ＨＭＤ１０２０の映像表示部１０２２へ出力する。

２．情報処理装置における処理の流れ
次に、情報処理装置１０００における処理の流れについて説明する。図１１は、情報処理装置１０００における処理の流れを示すフローチャートである。

ステップＳ１１０１において、初期化処理を行うと、ステップＳ１１０２では、位置・姿勢情報１０１０を取得する。

ステップＳ１１０３では、取得した位置・姿勢情報１０１０に基づいて、ＣＧ画像１０１３を生成する。また、ステップＳ１１０７では、並行して、幾何変換量の計算を行い、ステップＳ１１０８では、該幾何変換量に基づいて、パターン画像１０１２を平行移動変換する。

ステップＳ１１０４では、生成したＣＧ画像１０１３に、平行移動変換したパターン画像１０１４を重畳する。更に、ステップＳ１１０５では、映像生成部１００６が出力画像を生成し、生成した出力画像を出力する。

ステップＳ１１０６では、処理の終了指示があったか否かを判断し、終了指示がないと判断された場合には、ステップＳ１１０２に戻り、再び位置・姿勢情報１０１０を取得する。

以降、ステップＳ１１０６において、処理の終了指示があったと判断されるまで、ステップＳ１１０２からステップＳ１１０８の処理を、所定周期で繰り返す。

ステップＳ１１０６において、処理の終了指示があったと判断された場合には、処理を終了する。

３．情報処理装置における処理の具体例
次に、図１２を用いて、情報処理装置１０００における処理の具体例について説明する。

図１２において、１２０１は、時刻Ｔ１において取得された位置・姿勢情報に基づいて生成されたＣＧ画像の一例である。１２０２は、当該位置・姿勢情報に基づいて生成されたパターン画像である。

１２０３は、時刻Ｔ１＋△Ｔにおいて取得された位置・姿勢情報に基づいて生成されるべきＣＧ画像である。

１２０４は、△Ｔ経過する間のオプティカルフロー量と等価となるように、時刻Ｔ１＋△Ｔにおいて取得された位置・姿勢情報に基づいて、パターン画像１２０２を平行移動変換することで生成されたパターン画像である。

ここで、ＣＧ画像生成部１００２では、ＣＧ画像１２０１を生成してから、△Ｔ経過するまでに、ＣＧ画像１２０３を生成する必要があるが、処理に遅延が生じ、△Ｔ経過するまでに、ＣＧ画像１２０３を生成することができなかったとする。

この場合、△Ｔ経過時点では、ＣＧ画像１２０３が生成されていないため、パターン画像合成部１００３では、１周期前のＣＧ画像１２０１に、パターン画像１２０４を重畳する（１２０５参照）。つまり、ＨＭＤ１０２０の動作に、ＣＧ画像のオプティカルフローが追いつかなかった場合には、ＣＧ画像のオプティカルフロー量に相当するパターン画像を１周期前のＣＧ画像に重畳させることで、ＣＧ画像を生成する際の処理の遅延の影響を軽減する。

このように、本実施形態によれば、パターン画像を重畳することによるユーザの錯覚の効果を利用し、映像生成部１００７より出力される出力画像に遅れがないように見せることが可能となる。

なお、本実施形態では、パターン画像としてチェッカー模様を用いることとしているが、本発明はこれに限定されず、例えば、ランダムドットノイズ等の他のパターン画像を用いてもよいことはいうまでもない。

また、本実施形態では、幾何変換として、平行移動変換を用いる場合について説明したが、本発明はこれに限定されず、所望のオプティカルフローに補正することを目的とする幾何変換であれば、他の幾何変換を用いてもよいことはいうまでもない。

例えば、ジャイロなどの地磁気を計測するセンサ情報を用いて重力方向を検出し、その情報を用いて現在の姿勢に対して重力方向へ傾く方向へ誘導するような回転変換を基準とした幾何変換が挙げられる。あるいは、加速度センサを用いて視点位置の加速度成分からそれを補正するような非線形な変換等が挙げられる。

［第８の実施形態］
上記第７の実施形態では、パターン画像合成部において、ＣＧ画像に対してパターン画像を重畳する構成としたが、本発明はこれに限定されない。ＣＧ画像を生成するタイミングとパターン画像を生成するタイミングとでは、ずれがあるため、それぞれ別個に映像表示部に出力するように構成してもよい。

図１３は、本実施形態における情報処理装置１３００を適用したＣＧシステムの機能構成を示す図である。図１０と同じ機能については同じ参照番号を付してある。

図１０との違いは、パターン画像合成部１００３がない代わりに、ＣＧ画像用の映像生成部１３０１とパターン画像用の映像生成部１３０２を配し、それぞれの出力画像を映像表示部１０２２に出力している点である。

なお、図１３の機能構成において、映像表示部１０２２は、異なる更新レートで２つの出力画像を表示することができるよう構成されているものとする。

［第９の実施形態］
上記第７の実施形態では、パターン画像を常時表示する構成としたが、本発明はこれに限定されない。例えば、物体の移動速度が変化した場合に、対応するパターン画像を表示し、静止時には表示しないように構成してもよい。

図１４は、本実施形態における情報処理装置１４００を適用したＣＧシステムの機能構成を示す図である。図１０と同じ機能については同じ参照番号を付してある。

図１０との違いは、パターン画像合成部１００３の代わりに、パターン画像制御部１４０１が配されている点である。パターン画像制御部１４０１では、パターン画像変換部１００５において生成されたパターン画像１０１４をＣＧ画像１０１３に重畳するにあたり、位置・姿勢情報１０１０が変化した場合にのみ、パターン画像１０１４をＣＧ画像１０１３に重畳する。

図１５は、本実施形態における情報処理装置１４００の処理の流れを示すフローチャートである。なお、図１１と同じ処理については、同じ参照番号を付してある。

図１１との違いは、ステップＳ１１０８において生成したパターン画像を、ステップＳ１１０４において、ＣＧ画像に重畳する前に、ステップＳ１５０１において、重畳するか否かを判定している点である。

ステップＳ１５０１では、ステップＳ１００２において取得された位置・姿勢情報が、１周期前に取得された位置・姿勢情報から変化しているか否かを判断し、変化していると判断された場合には、重畳すると判定し、ステップＳ１００４に進む。

一方、ステップＳ１５０１において、変化していないと判断された場合には、重畳しないと判定し、ステップＳ１００５に進む。

以上の説明から明らかなように、本実施形態にかかる情報処理装置では、ＨＭＤ１０２０が静止している状態では、パターン画像がＣＧ画像に重畳されることはない。このように、ＨＭＤ１０２０が静止している状態で、ＣＧ画像にパターン画像を重畳しないように制御することで、パターン画像を重畳することによる出力画像の画質の低下を、静止時においては回避することが可能となる。

なお、視点が変化している場合には、ユーザは、ＣＧ画像の詳細を認識することができないため、移動中にパターン画像を重畳させても、出力画像の画質の低下の影響は小さい。

［第１０の実施形態］
上記第７乃至第９の実施形態では、本発明にかかる情報処理装置をＣＧシステムに適用する場合について説明したが、本発明はこれに限定されない。

例えば、手持ちで作成したハンディビデオ装置のビデオ画像において、手ぶれが大きいビデオ画像を再生する場合の再生システムに適用することも可能である。

具体的には、ハンディビデオ装置などに搭載されているジャイロ情報をビデオ画像とともに記録しておき、当該ビデオ画像を再生システムにおいて再生する際に、ジャイロ情報に基づいてパターン画像を生成し、再生画像に重畳するように構成してもよい。

このように構成することで、ユーザが意図していないビデオ画像のゆれを軽減させることが可能となる。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読取可能な記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。

本発明の第１の実施形態にかかる情報処理装置１００をＨＭＤと組み合わせることで構成されたＭＲシステムの全体構成を示す図である。 情報処理装置１００の機能構成を説明するための図である。 ＭＲ画像を生成するまでの処理の流れを説明するための図である。 パターン画像合成部２０６の機能構成を示す図である。 パターン画像合成部２０６においてパターン画像を生成するまでの処理の流れを説明するための図である。 パターン画像生成部４０３により生成されるパターン画像４１２の一例を示す図である。 本発明の第２の実施形態にかかる情報処理装置１００のパターン画像生成部４０３において生成されるパターン画像の一例を示す図である。 距離情報に基づいて領域を分割する場合の、パターン画像合成部の機能構成を示す図である。 ＭＲ画像内を移動する所定の物体の移動速度について、ユーザに錯覚を誘発させる構成を説明するための図である。 情報処理装置１０００の機能構成を示す図である。 情報処理装置１０００における処理の流れを示すフローチャートである。 情報処理装置１０００における処理の具体例について説明するための図である。 情報処理装置１３００の機能構成を示す図である。 情報処理装置１４００の機能構成を示す図である。 情報処理装置１４００の処理の流れを示すフローチャートである。

Claims (18)

1. 表示装置に表示する表示画像を生成する情報処理装置であって、
   前記生成された表示画像を複数の領域に分割する分割手段と、
   前記分割手段により分割された複数の領域のうちの１つに、または複数の領域それぞれに、重畳するパターン画像を生成する生成手段と、
   前記生成されたパターン画像を、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳する重畳手段と、
   前記パターン画像が重畳された表示画像を前記表示装置に出力する出力手段と
   を備えることを特徴とする情報処理装置。
2. 前記分割手段は、
   前記表示画像により形成される画像空間において、予め定められた特徴情報に対応するオブジェクトにより規定される領域を分割することを特徴とする請求項１に記載の情報処理装置。
3. 前記分割手段は、
   前記表示画像により形成される画像空間において、予め定められた奥行き方向の距離に存在するオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
4. 前記分割手段は、
   前記表示画像により形成される画像空間において、ユーザによって注視されるべきオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
5. 前記分割手段は、
   前記表示画像により形成される画像空間において、画像情報が変化しているオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
6. 前記生成手段は、
   予め定められたパターン画像に対して、幾何変換を施すことにより、前記パターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
7. 前記生成手段は、
   予め定められたパターン画像に対して、画素単位の変換を施すことにより、前記パターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
8. 前記生成手段により生成されたパターン画像を格納する格納手段を更に備え、
   前記重畳手段は、
   前記格納手段に格納された前記生成されたパターン画像を読み出し、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳することを特徴とする請求項１に記載の情報処理装置。
9. 前記生成手段は、
   前記複数の領域それぞれに、異なるパターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
10. 前記表示装置は、頭部装着型の表示装置であり、
    前記分割手段は、
    前記頭部装着型の表示装置より出力された位置・姿勢情報に対応したオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
11. 前記表示装置は、頭部装着型の表示装置であり、
    前記生成手段は、
    前記頭部装着型の表示装置より出力された位置・姿勢情報に基づいて、前記重畳するパターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
12. 前記重畳手段は、前記予め定められた特徴情報に基づいて、前記分割手段により分割された複数の領域の中から選択された領域に対して、前記生成されたパターン画像を重畳することを特徴とする請求項２に記載の情報処理装置。
13. 表示装置に表示する表示画像を生成する情報処理装置であって、
    画像情報を取得する取得手段と、
    前記画像情報に重畳するパターン画像を生成する生成手段と、
    前記表示装置に表示する表示画像に対するユーザの視点変化に応じて、前記生成されたパターン画像を制御する制御手段と、を備え、
    前記制御手段により制御されたパターン画像を前記画像情報に重畳することで、表示画像を生成することを特徴とする情報処理装置。
14. 前記制御手段は、前記ユーザの視点変化に応じて、前記生成されたパターン画像の幾何変換を制御することを特徴とする請求項１３に記載の情報処理装置。
15. 表示装置に表示する表示画像を生成する情報処理装置における情報処理方法であって、
    前記生成された表示画像を複数の領域に分割する分割工程と、
    前記分割工程において分割された複数の領域のうちの１つに、または複数の領域それぞれに、重畳するパターン画像を生成する生成工程と、
    前記生成されたパターン画像を、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳する重畳工程と、
    前記パターン画像が重畳された表示画像を前記表示装置に出力する出力工程と
    を備えることを特徴とする情報処理方法。
16. 表示装置に表示する表示画像を生成する情報処理装置における情報処理方法であって、
    画像情報を取得する取得工程と、
    前記画像情報に重畳するパターン画像を生成する生成工程と、
    前記表示装置に表示する表示画像を見るユーザの視点変化に応じて、前記生成されたパターン画像を制御する制御工程と、を備え、
    前記制御工程において制御されたパターン画像を前記画像情報に重畳することで、表示画像を生成することを特徴とする情報処理方法。
17. 請求項１５または１６に記載の情報処理方法をコンピュータによって実行させるためのプログラムを格納したコンピュータ読取可能な記憶媒体。
18. 請求項１５または１６に記載の情報処理方法をコンピュータによって実行させるためのプログラム。

Images