JP2021015372A - 画像表示装置、画像表示システムおよび画像表示方法 - Google Patents

Abstract

【課題】画像変換による違和感を抑制する。【解決手段】リプロジェクション部８４は、奥行き値の情報を含む画像を複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行し、複数の異なる奥行き値に応じてリプロジェクション処理された複数の画像を合成して合成画像を生成する。歪み処理部８６は、合成画像を表示光学系で生じる歪みに合わせて変形させる歪み処理を実行する。【選択図】図５

Description

この発明は、画像表示装置、画像表示システムおよび画像表示方法に関する。

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ(Virtual Reality)）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイに表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。

そこで、レンダリングした画像をヘッドマウントディスプレイの最新の位置と姿勢に合わせて補正する「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、ユーザがずれを感知しにくいようにする対策が取られている。

また、仮想現実では高フレームレートの映像体験が求められるため、低フレームレートのレンダリングとは非同期にリプロジェクションを行うことにより、フレームレートを擬似的に向上させることが行われている。

従来のリプロジェクション処理では、奥行きが異なる領域であっても、全体で奥行きが一律であると仮定して画像全体を変換するため、リプロジェクションされた画像に違和感を感じることがある。特に奥行きが大きく異なる領域を含む画像の場合、リプロジェクションによる違和感を避けるには１２０ｆｐｓ（frames per second）のフレームレートにおいては１フレームの補間が限界であり、リプロジェクションによってフレームレートを向上させるには限界がある。また、画面上で表示位置が固定されたメニューやダイアログなどに対しては一律にリプロジェクションをかけたくない場合もある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、画像変換による違和感を抑制することのできる画像表示装置、画像表示システムおよび画像表示方法を提供することにある。

上記課題を解決するために、本発明のある態様の画像表示装置は、奥行き値の情報を含む画像を複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行し、複数の異なる奥行き値に応じてリプロジェクション処理された画像を生成するリプロジェクション部を含む。

本発明の別の態様もまた、画像表示装置である。この装置は、奥行き値の情報を含む画像をサンプリングするためのＵＶ座標値を格納したＵＶテクスチャを複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行し、複数の異なる奥行き値に応じてリプロジェクション処理された複数のＵＶテクスチャを生成するリプロジェクション部と、前記リプロジェクション処理により変換された前記複数のＵＶテクスチャを用いて前記画像をサンプリングし、前記画像を表示光学系で生じる歪みに合わせて変形させる歪み処理を実行し、歪み処理された画像を生成する歪み処理部とを含む。

本発明のさらに別の態様は、画像表示システムである。この画像表示システムは、画像表示装置と画像生成装置を含む画像表示システムであって、前記画像生成装置は、仮想空間のオブジェクトをレンダリングして奥行き値の情報を含むコンピュータグラフィックス画像を生成するレンダリング部と、前記奥行き値の情報を含む前記コンピュータグラフィックス画像を前記画像表示装置に送信する送信部とを含む。前記画像表示装置は、前記画像生成装置から前記奥行き値の情報を含む前記コンピュータグラフィックス画像を受信する受信部と、前記奥行き値の情報を含む前記コンピュータグラフィックス画像を複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行し、複数の異なる奥行き値に応じてリプロジェクション処理されたコンピュータグラフィックス画像を生成するリプロジェクション部とを含む。

本発明のさらに別の態様は、画像表示方法である。この方法は、奥行き値の情報を含む画像を複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行するステップと、複数の異なる奥行き値に応じてリプロジェクション処理された画像を生成するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像変換による違和感を抑制することができる。

ヘッドマウントディスプレイの外観図である。 画像生成システムの構成図である。 ヘッドマウントディスプレイの機能構成図である。 画像生成装置の機能構成図である。 画像生成システムの構成を説明する図である。 非同期リプロジェクション処理の手順を説明する図である。 図７（ａ）は、従来方式によるリプロジェクション処理と歪み処理を説明する図であり、図７（ｂ）は、本実施の形態の方式によるリプロジェクション処理と歪み処理を説明する図である。 デプスリプロジェクション処理と歪み処理を説明する図である。 デプスＵＶリプロジェクション処理と歪み処理を説明する図である。

図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための画像表示装置である。

ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。

ヘッドマウントディスプレイ１００にはカメラユニットが搭載されており、ユーザがヘッドマウントディスプレイ１００を装着している間、外界を撮影することができる。

ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像生成装置２００に接続される。

画像生成装置２００は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、ヘッドマウントディスプレイ１００に伝送する。

画像生成装置２００の一例はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、画像生成装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。

図３は、本実施の形態に係るヘッドマウントディスプレイ１００の機能構成図である。

制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。

記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。

外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

送受信部９２は、画像生成装置２００により生成された画像を画像生成装置２００から受信し、制御部１０に供給する。

リプロジェクション部８４は、姿勢センサ６４が検出したヘッドマウントディスプレイ１００の最新の位置・姿勢情報にもとづき、画像をサンプリングするためのＵＶ座標値を格納したＵＶテクスチャに対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向に応じたＵＶテクスチャに変換する。

変換後のＵＶテクスチャを用いて画像を参照すると、画像に対してリプロジェクションを施したのと同じ効果が得られるが、画質の劣化の程度には違いがある。画像を直接サンプリングすると、隣接する画素値の間でバイリニア補間などの補間処理をすることによって画像が劣化することが避けられない。それに対して、ＵＶテクスチャは線形に変化するＵＶ値が並んでいるテクスチャであるため、画素値とは違って、隣接するＵＶ値の間でバイリニア補間しても、得られるＵＶ値の線形性は失われない。ＵＶテクスチャのリプロジェクションでは、画像のリプロジェクションのようなバイリニア補間による画素値の非線形の変換が起きないという利点がある。ただし、ＵＶ値を保存するテクスチャにも解像度の制約があるため、ＵＶテクスチャのバイリニア補間によって得られるＵＶ値は、真のＵＶ値とは異なり、一定の丸め誤差が生じる。そこで、ＵＶ値を保存するテクスチャの解像度を画像より大きくすることでサンプリング時の補間による誤差を小さくしたり、ＵＶ値を１色３２ビットなどのビット長の大きいテクスチャに保存したりすることで量子化誤差を小さくすることもできる。このようにＵＶテクスチャの解像度や精度を高くすることによって、画像の劣化を抑制することができる。

歪み処理部８６は、リプロジェクション処理が施されたＵＶテクスチャを参照して画像をサンプリングし、サンプリングされた画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形させて歪ませる処理を施し、歪み処理が施された画像を制御部１０に供給する。

ヘッドマウントディスプレイ１００ではユーザの眼前と周囲に視野角の広い映像を表示させるために曲率の高い光学レンズを採用し、ユーザがレンズを介してディスプレイパネルを覗き込む構成になっている。曲率の高いレンズを用いるとレンズの歪曲収差によって映像が歪んでしまう。そこで、曲率の高いレンズを通して見たときに正しく見えるように、レンダリングされた画像に対してあらかじめ歪み処理を施し、歪み処理後の画像をヘッドマウントディスプレイに伝送してディスプレイパネルに表示し、ユーザが曲率の高いレンズを通して見ると正常に見えるようにする。

制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。

姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像生成装置２００に通知される。あるいは、送受信部９２がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像生成装置２００に送信してもよい。

図４は、本実施の形態に係る画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

画像生成装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をヘッドマウントディスプレイ１００から取得する。

視点・視線設定部２２０は、位置・姿勢取得部２１０により取得されたヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。

画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックス（ＣＧ）の生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、ポストプロセスを施し、画像記憶部２６０に出力する。

画像生成部２３０は、レンダリング部２３２と、ポストプロセス部２３６とを含む。

レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、ポストプロセス部２３６に与える。

ポストプロセス部２３６は、ＣＧ画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、ＣＧ画像が自然で滑らかに見えるように後処理し、画像記憶部２６０に記憶する。

送受信部２８２は、画像記憶部２６０から画像生成部２３０により生成されたＣＧ画像のフレームデータを読み出し、ヘッドマウントディスプレイ１００に伝送する。送受信部２８２は、アルファ値とデプス情報を含むＣＧ画像のフレームデータを読み出し、ＲＧＢＡＤ画像信号を伝送可能な通信インタフェースを介してＲＧＢＡＤ画像としてヘッドマウントディスプレイ１００に伝送してもよい。ここでＲＧＢＡＤ画像信号は、画素毎に赤、緑、青の各色の値にアルファ値およびデプス値を加えた画像信号である。

図５は、本実施の形態に係る画像生成システムの構成を説明する図である。ここでは、説明を簡単にするため、ＣＧ画像を生成して表示するためのヘッドマウントディスプレイ１００と画像生成装置２００の主な構成を図示して説明する。

ヘッドマウントディスプレイ１００の姿勢センサ６４により検出されたユーザの視点位置・視線方向は画像生成装置２００に送信され、レンダリング部２３２に供給される。

画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、ＣＧ画像をポストプロセス部２３６に与える。

ポストプロセス部２３６はＣＧ画像にポストプロセスを施し、アルファ値とデプス情報を含むＲＧＢＡＤ画像としてヘッドマウントディスプレイ１００に送信し、リプロジェクション部８４に供給される。

ヘッドマウントディスプレイ１００のリプロジェクション部８４は、姿勢センサ６４により検出されたユーザの最新の視点位置・視線方向を取得し、ＣＧ画像をサンプリングするためのＵＶ座標値を格納したＵＶテクスチャを最新の視点位置・視線方向に合うように変換し、歪み処理部８６に供給する。

歪み処理部８６はリプロジェクション処理が施されたＵＶテクスチャを参照してＣＧ画像をサンプリングし、サンプリングされたＣＧ画像に歪み処理を施す。歪み処理が施されたＣＧ画像は、ディスプレイパネル３２に表示される。

本実施の形態では、リプロジェクション部８４と歪み処理部８６をヘッドマウントディスプレイ１００に設けた場合を説明したが、リプロジェクション部８４と歪み処理部８６を画像生成装置２００に設けてもよい。リプロジェクション部８４と歪み処理部８６をヘッドマウントディスプレイ１００に設けた方が、姿勢センサ６４が検出する最新の姿勢情報をリアルタイムで利用することができる点で有利である。しかし、ヘッドマウントディスプレイ１００の処理能力に制約がある場合は、リプロジェクション部８４と歪み処理部８６を画像生成装置２００に設ける構成を採用することができる。その場合、姿勢センサ６４が検出する最新の姿勢情報をヘッドマウントディスプレイ１００から受信して画像生成装置２００においてリプロジェクション処理と歪み処理を行い、その結果の画像をヘッドマウントディスプレイ１００に送信する。

図６は、本実施の形態の非同期リプロジェクション処理の手順を説明する図である。

ヘッドマウントディスプレイ１００の姿勢センサ６４などで構成されるヘッドトラッカがｎ番目の垂直同期信号（ＶＳＹＮＣ）のタイミングでヘッドマウントディスプレイを装着したユーザの姿勢を推定する（Ｓ１０）。

ゲームエンジンはゲームスレッドとレンダリングスレッドを実行する。ゲームスレッドは、ｎ番目のＶＳＹＮＣのタイミングでゲームイベントを発生させる（Ｓ１２）。レンダリングスレッドは、ｎ番目のＶＳＹＮＣのタイミングで推定された姿勢にもとづいてシーンレンダリングを実行し（Ｓ１４）、レンダリングされた画像にポストプロセスを施す（Ｓ１６）。一般にシーンレンダリングは時間がかかるため、次のシーンレンダリングを実行するまでの間に最新の姿勢にもとづいてリプロジェクションを行う必要がある。

リプロジェクションは、ＧＰＵ割り込みのタイミングで、レンダリングスレッドによるレンダリングとは非同期に行われる。ヘッドトラッカが（ｎ＋１）番目のＶＳＹＮＣのタイミングで姿勢を推定する（Ｓ１８）。（ｎ＋１）番目のＶＳＹＮＣのタイミングで推定された姿勢にもとづいて、ｎ番目のＶＳＹＮＣのタイミングでレンダリングされた画像を参照するためのＵＶテクスチャに対してリプロジェクション処理が施され、ｎ番目のＶＳＹＮＣのタイミングのＵＶテクスチャが（ｎ＋１）番目のＶＳＹＮＣのタイミングのＵＶテクスチャに変換される（Ｓ２０）。リプロジェクションされたＵＶテクスチャを参照して、ｎ番目のＶＳＹＮＣのタイミングでレンダリングされた画像をサンプリングして歪み処理を実行し（Ｓ２２）、（ｎ＋１）番目のＶＳＹＮＣのタイミングの歪み画像を出力する。

同様に、ヘッドトラッカが（ｎ＋２）番目のＶＳＹＮＣのタイミングで姿勢を推定する（Ｓ２４）。（ｎ＋２）番目のＶＳＹＮＣのタイミングで推定された姿勢にもとづいて、ｎ番目のＶＳＹＮＣのタイミングでレンダリングされた画像を参照するためのＵＶテクスチャに対してリプロジェクション処理が施され、ｎ番目のＶＳＹＮＣのタイミングのＵＶテクスチャが（ｎ＋２）番目のＶＳＹＮＣのタイミングのＵＶテクスチャに変換される（Ｓ２６）。リプロジェクションされたＵＶテクスチャを参照して、ｎ番目のＶＳＹＮＣのタイミングでレンダリングされた画像をサンプリングして歪み処理を実行し（Ｓ２８）、（ｎ＋２）番目のＶＳＹＮＣのタイミングの歪み画像を出力する。

なお、ここでは次のシーンレンダリングを実行するまでに非同期リプロジェクションを２回行う場合を説明したが、非同期リプロジェクションを行う回数は、シーンレンダリングに要する時間によって変わる。

図７（ａ）および図７（ｂ）を参照しながら、従来方式によるリプロジェクション処理と歪み処理、本実施の形態の方式によるリプロジェクション処理と歪み処理を比較して説明する。

プログラマブルシェーダ機能を有するＧＰＵでは、頂点シェーダがポリゴンの頂点の属性情報を処理し、ピクセルシェーダがピクセル単位で画像を処理する。

図７（ａ）は、従来方式によるリプロジェクション処理と歪み処理を示す。レンダリングの第１のパスにおいて画像４００に対して、頂点シェーダがリプロジェクション処理を施し、リプロジェクション処理後の画像４１０を生成する。次に、第２のパスにおいてピクセルシェーダがリプロジェクション処理後の画像４１０に歪み処理を施し、歪み処理後の画像４２０を生成する。歪み処理にはＲＧＢ各色についての色収差補正が含まれる。

図７（ａ）の従来方式では、第１パスにおいて頂点シェーダがリプロジェクション処理を行う際に、画像４００からピクセルをサンプリングして、バイリニア補間などによってリプロジェクション後の画像４１０を生成する。次に、第２パスにおいてピクセルシェーダが歪み処理を行う際に、リプロジェクション後の画像４１０からピクセルをサンプリングして、バイリニア補間などによって歪み処理後の画像４２０を生成する。すなわち、ピクセルのサンプリングと補間が第１パスと第２パスの２回にわたって行われるため、画質の劣化が避けられない。

ここで、リプロジェクション処理を頂点シェーダで行った場合、同じレンダリングパスのピクセルシェーダで歪み処理を行うことはできないことに留意する。これは、ピクセルシェーダでは同一パスで生成された他のピクセルをサンプリングできないためである。そのため、第１パスと第２パスの２つのパスに分けて、第１パスにおいて頂点シェーダがリプロジェクションを行い、リプロジェクション処理後の画像をいったんメモリに書き出し、第２パスにおいてピクセルシェーダがリプロジェクション処理後の画像に対して歪み処理を施すことになる。その場合、２回のピクセルサンプリングによる画質の劣化が避けられない。

仮にリプロジェクション処理と歪み処理を１つのパスで行うとすれば、頂点シェーダでリプロジェクション処理と歪み処理を実行するしかないが、頂点シェーダでＲＧＢ各色で異なるスクリーン座標を計算しても、ラスタライズ処理では１つのスクリーン座標しか扱うことができないため、ピクセル毎にＲＧＢ各色で異なる歪みを頂点シェーダで一度に計算することはできない。すなわち頂点シェーダとピクセルシェーダでＲＧＢ各色の色収差補正をするためには、第２パスのピクセルシェーダでＲＧＢ各色の色収差補正をするしかなく、サンプリング回数は２回にならざるを得ない。

図７（ｂ）は、本実施の形態の方式によるリプロジェクション処理と歪み処理を示す。第１パスにおいて頂点シェーダが、画像をサンプリングするためのＵＶ座標値を格納したＵＶテクスチャ５００に対してリプロジェクション処理を行い、リプロジェクション後のＵＶテクスチャ５１０を生成する。次に、第２パスにおいてピクセルシェーダが、リプロジェクション後のＵＶテクスチャ５１０を参照して画像４００をサンプリングし、バイリニア補間などによって歪み処理後の画像４２０を生成する。

本方式では、画像にリプロジェクションを施すのではなく、画像をテクスチャマッピングするときのテクスチャの参照元であるＵＶテクスチャにリプロジェクションを施す（「ＵＶリプロジェクション」と呼ぶ）。ＵＶリプロジェクションでは、ＵＶテクスチャのリプロジェクション時に画像のサンプリングを行わない。画像のサンプリングと補間は、第２パスにおいて歪み処理を行うときの１回しか行われないため、従来方式に比べて画質の劣化が少ない。

また、第１パスにおいてＵＶテクスチャにリプロジェクション処理を施す際は、リプロジェクションの角度が小さい場合には線形補間によって十分な近似解が得られるので、ＵＶテクスチャのサイズは小さくてもよい。従来方式のように画像に直接リプロジェクションを施して、変換された画像をメモリに格納する場合と比べてメモリ容量は少なくてよく、メモリアクセスに必要な消費電力も抑えられる。

このように本方式のＵＶリプロジェクションによれば、リプロジェクションの際に画像を直接サンプリングせずに、リプロジェクションで変形させたＵＶテクスチャにもとづいて元の変形前の画像を参照するため、リプロジェクション時に画質の劣化が生じない。

次に、奥行き値（デプス）の情報を含む画像に対して複数の異なる奥行き値に応じて視点位置または視線方向に合うようにリプロジェクションを施す（「デプスリプロジェクション」と呼ぶ）について説明する。

デプスリプロジェクションでは、リプロジェクション部８４は、画像を複数の異なるデプスに応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行し、複数の異なるデプスに応じてリプロジェクション処理された複数の画像を合成して合成画像を生成する。歪み処理部８６は、合成画像に対して歪み処理を施す。

図８は、デプスリプロジェクション処理と歪み処理を説明する図である。

画像４００の各画素のデプス値がデプスバッファに格納されている。ここでは、一例として、代表デプスをｆ＝０、１、５（単位は一例としてメートル）の３つに設定し、画像のデプスの範囲をｄ＝０、０＜ｄ＜３、３≦ｄの３段階に分ける。デプスが大きい画像領域ほど、リプロジェクション処理によって大きく変位する。

リプロジェクション部８４は、デプス６００の値ｄ＝０の領域の画像にはリプロジェクションを施さない。デプス６００の値ｄ＝０の領域については元の画像４００がそのまま用いられる。デプス６００の値ｄ＝０の領域は、たとえば仮想空間の手前に表示されるメニュー、ダイアログなどである。デプス６００の値ｄ＝０の領域はリプロジェクション処理されないため、リプロジェクション処理の影響を受けず、画面上で動くことがない。

リプロジェクション部８４は、デプス６００の値ｄが０ではなく、ｆ＝１のリプロジェクション処理後のデプス６０２の値ｄが０＜ｄ＜３の範囲の領域についてｆ＝１のリプロジェクション処理後の画像４０２を生成する。

リプロジェクション部８４は、デプス６００の値ｄが０ではなく、ｆ＝１のリプロジェクション処理後のデプス６０２の値ｄが３≦ｄの範囲の領域についてｆ＝５のリプロジェクション処理後の画像４０４を生成する。

上記の説明では、代表デプス毎に画像にリプロジェクション処理を施し、代表デプス毎のリプロジェクション処理後の複数の画像を合成することでリプロジェクション処理された画像を生成した。別の方法として、画像の各画素をポイントクラウドとして３次元変形させたり、デプスバッファから簡易的なメッシュを生成して３次元レンダリングを行うことにより、リプロジェクション処理された画像を生成してもよい。

歪み処理部８６は、合成画像４０８に歪み処理を施し、歪み処理後の画像４２０を生成する。

複数の代表デプスに応じて画像のデプスの範囲を複数に分け、代表デプス毎にリプロジェクション処理を施し、代表デプス毎のリプロジェクション処理後の複数の画像を合成することにより、デプスを考慮しないで一律に画像全体をリプロジェクションする場合に比べて、違和感の少ない、より自然な画像を生成することができる。これにより、リプロジェクションによって画像のフレームレートを上げても不自然な動きとなることを防ぐことができる。

代表デプスの設定の仕方は任意であり、３つ以上に分けてもよく、位置固定メニューなどリプロジェクションを施したくない領域が存在しないなら、デプスがゼロである場合を設定しなくてもよい。また、レンダリングされた画像のデプスの分布に応じて動的に代表デプスの値や数を変更してもよい。画像に含まれるデプスのヒストグラムにもとづいてデプスの分布の谷を検出し、デプスの分布の谷でデプスの範囲が分割されるように代表デプスの値と数を決めてもよい。

上記の説明では、複数の異なるデプスに応じて画像に対してリプロジェクションを施したが、ここにＵＶリプロジェクションの手法を適用してもよい。リプロジェクション部８４は、ＵＶテクスチャに対して複数の異なるデプスに応じてリプロジェクション処理を実行し、複数の異なるデプスに応じてリプロジェクション処理された複数のＵＶテクスチャを生成する。歪み処理部８６は、リプロジェクション処理により変換された複数のＵＶテクスチャを用いて画像をサンプリングして歪み処理を実行し、歪み処理された画像を生成する。これを「デプスＵＶリプロジェクション」と呼ぶ。

図９は、デプスＵＶリプロジェクション処理と歪み処理を説明する図である。

ＵＶリプロジェクションを用いることによってサンプリングによる画質の劣化を避けながら、デプスに応じたリプロジェクションによって違和感の少ないリプロジェクション画像を生成することができる。

デプスについては代表デプスをｆ＝０、１、５の３つに設定し、画像のデプスの範囲をｄ＝０、０＜ｄ＜３、３≦ｄの３段階に分け、代表デプス毎にデプスにリプロジェクションを施す。ＵＶテクスチャについては代表デプスをｆ＝０、１、５、２０の４つに設定し、画像のデプスの範囲をｄ＝０、０＜ｄ＜３、３≦ｄ＜１０、１０≦ｄの４段階に分け、代表デプス毎にＵＶテクスチャにリプロジェクションを施す。

リプロジェクション部８４は、デプス６００の値ｄ＝０の領域にはリプロジェクションを施さない。デプス６００の値ｄ＝０の領域についてはＵＶテクスチャ５００をそのまま用いて画像４００をサンプリングする。

リプロジェクション部８４は、デプス６００の値ｄが０ではなく、ｆ＝１のリプロジェクション処理後のデプス６０２の値ｄが０＜ｄ＜３を満たす領域に対しては、ＵＶテクスチャ５０２を用いて画像４００をサンプリングする。

リプロジェクション部８４は、デプス６００の値ｄが０ではなく、ｆ＝１のリプロジェクション処理後のデプス６０２の値ｄが３≦ｄであり、ｆ＝５のリプロジェクション処理後のデプス５０４の値ｄが３≦ｄ＜１０を満たす領域に対しては、ＵＶテクスチャ５０４を用いて画像４００をサンプリングする。

リプロジェクション部８４は、デプス６００の値が０ではなく、ｆ＝１のリプロジェクション処理後のデプス６０２の値ｄが３≦ｄであり、ｆ＝５のリプロジェクション処理後のデプス６０４の値ｄが１０≦ｄの領域に対しては、ＵＶテクスチャ５０６を用いて画像４００をサンプリングする。

画像の奥行き方向の誤差についてはユーザはあまり敏感ではないため、デプスリプロジェクションについては代表デプスの数を少なくしても画質に与える影響は小さい。

図９の説明では、デプスとＵＶテクスチャのそれぞれに対してリプロジェクションを施したが、ＵＶとデプスを合わせた（Ｕ，Ｖ，Ｄ）のテクスチャ（「ＵＶＤテクスチャ」と呼ぶ）を生成し、ＵＶＤテクスチャに対してリプロジェクションを施してもよい。たとえば、ＲＧＢの３色を格納する画像バッファにおいて、Ｒ（赤）にＵ値を、Ｇ（緑）にＶ値を、Ｂ（青）にデプス値を格納するようにすれば、ＲＧＢの画像バッファにＵＶＤテクスチャを格納することができる。デプスとＵＶテクスチャを別個にリプロジェクションする場合に比べて効率が良い。

次に、デプスリプロジェクションによって発生するオクルージョン領域に対する対処方法を説明する。デプスを考慮しない（奥行きを固定した）通常のリプロジェクションでは、画像全体が変形するので、オクルージョンの問題は発生しない。しかしながら、デプスリプロジェクションを行うと、デプスに応じて変位量が異なり、手前にあるものほど大きく動くため、一般に手前にあるオブジェクトが移動することで今まで見えなかった領域がオクルージョン領域として発生する。オクルージョン領域は描画することができないため、そのままであれば黒などで塗りつぶすことになり、不自然になる。

そこで、オクルージョン領域が発生しても不自然にならないように、過去フレーム（たとえば１フレーム前のフレーム）を初期値として用いて、その上にデプスリプロジェクションによるデプスに応じてリプロジェクションされた画像を上書きする。これにより、デプスリプロジェクションによってオクルージョン領域が発生した場合でも、オクルージョン領域には初期値として過去フレームが描画されているため、不自然さを回避することができる。

デプスリプロジェクション前の初期値として過去フレームの代わりに、過去フレームに奥行き固定の通常のリプロジェクションを施して得られるリプロジェクション後の過去フレームを用いてもよい。過去フレームはそのままでは過去の時点の視点位置または視線方向に合ったものであるから、奥行き固定の通常のリプロジェクションによって現在の視点位置または視線方向に合わせたものを用いた方がより自然な画像を得ることができる。なお、奥行き固定の通常のリプロジェクションであればデプスリプロジェクションのようにオクルージョン領域が発生しないので、初期値として用いても問題がない。

次に、加算リプロジェクションについて説明する。過去のデプスリプロジェクションによる画像を現在の視点位置または視線方向に合うようにリプロジェクションした上で現在のデプスリプロジェクションによる画像に加算することで画像の解像度を上げることができる。ここで複数のフレームを単純に加算する以外に、複数のフレームの重み付き加算、平均値、中央値を求めてもよい。加算リプロジェクションはレイトレーシングと併用するとより効果的である。レイトレーシングによるレンダリングは時間がかかるためフレームレートが低くなるが、過去のレンダリング結果をリプロジェクションして加算することで時間方向にも空間方向にも解像度を高めることができる。加算リプロジェクションによって、解像度の向上以外にも、ノイズやエイリアシングの低減、色深度の向上による画像のＨＤＲ（High Dynamic Range）化などの効果も得られる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の実施の形態では、ヘッドマウントディスプレイ１００の光学系のように表示画像に非線形の歪みが生じる場合を前提に歪み処理を説明したが、非線形の歪みに限らず、線形の歪みであっても本実施の形態を適用することができる。たとえば、表示される画像の少なくとも一部を拡大縮小する場合にも本実施の形態を適用できる。プロジェクタで壁などに画像を投影する場合、プロジェクタは壁を見上げるように斜めに設置されるため、画像にあらかじめ台形変換を施す必要がある。このような線形の歪みを画像に施す場合にも本実施の形態を適用できる。

上記の実施の形態では、ヘッドマウントディスプレイ１００の視点に合わせてリプロジェクションする場合を説明した。ヘッドマウントディスプレイ以外の用途、たとえば、テレビジョンモニタに表示する場合などであっても、カメラの視点に合うようにリプロジェクションしてフレームレートを上げるために、本実施の形態のＵＶリプロジェクション、デプスリプロジェクション、デプスＵＶリプロジェクションを利用することができる。

１０ 制御部、 ２０ 入力インタフェース、 ３０ 出力インタフェース、 ３２ ディスプレイパネル、 ４０ 通信制御部、 ４２ ネットワークアダプタ、 ４４ アンテナ、 ５０ 記憶部、 ６４ 姿勢センサ、 ７０ 外部入出力端子インタフェース、 ７２ 外部メモリ、 ８４ リプロジェクション部、 ８６ 歪み処理部、 ９２ 送受信部、 １００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２１０ 位置・姿勢取得部、 ２２０ 視点・視線設定部、 ２３０ 画像生成部、 ２３２ レンダリング部、 ２３６ ポストプロセス部、 ２６０ 画像記憶部、 ２８２ 送受信部、 ３００ インタフェース。

Claims (12)

1. 奥行き値の情報を含む画像を複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行し、複数の異なる奥行き値に応じてリプロジェクション処理された画像を生成するリプロジェクション部を含むことを特徴とする画像表示装置。
2. 前記リプロジェクション部は、複数の異なる奥行き値に応じてリプロジェクション処理された複数の画像を合成して合成画像を生成することを特徴とする請求項１に記載の画像表示装置。
3. 前記リプロジェクション部は、奥行き値が所定の値の領域に対してはリプロジェクション処理を施さないことを特徴とする請求項１または２に記載の画像表示装置。
4. 前記複数の異なる奥行き値は、前記画像に含まれる奥行き値の分布にもとづいて決められることを特徴とする請求項１から３のいずれかに記載の画像表示装置。
5. 前記リプロジェクション部は、過去の画像のフレームの描画結果を初期値として上書きすることにより、前記リプロジェクション処理された画像を生成することを特徴とする請求項１から４のいずれかに記載の画像表示装置。
6. 前記リプロジェクション部は、過去の画像のフレームを複数の異なる奥行き値に分けることなく視点位置または視線方向に合うように変換するリプロジェクション処理を実行して得られる画像を初期値として上書きすることにより、前記リプロジェクション処理された画像を生成することを特徴とする請求項１から４のいずれかに記載の画像表示装置。
7. 前記リプロジェクション部は、過去の画像を現在の視点位置または視線方向に合うように変換した上で前記リプロジェクション処理された画像との間で、加算値、平均値、中央値を求める請求項１から６のいずれかに記載の画像表示装置。
8. 奥行き値の情報を含む画像をサンプリングするためのＵＶ座標値を格納したＵＶテクスチャを複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行し、複数の異なる奥行き値に応じてリプロジェクション処理された複数のＵＶテクスチャを生成するリプロジェクション部と、
   前記リプロジェクション処理により変換された前記複数のＵＶテクスチャを用いて前記画像をサンプリングし、前記画像を表示光学系で生じる歪みに合わせて変形させる歪み処理を実行し、歪み処理された画像を生成する歪み処理部とを含むことを特徴とする画像表示装置。
9. 画像表示装置と画像生成装置を含む画像表示システムであって、
   前記画像生成装置は、
   仮想空間のオブジェクトをレンダリングして奥行き値の情報を含むコンピュータグラフィックス画像を生成するレンダリング部と、
   前記奥行き値の情報を含む前記コンピュータグラフィックス画像を前記画像表示装置に送信する送信部とを含み、
   前記画像表示装置は、
   前記画像生成装置から前記奥行き値の情報を含む前記コンピュータグラフィックス画像を受信する受信部と、
   前記奥行き値の情報を含む前記コンピュータグラフィックス画像を複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行し、複数の異なる奥行き値に応じてリプロジェクション処理されたコンピュータグラフィックス画像を生成するリプロジェクション部とを含むことを特徴とする画像表示システム。
10. 前記画像表示装置によるリプロジェクション処理は、前記画像生成装置によるレンダリングとは非同期で行われることを特徴とする請求項９に記載の画像表示システム。
11. 奥行き値の情報を含む画像を複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行するステップと、
    複数の異なる奥行き値に応じてリプロジェクション処理された画像を生成するステップとを含むことを特徴とする画像表示方法。
12. 奥行き値の情報を含む画像を複数の異なる奥行き値に応じて視点位置または視線方向に合うように変換するリプロジェクション処理を実行する機能と、
    複数の異なる奥行き値に応じてリプロジェクション処理された画像を生成する機能とをコンピュータに実現させることを特徴とするプログラム。

Images