JP2016162033A - 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 - Google Patents

Abstract

【課題】ＨＭＤに表示される、仮想３次元空間内に配置された視点から視線方向を見た様子を表す画像が観察者に与える違和感を従来よりも低減できる画像生成システム、画像生成方法、プログラム及び情報記憶媒体を提供する。
【解決手段】画素値特定部６８は、対応位置に基づいて選択される基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる表示画像内の画素の画素値を特定する。画素値特定部６８は、対応位置に基づいて選択される基準画像内の対応する画素の存否に応じて、当該対応位置と基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる表示画像内の画素の画素値を特定するか否かを制御する。表示画像生成部７２は、表示画像内の各画素について特定される画素値に基づいて、表示画像を生成する。
【選択図】図１１

Description

本発明は、画像生成システム、画像生成方法、プログラム及び情報記憶媒体に関する。

近年、仮想３次元空間内に配置された視点から視線方向を見た様子を表す画像を表示できるヘッドマウントディスプレイ（ＨＭＤ）が普及してきている。このようなＨＭＤのなかには、観察者があたかも当該仮想３次元空間内にいるかのような感覚を得られるように、ＨＭＤの姿勢に基づいて視点の位置や視線方向が特定されるようにしたものが存在する。

ＨＭＤの姿勢の特定から当該姿勢に応じた画像の表示までにはある程度の時間がかかる。そのため、表示される画像の基礎となったＨＭＤの姿勢と画像が表示されるタイミングにおけるＨＭＤの姿勢とにはある程度のずれがある。このずれのためにＨＭＤに表示される画像が観察者に違和感を与えることがあった。

ここで例えば特定されたＨＭＤの姿勢に基づいて画像を生成した後に、ＨＭＤの姿勢を再度特定し、特定された姿勢の差分に基づいて生成された画像にアフィン変換等の変換を行った画像を表示させるようにすることが考えられる。こうすればＨＭＤに表示される画像が観察者に与える違和感は低減される。

しかし画像処理の負荷を抑えるため一般的には生成される画像のサイズは観察者の視野範囲に相当する程度の大きさとなっている。このように、生成される画像のサイズに制限があるため、変換前の画像からは画素値が特定できない画素が変換後の画像に含まれるおそれがある。

ここで例えば変換前の画像からは画素値が特定できない画素の画素値を所定値とすることが考えられる。しかしこのようにすると変換後の画像は不自然なものとなり、その結果、ＨＭＤに表示される画像はやはり観察者に違和感を与えてしまう。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ＨＭＤに表示される、仮想３次元空間内に配置された視点から視線方向を見た様子を表す画像が観察者に与える違和感を従来よりも低減できる画像生成システム、画像生成方法、プログラム及び情報記憶媒体を提供することにある。

上記課題を解決するために、本発明に係る画像生成システムは、第１のタイミングにおけるヘッドマウントディスプレイの姿勢を示す第１姿勢データを取得する第１姿勢データ取得部と、前記第１姿勢データに基づいて位置及び視線方向が特定される視点から仮想３次元空間を見た様子を表す基準画像を生成する基準画像生成部と、前記第１のタイミングよりも後である第２のタイミングにおける前記ヘッドマウントディスプレイの姿勢を示す第２姿勢データを取得する第２姿勢データ取得部と、前記第１姿勢データが示す姿勢と前記第２姿勢データが示す姿勢との差に基づいて、前記ヘッドマウントディスプレイに表示される表示画像内の各画素について、当該画素に対応付けられる前記基準画像を含む平面上の位置である対応位置を特定する対応位置特定部と、前記対応位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定する画素値特定部と、前記表示画像内の各画素について特定される前記画素値に基づいて、前記表示画像を生成する表示画像生成部と、を含み、前記画素値特定部は、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する。

また、本発明に係る画像生成方法は、第１のタイミングにおけるヘッドマウントディスプレイの姿勢を示す第１姿勢データを取得する第１姿勢データ取得ステップと、前記第１姿勢データに基づいて位置及び視線方向が特定される視点から仮想３次元空間を見た様子を表す基準画像を生成する基準画像生成ステップと、前記第１のタイミングよりも後である第２のタイミングにおける前記ヘッドマウントディスプレイの姿勢を示す第２姿勢データを取得する第２姿勢データ取得ステップと、前記第１姿勢データが示す姿勢と前記第２姿勢データが示す姿勢との差に基づいて、前記ヘッドマウントディスプレイに表示される表示画像内の各画素について、当該画素に対応付けられる前記基準画像を含む平面上の位置である対応位置を特定する対応位置特定ステップと、前記対応位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定する画素値特定ステップと、前記表示画像内の各画素について特定される前記画素値に基づいて、前記表示画像を生成する表示画像生成ステップと、を含み、前記画素値特定ステップでは、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する。

また、本発明に係るプログラムは、第１のタイミングにおけるヘッドマウントディスプレイの姿勢を示す第１姿勢データを取得する第１姿勢データ取得手順、前記第１姿勢データに基づいて位置及び視線方向が特定される視点から仮想３次元空間を見た様子を表す基準画像を生成する基準画像生成手順、前記第１のタイミングよりも後である第２のタイミングにおける前記ヘッドマウントディスプレイの姿勢を示す第２姿勢データを取得する第２姿勢データ取得手順、前記第１姿勢データが示す姿勢と前記第２姿勢データが示す姿勢との差に基づいて、前記ヘッドマウントディスプレイに表示される表示画像内の各画素について、当該画素に対応付けられる前記基準画像を含む平面上の位置である対応位置を特定する対応位置特定手順、前記対応位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定する画素値特定手順、前記表示画像内の各画素について特定される前記画素値に基づいて、前記表示画像を生成する表示画像生成手順、をコンピュータに実行させ、前記画素値特定手順では、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する。

また、本発明に係る情報記憶媒体は、第１のタイミングにおけるヘッドマウントディスプレイの姿勢を示す第１姿勢データを取得する第１姿勢データ取得手順、前記第１姿勢データに基づいて位置及び視線方向が特定される視点から仮想３次元空間を見た様子を表す基準画像を生成する基準画像生成手順、前記第１のタイミングよりも後である第２のタイミングにおける前記ヘッドマウントディスプレイの姿勢を示す第２姿勢データを取得する第２姿勢データ取得手順、前記第１姿勢データが示す姿勢と前記第２姿勢データが示す姿勢との差に基づいて、前記ヘッドマウントディスプレイに表示される表示画像内の各画素について、当該画素に対応付けられる前記基準画像を含む平面上の位置である対応位置を特定する対応位置特定手順、前記対応位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定する画素値特定手順、前記表示画像内の各画素について特定される前記画素値に基づいて、前記表示画像を生成する表示画像生成手順、をコンピュータに実行させ、前記画素値特定手順では、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御するプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明の一態様では、前記画素値特定部は、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点とを結ぶ線分と前記基準画像の縁との交点の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する。

あるいは、前記画素値特定部は、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分と前記基準画像の縁との交点に対して当該対応位置と対称な点の位置に基づいて選択される前記基準画像内の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する。

また本発明の一態様では、前記基準画像内の基準点は、前記基準画像の中心点である。

この態様では、前記基準画像は、円形の画像であってもよい。

本発明の一実施形態に係る画像処理システムの全体構成の一例を示す図である。 本発明の一実施形態に係る画像生成システムのハードウェア構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 仮想空間の一例を示す図である。 本発明の一実施形態における表示画像の生成及び表示の一例について説明する説明図である。 基準画像の一例を示す図である。 知覚画像から表示画像への歪み補正の一例を説明する説明図である。 知覚画像の一例を示す図である。 対応位置の画素値の特定の一例を説明する説明図である。 本発明の一実施形態に係る画像生成システムで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る画像生成システムで行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る画像処理システム１０の全体構成の一例を示す図である。図１に示すように、本実施形態に係る画像処理システム１０は、画像生成システム１２とディスプレイ１４とカメラマイクユニット１６とヘッドマウントディスプレイ（ＨＭＤ）１８とを含んでいる。

本実施形態に係る画像生成システム１２は、例えばゲームコンソールなどといったエンタテインメント装置等のコンピュータであり、例えば図２に示すように、制御部２０、記憶部２２、通信部２４、入出力部２６を含んでいる。制御部２０は、例えば画像生成システム１２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係る制御部２０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、制御部２０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部２２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。通信部２４は、例えばイーサネット（登録商標）モジュールや無線ＬＡＮモジュールなどの通信インタフェースなどである。入出力部２６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。

本実施形態に係るディスプレイ１４は、例えば液晶ディスプレイ等であり、画像生成システム１２が生成する画面などを表示させる。また、本実施形態に係るディスプレイ１４は、画像生成システム１２が生成する音声データが表す音声を出力するスピーカも備えている。

本実施形態に係るカメラマイクユニット１６は、例えば被写体を撮像した画像を画像生成システム１２に出力するカメラ１６ａ及び周囲の音声を取得して当該音声を音声データに変換して画像生成システム１２に出力するマイク１６ｂを含んでいる。

本実施形態に係るＨＭＤ１８は、例えば図３及び図４に示すように、制御部３０、記憶部３２、入出力部３４、表示部３６、音声出力部３８、姿勢センサ４０、レンズ部４２、を含んでいる。制御部３０は、例えばＨＭＤ１８にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部３２には、制御部２０によって実行されるプログラムなどが記憶される。入出力部３４は、例えばＨＤＭＩポートやＵＳＢポートなどの入出力ポートである。表示部３６は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、画像生成システム１２が生成する画面などを表示させる。音声出力部３８は、例えばスピーカ等であり、画像生成システム１２が生成する音声データが表す音声を出力する。姿勢センサ４０は、例えば加速度センサやジャイロセンサなどのセンサであり、ＨＭＤ１８の姿勢を計測する。レンズ部４２は、例えば図４に示すように、表示部３６に表示される画像を見るユーザの視点Ｖ１（左目の視点Ｖ１ａ及び右目の視点Ｖ１ｂ）と表示部３６との間に配置されるレンズである。なおレンズ部４２が１枚のレンズから構成されていてもユーザの視線方向に沿って配置された複数のレンズから構成されていても構わない。また左目用のレンズと右目用のレンズが一体でも別体でも構わない。

画像生成システム１２とディスプレイ１４とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。画像生成システム１２とカメラマイクユニット１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。また画像生成システム１２とＨＭＤ１８とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。

本実施形態では例えば、図５に例示する仮想空間５０内に配置された仮想的な視点Ｖ２から仮想的な視線方向Ｖｄを見た様子を表す画像がＨＭＤ１８の表示部３６に表示される。本実施形態に係る仮想空間５０は、例えば複数のポリゴンにより構成されている仮想オブジェクト５２が配置された仮想３次元空間である。以下、ＨＭＤ１８の表示部３６に表示される画像を表示画像５４と呼ぶこととする（図４等参照）。また以下、視点Ｖ２の位置座標及び視線方向Ｖｄを示すデータを仮想視点データと呼ぶこととする。

そして、本実施形態では、視点Ｖ２の位置及び視線方向Ｖｄに基づいて、左目用の表示画像５４ａと右目用の表示画像５４ｂとが生成されて、図４に示すように、それぞれ表示部３６の所定の位置に表示される。本実施形態では例えば、左目用の表示画像５４ａの中心点が左目用のレンズの光軸上に配置されるよう表示画像５４ａが表示部３６に表示される。また本実施形態では例えば、右目用の表示画像５４ｂの中心点が右目用のレンズの光軸上に配置されるよう表示画像５４ｂが表示部３６に表示される。そして左目用の表示画像５４ａは左目用のレンズを通してユーザの左目によって知覚され、右目用の表示画像５４ｂは右目用のレンズを通してユーザの右目によって知覚される。なお、左目用の表示画像５４ａの中心が、左目用のレンズの光軸上になくても構わない。また右目用の表示画像５４ｂの中心が、右目用のレンズの光軸上になくても構わない。またユーザの注視方向がレンズの光軸方向と一致していてもよい。また、ユーザの注視方向がレンズの光軸方向と一致していなくてもよい。

本実施形態では、左目用の表示画像５４ａは、仮想空間５０に配置された視点Ｖ２の位置に対して所定の長さだけ左にずらした位置（図５に示す左視点Ｖ２’ａの位置）から視線方向Ｖｄの方向を見た様子を表す画像である。そして右目用の表示画像５４ｂは、仮想空間５０に配置された視点Ｖ２の位置に対して所定の長さだけ右にずらした位置（図５に示す右視点Ｖ２’ｂの位置）から視線方向Ｖｄを見た様子を表す画像である。

本実施形態ではＨＭＤ１８の姿勢と仮想視点データの値とは対応付けられている。そのため例えば、ユーザがＨＭＤ１８を装着した状態で左、あるいは右を向くと、それに連動して視線方向Ｖｄが左、あるいは右を向く。また例えば、ユーザがＨＭＤ１８を装着した状態で上、あるいは下を向くと、それに連動して視線方向Ｖｄが上、あるいは下を向く。また例えば、ユーザがＨＭＤ１８を装着した状態で顔を左、あるいは右に動かすと、それに連動して視点Ｖ２の位置が左、あるいは右に移動する。また例えば、ユーザがＨＭＤ１８を装着した状態で顔を上、あるいは下に動かすと、それに連動して視点Ｖ２の位置が上、あるいは下に移動する。

本実施形態では、ＨＭＤ１８に含まれる姿勢センサ４０によるＨＭＤ１８の姿勢の計測結果に基づいてＨＭＤ１８の姿勢を示す姿勢データが生成される。姿勢データは本実施形態では例えば、図１に示す点Ａの位置座標の値と法線ベクトルＢの値とを含む。ここで例えば、点Ａの位置座標は、ＨＭＤ１８に設定された所定点（例えば、表示部３６の中心点）の実空間内における位置座標である。また、法線ベクトルＢは、例えば、点Ａから離れる方向に向かう、表示部３６を含む面に対して垂直なベクトルである。そして本実施形態では例えば、姿勢センサ４０が生成する姿勢データがＨＭＤ１８から画像生成システム１２へ出力される。

本実施形態ではＨＭＤ１８の姿勢の特定は、所定の時間間隔で定期的に行われる。そのため姿勢データの生成は所定の時間間隔で定期的に行われることとなる。

なおカメラ１６ａが撮影するＨＭＤ１８の画像に基づいてＨＭＤ１８の姿勢が特定されても構わない。この場合は例えば、カメラ１６ａが撮影するＨＭＤ１８の画像がカメラマイクユニット１６から画像生成システム１２へ出力される。そして画像生成システム１２が例えば当該画像に基づいて姿勢データを生成するようにしてもよい。また、姿勢センサ４０による計測結果及びカメラ１６ａが撮影するＨＭＤ１８の画像に基づいて姿勢データが生成されても構わない。

そして本実施形態では、仮想視点データの値は、ＨＭＤ１８の姿勢を示す姿勢データの値に対応付けられている。そのため本実施形態では例えば、姿勢データの値に基づいて仮想視点データの値が一意に特定可能となっている。

以下、本実施形態に係る表示画像の５４生成及び表示について、図６を参照しながらさらに説明する。なお以下の内容は、左目用の表示画像５４ａの生成及び表示についても、右目用の表示画像５４ｂの生成及び表示についてもあてはまる。

図６に示されているタイミングｔ１、タイミングｔ２、タイミングｔ３のそれぞれは、表示部３６の垂直同期タイミング（ＶＳＹＮＣタイミング）を示している。

本実施形態では例えば、タイミングｔ１からタイミングｔ１’までのレンダリング期間（１）に、タイミングｔ１におけるＨＭＤ１８の姿勢を示す姿勢データに基づいて、図７に例示する基準画像５６の生成が行われる。なおここでタイミングｔ１’は、タイミングｔ１よりも後でタイミングｔ２よりも前のタイミングであることとする。

本実施形態では例えば、タイミングｔ１における姿勢データに基づいて、タイミングｔ１における仮想視点データが生成される。そして生成された仮想視点データに基づいて、基準画像５６のレンダリングが行われる。ここで左目用の基準画像５６の生成の際には、タイミングｔ１における視点Ｖ２’ａから視線方向Ｖｄを見た様子を表す画像がレンダリングされる。また、右目用の基準画像５６の生成の際には、タイミングｔ１における視点Ｖ２’ｂから視線方向Ｖｄを見た様子を表す画像がレンダリングされる。

本実施形態では、描画される画素の数を節約するため、基準画像５６の生成において、ステンシルバッファによるクリッピング処理が行われる。その結果、図７に例示する基準画像５６の形状は円形となっている。なお図７に例示する基準画像５６の形状は円形であるが、基準画像５６の形状が、例えば、八角形などの多角形であっても構わない。

そして本実施形態では例えば、タイミングｔ１’からタイミングｔ２までのリプロジェクション期間（１）に、上述のようにして生成された基準画像５６に基づく表示画像５４の生成が行われる。

本実施形態に係る表示画像５４は、図８に示すように、知覚画像５８に対して歪み補正を行った画像となっている。そして本実施形態では例えば、ユーザがレンズ部４２を通して表示部３６に表示される表示画像５４を見ると、歪み補正が行われる前の表示画像５４である知覚画像５８のような像が見えることとなる。なお本実施形態では、知覚画像５８は、基準画像５６と同形状になっている。

図９は、本実施形態に係る知覚画像５８の一例を示す図である。図９に示す知覚画像５８は例えば、図７に示す基準画像５６に対して公知のリプロジェクション処理を行った画像である。本実施形態では例えば、タイミングｔ１における姿勢データが示す姿勢とタイミングｔ１’における姿勢データが示す姿勢との差に応じたアフィン変換等の変換を基準画像５６に対して行うことで、知覚画像５８が生成される。

ここで知覚画像５８は、タイミングｔ１’における姿勢データに基づいて特定可能な視点Ｖ２’ａ又は視点Ｖ２‘ｂから当該姿勢データに基づいて特定可能な視線方向Ｖｄを見た様子を表す画像に相当する。しかし本実施形態ではタイミングｔ１’における姿勢データに基づいて特定される仮想視点データを用いたレンダリングは行われず、タイミングｔ１における姿勢データに基づいて生成される基準画像５６に対する変換が行われる。

本実施形態では、知覚画像５８内の各画素について、当該画素に対応付けられる、基準画像５６を含む平面上の位置である対応位置が特定される。ここでは例えば、知覚画像５８内の位置Ｐ１の位置座標に対して上述した変換の逆変換を行うことで、図１０に例示する基準画像５６内の位置Ｐ１’が、位置Ｐ１に対応付けられる対応位置として特定される。

そして本実施形態では知覚画像５８内の位置Ｐ１の画素の画素値が、基準画像５６内の位置Ｐ１’の画素値に基づいて特定される。本実施形態では例えば、位置Ｐ１’の画素値の特定に、最近傍（二アレストネイバー）補間、双一次（バイリニア）補間、双三次（バイキュビック）補間などといった公知の補間方法が用いられる。そして本実施形態では例えば、用いられる補間方法において位置Ｐ１’の画素値の特定に必要な基準画像５６内の１以上の画素が選択される。そして本実施形態では、選択された１以上の画素の画素値に基づいて位置Ｐ１’の画素値が特定される。そして本実施形態では、特定された位置Ｐ１’の画素値が、知覚画像５８内の位置Ｐ１の画素の画素値として特定される。

ここで本実施形態では、タイミングｔ１における姿勢データが示す姿勢とタイミングｔ１’における姿勢データが示す姿勢との差によっては、用いられる補間方法において対応位置の画素値の特定に必要な基準画像５６内の画素が存在しない場合がある。例えば図９において斜線で示された領域Ｒに含まれる位置Ｐ２の画素の対応位置である、図１０に示す位置Ｐ２’の画素値の特定に必要な基準画像５６内の画素は存在しない。例えばこの場合のように、用いられる補間方法において対応位置の画素値の特定に必要な基準画像５６内の画素の少なくとも１つが特定できない場合には、当該補間方法では対応位置の画素値の特定ができないこととなる。

用いられる補間方法において位置Ｐ２’の画素値の特定に必要な基準画像５６内の画素が存在しない場合には、本実施形態では、図１０に示すように、位置Ｐ２’と、基準画像５６内の基準点（ここでは例えば基準画像５６の中心点Ｏ）とを結ぶ線分Ｌが特定される。そして、上述のようにして特定される線分Ｌ上の位置の画素値が、知覚画像５８内の位置Ｐ２の画素の画素値として特定されることとなる。ここで例えば、線分Ｌと基準画像５６の縁Ｅとの交点Ｑ１の位置の画素値が、位置Ｐ２の画素の画素値として特定されてもよい。あるいは例えば、交点Ｑ１に対して位置Ｐ２’と対称な点Ｑ２の位置の画素値が、位置Ｐ２の画素の画素値として特定されてもよい。例えばこの場合には、上述したように、交点Ｑ１の位置の画素値、交点Ｑ２の位置の画素値、などといった線分Ｌ上の位置の特定に必要な基準画像５６内の１以上の画素が選択される。そして本実施形態では、選択された１以上の画素の画素値に基づいて特定される画素値が、知覚画像５８内の位置Ｐ２の画素の画素値として特定されることとなる。なおここで例えば、画像を基準とした位置が知覚画像５８内の位置Ｐ２と同一である基準画像５６内の位置の画素値が、知覚画像５８内の位置Ｐ２の画素の画素値として特定されてもよい。すなわち例えば、画像を基準とした座標値が知覚画像５８内の位置Ｐ２と同一である基準画像５６内の位置の画素値が、知覚画像５８内の位置Ｐ２の画素の画素値として特定されてもよい。

そして以上のようにして特定される画素値に基づいて、知覚画像５８が生成される。そして、生成される知覚画像５８に対して歪み補正を行うことで表示画像５４が生成される。

なお、基準画像５６から知覚画像５８への変換と、知覚画像５８から表示画像５４への変換（歪み補正）と、の合成変換が定義可能である。そのため例えば、表示画像５４内の各画素について、当該画素に対応付けられる、基準画像５６を含む平面上の位置である対応位置の特定が可能である。そこで、上述と同様にして、表示画像５４内の各画素の画素値を基準画像５６に基づいて特定するようにしてもよい。こうすれば、知覚画像５８の生成を行うことなく、基準画像５６に基づく表示画像５４の生成が可能となる。

そして本実施形態では、上述のようにして生成される表示画像５４は、画像生成システム１２のフレームバッファに書き込まれる。そしてフレームバッファに書き込まれた表示画像５４は、ＨＭＤ１８に出力される。

リプロジェクション期間（１）にＨＭＤ１８に出力された表示画像５４は、タイミングｔ２からタイミングｔ３までの出力期間（１）に表示部３６に表示される。そして、ユーザはタイミングｔ３以降の視聴期間（１）に、表示された表示画像５４を知覚することとなる。

同様に、図６に示すタイミングｔ２からタイミングｔ２’までのレンダリング期間（２）に、タイミングｔ２におけるＨＭＤ１８の姿勢を示す姿勢データに基づいて基準画像５６の生成が行われる。なおここでタイミングｔ２’は、タイミングｔ２よりも後でタイミングｔ３よりも前のタイミングであることとする。そして図６に示すタイミングｔ２’からタイミングｔ３までのリプロジェクション期間（２）に、生成された基準画像５６に基づく表示画像５４の生成及びＨＭＤ１８への出力が行われる。そしてリプロジェクション期間（２）にＨＭＤ１８に出力された表示画像５４は、図６に示すタイミングｔ３以降の出力期間（２）に表示部３６に表示される。その後、ユーザは表示された表示画像５４を知覚することとなる。また同様に、図６に示すタイミングｔ３以降であるレンダリング期間（３）にタイミングｔ３におけるＨＭＤ１８の姿勢を示す姿勢データに基づいて基準画像５６の生成が行われることとなる。

以上のようにして本実施形態では、例えば、図９に示す領域Ｒ内に黒画素や白画素などといった画素値が所定値である画素が配置される場合よりも、表示画像５４を見るユーザが受ける違和感が低減されることとなる。

なお上述の基準点は、基準画像５６の中心点Ｏには限定されない。例えば、表示画像５４又は知覚画像５８の中心点の位置の対応位置にある基準画像５６内の点を基準点としても構わない。

以下、本実施形態に係る画像生成システム１２の機能並びに本実施形態に係る画像生成システム１２で実行される処理についてさらに説明する。

図１１は、本実施形態に係る画像生成システム１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像生成システム１２で、図１１に示す機能のすべてが実装される必要はなく、また、図１１に示す機能以外の機能が実装されていても構わない。

図１１に示すように、本実施形態に係る画像生成システム１２は、機能的には例えば、第１姿勢データ取得部６０−１、第２姿勢データ取得部６０−２、仮想視点データ生成部６２、基準画像生成部６４、対応位置特定部６６、画素値特定部６８、知覚画像生成部７０、表示画像生成部７２、表示画像出力部７４、を含む。第１姿勢データ取得部６０−１、第２姿勢データ取得部６０−２は、入出力部２６を主として実装される。基準画像生成部６４、知覚画像生成部７０、表示画像生成部７２は、制御部２０と記憶部２２を主として実装される。仮想視点データ生成部６２、対応位置特定部６６、画素値特定部６８は、制御部２０を主として実装される。表示画像出力部７４は、制御部２０と記憶部２２と入出力部２６を主として実装される。

第１姿勢データ取得部６０−１は、本実施形態では例えば、第１のタイミングにおけるＨＭＤ１８の姿勢を示す第１姿勢データを取得する。以下、第１姿勢データ取得部６０−１が取得した第１姿勢データが示す姿勢を第１姿勢と呼ぶこととする。上述のように、第１姿勢データ取得部６０−１は、例えば、姿勢センサ４０が生成してＨＭＤ１８から出力される第１姿勢データを取得する。また例えば、第１姿勢データ取得部６０−１が、カメラマイクユニット１６が出力する、カメラ１６ａが撮影するＨＭＤ１８の画像に基づいて、第１姿勢データを生成し、生成された第１姿勢データを取得してもよい。

仮想視点データ生成部６２は、第１姿勢データ取得部６０−１が取得する第１姿勢データに基づいて、当該第１姿勢データに対応付けられる仮想視点データを生成する。

基準画像生成部６４は、本実施形態では例えば、第１姿勢データ取得部６０−１が取得した第１姿勢データに基づいて位置及び視線方向Ｖｄが特定される視点Ｖ２’ａ又は視点Ｖ２’ｂから仮想空間５０を見た様子を表す基準画像５６を生成する。基準画像生成部６４は、本実施形態では例えば、仮想視点データ生成部６２が生成する仮想視点データの値に基づいて視点Ｖ２’ａの位置及び視線方向Ｖｄを特定する。そして、基準画像生成部６４は、特定される視点Ｖ２’ａの位置から視線方向Ｖｄを見た様子を表す左目用の基準画像５６を生成する。また基準画像生成部６４は、本実施形態では例えば、仮想視点データ生成部６２が生成する仮想視点データの値に基づいて視点Ｖ２’ｂの位置及び視線方向Ｖｄを特定する。そして、基準画像生成部６４は、特定される視点Ｖ２’ｂの位置から視線方向Ｖｄを見た様子を表す右目用の基準画像５６を生成する。

第２姿勢データ取得部６０−２は、本実施形態では例えば、第１姿勢データ取得部６０−１と同様にして、第１のタイミングよりも後のタイミングである第２のタイミングにおけるＨＭＤ１８の姿勢を示す第２姿勢データを取得する。以下、第２姿勢データ取得部６０−２が取得した第２姿勢データが示す姿勢を第２姿勢と呼ぶこととする。

対応位置特定部６６は、本実施形態では例えば、上述の第１姿勢と上述の第２姿勢との差に基づいて、表示画像５４内の各画素について、当該画素に対応付けられる、基準画像５６を含む平面上の位置である対応位置を特定する。なお対応位置特定部６６は、上述したように、知覚画像５８内の各画素について、当該画素に対応付けられる、基準画像５６を含む平面上の位置である対応位置を特定するようにしても構わない。

画素値特定部６８は、本実施形態では例えば、対応位置に基づいて選択される基準画像５６内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる表示画像５４内の画素の画素値を特定する。また画素値特定部６８は、本実施形態では、上述のように、対応位置に基づいて選択される基準画像５６内の対応する画素の存否を確認する。そして画素値特定部６８は、上述のように、確認される存否に応じて、図１０に示す線分Ｌ上の位置の画素値に基づいて、対応位置に対応付けられる表示画像５４内の画素の画素値を特定するか否かを制御する。具体的には例えば、図１０に示す点Ｑ１や点Ｑ２の画素の画素値に基づいて、対応位置に対応付けられる表示画像５４内の画素の画素値が特定するか否かが制御される。なお画素値特定部６８は、上述したように、対応位置に基づいて選択される基準画像５６内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる知覚画像５８内の画素の画素値を特定するようにしてもよい。

知覚画像生成部７０は、本実施形態では例えば、画素値特定部６８が知覚画像５８内の各画素について特定する画素値に基づいて、知覚画像５８を生成する。

表示画像生成部７２は、本実施形態では例えば、知覚画像生成部７０が生成する知覚画像５８に歪み補正を行うことで表示画像５４を生成する。なお上述したように、知覚画像５８の生成を行うことなく、基準画像５６に基づく表示画像５４の生成を行ってもよい。この場合は、表示画像生成部７２は、画素値特定部６８が表示画像５４内の各画素について特定する画素値に基づいて、表示画像５４を生成することとなる。

表示画像出力部７４は、表示画像生成部７２が生成する表示画像５４をＨＭＤ１８に出力する。

ここで、本実施形態に係る画像生成システム１２で行われる表示画像５４の生成処理の流れの一例を、図１２に例示するフロー図を参照しながら説明する。なお、以下の流れは、表示画像５４ａの生成処理についても表示画像５４ｂの生成処理についてもあてはまる。また以下の流れは、知覚画像５８の生成が行われた上で表示画像５４の生成が行われる場合の処理の流れの一例を示している。

まず、第１姿勢データ取得部６０−１が、図６に示すタイミングｔ１におけるＨＭＤ１８の姿勢を示す第１姿勢データを取得する（Ｓ１０１）。

そして、仮想視点データ生成部６２が、Ｓ１０１に示す処理で取得された第１姿勢データに基づいて、仮想視点データを生成する（Ｓ１０２）。

そして、基準画像生成部６４が、Ｓ１０２に示す処理で生成された仮想視点データに基づいて、基準画像５６を生成する（Ｓ１０３）。

そして、第２姿勢データ取得部６０−２が、図６に示すタイミングｔ１’におけるＨＭＤ１８の姿勢を示す第２姿勢データを取得する（Ｓ１０４）。

そして、対応位置特定部６６が、基準画像５６の知覚画像５８への変換の逆変換を表す逆変換行列Ｍを特定する（Ｓ１０５）。

そして、対応位置特定部６６が、以下のＳ１０７〜Ｓ１１１の処理がまだ行われていない、知覚画像５８内の画素を１つ特定する（Ｓ１０６）。

そして、対応位置特定部６６が、Ｓ１０４に示す処理で特定された逆変換行列Ｍに基づいて、Ｓ１０６に示す処理で特定された画素に対応付けられる、基準画像５６を含む平面上の対応位置を特定する（Ｓ１０７）。

そして、画素値特定部６８が、Ｓ１０７に示す処理で特定された対応位置の画素値が特定可能であるか否かを確認する（Ｓ１０８）。ここでは例えば、所定の補間方法において対応位置の画素値の特定に必要な１以上の画素のいずれもが選択可能であるか否かが確認される。

特定可能であることが確認された場合には（Ｓ１０８：Ｙ）、画素値特定部６８は、所定の補間方法を用いて対応位置の画素値を特定する（Ｓ１０９）。一方特定可能でないことが確認された場合には（Ｓ１０８：Ｎ）、画素値特定部６８は、上述したように図１０に例示する線分Ｌ上の位置の画素値を特定する（Ｓ１１０）。

そして、画素値特定部６８は、Ｓ１０９又はＳ１１０に示す処理で特定された画素値を、Ｓ１０７に示す処理で特定された対応位置に対応付けられる知覚画像５８内の画素の画素値として特定する（Ｓ１１１）。

そして、画素値特定部６８は、Ｓ１０７〜Ｓ１１１に示す処理がまだ行われていない、知覚画像５８内の画素が存在するか否かを確認する（Ｓ１１２）。

存在する場合は（Ｓ１１２：Ｙ）、Ｓ１０６以降の処理を再度実行する。存在しない場合は（Ｓ１１２：Ｎ）、知覚画像生成部７０が、以上の処理により特定された各画素の画素値に基づいて知覚画像５８を生成する（Ｓ１１３）。

そして表示画像生成部７２が、Ｓ１１３に示す処理で生成された知覚画像５８に対して歪み補正を行うことで、表示画像５４を生成する（Ｓ１１４）。

そして、表示画像出力部７４が、Ｓ１１４に示す処理で生成された表示画像５４をＨＭＤ１８に出力して（Ｓ１１５）、本処理例に示す処理は終了される。

以上の処理例において、Ｓ１０１〜Ｓ１０３に示す処理は、例えば図６に示すレンダリング期間（１）に行われ、Ｓ１０４〜Ｓ１１５に示す処理は、例えば図６に示すリプロジェクション期間（１）に行われる。

なお、上述のＳ１０５に示す処理で、左目用の基準画像５６の左目用の知覚画像５８への変換の逆変換を表す逆変換行列Ｍ１、及び、右目用の基準画像５６の右目用の知覚画像５８への変換の逆変換を表す逆変換行列Ｍ２が特定されてもよい。そして左目用の表示画像５４ａの生成には逆変換行列Ｍ１が用いられ、右目用の表示画像５４ｂの生成には逆変換行列Ｍ２が用いられても構わない。

また、上述のＳ１０８に示す処理で、所定の補間方法において対応位置の画素値の特定に必要な画素が少なくとも１つ選択可能である場合に、画素値特定部６８が、当該少なくとも１つの画素の画素値に基づいて、対応位置の画素値を特定してもよい。そして画素値特定部６８は、特定された画素値を、Ｓ１０７に示す処理で特定された対応位置に対応付けられる知覚画像５８内の画素の画素値として特定してもよい。

以下、知覚画像５８の生成が行われることなく、基準画像５６に基づく表示画像５４の生成が行われる場合について説明する。この場合には、上述のＳ１０５に示す処理で、基準画像５６の表示画像５４への変換の逆変換を表す逆変換行列Ｍが特定される。そして、Ｓ１０６に示す処理で、表示画像５４内の１つの画素が特定される。そして、Ｓ１１１に示す処理で、Ｓ１０９又はＳ１１０に示す処理で特定された画素値が、Ｓ１０７に示す処理で特定された対応位置に対応付けられる表示画像５４内の画素の画素値として特定される。そしてＳ１１３に示す処理が行われることなく、表示画像生成部７２が、特定された各画素の画素値に基づいて表示画像５４を生成することとなる。

なお、本発明は上述の実施形態に限定されるものではない。

以上の説明では、本発明は、ゲームコンソールなどといったエンタテインメント装置等のコンピュータである画像生成システム１２に適用された。しかし、本発明が、ゲームコンソールなどといったエンタテインメント装置等のコンピュータとＨＭＤ１８との組合せに適用されても構わない。すなわち本発明の機能が複数のコンピュータ等の装置に分担されても構わない。例えば、表示画像５４、基準画像５６、知覚画像５８のうちの少なくとも１つの画像の生成がＨＭＤ１８で行われても構わない。

また画像生成システム１２が表示画像５４をエンコードした上でＨＭＤ１８に出力してもよい。そしてＨＭＤ１８が受信した表示画像５４をデコードしてから表示部３６に表示させてもよい。

また、上記の具体的な文字列や図面中の具体的な文字列は例示であり、これらの文字列には限定されない。

１０ 画像処理システム、１２ 画像生成システム、１４ ディスプレイ、１６ カメラマイクユニット、１６ａ カメラ、１６ｂ マイク、２０ 制御部、２２ 記憶部、２４ 通信部、２６ 入出力部、３０ 制御部、３２ 記憶部、３４ 入出力部、３６ 表示部、３８ 音声出力部、４０ 姿勢センサ、４２ レンズ部、５０ 仮想空間、５２ 仮想オブジェクト、５４，５４ａ，５４ｂ 表示画像、５６ 基準画像、５８ 知覚画像、６０−１ 第１姿勢データ取得部、６０−２ 第２姿勢データ取得部、６２ 仮想視点データ生成部、６４ 基準画像生成部、６６ 対応位置特定部、６８ 画素値特定部、７０ 知覚画像生成部、７２ 表示画像生成部、７４ 表示画像出力部。

Claims (8)

1. 第１のタイミングにおけるヘッドマウントディスプレイの姿勢を示す第１姿勢データを取得する第１姿勢データ取得部と、
   前記第１姿勢データに基づいて位置及び視線方向が特定される視点から仮想３次元空間を見た様子を表す基準画像を生成する基準画像生成部と、
   前記第１のタイミングよりも後である第２のタイミングにおける前記ヘッドマウントディスプレイの姿勢を示す第２姿勢データを取得する第２姿勢データ取得部と、
   前記第１姿勢データが示す姿勢と前記第２姿勢データが示す姿勢との差に基づいて、前記ヘッドマウントディスプレイに表示される表示画像内の各画素について、当該画素に対応付けられる前記基準画像を含む平面上の位置である対応位置を特定する対応位置特定部と、
   前記対応位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定する画素値特定部と、
   前記表示画像内の各画素について特定される前記画素値に基づいて、前記表示画像を生成する表示画像生成部と、を含み、
   前記画素値特定部は、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する、
   ことを特徴とする画像生成システム。
2. 前記画素値特定部は、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点とを結ぶ線分と前記基準画像の縁との交点の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する、
   ことを特徴とする請求項１に記載の画像生成システム。
3. 前記画素値特定部は、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分と前記基準画像の縁との交点に対して当該対応位置と対称な点の位置に基づいて選択される前記基準画像内の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する、
   ことを特徴とする請求項１に記載の画像生成システム。
4. 前記基準画像内の基準点は、前記基準画像の中心点である、
   ことを特徴とする請求項１から３のいずれか一項に記載の画像生成システム。
5. 前記基準画像は、円形の画像である、
   ことを特徴とする請求項４に記載の画像生成システム。
6. 第１のタイミングにおけるヘッドマウントディスプレイの姿勢を示す第１姿勢データを取得する第１姿勢データ取得ステップと、
   前記第１姿勢データに基づいて位置及び視線方向が特定される視点から仮想３次元空間を見た様子を表す基準画像を生成する基準画像生成ステップと、
   前記第１のタイミングよりも後である第２のタイミングにおける前記ヘッドマウントディスプレイの姿勢を示す第２姿勢データを取得する第２姿勢データ取得ステップと、
   前記第１姿勢データが示す姿勢と前記第２姿勢データが示す姿勢との差に基づいて、前記ヘッドマウントディスプレイに表示される表示画像内の各画素について、当該画素に対応付けられる前記基準画像を含む平面上の位置である対応位置を特定する対応位置特定ステップと、
   前記対応位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定する画素値特定ステップと、
   前記表示画像内の各画素について特定される前記画素値に基づいて、前記表示画像を生成する表示画像生成ステップと、を含み、
   前記画素値特定ステップでは、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する、
   ことを特徴とする画像生成方法。
7. 第１のタイミングにおけるヘッドマウントディスプレイの姿勢を示す第１姿勢データを取得する第１姿勢データ取得手順、
   前記第１姿勢データに基づいて位置及び視線方向が特定される視点から仮想３次元空間を見た様子を表す基準画像を生成する基準画像生成手順、
   前記第１のタイミングよりも後である第２のタイミングにおける前記ヘッドマウントディスプレイの姿勢を示す第２姿勢データを取得する第２姿勢データ取得手順、
   前記第１姿勢データが示す姿勢と前記第２姿勢データが示す姿勢との差に基づいて、前記ヘッドマウントディスプレイに表示される表示画像内の各画素について、当該画素に対応付けられる前記基準画像を含む平面上の位置である対応位置を特定する対応位置特定手順、
   前記対応位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定する画素値特定手順、
   前記表示画像内の各画素について特定される前記画素値に基づいて、前記表示画像を生成する表示画像生成手順、をコンピュータに実行させ、
   前記画素値特定手順では、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する、
   ことを特徴とするプログラム。
8. 第１のタイミングにおけるヘッドマウントディスプレイの姿勢を示す第１姿勢データを取得する第１姿勢データ取得手順、
   前記第１姿勢データに基づいて位置及び視線方向が特定される視点から仮想３次元空間を見た様子を表す基準画像を生成する基準画像生成手順、
   前記第１のタイミングよりも後である第２のタイミングにおける前記ヘッドマウントディスプレイの姿勢を示す第２姿勢データを取得する第２姿勢データ取得手順、
   前記第１姿勢データが示す姿勢と前記第２姿勢データが示す姿勢との差に基づいて、前記ヘッドマウントディスプレイに表示される表示画像内の各画素について、当該画素に対応付けられる前記基準画像を含む平面上の位置である対応位置を特定する対応位置特定手順、
   前記対応位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定する画素値特定手順、
   前記表示画像内の各画素について特定される前記画素値に基づいて、前記表示画像を生成する表示画像生成手順、をコンピュータに実行させ、
   前記画素値特定手順では、前記対応位置に基づいて選択される前記基準画像内の対応する画素の存否に応じて、当該対応位置と前記基準画像内の基準点の位置とを結ぶ線分上の位置に基づいて選択される前記基準画像内の対応する１以上の画素の画素値に基づいて、当該対応位置に対応付けられる前記表示画像内の画素の画素値を特定するか否かを制御する、
   ことを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。

Images