JP2022158328A - 画像生成装置、画像生成方法および画像表示プログラム - Google Patents

画像生成装置、画像生成方法および画像表示プログラム Download PDF

Info

Publication number
JP2022158328A
JP2022158328A JP2021063122A JP2021063122A JP2022158328A JP 2022158328 A JP2022158328 A JP 2022158328A JP 2021063122 A JP2021063122 A JP 2021063122A JP 2021063122 A JP2021063122 A JP 2021063122A JP 2022158328 A JP2022158328 A JP 2022158328A
Authority
JP
Japan
Prior art keywords
image
time
unit
processing
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021063122A
Other languages
English (en)
Inventor
貴一 池田
Kiichi Ikeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Priority to JP2021063122A priority Critical patent/JP2022158328A/ja
Priority to US17/685,641 priority patent/US20220317765A1/en
Publication of JP2022158328A publication Critical patent/JP2022158328A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】利用する画像生成システムに応じて画像の生成から表示までの遅延時間をより適切に設定して、リプロジェクション処理に適用する技術を提供する。【解決手段】本発明の画像生成装置２００は、画像生成に関する処理の開始からヘッドマウントディスプレイ用画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部２０５と、予測した遅延時間に基づいて、リプロジェクション処理を実行することにより、ヘッドマウントディスプレイ用画像を生成する画像処理部２０８と、を備えることを特徴とする。【選択図】図３

Description

本発明は、画像生成技術に関する。
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ：Virtual Reality）映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示される。これにより、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。
このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の動き（姿勢）と連動して視点や視線方向を変えてＶＲ映像を生成した場合、ＶＲ映像の生成から表示までに遅延がある。そのため、映像生成時に前提としたユーザの姿勢と、ＶＲ映像をヘッドマウントディスプレイに表示した時点でのユーザの姿勢との間でずれが発生する場合がある。その結果、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。そこで、描画画像を映像表示時の姿勢に合ったものに補正するリプロジェクション処理が一般的に用いられている。
ヘッドマウントディスプレイを用いて画像を提供するために、性能の異なる様々な画像生成システムが開発されている。それに伴い、利用する画像生成システムに応じて画像の生成から表示までの遅延時間をより適切に設定して、リプロジェクション処理に適用する技術が求められている。
上記を鑑み、本発明の目的は、利用する画像生成システムに応じて画像の生成から表示までの遅延時間をより適切に設定して、リプロジェクション処理に適用する技術を提供することにある。
上記課題を解決するために、本発明のある態様の画像生成装置は、画像生成に関する処理の開始からＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部と、前記予測した遅延時間に基づいて、リプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成する画像処理部と、を備えることを特徴とする。
なお、以上の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
本発明によれば、利用する画像生成システムに応じて画像の生成から表示までの遅延時間をより適切に設定して、リプロジェクション処理に適用することが可能となる。
ヘッドマウントディスプレイの外観図である。 画像生成システムの構成図である。 図２の画像生成装置の構成図である。 画像生成に関する処理の開始からＨＭＤ画像がＨＭＤに表示されるまでの流れを説明するための図である。 画像生成装置における画像生成に関する処理の流れを示すフローチャートである。
（実施形態）
図１は、ヘッドマウントディスプレイ（ＨＭＤ）１００の外観図である。ＨＭＤ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドフォンから出力される音声や音楽などを聴くための表示装置である。
ＨＭＤ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりＨＭＤ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。
ＨＭＤ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ＨＭＤ１００に搭載されたカメラにより、ユーザの凝視方向、瞳孔の動き、瞬きなどを検出することができる。
ＨＭＤ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ＨＭＤ１００に表示される画像の生成方法を説明する。なお、本実施の形態の画像生成方法は、狭義のＨＭＤ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
図２は、本実施の形態に係る画像生成システムの構成図である。画像生成システム１は、ＨＭＤ１００及び画像生成装置２００を含む。ＨＭＤ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）や映像出力インタフェースの規格であるＤｉｓｐｌａｙＰｏｒｔなどのインタフェースを介して画像生成装置２００に接続される。
本実施形態では、ＨＭＤ１００と画像生成装置２００の間のデータ伝送路３００はＨＤＭＩ伝送路またはＤｉｓｐｌａｙＰｏｒｔ伝送路である。ＨＤＭＩ規格またはＤｉｓｐｌａｙＰｏｒｔ規格では、画像フレームに紐付けてセカンダリデータパケットを伝送することができ、セカンダリデータパケットにフレームに関連するメタデータを含めることができる。ＨＤＭＩ２．１規格には動的ＨＤＲ（High Dynamic Range）と呼ばれる機能があり、映像の動的メタデータ（Dynamic Metadata）を参照してシーンに応じてフレーム毎に輝度や色の深度を最適に調整した映像を生成することができる。ＨＤＭＩ２．１規格では動的メタデータは、シーンの最大輝度、平均輝度、最小輝度など動的ＨＤＲに必要な情報を映像に同期させて伝送することができる。ＨＭＤ１００と画像生成装置２００の通信インタフェースは、メタデータを映像と同期させて伝送できるものであれば、ＨＤＭＩやＤｉｓｐｌａｙＰｏｒｔに限られない。
画像生成装置２００は、ＨＭＤ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してＨＭＤ１００の予測位置・姿勢情報を生成する。画像生成装置２００は、ＨＭＤ１００の予測位置・姿勢情報を前提としてＨＭＤ１００用の画像（以下、ＨＭＤ画像とする）を描画し、ＨＭＤ１００に伝送する。
本実施形態の画像生成装置２００はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。
画像生成装置２００は基本的に、コンテンツのプログラムを処理し、ＨＭＤ画像を生成してＨＭＤ１００に送信する。コンテンツのプログラムやデータは、ゲームなどのコンテンツのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体（不図示）からメディアドライブ（不図示）によって読み出される。このＲＯＭ媒体は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。ある態様において画像生成装置２００は、ＨＭＤ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるようにコンテンツのＨＭＤ画像を所定のレートで生成する。
ＨＭＤ１００はＨＭＤ画像のデータを受信し、コンテンツの画像として表示する。ＨＭＤ１００に表示される映像は、予めカメラで撮影された映像の他、ゲーム映像のようなコンピュータグラフィックスによる映像や、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。また、ＨＭＤ１００に表示される画像は、ＶＲ画像、ＡＲ（拡張現実）画像、ＭＲ画像等であってもよい。
図３は、図２の画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウェアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。画像生成装置２００は、位置・姿勢取得部２０１と、視点・視線設定部２０２と、描画コマンド供給部２０３と、時間蓄積部２０４と、時間予測部２０５と、位置・姿勢予測部２０６と、レンダリング部２０７と、画像処理部２０８と、ＨＤＭＩ送受信部２０９と、データ記憶部２１０と、を備える。
画像生成装置２００の少なくとも一部の機能をＨＭＤ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
位置・姿勢取得部２０１は、ＨＭＤ１００の現在の位置・姿勢情報Ｌ１をＨＭＤ１００から取得する。
視点・視線設定部２０２は、位置・姿勢取得部２０１により取得されたＨＭＤ１００の位置・姿勢情報Ｌ１を用いて、ユーザの視点位置および視線方向を設定する。
描画コマンド供給部２０３は、ＨＭＤ画像の生成を開始させるための描画コマンドを生成する。描画コマンド供給部２０３は、描画コマンドのフレームデータを後述のフレームＩＤに紐づける。
時間蓄積部２０４は、同一のフレームＩＤに紐づけられた各フレームデータに関する後述の第１及び第２タイムスタンプを蓄積して後述の描画時間を算出し、この描画時間をデータ記憶部２１０に蓄積する。
時間予測部２０５は、後述するように、データ記憶部２１０に蓄積された過去の描画時間及び表示処理時間に基づいて、画像生成に関する処理を開始してからＨＭＤ画像がＨＭＤ１００に表示されるまでの遅延時間を予測する。
位置・姿勢予測部２０６は、時間予測部２０５により予測された遅延時間の間の位置および姿勢の変化量を予測する。位置・姿勢予測部２０６は、ＨＭＤ１００を装着したユーザの頭部の並進速度や角速度に遅延時間を乗じることで位置および姿勢の変化量を求めることができる。位置・姿勢予測部２０６は、現在の位置・姿勢情報Ｌ１に遅延時間の間の位置および姿勢の変化量を加算することにより遅延時間の経過後の予測位置・姿勢情報Ｌ２を生成する。
レンダリング部２０７は、描画コマンドに応答して、データ記憶部２１０から画像の生成に必要な画像データを読み出し、仮想空間のオブジェクトをレンダリングして画像を生成する。例えば、レンダリング部２０７は、視点・視線設定部２０２によって設定されたユーザの視点位置および視線方向にしたがって、ＨＭＤ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングすることにより画像を生成する。ここで、画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。レンダリング部２０７は、レンダリング画像のフレームデータを後述のフレームＩＤに紐づける。
画像処理部２０８は、レンダリング画像に必要に応じた画像処理を施すことにより、ＨＭＤ画像を生成し、ＨＤＭＩ送受信部２０９に与える。画像処理部２０８は、ポストプロセス部２０８ａと、リプロジェクション部２０８ｂと、歪み処理部２０８ｃとを含む。画像処理部２０８は、ＨＭＤ画像のフレームデータを後述のフレームＩＤに紐づける。
ポストプロセス部２０８ａは、レンダリング部２０７から供給された画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、ＣＧ画像が自然で滑らかに見えるように後処理を施す。
リプロジェクション部２０８ｂは、位置・姿勢予測部２０６から予測位置・姿勢情報Ｌ２を受け取り、ポストプロセスが施された画像に対してリプロジェクション処理を施す。これにより、リプロジェクション部２０８ｂは、ポストプロセスが施された画像を遅延時間に応じた視点位置・視線方向から見える画像に変換する。
歪み処理部２０８ｃは、リプロジェクション処理が施された画像に対してＨＭＤ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施すことにより、ＨＭＤ画像を生成する。
ＨＤＭＩ送受信部２０９は、画像処理部２０８からＨＭＤ画像を受け取る。ＨＤＭＩ送受信部２０９は、ＨＤＭＩにしたがってＨＭＤ画像をＨＭＤ１００に伝送する。
データ記憶部２１０は、画像の生成に必要なデータや各種処理を実行するための各種プログラムを格納する。データ記憶部２１０は、後述する第１及び第２タイムスタンプをフレームＩＤに紐づけて記憶する。データ記憶部２１０は、後述する描画時間及び表示処理時間を記憶する。
ここで、ＨＭＤ１００の姿勢を検知し、次の描画範囲を確定し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がＨＭＤ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われているとすると、ＣＰＵが十分高速であったとしても、ＨＭＤ１００の回転を検知してから画像を出力するまでに１フレーム分の遅れが生じる。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。さらに、画像生成装置２００で描画された画像をデータ伝送路３００でＨＭＤ１００に伝送する際にもレイテンシが生じる。
そこで、生成された画像に対してリプロジェクション処理が行われる。リプロジェクション処理において、レンダリングした画像を遅延時間経過後に想定されるＨＭＤ１００の位置と姿勢に合わせて補正することで、人間がずれを感知しにくいようにしている。
従来、この遅延時間は、ゲームなどのコンテンツの制作者側によって、そのコンテンツに合わせて個別に設定されている。一方で、ＨＭＤ１００を用いて画像を提供するために、性能の異なる様々な画像生成システムが開発されている。このような異なる性能の画像生成システム間では、遅延時間はＨＭＤ１００及び画像生成装置２００によって異なる。例えば、画像生成に関する処理の開始から画像処理部によるレンダリング画像に対する画像処理が開始されるまでの描画時間は、ＨＭＤ１００及び画像生成装置２００毎に異なる。また、例えば、画像生成装置２００において生成されたＨＭＤ画像がＨＭＤ１００に表示されるまでの表示処理時間は、ＨＭＤ１００及び画像生成装置２００の性能に依存して異なる。そのため、設定された遅延時間が特定の画像生成システムにおいて適切ではない場合がある。その結果、画像生成時に前提としたユーザの姿勢と、ＨＭＤ画像をＨＭＤ１００に表示した時点でのユーザの姿勢との間でずれが発生し、ユーザはＶＲ酔いをしてしまう場合があった。
本実施形態では、画像生成装置２００において画像生成に関する処理の開始からＨＭＤ画像がＨＭＤ１００に表示されるまでの遅延時間が予測される。ここでの画像生成に関する処理とは、描画コマンドの生成処理、レンダリング画像の生成処理及びＨＭＤ画像の生成処理（レンダリング画像に対する画像処理）を含む。本実施形態では、画像生成システム毎に予測された遅延時間を用いてリプロジェクション処理が実行される。したがって、画像生成システムの性能に起因した、画像生成時に前提としたユーザの姿勢とＨＭＤ画像をＨＭＤ１００に表示した時点でのユーザの姿勢との間のずれを抑制できる。以下、これについて詳細に説明する。
図４を用いて、画像生成に関する処理の開始からＨＭＤ画像がＨＭＤ１００に表示されるまでの流れを説明する。図４中、同期タイミングＶｓｙｎｃはＨＭＤ１００の表示パネルの垂直同期タイミングを示し、処理タイミングＶ’は画像生成に関する処理のスレッドが立ち上がるタイミングを示す。
処理タイミングＶ’になると、タイミングｔ１で、ＣＰＵによってフレームＩＤ１を引数にbeginFrame()を宣言するＡＰＩがコールされ、描画コマンド供給部２０３が描画コマンドの生成処理を開始する。このとき、描画コマンド供給部２０３は、描画コマンドのフレームデータにフレームＩＤ１を紐づける。
その後、タイミングｔ２で、ＣＰＵによってフレームＩＤ１に紐づいたフレームデータのタイムスタンプを返すＡＰＩがコールされる。このとき、時間予測部２０５は、データ記憶部２１０に蓄積された過去の描画時間及び表示処理時間と同期タイミングＶｓｙｎｃとに基づいて、遅延時間を予測する。例えば、時間予測部２０５は、過去の描画時間及び表示処理時間を足し合わせた時間を遅延時間として算出する。時間予測部２０５は、予測した遅延時間を位置・姿勢予測部２０６に供給する。
ここでの描画時間とは、画像生成に関する処理の開始から画像処理部２０８によるレンダリング画像に対する画像処理が開始されるまでの時間である。ここでの過去の描画時間は、データ記憶部２１０に蓄積された描画時間のうちの任意のいくつかの描画時間の平均値である。このように過去の描画時間として上記平均値を採用することにより、過去の描画時間を予測時間により細かい値まで反映させることができる。なお、初回起動時のような描画時間がデータ記憶部２１０に蓄積されていない状態では、時間予測部２０５は、例えば描画時間を０として遅延時間を予測し、それ以降は蓄積された描画時間を用いて遅延時間を予測する。
ここでの表示処理時間は、画像生成装置２００において生成されたＨＭＤ画像がＨＭＤ１００に表示されるまでの時間である。図４に示すように、この表示処理時間は、ＨＭＤ画像の生成処理の開始時から次の同期タイミングＶｓｙｎｃまでの第１処理時間と、この同期タイミングＶｓｙｎｃからＨＭＤ画像がＨＭＤ１００に表示されるまでの第２処理時間と、を含む。
第１処理時間は、例えばゲームなどのコンテンツの制作者側によって事前に設定された値としてデータ記憶部２１０に記憶される。第１処理時間は、コンテンツ毎に適した値に設定される。
第２処理時間は、画像生成システム１に固有の値として事前にデータ記憶部２１０に記憶されている。第２処理時間は、画像生成システム１において事前にその評価を行うことで得られる。本実施形態では、異なる複数の画像生成システム１全体について評価することによって得られた第２処理時間の理論値が用いられる。これに限定されず、１つの画像生成システム１毎にキャリブレーションされた第２処理時間が用いられてもよい。
タイミングｔ３で描画コマンドの生成処理が完了すると、描画コマンド供給部２０３は、フレームＩＤ１に紐づけられた描画コマンドのフレームデータをレンダリング部２０７に供給する。タイミングｔ３後の次の処理タイミングＶ’になると、位置・姿勢取得部２０１によって位置・姿勢情報Ｌ１が取得され、位置・姿勢情報Ｌ１に基づいて視点・視線設定部２０２によって視点位置及び視点方向が設定される。
レンダリング部２０７は、設定された視点位置及び視点方向に基づいて、レンダリング処理を開始する。このとき、レンダリング部２０７は、レンダリング画像のフレームデータに、フレームＩＤ１を紐づける。また、位置・姿勢予測部２０６は、予測した遅延時間及び位置・姿勢情報Ｌ１に基づいて予測位置・姿勢情報Ｌ２を生成する。
タイミングｔ４でレンダリング処理が完了すると、レンダリング部２０７は、フレームＩＤ１に紐づけられたレンダリング画像のフレームデータを画像処理部２０８に供給する。また、位置・姿勢予測部２０６は、予測位置・姿勢情報Ｌ２を画像処理部２０８に供給する。
タイミングｔ４後の次の処理タイミングＶ’のタイミングｔ５になると、画像処理部２０８は、レンダリング画像について、ポストプロセス、リプロジェクション処理、歪み処理等を施すためのＨＭＤ画像の生成処理（レンダリング画像に対する画像処理）を開始する。特に、リプロジェクション部２０８ｂは、予測位置・姿勢情報Ｌ２に基づいて、リプロジェクション処理を施す。このとき、画像処理部２０８は、ＨＭＤ画像のフレームデータにフレームＩＤ１を紐づける。
タイミングｔ６でＨＭＤ画像の生成処理が完了すると、ＨＤＭＩ送受信部２０９は、ＨＤＭＩにしたがってＨＭＤ画像をＨＭＤ１００に伝送する。これにより、タイミングｔ７でＨＭＤ１００においてＨＭＤ画像が表示されることになる。なお、タイミングｔ７をタイミングｔ５の後の同期タイミングＶｓｙｎｃとその次の同期タイミングＶｓｙｎｃとの間の中間のタイミングとしたのは、ＨＭＤ１００でのＨＭＤ画像の表示がある同期タイミングＶｓｙｎｃから部分的に完了していき、その次の同期タイミングＶｓｙｎｃで全て完了することを考慮したためである。
タイミングｔ７でＨＭＤ画像が表示されると、時間蓄積部２０４は、描画コマンドのフレームデータに紐づけられたフレームＩＤ１に基づいて、描画コマンドの生成開始時の第１タイムスタンプ（beginFrame()のタイムスタンプ）をデータ記憶部２１０に蓄積する。時間蓄積部２０４は、ＨＭＤ画像に紐づけられたフレームＩＤ１に基づいて、画像処理部２０８による画像処理の開始時の第２タイムスタンプをデータ記憶部２１０に蓄積する。
時間蓄積部２０４は、第１及び第２タイムスタンプに基づいて、描画コマンドの生成処理の開始時からＨＭＤ画像の生成処理の完了時までの描画時間を算出する。時間蓄積部２０４は、算出した描画時間をデータ記憶部２１０に蓄積する。これらの蓄積された描画時間は、以降の画像生成に関する処理において使用される。
タイミングｔ３での描画コマンドの生成処理の完了時に戻ると、ｔ３後の次に処理タイミングＶ’において、描画コマンド供給部２０３は、フレームＩＤ２に紐づけて描画コマンドを生成する。このとき、フレームＩＤ１は、レンダリング処理においてレンダリング画像のフレームに紐づけられて使用されている。描画コマンド供給部２０３は、フレームＩＤが少なくともバッファ分だけコンフリクトしないように、描画コマンドの生成処理において、他の画像生成に関する処理におけるレンダリング処理に使用されているフレームＩＤ１とは異なるフレームＩＤ２を使用する。
図５を用いて、本実施形態の画像生成装置における画像生成に関する処理Ｓ１００を説明する。
ステップＳ１０１で、描画コマンド供給部２０３は、描画コマンドの生成処理を開始する。このとき、描画コマンド供給部２０３は、描画コマンドのフレームデータにフレームＩＤ１を紐づけ、そのフレームＩＤ１をデータ記憶部２１０に記憶させる。描画コマンド供給部２０３は、描画コマンドの生成を開始すると、予測指示を時間予測部２０５に供給する。
ステップＳ１０２で、時間予測部２０５は、データ記憶部２１０から読み出した過去の描画時間及び表示処理時間と同期タイミングＶｓｙｎｃとに基づいて、遅延時間を予測する。時間予測部２０５は、予測した遅延時間を位置・姿勢予測部２０６に供給する。
描画コマンドのフレームデータの生成が完了すると、ステップＳ１０３で、描画コマンド供給部２０３は、フレームＩＤ１に紐づけられた描画コマンドのフレームデータをレンダリング部２０７に供給する。
ステップＳ１０４で、位置・姿勢取得部２０１は、位置・姿勢情報Ｌ１を取得する。位置・姿勢取得部２０１は、取得した位置・姿勢情報Ｌ１を視点・視線設定部２０２及び位置・姿勢予測部２０６に供給する。
ステップＳ１０５で、視点・視線設定部２０２は、位置・姿勢情報Ｌ１に基づいて視点位置及び視点方向を設定する。視点・視線設定部２０２は、設定された視点位置及び視点方向を示す視点情報をレンダリング部２０７に供給する。
ステップＳ１０６で、レンダリング部２０７は、設定された視点位置及び視点方向に基づいて、レンダリング処理を実行する。このとき、レンダリング部２０７は、レンダリング画像のフレームデータにフレームＩＤ１を紐づける。レンダリング部２０７は、フレームＩＤ１に紐づけられたレンダリング画像のフレームデータを画像処理部２０８のポストプロセス部２０８ａに供給する。また、位置・姿勢予測部２０６は、予測した遅延時間及び位置・姿勢情報Ｌ１に基づいて予測位置・姿勢情報Ｌ２を生成して画像処理部２０８のリプロジェクション部２０８ｂに供給する。
ステップＳ１０７で、画像処理部２０８のポストプロセス部２０８ａは、レンダリング画像について、ポストプロセスを実行する。画像処理部２０８のポストプロセス部２０８ａは、ポストプロセスを施した画像をリプロジェクション部２０８ｂに供給する。
ステップＳ１０８で、リプロジェクション部２０８ｂは、予測位置・姿勢情報Ｌ２に基づいて、リプロジェクション処理を実行する。予測位置・姿勢情報Ｌ２は遅延時間に基づいて生成されるため、このリプロジェクション処理が施された画像は遅延時間を反映することとなる。リプロジェクション部２０８ｂは、リプロジェクション処理を施した画像を歪み処理部２０８ｃに供給する。
ステップＳ１０９で、歪み処理部２０８ｃは、リプロジェクション処理を施した画像に歪み処理を実行する。上記ステップＳ１０７～Ｓ１０９の画像処理により、ＨＭＤ画像が生成される。ＨＭＤ画像には、フレームＩＤ１が紐づけられる。歪み処理部２０８ｃは、フレームＩＤ１に紐づけられたＨＭＤ画像をＨＤＭＩ送受信部２０９に供給する。
ステップＳ１１０で、ＨＤＭＩ送受信部２０９は、ＨＤＭＩにしたがってＨＭＤ画像をＨＭＤ１００に伝送する。これにより、ＨＭＤ１００においてＨＭＤ画像が表示されることになる。
ステップＳ１１１で、時間蓄積部２０４は、各フレームデータに紐づけられたフレームＩＤ１に基づいて、第１及び第２タイムスタンプをデータ記憶部２１０に蓄積する。また、時間蓄積部２０４は、第１及び第２タイムスタンプの差分に基づいて描画時間を算出する。時間蓄積部２０４は、算出した描画時間をデータ記憶部２１０に蓄積する。
ステップＳ１１１の後、画像生成に関する処理Ｓ１００は終了する。
以下、本実施形態の作用及び効果について説明する。
本実施形態では、画像生成システム１の性能に応じてより適切な遅延時間を用いてリプロジェクション処理が実行される。本構成によると、画像生成時と画像表示時のユーザの姿勢のずれを抑制できる。その結果、ユーザのＶＲ酔いを抑制することが可能となる。
本実施形態では、時間蓄積部２０４は描画時間をデータ記憶部２１０に蓄積し、時間予測部２０５はその蓄積された描画時間に基づいて遅延時間を予測する。ここで、上述したように、異なる性能の画像生成システム間ではそれぞれ描画時間及び表示処理時間が異なる。本実施形態によると、その画像生成システム１の描画時間を蓄積し、またその画像生成システム１についての表示処理時間をデータ記憶部２１０に予め記憶しておき、これらを遅延時間の予測に利用することにより、より正確に遅延時間を予測することが可能となる。
本実施形態では、描画コマンド供給部２０３、レンダリング部２０７及び画像処理部２０８は各処理におけるフレームデータをフレームＩＤに紐づけて供給する。時間蓄積部２０４は、フレームＩＤにそれぞれ紐づけられた各フレームデータにおける第１～第３タイムスタンプをデータ記憶部２１０に蓄積する。ここで、例えば、図４において、フレームＩＤ２に対応する画像生成に関する処理がフレームＩＤ１に対応する画像生成に関する処理よりも前に完了する場合がある。このとき、各処理におけるフレームデータにフレームＩＤが紐づけられていない場合、完了した処理がどの画像生成に関する処理に対応するのかを把握できない。したがって、画像生成に関する処理における各フレームデータに同一のフレームＩＤを紐づけることにより、その画像生成に関する処理が完了するタイミングを明確に把握することが可能となる。
（変形例）
以下、実施形態の変形例について説明する。
本実施形態では、描画時間及び表示処理時間に基づいて遅延時間が予測されたが、これに限定されず、他の手法により遅延時間が予測されてもよい。例えば、時間予測部２０５は、描画時間に基づいてＨＭＤ１００での表示に適した同期タイミングＶｓｙｎｃを求め、画像生成に関する処理の開始から求めた同期タイミングＶｓｙｎｃまでの時間を算出する。時間予測部２０５は、この算出した時間と第２処理時間を足し合わせた時間を遅延時間としてもよい。
本実施形態では、過去の描画時間はデータ記憶部２１０に蓄積された描画時間のうちの任意のいくつかの描画時間の平均値としたが、これに限定されない。例えば、過去の描画時間は、下記のように算出されてもよい。すなわち、時間蓄積部２０４は、同期タイミングＶｓｙｎｃ毎にカウント値を増分（例えばカウント値を１増分）するＶｓｙｎｃカウンタを備える。時間蓄積部２０４は、beginFrame(frameId)をコールしたタイミングで、Ｖｓｙｎｃカウンタのカウント値をチェックする。時間蓄積部２０４は、beginFrame(frameId)で使用されたフレームＩＤと同一のフレームＩＤに関するＨＭＤ画像の生成処理が開始するタイミングで、再びＶｓｙｎｃカウンタのカウント値をチェックする。時間蓄積部２０４は、これらのカウント値の差分に基づいて画像生成に関する処理の開始からＨＭＤ画像の生成処理の開始までのカウント値を算出し、データ記憶部２１０に蓄積する。時間蓄積部２０４は、データ記憶部２１０に蓄積された過去のいくつかの描画時間において、そのカウント値の多数決を取る。時間蓄積部２０４は、多数決の結果として得られたカウント値に基づいて描画時間を算出し、データ記憶部２１０に蓄積する。具体的には、多数決の結果として得られたカウント値に同期タイミングＶｓｙｎｃの周期 (例えば、８．３３ｍｓ(１２０Ｈｚ）、１１．１１ｍｓ（９０Ｈｚ）など）を掛け合わせることにより描画時間を算出する。時間予測部２０５は、この描画時間を用いて遅延時間を予測する。本構成によると、不意に描画時間が延びてしまった場合に、予測時間においてその影響を受けにくくすることができる。また、過去の描画時間は、例えば、データ記憶部２１０に蓄積した描画時間の直近の値や中央値等であってもよい。
本実施形態では、画像生成に関する処理における各フレームデータにフレームＩＤが紐づけられたが、これに限定されず、各フレームデータにフレームＩＤが紐づけられなくてもよい。
本実施形態では、レンダリング画像に対して、予測位置・姿勢情報に基づいてリプロジェクション処理が実行されたが、これに限定されない。例えば、予測位置・姿勢情報に基づいて画像をレンダリングすることでリプロジェクション処理が実行されてもよい。
本実施形態では、ＨＤＭＩにしたがってＨＭＤ画像が送信されたが、これに限定されず、無線通信によってＨＭＤ画像が送信されてもよい。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
１００ ヘッドマウントディスプレイ、２００ 画像生成装置、２０１ 位置・姿勢取得部、２０２ 視点・視線設定部、２０３ 描画コマンド供給部、２０４ 時間蓄積部２０８、２０５ 時間予測部、２０６ 位置・姿勢予測部、２０７ レンダリング部、２０８ 画像処理部、２０８ａ ポストプロセス部、２０８ｂ リプロジェクション部、２０８ｃ 歪み処理部、２０９ ＨＤＭＩ送受信部、２１０ データ記憶部。

Claims (9)

  1. 画像生成に関する処理の開始からＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部と、
    前記予測した遅延時間に基づいて、リプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成する画像処理部と、
    を備えることを特徴とする画像生成装置。
  2. 現在の前記ヘッドマウントディスプレイの姿勢を示す姿勢情報を取得する姿勢情報取得部と、
    前記姿勢情報に基づいて画像をレンダリングして前記画像処理部に供給するレンダリング部と、
    前記画像生成に関する処理の開始から、前記画像処理部によって前記レンダリングされた画像に対する画像処理が開始されるまでの描画時間をデータ記憶部に蓄積する時間蓄積部と、をさらに備え、
    前記データ記憶部は、前記ＨＭＤ画像が生成されてから前記ヘッドマウントディスプレイに表示されるまでの表示処理時間を予め記憶しており、
    前記時間予測部は、前記蓄積された描画時間及び前記表示処理時間に基づいて前記遅延時間を予測する、請求項１に記載の画像生成装置。
  3. 前記時間予測部は、前記データ記憶部に蓄積されたいくつかの前記描画時間の平均値に基づいて前記遅延時間を予測する、請求項２に記載の画像生成装置。
  4. 前記時間蓄積部は、前記ヘッドマウントディスプレイの垂直同期タイミング毎にカウント値を増分するカウンタを備え、
    前記時間蓄積部は、前記画像生成に関する処理の開始から前記レンダリングされた画像に対する画像処理の開始までの前記カウント値に基づいて算出された前記描画時間を前記データ記憶部に蓄積する、請求項２に記載の画像生成装置。
  5. 前記姿勢情報及び前記予測した遅延時間に基づいて、前記現在から前記予測した遅延時間の経過後の前記ヘッドマウントディスプレイの姿勢の予測結果を示す予測姿勢情報を生成する姿勢予測部をさらに備え、
    前記画像処理部は、前記予測姿勢情報に基づいて、前記レンダリングされた画像にリプロジェクション処理を施すことにより、前記ＨＭＤ画像を生成する、請求項２から４のいずれか１項に記載の画像生成装置。
  6. 前記ＨＭＤ画像の生成を開始させるための描画コマンドのフレームデータにフレームＩＤを紐づけて前記レンダリング部に供給する描画コマンド供給部を備え、
    前記レンダリング部は、前記描画コマンドに応答してレンダリング処理を開始し、前記レンダリングされた画像のフレームデータに前記フレームＩＤを紐づけて前記画像処理部に供給し、
    前記画像処理部は、前記ＨＭＤ画像のフレームデータに前記フレームＩＤを紐づけ、
    前記時間蓄積部は、前記フレームＩＤにそれぞれ紐づけられた、前記描画コマンドのフレームデータにおける前記描画コマンドの生成開始時のタイムスタンプと、前記画像処理部による前記画像処理の開始時のタイムスタンプとに基づいて算出された前記描画時間を前記データ記憶部に蓄積する、請求項５に記載の画像生成装置。
  7. 前記描画コマンド供給部は、前記画像に関する処理とは別の後続の画像に関する処理において、前記画像に関する処理が実行されている前記フレームデータに紐づけられたフレームＩＤとは異なるフレームＩＤを前記描画コマンドに紐づける、請求項６に記載の画像生成装置。
  8. 画像生成に関する処理の開始からＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測するステップと、
    前記予測した遅延時間に基づいて、リプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成するステップと、
    を含むことを特徴とする画像生成方法。
  9. プロセッサを、
    画像生成に関する処理の開始からＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部と、
    前記予測した遅延時間に基づいて、リプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成する画像処理部と、
    として機能させるための画像生成プログラム。
JP2021063122A 2021-04-01 2021-04-01 画像生成装置、画像生成方法および画像表示プログラム Pending JP2022158328A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021063122A JP2022158328A (ja) 2021-04-01 2021-04-01 画像生成装置、画像生成方法および画像表示プログラム
US17/685,641 US20220317765A1 (en) 2021-04-01 2022-03-03 Image generation apparatus, image generation method, and image displaying program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021063122A JP2022158328A (ja) 2021-04-01 2021-04-01 画像生成装置、画像生成方法および画像表示プログラム

Publications (1)

Publication Number Publication Date
JP2022158328A true JP2022158328A (ja) 2022-10-17

Family

ID=83449054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021063122A Pending JP2022158328A (ja) 2021-04-01 2021-04-01 画像生成装置、画像生成方法および画像表示プログラム

Country Status (2)

Country Link
US (1) US20220317765A1 (ja)
JP (1) JP2022158328A (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852815B2 (en) * 2019-04-30 2020-12-01 Valve Corporation Display system with dynamic light output adjustment for maintaining constant brightness

Also Published As

Publication number Publication date
US20220317765A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US11119319B2 (en) Rendering device, head-mounted display, image transmission method, and image correction method
JP5967343B2 (ja) アクティブトラッキングに基づいて表示を最適化するための表示システム及び方法
JP6845111B2 (ja) 情報処理装置および画像表示方法
WO2017221784A1 (ja) 画像生成装置、画像生成システム、および画像生成方法
US11003408B2 (en) Image generating apparatus and image generating method
WO2022099787A1 (zh) 一种头戴显示设备及其数据获取方法、装置和主机
WO2019098198A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
US20240048677A1 (en) Information processing system, information processing method, and computer program
US11100716B2 (en) Image generating apparatus and image generation method for augmented reality
JP2022158328A (ja) 画像生成装置、画像生成方法および画像表示プログラム
US12022231B2 (en) Video recording and playback systems and methods
JP7047085B2 (ja) 画像生成装置、画像生成方法、およびプログラム
US20220184492A1 (en) Timing compensation and correlation of input with frames in a video game
WO2022190572A1 (ja) 画像生成装置、プログラム、画像生成方法および画像表示システム
US20240236290A9 (en) Image generation device, program, image generation method, and image displaying system
WO2023234097A1 (ja) ヘッドマウントディスプレイおよびコンテンツ表示システム
TW202137756A (zh) 動態調整鏡頭配置的方法、頭戴式顯示器及電腦裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240129