JP2019106628A - 画像補正装置、画像補正方法およびプログラム - Google Patents

画像補正装置、画像補正方法およびプログラム Download PDF

Info

Publication number
JP2019106628A
JP2019106628A JP2017238042A JP2017238042A JP2019106628A JP 2019106628 A JP2019106628 A JP 2019106628A JP 2017238042 A JP2017238042 A JP 2017238042A JP 2017238042 A JP2017238042 A JP 2017238042A JP 2019106628 A JP2019106628 A JP 2019106628A
Authority
JP
Japan
Prior art keywords
image
time
mounted display
head mounted
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017238042A
Other languages
English (en)
Other versions
JP2019106628A5 (ja
JP6944863B2 (ja
Inventor
宣之 中村
Noriyuki Nakamura
宣之 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Priority to JP2017238042A priority Critical patent/JP6944863B2/ja
Priority to PCT/JP2018/044798 priority patent/WO2019116994A1/ja
Priority to US16/766,864 priority patent/US10969591B2/en
Publication of JP2019106628A publication Critical patent/JP2019106628A/ja
Publication of JP2019106628A5 publication Critical patent/JP2019106628A5/ja
Application granted granted Critical
Publication of JP6944863B2 publication Critical patent/JP6944863B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】画像の生成、配信から表示までの遅延に応じて画像を補正する。【解決手段】送受信部２１０は、第１時刻のヘッドマウントディスプレイの位置または姿勢にもとづいて描画された画像を第１時刻の位置または姿勢の情報とともに受信する。補正部２６０は、画像を表示する際の第２時刻のヘッドマウントディスプレイの位置または姿勢の情報を取得し、第１時刻の位置または姿勢と第２時刻の位置または姿勢の差分に応じて、ヘッドマウントディスプレイのスクリーン座標系の視野を平行移動または回転移動させ、画像を平行移動または回転移動後の視野にテクスチャとして貼り付けることにより、画像を補正する。【選択図】図５

Description

この発明は、画像を生成し補正する装置および方法に関する。
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（Virtual Reality）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。
このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイに表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。
さらに、ヘッドマウントディスプレイに表示される映像がサーバからストリーム配信される場合、通信遅延が加わるため、映像の生成時点と映像の表示時点の時間差が大きくなる。またネットワークの輻輳状態によって遅延の予測が難しく、受信エラーが発生することもある。
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像の生成、配信から表示までの遅延に応じて画像を補正することのできる画像補正技術を提供することにある。
上記課題を解決するために、本発明のある態様の画像補正装置は、第１時刻のヘッドマウントディスプレイの位置または姿勢にもとづいて描画された画像を前記第１時刻の位置または姿勢の情報とともに取得する取得部と、前記画像を表示する際の第２時刻のヘッドマウントディスプレイの位置または姿勢の情報を取得し、前記第１時刻の位置または姿勢と前記第２時刻の位置または姿勢の差分に応じて、ヘッドマウントディスプレイのスクリーン座標系の視野を平行移動または回転移動させ、前記画像を平行移動または回転移動後の視野にテクスチャとして貼り付けることにより、前記画像を補正する補正部とを含む。
本発明の別の態様は、画像補正方法である。この方法は、第１時刻のヘッドマウントディスプレイの位置または姿勢にもとづいて描画された画像を前記第１時刻の位置または姿勢の情報とともに取得する取得ステップと、前記画像を表示する際の第２時刻のヘッドマウントディスプレイの位置または姿勢の情報を取得し、前記第１時刻の位置または姿勢と前記第２時刻の位置または姿勢の差分に応じて、ヘッドマウントディスプレイのスクリーン座標系の視野を平行移動または回転移動させ、前記画像を平行移動または回転移動後の視野にテクスチャとして貼り付けることにより、前記画像を補正する補正ステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、画像の生成、配信から表示までの遅延に応じて画像を補正することができる。
ヘッドマウントディスプレイの外観図である。 本実施の形態に係る画像生成システムの構成図である。 ヘッドマウントディスプレイの機能構成図である。 本実施の形態に係る画像生成装置の機能構成図である。 本実施の形態に係る画像補正装置の機能構成図である。 本実施の形態の画像生成手順を説明するフローチャートである。 本実施の形態の画像生成手順の詳細なタイムチャートである。 図８（ａ）〜図８（ｃ）は、ビルボードの回転移動を説明する図である。 ビルボードの回転移動を詳細に説明する図である。 回転後のビルボードのスクリーンへの投影を説明する図である。
図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。
ヘッドマウントディスプレイ１００にはカメラユニットが搭載されており、ユーザがヘッドマウントディスプレイ１００を装着している間、外界を撮影することができる。
ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像補正装置２００に接続される。
画像補正装置２００の一例はゲーム機である。画像補正装置２００はネットワーク４００を介して画像生成装置５００に接続される。画像補正装置２００はクライアントであり、画像生成装置５００はサーバである。画像生成装置５００は、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像補正装置２００に提供してもよい。
画像補正装置２００は、ヘッドマウントディスプレイ１００の位置・姿勢情報を画像生成装置５００に送信する。画像生成装置５００は、受信されたヘッドマウントディスプレイ１００の位置・姿勢情報にもとづいてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、描画データを符号化してビデオストリームとして画像補正装置２００に送信する。画像補正装置２００は、受信したビデオストリームを復号し、描画データをヘッドマウントディスプレイ１００の最新の位置・姿勢に合わせて補正し、ヘッドマウントディスプレイ１００に表示する。
図３は、ヘッドマウントディスプレイ１００の機能構成図である。
制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。
通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。
外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を画像補正装置２００との間で送受信する。ＨＤＭＩ送受信部９０は、画像補正装置２００により生成された画像をＨＤＭＩ伝送路で画像補正装置２００から受信し、制御部１０に供給する。
制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。
姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像補正装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像補正装置２００に送信してもよい。
図４は、本実施の形態に係る画像生成装置５００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
画像生成装置５００の少なくとも一部の機能を画像補正装置２００に実装してもよい。
送受信部５６０は、ヘッドマウントディスプレイ１００の現在（「第１時刻」と呼ぶ）の位置・姿勢情報を画像補正装置２００から受信し、位置・姿勢取得部５１０に供給する。
視点・視線設定部５２０は、位置・姿勢取得部５１０により取得された第１時刻のヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。
レンダリング部５３０は、視点・視線設定部５２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングし、画像記憶部５４０に記憶する。
符号化部５５０は、画像記憶部５４０に記憶されたレンダリング結果を符号化し、符号化されたビデオストリームを送受信部５６０に与える。
送受信部５６０は、レンダリング部５３０による描画に使用された第１時刻のヘッドマウントディスプレイ１００の位置・姿勢情報を位置・姿勢取得部５１０から受け取り、ビデオストリームデータを第１時刻の位置・姿勢情報とともに画像補正装置２００に送信する。これにより、フレーム単位でビデオデータと位置・姿勢情報が関連づけられたビデオストリームがサーバである画像生成装置５００からクライアントである画像補正装置２００に配信される。
図５は、本実施の形態に係る画像補正装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
画像補正装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００の制御部１０に実装してもよい。
送受信部２１０は、ビデオストリームデータと描画に使用された第１時刻のヘッドマウントディスプレイ１００の位置・姿勢情報をフレーム単位で画像生成装置５００から受信する。送受信部２１０は、受信したビデオストリームデータを復号部２２０に与え、第１時刻のヘッドマウントディスプレイ１００の位置・姿勢情報を位置・姿勢取得部２３０に与える。
復号部２２０は、ビデオストリームデータを復号し、復号画像を第１時刻の位置・姿勢情報とともに画像記憶部２５０に記憶する。
ＨＤＭＩ送受信部２７０は、ヘッドマウントディスプレイ１００から最新（「第２時刻」と呼ぶ）の位置・姿勢情報を受信し、位置・姿勢取得部２３０に与える。
位置・姿勢取得部２３０は、第１時刻の位置・姿勢情報と第２時刻の位置・姿勢情報を補正部２６０に与える。
補正部２６０は、画像記憶部２５０から復号画像を読み出し、第１時刻の位置・姿勢情報と第２時刻の位置・姿勢情報の差分に応じて画像データを補正するリプロジェクション処理を行い、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。補正部２６０は補正された画像データをＨＤＭＩ送受信部２７０に与え、ＨＤＭＩ送受信部２７０は補正された画像データをヘッドマウントディスプレイ１００に送信する。
エラー検出部２４０は、ネットワークの輻輳などによってビデオストリームデータが遅延し、送受信部２１０がフレームの描画タイミングにおいて必要なビデオストリームデータを受信できなかった場合をエラーとして検出する。エラー検出部２４０は、エラー発生を補正部２６０に通知する。補正部２６０は、遅延によりエラーが発生した場合、画像記憶部２５０から一つ前のフレームの復号画像を読み出し、一つ前のフレームの復号画像の描画に使用された過去の時刻の位置・姿勢情報と第２時刻の位置・姿勢情報の差分に応じて一つ前のフレームの復号画像を補正するリプロジェクション処理を行い、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。
ここで、リプロジェクションについて説明する。ヘッドマウントディスプレイ１００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイ１００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。
このように、ヘッドマウントディスプレイ１００の動きを検知し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われており、ヘッドマウントディスプレイ１００の動きを検知してから画像を出力するまでに１フレーム分の遅れが生じるとする。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。
さらに、サーバがレンダリングした画像データを符号化してネットワークを介してクライアントに伝送すると、レンダリングに要した時間に通信時間が加わるため、ヘッドマウントディスプレイ１００に表示されるまでにさらに遅れが生じる。
そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像をヘッドマウントディスプレイ１００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。
図６は、本実施の形態の画像生成手順を説明するフローチャートである。
クライアントである画像補正装置２００の送受信部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をサーバである画像生成装置５００に送信する（Ｓ１０）。
画像生成装置５００において、送受信部５６０は、画像補正装置２００からヘッドマウントディスプレイ１００の現在の位置・姿勢情報を受信する（Ｓ１２）。レンダリング部５３０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報にもとづいてヘッドマウントディスプレイ１００に表示されるべき画像をレンダリングする（Ｓ１４）。
符号化部５５０は、レンダリング結果の画像データを符号化する（Ｓ１６）。送受信部５６０は、符号化されたビデオストリームを描画に使用されたヘッドマウントディスプレイ１００の位置・姿勢情報とともに画像補正装置２００に送信する（Ｓ１８）。
画像補正装置２００において、送受信部２１０は、画像生成装置５００からビデオストリームと描画に使用されたヘッドマウントディスプレイ１００の位置・姿勢情報を受信する（Ｓ２０）。復号部２２０は、ビデオストリームを復号する（Ｓ２２）。補正部２６０は、描画データをヘッドマウントディスプレイ１００の最新の位置・姿勢に合わせて補正するリプロジェクション処理を実行する（Ｓ２４）。ＨＤＭＩ送受信部２７０は、補正後の画像データをヘッドマウントディスプレイ１００に伝送し、ヘッドマウントディスプレイ１００に表示させる（Ｓ２６）。
ステップＳ１０において画像補正装置２００がヘッドマウントディスプレイ１００の位置・姿勢情報を画像生成装置５００に送信してから、ヘッドマウントディスプレイ１００に画像が表示されるまでのラウンドトリップタイム（ＲＴＴ）の遅延が生じる。ステップＳ２４におけるリプロジェクション処理はこの遅延をユーザに感じさせないように画像を補間する。
図７は、本実施の形態の画像生成手順の詳細なタイムチャートである。
時刻Ｔ１において、クライアントである画像補正装置２００は、ヘッドマウントディスプレイ１００の位置・姿勢情報を取得し、サーバである画像生成装置５００に送信する。
時刻Ｔ２において、画像生成装置５００は、受信したヘッドマウントディスプレイ１００の位置・姿勢情報に応じてヘッドマウントディスプレイ１００に表示すべき画像を描画する。時刻Ｔ３において、画像生成装置５００は描画された画像を符号化し、符号化されたビデオストリームデータを描画に用いたヘッドマウントディスプレイ１００の位置・姿勢情報とともに画像補正装置２００に送信する。
時刻Ｔ４において、画像補正装置２００は受信したビデオストリームを復号する。時刻Ｔ５において、画像補正装置２００は復号画像にリプロジェクション処理を施す。復号画像は時刻Ｔ１のヘッドマウントディスプレイ１００の位置・姿勢情報にもとづいて描画されたものである。時刻Ｔ５ではヘッドマウントディスプレイ１００を装着したユーザは頭部を角度θ１だけ回転させており、差分ΔＴ＝Ｔ５−Ｔ１の間のヘッドマウントディスプレイ１００の位置・姿勢情報の変化に応じて復号画像が補間される。時刻Ｔ６において、画像補正装置２００はリプロジェクション処理された復号画像をヘッドマウントディスプレイ１００に表示させる。
時刻Ｔ７において、画像補正装置２００は、ヘッドマウントディスプレイ１００の位置・姿勢情報を取得し、画像生成装置５００に送信する。
時刻Ｔ８において、画像生成装置５００は、受信したヘッドマウントディスプレイ１００の位置・姿勢情報に応じてヘッドマウントディスプレイ１００に表示すべき画像を描画する。時刻Ｔ９において、画像生成装置５００は描画された画像を符号化し、符号化されたビデオストリームデータを描画に用いたヘッドマウントディスプレイ１００の位置・姿勢情報とともに画像補正装置２００に送信するが、ネットワークの輻輳によって遅延が発生し、次のフレームのタイミングに間に合わない。
時刻Ｔ１０において、画像補正装置２００はデータの受信にエラーが発生したことを検知し、一つ前のフレームである時刻Ｔ４における復号画像（「前回の復号画像」と呼ぶ）をメモリから読み出す。時刻Ｔ１１において、画像補正装置２００は前回の復号画像にリプロジェクション処理を施す。前回の復号画像は時刻Ｔ１のヘッドマウントディスプレイ１００の位置・姿勢情報にもとづいて描画されたものである。時刻Ｔ１１ではヘッドマウントディスプレイ１００を装着したユーザは頭部を角度θ２だけ回転させており、差分ΔＴ＝Ｔ１１−Ｔ１の間のヘッドマウントディスプレイ１００の位置・姿勢情報の変化に応じて画像が補間される。時刻Ｔ１２において、画像補正装置２００はリプロジェクション処理された画像をヘッドマウントディスプレイ１００に表示させる。
図８〜図１０を参照して、画像補正装置２００の補正部２６０によるリプロジェクション処理を詳しく説明する。本実施の形態ではサーバが既に描画した画像をクライアントが受信して補間するため、画素単位のリプロジェクションは行わず、ビルボードを回転させて視野移動分を補間する方法を用いる。スクリーン座標の４頂点の座標値を変換することで画像の線形補間を行うため、クライアントのグラフィックス・プロセッシング・ユニット（ＧＰＵ）の線形補間の機能を用いて簡単に実装することができる。
図８（ａ）〜図８（ｃ）は、ビルボードの回転移動を説明する図である。
図８（ａ）は、ヘッドマウントディスプレイ１００を装着したユーザが正面を見ているときの第１視野６００と、ユーザが頭部を角度θだけ右に回転させたときの第２視野６１０を示す。ユーザが正面を見ている第１時刻においてサーバは第１視野６００に画像を描画するが、描画された画像を表示するタイミングは、ユーザが頭部を角度θだけ回転させた第２時刻である。第２時刻では角度θの方向に垂直な面である第２視野６１０に描画された画像を補正して表示する必要がある。
図８（ｂ）は、図８（ａ）の視野の角度θの回転移動を補間するために、ビルボードを回転させる方法を示す。正面の第１視野６００のビルボードを角度θだけ逆方向に回転させ、第１視野６００に描画された画像を回転後のビルボード６２０にテクスチャとして貼り付ける。これにより、第１視野６００に描画された画像が線形補間されて図８（ａ）の第２視野６１０に表示されることになる。
図８（ｃ）は、ユーザが頭部を角度θだけ右に回転させたときにヘッドマウントディスプレイ１００に表示される補間画像を示す。第１視野６００に描画された画像が線形補間されて第２視野６１０に表示されている。
図８（ｂ）のビルボードの回転移動は、第１視野６００の４頂点を３次元に拡張した座標系で角度θだけ逆に回転させることにより行われる。４頂点のｘ、ｙ座標はスクリーン座標であり、ｚ座標は、回転中心からの距離ｄであり、距離ｄは視野角Ｆｏｖから計算した値を用いる。
なお、ヘッドマウントディスプレイ１００を装着したユーザが頭部を平行移動させた場合は、第１視野６００のビルボードを逆方向に平行移動させ、第１視野６００のテクスチャを貼り付ければよい。
図９は、ビルボードの回転移動を詳細に説明する図である。
視野のビルボードの４頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４のスクリーン座標はそれぞれ（−１，−１）、（−１，１）、（１，−１）、（１，１）であり、３次元に拡張した座標系では、視点からスクリーンまでの距離ｄをｚ座標に用いて、（−１，−１，ｄ）、（−１，１，ｄ）、（１，−１，ｄ）、（１，１，ｄ）と表される。
ここで、視点からスクリーンまでの距離ｄは、左右の視野角Ｆｏｖｌｅｆｔ、Ｆｏｖｒｉｇｈｔから次式で計算される。
ａ＝２×Ｆｏｖｌｅｆｔ／（Ｆｏｖｌｅｆｔ＋Ｆｏｖｒｉｇｈｔ）
ｂ＝２×Ｆｏｖｒｉｇｈｔ／（Ｆｏｖｌｅｆｔ＋Ｆｏｖｒｉｇｈｔ）
ｄ＝ｂ／ｔａｎ（Ｆｏｖｒｉｇｈｔ）
ビルボードの４頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４を３次元空間において角度θだけ逆に回転させ、回転後のビルボードの４頂点Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’の座標値を計算する。ヘッドマウントディスプレイ１００の姿勢をクオータニオン（４元数）で表すなら、回転角は、第１視野６００におけるヘッドマウントディスプレイ１００の姿勢と第２視野６１０におけるヘッドマウントディスプレイ１００の姿勢の差分により計算される。
クオータニオンを用いたコンピュータグラフィックスに関する３次元回転などの計算方法については「３Ｄ−ＣＧプログラマーのためのクォータニオン入門」（工学社、２００４年１月）に記載されている。
第１視野６００、第２視野６１０におけるヘッドマウントディスプレイ１００の姿勢ｑＡ、ｑＢは次式で表される。
qA = (qxA, qyA, qzA, qwA)
qB = (qxB, qyB, qzB, qwB)
ヘッドマウントディスプレイ１００の回転角ｑＡＢは、第１視野６００、第２視野６１０におけるヘッドマウントディスプレイ１００の姿勢ｑＡ、ｑＢの差を次式で計算することにより求められる。
qAB = qA * qB -1
クオータニオンの逆数ｑＢ −１は
qB -1 = (-qxB, -qyB, -qzB, qwB)
であるから、回転角ｑＡＢは次式で求められる。
qAB = qA * qB -1
= (qxA, qyA, qzA, qwA) * (-qxB, -qyB, -qzB, qwB)
= ( qwA * qxB + qxA * qwB + qyA * (-qzB) - qzA * (-qyB),
qwA * qyB - qxA * (-qzB) + qyA * qwB + qzA * (-qxB),
qwA * qzB + qxA * (-qyB) - qyA * (-qxB) + qzA * qwB,
qwA * qwB - qxA * (-qxB) - qyA * (-qyB) - qzA * (-qzB))
ビルボードの４頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４を回転角ｑＡＢで回転させてＰ１’、Ｐ２’、Ｐ３’、Ｐ４’の座標値を求める。４頂点をクオータニオンで回転させるため、４頂点の座標値を以下のように４次元ベクトルで表す。
Ｐ１＝（−１，−１，ｄ，０）
Ｐ２＝（−１，１，ｄ，０）
Ｐ３＝（１，−１，ｄ，０）
Ｐ４＝（１，１，ｄ，０）
点ｐのクオータニオンｑによる回転は、ｑ−１＊ｐ＊ｑで与えられるので、回転後の４頂点Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’は次式で求められる。ただし、次式においてｎは１から４のいずれかである。ｐｘ、ｐｙはスクリーン座標であり、上述のように１または−１で与えられる。ｐｚは視点からスクリーンまでの距離ｄである。また、回転角ｑＡＢ＝（ｑｘＡＢ，ｑｙＡＢ，ｑｚＡＢ，ｑｗＡＢ）とおいた。
Pn' = qAB -1 * Pn * qAB
= (-qxAB, -qyAB, -qzAB, qwAB) * (px, py, pz, 0) * (qxAB, qyAB, qzAB, qwAB)
= ( qwAB * px + (-qyAB) * pz - (-qzAB) * py,
qwAB * py - (-qxAB) * pz + (-qzAB) * px,
qwAB * pz + (-qxAB) * py - (-qyAB) * px,
-(-qxAB) * px - (-qyAB) * py - (-qzAB) * pz) * (qxAB, qyAB, qzAB, qwAB)
= ((qxAB 2-qyAB 2-qzAB 2+qwAB 2)px + 2(qxAB*qyAB+qzAB*qwAB)py + 2(qxAB*qzAB-qyAB*qwAB)pz,
2(qxAB*qyAB-qzAB*qwAB)px - (qxAB 2-qyAB 2+qzAB 2-qwAB 2)py + 2(qyAB*qzAB+qxAB*qwAB)pz,
2(qxAB*qzAB+qyAB*qwAB)px + 2(qyAB*qzAB-qxAB*qwAB)py - (qxAB 2+qyAB 2-qzAB 2-qwAB 2)pz,
-2*qyAB*qzAB*pxAB)
図１０は、回転後のビルボードのスクリーンへの投影を説明する図である。
回転後のビルボードの４頂点Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’は３次元空間にあるため、これをスクリーンに再度投影する必要がある。次式のように、視点からスクリーンまでの距離ｄと回転後のビルボードの奥行きｐｚ’の比を回転後のビルボードの４頂点Ｐｎ’の座標値ｐｘ’、ｐｙ’に乗算することにより、スクリーン上の４頂点Ｐｎ’ｓｃｒｅｅｎの座標値を求める。ただし、ｎは１から４のいずれかである。
Pn’screen = (px', py') * d / pz'
= (px' * d / pz', py' * d / pz')
以上、本発明の実施の形態を説明した。通常のリプロジェクション処理は描画から表示までの処理時間を埋めるために行われ、画像生成時点の視点位置および視線方向を前提に生成された画像を、画像表示時点の視点位置および視線方向を用いて補正することにより、画像生成時点から画像表示時点までの時間差分を吸収する。それに対して、本実施の形態のようにヘッドマウントディスプレイ１００にネットワークを介して画像をストリーミング配信する場合は、通信時間も含めた時間差分を吸収するためにリプロジェクション処理が行われる。
ストリーム配信の場合、クライアントはヘッドマウントディスプレイ１００の現在の位置・姿勢情報をサーバに送信し、サーバは受信した位置・姿勢情報にもとづいて描画し、サーバからビデオストリームとともに描画の際に利用した位置・姿勢情報をクライアントに送信する。クライアントは、描画の際に利用した位置・姿勢情報と最新の位置・姿勢情報の差を埋めるために、サーバが描画した画像にリプロジェクション処理を施す。これにより、クライアントがサーバに描画をリクエストした時点から、通信時間も含めて、画像を表示する時点までの時間差分を吸収することができる。
また、ストリーム配信の場合、ネットワークの輻輳などにより通信遅延が発生し、ビデオストリームが時間通りに到着しないエラーが発生しうる。データの到着エラーが発生した場合は、前回の復号画像を再利用し、ヘッドマウントディスプレイ１００の最新の位置・姿勢に合うように前回の復号画像に対してリプロジェクション処理を施すことで通信遅延に柔軟に対処できる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
１０ 制御部、 ２０ 入力インタフェース、 ３０ 出力インタフェース、 ３２ ディスプレイパネル、 ４０ 通信制御部、 ４２ ネットワークアダプタ、 ４４ アンテナ、 ５０ 記憶部、 ６４ 姿勢センサ、 ７０ 外部入出力端子インタフェース、 ７２ 外部メモリ、 ９０ ＨＤＭＩ送受信部、 １００ ヘッドマウントディスプレイ、 ２００ 画像補正装置、 ２１０ 送受信部、 ２２０ 復号部、 ２３０ 位置・姿勢取得部、 ２４０ エラー検出部、 ２５０ 画像記憶部、 ２６０ 補正部、 ２７０ ＨＤＭＩ送受信部、 ３００ インタフェース、 ４００ ネットワーク、 ５００ 画像生成装置、 ５１０ 位置・姿勢取得部、 ５２０ 視点・視線設定部、 ５３０ レンダリング部、 ５４０ 画像記憶部、 ５５０ 符号化部、 ５６０ 送受信部。

Claims (5)

  1. 第１時刻のヘッドマウントディスプレイの位置または姿勢にもとづいて描画された画像を前記第１時刻の位置または姿勢の情報とともに取得する取得部と、
    前記画像を表示する際の第２時刻のヘッドマウントディスプレイの位置または姿勢の情報を取得し、前記第１時刻の位置または姿勢と前記第２時刻の位置または姿勢の差分に応じて、ヘッドマウントディスプレイのスクリーン座標系の視野を平行移動または回転移動させ、前記画像を平行移動または回転移動後の視野にテクスチャとして貼り付けることにより、前記画像を補正する補正部とを含むことを特徴とする画像補正装置。
  2. 前記取得部は、前記画像が符号化された符号化ストリームをネットワークを介して受信し、
    前記符号化ストリームを復号して復号画像を取得する復号部をさらに含み、
    前記補正部は、前記復号画像を平行移動または回転移動後の視野にテクスチャとして貼り付けることにより、前記復号画像を補正することを特徴とする請求項１に記載の画像補正装置。
  3. 前記復号部により復号された過去の時刻における復号画像を前記過去の時刻のヘッドマウントディスプレイの位置または姿勢の情報とともに保持する記憶部と、
    前記符号化ストリームが表示タイミングに間に合って受信されないエラーを検出する検出部とをさらに含み、
    前記補正部は、前記エラーが検出された場合、前記過去の時刻の位置または姿勢と前記第２時刻の位置または姿勢の差分に応じて、前記スクリーン座標系の視野を平行移動または回転移動させ、前記過去の時刻における復号画像を平行移動または回転移動後の視野にテクスチャとして貼り付けることにより、前記過去の時刻における復号画像を補正することを特徴とする請求項２に記載の画像補正装置。
  4. 第１時刻のヘッドマウントディスプレイの位置または姿勢にもとづいて描画された画像を前記第１時刻の位置または姿勢の情報とともに取得する取得ステップと、
    前記画像を表示する際の第２時刻のヘッドマウントディスプレイの位置または姿勢の情報を取得し、前記第１時刻の位置または姿勢と前記第２時刻の位置または姿勢の差分に応じて、ヘッドマウントディスプレイのスクリーン座標系の視野を平行移動または回転移動させ、前記画像を平行移動または回転移動後の視野にテクスチャとして貼り付けることにより、前記画像を補正する補正ステップとを含むことを特徴とする画像補正方法。
  5. 第１時刻のヘッドマウントディスプレイの位置または姿勢にもとづいて描画された画像を前記第１時刻の位置または姿勢の情報とともに取得する取得機能と、
    前記画像を表示する際の第２時刻のヘッドマウントディスプレイの位置または姿勢の情報を取得し、前記第１時刻の位置または姿勢と前記第２時刻の位置または姿勢の差分に応じて、ヘッドマウントディスプレイのスクリーン座標系の視野を平行移動または回転移動させ、前記画像を平行移動または回転移動後の視野にテクスチャとして貼り付けることにより、前記画像を補正する補正機能とをコンピュータに実現させることを特徴とするプログラム。
JP2017238042A 2017-12-12 2017-12-12 画像補正装置、画像補正方法およびプログラム Active JP6944863B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017238042A JP6944863B2 (ja) 2017-12-12 2017-12-12 画像補正装置、画像補正方法およびプログラム
PCT/JP2018/044798 WO2019116994A1 (ja) 2017-12-12 2018-12-05 画像補正装置、画像補正方法およびプログラム
US16/766,864 US10969591B2 (en) 2017-12-12 2018-12-05 Image correction apparatus, image correction method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017238042A JP6944863B2 (ja) 2017-12-12 2017-12-12 画像補正装置、画像補正方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2019106628A true JP2019106628A (ja) 2019-06-27
JP2019106628A5 JP2019106628A5 (ja) 2020-08-13
JP6944863B2 JP6944863B2 (ja) 2021-10-06

Family

ID=66819195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017238042A Active JP6944863B2 (ja) 2017-12-12 2017-12-12 画像補正装置、画像補正方法およびプログラム

Country Status (3)

Country Link
US (1) US10969591B2 (ja)
JP (1) JP6944863B2 (ja)
WO (1) WO2019116994A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014673A1 (ja) 2019-07-25 2021-01-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
WO2021065628A1 (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法
WO2021230366A1 (ja) 2020-05-14 2021-11-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔作業装置とそのプログラム
WO2021230363A1 (ja) 2020-05-14 2021-11-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
WO2021230364A1 (ja) 2020-05-14 2021-11-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
WO2022190572A1 (ja) * 2021-03-09 2022-09-15 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、プログラム、画像生成方法および画像表示システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637406A (zh) * 2019-01-04 2019-04-16 京东方科技集团股份有限公司 一种显示装置的显示方法、显示装置以及可读存储介质
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
US20230139216A1 (en) * 2020-03-30 2023-05-04 Sony Interactive Entertainment Inc. Image display system, image processing device, and image display method
CN115327782B (zh) * 2022-10-11 2023-03-24 歌尔股份有限公司 显示控制方法、装置、头戴显示设备以及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012033038A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 模擬映像生成装置、方法、プログラム
JP2015095045A (ja) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6866297B2 (ja) * 2015-06-12 2021-04-28 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ ヘッドマウントディスプレイの電子ディスプレイ安定化
DE102016109153A1 (de) * 2016-05-18 2017-11-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum einstellen einer blickrichtung in einer darstellung einer virtuellen umgebung
US20190333480A1 (en) * 2017-01-05 2019-10-31 Philipp K. Lang Improved Accuracy of Displayed Virtual Data with Optical Head Mount Displays for Mixed Reality
US10684469B2 (en) * 2018-10-23 2020-06-16 Dell Products L.P. Detecting and mitigating motion sickness in augmented and virtual reality systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012033038A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 模擬映像生成装置、方法、プログラム
JP2015095045A (ja) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014673A1 (ja) 2019-07-25 2021-01-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
JP2021022075A (ja) * 2019-07-25 2021-02-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11610343B2 (en) 2019-07-25 2023-03-21 Ntt Communications Corporation Video display control apparatus, method, and non-transitory computer readable medium
WO2021065628A1 (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法
WO2021230366A1 (ja) 2020-05-14 2021-11-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔作業装置とそのプログラム
WO2021230363A1 (ja) 2020-05-14 2021-11-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
WO2021230364A1 (ja) 2020-05-14 2021-11-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
WO2022190572A1 (ja) * 2021-03-09 2022-09-15 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、プログラム、画像生成方法および画像表示システム

Also Published As

Publication number Publication date
WO2019116994A1 (ja) 2019-06-20
US20200319463A1 (en) 2020-10-08
JP6944863B2 (ja) 2021-10-06
US10969591B2 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
WO2019116994A1 (ja) 画像補正装置、画像補正方法およびプログラム
US11119319B2 (en) Rendering device, head-mounted display, image transmission method, and image correction method
JP5891131B2 (ja) 画像生成装置および画像生成方法
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
WO2019082794A1 (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
JP6216398B2 (ja) 画像生成装置および画像生成方法
JP7157985B2 (ja) ユーザに再生するためのオーディオ信号をレンダリングするための装置および方法
JP6391423B2 (ja) 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法
US11003408B2 (en) Image generating apparatus and image generating method
WO2019098198A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
JP2018033107A (ja) 動画の配信装置及び配信方法
JP6518645B2 (ja) 情報処理装置および画像生成方法
US11100716B2 (en) Image generating apparatus and image generation method for augmented reality
JP6487512B2 (ja) ヘッドマウントディスプレイおよび画像生成方法
WO2021006191A1 (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP7377014B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP7047085B2 (ja) 画像生成装置、画像生成方法、およびプログラム
JP7429761B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
KR101773929B1 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
US11863902B2 (en) Techniques for enabling high fidelity magnification of video
KR101947799B1 (ko) 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210913

R150 Certificate of patent or registration of utility model

Ref document number: 6944863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150