CN111696213B - 图像生成装置、图像生成方法以及计算机可读介质 - Google Patents

图像生成装置、图像生成方法以及计算机可读介质 Download PDF

Info

Publication number
CN111696213B
CN111696213B CN202010310555.1A CN202010310555A CN111696213B CN 111696213 B CN111696213 B CN 111696213B CN 202010310555 A CN202010310555 A CN 202010310555A CN 111696213 B CN111696213 B CN 111696213B
Authority
CN
China
Prior art keywords
image
rotation
head
mounted display
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010310555.1A
Other languages
English (en)
Other versions
CN111696213A (zh
Inventor
大户友博
S.M.本森
I.H.比克斯塔夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Europe Ltd
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Europe Ltd
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Europe Ltd, Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Europe Ltd
Priority to CN202010310555.1A priority Critical patent/CN111696213B/zh
Publication of CN111696213A publication Critical patent/CN111696213A/zh
Application granted granted Critical
Publication of CN111696213B publication Critical patent/CN111696213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)

Abstract

一种图像生成装置，包括：耦合到存储器的处理器，所述存储器存储指令，所述指令在由所述处理器执行时将所述处理器配置为实现：取得步骤，取得与穿戴了头戴式显示单元的用户的头部的位置和旋转的至少一个有关的信息；图像生成步骤，使用在某个时刻通过所述取得步骤取得的与位置和旋转的至少一个有关的信息来生成要在所述头戴式显示单元上显示的图像；以及校正处理步骤，在不同时刻从所述取得步骤中接收与位置和旋转的至少一个有关的更新信息，并使用所述与位置和旋转的至少一个有关的更新信息对通过所述图像生成步骤生成的图像进行校正。

Description

图像生成装置、图像生成方法以及计算机可读介质
本申请是以下发明专利申请的分案申请：申请号：201480061487.2，申请日：2014年10月31日，发明名称：“图像生成装置以及图像生成方法”。
技术领域
本发明涉及一种对图像进行生成并校正的装置、方法以及计算机可读介质。
背景技术
将与游戏机连接了的头戴式显示器(HMD)穿戴在头部上，一边观看在头戴式显示器上被显示的画面，一边对控制器等进行操作而进行游戏娱乐的情况正在进行。关于与游戏机连接了的通常的固定放置型显示器，由于用户的视野范围也会扩大到显示器的画面的外侧，因此，存在不能集中于显示器的画面上、或者欠缺对游戏的沉浸感的情况。这一点，若穿戴头戴式显示器，则用户看不见头戴式显示器所显示的映像以外，因此，对映像世界的沉浸感提高，存在进一步提高游戏的娱乐性的效果。
此外，使头戴式显示器显示全景图像，使得若穿戴了头戴式显示器的用户旋转头部则会显示360度的全景图像或虚拟空间，则对映像的沉浸感进一步增高，游戏等的应用的操作性也提高。
发明内容
发明要解决的课题
这样使头戴式显示器具有头部追踪功能，在与用户的头部的动作进行连动而改变视点或视线方向从而生成全景图像的情况下，由于从全景图像的生成到显示为止存在滞后，因此，在全景图像生成时作为前提的用户的头部的朝向、与将全景图像显示在头戴式显示器上的时间点的用户的头部的朝向之间发生偏差，存在用户陷入如眩晕那样的感觉的情况。
本发明是鉴于这样的课题而完成的，其目的在于，提供一种能够显示降低了从图像的生成到显示为止的滞后的校正图像的图像生成装置以及图像生成方法。
用于解决课题的手段
为了解决上述课题，本发明的某一方式的图像生成装置包括：取得部，取得与视点位置以及视线方向的至少一个有关的信息；图像生成部，使用由所述取得部在某个时刻所取得的与视点位置以及视线方向的至少一个有关的信息，生成图像；以及校正处理部，从所述取得部接受在其他时刻被更新的与视点位置以及视线方向的至少一个有关的信息，使用被更新的与视点位置以及视线方向的至少一个有关的信息，对由所述图像生成部生成的图像进行校正。
本发明的另一方式也是图像生成装置。该装置是被安装在经由网络连接到服务器的客户端中的图像生成装置，其包括：取得部，取得包含与视点位置以及视线方向的至少一个有关的信息的视野信息；以及校正处理部，从所述服务器接收使用由所述取得部在某个时刻取得的与视点位置以及视线方向的至少一个有关的信息而生成的图像，从所述取得部接受在其他时刻被更新的与视点位置以及视线方向的至少一个有关的信息，并使用被更新的与视点位置以及视线方向的至少一个有关的信息，对所接收到的图像进行校正。
本发明的又另一方式也是图像生成装置。该装置包括：取得部，取得与穿戴了头戴式显示器的用户的头部的位置以及旋转的至少一个有关的信息；图像生成部，使用由所述取得部在某个时刻所取得的与位置以及旋转的至少一个有关的信息，生成应显示在头戴式显示器上的图像；以及校正处理部，从所述取得部接受在其他时刻被更新的与位置以及旋转的至少一个有关的信息，使用被更新的与位置以及旋转的至少一个有关的信息，对由所述图像生成部生成的图像进行校正。
本发明的又另一方式也是图像生成装置。所述装置包括耦合到存储器的处理器，所述存储器存储指令，所述指令在由所述处理器执行时将所述处理器配置为实现：取得步骤，取得与穿戴了头戴式显示单元的用户的头部的位置和旋转的至少一个有关的信息；图像生成步骤，使用在某个时刻通过所述取得步骤取得的与位置和旋转的至少一个有关的信息来生成要在所述头戴式显示单元上显示的图像；以及校正处理步骤，在不同时刻从所述取得步骤中接收与位置和旋转的至少一个有关的更新信息，并使用所述与位置和旋转的至少一个有关的更新信息对通过所述图像生成步骤生成的图像进行校正，其中，所述图像生成步骤使用所述与位置和旋转的至少一个有关的信息，以第一频率来生成要在所述头戴式显示单元上显示的图像；以及所述校正处理步骤以与所述头戴式显示单元的帧率对应的第二频率从所述取得步骤接收与位置和旋转的至少一个有关的更新信息，并且使用以高于所述第一频率的所述第二频率接收到的多个所述与位置和旋转的至少一个有关的更新信息，对以所述第一频率通过所述图像生成步骤生成的图像执行多次校正。
本发明的又另一方式是图像生成方法。该方法包含：取得步骤，取得与视点位置以及视线方向的至少一个有关的信息；图像生成步骤，使用通过所述取得步骤在某个时刻所取得的与视点位置以及视线方向的至少一个有关的信息，生成图像；以及校正处理步骤，接受在其他时刻被更新的与视点位置以及视线方向的至少一个有关的信息，使用被更新的与视点位置以及视线方向的至少一个有关的信息，对通过所述图像生成步骤生成的图像进行校正。
本发明的又另一方式也是图像生成方法。该方法包含：取得步骤，取得与穿戴了头戴式显示器的用户的头部的位置以及旋转的至少一个有关的信息；图像生成步骤，使用通过所述取得步骤在某个时刻所取得的与位置以及旋转的至少一个有关的信息，生成应显示在头戴式显示器上的图像；以及校正处理步骤，接受在其他时刻被更新的与位置以及旋转的至少一个有关的信息，使用被更新的与位置以及旋转有关的信息，对通过所述图像生成步骤生成的图像进行校正。
本发明的又另一方式也是图像生成方法。所述方法包含：取得步骤，取得与穿戴了头戴式显示单元的用户的头部的位置和旋转的至少一个有关的信息；生成步骤，使用在某个时刻通过所述取得步骤取得的所述与位置和旋转的至少一个有关的信息来生成要在所述头戴式显示单元上显示的图像；以及接收和校正步骤，在不同时刻接收与位置和旋转的至少一个有关的更新信息，并使用所述与位置和旋转的至少一个有关的更新信息对通过所述生成步骤生成的图像进行校正，其中，在所述生成步骤中，使用与所述位置和旋转的至少一个有关的信息以第一频率生成要在所述头戴式显示单元上显示的图像；以及在所述接收和校正步骤中，以与所述头戴式显示单元的帧率对应的第二频率接收与位置和旋转的至少一个有关的更新信息，并且使用以高于所述第一频率的所述第二频率接收到的多个所述与位置和旋转的至少一个有关的更新信息对以所述第一频率通过所述生成步骤生成的图像执行多次校正。
本发明的又另一方式是一种存储了使计算机执行图像生成方法的程序的非暂时性计算机可读介质，所述方法包括：取得步骤，取得与穿戴了头戴式显示单元的用户的头部的位置和旋转的至少一个有关的信息；生成步骤，使用在某个时刻通过所述取得步骤取得的所述与位置和旋转的至少一个有关的信息来生成要在所述头戴式显示单元上显示的图像；以及接收与校正步骤，在不同时刻接收与位置和旋转的至少一个有关的更新信息，并使用所述与位置和旋转的至少一个有关的更新信息对通过所述生成步骤生成的图像进行校正，其中，在所述生成步骤中，使用所述与位置和旋转的至少一个有关的信息以所述第一频率生成要在所述头戴式显示单元上显示的图像；以及在所述接收和校正步骤中，以与所述头戴式显示单元的帧率对应的所述第二频率接收与位置和旋转的至少一个有关的更新信息，并且使用以高于所述第一频率的所述第二频率接收到的多个所述与位置和旋转的至少一个有关的更新信息，对以所述第一频率通过所述生成步骤生成的图像执行多次校正。
另外，对以上的构成要素的任意的组合、本发明的表现，在方法、装置、系统、计算机程序、数据结构、记录介质等之间进行了变换的方式，作为本发明的方式也是有效的。
发明效果
根据本发明，能够对降低了从图像的生成到显示为止的滞后的校正图像进行显示。
附图说明
图1是头戴式显示器的外观图。
图2是头戴式显示器的功能结构图。
图3是实施方式所涉及的全景图像生成系统的结构图。
图4是实施方式所涉及的全景图像生成装置的功能结构图。
图5是用于说明头戴式显示器所显示的全景图像的图。
图6是用于说明对头戴式显示器所显示的全景图像需要校正处理的理由的图。
图7是用于说明不进行校正处理的以往的图像生成处理的时序图。
图8是用于说明伴随实施方式的校正处理的图像生成处理的时序图。
图9A是用于说明追踪坐标系和HMD坐标系的关系的图。
图9B是用于说明HMD坐标系和视野坐标系的关系的图。
图10是用于说明穿戴了头戴式显示器的用户的视野的图。
图11是用于说明基于图4的全景图像生成装置的全景图像生成过程的流程图。
图12是用于说明实施方式的图像校正处理的图。
图13是用于说明实施方式的变形例的图像校正处理的图。
具体实施方式
(第1实施方式)
图1是头戴式显示器100的外观图。头戴式显示器100包括主体部110、前头部接触部120、以及侧头部接触部130。
头戴式显示器100是用于穿戴在用户的头部上而对显示器所显示的静止图像或动态图像等进行鉴赏，对从头戴式耳机所输出的声音或音乐等进行聆听的显示装置。
通过在头戴式显示器100上内置或者外挂的GPS(全球定位系统(GlobalPositioning System))等的位置传感器能够对用户的位置信息进行测量。此外，通过在头戴式显示器100上内置或者外挂的姿势传感器能够对穿戴了头戴式显示器100的用户的头部的旋转角或倾斜这样的姿势信息进行测量。
在主体部110中包括显示器、位置信息取得传感器、姿势传感器、通信装置等。在前头部接触部120以及侧头部接触部130中，作为一个选项，也可以具有能够对用户的体温、脉搏、血液成分、出汗、脑电波、脑血流等的生物体信息进行测量的生体信息取得传感器。
在头戴式显示器100中，也可以进一步设置用于拍摄用户的眼睛的摄像机。通过在头戴式显示器100上搭载的摄像机，能够检测用户的视线、瞳孔的运动、眨眼等。
在此，说明在头戴式显示器100上显示的图像的生成方法，但是，本实施方式的图像生成方法不限于狭义的头戴式显示器100，也适用于穿戴了眼镜、眼镜型显示器、眼镜型摄像机、头戴式耳机、耳麦(附带麦克风的头戴式耳机)、耳机、耳环、耳挂式摄像机、帽子、附带摄像机的帽子、发带等的情况。
图2是头戴式显示器100的功能结构图。
控制部10是对图像信号、传感器信号等的信号、命令或数据进行处理并输出的主处理器。输入接口20从触摸面板以及触摸面板控制器接受操作信号或设定信号，供应给控制部10。输出接口30从控制部10接受图像信号，使显示器进行显示。背光灯32向液晶显示器供应背光。
通信控制部40经由网络适配器42或者天线44，通过有线或者无线通信，将从控制部10输入的数据发送到外部。此外，通信控制部40经由网络适配器42或者天线44，通过有线或者无线通信，从外部接收数据，输出至控制部10。
存储部50对控制部10处理的数据或参数、操作信号等暂时地进行存储。
GPS单元60根据来自控制部10的操作信号，从GPS卫星接收位置信息而供应给控制部10。无线单元62根据来自控制部10的操作信号，从无线基站接收位置信息而供应给控制部10。
姿势传感器64对头戴式显示器100的主体部110的旋转角或倾斜等的姿势信息进行检测。姿势传感器64通过对陀螺仪传感器、加速度传感器、角加速度传感器等进行适当组合而实现。
外部输入输出端子接口70是用于连接USB(Universal Serial Bus)控制器等的外围设备的接口。外部存储器72是闪存存储器等的外部存储器。
计时部80根据来自控制部10的设定信号而设定时间信息，将时间数据供应给控制部10。
控制部10能够使图像或文本数据供应给输出接口30而在显示器上显示、或者使其供应给通信控制部40而发送到外部。
图3是本实施方式所涉及的全景图像生成系统的结构图。头戴式显示器100通过无线通信或者用于连接USB等的外围设备的接口而连接到游戏机200。游戏机200也可以还经由网络而连接到服务器。该情况下，服务器也可以将能够多个用户经由网络而参加的游戏等的在线应用提供给游戏机200。也可以代替游戏机200，头戴式显示器100连接到计算机或便携终端。
图4是本实施方式所涉及的全景图像生成装置700的功能结构图。同图描绘了着眼于功能的方框图，这些功能方框能够通过仅硬件、仅软件、或者它们的组合而以各种形式来实现。
全景图像生成装置700被安装在连接了头戴式显示器100的游戏机200中，但是，也可以将全景图像生成装置700的至少一部分的功能安装在头戴式显示器100的控制部10中。特别是也可以将后述的校正处理部780的功能安装在头戴式显示器100侧。或者，也可以将全景图像生成装置700的至少一部分的功能安装在经由网络而与游戏机200连接的服务器中。
放大(ズーム)指示取得部710经由头戴式显示器100的输入接口20而取得用户所指示的放大的倍率。放大指示取得部710取得的放大倍率被供应给灵敏度调整部720和全景图像处理部750。
位置/旋转信息取得部730基于由头戴式显示器100的GPS单元60或运动传感器探测的位置信息和由姿势传感器64探测的姿势信息，取得与穿戴了头戴式显示器100的用户的头部的位置和旋转有关的信息。用户的头部的位置也可以通过游戏机200的摄像机对头戴式显示器100的运动进行检测从而取得。
位置/旋转信息取得部730基于从灵敏度调整部720指示的灵敏度，取得用户的头部的位置和旋转。例如，若用户转头，则通过姿势传感器64而检测用户的头部的角度的变化，但是，灵敏度调整部720对位置/旋转信息取得部730进行指示，以使直到角度的变化超过规定的值为止忽略所检测到的角度的变化。
此外，灵敏度调整部720基于从放大指示取得部710取得的放大倍率，对头部的角度检测的灵敏度进行调整。放大倍率变得越大，则越降低头部的角度检测的灵敏度。由于进行放大则视场角变小，因此，通过降低头部的角度检测灵敏度，从而能够抑制由头部的摇动引起的显示图像的振动。
作为运动传感器，也可以使用3轴地磁传感器、3轴加速度传感器以及3轴陀螺仪(角速度)传感器的至少一个以上的组合，对用户的头部的前后、左右、上下的运动进行检测。此外，也可以将用户的头部的位置信息进行组合，提高头部的运动检测的精度。
坐标变换部740使用由位置/旋转信息取得部730取得的头戴式显示器100的位置以及旋转，进行用于生成应显示在附带追踪功能的头戴式显示器100上的图像的坐标变换。
全景图像处理部750从全景图像存储部760中读出全景图像数据，根据由坐标变换部740进行的坐标变换，将与头戴式显示器100的位置以及旋转相应的全景图像，以从放大指示取得部710指定的放大倍率来进行生成，赋予给校正处理部780。在此，全景图像数据可以是事先制成的动态图像或者静止图像内容，也可以是渲染后的计算机图形。
校正处理部780从位置/旋转信息取得部730中取得头戴式显示器100的最新的被更新的位置以及旋转，使用最新的被更新的位置以及旋转来对由全景图像处理部750生成的图像进行校对。关于该校正处理的细节在后面叙述。
校正处理部780将校正后的图像赋予给图像提供部770。图像提供部770将由全景图像处理部750生成的全景图像数据，供应给头戴式显示器100。
图5是用于说明头戴式显示器100所显示的全景图像500的图。相对于全景图像500，在用户正朝向左前方的情况下，在头戴式显示器100a的方向上位于视场角150a的范围的图像510a被显示，在用户转头而正朝向右前方的情况下，在头戴式显示器100b的方向上位于视场角150b的范围的图像510b被显示。
如此根据头部的运动，观看头戴式显示器100所显示的全景图像的视点和视线方向也发生变化，因此，能够提高对于全景图像的沉浸感。
图6是用于说明对头戴式显示器100所显示的全景图像需要校正处理的理由的图。在用户转头而朝向了右前方的情况下，生成在头戴式显示器100b的方向上位于视场角150b的范围的图像510b，在头戴式显示器100上进行显示，但是，在图像510b的显示的时点，头戴式显示器100b的位置和旋转已经如标号150c所示那样在进行变化。因此，需要将本来在视场角150c的范围能看到的图像显示在头戴式显示器100c上，但是，实际上所生成且显示的图像成为在不久前的时点的头戴式显示器100b的方向上在视场角150b的范围能看到的图像。由于该时间差引起的偏差，与用户正观看的方向稍微偏差的图像在头戴式显示器100上被显示，用户有时会感觉到某种“眩晕”。
在本实施方式中，为了消除该偏差，执行对所生成的图像进行校正的处理。首先，为了比较，参照图7，说明不进行校正处理的以往的图像生成处理，其后，参照图8而说明本实施方式的校正处理。
图7是用于说明不进行校正处理的以往的图像生成处理的时序图。
全景图像生成装置700进行3维物体或纹理等的资源(アセット)的准备，取得在时刻t1的头戴式显示器100的位置p1和旋转q1。与资源准备并行地，执行对在时刻t1的位置p1和旋转q1上的图像进行描绘的处理。例如，在以60帧/秒进行渲染的情况下，为了生成1帧的图像而花费约16毫秒。
由全景图像生成装置700生成的图像被供应给头戴式显示器100。头戴式显示器100和全景图像生成装置700通过有线或者无线而被连接，从全景图像生成装置700向头戴式显示器100的图像的供应需要一定的传输时间。在全景图像生成装置700和头戴式显示器100经由网络而连接的情况下，产生网络延迟。
头戴式显示器100取得由全景图像生成装置700生成的图像，进行用于在面板上进行显示的扫描等的显示处理。为了该显示处理而产生延迟，图像在时刻t’在面板上被显示。
如此，从在时刻t1将头戴式显示器100的位置p1、旋转q1提供给全景图像生成装置700起，直到在时刻t’在头戴式显示器100的面板上图像被显示为止，渲染、图像传输、显示处理需要一定的时间，如图7所示那样，产生滞后。在为了图像生成而赋予了头戴式显示器100的位置和旋转的时刻t1、和在头戴式显示器100上图像被显示的时刻t’之间，穿戴了头戴式显示器100的用户也正在移动、或者改变姿势。其结果，成为用户看到时间差分Δt＝t’-t1以前的头戴式显示器100的位置以及旋转上的图像，由于所显示的图像作为前提的位置/旋转、和当前的位置/旋转的偏差，所以用户感到“眩晕”。
图8是用于说明伴随本实施方式的校正处理的图像生成处理的时序图。
全景图像生成装置700从头戴式显示器100取得时刻t1的位置p1和旋转q1，进行资源准备和描绘处理，将所生成的图像提供给头戴式显示器100为止是与图7的以往的图像生成处理相同的。在本实施方式中，在全景图像生成装置700对头戴式显示器100提供图像的时点t2，对所生成的图像进行校正处理。该校正处理可以在头戴式显示器100、全景图像生成装置700的任一个中进行。在头戴式显示器100具有充分的处理性能的情况下能够在头戴式显示器100中进行校正处理，但是，在并非如此的情况下，全景图像生成装置700进行校正处理，将校正后的图像提供给头戴式显示器100。
校正处理取得图像被生成的时刻t2的头戴式显示器100的位置p2和旋转q2的信息，基于渲染开始时的时刻t1和最新的时刻t2之间的头戴式显示器100的位置和旋转的偏差，对图像进行校正。头戴式显示器100对校正后的图像进行显示处理，在面板上进行显示。由此，看起来的滞后如图11所示那样被减少为时刻t2和时刻t’之差。
以下，对本实施方式的校正处理进行详细叙述，但首先对成为前提的技术事项进行说明。
(1)坐标系
图9A以及图9B是用于说明在头戴式显示器100中使用的坐标系的图。在头戴式显示器100中，使用追踪坐标系802、HMD坐标系804、左右的视野坐标系806。
图9A是用于说明追踪坐标系802和HMD坐标系804的关系的图。
追踪坐标系802是成为头戴式显示器100的位置p和旋转q的基准的坐标系。只要是正交坐标系即可，可以将各轴选为任意方向，原点也可以是任意的。对在头戴式显示器100中所采用的传感器，选择适合的传感器。例如，也可以在游戏等的应用的开始时，由穿戴了头戴式显示器100的用户在成为基准的位置上获取成为基准的姿势，且从此时的头戴式显示器100的传感器信息中取得头戴式显示器100的基准位置p0、基准旋转q0，从而决定追踪坐标系802。
此外，用户也可以将游戏机200的运动控制器350拿在手中。用户在穿戴了头戴式显示器100的状态下对运动控制器350进行操作。根据游戏应用，有时会一边拿着运动控制器350一边挪动手或者使身体移动。在运动控制器350中包含3轴的陀螺仪传感器、3轴的加速度传感器、以及磁传感器。
在运动控制器350中附带了标志物(マーカ)300，通过与游戏机200连接了的摄像机而对标志物300的位置进行检测，结合从运动控制器350的传感器得到的位置信息，能够准确地确定标志物300的3维坐标。通过对该标志物300的3维坐标设定头戴式显示器100的追踪坐标系802，从而能够同步地处理通过运动控制器350的运动而控制的虚拟对象物的位置/姿势、和通过头戴式显示器100的运动而控制的观看全景图像500的视点/视线方向。
HMD坐标系804是用于表示配置于用户穿戴的头戴式显示器100上的显示器面板等的器件的位置的移动坐标系。对原点以及轴没有限制，为了方便，原点以成为用户的头的中心的方式进行定义，关于轴，在将头戴式显示器100戴在头上的状态下，将上下方向的上方向设为Y轴，将从正面向右方向设为X轴，将从正面朝向跟前的方向设为Z轴。
用户在穿戴了头戴式显示器100的状态下在现实空间中进行移动、改变身体的方向、或者使头部进行旋转。在应用的开始时位于初始位置p0以及初始旋转q0的头戴式显示器100随着时间进行移动，如图9A所示那样，当前，头戴式显示器100位于位置p、旋转q。
图9B是用于说明HMD坐标系804和视野坐标系806的关系的图。
如前述那样，HMD坐标系804是，以穿戴了头戴式显示器100的用户的头顶设为原点，将上方向设为Y轴，将从正面向右方向设为X轴，将从正面朝向跟前的方向设为Z轴的坐标系。另一方面，视野坐标系806是用于决定左眼用以及右眼用的显示器的方向的坐标系。将从左右任意一只眼起右方向设为X轴，将上方向设为Y轴，将从正面朝向跟前的方向设为Z轴。
(2)坐标变换
为了将图像在头戴式显示器100的面板上进行显示，介入3个坐标变换。每一个都是仿射变换。
首先，将图像生成坐标系(在CG中为摄像机坐标系)变换为追踪坐标系802。由此，从摄像机观看现实或者虚拟的对象物所存在的现实世界或者虚拟世界所得的观察坐标系被映射到表示头戴式显示器100的基准位置和基准旋转的追踪坐标系。
接着，从传感器信息取得头戴式显示器100的当前的位置p和旋转q的值，将追踪坐标系802变换为HMD坐标系804。由此，头戴式显示器100的基准位置和基准旋转被变换为当前的位置和旋转。
最后，将HMD坐标系804变换为视野坐标系806。该变换是根据穿戴着头戴式显示器100的人物和状态而决定的变换，在穿戴着头戴式显示器100的期间是固定的。由此，被变换为与头戴式显示器100的用户的眼的位置相符合的坐标系。
在图像生成时，使用从追踪坐标系802经由HMD坐标系804而向视野坐标系806进行变换的坐标变换，但是，在校正处理时，使用从视野坐标系806经由HMD坐标系804而向追踪坐标系802进行逆变换的坐标变换。
(3)头戴式显示器100的视野角数据
图10是用于说明穿戴了头戴式显示器100的用户的视野的图。将从眼的中心向上下左右扩展的视野(field of view)通过4个参数FoVu、FoVb、FoVl、FoVr而决定，使用这些参数而通过反正切来定义视野角的信息。由于在右眼用的视野和左眼用的视野中分别同样地进行定义，因此，合计使用8个参数。
接着，说明通过本实施方式的全景图像生成装置700而生成在头戴式显示器100上显示的图像的过程的概略。关于详细的计算式在后面叙述。
图11是用于说明基于全景图像生成装置700的全景图像生成过程的流程图。
作为初始化处理，生成从图像生成坐标系向追踪坐标系的坐标变换矩阵(S10)。这是决定成为头戴式显示器100的运动的基准的位置和旋转的作业。在用户指示的位置上从头戴式显示器100的传感器信息中取得初始位置p0和初始旋转q0，使用该值而求出从图像生成坐标系向追踪坐标系的坐标变换矩阵。例如，在竞速游戏中为了将坐在游戏内的车上的姿势设为基准，在竞速开始时使用户采取坐在椅子上朝向正面的状态，将该位置和旋转设为基准。
从头戴式显示器100的传感器信息中，取得在时刻t1的头戴式显示器100的位置p1和旋转q1(S12)。头戴式显示器100将在时刻t1的位置p1和旋转q1赋予给全景图像生成装置700(S14)。
全景图像生成装置700对在时刻t1位于位置p1和旋转q1的头戴式显示器100的显示器上应显示的图像进行渲染(S16)。
具体而言，位置/旋转信息取得部730从头戴式显示器100中取得时刻t1的位置p1和旋转q1。坐标变换部740从图像生成坐标系(摄像机坐标系)经由追踪坐标系802、HMD坐标系804而向视野坐标系806进行变换，从而全景图像处理部750按左右眼的每一只而描绘全景图像。在此，在从追踪坐标系802向HMD坐标系804的变换时，使用仿射变换，该仿射变换是根据由位置/旋转信息取得部730取得的在时刻t1的头戴式显示器100的位置p1以及旋转q1而生成的仿射变换。视野角与从头戴式显示器100中取得的视野角信息匹配。
全景图像生成装置700在时刻t1的渲染完成后，从头戴式显示器100的传感器信息中，取得时刻t2的头戴式显示器100的位置p2和旋转q2(S18)。头戴式显示器100将时刻t2的位置p2和旋转q2赋予给全景图像生成装置700(S20)。
在全景图像生成装置700对图像进行渲染的期间，穿戴了头戴式显示器100的用户也进行移动、或者改变方向，因此，头戴式显示器100的在时刻t2的位置p2和旋转q2与在时刻t1的位置p1和旋转q1相比稍微偏差。
全景图像生成装置700为了吸收时刻t1和时刻t2之间的头戴式显示器100的位置和旋转的偏差，执行对渲染后的图像进行校正的处理(S22)。
具体而言，位置/旋转信息取得部730从头戴式显示器100中取得在最新的时刻t2的被更新的位置p2和旋转q2，赋予给校正处理部780。校正处理部780进一步从位置/旋转信息取得部730中取得为了坐标变换部740制成仿射变换所利用的头戴式显示器100的时刻t1的位置p1以及旋转q1。此外，校正处理部780取得用于表示头戴式显示器100的显示器的描绘视场角的视野角数据。校正处理部780从全景图像处理部750取得所生成的图像，将位于时刻t1的位置p1、旋转q1上的视野坐标系上的长方形，在时刻t2的位置p2、旋转q2上的视野坐标系中进行渲染。
时刻t1的位置p1、旋转q1上的视野坐标系的长方形的4个顶点的坐标为
(-FoVl×d，FoVu×d，-d)
(-FoVl×d，-FoVb×d，-d)
(FoVr×d，FoVu×d，-d)
(FoVr×d，-FoVb×d，-d)
(参照图11)。在此作为值d，使用头戴式显示器100的光学系统的焦点距离。
校正处理部780将该长方形的4个顶点映射到时刻t2的位置p2、旋转q2上的视野坐标系。这由如以下那样进行坐标变换而完成。
(A)首先，使用时刻t1的位置p1、旋转q1的值，将视野坐标系逆变换为HMD坐标系，进而将该HMD坐标系逆变换为追踪坐标系。由此，从时刻t1的位置p1、旋转q1看到的情况的视野坐标系被暂时还原为基准位置p0以及基准旋转q0的追踪坐标系。
(B)接着，使用时刻t2的位置p2、旋转q2的值而将追踪坐标系变换为HMD坐标系，进而将该HMD坐标系变换为视野坐标系。由此，基准位置p0以及基准旋转q0的追踪坐标系被变换为从时刻t2的位置p2、旋转q2看到的情况的视野坐标系。
若看(A)以及(B)的坐标变换整体，则成为从时刻t1的位置p1、旋转q1看到的情况的视野坐标系被变换为从时刻t2的位置p2、旋转q2看到的情况的视野坐标系。
对这样坐标变换后的视野的矩形，将以时刻t1的位置p1、旋转q1为前提而生成的图像作为纹理进行粘贴，则其成为从时刻t2的位置p2、旋转q2上的视野坐标系中看到的校正图像。在用户的当前的视野中能够看见对时刻t1和时刻t2之间头戴式显示器100的位置以及旋转所偏差的量进行了校正的图像，时刻t1和时刻t2的时间差分的滞后被吸收，且用户的“眩晕”被减轻。
图像提供部770将通过校正处理部780校正后的图像数据，赋予给头戴式显示器100(S24)。在头戴式显示器100中显示校正后的全景图像(S26)。其后，返回步骤S12，反复进行其以后的处理。
以下，关于由校正处理部780进行的校正处理，使用算式而详细地进行说明。
作为前提，设为传感器能够提供来自头戴式显示器100的绝对的基准的位置和旋转的信息。作为传感器，使用头戴式显示器100的GPS单元60以及姿势传感器64。此外，也可以使用运动控制器350。根据穿戴了头戴式显示器100的用户的运动，位置p和旋转q发生变化。头戴式显示器100是刚体，且不是点，但位置p定义为头戴式显示器100上固定的一点的位置。以下，将该固定的一点称为头戴式显示器100的中心点。
使用头戴式显示器100的位置p和旋转q，根据平行移动矩阵T和旋转矩阵R，通过下式而求出HMD位置旋转矩阵H。
(数1)
H(p，q)＝T(-p)×R(q-1)
p＝(tx，ty，tz)
q＝(q1，q2，q3，q4)
|q|＝1
位置p是3维向量，旋转q是4元数(Quaternion)。-p是将p的各要素取负后的向量，q-1是q的共轭(q的实部保持原状态，且将q的虚部取负后的向量)。
另外，基于平行移动矩阵T(p)的平行移动通过下式来定义。
[数2]
基于旋转矩阵R(q)的旋转通过下式来定义。
[数3]
使用了四元数的计算机图形相关的3维旋转等的计算方法在「3D－CGプログラマーのためのクォータニオン入門」(工学社、2004年1月)中被记载。
在一般的计算机图形的坐标变换中，使用世界变换矩阵W、摄像机(观察)变换矩阵V、透视变换矩阵P，将世界坐标系的点(x，y，z，1)通过下式变换为投影坐标系的点(x’，y’，z’，1)。
(数4)
(x’，y’，z’，1)＝(x，y，z，1)×W×V×P
要在头戴式显示器100的显示器上进行显示，就必须对头戴式显示器100的位置和旋转进行追踪，在当前的头戴式显示器100的位置和旋转上进行显示。因此，在附带追踪功能的头戴式显示器100用的图像生成中，进一步使用追踪基准变换矩阵B和HMD位置旋转矩阵H和HMD显示位置矩阵D，进行下式的坐标变换。另外，留意在此示出了没有进行上述的校正处理的计算。
(数5)
(x’，y’，z’，1)＝(x，y，z，1)×W×V×B×H×D×P
在此，追踪基准变换矩阵B是将摄像机(观察)坐标系变换为头戴式显示器100的基准位置和基准旋转上的追踪坐标系802的矩阵。追踪基准变换矩阵B能够作为HMD位置旋转矩阵H的逆矩阵而求出，其中，该HMD位置旋转矩阵H根据将头戴式显示器100放置于基准位置p0、基准旋转q0时的传感器信息而制成。
HMD位置旋转矩阵H是从追踪坐标系802变换为HMD坐标系804的矩阵。如前述那样使用在渲染开始时从传感器中取得的位置p、旋转q，根据平行移动矩阵T和旋转矩阵R而生成HMD位置旋转矩阵H(p，q)。
HMD显示位置矩阵D是将HMD坐标系804变换为视野坐标系806的矩阵。通过该矩阵，以头戴式显示器100的头顶为原点的HMD坐标系804中的点，被变换为以穿戴了头戴式显示器100的用户的视点为原点的视野坐标系806中的点。该矩阵根据从头戴式显示器100的中心点到穿戴了头戴式显示器100的用户的眼的位置的距离、和从用户的眼向显示器中心的方向相对于头戴式显示器100的中心轴倾斜的旋转角度而求出。由于基于头戴式显示器100的穿戴者的眼的位置的差异足够小，因此，对于头戴式显示器100的设备，通常HMD显示位置矩阵D设为固定。
另外，由于与眼的位置有关，因此，HMD显示位置矩阵存在左眼用和右眼用，用于生成左眼用、右眼用各自的图像。根据系统，也有在双眼使用相同的图像的系统，在该情况下使用双眼用的1个HMD显示位置矩阵。
透视变换矩阵P是从观察坐标变换为透视坐标的矩阵，在一般的计算机图形中视场角自由地决定，但是，在头戴式显示器100中，使视场角与头戴式显示器100穿戴者的视场角匹配。使用用于表示用户的视野角的4个参数FoVu、FoVb、FoVl、FoVr，透视变换矩阵P被定义如下。
[数6]
在此，α、β由进深的剪裁(クリッピング)而决定，±1由坐标系为左手系还是右手系而决定。由于也存在左眼和右眼视场角不同(一般来说成为左右对称)的情况，因此，透视变换矩阵P存在左右不同的情况。
针对基于校正处理部780的校正处理进行说明。被赋予给校正处理部780的输入是对在时刻t1的头戴式显示器100的位置p1、旋转q1所生成的图像、在生成该图像时在HMD位置旋转矩阵H中所使用的位置p1和旋转q1、在最新的时刻t2的头戴式显示器100的被更新的位置p2和旋转q2。
校正处理部780对将对在时刻t1的位置p1、旋转q1所生成的图像映射到投影面的矩形图像，实施如下的变换处理，从而生成校正图像。若将矩形图像的顶点设为(x，y，z，1)、将校正后的投影坐标系中的点设为(x’，y’，z’，1)，将校正矩阵设为C，则变换处理能够表示如下。
(数7)
(x’，y’，z’，1)＝(x，y，z，1)×C
在此，校正矩阵C是
C＝D-1×H(p1，q1)-1×H(p2，q2)×D×P。
对在时刻t1的位置p1、旋转q1所生成的矩形图像的4个顶点为(-FoVl×d，FoVu×d，-d，1)、(-FoVl×d，-FoVb×d，-d，1)、(FoVr×d，FoVu×d，-d，1)、(FoVr×d，-FoVb×d，-d，1)。作为d的值，例如使用头戴式显示器100的光学系统的焦点距离。
校正矩阵C的前半的D-1×H(p1，q1)-1意味着：通过HMD显示位置矩阵的逆矩阵D-1而将视野坐标系还原为HMD坐标系，通过使用了在时刻t1的位置p1、旋转q1的HMD位置旋转矩阵的逆矩阵H(p1，q1)-1而将HMD坐标系还原为追踪坐标系。在此基础上，后半的H(p2，q2)×D×P意味着：通过使用了在时刻t2的被更新的位置p2、旋转q2的HMD位置旋转矩阵H(p2，q2)而将追踪坐标系变换为HMD坐标系，进而通过HMD显示位置矩阵D而将HMD坐标系变换为视野坐标系，最后通过透视变换矩阵P而变换为投影坐标系。
若假设在时刻t1和时刻t2头戴式显示器100的位置以及旋转不变化、即p1＝p2且q1＝q2，则H(p1，q1)-1×H(p2，q2)成为单位矩阵，因此，校正矩阵C变得与透视变换矩阵P相等，不进行校正处理，而是成为如以下那样仅进行透视变换。
(x’，y’，z’，1)＝(x，y，z，1)×P
可是，在时刻t1和时刻t2头戴式显示器100的位置以及旋转的至少一个发生变化、即p1≠p2以及/或者q1≠q2的情况下，校正矩阵C具有通过H(p1，q1)-1×H(p2，q2)的计算，对头戴式显示器100的位置以及/或者旋转的偏差进行校正的作用。
这样通过校正矩阵C变换后的矩形图像是将对于时刻t1的位置p1、旋转q1的投影图像校正为对于时刻t2的位置p2、旋转q2的投影图像后的图像。由此，即使在时刻t1和时刻t2之间头戴式显示器100的位置和旋转偏差，通过图像处理对图像进行校正，也能够将偏差吸收。
以下，对几个变形例进行说明。
(变形例1)
参照图12以及图13，说明第1实施方式的校正处理的变形例。图12是为了比较而说明第1实施方式的图像校正处理的图。如同图所示，全景图像生成装置700接受在时刻t1头戴式显示器100的位置p1和旋转q1，开始渲染。全景图像生成装置700对使用在时刻t2头戴式显示器100的最新的位置p2和旋转q2而生成的图像进行校正处理。若头戴式显示器100的面板的帧率设为30帧/秒，则全景图像生成装置700按30帧/秒来生成帧，进行校正处理，将校正后的图像提供给头戴式显示器100。另外，校正处理也可以在头戴式显示器100侧进行。
图13是用于说明第1实施方式的变形例的图像校正处理的图。在相对于基于全景图像生成装置700的渲染的帧率为30帧/秒，头戴式显示器100的面板的帧率为高帧率、例如60帧/秒的情况下，在变形例中与头戴式显示器100的面板的帧率匹配而提高校正处理的频度。
如同图所示，使用时刻t2的头戴式显示器100的位置p2和旋转q2，对由全景图像生成装置700所生成的图像进行第一次校正处理，将校正后的图像显示在头戴式显示器100上。其后，使用时刻t3的头戴式显示器100的位置p3和旋转q3，对相同的图像进行第二次校正处理，将校正后的图像显示在头戴式显示器100上。由此，即使全景图像生成装置700的帧率为30帧/秒，校正后的图像也以60帧/秒来显示。如此，通过以规定的频度来进行校正处理，能够对帧率进行提高、或者降低，尤其是在全景图像生成装置700和头戴式显示器100的帧率不同的情况下，能够使系统具有帧率变换的功能。
在图13的说明中，对由全景图像生成装置700生成的相同的图像，进行了使用时刻t2的位置p2和旋转q2的第一次校正处理、和使用时刻t3的位置p3和旋转q3的第二次校正处理。作为其他的方法，第二次校正处理也可以对通过第一次校正处理而生成的校正后的图像而进行。
(变形例2)
在上述的坐标变换式(x’，y’，z’，1)＝(x，y，z，1)×W×V×B×H×D×P中，有追踪基准变换矩阵B和HMD位置旋转矩阵H的乘法运算，该计算能够简化。将追踪基准变换矩阵B与HMD位置旋转矩阵H乘法运算后的结果的矩阵，称为标准化HMD矩阵N。追踪基准变换矩阵B能够作为根据将头戴式显示器100放置于基准位置p0、基准旋转q0时的传感器信息而制成的HMD位置旋转矩阵H的逆矩阵而求出，HMD位置旋转矩阵H(p，q)使用在渲染开始时从传感器取得的位置p、旋转q，根据平行移动矩阵T和旋转矩阵R而生成，因此，若将逆矩阵通过Inv(·)来记述，则标准化HMD矩阵N被计算如下。
N＝B×H(p，q)
＝Inv(T(-p0)×R(q0-1))×(T(-p)×R(q-1))
＝Inv(R(q0-1))×Inv(T(-p0))×T(-p)×R(q-1)
＝R(q0)×T(p0)×T(-p)×R(q-1)
＝R(q0)×T(p0-p)×R(q-1)
＝R(q0)×R(q-1)×R(q)×T(p0-p)×R(q-1)
＝R(q-1×q0)×T(Rot(p0-p，q-1))
在此，Rot(p，q)意味着将向量p通过四元数q进行旋转。具体而言，若将旋转后的向量p设为p’，则计算为p’＝q×p×q-1。Rot(p0-p，q-1)是将向量p0-p通过四元数q-1进行旋转。根据上述的最后的变形式，标准化HMD矩阵N意味着通过四元数q-1×q0进行旋转之后，平行移动Rot(p0-p，q-1)的量。
若对计算量进行评价，仅从乘法运算次数来看，平行移动矩阵T为0次、旋转矩阵R为16次、2个四元数的积为16次、2个旋转矩阵R的积为36次，且平行移动矩阵T和旋转矩阵R的积为0次。若使用上述的第4变形式，N＝R(q0)×T(p0)×T(-p)×R(q-1)，旋转矩阵R的计算需要16次乘法运算、R×T需要0次、此外的2次矩阵的积需要36次乘法运算，合计需要16×2+36×2＝104次的乘法运算。对此，若使用上述的最后的变形式，N＝R(q-1×q0)×T(Rot(p0-p，q-1))，2次四元数的积需要16次乘法运算、旋转矩阵R的计算需要16次乘法运算，在Rot的计算中需要2次四元数的计算，因此，合计需要16+16+16×2＝64次的乘法运算。比较而言，若通过上述的最后的变形式来计算标准化矩阵N，则乘法运算从104次减少为64次，计算被简化。
(变形例3)
头戴式显示器100的位置p和旋转q能够使用卡尔曼滤波(Kalman filter)等而根据过去的传感器信息进行预测。上述的图像校正处理能够用于校正预测值和现实的值的偏差。
在头戴式显示器100或者全景图像生成装置700中设置传感器信息的预测部，预测部基于头戴式显示器100的过去的运动来预测在图像被显示时的定时的位置pf和旋转qf。全景图像生成装置700对预测位置pf和预测旋转qf生成图像。校正处理部780从头戴式显示器100的当前时点的传感器信息中接受当前位置pt和当前旋转qt，使用当前位置pt和当前旋转qt而进行图像的校正处理。由此，即使在预测位置pf和预测旋转qf从当前位置pt和当前旋转qt偏差了的情况下，通过图像校正处理，也能够对该偏差进行吸收。
(变形例4)
在校正处理中，将进行一次渲染后的结果的图像用作再次描绘源，进行透视变换以使与最新的位置和旋转相符合，因此，在运动量大的情况下，存在需要未被描绘的区域的信息的情况。说明几个应对产生欠缺部分的问题的方法。
作为欠缺部分的补偿方法，有以下的方法。
(1)欠缺部分通过最外周的像素的颜色来填充。
(2)欠缺部分通过单色(例如黑色)来填充。
(3)预先描绘比最外周更大的区域，以使不产生欠缺部分。
为采取(3)的方法，作为用于赋予在附带追踪功能的头戴式显示器100用的图像生成时的坐标变换和校正处理时的变换处理中使用的矩形区域的4个顶点的参数，代替头戴式显示器固有的视场角参数FoVu、FoVb、FoVl、FoVr，而使用表示描绘视场角的参数FoVu’、FoVb’、FoVl’、FoVr’。在此，FoVx’>FoVx’(在此x＝u，b，l，r)。其中，在校正处理时的变换处理中使用的透视变换矩阵P中，使用头戴式显示器固有的角参数FoVu、FoVb、FoVl、FoVr。
也存在对2个时刻t1和时刻t2之间的运动量进行限制以使不产生欠缺部分的方法。
(1)将运动量限制为限制值A，即使在运动量超过限制值A而成为了B(>A)的情况下，也设为运动量为A而进行校正处理。
(2)在运动量超过了限制值A的情况下，不进行校正处理，而是作为错误来处理。
(3)将上述(1)、(2)进行组合，在运动量超过第1限制值A但是为第2限制值B(>A)以下的情况下，设为运动量为A而进行校正处理，在运动量超过了第2限制值B的情况下，不进行校正处理，而是作为错误来处理。
通过这样对运动量进行限制，从而认为运动量收敛在限制值A以内，能够预先描绘与运动量对应的区域以使不产生欠缺部分。
运动量能够如下进行计算。旋转的变化量qd能够通过qd＝q-1×q0来计算，位置的变化量pd能够通过pd＝p0-p来计算。旋转的变化量qd的大小由实部决定，实部越小则旋转量越大。计算上述的标准化HMD矩阵N的式子为N＝R(q-1×q0)×T(Rot(p0-p，q-1))＝R(qd)×T(Rot(pd，q-1))，因此，旋转的变化量qd和位置的变化量pd的值在计算标准化HMD矩阵N的过程中已被进行了计算。如此，运动量在计算标准化HMD矩阵N的过程中被得到，因此，存在不需要根据图像对运动进行分析而检测运动向量的处理的优点。
通过采取限制运动量的方法，从而能够将描绘视场角设为一定，能够构成只要运动量不超过限制值，在校正后的图像中就不产生欠缺的系统。在如变形例3那样使用传感器的预测值而进行描绘的情况下，能够根据预测值和现实的值的偏差(误差)的大小，决定描绘视场角。在该情况下，在预测为误差大的情况下描绘大范围的区域，在预测为误差小的情况下描绘小范围的区域。
(变形例5)
在第1实施方式中，考虑平行移动和旋转的双方，因此，在校正处理中需要3维的运算，但是，以仅进行平行移动而不伴随旋转的情况为前提，能够将校正处理进行简化。由于只要支持平行移动即可，因此，只要准备能够进行由固定行数的行缓冲所构成的平行移动的图像处理装置即可，能够构成便宜的系统。
具体而言，校正处理只要通过校正矩阵C对图像的中心即坐标(0，0，-d)进行变换即可。只要使图像在x、y方向上平行移动通过该变换而求出的x的变化量、y的变化量即可。
在穿戴了头戴式显示器100的用户向上下或者左右摇头的情况下，能够设为上下或者左右的平行移动，应用该变形例的校正处理。
(第2实施方式)
在第1实施方式中，说明了将由全景图像生成装置700生成的全景图像在头戴式显示器100上进行显示时的校正处理，在第2实施方式中，说明用户对现实或者虚拟的空间进行摄像机操作，在计算机或便携设备的画面上显示图像时的校正处理。以下，针对与第1实施方式相同的结构和动作，省略说明，针对基于第2实施方式的校正处理部780的校正处理进行说明。
在第1实施方式中，以穿戴了头戴式显示器100的用户在空间中进行移动的情况为前提，因此，需要从追踪坐标系802经由HMD坐标系804而向视野坐标系806进行变换的坐标变换。因为在第1实施方式中，必须将摄像机的视点和视线方向，坐标变换为穿戴了头戴式显示器100的用户的当前的位置和旋转。在第2实施方式中，用户操作的摄像机的视点和视线方向按原状态成为计算机或便携设备的观察者的视点和视线方向，因此，不需要在头戴式显示器100的情况下所需的坐标变换。
使用摄像机的位置(视点)p、摄像机的方向(视线方向)q，根据平行移动矩阵T和旋转矩阵R，通过下式而求出第2实施方式的摄像机变换矩阵V。
(数8)
V(p，q)＝T(-p)×R(q-1)
在此，摄像机的位置p为3维向量，摄像机的方向q为四元数。
在第2实施方式中，使用一般的计算机图形中的坐标变换。使用世界变换矩阵W、摄像机(观察)变换矩阵V、透视变换矩阵P，世界坐标系的点(x，y，z，1)通过下式而变换为投影坐标系的点(x’，y’，z’，1)。另外，留意在此示出了没有进行校正处理的计算。
(数9)
(x’，y’，z’，1)＝(x，y，z，1)×W×V×P
在此，与第1实施方式同样地，使用表示用户的视野角的4个参数FoVu、FoVb、FoVl、FoVr来定义透视变换矩阵P，但是，由于依赖于视场角，因此，在对摄像机进行了放大的情况下，视场角变化，透视变换矩阵P也被变更。将时刻t1的视野角参数设为FoVu1、FoVb1、FoVl1、FoVr1，将时刻t2的视野角参数设为FoVu2、FoVb2、FoVl2、FoVr2。将时刻t1的透视变换矩阵P记述为P(t1)，将时刻t2的透视变换矩阵P记述为P(t2)。
针对基于第2实施方式的校正处理部780的校正处理进行说明。被赋予给校正处理部780的输入是，对时刻t1的摄像机的位置P1、摄像机的方向Q1所生成的图像、在生成该图像时在摄像机变换矩阵V中所使用的摄像机的位置P1和摄像机的方向Q1、最新的时刻t2的摄像机的位置P2、摄像机的方向Q2。
校正处理部780通过对将对时刻t1的位置p1、方向q1所生成的图像映射到投影面的矩形图像，实施如下的变换处理，从而生成校正图像。若将矩形图像的顶点设为(x，y，z，1)、将校正后的投影坐标系的点设为(x’，y’，z’，1)、将校正矩阵设为C，则变换处理能够表示如下。
(数10)
(x’，y’，z’，1)＝(x，y，z，1)×C
在此，校正矩阵C为
C＝V(p1，q1)-1×V(p2，q2)×P(t2)。
对在时刻t1的位置p1、方向q1所生成的矩形图像的4个顶点为(-FoVl1×d，FoVu1×d，-d，1)、(-FoVl1×d，-FoVb1×d，-d，1)、(FoVr1×d，FoVu1×d，-d，1)、(FoVr1×d，-FoVb1×d，-d，1)。作为d的值，使用适当的距离的固定值(例如10米等)或进深的统计数据(例如全区域的进深值的中值、区域的中心附近的进深的平均值等)。
校正矩阵C的前半的V(p1，q1)-1意味着：通过使用了时刻t1的位置p1、旋转q1的摄像机变换矩阵的逆矩阵V(p1，q1)-1而将摄像机坐标系还原为世界坐标系。在此基础上，后半的V(p2，q2)×P(t2)意味着：通过使用了时刻t2的位置p2、旋转q2的摄像机变换矩阵V(p2，q2)而将世界坐标系变换为摄像机坐标系，进而通过使用了时刻t2的视场角的透视变换矩阵P(t2)而变换为投影坐标系。
若假设在时刻t1和时刻t2摄像机的位置以及方向不变化、即p1＝p2且q1＝q2，则V(p1，q1)-1×V(p2，q2)成为单位矩阵，因此，校正矩阵C变得与透视变换矩阵P(t2)相等，不进行校正处理，而是成为如以下那样仅进行对时刻t2的视场角进行反映的透视变换。
(x’，y’，z’，1)＝(x，y，z，1)×P(t2)
可是，在时刻t1和时刻t2摄像机的位置以及旋转的至少一个发生变化、即p1≠p2以及/或者q1≠q2的情况下，校正矩阵C具有通过V(p1，q1)-1×V(p2，q2)的计算，对摄像机的位置以及/或者方向的偏差进行校正的作用。此外，最后通过透视变换矩阵P(t2)进行变换，从而时刻t1和时刻t2之间的视场角的变化也被反映。
这样通过校正矩阵C变换后的矩形图像是将对于时刻t1的位置p1、方向q1、视场角的投影图像校正为对于时刻t2的被更新的位置p2、方向q2、视场角的投影图像后的图像。由此，即使在时刻t1和时刻t2之间摄像机的位置和方向变化、或者通过放大而视场角变化，通过图像处理对图像进行校正，也能够将偏差吸收。
第2实施方式在多个终端经由网络而利用由应用服务器提供的服务的云服务的结构中是有益的。该情况下，图像生成装置是服务器，终端将摄像机操作的信息发送给服务器，经由网络接收服务器所生成的图像，但是，根据服务器的图像生成所花费的时间和网络传输所花费的时间，产生一定的滞后，因此，不能实时地反映用户的摄像机操作。根据第2实施方式，能够将基于图像生成时的摄像机的位置以及方向而生成的图像，进行校正以使与图像显示时的最新的摄像机的位置以及方向相符合，能够使其模拟地具有实时性。
尤其是在游戏应用中，用户使用游戏控制器的按钮或便携终端的触摸屏等而改变虚拟空间内的视点位置和视线方向，与游戏中的其他的用户的角色进行互动的情况下，实时性成为重要的要素。在这样的情况下，通过校正处理而使模拟地具有实时性是有益的。
如以上已说明那样，根据第1实施方式以及第2实施方式，通过使用图像显示时点的视点位置以及视线方向，对以图像生成时点的视点位置以及视线方向为前提而生成的图像进行校正，从而吸收从图像生成时点到图像显示时点为止的时间差分，能够减轻看起来的滞后。
以上，基于实施方式而说明了本发明。实施方式是例示，本领域技术人员应理解在这些各结构要素或各处理过程的组合中各种的变形例是可能的，并且这样的变形例也属于本发明的范围。对这样的变形例进行说明。
标号说明
10控制部、20输入接口、30输出接口、32背光灯、40通信控制部、42网络适配器、44天线、50存储部、60GPS单元、62无线单元、64姿势传感器、70外部输入输出端子接口、72外部存储器、80计时部、100头戴式显示器、110主体部、120前头部接触部、130侧头部接触部、200游戏机、300标志物、350运动控制器、500全景图像、700全景图像生成装置、710放大指示取得部、720灵敏度调整部、730位置/旋转信息取得部、740坐标变换部、750全景图像处理部、760全景图像存储部、770图像提供部、780校正处理部。
产业上的利用可能性
能够利用于生成图像并进行校正的技术。

Claims (12)

1.一种图像生成装置，包括：
耦合到存储器的处理器，所述存储器存储指令，所述指令在由所述处理器执行时将所述处理器配置为实现：
取得步骤，取得与穿戴了头戴式显示单元的用户的头部的位置和旋转的至少一个有关的信息；
图像生成步骤，使用在某个时刻通过所述取得步骤取得的与位置和旋转的至少一个有关的信息来生成要在所述头戴式显示单元上显示的图像；以及
校正处理步骤，在不同时刻从所述取得步骤中接收与位置和旋转的至少一个有关的更新信息，并使用所述与位置和旋转的至少一个有关的更新信息对通过所述图像生成步骤生成的图像进行校正，其中，
所述图像生成步骤使用所述与位置和旋转的至少一个有关的信息，以第一频率来生成要在所述头戴式显示单元上显示的图像；以及
所述校正处理步骤以与所述头戴式显示单元的帧率对应的第二频率从所述取得步骤接收与位置和旋转的至少一个有关的更新信息，并且使用以高于所述第一频率的所述第二频率接收到的多个所述与位置和旋转的至少一个有关的更新信息，对以所述第一频率通过所述图像生成步骤生成的图像执行多次校正。
2.如权利要求1所述的图像生成装置，其中，
所述校正处理步骤以高于所述第一频率的所述第二频率接收与位置和旋转的至少一个有关的n个更新信息，并使用所述与位置和旋转的至少一个有关的n个更新信息，对以所述第一频率通过所述图像生成步骤生成的同一图像执行n次校正，其中n是等于或大于2的整数。
3.如权利要求1所述的图像生成装置，其中，
所述校正处理步骤以高于所述第一频率的所述第二频率接收与位置和旋转的至少一个有关的n个更新信息，并使用与位置和旋转的至少一个有关的第一更新信息对以所述第一频率通过所述图像生成处理生成的图像执行第一校正，然后使用与位置和旋转的至少一个有关的第i更新信息，对通过第(i-1)次校正而被校正后的图像进行第i次校正，其中n是等于或大于2的整数，i＝2，…，n。
4.如权利要求1所述的图像生成装置，其中，
当图像的校正会产生欠缺部分时，所述校正处理步骤用图像的最外周上的像素的颜色填充欠缺部分。
5.如权利要求1所述的图像生成装置，其中，
当图像的校正会产生欠缺部分时，所述校正处理步骤用预定的单色填充欠缺部分。
6.如权利要求1所述的图像生成装置，其中，
所述图像生成步骤预先描绘大于图像的最外周的区域，以使图像的校正不产生欠缺部分。
7.如权利要求1所述的图像生成装置，其中，
所述校正处理步骤执行用于控制不同时刻之间的移动量的图像校正，以使图像的校正不产生欠缺部分。
8.如权利要求7所述的图像生成装置，其中，
所述校正处理步骤将所述移动量限制为预定极限值，并且当所述移动量超过所述预定极限值时，假设所述移动量为所述预定极限值而执行图像的校正。
9.如权利要求7所述的图像生成装置，其中，
当所述移动量超过预定极限值时，所述校正处理步骤不执行图像的校正而执行错误处理。
10.如权利要求7所述的图像生成装置，其中，
所述校正处理步骤设置第一极限值和大于所述第一极限值的第二极限值，并且当所述移动量超过所述第一极限值但等于或小于所述第二极限值时，假设移动量是所述第一极限值而执行图像的校正，并且当所述移动量超过所述第二极限值时不执行图像的校正而执行错误处理。
11.一种图像生成方法，包括：
取得与穿戴了头戴式显示单元的用户的头部的位置和旋转的至少一个有关的信息；
使用在某个时刻通过所述取得取得的与位置和旋转的至少一个有关的信息来生成要在所述头戴式显示单元上显示的图像；以及
在不同时刻接收与位置和旋转的至少一个有关的更新信息，并使用所述与位置和旋转的至少一个有关的更新信息对通过所述生成生成的图像进行校正，其中，
所述生成使用与所述位置和旋转的至少一个有关的信息以第一频率生成要在所述头戴式显示单元上显示的图像；以及
所述接收和所述校正以与所述头戴式显示单元的帧率对应的第二频率接收与位置和旋转的至少一个有关的更新信息，并且使用以高于所述第一频率的所述第二频率接收到的多个所述与位置和旋转的至少一个有关的更新信息对以所述第一频率通过所述生成生成的图像执行多次校正。
12.一种存储了使计算机执行图像生成方法的程序的非暂时性计算机可读介质，所述方法包括：
取得与穿戴了头戴式显示单元的用户的头部的位置和旋转的至少一个有关的信息；
使用在某个时刻通过所述取得取得的与位置和旋转的至少一个有关的信息来生成要在所述头戴式显示单元上显示的图像；以及
在不同时刻接收与位置和旋转的至少一个有关的更新信息，并使用所述与位置和旋转的至少一个有关的更新信息对通过所述生成生成的图像进行校正，其中，
所述生成使用所述与位置和旋转的至少一个有关的信息以第一频率生成要在所述头戴式显示单元上显示的图像；以及
所述接收和所述校正以与所述头戴式显示单元的帧率对应的第二频率接收与位置和旋转的至少一个有关的更新信息，并且使用以高于所述第一频率的所述第二频率接收到的多个所述与位置和旋转的至少一个有关的更新信息，对以所述第一频率通过所述生成生成的图像执行多次校正。
CN202010310555.1A 2013-11-11 2014-10-31 图像生成装置、图像生成方法以及计算机可读介质 Active CN111696213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310555.1A CN111696213B (zh) 2013-11-11 2014-10-31 图像生成装置、图像生成方法以及计算机可读介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-233428 2013-11-11
JP2013233428A JP6353214B2 (ja) 2013-11-11 2013-11-11 画像生成装置および画像生成方法
CN202010310555.1A CN111696213B (zh) 2013-11-11 2014-10-31 图像生成装置、图像生成方法以及计算机可读介质
PCT/JP2014/079082 WO2015068656A1 (ja) 2013-11-11 2014-10-31 画像生成装置および画像生成方法
CN201480061487.2A CN106062826B (zh) 2013-11-11 2014-10-31 图像生成装置以及图像生成方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480061487.2A Division CN106062826B (zh) 2013-11-11 2014-10-31 图像生成装置以及图像生成方法

Publications (2)

Publication Number Publication Date
CN111696213A CN111696213A (zh) 2020-09-22
CN111696213B true CN111696213B (zh) 2023-10-20

Family

ID=53041433

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480061487.2A Active CN106062826B (zh) 2013-11-11 2014-10-31 图像生成装置以及图像生成方法
CN202010310555.1A Active CN111696213B (zh) 2013-11-11 2014-10-31 图像生成装置、图像生成方法以及计算机可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480061487.2A Active CN106062826B (zh) 2013-11-11 2014-10-31 图像生成装置以及图像生成方法

Country Status (7)

Country Link
US (5) US10133073B2 (zh)
EP (2) EP4235367A3 (zh)
JP (1) JP6353214B2 (zh)
CN (2) CN106062826B (zh)
BR (1) BR112016010442B1 (zh)
RU (1) RU2638776C1 (zh)
WO (1) WO2015068656A1 (zh)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
EP3410388A3 (en) * 2015-05-27 2019-02-27 Google LLC Capture and render of panoramic virtual reality content
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
KR102292031B1 (ko) * 2015-06-12 2021-08-20 구글 엘엘씨 헤드 장착 디스플레이를 위한 전자 디스플레이 안정화
CN107735152B (zh) * 2015-06-14 2021-02-02 索尼互动娱乐股份有限公司 用于虚拟现实(vr)观看的扩展视野重新渲染
JP6448478B2 (ja) * 2015-06-22 2019-01-09 株式会社コロプラ ヘッドマウントディスプレイを制御するプログラム。
CN106293043B (zh) * 2015-06-29 2023-11-10 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
JP6002286B1 (ja) * 2015-07-14 2016-10-05 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US9703102B2 (en) * 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display
JP6505556B2 (ja) 2015-09-07 2019-04-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP6346131B2 (ja) 2015-09-07 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP6332212B2 (ja) 2015-09-18 2018-05-30 カシオ計算機株式会社 姿勢推定装置、姿勢推定方法及びプログラム
JP6611538B2 (ja) * 2015-09-29 2019-11-27 株式会社三菱ケミカルホールディングス 生体信号出力装置
JP6556015B2 (ja) 2015-10-09 2019-08-07 ソニー株式会社 情報処理装置、位置および／または姿勢の推定方法、およびコンピュータプログラム
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP6511386B2 (ja) * 2015-11-20 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
JP6097377B1 (ja) 2015-11-27 2017-03-15 株式会社コロプラ 画像表示方法及びプログラム
JP6532393B2 (ja) 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
CN105395197A (zh) * 2015-12-03 2016-03-16 天津大学 旋转偏差对立体观看舒适度影响的脑电分析方法
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
CN105898285A (zh) * 2015-12-21 2016-08-24 乐视致新电子科技（天津）有限公司 虚拟显示设备的影像播放方法和装置
EP3185535A1 (en) 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
JP6092437B1 (ja) * 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
US10089725B2 (en) 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
WO2017139034A1 (en) * 2016-02-09 2017-08-17 Google Inc. Pixel adjusting at display controller for electronic display stabilization
JP2017182274A (ja) 2016-03-29 2017-10-05 セイコーエプソン株式会社 情報処理装置およびコンピュータープログラム
US10808879B2 (en) 2016-04-20 2020-10-20 Sony Interactive Entertainment Inc. Actuator apparatus
EP3446839B1 (en) 2016-04-20 2023-01-18 Sony Interactive Entertainment Inc. Robot and housing
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP6306083B2 (ja) * 2016-05-06 2018-04-04 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
JP2017215875A (ja) * 2016-06-01 2017-12-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
JP2017228044A (ja) * 2016-06-21 2017-12-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
CN107528993B (zh) * 2016-06-22 2019-09-20 北京蚁视科技有限公司 用于虚拟现实中播放运动视频的虚拟播放器的显示方法
US9971157B2 (en) * 2016-07-25 2018-05-15 Colopl, Inc. Display control method and system for executing the display control method
WO2018026737A1 (en) 2016-08-02 2018-02-08 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11017712B2 (en) * 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
JP6093473B1 (ja) * 2016-08-19 2017-03-08 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018039586A1 (en) 2016-08-26 2018-03-01 Magic Leap, Inc. Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
KR20180028211A (ko) 2016-09-08 2018-03-16 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
JP2018042753A (ja) * 2016-09-14 2018-03-22 株式会社スクウェア・エニックス ゲームシステム、ゲーム進行方法、及び、コンピュータ装置
JP6732617B2 (ja) 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
JP2018072604A (ja) 2016-10-31 2018-05-10 株式会社コロプラ Ｖｒ酔いを抑制するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置
JP6356928B1 (ja) * 2016-11-02 2018-07-11 楽天株式会社 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN106791360A (zh) * 2016-11-22 2017-05-31 北京疯景科技有限公司 生成全景视频的方法及装置
JP2018101019A (ja) 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
CN108243332B (zh) * 2016-12-23 2024-04-12 深圳点石创新科技有限公司 车载抬头显示系统影像调节方法及车载抬头显示系统
US20190156792A1 (en) * 2017-01-10 2019-05-23 Shenzhen Royole Technologies Co., Ltd. Method and system for adjusting display content and head-mounted display
DE102017200325A1 (de) * 2017-01-11 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
CN108320332B (zh) * 2017-01-18 2020-02-07 腾讯科技（深圳）有限公司 虚拟角色的方位确定方法和装置
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP7013128B2 (ja) * 2017-01-27 2022-01-31 キヤノン株式会社 画像表示装置、画像表示方法及びプログラム
US10962779B2 (en) * 2017-02-15 2021-03-30 Sharp Kabushiki Kaisha Display control device, method for controlling display control device, and storage medium
KR101874111B1 (ko) * 2017-03-03 2018-07-03 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
WO2018170482A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
IL290142B2 (en) 2017-03-17 2023-10-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
CN107040694B (zh) * 2017-04-07 2019-10-25 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端
US11475409B2 (en) 2017-06-07 2022-10-18 Digital Seat Media, Inc. Method and system for digital record verification
US11206432B1 (en) 2017-06-07 2021-12-21 Digital Seat Media, Inc. System and method for providing synchronized interactive multimedia content to mobile devices based on geolocation of a vehicle
US10621751B2 (en) 2017-06-16 2020-04-14 Seiko Epson Corporation Information processing device and computer program
CN107291266B (zh) * 2017-06-21 2018-08-31 腾讯科技（深圳）有限公司 图像显示的方法和装置
US20200202609A1 (en) * 2017-06-22 2020-06-25 Sony Interactive Entertainment Inc. Information processor, control method, and program
US10687119B2 (en) 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
US10659771B2 (en) * 2017-07-13 2020-05-19 Google Llc Non-planar computational displays
JP2019022121A (ja) * 2017-07-19 2019-02-07 ソニー株式会社 画像処理装置、および画像処理装置の制御方法
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
JP2019028368A (ja) * 2017-08-02 2019-02-21 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
KR101947372B1 (ko) * 2017-09-04 2019-05-08 주식회사 그루크리에이티브랩 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
KR20200028485A (ko) * 2017-09-08 2020-03-16 미쓰비시덴키 가부시키가이샤 측거 장치 및 측거 방법
CN107613338A (zh) * 2017-09-25 2018-01-19 中兴通讯股份有限公司 视频传输方法、服务器、vr播放终端及计算机可读存储介质
JP2019079193A (ja) * 2017-10-23 2019-05-23 キヤノン株式会社 情報処理装置、撮像装置、プログラム及び撮像システム
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
JP6944863B2 (ja) 2017-12-12 2021-10-06 株式会社ソニー・インタラクティブエンタテインメント 画像補正装置、画像補正方法およびプログラム
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
JP6968689B2 (ja) * 2017-12-27 2021-11-17 Ｄｙｎａｂｏｏｋ株式会社 電子機器、ウェアラブル機器及び表示制御方法
CN108170280B (zh) * 2018-01-18 2021-03-26 歌尔光学科技有限公司 一种vr头戴设备及其画面显示方法、系统、存储介质
US10634913B2 (en) * 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
KR102535918B1 (ko) 2018-02-07 2023-05-25 삼성전자 주식회사 사용자의 움직임 정보에 기반하여 디스플레이의 오버 드라이빙 정보를 조정하기 위한 방법 및 웨어러블 장치
US10311833B1 (en) * 2018-03-27 2019-06-04 Seiko Epson Corporation Head-mounted display device and method of operating a display apparatus tracking an object
CN110488489B (zh) * 2018-05-15 2022-10-11 苹果公司 用于头戴式壳体的眼睛登记
JP6556295B2 (ja) * 2018-05-24 2019-08-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
DE102018209377A1 (de) * 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
CN112470464B (zh) 2018-07-23 2023-11-28 奇跃公司 场顺序显示器中的场内子码时序
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
EP3841453B1 (en) * 2018-08-23 2024-10-30 Apple Inc. Method and device for process data sharing
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
CN109241233B (zh) * 2018-09-14 2021-10-22 东方网力科技股份有限公司 一种坐标匹配方法及装置
US11615767B2 (en) 2018-10-16 2023-03-28 Sony Group Corporation Information processing apparatus, information processing method, and recording medium
JP7175715B2 (ja) * 2018-10-31 2022-11-21 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2020090316A1 (ja) * 2018-11-02 2020-05-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN109688327B (zh) * 2018-12-18 2020-08-07 影石创新科技股份有限公司 一种全景视频防抖的方法、装置及便携式终端
US11182768B2 (en) 2019-03-06 2021-11-23 Digital Seat Media, Inc. System and method for location-based individualized content and mobile wallet offers
JP6683862B2 (ja) * 2019-05-21 2020-04-22 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure
JP6655751B1 (ja) 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
WO2021040010A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 情報処理装置、制御方法
CN110705433A (zh) * 2019-09-26 2020-01-17 杭州鲁尔物联科技有限公司 一种基于视觉感知的桥梁变形的监测方法、装置及设备
JP7498553B2 (ja) * 2019-09-30 2024-06-12 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像表示システム、画像データ転送装置、および画像処理方法
US11061469B2 (en) * 2019-11-20 2021-07-13 XRSpace CO., LTD. Head mounted display system and rotation center correcting method thereof
JP2021119364A (ja) * 2020-01-30 2021-08-12 セイコーエプソン株式会社 表示装置、表示装置の制御方法およびプログラム
WO2021199184A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム
US11657337B2 (en) 2020-04-27 2023-05-23 Digital Seat Media, Inc. System and method for exchanging tickets via a machine-readable code
US11494737B2 (en) 2020-04-27 2022-11-08 Digital Seat Media, Inc. Interactive and dynamic digital event program
US11488273B2 (en) 2020-04-27 2022-11-01 Digital Seat Media, Inc. System and platform for engaging educational institutions and stakeholders
US11481807B2 (en) 2020-04-27 2022-10-25 Digital Seat Media, Inc. Delivery of dynamic content based upon predetermined thresholds
CN115516481A (zh) 2020-04-27 2022-12-23 数字座椅媒体股份有限公司 数字记录验证方法和系统
JP6875029B1 (ja) * 2020-05-28 2021-05-19 株式会社Ｓｐａｃｉａｌ 方法、プログラム、情報処理装置
TWI790471B (zh) * 2020-08-26 2023-01-21 財團法人工業技術研究院 基於深度學習的影像校正方法及系統
RU202367U1 (ru) * 2020-10-06 2021-02-15 Владимир Михайлович Иванов Держатель с маркером, применяемый при выполнении хирургической операции на голове с использованием смешанной реальности
CN112558850B (zh) * 2020-12-16 2022-04-26 深圳市巨烽显示科技有限公司 多显示器鼠标无缝移动方法、装置、计算机设备及介质
FR3120719B1 (fr) * 2021-03-15 2024-04-19 Driving Simulation Ass Navigation rotationnelle en environnement virtuel avec une référence visuelle
WO2022232773A1 (en) 2021-04-27 2022-11-03 Digital Seat Media, Inc. Wagering platforms and access derived from machine-readable codes
JP2022186326A (ja) 2021-06-04 2022-12-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
CN113724324B (zh) * 2021-08-30 2023-12-19 杭州华橙软件技术有限公司 云台的控制方法、装置、存储介质及电子装置
US20230168510A1 (en) * 2021-11-29 2023-06-01 Htc Corporation Head-mounted display device, control method, and non-transitory computer readable storage medium
CN114449162B (zh) * 2021-12-22 2024-04-30 天翼云科技有限公司 一种播放全景视频的方法、装置、计算机设备及存储介质
EP4350603A1 (en) * 2022-09-19 2024-04-10 Apple Inc. Predictive perspective correction
JP2024098257A (ja) * 2023-01-10 2024-07-23 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法および画像生成プログラム
WO2024176749A1 (ja) * 2023-02-20 2024-08-29 ソニーグループ株式会社 情報処理装置、立体映像表示システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012033038A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 模擬映像生成装置、方法、プログラム
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341387A (ja) 1997-06-10 1998-12-22 Canon Inc 表示装置
US6271855B1 (en) * 1998-06-18 2001-08-07 Microsoft Corporation Interactive construction of 3D models from panoramic images employing hard and soft constraint characterization and decomposing techniques
JP2004109994A (ja) * 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
RU2406150C2 (ru) * 2005-09-15 2010-12-10 Олег Станиславович Рурин Способ и система для визуализации виртуальных трехмерных объектов
JP4037889B2 (ja) 2006-03-30 2008-01-23 株式会社コナミデジタルエンタテインメント 画像生成装置、画像生成方法、ならびに、プログラム
JP4857196B2 (ja) * 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
WO2009066465A1 (ja) * 2007-11-20 2009-05-28 Panasonic Corporation 画像表示装置、その表示方法、プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、双眼鏡、及び卓上型ディスプレイ
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
JP5818674B2 (ja) 2011-12-21 2015-11-18 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、画像表示装置
US20130169943A1 (en) * 2012-01-02 2013-07-04 Shan-Chieh Wen Image projection device and associated image projection method and calibration method
US8810600B2 (en) * 2012-01-23 2014-08-19 Microsoft Corporation Wearable display device calibration
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US20140368504A1 (en) * 2013-06-12 2014-12-18 Microsoft Corporation Scalable volumetric 3d reconstruction
US9489344B2 (en) * 2013-06-27 2016-11-08 Arm Limited Methods of and apparatus for approximating a function
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) * 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012033038A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 模擬映像生成装置、方法、プログラム
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jean-Yves Didier 等.A Time Delay Compensation Method Improving Registration for Augmented Reality.Proceedings of the 2005 IEEEInternational Conference on Robotics and Automation Barcelona, Spain, April 2005.2005,全文. *

Also Published As

Publication number Publication date
CN111696213A (zh) 2020-09-22
JP2015095045A (ja) 2015-05-18
BR112016010442A2 (zh) 2017-08-08
RU2016123173A (ru) 2017-12-19
EP4235367A3 (en) 2023-11-15
US11914147B2 (en) 2024-02-27
CN106062826A (zh) 2016-10-26
JP6353214B2 (ja) 2018-07-04
US20200264432A1 (en) 2020-08-20
US20190049728A1 (en) 2019-02-14
US11016297B2 (en) 2021-05-25
RU2638776C1 (ru) 2017-12-15
US20230161157A1 (en) 2023-05-25
EP3070680A4 (en) 2017-07-12
BR112016010442B1 (pt) 2022-10-04
US10133073B2 (en) 2018-11-20
EP3070680B1 (en) 2023-08-02
EP3070680A1 (en) 2016-09-21
CN106062826B (zh) 2020-05-15
US20210239978A1 (en) 2021-08-05
WO2015068656A1 (ja) 2015-05-14
EP4235367A2 (en) 2023-08-30
US20160282619A1 (en) 2016-09-29
US11592668B2 (en) 2023-02-28
US10684475B2 (en) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111696213B (zh) 图像生成装置、图像生成方法以及计算机可读介质
US10269139B2 (en) Computer program, head-mounted display device, and calibration method
EP3343320B1 (en) Information processing apparatus, information processing system, and information processing method
EP3379525B1 (en) Image processing device and image generation method
US11200646B2 (en) Compensation for deformation in head mounted display systems
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
JP6890524B2 (ja) 姿勢制御システム
WO2023157332A1 (ja) 情報処理装置および調整画面表示方法
CN111587397A (zh) 图像生成装置、眼镜片选择系统、图像生成方法以及程序
WO2024185428A1 (ja) ヘッドマウントディスプレイおよび画像表示方法
WO2021075113A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2023172180A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant