CN106663336B - 图像生成装置和图像生成方法 - Google Patents

图像生成装置和图像生成方法 Download PDF

Info

Publication number
CN106663336B
CN106663336B CN201580035107.2A CN201580035107A CN106663336B CN 106663336 B CN106663336 B CN 106663336B CN 201580035107 A CN201580035107 A CN 201580035107A CN 106663336 B CN106663336 B CN 106663336B
Authority
CN
China
Prior art keywords
image
viewpoint
head
mounted display
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580035107.2A
Other languages
English (en)
Other versions
CN106663336A (zh
Inventor
大户友博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN106663336A publication Critical patent/CN106663336A/zh
Application granted granted Critical
Publication of CN106663336B publication Critical patent/CN106663336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

全景图像处理单元(750)生成宽视角图像，诸如从给定视点可见的全景图像。图像转换单元(780)将所生成的宽视角图像转换为传输格式，其中，根据面向的视点的光线方向调整作为以视点为中心的每单位角度的像素数量的角分辨率。图像提供单元(770)向头戴式显示器(100)以其角分辨率已被调整的传输格式传输图像。头戴式显示器(100)通过对接收的图像进行转换来显示接收的图像，以符合设备的光学特性。

Description

图像生成装置和图像生成方法
技术领域
本发明涉及用于生成宽视角图像的装置和方法。
背景技术
实践中连接到游戏机的HMD(头戴式显示器)单元安放在用户的头上，以允许用户操作控制器等来玩游戏，同时观看在头戴式显示单元上显示的屏幕图像。在连接到游戏机的普通静态型显示单元中，用户的视场范围也扩展到显示单元的屏幕图像的外部侧，并且因此用户可能没有集中于显示单元的屏幕图像上，或者有时缺乏游戏中的沉浸式体验。在这点上，在头戴式显示单元安放在用户上时，因为用户除了在头戴式显示单元上显示的视频外不能观看任何其他，所以存在增强视频世界中的沉浸式体验并且进一步增强游戏的娱乐价值的效果。
此外，如果在头戴式显示单元上显示全景图像，使得如果穿戴头戴式显示单元的用户旋转头部，那么显示全景图像或虚拟空间超过360度，那么进一步增强视频中的沉浸式体验，并且还改善诸如游戏的应用的可操作性。
发明内容
[技术问题]
在显示宽视角的图像的头戴式显示设备中，因为物理上难以实现通过其完全移除设备中诸如透镜的光学系统的畸变的配置，所以设备中图像显示单元的每个像素的显示位置与通过光学系统的观看者的显示位置之间的对应关系常常变为非线性。特别地，因为上述对应关系由于光学系统的特性中的差别而在不同的头戴式显示设备之间不同，所以为了生成适于每个独立的头戴式显示单元的图像，需要不同设备之间不同的图像转换。
目前，采用这样的系统，其中诸如游戏机或个人计算机的图像生成装置侧以适于头戴式显示设备的特性的格式生成图像，并且将生成的图像传送到头戴式显示单元。然而，在描述的系统的情况下，随着今后头戴式显示设备的类型的数目增加，变得需要图像生成装置侧分别根据每个独立的头戴式显示单元生成图像，并且变得难以处理。尽管目前存在提供头戴式显示单元的若干厂商，但是因为不存在各头戴式显示单元公共的图像传输格式，目前的情况是必须根据每个独立的头戴式显示设备的特性生成图像。
另一方面，如果照原样压缩并且传输诸如由图像生成装置侧生成的全景图像的宽视角图像，然后根据光学特性转换并且由头戴式显示单元侧显示，那么取决于向视点进行的光线的方向在角分辨率中出现偏差，并且在图像的中心区域中明显画面质量劣化。这是当以宽视角观看其分辨率在整体屏幕图像上均匀的图像时出现的现象，并且可能不但对于头戴式显示单元而且对于水平延长或垂直延长型的显示单元成为问题。
已经鉴于上述这种问题做出本发明，并且本发明的目的是提供一种图像生成装置和图像生成方法，其能够生成适于由头戴式显示单元等显示的宽视角图像。
[对于问题的解决方案]
为了解决上述问题，根据本发明的一个方面的图像生成装置包括：图像生成单元，被配置为生成从给定视点观看的图像；以及图像转换单元，被配置为将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。
本发明的另一方面是一种图像生成装置。该装置包括：光线跟踪单元，被配置为沿相反方向跟踪指向给定视点的光线以渲染图像。所述光线跟踪单元以传输格式生成图像，其中，响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。
本发明的另一方面是一种图像生成方法。该方法包括：图像生成步骤，生成从给定视点观看的图像；以及图像转换步骤，将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。
本发明的又一方面是一种图像生成方法。该方法包括：光线跟踪步骤，沿相反方向跟踪进入给定视点的光线以渲染图像。所述光线跟踪步骤以传输格式生成图像，其中，响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。
应当注意，上述组件的任意组合和在方法，设备，系统，计算机程序，数据结构，记录介质等之间转换本发明的表示的结果作为本发明的方式是有效的。
[发明的有益效果]
根据本发明，可以生成适于在头戴式显示单元等上显示的宽视角图像。
附图说明
图1是头戴式显示单元的外观视图。
图2是头戴式显示单元的功能框图。
图3是描绘根据实施例的全景图像生成系统的配置的视图。
图4是根据实施例的全景图像生成装置的功能框图。
图5是图示在显示平面上显示的图像的角分辨率的视图。
图6A是图示在朝向视点的光线方向与显示平面上的像素之间的位置上的关系的视图。
图6B是图示图像格式的视图，其中布置像素使得角分辨率均匀而不管朝向视点的光线方向。
图7A是图示标准化格式的视图，其中角分辨率均匀而不管朝向视点的光线方向。
图7B是图示标准化格式的视图，其中角分辨率均匀而不管朝向视点的光线方向。
图8A是图示标准化格式的不同示例的视图，其中角分辨率均匀而不管朝向视点的光线方向。
图8B是图示标准化格式的不同示例的视图，其中角分辨率均匀而不管朝向视点的光线方向。
图9是图示通过本实施例的全景图像生成系统的图像生成和图像传输的过程的序列图。
图10是描绘由图4的全景图像处理单元生成的全景图像的示例的视图。
图11的(a)和图11的(b)是图示用于比较的情况的视图，其中图10的全景图像以普通传输格式传送到头戴式显示单元并且由头戴式显示单元再现。
图12的(a)和图12的(b)是图示这样的情况的视图，其中图10的全景图像以本实施例的宽视角图像传输格式传送到头戴式显示单元并且由头戴式显示单元再现。
具体实施方式
图1是头戴式显示单元100的外观视图。头戴式显示单元100包括主体单元110、前头部接触单元120和侧头部接触单元130。
头戴式显示单元100是安装在用户头部上使得用户欣赏显示在显示单元上的静止画面或运动画面并且收听从耳机输出的声音、音乐等的显示装置。
用户的位置信息可以通过诸如内置在或外部安装在头戴式显示单元100上的GPS(全球定位系统)装置的位置传感器来测量。此外，姿态信息(例如穿戴头戴式显示单元100的用户的头部的旋转角度或倾斜)可以通过内置在或外部安装在头戴式显示单元100上的姿态传感器来测量。
主体单元110包括显示单元、位置信息获取传感器、姿态传感器、通信装置等。前头部接触单元120和侧头部接触单元130可以具有作为可选部件的生物信息获取传感器，其可以测量生物信息，诸如用户的体温、脉搏、血液成分、出汗、脑波和脑血流量。
头戴式显示单元100还可以包括用于拍摄用户的眼睛的图像的相机。通过结合在头戴式显示单元100中的相机，可以检测用户的视线、瞳孔的移动、眼睛的眨眼等。
这里，描述要在头戴式显示单元100上显示的图像的生成方法。本实施例的图像生成方法不仅可以应用于狭义的头戴式显示单元100，而且可以应用于眼镜、眼镜型显示单元、眼镜型相机、耳机(headphone)、头戴式受话器(具有麦克风的耳机)、耳机(earphone)、耳环、耳机(ear camera)、帽、具有相机的帽、发带等。
图2是头戴式显示单元100的功能框图。
控制单元10是处理和输出诸如图像信号或传感器信号的信号、指令或数据的主处理器。输入接口20接受来自触摸面板和触摸面板控制器的操作信号或设置信号，并将接受的信号提供给控制单元10。输出接口30从控制单元10接收图像信号，并使显示单元显示所接收的图像信号。背光32向液晶显示单元提供背光。
通信控制单元40通过网络适配器42或天线44通过有线或无线通信将从控制单元10输入的数据传送到外部。此外，通信控制单元40通过网络适配器42或天线44通过有线或无线通信从外部接收数据，并将数据输出到控制单元10。
存储单元50临时存储要由控制单元10处理的数据、参数、操作信号等。
GPS单元60从GPS卫星接收位置信息，并根据来自控制单元10的操作信号将位置信息提供给控制单元10。无线单元62从无线基站接收位置信息，并根据来自控制单元10的操作信号将位置信息提供给控制单元10。
姿态传感器64检测姿态信息，诸如头戴式显示单元100的主体单元110的旋转角度或倾斜。姿态传感器64通过陀螺传感器、加速度传感器、角加速度传感器等的适当组合实现。
外部输入/输出端子接口70是用于连接诸如USB(通用串行总线)控制器的外围装置的接口。外部存储器72是诸如闪存的外部存储器。
时钟单元80响应于来自控制单元10的设置信号设置时间信息，并且将时间数据提供给控制单元10。
在头戴式显示单元100中，只有在位于用户眼睛前方的显示面板上显示图像时，图像呈现失焦状态并且看起来模糊。因此，使用诸如棱镜和透镜的光学系统，使得可以在宽视角上观看图像而没有失真。图像转换单元90从控制单元10接收图像信号，根据头戴式显示单元100的光学系统的失真特性转换图像信号，并将转换后的图像信号返回到控制单元10。
控制单元10可以向输出接口30提供图像或文本数据，以使显示单元在其上显示图像或文本数据，或者可以向通信控制单元40提供图像或文本数据，以便传输图像或文本数据到外部。
图3是示出根据实施例的全景图像生成系统的配置的视图。头戴式显示单元100通过诸如无线通信或连接外围设备的USB的接口连接到游戏机200。游戏机200还可以通过网络连接到服务器。在这种情况下，服务器可以将诸如其中多个用户可以通过网络参与的游戏的在线应用提供给游戏机200。头戴式显示单元100可以连接到代替游戏机200的计算机或便携式终端。
图4是根据本实施例的全景图像生成装置700的功能框图。图4描绘了集中于功能的框图，并且功能块可以仅以硬件、仅从软件或从它们的组合以各种形式实现。
全景图像生成装置700安装在连接有头戴式显示单元100的游戏机200上。然而，全景图像生成装置700的功能的至少一部分可以合并在头戴式显示单元100的控制单元10中。具体地，下面描述的图像转换单元780的功能可以并入头戴式显示单元100侧。可替代地，全景图像生成装置700的部分功能可以被并入通过网络连接到游戏机200的服务器中。
缩放指令获取单元710获取用户通过头戴式显示单元100的输入接口20指定的缩放倍率。由缩放指令获取单元710获取的缩放倍率被提供给灵敏度调整单元720和全景图像处理单元750。
位置和旋转信息获取单元730基于由GPS单元60或头部的运动传感器检测到的位置信息以及由姿态传感器64检测的姿态信息，获取与穿戴头戴式显示单元100的用户的头部的位置和旋转有关的信息。可以通过由游戏机200的照相机检测头戴式显示单元100的移动来获取用户的头部的位置。
位置和旋转信息获取单元730基于由灵敏度调整单元720指定的灵敏度来获取用户的头部的位置和旋转。例如，如果用户旋转颈部，则也改变但是，灵敏度调整单元720指示位置和旋转信息获取单元730忽略检测到的角度变化，直到角度变化超过预定值为止。
此外，灵敏度调节单元720基于从缩放指令获取单元710获取的缩放倍率来调节头部的角度检测的灵敏度。随着缩放倍率增加，头部的角度检测的灵敏度降低。由于变焦减小了视角，所以可以通过降低头部的角度检测灵敏度来抑制通过头部的摇晃的显示图像的振动。
作为运动传感器，可以使用3轴地磁传感器、3轴加速度传感器和3轴陀螺仪(角速度)传感器中的至少一个或多个的组合来检测向前和向后方向，向左和向右方向以及向上和向下方向上用户的头部的移动。可替代地，可以组合用户的头部的不同的位置信息，以提高头部的移动检测的精度。
坐标变换单元740使用由位置和旋转信息获取单元730获取的头戴式显示单元100的位置和旋转来执行坐标变换，以生成要在具有跟踪功能的头戴式显示单元100上显示的图像。
全景图像处理单元750从全景图像存储单元760读出全景图像数据，通过由缩放指令获取单元710指定的缩放倍率生成与头戴式显示单元100的位置和旋转对应的全景图像，并且将所生成的全景图像提供给图像转换单元780.这里，全景图像数据可以是预先生成的运动画面或静止画面内容，或者可以是渲染的计算机图形。
图像转换单元780将由全景图像处理单元750生成的宽视角图像的格式转换为适合于用户的眼睛的特性的传输格式。
在一般的HDTV(高清晰度电视)的情况下，水平视角为大约33度。然而，在要在头戴式显示单元100等上显示类似全景图像的宽视角图像的情况下，需要大于90度的水平视角。如果对于相同分辨率的图像，视角从40度增加到100度，则像素密度减小，并且图像的中心区域中的分辨率(dpi：每英寸点数)减少到大约1/3.2倍。
特别地，当穿戴头戴式显示单元100的用户观看宽视角的全景图像时，角分辨率是影响图像质量的重要因素。“角分辨率”是以视点为中心的每单位角度的像素数。在头戴式显示单元100显示类似全景图像的水平拉长的图像的情况下，取决于朝向视点的光线方向，在角度分辨率中出现偏差。
图像转换单元780根据用户的眼睛的特性来调整角分辨率，以将图像转换成适于在图像头戴式显示单元100上观看宽视角的全景图像的“宽视角图像传输格式”。下面描述图像转换处理的细节。
图像转换单元780将以这种方式的转换获得的宽视角图像传输格式的图像提供给图像提供单元77。图像提供单元770将通过图像转换单元780的转换获得的全景图像数据提供到头戴式显示单元100。
图5是示出显示在显示平面上的图像的角分辨率的视图。在图5中，显示在显示平面400上的像素由黑点示意性地表示。
当从视点O观看显示在显示平面400上的图像时，发生色散，其中像素密度取决于进入视点O的光线的方向。尽管对应于从直接相对位置朝向视点O的光线方向的小角度α的像素数目是三个，如附图标记410所示，但是与光线方向的小角度α对应的像素数目从朝向视点O的倾斜右侧位置是七个，如附图标记420所示。以这种方式，当从视点O观看具有在显示平面400上等间隔布置的像素的图像时，角分辨率从直接相对位置的方向最低，并且角分辨率朝向从直接相对方向水平移位的方向增加。特别地，当在头戴式显示单元100上观看宽视角的全景图像时，倾斜横向方向上的角分辨率与从直接相对位置的方向上的角分辨率之间的差异变得显著。尽管最初人类主要识别来自直接相对方向(图像的中心区域)的光线，但是不能非常识别来自倾斜方向(图像的周边区域)的光线，这不方便的是图像的中心区域中的角分辨率低于图像的周边区域的角分辨率。
在本实施例中，在全景图像生成装置700和每个单独的头戴式显示单元100之间定义不依赖于头戴式显示装置的公共传输格式，并且全景图像生成装置700直接以公共传输格式生成图像或者生成的图像被转换为公共传输格式的图像。然后，将公共传输格式的图像传输到每个单独的头戴式显示单元100。每个单独的头戴式显示单元100将从全景图像生成装置700接收的公共传输格式的图像转换为格式适合于每个设备的光学特性的格式，以在显示面板上显示转换的图像。全景图像生成装置700可以通过使用不依赖于装置的公共传输格式来生成图像，而不识别头戴式显示装置的差异。因此，消除了单独处理具有不同光学特性的各个头戴式显示单元的必要性。
此外，在本实施方式中，作为适于在头戴式显示单元100上显示宽视角图像的公共传输格式，采用了“宽视角图像传输格式”，其中根据用户的眼睛的特征调整角分辨率。这里，作为根据用户的眼睛的特征调整角分辨率的示例，描述了其中响应于朝向视点的光线方向调整角分辨率的宽视角图像传输格式。更具体地，首先描述其中将角分辨率调整为均匀而不考虑朝向视点的光线方向的传输格式。
图6A是示出朝向视点的光线方向和像素在显示平面上的位置的关系的视图。从视点O到显示平面400的距离被假定为1。从视点O直接观察显示平面400时的像素由P表示。存在于相对于直接相对位置的角度β的光线方向上的显示平面400上的像素由Q表示。像素Q位于与显示平面400上的像素P相距tanβ的距离处。
存在于相对于直接相对位置的角度nβ(n是自然数)的光线方向上的显示平面400上的像素由R表示。像素R位于距离显示平面400上的像素P tan(nβ)的位置。如果像素在显示平面400上没有以相等的距离设置，而是设置在显示平面400上与像素P间隔距离tanβ、tan2β、tan3β、...的位置处，不管朝向视点O的光线方向如何，都可以使角分辨率均匀。
图6B是示出其中像素被布置为使得角分辨率变得均匀而与朝向视点的光线方向无关的图像格式的视图。在图6B中，由于对于每个角度β，像素被布置在由tan(nβ)(n是自然数)表示的显示平面400上的位置处，因此可以使朝向视点O的任何光线方向上的角分辨率(每单位角度的像素数)均匀。
图7A和7B是示出作为宽视角图像传输格式的示例的标准化格式的视图，其中不管朝向视点的光线方向如何，都使角分辨率均匀。
尽管在普通电视机或显示单元中，在宽视角图像传输格式中，在要发射光的面板的位置处的像素的颜色信息被传输，但是存在于朝向视点的光线方向上的像素的颜色信息被传输。这里，视点的位置由(0,0,0)表示，并且水平方向，垂直方向和前后方向分别被取为X轴、Y轴和Z轴。此外，将向前方向作为Z轴的正方向。假设生成的图像的像素(X，Y)以相等的距离并置。此外，水平方向和垂直方向中的每一个中的分辨率和视角被设置为面板装置唯一的值，并且独立于图像的传输格式来确定。
在通常并且广泛地传统使用的图像的传输格式中，假设像素(X，Y)在朝向视点的光线方向(X，Y，1)上，确定像素的显示位置，以相等的距离显示像素。
然而，在传统的传输格式中，图像的中心区域中的角分辨率变得低于图像的外围区域处的角分辨率，因此，作为用于在宽视角的头戴式显示单元上显示的传输格式，传统的传输格式不是最佳的。因此，通过非线性地缩放像素的X轴和Y轴以响应于朝向视点的光线方向来调整角分辨率以确定刻度。作为示例，为了使角分辨率固定而不考虑朝向视点的光线方向，像素的坐标不是由(X，Y)而是由(tan(X)，tan(Y))取得。
当要生成在X方向上为第i个和在Y方向上为第j个的像素时，在普通图像格式中，在坐标(X，Y)处生成由以下给出的像素
X＝Xscale×i+Xoffset
Y＝Yscale×j+Yoffset。
然而，在标准化格式中，生成坐标(tan(X)，tan(Y))处的像素。这表示在显示平面上发射的像素的光从光线方向(tan(X)，tan(Y)，1)进入视点O。
以这种方式，普通格式的图像被转换为其中像素被布置在(tan(X)，tan(Y))的位置的标准化格式的图像。结果，在标准化格式中，像素在显示平面上的布置在图像的中心区域中表现出高像素密度，而在图像的周边区域中表现出低像素密度，如图6B所示。然而，无论朝向视点的光线方向如何，角分辨率都是均匀的。当以标准化格式传输的图像要被显示在头戴式显示单元100上时，X方向上的第i个像素和Y方向上的第j个像素可以显示在由显示面板的坐标(tan(X)，tan(Y))指示的位置处。
图7A和7B立体地示出了到标准化格式的变换，并且描绘了以图6B中的视点O为中心的半径为1的球面。然而，在向标准化格式的变换中，由于z＝1，因此只能表示在视点O的前方在水平方向上扩展180度的图像。为了允许z具有负值，使得可以表示在水平方向上超过180度的视点后面的图像，所有坐标值可以乘以cos(X)cos(Y)，使得像素的光线方向可以由(sin(X)cos(Y)，cos(X)sin(Y)，cos(X)cos(Y))表示。应注意，应注意的事实是根据标准化格式，不能表示在垂直方向上超过180度的角度的图像，因为在上下方向上90度处存在奇异点。
图8A和8B是示出标准化格式的不同示例的视图，其中使角分辨率均匀，而与朝向视点的光线方向无关。
标准化格式使用对应于纬度和经度的角度，使得可以显示水平方向上360度和垂直方向上180度的图像。具体地，假设像素的光从光线方向(sin(X)cos(Y)，sin(Y)，cos(X)cos(Y))指向视点O，定义图像的格式。这除了奇异点和方向性之外，与光线方向(tan(X)，tan(Y)/cos(X)，1)相同。由于该格式在顶部和底部具有90度的奇异点，所以它是适于全景图像的格式，其在高度方向上小于180度，在水平方向上大于180度。当然，即使图像的范围在水平方向上不超过180度，也可以使用该格式。据说，当人用双眼观看时，视角在左右方向上超过180度，并且可以表示在水平方向上超过180度的图像的格式是有利的，特别是对于全景图像。
在前面的描述中，定义了标准化的图像传输格式，使得角分辨率(以视点为中心的每单位角度的像素数)均匀化。然而，可以定义图像传输格式，其中考虑到主要在人的视野中看到图像的中心区域(在直接相反方向上看到的部分)，而周边区域(在倾斜方向上看到的部分)没有被看到(不被识别)，响应于光线方向来调整角分辨率，使得中心区域中的角分辨率被设置为高，而角分辨率在周边区域被设定为低。可替代地，可以定义传输格式，其中可以指示使用参数来指定与光线方向相对应的角分辨率的调整方法。
描述使用包括参数的函数的传输格式。在其中与上文参考图7A和7B描述的与朝向视点的光线方向无关，作为与图像的中心区域相比用于降低周边区域中的分辨率的传输格式的角分辨率被均匀化的标准化格式中，像素的光线方向由(tan(X)，tan(Y)，1)表示。在由参数函数定义的传输格式中，光线方向由(sin(X)/(cos(X)P1)，sin(Y)/(cos(Y)P2)，1)表示。
P1和P2分别是在水平方向和垂直方向上有效的参数，并且当P1和P2的值为1时，像素密度是均匀的，而与光线方向无关。然而，在P1和P2的值大于1的情况下，中心区域(从直接相对位置的光线方向)的像素密度较高，但是当P1和P2的值小于1时，周边区域(从倾斜水平方向的光线方向)的像素密度较高。全景图像生成装置700确定参数P1和P2，或者全景图像生成装置700接收由头戴式显示单元100指定的参数P1和P2，并且生成其中利用所需参数调整角分辨率的传输格式的图像。
通常，可以通过定义通过包括参数的函数将每个像素的光指向视点的光线方向来定义其中使用参数函数的传输格式。
现在，描述可以通过指定像素的传输模式来调整角分辨率的传输格式。像素X和Y通过在传输时将第i和第j个像素乘以比例和偏移而生成，如X＝Xscale×i+Xoffset和Y＝Yscale×j+Yoffset。然而，使用特定模式省略要传输的像素。例如，代替从第一像素到第1920像素传输1920个像素，从第一像素到第3000像素的3000个像素中，通过从第一个像素到第1080个像素的像素中仅传输奇数编号的像素，从第1081个像素传输到第1920个像素传输所有像素，然后从第1921个像素到第3000个像素的像素中仅传输偶数编号的像素，总共1920个像素被传输到头戴式显示单元100。这使得可以在图像的中心区域中将像素密度设置得高，并且在图像的周边区域中将像素密度设置得低。如果使用如上所述的可以将传输模式指定为参数的这种传输格式，则可以允许全景图像生成装置700或头戴式显示单元100指定传输模式以改变角分辨率的图像。
图9是示出本实施例的全景图像生成系统的图像生成和图像传输的过程的序列图。
全景图像生成装置700的全景图像处理单元750生成要在头戴式显示单元100上显示的诸如全景图像的宽视角图像(S10)。该宽视角图像可以是例如由相机实际捕获的全景图像或使用计算机图形渲染的人工图像。全景图像不必是水平方向上的视角超过180度的图像，而可以是水平方向上的视角等于或小于180度的图像。此外，垂直方向上的视角可以超过180度，或者可以等于或小于180度。
图像转换单元780将所生成的图像转换为宽视角图像传输格式的图像，其中响应于朝向视点的光线方向来调整图像的角分辨率(S20)。
虽然在前面的描述中，所生成的图像的格式被转换为宽视角图像传输格式一次，但是也可以通过使用光线跟踪在相反方向跟踪指向视点的光线，以直接通过计算确定每个像素的颜色信息，直接生成宽视角图像传输格式的图像。在这种情况下，不需要图像转换单元780的配置，并且具有光线跟踪单元的功能的全景图像处理单元750可以生成宽视角图像传输格式的图像。
图像提供单元770将宽视角图像传输格式的图像传送到头戴式显示单元100(S30)。
头戴式显示单元100接收宽视角图像传输格式的图像，并且图像转换单元90根据头戴式显示单元100特有的光学特性转换图像，以将图像转换为适合于显示面板的图像(S40)。输出接口30在显示单元上显示用于头戴式显示单元100的转换之后的图像(S50)。
如果穿戴头戴式显示单元100的用户移动或旋转头部，则GPS单元60或运动传感器获取与用户的头部的位置有关的信息，并且姿态传感器64获取与旋转有关的信息头部(S60)。与位置和旋转相关的信息被传输到全景图像生成装置700。
全景图像产生设备700的坐标变换单元740根据所获取的与用户头部的位置和旋转相关的信息，改变用于观看全景图像的视点位置和视线方向(S70)。处理返回到步骤S10，在步骤S10，全景图像处理单元750生成全景图像，其中从新的视点位置在新的视线方向上观看全景图像。此后，重复步骤S20至S70的处理。
图10是示出由全景图像处理单元750生成的全景图像的示例的视图。该示例是其在水平方向上的视角为180度的图像。
图11的(a)和图11的(b)是示出图10的全景图像以普通的传输格式传输到头戴式显示单元100，并由头戴式显示单元100再现以进行比较。
图11的(a)示出了通过普通传输格式压缩图10的全景图像的方式。图像在其中心区域和周边区域中被均匀地压缩。如果以这种方式通过普通传输格式压缩的图像被解压缩并显示在头戴式显示单元100上，则整体图像模糊，并且类似于图像的外围区域中的分辨率，图像的中心区域中的分辨率劣化，如图11的(b)所示。
图12的(a)和图12的(b)是示出另一种情况的视图，其中图10的全景图像以本实施例的宽视角图像传输格式传送到头戴式显示单元，并在头戴式显示单元上再现。
图12的(a)示出了转换为传输格式的图像之后图10的全景图像，其中调整角分辨率以使其均匀，而不管朝向视点的光线方向如何。压缩图像，使得图像的中心区域中的分辨率高于图像的外围区域中的分辨率。如果通过图12的(a)的传输格式压缩的图像解压并且在头戴式显示单元100上显示，虽然与中心区域相比周围区域模糊，但是中心区域不模糊，因为像素密度高，如图12的(b)所示。这适合于在头戴式显示单元100上显示。
如上所述，根据本实施例，图像生成装置以不依赖于每个单独的头戴式显示装置的光学特性的公共传输格式生成宽视角图像，并将宽视角图像传输到头戴式显示单元，并且头戴式显示单元根据其光学特性转换图像。因此，不需要根据各个头戴式显示装置的特性来生成图像。因此，能够实现不依赖于头戴式显示装置的宽视场角图像的生成处理。
此外，通过使用响应于朝向视点的光线方向调整角分辨率的宽视角图像传输格式，可以提供适合于任何类型的头戴式显示单元的宽视角图像。在其中以将整个图像被均匀压缩的传统传输格式由图像生成装置生成的宽视角图像被传输到头戴式显示单元的情况下，如果宽视角图像被显示在头戴式显示单元上，那么在图像的中心区域中明显画面质量劣化。然而，对于本实施例，由于响应于朝向视点的光线方向来调整角分辨率，所以可以使图像的中心区域中的分辨率与图像的周围区域相比较高，并且可以避免画面质量在图像的中心区域的劣化。
已经参照实施例描述了本发明。该实施例是示例性的，并且本领域技术人员可以认识到，可以在组件和过程的组合中进行各种修改，并且这样的修改仍然在本发明的范围内。描述这种修改。
虽然在前面的描述中，描述了在头戴式显示单元上显示宽视角图像的实施例，但是在宽视角图像显示在普通桌面型或墙壁的显示单元上的情况，本实施例的图像生成方法可以用于将图像的格式转换成其中图像的角分辨率适合于人类的眼睛的特性的格式。用于响应于朝向视点的光线方向调整角分辨率的技术在全景图像显示在水平伸长或垂直伸长的显示单元上的情况下也是有效的。
附图标记说明：
10控制单元，20输入接口，30输出接口，32背光，40通信控制单元，42网络适配器，44天线，50存储单元，60GPS单元，62无线单元，64姿态传感器，70外部输入/输出端子接口，72外部存储器，80时钟单元，90图像转换单元，100头戴式显示单元，110主体单元，120前头部接触单元，130侧头部接触单元，200游戏机，700全景图像生成装置，710变焦指示获取单元，720灵敏度调节单元，730位置和旋转信息获取单元，740坐标变换单元，750全景图像处理单元，760全景图像存储单元，770图像提供单元，780图像转换单元。
[工业实用性]
本发明可以应用于生成宽视角图像的技术。

Claims (9)

1.一种图像生成装置，包括：
坐标变换单元，被配置为根据从头戴式显示单元获取的用户的头部的位置和旋转的信息来更新所述用户的视点位置和视线方向，并且执行坐标变换用于生成要在所述头戴式显示单元上显示的宽视角的图像；
图像生成单元，被配置为根据通过所述坐标变换单元的坐标变换，生成从更新的视点位置在更新的视线方向上看到并且要被传输到所述头戴式显示单元的宽视角的图像；以及
图像转换单元，被配置为将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率，
其中，所述传输格式包括能够根据朝向所述视点的光线方向调整角分辨率的可变参数。
2.根据权利要求1所述的图像生成装置，其中，所述图像转换单元将所生成的图像转换为透射格式的图像，其中，调整所述角分辨率以使其均匀，与朝向所述视点的光线方向无关。
3.根据权利要求1所述的图像生成装置，其中，所述图像转换单元将所生成的图像转换为传输格式的图像，其中，调整所述角分辨率，使得从相对位置朝向所述视点的光线方向上的角分辨率高于从倾斜位置朝向视点的光线方向上的角分辨率。
4.根据权利要求1至3中任一项所述的图像生成装置，其中，所生成的图像是要传输到头戴式显示单元的宽视角的图像，并且所述传输格式是不依赖于每个单独的头戴式显示单元的光学特性的通用格式。
5.一种图像生成装置，包括：
坐标变换单元，被配置为根据从头戴式显示单元获取的用户的头部的位置和旋转的信息来更新所述用户的视点位置和视线方向，并且执行坐标变换用于生成要在所述头戴式显示单元上显示的宽视角的图像；
光线跟踪单元，被配置为在相反方向上跟踪指向更新的视点位置的光线，以渲染根据通过所述坐标变换单元的坐标变换从更新的视点位置在更新的视线方向上看到并且要被传输到所述头戴式显示单元的宽视角的图像；
所述光线跟踪单元以传输格式生成图像，其中，响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率，
其中，所述传输格式包括能够根据朝向所述视点的光线方向调整角分辨率的可变参数。
6.一种图像生成方法，包括：
坐标变换步骤，根据从头戴式显示单元获取的用户的头部的位置和旋转的信息来更新所述用户的视点位置和视线方向，并且执行坐标变换用于生成要在所述头戴式显示单元上显示的宽视角的图像；
图像生成步骤，根据通过所述坐标变换步骤的坐标变换，生成从更新的视点位置在更新的视线方向上看到并且要被传输到所述头戴式显示单元的宽视角的图像；以及
图像转换步骤，将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率，
其中，所述传输格式包括能够根据朝向所述视点的光线方向调整角分辨率的可变参数。
7.一种图像生成方法，包括：
坐标变换步骤，根据从头戴式显示单元获取的用户的头部的位置和旋转的信息来更新所述用户的视点位置和视线方向，并且执行坐标变换用于生成要在所述头戴式显示单元上显示的宽视角的图像；
光线跟踪步骤，在相反方向上跟踪进入更新的视点位置的光线，以渲染根据通过所述坐标变换步骤的坐标变换从更新的视点位置在更新的视线方向上看到并且要被传输到所述头戴式显示单元的宽视角的图像；
所述光线跟踪步骤以传输格式生成图像，其中，响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率，
其中，所述传输格式包括能够根据朝向所述视点的光线方向调整角分辨率的可变参数。
8.一种计算机可读记录介质，其上记录程序，所述程序用于使计算机执行：
坐标变换步骤，根据从头戴式显示单元获取的用户的头部的位置和旋转的信息来更新所述用户的视点位置和视线方向，并且执行坐标变换用于生成要在所述头戴式显示单元上显示的宽视角的图像；
图像生成步骤，根据通过所述坐标变换步骤的坐标变换，生成从更新的视点位置在更新的视线方向上看到并且要被传输到所述头戴式显示单元的宽视角的图像；以及
图像转换步骤，将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率，
其中，所述传输格式包括能够根据朝向所述视点的光线方向调整角分辨率的可变参数。
9.一种计算机可读记录介质，其上记录程序，所述程序用于使计算机执行：
坐标变换步骤，根据从头戴式显示单元获取的用户的头部的位置和旋转的信息来更新所述用户的视点位置和视线方向，并且执行坐标变换用于生成要在所述头戴式显示单元上显示的宽视角的图像；
光线跟踪步骤，在相反方向上跟踪进入更新的视点位置的光线，以渲染根据通过所述坐标变换步骤的坐标变换从更新的视点位置在更新的视线方向上看到并且要被传输到所述头戴式显示单元的宽视角的图像；
所述光线跟踪步骤以传输格式生成图像，其中，响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率，
其中，所述传输格式包括能够根据朝向所述视点的光线方向调整角分辨率的可变参数。
CN201580035107.2A 2014-07-03 2015-06-26 图像生成装置和图像生成方法 Active CN106663336B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014137819A JP5920897B2 (ja) 2014-07-03 2014-07-03 画像生成装置および画像生成方法
JP2014-137819 2014-07-03
PCT/JP2015/068526 WO2016002657A1 (ja) 2014-07-03 2015-06-26 画像生成装置および画像生成方法

Publications (2)

Publication Number Publication Date
CN106663336A CN106663336A (zh) 2017-05-10
CN106663336B true CN106663336B (zh) 2020-11-06

Family

ID=55019194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580035107.2A Active CN106663336B (zh) 2014-07-03 2015-06-26 图像生成装置和图像生成方法

Country Status (5)

Country Link
US (1) US9939890B2 (zh)
EP (1) EP3166080A4 (zh)
JP (1) JP5920897B2 (zh)
CN (1) CN106663336B (zh)
WO (1) WO2016002657A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869110B (zh) * 2016-03-28 2018-09-28 腾讯科技（深圳）有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置
CN109845274B (zh) * 2016-10-25 2021-10-12 索尼公司 发送设备、发送方法、接收设备和接收方法
EP3315907A1 (de) * 2016-10-27 2018-05-02 Leica Geosystems AG Verfahren zur visuellen darstellung von scandaten
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
US20220092332A1 (en) * 2017-04-16 2022-03-24 Facebook, Inc. Systems and methods for provisioning content
WO2018214063A1 (zh) * 2017-05-24 2018-11-29 深圳迈瑞生物医疗电子股份有限公司 超声设备及其三维超声图像显示方法
WO2019082510A1 (ja) * 2017-10-23 2019-05-02 ソニー株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム
JP6923959B2 (ja) 2018-02-09 2021-08-25 国立大学法人福井大学 網膜走査型表示部を用いた画像表示装置およびその方法
EP3691249A1 (en) * 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
US10963365B2 (en) * 2019-03-20 2021-03-30 Electronic Arts Inc. System for testing command execution latency within an application
US11020658B2 (en) * 2019-03-20 2021-06-01 Electronic Arts Inc. System for testing command execution latency within a video game

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01252993A (ja) * 1988-04-01 1989-10-09 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法
JPH04293375A (ja) * 1991-03-22 1992-10-16 A T R Shichiyoukaku Kiko Kenkyusho:Kk 映像表示システム
JPH05108036A (ja) * 1991-10-18 1993-04-30 Sony Corp 表示装置
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
JP6099336B2 (ja) * 2011-09-14 2017-03-22 株式会社半導体エネルギー研究所 発光装置
CN105974587B (zh) * 2011-11-24 2018-09-28 松下知识产权经营株式会社 头戴式显示器装置
JP5891131B2 (ja) 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Also Published As

Publication number Publication date
JP2016015683A (ja) 2016-01-28
WO2016002657A1 (ja) 2016-01-07
JP5920897B2 (ja) 2016-05-18
CN106663336A (zh) 2017-05-10
EP3166080A4 (en) 2018-03-21
US20170160796A1 (en) 2017-06-08
US9939890B2 (en) 2018-04-10
EP3166080A1 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106663336B (zh) 图像生成装置和图像生成方法
US11592668B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
CN110488977B (zh) 虚拟现实显示方法、装置、系统及存储介质
US9858643B2 (en) Image generating device, image generating method, and program
US20210350762A1 (en) Image processing device and image processing method
WO2017086263A1 (ja) 情報処理装置および画像生成方法
US8976086B2 (en) Apparatus and method for a bioptic real time video system
KR20210130773A (ko) 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스
WO2019026765A1 (ja) レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
EP3321776B1 (en) Operation input device and operation input method
CN115857173A (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
JP2019040610A (ja) 情報処理装置
US11366315B2 (en) Image processing apparatus, method for controlling the same, non-transitory computer-readable storage medium, and system
JP2020167657A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
US20240137482A1 (en) Image generation device, program, image generation method, and image displaying system
CN117223050A (zh) 影像显示系统、信息处理方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant