CN108241213A - 头戴式显示器及其控制方法 - Google Patents

头戴式显示器及其控制方法 Download PDF

Info

Publication number
CN108241213A
CN108241213A CN201711398829.1A CN201711398829A CN108241213A CN 108241213 A CN108241213 A CN 108241213A CN 201711398829 A CN201711398829 A CN 201711398829A CN 108241213 A CN108241213 A CN 108241213A
Authority
CN
China
Prior art keywords
image data
data
output
frame
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711398829.1A
Other languages
English (en)
Other versions
CN108241213B (zh
Inventor
黄建宇
李常邻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Display Co Ltd
Original Assignee
LG Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Display Co Ltd filed Critical LG Display Co Ltd
Publication of CN108241213A publication Critical patent/CN108241213A/zh
Application granted granted Critical
Publication of CN108241213B publication Critical patent/CN108241213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/0286—Details of a shift registers arranged for use in a driving circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/0289—Details of voltage level shifters arranged for use in a driving circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本公开涉及头戴式显示器及其控制方法。一种头戴式显示器HMD可包括：传感器，该传感器被配置为测量所述HMD的运动；控制器，该控制器被配置为基于由所述传感器在第一时间点测量的第一感测信息来生成图像数据；以及显示装置，该显示装置被配置为对所生成的图像数据进行帧移位，并且将移位后的图像数据输出到显示面板。所述显示装置可使用由所述传感器在所述第一时间点之后的第二时间点测量的第二感测信息对所述图像数据进行帧移位，并且所述第二时间点可与所述控制器生成所述图像数据之后紧接在将所述图像数据输出到所述显示面板之前的时间点相对应。

Description

头戴式显示器及其控制方法
技术领域
本发明涉及一种头戴式显示器(HMD)及其控制方法，更具体地，涉及一种能够减少从感测到HMD的运动的时间点起直到图像被实际输出到显示器为止所需要的运动到运动延时的HMD及其控制方法。
背景技术
近来，随着信息技术(IT)的发展，头戴式显示器(HMD)已经成为日常生活中的一大议题。具体地，HMD可连接至各种程序和应用，并被用作在日常生活中执行必要功能的通信工具。
虚拟现实(VR)表示通过人体感知系统与通过计算机构建的虚拟空间之间的相互通信提供真实体验的技术，并且是指通过计算机创建的虚拟情境或环境。所创建的虚拟环境或情境刺激用户的感知，并使得用户能够具有与现实生活类似的时空体验，从而允许用户感觉到好像该经历实际在现实中正在发生一样。
当使用VR装置时，VR装置可允许用户感觉到VR更真实。因此，用户可在容易地穿越于现实生活与虚拟空间之间的界限的同时沉浸在VR世界中。此外，VR装置可用作用于控制VR世界中的用户的运动和体验的单元。由于VR装置可与VR世界中的对象交互，因此每个用户可具有不同的体验。
VR包括指示对象出现在用户的眼睛前面的临场(presence)的概念。临场提供了高度的沉浸感，以使得用户相信自己处于虚拟构建的非物理世界中。当形成临场体验时，会发生运动到运动延时。
运动到运动延时表示从用户开始运动的时刻起直到用户的运动被反映到实际画面中使得光子到达用户的眼睛为止所需要的时间。换句话说，运动到运动延时是指用户的眼睛移动与对应的画面更新之间的时间差。用于提供舒适的VR环境所需要的因素是使运动到运动延时最小化。
通常，当运动到运动延时等于或小于20ms时，用户识别不出运动到运动延时。
然而，例如，当运动到运动延时增加到50ms或更长时，用户可在使用戴在头上的HMD执行VR程序的同时感觉到恶心头晕(sim sickness)。此外，当运动到运动延时增加时，HMD对用户运动的响应会降低。
发明内容
各种实施方式针对一种HMD及其控制方法，该HMD能够使用于画面输出的运动到运动延时最小化，从而使不适感和恶心头晕最小化。
另外，各种实施方式针对一种HMD及其控制方法，该HMD能够使用通过多条感测信息计算的像素移位信息来对决定输入到显示器的图像数据的输出定时的数据应用信号进行移位，从而对输出到显示面板的图像数据进行帧移位。
本发明的其它目的和优点可通过下面的描述来理解，并且参照本发明的实施方式而变得显而易见。另外，对于本发明所属领域的技术人员而言显而易见的是，本发明的目的和优点可通过所要求保护的装置及其组合来实现。
随着图像数据的数量增加，常规HMD的运动到运动延时可能增加到50ms或更长，例如，图像对运动的响应可能降低，并且用户可能感觉到头晕恶心。
在一个实施方式中，一种HMD可包括：传感器，该传感器被配置为测量所述HMD的运动；控制器，该控制器被配置为基于由所述传感器在第一时间点测量的第一感测信息来生成图像数据；以及显示装置，该显示装置被配置为对所生成的图像数据进行帧移位，并且将帧移位后的图像数据输出到显示面板。所述显示装置可使用由所述传感器在所述第一时间点之后的第二时间点测量的第二感测信息对所述图像数据进行帧移位，并且所述第二时间点可与所述控制器生成所述图像数据之后紧接在将所述图像数据输出到所述显示面板之前的时间点相对应。
所述显示装置可包括：第一图像处理单元，该第一图像处理单元被配置为基于透镜校正信息去除图像数据中所包含的失真；帧移位单元，该帧移位单元被配置为基于像素移位信息生成用于对从所述第一图像处理单元输出的去除失真后的图像数据进行帧移位的信号；以及第二图像处理单元，该第二图像处理单元被配置为基于所述透镜校正信息对从所述帧移位单元输出的图像数据应用失真，以获得帧移位后的图像数据。
所述显示装置可包括：互补滤波器，该互补滤波器被配置为将从所述传感器输入的感测信息转换为欧拉角；以及角度像素转换单元，该角度像素转换单元被配置为使用所述欧拉角来计算像素移位信息。
所述帧移位单元可使用基于所述第一感测信息和所述第二感测信息计算的像素移位信息的向量值来对所述去除失真后的图像数据的位置进行帧移位。
所述显示面板可包括彼此交叉的数据线和选通线，并且所述显示装置可包括：数据驱动器，该数据驱动器被配置为将图像数据转换为数据电压并将所述数据电压输出到所述数据线；选通驱动器，该选通驱动器被配置为依次将与所述数据电压同步的选通脉冲输出到所述选通线；以及定时控制器，该定时控制器被配置为对输入到所述数据驱动器的图像数据进行补偿，并且控制输出定时。所述定时控制器可通过对决定输入到所述数据驱动器的所述图像数据的输出定时的数据应用信号进行移位，来对输出到所述显示面板的图像数据进行帧移位。
当所述数据应用信号在输入到所述数据驱动器的图像数据的单位时钟内移位时，输出到所述显示面板的所述图像数据可向左帧移位或向右帧移位。
当将所述数据应用信号移位输入到所述数据驱动器的图像数据的一个或更多个单位时钟时，输出到所述显示面板的图像数据可向上帧移位或向下帧移位。
所述第二时间点与所述第一时间点之间的时间间隔可等于所述控制器基于所述第一感测信息生成一个图像帧所需要的时间。
在另一实施方式中，一种用于控制HMD的方法可包括以下步骤：在第一时间点测量所述HMD的运动；基于在所述第一时间点测量的第一感测信息生成图像数据；在所述第一时间点之后的第二时间点测量所述HMD的运动；基于在所述第二时间点测量的第二感测信息，对通过所述第一感测信息生成的所述图像数据进行帧移位；以及将帧移位后的图像数据输出到显示面板。所述第二时间点可与生成所述图像数据之后紧接在将所述图像数据输出到所述显示面板之前的时间点相对应。
对通过所述第一感测信息生成的所述图像数据进行帧移位的步骤可包括：基于透镜校正信息去除图像数据中所包含的失真；基于像素移位信息对去除失真后的图像数据进行帧移位；以及基于所述透镜校正信息对帧移位并去除失真后的图像数据应用失真，以获得所述帧移位后的图像数据。
对通过所述第一感测信息生成的所述图像数据进行帧移位的步骤还可包括：将所述第一感测信息和所述第二感测信息转换成欧拉角；以及使用所述欧拉角来计算所述像素移位信息。
基于所述像素移位信息对所述去除失真后的图像数据进行帧移位的步骤可包括：使用基于所述第一感测信息和所述第二感测信息计算的像素移位信息的向量值来对所述去除失真后的图像数据的位置进行帧移位。
所述显示面板可包括彼此交叉的数据线和选通线，并且将帧移位后的图像数据输出到显示面板的步骤可包括：将所述图像数据转换为数据电压并将所述数据电压输出到所述数据线；依次将与所述数据电压同步的选通脉冲输出到所述选通线；以及对所述图像数据进行补偿并控制输出定时。控制输出定时的步骤可包括：通过对决定所述图像数据的输出定时的数据应用信号进行移位，来对输出到所述显示面板的图像数据进行帧移位。
当所述数据应用信号在所述图像数据的单位时钟内移位时，输出到所述显示面板的所述图像数据可向左帧移位或向右帧移位。
当将所述数据应用信号移位所述图像数据的一个或更多个单位时钟时，输出到所述显示面板的图像数据可向上帧移位或向下帧移位。
所述第二时间点与所述第一时间点之间的时间间隔可等于基于所述第一感测信息生成一个图像帧所需要的时间。
附图说明
图1是例示佩戴HMD的用户的运动的立体图。
图2是例示常规HMD的图像显示方法的框图。
图3是例示根据本发明的各种实施方式的HMD的框图。
图4是例示图3的显示装置的组件的框图。
图5是例示图4的定时控制器的组件的框图。
图6是用于描述根据本发明的实施方式的HMD的操作的框图。
图7是用于描述根据本发明的实施方式的HMD的操作的框图。
图8是用于描述根据本发明的实施方式的HMD的改进的图表。
图9和图10是用于描述根据本发明的实施方式的HMD的操作的定时图和照片。
图11和图12是用于描述根据本发明的另一实施方式的HMD的操作的定时图和照片。
图13是用于描述根据本发明的又一实施方式的HMD的操作的照片。
具体实施方式
将参照附图详细描述上述目的和优点，使得本发明所属领域的普通技术人员可容易地实现本发明的技术思想。此外，将取消对与公知功能或配置有关的详细描述，以免不必要地模糊本发明的主题。以下将参照附图描述本发明的示例性实施方式。在整个附图中，相同的附图标记表示相同或相似的组件。
以下，将参照附图描述根据本发明的实施方式的HMD及其控制方法。
图1是例示佩戴HMD的用户的运动的立体图。
参照图1，HMD 1000可固定到用户的头部，穿戴在用户的眼睛上，并且显示两个不同的图像。
用户的头部中心位于俯仰轴(pitch axe)、偏航轴(yaw axe)和滚动轴(roll axe)的三维(3D)中心点处。在3D坐标系统中，俯仰表示x轴旋转，偏航表示y轴旋转，而滚动表示z轴旋转。
用户佩戴的HMD 1000的运动可通过俯仰、偏航和滚动来表示。
图2是例示常规HMD的图像显示方法的框图。
参照图2，常规HMD计算用户在3D虚拟空间中随着用户的眼睛移动的角度，并显示对应的图像。
在步骤S110处，当用户的头部移动时，HMD使用嵌入在其中的跟踪系统中包括的多个传感器来获取关于运动的方位信息。此时，嵌入到跟踪系统中的传感器可包括陀螺仪、加速度传感器、磁传感器、一个或更多个摄像机、颜色传感器，并且可由运动传感器、位置传感器和方位传感器组成。
然后，在步骤S120处，HMD的控制器根据在HMD中执行的应用来执行操作。应用可包括操作系统或应用程序。例如，控制器可基于由传感器测量的数据来计算移动信息，移动信息包含用户移动的角度。然而，本发明不限于此。
然后，在步骤S130处，HMD的控制器实时生成与用户看到的方向对应的图像。例如，控制器可基于移动信息生成新的图像。
然后，在步骤S140处，控制器将所生成的图像输出到屏幕。
通常，在从传感器获取用户的运动之后，在HMD可以将与用户的运动对应的图像显示在屏幕上之前HMD需要预定的时间。此后，预定时间被称为运动到运动延时。
当运动到运动延时等于或小于20ms时，用户识别不出延时。然而，常规HMD具有50ms或更长的运动到运动延时，并且运动到运动延时可根据应用的复杂性进一步增加。
例如，当运动到运动延时增加到50ms或更长时，用户可在使用穿戴在用户头上的HMD执行VR程序的同时感觉到图像的不自然感和不协调感。在更糟糕的情况下，用户可能感觉到恶心头晕。
图3是例示根据本发明的各种实施方式的HMD的框图。
参照图3，根据本发明的实施方式的HMD 1000包括显示装置1100、控制器1200、传感器1300、无线通信器1400、接口1500、存储器1600和总线1700。
显示装置1100根据来自控制器1200的控制命令，在图4的显示面板400上显示处理后的图像数据。
显示装置1100可使用由传感器1300在第二时间点测量的第二感测信息，对基于由传感器1300在第一时间点测量的第一感测信息生成的图像数据进行帧移位。此时，第二时间点与控制器1200生成图像数据之后紧接在将图像数据输出到显示面板400之前的时间点相对应。
此时，第二时间点与第一时间点之间的时间间隔可等于控制器1200基于第一感测信息生成一个图像帧所需要的时间。然而，本发明不限于此，并且将更详细地描述该配置。
图4的显示面板400可由一个或更多个显示面板组成。例如，显示面板400可位于佩戴HMD的用户的完整眼睛之前。在这种情况下，显示面板400可使用比在远处的屏幕上显示相同图像时更低的分辨率来显示图像。
控制器1200可控制HMD 1000的所有组件的操作。
具体地，控制器1200基于由传感器1300测量的数据来计算位置信息，并且基于位置信息生成新的图像数据。所生成的图像数据可被发送到显示装置1100。控制器1200可包括中央处理单元(CPU)和图形处理单元(GPU)。
生成新的图像数据的操作可包括渲染和场景移位。渲染指示改变在帧中包括的图像的阴影、颜色和浓度中的一个或更多个。帧指示在通过视频帧播放视频的同时连续地显示场景的运动的每个图像的一个画面。
传感器1300感测HMD 1000的运动。
传感器1300包括用于生成运动数据、位置数据和方位数据的传感器。传感器1300可包括陀螺仪、加速度传感器、磁传感器、一个或更多个摄像机、颜色传感器，并且可由运动传感器、位置传感器和方位传感器组成。方位指示佩戴HMD 1000的用户观看事物的3D空间中的方向向量。
传感器1300可在相对高的频带上操作，以便提供高频的传感器数据。例如，传感器数据可按1,000Hz的频率生成。另选地，传感器1300可每一百万分之一秒执行一次感测。以这种方式，每秒可生成数千个传感器数据。但是，本发明不限于此。
无线通信器1400可执行将数据发送到通信网络或从通信网络接收数据的功能。无线通信器1400使用协议发送和接收数据。例如，无线通信器1400可与和HMD 1000结合操作的外部传感器或用户控制器无线地交换数据。
接口1500可接收用户的输入。接口1500可使用多个按钮、红外传感器、体感传感器等来接收用户的命令。但是，本发明不限于此。
存储器1600存储由控制器1200生成的图像数据。此外，存储器1600可存储由传感器1300测量的感测数据和关于显示装置1100中包括的透镜的透镜校正信息，并且将感测数据和透镜校正信息提供给控制器1200或显示装置1100。
存储器1600可包括易失性或非易失性存储器。存储器1600可用作临时存储所生成的图像数据的缓冲器。
总线1700可被用于在显示装置1100、控制器1200、传感器1300、无线通信器1400、接口1500和存储器1600当中执行的数据通信。在本发明的实施方式中，总线可具有多层结构。具体地，总线1700的示例可包括多层AHB(高级高性能总线)或多层AXI(高级可扩展接口)，但是本发明不限于此。
图4是例示图3的显示装置的组件的框图。
参照图4，根据本发明的实施方式的HMD 1000的显示装置1100包括定时控制器100、数据驱动器200、选通驱动器300和显示面板400。
定时控制器100接收RGB图像信号、时钟信号MCLK以及用于显示RGB图像信号的同步信号Hsync和Vsync。定时控制器100将补偿后的RGB图像信号R'、G'和B'输出到数据驱动器200。定时控制器100生成用于控制数据驱动器200和选通驱动器300的定时信号，并将定时信号输出到数据驱动器200和选通驱动器300。
定时控制器100将数据应用信号DE、水平同步起始信号STH和加载信号LOAD发送至数据驱动器200。
具体地，数据应用信号DE指示图像信号中的水平线的周期。例如，当图像信号具有1920×1080的分辨率时，数据应用信号DE可在输出一帧图像信号的同时被启用1080次。然而，本发明不限于此。
数据应用信号DE被用于对输入到数据驱动器200的图像数据进行帧移位。然而，在本发明中，输入到数据驱动器200的图像数据的输入定时被保持，但是数据应用信号DE可被移位以便对图像数据的输出画面进行移位。稍后将参照图9至图13更详细地描述该配置。
水平同步起始信号STH可被用于将输入到数据驱动器200的数据转换为模拟值，并将该模拟值应用于显示面板400。加载信号LOAD命令数据驱动器200加载数据信号。
定时控制器100向选通驱动器300输出选通时钟信号Gate clock、垂直同步起始信号STV和数据使能信号OE。选通时钟信号Gate clock用于设置施加到选通线的选通导通信号的周期，垂直同步起始信号STV用于命令选通导通信号的开始，并且数据使能信号OE用于启用选通驱动器300的输出。
定时控制器100可补偿RGB图像信号R、G和B，并将补偿后的RGB图像信号R'、G'和B'发送至数据驱动器200。
数据驱动器200从定时控制器100接收补偿后的RGB数字数据R'、G'和B'，并将接收到的数据存储在其中。然后，当施加了加载信号LOAD时，数据驱动器200选择与相应数字数据对应的电压，并且将数据信号V1至Vn(未示出)发送至显示面板400。
选通驱动器300包括移位寄存器、电平移位器和缓冲器等。选通驱动器300从定时控制器100接收选通时钟信号Gate clock和垂直同步起始信号STV，从选通驱动电压发生器(未示出)或定时控制器100接收电压Von、Voff和Vcom(未示出)，并且使显示面板400上的薄膜晶体管导通/截止以便将像素电压施加至像素或者阻挡像素电压的施加。
显示面板400包括n条数据线、与数据线垂直布置的m条选通线以及在数据线与选通线之间以格子形状布置的多个区域。显示面板400包括薄膜晶体管和像素电极，薄膜晶体管各自具有连接至对应的选通线的第一端子、连接至对应的数据线的第二端子，以及连接至对应的像素电极的第三端子。在显示面板400中，从选通驱动器300提供的选通电压G1到Gm(未示出)被施加至对应的像素列。在这种情况下，对应像素列的薄膜晶体管被启用。通过该处理，从数据驱动器200提供的数据电压D1至Dn(未示出)被施加至显示面板400的对应像素电极
图5是例示图4的定时控制器的组件的框图。
参照图5，根据本发明的实施方式的定时控制器100包括操作控制器110、第一存储器120、第二存储器125、互补滤波器130、角度像素转换单元140、存储控制器145、第一图像处理单元150、帧移位单元160和第二图像处理单元170。
操作控制器110从传感器1300接收感测信息。操作控制器110基于接收到的感测信息生成图像数据。例如，操作控制器110基于由传感器1300在第一时间点测量的第一感测信息生成图像数据。
第一存储器120可接收关于与显示面板400联接的透镜模块的透镜校正信息，并存储透镜校正信息。透镜校正信息可被用于根据透镜的光学结构使图像数据失真或去除失真。
失真可包括广角透镜的失真，并且在图像的视角被过度夸大的同时使图像失真时发生失真。然而，本发明不限于此。
第一存储器120可包括非易失性存储器。第一存储器120可存储指示角度与像素之间的关系的查找表LUT，并将查找表LUT提供给角度像素转换单元140。
第二存储器125可从第一存储器120接收透镜校正信息。透镜校正信息可包括关于与显示面板400联接的透镜模块的放大率信息。
第二存储器125可包括易失性存储器并且用作高速缓存存储器。然而，本发明不限于此。
第二存储器125可从存储控制器145接收控制信号，并且将透镜校正信息发送至第一图像处理单元150和第二图像处理单元170。
互补滤波器130可从操作控制器110接收由传感器1300测量的感测信息，并且将感测信息转换成欧拉角。具体地，感测信息可包括由加速度传感器测量的加速度信息、由陀螺仪传感器测量的数据以及由地磁传感器测量的数据。
欧拉角指示用于表示围绕3C空间上的固定点旋转的刚体的方位的三个角度。
角度像素转换单元140从互补滤波器130接收欧拉角，并且基于欧拉角计算像素移位信息。此时，角度像素转换单元140可使用从第一存储器120接收到的查找表LUT来计算像素移位信息。
存储控制器145可生成用于控制第二存储器125的操作的控制信号并将其提供给第二存储器125。例如，存储控制器145可控制存储在第二存储器125中的透镜校正信息被输入到第一图像处理单元150和第二图像处理单元170的定时。然而，本发明不限于此。
第一图像处理单元150可从第二存储器125接收透镜校正信息，并接收一帧的图像数据。第一图像处理单元150可基于透镜校正信息来去除输入图像数据中所包含的失真。
帧移位单元160可接收由角度像素转换单元140计算的像素位移信息。帧移位单元160可基于像素移位信息来生成对从第一图像处理单元150接收的并且去除了失真的图像数据进行帧移位的信号。
此时，帧移位单元160可使用基于在第一时间点测量的第一感测信息和在第二时间点测量的第二感测信息所计算的像素移位信息的向量值来对图像数据进行移位。
更具体地，帧移位单元160可通过对决定输入到图4的数据驱动器200的图像数据的输出定时的数据应用信号DE进行移位，来对输出到显示面板400的图像数据进行帧移位。数据应用信号DE从定时控制器100被发送至数据驱动器200。稍后将参照图9至图13更详细地描述该配置。
第二图像处理单元170可从第二存储器125接收透镜校正信息，并且从帧移位单元160接收帧移位后的图像数据。第二图像处理单元170可基于透镜校正信息对输入图像数据应用失真。
第二图像处理单元170可将应用了失真的图像数据发送至图4的数据驱动器200。
图6是例示根据本发明的实施方式的HMD的操作的框图。
参照图6，在步骤S210处，根据本发明的实施方式的HMD接收由传感器1300测量的数据，并且互补地处理接收到的数据。例如，传感器1300可包括六轴陀螺仪传感器，并且由六轴陀螺仪传感器测量的感测信息可包含关于ax、ay、az、gx、gy和gz轴的数据。然而，本发明不限于此。
在步骤S220处，互补滤波器130将接收到的感测信息转换成欧拉角。
然后，在步骤S230处，角度像素转换单元140基于欧拉角来计算像素移位信息。此时，角度像素转换单元140可使用从第一存储器120接收到的查找表LUT来计算像素移位信息。
具体地，角度像素转换单元140基于在第一时间点测量的第一感测信息和在第二时间点测量的第二感测信息来计算包含像素移位信息的向量值的像素移位量。关于计算出的像素移位量的像素移位信息被发送至帧移位单元160。
在步骤S240处，第一图像处理单元150可基于接收到的透镜校正信息来去除输入图像数据中所包含的失真。
然后，在步骤S250处，帧移位单元160可基于像素移位信息生成对从第一图像处理单元150接收到的图像数据进行帧移位的信号。此时，帧移位单元160可通过对决定输入到图4的数据驱动器200的图像数据的输出定时的数据应用信号DE进行移位，来对输出到显示面板400的图像数据进行帧移位。
然后，在步骤S260处，第二图像处理单元170可基于透镜校正信息对输入图像数据应用失真。通过该操作，可将光学透镜的失真应用于帧移位后的图像数据，并且可输出考虑了在第二时间点测量的第二感测信息的图像数据。
图7是用于描述根据本发明的实施方式的HMD的操作的框图。图8是用于描述根据本发明的实施方式的HMD的改进的图表。
参照图7，当基于在第一时间点A处测量的第一感测信息来计算新的图像数据时，计算消耗了诸如游戏和OS这样的应用所需要的时间(例如，游戏5ms，OS 15ms)，GPU所需要的时间(例如，17ms)和显示所需要的时间(例如，16.7ms)。也就是说，用于完全显示基于在第一时间点A处测量的第一感测信息的新图像数据所需要的时间可以是约55.7ms，并且被设置为HMD的运动到运动延时。
根据本发明的实施方式的HMD使用在第一时间点A处测量的第一感测信息和在第二时间点B处测量的第二感测信息来计算像素移位信息。此时，像素移位信息包含像素移位向量值。
然后，HMD使用像素移位信息对图像数据进行帧移位。
图8的<A>例示了不使用第二感测信息的常规HMD的操作。当常规HMD仅使用在第一时间点A处测量的第一感测信息来生成图像数据时，出现约55.7ms的运动到运动延时。
另一方面，图8的<B>例示了根据本发明的实施方式的HMD的操作。当使用在第二时间点B，例如，在生成图像数据之后紧接在将图像数据输出到显示面板之前的39ms的时间点处测量的第二感测信息时，HMD可计算图像数据的像素移位向量。此时，第二时间点B可与在生成图像数据之后紧接在输出图像数据之前的时间点相对应，例如，从第一时间点开始经过39ms的时间点。
通过这个操作，根据本实施方式的HMD可将延时误差改进相当大一部分。也就是说，根据本实施方式的HMD可在屏幕上显示图像数据，该图像数据仅具有例如用于显示所需要的约16.7ms的运动到运动延时。
通过减少运动到运动延时，HMD可确保高响应，并实现更自然的VR画面。此外，当用户使用HMD体验VR程序时，HMD可减少用户可能感觉到的恶心头晕。
图9和图10是用于描述根据本发明的实施方式的HMD的操作的定时图和照片。
图9的<A>和<B>例示了根据本发明的实施方式的用于HMD操作的同步信号Vsync、数据应用信号DE和数据信号DATA。
此时，数据应用信号DE在同步信号Vsync中的后沿与前沿之间的裕量量内生成。然而，本发明不限于此。
数据应用信号DE的每个时钟用于输出图像数据的一个水平线。例如，在数据应用信号DE的第一时钟处输出图像数据的第一水平线L1，并且在数据应用信号DE的第二时钟处输出图像数据的第二水平线L2。
参照图9的<A>，数据应用信号DE和数据信号DATA的起点彼此相等。例如，数据应用信号DE和数据信号DATA可在第一时间点t1开始。因此，参照图10A，图像数据被输出在显示面板上而没有损失。
然而，参照图9的<B>，数据应用信号DE和数据信号DATA的起点彼此不同。数据应用信号DE可能在数据信号DATA的单位时钟内移位。在这种情况下，在显示面板上输出的图像数据可向左帧移位或向右帧移位。
例如，数据信号DATA可在第一时间点t1开始，而数据应用信号DE可在第二时间点t2开始。此时，参照图10的<B>，图像数据可向左移位，间隔S1可对应于第一时间点t1与第二时间点t2之间的差。然而，本发明不限于此。当数据应用信号DE在数据信号DATA被固定的同时在单位时钟内向左移位或向右移位时，输出图像数据也可向左帧移位或向右帧移位。
图11和12是用于描述根据本发明的另一实施方式的HMD的操作的定时图和照片。为了便于描述，在此省略了与上述实施方式相同的组件的重复描述，并且下面的描述将集中于它们之间的差异上。
图11的<A>和<B>例示了根据本发明的实施方式的用于HMD的操作的同步信号Vsync、数据应用信号DE和数据信号DATA。
参照图11的<A>，数据应用信号DE和数据信号DATA的起点彼此相等。例如，数据应用信号DE和数据信号DATA可在第一时间点t1开始。因此，参照图12的<A>，图像数据被输出在显示面板上而没有损失。
然而，参照图11的<B>，数据应用信号DE和数据信号DATA的起点彼此不同。数据应用信号DE可被移位数据信号DATA的一个或更多个单位时钟。然而，在这种情况下，数据应用信号DE的上升沿可与数据信号DATA的上升沿一致。此外，在显示面板上输出的图像数据可向上帧移位或向下帧移位。
例如，数据应用信号DE可在第三时间点t3开始，而数据信号DATA可在第四时间点t4开始。此时，参照图12的<B>，图像数据可向下帧移位。然而，本发明不限于此。当数据应用信号DE在数据信号DATA被固定的同时与数据信号DATA同步地向左或向右移位一个或更多个单位时钟时，输出图像数据可向上或向下帧移位。
图13是用于描述根据本发明的又一实施方式的HMD的操作的照片。为了便于描述，这里省略了与上述实施方式相同的组件的重复描述，并且下面的描述将集中于它们之间的差异上。
图13的<A>和<B>是用于描述根据本发明的实施方式的HMD的操作的照片。参照图13的<A>和<B>，输入到HMD的图像数据的大小R可大于在显示面板上显示的图像的大小P。
尽管在附图中没有清楚地示出，但是当数据应用信号DE被移位时，图像数据可向左或向右帧移位或者向上或向下帧移位。然而，由于输入图像数据的尺寸R大于在显示面板上显示的图像的尺寸P，因此即使图像数据进行了帧移位，在显示面板上显示的图像也可不进行切割或者不被处理为黑色。但是，本发明不限于此。
换句话说，根据本发明的实施方式的HMD可通过对数据应用信号DE进行移位来对输出图像数据进行帧移位。通过该操作，HMD可使用现有组件减少了用于显示画面所需要的运动到运动延时，从而不仅降低了用于减少运动到运动延时所需要的成本，而且还提高了操作性能。
根据本发明的实施方式，HMD可使用在第一时间点测量的第一感测信息来生成图像数据，并且使用在紧接在图像数据被输出到显示面板之前的第二时间点测量的第二感测信息来对图像数据进行帧移位，从而减少了输出图像数据的延时误差。通过这个操作，HMD可确保高响应。
此外，HMD可输出具有短的运动到运动延时的VR画面，从而实现更自然的VR画面。当执行VR程序时，HMD可减少用户可能感觉到的恶心头晕。
此外，由于HMD可使用现有组件来减少运动到运动延时，因此可在不增加制造成本的情况下提高操作性能。
虽然以上已经描述了各种实施方式，但是本领域技术人员将理解的是，所描述的实施方式仅仅是示例性的。因此，在此描述的公开不应该基于所描述的实施方式被限制。

Claims (18)

1.一种头戴式显示器HMD，该HMD包括：
传感器，该传感器被配置为测量所述HMD的运动；
控制器，该控制器被配置为基于由所述传感器在第一时间点测量的第一感测信息来生成图像数据；以及
显示装置，该显示装置被配置为对所生成的图像数据进行帧移位，并且将帧移位后的图像数据输出到显示面板，
其中，所述显示装置使用由所述传感器在所述第一时间点之后的第二时间点测量的第二感测信息对所述图像数据进行帧移位，并且
所述第二时间点与所述控制器生成所述图像数据之后紧接在将图像数据输出到所述显示面板之前的时间点相对应。
2.根据权利要求1所述的HMD，其中，所述显示装置包括：
第一图像处理单元，该第一图像处理单元被配置为基于透镜校正信息去除所述图像数据中所包含的失真；
帧移位单元，该帧移位单元被配置为基于像素移位信息来生成用于对从所述第一图像处理单元输出的去除失真后的图像数据进行帧移位的信号；以及
第二图像处理单元，该第二图像处理单元被配置为基于所述透镜校正信息对从所述帧移位单元输出的图像数据应用失真，以获得所述帧移位后的图像数据。
3.根据权利要求2所述的HMD，其中，所述显示装置包括：
互补滤波器，该互补滤波器被配置为将从所述传感器输入的感测信息转换为欧拉角；以及
角度像素转换单元，该角度像素转换单元被配置为使用所述欧拉角来计算所述像素移位信息。
4.根据权利要求2所述的HMD，其中，所述帧移位单元使用基于所述第一感测信息和所述第二感测信息计算的像素移位信息的向量值来对所述去除失真后的图像数据的位置进行帧移位。
5.根据权利要求1所述的HMD，其中，所述显示面板包括彼此交叉的数据线和选通线，并且
所述显示装置包括：
数据驱动器，该数据驱动器被配置为将所述图像数据转换为数据电压并将所述数据电压输出到所述数据线；
选通驱动器，该选通驱动器被配置为依次将与所述数据电压同步的选通脉冲输出到所述选通线；以及
定时控制器，该定时控制器被配置为对输入到所述数据驱动器的图像数据进行补偿，并且控制输出定时，
其中，所述定时控制器通过对决定输入到所述数据驱动器的图像数据的输出定时的数据应用信号进行移位，来对输出到所述显示面板的图像数据进行帧移位。
6.根据权利要求5所述的HMD，其中，当所述数据应用信号在输入到所述数据驱动器的图像数据的单位时钟内移位时，输出到所述显示面板的图像数据向左帧移位或向右帧移位。
7.根据权利要求5所述的HMD，其中，当将所述数据应用信号移位以输入到所述数据驱动器的图像数据的一个或更多个单位时钟时，输出到所述显示面板的图像数据向上帧移位或向下帧移位。
8.根据权利要求1所述的HMD，其中，所述第二时间点与所述第一时间点之间的时间间隔等于所述控制器基于所述第一感测信息生成一个图像帧所需要的时间。
9.根据权利要求1所述的HMD，其中，由所述图像数据表示的图像的尺寸大于在所述显示面板上显示的图像的尺寸。
10.一种用于控制头戴式显示器HMD的方法，该方法包括以下步骤：
在第一时间点测量所述HMD的运动；
基于在所述第一时间点测量的第一感测信息生成图像数据；
在所述第一时间点之后的第二时间点测量所述HMD的运动；
基于在所述第二时间点测量的第二感测信息，对通过所述第一感测信息生成的所述图像数据进行帧移位；以及
将帧移位后的图像数据输出到显示面板，
其中，所述第二时间点与生成所述图像数据之后紧接在将所述图像数据输出到所述显示面板之前的时间点相对应。
11.根据权利要求10所述的方法，其中，对通过所述第一感测信息生成的所述图像数据进行帧移位的步骤包括：
基于透镜校正信息去除所述图像数据中所包含的失真；
基于像素移位信息对去除失真后的图像数据进行帧移位；以及
基于所述透镜校正信息对帧移位且去除失真后的图像数据应用失真，以获得所述帧移位后的图像数据。
12.根据权利要求11所述的方法，其中，对通过所述第一感测信息生成的所述图像数据进行帧移位的步骤还包括：
将所述第一感测信息和所述第二感测信息转换成欧拉角；以及
使用所述欧拉角来计算所述像素移位信息。
13.根据权利要求11所述的方法，其中，基于所述像素移位信息对所述去除失真后的图像数据进行帧移位的步骤包括：使用基于所述第一感测信息和所述第二感测信息计算的像素移位信息的向量值来对所述去除失真后的图像数据的位置进行帧移位。
14.根据权利要求10所述的方法，其中，所述显示面板包括彼此交叉的数据线和选通线，并且
将帧移位后的图像数据输出到显示面板的步骤包括：
将所述图像数据转换为数据电压并将所述数据电压输出到所述数据线；
依次将与所述数据电压同步的选通脉冲输出到所述选通线；以及
对所述图像数据进行补偿并控制输出定时，
其中，控制输出定时的步骤包括：通过对决定所述图像数据的输出定时的数据应用信号进行移位，来对输出到所述显示面板的图像数据进行帧移位。
15.根据权利要求14所述的方法，其中，当所述数据应用信号在所述图像数据的单位时钟内移位时，输出到所述显示面板的图像数据向左帧移位或向右帧移位。
16.根据权利要求14所述的方法，其中，当将所述数据应用信号移位以所述图像数据的一个或更多个单位时钟时，输出到所述显示面板的图像数据向上帧移位或向下帧移位。
17.根据权利要求10所述的方法，其中，所述第二时间点与所述第一时间点之间的时间间隔等于基于所述第一感测信息生成一个图像帧所需要的时间。
18.根据权利要求10所述的方法，其中，由所述图像数据表示的图像的尺寸大于在所述显示面板上显示的图像的尺寸。
CN201711398829.1A 2016-12-26 2017-12-22 头戴式显示器及其控制方法 Active CN108241213B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0178860 2016-12-26
KR1020160178860A KR20180075732A (ko) 2016-12-26 2016-12-26 헤드 마운티드 디스플레이 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN108241213A true CN108241213A (zh) 2018-07-03
CN108241213B CN108241213B (zh) 2020-08-11

Family

ID=62509987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711398829.1A Active CN108241213B (zh) 2016-12-26 2017-12-22 头戴式显示器及其控制方法

Country Status (5)

Country Link
US (1) US10515573B2 (zh)
JP (1) JP6595570B2 (zh)
KR (1) KR20180075732A (zh)
CN (1) CN108241213B (zh)
DE (1) DE102017130581A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639577A (zh) * 2018-08-06 2021-04-09 威尔乌集团 基于应用程序渲染性能的预测和限流调整

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109691096A (zh) * 2016-09-23 2019-04-26 夏普株式会社 显示装置以及显示装置的控制方法
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
US10762691B2 (en) * 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
EP3594166B1 (de) * 2018-07-13 2024-01-24 EPSILON Kran GmbH. Kransteuerung mit visualisierungsvorrichtung
US10997884B2 (en) 2018-10-30 2021-05-04 Nvidia Corporation Reducing video image defects by adjusting frame buffer processes
KR102629441B1 (ko) * 2018-12-11 2024-01-24 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
KR102087841B1 (ko) * 2018-12-19 2020-03-12 주식회사 라온텍 패널 타임 워프를 갖는 ar/vr/mr 시스템용 디스플레이 유닛
CN109743626B (zh) 2019-01-02 2022-08-12 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN109696747B (zh) * 2019-01-16 2022-04-12 京东方科技集团股份有限公司 一种vr显示装置及其控制方法
FR3098629B1 (fr) * 2019-07-12 2021-08-13 Aledia Système de visualisation d’images et procédé de commande
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11195498B2 (en) 2020-01-15 2021-12-07 Charter Communications Operating, Llc Compensating for latency in a streaming virtual reality environment
CN112992247A (zh) * 2021-03-05 2021-06-18 京东方科技集团股份有限公司 移位寄存单元、移位寄存器、显示面板及其驱动方法
KR20220156331A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 이미지 지연을 보정하기 위한 전자 장치 및 방법
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
CN102213832A (zh) * 2010-04-08 2011-10-12 索尼公司 头部安装型显示器及其光学位置调整方法
CN103777914A (zh) * 2012-10-22 2014-05-07 欧丽安株式会社 用于缓冲多显示环境中显示设备之间的信号延迟的装置和方法
CN105359063A (zh) * 2013-06-09 2016-02-24 索尼电脑娱乐公司 利用追踪的头戴式显示器
WO2016098591A1 (ja) * 2014-12-15 2016-06-23 株式会社島津製作所 ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
JP2004109994A (ja) 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
JP2006323255A (ja) 2005-05-20 2006-11-30 Nippon Telegr & Teleph Corp <Ntt> 表示装置
JP4734640B2 (ja) 2006-02-10 2011-07-27 国立大学法人岐阜大学 仮想現実画像表示装置
JP4857196B2 (ja) * 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
JP5047090B2 (ja) 2008-07-31 2012-10-10 キヤノン株式会社 システム
KR101289653B1 (ko) 2008-12-26 2013-07-25 엘지디스플레이 주식회사 액정표시장치
GB201208088D0 (en) 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
GB201303707D0 (en) * 2013-03-01 2013-04-17 Tosas Bautista Martin System and method of interaction for mobile devices
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP5786910B2 (ja) 2013-08-29 2015-09-30 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
US9824498B2 (en) 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US10789892B2 (en) * 2015-03-11 2020-09-29 Facebook Technologies, Llc Dynamic illumination persistence for organic light emitting diode display device
JP2017124079A (ja) * 2016-01-15 2017-07-20 セイコーエプソン株式会社 表示方法、スイング解析装置、スイング解析システム、スイング解析プログラム、および記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
CN102213832A (zh) * 2010-04-08 2011-10-12 索尼公司 头部安装型显示器及其光学位置调整方法
CN103777914A (zh) * 2012-10-22 2014-05-07 欧丽安株式会社 用于缓冲多显示环境中显示设备之间的信号延迟的装置和方法
CN105359063A (zh) * 2013-06-09 2016-02-24 索尼电脑娱乐公司 利用追踪的头戴式显示器
WO2016098591A1 (ja) * 2014-12-15 2016-06-23 株式会社島津製作所 ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639577A (zh) * 2018-08-06 2021-04-09 威尔乌集团 基于应用程序渲染性能的预测和限流调整
CN112639577B (zh) * 2018-08-06 2023-06-06 威尔乌集团 基于应用程序渲染性能的预测和限流调整

Also Published As

Publication number Publication date
DE102017130581A1 (de) 2018-06-28
US10515573B2 (en) 2019-12-24
KR20180075732A (ko) 2018-07-05
JP2018106157A (ja) 2018-07-05
JP6595570B2 (ja) 2019-10-23
CN108241213B (zh) 2020-08-11
US20180182273A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN108241213A (zh) 头戴式显示器及其控制方法
US11592668B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
JP6898430B2 (ja) 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
US10585283B2 (en) Head mounted display and control method therefor
CN109144240A (zh) 图形处理系统
WO2018140229A1 (en) No miss cache structure for real-time image transformations with data compression
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
JP6166364B2 (ja) 情報入力表示装置および情報入力表示方法
US20200241731A1 (en) Virtual reality vr interface generation method and apparatus
US20200279533A1 (en) Display scene processing method and device and storage medium
US20200401804A1 (en) Virtual content positioned based on detected object
CN106782260A (zh) 用于虚拟现实运动场景的显示方法及装置
WO2022089046A1 (zh) 虚拟现实显示方法、装置及存储介质
KR20210044506A (ko) 증강 현실 객체를 표시하는 장치 및 그 동작 방법
WO2021040010A1 (ja) 情報処理装置、制御方法
JP2022517274A (ja) 仮想、拡張、および複合現実システムおよび方法
GB2559864A (en) Head mounted display and method for controlling the same
CN107526566A (zh) 一种移动终端的显示控制方法及装置
CN113986165B (zh) 显示控制方法、电子装置及可读存储介质
KR102629441B1 (ko) 영상 생성 방법과 이를 이용한 표시장치
US20240007612A1 (en) Virtual reality display method, device and storage medium
CN112802131A (zh) 一种图像处理方法及装置
CN116672696A (zh) 一种控制游戏界面的显示方法及设备
CN115601488A (zh) 渲染图像延迟补偿方法、装置、显示设备及存储介质
CN117456073A (zh) 用于显示设备的方法和显示设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant