CN111161685B - 一种虚拟现实显示设备及其控制方法 - Google Patents
一种虚拟现实显示设备及其控制方法 Download PDFInfo
- Publication number
- CN111161685B CN111161685B CN202010128168.6A CN202010128168A CN111161685B CN 111161685 B CN111161685 B CN 111161685B CN 202010128168 A CN202010128168 A CN 202010128168A CN 111161685 B CN111161685 B CN 111161685B
- Authority
- CN
- China
- Prior art keywords
- backlight
- image
- image data
- processing
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000009877 rendering Methods 0.000 claims abstract description 73
- 238000005192 partition Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 31
- 230000000694 effects Effects 0.000 abstract description 16
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 238000009792 diffusion process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G06T5/80—
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2007—Display of intermediate tones
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/393—Arrangements for updating the contents of the bit-mapped memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/08—Details of timing specific for flat panels, other than clock recovery
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
- G09G2320/062—Adjustment of illumination source parameters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Abstract
本公开提供一种虚拟现实显示设备及其控制方法，其核心思想是局部背光调节处理所选用的LD算法可以自适应三维渲染场景，基于此预先设定了多种局部背光调节处理模式，根据场景复杂度对三维场景渲染与局部背光调节处理模式进行优化组合，当确定三维场景渲染所用时长较长时，选择处理时间较短的局部背光调节处理模式，可以实现根据场景复杂度实时智能切换LD算法处理的功能，最大程度上保证了显示效果与场景复杂度的兼容，在场景复杂时，LD算法处理尽量使用简化版，保证图像刷新帧率，在场景较为简单时，LD算法处理使用最优版，保证显示效果。
Description
技术领域
本公开涉及显示技术领域，尤指一种虚拟现实显示设备及其控制方法。
背景技术
虚拟现实(Virtual Reality，VR)技术是近年来出现的高新技术，其利用计算机硬件、软件和传感器等，建立虚拟现实环境，使用户能够通过VR设备体验虚拟世界并与虚拟世界交互。
发明内容
本公开实施例提供了一种虚拟现实显示设备的控制方法，包括：
获取对待显示帧图像进行三维场景渲染时的三维场景渲染所需时长；
根据所述三维场景渲染所用时长和预先确定的屏幕刷新频率，选择局部背光调节处理模式，所述三维场景渲染所用时长越长，选择的所述局部背光调节处理模式所用时长越短。
可选地，在本公开实施例提供的上述控制方法中，还包括：
对待显示帧图像进行三维场景渲染；
根据所述三维场景渲染后的结果进行虚拟相机取图，并对取图进行图像反畸变处理；
根据选择的所述局部背光调节处理模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据。
可选地，在本公开实施例提供的上述控制方法中，所述根据所述三维场景渲染所用时长和预先确定的屏幕刷新频率，确定局部背光调节处理所选模式，具体包括：
在确定所述三维场景渲染所用时长小于所述屏幕刷新频率时，采用预先设定的至少一个阈值与所述三维场景渲染所用时长进行比较，以选择对应的所述局部背光调节处理所选模式；其中，所述局部背光调节处理所选模式满足以下公式：
x+y+z≤1/f；
其中，x表示所述三维场景渲染所用时长，y表示所述局部别光调节处理所选模式所用时长，z表示所述虚拟相机取图和所述图像反畸变处理所用时长，f表示所述屏幕刷新频率。
可选地，在本公开实施例提供的上述控制方法中，所述采用预先设定的至少一个阈值与所述三维场景渲染所用时长进行比较，以选择所述局部背光调节处理所选模式，具体包括：
在确定所述三维场景渲染所用时长小于预先设定的最小阈值时，选择所述局部背光调节处理的最优模式；
在确定所述三维场景渲染所用时长大于预先设定的最大阈值时，选择所述局部背光调节处理的最简模式；
在确定所述三维场景渲染所用时长大于预先设定的最大阈值且小于预先设定的最小阈值时，选择所述局部背光调节处理的中间模式。
可选地，在本公开实施例提供的上述控制方法中，根据选择的所述局部背光调节处理的最优模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中每个像素的灰阶值，确定背光模组中各分区的背光数据；
根据各分区的背光数据，确定所述图像反畸变处理后的图像数据中每个像素对应的背光亮度值；
根据每个像素对应的背光亮度值，调节所述图像反畸变处理后的图像数据中每个像素的亮度值，得到输出至屏幕进行显示的图像数据。
可选地，在本公开实施例提供的上述控制方法中，根据选择的所述局部背光调节处理的最简模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中部分或全部像素的灰阶值，确定背光模组中各分区的背光数据；
将所述图像反畸变处理后的图像数据输出。
可选地，在本公开实施例提供的上述控制方法中，根据选择的所述局部背光调节处理的中间模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中采样的部分像素的灰阶值，确定背光模组中各分区的背光数据；
根据各分区的背光数据，确定所述图像反畸变处理后的图像数据中每个像素对应的背光亮度值；
根据每个像素对应的背光亮度值，调节所述图像反畸变处理后的图像数据中每个像素的亮度值，得到输出至屏幕进行显示的图像数据。
可选地，在本公开实施例提供的上述控制方法中，根据选择的所述局部背光调节处理的中间模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中每个像素的灰阶值，确定背光模组中各分区的背光数据；
根据各分区的背光数据，确定所述图像反畸变处理后的图像数据中采样的部分像素对应的背光亮度值；
根据采样的部分像素对应的背光亮度值，调节所述图像反畸变处理后的图像数据中采样的部分像素的亮度值，得到输出至屏幕进行显示的图像数据。
可选地，在本公开实施例提供的上述控制方法中，根据选择的所述局部背光调节处理的中间模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中采样的部分像素的灰阶值，确定背光模组中各分区的背光数据；
根据各分区的背光数据，确定所述图像反畸变处理后的图像数据中采样的部分像素对应的背光亮度值；
根据采样的部分像素对应的背光亮度值，调节所述图像反畸变处理后的图像数据中采样的部分像素的亮度值，得到输出至屏幕进行显示的图像数据。
可选地，在本公开实施例提供的上述控制方法中，所述三维场景渲染所用时长越长，采样的像素数量越少。
可选地，在本公开实施例提供的上述控制方法中，还包括：
在确定所述三维场景渲染所用时长大于或等于所述屏幕刷新频率时，直接将所述图像反畸变处理后的图像数据输出。
本公开实施例还提供了一种虚拟现实显示设备，包括处理器，所述处理器被配置为执行本发明实施例提供的上述控制方法。
附图说明
图1为LD-VR系统的软件端时刻图；
图2为本公开实施例提供的虚拟现实显示设备的控制方法的一种流程图；
图3为本公开实施例提供的虚拟现实显示设备的控制方法的另一种流程图；
图4为本公开实施例提供的虚拟现实显示设备的控制方法的另一种流程图；
图5为本公开实施例提供的虚拟现实显示设备的控制方法的另一种流程图；
图6为本公开实施例提供的虚拟现实显示设备的控制方法的另一种流程图。
具体实施方式
目前带有局部背光调节处理(Local Dimming)的VR整机已经出现在市场上，并且效果堪比OLED显示屏的效果，备受好评。这种LD系统大体分为两种，一种是LD算法硬件化，另一种是LD算法软件化。算法硬件化好处是算法处理图像的速度快，不会消耗太多时间，但是算法硬件化实现起来比较复杂。算法软件化可以很方便的验证算法，实现需求，缺点是比较消耗时间，对于大分辨率VR系统，算法软件化经常会导致软件端输出图像帧率达不到要求，进而容易产生卡顿现象。
首先普及一个概念，VR系统中国的软件端一帧图像的时间段为：从软件端抛出一幅图像后下一帧图像的渲染开始，到下一帧图像抛出为止所经历的时间，即为软件端一帧图像的时间。理论上，这一帧图像的时间越短，软件端刷新帧率越高。
对于一个LD-VR系统，软件端一帧图像的处理过程包括以下步骤：a)三维场景渲染，b)虚拟相机取图，c)图像反畸变处理，d)LD算法处理，e)输出图像和背光数据。其中步骤c)和d)及e)都是对二维图像的处理，因此对于一个固定配置的电脑，无论场景多么复杂，这几个步骤所消耗的时间基本都是固定的。而真正对一帧图像的时间产生波动影响的是步骤a)的三维场景渲染所需时长，渲染复杂的场景，对电脑显卡资源的消耗是巨大的。
对于一个VR系统来说，软件端输出图像的刷新帧率至少要大于或等于屏幕刷新帧率，才能保证人眼感受到流畅不卡顿的画面。因此如上所述，一旦场景特别复杂，则三维场景渲染所消耗的时间必然会增大，则一帧图像的时间会增大，可能会导致软件端刷新帧率小于屏幕刷新帧率。为了观看更好的场景效果，三维场景的渲染复杂度不能降低，因此只能从后面的二维图像处理部分入手，二维图像处理部分最耗费时间的步骤是d)LD算法处理，但是LD算法又与屏幕显示效果息息相关，如何在屏幕显示效果与软件端刷新帧率之间做一个完美的平衡，是一个棘手的问题。
基于上述棘手问题，本公开实施例提供了一种虚拟现实显示设备及控制方法。为了使本公开的目的，技术方案和优点更加清楚，下面结合附图，对本公开实施例提供的虚拟现实显示设备及控制方法的具体实施方式进行详细地说明。应当理解，下面所描述的优选实施例仅用于说明和解释本公开，并不用于限定本公开。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
具体地，图1是LD-VR系统软件端时刻图，表示了软件端一帧图像的历程，从时刻图可以看出，三维场景渲染和LD算法处理所占的比重较大。假设显示屏刷新帧率是f，三维场景每帧渲染时间为x，x是随着场景复杂度不同随时变化的数值，LD算法处理每帧时间为y，其余处理每帧消耗时间为z。要想保证VR场景流畅显示，必须保证满足公式x+y+z<＝1/f。但是现实情况是，随着场景复杂度的增加，x会实时变大，这就导致了可能不满足上述公式，进而影响软件端输出帧率，VR画面在动起来时候会变得卡顿，无法带来流畅体验。理论上，如果直接简化LD算法处理，进而减少LD算法处理的时间，也能保证公式成立，但是一味的简化LD算法处理，虽然一定程度上保证了软件帧率，但是却也很大程度上牺牲了显示效果，并且有些三维场景并不复杂，无需使用简化的LD算法，因此本发明提出了一种LD-VR自适应方案。
本公开实施例提供的一种虚拟现实显示设备的控制方法，如图2所示，可以包括以下步骤：
S11、获取对待显示帧图像进行三维场景渲染时的三维场景渲染所需时长；
S12、根据三维场景渲染所用时长和预先确定的屏幕刷新频率，选择局部背光调节处理模式；其中，三维场景渲染所用时长越长，选择的局部背光调节处理模式所用时长越短。
具体地，本公开实施例提供的上述控制方法的核心思想是局部背光调节处理所选用的LD算法可以自适应三维渲染场景，因此预先设定了多种局部背光调节处理模式，根据场景复杂度对三维场景渲染与局部背光调节处理模式进行优化组合，当确定三维场景渲染所用时长较长时，选择处理时间较短的局部背光调节处理模式，可以实现根据场景复杂度实时智能切换LD算法处理的功能，最大程度上保证了显示效果与场景复杂度的兼容，在场景复杂时，LD算法处理尽量使用简化版，保证图像刷新帧率，在场景较为简单时，LD算法处理使用最优版，保证显示效果。从而兼顾了软件端图像刷新帧率以及整机显示效果，完美的在同一系统上实现了软件图像刷新帧率与LD算法效果的协调。
可选地，在本公开实施例提供的上述控制方法中，在进行虚拟现实显示时，如图3所示，具体可以包括以下步骤：
S21、对待显示帧图像进行三维场景渲染；具体三维场景渲染的处理过程在此不作详述；在进行三维场景渲染时，可以获取三维场景渲染所需时长，具体可以在从上一帧图像抛出后开始计时，获取这一帧的三维场景渲染的时间t；
S22、根据三维场景渲染后的结果进行虚拟相机取图；
S23、对取图进行图像反畸变处理；具体地，可以在进行步骤S22和S23之前执行上述步骤S12根据三维场景渲染所用时长和预先确定的屏幕刷新频率，选择局部背光调节处理模式；或者，也可以在进行步骤S22和S23的同时或之后执行上述步骤S12根据三维场景渲染所用时长和预先确定的屏幕刷新频率，选择局部背光调节处理模式，在此不做限定；
S24、根据选择的局部背光调节处理模式和图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据。
可选地，在本公开实施例提供的上述控制方法中，上述步骤S12根据三维场景渲染所用时长和预先确定的屏幕刷新频率，确定局部背光调节处理所选模式，如图4所示，可以具体包括以下步骤：
S31、确定三维场景渲染所用时长是否小于屏幕刷新频率；在确定三维场景渲染所用时长小于屏幕刷新频率时，执行步骤S32，在确定三维场景渲染所用时长大于或等于屏幕刷新频率时，还可以执行步骤S33；
S32、采用预先设定的至少一个阈值与三维场景渲染所用时长进行比较，以选择对应的局部背光调节处理所选模式；其中，局部背光调节处理所选模式满足以下公式：
x+y+z≤1/f；
其中，x表示三维场景渲染所用时长，y表示局部别光调节处理所选模式所用时长，z表示虚拟相机取图和图像反畸变处理所用时长，f表示屏幕刷新频率。
S33、直接将图像反畸变处理后的图像数据输出，即在确定三维场景渲染所用时长大于或等于屏幕刷新频率时，不进行LD算法处理，直接将图像反畸变处理后的结果输出至屏幕进行显示。
可选地，在本公开实施例提供的上述控制方法中，上述步骤S32采用预先设定的至少一个阈值与三维场景渲染所用时长进行比较，以选择局部背光调节处理所选模式，以采用两个阈值为例进行说明，将三维场景渲染的时间t分别与最大阈值T1、最小阈值T2进行比较，如图5所示，具体可以包括：
在确定三维场景渲染所用时长小于预先设定的最小阈值时，即如果三维场景渲染的时间t<T2，则认为这一帧三维场景复杂度低，局部背光调节处理需要采用LD算法最优版，即选择局部背光调节处理的最优模式；局部背光调节处理的最优模式所用时间为TT3，可以保证t+TT3+z≤1/f，达到图像刷新帧率和最好的显示效果。
在确定三维场景渲染所用时长大于预先设定的最大阈值时，即如果三维场景渲染的时间t>T1，则认为这一帧三维场景复杂度高，局部背光调节处理需要采用LD算法简化版，即选择局部背光调节处理的最简模式；局部背光调节处理的最简模式所用时间为TT1，可以保证t+TT1+z≤1/f，满足软件端图像刷新帧率的需求。
在确定三维场景渲染所用时长大于预先设定的最大阈值且小于预先设定的最小阈值时，即如果三维场景渲染的时间T2<t<T1，则认为这一帧三维场景复杂度适中，局部背光调节处理需要采用LD算法次优版，即选择局部背光调节处理的中间模式；局部背光调节处理的中间模式所用时间为TT2，从而保证t+TT2+z≤1/f，保证软件端图像刷新帧率的同时，取得尽可能好的LD效果。
具体地，上述是采用两个阈值且局部背光调节处理模式分为三个模式为例进行说明，在具体实施时可以将中间模式进行细化，即增加阈值和模式的个数，值得注意的是，所有阈值均应小于1/f。
可选地，在本公开实施例提供的上述控制方法中，根据选择的局部背光调节处理的最优模式和图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，如图6所示，具体可以包括以下步骤：
首先，根据图像反畸变处理后的图像数据中每个像素的灰阶值，确定背光模组中各分区的背光数据；即在反畸变图像后，背光求解；具体地，如果假设一个背光分区涵盖的图像像素数是50*50，则根据这50*50个像素的灰阶值求一个平均值作为该背光分区的背光；
接着，根据各分区的背光数据，确定图像反畸变处理后的图像数据中每个像素对应的背光亮度值；即在背光求解后，亮度扩散图像；
最后，根据每个像素对应的背光亮度值，调节图像反畸变处理后的图像数据中每个像素的亮度值，得到输出至屏幕进行显示的图像数据；即在亮度扩散图像后，补偿图像。
具体地，在场景复杂度低情况下或者处理器性能较高情况下，可以选择LD算法最优版，包括背光求解、背光扩散、图像补偿等算法步骤，实践证明，背光求解消耗的时间最多，因此背光求解这一步骤拥有比较大的简化空间。
可选地，在本公开实施例提供的上述控制方法中，根据选择的局部背光调节处理的最简模式和图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，如图6所示，具体可以包括以下步骤：
首先，根据图像反畸变处理后的图像数据中部分或全部像素的灰阶值，确定背光模组中各分区的背光数据；即在反畸变图像后，背光求解或降采样背光求解；
最后，将图像反畸变处理后的图像数据输出，即在背光求解后，直接将反畸变图像输出，而不进行亮度扩散图像和补偿图像的处理。
具体地，在场景复杂度高情况或者处理器性能较低情况，可以选择LD算法简化版，该简化版可以省去背光求解的后续步骤，还可以降低背光求解时的采样率，使各个步骤都进行时间消耗压缩，从为最大程度上保证软件端输出图像刷新帧率。
可选地，在本公开实施例提供的上述控制方法中，根据选择的局部背光调节处理的中间模式和图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体可以包括以下步骤：
首先，根据图像反畸变处理后的图像数据中采样的部分像素的灰阶值，确定背光模组中各分区的背光数据；即在反畸变图像后，降采样背光求解；具体地，如果假设一个背光分区涵盖的图像像素数是50*50，则根据这50*50个像素的灰阶值求一个平均值作为该背光分区的背光，这就需要对50*50个像素进行遍历，而采用降像素采样的方式来求均值，例如只对其中25*25个像素进行遍历求均值，这样计算量就减小为原来的1/4，从而降低了该步骤耗费的时间；
接着，根据各分区的背光数据，确定图像反畸变处理后的图像数据中每个像素对应的背光亮度值；即在背光求解后，亮度扩散图像；
根据每个像素对应的背光亮度值，调节图像反畸变处理后的图像数据中每个像素的亮度值，得到输出至屏幕进行显示的图像数据；即在亮度扩散图像后，补偿图像。
具体地，在场景复杂度中等情况或者处理器性能较低情况下，在背光求解这一步骤，可以对图像进行降采样来求解背光，从而降低该步骤耗费的时间，具体降采样多少合适需要根据实验效果去评估，当三维场景渲染所用时长越长，则理论上采样的像素数量越少，可以降低背光求解的耗时。
或者，可选地，在本公开实施例提供的上述控制方法中，根据选择的局部背光调节处理的中间模式和图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体可以包括以下步骤：
首先，根据图像反畸变处理后的图像数据中每个像素的灰阶值，确定背光模组中各分区的背光数据；即在反畸变图像后，背光求解；具体地，如果假设一个背光分区涵盖的图像像素数是50*50，则根据这50*50个像素的灰阶值求一个平均值作为该背光分区的背光；
接着，根据各分区的背光数据，确定图像反畸变处理后的图像数据中采样的部分像素对应的背光亮度值；即在背光求解后，降亮度扩散图像分辨率；具体地，如果假设一个背光分区涵盖的图像像素数是50*50，则需要对50*50个像素进行遍历求解背光亮度值，而采用降亮度扩散图像分辨率的方式来求背光亮度值，例如只对其中25*25个像素进行遍历求背光亮度值，这样计算量就减小为原来的1/4，从而降低了该步骤耗费的时间；
最后，根据采样的部分像素对应的背光亮度值，调节图像反畸变处理后的图像数据中采样的部分像素的亮度值，得到输出至屏幕进行显示的图像数据；即在降亮度扩散图像分辨率后，降补偿图像分辨率。具体地，如果假设一个背光分区涵盖的图像像素数是50*50，则需要对50*50个像素进行遍历求解补偿值，而采用降补偿图像分辨率的方式来求补偿值，例如只对其中25*25个像素进行遍历求补偿值，这样计算量就减小为原来的1/4，从而降低了该步骤耗费的时间。
具体地，在场景复杂度中等情况或者处理器性能较低情况下，在亮度扩散图像和补偿图像这两步骤，可以对图像降低分辨率，以进行时间消耗压缩，从为保证软件端输出图像帧率，具体降分辨率即降采样多少合适需要根据实验效果去评估，当三维场景渲染所用时长越长，则理论上采样的像素数量越少，可以降低背光求解的耗时。
或者，可选地，在本公开实施例提供的上述控制方法中，根据选择的局部背光调节处理的中间模式和图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，如图6所示，具体可以包括以下步骤：
首先，根据图像反畸变处理后的图像数据中采样的部分像素的灰阶值，确定背光模组中各分区的背光数据；即在反畸变图像后，降采样背光求解；具体地，如果假设一个背光分区涵盖的图像像素数是50*50，则根据这50*50个像素的灰阶值求一个平均值作为该背光分区的背光，这就需要对50*50个像素进行遍历，而采用降像素采样的方式来求均值，例如只对其中25*25个像素进行遍历求均值，这样计算量就减小为原来的1/4，从而降低了该步骤耗费的时间；
接着，根据各分区的背光数据，确定图像反畸变处理后的图像数据中采样的部分像素对应的背光亮度值；即在背光求解后，降亮度扩散图像分辨率；具体地，如果假设一个背光分区涵盖的图像像素数是50*50，则需要对50*50个像素进行遍历求解背光亮度值，而采用降亮度扩散图像分辨率的方式来求背光亮度值，例如只对其中25*25个像素进行遍历求背光亮度值，这样计算量就减小为原来的1/4，从而降低了该步骤耗费的时间；
最后，根据采样的部分像素对应的背光亮度值，调节图像反畸变处理后的图像数据中采样的部分像素的亮度值，得到输出至屏幕进行显示的图像数据。即在降亮度扩散图像分辨率后，降补偿图像分辨率。具体地，如果假设一个背光分区涵盖的图像像素数是50*50，则需要对50*50个像素进行遍历求解补偿值，而采用降补偿图像分辨率的方式来求补偿值，例如只对其中25*25个像素进行遍历求补偿值，这样计算量就减小为原来的1/4，从而降低了该步骤耗费的时间。
具体地，在场景复杂度中等情况或者处理器性能较低情况下，不单单降低背光求解时的采样率，同时在后续步骤也同样输出降低分辨率的图像，即在亮度扩散图像和补偿图像这两步骤对图像降低分辨率，以进行时间消耗压缩，从为保证软件端输出图像帧率，具体降分辨率即降采样多少合适需要根据实验效果去评估，当三维场景渲染所用时长越长，则理论上采样的像素数量越少，可以降低背光求解的耗时。
值得注的是，上述三种局部背光调节处理的中间模式的具体处理过程可以择一选用，也可以根据实际需要设置多个中间模式，根据所需的中间模式时长进行设定，在此不做限定。
基于同一发明构思，本公开实施例还提供了一种虚拟现实显示设备，包括处理器，处理器被配置为执行如本发明实施例提供的上述控制方法。
本发明实施例中的虚拟现实显示设备具体可以包括：虚拟现实显示部件(例如，可以为虚拟显示头盔)和计算机设备，虚拟现实显示设备中的处理器可以包括：虚拟现实显示部件中的第一处理部件，以及计算机设备中的第二处理部件。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种虚拟现实显示设备的控制方法，其中，包括：
获取对待显示帧图像进行三维场景渲染时的三维场景渲染所需时长；
根据所述三维场景渲染所用时长和预先确定的屏幕刷新频率，选择局部背光调节处理模式，所述三维场景渲染所用时长越长，选择的所述局部背光调节处理模式所用时长越短；
所述控制方法还包括：
对待显示帧图像进行三维场景渲染；
根据所述三维场景渲染后的结果进行虚拟相机取图，并对取图进行图像反畸变处理；
根据选择的所述局部背光调节处理模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据；
所述根据所述三维场景渲染所用时长和预先确定的屏幕刷新频率，确定局部背光调节处理所选模式，具体包括：
在确定所述三维场景渲染所用时长小于所述屏幕刷新频率时，采用预先设定的至少一个阈值与所述三维场景渲染所用时长进行比较，以选择对应的所述局部背光调节处理所选模式；其中，所述局部背光调节处理所选模式满足以下公式：
x+y+z≤1/f；
其中，x表示所述三维场景渲染所用时长，y表示所述局部背光调节处理所选模式所用时长，z表示所述虚拟相机取图和所述图像反畸变处理所用时长，f表示所述屏幕刷新频率；
在确定所述三维场景渲染所用时长大于或等于所述屏幕刷新频率时，直接将所述图像反畸变处理后的图像数据输出。
2.如权利要求1所述的控制方法，其中，所述采用预先设定的至少一个阈值与所述三维场景渲染所用时长进行比较，以选择所述局部背光调节处理所选模式，具体包括：
在确定所述三维场景渲染所用时长小于预先设定的最小阈值时，选择所述局部背光调节处理的最优模式；
在确定所述三维场景渲染所用时长大于预先设定的最大阈值时，选择所述局部背光调节处理的最简模式；
在确定所述三维场景渲染所用时长大于预先设定的最大阈值且小于预先设定的最小阈值时，选择所述局部背光调节处理的中间模式。
3.如权利要求2所述的控制方法，其中，根据选择的所述局部背光调节处理的最优模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中每个像素的灰阶值，确定背光模组中各分区的背光数据；
根据各分区的背光数据，确定所述图像反畸变处理后的图像数据中每个像素对应的背光亮度值；
根据每个像素对应的背光亮度值，调节所述图像反畸变处理后的图像数据中每个像素的亮度值，得到输出至屏幕进行显示的图像数据。
4.如权利要求2所述的控制方法，其中，根据选择的所述局部背光调节处理的最简模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中部分或全部像素的灰阶值，确定背光模组中各分区的背光数据；
将所述图像反畸变处理后的图像数据输出。
5.如权利要求2所述的控制方法，其中，根据选择的所述局部背光调节处理的中间模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中采样的部分像素的灰阶值，确定背光模组中各分区的背光数据；
根据各分区的背光数据，确定所述图像反畸变处理后的图像数据中每个像素对应的背光亮度值；
根据每个像素对应的背光亮度值，调节所述图像反畸变处理后的图像数据中每个像素的亮度值，得到输出至屏幕进行显示的图像数据。
6.如权利要求2所述的控制方法，其中，根据选择的所述局部背光调节处理的中间模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中每个像素的灰阶值，确定背光模组中各分区的背光数据；
根据各分区的背光数据，确定所述图像反畸变处理后的图像数据中采样的部分像素对应的背光亮度值；
根据采样的部分像素对应的背光亮度值，调节所述图像反畸变处理后的图像数据中采样的部分像素的亮度值，得到输出至屏幕进行显示的图像数据。
7.如权利要求2所述的控制方法，其中，根据选择的所述局部背光调节处理的中间模式和所述图像反畸变处理后的图像数据，确定输出至屏幕进行显示的图像数据和背光数据，具体包括：
根据所述图像反畸变处理后的图像数据中采样的部分像素的灰阶值，确定背光模组中各分区的背光数据；
根据各分区的背光数据，确定所述图像反畸变处理后的图像数据中采样的部分像素对应的背光亮度值；
根据采样的部分像素对应的背光亮度值，调节所述图像反畸变处理后的图像数据中采样的部分像素的亮度值，得到输出至屏幕进行显示的图像数据。
8.如权利要求5-7任一项所述的控制方法，其中，所述三维场景渲染所用时长越长，采样的像素数量越少。
9.一种虚拟现实显示设备，其中，包括处理器，所述处理器被配置为执行如权利要求1-8任一项所述的控制方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128168.6A CN111161685B (zh) | 2020-02-28 | 2020-02-28 | 一种虚拟现实显示设备及其控制方法 |
| PCT/CN2020/141116 WO2021169583A1 (zh) | 2020-02-28 | 2020-12-29 | 虚拟现实显示设备及其控制方法 |
| US17/418,206 US11810524B2 (en) | 2020-02-28 | 2020-12-29 | Virtual reality display device and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128168.6A CN111161685B (zh) | 2020-02-28 | 2020-02-28 | 一种虚拟现实显示设备及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111161685A CN111161685A (zh) | 2020-05-15 |
| CN111161685B true CN111161685B (zh) | 2022-02-01 |
Family
ID=70566575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010128168.6A Active CN111161685B (zh) | 2020-02-28 | 2020-02-28 | 一种虚拟现实显示设备及其控制方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11810524B2 (zh) |
| CN (1) | CN111161685B (zh) |
| WO (1) | WO2021169583A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161685B (zh) * | 2020-02-28 | 2022-02-01 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及其控制方法 |
| CN115268073A (zh) * | 2022-08-03 | 2022-11-01 | 展视网（北京）科技有限公司 | 一种虚拟现实显示设备及显示方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870425A (zh) * | 2016-09-23 | 2018-04-03 | 联咏科技股份有限公司 | 降低动态模糊的方法以及头戴式显示装置 |
| CN108389552A (zh) * | 2018-03-19 | 2018-08-10 | 京东方科技集团股份有限公司 | 背光亮度处理方法及系统、背光亮度调节方法、存储介质 |
| CN109036295A (zh) * | 2018-08-09 | 2018-12-18 | 京东方科技集团股份有限公司 | 图像显示处理方法及装置、显示装置及存储介质 |
| CN109801601A (zh) * | 2019-03-21 | 2019-05-24 | 京东方科技集团股份有限公司 | 背光源的驱动方法、控制电路及显示装置 |
| CN110211543A (zh) * | 2019-07-10 | 2019-09-06 | 京东方科技集团股份有限公司 | 局部背光调节方法和装置、虚拟现实系统 |
| CN110221432A (zh) * | 2019-03-29 | 2019-09-10 | 华为技术有限公司 | 头戴式显示器的图像显示方法及设备 |
| CN110619855A (zh) * | 2019-09-30 | 2019-12-27 | 京东方科技集团股份有限公司 | 显示设备及其驱动方法 |
| CN110767184A (zh) * | 2019-11-28 | 2020-02-07 | 京东方科技集团股份有限公司 | 背光亮度处理方法、系统、显示设备及介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9711091B2 (en) * | 2014-08-13 | 2017-07-18 | Shenzhen China Star Optoelectronics Technology Co., Ltd. | 3D display method and display device |
| CN104157263A (zh) * | 2014-08-13 | 2014-11-19 | 深圳市华星光电技术有限公司 | 一种3d显示方法和显示装置 |
| US10643548B2 (en) * | 2018-08-20 | 2020-05-05 | Dell Products, L.P. | Selective dimming of ambient lighting in virtual, augmented, and mixed reality (xR) applications |
| CN111161685B (zh) | 2020-02-28 | 2022-02-01 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及其控制方法 |
-
2020
- 2020-02-28 CN CN202010128168.6A patent/CN111161685B/zh active Active
- 2020-12-29 WO PCT/CN2020/141116 patent/WO2021169583A1/zh active Application Filing
- 2020-12-29 US US17/418,206 patent/US11810524B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870425A (zh) * | 2016-09-23 | 2018-04-03 | 联咏科技股份有限公司 | 降低动态模糊的方法以及头戴式显示装置 |
| CN108389552A (zh) * | 2018-03-19 | 2018-08-10 | 京东方科技集团股份有限公司 | 背光亮度处理方法及系统、背光亮度调节方法、存储介质 |
| CN109036295A (zh) * | 2018-08-09 | 2018-12-18 | 京东方科技集团股份有限公司 | 图像显示处理方法及装置、显示装置及存储介质 |
| CN109801601A (zh) * | 2019-03-21 | 2019-05-24 | 京东方科技集团股份有限公司 | 背光源的驱动方法、控制电路及显示装置 |
| CN110221432A (zh) * | 2019-03-29 | 2019-09-10 | 华为技术有限公司 | 头戴式显示器的图像显示方法及设备 |
| CN110211543A (zh) * | 2019-07-10 | 2019-09-06 | 京东方科技集团股份有限公司 | 局部背光调节方法和装置、虚拟现实系统 |
| CN110619855A (zh) * | 2019-09-30 | 2019-12-27 | 京东方科技集团股份有限公司 | 显示设备及其驱动方法 |
| CN110767184A (zh) * | 2019-11-28 | 2020-02-07 | 京东方科技集团股份有限公司 | 背光亮度处理方法、系统、显示设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230136022A1 (en) | 2023-05-04 |
| CN111161685A (zh) | 2020-05-15 |
| US11810524B2 (en) | 2023-11-07 |
| WO2021169583A1 (zh) | 2021-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11706484B2 (en) | Video processing method, electronic device and computer-readable medium | |
| CN109803175B (zh) | 视频处理方法及装置、设备、存储介质 | |
| US8957899B2 (en) | Image processing apparatus and method for controlling the same | |
| CN105208376B (zh) | 一种数字降噪方法和装置 | |
| JP5464819B2 (ja) | 動画像処理装置および方法、プログラム | |
| US20170103601A1 (en) | Systems and methods of gaming machine image transitions | |
| US9100530B2 (en) | Image processing apparatus, image processing method and storage medium | |
| CN104469179A (zh) | 一种将动态图片结合到手机视频中的方法 | |
| US9824429B2 (en) | Image processing apparatus and method, and program | |
| CN105872311B (zh) | 高动态范围画面切换方法及装置 | |
| CN111161685B (zh) | 一种虚拟现实显示设备及其控制方法 | |
| WO2019153723A1 (zh) | 视频画面显示方法、装置、电视机及存储介质 | |
| CN105282622B (zh) | 一种切换场景的方法和装置 | |
| US20090262139A1 (en) | Video image display device and video image display method | |
| CN109242944B (zh) | 一种显示方法和装置 | |
| CN110786002B (zh) | 视频处理方法、设备、计算机可读存储介质 | |
| WO2023035882A1 (zh) | 视频处理方法、设备、存储介质和程序产品 | |
| CN104113682B (zh) | 一种图像获取方法及电子设备 | |
| CN114125424B (zh) | 一种图像处理的方法及其相关设备 | |
| US7999814B2 (en) | Information processing apparatus, graphics processor, control processor and information processing methods | |
| US10114447B2 (en) | Image processing method and apparatus for operating in low-power mode | |
| CN115604887A (zh) | 一种氛围灯组控制方法、控制台及装置 | |
| CN111292677B (zh) | 一种图像显示处理方法、装置、计算机设备及存储介质 | |
| CN110941413B (zh) | 显示画面的生成方法及相关装置 | |
| CN116173496A (zh) | 一种图像帧的渲染方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |