CN115016752A - 一种图像显示方法及设备 - Google Patents

Abstract

本申请涉及VR技术领域，提供一种图像显示方法及设备，该方法包括两种技术方案，一种是将短爆光的真实环境图像丢掉，保留自然曝光的真实环境图像，并对自然曝光的真实环境图像处理后进行显示，由于丢掉了短曝光的真实环境图像，从而消除了自然曝光与短曝光这两中类型的相邻两帧图像间的亮度差异，进而解决图像闪烁问题，提升了用户体验；另一种是根据相邻的上一帧自然曝光的真实环境图像确定亮度补偿值，并用将该亮度补偿值补偿与该真实环境图像的下一帧短曝光的真实环境图像，从而减少自然曝光与短曝光这两中类型的相邻两帧图像间的亮度差异，进而解决图像闪烁问题，使用户通过真实环境图像实时感知真实世界。

Description

一种图像显示方法及设备

技术领域

本申请涉及虚拟现实(Virtual Reality，AR)技术领域，尤其涉及一种图像显示方法及设备。

背景技术

6自由度(Degree of Freedom，DOF)的VR设备除了检测头部的转动带来的视野角度变化外，还能检测到身体移动带来的上下前后左右位移的变化，实现在虚拟世界中的行走。

用户在使用VR设备的过程中，视觉与真实世界相隔绝。在不摘下VR头戴式显示设备(简称为VR头盔或VR头显)的情况下，为了让用户快速感知VR头戴式显示设备之外的真实世界，添加了视频透视(See Through)功能。

当进入视频透视模式后，VR头戴式显示设备的双摄像头按设定帧率采集真实世界的图像，根据摄像头的内外参数，对每一帧图像进行畸变处理，并对处理后的双摄像头采集的图像进行拼接，将拼接后的内容分别显示在VR头戴式显示设备的左右眼镜片上，这样，用户可以通过VR头戴式显示设备上的双摄像头感知真实世界。

6DOF的VR设备能够让头部与双手自由运动，为实现与VR头戴式显示设备连接的手柄的6DOF，VR头戴式显示设备上的双摄像头均设置为自动曝光和短曝光两种模式循环切换的方式。这样，当进入视频透视模式后，如果对采集的图像进行处理后直接显示到VR头戴式显示设备的左右眼镜片上，由于双摄像头在自动曝光和短曝光两种模式间循环切换，会导致采集的相邻两帧图像的亮度差异很大，从而在左右眼镜片上显示图像时，就会有非常明显的闪烁问题，造成头部眩晕，降低用户体验。

发明内容

本申请实施例提供了一种图像显示方法及设备，用于解决图像闪烁的问题，提升用户VR体验。

一方面，本申请实施例提供一种图像显示方法，应用于VR设备，包括：

按设定帧率获取真实环境图像，所述真实环境图像为所述VR设备上的左摄像头和右摄像头分别采集的图像拼接得到的；

针对每一帧真实环境图像，根据所述真实环境图像的曝光时长，确定所述左摄像头和所述右摄像的曝光类型；

当所述曝光类型为短曝光时，对所述真实环境图像进行处理，使得位于所述真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡；

对自然曝光的真实环境图像进行基础变形后显示以更新真实环境的显示内容。

另一方面，本申请实施例提供一种VR设备，包括处理器、存储器、显示屏和左摄像头以及右摄像头，所述存储器、所述显示屏、所述左摄像头以及所述右摄像头与所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

按设定帧率获取真实环境图像，所述真实环境图像为所述左摄像头和所述右摄像头分别采集的图像拼接得到的；

针对每一帧真实环境图像，根据所述真实环境图像的曝光时长，确定所述左摄像头和所述右摄像的曝光类型；

当所述曝光类型为短曝光时，对所述真实环境图像进行处理，使得位于所述真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡；

对自然曝光的真实环境图像进行基础变形后，通过所述显示屏进行显示以更新真实环境的显示内容。

另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的图像显示方法。

本申请实施例提供的一种图像显示方法及设备中，VR设备的左摄像头和右摄像头按设定帧率分别采集真实环境的图像，并拼接为一张真实环境图像，针对每一帧真实环境图像，根据真实环境图像的曝光时长，确定左摄像头和右摄像的曝光类型，当曝光类型为短曝光时，对真实环境图像进行处理，使得位于当前真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡，能够有效减少自然曝光和短曝光类型下真实环境图像间的亮度差异，从而根据自然曝光的真实环境图像更新真实环境的显示内容时，能够解决由于左摄像头和右摄像头的曝光类型循环切换导致的图像闪烁问题，进而减少头部眩晕，提升用户体验，使用户能够感知真实世界的环境。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请实施例提供的VR一体机示意图；

图1B为本申请实施例提供的另一VR一体机示意图；

图2A为本申请实施例提供的包含双摄像头的VR头戴式显示设备的表面结构图；

图2B为本申请实施例提供的包含双摄像头的VR头戴式显示设备的内部切面结构图；

图2C为本申请实施例提供的包含四个摄像头的VR头戴式显示设备示意图；

图3A为本申请实施例提供的自然曝光模式下双摄像采集的真实环境图像；

图3B为本申请实施例提供的短曝光模式下双摄像采集的真实环境图像；

图4为本申请实施例提供的图像显示方法流程图；

图5为本申请实施例提供的对短曝光的真实环境图像进行亮度补偿的方法流程图；

图6为本申请实施例提供的基于方案一实现的视频透视模式下图像的显示方法流程图；

图7为本申请实施例提供的基于方案二实现的视频透视模式下图像的显示方法流程图；

图8为本申请实施例提供的亮度补偿值的确定方法流程图；

图9为本申请实施例提供的VR设备的硬件结构图；

图10为本申请实施例提供的VR设备的功能结构图。

具体实施方式

随着VR技术的发展，VR设备层出不穷，特别是具备独立处理器的6DOF的VR一体机，由于其具备独立运算、输入和输出的功能，已广泛应用在各个领域。

参见图1A，为本申请实施例提供的一种VR一体机示意图，该VR一体机包括具备独立处理器的VR头戴式显示设备，可以显示三维立体画面。该头戴式显示设备可以外接一个具有按键的手柄，用户通过操作手柄上的按键控制VR头戴式显示设备显示的三维立体画面。

参见图1B，为本申请实施例提供的另一VR一体机示意图，该VR一体机也包括具备独立处理器的VR头戴式显示设备以显示三维立体画面。与图1A不同的是，该头戴式显示设备外接有两个手柄，用户配合使用两个手柄上来控制VR头戴式显示设备显示的三维立体画面。

图1A和图1B仅给出了6DOF的VR设备的一种示例，不作为本申请实施例的限制性描述，例如，VR设备还可以是VR眼镜。

一般的，VR头戴式显示设备上安装有两个或者多个摄像头，用户采集真实世界的环境图像。

例如，如图2A所示为VR头戴式显示设备的表面结构图，该VR头戴式显示设备上安有左右两个摄像头该VR头戴式显示设备的内部切面图如图2B所示，左右两个摄像头在图2B中用粗实线圈出。

当VR头戴式显示设备上有那两个以上的摄像头时，如图2C所示，可选择一组(如：上面两个或者两个)双摄像头实现本申请的实施例。

从图1A和图1B所示的VR一体机可知，用户在使用VR设备的过程中，视觉与真实世界相隔绝。在不摘下VR头戴式显示设备的情况下，为了让用户快速感知VR头戴式显示设备之外的真实世界，VR设备添加了视频透视(See Through)功能。

目前，视频透视模式的使用场景主要包括以下几种：

场景一、拾取手柄

用户佩戴了VR头戴式显示设备后，由于无法看到其所在真实世界的环境情况，就会产生与用户方向感相关的问题，从而使拾取手柄变的困难。VR设备可通过开启视频透视模式，借助VR头戴式显示设备上的双摄像头来感知手柄在真实世界中的位置，从而拾取手柄；或者，将手柄叠加渲染在虚拟世界之前以拾取手柄。

当VR头戴式显示设备外接两个手柄时，在叠加渲染手柄时，可为每个手柄标记左右标识，从而使用户使用相匹配的手拾取手柄。

场景二、定义安全区域

开启视频透视模式后，用户可通过VR头戴式显示设备的双摄像头看到真实环境，从而在真实坏境中，采用手柄画线的方式，自定义游戏的安全区域，VR设备中的GPU将自定义的安全区叠加渲染在真实世界中。

场景三、体验游戏

在玩游戏过程中，用户在自定义的安全区域内可以自由移动，当用户接近安全区域的边缘时，VR设备会自动开启视频透视模式，从而利用摄像头引导用户回到安全区域的中心以远离危险，并且，当用户与安全区域的边缘距离大于设定距离阈值时，VR设备会自动关闭视频透视模式。

场景四、混合显示

将虚拟场景中GPU渲染的内容覆盖在摄像头采集的图像的顶部，潜在应用于产品展示(如：汽车、家具)以及VR游戏中。

当进入视频透视模式后，VR头戴式显示设备上的双摄像头按设定帧率采集真实世界的图像，根据摄像头的内外参数，对每一帧图像进行畸变处理，并对处理后的双摄像头采集的图像进行拼接，将拼接后的内容分别显示在VR头戴式显示设备的左右眼镜片上，这样，用户可以通过VR头戴式显示设备上的双摄像头感知真实世界。

目前市面上的6DOF的VR设备，大多支持视频透视模式。由于6DOF的VR设备除了检测头部的转动带来的视野角度变化外，还能检测到身体移动带来的上下前后左右位移的变化，真正实现头部与双手的自由运动。

为定位与VR头戴式显示设备连接的手柄的6DOF位姿，VR头戴式显示设备上的双摄像头均设置为自然曝光(正常曝光)和短曝光两种模式循环切换的方式，这是因为手柄一般发射红外光或者自然光，摄像头长期处于自然曝光模式时，无法获取到手柄的位置，从而无法定位手柄的6DOF位姿。其中，自然曝光和短曝光是基于曝光时间长短定义的。

当进入视频透视模式后，如果对采集的环境图像进行处理后直接显示到VR头戴式显示设备的左右眼镜片上，由于双摄像头在自然曝光和短曝光两种模式间循环切换，会导致采集的相邻两帧图像的亮度差异很大，从而在左右眼镜片上显示图像时，就会有非常明显的闪烁问题，使用户无法感知真实世界的环境，且造成头部眩晕，降低用户体验。

参见图3A，为自然曝光模式下VR头戴式显示设备的双摄像头采集的图像示意图。其中，左摄像头和右摄像头分别采集的左眼真实环境图像和右眼真实环境图像组合为一张真实环境图像，即左摄像头和右摄像头采集的环境图像显示在一张图像上。

参见图3B，为短曝光模式下VR头戴式显示设备的双摄像头采集的图像示意图。其中，左摄像头和右摄像头分别采集的左眼真实环境图像和右眼真实环境图像也组合为一张真实环境图像，即左摄像头和右摄像头采集的环境图像显示在一张图像上。

其中，图3A和图3B为同一真实环境下采集的图像，通过上述图3A和图3B的对比可知，不同曝光时长对图像的亮度信息影响很大。在VR设备中，由于每个摄像头被设置为自然曝光模式和短爆光模式循环交替切换的，因此，在视频透视模式下进行图像显示时，若不对图像的亮度进行处理，会使相邻两帧图像的亮度差别很大，视觉上表现为闪烁问题。

鉴于此，本申请实施例提供一种图像显示方法及设备，用以解决视频透视模式下VR设备显示的真实环境图像的闪烁问题。本申请实施例提供了两种技术方案，一种是将短爆光模式下左右摄像头采集的图像丢掉，只保留自然曝光模式下左右摄像头采集的图像，并经处理后显示在VR设备的左右眼镜片上，由于丢掉了短曝光模式下的图像，从而减少了相邻两帧图像的亮度差异，解决图像闪烁问题；另一种方案是获取自然曝光模式下左右摄像头采集的图像的亮度，将该亮度补偿到短曝光模式下左右摄像头采集的图像上，从而减少相邻两帧图像的亮度差异，解决图像闪烁问题。

参见图4，为本申请实施例提供的图像显示方法的流程图，该流程由VR设备执行，该流程主要包括以下几步：

S401：按设定帧率获取真实环境图像。

一般的，VR设备上安装有两个或两个以上的摄像头，本申请实施例用左、右两个摄像头实现对真实环境的感知。

考虑到用户在使用VR设备的过程中，视觉与真实世界相隔绝，通常会为VR设备预先设置了自定义安全区域，用户可以在自定义安全区域内自由运动。当用户处于自定义安全区域外时，需要感知真实环境以保护自身安全。因此，一种可选的实施方式为：当VR设备与自定义安全区域的边缘的距离小于距离阈值时，表明用户即将位于自定义安全区域外，此时，为了保护用户安全，VR设备开启左摄像头和右摄像头以进入视频透视模式；当VR设备与自定义安全区域的边缘的距离大于距离阈值时，表明用户在自定义安全区域的位置足够满足自身运动需求，此时，VR设备关闭左摄像头和右摄像头以退出视频透视模式。

本申请的实施例中，除了通过自定义安全区域自动进入或退出视频透视模式外，考虑到视频透视模式的多种应用场景，还可以手动控制。因此，另一种可选的实施方式为：当接收用户触发的进入视频透视模式的控制指令时，VR设备开启左摄像头和所述右摄像头。其中，本申请实施例对控制指令的触发方式不做限制性要求，例如，可以通过VR设备的用户界面给出的提示信息触发控制指令，还可以通过预先配置的快捷键触发控制指令。

在实际的应用场景中，VR设备一般与手柄一起使用，用户通过操作手柄改变手柄的6DOF位姿以控制VR设备的显示内容。目前，常用的手柄一般发出红外光或自然光，如果摄像头长期处于自然曝光模式时，则无法获取到手柄的位置，从而无法定位手柄的6DOF位姿，需要摄像头支持短曝光模式以定位手柄的6DOF位姿。因此，本申请实施例将VR设备的左摄像头和右摄像头的曝光类型设置为短曝光和自然曝光两种模式循环切换，用于定位与VR设备连接的手柄的6DOF位姿以控制VR设备的显示内容。

在执行S401时，VR设备进入视频透视模式后，左摄像头和右摄像头分别按设定帧率采集真实环境的图像，并传输给VR设备的处理器，处理器将左摄像头和右摄像头分别采集的真实环境的图像进行拼接，获得当前帧对应的一张真实环境图像，即左摄像头和右摄像头采集的真实环境的图像显示在一张图像上。

S402：针对每一帧真实环境图像，根据该真实环境图像的曝光时长，确定左摄像头和右摄像的曝光类型。

一般的，根据曝光时长的不同，VR设备上的左摄像头和右摄像头的曝光类型包括短曝光和自然曝光，短曝光类型的曝光时长下于自然曝光类型的曝光时长，且两种曝光类型按照设定帧率循环切换。因此，在S402中，每获取一帧真实环境图像，可根据当前帧真实环境图像的曝光时长，确定左摄像头和右摄像的曝光类型。

S403：当曝光类型为短曝光时，对该真实环境图像进行处理，使得位于该真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡。

由于VR设备的左摄像头和右摄像头设置为短曝光和自然曝光两种模式循环切换，因此，相邻两帧(一帧短曝光的真实环境图像，一帧自然曝光的真实环境图像)间的亮度差异较大，若直接进行显示可能会引起图像闪烁，造成头部眩晕，使用户无法很好的感知真实世界。因此，需要对短曝光的真实环境图像进行处理，使得位于该真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡，解决图像闪烁问题。

其中，对短曝光的真实环境图像的处理主要包括以下两种方案：

方案一

当当前帧真实环境图像对应的曝光类型为短曝光时，丢掉该真实环境图像，保留曝光类型为自然曝光的真实环境图像。

通过丢掉短曝光类型下采集的真实环境图像，使得保留的图像均为自然曝光类型下采集的真实环境图像，这样，短曝光类型下采集的真实环境图像将不会被VR设备所显示，从而消除了短曝光类型下采集的真实环境图像，与自然曝光类型下采集的真实环境图像这相邻两帧图像间亮度差异，不会出现图像闪烁的问题。

由于方案一采用直接丢掉短曝光类型下采集的真实环境图像，相当于降低了真实环境图像的采集帧率，可以适用对感知真实世界的实时性要求较低场景，当对感知真实世界的实时性要求较高的场景，可以使用方案二。

方案二

当当前帧真实环境图像对应的曝光类型为短曝光时，可基于相邻的上一帧自然曝光的真实环境图像的亮度，对当前帧真实环境图像进行亮度补偿，以减小短曝光和自然曝光对应的相邻两帧图像间亮度差异，进而决绝图像闪烁的问题。

亮度补偿过程具体参见图5，主要包括以下几步：

S4031：确定是否存在亮度补偿值，若存在，执行S4032，否则，执行S4033。

本申请的实施例中，由于左摄像头和右摄像头按设定帧率在短曝光和自然曝光两种类型间循环切换，因此，自然曝光和短曝光两种类型的真实环境图像相邻，可基于与当前短曝光的真实环境图像相邻的上一帧自然曝光的真实环境图像确定环境亮度值。由于自然曝光的真实环境图像是动态变化的，因此，亮度补偿值的确定过程是一个不断更新的过程。

当第一帧为短曝光的真实环境图像时，此时，还没有获取到自然曝光的真实环境图像，因此，在执行S4031时，可确定是否存在与当前短曝光的真实环境图像相邻的自然曝光的真实环境图像确定的环境亮度值，若存在，执行S4032进行亮度调整，否则无法进行亮度调整。

S4032：根据亮度补偿值对该真实环境图像进行亮度补偿，得到自然曝光的真实环境图像。

在S4032中，根据与该真实环境图像相邻的自然曝光的真实环境图像确定的环境亮度值对该真实环境图像进行亮度补偿后，该真实环境图像可视为自然曝光的真实环境图像，从而减小了短曝光和自然曝光对应的相邻两帧图像间亮度差异，进而解决图像闪烁的问题。

S4033：丢掉该真实环境图像，不更新VR设备显示的真实环境图像，更新VR设备显示的虚拟环境图像。

由于不存在亮度补偿值，所以没办法对该真实环境图像进行亮度补偿，若保留该真实环境图像，将会与相邻的自然曝光的真实环境图像间的亮度差异较大，显示时会引起图像闪烁的问题。因此，在S4033中，当不存在亮度补偿值时，丢掉该真实环境图像，不更新VR设备显示的真实环境图像，利用视觉暂留原理，仅更新VR设备显示的虚拟环境图像。

S404：对自然曝光的真实环境图像进行基础变形后显示以更新真实环境的显示内容。

在S404中，针对方案一，自然曝光的真实图像为丢掉短曝光的真实环境图像后，原始采集的自然曝光的图像，针对方案二，自然曝光的真实环境图像包括对短曝光的真实环境图像进行亮度补偿后得到的图像，以及原始采集的自然曝光的真实环境图像。其中，基础变形包括以下至少一项：

对自然曝光的真实环境图像进行鱼眼畸变校正；

对自然曝光的真实环境图像进行裁剪。

本申请实施例提供的一种图像显示方法中，方案一将短爆光的真实环境图像直接丢掉，保留自然曝光的真实环境图像，并经去畸变、裁剪等基础变形后进行显示，以更新真实环境的显示内容，从而使用户感知真实世界的环境；由于丢掉了短曝光的真实环境图像，从而消除了短曝光和自然曝光这两种类型的相邻两帧图像间的亮度差异，因此，在图像显示时，不出现图像闪烁的问题，提升了用户体验。方案二是根据相邻的上一帧自然曝光的真实环境图像确定亮度补偿值，并用该亮度补偿值补偿下一帧短曝光的真实环境图像，对亮度补偿后的真实环境图像(可视为自然曝光的真实环境图像)以及原始采集的自然曝光的真实环境图，经去畸变、裁剪等基础变形后进行显示，以实时更新VR设备的显示内容，从而使用户实时的感知真实世界的环境，且通过亮度补偿，减小了短曝光和自然曝光这两种类型的相邻两帧图像间的亮度差异，因此，VR设备实时显示真实环境图像时，不出现图像闪烁的问题，提升了用户体验。

下面单独描述两个方案的完整流程。

参见图6，为本申请实施例提供的采用方案一实现的视频透视模式下图像的显示方法的完整流程图，该流程主要包括以下几步：

S601：进入视频透视模式，按设定帧率获取真实环境图像。

S602：针对每一帧真实环境图像，根据该真实环境图像的曝光时长，确定左摄像头和右摄像的曝光类型。

S603：确定曝光类型是否为短曝光，若是，执行S604，否则，执行S605。

由于左摄像头和右摄像头按设定帧率设置为短曝光和自然曝光两种模式循环切换，因此，S603中的曝光类型包括短曝光和自然曝光。

S604：丢掉该真实环境图像，不更新真实环境图像直至获取到下一帧自然曝光的真实环境图像。

由于丢掉了该短曝光的真实环境图像，所以VR设备显示的真实环境仍为上一帧自然曝光的真实环境图像，不会发生更新，当获取到下一帧自然曝光的真实环境图像时才进行更新。

S605：对自然曝光的真实环境图像进行鱼眼畸变校正、裁剪等基础变形。

S606：显示变形后的真实环境图像以更新真实环境的显示内容。

方案一通过将短爆光的真实环境图像直接丢掉，仅保留的自然曝光的真实环境图像，从而消除了短曝光和自然曝光这两种类型的相邻两帧图像间的亮度差异，从而对自然曝光的真实环境图像经去畸变、裁剪等基础变形后显示时，解决了图像闪烁问题，使用户通过VR设备显示的真实环境图像感知真实世界的环境，提升了用户体验。

参见图7，为本申请实施例提供的采用方案二实现的视频透视模式下图像的显示方法的完整流程图，该流程主要包括以下几步：

S701：进入视频透视模式，按设定帧率获取真实环境图像。

S702：针对每一帧真实环境图像，根据该真实环境图像的曝光时长，确定左摄像头和右摄像的曝光类型。

S703：确定曝光类型是否为短曝光，若是，执行S704，否则，执行S707。

由于左摄像头和右摄像头按设定帧率设置为短曝光和自然曝光两种模式循环切换，因此，在S703中，曝光类型为短曝光和自然曝光中的任一个，当不为短曝光时，便为自然曝光。

S704：确定是否存在亮度补偿值，若存在，执行S705，否则，执行S706。

其中，亮度补偿值是基于与该短曝光的真实环境图像相邻的上一帧自然曝光的真实环境图像确定的。亮度补偿值的确定过程参见图8，在此不再重复。

S705：根据该亮度补偿值对该短曝光的真实环境图像进行亮度补偿，得到自然曝光的真实环境图像。

对该短曝光的真实环境图像进行亮度补偿后，可视为自然曝光的真实环境图像。

S706：丢掉该短曝光的真实环境图像，不更新VR设备显示的真实环境图像。

由于不存在亮度补偿值，无法对该短曝光的真实环境图像进行亮度补偿，也就无法减小自然曝光和短曝光这两种类型的相邻两帧图像间的亮度差异，因此，丢掉该短曝光的真实环境图像，不更新VR设备显示的真实环境图像。

S707：根据该自然曝光的真实环境图像更新亮度补偿值。

由于自然曝光的真实环境图像是动态变化的，因此，亮度补偿值也是不断更新的。

S708：对自然曝光的真实环境图像进行鱼眼畸变校正、裁剪等基础变形。

S709：显示变形后的真实环境图像以更新真实环境的显示内容。

方案二是根据自然曝光的真实环境图像动态确定亮度补偿值，并用相应的亮度补偿值补偿相邻的短曝光的真实环境图像，减小了短曝光和自然曝光这两种类型的相邻两帧图像间的亮度差异，从而对亮度补偿后的真实环境图像以及原始采集的自然曝光的真实环境图像经去畸变、裁剪等基础变形后显示时，解决了图像闪烁问题，使用户通过VR设备显示的真实环境图像实时感知真实世界的环境，提升了用户体验。

上述实施例中，亮度补偿值的确定方式可采用图像分块的方式获得。具体的，针对短曝光的真实环境图像，获取与该真实环境图像相邻的自然曝光的真实环境图像的灰度图，并将该灰度图等分为N个灰度子图，确定每个灰度子图的亮度均值，得到亮度矩阵，进一步地，将各灰度子图的亮度矩阵作为对该真实环境图像进行亮度补偿的亮度补偿值。其中，N为大于等于2的整数。

参见图8，给出了亮度补偿值的计算过程，主要包括以下几步：

S801：获取与短曝光的真实环境图像相邻的上一帧自然曝光的真实环境图像。

S802：确定获取的自然曝光的真实环境图像是否为RGB图像，若是，执行S803，否则，执行S804。

S803：将自然曝光的真实环境图像转换为灰度图。

S804：记录自然曝光的真实环境图像的灰度图的行数和列数，并按照预设分块大小，将该灰度图等分为N个灰度子图。

假设该灰度图的行数和列数为(u，v)，分块大小为(Dx，Dy)，则N＝u/Dx＝v/Dy，N为大于等于2的整数。

S805：确定每个灰度子图的亮度均值，得到相应灰度子图的亮度矩阵。

S806：将各灰度子图的亮度矩阵作为对短曝光的真实环境图像进行亮度补偿的亮度补偿值。

当获取到下一帧自然曝光的真实环境图像后，重复图8所示的步骤，从而更新亮度补偿值，提高亮度补偿的准确性，进而进一步缩小短曝光和自然曝光这两种类型的相邻两帧图像间的亮度差异，提升用户VR体验。

基于相同的技术构思，本申请实施例提供一种VR设备，该VR设备可实现上述实施例中图像显示方法的步骤，且能达到相同的技术效果。

参见图9，该VR设备包括处理器901、存储器902、显示屏903和左摄像头904以及右摄像头905，所述存储器902、所述显示屏903、所述左摄像头904以及所述右摄像头905与所述处理器901通过总线906(在图9中用粗实线表示)连接：

存储器902存储有计算机程序，处理器901根据所述计算机程序，执行以下操作：

按设定帧率获取真实环境图像，所述真实环境图像为所述左摄像头904和所述右摄像头905分别采集的图像拼接得到的；

针对每一帧真实环境图像，根据所述真实环境图像的曝光时长，确定所述左摄像头和所述右摄像的曝光类型；

当所述曝光类型为短曝光时，对所述真实环境图像进行处理，使得位于该真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡；

对自然曝光的真实环境图像进行基础变形后，通过所述显示屏903进行显示以更新真实环境的显示内容。

可选的，当所述曝光类型为短曝光时，所述处理器901对所述真实环境图像进行处理，具体操作为：

当所述曝光类型为短曝光时，确定是否存在亮度补偿值，所述亮度补偿值是基于与所述短曝光的真实环境图像相邻的上一帧自然曝光的真实环境图像确定的；

若存在，则根据所述亮度补偿值对当前帧所述真实环境图像进行亮度补偿，得到自然曝光的真实环境图像。

可选的，当不存在所述亮度补偿值，所述处理器901还执行：

丢掉所述真实环境图像，不更新所述VR设备显示的真实环境图像，更新所述VR设备显示的虚拟环境图像。

可选的，所述处理器901通过以下方式确定所述亮度补偿值：

获取与所述真实环境图像相邻的上一帧自然曝光的真实环境图像的灰度图；

将所述灰度图等分为N个灰度子图，N为大于等于2的整数；

确定每个灰度子图的亮度均值，得到亮度矩阵，并将各亮度矩阵作为所述亮度补偿值。

可选的，当所述曝光类型为短曝光时，所述处理器901对所述真实环境图像进行处理，具体操作为：

当所述曝光类型为短曝光时，丢掉所述真实环境图像，保留所述曝光类型为自然曝光的真实环境图像。

可选的，所述VR设备与手柄连接，所述左摄像头和所述右摄像的曝光类型按照设定帧率设置为短曝光和自然曝光两种模式循环切换，用于定位所述手柄的6自由度DOF位姿以控制所述VR设备的显示内容。

可选的，按设定帧率获取真实环境图像之前，所述处理器901还执行：

当所述VR设备与自定义安全区域的边缘的距离小于距离阈值时，开启所述左摄像头和所述右摄像头以进入视频透视模式；或者

当接收用户触发的进入视频透视模式的控制指令时，开启所述左摄像头和所述右摄像头。

可选的，所述基础变形包括以下至少一项：

对自然曝光的真实环境图像进行鱼眼畸变校正；

对自然曝光的真实环境图像进行裁剪。

需要说明的是，图9仅是一种示例，给出VR设备执行本申请实施例提供的视频透视模式下图像的显示方法步骤所必要的硬件，未示出的，该VR设备还包含显示设备的常用硬件，如左右眼镜片、扬声器、麦克风等。

本申请实施例图9中涉及的处理器可以是中央处理器(Central ProcessingUnit，CPU)，通用处理器，图形处理器(Graphics Processing Unit，GPU)，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-specific IntegratedCircuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

参见图10，为图9所示的VR设备的功能结构图，该VR设备包括图像获取模块1001、类型确定模块1002、去闪烁处理模块1003以及显示模块1004。

图像获取模块1001，用于按设定帧率获取真实环境图像，所述真实环境图像为所述VR设备上的左摄像头和右摄像头分别采集的图像拼接得到的；

类型确定模块1002，用于针对每一帧真实环境图像，根据所述真实环境图像的曝光时长，确定所述左摄像头和所述右摄像的曝光类型；

去闪烁处理模块1003，用于当所述曝光类型为短曝光时，对所述真实环境图像进行处理，使得位于该真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡；

显示模块1004，用于对自然曝光的真实环境图像进行基础变形后显示以更新真实环境的显示内容。

其中，上述各功能模块相互配合可实现视频透视模式下图像的显示方法步骤，且能达到相同的技术效果。各功能模块的具体实现方式参见前述实施例，在此不再重复。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像显示方法，其特征在于，应用于VR设备，包括：

按设定帧率获取真实环境图像，所述真实环境图像为所述VR设备上的左摄像头和右摄像头分别采集的图像拼接得到的；

针对每一帧真实环境图像，根据所述真实环境图像的曝光时长，确定所述左摄像头和所述右摄像的曝光类型；

当所述曝光类型为短曝光时，对所述真实环境图像进行处理，使得位于所述真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡；

对自然曝光的真实环境图像进行基础变形后显示以更新真实环境的显示内容。

2.如权利要求1所述的方法，其特征在于，所述当所述曝光类型为短曝光时，对所述真实环境图像进行处理，包括：

当所述曝光类型为短曝光时，确定是否存在亮度补偿值，所述亮度补偿值是基于与所述真实环境图像相邻的上一帧自然曝光的真实环境图像确定的；

若存在，则根据所述亮度补偿值对所述真实环境图像进行亮度补偿，得到自然曝光的真实环境图像。

3.如权利要求2所述的方法，其特征在于，当不存在所述亮度补偿值，所述方法还包括：

丢掉所述真实环境图像，不更新所述VR设备显示的真实环境图像，仅更新所述VR设备显示的虚拟环境图像。

4.如权利要求2所述的方法，其特征在于，通过以下方式确定所述亮度补偿值：

获取与所述真实环境图像相邻的自然曝光的真实环境图像的灰度图；

将所述灰度图等分为N个灰度子图，N为大于等于2的整数；

确定每个灰度子图的亮度均值，得到亮度矩阵，并将各亮度矩阵作为所述亮度补偿值。

5.如权利要求1所述的方法，其特征在于，所述当所述曝光类型为短曝光时，对所述真实环境图像进行处理，包括：

当所述曝光类型为短曝光时，丢掉所述真实环境图像，保留所述曝光类型为自然曝光的真实环境图像。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述VR设备与手柄连接，所述左摄像头和所述右摄像的曝光类型按照设定帧率设置为短曝光和自然曝光两种模式循环切换，用于定位所述手柄的6自由度DOF位姿以控制所述VR设备的显示内容。

7.如权利要求1-5中任一项所述的方法，其特征在于，所述按设定帧率获取真实环境图像之前，所述方法还包括：

当所述VR设备与自定义安全区域的边缘的距离小于距离阈值时，开启所述左摄像头和所述右摄像头以进入视频透视模式；或者

当接收用户触发的进入视频透视模式的控制指令时，开启所述左摄像头和所述右摄像头。

8.如权利要求1-5中任一项所述的方法，其特征在于，所述基础变形包括以下至少一项：

对自然曝光的真实环境图像进行鱼眼畸变校正；

对自然曝光的真实环境图像进行裁剪。

9.一种VR设备，其特征在于，包括处理器、存储器、显示屏和左摄像头以及右摄像头，所述存储器、所述显示屏、所述左摄像头以及所述右摄像头与所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

按设定帧率获取真实环境图像，所述真实环境图像为所述左摄像头和所述右摄像头分别采集的图像拼接得到的；

针对每一帧真实环境图像，根据所述真实环境图像的曝光时长，确定所述左摄像头和所述右摄像的曝光类型；

当所述曝光类型为短曝光时，对所述真实环境图像进行处理，使得位于所述真实环境图像的前后两帧自然曝光的真实环境图像平滑过渡；

对自然曝光的真实环境图像进行基础变形后，通过所述显示屏进行显示以更新真实环境的显示内容。

10.如权利要求9所述的VR设备，其特征在于，当所述曝光类型为短曝光时，所述处理器对所述真实环境图像进行处理，具体操作为：

当所述曝光类型为短曝光时，若确定存在亮度补偿值，则根据所述亮度补偿值对当前帧所述真实环境图像进行亮度补偿，得到自然曝光的真实环境图像，所述亮度补偿值是基于与所述真实环境图像相邻的上一帧自然曝光的真实环境图像确定的；或者

当所述曝光类型为短曝光时，丢掉所述真实环境图像，保留所述曝光类型为自然曝光的真实环境图像。

Images