CN115834858A - 显示方法、装置、头戴显示设备及存储介质 - Google Patents

Abstract

本发明公开了一种显示方法、装置、头戴显示设备及存储介质，涉及头戴显示设备领域，方法应用于头戴显示设备，在头戴显示设备上安装有采集真实场景图像的可三轴转动的第一相机，确定用户的注视方向以及第一相机的拍摄方向；在注视方向和拍摄方向不一致时，转动第一相机以使注视方向和拍摄方向一致；获取注视方向和拍摄方向一致时第一相机采集的目标真实场景图像，将目标真实场景图像进行显示。本申请解决头戴显示设备显示的真实场景图像与用户人眼看到的场景图像不匹配、不一致的技术问题，避免由于用户肉眼观看的场景图像和头戴显示设备显示采集到的场景图像不一致导致的割裂感和晕眩感，同时提升用户使用头戴显示设备时的沉浸式体验。

Description

显示方法、装置、头戴显示设备及存储介质

技术领域

本发明涉及头戴显示设备领域，尤其涉及一种显示方法、显示装置、头戴显示设备及计算机可读存储介质。

背景技术

头戴显示设备作为目前主流的交互工具，其VST(Vi deo See-Through,视频透视)的工作原理如下，用户戴上头戴显示设备后，头戴显示设备上的相机采集到真实场景图像，然后将相机采集得到的真实场景图像通过头戴显示设备的显示屏幕上展示以供用户观看。

但是目前头戴显示设备的视频透视存在以下问题：头戴显示设备显示的由相机采集到的真实场景图像与用户人眼看到的场景图像不匹配、不一致，影响用户使用头戴显示设备时的沉浸式体验。

发明内容

本发明的主要目的在于提供一种显示方法、显示装置、头戴显示设备及计算机可读存储介质，旨在解决现有技术中头戴显示设备显示的真实场景图像与用户人眼看到的场景图像不匹配、不一致的技术问题。

为实现上述目的，本发明提供一种显示方法，所述显示方法应用于头戴显示设备，在所述头戴显示设备上安装有采集真实场景图像的可三轴转动的第一相机，所述显示方法包括：

确定用户的注视方向以及所述第一相机的拍摄方向；

在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致；

获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

可选地，在所述头戴显示设备上安装有采集用户的眼睛图像的第二相机，所述确定用户的注视方向的步骤，包括：

获取所述第二相机采集的用户的眼睛图像，并根据所述眼睛图像确定用户的注视方向。

可选地，所述转动所述第一相机以使所述注视方向和所述拍摄方向一致的步骤，包括：

根据用户的注视方向计算出用户的注视点坐标，基于所述注视点坐标转动所述第一相机以使所述注视方向和所述拍摄方向一致。

可选地，所述获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像的步骤，包括：

若通过多个所述第一相机采集真实场景图像，则基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像。

可选地，所述基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像的步骤，包括：

基于各个第一相机之间的间隔距离和相机视场角对各个第一相机采集到的真实场景图像进行拼接，将拼接得到的图像作为所述目标真实场景图像。

可选地，所述显示方法，还包括：

识别所述目标真实场景图像中的主要物体；

将所述虚拟场景图像和所述主要物体进行融合显示。

可选地，所述将虚拟场景图像和所述目标真实场景图像进行融合显示的步骤之后，还包括：

识别用户的手势动作；

若所述手势动作为预设手势，则确定由转动后的所述第一相机所采集的真实场景图像不符合用户人眼观看到的场景图像，执行所述确定用户的注视方向以及所述第一相机的拍摄方向的步骤。

此外，为实现上述目的，本发明还提供一种显示装置，所述显示装置，包括：

确定模块，用于确定用户的注视方向以及第一相机的拍摄方向；

转动模块，用于在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致；

显示模块，用于获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

此外，为实现上述目的，本发明还提供一种头戴显示设备，所述头戴显示设备包括：采集真实场景图像的第一相机、采集用户的眼睛图像的第二相机、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的显示方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的显示方法的步骤。

本发明实施例提出的一种显示方法、显示装置、头戴显示设备及计算机可读存储介质,所述显示方法应用于头戴显示设备，在所述头戴显示设备上安装有采集真实场景图像的可三轴转动的第一相机，所述显示方法包括：确定用户的注视方向以及所述第一相机的拍摄方向；在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致；获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

首先，确定用户观看头戴显示设备显示内容时的注视方向以及头戴显示设备的第一相机采集真实场景图像的拍摄方向。然后，判断注视方向和拍摄方向是否一致，在一致时则无需转动第一相机改变第一相机的拍摄方向，在不一致时则需要转动第一相机，使得注视方向和拍摄方向一致。最后，第一相机根据转动第一相机之后的与用户注视方向一致的拍摄方向拍摄得到目标真实场景图像，将目标真实场景图像进行显示。

通过基于用户的注视方向调整第一相机的拍摄方向，让用户观看到的智能眼睛显示的由第一相机采集的目标真实场景图像和用户眼睛观看显示内容时的注视方向一致，解决头戴显示设备显示的真实场景图像与用户人眼看到的场景图像不匹配、不一致的技术问题，避免由于用户肉眼观看的场景图像和头戴显示设备显示采集到的场景图像不一致导致的割裂感和晕眩感，同时提升用户使用头戴显示设备时的沉浸式体验，进而提升头戴显示设备的VST视频透视显示效果，提升头戴显示设备用户的使用体验。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明显示方法一实施例的流程示意图；

图3为本发明显示方法一实施例的注视方向和拍摄方向示意图；

图4为本发明显示方法一实施例的双目RGB相机示意图；

图5为本发明显示方法一实施例的应用示意图；

图6为本发明显示装置一实施例的装置示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的运行设备的结构示意图。

如图1所示，该运行设备可以包括：处理器1001，例如中央处理器(CentralProcess i ng Un it，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Disp l ay)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WI re less-F I de l ity，WI-F I)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Vo l at i l eMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对运行设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及计算机程序。

在图1所示的运行设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明运行设备中的处理器1001、存储器1005可以设置在运行设备中，所述运行设备通过处理器1001调用存储器1005中存储的计算机程序，并执行以下操作：

确定用户的注视方向以及所述第一相机的拍摄方向；

在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致；

获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

在所述头戴显示设备上安装有采集用户的眼睛图像的第二相机，所述确定用户的注视方向的步骤，包括：

获取所述第二相机采集的用户的眼睛图像，并根据所述眼睛图像确定用户的注视方向。

进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

所述转动所述第一相机以使所述注视方向和所述拍摄方向一致的步骤，包括：

根据用户的注视方向计算出用户的注视点坐标，基于所述注视点坐标转动所述第一相机以使所述注视方向和所述拍摄方向一致。

进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

所述获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像的步骤，包括：

若通过多个所述第一相机采集真实场景图像，则基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像。

进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

所述基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像的步骤，包括：

基于各个第一相机之间的间隔距离和相机视场角对各个第一相机采集到的真实场景图像进行拼接，将拼接得到的图像作为所述目标真实场景图像。

进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

所述显示方法，还包括：

识别所述目标真实场景图像中的主要物体；

将所述虚拟场景图像和所述主要物体进行融合显示。

进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

所述将虚拟场景图像和所述目标真实场景图像进行融合显示的步骤之后，还包括：

识别用户的手势动作；

若所述手势动作为预设手势，则确定由转动后的所述第一相机所采集的真实场景图像不符合用户人眼观看到的场景图像，执行所述确定用户的注视方向以及所述第一相机的拍摄方向的步骤。

参照图2，本发明提供一种显示方法，所述显示方法应用于头戴显示设备，在所述头戴显示设备上安装有采集真实场景图像的可三轴转动的第一相机，所述显示方法包括：

步骤S10，确定用户的注视方向以及所述第一相机的拍摄方向。

头戴显示设备如AR眼镜采集真实场景图像的第一相机为相机(可以为单色相机或者RGB相机)，头戴显示设备采集用户的眼睛图像的第二相机为Eyetracki ng(眼部追踪)相机。真实场景图像是指头戴显示设备上的相机采集到的真实世界的场景图像。

可选的，所述在所述头戴显示设备上安装有采集用户的眼睛图像的第二相机，所述确定用户的注视方向的步骤，包括：获取所述第二相机采集的用户的眼睛图像，并根据所述眼睛图像确定用户的注视方向。

注视点追踪又称眼球追踪，是利用传感器如红外摄像机捕获、提取眼球特征信息，测量眼睛的运动情况从而估计视线方向或眼睛注视点位置。头戴显示设备如AR眼镜采集用户的眼睛图像的第二相机为Eyetracki ng(眼部追踪)相机，通过头戴显示设备的第二相机采集获取得到用户的眼睛图像，从而可以根据眼睛图像确定在真实场景图像上用户的注视方向。

在通过头戴显示设备的第二相机采集获取得到用户的眼睛图像之后，根据眼睛图像计算出用户的注视点坐标，从而基于注视点坐标确定用户的注视方向。在本实施例中，采用瞳孔角膜反射法确定注视点坐标：在头戴显示设备的注视点追踪系统中红外光源和eye-tracki ng摄像机的位置都是不变条件下，并且在眼球模型的结构基础上，利用闪烁点与光源位置计算得到角膜曲率中心。利用图像处理技术计算获得瞳孔中心，通过角膜曲率中心与瞳孔中心的连线求得眼球光轴，并利用光轴和视轴之间的夹角计算得到了真实的视线方向即视轴以及注视点坐标。

进一步的，确定用户的注视方向的步骤，包括：获取用户的语音信息，解析所述语音信息得到主要物体，基于所述主要物体在所述真实场景图像上匹配与所述主要物体相似度大于预设阈值的目标主体，确定所述目标主体的方向为用户的注视方向。从而除了通过用户注视点坐标确定用户的注视方向之外，还可以让用户主动在真实场景图像上确定注视方向，进而提高显示方法的适用性，给用户提供更多的实现显示的可选操作。

进一步地，确定用户的注视方向的步骤，包括：识别用户的手势动作，并根据所述手势动作确定用户在真实场景图像上的注视方向。除了通过用户的眼睛图像确定用户的注视方向之外，还可以通过用户的手势动作确定用户的注视方向。用户可以在经过预设划分方式划分之后的真实场景图像上通过手势动作选取其中的一个或多个子区域作为注视方向，也可以在未经过划分的真实场景图像上通过手势动作圈选出一个区域作为注视方向。在本实施例中，对确定用户真实场景图像上的手势动作的具体手势和动作不做限定。从而充分利用头戴显示设备的显示能力，给用户提供除注视点坐标和语音选取之外通过选中或者圈选方式确定注视方向的手段。

进一步地，所述确定用户的注视方向的步骤，包括：

确定人眼注视内容清晰时对应的预设角度范围；

确定所述注视方向是否处于所述预设角度范围，若处于则执行后续步骤，否则重新确定用户的注视方向。

人眼在视物的过程中，并不会注意到视野中的全部细节，只有中间视觉焦点附近是清晰的，任何超出了人眼注视区中心预设角度范围如5度以上的区域都会逐渐降低清晰度，超出了人眼注视区中心预设角度范围如5度以上的区域作为忽略区域。这是由于负责观察色彩和细节的视网膜上的视锥细胞的浓度不同，拥有高密度视锥细胞的区域叫中央凹与人眼视野中的注视点相对应。所以可以通过确定注视方向是否处于预设角度范围内，判断通过注视点坐标、语音或者手势动作等确定的用户的注视方向是否计算正确、是否符合肉眼的生物视觉正常清晰范围。

步骤S20，在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致。

在确定了注视方向和拍摄方向之后，需要判断注视方向和拍摄方向是否一致。在一致时则无需转动第一相机改变第一相机的拍摄方向，在不一致时则需要转动第一相机，使得注视方向和拍摄方向一致。最后，第一相机根据转动第一相机之后的与用户注视方向一致的拍摄方向拍摄得到目标真实场景图像，将目标真实场景图像进行显示。

可选地，所述转动所述第一相机以使所述注视方向和所述拍摄方向一致的步骤，包括：根据用户的注视方向计算出用户的注视点坐标，基于所述注视点坐标转动所述第一相机以使所述注视方向和所述拍摄方向一致。

参照图3，根据用户注视方向利用三维空间坐标系换算关系计算出注视方向的三维坐标(x,y,z)，然后，根据三维坐标(x,y,z)沿X、Y、Z方向对第一相机进行三轴的旋转转动，从而使得第一相机的拍摄方向和用户的注视方向保持一致。

步骤S30，获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

视频透视(VST)是指头戴显示设备如AR眼镜通过安装在眼镜上的微型摄像头采集真实场景的图像，AR眼镜再通过场景理解和分析将所要添加的信息和图像信号叠加在摄像机的视频信号上，同时将AR眼镜生成的虚拟场景与真实场景进行融合，最后通过AR眼镜显示屏幕呈现给用户。

可选的，所述获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像的步骤，包括：

若通过多个所述第一相机采集真实场景图像，则基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像。

如果通过多个第一相机采集真实场景图像，则由于不同第一相机的位置和拍摄角度均不同，会导致不同第一相机采集到的真实场景图像之间存在视差，需要对各个第一相机采集到的真实场景图像进行处理之后得到目标真实场景图像。

可选的，所述基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像的步骤，包括：

基于各个第一相机之间的间隔距离和相机视场角对各个第一相机采集到的真实场景图像进行拼接，将拼接得到的图像作为所述目标真实场景图像。

如图4所示，因为双目相机所采集的图像会存在一定的视差，所以首先会结合双目相机之间的距离d和相机的FOV(Fi e l d of View，视场角)对采集的图像进行拼接，从而得到可以确定待传输的传输区域的真实场景图像。

在本实施例中，所述显示方法应用于头戴显示设备，在所述头戴显示设备上安装有采集真实场景图像的可三轴转动的第一相机，所述显示方法包括：确定用户的注视方向以及所述第一相机的拍摄方向；在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致；获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

首先，确定用户观看头戴显示设备显示内容时的注视方向以及头戴显示设备的第一相机采集真实场景图像的拍摄方向。然后，判断注视方向和拍摄方向是否一致，在一致时则无需转动第一相机改变第一相机的拍摄方向，在不一致时则需要转动第一相机，使得注视方向和拍摄方向一致。最后，第一相机根据转动第一相机之后的与用户注视方向一致的拍摄方向拍摄得到目标真实场景图像，将目标真实场景图像进行显示。

通过基于用户的注视方向调整第一相机的拍摄方向，让用户观看到的智能眼睛显示的由第一相机采集的目标真实场景图像和用户眼睛观看显示内容时的注视方向一致，解决头戴显示设备显示的真实场景图像与用户人眼看到的场景图像不匹配、不一致的技术问题，避免由于用户肉眼观看的场景图像和头戴显示设备显示采集到的场景图像不一致导致的割裂感和晕眩感，同时提升用户使用头戴显示设备时的沉浸式体验，进而提升头戴显示设备的VST视频透视显示效果，提升头戴显示设备用户的使用体验。

进一步的，在本发明显示方法的另一实施例中，所述显示方法，还包括：

识别所述目标真实场景图像中的主要物体；

将所述虚拟场景图像和所述主要物体进行融合显示。

除了对目标真实场景图像的整个区域进行融合显示之外，还可以只对目标真实场景图像中的主要物体进行精准的融合显示。进一步的，所述识别所述目标真实场景图像中的主要物体的步骤包括：识别所述目标真实场景图像中的各个待选物体，在所述待选物体中选择物体面积最大的待选物体作为所述主体物体，或者在所述待选物体中选择处于最上图层的待选物体作为所述主体物体，或者确定各个所述待选物体所处为前景或背景，将前景中的一个或者多个待选物体作为所述主体物体。同样的，在多个待选物体中确定得到所述主要物体也可以是通过语音、手势等操作实现，具体操作步骤与上述确定对虚拟场景图像和真实场景图像进行裁剪的裁剪调整操作的方式类似，在此不做赘述。

在所述目标真实场景图像中识别到主要物体，并将所述目标虚拟场景图像和所述主要物体进行融合显示，从而可以降低头戴显示设备进行融合显示时的数据量以及计算量，进一步降低头戴显示设备的功耗，提升头戴显示设备的处理效率，最终提升头戴显示设备的融合显示的效果以及用户的增强现实的体验。

进一步的，在本发明显示方法的另一实施例中，所述将虚拟场景图像和所述目标真实场景图像进行融合显示的步骤之后，还包括：

识别用户的手势动作；

若所述手势动作为预设手势，则确定由转动后的所述第一相机所采集的真实场景图像不符合用户人眼观看到的场景图像，执行所述确定用户的注视方向以及所述第一相机的拍摄方向的步骤。

参照图5，在调整第一相机位置、使第一相机的拍摄方向和用户的注视方向调整为一致之后，将虚拟场景图像和调整后的第一相机采集的目标真实场景图像进行融合显示。由于可能的计算错误或者误差等各种因素导致用户最终观看到的智能眼睛显示的经过相机采集和处理的场景图像，和实际场景图像仍然存在不一致的情况，甚至出现明显的不符合用户直觉的情况，比如用户向左转动头戴显示设备，但是头戴显示设备的显示画面却是显示向右的画面，出现明显的“穿帮”。此时，需要重新进行注视方向和拍摄方向的调整。而此时头戴显示设备已经经过一次第一相机的位置调整、已经经过一次二者方向的统一，需要给头戴显示设备一个触发条件才能使头戴显示设备重新调整第一相机的位置、重新匹配用户的注视方向和第一相机的拍摄方向。在本实施例中，通过识别到用户的手势动作与触发条件对应的的预设手势相同时，确定由转动后的第一相机所采集的真实场景图像不符合用户人眼观看到的场景图像，执行所述确定用户的注视方向以及所述第一相机的拍摄方向的步骤，重新进行注视方向和拍摄方向的调整。进一步地，还可以通过麦克风采集到的语音、陀螺仪采集到的用户头部的惯性确定的摇头动作或者点头动作等，确定由转动后的第一相机所采集的真实场景图像不符合用户人眼观看到的场景图像，可以将语音或者惯性等作为使头戴显示设备重新调整第一相机的位置、重新匹配用户的注视方向和第一相机的拍摄方向的触发条件。

参照图5，在本发明显示方法的另一实施例中，首先用户戴上VR/AR眼镜，在双目RGB相机、eye-tracki ng摄像头和I R-LED采集图像功能正常时，调用成熟的注视点跟踪算法计算出用户的注视点方向。具体的，利用eye-tracki ng摄像头和I R-LED采集清晰的眼睛图像，之后经过图像预处理包括图像的灰度化、图像滤波、二值化和图像边缘检测等，然后分别进行瞳孔中心定位和角膜反射光斑中心定位，计算出用户的注视点。最后根据用户的注视方向利用三维空间坐标系换算关系计算出注视方向的三维坐标(x,y,z)，根据三维坐标沿X、Y、Z方向对第一相机进行旋转转动，使得第一相机的拍摄方向和用户的注视方向保持一致。解决头戴显示设备显示的真实场景图像与用户人眼看到的场景图像不匹配、不一致的技术问题，比如AR眼镜用户双眼看到的真实场景图像与双目RGB相机采集到的图像不匹配的问题，提升AR眼镜的视频透视显示效果，也提升眼镜佩戴者的用户体验，真正实现AR眼镜增强现实的作用。

此外，参照图6，本发明实施例还提供一种显示装置，所述显示装置，包括：

确定模块M1，用于确定用户的注视方向以及第一相机的拍摄方向；

转动模块M2，用于在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致；

显示模块M3，用于获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

可选的，在所述头戴显示设备上安装有采集用户的眼睛图像的第二相机，确定模块M1，还用于获取所述第二相机采集的用户的眼睛图像，并根据所述眼睛图像确定用户的注视方向。

可选的，转动模块M2，还用于根据用户的注视方向计算出用户的注视点坐标，基于所述注视点坐标转动所述第一相机以使所述注视方向和所述拍摄方向一致。

可选的，显示模块M3，还用于若通过多个所述第一相机采集真实场景图像，则基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像。

可选的，显示模块M3，还用于基于各个第一相机之间的间隔距离和相机视场角对各个第一相机采集到的真实场景图像进行拼接，将拼接得到的图像作为所述目标真实场景图像。

可选的，所述显示装置还包括：进阶显示模块，用于识别所述目标真实场景图像中的主要物体；将所述虚拟场景图像和所述主要物体进行融合显示。

可选的，所述显示装置还包括：判断模块，用于识别用户的手势动作；若所述手势动作为预设手势，则确定由转动后的所述第一相机所采集的真实场景图像不符合用户人眼观看到的场景图像，执行所述确定用户的注视方向以及所述第一相机的拍摄方向的步骤。

本发明提供的显示装置，采用上述实施例中的显示方法，解决现有技术中头戴显示设备显示的真实场景图像与用户人眼看到的场景图像不匹配、不一致的技术问题。与现有技术相比，本发明实施例提供的显示装置的有益效果与上述实施例提供的显示方法的有益效果相同，且该显示装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。

此外，本发明实施例还提供一种头戴显示设备，所述头戴显示设备包括：采集真实场景图像的第一相机、采集用户的眼睛图像的第二相机、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的显示方法的步骤。

此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的显示方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种显示方法，其特征在于，所述显示方法应用于头戴显示设备，在所述头戴显示设备上安装有采集真实场景图像的可三轴转动的第一相机，所述显示方法包括：

确定用户的注视方向以及所述第一相机的拍摄方向；

在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致；

获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

2.如权利要求1所述的显示方法，其特征在于，在所述头戴显示设备上安装有采集用户的眼睛图像的第二相机，所述确定用户的注视方向的步骤，包括：

获取所述第二相机采集的用户的眼睛图像，并根据所述眼睛图像确定用户的注视方向。

3.如权利要求1所述的显示方法，其特征在于，所述转动所述第一相机以使所述注视方向和所述拍摄方向一致的步骤，包括：

根据用户的注视方向计算出用户的注视点坐标，基于所述注视点坐标转动所述第一相机以使所述注视方向和所述拍摄方向一致。

4.如权利要求1所述的显示方法，其特征在于，所述获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像的步骤，包括：

若通过多个所述第一相机采集真实场景图像，则基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像。

5.如权利要求4所述的显示方法，其特征在于，所述基于各个第一相机采集到的真实场景图像确定得到所述目标真实场景图像的步骤，包括：

基于各个第一相机之间的间隔距离和相机视场角对各个第一相机采集到的真实场景图像进行拼接，将拼接得到的图像作为所述目标真实场景图像。

6.如权利要求1所述的显示方法，其特征在于，所述显示方法，还包括：

识别所述目标真实场景图像中的主要物体；

将所述虚拟场景图像和所述主要物体进行融合显示。

7.如权利要求1所述的显示方法，其特征在于，所述将虚拟场景图像和所述目标真实场景图像进行融合显示的步骤之后，还包括：

识别用户的手势动作；

若所述手势动作为预设手势，则确定由转动后的所述第一相机所采集的真实场景图像不符合用户人眼观看到的场景图像，执行所述确定用户的注视方向以及所述第一相机的拍摄方向的步骤。

8.一种显示装置，其特征在于，所述显示装置，包括：

确定模块，用于确定用户的注视方向以及第一相机的拍摄方向；

转动模块，用于在所述注视方向和所述拍摄方向不一致时，转动所述第一相机以使所述注视方向和所述拍摄方向一致；

显示模块，用于获取所述注视方向和所述拍摄方向一致时所述第一相机采集的目标真实场景图像，将所述目标真实场景图像进行显示。

9.一种头戴显示设备，其特征在于，所述头戴显示设备包括：采集真实场景图像的第一相机、采集用户的眼睛图像的第二相机、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的显示方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的显示方法的步骤。

Images