CN114241168A - 显示方法、显示设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种显示方法、显示设备及计算机可读存储介质，所述显示方法应用于显示设备，所述显示设备包括第一摄像单元，所述显示方法包括：检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面。本发明旨在避免用户佩戴VR设备后仅能体验VR模式，用户体验受限。

Description

显示方法、显示设备及计算机可读存储介质

技术领域

本发明涉及显示技术领域，尤其涉及一种显示方法、显示设备及计算机可读存储介质。

背景技术

虚拟现实(Virtual Reality，VR)设备以及增强现实(Augmented Reality，AR)设备广泛应用于各种领域。其中，VR设备以及AR设备均具有独立的硬件系统，并分别基于各自的硬件系统独立使用。AR设备提供AR模式，AR模式下，虚拟图像与真实环境融合、故用户可同时体验虚拟图像与真实环境；VR设备通常只能提供VR模式，VR模式下用户仅能体验虚拟图像。

目前，用户佩戴VR设备后仅能体验VR模式，用户体验受限。

发明内容

本发明的主要目的在于提供一种显示方法、显示设备及计算机可读存储介质，旨在解决用户佩戴VR设备后仅能体验VR模式、用户体验受限的技术问题。

为实现上述目的，本发明提供一种显示方法，所述显示方法应用于显示设备，所述显示设备包括第一摄像单元，所述显示方法包括：

检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；

在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；

根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面。

可选地，所述检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式的步骤包括：

获取所述显示设备的传感器检测到的场景信息，所述场景信息包括光线信息和/或视觉特征信息；

根据所述场景信息确定所述显示设备的所述目标显示模式。

可选地，所述视觉特征信息包括特征数量和/或特征均匀度，所述光线信息为光照强度，所述根据所述场景信息确定所述显示设备的所述目标显示模式的步骤包括：

检测所述特征数量是否处于预设数量区间内，以及所述特征均匀度是否处于预设均匀度区间内；

在所述特征数量处于所述预设数量区间内时，或者所述特征均匀度处于所述预设均匀度区间内时，确定所述目标显示模式为所述VR显示模式；

在所述特征数量不处于所述预设数量区间内，且所述特征均匀度不处于所述预设均匀度区间内时，对所述光线信息、所述特征数量以及所述特征均匀度加权求和，得到求和值；

在所述求和值小于预设阈值时，确定所述目标显示模式为所述VR显示模式；

在所述求和值大于或者等于所述预设阈值时，确定所述目标显示模式为所述AR显示模式。

可选地，所述显示设备还包括第二摄像单元，所述根据所述场景信息确定所述显示设备的所述目标显示模式的步骤之后，还包括：

在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；

获取所述视觉纹理特征在世界坐标系中的第一坐标信息；

根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；

播放所述AR显示画面。

可选地，所述获取所述视觉纹理特征在世界坐标系中的第一坐标信息的步骤包括：

根据所述第二实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第二实景模型数据中提取的特征点；

基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；

根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。

可选地，所述根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放的步骤包括：

根据所述第二实景模型数据提取所述实景模型；

在保存的所述虚拟模型数据中，选取与所述实景模型匹配的目标虚拟模型；

基于所述相对位置信息，将所述目标虚拟模型映射到实景坐标系中，并渲染得到所述VR显示画面，所述相对位置信息包括第二坐标信息；

播放所述VR显示画面。

可选地，所述获取所述显示设备的缓存单元中保存的第一实景模型数据的步骤之前，还包括：

获取所述显示设备的视觉传感器检测到的图像帧；

根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；

分别根据每两个所述点特征构建一个线特征；

根据两两相交的三个所述线特征，构建三角面；

根据两两相交的四个所述三角面，构建体特征；

根据所述体特征确定所述第一实景模型数据；

保存所述第一实景模型数据至所述缓存单元中。

可选地，所述根据两两相交的三个所述线特征，构建三角面的步骤之前，还包括：

确定每个所述线特征的端点的灰度值；

根据所有端点的所述灰度值，确定所述图像帧中每两个所述端点之间的灰度值差值；

根据所述灰度值差值小于预设灰度值的两个所述端点，确定两线相交点；

确定每个所述两线相交点对应的每个所述线特征；

根据每个所述两线相交点对应的每个所述线特征，在所述图像帧的预设区域内确定两两相交的三个所述线特征。

此外，为实现上述目的，本发明还提供一种显示设备，所述显示设备包括第一摄像单元、处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的显示程序，其中：所述第一摄像单元与所述处理器通信连接；所述显示程序被所述处理器执行时实现上述任一项所述的方法。

可选地，所述第一摄像单元包括双目高清眼摄像头，所述显示设备还包括第二摄像单元，所述第二摄像单元与所述处理器通信连接，所述第二摄像单元包括双目鱼眼摄像头。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有显示程序，所述显示程序被处理器执行时实现上述任一项所述的显示方法的步骤。

本发明实施例提出的一种显示方法、显示设备及计算机可读存储介质，通过检测显示设备的目标显示模式为AR显示模式或者VR显示模式；在目标显示模式为VR显示模式时，获取显示设备的缓存单元中保存的第一实景模型数据，并根据第一实景模型数据，确定显示设备与所处环境的相对位置信息；根据相对位置信息以及缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，VR显示画面为生成有虚拟模型的虚拟画面。显示设备具有VR显示模式以及AR显示模式，并且，会检测是以VR模式显示画面，还是以AR模式显示画面，在以VR显示模式进行显示时，基于第一摄像单元采集的第一实景模型数据以及保存的虚拟模型数据生成VR显示画面，并播放VR显示画面，用户能够体验AR模式或者VR模式。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明显示方法第一实施例的流程示意图；

图3为本发明显示方法第二实施例的流程示意图；

图4为本发明显示方法第三实施例的流程示意图；

图5为本发明显示方法第四实施例的流程示意图；

图6为本发明实施例涉及的SOC及处理单元一实施例的示意图；

图7为本发明实施例涉及的点、线、面到体逐层处理生成体特征的示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的显示设备的结构示意图。

如图1所示，该显示设备可以包括：处理器1001，例如CPU，第一摄像单元1003，存储器1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。第一摄像单元1003用于采集第一实景模型数据。存储器1004可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。

显示设备还包括佩戴组件、显示屏和透镜组件，佩戴组件将显示设备佩戴于用户头部后显示屏展示的图像光穿过透镜组件进入用户眼睛。

可选地，第一摄像单元为双目高清摄像头。双目高清摄像头采集的画面无畸变，用于确定相对位置信息时更准确。

可选地，显示设备还包括第二摄像单元。第二摄像单元可以是双目鱼眼摄像头，双目鱼眼摄像头用于采集大视场角的画面，双目语言摄像头采集的画面更完整，用于提取视觉纹理特征时，提取的画面特征更丰富。

一些实施例中，第一摄像单元设置于显示设备前壳的左上角和右上角，第二摄像单元设置于显示设备前壳的左下角和右下角。当然，还可以采用其他方式设置。

本领域技术人员可以理解，图1中示出的显示设备的结构并不构成对显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1004中可以包括操作系统以及显示程序。

在图1所示的显示设备中，处理器1001可以用于调用存储器1004中存储的显示程序，并执行以下操作：

检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；

在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；

根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面。

进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：

获取所述显示设备的传感器检测到的场景信息，所述场景信息包括光线信息和/或视觉特征信息；

根据所述场景信息确定所述显示设备的所述目标显示模式。

进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：

检测所述特征数量是否处于预设数量区间内，以及所述特征均匀度是否处于预设均匀度区间内；

在所述特征数量处于所述预设数量区间内时，或者所述特征均匀度处于所述预设均匀度区间内时，确定所述目标显示模式为所述VR显示模式；

在所述特征数量不处于所述预设数量区间内，且所述特征均匀度不处于所述预设均匀度区间内时，对所述光线信息、所述特征数量以及所述特征均匀度加权求和，得到求和值；

在所述求和值小于预设阈值时，确定所述目标显示模式为所述VR显示模式；

在所述求和值大于或者等于所述预设阈值时，确定所述目标显示模式为所述AR显示模式。

进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：

在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；

获取所述视觉纹理特征在世界坐标系中的第一坐标信息；

根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；

播放所述AR显示画面。

进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：

根据所述第二实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第二实景模型数据中提取的特征点；

基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；

根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。

进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：

根据所述第一实景模型数据提取所述实景模型；

在保存的所述虚拟模型数据中，选取与所述实景模型匹配的目标虚拟模型；

基于所述相对位置信息，将所述目标虚拟模型映射到实景坐标系中，并渲染得到所述VR显示画面，所述相对位置信息包括第二坐标信息；

播放所述VR显示画面。

进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：

获取所述显示设备的视觉传感器检测到的图像帧；

根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；

分别根据每两个所述点特征构建一个线特征；

根据两两相交的三个所述线特征，构建三角面；

根据两两相交的四个所述三角面，构建体特征；

根据所述体特征确定所述第一实景模型数据；

保存所述第一实景模型数据至所述缓存单元中。

进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：

确定每个所述线特征的端点的灰度值；

根据所有端点的所述灰度值，确定所述图像帧中每两个所述端点之间的灰度值差值；

根据所述灰度值差值小于预设灰度值的两个所述端点，确定两线相交点；

确定每个所述两线相交点对应的每个所述线特征；

根据每个所述两线相交点对应的每个所述线特征，在所述图像帧的预设区域内确定两两相交的三个所述线特征。

参照图2，本发明第一实施例提供一种显示方法，所述显示方法包括：

步骤S10，检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；

目标显示模式是显示设备待显示画面的显示模式。AR显示模式为显示AR画面的模式，VR模式为显示VR画面的模式。

可选地，可以根据接收到的用户设定指令，检测目标显示模式为AR显示模式或者VR显示模式，用户设定指令包括AR模式设定指令或者VR模式设定指令。

比如，在使用者处于光照条件过于饱和的场景中时，通过显示设备AR组件观察到的画面不清晰，此时可以主动发出交互指令触发VR显示条件。又比如，用户在观看AR画面的过程中，产生了观看VR画面的需求，此时也可以主动触发VR显示条件。

可选地，可以根据显示设备所在环境的场景信息，检测目标显示模式为AR显示模式或者VR显示模式。

其中，显示AR画面时，若场景中的光照条件过于饱和，将无法清晰地将虚拟模型投影到AR镜片上，导致AR画面不清晰。为了便于用户观看清晰的显示画面，此情况下判定满足VR切换条件，并播放VR显示画面。并且，为了在一定程度上避免VR具有封闭性的特点，VR显示画面根据第一实景模型数据结合虚拟模型数据生成。

可选地，参照图5所示，显示设备包括存储器、两个系统级芯片(System on Chip，SOC)以及两个处理单元。其中两个系统级芯片分别是用于处理AR显示画面的AR SOC、用于处理VR显示画面的VR SOC，两个处理单元分别为视觉数据处理单元以及惯性数据处理单元，存储器中存储实景模型数据、虚拟模型数据以及坐标数据。惯性数据处理单元可以为两个SOC提供惯性位姿数据，辅助对真实场景的感知。视觉数据处理单元作为一个独立的处理单元会实时分析第一摄像单元以及第二摄像单元捕获的场景的特征信息，并能够进行计算得到相对锚点的坐标信息，该坐标信息存储在存储器的坐标信息区，在切换至VR显示画面时，可以快速读取坐标信息，并在虚拟现实环境中构建起符合真实场景布局的虚拟场景。

可选地，缓存单元中包括至少三个功能区，各个功能区分别用于存储实景模型数据、虚拟模型数据以及坐标数据。实景模型数据以及坐标数据存储在缓存单元中，从而使得在AR画面以及VR画面之间切换时，可以快速复用数据，以实现快速切换所显示的画面。

步骤S20，在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；

缓存单元是缓存数据的存储器。第一实景模型数据是真实场景中的模型数据，第一实景模型数据由第一摄像单元采集得到。VR切换条件为显示设备播放画面时，切换至VR显示画面进行播放的条件。

可选地，第一摄像单元为双目高清摄像头。采用双目高清摄像头，从而能够获得更准确的相对位置信息。

可选地，两个高清摄像头分别设置在显示设备的两侧。

可选地，缓存单元为先进先出(First Input First Output，FIFO)存储器，采用FIFO存储器能够提高数据共享的实时性，使得在虚拟场景中快速复用实景模型数据息。

可选地，第一实景模型数据包括实景坐标和实景模型，实景模型为真实场景中的模型，实景坐标为真实场景中的坐标。相对位置信息具体可以根据实景坐标得到。

可选地，实景模型包括真实场景中的各真实物体。

可选地，实景坐标包括真实场景的坐标系，以及各真实场景中各真实物体在真实场景坐标系中的坐标。

步骤S30，根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面；

虚拟模型数据是在虚拟的数字空间中模拟出的模型数据。

可选地，虚拟模型数据预先设定并保存在缓存单元中。

可选地，在根据相对位置信息以及缓存单元保存的虚拟模型数据，生成VR显示画面的过程中，根据第一实景模型数据的实景坐标，构建得到虚拟场景的坐标信息，以使虚拟场景的坐标与真实场景的坐标相一致；还可以确定与实景模型匹配的虚拟模型，并基于匹配的虚拟模型以及与真实场景一致的坐标信息，构建得到VR显示画面，从而，VR显示画面中虽然显示的是虚拟模型，但由于虚拟模型与真实模型匹配，且虚拟场景的坐标与真实场景相一致，从而能够使得使用者基于虚拟场景体验真实场景。

在一场景中，使用者佩戴显示设备，并置身于卧室中。显示设备检测到卧室的照明情况过亮，不适于采用AR画面显示，此时提示用户切换至VR画面，用户无需摘下显示设备，无需切换至其它显示设备，直接确认需要进行切换。显示设备检测到确认切换的指令时，获取第一实景模型数据，实景模型数据包括卧室内检测的各物体的特征数据，坐标数据包括各物体在卧室场景坐标系的坐标信息。各物体比如床、椅子、桌子、墙壁等，通过在虚拟模型数据中查找对应的床的虚拟模型、椅子的虚拟模型以及桌子的虚拟模型，并将床的虚拟模型、椅子的虚拟模型以及桌子的虚拟模型映射到卧室场景坐标系中，进一步渲染采用GPU渲染得到VR显示画面。此时，虽然所显示的画面中不包括真实场景的各物体，但是虚拟模型与真实场景的物体形态、位置相一致，从而能够弥补真实场景的信息。

可选地，显示设备根据AR SOC以及VR SOC的负荷状态，动态地共享缓存单元中的实景模型数据、虚拟模型数据以及坐标数据。比如，在AR SOC的实际负荷量大于第一预设负荷量，且VR SOC的实际负荷量小于第二预设负荷量时，VR SOC可以预先读取存储单元中的实景模型数据、虚拟模型数据以及坐标数据，从而在从AR画面换至VR画面时，能够快速的生成所要显示的画面。

在一具体场景中，真实场景为室内空间场景，显示设备通过视觉传感器检测到的数据，生成实景模型数据，实景模型数据例如所在室内空间的大小、形状，室内空间中的物体信息，比如物体的尺寸、物体的类型、物体的位置。根据实景模型数据，对真实场景进行三维建模，构建与真实场景信息匹配的画面，并在画面中添加虚拟模型，从而得到VR显示画面。

在一实施例中，步骤S20包括：

在目标显示模式为VR显示模式时，获取显示设备的缓存单元中保存的第一实景模型数据，并根据第一实景模型数据提取实景模型；

在保存的虚拟模型数据中，选取与实景模型匹配的目标虚拟模型；

基于相对位置信息，将目标虚拟模型映射到实景坐标系中，并渲染得到VR显示画面，相对位置信息包括实景坐标。

目标虚拟模型为与实景模型匹配的虚拟模型。

其中，基于实景坐标，将目标虚拟模型映射到场景坐标系中，并进行渲染，得到VR显示画面。

在一具体场景中，显示设备检测到用户主动触发切换至VR显示画面，则根据第一实景模型数据提取真实场景的坐标信息、以及真实场景中的各个物体，包括真实场景中的椅子、床、桌，并在虚拟模型中查询预设的虚拟椅子、虚拟床以及虚拟桌的模型，基于真实场景的坐标信息将虚拟椅子、虚拟床以及虚拟桌的模型，映射到真实场景坐标系中，从而得到VR显示画面。虽然显示的画面时虚拟画面，但是各虚拟物体的类型和位置都来源与真实场景，能够较好的模拟真实场景中的体验。

在一实施例中，步骤S10之后，还包括：

在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；

获取所述视觉纹理特征在世界坐标系中的第一坐标信息；

根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；

播放所述AR显示画面。

在本实施例中，通过检测显示设备的目标显示模式为AR显示模式或者VR显示模式；在目标显示模式为VR显示模式时，获取显示设备的缓存单元中保存的第一实景模型数据，并根据第一实景模型数据，确定显示设备与所处环境的相对位置信息；根据相对位置信息以及缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，VR显示画面为生成有虚拟模型的虚拟画面。显示设备具有VR显示模式以及AR显示模式，并且，会检测是以VR模式显示画面，还是以AR模式显示画面，在以VR显示模式进行显示时，基于第一摄像单元采集的第一实景模型数据以及保存的虚拟模型数据生成VR显示画面，并播放VR显示画面，从而用户能够体验AR模式或者VR模式。

参照图3，本发明第二实施例提供一种显示方法，基于上述图2所示的实施例，所述步骤S10之前，还包括：

步骤S40，获取所述显示设备的传感器检测到的场景信息，所述场景信息包括光线信息和/或视觉特征信息；

为了在不同场景中，灵活地在AR显示画面以及VR显示画面之间进行切换，本实施例中，根据场景信息判断是否满足VR显示条件，以控制是否触发显示VR画面。

其中，AR设备在光线条件发生变化时，无法发挥虚实融合特性，若光照条件过于饱和，AR设备无法清晰地将虚拟模型投影到AR镜片上，而VR设备的封闭性则导致了其缺乏与真实环境融合的特点。为了能够在不同场景中，在AR与VR之间进行切换，本实施例中通过场景信息进行判定。

可选地，光线信息包括光线强度。

可选地，视觉特征信息包括特征数量信息和/或特征均匀度信息。特征数量信息包括点特征数量和/或线特征数量，特征均匀度信息包括点特征分布的均匀度。

可选地，特征均匀度信息通过多叉树算法进行计算得到。多叉树比如四叉树。

可选地，场景信息还包括纹理信息。

步骤S50，根据所述场景信息确定所述显示设备的所述目标显示模式。

可选地，在光线强度处于预设光线强度区间内时，确定目标显示模式为VR显示模式。场景信息为光线强度信息。预设光线强度区间是预先设定的不满足AR画面清晰度条件的光线强度区间。在光线强度过大或者过小时，AR画面不清晰。

可选地，在光线强度处于预设光线强度区间内，且特征数量处于预设特征数量区间内时，确定目标显示模式为VR显示模式。预设特征数量区间是不满足AR画面清晰度条件的特征数量区间。在特征数量过少时，且光线强度过大或者过小时，AR画面不清晰。

可选地，还可以结合光线信息以及视觉特征信息，计算适合度，并将计算的适合度与预设适合度进行比对，以判定是否适合显示AR画面，在不适合显示AR画面时，即判定目标显示模式为VR显示模式。

在一实施中，所述步骤S50包括：

检测所述特征数量是否处于预设数量区间内，以及所述特征均匀度是否处于预设均匀度区间内；

在所述特征数量处于所述预设数量区间内时，或者所述特征均匀度处于所述预设均匀度区间内时，确定所述目标显示模式为所述VR显示模式；

在所述特征数量不处于所述预设数量区间内，且所述特征均匀度不处于所述预设均匀度区间内时，对所述光线信息、所述特征数量以及所述特征均匀度加权求和，得到求和值；

在所述求和值小于预设阈值时，确定所述目标显示模式为所述VR显示模式；

在所述求和值大于或者等于所述预设阈值时，确定所述目标显示模式为所述AR显示模式。

可选地，特征数量为点特征数量，或者，特征数量为线特征数量，或者，特征数量为点特征数量以及线特征数量之和。只有在特征数量足够大时，才能基于摄像单元采集的图像中的特征计算出位姿信息。

预设均匀度区间是预先设定的不满足AR画面清晰度条件的均匀度区间。在特征均匀度较低时，AR画面不清晰，此时可以显示VR画面，以改善画面清晰度。只有在特征分布均匀的情况下，才能准确的提取位姿信息和模型信息。

在特征数量处于预设数量区间内，或者，特征均匀度处于预设均匀度区间内时，均判定满足VR显示条件，从而能够在特征数量不足或者特征均匀度较低时，显示VR画面，提升画面清晰度。

在特征数量不处于预设数量区间，且特征均匀度不处于预设均匀度区间内时，为了进一步判断当前环境是否适合于显示AR画面，并在不适合于显示AR画面时，显示VR画面，并提升画面显示效果，还进一步对光线信息、特征均匀度以及特征数量进行加权求和，得到求和值，光线信息可以是光照强度，并基于求和值与预设阈值进行比较，在求和值小于预设阈值时，判定满足VR显示条件。从而及时在当前环境不适合于显示AR画面时，使能VR组件显示VR画面，提升画面显示效果。

比如，特征数量为C，特征均匀度为E，光线信息为L，

为特征数量的权重值，α为光线新的权重值，γ为特征均匀度的权重值，V为求和值，则

在本实施例中，通过获取显示设备的传感器检测到的场景信息，场景信息包括光线信息和/或视觉特征信息；根据场景信息确定所述显示设备的目标显示模式，从而能够根据场景信息，自动地确定目标显示模式，能够根据当前环境的状态，判定是以VR模式显示或者以AR模式显示，以匹配不同场景下的画面显示需求，提升不同场景下画面显示效果。

参照图4，本发明第三实施例提供一种显示方法，基于上述图3所示的第二实施例，所述步骤S50之后，还包括：

步骤S60，在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；

可选地，在根据场景信息检测到适于以VR模式显示时，播放AR显示画面，从而便于使用者观看虚实融合场景下的画面。

可选地，在播放VR显示画面之前时，可以输出显示AR画面的提示信息，并在接收到使用者的确认指令时，播放AR显示画面。

步骤S70，获取所述视觉纹理特征在世界坐标系中的第一坐标信息；

第一坐标信息为视觉纹理特征在世界坐标系中的坐标信息。

可选地，根据所述第二实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第二实景模型数据中提取的特征点；基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。

步骤S80，根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；

第二坐标信息为虚拟模型在世界坐标系中的坐标信息。

步骤S90，播放所述AR显示画面。

在一实施例中，所述步骤S70包括：

获取所述缓存单元中保存的第一实景模型数据，所述第一实景模型数据由所述双目鱼眼摄像头采集；

根据所述第一实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第一实景模型数据中提取的特征点；

基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；

根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。

匹配关系为视觉纹理特征与特征点之间的关系。第一坐标信息为视觉纹理特征映射到所述世界坐标系中的坐标信息。第二坐标信息为虚拟模型映射到世界坐标系中的坐标信息。

可选地，第一摄像单元为双目高清摄像头。采用双目高清摄像头，目的在于获取无畸变的视觉数据，以进一步根据无畸变的视觉数据，计算位姿数据，得到准确的第一坐标信息。

其中，根据所采集的图像提取真实场景特征点信息，计算并更新世界坐标系，建立特征点信息与世界坐标系之间的映射关系。将视觉纹理特征与点特征进行特征匹配，并结合特征点与世界坐标系之间的映射关系，将视觉纹理特征映射到世界坐标系中，并得到第一坐标信息。

可选地，第一坐标信息还包括场景坐标系的信息。场景坐标系为基于真实场景构建的坐标系。

在一具体实现中，采用同步定位与地图构建(Simultaneous Localization andMapping，SLAM)算法提取特征，然后通过相邻视觉帧的特征之间匹配关实时构建世界坐标系，同时根据用户位姿变化实时更新维护坐标系；鱼眼摄像头提供视觉纹理特征，通过建立视觉纹理特征描述子来与世界坐标系中的坐标进行特征匹配，从而确立视频关键帧的纹理坐标，虚拟模型处理单元提供在虚拟环境中各模型的坐标信息，这些信息与纹理坐标信息关联匹配后，经GPU渲染形成虚实融合的视频流，最终在显示单元中进行虚实融合显示。

在本实施例中，通过在目标显示模式为AR显示模式时，获取缓存单元中保存的第一实景模型数据，并提取第一实景模型数据中关键视频帧的视觉纹理特征；获取视觉纹理特征在世界坐标系中的第一坐标信息；根据视觉纹理特征、第一坐标信息以及缓存单元保存的虚拟模型的第二坐标信息，将视觉纹理特征以及虚拟模型映射到世界坐标系中，并渲染得到AR显示画面，AR显示画面为包括虚拟模型以及实景模型的实景画面；播放AR显示画面。从而显示设备同时具有播放AR显示画面的功能以及播放VR显示画面的功能，并且，能够根据场景信息自动的确定是否适于播放AR显示画面，在适于播放AR显示画面时，显示AR画面。

参照图5，本发明第四实施例提供一种显示方法，基于上述图2所述的实施例，所述步骤S10之前，还包括：

步骤S100，获取所述显示设备的视觉传感器检测到的图像帧；

本实施例中，基于图像的灰度梯度信息提取出点特征、线特征，通过线特征构建三角面特征，再根据三角面特征确定模型顶点，根据模型顶点构建体特征，并渲染得到虚拟模型。

可选地，模型顶点存储在缓存单元中，并被用于进行虚拟模型的渲染。

步骤S110，根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；

点特征是根据灰度梯度信息提取的灰度区域。

可选地，通过在图像中的感兴趣区域周围进行像素点的灰度处理和采样点捕获，可以得到点特征的灰度信息。参照图7所示，根据点特征的灰度信息，进行点、线、面、体的逐层处理，得到模型信息。

步骤S120，分别根据每两个所述点特征构建一个线特征；

线特征是根据点特征构建得到的灰度区域。通过两个点特征确定一个线特征。分别根据每两个点特征构建一个线特征，从而得到图像帧中所有的线特征。

步骤S130，根据两两相交的三个所述线特征，构建三角面；

在一实施例中，所述步骤S120之前，还包括：

确定每个所述线特征的端点的灰度值；

根据所有端点的所述灰度值，确定所述图像帧中每两个所述端点之间的灰度值差值；

根据所述灰度值差值小于预设灰度值的两个所述端点，确定两线相交点；

确定每个所述两线相交点对应的每个所述线特征；

根据每个所述两线相交点对应的每个所述线特征，在所述图像帧的预设区域内确定两两相交的三个所述线特征。

其中，预设灰度值是预先设定的灰度值差值符合相交要求的阈值。在两个端点的灰度值差值足够小时，表明二者足够相似，因而视作相交点。每个两线相交点对应两个线特征，当三个线特征两两相交时，可以根据三个线特征确定一个面特征，采用此方式，可以确定图像中的所有面特征。

步骤S140，根据两两相交的四个所述三角面，构建体特征；

四个三角面两两相交时，可以根据四个三角面确定一个体特征，采用此方式可以确定图像中的所有体特征。

步骤S150，根据所述体特征确定所述第一实景模型数据；

根据体特征进行渲染，可以得到实景模型数据。

步骤S160，保存所述第一实景模型数据至所述缓存单元中。

在一具体实现方式中，显示设备的视觉传感器处理单元处理视觉数据，提取场景灰度信息，计算点特征、线特征，并通过数据处理线程处理得到坐标数据以及模型数据，通过模式选择线程选择显示VR画面或者显示AR画面。

数据处理线程主要执行以下步骤：对场景进行灰度处理，通过点、线、面到体的逐层计算逻辑提取模型顶点信息，更新同步FIFO模型信息区数据，构建场景轮廓模型，缓存特征信息至FIFO存储器中的模型信息区，选定场景锚点，双目视觉计算相对锚点的关键模型坐标信息，构建场景坐标系，缓存坐标信至FIFO存储器中的坐标信息区。

模式选择线程主要执行以下步骤：光线传感器感知场景光线环境，根据光线环境和场景特征数量计算AR模式适合度，根据适合度判断是否适合于显示AR画面，在适合于显示AR画面时，显示AR画面，获取FIFO存储器中的虚拟模型数据、实景模型数据及以及坐标数据，并进行虚实融合处理，得到虚实融合的AR画面，显示AR画面，并持续采用光传感器进行监控。若不适合显示AR画面时，显示VR画面，获取FIFO存储器中的虚拟模型数据、实景模型数据以及坐标数据，构建VR场景坐标系，结合虚拟模型，渲染得到VR画面。

在本实施例中，通过获取所述显示设备的视觉传感器检测到的图像帧；根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；分别根据每两个所述点特征构建一个线特征；根据两两相交的三个所述线特征，构建三角面；根据两两相交的四个所述三角面，构建体特征；根据所述体特征确定所述实景模型数据；保存所述实景模型数据至所述缓存单元中。从而能够从点、线、面到体逐层处理，高效率渲染得到模型信息。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台显示设备执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种显示方法，其特征在于，所述显示方法应用于显示设备，所述显示设备包括第一摄像单元，所述显示方法包括：

检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；

在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；

根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面。

2.如权利要求1所述的方法，其特征在于，所述检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式的步骤包括：

获取所述显示设备的传感器检测到的场景信息，所述场景信息包括光线信息和/或视觉特征信息；

根据所述场景信息确定所述显示设备的所述目标显示模式。

3.如权利要求2所述的方法，其特征在于，所述视觉特征信息包括特征数量和/或特征均匀度，所述光线信息为光照强度，所述根据所述场景信息确定所述显示设备的所述目标显示模式的步骤包括：

检测所述特征数量是否处于预设数量区间内，以及所述特征均匀度是否处于预设均匀度区间内；

在所述特征数量处于所述预设数量区间内时，或者所述特征均匀度处于所述预设均匀度区间内时，确定所述目标显示模式为所述VR显示模式；

在所述特征数量不处于所述预设数量区间内，且所述特征均匀度不处于所述预设均匀度区间内时，对所述光线信息、所述特征数量以及所述特征均匀度加权求和，得到求和值；

在所述求和值小于预设阈值时，确定所述目标显示模式为所述VR显示模式；

在所述求和值大于或者等于所述预设阈值时，确定所述目标显示模式为所述AR显示模式。

4.如权利要求2所述的方法，其特征在于，所述显示设备还包括第二摄像单元，所述根据所述场景信息确定所述显示设备的所述目标显示模式的步骤之后，还包括：

在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；

获取所述视觉纹理特征在世界坐标系中的第一坐标信息；

根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；

播放所述AR显示画面。

5.如权利要求4所述的方法，其特征在于，所述获取所述视觉纹理特征在世界坐标系中的第一坐标信息的步骤包括：

根据所述第一实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第一实景模型数据中提取的特征点；

基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；

根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。

6.如权利要求1所述的方法，其特征在于，所述根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放的步骤包括：

根据所述第一实景模型数据提取所述实景模型；

在保存的所述虚拟模型数据中，选取与所述实景模型匹配的目标虚拟模型；

基于所述相对位置信息，将所述目标虚拟模型映射到实景坐标系中，并渲染得到所述VR显示画面，所述相对位置信息包括第二坐标信息；

播放所述VR显示画面。

7.如权利要求1所述的方法，其特征在于，所述获取所述显示设备的缓存单元中保存的第一实景模型数据的步骤之前，还包括：

获取所述显示设备的视觉传感器检测到的图像帧；

根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；

分别根据每两个所述点特征构建一个线特征；

根据两两相交的三个所述线特征，构建三角面；

根据两两相交的四个所述三角面，构建体特征；

根据所述体特征确定所述第一实景模型数据；

保存所述第一实景模型数据至所述缓存单元中。

8.如权利要求7所述的方法，其特征在于，所述根据两两相交的三个所述线特征，构建三角面的步骤之前，还包括：

确定每个所述线特征的端点的灰度值；

根据所有端点的所述灰度值，确定所述图像帧中每两个所述端点之间的灰度值差值；

根据所述灰度值差值小于预设灰度值的两个所述端点，确定两线相交点；

确定每个所述两线相交点对应的每个所述线特征；

根据每个所述两线相交点对应的每个所述线特征，在所述图像帧的预设区域内确定两两相交的三个所述线特征。

9.一种显示设备，其特征在于，所述显示设备包括第一摄像单元、处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的显示程序，其中：

所述第一摄像单元与所述处理器通信连接；

所述显示程序被所述处理器执行时实现权利要求1至8任一项所述的方法。

10.如权利要求9所述的显示设备，其特征在于，所述第一摄像单元包括双目高清摄像头，所述显示设备还包括第二摄像单元，所述第二摄像单元与所述处理器通信连接，所述第二摄像单元包括双目鱼眼摄像头。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有显示程序，所述显示程序被处理器执行时实现如权利要求1至8中任一项所述的显示方法的步骤。

Images