CN117173756A

CN117173756A - 一种增强现实ar系统、计算机设备及存储介质

Info

Publication number: CN117173756A
Application number: CN202210592522.XA
Authority: CN
Inventors: 盛崇山
Original assignee: Zhejiang Shangtang Technology Development Co Ltd
Current assignee: Zhejiang Shangtang Technology Development Co Ltd
Priority date: 2022-05-28
Filing date: 2022-05-28
Publication date: 2023-12-05

Abstract

本公开提供了一种增强现实AR系统、计算机设备及存储介质，其中，该系统包括：数据采集单元、以及移动处理单元；其中，数据采集单元，用于获取目标场景的待处理数据；向移动处理单元传输待处理数据；待处理数据包括下述至少一种：图像数据、数据采集单元在在获取图像处理数据时的惯性测量IMU数据、以及深度数据；移动处理单元，用于基于待处理数据进行第一处理操作，得到第一目标处理结果；基于第一目标处理结果，执行第一目标AR任务；第一目标处理包括：人脸对齐处理、和/或手势识别处理；第一目标处理结果包括：人脸对齐处理结果、和/或手势识别结果；第一目标AR任务包括：与人脸对齐处理结果对应的第一AR任务、和/或与手势识别处理结果对应的第二AR任务。

Description

一种增强现实AR系统、计算机设备及存储介质

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种增强现实AR系统、计算机设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟信息叠加在现实空间中的技术，用户通过AR设备(例如带有AR功能的手机、平板和AR眼镜等)，可以在现实世界的空间中的特定位置看到对应的信息。AR技术是当下热门的研究课题，随之而来的AR应用也是层出不穷。

发明内容

本公开实施例至少提供一种增强现实AR系统、装置及计算机设备。

第一方面，本公开实施例提供了一种增强现实AR系统，包括：数据采集单元、以及移动处理单元；

其中，所述数据采集单元，用于获取目标场景的待处理数据；向所述移动处理单元传输所述待处理数据；所述待处理数据包括下述至少一种：图像数据、所述数据采集单元在在获取所述图像处理数据时的惯性测量IMU数据、以及深度数据；

所述移动处理单元，用于基于所述待处理数据进行第一处理操作，得到第一目标处理结果；基于所述第一目标处理结果，执行第一目标AR任务；所述第一目标处理包括：人脸对齐处理、和/或手势识别处理；所述第一目标处理结果包括：人脸对齐处理结果、和/或手势识别结果；所述第一目标AR任务包括：与所述人脸对齐处理结果对应的第一AR任务、和/或与所述手势识别处理结果对应的第二AR任务。

这样，通过增强现实AR系统中的数据采集单元进行所需的待处理数据后，可以直接发送至系统中的移动处理单元进行数据的处理，实现一个可以进行数据输入、数据输出、人脸对齐处理、手势识别处理的一体化增强现实AR系统。

一种可选的实施方式中，所述移动处理单元包括：人脸对齐模块、手势识别模块、以及交互引擎；

所述人脸对齐模块，用于基于所述待处理数据进行人脸对齐处理，得到所述人脸对齐处理结果，并向所述交互引擎发送所述人脸对齐处理结果；

所述手势识别模块，用于基于所述待处理数据进行手势识别处理，得到所述手势识别结果，并向所述交互引擎发送所述手势识别结果；

所述交互引擎，用于响应于接收到所述人脸对齐模块发送的所述人脸对齐处理结果，对所述人脸对齐处理结果执行所述第一AR任务；和/或，响应于接收到所述手势识别模块发送的所述手势识别结果，基对所述手势识别结果执行所述第二AR任务。

这样，在人脸对齐模块输出人脸对齐处理结果后，交互引擎可以利用该处理结果进行与其它功能模块的协同工作，同样，在手势识别模块输出所述手势识别结果后，交互引擎同样可以利用该处理结果进行与其他功能模块的协同工作，利用该一体化增强现实AR系统可以在同一个AR应用中实现多种功能，这使用户获得更加完善的AR交互体验。

一种可选的实施方式中，所述手势识别模块，在基于所述待处理数据进行手势识别处理时，用于基于所述待处理数据，确定手部的手边界框、以及识别所述手边界框对应手部区域的手势分类。

这样，利用增强现实AR系统中的手势识别模块，通过对输入的图像数据进行处理，得到目标用户的手势信息，将该手势信息传递至系统中的其他功能模块进行交互，同一系统中不同模块的交互可以为用户带来更加完善的AR体验。

一种可选的实施方式中，所述移动处理单元，还用于，基于所述待处理数据进行第二处理操作，得到第二目标处理结果；基于所述第二目标处理结果，执行与所述第二目标处理结果对应的第二目标AR任务；

所述第二目标处理包括下述至少一种：实时跟踪与定位处理、尺度估计处理、目标识别与跟踪处理、光照估计处理。

这样，还可以基于待处理数据执行实时跟踪与定位处理、尺度估计处理、目标识别与跟踪处理、光照估计处理等多种处理中至少一种处理。多种处理在同一系统中的执行更加方便，提升AR系统的功能性。

一种可选的实施方式中，所述第二目标处理包括：实时跟踪与定位处理；

所述移动处理单元还包括：跟踪定位模块；

所述跟踪定位模块，用于对所述待处理数据进行解算，得到所述AR系统在获取所述待处理数据时的实时位姿信息。

这样，在整个增强现实AR系统中加入跟踪定位模块可以对目标虚拟信息进行跟踪与定位，使得增强现实AR系统中的其他模块所展示的虚拟信息能够更加准确的显示在目标场景中，提升整个AR体验的真实感。

一种可选的实施方式中，所述第二目标处理包括：尺度估计处理；

所述移动处理单元还包括：尺度估计模块；

所述尺度估计模块，用于基于所述待处理数据，确定所述目标场景对应的尺度信息，基于所述尺度信息，对所述目标场景对应的世界坐标系、和虚拟对象对应的模型坐标系进行对齐处理，得到对齐处理结果数据。

这样，在整个增强现实AR系统中加入尺度估计模块可以对目标虚拟信息进行尺度估计，避免出现其他模块所展示的虚拟信息出现尺寸过大或过小的现象，使得虚拟信息在目标场景中的叠加更加真实，提升用户的AR体验。

一种可选的实施方式中，所述第二目标处理包括：目标识别与跟踪处理；

所述移动处理单元，还包括：目标识别与跟踪模块；

所述目标识别与跟踪模块，用于基于所述待处理数据进行目标对象的识别、和/或跟踪处理，得到识别与跟踪结果数据。

这样，在整个增强现实AR系统中加入目标识别与跟踪模块，可以对目标对象进行识别和跟踪处理，完善AR系统的功能性。

一种可选的实施方式中，所述目标对象包括：目标图像或者目标物体；

所述目标识别与跟踪模块，在基于所述待处理数据进行目标对象的识别、和/或跟踪处理时，具体用于对所述目标图像进行下述至少一种处理：识别所述目标场景中的所述目标图像、对所述目标图像进行位姿跟踪、以及响应于识别到预设目标图像，触发展示目标AR特效；或者，用于对所述目标物体执行下述至少一种处理：对所述目标物体的纹理信息或者结构信息进行预处理、将基于所述待处理数据确定的二维信息、和三维信息进行匹配、以及确定所述目标物体在所述目标场景中的位姿。

这样，可以通过目标识别与跟踪模块识别目标场景中的目标图像，并触发AR特效，从而迅速执行复杂程度较低的AR任务，此外，在捕捉到目标图像后还可以通过叠加一些纹理信息或者结构信息来进行预处理以优化虚拟信息的显示效果来提升用户的AR体验。目标图像的成功识别也可以被用于确定目标物体在所述目标场景中的位姿，以在其他模块中进行进一步的交互，丰富用户的AR体验。

一种可选的实施方式中，所述第二目标处理包括：光照估计；

所述移动处理单元，还包括：光照估计模块；

所述光照估计模块，用于基于所述待处理数据进行光照估计，得到所述目标场景中的光照信息。

这样，在整个增强现实AR系统中加入光照估计模块，可以实现对目标场景的光照估计，基于该光照信息对想要展示的虚拟信息进行处理，例如当目标场景中的光照较低时，调低虚拟物体表面亮度以获得更加真实的虚拟物体，提升AR展示过程中的真实度，提升用户的AR体验。

一种可选的实施方式中，所述第二目标AR任务包括三维重建任务；

所述移动处理单元还包括：三维重建模块；

所述三维重建模块，用于基于所述第二目标处理结果、以及所述待处理数据，进行三维重建，得到所述目标场景的三维模型。

这样，在整个增强现实AR系统中加入三维重建模块，可以利用目标的姿态信息、尺度信息、以及深度信息重建三维模型，并将该三维模型显示在目标场景中。三维模型在目标场景中的成功展示可以与其他模块进行协同工作，例如与手势识别模块进行协同工作时，能够根据手势识别结果改变当前展示的三维模型，以为用户带来更加丰富的AR体验。

一种可选的实施方式中，所述第二目标AR任务还包括：虚实遮挡处理任务；

所述移动处理单元还包括：虚实遮挡处理模块；

所述虚实遮挡处理模块，用于基于所述第二目标处理结果，确定虚拟对象和所述目标场景中不同对象之间的相互遮挡关系。

这样，在整个增强现实AR系统中加入虚实遮挡处理模块，可以在其他模块进行虚拟信息在目标场景中的展示时，实现虚拟物体与真实环境之间的遮挡效果，使得虚拟信息的展示更加真实。

一种可选的实施方式中，所述移动处理单元中，还包括：渲染模块；

所述渲染模块，用于执行渲染过程，生成渲染图像，并向显示设备发送所述渲染图像；

所述执行渲染过程，生成渲染图像，包括：

实时渲染虚拟对象，生成第一渲染图像；

利用预设相机参数将所述第一渲染图像和所述目标场景进行融合渲染，生成第二渲染图像；

响应所述目标场景中的光照变化，对所述第二渲染图像进行光照渲染处理，生成第三渲染图像。

这样，在渲染模块中总结了跟踪、面部对准、手势识别和照明，以实现逼真的增强现实效果。

一种可选的实施方式中，所述渲染模块，在向所述显示设备发送所述渲染图像时，用于：

对所述渲染图像进行异步时间扭曲处理；将进行了异步时间扭曲处理后的所述渲染图像，发送给所述显示设备。

这样，对于光学透视设备，在将渲染的图像发送到显示屏之前，增强的移动设备上的现实系统可以预测未来用户看到虚拟时的姿态内容，并相应地扭曲渲染图像。例如多AR设备现实的画面进行插帧处理，减少用户使用时的卡顿感，使用户获得更加真实的AR效果。

一种可选的实施方式中，所述移动处理单元，还用于：向云服务端发送所述待处理数据；所述待处理数据用于指示所述云服务端根据所述待处理数据进行第三处理操作，得到第三目标处理结果；所述第三处理操作包括下述至少一种：云重定位处理、云三维重建处理、以及云目标识别处理；接收所述云服务端返回的所述第三目标处理结果，基于所述第三目标处理结果，执行与所述第三目标处理结果对应的第三目标AR任务。

这样，通过网络向云传输数据，实现云重定位，云目标识别和云三维重建，并将计算出的姿态、目标信息和三维模型通过网络传回至移动装置的处理单元，以减小AR设备在执行AR任务时的处理器压力，使得增强现实AR系统在算力不高的处理器上也可以实现相同的AR效果，降低了用户进行AR交互的成本，并为用户带来更加流畅的AR体验。

第二方面，本公开可选实现方式还提供一种计算机设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如第一方面、或第一方面中任一种可能的实施方式中的增强现实AR系统的操作。

第三方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的增强现实AR系统中的操作。

关于上述计算机设备、及计算机可读存储介质的效果描述参见上述增强现实AR系统的说明，这里不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种增强现实AR系统的示意图；

图2示出了本公开实施例所提供的另一种增强现实AR系统的示意图；

图3示出了本公开实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，目前AR技术在移动终端(智能手机、平板电脑、AR眼睛)的应用越来越广泛，很多应用程序会利用AR技术来提升用户的交互体验。然而，多数AR应用程序功能较为单一，例如，只用于展示虚拟信息的应用程序、只用于捕捉面部信息进行交互的应用程序、以及只用于捕捉手势信息进行交互的应用程序等，这类应用程序功能单一，对用户体验的提升十分有限。

另外，不同的AR应用程序之间遵循的技术指标可能并不相同，从而带来用户体验上的割裂感。例如，应用程序A进行AR任务1时所展示的AR视频画面为每秒30帧，而应用程序B在进行AR任务2时，由于本身算法和资源调度的问题所展示的AR视频画面为每秒24帧。由于应用程序A和应用程序B的AR任务不同，所以用户若既需要AR任务1又需要AR任务2，就只能两者兼用，当用户在两个应用程序之间进行切换使用时，会感知到明显的卡顿、割裂感。又例如应用程序A在使用时可适用于暗光、强光等场景，而应用程序B在极端光照条件下由于本身算法和资源调度的问题无法正常使用，这也使得用户体验大打折扣。

基于上述研究，本公开提供了一种增强现实AR系统，通过将数据采集单元采集到的惯性测量单元(Inertial Measurement Unit，IMU)数据、影像数据、以及深度数据等中至少一种，发送至移动处理单元中的各个功能模块，移动处理单元中的功能模块例如包括：人脸对齐模块、手势识别模块、跟踪定位模块、尺度估计模块、目标识别与跟踪模块、光照估计模块、三维重建模块、虚实遮挡处理模块、渲染模块、以及交互引擎来实现系统化的AR任务执行，并统一不同AR任务的执行指标，使得用户可以在完整的AR系统中体验到多种AR服务，并减少不同AR任务因执行指标不同而带来的体验上的割裂感。

此外，对于算力有限的AR设备，本公开所提供的一种增强现实AR系统中的所述移动处理单元，可以将数据采集单元采集到的待处理数据发送至云服务端。所述云服务端用来执行与本地端相同的AR任务，在执行完毕后可以将处理结果返回至本地AR设备，进行相关的AR任务中的虚拟信息展示。使得即使是算力不足的AR设备通过本公开也可以通过云服务端实现上述增强现实AR系统带来的用户体验上的提升。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种增强现实AR系统进行详细介绍，本公开实施例所提供的增强现实AR系统通常部署在具有一定计算能力的AR设备中，该AR设备例如包括：具有AR功能的终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备如AR眼镜等。在一些可能的实现方式中，该增强现实AR系统中各个单元执行的操作，可以通过AR设备中的处理器调用存储器中存储的计算机可读指令的方式来实现。

下面对本公开实施例提供的增强现实AR系统加以说明。

参见图1所示，为本公开实施例提供的增强现实AR系统100的示意图，包括：数据采集单元101、以及移动处理单元102；

所述数据采集单元101，用于获取目标场景的待处理数据；向所述移动处理单元102传输所述待处理数据；所述待处理数据包括下述至少一种：图像数据、所述数据采集单元在在获取所述图像处理数据时的惯性测量IMU数据、以及深度数据。

其中，IMU数据可以通过IMU传感器测量获得，并以IMU数据文件的形式保存，其主要包括陀螺仪和加速度计的观测量，以及数据采集的时刻。IMU数据主要用于智能手机和平板电脑中的重力测量以实现手机屏幕旋转的功能、用于加速度测量以实现计步、用于陀螺仪相关数据测量，得到IMU数据。根据该IMU数据，可以确定AR设备在执行相关AR任务时所需要的AR设备的位姿数据。

在具体实施中，AR系统中的某一功能模块需要执行特定的功能或达到特定的指标时，数据采集单元101的具体构成会产生变化，具体如何变化将在下文对于各个子模块说明时给出。

所述移动处理单元102，用于基于所述待处理数据进行第一处理操作，得到第一目标处理结果；基于所述第一目标处理结果，执行第一目标AR任务；所述第一目标处理包括：人脸对齐处理、和/或手势识别处理；所述第一目标处理结果包括：人脸对齐处理结果、和/或手势识别结果；所述第一目标AR任务包括：与所述人脸对齐处理结果对应的第一AR任务、和/或与所述手势识别处理结果对应的第二AR任务。

一种可选的实施方式中，所述移动处理单元102包括：人脸对齐模块102a、手势识别模块102b、以及交互引擎102c。

所述人脸对齐模块102a，用于基于所述待处理数据进行人脸对齐处理，得到所述人脸对齐处理结果，并向所述交互引擎发送所述人脸对齐处理结果；

在具体实施中，人脸对齐模块102a可以针对待处理数据，基于人脸对齐算法实现106A系列面部关键点的预测，包括：眼睛、眉毛、鼻子、嘴巴和面部轮廓。

其中，106A系列面部关键点是人脸关键点检测中为了标定人脸轮廓以及五官所需要在人脸上进行标定的106个点。

示例性的，人脸对齐模块102a可以只通过待处理数据中的图像数据，结合人脸对齐算法进行106A系列面部关键点的预测。

示例性的，人脸对齐模块102a可以通过待处理数据中的图像数据以及深度数据，结合人脸对齐算法进行106A系列面部关键点的预测，在拥有了深度数据后人脸对齐的结果将更加准确，其中，深度数据的获取可以通过AR设备内的激光雷达扫描仪进行激光测距获取，也可以通过点阵投射器使用高功率的垂直共振腔面射型激光发射红外光激光，经由晶圆级光学、绕射光学元件等结构，产生数万个“结构光点”投射到使用者的脸部，利用这些光点所形成的阵列反射回红外光相机，计算出脸部不同位置的距离(深度)。上述人脸对齐方法在具体使用中可以结合AR设备自身的硬件条件，以及人脸对齐精确度要求来选择使用哪种方法，本公开旨在公开一种系统，对于各子模块具体算法不做限定。

在具体实施中，人脸对齐模块102a不仅要在常见的光照和常见用户角度下正常使用，还应可以在复杂条件下达到至少85％的准确率。

其中，所述复杂条件可以包括下述中的至少一种：暗光、强光、用户头部有较大角度旋转等。所述用户头部有较大角度旋转可以理解为图像数据中的用户头部图像接近侧脸，即仍能看到五官但头部有较大的扭转。

在具体实施中，对于人脸对齐模块102a在执行AR任务时的性能指标，本公开规定为频率不低于每秒30帧，106A面部关键的的预测准确率不低于99％，以保证用户的舒适体验及AR任务较好的执行结果。

其中，频率不低于每秒30帧指所述人脸对齐模块102a至少可以在一秒钟内对30张人脸图像进行106A系列面部关键点的准确预测，例如可以是一段每秒30帧视频中的每一帧，也可以是在一段每秒60帧视频中的每一秒可以对60帧图像数据当中的30帧图像数据实现106A系列面部关键点的准确预测。

在具体实施中，对于人脸对齐模块102a的功能测试可以通过录制不同场景的人脸视频，例如，暗光下的人脸视频、强光下的人脸视频等来进行测试，通过比较测试结果与真实结果之间的差异来判断人脸对齐模块102a是否达到了规定的性能指标。

在具体实施中，对于人脸对齐模块102a的性能测试可以通过构建覆盖了多种场景的基准数据集来进行，通过人脸对齐模块102a对上述数据集中的数据进行关键点预测，并对比标准数据从而得到预测精度

一种可选的实施方式中，所述手势识别模块102b，用于基于所述待处理数据进行手势识别处理，得到所述手势识别结果，并向所述交互引擎发送所述手势识别结果；

在具体实施中，手势识别模块102b可以针对待处理数据进行手部边界检测、以及基于图像分类算法对特定手势进行分类。

示例性的，手部边界检测可以仅通过图像识别算法来对图像数据中的手部边界进行检测，也可以通过VR设备上配备的红外摄像头进行辅助检测；对于手势的分类则可以通过图像分类算法实现。本公开旨在公开一种系统，对于各子模块具体算法不做限定。

在具体实施中，手势识别模块102b快速对用户的特定手势做出检测，所以本公开规定从开始识别到识别结束输出手势识别结果整个执行过程不超过20毫秒，而对于识别准确率，本公开规定为95％，满足该性能指标的手势识别模块102b将可以良好的执行AR识别任务，以及完成与其他模块的交互。

在具体实施中，对于手势识别模块102b的功能测试可以通过录制不同场景的手部视频，例如，暗光下的手部视频、强光下的手部视频、类人体肤色场景下的手部视频来进行测试，通过比较测试结果与真实结果之间的差异来判断手部识别模块102b是否达到了规定的性能指标。

在具体实施中，对于手势识别模块102b的性能测试可以通过构建覆盖了多种场景的基准数据集来进行，通过手势识别模块102b对上述数据集中的数据进行手势识别，并对比标准数据从而得到识别精度。

一种可选的实施方式中，所述交互引擎102c，用于响应于接收到所述人脸对齐模块发送的所述人脸对齐处理结果，对所述人脸对齐处理结果执行所述第一AR任务；和/或，响应于接收到所述手势识别模块发送的所述手势识别结果，基对所述手势识别结果执行所述第二AR任务。

示例性的，当所述第一AR任务为针对特定虚拟形象，基于所述人脸对齐处理结果进行AR交互时，则交互引擎在收到人脸对齐结果后可以基于此结果控制虚拟形象的面部表情，例如可以将一个小黄鸭的头部虚拟形象通过AR眼镜叠加在现实场景中，当捕捉到用户的面部表情为“张嘴”，交互引擎控制小黄鸭的面部也相应的“张嘴”，当捕捉到用户的面部表情为“撅嘴”，交互引擎控制小黄鸭的面部也相应地撅嘴。

示例性的，当所述第二AR任务为针对特定虚拟信息，基于所述手势识别结果进行AR交互时，则交互引擎在收到手势识别模块后可以基于此结果来对叠加在现实场景中的虚拟信息产生影响，例如，若将一条鱼叠加在了现实场景中，当捕捉到用户的手部姿势为数字一时，则交互引擎控制鱼儿向前游动，当捕捉到用户手部姿势为数字二时，则交互引擎可以控制鱼儿展现出嬉戏的动作。

一种可选的实施方式中，所述移动处理单元102，还用于，基于所述待处理数据进行第二处理操作，得到第二目标处理结果；基于所述第二目标处理结果，执行与所述第二目标处理结果对应的第二目标AR任务。

在具体实施中，对应于上述第二目标处理，本公开实施例提供的移动处理单元102中，还可以包括：跟踪定位模块102d、尺度估计模块102e、目标识别与跟踪模块102f、光照估计模块102g。其中：

A：针对第二处理操作包括：实时跟踪与定位处理，移动处理单元102中包括：跟踪定位模块102d的情况，所述跟踪定位模块102d用于对所述待处理数据进行解算，得到所述AR系统在获取所述待处理数据时的实时位姿信息。

其中，所述待处理数据可以是IMU数据。

在具体实施中，所述跟踪定位模块102d对于IMU数据的解算，可以理解为从IMU传感器中获取数据，并利用这些数据。如今的IMU传感器会根据数字的值进行输出，而不是传统的模拟电容或电阻的变化，这意味着对于IMU数据，我们可以直接进行获取并使用，而不是利用模数转换器(analog to digital converter，ADC)进行模拟信号到数字信号的转换。对于这些直接可用的IMU数据可以通过一些数据解析算法得到相应的陀螺仪和加速度计的观测量，这些数据最终将会被用来计算自由度(degree of freedom，DOF)。

其中，DOF指的是物体在空间里面的基本运动方式，总共有六种，任何运动都可以拆分为这六种基本运动方式，而这六种运动方式又可以分为两类：位移和旋转。位移运动包括：前后(X轴平移)、左右(Y轴平移)、上下(Z轴平移)；旋转运动包括：前后翻转(X轴旋转)、左右摇摆(Y轴旋转)、水平转动(Z轴旋转)。在每个DOF里，有两个不同的方向。例如，升降时的电梯限制在一个DOF里，那就是z轴(上/下)运动，但在这个DOF里面它可以选择往上或者往下。同理，车轮转动也只有一个DOF，但它可以选择顺时针转还是逆时针转。

物体在空间具有六个自由度，即沿X、Y、Z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。因此，要完全确定物体的位置，就必须清楚这六个自由度。

常见的扩展显示(Extended Reality，XR)设备(AR增强现实、VR虚拟现实、MR混合现实)拥有很强的沉浸感使用者不仅能够看到全方位的虚拟景象，还能够通过XR设备与虚拟景象实时交互。根据可交互程度的不同，可以划分为3DOF和6DOF。3DOF的XR设备是指该设备可以检测到头部向不同方向的自由转动，但是不能检测到头部的前后左右的空间位移；而6DOF的XR设备，则是除了检测头部的转动带来的视野角度变化外，还能够检测到由于身体移动带来的上下前后左右位移的变化。3DOF的XR设备一般可以用来看VR电影和进行一些轻度VR游戏，但要想实现玩游戏时与场景深度交互，则需要能够支持6DOF的XR设备，这样才能够在游戏里体验到跨越障碍、躲避子弹和怪兽、以及跳楼、登山、滑雪等真实感受。

示例性的，在数据采集单元101中6DOF的IMU一般由一个三轴加速度计和一个三轴陀螺仪组成。其中，

加速度计：检测物体在载体坐标系统独立三轴的加速度信号，对单方向加速度积分即可得到方向速度；

陀螺仪：检测载体相对于导航坐标系的角速度信号；

在具体实施中，可以通过上述硬件测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态，即六自由度具体数据，基于得到的六自由度具体数据可以在整个世界坐标参考系中，对目标物体进行6DOF实时跟踪。

其中，6DOF实时追踪可以利用标识图来跟踪AR设备上摄像机的位置和姿态来实现，使用者须将标识图保留在视野范围内，虚拟内容可以实现在标识图上的覆盖；6DOF实时追踪也可以结合即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)技术使得用户可以摆脱标识图的束缚，进行实时定位与地图构建，从而在虚拟内容上产生更加沉浸和逼真的体验。

示例性的，增强现实AR系统在移动设备上的6DOF实时跟踪应可以实时处理每秒至少24帧图像，而对于每一帧图像，则应满足绝对位置误差小于10cm或小于摄像机最大移动距离的5％(以较大者为准)、角度小于6°、0.1s内相对位置误差不超过3cm、以及0.1s内的角度误差不超过2°。在测试数据集中满足上述性能指标的帧数不低于总帧数的95％。

示例性的，对于AR设备的6DOF跟踪定位模块102d的测试可以通过下述方法进行：

调整试验环境的照明颜色为白光，照度为100Lx；

在AR设备上启用增强现实AR系统后，握持该设备以不同的速率进行移动；

观察设备的视觉轨迹和虚拟物体在显示屏上的位置。

在具体实施中，对于跟踪定位模块102d的性能测试可以通过下述方式进行：

构建AR精度评价基准数据集，该数据集应涵盖不同场景和动作的数据，包括图像数据、IMU传感器数据及相应的标定参数等基本的SLAM操作数据；提供真值数据(可通过动作捕捉系统获得)；标准的公共数据集也可以用作基准数据集；

构建支持离线运行算法的移动数据采集工具，能够读取基准数据集并正常运行算法；

基于基准数据运行算法，记录所有图像帧的6DoF位姿和单帧处理时间；

利用精度评价工具对算法的绝对位置误差、绝对旋转误差、相对位置误差、相对旋转误差等指标进行评价，衡量算法的精度；

评估跟踪定位算法的准确率和帧率。

在具体实施中，当移动设备由于意外的位置突变、遮挡等情况而失去其6DOF姿态信息时，AR设备上的增强现实AR系统应当可以重新定位设备，并在本地端重置当前的状态。

在具体实施中，对于增强现实AR系统在AR设备上的本地重新定位应当满足下述要求：

在目标测试数据集的测试下满足至少90％的成功率，成功重新定位条件为用户将移动设备放回跟踪丢失前的位置且重新定位位置与丢失跟踪前估计位置的偏差小于5cm或小于相机所拍摄图像深度中值的5％(两者取较大者)；

若成功定位，需要控制成功定位时间在2秒内；

跟踪的鲁棒性误差应小于10，定义的跟踪损失时间百分比为α_lost，重新定位误差为€_RL，位置误差为€_APE，鲁棒性误差为：

€_R＝(α_lost+0.05)(€_RL+0.1*€_APE)。

在具体实施中，对于AR设备的本地重定位功能可以按照如下方法进行功能测试：

调整试验环境的照明颜色为白光，照度为100lx；

允许算法通过实现扫描目标场景来完全构建场景的地图信息；

快速摇动AR设备或长时间遮挡摄像头，使算法进入跟踪故障状态；

重新扫描现场进行重新定位。成功定位(虚拟对象恢复到初始位置)意味着增强现实系统具有局部重新定位功能；否则，它不具有本地重新定位的功能。

在具体实施中，在对AR设备的本地重定位功能进行功能测试时，可以对重新定位的成功率、重新定位时间、以及重新定位精度进行性能评估。

B：针对第二目标处理包括：尺度估计处理，动处理单元包括：尺度估计模块102e的情况：

所述尺度估计模块102e，用于基于所述待处理数据，确定所述目标场景对应的尺度信息，基于所述尺度信息，对所述目标场景对应的世界坐标系、和虚拟对象对应的模型坐标系进行对齐处理，得到对齐处理结果数据。

其中，坐标系的对齐指一个物体分别在两个坐标系中被表示(这个物体有两个不同的坐标值)。反求这两个坐标系之间的变换的过程叫做坐标系的对齐。

在具体实施中，所述尺度估计模块102e可以在获取物理世界的尺寸信息后，将待展示的虚拟场景与物理世界配准在同意尺度坐标系中，以实现虚拟对象与物理世界1：1的虚实融合。

示例性的，对于所述尺寸估计处理所需达到的性能指标，由于尺寸估计结果的偏差会影响最终的虚拟信息在目标场景中的展示效果，所以本公开要求为实际环境的估计值与真实值的偏差不超过15％，执行尺寸估计处理的时间需要保证在2秒之内，由于尺寸估计只是一种对于虚拟信息展示在目标场景中的展示效果优化手段，所以在短时间内完成该项任务是必要的，本公开要求执行尺寸估计处理的时间需要保证在2秒之内。

示例性的，对于尺寸估计模块102e的功能测试，可以通过观察虚拟物体的大小来测试移动设备的尺度估计功能。尺度估计成功后，虚拟物体的大小接近真实尺寸，从而判断增强现实系统是否具有规模估计的功能。

在具体实施中，对于尺寸估计模块102e的性能测试可以通过实现生成算法所需的6DoF参数和真值数据，通过比较算法位姿参数和真值数据，评估算法的6DoF位姿尺度误差。

示例性的，若需要把一个虚拟水杯显示在现实场景中，可以事先在需要显示的位置旁边放置一个真实的水杯，在增强现实AR系统完成尺度估计，展示虚拟水杯时，观察虚拟水杯的尺寸与真实水杯尺寸的差异，从而判断尺度估计模块是否满足设定的性能指标。

C：针对第二目标处理包括：目标识别与跟踪处理，移动处理单元102，还包括：目标识别与跟踪模块102f的情况：

所述目标识别与跟踪模块102f，用于基于所述待处理数据进行目标对象的识别、和/或跟踪处理，得到识别与跟踪结果数据。

在具体实施中，所述目标识别与跟踪模块102f与所述跟踪定位模块102d的执行原理并不相同，目标识别与跟踪模块102f所处理的待处理数据类别是图片数据，而跟踪定位模块102d所处理的待处理数据类别为IMU数据，两者对应的AR任务规模与类别并不相同。目标识别与跟踪模块102f基于目标识别算法，对图像数据中的目标物体进行识别，并实现基于视频流的追踪，而跟踪定位模块102d则是利用IMU数据计算出6DOF的位姿，从而实现对目标物体、目标设备的定位。目标识别与跟踪模块102f与跟踪定位模块102d在使用时的选择可以基于AR任务的需求决定，若现实场景中的虚拟信息的叠加位置已提前布置好(设置二维码或其他标识性物体)，则可以通过目标识别与跟踪模块102f找出虚拟信息的待展示位置；若想实现在未经布置的显示场景中进行虚拟信息的展示，以及增强现实AR设备无法时刻对目标场景进行图像数据拍摄时的虚拟信息展示，则可以通过跟踪定位模块102d来执行。

示例性的，目标识别与跟踪模块102f在执行时可以通过摄像头来识别视觉标识或对象，例如二维码或图片，只有当设备感知到相应标识时才能将虚拟对象进行覆盖。例如，检测目标场景中的指定二维码，在检测成功后在该二维码所在位置进行虚拟信息的展示以及展示后的目标跟踪。

在具体实施中，为了适用于多种场景，例如暗光、强光等，目标识别与跟踪模块102f应可以多种场景下识别目标图像、以及对目标图像进行6DOF位姿跟踪；当识别出所述预设的特定目标图像时，例如二维码，触发所述增强现实效果；对真实场景中目标物体的纹理或结构信息进行预处理；将来自摄像机的实时信息与处理后的信息进行比较，实现二维信息与三维信息的匹配；了解3D对象在真实场景中的位置和方向。

示例性的，目标识别与跟踪模块102f应达到如下性能指标：

在对目标图像进行识别与跟踪时：

目标识别与跟踪模块102f应可以同时支持至少4个平面目标的识别与追踪；

在识别成功的情况下，单个平面目标的识别延迟不超过0.5s；

识别精度不小于90％，也就是说，目标图像在估计姿势下的轮廓与真实值之间的平均偏差在测试数据集中不大于5个像素或轮廓真实值中宽度真实值与高度真实值中的较大者数值的1％(取两者间的较大值)，且达到上述要求的目标图像的帧数不少于总帧数的90％；

单个平面目标的跟踪频率不小于每秒24帧图片；

多个平面目标的跟踪频率不低于每秒20帧图片；

在对目标物体进行识别与跟踪时：

对于视频流中图像数据的处理频率不小于每秒24帧图片；

从开始对图像数据进行图像识别至成功识别，耗时不超过1秒；

跟踪位置与真实值之间的误差不大于3cm/m(基于虚拟物体尺寸确定)，或不大于物体最大移动距离的3％(取两者中较大者)；

识别精度不小于90％，也就是说，目标物体在估计姿势下的轮廓与真实值之间的平均偏差在测试数据集中不大于5个像素或轮廓真实值中宽度真实值与高度真实值中的较大者数值的1％(取两者间的较大值)，且达到上述要求的目标图像的帧数不少于总帧数的90％。

在具体实施中，对于目标识别与跟踪模块102f的效果测试可以在实验环境为照明颜色为白光，照度为100lx的场景进行，在进行目标图像的识别与跟踪的测试时，可以通过使用移动设备扫描拍摄目标图像，通过观察虚拟AR内容的存在及其在设备显示屏上的位置，判断增强现实系统是否能够成功识别和跟踪目标图像；在进行目标物体的识别与跟踪时，可以通过使用移动设备扫描拍摄目标物体，通过观察虚拟AR内容的存在及其在设备显示屏上的位置，判断增强现实系统是否能够成功识别和跟踪目标物体。

示例性的，可以将某一张二维码图像贴在墙面上，通过目标识别与跟踪模块102f在该二维码图片上进行虚拟信息的展示，此时，移动AR设备并观察随着拍摄视频流的变动，目标识别与跟踪模块102f是否仍可以成功的定位视频流中的二维码图片位置，即对位置变化的二维码图像实现实时追踪，并将虚拟信息成功地展示在指定位置。

在具体实施中，在目标识别与跟踪模块102f中对于目标图像的识别与跟踪性能测试，可以通过在将每帧识别跟踪算法的执行时间记录在日志中，并计算在不少于5min的执行时间内每帧目标图像的平均识别跟踪时间，包括：

分别测试单个目标图像的识别时间和五个目标图像的平均识别时间；

分别测试单个目标图像的跟踪时间和五个目标图像的平均跟踪时间；

测试目标图像的识别成功率，包括不同角度、不同距离、不同光照强度下的识别成功率。

在具体实施中，在目标识别与跟踪模块102f中对于目标物体的识别与跟踪性能测试，可以通过在将每帧识别跟踪算法的执行时间记录在日志中，并计算在不少于5min的执行时间内每帧目标物体的平均识别跟踪时间，包括：

分别测试单个目标物体的识别时间和五个目标物体的平均识别时间；

分别测试单个目标物体的跟踪时间和五个目标物体的平均跟踪时间；

测试目标物体的识别成功率，包括不同角度、不同距离、不同光照强度下的识别成功率。

D：针对第二目标处理包括：光照估计；移动处理单元102包括：光照估计模块102g的情况：

所述光照估计模块102g，用于基于所述待处理数据进行光照估计，得到所述目标场景中的光照信息。

在具体实施中，AR设备上的增强现实AR系统需要从传感器或摄像头中的视图估计用于渲染虚拟对象和虚拟场景的周围物理世界环境的全局照度。

其中，虚拟场景的周围物理世界环境的全局照度的成功估计可以让展示在目标场景下的虚拟模型上的光照信息和亮度信息更贴近目标场景中的真实光照情况。

示例性的，在渲染模块的协同下，渲染模块在接收到光照估计模块102g输出的光照估计信息后，渲染模块可以根据该信息对展示在目标场景中的虚拟物体进行重新渲染，使得虚拟物体与目标场景的融合更加自然，而随着目标场景中光照信息的变化，光照估计模块也需要实时的检测出这类光照信息的变化，并将该变化信息传递至渲染模块，渲染模块可以根据该信息实现虚拟物体的渲染光照效果跟随目标场景的光照信息实时变化。

在具体实施中，对于光照估计模块102g的性能指标规定如下：在目标场景的光照信息发生变化时，光照估计模块102g需要在1秒之内进行响应，并重新进行光照估计；为了使虚拟信息在目标场景中展示的更加真实，光照估计模块102g对于目标场景中的光照估计准确率应不低于99％。

在具体实施中，对于光照估计模块102g的功能测试可以通过如下方式：在上文所描述的测试环境中，进行红、绿、蓝、白四种光源的切换，并对亮度进行调节，观察虚拟物体的颜色是否与测试环境的光照一致，以及颜色是否会随着光照的变化而变化，从而判断增强现实AR系统是否具有光照估计功能。

在具体实施中，对于光照估计模块102g的性能测试可以，通过算法将估计值归一化到0～1，通过系统摄像机将真值归一化到0～1并按照以下方法测试照明估计性能：

只打开白光，分别在白光照度为20lx、100lx、200lx和300lx 4种情况下测量照明颜色的估定值与真实值的误差；

只打开红光，分别在红光照度为20lx、100lx、200lx和300lx 4种情况下测量照明颜色的估定值与真实值的误差；

只打开绿光，分别在绿光照度为20lx、100lx、200lx和300lx 4种情况下测量照明颜色的估定值与真实值的误差；

只打开蓝光，分别在蓝光照度为20lx、100lx、200lx和300lx 4种情况下测量照明颜色的估定值与真实值的误差。

所述移动处理单元102还包括：三维重建模块102h；

所述三维重建模块102h，用于基于所述第二目标处理结果、以及所述待处理数据，进行三维重建，得到所述目标场景的三维模型。

在具体实施中，所述三维重建模块102h，可以利用所述目标识别与跟踪模块102f与所述跟踪定位模块102d得到的6DOF位姿信息、尺度估计模块102e得到的尺度信息、以及待处理数据中的深度数据重建目标场景的三维模型。

在具体实施中，对于单个平面的重建和锚点定位，三维重建模块102h应可以做到：

水平面和垂直面的检测，并可以找到目标场景中的主水平面，在其上进行定位或渲染锚点；

识别所述平面上的三维点，确定该平面在目标场景中的位置并将其展开；

在目标场景中进行单个平面的检测；

重建单个平面，并定位锚点；

其中，锚点用于在物理世界中放置虚拟内容，可以将虚拟对象锚定到特定的可追踪对象，以确保即使设备四处移动，虚拟对象与可追踪对象之间的关系也能保持稳定。

示例性的，将虚拟小雕像放置在桌面上，如果AR设备稍后调整与桌面相关联的几何平面的姿势，那么小雕像仍会出现在桌子顶部。

了解真实场景的多个平面(包括水平面和垂直面)，并在平面上定位或渲染锚点；

识别平面上的三维点，确定平面位置并展开；

检测场景中的多个平面；

重建多个平面，并定位锚点。

一种可选的实施方式中，当通过闭环或任何其他优化更新帧位姿时，增强现实AR系统应满足以下要求:根据优化后的框架位姿自动调整平面位置并自动调整锚在平面上的位置。

一种可选的实施方式中，在非平面复杂场景中放置虚拟物体时，增强现实AR系统应满足以下要求：

支持增量和实时扩容；

重建场景的三维密集点云，每个点包含位置、法线和颜色信息；

计算锚点在稠密点云上的位置和法线；

一种可选的实施方式中，为了在真实环境中实现遮挡、阴影、碰撞等虚实混合的复杂效果，增强现实AR系统需要满足以下要求：

重建场景的密集三维网格；

计算锚点在网格上的位置和法线。

在具体实施中，三维重建模块102h为了更好地AR任务执行效果，应满足一定的性能指标。在平面检测中，对于平面扩展的处理速率要保证不小于每秒6帧图像数据。为了实现更真实的AR效果，平面检测的误差需要控制在每米范围内误差2厘米之内(根据目标场景实际大小决定)。

在具体实施中，三维重建模块102h为了更好地AR任务执行效果，应满足一定的性能指标。在密集点云重建中，为了实现更好的AR效果，密集点云扩展的实时处理速率应不小于每秒6帧图像，且密集点云的位置误差不超过每米范围内误差3厘米。

在具体实施中，三维重建模块102h为了更好地AR任务执行效果，应满足一定的性能指标。在密集网格重建中，需要保证重建速率与6DOF跟踪速率保持一致，且密集网格的位置误差不超过每米范围内误差3厘米。

在具体实施中对于三维重建模块102h的功能测试可以通过如下方法进行：

对于平面检测功能的测试可以将测试环境的照明颜色调整为白光，照度设置为100lx，此时在移动设备上的测试环境中执行平面检测，以确认该功能是否可用，并检查增强现实系统是否可以检测多个平面和这些平面应实时增量扩展。

对于密集点云重建功能的测试可以在上述测试环境中，在移动设备上进行密集点云重构，验证该功能是否可用。重构后的密集点云需要支持实时增量扩展。

对于密集网格重建功能的测试可以在上述测试环境中，在移动设备上进行密集网格重构，验证该功能是否可用。重构后的密集网格需要支持实时增量扩展。

在具体实施中，对于三维重建模块102h的性能测试可以根据以下方法进行：

对于平面检测性能的测试可以通过建模软件(如3DSMAX或Maya)构建多个平面模型作为地面实况并根据测量的场景大小，评估每个检测平面与地面实况之间的位置误差；在日志中记录平面检测算法的单帧执行时间，并统计平均值每帧检测时间，总执行时间不少于5min，包括单次平面检测和五个平面检测。

对于密集点云重建性能的测试可以通过3D扫描仪扫描场景的精确3D模型作为地面实况并在移动设备上对场景进行密集点云重建，并评估重建的密集点云与地面真实值之间的位置误差；在日志中记录密集点云重建算法的单帧执行时间；统计每帧平均重建时间，执行时间不小于5min。

对于密集网格重建性能的测试可以通过3D扫描仪扫描场景的精确3D模型作为地面实况并在移动设备上对场景进行密集网格重建，并评估重建的密集网格与地面真实值之间的位置误差；在日志中记录密集网格重建算法的单帧执行时间；统计每帧平均重建时间，执行时间不小于5min。

所述移动处理单元102还包括：虚实遮挡处理模块102i；

所述虚实遮挡处理模块102i，用于基于所述第二目标处理结果，确定虚拟对象和所述目标场景中不同对象之间的相互遮挡关系。

在具体实施中，所述虚实遮挡处理模块102i可以实现虚拟对象与真实环境的遮挡，包括虚拟对象与静态背景环境的遮挡和虚拟对象与动态前景的遮挡。虚实遮挡的目标是在创建AR场景时，保留现实场景中的视线视距规则。这意味着任何位于真实对象后面的虚拟对象应该被“遮挡”，或隐藏在该真实对象后面。

在具体实施中，虚实遮挡处理模块102i主要涉及三个功能：感知目标场景的三维结构、重建目标场景的三维模型、将特定该模型渲染为隐藏虚拟对象的透明蒙版(蒙版后面的虚拟对象不可见)。这也就意味着该模块将与系统中三维重建模块102h及其他模块进行联动才能完成所述虚实遮挡任务。

示例性的，可以通过在AR设备上配备结构光传感器将红外光图案投影到3D表面上，并使用扭曲度来重建表面轮廓。也可以通过飞行时间传感器向其视场中的物体发射快速红外光脉冲，并接收反射光线来工作。图像传感器使用反射光的延迟来计算每个像素的深度。这些硬件在搭载本公开中的增强现实AR系统的AR设备上都是可选的硬件配置，旨在实现上述目标场景的三维重建。

在具体实施中，对于所述虚实遮挡模块102i需满足如下的性能指标：

图像深度数据的采集和虚实遮挡处理的帧率应与6DOF跟踪的帧率保持一致；

遮挡边缘的偏差不超过图片宽和高的5个像素或1％(两者以较大者为准)；

图片中遮挡关系的错误率不超过10％。

在具体实施中，对于虚实遮挡模块102i的功能测试可以通过寻找具有复杂景深层次的场景，并使用AR设备拍摄所述场景，同时启用增强现实AR系统，然后将动态虚拟物体放置在手机场景的图片中，通过增强现实系统实现虚拟物体与真实场景(包括静态背景和动态前景)之间的遮挡效果。从而判断增强现实系统是否具有虚拟和真实遮挡的功能。

在具体实施中，对于虚实遮挡模块102i的性能测试可以使用移动设备拍摄场景，启用增强现实系统，然后将动态虚拟物体放置在手机场景的图片中，通过增强现实系统实现虚拟物体与真实场景(包括静态背景和动态前景)之间的遮挡效果。将每帧的遮挡时间输出到日志中，判断帧速率是否达到6DoF跟踪的帧速率。

使用移动设备常用的帧切割工具记录5组实时虚拟和真实遮挡帧，并将帧信息传递给5个参与者，每个参与者评估5组场景中虚拟和真实遮挡的边缘准确率和错误率；并计算这些评价结果的平均值，得到移动平台上增强现实系统虚拟和真实遮挡的边缘正确率和正确率。

一种可选的实施方式中，所述移动处理单元102中，还包括：渲染模块102j；

所述渲染模块102j，用于执行渲染过程，生成渲染图像，并向显示设备发送所述渲染图像；

所述执行渲染过程，生成渲染图像，包括：

实时渲染虚拟对象，生成第一渲染图像；

在具体实施中，渲染模块102j用于与增强现实AR系统中其他模块的联动，例如可以将其他模块输出的待展示的动态/静态虚拟信息进行实时渲染，并基于预设的AR设备的相机内参将其他模块发送来的待展示虚拟信息与目标场景进行融合渲染，生成渲染图像；还可以响应于目场景中的光照信息变化，实时的变化对虚拟信息的光照渲染以实现更加真实的渲染效果。

示例性的，在目标识别与跟踪模块102f成功的定位视频流中的二维码图片位置后，通过光照估计模块102g得到目标场景的光照信息，基于上述位置信息和光照信息渲染模块102j将目标虚拟信息展示在目标位置，并进行相对应的渲染。当AR设备获取到的图像数据发生变化时，目标识别与跟踪模块102f可以跟踪捕获目标位置的变化信息，光照估计模块102g也可以得到目标场景中的光照实时变化信息，这些信息将被发送至渲染模块102j进行实时渲染。

在具体实施中，对于渲染模块102j同样需要满足一定的性能要求，为了整个渲染画面的流畅，渲染帧率不能低于摄像机拍摄的视频的原帧率，且渲染分辨率也不得低于摄像机拍摄视频的分辨率。

示例性的，当视频的帧率为60帧/秒时，渲染帧率也不能低于60帧/秒，若AR设备配备的芯片算力无法达到此帧数的渲染，则可以拍摄30帧/秒的视频以降低性能要求，但始终渲染帧率需要与视频帧率保持一致。

在具体实施中，对于渲染模块102j的效果测试可以通过不同的移动方式测试渲染引擎的功能，观察移动设备屏幕上显示的渲染效果，从而判断增强现实系统是否具有以下功能：

实时呈现动态/静态虚拟对象；

虚拟对象与物理世界紧密贴合；

正确响应物理世界中的光照变化。

在具体实施中，对于渲染模块102j的性能测试可以通过提供标准格式的静态模型和骨架动画模型，使用估计的光照进行渲染，测试静态模型和动态模型的加载、动画更新和渲染结果，测试移动设备工具渲染引擎的渲染分辨率和运行帧率。如Arm或Qualcomm的框架GPU分析器工具。

一种可选的实施方式中，所述渲染模块102j，在向所述显示设备发送所述渲染图像时，用于：

其中，异步时间扭曲是一种生成中间帧的技术。当视频画面无法保持足够的帧率时，它能产生中间帧进行弥补，从而维持较高的画面刷新率。

示例性的，当手机的刷新率为60赫兹时，也就是说，手机大概要处理有60帧/秒。那么，从数据到渲染就有1000/60约等于16.6666ms的时延。通过大量采集陀螺仪数据，在样本足够多的情况下，就可以预测出16.66ms后视频中物体应有的旋转和位置，按照这个预测的数据来渲染。但一般AR场景很复杂，很难保证每次都在16.66ms内完成一次渲染，也就是很难保证每个应用都是60fps，异步时间扭曲技术可以对视频中的未来帧图像进行预测，例如一个30帧图像每秒的视频，异步时间扭曲技术可以对视频中每一帧图像的下一帧图像进行预测，生成对应的预测帧图像并将其插入至视频中，这样30帧每秒的视频就变成了60帧每秒的视频，为用户带来更加流畅的AR体验。

在具体实施中，对于增强现实系统在光学透视设备上的异步时间扭曲效果应满足环面刷新率恒定且不小于60Hz，且预测位姿的平移误差小于1cm，旋转误差小于0.5°。

在具体实施中，对于异步时间扭曲效果的测试可以在能够进行任意头部运动的实验室内，佩戴光学透视装置，启动增强现实系统，加载不同复杂程度的虚拟场景，记录6DoF预测轨迹，并与SLAM轨迹进行对比，测试异步时间扭曲功能。并观察在移动设备屏幕上显示的渲染效果，以判断增强现实系统是否有着稳定的视频帧率且渲染图像的显示是否平滑无延迟，在移动期间渲染图像是否出现抖动或不进行更新的情况。

在具体实施中，对于异步时间扭曲性能的测试可以通过为场景提供标准格式的静态模型和不同复杂度的骨架动画模型，并将估计的光照值和颜色值作为环境光照明和颜色进行渲染，测试渲染帧率是否稳定在60Hz的固定帧率下，并使用Arm、Qualcomm等移动设备常用的帧切割工具测试渲染的运行帧率；将6DOF预测轨迹与SLAM轨迹的数值进行对比。

一种可选的实施方式中，所述移动处理单元102，还用于：向云服务端发送所述待处理数据；所述待处理数据用于指示所述云服务端根据所述待处理数据进行第三处理操作，得到第三目标处理结果；所述第三处理操作包括下述至少一种：云重定位处理、云三维重建处理、以及云目标识别处理；接收所述云服务端返回的所述第三目标处理结果，基于所述第三目标处理结果，执行与所述第三目标处理结果对应的第三目标AR任务。

在具体实施中，配备云计算的增强现实AR系统可以将待处理的IMU数据、图像数据、深度数据发送至云服务端以进行云重定位处理、云三维重建处理、以及云目标识别处理等处理，并将计算得到的数据传输回增强现实AR系统中的移动处理单元102，传输的结果数据包括但不限于：6DOF姿态数据、目标信息、和三维模型等。

在具体实施中，当AR设备由于意外的位置突变、遮挡等失去其6DOF姿态时，可以通过云服务器来进行重新定位，并将当前的位姿重置在云服务器上。

在具体实施中，云服务器执行目标识别时用户利用云计算资源识别上传目标图像的图像帧，并将目标图像帧的位置和方向信息返回给用户端。

利用移动设备系统的计算资源，识别由AR系统上传到云端的带有三维对象的图像帧，并将帧内三维对象的位置和方向信息返回给用户端。

在具体实施中，云服务器执行三维重建时需要支持增量和实时扩展，在收到AR系统上传的关键帧数据后在云端进行三维重建，并将重建结果与目标环境中的坐标系进行坐标系对齐，云服务器在进行重建时也应可以加载或显示重建信息。

在具体实施中，云服务器执行目标定位时需要对目标场景构建高清晰度的三维场景地图。用户端上传需要定位查询的图像后，云服务端在三维地图中计算6DoF位姿坐标系统的三维地图。此外也可以在AR设备端进行待查询图像的图像特征提取，并将该特征数据上传至云服务端进行查询。

在具体实施中，通过云服务端对目标的重新定位需要至少90％以上的成功率，即重新定位后的测试数据集位置与真实值的误差小于10cm或小于相机所拍照片深度中值的5％(取两者中较大者)，倘若定位成功，则重定位的总耗时不应超过2秒。

在具体实施中，通过云服务端实现基于高精度3D地图的云定位时需要至少90％以上的成功率，即重新定位后的测试数据集位置与真实值的误差小于10cm或小于相机所拍照片深度中值的5％(取两者中较大者)，倘若定位成功，则重定位的总耗时不应超过2秒。

在具体实施中，通过云服务端实现目标识别需要在0.2秒内完成(不包含网络传输延时)

在具体实施中，对于通过云服务端进行的重新定位可以通过以下方法进行效果测试：

在测试环境中调整测试环境的照明颜色为白光，照度为100lx；

允许算法通过预先扫描场景，充分构建场景地图信息并将其放置在云端以实现更快的重定位效果；

快速摇动设备或长时间遮挡摄像头，使算法进入跟踪失败状态；

保证移动设备网络畅通，重新扫描现场进行重新定位。定位成功(虚拟对象恢复到初始位置)意味着增强现实系统具有云重定位功能；否则，它不具备云重新定位的功能。

在具体实施中，对于通过云服务端进行的基于高精度地图重新定位可以通过以下方法进行效果测试：

提前扫描场景，构建高精度地图，并将其部署在云上；

在具体实施中，对于通过云服务器进行的重新定位可以通过下述方法进行性能测试：

重新扫描场景并上传至云端进行重新定位；

通过数据采集装置采集上述数据，并根据以上数据评估云重新定位成功率、重新定位时间和重新定位精度。

在具体实施中，对于通过云服务器进行的基于高精度地图的云定位可以通过下述方式进行性能测试：

构建覆盖不同场景的基准数据集，用于评估基于高精度地图的云定位性能。对每个场景，用AR设备获取测试图像，而地面真实位置可以通过运动捕捉系统或全站仪等测量设备获得；

对所有用于测试的设备或标志进行定位；

统计定位的成功率、定位精度、以及定位时间。

在具体实施中，对于通过云服务器进行目标识别的性能测试可以通过下述方法进行：

在被测移动设备网络通畅的情况下，通过移动设备将场景视频流上传到云平台，然后测试云对目标图像和目标物体的识别速度和成功率，包括：测试目标图像识别的平均网络时间、算法时间和成功率；测试目标物体识别的平均网络时间、算法时间和成功率。

在具体实施中，上述增强现实AR系统在AR设备运行时的处理器和内存占用需满足下述性能指标：

在单目方案中，移动设备上的增强现实系统在运行基本跟踪和稀疏点云映射时需要满足以下要求：

CPU占用率不大于50％；

5m×5m房间的内存占用不能超过500MB。

在具体实施中，所述增强现实AR系统在AR设备上的运行帧率应保证每秒至少20帧图像。

在具体实施中，对于上述增强现实AR系统在AR设备运行时的处理器和内存占用可以通过下述方法进行测试：

在AR设备开启增强现实功能后，可以通过操作系统自带的命令或系统工具检查系统进程的处理器和内存占用情况。命令或工具依赖于移动设备平台的操作系统。例如，在Android移动设备平台上启用增强现实系统后，可以通过“adb shell top”命令行查看移动设备上增强现实系统的处理器占用率。通过“adb shell dumpsys meminfo package name”命令行获取包名对应的进程的实时内存占用情况，通过Android Studio的Profile工具获取增强现实系统在移动设备进程上的处理器和内存占用情况；在iOS移动设备平台上启用增强现实系统后，可以通过XCode的Instruments工具分析基于增强现实的移动设备的处理器和内存占用情况。

在具体实施中，移动设备平台上的增强现实系统启用后，将每帧数据的算法运行时间记录在日志中，在不小于5min的算法执行时间内，可根据日志中的记录计算每帧算法的最大、最小和平均时间。

在另一实施例中，搭载了本公开所述的增强现实AR系统的AR设备可以执行自动初始化。

一种可选的实施方式中，整个增强现实AR系统需要进行相应的测试以保证其达到性能指标要求。

示例性的，对于整个增强现实AR系统以及其中的各个功能模块的测试可以在5m×5m的实验室内，按以下要求布置标准测试场景：

在测试场景中，房间的天花板上的光源可以包括但不限于：红、绿、蓝、白四种光源模式，并保持每种光源模式发出的光可以被完全扩散，以确保场景中的亮度均匀。其中，红光的波长可以为700nm、绿光的波长可以为550nm、蓝光的波长可以为460nm，对于白光，可以采用混合光源的方式，其中红光、绿光、蓝光的比例相同。在具体光强度方面，每种光源的光强度可以在20勒克斯(luminance，lx)至200勒克斯之间进行调节。

在测试场景中，可以在某一墙角即两面竖直墙面和一面水平地面围成的角落放置一张方桌，墙体上贴有带图案的壁纸，方桌上铺有带图案的桌布。

在测试场景中，可以在墙角处以及方桌上放置一些用于测试的物体。

在测试场景中，可以在待测试AR设备上通过本公开所描述的增强现实AR系统进行虚拟信息的展示，例如，展示5个目标虚拟图像、以及展示5种目标虚拟物体。

对于所述增强现实AR系统种涉及到识别结果准确度测试的模块，例如，人脸对齐模块、手势识别模块等，可以利用数据集对该模块的识别结果准确度进行检测，所使用的数据集可以是公共数据集，也可以是自制数据集，本公开在此不做限制。

公共数据集例如包括：ZJU-SenseTime Vislam Benchmark和Near-Vi-Dataset等公共数据集。

在AR设备进行自动初始化的过程中，增强现实AR系统在AR设备上的初始化时间应该在3秒之内，且初始化质量误差应小于10，定义的初始化时间为t_init，初始化规模估计误差为€_scale，初始化质量€_init满足：

€_init＝t_init*(€_scale+0.01)^0.5。

为了测试所述增强现实AR系统在初始化过程中是否能否达到上述要求，可以通过下述方法来进行测试：

调整测试场景的照明颜色为白色，照度为100lx；

握持开启了增强现实AR系统的AR设备以不同的方式在测试场景内移动；

在系统初始化阶段观察AR设备的视觉轨迹和虚拟物体的在设备显示屏中的位置。

为保证所述增强现实AR系统的初始化性能达到特性指标，可以通过下述方法对初始化过程进行性能测试：

构建AR精度评价基准数据集，该数据集应涵盖不同场景和动作的数据，包括图像数据、IMU传感器数据及相应的标定参数等基本的同步定位与建图操作数据；提供真实值(可通过动作捕捉系统获得)；标准的公共数据集也可以用作基准数据集；

利用精度评估工具对算法的初始化时间、初始化质量等指标进行评估，衡量初始化性能。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

本公开实施例还提供了一种计算机设备，如图3所示，为本公开实施例提供的计算机设备结构示意图，包括：

处理器31和存储器32；所述存储器32存储有处理器31可执行的机器可读指令，处理器31用于执行存储器32中存储的机器可读指令，所述机器可读指令被处理器31执行时，处理器31执行如本公开实施例提供的AR系统中的相关操作。

上述存储器32包括内存321和外部存储器322；这里的内存321也称内存储器，用于暂时存放处理器31中的运算数据，以及与硬盘等外部存储器322交换的数据，处理器31通过内存321与外部存储器322进行数据交换。

上述指令的具体执行过程可以参考本公开实施例中所述的AR系统中的详细描述，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的AR系统中的相关操作。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的AR系统中的相关操作，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。

若本公开技术方案涉及个人信息，应用本公开技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本公开技术方案涉及敏感个人信息，应用本公开技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种增强现实AR系统，其特征在于，包括：数据采集单元、以及移动处理单元；

2.根据权利要求1所述的AR系统，其特征在于，所述移动处理单元包括：人脸对齐模块、手势识别模块、以及交互引擎；

所述交互引擎，用于响应于接收到所述人脸对齐模块发送的所述人脸对齐处理结果，对所述人脸对齐处理结果执行所述第一AR任务；和/或，响应于接收到所述手势识别模块发送的所述手势识别结果，对所述手势识别结果执行所述第二AR任务。

3.根据权利要求2所述的AR系统，其特征在于，所述手势识别模块，在基于所述待处理数据进行手势识别处理时，用于基于所述待处理数据，确定手部的手边界框、以及识别所述手边界框对应手部区域的手势分类。

4.根据权利要求1-3任一项所述的AR系统，其特征在于，所述移动处理单元，还用于，基于所述待处理数据进行第二处理操作，得到第二目标处理结果；基于所述第二目标处理结果，执行与所述第二目标处理结果对应的第二目标AR任务；

5.根据权利要求4所述的AR系统，其特征在于，所述第二目标处理包括：实时跟踪与定位处理；

所述移动处理单元还包括：跟踪定位模块；

6.根据权利要求4或5所述的AR系统，其特征在于，所述第二目标处理包括：尺度估计处理；

所述移动处理单元还包括：尺度估计模块；

7.根据权利要求4-6任一项所述的AR系统，其特征在于，所述第二目标处理包括：目标识别与跟踪处理；

所述移动处理单元，还包括：目标识别与跟踪模块；

8.根据权利要求7所述的AR系统，其特征在于，所述目标对象包括：目标图像或者目标物体；

9.根据权利要求4-8任一项所述的AR系统，其特征在于，所述第二目标处理包括：光照估计；

所述移动处理单元，还包括：光照估计模块；

10.根据权利要求4-9任一项所述的AR系统，其特征在于，所述第二目标AR任务包括三维重建任务；

所述移动处理单元还包括：三维重建模块；

11.根据权利要求4-10任一项所述的AR系统，其特征在于，所述第二目标AR任务还包括：虚实遮挡处理任务；

所述移动处理单元还包括：虚实遮挡处理模块；

12.根据权利要求4-11任一项所述的AR系统，其特征在于，所述移动处理单元中，还包括：渲染模块；

所述执行渲染过程，生成渲染图像，包括：

实时渲染虚拟对象，生成第一渲染图像；

13.根据权利要求12所述的AR系统，其特征在于，所述渲染模块，在所述向显示设备发送所述渲染图像时，具体用于：

14.根据权利要求1-13任一项所述的AR系统，其特征在于，所述移动处理单元，还用于：向云服务端发送所述待处理数据；所述待处理数据用于指示所述云服务端根据所述待处理数据进行第三处理操作，得到第三目标处理结果；所述第三处理操作包括下述至少一种：云重定位处理、云三维重建处理、以及云目标识别处理；接收所述云服务端返回的所述第三目标处理结果，基于所述第三目标处理结果，执行与所述第三目标处理结果对应的第三目标AR任务。

15.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至14任一项所述的增强现实AR系统中的操作。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至14任意一项所述的增强现实AR系统中的操作。