CN110866977A - 增强现实处理方法及装置、系统、存储介质和电子设备 - Google Patents

Abstract

本申请公开了一种增强现实处理方法、增强现实处理装置、增强现实处理系统、存储介质和电子设备，涉及增强现实技术领域。该增强现实处理方法包括：确定第一设备的当前帧图像的图像参数；获取由第二设备确定出的参考图像的图像参数；根据当前帧图像的图像参数和参考图像的图像参数，确定当前帧图像相对于第二设备的位姿；根据当前帧图像相对于第二设备的位姿以及采集当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系，以便利用第一设备与第二设备的相对位姿关系进行增强现实的处理操作。本公开可以提升重定位效果。

Description

增强现实处理方法及装置、系统、存储介质和电子设备

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种增强现实处理方法、增强现实处理装置、增强现实处理系统、存储介质和电子设备。

背景技术

增强现实(Augmented Reality，AR)是一种把虚拟世界和现实世界融合的技术，该技术已广泛应用到教育、游戏、医疗、物联网、智能制造等多个领域。

在多人AR的方案中，重定位效果对AR体验起着至关重要的作用。然而，由于建图设备与重定位设备所处的拍摄角度不相同，在确定建图设备与重定位设备之间位姿关系的过程中，可能出现特征误匹配的问题，导致重定位效果不佳。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种增强现实处理方法、增强现实处理装置、增强现实处理系统、存储介质和电子设备，进而至少在一定程度上克服重定位效果不佳的问题。

根据本公开的第一方面，提供了一种增强现实处理方法，应用于第一设备，该增强现实处理方法包括：确定第一设备的当前帧图像的图像参数；获取由第二设备确定出的参考图像的图像参数；根据当前帧图像的图像参数和参考图像的图像参数，确定当前帧图像相对于第二设备的位姿；根据当前帧图像相对于第二设备的位姿以及采集当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系，以便利用第一设备与第二设备的相对位姿关系进行增强现实的处理操作。

根据本公开的第二方面，提供了一种增强现实处理装置，应用于第一设备，该增强现实处理装置包括第一图像参数确定模块、第二图像参数确定模块、第一相对位姿确定模块和第二相对位姿确定模块。

具体的，第一图像参数确定模块用于确定第一设备的当前帧图像的图像参数；第二图像参数确定模块用于获取由第二设备确定出的参考图像的图像参数；第一相对位姿确定模块用于根据当前帧图像的图像参数和参考图像的图像参数，确定当前帧图像相对于第二设备的位姿；第二相对位姿确定模块用于根据当前帧图像相对于第二设备的位姿以及采集当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系，以便利用第一设备与第二设备的相对位姿关系进行增强现实的处理操作。

根据本公开的第三方面，提供了一种增强现实处理系统，应用于第一设备，该增强现实处理系统包括摄像头模组、深度感测模组、惯性测量单元、即时定位与地图构建单元和增强现实处理装置。

具体的，摄像头模组用于采集当前帧图像；深度感测模组用于采集与当前帧图像对应的深度信息；惯性测量单元用于测量第一设备的惯性信息；即时定位与地图构建单元用于获取当前帧图像和惯性信息，并基于惯性信息生成第一设备的姿态信息；增强现实处理装置用于用于确定当前帧图像的图像参数；获取由第二设备确定出的参考图像的图像参数；根据当前帧图像的图像参数和参考图像的图像参数，确定当前帧图像相对于第二设备的位姿，并结合采集当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系。

根据本公开的第四方面，提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述增强现实处理方法。

根据本公开的第五方面，提供了一种电子设备，该电子设备包括处理器；以及存储器，用于存储处理器的可执行指令；处理器配置为经由执行可执行指令来执行上述增强现实处理方法。

在本公开的一些实施例所提供的技术方案中，第一设备确定当前帧图像的图像参数，并获取由第二设备确定出的参考图像的图像参数，利用当前帧图像的图像参数和参考图像的图像参数，确定当前帧图像相对于第二设备的位姿，随后，结合采集当前帧图像时第一设备的姿态信息，确定出第一设备与第二设备之间的相对位姿关系，进而可以利用该相对位姿关系进行增强现实的处理操作。本公开示例性实施方式的方案通过确定当前帧图像相对于第二设备的位姿，并结合采集当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系，重定位效果佳，并且本方案普适性强，易于实施。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了适于用来实现本公开示例性实施方式的场景架构的示意图；

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本公开的示例性实施方式的增强现实处理系统的架构图；

图4示意性示出了根据本公开的示例性实施方式的增强现实处理方法的流程图；

图5示意性示出了根据本公开的采用迭代最近点方式确定第一设备与第二设备相对位姿关系的流程图；

图6示意性示出了根据本公开的示例性实施方式的增强现实处理装置的方框图；

图7示意性示出了根据本公开的示例性实施方式的第一相对位姿确定模块的方框图；

图8示意性示出了根据本公开的另一示例性实施方式的第一相对位姿确定模块的方框图；

图9示意性示出了根据本公开的另一示例性实施方式的增强现实处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了适于实现本公开示例性实施方式的场景架构的示意图。

如图1所示，本公开示例性实施方式的增强现实处理方案架构中可以包括第一设备1001和第二设备1002。其中，第二设备1002用于对所处场景进行建图，而第一设备1001为当前在该场景中待进行增强现实处理操作的终端设备。

第一设备1001和第二设备1002可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机、智能可穿戴设备等。

第一设备1001与第二设备1002可以进行通信连接。具体的，可以通过蓝牙、热点、WiFi、移动网络等方式建立连接，由此，第二设备1002可以与第一设备1001直接进行数据传输，而数据无需经由服务器。

针对第二设备1002的建图过程，可以基于第二设备1002的摄像头模组获取视频帧图像，并基于深度感测模组获取与各视频帧图像分别对应的深度信息，由此，针对每一帧图像，第二设备1002均可以确定出二维特征点信息及三维特征点信息。在利用即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)进行建图的情况下，第二设备1002可以将每一帧图像或关键帧图像的二维特征点信息及三维特征点信息发送至第一设备1001。

在第一设备1001进行增强现实的处理操作时，第一设备1001可以获取由自身摄像头模组拍摄的当前帧图像，并基于对应的深度信息，确定出当前帧图像的二维特征点信息和三维特征点信息。随后，第一设备1001可以将当前帧图像的二维特征点信息和三维特征点信息与第二设备1002确定出的图像二维特征点信息和三维特征点信息进行匹配，基于匹配结果确定当前帧图像相对于第二设备1002的位姿。接下来，第一设备1001结合自身的姿态信息，即可以确定出第一设备1001与第二设备1002的相对位姿关系。在这种情况下，如果第二设备1002在建图时配置了锚点信息，则第一设备1001可以获取该锚点信息，使得第一设备1001和第二设备1002可以在场景下的同一位置显示出虚拟对象，并进行其他增强现实的处理操作。

除第一设备1001与第二设备1002可以直接进行数据通信外，第二设备1002还可以借助于服务器1003将信息发送给第一设备1001。其中，服务器1003可以是云服务器。

具体的，第二设备1002可以将建图过程中各帧图像的二维特征点信息和三维特征点信息发送给服务器1003，还可以将配置的锚点信息发送给服务器1003。在第一设备1001处于由第二设备1002建图的场景中时，第一设备1001可以从服务器1003处获取建图过程中各帧图像的二维特征点信息和三维特征点信息，并与当前帧图像的信息进行匹配，以确定出第一设备1001与第二设备1002之间的相对位姿关系。

应当理解的是，图1中的终端设备、服务器的数量仅仅是示意性的，根据实现需要，可以具有任意数目的终端设备和服务器。比如服务器1003可以是多个服务器组成的服务器集群等。另外，还可以实现三人以上的多人AR交互。

为了下面描述方便，将用于建图的终端设备描述为第二设备，将当前用于进行增强现实的处理操作的终端设备描述为第一设备，以作区分。应该理解，第二设备在一些场景下可以作为当前执行处理操作的终端设备，而第一设备在一些场景下也可以是建图的终端设备。

需要说明的是，本公开示例性实施方式的增强现实处理方法由第一设备执行，相应的，下面描述的增强现实处理装置及增强现实处理系统可以配置在第一设备中。

图2示出了适于用来实现本公开示例性实施方式的电子设备的计算机系统的结构示意图。也就是说，图2示例性示出了上述第一设备的计算机结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

下面将参考图3对本公开的示例性实施方式的增强现实处理系统进行说明。

参考图3，本公开示例性实施方式的增强现实处理系统可以包括惯性测量单元31、摄像头模组32、深度感测模块组33、即时定位与地图构建单元34和增强现实处理装置35。

惯性测量单元31可以包括陀螺仪和加速度计，分别测量第一设备的角速度和加速度，进而确定出第一设备的惯性信息。

摄像头模组31可以用于采集视频帧图像，其中，视频帧图像为RGB图像。在执行下述增强现实处理过程中，摄像头模组31可以获取当前帧图像以便进行后续处理。

深度感测模组33可以用于采集深度信息，具体的，深度感测模组可以是双摄模组、结构光模组或TOF(Time-Of-Flight，飞行时间测距)模组。本公开对此不做特殊限制。

即时定位与地图构建单元34可以用于获取由惯性测量单元31发送的惯性信息以及由摄像头模组32发送的图像，执行建图与重定位过程。

增强现实处理装置35可以获取由即时定位与地图构建单元34发送的当前帧图像，并确定当前帧图像的图像参数，获取由第二设备确定出的参考图像的图像参数，并根据当前帧图像的图像参数和参考图像的图像参数，确定当前帧图像相对于第二设备的位姿，并结合采用当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系。

具体的，增强现实处理装置35可以获取由即时定位与地图构建单元34发送的当前帧图像及对应的姿态信息。提取当前帧图像的二维特征点信息；从深度感测模组33获取与当前帧图像对应的深度信息，并根据二维特征点信息对应的深度信息，确定当前帧图像的三维特征点信息；利用当前帧图像的二维特征点信息和三维特征点信息以及由第二设备确定出的图像的二维特征点信息和三维特征点信息，确定当前帧图像相对于第二设备的位姿，并结合第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系，以便利用第一设备与第二设备的相对位姿关系进行增强现实的处理操作。

另外，增强现实处理装置35还可以包括锚点获取模块。锚点获取模块用于获取由第二设备配置的锚点信息，以便基于第一设备与第二设备的相对位姿关系，在第一设备上显示出与锚点信息对应的虚拟对象。

此外，第一设备还可以在场景中添加锚点信息，以便其他设备可以显示出并进行互动操作。在这种情况下，增强显示处理系统还可以包括锚点添加单元。锚点添加单元可以用于在第一设备所处场景中，添加锚点信息。具体的，锚点添加单元可以包括如图3中所示的应用程序36，持有第一设备的用户可以借助于该应用程序36实现锚点信息的添加。

需要注意的是，本公开示例性实施方式涉及的第二设备中也可以具有如图3所示的系统架构。

下面将对本公开示例性实施方式的增强现实处理方法进行说明。参考图4，增强现实处理方法可以包括以下步骤：

S42.确定第一设备的当前帧图像的图像参数。

在本公开的示例性实施方式中，当前帧图像的图像参数可以包含当前帧图像的二维特征点信息和三维特征点信息。

第一设备可以获取由摄像头模组拍摄的当前帧图像，并对当前帧图像进行特征提取，确定出当前帧图像的二维特征点信息。具体的，可以基于特征提取算法和特征描述子的组合来提取当前帧图像的二维特征点信息。

本公开示例性实施方式采用的特征提取算法可以包括但不限于FAST特征点检测算法、DOG特征点检测算法、Harris特征点检测算法、SIFT特征点检测算法、SURF特征点检测算法等。特征描述子可以包括但不限于BRIEF特征点描述子、BRISK特征点描述子、FREAK特征点描述子等。

根据本公开的一个实施例，特征提取算法和特征描述子的组合可以是FAST特征点检测算法和BRIEF特征点描述子。根据本公开的另一些实施例，特征提取算法和特征描述子的组合可以是DOG特征点检测算法和FREAK特征点描述子。

应当理解的是，还可以针对不同纹理场景采用不同的组合形式，例如，针对强纹理场景，可以采用FAST特征点检测算法和BRIEF特征点描述子来进行特征提取；针对弱纹理场景，可以采用DOG特征点检测算法和FREAK特征点描述子来进行特征提取。

另外，第一设备可以响应用户的操作，执行获取当前帧图像并提取二维特征的过程。例如，在用户开启AR应用程序时，第一设备可以响应AR应用程序启动操作，开启摄像头模组，获取摄像头模组拍摄的当前帧图像，并提取二维特征点信息。

在确定出当前帧图像的二维特征点信息的情况下，可以结合二维特征点信息对应的深度信息，确定当前帧图像的三维特征点信息。

具体的，在获取当前帧图像时，可以通过深度感测模组采集与当前帧图像对应的深度信息。其中，深度感测模组可以是双摄模组(例如，彩色摄像头与长焦摄像头)、结构光模组、TOF模组中的任意一个。

在得到当前帧图像以及对应的深度信息后，可以将当前帧图像与深度信息进行配准，确定当前帧图像上各像素点的深度信息。

针对配准的过程，需要预先标定摄像头模组与深度感测模组的内参和外参。

具体的，可以构建一个三维向量p_ir＝(x,y,z)，其中，x,y表示一像素点的像素坐标，z表示该像素点的深度值。利用深度感测模组的内参矩阵可以得到该像素点在深度感测模组坐标系下的坐标P_ir。然后，P_ir可以与一个旋转矩阵R相乘，再加上一个平移向量T，即可将P_ir转换到RGB摄像头的坐标系下，得到P_rgb。随后，P_rgb可以与摄像头模组的内参矩阵H_rgb相乘，得到p_rgb，p_rgb也是一个三维向量，记为(x0,y0,z0)，其中，x0和y0即为该像素点在RGB图像中的像素坐标，提取该像素点的像素值，与对应的深度信息进行匹配。由此，完成了一个像素点的二维图像信息与深度信息的对齐。在这种情况下，针对每一个像素点均执行上述过程，以完成配准过程。

在确定出当前帧图像上各像素点的深度信息后，可以从中确定出与二维特征点信息对应的深度信息，并将二维特征点信息与二维特征点信息对应的深度信息结合，确定出当前帧图像的三维特征点信息。

另外，在获取由深度感测模组的深度信息后，还可以对深度信息进行去噪，以去除深度信息中明显错误的深度值。例如，可以采用深度神经网络去除TOF图像中的噪点，本示例性实施方式中对此不做特殊限定。

S44.获取由第二设备确定出的参考图像的图像参数。

在本公开的示例性实施方式中，参考图像的图像参数可以包含参考图像的二维特征点信息和三维特征点信息。

第二设备在建图的过程中，可以生成每一帧图像或关键帧图像的二维特征点信息和三维特征点信息。在第一设备处于第二设备所建图的场景中并要执行增强现实的处理操作时，可以获取这些图像的二维特征点信息和三维特征点信息。应当理解的是，本公开所述的参考图像即是第二设备在建图中生成的各帧图像或关键帧图像。

针对获取参考图像的图像参数的过程，在一个实施例中，第二设备可以通过蓝牙、热点、WiFi、移动网络等方式将参考图像的二维特征点信息和三维特征点信息发送给第一设备。而在另一个实施例中，第二设备可以将参考图像的二维特征点信息和三维特征点信息发送至云服务器，以便第一设备可以从云服务器中获取参考图像的二维特征点信息和三维特征点信息。

另外，上述步骤S42与步骤S44的执行顺序可以互换，也就是说，本公开的方案还可以先执行步骤S44，然后执行步骤S42。

S46.根据当前帧图像的图像参数和参考图像的图像参数，确定当前帧图像相对于第二设备的位姿。

在确定出当前帧图像的图像参数和参考图像的图像参数后，可以确定当前帧图像相对于第二设备的位姿，也就是说，可以确定当前帧图像在第二设备坐标系下的位姿。针对此过程，本公开提供了三个实现方式，下面将逐一进行说明。

根据本公开的一个实施例，可以通过特征匹配或描述子匹配的方式，确定当前帧图像的二维特征点信息与参考图像的二维特征点信息的关系，如果确定出当前帧图像的二维特征点信息与参考图像的二维特征点信息匹配，则可以采用迭代最近点(IterativeClosest Point，ICP)的方式确定当前帧图像的三维特征点信息与参考图像的三维特征点信息之间的相对位姿关系。

具体的，当前帧图像的三维特征点信息即是当前帧图像对应的点云信息，参考图像的三维特征点信息即是参考图像的点云信息。可以将此两个点云信息作为输入，通过输入指定的位姿作为初始值，利用迭代最近点的方式得到两个点云对齐后的最优相对位姿，即确定出当前帧图像的三维特征点信息与参考图像的三维特征点信息之间的相对位姿关系。由此，基于第二设备在获取参考图像时的姿态信息，可以确定出当前帧图像相对于第二设备的位姿。

应当理解的是，在进行点云匹配之前，先确定二维信息之间的关系，由于二维信息关系的确定，通常采用的是特征匹配或描述子匹配的方式，过程简单。由此，可以加速匹配的整个过程，提高精度的同时，也可以实现提前排错的效果。

另外，在上述二维特征点信息的匹配过程中，由于特征及描述子的问题，可能存在误匹配的问题。由此，本公开示例性实施方式还可以包括去除误匹配点的方案。

可以采用RANSAC(Random Sample Consensus，随机抽样一致性)方式剔除误匹配特征点信息。具体的，在当前帧图像的二维特征点与参考图像的二维特征点之间的匹配对中随机选取一定数量的匹配对(例如，7对、8对等)，通过选取的匹配对计算当前帧图像与参考图像之间的基本矩阵或本质矩阵，基于极线约束的方式，如果一个二维特征点离对应的极线距离较远，例如，大于一阈值，则可以认为该二维特征点为误匹配点。通过迭代一定次数的随机取样过程，选取内点个数最多的一次随机取样结果作为最终的匹配结果，在此基础上，可以从当前帧图像的三维特征点信息中剔除误匹配特征点信息。

由此，可以利用剔除误匹配特征点信息的三维特征点信息确定出当前帧图像相对于第二设备的位姿。

根据本公开的另一个实施例，首先，如果当前帧图像的二维特征点信息与参考图像的二维特征点信息匹配，则将当前帧图像的二维特征点信息与参考图像的三维特征点信息关联，以得到点对信息。接下来，可以将该点对信息作为输入，求解透视n点(Perspective-n-Point，PnP)问题，根据当前帧图像的三维特征点信息并结合求解结果确定当前帧图像相对于第二设备的位姿。

其中，PnP是机器视觉领域的经典方法，可以根据物体上的n个特征点来确定摄像头与物体间的相对位姿。具体可以根据物体上的n个特征点来确定摄像头与物体间的旋转矩阵和平移向量。另外，可以例如将n确定为大于等于4。

根据本公开的又一个实施例，可以将上一实施例结合PnP的求解结果而得到的三维特征点信息与参考图像的三维特征点信息的相对位姿关系作为迭代初始位姿输入，利用迭代最近点方式确定当前帧图像的三维特征点信息以及参考图像的三维特征点信息之间的相对位姿关系，以确定出当前帧图像相对于第二设备的位姿。容易看出，在本实施例是将PnP与ICP结合，提高位姿关系确定的准确性。

S48.根据当前帧图像相对于第二设备的位姿以及采集当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系，以便利用第一设备与第二设备的相对位姿关系进行增强现实的处理操作。

第一设备的惯性测量单元可以获取第一设备的惯性信息，由此，可以得到第一设备的6DOF(6Degrees Of Freedom，6自由度)姿态信息。基于第一设备的姿态信息以及步骤S46中确定出的当前帧图像相对于第二设备的位姿，可以得到第一设备与第二设备的相对位姿关系。

参考图5，对采用ICP方式确定第一设备与第二设备相对位姿关系的过程进行说明。

在步骤S502中，第一设备可以提取当前帧图像的二维特征点信息，针对弱纹理场景，可以采用DOG特征点检测算法和FREAK特征点描述子来进行特征提取。

在步骤S504中，第一设备可以获取TOF模组输入的深度信息；在步骤S506中，可以将二维特征点信息与深度信息进行配准，得到当前帧图像的点云数据。

在步骤S508中，第一设备可以判断步骤S502确定出的二维特征点信息是否与参考图像的二维特征匹配，如果匹配，则执行步骤S510确定参考图像的三维点云数据的步骤，如果不匹配，则返回步骤S502，可以执行下一帧图像的特征提取过程，或者重新执行当前帧图像的特征提取过程。

在步骤S512中，可以利用ICP确定当前帧图像的点云与参考图像的点云的相对位姿，进而确定出当前帧图像在第二设备坐标系下的位姿。

在步骤S514中，可以利用惯性测量单元确定出第一设备的姿态信息；在步骤S516中，可以基于当前帧图像在第二设备坐标系下的位姿以及第一设备的姿态信息，确定第一设备与第二设备的相对位姿。

在确定出第一设备与第二设备的相对位姿后，第一设备可以基于该相对位姿关系进行增强现实的处理操作。

例如，第一设备可以获取第二设备在场景中配置的锚点信息，该锚点信息可以包括但不限于虚拟对象的属性信息(颜色、大小、类型等)、标识、位置及姿态。由此，第一设备可以调整至对应位置，显示出虚拟对象。

另外，增强现实的处理操作还可以包括对真实对象的渲染操作等。例如，第二设备对一真实对象进行颜色渲染后，第一设备也可显示出颜色渲染后真实对象。

应当理解的是，虽然上述增强现实处理方法以一个终端设备为例进行说明，然而，在一场景下，可以将上述增强现实处理方法应用于多个终端设备。鉴于深度信息受环境影响较小，由此，克服了由于周围环境纹理、光照、角度等因素的影响而导致重定位效果不佳的问题，提高了多人AR重定位的鲁棒性，进而增强了多人AR的体验。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种增强现实处理装置。

图6示意性示出了本公开的示例性实施方式的增强现实处理装置的方框图。参考图6，根据本公开的示例性实施方式的增强现实处理装置6可以包括第一图像参数确定模块61、第二图像参数确定模块63、第一相对位姿确定模块65和第二相对位姿确定模块67。

具体的，第一图像参数确定模块61可以用于确定第一设备的当前帧图像的图像参数；第二图像参数确定模块63可以用于获取由第二设备确定出的参考图像的图像参数；第一相对位姿确定模块65可以用于根据当前帧图像的图像参数和参考图像的图像参数，确定当前帧图像相对于第二设备的位姿；第二相对位姿确定模块67可以用于根据当前帧图像相对于第二设备的位姿以及采集当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系，以便利用第一设备与第二设备的相对位姿关系进行增强现实的处理操作。

采用本公开示例性实施方式的增强现实处理装置，通过确定当前帧图像相对于第二设备的位姿，并结合采集当前帧图像时第一设备的姿态信息，确定第一设备与第二设备的相对位姿关系，重定位效果佳，并且本方案普适性强，易于实施。

根据本公开的示例性实施例，当前帧图像的图像参数包含当前帧图像的二维特征点信息和三维特征点信息，在这种情况下，第一图像参数确定模块61可以被配置为执行：获取所述当前帧图像，对所述当前帧图像进行特征提取，确定所述当前帧图像的二维特征点信息；获取所述二维特征点信息对应的深度信息，根据所述二维特征点信息以及所述二维特征点信息对应的深度信息确定所述当前帧图像的三维特征点信息。

根据本公开的示例性实施例，第一图像参数确定模块61确定当前帧图像的三维特征点信息的过程可以被配置为执行：获取由深度感测模组采集的与当前帧图像对应的深度信息；将当前帧图像与当前帧图像对应的深度信息进行配准，确定当前帧图像上各像素点的深度信息；从当前帧图像上各像素点的深度信息中确定出与二维特征点信息对应的深度信息；利用二维特征点信息以及与二维特征点信息对应的深度信息，确定当前帧图像的三维特征点信息。

根据本公开的示例性实施例，参考图像的图像参数包含参考图像的二维特征点信息和三维特征点信息，在这种情况下，参考图7，第一相对位姿确定模块65可以包括第一相对位姿确定单元701。

具体的，第一相对位姿确定单元701可以被配置为执行：如果当前帧图像的二维特征点信息与参考图像的二维特征点信息匹配，则利用迭代最近点方式确定当前帧图像的三维特征点信息与参考图像的三维特征点信息之间的相对位姿关系，以得到当前帧图像相对于第二设备的位姿。

根据本公开的示例性实施例，第一相对位姿确定单元701可以被配置为执行：在确定当前帧图像的三维特征点信息与参考图像的三维特征点信息之间的相对位姿关系之前，确定当前帧图像的二维特征点信息与参考图像的二维特征点信息中的误匹配特征点信息；从当前帧图像的三维特征点信息中剔除误匹配特征点信息，以便确定当前帧图像的剔除误匹配特征点信息后的三维特征点信息与参考图像的剔除误匹配特征点信息后的三维特征点信息之间的相对位姿关系。

根据本公开的示例性实施例，参考图像的图像参数包含参考图像的二维特征点信息和三维特征点信息，在这种情况下，参考图8，第一相对位姿确定模块65可以包括第二相对位姿确定单元801。

具体的，第二相对位姿确定单元801可以被配置为执行：如果当前帧图像的二维特征点信息与参考图像的二维特征点信息匹配，则将当前帧图像的二维特征点信息与参考图像的三维特征点信息关联，得到点对信息；利用点对信息求解透视n点问题，根据所述当前帧图像的三维特征点信息并结合求解结果确定当前帧图像相对于第二设备的位姿。

根据本公开的示例性实施例，第二相对位姿确定单元801执行结合求解结果确定当前帧图像相对于第二设备的位姿的过程可以包括：根据求解结果确定当前帧图像的三维特征点信息与参考图像的三维特征点信息的相对位姿关系；将根据求解结果确定出的当前帧图像的三维特征点信息与参考图像的三维特征点信息的相对位姿关系作为初始位姿输入，采用迭代最近点方式确定当前帧图像的三维特征点信息以及参考图像的三维特征点信息之间的相对位姿关系，以确定出当前帧图像相对于第二设备的位姿。

根据本公开的示例性实施例，参考图9，相比于增强现实处理装置6，增强现实处理装置9还可以包括虚拟对象显示模块91。

具体的，虚拟对象显示模块91可以被配置为执行：获取由第二设备配置的锚点信息，以便基于第一设备与第二设备的相对位姿关系，在第一设备上显示出与锚点信息对应的虚拟对象。

由于本发明实施方式的增强现实处理装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种增强现实处理方法，应用于第一设备，其特征在于，包括：

确定所述第一设备的当前帧图像的图像参数；

获取由第二设备确定出的参考图像的图像参数；

根据所述当前帧图像的图像参数和所述参考图像的图像参数，确定所述当前帧图像相对于所述第二设备的位姿；

根据所述当前帧图像相对于所述第二设备的位姿以及采集所述当前帧图像时所述第一设备的姿态信息，确定所述第一设备与所述第二设备的相对位姿关系，以便利用所述第一设备与所述第二设备的相对位姿关系进行增强现实的处理操作。

2.根据权利要求1所述的增强现实处理方法，其特征在于，所述当前帧图像的图像参数包含所述当前帧图像的二维特征点信息和三维特征点信息；其中，确定所述第一设备的当前帧图像的图像参数包括：

获取所述当前帧图像，对所述当前帧图像进行特征提取，确定所述当前帧图像的二维特征点信息；

获取所述二维特征点信息对应的深度信息，根据所述二维特征点信息以及所述二维特征点信息对应的深度信息确定所述当前帧图像的三维特征点信息。

3.根据权利要求2所述的增强现实处理方法，其特征在于，获取所述二维特征点信息对应的深度信息，根据所述二维特征点信息以及所述二维特征点信息对应的深度信息确定所述当前帧图像的三维特征点信息，包括：

获取由深度感测模组采集的与所述当前帧图像对应的深度信息；

将所述当前帧图像与所述当前帧图像对应的深度信息进行配准，确定所述当前帧图像上各像素点的深度信息；

从所述当前帧图像上各像素点的深度信息中确定出与所述二维特征点信息对应的深度信息；

利用所述二维特征点信息以及与所述二维特征点信息对应的深度信息，确定所述当前帧图像的三维特征点信息。

4.根据权利要求3所述的增强现实处理方法，其特征在于，所述参考图像的图像参数包含所述参考图像的二维特征点信息和三维特征点信息；其中，根据所述当前帧图像的图像参数和所述参考图像的图像参数，确定所述当前帧图像相对于所述第二设备的位姿，包括：

如果所述当前帧图像的二维特征点信息与所述参考图像的二维特征点信息匹配，则利用迭代最近点方式确定所述当前帧图像的三维特征点信息与所述参考图像的三维特征点信息之间的相对位姿关系，以得到所述当前帧图像相对于所述第二设备的位姿。

5.根据权利要求4所述的增强现实处理方法，其特征在于，在确定所述当前帧图像的三维特征点信息与所述参考图像的三维特征点信息之间的相对位姿关系之前，所述增强现实处理方法还包括：

确定所述当前帧图像的二维特征点信息与所述参考图像的二维特征点信息中的误匹配特征点信息；

从所述当前帧图像的三维特征点信息中剔除所述误匹配特征点信息，以便确定所述当前帧图像的剔除所述误匹配特征点信息后的三维特征点信息与所述参考图像的剔除所述误匹配特征点信息后的三维特征点信息之间的相对位姿关系。

6.根据权利要求3所述的增强现实处理方法，其特征在于，所述参考图像的图像参数包含所述参考图像的二维特征点信息和三维特征点信息；其中，根据所述当前帧图像的图像参数和所述参考图像的图像参数，确定所述当前帧图像相对于所述第二设备的位姿，包括：

如果所述当前帧图像的二维特征点信息与所述参考图像的二维特征点信息匹配，则将所述当前帧图像的二维特征点信息与所述参考图像的三维特征点信息关联，得到点对信息；

利用所述点对信息求解透视n点问题，根据所述当前帧图像的三维特征点信息并结合求解结果确定所述当前帧图像相对于所述第二设备的位姿。

7.根据权利要求6所述的增强现实处理方法，其特征在于，结合求解结果确定所述当前帧图像相对于所述第二设备的位姿包括：

根据求解结果确定所述当前帧图像的三维特征点信息与所述参考图像的三维特征点信息的相对位姿关系；

将根据所述求解结果确定出的所述当前帧图像的三维特征点信息与所述参考图像的三维特征点信息的相对位姿关系作为初始位姿输入，采用迭代最近点方式确定所述当前帧图像的三维特征点信息以及所述参考图像的三维特征点信息之间的相对位姿关系，以确定出所述当前帧图像相对于所述第二设备的位姿。

8.根据权利要求1至7中任一项所述的增强现实处理方法，其特征在于，利用所述第一设备与所述第二设备的相对位姿关系进行增强现实的处理操作包括：

获取由所述第二设备配置的锚点信息，以便基于所述第一设备与所述第二设备的相对位姿关系，在所述第一设备上显示出与所述锚点信息对应的虚拟对象。

9.一种增强现实处理装置，应用于第一设备，其特征在于，包括：

第一图像参数确定模块，用于确定所述第一设备的当前帧图像的图像参数；

第二图像参数确定模块，用于获取由第二设备确定出的参考图像的图像参数；

第一相对位姿确定模块，用于根据所述当前帧图像的图像参数和所述参考图像的图像参数，确定所述当前帧图像相对于所述第二设备的位姿；

第二相对位姿确定模块，用于根据所述当前帧图像相对于所述第二设备的位姿以及采集所述当前帧图像时所述第一设备的姿态信息，确定所述第一设备与所述第二设备的相对位姿关系，以便利用所述第一设备与所述第二设备的相对位姿关系进行增强现实的处理操作。

10.一种增强现实处理系统，应用于第一设备，其特征在于，包括：

摄像头模组，用于采集当前帧图像；

深度感测模组，用于采集与所述当前帧图像对应的深度信息；

惯性测量单元，用于测量所述第一设备的惯性信息；

即时定位与地图构建单元，用于获取所述当前帧图像和所述惯性信息，并基于所述惯性信息生成所述第一设备的姿态信息；

增强现实处理装置，用于确定所述当前帧图像的图像参数；获取由第二设备确定出的参考图像的图像参数；根据所述当前帧图像的图像参数和所述参考图像的图像参数，确定所述当前帧图像相对于所述第二设备的位姿，并结合采集所述当前帧图像时所述第一设备的姿态信息，确定所述第一设备与所述第二设备的相对位姿关系。

11.根据权利要求10所述的增强现实处理系统，其特征在于，所述增强现实处理装置包括：

锚点获取模块，用于获取由所述第二设备配置的锚点信息，以便基于所述第一设备与所述第二设备的相对位姿关系，在所述第一设备上显示出与所述锚点信息对应的虚拟对象。

12.根据权利要求10或11所述的增强现实处理系统，所述增强现实处理系统还包括：

锚点添加单元，用于在所述第一设备所处场景中，添加锚点信息。

13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的增强现实处理方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任一项所述的增强现实处理方法。

Images