CN110335317B - 基于终端设备定位的图像处理方法、装置、设备和介质 - Google Patents

Abstract

本申请提供一种基于终端设备定位的图像处理方法、装置、设备和介质，其中，该方法，包括：将获取到的第一个图像帧发送给云端服务器，以使云端服务器对第一个图像帧进行视觉定位处理；对相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；在接收云端服务器发送的第一个图像帧中的特征点的三维坐标信息时，根据各坐标变换信息和第一个图像帧，确定第N个图像帧的二维坐标信息，二维坐标信息为第一个图像帧中的特征点在N个图像帧上的二维坐标；根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，确定第N个图像帧在世界坐标系下的位姿信息。准确的得到第N帧图像帧的位姿信息。

Description

基于终端设备定位的图像处理方法、装置、设备和介质

技术领域

本申请实施例涉及终端技术领域，尤其涉及一种基于终端设备定位的图像处理方法、装置、设备和介质。

背景技术

随着图像技术的发展，图像技术应用到各个领域中。可以将图像领域应用于终端设备的定位中；终端设备获取图像，对图像进行分析，得到图像分析结果，进而，终端设备依据图像分析结果，完成终端设备的定位。

现有技术中，在终端设备对图像进行分析的时候，终端设备将实时获取到的初始的第一帧图像帧发给云端服务器；云端服务器对第一帧图像帧进行图像分析，得到并返回视觉定位结果，其中，视觉定位结果中包括第一帧图像帧的位姿信息；终端设备对第一帧图像帧和实时获取的当前图像帧进行分析，进而将第一帧图像帧的特征点投影到实时获取的当前图像帧上；然后，终端设备再去根据第一帧图像帧的视觉定位结果，对被投影之后的当前图像帧进行分析，得到当前图像帧在世界坐标系下的位姿信息。

然而现有技术中，终端设备在接收到的第一帧图像帧的视觉定位结果时，由于云端服务器的图像分析时间较长、网络延迟等原因，终端设备此时已经获取到第N帧图像帧了，第一帧图像帧与第N帧图像帧之间的图像内容已经存在了较大差异了；终端设备直接依据第一帧图像帧的视觉定位结果，对当前的第N帧图像帧进行分析，得到的当前的第N帧图像帧的位姿信息并不准确，进而，无法实时的对图像帧的位姿进行分析，实时的得到的图像帧的位姿并不准确。

发明内容

本申请实施例提供一种基于终端设备定位的图像处理方法、装置、设备和介质，用于解决现有技术中的问题。

本申请第一方面提供一种基于终端设备定位的图像处理方法，所述方法，包括：

将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对所述第一个图像帧进行视觉定位处理；

对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；

在接收所述云端服务器发送的第一个图像帧的视觉定位信息时，其中，所述视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，所述二维坐标信息为所述第一个图像帧中的特征点在所述N个图像帧上的二维坐标，N为大于1的正整数；

根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，所述位姿信息为所述第N个图像帧在世界坐标系下的位姿信息。

进一步地，所述坐标变换信息为单应性变换信息，其中，所述单应性变换信息用于表征相邻的图像帧之间坐标变换关系。

进一步地，对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息，包括：

计算第i个图像帧与第i+1个图像帧之间的单应性变换矩阵，得到第i个图像帧与第i+1个图像帧之间的单应性变换信息，其中，i∈[1，N-1]，i为正整数。

进一步地，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，包括：

对各所述相邻的图像帧之间的坐标变换信息进行级联处理，得到级联后的坐标变换信息；

根据所述级联后的坐标变换信息和所述第一个图像帧，确定所述第N个图像帧的二维坐标信息。

进一步地，所述级联后的坐标变换信息为

其中，h_i是第i个图像帧与第i+1个图像帧之间的坐标变换信息，i∈[1，N-1]，i为正整数。

进一步地，所述第N个图像帧的二维坐标信息为H*M，其中，M为所述第一个图像帧中的特征点在第一个图像帧上的二维坐标。

进一步地，所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，包括：

采用RANSAC算法和PNP算法，对所述第N个图像帧的二维坐标信息和所述特征点的三维坐标信息进行计算，得到所述第N个图像帧的位姿信息。

进一步地，所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，包括：

对所述第N个图像帧的二维坐标信息进行优化处理，以在所述第N个图像帧上确定出与所述第一个图像帧中的特征点最优匹配的匹配点，其中，所述匹配点具有匹配点坐标信息，所述匹配点坐标信息为匹配点在第N个图像帧上的二维坐标；

根据所述特征点的三维坐标信息，确定所述匹配点的三维坐标信息；

根据所述匹配点的匹配点坐标信息和所述匹配点的三维坐标信息，确定第N个图像帧的位姿信息。

进一步地，在所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，还包括：

采用Patch alignment技术，对所述第N个图像帧的位姿信息进行优化处理，得到优化后的位姿信息。

进一步地，视觉定位信息中还包括：所述第一个图像帧的位姿信息；在所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，还包括：

根据所述第一个图像帧的位姿信息和所述N个图像帧的位姿信息，确定第N+1个图像帧的位姿信息，以在获取到第N+2个图像帧时，根据所述第一个图像帧的位姿信息、所述N个图像帧的位姿信息和所述第N+1个图像帧的位姿信息，确定第N+2个图像帧的位姿信息。

本申请第二方面提供一种基于终端设备定位的图像处理装置，所述装置，包括：

发送单元，用于将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对所述第一个图像帧进行视觉定位处理；

变换单元，用于对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；

第一确定单元，用于在接收所述云端服务器发送的第一个图像帧的视觉定位信息时，其中，所述视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，所述二维坐标信息为所述第一个图像帧中的特征点在所述N个图像帧上的二维坐标，N为大于1的正整数；

第二确定单元，用于根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，所述位姿信息为所述第N个图像帧在世界坐标系下的位姿信息。

进一步地，所述坐标变换信息为单应性变换信息，其中，所述单应性变换信息用于表征相邻的图像帧之间坐标变换关系。

进一步地，所述变换单元，具体用于：

计算第i个图像帧与第i+1个图像帧之间的单应性变换矩阵，得到第i个图像帧与第i+1个图像帧之间的单应性变换信息，其中，i∈[1，N-1]，i为正整数。

进一步地，所述第一确定单元，包括：

级联模块，用于对各所述相邻的图像帧之间的坐标变换信息进行级联处理，得到级联后的坐标变换信息；

确定模块，用于根据所述级联后的坐标变换信息和所述第一个图像帧，确定所述第N个图像帧的二维坐标信息。

进一步地，所述级联后的坐标变换信息为

其中，h_i是第i个图像帧与第i+1个图像帧之间的坐标变换信息，i∈[1，N-1]，i为正整数。

进一步地，所述第N个图像帧的二维坐标信息为H*M，其中，M为所述第一个图像帧中的特征点在第一个图像帧上的二维坐标。

进一步地，所述第二确定单元，具体用于：

采用RANSAC算法和PNP算法，对所述第N个图像帧的二维坐标信息和所述特征点的三维坐标信息进行计算，得到所述第N个图像帧的位姿信息。

进一步地，所述第二确定单元，具体用于：

对所述第N个图像帧的二维坐标信息进行优化处理，以在所述第N个图像帧上确定出与所述第一个图像帧中的特征点最优匹配的匹配点，其中，所述匹配点具有匹配点坐标信息，所述匹配点坐标信息为匹配点在第N个图像帧上的二维坐标；

根据所述特征点的三维坐标信息，确定所述匹配点的三维坐标信息；

根据所述匹配点的匹配点坐标信息和所述匹配点的三维坐标信息，确定第N个图像帧的位姿信息。

进一步地，所述装置，还包括：

处理单元，用于在所述第二确定单元根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，采用Patch alignment技术，对所述第N个图像帧的位姿信息进行优化处理，得到优化后的位姿信息。

进一步地，视觉定位信息中还包括：所述第一个图像帧的位姿信息；所述装置，还包括：

第三确定单元，用于在所述第二确定单元根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，所述第一个图像帧的位姿信息和所述N个图像帧的位姿信息，确定第N+1个图像帧的位姿信息，以在获取到第N+2个图像帧时，根据所述第一个图像帧的位姿信息、所述N个图像帧的位姿信息和所述第N+1个图像帧的位姿信息，确定第N+2个图像帧的位姿信息。

本申请第三方面提供一种电子设备，包括：发送器、接收器、存储器和处理器；

所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现第一方面任一实现方式提供的基于终端设备定位的图像处理方法。

本申请第四方面提供一种存储介质，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现第一方面任一实现方式提供的基于终端设备定位的图像处理方法。

本申请实施例提供的基于终端设备定位的图像处理方法、装置、设备和介质，通过在云端服务器对第一个图像帧进行视觉定位处理的过程中，终端设备对后续获取到的各个图像帧进行坐标变换处理，以获取到相邻图像帧之间的坐标变换信息；此时，终端设备接收到了云端服务器返回的第一个图像帧中的特征点的三维坐标信息，终端设备就可以依据各个坐标变换信息，将第一个图像帧映射到第N个图像帧上，得到第一个图像帧中的特征点在N个图像帧上的二维坐标；然后，终端设备就可以根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，计算出第N个图像帧在世界坐标系下的位姿信息。从而，终端设备完成了视觉即时定位与地图构建(Simultaneous Localization And Mapping，简称SLAM)技术的初始化过程。终端设备对第一个图像帧与第N个图像帧之间的中间的图像帧进行分析，以得到第一个图像帧与第N个图像帧之间的配准关系，该配准关系是较为准确的，该配准关系就是第一个图像帧中的特征点在N个图像帧上的二维坐标；从而，可以准确的得到第N帧图像帧的位姿信息。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种基于终端设备定位的图像处理方法的流程图；

图2为本申请实施例提供的另一种基于终端设备定位的图像处理方法的流程图；

图3为本申请实施例提供的一种基于终端设备定位的图像处理装置的结构示意图；

图4为本申请实施例提供的另一种基于终端设备定位的图像处理装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

随着图像技术的发展，图像技术应用到各个领域中。可以将图像领域应用于终端设备的定位中；例如，在增强现实技术领域、无人驾驶技术领域、导航技术领域，可以利用终端设备所采集的图像，对终端设备进行定位处理。终端设备获取图像，对图像进行分析，得到图像分析结果，进而，终端设备依据图像分析结果，完成终端设备的定位。

现有技术中，在终端设备对图像进行分析的时候，终端设备将实时获取到的初始的第一帧图像帧发给云端服务器；云端服务器对第一帧图像帧进行图像分析，得到并返回视觉定位结果，其中，视觉定位结果中包括第一帧图像帧的位姿信息；终端设备对第一帧图像帧和实时获取的当前图像帧进行分析，进而将第一帧图像帧的特征点投影到实时获取的当前图像帧上；然后，终端设备再去根据第一帧图像帧的视觉定位结果，对被投影之后的当前图像帧进行分析，得到当前图像帧在世界坐标系下的位姿信息。

然而现有技术中，终端设备在接收到的第一帧图像帧的视觉定位结果时，由于云端服务器的图像分析时间较长、网络延迟等原因，终端设备此时已经获取到第N帧图像帧了，第一帧图像帧与第N帧图像帧之间的图像内容已经存在了较大差异了；终端设备直接依据第一帧图像帧的视觉定位结果，对当前的第N帧图像帧进行分析，得到的当前的第N帧图像帧的位姿信息并不准确，进而，无法实时的对图像帧的位姿进行分析，实时的得到的图像帧的位姿并不准确。

本申请提供一种基于终端设备定位的图像处理方法、装置、设备和介质，终端设备对第一个图像帧与第N个图像帧之间的中间的图像帧进行分析，以得到第一个图像帧与第N个图像帧之间的配准关系，该配准关系是较为准确的，该配准关系就是第一个图像帧中的特征点在N个图像帧上的二维坐标；从而，可以准确的得到第N帧图像帧的位姿信息。

图1为本申请实施例提供的一种基于终端设备定位的图像处理方法的流程图，如图1所示，该方法，包括：

S101、将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对第一个图像帧进行视觉定位处理。

在本步骤中，本实施例以执行主体可以是电子设备、或者终端设备、或者其他可以执行本实施例的小程序的处理装置或设备。本实施例以执行主体为终端设备进行说明。本实施例提供的方法，可以应用到终端设备上。

终端设备上安装有摄像设备，例如，摄像设备为摄像头；终端设备可以实时的采集周围环境的图像，在终端设备初始采集图像的时候，终端设备采集到第一个图像帧，即采集到一帧图像，终端设备会实时的将采集到的第一个图像帧，发送给云端服务器进行处理。

云端服务器采用视觉定位技术，对第一个图像帧进行视觉定位处理；其中，通过视觉定位技术，能够获得世界坐标系下的较为准确的位姿信息。云端服务器执行视觉定位技术的过程，是由于视觉定位技术的计算量较大，终端设备执行视觉定位技术的过程，会影响到终端设备的运行，从而由云端服务器执行视觉定位技术的过程。

具体的，云端服务器采集场景图像；然后，云端服务器根据场景图像生成预置地图，其中，预置地图中包括三维空间点的三维坐标信息、三维空间点在图像上视觉内容的描述；云端服务器采用图像特征提取算法，对第一个图像帧进行处理，可以检测到第一个图像帧的特征点；然后，云端服务器将特征点与预置地图之间进行匹配，进而得到图像帧中的特征点与预置地图中的三维空间点之间的对应关系；然后，针对于具有对应关系的特征点和三维空间点，云端服务器查询特征点的二维点坐标与地图中的三维空间点的坐标之间的关系，然后云端服务器根据该关系，就可以得到第一个图像帧的位姿信息，第一个图像帧的位姿信息，指的是第一个图像帧在世界坐标系下的位姿信息。并且，在上述过程中，云端服务器可以得到第一个图像帧的特征点，并且通过预置地图确定出特征点的三维坐标信息。

通过以上过程，云端服务器可以得到第一个图像帧的位姿信息、与特征点对应的三维空间点、特征点的二维点坐标。其中，第一个图像帧的位姿信息、与特征点对应的三维空间点、特征点的二维点坐标构成了第一个图像帧的视觉定位信息，与特征点对应的三维空间点具有三维坐标信息。特征点的二维点坐标，是与特征点对应为三维空间点投影到第一个图像帧中上得到的二维坐标。

其中，图像帧的位姿信息为摄像机在世界坐标系下的6DoF(Degrees of Freedom)位姿，图像帧的位姿信息包含了摄像机的平移参数和旋转参数。平移参数包含三个自由度，一般情况下，平移参数可以采用3x1维度的列向量进行表示，或者，平移参数可以采用4x1维度的齐次列向量进行表示。旋转参数包含三个自由度，一般情况下，旋转参数可以采用3x3维度的旋转矩阵进行表示，或者，旋转参数可以采用3x1维度的列向量(是一种轴角表示法)进行表示，或者，旋转参数可以采用4x1维度的列向量进行表示(是一种四元数表示法)。此外，还可以使用李代数，表示平移参数、旋转参数。

S102、对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息。

在本步骤中，由于云端服务器进行视觉定位处理的时间较长，终端设备在这个过程中，依然会实时的获取图像帧。

在云端服务器进行视觉定位处理的过程中，终端设备采用单应性变换方式，对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息。

举例来说，终端设备将获取到的第一个图像帧，发送给云端服务器之后，终端设备会获取到第二个图像帧，终端设备实时的将第一个图像帧与第二个图像帧之间进行坐标变换处理，得到第一个图像帧与第二个图像帧之间的坐标变换信息；终端设备会获取到第三个图像帧，终端设备实时的将第二个图像帧与第三个图像帧之间进行坐标变换处理，得到第二个图像帧与第三个图像帧之间的坐标变换信息；以此类推。以上过程是实时处理的，因为终端设备是实时的、依次捕获到图像帧的。

S103、在接收云端服务器发送的第一个图像帧的视觉定位信息时，其中，视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各相邻的图像帧之间的坐标变换信息、以及第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，二维坐标信息为第一个图像帧中的特征点在N个图像帧上的二维坐标，N为大于1的正整数。

在本步骤中，在终端设备接收到了云端服务器所发送的第一个图像帧的视觉定位信息的时候，可以开始本步骤。

根据步骤S101的介绍可知，云端服务器可以得到第一个图像帧的位姿信息、与特征点对应的三维空间点、特征点的二维点坐标，与特征点对应的三维空间点具有三维坐标信息，从而，第一个图像帧中的特征点具有三维坐标信息。其中，特征点的三维坐标信息在各个图像帧中是不会改变的，因为三维坐标信息是物理空间中的三维坐标。

在步骤S103中，终端设备在获取到第N个关键帧的时候，终端设备将计算出的各个坐标变换信息，全部乘以第一个图像帧的像素点的像素信息，进而得到第一个图像帧中的特征点在N个图像帧上的二维坐标，即，得到第N个图像帧的二维坐标信息。

S104、根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，位姿信息为第N个图像帧在世界坐标系下的位姿信息。

可选的，步骤S104具体包括：

采用RANSAC(Random Sample Consensus)算法和PNP(Perspective-n-Point)算法，对第N个图像帧的二维坐标信息和特征点的三维坐标信息进行计算，得到第N个图像帧的位姿信息。

在本步骤中，在步骤S103之后，终端设备就可以直接采用RANSAC算法和PNP算法，对第N个图像帧的二维坐标信息和特征点的三维坐标信息进行计算，计算出第N个图像帧的位姿信息。

其中，RANSAC算法，是计算机视觉中的常用算法；RANSAC算法和PNP算法都是现有技术的算法。通过RANSAC算法和PNP算法的联合使用，通过多对三维坐标信息和二维坐标信息，利用最小化重投影误差，进而求解出第N个图像帧在世界坐标系下的位姿信息。

本实施例，通过将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对第一个图像帧进行视觉定位处理；对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；在接收云端服务器发送的第一个图像帧的视觉定位信息时，视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各相邻的图像帧之间的坐标变换信息、以及第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，二维坐标信息为第一个图像帧中的特征点在N个图像帧上的二维坐标；根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，确定第N个图像帧的位姿信息，位姿信息为第N个图像帧在世界坐标系下的位姿信息。在云端服务器对第一个图像帧进行视觉定位处理的过程中，终端设备对后续获取到的各个图像帧进行坐标变换处理，以获取到相邻图像帧之间的坐标变换信息；此时，终端设备接收到了云端服务器返回的第一个图像帧中的特征点的三维坐标信息，终端设备就可以依据各个坐标变换信息，将第一个图像帧映射到第N个图像帧上，得到第一个图像帧中的特征点在N个图像帧上的二维坐标；然后，终端设备就可以根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，计算出第N个图像帧在世界坐标系下的位姿信息。从而，终端设备完成了视觉即时定位与地图构建(Simultaneous Localization And Mapping，简称SLAM)技术的初始化过程。终端设备对第一个图像帧与第N个图像帧之间的中间的图像帧进行分析，以得到第一个图像帧与第N个图像帧之间的配准关系，该配准关系是较为准确的，该配准关系就是第一个图像帧中的特征点在N个图像帧上的二维坐标；从而，可以准确的得到第N帧图像帧的位姿信息。

图2为本申请实施例提供的另一种基于终端设备定位的图像处理方法的流程图，如图2所示，该方法，包括：

S201、将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对第一个图像帧进行视觉定位处理。

在本步骤中，本实施例以执行主体可以是电子设备、或者终端设备、或者其他可以执行本实施例的小程序的处理装置或设备。本实施例以执行主体为终端设备进行说明。本实施例提供的方法，可以应用到终端设备上。

本步骤可以参见图1所示的步骤S101，不再赘述。

S202、对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息。

可选的，坐标变换信息为单应性变换信息，其中，单应性变换信息用于表征相邻的图像帧之间坐标变换关系。

可选的，步骤S202具体包括：计算第i个图像帧与第i+1个图像帧之间的单应性变换矩阵，得到第i个图像帧与第i+1个图像帧之间的单应性变换信息，其中，i∈[1，N-1]，i为正整数。

在本步骤中，在云端服务器进行视觉定位处理的过程中，终端设备采用单应性变换方式，计算第i个图像帧与第i+1个图像帧之间的单应性变换矩阵，进而得到第i个图像帧与第i+1个图像帧之间的单应性变换信息。具体来说，终端设备将相邻的图像帧，输入到单应性变换模型中，得到这两个响相邻的图像帧之间的单行变换矩阵。

其中，单应性变换信息用于表征相邻的图像帧之间坐标变换关系，或者说，单应性变换信息用于表征相邻的图像帧中的特征点的坐标变换关系。上述单应性变换信息，为坐标变换信息。

举例来说，终端设备将获取到的第1个图像帧，发送给云端服务器之后，终端设备会获取到第2个图像帧，终端设备实时的计算第1个图像帧与第2个图像帧之间的单应性变换矩阵，得到第1个图像帧与第2个图像帧之间的坐标变换信息h₁；然后，终端设备会获取到第3个图像帧，终端设备实时的计算第2个图像帧与第3个图像帧之间的单应性变换矩阵，得到第2个图像帧与第3个图像帧之间的坐标变换信息h₂；以此类推，终端设备会获取到第N个图像帧，终端设备实时的计算第N-1个图像帧与第N个图像帧之间的单应性变换矩阵，得到第N-1个图像帧与第N个图像帧之间的坐标变换信息h_N-1。

S203、在接收云端服务器发送的第一个图像帧的视觉定位信息时，其中，视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，对各相邻的图像帧之间的坐标变换信息进行级联处理，得到级联后的坐标变换信息。

可选的，级联后的坐标变换信息为

其中，h_i是第i个图像帧与第i+1个图像帧之间的坐标变换信息，i∈[1，N-1]，i为正整数。

在本步骤中，在终端设备接收云端服务器发送的第一个图像帧的视觉定位信息时，终端设备确定可以进行N个图像帧的位姿信息的计算过程。首先，终端设备对所计算到的各个坐标变换信息进行级联处理，得到级联后的坐标变换信息

举例来说，在步骤S202的举例基础上，终端设备将h_N-1*…*h_i*…*h₂*h₁，进而得到级联后的坐标变换信息H。

S204、根据级联后的坐标变换信息和第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，二维坐标信息为第一个图像帧中的特征点在N个图像帧上的二维坐标，N为大于1的正整数。

可选的，第N个图像帧的二维坐标信息为H*M，其中，M为第一个图像帧中的特征点在第一个图像帧上的二维坐标。

在本步骤中，由于，图像帧之间的坐标变换关系，两两计算后就能够完成相邻的图像帧之间的二维变换，即，相邻的图像帧之间的坐标变换信息，可以用于相邻的图像帧之间的二维变换；从而，将各个相邻的图像帧之间的坐标变换信息，进行级联，就可以将第一个图像帧中的特征点，投影到第N个图像帧上。即，终端设备根据级联后的坐标变换信息H、以及第一个图像帧中的特征点在第一个图像帧上的二维坐标M，计算出第N个图像帧的二维坐标信息。优选的，终端设备将级联后的坐标变换信息H，乘以第一个图像帧中的特征点在第一个图像帧上的二维坐标M，得到第一个图像帧中的特征点在N个图像帧上的二维坐标。

S205、根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，位姿信息为第N个图像帧在世界坐标系下的位姿信息。

可选的，步骤S205具体包括以下步骤：

第一步骤、对第N个图像帧的二维坐标信息进行优化处理，以在第N个图像帧上确定出与第一个图像帧中的特征点最优匹配的匹配点，其中，匹配点具有匹配点坐标信息，匹配点坐标信息为匹配点在第N个图像帧上的二维坐标。

第二步骤、根据特征点的三维坐标信息，确定匹配点的三维坐标信息。

第三步骤、根据匹配点的匹配点坐标信息和匹配点的三维坐标信息，确定第N个图像帧的位姿信息。

在本步骤中，本步骤可以参见图1所示的步骤S104，不再赘述。

并且，在本步骤中，终端设备可以采用现有的视觉相似性比较算法，比较第1帧与第N帧之间的关键点的视觉相似性，进而对第N个图像帧的二维坐标信息进行优化处理，进而得到第N个图像帧上的与第一个图像帧中的特征点最优匹配的匹配点，此时，可以得到匹配点的匹配点坐标信息，匹配点坐标信息为匹配点在第N个图像帧上的二维坐标。从而，将第一个图像帧的特征点，在第N个图像帧上的位置进行校准。

然后，由于特征点具有三维坐标信息，特征点的三维坐标信息是不会改变的，并且，特征点与第N个图像帧上的匹配的是相对应的、相匹配的，进而也可以知道匹配点的三维坐标信息。

然后，终端设备就可以采用RANSAC算法和PNP算法，对匹配点的匹配点坐标信息和匹配点的三维坐标信息进行计算，得到第N个图像帧的位姿信息。

通过以上方式，可以将第一个图像帧的特征点，在第N个图像帧上的位置进行校准；进而，可以更为准确的得到第N个图像帧的位姿信息。

S206、采用Patch alignment技术，对第N个图像帧的位姿信息进行优化处理，得到优化后的位姿信息。

在本步骤中，由于步骤S205中所获得的位姿信息可能存在累积误差，按照步骤S205获得的位姿信息，将第一个帧图像帧中的二维坐标投影到第N帧图像帧后，对应的投影二维坐标位置上可能存在较大的视觉内容差异。

因此使用现有的Patch alignment算法，以步骤S205获得的位姿信息为初始值，对第N个图像帧的位姿信息进行优化，使得第一个图像帧中特征点、特征点在第N帧图像帧上的位置点，两者之间的整体光度误差最小，从而获得更加准确的第N个图像帧的位姿信息，该第N个图像帧的位姿信息可以使得第一个图像帧中特征点、特征点在第N帧图像帧上的位置点，两者之间的视觉内容更为相似。从而，得到优化后的位姿信息。

S207、根据第一个图像帧的位姿信息和N个图像帧的位姿信息，确定第N+1个图像帧的位姿信息，以在获取到第N+2个图像帧时，根据第一个图像帧的位姿信息、N个图像帧的位姿信息和第N+1个图像帧的位姿信息，确定第N+2个图像帧的位姿信息。

在本步骤中，在步骤S205或步骤S206之后，终端设备得到第N个图像帧在世界坐标系下的位姿信息，此时，终端设备已经完成了视觉SLAM技术的初始化过程。

然后，终端设备可以根据第N个图像帧在世界坐标系下的位姿信息，依据视觉SLAM技术中的后续算法过程，得到后续每一个图像帧在世界坐标系下的位姿信息。其中，终端设备在获得后续的每一个图像帧在世界坐标系下的位姿信息的时候，是依据已经得到的部分图像帧的位姿信息，或者，依据已经得到的全部图像帧的位姿信息，对当前实时获取到的图像帧进行分析，得到当前实时获取到的图像帧在世界坐标系下的位姿信息。并且，由于终端设备所接受到视觉定位信息中还包括第一个图像帧的位姿信息，即，第一个图像帧在世界坐标系下的位姿信息，在上述计算过程中，还需要考虑到第一个图像帧的位姿信息。

举例来说，终端设备获取到第N+3个图像帧，终端设备会综合、第一个图像帧的位姿信息、第N个图像帧在世界坐标系下的位姿信息、第N+1个图像帧在世界坐标系下的位姿信息、第N+2个图像帧在世界坐标系下的位姿信息，对第N+3个图像帧进行SLAM技术中的后续算法的分析，进而得到第N+3个图像帧在世界坐标系下的位姿信息。即，终端设备据已经得到的全部图像帧的位姿信息，对当前实时获取到的第N+3个图像帧进行分析，得到第N+3个图像帧在世界坐标系下的位姿信息。

举例来说，终端设备获取到第N+3个图像帧，终端设备会综合、第一个图像帧的位姿信息、第N+1个图像帧在世界坐标系下的位姿信息、第N+2个图像帧在世界坐标系下的位姿信息，对第N+3个图像帧进行SLAM技术中的后续算法的分析，进而得到第N+3个图像帧在世界坐标系下的位姿信息。即，终端设备据已经得到的部分图像帧的位姿信息，对当前实时获取到的第N+3个图像帧进行分析，得到第N+3个图像帧在世界坐标系下的位姿信息。

本实施例，通过在云端服务器对第一个图像帧进行视觉定位处理的过程中，终端设备对后续获取到的各个图像帧进行坐标变换处理，以获取到相邻图像帧之间的坐标变换信息，就可以得到相邻的图像帧之间的相对位姿；此时，终端设备接收到了云端服务器返回的第一个图像帧中的特征点的三维坐标信息，依据各个坐标变换信息，将第一个图像帧映射到第N个图像帧上，得到第一个图像帧中的特征点在N个图像帧上的二维坐标；终端设备就可以根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，计算出第N个图像帧在世界坐标系下的位姿信息，从而依据第一个图像帧与第N个图像帧之间的相对位置，确定出第N个图像帧在世界坐标系下的位姿信息。从而，终端设备完成了视觉即时定位与地图构建(Simultaneous Localization And Mapping，简称SLAM)技术的初始化过程。终端设备对第一个图像帧与第N个图像帧之间的中间的图像帧进行分析，以得到第一个图像帧与第N个图像帧之间的配准关系，该配准关系是较为准确的，该配准关系就是第一个图像帧中的特征点在N个图像帧上的二维坐标；从而，可以准确的得到第N帧图像帧的位姿信息。并且，可以对第N帧图像帧的位姿信息进行优化处理，以得到更为准确的位姿信息。并且，本算法只需要计算相邻的图像帧之间的坐标变换信息，就可以得到第一个图像帧中的特征点在N个图像帧上的二维坐标，进而可以快速的计算出第N个图像帧在世界坐标系下的位姿信息；计算量较小，计算速度高。

图3为本申请实施例提供的一种基于终端设备定位的图像处理装置的结构示意图，如图3所示，该装置，包括：

发送单元31，用于将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对第一个图像帧进行视觉定位处理。

变换单元32，用于对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息。

第一确定单元33，用于在接收云端服务器发送的第一个图像帧的视觉定位信息时，其中，视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各相邻的图像帧之间的坐标变换信息、以及第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，二维坐标信息为第一个图像帧中的特征点在N个图像帧上的二维坐标，N为大于1的正整数。

第二确定单元34，用于根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，位姿信息为第N个图像帧在世界坐标系下的位姿信息。

本实施例提供的装置，同于实现前述任一实施例提供的基于终端设备定位的图像处理方法中的技术方案，其实现原理和技术效果类似，不再赘述。

图4为本申请实施例提供的另一种基于终端设备定位的图像处理装置的结构示意图，在图3所示实施例的基础上，如图4所示，该装置中，坐标变换信息为单应性变换信息，其中，单应性变换信息用于表征相邻的图像帧之间坐标变换关系。

变换单元32，具体用于：

计算第i个图像帧与第i+1个图像帧之间的单应性变换矩阵，得到第i个图像帧与第i+1个图像帧之间的单应性变换信息，其中，i∈[1，N-1]，i为正整数。

第一确定单元33，包括：

级联模块331，用于对各相邻的图像帧之间的坐标变换信息进行级联处理，得到级联后的坐标变换信息。

确定模块332，用于根据级联后的坐标变换信息和第一个图像帧，确定第N个图像帧的二维坐标信息。

级联后的坐标变换信息为

其中，h_i是第i个图像帧与第i+1个图像帧之间的坐标变换信息，i∈[1，N-1]，i为正整数。

第N个图像帧的二维坐标信息为H*M，其中，M为第一个图像帧中的特征点在第一个图像帧上的二维坐标。

第二确定单元34，具体用于：

采用RANSAC算法和PNP算法，对第N个图像帧的二维坐标信息和特征点的三维坐标信息进行计算，得到第N个图像帧的位姿信息。

第二确定单元34，具体用于：

对第N个图像帧的二维坐标信息进行优化处理，以在第N个图像帧上确定出与第一个图像帧中的特征点最优匹配的匹配点，其中，匹配点具有匹配点坐标信息，匹配点坐标信息为匹配点在第N个图像帧上的二维坐标；根据特征点的三维坐标信息，确定匹配点的三维坐标信息；根据匹配点的匹配点坐标信息和匹配点的三维坐标信息，确定第N个图像帧的位姿信息。

本实施例提供的装置，还包括：

处理单元41，用于在第二确定单元34根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，采用Patch alignment技术，对第N个图像帧的位姿信息进行优化处理，得到优化后的位姿信息。

本实施例提供的装置，视觉定位信息中还包括：第一个图像帧的位姿信息；还包括：

第三确定单元42，用于在第二确定单元34根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，根据第一个图像帧的位姿信息和N个图像帧的位姿信息，确定第N+1个图像帧的位姿信息，以在获取到第N+2个图像帧时，根据第一个图像帧的位姿信息、N个图像帧的位姿信息和第N+1个图像帧的位姿信息，确定第N+2个图像帧的位姿信息。

本实施例提供的装置，同于实现前述任一实施例提供的基于终端设备定位的图像处理方法中的技术方案，其实现原理和技术效果类似，不再赘述。

图5为本申请实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备，包括：发送器71、接收器72、存储器73和处理器74；

存储器73用于存储计算机指令；处理器74用于运行存储器73存储的计算机指令实现前述实施例提供任一实现方式的基于终端设备定位的图像处理方法的技术方案。

本申请还提供一种存储介质，包括：可读存储介质和计算机指令，计算机指令存储在可读存储介质中；计算机指令用于实现前述例提供的任一实现方式的基于终端设备定位的图像处理方法的技术方案。

在上述电子设备的具体实现中，应理解，处理器74可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(英文：read-only memory，缩写：ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetictape)、软盘(英文：floppy disk)、光盘(英文：optical disc)及其任意组合。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种基于终端设备定位的图像处理方法，所述方法用于终端设备，其特征在于，所述方法，包括：

将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对所述第一个图像帧进行视觉定位处理；

对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；

在接收所述云端服务器发送的第一个图像帧的视觉定位信息时，其中，所述视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，所述第N个图像帧的二维坐标信息为所述第一个图像帧中的特征点在所述N个图像帧上的二维坐标，N为大于1的正整数；

根据所述第N个图像帧的二维坐标信息和所述第一个图像帧中的特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，所述位姿信息为所述第N个图像帧在世界坐标系下的位姿信息。

2.根据权利要求1所述的方法，其特征在于，所述坐标变换信息为单应性变换信息，其中，所述单应性变换信息用于表征相邻的图像帧之间坐标变换关系。

3.根据权利要求2所述的方法，其特征在于，对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息，包括：

计算第i个图像帧与第i+1个图像帧之间的单应性变换矩阵，得到第i个图像帧与第i+1个图像帧之间的单应性变换信息，其中，i∈[1，N-1]，i为正整数。

4.根据权利要求1所述的方法，其特征在于，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，包括：

对各所述相邻的图像帧之间的坐标变换信息进行级联处理，得到级联后的坐标变换信息；

根据所述级联后的坐标变换信息和所述第一个图像帧，确定所述第N个图像帧的二维坐标信息。

5.根据权利要求4所述的方法，其特征在于，所述级联后的坐标变换信息为

其中，h_i是第i个图像帧与第i+1个图像帧之间的坐标变换信息，i∈[1，N-1]，i为正整数。

6.根据权利要求5所述的方法，其特征在于，所述第N个图像帧的二维坐标信息为H*M，其中，M为所述第一个图像帧中的特征点在第一个图像帧上的二维坐标。

7.根据权利要求1所述的方法，其特征在于，所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，包括：

采用RANSAC算法和PNP算法，对所述第N个图像帧的二维坐标信息和所述特征点的三维坐标信息进行计算，得到所述第N个图像帧的位姿信息。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，包括：

对所述第N个图像帧的二维坐标信息进行优化处理，以在所述第N个图像帧上确定出与所述第一个图像帧中的特征点最优匹配的匹配点，其中，所述匹配点具有匹配点坐标信息，所述匹配点坐标信息为匹配点在第N个图像帧上的二维坐标；

根据所述特征点的三维坐标信息，确定所述匹配点的三维坐标信息；

根据所述匹配点的匹配点坐标信息和所述匹配点的三维坐标信息，确定第N个图像帧的位姿信息。

9.根据权利要求1-7任一项所述的方法，其特征在于，在所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，还包括：

采用Patch alignment技术，对所述第N个图像帧的位姿信息进行优化处理，得到优化后的位姿信息。

10.根据权利要求1-7任一项所述的方法，其特征在于，视觉定位信息中还包括：所述第一个图像帧的位姿信息；

在所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，还包括：

根据所述第一个图像帧的位姿信息和所述N个图像帧的位姿信息，确定第N+1个图像帧的位姿信息，以在获取到第N+2个图像帧时，根据所述第一个图像帧的位姿信息、所述N个图像帧的位姿信息和所述第N+1个图像帧的位姿信息，确定第N+2个图像帧的位姿信息。

11.一种基于终端设备定位的图像处理装置，所述装置用于终端设备，其特征在于，所述装置，包括：

发送单元，用于将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对所述第一个图像帧进行视觉定位处理；

变换单元，用于对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；

第一确定单元，用于在接收所述云端服务器发送的第一个图像帧的视觉定位信息时，其中，所述视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，所述第N个图像帧的二维坐标信息为所述第一个图像帧中的特征点在所述N个图像帧上的二维坐标，N为大于1的正整数；

第二确定单元，用于根据所述第N个图像帧的二维坐标信息和所述第一个图像帧中的特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，所述位姿信息为所述第N个图像帧在世界坐标系下的位姿信息。

12.一种电子设备，其特征在于，包括：发送器、接收器、存储器和处理器；

所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现权利要求1-10任一项所述的基于终端设备定位的图像处理。

13.一种存储介质，其特征在于，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现权利要求1-10任一项所述的基于终端设备定位的图像处理。

Images