CN106846243A - 在设备移动过程中获得三维俯视全景图的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种在设备移动过程中获得三维俯视全景图的方法及装置，所述方法包括：获取当前使用的图像采集器当前时刻采集的目标图像，并将目标图像转换为目标三维环境俯视图；将目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定二者的匹配关系；根据匹配关系，将目标三维环境俯视图与上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图；确定目标设备当前位置相对于上一幅三维俯视全景图中目标设备位置的位移；根据位移，在初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。由于只需要使用的一个图像采集器采集目标图像，校准工作简单，大大降低了安装成本。

Description

在设备移动过程中获得三维俯视全景图的方法及装置

技术领域

本发明涉及图像处理领域，特别是涉及在设备移动过程中获得三维俯视全景图的方法及装置。

背景技术

全景图是360度视角的全观图像，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，通过广角的表现方式尽可能多地表现出周围的环境，呈现给观看者。近年来，全景图的应用越来越广泛，特别是在设备(例如车辆、机器人等)行驶过程中，通过获得设备周围的全景图，可以消除设备行驶过程中的观察盲区，保证行驶安全。

为了在设备行驶过程中获得全景图，现有技术中，一般需要在设备上安装4-6个摄像头，调整每个摄像头的安装视角，保证每两个相邻的摄像头的视角有一定的重合，对每个摄像头进行校准，获取摄像头的参数，包括：焦距、光心等内部参数，以及安装高度、三维安装角度等外部参数。在拍摄过程中，根据摄像头的参数对每个摄像头采集的图像进行规范化处理，包括几何畸变消除、三维变换观察视角等处理，然后将规范化处理后的图像进行图像拼接，获得环视全景图或俯视全景图。

采用上述方法虽然可以获得全景图，但是需要在设备上安装多个摄像头，导致校准工作复杂，安装成本较高，难以得到较好地推广应用。

发明内容

本发明实施例公开了一种在设备移动过程中获得三维俯视全景图的方法及装置，用以解决现有三维俯视全景图获取方法存在的校准工作复杂，安装成本较高的问题。技术方案如下：

第一方面，本发明实施例提供了一种在设备移动过程中获得三维俯视全景图的方法，应用于具有图像采集器的目标设备，所述方法包括：

获取当前使用的图像采集器当前时刻采集的目标图像，并将所述目标图像转换为目标三维环境俯视图，其中，所述目标图像为所述目标设备行进方向视角的图像；

将所述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图的匹配关系，其中，所述上一幅三维俯视全景图中显示有预先获得的所述目标设备自身的三维俯视图像；

根据所述匹配关系，将所述目标三维环境俯视图与所述上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图；

根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移；

根据所述位移，在所述初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。

可选的，所述将所述目标图像转换为目标三维环境俯视图的步骤，包括：

根据预先保存的目标图像像素点与目标三维环境俯视图像素点的对应关系，从所述目标图像的像素点中，确定所述目标三维环境俯视图的每一像素点对应的像素点，得到所述目标三维环境俯视图。

可选的，所述目标图像像素点与目标三维环境俯视图像素点的对应关系的计算方式，包括：

获取所述图像采集器的内部参数；

根据所述内部参数及图像标定板，计算所述图像采集器的外部参数；

根据所述内部参数和所述外部参数，计算从所述目标图像的像素点变换到所述目标三维环境俯视图的像素点的变换矩阵。

可选的，所述将所述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图的匹配关系的步骤，包括：

确定所述上一幅三维俯视全景图中的第一特征点；

从所述目标三维环境俯视图中确定与所述第一特征点匹配的第二特征点；

根据所述第一特征点与所述第二特征点的位置关系，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图之间的旋转平移矩阵。

可选的，所述根据所述匹配关系，将所述目标三维环境俯视图与所述上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图的步骤，包括：

确定所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分及非重复部分；

将所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分的像素点灰度值进行加权处理；

根据所述旋转平移矩阵，将所述目标三维环境俯视图与所述上一幅三维俯视图的非重复部分拼接至所述上一幅三维俯视图，获得当前三维俯视全景图的初始图。

可选的，所述根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移的步骤，包括：

根据所述旋转平移矩阵，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移。

可选的，所述目标设备为车辆；

所述目标设备行进方向为倒车方向。

第二方面，本发明实施例还提供了一种在设备移动过程中获得三维俯视全景图的装置，应用于具有图像采集器的目标设备，所述装置包括：

目标图像获取模块，用于获取当前使用的图像采集器当前时刻采集的目标图像，并将所述目标图像转换为目标三维环境俯视图，其中，所述目标图像为所述目标设备行进方向视角的图像；

匹配关系确定模块，用于将所述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图的匹配关系，其中，所述上一幅三维俯视全景图中显示有预先获得的所述目标设备自身的三维俯视图像；

图像拼接模块，用于根据所述匹配关系，将所述目标三维环境俯视图与所述上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图；

位移确定模块，用于根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移；

图像移动模块，用于根据所述位移，在所述初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。

可选的，所述匹配关系确定模块包括：

第一特征点确定单元，用于确定所述上一幅三维俯视全景图中的第一特征点；

第二特征点确定单元，用于从所述目标三维环境俯视图中确定与所述第一特征点匹配的第二特征点；

旋转平移矩阵确定单元，用于根据所述第一特征点与所述第二特征点的位置关系，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图之间的旋转平移矩阵。

可选的，所述图像拼接模块包括：

图像确定单元，用于确定所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分及非重复部分；

加权处理单元，用于将所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分的像素点灰度值进行加权处理；

图像拼接单元，用于根据所述旋转平移矩阵，将所述目标三维环境俯视图与所述上一幅三维俯视图的非重复部分拼接至所述上一幅三维俯视图，获得当前三维俯视全景图的初始图。

本发明实施例所提供的方案中，目标设备首先获取当前使用的图像采集器当前时刻采集的目标图像，并将目标图像转换为目标三维环境俯视图，将目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定目标三维环境俯视图与上一幅三维俯视全景图的匹配关系，然后根据该匹配关系，将目标三维环境俯视图与上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图，再根据该匹配关系，确定目标设备当前位置相对于上一幅三维俯视全景图中目标设备位置的位移，最后根据该位移，在初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。由于只需要使用的一个图像采集器采集目标图像，然后通过与已保存的上一幅三维俯视全景图进行拼接获得三维俯视全景图，校准工作简单，大大降低了安装成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种在设备移动过程中获得三维俯视全景图的方法的流程图；

图2(a)为一种目标图像的示意图；

图2(b)为应用本发明实施例所提供的获得三维俯视全景图的方法将图2(a)所示的目标图像转换所得的目标三维环境俯视图的示意图；

图3为应用本发明实施例所提供的获得三维俯视全景图的方法所获得的三维俯视全景图的示意图；

图4为图1所示实施例中步骤102的具体流程图；

图5为图1所示实施例中步骤103的具体流程图；

图6为本发明实施例所提供的一种在设备移动过程中获得三维俯视全景图的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了降低三维俯视全景图获取过程中的校准工作复杂度，同时降低安装成本，本发明实施例提供了一种在设备移动过程中获得三维俯视全景图的方法及装置。

下面对本发明实施例所提供的一种在设备移动过程中获得三维俯视全景图的方法进行介绍。

如图1所示，一种在设备移动过程中获得三维俯视全景图的方法，应用于具有图像采集器的目标设备，所述方法包括以下步骤：

S101，获取当前使用的图像采集器当前时刻采集的目标图像，并将所述目标图像转换为目标三维环境俯视图；

由于目标设备在移动过程中一般需要观察行进方向的周围环境，以确定行进具体方向及速度等，避免发生事故，所以该目标图像一般为目标设备行进方向视角的图像。

具体而言，在一种实施方式中，可以在目标设备前后各安装一个图像采集器，那么当目标设备行进方向为前方时，便可以使用安装在前方的图像采集器来采集目标图像；当目标设备行进方向为后方时，便可以使用安装在后方的图像采集器来采集目标图像。对于车辆而言，获取后方的目标图像时，可以采用车辆自身已安装的后视摄像头来实现，可以进一步降低安装成本。

在另一种实施方式中，如果目标设备是小型机器人等体积较小的设备，目标设备本身不会遮挡图像采集器的视角，那么便可以在目标设备上方安装一个可旋转的图像采集器，例如，在机器人头顶部位安装一个可旋转的图像采集器，当目标设备向前方行进时，该图像采集器便旋转至前方采集目标图像；当目标设备向后方倒退时，该图像采集器便可以转向后方采集目标图像。如果目标设备可以向左或右行进，那么图像采集器便可以转向目标设备左侧或右侧来采集目标图像，这都是合理的。

目标设备获得了上述目标图像后，便可以将其转换为目标三维环境俯视图。作为本发明实施例的一种实施方式，将该目标图像转换为目标三维环境俯视图的方式可以为：

根据预先保存的目标图像像素点与目标三维环境俯视图像素点的对应关系，从所述目标图像的像素点中，确定所述目标三维环境俯视图的每一像素点对应的像素点，得到所述目标三维环境俯视图。

举例而言，目标设备获得了如图2(a)所示的目标图像后，便可以根据预先保存的目标图像像素点与目标三维环境俯视图像素点的对应关系，从图2(a)所示的目标图像的像素点中，确定目标三维环境俯视图的每一像素点对应的像素点。例如，对于目标三维环境俯视图的像素点(5，20)，在目标图像中与其对应的像素点为(3，18)，那么，目标设备便可以确定目标三维环境俯视图的像素点(5，20)的灰度值与目标图像像素点(3，18)的灰度值相同。进而，便可以确定出目标三维环境俯视图的每一像素点的灰度值，进而，得到如图2(b)所示的目标三维环境俯视图。

需要说明的是，由于目标图像与目标三维环境俯视图的视角不同，目标三维环境俯视图中的一些像素点可能不存在与其对应的目标图像像素点，那么为了图像清晰及操作方便，可以将这些像素点统一为一个颜色，例如图2(b)中左下角和右下角的黑色部分。当然也可以将这些像素点统一为白色、灰色等颜色，在此不做具体限定。

S102，将所述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图的匹配关系；

可以理解的是，随着目标设备的移动，当前使用的图像采集器在连续采集图像。当前时刻采集到上述目标图像时，目标设备中已经保存了在当前时刻之前，该图像采集器采集的图像所拼接得到的三维俯视全景图，即上一幅三维俯视全景图。

一般情况下，图像采集器采集图像的时间间隔较短，一般为几毫秒或几十毫秒，所以上述目标三维环境俯视图与上一幅三维俯视全景图存在一部分重复的区域，为了方便后续图像拼接等处理，目标设备可以确定出目标三维环境俯视图与上一幅三维俯视全景图的匹配关系。该匹配关系可以为目标三维环境俯视图与上一幅三维俯视全景图之间的旋转平移矩阵等。为了布局清楚和方案清晰，后续将对确定目标三维环境俯视图与上一幅三维俯视全景图的匹配关系的具体实现方式进行举例介绍。

需要说明的是，上一幅三维俯视全景图中显示有预先获得的目标设备自身的三维俯视图像。其中，目标设备自身的三维俯视图像可以根据目标设备的种类、型号等预先获得，例如，如果目标设备为车辆，那么便可以根据车辆的品牌和型号获得车辆的三维俯视图像。目标设备可以将自身的三维俯视图像保存至本地，以便在移动过程中获得三维俯视全景图时使用。

可以理解的是，当确定需要生成三维俯视全景图后，生成第一幅三维俯视全景图的方法，就是将获得的第一帧目标图像转换为目标三维环境俯视图像，然后将目标设备自身的三维俯视图像显示在目标三维环境俯视图像中相应位置。该位置的确定方式可以采用现有任意方式，例如，可以根据上述当前使用的图像采集器的安装位置等外部参数确定，在此不做具体限定。

S103，根据所述匹配关系，将所述目标三维环境俯视图与所述上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图；

目标设备确定了上述匹配关系后，便可以根据该匹配关系，将目标三维环境俯视图与上一幅三维俯视图进行图像拼接，进而，获得当前三维俯视全景图的初始图。

通过上述对目标三维环境俯视图与上一幅三维俯视全景图的比较，目标设备可以确定目标三维环境俯视图与上一幅三维俯视全景图的重复部分及非重复部分，进而，便可以对目标三维环境俯视图与上一幅三维俯视全景图进行拼接。由于图像拼接为本领域常用的图像处理方式，在此不做具体限定及说明。

S104，根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移；

可以理解的是，由于目标设备在移动过程中位置是不断发生变化的，所以目标设备当前位置与其在上一幅三维俯视全景图中的位置是不同的，那么，为了准确地确定目标设备的当前位置，可以根据上述目标三维环境俯视图与上一幅三维俯视全景图的匹配关系，确定目标设备当前位置相对于上一幅三维俯视全景图中目标设备位置的位移。

以上述匹配关系为旋转平移矩阵为例，可以理解的是，目标设备确定了该旋转平移矩阵后，便获得了目标三维环境俯视图与上一幅三维俯视全景图像的重复部分的像素点之间的旋转角度及平移距离，例如，旋转平移矩阵为那么，目标三维环境俯视图与上一幅三维俯视全景图像的重复部分的像素点之间的旋转角度即为a，平移距离即为sqrt(dx·dx+dy·dy)。由于该重复部分的像素点之间的旋转和平移是由于目标设备的移动造成的，那么目标设备的旋转角度、平移距离分别与该重复部分的像素点之间的旋转角度、平移距离相同，进而，也就确定了目标设备当前位置相对于上一幅三维俯视全景图中目标设备位置的位移。

需要说明的是，在获得上述旋转平移矩阵后，也可以根据该旋转平移矩阵确定目标设备的实际位移，然后根据目标设备的实际位移与目标设备在上一幅三维俯视全景图像中的位移的比例，确定目标设备当前位置相对于上一幅三维俯视全景图中目标设备位置的位移。其中，目标设备的实际位移与目标设备在上一幅三维俯视全景图像中的位移的比例，可以由本领域技术人员根据图像大小等因素进行确定，在此不做具体限定。

S105，根据所述位移，在所述初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。

目标设备确定上述位移后，便可以根据该位移，在上述初始图中，将目标设备自身的三维俯视图像移动到相应位置。也就是说，可以根据目标设备相对于上一幅三维俯视全景图中目标设备位置的旋转角度及平移距离，将目标设备自身的三维俯视图像移动到相应位置，进而，得到最终的当前三维俯视全景图。如图3所示，为一种三维俯视全景图的示意图，其中，目标设备为车辆，为了不遮挡实际环境的图像，该车辆自身的三维俯视图像为半透明状态，透过该车辆自身的三维俯视图像可以看见地面上的积水等。该车辆在倒车时通过上述方法便可以获得图中所示的三维俯视全景图。

获得了最终的当前三维俯视全景图后，目标设备可以保存该当前三维俯视全景图，以便对上述当前使用的图像采集器后续采集的目标图像进行处理。对当前使用的图像采集器后续采集的目标图像的处理方式与上述过程相同。可以理解的是，当目标设备停止移动时，便可以停止采集目标图像。例如，在车辆倒车结束，车辆停止移动时，图像采集器便可以停止采集目标图像。

在一种实施方式中，为了能够在目标设备移动过程中持续地获得三维俯视全景图，可以预先设置目标设备获取目标三维环境俯视图的最大数量，例如可以为30帧、40帧、50帧等。当目标设备获得的目标三维环境俯视图的数量达到该最大数量时，便从第1帧目标三维环境俯视图开始顺次删除该第1帧目标三维环境俯视图对应于当前三维俯视全景图中的部分，以节省目标设备的内存，保证能够对后续获得的目标三维环境俯视图进行准确处理。

可见，本发明实施例所提供的方案中，目标设备首先获取当前使用的图像采集器当前时刻采集的目标图像，并将目标图像转换为目标三维环境俯视图，将目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定目标三维环境俯视图与上一幅三维俯视全景图的匹配关系，然后根据该匹配关系，将目标三维环境俯视图与上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图，再根据该匹配关系，确定目标设备当前位置相对于上一幅三维俯视全景图中目标设备位置的位移，最后根据该位移，在初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。由于只需要使用的一个图像采集器采集目标图像，然后通过与已保存的上一幅三维俯视全景图进行拼接获得三维俯视全景图，校准工作简单，大大降低了安装成本。

作为本发明实施例的一种实施方式，上述目标图像像素点与目标三维环境俯视图像素点的对应关系的计算方式可以包括：

获取所述图像采集器的内部参数；根据所述内部参数及图像标定板，计算所述图像采集器的外部参数；根据所述内部参数和所述外部参数，计算从所述目标图像的像素点变换到所述目标三维环境俯视图的像素点的变换矩阵。

可以理解的是，目标设备在开始移动之前，可以预先计算出目标图像像素点与目标三维环境俯视图像素点的对应关系，并将该对应关系保存至本地，以便后续获得三维俯视全景图过程中使用。

一般情况下，目标设备可以获得图像采集器的内部参数，该内部参数一般包括焦距、光心等参数。图像采集器可以对图像标定板进行多角度拍摄，获得多张标定板图像后，目标设备便可以根据图像采集器的内部参数及该多张标定板图像，计算得到图像采集器的安装高度、角度等外部参数。进而，根据图像采集器的内部参数和外部参数，便可以计算得到目标图像的像素点变换到目标三维环境俯视图的像素点的变换矩阵。

需要说明的是，根据图像采集器的内部参数及该多张标定板图像，计算得到图像采集器的安装高度、角度等外部参数的方式及根据图像采集器的内部参数和外部参数，便可以计算得到目标图像的像素点变换到目标三维环境俯视图的像素点的变换矩阵的方式均可以采用现有方式实现，在此不做具体限定及说明。图像标定板可以采用现有的通用黑白棋盘格标定板，在此不做具体限定。

进一步需要说明的是，如果目标设备安装有多个图像采集器，那么目标设备可以预先计算得到每一个图像采集器所采集的目标图像的像素点变换到目标三维环境俯视图的像素点的变换矩阵，并保存至本地。在获得三维俯视全景图的过程中，便可以调用预先保存的，与当前使用的图像采集器对应的目标图像的像素点变换到目标三维环境俯视图的像素点的变换矩阵，对目标图像进行变换处理。

作为本发明实施例的一种实施方式，上述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定目标三维环境俯视图与上一幅三维俯视全景图的匹配关系的方式，如图4所示，可以包括以下步骤：

S1021，确定所述上一幅三维俯视全景图中的第一特征点；

目标设备可以在上一幅三维俯视全景图的像素点中确定图像中的第一特征点，该第一特征点可以为上一幅三维俯视全景图中各物体的边缘特征点。例如，上一幅三维俯视全景图中的建筑、车辆等物体的边缘特征点。可以理解的是，第一特征点一般为多个。

S1022，从所述目标三维环境俯视图中确定与所述第一特征点匹配的第二特征点；

确定了上一幅三维俯视全景图中的第一特征点后，目标设备可以从目标三维环境俯视图中，确定与第一特征点匹配的第二特征点。例如，第一特征点为一个建筑物的边缘特征点，那么目标设备便可以从目标三维环境俯视图中，确定该建筑物的边缘特征点，即第二特征点。

上述第一特征点及第二特征点的确定方式可以采用现有任意方式，例如可以采用SIFT、SURF、FAST算法等边缘特征点算法，在此不做具体限定。

S1023，根据所述第一特征点与所述第二特征点的位置关系，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图之间的旋转平移矩阵。

目标设备确定了上述第一特征点和第二特征点后，便可以根据同一物体对应的第一特征点和第二特征点的位置关系，即相互匹配的第一特征点和第二特征点的位置关系，确定第二特征点与第一特征点之间的旋转角度及平移距离，进而，也就得到了目标三维环境俯视图与所述上一幅三维俯视全景图之间的旋转平移矩阵。

举例而言，若第一特征点为三个，坐标分别为(257.558，158.521)、(198.495，78.8289)及(270.838，195.192)，与其分别对应的第二特征点的坐标为(255.102，160.544)、(195.591，81.3771)及(269.796，198.06)，那么将第二特征点映射到第一特征点，便可以计算得到目标三维环境俯视图与所述上一幅三维俯视全景图之间的旋转平移矩阵为：

针对上述匹配关系为旋转平移矩阵的情况而言，作为本发明实施例的一种实施方式，根据该匹配关系，将目标三维环境俯视图与上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图的方式，如图5所示，可以包括以下步骤：

S1031，确定所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分及非重复部分；

目标设备通过上述方式确定出第一特征点及第二特征点后，便可以根据第一特征点及第二特征点确定目标三维环境俯视图与上一幅三维俯视图的重复部分及非重复部分。

具体来说，目标三维环境俯视图中存在与第一特征点匹配的第二特征点的部分即为与上一幅三维俯视图的重复部分，而不存在与第一特征点匹配的第二特征点的部分即为与上一幅三维俯视图的非重复部分。

S1032，将所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分的像素点灰度值进行加权处理；

为了使得到的三维俯视全景图的颜色均匀，不出现颜色跳点，可以将目标三维环境俯视图与上一幅三维俯视图的重复部分的像素点灰度值进行加权处理，以平衡图像的灰度值。

例如，该重复部分的某一像素点在目标三维环境俯视图中的灰度值为5.5，而在上一幅三维俯视图中的灰度值为5.9，那么目标设备便可以确定该像素点在当前三维俯视全景图的初始图中的灰度值为5.7，即(5.5×0.5+5.9×0.5＝5.7)。当然，像素点在目标三维环境俯视图中的灰度值的权重，以及像素点在目标三维环境俯视图中的灰度值的权重也可以预先设定。例如，可以预先设定像素点在目标三维环境俯视图中的灰度值的权重为0.3，在目标三维环境俯视图中的灰度值的权重为0.7，那么目标设备便可以确定该像素点在当前三维俯视全景图的初始图中的灰度值为(5.5×0.3+5.9×0.7＝5.78)，这也是合理的。

S1033，根据所述旋转平移矩阵，将所述目标三维环境俯视图与所述上一幅三维俯视图的非重复部分拼接至所述上一幅三维俯视图，获得当前三维俯视全景图的初始图。

对于目标三维环境俯视图与上一幅三维俯视图的非重复部分，可以将其拼接至上一幅三维俯视图，由于目标三维环境俯视图与上一幅三维俯视图可能存在一定的旋转和平移，所以目标设备可以根据上述旋转平移矩阵，将目标三维环境俯视图与上一幅三维俯视图的非重复部分拼接至上一幅三维俯视图，使得到的当前三维俯视全景图的初始图与真实环境情况更加相近。

需要说明的是，上述将目标三维环境俯视图与上一幅三维俯视图的非重复部分拼接至上一幅三维俯视图的方式可以采用现有图像拼接方式，本领域技术人员可以根据目标三维环境俯视图及上一幅三维俯视图的图像分辨率等因素进行确定，在此不做具体限定。

作为本发明实施例的一种实施方式，上述目标设备可以为车辆，上述目标设备行进方向可以为倒车方向。那么，通过上述方法获得的三维俯视全景图即为车辆倒车过程的三维俯视全景图，驾驶员可以通过该三维俯视全景图观察车辆周围环境，为驾驶员提供无盲区的倒车观察视角，确保倒车过程安全无误。

相应于上述方法实施例，本发明实施例还提供了一种在设备移动过程中获得三维俯视全景图的装置，下面对本发明实施例所提供的一种在设备移动过程中获得三维俯视全景图的装置进行介绍。

如图6所示，一种在设备移动过程中获得三维俯视全景图的装置，应用于具有图像采集器的目标设备，所述装置包括：

目标图像获取模块610，用于获取当前使用的图像采集器当前时刻采集的目标图像，并将所述目标图像转换为目标三维环境俯视图，其中，所述目标图像为所述目标设备行进方向视角的图像；

匹配关系确定模块620，用于将所述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图的匹配关系，其中，所述上一幅三维俯视全景图中显示有预先获得的所述目标设备自身的三维俯视图像；

图像拼接模块630，用于根据所述匹配关系，将所述目标三维环境俯视图与所述上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图；

位移确定模块640，用于根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移；

图像移动模块650，用于根据所述位移，在所述初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。

可见，本发明实施例所提供的方案中，目标设备首先获取当前使用的图像采集器当前时刻采集的目标图像，并将目标图像转换为目标三维环境俯视图，将目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定目标三维环境俯视图与上一幅三维俯视全景图的匹配关系，然后根据该匹配关系，将目标三维环境俯视图与上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图，再根据该匹配关系，确定目标设备当前位置相对于上一幅三维俯视全景图中目标设备位置的位移，最后根据该位移，在初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。由于只需要使用的一个图像采集器采集目标图像，然后通过与已保存的上一幅三维俯视全景图进行拼接获得三维俯视全景图，校准工作简单，大大降低了安装成本。

作为本发明实施例的一种实施方式，所述目标图像获取模块610将所述目标图像转换为目标三维环境俯视图的方式可以包括：

根据预先保存的目标图像像素点与目标三维环境俯视图像素点的对应关系，从所述目标图像的像素点中，确定所述目标三维环境俯视图的每一像素点对应的像素点，得到所述目标三维环境俯视图。

作为本发明实施例的一种实施方式，所述目标图像像素点与目标三维环境俯视图像素点的对应关系的计算方式可以包括：

获取所述图像采集器的内部参数；

根据所述内部参数及图像标定板，计算所述图像采集器的外部参数；

根据所述内部参数和所述外部参数，计算从所述目标图像的像素点变换到所述目标三维环境俯视图的像素点的变换矩阵。

作为本发明实施例的一种实施方式，所述匹配关系确定模块620可以包括：

第一特征点确定单元(图6中未示出)，用于确定所述上一幅三维俯视全景图中的第一特征点；

第二特征点确定单元(图6中未示出)，用于从所述目标三维环境俯视图中确定与所述第一特征点匹配的第二特征点；

旋转平移矩阵确定单元(图6中未示出)，用于根据所述第一特征点与所述第二特征点的位置关系，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图之间的旋转平移矩阵。

作为本发明实施例的一种实施方式，所述图像拼接模块630可以包括：

图像确定单元(图6中未示出)，用于确定所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分及非重复部分；

加权处理单元(图6中未示出)，用于将所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分的像素点灰度值进行加权处理；

图像拼接单元(图6中未示出)，用于根据所述旋转平移矩阵，将所述目标三维环境俯视图与所述上一幅三维俯视图的非重复部分拼接至所述上一幅三维俯视图，获得当前三维俯视全景图的初始图。

作为本发明实施例的一种实施方式，所述位移确定模块640根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移的方式可以包括：

根据所述旋转平移矩阵，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移。

作为本发明实施例的一种实施方式，所述目标设备可以为车辆；

所述目标设备行进方向可以为倒车方向。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种在设备移动过程中获得三维俯视全景图的方法，其特征在于，应用于具有图像采集器的目标设备，所述方法包括：

获取当前使用的图像采集器当前时刻采集的目标图像，并将所述目标图像转换为目标三维环境俯视图，其中，所述目标图像为所述目标设备行进方向视角的图像；

将所述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图的匹配关系，其中，所述上一幅三维俯视全景图中显示有预先获得的所述目标设备自身的三维俯视图像；

根据所述匹配关系，将所述目标三维环境俯视图与所述上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图；

根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移；

根据所述位移，在所述初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。

2.如权利要求1所述的方法，其特征在于，所述将所述目标图像转换为目标三维环境俯视图的步骤，包括：

根据预先保存的目标图像像素点与目标三维环境俯视图像素点的对应关系，从所述目标图像的像素点中，确定所述目标三维环境俯视图的每一像素点对应的像素点，得到所述目标三维环境俯视图。

3.如权利要求2所述的方法，其特征在于，所述目标图像像素点与目标三维环境俯视图像素点的对应关系的计算方式，包括：

获取所述图像采集器的内部参数；

根据所述内部参数及图像标定板，计算所述图像采集器的外部参数；

根据所述内部参数和所述外部参数，计算从所述目标图像的像素点变换到所述目标三维环境俯视图的像素点的变换矩阵。

4.如权利要求1所述的方法，其特征在于，所述将所述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图的匹配关系的步骤，包括：

确定所述上一幅三维俯视全景图中的第一特征点；

从所述目标三维环境俯视图中确定与所述第一特征点匹配的第二特征点；

根据所述第一特征点与所述第二特征点的位置关系，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图之间的旋转平移矩阵。

5.如权利要求4所述的方法，其特征在于，所述根据所述匹配关系，将所述目标三维环境俯视图与所述上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图的步骤，包括：

确定所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分及非重复部分；

将所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分的像素点灰度值进行加权处理；

根据所述旋转平移矩阵，将所述目标三维环境俯视图与所述上一幅三维俯视图的非重复部分拼接至所述上一幅三维俯视图，获得当前三维俯视全景图的初始图。

6.如权利要求4所述的方法，其特征在于，所述根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移的步骤，包括：

根据所述旋转平移矩阵，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移。

7.如权利要求1-6任一项所述的方法，其特征在于，所述目标设备为车辆；

所述目标设备行进方向为倒车方向。

8.一种在设备移动过程中获得三维俯视全景图的装置，其特征在于，应用于具有图像采集器的目标设备，所述装置包括：

目标图像获取模块，用于获取当前使用的图像采集器当前时刻采集的目标图像，并将所述目标图像转换为目标三维环境俯视图，其中，所述目标图像为所述目标设备行进方向视角的图像；

匹配关系确定模块，用于将所述目标三维环境俯视图与已保存的上一幅三维俯视全景图进行比较，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图的匹配关系，其中，所述上一幅三维俯视全景图中显示有预先获得的所述目标设备自身的三维俯视图像；

图像拼接模块，用于根据所述匹配关系，将所述目标三维环境俯视图与所述上一幅三维俯视图进行图像拼接，获得当前三维俯视全景图的初始图；

位移确定模块，用于根据所述匹配关系，确定所述目标设备当前位置相对于所述上一幅三维俯视全景图中目标设备位置的位移；

图像移动模块，用于根据所述位移，在所述初始图中将目标设备自身的三维俯视图像移动到相应位置，获得最终的当前三维俯视全景图并保存。

9.如权利要求8所述的装置，其特征在于，所述匹配关系确定模块包括：

第一特征点确定单元，用于确定所述上一幅三维俯视全景图中的第一特征点；

第二特征点确定单元，用于从所述目标三维环境俯视图中确定与所述第一特征点匹配的第二特征点；

旋转平移矩阵确定单元，用于根据所述第一特征点与所述第二特征点的位置关系，确定所述目标三维环境俯视图与所述上一幅三维俯视全景图之间的旋转平移矩阵。

10.如权利要求9所述的装置，其特征在于，所述图像拼接模块包括：

图像确定单元，用于确定所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分及非重复部分；

加权处理单元，用于将所述目标三维环境俯视图与所述上一幅三维俯视图的重复部分的像素点灰度值进行加权处理；

图像拼接单元，用于根据所述旋转平移矩阵，将所述目标三维环境俯视图与所述上一幅三维俯视图的非重复部分拼接至所述上一幅三维俯视图，获得当前三维俯视全景图的初始图。