CN113628284A - 位姿标定数据集生成方法、装置、系统、电子设备及介质 - Google Patents

Abstract

本申请公开了一种位姿标定数据集生成方法、装置、系统、电子设备及可读存储介质。其中，方法包括将当前场景划分为多个子场景；通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，获取各采样节点的位姿数据。将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据。根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成当前场景的位姿标定数据集，从而实现了在一般性的场景下快速获取高精度、高可靠性的位姿标定数据集。

Description

位姿标定数据集生成方法、装置、系统、电子设备及介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种位姿标定数据集生成方法、装置、系统、电子设备及可读存储介质。

背景技术

通过从图像中估计图像采集设备位姿来定位车辆或设备是许多计算机视觉应用的基本要求，例如导航自动车辆、移动机器人、增强现实。准确估计图像采集设备如摄像机的绝对姿态是增强现实、自主导航和机器人技术应用的关键，能快速获得实际中不同应用场景下的6自由度(可简称为6D)相机位姿GroudTruth数据(也即标定数据)集至关重要。

在实际中，针对一般场景的6D数据集非常有限，且没有一种高效且轻便的采集相机6D位姿数据集的装置，而且都是针对非一般性应用场景所创建的数据集，在实际运用中具有较大的局限性。举例来说，常用于创建6D相机位姿标定数据集的方法包括SFM和KinectFusion两种方法。SFM不仅在室外大场景下很多特征缺失的场景或者场景相似性较大的场景鲁棒性不强且精度不高，而且其在室外大场景下计算相机位姿所消耗的时间与图像的数量成O(n2)关系，n为图像数据，O()表示函数，图像数量越多，所需相机位姿计算时间会成指数倍增加，尤其是对大规模场景，时间成本很大很大，因此对需要多帧图像表征的大场景具有较大的限制。Kinect Fusion通过对相邻帧点云进行ICP(Iterative Closest Point，最近邻迭代算法)获得相对位姿，由于RGBD相机在应对强吸光和强反光的室外场景下无法得到较为有效的深度数据和点云数据，导致其在无法有效工作。

鉴于此，如何在一般性的场景下快速获取高精度、高可靠性的位姿标定数据集，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种位姿标定数据集生成方法、装置、系统、电子设备及可读存储介质，实现了在一般性的场景下快速获取高精度、高可靠性的位姿标定数据集。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种位姿标定数据集生成方法，包括：

预先将当前场景划分为多个子场景；

通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，获取各采样节点的位姿数据；

将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据；

根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成所述当前场景的位姿标定数据集。

可选的，所述通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，获取各采样节点的位姿数据，包括：

调用VIO算法对第一子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，输出所述第一子场景的各采样节点的位姿数据；

重启所述VIO算法；

调用所述VIO算法对第二子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，输出所述第二子场景的各采样节点的位姿数据。

可选的，所述将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据，包括：

获取当前子场景的起始采样节点在所述目标坐标系下的标准位姿数据；

基于当前采样节点的最终位姿为下一个采样节点的起始位姿，起始采样节点根据所有两两相邻子场景的起始采样点与结束采样点的坐标转换关系、当前子场景的各个采样节点的相对位姿数据，计算当前子场景的各采样点的位姿数据在目标场景中的位姿。

可选的，所述获取当前子场景的起始采样节点在所述目标坐标系下的标准位姿数据，包括：

获取每个子场景的起始采样节点在所述目标坐标系对应空间的预设方位下所采集的坐标信息；

根据所述当前子场景的起始采样节点和结束采样节点的欧式距离偏移值，对所述当前子场景的起始采样节点的坐标信息进行校准，并将校准后的数据作为所述标准位姿数据。

可选的，所述根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成所述当前场景的位姿标定数据集，包括：

基于每个子场景的各采样节点的标准位姿数据，构建6自由度位姿序列；

获取每个子场景中的各采样节点对应的场景图像；

基于各采样节点的场景图像，构建图像序列；

对所述6自由度位姿序列和所述图像序列进行对齐处理；

将对齐后的数据串联生成6自由度位姿标定数据集，以作为所述当前场景的位姿标定数据集。

本发明实施例另一方面提供了一种位姿标定数据集生成装置，包括：

划分模块，用于预先将当前场景划分为多个子场景；

位姿数据获取模块，用于通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，以获取各采样节点的位姿数据；

坐标转换模块，用于将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据；

数据集生成模块，用于根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成所述当前场景的位姿标定数据集。

本发明实施例还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述位姿标定数据集生成方法的步骤。

本发明实施例还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述位姿标定数据集生成方法的步骤。

本发明实施例最后还提供了一种位姿标定数据集生成系统，包括支撑结构件、图像采集设备、位姿数据采集装置和处理器；所述图像采集设备、所述位姿数据采集装置和所述处理器均安装在所述支撑结构件；

所述图像采集设备用于采集当前场景中各采样节点的场景图像；

所述位姿数据采集装置用于采集所述当前场景中各采样节点的位姿数据，并将各采样节点的位姿数据发送给所述处理器；

所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述位姿标定数据集生成方法的步骤。

可选的，所述位姿数据采集装置包括惯性传感器和多个灰度相机；

所述位姿数据采集装置用于获取所述当前场景中每个采样节点相对子场景的相对位姿数据。

可选的，还包括云服务器和无线网卡；

所述图像采集设备将各采样节点的场景图像通过所述无线网卡发送给所述云服务器；

所述位姿数据采集装置将各采样节点的位姿数据通过所述无线网卡发送给所述云服务器。

本申请提供的技术方案的优点在于，将大场景划分为多个小场景，可将大闭环划分成多个小闭环，这样便可以在每个小场景中实现闭环检测，保证输出的位姿数据具有较好的精度和可靠性，对采样节点所处环境没有要求，针对一定程度上特征缺失场景和相似度较大的场景具有较好的鲁棒性，可在保证一定精度的情况下能同时应用于室外大规模场景和室内场景，实现了在一般性的场景下快速获取高精度、高可靠性的自由度相机位姿标定数据集。此外，相对一些传统的方法如SFM，具有很高的实时性，所需的计算资源相对现有技术大大降低；获得高实时的位姿数据和对应的图像，可保证位姿和图像在时间维度上的较好地对齐，可进一步提升位姿标定数据集的精度。能够给视觉6自由度位姿估计算法的测试、验证和改进提供较大的帮助，同时为视觉定位在不同场景中的快速应用提供支撑，以便于快速开发。

此外，本发明实施例还针对位姿标定数据集生成方法提供了相应的实现装置、系统、电子设备及可读存储介质，进一步使得所述方法更具有实用性，所述装置、系统、电子设备及可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种位姿标定数据集生成方法的流程示意图；

图2为本发明实施例提供的另一种位姿标定数据集生成方法的流程示意图；

图3为本发明实施例提供的位姿标定数据集生成装置的一种具体实施方式结构图；

图4为本发明实施例提供的电子设备的一种具体实施方式结构图；

图5为本发明实施例提供的位姿标定数据集生成系统的一种具体实施方式结构图；

图6为本发明实施例提供的支撑结构件的一种具体实施方式结构图；

图7为本发明实施例提供的位姿标定数据集生成系统的另一种具体实施方式结构图；

图8为本发明实施例提供的位姿标定数据集生成系统的再一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种位姿标定数据集生成方法的流程示意图，本发明实施例可包括以下内容：

S101：预先将当前场景划分为多个子场景。

本步骤中的当前场景是S104步骤生成的位姿标定数据集对应的场景，子场景为当前这个大场景中的小场景，如图2所示，划分得到的这多个子场景可构成当前场景。为了提高后续位姿标定数据集的准确度，各子场景之间的重合区域尽量小。子场景的个数根据当前场景的范围大小、可实现闭环检测的区域大小共同决定，本申请的每个子场景的区域范围要保证其可实现闭环检测

S102：通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，获取各采样节点的位姿数据。

本步骤在对每个子场景进行场景位姿采样和闭环检测之前，会先在子场景中选择多个采样节点，每个子场景中的采集节点的个数可根据实际情况灵活决定，本申请对此均不做任何限定。所属领域技术人员可根据实际情况选择可采集节点场景位姿数据的算法如VIO(visual inertial odometry，视觉惯性里程计)，调用该算法对应的计算机程序实现对每个子场景的场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，VIO算法根据这些历史数据进行闭环检测来实现纠偏，从而降低VIO算法的误差，并将各采样节点的场景位姿数据进行输出，以便本实施例的执行主语获取各采样节点的位姿数据，位姿数据包括位置数据和姿态数据，作为一种可选的实施方式，位置数据可包括世界坐标系中这X、Y、Z坐标轴的坐标信息，姿态数据可包括方位角数据和旋转角数据，位姿数据可为6自由度位姿数据。

S103：将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据。

位姿数据是由可实现位姿数据采集的装置进行采集的，该装置可称为位姿数据采集装置，相应的，位姿数据所处坐标系便是位姿数据采集装置的坐标系，而后续进行数据处理并不是基于该坐标系，为了提高最终位姿标定数据集的精准度，需要将其转换至目标坐标系下，目标坐标系可为任何一种用户需求转换的坐标系，例如可为世界坐标系。为了区别坐标转换前后的位姿数据，将转换后的位姿数据称为标准位姿数据。

S104：根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成当前场景的位姿标定数据集。

本申请的位姿标定数据集包括多个数据对，每个数据对是相应采样节点的位姿数据与对应的图像数据所组成。也就是说，在S103步骤得到标准位姿数据之后，本步骤还需要从图像采集设备中获取其对每个子场景中的每个采样节点进行图像采集所得的图像，也即每个采样节点的场景图像，将所有采样节点的标准位姿数据和场景图像数据进行配准对齐，便生成了最终的位姿标定数据集也即位姿Groud Truth数据集。

在本发明实施例提供的技术方案中，将大场景划分为多个小场景，可将大闭环划分成多个小闭环，这样便可以在每个小场景中实现闭环检测，保证输出的位姿数据具有较好的精度和可靠性，对采样节点所处环境没有要求，针对一定程度上特征缺失场景和相似度较大的场景具有较好的鲁棒性，可在保证一定精度的情况下能同时应用于室外大规模场景和室内场景，实现了在一般性的场景下快速获取高精度、高可靠性的自由度相机位姿标定数据集。此外，相对一些传统的方法如SFM，具有很高的实时性，所需的计算资源相对现有技术大大降低；获得高实时的位姿数据和对应的图像，可保证位姿和图像在时间维度上的较好地对齐，可进一步提升位姿标定数据集的精度。能够给视觉6自由度位姿估计算法的测试、验证和改进提供较大的帮助，同时为视觉定位在不同场景中的快速应用提供支撑，以便于快速开发。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。

上述实施例对如何对每个场景进行场景位姿数据采样并不做任何限定，本实施例还提供了一种位姿数据的采样方式，可包括：

调用VIO算法对第一子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，输出第一子场景的各采样节点的位姿数据；

重启VIO算法；

调用VIO算法对第二子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，输出第二子场景的各采样节点的位姿数据。

可以理解的是，VIO算法由于可以实时快速的采集位姿数据并进行输出，本实施例可将其作为支撑来输出实时位姿。这样能够在保证获取位姿的实时性的同时保证位姿的精度，从而为位姿标定数据集的快速创建提供支撑。此外，由于VIO算法的漂移误差会随着场景规模的增大而增大，且在大场景中不容易实现闭环，而且由于系统内存有限，不能存储足够多的关键帧信息和路标信息，从而造成VIO算法不能较好的实现闭环检测，从而使得位姿标定数据集的精度及可靠性大大降低。本实施例的S101将大场景切分成小场景，相当于将大闭环划分成多个小闭环，由于在小场景范围内VIO算法能够较好的实现闭环检测，从而确保了在小场景范围内VIO算法输出位姿的精度和可靠性。从而较好地减少系统误差。

为了减少VIO算法的系统误差以及清除系统内存中的关键帧信息和路标信息，为后续的其他关键帧的信息和路标信息提供资源，从而保证后续VIO输出的位姿的精度和可靠性，本实施例在调用VIO算法执行完一次当前子场景的场景位姿数据输出之后，再对下一个子场景进行场景位姿数据输出之前，可重启VIO算法。第一子场景和第二子场景均为大场景划分后所得子场景中的任意两个子场景，为了区别二者，称之为第一子场景和第二子场景。作为一种可选的实施方式，第一子场景和第二子场景可以两个相邻的子场景，所谓的相邻是指调用VIO算法进行闭环检测顺序上的相邻。

为了保证最终位姿标定数据集的高精度，本实施例采取对每个子场景按照一定顺序如划分顺序进行依次闭环检测并输出采样结果。当然，为了兼顾效率，所属领域技术人员也可同时对多个子场景进行闭环检测并输出采样结果，这均不影响本申请的实现。

在上述实施例中，对于如何执行步骤S103并不做限定，本实施例中给出坐标转换的一种实施方式，可包括如下步骤：

对每个子场景来说，获取当前子场景的起始采样节点在目标坐标系下的标准位姿数据；基于当前采样节点的最终位姿为下一个采样节点的起始位姿，起始采样节点根据所有两两相邻子场景的起始采样点与结束采样点的坐标转换关系、当前子场景的各个采样节点的相对位姿数据，计算当前子场景的各采样点的位姿数据在目标场景中的位姿。

作为一种可选的实施方式，当前子场景的起始采样节点在目标坐标系下的标准位姿数据的获取过程可为：获取每个子场景的起始采样节点在目标坐标系对应空间的预设方位下所采集的坐标信息，目标坐标系对应空间例如可为三维空间，预设方位例如可为水平且朝南。子场景的起始采样点的坐标信息可通过卷尺和具有水平校正和指南功能的设备如手机作为辅助工具进行外参纠偏，从而降低数据的系统误差。在第一个子场景的起始点的选择上可通过手机的水平指南仪来保证设备的起始采样点是水平且朝南的，终止采样点也是水平且朝南的。为了保证了最终标准位姿数据的可信度，降低系统误差，本实施例可通过卷尺和水平指南仪测量出每个子场景的起始采样点和结束采样点的欧式距离偏移值，根据当前子场景的起始采样节点和结束采样节点的欧式距离偏移值，对各子场景的起始采样节点的坐标信息进行校准，并将校准后的数据作为标准位姿数据。

若第一个子场景也即小场景C1的起始采样节点即节点1在世界坐标系下的表示为

在小场景C1中，VIO算法输出的各个位姿可表示为

n表示小场景C1所包含的采样节点的总个数。在小场景C2中，VIO算法输出的各个采样节点位姿可表示为

在小场景Cm中，VIO算法输出的各个采样节点位姿可表示为

m表示大场景所切分的子场景的总个数。显然，当前采样节点的最终位姿就是下个采样节点的起始位姿，所以通过坐标转换关系，容易得在小场景C1中的各个位姿在世界坐标系下的表示为

可以得到在小场景C2中的各个位姿在世界坐标系下的表示为

可以得到在小场景Cm中的各个位姿在世界坐标系下的表示为

作为S104的一种可选的实施方式，本步骤可进一步用于：

基于每个子场景的各采样节点的标准位姿数据，构建6自由度位姿序列；获取每个子场景中的各采样节点对应的场景图像；基于各采样节点的场景图像，构建图像序列；对位姿序列和图像序列进行对齐处理；将对齐后的数据串联生成6自由度位姿标定数据集，以作为当前场景的位姿标定数据集。

在本实施例中，将每个子场景的各采样节点串联起来得到大场景下的6自由度位姿序列可表示如下：

各个采样节点在不同时刻获取到的场景图像数据如RGB图像的图像序列可表示为：

将PoseSet和ImageSet进行对齐，最终将对齐后的数据串联起来得到最终的6自由度位姿标定数据集。

在本实施例中，涉及到场景图像对应的图像采集设备和位姿数据对应的位姿数据采集装置的坐标转换，可通过设计机械结构的方式结合三维设计软件在线得到图像采集设备如RGB相机和位姿数据采集装置如VIO模块之间较为精确的坐标转换关系，使得RGB相机得到的场景图像和VIO输出的位姿数据在几何空间上能较好地对齐，从而提升6自由度位姿标定数据集的精度。

本发明实施例还针对位姿标定数据集生成方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的位姿标定数据集生成装置进行介绍，下文描述的位姿标定数据集生成装置与上文描述的位姿标定数据集生成方法可相互对应参照。

基于功能模块的角度，参见图3，图3为本发明实施例提供的位姿标定数据集生成装置在一种具体实施方式下的结构图，该装置可包括：

划分模块301，用于预先将当前场景划分为多个子场景；

位姿数据获取模块302，用于通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，以获取各采样节点的位姿数据；

坐标转换模块303，用于将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据；

数据集生成模块304，用于根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成当前场景的位姿标定数据集。

可选的，在本实施例的一些实施方式中，上述位姿数据获取模块302可进一步用于：调用VIO算法对第一子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，输出第一子场景的各采样节点的位姿数据；重启VIO算法；调用VIO算法对第二子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，输出第二子场景的各采样节点的位姿数据。

作为本实施例的一种可选的实施方式，上述坐标转换模块303可进一步用于：获取当前子场景的起始采样节点在目标坐标系下的标准位姿数据；基于当前采样节点的最终位姿为下一个采样节点的起始位姿，起始采样节点根据所有两两相邻子场景的起始采样点与结束采样点的坐标转换关系、当前子场景的各个采样节点的相对位姿数据，计算当前子场景的各采样点的位姿数据在目标场景中的位姿。

可选的，在本实施例的另一些实施方式中，上述数据集生成模块304可进一步用于：基于每个子场景的各采样节点的标准位姿数据，构建6自由度位姿序列；获取每个子场景中的各采样节点对应的场景图像；基于各采样节点的场景图像，构建图像序列；对位姿序列和图像序列进行对齐处理；将对齐后的数据串联生成6自由度位姿标定数据集，以作为当前场景的位姿标定数据集。

本发明实施例位姿标定数据集生成装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可实现在一般性的场景下快速获取高精度、高可靠性的位姿标定数据集。

上文中提到的位姿标定数据集生成装置是从功能模块的角度描述，进一步的，本申请还提供一种电子设备，是从硬件角度描述。图4为本申请实施例提供的电子设备在一种实施方式下的结构示意图。如图4所示，该电子设备包括存储器40，用于存储计算机程序；处理器41，用于执行计算机程序时实现如上述任一实施例提到的位姿标定数据集生成方法的步骤。

其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、8核心处理器，处理器41还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器41可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable GateArray，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。存储器40在一些实施例中可以是电子设备的内部存储单元，例如服务器的硬盘。存储器40在另一些实施例中也可以是电子设备的外部存储设备，例如服务器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器40还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器40不仅可以用于存储安装于电子设备的应用软件及各类数据，例如：执行漏洞处理方法的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可实现在一般性的场景下快速获取高精度、高可靠性的位姿标定数据集。

可以理解的是，如果上述实施例中的位姿标定数据集生成方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器(例如SD或DX存储器等)、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种可读存储介质，存储有计算机程序，计算机程序被处理器执行时如上任意一实施例位姿标定数据集生成方法的步骤。

本发明实施例最后还提供了一种位姿标定数据集生成系统，请参见图5，包括支撑结构件51、图像采集设备52、位姿数据采集装置53和处理器41。

其中，图像采集设备52、位姿数据采集装置53和处理器41均安装在支撑结构件51中，换句话说，支撑机构件51是用于位姿标定数据集生成系统固定相关的硬件、中间件及其他一些器件如移动电源。图像采集设备52的个数和在支撑结构件51的安装位置可根据实际情况进行灵活选择，本申请对此不做任何限定。如图6及图7所示，支撑结构件51可为八面体或者六面体结果，所属领域技术人员可根据实际情况进行灵活设计，本申请对此不做任何限定。根据支撑结构件51的结构参数信息包括但并不限制于尺寸信息和形状信息可能得到图像采集设备52和位姿数据采集装置53之间较为精确的坐标转换关系，也即外参，其在支撑结构件51的结构设计阶段可以通过三维设计软件在线得到，使得图像采集设备52得到的图像和位姿数据采集装置53输出的位姿在几何空间上能较好地对齐，从而提升最终生成位姿标定数据集的精度。

在本实施例中，图像采集设备52可用于采集当前场景中各采样节点的场景图像，并将各采样节点的场景图像存储在本地和/或实时发送至云端。图像采集设备52可为任何一种可采集当前场景中各采样节点的图像的设备，包括但并不限制于为RGB相机、全局快门彩色相机、摄像机。作为一种可选的实施方式，全局快门彩色相机曝光时间短，保证装置动态采集的图像不模糊，本实施例的图像采集设备52可为全局快门彩色相机。

在本实施例中，位姿数据采集装置53可用于采集当前场景中各采样节点的位姿数据，并将各采样节点的位姿数据发送给处理器41。位姿数据采集装置53可为任何一种可采集当前场景中各采样节点的位姿数据的设备，包括但并不限制于VIO模块。作为一种可选的实施方式，位姿数据采集装置53为一种VIO模块，其可包括惯性传感器531和多个灰度相机532。VIO模块可参阅现有技术中的任何一种VIO模块，本申请对此不做任何限定。灰度相机532例如可为全局快门灰度相机，位姿数据采集装置53中的灰度相机532可为2个，位姿数据采集装置53可用于获取当前场景中每个采样节点相对子场景的相对位姿数据。如果将相机坐标系中的点坐标转换为世界坐标系，通常IMU(Inertial Measurement Unit，惯性测量单元)坐标系的原点在世界坐标系的位置已知，通过IMU坐标系到相机坐标系的外参，以及IMU坐标系的姿态，可以得到相机坐标系到世界坐标系的转换关系。也就是说，图像采集设备52如RGB相机的IMU的坐标转换关系在硬件的设计过和制造可以获得，从而确保了当前状态下位姿和RGB图像数据的对齐。通过该装置获得不同状态下的位姿和彩色图片作为对应时刻的数据对。

在本实施例中，处理器41可用于执行存储器中存储的计算机程序时实现如上任意一个实施例所述位姿标定数据集生成方法的步骤。本实施例的处理器41可参阅上述实施例的描述，此处便不再赘述。本实施例的处理器41可以最小系统开发板的形式体现在系统中，其包括但不局限于树莓派或者英特尔的Jeston nano。

作为一种可选的实施方式，上述装置还可包括云服务器54和无线网卡55。无线网卡55可安装在支撑结构件51中，其可为任何一种型号，这均不影响本申请的实现。图像采集设备52将各采样节点的场景图像通过无线网卡发送给云服务器；位姿数据采集装置53将各采样节点的位姿数据通过无线网卡发送给云服务器。通过将采集的数据存储在云服务器中，可保证数据的安全性，此处，还可将大量计算过程放到云服务器中，减轻处理器41的工作时间，提高整体数据处理效率。

不可避免的，位姿标定数据集生成系统还可包括存储器40，本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的位姿标定数据集生成方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统402和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括Windows、Unix、Linux等。数据403可以包括但不限于位姿标定数据集生成结果对应的数据等。

在一些实施例中，上述位姿标定数据集生成系统还可包括有显示屏42、输入输出接口43、通信接口44或者称为网络接口、电源45以及通信总线46。其中，显示屏42、输入输出接口43比如键盘(Keyboard)属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在位姿标定数据集生成系统中处理的信息以及用于显示可视化的用户界面。通信接口44可选的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在位姿标定数据集生成系统与其他电子设备之间建立通信连接。通信总线46可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本领域技术人员可以理解，图8中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器47。

本发明实施例的位姿标定数据集生成系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可通过装置强大的运算能力，获得高实时的VIO位姿和对应的图像，从而保证了位姿和图像在时间维度上的较好地对齐，从而提升数据集的精度，实现在一般性的场景下快速获取高精度、高可靠性的位姿标定数据集。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种位姿标定数据集生成方法、装置、系统、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种位姿标定数据集生成方法，其特征在于，包括：

预先将当前场景划分为多个子场景；

通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，获取各采样节点的位姿数据；

将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据；

根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成所述当前场景的位姿标定数据集。

2.根据权利要求1所述的位姿标定数据集生成方法，其特征在于，所述通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，获取各采样节点的位姿数据，包括：

调用VIO算法对第一子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，输出所述第一子场景的各采样节点的位姿数据；

重启所述VIO算法；

调用所述VIO算法对第二子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，输出所述第二子场景的各采样节点的位姿数据。

3.根据权利要求2所述的位姿标定数据集生成方法，其特征在于，所述将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据，包括：

获取当前子场景的起始采样节点在所述目标坐标系下的标准位姿数据；

基于当前采样节点的最终位姿为下一个采样节点的起始位姿，根据所有两两相邻子场景的起始采样点与结束采样点的坐标转换关系、当前子场景的各个采样节点的相对位姿数据，计算当前子场景的各采样点的位姿数据在目标场景中的位姿。

4.根据权利要求3所述的位姿标定数据集生成方法，其特征在于，所述获取当前子场景的起始采样节点在所述目标坐标系下的标准位姿数据，包括：

获取每个子场景的起始采样节点在所述目标坐标系对应空间的预设方位下所采集的坐标信息；

根据所述当前子场景的起始采样节点和结束采样节点的欧式距离偏移值，对所述当前子场景的起始采样节点的坐标信息进行校准，并将校准后的数据作为所述标准位姿数据。

5.根据权利要求1至4任意一项所述的位姿标定数据集生成方法，其特征在于，所述根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成所述当前场景的位姿标定数据集，包括：

基于每个子场景的各采样节点的标准位姿数据，构建6自由度位姿序列；

获取每个子场景中的各采样节点对应的场景图像；

基于各采样节点的场景图像，构建图像序列；

对所述6自由度位姿序列和所述图像序列进行对齐处理；

将对齐后的数据串联生成6自由度位姿标定数据集，以作为所述当前场景的位姿标定数据集。

6.一种位姿标定数据集生成装置，其特征在于，包括：

划分模块，用于预先将当前场景划分为多个子场景；

位姿数据获取模块，用于通过对每个子场景进行场景位姿采样，并且在相应位姿轨迹于三维空间形成闭环的基础上进行检测，以获取各采样节点的位姿数据；

坐标转换模块，用于将每个子场景的各采样节点的位姿数据转换为目标坐标系下的标准位姿数据；

数据集生成模块，用于根据每个子场景的各采样节点的标准位姿数据和相对应的场景图像生成所述当前场景的位姿标定数据集。

7.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至5任一项所述位姿标定数据集生成方法的步骤。

8.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述位姿标定数据集生成方法的步骤。

9.一种位姿标定数据集生成系统，其特征在于，包括支撑结构件、图像采集设备、位姿数据采集装置和处理器；所述图像采集设备、所述位姿数据采集装置和所述处理器均安装在所述支撑结构件；

所述图像采集设备用于采集当前场景中各采样节点的场景图像；

所述位姿数据采集装置用于采集所述当前场景中各采样节点的位姿数据，并将各采样节点的位姿数据发送给所述处理器；

所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述位姿标定数据集生成方法的步骤。

10.根据权利要求9所述的位姿标定数据集生成系统，其特征在于，还包括云服务器和无线网卡；

所述图像采集设备将各采样节点的场景图像通过所述无线网卡发送给所述云服务器；

所述位姿数据采集装置将各采样节点的位姿数据通过所述无线网卡发送给所述云服务器。

Images