CN109859154A - 一种数据融合方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种数据融合方法、装置、设备及介质，用以降低数据融合的计算成本。所述数据融合方法，包括：基于目标场景，获取同一时刻相机采集的图像数据与激光雷达设备采集的点云数据；将所述图像数据转换为点云数据，并确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系；基于所述坐标转换关系，将所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合。

Description

一种数据融合方法、装置、设备及介质

技术领域

本发明涉及人工智能领域，尤其涉及一种数据融合方法、装置、设备及介质。

背景技术

数据融合技术，包括对各种信息源给出的有用信息进行采集、传输、过滤及合成，以辅助人们进行环境判断、规划、探测、验证以及诊断。

数据融合的融合方式主要有前融合以及后融合两种方式，现有的数据前融合方式是将传感器的原始信息进行时间同步和空间标定，生成高维特征图，该高维特征图可以表征场景的空间位置、色彩和反射强度等信息。现有的数据前融合方式在进行数据融合时，在将传感器的原始数据进行时间同步时，需要通过使用触发软件实现硬同步，并且在两个传感器的采集频率不同时，无法实现时间同步或通过牺牲一个传感器的性能的方式将两个传感器设置为相同的采集频率实现时间同步，在进行时间同步之后，进行空间标定时，需要为传感器安装硬件，保证传感器间相对位姿的精确度。

现有的数据前融合方式在进行数据融合时需要借助专门的硬件和软件对数据进行实时处理，计算成本较高。

发明内容

本发明实施例提供一种数据融合方法、装置、设备及介质，用以降低数据融合的计算成本。

第一方面，本发明实施例提供了一种数据融合方法，包括：

基于目标场景，获取同一时刻相机采集的图像数据与激光雷达设备采集的点云数据；

将图像数据转换为点云数据，并确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系；

基于坐标转换关系，将图像数据对应的点云数据与激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合。

本发明实施例提供的数据融合方法，针对目标场景获取的同一时刻的相机采集的图像数据与激光雷达采集的点云数据，将图像数据转换为点云数据，并确定将图像数据对应的点云数据与激光雷达设备采集的点云数据建立在同一个坐标系下时的坐标转换关系，并根据坐标转换关系将图像数据对应的点云数据与激光雷达设备采集的点云数据转换在同一个坐标系下，将处于同一个坐标系下的点云数据进行融合，得到融合数据，与现有的数据前融合方式相比，不需要借助专门的硬件和软件，降低了数据融合的计算成本。

在一种可能的实施方式中，本发明实施例提供的上述方法中，基于坐标转换关系，将图像数据对应的点云数据与激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合，包括：

基于坐标转换关系，对图像数据对应的点云数据进行坐标变换，并将坐标变换后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合；或者

基于坐标转换关系，对激光雷达设备采集的点云数据进行坐标变换，并将坐标变换后的激光雷达设备的点云数据与图像数据对应的点云数据进行融合。

本发明实施例提供的数据融合方法，在基于坐标转换关系，将图像数据对应的点云数据与激光雷达设备采集的点云数据转换到同一坐标系下时，可以对图像数据对应的点云数据进行转换，也可以对激光雷达设备采集的点云数据进行转换，然后将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合，提高了数据融合的灵活性。

在一种可能的实施方式中，本发明实施例提供的上述方法中，确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系，包括：

利用第一预设算法确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

本发明实施例提供的数据融合方法，通过第一预设算法即可得到图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系，计算量小，节约了计算资源。

在一种可能的实施方式中，本发明实施例提供的上述方法中，确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系，包括：

利用第一预设算法确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的初级转换关系；

基于图像数据对应的点云数据和激光雷达设备采集的点云数据，利用第二预设算法对初级转换关系进行修正，得到图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

本发明实施例提供的数据融合方法，在利用第一预设算法确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的初级转换关系后，基于图像数据对应的点云数据和激光雷达设备采集的点云数据，利用第二预设算法对初级转换关系进行修正，得到图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系，提高了确定出的坐标转换关系的准确性。

第二方面，本发明实施例还提供了一种数据融合装置，包括：

获取单元，用于基于目标场景，获取同一时刻相机采集的图像数据与激光雷达设备采集的点云数据；

转换单元，用于将图像数据转换为点云数据，并确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系；

处理单元，用于基于坐标转换关系，将图像数据对应的点云数据与激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合。

在一种可能的实施方式中，本发明实施例提供的上述装置中，处理单元具体用于：

基于坐标转换关系，对图像数据对应的点云数据进行坐标变换，并将坐标变换后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合；或者

基于坐标转换关系，对激光雷达设备采集的点云数据进行坐标变换，并将坐标变换后的激光雷达设备的点云数据与图像数据对应的点云数据进行融合。

在一种可能的实施方式中，本发明实施例提供的上述装置中，转换单元具体用于：

利用第一预设算法确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

在一种可能的实施方式中，本发明实施例提供的上述装置中，转换单元具体用于：

利用第一预设算法确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的初级转换关系；

基于图像数据对应的点云数据和激光雷达设备采集的点云数据，利用第二预设算法对初级转换关系进行修正，得到图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

第三方面，本发明实施例还提供了一种数据融合设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现本发明实施例第一方面提供的数据融合方法。

第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现本发明实施例第一方面提供的数据融合方法。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的一种数据融合方法的示意流程图；

图2为本发明实施例提供的一种数据融合方法的具体流程的示意流程图；

图3为本发明实施例提供的一种数据融合装置的结构示意图；

图4为本发明实施例提供的一种数据融合设备的结构示意图。

具体实施方式

以下结合附图对本申请的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本申请，并不用于限定本申请。

下面结合说明说附图，对本发明实施例提供的数据融合方法、装置、设备及介质的具体实施方式进行说明。

本发明实施例提供了一种数据融合方法，如图1所示，可以包括如下步骤：

步骤101、基于目标场景，获取同一时刻相机采集的图像数据与激光雷达设备采集的点云数据。

需要说明的是，由于在进行数据融合时，需要对相机和激光雷达设备采集的数据进行时间同步和空间标定，故在采集数据时，需要相机和激光雷达设备在同一时刻采集同一场景的数据。

其中，相机采集图像数据和激光雷达设备采集点云数据时，可以实时采集，也可以周期性采集，本发明实施例对此不做限定。

需要说明的是，激光雷达设备与相机在采集数据时采集频率不同，激光雷达设备采集一帧点云数据，相机可以采集3-4帧的图像数据。

步骤102、将图像数据转换为点云数据，并确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

具体实施时，将图像数据转换为点云数据时，可以利用预设算法对图像数据进行转换，得到图像数据对应的点云数据。

需要说明的是，预设算法可以是单目或双目即时定位与地图构建(simultaneouslocalization and mapping，SLAM)算法，也可以是基于深度学习的单目深度估计或基于多帧图像的三维重建等算法，本发明实施例对此不做限定。

其中，激光雷达设备采集一帧数据时，相机可以采集3-4帧的图像数据，在利用预设算法将3-4帧的图像数据转换为点云数据时，会得到一组点云数据或3-4组不完全相同的点云数据。当得到3-4组不完全相同的点云数据时，由于在将图像数据对应的点云数据与激光雷达设备采集的点云数据进行融合时，无法将3-4组点云数据与激光雷达设备采集的点云数据直接进行融合，故在将图像数据转换为点云数据时，可以将3-4帧图像对应的点云数据转到同一坐标系下，形成一个点云数据，该坐标系的原点可以为相机采集的最后一帧图像数据(3-4帧图像数据中最后一帧图像数据)对应的点云数据中的坐标原点。

具体实施时，确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系时，利用第一预设算法对图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

在一种可能的实施方式中，为了提高确定出的坐标转换关系的准确性，基于第一预设算法确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的初级转换关系后，再基于图像数据对应的点云数据和激光雷达设备采集的点云数据，利用第二预设算法对初级转换关系进行修正，得到图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

需要说明的是，第一预设算法可以是遗传算法，第二预设算法可以是ICP(Iterative Closest Point，ICP)算法，或者ICP算法的变种算法，当然也可以是其它算法，本发明实施例对此不做限定。

步骤103、基于坐标转换关系，将图像数据对应的点云数据与激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合。

具体实施时，基于坐标转换关系，对图像数据对应的点云数据进行坐标变换，并将坐标变换后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合；或者基于坐标转换关系，对激光雷达设备采集的点云数据进行坐标变换，并将坐标变换后的激光雷达设备的点云数据与图像数据对应的点云数据进行融合。

具体实施时，将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合时，将同一坐标系下的同一位置的点云数据中的信息进行叠加。

结合图2，对本发明实施例提供的数据融合方法的具体步骤进行详细说明。

如图2所示，本发明实施例提供的数据融合方法，其具体步骤可以包括：

步骤201、基于目标场景，获取同一时刻相机采集的图像数据与激光雷达设备采集的点云数据。

步骤202、将图像数据转换为点云数据。

具体实施时，利用预设算法对图像数据进行转换，得到图像数据对应的点云数据。

其中，激光雷达设备采集一帧数据时，相机可以采集3-4帧的图像数据，在利用预设算法将3-4帧的图像数据转换为点云数据时，会得到一组点云数据或3-4组不完全相同的点云数据。当得到3-4组不完全相同的点云数据时，由于在将图像数据对应的点云数据与激光雷达设备采集的点云数据进行融合时，无法将3-4组点云数据直接与激光雷达设备采集的点云数据直接进行融合，故在将图像数据转换为点云数据时，可以将3-4帧的图像对应的点云数据转到同一坐标系下，形成一个点云数据，该坐标系的原点可以为相机采集的最后一帧图像数据(3-4帧图像数据中最后一帧图像数据)对应的点云数据中的坐标原点。

步骤203、确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

具体实施时，可以利用第一预设算法确定图像数据对应的点云数据与激光雷达设备的点云数据之间的坐标转换关系；为了提高确定出的坐标转换关系的准确性，也可以基于图像数据对应的点云数据和激光雷达设备采集的点云数据，利用第二预设算法对基于第一预设算法得到的初级坐标转换关系进行修正，得到图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

步骤204、基于坐标转换关系，将图像数据对应的点云数据与激光雷达设备采集的点云数据转换到同一坐标系下。

具体实施时，基于坐标转换关系，对图像数据对应的点云数据进行坐标变换，使转换后的图像数据对应的点云数据与激光雷达设备的点云数据处于同一坐标系下；或者基于坐标转换关系，对激光雷达设备采集的点云数据进行坐标变换，使转换后的激光雷达设备的点云数据与图像数据对应的点云数据处于同一坐标系下。

步骤205、将转换到同一坐标系下的图像数据对应的点云数据与激光雷达设备采集的点云数据进行融合。

基于相同的发明构思，本发明实施例还提供一种数据融合装置。

如3示，本发明实施例提供的数据融合装置，包括：

获取单元301，用于基于目标场景，获取同一时刻相机采集的图像数据与激光雷达设备采集的点云数据；

转换单元302，用于将图像数据转换为点云数据，并确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系；

处理单元303，用于基于坐标转换关系，将图像数据对应的点云数据与激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合。

在一种可能的实施方式中，本发明实施例提供的上述装置中，处理单元303具体用于：

基于坐标转换关系，对图像数据对应的点云数据进行坐标变换，并将坐标变换后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合；或者基于坐标转换关系，对激光雷达设备采集的点云数据进行坐标变换，并将坐标变换后的激光雷达设备的点云数据与图像数据对应的点云数据进行融合。

在一种可能的实施方式中，本发明实施例提供的上述装置中，转换单元302具体用于：

利用第一预设算法确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

在一种可能的实施方式中，本发明实施例提供的上述装置中，转换单元302具体用于：

利用第一预设算法确定图像数据对应的点云数据与激光雷达设备采集的点云数据之间的初级转换关系；

基于图像数据对应的点云数据和激光雷达设备采集的点云数据，利用第二预设算法对初级转换关系进行修正，得到图像数据对应的点云数据与激光雷达设备采集的点云数据之间的坐标转换关系。

另外，结合图1-图3描述的本发明实施例的数据融合方法和装置可以由数据融合设备来实现。图4示出了本发明实施例提供的数据融合设备的硬件结构示意图。

数据融合设备可以包括处理器401以及存储有计算机程序指令的存储器402。

具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种数据融合方法。

在一个示例中，数据融合设备还可包括通信接口404和总线410。其中，如图4所示，处理器401、存储器402、通信接口404通过总线410连接并完成相互间的通信。

通信接口404，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将数据融合设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

数据融合设备可以基于针对目标场景，同一时刻相机采集的图像数据与激光雷达设备采集的点云数据，执行本发明实施例中的数据融合方法，从而实现结合图1-图3描述的数据融合方法和装置。

另外，结合上述实施例中的数据融合方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据融合方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据融合方法，其特征在于，包括：

基于目标场景，获取同一时刻相机采集的图像数据与激光雷达设备采集的点云数据；

将所述图像数据转换为点云数据，并确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系；

基于所述坐标转换关系，将所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合。

2.根据权利要求1所述的方法，其特征在于，所述基于所述坐标转换关系，将所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合，包括：

基于所述坐标转换关系，对所述图像数据对应的点云数据进行坐标变换，并将坐标变换后的图像数据对应的点云数据与所述激光雷达设备的点云数据进行融合；或者

基于所述坐标转换关系，对所述激光雷达设备采集的点云数据进行坐标变换，并将坐标变换后的激光雷达设备的点云数据与所述图像数据对应的点云数据进行融合。

3.根据权利要求1所述的方法，其特征在于，所述确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系，包括：

利用第一预设算法确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系。

4.根据权利要求1所述的方法，其特征在于，所述确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系，包括：

利用第一预设算法确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的初级转换关系；

基于所述图像数据对应的点云数据和所述激光雷达设备采集的点云数据，利用第二预设算法对所述初级转换关系进行修正，得到所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系。

5.一种数据融合装置，其特征在于，包括：

获取单元，用于基于目标场景，获取同一时刻相机采集的图像数据与激光雷达设备采集的点云数据；

转换单元，用于将所述图像数据转换为点云数据，并确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系；

处理单元，用于基于所述坐标转换关系，将所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据转换到同一坐标系下，并将转换到同一坐标系后的图像数据对应的点云数据与激光雷达设备的点云数据进行融合。

6.根据权利要求5所述的装置，其特征在于，所述处理单元具体用于：

基于所述坐标转换关系，对所述图像数据对应的点云数据进行坐标变换，并将坐标变换后的图像数据对应的点云数据与所述激光雷达设备的点云数据进行融合；或者

基于所述坐标转换关系，对所述激光雷达设备采集的点云数据进行坐标变换，并将坐标变换后的激光雷达设备的点云数据与所述图像数据对应的点云数据进行融合。

7.根据权利要求5所述的装置，其特征在于，所述转换单元具体用于：

利用第一预设算法确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系。

8.根据权利要求5所述的装置，其特征在于，所述转换单元具体用于：

利用第一预设算法确定所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的初级转换关系；

基于所述图像数据对应的点云数据和所述激光雷达设备采集的点云数据，利用第二预设算法对所述初级转换关系进行修正，得到所述图像数据对应的点云数据与所述激光雷达设备采集的点云数据之间的坐标转换关系。

9.一种数据融合设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-4中任一项所述的方法。