CN115861388A - 高精地图中配准点云的校验方法和模型训练方法、装置 - Google Patents

Abstract

本公开提供了一种配准点云的校验方法和光流值估计模型的训练方法、装置，涉及人工智能领域，具体涉及智能交通、计算机视觉、虚拟现实和增强现实等技术领域，可应用于高精地图制作和三维场景的生成场景。配准点云的校验方法的具体实现方案为：根据配准的两帧点云之间的变换关系，将两帧点云变换到相同坐标空间中，得到变换后的两帧点云；确定针对变换后的两帧点云的多个光流值；多个光流值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值；每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；两个栅格网与变换后的两帧点云分别对应；根据多个光流值，确定配准的两帧点云的配准准确性。

Description

高精地图中配准点云的校验方法和模型训练方法、装置

技术领域

本公开涉及人工智能领域，具体涉及智能交通、计算机视觉、虚拟现实和增强现实等技术领域，可应用于高精地图制作和三维场景的生成场景。

背景技术

随着计算机技术和电子技术的发展，计算机视觉技术在多个场景得到了广泛的应用。例如，可以基于计算机视觉技术进行高精地图制作和三维场景的生成。在高精地图制作和三维场景的生成中，点云配准技术为关键技术之一。逼真的高精地图和三维场景的生成需要高精度的点云配准。

发明内容

本公开旨在提供一种用于对点云配准的准确性进行校验的配准点云的校验方法和光流值估计模型的训练方法、装置、设备和介质。

根据本公开的一个方面，提供了一种配准点云的校验方法，包括：根据配准的两帧点云之间的变换关系，将配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云；确定针对变换后的两帧点云的多个光流值；多个光流值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值；每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；两个栅格网与变换后的两帧点云分别对应；以及根据多个光流值，确定配准的两帧点云的配准准确性。

根据本公开的另一个方面，提供了一种光流值估计模型的训练方法，包括：根据配准的两帧点云之间的变换关系，将配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云；对变换后的两帧点云中的第一帧点云随机变换，得到第三帧点云；根据第三帧点云与第一帧点云之间的位置关系，确定针对第三帧点云与第一帧点云的光流值，作为光流值真值；采用光流值估计模型对第三帧点云与变换后的两帧点云中的第二帧点云进行处理，得到多个光流值预测值；多个光流值预测值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值预测值；每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；两个栅格网包括与第三帧点云对应的第一栅格网和与第二帧点云对应的第二栅格网；以及根据多个光流值预测值与光流值真值之间的差异，对光流值估计模型进行训练。

根据本公开的另一个方面，提供了一种配准点云的校验装置，包括：点云变换模块，用于根据配准的两帧点云之间的变换关系，将配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云；光流值估计模块，用于确定针对变换后的两帧点云的多个光流值；多个光流值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值；每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；两个栅格网与变换后的两帧点云分别对应；以及配准校验模块，用于根据多个光流值，确定配准的两帧点云的配准准确性。

根据本公开的另一个方面，提供了一种光流值估计模型的训练装置，包括：点云变换模块，用于根据配准的两帧点云之间的变换关系，将配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云；随机变换模块，用于对变换后的两帧点云中的第一帧点云随机变换，得到第三帧点云；光流值确定模块，用于根据第三帧点云与第一帧点云之间的位置关系，确定针对第三帧点云与第一帧点云的光流值，作为光流值真值；光流值估计模块，用于采用光流值估计模型对第三帧点云与变换后的两帧点云中的第二帧点云进行处理，得到多个光流值预测值；多个光流值预测值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值预测值；每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；两个栅格网包括与第三帧点云对应的第一栅格网和与第二帧点云对应的第二栅格网；以及模型训练模块，用于根据多个光流值预测值与光流值真值之间的差异，对光流值估计模型进行训练。

根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的配准点云的校验方法和/或光流值估计模型的训练方法。

根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的配准点云的校验方法和/或光流值估计模型的训练方法。

根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现本公开提供的配准点云的校验方法和/或光流值估计模型的训练方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的配准点云的校验方法和光流值估计模型的训练方法、装置的应用场景示意图；

图2是根据本公开实施例的配准点云的校验方法的流程示意图；

图3是根据本公开实施例的得到多个光流值的原理示意图；

图4是根据本公开实施例的确定配准准确性的原理示意图；

图5是根据本公开实施例的光流值估计模型的结构示意图；

图6是根据本公开实施例的光流值估计网络的训练方法的流程图；

图7是根据本公开实施例的配准点云的校验装置的结构示意图；

图8是根据本公开实施例的光流值估计网络的训练装置的结构框图；

图9是用来实施本公开实施例的配准点云的校验方法和/或光流值估计网络的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

以下先对本公开涉及的专业术语进行解释：

光流，是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

一帧点云，本公开将100ms(对应典型值10Hz)内累积的点云数据作为一帧点云。

点云格网化，可以分为二维栅格化与三维体素化。其中，二维栅格化主要是对机载激光雷达采集的点云数据的处理，二维栅格化得到的数据为从俯视角度观察得到的数据。二维栅格化得到的数据类似规则的影像数据，二维栅格化通过将点云投影到XOY平面的栅格网上来实现。

点云配准，目的在于比较或融合针对同一对象在不同条件下获取的图像。具体地说，点云配准指的是输入两帧点云，输出一个变换T，使得对其中一帧点云进行变换T后得到的点云与另一帧点云的重合程度尽可能高，使得两帧点云中对应于空间同一位置的点一一对应起来。

点云配准的精度会影响生成的高精地图和三维场景的真实度。例如，在自动驾驶场景中，点云在水平方向上的配准精度还会影响自动驾驶车辆的定位精度。为了提高点云配准精度并不断地对点云配准的算法进行调优，可以对点云配准的准确性进行校验。例如，可以根据配准后点云的局部重影、局部方差变化等来对点云配准的准确性进行校验。但该些方法仅关注了局部特征，当局部出现双层平面或者噪声较大时，则校验效果不理想。

为了解决该问题，本公开提供了一种配准点云的校验方法和光流值估计模型的训练方法、装置、设备和介质。以下先结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的配准点云的校验方法和光流值估计模型的训练方法、装置的应用场景示意图。

如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、服务器和自动驾驶系统等等。

该电子设备110例如可以对自动驾驶车辆上的自动驾驶系统配准的点云120进行处理，以确定该配准的点云的配准准确性130，从而确定是否采用该配准的点云进行自动驾驶车辆的定位和路径规划。

在一实施例中，例如可以根据配准的两帧点云在俯视方向的特征的匹配关系，即配准的两帧点云的鸟瞰图的匹配关系，来确定配准的两帧点云的匹配度。或者，还可以先根据配准的两帧点云的变换关系将两帧点云变换为同一坐标空间的点云，将变换至同一坐标空间的两帧点云投射到水平方向的栅格网中，并根据该两帧点云的栅格网中对应栅格的光流值来确定配准的两帧点云的匹配度。如此，可以避免仅考虑局部特征的校验方法所存在的问题。

在一实施例中，可以采用光流值估计模型140来对变换至同一空间坐标的两帧点云进行处理，从而预测得到光流值。该光流值估计模型140可以为预先训练好的模型。

在一实施例中，该应用场景100还可以包括服务器150，电子设备110可以通过网络与服务器150通信连接，服务器150可以为用来为电子设备110中安装的客户端应用的运行提供支持的后台管理服务器。例如，光流值估计模型140可以由服务器150训练得到后发送给电子设备110。电子设备110可以根据该光流值估计模型来校验配准的两帧点云。如此，可以根据校验结果对自动驾驶车辆的自动驾驶系统采用的点云配准算法进行调优。

需要说明的是，本公开提供的配准点云的校验方法可以由电子设备110执行。相应地，本公开提供的配准点云的校验装置可以设置在电子设备110中。本公开提供的光流值估计模型的训练方法可以由服务器150执行。相应地，本公开提供的光流值估计模型的训练装置可以设置在服务器150中。

应该理解，图1中的电子设备110和服务器150的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的电子设备110和服务器150。

以下将结合图2～图5对本公开提供的配准点云的校验方法进行详细描述。

图2是根据本公开实施例的配准点云的校验方法的流程示意图。

如图2所示，该实施例的配准点云的校验方法200可以包括操作S210～操作S230。

在操作S210，根据配准的两帧点云之间的变换关系，将两帧点云变换到相同坐标空间中，得到变换后的两帧点云。

例如，配准的两帧点云包括点云P_s(source)和点云P_t(target)，该两帧点云之间的变换关系为T＝(R，t)，该实施例可以采用以下公式(1)来对点云P_s(source)进行变换，从而将点云P_s(source)转换至点云P_t(target)所在的坐标空间。其中，R为点云P_t(target)相对于点云P_s(source)的旋转矩阵，t为点云P_t(target)相对于点云P_s(source)的位移矩阵。则转换得到的点云P_s’(source)与点云P_t(target)即为变换后的两帧点云。

RP_s(source)+t＝P_s’(source) 公式(1)

在操作S220，确定针对变换后的两帧点云的多个光流值。

该实施例中，可以先将变换后的两帧点云P_s’(source)与P_t(target)投射到水平面，并二维栅格化得到栅格网。栅格网中栅格的个数例如可以根据实际需求进行设定，单个栅格的尺寸(即二维栅格网的分辨率)可以根据实际需求进行设定。例如，单个栅格的尺寸可以为20cm*20cm，栅格网可以包括512行512列的栅格。

例如，对于变换后的两帧点云，若第一帧点云中的第一点云与第二帧点云中的第二点云配准，则可以将第一点云投射到水平面后投影点所在的第一栅格与第二点云投射到水平面后投影点所在的第二栅格之间的光流值，作为针对变换后的两帧点云的一个光流值。相应地，第一栅格与第二栅格为相对应的两个栅格，构成了一个栅格对。如此，针对第一帧点云，投射到水平面并二维栅格化可以得到对应的一个栅格网；针对第二帧点云，投射到水平面并二维栅格化可以得到对应的一个栅格网。配准的第一点云与第二点云可以构成一个点云对。若第一帧点云与第二帧点云中有多个点云对，则可以得到针对变换后的两帧点云的多个光流值。

可以理解的是，若点云P_s(source)与点云P_t(target)的配准准确性高，则点云P_s(source)投射到水平面后二维栅格化所得到的第一栅格网与点云P_t(target)投射到水平面后二维栅格化所得到的第二栅格网会重合。而若配准性低，则两个栅格网的位置会有差别。配准的两个点云中，其中一个点云的投影点在第一栅格网中的栅格位置应与其中另一个点云的投影点在第二栅格网中的栅格位置应相同。

其中，第一栅格与第二栅格之间的光流值例如可以由第一栅格与第二栅格之间的位置关系来确定。例如，若第一栅格在水平面上的位置与第二栅格在该水平面上的位置在行方向上相差2个栅格，在列方向上相差3个栅格，则光流值例如可以由(2，3)表示。或者，该光流值可以为

在操作S230，根据多个光流值，确定配准的两帧点云的配准准确性。

根据本公开的实施例，若配准的两帧点云的配准准确，则根据操作S220确定的光流值应该很小甚至接近于0。而若配准的两帧点云的配准不准确，则根据操作S220确定的光流值应该较大。因此，该操作S230中，例如可以为光流值设定阈值。若多个光流值的平均值大于该阈值，则可以确定配准的两帧点云的配准不准确。若多个光流值的平均值小于等于该阈值，则可以确定配准的两帧点云的配准准确。其中，为光流值设定的阈值可以根据实际需求进行设定，例如可以设定为2、3等大于0且取值较为靠近0的值，该阈值可以为整数也可以为非整数，本公开对此不做限定。

本公开实施例的技术方案，通过根据逐栅格的光流值来对两帧点云的配准进行校验，可以避免仅关注部分特征的情况，也可以避免过拟合情况的发生。因此，可以提高配准准确性校验的可靠性，利于为点云配准算法的优化提供准确的信息。

在一实施例中，可以借由深度学习算法来确定光流值，以提高确定的光流值对噪声的敏感度。通过深度学习来综合考虑全局特征，还可以进一步避免对局部特征的依赖，提高确定的光流值的精度。

例如，该实施例可以采用光流值估计模型对变换后的两帧点云进行处理，得到多个光流值。例如，可以将变换后的两帧点云输入光流值估计模型中，由光流值估计模型输出多个光流值。其中，光流值估计模型例如可以包括以下至少之一：光流网络(FlowNet)、递归全对场变换光流计算模型(Recurrent All-Pairs Field Transforms for Optical Flow，简称为RAFT)。例如，光流值估计模型还可以包括用于将变换后的两帧点云变换为二维栅格图的网络，以为光流值估计网络(FlowNet或RAFT)提供二维图像。以下将结合图3对采用深度学习算法得到多个光流值的原理进行详细描述。

图3是根据本公开实施例的得到多个光流值的原理示意图。

如图3所示，在该实施例300中，光流值估计模型310可以包括特征提取网络311和光流值估计网络312。其中，特征提取网络311可以为用于提取点云的鸟瞰图特征的特征提取网络，以将变换后的两帧点云301、302分别转换为二维特征图，得到两个第一特征图303和304。即，特征提取网络311提取的为变换后的两帧点云各自在俯视角度的特征图。得到的两个第一特征图303和304可以作为光流值估计网络312的输入，由该光流值估计网络312输出多个光流值305。

其中，特征提取网络311例如可以由3D点云目标检测算法PointPillars中的柱特征网络(Pillar Feature Net)和骨干网络(Backbone，例如为2D CNN)构成。或者，特征提取网络311可以为点云神经网络(PointNet)中的部分网络，该部分网络可以为点云神经网络中位于分类网络的多层感知机(MLP)之前的网络。或者，特征提取网络311可以任意的能够将点云数据转换为二维特征的网络，本公开对此不做限定。

其中，光流值估计网络312可以为FlowNet或RAFT，本公开对此不做限定。

该实施例通过在光流值估计模型中设置提取点云在俯视角度的特征图的特征提取网络，可以得到点云的全局特征。如此，可以提高输入光流值估计网络的数据表达信息的全面性，相对于直接输入二维图像的技术方案，还可以在一定程度上减少光流值估计网络的计算量。在采用由3D点云目标检测算法PointPillars中的柱特征网络(Pillar FeatureNet)作为特征提取网络的情况下，还可以进一步提高得到的两个第一特征图的表达能力。这是由于柱特征网络提取得到的特征为对多个不同尺度下的特征融合后的特征。

图4是根据本公开实施例的确定配准准确性的原理示意图。

根据本公开的实施例，采用光流值估计模型估计得到的光流值包括与变换后的两帧点云对应的两个栅格网中具有相同位置的两个栅格构成的所有栅格对的光流值。例如，若设定的栅格网包括512行512列的网格，则预测得到的光流值可以由512×512的光流值矩阵表示，光流值矩阵中的每个元素表示一个栅格对的光流值。则在采用光流值估计模型估计光流值时，得到的光流值除了处理后的两帧点云中配准的两个点云对应的两个栅格之间的第一光流值外，可能还包括未配准的点云在其中一个栅格网中所在的网格与另一个栅格网中对应网格之间的第二光流值。该些第二光流值的存在可能会影响配准校验的准确性。其中一帧点云中未配准的点云可以理解为，在采集另一帧点云时，该未配准的点云所表示的空间位置点未被采集到的情况。

例如，如图4所示，在该实施例400中，可以在光流值估计模型410中设置重叠估计网络413，用于估计变换后的两帧点云对应的两个栅格网中，具有相对应位置的两个栅格是否具有重叠关系。具有重叠关系可以表示该两个栅格均包括点云的投影点。例如，对于具有重叠关系的两个栅格中的第一栅格和第二栅格，变换后的两帧点云中，第一帧点云包括投影到第一栅格的点云，第二帧点云包括投影到第二栅格的点云。

在得到所有栅格对的重叠关系后，即可从所有栅格对中筛选出包括的两个栅格具有重叠关系的目标栅格对。该目标栅格对中的两个栅格即为根据配准结果确定的配准的两个点云对应的栅格。该实施例可以仅根据该目标栅格对的光流值，来确定配准准确性。如此，由于剔除了根据配准结果未配准的点云所对应栅格对的光流值，因此会提高确定的配准准确性的精度。

例如，如图4所示，在该实施例400中，在确定配准准确性时，可以将变换后的两帧点云401、402分别输入特征提取网络411，得到两个第一特征图403和404。随后，该实施例可以将两个第一特征图403和404输入到光流值估计网络412中，由光流值估计网络412输出多个光流值405。同时，可以根据两个第一特征图403和404，采用重叠估计网络413估计得到所有栅格对中每个栅格对包括的两个栅格之间的重叠关系。例如，可以将两个第一特征图403和404输入该重叠估计网络413中，由该重叠估计网络413输出重叠概率矩阵406。该重叠概率矩阵406的尺寸可以为上文描述的光流值矩阵的尺寸相等。

在一实施例中，可以将两个第一特征图403和404在通道维度上拼接，拼接后作为重叠估计网络413的输入。重叠估计网络413例如可以由卷积层和激活层构成。其中，激活层例如可以基于sigmoid等激活函数构成。其中，卷积层中卷积核的个数及核大小可以根据实际需求进行设定，本公开对此不做限定。

在得到重叠概率矩阵406后，该实施例400可以确定重叠概率矩阵406中取值大于等于概率阈值的目标元素，将该目标元素所对应的栅格对作为目标栅格对，即目标栅格对包括的两个栅格之间具有重叠关系的概率值大于等于概率阈值。该实施例中，可以将表示多个光流值405的光流值矩阵中目标元素对应位置处的元素所表示的光流值作为目标栅格对的光流值407。该实施例可以将该目标栅格对的光流值的均值与阈值进行比较。若均值大于阈值，则确定配准的两帧点云的配准不准确。其中，概率阈值例如可以为0.6、0.8等任意值，本公开对此不做限定。

图5是根据本公开实施例的光流值估计模型的结构示意图。

在一实施例中，在确定重叠关系时，可以先根据光流值估计网络预测的光流值来对输入重叠估计网络的特征图进行调整，如此，可以使得输入重叠估计网络的特征所表征的信息刨除了光流对重叠关系的影响，从而可以提高估计的重叠关系的精度。

例如，可以先采用预测的多个光流值来调整两个第一特征图中的其中一个。随后，将调整后的特征图与其中另一个第一特征图在通道维度拼接后输入重叠估计网络，由重叠估计网络输出重叠概率矩阵。

在一实施例中，光流值估计网络可以至少包括特征提取子网络和光流值估计子网络。特征提取子网络用于对特征提取网络提取得到的两个第一特征图进行特征的进一步提取，以便于提取两个第一特征图中每个像素的特征，为光流值的估计提供更为准确的信息。具体地，可以采用特征提取子网络对两个第一特征图分别进行处理，得到两个第二特征图。在得到两个第二特征图后，可以采用光流值估计子网络对两个第二特征图进行处理，得到包括多个光流值的光流值矩阵。

在重叠关系估计时，可以采用特征提取子网络提取得到的两个第二特征图，如此，可以为重叠估计网络提供逐像素的特征，便于提高重叠估计网络的估计准确性。即，在重叠关系估计时，可以根据光流值估计网络得到的光流值矩阵来对两个第二特征图中的一个特征图进行变换，得到变换后特征图。随后，根据该变换后特征图和两个第二特征图中的另一个特征图，采用重叠估计网络估计每个栅格对包括的两个栅格之间的重叠关系。具体可以将变换后特征图与另一个特征图在通道维度拼接后，将拼接后的特征输入重叠估计网络，由重叠估计网络输出重叠概率矩阵。

在一实施例中，光流值估计模型中的光流值估计网络可以采用RAFT框架。如图5所示，该实施例的光流值估计模型500包括特征提取网络510、光流值估计网络520和重叠估计网络530。其中，光流值估计网络520可以包括特征提取子网络521、语义特征提取子网络522、相似性计算子网络523和更新迭代子网络524。

在变换后的两帧点云501、502经由特征提取网络510处理后，可以得到两个第一特征图503、504。随后，该实施例可以将两个第一特征图503、504分别输入特征提取子网络521中，以由特征提取子网络521逐像素地提取两个第一特征图的特征，得到与两个第一特征图分别对应的两个第二特征图。同时，可以将两个第一特征图中的其中一个特征图输入语义特征提取子网络522，以由语义特征提取子网络522提取该其中一个特征图的语义特征。

两个第二特征图可以作为相似性计算子网络523的输入，以由相似性计算子网络523计算该两个第二特征图中相对应的两个特征向量之间的点积，从而构建得到4D的相关空间。

随后，该实施例可以将相似性计算子网络523输出的4D的相关空年间特征、语义特征提取子网络522提取的语义特征输入更新迭代子网络524。该更新迭代子网络524利用GRU以及卷积，迭代地计算出光流的残差光流，然后与上次迭代过程输出的光流进行相加用作补偿。迭代次数例如可以根据实际需求进行设定，本公开对此不做限定。该实施例可以将最后一次迭代过程得到的光流作为光流值矩阵505。

在得到两个第二特征图后，该实施例可以将该两个第二特征图在通道方向拼接后输入重叠估计网络530中的卷积层CNN 531，卷积层CNN 531输出的特征输入激活层532后，由激活层532输出重叠概率矩阵506。

为了便于确定多个光流值的操作的实施，本公开还提供了一种光流值估计模型的训练方法，以下将结合图6对该方法进行详细描述。

图6是根据本公开实施例的光流值估计网络的训练方法的流程图。

如图6所示，该实施例的光流值估计网络的训练方法600可以包括操作S610～操作S650。

在操作S610，根据配准的两帧点云之间的变换关系，将两帧点云变换到相同坐标空间中，得到变换后的两帧点云。该操作S610的实现原理与上文描述的操作S210的实现原理类似，在此不再赘述。区别在于，该操作S610中的配准的两帧点云为配准准确的两帧点云，以用于作为训练光流值估计模型的样本。

在操作S620，对变换后的两帧点云中的第一帧点云随机变换，得到第三帧点云。

根据本公开的实施例，随机变换例如可以包括旋转变换和平移变换中的至少之一。该随机变换的目的在于：为第一帧点云添加相对于变换后的两帧点云中的第二帧点云的运动，以产生光流。该随机变换的原理与上文描述的公式(1)所体现的原理类似，例如，随机变换可以由T＝(R，t)来表示。如此，便于光流值估计网络预测光流值预测值。

在操作S630，根据第三帧点云与第一帧点云之间的位置关系，确定针对第三帧点云与第一帧点云的光流值，作为光流值真值。

根据本公开的实施例，根据上述的随机扰动，可以计算得到第三帧点云相对于第一帧点云的实际光流值，作为光流值真值。该实际光流值例如可以采用Lucas-Kanade算法等计算得到。

在一实施例中，在确定光流值真值时，例如可以先分别根据第一帧点云和第三帧点云，确定与第一帧点云对应的第三栅格网和与第三帧点云对应的第一栅格网。即，对第一帧点云和第三帧点云分别进行投射和二维栅格化，以分别得到第三栅格网和第一栅格网。例如，若设定第三帧点云中点云p₃在水平面上栅格网宽度方向上的投影点的坐标为x₃，在水平面上栅格网宽度方向上的投影点的坐标为y₃，则可以确定与第三帧点云对应的第一栅格网中该投影点所在栅格的取值为1，例如可以表示为以下公式(2)。

M₁[int(y₃/dy)，int(x₃/dx)]＝1 公式(2)

其中，M₁[i，j]表示第一栅格网中第i行第j列的栅格的取值，int()表示向上取整。与第三帧点云对应的第一栅格网中没有投影点落入的栅格的取值为0。

随后，将第一栅格网中的一个栅格与第三栅格网中与该一个栅格位置相同位置处的栅格构成一个栅格对。如此，可以得到多个栅格对。该实施例可以根据每个栅格对中两个栅格之间的位置差，来确定针对该每个栅格对的实际光流值，共计得到多个实际光流值。

在一实施例中，在确定光流值真值时，还可以仅对在第三帧点云中与第二帧点云中的点云指示同一空间点的点云来确定光流值。这是由于，对于指示不同空间点的点云而言，光流值的计算没有实际意义。因此，在确定光流值真值时，例如还可以根据第二帧点云确定与该第二帧点云对应的第二栅格网。该确定第二栅格网的原理与确定第一栅格网的原理类似。在得到第二栅格网和第三栅格网后，可以确定该两个栅格网中具有重叠关系的两个栅格，构成目标栅格对。其中，具有重叠关系的两个栅格为：其中的第一栅格具有第一帧点云中点云的投影点，其中的第二栅格具有第二帧点云中点云的投影点。即第一帧点云包括投影到第一栅格的第一点云，第二帧点云包括投影到第二栅格的第二点云。可以理解的是，第一栅格在第三栅格网中的位置与第二栅格在第二栅格网中的位置相对应。例如，设定第三栅格网为M₃，第二栅格网为M₂，则该两个栅格网的重叠关系例如可以采用以下公式(3)来确定。

Overlap＝M₃&M₂ 公式(3)

即，若两个栅格网在相同位置的两个栅格的取值均为1，则表明该两个栅格具有重叠关系，否则确定该两个栅格不具有重叠关系。

在得到重叠关系后，即可根据与第三帧点云对应的第一栅格网中，与第一栅格的位置相对应的位置处的第三栅格与第一栅格之间的位置关系，来确定第三栅格与第二栅格之间的光流值真值。这是由于，在配准准确的两帧点云中，第一栅格与第二栅格重合，则第三栅格与第二栅格之间的光流值，即为第三栅格与第一栅格之间的光流值。

在得到光流值真值后，即可将该光流值真值作为训练光流估计模型的监督信号。

在操作S640，采用光流值估计模型对第三帧点云与变换后的两帧点云中的第二帧点云进行处理，得到多个光流值预测值。

该操作S640得到多个光流值预测值的原理与上文描述的配准点云的校验方法中，采用光流值估计模型得到多个光流值的原理类似，在此不再赘述。可以理解的是，该多个光流值预测值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值预测值。多个栅格对可以由上文描述的第一栅格网中的一个栅格及第二栅格网中与该一个栅格的位置相对应位置处的栅格构成。例如，若栅格网中包括512行512列的栅格，则得到的光流值预测值的个数为512*512个。

在操作S650，根据多个光流值预测值与光流值真值之间的差异，对光流值估计模型进行训练。

根据本公开的实施例，光流值真值的个数可以与光流值预测值的个数相等。该实施例可以将多个光流值真值与对应的多个光流值预测值的差值绝对值的和，作为光流值估计模型的损失值。以最小化该损失值为目标，对光流值估计模型进行训练。例如，若光流值预测值为flow_pred，光流值真值为flow，则模型的损失可以表示为以下公式(4)。

loss＝sum(abs(f1ow_pred-flow)) 公式(4)

根据本公开的实施例，在仅根据具有重叠关系的栅格确定了光流值真值，则可以先从光流值预测值中挑选出与光流值真值对应的预测值，根据光流值真值与对应的预测值之间的差值绝对值，来确定模型的损失值。或者，还可以对与光流值真值不相对应的光流值预测值添加固定的损失值，将该固定的损失值与差值绝对值确定的损失值的和，作为模型的总损失。

在一实施例中，如上文针对图3的描述所示，光流值估计模型可以包括特征图提取网络和光流值估计网络。则在得到多个光流值时，可以先采用特征提取网络提取第三帧点云和第二帧点云各自在俯视角度的特征图，得到两个第一特征图。随后采用光流值估计网络对两个第一特征图进行处理，得到多个光流值。

在一实施例中，如上文针对图4的描述所示，光流值估计模型还包括重叠估计网络。该实施例中，还可以根据两个第一特征图，采用重叠估计网络估计每个栅格对包括的两个栅格之间的预测重叠关系。对于具有重叠关系的两个栅格中的第四栅格和第五栅格，第三帧点云包括投影到第四栅格的点云，第二帧点云包括投影到第五栅格的点云。需要说明的是，在采用重叠估计网络估计重叠关系时，例如还可以先根据前述的随机扰动，对第三帧点云的第一特征图进行与随机扰动互逆的处理，将该处理后的特征图与第二帧点云的第一特征图在通道方向拼接后，输入重叠估计网络。

该实施例中，在对光流值估计网络进行训练的同时，例如还可以对重叠估计网络进行训练。在采用上文描述的方式，确定了第三栅格网和第二栅格网中具有重叠关系的两个栅格，得到目标栅格对后，可以确定该目标栅格包括的两个栅格的重叠关系的真值即为有重叠关系，重叠概率可以为1。则在训练过程中，可以将该真值作为监督信号，对重叠估计网络进行训练。例如，可以根据目标栅格对于预测重叠关系，对光流值估计模型进行整体训练。其中，预测重叠关系例如可以由预测重叠概率表示。该实施例可以将与目标栅格对对应的预测重叠概率与1之间的差异，来确定光流值估计模型的损失值。

在一实施例中，可以采用二分类交叉熵损失函数来确定预测重叠关系的损失值。该实施例中，可以将该预测重叠关系的损失值与预测光流值的损失值的加权和作为光流值估计模型的总损失值。加权系数可以根据实际需求进行设定，本公开对此不做限定。

在一实施例中，在采用重叠估计网络估计每个栅格对包括的两个栅格之间的预测重叠关系时，例如还可以采用光流值估计网络输出的光流值矩阵来对两个第一特征图中的一个特征图进行变换。随后将变换后的特征图与另一个第一特征图在通道维度拼接后输入重叠估计网络。如此，可以使得预测的重叠关系受到光流值估计网络的精度的影响。则在训练模型时，可以将重叠关系的真值也作为训练光流值估计网络的监督信号，利于提高训练得到的光流值估计模型的精度。

在一实施例中，如上文描述，光流值估计网络可以包括第一特征提取子网络和光流值估计子网络。则在对两个第一特征图进行处理得到多个光流值时，可以采用第一特征提取子网络对两个第一特征图分别进行处理，得到两个第二特征图。随后，采用光流值估计网络对两个第二特征图进行处理，得到光流值矩阵，该光流值矩阵即包括所述的多个光流值。相应地，预测重叠关系时，重叠估计网络可以对两个第二特征图进行处理。例如，可以根据光流值矩阵，对两个第二特征图中的一个特征图进行变换，得到变换后特征图。随后，根据变换后特征图和两个第二特征图中的另一个特征图，采用重叠估计网络估计每个栅格对包括的两个栅格之间的重叠关系。具体地，可以将变换后特征图与两个第二特征图中的另一个特征图在通道维度拼接后输入重叠估计网络，由重叠估计网络输出重叠概率矩阵。

基于本公开提供的配准点云的校验方法，本公开还提供了一种配准点云的校验装置。以下将结合图7对该装置进行详细描述。

图7是根据本公开实施例的配准点云的校验装置的结构框图。

如图7所示，该实施例的配准点云的校验装置700可以包括点云变换模块710、光流值估计模块720和配准校验模块730。

点云变换模块710用于根据配准的两帧点云之间的变换关系，将配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云。在一实施例中，点云变换模块710可以用于执行上文描述的操作S210，在此不再赘述。

光流值估计模块720用于确定针对变换后的两帧点云的多个光流值。其中，多个光流值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值；每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；两个栅格网与变换后的两帧点云分别对应。在一实施例中，光流值估计模块720可以用于执行上文描述的操作S220，在此不再赘述。

配准校验模块730用于根据多个光流值，确定配准的两帧点云的配准准确性。在一实施例中，配准校验模块730可以用于执行上文描述的操作S230，在此不再赘述。

根据本公开的实施例，光流值估计模块720具体用于采用光流值估计模型对变换后的两帧点云进行处理，得到多个光流值。

根据本公开的实施例，光流值估计模型包括特征提取网络和光流值估计网络。上述光流值估计模块720可以包括特征提取子模块和光流估计子模块。特征提取子模块用于采用特征提取网络提取变换后的两帧点云各自在俯视角度的特征图，得到两个第一特征图。光流估计子模块用于采用光流值估计网络对两个第一特征图进行处理，得到多个光流值。

根据本公开的实施例，光流值估计模型还包括重叠估计网络。上述配准点云的校验装置700还可以包括重叠关系估计模块，用于根据两个第一特征图，采用重叠估计网络估计每个栅格对包括的两个栅格之间的重叠关系；对于具有重叠关系的两个栅格中的第一栅格和第二栅格，变换后的两帧点云中第一帧点云包括投影到第一栅格的点云，变换后的两帧点云中第二帧点云包括投影到第二栅格的点云。其中，上述配准校验模块730可以包括重叠栅格确定子模块和配准校验子模块。重叠栅格确定子模块用于根据重叠关系，确定多个栅格对中的目标栅格对，目标栅格对包括的两个栅格具有重叠关系。配准校验子模块用于根据针对目标栅格对的光流值，确定配准的两帧点云的配准准确性。

根据本公开的实施例，光流值估计网络包括特征提取子网络和光流值估计子网络。光流估计子模块可以包括特征提取单元和光流估计单元。特征提取单元用于采用特征提取子网络对两个第一特征图分别进行处理，得到两个第二特征图。光流估计单元用于采用光流值估计子网络对两个第二特征图进行处理，得到光流值矩阵。上述重叠关系估计模块可以包括特征变换子模块和关系估计子模块。特征变换子模块，用于根据光流值矩阵，对两个第二特征图中的一个特征图进行变换，得到变换后特征图。关系估计子模块用于根据变换后特征图和两个第二特征图中的另一个特征图，采用重叠估计网络估计每个栅格对包括的两个栅格之间的重叠关系。

基于本公开提供的光流值估计模型的训练方法，本公开还提供了一种光流值估计模型的训练装置，以下将结合图8对该装置进行详细描述。

图8是根据本公开实施例的光流值估计模型的训练装置的结构框图。

如图8所示，该实施例的光流值估计模型的训练装置800可以包括点云变换模块810、随机变换模块820、光流值确定模块830、光流值估计模块840和模型训练模块850。

点云变换模块810用于根据配准的两帧点云之间的变换关系，将配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云。在一实施例中，点云变换模块810可以用于执行上文描述的操作S610，在此不再赘述。

随机变换模块820用于对变换后的两帧点云中的第一帧点云随机变换，得到第三帧点云。在一实施例中，随机变换模块820可以用于执行上文描述的操作S620，在此不再赘述。

光流值确定模块830用于根据第三帧点云与第一帧点云之间的位置关系，确定针对第三帧点云与第一帧点云的光流值，作为光流值真值。在一实施例中，光流值确定模块830可以用于执行上文描述的操作S630，在此不再赘述。

光流值估计模块840用于采用光流值估计模型对第三帧点云与变换后的两帧点云中的第二帧点云进行处理，得到多个光流值预测值。其中，多个光流值预测值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值预测值；每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；两个栅格网包括与第三帧点云对应的第一栅格网和与第二帧点云对应的第二栅格网。在一实施例中，光流值估计模块840可以用于执行上文描述的操作S640，在此不再赘述。

模型训练模块850用于根据多个光流值预测值与光流值真值之间的差异，对光流值估计模型进行训练。在一实施例中，模型训练模块850可以用于执行上文描述的操作S650，在此不再赘述。

根据本公开的实施例，光流值确定模块830可以包括栅格网确定子模块、重叠栅格确定子模块和光流值确定子模块。栅格网确定子模块用于分别根据第一帧点云、第二帧点云和第三帧点云，确定与第一帧点云对应的第三栅格网、第二栅格网和第一栅格网。重叠栅格确定子模块，用于确定第三栅格网和第二栅格网中具有重叠关系的两个栅格，得到目标栅格对。其中，具有重叠关系的两个栅格包括属于第三栅格网的第一栅格和属于第二栅格网的第二栅格；第一帧点云包括投影到第一栅格的第一点云，第二帧点云包括投影到第二栅格的第二点云。光流值确定子模块用于根据第一栅格与第一栅格网中对应于第一栅格的第三栅格之间的位置关系，确定第三栅格与第二栅格之间的光流值真值。

根据本公开的实施例，光流值估计模型包括特征图提取网络和光流值估计网络。上述光流值估计模块840可以包括特征提取子模块和光流值估计子模块。特征提取子模块用于采用特征提取网络提取第三帧点云和第二帧点云各自在俯视角度的特征图，得到两个第一特征图。光流值估计子模块用于采用光流值估计网络对两个第一特征图进行处理，得到多个光流值。

根据本公开的实施例，光流值估计模型还包括重叠估计网络。上述光流值估计模型的训练装置800还可以包括重叠关系估计模块、栅格网确定模块和重叠栅格确定模块。重叠关系估计模块用于根据两个第一特征图，采用重叠估计网络估计每个栅格对包括的两个栅格之间的预测重叠关系。其中，对于具有重叠关系的两个栅格中的第四栅格和第五栅格，第三帧点云包括投影到第四栅格的点云，第二帧点云包括投影到第五栅格的点云。栅格网确定模块用于确定与第一帧点云对应的第三栅格网和与第二帧点云对应的第二栅格网。重叠栅格确定模块用于确定第三栅格网和第二栅格网中具有重叠关系的两个栅格，得到目标栅格对。其中，上述模型训练模块850例如还用于根据目标栅格对与预测重叠关系，对光流值估计模型进行训练。

根据本公开的实施例，流值估计网络包括第一特征提取子网络和光流值估计子网络。光流值估计子模块可以包括特征提取单元和光流值估计单元。特征提取单元用于采用第一特征提取子网络对两个第一特征图分别进行处理，得到两个第二特征图。光流值估计单元用于采用光流值估计网络对两个第二特征图进行处理，得到光流值矩阵。上述重叠关系估计模块可以包括特征变换子模块和关系估计子模块。特征变换子模块用于根据光流值矩阵，对两个第二特征图中的一个特征图进行变换，得到变换后特征图。关系估计子模块用于根据变换后特征图和两个第二特征图中的另一个特征图，采用重叠估计网络估计每个栅格对包括的两个栅格之间的重叠关系。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开实施例的配准点云的校验方法和/或光流值估计模型的训练方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如配准点云的校验方法和/或光流值估计模型的训练方法。例如，在一些实施例中，配准点云的校验方法和/或光流值估计模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的配准点云的校验方法和/或光流值估计模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行配准点云的校验方法和/或光流值估计模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种配准点云的校验方法，包括：

根据配准的两帧点云之间的变换关系，将所述配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云；

确定针对所述变换后的两帧点云的多个光流值；所述多个光流值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值；所述每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；所述两个栅格网与所述变换后的两帧点云分别对应；以及

根据所述多个光流值，确定所述配准的两帧点云的配准准确性。

2.根据权利要求1所述的方法，其中，所述确定针对所述变换后的两帧点云的多个光流值包括：

采用光流值估计模型对所述变换后的两帧点云进行处理，得到所述多个光流值。

3.根据权利要求2所述的方法，其中，所述光流值估计模型包括特征提取网络和光流值估计网络；所述采用光流值估计模型对所述变换后的两帧点云进行处理，得到所述多个光流值包括：

采用所述特征提取网络提取所述变换后的两帧点云各自在俯视角度的特征图，得到两个第一特征图；以及

采用所述光流值估计网络对所述两个第一特征图进行处理，得到所述多个光流值。

4.根据权利要求3所述的方法，其中，所述光流值估计模型还包括重叠估计网络；所述方法还包括：

根据所述两个第一特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的重叠关系；对于具有重叠关系的两个栅格中的第一栅格和第二栅格，所述变换后的两帧点云中第一帧点云包括投影到所述第一栅格的点云，所述变换后的两帧点云中第二帧点云包括投影到所述第二栅格的点云；

其中，所述根据所述多个光流值，确定所述配准的两帧点云的配准准确性包括：

根据所述重叠关系，确定所述多个栅格对中的目标栅格对，所述目标栅格对包括的两个栅格具有重叠关系；以及

根据针对所述目标栅格对的光流值，确定所述配准的两帧点云的配准准确性。

5.根据权利要求4所述的方法，其中，所述光流值估计网络包括特征提取子网络和光流值估计子网络；所述采用所述光流值估计网络对所述两个第一特征图进行处理，得到所述多个光流值包括：

采用所述特征提取子网络对所述两个第一特征图分别进行处理，得到两个第二特征图；以及

采用所述光流值估计子网络对所述两个第二特征图进行处理，得到光流值矩阵，

其中，所述根据所述两个第一特征图，采用所述重叠估计网络估计所述多个栅格对中每个栅格对包括的两个栅格之间的重叠关系包括：

根据所述光流值矩阵，对所述两个第二特征图中的一个特征图进行变换，得到变换后特征图；以及

根据所述变换后特征图和所述两个第二特征图中的另一个特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的重叠关系。

6.一种光流值估计模型的训练方法，包括：

根据配准的两帧点云之间的变换关系，将所述配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云；

对所述变换后的两帧点云中的第一帧点云随机变换，得到第三帧点云；

根据所述第三帧点云与所述第一帧点云之间的位置关系，确定针对所述第三帧点云与所述第一帧点云的光流值，作为光流值真值；

采用光流值估计模型对所述第三帧点云与所述变换后的两帧点云中的第二帧点云进行处理，得到多个光流值预测值；所述多个光流值预测值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值预测值；所述每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；所述两个栅格网包括与所述第三帧点云对应的第一栅格网和与所述第二帧点云对应的第二栅格网；以及

根据所述多个光流值预测值与所述光流值真值之间的差异，对所述光流值估计模型进行训练。

7.根据权利要求6所述的方法，其中，所述根据所述第三帧点云与所述第一帧点云之间的位置关系，确定针对所述第三帧点云与所述第一帧点云的光流值，作为光流值真值包括：

分别根据所述第一帧点云、所述第二帧点云和所述第三帧点云，确定与所述第一帧点云对应的第三栅格网、所述第二栅格网和所述第一栅格网；

确定所述第三栅格网和所述第二栅格网中具有重叠关系的两个栅格，得到目标栅格对；具有重叠关系的两个栅格包括属于所述第三栅格网的第一栅格和属于所述第二栅格网的第二栅格；所述第一帧点云包括投影到所述第一栅格的第一点云，所述第二帧点云包括投影到所述第二栅格的第二点云；以及

根据所述第一栅格与所述第一栅格网中对应于所述第一栅格的第三栅格之间的位置关系，确定所述第三栅格与所述第二栅格之间的光流值真值。

8.根据权利要求6所述的方法，其中，所述光流值估计模型包括特征图提取网络和光流值估计网络；所述采用光流值估计模型对所述第三帧点云与所述变换后的两帧点云中的第二帧点云进行处理，得到多个光流值包括：

采用所述特征提取网络提取所述第三帧点云和所述第二帧点云各自在俯视角度的特征图，得到两个第一特征图；以及

采用所述光流值估计网络对所述两个第一特征图进行处理，得到所述多个光流值。

9.根据权利要求8所述的方法，其中，所述光流值估计模型还包括重叠估计网络；所述方法还包括：

根据所述两个第一特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的预测重叠关系；对于具有重叠关系的两个栅格中的第四栅格和第五栅格，所述第三帧点云包括投影到所述第四栅格的点云，所述第二帧点云包括投影到所述第五栅格的点云；

确定与所述第一帧点云对应的第三栅格网和与所述第二帧点云对应的第二栅格网；

确定所述第三栅格网和所述第二栅格网中具有重叠关系的两个栅格，得到目标栅格对；以及

根据所述目标栅格对与所述预测重叠关系，对所述光流值估计模型进行训练。

10.根据权利要求9所述的方法，其中，所述光流值估计网络包括第一特征提取子网络和光流值估计子网络；所述采用所述光流值估计网络对所述两个第一特征图进行处理，得到所述多个光流值包括：

采用所述第一特征提取子网络对所述两个第一特征图分别进行处理，得到两个第二特征图；以及

采用所述光流值估计网络对所述两个第二特征图进行处理，得到光流值矩阵，

其中，所述根据所述两个第一特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的预测重叠关系包括：

根据所述光流值矩阵，对所述两个第二特征图中的一个特征图进行变换，得到变换后特征图；以及

根据所述变换后特征图和所述两个第二特征图中的另一个特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的重叠关系。

11.一种配准点云的校验装置，包括：

点云变换模块，用于根据配准的两帧点云之间的变换关系，将所述配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云；

光流值估计模块，用于确定针对所述变换后的两帧点云的多个光流值；所述多个光流值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值；所述每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；所述两个栅格网与所述变换后的两帧点云分别对应；以及

配准校验模块，用于根据所述多个光流值，确定所述配准的两帧点云的配准准确性。

12.根据权利要求11所述的装置，其中，所述光流值估计模块用于：

采用光流值估计模型对所述变换后的两帧点云进行处理，得到所述多个光流值。

13.根据权利要求12所述的装置，其中，所述光流值估计模型包括特征提取网络和光流值估计网络；所述光流值估计模块包括：

特征提取子模块，用于采用所述特征提取网络提取所述变换后的两帧点云各自在俯视角度的特征图，得到两个第一特征图；以及

光流估计子模块，用于采用所述光流值估计网络对所述两个第一特征图进行处理，得到所述多个光流值。

14.根据权利要求13所述的装置，其中，所述光流值估计模型还包括重叠估计网络；所述装置还包括：

重叠关系估计模块，用于根据所述两个第一特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的重叠关系；对于具有重叠关系的两个栅格中的第一栅格和第二栅格，所述变换后的两帧点云中第一帧点云包括投影到所述第一栅格的点云，所述变换后的两帧点云中第二帧点云包括投影到所述第二栅格的点云，

其中，所述配准校验模块包括：

重叠栅格确定子模块，用于根据所述重叠关系，确定所述多个栅格对中的目标栅格对，所述目标栅格对包括的两个栅格具有重叠关系；以及

配准校验子模块，用于根据针对所述目标栅格对的光流值，确定所述配准的两帧点云的配准准确性。

15.根据权利要求14所述的装置，其中，所述光流值估计网络包括特征提取子网络和光流值估计子网络；所述光流估计子模块包括：

特征提取单元，用于采用所述特征提取子网络对所述两个第一特征图分别进行处理，得到两个第二特征图；以及

光流估计单元，用于采用所述光流值估计子网络对所述两个第二特征图进行处理，得到光流值矩阵，

其中，所述重叠关系估计模块包括：

特征变换子模块，用于根据所述光流值矩阵，对所述两个第二特征图中的一个特征图进行变换，得到变换后特征图；以及

关系估计子模块，用于根据所述变换后特征图和所述两个第二特征图中的另一个特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的重叠关系。

16.一种光流值估计模型的训练装置，包括：

点云变换模块，用于根据配准的两帧点云之间的变换关系，将所述配准的两帧点云变换到相同坐标空间中，得到变换后的两帧点云；

随机变换模块，用于对所述变换后的两帧点云中的第一帧点云随机变换，得到第三帧点云；

光流值确定模块，用于根据所述第三帧点云与所述第一帧点云之间的位置关系，确定针对所述第三帧点云与所述第一帧点云的光流值，作为光流值真值；

光流值估计模块，用于采用光流值估计模型对所述第三帧点云与所述变换后的两帧点云中的第二帧点云进行处理，得到多个光流值预测值；所述多个光流值预测值包括多个栅格对中每个栅格对包括的两个栅格之间的光流值预测值；所述每个栅格对包括的两个栅格为两个栅格网中相对应的两个栅格；所述两个栅格网包括与所述第三帧点云对应的第一栅格网和与所述第二帧点云对应的第二栅格网；以及

模型训练模块，用于根据所述多个光流值预测值与所述光流值真值之间的差异，对所述光流值估计模型进行训练。

17.根据权利要求16所述的装置，其中，所述光流值确定模块包括：

栅格网确定子模块，用于分别根据所述第一帧点云、所述第二帧点云和所述第三帧点云，确定与所述第一帧点云对应的第三栅格网、所述第二栅格网和所述第一栅格网；

重叠栅格确定子模块，用于确定所述第三栅格网和所述第二栅格网中具有重叠关系的两个栅格，得到目标栅格对；具有重叠关系的两个栅格包括属于所述第三栅格网的第一栅格和属于所述第二栅格网的第二栅格；所述第一帧点云包括投影到所述第一栅格的第一点云，所述第二帧点云包括投影到所述第二栅格的第二点云；以及

光流值确定子模块，用于根据所述第一栅格与所述第一栅格网中对应于所述第一栅格的第三栅格之间的位置关系，确定所述第三栅格与所述第二栅格之间的光流值真值。

18.根据权利要求16所述的装置，其中，所述光流值估计模型包括特征图提取网络和光流值估计网络；所述光流值估计模块包括：

特征提取子模块，用于采用所述特征提取网络提取所述第三帧点云和所述第二帧点云各自在俯视角度的特征图，得到两个第一特征图；以及

光流值估计子模块，用于采用所述光流值估计网络对所述两个第一特征图进行处理，得到所述多个光流值。

19.根据权利要求18所述的装置，其中，所述光流值估计模型还包括重叠估计网络；所述装置还包括：

重叠关系估计模块，用于根据所述两个第一特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的预测重叠关系；对于具有重叠关系的两个栅格中的第四栅格和第五栅格，所述第三帧点云包括投影到所述第四栅格的点云，所述第二帧点云包括投影到所述第五栅格的点云；

栅格网确定模块，用于确定与所述第一帧点云对应的第三栅格网和与所述第二帧点云对应的第二栅格网；以及

重叠栅格确定模块，用于确定所述第三栅格网和所述第二栅格网中具有重叠关系的两个栅格，得到目标栅格对，

其中，所述模型训练模块还用于：根据所述目标栅格对与所述预测重叠关系，对所述光流值估计模型进行训练。

20.根据权利要求19所述的装置，其中，所述光流值估计网络包括第一特征提取子网络和光流值估计子网络；所述光流值估计子模块包括：

特征提取单元，用于采用所述第一特征提取子网络对所述两个第一特征图分别进行处理，得到两个第二特征图；以及

光流值估计单元，用于采用所述光流值估计网络对所述两个第二特征图进行处理，得到光流值矩阵，

其中，所述重叠关系估计模块包括：

特征变换子模块，用于根据所述光流值矩阵，对所述两个第二特征图中的一个特征图进行变换，得到变换后特征图；以及

关系估计子模块，用于根据所述变换后特征图和所述两个第二特征图中的另一个特征图，采用所述重叠估计网络估计所述每个栅格对包括的两个栅格之间的重叠关系。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～10中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现根据权利要求1～10中任一项所述方法的步骤。

Images