CN114779271B - 目标检测方法和装置、电子设备和存储介质 - Google Patents

Abstract

本发明涉及目标检测方法和装置、电子设备和存储介质。所述方法包括：获得初始目标序列；确定所述初始目标序列中的关键目标；获得经标注的更新后关键目标；以及使用更新后关键目标来更新所述初始目标序列中的剩余目标，从而获得修正后目标序列。根据本发明的一个或多个实施方式，由于可以仅仅针对关键目标，因而能够大幅降低目标检测的成本和时间周期。

Description

目标检测方法和装置、电子设备和存储介质

技术领域

本发明涉及自动驾驶技术，尤其涉及对目标进行标注的技术。

背景技术

目前越来越多量产车型选择搭配激光雷达，来为辅助驾驶功能提供精确的感知能力。激光雷达的感知算法依赖大量的标注数据集，然而激光雷达标注数据集的高成本和长时间成为了技术发展的制约。据统计，一段30秒高速场景的连续帧数据往往要耗费3 到 4天的时间来标注。另外，目前一个3D框的价格在0.2到0.4人民币左右, 一帧全景的点云语义分割数据需要10到20人民币, 想完成大规模的数据集搭建，公司需要投入大量的金钱。

发明内容

本发明鉴于现有技术的以上问题，用以解决现有技术中存在的一项或更多项的问题，至少提供一种有益的选择。

依据本发明的一个方面，提供了一种目标检测方法，包括以下步骤：获得初始目标序列；确定所述初始目标序列中的关键目标；获得经标注的更新后关键目标；以及使用更新后关键目标来更新所述初始目标序列中的剩余目标，从而获得修正后目标序列。

根据本发明的另一个方面，提供了一种目标检测装置，包括：初始目标序列获得单元，用于获得待跟踪的初始目标序列；关键目标确定单元，用于确定所述初始目标序列中的关键目标；更新接收单元，获得经标注的更新后关键目标；以及更新单元，用于使用更新后关键目标来更新所述初始目标序列中的剩余目标，从而获得修正后目标序列。

根据本发明的另一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现本发明要求保护的方法。

根据本发明的另一个方面，提供了一种计算机可读存储介质，所述可读存储介质上存储设备控制程序，当所述设备控制程序被处理器执行时，实现本发明要求保护的方法。

根据本发明的一些实施方式，由于可以仅仅针对关键目标，因而能够大幅降低目标检测的成本和时间周期。

附图说明

结合附图可以更好地理解本发明。附图只是示意性的，不是对本发明的保护范围的限制。

图1是示出了依据本发明的一种实施方式的目标检测方法的示意性流程图。

图2示出了依据本发明的一种实施方式的对原始数据进行深度学习目标检测的方法的示意性流程图。

图3示出了针对一个目标的检测跟踪结果的示例。

图4是示出了利用更新后关键目标来改正剩余目标的目标框的大小的示意图。

图5是示出了依据一种实施方式的利用神经网络进行位置和朝向更新的示意流程图。

图6是示出了依据本发明的一种实施方式的目标检测装置的示意性方框图。

具体实施方式

下面结合附图对本发明的具体实施方式进行说明。这些说明都是示例性的，旨在使本领域技术人员能够实现本发明的实施方式，不是对本发明的保护范围的限制。说明中也没有描述对于实际实施不可缺少，但是对于理解本发明无关的内容。

图1是示出了依据本发明的一种实施方式的目标检测方法的示意性流程图。如图1所示，依据本发明的一种实施方式的目标检测方法首先在步骤S100，获得初始目标序列，即初始的目标检测跟踪结果。该初始的目标检测跟踪结果的获取可以是对车端采集的原始数据（例如激光雷达采集获得的点云数据）进行深度学习目标检测处理和基于卡尔曼的跟踪处理而获得。

图2示出了依据本发明的一种实施方式的对原始数据进行深度学习目标检测的方法的示意性流程图。如图2所示，依据本发明的一种实施方式，首先在步骤S101获得多帧例如由激光雷达采集获得的点云数据，然后在步骤S102进行特征提取。图中示出为骨干网络特征提取（backbone提取）和多尺度特征聚合。backbone提取和多尺度特征聚合提取可以采用本领域技术人员目前知道或未来知悉的各种方法进行，在此不予赘述。根据一种实施方式，将当前帧的前面预定数量帧和后面预定数量帧的数据共同送入骨干网络进行特征提取（该预定数量在图中示出为2，但是也可以是其他的数值）。

接着在步骤S103，与特征提取出的特征相对应地加入对应时刻的运动信息特征（ego feature）以及位置信息特征（positions feature），从而形成一个特征矩阵。随后在步骤S104，对该特征矩阵进行特征聚合处理（例如将该特征矩阵的各列进行相加），从而获得视频序列。最后，在步骤S105，对该视频序列进行时间解码，可以获得初始目标序列。

图3示出了针对一个目标的检测跟踪结果的示例。从图3可以看出，初始目标序列是同一目标的一组从第0帧到第n帧的目标框的序列。图3中所示的框就是目标框。根据图2的方法，可以获得多组待跟踪的目标框序列，图3示出了其中的一组。目标框是指初始目标序列中的需要跟踪的目标的边界框，其具有中心点坐标、尺寸参数（长、宽）、朝向、航角（heading）、标识号（ID）等参数。根据本发明的一种实施方式，可以将一些目标框的尺寸扩大5-10%, 从而确保属于目标的点不会在框外。处于目标框内的点的集合，称为目标框里的点云。

参照图2，在检测当前帧的时候，将前面2帧和后面2帧的数据共同送入检测网络提取特征，这样一个物体可以提取到不仅是当前时刻的特征（Feature_t），还可以提取到历史时刻的特征（Feature_t-2, Feature_t-2）和未来时刻的特征（Feature_t+1, Feature_t+2）,不同时刻的特征组合在一起能更好的检测物体。

采用图2所示的方法可以不用考虑车端的实时性，可以充分利用云端的大算力使用复杂的算法。另外，在离线算法中，对于当前时刻t的检测，不仅可以利用过去多帧的数据（t-n, t-n+1, ..., t-2, t-1），还可以利用未来时刻的数据（t+1, t+2, ..., t+n-1, t+n），充分提取目标的特征从而达到更好的检测结果。

回到图1，之后，在步骤S200，确定各初始目标序列中的关键目标。根据一种实施方式，首先计算各帧的目标框里的点云的凸包（Convex Hull）的大小；接着，确定所有帧中的具有最大凸包的帧（该帧可以称为关键帧）；然后将该帧中的目标确定为关键目标。剩下的所有帧中的目标被称为剩余目标。

根据一种实施方式，可以使用graham扫描线算法（凸包扫描法），针对属于该目标的点云，计算各时刻的目标框里点云的凸包。对同一个初始目标序列计算出来的凸包的面积进行排序，获得面积最大的时刻，则认为该时刻（T_key）为激光雷达等得到该目标最完整的时刻, 将该目标记录为关键目标。

接着，在步骤S300，获得更新后关键目标，将关键目标进行标注修正，并获得经标注修正后的目标，即更新后关键目标。该更新后关键目标具有3维尺寸和朝向的参数信息。

然后，在步骤S400，使用更新后关键目标来更新剩余目标。根据一种实施方式，如下地使用更新后关键目标来更新剩余目标：首先保持各剩余目标的中心点和朝向不变，将剩余目标的类型（例如行人，自行车，小车，卡车等）统一为关键目标的类型，改正剩余目标的目标框的大小；然后修正被更新后的各剩余目标的位置和朝向。修正被更新后的各剩余目标的位置和朝向可以通过进行神经网络学习来进行。可以构建学习检测网络，网络的输入是目标序列所有的点云和更新后关键目标，优化的输出是各时刻目标的正确中心点位置和朝向。

图4是示出了利用更新后关键目标来改正剩余目标的目标框的大小的示意图。如图4所示，从左侧所示的原始检测结果中可以发现，目标框的大小不一致，位置也不是很正确。中间被特别标识的目标框指示关键目标。然后，图4中的右图为不改变所有框的位置和朝向，将剩余目标的目标框的大小替换为关键目标的目标框的大小所得到的图。

图5是示出了依据本发明的一种实施方式的利用神经网络进行位置和朝向更新的示意流程图。如图5所示，首先，在步骤S501，获取当前帧T以及其前后S帧的替换前的目标框的数据。当前面或后面的帧数不足S时，可以补零。根据一种实施方式，各目标框的数据包括中心点的坐标（x,y,z）、大小（例如长宽高（l，w， h）），朝向，和时间编号。然后在步骤S502对该2s+1帧的数据作为整体进行特征提取，从而提取出1*128的特征量，即基于目标框的特征量。特征提取的办法，可以采用目前已知的经典的PointNet方法。

另一方面，在步骤S503，取得当前框替换前的点云以及前后r帧的点云，当前面或后面的帧数不足r时，可以补零。随后，在步骤S504，对该2r+1帧的数据作为整体进行特征提取，从而提取出1*256的特征量，即，基于目标框中的点云的特征量。r小于S。特征提取的办法，可以采用目前已知的经典的PointNet方法。

之后，在步骤S505，进行特征量组合，将来自步骤S602的基于目标框的特征量和来自步骤S504的基于目标框中的点云的特征量进行组合。

之后，在步骤S506,进行时间特征解码，利用业界通用算法（Transformer），将特征通过自注意力机制解码到需要的信息。

最后，在步骤S507，对解码的特征量进行回归，用一个全连接网络（FCN）,将最后的特征回归到1* 4,从而获得当前目标框应该移动的坐标与航向的变化量（dx、dy、dz、d_theta）。

利用图5的方法，在经典的PointNet的基础上，加入了时间的维度，通过将多帧目标的点云进行特征提取，能够获得更完整的点云特征。另外，将目标的初始轨迹（x, y, z,l, w, h, 航向）通过PointNet加入网络，给网络加入了预先检测的先验信息。进一步，检测的目标只有dx、dy、dz和航向变化, 和传统的检测神经网络相比减少了分类任务，只有回归任务，大大降低了学习的难度，可以获得更好的检测结果。

回到图1，然后，在步骤S500，对待跟踪目标的整体全历史轨迹做优化。根据一种实施方式，将待跟踪序列的初始目标检测结果和修正后的检测结果做最近邻匹配，如果出现目标匹配上的，则使用卡尔曼滤波更新该匹配上的目标的速度和加速度。还可以加入雷达的速度和加速度信息、标注的车道线和路沿信息。通过该历史轨迹优化的步骤，可以得到历史连续平滑的目标检测结果。

本发明中涉及的雷达可以是激光雷达和毫米波雷达。原始数据的获得可以是由雷达获得的，也可以是其他的目标检测装置例如相机获得的。

根据本发明的实施方式，对于一个初始目标序列，自动检测关键目标，主要对该关键目标进行自动标注，极大地降低了标注的成本，缩短了标注的时间。

图6是示出了依据本发明的一种实施方式的目标检测装置的示意性方框图。如图6所示，依据本发明的一种实施方式的目标检测装置10包括：初始目标序列获得单元100，用于获得待跟踪的初始目标序列；关键目标确定单元200，用于确定所述初始目标序列中的关键目标；更新接收单元300，获得经标注的更新后关键目标；以及更新单元400，用于使用更新后关键目标来更新所述初始目标序列中的剩余目标，从而获得修正后目标序列。

根据一种实施方式，其还包括轨迹优化单元500，用于对目标的轨迹进行优化。轨迹优化单元500对目标的轨迹进行优化包括将初始目标序列和修正后的目标序列做最近邻匹配，如果出现目标匹配上的，则使用卡尔曼滤波更新目标的速度和加速度，从而得到历史连续平滑的目标检测结果。

根据一种实施方式，初始目标序列获得单元100包括：点云数据获取单元，用于获得多帧激光雷达采集的点云数据；特征提取单元，用于对所述多帧点云数据进行特征提取；运动信息和位置信息加入单元，用于与特征提取出的特征相对应地加入与相应帧时刻对应的运动信息特征以及位置信息特征，从而形成特征矩阵；融合单元，针对所述特征矩阵进行特征融合处理，获得视频序列；以及解码单元，对所述视频序列进行时间解码，获得初始的检测目标。

根据一种实施方式，关键目标确定单元200包括凸包大小计算单元，用于计算所述初始目标序列各帧的目标框里的点云的凸包大小；最大凸包帧获取单元，用于获取到所有帧中的具有最大凸包的帧；确定单元，用于将所述具有最大凸包的帧中的目标确定为关键目标。

根据一种实施方式，更新单元400包括大小改变单元，用于保持各剩余目标的中心点和朝向不变，改正剩余目标的目标框的大小；位置和朝向改变单元，用于利用神经网络模型修正被更新后的各剩余目标的位置和朝向。

根据一种实施方式，位置和朝向改变单元利用神经网络模型修正被更新后的各剩余目标的位置和朝向的步骤包括针对要进行位置和朝向的更新的帧T：获取该帧T以及其前后S帧的替换前的目标框的数据，当前面或后面的帧数不足S时，进行补零，各目标框的数据包括中心点的坐标、有关框的大小的数据、朝向；对获取的该帧T以及其前后S帧的替换前的目标框的数据作为整体进行特征提取，从而提取出基于目标框的特征量；取得当前帧T以及前后r帧的替换前目标框中的点云，当前面或后面的帧数不足r时，进行补零；对当前帧T以及前后r帧的替换前目标框中的点云的数据作为整体进行特征提取，从而提取出基于目标框中的点云的特征量；将基于目标框的特征量和基于目标框中的点云的特征量进行组合；对组合后的特征量进行时间解码，从而获得目标框应该移动的坐标与航向的变化量。

本领域技术人员容易理解，可以利用以上对方法的说明来理解本发明的装置。

本领域技术人员容易理解，本发明的方法还可以包括与本发明的装置所完成的功能对应的其他步骤。以上的这些步骤也可以进行精简。

本发明对单元和步骤的标号仅仅是为了说明的方便，除非上下文中有相反的说明，否则不代表其执行的顺序。

本领域的技术人员应该理解，上述的各单元可以由软件或专门的硬件来实现，例如现场可编程门阵列、单片机、或微芯片等，或者也可以通过软件结合硬件的方式来实现。

本发明还提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现本发明的方法。

本发明还涉及一种计算机软件，该计算机软件在被计算装置（例如单片机、电脑、CPU等）执行时，可以实现本发明的方法。

本发明还涉及一种计算机软件存储装置，例如硬盘、软盘、闪存等，该计算机软件存储装置存储有上述的计算机软件。

本发明对方法或步骤的说明可以用于理解对单元或装置的说明，对单元或装置的说明也可以用于理解本发明的方法或步骤。

以上说明仅仅是示意性的，不是对本发明的保护范围的限制，在本发明的权利要求范围内的任何改变、替换均在本发明的保护范围内。

Claims (9)

1.一种目标检测方法，其特征在于，包括以下步骤：

获得待跟踪的初始目标序列；

确定所述初始目标序列中的关键目标；

获得经标注的更新后关键目标；以及

使用更新后关键目标来更新所述初始目标序列中的剩余目标，从而获得修正后目标序列，

其中，如下地使用更新后关键目标来更新剩余目标：

保持各剩余目标的中心点和朝向不变，改正剩余目标的目标框的大小；

利用神经网络模型修正被更新后的各剩余目标的位置和朝向。

2.根据权利要求1所述的目标检测方法，其特征在于，获得所述待跟踪的初始目标序列的步骤包括：

获得激光雷达采集的多帧点云数据；

对所述多帧点云数据进行特征提取；

与特征提取出的特征相对应地加入与帧时刻对应的运动信息特征以及位置信息特征，从而形成特征矩阵；

针对所述特征矩阵进行特征融合处理，获得视频序列；以及

对所述视频序列进行时间解码，获得初始的检测目标。

3.根据权利要求1所述的目标检测方法，其特征在于，如下地确定所述初始目标序列中的关键目标：

计算所述初始目标序列各帧的目标框里的点云的凸包大小；

获取到所有帧中的具有最大凸包的帧；

将所述具有最大凸包的帧中的目标确定为关键目标。

4.根据权利要求1所述的目标检测方法，其特征在于，利用神经网络模型修正被更新后的各剩余目标的位置和朝向的步骤包括针对要进行位置和朝向的更新的帧T：

获取该帧T以及其前后S帧的替换前的目标框的数据，当前面或后面的帧数不足S时，进行补零，各目标框的数据包括中心点的坐标、有关框的大小的数据、朝向，S是正整数；

对获取的该帧T以及其前后S帧的替换前的目标框的数据作为整体进行特征提取，从而提取出基于目标框的特征量；

取得当前帧T以及前后r帧的替换前目标框中的点云，当前面或后面的帧数不足r时，进行补零，r是正整数；

对当前帧T以及前后r帧的替换前目标框中的点云的数据作为整体进行特征提取，从而提取出基于目标框中的点云的特征量；

将基于目标框的特征量和基于目标框中的点云的特征量进行组合；

对组合后的特征量进行时间解码，从而获得目标框应该移动的坐标与航向的变化量。

5.根据权利要求1所述的目标检测方法，其特征在于，所述方法还包括对目标的轨迹进行优化的步骤。

6.根据权利要求5所述的目标检测方法，其特征在于，对目标的轨迹进行优化包括：

将初始目标序列和修正后的目标序列做最近邻匹配，如果出现目标匹配上的，则使用卡尔曼滤波更新该匹配上的目标的速度和加速度，从而得到历史连续平滑的目标检测结果。

7.一种目标检测装置，其特征在于，包括：

初始目标序列获得单元，用于获得待跟踪的初始目标序列；

关键目标确定单元，用于确定所述初始目标序列中的关键目标；

更新接收单元，获得经标注的更新后关键目标；以及

更新单元，用于使用更新后关键目标来更新所述初始目标序列中的剩余目标，从而获得修正后目标序列，

其中，所诉更新单元如下地使用更新后关键目标来更新剩余目标：

保持各剩余目标的中心点和朝向不变，改正剩余目标的目标框的大小；

利用神经网络模型修正被更新后的各剩余目标的位置和朝向。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储设备控制程序，当所述设备控制程序被处理器执行时，实现如权利要求1至6任一项所述的方法。

Images