CN117994504A - 目标检测方法、目标检测装置 - Google Patents

Abstract

本发明涉及检测技术领域，提供一种目标检测方法、目标检测装置，所述方法包括：将全景图像均匀分割成预设数量的网格单元，将存在黑色区域的网格单元标记为目标网格单元；获取视场的点云数据，当激光雷达的轴线对准目标网格单元时控制激光雷达对目标网格单元进行两次扫描，将激光雷达两次扫描的点云数据进行融合；采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合；将涂抹融合后的点云数据输入基于点云的目标检测网络。本发明针对激光雷达检测到的点云数据中黑色物体所在区域进行了优化，可以使激光雷达能更准确检测到黑色物体，从而能获得更完整、准确的视场点云数据，将且全景图像与点云数据进行融合，大大提升了目标的检测精度。

Description

目标检测方法、目标检测装置

技术领域

本发明涉及检测技术领域，具体涉及一种目标检测方法、目标检测装置。

背景技术

目标检测是计算机视觉中关于图像识别的任务之一，该任务可以定位出目标的位置并对目标进行分类。

目标检测方法主要分为基于图像、基于激光点云。基于图像是指通过RGB（红-绿-蓝）图像中丰富的特征信息来定位和识别目标，但相机的成像质量易受光照变化、背景干扰等环境因素影响。基于激光点云是指通过激光点云数据中的深度信息来定位目标，不易受到背景环境干扰。

然而，激光雷达有时候对黑色物体的检测并不是很准确，因为黑色物体十分吸光，导致反射回激光雷达的光很少，从而影响到检测的准确度。

发明内容

本发明为解决上述技术问题，提供了一种目标检测方法，针对激光雷达检测到的点云数据中黑色物体所在区域进行了优化，可以使激光雷达能更准确检测到黑色物体，从而能获得更完整、准确的视场点云数据，将且全景图像与点云数据进行融合，大大提升了目标的检测精度。

本发明还提供了一种目标检测装置。

本发明采用的技术方案如下：

本发明的第一方面实施例提出了一种目标检测方法，包括以下步骤：通过全景摄像头获取视场的全景图像；沿全景摄像头转动圆周方向将全景图像均匀分割成预设数量的网格单元，将存在黑色区域的网格单元标记为目标网格单元，并提取黑色区域的边缘轮廓；通过激光雷达获取视场的点云数据，其中，当激光雷达的轴线对准目标网格单元时控制激光雷达对所述目标网格单元进行两次扫描，根据所述黑色区域的边缘轮廓将所述激光雷达两次扫描的点云数据进行融合，以得到所述目标网格单元的完整点云数据，且第二次扫描时的发射功率大于第一次扫描时的发射功率；对所述视场的点云数据进行基于语义引导的点采样处理，对所述全景图像进行语义分割，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合；将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果。

本发明上述提出的目标检测方法还具有如下附加技术特征：

根据本发明一个实施例，通过激光雷达获取视场的点云数据，具体包括：从全景摄像头旋转中心点沿摄像头的转动圆的径向引出一基准线，定义该基准线的角度为0度并建立空间坐标系，旋转中心点为坐标原点；通过目标网格单元的中心点坐标计算出全景摄像头从0度位置转动至对准所述目标网格单元时全景摄像头的转动角度α；根据各个目标网格单元对应的转动角度α计算激光雷达采集所述目标网格单元时的转动角度β；根据所述转动角度β判断所述激光雷达的轴线对准目标网格单元时，控制激光雷达对当前目标网格单元进行两次扫描，以获取目标网格单元的第一组点云数据和第二组点云数据，其中，第一次扫描激光雷达以第一发射功率工作，第二次扫描激光雷达第二发射功率工作，所述第二发射功率大于所述第一发射功率；将所述第一组点云数据中黑色区域的边缘轮廓内的数据剔除得到残缺数据，并提取所述第二组点云数据中黑色区域的边缘轮廓内的数据，将提取到的数据与残缺数据组合得到目标网格单元的完整点云数据；当激光雷达的轴线对准非目标网格单元时，控制激光雷达以第一发射功率进行扫描；重复上述步骤，直至所有网格单元的点云数据扫描完成，得到所述视场的点云数据。

根据本发明的一个实施例，上述的目标检测方法还包括：对所述全景摄像头以及激光雷达进行联合标定，使得获取的全景图像和点云数据在时间域与空间域相关联。

根据本发明的一个实施例，对所述视场的点云数据进行基于语义引导的点采样处理，具体包括：对点云数据中每个采样点的特征进行编码，以得到每个采样点对应的语义分数；分别计算各个采样点距离该视场的点云数据中的最远点的物理距离/>，根据所述物理距离/>以及当前采样点的语义分数/>计算加权后最远点采样距离/>；根据计算得到的各个采样点的加权后最远点采样距离/>对采样点分组，输出分组后的点云数据L和其对应的高级特征。

根据本发明的一个实施例，具体采用以下公式计算所述加权后最远点采样距离：/>；其中，/>为加权后第i个采样点距离该视场的点云数据中最远点的采样距离，/>为第i个采样点距离该视场的点云数据中最远点的物理距离，/>为第i个采样点的语义分数，语义分数/>∈[0,1]，i为采样点的序号，/>为第i个采样点语义分数的γ次幂，γ为超参。

根据本发明的一个实施例，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合，具体包括：获取点采样处理后的点云数据以及对图像信息进行语义分割得到的语义分割结果S，通过相机矩阵M和齐次变换矩阵T将点采样处理后的点云数据逐点投影到图像坐标上得到投影结果；将语义分割结果S加到投影结果/>上以得到涂抹融合后的点云数据。

根据本发明的一个实施例，将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果，包括：基于类别感知下采样策略，学习涂抹融合后的点云数据中每个点的语义信息以感知每个点的语义类别，根据每个点的语义类别进行选择性的下采样，以保留前k个前景分数对应的点；基于质心感知下采样策略，利用候选框周围的上下文线索进行质心预测，以保留质心预测得分最高的前n个质心点；对保留的n个质心点进行实例聚合得到质心点特征，根据所述质心点特征输出具有语义类别的预测框。

根据本发明的一个实施例，对保留的n个质心点进行实例聚合得到质心点特征，具体包括：对于保留的n个质心点通过PointNet++模块学习每个实例的表示方式，并完成相邻质心点到局部规范坐标系的转换，再通过共享MLP层和对称函数实现质心点特征的聚合。

本发明的第二方面实施例提出了一种目标检测装置，包括：图像获取模块，所述图像获取模块用于通过全景摄像头获取视场的全景图像；分割模块，所述分割模块用于沿全景摄像头转动圆周方向将全景图像均匀分割成预设数量的网格单元，将存在黑色区域的网格单元标记为目标网格单元，并提取黑色区域的边缘轮廓；点云获取模块，所述点云获取模块用于通过激光雷达获取视场的点云数据，其中，当激光雷达的轴线对准目标网格单元时控制激光雷达对所述目标网格单元进行两次扫描，根据所述黑色区域的边缘轮廓将所述激光雷达两次扫描的点云数据进行融合，以得到所述目标网格单元的完整点云数据，且第二次扫描时的发射功率大于第一次扫描时的发射功率；融合模块，所述融合模块用于对所述视场的点云数据进行基于语义引导的点采样处理，对所述全景图像进行语义分割，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合；目标检测模块，所述目标检测模块用于将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果。

本发明上述的目标检测装置还具有如下附加技术特征：

根据本发明的一个实施例，所述点云获取模块具体用于：从全景摄像头旋转中心点沿摄像头的转动圆的径向引出一基准线，定义该基准线的角度为0度并建立空间坐标系，旋转中心点为坐标原点；通过目标网格单元的中心点坐标计算出全景摄像头从0度位置转动至对准所述目标网格单元时全景摄像头的转动角度α；根据各个目标网格单元对应的转动角度α计算激光雷达采集所述目标网格单元时的转动角度β；根据所述转动角度β判断所述激光雷达的轴线对准目标网格单元时，控制激光雷达对当前目标网格单元进行两次扫描，以获取目标网格单元的第一组点云数据和第二组点云数据，其中，第一次扫描激光雷达以第一发射功率工作，第二次扫描激光雷达第二发射功率工作，所述第二发射功率大于所述第一发射功率；将所述第一组点云数据中黑色区域的边缘轮廓内的数据剔除得到残缺数据，并提取所述第二组点云数据中黑色区域的边缘轮廓内的数据，将提取到的数据与残缺数据组合得到目标网格单元的完整点云数据；当激光雷达的轴线对准非目标网格单元时，控制激光雷达以第一发射功率进行扫描；重复上述步骤，直至所有网格单元的点云数据扫描完成，得到所述视场的点云数据。

本发明的有益效果：

本发明针对激光雷达检测到的点云数据中黑色物体所在区域进行了优化，可以使激光雷达能更准确检测到黑色物体，从而能获得更完整、准确的视场点云数据，将且全景图像与点云数据进行融合，大大提升了目标的检测精度。

附图说明

图1是根据本发明一个实施例的目标检测方法的流程图；

图2是根据本发明一个实施例的点云数据的获取流程图；

图3是根据本发明一个实施例的点采样处理的流程图；

图4是根据本发明一个实施例的目标检测结果的获取流程图；

图5是根据本发明一个实施例的目标检测装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明一个实施例的目标检测方法的流程图，如图1所示，该方法包括以下步骤：

S1，通过全景摄像头获取视场的全景图像。

具体地，可以通过水平转动全景摄像头拍摄视场的360度全景图像。

S2，沿全景摄像头转动圆周方向将全景图像均匀分割成预设数量的网格单元，将存在黑色区域的网格单元标记为目标网格单元，并提取黑色区域的边缘轮廓。

具体地，沿转动圆周方向将全景图像均匀分割成一定数量的网格单元，每个网格单元对应的圆心角相等，且每个网格单元覆盖的范围刚好为激光雷达的扫描范围。识别每个网格单元的图像内是否存在黑色区域，若识别到网格单元的图像内存在黑色区域，则认为该图像内存在黑色物体，并将该网格单元标记为目标网格单元，提取黑色区域的边缘轮廓。

S3，通过激光雷达获取视场的点云数据，其中，当激光雷达的轴线对准目标网格单元时控制激光雷达对目标网格单元进行两次扫描，根据黑色区域的边缘轮廓将激光雷达两次扫描的点云数据进行融合，以得到目标网格单元的完整点云数据，且第二次扫描时的发射功率大于第一次扫描时的发射功率。

进一步地而言，在本发明的一个实施例中，如图2所示，通过激光雷达获取视场的点云数据，具体包括：

S31，从全景摄像头旋转中心点沿摄像头的转动圆的径向引出一基准线，定义该基准线的角度为0度并建立空间坐标系，旋转中心点为坐标原点。

S32，通过目标网格单元的中心点坐标计算出全景摄像头从0度位置转动至对准目标网格单元时全景摄像头的转动角度α。

S33，根据各个目标网格单元对应的转动角度α计算激光雷达采集目标网格单元时的转动角度β。

具体地，一般全景摄像头和激光雷达的朝向相反，即全景摄像头的轴线与激光雷达的轴线的夹角为180度，通过该180角与α可以换算出激光雷达从初始位置（摄像头处于0度位置时激光雷达处于其初始位置）转动至对准目标网格单元时的转动角度β。

S34，根据转动角度β判断激光雷达的轴线对准目标网格单元时，控制激光雷达对当前目标网格单元进行两次扫描，以获取目标网格单元的第一组点云数据和第二组点云数据，其中，第一次扫描激光雷达以第一发射功率工作，第二次扫描激光雷达第二发射功率工作，第二发射功率大于第一发射功率。

S35，将第一组点云数据中黑色区域的边缘轮廓内的数据剔除得到残缺数据，并提取第二组点云数据中黑色区域的边缘轮廓内的数据，将提取到的数据与残缺数据组合得到目标网格单元的完整点云数据。

具体地，在激光雷达旋转扫描的过程中，检测其转过的角度（在转动轴上安装角度传感器，可以实时检测转过的角度）并将检测到的角度与β进行比较，以判断激光雷达的轴线是否对准目标网格单元。当激光雷达的轴线对准目标网格单元时，控制激光雷达对当前网格区域进行两次扫描，第一次扫描激光雷达以默认的发射功率（第一发射功率）工作，第二次扫描激光雷达以较高的发射功率（第二发射功率）工作，这样可以分别得到目标网格单元的目标网格单元的第一组点云数据和第二组点云数据，将第一组点云数据中黑色区域轮廓内的数据剔除得到残缺数据，并提取第二组点云数据中黑色区域轮廓内的数据，将提取到的数据与残缺数据组合得到目标网格单元的完整点云数据。

S36，当激光雷达的轴线对准非目标网格单元时，控制激光雷达以第一发射功率进行扫描。

S37，重复上述步骤，直至所有网格单元的点云数据扫描完成，得到视场的点云数据。

由此，该步骤先是通过图像识别技术识别出各个网格单元内是否有黑色物体并提取黑色物体的轮廓，在利用激光雷达对存在黑色物体的网格单元进行扫描时提高发射功率，使激光雷达向外输出的光量提高，即便是激光照射到黑色物体被吸收，也会有更多的光反射回激光雷达，保证激光雷达能准确识别到黑色物体。如此可以获得更准确的激光点云数据，保证后续处理的准确性。

S4，对视场的点云数据进行基于语义引导的点采样处理，对全景图像进行语义分割，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合。

根据本发明的一个实施例，如图3所示，对视场的点云数据进行基于语义引导的点采样处理，具体包括：

S41，对点云数据中每个采样点的特征进行编码，以得到每个采样点对应的语义分数。

S42，分别计算各个采样点距离该视场的点云数据中的最远点的物理距离，根据物理距离/>以及当前采样点的语义分数/>计算加权后最远点采样距离/>。

在本发明的一个实施例中，具体可以采用以下公式计算加权后最远点采样距离：/>，其中，/>为加权后第i个采样点距离该视场的点云数据中最远点的采样距离，/>为第i个采样点距离该视场的点云数据中最远点的物理距离，/>为第i个采样点的语义分数，语义分数/>∈[0,1]，i为采样点的序号，/>为第i个采样点语义分数的γ次幂，γ为超参，需进行调参，γ=0的话就是原始FPS（Farthest Point Sampling，最远点采样），即未对最远点采样距离进行加权计算，经过若干次实验证明γ=1的时候效果最好。

S43，根据计算得到的各个采样点的加权后最远点采样距离对采样点分组，输出分组后的点云数据L和其对应的高级特征。

具体地，本发明实施例提供的语义引导的点采样（S-FPS）方法逐点处理输入的点云数据，保留来自前景的若干个不同点，使前景物体以更高的概率存在，解决了在下采样时大量有意义的前景点被忽略的问题。

例如，设定i为正整数，是激光雷达实时采集输入点的数量，/>是经过步骤S2算法采样过后输出点的数量。从i=1的点开始，对该点的特征进行编码，生成该点的一个语义分数，计算完/>个点之后语义分数形成语义地图；将语义地图输入到语义引导的点采样模块中，用于加权最远点采样的距离信息，进行采样分组后输出/>个点，使得更多的前景点被保留下来，避免背景点的干扰。

根据本发明的一个实施例，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合，具体包括：获取点采样处理后的点云数据以及对图像信息进行语义分割得到的语义分割结果S；通过相机矩阵M和齐次变换矩阵T将点采样处理后的点云数据逐点投影到图像坐标上得到投影结果；将语义分割结果S加到投影结果/>上以得到涂抹融合后的点云数据。

具体地，点云涂抹融合即是将图像信息语义分割步骤产生的语义分割结果S涂抹融合到S43中产生的点云数据L上，得到结合了图像和点云优势的融合点云数据以供后续检测使用。

例如，设定j为正整数，从j=1开始，点云数据L逐点进行坐标转换，从点云空间坐标到图像坐标系；从j=1开始，逐点将语义分割结果S中的语义分割分数附加到图像坐标系的点云数据中，得到融合图像信息后的点云数据。由于最终生成的点云融合了图像语义分割的信息和激光点云本身的信息，因此从数据源上丰富了基于点云的目标检测网络的输入，从而提高了检测性能。

S5，将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果。

进一步地，根据本发明的一个实施例，如图4所示，将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果，包括：

S51，基于类别感知下采样策略，学习涂抹融合后的点云数据中每个点的语义信息以感知每个点的语义类别，根据每个点的语义类别进行选择性的下采样，以保留前k个前景分数对应的点。

具体地，由于三维点云的体量规模很大，为了有效地进行3D目标检测，通过不断地进行下采样来降低内存和计算成本是至关重要的。然而采取不合适的下采样策略往往会导致丢失前景物体（如车辆、行人、自行车手等）的大部分信息。为了尽可能地保留前景点，利用候选框周围的向下文线索可以用来增加实例质心预测的成功率。

为了尽可能多地保留前景点并利用每个点的潜在语义，其中潜在语义来自于每个层中会运行分层聚合并学习到可能包含更丰富语义信息的点的特征，由此提出的将前景语义先验信息合并至网络的训练过程中的面向任务的采样方法。类别感知下采样策略是通过学习每个点的语义信息来实现选择性的下采样。通过两个MLP（Multilayer Perceptron，多层感知机）层附加到编码层作为额外的分支来增加潜在特征中更为丰富语义的效果，从而进一步估计每个点的语义的类别。在整个网络的推理过程中保留了具有前k个前景分数的点，这些点同时被当做送入到下一编码层的代表点。这种策略有利于保留更多的前景点，因此实现了较高的实例召回率。

S52，基于质心感知下采样策略，利用候选框周围的上下文线索进行质心预测，以保留质心预测得分最高的前n个质心点。

具体地，物体的实例中心对于目标检测效果的关键性不言而喻，因此引入质心感知下采样策略，基本思路是为更接近于实例中心的点赋予更高的权重。

S53，对保留的n个质心点进行实例聚合得到质心点特征，根据质心点特征输出具有语义类别的预测框。

可以理解的是，通常来说现有的基于点的检测方法倾向于选择任务不确定的下采样方法，比如随机采样、最远点采样等，然而3D目标检测任务中更需关注目标较小但更重要的前景对象，造成最重要的前景点在一定程度上的减少。另外，由于不同物体的几何形状和尺寸存在差异，现有的检测器通常会针对不同类型的物体训练不同超参数的模型，影响了模型在实践中通用的部署问题。因此本实施例中，引入实例感知（类别感知）的降采样模块和上下文质心感知模块，来实现精度和检测效率的提高。

上下文信息在目标检测领域中具有重要的作用，利用上下文信息可以提高目标检测的准确性，从而使得检测结果更加符合实际场景。上下文质心感知模块的思路来源于2D图像中上下文预测成功的启发，通过利用候选框周围的上下文线索进行质心预测可以增加检测的成功率。

在一种可能的实施例方式中，对保留的n个质心点进行实例聚合得到质心点特征，具体包括：对于保留的n个质心点通过PointNet++模块（一种基于深度学习的点云特征学习框架）学习每个实例的表示方式，并完成相邻质心点到局部规范坐标系的转换，再通过共享MLP层和对称函数实现质心点特征的聚合。得到聚集的质心点特征后可将其送入到提案生成头，从而输出具有类别的提议框。提议框被编码为有位置、规模和方向的多维表示，最后再对所有提议框都通过具有特定IoU（交并比）阈值的3D-NMS（(Non-Maximum Suppression，非极大值抑制）后处理进行过滤，得到最终的预测框。

在一种可能的实施例方式中，本发明上述的目标检测方法，执行步骤S1之前，还包括：对全景摄像头以及激光雷达进行联合标定，使得获取的全景图像和点云数据在时间域与空间域相关联。

可以理解的是，激光雷达可以提供距离和三维坐标信息，而摄像头可以提供颜色和纹理信息。数据融合可以将这些信息整合起来，使得目标检测算法能够更加准确地识别车辆、行人和道路标志等。融合包括时间域和空间域的关联两个方面。时间域的关联通常采用确定唯一系统时间的方法即可实现，具体来说是将不同种类的传感器分别按照各自的采集频率完成对时间轴的统一，接下来再提取同一时间戳上的数据即可。空间域的关联因涉及物理空间的对齐，往往采用传感器标定的方法。在完成激光雷达与摄像头之间的空间标定时需要完成四类坐标系的转换，分别是从激光雷达坐标系到世界坐标系再到图像坐标系最后到像素坐标系。传感器标定的实现过程所需的已知信息包括两类，首先需要基于实验中使用的摄像头的内参和外参信息，通过这些信息来给出世界坐标系到图像坐标系再到像素坐标系之间的转换关系，再通过联合标定获得的旋转矩阵和平以矩阵得到激光雷达坐标系到世界坐标系的转换关系，最终的空间标定结果至此得到。

由上，本发明提出了点云数据与全景图像融合的基本思路是将激光雷达点云进行涂抹，即将信道附加于激光雷达点云的原有数据通道之后，被增强的涂抹点云编码则是来自于图像经过语义分割网络的输出。从结构与效果上来说，该方法不存在特征模糊、深度模糊等问题，最大召回率没有被限制，也同样不需要计算伪点云，对于点云的三维数据结构没有进行改变与限制。

综上所述，根据本发明实施例的目标检测方法，针对激光雷达检测到的点云数据中黑色物体所在区域进行了优化，可以使激光雷达能更准确检测到黑色物体，从而能获得更完整、准确的视场点云数据，将且全景图像与点云数据进行融合，大大提升了目标的检测精度。在进行数据融合上改进融合检测效果，其使用语义分割网络处理输入图像，语义引导的点采样方法处理输入点云，语义引导的点采样方法解决了在下采样时大量有意义的前景点被忽略的问题，提高了在多目标场景下融合检测算法的表现，将全景图像中丰富的特征信息和激光点云中的深度信息相结合，提高目标的检测精度。

与上述的目标检测方法相对应，本发明还提出一种目标检测装置。由于本发明的装置实施例是基于上述的方法实施例，对于装置实施例中未披露的细节，可参见上述的方法实施例，本发明中不再进行赘述。

图5是根据本发明一个实施例的目标检测装置的方框示意图，如图5所示，该装置包括：图像获取模块1、分割模块2、点云获取模块3、融合模块4、目标检测模块5。

其中，图像获取模块1用于通过全景摄像头获取视场的全景图像；分割模块2用于沿全景摄像头转动圆周方向将全景图像均匀分割成预设数量的网格单元，将存在黑色区域的网格单元标记为目标网格单元，并提取黑色区域的边缘轮廓；点云获取模块3用于通过激光雷达获取视场的点云数据，其中，当激光雷达的轴线对准目标网格单元时控制激光雷达对目标网格单元进行两次扫描，根据黑色区域的边缘轮廓将激光雷达两次扫描的点云数据进行融合，以得到目标网格单元的完整点云数据，且第二次扫描时的发射功率大于第一次扫描时的发射功率；融合模块4用于对视场的点云数据进行基于语义引导的点采样处理，对全景图像进行语义分割，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合；目标检测模块5用于将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果。

根据本发明的一个实施例，点云获取模块3具体用于：从全景摄像头旋转中心点沿摄像头的转动圆的径向引出一基准线，定义该基准线的角度为0度并建立空间坐标系，旋转中心点为坐标原点；通过目标网格单元的中心点坐标计算出全景摄像头从0度位置转动至对准目标网格单元时全景摄像头的转动角度α；根据各个目标网格单元对应的转动角度α计算激光雷达采集目标网格单元时的转动角度β；根据转动角度β判断激光雷达的轴线对准目标网格单元时，控制激光雷达对当前目标网格单元进行两次扫描，以获取目标网格单元的第一组点云数据和第二组点云数据，其中，第一次扫描激光雷达以第一发射功率工作，第二次扫描激光雷达第二发射功率工作，第二发射功率大于第一发射功率；将第一组点云数据中黑色区域的边缘轮廓内的数据剔除得到残缺数据，并提取第二组点云数据中黑色区域的边缘轮廓内的数据，将提取到的数据与残缺数据组合得到目标网格单元的完整点云数据；当激光雷达的轴线对准非目标网格单元时，控制激光雷达以第一发射功率进行扫描；重复上述步骤，直至所有网格单元的点云数据扫描完成，得到视场的点云数据。

根据本发明实施例的目标检测装置，针对激光雷达检测到的点云数据中黑色物体所在区域进行了优化，可以使激光雷达能更准确检测到黑色物体，从而能获得更完整、准确的视场点云数据，将且全景图像与点云数据进行融合，大大提升了目标的检测精度。在进行数据融合上改进融合检测效果，其使用语义分割网络处理输入图像，语义引导的点采样方法处理输入点云，语义引导的点采样方法解决了在下采样时大量有意义的前景点被忽略的问题，提高了在多目标场景下融合检测算法的表现，将全景图像中丰富的特征信息和激光点云中的深度信息相结合，提高目标的检测精度。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体地限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种目标检测方法，其特征在于，包括以下步骤：

通过全景摄像头获取视场的全景图像；

沿全景摄像头转动圆周方向将全景图像均匀分割成预设数量的网格单元，将存在黑色区域的网格单元标记为目标网格单元，并提取黑色区域的边缘轮廓；

通过激光雷达获取视场的点云数据，其中，当激光雷达的轴线对准目标网格单元时控制激光雷达对所述目标网格单元进行两次扫描，根据所述黑色区域的边缘轮廓将所述激光雷达两次扫描的点云数据进行融合，以得到所述目标网格单元的完整点云数据，且第二次扫描时的发射功率大于第一次扫描时的发射功率；

对所述视场的点云数据进行基于语义引导的点采样处理，对所述全景图像进行语义分割，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合；

将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果。

2.根据权利要求1所述的目标检测方法，其特征在于，通过激光雷达获取视场的点云数据，具体包括：

从全景摄像头旋转中心点沿摄像头的转动圆的径向引出一基准线，定义该基准线的角度为0度并建立空间坐标系，旋转中心点为坐标原点；

通过目标网格单元的中心点坐标计算出全景摄像头从0度位置转动至对准所述目标网格单元时全景摄像头的转动角度α；

根据各个目标网格单元对应的转动角度α计算激光雷达采集所述目标网格单元时的转动角度β；

根据所述转动角度β判断所述激光雷达的轴线对准目标网格单元时，控制激光雷达对当前目标网格单元进行两次扫描，以获取目标网格单元的第一组点云数据和第二组点云数据，其中，第一次扫描激光雷达以第一发射功率工作，第二次扫描激光雷达第二发射功率工作，所述第二发射功率大于所述第一发射功率；

将所述第一组点云数据中黑色区域的边缘轮廓内的数据剔除得到残缺数据，并提取所述第二组点云数据中黑色区域的边缘轮廓内的数据，将提取到的数据与残缺数据组合得到目标网格单元的完整点云数据；

当激光雷达的轴线对准非目标网格单元时，控制激光雷达以第一发射功率进行扫描；

重复上述步骤，直至所有网格单元的点云数据扫描完成，得到所述视场的点云数据。

3.根据权利要求1所述的目标检测方法，其特征在于，还包括：对所述全景摄像头以及激光雷达进行联合标定，使得获取的全景图像和点云数据在时间域与空间域相关联。

4.根据权利要求1所述的目标检测方法，其特征在于，对所述视场的点云数据进行基于语义引导的点采样处理，具体包括：

对点云数据中每个采样点的特征进行编码，以得到每个采样点对应的语义分数；

分别计算各个采样点距离该视场的点云数据中的最远点的物理距离，根据所述物理距离/>以及当前采样点的语义分数/>计算加权后最远点采样距离/>；

根据计算得到的各个采样点的加权后最远点采样距离对采样点分组，输出分组后的点云数据L和其对应的高级特征。

5.根据权利要求4所述的目标检测方法，其特征在于，具体采用以下公式计算所述加权后最远点采样距离：

；

其中，为加权后第i个采样点距离该视场的点云数据中最远点的采样距离，/>为第i个采样点距离该视场的点云数据中最远点的物理距离，/>为第i个采样点的语义分数，语义分数/>∈[0,1]，i为采样点的序号，/>为第i个采样点语义分数的γ次幂，γ为超参。

6.根据权利要求5所述的目标检测方法，其特征在于，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合，具体包括：

获取点采样处理后的点云数据以及对图像信息进行语义分割得到的语义分割结果S；

通过相机矩阵M和齐次变换矩阵T将点采样处理后的点云数据逐点投影到图像坐标上得到投影结果；

将语义分割结果S加到投影结果上以得到涂抹融合后的点云数据。

7.根据权利要求1所述的目标检测方法，其特征在于，将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果，包括：

基于类别感知下采样策略，学习涂抹融合后的点云数据中每个点的语义信息以感知每个点的语义类别，根据每个点的语义类别进行选择性的下采样，以保留前k个前景分数对应的点；

基于质心感知下采样策略，利用候选框周围的上下文线索进行质心预测，以保留质心预测得分最高的前n个质心点；

对保留的n个质心点进行实例聚合得到质心点特征，根据所述质心点特征输出具有语义类别的预测框。

8.根据权利要求7所述的目标检测方法，其特征在于，对保留的n个质心点进行实例聚合得到质心点特征，具体包括：

对于保留的n个质心点通过PointNet++模块学习每个实例的表示方式，并完成相邻质心点到局部规范坐标系的转换，再通过共享MLP层和对称函数实现质心点特征的聚合。

9.一种目标检测装置，其特征在于，包括：

图像获取模块，所述图像获取模块用于通过全景摄像头获取视场的全景图像；

分割模块，所述分割模块用于沿全景摄像头转动圆周方向将全景图像均匀分割成预设数量的网格单元，将存在黑色区域的网格单元标记为目标网格单元，并提取黑色区域的边缘轮廓；

点云获取模块，所述点云获取模块用于通过激光雷达获取视场的点云数据，其中，当激光雷达的轴线对准目标网格单元时控制激光雷达对所述目标网格单元进行两次扫描，根据所述黑色区域的边缘轮廓将所述激光雷达两次扫描的点云数据进行融合，以得到所述目标网格单元的完整点云数据，且第二次扫描时的发射功率大于第一次扫描时的发射功率；

融合模块，所述融合模块用于对所述视场的点云数据进行基于语义引导的点采样处理，对所述全景图像进行语义分割，采用图像的语义分割结果对点采样处理后的点云数据进行涂抹融合；

目标检测模块，所述目标检测模块用于将涂抹融合后的点云数据输入基于点云的目标检测网络，以得到目标检测结果。

10.根据权利要求9所述的目标检测装置，其特征在于，所述点云获取模块具体用于：

从全景摄像头旋转中心点沿摄像头的转动圆的径向引出一基准线，定义该基准线的角度为0度并建立空间坐标系，旋转中心点为坐标原点；

通过目标网格单元的中心点坐标计算出全景摄像头从0度位置转动至对准所述目标网格单元时全景摄像头的转动角度α；

根据各个目标网格单元对应的转动角度α计算激光雷达采集所述目标网格单元时的转动角度β；

根据所述转动角度β判断所述激光雷达的轴线对准目标网格单元时，控制激光雷达对当前目标网格单元进行两次扫描，以获取目标网格单元的第一组点云数据和第二组点云数据，其中，第一次扫描激光雷达以第一发射功率工作，第二次扫描激光雷达第二发射功率工作，所述第二发射功率大于所述第一发射功率；

将所述第一组点云数据中黑色区域的边缘轮廓内的数据剔除得到残缺数据，并提取所述第二组点云数据中黑色区域的边缘轮廓内的数据，将提取到的数据与残缺数据组合得到目标网格单元的完整点云数据；

当激光雷达的轴线对准非目标网格单元时，控制激光雷达以第一发射功率进行扫描；

重复上述步骤，直至所有网格单元的点云数据扫描完成，得到所述视场的点云数据。