CN112505652B - 目标检测方法、装置及存储介质 - Google Patents
目标检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112505652B CN112505652B CN202110151043.XA CN202110151043A CN112505652B CN 112505652 B CN112505652 B CN 112505652B CN 202110151043 A CN202110151043 A CN 202110151043A CN 112505652 B CN112505652 B CN 112505652B
- Authority
- CN
- China
- Prior art keywords
- target
- dimensional
- frame
- result
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种目标检测方法、装置及存储介质,属于计算机技术领域,该方法包括:获取三维点云数据对应的体素网格形式的三维数据;将三维数据输入三维目标检测网络,得到的目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角;获取三维数据对应的标注结果,标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角;根据标注结果和目标预测结果确定三维旋转重叠率、中心点坐标之间的偏移量、目标标注框和目标预测框的外接框的对角线距离;基于目标预测结果、标注结果、三维旋转重叠率、偏移量和对角线距离生成损失函数,以对三维目标检测网络进行训练,得到最终的目标检测网络;可以提高网络收敛速度和训练效率。
Description
技术领域
本申请涉及一种目标检测方法、装置及存储介质,属于计算机技术领域。
背景技术
随着自动驾驶技术的发展,车辆可以通过其上安装的激光雷达采集三维点云数据,并基于该三维点云数据进行三维目标检测。
在基于三维点云数据进行三维目标检测时,通过将三维点云数据输入预设的神经网络,并使用三维交并比(3-dimension Intersection-over-Union,3D-IOU)的回归损失函数对该神经网络进行训练,得到最终的目标检测网络,使用该目标检测网络对三维点云数据中的目标进行检测。
然而,3D-IOU仅能够体现目标真实值和预测值之间的重叠率,以此迭代增加重叠率减小损失。但是,仅使用面积重合度信息在位置回归的计算收敛缓慢、且预测框和真实框不相交或者包含时功能失效。
发明内容
本申请提供了一种目标检测方法、装置及存储介质,可以解决仅使用面积重合度信息进行位置回归来训练目标检测网络时,网络收敛速度慢、且预测框和真实框不相交或者包含时回归功能失效的问题。本申请提供如下技术方案:
第一方面,提供一种目标检测方法,所述方法包括:
获取目标车辆上的激光雷达采集到的三维点云数据;
基于所述三维点云数据生成体素网格形式的三维数据;
将所述三维数据输入预设的三维目标检测网络,得到目标预测结果,所述目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角;
获取所述三维数据对应的标注结果,所述标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角;
根据所述标注结果和所述目标预测结果,确定所述目标标注框与所述目标预测框的三维旋转重叠率;
确定所述目标标注框的中心点坐标与所述目标预测框的中心点坐标之间的偏移量;
确定所述目标标注框和所述目标预测框的外接框的对角线距离;
基于所述目标预测结果、所述标注结果、所述三维旋转重叠率、所述偏移量和所述对角线距离生成损失函数;
使用所述损失函数对所述三维目标检测网络进行训练,得到最终的目标检测网络,所述目标检测网络用于检测三维目标。
可选地,所述基于所述目标预测结果、所述标注结果、所述三维旋转重叠率、所述偏移量和所述对角线距离生成损失函数,包括:
使用所述目标预测框的宽度和高度、所述目标标注框的宽度和高度,确定所述目标预测框与所述目标标注框之间的宽高比的一致性结果;
使用所述宽高比的一致性结果和所述三维旋转重叠率,确定所述损失函数的权衡参数;
使用所述三维旋转重叠率、所述偏移量、所述对角线距离、所述宽高比的一致性结果和所述权衡参数,生成所述损失函数。
可选地,所述损失函数通过下式表示:
Loss=1-RIOU+d2/ c2+αv
其中,RIOU为所述三维旋转重叠率,d为所述偏移量,c为所述对角线距离,v为所述宽高比的一致性结果,α为所述权衡参数。
可选地,所述宽高比的一致性结果通过下式表示:
其中,v为所述宽高比的一致性结果,wgt为所述目标标注框的宽度,w为所述目标预测框的宽度,hgt为所述目标标注框的高度,h为所述目标预测框的高度。
可选地,所述权衡参数通过下式表示:
其中,α为所述权衡参数,v为所述宽高比的一致性结果,RIOU为所述三维旋转重叠率。
可选地,所述目标标注框为包括所述目标的带朝向角的第一最小包围立方体;所述目标预测框为包括所述目标的带朝向角的第二最小包围立方体;所述根据所述标注结果和所述目标预测结果,确定所述目标标注框与所述目标预测框的三维旋转重叠率,包括:
计算所述第一最小包围立方体和所述第二最小包围立方体之间的重叠体积;
计算所述第一最小包围立方体和所述第二最小包围立方体的体积和;
使用所述重叠体积除以所述体积和与所述重叠体积之差,得到所述三维旋转重叠率。
可选地,所述方法还包括:
在所述目标车辆的目标检测功能启动时,将所述激光雷达采集到的三维点云数据转换为体素网格形式的三维数据;
将所述三维数据输入所述最终的目标检测网络,得到三维目标检测结果,所述三维目标检测结果包括目标的位置、尺寸和朝向角。
第二方面,提供一种目标检测装置,所述装置包括:
点云获取模块,用于获取目标车辆上的激光雷达采集到的三维点云数据;
数据转换模块,用于基于所述三维点云数据生成体素网格形式的三维数据;
目标检测模块,用于将所述三维数据输入预设的三维目标检测网络,得到目标预测结果,所述目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角;
数据标注模块,用于获取所述三维数据对应的标注结果,所述标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角;
重叠率确定模块,用于根据所述标注结果和所述目标预测结果,确定所述目标标注框与所述目标预测框的三维旋转重叠率;
偏移量确定模块,用于确定所述目标标注框的中心点坐标与所述目标预测框的中心点坐标之间的偏移量;
对角线确定模块,用于确定所述目标标注框和所述目标预测框的外接框的对角线距离;
函数生成模块,用于基于所述目标预测结果、所述标注结果、所述三维旋转重叠率、所述偏移量和所述对角线距离生成损失函数;
网络训练模块,用于使用所述损失函数对所述三维目标检测网络进行训练,得到最终的目标检测网络,所述目标检测网络用于检测三维目标。
第三方面,提供一种目标检测装置,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现第一方面提供的目标检测方法。
第四方面,提供一种计算机可读存储介质,所述存储介质中存储有程序,所述程序被处理器执行时用于实现第一方面提供的所述的目标检测方法。
本申请的有益效果在于:通过获取目标车辆上的激光雷达采集到的三维点云数据;基于三维点云数据生成体素网格形式的三维数据;将三维数据输入预设的三维目标检测网络,得到目标预测结果,目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角;获取三维数据对应的标注结果,标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角;根据标注结果和目标预测结果,确定目标标注框与目标预测框的三维旋转重叠率;确定目标标注框的中心点坐标与目标预测框的中心点坐标之间的偏移量;确定目标标注框和目标预测框的外接框的对角线距离;基于目标预测结果、标注结果、三维旋转重叠率、偏移量和对角线距离生成损失函数;使用损失函数对三维目标检测网络进行训练,得到最终的目标检测网络,目标检测网络用于检测三维目标;可以解决仅使用面积重合度信息进行位置回归来训练目标检测网络时,网络收敛速度慢、且预测框和真实框不相交或者包含时回归功能失效的问题;通过结合预测框与真实框的重合度、中心点偏移和长宽高偏移,即使预测框与真实框不重合,也可以使用其它参数进行位置回归,同时可以提高网络收敛速度,提高网络训练效率。
另外,现有的回归损失函数采用3D-IOU的方式,不能有效的表达旋转目标的位置信息,会在计算中放大目标尺寸;而本实施例通过在损失函数中增加中心点偏移、长宽高偏移和朝向角,可以使得检测得到的目标尺寸更加贴合目标的实际尺寸,提高目标检测准确性。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的目标检测方法的流程图;
图2是本申请一个实施例提供的目标预测框和目标标注框的示意图;
图3是本申请一个实施例提供的计算三维旋转重叠率的示意图;
图4是本申请一个实施例提供的中心点之间的距离、对角线距离的示意图;
图5是本申请一个实施例提供的目标检测装置的框图;
图6是本申请一个实施例提供的目标检测装置的框图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
首先,对本申请涉及的若干名词进行介绍。
自动驾驶(Self-driving):是一种通过电脑系统实现自动驾驶的智能汽车。
点云数据(Point Cloud):是指在一个三维坐标系统中的一组向量的集合。
神经网络(Neural Network):是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法模型。
目标检测(Target Detection):是指找出图像中所有感兴趣的目标,确定它们的位置和类别。
体素网格(Voxel Grid):是一种将三维空间划分成一组微小的三维长方体。
重叠度(Intersection Over Union):是一种测量在特定数据集中检测相应物体准确度的一个标准。
外接框(Bounding Box):是一种用于表示目标物体的最小外接矩形框。
损失函数(Loss Function):是一种用来表现预测与实际数据的差距程度的度量方式。
回归损失(Regression Loss):是一种针对输入变量与输出变量均为连续变量的预测问题设计的损失函数。
分类损失(Classification Loss):是一种针对输出变量为有限个离散变量的预测问题设计的损失函数。
可选地,本申请以各个实施例的执行主体为具有计算能力的电子设备为例进行说明,该电子设备可以为终端或服务器,该终端可以为车载计算机、手机、计算机、笔记本电脑、平板电脑等,本实施例不对终端的类型和电子设备的类型作限定。
本实施例中,电子设备与目标车辆上的激光雷达传感器通信相连,即,目标车辆上安装有激光雷达传感器。在实际实现时,目标车辆还可以安装有其它类型的传感器,本实施例不对目标车辆上安装的传感器类型作限定。电子设备可以为目标车辆上的车载计算机、或者是与目标车辆相独立的设备,本实施例不对电子设备与目标车辆之间的安装方式作限定。
图1是本申请一个实施例提供的目标检测方法的流程图。该方法至少包括以下几个步骤:
步骤101,获取目标车辆上的激光雷达采集到的三维点云数据。
三维点云数据可以为目标车辆前方的三维点云数据、和/或为目标车辆左侧的三维点云数据、和/或为目标车辆右侧的三维点云数据、和/或为目标车辆后方的三维点云数据,本实施例不对三维点云数据的采集方向作限定。
步骤102,基于三维点云数据生成体素网格形式的三维数据。
可选地,在获取到三维点云数据之后,电子设备可以对点云数据进行外参标定将每个点云坐标由激光雷达坐标系转换到目标车辆的车身坐标系;之后,对坐标转换后的点云数据进行滤波、提取感兴趣区域,以删除噪声点和移除感知范围以外的点,得到处理后的三维点云数据。
在一个示例中,基于三维点云数据生成体素网格形式的三维数据,包括:使用获取到的三维点云数据或者处理后的三维点云数据上创建多个三维的体素网格(将体素网格视为一组空间中的微小3D小空间);然后,在每个体素中,使用各个点的质心近似,得到体素网格形式的三维数据。这样,可以更准确地保持宏观的几何外形。
步骤103,将三维数据输入预设的三维目标检测网络,得到目标预测结果,该目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角。
可选地,三维目标检测网络可以为三维卷积神经网络、或者基于图卷积注意网络等,本实施例不对三维目标检测网络的类型作限定。
其中,目标预测框为包括目标的、带朝向角的第二最小包围立方体。
可选地,本申请中的目标可以为车辆、行人、障碍物等,本实施例不对目标的类型作限定。
步骤104,获取三维数据对应的标注结果,该标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角。
可选地,步骤104可以在步骤103之后执行,或者也可以在步骤103之前执行,或者与步骤103同时执行,本实施例不对步骤103与104之间的执行顺序作限定。
可选地,标注结果可以是人工对三维数据进行标注得到的,或者是使用自动标注工具标注得到的,或者是其它设备发送的,本实施例不对标注结果的获取方式作限定。
其中,目标标注框为包括目标的、带朝向角的第一最小包围立方体。
步骤105,根据标注结果和目标预测结果,确定目标标注框与目标预测框的三维旋转重叠率。
在一个实施例中,根据标注结果和目标预测结果,确定目标标注框与目标预测框的三维旋转重叠率,包括:计算第一最小包围立方体和第二最小包围立方体之间的重叠体积;计算第一最小包围立方体和第二最小包围立方体的体积和;使用重叠体积除以体积和与重叠体积之差,得到三维旋转重叠率。
参考图2所示目标标注框21和目标预测框22,根据图2可知,目标标注框21具有朝向角,且与目标预测框22部分重合。目标标注框21和目标预测框22的俯视图参考图3所示,计算第一最小包围立方体31和第二最小包围立方体32之间的重叠体积(图3中阴影部分),将重叠体积除以体积和与重叠体积之差(图3中各个框内无阴影部分),得到三维旋转重叠率。
可选地,三维旋转重叠率也可以称为三维交并比(3-dimension Intersection-over-Union,3D-IOU),本实施例不对三维旋转重叠率的名称作限定。
步骤106,确定目标标注框的中心点坐标与目标预测框的中心点坐标之间的偏移量。
目标标注框的中心点坐标与目标预测框的中心点坐标之间的偏移量通过两个中心点坐标之间的距离表示。
参考图4所示,目标标注框的中心点坐标41与目标预测框的中心点坐标42之间的偏移量为二者之间的距离d。
在一个示例中,中心点坐标之间的距离为欧式距离。
步骤107,确定目标标注框和目标预测框的外接框的对角线距离。
在一个示例中,目标标注框和目标标注框的外接框是包括目标标注框和目标预测框的最小矩形框。
其中,外界框的对角线距离为目标标注框的顶点和目标预测框顶点之间的最远距离。
参考图4所示,目标标注框与目标预测框的外接框的对角线距离为c。
步骤108,基于目标预测结果、标注结果、三维旋转重叠率、偏移量和对角线距离生成损失函数。
由于边界框回归的几何因素包括:重叠面积、中心点距离和纵横比。本实施例中,通过基于目标预测结果、标注结果、三维旋转重叠率、偏移量和对角线距离生成损失函数,促使神经网络回归损失在运算时不仅包含目标和预测立体框的重叠率损失,还有两者中心点距离损失以及长宽高比例损失,更加符合优化思想,提高网络收敛速度和网络性能。
在一个示例中,基于目标预测结果、标注结果、三维旋转重叠率、偏移量和对角线距离生成损失函数,包括:使用目标预测框的宽度和高度、目标标注框的宽度和高度,确定目标预测框与目标标注框之间的宽高比的一致性结果;使用宽高比的一致性结果和三维旋转重叠率,确定损失函数的权衡参数;使用三维旋转重叠率、偏移量、对角线距离、宽高比的一致性结果和权衡参数,生成损失函数。
比如:损失函数通过下式表示:
Loss=1-RIOU+d2/ c2+αv
其中,RIOU为三维旋转重叠率,d为偏移量,c为对角线距离,v为宽高比的一致性结果,α为权衡参数。
宽高比的一致性结果通过下式表示:
其中,v为宽高比的一致性结果,wgt为目标标注框的宽度,w为目标预测框的宽度,hgt为目标标注框的高度,h为目标预测框的高度。
权衡参数通过下式表示:
其中,α为权衡参数,v为宽高比的一致性结果,RIOU为三维旋转重叠率。
步骤109,使用损失函数对三维目标检测网络进行训练,得到最终的目标检测网络,该目标检测网络用于检测三维目标。
可选地,在得到最终的目标检测网络后,在目标车辆的目标检测功能启动时,电子设备将激光雷达采集到的三维点云数据转换为体素网格形式的三维数据;将三维数据输入最终的目标检测网络,得到三维目标检测结果,该三维目标检测结果包括目标的位置、尺寸和朝向角。
其中,目标检测功能可以一直处于启动状态;或者,目标检测功能可以基于用户触发启动;或者,目标检测功能在目标车辆启动时启动,本实施例不对目标检测功能的启动方式作限定。
综上所述,本实施例提供的目标检测方法,通过获取目标车辆上的激光雷达采集到的三维点云数据;基于三维点云数据生成体素网格形式的三维数据;将三维数据输入预设的三维目标检测网络,得到目标预测结果,目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角;获取三维数据对应的标注结果,标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角;根据标注结果和目标预测结果,确定目标标注框与目标预测框的三维旋转重叠率;确定目标标注框的中心点坐标与目标预测框的中心点坐标之间的偏移量;确定目标标注框和目标预测框的外接框的对角线距离;基于目标预测结果、标注结果、三维旋转重叠率、偏移量和对角线距离生成损失函数;使用损失函数对三维目标检测网络进行训练,得到最终的目标检测网络,目标检测网络用于检测三维目标;可以解决仅使用面积重合度信息进行位置回归来训练目标检测网络时,网络收敛速度慢、且预测框和真实框不相交或者包含时回归功能失效的问题;通过结合预测框与真实框的重合度、中心点偏移和长宽高偏移,即使预测框与真实框不重合,也可以使用其它参数进行位置回归,同时可以提高网络收敛速度,提高网络训练效率。
另外,现有的回归损失函数采用3D-IOU的方式,不能有效的表达旋转目标的位置信息,会在计算中放大目标尺寸;而本实施例通过在损失函数中增加中心点偏移、长宽高偏移和朝向角,可以使得检测得到的目标尺寸更加贴合目标的实际尺寸,提高目标检测准确性。
图5是本申请一个实施例提供的目标检测装置的框图。该装置至少包括以下几个模块:点云获取模块510、数据转换模块520、目标检测模块530、数据标注模块540、重叠率确定模块550、偏移量确定模块560、对角线确定模块570、函数生成模块580和网络训练模块590。
点云获取模块510,用于获取目标车辆上的激光雷达采集到的三维点云数据;
数据转换模块520,用于基于所述三维点云数据生成体素网格形式的三维数据;
目标检测模块530,用于将所述三维数据输入预设的三维目标检测网络,得到目标预测结果,所述目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角;
数据标注模块540,用于获取所述三维数据对应的标注结果,所述标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角;
重叠率确定模块550,用于根据所述标注结果和所述目标预测结果,确定所述目标标注框与所述目标预测框的三维旋转重叠率;
偏移量确定模块560,用于确定所述目标标注框的中心点坐标与所述目标预测框的中心点坐标之间的偏移量;
对角线确定模块570,用于确定所述目标标注框和所述目标预测框的外接框的对角线距离;
函数生成模块580,用于基于所述目标预测结果、所述标注结果、所述三维旋转重叠率、所述偏移量和所述对角线距离生成损失函数;
网络训练模块590,用于使用所述损失函数对所述三维目标检测网络进行训练,得到最终的目标检测网络,所述目标检测网络用于检测三维目标。
相关细节参考上述方法实施例。
需要说明的是:上述实施例中提供的目标检测装置在进行目标检测时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将目标检测装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标检测装置与目标检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请一个实施例提供的目标检测装置的框图。该装置至少包括处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如:4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的目标检测方法。
在一些实施例中,目标检测装置还可选包括有:外围设备接口和至少一个外围设备。处理器601、存储器602和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地,外围设备包括但不限于:射频电路、触摸显示屏、音频电路、和电源等。
当然,目标检测装置还可以包括更少或更多的组件,本实施例对此不作限定。
可选地,本申请还提供有一种计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的目标检测方法。
可选地,本申请还提供有一种计算机产品,该计算机产品包括计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的目标检测方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
上述仅为本申请的一个具体实施方式,其它基于本申请构思的前提下做出的任何改进都视为本申请的保护范围。
Claims (6)
1.一种目标检测方法,其特征在于,所述方法包括:
获取目标车辆上的激光雷达采集到的三维点云数据;
基于所述三维点云数据生成体素网格形式的三维数据;
将所述三维数据输入预设的三维目标检测网络,得到目标预测结果,所述目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角;
获取所述三维数据对应的标注结果,所述标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角;
根据所述标注结果和所述目标预测结果,确定所述目标标注框与所述目标预测框的三维旋转重叠率;
确定所述目标标注框的中心点坐标与所述目标预测框的中心点坐标之间的偏移量;
确定所述目标标注框和所述目标预测框的外接框的对角线距离;
基于所述目标预测结果、所述标注结果、所述三维旋转重叠率、所述偏移量和所述对角线距离生成损失函数;
使用所述损失函数对所述三维目标检测网络进行训练,得到最终的目标检测网络,所述目标检测网络用于检测三维目标;
所述基于所述目标预测结果、所述标注结果、所述三维旋转重叠率、所述偏移量和所述对角线距离生成损失函数,包括:
使用所述目标预测框的宽度和高度、所述目标标注框的宽度和高度,确定所述目标预测框与所述目标标注框之间的宽高比的一致性结果;
使用所述宽高比的一致性结果和所述三维旋转重叠率,确定所述损失函数的权衡参数;
使用所述三维旋转重叠率、所述偏移量、所述对角线距离、所述宽高比的一致性结果和所述权衡参数,生成所述损失函数;
所述损失函数通过下式表示:
Loss=1-RIOU+d2/ c2+αv
其中,RIOU为所述三维旋转重叠率,d为所述偏移量,c为所述对角线距离,v为所述宽高比的一致性结果,α为所述权衡参数;
所述宽高比的一致性结果通过下式表示:
其中,v为所述宽高比的一致性结果,wgt为所述目标标注框的宽度,w为所述目标预测框的宽度,hgt为所述目标标注框的高度,h为所述目标预测框的高度;
所述权衡参数通过下式表示:
其中,α为所述权衡参数,v为所述宽高比的一致性结果,RIOU为所述三维旋转重叠率。
2.根据权利要求1所述的方法,其特征在于,所述目标标注框为包括所述目标的带朝向角的第一最小包围立方体;所述目标预测框为包括所述目标的带朝向角的第二最小包围立方体;所述根据所述标注结果和所述目标预测结果,确定所述目标标注框与所述目标预测框的三维旋转重叠率,包括:
计算所述第一最小包围立方体和所述第二最小包围立方体之间的重叠体积;
计算所述第一最小包围立方体和所述第二最小包围立方体的体积和;
使用所述重叠体积除以所述体积和与所述重叠体积之差,得到所述三维旋转重叠率。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在所述目标车辆的目标检测功能启动时,将所述激光雷达采集到的三维点云数据转换为体素网格形式的三维数据;
将所述三维数据输入所述最终的目标检测网络,得到三维目标检测结果,所述三维目标检测结果包括目标的位置、尺寸和朝向角。
4.一种目标检测装置,其特征在于,所述装置包括:
点云获取模块,用于获取目标车辆上的激光雷达采集到的三维点云数据;
数据转换模块,用于基于所述三维点云数据生成体素网格形式的三维数据;
目标检测模块,用于将所述三维数据输入预设的三维目标检测网络,得到目标预测结果,所述目标预测结果包括目标预测框的中心点坐标、长度、宽度、高度和朝向角;
数据标注模块,用于获取所述三维数据对应的标注结果,所述标注结果包括目标标注框的中心点坐标、长度、宽度、高度和朝向角;
重叠率确定模块,用于根据所述标注结果和所述目标预测结果,确定所述目标标注框与所述目标预测框的三维旋转重叠率;
偏移量确定模块,用于确定所述目标标注框的中心点坐标与所述目标预测框的中心点坐标之间的偏移量;
对角线确定模块,用于确定所述目标标注框和所述目标预测框的外接框的对角线距离;
函数生成模块,用于基于所述目标预测结果、所述标注结果、所述三维旋转重叠率、所述偏移量和所述对角线距离生成损失函数;
网络训练模块,用于使用所述损失函数对所述三维目标检测网络进行训练,得到最终的目标检测网络,所述目标检测网络用于检测三维目标;
所述函数生成模块,用于:
使用所述目标预测框的宽度和高度、所述目标标注框的宽度和高度,确定所述目标预测框与所述目标标注框之间的宽高比的一致性结果;
使用所述宽高比的一致性结果和所述三维旋转重叠率,确定所述损失函数的权衡参数;
使用所述三维旋转重叠率、所述偏移量、所述对角线距离、所述宽高比的一致性结果和所述权衡参数,生成所述损失函数;
所述损失函数通过下式表示:
Loss=1-RIOU+d2/ c2+αv
其中,RIOU为所述三维旋转重叠率,d为所述偏移量,c为所述对角线距离,v为所述宽高比的一致性结果,α为所述权衡参数;
所述宽高比的一致性结果通过下式表示:
其中,v为所述宽高比的一致性结果,wgt为所述目标标注框的宽度,w为所述目标预测框的宽度,hgt为所述目标标注框的高度,h为所述目标预测框的高度;
所述权衡参数通过下式表示:
其中,α为所述权衡参数,v为所述宽高比的一致性结果,RIOU为所述三维旋转重叠率。
5.一种目标检测装置,其特征在于,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现如权利要求1至3任一项所述的目标检测方法。
6.一种计算机可读存储介质,其特征在于,所述存储介质中存储有程序,所述程序被处理器执行时用于实现如权利要求1至3任一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110151043.XA CN112505652B (zh) | 2021-02-04 | 2021-02-04 | 目标检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110151043.XA CN112505652B (zh) | 2021-02-04 | 2021-02-04 | 目标检测方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112505652A CN112505652A (zh) | 2021-03-16 |
CN112505652B true CN112505652B (zh) | 2021-04-27 |
Family
ID=74952663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110151043.XA Active CN112505652B (zh) | 2021-02-04 | 2021-02-04 | 目标检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112505652B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114565916B (zh) * | 2022-02-07 | 2024-06-28 | 苏州浪潮智能科技有限公司 | 目标检测模型训练方法、目标检测方法以及电子设备 |
CN114723940A (zh) * | 2022-04-22 | 2022-07-08 | 广州文远知行科技有限公司 | 一种基于规则标注图片数据的方法、装置及存储介质 |
CN114596363B (zh) * | 2022-05-10 | 2022-07-22 | 北京鉴智科技有限公司 | 一种三维点云标注方法、装置及终端 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101751666A (zh) * | 2009-10-16 | 2010-06-23 | 西安电子科技大学 | 基于谱聚类的半监督多光谱遥感图像分割方法 |
CN108389251A (zh) * | 2018-03-21 | 2018-08-10 | 南京大学 | 基于融合多视角特征的投影全卷积网络三维模型分割方法 |
CN108709513A (zh) * | 2018-04-10 | 2018-10-26 | 深圳市唯特视科技有限公司 | 一种基于模型拟合算法的车辆三维检测方法 |
CN110531340A (zh) * | 2019-08-22 | 2019-12-03 | 吴文吉 | 一种激光雷达点云数据的基于深度学习的识别处理方法 |
CN111598034A (zh) * | 2020-05-22 | 2020-08-28 | 知行汽车科技(苏州)有限公司 | 障碍物检测方法、装置及存储介质 |
CN112147638A (zh) * | 2020-09-21 | 2020-12-29 | 知行汽车科技(苏州)有限公司 | 基于激光点云反射强度的地面信息获取方法、装置和系统 |
-
2021
- 2021-02-04 CN CN202110151043.XA patent/CN112505652B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101751666A (zh) * | 2009-10-16 | 2010-06-23 | 西安电子科技大学 | 基于谱聚类的半监督多光谱遥感图像分割方法 |
CN108389251A (zh) * | 2018-03-21 | 2018-08-10 | 南京大学 | 基于融合多视角特征的投影全卷积网络三维模型分割方法 |
CN108709513A (zh) * | 2018-04-10 | 2018-10-26 | 深圳市唯特视科技有限公司 | 一种基于模型拟合算法的车辆三维检测方法 |
CN110531340A (zh) * | 2019-08-22 | 2019-12-03 | 吴文吉 | 一种激光雷达点云数据的基于深度学习的识别处理方法 |
CN111598034A (zh) * | 2020-05-22 | 2020-08-28 | 知行汽车科技(苏州)有限公司 | 障碍物检测方法、装置及存储介质 |
CN112147638A (zh) * | 2020-09-21 | 2020-12-29 | 知行汽车科技(苏州)有限公司 | 基于激光点云反射强度的地面信息获取方法、装置和系统 |
Non-Patent Citations (1)
Title |
---|
城市智能汽车周围环境的时空行为预测算法研究;陈娟;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200731(第7期);第23-48、71-83页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112505652A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112505652B (zh) | 目标检测方法、装置及存储介质 | |
US20220036648A1 (en) | Method and terminal device for determining occluded area of virtual object | |
CN111598034B (zh) | 障碍物检测方法、装置及存储介质 | |
CN108629231B (zh) | 障碍物检测方法、装置、设备及存储介质 | |
Wang et al. | SAT-GCN: Self-attention graph convolutional network-based 3D object detection for autonomous driving | |
CN107709930B (zh) | 用于表示地图要素的方法和装置以及用于定位车辆/机器人的方法和装置 | |
CN113298169B (zh) | 一种基于卷积神经网络的旋转目标检测方法及装置 | |
CN111144242B (zh) | 一种三维目标检测方法、装置及终端 | |
US10945888B2 (en) | Intelligent blind guide method and apparatus | |
CN113076924A (zh) | 基于无人船的河面垃圾实时检测方法、装置及存储介质 | |
CN112462348B (zh) | 激光点云数据增广的方法、装置及存储介质 | |
CN114091521B (zh) | 车辆航向角的检测方法、装置、设备及存储介质 | |
CN114140992A (zh) | 电子围栏预警方法、装置、计算机设备和存储介质 | |
CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN112434682B (zh) | 基于多传感器的数据融合方法、装置及存储介质 | |
CN114972492A (zh) | 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质 | |
CN116912417A (zh) | 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质 | |
US9761046B2 (en) | Computing device and simulation method for processing an object | |
CN116188565A (zh) | 位置区域检测方法、装置、设备、存储介质和程序产品 | |
CN115861403A (zh) | 一种非接触式物体体积测量方法、装置、电子设备及介质 | |
CN114638947A (zh) | 数据标注方法、装置、电子设备及存储介质 | |
CN113935425A (zh) | 物体识别方法、装置、终端和存储介质 | |
CN112800873A (zh) | 确定目标方向角的方法、装置、系统及存储介质 | |
CN112001247A (zh) | 多目标检测方法、设备及存储装置 | |
CN115836322A (zh) | 图像裁剪方法与装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 215123 g2-1901 / 1902 / 2002, No. 88, Jinjihu Avenue, Suzhou Industrial Park, Suzhou City, Jiangsu Province Patentee after: Zhixing Automotive Technology (Suzhou) Co.,Ltd. Address before: 215123 g2-1901 / 1902 / 2002, No. 88, Jinjihu Avenue, Suzhou Industrial Park, Suzhou City, Jiangsu Province Patentee before: IMOTION AUTOMOTIVE TECHNOLOGY (SUZHOU) Co.,Ltd. |