CN111353417A - 一种目标检测的方法及装置 - Google Patents
一种目标检测的方法及装置 Download PDFInfo
- Publication number
- CN111353417A CN111353417A CN202010120323.XA CN202010120323A CN111353417A CN 111353417 A CN111353417 A CN 111353417A CN 202010120323 A CN202010120323 A CN 202010120323A CN 111353417 A CN111353417 A CN 111353417A
- Authority
- CN
- China
- Prior art keywords
- target
- information
- centroid
- predicted
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本说明书公开了一种目标检测的方法及装置,将获取到的点云输入预先训练的检测模型,得到检测模型输出的点云的待优化目标检测结果,其中,待优化目标检测结果包括若干个目标以及若干个目标的预测质心的信息、预测标注框的信息,由于检测模型并不能完全准确的预测目标的标注框信息,因此,针对每个目标,本说明书可根据该目标的预测质心信息与预测标注框信息,确定该目标的质心距离。根据每个目标的质心距离,在待优化目标检测结果中选择符合指定条件的预测标注框,也即,在待优化目标检测结果的基础上,根据每个目标的质心距离,可筛选出精确率高的预测标注框,最后,根据选择的预测标注框,确定点云的目标检测结果。
Description
技术领域
本说明书涉及无人驾驶技术领域,尤其涉及一种目标检测的方法及装置。
背景技术
随着科技的不断进步,无人驾驶技术逐渐成熟,无人设备可通过传感器采集数据,对数据进行处理,以检测目标(例如,无人设备所处环境中的诸如车辆、行人等目标)。
无人设备在检测目标时,可预先训练检测模型,通过激光雷达采集点云,将点云输入训练完成的检测模型中,得到训练完成的检测模型输出的点云的目标检测结果。其中,目标检测结果包括若干个标注框的信息,每一个标注框中的点云点表示环境中的一个目标。
在预先训练检测模型时,根据样本的实际标注框信息与待训练检测模型预测样本的预测标注框信息,确定损失。以最小化损失为训练目标,对待训练检测模型进行训练。
但是,由于雷达采集的点云存在稀疏性的问题,使用现有技术训练后的检测模型检测无人设备周边环境中的物体时,检测物体的精确率较低,导致无人设备经常存在误检的情况。并且,现有技术中并未对检测结果中的错误预测标注框进行处理,根据现有技术的检测结果,可能会给无人设备后续的运行造成影响。
发明内容
本说明书实施例提供一种目标检测的方法及装置,以部分解决现有技术存在的上述问题。
本说明书实施例采用下述技术方案:
本说明书提供的一种目标检测的方法,所述方法包括:
获取激光雷达采集的点云;
将所述点云输入预先训练的检测模型,得到所述检测模型输出的所述点云的待优化目标检测结果,其中,所述待优化目标检测结果包括若干个目标以及所述若干个目标的预测质心的信息、所述若干个目标的预测标注框的信息,所述预测标注框的信息表征所述目标在所述点云中的位置信息;
针对每个目标,根据该目标的预测质心的信息以及该目标的预测标注框的信息,确定该目标的预测质心与预测标注框的质心的距离,作为该目标的质心距离;
根据每个目标的质心距离,在所述点云的待优化目标检测结果中,选择符合指定条件的预测标注框;
根据选择的预测标注框,确定所述点云的目标检测结果。
可选地,预先训练检测模型,具体包括:
获取包含打标信息的点云,作为训练样本;
将所述训练样本输入待训练检测模型,得到所述待训练检测模型输出的所述训练样本中的目标以及所述目标的待定预测质心的信息、所述目标的待定预测标注框的信息;
根据所述打标信息、所述待定预测质心的信息以及所述待定预测标注框的信息,确定损失;
以最小化损失为训练目标,对所述待训练检测模型进行训练。
可选地,根据所述打标信息、所述待定预测质心的信息以及所述待定预测标注框的信息,确定损失,具体包括:
根据所述打标信息中包含的目标,确定所述待训练检测模型识别目标的正确率,并根据所述正确率,确定所述目标的置信度损失;
根据所述待定预测质心的信息、所述待定预测标注框的信息以及所述打标信息中的打标标注框的信息、打标质心的信息,确定所述目标的差异损失;
根据预设的置信度损失权重,确定所述置信度损失权重与所述置信度损失的乘积、所述乘积与所述差异损失的和值,作为所述损失。
可选地,所述待定预测标注框的信息包括所述待定预测标注框的中心信息、尺寸信息、角度信息;
根据所述待定预测质心的信息、所述待定预测标注框的信息以及所述打标信息中的打标标注框的信息、打标质心的信息,确定所述目标的差异损失,具体包括:
确定所述打标质心与所述待定预测质心的信息的差值、以及所述打标标注框与所述待定预测标注框的中心信息差值、尺寸信息差值、角度信息差值的和值,作为所述目标的差异损失。
可选地,根据该目标的预测质心的信息以及该目标的预测标注框的信息,确定该目标的预测质心与预测标注框的质心的距离,作为该目标的质心距离,具体包括:
根据该目标的预测标注框的信息,确定该目标的预测标注框中的点云点的信息;
根据该目标的预测标注框中的点云点的信息,确定该目标的预测标注框的质心的信息;
根据该目标的预测质心的信息以及该目标的预测标注框的质心的信息,确定该目标的质心距离。
可选地,根据每个目标的质心距离,在所述点云的待优化目标检测结果中,选择符合指定条件的预测标注框,具体包括:
针对每个目标,根据预先确定的质心距离阈值,判断该目标的质心距离是否小于所述质心距离阈值;
若是,则判断该目标的预测标注框符合指定条件;
否则,判断该目标的预测标注框不符合指定条件。
可选地,预先确定所述质心距离阈值,具体包括:
根据训练后的所述检测模型输出的所述训练样本的目标检测结果,确定所述训练样本的目标检测结果中目标的预测标注框的质心,作为第一质心;
将训练后的所述检测模型输出的所述训练样本的目标检测结果中目标的预测质心,作为第二质心;
根据所述第一质心的信息以及所述第二质心的信息,确定所述第一质心与所述第二质心的最大距离,作为所述质心距离阈值。
本说明书提供一种目标检测的装置,所述装置包括:
获取模块,用于获取激光雷达采集的点云;
待优化模块,用于将所述点云输入预先训练的检测模型,得到所述检测模型输出的所述点云的待优化目标检测结果,其中,所述待优化目标检测结果包括若干个目标以及所述若干个目标的预测质心的信息、所述若干个目标的预测标注框的信息,所述预测标注框的信息表征所述目标在所述点云中的位置信息;
第一确定模块,用于针对每个目标,根据该目标的预测质心的信息以及该目标的预测标注框的信息,确定该目标的预测质心与预测标注框的质心的距离,作为该目标的质心距离;
选择模块,用于根据每个目标的质心距离,在所述点云的待优化目标检测结果中,选择符合指定条件的预测标注框;
第二确定模块,用于根据选择的预测标注框,确定所述点云的目标检测结果。
本说明书提供的一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述目标检测的方法。
本说明书提供的一种无人设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述目标检测的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本说明书将获取到的点云输入预先训练的检测模型,得到检测模型输出的点云的待优化目标检测结果,其中,待优化目标检测结果包括若干个目标以及若干个目标的预测质心的信息、预测标注框的信息,因此,针对每个目标,本说明书可根据该目标的预测质心信息与预测标注框信息,确定该目标的质心距离。根据每个目标的质心距离,在待优化目标检测结果中选择符合指定条件的预测标注框,也即,在待优化目标检测结果的基础上,根据每个目标的质心距离,可筛选出精确率高的预测标注框,最后,根据选择的预测标注框,确定点云的目标检测结果。而现有技术使检测模型输出若干个目标的预测标注框的信息,并直接将输出的结果作为点云的目标检测结果。本说明书提供的目标检测方法,在检测模型输出结果的基础上进行了预测标注框的筛选,使得筛选后确定的点云的目标检测结果相对于现有技术更加准确。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书实施例提供的一种目标检测的方法流程图;
图2a为本说明书实施例提供的获取的点云局部示意图;
图2b为本说明书实施例提供的目标的预测标注框信息以及预测质心信息示意图;
图2c为本说明书实施例提供的各目标的质心距离示意图;
图2d为本说明书实施例提供的点云的目标检测结果示意图;
图3为本说明书实施例提供的一种预先训练检测模型的方法流程图;
图4为本说明书实施例提供的一种目标检测的装置的结构示意图;
图5为本说明书实施例提供的对应于图1的无人设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的一种目标检测的方法流程图,具体可包括以下步骤:
S100:获取激光雷达采集的点云。
本说明书提供的目标检测的方法可应用于无人设备,在无人设备感知周围环境时,需要检测无人设备周围环境中的目标,也即,无人设备周围环境中的障碍物,其中,无人设备周围环境中的目标可包括车辆、行人等。根据检测的周围环境中的目标信息,控制无人设备后续的运行。
在检测目标时,本说明书可获取设置在无人设备上的激光雷达采集的点云,根据获取到的点云,确定点云的目标检测结果。其中,本说明书获取的点云可以是激光雷达实时采集到的,也可以是激光雷达预先采集到的。点云中可包括若干个目标对应的点云点,如图2a所示。图2a为本说明书实施例提供的获取的点云局部示意图。
另外,检测无人设备周围环境中的目标还可以采用其他的方法,例如,根据设置在无人设备上的图像传感器采集图像,根据采集到的图像,进行图像处理,从而检测到无人设备周围环境中的目标,本说明书不再一一赘述。
S102:将所述点云输入预先训练的检测模型,得到所述检测模型输出的所述点云的待优化目标检测结果,其中,所述待优化目标检测结果包括若干个目标以及所述若干个目标的预测质心的信息、所述若干个目标的预测标注框的信息,所述预测标注框的信息表征所述目标在所述点云中的位置信息。
本说明书将获取到的点云输入预先训练的检测模型。通过检测模型,首先可将点云进行分组并随机采样,根据随机采样后的点的空间位置信息以及反射强度等信息,提取点云的特征。然后,可通过若干次2D卷积或者3D卷积得到高分辨率特征图。最后,将得到的高分辨率特征图进行卷积、激活函数、质心计算等处理,得到目标所属的类型的概率以及目标的预测标注框信息、预测质心信息等。其中,目标所属的类型的概率为目标为车辆或行人的概率,目标的预测标注框信息以及预测质心信息可以表示为目标与预设的锚(achor)的残差信息。当目标的预测标注框信息与预测质心信息为残差时,检测模型的收敛速度较快,可节约较多的计算资源,在确定检测的目标时,根据残差信息与achor的和值即可表示。当然,检测模型输出的预测标注框信息与预测质心信息也可以表示为检测的目标。
沿用上例,将图2a的点云输入检测模型后,点云的待优化目标检测结果可如图2b所示,图2b为本说明书实施例提供的目标的预测标注框信息以及预测质心信息示意图。由于残差信息在示意图中不能很好的表示,因此,为便于较为直观的理解,图2b中的预测标注框信息以及预测质心信息表示为检测的目标,框线为目标的预测标注框,框线中的黑色方块为目标的预测质心,M1、M2、M3为待优化目标检测结果中的三个目标。
由于点云具有稀疏性等原因,在检测模型输出的目标的预测标注框信息与预测质心信息中,可能存在错误的目标的预测标注框信息,因此,可将检测模型输出的结果作为待优化目标检测结果,以便后续步骤中对待优化目标检测结果进行筛选等优化处理,减少错误的目标的预测标注框信息以及预测质心信息,提高目标检测结果的精确率。
在本说明书中,检测模型可包括Voxelnet模型,预先训练检测模型的具体内容,将在下文中详细描述。
S104:针对每个目标,根据该目标的预测质心的信息以及该目标的预测标注框的信息,确定该目标的预测质心与预测标注框的质心的距离,作为该目标的质心距离。
本说明书可根据目标的预测标注框信息以及预测质心信息,确定目标的质心距离,以便于后续步骤中对待优化目标检测结果进行优化。
针对待优化目标检测结果中的每个目标,首先,根据该目标的预测标注框的信息,可确定该目标的预测标注框中的点云点的信息。其次,根据该目标的预测标注框中的点云点的信息,可确定该目标的预测标注框的质心的信息。最后,根据该目标的预测质心的信息以及该目标的预测标注框的质心的信息,可确定该目标的质心距离。
具体的,预测标注框的信息可包括预测标注框的中心点的三维坐标信息、预测标注框的尺寸信息、预测标注框的角度信息。根据点云中各点的空间坐标信息以及该目标的预测标注框信息,可确定该目标的预测标注框中的点云点。根据该目标的预测标注框中的点云点的空间坐标信息,将该目标的预测标注框中所有的点云点的空间坐标均值作为该目标的预测标注框的质心坐标信息,可将该目标的预测质心与该目标的预测标注框的质心的直线距离作为该目标的质心距离。则第i个目标的质心距离di如公式(1)所示。
沿用上例,图2c为本说明书实施例提供的各目标的质心距离示意图。针对图2b中的任一目标,框线中的椭圆点为该目标的预测框的质心,椭圆点与黑色方块之间的连线为该目标的质心距离。
S106:根据每个目标的质心距离,在所述点云的待优化目标检测结果中,选择符合指定条件的预测标注框。
由于检测模型输出的点云的待优化目标检测结果中存在错误的目标(也即,错误的预测标注框),为了提高点云的目标检测结果的精确率,可针对每个目标,根据预先确定的质心距离阈值,判断该目标的质心距离是否小于质心距离阈值,若是,则判断该目标的预测标注框符合指定条件,否则,判断该目标的预测标注框不符合指定条件,在待优化目标检测结果中选择符合指定条件的预测标注框。
在图2c中,M1目标的质心距离大于质心距离阈值,M2目标与M3目标的质心距离小于质心距离阈值,因此,M2目标与M3目标的预测标注框符合指定条件,可选择M2目标与M3目标的预测标注框。
在本说明书中,可在预先训练完成检测模型之后,根据训练样本确定质心距离阈值,预先确定质心距离阈值将在下文中详细说明。
S110:根据选择的预测标注框,确定所述点云的目标检测结果。
在根据质心距离阈值以及各目标的质心距离,选择符合指定条件的预测标注框之后,可根据选择的预测标注框,确定点云的目标检测结果。当预测标注框的信息为目标与achor的残差信息时,可根据achor的信息,将achor与预测标注框的信息的和值作为检测的目标。当预测标注框直接表示为检测的目标时,沿用上例,点云的目标检测结果可如图2d所示。图2d为本说明书实施例提供的点云的目标检测结果示意图。
本说明书在使用检测模型进行目标检测之前,可预先对检测模型进行训练。图3为本说明书实施例提供的一种预先训练检测模型的方法流程图,具体可包括以下步骤:
S300:获取包含打标信息的点云,作为训练样本。
S302:将所述训练样本输入待训练检测模型,得到所述待训练检测模型输出的所述训练样本中的目标以及所述目标的待定预测质心的信息、所述目标的待定预测标注框的信息。
具体的,可获取激光雷达历史采集的点云,由于训练检测模型采用的是有监督训练,因此,可将获取的点云的实际目标检测结果进行标记,得到包括打标信息的训练样本。其中,打标信息可包括目标的标注框信息以及质心信息。将训练样本输入待训练的检测模型,得到训练样本的目标、目标的待定预测质心信息以及目标的待定预测标注框信息。
S304:根据所述打标信息、所述待定预测质心的信息以及所述待定预测标注框的信息,确定损失。
具体的,首先,根据打标信息中包含的目标,可确定待训练检测模型识别目标的正确率,并根据正确率,确定目标的置信度损失。然后,根据待定预测质心的信息、待定预测标注框的信息以及打标信息中的打标标注框的信息、打标质心的信息,确定目标的差异损失。
具体的,打标信息包括打标标注框的信息以及打标质心的信息,待定预测标注框的信息包括待定预测标注框的中心信息、尺寸信息、角度信息,可确定所述打标质心与所述待定预测质心的信息的差值、以及所述打标标注框与所述待定预测标注框的中心信息差值、尺寸信息差值、角度信息差值的和值,作为所述目标的差异损失。
最后,根据预设的置信度损失权重,确定所述置信度损失权重与所述置信度损失的乘积、所述乘积与所述差异损失的和值,作为所述损失。
具体的,以待定预测标注框的信息为目标与achor的残差为例,α为预设的置信度损失权重,Lclassification为置信度损失,Lregression为目标的差异损失,则损失L的确定可如公式(2)所示。
L=α*Lclassification+Lregression (2)
根据实验可知,当α取值为100时,训练检测模型的效果最好,故,损失L的确定可如公式(3)所示。
L=100*Lclassification+Lregression (3)
其中,Lclassification可使用焦点损失(Focal Loss)或者交叉熵损失,Lregression可使用Smooth L1损失。Lregression可如公式(4)所示。
在公式(4)中,Npos为车辆、行人等目标的数量,第i个目标的待定预测残差向量为Ui,Ui可包括xi、yi、zi、li、wi、hi、mxi、myi、mzi,其中,xi、yi、zi、li、wi、hi、分别为第i个目标的待定预测标注框与achor的中心、尺寸、角度的残差,mxi、myi、mzi为第i个目标的待定预测质心与achor的残差。第i个目标的打标残差向量为可包括Δxi、Δyi、Δzi、Δli、Δwi、Δhi、Δmxi、Δmyi、Δmzi,其中,Δxi、Δyi、Δzi、Δli、Δwi、Δhi、分别为第i个目标的打标标注框与achor的中心、尺寸、角度的残差,Δmxi、Δmyi、Δmzi为第i个目标的打标质心与achor的残差。
其中,第i个目标的打标标注框的中心为xgi、ygi、zgi,尺寸为lgi、wgi、hgi,角度为第i个目标的打标质心为mxgi、mygi、mzgi,第i个achor的中心为xai、yai、zai,尺寸为lai、wai、hai,角度为质心为mxai、myai、mzai。achor的对角线长度da可如公式(15)所示。
S306:以最小化损失为训练目标,对所述待训练检测模型进行训练。
在训练完成后,本说明书可根据训练样本,确定质心距离阈值。
具体的,首先,根据训练后的所述检测模型输出的所述训练样本的目标检测结果,可确定所述训练样本的目标检测结果中目标的预测标注框的质心,作为第一质心,然后,将训练后的检测模型输出的训练样本的目标检测结果中目标的预测质心,作为第二质心,最后,根据所述第一质心的信息以及所述第二质心的信息,确定所述第一质心与所述第二质心的最大距离,作为质心距离阈值。
本说明书提供的上述目标检测的方法具体可应用于使用无人设备进行配送的领域,例如,使用无人设备进行快递、外卖等配送的场景。具体的,在上述的场景中,可使用多个无人设备所构成的无人驾驶车队进行配送。
基于图1所示的目标检测的方法,本说明书实施例还对应提供一种目标检测的装置的结构示意图,如图4所示。
图4为本说明书实施例提供的一种目标检测的装置的结构示意图,所述装置包括:
获取模块401,用于获取激光雷达采集的点云;
待优化模块402,用于将所述点云输入预先训练的检测模型,得到所述检测模型输出的所述点云的待优化目标检测结果,其中,所述待优化目标检测结果包括若干个目标以及所述若干个目标的预测质心的信息、所述若干个目标的预测标注框的信息,所述预测标注框的信息表征所述目标在所述点云中的位置信息;
第一确定模块403,用于针对每个目标,根据该目标的预测质心的信息以及该目标的预测标注框的信息,确定该目标的预测质心与预测标注框的质心的距离,作为该目标的质心距离;
选择模块404,用于根据每个目标的质心距离,在所述点云的待优化目标检测结果中,选择符合指定条件的预测标注框;
第二确定模块405,用于根据选择的预测标注框,确定所述点云的目标检测结果。
可选地,所述装置还包括:训练模块406;
所述训练模块406具体用于,获取包含打标信息的点云,作为训练样本;将所述训练样本输入待训练检测模型,得到所述待训练检测模型输出的所述训练样本中的目标以及所述目标的待定预测质心的信息、所述目标的待定预测标注框的信息;根据所述打标信息、所述待定预测质心的信息以及所述待定预测标注框的信息,确定损失;以最小化损失为训练目标,对所述待训练检测模型进行训练。
可选地,所述训练模块406具体用于,根据所述打标信息中包含的目标,确定所述待训练检测模型识别目标的正确率,并根据所述正确率,确定所述目标的置信度损失;根据所述待定预测质心的信息、所述待定预测标注框的信息以及所述打标信息中的打标标注框的信息、打标质心的信息,确定所述目标的差异损失;根据预设的置信度损失权重,确定所述置信度损失权重与所述置信度损失的乘积、所述乘积与所述差异损失的和值,作为所述损失。
可选地,所述待定预测标注框的信息包括所述待定预测标注框的中心信息、尺寸信息、角度信息;
所述训练模块406具体用于,确定所述打标质心与所述待定预测质心的信息的差值、以及所述打标标注框与所述待定预测标注框的中心信息差值、尺寸信息差值、角度信息差值的和值,作为所述目标的差异损失。
可选地,所述第一确定模块403具体用于,根据该目标的预测标注框的信息,确定该目标的预测标注框中的点云点的信息;根据该目标的预测标注框中的点云点的信息,确定该目标的预测标注框的质心的信息;根据该目标的预测质心的信息以及该目标的预测标注框的质心的信息,确定该目标的质心距离。
可选地,所述选择模块404具体用于,针对每个目标,根据预先确定的质心距离阈值,判断该目标的质心距离是否小于所述质心距离阈值;若是,则判断该目标的预测标注框符合指定条件;否则,判断该目标的预测标注框不符合指定条件。
可选地,所述装置还包括:第三确定模块407;
所述第三确定模块407具体用于,根据训练后的所述检测模型输出的所述训练样本的目标检测结果,确定所述训练样本的目标检测结果中目标的预测标注框的质心,作为第一质心;将训练后的所述检测模型输出的所述训练样本的目标检测结果中目标的预测质心,作为第二质心;根据所述第一质心的信息以及所述第二质心的信息,确定所述第一质心与所述第二质心的最大距离,作为所述质心距离阈值。
本说明书实施例还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的目标检测的方法。
基于图1所示的目标检测的方法,本说明书实施例还提出了图5所示的无人设备的示意结构图。如图5,在硬件层面,该无人设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的目标检测的方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种目标检测的方法,其特征在于,所述方法包括:
获取激光雷达采集的点云;
将所述点云输入预先训练的检测模型,得到所述检测模型输出的所述点云的待优化目标检测结果,其中,所述待优化目标检测结果包括若干个目标以及所述若干个目标的预测质心的信息、所述若干个目标的预测标注框的信息,所述预测标注框的信息表征所述目标在所述点云中的位置信息;
针对每个目标,根据该目标的预测质心的信息以及该目标的预测标注框的信息,确定该目标的预测质心与预测标注框的质心的距离,作为该目标的质心距离;
根据每个目标的质心距离,在所述点云的待优化目标检测结果中,选择符合指定条件的预测标注框;
根据选择的预测标注框,确定所述点云的目标检测结果。
2.如权利要求1所述的方法,其特征在于,预先训练检测模型,具体包括:
获取包含打标信息的点云,作为训练样本;
将所述训练样本输入待训练检测模型,得到所述待训练检测模型输出的所述训练样本中的目标以及所述目标的待定预测质心的信息、所述目标的待定预测标注框的信息;
根据所述打标信息、所述待定预测质心的信息以及所述待定预测标注框的信息,确定损失;
以最小化损失为训练目标,对所述待训练检测模型进行训练。
3.如权利要求2所述的方法,其特征在于,根据所述打标信息、所述待定预测质心的信息以及所述待定预测标注框的信息,确定损失,具体包括:
根据所述打标信息中包含的目标,确定所述待训练检测模型识别目标的正确率,并根据所述正确率,确定所述目标的置信度损失;
根据所述待定预测质心的信息、所述待定预测标注框的信息以及所述打标信息中的打标标注框的信息、打标质心的信息,确定所述目标的差异损失;
根据预设的置信度损失权重,确定所述置信度损失权重与所述置信度损失的乘积、所述乘积与所述差异损失的和值,作为所述损失。
4.如权利要求3所述的方法,其特征在于,所述待定预测标注框的信息包括所述待定预测标注框的中心信息、尺寸信息、角度信息;
根据所述待定预测质心的信息、所述待定预测标注框的信息以及所述打标信息中的打标标注框的信息、打标质心的信息,确定所述目标的差异损失,具体包括:
确定所述打标质心与所述待定预测质心的信息的差值、以及所述打标标注框与所述待定预测标注框的中心信息差值、尺寸信息差值、角度信息差值的和值,作为所述目标的差异损失。
5.如权利要求1所述的方法,其特征在于,根据该目标的预测质心的信息以及该目标的预测标注框的信息,确定该目标的预测质心与预测标注框的质心的距离,作为该目标的质心距离,具体包括:
根据该目标的预测标注框的信息,确定该目标的预测标注框中的点云点的信息;
根据该目标的预测标注框中的点云点的信息,确定该目标的预测标注框的质心的信息;
根据该目标的预测质心的信息以及该目标的预测标注框的质心的信息,确定该目标的质心距离。
6.如权利要求2所述的方法,其特征在于,根据每个目标的质心距离,在所述点云的待优化目标检测结果中,选择符合指定条件的预测标注框,具体包括:
针对每个目标,根据预先确定的质心距离阈值,判断该目标的质心距离是否小于所述质心距离阈值;
若是,则判断该目标的预测标注框符合指定条件;
否则,判断该目标的预测标注框不符合指定条件。
7.如权利要求6所述的方法,其特征在于,预先确定所述质心距离阈值,具体包括:
根据训练后的所述检测模型输出的所述训练样本的目标检测结果,确定所述训练样本的目标检测结果中目标的预测标注框的质心,作为第一质心;
将训练后的所述检测模型输出的所述训练样本的目标检测结果中目标的预测质心,作为第二质心;
根据所述第一质心的信息以及所述第二质心的信息,确定所述第一质心与所述第二质心的最大距离,作为所述质心距离阈值。
8.一种目标检测的装置,其特征在于,所述装置包括:
获取模块,用于获取激光雷达采集的点云;
待优化模块,用于将所述点云输入预先训练的检测模型,得到所述检测模型输出的所述点云的待优化目标检测结果,其中,所述待优化目标检测结果包括若干个目标以及所述若干个目标的预测质心的信息、所述若干个目标的预测标注框的信息,所述预测标注框的信息表征所述目标在所述点云中的位置信息;
第一确定模块,用于针对每个目标,根据该目标的预测质心的信息以及该目标的预测标注框的信息,确定该目标的预测质心与预测标注框的质心的距离,作为该目标的质心距离;
选择模块,用于根据每个目标的质心距离,在所述点云的待优化目标检测结果中,选择符合指定条件的预测标注框;
第二确定模块,用于根据选择的预测标注框,确定所述点云的目标检测结果。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法。
10.一种无人设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010120323.XA CN111353417A (zh) | 2020-02-26 | 2020-02-26 | 一种目标检测的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010120323.XA CN111353417A (zh) | 2020-02-26 | 2020-02-26 | 一种目标检测的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111353417A true CN111353417A (zh) | 2020-06-30 |
Family
ID=71194000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010120323.XA Withdrawn CN111353417A (zh) | 2020-02-26 | 2020-02-26 | 一种目标检测的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111353417A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112034488A (zh) * | 2020-08-28 | 2020-12-04 | 北京海益同展信息科技有限公司 | 目标物体自动标注方法与装置 |
CN112884054A (zh) * | 2021-03-03 | 2021-06-01 | 歌尔股份有限公司 | 一种目标标注方法和一种目标标注装置 |
CN115098079A (zh) * | 2022-08-25 | 2022-09-23 | 苏州浪潮智能科技有限公司 | 雷达检测模型确定方法、系统、电子设备及可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779280A (zh) * | 2012-06-19 | 2012-11-14 | 武汉大学 | 一种基于激光传感器的交通信息提取方法 |
CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN108509918A (zh) * | 2018-04-03 | 2018-09-07 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
US20180313940A1 (en) * | 2017-04-28 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Calibration of laser and vision sensors |
US10134135B1 (en) * | 2015-08-27 | 2018-11-20 | Hrl Laboratories, Llc | System and method for finding open space efficiently in three dimensions for mobile robot exploration |
CN109886215A (zh) * | 2019-02-26 | 2019-06-14 | 常熟理工学院 | 基于机器视觉的低速园区无人车巡航及紧急制动系统 |
WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
US20190362178A1 (en) * | 2017-11-21 | 2019-11-28 | Jiangnan University | Object Symmetry Axis Detection Method Based on RGB-D Camera |
-
2020
- 2020-02-26 CN CN202010120323.XA patent/CN111353417A/zh not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779280A (zh) * | 2012-06-19 | 2012-11-14 | 武汉大学 | 一种基于激光传感器的交通信息提取方法 |
US10134135B1 (en) * | 2015-08-27 | 2018-11-20 | Hrl Laboratories, Llc | System and method for finding open space efficiently in three dimensions for mobile robot exploration |
CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
US20180313940A1 (en) * | 2017-04-28 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Calibration of laser and vision sensors |
US20190362178A1 (en) * | 2017-11-21 | 2019-11-28 | Jiangnan University | Object Symmetry Axis Detection Method Based on RGB-D Camera |
WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
CN108509918A (zh) * | 2018-04-03 | 2018-09-07 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
CN109886215A (zh) * | 2019-02-26 | 2019-06-14 | 常熟理工学院 | 基于机器视觉的低速园区无人车巡航及紧急制动系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112034488A (zh) * | 2020-08-28 | 2020-12-04 | 北京海益同展信息科技有限公司 | 目标物体自动标注方法与装置 |
CN112034488B (zh) * | 2020-08-28 | 2023-05-02 | 京东科技信息技术有限公司 | 目标物体自动标注方法与装置 |
CN112884054A (zh) * | 2021-03-03 | 2021-06-01 | 歌尔股份有限公司 | 一种目标标注方法和一种目标标注装置 |
CN115098079A (zh) * | 2022-08-25 | 2022-09-23 | 苏州浪潮智能科技有限公司 | 雷达检测模型确定方法、系统、电子设备及可读存储介质 |
WO2024040864A1 (zh) * | 2022-08-25 | 2024-02-29 | 苏州元脑智能科技有限公司 | 雷达检测模型确定方法、系统、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10282623B1 (en) | Depth perception sensor data processing | |
CN109188438B (zh) | 偏航角确定方法、装置、设备和介质 | |
CN108334892B (zh) | 一种基于卷积神经网络的车型识别方法、装置及设备 | |
KR20200125731A (ko) | 객체 검출 및 특성화를 위한 뉴럴 네트워크들 | |
CN111639682A (zh) | 基于点云数据的地面分割方法及装置 | |
CN112801229B (zh) | 一种识别模型的训练方法及装置 | |
CN111353417A (zh) | 一种目标检测的方法及装置 | |
CN112036462A (zh) | 一种模型训练以及目标检测的方法及装置 | |
CN111797711A (zh) | 一种模型训练的方法及装置 | |
CN111311709A (zh) | 一种生成高精地图的方法及装置 | |
CN114283357A (zh) | 一种车辆检测方法、装置、存储介质及电子设备 | |
CN112766241B (zh) | 一种目标物识别方法以及装置 | |
CN111126362A (zh) | 一种预测障碍物轨迹的方法及装置 | |
CN112327864A (zh) | 一种无人驾驶设备的控制方法及控制装置 | |
CN112712036A (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
CN112883871B (zh) | 一种模型训练以及确定无人车运动策略方法及装置 | |
CN111368902A (zh) | 一种数据标注的方法及装置 | |
CN112990099B (zh) | 一种车道线检测的方法以及装置 | |
CN113887608A (zh) | 一种模型训练的方法、图像检测的方法及装置 | |
CN114332808A (zh) | 一种预测转向意图的方法及装置 | |
CN112818968A (zh) | 一种目标物分类方法及装置 | |
CN113486775A (zh) | 一种目标追踪方法、系统、电子设备及存储介质 | |
CN117197781A (zh) | 一种交通标志识别的方法、装置、存储介质及电子设备 | |
CN112365513A (zh) | 一种模型训练的方法及装置 | |
CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200630 |