CN115272755A - 一种激光点云检测分割方法及系统 - Google Patents

一种激光点云检测分割方法及系统 Download PDF

Info

Publication number
CN115272755A
CN115272755A CN202210859832.3A CN202210859832A CN115272755A CN 115272755 A CN115272755 A CN 115272755A CN 202210859832 A CN202210859832 A CN 202210859832A CN 115272755 A CN115272755 A CN 115272755A
Authority
CN
China
Prior art keywords
branch
object detection
semantic
task
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210859832.3A
Other languages
English (en)
Inventor
范滨淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN202210859832.3A priority Critical patent/CN115272755A/zh
Publication of CN115272755A publication Critical patent/CN115272755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种激光点云检测分割方法及系统。该激光点云检测分割方法包括采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征；在所述卷积神经网络之后，将并行的两个网络分支作为物体检测分支和语义分割分支，通过物体检测分支和语义分割分支对所述语义特征和所述边缘特征进行处理，其中，所述物体检测分支处理物体检测任务，所述语义分割分支处理语义分割任务；采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代。本发明使用卷积神经网络进行基础特征的提取，使用两个分支分别处理不同的任务，以损失函数对不同任务进行平衡以使其快速优化迭代。

Description

一种激光点云检测分割方法及系统
技术领域
本发明涉及通用场景下汽车自动驾驶技术领域，特别是涉及到在密集行人、车辆场景下的一种激光点云检测分割方法及系统。
背景技术
常用的激光点云处理方法通常将3D点云作为网络的输入，或是将点云表示为体素。但这两种方法共同的缺点在于计算量庞大，难以在车载边缘设备上实时地运行。
当前激光点云3D目标检测的方法分为基于原始点云、体素表示或是俯视图投影的方式；使用原始点云的方法因为输入数据量较大，车载边缘设备难以满足运行需求，无法进行实用部署。而基于体素表示的方法存在着精确度与内存占用率的矛盾，边缘设备在流畅运行的前提下无法得到准确的结果。
检测与分割属于两个不同的任务，通常需要不同的神经网络来处理这两个任务，现阶段神经网络的模型大小与精度是强相关的，边缘设备难以同时运行两个深度神经网络并均获得较好的结果。而使用单一的网络模型又存在着跨任务域的融合问题，使得难以使用一个网络结构处理两个不同的任务。
由于摄像头与激光雷达机制的不同，多模态融合存在较大问题，以及车载处理器运算能力的限制，使用一个深度学习模型进行多任务处理的需求越来越紧迫。
因此，亟待研究一种激光点云检测分割系统，以实现使用一个网络结构来进行多任务处理，并且能够在车载边缘设备上实时地运行。
发明内容
本发明提出了一种激光点云检测分割方法及系统，用以克服现有技术中存在的至少一个技术问题。
根据本说明书实施例的第一方面，提供一种激光点云检测分割方法，包括：采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征；在所述卷积神经网络之后，将并行的两个网络分支作为物体检测分支和语义分割分支，通过所述物体检测分支和所述语义分割分支对所述语义特征和所述边缘特征进行处理，其中，所述物体检测分支处理物体检测任务，所述语义分割分支处理语义分割任务；采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代。
可选的，所述采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征的步骤，包括：采用可分离卷积构建卷积神经网络；通过所述卷积神经网络对投影后的二维图像进行非线性变换提取得到语义特征，并使用跳跃连接的方法对所述二维图像进行边缘特征提取，得到所述二维图像的特征图，其中，所述语义特征包括被检测物体与其背景的相关信息或上下文信息，所述边缘特征包括被检测物体的边缘轮廓，所述跳跃连接的方法包括将通过上采样得到预设尺寸的特征图与对应尺寸的浅层特征图逐像素相加进行特征融合。
可选的，所述语义分割分支处理语义分割任务，包括：通过上采样将所述卷积神经网络得到的特征图恢复到原图像大小，以所述卷积神经网络的最后一层网络的通道数作为被检测物体的类别数；采用Softmax函数对恢复到原图像大小的特征图进行处理，得到所述特征图的每一像素属于每个类别的概率，根据所述概率确定每一个像素所属的类别。
可选的，所述Softmax函数表达式(1)为：
Figure BDA0003757845440000021
其中zi为第i个通道的像素值，C为类别数；
将每一次语义分割分支的输出值与对应的预先给出的真实标注数值进行对比，迭代更新语义分割分支的网络参数，语义分割分支的网络参数的迭代更新依据损失函数，该语义分割分支的损失函数Lpoint如下式(2)所示：
Lpoint＝-α(1-pi)γlog(pi) (2)
其中pi为分割分支最终的输出，α为平衡因子，γ是调制因子。
可选的，所述物体检测分支包括第一子分支、第二子分支及第三子分支，所述第一子分支用于对被检测物体进行分类，所述第二子分支用于对计算深度信息的目标框进行预测，所述第三子分支用于对被检测物体的朝向进行估计，所述物体检测分支处理物体检测任务，包括：所述第一子分支通过Softmax函数判断被检测物体的类别；所述第二子分支采用回归的方式，对所述二维图像的特征图添加高斯核获得二维响应分布得到热力图，将二维响应分布中的最高点作为物体中心点，并且根据物体中心点和预测中心点到物体包围框的距离来得到目标框；第三子分支通过计算所述二维图像的特征图的深度信息，对比所述目标框中的深度信息来估计得到被检测物体的朝向。
可选的，所述物体检测分支处理物体检测任务，还包括：所述物体检测分支采用损失函数表征所述物体检测分支的输出值与对应的预先给出的真实标注数值之间的差距。
可选的，所述物体检测分支采用的损失函数包括：
所述损失函数Lreg(x,r,g)、Lcls(x,p)如下式(3)、式(4)所示：
Figure BDA0003757845440000031
Figure BDA0003757845440000032
其中M∈{x0,y0,,z0,w,h,l,θ}代表一个被检测物体需要回归的7个数值，分别为所述目标框的中心坐标(x0,y0,,z0)、长宽高(w,h,l)与偏向角θ；
Figure BDA0003757845440000033
代表所述二维图像的特征图中第i个像素是否对应着一个检测到的物体的真实框；
Figure BDA0003757845440000034
与
Figure BDA0003757845440000035
分别代表回归数值所对应的第二子分支的输出值与预先给出的真实标注数值；
Figure BDA0003757845440000036
与
Figure BDA0003757845440000037
分别代表正负样本的概率输出。
可选的，所述采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代的步骤，包括：通过线性加权的方式将物体检测分支的损失与语义分割分支的损失整合；在不同任务的损失前使用不同的权重系数，其中，该权重系数由不同任务梯度平方的时间累计的倒数组成。
可选的，所述语义分割任务的特征辅助所述物体检测分支，所述采用损失函数对物体检测任务和语义分割任务进行平衡处理以优化迭代的步骤，还包括：
采用损失函数先训练语义分割分支再训练物体检测分支，
其中，对物体检测任务和语义分割任务进行平衡处理的损失函数Loss如下式(5)所示：
Figure BDA0003757845440000038
其中σ代表所述语义分割分支的损失函数的调节因子，ω代表所述物体检测分支中回归损失的调节因子，
Figure BDA0003757845440000039
代表所述物体检测分支中分类损失的调节因子。
根据本说明书实施例的第二方面，提供一种激光点云检测分割系统，包括特征提取模块、任务处理模块以及速率平衡模块，其中所述特征提取模块，被配置为采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征；所述任务处理模块，被配置为在所述卷积神经网络之后，将并行的两个网络分支作为物体检测分支和语义分割分支，通过所述物体检测分支和所述语义分割分支对所述语义特征和所述边缘特征进行处理，其中，所述物体检测分支处理物体检测任务，所述语义分割分支处理语义分割任务；所述速率平衡模块，被配置为采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代。
根据本说明书实施例的第三方面，提供一种计算设备，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算设备执行所述的激光点云检测分割方法的步骤。
根据本说明书实施例的第四方面，提供一种存储介质，其存储有所述的计算设备中所使用的计算机程序，该计算机程序被处理器执行时实现所述的一种激光点云检测分割方法的步骤。
本发明的技术效果如下：
本说明书提供一种激光点云检测分割方法及系统，其中所述方法通过卷积神经网络，对激光点云的投影后的二维图像进行特征提取，得到语义特征和边缘特征，进而采用两个并行的网络分支分别处理物体检测任务和语义分割任务，并且利用损失函数对不同任务的处理速率进行平衡，使得网络可以快速优化迭代。本说明实施例的方法，基于卷积神经网络，通过并行的网络分支，将检测任务和分割任务进行统一，使用单一的神经网络处理，既可以满足车载边缘设备的要求，也可以达到分割与检测的目的，并且利用损失函数对不同任务进行平衡使其快速优化迭代。本说明书实施例中，使用对投影后的前视图进行处理的方式，可以降低模型的复杂度与运算量，在车载边缘设备上也能够更快地部署运行，实时性高，解决了自动驾驶场景下计算量大，难以满足实时性的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本说明书实施例的一种激光点云检测分割方法的流程示意图；
图2是本说明书实施例的神经网络结构示意图；
图3是本说明书实施例的一种激光点云检测分割系统的结构示意图；
图4是本说明书实施例的计算设备的结构示意图；
图5是本说明书实施例的存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本说明书实施例公开了一种激光点云检测分割方法及系统，以下分别进行详细说明。
图1是本说明书实施例的一种激光点云检测分割方法的流程示意图。如图1所示，本说明书实施例，提供一种激光点云检测分割方法，包括：
S110、采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征。
在具体实施例中，所述S110、采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征的步骤，包括：
S112、采用可分离卷积构建卷积神经网络。
S114、通过所述卷积神经网络对投影后的二维图像进行非线性变换提取得到语义特征，并使用跳跃连接的方法对所述二维图像进行边缘特征提取，得到所述二维图像的特征图，其中，所述语义特征包括被检测物体与其背景的相关信息或上下文信息，所述边缘特征包括被检测物体的边缘轮廓，所述跳跃连接的方法包括将通过上采样得到预设尺寸的特征图与对应尺寸的浅层特征图逐像素相加进行特征融合。
语义特征指的是图像中抽象的特征，通常指物体与背景的相关信息或上下文信息，语义特征有利于对图像中物体进行分类，边缘特征指的是物体的边缘轮廓，有利于对物体进行定位，两种特征分别满足了物体检测和语义分割的需求。
考虑到车载边缘设备的运算能力与存储空间的限制，选择深度可分离卷积作为基础模块来构建卷积神经网络，将卷积神经网络作为特征提取器，对投影后的前视图，即二维图像进行语义特征与边缘特征的提取。
为了更好地利用边缘特征来优化分割结果，在一个具体实施例中，使用跳跃连接的方法将通过上采样扩大2倍尺寸的特征图与对应尺寸的浅层特征图逐像素相加达到特征融合的目的。
经过S110中卷积神经网络的处理，所得到的特征图包含丰富的语义特征与浅层的边缘特征。在卷积神经网络后搭建两个分支，分别处理物体检测和语义分割两个任务。
S120、在所述卷积神经网络之后，将并行的两个网络分支作为物体检测分支和语义分割分支，通过所述物体检测分支和所述语义分割分支对所述语义特征和所述边缘特征进行处理，其中，所述物体检测分支处理物体检测任务，所述语义分割分支处理语义分割任务。
语义分割分支采用直筒式结构。
在具体实施例中，所述语义分割分支处理语义分割任务，包括：
S1222、通过上采样将所述卷积神经网络得到的特征图恢复到原图像大小，以所述卷积神经网络的最后一层网络的通道数作为被检测物体的类别数。
通过上采样将卷积神经网络得到的特征图恢复到原图像大小，且最后一层通道数为物体的类别数，通过Softmax函数可以得到每一个像素属于某个类别的概率，取其对应概率最大的类别即为该像素所属的类别，对每个像素划分类别即完成了语义分割的任务。
S1224、采用Softmax函数对恢复到原图像大小的特征图进行处理，得到所述特征图的每一像素属于每个类别的概率，根据所述概率确定每一个像素所属的类别。
在一种具体实现方式中，所述Softmax函数表达式(1)为：
Figure BDA0003757845440000061
其中zi为第i个通道的像素值，C为类别数。
通过Softmax函数就可以将多分类的输出值转换为范围在[0,1]之间的概率分布。
在神经网络训练过程中，通过每一次网络的输出值与真实正确的标签数值进行对比，不断迭代地更新网络参数来达到训练的目的。更新的依据是损失函数，通过最小化损失函数来使得网络输出更加接近于真实标签。
将每一次语义分割分支的输出值与对应的预先给出的真实标注数值进行对比，迭代更新语义分割分支的网络参数，语义分割分支的网络参数的迭代更新依据损失函数，该语义分割分支的损失函数Lpoint如下式(2)所示：
Lpoint＝-α(1-pi)γlog(pi) (2)
其中pi为分割分支最终的输出，α为平衡因子，γ是调制因子。
在具体的实现方式中，公式中pi为分割分支最终的输出，代表每个像素属于某个类别的概率，α为平衡因子，用来平衡正负样本比例不均的问题，通常选择α＝0.25，γ是调制因子，目的在于减少易分样本的权重，使得模型更加关注难以区别的样本，可以选择γ＝2。
在具体实施例中，所述物体检测分支包括第一子分支、第二子分支及第三子分支，所述第一子分支用于对被检测物体进行分类，所述第二子分支用于对计算深度信息的目标框进行预测，所述第三子分支用于对被检测物体的朝向进行估计，所述物体检测分支处理物体检测任务，包括：
S1242、所述第一子分支通过Softmax函数判断被检测物体的类别。
第一子分支为物体分类分支，与语义分割任务中分类分支相似，通过Softmax函数来判断检测到物体的类别。
S1244、所述第二子分支采用回归的方式，对所述二维图像的特征图添加高斯核获得二维响应分布得到热力图，将二维响应分布中的最高点作为物体中心点，并且根据物体中心点和预测中心点到物体包围框的距离来得到目标框。
目标框预测采用回归的方式，对特征图添加高斯核获得二维响应分布来得到热力图，响应最高点为物体中心点，根据物体中心点和预测中心点到物体包围框的距离来得到物体包围框。
S1246、第三子分支通过计算所述二维图像的特征图的深度信息，对比所述目标框中的深度信息来估计得到被检测物体的朝向。
物体朝向采用估计的方式，具体地，由于物体的不同朝向在所检测目标框中呈现出不同的深度信息，通过对比所检测目标框中的深度信息来估计得到物体的朝向。
与语义分割任务一致，物体检测任务同样需要一个损失函数来表征网络输出与真实标注数值之间的差距。
在具体实施例中，所述物体检测分支处理物体检测任务，还包括：
S1248、所述物体检测分支采用损失函数表征所述物体检测分支的输出值与对应的预先给出的真实标注数值之间的差距。
在一种具体实现方式中，所述物体检测分支采用的损失函数包括：
所述损失函数Lreg(x,r,g)、Lcls(x,p)如下式(3)、式(4)所示：
Figure BDA0003757845440000071
Figure BDA0003757845440000072
其中M∈{x0,y0,,z0,w,h,l,θ}代表一个被检测物体需要回归的7个数值，分别为所述目标框的中心坐标(x0,y0,,z0)、长宽高(w,h,l)与偏向角θ；
Figure BDA0003757845440000073
代表所述二维图像的特征图中第i个像素是否对应着一个检测到的物体的真实框；
Figure BDA0003757845440000074
与
Figure BDA0003757845440000075
分别代表回归数值所对应的第二子分支的输出值与预先给出的真实标注数值；
Figure BDA0003757845440000076
与
Figure BDA0003757845440000077
分别代表正负样本的概率输出。
卷积神经网络在多任务学习时，存在多个网络分支，同样对应着多个损失函数，每个分支的损失函数对应着不同的任务。如果仅仅将其简单的相加，随着学习的过程不断进行，其中一项损失函数下降得较快，其梯度会影响网络整体学习过程。
S130、采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代。
在具体实施例中，所述S130、采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代的步骤，包括：
S132、通过线性加权的方式将物体检测分支的损失与语义分割分支的损失整合。
S134、在不同任务的损失前使用不同的权重系数，其中，该权重系数由不同任务梯度平方的时间累计的倒数组成。使得更新更快的任务使用小一点的学习率，从而达到平衡网络整体学习的过程。
由于语义分割的特征可以辅助检测的分支，先训练分割分支一段时间后再训练检测分支，达到分割特征辅助检测任务的目的。
在具体实施例中，所述语义分割任务的特征辅助所述物体检测分支，所述S130、采用损失函数对物体检测任务和语义分割任务进行平衡处理以优化迭代的步骤，还包括：
S136、采用损失函数先训练语义分割分支再训练物体检测分支，
其中，对物体检测任务和语义分割任务进行平衡处理的损失函数Loss如下式(5)所示：
Figure BDA0003757845440000081
其中σ代表所述语义分割分支的损失函数的调节因子，ω代表所述物体检测分支中回归损失的调节因子，
Figure BDA0003757845440000082
代表所述物体检测分支中分类损失的调节因子。
不同任务条件下分割与检测分支的损失占比不同，可根据实际情况调整各个损失函数的调节因子来平衡网络的训练。
图2是本说明书实施例的神经网络结构示意图。如图2所示，本说明书实施例的神经网络由骨干网络210、物体检测分支220以及语义分割分支230组成，其中骨干网络210由若干层卷积神经网络和上采样网络构成，物体检测分支220由上采样网络和三个卷积神经网络的分支构成，语义分割分支230采用直筒式结构。本说明书实施例，通过前视图投影的方式，将三维点云数据转换为二维图像，并记录转换的过程，使用高效的卷积神经网络(骨干网络210)提取二维图像中的语义特征与边缘特征，然后通过两个并行的网络分支(物体检测分支220和语义分割分支230)分别处理分割与检测任务。最后通过转换过程中点云与像素的对应关系得到三维点云的检测与分割结果。
图3是本说明书实施例的一种激光点云检测分割系统的结构示意图。如图3所示，本说明书实施例，提供一种激光点云检测分割系统300，包括特征提取模块310、任务处理模块320以及速率平衡模块330，其中
所述特征提取模块310，被配置为采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征。
所述任务处理模块320，被配置为在所述卷积神经网络之后，将并行的两个网络分支作为物体检测分支和语义分割分支，通过所述物体检测分支和所述语义分割分支对所述语义特征和所述边缘特征进行处理，其中，所述物体检测分支处理物体检测任务，所述语义分割分支处理语义分割任务。
所述速率平衡模块330，被配置为采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代。
图4是本说明书实施例的计算设备的结构示意图。如图4所示，本说明书实施例，提供一种计算设备400，包括存储设备410以及处理器420，所述存储设备410用于存储计算机程序，所述处理器420运行所述计算机程序以使所述计算设备执行所述的激光点云检测分割方法的步骤。
图5是本说明书实施例的存储介质的结构示意图。如图5所示，本说明书实施例，提供一种存储介质500，其存储有所述的计算设备中所使用的计算机程序510，该计算机程序510被处理器执行时实现所述的一种激光点云检测分割方法的步骤。
综上所述，本说明书实施例提供一种激光点云检测分割方法及系统，对激光点云的投影后的二维图像进行特征提取，得到语义特征和边缘特征，进而采用两个并行的网络分支分别处理物体检测任务和语义分割任务，并且利用损失函数对不同任务的处理速率进行平衡，使得网络可以快速优化迭代。基于卷积神经网络，通过并行的网络分支，将检测任务和分割任务进行统一，使用单一的神经网络处理，既可以满足车载边缘设备的要求，也可以达到分割与检测的目的，并且利用损失函数对不同任务进行平衡使其快速优化迭代。使用对投影后的视图进行处理的方式，可以降低模型的复杂度与运算量，在车载边缘设备上也能够更快地部署运行，实时性高，解决了自动驾驶场景下计算量大，难以满足实时性的问题。
上述系统、装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种激光点云检测分割方法，其特征在于，包括：
采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征；
在所述卷积神经网络之后，将并行的两个网络分支作为物体检测分支和语义分割分支，通过所述物体检测分支和所述语义分割分支对所述语义特征和所述边缘特征进行处理，其中，所述物体检测分支处理物体检测任务，所述语义分割分支处理语义分割任务；
采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代。
2.根据权利要求1所述的方法，其特征在于，所述采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征的步骤，包括：
采用可分离卷积构建卷积神经网络；
通过所述卷积神经网络对投影后的二维图像进行非线性变换提取得到语义特征，并使用跳跃连接的方法对所述二维图像进行边缘特征提取，得到所述二维图像的特征图，
其中，所述语义特征包括被检测物体与其背景的相关信息或上下文信息，所述边缘特征包括被检测物体的边缘轮廓，所述跳跃连接的方法包括将通过上采样得到预设尺寸的特征图与对应尺寸的浅层特征图逐像素相加进行特征融合。
3.根据权利要求1所述的方法，其特征在于，所述语义分割分支处理语义分割任务，包括：
通过上采样将所述卷积神经网络得到的特征图恢复到原图像大小，以所述卷积神经网络的最后一层网络的通道数作为被检测物体的类别数；
采用Softmax函数对恢复到原图像大小的特征图进行处理，得到所述特征图的每一像素属于每个类别的概率，根据所述概率确定每一个像素所属的类别。
4.根据权利要求3所述的方法，其特征在于，
所述Softmax函数表达式(1)为：
Figure FDA0003757845430000011
其中zi为第i个通道的像素值，C为类别数；
将每一次语义分割分支的输出值与对应的预先给出的真实标注数值进行对比，迭代更新语义分割分支的网络参数，语义分割分支的网络参数的迭代更新依据损失函数，该语义分割分支的损失函数Lpoint如下式(2)所示：
Lpoint＝-α(1-pi)γlog(pi) (2)
其中pi为分割分支最终的输出，α为平衡因子，γ是调制因子。
5.根据权利要求1所述的方法，其特征在于，所述物体检测分支包括第一子分支、第二子分支及第三子分支，所述第一子分支用于对被检测物体进行分类，所述第二子分支用于对计算深度信息的目标框进行预测，所述第三子分支用于对被检测物体的朝向进行估计，所述物体检测分支处理物体检测任务，包括：
所述第一子分支通过Softmax函数判断被检测物体的类别；
所述第二子分支采用回归的方式，对所述二维图像的特征图添加高斯核获得二维响应分布得到热力图，将二维响应分布中的最高点作为物体中心点，并且根据物体中心点和预测中心点到物体包围框的距离来得到目标框；
第三子分支通过计算所述二维图像的特征图的深度信息，对比所述目标框中的深度信息来估计得到被检测物体的朝向。
6.根据权利要求5所述的方法，其特征在于，所述物体检测分支处理物体检测任务，还包括：
所述物体检测分支采用损失函数表征所述物体检测分支的输出值与对应的预先给出的真实标注数值之间的差距。
7.根据权利要求6所述的方法，其特征在于，所述物体检测分支采用的损失函数包括：
所述损失函数Lreg(x,r,g)、Lcls(x,p)如下式(3)、式(4)所示：
Figure FDA0003757845430000021
Figure FDA0003757845430000022
其中M∈{x0,y0,,z0,w,h,l,θ}代表一个被检测物体需要回归的7个数值，分别为所述目标框的中心坐标(x0,y0,,z0)、长宽高(w,h,l)与偏向角θ；
Figure FDA0003757845430000023
代表所述二维图像的特征图中第i个像素是否对应着一个检测到的物体的真实框；
Figure FDA0003757845430000024
与
Figure FDA0003757845430000025
分别代表回归数值所对应的第二子分支的输出值与预先给出的真实标注数值；
Figure FDA0003757845430000026
与
Figure FDA0003757845430000027
分别代表正负样本的概率输出。
8.根据权利要求1所述的方法，其特征在于，所述采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代的步骤，包括：
通过线性加权的方式将物体检测分支的损失与语义分割分支的损失整合；
在不同任务的损失前使用不同的权重系数，其中，该权重系数由不同任务梯度平方的时间累计的倒数组成。
9.根据权利要求1所述的方法，其特征在于，所述语义分割任务的特征辅助所述物体检测分支，所述采用损失函数对物体检测任务和语义分割任务进行平衡处理以优化迭代的步骤，还包括：
采用损失函数先训练语义分割分支再训练物体检测分支，
其中，对物体检测任务和语义分割任务进行平衡处理的损失函数Loss如下式(5)所示：
Figure FDA0003757845430000031
其中σ代表所述语义分割分支的损失函数的调节因子，ω代表所述物体检测分支中回归损失的调节因子，
Figure FDA0003757845430000032
代表所述物体检测分支中分类损失的调节因子。
10.一种激光点云检测分割系统，其特征在于，包括特征提取模块、任务处理模块以及速率平衡模块，其中
所述特征提取模块，被配置为采用卷积神经网络作为特征提取器，通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取，得到语义特征与边缘特征；
所述任务处理模块，被配置为在所述卷积神经网络之后，将并行的两个网络分支作为物体检测分支和语义分割分支，通过所述物体检测分支和所述语义分割分支对所述语义特征和所述边缘特征进行处理，其中，所述物体检测分支处理物体检测任务，所述语义分割分支处理语义分割任务；
所述速率平衡模块，被配置为采用损失函数对所述物体检测任务和所述语义分割任务进行平衡处理以优化迭代。
CN202210859832.3A 2022-07-21 2022-07-21 一种激光点云检测分割方法及系统 Pending CN115272755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210859832.3A CN115272755A (zh) 2022-07-21 2022-07-21 一种激光点云检测分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210859832.3A CN115272755A (zh) 2022-07-21 2022-07-21 一种激光点云检测分割方法及系统

Publications (1)

Publication Number Publication Date
CN115272755A true CN115272755A (zh) 2022-11-01

Family

ID=83766744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210859832.3A Pending CN115272755A (zh) 2022-07-21 2022-07-21 一种激光点云检测分割方法及系统

Country Status (1)

Country Link
CN (1) CN115272755A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116895023A (zh) * 2023-09-11 2023-10-17 中国石油大学(华东) 一种基于多任务学习的中尺度涡识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116895023A (zh) * 2023-09-11 2023-10-17 中国石油大学(华东) 一种基于多任务学习的中尺度涡识别方法及系统
CN116895023B (zh) * 2023-09-11 2024-02-09 中国石油大学(华东) 一种基于多任务学习的中尺度涡识别方法及系统

Similar Documents

Publication Publication Date Title
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
US11144889B2 (en) Automatic assessment of damage and repair costs in vehicles
CN110111340B (zh) 基于多路割的弱监督实例分割方法
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN110210551A (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110046553A (zh) 一种融合属性特征的行人重识别模型、方法及系统
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN114155481A (zh) 一种基于语义分割的非结构化田间道路场景识别方法及装置
KR20210043516A (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
Xing et al. Traffic sign recognition using guided image filtering
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN113822153A (zh) 一种基于改进DeepSORT算法的无人机跟踪方法
CN115272755A (zh) 一种激光点云检测分割方法及系统
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
Nguyen et al. Smart solution to detect images in limited visibility conditions based convolutional neural networks
CN116777929A (zh) 一种黑夜场景图像语义分割方法、装置及计算机介质
CN114743045A (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN115115947A (zh) 遥感图像检测方法、装置、电子设备以及存储介质
Lukac et al. An algorithm selection based platform for image understanding using high-level symbolic feedback and machine learning
CN112069997A (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination