CN115512330A - 基于图像分割与激光雷达点云补全的物体检测方法 - Google Patents

基于图像分割与激光雷达点云补全的物体检测方法 Download PDF

Info

Publication number
CN115512330A
CN115512330A CN202211161662.8A CN202211161662A CN115512330A CN 115512330 A CN115512330 A CN 115512330A CN 202211161662 A CN202211161662 A CN 202211161662A CN 115512330 A CN115512330 A CN 115512330A
Authority
CN
China
Prior art keywords
point cloud
point
completion
image segmentation
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211161662.8A
Other languages
English (en)
Inventor
赵进
丁华杰
李鑫武
袁亚茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xunxu Artificial Intelligence Technology Co ltd
Original Assignee
Shanghai Xunxu Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xunxu Artificial Intelligence Technology Co ltd filed Critical Shanghai Xunxu Artificial Intelligence Technology Co ltd
Priority to CN202211161662.8A priority Critical patent/CN115512330A/zh
Publication of CN115512330A publication Critical patent/CN115512330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于图像分割与激光雷达点云补全的物体检测方法，基于图像分割与激光雷达点云补全的物体检测方法，包括以下步骤：点云投影图像和图像分割；区域点云提取、点云滤除和点云补全，点云补全具体包括进行点云补全模型训练和真实数据输入点云补全模型进行补全；区域点云提取功能通过激光雷达与相机的标定矩阵，将图像分割得到的同一ID像素区域(即图像中表示一个物体的区域)内的所有点云数据提取出来；点云滤除功能将深度信息突变的点云滤除掉，只保留深度信息相近的点；点云补全功能是将点云滤除中得到的点云数据进行补全，恢复物体的整体形状并且均匀分布；点云降采样、点云特征编码、特征处理、检测回归、分类。

Description

基于图像分割与激光雷达点云补全的物体检测方法
技术领域
本发明涉及车辆检测技术领域，特别是涉及基于图像分割与激光雷达点云补全的物体检测方法。
背景技术
在自动驾驶车辆工作过程中，快速准确的理解周边环境是非常重要的，而物体检测是环境理解任务中一项非常重要的感知技术。目前现有的物体检测方法根据输入数据不同可分为：基于图像、基于激光雷达点云、基于激光雷达点云与图像相结合三种。其中基于激光雷达点云与图像结合的物体检测方法，通过图像与激光雷达点云数据信息互补，使检测效果得到一定提升。
现有基于点云数据的物体检测方法，都是直接利用表示物体正面的原始点云数据，通过大量数据和卷积神经网络的强大表征能力，直接回归整个物体的长宽高尺寸以及中心点位置，这样做虽然可以得到拟合物体形状的包围框，但这样得到的包围框大多和物体贴合不够紧密，并且在一定的交并比阈值(如0.7)下得以保留，满足交并比阈值但与物体贴合不紧密的框，对自动驾驶车辆后续决策规划有负面影响，会严重影响车辆的安全行驶。
发明内容
为了克服现有技术的不足，本发明提供基于图像分割与激光雷达点云补全的物体检测方法，通过点云补全功能，在不改变原有点云数据结构的情况下，用均匀分布的点云数据补全物体的整体形状，可以得到贴合更为紧密的包围框，解决当前自动驾驶车辆行驶中对当前环境物体检测包围框贴合不紧密的问题，有效解决了残缺点云回归障碍物信息不准确的问题，从而提高了自动驾驶车辆行驶过程中对周边环境的感知能力，有利于车辆安全行驶。
为解决上述技术问题，本发明提供如下技术方案：基于图像分割与激光雷达点云补全的物体检测方法，包括以下步骤：
S1、点云投影图像和图像分割，其中，点云投影图像和图像分割功能通过图像分割模块实现；
S2、区域点云提取、点云滤除和点云补全，其中，区域点云提取、点云滤除和点云补全功能通过点云补全模块实现，其中点云补全具体包括进行点云补全模型训练和真实数据输入点云补全模型进行补全两个步骤；其中，区域点云提取功能通过激光雷达与相机的标定矩阵，将图像分割得到的同一ID像素区域(即图像中表示一个物体的区域) 内的所有点云数据提取出来；点云滤除功能将深度信息突变的点云滤除掉，只保留深度信息相近的点；点云补全功能是将点云滤除中得到的点云数据进行补全，恢复物体的整体形状并且均匀分布；
S3、点云降采样、点云特征编码、特征处理、检测回归、分类，其中，点云降采样、点云特征编码、特征处理、检测回归、分类通过点云检测模块实现。
作为本发明的一种优选技术方案，所述点云补全模型训练的具体操作为：
(1).针对自动驾驶场景中常见障碍物如行人、车辆、骑行者等，通过CAD(ComputerAided Design)生成大量点云模型P，本阶段通过CAD生成的点云模型均为物体表面点；
(2).对CAD生成的完整点云模型进行随机部分裁剪，得到不完整点云数据P＇(M个点)作为点云补全算法输入数据，其中裁剪程度范围为0.2～0.8；
(3).将不完整点云数据P＇进行降采样(N个点，其中N<M)，输入到共享MLP层得到N个逐点特征Fn；然后对N个逐点特征Fn做最大池化处理，得到初始全局特征F1；初始全局特征F1复制N份与逐点特征Fn拼接起来，输入到一个共享MLP层和一个最大池化层，得到最终的全局特征Fg；
(4).基于最终的全局特征Fg，对裁剪后的不完整数据进行 Reshape操作，得到一个补全结果，该补全结果与CAD生成的完整点云模型P进行损失计算，其中损失函数计算方式如下
L＝λ×LCD(P,P′)
Figure RE-GDA0003954431470000031
其中λ为权重参数，x和y分别表示属于两个点云P和P＇的点；
(5).通过误差反向传播来更新点云补全算法的参数，使得损失最小化，多次迭代后得到性能最好的点云补全模型。
作为本发明的一种优选技术方案，所述真实数据输入点云补全模型进行补全的具体操作为：
(1).将点云滤除功能得到障碍物的残缺点云数据输入点云补全模型；
(2).利用图像分割结果(即物体类别)作为点云补全的先验信息；
(3).对残缺点云进行补全，恢复障碍物的完整形状。
作为本发明的一种优选技术方案，所述点云投影图像功能是将激光雷达得到的点云数据，根据激光雷达与相机的标定矩阵，投影到图像上面，以便得到表示单独障碍物的点云数据。
作为本发明的一种优选技术方案，所述图像分割功能是对当前场景下，相机得到的图像进行逐个像素分割，以获得图像中所有像素的分类，同一个物体的像素将赋予相同ID，表示不同物体的像素ID也不相同。
作为本发明的一种优选技术方案，所述点云降采样功能是对补全得到的点云数据进行降采样。
作为本发明的一种优选技术方案，所述点云特征编码功能是对降采样后的点云数据进行特征提取，比如每个点的坐标、反射强度、时间序列等信息，从而得到特征图。
作为本发明的一种优选技术方案，所述特征处理功能是利用卷积神经网络，对特征图进行处理，得到输入点云数据的高级语义信息。
作为本发明的一种优选技术方案，所述检测回归功能是利用高级语义信息，回归障碍物的信息比如中心坐标、长宽高、朝向等，这些信息采用一个带有朝向标识的长方体包围框表示。
作为本发明的一种优选技术方案，所述分类功能是对包围框内的点云(即障碍物)进行分类如行人、车辆等，并输出该分类结果的可信度。
与现有技术相比，本发明能达到的有益效果是：
本发明将仅表示物体正面的原始点云数据，通过点云补全功能，在不改变原有点云数据结构的情况下，用均匀分布的点云数据补全物体的整体形状，利用补全后的点云数据，可以得到贴合更为紧密的包围框，解决当前自动驾驶车辆行驶中对当前环境物体检测包围框贴合不紧密的问题，有效解决了残缺点云回归障碍物信息不准确的问题，从而提高了自动驾驶车辆行驶过程中对周边环境的感知能力，有利于车辆安全行驶。
附图说明：
图1为本发明物体检测方法流程示意图；
图2为本发明所述点云补全模块的实现流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。下述实施例中的实验方法，如无特殊说明，均为常规方法，下述实施例中所用的材料、试剂等，如无特殊说明，均可从商业途径得到。
实施例一
请参照图1、图2所示，本发明提供基于图像分割与激光雷达点云补全的物体检测方法，包括以下步骤：
S1、点云投影图像和图像分割，其中，点云投影图像和图像分割功能通过图像分割模块实现；
S2、区域点云提取、点云滤除和点云补全，其中，区域点云提取、点云滤除和点云补全功能通过点云补全模块实现，其中点云补全具体包括进行点云补全模型训练和真实数据输入点云补全模型进行补全两个步骤；其中，区域点云提取功能通过激光雷达与相机的标定矩阵，将图像分割得到的同一ID像素区域(即图像中表示一个物体的区域) 内的所有点云数据提取出来；点云滤除功能将深度信息突变的点云滤除掉，只保留深度信息相近的点；点云补全功能是将点云滤除中得到的点云数据进行补全，恢复物体的整体形状并且均匀分布；
其中，所述点云补全模型训练的具体操作为：
(1).针对自动驾驶场景中常见障碍物如行人、车辆、骑行者等，通过CAD(ComputerAided Design)生成大量点云模型P，本阶段通过CAD生成的点云模型均为物体表面点；
(2).对CAD生成的完整点云模型进行随机部分裁剪，得到不完整点云数据P＇(M个点)作为点云补全算法输入数据，其中裁剪程度范围为0.2～0.8；
(3).将不完整点云数据P＇进行降采样(N个点，其中N<M)，输入到共享MLP层得到N个逐点特征Fn；然后对N个逐点特征Fn做最大池化处理，得到初始全局特征F1；初始全局特征F1复制N份与逐点特征Fn拼接起来，输入到一个共享MLP层和一个最大池化层，得到最终的全局特征Fg；
(4).基于最终的全局特征Fg，对裁剪后的不完整数据进行 Reshape操作，得到一个补全结果，该补全结果与CAD生成的完整点云模型P进行损失计算，其中损失函数计算方式如下
L＝λ×LCD(P,P')
Figure RE-GDA0003954431470000071
其中λ为权重参数，x和y分别表示属于两个点云P和P＇的点；
(5).通过误差反向传播来更新点云补全算法的参数，使得损失最小化，多次迭代后得到性能最好的点云补全模型；
其中，所述真实数据输入点云补全模型进行补全的具体操作为：
(1).将点云滤除功能得到障碍物的残缺点云数据输入点云补全模型；
(2).利用图像分割结果(即物体类别)作为点云补全的先验信息；
(3).对残缺点云进行补全，恢复障碍物的完整形状；
S3、点云降采样、点云特征编码、特征处理、检测回归、分类，其中，点云降采样、点云特征编码、特征处理、检测回归、分类通过点云检测模块实现；
在本发明的具体实施例中，使用区域点云提取功能，其通过激光雷达与相机的标定矩阵，将图像分割得到的同一ID像素区域(即图像中表示一个物体的区域)内的所有点云数据提取出来；考虑到图像分割不够准确，可能存在如过分割的错误预测，此时提取到的点云中将有少部分点，不是表示该障碍物的点，通过每个点的坐标可以得到他们的深度信息，不属于同一物体点的深度信息会发生较大突变，通过点云滤除功能将深度信息突变的点云滤除掉，只保留深度信息相近的点；最后使用点云补全功能将上述点云滤除功能中得到的点云数据进行补全，补全的目的是在保持原有数据的前提下，恢复物体的整体形状并且均匀分布，在补全点云数据时，先进行点云补全模型训练，在进行点云补全模型训练时，针对自动驾驶场景中常见障碍物如行人、车辆、骑行者等，通过CAD(Computer Aided Design)生成大量点云模型P，因为CAD生成完整点云模型相对于人为采集得到的点云更加均匀精细，并且可以节省大量的人力、物力、时间成本；并且为保证和现实场景中的点云数据更相似，本阶段通过CAD生成的点云模型均为物体表面点；接着对CAD生成的完整点云模型进行随机部分裁剪，得到不完整点云数据P＇(M个点)作为点云补全算法输入数据，其中裁剪程度范围为0.2～0.8；由于点云数据的无序性，不能直接使用卷积处理，所以要将不完整点云数据P＇进行降采样(N个点，其中 N<M)，输入到共享MLP层得到N个逐点特征Fn；然后对N个逐点特征Fn做最大池化处理，得到初始全局特征F1；初始全局特征F1复制N份与逐点特征Fn拼接起来，输入到一个共享MLP层和一个最大池化层，得到最终的全局特征Fg；于最终的全局特征Fg，对裁剪后的不完整数据进行Reshape操作，得到一个补全结果，该补全结果与 CAD生成的完整点云模型P进行损失计算，其中损失函数计算方式为
L＝λ×LCD(P,P')
Figure RE-GDA0003954431470000091
其中λ为权重参数，x和y分别表示属于两个点云P和P＇的点；最后通过误差反向传播来更新点云补全算法的参数，使得损失最小化，多次迭代后得到性能最好的点云补全模型；之后将点云滤除功能得到障碍物的残缺点云数据输入点云补全模型，用图像分割结果(即物体类别)作为点云补全的先验信息，对残缺点云进行补全，恢复障碍物的完整形状，本发明将仅表示物体正面的原始点云数据，通过点云补全功能，在不改变原有点云数据结构的情况下，用均匀分布的点云数据补全物体的整体形状，利用补全后的点云数据，可以得到贴合更为紧密的包围框，解决当前自动驾驶车辆行驶中对当前环境物体检测包围框贴合不紧密的问题，有效解决了残缺点云回归障碍物信息不准确的问题，从而提高了自动驾驶车辆行驶过程中对周边环境的感知能力，有利于车辆安全行驶。
实施例二
本实施例是在实施例1之上做出的改进，如图1、图2所示，所述点云投影图像功能是将激光雷达得到的点云数据，根据激光雷达与相机的标定矩阵，投影到图像上面，以便得到表示单独障碍物的点云数据，所述图像分割功能是对当前场景下，相机得到的图像进行逐个像素分割，以获得图像中所有像素的分类，同一个物体的像素将赋予相同ID，表示不同物体的像素ID也不相同；
本实施例中：通过点云投影图像功能将激光雷达得到的点云数据，根据激光雷达与相机的标定矩阵，投影到图像上面，以便得到表示单独障碍物的点云数据，再使用图像分割功能对当前场景下，相机得到的图像进行逐个像素分割，以获得图像中所有像素的分类，同一个物体的像素将赋予相同ID，表示不同物体的像素ID也不相同。
实施例三
本实施例是在实施例1之上做出的改进，如图1、图2所示，点云降采样功能是对补全得到的点云数据进行降采样，所述点云特征编码功能是对降采样后的点云数据进行特征提取，比如每个点的坐标、反射强度、时间序列等信息，从而得到特征图，所述特征处理功能是利用卷积神经网络，对特征图进行处理，得到输入点云数据的高级语义信息，所述检测回归功能是利用高级语义信息，回归障碍物的信息比如中心坐标、长宽高、朝向等，这些信息采用一个带有朝向标识的长方体包围框表示，所述分类功能是对包围框内的点云(即障碍物) 进行分类如行人、车辆等，并输出该分类结果的可信度；
本实施例中：通过点云降采样功能对补全得到的点云数据进行降采样，由于点云数据量庞大，降采样可以减少计算量；通过点云特征编码功能对降采样后的点云数据进行特征提取，如每个点的坐标、反射强度、时间序列等信息，得到特征图；通过特征处理功能利用卷积神经网络，对得到的特征图进行处理，得到输入点云数据的高级语义信息；再通过检测回归功能，利用高级语义信息，回归障碍物的信息比如中心坐标、长宽高、朝向等；最后使用分类功能对包围框内的点云(即障碍物)进行分类如行人、车辆等，并输出该分类结果的可信度。
工作原理：通过点云投影图像功能将激光雷达得到的点云数据，根据激光雷达与相机的标定矩阵，投影到图像上面，以便得到表示单独障碍物的点云数据，再使用图像分割功能对当前场景下，相机得到的图像进行逐个像素分割，以获得图像中所有像素的分类，同一个物体的像素将赋予相同ID，表示不同物体的像素ID也不相同；而后使用区域点云提取功能，其通过激光雷达与相机的标定矩阵，将图像分割得到的同一ID像素区域(即图像中表示一个物体的区域)内的所有点云数据提取出来；考虑到图像分割不够准确，可能存在如过分割的错误预测，此时提取到的点云中将有少部分点，不是表示该障碍物的点，通过每个点的坐标可以得到他们的深度信息，不属于同一物体点的深度信息会发生较大突变，通过点云滤除功能将深度信息突变的点云滤除掉，只保留深度信息相近的点；最后使用点云补全功能将上述点云滤除功能中得到的点云数据进行补全，补全的目的是在保持原有数据的前提下，恢复物体的整体形状并且均匀分布，在补全点云数据时，先进行点云补全模型训练，在进行点云补全模型训练时，针对自动驾驶场景中常见障碍物如行人、车辆、骑行者等，通过CAD (Computer Aided Design)生成大量点云模型P，因为CAD生成完整点云模型相对于人为采集得到的点云更加均匀精细，并且可以节省大量的人力、物力、时间成本；并且为保证和现实场景中的点云数据更相似，本阶段通过CAD生成的点云模型均为物体表面点；接着对 CAD生成的完整点云模型进行随机部分裁剪，得到不完整点云数据P＇(M个点)作为点云补全算法输入数据，其中裁剪程度范围为0.2～ 0.8；由于点云数据的无序性，不能直接使用卷积处理，所以要将不完整点云数据P＇进行降采样(N个点，其中N<M)，输入到共享MLP 层得到N个逐点特征Fn；然后对N个逐点特征Fn做最大池化处理，得到初始全局特征F1；初始全局特征F1复制N份与逐点特征Fn拼接起来，输入到一个共享MLP层和一个最大池化层，得到最终的全局特征Fg；于最终的全局特征Fg，对裁剪后的不完整数据进行Reshape 操作，得到一个补全结果，该补全结果与CAD生成的完整点云模型P 进行损失计算，其中损失函数计算方式为
L＝λ×LCD(P,P')
Figure RE-GDA0003954431470000131
其中λ为权重参数，x和y分别表示属于两个点云P和P＇的点；最后通过误差反向传播来更新点云补全算法的参数，使得损失最小化，多次迭代后得到性能最好的点云补全模型；之后将点云滤除功能得到障碍物的残缺点云数据输入点云补全模型，用图像分割结果(即物体类别)作为点云补全的先验信息，对残缺点云进行补全，恢复障碍物的完整形状；点云降采样功能是对补全得到的点云数据进行降采样，所述点云特征编码功能是对降采样后的点云数据进行特征提取，比如每个点的坐标、反射强度、时间序列等信息，从而得到特征图，所述特征处理功能是利用卷积神经网络，对特征图进行处理，得到输入点云数据的高级语义信息，所述检测回归功能是利用高级语义信息，回归障碍物的信息比如中心坐标、长宽高、朝向等，这些信息采用一个带有朝向标识的长方体包围框表示，所述分类功能是对包围框内的点云(即障碍物)进行分类如行人、车辆等，并输出该分类结果的可信度。
尽管已经示出和描述了发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：包括以下步骤：
S1、点云投影图像和图像分割，其中，点云投影图像和图像分割功能通过图像分割模块实现；
S2、区域点云提取、点云滤除和点云补全，其中，区域点云提取、点云滤除和点云补全功能通过点云补全模块实现，其中点云补全具体包括进行点云补全模型训练和真实数据输入点云补全模型进行补全两个步骤；其中，区域点云提取功能通过激光雷达与相机的标定矩阵，将图像分割得到的同一ID像素区域(即图像中表示一个物体的区域)内的所有点云数据提取出来；点云滤除功能将深度信息突变的点云滤除掉，只保留深度信息相近的点；点云补全功能是将点云滤除中得到的点云数据进行补全，恢复物体的整体形状并且均匀分布；
S3、点云降采样、点云特征编码、特征处理、检测回归、分类，其中，点云降采样、点云特征编码、特征处理、检测回归、分类通过点云检测模块实现。
2.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述点云补全模型训练的具体操作为：
(1).针对自动驾驶场景中常见障碍物如行人、车辆、骑行者等，通过CAD(ComputerAided Design)生成大量点云模型P，本阶段通过CAD生成的点云模型均为物体表面点；
(2).对CAD生成的完整点云模型进行随机部分裁剪，得到不完整点云数据P＇(M个点)作为点云补全算法输入数据，其中裁剪程度范围为0.2～0.8；
(3).将不完整点云数据P＇进行降采样(N个点，其中N<M)，输入到共享MLP层得到N个逐点特征Fn；然后对N个逐点特征Fn做最大池化处理，得到初始全局特征F1；初始全局特征F1复制N份与逐点特征Fn拼接起来，输入到一个共享MLP层和一个最大池化层，得到最终的全局特征Fg；
(4).基于最终的全局特征Fg，对裁剪后的不完整数据进行Reshape操作，得到一个补全结果，该补全结果与CAD生成的完整点云模型P进行损失计算，其中损失函数计算方式如下
L＝λ×LCD(P,P')
Figure RE-FDA0003954431460000021
其中λ为权重参数，x和y分别表示属于两个点云P和P＇的点；
(5).通过误差反向传播来更新点云补全算法的参数，使得损失最小化，多次迭代后得到性能最好的点云补全模型。
3.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述真实数据输入点云补全模型进行补全的具体操作为：
(1).将点云滤除功能得到障碍物的残缺点云数据输入点云补全模型；
(2).利用图像分割结果(即物体类别)作为点云补全的先验信息；
(3).对残缺点云进行补全，恢复障碍物的完整形状。
4.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述点云投影图像功能是将激光雷达得到的点云数据，根据激光雷达与相机的标定矩阵，投影到图像上面，以便得到表示单独障碍物的点云数据。
5.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述图像分割功能是对当前场景下，相机得到的图像进行逐个像素分割，以获得图像中所有像素的分类，同一个物体的像素将赋予相同ID，表示不同物体的像素ID也不相同。
6.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述点云降采样功能是对补全得到的点云数据进行降采样。
7.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述点云特征编码功能是对降采样后的点云数据进行特征提取，比如每个点的坐标、反射强度、时间序列等信息，从而得到特征图。
8.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述特征处理功能是利用卷积神经网络，对特征图进行处理，得到输入点云数据的高级语义信息。
9.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述检测回归功能是利用高级语义信息，回归障碍物的信息比如中心坐标、长宽高、朝向等，这些信息采用一个带有朝向标识的长方体包围框表示。
10.根据权利要求1所述的基于图像分割与激光雷达点云补全的物体检测方法，其特征在于：所述分类功能是对包围框内的点云(即障碍物)进行分类如行人、车辆等，并输出该分类结果的可信度。
CN202211161662.8A 2022-09-23 2022-09-23 基于图像分割与激光雷达点云补全的物体检测方法 Pending CN115512330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211161662.8A CN115512330A (zh) 2022-09-23 2022-09-23 基于图像分割与激光雷达点云补全的物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211161662.8A CN115512330A (zh) 2022-09-23 2022-09-23 基于图像分割与激光雷达点云补全的物体检测方法

Publications (1)

Publication Number Publication Date
CN115512330A true CN115512330A (zh) 2022-12-23

Family

ID=84505340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211161662.8A Pending CN115512330A (zh) 2022-09-23 2022-09-23 基于图像分割与激光雷达点云补全的物体检测方法

Country Status (1)

Country Link
CN (1) CN115512330A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173650A (zh) * 2023-11-02 2023-12-05 浙江华是科技股份有限公司 基于激光雷达的船舶测量与识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173650A (zh) * 2023-11-02 2023-12-05 浙江华是科技股份有限公司 基于激光雷达的船舶测量与识别方法及系统
CN117173650B (zh) * 2023-11-02 2024-01-26 浙江华是科技股份有限公司 基于激光雷达的船舶测量与识别方法及系统

Similar Documents

Publication Publication Date Title
Wen et al. A deep learning framework for road marking extraction, classification and completion from mobile laser scanning point clouds
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN111145174B (zh) 基于图像语义特征进行点云筛选的3d目标检测方法
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
CN111527467A (zh) 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置
CN111340026B (zh) 车辆年款识别模型的训练方法以及车辆年款的识别方法
DE102019118999A1 (de) Lidar-basierte objektdetektion und -klassifikation
CN115049700A (zh) 一种目标检测方法及装置
Zhao et al. Rapid extraction and updating of road network from airborne LiDAR data
CN114596555B (zh) 障碍物点云数据筛选方法、装置、电子设备及存储介质
CN111461221A (zh) 一种面向自动驾驶的多源传感器融合目标检测方法和系统
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN115512330A (zh) 基于图像分割与激光雷达点云补全的物体检测方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
Tao et al. Contour-based smoky vehicle detection from surveillance video for alarm systems
Dimitrievski et al. Semantically aware multilateral filter for depth upsampling in automotive lidar point clouds
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN113516853A (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN111160282A (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
Baduge et al. Assessment of crack severity of asphalt pavements using deep learning algorithms and geospatial system
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法
CN114882205A (zh) 基于注意力机制的目标检测方法
CN114359859A (zh) 一种含遮挡的目标物处理方法、装置及存储介质
Yu et al. Advanced approach for automatic reconstruction of 3d buildings from aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination