CN114821498A - 一种基于深度学习的激光点云目标检测识别装置及方法 - Google Patents
一种基于深度学习的激光点云目标检测识别装置及方法 Download PDFInfo
- Publication number
- CN114821498A CN114821498A CN202210333138.8A CN202210333138A CN114821498A CN 114821498 A CN114821498 A CN 114821498A CN 202210333138 A CN202210333138 A CN 202210333138A CN 114821498 A CN114821498 A CN 114821498A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- laser point
- data
- deep learning
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于深度学习的激光点云目标检测识别装置及方法,方法包括如下步骤:1)数据采集模块采集激光点云数据;2)数据标注模块对激光点云数据进行自动标注;3)深度学习模块对标注后的激光点云数据进行特征提取;4)预测模块根据提取的特征基于深度神经网络模型进行目标的实时预测。本发明所述一种基于深度学习的激光点云目标检测识别方法中,先对单帧点云数据进行特征提取,然后将提取的特征进行稀疏化处理,转化为可以供RPN卷积神经网络计算的数据结构,将用于图像领域的卷积神经网络移植到三维的激光点云领域,从而提高对激光点云数据中目标检测识别的准确性。
Description
技术领域
本发明属于汽车智能化的技术领域,具体涉及一种基于深度学习的激光点云目标检测识别装置及方法。
背景技术
随着汽车智能化的快速发展,越来越多的汽车上搭载了自动驾驶系统。自动驾驶系统利用各种传感器感知车辆周围的环境情况,激光雷达不仅测距远、精度高,还能获取三维立体的激光点云数据,激光点云数据包括被测物体的三维结构信息、强度信息、RGB信息以及扫描方向信息等,自动驾驶系统可基于激光点云数据作出更为准确的判断和控制。
自动驾驶系统利用激光点云数据时需要进行目标检测识别,激光点云目标检测识别的传统方法主要包括如下流程:分割地面、点云聚类、特征提取和检测识别,如中国专利CN201710188951.X一种基于激光点云的动静态目标物识别方法及装置,这种传统方法存在如下问题:一是分割地面通常依赖于人为设计的特征和规则,如设置一些阈值、表面法线等,泛化能力较差;二是多阶段的处理流程可能产生复合型错误,如聚类和分类并没有建立在一定上下基础上,可能出现目标周围的环境信息缺失;三是对于单帧激光雷达扫描的计算时间和精度的稳定性较差,难以满足自动驾驶的安全性要求。因此,近年来不少基于深度神经网络摸的激光点云目标检测识别方法被提出,如中国专利CN201611187597.0一种车载激光点云目标分类方法和系统,该方案采用深度神经网络模型对激光点云进行自动检测识别,稳定性和准确性较好,但由于激光点云为三维立体数据,其分析处理所需算力较大,时间较长,难以满足自动驾驶对于实时性的要求。
因此,提高激光点云目标检测识别的准确性和实时性是目前点云数据处理面临的重要问题,同时也是自动驾驶向更高水平发展的主要瓶颈。
发明内容
针对现有技术的上述不足,本发明要解决的技术问题是提供一种基于深度学习的激光点云目标检测识别装置及方法,解决目前激光点云目标检测识别方法存在准确性和实时性较差的问题,取得提高激光点云处理能力和自动驾驶水平的效果。
为解决上述技术问题,本发明采用如下技术方案:
一种基于深度学习的激光点云目标检测识别装置,包括数据采集模块、数据标注模块、深度学习模块和预测模块;
数据采集模块用于采集激光点云数据,数据标注模块用于对激光点云数据进行自动标注,深度学习模块用于对标注后的激光点云数据进行特征提取和用于训练深度神经网络模型,预测模块用于根据提取的特征基于深度神经网络模型进行目标的实时预测。
进一步地,数据采集模块还用于采集与激光点云数据时空同步的图像数据。
进一步地,数据标注模块还用于对图像数据进行自动标注。
本发明还包括一种基于深度学习的激光点云目标检测识别方法,使用如上所述一种基于深度学习的激光点云目标检测识别装置,包括如下步骤:
1)数据采集模块采集激光点云数据;
2)数据标注模块对激光点云数据进行自动标注;
3)深度学习模块对标注后的激光点云数据进行特征提取;
4)预测模块根据提取的特征基于深度神经网络模型进行目标的实时预测。
进一步地,步骤1)中数据采集模块还采集与激光点云数据时空同步的图像数据;步骤2)中数据标注模块还对图像数据进行自动标注,并将标注后的图像数据作为参考对标注后的激光点云数据进行校验和修正。
进一步地,步骤2)中自动标注的标注类别有行人、自行车、小型车、中型车和大型车。
进一步地,步骤3)包括如下子步骤:
31)设置点云范围Pc,表达式如下:
Pc=[xmin,ymin,zmin,xmax,ymax,zmax]
其中,xmin和xmax分别表示一帧激光点云数据在三维空间中x方向的最小值和最大值,ymin和ymax分别表示一帧激光点云数据在三维空间中y方向的最小值和最大值,zmin和zmax分别表示一帧激光点云数据在三维空间中z方向的最小值和最大值;
32)设置柱子的尺寸Pi,表达式如下:
Pi=[xl,yl,zl]
其中,xl、yl和zl分别表示柱子在三维空间中x、y和z方向的尺寸,z1=zmax-zmin;
33)计算柱子的数量,表达式如下:
H×W=[[(xmax-xmin)/xl],[(ymax-ymin)/yl]]
其中,H表示x方向上柱子的数量,W表示y方向上柱子的数量。
34)将激光点云数据中的点划分到对应的柱子中,并计算每个柱子的中心点;
35)获取柱子中每个点的特征构成特征集合,表达式如下:
T=(x,y,z,r,xc,yc,zc,xp,yp)
其中,x、y和z为点在三维空间中x、y和z三个方向的坐标值,r为点的反射强度,xc、yc和zc分别表示点与所属柱子中所有点在x、y和z三个方向的差值的平均值,xp和yp分别表示点与所属柱子的中心点在x和y两个方向的差值;
36)基于特征集合T将一帧激光点云数据的特征用为n×9维的特征向量A表示,其中,n为激光点云数据中点的数量,9表示特征对应点的维度;
37)对特征向量A进行稀疏化处理,生成(H×W)×n维的稀疏向量B。
相比现有技术,本发明的有益效果如下:
1、本发明所述一种基于深度学习的激光点云目标检测识别方法中,先对单帧点云数据进行特征提取,然后将提取的特征进行稀疏化处理,转化为可以供RPN卷积神经网络计算的数据结构,将用于图像领域的卷积神经网络移植到三维的激光点云领域,从而提高对激光点云数据中目标检测识别的准确性。
2、本发明所述一种基于深度学习的激光点云目标检测识别方法中,对激光点云数据进行标注时,采用自动标注与人工校准相结合的方式,同时人工校准时参考标注后的图像数据,可有效提升激光点云数据标注的准确度和效率。
附图说明
图1为实施例的一种基于深度学习的激光点云目标检测识别装置的组成框图;
图2为实施例的一种基于深度学习的激光点云目标检测识别方法的流程图;
图3为实施例所述对标注后的激光点云数据进行特征提取的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
实施例:
请参见图1,一种基于深度学习的激光点云目标检测识别装置,包括数据采集模块、数据标注模块、深度学习模块和预测模块;
数据采集模块用于采集激光点云数据,数据标注模块用于对激光点云数据进行自动标注,深度学习模块用于对标注后的激光点云数据进行特征提取和用于训练深度神经网络模型,预测模块用于根据提取的特征基于深度神经网络模型进行目标的实时预测。
本实施例中,数据采集模块还用于采集与激光点云数据时空同步的图像数据,同时数据采集模块还具备数据解析和格式转换的能力,以满足数据标注模块对于激光点云数据和图像数据的要求;数据标注模块还用于对图像数据进行自动标注;深度学习模块采用GPU运算以提高训练速度,同时还部署有深度学习框架pytorch的深度学习服务器来训练深度神经网络模型。
请参见图2,本发明还包括一种基于深度学习的激光点云目标检测识别方法,使用如上所述一种基于深度学习的激光点云目标检测识别装置,包括如下步骤:
1)数据采集模块采集激光点云数据;
2)数据标注模块对激光点云数据进行自动标注;自动标注的标注类别有行人、自行车、小型车、中型车和大型车;
3)深度学习模块对标注后的激光点云数据进行特征提取;
4)预测模块根据提取的特征基于深度神经网络模型进行目标的实时预测。
本实施例中,步骤1)中数据采集模块还采集与激光点云数据时空同步的图像数据;步骤2)中数据标注模块还对图像数据进行自动标注,并将标注后的图像数据作为参考对标注后的激光点云数据进行校验和修正;
这是由于对激光点云数据的自动标注技术还未完全成熟,标注容易出现误差,因此需要进行人工校验,又由于激光点云数据的稀疏性和不规则性,人工直接校验较为困难,因此需要将标注后的图像数据作为参考,将激光点云数据中标注不合格的位置进行重新标注,从而提高标注的准确性。
请参见图3,步骤3)对标注后的激光点云数据进行特征提取包括如下子步骤:
31)设置点云范围Pc,表达式如下:
Pc=[xmin,ymin,zmin,xmax,ymax,zmax]
其中,xmin和xmax分别表示一帧激光点云数据在三维空间中x方向的最小值和最大值,ymin和ymax分别表示一帧激光点云数据在三维空间中y方向的最小值和最大值,zmin和zmax分别表示一帧激光点云数据在三维空间中z方向的最小值和最大值;
32)设置柱子(pillar)的尺寸Pi,表达式如下:
Pi=[xl,yl,zl]
其中,xl、yl和zl分别表示柱子在三维空间中x、y和z方向的尺寸,z1=zmax-zmin;
33)计算柱子的数量,表达式如下:
H×W=[[(xmax-xmin)/xl],[(ymax-ymin)/yl]]
其中,H表示x方向上柱子的数量,W表示y方向上柱子的数量。
34)将激光点云数据中的点划分到对应的柱子中,并计算每个柱子的中心点;
35)获取柱子中每个点的特征构成特征集合,表达式如下:
T=(x,y,z,r,xc,yc,zc,xp,yp)
其中,x、y和z为点在三维空间中x、y和z三个方向的坐标值,r为点的反射强度(intensity),xc、yc和zc分别表示点与所属柱子中所有点在x、y和z三个方向的差值的平均值,xp和yp分别表示点与所属柱子的中心点在x和y两个方向的差值;
36)基于特征集合T将一帧激光点云数据的特征用为n×9维的特征向量A表示,其中,n为激光点云数据中点的数量,9表示特征对应点的维度;
37)对特征向量A进行稀疏化处理,生成(H×W)×n维的稀疏向量B。
38)对稀疏向量B及对应的标注使用RPN卷积神经网络进行目标检测和识别。
由于激光点云数据表示的是三维空间的信息,目标检测和识别较为困难,二维卷积对于分类和检测的效果较好,因此在特征提取时将激光点云数据变换成满足二维卷积的数据,从而提高对激光点云数据中目标检测识别的准确性。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于深度学习的激光点云目标检测识别装置,其特征在于:包括数据采集模块、数据标注模块、深度学习模块和预测模块;
数据采集模块用于采集激光点云数据,数据标注模块用于对激光点云数据进行自动标注,深度学习模块用于对标注后的激光点云数据进行特征提取和用于训练深度神经网络模型,预测模块用于根据提取的特征基于深度神经网络模型进行目标的实时预测。
2.根据权利要求1所述一种基于深度学习的激光点云目标检测识别装置,其特征在于:数据采集模块还用于采集与激光点云数据时空同步的图像数据。
3.根据权利要求2所述一种基于深度学习的激光点云目标检测识别装置,其特征在于:数据标注模块还用于对图像数据进行自动标注。
4.一种基于深度学习的激光点云目标检测识别方法,其特征在于:使用如权利要求3所述一种基于深度学习的激光点云目标检测识别装置,包括如下步骤:
1)数据采集模块采集激光点云数据;
2)数据标注模块对激光点云数据进行自动标注;
3)深度学习模块对标注后的激光点云数据进行特征提取;
4)预测模块根据提取的特征基于深度神经网络模型进行目标的实时预测。
5.根据权利要求4所述一种基于深度学习的激光点云目标检测识别方法,其特征在于:步骤1)中数据采集模块还采集与激光点云数据时空同步的图像数据;步骤2)中数据标注模块还对图像数据进行自动标注,并将标注后的图像数据作为参考对标注后的激光点云数据进行校验和修正。
6.根据权利要求4所述一种基于深度学习的激光点云目标检测识别方法,其特征在于:步骤2)中自动标注的标注类别有行人、自行车、小型车、中型车和大型车。
7.根据权利要求4所述一种基于深度学习的激光点云目标检测识别方法,其特征在于:步骤3)包括如下子步骤:
31)设置点云范围Pc,表达式如下:
Pc=[xmin,ymin,zmin,xmax,ymax,zmax]
其中,xmin和xmax分别表示一帧激光点云数据在三维空间中x方向的最小值和最大值,ymin和ymax分别表示一帧激光点云数据在三维空间中y方向的最小值和最大值,zmin和zmax分别表示一帧激光点云数据在三维空间中z方向的最小值和最大值;
32)设置柱子的尺寸Pi,表达式如下:
Pi=[xl,yl,zl]
其中,xl、yl和zl分别表示柱子在三维空间中x、y和z方向的尺寸,z1=zmax-zmin;
33)计算柱子的数量,表达式如下:
H×W=[[(xmax-xmin)/xl],[(ymax-ymin)/yl]]
其中,H表示x方向上柱子的数量,W表示y方向上柱子的数量。
34)将激光点云数据中的点划分到对应的柱子中,并计算每个柱子的中心点;
35)获取柱子中每个点的特征构成特征集合,表达式如下:
T=(x,y,z,r,xc,yc,zc,xp,yp)
其中,x、y和z为点在三维空间中x、y和z三个方向的坐标值,r为点的反射强度,xc、yc和zc分别表示点与所属柱子中所有点在x、y和z三个方向的差值的平均值,xp和yp分别表示点与所属柱子的中心点在x和y两个方向的差值;
36)基于特征集合T将一帧激光点云数据的特征用为n×9维的特征向量A表示,其中,n为激光点云数据中点的数量,9表示特征对应点的维度;
37)对特征向量A进行稀疏化处理,生成(H×W)×n维的稀疏向量B。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210333138.8A CN114821498A (zh) | 2022-03-30 | 2022-03-30 | 一种基于深度学习的激光点云目标检测识别装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210333138.8A CN114821498A (zh) | 2022-03-30 | 2022-03-30 | 一种基于深度学习的激光点云目标检测识别装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114821498A true CN114821498A (zh) | 2022-07-29 |
Family
ID=82533071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210333138.8A Pending CN114821498A (zh) | 2022-03-30 | 2022-03-30 | 一种基于深度学习的激光点云目标检测识别装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114821498A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116413740A (zh) * | 2023-06-09 | 2023-07-11 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
-
2022
- 2022-03-30 CN CN202210333138.8A patent/CN114821498A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116413740A (zh) * | 2023-06-09 | 2023-07-11 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
CN116413740B (zh) * | 2023-06-09 | 2023-09-05 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
CN110570429B (zh) | 一种基于三维点云的轻量级实时语义分割方法 | |
CN106650731B (zh) | 一种鲁棒的车牌、车标识别方法 | |
CN110866430B (zh) | 一种车牌识别方法及装置 | |
CN112861700B (zh) | 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 | |
CN111582339B (zh) | 一种基于深度学习的车辆检测与识别的方法 | |
CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
CN111553201A (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
CN106919910B (zh) | 一种基于hog-cth组合特征的交通标志识别方法 | |
CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
CN113888754B (zh) | 一种基于雷达视觉融合的车辆多属性识别方法 | |
CN111832410B (zh) | 一种基于视觉与激光雷达融合的前向列车检测方法 | |
CN112699267B (zh) | 车辆车型的识别方法 | |
CN111860509A (zh) | 一种由粗到精的两阶段非约束车牌区域精准提取方法 | |
CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
TW202225730A (zh) | 基於深度學習之高效率光達物件偵測方法 | |
CN114821498A (zh) | 一种基于深度学习的激光点云目标检测识别装置及方法 | |
CN113657305B (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
Daraghmi et al. | Accurate real-time traffic sign recognition based on the connected component labeling and the color histogram algorithms | |
CN114066937A (zh) | 一种大尺度遥感影像多目标跟踪方法 | |
Yang | Intelligent recognition of traffic signs based on improved YOLO v3 algorithm | |
CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
CN111353481A (zh) | 基于激光点云与视频图像的道路障碍物识别方法 | |
CN116129327A (zh) | 一种基于改进YOLOv7算法的红外车辆检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |