CN114882460A - 一种基于特征层融合的道路车辆检测方法 - Google Patents

一种基于特征层融合的道路车辆检测方法 Download PDF

Info

Publication number
CN114882460A
CN114882460A CN202210537808.8A CN202210537808A CN114882460A CN 114882460 A CN114882460 A CN 114882460A CN 202210537808 A CN202210537808 A CN 202210537808A CN 114882460 A CN114882460 A CN 114882460A
Authority
CN
China
Prior art keywords
point cloud
ground
cloud data
grid
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210537808.8A
Other languages
English (en)
Inventor
杨长春
贺津
王子垚
苏昊
杨晋苏
张婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN202210537808.8A priority Critical patent/CN114882460A/zh
Publication of CN114882460A publication Critical patent/CN114882460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及自动驾驶技术领域，具体为一种基于特征层融合的道路车辆检测方法，包括：通过激光雷达对基本原始点云数据特征进行采集，点云栅格化，拟合出地面模型的参数，计算地面模型参数，获取图像及图像预处理，基于YOLO的检测网络对物体进行检测识别和地面模型判断。本发明基于栅格地图映射的算法进行改进，提出了基于多区域的地面分割算法，将地面点云拆分为多个区域进行分割，有效缓解了路面不平、坡度等产生的欠分割的现象，通过计算得出地面模型参数，且配合基于YOLO对物体进行识别得出地面模型参数结构，通过将对应的地面模型参数与对面模型结构相匹配，能够准确的对地面模型进行识别。

Description

一种基于特征层融合的道路车辆检测方法
技术领域
本发明涉及自动驾驶技术领域，具体为一种基于特征层融合的道路车辆检测方法。
背景技术
自动驾驶系统采用先进的通信、计算机、网络和控制技术，对车辆实现实时、连续控制，采用现代通信手段，直接面对车辆，可实现车地间的双向数据通信，传输速率快，信息量大，后续追踪汽车和控制中心可以及时获知前行车辆的确切位置，使得运行管理更加灵活，控制更为有效，更加适应车辆自动驾驶的需求。
目前在自动驾驶领域，需要车辆对道路上前方的物体进行识别，目前车辆对物体整体识别的准确度不高，严重影响车辆的自动驾驶安全。为此提出一种基于特征层融合的道路车辆检测方法。
发明内容
本发明的目的在于提供一种基于特征层融合的道路车辆检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于特征层融合的道路车辆检测方法，包括以下步骤：
步骤S1，通过激光雷达对基本原始点云数据特征进行采集：通过使用激光雷达对三维地面进行检测，通过梯度信息的障碍物检测方法和利用原始点云数据的深度信息对地面点云检测方法从点云数据中分离出地面点云数据，地面点云数据包括平面点云数据和地面上物体点云数据；
步骤S2，点云栅格化：通过将分离出的地面点云数据看作是一个整块，然后根据点云的实际尺寸分别设定长方体的最小边长，再将长方体划分为三维的网格，即将点云进行栅格化，形成点云数据的多区域分割；
步骤S3，拟合出地面模型的参数：
(1)在栅格化后的同一个三维网格的点云中随机选取三个点并向量的叉乘计算三个点所在平面的法向量：
n＝(P2-P1)X(P3-P1)
其中，P1＝(x1，y1，z1)，P2＝(x2，y2，z2)，P3＝(x3，y3，z3)；
(2)计算点云中任意一点到这个平面的距离：
Figure BDA0003647183750000021
其中，Pi为点云中任意一点，i＝4,5，...，N；
(3)设定阈值di<τ以提取出正常的点云数据，将符合条件的点云保存下来，形成一个点云数据集合，并记录点云数据集合点的数量；
(4)迭代步骤(1)～(3)T次，然后将所有点云数据集合中点的数量最多的点云数据集合保存下来；
(5)每个三维网格均需要重复步骤(1)至步骤(4)；
(6)得到每个三维网格保存下来点云数据集合后，采用最小二乘法微调保存下来点云数据，并从中提取模型参数上的点云数据；
(7)迭代步骤(6)N次；由于拟合带有随机性，设置异常值点云的比率e，所述的异常值点云为非模型参数上的点云数据；当比率e设置不正确的情况时，即使在最大迭代次数N之内，也没有提取到准确的地面点云，则无需执行N次迭代，则设定一个期望正常值比率E：
E＝1-e
当比率e设置正确，提取的模型参数上的点云数据比上保存下来点云数据总数大于E时，就终止迭代；最后，利用微调后提取的点云数据拟合出准确的地面模型参数；
步骤S4，计算地面模型参数：根据在每个网格点云中提取出的模型参数上的点云数据，计算得出地面模型参数
Figure BDA0003647183750000031
Figure BDA0003647183750000032
其中，
Figure BDA0003647183750000033
为墙面法向量，
Figure BDA0003647183750000034
a、b、c分别为对应网格点云中的X轴，Y轴，Z轴中的点，A为提取的点云组成的矩阵，A＝[P1...PS]T，且S<N，
Figure BDA0003647183750000035
为地面模型常数项系数，
Figure BDA0003647183750000036
步骤S5，获取图像及图像预处理：
(1)通过摄像头对图像进行采集，且对图像通过GoogleNet模型建立网格结构，对网格结构进行划分，得到小的网格，小的网格的尺寸按照步骤S2点云分割的三维网格尺寸设定相同的长、宽、高；
(2)卷积神经网络的输入为步骤(1)划分了网格结构后的摄像头采集的图像，通过卷积神经网络判断每个小的网格的中心点是否落在目标上，以此将非目标网格删除，保留存在目标的网格，通过保留的网格预测目标参数，预测的目标参数包括目标的类别和目标框的位置；
(3)将步骤(2)得到的目标图像软寸归一化；其次，卷积神经网络特征提取；预测边界框置信度；最后，通过非极大值抑制算法过滤边界框，得到最优图片中地面模型结构；
步骤S6，基于YOLO的检测网络对物体进行检测识别：通过将步骤S4中的地面模型参数与步骤S5中得到的地面模型结构相融合，将对应的地面模型参数与地面模型结构相匹配，输出融合后的目标特征图，并且输出目标检测结果；
步骤S7，地面模型判断：通过将步骤S6中输出的目标检测结果与数据库进行比对，检测出前方路况情况，及目标障碍物是否为车辆和车辆的种类。
进一步的，所述步骤S1中的梯度信息的障碍物检测方法：从近邻的扫描层数据中提取出紧邻的点，并构造两个向量，然后考察中间点数前后的梯度变化，给定固定的地面点和障碍点分割阈值，判断中间点是否为断点，以上作为对原始梯度信息的纵向解释，同样的在横向数据中进行相同的操作，通过遍历横向和纵向数据从点云数据中分离出地面点云数据。
进一步的，所述步骤S1中的深度信息对地面点云检测方法：利用原始点云数据的深度信息对地面点云的检测基于地面平面假设，从原始的数据中提取不同层数据间的间隔，即深度差，与理想平面的层数据间隔，进行对比获得一定地势范围内的地面点云数据。
进一步的，所述步骤S2中，点云栅格化的具体方法：
A，计算点集合{P1，P2...，Pi，...，PN}XYZ三个坐标轴的最大值和最小值：
Xmax＝MAX(x1，x2，...，xN)，Xmin＝MIN(x1，x2，...，xN)
Ymax＝MAX(y1，y2，...，yN)，Ymin＝MIN(y1，y2，...，yN)
Zmax＝MAX(z1，z2，...，zN)，Zmin＝MIN(z1，z2，...，zN)
其中，Pi＝[Xi，Yi，Zi]T，i＝1，2，...，N；
B，确定栅格化边长，栅格化的边长R确定了每个网格里面点的个数以及计算效率，栅格化边长R越小，网格数量越多，占用的计算机资源越多，运行速度越低，效率低下，栅格化边长R越大，地面点云的拟合稳定性就越低，就失去栅格化的作用，所以，会根据实验的效果来确定栅格化的边长R，确定了栅格化边长之后，就可以计算点云网格的维度：
Figure BDA0003647183750000051
Figure BDA0003647183750000052
Figure BDA0003647183750000053
C，计算栅格化之后每个点的索引，对栅格化之后的点云进行编码，确定每个点所在的网格的编号，每个点在网格中的索引h：
Figure BDA0003647183750000054
Figure BDA0003647183750000055
Figure BDA0003647183750000056
h＝hx+hy*Dx+hz*Dx*Dy
其中，x、y、z分别表示栅格中的X轴、Y轴和Z轴。
进一步的，所述步骤S3拟合出地面模型的参数中，步骤(4)中合适迭代次数T的推导为：
Figure BDA0003647183750000057
其中，e：点云数据中异常点的比率；
s：每次迭代选取点的数量；
T：RANSAC最大迭代次数；
P：至少一次选取到正常点的概率。
与现有技术相比，本发明的有益效果是：
该一种基于特征层融合的道路车辆检测方法，基于栅格地图映射的算法进行改进，提出了基于多区域的地面分割算法，将地面点云拆分为多个区域进行分割，有效缓解了路面不平、坡度等产生的欠分割的现象，通过计算得出地面模型参数，且配合基于YOLO对物体进行识别得出地面模型参数结构，通过将对应的地面模型参数与对面模型结构相匹配，能够准确的对地面模型进行识别。
附图说明
图1为本发明的整体流程示意图；
图2为本发明的梯度信息的障碍物检测示意图；
图3为本发明的深度信息对地面点云检测示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“若干”的含义是两个或两个以上，除非另有明确具体的限定。
实施例1
请参阅图1-和图3所示，本发明提供的一种技术方案：
一种基于特征层融合的道路车辆检测方法，包括：
首先通过激光雷达对基本原始点云数据特征进行采集：
在车辆的前方安装有若干激光雷达，通过使用激光雷达对车辆前方的三维地面进行检测，基于梯度信息的障碍物检测可以用图2所展示的示意图进行解释，从近邻的扫描层数据中提取出紧邻的点A、B、C，并构造两个向量AB，BC，然后考察B点前后的梯度变化，给定固定的地面点和障碍点分割阈值，判断B是否为断点，以上可以看作对原始梯度信息的纵向解释，同样的可以在横向数据中进行类似的操作，通过遍历横向和纵向数据从点云数据中分离出地面点云数据；
通过将点云数据看作是一个整块，通过下列公式进行计算：
A，计算点集合{P1，P2...，Pi，...，PN}(其中Pi＝[Xi，Yi，Zi]T，i＝1，2，...，N)XYZ三个坐标轴的最大值和最小值：
Xmax＝MAX(x1，x2，...，xN)，Xmin＝MIN(x1，x2...，xN)
Ymax＝MAX(y1，y2，...，yN)，Ymin＝MIN(y1，y2，...，yN)
Zmax＝MAX(z1，z2，...，zN)，Zmin＝MIN(z1，z2，...，zN)
B，确定栅格化边长，栅格化的边长R确定了每个网格里面点的个数以及计算效率，栅格化边长R越小，网格数量越多，占用的计算机资源越多，运行速度越低，效率低下，栅格化边长R越大，那地面点云的拟合稳定性就越低，就失去栅格化的作用，所以，会根据实验的效果来确定栅格化的边长R，确定了栅格化边长之后，就可以计算点云网格的维度：
Figure BDA0003647183750000081
Figure BDA0003647183750000082
Figure BDA0003647183750000083
C，计算栅格化之后每个点的索引，对栅格化之后的点云进行编码，确定每个点所在的网格的编号，每个点在网格中的索引h：
Figure BDA0003647183750000084
Figure BDA0003647183750000085
Figure BDA0003647183750000086
h＝hx+hy*Dx+hz*Dx*Dy
本发明中，优选的，所述步骤S3拟合出地面模型的参数中，合适迭代次数T的推导为：
Figure BDA0003647183750000087
其中，e：点云数据中异常点的比率；
s：每次迭代选取点的数量；
T：RANSAC最大迭代次数；
P：至少一次选取到正常点的概率
然后根据点云的计算结构分别设定长方体的最小边长，再将长方体划分为三维的网格，即将点云进行栅格化，形成点云数据的多区域分割，如通过将点云数据划分为9X9的三位网格，对点云数据进行多区域分割；
拟合出地面模型的参数：
(1)在栅格化后的同一个三维网格的点云中随机选取三个点并向量的叉乘计算三个点所在平面的法向量：
n＝(P2-P1)X(P3-P1)
其中，P1＝(x1，y1，z1)，P2＝(x2，y2，z2)，P3＝(x3，y3，z3)；
(2)计算点云中任意一点到这个平面的距离：
Figure BDA0003647183750000091
其中，Pi为点云中任意一点，i＝4,5，...，N；
(3)设定阈值di<τ以提取出正常的点云数据，将符合条件的点云保存下来，形成一个点云数据集合，并记录点云数据集合点的数量；
(4)迭代步骤(1)～(3)T次，然后将所有点云数据集合中点的数量最多的点云数据集合保存下来；
(5)每个三维网格均需要重复步骤(1)至步骤(4)；
(6)得到每个三维网格保存下来点云数据集合后，采用最小二乘法微调保存下来点云数据，并从中提取模型参数上的点云数据；
(7)迭代步骤(6)N次；由于拟合带有随机性，设置异常值点云的比率e，所述的异常值点云为非模型参数上的点云数据；当比率e设置不正确的情况时，即使在最大迭代次数N之内，也没有提取到准确的地面点云，则无需执行N次迭代，则设定一个期望正常值比率E：
E＝1-e
当比率e设置正确，提取的模型参数上的点云数据比上保存下来点云数据总数大于E时，就终止迭代；最后，利用微调后提取的点云数据拟合出准确的地面模型参数；
计算得出地面模型参数
Figure BDA0003647183750000092
Figure BDA0003647183750000101
其中，
Figure BDA0003647183750000102
为墙面法向量，
Figure BDA0003647183750000103
A为提取的点云组成的矩阵，A＝[P1...PS]T，且S<N，
Figure BDA0003647183750000104
为地面模型常数项系数，
Figure BDA0003647183750000105
获取图像及图像预处理：
通过摄像头对图像进行采集，通过将摄像头中所拍摄的图像的每一帧取出，且对图像通过GoogleNet模型建立网格结构，此时网格机构与点云数据中的网格机构相同，将每帧画面同样进行网格化处理，将图片处理成与点云数据相同的9X9的网格；通过卷积神经网络也产生这样的网格输出，在网格中每一个输出都去预测中心点落在这个网格上的目标，预测的目标参数包括目标的类别和目标框的位置；将输入图像软寸归一化；其次，卷积网络特征提取；预测边界框置信度；最后，通过非极大值抑制算法过滤边界框，得到最优图片中地面模型结构；通过将地面模型参数与地面模型结构相融合，将对应的地面模型参数与对面模型结构相匹配，使得能够明确地面模型结构的长、宽和高的长度，输出融合后的目标特征图，并且输出目标检测结果；
最后对地面模型进行判断，通过将上述的输出目标检测结果与数据库进行比对，检测出前方路况情况，且由于地地面模型结构已经与地面模型参数相结合，能够知道对应地面模型的具体数据，如长、宽和高等，可以将对应模型数据与数据库中的数据相比对，能够分析出前方障碍物的具体种类，比如汽车(小轿车、面包车或者卡车)；
实施例2
请参阅图1-和图3所示，本发明提供的一种技术方案：
一种基于特征层融合的道路车辆检测方法，包括：
首先通过激光雷达对基本原始点云数据特征进行采集：
在车辆的前方安装有若干激光雷达，通过使用激光雷达对车辆前方的三维地面进行检测，使用深度信息对地面点云检测方法如图3所示，利用原始点云数据的深度信息对地面点云的检测基于地面平面假设，从原始的数据中提取不同层数据间的间隔o，即深度差，与理想平面的层数据间隔e，进行对比获得一定地势范围内的地面点云数据；
通过将点云数据看作是一个整块，如实施例1，然后根据点云的实际尺寸分别设定长方体的最小边长，再将长方体划分为三维的网格，即将点云进行栅格化，形成点云数据的多区域分割，能够通过将点云数据划分为9X9的三位网格，对点云数据进行多区域分割；
拟合出地面模型的参数：
(1)在栅格化后的同一个三维网格的点云中随机选取三个点并向量的叉乘计算三个点所在平面的法向量：
n＝(P2-P1)X(P3-P1)
其中，P1＝(x1，y1，z1)，P2＝(x2，y2，z2)，P3＝(x3，y3，z3)；
(2)计算点云中任意一点到这个平面的距离：
Figure BDA0003647183750000111
其中，Pi为点云中任意一点，i＝4,5，...，N；
(3)设定阈值di<τ以提取出正常的点云数据，将符合条件的点云保存下来，形成一个点云数据集合，并记录点云数据集合点的数量；
(4)迭代步骤(1)～(3)T次，然后将所有点云数据集合中点的数量最多的点云数据集合保存下来；
(5)每个三维网格均需要重复步骤(1)至步骤(4)；
(6)得到每个三维网格保存下来点云数据集合后，采用最小二乘法微调保存下来点云数据，并从中提取模型参数上的点云数据；
(7)迭代步骤(6)N次；由于拟合带有随机性，设置异常值点云的比率e，所述的异常值点云为非模型参数上的点云数据；当比率e设置不正确的情况时，即使在最大迭代次数N之内，也没有提取到准确的地面点云，则无需执行N次迭代，则设定一个期望正常值比率E：
E＝1-e
当比率e设置正确，提取的模型参数上的点云数据比上保存下来点云数据总数大于E时，就终止迭代；最后，利用微调后提取的点云数据拟合出准确的地面模型参数；
计算得出地面模型参数
Figure BDA0003647183750000121
Figure BDA0003647183750000122
其中，
Figure BDA0003647183750000123
为墙面法向量，
Figure BDA0003647183750000124
A为提取的点云组成的矩阵，A＝[P1...PS]T，且S<N，
Figure BDA0003647183750000125
为地面模型常数项系数，
Figure BDA0003647183750000126
获取图像及图像预处理：
通过摄像头对图像进行采集，通过将摄像头中所拍摄的图像的每一帧取出，且对图像通过GoogleNet模型建立网格结构，此时网格机构与点云数据中的网格机构相同，将每帧画面同样进行网格化处理，将图片处理呈与点云数据相同的9X9的网格；通过卷积神经网络也产生这样的网格输出，在网格中每一个输出都去预测中心点落在这个网格上的目标，预测的目标参数包括目标的类别和目标框的位置；将输入图像软寸归一化；其次，卷积网络特征提取；预测边界框置信度；最后，通过非极大值抑制算法过滤边界框，得到最优图片中地面模型结构；基于YOLO的检测网络对物体进行检测识别，通过将步骤S4中的地面模型参数与步骤S5中得到的地面模型结构相融合，将对应的地面模型参数与对面模型结构相匹配，输出融合后的目标特征图，并且输出目标检测结果；
最后对地面模型进行判断，通过将上述的输出目标检测结果与数据库进行比对，检测出前方路况情况，且由于地地面模型结构已经与地面模型参数相结合，能够知道对应地面模型的具体数据，如长、宽和高等，可以将对应模型数据与数据库中的数据相比对，能够分析出前方障碍物的具体种类，比如汽车(小轿车、面包车或者卡车)。
基于栅格地图映射的算法进行改进，提出了基于多区域的地面分割算法，将地面点云拆分为多个区域进行分割，有效缓解了路面不平、坡度等产生的欠分割的现象，通过计算得出地面模型参数，且配合基于YOLO对物体进行识别得出地面模型参数结构，通过将对应的地面模型参数与对面模型结构相匹配，能够准确的对地面模型进行识别。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于特征层融合的道路车辆检测方法，其特征在于，包括以下步骤：
步骤S1，通过激光雷达对基本原始点云数据特征进行采集：通过使用激光雷达对三维地面进行检测，通过梯度信息的障碍物检测方法或利用原始点云数据的深度信息对地面点云检测方法从点云数据中分离出地面点云数据，地面点云数据包括平面点云数据和地面上物体点云数据；
步骤S2，点云栅格化：通过将分离出的地面点云数据看作是一个整块，然后根据点云的实际尺寸分别设定长方体的最小边长，再将长方体划分为三维的网格，即将点云进行栅格化，形成点云数据的多区域分割；
步骤S3，拟合出地面模型的参数：
(1)在栅格化后的同一个三维网格的点云中随机选取三个点并向量的叉乘计算三个点所在平面的法向量：
n＝(P2-P1)X(P3-P1)
其中，P1＝(x1，y1，z1)，P2＝(x2，y2，z2)，P3＝(x3，y3，z3)；
(2)计算点云中任意一点到这个平面的距离：
Figure FDA0003647183740000011
其中，Pi为点云中任意一点，i＝4,5，...，N；
(3)设定阈值di<τ以提取出正常的点云数据，将符合条件的点云保存下来，形成一个点云数据集合，并记录点云数据集合点的数量；
(4)迭代步骤(1)～(3)T次，然后将所有点云数据集合中点的数量最多的点云数据集合保存下来；
(5)每个三维网格均需要重复步骤(1)至步骤(4)；
(6)得到每个三维网格保存下来点云数据集合后，采用最小二乘法微调保存下来点云数据，并从中提取模型参数上的点云数据；
(7)迭代步骤(6)N次；由于拟合带有随机性，设置异常值点云的比率e，所述的异常值点云为非模型参数上的点云数据；当比率e设置不正确的情况时，即使在最大迭代次数N之内，也没有提取到准确的地面点云，则无需执行N次迭代，则设定一个期望正常值比率E：
E＝1-e
当比率e设置正确，提取的模型参数上的点云数据比上保存下来点云数据总数大于E时，就终止迭代；最后，利用微调后提取的点云数据拟合出准确的地面模型参数；
步骤S4，计算地面模型参数：根据在每个网格点云中提取出的模型参数上的点云数据，计算得出地面模型参数
Figure FDA0003647183740000021
Figure FDA0003647183740000022
其中，
Figure FDA0003647183740000023
为墙面法向量，
Figure FDA0003647183740000024
a、b、c分别为对应网格点云中的X轴，Y轴，Z轴中的点，A为提取的点云组成的矩阵，A＝[P1...PS]T，且S<N，
Figure FDA0003647183740000025
为地面模型常数项系数，
Figure FDA0003647183740000026
步骤S5，获取图像及图像预处理：
(1)通过摄像头对图像进行采集，且对图像通过GoogleNet模型建立网格结构，对网格结构进行划分，得到小的网格，小的网格的尺寸按照步骤S2点云分割的三维网格尺寸设定相同的长、宽、高；
(2)卷积神经网络的输入为步骤(1)划分了网格结构后的摄像头采集的图像，通过卷积神经网络判断每个小的网格的中心点是否落在目标上，以此将非目标网格删除，保留存在目标的网格，通过保留的网格预测目标参数，预测的目标参数包括目标的类别和目标框的位置；
(3)将步骤(2)得到的目标图像软寸归一化；其次，卷积神经网络特征提取；预测边界框置信度；最后，通过非极大值抑制算法过滤边界框，得到最优图片中地面模型结构；
步骤S6，基于YOLO的检测网络对物体进行检测识别：通过将步骤S4中的地面模型参数与步骤S5中得到的地面模型结构相融合，将对应的地面模型参数与地面模型结构相匹配，输出融合后的目标特征图，并且输出目标检测结果；
步骤S7，地面模型判断：通过将步骤S6中输出的目标检测结果与数据库进行比对，检测出前方路况情况，及目标障碍物是否为车辆和车辆的种类。
2.根据权利要求1所述的一种基于特征层融合的道路车辆检测方法，其特征在于：所述步骤S1中的梯度信息的障碍物检测方法：从近邻的扫描层数据中提取出紧邻的点，并构造两个向量，然后考察中间点数前后的梯度变化，给定固定的地面点和障碍点分割阈值，判断中间点是否为断点，以上作为对原始梯度信息的纵向解释，同样的在横向数据中进行相同的操作，通过遍历横向和纵向数据从点云数据中分离出地面点云数据。
3.根据权利要求1所述的一种基于特征层融合的道路车辆检测方法，其特征在于：所述步骤S1中的深度信息对地面点云检测方法：利用原始点云数据的深度信息对地面点云的检测基于地面平面假设，从原始的数据中提取不同层数据间的间隔，即深度差，与理想平面的层数据间隔，进行对比获得一定地势范围内的地面点云数据。
4.根据权利要求1所述的一种基于特征层融合的道路车辆检测方法，其特征在于：所述步骤S2中，点云栅格化的具体方法：
A，计算点集合{P1,P2...,Pi,...,PN}XYZ三个坐标轴的最大值和最小值：
Xmax＝MAX(x1，x2，...，xN)，Xmin＝MIN(x1，x2，...，xN)
Ymax＝MAX(y1，y2，...，yN)，Ymin＝MIN(y1，y2，...，yN)
Zmax＝MAX(z1，z2，...，zN)，Zmin＝MIN(z1，z2，...，zN)
其中，Pi＝[Xi，Yi，Zi]T，i＝1，2，...，N；
B，确定栅格化边长，栅格化的边长R确定了每个网格里面点的个数以及计算效率，栅格化边长R越小，网格数量越多，占用的计算机资源越多，运行速度越低，效率低下，栅格化边长R越大，地面点云的拟合稳定性就越低，就失去栅格化的作用，所以，会根据实验的效果来确定栅格化的边长R，确定了栅格化边长之后，就可以计算点云网格的维度：
Figure FDA0003647183740000041
Figure FDA0003647183740000042
Figure FDA0003647183740000043
C，计算栅格化之后每个点的索引，对栅格化之后的点云进行编码，确定每个点所在的网格的编号，每个点在网格中的索引h：
Figure FDA0003647183740000044
Figure FDA0003647183740000045
Figure FDA0003647183740000046
h＝hx+hy*Dx+hz*Dx*Dy
其中，x、y、z分别表示栅格中的X轴、Y轴和Z轴。
5.根据权利要求1所述的一种基于特征层融合的道路车辆检测方法，其特征在于：所述步骤S3拟合出地面模型的参数中，步骤(4)中合适迭代次数T的推导为：
Figure FDA0003647183740000051
其中，e：点云数据中异常点的比率；
s：每次迭代选取点的数量；
T：RANSAC最大迭代次数；
P：至少一次选取到正常点的概率。
CN202210537808.8A 2022-05-17 2022-05-17 一种基于特征层融合的道路车辆检测方法 Pending CN114882460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210537808.8A CN114882460A (zh) 2022-05-17 2022-05-17 一种基于特征层融合的道路车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210537808.8A CN114882460A (zh) 2022-05-17 2022-05-17 一种基于特征层融合的道路车辆检测方法

Publications (1)

Publication Number Publication Date
CN114882460A true CN114882460A (zh) 2022-08-09

Family

ID=82675803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210537808.8A Pending CN114882460A (zh) 2022-05-17 2022-05-17 一种基于特征层融合的道路车辆检测方法

Country Status (1)

Country Link
CN (1) CN114882460A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331447A (zh) * 2022-10-13 2022-11-11 苏州挚途科技有限公司 基于传感器融合的数据关联方法以及装置
CN117670822A (zh) * 2023-12-05 2024-03-08 北京路凯智行科技有限公司 非硬化路面的崎岖度检测方法和检测系统、电子设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331447A (zh) * 2022-10-13 2022-11-11 苏州挚途科技有限公司 基于传感器融合的数据关联方法以及装置
CN117670822A (zh) * 2023-12-05 2024-03-08 北京路凯智行科技有限公司 非硬化路面的崎岖度检测方法和检测系统、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN110210389B (zh) 一种面向道路交通场景的多目标识别跟踪方法
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN114882460A (zh) 一种基于特征层融合的道路车辆检测方法
CN113370977B (zh) 一种基于视觉的智能车辆前向碰撞预警方法及系统
CN115049700A (zh) 一种目标检测方法及装置
CN114049382B (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
EP2993621B1 (en) Method and apparatus for detecting shielding against object
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN113409252B (zh) 一种架空输电线路巡检机器人障碍物检测方法
CN112883948B (zh) 一种语义分割与边缘检测模型建立及护栏异常监测方法
CN112800938B (zh) 无人驾驶车辆检测侧面落石发生的方法及装置
CN113933859A (zh) 一种无人矿卡行驶场景的路面及两侧挡墙检测方法
CN112147638A (zh) 基于激光点云反射强度的地面信息获取方法、装置和系统
CN116311091A (zh) 一种基于金字塔密度感知注意力网络的车辆计数方法
CN109677405B (zh) 一种基于不完备车道线信息的车辆偏离预警方法及系统
CN112766046B (zh) 一种目标检测方法及相关装置
CN112085101A (zh) 一种高性能高可靠的环境融合感知方法及系统
CN113111707A (zh) 一种基于卷积神经网络的前车检测与测距方法
CN110889347B (zh) 基于时空计数特征的密度交通流计数方法及系统
CN114779794B (zh) 基于无人巡逻车系统的台风场景下的街道障碍识别方法
CN116109986A (zh) 一种基于激光雷达和视频技术互补的车辆轨迹提取方法
CN115755088A (zh) 一种基于激光点云的输电线路工程建造参数自动化量测方法
Lu et al. Monocular multi-kernel based lane marking detection
CN113256574B (zh) 一种三维目标检测方法
CN113673326B (zh) 一种基于图像深度学习的无人机平台人群计数方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination