CN115327572A - 一种车辆前方障碍物检测方法 - Google Patents

一种车辆前方障碍物检测方法 Download PDF

Info

Publication number
CN115327572A
CN115327572A CN202210950117.0A CN202210950117A CN115327572A CN 115327572 A CN115327572 A CN 115327572A CN 202210950117 A CN202210950117 A CN 202210950117A CN 115327572 A CN115327572 A CN 115327572A
Authority
CN
China
Prior art keywords
obstacle
point
image data
vehicle
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210950117.0A
Other languages
English (en)
Inventor
高建平
金佳男
吴延峰
李敖
李炫�
姚晨豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Science and Technology
Original Assignee
Henan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Science and Technology filed Critical Henan University of Science and Technology
Priority to CN202210950117.0A priority Critical patent/CN115327572A/zh
Publication of CN115327572A publication Critical patent/CN115327572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于自动驾驶环境感知技术领域，具体涉及一种车辆前方障碍物检测方法。该方法将激光雷达采集的点云数据和视觉传感器采集的图像数据进行融合，以解决单一使用视觉传感器造成的检测速度慢且受光线影响难以有效估计障碍物位置、以及单一使用激光雷达造成的识别能力不强导致误检漏检的问题。在具体融合处理时，先对点云数据进行聚类以得到各个聚类结果，再在各个聚类结果下确定感兴趣区域的关键点，并映射至图像数据，从而确定图像数据中的各个感兴趣区域，进而结合边缘检测算法和信息熵值实现车辆的有效检测，整个检测方法简单，计算量比较少，可以在保证检测精度的情况下有效提高障碍物检测的实时性、快速性以及鲁棒性。

Description

一种车辆前方障碍物检测方法
技术领域
本发明属于自动驾驶环境感知技术领域，具体涉及一种车辆前方障碍物检测方法。
背景技术
自动驾驶车辆在道路上行驶离不开对车辆状态及行驶环境的感知，车辆感知技术是智能车技术发展中的关键问题，其感知能力的进步都将促进车辆智能化技术的飞跃。环境感知系统的任务是利用摄像头、毫米波雷达、激光雷达、超声波等主要车载传感器以及V2X通信系统感知周围环境，通过提取路况信息、检测障碍物，为智能网联汽车提供决策依据。因此能否快速准确的检测出道路区域的障碍物，是避免交通事故发生的重要前提。
目前在道路车辆检测方面常用的方法是摄像头和激光雷达检测。比如，申请公布号为CN106529530A的中国发明专利申请公开了一种基于单目视觉的前方车辆检测方法，该方法首先利用摄像头图像信息，融合车辆形态特征和HAAR特征，提取车辆阴影作为感兴趣区域并用Adaboost分类器进行筛选，最后根据对称性和信息熵函数进行验证。该种方式中所使用的摄像头响应速度慢且易受光线影响，夜间检测效果较差。又比如，申请公布号为CN105866782A的中国发明专利申请公开了一种基于激光雷达的运动目标检测系统技方法，该方法首先通过获取测距和位姿数据帧，将数据点聚类后提取特征点，与前帧特征点匹配，随后计算和修正运动信息，最后输出检测结果。该种方式存在识别能力不强和在恶劣天气情况下测量精度降低等问题。
从上述分析可知，各种传感器均具有不同的优缺点，多传感器信息融合成了必然选择。申请公布号为CN111291714A的中国发明专利申请公开了一种基于单目视觉和激光雷达融合的车辆检测方法，该方法融合了摄像头和激光雷达，提取并融合点云和图像特征向量，根据融合特征得到并筛选车辆的3D包围盒，完成车辆检测。由于融合了两种类型的传感器可以达到互补的作用，提高检测精度，但是该方法步骤繁琐，计算量较大，以至于实时性和鲁棒性不高。
发明内容
本发明的目的在于提供一种车辆前方障碍物检测方法，用以解决现有技术的检测方法复杂的问题。
为解决上述技术问题，本发明提供了一种车辆前方障碍物检测方法，包括如下步骤：
1)获取本车周围的点云数据和图像数据；其中，采集点云数据的激光雷达和采集图像数据的视觉传感器已进行联合空间标定和联合时间标定；
2)对获取的点云数据进行聚类处理，得到多个聚类结果；
3)依据聚类结果获取感兴趣区域的关键点，根据联合标定结果，将感兴趣区域的关键点投影至图像数据上，以得到图像数据中的各个感兴趣区域；
4)在图像数据中的各个感兴趣区域内，采用边缘检测算法识别出潜在障碍物区域；
5)计算各个潜在障碍物区域的信息熵，若潜在障碍物区域的信息熵大于设定信息熵阈值，则判定该潜在障碍物区域内存在障碍物。
其有益效果为：本发明使用两种类型传感器数据对本车周围障碍物进行检测，具体为将激光雷达采集的点云数据和视觉传感器采集的图像数据进行融合，以解决单一使用视觉传感器造成的检测速度慢且受光线影响难以有效估计障碍物位置、以及单一使用激光雷达造成的识别能力不强导致误检漏检的问题。而且，在具体融合处理时，先对点云数据进行聚类以得到各个聚类结果，再在各个聚类结果下确定感兴趣区域的关键点，并映射至图像数据，从而确定图像数据中的各个感兴趣区域，进而结合边缘检测算法和信息熵值实现车辆的有效检测，整个检测方法简单，计算量比较少，可以在保证检测精度的情况下有效提高障碍物检测的实时性、快速性以及鲁棒性。
进一步地，步骤1)中，进行空间联合标定得到的激光雷达和视觉传感器共用的世界坐标系与图像像素坐标系之间的变换关系为：
Figure BDA0003788838530000021
式中，(u,v,1)T为图像像素坐标系坐标；(xw,yw,zw)T为世界坐标系坐标；Rt为3×3正交旋转矩阵；Tt为摄像机外部参数的平移向量；
Figure BDA0003788838530000022
f为摄像机焦距，dx、dz为一个像素在x轴上与z轴的成像平面内的物理尺寸，(uo,v0)为摄像机光轴与成像平面内的交点坐标。
进一步地，步骤1)中，实现所述联合时间标定的手段为：在激光雷达扫描的同时触发视觉传感器的扫描。
其有益效果为：在激光雷达扫描同时触发视觉传感器的扫描，方法简单但能保证两个传感器时间上的同步。
进一步地，步骤2)中采用最邻近距离法进行聚类处理。
进一步地，步骤2)中在进行聚类处理前，还需将获取的点云数据进行去噪处理，所述去噪处理的手段包括：将高度小于设定高度阈值的点云数据进行剔除，并将车辆后方的点云数据进行剔除。
其有益效果为：对点云数据进行去噪处理可以抑制噪声干扰，保证检测的准确性。
进一步地，还需将获取的图像数据进行图像预处理，所述图像预处理的手段为：将获取的图像数据进行灰度化处理，灰度化处理后采用直方图均衡化方法进行灰度增强处理，灰度增强处理后进行滤波以去除噪声。
其有益效果为：对图像进行灰度化处理可以降低视觉传感器采集的数据信息受到光照等因素的影响，提高成像质量，同时可以减少计算量；而且，对灰度增强处理后进行滤波可以对灰度处理后的图像中存在的噪声进行抑制。
进一步地，步骤3)中所述感兴趣区域的关键点包括：对于每个聚类结果，其类别类宽的最左侧的点向上移动设定距离后的点以及最右侧的点向下移动设定距离后的点；相应地，得到的图像数据中的各个感兴趣区域为：将一个聚类结果所对应的两个关键点投影至图像数据后，将图像数据中最左侧的关键点的左上方的一个点和最右侧的关键点的右下方的一个点作为对角线的起始点所确定的矩形作为感兴趣区域；按照该种方式对每个聚类结果进行处理以得到多个感兴趣区域。
其有益效果为：并非将聚类结果直接映射，而是在聚类结果的周围设置了一些余量，以防聚类不准的情况，保证找到的感兴趣区域的准确性。
进一步地，最左侧的关键点的左上方的一个点为所述最左侧的关键点依次左移k个像素、上移k个像素后的点，最右侧的关键点的右下方的一个点为所述最右侧的关键点依次右移k个像素、下移k个像素后的点，k＞1。
进一步地，步骤4)中识别出潜在障碍物区域的过程包括：利用Canny边缘检测算法识别得到各个边缘点；计算感兴趣区域内各点像素灰度值的平均值；在感兴趣区域内进行搜索，如果某一垂直方向上灰度值大于平均值的点数超过感兴趣区域高度一半，则认为是障碍物的垂直边缘，如果某一水平方向上灰度值大于平均值的点数超过感兴趣区域宽度的一半，则认为是障碍物的水平边缘；按照该种方式检测出两条垂直边缘和两条水平边缘，两条垂直边缘和两条水平边缘围成的区域为潜在障碍物区域。
其有益效果为：利用Canny边缘检测算法识别得到各个边缘点可以提高边缘检测的敏感性，并抑制噪声。
进一步地，步骤5)中潜在障碍物区域的信息熵为：
Figure BDA0003788838530000041
式中，E(g)为潜在障碍物区域的信息熵，为信息量的数学期望；gi为i对应的灰度级；lnp(gi)为信息量；p(gi)为信息gi出现的概率，且
Figure BDA0003788838530000042
式中，ni为i对应灰度级的像素个数；N为图像中像素总个数。
附图说明
图1是本发明的车辆前方障碍物检测方法的流程图；
图2是本发明的车辆前方障碍物检测方法的细节流程图；
图3是本发明的车辆检测的流程图。
具体实施方式
本发明将激光雷达的点云数据和视觉传感器的图像数据进行融合，具体处理方式为先通过点云数据找到感兴趣区域的关键点，并将其投影至图像数据中，进而在图像数据中采用边缘检测算法和信息熵实现障碍物的有效检测。
下面结合附图和实施例，对本发明进行详细介绍。
车辆前方障碍物检测方法实施例：
本实施例中的车辆可以为自动驾驶车辆，也可为非自动驾驶车辆，为方便描述，下文中称为本车。本车上安装有激光雷达和视觉传感器，由于激光雷达和视觉传感器的检测范围有限，本车上可设置多个激光雷达和多个视觉传感器，以覆盖本车周围。其中，视觉传感器可以为摄像机。本车采用本发明的车辆前方障碍物检测方法实现障碍物检测时，重点针对的是本车前方的障碍物，而且，障碍物可以是车辆，也可以是其他物体，例如行人。整个方法流程如图1和图2所示，过程如下：
步骤一，在车辆行驶过程中，使用光雷达和视觉传感器分别取得前方车辆的点云数据和图像数据。
步骤二，对激光雷达和视觉传感器进行联合标定，包括空间标定和时间标定，以找到同一时刻点云数据和图像数据中对应的像素点。具体过程包括：
1、对激光雷达和视觉传感器进行空间标定。通过张正友标定法对视觉传感器进行标定，获得内参和外参，设立两传感器共用的世界坐标系，根据激光雷达与摄像机的工作原理和成像模型建立两传感器坐标系间的变换关系模型，将激光雷达扫描的空间深度信息映射到图像上，实现激光雷达和视觉传感器的空间联合标定。具体的变换关系模型为：
Figure BDA0003788838530000051
式中，(u,v,1)T为图像像素坐标系坐标，(xw,yw,zw)T为世界坐标系坐标，Rt为3×3正交旋转矩阵，Tt为摄像机外部参数的平移向量，M表示为：
Figure BDA0003788838530000052
式中，f为摄像机焦距，dx、dz为一个像素在x轴上与z轴的成像平面内的物理尺寸，(uo,v0)为摄像机光轴与成像平面内的交点坐标。将世界坐标系的原点设置在摄像机光心与地面的交点时，则Rt为单位矩阵，Tt为(0,0,a)T，a为摄像机离地高度。
2、对激光雷达和视觉传感器进行时间标定。基于激光雷达扫描时刻，每次扫描的同时触发视觉传感器进行扫描，实现激光雷达和视觉传感器联合时间标定。当然，也可每次在视觉传感器扫描时触发激光雷达扫描。
步骤三，对采集的点云数据进行去噪，去噪后进行聚类处理以提取出有效的障碍物信息；对采集的图像数据进行灰度化处理。具体过程如下：
1、对采集的点云数据进行去噪，将高度低于0.5m的雷达点云数据剔除，并且剔除车辆后方的点云数据，将前方纵向50m，横向12m作为激光雷达的有效检测区域。
如此设置的原因：本发明方法主要对前方车辆进行检测，因此将高度低于0.5m的雷达信号剔除，汽车在行驶中，位于不同车道内行驶的车辆对于自车的影响程度不同，位于本车同车道的前方车辆和相邻车道的前方车辆对自车的安全影响最大，为了减少处理的数据量，主要对主车道和旁侧车道的目标进行识别。在纵向距离50m之后，激光雷达的数据点会变得越来越稀疏，难以提取有效的障碍物信息，而且视觉传感器难以表现50m外目标的特征。国家标准车道宽度为3.75m，左右两侧车道和中间车道一共11.25m，综上，将前方纵向50m，横向12m作为雷达的有效区域。
2、利用最邻近距离法进行聚类处理。根据去噪后的点云数据与本车的距离，对其进行重新排列，并根据由近及远的顺序为各障碍点编号。设定一个阈值d0(目前各类汽车、挂车以及汽车列车的外廓宽度上限要求为2.55m，考虑到识别过程中的误差，本实施例中将车辆宽度上限阈值设定为d0＝2.60m)，将1号障碍点赋值类别编号为1，按顺序计算之后障碍点与之前所有同类别障碍点之间的欧氏距离，若最大的距离dmax大于预设的阈值d0，则新建一个类别并将该点存入其中，否则将该障碍点与之前的障碍点归为一类，重复上述步骤，直至检测完所有障碍点。
3、鉴于获取的图像为彩色图像，信息量较大，为了减少计算量，先对图像数据中原始感兴趣区域进行灰度化处理，先灰度化处理是因为视觉传感器采集的道路信息会受到光照等因素的影响，降低成像质量，因此需要对图像数据进行处理，通过处理之后的图像，可以突出有用的信息，去除背景环境的干扰；灰度化处理后，采用直方图均衡化的方法进行灰度增强，增加图像的全局对比度；灰度增强处理后对图像进行滤波(具体可选择中值滤波)处理，以将灰度处理后图像中存在的噪声干扰进行过滤。
步骤四，依据聚类结果，确定感兴趣区域的关键点，结合步骤二中的联合标定结果，将感兴趣区域的关键点投影至图像数据上，以得到图像数据中的各个感兴趣区域。具体处理过程为：
1、将点云数据聚类处理之后所得的每个类别类宽最左侧的点向上移动一段距离(例如可设置为0.1m)，最右边的点向下移动一段距离(例如可设置为0.1m)，移动后的点为选取的关键点，一个聚类结果对应两个关键点。这些关键点的用处是为了找到感兴趣区域。
2、依据步骤二中获得的联合标定结果，将选择的关键点投影至图像数据中。
3、对于一个聚类结果，投影后将左边的点向左、向上各移动5个像素，将右边的点向右、向下各移动5个像素，以这两个点作为对角线的起始点确定一个矩形区域作为感兴趣区域。按照该种方法，每一个聚类结果对应一个感兴趣区域，从而得到多个感兴趣区域。
4、由于树木、交通牌等无关物体也可能被检测在内，因此需要对筛选出的感兴趣区域进一步验证。具体地，考虑到宽度过窄或者过宽的区域基本不是想要的区域，因此，将宽度小于1m和大于2.5m的感兴趣区域剔除。
步骤五，如图3所示，对于每一个感兴趣区域，均识别出其中的潜在障碍物区域。每一个感兴趣区域均采用如下方法来识别：
1、采用Canny边缘检测算法来识别得到各个边缘点。Canny边缘检测算法可以提高边缘的敏感性并抑制噪声。其具体过程如下：首先通过高斯滤波方法平滑图像；其次采用一阶偏导有限差分计算梯度幅值和方向，对梯度幅值进行非极大值抑制；最后用双阈值算法检测和连接边缘。
2、计算整个感兴趣区域内各点像素的平均值，由于感兴趣区域已是灰度图像，故这里的像素的平均值为灰度值的平均。
3、从初始检测矩形(感兴趣区域)的上下左右四边开始搜索，当检测到某一垂直方向上的灰度值大于平均值时记录该点位置，如果某一垂直方向上灰度值大于平均值的点数超过检测区域(感兴趣区域)高度的一半，则认为是车辆的垂直边缘；当检测到某一水平方向上的灰度值大于平均值时记录该点位置，如果某一水平方向上灰度值大于平均值的点数超过检测区域(感兴趣区域)宽度的一半，则认为是车辆的水平边缘。
4、将检测出的两条水平边缘和两条垂直边缘所圈定的区域定为潜在障碍物区域。
步骤六，采用信息熵值对潜在障碍物区域内是否存在障碍物进行进一步验证。
通常情况下车辆所在区域所含的信息量要比背景多，因此可以将其作为识别车辆的依据之一，在信息论中，信息熵可以作为特定区域包含信息量的度量，因此本实施例中采用信息熵值对障碍物进行车辆识别。信息熵表达式为：
Figure BDA0003788838530000071
式中，E(g)为潜在障碍物区域的信息熵，为信息量的数学期望；gi为i对应的灰度级；p(gi)为信息gi出现的概率，表达式为：
Figure BDA0003788838530000072
式中，ni为i对应灰度级的像素个数；N为图像中像素总个数；lnp(gi)为信息量。
图像区域表示的信息越丰富，则信息熵值越大，因此如果目标车辆区域中的信息熵值大于一定阈值(本实施例中采集到的图片车辆信息熵在4.2～5.3之间，因此本实施例取阈值为4.2)则说明存在车辆，反之不存在，得到最终的前方车辆检测结果。
本实施例中，在得到各个聚类结果后，先在点云数据中找到感兴趣区域的关键点，进而将其投影至图像数据上，然而将这些关键点所围成的区域进一步往外扩充，即将最左侧的关键点的左上方的一个点和最右侧的关键点的右下方的一个点作为对角线的起始点所确定的矩形作为感兴趣区域。作为其他实施方式，还可采用其他方式来确定感兴趣区域。比如，对于一个聚类结果，选择其类别类宽最左侧的点向下移动一定距离后的点和最右侧的点向上移动设定距离后的点为关键点。相应的，各兴趣区域为：将两个关键点投影至图像数据后，将图像数据中最左侧的关键点的左下方的一个点和最右侧的关键点的右上方的一个点作为对角线的起始点所确定的矩形作为感兴趣区域；按照该种方式对每个聚类结果进行处理以得到多个感兴趣区域。又比如，对于一个聚类结果，直接将该类别的所有边界点作为关键点，进而将这些关键点投影至图像数据上，将这些关键点所围成的区域均往外扩充以得到感兴趣区域，整个感兴趣区域的范围包括由聚类类别投影至图像数据所对应的区域。
本发明具有如下特点：1)本发明通过对激光雷达点云数据和视觉传感器的图像信息进行融合，解决视觉传感器检测速度较慢且受光线影响难以有效估计车辆位置与激光雷达识别能力不强导致误检漏检的问题。2)本发明通过采用最邻近距离法对点云数据进行聚类，基于边缘检测算法和信息熵值实现车辆的有效检测，检测步骤及计算量较少，可以有效提高车辆检测的实时性和鲁棒性。
上述介绍的方法可通过计算机程序代码来实现，例如可设计一种障碍物检测装置，该装置包括存储器、处理器和内部总线，处理器、存储器之间通过内部总线完成相互间的通信和数据交互。存储器包括至少一个存储于存储器中的软件功能模块，处理器通过运行存储在存储器中的软件程序以及模块，执行各种功能应用以及数据处理，实现本发明的一种车辆前方障碍物检测方法。
其中，处理器可以为微处理器MCU、可编程逻辑器件FPGA等处理装置，且处理器可以搭载各种操作系统来实现，如Windows操作系统、Linux系统等。存储器可为利用电能方式存储信息的各式存储器，例如RAM、ROM等；也可为利用磁能方式存储信息的各式存储器，例如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘等；还可为利用光学方式存储信息的各式存储器，例如CD、DVD等；当然，还可为其他方式的存储器，例如量子存储器、石墨烯存储器等。
以上所述，仅为本发明的具体实施方式，但不用于限制本发明，凡是本发明的原则之内的等效修改或替换也应视为本发明的保护范围之内。

Claims (10)

1.一种车辆前方障碍物检测方法，其特征在于，包括如下步骤：
1)获取本车周围的点云数据和图像数据；其中，采集点云数据的激光雷达和采集图像数据的视觉传感器已进行联合空间标定和联合时间标定；
2)对获取的点云数据进行聚类处理，得到多个聚类结果；
3)依据聚类结果获取感兴趣区域的关键点，根据联合标定结果，将感兴趣区域的关键点投影至图像数据上，以得到图像数据中的各个感兴趣区域；
4)在图像数据中的各个感兴趣区域内，采用边缘检测算法识别出潜在障碍物区域；
5)计算各个潜在障碍物区域的信息熵，若潜在障碍物区域的信息熵大于设定信息熵阈值，则判定该潜在障碍物区域内存在障碍物。
2.根据权利要求1所述的车辆前方障碍物检测方法，其特征在于，步骤1)中，进行空间联合标定得到的激光雷达和视觉传感器共用的世界坐标系与图像像素坐标系之间的变换关系为：
Figure FDA0003788838520000011
式中，(u,v,1)T为图像像素坐标系坐标；(xw,yw,zw)T为世界坐标系坐标；Rt为3×3正交旋转矩阵；Tt为摄像机外部参数的平移向量；
Figure FDA0003788838520000012
f为摄像机焦距，dx、dz为一个像素在x轴上与z轴的成像平面内的物理尺寸，(uo,v0)为摄像机光轴与成像平面内的交点坐标。
3.根据权利要求1所述的车辆前方障碍物检测方法，其特征在于，步骤1)中，实现所述联合时间标定的手段为：在激光雷达扫描的同时触发视觉传感器的扫描。
4.根据权利要求1所述的车辆前方障碍物检测方法，其特征在于，步骤2)中采用最邻近距离法进行聚类处理。
5.根据权利要求1所述的车辆前方障碍物检测方法，其特征在于，步骤2)中在进行聚类处理前，还需将获取的点云数据进行去噪处理，所述去噪处理的手段包括：将高度小于设定高度阈值的点云数据进行剔除，并将车辆后方的点云数据进行剔除。
6.根据权利要求1所述的车辆前方障碍物检测方法，其特征在于，还需将获取的图像数据进行图像预处理，所述图像预处理的手段为：将获取的图像数据进行灰度化处理，灰度化处理后采用直方图均衡化方法进行灰度增强处理，灰度增强处理后进行滤波以去除噪声。
7.根据权利要求1所述的车辆前方障碍物检测方法，其特征在于，步骤3)中所述感兴趣区域的关键点包括：对于每个聚类结果，其类别类宽的最左侧的点向上移动设定距离后的点以及最右侧的点向下移动设定距离后的点；
相应地，得到的图像数据中的各个感兴趣区域为：将一个聚类结果所对应的两个关键点投影至图像数据后，将图像数据中最左侧的关键点的左上方的一个点和最右侧的关键点的右下方的一个点作为对角线的起始点所确定的矩形作为感兴趣区域；按照该种方式对每个聚类结果进行处理以得到多个感兴趣区域。
8.根据权利要求7所述的车辆前方障碍物检测方法，其特征在于，最左侧的关键点的左上方的一个点为所述最左侧的关键点依次左移k个像素、上移k个像素后的点，最右侧的关键点的右下方的一个点为所述最右侧的关键点依次右移k个像素、下移k个像素后的点，k＞1。
9.根据权利要求1所述的车辆前方障碍物检测方法，其特征在于，步骤4)中识别出潜在障碍物区域的过程包括：
利用Canny边缘检测算法识别得到各个边缘点；
计算感兴趣区域内各点像素灰度值的平均值；
在感兴趣区域内进行搜索，如果某一垂直方向上灰度值大于平均值的点数超过感兴趣区域高度一半，则认为是障碍物的垂直边缘，如果某一水平方向上灰度值大于平均值的点数超过感兴趣区域宽度的一半，则认为是障碍物的水平边缘；按照该种方式检测出两条垂直边缘和两条水平边缘，两条垂直边缘和两条水平边缘围成的区域为潜在障碍物区域。
10.根据权利要求1所述的车辆前方障碍物检测方法，其特征在于，步骤5)中潜在障碍物区域的信息熵为：
Figure FDA0003788838520000021
式中，E(g)为潜在障碍物区域的信息熵，为信息量的数学期望；gi为i对应的灰度级；lnp(gi)为信息量；p(gi)为gi出现的概率，且
Figure FDA0003788838520000022
式中，ni为i对应灰度级的像素个数；N为图像中像素总个数。
CN202210950117.0A 2022-08-09 2022-08-09 一种车辆前方障碍物检测方法 Pending CN115327572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210950117.0A CN115327572A (zh) 2022-08-09 2022-08-09 一种车辆前方障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210950117.0A CN115327572A (zh) 2022-08-09 2022-08-09 一种车辆前方障碍物检测方法

Publications (1)

Publication Number Publication Date
CN115327572A true CN115327572A (zh) 2022-11-11

Family

ID=83920845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210950117.0A Pending CN115327572A (zh) 2022-08-09 2022-08-09 一种车辆前方障碍物检测方法

Country Status (1)

Country Link
CN (1) CN115327572A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148315A (zh) * 2023-10-31 2023-12-01 上海伯镭智能科技有限公司 一种无人驾驶汽车运行检测方法及系统
CN117907970A (zh) * 2024-03-19 2024-04-19 清华大学苏州汽车研究院（相城） 激光雷达的目标检测模型的生成、目标检测方法及其装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148315A (zh) * 2023-10-31 2023-12-01 上海伯镭智能科技有限公司 一种无人驾驶汽车运行检测方法及系统
CN117148315B (zh) * 2023-10-31 2024-01-26 上海伯镭智能科技有限公司 一种无人驾驶汽车运行检测方法及系统
CN117907970A (zh) * 2024-03-19 2024-04-19 清华大学苏州汽车研究院（相城） 激光雷达的目标检测模型的生成、目标检测方法及其装置
CN117907970B (zh) * 2024-03-19 2024-05-28 清华大学苏州汽车研究院（相城） 激光雷达的目标检测模型的生成、目标检测方法及其装置

Similar Documents

Publication Publication Date Title
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
Bar Hillel et al. Recent progress in road and lane detection: a survey
US8611585B2 (en) Clear path detection using patch approach
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN115327572A (zh) 一种车辆前方障碍物检测方法
WO2015147764A1 (en) A method for vehicle recognition, measurement of relative speed and distance with a single camera
Youjin et al. A robust lane detection method based on vanishing point estimation
CN114118252A (zh) 一种基于传感器多元信息融合的车辆检测方法及检测装置
EP2813973B1 (en) Method and system for processing video image
CN116229408A (zh) 一种图像信息与激光雷达点云信息融合的目标识别方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN112699267B (zh) 车辆车型的识别方法
WO2023207845A1 (zh) 车位检测方法、装置、电子设备及机器可读存储介质
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
CN105512641A (zh) 一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法
Ponsa et al. On-board image-based vehicle detection and tracking
CN112683228A (zh) 单目相机测距方法及装置
CN115457358A (zh) 一种图像与点云的融合的处理方法、装置和无人车
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
CN113219472B (zh) 一种测距系统和方法
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination