CN114898321A - 道路可行驶区域检测方法、装置、设备、介质及系统 - Google Patents

道路可行驶区域检测方法、装置、设备、介质及系统 Download PDF

Info

Publication number
CN114898321A
CN114898321A CN202210626448.9A CN202210626448A CN114898321A CN 114898321 A CN114898321 A CN 114898321A CN 202210626448 A CN202210626448 A CN 202210626448A CN 114898321 A CN114898321 A CN 114898321A
Authority
CN
China
Prior art keywords
road
visible light
likelihood map
likelihood
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210626448.9A
Other languages
English (en)
Inventor
李晓威
张锦政
宾洋
金庭安
周春荣
程鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinhuanghou New Energy Automobile Manufacturing Co ltd
Daojian Youxing Chongqing Technology Co ltd
Chongqing Vocational College of Transportation
Original Assignee
Chongqing Jinhuanghou New Energy Automobile Manufacturing Co ltd
Daojian Youxing Chongqing Technology Co ltd
Chongqing Vocational College of Transportation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinhuanghou New Energy Automobile Manufacturing Co ltd, Daojian Youxing Chongqing Technology Co ltd, Chongqing Vocational College of Transportation filed Critical Chongqing Jinhuanghou New Energy Automobile Manufacturing Co ltd
Priority to CN202210626448.9A priority Critical patent/CN114898321A/zh
Publication of CN114898321A publication Critical patent/CN114898321A/zh
Priority to EP23161034.6A priority patent/EP4287137A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/814—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level using belief theory, e.g. Dempster-Shafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/817—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明实施例公开了一种道路可行驶区域检测方法，包括：通过激光雷达获取雷达点云数据，并对所述雷达点云数据进行处理以得到雷达似然图；通过车载摄像头获取可见光图像，并对所述可见光图像进行多线索处理以得到可见光似然图；对所述雷达似然图和可见光似然图进行融合，得到道路融合图；基于所述道路融合图进行识别，得到可行驶区域检测结果。本发明实施例将激光雷达点云数据和车载摄像头的可见光图像进行融合，提高了道路检测的准确率，解决了单一传感器道路检测存在的无法适应复杂天气变化和场景变化、易出错等技术问题。且，本发明实施例比传统的融合检测(神经网络检测)计算更为简便。

Description

道路可行驶区域检测方法、装置、设备、介质及系统
技术领域
本发明涉及交通技术领域，具体涉及一种道路可行驶区域检测方法、装置、设备、介质及系统。
背景技术
道路可行驶区域检测方法一般分为单一传感器检测和多传感器融合检测两种。
关于单一传感器检测，目前用的比较多的是车载摄像头或者激光雷达。但单一传感器进行道路检测存在一些不可避免的缺陷：例如车载摄像头无法适应复杂的天气变化和场景变化，容易受到天气变化的干扰，鲁棒性不问稳定；又例如激光雷达在检测道路边缘时，若出现道路区域和非道路区域高度差不明显的情况，则激光雷达的检测极容易出错。
关于多传感器融合检测，目前用的比较多的是车载摄像头和激光雷达的融合。具体地，该种融合检测大多是利用神经网络实现，计算较为复杂。
发明内容
针对现有技术中存在的技术缺陷，本发明实施例的目的在于提供一种道路可行驶区域检测方法、装置、计算机设备、存储介质及系统。
为实现上述目的，第一方面，本发明实施例提供了一种道路可行驶区域检测方法，适用于多传感器多线索的融合道路检测。该检测方法包括：
通过激光雷达获取雷达点云数据，并对所述雷达点云数据进行处理以得到雷达似然图；
通过车载摄像头获取可见光图像，并对所述可见光图像进行多线索处理以得到可见光似然图；
对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
基于所述道路融合图进行识别，得到可行驶区域检测结果。
作为本申请的一种具体实施方式，得到雷达似然图具体为：
通过激光雷达获取雷达点云数据；
对所述雷达点云数据进行点云预处理，得到第一数据；所述点云预处理包括道路边缘区域提取处理以及地平面分割处理；
对所述第一数据进行道路点云检测，得到第二数据；所述道路点云检测包括峰值强度检测及窗口搜索；
对所述第二数据进行提取处理，得到车道边缘点云数据；
根据所述车道边缘点云数据生成雷达似然图。
在本申请的某些优选实施方式中，所述可见光似然图包括道路颜色似然图、道路纹理似然图、水平线似然图及三维场景似然图中的一种或多种；
其中，所述道路颜色似然图为采用颜色线索对所述可见光图像处理所得；
所述道路纹理似然图为采用纹理线索对所述可见光图像处理所得；
所述水平线似然图为采用水平线线索对所述可见光图像处理所得；
所述三维场景似然图为采用三维场景布局线索对所述可见光图像处理所得。
作为本申请的一种具体实施方式，得到所述道路颜色似然图的具体过程为：
基于颜色线索对所述可见光图像进行处理，得到无阴影图像，根据所述无阴影图像建立参考直方图，根据巴氏系数采用所述参考直方图遍历整张无阴影图像，得到道路颜色似然图；
得到所述道路纹理似然图的具体过程为：
利用滤波器确定所述可见光图像中道路边缘纹理的最大方向，对所述可见光图像进行软投票以定位得到消失点位置，根据道路边缘纹理的最大方向和消失点位置得到道路纹理似然图；
得到所述水平线似然图的具体过程为：
根据所述消失点的横坐标确定水平线，根据所述水平线得到水平线似然图；
得到所述三维场景似然图的具体过程为：
将所述可见光图像分为三个场景，并利用超像素原理得到三维场景似然图。
作为本申请的一种具体实施方式，得到道路融合图的具体过程包括：
基于贝叶斯融合公式对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
其中，所述贝叶斯融合公式为：
Figure BDA0003677811330000031
P(x|I)为输入图像I寻找目标位置x的概率，即为贝叶斯中的后验概率；P(x|L)为输入似然函数L寻找目标位置的x的概率，即为贝叶斯中的先验概率；P(L|I)为输入图像I中，构建似然函数L的概率，即为贝叶斯中的似然概率；P(x|Li)代表前述的雷达似然图和可见光似然图，wi为每个似然图的权重，每个似然图权重选为1/M，M为似然图的总数。
第二方面，本发明实施例提供了一种道路可行驶区域检测装置，适用于多传感器多线索的融合道路检测。该检测装置包括：
第一单元，用于通过激光雷达获取雷达点云数据，并对所述雷达点云数据进行处理以得到雷达似然图；
第二单元，用于通过车载摄像头获取可见光图像，并对所述可见光图像进行多线索处理以得到可见光似然图；
融合单元，用于对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
识别单元，用于基于所述道路融合图进行识别，得到可行驶区域检测结果。
第三方面，本发明实施例提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器通过总线相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第五方面，本发明实施例提供了一种道路可行驶区域检测系统，包括相互通信的激光雷达、车载摄像头及计算机设备。其中，该计算机设备如上述第三方面所述。
实施本发明实施例道路可行驶区域检测方法、装置及系统，将激光雷达点云数据和车载摄像头的可见光图像进行融合，提高了道路检测的准确率，解决了单一传感器道路检测存在的无法适应复杂天气变化和场景变化、易出错等技术问题。且，本发明实施例比传统的融合检测(神经网络检测)计算更为简便。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的道路可行驶区域检测方法的一流程图；
图2是本发明实施例提供的道路可行驶区域检测方法的另一流程图；
图3是雷达似然图的流程图；
图4a是从激光雷达获取的雷达点云数据图；
图4b是将雷达点云数据图投影到车载摄像头的二维图像；
图5是峰值强度检测和窗口搜索的效果图；
图6是车道边缘点云提取后的效果图；
图7是雷达似然图；
图8是道路颜色似然图的生成效果图；
图9是道路纹理似然图的生成效果图；
图10a至10c是水平线似然图的生成效果图；
图11a至11d是三维场景似然图的生成效果图；
图12是本发明实施例提供的道路可行驶区域检测系统的结构图；
图13是图12中检测装置的结构图；
图14是计算机设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
本发明的发明构思是：利用激光雷达检测不易受光照变化等环境因素影响且精度高的特点，先提取激光雷达检测到的三维点云信息，将其投影到相机的二维图像上，根据道路特征生成雷达似然图，再利用车载摄像头检测到的道路二维图像，根据道路的不同特征(例如颜色、纹理、水平线及三维场景)生成对应的可见光似然图，最后在贝叶斯框架下对雷达似然图和可见光似然图进行融合，从而实现可行驶区域的检测。
基于上述发明构思，本发明实施例提供了一种道路可行驶区域检测方法，其适用于多传感器多线索的融合道路检测。请参考图1及图2，该道路可行驶区域检测方法可以包括如下步骤：
S1：通过激光雷达获取雷达点云数据，并对所述雷达点云数据进行处理以得到雷达似然图。
需要说明的是，本实施例中，激光雷达使用的是kitti数据集。
具体地，请参考图3，得到雷达似然图的流程包括：
(1)获取如图4a所示的雷达点云数据，将其投影到车载摄像头的二维图像上，其效果如图4b所示；因要提取激光雷达检测道路边缘的点云数据，故需要对获取的雷达点云数据进行步骤(2)-(4)的处理。
(2)对雷达点云进行点云预处理，得到第一数据；在本实施例中，点云预处理包括道路边缘区域提取和地平面分割；其中，地平面分割的目的是利用DBSCAN算法从点云数据中滤除地面点云；需要说明的是，DBSCAN算法采用常规处理流程即可，为本领域技术人员所公知的，故在此不再赘述。
(3)对第一数据进行道路点云检测，得到第二数据；在本实施例中，道路点云检测包括峰值强度检测和窗口搜索，其效果如图5所示；其中，峰值强度检测的目的是过滤出车道边缘点。
(4)对第二数据进行车道点云的提取，得到车道边缘点云数据，如图6所示。
(5)根据车道边缘点云数据生成雷达似然图，如图7所示。
其中，激光雷达生成雷达似然图可根据如下公式：
Figure BDA0003677811330000061
如果xi在道路边沿曲线范围以内
Figure BDA0003677811330000062
如果xi在两条边缘线以外
其中，xi为输入图像在(u，v)坐标系中的位置，
Figure BDA0003677811330000063
为道路边沿两侧到最近边沿曲线的距离，
Figure BDA0003677811330000064
为最后生成的似然图。
即，上述过程实现了将激光雷达道路边缘点云投影到二维图像上，并生成激光雷达对应的似然图。
S2：通过车载摄像头获取可见光图像，并对所述可见光图像进行多线索处理以得到可见光似然图。
具体地，可见光似然图包括道路颜色似然图、道路纹理似然图、水平线似然图及三维场景似然图中的一种或多种。其中，所述道路颜色似然图为采用颜色线索对所述可见光图像处理所得；所述道路纹理似然图为采用纹理线索对所述可见光图像处理所得；所述水平线似然图为采用水平线线索对所述可见光图像处理所得；所述三维场景似然图为采用三维场景布局线索对所述可见光图像处理所得。
即，根据车载摄像头获取的可见光图像提取多道路线索特征，从而得到多个可见光似然图。上述多道路线索特征包括但不仅限于颜色线索、道路纹理线索、水平线线索及三维场景布局等。
请参考图2及图8，得到所述道路颜色似然图的具体过程为：
因天气变化的影响，道路的颜色外观因采集条件不同而不同，因此，需要利用光度不变性来提高对光度变化的鲁棒性。对车载摄像头获取的可见光图像进行处理，得到无阴影图像，具体为：
Figure BDA0003677811330000071
r(xi)＝log(R(xi)/G(xi)),b(xi)＝log(B(xi)/G(xi))
本实施例中，利用的是第一个公式，得到无阴影图像结果
Figure BDA0003677811330000072
xi为输入图像的位置，r(xi)代表的是输入图像的第i个像素，红色除以绿色值取对数的表达式，b(xi)代表的是输入图像的第i个像素，绿色除以绿色值取对数的表达式，，log()为对数计算方式；
其中，G(xi)、B(xi)、R(xi)分别代表输入图像第i个像素的绿色、蓝色、红色，θ选择为37.5°。
在无阴影图像中，在可行驶区域中选取7×7的正方形建立参考直方图，根据巴氏系数采用参考直方图遍历整张无阴影图像，建立如图8所示的道路颜色似然图。
请参考图2及图9，得到所述道路纹理似然图的具体过程为：
如图9所示，需要确定原图中的消失点，因为消失点提供了丰富的信息，可以用于判断道路的走向。因此，首先利用Gabor滤波器来确定原图中道路边缘纹理的最大方向，接下来利用候选点的消失点对整张图片进行软投票，以此定位得到消失点的位置，最后根据消失点和纹理方向计算得到道路纹理似然图，其效果如图9所示。在图9中，消失点似然图即为前述的道路纹理似然图。
关于道路纹理似然图的计算，说明如下：
在图像处理过程中，Gabor函数是一个用于边缘提取的线性滤波器，利用Gabor确定道路边缘纹理的最大方向，再利用软投票的方法计算消失点位置。即，根据Gabor函数确定出两条线(道路边缘)，利用软投票得到消失点位置，将两条线之间的区域赋值为1，两条线之外的区域赋值为0，得到二值化图像，即道路纹理似然图。
其中，道路纹理似然图计算公式为：
Figure BDA0003677811330000081
Figure BDA0003677811330000082
指的是消失点，xi为输入图像的位置。
请参考图2、图10a至图10c，得到所述水平线似然图的具体过程为：
由于纹理线索确定图像中的消失点，利用消失点的横坐标可以推断道路在图像中的位置，即确定下来水平线ht，水平线的似然图的计算公式为：
Figure BDA0003677811330000083
即，确定水平线ht，根据上述公式对可见光图像进行赋值，如果i行小于ht，选择第一个公式赋值为1，其他的就选第二个公式赋值，最终得到如图10c所示的二值化图像。
请参考图2、图11a至图11d，得到所述三维场景似然图的具体过程为：
将图像分为三个场景Pg、Pv、Ps(地面、垂直表面、天空)，将道路限制在地面区域，利用超像素原理，为图像中每个像素分为三个像素值。计算三维场景布局公式为：
Figure BDA0003677811330000091
xi为输入图像的位置，
Figure BDA0003677811330000092
为似然图的表达式，3d代表立体的三个标签。
在本实施例中，只需要地面区域，因此，根据上述公式，如果Pg的概率大于(垂直表面、天空)的最大值(max)，就选择第一个，否则选第二个计算方式。
即，将可见光图像分为地面、垂直表面及天空，采用上述方式对三者进行赋值，最终得到如图11d所示的二值化图像。
S3：对所述雷达似然图和可见光似然图进行融合，得到道路融合图。
具体地，基于贝叶斯融合公式对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
其中，所述贝叶斯融合公式为：
Figure BDA0003677811330000093
P(x|I)为输入图像I寻找目标位置x的概率，即为贝叶斯中的后验概率。P(x|L)为输入似然函数L寻找目标位置的x的概率，即为贝叶斯中的先验概率。P(L|I)为输入图像I中，构建似然函数L的概率，即为贝叶斯中的似然概率。先验概率和似然函数的积分为后验概率，就约等于P(x|Li)。P(x|Li)代表前述的雷达似然图和可见光似然图，wi为每个似然图的权重，每个似然图权重选为1/M，M为似然图的总数。
S4：基于所述道路融合图进行识别，得到可行驶区域检测结果。
具体地，由于所得到的道路融合图是个概率，因此设置阈值为0.5，当融合结果大于0.5时，结果赋值为1，当融合结果小于0.5时，结果赋值为0。举例来说，所得到的道路融合图为二值化图像，将其中概率大于0.5的部分赋值为白色，概率小于0.5的部分赋值为黑色，如此之后，图中的道路区域为白色，非道路区域为黑色，从而得到了可行驶区域检测结果。
需要说明的是，在本实施例中，根据可见光图像得到的可见光似然图包括但不进行仅限于前述的四个。在可见光似然图和雷达似然图进行融合时，组合可以有多种。例如，实施例1：任意一种可见光似然图与雷达似然图融合；实施例2：任意两种可见光似然图与雷达似然图融合；实施例3：任意三种可见光似然图与雷达似然图融合；实施例4：四种可见光似然图与雷达似然图融合。具体采用几种可见光似然图以及选择哪种可见光似然图，可根据实际情况进行选择。
从以上描述可以得知，本发明实施例的道路可行驶区域检测方法具有如下有益效果：
(1)基于多传感器和多线索进行道路融合检测，可以有效地检测道路的可行驶域，且提高了道路可行驶域检测的准确性；
(2)根据光照不变性从道路图像中提取颜色、纹理等道路线索特征，生成对应的似然图，并与根据雷达点云数据中得到的雷达似然图进行融合，可以有效地适应不同变化的光度和天气条件、不同环境的道路以及不同类型的道路，适应范围广；
(3)解决了单一传感器道路检测存在的无法适应复杂天气变化和场景变化、易出错等技术问题；
(4)比传统的融合检测(神经网络检测)计算更为简便；
(5)可以部署在无人驾驶车辆中，用于无人驾驶汽车的可行驶区域检测。
请参考图12，本发明实施例提供了一种道路可行驶区域检测系统，包括相互通信的激光雷达100、车载摄像头200及检测装置300。
如图13所示，检测装置300包括：
第一单元30，用于通过激光雷达获取雷达点云数据，并对所述雷达点云数据进行处理以得到雷达似然图；
第二单元31，用于通过车载摄像头获取可见光图像，并对所述可见光图像进行多线索处理以得到可见光似然图；
融合单元32，用于对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
识别单元33，用于基于道路融合图进行识别，得到可行驶区域检测结果。
具体地，在本实施例中，第一单元30具体用于：
通过激光雷达获取雷达点云数据；
对所述雷达点云数据进行点云预处理，得到第一数据；所述点云预处理包括道路边缘区域提取处理以及地平面分割处理；
对所述第一数据进行道路点云检测，得到第二数据；所述道路点云检测包括峰值强度检测及窗口搜索；
对所述第二数据进行提取处理，得到车道边缘点云数据；
根据所述车道边缘点云数据生成雷达似然图。
具体地，所述可见光似然图包括道路颜色似然图、道路纹理似然图、水平线似然图及三维场景似然图中的一种或多种；
其中，所述道路颜色似然图为采用颜色线索对所述可见光图像处理所得；
所述道路纹理似然图为采用纹理线索对所述可见光图像处理所得；
所述水平线似然图为采用水平线线索对所述可见光图像处理所得；
所述三维场景似然图为采用三维场景布局线索对所述可见光图像处理所得。
进一步地，第二单元31具体用于得到所述道路颜色似然图，具体过程为：
基于颜色线索对所述可见光图像进行处理，得到无阴影图像，根据所述无阴影图像建立参考直方图，根据巴氏系数采用所述参考直方图遍历整张无阴影图像，得到道路颜色似然图。
进一步地，第二单元31具体用于得到所述道路纹理似然图的具体过程为：
利用滤波器确定所述可见光图像中道路边缘纹理的最大方向，对所述可见光图像进行软投票以定位得到消失点位置，根据道路边缘纹理的最大方向和消失点位置得到道路纹理似然图。
进一步地，第二单元31具体用于得到所述水平线似然图的具体过程为：
根据所述消失点的横坐标确定水平线，根据所述水平线得到水平线似然图。
进一步地，第二单元31具体用于得到所述三维场景似然图的具体过程为：
将所述可见光图像分为三个场景，并利用超像素原理得到三维场景似然图。
具体地，融合单元32具体用于：
基于贝叶斯融合公式对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
其中，所述贝叶斯融合公式为：
Figure BDA0003677811330000121
P(x|Li)代表前述的雷达似然图和可见光似然图，wi为每个似然图的权重，每个似然图权重选为1/M，M为似然图的总数。
可选地，在本申请的某些实施例中，上述检测装置可以是一种计算机设备。如图14所示，计算机设备可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的道路可行驶区域检测方法的实施例中所描述的实现方式，在此不再赘述。
需要说明的是，关于道路可行驶区域检测系统、装置及计算机设备具体的工作流程，请参考前述方法实施例部分，在此不再赘述。
相应地，对应于前述方法实施例及图14所示的计算机设备，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述道路可行驶区域检测方法。
所述计算机可读存储介质可以是前述任一实施例所述的系统的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种道路可行驶区域检测方法，其特征在于，该检测方法适用于多传感器多线索的融合道路检测，包括：
通过激光雷达获取雷达点云数据，并对所述雷达点云数据进行处理以得到雷达似然图；
通过车载摄像头获取可见光图像，并对所述可见光图像进行多线索处理以得到可见光似然图；
对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
基于所述道路融合图进行识别，得到可行驶区域检测结果。
2.如权利要求1所述的道路可行驶区域检测方法，其特征在于，得到雷达似然图具体为：
通过激光雷达获取雷达点云数据；
对所述雷达点云数据进行点云预处理，得到第一数据；所述点云预处理包括道路边缘区域提取处理以及地平面分割处理；
对所述第一数据进行道路点云检测，得到第二数据；所述道路点云检测包括峰值强度检测及窗口搜索；
对所述第二数据进行提取处理，得到车道边缘点云数据；
根据所述车道边缘点云数据生成雷达似然图。
3.如权利要求1所述的道路可行驶区域检测方法，其特征在于，所述可见光似然图包括道路颜色似然图、道路纹理似然图、水平线似然图及三维场景似然图中的一种或多种；
其中，所述道路颜色似然图为采用颜色线索对所述可见光图像处理所得；
所述道路纹理似然图为采用纹理线索对所述可见光图像处理所得；
所述水平线似然图为采用水平线线索对所述可见光图像处理所得；
所述三维场景似然图为采用三维场景布局线索对所述可见光图像处理所得。
4.如权利要求3所述的道路可行驶区域检测方法，其特征在于，得到所述道路颜色似然图的具体过程为：
基于颜色线索对所述可见光图像进行处理，得到无阴影图像，根据所述无阴影图像建立参考直方图，根据巴氏系数采用所述参考直方图遍历整张无阴影图像，得到道路颜色似然图；
得到所述道路纹理似然图的具体过程为：
利用滤波器确定所述可见光图像中道路边缘纹理的最大方向，对所述可见光图像进行软投票以定位得到消失点位置，根据道路边缘纹理的最大方向和消失点位置得到道路纹理似然图；
得到所述水平线似然图的具体过程为：
根据所述消失点的横坐标确定水平线，根据所述水平线得到水平线似然图；
得到所述三维场景似然图的具体过程为：
将所述可见光图像分为三个场景，并利用超像素原理得到三维场景似然图。
5.如权利要求1-4任一项所述的道路可行驶区域检测方法，其特征在于，得到道路融合图的具体过程包括：
基于贝叶斯融合公式对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
其中，所述贝叶斯融合公式为：
Figure FDA0003677811320000021
P(x|I)为输入图像I寻找目标位置x的概率，即为贝叶斯中的后验概率；P(x|L)为输入似然函数L寻找目标位置的x的概率，即为贝叶斯中的先验概率；P(L|I)为输入图像I中，构建似然函数L的概率，即为贝叶斯中的似然概率；P(x|Lj)代表前述的雷达似然图和可见光似然图，wi为每个似然图的权重，每个似然图权重选为1/M，M为似然图的总数。
6.一种道路可行驶区域检测装置，其特征在于，该检测装置适用于多传感器多线索的融合道路检测，包括：
第一单元，用于通过激光雷达获取雷达点云数据，并对所述雷达点云数据进行处理以得到雷达似然图；
第二单元，用于通过车载摄像头获取可见光图像，并对所述可见光图像进行多线索处理以得到可见光似然图；
融合单元，用于对所述雷达似然图和可见光似然图进行融合，得到道路融合图；
识别单元，用于基于所述道路融合图进行识别，得到可行驶区域检测结果。
7.如权利要求6所述的道路可行驶区域检测装置，其特征在于，所述可见光似然图包括道路颜色似然图、道路纹理似然图、水平线似然图及三维场景似然图中的一种或多种；
所述第二单元具体用于：
基于颜色线索对所述可见光图像进行处理，得到无阴影图像，根据所述无阴影图像建立参考直方图，根据巴氏系数采用所述参考直方图遍历整张无阴影图像，得到道路颜色似然图；
利用滤波器确定所述可见光图像中道路边缘纹理的最大方向，对所述可见光图像进行软投票以定位得到消失点位置，根据道路边缘纹理的最大方向和消失点位置得到道路纹理似然图；
根据所述消失点的横坐标确定水平线，根据所述水平线得到水平线似然图；
将所述可见光图像分为三个场景，并利用超像素原理得到三维场景似然图。
8.一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备及存储器通过总线相互连接，所述存储器用于存储计算机程序，其特征在于，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如权利要求5所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如权利要求5所述的方法。
10.一种道路可行驶区域检测系统，包括相互通信的激光雷达、车载摄像头及计算机设备，其特征在于，所述计算机设备如权利要求8所述。
CN202210626448.9A 2022-06-02 2022-06-02 道路可行驶区域检测方法、装置、设备、介质及系统 Pending CN114898321A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210626448.9A CN114898321A (zh) 2022-06-02 2022-06-02 道路可行驶区域检测方法、装置、设备、介质及系统
EP23161034.6A EP4287137A1 (en) 2022-06-02 2023-03-09 Method, device, equipment, storage media and system for detecting drivable space of road

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210626448.9A CN114898321A (zh) 2022-06-02 2022-06-02 道路可行驶区域检测方法、装置、设备、介质及系统

Publications (1)

Publication Number Publication Date
CN114898321A true CN114898321A (zh) 2022-08-12

Family

ID=82725372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210626448.9A Pending CN114898321A (zh) 2022-06-02 2022-06-02 道路可行驶区域检测方法、装置、设备、介质及系统

Country Status (2)

Country Link
EP (1) EP4287137A1 (zh)
CN (1) CN114898321A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630923A (zh) * 2023-05-22 2023-08-22 小米汽车科技有限公司 道路消失点的标注方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2583217A1 (en) * 2010-06-21 2013-04-24 Centre De Visió Per Computador Method for obtaining drivable road area
EP4145339A4 (en) * 2020-05-11 2023-05-24 Huawei Technologies Co., Ltd. VEHICLE DRIVING ZONE DETECTION METHOD AND SYSTEM, AND SELF-DRIVING VEHICLE IMPLEMENTING THE SYSTEM

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630923A (zh) * 2023-05-22 2023-08-22 小米汽车科技有限公司 道路消失点的标注方法、装置及电子设备
CN116630923B (zh) * 2023-05-22 2024-01-02 小米汽车科技有限公司 道路消失点的标注方法、装置及电子设备

Also Published As

Publication number Publication date
EP4287137A1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
EP2811423B1 (en) Method and apparatus for detecting target
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
CN110930459A (zh) 灭点提取方法、相机标定方法以及存储介质
CN111837158A (zh) 图像处理方法、装置、拍摄装置和可移动平台
CN110969592B (zh) 图像融合方法、自动驾驶控制方法、装置和设备
CN111209770A (zh) 一种车道线识别方法及装置
EP2887315A1 (en) Calibration device, method for implementing calibration, program and camera for movable body
WO2021013227A1 (zh) 用于目标检测的图像处理方法及装置
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
Wang et al. Combining semantic scene priors and haze removal for single image depth estimation
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN115131363A (zh) 基于语义信息的定位方法、装置和终端设备
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN114120254A (zh) 道路信息识别方法、装置及存储介质
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
CN111241911A (zh) 一种自适应的车道线检测方法
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN115661522A (zh) 一种基于视觉语义矢量的车辆导引方法、系统、设备和介质
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
Jiao et al. Individual building rooftop and tree crown segmentation from high-resolution urban aerial optical images
CN117197211B (zh) 一种深度图像生成方法、系统、装置及介质
KR102540629B1 (ko) 교통 시설물에 대한 학습 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination