CN113011392A - 一种基于路面图像多纹理特征融合的路面类型识别方法 - Google Patents

一种基于路面图像多纹理特征融合的路面类型识别方法 Download PDF

Info

Publication number
CN113011392A
CN113011392A CN202110448106.8A CN202110448106A CN113011392A CN 113011392 A CN113011392 A CN 113011392A CN 202110448106 A CN202110448106 A CN 202110448106A CN 113011392 A CN113011392 A CN 113011392A
Authority
CN
China
Prior art keywords
image
road surface
pavement
wavelet
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110448106.8A
Other languages
English (en)
Other versions
CN113011392B (zh
Inventor
袁世龙
毛传龙
叶向阳
王海升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110448106.8A priority Critical patent/CN113011392B/zh
Publication of CN113011392A publication Critical patent/CN113011392A/zh
Application granted granted Critical
Publication of CN113011392B publication Critical patent/CN113011392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于智能汽车环境感知技术领域，具体为一种基于路面图像多纹理特征融合的路面类型识别方法，包括步骤一：通过车载摄像头收集沥青、水泥、雪地、碎石这四种汽车行驶常见路面的图像信息；步骤二：对收集到的图像进行增广处理和灰度化处理；步骤三：使用圆形LBP算子提取路面图像的LBP特征；步骤四：使用小波散射框架提取路面图像的小波纹理特征；步骤五：将这两种路面纹理特征进行融合，形成该图像数据集的特征矩阵，并在特征矩阵最后一列打上标签；步骤六：在Matlab中使用有监督的机器学习训练模型对数据进行分类，选取其中准确率最高的分类器作为本方法的分类器模型，其结构合理，有效地提高了当前路面类型识别的精确度。

Description

一种基于路面图像多纹理特征融合的路面类型识别方法
技术领域
本发明涉及智能汽车环境感知技术领域，具体为一种基于路面图像多纹理特征融合的路面类型识别方法。
背景技术
目前使用迁移学习进行路面类型识别的已成为主流，并取得了一定的研究成果。但是目前所使用的研究方法中尚未广泛引入具有明显区别特征的路面纹理特征。如公开号为CN112329533A的中国专利单独使用了卷积神经网络进行局部路面附着系数估计，其识别过程忽略了局部纹理特征，且识别结果解释性较差。事实上，在基于视觉进行识别的领域，图像纹理特征的应用较为广泛。其中，小波纹理特征具有平移不变性以及对于局部边缘特征具有良好感知性的优点，可以很好的解决传统神经网络在车身颠簸造成的像素位移问题，在基于视觉的路面类型识别时有良好的表现。如公开号为CN1O1510309A的中国专利利用复小波纹理特征对SAR图像实现了初始分割与特征统一；公开号为CN109508980A的专利利用人脸小波纹理特征实现了基于视觉的身份识别。但是小波纹理特征对于局部特征感知过于敏感会影响路面类型识别的准确度和稳定度。因此我们使用lbp算子提取的路面纹理特征与小波纹理特征相融合，有效的提高了识别效果。
发明内容
本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于现有路面类型识别方法中存在的问题，提出了本发明。
因此，本发明的目的是提供一种基于路面图像多纹理特征融合的路面类型识别方法，提高智能车实时识别路面类型的精度，为决策控制提供重要信息支持，对于提高智能车的安全性、舒适性等有着重要意义。
为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
一种基于路面图像多纹理特征融合的路面类型识别方法，其包括如下步骤：
步骤一：通过车载摄像头收集沥青、水泥、雪地、碎石这四种汽车行驶常见路面的图像信息；
步骤二：对收集到的图像进行增广处理和灰度化处理；
步骤三：使用圆形LBP算子提取路面图像的LBP特征；
步骤四：使用小波散射框架提取路面图像的小波纹理特征；
步骤五：将这两种路面纹理特征进行融合，形成该图像数据集的特征矩阵，并在特征矩阵最后一列打上标签；
步骤六：在Matlab中使用有监督的机器学习训练模型对数据进行分类，选取其中准确率最高的分类器作为本方法的分类器模型。
作为本发明所述的一种基于路面图像多纹理特征融合的路面类型识别方法的一种优选方案，其中：步骤三的具体提取步骤如下：
(1)计算预处理后路面图像中每个像素点的ULBP值
利用Ojala所提出的LBP算子的等价性，定义U来表征一个LBP特征值的二进制序列中0和1转换的次数。U的定义如下：
Figure BDA0003037602360000021
式中：gc为中心像素点灰度值,gi为gc的第i个邻域的像素灰度值。根据U的运算结果将LBP特征值分类两类。定义ULBP如下：
Figure BDA0003037602360000031
对每个标准化后的预处理的图像使用上述算子进行计算，得到每个像素的ULBP值。
(2)将图像分为多个互不重复的区域，计算出每个区域中所含有的不同的ULBP值的数量，制成一个直方图。
作为本发明所述的一种基于路面图像多纹理特征融合的路面类型识别方法的一种优选方案，其中：步骤四的具体提取步骤如下：
(1)对于小波散射框架中的参数选取的母小波基函数ψ，选用平均滤波矩阵作为高斯划分的过滤器。在加载小波散射网络框架时，设置其尺度不变性超参数为150，其余参数均取为相应网络的默认数值；
(2)加载小波散射网络框架，记录变化过程中的散射变换系数，该系数即为路面图像的纹理特征；
(3)对所获取的散射系数矩阵进行平均值降维处理，从而形成当前图像的特征矩阵；
(4)整合所有图像的特征矩阵即获得整个数据集的特征特征。
作为本发明所述的一种基于路面图像多纹理特征融合的路面类型识别方法的一种优选方案，其中：步骤六分类器模型的应用过程包括如下步骤：
(1)定义车载摄像头的帧数为每秒10帧，避免帧数过低导致的实时检测误差，也避免帧数过高导致的计算次数过大。曝光时间设为0.01秒，防止过曝光时间过长而使图像的清晰度降低；
(2)使用车载摄像机实时捕获当前行驶路面图像；
(3)将捕获到的路面图像输入到前述模型中，经过模型的计算输出当前路面类型。
与现有技术相比，本发明的有益效果是：通过该一种基于路面图像多纹理特征融合的路面类型识别方法的设置，结构设计合理，通过使用lbp算子提取的路面纹理特征与小波纹理特征相融合，有效的提高了识别效果，提高智能车实时识别路面类型的精度，为决策控制提供重要信息支持，对于提高智能车的安全性、舒适性等有着重要意义。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明应用场景结构示意图；
图2为本发明步骤流程结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。
其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明提供如下技术方案：一种基于路面图像多纹理特征融合的路面类型识别方法，包括如下步骤：
步骤一：通过车载摄像头收集沥青、水泥、雪地、碎石这四种汽车行驶常见路面的图像信息；
步骤二：对收集到的图像进行增广处理和灰度化处理；
步骤三：使用圆形LBP算子提取路面图像的LBP特征；
步骤四：使用小波散射框架提取路面图像的小波纹理特征；
步骤五：将这两种路面纹理特征进行融合，形成该图像数据集的特征矩阵，并在特征矩阵最后一列打上标签；
步骤六：在Matlab中使用有监督的机器学习训练模型对数据进行分类，选取其中准确率最高的分类器作为本方法的分类器模型；
具体的，步骤三的具体提取步骤如下：
(1)计算预处理后路面图像中每个像素点的ULBP值
利用Ojala所提出的LBP算子的等价性，定义U来表征一个LBP特征值的二进制序列中0和1转换的次数。U的定义如下：
Figure BDA0003037602360000051
式中：gc为中心像素点灰度值,gi为gc的第i个邻域的像素灰度值。根据U的运算结果将LBP特征值分类两类。定义ULBP如下：
Figure BDA0003037602360000061
对每个标准化后的预处理的图像使用上述算子进行计算，得到每个像素的ULBP值。
(2)将图像分为多个互不重复的区域，计算出每个区域中所含有的不同的ULBP值的数量，制成一个直方图。
具体的，步骤四的具体提取步骤如下：
(1)对于小波散射框架中的参数选取的母小波基函数ψ，选用平均滤波矩阵作为高斯划分的过滤器。在加载小波散射网络框架时，设置其尺度不变性超参数为150，其余参数均取为相应网络的默认数值；
(2)加载小波散射网络框架，记录变化过程中的散射变换系数，该系数即为路面图像的纹理特征；
(3)对所获取的散射系数矩阵进行平均值降维处理，从而形成当前图像的特征矩阵；
(4)整合所有图像的特征矩阵即获得整个数据集的特征特征。
具体的，步骤六分类器模型的应用过程包括如下步骤：
(1)定义车载摄像头的帧数为每秒10帧，避免帧数过低导致的实时检测误差，也避免帧数过高导致的计算次数过大。曝光时间设为0.01秒，防止过曝光时间过长而使图像的清晰度降低；
(2)使用车载摄像机实时捕获当前行驶路面图像；
(3)将捕获到的路面图像输入到前述模型中，经过模型的计算输出当前路面类型。
虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (4)

1.一种基于路面图像多纹理特征融合的路面类型识别方法，其特征在于：包括如下步骤：
步骤一：通过车载摄像头收集沥青、水泥、雪地、碎石这四种汽车行驶常见路面的图像信息；
步骤二：对收集到的图像进行增广处理和灰度化处理；
步骤三：使用圆形LBP算子提取路面图像的LBP特征；
步骤四：使用小波散射框架提取路面图像的小波纹理特征；
步骤五：将这两种路面纹理特征进行融合，形成该图像数据集的特征矩阵，并在特征矩阵最后一列打上标签；
步骤六：在Matlab中使用有监督的机器学习训练模型对数据进行分类，选取其中准确率最高的分类器作为本方法的分类器模型。
2.根据权利要求1所述的一种基于路面图像多纹理特征融合的路面类型识别方法，其特征在于：步骤三的具体提取步骤如下：
(1)计算预处理后路面图像中每个像素点的ULBP值
利用Ojala所提出的LBP算子的等价性，定义U来表征一个LBP特征值的二进制序列中0和1转换的次数。U的定义如下：
Figure FDA0003037602350000011
式中：gc为中心像素点灰度值,gi为gc的第i个邻域的像素灰度值。根据U的运算结果将LBP特征值分类两类。定义ULBP如下：
Figure FDA0003037602350000012
对每个标准化后的预处理的图像使用上述算子进行计算，得到每个像素的ULBP值。
(2)将图像分为多个互不重复的区域，计算出每个区域中所含有的不同的ULBP值的数量，制成一个直方图。
3.根据权利要求1所述的一种基于路面图像多纹理特征融合的路面类型识别方法，其特征在于：步骤四的具体提取步骤如下：
(1)对于小波散射框架中的参数选取的母小波基函数ψ，选用平均滤波矩阵作为高斯划分的过滤器。在加载小波散射网络框架时，设置其尺度不变性超参数为150，其余参数均取为相应网络的默认数值；
(2)加载小波散射网络框架，记录变化过程中的散射变换系数，该系数即为路面图像的纹理特征；
(3)对所获取的散射系数矩阵进行平均值降维处理，从而形成当前图像的特征矩阵；
(4)整合所有图像的特征矩阵即获得整个数据集的特征特征。
4.根据权利要求1所述的一种基于路面图像多纹理特征融合的路面类型识别方法，其特征在于：步骤六分类器模型的应用过程包括如下步骤：
(1)定义车载摄像头的帧数为每秒10帧，避免帧数过低导致的实时检测误差，也避免帧数过高导致的计算次数过大。曝光时间设为0.01秒，防止过曝光时间过长而使图像的清晰度降低；
(2)使用车载摄像机实时捕获当前行驶路面图像；
(3)将捕获到的路面图像输入到前述模型中，经过模型的计算输出当前路面类型。
CN202110448106.8A 2021-04-25 2021-04-25 一种基于路面图像多纹理特征融合的路面类型识别方法 Active CN113011392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110448106.8A CN113011392B (zh) 2021-04-25 2021-04-25 一种基于路面图像多纹理特征融合的路面类型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110448106.8A CN113011392B (zh) 2021-04-25 2021-04-25 一种基于路面图像多纹理特征融合的路面类型识别方法

Publications (2)

Publication Number Publication Date
CN113011392A true CN113011392A (zh) 2021-06-22
CN113011392B CN113011392B (zh) 2023-04-18

Family

ID=76389360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110448106.8A Active CN113011392B (zh) 2021-04-25 2021-04-25 一种基于路面图像多纹理特征融合的路面类型识别方法

Country Status (1)

Country Link
CN (1) CN113011392B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114081462A (zh) * 2021-11-19 2022-02-25 齐齐哈尔大学 一种基于多维度生理信息的心脏健康监护系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146062A1 (en) * 2004-12-30 2006-07-06 Samsung Electronics Co., Ltd. Method and apparatus for constructing classifiers based on face texture information and method and apparatus for recognizing face using statistical features of face texture information
CN101339616A (zh) * 2008-08-12 2009-01-07 北京中星微电子有限公司 道路识别方法及装置
CN102254161A (zh) * 2011-07-15 2011-11-23 王世峰 基于路面轮廓及路面图像特征的路面类型识别方法及装置
CN103218831A (zh) * 2013-04-21 2013-07-24 北京航空航天大学 一种基于轮廓约束的视频运动目标分类识别方法
CN103530645A (zh) * 2013-09-25 2014-01-22 北京工商大学 基于局部二值模式和Zernike矩的纹理图像分类方法及系统
CN103955691A (zh) * 2014-05-08 2014-07-30 中南大学 一种多分辨率lbp的纹理特征提取方法
CN105069796A (zh) * 2015-08-12 2015-11-18 西安电子科技大学 基于小波散射网络的sar图像分割方法
US20160189396A1 (en) * 2013-09-13 2016-06-30 Cortexica Vision Systems Limited Image processing
CN107392142A (zh) * 2017-07-19 2017-11-24 广东工业大学 一种真伪人脸识别方法及其装置
CN108960060A (zh) * 2018-06-01 2018-12-07 东南大学 一种无人驾驶车辆路面纹理识别系统及方法
CN108985158A (zh) * 2018-06-08 2018-12-11 汉腾汽车有限公司 一种路面识别系统及方法
CN110969171A (zh) * 2019-12-12 2020-04-07 河北科技大学 基于改进卷积神经网络的图像分类模型、方法及应用
CN111105389A (zh) * 2019-11-21 2020-05-05 天津大学 融合Gabor滤波器与卷积神经网络的路面裂缝的检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146062A1 (en) * 2004-12-30 2006-07-06 Samsung Electronics Co., Ltd. Method and apparatus for constructing classifiers based on face texture information and method and apparatus for recognizing face using statistical features of face texture information
CN101339616A (zh) * 2008-08-12 2009-01-07 北京中星微电子有限公司 道路识别方法及装置
CN102254161A (zh) * 2011-07-15 2011-11-23 王世峰 基于路面轮廓及路面图像特征的路面类型识别方法及装置
CN103218831A (zh) * 2013-04-21 2013-07-24 北京航空航天大学 一种基于轮廓约束的视频运动目标分类识别方法
US20160189396A1 (en) * 2013-09-13 2016-06-30 Cortexica Vision Systems Limited Image processing
CN103530645A (zh) * 2013-09-25 2014-01-22 北京工商大学 基于局部二值模式和Zernike矩的纹理图像分类方法及系统
CN103955691A (zh) * 2014-05-08 2014-07-30 中南大学 一种多分辨率lbp的纹理特征提取方法
CN105069796A (zh) * 2015-08-12 2015-11-18 西安电子科技大学 基于小波散射网络的sar图像分割方法
CN107392142A (zh) * 2017-07-19 2017-11-24 广东工业大学 一种真伪人脸识别方法及其装置
CN108960060A (zh) * 2018-06-01 2018-12-07 东南大学 一种无人驾驶车辆路面纹理识别系统及方法
CN108985158A (zh) * 2018-06-08 2018-12-11 汉腾汽车有限公司 一种路面识别系统及方法
CN111105389A (zh) * 2019-11-21 2020-05-05 天津大学 融合Gabor滤波器与卷积神经网络的路面裂缝的检测方法
CN110969171A (zh) * 2019-12-12 2020-04-07 河北科技大学 基于改进卷积神经网络的图像分类模型、方法及应用

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUI DU 等: "Multi-feature Fusion Method Applied in Texture Image Segmentation", 《2018 14TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY (CIS)》 *
文介华 等: "基于小波散射网络下的图像检索", 《广东工业大学学报》 *
梅浪奇 等: "基于多特征的纹理特征提取方法研究与应用", 《交通信息与安全》 *
董蒙: "基于深度学习的遥感图像路面物体检测与识别", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114081462A (zh) * 2021-11-19 2022-02-25 齐齐哈尔大学 一种基于多维度生理信息的心脏健康监护系统

Also Published As

Publication number Publication date
CN113011392B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN109903301B (zh) 一种基于多级特征信道优化编码的图像轮廓检测方法
CN107967695B (zh) 一种基于深度光流和形态学方法的运动目标检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN105261017A (zh) 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN107506765B (zh) 一种基于神经网络的车牌倾斜校正的方法
CN109740603A (zh) 基于cnn卷积神经网络下的车辆字符识别方法
CN106886778B (zh) 一种监控场景下车牌字符分割与识别方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN110008932A (zh) 一种基于计算机视觉的车辆违章压线检测方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN110706235B (zh) 一种基于双级级联分割的远红外行人检测方法
CN116758059A (zh) 一种用于路基路面的视觉无损检测方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN103295009B (zh) 基于笔画分解的车牌字符识别方法
CN105760858A (zh) 一种基于类Haar中间层滤波特征的行人检测方法及装置
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN103679187A (zh) 图像识别方法和系统
CN104268507A (zh) 一种基于rgb-d图像的手语字母识别方法
Yang et al. An efficient method for vehicle model identification via logo recognition
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN114463715A (zh) 一种车道线检测方法
CN113011392B (zh) 一种基于路面图像多纹理特征融合的路面类型识别方法
CN104637045A (zh) 一种基于超级像素层次特征的图像像素标号方法
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant