CN113838111A - 一种道路纹理特征检测方法、装置与自动驾驶系统 - Google Patents

一种道路纹理特征检测方法、装置与自动驾驶系统 Download PDF

Info

Publication number
CN113838111A
CN113838111A CN202110906132.0A CN202110906132A CN113838111A CN 113838111 A CN113838111 A CN 113838111A CN 202110906132 A CN202110906132 A CN 202110906132A CN 113838111 A CN113838111 A CN 113838111A
Authority
CN
China
Prior art keywords
detection area
road
image
detection
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110906132.0A
Other languages
English (en)
Inventor
葛方海
朱海涛
王欣亮
杨超
刘永才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202110906132.0A priority Critical patent/CN113838111A/zh
Publication of CN113838111A publication Critical patent/CN113838111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种道路纹理特征检测方法、装置与自动驾驶系统，用于帮助辅助驾驶的道路感知功能提高多帧融合准确性。该道路纹理特征检测方法包括：基于同一道路场景的左视图及右视图获取该道路场景的稠密视差图；在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域；基于检测区域的图像信息和视差信息计算检测区域点云信息；利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测。

Description

一种道路纹理特征检测方法、装置与自动驾驶系统
技术领域
本发明涉及智能驾驶技术领域，尤其涉及一种道路纹理特征检测方法、装置与自动驾驶系统。
背景技术
目前，汽车辅助驾驶方向的研究随着图像处理技术的发展不断进步，该技术的研究通过传感器对环境的感知能力和场景的理解能力，实现对前方成像物体的检测等功能。
监测前方道路并评估其危险情况是自动驾驶技术发展中的关键的环节，如果能实时检测到前方道路环境，可提高驾驶的舒适性和安全性。
鉴于此，提出本发明。
发明内容
本发明的主要目的在于公开一种道路纹理特征检测方法、装置与自动驾驶系统，用于解决现有技术中目标检测存在误漏等问题。
为达上述目的，根据本发明的一个方面，公开一种道路纹理特征检测方法，并采用如下技术方案：
一种道路纹理特征检测方法包括：基于同一道路场景的左视图及右视图获取该道路场景的稠密视差图；在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域；基于检测区域的图像信息和视差信息计算检测区域点云信息；利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测。
进一步地，所述在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域包括：根据检测深度要求与检测宽度要求计算在世界坐标系下的预设检测区域，再将该预设检测区域通过仿射变换的方式换算为图像坐标系中的检测区域。
进一步地，所述基于检测区域的图像信息和视差信息计算检测区域点云信息包括：对检测区域的图像信息进行分割，并对该图像信息进行处理，依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换，获取检测区域的点云信息，具体转换公式如下所示：
Z＝b*F/disp
X＝(Imgx-cx)*b/disp
Y＝(Imgy-cy)*b/disp
其中，b为双目立体视觉成像系统模型的左右相机间距；F为相机焦距； cx与cy为相机主点的图像坐标，Imgx和Imgy是所述检测区域内的图像坐标点；disp为图像点坐标为(Imgx，Imgy)的视差值；X是距离相机的横向距离，Y是距离相机的纵向距离，Z是距离相机的深度。
进一步地，所述利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面包括：通过二维图像信息和点云信息计算单应性变换矩阵，变换表述为：
Figure BDA0003201664350000021
Projx＝X*scalex
Projy＝Z*scalez
其中，X是距离相机的横向距离，Z是距离相机的深度；Imgx和Imgy是检测区域内的图像坐标点；Projx和Projy是检测区域内的投影面坐标点；H 为所述单应性变换矩阵。
进一步地，所述用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测包括：
根据需求选择某一特定的Gabor函数，设计Gabor滤波核，以实现图像的多尺度、多方向的横向纹理特征提取，提取公式如下：
Figure BDA0003201664350000031
其中,
x′＝x cosθ+y sinθ
y′＝-x sinθ+y cosθ
λ为波长,其大小直接影响滤波器的滤波尺度；θ为滤波器的方向,可通过改变θ使滤波器检测不同方向上的纹理；ψ是相位偏移；γ为空间纵横比, 决定着滤波器的形状；σ为高斯滤波器的方差；提取Gabor函数的实数部分，对实数部分进行卷积来达到进行纹理特征检测，该实数部分为：
Figure BDA0003201664350000032
λ为波长,其大小直接影响滤波器的滤波尺度；θ为滤波器的方向,可通过改变θ使滤波器检测不同方向上的纹理；ψ是相位偏移；γ为空间纵横比, 决定着滤波器的形状；σ为高斯滤波器的方差。
进一步地，所述用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测包括：跟踪前后帧的纹理信息：用到归一化相关系数匹配法进行前一帧纹理信息和后一帧纹理信息之间的匹配,即利用相关系数公式计算相关系数,得到相关系数矩阵，相关系数矩阵的定义为：
Figure BDA0003201664350000033
其中,
Figure BDA0003201664350000034
为前一帧纹理区域的灰度均值,
Figure BDA0003201664350000035
为下一帧待匹配区域的灰度均值，相关系数表示两者之间的近似程度,相关系数越接近1,两者越近似的有线性关系，取相关系数矩阵NCC(i,j)中的峰值点作为最佳匹配点P,修正后的X方向及Z方向的位移分别为|C1_x-P_x|、|C1_y-P_y|,取多个纹理重心与最佳匹配点坐标的差值的均值,并将换算为实际距离即为ΔX和ΔZ，ΔX和ΔZ 即为两帧图像场景之间的横向移动距离和纵向移动距离。
根据本发明的另外一个方面，提供一种道路纹理特征检测装置，并采用如下技术方案：
一种道路纹理特征检测装置包括：获取模块，用于基于同一道路场景的左视图及右视图获取该道路场景的稠密视差图；截取模块，用于在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域；计算模块，用于基于检测区域的图像信息和视差信息计算检测区域点云信息；变换模块，用于利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；提取模块，用于用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测。
进一步地，所述截取模块包括：仿射变换模块，用于根据检测深度要求与检测宽度要求计算在世界坐标系下的预设检测区域，再将该预设检测区域通过仿射变换的方式换算为图像坐标系中的检测区域。
进一步地，所述计算模块包括：分割模块，用于对检测区域的图像信息进行分割，并对该图像信息进行处理，依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换，获取检测区域的点云信息，具体转换公式如下所示：
Z＝b*F/disp
X＝(Imgx-cx)*b/disp
Y＝(Imgy-cy)*b/disp
其中，b为双目立体视觉成像系统模型的左右相机间距；F为相机焦距； cx与cy为相机主点的图像坐标，Imgx和Imgy是所述检测区域内的图像坐标点；disp为图像点坐标为(Imgx，Imgy)的视差值；X是距离相机的横向距离，Y是距离相机的纵向距离，Z是距离相机的深度。
根据本发明的又一个方面，提供一种自动驾驶系统，并采用如下技术方案：
自动驾驶系统包括上述的车辆伪道路纹理特征检测装置。
本发明通过对同一道路场景的图像进行一系列的处理，利用检测区域的图像信息和视差信息计算检测区域点云信息以及利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测，以此帮助辅助驾驶的道路感知功能提高多帧融合准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的车辆道路纹理特征检测方法的流程图；
图2为本发明实施例所述的双目相机灰度图与对应的视差图；
图3为本发明实施例所述的基于左相机建立的世界坐标系示意图；
图4为本发明实施例所述的车辆道路纹理特征检测方法的具体流程图；
图5为本发明实施例所述的车辆道路纹理特征检测装置的示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
图1为本发明实施例所述的车辆道路纹理特征检测方法的流程图。
参见图1所示，一种道路纹理特征检测方法包括：
S101：基于同一道路场景的左视图及右视图获取该道路场景的稠密视差图；
S103：在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域；
S105：基于检测区域的图像信息和视差信息计算检测区域点云信息；
S107：利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；
S109：用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测。
具体的，在步骤S101中，基于同一道路场景的左视图及右视图获取该道路场景的稠密视差图；首先，建立双目相机成像数学模型，利用双目相机的原始灰度图，逐点计算视差(仅针对左、右相机重合且有效的图像区域)，得到与原始图像对应的视差图，如图2所示，在视差图的基础上，通过在左视图中选取固定尺寸的模板窗口，在右视图中遍历选取相同尺寸的滑动窗口，滑动最大距离对应最大视差Dispmax，逐个计算两个窗口的匹配代价值，当滑动距离u 与激光点云所测的距离z满足u＝bf/z时，令当前滑动距离对应的匹配代价值为0，且令其他滑动距离对应的匹配代价值为最大值，对左视图中每个像素点重复上述步骤，生成初始匹配代价图集，然后构建能量函数，设置惩罚参数，对于小的视差相差使用较小的惩罚参数P1，以适应斜面或曲面，对于大的视差相差使用较大的惩罚参数P2，来防止深度(视差)不连续，生成的路径代价数据项进行聚合，像素p在视差为disp时，对应r个路径代价值,将多个路径代价值求和记为聚合代价值。选择每个像素聚合代价值最小时对应视差作为像素的最终视差值，对所述左视图中每个像素点重复上述步骤，即生成所述稠密视差图。在步骤，S103中，在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域；双目相机安装于车辆正前方中间位置，基于左相机建立的世界坐标系如图3所示。
X轴：面向前方时，指向车辆右侧；
Y轴：垂直于地面指向上方；
Z轴：指向车辆前进方向；
已知两相机部分参数：两个光心基距B，焦距f，左相机光心行列坐标 (crow,ccol)。若某一像素行列坐标为(row,col)，视差为d，则三维坐标计算公式如下：
Figure BDA0003201664350000061
Figure BDA0003201664350000071
Figure BDA0003201664350000072
然后，在该世界坐标系下，以该预设检测区域为基准截取稠密视差图中对应的检测区域，首先根据检测深度要求与检测宽度要求计算在世界坐标系下的预设检测区域，再将该预设检测区域通过仿射变换的方式换算为图像坐标系中的检测区域。
在步骤S105中，基于检测区域的图像信息和视差信息计算检测区域点云信息，具体包括：对检测区域的图像信息进行分割，并对该图像信息进行处理，依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换，获取检测区域的点云信息，具体转换公式如下所示：
Z＝b*F/disp
X＝(Imgx-cx)*b/disp
Y＝(Imgy-cy)*b/disp
其中，b为双目立体视觉成像系统模型的左右相机间距；F为相机焦距； cx与cy为相机主点的图像坐标，Imgx和Imgy是所述检测区域内的图像坐标点；disp为图像点坐标为(Imgx，Imgy)的视差值；X是距离相机的横向距离，Y是距离相机的纵向距离，Z是距离相机的深度。
在步骤S107中，利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面，具体包括：通过二维图像信息和点云信息计算单应性变换矩阵，变换表述为：
Figure BDA0003201664350000073
Projx＝X*scalex
Projy＝Z*scalez
其中，X是距离相机的横向距离，Z是距离相机的深度；Imgx和Imgy是检测区域内的图像坐标点；Projx和Projy是检测区域内的投影面坐标点；H 为所述单应性变换矩阵。
进一步地，所述用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测包括：根据需求选择某一特定的Gabor函数,设计Gabor滤波核,以实现图像的多尺度、多方向的横向纹理特征提取，提取公式如下：
Figure BDA0003201664350000081
其中,
x′＝x cosθ+y sinθ
y′＝-x sinθ+y cosθ
λ为波长,其大小直接影响滤波器的滤波尺度；θ为滤波器的方向,可通过改变θ使滤波器检测不同方向上的纹理；ψ是相位偏移；γ为空间纵横比, 决定着滤波器的形状；σ为高斯滤波器的方差；
提取Gabor函数的实数部分，对实数部分进行卷积来达到进行纹理特征检测，该实数部分为：
Figure BDA0003201664350000082
λ为波长,其大小直接影响滤波器的滤波尺度；θ为滤波器的方向,可通过改变θ使滤波器检测不同方向上的纹理；ψ是相位偏移；γ为空间纵横比, 决定着滤波器的形状；σ为高斯滤波器的方差；使用Gabor滤波器对纹理图像进行滤波,每个Gabor滤波器只允许与其频率相对应的纹理通过,使其他不满足参数条件的纹理受到抑制,滤波后的投影图水平纹理会被增强,而其他方向的纹理会被减弱，对滤波结果进行二值化和连通域检测，保留并储存长度大于预设阈值的连通域。
在步骤S109中，用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测，具体包括：所述用 Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测包括：跟踪前后帧的纹理信息：用到归一化相关系数匹配法进行前一帧纹理信息和后一帧纹理信息之间的匹配,即利用相关系数公式计算相关系数,得到相关系数矩阵，相关系数矩阵的定义为：
Figure BDA0003201664350000091
其中,
Figure BDA0003201664350000092
为前一帧纹理区域的灰度均值,
Figure BDA0003201664350000093
为下一帧待匹配区域的灰度均值，相关系数表示两者之间的近似程度,相关系数越接近1,两者越近似的有线性关系，取相关系数矩阵NCC(i,j)中的峰值点作为最佳匹配点P,修正后的X方向及Z方向的位移分别为|C1_x-P_x|、|C1_y-P_y|,取多个纹理重心与最佳匹配点坐标的差值的均值,并将换算为实际距离即为ΔX和ΔZ，ΔX和ΔZ 即为两帧图像场景之间的横向移动距离和纵向移动距离。
图4为本发明实施例所述的车辆道路纹理特征检测方法的具体流程图。
参见图4所示，作为优选的实施方式，车辆道路纹理特征检测方法具体包括：
步骤41：根据获取的左图和右图，计算稠密视差图；
步骤42：检测区域计算；
步骤43：图像坐标系转换为世界坐标系；
步骤44：计算单应性转换矩阵，生成投影面；
步骤45：路面纹理检测；
步骤46：路面纹理匹配；
步骤47：相邻帧移动距离计算。
因此，本发明通过对同一道路场景的图像的处理，利用检测区域的图像信息和视差信息计算检测区域点云信息以及利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测，以此帮助辅助驾驶的道路感知功能提高多帧融合准确性。
图5为本发明实施例所述的车辆道路纹理特征检测装置的示意图。
参见图5所示，车辆道路纹理特征检测装置具体包括：获取模块50，用于基于同一道路场景的左视图及右视图获取该道路场景的稠密视差图；截取模块52，用于在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域；计算模块54，用于基于检测区域的图像信息和视差信息计算检测区域点云信息；变换模块56，用于利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；提取模块58，用于用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测。
可选地，所述截取模块52包括：仿射变换模块(图中未示)，用于根据检测深度要求与检测宽度要求计算在世界坐标系下的预设检测区域，再将该预设检测区域通过仿射变换的方式换算为图像坐标系中的检测区域。
本发明提供的一种自动驾驶系统包括上述的车辆伪道路纹理特征检测装置。
本发明通过对同一道路场景的图像进行一系列的处理，利用检测区域的图像信息和视差信息计算检测区域点云信息以及利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测，以此帮助辅助驾驶的道路感知功能提高多帧融合准确性。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (10)

1.一种道路纹理特征检测方法，其特征在于，包括：
基于同一道路场景的左视图及右视图获取该道路场景的稠密视差图；
在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域；
基于检测区域的图像信息和视差信息计算检测区域点云信息；
利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；
用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测。
2.根据权利要求1所述的道路纹理特征检测方法，其特征在于，所述在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域包括：
根据检测深度要求与检测宽度要求计算在世界坐标系下的预设检测区域，再将该预设检测区域通过仿射变换的方式换算为图像坐标系中的检测区域。
3.根据权利要求1所述的道路纹理特征检测方法，其特征在于，所述基于检测区域的图像信息和视差信息计算检测区域点云信息包括：
对检测区域的图像信息进行分割，并对该图像信息进行处理，依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换，获取检测区域的点云信息，具体转换公式如下所示：
Z＝b*F/disp
X＝(Imgx-cx)*b/disp
Y＝(Imgy-cy)*b/disp
其中，b为双目立体视觉成像系统模型的左右相机间距；F为相机焦距；cx与cy为相机主点的图像坐标，Imgx和Imgy是所述检测区域内的图像坐标点；disp为图像点坐标为(Imgx，Imgy)的视差值；X是距离相机的横向距离，Y是距离相机的纵向距离，Z是距离相机的深度。
4.根据权利要求1所述的道路纹理特征检测方法，其特征在于，所述利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面包括：
通过二维图像信息和点云信息计算单应性变换矩阵，变换表述为：
Figure FDA0003201664340000021
Projx＝X*Scalex
Projy＝Z*scalez
其中，X是距离相机的横向距离，Z是距离相机的深度；
Imgx和Imgy是检测区域内的图像坐标点；
Projx和Projy是检测区域内的投影面坐标点；
H为所述单应性变换矩阵。
5.根据权利要求1所述的道路纹理特征检测方法，其特征在于，所述用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测包括：
根据需求选择某一特定的Gabor函数，设计Gabor滤波核，以实现图像的多尺度、多方向的横向纹理特征提取，提取公式如下：
Figure FDA0003201664340000022
其中，
x′＝x cosθ+y sinθ
y′＝-x sinθ+y cosθ
λ为波长，其大小直接影响滤波器的滤波尺度；θ为滤波器的方向，可通过改变θ使滤波器检测不同方向上的纹理；ψ是相位偏移；γ为空间纵横比，决定着滤波器的形状；σ为高斯滤波器的方差；
提取Gabor函数的实数部分，对实数部分进行卷积来达到进行纹理特征检测，该实数部分为：
Figure FDA0003201664340000031
λ为波长，其大小直接影响滤波器的滤波尺度；θ为滤波器的方向，可通过改变θ使滤波器检测不同方向上的纹理；ψ是相位偏移；γ为空间纵横比，决定着滤波器的形状；σ为高斯滤波器的方差。
6.根据权利要求1所述的道路纹理特征检测方法，其特征在于，所述用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测包括：
跟踪前后帧的纹理信息：用到归一化相关系数匹配法进行前一帧纹理信息和后一帧纹理信息之间的匹配，即利用相关系数公式计算相关系数，得到相关系数矩阵，相关系数矩阵的定义为：
Figure FDA0003201664340000032
其中，
Figure FDA0003201664340000033
为前一帧纹理区域的灰度均值，
Figure FDA0003201664340000034
为下一帧待匹配区域的灰度均值，相关系数表示两者之间的近似程度，相关系数越接近1，两者越近似的有线性关系，取相关系数矩阵NCC(i，j)中的峰值点作为最佳匹配点P，修正后的X方向及Z方向的位移分别为|C1_x-P_x|、|C1_y-P_y|，取多个纹理重心与最佳匹配点坐标的差值的均值，并将换算为实际距离即为ΔX和ΔZ，ΔX和ΔZ即为两帧图像场景之间的横向移动距离和纵向移动距离。
7.一种道路纹理特征检测装置，其特征在于，包括：
获取模块，用于基于同一道路场景的左视图及右视图获取该道路场景的稠密视差图；
截取模块，用于在世界坐标系下预设检测区域，以该预设检测区域为基准截取稠密视差图中对应的检测区域；
计算模块，用于基于检测区域的图像信息和视差信息计算检测区域点云信息；
变换模块，用于利用二维图像信息和点云信息进行单应性变换，将检测区域的图像转换至投影平面；
提取模块，用于用Gabor滤波器对投影平面的横向纹理特征做提取，并通过多帧纹理特征匹配，实现对道路纹理特征跟踪检测。
8.根据权利要求7所述的道路纹理特征检测装置，其特征在于，所述截取模块包括：
仿射变换模块，用于根据检测深度要求与检测宽度要求计算在世界坐标系下的预设检测区域，再将该预设检测区域通过仿射变换的方式换算为图像坐标系中的检测区域。
9.根据权利要求7所述的道路纹理特征检测装置，其特征在于，所述计算模块包括：
分割模块，用于对检测区域的图像信息进行分割，并对该图像信息进行处理，依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换，获取检测区域的点云信息，具体转换公式如下所示：
Z＝b*F/disp
X＝(Imgx-cx)*b/disp
Y＝(Imgy-cy)*b/disp
其中，b为双目立体视觉成像系统模型的左右相机间距；F为相机焦距；cx与cy为相机主点的图像坐标，Imgx和Imgy是所述检测区域内的图像坐标点；disp为图像点坐标为(Imgx，Imgy)的视差值；X是距离相机的横向距离，Y是距离相机的纵向距离，Z是距离相机的深度。
10.一种自动驾驶系统，其特征在于，包括权利要求7-9任一项所述的车辆伪道路纹理特征检测装置。
CN202110906132.0A 2021-08-09 2021-08-09 一种道路纹理特征检测方法、装置与自动驾驶系统 Pending CN113838111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110906132.0A CN113838111A (zh) 2021-08-09 2021-08-09 一种道路纹理特征检测方法、装置与自动驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110906132.0A CN113838111A (zh) 2021-08-09 2021-08-09 一种道路纹理特征检测方法、装置与自动驾驶系统

Publications (1)

Publication Number Publication Date
CN113838111A true CN113838111A (zh) 2021-12-24

Family

ID=78963015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110906132.0A Pending CN113838111A (zh) 2021-08-09 2021-08-09 一种道路纹理特征检测方法、装置与自动驾驶系统

Country Status (1)

Country Link
CN (1) CN113838111A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974492A (zh) * 2024-03-28 2024-05-03 陕西中环机械有限责任公司 一种智能铣刨机优化控制方法及系统
CN117974492B (zh) * 2024-03-28 2024-06-11 陕西中环机械有限责任公司 一种智能铣刨机优化控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504721A (zh) * 2015-01-08 2015-04-08 中国科学院合肥物质科学研究院 一种基于Gabor小波变换纹理描述的非结构化道路检测方法
CN109945841A (zh) * 2019-03-11 2019-06-28 南京航空航天大学 一种无编码点的工业摄影测量方法
CN111009007A (zh) * 2019-11-20 2020-04-14 华南理工大学 一种指部多特征全面三维重建方法
CN111242000A (zh) * 2020-01-09 2020-06-05 电子科技大学 一种结合激光点云转向的道路边沿检测方法
US20200349846A1 (en) * 2018-01-08 2020-11-05 Foresight Automotive Ltd. A multi-spectral system for providing precollision alerts
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504721A (zh) * 2015-01-08 2015-04-08 中国科学院合肥物质科学研究院 一种基于Gabor小波变换纹理描述的非结构化道路检测方法
US20200349846A1 (en) * 2018-01-08 2020-11-05 Foresight Automotive Ltd. A multi-spectral system for providing precollision alerts
CN109945841A (zh) * 2019-03-11 2019-06-28 南京航空航天大学 一种无编码点的工业摄影测量方法
CN111009007A (zh) * 2019-11-20 2020-04-14 华南理工大学 一种指部多特征全面三维重建方法
CN111242000A (zh) * 2020-01-09 2020-06-05 电子科技大学 一种结合激光点云转向的道路边沿检测方法
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晓云: "复杂环境下的道路检测算法研究", 《万方数据知识服务平台学位论文库》, pages 1 - 76 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974492A (zh) * 2024-03-28 2024-05-03 陕西中环机械有限责任公司 一种智能铣刨机优化控制方法及系统
CN117974492B (zh) * 2024-03-28 2024-06-11 陕西中环机械有限责任公司 一种智能铣刨机优化控制方法及系统

Similar Documents

Publication Publication Date Title
US11093763B2 (en) Onboard environment recognition device
JP6013884B2 (ja) 物体検出装置及び物体検出方法
JP4956452B2 (ja) 車両用環境認識装置
CN105313782B (zh) 车辆行驶辅助系统及其方法
US9378553B2 (en) Stereo image processing device for vehicle
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
US7660436B2 (en) Stereo-vision based imminent collision detection
JP3868876B2 (ja) 障害物検出装置及び方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
US20130177237A1 (en) Stereo-vision object detection system and method
EP1403615B1 (en) Apparatus and method for processing stereoscopic images
Gao et al. UV-disparity based obstacle detection with 3D camera and steerable filter
JP2013109760A (ja) 対象検知方法及び対象検知システム
US20090184845A1 (en) Vehicle Detecting System
CN111971682A (zh) 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法
CN112883790A (zh) 一种基于单目摄像头的3d物体检测方法
CN112991369A (zh) 基于双目视觉的行驶车辆外廓尺寸检测方法
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
Lion et al. Smart speed bump detection and estimation with kinect
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
JP5073700B2 (ja) 物体検出装置
KR101402089B1 (ko) 장애물 검출 장치 및 방법
JP2015179066A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
Romdhane et al. A generic obstacle detection method for collision avoidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination