CN112488212A - 一种基于双目视差的车道线识别方法 - Google Patents

一种基于双目视差的车道线识别方法 Download PDF

Info

Publication number
CN112488212A
CN112488212A CN202011399549.4A CN202011399549A CN112488212A CN 112488212 A CN112488212 A CN 112488212A CN 202011399549 A CN202011399549 A CN 202011399549A CN 112488212 A CN112488212 A CN 112488212A
Authority
CN
China
Prior art keywords
response
color
cells
contour
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011399549.4A
Other languages
English (en)
Other versions
CN112488212B (zh
Inventor
范影乐
魏楚洁
郭斌
武薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Sentiments Information Technology Co ltd
Hangzhou Dianzi University
Original Assignee
Hangzhou Sentiments Information Technology Co ltd
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Sentiments Information Technology Co ltd, Hangzhou Dianzi University filed Critical Hangzhou Sentiments Information Technology Co ltd
Priority to CN202011399549.4A priority Critical patent/CN112488212B/zh
Publication of CN112488212A publication Critical patent/CN112488212A/zh
Application granted granted Critical
Publication of CN112488212B publication Critical patent/CN112488212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目视差的车道线识别方法。构建具有双目视差特性的前馈补偿通路，包括颜色拮抗动态编码、视差能量模型编码、曲率形状编码、多尺度特征融合层和前馈补偿调节模块。通过动态调整各颜色通道中不同拮抗细胞的连接权重，获得原始道路图像的初始轮廓响应；引入双目视差能量模型分离初始轮廓响应的特征，获得位置差和相位差响应；构建不同相位的末端停止细胞提取车道线轮廓；提出多尺度感受野融合策略，降低误识别车道线的比例；利用跨层级的前馈机制进一步锐化车道线边缘细节。本发明考虑了双感受野的位置差和相位差，针对环境轮廓丰富的道路图像，在保留车道线边界信息的同时，可以有效去除车辆、建筑、阴影等因素的干扰。

Description

一种基于双目视差的车道线识别方法
技术领域
本发明属于图像处理和视觉理解领域，具体涉及一种基于双目视差的车道线识别方法。
背景技术
车道线识别技术对于智能辅助驾驶系统领域具有重要的意义。传统车道线识别方法依赖于边缘像素点的颜色或亮点跳变，例如以Sobel算子和Canny算法为代表的边缘检测模型，利用空域卷积运算优化了常规背景下局部区域的轮廓提取过程，但由于缺乏必要的视觉感知机制支持，所以很难解决复杂道路图像背景和车道线轮廓精细化提取之间的矛盾。
近年来基于视觉感知机制的车道线方法受到了关注，例如有的研究基于感受野的抑制性作用，提出了一种多尺度积分的轮廓提取方法；还有的研究利用初级视皮层定向调整细胞的响应特性进行显著边界检索。但目前研究通常只关注于单一的感受野特性，例如基于双侧非对称感受野机制的方法，仅考虑了感受野的位置差，这将导致感受野单一的兴奋/抑制交替排序区域对轮廓边缘的区分能力下降，无法有效的进行局部区域的纹理抑制；例如还有研究基于时空滤波器的模型仅考虑了感受野的相位差，这将导致无法对图像的不同区域形成较强的对比度差异。
并且生物学研究发现，在动物纹状体皮层简单细胞的左右感受野中，相位差占主导方式，位置差作为相位差的补充，两种机制共同作用表现出对方向和空间频率的响应。事实上，生物视觉系统对外界刺激的感知本身就应该是一个双目视差信息融合的过程。
发明内容
针对现有技术的不足，本发明提出了一种基于双目视差的车道线识别方法，根据双目视差信息融合的特征，建立视皮层简单细胞和复杂细胞的的感受野模型，并提出一种多尺度的感受野融合策略，最后利用跨层级的前馈机制实现车道线边缘细节特征的进一步锐化，弥补现有技术中仅考虑单一感受野的位置差或相位差导致的纹理抑制与对比度弱的缺陷。
一种基于双目视差的车道线识别方法，具体包括以下步骤：
步骤一、构建双目视差前馈补偿通路。
双目视差前馈补偿通路包括颜色拮抗动态编码模块、视差能量模型编码模块、曲率形状编码模块、多尺度特征融合层模块和前馈补偿调节模块。双目视差前馈补偿通路的尺寸与原始道路图像Input(x,y)(x＝1,2,…,M；y＝1,2,…,N)的尺寸相同，其中M、N分别表示原始道路图像的长度尺寸与宽度尺寸。
步骤二、颜色拮抗动态编码。
2.1、模拟视网膜对原始道路图像各颜色通道的分离特性，将原始道路图像Input(x,y)分成红、绿、蓝、黄颜色通道R(x,y)、G(x,y)、B(x,y)、Y(x,y)，对每个颜色通道进行相同尺度的二维高斯滤波处理，得到相应的各颜色通道输出
Figure BDA0002812068540000021
2.2、构建余弦加权的局部窗口Ω，权重函数Wcos(x,y)为：
Figure BDA0002812068540000022
其中，δ表示局部窗口Ω的半径，当Ω被设置为正方形局部窗口时，Ω的边长为ws＝2×δ+1；π表示圆周率，(xi,yi)表示局部窗口Ω的中心点坐标。利用公式(1)分别提取红、绿、蓝、黄颜色通道R(x,y)、G(x,y)、B(x,y)、Y(x,y)的局部亮度信息，然后获取各颜色通道中所有像素的亮度最大值Rmax、Gmax、Bmax、Ymax。
2.3、对相应颜色通道的局部亮度进行归一化处理。不断移动局部窗口Ω的中心(xi,yi)，得到绿颜色通道在整个空间上的局部亮度平均值Gavg(x,y)，计算公式为：
Figure BDA0002812068540000023
其中x＝1,2,…,M；y＝1,2,…,N。以此类推，同理可得红、蓝、黄颜色通道在整个空间上的局部亮度平均值Ravg(x,y)、Bavg(x,y)、Yavg(x,y)。
2.4、根据颜色拮抗细胞的非平衡性，将各颜色通道的局部亮度平均值Gavg(x,y)、Ravg(x,y)、Bavg(x,y)、Yavg(x,y)作为自适应特征调节因子，利用sigmoid激活函数实现连接权重的动态化约束，其中各颜色通道的连接权重ωR(x,y)、ωG(x,y)、ωB(x,y)、ωY(x,y)反映了拮抗细胞对颜色和亮度信息的综合响应能力，绿颜色通道的连接权重ωG(x,y)的计算公式为：
Figure BDA0002812068540000024
式中，len表示颜色权重调节参数，e为自然常数。同理可得红、蓝、黄颜色通道的连接权重ωR(x,y)、ωB(x,y)、ωY(x,y)。
2.5、针对各颜色拮抗通道R+/G-、R-/G+、B+/Y-、B-/Y+，将对应的单拮抗颜色编码响应分别标记为Srg(x,y)、Sgr(x,y)、Sby(x,y)、Syb(x,y)，并融合上述不同的单拮抗颜色编码响应，得到道路图像的初级轮廓响应图SOcontour(x,y)。
步骤三、双目视差信息融合。
3.1、根据位置差和相位差，建立V1区基于双目视差特性的左右眼简单细胞感受野模型
Figure BDA0002812068540000033
和
Figure BDA0002812068540000034
其中位置差决定了左右眼简单细胞感受野中心位置的差异，通过下标po1、po2进行区分；相位差决定了左右眼简单细胞感受野on-off区域交替排列的次序，分别设置为0°和90°，通过下标ph1和ph2进行区分。
Figure BDA0002812068540000031
其中，σi表示左右眼简单细胞感受野的尺度，由于不同尺度的图像存在特征差异，默认选用3组不同大小的尺度σi(i＝1,2,3)；考虑到多方向对于图像边界轮廓的精细响应，模型默认选用12个不同方向，记为θj(θj＝30°×j,j＝0,1,...,11)；λ表示频率调节参数；其中
Figure BDA0002812068540000032
μ表示左右简单细胞感受野与中心位置的偏差；γ表示椭圆率参数。
3.2、选择两组相位差相同、位置差不同的左右眼简单细胞，结合步骤二道路图像的初级轮廓响应输入SOcontour(x,y)，得到相位为0°和90°的简单细胞响应
Figure BDA00028120685400000421
Figure BDA00028120685400000420
Figure BDA0002812068540000041
式中，*表示卷积运算，下同。
3.3、对相位为0°和90°的简单细胞响应
Figure BDA0002812068540000042
和
Figure BDA0002812068540000043
进行平方求和，得到复杂细胞的响应输出CC(x,y；σi,θj)：
Figure BDA0002812068540000044
步骤四、图像轮廓信息提取与组合。
4.1、分别选择V1区相位为0°和90°的简单细胞响应
Figure BDA0002812068540000045
结合复杂细胞CC(x,y；σi,θj)的前馈输入，在视皮层V2中构建相位为0°和90°的末端停止细胞组
Figure BDA0002812068540000046
和
Figure BDA0002812068540000047
Figure BDA0002812068540000048
式中，λc表示简单细胞的权重常量，
Figure BDA0002812068540000049
和
Figure BDA00028120685400000410
表示两个复杂细胞的权重常量；
Figure BDA00028120685400000411
和
Figure BDA00028120685400000412
表示不同响应方向的复杂细胞；ψ(·)是校正函数，用于将小于0的数赋值为0，
Figure BDA00028120685400000413
4.2、比较视差末端停止细胞
Figure BDA00028120685400000414
和
Figure BDA00028120685400000415
在所有方向上的边界轮廓响应值，获得不同尺度下最优朝向响应值
Figure BDA00028120685400000416
和
Figure BDA00028120685400000417
4.3、在视皮层V4中通过比较不同相位简单细胞的视差响应差别ΔD(x,y)，作为输出图像组合的指导信息，得到不同尺度下末端停止细胞的视差形状编码结果
Figure BDA00028120685400000418
Figure BDA00028120685400000419
Figure BDA0002812068540000051
其中，Φ(·)表示线性归一化处理。
步骤五、多尺度特征融合。
选择纹理信息最少的大尺度曲率单元
Figure BDA0002812068540000052
中的像素作为基准，分别比较小尺度曲率单元
Figure BDA0002812068540000053
和中尺度曲率单元
Figure BDA0002812068540000054
的像素点，计算不同尺度下曲率细胞响应差的比值，作为图像轮廓像素点和纹理像素点的判别依据，得到对应像素点的权重矩阵W(x,y)：
Figure BDA0002812068540000055
将对应像素点的权重矩阵W(x,y)应用到不同尺度的曲率单元中，得到多尺度特征融合响应图R(x,y)：
Figure BDA0002812068540000056
步骤六、前馈补偿调节。
将道路图像的初级轮廓响应图SOcontour(x,y)作为前馈信息，以调控系数的形式作用于对应通道的多尺度特征融合响应图R(x,y)，得到车道线的最终轮廓响应图F(x,y)：
F(x,y)＝R(x,y)*SOcontour(x,y) (12)。
本发明具有以下有益效果：
1、构建的视差模型，综合考虑了位置差和相位差的视差编码信息，能够更加有效的针对感受野on-off交替次序进行形状编码，实现对车道线轮廓信息的局部曲率提取。
2、提出动态调整颜色通道中不同拮抗细胞连接权重的机制，利用区域亮度较低时对颜色信息敏感度低，亮度较高时对亮度信息敏感更高的特性进行权重的调节。
3、考虑到不同尺度之间信息的交互联系，提出多尺度感受野特征融合的策略，以大尺度曲率单元的像素为基准，通过比较较小尺度和中尺度的像素点获得权重矩阵。
4、利用跨层级的前馈调节机制实现车道线边缘细节特征的进一步锐化。
附图说明
图1为实例的轮廓检测流程图；
图2为视差模型中位置差原理示意图；
图3为视差模型中相位差原理示意图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
如图1所示，一种基于双目视差的车道线分割方法，具体包括以下步骤：
步骤一、构建双目视差前馈补偿通路。
双目视差前馈补偿通路包括颜色拮抗动态编码模块、视差能量模型编码模块、曲率形状编码模块、多尺度特征融合层模块和前馈补偿调节模块。双目视差前馈补偿通路的尺寸与原始道路图像Input(x,y)(x＝1,2,…,M；y＝1,2,…,N)的尺寸相同，其中M、N分别表示原始道路图像的长度尺寸与宽度尺寸。
步骤二、颜色拮抗动态编码。
通过对原始道路图像Input(x,y)各颜色通道局部亮度信息的提取，实现单拮抗细胞连接权重的动态调整，融合不同单拮抗颜色编码响应得到原始道路图像的初级轮廓响应图SOcontour(x,y)。
2.1、模拟视网膜对原始道路图像各颜色通道的分离特性，将原始道路图像Input(x,y)分成红、绿、蓝、黄颜色通道R(x,y)、G(x,y)、B(x,y)、Y(x,y)，对每个颜色通道进行尺度为1.5的二维高斯滤波处理，得到相应的各颜色通道输出
Figure BDA0002812068540000061
2.2、构建余弦加权的局部窗口Ω，权重函数Wcos(x,y)为：
Figure BDA0002812068540000062
其中，δ表示局部窗口Ω的半径，δ＝5；当Ω被设置为正方形局部窗口时，Ω的边长ws＝11；π表示圆周率，(xi,yi)表示局部窗口Ω的中心点坐标。利用公式(1)分别提取红、绿、蓝、黄颜色通道R(x,y)、G(x,y)、B(x,y)、Y(x,y)的局部亮度信息，然后获取各颜色通道中所有像素的亮度最大值Rmax、Gmax、Bmax、Ymax。
2.3、对相应颜色通道的局部亮度进行归一化处理。不断移动局部窗口Ω的中心(xi,yi)，得到绿颜色通道在整个空间上的局部亮度平均值Gavg(x,y)，计算公式为：
Figure BDA0002812068540000071
其中x＝1,2,…,M；y＝1,2,…,N。以此类推，同理可得红、蓝、黄颜色通道在整个空间上的局部亮度平均值Ravg(x,y)、Bavg(x,y)、Yavg(x,y)。
2.4、根据颜色拮抗细胞的非平衡性，将各颜色通道的局部亮度平均值Gavg(x,y)、Ravg(x,y)、Bavg(x,y)、Yavg(x,y)作为自适应特征调节因子，利用sigmoid激活函数实现连接权重的动态化约束，其中各颜色通道的连接权重ωR(x,y)、ωG(x,y)、ωB(x,y)、ωY(x,y)反映了拮抗细胞对颜色和亮度信息的综合响应能力，绿颜色通道的连接权重ωG(x,y)的计算公式为：
Figure BDA0002812068540000072
式中，len表示颜色权重调节参数，各颜色通道连接权重的曲线会随着len的增大而陡峭，亮度特征信息也会相应增加，而图像的纹理特征会相应减少，len＝0.9。e为自然常数。同理可得红、蓝、黄颜色通道的连接权重ωR(x,y)、ωB(x,y)、ωY(x,y)。
2.5、针对各颜色拮抗通道R+/G-、R-/G+、B+/Y-、B-/Y+，将对应的单拮抗颜色编码响应分别标记为Srg(x,y)、Sgr(x,y)、Sby(x,y)、Syb(x,y)，单拮抗颜色编码响应Srg(x,y)的计算公式为：
Figure BDA0002812068540000073
式中，*表示卷积运算，下同。同理可计算单拮抗颜色编码响应Sgr(x,y)、Sby(x,y)、Syb(x,y)。融合上述不同的单拮抗颜色编码响应，得到道路图像的初级轮廓响应图SOcontour(x,y)：
SOcontour(x,y)＝max(Srg(x,y),Sgr(x,y),Sby(x,y),Syb(x,y)) (5)
式中，max(·)表示取不同单拮抗颜色通道集合的最大值。
步骤三、双目视差信息融合。
位置差决定了左右眼简单细胞感受野中心位置的差异，相位差决定了左右眼简单细胞感受野on-off区域交替排列的的次序；根据双目视差信息融合的特征，构建视差能量模型编码模块。模拟初级视皮层简单细胞和复杂细胞的结构差异，分别构建对应的感受野模型，并计算复杂细胞的响应输出。
3.1、如图2、图3所示，根据位置差和相位差，建立V1区基于双目视差特性的左右眼简单细胞感受野模型
Figure BDA0002812068540000081
和
Figure BDA0002812068540000082
其中位置差决定了左右眼简单细胞感受野中心位置的差异，通过下标po1、po2进行区分；相位差决定了左右眼简单细胞感受野on-off区域交替排列的次序，分别设置为0°和90°，通过下标ph1和ph2进行区分。
Figure BDA0002812068540000083
其中，σi表示左右眼简单细胞感受野的尺度，由于不同尺度的图像存在特征差异，默认选用3组不同大小的尺度σi(i＝1,2,3)，分别设置为σi＝[3,5,10]；考虑到多方向对于图像边界轮廓的精细响应，模型默认选用12个不同方向，记为θj(θj＝30°×j,j＝0,1,...,11)；λ表示频率调节参数；其中
Figure BDA0002812068540000084
μ表示左右眼简单细胞感受野与中心位置的偏差，默认设置为0.1；γ表示椭圆率参数，默认设置为0.5。
3.2、根据视差能量模型，简单细胞的响应为左右眼感受野对图像滤波后结果的线性叠加，因此选择两组相位差相同、位置差不同的左右眼简单细胞，结合步骤二得到的道路图像的初级轮廓响应输入SOcontour(x,y)，得到相位为0°和90°的简单细胞响应
Figure BDA0002812068540000085
Figure BDA0002812068540000091
Figure BDA0002812068540000092
3.3、根据视差能量模型描述V1区复杂细胞的视差选择特性，对相位为0°和90°的简单细胞响应
Figure BDA0002812068540000093
和
Figure BDA0002812068540000094
进行平方求和，得到复杂细胞的响应输出CC(x,y；σi,θj)：
Figure BDA0002812068540000095
步骤四、图像轮廓信息提取与组合。
末端停止细胞可以模拟成一个中心简单细胞的末端受到两个移位复杂细胞的抑制作用，当受到轮廓曲线的响应时，中心简单细胞会发出电刺激信号，而位于两侧感受野较大的复杂细胞会进行不同角度的旋转抑制电刺激信号。当电刺激信号的值到达最大时，末端停止细胞会根据旋转分量的不同计算凹凸度，从而提取图像轮廓。
4.1、分别选择V1区相位为0°和90°的简单细胞响应
Figure BDA0002812068540000096
结合复杂细胞CC(x,y；σi,θj)的前馈输入，在视皮层V2中构建相位为0°和90°的末端停止细胞组
Figure BDA0002812068540000097
和
Figure BDA0002812068540000098
Figure BDA0002812068540000099
式中，λc表示简单细胞的权重常量，
Figure BDA00028120685400000910
和
Figure BDA00028120685400000911
表示两个复杂细胞的权重常量，
Figure BDA00028120685400000912
Figure BDA00028120685400000913
和
Figure BDA00028120685400000914
表示不同响应方向的复杂细胞，其中
Figure BDA00028120685400000915
ψ(·)是校正函数，用于将小于0的数赋值为0，下同。
4.2、比较视差末端停止细胞
Figure BDA00028120685400000916
和
Figure BDA00028120685400000917
在所有方向上的边界轮廓响应值，获得不同尺度下最优朝向响应值
Figure BDA00028120685400000918
和
Figure BDA00028120685400000919
Figure BDA00028120685400000920
4.3、在视皮层V4中利用末端停止细胞对边界轮廓的响应特性，进行图像轮廓局部曲率的视差形状编码。通过比较不同相位简单细胞的视差响应差别ΔD(x,y)，作为输出图像组合的指导信息，得到不同尺度下末端停止细胞的视差形状编码结果
Figure BDA0002812068540000101
Figure BDA0002812068540000102
Figure BDA0002812068540000103
其中，Φ(·)表示线性归一化处理。
步骤五、多尺度特征融合。
通过分析末端停止细胞的视差形状编码结果，对图像的轮廓和纹理像素点进行判别，得到对应像素点的权重矩阵W(x,y)，并根据权重矩阵计算得到多尺度特征融合响应图R(x,y)。考虑到图像的轮廓和纹理在不同尺度上具有不一致性和差异性的特点，步骤三中得到的小尺度下曲率单元中的轮廓信息虽然完整，但包含较多纹理；而大尺度曲率单元中的部分纹理虽然被抑制，但是原有的轮廓信息也遭到破坏。因此选择纹理信息最少的大尺度曲率单元
Figure BDA0002812068540000104
中的像素作为基准，分别比较小尺度曲率单元
Figure BDA0002812068540000105
和中尺度曲率单元
Figure BDA0002812068540000106
的像素点，计算不同尺度下曲率细胞响应差的比值，作为图像轮廓像素点和纹理像素点的判别依据，得到对应像素点的权重矩阵W(x,y)：
Figure BDA0002812068540000107
将对应像素点的权重矩阵W(x,y)应用到不同尺度的曲率单元中，得到多尺度特征融合响应图R(x,y)：
Figure BDA0002812068540000108
步骤六、前馈补偿调节。
由于初级轮廓的特征信息比较完整，因此将初级轮廓响应图SOcontour(x,y)作为跨层级前馈机制的前馈信息，以调控系数的形式作用于对应通道的多尺度特征融合响应图R(x,y)，得到车道线的最终轮廓响应图F(x,y)：
F(x,y)＝R(x,y)*SOcontour(x,y) (15)。

Claims (4)

1.一种基于双目视差的车道线识别方法，其特征在于：具体包括以下步骤：
步骤一、构建双目视差前馈补偿通路；
双目视差前馈补偿通路包括颜色拮抗动态编码模块、视差能量模型编码模块、曲率形状编码模块、多尺度特征融合层模块和前馈补偿调节模块；双目视差前馈补偿通路的尺寸与原始道路图像Input(x,y)的尺寸相同，x＝1,2,…,M；y＝1,2,…,N，其中M、N分别表示原始道路图像的长度尺寸与宽度尺寸；
步骤二、颜色拮抗动态编码；
将原始道路图像Input(x,y)各颜色通道分成红、绿、蓝、黄颜色通道R(x,y)、G(x,y)、B(x,y)、Y(x,y)，对各颜色通道的局部亮度信息进行提取，获得其最大值与平均值；将各颜色通道的局部亮度平均值作为自适应特征调节因子，利用sigmoid激活函数实现单拮抗细胞连接权重的动态化调整，融合不同单拮抗颜色编码响应得到道路图像的初级轮廓响应图SOcontour(x,y)；
步骤三、双目视差信息融合；
根据双目视差信息融合的特征，构建视差能量模型编码模块，模拟初级视皮层简单细胞和复杂细胞的结构差异，构建不同尺度下位置差、相位差的简单细胞感受野模型
Figure FDA0002812068530000011
和
Figure FDA0002812068530000012
下标po1、po2表示不同位置差下的左右眼简单细胞感受野；下标ph1和ph2表示0°和90°左右眼简单细胞感受野on-off区域交替排列的次序；σi表示左右眼简单细胞感受野的尺度，选用3组不同大小的尺度，i＝1,2,3；θj表示不同的方向，选用12个不同方向，θj＝30°×j,j＝0,1,…,11；计算不同相位下简单细胞的响应输出
Figure FDA0002812068530000013
和复杂细胞的响应输出CC(x,y；σi,θj)；
步骤四、图像轮廓信息提取与组合；
构建曲率形状编码模块，将末端停止细胞模拟成一个中心简单细胞的末端受到两个移位复杂细胞的抑制作用，建立末端停止细胞组模型；当受到轮廓曲线的响应时，中心简单细胞发出电刺激信号，位于两侧感受野较大的复杂细胞会进行不同角度的旋转抑制电刺激信号，当电刺激信号的值到达最大时，末端停止细胞会根据旋转分量的不同计算凹凸度，利用视差特性对图像轮廓信息进行提取与组合，得到不同尺度下的视差形状编码结果
Figure FDA0002812068530000021
步骤五、多尺度特征融合；
选择纹理信息最少的大尺度曲率单元
Figure FDA0002812068530000022
中的像素作为基准，分别比较小尺度曲率单元
Figure FDA0002812068530000023
和中尺度曲率单元
Figure FDA0002812068530000024
的像素点，计算不同尺度下曲率细胞响应差的比值，作为图像轮廓像素点和纹理像素点的判别依据，得到对应像素点的权重矩阵W(x,y)：
Figure FDA0002812068530000025
ψ(·)是校正函数，用于将小于0的数赋值为0；将对应像素点的权重矩阵W(x,y)应用到不同尺度的曲率单元中，得到多尺度特征融合响应图R(x,y)：
Figure FDA0002812068530000026
步骤六、前馈补偿调节；
将道路图像的初级轮廓响应图SOcontour(x,y)作为前馈信息，以调控系数的形式作用于对应通道的多尺度特征融合响应图R(x,y)，得到车道线的最终轮廓响应图F(x,y)：
F(x,y)＝R(x,y)*SOcontour(x,y) (3)。
2.如权利要求1所述一种基于双目视差的车道线识别方法，其特征在于：步骤二具体步骤为：
2.1、模拟视网膜对原始道路图像各颜色通道的分离特性，将原始道路图像Input(x,y)分成红、绿、蓝、黄颜色通道R(x,y)、G(x,y)、B(x,y)、Y(x,y)，对每个颜色通道进行相同尺度的二维高斯滤波处理，得到相应的各颜色通道输出
Figure FDA0002812068530000027
2.2、构建余弦加权的局部窗口Ω，权重函数Wcos(x,y)为：
Figure FDA0002812068530000028
其中，δ表示局部窗口Ω的半径，当Ω被设置为正方形局部窗口时，Ω的边长为ws＝2×δ+1；π表示圆周率，(xi,yi)表示局部窗口Ω的中心点坐标；利用公式(1)分别提取红、绿、蓝、黄颜色通道R(x,y)、G(x,y)、B(x,y)、Y(x,y)的局部亮度信息，然后获取各颜色通道中所有像素的亮度最大值Rmax、Gmax、Bmax、Ymax；
2.3、对相应颜色通道的局部亮度进行归一化处理；不断移动局部窗口Ω的中心(xi,yi)，得到绿颜色通道在整个空间上的局部亮度平均值Gavg(x,y)，计算公式为：
Figure FDA0002812068530000031
其中x＝1,2,…,M；y＝1,2,…,N；以此类推，计算得到红、蓝、黄颜色通道在整个空间上的局部亮度平均值Ravg(x,y)、Bavg(x,y)、Yavg(x,y)；
2.4、根据颜色拮抗细胞的非平衡性，将各颜色通道的局部亮度平均值Gavg(x,y)、Ravg(x,y)、Bavg(x,y)、Yavg(x,y)作为自适应特征调节因子，利用sigmoid激活函数实现连接权重的动态化约束，其中各颜色通道的连接权重ωR(x,y)、ωG(x,y)、ωB(x,y)、ωY(x,y)反映了拮抗细胞对颜色和亮度信息的综合响应能力，绿颜色通道的连接权重ωG(x,y)的计算公式为：
Figure FDA0002812068530000032
式中，len表示颜色权重调节参数，e为自然常数；同理计算得到红、蓝、黄颜色通道的连接权重ωR(x,y)、ωB(x,y)、ωY(x,y)；
2.5、针对各颜色拮抗通道R+/G-、R-/G+、B+/Y-、B-/Y+，将对应的单拮抗颜色编码响应分别标记为Srg(x,y)、Sgr(x,y)、Sby(x,y)、Syb(x,y)，并融合上述不同的单拮抗颜色编码响应，得到道路图像的初级轮廓响应图SOcontour(x,y)。
3.如权利要求1所述一种基于双目视差的车道线识别方法，其特征在于：步骤三具体步骤为：
3.1、根据位置差和相位差，建立V1区基于双目视差特性的左右眼简单细胞感受野模型：
Figure FDA0002812068530000041
λ表示频率调节参数；其中
Figure FDA0002812068530000042
μ表示左右眼简单细胞感受野与中心位置的偏差；γ表示椭圆率参数；
3.2、选择两组相位差相同、位置差不同的左右眼简单细胞，结合步骤二得到的道路图像的初级轮廓响应输入SOcontour(x,y)，得到相位为0°和90°的简单细胞响应
Figure FDA0002812068530000043
Figure FDA0002812068530000044
Figure FDA0002812068530000045
式中，*表示卷积运算；
3.3、对相位为0°和90°的简单细胞响应
Figure FDA0002812068530000046
和
Figure FDA0002812068530000047
进行平方求和，得到复杂细胞的响应输出CC(x,y；σi,θj)：
Figure FDA0002812068530000048
4.如权利要求1所述一种基于双目视差的车道线识别方法，其特征在于：步骤四具体步骤为：
4.1、分别选择V1区相位为0°和90°的简单细胞响应
Figure FDA0002812068530000049
结合复杂细胞CC(x,y；σi,θj)的前馈输入，在视皮层V2中构建相位为0°和90°的末端停止细胞组
Figure FDA00028120685300000410
和
Figure FDA00028120685300000411
Figure FDA0002812068530000051
式中，λc表示简单细胞的权重常量，
Figure FDA0002812068530000052
和
Figure FDA0002812068530000053
表示两个复杂细胞的权重常量；
Figure FDA0002812068530000054
和
Figure FDA0002812068530000055
表示不同响应方向的复杂细胞，其中
Figure FDA0002812068530000056
4.2、比较视差末端停止细胞
Figure FDA0002812068530000057
和
Figure FDA0002812068530000058
在所有方向上的边界轮廓响应值，获得不同尺度下最优朝向响应值
Figure FDA0002812068530000059
和
Figure FDA00028120685300000510
4.3、在视皮层V4中通过比较不同相位简单细胞的视差响应差别ΔD(x,y)，作为输出图像组合的指导信息，得到不同尺度下末端停止细胞的视差形状编码结果
Figure FDA00028120685300000511
Figure FDA00028120685300000512
Figure FDA00028120685300000513
其中，Φ(·)表示线性归一化处理。
CN202011399549.4A 2020-12-02 2020-12-02 一种基于双目视差的车道线识别方法 Active CN112488212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011399549.4A CN112488212B (zh) 2020-12-02 2020-12-02 一种基于双目视差的车道线识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011399549.4A CN112488212B (zh) 2020-12-02 2020-12-02 一种基于双目视差的车道线识别方法

Publications (2)

Publication Number Publication Date
CN112488212A true CN112488212A (zh) 2021-03-12
CN112488212B CN112488212B (zh) 2024-02-09

Family

ID=74939335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011399549.4A Active CN112488212B (zh) 2020-12-02 2020-12-02 一种基于双目视差的车道线识别方法

Country Status (1)

Country Link
CN (1) CN112488212B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392812A (zh) * 2021-07-08 2021-09-14 湖南大学 基于深度神经网络的道路车道线检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035360A (ko) * 2011-09-30 2013-04-09 엘지디스플레이 주식회사 3차원 영상 데이터 보정방법
CN106228547A (zh) * 2016-07-15 2016-12-14 华中科技大学 一种基于视觉颜色理论和同质抑制的轮廓与边界检测算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035360A (ko) * 2011-09-30 2013-04-09 엘지디스플레이 주식회사 3차원 영상 데이터 보정방법
CN106228547A (zh) * 2016-07-15 2016-12-14 华中科技大学 一种基于视觉颜色理论和同质抑制的轮廓与边界检测算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392812A (zh) * 2021-07-08 2021-09-14 湖南大学 基于深度神经网络的道路车道线检测方法及系统

Also Published As

Publication number Publication date
CN112488212B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN107610114B (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN104484667B (zh) 一种基于亮度特征和轮廓完整性的轮廓提取方法
CN101901343B (zh) 基于立体约束的遥感影像道路提取方法
CN105261017A (zh) 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN113200052B (zh) 一种用于无人驾驶的路况智能识别方法
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN106407924A (zh) 基于路面特征的双目道路识别检测方法
CN104299008A (zh) 基于多特征融合的车型分类方法
CN110555487B (zh) 一种基于卷积神经网络的鲜茶叶识别分类方法和系统
CN103699900A (zh) 卫星影像中建筑物水平矢量轮廓自动批量提取方法
CN110502971B (zh) 基于单目视觉的道路车辆识别方法及系统
CN108010075B (zh) 一种基于多特征联合的局部立体匹配方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN106599878A (zh) 一种基于深度学习的人脸重建矫正方法及装置
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN112488212B (zh) 一种基于双目视差的车道线识别方法
CN107292898B (zh) 一种基于hsv的车牌阴影检测和去除方法
CN108090492A (zh) 基于尺度线索抑制的轮廓检测方法
JP3589293B2 (ja) 道路の白線検出方法
CN113052110B (zh) 一种基于多视图投影和深度学习的三维兴趣点提取方法
CN104573703B (zh) 基于偏导分布与边界策略的输电线快速识别方法
CN111091071A (zh) 基于探地雷达双曲波拟合的地下目标检测方法及系统
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN106446832B (zh) 一种基于视频的实时检测行人的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant