CN114550118B - 一种基于视频图像驱动的高速公路全自动智能划线方法 - Google Patents

一种基于视频图像驱动的高速公路全自动智能划线方法 Download PDF

Info

Publication number
CN114550118B
CN114550118B CN202210167488.1A CN202210167488A CN114550118B CN 114550118 B CN114550118 B CN 114550118B CN 202210167488 A CN202210167488 A CN 202210167488A CN 114550118 B CN114550118 B CN 114550118B
Authority
CN
China
Prior art keywords
road
frame
image
detection result
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210167488.1A
Other languages
English (en)
Other versions
CN114550118A (zh
Inventor
宋永超
王璇
吕骏
李亚杰
齐泉智
刘兆伟
徐金东
赵金东
程波
全力
毕季平
郭健
衣静蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN202210167488.1A priority Critical patent/CN114550118B/zh
Publication of CN114550118A publication Critical patent/CN114550118A/zh
Application granted granted Critical
Publication of CN114550118B publication Critical patent/CN114550118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01CCONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/16Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings
    • E01C23/20Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings for forming markings in situ
    • E01C23/22Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings for forming markings in situ by spraying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于视频图像驱动的高速公路全自动智能划线方法,对摄像头进行标定,通过摄像头获得前方道路图像;建立道路路面置信区间分类器,实现道路路面区域有效分割,获得粗略二值道路路面检测结果;进行精细化处理,提出帧间关联的精细化道路检测算法,获得精细化二值道路路面检测结果;对获得的精细化二值道路路面检测结果逆变换到原图像中,获得带道路路面检测结果的RGB三通道图像;对道路图像通过逆透视变换方法获得俯视图方向的道路图像,获得两近似平行边界的道路图像;对路面检测结果边缘对应的范围确定为道路边界,并对道路边界进行划线;根据一侧标线,依次将其他的车道线划好;本发明具有效率高的特点。

Description

一种基于视频图像驱动的高速公路全自动智能划线方法
技术领域
本发明属于道路交通养护技术领域,特别涉及一种基于视频图像驱动的高速公路全自动智能划线方法。
背景技术
现有的道路划线方法和装备主要依靠人工手动完成,其操作较为复杂,需要同时兼顾操纵装置的各个部件,对操作人员的操作水平要求非常高。另一方面,现有道路划线首先需要手动测量划线位置并绘制划线标记,然后再通过手推式、车载式或自助式划线机人工全程操作完成道路划线,完全依赖人工操作且没有自动划线质量反馈与校正控制。
申请(专利)号为CN202110997234.8的中国专利公开了一种智能型道路划线机,其包括基座、设在所述基座上的料桶、加热装置和第一动力装置,所述加热装置对所述料桶内的划线材料进行加热,所述基座的一侧固定连接有料斗,所述料桶上设有出料口,所述出料口处设有门体,所述第一动力装置与所述门体相连,所述第一动力装置用于打开或者关闭出料口。可以通过第一动力装置来打开门体,门体打开后,料桶中的划线材料可以进入到料斗中,不用手动打开门体,此外,可以通过控制模块和位置感应模块来实现自动加料,通过控制模块和操作模块可以实现自动划线。然而,该划线机只是针对机体实现了部分部件的智能,且该系统需要提前测量并标记划线位置,再通过人工手动进行划线,而且无法实现基于视频图像的自动确定划线位置、自动划线、自动检测的目标,无法提供全自动智能划线。
申请(专利)号为CN201920801947.0的中国专利公开了一种全自动道路划线机,包括车体、安装于车体的划线装置、定位装置以及控制装置,所述划线装置包括燃料箱、加热炉和漏斗,所述加热炉的出口设置有电磁阀门和流量控制开关;所述定位装置包括红外寻迹传感器、红外避障传感器和超声波测距传感器;所述控制装置包括控制主板,所述红外寻迹传感器、红外避障传感器和超声波测距传感器分别与所述控制主板电连接;所述车体包括差速驱动机构和舵机转向机构,所述差速驱动机构和舵机转向机构分别与所述控制主板电连接。然而,该系统需要施工人员根据相关标准画出待喷涂标志线的操作线,然后操作道路划线机在操作线内喷涂标志线。同样无法实现基于视频图像的自动确定划线位置、自动划线检测的目标,无法提供全自动智能划线。
申请(专利)号为CN202021381558.6的中国专利公开了一种新型的智能道路划线机,包括太阳能板、第一底座和第二底座,第一底座的顶部螺栓固定有充气泵,充气泵的顶部套接有气体管,气体管的一端安装有储料桶,储料桶内壁的一侧螺栓固定有红外传感器,储料桶内壁的底部安装有第二驱动电机。通过第一驱动电机的运作、电磁阀的开合与喷头的喷涂,实现了各种线型的喷涂且能够完成非直线形状的喷涂工作,从而增加了划线机的使用范围;通过温度传感器的实时监测和第二驱动电机的运作,实现了对储料桶内部液体的加热,从而能够保持储料桶内部的涂料液体性能的最大化。同样,该划线机只是针对机体实现了料筒加热部分的智能,同样需要手动提前测量并标记划线位置,再通过人工手动进行划线。而且也无法实现基于视频图像的自动确定划线位置、自动划线、自动检测的目标,无法提供全自动智能划线。
发明内容
为了克服以上技术问题,本发明的目的在于提供一种基于视频图像驱动的高速公路全自动智能划线方法,能够解决高速公路现有划线技术和装备中完全依靠人工测量、划线造成的耗时耗力、效率低下的难点问题。
为了实现上述目的,本发明采用的技术方案是:
一种基于视频图像驱动的高速公路全自动智能划线方法,包括以下步骤;
步骤1:对安装在装备顶端(为整个自动划线装备最前方的顶部,可以无遮挡的拍摄前方的道路图像,相机俯仰角可调、高度可调,安装位置水平可滑动、可固定,可以根据不同的道路宽度、不同的划线位置进行调整,保证拍摄的道路图像准确、有效)的摄像头进行标定,通过标定后的摄像头获得前方道路图像;
步骤2:利用光照不变理论获取道路光照无关图,通过随机采样方法建立道路路面置信区间分类器,实现道路路面区域有效分割,获得粗略二值道路路面检测结果;
步骤3:在一般道路或高速公路场景中,对获得的道路路面区域结果进行精细化处理,提出帧间关联的精细化道路检测算法,提高道路路面提取的精确度;获得精细化二值道路路面检测结果;
步骤4:对获得的精细化二值道路路面检测结果逆变换到原图像中,获得带道路路面检测结果的RGB三通道图像;
步骤5:对带道路路面检测结果的RGB道路图像通过逆透视变换方法获得俯视图方向的道路图像,获得两近似平行边界的道路图像;
步骤6:对逆透视变换后的道路路面检测结果边缘对应的范围确定为道路边界,并对道路边界进行划线;
步骤7:根据道路或高速公路建设标准,结合获得的平行边界道路路面图像,首先确定道路两侧边界的划线位置,再根据一侧标线,依据车道设定宽度标准,依次将其他的车道线划好;
步骤8:划线过程中,自动完成划线路径规划,轮子收到控制指令自动前后左右行驶;划线时可以自动确定使用何种划线涂料颜色,划线为实线还是虚线,划线是否达到要求标准,且都可以智能判断、控制及监测。
所述步骤2具体为:
步骤2.1:根据光照不变理论获得道路关照无关图,如下
一幅道路RGB图像可以表示为
Rk=σ∫Qk(λ)E(λ)S(λ)dλ,k=R,G,B (1)
式中,σ为朗波特阴影;
设Cref为RGB三通道Rk(k=1,2,3)的几何均值,定义为
Figure BDA0003517044290000051
则色度为
ck=Rk/Cref (3)
整理后可得,光照无关图表达式为
Iθ=χ1cosθ+χ2sinθ (4)
式中,θ是相机轴标定角;
步骤2.2:通过最小熵求得相机轴标定角;
香农熵公式表示为
η=-∑pi(Iθ)log(pi(Iθ)) (5)
步骤2.3:对获得的光照无关图依据相机拍摄角度和视频帧中车头位置,在视频帧中标定固定位置去除天空、车头部分,获得道路关照无关图感兴趣区域;
步骤2.4:在道路光照无关图感兴趣区域内,即车前安全车距区域内随机采集900个道路样本点,获得道路区域有效样本集;
步骤2.5:对道路区域有效样本点进行正态分布拟合,取正态分布中心90%的道路样本集作为道路特征,建立道路置信区间分类器,获取二值道路路面提取结果。
所述步骤3具体为:
步骤3.1:初始帧的确定
设帧间道路区域相关度η,公式如下:
Figure BDA0003517044290000052
其中,P∩C:上一帧与当前帧道路检测区域的交集,即为上下帧道路检测区域的公共部分,该区域大概率是道路区域,P∪C:上一帧与当前帧道路检测区域的并集,即为上下帧道路检测区域的相加部分,表示道路感兴趣区域;
设稳定阈值为T,当视频序列中计算出的η趋于稳定状态时(η>T),表示当前道路检测结果较好,即可选取当前帧为路面提取初始帧;算法流程如下:
Step1:读取视频序列(道路检测结果);
Step2:计算帧间图片相关性η;
Step3:当η>T,连续N帧相关性η较好,η趋于稳定时,当前帧选择为基准路面初始帧;
步骤3.2:帧间关联的精细化道路检测
在初始帧基础上采样,并对当前帧进行道路检测,得到当前帧路面区域C,随之计算出上下帧间的更新率α,计算式为
Figure BDA0003517044290000061
设定帧间可信阈值为T1,T2(T1,T2∈(0,1)),通过α与两个阈值的比较,可以判断该帧是否可信,判断公式如下:
Figure BDA0003517044290000062
当α>T2,本帧结果不可信,输出前一帧的检测结果,当α<T1,本帧结果可信,输出当前帧帧的检测结果,当T1<α<T2,结果可信,但需要对检测结果进行融合,以达到最优的检测,设定融合系数为λ(λ∈(0,1))),在阈值区间(T1,T2),满足线性关系,计算公式如下:
Figure BDA0003517044290000071
随之,计算帧间并与交的结果,公式如下:
Sa=(P∩C) (10)
Sb=(P∪C) (11)
输出道路检测区域Snew,公式如下:
Figure BDA0003517044290000072
Snew为本帧道路检测结果融合上帧检测结果得到的新的道路区域,将其作为本帧的道路检测结果输出,同时作为后续帧的前帧继续进行检测计算。
所述步骤4具体为:
步骤4.1:对获得的精细化二值道路路面检测结果读取其值为1的像素的坐标,确定其坐标位置矩阵并表示为
BiImage(x,y)=1 (13)
其中,BiImage表示精细化检测后的道路路面二值图像,(x,y)表示图中值为1的像素所在位置;
步骤4.2:读取道路路面检测前的RGB彩色图像,确定RGB图像三通道及对应每个像素的位置坐标矩阵;
步骤4.3:将步骤4.1获得的二值图中值为1的像素所在位置映射到步骤4.2读取的RGB彩色图像位置,让其每个坐标对应的每个通道值变为255,其余坐标不变,表示为
RGBImage(x,y,z)=255 (14)
其中,RGBImage表示读取的RGB彩色图像,z表示RGB的三个通道,(x,y,z)表示每个通道的像素坐标,三通道值均为255则RGB彩色图中检测为道路路面的位置变为白色,其余为原色。
所述步骤5具体为:
步骤5.1:利用旋转矩阵变换和位移变换,完成世界坐标到相机坐标的变换,公式为
Figure BDA0003517044290000081
其中,R表示旋转矩阵变换,T表示位移变换;
步骤5.2:将相机坐标转换为平面坐标系,完成成像投影关系,公式为
Figure BDA0003517044290000082
步骤5.3:从平面坐标转换得到得到的我们看到的(照片)图像坐标系,公式为
Figure BDA0003517044290000083
其中,(u、v)表示以像素为单位的图像坐标系的坐标,(x、y)表示以mm为单位的图像坐标系的坐标。
本发明的有益效果。
本发明提出的方法能够解决道路交通场景尤其是高速公路路面的全自动智能划线问题,其划线方法依靠提出的视频图像处理方法依次确定,可以自动判定出道路两侧的边界,可以根据道路宽度和已划定的车道线自动确定下一次车道线划线位置;其划线装备基于视频图像驱动,设计智能自动划线部件架构,借助相应的摄像头、控制器、执行器实现相应功能,该方法和装备具有广泛应用前景。
附图说明:
图1为本发明道路路面区域提取二值图。
图2为本发明道路路面区域逆变换图。
图3为本发明道路逆透视变换示意图。
图4为本发明道路路面边界提取结果图。
图5为本发明道路智能自动划线方法流程图。
图6为本发明道路智能自动划线装备设计图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于视频图像驱动的高速公路全自动智能划线方法,包括如下步骤:
步骤1:对安装在装备顶端的摄像头进行标定,通过标定后的摄像头获得前方道路图像;
步骤2:利用光照不变理论获取道路光照无关图,通过随机采样方法建立道路路面置信区间分类器,实现道路路面区域有效分割,如图1;
步骤3:在一般道路或高速公路场景中,对获得的道路路面区域结果进行精细化处理,提出帧间关联的精细化道路检测算法,提高道路路面提取的精确度;
步骤4:对获得的二值道路路面检测结果逆变换到原图像中,获得带道路路面检测结果的RGB三通道图像,如图2;
步骤5:对带道路路面检测结果的RGB道路图像通过逆透视变换方法获得俯视图方向的道路图像,获得两近似平行边界的道路图像,如图3;
步骤6:对逆透视变换后的道路路面检测结果边缘对应的范围确定为道路边界,并对道路边界进行划线,如图4;
步骤7:根据道路或高速公路建设标准,结合获得的平行边界道路路面图像,首先确定道路两侧边界的划线位置,再根据一侧标线,依据车道设定宽度标准,依次将其他的车道线划好,如图5。
步骤8:划线过程中,自动完成划线路径规划,轮子收到控制指令自动前后左右行驶;划线时可以自动确定使用何种划线涂料颜色,划线为实线还是虚线,划线是否达到要求标准,且都可以智能判断、控制及监测。
具体的,步骤2包括如下子步骤:
步骤2.1:根据光照不变理论获得道路关照无关图,如下
一幅道路RGB图像可以表示为
Rk=σ∫Qk(λ)E(λ)S(λ)dλ,k=R,G,B (1)
式中,σ为朗波特阴影。
设Cref为RGB三通道Rk(k=1,2,3)的几何均值,定义为
Figure BDA0003517044290000111
则色度为
ck=Rk/Cref (3)
整理后可得,光照无关图表达式为
Iθ=χ1 cosθ+χ2 sinθ (4)
式中,θ是相机轴标定角。
步骤2.2:通过最小熵求得相机轴标定角。
香农熵公式表示为
η=-∑pi(Iθ)log(pi(Iθ)) (5)
步骤2.3:对获得的光照无关图依据相机拍摄角度和视频帧中车头位置,在视频帧中标定固定位置去除天空、车头部分,获得道路关照无关图感兴趣区域。
步骤2.4:在道路光照无关图感兴趣区域内,即车前安全车距区域内随机采集900个道路样本点,获得道路区域有效样本集。
步骤2.5:对道路区域有效样本点进行正态分布拟合,取正态分布中心90%的道路样本集作为道路特征,建立道路置信区间分类器,获取二值道路路面提取结果。
具体的,步骤3包括如下子步骤:
步骤3.1:初始帧的确定
设帧间道路区域相关度η。公式如下:
Figure BDA0003517044290000121
其中,P∩C:上一帧与当前帧道路检测区域的交集,即为上下帧道路检测区域的公共部分,该区域大概率是道路区域。P∪C:上一帧与当前帧道路检测区域的并集,即为上下帧道路检测区域的相加部分,表示道路感兴趣区域。
设稳定阈值为T,当视频序列中计算出的η趋于稳定状态时(η>T),表示当前道路检测结果较好,即可选取当前帧为路面提取初始帧。算法流程如下:
Step1:读取视频序列(道路检测结果)。
Step2:计算帧间图片相关性η。
Step3:当η>T,连续N帧相关性η较好,η趋于稳定时,当前帧选择为基准路面初始帧。
步骤3.2:帧间关联的精细化道路检测
在初始帧基础上采样,并对当前帧进行道路检测,得到当前帧路面区域C。随之计算出上下帧间的更新率α,计算式为
Figure BDA0003517044290000122
设定帧间可信阈值为T1,T2(T1,T2∈(0,1))。通过α与两个阈值的比较,可以判断该帧是否可信。判断公式如下:
Figure BDA0003517044290000131
当α>T2,本帧结果不可信,输出前一帧的检测结果。当α<T1,本帧结果可信,输出当前帧帧的检测结果。当T1<α<T2,结果可信,但需要对检测结果进行融合,以达到最优的检测。设定融合系数为λ(λ∈(0,1))),在阈值区间(T1,T2),满足线性关系。计算公式如下:
Figure BDA0003517044290000132
随之,计算帧间并与交的结果,公式如下:
Sa=(P∩C) (10)
Sb=(P∪C) (11)
输出道路检测区域Snew,公式如下:
Figure BDA0003517044290000133
Snew为本帧道路检测结果融合上帧检测结果得到的新的道路区域,将其作为本帧的道路检测结果输出,同时作为后续帧的前帧继续进行检测计算。
具体的,步骤4包括如下子步骤:
步骤4.1:对获得的精细化二值道路路面检测结果读取其值为1的像素的坐标,确定其坐标位置矩阵并表示为
BiImage(x,y)=1 (13)
其中,BiImage表示精细化检测后的道路路面二值图像,(x,y)表示图中值为1的像素所在位置;
步骤4.2:读取道路路面检测前的RGB彩色图像,确定RGB图像三通道及对应每个像素的位置坐标矩阵;
步骤4.3:将步骤4.1获得的二值图中值为1的像素所在位置映射到步骤4.2读取的RGB彩色图像位置,让其每个坐标对应的每个通道值变为255,其余坐标不变,表示为
RGBImage(x,y,z)=255 (14)
其中,RGBImage表示读取的RGB彩色图像,z表示RGB的三个通道,(x,y,z)表示每个通道的像素坐标,三通道值均为255则RGB彩色图中检测为道路路面的位置变为白色,其余为原色。
具体的,步骤5包括如下子步骤:
步骤5.1:利用旋转矩阵变换和位移变换,完成世界坐标到相机坐标的变换,公式为
Figure BDA0003517044290000141
其中,R表示旋转矩阵变换,T表示位移变换。
步骤5.2:将相机坐标转换为平面坐标系,完成成像投影关系,公式为
Figure BDA0003517044290000142
步骤5.3:从平面坐标转换得到得到的我们看到的(照片)图像坐标系,公式为
Figure BDA0003517044290000151
其中,(u、v)表示以像素为单位的图像坐标系的坐标,(x、y)表示以mm为单位的图像坐标系的坐标。
如图6所示:
1.万向轮安装固定在装置本体四端,通过线路和驱动电机运行,受控制器的操控和驱动,可以执行横向及前后的运动。
2.摄像头安装在装备本体最前方的顶部,可以无遮挡的拍摄前方道路,受控制器的操控和驱动,拍摄数据可以传送到控制器进行处理,并可接受控制器的指令。
3.位移传感器固定安装在车轮上,可以获取车轮运行的距离,通过线缆传到控制器,进行数据的处理。
4.划线装置固定于装置本体一侧,直接与料筒通过流体管道连接,划线装置受控制器的操控,控制喷嘴阀门打开程度和喷涂量。
5.激光探头1固定在稍微远离划线装置的位置,可以直接测量路面的高度;激光探头2固定在划线装置的后方,可以实时测量所画线距离装置的距离。通过激光探头1和2测量的距离差判断划线厚度是否合格。
6.划线颜色料筒内装有不同的颜色涂料,颜料输出控制阀接受控制器的指令,根据系统需要判断哪种颜色打开,颜色料筒直接与划线装置通过管道连接。
7.加热器直接作用在颜色料筒上,并与控制器和电源连接,对料筒内的涂料进行加热,料筒内有温度传感器,将温度数据传到控制器进行判断,没达到预设温度加热器继续加热,达到预设温度加热器进行保温。
8.控制器与位移传感器、摄像头、驱动电机、激光探头、划线装置、颜色料筒控制阀、加热器、触控屏之间通过线缆连接,可以接受处理各部件的信息,同时可以操控各部件完成装置系统指令。
9.触控屏与控制器相连,提供触控操作及系统参数设置,外部操纵装置运行,并可查看装置运行状态。
10.电源部分安装在装置本体上,位于触控屏下方,为装置各部件提供电力来源,驱动装置运行。
工作原理:
1.位移传感器:系统工作,装置运行,测量车轮转过的圈数,将数据传到控制器,依据系统嵌入的轮圈直径计算周长,获取装置的运行距离。此距离以便用来判断所要划线的长度,决定划线装置喷涂距离和停止喷涂距离。
2.摄像头:摄像头拍摄前方道路图像,将视频图像实时传送给控制器,依据设计的上述具体算法获得道路路面,并依据工程标准参数和要求确定划线位置,控制器操控执行相应内容。
3.触控屏:提供触控操作及系统参数设置,外部操纵装置运行,并可查看装置运行状态,即既可以作为系统参数输入端,又可以作为系统运行状态显示输出端。
4.激光探头:激光探头1固定在稍微远离划线装置的位置,可以直接测量路面的高度;激光探头2固定在划线装置的后方,可以实时测量所画线距离装置的距离。通过激光探头1和2测量的距离差判断划线厚度是否合格,进行实时反馈。
5.划线颜色料筒:其内装有不同的颜色涂料,颜料输出控制阀接受控制器的指令,根据系统需要判断哪种颜色阀门打开,颜色料筒直接与划线装置通过管道连接,进行颜料的输送。同时料筒包含两个(白色、黄色)或多个颜料桶,划线时依据系统控制哪个料筒工作。
6.加热器:对料筒内的涂料进行加热,料筒内有温度传感器,将温度数据传到控制器进行判断,没达到预设温度加热器继续加热,达到预设温度加热器进行保温。
7.划线装置:直接与料筒通过流体管道连接,划线装置受控制器的操控,接受来自激光探头反馈的距离信息,控制喷嘴阀门打开程度和喷涂量。同时划线装置包含两个(白色、黄色)或多个喷头,划线时依据系统控制哪个工作。
8.控制器:依据嵌入的上述相关对应算法进行相应的数据采集、处理和控制,保障装置系统的整个运行过程。

Claims (4)

1.一种基于视频图像驱动的高速公路全自动智能划线方法,其特征在于,包括以下步骤;
步骤1:对安装在装备顶端的摄像头进行标定,通过标定后的摄像头获得前方道路图像;
步骤2:利用光照不变理论获取道路光照无关图,通过随机采样方法建立道路路面置信区间分类器,实现道路路面区域有效分割,获得粗略二值道路路面检测结果;
步骤3:在一般道路或高速公路场景中,对获得的道路路面区域结果进行精细化处理,提出帧间关联的精细化道路检测算法,提高道路路面提取的精确度;获得精细化二值道路路面检测结果;
步骤4:对获得的精细化二值道路路面检测结果逆变换到原图像中,获得带道路路面检测结果的RGB三通道图像;
步骤5:对带道路路面检测结果的RGB道路图像通过逆透视变换方法获得俯视图方向的道路图像,获得两近似平行边界的道路图像;
步骤6:对逆透视变换后的道路路面检测结果边缘对应的范围确定为道路边界,并对道路边界进行划线;
步骤7:根据道路或高速公路建设标准,结合获得的平行边界道路路面图像,首先确定道路两侧边界的划线位置,再根据一侧标线,依据车道设定宽度标准,依次将其他的车道线划好;
步骤8:划线过程中,自动完成划线路径规划,轮子收到控制指令自动前后左右行驶;划线时可以自动确定使用何种划线涂料颜色,划线为实线还是虚线,划线是否达到要求标准,且都可以智能判断、控制及监测;
所述步骤3具体为:
步骤3.1:初始帧的确定
设帧间道路区域相关度η,公式如下:
Figure FDA0004152179240000021
其中,P∩C:上一帧与当前帧道路检测区域的交集,即为上下帧道路检测区域的公共部分,该区域大概率是道路区域,P∪C:上一帧与当前帧道路检测区域的并集,即为上下帧道路检测区域的相加部分,表示道路感兴趣区域;
设稳定阈值为T,当视频序列中计算出的η趋于稳定状态时,η>T,表示当前道路检测结果较好,即可选取当前帧为路面提取初始帧;算法流程如下:
Step1:读取视频序列;
Step2:计算帧间图片相关性η;
Step3:当η>T,连续N帧相关性η较好,η趋于稳定时,当前帧选择为基准路面初始帧;
步骤3.2:帧间关联的精细化道路检测
在初始帧基础上采样,并对当前帧进行道路检测,得到当前帧路面区域C,随之计算出上下帧间的更新率α,计算式为
Figure FDA0004152179240000022
设定帧间可信阈值为T1,T2,通过α与两个阈值的比较,判断该帧是否可信,判断公式如下:
Figure FDA0004152179240000031
当α>T2,本帧结果不可信,输出前一帧的检测结果,当α<T1,本帧结果可信,输出当前帧帧的检测结果,当T1<α<T2,结果可信,但需要对检测结果进行融合,以达到最优的检测,设定融合系数为λ(λ∈(0,1))),在阈值区间(T1,T2),满足线性关系,计算公式如下:
Figure FDA0004152179240000032
随之,计算帧间并与交的结果,公式如下:
Sa=(P∩C) (10)
Sb=(P∪C) (11)
输出道路检测区域Snew,公式如下:
Figure FDA0004152179240000033
Snew为本帧道路检测结果融合上帧检测结果得到的新的道路区域,将其作为本帧的道路检测结果输出,同时作为后续帧的前帧继续进行检测计算。
2.根据权利要求1所述的一种基于视频图像驱动的高速公路全自动智能划线方法,其特征在于,所述步骤2具体为:
步骤2.1:根据光照不变理论获得道路关照无关图,如下
一幅道路RGB图像可以表示为
Rk=σ∫Qk(λ)E(λ)S(λ)dλ,k=R,G,B (1)
式中,σ为朗波特阴影;
设Cref为RGB三通道Rk的几何均值,定义为
Figure FDA0004152179240000041
则色度为
ck=Rk/Cref (3)
整理后可得,光照无关图表达式为
Iθ=χ1cosθ+χ2sinθ (4)
式中,θ是相机轴标定角;
步骤2.2:通过最小熵求得相机轴标定角;
香农熵公式表示为
η=-∑pi(Iθ)log(pi(Iθ)) (5)
步骤2.3:对获得的光照无关图依据相机拍摄角度和视频帧中车头位置,在视频帧中标定固定位置去除天空、车头部分,获得道路关照无关图感兴趣区域;
步骤2.4:在道路光照无关图感兴趣区域内,即车前安全车距区域内随机采集900个道路样本点,获得道路区域有效样本集;
步骤2.5:对道路区域有效样本点进行正态分布拟合,取正态分布中心90%的道路样本集作为道路特征,建立道路置信区间分类器,获取二值道路路面提取结果。
3.根据权利要求1所述的一种基于视频图像驱动的高速公路全自动智能划线方法,其特征在于,所述步骤4具体为:
步骤4.1:对获得的精细化二值道路路面检测结果读取其值为1的像素的坐标,确定其坐标位置矩阵并表示为
BiImage(x,y)=1(13)
其中,BiImage表示精细化检测后的道路路面二值图像,(x,y)表示图中值为1的像素所在位置;
步骤4.2:读取道路路面检测前的RGB彩色图像,确定RGB图像三通道及对应每个像素的位置坐标矩阵;
步骤4.3:将步骤4.1获得的二值图中值为1的像素所在位置映射到步骤4.2读取的RGB彩色图像位置,让其每个坐标对应的每个通道值变为255,其余坐标不变,表示为
RGBImage(x,y,z)=255(14)
其中,RGBImage表示读取的RGB彩色图像,z表示RGB的三个通道,(x,y,z)表示每个通道的像素坐标,三通道值均为255则RGB彩色图中检测为道路路面的位置变为白色,其余为原色。
4.根据权利要求1所述的一种基于视频图像驱动的高速公路全自动智能划线方法,其特征在于,所述步骤5具体为:
步骤5.1:利用旋转矩阵变换和位移变换,完成世界坐标到相机坐标的变换,公式为
Figure FDA0004152179240000051
其中,R表示旋转矩阵变换,T表示位移变换;
步骤5.2:将相机坐标转换为平面坐标系,完成成像投影关系,公式为
Figure FDA0004152179240000061
步骤5.3:从平面坐标转换得到图像坐标系,公式为
Figure FDA0004152179240000062
其中,(u、v)表示以像素为单位的图像坐标系的坐标,(x、y)表示以mm为单位的图像坐标系的坐标。
CN202210167488.1A 2022-02-23 2022-02-23 一种基于视频图像驱动的高速公路全自动智能划线方法 Active CN114550118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210167488.1A CN114550118B (zh) 2022-02-23 2022-02-23 一种基于视频图像驱动的高速公路全自动智能划线方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210167488.1A CN114550118B (zh) 2022-02-23 2022-02-23 一种基于视频图像驱动的高速公路全自动智能划线方法

Publications (2)

Publication Number Publication Date
CN114550118A CN114550118A (zh) 2022-05-27
CN114550118B true CN114550118B (zh) 2023-07-11

Family

ID=81677652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210167488.1A Active CN114550118B (zh) 2022-02-23 2022-02-23 一种基于视频图像驱动的高速公路全自动智能划线方法

Country Status (1)

Country Link
CN (1) CN114550118B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294548B (zh) * 2022-07-28 2023-05-02 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718870A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102175613B (zh) * 2011-01-26 2012-11-14 南京大学 基于图像亮度特征的ptz视频能见度检测方法
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学(武汉) 一种智能辅助驾驶方法及系统
CN110516550B (zh) * 2019-07-26 2022-07-05 电子科技大学 一种基于fpga的车道线实时检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718870A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法

Also Published As

Publication number Publication date
CN114550118A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN109024417A (zh) 一种智能道路清扫车及其道路污染物识别方法和控制方法
CN105955259A (zh) 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN105674880B (zh) 基于双目原理的接触网几何参数测量方法及系统
US7421094B2 (en) Traffic lane marking line recognition system for vehicle
US7421095B2 (en) Traffic lane marking line recognition system for vehicle
CN104508727B (zh) 三维物体检测装置和三维物体检测方法
CN103891697B (zh) 一种室内自主移动喷药机器人的变量喷药方法
CN114550118B (zh) 一种基于视频图像驱动的高速公路全自动智能划线方法
CN100495274C (zh) 大型工程车辆自动驾驶控制方法及系统
CN105511462B (zh) 一种基于视觉的agv导航方法
US20070253622A1 (en) Traffic Lane Marking Line Recognition System for Vehicle
KR102143641B1 (ko) 비전센서를 이용한 자동 차선 도색 장치
CN110398979B (zh) 一种基于视觉与姿态融合的无人驾驶工程作业设备循迹方法及装置
US20110102581A1 (en) Target position identifying apparatus
CN106680290A (zh) 狭窄空间的多功能检测车
CN209765730U (zh) 一种车型识别系统
CN110450706B (zh) 一种自适应远光灯控制系统及图像处理算法
CN102679914A (zh) 一种盾构隧道衬砌管片渗漏水面积的测量方法及装置
CN110850109B (zh) 一种基于模糊图像测量车速的方法
CN115592324B (zh) 基于人工智能的自动焊接机器人控制系统
CN110020642B (zh) 一种基于车辆检测的能见度识别方法
CN104237256A (zh) 一种用于pH值检测的镜头清洗方法与装置
CN109343041A (zh) 用于高级智能辅助驾驶的单目测距方法
CN110751669A (zh) 一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法及系统
CN207516258U (zh) 狭窄空间的多功能检测车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant