CN109677405B - 一种基于不完备车道线信息的车辆偏离预警方法及系统 - Google Patents
一种基于不完备车道线信息的车辆偏离预警方法及系统 Download PDFInfo
- Publication number
- CN109677405B CN109677405B CN201811535893.4A CN201811535893A CN109677405B CN 109677405 B CN109677405 B CN 109677405B CN 201811535893 A CN201811535893 A CN 201811535893A CN 109677405 B CN109677405 B CN 109677405B
- Authority
- CN
- China
- Prior art keywords
- lane line
- distance
- equation
- curve
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013519 translation Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Abstract
本发明公开了一种基于不完备车道线信息的车辆偏离预警方法及系统，涉及计算机视觉领域，该方法包括：采集车辆前方道路图像，并按采集先后顺序堆叠所采集图像，形成时空切片图，同时归一化道路宽度；在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志；对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条车道线轨迹曲线方程；基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程；基于车道线的初始位置和主轨迹方程，得出车道线的横向运动幅度，提供预警。本发明不仅能提供当前时刻车辆的偏离状态也能预测未来时刻的潜在偏离可能。
Description
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于不完备车道线信息的车辆偏离预警方法及系统。
背景技术
汽车的灵活性、便捷性以及高负载性为人们的生活出行带来了极大的遍历，同时汽车的保有量也在逐年上升。基数的增长必然会放大并严重化一些问题，比如高频发生的道路交通事故，致使大量人员伤亡和巨大财产损失。如何提高车辆的安全驾驶性能，成为一个实用价值明朗的研究方向，此种情形下，智能辅助驾驶系统应运而生。
智能辅助驾驶系统通常采用多种传感器来感知汽车行驶过程中的环境信息，分析车辆的行驶状态及潜在的危险性，以提高车辆的主动安全性能。在多种传感器中，综合考虑成本、实用性和信息含量等多方面，计算机视觉具有极高的性价比，通常通过安装在车辆前方、侧方或后方的图像传感器获取环境信息并进行分析。
车道偏离预警系统(Lane Departure Warning System，LDWS)是智能辅助系统的重要模块，能有效减少由于无意识偏离车道导致的事故。目前，基于计算机视觉的车辆偏离预警系统主要以车辆与当前车道的标志线的相对位置为主要判断依据，通常涉及两方面的研究：1)在世界坐标系中根据车辆与当前车道边界的实际距离判断偏离程度。距离度量包括空间距离和时间距离，空间距离一般指离车道边界的横向欧式距离；时间距离结合了空间距离和车辆行驶速度等信息，指的是车辆行驶到车道边界所需的时间。2)根据图像中车道线的位置直接判断车辆与车道边界的相对位置。假设相机居中安装，车辆在车道中央行驶时，图像中的左右两侧车道线呈现出一定的对称关系，如倾斜角和位置关于图像对称；当车辆偏离时，根据相关信息的非对称程度判断车辆偏离的程度。
世界坐标系中的车道线具有更多的几何信息，能更有效的剔除非车道线的干扰，但是将图像转换到世界坐标系中需要结合相机的参数通过逆透视变换(InverseProjective Mapping，IPM)实现，一方面需要标定相机的参数，另一方面相机的外参容易受到路面坡度和车辆颠簸的影响，因此，在世界坐标系中的车辆偏离决策方法具有一定的使用局限性。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于不完备车道线信息的车辆偏离预警方法，不仅能提供当前时刻车辆的偏离状态也能预测未来时刻的潜在偏离可能。
为达到以上目的，本发明采取的技术方案是，包括：
采集车辆前方道路图像，并按采集先后顺序堆叠所采集图像，形成时空切片图，同时归一化道路宽度；
在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志；
对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条车道线轨迹曲线方程；
基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程；
基于车道线的初始位置和主轨迹方程，得出车道线的横向运动幅度，提供预警。
在上述技术方案的基础上，所述在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志，具体步骤包括：
提取时空切片图中满足暗-亮-暗亮度约束且宽度在一定范围内的区域，作为脊特征；
空间距离在一定范围内且方向相差较小的脊特征，聚类成同一个超标志，所述超标志使用头部位置、头部方向、中心位置、中心方向、尾部位置和尾部方向描述；
将两个彼此关联概率均最高的超标志整合成为一个超标志，所述关联概率为超标志的头部方向和尾部方向之间的相关性。
在上述技术方案的基础上，所述对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条轨迹曲线方程，具体步骤包括：
构建条件随机场无向图，所述条件随机场无向图包括顶点和边，顶点内部表示两超标志的关联概率，每个顶点对应一个用于表明该顶点内部两超标志关联性的label值，顶点内部的能量项为一元能量项，顶点之间的能量项为二元能量项；
通过匈牙利算法，使顶点内部和顶点之间的能量项到达最小值，更新每个顶点对应的label值，得到超标志的分组；
根据时间序列的长度选用二次曲线方程拟合分组后的超标志，得到多条轨迹曲线方程。
在上述技术方案的基础上，所述基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程，具体步骤包括：
将两两曲线相向平移，平移的距离为两曲线之间的平均距离，根据平移后的曲线与原始脊特征的拟合误差，剔除平移拟合误差超过设定误差的曲线；
基于密度的聚类方法，将剩下轨迹曲线方程的二次项系数和一次项系数，构成坐标作为数据点进行聚类，以最大簇的类中心作为主轨迹方程参数，得到主轨迹方程。
在上述技术方案的基础上，所述得出车道线的横向运动幅度，提供预警，具体步骤为：若车道线的横向偏离距离超过设定阈值，则进行警报提醒；若车道线的横向偏离距离小于设定距离，但车道线的方向变化超过设定角度，则进行预警提醒。
本发明还提供一种基于不完备车道线信息的车辆偏离预警系统，包括：
采集模块，其用于采集车辆前方道路图像，并按采集先后顺序堆叠所采集图像，形成时空切片图，同时归一化道路宽度；
提取模块，其用于在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志；
拟合模块，其用于对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条车道线轨迹曲线方程；
筛选模块，其用于基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程；
预警模块，其用于基于车道线的初始位置和主轨迹方程，得出车道线的横向运动幅度，提供预警。
在上述技术方案的基础上，所述提取模块在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志，具体过程包括：
提取时空切片图中满足暗-亮-暗亮度约束且宽度在一定范围内的区域，作为脊特征；
空间距离在一定范围内且方向相差较小的脊特征，聚类成同一个超标志，所述超标志使用头部位置、头部方向、中心位置、中心方向、尾部位置和尾部方向描述；
将两个彼此关联概率均最高的超标志整合成为一个超标志，所述关联概率为超标志的头部方向和尾部方向之间的相关性。
在上述技术方案的基础上，所述拟合模块对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条轨迹曲线方程，具体过程包括：
构建条件随机场无向图，所述条件随机场无向图包括顶点和边，顶点内部表示两超标志的关联概率，每个顶点对应一个用于表明该顶点内部两超标志关联性的label值，顶点内部的能量项为一元能量项，顶点之间的能量项为二元能量项；
通过匈牙利算法，使顶点内部和顶点之间的能量项到达最小值，更新每个顶点对应的label值，得到超标志的分组；
根据时间序列的长度选用二次曲线方程拟合分组后的超标志，得到多条轨迹曲线方程。
在上述技术方案的基础上，所述筛选模块基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程，具体过程包括：
将两两曲线相向平移，平移的距离为两曲线之间的平均距离，根据平移后的曲线与原始脊特征的拟合误差，剔除平移拟合误差超过设定误差的曲线；
基于密度的聚类方法，将剩下轨迹曲线方程的二次项系数和一次项系数，构成坐标作为数据点进行聚类，以最大簇的类中心作为主轨迹方程参数，得到主轨迹方程。
在上述技术方案的基础上，所述预警模块得出车道线的横向运动幅度，提供预警，具体过程为：若车道线的横向偏离距离超过设定阈值，则进行警报提醒；若车道线的横向偏离距离小于设定距离，但车道线的方向变化超过设定角度，则进行预警提醒。
与现有技术相比，本发明的优点在于：通过采集车辆道路前方的图像，形成高频采样的视频，以队列的方式堆叠多帧图像，截取其中若干行的时空切片图，在时域上获取更完整紧凑的车道线信息，不仅能提供当前时刻车辆的偏离状态也能预测未来时刻的潜在偏离可能，为车辆的安全形势提供预警和警报。
附图说明
图1为本发明实施例中一种基于不完备车道线信息的车辆偏离预警方法的流程图；
图2为本发明实施例中一种基于不完备车道线信息的车辆偏离预警方法的详细过程图。
具体实施方式
本发明实施例提供一种基于不完备车道线信息的车辆偏离预警方法，利用条件随机场进行时空切片轨迹提取，分析车道线的历史轨迹并预测未来轨迹，通过结合车辆的初始位置与位置累积判断车辆当前时刻的偏离状态。本发明还相应地提供了一种基于不完备车道线信息的车辆偏离预警系统。
参见图1所示，本发明一种基于不完备车道线信息的车辆偏离预警方法的一实施例包括：
S1：采集车辆前方道路图像，并按采集先后顺序堆叠所采集图像，形成时空切片图，同时归一化道路宽度。
本发明实施例中，对于车辆前方的道路图像，采用高频采样的采集方式持续进行，高频采样的图像序列之间具有强烈的时空一致性。
本发明实施例中，采用固定大小的队列容积收集采集的图像，距离当前时刻较远的图像对当前时刻的影响很小，当前时刻及之前短期时间内的图像信息与当前时刻更相关，因此采用队列容器，不断加入新时刻的图像并舍弃最远时刻的图像，保证信息的精炼与更新性。
道路宽度归一化是为了减小透视变换的影响，世界坐标系中相互平行的直线状车道线投影到图像成为两条相交的直线，图像中不同行的车道线之间的距离与图像的纵轴呈线性关系，图像上方行和下方行的车道线的运动幅度存在一定区别，通过将不同行的车道宽度归一化，缩小幅度差异，为后续主轨迹的选取做准备。
S2：在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志。该步骤具体包括：
S201：提取时空切片图中满足暗-亮-暗亮度约束且宽度在一定范围内的区域，作为脊特征；宽度范围根据需要灵活设定。
S202：空间距离在一定范围内且方向相差较小的脊特征，聚类成同一个超标志，所述超标志使用头部位置、头部方向、中心位置、中心方向、尾部位置和尾部方向描述。
本发明实施例中，为了减少处理的数据量，将脊特征聚类成超标志，以超标志作为处理单元。当前脊特征与已存在的某个超标志在空间上相邻以及方向较一致是满足聚类的条件，只有满足空间距离在一定范围内并且方向相差较小的脊特征，才能被聚类成同一个超标志。
S203：将两个彼此关联概率均最高的超标志整合成为一个超标志，所述关联概率为超标志的头部方向和尾部方向之间的相关性。即利用方向相关性将超标志进行进一步整合。
S3：对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条车道线轨迹曲线方程。该步骤具体包括：
S301：构建条件随机场无向图，所述条件随机场无向图包括顶点和边，顶点内部表示两超标志的关联概率，每个顶点对应一个用于表明该顶点内部两超标志关联性的label值，顶点内部的能量项为一元能量项，顶点之间的能量项为二元能量项。
本发明实施例中，将具有潜在关联可能的两个超标志作为一个顶点，每个顶点对应一个label值，表明该顶点内部的两个超标志的确切关联性。顶点内部的能量项是一元能量项，以几何距离和方向距离的二次回归模型度量。存在共同超标志且无公共起点和终点的两个顶点之间用边相连，边表示顶点中的多个超标志之间的关联概率。存在边相连的所有超标志构成团，顶点之间的能量项是二元能量项，用假设当前团构成关联的关联误差衡量。超标志之间的关联性存在可传递性，故假设属于同一个团的超标志属于同一条车道线轨迹，用三次多项式曲线模型进行拟合，将拟合的代数误差作为二元能量项。
S302：通过匈牙利算法，使顶点内部和顶点之间的能量项到达最小值，更新每个顶点对应的label值，得到超标志的分组；
S303：根据时间序列的长度选用二次曲线方程拟合分组后的超标志，得到多条轨迹曲线方程。
S4：基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程。由步骤S3获取到多条轨迹曲线方程后，其中可能包含拟合错误和不准确的曲线，但正确的多条轨迹曲线通常有着相似的运动模式，称之为共同运动模式，基于共同运动模式，通过平移和聚类挑选出主轨迹方程。步骤S4具体包括：
S401：将两两曲线相向平移，平移的距离为两曲线之间的平均距离，根据平移后的曲线与原始脊特征的拟合误差，剔除平移拟合误差超过设定误差的曲线。剔除的通常为杂乱的轨迹曲线。
S402：基于密度的聚类方法，将剩下轨迹曲线方程的二次项系数和一次项系数，构成坐标作为数据点进行聚类，以最大簇的类中心作为主轨迹方程参数，得到主轨迹方程。
S5：基于车道线的初始位置和主轨迹方程，得出车道线的横向运动幅度，提供预警。车道线的位置是车辆偏离判别的重要依据，结合车道线的初始位置和轨迹曲线，可推测出车道线的当前位置与预测未来时刻的位置，并能体现该时间段内车道线的横向运动幅度，为驾驶员提供预警和警报提醒，即若车道线的横向偏离距离超过设定阈值，则进行警报提醒；若车道线的横向偏离距离小于设定距离，但车道线的方向变化超过设定角度，则进行预警提醒。
本发明实施例的基于不完备车道线信息的车辆偏离预警方法的详细流程图见图2所示，针对现有方法中存在的单帧图像上车道线信息不足难以检测到车道线的问题，通过采集车辆道路前方的图像，形成高频采样的视频，以队列的方式堆叠多帧图像，截取其中若干行的时空切片图，在时域上获取更完整紧凑的车道线信息；不仅能提供当前时刻车辆的偏离状态也能预测未来时刻的潜在偏离可能，提供预警和警报两种程度的提醒信息，车辆距离车道边界的位置与偏离状态息息相关，而车辆的行驶方向的变化则表明车辆的潜在偏离可能，一旦车辆距离边界较近，则提供警报提醒驾驶员采取相应的措施以减小发生事故的可能性，而当车辆的行驶方向变化较大时，表明车辆存在一定的潜在可能性出现偏离的情况，则提醒驾驶员此潜在风险。
本发明实施例还提供了一种基于不完备车道线信息的车辆偏离预警系统，包括采集模块、提取模块、拟合模块、筛选模块和预警模块。
采集模块用于采集车辆前方道路图像，并按采集先后顺序堆叠所采集图像，形成时空切片图，同时归一化道路宽度；提取模块用于在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志；拟合模块用于对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条车道线轨迹曲线方程；筛选模块用于基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程；预警模块用于基于车道线的初始位置和主轨迹方程，得出车道线的横向运动幅度，提供预警。
提取模块在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志，具体过程包括：
提取时空切片图中满足暗-亮-暗亮度约束且宽度在一定范围内的区域，作为脊特征；
空间距离在一定范围内且方向相差较小的脊特征，聚类成同一个超标志，所述超标志使用头部位置、头部方向、中心位置、中心方向、尾部位置和尾部方向描述；
将两个彼此关联概率均最高的超标志整合成为一个超标志，所述关联概率为超标志的头部方向和尾部方向之间的相关性。
拟合模块对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条轨迹曲线方程，具体过程包括：
构建条件随机场无向图，所述条件随机场无向图包括顶点和边，顶点内部表示两超标志的关联概率，每个顶点对应一个用于表明该顶点内部两超标志关联性的label值，顶点内部的能量项为一元能量项，顶点之间的能量项为二元能量项；
通过匈牙利算法，使顶点内部和顶点之间的能量项到达最小值，更新每个顶点对应的label值，得到超标志的分组；
根据时间序列的长度选用二次曲线方程拟合分组后的超标志，得到多条轨迹曲线方程。
筛选模块基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程，具体过程包括：
将两两曲线相向平移，平移的距离为两曲线之间的平均距离，根据平移后的曲线与原始脊特征的拟合误差，剔除平移拟合误差超过设定误差的曲线；
基于密度的聚类方法，将剩下轨迹曲线方程的二次项系数和一次项系数，构成坐标作为数据点进行聚类，以最大簇的类中心作为主轨迹方程参数，得到主轨迹方程。
预警模块得出车道线的横向运动幅度，提供预警，具体过程为：若车道线的横向偏离距离超过设定阈值，则进行警报提醒；若车道线的横向偏离距离小于设定距离，但车道线的方向变化超过设定角度，则进行预警提醒。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (8)
1.一种基于不完备车道线信息的车辆偏离预警方法，其特征在于，包括以下步骤：
采集车辆前方道路图像，并按采集先后顺序堆叠所采集图像，形成时空切片图，同时归一化道路宽度；
在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志；
对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条车道线轨迹曲线方程；
基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程；
基于车道线的初始位置和主轨迹方程，得出车道线的横向运动幅度，提供预警；
所述在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志，具体步骤包括：
提取时空切片图中满足暗-亮-暗亮度约束且宽度在一定范围内的区域，作为脊特征；
空间距离在一定范围内且方向相差较小的脊特征，聚类成同一个超标志，所述超标志使用头部位置、头部方向、中心位置、中心方向、尾部位置和尾部方向描述；
将两个彼此关联概率均最高的超标志整合成为一个超标志，所述关联概率为超标志的头部方向和尾部方向之间的相关性。
2.如权利要求1所述的一种基于不完备车道线信息的车辆偏离预警方法，其特征在于：所述对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条轨迹曲线方程，具体步骤包括：
构建条件随机场无向图，所述条件随机场无向图包括顶点和边，顶点内部表示两超标志的关联概率，每个顶点对应一个用于表明该顶点内部两超标志关联性的label值，顶点内部的能量项为一元能量项，顶点之间的能量项为二元能量项；
通过匈牙利算法，使顶点内部和顶点之间的能量项到达最小值，更新每个顶点对应的label值，得到超标志的分组；
根据时间序列的长度选用二次曲线方程拟合分组后的超标志，得到多条轨迹曲线方程。
3.如权利要求2所述的一种基于不完备车道线信息的车辆偏离预警方法，其特征在于：所述基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程，具体步骤包括：
将两两曲线相向平移，平移的距离为两曲线之间的平均距离，根据平移后的曲线与原始脊特征的拟合误差，剔除平移拟合误差超过设定误差的曲线；
基于密度的聚类方法，将剩下轨迹曲线方程的二次项系数和一次项系数，构成坐标作为数据点进行聚类，以最大簇的类中心作为主轨迹方程参数，得到主轨迹方程。
4.如权利要求1所述的一种基于不完备车道线信息的车辆偏离预警方法，其特征在于：所述得出车道线的横向运动幅度，提供预警，具体步骤为：若车道线的横向偏离距离超过设定阈值，则进行警报提醒；若车道线的横向偏离距离小于设定距离，但车道线的方向变化超过设定角度，则进行预警提醒。
5.一种基于不完备车道线信息的车辆偏离预警系统，其特征在于，包括：
采集模块，其用于采集车辆前方道路图像，并按采集先后顺序堆叠所采集图像，形成时空切片图，同时归一化道路宽度；
提取模块，其用于在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志；
拟合模块，其用于对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条车道线轨迹曲线方程；
筛选模块，其用于基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程；
预警模块，其用于基于车道线的初始位置和主轨迹方程，得出车道线的横向运动幅度，提供预警；
所述提取模块在时空切片图中提取道路车道线的脊特征，并基于空间距离和方向距离采用多级关联将脊特征聚类成超标志，具体过程包括：
提取时空切片图中满足暗-亮-暗亮度约束且宽度在一定范围内的区域，作为脊特征；
空间距离在一定范围内且方向相差较小的脊特征，聚类成同一个超标志，所述超标志使用头部位置、头部方向、中心位置、中心方向、尾部位置和尾部方向描述；
将两个彼此关联概率均最高的超标志整合成为一个超标志，所述关联概率为超标志的头部方向和尾部方向之间的相关性。
6.如权利要求5所述的一种基于不完备车道线信息的车辆偏离预警系统，其特征在于：所述拟合模块对超标志构建条件随机场无向图，然后通过最优化能量函数并采用二次曲线拟合得到多条轨迹曲线方程，具体过程包括：
构建条件随机场无向图，所述条件随机场无向图包括顶点和边，顶点内部表示两超标志的关联概率，每个顶点对应一个用于表明该顶点内部两超标志关联性的label值，顶点内部的能量项为一元能量项，顶点之间的能量项为二元能量项；
通过匈牙利算法，使顶点内部和顶点之间的能量项到达最小值，更新每个顶点对应的label值，得到超标志的分组；
根据时间序列的长度选用二次曲线方程拟合分组后的超标志，得到多条轨迹曲线方程。
7.如权利要求6所述的一种基于不完备车道线信息的车辆偏离预警系统，其特征在于：所述筛选模块基于共同运动模式，通过平移和聚类从多条轨迹曲线方程中挑选出主轨迹方程，具体过程包括：
将两两曲线相向平移，平移的距离为两曲线之间的平均距离，根据平移后的曲线与原始脊特征的拟合误差，剔除平移拟合误差超过设定误差的曲线；
基于密度的聚类方法，将剩下轨迹曲线方程的二次项系数和一次项系数，构成坐标作为数据点进行聚类，以最大簇的类中心作为主轨迹方程参数，得到主轨迹方程。
8.如权利要求5所述的一种基于不完备车道线信息的车辆偏离预警系统，其特征在于：所述预警模块得出车道线的横向运动幅度，提供预警，具体过程为：若车道线的横向偏离距离超过设定阈值，则进行警报提醒；若车道线的横向偏离距离小于设定距离，但车道线的方向变化超过设定角度，则进行预警提醒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811535893.4A CN109677405B (zh) | 2018-12-14 | 2018-12-14 | 一种基于不完备车道线信息的车辆偏离预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811535893.4A CN109677405B (zh) | 2018-12-14 | 2018-12-14 | 一种基于不完备车道线信息的车辆偏离预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109677405A CN109677405A (zh) | 2019-04-26 |
| CN109677405B true CN109677405B (zh) | 2020-06-16 |
Family
ID=66187817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811535893.4A Active CN109677405B (zh) | 2018-12-14 | 2018-12-14 | 一种基于不完备车道线信息的车辆偏离预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109677405B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232336A (zh) * | 2019-05-28 | 2019-09-13 | 成都谷辘信息技术有限公司 | 一种车道偏离在线安全预警系统 |
| CN110986970A (zh) * | 2019-12-21 | 2020-04-10 | 武汉中海庭数据技术有限公司 | 一种轨迹点与交通标志位置优化方法及系统 |
| CN111325187B (zh) * | 2020-03-23 | 2023-10-20 | 北京经纬恒润科技股份有限公司 | 一种车道位置的识别方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955947A (zh) * | 2014-03-21 | 2014-07-30 | 南京邮电大学 | 一种基于连续最小能量与表观模型的多目标关联跟踪方法 |
| EP3098753A1 (en) * | 2015-05-28 | 2016-11-30 | Tata Consultancy Services Limited | Lane detection |
| CN105005771B (zh) * | 2015-07-13 | 2018-04-10 | 西安理工大学 | 一种基于光流点轨迹统计的车道线实线的检测方法 |
| CN105335704B (zh) * | 2015-10-16 | 2019-04-30 | 河南工业大学 | 一种基于双线性插值的车道线识别方法与装置 |
| CN107134006B (zh) * | 2016-02-29 | 2020-11-24 | 株式会社理光 | 创建物理场景模型的方法和装置、辅助驾驶的方法和装置 |
-
2018
- 2018-12-14 CN CN201811535893.4A patent/CN109677405B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109677405A (zh) | 2019-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108345822B (zh) | 一种点云数据处理方法及装置 | |
| CN109677405B (zh) | 一种基于不完备车道线信息的车辆偏离预警方法及系统 | |
| Yu et al. | Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds | |
| CN102708356B (zh) | 一种基于复杂背景下的车牌自动定位和识别方法 | |
| Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
| CN103832433B (zh) | 车道偏离及前车防碰撞报警系统及其实现方法 | |
| CN102163290B (zh) | 基于时空关联信息的多视角视频监控中异常事件建模方法 | |
| CN104573627B (zh) | 基于二值图像的车道线保留与检测方法 | |
| CN110320531B (zh) | 基于激光雷达的障碍物识别方法、地图创建方法及装置 | |
| AU2020202249A1 (en) | Feature extraction from mobile lidar and imagery data | |
| CN105005771A (zh) | 一种基于光流点轨迹统计的车道线实线的检测方法 | |
| CN109727273B (zh) | 一种基于车载鱼眼相机的移动目标检测方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN103324930A (zh) | 一种基于灰度直方图二值化的车牌字符分割方法 | |
| CN102737386A (zh) | 一种运动目标抗融合遮挡跟踪算法 | |
| CN108364466A (zh) | 一种基于无人机交通视频的车流量统计方法 | |
| CN105574542A (zh) | 基于多传感器融合的多视觉特征车辆检测方法 | |
| EP4120123A1 (en) | Scan line-based road point cloud extraction method | |
| CN113370977A (zh) | 一种基于视觉的智能车辆前向碰撞预警方法及系统 | |
| CN103996031A (zh) | 一种自适应阈值分割的车道线检测系统及其方法 | |
| Li et al. | RETRACTED ARTICLE: Design of traffic object recognition system based on machine learning | |
| CN113569915A (zh) | 一种基于激光雷达的多策略轨道交通障碍物识别方法 | |
| Huang | Real-time multi-vehicle detection and sub-feature based tracking for traffic surveillance systems | |
| CN113516853A (zh) | 一种针对复杂监控场景的多车道车流量检测方法 | |
| CN103714517A (zh) | 视频去雨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240104 Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd. Address before: 430074 No. 182, National Road, Hongshan District, Wuhan, Hubei Patentee before: SOUTH CENTRAL University FOR NATIONALITIES |