CN114808649A - 基于视觉系统控制的公路划线方法 - Google Patents

基于视觉系统控制的公路划线方法 Download PDF

Info

Publication number
CN114808649A
CN114808649A CN202210630665.5A CN202210630665A CN114808649A CN 114808649 A CN114808649 A CN 114808649A CN 202210630665 A CN202210630665 A CN 202210630665A CN 114808649 A CN114808649 A CN 114808649A
Authority
CN
China
Prior art keywords
line
radar
vehicle
vision
stereoscopic vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210630665.5A
Other languages
English (en)
Other versions
CN114808649B (zh
Inventor
唐昀超
杨永民
刘涛
程晔
张芸齐
陈耿杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkai University of Agriculture and Engineering
Original Assignee
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkai University of Agriculture and Engineering filed Critical Zhongkai University of Agriculture and Engineering
Priority to CN202210630665.5A priority Critical patent/CN114808649B/zh
Publication of CN114808649A publication Critical patent/CN114808649A/zh
Application granted granted Critical
Publication of CN114808649B publication Critical patent/CN114808649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/16—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings
    • E01C23/20—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings for forming markings in situ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于视觉系统控制的公路划线方法，它包括：以路边的栏杆为参照物，采用两组激光雷达提供数据给划线机自主前行导航和车身定位，其中，雷达A用于自动划线车前行导航，雷达B用于划线车与高速公路边水泥栏杆相对位置的精确定位；相对定位保证划线与栏杆路基平行；同步采用两组立体视觉系统，其中，立体视觉A用于行走路线导航与实时避障，其检测数据与雷达A数据进行融合来实现精确导航和避障；而立体视觉B对划线机末端划线机构对已画出线的尺寸进行检测，当误差超过机构微量调整量时，通过误差融合和补偿控制系统进行规划路径实现车辆的精确导航和避障，以提供给控制器执令划线机末端调整进行指令划线车进行画线以完成整个公路画线过程。

Description

基于视觉系统控制的公路划线方法
技术领域
本发明涉及一种基于视觉系统控制的公路划线方法。
背景技术
据市场调查和相关公开文献进行检索，目前城乡道路、高速公路及桥梁道路的划线均为人工划线。虽然已有的专利文献和一些技术成果文献中记载，自动划线、测距的激光雷达和立体视觉传感技术的独立应用技术较为成熟，但未发现在自动公路划线机上应用。
自动行走的划线机器行走路线与划线路线一致，如用北斗(GPS)导航系统定位精度仍然在厘米级，特别是在高速公路上，定位精度受到路边高层建筑、山体和高物体影响、空中云层和天气的干扰，误差至少20厘米-50厘米，该问题成为困扰自动划线机能在实际工程应用的问题。实际上，划线时包括二种误差，一是机器行走时北斗导航的误差，二是划线机末端划线机构画划线时也会产生误差、二者相加形成综合误差使得划线不准确。如文献阐述了用机器视觉查找水线实现精确定位([1]石磊,高速公路无人驾驶划线车.山东省,山东交通学院,2020-12-30.其主要用图像识别引导划线设备沿预设路线实现姿态调整与自动驾驶；同样也不可避免地存在导航检测误差。
为此，我们研制了一种基于视觉系统控制的公路划线方法。
发明内容
本发明的目的所要解决的技术问题是要提供一种基于视觉系统控制的公路划线方法，本方法无需事先预设路径，通过多组激光雷达传感装置和传双目视觉传感装置来检测划线的划线车行自动划线车前行导航和避障以及划线车与高速公路边水泥栏杆相对位置的定位；且对误差融合和补偿使划线机的运动轨迹进行调节；从而快捷精确完成整个公路画线过程。
为了实现上述目的，本发明采用的技术方案是提供一种基于视觉系统控制的公路划线方法，它包括：
以路边的栏杆为参照物，采用两组激光雷达提供数据给划线机自主前行导航和车身定位，其中，雷达A用于自动划线车前行导航，雷达B用于划线车与高速公路边水泥栏杆相对位置的精确定位；相对定位保证划线与栏杆路基平行；
同步采用两组立体视觉系统，其中，立体视觉A用于行走路线导航与实时避障，其检测数据与雷达A数据进行融合来实现精确导航和避障；而立体视觉B对划线机末端划线机构对已画出线的尺寸进行检测，当检测划的线条与导航给出的线条存在累积误差时，视觉控制划线机末端划线机构进行微量调整，实时修正偏差；
当误差超过机构微量调整量时，超过误差时把数据传输给控制器，控制器通过误差融合和补偿控制系统进行规划路径实现车辆的精确导航和避障，以提供给控制器执令划线机末端调整进行指令划线车进行画线以完成整个公路画线过程。
于本发明的一个或多个实施例中，所述雷达A依次执行步骤包括获取车身周围的环境点云、对体素网格处理进行ROI提取、采用RANSAC将目标点云从场景中分割出来、基于欧氏距离对目标点云和地面进行聚类和运用PCA对目标点云簇进行边界拟合。
于本发明的一个或多个实施例中，立体视觉A依次为执行步骤为利用双目装置采集栏杆或路基、车辆、行人的图像，相机标定、像素标定，左右相机标定后校正并确定系统误差，深度学习样本训练标记，改进YOLOV5模型参数优化，设计适合车辆、栏杆、行人的候选框，用优化YOLOV5模型进行图像分类识别，双目视觉图像匹配，三维重构获得车辆、行人、栏杆的三维点云。
于本发明的一个或多个实施例中，所述雷达B对栏杆进行识别定位来确定画线与栏杆平行。
于本发明的一个或多个实施例中，所述立体视觉B对已画线进行检测后，计算已画划线中心点坐同时检测已画划线宽度，计算中心点到栏杆的水平距离，所述雷达B与立体视觉进行数据来判断误差是否超出画线机构微调量；
如是，则与雷达A和立体视觉A所测数据融合并进行误差补偿,控制系统规划路径而使车辆进行精确导航；
如否，控制系统对末端划线机构进行微调,实时修正偏差。
本发明同背景技术相比存在的效果是：
由于本发明采用上述的方案，本方法无需事先预设路径，通过多组激光雷达传感装置和传双目视觉传感装置来检测划线的划线车行自动划线车前行导航和避障以及划线车与高速公路边水泥栏杆相对位置的定位；且对误差融合和补偿使划线机的运动轨迹进行调节；从而快捷精确完成整个公路画线过程。
附图说明
图1为本发明一个实施例中一种基于视觉系统控制的公路划线方法的流程框图；
图2为本发明一个实施例中一种基于视觉系统控制的公路划线方法的应用状态下的示意图；
本领域的技术人员可以从附图中所示出形状、构造并理解得出的方案，附图的各种部件不一定是按比例的，并且附图的各种部件和元件的尺寸可以进行放大或缩小，从而更清楚地说明本文描述的本发明的实施方案。
具体实施方式
以下参考图1来描述具体的施例，然而，本领域的技术人员将容易地理解，本文相对于这些附图所给出的详细描述仅出于说明性目的，而不应被理解为是限制性的，本实施例提供一种基于视觉系统控制的公路划线方法，它包括：
以路边的栏杆为参照物，采用两组激光雷达提供数据给划线机自主前行导航和车身定位，其中，雷达A用于自动划线车前行导航，雷达B用于划线车与高速公路边水泥栏杆相对位置的精确定位；相对定位保证划线与栏杆路基平行；
同步采用两组立体视觉系统，其中，立体视觉A用于行走路线导航与实时避障，其检测数据与雷达A数据进行融合来实现精确导航和避障；而立体视觉B对划线机末端划线机构对已画出线的尺寸进行检测，当检测划的线条与导航给出的线条存在累积误差时，视觉控制划线机末端划线机构进行微量调整，实时修正偏差；
当误差超过机构微量调整量时，超过误差时把数据传输给控制器，控制器通过误差融合和补偿控制系统进行规划路径实现车辆的精确导航和避障，以提供给控制器执令划线机末端调整进行指令划线车进行画线以完成整个公路画线过程。
本实施中，具体的步骤为雷达A依次执行步骤包括获取车身周围的环境点云、对体素网格处理进行ROI提取、采用RANSAC将目标点云从场景中分割出来、基于欧氏距离对目标点云和地面进行聚类和运用PCA对目标点云簇进行边界拟合。
其中，立体视觉A依次为执行步骤为利用双目装置采集栏杆或路基、车辆、行人的图像，相机标定、像素标定，左右相机标定后校正并确定系统误差，深度学习样本训练标记，改进YOLOV5模型参数优化，设计适合车辆、栏杆、行人的候选框，用优化YOLOV5模型进行图像分类识别，双目视觉图像匹配，三维重构获得车辆、行人、栏杆的三维点云。
所述雷达B对栏杆进行识别定位来确定画线与栏杆平行。
所述立体视觉B对已画线进行检测后，计算已画划线中心点坐同时检测已画划线宽度，计算中心点到栏杆的水平距离，所述雷达B与立体视觉进行数据来判断误差是否超出画线机构微调量；
如是，则与雷达A和立体视觉A所测数据融合并进行误差补偿,控制系统规划路径而使车辆进行精确导航；
如否，控制系统对末端划线机构进行微调,实时修正偏差。
综合上述内及附图2所示出的，当末端划线机构画线时，当画完一条线返回时，画第二条线时，再用立体视觉A检测已画好的线，这时与雷达B测量的栏杆距离数据进行计算，并融合，可以用改进的YOLOV5算法进行多目标分类识别(如：第一次的划线、障碍等)，再检测第一条已画好线的中心线与当前画好线的中心线的距离并实时控制车的相对位置，该相对位置计算与激光雷达数据进行融合；分类识别算法可分类出线、障碍、车和生物等物体。通过视觉与激光雷达数据融合，进行避障路径规划。其它检测方法同第一条线那样。这样使发明本方法无需事先预设路径，通过多组激光雷达传感装置和传双目视觉传感装置来检测划线的划线车行自动划线车前行导航和避障以及划线车与高速公路边水泥栏杆相对位置的定位；且对误差融合和补偿使划线机的运动轨迹进行调节；从而快捷精确完成整个公路画线过程。
为了说明的目的，前述描述使用具体命名以提供对所述实施方案的彻底理解。然而，对于本领域的技术人员而言将显而易见的是，不需要具体细节，以便实践所述实施方案。所属技术领域的技术人员应当理解，而本发明不局限于上述的具体实施方式，在本发明基础上采用本领域公知技术的改进和替代均落在本发明的保护范围，应由各权利要求限定之。

Claims (5)

1.一种基于视觉系统控制的公路划线方法，其特征在于，它包括：
以路边的栏杆为参照物，采用两组激光雷达提供数据给划线机自主前行导航和车身定位，其中，雷达A用于自动划线车前行导航，雷达B用于划线车与高速公路边水泥栏杆相对位置的精确定位；相对定位保证划线与栏杆路基平行；
同步采用两组立体视觉系统，其中，立体视觉A用于行走路线导航与实时避障，其检测数据与雷达A数据进行融合来实现精确导航和避障；而立体视觉B对划线机末端划线机构对已画出线的尺寸进行检测，当检测划的线条与导航给出的线条存在累积误差时，视觉控制划线机末端划线机构进行微量调整，实时修正偏差；
当误差超过机构微量调整量时，超过误差时把数据传输给控制器，控制器通过误差融合和补偿控制系统进行规划路径实现车辆的精确导航和避障，以提供给控制器执令划线机末端调整进行指令划线车进行画线以完成整个公路画线过程。
2.根据权利要求1所述的基于视觉系统控制的公路划线方法，其特征在于：所述雷达A依次执行步骤包括获取车身周围的环境点云、对体素网格处理进行ROI提取、采用RANSAC将目标点云从场景中分割出来、基于欧氏距离对目标点云和地面进行聚类和运用PCA对目标点云簇进行边界拟合。
3.根据权利要求2所述的基于视觉系统控制的公路划线方法，其特征在于：立体视觉A依次为执行步骤为利用双目装置采集栏杆或路基、车辆、行人的图像，相机标定、像素标定，左右相机标定后校正并确定系统误差，深度学习样本训练标记，改进YOLOV5模型参数优化，设计适合车辆、栏杆、行人的候选框，用优化YOLOV5模型进行图像分类识别，双目视觉图像匹配，三维重构获得车辆、行人、栏杆的三维点云。
4.根据权利要求3所述的基于视觉系统控制的公路划线方法，其特征在于：所述雷达B对栏杆进行识别定位来确定画线与栏杆平行。
5.根据权利要求4所述的基于视觉系统控制的公路划线方法，其特征在于：所述立体视觉B对已画线进行检测后，计算已画划线中心点坐同时检测已画划线宽度，计算中心点到栏杆的水平距离，所述雷达B与立体视觉进行数据来判断误差是否超出画线机构微调量；
如是，则与雷达A和立体视觉A所测数据融合并进行误差补偿,控制系统规划路径而使车辆进行精确导航；
如否，控制系统对末端划线机构进行微调,实时修正偏差。
CN202210630665.5A 2022-06-06 2022-06-06 基于视觉系统控制的公路划线方法 Active CN114808649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210630665.5A CN114808649B (zh) 2022-06-06 2022-06-06 基于视觉系统控制的公路划线方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210630665.5A CN114808649B (zh) 2022-06-06 2022-06-06 基于视觉系统控制的公路划线方法

Publications (2)

Publication Number Publication Date
CN114808649A true CN114808649A (zh) 2022-07-29
CN114808649B CN114808649B (zh) 2023-12-22

Family

ID=82520844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210630665.5A Active CN114808649B (zh) 2022-06-06 2022-06-06 基于视觉系统控制的公路划线方法

Country Status (1)

Country Link
CN (1) CN114808649B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082701A (zh) * 2022-08-16 2022-09-20 山东高速集团有限公司创新研究院 一种基于双摄像头的多水线交叉识别定位方法
CN116009563A (zh) * 2023-03-27 2023-04-25 中铁建大桥工程局集团电气化工程有限公司 一种融合激光雷达与深度相机的机器人无人划线方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI961154A0 (it) * 1996-06-06 1996-06-06 Striscia di materiale flessibile avente caratteristiche di retrori- flettenza e di rifrangenza della luce e metodo per il suo ottenimento
WO2009074058A1 (fr) * 2007-11-26 2009-06-18 Hongyun Liu Dispositif et procédé pour tester des voies de chemin de fer par laser
CN103439981A (zh) * 2013-08-29 2013-12-11 浙江理工大学 基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法
CN112127259A (zh) * 2020-09-18 2020-12-25 苏州信美驰工程科技有限公司 一种划线小车用远程控制系统及控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI961154A0 (it) * 1996-06-06 1996-06-06 Striscia di materiale flessibile avente caratteristiche di retrori- flettenza e di rifrangenza della luce e metodo per il suo ottenimento
WO2009074058A1 (fr) * 2007-11-26 2009-06-18 Hongyun Liu Dispositif et procédé pour tester des voies de chemin de fer par laser
CN103439981A (zh) * 2013-08-29 2013-12-11 浙江理工大学 基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法
CN112127259A (zh) * 2020-09-18 2020-12-25 苏州信美驰工程科技有限公司 一种划线小车用远程控制系统及控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082701A (zh) * 2022-08-16 2022-09-20 山东高速集团有限公司创新研究院 一种基于双摄像头的多水线交叉识别定位方法
CN115082701B (zh) * 2022-08-16 2022-11-08 山东高速集团有限公司创新研究院 一种基于双摄像头的多水线交叉识别定位方法
CN116009563A (zh) * 2023-03-27 2023-04-25 中铁建大桥工程局集团电气化工程有限公司 一种融合激光雷达与深度相机的机器人无人划线方法

Also Published As

Publication number Publication date
CN114808649B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
EP3519770B1 (en) Methods and systems for generating and using localisation reference data
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN105955259B (zh) 基于多窗口实时测距的单目视觉agv的精确定位方法
CN107235044B (zh) 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
CN114808649A (zh) 基于视觉系统控制的公路划线方法
CN103733077B (zh) 用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品
US20210229280A1 (en) Positioning method and device, path determination method and device, robot and storage medium
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
CN105676253A (zh) 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
CN109583415A (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN105511462B (zh) 一种基于视觉的agv导航方法
CN111194459B (zh) 自动驾驶功能部件的评估和在不同处理阶段中的道路识别
CN109477728A (zh) 用于确定车辆相对于路面的车道的横向位置的方法、装置和带有指令的计算机可读存储介质
CN110531376A (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN105260699A (zh) 一种车道线数据的处理方法及装置
CN103196418A (zh) 一种弯道车距测量方法
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN105444741A (zh) 基于双视野窗口的路径特征识别、偏差测量与精确定位方法
CN113791621A (zh) 一种自动驾驶牵引车与飞机对接方法及系统
DE102017123219A1 (de) Strassenmarkierungserkennungsvorrichtung
CN113537046A (zh) 基于检测车辆轨迹大数据的地图车道线标注方法及系统
CN114399748A (zh) 一种基于视觉车道检测的农机实时路径校正方法
CN112985425A (zh) 基于异构感知数据融合的车辆定位方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant