CN111896012A - 一种基于机器视觉的车载导航方法 - Google Patents

一种基于机器视觉的车载导航方法 Download PDF

Info

Publication number
CN111896012A
CN111896012A CN202010178852.5A CN202010178852A CN111896012A CN 111896012 A CN111896012 A CN 111896012A CN 202010178852 A CN202010178852 A CN 202010178852A CN 111896012 A CN111896012 A CN 111896012A
Authority
CN
China
Prior art keywords
image
offset
rotating speed
method based
navigation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010178852.5A
Other languages
English (en)
Inventor
仝光
李解
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yupei Automobile Technology Co ltd
Original Assignee
Shanghai Yupei Automobile Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yupei Automobile Technology Co ltd filed Critical Shanghai Yupei Automobile Technology Co ltd
Priority to CN202010178852.5A priority Critical patent/CN111896012A/zh
Publication of CN111896012A publication Critical patent/CN111896012A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器视觉的车载导航方法，包括以下步骤，1）将提取到的车道线图像进行图像预处理，主要包括图像的灰度化，中值滤波进行图像的去噪，Sobel算子进行图像的边缘提取；2）提取车道线的中点，将提取出来的中点连接起来形成小车前进的导航线，然后测量出车道线实际的中心位置，计算出提取出的导航线M与实际的中心位置的偏移量，给两个电机不同的PWM占空比来控制它们的转速，值主要用来确定给的PMW占空比的大小；3）识别二维码中信息完成前进，后退，左转，右转。本发明使得环卫小车可以在人流量较少且没有数字地图的园区或工厂内进行自主清扫工作，节省了垃圾增多带来的人力和车辆的压力。

Description

一种基于机器视觉的车载导航方法
技术领域
本发明涉及车载导航领域，尤其涉及一种基于机器视觉的车载导航方法。
背景技术
环卫行业地位日益提高，现有环卫专用车尚不能适应城市建设要求。近年来，随着我国城市建设进程的不断加快，城市生活垃圾以及道路机械化作业面积与日俱增，给环卫车辆驾驶员带来的工作负担日益加重。
作为特定环境下的低速扫路车，国内部分学者已经进行了无人驾驶技术的研究，大多都聚焦于基于数字地图的路径导航，这种导航方法导航精度准确，但对系统的处理能力要求较严格且成本偏高。
本文针对扫路车的特定运行环境，提出基于机器视觉的路径导航方法。随着计算机硬件的不断升级，使得机器视觉系统的性能有了很大的提升，检测范围和检测能力都在横向、纵向上不断延伸。在增长速度和市场规模等数据上，我国正在奋起直追且效果显著，眼下已成为全球第三大机器视觉市场。
发明内容
针对上述的现状，本发明的目的在于提供一种利用车道线，识别准确，便于操作的基于机器视觉的导航方法。此导航方法针对人流量较少且缺乏数字地图的工业园区或工厂内。
本发明是通过以下技术方案达到上述目的：一种基于机器视觉的车载导航方法，包括如下步骤：
（1）基于车道线提取和二维码识别的导航方法；
（2）将提取到的车道线图像进行图像预处理，主要包括图像的灰度化，中值滤波进行图像的去噪，Sobel算子进行图像的边缘提取；
（3）提取车道线的中点，将提取出来的中点连接起来形成小车前进的导航线，然后测量出车道线实际的中心位置，计算出提取出的导航线M与实际的中心位置的偏移量，给两个电机不同的PWM占空比来控制它们的转速，值主要用来确定给的PMW占空比的大小；
（4）识别二维码中信息完成前进，后退，左转，右转。
本项发明的功能是这样实现的：首先利用摄像头采集到车道线的图像，将采集到的图像经过图像的灰度化，图像的去噪和边缘提取，得到预处理后的图像，在预处理后的图像中单看某一行的像素值找到白色像素点个数和白色像素点索引，接下来找到白色像素点的中心位置，计算出提取出的导航线M与实际的中心位置的偏移量。采用两个直流电机控制扫路车的行进，采用差速转向的控制原理控制小车的转向。给两个电机不同的PWM占空比来控制它们的转速，偏移量值主要用来确定给的PMW占空比的大小。
如果偏移量过大或者过小的话，默认扫路车已行驶偏离轨道线，使PWM占空比为0，小车停止行进。
如果偏移量大于0时，说明扫路车偏于车道线左边，右轮转速不变，增大左轮PWM占空比，使左轮转速增加，扫路车向右转。
如果偏移量小于0时，说明扫路车偏于车道线右边，左轮转速不变，增大右轮PWM占空比，使右轮转速增加，扫路车向左转。
如果偏移量等于0时，说明扫路车位于车道线中心，左右轮转速不变扫路车保持直行。
在指定地点设置二维码地标，摄像头采集到二维码，主控芯片经过置探测图形和定位图形定位并获取图形,根据黑白色块转成0,1组成的数组,确定一个阈值,用该值将图像转化为一系列深色和浅色像素。识别格式和版本信息，确定二维码的纠错等级，去掉掩码,即从格式信息中得到编码区的摆位图进行异或处理消除掩码，恢复数据码字和纠错码字使用纠错码字进行错误检查,并纠错，以确保得到准确的信息来完成前进，后退，左转，右转等功能。
附图说明
图1是本发明的方法流程示意图；
图2是本发明图像预处理的流程图；
图3是本发明车道线灰度化处理结果示意图；
图4是本发明车道线去噪结果示意图；
图5是图像像素点分布函数示意图；
图6是图像像素点分布函数导数图像示意图；
图7是本发明车道线边缘提取结果示意图；
图8是普通二维码基本结构示意图；
图9是本发明二维码解码流程图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
1、如图3所示，一种基于机器视觉的车载导航方法，车道线灰度方法步骤具体如下：加权平均法根据人眼敏感度，将三个分量以不同的权数进行加权。由于人眼对绿色的敏感最高，对蓝色敏感最低，经过研究最符合人类视觉的 R、G、B 分量的系数分别为 0.299、0.587、0.114。图像灰度值的公式为：
Figure RE-405382DEST_PATH_IMAGE001
2、如图4所示，一种基于机器视觉的车载导航方法，车道线去噪方法步骤具体如下：中值滤波为基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波表达式如下：
Figure RE-935721DEST_PATH_IMAGE002
式中：
Figure RE-220071DEST_PATH_IMAGE003
表示图像中心像素点的位置；
Figure RE-632598DEST_PATH_IMAGE004
表示所选中心像素点的周围像素点；表 示所选择的模板大小；
3、如图7所示，一种基于机器视觉的车载导航方法，车道线边缘提取方法步骤具体如下：Sobel算子是计算机视觉领域的一种重要处理方法。主要用于获得数字图像的一阶梯度，常见的应用和物理意义是边缘检测Sobel算子表达式如下：
Figure RE-560289DEST_PATH_IMAGE006
Gx及Gy分别代表水平梯度和垂直梯度
4、据预处理后的车道线图像，先单看某一行的像素值找到白色像素点个数和白色像素点索引，具体表达式为：
Figure RE-56309DEST_PATH_IMAGE008
Figure RE-622420DEST_PATH_IMAGE009
接下来找到白色像素点的中心位置，具体表达式为：
Figure RE-924088DEST_PATH_IMAGE010
计算出提取出的导航线M与实际的中心位置的偏移量，具体表达式为：
Figure RE-2771DEST_PATH_IMAGE011
如果偏移量过大或者过小的话，默认扫路车已行驶偏离轨道线，使PWM占空比为0，小车停止行进。
如果偏移量大于0时，说明扫路车偏于车道线左边，右轮转速不变，增大左轮PWM占空比，使左轮转速增加，扫路车向右转。
如果偏移量小于0时，说明扫路车偏于车道线右边，左轮转速不变，增大右轮PWM占空比，使右轮转速增加，扫路车向左转。
如果偏移量等于0时，说明扫路车位于车道线中心，左右轮转速不变扫路车保持直行。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (4)

1.一种基于机器视觉的车载导航方法，其特征在于，包括如下步骤：
（1）基于车道线提取和二维码识别的导航方法；
（2）将提取到的车道线图像进行图像预处理，主要包括图像的灰度化，中值滤波进行图像的去噪，Sobel算子进行图像的边缘提取；
（3）提取车道线的中点，将提取出来的中点连接起来形成小车前进的导航线，然后测量出车道线实际的中心位置，计算出提取出的导航线M与实际的中心位置的偏移量，给两个电机不同的PWM占空比来控制它们的转速，值主要用来确定给的PMW占空比的大小；
（4）识别二维码中信息完成前进，后退，左转，右转。
2.根据权利要求1所述的一种基于机器视觉的车载导航方法，其特征在于：所述步骤（2）中对车道线图像进行图像预处理，所述中值滤波为基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波表达式如下：
Figure 833664DEST_PATH_IMAGE001
式中：
Figure 255549DEST_PATH_IMAGE002
表示图像中心像素点的位置；
Figure 491359DEST_PATH_IMAGE003
表示所选中心像素点的周围像素点；
Figure 315089DEST_PATH_IMAGE004
表 示所选择的模板大小；
Sobel算子是计算机视觉领域的一种重要处理方法，主要用于获得数字图像的一阶梯度，常见的应用和物理意义是边缘检测Sobel算子表达式如下：
Figure 345362DEST_PATH_IMAGE005
Figure 254544DEST_PATH_IMAGE006
Gx及Gy分别代表水平梯度和垂直梯度。
3.根据权利要求2所述的一种基于机器视觉的车载导航方法，其特征在于：所述步骤(3)中，根据预处理后的车道线图像，先单看某一行的像素值找到白色像素点个数和白色像素点索引，具体表达式为：
Figure 966148DEST_PATH_IMAGE007
Figure 893652DEST_PATH_IMAGE008
接下来找到白色像素点的中心位置，具体表达式为：
Figure 845559DEST_PATH_IMAGE009
计算出提取出的导航线M与实际的中心位置的偏移量，具体表达式为：
Figure 491304DEST_PATH_IMAGE010
如果偏移量过大或者过小的话，默认扫路车已行驶偏离轨道线，使PWM占空比为0，小车停止行进；
如果偏移量大于0时，说明扫路车偏于车道线左边，右轮转速不变，增大左轮PWM占空比，使左轮转速增加，扫路车向右转；
如果偏移量小于0时，说明扫路车偏于车道线右边，左轮转速不变，增大右轮PWM占空比，使右轮转速增加，扫路车向左转；
如果偏移量等于0时，说明扫路车位于车道线中心，左右轮转速不变扫路车保持直行。
4.根据权利要求1所述的一种基于基于机器视觉的车载导航方法，其特征在于：所述步骤（4）具体如下：
第一步根据位置探测图形和定位图形定位并获取图形,根据黑白色块转成0,1组成的数组,确定一个阈值,用该值将图像转化为一系列深色和浅色像素，第二步识别格式和版本信息，确定二维码的纠错等级，第三步去掉掩码,即从格式信息中得到编码区的摆位图进行异或处理消除掩码，第四步恢复数据码字和纠错码字使用纠错码字进行错误检查,并纠错，以确保得到准确的信息，最后解码数据码。
CN202010178852.5A 2020-03-15 2020-03-15 一种基于机器视觉的车载导航方法 Pending CN111896012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010178852.5A CN111896012A (zh) 2020-03-15 2020-03-15 一种基于机器视觉的车载导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010178852.5A CN111896012A (zh) 2020-03-15 2020-03-15 一种基于机器视觉的车载导航方法

Publications (1)

Publication Number Publication Date
CN111896012A true CN111896012A (zh) 2020-11-06

Family

ID=73169823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010178852.5A Pending CN111896012A (zh) 2020-03-15 2020-03-15 一种基于机器视觉的车载导航方法

Country Status (1)

Country Link
CN (1) CN111896012A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116573366A (zh) * 2023-07-07 2023-08-11 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789233A (zh) * 2012-06-12 2012-11-21 湖北三江航天红峰控制有限公司 基于视觉的组合导航机器人及导航方法
CN106054886A (zh) * 2016-06-27 2016-10-26 常熟理工学院 基于可见光图像的自动导引运输车路线识别及控制方法
CN107421540A (zh) * 2017-05-05 2017-12-01 华南理工大学 一种基于视觉的移动机器人导航方法及系统
CN108805930A (zh) * 2018-05-31 2018-11-13 上海燧方智能科技有限公司 自动驾驶车辆的定位方法和系统
CN110196062A (zh) * 2019-06-27 2019-09-03 成都圭目机器人有限公司 一种单相机跟踪车道线的导航方法
CN110389588A (zh) * 2019-07-17 2019-10-29 宁波财经学院 一种移动机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789233A (zh) * 2012-06-12 2012-11-21 湖北三江航天红峰控制有限公司 基于视觉的组合导航机器人及导航方法
CN106054886A (zh) * 2016-06-27 2016-10-26 常熟理工学院 基于可见光图像的自动导引运输车路线识别及控制方法
CN107421540A (zh) * 2017-05-05 2017-12-01 华南理工大学 一种基于视觉的移动机器人导航方法及系统
CN108805930A (zh) * 2018-05-31 2018-11-13 上海燧方智能科技有限公司 自动驾驶车辆的定位方法和系统
CN110196062A (zh) * 2019-06-27 2019-09-03 成都圭目机器人有限公司 一种单相机跟踪车道线的导航方法
CN110389588A (zh) * 2019-07-17 2019-10-29 宁波财经学院 一种移动机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张施华: "视觉导引移动机器人标识符识别与路径跟踪系统研究与设计", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2020, pages 140 - 658 *
王春东 等: "移动支付中二维码的安全性研究", 天津理工大学学报, vol. 30, no. 3, pages 15 - 20 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116573366A (zh) * 2023-07-07 2023-08-11 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质
CN116573366B (zh) * 2023-07-07 2023-11-21 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111178236B (zh) 一种基于深度学习的车位检测方法
CN105700532B (zh) 基于视觉的变电站巡检机器人导航定位控制方法
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN107341453B (zh) 一种车道线提取方法及装置
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN101750049B (zh) 基于道路和车辆自身信息的单目视觉车距测量方法
CN104751151B (zh) 一种实时多车道识别及跟踪方法
CN105718872B (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
CN103177246A (zh) 基于动态区域划分的双模型车道线识别方法
CN108364466A (zh) 一种基于无人机交通视频的车流量统计方法
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN104217427A (zh) 一种交通监控视频中车道线定位方法
CN109190483B (zh) 一种基于视觉的车道线检测方法
CN110738081B (zh) 异常路况检测方法及装置
CN110110608B (zh) 一种全景监控下基于视觉的叉车速度监测方法和系统
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN110688954A (zh) 一种基于向量运算的车辆变道检测方法
CN103996031A (zh) 一种自适应阈值分割的车道线检测系统及其方法
CN107563301A (zh) 基于图像处理技术的红灯信号检测方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法
CN111896012A (zh) 一种基于机器视觉的车载导航方法
CN112720408B (zh) 一种全地形机器人视觉导航控制方法
CN114993298A (zh) 基于ekf的模板匹配vo与轮式里程计融合定位方法
Xuan et al. Robust lane-mark extraction for autonomous driving under complex real conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201106