CN106054886B - 基于可见光图像的自动导引运输车路线识别及控制方法 - Google Patents
基于可见光图像的自动导引运输车路线识别及控制方法 Download PDFInfo
- Publication number
- CN106054886B CN106054886B CN201610480362.4A CN201610480362A CN106054886B CN 106054886 B CN106054886 B CN 106054886B CN 201610480362 A CN201610480362 A CN 201610480362A CN 106054886 B CN106054886 B CN 106054886B
- Authority
- CN
- China
- Prior art keywords
- control
- camera
- steering engine
- identification
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000003708 edge detection Methods 0.000 claims abstract description 10
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009514 concussion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于可见光图像的自动导引运输车路线识别及控制方法,其特征在于,包括以下步骤:1)采用非线性滤波对摄像头采集的车辆前方道路图像进行预处理;2)对预处理后图像进行canny边缘检测;3)在canny边缘检测基础上寻找左右边界,取左右边界的平均值为中心点,得到所有中心点构成中心线阵列;4)给中心线阵列赋权值,其中离摄像头近的区域的中心点权值大于离摄像头远的区域的中心点权值,取所有中心点的横坐标加权平均值作为舵机PD控制的目标点,调节PD的值来控制舵机的角度。该方法以中心点的横坐标加权平均值作为舵机PD控制的目标点,舵机采用PD控制,增强了车子沿线能力,转向提前,减少入弯出弯转向,实现切弯效果。
Description
技术领域
本发明涉及一种路线识别及控制方法,尤其是涉及一种基于可见光图像的自动导引运输车路线识别及控制方法,属于导航技术领域。
背景技术
随着机器人技术的发展,传感器技术、机器视觉、自动控制技术越来越成熟,人们越来越希望有可以不需要人为操控即可以自动行驶到达目的地的汽车,这一期望也渐渐即将成为现实。真实城市交通无人驾驶技术研究情况复杂,其中交通道路的识别与行车线路的控制是重要组成部分,对于智能小车黑白轨道识别与行车控制的研究能够为无人驾驶技术打下基础。
发明内容
本发明的目的是提供了一种基于可见光图像的自动导引运输车路线识别及控制方法,采用单片机为核心运算控制器,通过摄像头采集轨道图像信息,提取黑白引导线,用于轨道识别,采用PD控制算法来控制舵机转向,使其沿着轨道行进。
本发明技术方案如下:一种基于可见光图像的自动导引运输车路线识别及控制方法,包括以下步骤:
1)采用非线性滤波对摄像头采集的车辆前方道路图像进行预处理;
2)对预处理后图像进行canny边缘检测;
3)在canny边缘检测基础上寻找左右边界,取左右边界的平均值为中心点,得到所有中心点构成中心线阵列;
4)给中心线阵列赋权值,其中离摄像头近的区域的中心点权值大于离摄像头远的区域的中心点权值,取所有中心点的横坐标加权平均值作为舵机PD控制的目标点,调节PD的值来控制舵机的角度。
优选的,所述步骤1)中预处理为中值滤波去噪。
优选的,所述步骤3)中寻找左右边界是在canny边缘检测后整幅图像的下方3/4高度区域采用中心扩散法寻找左右边界。
优选的,所述给中心线阵列赋权值前,对所有中心点的坐标数组进行一维中值滤波去噪。
本发明所提供的技术方案的优点在于:
a)该方法采用普通摄像头采集的光学图像信息进行分析、识别和控制,对于在玩具车等小型智能车中的应用容易推广,成本较低。
b)采用视觉光学图像信息,与真实自动驾驶具有很强相似性、实用性,为以后研究真实城市交通无人驾驶打下基础。
c)所有中心点的横坐标加权平均值作为舵机PD控制的目标点,舵机采用PD控制,不使用积分项,使得车子能在高速行驶时仍然可以保持车身稳定,没有震荡,增强车子沿线能力,并使得转向提前,实现切弯效果。控制算法中引入微分项以后,可使得车子入弯道时转向提前,出弯道时转向减少。
附图说明
图1为正交编码器AB两相输出脉冲示意图;
图2为基于可见光图像的自动导引运输车路线识别及控制方法流程图;
图3为摄像头采集图像;
图4为中值滤波预处理后图像;
图5为采用Canny算子边缘检测结果;
图6为跑道中线检测结果。
具体实施方式
下面结合实施例对本发明作进一步说明,但不作为对本发明的限定。
为实现本发明构件的硬件系统包括单片机、加速度传感器、马达H桥驱动电路、马达转速编码器、摄像头、舵机驱动电路、电源模块、键盘模块、显示模块等部分组成,主要部分说明:
1)本发明选用的处理器芯片是飞思卡尔半导体公司提供的MK60DN512ZVL芯片,MK60DN512ZVL是飞思卡尔研发的用于汽车电子的一款高性能ARM Cortex-M4内核芯片,广泛应用于工业控制中,主频为100MHZ,可超频至120MHZ,它带有DSP指令,提供浮点单元,多达32通道的DMA可用于采集摄像头数据并且不会影响CPU的正常工作,128KB的RAM可用来存储320*240的轨道图像,1MB的程序存储器用来存储大量的程序。与此同时,单片机提供的16位高精度AD可以用来采集三轴加速度计的数值,两个FTM模块刚好可以用来输出PWM控制马达转速。
2)采用飞思卡尔公司生产的三轴加速度传感器MMA7361,用于汽车上坡的检测是不错的选择,它还可以应用于手柄、飞行器、倾斜度、硬盘保护、机器人平衡检测等。
3)马达H桥驱动器,H桥是一种电机拖动上常用的电子电路,可使其连接的马达正转和反转。这种电路常见于机器人及其它实作场合中直流电动机的正反转控制及转速控制、步进电机控制,电能变换中的大部分直流-交流变换器(如逆变器及变频器)、部分直流-直流变换器等,以及其它的功率电子装置。
4)马达转速编码器有光电式和磁式,本系统使用红外对射二极管进行制作,使用的编码器为增量型编码器,可检测正反转,其原因是编码器有A相和B相,两相相差90度,如果A相在B相前,那么马达正转;相反,A相在B相后,那么马达反转。由于两个光遮断器输出的信号相差90°,所以产生四种状态,当状态由··→2→3→4→1→··则编码器寄存器值会增大、··→1→4→3→2→··则编码器寄存器值会减小,如图1所示。
正交编码器状态机
Phase A | Phase B | 状态 |
0 | 0 | 1 |
1 | 0 | 2 |
1 | 1 | 3 |
0 | 1 | 4 |
结合图2,基于可见光图像的自动导引运输车路线识别及控制方法,包括以下步骤:
1)采用非线性滤波对摄像头采集的车辆前方道路图像进行预处理;由于摄像头的成像、传输、存储等环节都有可能受到噪声的污染。这些噪声往往在图像上是一些孤立像素点。对于离散的二维数字图像来说,噪声表现为极大值或者极小值,对后期的分割和特征提取、图像识别都造成了很大的影响,因此设置预处理去噪。常用的预处理去噪方式有
线性滤波:
高斯滤波是线性平滑滤波的一种,适用在消除高斯噪声上,常应用于图像处理的减噪。简单地说,高斯滤波就是对整幅图像取加权平均值,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后所得。高斯滤波的具体操作方法是:用一个模板扫描图像的每一像素点,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
二维高斯分布:
这其实就是一个正态分布函数,高斯平滑滤波器的模板需要符合如下布局:
以上分布呈现了高斯分布的特点,显然,高斯滤波的效果要优于普通均值滤波。
非线性滤波:
中值滤波是非线性滤波,常用于去除信号中的噪声。其方法是使用奇数个数据组成的模板来实现。将窗口中的数值排序,其中间值作为结果。中值滤波是图像预处理中的常用手段,对于椒盐噪声和斑点噪声效果很明显,而且它可以较好的保留边缘,使得它在不希望边缘模糊的场合尤为适用,因此在本实施例中采用中值滤波进行预处理,中值滤波前后图像分别如图3和图4所示。
2)对预处理后图像进行canny边缘检测;Canny算子主要步骤是先对图像进行高斯平滑,然后再用非极值抑制方法。首先使用省略系数的高斯函数H(x,y):
G(x,y)=f(x,y)*H(x,y)
然后用一阶偏导的有限差分来计算梯度的方向和幅值:
计算出的方向为:
幅值为:
使用Canny算子得出的轨道边缘效果如图5所示。
3)在canny边缘检测基础上在整幅图像的下方3/4高度区域采用中心扩散法寻找左右边界。取左右边界的平均值为中心点,对所有中心点的坐标数组进行一维中值滤波去噪,得到所有中心点构成中心线阵列,如图6;
4)给中心线阵列赋权值,其中离摄像头近的区域的中心点权值大于离摄像头远的区域的中心点权值,取所有中心点的横坐标加权平均值作为舵机PD控制的目标点,调节PD的值来控制舵机的角度。
PD控制为比例微分控制,包括以下部分,
比例控制P:
假如只用比例控制,那么控制器的输出就是y(t)=Kp×e(t),其中Kp为比例项,e(t)为误差值。
微分控制D:
引入微分控制后,将现在的误差减去上次的误差,如下公式为PD控制器输出值,Kd为微分项,引入Kd后,震荡被压抑,随着Kd的增大,震荡慢慢被消除,但Kd值如果调节过大,会压抑过大,使得达到稳态的时间加长。
因为车子并不需要完全精确处于轨道的绝对中心位置,所以没有必要使用Ki项,通过合理调节Kp参数,使得车子能在高速行驶时仍然可以保持车身稳定,没有震荡,增大Kp项可以增强车子沿线能力,并使得转向提前,实现切弯效果。控制算法中引入Kd项以后,可使得车子入弯道时转向提前,出弯道时转向减少。
Claims (3)
1.一种基于可见光图像的自动导引运输车路线识别及控制方法,其特征在于,包括以下步骤:
1)采用非线性滤波对摄像头采集的车辆前方道路图像进行预处理;
2)对预处理后图像进行canny边缘检测;
3)在canny边缘检测后整幅图像的下方3/4高度区域采用中心扩散法寻找左右边界,取左右边界的平均值为中心点,得到所有中心点构成中心线阵列;
4)给中心线阵列赋权值,其中离摄像头近的区域的中心点权值大于离摄像头远的区域的中心点权值,取所有中心点的横坐标加权平均值作为舵机PD控制的目标点,调节PD的值来控制舵机的角度。
2.根据权利要求1所述的基于可见光图像的自动导引运输车路线识别及控制方法,其特征在于,所述步骤1)中预处理为中值滤波去噪。
3.根据权利要求1所述的基于可见光图像的自动导引运输车路线识别及控制方法,其特征在于,所述给中心线阵列赋权值前,对所有中心点的坐标数组进行一维中值滤波去噪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610480362.4A CN106054886B (zh) | 2016-06-27 | 2016-06-27 | 基于可见光图像的自动导引运输车路线识别及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610480362.4A CN106054886B (zh) | 2016-06-27 | 2016-06-27 | 基于可见光图像的自动导引运输车路线识别及控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106054886A CN106054886A (zh) | 2016-10-26 |
CN106054886B true CN106054886B (zh) | 2019-03-26 |
Family
ID=57166551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610480362.4A Active CN106054886B (zh) | 2016-06-27 | 2016-06-27 | 基于可见光图像的自动导引运输车路线识别及控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106054886B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106774335B (zh) * | 2017-01-03 | 2020-01-21 | 南京航空航天大学 | 基于多目视觉和惯导的导引装置、地标布局及导引方法 |
CN106950950A (zh) * | 2017-03-02 | 2017-07-14 | 广东工业大学 | 一种基于摄像头的汽车并线辅助系统和控制方法 |
CN108181897A (zh) * | 2017-12-11 | 2018-06-19 | 华侨大学 | 一种双足机器人自动循迹的方法 |
CN111896012A (zh) * | 2020-03-15 | 2020-11-06 | 上海谕培汽车科技有限公司 | 一种基于机器视觉的车载导航方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5790403A (en) * | 1994-07-12 | 1998-08-04 | Honda Giken Kogyo Kabushiki Kaisha | Lane image processing system for vehicle |
CN102269595A (zh) * | 2010-06-02 | 2011-12-07 | 东北大学 | 基于导航线识别的嵌入式单目视觉导航系统 |
CN103198320A (zh) * | 2013-04-24 | 2013-07-10 | 厦门大学 | 一种自适应视觉辅助驾驶装置 |
CN105700532A (zh) * | 2016-04-19 | 2016-06-22 | 长沙理工大学 | 基于视觉的变电站巡检机器人导航定位控制方法 |
-
2016
- 2016-06-27 CN CN201610480362.4A patent/CN106054886B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5790403A (en) * | 1994-07-12 | 1998-08-04 | Honda Giken Kogyo Kabushiki Kaisha | Lane image processing system for vehicle |
CN102269595A (zh) * | 2010-06-02 | 2011-12-07 | 东北大学 | 基于导航线识别的嵌入式单目视觉导航系统 |
CN103198320A (zh) * | 2013-04-24 | 2013-07-10 | 厦门大学 | 一种自适应视觉辅助驾驶装置 |
CN105700532A (zh) * | 2016-04-19 | 2016-06-22 | 长沙理工大学 | 基于视觉的变电站巡检机器人导航定位控制方法 |
Non-Patent Citations (1)
Title |
---|
基于视觉引导的AGV车载系统研究;万好;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150228(第2期);论文第14、18-19、29-38页 |
Also Published As
Publication number | Publication date |
---|---|
CN106054886A (zh) | 2016-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106054886B (zh) | 基于可见光图像的自动导引运输车路线识别及控制方法 | |
CN107341453B (zh) | 一种车道线提取方法及装置 | |
US8041079B2 (en) | Apparatus and method for detecting obstacle through stereovision | |
CN109435942A (zh) | 一种基于信息融合的车位线车位识别方法及装置 | |
Li et al. | Nighttime lane markings recognition based on Canny detection and Hough transform | |
WO2018177159A1 (zh) | 运动物体的位置确定方法及系统 | |
CN106127145B (zh) | 瞳孔定位及跟踪方法 | |
CN104236478A (zh) | 一种基于视觉的车辆外廓尺寸自动测量系统及方法 | |
CN103600707A (zh) | 一种智能泊车系统的泊车位检测装置及方法 | |
CN103063159A (zh) | 一种基于ccd的零件尺寸测量方法 | |
CN105765627A (zh) | 具有基于顶灯定位的工业车辆 | |
CN101633356A (zh) | 检测行人的系统及方法 | |
CN107831760A (zh) | 机器人障碍物处理系统及方法 | |
CN112767426B (zh) | 一种目标匹配方法、装置和机器人 | |
KR101921071B1 (ko) | 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치 | |
Dahal et al. | RoadEdgeNet: Road edge detection system using surround view camera images | |
EP3800575B1 (en) | Visual camera-based method for identifying edge of self-shadowing object, device, and vehicle | |
CN105678791A (zh) | 一种基于参数不唯一的车道线检测与跟踪方法 | |
CN107767366B (zh) | 一种输电线路拟合方法及装置 | |
EP3176750A1 (en) | Vision system for a motor vehicle and method of controlling a vision system | |
CN116105721B (zh) | 地图构建的回环优化方法、装置、设备及存储介质 | |
CN113910265B (zh) | 巡检机器人智能巡检方法及系统 | |
Bhupathi et al. | An augmented sliding window technique to improve detection of curved lanes in autonomous vehicles | |
CN113592947A (zh) | 一种半直接法的视觉里程计实现方法 | |
EP4172936A1 (en) | System and methods for thermal imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |