CN108665473B - 一种视觉导引及视觉里程计复用方法 - Google Patents

一种视觉导引及视觉里程计复用方法 Download PDF

Info

Publication number
CN108665473B
CN108665473B CN201810398247.1A CN201810398247A CN108665473B CN 108665473 B CN108665473 B CN 108665473B CN 201810398247 A CN201810398247 A CN 201810398247A CN 108665473 B CN108665473 B CN 108665473B
Authority
CN
China
Prior art keywords
guide line
color
carrier
image
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810398247.1A
Other languages
English (en)
Other versions
CN108665473A (zh
Inventor
吴平
刘秀娟
刘刚军
崔孟楠
牛志朝
刘浩
武欣
窦志红
赵炳英
郑剑
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Launch Vehicle Technology CALT
Beijing Aerospace Automatic Control Research Institute
Original Assignee
China Academy of Launch Vehicle Technology CALT
Beijing Aerospace Automatic Control Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Launch Vehicle Technology CALT, Beijing Aerospace Automatic Control Research Institute filed Critical China Academy of Launch Vehicle Technology CALT
Priority to CN201810398247.1A priority Critical patent/CN108665473B/zh
Publication of CN108665473A publication Critical patent/CN108665473A/zh
Application granted granted Critical
Publication of CN108665473B publication Critical patent/CN108665473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种视觉导引及视觉里程计复用方法，在移动机器人运动路径内设置两种颜色交替的导引线，通过视觉图像处理提取导引线的线信息作为视觉导引量，同时计算红白交替频率，实现视觉里程计功能。本发明同时提供一种视觉里程计算法以及里程计。本发明实现简单，计算量小，更适用于工程应用，使用于各类载体测速。本发明基于现有的摄像传感器里程计算，降低设计成本；本发明两种颜色的线条出现交替时确定机器人的位移，进而确定机器人的速度，不需要复杂的特征提取和匹配，减少了计算量，减少了对CPU的计算能力要求，进一步降低成本。

Description

一种视觉导引及视觉里程计复用方法
技术领域
本发明涉及一种视觉导引及视觉里程计复用方法，属于视觉导引及视觉里程计技术领域。
背景技术
随着“工业4.0”及“中国制造2025”的概念相继被提出，自动导引车(AutomatedGuided Vehicle，AGV)技术得到了充足发展。近几年来，移动机器人被广泛应用于物流搬运、分拣、无人泊车、安防巡逻等领域中。导引和定位技术作为移动机器人控制系统最重要的技术之一，关系到移动机器人运行的安全性、可靠性和高效性。目前国内外相关学者主要通过视觉、磁感应、激光、惯性、无线定位以及组合方式进行导引和定位，其中视觉方式因其明显的成本优势和日益凸显的潜在技术优势成为研究热门。
王视鎏在复旦大学硕士学位论文《视觉导引AGV的自动驾驶系统》中，通过AGV前方的相机采集图像信息，经过霍夫变换提取线特征，并将直线参数作为控制量进行运动控制。武星在农业机械学报发表的《视觉导引AGV鲁棒特征识别与精确路径跟踪研究》中，将感兴趣区域内的导引路径进行直线模型的最小二乘拟合。这两种视觉导引方法利用典型的线特征提取方法得到导引信息，但是不能同时得到视觉里程计信息。
吕强在传感技术学报发表的《基于SIFT特征提取的单目视觉里程计在导航系统中的实现》中，通过SIFT算法提取特征点和描述符，并在图像序列中的两帧图像进行精准匹配，并根据标定得到的图像坐标系与时间坐标系的映射关系，得到特征点的世界坐标，最终得到载体的移动距离和旋转角度。李孟在东南大学硕士学位论文《基于立体相机的室外移动机器人视觉里程计方法研究》中，利用双目立体视觉技术，提取SIFT特征点进行三维重构，并跟踪前后帧图像中的特征点，对运载体的运动进行估计。这两种典型的视觉里程计方法对特征点匹配和跟踪的精度要求很高，同时特征点提取又要耗费大量的计算资源，很难满足实时性需求。另外一个致命缺点在于过度依赖图像帧之间的相关性，导致出现场景剧烈变化时，如拐弯、高速运动等，都会容易出现大误差。
如何低成本、低计算量的实现视觉里程计功能是本领域亟待解决的技术问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种视觉导引及视觉里程计复用方法，计算红白交替频率，实现视觉里程计功能。该方法容易实现，综合成本低，适用于实际的工程应用。
本发明目的通过如下技术方案予以实现：
提供一种视觉导引及视觉里程计复用方法，载体运动路径内设置两种颜色交替的导引线，两种颜色构成的交替单元的长度一定，包括如下步骤：
(1)设置导引线颜色标志置为第一种颜色，并开始计时；
(2)载体上的摄像头采集图像，获得第一种颜色对应的独立通道图像Cr以及第二种颜色对应的独立通道图像Cb；
(3)根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集；
(4)将导引线的像素坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；
(5)根据地面坐标系的导引线像素坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；
(6)根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集；
(7)当判定Cb图像能够拟合得到直线特征时，进入步骤(8)，否则导引线颜色标志置为第一种颜色，进入步骤(11)；
(8)判断当前导引线颜色标志，如果为第一种颜色，进入步骤(9)；否则进入步骤(10)；
(9)读取计时时间，计算载体的线速度v，重新开始计时；
(10)将导引线颜色标志置为第二种颜色；
(11)基于d和θ生成载体伺服电机PID控制输入量；返回步骤(2)。
提供一种视觉里程计算法，载体运动路径内设置两种颜色交替的导引线，两种颜色构成的交替单元的长度一定，包括如下步骤：
(1)设置导引线颜色标志置为第一种颜色，并开始计时；
(2)载体上的摄像头采集图像，获得第一种颜色对应的独立通道图像Cr以及第二种颜色对应的独立通道图像Cb；
(3)根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集；
(4)将导引线的像素坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；
(5)根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；
(6)根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集；
(7)当判定Cb图像能够拟合得到直线特征时，进入步骤(8)，否则导引线颜色标志置为第一种颜色，进入步骤(11)；
(8)判断当前采集到的导引线的颜色，如果为第一种颜色，进入步骤(11)；否则进入步骤(10)；
(9)读取计时时间t，计算载体的线速度v，重新开始计时；
(10)将导引线颜色标志置为第二种颜色；
(11)基于d和θ生成载体伺服电机PID控制输入量；返回步骤(2)。
优选的，两种颜色选择对比度相差较大的颜色，像素差大于20。
优选的，两种颜色为红色和白色，或者为蓝色和红色。
优选的，两种颜色等距设置；或者同种颜色的长度相同，不同种颜色的长度不同。
优选的，步骤(1)的计时采用计数器实现，每T秒加1，测速精度优于
Figure GDA0002627844580000041
其中L为两种颜色构成的颜色单元长度。
优选的，步骤(4)中进行坐标系转换的方法为：
将导引线的像素坐标集
Figure GDA0002627844580000042
经过坐标系转换得到导引线点集在地面坐标系的坐标
Figure GDA0002627844580000043
Figure GDA0002627844580000044
其中θ是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
优选的，步骤(5)中根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ的方法为：
将地面坐标系的坐标集
Figure GDA0002627844580000045
经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b；计算得到载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ：
Figure GDA0002627844580000046
优选的，Cb图像感兴趣区域设置满足纵向方向上至少要小于导引线间隔像素的1/2。
优选的，步骤(7)中判定Cb图像能够拟合得到直线特征的方法为：
第二种颜色的导引线的像素点坐标集为
Figure GDA0002627844580000047
如果满足：
Figure GDA0002627844580000051
表明够拟合得到直线特征；否则表明没有拟合得到直线特征；其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，i取1～n，n为第二种颜色的导引线的像素点数。
优选的，计算载体的线速度v的具体方法为：
Figure GDA0002627844580000052
其中L为两种颜色构成的颜色单元长度；t＝count*T，为第二种颜色交替出现的时间。
优选的，所述载体为AGV或移动机器人。
提供一种视觉里程计，包括计时模块、计算模块、图像采集模块、图像处理模块；
所述计时模块在计算模块的控制下进行计时；
所述图像采集模块接收摄像头发送的导引线图像，并将Cr图像和Cb图像发送图像处理模块；
图像处理模块根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集，并发送给计算模块；根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集，并发送给计算模块；
计算模块将两种颜色的导引线的像素点坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；接收第二种颜色的导引线的像素点坐标集，并进行拟合，当能够拟合得到直线特征时，判断当前采集到的导引线的颜色，如果为第一种颜色，则基于d和θ生成载体伺服电机PID控制输入量；如果不是第一种颜色，则读取计时模块的计时时间t，并计算载体线速度v，控制计时模块重新开始计时；如果无法拟合得到直线特征时，则基于d和θ生成载体伺服电机PID控制输入量。
优选的，计算模块进行坐标系转换的方法为：
将导引线的像素坐标集
Figure GDA0002627844580000061
经过坐标系转换得到导引线点集在地面坐标系的坐标
Figure GDA0002627844580000062
Figure GDA0002627844580000063
其中θ'是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
优选的，计算模块根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ的方法为：
将地面坐标系的坐标集
Figure GDA0002627844580000064
经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b；计算得到载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ：
Figure GDA0002627844580000065
优选的，计算模块判断是否满足
Figure GDA0002627844580000066
如果满足，表明能够拟合得到直线特征，
Figure GDA0002627844580000067
为第二种颜色的导引线的像素点坐标集，其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，i取1～n，n为第二种颜色的导引线的像素点数。
优选的，视觉里程计算法，计算模块计算载体的线速度v的具体方法为：
Figure GDA0002627844580000068
其中L为两种颜色构成的颜色单元长度。
本发明与现有技术相比具有如下优点：
(1)传统机器人视觉导引并不具备视觉里程计的功能，需要额外设计光电编码器等传感器，本发明将两者功能在一个摄像传感器实现，直接达到降低设计成本的目的；
(2)传统视觉里程计通常利用立体视觉或多帧连续图像匹配的方式实现，需要大量计算资源，本发明实现简单，计算量小，更适用于工程应用，使用于各类载体测速。
(3)本发明两种颜色的线条出现交替时确定机器人的位移，进而确定机器人的速度，不需要复杂的特征提取和匹配，减少了计算量，减少了对CPU的计算能力要求，进一步降低成本。
附图说明
图1为本发明AGV与导引线位置关系示意图；
图2为AGV匀速直线导引时的参数时序图；
图3为AGV与导引线的相对姿态和距离示意图；
图4为视觉导引和视觉里程计复用的流程图；
图5为视觉导引及视觉里程计装置组成示意图。
具体实施方式
本发明提出一种视觉导引和视觉里程计复用的方法以及一种视觉里程计算法。在移动机器人运动路径内设置两种颜色交替的导引线，通过视觉图像处理提取导引线的线信息作为视觉导引量，同时计算红白交替频率，实现视觉里程计功能。
两种颜色选择对比度相差较大的颜色，例如红色和白色、蓝色和红色等等。
两种颜色可以等距设置；或者同种颜色的长度相同，不同种颜色的长度不同；或者两种颜色构成的颜色单元长度和一致。
移动机器人运行路径设置红白等距相间的导引线，机器人前进方向靠近导引线一侧安装有摄像头，如图1所示；采集摄像头图像，进行导引线线特征提取，获得机器人与导引线的相对姿态和距离，作为视觉导引的控制观测，反馈控制机器人运动；视觉导引的同时，计数器计算导引线红白交替频率，换算得到机器人运行速度，如图2所示，实现视觉里程计的功能。设置颜色标志flag，对于第一种颜色flag为0，对于第二种颜色flag为1；设置计数器对时间进行累计。通过flag的变化确定一个计数周期的位移，进而获得速度。
所述的机器人与导引线的相对姿态和距离，如图3所示。
基于本发明的设计思想，结合图4，视觉里程计可采用如下算法：
(1)在机器人的控制程序中进行初始化，设置导引线颜色标志，标志flag＝0，表示从第一种颜色开始；清零计数器计数，count＝0，启动计数器，计数count每T秒加1，测速精度优于
Figure GDA0002627844580000084
其中L为两种颜色构成的颜色单元长度。T例如为10ms。
(2)机器人侧方的摄像头采集图像，图像格式例如为YCbCr，得到Y、Cb、Cr三个独立通道图像；采集的图像格式能够区分导引线两种不同的颜色即可。
(3)Cr图像感兴趣区域设置，感兴趣区域范围根据导引线在摄像机的视野范围调试得到，即感兴趣区域根据导引线在图像中的实际位置设定，在一个实施例中，导引线位于机器人的右侧，则感兴趣区域设置为图像中相应的位置。
(4)阈值分割Cr图像感兴趣区域，得到导引线的像素坐标集
Figure GDA0002627844580000081
pi表示第i个像素点，n表示像素总点数；
(5)将导引线的像素坐标集
Figure GDA0002627844580000082
经过坐标系转换得到导引线点集在地面坐标系的坐标
Figure GDA0002627844580000083
Figure GDA0002627844580000091
其中θ'是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
(6)将
Figure GDA0002627844580000092
经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b，计算得到机器人的中心与导引线的距离d和机器人的中轴线与导引线的夹角θ：
Figure GDA0002627844580000093
(7)Cb图像感兴趣区域设置，区域范围在纵向方向上至少要小于导引线间隔像素的1/2；
(8)阈值分割Cb图像感兴趣区域，得到导引线的像素坐标集
Figure GDA0002627844580000094
(9)当判定Cb通道拟合得到直线特征时，进入步骤(10)，否则标志flag＝0，认为当前检测到为红色，进入步骤(15)，判定条件如下：
Figure GDA0002627844580000095
其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，均通过试验调试获得，满足判定条件，即得到直线特征。
(10)当满足flag＝0，进入步骤(11)；否则进入步骤(14)；
(11)读取计数器的计数值count；
(12)计算得到机器人的线速度v：
Figure GDA0002627844580000096
其中L为两种颜色构成的颜色单元长度；
(13)计数器计数count＝0；
(14)标志flag＝1；
(15)将d和θ作为反馈观测输入数字PID控制器，得到控制量u(t)，作为伺服电机的输入量：
Figure GDA0002627844580000101
其中Kp、Ki、Kd为PID控制参数，通过试验调试获得；e(t)为时刻t的观测。
(16)循环进入步骤(2)。
通过flag值的变化判断两种颜色交替，当出现颜色交替时输出线速度v，实现里程计的功能。初始flag设置为0，由于起始位置的不确定，第一个速度的计算值可能不准确，接下来flag值的切换准确，速度值也是准确的。
在一个实施例中实现视觉里程计算法视觉里程计算法的视觉里程计，应当包括计时模块、计算模块、图像采集模块、图像处理模块；结合图5.
计时模块在计算模块的控制下进行计时；
所述图像采集模块接收摄像头发送的导引线图像，并将Cr图像和Cb图像发送图像处理模块；
图像处理模块根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集，并发送给计算模块；根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集，并发送给计算模块；
计算模块将两种颜色的导引线的像素点坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；接收第二种颜色的导引线的像素点坐标集，并进行拟合，当能够拟合得到直线特征时，判断当前采集到的导引线的颜色，如果为第一种颜色，则基于d和θ生成载体伺服电机PID控制输入量；如果不是第一种颜色，则读取计时模块的计时时间t，并计算载体线速度v，控制计时模块重新开始计时；如果无法拟合得到直线特征时，则基于d和θ生成载体伺服电机PID控制输入量。
以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (16)

1.一种视觉导引及视觉里程计复用方法，载体运动路径内设置两种颜色交替的导引线，两种颜色构成的交替单元的长度一定，其特征在于，包括如下步骤：
(1)设置导引线颜色标志置为第一种颜色，并开始计时；
(2)载体上的摄像头采集图像，获得第一种颜色对应的独立通道图像Cr以及第二种颜色对应的独立通道图像Cb；
(3)根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集；
(4)将导引线的像素坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；
(5)根据地面坐标系的导引线像素坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；
(6)根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集；
(7)当判定Cb图像能够拟合得到直线特征时，进入步骤(8)，否则导引线颜色标志置为第一种颜色，进入步骤(11)；
(8)判断当前导引线颜色标志，如果为第一种颜色，进入步骤(9)；否则进入步骤(10)；
(9)读取计时时间，计算载体的线速度v，重新开始计时；
(10)将导引线颜色标志置为第二种颜色；
(11)基于d和θ生成载体伺服电机PID控制输入量；返回步骤(2)。
2.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，两种颜色选择对比度相差较大的颜色，像素差大于20。
3.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，两种颜色为红色和白色，或者为蓝色和红色。
4.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，两种颜色等距设置；或者同种颜色的长度相同，不同种颜色的长度不同。
5.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，步骤(1)的计时采用计数器实现，每T秒加1，测速精度优于
Figure FDA0002627844570000021
其中L为两种颜色构成的颜色单元长度。
6.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，步骤(4)中进行坐标系转换的方法为：
将导引线的像素坐标集
Figure FDA0002627844570000022
经过坐标系转换得到导引线点集在地面坐标系的坐标
Figure FDA0002627844570000023
Figure FDA0002627844570000024
其中θ'是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
7.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，步骤(5)中根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ的方法为：将地面坐标系的坐标集
Figure FDA0002627844570000025
经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b；计算得到载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ：
Figure FDA0002627844570000026
8.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，Cb图像感兴趣区域设置满足纵向方向上至少要小于导引线间隔像素的1/2。
9.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，步骤(7)中判定Cb图像能够拟合得到直线特征的方法为：
第二种颜色的导引线的像素点坐标集为
Figure FDA0002627844570000031
如果满足：
Figure FDA0002627844570000032
表明能够拟合得到直线特征；否则表明没有拟合得到直线特征；其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，i取1，2，…，n，n为第二种颜色的导引线的像素点数。
10.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，计算载体的线速度v的具体方法为：
Figure FDA0002627844570000033
其中L为两种颜色构成的颜色单元长度。
11.如权利要求1所述的视觉导引及视觉里程计复用方法，其特征在于，所述载体为AGV或移动机器人。
12.一种视觉里程计，其特征在于，包括计时模块、计算模块、图像采集模块、图像处理模块；
所述计时模块在计算模块的控制下进行计时；
所述图像采集模块接收摄像头发送的导引线图像，并将Cr图像和Cb图像发送图像处理模块；
图像处理模块根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集，并发送给计算模块；根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集，并发送给计算模块；
计算模块将两种颜色的导引线的像素点坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；接收第二种颜色的导引线的像素点坐标集，并进行拟合，当能够拟合得到直线特征时，判断当前采集到的导引线的颜色，如果为第一种颜色，则基于d和θ生成载体伺服电机PID控制输入量；如果不是第一种颜色，则读取计时模块的计时时间t，并计算载体线速度v，控制计时模块重新开始计时；如果无法拟合得到直线特征时，则基于d和θ生成载体伺服电机PID控制输入量。
13.如权利要求12所述的视觉里程计，其特征在于，计算模块进行坐标系转换的方法为：
将导引线的像素坐标集
Figure FDA0002627844570000041
经过坐标系转换得到导引线点集在地面坐标系的坐标
Figure FDA0002627844570000042
Figure FDA0002627844570000043
其中θ'是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
14.如权利要求12所述的视觉里程计，其特征在于，计算模块根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ的方法为：
将地面坐标系的坐标集
Figure FDA0002627844570000044
经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b；计算得到载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ：
Figure FDA0002627844570000045
15.如权利要求12所述的视觉里程计，其特征在于，计算模块判断是否满足
Figure FDA0002627844570000046
如果满足，表明能够拟合得到直线特征，
Figure FDA0002627844570000051
为第二种颜色的导引线的像素点坐标集，其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，i取1，2，…，n，1，2，…，n，n为第二种颜色的导引线的像素点数。
16.如权利要求12所述的视觉里程计，其特征在于，视觉里程计算法，其特征在于，计算模块计算载体的线速度v的具体方法为：
Figure FDA0002627844570000052
其中L为两种颜色构成的颜色单元长度。
CN201810398247.1A 2018-04-28 2018-04-28 一种视觉导引及视觉里程计复用方法 Active CN108665473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810398247.1A CN108665473B (zh) 2018-04-28 2018-04-28 一种视觉导引及视觉里程计复用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810398247.1A CN108665473B (zh) 2018-04-28 2018-04-28 一种视觉导引及视觉里程计复用方法

Publications (2)

Publication Number Publication Date
CN108665473A CN108665473A (zh) 2018-10-16
CN108665473B true CN108665473B (zh) 2020-11-10

Family

ID=63780381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810398247.1A Active CN108665473B (zh) 2018-04-28 2018-04-28 一种视觉导引及视觉里程计复用方法

Country Status (1)

Country Link
CN (1) CN108665473B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111003077B (zh) * 2019-12-30 2022-06-14 厦门理工学院 一种轻便型agv车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006033935A1 (de) * 2006-07-21 2008-01-24 Robert Bosch Gmbh Verfahren zum Erkennen eines Umfelds
CN104864889A (zh) * 2015-05-29 2015-08-26 山东鲁能智能技术有限公司 一种基于视觉的机器人里程计校正系统及方法
CN105468005A (zh) * 2016-02-03 2016-04-06 天津市乐图软件科技有限公司 基于rfid和ccd小车自动导引系统及其方法
CN107121981A (zh) * 2017-04-20 2017-09-01 杭州南江机器人股份有限公司 一种基于视觉的agv巡线导航和定位方法
CN107632604A (zh) * 2017-09-25 2018-01-26 上海木爷机器人技术有限公司 自主移动装置导引线导航方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006033935A1 (de) * 2006-07-21 2008-01-24 Robert Bosch Gmbh Verfahren zum Erkennen eines Umfelds
CN104864889A (zh) * 2015-05-29 2015-08-26 山东鲁能智能技术有限公司 一种基于视觉的机器人里程计校正系统及方法
CN105468005A (zh) * 2016-02-03 2016-04-06 天津市乐图软件科技有限公司 基于rfid和ccd小车自动导引系统及其方法
CN107121981A (zh) * 2017-04-20 2017-09-01 杭州南江机器人股份有限公司 一种基于视觉的agv巡线导航和定位方法
CN107632604A (zh) * 2017-09-25 2018-01-26 上海木爷机器人技术有限公司 自主移动装置导引线导航方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"A benchmark for RGB-D visual odometry, 3D reconstruction and SLAM";Ankur Handa等;《2014 IEEE International Conference on Robotics and Automation》;20140929;1-8 *
"Study on control structure for the automated guided vehicle based on path recognition";Shoutao Li等;《The 27th Chinese Control and Decision Conference (2015 CCDC)》;20150720;1-4 *
"Visual navigation of an automated guided vehicle based on path recognition";Hai-Bo Zhang等;《Proceedings of 2004 International Conference on Machine》;20050124;1-5 *
"基于SIFT特征提取的单目视觉里程计在导航系统中的实现";吕强等;《传感技术学报》;20070531(第5期);1-5 *
"基于立体相机的室外移动机器人视觉里程计方法研究";李孟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160815(第8期);I138-860 *
"视觉导引AGV的自动驾驶系统";王视鎏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120115(第1期);I138-445 *
"视觉导引AGV鲁棒特征识别与精确路径跟踪研究";武星等;《农业机械学报》;20160731(第7期);1-9 *

Also Published As

Publication number Publication date
CN108665473A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN103413313B (zh) 基于电力机器人的双目视觉导航系统及方法
CN110530372B (zh) 定位方法、路径确定方法、装置、机器人及存储介质
CN103064417B (zh) 一种基于多传感器的全局定位导引系统及方法
CN102435174B (zh) 基于混合式双目视觉的障碍物检测方法及装置
CN106595630B (zh) 一种基于激光导航变电站巡检机器人的建图系统与方法
CN103630122B (zh) 一种单目视觉车道线检测方法及其测距方法
CN112714913A (zh) 结构注释
CN108733039A (zh) 一种机器人室内导航定位的方法与装置
CN107646114A (zh) 用于估计车道的方法
JP2014034251A (ja) 車両走行制御装置及びその方法
Zhang et al. A real-time curb detection and tracking method for UGVs by using a 3D-LIDAR sensor
CN102806913A (zh) 一种新型的车道线偏离检测方法及装置
JP2020052695A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN113903011B (zh) 一种适用于室内停车场的语义地图构建及定位方法
KR102428765B1 (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
CN109766757A (zh) 一种融合车辆和视觉信息的泊车位高精度定位方法及系统
CN107421540A (zh) 一种基于视觉的移动机器人导航方法及系统
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
CN105116886A (zh) 一种机器人自主行走的方法
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN105307116A (zh) 一种基于移动机器人的分布式视觉定位系统及方法
CN111931547A (zh) 行车车线识别装置、行车车线识别方法以及程序
CN111723778A (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN108665473B (zh) 一种视觉导引及视觉里程计复用方法
CN206832260U (zh) 一种基于视觉的移动机器人导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant