CN108665473A - 一种视觉导引及视觉里程计复用方法 - Google Patents

一种视觉导引及视觉里程计复用方法 Download PDF

Info

Publication number
CN108665473A
CN108665473A CN201810398247.1A CN201810398247A CN108665473A CN 108665473 A CN108665473 A CN 108665473A CN 201810398247 A CN201810398247 A CN 201810398247A CN 108665473 A CN108665473 A CN 108665473A
Authority
CN
China
Prior art keywords
guide wire
color
carrier
visual
kinds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810398247.1A
Other languages
English (en)
Other versions
CN108665473B (zh
Inventor
吴平
刘秀娟
刘刚军
崔孟楠
牛志朝
刘浩
武欣
窦志红
赵炳英
郑剑
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Launch Vehicle Technology CALT
Beijing Aerospace Automatic Control Research Institute
Original Assignee
China Academy of Launch Vehicle Technology CALT
Beijing Aerospace Automatic Control Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Launch Vehicle Technology CALT, Beijing Aerospace Automatic Control Research Institute filed Critical China Academy of Launch Vehicle Technology CALT
Priority to CN201810398247.1A priority Critical patent/CN108665473B/zh
Publication of CN108665473A publication Critical patent/CN108665473A/zh
Application granted granted Critical
Publication of CN108665473B publication Critical patent/CN108665473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种视觉导引及视觉里程计复用方法，在移动机器人运动路径内设置两种颜色交替的导引线，通过视觉图像处理提取导引线的线信息作为视觉导引量，同时计算红白交替频率，实现视觉里程计功能。本发明同时提供一种视觉里程计算法以及里程计。本发明实现简单，计算量小，更适用于工程应用，使用于各类载体测速。本发明基于现有的摄像传感器里程计算，降低设计成本；本发明两种颜色的线条出现交替时确定机器人的位移，进而确定机器人的速度，不需要复杂的特征提取和匹配，减少了计算量，减少了对CPU的计算能力要求，进一步降低成本。

Description

一种视觉导引及视觉里程计复用方法
技术领域
本发明涉及一种视觉导引及视觉里程计复用方法，属于视觉导引及视觉里程计技术领域。
背景技术
随着“工业4.0”及“中国制造2025”的概念相继被提出，自动导引车(AutomatedGuided Vehicle，AGV)技术得到了充足发展。近几年来，移动机器人被广泛应用于物流搬运、分拣、无人泊车、安防巡逻等领域中。导引和定位技术作为移动机器人控制系统最重要的技术之一，关系到移动机器人运行的安全性、可靠性和高效性。目前国内外相关学者主要通过视觉、磁感应、激光、惯性、无线定位以及组合方式进行导引和定位，其中视觉方式因其明显的成本优势和日益凸显的潜在技术优势成为研究热门。
王视鎏在复旦大学硕士学位论文《视觉导引AGV的自动驾驶系统》中，通过AGV前方的相机采集图像信息，经过霍夫变换提取线特征，并将直线参数作为控制量进行运动控制。武星在农业机械学报发表的《视觉导引AGV鲁棒特征识别与精确路径跟踪研究》中，将感兴趣区域内的导引路径进行直线模型的最小二乘拟合。这两种视觉导引方法利用典型的线特征提取方法得到导引信息，但是不能同时得到视觉里程计信息。
吕强在传感技术学报发表的《基于SIFT特征提取的单目视觉里程计在导航系统中的实现》中，通过SIFT算法提取特征点和描述符，并在图像序列中的两帧图像进行精准匹配，并根据标定得到的图像坐标系与时间坐标系的映射关系，得到特征点的世界坐标，最终得到载体的移动距离和旋转角度。李孟在东南大学硕士学位论文《基于立体相机的室外移动机器人视觉里程计方法研究》中，利用双目立体视觉技术，提取SIFT特征点进行三维重构，并跟踪前后帧图像中的特征点，对运载体的运动进行估计。这两种典型的视觉里程计方法对特征点匹配和跟踪的精度要求很高，同时特征点提取又要耗费大量的计算资源，很难满足实时性需求。另外一个致命缺点在于过度依赖图像帧之间的相关性，导致出现场景剧烈变化时，如拐弯、高速运动等，都会容易出现大误差。
如何低成本、低计算量的实现视觉里程计功能是本领域亟待解决的技术问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种视觉导引及视觉里程计复用方法，计算红白交替频率，实现视觉里程计功能。该方法容易实现，综合成本低，适用于实际的工程应用。
本发明目的通过如下技术方案予以实现：
提供一种视觉导引及视觉里程计复用方法，载体运动路径内设置两种颜色交替的导引线，两种颜色构成的交替单元的长度一定，包括如下步骤：
(1)设置导引线颜色标志置为第一种颜色，并开始计时；
(2)载体上的摄像头采集图像，获得第一种颜色对应的独立通道图像Cr以及第二种颜色对应的独立通道图像Cb；
(3)根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集；
(4)将导引线的像素坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；
(5)根据地面坐标系的导引线像素坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；
(6)根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集；
(7)当判定Cb图像能够拟合得到直线特征时，进入步骤(8)，否则导引线颜色标志置为第一种颜色，进入步骤(11)；
(8)判断当前采集到的导引线的颜色，如果为第一种颜色，进入步骤(11)；否则进入步骤(10)；
(9)读取计时时间，计算载体的线速度v，重新开始计时；
(10)将导引线颜色标志置为第二种颜色；
(11)基于d和θ生成载体伺服电机PID控制输入量；返回步骤(2)。
提供一种视觉里程计算法，载体运动路径内设置两种颜色交替的导引线，两种颜色构成的交替单元的长度一定，包括如下步骤：
(1)设置导引线颜色标志置为第一种颜色，并开始计时；
(2)载体上的摄像头采集图像，获得第一种颜色对应的独立通道图像Cr以及第二种颜色对应的独立通道图像Cb；
(3)根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集；
(4)将导引线的像素坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；
(5)根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；
(6)根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集；
(7)当判定Cb图像能够拟合得到直线特征时，进入步骤(8)，否则导引线颜色标志置为第一种颜色，进入步骤(11)；
(8)判断当前采集到的导引线的颜色，如果为第一种颜色，进入步骤(11)；否则进入步骤(10)；
(9)读取计时时间t，计算载体的线速度v，重新开始计时；
(10)将导引线颜色标志置为第二种颜色；
(11)基于d和θ生成载体伺服电机PID控制输入量；返回步骤(2)。
优选的，两种颜色选择对比度相差较大的颜色，像素差大于20。
优选的，两种颜色为红色和白色，或者为蓝色和红色。
优选的，两种颜色等距设置；或者同种颜色的长度相同，不同种颜色的长度不同。
优选的，步骤(1)的计时采用计数器实现，每T秒加1，测速精度优于其中L为两种颜色构成的颜色单元长度。
优选的，步骤(4)中进行坐标系转换的方法为：
将导引线的像素坐标集经过坐标系转换得到导引线点集在地面坐标系的坐标
其中θ是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
优选的，步骤(5)中根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ的方法为：
将地面坐标系的坐标集经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b；计算得到载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ：
优选的，Cb图像感兴趣区域设置满足纵向方向上至少要小于导引线间隔像素的1/2。
优选的，步骤(7)中判定Cb图像能够拟合得到直线特征的方法为：
第二种颜色的导引线的像素点坐标集为如果满足：
表明够拟合得到直线特征；否则表明没有拟合得到直线特征；其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，i取1～n，n为第二种颜色的导引线的像素点数。
优选的，计算载体的线速度v的具体方法为：
其中L为两种颜色构成的颜色单元长度。
优选的，所述载体为AGV或移动机器人。
提供一种视觉里程计，包括计时模块、计算模块、图像采集模块、图像处理模块；
所述计时模块在计算模块的控制下进行计时；
所述图像采集模块接收摄像头发送的导引线图像，并将Cr图像和Cb图像发送图像处理模块；
图像处理模块根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集，并发送给计算模块；根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集，并发送给计算模块；
计算模块将两种颜色的导引线的像素点坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；接收第二种颜色的导引线的像素点坐标集，并进行拟合，当能够拟合得到直线特征时，判断当前采集到的导引线的颜色，如果为第一种颜色，则基于d和θ生成载体伺服电机PID控制输入量；如果不是第一种颜色，则读取计时模块的计时时间t，并计算载体线速度v，控制计时模块重新开始计时；如果无法拟合得到直线特征时，则基于d和θ生成载体伺服电机PID控制输入量。
优选的，计算模块进行坐标系转换的方法为：
将导引线的像素坐标集经过坐标系转换得到导引线点集在地面坐标系的坐标
其中θ是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
优选的，计算模块根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ的方法为：
将地面坐标系的坐标集经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b；计算得到载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ：
优选的，计算模块判断是否满足如果满足，表明能够拟合得到直线特征，为第二种颜色的导引线的像素点坐标集，其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，i取1～n，n为第二种颜色的导引线的像素点数。
优选的，视觉里程计算法，计算模块计算载体的线速度v的具体方法为：
其中L为两种颜色构成的颜色单元长度。
本发明与现有技术相比具有如下优点：
(1)传统机器人视觉导引并不具备视觉里程计的功能，需要额外设计光电编码器等传感器，本发明将两者功能在一个摄像传感器实现，直接达到降低设计成本的目的；
(2)传统视觉里程计通常利用立体视觉或多帧连续图像匹配的方式实现，需要大量计算资源，本发明实现简单，计算量小，更适用于工程应用，使用于各类载体测速。
(3)本发明两种颜色的线条出现交替时确定机器人的位移，进而确定机器人的速度，不需要复杂的特征提取和匹配，减少了计算量，减少了对CPU的计算能力要求，进一步降低成本。
附图说明
图1为本发明AGV与导引线位置关系示意图；
图2为AGV匀速直线导引时的参数时序图；
图3为AGV与导引线的相对姿态和距离示意图；
图4为视觉导引和视觉里程计复用的流程图；
图5为视觉导引及视觉里程计装置组成示意图。
具体实施方式
本发明提出一种视觉导引和视觉里程计复用的方法以及一种视觉里程计算法。在移动机器人运动路径内设置两种颜色交替的导引线，通过视觉图像处理提取导引线的线信息作为视觉导引量，同时计算红白交替频率，实现视觉里程计功能。
两种颜色选择对比度相差较大的颜色，例如红色和白色、蓝色和红色等等。
两种颜色可以等距设置；或者同种颜色的长度相同，不同种颜色的长度不同；或者两种颜色构成的颜色单元长度和一致。
移动机器人运行路径设置红白等距相间的导引线，机器人前进方向靠近导引线一侧安装有摄像头，如图1所示；采集摄像头图像，进行导引线线特征提取，获得机器人与导引线的相对姿态和距离，作为视觉导引的控制观测，反馈控制机器人运动；视觉导引的同时，计数器计算导引线红白交替频率，换算得到机器人运行速度，如图2所示，实现视觉里程计的功能。设置颜色标志flag，对于第一种颜色flag为0，对于第二种颜色flag为1；设置计数器对时间进行累计。通过flag的变化确定一个计数周期的位移，进而获得速度。
所述的机器人与导引线的相对姿态和距离，如图3所示。
基于本发明的设计思想，结合图4，视觉里程计可采用如下算法：
(1)在机器人的控制程序中进行初始化，设置导引线颜色标志，标志flag＝0，表示从第一种颜色开始；清零计数器计数，count＝0，启动计数器，计数count每T秒加1，测速精度优于其中L为两种颜色构成的颜色单元长度。T例如为10ms。
(2)机器人侧方的摄像头采集图像，图像格式例如为YCbCr，得到Y、Cb、Cr三个独立通道图像；采集的图像格式能够区分导引线两种不同的颜色即可。
(3)Cr图像感兴趣区域设置，感兴趣区域范围根据导引线在摄像机的视野范围调试得到，即感兴趣区域根据导引线在图像中的实际位置设定，在一个实施例中，导引线位于机器人的右侧，则感兴趣区域设置为图像中响应的位置。
(4)阈值分割Cr图像感兴趣区域，得到导引线的像素坐标集pi表示第i个像素点，n表示像素总点数；
(5)将导引线的像素坐标集经过坐标系转换得到导引线点集在地面坐标系的坐标
其中θ是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
(6)将经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b，计算得到机器人的中心与导引线的距离d和机器人的中轴线与导引线的夹角θ：
(7)Cb图像感兴趣区域设置，区域范围在纵向方向上至少要小于导引线间隔像素的1/2；
(8)阈值分割Cb图像感兴趣区域，得到导引线的像素坐标集
(9)当判定Cb通道拟合得到直线特征时，进入步骤(10)，否则标志flag＝0，认为当前检测到为红色，进入步骤(15)，判定条件如下：
其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，均通过试验调试获得，满足判定条件，即得到直线特征。
(10)当满足flag＝0，进入步骤(11)；否则进入步骤(14)；
(11)读取计数器的计数值count；
(12)计算得到机器人的线速度v：
其中L为两种颜色构成的颜色单元长度；
(13)计数器计数count＝0；
(14)标志flag＝1；
(15)将d和θ作为反馈观测输入数字PID控制器，得到控制量u(t)，作为伺服电机的输入量：
其中Kp、Kp、Kp为PID控制参数，通过试验调试获得；e(t)为时刻t的观测。
(16)循环进入步骤(2)。
通过flag值的变化判断两种颜色交替，当出现颜色交替时输出线速度v，实现里程计的功能。初始flag设置为0，由于起始位置的不确定，第一个速度的计算值可能不准确，接下来flag值的切换准确，速度值也是准确的。
在一个实施例中实现视觉里程计算法视觉里程计算法的视觉里程计，应当包括计时模块、计算模块、图像采集模块、图像处理模块；结合图5.
计时模块在计算模块的控制下进行计时；
所述图像采集模块接收摄像头发送的导引线图像，并将Cr图像和Cb图像发送图像处理模块；
图像处理模块根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集，并发送给计算模块；根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集，并发送给计算模块；
计算模块将两种颜色的导引线的像素点坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；接收第二种颜色的导引线的像素点坐标集，并进行拟合，当能够拟合得到直线特征时，判断当前采集到的导引线的颜色，如果为第一种颜色，则基于d和θ生成载体伺服电机PID控制输入量；如果不是第一种颜色，则读取计时模块的计时时间t，并计算载体线速度v，控制计时模块重新开始计时；如果无法拟合得到直线特征时，则基于d和θ生成载体伺服电机PID控制输入量。
以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (17)

1.一种视觉导引及视觉里程计复用方法，载体运动路径内设置两种颜色交替的导引线，两种颜色构成的交替单元的长度一定，其特征在于，包括如下步骤：
(1)设置导引线颜色标志置为第一种颜色，并开始计时；
(2)载体上的摄像头采集图像，获得第一种颜色对应的独立通道图像Cr以及第二种颜色对应的独立通道图像Cb；
(3)根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集；
(4)将导引线的像素坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；
(5)根据地面坐标系的导引线像素坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；
(6)根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集；
(7)当判定Cb图像能够拟合得到直线特征时，进入步骤(8)，否则导引线颜色标志置为第一种颜色，进入步骤(11)；
(8)判断当前采集到的导引线的颜色，如果为第一种颜色，进入步骤(11)；否则进入步骤(10)；
(9)读取计时时间，计算载体的线速度v，重新开始计时；
(10)将导引线颜色标志置为第二种颜色；
(11)基于d和θ生成载体伺服电机PID控制输入量；返回步骤(2)。
2.一种视觉里程计算法，载体运动路径内设置两种颜色交替的导引线，两种颜色构成的交替单元的长度一定，其特征在于，包括如下步骤：
(1)设置导引线颜色标志置为第一种颜色，并开始计时；
(2)载体上的摄像头采集图像，获得第一种颜色对应的独立通道图像Cr以及第二种颜色对应的独立通道图像Cb；
(3)根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集；
(4)将导引线的像素坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；
(5)根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；
(6)根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集；
(7)当判定Cb图像能够拟合得到直线特征时，进入步骤(8)，否则导引线颜色标志置为第一种颜色，进入步骤(11)；
(8)判断当前采集到的导引线的颜色，如果为第一种颜色，进入步骤(11)；否则进入步骤(10)；
(9)读取计时时间t，计算载体的线速度v，重新开始计时；
(10)将导引线颜色标志置为第二种颜色；
(11)基于d和θ生成载体伺服电机PID控制输入量；返回步骤(2)。
3.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，两种颜色选择对比度相差较大的颜色，像素差大于20。
4.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，两种颜色为红色和白色，或者为蓝色和红色。
5.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，两种颜色等距设置；或者同种颜色的长度相同，不同种颜色的长度不同。
6.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，步骤(1)的计时采用计数器实现，每T秒加1，测速精度优于其中L为两种颜色构成的颜色单元长度。
7.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，步骤(4)中进行坐标系转换的方法为：
将导引线的像素坐标集经过坐标系转换得到导引线点集在地面坐标系的坐标
其中θ是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
8.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，步骤(5)中根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ的方法为：
将地面坐标系的坐标集经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b；计算得到载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ：
9.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，Cb图像感兴趣区域设置满足纵向方向上至少要小于导引线间隔像素的1/2。
10.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，步骤(7)中判定Cb图像能够拟合得到直线特征的方法为：
第二种颜色的导引线的像素点坐标集为如果满足：
表明够拟合得到直线特征；否则表明没有拟合得到直线特征；其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，i取1～n，n为第二种颜色的导引线的像素点数。
11.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，计算载体的线速度v的具体方法为：
其中L为两种颜色构成的颜色单元长度。
12.如权利要求1所述的视觉导引及视觉里程计复用方法及权利要求2所述的视觉里程计算法，其特征在于，所述载体为AGV或移动机器人。
13.一种视觉里程计，其特征在于，包括计时模块、计算模块、图像采集模块、图像处理模块；
所述计时模块在计算模块的控制下进行计时；
所述图像采集模块接收摄像头发送的导引线图像，并将Cr图像和Cb图像发送图像处理模块；
图像处理模块根据设置的Cr图像感兴趣区域进行阈值分割，得到两种颜色的导引线的像素点坐标集，并发送给计算模块；根据设置的Cb图像感兴趣区域进行阈值分割，得到第二种颜色的导引线的像素点坐标集，并发送给计算模块；
计算模块将两种颜色的导引线的像素点坐标集进行坐标系转换得到导引线像素点在地面坐标系的坐标集；根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ；接收第二种颜色的导引线的像素点坐标集，并进行拟合，当能够拟合得到直线特征时，判断当前采集到的导引线的颜色，如果为第一种颜色，则基于d和θ生成载体伺服电机PID控制输入量；如果不是第一种颜色，则读取计时模块的计时时间t，并计算载体线速度v，控制计时模块重新开始计时；如果无法拟合得到直线特征时，则基于d和θ生成载体伺服电机PID控制输入量。
14.如权利要求13所述的视觉里程计，其特征在于，计算模块进行坐标系转换的方法为：
将导引线的像素坐标集经过坐标系转换得到导引线点集在地面坐标系的坐标
其中θ是摄像机光轴与地面的夹角，可测量得到；H是摄像机距离地面的高度；px、py、cx、cy为相机标定参数，分别对应像素坐标系x轴上的有效焦距和偏移量，y轴上的有效焦距和偏移量。
15.如权利要求13所述的视觉里程计，其特征在于，计算模块根据地面坐标系的坐标集，计算载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ的方法为：
将地面坐标系的坐标集经过最小二乘算法拟合方程y＝k·x+b，得到直线参数k和b；计算得到载体的中心与导引线的距离d和载体的中轴线与导引线的夹角θ：
16.如权利要求13所述的视觉里程计，其特征在于，计算模块判断是否满足如果满足，表明能够拟合得到直线特征，为第二种颜色的导引线的像素点坐标集，其中max和min为求解集合的最大值和最小值，Ymin为纵向方向上的阈值、Xmax和Xmin为横向方向上的阈值，i取1～n，n为第二种颜色的导引线的像素点数。
17.如权利要求13所述的视觉里程计，其特征在于，视觉里程计算法，其特征在于，计算模块计算载体的线速度v的具体方法为：
其中L为两种颜色构成的颜色单元长度。
CN201810398247.1A 2018-04-28 2018-04-28 一种视觉导引及视觉里程计复用方法 Active CN108665473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810398247.1A CN108665473B (zh) 2018-04-28 2018-04-28 一种视觉导引及视觉里程计复用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810398247.1A CN108665473B (zh) 2018-04-28 2018-04-28 一种视觉导引及视觉里程计复用方法

Publications (2)

Publication Number Publication Date
CN108665473A true CN108665473A (zh) 2018-10-16
CN108665473B CN108665473B (zh) 2020-11-10

Family

ID=63780381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810398247.1A Active CN108665473B (zh) 2018-04-28 2018-04-28 一种视觉导引及视觉里程计复用方法

Country Status (1)

Country Link
CN (1) CN108665473B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111003077A (zh) * 2019-12-30 2020-04-14 厦门理工学院 一种轻便型agv车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006033935A1 (de) * 2006-07-21 2008-01-24 Robert Bosch Gmbh Verfahren zum Erkennen eines Umfelds
CN104864889A (zh) * 2015-05-29 2015-08-26 山东鲁能智能技术有限公司 一种基于视觉的机器人里程计校正系统及方法
CN105468005A (zh) * 2016-02-03 2016-04-06 天津市乐图软件科技有限公司 基于rfid和ccd小车自动导引系统及其方法
CN107121981A (zh) * 2017-04-20 2017-09-01 杭州南江机器人股份有限公司 一种基于视觉的agv巡线导航和定位方法
CN107632604A (zh) * 2017-09-25 2018-01-26 上海木爷机器人技术有限公司 自主移动装置导引线导航方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006033935A1 (de) * 2006-07-21 2008-01-24 Robert Bosch Gmbh Verfahren zum Erkennen eines Umfelds
CN104864889A (zh) * 2015-05-29 2015-08-26 山东鲁能智能技术有限公司 一种基于视觉的机器人里程计校正系统及方法
CN105468005A (zh) * 2016-02-03 2016-04-06 天津市乐图软件科技有限公司 基于rfid和ccd小车自动导引系统及其方法
CN107121981A (zh) * 2017-04-20 2017-09-01 杭州南江机器人股份有限公司 一种基于视觉的agv巡线导航和定位方法
CN107632604A (zh) * 2017-09-25 2018-01-26 上海木爷机器人技术有限公司 自主移动装置导引线导航方法及装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
ANKUR HANDA等: ""A benchmark for RGB-D visual odometry, 3D reconstruction and SLAM"", 《2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
HAI-BO ZHANG等: ""Visual navigation of an automated guided vehicle based on path recognition"", 《PROCEEDINGS OF 2004 INTERNATIONAL CONFERENCE ON MACHINE》 *
SHOUTAO LI等: ""Study on control structure for the automated guided vehicle based on path recognition"", 《THE 27TH CHINESE CONTROL AND DECISION CONFERENCE (2015 CCDC)》 *
吕强等: ""基于SIFT特征提取的单目视觉里程计在导航系统中的实现"", 《传感技术学报》 *
李孟: ""基于立体相机的室外移动机器人视觉里程计方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
武星等: ""视觉导引AGV鲁棒特征识别与精确路径跟踪研究"", 《农业机械学报》 *
王视鎏: ""视觉导引AGV的自动驾驶系统"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈慧岩等: "《无人驾驶车辆理论与设计》", 31 March 2018, 北京理工大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111003077A (zh) * 2019-12-30 2020-04-14 厦门理工学院 一种轻便型agv车

Also Published As

Publication number Publication date
CN108665473B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN105711597B (zh) 前方局部行驶环境感知系统及方法
CN103940434B (zh) 基于单目视觉和惯性导航单元的实时车道线检测系统
CN103413313B (zh) 基于电力机器人的双目视觉导航系统及方法
CN110363820A (zh) 一种基于激光雷达、图像前融合的目标检测方法
US9098769B2 (en) Method and a device for objects counting
CN108055501A (zh) 一种目标检测及跟踪的视频监控系统及方法
CN106681353A (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN105761245B (zh) 一种基于视觉特征点的自动跟踪方法及装置
CN108596081A (zh) 一种基于雷达和摄像机融合的车辆行人探测方法
CN102435174A (zh) 基于混合式双目视觉的障碍物检测方法及装置
CN102156537A (zh) 一种头部姿态检测设备及方法
CN104076817A (zh) 一种高清视频航拍多模传感器自外感知智能导航系统及其方法
CN207993028U (zh) 一种基于红外双目摄像机测距的客流装置
CN102806913A (zh) 一种新型的车道线偏离检测方法及装置
CN107067755A (zh) 一种基于计算机视觉自动校准交通监控相机的方法
CN107767424A (zh) 多相机系统的标定方法、多相机系统及终端设备
CN105631852B (zh) 基于深度图像等高线的室内人体检测方法
CN105136064A (zh) 一种运动目标三维尺寸检测系统及其方法
CN206863817U (zh) 摄像机图像自动采集装置及摄像机标定系统
CN112966571B (zh) 一种基于机器视觉的立定跳远腾空高度量测方法
CN108171154A (zh) 一种自动驾驶中目标检测与车道检测结合的方法
CN103325115A (zh) 一种基于头顶摄像头的监控行人计数的方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
Boltes et al. Influences of extraction techniques on the quality of measured quantities of pedestrian characteristics
CN111723778A (zh) 基于MobileNet-SSD的车辆测距系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant