CN116358547A - 一种基于光流估计获取agv位置的方法 - Google Patents

一种基于光流估计获取agv位置的方法 Download PDF

Info

Publication number
CN116358547A
CN116358547A CN202211580479.1A CN202211580479A CN116358547A CN 116358547 A CN116358547 A CN 116358547A CN 202211580479 A CN202211580479 A CN 202211580479A CN 116358547 A CN116358547 A CN 116358547A
Authority
CN
China
Prior art keywords
matching
equation
point
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211580479.1A
Other languages
English (en)
Other versions
CN116358547B (zh
Inventor
邹家帅
昝学彦
李发频
李飞军
张四龙
李家钧
蒋干胜
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Makerwit Technology Co ltd
Original Assignee
Zhuhai Makerwit Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Makerwit Technology Co ltd filed Critical Zhuhai Makerwit Technology Co ltd
Priority to CN202211580479.1A priority Critical patent/CN116358547B/zh
Publication of CN116358547A publication Critical patent/CN116358547A/zh
Application granted granted Critical
Publication of CN116358547B publication Critical patent/CN116358547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/11Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13Differential equations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光流估计获取AGV位置的方法,包括以下步骤:在AGV经过二维码时,获取二维码的位置信息,并利用AGV上的图像采集装置对AGV在运动过程中的图像进行实时采集;获取图像采集装置实时采集的图像,从中筛选出连续两帧图像,并根据连续两帧图像建立图像约束方程;对图像约束方程进行展开得到展开方程;联合图像约束方程和展开方程得到速度方程;建立一窗口,根据速度方程建立对应窗口的速度方程组;对速度方程组进行最小化,得到速度矢量;根据二维码的位置信息和速度矢量,得到AGV在经过的二维码与下一二维码之间的位置。本发明用于解决采用现有的相对定位方法对AGV进行定位时,定位不准确的技术问题。

Description

一种基于光流估计获取AGV位置的方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于光流估计获取AGV位置的方法。
背景技术
自动导航车AGV是一种自动化无人驾驶的智能化搬运设备,是现代工业自动化物流系统中的关键设备。AGV的定位系统是实现自动导引的关键部分,也是目前的研究热点,定位是指AGV通过感知自身和周围环境信息,经过一定的数据处理得到自身位姿的过程。目前AGV定位主要分为两类:绝对定位和相对定位。
常用的绝对定位方式有全球定位系统(GPS)、超声波定位系统、红外网络系统、射频识别系统等等。其中,GPS不能用在室内,并且更新频率较低;超声波定位系统和红外网络系统具有低成本、小型化和易于连接的特点,然而这两种方法不能在长距离下使用,同时需要在场景中大面积布置,并且由于存在信号干扰而难以满足AGV的定位要求;而射频识别系统需要额外的设备和较高的成本。这些绝对定位方法的优点在于它们不会积累定位误差,但整体定位误差较大。
相对定位主要为里程计算法,通过在AGV工作的场所地面上贴二维码,然后在AGV上安装一个二维码相机来定位地上的二维码从而确定AGV的位置,当AGV在二维码和二维码之间时,通过轮式里程计基于上一次二维码相机定位到的二维码位置来推算AGV的位置。
通过轮式里程计推算AGV在二维码和二维码之间的位置,需要精确的二维码相机和轮子之间的机械相对位姿关系,但是实际设备生产中总会出现安装误差导致二维码相机和轮子之间的位姿有误差,使得轮式里程计基于上一次二维码相机定位到的二维码位姿推算出来的AGV位姿不准确,导致AGV在二维码和二维码之间的定位不准确。
发明内容
为了克服现有技术的不足,本发明提供一种基于光流估计获取AGV位置的方法,用于解决采用现有的相对定位方法对AGV进行定位时,定位不准确的技术问题,从而达到提高AGV定位精度的目的。
为解决上述问题,本发明所采用的技术方案如下:
一种基于光流估计获取AGV位置的方法,其特征在于,包括以下步骤:
在AGV经过二维码时,获取所述二维码的位置信息,并利用所述AGV上的图像采集装置对所述AGV在运动过程中的图像进行实时采集;
获取所述图像采集装置实时采集的图像,从中筛选出连续两帧图像,并根据所述连续两帧图像建立图像约束方程;
对所述图像约束方程进行展开得到展开方程;
联合所述图像约束方程和所述展开方程得到速度方程;
建立一窗口,根据所述速度方程建立对应所述窗口的速度方程组;
对所述速度方程组进行最小化,得到速度矢量;
根据所述二维码的位置信息和所述速度矢量,得到所述AGV在经过的二维码与下一二维码之间的位置。
作为本发明优选的实施方式,在建立图像约束方程时,包括:
获取所述连续两帧图像上的特征点,利用近似最近邻搜索方法对所述特征点进行预匹配,再利用双向交叉匹配法提高匹配的精度,得到最终特征匹配点对。
作为本发明优选的实施方式,在利用近似最近邻搜索方法对所述特征点进行预匹配时,包括:
将所述连续两帧图像分别转换成第一灰度图和第二灰度图,并分别提取所述第一灰度图和所述第二灰度图的SURF特征点;
利用所述近似最近邻搜索方法,获取所述第一灰度图任意特征点在所述第二灰度图上的距离最近的对应特征点,得到侯选特征匹配点对。
作为本发明优选的实施方式,在利用双向交叉匹配法提高匹配的精度时,包括:
执行候选匹配对获取步骤,包括:
遍历所述第一灰度图中的候选匹配特征点,针对所述第一灰度图中的候选匹配特征点A1,遍历所述第二灰度图中的各个候选匹配特征点,获取所述候选匹配特征点A1在所述第二灰度图中匹配的第一候选匹配特征点B1和第二候选匹配特征点B2
所述第一候选匹配特征点B1、所述第二候选匹配特征点B2与所述候选匹配特征点A1之间的关系满足如下公式1:
Figure BDA0003990815810000031
式中,D(A1,B1)是候选匹配特征点A1与第一候选匹配特征点B1的距离相似性度量值,D(A1,B2)是候选匹配特征点A1与第二候选匹配特征点B2的距离相似性度量值,Yh为设定的阈值;
取所述候选匹配特征点A1和所述第一候选匹配特征点B1构成候选匹配对;
其中,所述第一候选匹配特征点为最近邻候选匹配特征点,所述第二候选匹配特征点B2为次近邻候选匹配特征点。
作为本发明优选的实施方式,在利用双向交叉匹配法提高匹配的精度时,还包括:
以所述第一灰度图中的候选匹配特征点作为遍历对象,按照所述候选匹配对获取步骤遍历所述第一灰度图中的每个候选匹配特征点,得到所述第一灰度图的所有候选匹配对,并根据所述第一灰度图的所有候选匹配对组成第一候选匹配对集合;
以所述第二灰度图中的候选匹配特征点作为遍历对象,按照所述候选匹配对获取步骤遍历所述第二灰度图中的每个候选匹配特征点,得到所述第二灰度图的所有候选匹配对,并根据所述第二灰度图的所有候选匹配对组成第二候选匹配对集合;
将所述第一候选匹配对集合和所述第二候选匹配对集合进行比较,筛选出其中完全相同的候选匹配对,作为最终的特征点匹配对集合;
其中,所述最终的特征点匹配对集合包含多个最终特征匹配点对。
作为本发明优选的实施方式,在建立图像约束方程时,还包括:
分别获取所述连续两帧图像的采集时间;
获取所述第一灰度图和所述第二灰度图中的最终特征匹配点对,根据所述最终特征匹配点对和所述采集时间建立所述图像约束方程,具体如公式2所示:
I(x,y,t)=I(x+δx,y+δy,t+δt)(2);
式中,x代表第一灰度图最终特征匹配点的X轴坐标,y代表第一灰度图最终特征匹配点的Y轴坐标,x+δx代表第二灰度图最终特征匹配点的X轴坐标,y+δy代表第二灰度图最终特征匹配点的Y轴坐标,δx代表X轴相对位移,δy代表Y轴相对位移,t代表第一帧图像的采集时间,t+δt代表第二帧图像的采集时间,δt代表两帧时间差,I(x,y,t)代表t时刻第一灰度图最终特征匹配点的亮度,I(x+δx,y+δy,t+δt)代表t+δt时刻第二灰度图最终特征匹配点的亮度。
作为本发明优选的实施方式,在对所述图像约束方程进行展开得到展开方程时,包括:
根据所述第一灰度图最终特征匹配点的坐标(x,y)和所述第一帧图像的采集时间t,并利用泰勒公式对t+δt时刻第二灰度图最终特征匹配点的亮度函数进行展开,得到所述展开方程,具体如公式3所示:
Figure BDA0003990815810000051
式中,
Figure BDA0003990815810000052
代表第一灰度图最终特征匹配点的X轴坐标移动系数,/>
Figure BDA0003990815810000053
代表第一灰度图最终特征匹配点的Y轴坐标移动系数,/>
Figure BDA0003990815810000054
代表第一灰度图最终特征匹配点的时间差系数,R(x,y,t)代表泰勒公式的高阶余项,近似为0。
作为本发明优选的实施方式,在联合所述图像约束方程和所述展开方程得到速度方程时,包括:
联合所述图像约束方程和所述展开方程得到导数方程,具体如公式4所示:
Figure BDA0003990815810000055
式中,
Figure BDA0003990815810000056
代表第一灰度图最终特征匹配点沿着X轴方向的导数,/>
Figure BDA0003990815810000057
代表第一灰度图最终特征匹配点沿着Y轴方向的导数;
将沿着X轴方向的速度分量记为u,将沿着Y轴方向的速度分量记为v,对所述导数方程进行简化,获得所述速度方程,具体如公式5所示:
Ixu+Iyv+It=0(5);
式中,Ix代表灰度值I对X轴的偏导数,Iy代表灰度值I对Y轴的偏导数,It代表灰度值I对t时刻的偏导数。
作为本发明优选的实施方式,在建立一窗口,根据所述速度方程建立对应所述窗口的速度方程组时,包括:
建立一个大小为m×m的窗口,根据所述速度方程,并利用在所述窗口内,图像的光流是一个恒定值,得到所述速度方程组,具体公式6所示:
Figure BDA0003990815810000061
式中,n=m2
作为本发明优选的实施方式,在对所述速度方程组进行最小化,得到速度矢量时,包括:
将所述速度方程组采用矩阵形式进行表示,具体如公式7、公式8和公式9所示:
Figure BDA0003990815810000062
Figure BDA0003990815810000063
Figure BDA0003990815810000064
式中,A代表坐标点集,b代表时间差集;
将所述公式9记作
Figure BDA0003990815810000065
采用最小二乘法得到转置矩阵方程,具体如公
式10所示:
Figure BDA0003990815810000066
式中,AT代表坐标点集转置矩阵,
Figure BDA0003990815810000071
代表速度矢量;
根据所述转置矩阵方程得到所述速度矢量,具体如公式11所示:
Figure BDA0003990815810000072
相比现有技术,本发明的有益效果在于:
本发明通过AGV自带的图像采集装置识别地上纹路来推算AGV的位置,不需要获取轮子和二维码相机之间的机械相对位姿关系,避免了AGV在二维码和二维码之间的位置由于二维码相机和轮子安装误差导致推算坐标不准的问题。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1-是本发明实施例的基于光流估计获取AGV位置的方法步骤图。
具体实施方式
本发明所提供的基于光流估计获取AGV位置的方法,如图1所示,包括以下步骤:
步骤S1:在AGV经过二维码时,获取二维码的位置信息,并利用AGV上的图像采集装置对AGV在运动过程中的图像进行实时采集;
步骤S2:获取图像采集装置实时采集的图像,从中筛选出连续两帧图像,并根据连续两帧图像建立图像约束方程;
步骤S3:对图像约束方程进行展开得到展开方程;
步骤S4:联合图像约束方程和展开方程得到速度方程;
步骤S5:建立一窗口,根据速度方程建立对应窗口的速度方程组;
步骤S6:对速度方程组进行最小化,得到速度矢量;
步骤S7:根据二维码的位置信息和速度矢量,得到AGV在经过的二维码与下一二维码之间的位置。
进一步,图像采集装置为相机。
本发明将通过轮式里程计推算AGV在在二维码和二维码之间位置,改成通过相机光流法来推算AGV位置,具体原理如下:
假设待估计流光(速度矢量)的两帧图像的同一物体的亮度是不变的,这个假设通常是成立的,因为环境光照通常不会发生太大的变化,另外相机的图像是随时间变化的,图像可以看作时间的函数,则可建立图像约束方程。
在上述步骤S2中,在建立图像约束方程时,包括:
获取连续两帧图像上的特征点,利用近似最近邻搜索方法对特征点进行预匹配,再利用双向交叉匹配法提高匹配的精度,得到最终特征匹配点对。
进一步地,在利用近似最近邻搜索方法对特征点进行预匹配时,包括:
将连续两帧图像分别转换成第一灰度图和第二灰度图,并分别提取第一灰度图和第二灰度图的SURF特征点;
利用近似最近邻搜索方法,获取第一灰度图任意特征点在第二灰度图上的距离最近的对应特征点,得到侯选特征匹配点对。
具体地,近似最近邻搜索方法为FLANN法,本发明通过FLANN法预获取到两帧图像中相对应的特征点,此次预匹配大大提高了特征点间的匹配精度,为后续的进一步匹配奠定了基础。
进一步地,在利用双向交叉匹配法提高匹配的精度时,包括:
执行候选匹配对获取步骤,包括:
遍历第一灰度图中的候选匹配特征点,针对第一灰度图中的候选匹配特征点A1,遍历第二灰度图中的各个候选匹配特征点,获取候选匹配特征点A1在第二灰度图中匹配的第一候选匹配特征点B1和第二候选匹配特征点B2
第一候选匹配特征点B1、第二候选匹配特征点B2与候选匹配特征点A1之间的关系满足如下公式1:
Figure BDA0003990815810000091
式中,D(A1,B1)是候选匹配特征点A1与第一候选匹配特征点B1的距离相似性度量值,D(A1,B2)是候选匹配特征点A1与第二候选匹配特征点B2的距离相似性度量值,Yh为设定的阈值;
取候选匹配特征点A1和第一候选匹配特征点B1构成候选匹配对;
其中,第一候选匹配特征点为最近邻候选匹配特征点,第二候选匹配特征点B2为次近邻候选匹配特征点。
具体地,Yh的取值为0.5。
更进一步地,在利用双向交叉匹配法提高匹配的精度时,还包括:
以第一灰度图中的候选匹配特征点作为遍历对象,按照候选匹配对获取步骤遍历第一灰度图中的每个候选匹配特征点,得到第一灰度图的所有候选匹配对,并根据第一灰度图的所有候选匹配对组成第一候选匹配对集合;
以第二灰度图中的候选匹配特征点作为遍历对象,按照候选匹配对获取步骤遍历第二灰度图中的每个候选匹配特征点,得到第二灰度图的所有候选匹配对,并根据第二灰度图的所有候选匹配对组成第二候选匹配对集合;
将第一候选匹配对集合和第二候选匹配对集合进行比较,筛选出其中完全相同的候选匹配对,作为最终的特征点匹配对集合;
其中,最终的特征点匹配对集合包含多个最终特征匹配点对。
具体地,本发明通过设定一阈值,获取到有效的最近邻候选匹配特征点和次近邻候选匹配特征点,进一步获得第一灰度图的所有候选匹配对和第二灰度图的所有候选匹配对,进行比较筛选后获得最终的特征点匹配对集合。由上述可知,本发明利用阈值条件的设定和候选匹配对的比较筛选进一步地提高特征点间的匹配精度。
在上述步骤S2中,在建立图像约束方程时,还包括:
分别获取连续两帧图像的采集时间;
获取第一灰度图和第二灰度图中的最终特征匹配点对,根据最终特征匹配点对和采集时间建立图像约束方程,具体如公式2所示:
I(x,y,t)=I(x+δx,y+δy,t+δt)(2);
式中,x代表第一灰度图最终特征匹配点的X轴坐标,y代表第一灰度图最终特征匹配点的Y轴坐标,x+δx代表第二灰度图最终特征匹配点的X轴坐标,y+δy代表第二灰度图最终特征匹配点的Y轴坐标,δx代表X轴相对位移,δy代表Y轴相对位移,t代表第一帧图像的采集时间,t+δt代表第二帧图像的采集时间,δt代表两帧时间差,I(x,y,t)代表t时刻第一灰度图最终特征匹配点的亮度,I(x+δx,y+δy,t+δt)代表t+δt时刻第二灰度图最终特征匹配点的亮度。
在上述步骤S3中,在对图像约束方程进行展开得到展开方程时,包括:
根据第一灰度图最终特征匹配点的坐标(x,y)和第一帧图像的采集时间t,并利用泰勒公式对t+δt时刻第二灰度图最终特征匹配点的亮度函数进行展开,得到展开方程,具体如公式3所示:
Figure BDA0003990815810000101
式中,
Figure BDA0003990815810000102
代表第一灰度图最终特征匹配点的X轴坐标移动系数,/>
Figure BDA0003990815810000103
代表第一灰度图最终特征匹配点的Y轴坐标移动系数,/>
Figure BDA0003990815810000104
代表第一灰度图最终特征匹配点的时间差系数,R(x,y,t)代表泰勒公式的高阶余项,近似为0。
具体地,本发明利用泰勒公式对函数I(x+δx,y+δy,t+δt)在(x,y,t)处进行展开得到上述公式3。
在上述步骤S4中,在联合图像约束方程和展开方程得到速度方程时,包括:
联合图像约束方程和展开方程得到导数方程,具体如公式4所示:
Figure BDA0003990815810000111
式中,
Figure BDA0003990815810000112
代表第一灰度图最终特征匹配点沿着X轴方向的导数,/>
Figure BDA0003990815810000113
代表第一灰度图最终特征匹配点沿着Y轴方向的导数;
将沿着X轴方向的速度分量记为u,将沿着Y轴方向的速度分量记为v,对导数方程进行简化,获得速度方程,具体如公式5所示:
Ixu+Iyv+It=0(5);
式中,Ix代表灰度值I对X轴的偏导数,Iy代表灰度值I对Y轴的偏导数,It代表灰度值I对t时刻的偏导数。
具体地,速度方程可进一步简化为矩阵形式,具体如公式12所示:
Figure BDA0003990815810000114
式中,▽IT代表光流在灰度梯度方向的分量,
Figure BDA0003990815810000115
代表灰度值I的位移绝对值,It代表灰度值I对t时刻的偏导数。
由于上述速度方程有u和v两个未知数,所以无法求解,故本发明假设在一个大小为m×m的窗口内,图像的光流是一个恒定值,得到速度方程组进行联立求解。
在上述步骤S5中,在建立一窗口,根据速度方程建立对应窗口的速度方程组时,包括:
建立一个大小为m×m的窗口,根据速度方程,并利用在窗口内,图像的光流是一个恒定值,得到速度方程组,具体公式6所示:
Figure BDA0003990815810000121
式中,n=m2
在上述步骤S6中,在对速度方程组进行最小化,得到速度矢量时,包括:
将速度方程组采用矩阵形式进行表示,具体如公式7、公式8和公式9所示:
Figure BDA0003990815810000122
Figure BDA0003990815810000123
Figure BDA0003990815810000124
式中,A代表坐标点集,b代表时间差集;
将公式9记作
Figure BDA0003990815810000125
采用最小二乘法得到转置矩阵方程,具体如公式10所示:
Figure BDA0003990815810000126
式中,AT代表坐标点集转置矩阵,
Figure BDA0003990815810000127
代表速度矢量;
根据转置矩阵方程得到速度矢量,具体如公式11所示:
Figure BDA0003990815810000128
将公式11采用矩阵形式进行表示,具体如公式12所示:
Figure BDA0003990815810000129
在上述步骤S7中,已知上一次读到二维码的(X,Y,theta)乘以
Figure BDA0003990815810000131
得到下一次的(X,Y,theta),以此来实现AGV在二维码和二维码之间位置的推算。
相比现有技术,本发明的有益效果在于:
本发明通过AGV自带的图像采集装置识别地上纹路来推算AGV的位置,不需要获取轮子和二维码相机之间的机械相对位姿关系,避免了AGV在二维码和二维码之间的位置由于二维码相机和轮子安装误差导致推算坐标不准的问题。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于光流估计获取AGV位置的方法,其特征在于,包括以下步骤:
在AGV经过二维码时,获取所述二维码的位置信息,并利用所述AGV上的图像采集装置对所述AGV在运动过程中的图像进行实时采集;
获取所述图像采集装置实时采集的图像,从中筛选出连续两帧图像,并根据所述连续两帧图像建立图像约束方程;
对所述图像约束方程进行展开得到展开方程;
联合所述图像约束方程和所述展开方程得到速度方程;
建立一窗口,根据所述速度方程建立对应所述窗口的速度方程组;
对所述速度方程组进行最小化,得到速度矢量;
根据所述二维码的位置信息和所述速度矢量,得到所述AGV在经过的二维码与下一二维码之间的位置。
2.根据权利要求1所述的基于光流估计获取AGV位置的方法,其特征在于,在建立图像约束方程时,包括:
获取所述连续两帧图像上的特征点,利用近似最近邻搜索方法对所述特征点进行预匹配,再利用双向交叉匹配法提高匹配的精度,得到最终特征匹配点对。
3.根据权利要求2所述的基于光流估计获取AGV位置的方法,其特征在于,在利用近似最近邻搜索方法对所述特征点进行预匹配时,包括:
将所述连续两帧图像分别转换成第一灰度图和第二灰度图,并分别提取所述第一灰度图和所述第二灰度图的SURF特征点;
利用所述近似最近邻搜索方法,获取所述第一灰度图任意特征点在所述第二灰度图上的距离最近的对应特征点,得到侯选特征匹配点对。
4.根据权利要求3所述的基于光流估计获取AGV位置的方法,其特征在于,在利用双向交叉匹配法提高匹配的精度时,包括:
执行候选匹配对获取步骤,包括:
遍历所述第一灰度图中的候选匹配特征点,针对所述第一灰度图中的候选匹配特征点A1,遍历所述第二灰度图中的各个候选匹配特征点,获取所述候选匹配特征点A1在所述第二灰度图中匹配的第一候选匹配特征点B1和第二候选匹配特征点B2
所述第一候选匹配特征点B1、所述第二候选匹配特征点B2与所述候选匹配特征点A1之间的关系满足如下公式1:
Figure FDA0003990815800000021
式中,D(A1,B1)是候选匹配特征点A1与第一候选匹配特征点B1的距离相似性度量值,D(A1,B2)是候选匹配特征点A1与第二候选匹配特征点B2的距离相似性度量值,Yh为设定的阈值;
取所述候选匹配特征点A1和所述第一候选匹配特征点B1构成候选匹配对;
其中,所述第一候选匹配特征点为最近邻候选匹配特征点,所述第二候选匹配特征点B2为次近邻候选匹配特征点。
5.根据权利要求4所述的基于光流估计获取AGV位置的方法,其特征在于,在利用双向交叉匹配法提高匹配的精度时,还包括:
以所述第一灰度图中的候选匹配特征点作为遍历对象,按照所述候选匹配对获取步骤遍历所述第一灰度图中的每个候选匹配特征点,得到所述第一灰度图的所有候选匹配对,并根据所述第一灰度图的所有候选匹配对组成第一候选匹配对集合;
以所述第二灰度图中的候选匹配特征点作为遍历对象,按照所述候选匹配对获取步骤遍历所述第二灰度图中的每个候选匹配特征点,得到所述第二灰度图的所有候选匹配对,并根据所述第二灰度图的所有候选匹配对组成第二候选匹配对集合;
将所述第一候选匹配对集合和所述第二候选匹配对集合进行比较,筛选出其中完全相同的候选匹配对,作为最终的特征点匹配对集合;
其中,所述最终的特征点匹配对集合包含多个最终特征匹配点对。
6.根据权利要求5所述的基于光流估计获取AGV位置的方法,其特征在于,在建立图像约束方程时,还包括:
分别获取所述连续两帧图像的采集时间;
获取所述第一灰度图和所述第二灰度图中的最终特征匹配点对,根据所述最终特征匹配点对和所述采集时间建立所述图像约束方程,具体如公式2所示:
I(x,y,t)=I(x+δx,y+δy,t+δt) (2);
式中,x代表第一灰度图最终特征匹配点的X轴坐标,y代表第一灰度图最终特征匹配点的Y轴坐标,x+δx代表第二灰度图最终特征匹配点的X轴坐标,y+δy代表第二灰度图最终特征匹配点的Y轴坐标,δx代表X轴相对位移,δy代表Y轴相对位移,t代表第一帧图像的采集时间,t+δt代表第二帧图像的采集时间,δt代表两帧时间差,I(x,y,t)代表t时刻第一灰度图最终特征匹配点的亮度,I(x+δx,y+δy,t+δt)代表t+δt时刻第二灰度图最终特征匹配点的亮度。
7.根据权利要求6所述的基于光流估计获取AGV位置的方法,其特征在于,在对所述图像约束方程进行展开得到展开方程时,包括:
根据所述第一灰度图最终特征匹配点的坐标(x,y)和所述第一帧图像的采集时间t,并利用泰勒公式对t+δt时刻第二灰度图最终特征匹配点的亮度函数进行展开,得到所述展开方程,具体如公式3所示:
Figure FDA0003990815800000031
式中,
Figure FDA0003990815800000041
代表第一灰度图最终特征匹配点的X轴坐标移动系数,/>
Figure FDA0003990815800000042
代表第一灰度图最终特征匹配点的Y轴坐标移动系数,/>
Figure FDA0003990815800000043
代表第一灰度图最终特征匹配点的时间差系数,R(x,y,t)代表泰勒公式的高阶余项,近似为0。
8.根据权利要求7所述的基于光流估计获取AGV位置的方法,其特征在于,在联合所述图像约束方程和所述展开方程得到速度方程时,包括:
联合所述图像约束方程和所述展开方程得到导数方程,具体如公式4所示:
Figure FDA0003990815800000044
式中,
Figure FDA0003990815800000045
代表第一灰度图最终特征匹配点沿着X轴方向的导数,/>
Figure FDA0003990815800000046
代表第一灰度图最终特征匹配点沿着Y轴方向的导数;
将沿着X轴方向的速度分量记为u,将沿着Y轴方向的速度分量记为v,对所述导数方程进行简化,获得所述速度方程,具体如公式5所示:
Ixu+Iyv+It=0 (5);
式中,Ix代表灰度值I对X轴的偏导数,Iy代表灰度值I对Y轴的偏导数,It代表灰度值I对t时刻的偏导数。
9.根据权利要求8所述的基于光流估计获取AGV位置的方法,其特征在于,在建立一窗口,根据所述速度方程建立对应所述窗口的速度方程组时,包括:
建立一个大小为m×m的窗口,根据所述速度方程,并利用在所述窗口内,图像的光流是一个恒定值,得到所述速度方程组,具体公式6所示:
Figure FDA0003990815800000047
式中,n=m2
10.根据权利要求9所述的基于光流估计获取AGV位置的方法,其特征在于,在对所述速度方程组进行最小化,得到速度矢量时,包括:
将所述速度方程组采用矩阵形式进行表示,具体如公式7、公式8和公式9所示:
Figure FDA0003990815800000051
Figure FDA0003990815800000052
Figure FDA0003990815800000053
式中,A代表坐标点集,b代表时间差集;
将所述公式9记作
Figure FDA0003990815800000054
采用最小二乘法得到转置矩阵方程,具体如公式10所示:
Figure FDA0003990815800000055
式中,AT代表坐标点集转置矩阵,
Figure FDA0003990815800000056
代表速度矢量;
根据所述转置矩阵方程得到所述速度矢量,具体如公式11所示:
Figure FDA0003990815800000057
CN202211580479.1A 2022-12-09 2022-12-09 一种基于光流估计获取agv位置的方法 Active CN116358547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211580479.1A CN116358547B (zh) 2022-12-09 2022-12-09 一种基于光流估计获取agv位置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211580479.1A CN116358547B (zh) 2022-12-09 2022-12-09 一种基于光流估计获取agv位置的方法

Publications (2)

Publication Number Publication Date
CN116358547A true CN116358547A (zh) 2023-06-30
CN116358547B CN116358547B (zh) 2024-01-30

Family

ID=86926979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211580479.1A Active CN116358547B (zh) 2022-12-09 2022-12-09 一种基于光流估计获取agv位置的方法

Country Status (1)

Country Link
CN (1) CN116358547B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117739972A (zh) * 2024-02-18 2024-03-22 中国民用航空飞行学院 一种无全球卫星定位系统的无人机进近阶段定位方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159114A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种计算图像帧间大运动速度的光流方法
CN105957103A (zh) * 2016-04-20 2016-09-21 国网福建省电力有限公司 一种基于视觉的运动特征提取方法
CN109523589A (zh) * 2018-11-13 2019-03-26 浙江工业大学 一种更鲁棒的视觉里程计的设计方法
US20190234746A1 (en) * 2016-09-14 2019-08-01 Zhejiang University Method for simultaneous localization and mapping
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN112509115A (zh) * 2020-11-26 2021-03-16 中国人民解放军战略支援部队信息工程大学 序列图像动态场景三维时变无约束重建方法及系统
CN114494150A (zh) * 2021-12-30 2022-05-13 杭州电子科技大学 一种基于半直接法的单目视觉里程计的设计方法
CN114677323A (zh) * 2021-12-31 2022-06-28 北京工业大学 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN114782499A (zh) * 2022-04-28 2022-07-22 杭州电子科技大学 一种基于光流和视图几何约束的图像静态区域提取方法及装置
CN114964206A (zh) * 2022-04-12 2022-08-30 中国计量大学 一种单目视觉里程计目标位姿检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159114A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种计算图像帧间大运动速度的光流方法
CN105957103A (zh) * 2016-04-20 2016-09-21 国网福建省电力有限公司 一种基于视觉的运动特征提取方法
US20190234746A1 (en) * 2016-09-14 2019-08-01 Zhejiang University Method for simultaneous localization and mapping
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN109523589A (zh) * 2018-11-13 2019-03-26 浙江工业大学 一种更鲁棒的视觉里程计的设计方法
CN112509115A (zh) * 2020-11-26 2021-03-16 中国人民解放军战略支援部队信息工程大学 序列图像动态场景三维时变无约束重建方法及系统
CN114494150A (zh) * 2021-12-30 2022-05-13 杭州电子科技大学 一种基于半直接法的单目视觉里程计的设计方法
CN114677323A (zh) * 2021-12-31 2022-06-28 北京工业大学 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN114964206A (zh) * 2022-04-12 2022-08-30 中国计量大学 一种单目视觉里程计目标位姿检测方法
CN114782499A (zh) * 2022-04-28 2022-07-22 杭州电子科技大学 一种基于光流和视图几何约束的图像静态区域提取方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117739972A (zh) * 2024-02-18 2024-03-22 中国民用航空飞行学院 一种无全球卫星定位系统的无人机进近阶段定位方法
CN117739972B (zh) * 2024-02-18 2024-05-24 中国民用航空飞行学院 一种无全球卫星定位系统的无人机进近阶段定位方法

Also Published As

Publication number Publication date
CN116358547B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN109945858B (zh) 用于低速泊车驾驶场景的多传感融合定位方法
Sim et al. Integrated position estimation using aerial image sequences
Qu et al. Vehicle localization using mono-camera and geo-referenced traffic signs
KR20190082071A (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
CN111241988B (zh) 一种结合定位信息的大场景内运动目标检测识别方法
CN105352509A (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
JP6589410B2 (ja) 地図生成装置及びプログラム
CN114413909A (zh) 一种室内移动机器人定位方法及系统
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
CN115205559A (zh) 一种跨域车辆重识别及连续轨迹构建方法
CN116358547B (zh) 一种基于光流估计获取agv位置的方法
Wen et al. TM 3 Loc: Tightly-coupled monocular map matching for high precision vehicle localization
JP2006119591A (ja) 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置
CN117218350A (zh) 一种基于固态雷达的slam实现方法及系统
Zhou et al. Lane information extraction for high definition maps using crowdsourced data
CN113566817B (zh) 一种车辆定位方法及装置
US20210304518A1 (en) Method and system for generating an environment model for positioning
Zahedian et al. Localization of autonomous vehicles: proof of concept for a computer vision approach
Aggarwal GPS-based localization of autonomous vehicles
CN113850864B (zh) 一种面向室外移动机器人的gnss/lidar回环检测方法
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
Christiansen et al. Monocular vehicle distance sensor using HOG and Kalman tracking
Wong et al. Position interpolation using feature point scale for decimeter visual localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant