CN116358547B - 一种基于光流估计获取agv位置的方法 - Google Patents
一种基于光流估计获取agv位置的方法 Download PDFInfo
- Publication number
- CN116358547B CN116358547B CN202211580479.1A CN202211580479A CN116358547B CN 116358547 B CN116358547 B CN 116358547B CN 202211580479 A CN202211580479 A CN 202211580479A CN 116358547 B CN116358547 B CN 116358547B
- Authority
- CN
- China
- Prior art keywords
- matching
- equation
- point
- image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000003287 optical effect Effects 0.000 title claims abstract description 18
- 238000012216 screening Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/13—Differential equations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/60—Electric or hybrid propulsion means for production processes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于光流估计获取AGV位置的方法,包括以下步骤:在AGV经过二维码时,获取二维码的位置信息,并利用AGV上的图像采集装置对AGV在运动过程中的图像进行实时采集;获取图像采集装置实时采集的图像,从中筛选出连续两帧图像,并根据连续两帧图像建立图像约束方程;对图像约束方程进行展开得到展开方程;联合图像约束方程和展开方程得到速度方程;建立一窗口,根据速度方程建立对应窗口的速度方程组;对速度方程组进行最小化,得到速度矢量;根据二维码的位置信息和速度矢量,得到AGV在经过的二维码与下一二维码之间的位置。本发明用于解决采用现有的相对定位方法对AGV进行定位时,定位不准确的技术问题。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于光流估计获取AGV位置的方法。
背景技术
自动导航车AGV是一种自动化无人驾驶的智能化搬运设备,是现代工业自动化物流系统中的关键设备。AGV的定位系统是实现自动导引的关键部分,也是目前的研究热点,定位是指AGV通过感知自身和周围环境信息,经过一定的数据处理得到自身位姿的过程。目前AGV定位主要分为两类:绝对定位和相对定位。
常用的绝对定位方式有全球定位系统(GPS)、超声波定位系统、红外网络系统、射频识别系统等等。其中,GPS不能用在室内,并且更新频率较低;超声波定位系统和红外网络系统具有低成本、小型化和易于连接的特点,然而这两种方法不能在长距离下使用,同时需要在场景中大面积布置,并且由于存在信号干扰而难以满足AGV的定位要求;而射频识别系统需要额外的设备和较高的成本。这些绝对定位方法的优点在于它们不会积累定位误差,但整体定位误差较大。
相对定位主要为里程计算法,通过在AGV工作的场所地面上贴二维码,然后在AGV上安装一个二维码相机来定位地上的二维码从而确定AGV的位置,当AGV在二维码和二维码之间时,通过轮式里程计基于上一次二维码相机定位到的二维码位置来推算AGV的位置。
通过轮式里程计推算AGV在二维码和二维码之间的位置,需要精确的二维码相机和轮子之间的机械相对位姿关系,但是实际设备生产中总会出现安装误差导致二维码相机和轮子之间的位姿有误差,使得轮式里程计基于上一次二维码相机定位到的二维码位姿推算出来的AGV位姿不准确,导致AGV在二维码和二维码之间的定位不准确。
发明内容
为了克服现有技术的不足,本发明提供一种基于光流估计获取AGV位置的方法,用于解决采用现有的相对定位方法对AGV进行定位时,定位不准确的技术问题,从而达到提高AGV定位精度的目的。
为解决上述问题,本发明所采用的技术方案如下:
一种基于光流估计获取AGV位置的方法,其特征在于,包括以下步骤:
在AGV经过二维码时,获取所述二维码的位置信息,并利用所述AGV上的图像采集装置对所述AGV在运动过程中的图像进行实时采集;
获取所述图像采集装置实时采集的图像,从中筛选出连续两帧图像,并根据所述连续两帧图像建立图像约束方程;
对所述图像约束方程进行展开得到展开方程;
联合所述图像约束方程和所述展开方程得到速度方程;
建立一窗口,根据所述速度方程建立对应所述窗口的速度方程组;
对所述速度方程组进行最小化,得到速度矢量;
根据所述二维码的位置信息和所述速度矢量,得到所述AGV在经过的二维码与下一二维码之间的位置。
作为本发明优选的实施方式,在建立图像约束方程时,包括:
获取所述连续两帧图像上的特征点,利用近似最近邻搜索方法对所述特征点进行预匹配,再利用双向交叉匹配法提高匹配的精度,得到最终特征匹配点对。
作为本发明优选的实施方式,在利用近似最近邻搜索方法对所述特征点进行预匹配时,包括:
将所述连续两帧图像分别转换成第一灰度图和第二灰度图,并分别提取所述第一灰度图和所述第二灰度图的SURF特征点;
利用所述近似最近邻搜索方法,获取所述第一灰度图任意特征点在所述第二灰度图上的距离最近的对应特征点,得到侯选特征匹配点对。
作为本发明优选的实施方式,在利用双向交叉匹配法提高匹配的精度时,包括:
执行候选匹配对获取步骤,包括:
遍历所述第一灰度图中的候选匹配特征点,针对所述第一灰度图中的候选匹配特征点A1,遍历所述第二灰度图中的各个候选匹配特征点,获取所述候选匹配特征点A1在所述第二灰度图中匹配的第一候选匹配特征点B1和第二候选匹配特征点B2;
所述第一候选匹配特征点B1、所述第二候选匹配特征点B2与所述候选匹配特征点A1之间的关系满足如下公式1:
式中,D(A1,B1)是候选匹配特征点A1与第一候选匹配特征点B1的距离相似性度量值,D(A1,B2)是候选匹配特征点A1与第二候选匹配特征点B2的距离相似性度量值,Yh为设定的阈值;
取所述候选匹配特征点A1和所述第一候选匹配特征点B1构成候选匹配对;
其中,所述第一候选匹配特征点为最近邻候选匹配特征点,所述第二候选匹配特征点B2为次近邻候选匹配特征点。
作为本发明优选的实施方式,在利用双向交叉匹配法提高匹配的精度时,还包括:
以所述第一灰度图中的候选匹配特征点作为遍历对象,按照所述候选匹配对获取步骤遍历所述第一灰度图中的每个候选匹配特征点,得到所述第一灰度图的所有候选匹配对,并根据所述第一灰度图的所有候选匹配对组成第一候选匹配对集合;
以所述第二灰度图中的候选匹配特征点作为遍历对象,按照所述候选匹配对获取步骤遍历所述第二灰度图中的每个候选匹配特征点,得到所述第二灰度图的所有候选匹配对,并根据所述第二灰度图的所有候选匹配对组成第二候选匹配对集合;
将所述第一候选匹配对集合和所述第二候选匹配对集合进行比较,筛选出其中完全相同的候选匹配对,作为最终的特征点匹配对集合;
其中,所述最终的特征点匹配对集合包含多个最终特征匹配点对。
作为本发明优选的实施方式,在建立图像约束方程时,还包括:
分别获取所述连续两帧图像的采集时间;
获取所述第一灰度图和所述第二灰度图中的最终特征匹配点对,根据所述最终特征匹配点对和所述采集时间建立所述图像约束方程,具体如公式2所示:
I(x,y,t)=I(x+δx,y+δy,t+δt)(2);
式中,x代表第一灰度图最终特征匹配点的X轴坐标,y代表第一灰度图最终特征匹配点的Y轴坐标,x+δx代表第二灰度图最终特征匹配点的X轴坐标,y+δy代表第二灰度图最终特征匹配点的Y轴坐标,δx代表X轴相对位移,δy代表Y轴相对位移,t代表第一帧图像的采集时间,t+δt代表第二帧图像的采集时间,δt代表两帧时间差,I(x,y,t)代表t时刻第一灰度图最终特征匹配点的亮度,I(x+δx,y+δy,t+δt)代表t+δt时刻第二灰度图最终特征匹配点的亮度。
作为本发明优选的实施方式,在对所述图像约束方程进行展开得到展开方程时,包括:
根据所述第一灰度图最终特征匹配点的坐标(x,y)和所述第一帧图像的采集时间t,并利用泰勒公式对t+δt时刻第二灰度图最终特征匹配点的亮度函数进行展开,得到所述展开方程,具体如公式3所示:
式中,代表第一灰度图最终特征匹配点的X轴坐标移动系数,/>代表第一灰度图最终特征匹配点的Y轴坐标移动系数,/>代表第一灰度图最终特征匹配点的时间差系数,R(x,y,t)代表泰勒公式的高阶余项,近似为0。
作为本发明优选的实施方式,在联合所述图像约束方程和所述展开方程得到速度方程时,包括:
联合所述图像约束方程和所述展开方程得到导数方程,具体如公式4所示:
式中,代表第一灰度图最终特征匹配点沿着X轴方向的导数,/>代表第一灰度图最终特征匹配点沿着Y轴方向的导数;
将沿着X轴方向的速度分量记为u,将沿着Y轴方向的速度分量记为v,对所述导数方程进行简化,获得所述速度方程,具体如公式5所示:
Ixu+Iyv+It=0(5);
式中,Ix代表灰度值I对X轴的偏导数,Iy代表灰度值I对Y轴的偏导数,It代表灰度值I对t时刻的偏导数。
作为本发明优选的实施方式,在建立一窗口,根据所述速度方程建立对应所述窗口的速度方程组时,包括:
建立一个大小为m×m的窗口,根据所述速度方程,并利用在所述窗口内,图像的光流是一个恒定值,得到所述速度方程组,具体公式6所示:
式中,n=m2。
作为本发明优选的实施方式,在对所述速度方程组进行最小化,得到速度矢量时,包括:
将所述速度方程组采用矩阵形式进行表示,具体如公式7、公式8和公式9所示:
式中,A代表坐标点集,b代表时间差集;
将所述公式9记作采用最小二乘法得到转置矩阵方程,具体如公
式10所示:
式中,AT代表坐标点集转置矩阵,代表速度矢量;
根据所述转置矩阵方程得到所述速度矢量,具体如公式11所示:
相比现有技术,本发明的有益效果在于:
本发明通过AGV自带的图像采集装置识别地上纹路来推算AGV的位置,不需要获取轮子和二维码相机之间的机械相对位姿关系,避免了AGV在二维码和二维码之间的位置由于二维码相机和轮子安装误差导致推算坐标不准的问题。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1-是本发明实施例的基于光流估计获取AGV位置的方法步骤图。
具体实施方式
本发明所提供的基于光流估计获取AGV位置的方法,如图1所示,包括以下步骤:
步骤S1:在AGV经过二维码时,获取二维码的位置信息,并利用AGV上的图像采集装置对AGV在运动过程中的图像进行实时采集;
步骤S2:获取图像采集装置实时采集的图像,从中筛选出连续两帧图像,并根据连续两帧图像建立图像约束方程;
步骤S3:对图像约束方程进行展开得到展开方程;
步骤S4:联合图像约束方程和展开方程得到速度方程;
步骤S5:建立一窗口,根据速度方程建立对应窗口的速度方程组;
步骤S6:对速度方程组进行最小化,得到速度矢量;
步骤S7:根据二维码的位置信息和速度矢量,得到AGV在经过的二维码与下一二维码之间的位置。
进一步,图像采集装置为相机。
本发明将通过轮式里程计推算AGV在在二维码和二维码之间位置,改成通过相机光流法来推算AGV位置,具体原理如下:
假设待估计流光(速度矢量)的两帧图像的同一物体的亮度是不变的,这个假设通常是成立的,因为环境光照通常不会发生太大的变化,另外相机的图像是随时间变化的,图像可以看作时间的函数,则可建立图像约束方程。
在上述步骤S2中,在建立图像约束方程时,包括:
获取连续两帧图像上的特征点,利用近似最近邻搜索方法对特征点进行预匹配,再利用双向交叉匹配法提高匹配的精度,得到最终特征匹配点对。
进一步地,在利用近似最近邻搜索方法对特征点进行预匹配时,包括:
将连续两帧图像分别转换成第一灰度图和第二灰度图,并分别提取第一灰度图和第二灰度图的SURF特征点;
利用近似最近邻搜索方法,获取第一灰度图任意特征点在第二灰度图上的距离最近的对应特征点,得到侯选特征匹配点对。
具体地,近似最近邻搜索方法为FLANN法,本发明通过FLANN法预获取到两帧图像中相对应的特征点,此次预匹配大大提高了特征点间的匹配精度,为后续的进一步匹配奠定了基础。
进一步地,在利用双向交叉匹配法提高匹配的精度时,包括:
执行候选匹配对获取步骤,包括:
遍历第一灰度图中的候选匹配特征点,针对第一灰度图中的候选匹配特征点A1,遍历第二灰度图中的各个候选匹配特征点,获取候选匹配特征点A1在第二灰度图中匹配的第一候选匹配特征点B1和第二候选匹配特征点B2;
第一候选匹配特征点B1、第二候选匹配特征点B2与候选匹配特征点A1之间的关系满足如下公式1:
式中,D(A1,B1)是候选匹配特征点A1与第一候选匹配特征点B1的距离相似性度量值,D(A1,B2)是候选匹配特征点A1与第二候选匹配特征点B2的距离相似性度量值,Yh为设定的阈值;
取候选匹配特征点A1和第一候选匹配特征点B1构成候选匹配对;
其中,第一候选匹配特征点为最近邻候选匹配特征点,第二候选匹配特征点B2为次近邻候选匹配特征点。
具体地,Yh的取值为0.5。
更进一步地,在利用双向交叉匹配法提高匹配的精度时,还包括:
以第一灰度图中的候选匹配特征点作为遍历对象,按照候选匹配对获取步骤遍历第一灰度图中的每个候选匹配特征点,得到第一灰度图的所有候选匹配对,并根据第一灰度图的所有候选匹配对组成第一候选匹配对集合;
以第二灰度图中的候选匹配特征点作为遍历对象,按照候选匹配对获取步骤遍历第二灰度图中的每个候选匹配特征点,得到第二灰度图的所有候选匹配对,并根据第二灰度图的所有候选匹配对组成第二候选匹配对集合;
将第一候选匹配对集合和第二候选匹配对集合进行比较,筛选出其中完全相同的候选匹配对,作为最终的特征点匹配对集合;
其中,最终的特征点匹配对集合包含多个最终特征匹配点对。
具体地,本发明通过设定一阈值,获取到有效的最近邻候选匹配特征点和次近邻候选匹配特征点,进一步获得第一灰度图的所有候选匹配对和第二灰度图的所有候选匹配对,进行比较筛选后获得最终的特征点匹配对集合。由上述可知,本发明利用阈值条件的设定和候选匹配对的比较筛选进一步地提高特征点间的匹配精度。
在上述步骤S2中,在建立图像约束方程时,还包括:
分别获取连续两帧图像的采集时间;
获取第一灰度图和第二灰度图中的最终特征匹配点对,根据最终特征匹配点对和采集时间建立图像约束方程,具体如公式2所示:
I(x,y,t)=I(x+δx,y+δy,t+δt)(2);
式中,x代表第一灰度图最终特征匹配点的X轴坐标,y代表第一灰度图最终特征匹配点的Y轴坐标,x+δx代表第二灰度图最终特征匹配点的X轴坐标,y+δy代表第二灰度图最终特征匹配点的Y轴坐标,δx代表X轴相对位移,δy代表Y轴相对位移,t代表第一帧图像的采集时间,t+δt代表第二帧图像的采集时间,δt代表两帧时间差,I(x,y,t)代表t时刻第一灰度图最终特征匹配点的亮度,I(x+δx,y+δy,t+δt)代表t+δt时刻第二灰度图最终特征匹配点的亮度。
在上述步骤S3中,在对图像约束方程进行展开得到展开方程时,包括:
根据第一灰度图最终特征匹配点的坐标(x,y)和第一帧图像的采集时间t,并利用泰勒公式对t+δt时刻第二灰度图最终特征匹配点的亮度函数进行展开,得到展开方程,具体如公式3所示:
式中,代表第一灰度图最终特征匹配点的X轴坐标移动系数,/>代表第一灰度图最终特征匹配点的Y轴坐标移动系数,/>代表第一灰度图最终特征匹配点的时间差系数,R(x,y,t)代表泰勒公式的高阶余项,近似为0。
具体地,本发明利用泰勒公式对函数I(x+δx,y+δy,t+δt)在(x,y,t)处进行展开得到上述公式3。
在上述步骤S4中,在联合图像约束方程和展开方程得到速度方程时,包括:
联合图像约束方程和展开方程得到导数方程,具体如公式4所示:
式中,代表第一灰度图最终特征匹配点沿着X轴方向的导数,/>代表第一灰度图最终特征匹配点沿着Y轴方向的导数;
将沿着X轴方向的速度分量记为u,将沿着Y轴方向的速度分量记为v,对导数方程进行简化,获得速度方程,具体如公式5所示:
Ixu+Iyv+It=0(5);
式中,Ix代表灰度值I对X轴的偏导数,Iy代表灰度值I对Y轴的偏导数,It代表灰度值I对t时刻的偏导数。
具体地,速度方程可进一步简化为矩阵形式,具体如公式12所示:
式中,▽IT代表光流在灰度梯度方向的分量,代表灰度值I的位移绝对值,It代表灰度值I对t时刻的偏导数。
由于上述速度方程有u和v两个未知数,所以无法求解,故本发明假设在一个大小为m×m的窗口内,图像的光流是一个恒定值,得到速度方程组进行联立求解。
在上述步骤S5中,在建立一窗口,根据速度方程建立对应窗口的速度方程组时,包括:
建立一个大小为m×m的窗口,根据速度方程,并利用在窗口内,图像的光流是一个恒定值,得到速度方程组,具体公式6所示:
式中,n=m2。
在上述步骤S6中,在对速度方程组进行最小化,得到速度矢量时,包括:
将速度方程组采用矩阵形式进行表示,具体如公式7、公式8和公式9所示:
式中,A代表坐标点集,b代表时间差集;
将公式9记作采用最小二乘法得到转置矩阵方程,具体如公式10所示:
式中,AT代表坐标点集转置矩阵,代表速度矢量;
根据转置矩阵方程得到速度矢量,具体如公式11所示:
将公式11采用矩阵形式进行表示,具体如公式12所示:
在上述步骤S7中,已知上一次读到二维码的(X,Y,theta)乘以得到下一次的(X,Y,theta),以此来实现AGV在二维码和二维码之间位置的推算。
相比现有技术,本发明的有益效果在于:
本发明通过AGV自带的图像采集装置识别地上纹路来推算AGV的位置,不需要获取轮子和二维码相机之间的机械相对位姿关系,避免了AGV在二维码和二维码之间的位置由于二维码相机和轮子安装误差导致推算坐标不准的问题。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (5)
1.一种基于光流估计获取AGV位置的方法,其特征在于,包括以下步骤:
在AGV经过二维码时,获取所述二维码的位置信息,并利用所述AGV上的图像采集装置对所述AGV在运动过程中的图像进行实时采集;
获取所述图像采集装置实时采集的图像,从中筛选出连续两帧图像,并根据所述连续两帧图像建立图像约束方程;
对所述图像约束方程进行展开得到展开方程;
联合所述图像约束方程和所述展开方程得到速度方程;
建立一窗口,根据所述速度方程建立对应所述窗口的速度方程组;
对所述速度方程组进行最小化,得到速度矢量;
根据所述二维码的位置信息和所述速度矢量,得到所述AGV在经过的二维码与下一二维码之间的位置;
其中,在建立图像约束方程时,包括:
获取所述连续两帧图像上的特征点,利用近似最近邻搜索方法对所述特征点进行预匹配,再利用双向交叉匹配法提高匹配的精度,得到最终特征匹配点对;
在利用近似最近邻搜索方法对所述特征点进行预匹配时,包括:
将所述连续两帧图像分别转换成第一灰度图和第二灰度图,并分别提取所述第一灰度图和所述第二灰度图的SURF特征点;
利用所述近似最近邻搜索方法,获取所述第一灰度图任意特征点在所述第二灰度图上的距离最近的对应特征点,得到侯选特征匹配点对;
在利用双向交叉匹配法提高匹配的精度时,包括:
执行候选匹配对获取步骤,包括:
遍历所述第一灰度图中的候选匹配特征点,针对所述第一灰度图中的候选匹配特征点A1,遍历所述第二灰度图中的各个候选匹配特征点,获取所述候选匹配特征点A1在所述第二灰度图中匹配的第一候选匹配特征点B1和第二候选匹配特征点B2;
所述第一候选匹配特征点B1、所述第二候选匹配特征点B2与所述候选匹配特征点A1之间的关系满足如下公式1:
式中,D(A1,B1)是候选匹配特征点A1与第一候选匹配特征点B1的距离相似性度量值,D(A1,B2)是候选匹配特征点A1与第二候选匹配特征点B2的距离相似性度量值,Yh为设定的阈值;
取所述候选匹配特征点A1和所述第一候选匹配特征点B1构成候选匹配对;
其中,所述第一候选匹配特征点B1为最近邻候选匹配特征点,所述第二候选匹配特征点B2为次近邻候选匹配特征点;
在利用双向交叉匹配法提高匹配的精度时,还包括:
以所述第一灰度图中的候选匹配特征点作为遍历对象,按照所述候选匹配对获取步骤遍历所述第一灰度图中的每个候选匹配特征点,得到所述第一灰度图的所有候选匹配对,并根据所述第一灰度图的所有候选匹配对组成第一候选匹配对集合;
以所述第二灰度图中的候选匹配特征点作为遍历对象,按照所述候选匹配对获取步骤遍历所述第二灰度图中的每个候选匹配特征点,得到所述第二灰度图的所有候选匹配对,并根据所述第二灰度图的所有候选匹配对组成第二候选匹配对集合;
将所述第一候选匹配对集合和所述第二候选匹配对集合进行比较,筛选出其中完全相同的候选匹配对,作为最终的特征点匹配对集合;
其中,所述最终的特征点匹配对集合包含多个最终特征匹配点对;
在建立图像约束方程时,还包括:
分别获取所述连续两帧图像的采集时间;
获取所述第一灰度图和所述第二灰度图中的最终特征匹配点对,根据所述最终特征匹配点对和所述采集时间建立所述图像约束方程,具体如公式2所示:
I(x,y,t)=I(x+δx,y+δy,t+δt) (2);
式中,x代表第一灰度图最终特征匹配点的X轴坐标,y代表第一灰度图最终特征匹配点的Y轴坐标,x+δx代表第二灰度图最终特征匹配点的X轴坐标,y+δy代表第二灰度图最终特征匹配点的Y轴坐标,δx代表X轴相对位移,δy代表Y轴相对位移,t代表第一帧图像的采集时间,t+δt代表第二帧图像的采集时间,δt代表两帧时间差,I(x,y,t)代表t时刻第一灰度图最终特征匹配点的亮度,I(x+δx,y+δy,t+δt)代表t+δt时刻第二灰度图最终特征匹配点的亮度。
2.根据权利要求1所述的基于光流估计获取AGV位置的方法,其特征在于,在对所述图像约束方程进行展开得到展开方程时,包括:
根据所述第一灰度图最终特征匹配点的坐标(x,y)和所述第一帧图像的采集时间t,并利用泰勒公式对t+δt时刻第二灰度图最终特征匹配点的亮度函数进行展开,得到所述展开方程,具体如公式3所示:
式中,代表第一灰度图最终特征匹配点的X轴坐标移动系数,/>代表第一灰度图最终特征匹配点的Y轴坐标移动系数,/>代表第一灰度图最终特征匹配点的时间差系数,R(x,y,t)代表泰勒公式的高阶余项,近似为0。
3.根据权利要求2所述的基于光流估计获取AGV位置的方法,其特征在于,在联合所述图像约束方程和所述展开方程得到速度方程时,包括:
联合所述图像约束方程和所述展开方程得到导数方程,具体如公式4所示:
式中,代表第一灰度图最终特征匹配点沿着X轴方向的导数,/>代表第一灰度图最终特征匹配点沿着Y轴方向的导数;
将沿着X轴方向的速度分量记为u,将沿着Y轴方向的速度分量记为v,对所述导数方程进行简化,获得所述速度方程,具体如公式5所示:
Ixu+Iyv+It=0 (5);
式中,Ix代表灰度值I对X轴的偏导数,Iy代表灰度值I对Y轴的偏导数,It代表灰度值I对t时刻的偏导数。
4.根据权利要求3所述的基于光流估计获取AGV位置的方法,其特征在于,在建立一窗口,根据所述速度方程建立对应所述窗口的速度方程组时,包括:
建立一个大小为m×m的窗口,根据所述速度方程,并利用在所述窗口内,图像的光流是一个恒定值,得到所述速度方程组,具体公式6所示:
式中,n=m2。
5.根据权利要求4所述的基于光流估计获取AGV位置的方法,其特征在于,在对所述速度方程组进行最小化,得到速度矢量时,包括:
将所述速度方程组采用矩阵形式进行表示,具体如公式7、公式8和公式9所示:
式中,A代表坐标点集,b代表时间差集;
将所述公式9记作采用最小二乘法得到转置矩阵方程,具体如公式10所示:
式中,AT代表坐标点集转置矩阵,代表速度矢量;
根据所述转置矩阵方程得到所述速度矢量,具体如公式11所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211580479.1A CN116358547B (zh) | 2022-12-09 | 2022-12-09 | 一种基于光流估计获取agv位置的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211580479.1A CN116358547B (zh) | 2022-12-09 | 2022-12-09 | 一种基于光流估计获取agv位置的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116358547A CN116358547A (zh) | 2023-06-30 |
CN116358547B true CN116358547B (zh) | 2024-01-30 |
Family
ID=86926979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211580479.1A Active CN116358547B (zh) | 2022-12-09 | 2022-12-09 | 一种基于光流估计获取agv位置的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116358547B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117739972B (zh) * | 2024-02-18 | 2024-05-24 | 中国民用航空飞行学院 | 一种无全球卫星定位系统的无人机进近阶段定位方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104159114A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种计算图像帧间大运动速度的光流方法 |
CN105957103A (zh) * | 2016-04-20 | 2016-09-21 | 国网福建省电力有限公司 | 一种基于视觉的运动特征提取方法 |
CN109523589A (zh) * | 2018-11-13 | 2019-03-26 | 浙江工业大学 | 一种更鲁棒的视觉里程计的设计方法 |
WO2019157925A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
CN112509115A (zh) * | 2020-11-26 | 2021-03-16 | 中国人民解放军战略支援部队信息工程大学 | 序列图像动态场景三维时变无约束重建方法及系统 |
CN114494150A (zh) * | 2021-12-30 | 2022-05-13 | 杭州电子科技大学 | 一种基于半直接法的单目视觉里程计的设计方法 |
CN114677323A (zh) * | 2021-12-31 | 2022-06-28 | 北京工业大学 | 一种室内动态场景下基于目标检测的语义视觉slam定位方法 |
CN114782499A (zh) * | 2022-04-28 | 2022-07-22 | 杭州电子科技大学 | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 |
CN114964206A (zh) * | 2022-04-12 | 2022-08-30 | 中国计量大学 | 一种单目视觉里程计目标位姿检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11199414B2 (en) * | 2016-09-14 | 2021-12-14 | Zhejiang University | Method for simultaneous localization and mapping |
-
2022
- 2022-12-09 CN CN202211580479.1A patent/CN116358547B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104159114A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种计算图像帧间大运动速度的光流方法 |
CN105957103A (zh) * | 2016-04-20 | 2016-09-21 | 国网福建省电力有限公司 | 一种基于视觉的运动特征提取方法 |
WO2019157925A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
CN109523589A (zh) * | 2018-11-13 | 2019-03-26 | 浙江工业大学 | 一种更鲁棒的视觉里程计的设计方法 |
CN112509115A (zh) * | 2020-11-26 | 2021-03-16 | 中国人民解放军战略支援部队信息工程大学 | 序列图像动态场景三维时变无约束重建方法及系统 |
CN114494150A (zh) * | 2021-12-30 | 2022-05-13 | 杭州电子科技大学 | 一种基于半直接法的单目视觉里程计的设计方法 |
CN114677323A (zh) * | 2021-12-31 | 2022-06-28 | 北京工业大学 | 一种室内动态场景下基于目标检测的语义视觉slam定位方法 |
CN114964206A (zh) * | 2022-04-12 | 2022-08-30 | 中国计量大学 | 一种单目视觉里程计目标位姿检测方法 |
CN114782499A (zh) * | 2022-04-28 | 2022-07-22 | 杭州电子科技大学 | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116358547A (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109945858B (zh) | 用于低速泊车驾驶场景的多传感融合定位方法 | |
JP6760114B2 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
Sim et al. | Integrated position estimation using aerial image sequences | |
CN112014857A (zh) | 用于智能巡检的三维激光雷达定位导航方法及巡检机器人 | |
CN109099929B (zh) | 基于场景指纹的智能车定位装置及方法 | |
CN111241988B (zh) | 一种结合定位信息的大场景内运动目标检测识别方法 | |
CN114413909A (zh) | 一种室内移动机器人定位方法及系统 | |
CN105352509A (zh) | 地理信息时空约束下的无人机运动目标跟踪与定位方法 | |
JP6589410B2 (ja) | 地図生成装置及びプログラム | |
KR20210081983A (ko) | 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 | |
CN115407357A (zh) | 基于大场景的低线束激光雷达-imu-rtk定位建图算法 | |
Dawood et al. | Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera | |
CN113885046A (zh) | 针对低纹理车库的智能网联汽车激光雷达定位系统及方法 | |
Wen et al. | TM 3 Loc: Tightly-coupled monocular map matching for high precision vehicle localization | |
JP2006119591A (ja) | 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置 | |
CN116358547B (zh) | 一种基于光流估计获取agv位置的方法 | |
CN115205559A (zh) | 一种跨域车辆重识别及连续轨迹构建方法 | |
CN117348537A (zh) | 工厂中的位置跟踪系统及其方法 | |
CN113838129B (zh) | 一种获得位姿信息的方法、装置以及系统 | |
CN113566817B (zh) | 一种车辆定位方法及装置 | |
Zahedian et al. | Localization of autonomous vehicles: proof of concept for a computer vision approach | |
Aggarwal | GPS-based localization of autonomous vehicles | |
CN113850864B (zh) | 一种面向室外移动机器人的gnss/lidar回环检测方法 | |
WO2020118623A1 (en) | Method and system for generating an environment model for positioning | |
US20220404170A1 (en) | Apparatus, method, and computer program for updating map |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |