CN109900274A - 一种图像匹配方法及系统 - Google Patents
一种图像匹配方法及系统 Download PDFInfo
- Publication number
- CN109900274A CN109900274A CN201910228786.5A CN201910228786A CN109900274A CN 109900274 A CN109900274 A CN 109900274A CN 201910228786 A CN201910228786 A CN 201910228786A CN 109900274 A CN109900274 A CN 109900274A
- Authority
- CN
- China
- Prior art keywords
- image
- carrier
- realtime graphic
- benchmark image
- benchmark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 64
- 238000006073 displacement reaction Methods 0.000 claims abstract description 30
- 238000013519 translation Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000011664 nicotinic acid Substances 0.000 abstract description 7
- 230000008859 change Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical group OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Abstract
针对现有仿生视觉导航中基于特征图像匹配方法复杂的问题,本发明提供一种图像匹配方法及系统,属于智能仿生视觉导航领域。本发明包括:摄像机设置在载体上,实时获取载体移动中摄像机拍摄的一张图像或视频帧,作为实时图像,将与所述实时图像相邻的前一张图像或视频帧作为基准图像;分别将实时图像和基准图像分成上下两部分远景A和近景B,根据实时图像相对基准图像的远景A的扫描强度矢量的左右平移量,获取载体的姿态旋转角度;根据实时图像相对基准图像的近景B的扫描强度矢量的上下平移量,获取载体的移动位移;根据拍摄基准图像时的载体的位置、获取的载体姿态旋转角度和移动位移,确定拍摄基准图像时的载体的位置。
Description
技术领域
本发明涉及一种仿生视觉导航中的图像匹配方法及系统,属于智能仿生视觉导航领域。
背景技术
仿生视觉导航是仿生学和工程科学的交叉产物,未来智能车辆、无人机、机器人等交通工具或运输工具会对导航系统有着适用性更广、灵活度更高、路径规划更实时、更智能等方面上的要求,因此,开展对于无依托高精度全自主仿生导航的研究是必要而迫切的。
仿生导航理论的来源是大鼠脑内导航细胞主要由网格细胞、位置细胞和方向细胞等导航细胞组成,通过它们的协调作用进行导航,所以仿生导航的本质就是模拟动物的信息获取功能和信息处理方式。根据这个原理,澳大利亚昆士兰理工大学的两位教授在总结前人的基础上,对老鼠大脑导航细胞进行数学建模,模拟大鼠视觉信息构建了一个可以在线定位与构图的RatSLAM仿生视觉导航算法,并利用纯视觉信息,通过66km的户外跑车实验验证了算法的可行性。
从仿生导航信息处理研究角度看,国外相关学者研究的更多是磁场、偏振光等信息的信息处理方式。如Hrabar等人针对城市楼宇障碍复杂的问题提出了仿照昆虫视觉感光,通过光流来规避绕飞城市障碍的UAV导航系统;Turk等人针对路面跟踪这一问题,采用彩色摄像机和激光测距仪为543传感器进行视觉导航。最有代表性的组合仿生视觉导航应用成果有Krotkov和Herbert开发的自动全地形月面探测车和1997年着陆的火星探路者,前者通过双目视觉器、罗盘、陀螺仪等设备的组合运用使系统在未知领域可靠工作了很长时间,很好的完成了科学任务,而后者通过建立三维地图,自主设计行进路线并对路障进行规避,也圆满完成了对火星表面的探测任务。
现有的仿生视觉导航模型或算法均是依托于载体周围景物在CCD的成像为研究对象,生物也是以“图像”为记忆对象的。若对大脑的记忆网络进行仿真以求获得图形库的话,以全景记忆为记忆对象显然会使计算机成本变高,因此,一些研究人员正在想办法使仿生视觉导航记忆库数据量减小。2014年穆荣军等研究者对探月飞行器着陆光学自主导航的特征图形匹配方法进行了研究,该方法是通过检测载体拍摄的月面图像景物的边缘,将边缘标记后进行配对处理,从而提取特征点,然后用提取的特征点与载体自身携带的月面特征点数据库进行图形匹配从而判断载体所处的位置和速度,进行导航。这种方法的优越性是将特征图像转换为特征图形,信息比较稳定,不易受光学影响,减小了计算量和存储量,提高了解算精度,缺点是舍弃了一部分信息。从实用性上看,为使智能车辆、无人机等载体更灵活,算法周期必须要缩短,因此把特征图像匹配变为特征图形匹配将是仿生视觉导航发展的一个重要方向,但是这种方法常需要复杂的运算以抽取特征,方法复杂度高,不易于实现。
发明内容
针对现有仿生视觉导航中基于特征图像匹配方法复杂的问题,本发明提供一种图像匹配方法及系统。
本发明的一种图像匹配方法,所述方法包括:
S1、实时获取载体移动中摄像机拍摄的一张图像或视频帧,作为实时图像,将与所述实时图像相邻的前一张图像或视频帧作为基准图像,将实时图像和基准图像转换为灰度图,摄像机设置在载体上;
S2、分别将实时图像和基准图像分成上下两部分A和B,A表示远景,B表示近景;
S3、分别获取实时图像和基准图像的远景A的灰度强度矩阵,分别获得实时图像和基准图像的远景A的扫描强度矢量,获取实时图像相对基准图像的远景A的扫描强度矢量的左右平移量,并将该左右平移量转化为拍摄基准图像到拍摄实时图像过程中载体的旋转角度,即:载体的姿态旋转角度;
扫描强度矢量为将对应灰度强度矩阵中每一列像素的灰度相加获得的矢量矩阵,所述扫描强度矢量用于表示图像中景物的分布情况;
S4、分别获取实时图像和基准图像的近景B的灰度强度矩阵,分别获得实时图像和基准图像的近景B的扫描强度矢量,获取实时图像相对基准图像的近景B的扫描强度矢量的上下平移量,并将该上下平移量转化为拍摄基准图像到拍摄实时图像过程中载体的移动位移,即:载体的移动位移;
S5、根据拍摄基准图像时的载体的位置、S3中获取的载体的姿态旋转角度和S4中获取的载体的移动位移,确定拍摄基准图像时的载体的位置。
优选的是,所述S3中,实时图像和基准图像的远景A的扫描强度矢量分别为Ij和Ik,实时图像和基准图像的远景A的扫描强度矢量的左右平移量为:
f(s1,Ij,Ik,v)=sum|Ij(v+1,end-v)-Ik(v+1+s1,end-v+s1)|,s1∈(-p,p);
s1表示进行比较的强度平移的像素列数,v表示像素的维数,分别在扫描强度矢量Ij和Ik的两端去掉维数为v的数组,(-p,p)表示扫描的强度差值的取值范围内;
将s1在(-p,p)内遍历取值计算f,可得minf(s,Ij,Ik,v),并找出对应的s1的最小值smA,作为角度特征值,载体的姿态旋转角度Δθ=σA·smA,σA为导航角度经验常值。
优选的是,所述S4包括:
S41、获取实时图像和基准图像的近景B的灰度强度矩阵;
S42、计算实时图像灰度强度矩阵最后S0行的扫描强度矢量c;
S43、计算基准图像的灰度强度矩阵end-s2至end-s2+s0行的扫描强度矢量d,s2表示载体瞬时移动引起的景物在图像上后移的像素行数;
S44、获取c和d的差值z,根据差值z最小求取载体的移动位移。
优选的是,所述S44中,差值z为:
s2∈(1,q)q<<a/2
Im表示实时图像的近景B的灰度强度矩阵,In表示基准图像的近景B的灰度强度矩阵,下标i和j分别表示矩阵中的行和列;a表示实时图像/基准图像的像素行数,b表示实时图像/基准图像的像素列数,q表示由车速决定的像素行数阈值;K是由于景物的近大远小特性而产生的前后两张图像同一场景缩放差异;
将s2在(1,q)内遍历取值计算z,可得minz(Im,In,s2,s0),并找出对应的s2最小值smA,作为距离特征值,载体的移动位移Δs=min[σB·smB,xmax],σB为导航位移经验常值,xmax表示最大位移的阈值。
优选的是,所述S5包括:
拍摄基准图像时的载体的位置坐标为xi和yi,θi表示载体从初始状态到拍摄基准图像的姿态旋转角度;
根据当前获得的载体的移动位移Δx和姿态旋转角度Δθi,获得载体当前位置:
xi+1=xi+Δx·cos(θi+Δθi)
yi+1=yi+Δx·sin(θi+Δθi)
θi+1=θi+Δθi
本发明还包括一种计算机可读的存储设备,所述存储设备存储有计算机程序,所述计算机程序被执行时实现如上述任一图像匹配方法。
本发明还包括一种图像匹配系统,包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序实现如上述图像匹配方法。
本发明的有益效果,本发明定义了视觉信息处理的对象扫描强度矢量,根据载体运动对扫描强度矢量的影响,基于近景远景对运动位移和方向的敏感度不同而创建的仿生信息获取方式,简化了抽取特征的运算,根据位移和方向匹配实时图像与基准图像,本发明的图像匹配指确定实时图像和基准图像间的平移关系和旋转角度关系,还可以确定实时图像的某一图像区域在图形库中的位置的方法。
附图说明
图1为扫描强度矢量示意图;
图2为扫描强度矢量代表景物分布情况的示意图;
图3为相邻两张远景图像的扫描强度矢量分布情况;
图4为相邻两张近景图像的扫描强度矢量分布情况;
图5为相邻两张近景图像中的相同景物对比;
图6为导航位移经验常数示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
仿生视觉导航视觉系统由位置记录器、方向记录器和摄像头(或视觉里程计)三部分组成,摄像头按一定频率向前拍摄照片,并在照片上标示出近景和远景两个网格,在相邻照片间隙时间里载体位移较小,远景基本不变而近景变化较大,由此本实施方式可以利用远景的变化判断载体姿态的变动,利用近景变化判断载体位移了多少,并把这些信息累加起来对载体进行定位导航,可以使用地形模板、里程计、惯导信息等对导航结果进行修正。
摄像机设置在载体上,本实施方式的图像匹配就是把来自同一摄像机的多张图像或来自两个摄像机对于同一景物拍摄的图像基于某种特征在空间上进行对准,以确定这两张图像间相对平移的量的过程。在仿生视觉导航里,本实施方式选取同一摄像机对于同一路段拍摄的一系列图像作为图像匹配对象进行研究,取相邻两张图像为例,把后一张张产生的景物图像称为实时图像,把前一张产生的图像称为基准图像。每相邻两张图像可计算出一个相对位移,把这些相对位移进行累加即可完成载体对初始位置的定位过程;
本实施方式的图像匹配方法,包括:
S1、实时获取载体移动中摄像机拍摄的一张图像或视频帧,作为实时图像,将与所述实时图像相邻的前一张图像或视频帧作为基准图像,将实时图像和基准图像进行预处理,转换为灰度图;
S2、分别将实时图像和基准图像分成上下两部分A和B,A表示远景,B表示近景;
在图像中,本实施方式把所有景物分成近景、远景两部分,远景一般分布在图像上半部分,近景分布在下半部分。在载体的运动中,远景和近景对于不同运动参数的敏感度是不同的,远处的景物对于载体的前后运动敏感度不大,即其视角随距离变化改变很小,但是远景对载体姿态转动信息很敏感,因此可以用远景的角度信息判断载体姿态——即前进方向的变化。
灰度像素图像在计算机中是以矩阵储存的,矩阵中的元素表示图像中该点的灰度强度,对图像灰度化后的图像矩阵中列像素的灰度相加,获得图像的扫描强度矢量I:
I1×Y=[∑1≤i≤XAi,1,∑1≤i≤XAi,2,…∑1≤i≤XAi,j,…∑1≤i≤XAi,Y]
X表示图像矩阵中的像素行数,Y表示图像矩阵中的像素列数,Ai,j表示第i行第j列像素的灰度;若以元素序列为横坐标,对应元素值为纵坐标,将其显示在坐标系中,如图1,它代表图像中该列像素的灰度强度和,通过这个矢量可以辨别出图像里景物的分布情况,如图2所示。载体在前进过程中,前向拍摄的图像每时每刻都在变化,通过分析扫描强度矢量变化的情况即可判断出车辆在向哪个方向前进,前进的距离是多少。
S3、分别获取实时图像和基准图像的远景A的灰度强度矩阵,分别获得实时图像和基准图像的远景A的扫描强度矢量,获取实时图像相对基准图像的远景A的扫描强度矢量的左右平移量,并将该左右平移量转化为拍摄基准图像到拍摄实时图像过程中载体的旋转角度,即:载体的姿态旋转角度;扫描强度矢量为将对应灰度强度矩阵中每一列像素的灰度相加获得的矢量矩阵,所述扫描强度矢量用于表示图像中景物的分布情况;
扫描强度矢量与灰度图的矩阵灰度值相关,为减小灰度值对匹配算法带来的影响,本实施方式选用做差的方式进行图像匹配。以车辆为例,忽略载体位移变化,只考虑载体姿态变化,即载体前进方向变化,这种变化对载体远处的景物图像影响很大,即载体向某一方向转过某一角度,远处景物相对于载体即反方向转过相同角度,体现在扫描强度矢量中即为矢量图像的左右平移变化。
S4、分别获取实时图像和基准图像的近景B的灰度强度矩阵,分别获得实时图像和基准图像的近景B的扫描强度矢量,获取实时图像相对基准图像的近景B的扫描强度矢量的上下平移量,并将该上下平移量转化为拍摄基准图像到拍摄实时图像过程中载体的移动位移,即:载体的移动位移;
忽略载体姿态变化,考虑载体位置变化。就车辆正前方的景物来说,距离的微小变化对远处景物的影响不大,即远处景物的时角变化不大。而近处景物扫描强度矢量却存在着放大和上下平移的变化。就一个车辆正前方的长方形景物来说,由于车辆的前行,景物在实时图中的成像位置会比在基准图中的成像位置更靠下方,而且由于景物变大,它在实时图中所占的像素数会更多。扫描强度矢量会有左右方向的扩展和上下方向的平移。因此对于载体近处的一个特定景物,通过计算它成像位置的变化就可以得到载体移动距离的变化。
S5、根据拍摄基准图像时的载体的位置、S3中获取的载体的姿态旋转角度和S4中获取的载体的移动位移,确定拍摄基准图像时的载体的位置。
对于相邻两张图像的远景部分来说,它们的扫描强度矢量也应该是平移的关系,让两矢量左右平移做差,在平移Δy列后一定有一个差值最小,这个平移的像素列数就对应着载体在拍摄这相邻两张图像时向哪个方向转动的角度值。如图3,远景在图像上的变化体现为强度的平移,可以得到较为准确的图形旋转信息。
图像远景A部分以720×1280照片为例,这个720×1280矩阵中每个数代表图像该点的灰度强度,将矩阵每一列相加可得一个1×1280的矢量,称其为灰度扫描强度矢量Ij,它代表照片的灰度扫描强度分布。
优选实施例中,S3中,实时图像和基准图像的远景A的扫描强度矢量分别为Ij和Ik,实时图像和基准图像的远景A的扫描强度矢量的左右平移量为:
该计算为一个单循环计算,体现在算法中为:
f(s1,Ij,Ik,v)=sum|Ij(v+1,end-v)-Ik(v+1+s1,end-v+s1)|,s1∈(-p,q);
s1表示进行比较的强度平移的像素列数,分别在扫描强度矢量Ij和Ik的两端去掉维数为v的数组,由于车辆载体的旋转,实时图像左右两边会增添或减少一些景物,因此,考虑车辆旋转速度阈值,需要将实时图和基准图左右去掉长度为v的数组长度,截断后的实时图扫描强度矢量和截断后的基准图强度矢量中的景物几乎相同。
将实时图像的扫描强度矢量向左或向右平移s1个单位后与基准图像的扫描强度矢量做差,可以得到一个差值,对s1选取不同数值可以使差值达到最小,使差值最小时对应的平移单位数s即对应着车辆载体姿态旋转的角度:将s1在(-p,p)内遍历取值计算f,可得minf(s,Ij,Ik,v),并找出对应的s1的最小值smA,作为角度特征值,载体的姿态旋转角度Δθ=σA·smA,σA为导航角度经验常值。(-p,p)表示扫描的强度差值的取值范围内。导航角度经验常值的求取
以720×1280图像为例,摄像头的左右视场宽度Θ由1280列像素平分,故用摄像头左右视场宽度除以1280(Y)便可得到导航角度经验常值,即:
本实施方式使用的摄像头拍摄视频为视场宽度约为40.0°的720×1280的视频,故每列像素大概分得40.0/1280≈0.0313度,换算为弧度为5.4542×10-4弧度。即导航角度经验常值约为0.0313。
随着载体前进,由于远处的景物在照片中视角变化量较小,所以即使在摄像机采样频率较低的情境下,远景视角的变化对扫描强度矢量的影响也不大。
与远景处理方式相似,对相邻两张图像来说,它们的近景部分对运动的角度和距离都很敏感,可以先通过上一步处理得到的车辆旋转角度信息附加在前一张图像的近景上,这样产生的扫描强度矢量与后一张的相比便只有距离变化带来的差异。去掉角度变化带来的影响,如图4,由于近景的远近关系,它们的扫描强度矢量在图像上的变化体现为上下平移和左右缩放,通过上下平移量可以得到较为准确的载体速度信息,为使差异明显,图4显示的是隔五帧图像的结果。对于前后两张图像中的同一片景物,如图5,左图为后拍摄的照片,右图为先拍摄的照片,阴影为实际环境中的同一片景物。
由于载体前进,阴影处景象在图像中的成像位置会向下移动,导致同一景物在图像中的位置不同。又由于物体成像的近大远小特性,如果在后一张照片中景物以S0行像素表示的话,在前一张图像上就以K·S0行像素来表示。
优选实施例中,S4具体包括:
S41、获取实时图像和基准图像的近景B的灰度强度矩阵;
S42、计算实时图像灰度强度矩阵最后S0行的扫描强度矢量c;
S43、计算基准图像的灰度强度矩阵end-s2至end-s2+s0行的扫描强度矢量d,s2表示载体瞬时移动引起的景物在图像上后移的像素行数;
S44、获取c和d的差值z,根据差值z最小求取载体的移动位移。
为了通过计算载体近处的特定景物的成像位置的变化得到载体移动距离的变化,本实施方式提出一个双循环计算,即同时考虑景物缩放因子K和扫描强度矢量上下平移像素单位数s2,然后计算实时图在补偿了K和s2后与基准图像的差值,一定会有一组K和s2值使基准图像和实时图像扫描强度差值z绝对值最小,它们即对应载体的位移变化。
差值z为:
s2∈(1,q)Q<<a/2
Im表示实时图像的近景B的灰度强度矩阵,In表示基准图像的近景B的灰度强度矩阵,下标i和j分别表示矩阵中的行和列;a表示实时图像/基准图像的像素行数,b表示实时图像/基准图像的像素列数,q表示由车速决定的像素行数阈值;K是由于景物的近大远小特性而产生的前后两张图像同一场景缩放差异,K一般为1;
该计算在matlab中是一个双循环计算,循环参数为K和s2,取缩放系数K从0.990至1.000,步长为0.001循环;s2从1到100,步长为1循环。图5是相邻两张1200×700的近景照片,阴影区域代表处于同一实际位置的景物,随着车辆前行该处景物在照片中的位置会向后移动s2行像素。取图像最后200行像素图像为研究对象,即s0=200。将s2在(1,q)内遍历取值计算z,可得minz(Im,In,s2,s0),并找出对应的s2最小值smB,作为距离特征值,载体的移动位移Δx=min[σB·smB,smax],σB为导航位移经验常值,xmax表示最大位移的阈值。
求取导航位移经验常值:图6中,O点为摄像头感光元件CCD所处的位置,A为摄像头镜头位置,OB为焦距f,为使图像直观,将OB距离拉大。AB为摄像头高度h,A’B’为向前移动一段距离后的摄像头位置,BB’(CD)为载体前行位移x,AC(A’D)为摄像头成像的下边缘,DE为选取的特定景物。成像方面,MN为景物DE成像在CCD中的位置,用S0行像素表示;NP为位移CD成像在CCD中的位置,用S2行像素表示。实际上,OB很小,而且AC、AD、AE距离差不多,而且摄像头广角下边缘C(D)是可以确定的。因此,若取S0为200行,可通过测量DE对应的实际长度和其对应的成像长度S计算出载体前进的距离。计算方式为:σB则为导航位移经验常数,与摄像机镜头高度h,焦距f等参数有关。
外部信息对这种图像匹配算法影响较小,以外部景物亮度突变为例,若外部景物突然变亮,实时图灰度矩阵和扫描强度矢量图会以相同趋势变化,在做差时不影响差值最小值出现的位置。
通过对图像远景和近景分别进行匹配,两个差值最小值所处的位置就代表了载体朝某一方向运动某一距离的运动参数。
根据获得的载体朝某一方向运动某一距离的运动参数进行路径积分,路径积分过程就是将每次获得的信息转化为路径长度和方向,并进行累加。计算过程如下:
1、Δθi表示实时图像相对基准图像的旋转角度增量
2、Δx表示移动位移数值
3、载体初始状态:[x0y0θ0]=[0 0 ω0],对位置累加计算,载体位置推算为:
xi+1=xi+Δx·cos(θi+Δθi)
yi+1=yi+Δx·sin(θi+Δθi)
θi+1=θi+Δθi
拍摄基准图像时的载体的位置坐标为xi和yi,θi表示载体从初始状态到拍摄基准图像的姿态旋转角度。
本实施方式还包括一种计算机可读的存储设备,所述存储设备存储有计算机程序,所述计算机程序被执行时实现如上述任一图像匹配方法。
本实施方式还包括一种图像匹配系统,包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序实现如上述图像匹配方法。
虽然在本文中参照了特定的实施方式来描述本发明,但是应该理解的是,这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是,可以对示例性的实施例进行许多修改,并且可以设计出其他的布置,只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是,可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是,结合单独实施例所描述的特征可以使用在其他所述实施例中。
Claims (7)
1.一种图像匹配方法,其特征在于,所述方法包括:
S1、实时获取载体移动中摄像机拍摄的一张图像或视频帧,作为实时图像,将与所述实时图像相邻的前一张图像或视频帧作为基准图像,将实时图像和基准图像转换为灰度图,摄像机设置在载体上;
S2、分别将实时图像和基准图像分成上下两部分A和B,A表示远景,B表示近景;
S3、分别获取实时图像和基准图像的远景A的灰度强度矩阵,分别获得实时图像和基准图像的远景A的扫描强度矢量,获取实时图像相对基准图像的远景A的扫描强度矢量的左右平移量,并将该左右平移量转化为拍摄基准图像到拍摄实时图像过程中载体的旋转角度,即:载体的姿态旋转角度;
扫描强度矢量为将对应灰度强度矩阵中每一列像素的灰度相加获得的矢量矩阵,所述扫描强度矢量用于表示图像中景物的分布情况;
S4、分别获取实时图像和基准图像的近景B的灰度强度矩阵,分别获得实时图像和基准图像的近景B的扫描强度矢量,获取实时图像相对基准图像的近景B的扫描强度矢量的上下平移量,并将该上下平移量转化为拍摄基准图像到拍摄实时图像过程中载体的移动位移,即:载体的移动位移;
S5、根据拍摄基准图像时的载体的位置、S3中获取的载体的姿态旋转角度和S4中获取的载体的移动位移,确定拍摄基准图像时的载体的位置。
2.根据权利要求1所述的图像匹配方法,其特征在于,所述S3中,实时图像和基准图像的远景A的扫描强度矢量分别为Ij和Ik,实时图像和基准图像的远景A的扫描强度矢量的左右平移量为:
f(s1,Ij,Ik,v)=sum|Ij(v+1,end-v)-Ik(v+1+s1,end-v+s1)|,s1∈(-p,p);
s1表示进行比较的强度平移的像素列数,v表示像素的维数,分别在扫描强度矢量Ij和Ik的两端去掉维数为v的数组,(-p,p)表示扫描的强度差值的取值范围内;
将s1在(-p,p)内遍历取值计算f,可得minf(s,Ij,Ik,v),并找出对应的s1的最小值smA,作为角度特征值,载体的姿态旋转角度Δθ=σA·smA,σA为导航角度经验常值。
3.根据权利要求1或2所述的图像匹配方法,其特征在于,所述S4包括:
S41、获取实时图像和基准图像的近景B的灰度强度矩阵;
S42、计算实时图像灰度强度矩阵最后S0行的扫描强度矢量c;
S43、计算基准图像的灰度强度矩阵end-s2至end-s2+s0行的扫描强度矢量d,s2表示载体瞬时移动引起的景物在图像上后移的像素行数;
S44、获取c和d的差值z,根据差值z最小求取载体的移动位移。
4.根据权利要求3所述的图像匹配方法,其特征在于,所述S44中,差值z为:
s2∈(1,q)q<<a/2
Im表示实时图像的近景B的灰度强度矩阵,In表示基准图像的近景B的灰度强度矩阵,下标i和j分别表示矩阵中的行和列;a表示实时图像/基准图像的像素行数,b表示实时图像/基准图像的像素列数,q表示由车速决定的像素行数阈值;K是由于景物的近大远小特性而产生的前后两张图像同一场景缩放差异;
将s2在(1,q)内遍历取值计算z,可得minz(Im,In,s2,s0),并找出对应的s2最小值smA,作为距离特征值,载体的移动位移△x=min[σB·smB,xmax],σB为导航位移经验常值,xmax表示最大位移的阈值。
5.根据权利要求4所述的图像匹配方法,其特征在于,所述S5包括:
拍摄基准图像时的载体的位置坐标为xi和yi,θi表示载体从初始状态到拍摄基准图像的姿态旋转角度;
根据当前获得的载体的移动位移△x和姿态旋转角度Δθi,获得载体当前位置:
xi+1=xi+△x·cos(θi+Δθi)
yi+1=yi+△x·sin(θi+Δθi)
θi+1=θi+Δθi。
6.一种计算机可读的存储设备,所述存储设备存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1至5任一所述图像匹配方法。
7.一种图像匹配系统,包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序实现如权利要求1至5任一所述图像匹配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910228786.5A CN109900274B (zh) | 2019-03-25 | 2019-03-25 | 一种图像匹配方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910228786.5A CN109900274B (zh) | 2019-03-25 | 2019-03-25 | 一种图像匹配方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109900274A true CN109900274A (zh) | 2019-06-18 |
CN109900274B CN109900274B (zh) | 2022-09-16 |
Family
ID=66953749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910228786.5A Expired - Fee Related CN109900274B (zh) | 2019-03-25 | 2019-03-25 | 一种图像匹配方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109900274B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515381A (zh) * | 2019-08-22 | 2019-11-29 | 浙江迈睿机器人有限公司 | 用于定位机器人的多传感器融合算法 |
CN110672111A (zh) * | 2019-09-24 | 2020-01-10 | 广州大学 | 车辆行车路径规划方法、装置、系统、介质和设备 |
CN110779511A (zh) * | 2019-09-23 | 2020-02-11 | 北京汽车集团有限公司 | 位姿变化量的确定方法、装置、系统和车辆 |
CN113028897A (zh) * | 2021-03-11 | 2021-06-25 | 北京信息科技大学 | 图像导引方法及装置 |
CN114359320A (zh) * | 2021-12-15 | 2022-04-15 | 哈尔滨工业大学 | 月球探测器鲁棒环形山检测方法及飞行器导航方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4677680A (en) * | 1982-08-31 | 1987-06-30 | Dai Nippon Insatsu Kabushiki Kaisha | Method and device for inspecting image |
US6025790A (en) * | 1997-08-04 | 2000-02-15 | Fuji Jukogyo Kabushiki Kaisha | Position recognizing system of autonomous running vehicle |
JP2007256223A (ja) * | 2006-03-27 | 2007-10-04 | Ntt Data Corp | 構造物異常判別システム及び構造物異常判別方法ならびにプログラム |
CN101640809A (zh) * | 2009-08-17 | 2010-02-03 | 浙江大学 | 一种融合运动信息与几何信息的深度提取方法 |
CN103079037A (zh) * | 2013-02-05 | 2013-05-01 | 哈尔滨工业大学 | 基于远近景切换的自适应电子稳像方法 |
CN103402045A (zh) * | 2013-08-20 | 2013-11-20 | 长沙超创电子科技有限公司 | 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法 |
CN106525049A (zh) * | 2016-11-08 | 2017-03-22 | 山东大学 | 一种基于计算机视觉的四足机器人本体位姿跟踪方法 |
CN106920259A (zh) * | 2017-02-28 | 2017-07-04 | 武汉工程大学 | 一种定位方法及系统 |
-
2019
- 2019-03-25 CN CN201910228786.5A patent/CN109900274B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4677680A (en) * | 1982-08-31 | 1987-06-30 | Dai Nippon Insatsu Kabushiki Kaisha | Method and device for inspecting image |
US6025790A (en) * | 1997-08-04 | 2000-02-15 | Fuji Jukogyo Kabushiki Kaisha | Position recognizing system of autonomous running vehicle |
JP2007256223A (ja) * | 2006-03-27 | 2007-10-04 | Ntt Data Corp | 構造物異常判別システム及び構造物異常判別方法ならびにプログラム |
CN101640809A (zh) * | 2009-08-17 | 2010-02-03 | 浙江大学 | 一种融合运动信息与几何信息的深度提取方法 |
CN103079037A (zh) * | 2013-02-05 | 2013-05-01 | 哈尔滨工业大学 | 基于远近景切换的自适应电子稳像方法 |
CN103402045A (zh) * | 2013-08-20 | 2013-11-20 | 长沙超创电子科技有限公司 | 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法 |
CN106525049A (zh) * | 2016-11-08 | 2017-03-22 | 山东大学 | 一种基于计算机视觉的四足机器人本体位姿跟踪方法 |
CN106920259A (zh) * | 2017-02-28 | 2017-07-04 | 武汉工程大学 | 一种定位方法及系统 |
Non-Patent Citations (1)
Title |
---|
孙承岳: "结合近景和远景分析的行人状态跟踪", 《中国优秀硕士学位论文全文数据库(硕士)》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515381A (zh) * | 2019-08-22 | 2019-11-29 | 浙江迈睿机器人有限公司 | 用于定位机器人的多传感器融合算法 |
CN110779511A (zh) * | 2019-09-23 | 2020-02-11 | 北京汽车集团有限公司 | 位姿变化量的确定方法、装置、系统和车辆 |
CN110672111A (zh) * | 2019-09-24 | 2020-01-10 | 广州大学 | 车辆行车路径规划方法、装置、系统、介质和设备 |
CN113028897A (zh) * | 2021-03-11 | 2021-06-25 | 北京信息科技大学 | 图像导引方法及装置 |
CN114359320A (zh) * | 2021-12-15 | 2022-04-15 | 哈尔滨工业大学 | 月球探测器鲁棒环形山检测方法及飞行器导航方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109900274B (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zou et al. | StructVIO: Visual-inertial odometry with structural regularity of man-made environments | |
CN109900274A (zh) | 一种图像匹配方法及系统 | |
US10848732B2 (en) | Free viewpoint movement display device | |
CN105928498B (zh) | 提供关于对象的信息的方法、大地测绘系统、存储介质 | |
JP4854819B2 (ja) | 画像情報出力方法 | |
CN108242079A (zh) | 一种基于多特征视觉里程计和图优化模型的vslam方法 | |
CN104322052A (zh) | 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统 | |
CN108981706B (zh) | 无人机航拍路径生成方法、装置、计算机设备和存储介质 | |
CN108364304A (zh) | 一种用于单目机载目标检测的系统和方法 | |
Oskiper et al. | Augmented reality binoculars | |
Andert et al. | Lidar-aided camera feature tracking and visual slam for spacecraft low-orbit navigation and planetary landing | |
CN110533719A (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
Oe et al. | Estimating camera position and posture by using feature landmark database | |
Lin et al. | A sparse visual odometry technique based on pose adjustment with keyframe matching | |
Bosse et al. | Vanishing points and three-dimensional lines from omni-directional video | |
Nyqvist et al. | A high-performance tracking system based on camera and IMU | |
Crombez et al. | Using dense point clouds as environment model for visual localization of mobile robot | |
Veth et al. | Two-dimensional stochastic projections for tight integration of optical and inertial sensors for navigation | |
CN111913499A (zh) | 基于单目视觉slam及深度不确定性分析的云台控制方法 | |
CN108344972A (zh) | 基于光栅投射立体视觉的机器人视觉系统及导航方法 | |
CN208314856U (zh) | 一种用于单目机载目标检测的系统 | |
Gui et al. | Robust direct visual inertial odometry via entropy-based relative pose estimation | |
Rajeev et al. | 3D navigational insight using AR technology | |
Alix et al. | Error characterization of flight trajectories reconstructed using Structure from Motion | |
Nishiguchi et al. | Generating a Consistent Global Map under Intermittent Mapping Conditions for Large-scale Vision-based Navigation. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220916 |