CN111540016B - 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质 - Google Patents
基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111540016B CN111540016B CN202010344970.9A CN202010344970A CN111540016B CN 111540016 B CN111540016 B CN 111540016B CN 202010344970 A CN202010344970 A CN 202010344970A CN 111540016 B CN111540016 B CN 111540016B
- Authority
- CN
- China
- Prior art keywords
- matrix
- calculating
- pose
- frame sequence
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 88
- 238000013519 translation Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 41
- 238000013499 data model Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 244000291564 Allium cepa Species 0.000 description 2
- 241001296096 Probles Species 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质，方法包括：获取定位对象的图像帧序列；提取图像帧序列的orb特征；计算提取的orb特征的关键点和描述子；根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵；获取定位对象的最新图像帧序列；将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿。其通过摄像机获取的图像作为位姿计算的基础数据，并对图像进行orb特征提取，并进行变换矩阵的计算，最终根据变换矩阵计算下一个位姿，从而实现低成本的定位。
Description
技术领域
本发明涉及位姿计算技术领域，尤其涉及一种基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质。
背景技术
传统的定位方法通常采用激光雷达获取实时路况信息，运用RTK算法，但是传统的位姿计算方法，信息获取的激光雷达价格昂贵，成本较高。
发明内容
本发明的实施例提供了一种基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质，旨在解决现有位姿计算成本较高的问题。
为达到上述目的，本发明所提出的技术方案为：
第一方面，本发明提供了一种基于图像特征匹配的位姿计算方法，其包括以下步骤：
获取定位对象的图像帧序列；
提取图像帧序列的orb特征；
计算提取的orb特征的关键点和描述子；
根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵；
获取定位对象的最新图像帧序列；
将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿。
其中，所述步骤“提取图像帧序列的orb特征”包括以下步骤：
创建对象；
通过detect方法提取对象关键点；
同drawkeypoints绘制关键点。
其中，所述所述步骤“计算提取的orb特征的关键点和描述子”包括以下步骤：
选择可以估计出模型的最小数据集；
根据最小数据集计算数据模型；
将数据集中的所有数据重新带入数据模型，统计出内点数目；
比较当前数据模型与之前计算的数据模型的内点数量，统计最大内点数模型的参数和内点数；
重复上述步骤，直至迭代结束或获得最优数据模型。
其中，所述步骤“根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵”中计算旋转矩阵和平移矩阵算法包括：直接线性变换DLT算法，P3P算法和非线性优化求解算法。
第二方面，本发明还提供了一种基于图像特征匹配的位姿计算装置，其包括：
图像获取单元，用于获取定位对象的图像帧序列；
特征提取单元，用于提取图像帧序列的orb特征；
计算单元，用于计算提取的orb特征的关键点和描述子；
矩阵计算单元，用于根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵；
新图像获取单元，用于获取定位对象的最新图像帧序列；
位姿计算单元，用于将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿。
其中，所述特征提取单元包括：
创建单元，用于创建对象；
关键点提取单元，用于通过detect方法提取对象关键点；
关键点绘制单元，用于同drawkeypoints绘制关键点。
其中，所述计算单元包括：
数据集单元，用于选择可以估计出模型的最小数据集；
数据模型单元，用于根据最小数据集计算数据模型；
内点计算单元，用于将数据集中的所有数据重新带入数据模型，统计出内点数目；
更新单元，用于比较当前数据模型与之前计算的数据模型的内点数量，统计最大内点数模型的参数和内点数。
其中，所述矩阵计算单元运算执行直接线性变换DLT算法、P3P算法或非线性优化求解算法。
第三方面，本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上所述的方法。
第四方面，本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如上所述的方法。
与现有技术相比，本发明的实施例提供了一种基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质，其通过摄像机获取的图像作为位姿计算的基础数据，并对图像进行orb特征提取，并进行变换矩阵的计算，最终根据变换矩阵计算下一个位姿，从而实现低成本的定位。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像特征匹配的位姿计算方法的主流程图；
图2为本发明实施例提供的基于图像特征匹配的位姿计算方法的子流程图；
图3为本发明实施例提供的基于图像特征匹配的位姿计算方法的子流程图；
图4为本发明实施例提供的基于基于图像特征匹配的位姿计算装置的示意性简图；以及
图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅附图1，附图1为本发明的一种基于图像特征匹配的位姿计算算法的流程图，该基于图像特征匹配的位姿计算，其包括以下步骤：
步骤S100、获取定位对象的图像帧序列；也即采用摄像机等影像获取设备实时获取定位对象，如汽车等的图像，将图像的帧序列信息直接读取以待后续处理。其相对于现有传统的激光雷达，影像获取车本更低，其更多依赖于计算机的算力。
步骤S200、提取图像帧序列的orb特征；ORB-(Oriented Fast and RotatedBRIEF)算法是基于FAST特征检测与BRIEF特征描述子匹配实现。相比BRIEF算法中依靠随机方式获取而值点对，ORB通过FAST方法，FAST方式寻找候选特征点方式是假设灰度图像像素点A周围的像素存在连续大于或者小于A的灰度值，选择任意一个像素点P，假设半径为3，周围16个像素表示。假设像素点P被标记为候选特征点、通常N取值为9、12，上图N＝9。为了简化计算，我们可以只计算1、9、5、13四个点，至少其中三个点满足上述不等式条件，即可将P视为候选点。通过阈值进行最终的筛选即可得到ORB特征点。
具体的，请再次参阅图2，图2为本发明实施例的基于图像特征匹配的位姿计算方法的子流程图。所述步骤S200“提取图像帧序列的orb特征”包括以下步骤：
步骤S201、创建对象；
步骤S202、通过detect方法提取对象关键点；
步骤S203、同drawkeypoints绘制关键点。
其中，构建多尺度高斯金字塔为了在每组图像中检测S个尺度的极值点，DoG金字塔每组需S+2层图像，因为每组的第一层和最后一层图像上不能检测极值，DoG金字塔由高斯金字塔相邻两层相减得到，则高斯金字塔每组最少需S+3层图像，实际计算时S通常在2到5之间。
步骤S300、计算提取的orb特征的关键点和描述子。也即根据提取的orb特征，进行描述子匹配。图像特征检测首先会获取关键点，然后根据关键点周围像素ROI区域的大小，生成描述子，完整的描述子向量就表示了一张图像的特征，是图像特征数据，这种方式也被称为图像特征工程，即通过先验模型与合理计算得到图像特征数据的过程，有了特征数据我们就可以利用特征数据实现对象检测与对象识别，这个最简单一个方法就是特征匹配，OPenCV提供了两种图像特征匹配的算法：暴力匹配，KNN匹配和FLANN匹配。
具体的，请再次参阅图3，图3为发明实施例的基于图像特征匹配的位姿计算方法的子流程图，所述所述步骤S300“计算提取的orb特征的关键点和描述子”包括以下步骤：
步骤S301、选择可以估计出模型的最小数据集；
步骤S302、根据最小数据集计算数据模型；
步骤S303、将数据集中的所有数据重新带入数据模型，统计出内点数目；
步骤S304、比较当前数据模型与之前计算的数据模型的内点数量，统计最大内点数模型的参数和内点数；
步骤S305、重复上述步骤，直至迭代结束或获得最优数据模型。
所述步骤S300“计算提取的orb特征的关键点和描述子”也即采用RANSAC算法，具体的，RANSAC(RAndom SAmple Consensus,随机采样一致)算法是从一组含有“外点”(outliers)的数据中正确估计数学模型参数的迭代算法。“外点”一般指的的数据中的噪声，比如说匹配中的误匹配和估计曲线中的离群点。所以，RANSAC也是一种“外点”检测算法。RANSAC算法是一种不确定算法，它只能在一种概率下产生结果，并且这个概率会随着迭代次数的增加而加大(之后会解释为什么这个算法是这样的)。RANSAC算最早是由Fischler和Bolles在SRI上提出用来解决LDP(Location Determination Proble)问题的。
对于RANSAC算法来说一个基本的假设就是数据是由“内点”和“外点”组成的。“内点”就是组成模型参数的数据，“外点”就是不适合模型的数据。同时RANSAC假设：在给定一组含有少部分“内点”的数据，存在一个程序可以估计出符合“内点”的模型。
步骤S400、根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵。首先使用ORB检测器检测提取描述子，然后将筛选好的描述子作为输入，一般事宜最大匹配距离的一半为阀值，下雨阀值的为描述子，再通过单应性矩阵获取两个点在平面内的变换关系矩阵，最后根据变换关系的矩阵根据输入的对象图像获得场景图像中的位置。
步骤S500、获取定位对象的最新图像帧序列；上述步骤是为了获取最优的定位推测模型，因此需要获取最新的定位对象的当前位姿图像。
步骤S600、将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿。也即自身位置乘以旋转矩阵和平移矩阵就获取下一个时刻位置完成定位。
请参阅图4，图4为本发明的第一种基于图像特征匹配的位姿计算装置的结构示意图，该基于图像特征匹配的位姿计算装置100其包括：
图像获取单元101、用于获取定位对象的图像帧序列。也即采用摄像机等影像获取设备实时获取定位对象，如汽车等的图像，将图像的帧序列信息直接读取以待后续处理。其相对于现有传统的激光雷达，影像获取车本更低，其更多依赖于计算机的算力。
特征提取单元102、用于提取图像帧序列的orb特征；ORB-(Oriented Fast andRotated BRIEF)算法是基于FAST特征检测与BRIEF特征描述子匹配实现。相比BRIEF算法中依靠随机方式获取而值点对，ORB通过FAST方法，FAST方式寻找候选特征点方式是假设灰度图像像素点A周围的像素存在连续大于或者小于A的灰度值，选择任意一个像素点P，假设半径为3，周围16个像素表示。假设像素点P被标记为候选特征点、通常N取值为9、12，上图N＝9。为了简化计算，我们可以只计算1、9、5、13四个点，至少其中三个点满足上述不等式条件，即可将P视为候选点。通过阈值进行最终的筛选即可得到ORB特征点。
其中。所述特征提取单元102包括：
创建单元1021、用于创建对象；
关键点单元1022、用于通过detect方法提取对象关键点；
关键点绘制单元1023、用于同drawkeypoints绘制关键点。
其中，构建多尺度高斯金字塔为了在每组图像中检测S个尺度的极值点，DoG金字塔每组需S+2层图像，因为每组的第一层和最后一层图像上不能检测极值，DoG金字塔由高斯金字塔相邻两层相减得到，则高斯金字塔每组最少需S+3层图像，实际计算时S通常在2到5之间。
计算单元103、用于计算提取的orb特征的关键点和描述子。也即根据提取的orb特征，进行描述子匹配。图像特征检测首先会获取关键点，然后根据关键点周围像素ROI区域的大小，生成描述子，完整的描述子向量就表示了一张图像的特征，是图像特征数据，这种方式也被称为图像特征工程，即通过先验模型与合理计算得到图像特征数据的过程，有了特征数据我们就可以利用特征数据实现对象检测与对象识别，这个最简单一个方法就是特征匹配，OPenCV提供了两种图像特征匹配的算法：暴力匹配，KNN匹配和FLANN匹配。
具体的，计算单元103包括：
数据集单元1031、用于选择可以估计出模型的最小数据集；
数据模型单元1032、用于根据最小数据集计算数据模型；
内点计算单元1033、用于将数据集中的所有数据重新带入数据模型，统计出内点数目；
更新单元1034、用于比较当前数据模型与之前计算的数据模型的内点数量，统计最大内点数模型的参数和内点数。
其中，计算单元103也即采用RANSAC算法，具体的，RANSAC(RAndom SAmpleConsensus,随机采样一致)算法是从一组含有“外点”(outliers)的数据中正确估计数学模型参数的迭代算法。“外点”一般指的的数据中的噪声，比如说匹配中的误匹配和估计曲线中的离群点。所以，RANSAC也是一种“外点”检测算法。RANSAC算法是一种不确定算法，它只能在一种概率下产生结果，并且这个概率会随着迭代次数的增加而加大(之后会解释为什么这个算法是这样的)。RANSAC算最早是由Fischler和Bolles在SRI上提出用来解决LDP(Location Determination Proble)问题的。
对于RANSAC算法来说一个基本的假设就是数据是由“内点”和“外点”组成的。“内点”就是组成模型参数的数据，“外点”就是不适合模型的数据。同时RANSAC假设：在给定一组含有少部分“内点”的数据，存在一个程序可以估计出符合“内点”的模型。
矩阵计算单元104、根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵。首先使用ORB检测器检测提取描述子，然后将筛选好的描述子作为输入，一般事宜最大匹配距离的一半为阀值，下雨阀值的为描述子，再通过单应性矩阵获取两个点在平面内的变换关系矩阵，最后根据变换关系的矩阵根据输入的对象图像获得场景图像中的位置。
新图像获取单元105、获取定位对象的最新图像帧序列；上述步骤是为了获取最优的定位推测模型，因此需要获取最新的定位对象的当前位姿图像。
位姿计算单元106、将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿。也即自身位置乘以旋转矩阵和平移矩阵就获取下一个时刻位置完成定位。
请参阅图5，本实施例还提供了一种计算机设备，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于图像特征匹配的位姿计算。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行以下步骤：
步骤S100、获取定位对象的图像帧序列；也即采用摄像机等影像获取设备实时获取定位对象，如汽车等的图像，将图像的帧序列信息直接读取以待后续处理。其相对于现有传统的激光雷达，影像获取车本更低，其更多依赖于计算机的算力。
步骤S200、提取图像帧序列的orb特征；具体的，请再次参阅图2，图2为本发明实施例的基于图像特征匹配的位姿计算方法的子流程图。所述步骤S200“提取图像帧序列的orb特征”包括以下步骤：
步骤S201、创建对象；
步骤S202、通过detect方法提取对象关键点；
步骤S203、同drawkeypoints绘制关键点。
步骤S300、计算提取的orb特征的关键点和描述子。也即根据提取的orb特征，进行描述子匹配。
其中，所述所述步骤S300“计算提取的orb特征的关键点和描述子”包括以下步骤：
步骤S301、选择可以估计出模型的最小数据集；
步骤S302、根据最小数据集计算数据模型；
步骤S303、将数据集中的所有数据重新带入数据模型，统计出内点数目；
步骤S304、比较当前数据模型与之前计算的数据模型的内点数量，统计最大内点数模型的参数和内点数；
步骤S305、重复上述步骤，直至迭代结束或获得最优数据模型。
步骤S400、根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵。
步骤S500、获取定位对象的最新图像帧序列；上述步骤是为了获取最优的定位推测模型，因此需要获取最新的定位对象的当前位姿图像。
步骤S600、将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿。也即自身位置乘以旋转矩阵和平移矩阵就获取下一个时刻位置完成定位。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如下基于图像特征匹配的位姿计算：步骤S100、获取定位对象的图像帧序列；步骤S200、提取图像帧序列的orb特征；步骤S300、计算提取的orb特征的关键点和描述子。也即根据提取的orb特征，进行描述子匹配。步骤S400、根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵。步骤S500、获取定位对象的最新图像帧序列；上述步骤是为了获取最优的定位推测模型，因此需要获取最新的定位对象的当前位姿图像。步骤S600、将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿。也即自身位置乘以旋转矩阵和平移矩阵就获取下一个时刻位置完成定位。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
与现有技术相比，本发明的实施例提供了一种基于图像特征匹配的位姿计算、装置、计算机设备及存储介质，其通过ICP或NDT算法获得前后位姿的最优变换矩阵，从而实现目标物在隧道中等的准确定位问题。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
上述内容，仅为本发明的较佳实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。
Claims (5)
1.一种基于图像特征匹配的位姿计算方法，其特征在于，包括以下步骤：
获取定位对象的图像帧序列；
提取图像帧序列的orb特征；
计算提取的orb特征的关键点和描述子；
根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵；
获取定位对象的最新图像帧序列；
将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿；其中，所述步骤提取图像帧序列的orb特征包括以下步骤：
创建对象；
通过detect方法提取对象关键点；
同drawkeypoints绘制关键点；
所述步骤计算提取的orb特征的关键点和描述子包括以下步骤：
选择可以估计出模型的最小数据集；
根据最小数据集计算数据模型；
将数据集中的所有数据重新带入数据模型，统计出内点数目；
比较当前数据模型与之前计算的数据模型的内点数量，统计最大内点数模型的参数和内点数；
重复上述步骤，直至迭代结束或获得最优数据模型；
所述步骤根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵中计算旋转矩阵和平移矩阵算法包括：直接线性变换DLT算法，P3P算法和非线性优化求解算法。
2.一种基于图像特征匹配的位姿计算的装置，其特征在于，包括：
图像获取单元，用于获取定位对象的图像帧序列；
特征提取单元，用于提取图像帧序列的orb特征；
计算单元，用于计算提取的orb特征的关键点和描述子；
矩阵计算单元，用于根据关键点和描述子计算本征矩阵，并根据本征矩阵还原旋转矩阵和平移矩阵；
新图像获取单元，用于获取定位对象的最新图像帧序列；
位姿计算单元，用于将最新图像帧序列通过旋转矩阵和平移矩阵运算，获取定位对象的下一个位姿；
其中，所述特征提取单元包括：
创建单元，用于创建对象；
关键点提取单元，用于通过detect方法提取对象关键点；
关键点绘制单元，用于同drawkeypoints绘制关键点；
所述计算单元包括：
数据集单元，用于选择可以估计出模型的最小数据集；
数据模型单元，用于根据最小数据集计算数据模型；
内点计算单元，用于将数据集中的所有数据重新带入数据模型，统计出内点数目；
更新单元，用于比较当前数据模型与之前计算的数据模型的内点数量，统计最大内点数模型的参数和内点数。
3.根据权利要求2所述的基于图像特征匹配的位姿计算的装置，其特征在于，所述矩阵计算单元运算执行直接线性变换DLT算法、P3P算法或非线性优化求解算法。
4.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述基于图像特征匹配的位姿计算方法。
5.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1所述基于图像特征匹配的位姿计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010344970.9A CN111540016B (zh) | 2020-04-27 | 2020-04-27 | 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010344970.9A CN111540016B (zh) | 2020-04-27 | 2020-04-27 | 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111540016A CN111540016A (zh) | 2020-08-14 |
| CN111540016B true CN111540016B (zh) | 2023-11-10 |
Family
ID=71975690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010344970.9A Active CN111540016B (zh) | 2020-04-27 | 2020-04-27 | 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111540016B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114492652B (zh) * | 2022-01-30 | 2024-05-28 | 广州文远知行科技有限公司 | 一种离群点去除方法、装置、交通工具及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
| CN106529538A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技（深圳）有限公司 | 一种飞行器的定位方法和装置 |
| CN107704106A (zh) * | 2017-10-17 | 2018-02-16 | 宁波视睿迪光电有限公司 | 姿态定位方法、装置及电子设备 |
| CN108416385A (zh) * | 2018-03-07 | 2018-08-17 | 北京工业大学 | 一种基于改进图像匹配策略的同步定位与建图方法 |
| WO2018161555A1 (zh) * | 2017-03-06 | 2018-09-13 | 广州视源电子科技股份有限公司 | 物体位姿的检测方法和装置 |
| CN108648215A (zh) * | 2018-06-22 | 2018-10-12 | 南京邮电大学 | 基于imu的slam运动模糊位姿跟踪算法 |
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN110503688A (zh) * | 2019-08-20 | 2019-11-26 | 上海工程技术大学 | 一种用于深度相机的位姿估计方法 |
| CN110940345A (zh) * | 2019-12-19 | 2020-03-31 | 深圳南方德尔汽车电子有限公司 | 车位定位、装置、计算机设备和存储介质 |
| CN111047620A (zh) * | 2019-11-15 | 2020-04-21 | 广东工业大学 | 一种基于深度点线特征的无人机视觉里程计方法 |
-
2020
- 2020-04-27 CN CN202010344970.9A patent/CN111540016B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
| CN106529538A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技（深圳）有限公司 | 一种飞行器的定位方法和装置 |
| WO2018161555A1 (zh) * | 2017-03-06 | 2018-09-13 | 广州视源电子科技股份有限公司 | 物体位姿的检测方法和装置 |
| CN107704106A (zh) * | 2017-10-17 | 2018-02-16 | 宁波视睿迪光电有限公司 | 姿态定位方法、装置及电子设备 |
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN108416385A (zh) * | 2018-03-07 | 2018-08-17 | 北京工业大学 | 一种基于改进图像匹配策略的同步定位与建图方法 |
| CN108648215A (zh) * | 2018-06-22 | 2018-10-12 | 南京邮电大学 | 基于imu的slam运动模糊位姿跟踪算法 |
| CN110503688A (zh) * | 2019-08-20 | 2019-11-26 | 上海工程技术大学 | 一种用于深度相机的位姿估计方法 |
| CN111047620A (zh) * | 2019-11-15 | 2020-04-21 | 广东工业大学 | 一种基于深度点线特征的无人机视觉里程计方法 |
| CN110940345A (zh) * | 2019-12-19 | 2020-03-31 | 深圳南方德尔汽车电子有限公司 | 车位定位、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111540016A (zh) | 2020-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1835460B1 (en) | Image processing system, learning device and method, and program | |
| JP5940453B2 (ja) | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 | |
| JP2019145174A (ja) | 画像処理システム、画像処理方法及びプログラム記憶媒体 | |
| CN111563919B (zh) | 目标跟踪方法、装置、计算机可读存储介质及机器人 | |
| CN111178245A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| CN111512317A (zh) | 一种多目标实时跟踪方法、装置及电子设备 | |
| CN111931720B (zh) | 跟踪图像特征点的方法、装置、计算机设备和存储介质 | |
| CN110686676A (zh) | 机器人重定位方法、装置及机器人 | |
| CN111898428A (zh) | 一种基于orb的无人机特征点匹配方法 | |
| CN115345905A (zh) | 目标对象跟踪方法、装置、终端及存储介质 | |
| CN112084939A (zh) | 图像特征数据管理方法、装置、计算机设备及存储介质 | |
| CN112435223A (zh) | 目标检测方法、装置及存储介质 | |
| JPWO2015186347A1 (ja) | 検出システム、検出方法及びプログラム | |
| CN111540016B (zh) | 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
| CN113221914B (zh) | 一种基于杰卡德距离的图像特征点匹配和误匹配剔除方法 | |
| JP4879257B2 (ja) | 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム | |
| JP4133246B2 (ja) | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム | |
| CN109242894B (zh) | 一种基于移动最小二乘法的图像对齐方法及系统 | |
| Taylor | Improved fusion of visual measurements through explicit modeling of outliers | |
| CN114881908B (zh) | 一种异常像素识别方法、装置、设备以及计算机存储介质 | |
| CN114596580B (zh) | 一种多人体目标识别方法、系统、设备及介质 | |
| CN117726656B (zh) | 基于超分辨率图像的目标跟踪方法、装置、系统和介质 | |
| CN115908884A (zh) | 用于图像处理的改进ransac方法及装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |