CN110728176A - 一种无人机视觉图像特征快速匹配与提取方法及装置 - Google Patents

一种无人机视觉图像特征快速匹配与提取方法及装置 Download PDF

Info

Publication number
CN110728176A
CN110728176A CN201910813450.5A CN201910813450A CN110728176A CN 110728176 A CN110728176 A CN 110728176A CN 201910813450 A CN201910813450 A CN 201910813450A CN 110728176 A CN110728176 A CN 110728176A
Authority
CN
China
Prior art keywords
image
unmanned aerial
aerial vehicle
overlapping area
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910813450.5A
Other languages
English (en)
Other versions
CN110728176B (zh
Inventor
夏晓华
岳鹏举
胡永彪
邹易清
冯志杨
崔露航
吴宇航
孙乙丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910813450.5A priority Critical patent/CN110728176B/zh
Priority to PCT/CN2019/118846 priority patent/WO2021035988A1/zh
Publication of CN110728176A publication Critical patent/CN110728176A/zh
Application granted granted Critical
Publication of CN110728176B publication Critical patent/CN110728176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人机视觉图像特征快速匹配与提取方法及装置。首先对无人机采集的两幅图像进行划分，获得两幅图像的重叠区域以及第一幅图像重叠区域内的特征；其次将第一幅图像重叠区域内的特征通过坐标变换方程映射至第二幅图像上获得多个映射点；然后以每个映射点作为初始搜索坐标，在第二幅图像中进行局部邻域搜索，搜索与第一幅图像中对应特征相似度最高的像素点作为第二幅图像的特征点和匹配点；最后在第二幅图像的非重叠区域进行常规特征提取，与映射匹配获取的特征点构成第二幅图像的全部特征。本发明将现有技术中的全局特征提取与匹配问题转化为映射局部邻域搜索匹配问题，提高了图像特征提取与匹配的速度。

Description

一种无人机视觉图像特征快速匹配与提取方法及装置
技术领域
本发明涉及图像特征匹配与提取方法及装置，具体涉及一种无人机视觉图像特征快速匹配与提取方法及装置。
背景技术
无人机具有飞行距离远、续航时间长、无人员生命危险等特点，通过无人机实时获取地面目标的图像是无人机作战使用中的一个重要方面。无人机实时获取地面目标的图像具有实时性好、可操作性强等优点，广泛应用于预先侦察、实时侦察、毁伤评估等使用方面。从图像处理角度来看，无人机实时获取地面目标的图像主要是用于判读分析和定位处理。无人机视觉图像在无人机视觉检测与视觉导航中应用广泛。
现有技术中对于无人机图像特征匹配时，都是对图像的全局进行搜索匹配，匹配速度慢，并且仅采用了图像特征之间的关系进行匹配，并未考虑到无人机运动带来的特征点的位置改变，从而导致特征匹配的准确率不高；并且现有技术对无人机图像特征提取方法都是对图像全局进行特征提取，应用于无人机采集的序列图像特征提取与匹配计算量大、效率低，使得无人机视觉特征提取速度慢、实时性差，导致图像处理速度慢，实时性差。
发明内容
本发明的目的在于提供一种无人机视觉图像特征快速匹配与提取方法及装置，用以解决现有技术中的无人机视觉特征匹配与提取速度慢、实时性差，导致图像处理速度慢，实时性差的问题。
为了实现上述任务，本发明采用以下技术方案：
1.一种无人机视觉图像特征快速匹配方法，将无人机采集到的两幅图像中的第一幅图像的特征点映射到第二幅图像中，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
可选地，所述的第一幅图像与第二幅图像之间存在重叠区域，分别为在第一幅图像上的第一重叠区域以及在第二幅图像上的第二重叠区域；
所述的方法包括：
将第一重叠区域内的特征点通过坐标变换方程映射至第二重叠区域上，获得多个映射点；
以每个映射点作为初始搜索坐标，在第二幅图像中进行局部邻域搜索，将与第一重叠区域内的特征点相似度最高的像素点作为新的特征点，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
可选地，所述的坐标变换方程根据两幅图像之间无人机飞行方向、无人机飞行距离、无人机的视觉系统旋转方向以及无人机的视觉系统旋转角度获得。
可选地，所述的坐标变换方程为：
Figure BDA0002185665490000021
其中，(xk,yk)为第二重叠区域中的像素点坐标，(xk-1,yk-1)为在第一重叠区域中与(xk,yk)对应的像素点的坐标，其中坐标x方向与无人机飞行方向平行，h为无人机飞行高度，单位为m，αx、αy为采集第一幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，βx、βy为采集第二幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，dx、dy为采集第一幅图像与第二幅图像之间无人机沿x轴和y轴方向上的飞行距离，单位为m，rx、ry为第一幅图像以及第二幅图像在x轴和y轴方向上的空间分辨率，单位为m/pixel。
一种无人机视觉图像特征快速提取方法，用于对无人机采集到的多幅图像的特征点进行匹配和提取，所述的方法按照以下步骤执行：
步骤A、判断当前图像是否为无人机采集的第一幅图像，若是，则对当前图像进行全局特征提取；否则执行步骤B；
步骤B、对当前图像以及上一幅图像进行划分，获得当前图像上与上一幅图像的重叠区域、上一幅图像上与当前图像的重叠区域以及当前图像的非重叠区域；
所述当前图像上的非重叠区域包括当前图像中除去当前图像上与上一幅图像的重叠区域以外的所有像素点；
步骤C、采用无人机视觉图像特征快速匹配方法获得当前图像中新的特征点作为当前图像重叠区域的特征点；
步骤D、在步骤B获得的当前图像上的非重叠区域进行特征点提取，获得当前图像非重叠区域的特征点；
步骤E、将步骤C获得的当前图像重叠区域的特征点与步骤D获得的当前图像非重叠区域的特征点进行结合，获得当前图像的特征点；
步骤F、返回步骤A直至获得无人机采集到的所有图像的特征点。
一种无人机视觉图像特征快速匹配装置，用于将无人机采集到的两幅图像中的第一幅图像的特征点映射到第二幅图像中，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
可选地，所述的第一幅图像与第二幅图像之间存在重叠区域，分别为在第一幅图像上的第一重叠区域以及在第二幅图像上的第二重叠区域；
所述的装置包括特征点映射模块以及新特征点搜索匹配模块：
所述的特征点映射模块用于将第一重叠区域内的特征点通过坐标变换方程映射至第二重叠区域上，获得多个映射点；
所述的新特征点搜索匹配模块用于以每个映射点作为初始搜索坐标，在第二幅图像中进行局部邻域搜索，搜索与第一重叠区域内的特征点相似度最高的像素点作为新的特征点，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
可选地，所述的坐标变换方程根据两幅图像之间无人机飞行方向、无人机飞行距离、无人机的视觉系统旋转方向以及无人机的视觉系统旋转角度获得。
可选地，所述的坐标变换方程为：
Figure BDA0002185665490000041
其中，(xk,yk)为第二重叠区域中的像素点坐标，(xk-1,yk-1)为在第一重叠区域中与(xk,yk)对应的像素点的坐标，其中坐标x方向与无人机飞行方向平行，h为无人机飞行高度，单位为m，αx、αy为采集第一幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，βx、βy为采集第二幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，dx、dy为采集第一幅图像与第二幅图像之间无人机沿x轴和y轴方向上的飞行距离，单位为m，rx、ry为第一幅图像以及第二幅图像在x轴和y轴方向上的空间分辨率，单位为m/pixel。
一种无人机视觉图像特征快速提取装置，用于对无人机采集到的多幅图像的特征点进行匹配和提取，所述的装置包括图像划分模块、所述的无人机视觉图像特征快速匹配装置、非重叠区域的特征点提取模块以及特征点结合模块：
所述的图像划分模块用于对当前图像以及上一幅图像进行划分，获得当前图像上与上一幅图像的重叠区域、上一幅图像上与当前图像的重叠区域以及当前图像的非重叠区域；
所述当前图像上的非重叠区域包括当前图像中除去当前图像上与上一幅图像的重叠区域以外的所有像素点；
所述的无人机视觉图像特征快速匹配装置用于获得当前图像中新的特征点作为当前图像重叠区域的特征点；
所述的非重叠区域的特征点提取模块用于在当前图像上的非重叠区域进行特征点提取，获得当前图像非重叠区域的特征点；
所述的特征点结合模块用于将当前图像重叠区域的特征点与当前图像非重叠区域的特征点进行结合，获得当前图像的特征点。
本发明与现有技术相比具有以下技术特点:
1、本发明提供了一种无人机视觉图像特征快速匹配方法，通过在两幅图像的重叠区域进行局部邻域搜索实现特征点匹配，相比于现有技术的图像全局搜索方法，提高了匹配速度；
2、本发明提供了一种无人机视觉图像特征快速匹配方法，通过设计包含无人机飞行数据的坐标变换方程对图像中的特征点进行映射，提高了特征匹配的准确率；
3、本发明提供了一种无人机视觉图像特征快速提取方法，仅对非重叠区域进行常规特征提取，对重叠区域直接采用特征匹配的方法快速地获得图像中的特征点，提高了特征提取的速度，从而提高了特征提取的实时性。
附图说明
图1为本发明的一个实施例中提供的特征点匹配示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
以下对本发明涉及的定义或概念内涵做以说明：
局部邻域搜索：局部邻域搜索用于特征点的匹配，与图像全局搜索不同，局部邻域搜索是指在初始搜索点附近的小范围区域进行搜索，其目的是缩小搜索范围，提高匹配效率。
实施例一
在本实施例中公开了一种无人机视觉图像特征快速匹配方法，用于将无人机采集到的两幅图像中的第一幅图像的特征点映射到第二幅图像中，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
本发明提供了一种新的特征点获取的思路，相比于现有技术中先提取特征点再匹配的方法，本发明直接利用匹配的方式获得第二幅图像中的新的特征点。
可选地，第一幅图像与第二幅图像之间存在重叠区域，分别为在第一幅图像上的第一重叠区域以及在第二幅图像上的第二重叠区域；
方法包括：
将第一重叠区域内的特征点通过坐标变换方程映射至第二重叠区域上，在第二重叠区域上获得多个映射点；
以每个映射点作为初始搜索坐标，在第二幅图像中进行局部邻域搜索，搜索与第一重叠区域内的特征点相似度最高的像素点作为新的特征点，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
在本实施例中，如图1所示，由于重叠区域内的图像内容相同，为了提高特征匹配速度，可以利用上一幅图像重叠区域内的特征点快速寻找到该特征点在当前图像中的匹配位置，从而获得当前图像在重叠区域内的特征点。
在本实施例中，由于坐标变换方程可能存在偏差，需要在当前图像映射点的周围寻找与上一幅图像特征点最相似的特征点。
在本实施例中，局部搜索的方法可以采用两种方式：一种是设定邻域形状和大小，邻域形状一般为正方形，大小需根据方程的最大误差设定，计算正方形邻域内所有的特征向量，寻找最相似的作为匹配特征点；
另外一种是在映射点的8邻域内寻找相似的特征，如果8邻域内有更相似的，继续在更相似的邻域内进行寻找，直至找到一个特征的8邻域内没有更相似的为止，最终找到的特征即为最终的结果。
在本实施例中，以SIFT特征为例，相似度可以采用距离函数，计算两个特征向量之间的距离，距离越小越相似。
本发明提供了一种根据无人机飞行参数获得坐标变换方程的方法。
可选地，坐标变换方程根据两幅图像之间无人机的飞行方向、无人机飞行距离、无人机的视觉系统旋转方向和无人机的视觉系统旋转角度获得。
可选地，坐标变换方程为：
其中，(xk,yk)为第二重叠区域中的像素点坐标，(xk-1,yk-1)为在第一重叠区域中与(xk,yk)对应的像素点的坐标，其中坐标x方向与无人机飞行方向平行，h为无人机飞行高度，单位为m，αx、αy为采集第一幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，βx、βy为采集第二幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，dx、dy为采集第一幅图像与第二幅图像之间无人机沿x轴和y轴方向上的飞行距离，单位为m，rx、ry为第一幅图像以及第二幅图像在x轴和y轴方向上的空间分辨率，单位为m/pixel。
在本实施例中，h的范围为0-2000m，αx、αy、βx、βy的范围为0-90°，dx、dy的范围为0-2000m，rx、ry的范围为0-10m/pixel。
本实施例中提供的特征快速匹配方法不仅可以应用至无人机上，还可以应用至视觉机器人等只要能够采集图像并对图像进行处理的智能设备上。
实施例二
一种无人机视觉图像特征快速提取方法，用于对无人机采集到的多幅图像的特征点进行匹配和提取，方法按照以下步骤执行：
步骤A、判断当前图像是否为无人机采集的第一幅图像，若是，则对当前图像进行全局特征提取；否则执行步骤B；
在本实施例中对图像进行全局特征提取是指搜索图像全部的像素点进行特征提取，提取的方法可以是SIFT、SURF、ORB、FAST等常规的特征提取算法。
步骤B、对当前图像以及上一幅图像进行划分，获得当前图像上与上一幅图像的重叠区域、上一幅图像上与当前图像的重叠区域以及当前图像的非重叠区域；
所述当前图像上的非重叠区域包括当前图像中除去当前图像上与上一幅图像的重叠区域以外的所有像素点；
在本实施例中，无人机采集图像的间隔时间仅需保证两幅图像之间存在重叠区域即可，由于无人机采集图像是逐幅采集，每两幅图像的采集时间不会过长，一般为1ms-50ms，因此相邻的两幅图像之间必然会存在重叠的区域，如图1所示，图中当前图像与上一幅图像之间存在重叠的区域，另外当前图像中还包括了非重叠区域。
步骤C、采用人机视觉图像特征快速匹配方法获得当前图像中新的特征点作为当前图像重叠区域的特征点；
步骤D、在步骤B获得的当前图像上的非重叠区域进行特征点提取，获得当前图像非重叠区域的特征点；
在本实施例中对非重叠区域采用特征提取的方法可以是SIFT、SURF、ORB、FAST等常规的特征提取算法。
步骤E、将步骤C获得的当前图像重叠区域的特征点与步骤D获得的当前图像非重叠区域的特征点进行结合，获得当前图像的特征点；
在本实施例中，每个特征提取后的结果是坐标和特征向量，通常多个特征用一个数组表示，比如规定数组的每一行就是一个特征，第一列是特征的横坐标，第二列是特征的纵坐标，后面的几列是特征向量。特征结合就是通过增加数组的行数实现数组合并，数组只是记录特征的一种方式，在程序里面也可以用类进行表示。
例如，对于具有m个特征的当前图像重叠区域，其特征可表示为：
x<sub>1</sub> y<sub>1</sub> t<sub>11</sub> t<sub>12</sub> ... t<sub>1k</sub>
x<sub>2</sub> y<sub>2</sub> t<sub>21</sub> t<sub>22</sub> ... t<sub>2k</sub>
... ... ... ... ... ...
x<sub>m</sub> y<sub>m</sub> t<sub>m1</sub> t<sub>m2</sub> ... t<sub>mk</sub>
对于具有n个特征的当前图像非重叠区域，其特征可表示为：
x′<sub>1</sub> y′<sub>1</sub> t′<sub>11</sub> t′<sub>12</sub> ... t′<sub>1k</sub>
x′<sub>2</sub> y′<sub>2</sub> t′<sub>21</sub> t′<sub>22</sub> ... t′<sub>2k</sub>
... ... ... ... ... ...
x′<sub>n</sub> y′<sub>n</sub> t′<sub>n1</sub> t′<sub>n2</sub> ... t′<sub>nk</sub>
将当前图像重叠区域的特征与非重叠区域的特征结合，可表示为：
x<sub>1</sub> y<sub>1</sub> t<sub>11</sub> t<sub>12</sub> ... t<sub>1k</sub>
x<sub>2</sub> y<sub>2</sub> t<sub>21</sub> t<sub>22</sub> ... t<sub>2k</sub>
... ... ... ... ... ...
x<sub>m</sub> y<sub>m</sub> t<sub>m1</sub> t<sub>m2</sub> ... t<sub>mk</sub>
x′<sub>1</sub> y′<sub>1</sub> t′<sub>11</sub> t′<sub>12</sub> ... t′<sub>1k</sub>
x′<sub>2</sub> y′<sub>2</sub> t′<sub>21</sub> t′<sub>22</sub> ... t′<sub>2k</sub>
... ... ... ... ... ...
x′<sub>n</sub> y′<sub>n</sub> t′<sub>n1</sub> t′<sub>n2</sub> ... t′<sub>nk</sub>
步骤F、返回步骤A直至获得无人机采集到的所有图像的特征点。
本实施例提供的方法并不限定于无人机采集的相邻的两幅图像，可以对无人机采集的任意两幅或多幅图像进行特征匹配以及提取，仅需保证图像之间存在重叠区域即可。
本实施例中提供的特征快速匹配方法不仅可以应用至无人机上，还可以应用至视觉机器人等只要能够采集图像并对图像进行处理的智能设备上。
实施例三
一种无人机视觉图像特征快速匹配装置，将无人机采集到的两幅图像中的第一幅图像的特征点映射到第二幅图像中，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
可选地，第一幅图像与第二幅图像之间存在重叠区域，分别为在第一幅图像上的第一重叠区域以及在第二幅图像上的第二重叠区域；
装置包括特征点映射模块以及新特征点搜索匹配模块：
特征点映射模块用于将第一重叠区域内的特征点通过坐标变换方程映射至第二重叠区域上，获得多个映射点；
新特征点搜索匹配模块用于以每个映射点作为初始搜索坐标，在第二幅图像中进行局部邻域搜索，搜索与第一重叠区域内的特征点相似度最高的像素点作为新的特征点，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
可选地，坐标变换方程根据两幅图像之间无人机飞行方向、无人机飞行距离、无人机的视觉系统旋转方向以及无人机的视觉系统旋转角度获得。
可选地，坐标变换方程为：
其中，(xk,yk)为第二重叠区域中的像素点坐标，(xk-1,yk-1)为在第一重叠区域中与(xk,yk)对应的像素点的坐标，其中坐标x方向与无人机飞行方向平行，h为无人机飞行高度，单位为m，αx、αy为采集第一幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，βx、βy为采集第二幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，dx、dy为采集第一幅图像与第二幅图像之间无人机沿x轴和y轴方向上的飞行距离，单位为m，rx、ry为第一幅图像以及第二幅图像在x轴和y轴方向上的空间分辨率，单位为m/pixel。
实施例四
一种无人机视觉图像特征快速提取装置，用于对无人机采集到的多幅图像的特征点进行匹配和提取，装置包括图像划分模块、无人机视觉图像特征快速匹配装置、非重叠区域的特征点提取模块以及特征点结合模块：
图像划分模块用于对当前图像以及上一幅图像进行划分，获得当前图像上与上一幅图像的重叠区域、上一幅图像上与当前图像的重叠区域以及当前图像的非重叠区域；
所述当前图像上的非重叠区域包括当前图像中除去当前图像上与上一幅图像的重叠区域以外的所有像素点；
无人机视觉图像特征快速匹配装置用于获得当前图像中新的特征点作为当前图像重叠区域的特征点；
非重叠区域的特征点提取模块用于在当前图像上的非重叠区域进行特征点提取，获得当前图像非重叠区域的特征点；
特征点结合模块用于将当前图像重叠区域的特征点与当前图像非重叠区域的特征点进行结合，获得当前图像的特征点。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

Claims (10)

1.一种无人机视觉图像特征快速匹配方法，其特征在于，将无人机采集到的两幅图像中的第一幅图像的特征点映射到第二幅图像中，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
2.如权利要求1所述的无人机视觉图像特征快速匹配方法，其特征在于，所述的第一幅图像与第二幅图像之间存在重叠区域，分别为在第一幅图像上的第一重叠区域以及在第二幅图像上的第二重叠区域；
所述的方法包括：
将第一重叠区域内的特征点通过坐标变换方程映射至第二重叠区域上，获得多个映射点；
以每个映射点作为初始搜索坐标，在第二幅图像中进行局部邻域搜索，将与第一重叠区域内的特征点相似度最高的像素点作为新的特征点，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
3.如权利要求2所述的无人机视觉图像特征快速匹配方法，其特征在于，所述的坐标变换方程根据两幅图像之间无人机飞行方向、无人机飞行距离、无人机的视觉系统旋转方向以及无人机的视觉系统旋转角度获得。
4.如权利要求3所述的无人机视觉图像特征快速匹配方法，其特征在于，所述的坐标变换方程为：
其中，(xk,yk)为第二重叠区域中的像素点坐标，(xk-1,yk-1)为在第一重叠区域中与(xk,yk)对应的像素点的坐标，其中坐标x方向与无人机飞行方向平行，h为无人机飞行高度，单位为m，αx、αy为采集第一幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，βx、βy为采集第二幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，dx、dy为采集第一幅图像与第二幅图像之间无人机沿x轴和y轴方向上的飞行距离，单位为m，rx、ry为第一幅图像以及第二幅图像在x轴和y轴方向上的空间分辨率，单位为m/pixel。
5.一种无人机视觉图像特征快速提取方法，其特征在于，用于对无人机采集到的多幅图像的特征点进行匹配和提取，所述的方法按照以下步骤执行：
步骤A、判断当前图像是否为无人机采集的第一幅图像，若是，则对当前图像进行全局特征提取；否则执行步骤B；
步骤B、对当前图像以及上一幅图像进行划分，获得当前图像上与上一幅图像的重叠区域、上一幅图像上与当前图像的重叠区域以及当前图像的非重叠区域；
所述当前图像上的非重叠区域包括当前图像中除去当前图像上与上一幅图像的重叠区域以外的所有像素点；
步骤C、采用权利要求1-4任一项权利要求所述的无人机视觉图像特征快速匹配方法获得当前图像中新的特征点作为当前图像重叠区域的特征点；
步骤D、在步骤B获得的当前图像上的非重叠区域进行特征点提取，获得当前图像非重叠区域的特征点；
步骤E、将步骤C获得的当前图像重叠区域的特征点与步骤D获得的当前图像非重叠区域的特征点进行结合，获得当前图像的特征点；
步骤F、返回步骤A直至获得无人机采集到的所有图像的特征点。
6.一种无人机视觉图像特征快速匹配装置，其特征在于，用于将无人机采集到的两幅图像中的第一幅图像的特征点映射到第二幅图像中，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
7.如权利要求6所述的无人机视觉图像特征快速匹配装置，其特征在于，所述的第一幅图像与第二幅图像之间存在重叠区域，分别为在第一幅图像上的第一重叠区域以及在第二幅图像上的第二重叠区域；
所述的装置包括特征点映射模块以及新特征点搜索匹配模块：
所述的特征点映射模块用于将第一重叠区域内的特征点通过坐标变换方程映射至第二重叠区域上，获得多个映射点；
所述的新特征点搜索匹配模块用于以每个映射点作为初始搜索坐标，在第二幅图像中进行局部邻域搜索，搜索与第一重叠区域内的特征点相似度最高的像素点作为新的特征点，获得第二幅图像中新的特征点以及特征点与新的特征点之间的匹配关系。
8.如权利要求7所述的无人机视觉图像特征快速匹配装置，其特征在于，所述的坐标变换方程根据两幅图像之间无人机飞行方向、无人机飞行距离、无人机的视觉系统旋转方向以及无人机的视觉系统旋转角度获得。
9.如权利要求8所述的无人机视觉图像特征快速匹配装置，其特征在于，所述的坐标变换方程为：
Figure FDA0002185665480000041
其中，(xk,yk)为第二重叠区域中的像素点坐标，(xk-1,yk-1)为在第一重叠区域中与(xk,yk)对应的像素点的坐标，其中坐标x方向与无人机飞行方向平行，h为无人机飞行高度，单位为m，αx、αy为采集第一幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，βx、βy为采集第二幅图像时无人机成像系统的光轴与铅垂线之间的夹角在x轴和y轴方向上的分量，单位为°，dx、dy为采集第一幅图像与第二幅图像之间无人机沿x轴和y轴方向上的飞行距离，单位为m，rx、ry为第一幅图像以及第二幅图像在x轴和y轴方向上的空间分辨率，单位为m/pixel。
10.一种无人机视觉图像特征快速提取装置，其特征在于，用于对无人机采集到的多幅图像的特征点进行匹配和提取，所述的装置包括图像划分模块、如权利要求6-9任一项权利要求所述的无人机视觉图像特征快速匹配装置、非重叠区域的特征点提取模块以及特征点结合模块：
所述的图像划分模块用于对当前图像以及上一幅图像进行划分，获得当前图像上与上一幅图像的重叠区域、上一幅图像上与当前图像的重叠区域以及当前图像的非重叠区域；
所述当前图像上的非重叠区域包括当前图像中除去当前图像上与上一幅图像的重叠区域以外的所有像素点；
所述的无人机视觉图像特征快速匹配装置用于获得当前图像中新的特征点作为当前图像重叠区域的特征点；
所述的非重叠区域的特征点提取模块用于在当前图像上的非重叠区域进行特征点提取，获得当前图像非重叠区域的特征点；
所述的特征点结合模块用于将当前图像重叠区域的特征点与当前图像非重叠区域的特征点进行结合，获得当前图像的特征点。
CN201910813450.5A 2019-08-30 2019-08-30 一种无人机视觉图像特征快速匹配与提取方法及装置 Active CN110728176B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910813450.5A CN110728176B (zh) 2019-08-30 2019-08-30 一种无人机视觉图像特征快速匹配与提取方法及装置
PCT/CN2019/118846 WO2021035988A1 (zh) 2019-08-30 2019-11-15 一种无人机视觉图像特征快速匹配与提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910813450.5A CN110728176B (zh) 2019-08-30 2019-08-30 一种无人机视觉图像特征快速匹配与提取方法及装置

Publications (2)

Publication Number Publication Date
CN110728176A true CN110728176A (zh) 2020-01-24
CN110728176B CN110728176B (zh) 2022-11-11

Family

ID=69218845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910813450.5A Active CN110728176B (zh) 2019-08-30 2019-08-30 一种无人机视觉图像特征快速匹配与提取方法及装置

Country Status (2)

Country Link
CN (1) CN110728176B (zh)
WO (1) WO2021035988A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049847B (zh) * 2022-06-21 2024-04-16 上海大学 一种基于orb描述子的特征点局部邻域特征匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693542A (zh) * 2012-05-18 2012-09-26 中国人民解放军信息工程大学 一种影像特征匹配方法
CN104023228A (zh) * 2014-06-12 2014-09-03 北京工业大学 一种基于全局运动估计的自适应室内视觉定位方法
CN104299215A (zh) * 2014-10-11 2015-01-21 中国兵器工业第二O二研究所 一种特征点标定和匹配的图像拼接方法
CN104881841A (zh) * 2015-05-20 2015-09-02 南方电网科学研究院有限责任公司 基于边缘特征与点特征的航拍高压电力塔架图像拼接方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885482B2 (en) * 2006-10-26 2011-02-08 Microsoft Corporation Coverage-based image relevance ranking
CN102629329B (zh) * 2012-02-28 2014-07-23 北京工业大学 基于自适应sift算法的人员室内定位方法
CN105245841B (zh) * 2015-10-08 2018-10-09 北京工业大学 一种基于cuda的全景视频监控系统
US10430961B2 (en) * 2015-12-16 2019-10-01 Objectvideo Labs, Llc Using satellite imagery to enhance a 3D surface model of a real world cityscape

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693542A (zh) * 2012-05-18 2012-09-26 中国人民解放军信息工程大学 一种影像特征匹配方法
CN104023228A (zh) * 2014-06-12 2014-09-03 北京工业大学 一种基于全局运动估计的自适应室内视觉定位方法
CN104299215A (zh) * 2014-10-11 2015-01-21 中国兵器工业第二O二研究所 一种特征点标定和匹配的图像拼接方法
CN104881841A (zh) * 2015-05-20 2015-09-02 南方电网科学研究院有限责任公司 基于边缘特征与点特征的航拍高压电力塔架图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐敏: "序列无人机影像预处理与匹配中的几个关键问题研究", 《中国博士学位论文全文数据库 基础科学辑》 *

Also Published As

Publication number Publication date
CN110728176B (zh) 2022-11-11
WO2021035988A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN109544615B (zh) 基于图像的重定位方法、装置、终端及存储介质
Li et al. DeepI2P: Image-to-point cloud registration via deep classification
US10694103B2 (en) Building system and building method for panorama point cloud
US9633281B2 (en) Point cloud matching method
US11045953B2 (en) Relocalization method and robot using the same
CN110869974A (zh) 点云处理方法、设备及存储介质
CN107203770B (zh) 一种光学捷联导引头图像跟踪方法
US7903840B2 (en) Image processing method, image processing apparatus, image processing program and program recording medium
KR101941878B1 (ko) 무인항공기 영상 자동 기하보정을 위한 처리시스템
CN110986969A (zh) 地图融合方法及装置、设备、存储介质
CN107851196A (zh) 一种图像模式匹配的方法及装置
US20210125361A1 (en) Systems and methods for stereoscopic imaging
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN110728176B (zh) 一种无人机视觉图像特征快速匹配与提取方法及装置
JP2017158067A (ja) 監視システム、監視方法、および監視プログラム
Sun et al. An improved binocular visual odometry algorithm based on the random sample consensus in visual navigation systems
CN110458177B (zh) 图像深度信息的获取方法、图像处理装置以及存储介质
KR101733288B1 (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
US9378555B2 (en) Enhanced outlier removal for 8 point algorithm used in camera motion estimation
CN115063760A (zh) 车辆可行驶区域检测方法、装置、设备及存储介质
Tornow et al. A multi-agent mobile robot system with environment perception and HMI capabilities
CN111178366B (zh) 一种移动机器人的定位方法和移动机器人
Carlevaris-Bianco et al. Visual localization in fused image and laser range data
Yoshiki et al. Cross-season vehicle localization using bag of local 3d features
US10447992B1 (en) Image processing method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200124

Assignee: Shaanxi Fun Intelligent Information Technology Co.,Ltd.

Assignor: CHANG'AN University

Contract record no.: X2023980048490

Denomination of invention: A Fast Matching and Extraction Method and Device for Visual Image Features of Drones

Granted publication date: 20221111

License type: Common License

Record date: 20231127