CN112907662A - 特征提取方法、装置、电子设备及存储介质 - Google Patents

特征提取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112907662A
CN112907662A CN202110120875.5A CN202110120875A CN112907662A CN 112907662 A CN112907662 A CN 112907662A CN 202110120875 A CN202110120875 A CN 202110120875A CN 112907662 A CN112907662 A CN 112907662A
Authority
CN
China
Prior art keywords
image
pyramid
extracted
layer
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110120875.5A
Other languages
English (en)
Other versions
CN112907662B (zh
Inventor
郎小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202110120875.5A priority Critical patent/CN112907662B/zh
Publication of CN112907662A publication Critical patent/CN112907662A/zh
Application granted granted Critical
Publication of CN112907662B publication Critical patent/CN112907662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种特征提取方法、装置、电子设备及存储介质,该方法包括:获取待提取图像,并获取待提取图像的金字塔层数,待提取图像由无人机中摄像头拍摄得到;对待提取图像确定金字塔层数的金字塔图像,并提取每层金字塔图像中的特征点;根据摄像头在无人机中的位置,获取无人机在拍摄待提取图像时与位置对应的姿态角度;将姿态角度确定为金字塔图像中特征点的旋转角度;分别根据金字塔图像中特征点的旋转角度,确定每层金字塔图像中每个特征点的描述子。本申请实施例省略了复杂的特征点朝向的求解步骤,减少了计算量,可以提高特征提取效率,而且可以避免由于高阶金字塔求解产生图像模糊导致的朝向错误的问题,可以提高特征提取精度。

Description

特征提取方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域,特别是涉及一种特征提取方法、装置、电子设备及存储介质。
背景技术
目前视觉定位方案中比较常见的前端特征匹配方法主要分为特征点光流匹配和特征点描述子的匹配。后者在精度上较前者有较大优势,而且提供了描述子可以处理不同时刻图像中特征匹配的问题,大大增强了特征提取和匹配的鲁棒性,但是相对单纯使用特征点进行光流匹配的方法,其速度较慢,实时性在计算资源有限的嵌入式系统中很难保证。其基本的方案是先将原图进行金字塔缩放,然后在各个金字塔层上进行特征点检测和描述子的提取。金字塔的提取保证了尺度不变性,而特征点的朝向的计算保证了旋转不变性。
现有技术中,针对描述子的特征提取的方法中,针对保持特征点尺度不变性和旋转不变性的问题,分别需要计算金字塔图像和特征点的角度。每层金字塔图像均需要提取特征点并进行特征点角度的计算,在特征点角度的计算中,ORB特征的方法相对较快,其对每个特征点周围块计算一阶矩,计算公式如下:
Figure BDA0002922010530000011
θ=atan2(m01,m10)
其中,(x,y)为在特征点周围块中的所有像素的位置坐标,I(x,y)为该像素的灰度值,θ为特征点的旋转角度。
但是,旋转角度需要耗费大量的计算,而且随着金字塔层数的增高,不可避免的产生由于图像高度的模糊导致的解的精度下降的问题。而在无人机的运行场景中,又有别于一般室内尺度大体相当的假设,其经常需要处理高度上百米的图像特征点查找的问题,这样一来,所需金字塔层数又更高,角度的计算也会更多,很难满足实时性的需求。
发明内容
本申请实施例提供一种特征提取方法、装置、电子设备及存储介质,有助于提高特征提取效率和精度。
为了解决上述问题,第一方面,本申请实施例提供了一种特征提取方法,包括:
获取待提取图像,并获取所述待提取图像的金字塔层数,所述待提取图像由无人机中摄像头拍摄得到;
对所述待提取图像确定所述金字塔层数的金字塔图像,并分别提取所述待提取图像和每层金字塔图像中的特征点;
根据所述摄像头在所述无人机中的位置,获取所述无人机在拍摄所述待提取图像时与所述位置对应的姿态角度;
将所述姿态角度确定为所述待提取图像和每层金字塔图像中特征点的旋转角度;
分别根据所述待提取图像和每层金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子。
第二方面,本申请实施例提供了一种特征提取装置,包括:
获取模块,用于获取待提取图像,并获取所述待提取图像的金字塔层数,所述待提取图像由无人机中摄像头拍摄得到;
特征点提取模块,用于对所述待提取图像确定所述金字塔层数的金字塔图像,并分别提取所述待提取图像和每层金字塔图像中的特征点;
姿态角度获取模块,用于根据所述摄像头在所述无人机中的位置,获取所述无人机在拍摄所述待提取图像时与所述位置对应的姿态角度;
旋转角度确定模块,用于将所述姿态角度确定为所述待提取图像和每层金字塔图像中特征点的旋转角度;
描述子确定模块,用于分别根据所述待提取图像和每层金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子。
第三方面,本申请实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请实施例所述的特征提取方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请实施例公开的特征提取方法的步骤。
本申请实施例提供的特征提取方法、装置、电子设备及存储介质,通过获取待提取图像,并获取待提取图像的金字塔层数,对待提取图像确定金字塔层数的金字塔图像,并提取待提取图像和每层金字塔图像中的特征点,根据拍摄所述待提取图像的摄像头在无人机中的位置,获取无人机在拍摄待提取图像时与所述位置对应的姿态角度,将该姿态角度作为待提取图像和金字塔图像中特征点的旋转角度,分别根据待提取图像和金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子,由于直接使用与摄像头在无人机中的位置对应的姿态角度作为特征点朝向的表示,省略了复杂的求解步骤,减少了计算量,可以提高特征提取效率,而且可以避免由于高阶金字塔求解产生图像严重模糊导致的朝向错误的问题,可以提高特征提取精度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一的特征提取方法的流程图;
图2是本申请实施例中的进行金字塔计算的距离间隔的示意图;
图3是本申请实施例二的特征提取装置的结构示意图;
图4是本申请实施例三的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
本实施例提供的一种特征提取方法,如图1所示,该方法包括:步骤110至步骤150。
步骤110,获取待提取图像,并获取所述待提取图像的金字塔层数,所述待提取图像由无人机中摄像头拍摄得到。
获取由无人机中摄像头拍摄得到的要进行特征提取的图像,作为待提取图像。在对待提取图像进行特征提取时,主要是确定特征点描述子,如可以采用ORB方式来进行特征提取,这就需要确定待提取图像的金字塔层数,可以获取预先设置的金字塔层数或者采用其他方式获取金字塔层数,将获取到的金字塔层数作为待提取图像的金字塔层数。
其中,ORB是Oriented Fast and Rotated Brief的简称,可以用来对图像中的关键点快速创建特征向量,这些特征向量可以用来识别图像中的对象。FAST(Features fromAccelerated Segments Test)和BRIEF(Binary Robust Independent ElementaryFeatures)分别是特征检测算法和向量创建算法。ORB首先会从图像中查找特殊区域,称为关键点或者特征点。关键点或者特征点即图像中突出的小区域,比如角点,比如它们具有像素值急剧的从浅色变为深色的特征。ORB会为每个关键点计算相应的特征向量。ORB算法创建的特征向量只包含1和0,称为二元特征向量。
步骤120,对所述待提取图像确定所述金字塔层数的金字塔图像,并分别提取所述待提取图像和每层金字塔图像中的特征点。
对所述待提取图像进行下采样,得到一层金字塔图像,再对得到的金字塔图像进行下采样,得到下一层金字塔图像,如此迭代执行对得到的金字塔图像进行下采样,直至得到所述金字塔层数的金字塔图像。
在得到所述金字塔层数的金字塔图像后,对待提取图像和每层金字塔图像分别提取特征点。在进行特征提取时,可以采用SIFT(Scale-invariant feature transform,尺度不变特征变换)算法或FAST算法进行特征点的提取。SIFT是用于图像处理领域的一种描述,这种描述具有尺度不变性,可在图像中检测出关键的特征点,是一种局部特征描述子。使用SIFT算法进行特征提取时,首先对要进行特征提取的每层金字塔图像或者待提取图像分别进行高斯滤波,之后对高斯滤波后的图像进行差分处理,得到差分图像,然后在对每个差分图像分别提取特征点。
步骤130,根据所述摄像头在所述无人机中的位置,获取所述无人机在拍摄所述待提取图像时与所述位置对应的姿态角度。
其中,飞机的姿态角度是由机体坐标系与地理坐标系之间的关系确定的,用偏航角(yaw)、俯仰角(pitch)和滚转角(roll)三个欧拉角表示。不同的转动顺序会形成不同的坐标变换矩阵,通常按偏航角、俯仰角和滚转角的顺序来表示机体坐标系相对地理坐标系的空间转动。其中,俯仰角是围绕X轴旋转,偏航角是围绕Y轴旋转,滚转角是围绕Z轴旋转。
无人机在航行过程中,通过姿态角度来表示无人机的空间转动,由于无人机的空间转动不同,同一摄像头拍摄到的图像的角度也不同,所以可以使用无人机的姿态角度来表示图像中特征点的旋转角度。无人机中不同位置的摄像头所使用的姿态角度是不同的,所以在使用无人机的姿态角度作为图像中特征点的旋转角度时需要获取无人机在拍摄待提取图像时,拍摄待提取图像的摄像头的位置所对应的姿态角度。
在本申请的一个实施例中,根据所述摄像头在所述无人机中的位置,获取所述无人机在拍摄所述待提取图像时与所述位置对应的姿态角度,包括:
若所述摄像头为下视摄像头,则获取所述无人机在拍摄所述待提取图像时的偏航角,并将所述偏航角确定为与所述下视摄像头对应的姿态角度;
若所述摄像头为前向摄像头或后向摄像头,则获取所述无人机在拍摄所述待提取图像时的滚转角,并将所述滚转角确定为与所述前向摄像头或后向摄像头对应的姿态角度。
在拍摄待提取图像的摄像头为下视摄像头时,确定拍摄得到的待提取图像围绕Y轴进行了旋转,则可以获取无人机在拍摄待提取图像时的偏航角,将该偏航角确定为与下视摄像头对应的姿态角度,后续可以使用该姿态角度作为待提取图像和对应的各层金字塔图像中的特征点的旋转角度。
在拍摄待提取图像的摄像头为前向摄像头或者后向摄像头时,确定拍摄得到的待提取图像围绕Z轴进行了旋转,则可以获取无人机在拍摄待提取图像时的滚转角,将滚转角确定为与前向摄像头或后向摄像头对应的姿态角度,后续可以使用该姿态角度作为待提取图像和对应的各层金字塔图像中的特征点的旋转角度。
步骤140,将所述姿态角度确定为所述待提取图像和每层金字塔图像中特征点的旋转角度。
将与拍摄待提取图像的摄像头在无人机中的位置对应的姿态角度,确定为待提取图像和待提取图像对应的各层金字塔图像中特征点的特征点朝向,也就是将所述姿态角度确定为待提取图像和各层金字塔图像中特征点的旋转角度。
步骤150,分别根据所述待提取图像和每层金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子。
在得到待提取图像和各层金字塔图像中特征点的旋转角度后,可以基于待提取图像和各层金字塔图像中特征点的旋转角度,分别使用提取特征描述子的方法确定待提取图像和各层金字塔图像中每个特征点的描述子。其中,提取特征描述子的方法例如可以是BRIEF或者SIFT。
在本申请的一个实施例中,所述分别根据所述待提取图像和每层金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子,包括:根据所述待提取图像和每层金字塔图像中特征点的旋转角度,分别旋转待提取图像和每层金字塔图像,得到旋转后的图像;分别确定所述旋转后的图像中特征点的描述子。
根据待提取图像和各层金字塔图像中特征点的旋转角度,分别对待提取图像和各层金字塔图像沿着图像法向进行旋转,使其旋转到0度位置,得到旋转后的待提取图像和旋转后的金字塔图像。对于旋转后的待提取图像和金字塔图像分别确定其中特征点的描述子,在确定一张图像的特征点的描述子时,也就是用一组向量来描述该特征点,使得特征点不随光照变化、视角变化等各种变化而变化。描述子不但包括特征点,也包含特征点周围对其有贡献的像素点,并且描述子有较高的独特性,以便于提高特征点正确匹配的概率。
SIFT描述子是特征点邻域高斯图像梯度统计结果的一种表示。通过对特征点周围图像区域分块,计算块内梯度直方图,生成具有独特性的向量,这个向量是该区域图像信息的一种抽象,具有唯一性。描述子可以使用在特征点尺度空间内4*4的窗口中计算的8个方向的梯度信息,共4*4*8=128维向量来表征。
通过根据待提取图像和金字塔图像中特征点的旋转角度旋转待提取图像和金字塔图像,并分别确定旋转后的待提取图像和金字塔图像中特征点的描述子,实现了描述子的旋转不变性。
本申请实施例提供的特征提取方法,通过获取待提取图像,并获取待提取图像的金字塔层数,对待提取图像确定金字塔层数的金字塔图像,并提取待提取图像和每层金字塔图像中的特征点,根据拍摄所述待提取图像的摄像头在无人机中的位置,获取无人机在拍摄待提取图像时与所述位置对应的姿态角度,将该姿态角度作为待提取图像和金字塔图像中特征点的旋转角度,分别根据待提取图像和金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子,由于直接使用与摄像头在无人机中的位置对应的姿态角度作为特征点朝向的表示,省略了复杂的求解步骤,减少了计算量,可以提高特征提取效率,而且可以避免由于高阶金字塔求解产生图像严重模糊导致的朝向错误的问题,可以提高特征提取精度。
在上述技术方案的基础上,获取所述待提取图像的金字塔层数,包括:若所述摄像头为下视摄像头,则获取所述无人机拍摄所述待提取图像时的当前海拔高度;根据金字塔层数与海拔高度的反比关系,确定所述当前海拔高度对应的金字塔层数。
在拍摄待提取图像的摄像头为无人机中的下视摄像头时,由于无人机的当前海拔高度较低时,拍摄到的物体比较清晰,求解得到的多层金字塔图像也比较清晰,金字塔层数可以较大,而无人机的当前海拔高度较高时,拍摄到的物体都会比较小,在进行多层金字塔图像的求解时,求解到的金字塔图像也会比较模糊,无法获取到准确的特征点,所以这时金字塔层数可以较小,甚至不用求解金字塔图像,直接提取待提取图像的特征点。因此,可以根据无人机拍摄待提取图像时的当前海拔高度确定金字塔层数,这时可以直接获取无人机拍摄待提取图像时的当前海拔高度,并将所述当前海拔高度代入金字塔层数与海拔高度的反比关系,得到当前海拔高度对应的金字塔层数。
通过根据金字塔层数与海拔高度的反比关系来确定无人机拍摄待提取图像时的当前海拔高度对应的金字塔层数,从而对待提取图像进行所述金字塔层数的金字塔图像的求解,可以根据当前海拔高度自适应的调节金字塔层数和金字塔所需的尺度,可以避免对较多金字塔层数的金字塔图像的求解,降低计算量,节省了大量的金字塔求解的时间。
在上述技术方案的基础上,所述根据金字塔层数与海拔高度的反比关系,确定所述当前海拔高度对应的金字塔层数,包括:获取金字塔层数的最大值、求解一层金字塔图像对应的海拔高度和尺寸因子;根据所述最大值、求解一层金字塔图像对应的海拔高度和所述尺寸因子,确定金字塔层数与海拔高度的反比关系;根据所述反比关系,确定所述当前海拔高度对应的金字塔层数。
其中,金字塔层数的最大值是预先设置的求解金字塔层数的最大值,例如可以为6;求解一层金字塔图像对应的海拔高度是预先设置的一层金字塔图像对应的海拔高度,比如每20米求解一层金字塔图像;尺寸因子可以是预先设置的值,也可以是与海拔高度有关的值。
在根据当前海拔高度确定金字塔层数时,首先需要确定金字塔层数与海拔高度的反比关系,而所述反比关系是和金字塔层数的最大值、求解一层金字塔图像对应的海拔高度和尺寸因子相关的,因子需要获取这些值,并在获取到这些值时,将这些值代入反比关系公式,得到确定的金字塔层数与海拔高度的反比关系,从而将无人机拍摄待提取图像时的当前海拔高度代入该反比关系,得到当前海拔高度对应的金字塔层数。
其中,所述反比关系表示如下:
Figure BDA0002922010530000091
其中,n为待求解的金字塔层数,a为金字塔层数的最大值,h为海拔高度,b为求解一层金字塔图像对应的海拔高度,f为尺寸因子。
在将当前海拔高度代入上述公式时,求得的金字塔层数n取整数,且n大于1,如果通过上述公式求解得到的n小于1,则确定金字塔层数为0,即不需要求解金字塔图像。
当无人机运营在120米以下的时候,根据无人机当前飞行的海拔高度h和所需尺寸因子f,来计算所需要的金字塔层数n。可以根据上述公式来进行求解,金字塔层数的最大值为6时,求得的n取整数且有1<=n<=8,当前海拔高度h满足0<h<120。例如,当尺寸因子f=1.4时,每20米进行一次金字塔计算,如图2所示,比如当飞机大概处在10米的时候,对待提取图像进行6层金字塔图像的求解,当运行高度大概在20米的时候求解4层金字塔图像,大概50米的时候求解3层金字塔图像,大概在70米的时候求解2层金字塔图像,85米至120米的时候只用原始图像,不再进行金字塔图像的构建。通过金字塔层数与海拔高度的反比关系,可以节省大量金字塔求解的时间。
无人机运营在120米以下,金字塔层数的最大值可以通过求解在第一项为1,最后一项为120的等比数列,在比为尺寸因子时的中间的项数,中间的项数也就是金字塔层数的最大值。
在上述技术方案的基础上,还包括:获取待匹配的两张图像的特征点的描述子,并对所述两张图像的特征点的描述子进行匹配,得到特征点匹配结果。
其中,所述两张图像可以是无人机在不同海拔高度拍摄到的待提取图像,或者也可以是待提取图像与该待提取图像的金字塔图像,或者还可以是待提取图像与其他待提取图像的金字塔图像。
在需要匹配两张图像的特征点时,分别获取这两张图像中特征点的旋转角度,然后基于旋转角度分别确定这两张图像中每个特征点的描述子,或者,也可以直接从存储图像特征点描述子的数据库获取待匹配的两张图像的特征点的描述子。获取到待匹配的两张图像的特征点的描述子后,由于确定的特征点的描述子按照选择角度确定的,所以可以直接对两张图像的特征点的描述子进行匹配,即确定两张图像中个特征点描述子的相似度,该相似度可以采用欧氏距离来衡量,当然,也可以采用其他的方式进行特征点描述子的匹配。
实施例二
本实施例提供的一种特征提取装置,如图3所示,所述特征提取装置300包括:
获取模块310,用于获取待提取图像,并获取所述待提取图像的金字塔层数,所述待提取图像由无人机中摄像头拍摄得到;
特征点提取模块320,用于对所述待提取图像确定所述金字塔层数的金字塔图像,并分别提取所述待提取图像和每层金字塔图像中的特征点;
姿态角度获取模块330,用于根据所述摄像头在所述无人机中的位置,获取所述无人机在拍摄所述待提取图像时与所述位置对应的姿态角度;
旋转角度确定模块340,用于将所述姿态角度确定为所述待提取图像和每层金字塔图像中特征点的旋转角度;
描述子确定模块350,用于分别根据所述待提取图像和每层金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子。
可选的,所述姿态角度获取模块具体用于:
若所述摄像头为下视摄像头,则获取所述无人机在拍摄所述待提取图像时的偏航角,并将所述偏航角确定为与所述下视摄像头对应的姿态角度;
若所述摄像头为前向摄像头或后向摄像头,则获取所述无人机在拍摄所述待提取图像时的滚转角,并将所述滚转角确定为与所述前向摄像头或后向摄像头对应的姿态角度。
可选的,所述获取模块包括:
海拔高度获取单元,用于若所述摄像头为下视摄像头,则获取所述无人机拍摄所述待提取图像时的当前海拔高度;
金字塔层数确定单元,用于根据金字塔层数与海拔高度的反比关系,确定所述当前海拔高度对应的金字塔层数。
可选的,所述金字塔层数确定单元具体用于:
获取金字塔层数的最大值、求解一层金字塔图像对应的海拔高度和尺寸因子;
根据所述最大值、求解一层金字塔图像对应的海拔高度和所述尺寸因子,确定金字塔层数与海拔高度的反比关系;
根据所述反比关系,确定所述当前海拔高度对应的金字塔层数。
可选的,所述反比关系表示如下:
Figure BDA0002922010530000111
其中,n为待求解的金字塔层数,a为金字塔层数的最大值,h为海拔高度,b为求解一层金字塔图像对应的海拔高度,f为尺寸因子。
可选的,所述描述子确定模块包括:
图像旋转单元,用于根据所述待提取图像和每层金字塔图像中特征点的旋转角度,分别旋转待提取图像和每层金字塔图像,得到旋转后的图像;
描述子确定单元,用于分别确定所述旋转后的图像中特征点的描述子。
可选的,所述装置还包括:
描述子匹配模块,用于获取待匹配的两张图像的特征点的描述子,并对所述两张图像的特征点的描述子进行匹配,得到特征点匹配结果。
本申请实施例提供的特征提取装置,用于实现本申请实施例一中所述的特征提取方法的各步骤,装置的各模块的具体实施方式参见相应步骤,此处不再赘述。
本申请实施例提供的特征提取装置,通过获取模块获取待提取图像,并获取待提取图像的金字塔层数,特征点提取模块对待提取图像确定金字塔层数的金字塔图像,并提取待提取图像和每层金字塔图像中的特征点,姿态角度获取模块根据拍摄所述待提取图像的摄像头在无人机中的位置,获取无人机在拍摄待提取图像时与所述位置对应的姿态角度,旋转角度确定模块将该姿态角度作为待提取图像和金字塔图像中特征点的旋转角度,描述子确定模块分别根据待提取图像和金字塔图像中特征点的旋转角度,确定每层金字塔图像中每个特征点的描述子,由于直接使用与摄像头在无人机中的位置对应的姿态角度作为特征点朝向的表示,省略了复杂的求解步骤,减少了计算量,可以提高特征提取效率,而且可以避免由于高阶金字塔求解产生图像严重模糊导致的朝向错误的问题,可以提高特征提取精度。
实施例三
本申请实施例还提供了一种电子设备,如图4所示,该电子设备400可以包括一个或多个处理器410以及与处理器410连接的一个或多个存储器420。电子设备400还可以包括输入接口430和输出接口440,用于与另一装置或系统进行通信。被处理器410执行的程序代码可存储在存储器420中。
电子设备400中的处理器410调用存储在存储器420的程序代码,以执行上述实施例中的特征提取方法。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例一所述的特征提取方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上对本申请实施例提供的一种特征提取方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (10)

1.一种特征提取方法,其特征在于,包括:
获取待提取图像,并获取所述待提取图像的金字塔层数,所述待提取图像由无人机中摄像头拍摄得到;
对所述待提取图像确定所述金字塔层数的金字塔图像,并分别提取所述待提取图像和每层金字塔图像中的特征点;
根据所述摄像头在所述无人机中的位置,获取所述无人机在拍摄所述待提取图像时与所述位置对应的姿态角度;
将所述姿态角度确定为所述待提取图像和每层金字塔图像中特征点的旋转角度;
分别根据所述待提取图像和每层金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子。
2.根据权利要求1所述的方法,其特征在于,根据所述摄像头在所述无人机中的位置,获取所述无人机在拍摄所述待提取图像时与所述位置对应的姿态角度,包括:
若所述摄像头为下视摄像头,则获取所述无人机在拍摄所述待提取图像时的偏航角,并将所述偏航角确定为与所述下视摄像头对应的姿态角度;
若所述摄像头为前向摄像头或后向摄像头,则获取所述无人机在拍摄所述待提取图像时的滚转角,并将所述滚转角确定为与所述前向摄像头或后向摄像头对应的姿态角度。
3.根据权利要求1和2所述的方法,其特征在于,获取所述待提取图像的金字塔层数,包括:
若所述摄像头为下视摄像头,则获取所述无人机拍摄所述待提取图像时的当前海拔高度;
根据金字塔层数与海拔高度的反比关系,确定所述当前海拔高度对应的金字塔层数。
4.根据权利要求3所述的方法,其特征在于,所述根据金字塔层数与海拔高度的反比关系,确定所述当前海拔高度对应的金字塔层数,包括:
获取金字塔层数的最大值、求解一层金字塔图像对应的海拔高度和尺寸因子;
根据所述最大值、求解一层金字塔图像对应的海拔高度和所述尺寸因子,确定金字塔层数与海拔高度的反比关系;
根据所述反比关系,确定所述当前海拔高度对应的金字塔层数。
5.根据权利要求4所述的方法,其特征在于,所述反比关系表示如下:
Figure FDA0002922010520000021
其中,n为待求解的金字塔层数,a为金字塔层数的最大值,h为海拔高度,b为求解一层金字塔图像对应的海拔高度,f为尺寸因子。
6.根据权利要求1所述的方法,其特征在于,所述分别根据所述待提取图像和每层金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子,包括:
根据所述待提取图像和每层金字塔图像中特征点的旋转角度,分别旋转待提取图像和每层金字塔图像,得到旋转后的图像;
分别确定所述旋转后的图像中特征点的描述子。
7.根据权利要求1所述的方法,其特征在于,还包括:
获取待匹配的两张图像的特征点的描述子,并对所述两张图像的特征点的描述子进行匹配,得到特征点匹配结果。
8.一种特征提取装置,其特征在于,包括:
获取模块,用于获取待提取图像,并获取所述待提取图像的金字塔层数,所述待提取图像由无人机中摄像头拍摄得到;
特征点提取模块,用于对所述待提取图像确定所述金字塔层数的金字塔图像,并分别提取所述待提取图像和每层金字塔图像中的特征点;
姿态角度获取模块,用于根据所述摄像头在所述无人机中的位置,获取所述无人机在拍摄所述待提取图像时与所述位置对应的姿态角度;
旋转角度确定模块,用于将所述姿态角度确定为所述待提取图像和每层金字塔图像中特征点的旋转角度;
描述子确定模块,用于分别根据所述待提取图像和每层金字塔图像中特征点的旋转角度,确定待提取图像和每层金字塔图像中每个特征点的描述子。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的特征提取方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至7任意一项所述的特征提取方法的步骤。
CN202110120875.5A 2021-01-28 2021-01-28 特征提取方法、装置、电子设备及存储介质 Active CN112907662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110120875.5A CN112907662B (zh) 2021-01-28 2021-01-28 特征提取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110120875.5A CN112907662B (zh) 2021-01-28 2021-01-28 特征提取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112907662A true CN112907662A (zh) 2021-06-04
CN112907662B CN112907662B (zh) 2022-11-04

Family

ID=76119892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110120875.5A Active CN112907662B (zh) 2021-01-28 2021-01-28 特征提取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112907662B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315274A (zh) * 2023-11-28 2023-12-29 淄博纽氏达特机器人系统技术有限公司 一种基于自适应特征提取的视觉slam方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技(深圳)有限公司 一种飞行器的定位方法和装置
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
US20190026916A1 (en) * 2017-07-18 2019-01-24 Kabushiki Kaisha Toshiba Camera pose estimating method and system
WO2019205842A1 (zh) * 2018-04-27 2019-10-31 腾讯科技(深圳)有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN110555882A (zh) * 2018-04-27 2019-12-10 腾讯科技(深圳)有限公司 界面显示方法、装置及存储介质
WO2020014909A1 (zh) * 2018-07-18 2020-01-23 深圳市大疆创新科技有限公司 拍摄方法、装置和无人机
CN111260726A (zh) * 2020-02-07 2020-06-09 北京三快在线科技有限公司 一种视觉定位方法及装置
CN111630523A (zh) * 2018-05-21 2020-09-04 华为技术有限公司 一种图像特征提取方法及装置
CN111862177A (zh) * 2020-07-29 2020-10-30 江南大学 一种基于方向直方图签名特征的工件的三维点云配准方法
CN112200869A (zh) * 2020-10-09 2021-01-08 浙江大学 一种基于点线特征的机器人全局最优视觉定位方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技(深圳)有限公司 一种飞行器的定位方法和装置
US20190026916A1 (en) * 2017-07-18 2019-01-24 Kabushiki Kaisha Toshiba Camera pose estimating method and system
WO2019205842A1 (zh) * 2018-04-27 2019-10-31 腾讯科技(深圳)有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN110555882A (zh) * 2018-04-27 2019-12-10 腾讯科技(深圳)有限公司 界面显示方法、装置及存储介质
CN111630523A (zh) * 2018-05-21 2020-09-04 华为技术有限公司 一种图像特征提取方法及装置
WO2020014909A1 (zh) * 2018-07-18 2020-01-23 深圳市大疆创新科技有限公司 拍摄方法、装置和无人机
CN111260726A (zh) * 2020-02-07 2020-06-09 北京三快在线科技有限公司 一种视觉定位方法及装置
CN111862177A (zh) * 2020-07-29 2020-10-30 江南大学 一种基于方向直方图签名特征的工件的三维点云配准方法
CN112200869A (zh) * 2020-10-09 2021-01-08 浙江大学 一种基于点线特征的机器人全局最优视觉定位方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MINGGUO ZHENG: "Rotation and affine-invariant SIFT descriptor for matching UAV images with satellite images", 《PROCEEDINGS OF 2014 IEEE CHINESE GUIDANCE》 *
张伟: "基于视觉导航的旋翼无人机目标跟踪和位姿解算的研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315274A (zh) * 2023-11-28 2023-12-29 淄博纽氏达特机器人系统技术有限公司 一种基于自适应特征提取的视觉slam方法
CN117315274B (zh) * 2023-11-28 2024-03-19 淄博纽氏达特机器人系统技术有限公司 一种基于自适应特征提取的视觉slam方法

Also Published As

Publication number Publication date
CN112907662B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
CN106529538A (zh) 一种飞行器的定位方法和装置
CN108122256B (zh) 一种逼近状态下旋转目标位姿测量的方法
CN110992263B (zh) 一种图像拼接方法及系统
CN110490067B (zh) 一种基于人脸姿态的人脸识别方法及装置
CN108257155A (zh) 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN117876608B (zh) 三维图像重建方法、装置、计算机设备及存储介质
CN112907662B (zh) 特征提取方法、装置、电子设备及存储介质
CN110660091A (zh) 一种图像配准处理方法、装置和拍照批改作业系统
CN104484647B (zh) 一种高分辨率遥感图像云高度检测方法
CN117196954A (zh) 一种面向飞机蒙皮的弱纹理曲面图像拼接方法和装置
CN113012084A (zh) 无人机影像实时拼接方法、装置及终端设备
CN115273184B (zh) 人脸活体检测模型训练方法及装置
CN113570667B (zh) 视觉惯导补偿方法、装置及存储介质
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
Zhang et al. An improved SLAM algorithm based on feature contour extraction for camera pose estimation
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质
CN113409365B (zh) 图像处理方法及相关终端、设备和存储介质
CN118411429B (zh) 一种移动目标轨迹坐标转换方法及系统
CN118262127A (zh) 一种基于数据预处理的无人机图像匹配定位方法
Zhang et al. Medium and low altitude CCD image Stitching based on SUFT algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant