CN112017197A - 一种图像特征提取方法及系统 - Google Patents

一种图像特征提取方法及系统 Download PDF

Info

Publication number
CN112017197A
CN112017197A CN202010927408.9A CN202010927408A CN112017197A CN 112017197 A CN112017197 A CN 112017197A CN 202010927408 A CN202010927408 A CN 202010927408A CN 112017197 A CN112017197 A CN 112017197A
Authority
CN
China
Prior art keywords
point
image
sub
points
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010927408.9A
Other languages
English (en)
Inventor
王朋
孙浩
倪翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN202010927408.9A priority Critical patent/CN112017197A/zh
Publication of CN112017197A publication Critical patent/CN112017197A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像特征提取方法及系统，该方法包括：根据原始图像构建图像金字塔；将图像金字塔中的每一层图像采用四叉树的方法划分为4个子块；对任一子块进行FAST特征点检测并计算其特征点描述子；根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点；判断任一子块中FAST特征点的个数是否大于5；如果是，根据设定的四叉树最大划分深度，继续划分；否则停止划分；根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点。该系统包括：图像金字塔构建模块、划分模块、FAST特征点检测模块、特征点描述子计算模块、特征点生成模块、判断模块和提取模块。通过本申请，能有效提高图像提取的效率和特征点的匹配精度。

Description

一种图像特征提取方法及系统
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像特征提取方法及系统。
背景技术
在图像处理技术领域，图像特征点匹配是许多计算机应用的第一步。图像特征点匹配即：匹配出两个不同视角的图像中的同一个物体。图像特征点匹配广泛应用于目标识别与跟踪、遥感图像处理、医学图像处理以及视觉SLAM(Simultaneous Localization andMapping，同步定位与地图构建)等领域。因此，如何对图像进行特征提取，从而高效地实现图像特征点匹配，是个重要的技术问题。
目前进行图像特征提取的方法通常是ORB(Oriented FAST and Rotated BRIEF，一种快速特征点提取和描述的算法)算法。ORB算法是建立在FAST特征检测算子和BRIEF特征描述算子基础之上的特征匹配算法。ORB算法中的特征描述算子采用基于像素点灰度值比较的方法，通过得到的二进制位串来描述特征。
然而，由于ORB算法中FAST特征检测算子缺乏对尺度变化的适应性，当进行特征检测的图像尺度发生变化时，其鲁棒性不如SIFT，检测效果较差，特征点提取速度较低，检测效率不够高。而且ORB算法对特征点的提取过于密集，容易造成特征点冗余和重叠，从而导致图像特征误匹配等问题，使得特征点匹配精度较低。
发明内容
本申请提供了一种图像特征提取方法及系统，以解决现有技术中图像特征提取方法使得特征点提取速度较低、特征点匹配精度较低的问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种图像特征提取方法，所述方法包括：
读取原始图像，并根据原始图像构建图像金字塔；
将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块；
对任一子块进行FAST特征点检测；
对任一子块计算其特征点描述子；
根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点；
判断所述任一子块中FAST特征点的个数是否大于5；
如果是，根据设定的四叉树最大划分深度，继续将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块；
如果否，停止划分；
当所有子块停止划分后，根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点。
可选地，所述读取原始图像，并根据原始图像构建图像金字塔，包括：
利用公式
Figure BDA0002668934250000021
和
Figure BDA0002668934250000022
对原始图像进行高斯模糊，其中，G(x)为一维表达式，G(x，y)为二维表达式，x、y分别为原点到x轴、y轴的距离，σ为高斯函数G的标准差；
利用公式I′＝I/scaleFactor·k k＝1，2，…，nlevels，对原始图像进行下采样，将所述原始图像按比例缩小为nlevels幅图像，其中，I′为缩放后的图像，scaleFactor为比例因子，I为原图像，k为金字塔层数。
可选地，将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块，具体为：
对所述图像金字塔中的每一层图像进行二值化处理；
根据二值化处理结果，将图像均匀划分为4块，每块对应一个象限。
可选地，所述对任一子块进行FAST特征点检测，包括：
在所述任一子块中选择任一像素点P，定义像素点P的灰度值为Ip；
以像素点P为圆心，挑选半径为3个像素点的圆上的16个像素点；
判断16个像素点中是否存在连续的l个点，且所述l个点的灰度值满足|I0-Ip|＞t，其中，I0为l个点中任一点的灰度值，t为设定的灰度值阈值；
如果是，判定像素点P为一个角点；
当像素点P为一个角点时，判断连续的点数l是否满足：l≥12；
如果是，判定P是FAST特征点；
如果否，判定P不是FAST特征点。
可选地，所述对任一子块计算其特征点描述子，包括：
利用公式mpq＝∑xpyqI(x，y)，定义图像金字塔中任意一层图像的矩，其中，p，q＝0，1，2…，xp、yq分别为x的p次方与y的q次方，I(x，y)为(x，y)点处的灰度值；
根据所述矩，分别利用公式
Figure BDA0002668934250000031
和θ＝arctan(m01/m10)，计算得出所述任意一层图像的质心和方向角，其中，m00为零阶矩、m10和m01为一阶矩；
根据所述任意一层图像的质心和方向角，计算得出ORB特征点的方向角；
利用公式
Figure BDA0002668934250000032
和
Figure BDA0002668934250000033
将所述ORB特征点的方向角与旋转矩阵进行变换，其中，Aθ为旋转后的特征点对矩阵，Rθ为旋转矩阵；
利用公式gn(p，θ)＝fn(p)|(xi，yi)∈Aθ，计算得出任一子块的特征点描述子，其中，(xi，yi)为随机选择n对点。
可选地，根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点，具体为：
根据FAST特征点和特征点描述子，利用公式
Figure BDA0002668934250000034
Figure BDA0002668934250000035
和gn(p，θ)＝fn(p)|(xi，yi)∈Aθ，确定每个子块改进后的ORB特征点，其中，p(x)，p(y)是点x和点y处的像素灰度值，(xi，yi)为随机选择n对点。
可选地，所述当所有子块停止划分后，根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点，包括：
当所有子块停止划分后，计算划分出的所有子块的总数；
判断待提取的特征点总数是否≥j，其中
Figure BDA0002668934250000036
FPrequired为待提取的特征点总数，N为所有子块的总数；
如果是，对任一子块提取j个改进后的ORB特征点；
如果否，降低FAST特征点检测中设定的灰度值阈值t，并重新检测；
利用公式
Figure BDA0002668934250000037
采用非极大值抑制法保留j个最佳改进后的ORB特征点，其中，Sbright为16个邻域像素点中灰度值大于Ip+t的像素点的集合，Sdark为灰度值小于Ip-t的像素点的集合。
可选地，所述设定的四叉树最大划分深度为8-10。
一种图像特征提取系统，所述系统包括：
图像金字塔构建模块，用于读取原始图像，并根据原始图像构建图像金字塔；
划分模块，用于将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块；
FAST特征点检测模块，用于对任一子块进行FAST特征点检测；
特征点描述子计算模块，用于对任一子块计算其特征点描述子；
特征点生成模块，用于根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点；
判断模块，用于判断所述任一子块中FAST特征点的个数是否大于5，如果是，根据设定的四叉树最大划分深度，触发划分模块，继续将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块，停止划分；
提取模块，用于当所有子块停止划分后，根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点。
可选地，所述FAST特征点检测模块包括：
参考点确定单元，用于在所述任一子块中选择任一像素点P，定义像素点P的灰度值为Ip；
像素点选择单元，用于以像素点P为圆心，挑选半径为3个像素点的圆上的16个像素点；
第一判断单元，用于判断16个像素点中是否存在连续的l个点，且所述l个点的灰度值满足|I0-Ip|＞t，其中，I0为l个点中任一点的灰度值，t为设定的灰度值阈值，如果是，判定像素点P为一个角点，否则，判定像素点P不是一个角点；
第二判断单元，用于当像素点P为一个角点时，判断连续的点数l是否满足：l≥12，如果是，判定P是FAST特征点，如果否，判定P不是FAST特征点。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请提供一种图像特征提取方法，该方法首先读取原始图像并根据该原始图像构建图像金字塔，然后将图像金字塔中的每一层图像采用四叉树的方法划分为4个子块，其次对划分出来的每个子块进行FAST特征点检测并计算其特征点描述子，然后生成改进后的ORB特征点，根据检测出来的特征点数量判断是否继续对当前子块进行四叉树划分，当停止划分时，通过自适应阈值对每个子块提取改进后的ORB特征点，从而实现图像特征提取。本实施例通过采用四叉树的方法对图像进行划分，并对划分出的每一个子块进行FAST特征点检测，能够使特征点更加均匀，从而避免特征点重叠和特征点冗余，进而提高特征点匹配精度。通过自适应阈值对每个子块提取改进后的ORB特征点，能够有效提高特征点的提取速度，从而提高特征点提取效率。
本申请还提供一种图像特征提取系统，该系统主要包括：图像金字塔构建模块、划分模块、FAST特征点检测模块、特征点描述子计算模块、特征点生成模块、判断模块和提取模块。通过划分模块，能够将图像金字塔中的每一层图像采用四叉树的方法划分为4个子块，利用FAST特征点检测模块能够对任一子块进行FAST特征点检测，划分模块和FAST特征点检测模块的设置，能够使特征点更加均匀，避免特征点重叠和特征点冗余，从而大大提高特征点的匹配精度。提取模块能够通过自适应阈值对每个子块提取改进后的ORB特征点，从而有效提高特征点的提取速度，进而提高特征点提取效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种图像特征提取方法的流程示意图；
图2为本实施例中图像金字塔的结构示意图；
图3为四叉树方法划分图像的示意图；
图4为本申请实施例所提供的一种图像特征提取系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。
实施例一
参见图1，图1为本申请实施例所提供的一种图像特征提取方法的流程示意图。由图1可知，本实施例中的图像特征提取方法，主要包括如下过程：
S1：读取原始图像，并根据原始图像构建图像金字塔。
本实施例中图像金字塔的结构示意图可以参见图2所示，由图2可知图像金字塔分为多层。具体地，本实施例中构建图像金字塔的方法如下：
S11：利用公式
Figure BDA0002668934250000061
和
Figure BDA0002668934250000062
对原始图像进行高斯模糊。其中，G(x)为一维表达式，G(x，y)为二维表达式，x、y分别为原点到x轴、y轴的距离，σ为高斯函数G的标准差。
通过步骤S11，对原始图像做不同尺度的高斯模糊，通过高斯函数对输入的原始图像进行模糊模板解卷积运算，去除图像的高频成分，实现图像的模糊化。
S12：利用公式I′＝I/scaleFactor·k k＝1，2，…，nlevels，对原始图像进行下采样，将原始图像按比例缩小为nlevels幅图像。
其中，I′为缩放后的图像，scaleFactor为比例因子，I为原图像，k为金字塔层数。
由步骤S12可知，通过设置一个比例因子和金字塔层数，能够将原是图像按比例缩小成nlevels幅图像。其中，比例因子根据Opencv默认取值为1.2，nlevels根据Opencv默认取值为8。
S2：将图像金字塔中的每一层图像采用四叉树的方法划分为4个子块。
具体地，步骤S2包括：
S21：对图像金字塔中的每一层图像进行二值化处理。
S22：根据二值化处理结果，将图像均匀划分为4块，每块对应一个象限。
由步骤S21和S22可知，构建图像金字塔之后，本实施例对图像金字塔中的每一层图像进行二值化处理，并将平均分为四个块，第一象限UR在右侧，UL为左侧第二象限，第三象限LL位于左下方，第四象限LR位于右下方。
继续参见图1可知，采用四叉树方法对图像进行划分后，执行步骤S3：对任一子块进行FAST特征点检测。
具体地，步骤S3包括如下过程：
S31：在任一子块中选择任一像素点P，定义像素点P的灰度值为Ip。
S32：以像素点P为圆心，挑选半径为3个像素点的圆上的16个像素点。
本实施例中采用FAST特征点检测方法，需要提取16个像素点。
S33：判断16个像素点中是否存在连续的l个点，且l个点的灰度值满足|I0-Ip|＞t，其中，I0为l个点中任一点的灰度值，t为设定的灰度值阈值。
当两个像素点的灰度值之差的绝对值＞t时，判定这两个像素点不相同。本实施例中灰度值阈值t可以取值为Ip*20％。
如果16个像素点中存在连续的l个点，且l个点的灰度值满足|I0-Ip|＞t，执行步骤S34：判定像素点P为一个角点。否则，判断像素点P不是一个角点。
也就是当16个像素点中有连续的l个点的灰度值都大于Ip+t或者都小于Ip-t，那么，P就可以被认为是一个角点。
当像素点P为一个角点时，执行步骤S35：判断连续的点数l是否满足：l≥12。
如果连续的点数l满足：l≥12，执行步骤S36：判定P是FAST特征点。
否则，执行步骤S37：判定P不是FAST特征点。
当至少有12个点的灰度值满足|I0-Ip|＞t时，判定P是FAST特征点，否则不是FAST特征点。
S4：对任一子块计算其特征点描述子。
具体地，步骤S4包括如下过程：
S41：利用公式mpq-∑xpyqI(x，y)，定义图像金字塔中任意一层图像的矩。其中，p，q＝0，1，2…，xp、yq分别为x的p次方与y的q次方，I(x，y)为(x，y)点处的灰度值。
S42：根据矩，分别利用公式
Figure BDA0002668934250000071
和θ＝arctan(m01/m10)，计算得出任意一层图像的质心和方向角，其中，m00为零阶矩、m10和m01为一阶矩。
S43：根据任意一层图像的质心和方向角，计算得出ORB特征点的方向角。
S44：利用公式
Figure BDA0002668934250000072
和
Figure BDA0002668934250000073
将ORB特征点的方向角与旋转矩阵进行变换，其中，Aθ为旋转后的特征点对矩阵，Rθ为旋转矩阵。
S45：利用公式gn(p，θ)＝fn(p)|(xi，yi)∈Aθ，计算得出任一子块的特征点描述子，其中，(xi，yi)为随机选择n对点。
继续参见图1可知，分别通过步骤S3和S4，对任一子块进行FAST特征点检测和计算其特征点描述子之后，执行步骤S5：根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点。
具体地，步骤S5采用如下方法实现：
根据FAST特征点和特征点描述子，利用公式
Figure BDA0002668934250000081
Figure BDA0002668934250000082
和gn(p，θ)＝fn(p)|(xi，yi)∈Aθ，确定每个子块改进后的ORB特征点。其中，p(x)，p(y)是点x和点y处的像素灰度值，(xi，yi)为随机选择n对点。
S6：判断任一子块中FAST特征点的个数是否大于5。
本实施例中判断任一子块中FAST特征点的个数的标准，能够高效地判断是否继续执行步骤S2，继续对图像进行划分，而不是每次划分完毕再重新结合所有数据进行判断，能够有效提高图像提取的效率。
如果任一子块中FAST特征点的个数大于5，根据设定的四叉树最大划分深度，返回重新执行步骤S2，继续将图像金字塔中的每一层图像采用四叉树的方法划分为4个子块。
进一步地，本实施例中设定的四叉树最大划分深度取值为8-10，优选取值为10。通过对四叉树的最大划分深度进行限定，当某个分支深度达到一定阈值时，停止该分支划分，从而避免四叉树的层次过深，这种方法既能够确保提高图像特征提取的精度，又能够避免过量的划分，从而提高图像提取的效率。
继续参见图1可知，如果任一子块中FAST特征点的个数小于等于5，执行步骤S7：停止划分。
S8：当所有子块停止划分后，根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点。
具体地，步骤S8包括如下过程：
S81：当所有子块停止划分后，计算划分出的所有子块的总数。
S82：判断待提取的特征点总数是否≥j。
其中
Figure BDA0002668934250000083
FPrequired为待提取的特征点总数，N为所有子块的总数。
如果待提取的特征点总数≥j，执行步骤S83：对任一子块提取j个改进后的ORB特征点。
如果待提取的特征点总数＜j，执行步骤S84：降低FAST特征点检测中设定的灰度值阈值t，并重新检测。
也就是针对待提取的特征点总数＜j的情况，需要降低设定的灰度值阈值t，直到待提取的特征点总数≥j，以便于进行特征点提取。
S85：利用公式
Figure BDA0002668934250000091
采用非极大值抑制法保留j个最佳改进后的ORB特征点。
其中，Sbright为16个邻域像素点中灰度值大于Ip+t的像素点的集合，Sdark为灰度值小于Ip-t的像素点的集合。
实施例二
在图1-图3所示实施例的基础之上参见图4，图4为本申请实施例所提供的一种图像特征提取系统的结构示意图。由图4可知，本实施例中的图像特征提取系统，主要包括：图像金字塔构建模块、划分模块、FAST特征点检测模块、特征点描述子计算模块、特征点生成模块、判断模块和提取模块。
其中，图像金字塔构建模块，用于读取原始图像，并根据原始图像构建图像金字塔。划分模块，用于将图像金字塔中的每一层图像采用四叉树的方法划分为4个子块。FAST特征点检测模块，用于对任一子块进行FAST特征点检测。特征点描述子计算模块，用于对任一子块计算其特征点描述子。特征点生成模块，用于根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点。判断模块，用于判断任一子块中FAST特征点的个数是否大于5，如果是，根据设定的四叉树最大划分深度，触发划分模块，继续将图像金字塔中的每一层图像采用四叉树的方法划分为4个子块，停止划分。提取模块，用于当所有子块停止划分后，根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点。
进一步地，FAST特征点检测模块包括：参考点确定单元、像素点选择单元、第一判断单元和第二判断单元。其中，参考点确定单元，用于在任一子块中选择任一像素点P，定义像素点P的灰度值为Ip；像素点选择单元，用于以像素点P为圆心，挑选半径为3的圆上的16个像素点；第一判断单元，用于判断16个像素点中是否存在连续的l个点，且l个点的灰度值满足|I0-Ip|＞t，其中，I0为l个点中任一点的灰度值，t为设定的灰度值阈值，如果是，判定像素点P为一个角点，否则，判定像素点P不是一个角点；第二判断单元，用于当像素点P为一个角点时，判断连续的点数l是否满足：l≥12，如果是，判定P是FAST特征点，如果否，判定P不是FAST特征点。
图像金字塔构建模块包括：高斯模糊处理单元和下采样单元。其中，高斯模糊处理单元，用于利用公式
Figure BDA0002668934250000092
和
Figure BDA0002668934250000093
对原始图像进行高斯模糊，其中，G(x)为一维表达式，G(x，y)为二维表达式，x、y分别为原点到x轴、y轴的距离，σ为高斯函数G的标准差。下采样单元，用于利用公式I′＝I/scaleFactor·k k＝1，2，…，nlevels，对原始图像进行下采样，将原始图像按比例缩小为nlevels幅图像，其中，I′为缩放后的图像，scaleFactor为比例因子，I为原图像，k为金字塔层数。
划分模块包括：二值化处理单元和均分单元，其中，二值化处理单元用于对图像金字塔中的每一层图像进行二值化处理；均分单元，用于根据二值化处理结果，将图像均匀划分为4块，每块对应一个象限。
特征点描述子计算模块包括：矩定义单元、质心计算单元、ORB特征点方向角计算单元和变换单元。其中，矩定义单元，用于利用公式mpq＝∑xpyqI(x，y)，定义图像金字塔中任意一层图像的矩，其中，p，q＝0，1，2…，xp、yq分别为x的p次方与y的q次方，I(x，y)为(x，y)点处的灰度值；质心计算单元，用于根据矩，分别利用公式
Figure BDA0002668934250000101
和θ＝arctan(m01/m10)，计算得出任意一层图像的质心和方向角，其中，m00为零阶矩、m10和m01为一阶矩；ORB特征点方向角计算单元，用于根据任意一层图像的质心和方向角，计算得出ORB特征点的方向角；变换单元，用于利用公式
Figure BDA0002668934250000102
和
Figure BDA0002668934250000103
将ORB特征点的方向角与旋转矩阵进行变换，其中，Aθ为旋转后的特征点对矩阵，Rθ为旋转矩阵。
提取模块包括：子块总数统计单元、第三判断单元、第一提取单元、自适应阈值单元、第二提取单元。其中，子块总数统计单元，用于当所有子块停止划分后，计算划分出的所有子块的总数；第三判断单元，用于判断待提取的特征点总数是否≥j，其中
Figure BDA0002668934250000104
FPrequired为待提取的特征点总数，N为所有子块的总数；第一提取单元，用于待提取的特征点总数≥j时，对任一子块提取j个改进后的ORB特征点；自适应阈值单元，用于待提取的特征点总数＜j时，降低FAST特征点检测中设定的灰度值阈值t，并重新检测；第二提取单元，用于利用公式
Figure BDA0002668934250000105
采用非极大值抑制法保留j个最佳改进后的ORB特征点，其中，Sbright为16个邻域像素点中灰度值大于Ip+t的像素点的集合，Sdark为灰度值小于Ip-t的像素点的集合。
该实施例中图像特征提取系统的工作原理和工作方法，在图1-图3所示的实施例中已经详细阐述，在此不再赘述。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像特征提取方法，其特征在于，所述方法包括：
读取原始图像，并根据原始图像构建图像金字塔；
将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块；
对任一子块进行FAST特征点检测；
对任一子块计算其特征点描述子；
根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点；
判断所述任一子块中FAST特征点的个数是否大于5；
如果是，根据设定的四叉树最大划分深度，继续将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块；
如果否，停止划分；
当所有子块停止划分后，根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点。
2.根据权利要求1所述的一种图像特征提取方法，其特征在于，所述读取原始图像，并根据原始图像构建图像金字塔，包括：
利用公式
Figure FDA0002668934240000011
和
Figure FDA0002668934240000012
对原始图像进行高斯模糊，其中，G(x)为一维表达式，G(x，y)为二维表达式，x、y分别为原点到x轴、y轴的距离，σ为高斯函数G的标准差；
利用公式I′＝I/scaleFactor·k k＝1，2，…，nlevels，对原始图像进行下采样，将所述原始图像按比例缩小为nlevels幅图像，其中，I′为缩放后的图像，scaleFactor为比例因子，I为原图像，k为金字塔层数。
3.根据权利要求1所述的一种图像特征提取方法，其特征在于，将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块，具体为：
对所述图像金字塔中的每一层图像进行二值化处理；
根据二值化处理结果，将图像均匀划分为4块，每块对应一个象限。
4.根据权利要求1所述的一种图像特征提取方法，其特征在于，所述对任一子块进行FAST特征点检测，包括：
在所述任一子块中选择任一像素点P，定义像素点P的灰度值为Ip；
以像素点P为圆心，挑选半径为3个像素点的圆上的16个像素点；
判断16个像素点中是否存在连续的l个点，且所述l个点的灰度值满足|I0-Ip|＞t，其中，I0为l个点中任一点的灰度值，t为设定的灰度值阈值；
如果是，判定像素点P为一个角点；
当像素点P为一个角点时，判断连续的点数l是否满足：l≥12；
如果是，判定P是FAST特征点；
如果否，判定P不是FAST特征点。
5.根据权利要求1所述的一种图像特征提取方法，其特征在于，所述对任一子块计算其特征点描述子，包括：
利用公式mpq＝∑xpyqI(x，y)，定义图像金字塔中任意一层图像的矩，其中，p，q＝0，1，2…，xp、yq分别为x的p次方与y的q次方，I(x，y)为(x，y)点处的灰度值；
根据所述矩，分别利用公式
Figure FDA0002668934240000021
和θ＝arctan(m01/m10)，计算得出所述任意一层图像的质心和方向角，其中，m00为零阶矩、m10和m01为一阶矩；
根据所述任意一层图像的质心和方向角，计算得出ORB特征点的方向角；
利用公式
Figure FDA0002668934240000022
和
Figure FDA0002668934240000023
将所述ORB特征点的方向角与旋转矩阵进行变换，其中，Aθ为旋转后的特征点对矩阵，Rθ为旋转矩阵；
利用公式gn(p，θ)＝fn(p)|(xi，yi)∈Aθ，计算得出任一子块的特征点描述子，其中，(xi，yi)为随机选择n对点。
6.根据权利要求5所述的一种图像特征提取方法，其特征在于，根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点，具体为：
根据FAST特征点和特征点描述子，利用公式
Figure FDA0002668934240000024
Figure FDA0002668934240000025
和gn(p，θ)＝fn(p)|(xi，yi)∈Aθ，确定每个子块改进后的ORB特征点，其中，p(x)，p(y)是点x和点y处的像素灰度值，(xi，yi)为随机选择n对点。
7.根据权利要求1所述的一种图像特征提取方法，其特征在于，所述当所有子块停止划分后，根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点，包括：
当所有子块停止划分后，计算划分出的所有子块的总数；
判断待提取的特征点总数是否≥j，其中
Figure FDA0002668934240000031
FPrequired为待提取的特征点总数，N为所有子块的总数；
如果是，对任一子块提取j个改进后的ORB特征点；
如果否，降低FAST特征点检测中设定的灰度值阈值t，并重新检测；
利用公式
Figure FDA0002668934240000032
采用非极大值抑制法保留j个最佳改进后的ORB特征点，其中，Sbright为16个邻域像素点中灰度值大于Ip+t的像素点的集合，Sdark为灰度值小于Ip-t的像素点的集合。
8.根据权利要求1-7中任一所述的一种图像特征提取方法，其特征在于，所述设定的四叉树最大划分深度为8-10。
9.一种图像特征提取系统，其特征在于，所述系统包括：
图像金字塔构建模块，用于读取原始图像，并根据原始图像构建图像金字塔；
划分模块，用于将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块；
FAST特征点检测模块，用于对任一子块进行FAST特征点检测；
特征点描述子计算模块，用于对任一子块计算其特征点描述子；
特征点生成模块，用于根据FAST特征点和特征点描述子，生成每个子块改进后的ORB特征点；
判断模块，用于判断所述任一子块中FAST特征点的个数是否大于5，如果是，根据设定的四叉树最大划分深度，触发划分模块，继续将所述图像金字塔中的每一层图像采用四叉树的方法划分为4个子块，停止划分；
提取模块，用于当所有子块停止划分后，根据所有子块的总数，通过自适应阈值对每个子块提取改进后的ORB特征点。
10.根据权利要求9所述的一种图像特征提取系统，其特征在于，所述FAST特征点检测模块包括：
参考点确定单元，用于在所述任一子块中选择任一像素点P，定义像素点P的灰度值为Ip；
像素点选择单元，用于以像素点P为圆心，挑选半径为3个像素点的圆上的16个像素点；
第一判断单元，用于判断16个像素点中是否存在连续的l个点，且所述l个点的灰度值满足|I0-Ip|＞t，其中，I0为l个点中任一点的灰度值，t为设定的灰度值阈值，如果是，判定像素点P为一个角点，否则，判定像素点P不是一个角点；
第二判断单元，用于当像素点P为一个角点时，判断连续的点数l是否满足：l≥12，如果是，判定P是FAST特征点，如果否，判定P不是FAST特征点。
CN202010927408.9A 2020-09-07 2020-09-07 一种图像特征提取方法及系统 Pending CN112017197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010927408.9A CN112017197A (zh) 2020-09-07 2020-09-07 一种图像特征提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010927408.9A CN112017197A (zh) 2020-09-07 2020-09-07 一种图像特征提取方法及系统

Publications (1)

Publication Number Publication Date
CN112017197A true CN112017197A (zh) 2020-12-01

Family

ID=73515933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010927408.9A Pending CN112017197A (zh) 2020-09-07 2020-09-07 一种图像特征提取方法及系统

Country Status (1)

Country Link
CN (1) CN112017197A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883984A (zh) * 2021-02-26 2021-06-01 山东大学 一种基于特征匹配的机械臂抓取系统与方法
CN113052750A (zh) * 2021-03-31 2021-06-29 广东工业大学 一种用于vslam系统中任务跟踪的加速器及加速装置
CN113191370A (zh) * 2021-04-26 2021-07-30 安徽工程大学 一种基于阈值自适应阈值调整的orb算法
WO2023092997A1 (zh) * 2021-11-23 2023-06-01 上海商汤智能科技有限公司 图像特征点选取方法及装置、设备、存储介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084248A (zh) * 2019-04-23 2019-08-02 陕西理工大学 一种orb特征均匀化提取方法
CN110334762A (zh) * 2019-07-04 2019-10-15 华南师范大学 一种基于四叉树结合orb和sift的特征匹配方法
CN110414533A (zh) * 2019-06-24 2019-11-05 东南大学 一种改进orb的特征提取与匹配方法
CN110675437A (zh) * 2019-09-24 2020-01-10 重庆邮电大学 一种基于改进gms-orb特征的图像匹配方法及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084248A (zh) * 2019-04-23 2019-08-02 陕西理工大学 一种orb特征均匀化提取方法
CN110414533A (zh) * 2019-06-24 2019-11-05 东南大学 一种改进orb的特征提取与匹配方法
CN110334762A (zh) * 2019-07-04 2019-10-15 华南师范大学 一种基于四叉树结合orb和sift的特征匹配方法
CN110675437A (zh) * 2019-09-24 2020-01-10 重庆邮电大学 一种基于改进gms-orb特征的图像匹配方法及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙浩 等: ""一种基于区域划分的改进ORB算法"", 《北京航空航天大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883984A (zh) * 2021-02-26 2021-06-01 山东大学 一种基于特征匹配的机械臂抓取系统与方法
CN113052750A (zh) * 2021-03-31 2021-06-29 广东工业大学 一种用于vslam系统中任务跟踪的加速器及加速装置
CN113191370A (zh) * 2021-04-26 2021-07-30 安徽工程大学 一种基于阈值自适应阈值调整的orb算法
WO2023092997A1 (zh) * 2021-11-23 2023-06-01 上海商汤智能科技有限公司 图像特征点选取方法及装置、设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
CN112017197A (zh) 一种图像特征提取方法及系统
CN110414533B (zh) 一种改进orb的特征提取与匹配方法
CN110400332B (zh) 一种目标检测跟踪方法、装置及计算机设备
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
WO2022267287A1 (zh) 图像配准方法及相关装置、设备和存储介质
JP2014056572A (ja) 勾配方位のヒストグラムによるテンプレート・マッチング
CN109472262A (zh) 车牌识别方法、装置、计算机设备及存储介质
Lo et al. Joint trilateral filtering for depth map super-resolution
CN104240231A (zh) 基于局部结构二进制模式的多源图像配准
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN111260779A (zh) 地图构建方法、装置及系统、存储介质
CN106355608A (zh) 基于可变权重代价计算与S‑census变换的立体匹配方法
CN108229500A (zh) 一种基于函数拟合的sift误匹配点剔除法
CN115830335A (zh) 一种基于自适应阈值算法的orb图像特征提取方法
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN110599478B (zh) 一种图像区域复制粘贴篡改检测方法
Al-Hammadi et al. Improving SURF based copy-move forgery detection using super resolution
CN108830283B (zh) 一种图像特征点匹配方法
López-Rubio et al. Local color transformation analysis for sudden illumination change detection
CN108062523B (zh) 一种红外远小目标检测方法
CN106600598B (zh) 基于局部网格匹配的彩色图像篡改检测方法
Shah et al. River extraction from satellite image
CN110991501B (zh) 一种基于Hessian矩阵的改进ORB特征点匹配方法
Shuai et al. Salient region detection via texture-suppressed background contrast
Lim et al. A census transform-based robust stereo matching under radiometric changes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201201

RJ01 Rejection of invention patent application after publication