CN109993176A - 图像局部特征描述方法、装置、设备及介质 - Google Patents

图像局部特征描述方法、装置、设备及介质 Download PDF

Info

Publication number
CN109993176A
CN109993176A CN201711477050.9A CN201711477050A CN109993176A CN 109993176 A CN109993176 A CN 109993176A CN 201711477050 A CN201711477050 A CN 201711477050A CN 109993176 A CN109993176 A CN 109993176A
Authority
CN
China
Prior art keywords
point
interest
gray scale
subinterval
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711477050.9A
Other languages
English (en)
Inventor
蒋飞云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Anhui Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Anhui Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201711477050.9A priority Critical patent/CN109993176A/zh
Publication of CN109993176A publication Critical patent/CN109993176A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像局部特征描述方法、装置、设备及介质,所述方法包括:按照像素点的灰度值,将图像中的局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的灰度值范围内;获取各个灰度子区间的灰度值梯度信息;以及基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。通过本发明实施例提供的技术方案,能够提升图像局部特征描述的稳健性、可区分性,并降低特征向量的维数。

Description

图像局部特征描述方法、装置、设备及介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种图像局部特征描述方法、装置、设备及介质。
背景技术
图像局部特征在视频信号传输、图像匹配与检索、机器人导航、目标识别等领域获得广泛的应用。图像局部特征描述方法是将图像分割成一些独立的局部区域,这些局部区域反应了图像的本质特征,然后对每个局部区域运用数学方法形成独特性的局部特征描述符(局部特征描述子向量)。通常需要具备两个特性,一是不变性,即能够抗击视角、光照、旋转、遮挡、噪音、尺度等变化带来的攻击,二是可区分性,即不同图像的局部特征,差异应尽可能大。
现有的图像局部特征描述方法包括获取低维局部特征描述子向量、全局特征描述子向量、计算图像局部特征描述子向量等。但上述描述子向量的方法在仿射不变性、旋转不变性及高纬数特性的特征,不利于实时的图像匹配、分类及检索。
综上所述,仍然需要一种改进的图像局部特征描述方案,以解决上述的至少一个问题。
发明内容
本发明实施例提供了一种图像局部特征描述方法、装置、设备和介质,按照像素点灰度值划分局部特征区域,能够抵抗光照模糊、灰度变化、视角变化、尺度变化等因素带来的攻击,并同时具备完全旋转不变性,且该描述符的向量维度较低,在图像配准、目标识别与分类等应用中,能够大大提高精准性和效率。
第一方面,本发明实施例提供了一种图像局部特征描述方法,该方法包括:
按照像素点的灰度值,将图像中的局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的连续灰度值范围内;
获取各个灰度子区间的灰度值梯度信息;以及
基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
第二方面,本发明实施例提供了一种图像局部特征描述装置,其特征在于,该装置包括:
子区间划分单元,用于按照像素点的灰度值,将图像中的局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的灰度值范围内;
灰度值梯度信息获取单元,用于获取各个灰度子区间的灰度值梯度信息;以及
局部描述符形成单元,用于基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
本发明实施例提供了一种计算设备,包括:至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
本发明实施例提供的图像局部特征描述方法、装置、设备及介质,按照像素点灰度值划分局部特征区域,有序的空间灰度分布它对任意单调递增的灰度变化是不变,不仅融合了空间关系,还能够处理更复杂的非线性的亮度变化,对光照模糊具有很好的抵抗性;其次,在局部特征区域内建立关于像素点的坐标系,以此坐标系为基准,计算像素点的梯度幅值和方向,保证完全旋转不变性;最后联合各子区间形成低维的局部特征描述子。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明一个实施例的图像局部特征描述方法的示意性流程图。
图2示出了根据本发明一个实施例的Hessian-Affine检测出的特征区域。
图3示出了根据本发明一个实施例的局部区域按灰度大小的划分示意图。
图4示出了根据本发明一个实施例的局部坐标系示意图。
图5示出了根据本发明一个实施例的特征描述符的直方图形式的示意图。
图6示出了根据本发明一个实施例的图像局部特征描述装置的示意图。
图7示出了本发明实施例提供的计算设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
图像局部特征在视频信号传输、图像匹配与检索、机器人导航、目标识别等领域获得广泛的应用,其核心思想是将图像分割成一些独立的局部区域,这些局部区域反应了图像的本质特征,然后对每个局部区域运用数学方法形成独特性的描述子(向量),通常需要具备两个特性,一是不变性,即能够抗击视角、光照、旋转、遮挡、噪音、尺度等变化带来的攻击,二是可区分性,即不同图像的局部特征,差异应尽可能大。
近年来,出现了一些关于图像局部特征描述方法的发明方案:
例如,一种获取低维局部特征描述子的方法,通过降维矩阵将描述子集合中的每一个局部特征描述子进行降维,获得与每一个局部特征描述子对应的低维局部特征描述子,以降低局部特征描述子的维度,并去除局部特征描述子的冗余信息。
例如,一种全局特征描述子的聚合方法,通过根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,并从所述排序后的局部特征描述子中选择若干个局部特征描述子,采用高斯混合模型对所述若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子,可降低全局特征描述子聚合过程中的时间复杂度,提高全局特征描述子的鉴别力和鲁棒性。
例如,一种计算图像局部特征描述子的方法,通过变换矩阵对SIFT描述子进行变换,获得一个16x8的矩阵,然后对获得的16x8的矩阵变换成128维向量,之后即为局部特征描述子,新的描述子具有更强的判别能力和鲁棒性。
例如,一种局部特征描述方法,首先对获得的局部兴趣区域归一化,然后利用极坐标采样网格划分局部块,对局部块进行量化采样,将其映射为2维矩阵并提取2维DCT频域特征,再按zigzag顺序扫描DCT系数矩阵,重排和筛选DCT特征,形成最终的局部描述符。本发明使用极坐标采样结构,不仅保留了局部块的原始空域信息,而且能够容忍一定的形变,增强描述符的鲁棒性。
现有的技术未能解决如下的问题:
1、仿射不变性:应对大视角变化下的图像,缺乏稳定性,主要原因受限于特征检测步骤中,如DOG(高斯差分算子),因此关键在于如何选择具备仿射不变性的特征检测算法。
2、旋转不变性:现有的描述符虽具备一定的旋转不变性,但并不是完全旋转不变性,例如SIFT、SURF、GLOH等通过关键点周围主方向确定的,主方向是通过极值点周围区域梯度直方图的主峰值确定的,但当图像出现旋转变化时,直方图统计主方向会存在偏差,所以并不是完全意义上的旋转不变性。
3、高维数特性:例如SIFT的描述子具备128维,高维向量在实际计算时耗时较长,不利于实时的图像匹配、分类、检索。
有鉴于此,本发明提出了一种图像局部特征描述方案,通过构建一种新颖的图像特征描述符,提升图像局部特征描述的稳健性、可区分性,并降低特征向量的维数,使其可用于图像配准、目标识别与分类、视觉分析等领域。
本发明提出的一种新颖的图像局部特征描述方法,包含特征检测和特征描述两方面的工作。首先在特征检测步骤中,可以采用Hessian-Affine算法检测图像中的局部特征。其次在特征描述步骤中,构造一种旋转不变性的坐标系,在检测出的特征区域按照图像灰度大小划分各个子区间,利用上述坐标系计算每个区域内的梯度和方向,形成一个灰度区间的梯度直方图,使其具备完全旋转不变性。最后,合成各子区间的梯度直方图形成局部特征描述子,并进行归一化去除光照影响。
图1示出了根据本发明一个实施例的图像局部特征描述方法的示意性流程图。
如图1所示,在步骤S110,按照像素点的灰度值,将图像中的局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的连续灰度值范围内。
在步骤S120,获取各个灰度子区间的灰度值梯度信息。
在步骤S130,基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
如下将结合附图及实施例详细说明本发明的图像局部特征描述方案。
一、图像特征检测
局部特征区域是图像特征的局部表达,能反映图像上具有的局部特殊性,适合于对图像进行匹配,检索等应用。
图像特征检测步骤在图像特征描述步骤之前。本发明中,可以在上述步骤S110之前进行图像特征检测步骤。
在一个优选实施例中,可以采用Hessian-Affine算法来进行检测。
该方法检测的关键点区域数量丰富,并且对噪声、光照变化具有很好的稳定性和鲁棒性。
采用Hessian-Affine检测图像中的局部区域,不仅能够应对图像大视角变化、保证尺度不变性,同时其检测速度更快,另外特征数量丰富从而在有利于在遮挡情况下的图像匹配。
为了应对大视角变化下产生的几何形变,Hessian-Affine定位的特征区域可以使用椭圆形状,椭圆形状内的图像内容在不同视角下都可以保持不变,兼顾了尺度和仿射不变性。图2示出了根据本发明一个实施例的Hessian-Affine检测出的特征区域。
二、图像特征描述
基于上述Hessian-Affine算法检测出的椭圆区域进行如下图像特征描述流程。
参见图1所示的方法,在步骤S110,按照像素点的灰度值,将图像中的局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的连续灰度值范围内。
这里的像素点是该局部特征区域内的所有像素点。
在一个优选实施例中,可以获取局部特征区域内的所有像素点的灰度值,按照像素点灰度值的大小,将局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的连续灰度值范围内。
本发明划分的灰度子区间的数目可以是任意的。在一个优选实施例中,本发明的灰度子区间的数目优选为6个。例如,灰度值在0-43之间的像素点在一个灰度子区间,灰度值在44-88之间的像素点在另二个灰度子区间,依次类推。
为便于划分,也可以将所述局部特征区域标准化(或归一化)为圆形区域,以获取该圆形区域内的所有像素点的灰度值,再进行划分。
在一个优选实施例中,可以将检测出的椭圆区域(局部特征区域)归一化为圆形区域,并统计该椭圆区域内的所有像素点灰度值,然后将其按照灰度大小顺序划分为6个子区间。图3示出了根据本发明一个实施例的局部区域按灰度大小的划分示意图。
在步骤S120,获取各个灰度子区间的灰度值梯度信息。
这里的灰度值梯度信息是用以表示灰度子区间的灰度或梯度等的信息。
各个灰度子区间的灰度值梯度信息可以是通过计算灰度子区间内的兴趣点(像素点)的梯度信息(逐渐)得到的。
例如,可以在步骤S121计算兴趣点的梯度信息;在步骤S122,分别对每个灰度子区间中的兴趣点的梯度信息进行统计,以得到相应灰度子区间的灰度值梯度信息。其中,兴趣点是局部特征区域内的像素点。
应当理解,本发明的局部特征区域内的所述像素点均可以作为兴趣点。
对于步骤S121,兴趣点的梯度信息可以是根据该兴趣点的灰度信息得到的。
例如,可以基于特征点与兴趣点建立坐标系,基于该坐标系以及兴趣点的灰度信息(例如灰度值)获得兴趣点的梯度信息。
在一个优选实施例中,可以以所述兴趣点为原点,以局部特征区域中的预定特征点和所述兴趣点的连线方向为一个坐标轴,建立局部坐标系,基于局部坐标系计算兴趣点的梯度信息。其中,另一个坐标轴垂直于所述连线方向。
上述基于兴趣点与特征点建立的局部坐标系可以是遵循预定的建立规则建立的。
例如,可以以上述连线方向为Y轴(或X轴),与连线方向垂直的坐标轴为X轴(或Y轴),为由特征点指向兴趣点的方向作为Y轴的指向。
图4示出了根据本发明一个实施例的局部坐标系示意图。其中,点P表示特征点,点Pi表示兴趣点,以连线PPi为Y轴,垂直于PPi的坐标轴为X轴。
从图4可知,无论图像如何旋转,兴趣点Pi的梯度方向相对于该局部坐标系永远不变(图像旋转时,该坐标系也随之旋转),因此梯度方向从理论上说完全是旋转不变的。
应当理解,图4所示的坐标系仅是示例。本发明的局部坐标系包括但不限于是图4所示的坐标系。并且,本发明的划分灰度子区间和/或建立局部坐标系的步骤的顺序不是唯一确定,其可以同时进行也可以分别进行,建立局部坐标系的步骤也可以在划分灰度子区间之前进行。
本发明的建立规则可以是任意的,只要在该局部特征区域内建立局部坐标系时采用统一的建立规则即可。本发明不对该建立规则作任何限制。
上述建立局部坐标系的方式适用于本发明局部特征区域内的所有像素点,即,局部特征区域内的任一像素点作为兴趣点时,都可以按照上述方式建立关于兴趣点与特征点的局部坐标系。
由此,通过上述方法可以得到局部特征区域内的所有像素点的梯度信息,以作为本发明进行图像局部特征描述的基础数据。
为了便于计算兴趣点的梯度信息,可以选择预定像素点作为样本点进行计算。
在一个优选实施例中,样本点可以是局部坐标系的两个坐标轴上与兴趣点邻近的像素点(例如,最邻近的4个像素点),这样,基于样本点的灰度值就可以计算所述兴趣点的梯度信息。
根据图4所示的局部坐标系,可以基于下述公式计算所述兴趣点的梯度信息:
其中,点P是特征点,点Pi是兴趣点,是样本点(j=1,2,3,4,)。I(pi j)为样本点pi j的灰度,m(pi)为兴趣点的梯度幅值,θ(pi)为兴趣点Pi的方向角(梯度方向),j的取值为1,2,3,4,在局部坐标系的一个坐标轴上,在局部坐标系的另一个坐标轴上。
按照上述所述的坐标系及梯度信息计算公式,即可在每个子区间利用该区间内的样本点计算兴趣点Pi相关的梯度信息。
兴趣点的梯度信息可以包括基于局部坐标系表示的梯度方向和梯度幅值。
对于步骤S122,在一个优选实施例中,对于预定数量的方向范围中的每一个,可以统计梯度方向在该方向范围内的兴趣点的个数或梯度幅值之和,得到对应于该方向范围的统计值,按第一预定顺序依次组合所述预定数量的方向范围的统计值,得到相应灰度子区间的灰度值梯度信息。
方向范围是像素点的方位角的方位,其可以是按照0-360°均分的。在一个优选实施例中,方向范围的预定数量可以是8个。
为了便于统计和特征描述,可以将各方向范围内像素点的梯度方向映射到相应的方向上。例如,可以将每个方向范围中的兴趣点梯度方向映射到该方向范围内的一个预定方向上,统计梯度方向被映射到各个预定方向的兴趣点的个数或梯度幅值之和,得到对应于该方向范围的统计值。
在一个优选实施例中,上述方向范围可以为预定方向可以是8个。
在一个优选实施例中,可以以梯度方向直方图的形式呈现上述的灰度子区间的灰度值梯度信息。
这样,在每个灰度子区间利用该区间内的样本点计算兴趣点相关的梯度幅值和方向,然后把梯度方向映射到8个方向上,即可形成一个灰度子区间的梯度方向直方图,由此,得到各个灰度子区间的梯度方向直方图。
在步骤S130,基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
局部描述符是图像的表示,反应了图像的本质特征。
在一个优选实施例中,可以按第二预定顺序依次组合各个灰度子区间的灰度值梯度信息,形成局部特征区域的局部描述符。该第二预定顺序可以是任意的。
即,合成6个子区间的梯度直方图形成8*6=48维的局部描述符,即特征点P的描述向量。
局部描述符也可以以梯度方向直方图的形式进行呈现。
图5示出了根据本发明一个实施例的特征描述符的直方图形式的示意图。
如图5所示,将各个灰度子区间按顺序标号,并将其灰度值梯度信息组合成图5所示的局部描述符。
6个格子代表不同的灰度区间,每个格子内都有8个箭头,其方向表示梯度方向(上文述及的预定方向),箭头长度表示直方图单元的幅值(该幅值为上文述及的梯度方向在此方向范围内的像素点的梯度幅值之和)。
应当理解,图4所示的直方图形式只是本发明的特征描述符的一种呈现形式,本发明的特征描述符(或各个灰度子区间的灰度值梯度信息)也可以其它形式呈现,本发明对此不作限制。
为了消除光线的影响,还可以在最后对上述特征描述符进行归一化以去除光照影响。
本发明提出的局部特征描述符同样具备尺度、旋转、光照、仿射等不变性,而且特征向量的维数更低,仅48维。
本发明的图像特征描述方案,采用Hessian-Affine检测图像中的局部区域,不仅能够应对图像大视角变化、保证尺度不变性,同时其检测速度更快,另外特征数量丰富从而在有利于在遮挡情况下的图像匹配。表1显示了本发明的方案与相关技术检测算法的效果对比。
表1
传统方法是对特征区域进行空间划分,这种划分方法仅仅是按照简易的空间结构进行划分,例如以兴趣点为圆心按半径大小将特征区域划分为若干个同心圆(SIFT的局部区域划分方法)。
与传统方法相比,本发明按照灰度大小顺序划分局部特征区域,有序的空间灰度分布它对任意单调递增的灰度变化是不变,不仅融合了空间关系,还能够处理更复杂的非线性的亮度变化,对光照模糊具有很好的抵抗性。
其次,在局部特征区域内构造一种坐标系,以此坐标系为基准,计算像素点的梯度幅值和方向,保证完全旋转不变性。最后联合各灰度子区间形成低维的特征描述符(子)。
为了验证本发明提出的方案与例如SIFT特征算法之类的相关技术相比的优点,对一图片分别进行了视角变化、图像模糊、光照变化、尺度变化、旋转变化,针对该图片和经过变化的图片,利用本发明技术方案与常用SIFT特征算法进行图像特征识别,从而对两张图片中的对应特征点进行匹配。实验结果显示,本发明的技术方案得到的两张图片之间的图像匹配的结果中误匹配的地方明显减少。
本发明方案旨在提升图像局部特征描述的稳健性、可区分性,并降低特征向量的维数,可用于图像配准、目标识别与分类、视觉分析等领域。
此外,本发明的图像局部特征描述方法可以由一种图像局部特征描述装置实现。图6示出了根据本发明一个实施例的图像局部特征描述装置的示意图。参考图6,简要说明本发明的图像局部特征描述装置,其功能的具体实现可参见上文关于图1的描述,在此不再赘述。
如图6所示,该图像局部特征描述装置600可以包括:子区间划分单元610、灰度值梯度信息获取单元620和局部描述符形成单元630。
子区间划分单元610,用于按照像素点的灰度值,将图像中的局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的灰度值范围内。
灰度值梯度信息获取单元620,用于获取各个灰度子区间的灰度值梯度信息。
局部描述符形成单元630,用于基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
灰度值梯度信息获取单元620可选地还可以包括梯度计算单元和统计单元(图中未示出)。
梯度计算单元可以用于计算兴趣点的梯度信息,其中所述兴趣点是所述局部特征区域内的像素点;以及
统计单元可以分别对每个所述灰度子区间中的兴趣点的梯度信息进行统计,以得到相应灰度子区间的灰度值梯度信息。
梯度计算单元可选地还可以包括局部坐标系建立单元,该局部坐标系建立单元可以以所述兴趣点为原点,以所述局部特征区域中的预定特征点和所述兴趣点的连线方向为一个坐标轴,建立局部坐标系,其中,另一个坐标轴垂直于所述连线方向,梯度计算单元可以基于所述局部坐标系计算所述兴趣点的梯度信息。
具体地,梯度计算单元可以基于样本点的灰度值计算所述兴趣点的梯度信息,其中,所述样本点是所述局部坐标系的两个坐标轴上与所述兴趣点邻近的像素点。
梯度计算单元可以基于下述公式计算所述兴趣点的梯度信息:
其中,以点P表示所述特征点,以点Pi表示所述兴趣点,表示所述样本点,I(pi j)为所述样本点pi j的灰度,m(pi)为所述兴趣点的梯度幅值,θ(pi)为所述兴趣点的方向角,j的取值为1,2,3,4,在所述局部坐标系的一个坐标轴上,在所述局部坐标系的另一个坐标轴上。
另外,兴趣点的梯度信息包括基于所述局部坐标系表示的梯度方向和梯度幅值,对于预定数量的方向范围中的每一个,统计单元可以统计梯度方向在该方向范围内的兴趣点的个数或梯度幅值之和,得到对应于该方向范围的统计值,并按第一预定顺序依次组合所述预定数量的方向范围的统计值,得到相应灰度子区间的灰度值梯度信息。
具体地,统计单元可以将每个方向范围中的兴趣点梯度方向映射到该方向范围内的一个预定方向上,统计梯度方向被映射到各个预定方向的兴趣点的个数或梯度幅值之和,得到对应于该方向范围的统计值。
优选地,本发明的局部特征描述方案中可以以梯度方向直方图的形式呈现所述灰度子区间的灰度值梯度信息。
优选地,子空间划分单元610可以用于获取所述局部特征区域内的所有像素点的灰度值,并按照所述像素点灰度值的大小,将所述局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的连续灰度值范围内。
优选地,子空间划分单元610将所述局部特征区域标准化为圆形区域,以获取该圆形区域内的所有像素点的灰度值。
优选地,局部描述符形成单元630可以按预定顺序依次组合各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
优选地,本发明的图像局部特征描述装置还可以包括检测单元,检测单元用于检测所述图像中的局部特征区域,其中,采用Hessian-Affine算法检测所述局部特征区域;并且/或者所述局部特征区域的中心点是特征点;并且/或者所述局部特征区域是椭圆形状。
至此,已经结合附图6对实现本发明的图像局部特征描述方法的装置进行了简要说明。
另外,结合图1描述的本发明实施例的图像局部特征描述方法可以由计算设备来实现。图7示出了本发明实施例提供的计算设备的硬件结构示意图。
计算设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地,上述处理器701可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器702可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器702可在数据处理装置的内部或外部。在特定实施例中,存储器702是非易失性固态存储器。在特定实施例中,存储器702包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令,以实现上述实施例中的任意一种图像局部特征描述方法。
在一个示例中,计算设备还可包括通信接口703和总线710。其中,如图7所示,处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者,将计算设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线710可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
另外,结合上述实施例中的图像局部特征描述方法,本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像局部特征描述方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (13)

1.一种图像局部特征描述方法,其特征在于,所述方法包括:
按照像素点的灰度值,将图像中的局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的连续灰度值范围内;
获取各个灰度子区间的灰度值梯度信息;以及
基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
2.根据权利要求1所述的方法,其特征在于,所述获取各个灰度子区间的灰度值梯度信息的步骤包括:
计算兴趣点的梯度信息,其中所述兴趣点是所述局部特征区域内的像素点;以及
分别对每个所述灰度子区间中的兴趣点的梯度信息进行统计,以得到相应灰度子区间的灰度值梯度信息。
3.根据要求2所述的方法,其特征在于,所述计算兴趣点的梯度信息的步骤包括:
以所述兴趣点为原点,以所述局部特征区域中的预定特征点和所述兴趣点的连线方向为一个坐标轴,建立局部坐标系,其中,另一个坐标轴垂直于所述连线方向;以及
基于所述局部坐标系计算所述兴趣点的梯度信息。
4.根据权利要求3所述的方法,其特征在于,所述基于所述局部坐标系计算所述兴趣点的梯度信息的步骤包括:
基于样本点的灰度值计算所述兴趣点的梯度信息,其中,所述样本点是所述局部坐标系的两个坐标轴上与所述兴趣点邻近的像素点。
5.根据权利要求4所述的方法,其特征在于,基于下述公式计算所述兴趣点的梯度信息:
其中,以点P表示所述特征点,以点Pi表示所述兴趣点,表示所述样本点,I(pi j)为所述样本点pi j的灰度,m(pi)为所述兴趣点的梯度幅值,θ(pi)为所述兴趣点的方向角,j的取值为1,2,3,4,在所述局部坐标系的一个坐标轴上,在所述局部坐标系的另一个坐标轴上。
6.根据权利要求3所述的方法,其特征在于,所述兴趣点的梯度信息包括基于所述局部坐标系表示的梯度方向和梯度幅值,所述分别对每个所述灰度子区间中的兴趣点的梯度信息进行统计以得到相应灰度子区间的灰度值梯度信息的步骤包括:
对于预定数量的方向范围中的每一个,统计梯度方向在该方向范围内的兴趣点的个数或梯度幅值之和,得到对应于该方向范围的统计值;以及
按第一预定顺序依次组合所述预定数量的方向范围的统计值,得到相应灰度子区间的灰度值梯度信息。
7.根据权利要求6所述的方法,其特征在于,所述对于预定数量的方向范围中的每一个,统计梯度方向在该方向范围内的兴趣点的个数或梯度幅值之和,得到对应于该方向范围的统计值的步骤包括:
将每个方向范围中的兴趣点梯度方向映射到该方向范围内的一个预定方向上,统计梯度方向被映射到各个预定方向的兴趣点的个数或梯度幅值之和,得到对应于该方向范围的统计值。
8.根据权利要求1所述的方法,其特征在于,所述按照像素点的灰度值将图像中的局部特征区域划分为多个灰度子区间的步骤包括:
获取所述局部特征区域内的所有像素点的灰度值;以及
按照所述像素点灰度值的大小,将所述局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的连续灰度值范围内。
9.根据权利要求8所述的方法,其特征在于,所述获取所述局部特征区域内的所有像素点的灰度值的步骤包括:
将所述局部特征区域标准化为圆形区域,以获取该圆形区域内的所有像素点的灰度值。
10.根据权利要求1所述的方法,其特征在于,所述基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符的步骤包括:
按预定顺序依次组合各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
11.一种图像局部特征描述装置,其特征在于,所述装置包括:
子区间划分单元,用于按照像素点的灰度值,将图像中的局部特征区域划分为多个灰度子区间,每个灰度子区间中的像素点的灰度值在预定的灰度值范围内;
灰度值梯度信息获取单元,用于获取各个灰度子区间的灰度值梯度信息;以及
局部描述符形成单元,用于基于各个灰度子区间的灰度值梯度信息,形成所述局部特征区域的局部描述符。
12.一种计算设备,其特征在于,包括:至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当所述计算机程序指令被所述处理器执行时实现如权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,当所述计算机程序指令被处理器执行时实现如权利要求1-10中任一项所述的方法。
CN201711477050.9A 2017-12-29 2017-12-29 图像局部特征描述方法、装置、设备及介质 Pending CN109993176A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711477050.9A CN109993176A (zh) 2017-12-29 2017-12-29 图像局部特征描述方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711477050.9A CN109993176A (zh) 2017-12-29 2017-12-29 图像局部特征描述方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN109993176A true CN109993176A (zh) 2019-07-09

Family

ID=67109715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711477050.9A Pending CN109993176A (zh) 2017-12-29 2017-12-29 图像局部特征描述方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN109993176A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160363A (zh) * 2019-12-02 2020-05-15 深圳市优必选科技股份有限公司 特征描述子生成方法、装置、可读存储介质及终端设备
CN111462056A (zh) * 2020-03-20 2020-07-28 深圳科瑞技术股份有限公司 工件表面缺陷检测方法、装置、设备及存储介质
CN116609332A (zh) * 2023-07-20 2023-08-18 佳木斯大学 新型组织胚胎病理切片全景扫描系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751554A (zh) * 2008-12-10 2010-06-23 中国科学院自动化研究所 一种对互联网大麻图像进行的过滤方法
CN101957996A (zh) * 2009-07-17 2011-01-26 上海遥薇实业有限公司 一种基于稳定特征的上下车乘客目标跟踪方法
CN102043960A (zh) * 2010-12-03 2011-05-04 杭州淘淘搜科技有限公司 一种结合图像灰度与梯度的改进sift特征提取方法
CN103020625A (zh) * 2011-09-26 2013-04-03 华为软件技术有限公司 一种局部图像特征的生成方法和装置
CN103632142A (zh) * 2013-11-29 2014-03-12 西安电子科技大学 基于局部坐标系特征描述的图像匹配方法
CN105139014A (zh) * 2015-07-14 2015-12-09 北京联合大学 一种计算图像局部特征描述子的方法
CN106874949A (zh) * 2017-02-10 2017-06-20 华中科技大学 一种基于红外图像的动平台运动目标检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751554A (zh) * 2008-12-10 2010-06-23 中国科学院自动化研究所 一种对互联网大麻图像进行的过滤方法
CN101957996A (zh) * 2009-07-17 2011-01-26 上海遥薇实业有限公司 一种基于稳定特征的上下车乘客目标跟踪方法
CN102043960A (zh) * 2010-12-03 2011-05-04 杭州淘淘搜科技有限公司 一种结合图像灰度与梯度的改进sift特征提取方法
CN103020625A (zh) * 2011-09-26 2013-04-03 华为软件技术有限公司 一种局部图像特征的生成方法和装置
CN103632142A (zh) * 2013-11-29 2014-03-12 西安电子科技大学 基于局部坐标系特征描述的图像匹配方法
CN105139014A (zh) * 2015-07-14 2015-12-09 北京联合大学 一种计算图像局部特征描述子的方法
CN106874949A (zh) * 2017-02-10 2017-06-20 华中科技大学 一种基于红外图像的动平台运动目标检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BIN FAN等: "《Rotationally Invariant Descriptors Using Intensity Order Pooling》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
蒋飞云等: "《二次表示的空间目标图像分类》", 《电子与信息学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160363A (zh) * 2019-12-02 2020-05-15 深圳市优必选科技股份有限公司 特征描述子生成方法、装置、可读存储介质及终端设备
CN111160363B (zh) * 2019-12-02 2024-04-02 深圳市优必选科技股份有限公司 特征描述子生成方法、装置、可读存储介质及终端设备
CN111462056A (zh) * 2020-03-20 2020-07-28 深圳科瑞技术股份有限公司 工件表面缺陷检测方法、装置、设备及存储介质
CN111462056B (zh) * 2020-03-20 2023-09-01 深圳科瑞技术股份有限公司 工件表面缺陷检测方法、装置、设备及存储介质
CN116609332A (zh) * 2023-07-20 2023-08-18 佳木斯大学 新型组织胚胎病理切片全景扫描系统
CN116609332B (zh) * 2023-07-20 2023-10-13 佳木斯大学 新型组织胚胎病理切片全景扫描系统

Similar Documents

Publication Publication Date Title
Otero Anatomy of the SIFT Method
US6826311B2 (en) Hough transform supporting methods and arrangements
CN102713938B (zh) 用于均匀和非均匀照明变化中的改善的特征检测的尺度空间正规化技术
JP2008511366A (ja) 距離座標を使った特徴重み付け医療オブジェクト輪郭検出
CN109993176A (zh) 图像局部特征描述方法、装置、设备及介质
US20050152604A1 (en) Template matching method and target image area extraction apparatus
Lee et al. Skewed rotation symmetry group detection
CN110245600B (zh) 自适应起始快速笔画宽度无人机道路检测方法
CN108416801B (zh) 一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法
CN112329832B (zh) 一种基于深度卷积生成对抗网络的无源定位目标轨迹数据增强方法及系统
CN115937794B (zh) 小目标对象检测方法、装置、电子设备及存储介质
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN110472521A (zh) 一种瞳孔定位校准方法及系统
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
Lee et al. Practical license plate recognition in unconstrained surveillance systems with adversarial super-resolution
CN109711420B (zh) 基于人类视觉注意机制的多仿射目标的检测与识别方法
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
Gani et al. Copy move forgery detection using DCT, PatchMatch and cellular automata
KR101279484B1 (ko) 영상 처리 장치 및 방법
CN103679764A (zh) 一种图像生成方法及装置
CN115937839A (zh) 一种大角度车牌图像识别方法、计算设备及存储介质
Annaby et al. Fast template matching and object detection techniques using φ-correlation and binary circuits
KR100439577B1 (ko) 표면 법선 기반의 삼각형 메쉬 영역화 장치 및 그 방법
CN108917768B (zh) 无人机定位导航方法和系统
CN107146244B (zh) 基于pbil算法的图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709