CN103218427B - 局部描述子的提取方法、图像检索方法及图像匹配方法 - Google Patents
局部描述子的提取方法、图像检索方法及图像匹配方法 Download PDFInfo
- Publication number
- CN103218427B CN103218427B CN201310118427.7A CN201310118427A CN103218427B CN 103218427 B CN103218427 B CN 103218427B CN 201310118427 A CN201310118427 A CN 201310118427A CN 103218427 B CN103218427 B CN 103218427B
- Authority
- CN
- China
- Prior art keywords
- image
- interest
- subregion
- core point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种局部描述子的提取方法、图像检索方法及图像匹配方法,其中,局部描述子的提取方法包括:获取图像的核心兴趣点,所述核心兴趣点为用于体现所述图像的关键特征的像素点;确定所述核心兴趣点的子区域半径和所述核心兴趣点对应的主方向;根据所述子区域半径和所述主方向,获取所述图像的局部描述子。上述提取方法提取的局部描述子能够准确的反映图像形状的构造信息,使得使用该局部描述子进行后期的检索结果的准确率更高。
Description
技术领域
本发明涉及图像检索技术,尤其涉及一种局部描述子的提取方法、图像检索方法及图像匹配方法。
背景技术
当前,视觉检索方法主要采用在图像中提取尺度不变描述子(ScaleInvariantFeatureTransform,简称:SIFT)或快速鲁棒的尺度不变特征(SpeededUpRobustFeatures,简称:SURF)进行图像的检索。
然而,针对纹理特征稀疏的图像/图片,或者用于映射人类思维特征的线图时,该些图像本身缺乏纹理的特点,SIFT和SURF不能获取足够的兴趣点,因此若采用SIFT和SURF进行图像的检索,则严重的影响了检索系统的性能和效率。
业内人士针对纹理信息缺少,但轮廓信息分明的手绘图片/手绘图像提出了形状上下文描述子(ShapeContextDescriptor,简称:SCD),该SCD相对于SIFT和SURF重视了形状特征,但是由于其本身的构造方式为对图像的轮廓进行密集采样,统计采样点之间的距离及角度关系,这种构造方式使得描述子的表现力集中于边缘轮廓,因此,上述的SCD在对形状内部蕴含大量线条及信息的图像在搜索时不能反映图像的真实形状信息,导致匹配检索失败。
为此,如何获取能够准确的反映图像形状的构造信息的局部描述子成为当前需要解决的技术问题。
发明内容
针对现有技术中的缺陷,本发明提供一种局部描述子的提取方法、图像检索方法及图像匹配方法。
第一方面,本发明提供一种局部描述子的提取方法,包括:
获取图像的核心兴趣点,所述核心兴趣点为用于体现所述图像的关键特征的像素点;
确定所述核心兴趣点的子区域半径和所述核心兴趣点对应的主方向;
根据所述子区域半径和所述主方向,获取所述图像的局部描述子。
由上述技术方案可知,本发明的局部描述子的提取方法通过获取图像的核心兴趣点,进而确定核心兴趣点的子区域半径和核心兴趣点对应的主方向,以根据子区域半径和主方向获取图像的局部描述子,进而得到图像的局部描述子能够准确的反映图像形状的构造信息,相对于现有技术中的局部描述子具有较高的区分能力。
第二方面,本发明还提供一种图像检索方法,包括:
服务器根据如上所述的局部描述子的提取方法获取图像库中每一图像的局部描述子;
服务器将所有图像的局部描述子建立量化词典;
服务器采用所述量化词典对所述图像库中的所有图像进行量化,建立所述图像库对应的索引表;
所述服务器接收客户端发送的目标图像的局部描述子,所述目标图像的局部描述子为客户端采用如上所述的局部描述子的提取方法获取的目标图像的局部描述子;
服务器采用所述量化词典对所述目标图像的局部描述子进行量化,在所述索引表中查找量化后的目标图像的局部描述子对应的索引,以获得与所述目标图像对应的查找结果。
由上述技术方案可知,本发明的图像检索方法通过采用局部描述子的获取方法获取图像库中每一图像的局部描述子以及目标图像的局部描述子,进而采用所有图像的局部描述子组成的量化词典对目标图像的局部描述子进行量化,以获取与所述目标图像对应的查找结果,可以提高图像检索的效率,同时提高图像检索的准确率。
第三方面,本发明还提供一种图像匹配方法,包括:
服务器接收客户端发送的压缩后的目标图像,并采用如上所述的局部描述子的提取方法获取目标图像的局部描述子,以及图像库中任一图像的局部描述子;
根据预设比值的方式确定两个所述局部描述子的匹配度,根据所述匹配度获取与所述目标图像匹配的图像;
其中,所述两个所述局部描述子包括:所述目标图像的局部描述子,和所述图像库中的一个图像的局部描述子。
由上述技术方案可知,本发明的图像匹配方法能够图稿图像匹配的准确率,同时提高图像匹配的效率。
第四方面,本发明还提供一种局部描述子的提取设备,包括:
第一获取单元,用于获取图像的核心兴趣点,所述核心兴趣点为用于体现所述图像的关键特征的像素点;
确定单元,用于确定所述核心兴趣点的子区域半径和所述核心兴趣点对应的主方向;
第二获取单元,用于根据所述子区域半径和所述主方向,获取所述图像的局部描述子。
由上述技术方案可知,本发明的局部描述子的提取设备获得的图像的局部描述子能够准确的反映图像形状的构造信息,相对于现有技术中的局部描述子具有较高的区分能力。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作一简单地介绍,显而易见地:下面附图只是本发明的一些实施例的附图,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得同样能实现本发明技术方案的其它附图。
图1为本发明一实施例提供的局部描述子的提取方法的流程示意图;
图2A至图2C为本发明一实施例提供的局部描述子的提取方法的参考示意图;
图3为本发明一实施例提供的量化词典的获取方法的流程示意图;
图4为本发明一实施例提供的视觉单词索引表获取方法的流程示意图;
图5为本发明一实施例提供的图像检索方法的流程示意图;
图6为本发明另一实施例提供的图像检索方法的流程示意图;
图7为本发明一实施例提供的图像匹配方法的流程示意图;
图8为本发明一实施例提供的局部描述的提取设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明的技术方案进行清楚、完整地描述。显然,下述的各个实施例都只是本发明一部分的实施例。基于本发明下述的各个实施例,本领域普通技术人员即使没有作出创造性劳动,也可以通过等效变换部分甚至全部的技术特征,而获得能够解决本发明技术问题,实现本发明技术效果的其它实施例,而这些变换而来的各个实施例显然并不脱离本发明所公开的范围。
图1示出了本发明一实施例提供的局部描述子的提取方法的流程示意图,如图1所示,本实施例中的局部描述子的提取方法如下所述。
101、获取图像的核心兴趣点,所述核心兴趣点为用于体现图像的关键特征的像素点。
在本实施例中,关键特征可指通过边缘提取获得的图像的边缘或图像边缘中的角点。由于边缘提取是一个提取图像中梯度变化明显的像素点的过程,因此边缘是图像中很重要的关键特征。
举例来说,在步骤101可包括:
获取所述图像的一个以上的兴趣点,通过预置的筛选规则在所述一个以上的兴趣点中筛选所述核心兴趣点。
其中,反映图像关键特征的像素点通常为经过边缘提取获得的边缘点,也可以对边缘点进一步筛选反映关键特征的像素点,例如采用边缘的交点作为关键特征点。
所述的预置的筛选规则可根据兴趣点的确定方式进行选择,一个典型的实施例中,如采用曲线局部极值的方式获取兴趣点,可以采用非最大值抑制规则作为筛选规则。
在具体的应用中,如果有需要,可以不采用边缘点作为兴趣点,可选择图像的任意一个像素点作为兴趣点。
102、确定所述核心兴趣点的子区域半径和所述核心兴趣点对应的主方向。
举例来说,确定核心兴趣点的子区域半径的方式可以包括如下的方式:
第一种可选的方式:根据所述核心兴趣点与相邻的核心兴趣点之间的距离分布获取每一核心兴趣点的子区域半径,以及得到所述核心兴趣点的子区域;
第二种可选的方式:设定一核心兴趣点为中心,预设长度为半径的子区域,所述预设长度为所述核心兴趣点的子区域半径。
此外,确定核心兴趣点对应的主方向,可包括如下的子步骤:
M01、将所述核心兴趣点的子区域按照预设的角度和内部距离划分为多个块;
M02、统计每一块内的所述图像的非背景像素点的数目,以及所述子区域的每一角度上投影的非背景像素点的数目;
M03、将统计的一块中某一角度上投影的非背景像素点的数目最多的方向作为所述核心兴趣点的主方向;也就是说,将统计的子区域内预设角度中投影的像素点的数目最多的角度作为所述核心兴趣点的主方向;
其中,步骤M01中的内部距离为所述子区域内的非背景像素点通过所述图像内部非背景像素点到达所述子区域内的核心兴趣点的最小像素数目。
举例来说,当前,图像可分为前景区域与背景区域,此时,步骤M01中的内部距离为所述子区域内的像素点通过所述图像内部的非背景区域的像素点到达所述子区域的核心兴趣点的最小像素数目。因此,在此处用非背景指代的是图像在兴趣点提取之前经过的边缘提取步骤(如下述的步骤S01中的canny)中提取的边缘像素点。
其中,在具体的实施例中,非背景像素点定义可根据需求变化,例如在一个典型的实施例中,将像素灰度值大于某一阈值的点作为非背景像素,像素灰度值不大于该阈值的点作为背景像素。
103、根据所述子区域半径和所述主方向,获取所述图像的局部描述子。
在具体的应用中,步骤103可包括如下的子步骤:
1031、将所述主方向设为起始方向,以顺时针方向或逆时针方向顺序统计所述多个块中每一块中的非背景像素点的数目,根据统计的每一块中的非背景像素点的数目形成每一核心兴趣点对应的局部描述子。
在另一可选的实现方式中,图1中的局部描述子的提取方法还可包括如下的图中未示出的步骤104:
104、在特征空间内对所述图像的局部描述子进行距离度量,将距离小于预设阈值的局部描述子进行编码,得到编码后的所述图像的局部描述子;
其中,特征空间为根据获取所述图像的局部描述子所使用的参数所确定的空间。
举例来说,该处的参数包括:前述步骤M01中的预设的角度、块等。例如,子区域半径为D,将子区域的角度按照均匀划分的方式划分为[0-90°],(90°-180°],(180°-270°],(270°-360°)4个区间,将内部距离按照[0-0.5D],(0.5D-+∞)两个区间进行划分,则产生的描述子为4*2=8维的描述子,则描述子对应的特征空间为8维向量对应的可能取值空间。
通常,特征空间是由描述子的维度与每一维取值范围确定的,而描述子的维度是由预设角度和对内部距离的划分确定的。
在其他的实施例中,对特征空间进行划分的一个典型方法是参考D.ComaniciuandP.Meeer.Meanshift:Arobustapproachtowardfeaturespaceanalysis.IEEEtrans.PAMI,24(5):603-619,2002的Mean-shift技术。
由上述实施例可知,本实施例中的局部描述子的提取方法通过获取图像的核心兴趣点,进而确定核心兴趣点的子区域半径和核心兴趣点对应的主方向,以根据子区域半径和主方向获取图像的局部描述子,进而得到图像的局部描述子能够准确的反映图像形状的构造信息,相对于现有技术中的局部描述子具有较高的区分能力。
结合图2A、图2B和图2C所示,以下通过一个具体的实施例进一步详细说明局部描述子的提取方法。
S01、获取图像的一个以上的兴趣点,通过预置筛选规则在所述一个以上的兴趣点中筛选所述核心兴趣点。本实施例中的核心兴趣点为用于体现所述图像的关键特征的像素点。
举例来说,本实施例中的图像可以为任意一张缺乏纹理信息的图像,例如,数学函数图像、衣物图像、箱包图像、素描图像、工业图纸图像等。本实施例中不限定图像的类型和图像的内容。此外,在计算机领域中,纹理用来表示图像的均匀、细致、粗糙等现象。
如图2A所示,图2A中的左侧图为纹理信息丰富的图像,图2A中的右侧图为缺乏纹理信息(即纹理信息稀疏)的图像。
通常,可以根据曲线局部极值的计算方式获取所述图像的一个以上的兴趣点。或者,获取图像的兴趣点的方式可以是对图像进行边缘提取(如canny变换),得到canny变换后的图像曲线,进而检测图像曲线的曲率极值,将该些曲率极值对应的角点可作为上述图像的兴趣点。
应说明的是,一张80*80像素的图像,兴趣点可以是几个或上千个兴趣点。兴趣点的数量根据兴趣点的选取方式进行设置。
应理解,上述仅举例说明图像的兴趣点的提取方式,在具体的应用过程中,还可以采用其他方式提取图像的兴趣点,如随机采样的方式等,本实施例不限定兴趣点的提取方式。
在另一种具体的实现场景中,从兴趣点中获取核心兴趣点的预置筛选规则可为非最大值抑制规则,例如,预先设置相邻兴趣点之间的最小距离,若图像的任意相邻兴趣点之间的距离小于所述设定的最小距离,则选取相邻兴趣点之间兴趣点所对应的曲率极值最大的兴趣点为核心兴趣点,若任意相邻兴趣点之间的距离大于或等于所设定的最小距离,则丢弃该相邻的兴趣点。
可以理解的是,当兴趣点采集过为密集时,可以采用一定的策略降低兴趣点的数量,如图2B所示的经非最大值抑制后的兴趣点。
S02、确定核心兴趣点的子区域半径和所述核心兴趣点对应的主方向。
举例来说,核心兴趣点的子区域半径的确定方式包括:
可根据核心兴趣点与相邻的核心兴趣点之间的距离分布获取每一核心兴趣点的子区域半径,进而得到核心兴趣点的子区域。或者,可设定以核心兴趣点为中心,预设长度为半径的子区域;此时预设长度可为核心兴趣点的子区域半径。
当然,在实际的应用中,用户可以根据自己的需求选择不同的方式作为确定子区域半径的方式,本实施例仅为举例说明。
另外,核心兴趣点对应的主方向的确定方式可包括:
步骤一、将核心兴趣点的子区域按照预设的角度和内部举例划分为多个块;
步骤二、统计每一块内的所述图像的非背景像素点的数目,以及所述子区域的每一角度上投影的非背景像素点的数目;
步骤三、将统计的子区域内预设角度中投影的非背景像素点的数目最多的角度作为所述核心兴趣点的主方向,
其中,内部距离为子区域内像素点通过图像内部非背景像素点到达子区域内的核心兴趣点的最小像素数目。
具体地,如图2C所示,对每一个子区域R,以核心兴趣点C为中心,在对数极坐标系下,将半径α和角度β独立的划分为α=5和β=12块,统计每一块内的非背景像素分布直方图,如统计5*12=60(bin)个块内的非背景像素分布。
应理解的是,如图2C所示,右侧图划分方式为在欧氏距离空间下划分,在本实施例中,图2C右侧图的划分方式仅仅是逻辑划分方式中的一种示意图。当然,局部描述子的统计方式是在内部距离空间下的。
此外,对子区域内的所有非背景像素,度量其通过内部非背景像素点到达核心兴趣点的距离及相对于核心兴趣点的角度。
对于每一子区域R,在对数极坐标系下进行度量,例如,针对子区域R内的每一个非背景像素点,分别统计该像素点到核心兴趣点的距离。请注意:该处的距离为采用通过图像内部非背景像素点可到达的最短距离的对数作为该像素点与核心兴趣点的距离。若该像素点与核心兴趣点无法通过图像非背景像素点连通,则舍弃该像素点。具体地,可参考如下的公式(1)进行计算。
dx,C;R=log|Γ(x,C;R)|(1)
其中,公式(1)中的x代表正在统计的非背景像素点,C代表核心兴趣点,Γ(x,C;R)代表沿着在子区域R内的非背景像素从像素点x到核心兴趣点C所经过的最短路径。
进一步地,获取上述提及的Γ(x,C;R)最短路径的方式如下:
第一、统计子区域R内非背景像素点的邻接矩阵,相邻的像素点距离设为1,非相邻的像素点初始值设为0;
第二、将该邻接矩阵应用Floyd算法,该Floyd算法是一种用于寻找给定的加权图中顶点间最短路径的经典算法。当前的Floyd算法需要输入一个初始邻接矩阵,输出为任意两点之间的最短距离。
初始邻接矩阵的获得方式为,生成一个长宽均为子区域R内像素数目的矩阵,初始矩阵中每个元素的值均设为无穷大,若两个像素(i,j)相邻,则元素(i,j)设为1。
经过多次迭代,Floyd算法输出核心兴趣点C可达的子区域R内全部非背景像素点的最短距离。
应说明的是,原始的像素信息均为在笛卡尔坐标系下的信息,为了获得对数极坐标系下的每个像素点的角度,需要通过原始的笛卡尔坐标系进行如下转换:
针对角度的度量包括如下过程:在笛卡尔坐标系下,按照如下公式(2)获得目标像素x的角度:
θ=arctan(ΔX/ΔY)(2)
其中,ΔX与ΔY分别为选取的非背景像素点x与核心兴趣点C在x轴与y轴上的差值,对该比值求其反正切函数值作为选取的像素点x的角度,该角度即为对数极坐标系下的角度。
前述的核心兴趣点的主方向的确定方式即为:选择非背景像素数目最多的投影方向为主方向(β=12中的其中一个方向),如图2C右侧图所示,主方向为起始方向,其他方向按照顺时针排列。
S03、根据子区域半径和主方向,获取所述图像的局部描述子。
举例来说,将所述主方向为起始方向,以顺时针方向或逆时针方向顺序统计所述多个块中每一块中的非背景像素点的数目,根据统计的每一块中的非背景像素点的数目获取每一核心兴趣点对应的局部描述子。
本实施例中获取的局部描述子可以较好的反映图像形状构造信息。
图3示出了本发明一实施例提供的量化词典的获取方法的流程示意图,如图3所示,本实施例中的量化词典的获取方法如下所述。
301、按照局部描述子的提取方法对图像库中的每一图像提取对应的局部描述子。
302、对图像库中的所有图像对应的局部描述子进行汇总,如聚类,获取K个聚类中心,该K个聚类中心组成量化词典,K为大于零的自然数。
本实施例中,聚类可以是K均值聚类方式,或分层聚类方式等。特别地,在聚类时采用的相似性度量规则可为:局部描述子之间的欧式距离或者余弦距离等。
进一步地,上述的量化词典的获取方法还可包括如下的步骤303:
303、为K个聚类中心编码,以得到每一个聚类中心对应的位置描述符。
举例来说,编码方式可为从0开始,顺序对K个中心编码为0到K-1。
本实施例中的量化词典可对任一目标图像的局部描述子进行量化,提高图像检索的准确率。
图4示出了本发明一实施例提供的视觉单词索引表获取方法的流程示意图,如图4所示,本实施例中的视觉单词索引表获取方法如下所述。
401、按照局部描述子的提取方法对图像库中的每一图像提取对应的局部描述子。
402、对每一张图像对应的所有局部描述子,在预置的量化词典中查找与局部描述子相似的视觉单词,针对每一张图像,得到与每一兴趣点对应每一局部描述子的N个视觉单词。
可理解的是,每一张图像对应多个局部描述子,每一个局部描述子对应一个视觉单词(实际中,不同的描述子可能对应同一个视觉单词),因此,一张图像提取出M个描述子(M为大于零的自然数),则M个描述子每一个对应一个视觉单词。
在实际应用中,查找相似视觉单词的过程可以使用KD-tree或者顺序查找等多种方式。
403、统计每一张图像对应的视觉单词位置描述符,合并同一张图像对应的多个相同位置描述符,将每个获得的视觉单词与对应图像的关联信息保存在索引表之中。
举例来说,关联信息为:针对一个视觉单词,该视觉单词在哪张图像中出现了,且出现了多少次,占这张图像的全部视觉单词的比例等信息。
需要注意的是,视觉单词索引表可代表服务器所有的图像的视觉单词信息。
在本实施例中,一个典型的索引表项包括:图像位置信息,视觉单词位置描述符,该图像内该描述符的存在比率。
举例来说,描述符存在比率的计算方式为:
其中,Dij为第j个图像的第i个描述子,Wm为第m个视觉单词,Sj为第j个图像的描述子的总数量。
图5示出了本发明一实施例提供的图像检索方法的流程示意图,如图5所示,本实施例中的图像检索方法如下所述。
501、服务器根据局部描述子的提取方法获取图像库中每一图像的局部描述子;
502、服务器将所有图像的局部描述子建立量化词典;
503、服务器采用所述量化词典对所述图像库中的所有图像进行量化,建立所述图像库对应的索引表;
504、客户端采用局部描述子的提取方法获取目标图像的局部描述子,将获取的所述目标图像的局部描述子发送至服务器。
也就是说,服务器接收客户端发送的目标图像的局部描述子,所述目标图像的局部描述子为客户端采用前述的局部描述子的提取方法获取的目标图像的局部描述子。
举例来说,客户端可将目标图像的局部描述子进行压缩,将压缩后的目标图像的局部描述子发送至服务器。
505、服务器采用所述量化词典对所述目标图像的局部描述子进行量化,在所述索引表中查找量化后的目标图像的局部描述子对应的索引,以获得与所述目标图像对应的查找结果。
上述的图像检索方法尤其适用于无线网络的图像检索。
图6为本发明一实施例提供的图像检索方法的流程示意图,如图6所示,本实施例中的图像检索方法进行如下文所述。
600、客户端对目标图像使用图像增强技术,以及将增强后的目标图像进行压缩,发送给服务器。
在实际应用中,可以采用Retinex作为增强算法,具体步骤可以参考文献“DJJobsonZRahman.Retinexprocessingforautomaticimageenhancement.JournalofElectronicImaging,2004.”。
601、服务器接收客户端发送的压缩的图像。
602、服务器目标压缩图像进行解压缩,得到经过图像增强的目标图像,以及通过前述的局部描述子的提取方式获得目标图像的局部描述子。
603、服务器在预置的量化词典中查找与局部描述子相似的视觉单词,得到与每一兴趣点对应的视觉单词,将查找的所有的视觉单词作为目标视觉单词,同时,在视觉单词前端附加保留描述子的前缀信息用以计算该视觉单词的存在比率。
604、服务器在预置的视觉单词索引表中查找与目标视觉单词匹配/一致的视觉单词,根据查找的视觉单词获得与所述视觉单词对应的结果信息。
当视觉单词索引表中的一视觉单词对应多个包含该视觉单词的图像时,该多个图像根据本身含有该视觉单词数量及该视觉单词权重进行排序,当对目标图像的所有目标视觉单词查找完毕后,形成一个图像序列,排在前面的图像是与目标图像最相似的。上述图像按照相似性分数排序的方法可参照现有技术。
605、服务器将结果信息发送至客户端。
举例来说,结果信息包括查找的图像以及图像的相关说明等。
由上述实施例可知,服务器回复客户端信息快速准确,查询结果信息的准确性高。
图7为本发明一实施例提供的图像匹配方法的流程示意图,如图7所示,本实施例中的图像匹配方法如下文所述。
701、服务器接收客户端发送的压缩的目标图像。
702、服务器对目标图像解压缩,并采用前述的局部描述子的提取方法提取该目标图像对应的N个局部描述子。
703、服务器根据预设比值的方式确定两个所述局部描述子是否匹配,并采用预设匹配描述子数量阈值的方式判断目标图片与图像库内的任一图像是否匹配,将目标图像与图像库中图像匹配描述子的数量作为目标图像与图像库中图像的匹配度,根据所述匹配度获取与所述目标图像匹配的图像;
其中,所述两个所述局部描述子包括:所述目标图像的局部描述子,和所述图像库中的一个图像的局部描述子。
也就是说,目标图像和图像库中的所有图像进行匹配,但是单次的匹配过程是目标图像和图像库中的一个图像进行匹配,而对于单次的匹配过程,具体为,对每一个目标图像的局部描述子在本次与之预匹配的图像的局部描述子中计算与其最近的和次近的局部描述子距离,当两者的比值小于某一阈值时,则认为这两个局部描述子匹配,进而,统计该图像与目标图像的局部描述子匹配的数目,如果匹配数目超过某一阈值,则认为两张图像匹配。
在实际应用中,前述的步骤703可具体包括图中未示出的步骤7031和步骤7032:
7031、服务器针对目标图像的每一个局部描述子,在服务器的图像库中的每一张图像对应的一组原始局部描述子中查找与目标局部描述子的第一距离和第二距离的局部描述子。
上述的第一距离为局部描述子与目标局部描述子的距离最小,第二距离为局部描述子与目标局部描述子的距离次小。
需要注意的是,这里的距离度量方式通常采用卡方距离,也可采用欧式距离或余弦距离等。若某一距离采用欧式距离度量,则全部的度量标准均采用欧式距离;相应地,若某一距离采用余弦距离进行度量,则其他距离全部采用余弦距离进行度量。也就是说,在任一距离计算的过程中距离的计算方式是相同的。
7032、若第一距离与第二距离的比值小于预设阈值,则目标局部描述子与原始局部描述子相匹配;
否则,上述比值大于预设阈值,则认为该图像中不存在与目标图像客户端的该目标局部描述子匹配的原始局部描述子。
上述的阈值通常设为0.6。
7033、统计目标图像与图像库中每一张图像匹配的局部描述子数量,匹配的局部描述子数量为目标图像与该图像的匹配度,若目标图像与图像库中某一图像匹配的局部描述子数量小于预设阈值,则认为两者不匹配,若匹配的局部描述子数量大于预设阈值,则判断目标图像与该图像匹配。
其中对于匹配的局部描述子数量的阈值可以根据所处理的图像库中的数据预设为不同的数值。
704、服务器统计图像库每张图像针对目标图像的匹配度,并向客户端返回对应结果。
由上实施例可知,本实施例中的图像匹配方法能够在服务器准确查找到与目标图像相匹配的图像,进而较好的降低图像匹配时的等待时间,使得图像匹配的效率提高,且提高了结果的准确性。
根据本发明的另一方面,本发明还提供一种局部描述子的提取设备,如图8所示,本实施例中的局部描述子的提取设备包括:第一获取单元81、确定单元82和第二获取单元83;
其中,第一获取单元81用于获取图像的核心兴趣点,所述核心兴趣点为用于体现所述图像的关键特征的像素点;
确定单元82用于确定所述核心兴趣点的子区域半径和所述核心兴趣点对应的主方向;
第二获取单元83用于根据所述子区域半径和所述主方向,获取所述图像的局部描述子。
在具体的实现过程中,前述的确定单元82具体用于,
根据所述核心兴趣点与相邻的核心兴趣点之间的距离分布获取每一核心兴趣点的子区域半径,以及得到所述核心兴趣点的子区域;
将所述核心兴趣点的子区域按照预设的角度和内部距离划分为多个块;
统计每一块内的所述图像的像素点的数目,以及所述子区域的每一角度上投影的非背景像素点的数目;
将统计的一块中某一角度上投影的非背景像素点的数目最多的方向作为所述核心兴趣点的主方向;
其中,所述内部距离为所述子区域内的非背景像素点通过所述图像内部非背景像素点到达所述子区域内的核心兴趣点的最小像素数目;
或者,
设定以所述核心兴趣点为中心,预设长度为半径的子区域,所述预设长度为所述核心兴趣点的子区域半径;也就是说,将预设长度作为所述核心兴趣点的子区域半径,在确定所述核心兴趣点的子区域半径之后,得到所述核心兴趣点的子区域;
将所述核心兴趣点的子区域按照预设的角度和内部距离划分为多个块;
统计每一块内的所述图像的非背景像素点的数目,以及所述子区域的每一角度上投影的非背景像素点的数目;
将统计的一块中某一角度上投影的非背景像素点的数目最多的方向作为所述核心兴趣点的主方向;
其中,所述内部距离为所述子区域内的非背景像素点通过所述图像内部非背景像素点到达所述子区域内的核心兴趣点的最小像素数目。
在可选的实现过程中,前述的第二获取单元83具体用于,
将所述主方向设为起始方向,以顺时针方向或逆时针方向顺序统计所述多个块中每一块中的非背景像素点的数目,根据统计的每一块中的非背景像素点的数目形成每一核心兴趣点对应的局部描述子。
本实施例中的局部描述子的提取设备可以位于服务器中,也可以设置在客户端中,如移动终端、IPAD等。
本实施例中局部描述子的提取设备获得的图像的局部描述子能够准确的反映图像形状的构造信息,相对于现有技术中的局部描述子具有较高的区分能力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种局部描述子的提取方法,其特征在于,包括:
获取图像的核心兴趣点,所述核心兴趣点为用于体现所述图像的关键特征的像素点;
确定所述核心兴趣点的子区域半径和所述核心兴趣点对应的主方向;
根据所述子区域半径和所述主方向,获取所述图像的局部描述子;
所述确定所述核心兴趣点的子区域半径,包括:
根据所述核心兴趣点与相邻的核心兴趣点之间的距离分布获取每一核心兴趣点的子区域半径;
或者,
将预设长度作为所述核心兴趣点的子区域半径;
确定所述核心兴趣点对应的主方向,包括:
在确定所述核心兴趣点的子区域半径之后,得到所述核心兴趣点的子区域,将所述核心兴趣点的子区域按照预设的角度和内部距离划分为多个块;
统计每一块内的所述图像的非背景像素点的数目,以及所述子区域的每一角度上投影的非背景像素点的数目;
将统计的子区域内预设角度中投影的非背景像素点的数目最多的角度作为所述核心兴趣点的主方向;
其中,所述内部距离为所述子区域内的非背景像素点通过所述图像内部非背景像素点到达所述子区域内的核心兴趣点的最小像素数目。
2.根据权利要求1所述的方法,其特征在于,所述根据所述子区域半径和所述主方向,获取所述图像的局部描述子,包括:
将所述主方向设为起始方向,以顺时针方向或逆时针方向顺序统计所述多个块中每一块中的非背景像素点的数目,根据统计的每一块中的非背景像素点的数目形成每一核心兴趣点对应的局部描述子。
3.根据权利要求2所述的方法,其特征在于,在所述根据所述子区域半径和所述主方向,获取所述图像的局部描述子的步骤之后,还包括:
在特征空间内对所述图像的局部描述子进行距离度量,将距离小于预设阈值的局部描述子进行编码,得到编码后的所述图像的局部描述子;
其中,特征空间为根据获取所述图像的局部描述子所使用的参数所确定的空间。
4.一种图像检索方法,其特征在于,包括:
服务器根据如上权利要求1至3任一所述的方法获取图像库中每一图像的局部描述子;
服务器将所有图像的局部描述子建立量化词典;
服务器采用所述量化词典对所述图像库中的所有图像进行量化,建立所述图像库对应的索引表;
所述服务器接收客户端发送的目标图像的局部描述子,所述目标图像的局部描述子为所述客户端采用如上权利要求1至3任一所述的方法获取的局部描述子;
服务器采用所述量化词典对所述目标图像的局部描述子进行量化,在所述索引表中查找量化后的目标图像的局部描述子对应的索引,以获得与所述目标图像对应的查找结果。
5.一种图像匹配方法,其特征在于,包括:
服务器接收客户端发送的压缩后的目标图像,并采用如上权利要求1至3任一所述的方法获取目标图像的局部描述子,以及图像库中任一图像的局部描述子;
服务器根据预设比值的方式确定两个所述局部描述子的匹配度,根据所述匹配度获取与所述目标图像匹配的图像;
其中,所述两个所述局部描述子包括:所述目标图像的局部描述子,和所述图像库中的一个图像的局部描述子。
6.一种局部描述子的提取设备,其特征在于,包括:
第一获取单元,用于获取图像的核心兴趣点,所述核心兴趣点为用于体现所述图像的关键特征的像素点;
确定单元,用于确定所述核心兴趣点的子区域半径和所述核心兴趣点对应的主方向;
第二获取单元,用于根据所述子区域半径和所述主方向,获取所述图像的局部描述子;
所述确定单元,具体用于
根据所述核心兴趣点与相邻的核心兴趣点之间的距离分布获取每一核心兴趣点的子区域半径;
在确定所述核心兴趣点的子区域半径之后,得到所述核心兴趣点的子区域,将所述核心兴趣点的子区域按照预设的角度和内部距离划分为多个块;
统计每一块内的所述图像的非背景像素点的数目,以及所述子区域的每一角度上投影的非背景像素点的数目;
将统计的子区域内预设角度上投影的非背景像素点的数目最多的方向作为所述核心兴趣点的主方向;
其中,所述内部距离为所述子区域内的非背景像素点通过所述图像内部非背景像素点到达所述子区域内的核心兴趣点的最小像素数目;
或者,
将预设长度作为所述核心兴趣点的子区域半径;
在确定所述核心兴趣点的子区域半径之后,得到所述核心兴趣点的子区域,将所述核心兴趣点的子区域按照预设的角度和内部距离划分为多个块;
统计每一块内的所述图像的非背景像素点的数目,以及所述子区域的每一角度上投影的非背景像素点的数目;
将统计的子区域内预设角度上投影的非背景像素点的数目最多的方向作为所述核心兴趣点的主方向;
其中,所述内部距离为所述子区域内的非背景像素点通过所述图像内部非背景像素点到达所述子区域内的核心兴趣点的最小像素数目。
7.根据权利要求6所述的设备,其特征在于,所述第二获取单元,具体用于
将所述主方向设为起始方向,以顺时针方向或逆时针方向顺序统计所述多个块中每一块中的非背景像素点的数目,根据统计的每一块中的非背景像素点的数目形成每一核心兴趣点对应的局部描述子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310118427.7A CN103218427B (zh) | 2013-04-08 | 2013-04-08 | 局部描述子的提取方法、图像检索方法及图像匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310118427.7A CN103218427B (zh) | 2013-04-08 | 2013-04-08 | 局部描述子的提取方法、图像检索方法及图像匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103218427A CN103218427A (zh) | 2013-07-24 |
CN103218427B true CN103218427B (zh) | 2016-06-29 |
Family
ID=48816214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310118427.7A Active CN103218427B (zh) | 2013-04-08 | 2013-04-08 | 局部描述子的提取方法、图像检索方法及图像匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103218427B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104918046B (zh) * | 2014-03-13 | 2019-11-05 | 中兴通讯股份有限公司 | 一种局部描述子压缩方法和装置 |
CN104616013A (zh) * | 2014-04-30 | 2015-05-13 | 北京大学 | 获取低维局部特征描述子的方法 |
CN105989001B (zh) * | 2015-01-27 | 2019-09-06 | 北京大学 | 图像搜索方法及装置、图像搜索系统 |
CN106570911B (zh) * | 2016-08-29 | 2020-04-10 | 上海交通大学 | 一种基于daisy描述子的脸部卡通画合成方法 |
CN109271995A (zh) * | 2017-07-18 | 2019-01-25 | 深圳市凯立德科技股份有限公司 | 一种高精度的图像匹配方法及系统 |
CN108133482A (zh) * | 2018-01-16 | 2018-06-08 | 中国人民解放军陆军装甲兵学院 | 基于图像局部自相似性的目标定位方法 |
CN109785439B (zh) * | 2018-12-27 | 2023-08-01 | 深圳云天励飞技术有限公司 | 人脸素描图像生成方法及相关产品 |
CN109815237B (zh) * | 2019-01-18 | 2021-01-05 | 清华大学 | 针对最短路的图数据冗余边识别方法、压缩方法及装置 |
CN111324637B (zh) * | 2020-02-05 | 2021-01-15 | 北京工业大数据创新中心有限公司 | 一种工业时序数据的故障征兆搜索方法及系统 |
CN115442338A (zh) * | 2021-06-04 | 2022-12-06 | 华为技术有限公司 | 3d地图的压缩、解压缩方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8086616B1 (en) * | 2008-03-17 | 2011-12-27 | Google Inc. | Systems and methods for selecting interest point descriptors for object recognition |
CN102521618A (zh) * | 2011-11-11 | 2012-06-27 | 北京大学 | 局部描述子的提取方法、图片检索方法及图像匹配方法 |
CN102945289A (zh) * | 2012-11-30 | 2013-02-27 | 苏州搜客信息技术有限公司 | 基于cgci-sift局部特征的图像检索方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8718380B2 (en) * | 2011-02-14 | 2014-05-06 | Mitsubishi Electric Research Laboratories, Inc. | Representing object shapes using radial basis function support vector machine classification |
-
2013
- 2013-04-08 CN CN201310118427.7A patent/CN103218427B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8086616B1 (en) * | 2008-03-17 | 2011-12-27 | Google Inc. | Systems and methods for selecting interest point descriptors for object recognition |
CN102521618A (zh) * | 2011-11-11 | 2012-06-27 | 北京大学 | 局部描述子的提取方法、图片检索方法及图像匹配方法 |
CN102945289A (zh) * | 2012-11-30 | 2013-02-27 | 苏州搜客信息技术有限公司 | 基于cgci-sift局部特征的图像检索方法 |
Non-Patent Citations (2)
Title |
---|
基于潜在主题的分布式视觉检索模型;陈宜明等;《计算机工程》;20121231;第38卷(第24期);全文 * |
移动视觉搜索技术研究与标准化进展;段凌宇等;《研究与开发》;20121215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103218427A (zh) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103218427B (zh) | 局部描述子的提取方法、图像检索方法及图像匹配方法 | |
Wang et al. | MARCH: Multiscale-arch-height description for mobile retrieval of leaf images | |
CN109840556B (zh) | 一种基于孪生网络的图像分类识别方法 | |
US8892542B2 (en) | Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval | |
CN102236675B (zh) | 图像特征点匹配对处理、图像检索方法及设备 | |
CN110287942B (zh) | 年龄估计模型的训练方法、年龄估计方法以及对应的装置 | |
US20200372294A1 (en) | Video Content Indexing and Searching | |
CN104036012A (zh) | 字典学习、视觉词袋特征提取方法及检索系统 | |
KR101912748B1 (ko) | 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법 | |
CN108829711B (zh) | 一种基于多特征融合的图像检索方法 | |
CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
CN102695056A (zh) | 一种提取压缩视频关键帧的方法 | |
CN101930461A (zh) | 通信网络的数字图像可视化管理和检索 | |
CN103020321B (zh) | 近邻搜索方法与系统 | |
Srivastava et al. | Deeppoint3d: Learning discriminative local descriptors using deep metric learning on 3d point clouds | |
CN114612450B (zh) | 基于数据增广机器视觉的图像检测分割方法、系统、电子设备 | |
CN112364709A (zh) | 基于编码识别的机柜智能资产盘点方法 | |
CN104881668A (zh) | 一种基于代表性局部模式的图像指纹提取方法及系统 | |
CN113157962B (zh) | 图像检索方法、电子装置和存储介质 | |
CN109583584B (zh) | 可使具有全连接层的cnn接受不定形状输入的方法及系统 | |
CN108268533B (zh) | 一种用于图像检索的图像特征匹配方法 | |
EP2852918B1 (en) | Method and apparatus for generating shape descriptor of a model | |
CN110162654A (zh) | 一种基于融合特征与检索结果优化的现勘图像检索算法 | |
CN111160109B (zh) | 一种基于深度神经网络的道路分割方法及系统 | |
Varish et al. | Integration of statistical parameters-based colour-texture descriptors for radar remote sensing image retrieval applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |