CN110188222B - 基于局部语义滤波器和桥接相似度的鞋印检索方法 - Google Patents

基于局部语义滤波器和桥接相似度的鞋印检索方法 Download PDF

Info

Publication number
CN110188222B
CN110188222B CN201910477938.5A CN201910477938A CN110188222B CN 110188222 B CN110188222 B CN 110188222B CN 201910477938 A CN201910477938 A CN 201910477938A CN 110188222 B CN110188222 B CN 110188222B
Authority
CN
China
Prior art keywords
image
similarity
semantic
local semantic
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910477938.5A
Other languages
English (en)
Other versions
CN110188222A (zh
Inventor
王新年
周思越
彭飞
栗宝俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201910477938.5A priority Critical patent/CN110188222B/zh
Publication of CN110188222A publication Critical patent/CN110188222A/zh
Application granted granted Critical
Publication of CN110188222B publication Critical patent/CN110188222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于局部语义滤波器和桥接相似度的鞋印检索方法,包括以下步骤:输入待查询图像并选择局部语义区域;对局部语义块样本进行增广;训练局部语义滤波器;计算局部语义滤波器与数据库中鞋印图像的相似度;计算待查询图像与数据库图像之间的相似度;计算以所述待查询图像为桥接的鞋印图像对的相似度;计算初始归一化排序得分矩阵;得到鞋印图像排序得分降序输出数据库中鞋底花纹图像。本发明通过在待查询图像上选择语义区域训练滤波器,根据滤波器与数据库之间的相关性计算相似度,使检索结果受光照、几何畸变影响小;另外以待查询图像为桥接计算鞋底花纹库图像之间的相似度,减弱了鞋印大部分缺损对检索性能的影响。

Description

基于局部语义滤波器和桥接相似度的鞋印检索方法
技术领域
本发明涉及鞋底花纹检索技术领域,具体而言,尤其涉及基于局部语义滤波器和桥接相似度的鞋印检索方法。
背景技术
现有的自动鞋印检索系统按提取的特征主要分为:基于全局表观特征的检索方法、基于局部表观特征的检索方法和基于兴趣点特征的检索方法。其中与本发明最相关的技术是基于局部表观特征的检索方法。
现有的基于局部表观特征鞋底花纹检索技术主要有以下四种:
(1)将二值化后的现场鞋底花纹分为上下两个区域,并提取其频谱特征;之后将该频谱特征与样本图像库中预存的鞋底花纹二值图的频谱特征进行相似性度量计算,得到上下两个区域的相似性得分,并将两个区域的得分做几何平均从而得到最终相似性得分;将该相似性得分按一定规则排序,按其排序结果输出样本库中预先存储的鞋底花纹图像。
(2)引入反馈机制,其具体做法是首先将从二值化后的现场鞋底花纹图像中提取的频谱特征与样本图像库中预先存储的图像特征进行相似度计算并排序,依照排序结果将样本图像库中预存的鞋底花纹图像依次输出;之后按照某种标准选择两个以上输出样本图像并提取其频谱特征求平均,从而得到平均频谱特征;之后再计算平均频谱特征与样本库中预存的频谱特征的相似度得分并进行排序,按排序结果输出鞋底花纹图像
(3)将鞋底花纹图像分为固定大小区域并进行傅里叶变换,将各区域傅里叶变换结果作为特征描述子与数据库中鞋底花纹图像特征进行对比计算相似性得分并排序,按排序结果输出鞋底花纹图像
(4)利用人为选择的主观显著性区域进行旋转得到各显著性区域及其旋转副本,并将其组成一个模板组;将该模板组与鞋底花纹图像数据库进行相关操作,计算其相似度得分并归一化处理,作为主观匹配得分;再将整张图提取的小波傅里叶梅林频谱特征与库中鞋底花纹图像的特征进行相似度计算得到客观相似度;按一定比例综合主观匹配得分和客观相似度得分得到总的相似度得分并排序,由排序得分输出鞋印数据库图像。
由于现场图像大多数为残缺并且模糊的,在基于全局表观特征的检索方法中,直接将整幅鞋印图像作为唯一输入到检索系统中提取特征,而没有考虑到用户关注的局部区域,这样的做法并不合理。并且在基于局部表观特征的检索方法中,目前提取显著性区域特征的方法没有考虑到光照变化和噪声的影响,也没有考虑到现场鞋底花纹背景因素对特征提取的影响,而这些影响对鞋印检索技术的准确性来说是较为重要的影响因素。
现有技术中应用于鞋印图像的检索算法多是仅通过库图之间相似度来衡量两幅图像语义层面的相似度,当图像存在大面积残缺时,该方法会失效。
发明内容
根据上述提出的技术问题,而提供一种基于局部语义滤波器和桥接相似度的鞋印检索方法。本发明主要利用基于局部语义滤波器和桥接相似度的鞋印检索方法,包括以下步骤:
步骤S1:输入待查询图像Q并选择局部语义区域;在输入的所述待查询图像Q上,选择K个初始局部语义区域,标记为
Figure BDA0002082883950000021
Figure BDA0002082883950000022
表示第k个初始局部语义区域,θ1=0;
步骤S2:对局部语义块样本进行增广;预设相似度参数β,并在所述待查询图像Q中找相似度大于β的J(J>=0)个相似区域块,得到包括初始局部语义区域的相似语义区域
Figure BDA0002082883950000026
Figure BDA0002082883950000023
Figure BDA0002082883950000024
为第K个初始局部语义区域的第J个相似区域,θ1=0。
进一步地,以所述待查询图像Q的几何中心为旋转中心,旋转N个角度θ=[θ12,…,θi,...,θN+1],i=1,...,N+1,其中θ1=0,并分别根据所述相似语义区域
Figure BDA0002082883950000025
的位置对旋转后的所述待查询图像截取相应区域作为旋转样本,并将各旋转样本组成语义块样本集,得到K个语义样本集T={T(1),T(2),…,T(k),…,T(K)},其中,第k个语义样本集
Figure BDA0002082883950000031
Figure BDA0002082883950000032
表示第k个语义样本集的第(j-1)个相似区域旋转θN+1角度的局部语义块样本;得到完整的局部语义样本集T,实现对局部语义块样本的增广。
步骤S3:分别对K个语义样本集训练局部语义滤波器,构建K个局部语义滤波器模型。
步骤S4:计算局部语义滤波器与鞋底花纹数据库图像之间的相似度。
步骤S5:基于局部语义滤波器计算待查询图像与鞋底花纹数据库图像之间的相似度。
步骤S6:以所述待查询图像Q为桥接的鞋印图像对相似度计算。
步骤S7:计算初始归一化排序得分矩阵。
步骤S8:得到鞋印图像排序得分f*,输出检索鞋底花纹图像。
进一步地,所述局部语义滤波器模型的损失函数为:
Figure BDA0002082883950000033
其中,h(K)表示第K个局部语义区域样本集训练得到的局部语义滤波器模型,λ表示正则化系数,
Figure BDA0002082883950000034
表示第K个语义样本集的第(j-1)个相似区域旋转θi角度的局部语义块样本,所述局部语义块样本对应的标签yj,i为高斯函数,则该损失函数简化为:
Figure BDA0002082883950000035
其中,E(h)={E(1)(h(1)),...,E(K)(h(K))}表示损失函数,h={h(1),...,h(K)}表示局部语义滤波器,
Figure BDA0002082883950000036
表示由每个语义样本集中的第(j-1)个相似区域旋转θi角度的局部语义块样本所组成的多样本集。
更进一步地,所述局部语义滤波器模型在频域上的损失函数为:
Figure BDA0002082883950000037
其中,频域上的损失函数
Figure BDA0002082883950000041
频域上局部语义滤波器
Figure BDA0002082883950000042
频域上多样本集
Figure BDA0002082883950000043
进一步地,通过求偏导并进行化简得到局部语义滤波器
Figure BDA0002082883950000044
的闭式解的公式为:
Figure BDA0002082883950000045
其中,I表示单位矩阵;每个所述局部语义样本集对应一个局部语义滤波器模型,所有局部语义滤波器模型组成一个局部语义滤波器模型组
Figure BDA0002082883950000046
更进一步地,所述计算局部语义滤波器与鞋底花纹数据库图像之间的相似度。将所述局部语义滤波器模型组
Figure BDA0002082883950000047
中每一个局部语义滤波器模型与数据库图像D={D1,D2,…,Dm,…,DM}进行相关滤波,其中M表示数据库中图像数量;即对每一张图Dm相关滤波后可得到K个响应图组为:
Figure BDA0002082883950000048
其中
Figure BDA0002082883950000049
表示数据库中第m张图中第k个局部语义样本集的响应图,其中
Figure BDA00020828839500000410
进一步地,计算所述响应图的最大值作为所述待查询图像Q各局部语义区域与数据库中图像Dm之间的相似度
Figure BDA00020828839500000411
其中
Figure BDA00020828839500000412
为所述局部语义区域k与所述数据库中图像Dm相似度的相似度,定义如下:
Figure BDA00020828839500000413
其中x,y分别表示响应图
Figure BDA00020828839500000414
中的横纵坐标。
更进一步地,所述计算所述待查询图像Q与鞋底花纹数据库图像相似度:
首先求得各局部语义滤波器与所述鞋底花纹数据库中每一幅图像的相似度之后,获取所述待查询图像Q与所述鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T,其中sm表示第m张数据库的最优局部语义相似度得分:
Figure BDA00020828839500000415
完成基于局部语义滤波器的鞋印图像相似度的计算。
进一步地,所述以所述待查询图像Q为桥接的鞋印图像对相似度计算;设w表示一个度量函数,通过w来衡量鞋印图像两两之间的相似度,即对于dm,dn∈D,w(dm,dn)表示dm和dn间的相似度,sm表示鞋底花纹数据库的图像dm和待查询图像Q之间的相似度最优得分,sn表示鞋底花纹数据库的图像dn和所述待查询图像Q之间的相似度最优得分,则以所述待查询图像Q为桥接的鞋印图像对相似度w(m,n)为:
w(m,n)=T(sm-sn);
其中T(x)是一个映射函数,它可以把两个库图与查询图之间的相似度转化为库图之间的语义相似度,具体表示为:
Figure BDA0002082883950000051
其中ε是防止分母为0的一个误差项;获取所述语义邻接矩阵W,所述语义邻接矩阵W中的各元素即为以所述待查询图像Q为桥接的各鞋印图像对相似度,即W(m,n)=w(m,n)。
更进一步地,所述计算初始归一化排序得分矩阵;对之前计算的所述待查询图像Q与所述鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T按降序排列并进行归一化处理,用index(Dm)表示图像Dm在排序结果中的位置索引,则初始归一化排序得分为
Figure BDA0002082883950000052
从而建立归一化排序矩阵,它是一个(M+1)×(M+1)的对角阵,R的第m个元素Rmm为r(Dm)。
进一步地,所述计算鞋印图像相似度得分;综合所述基于局部语义滤波器的鞋印图像相似度的计算和所述以所述待查询图像Q为桥接的鞋印图像对相似度计算鞋印图像排序得分f*
Figure BDA0002082883950000053
Figure BDA0002082883950000054
其中f={fm,m=1,2,M+1},U=Q∪D表示所述待查询图像Q与所述数据库图像总的集合,α,β,γ均表示正则项系数,且0<α,β,γ<1;第1项即
Figure BDA0002082883950000061
表示排序相关约束项,表示与所述待查询图像Q越相似的库图应该得到越高的排序得分;公式第2项即
Figure BDA0002082883950000062
表示平滑度约束项,其中,W表示语义邻接矩阵即通过查询图计算得到的邻接矩阵,度矩阵C为对角矩阵,所述度矩阵C是指该矩阵对角线上每一个元素代表着某一幅图像与数据库中除所述某一幅图像之外的其他图像的相似度之和,即每一个对角线元素Cmm都表示语义邻接矩阵W第m行的累加和,即
Figure BDA0002082883950000063
公式第3项
Figure BDA0002082883950000064
用来约束排序分数,其中,o=[o1,o2,...,on,...,oM+1]T表示用户对每幅图与查询图之间的相似程度的判断,其中
Figure BDA0002082883950000065
较现有技术相比,本发明具有以下优点:
本发明通过利用鞋印的多个局部语义区域训练语义滤波器,避免了在现场鞋底花纹库中一些鞋底花纹样本图案部分鞋印缺损而导致的检索不准的情况,提高了算法鲁棒性;于此同时,本发明引入了局部语义滤波器来衡量查询图与鞋印图像之间的相似度,减小了光照变化和噪声的影响并降低了背景因素的影响,使得检索准确性和速度得到了一定的提升;进一步地,本发明通过借助查询图来衡量图像库中任意两图像之间的语义关系,进而提高了检索的召回率,提高了算法的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明整体流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,本发明提供了基于局部语义滤波器和桥接相似度的鞋印检索方法,包括以下步骤:
步骤S1:输入待查询图像Q并选择局部语义区域;在输入的待查询图像Q上,选择K个初始局部语义区域,标记为
Figure BDA0002082883950000071
Figure BDA0002082883950000072
表示第k个初始局部语义区域,θ1=0。可以理解为在其它的实施方式中,对待查询图像还可以通过设置图像采集装置对待查询的图像位置进行图像采集。
步骤S2:对局部语义块样本进行增广;预设相似度参数β,并在待查询图像Q中找相似度大于β的J(J>=0)个相似区域块,得到包括初始局部语义区域的相似语义区域
Figure BDA0002082883950000073
Figure BDA0002082883950000074
Figure BDA0002082883950000075
为第K个初始局部语义区域的第J个相似区域,θ1=0。
作为一种优选的实施方式,以待查询图像Q的几何中心为旋转中心,旋转N个角度θ=[θ12,…,θi,...,θN+1],i=1,...,N+1,其中θ1=0,并分别根据相似语义区域
Figure BDA0002082883950000076
的位置对旋转后的待查询图像截取相应区域作为旋转样本,并将各旋转样本组成语义块样本集,得到K个语义样本集T={T(1),T(2),…,T(k),…,T(K)},其中,第k个语义样本集
Figure BDA0002082883950000081
Figure BDA0002082883950000082
表示第k个语义样本集的第(j-1)个相似区域旋转θN+1角度的局部语义块样本;得到完整的局部语义样本集T,实现对局部语义块样本的增广。
步骤S3:分别对K个语义样本集训练局部语义滤波器,构建K个局部语义滤波器模型。
作为一种优选的实施方式,局部语义滤波器模型的损失函数为:
Figure BDA0002082883950000083
其中,h(K)表示第K个局部语义区域样本集训练得到的局部语义滤波器模型,λ表示正则化系数,
Figure BDA0002082883950000084
表示第K个语义样本集的第(j-1)个相似区域旋转θi角度的局部语义块样本,局部语义块样本对应的标签yj,i为高斯函数,则该损失函数简化为:
Figure BDA0002082883950000085
其中,E(h)={E(1)(h(1)),...,E(K)(h(K))}表示损失函数,h={h(1),...,h(K)}表示局部语义滤波器,
Figure BDA0002082883950000086
表示由每个语义样本集中的第(j-1)个相似区域旋转θi角度的局部语义块样本所组成的多样本集。
在本实施方式中,局部语义滤波器模型在频域上的损失函数为:
Figure BDA0002082883950000087
其中,频域上的损失函数
Figure BDA0002082883950000088
频域上局部语义滤波器
Figure BDA0002082883950000089
频域上多样本集
Figure BDA00020828839500000810
作为优选的实施方式,通过求偏导并进行化简得到局部语义滤波器
Figure BDA00020828839500000811
的闭式解的公式为:
Figure BDA00020828839500000812
其中,I表示单位矩阵;每个局部语义样本集对应一个局部语义滤波器模型,所有局部语义滤波器模型组成一个局部语义滤波器模型组
Figure BDA0002082883950000091
步骤S4:局部语义滤波器与鞋底花纹数据库图像之间的相似度计算。
步骤S5:基于局部语义滤波器计算待查询图像与鞋底花纹数据库图像之间的相似度。
步骤S6:以待查询图像Q为桥接的鞋印图像对相似度计算。
步骤S7:计算初始归一化排序得分矩阵。
步骤S8:得到鞋印图像排序得分f*,输出检索鞋底花纹图像。
在本实施方式中,计算局部语义滤波器与鞋底花纹数据库图像之间的相似度。将局部语义滤波器模型组
Figure BDA0002082883950000092
中每一个局部语义滤波器模型与数据库图像D={D1,D2,…,Dm,…,DM}进行相关滤波,其中M表示数据库中图像数量;即对每一张图Dm相关滤波后可得到K个响应图组为:
Figure BDA0002082883950000093
其中
Figure BDA0002082883950000094
表示数据库中第m张图中第k个局部语义样本集的响应图,其中
Figure BDA0002082883950000095
同时作为优选的实施方式,计算响应图的最大值作为待查询图像Q各局部语义区域与数据库中图像Dm之间的相似度
Figure BDA0002082883950000096
其中
Figure BDA0002082883950000097
为局部语义区域k与数据库中图像Dm相似度的相似度,定义如下:
Figure BDA0002082883950000098
其中x,y分别表示响应图
Figure BDA0002082883950000099
中的横纵坐标。
在本实施方式中,计算待查询图像Q与鞋底花纹数据库图像相似度:首先求得各局部语义区域与鞋底花纹数据库中每一幅图像的相似度之后,获取待查询图像Q与鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T,其中sm表示第m张数据库的最优局部语义相似度得分:
Figure BDA00020828839500000910
完成基于局部语义滤波器的鞋印图像相似度的计算。进一步地,进行以待查询图像Q为桥接的鞋印图像对相似度计算;设w表示一个度量函数,通过w来衡量鞋印图像两两之间的相似度,即对于dm,dn∈D,w(dm,dn)表示dm和dn间的相似度,sm表示鞋底花纹数据库的图像dm和待查询图像Q之间的相似度最优得分,sn表示鞋底花纹数据库的图像dn和待查询图像Q之间的相似度最优得分,则以待查询图像Q为桥接的鞋印图像对相似度w(m,n)为:
w(m,n)=T(sm-sn);
其中T(x)是一个映射函数,它可以把两个库图与查询图之间的相似度转化为库图之间的语义相似度,具体表示为:
Figure BDA0002082883950000101
其中ε是防止分母为0的一个误差项;获取语义邻接矩阵W,语义邻接矩阵W中的各元素即为以待查询图像Q为桥接的各鞋印图像对相似度,即W(m,n)=w(m,n)。
在本实施方式中,计算初始归一化排序得分矩阵;对之前计算的待查询图像Q与鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T按降序排列并进行归一化处理,用index(Dm)表示图像Dm在排序结果中的位置索引,则初始归一化排序得分为
Figure BDA0002082883950000102
从而建立归一化排序矩阵,它是一个(M+1)×(M+1)的对角阵,R的第m个元素Rmm为r(Dm)。
作为一种优选的实施方式,计算鞋印图像相似度得分;综合基于局部语义滤波器的鞋印图像相似度的计算和以待查询图像Q为桥接的鞋印图像对相似度计算两部分来计算鞋印图像排序得分f*
Figure BDA0002082883950000103
Figure BDA0002082883950000104
其中f={fm,m=1,2,M+1},U=Q∪D表示待查询图像Q与数据库图像总的集合,α,β,γ均表示正则项系数,且0<α,β,γ<1;第1项即
Figure BDA0002082883950000105
表示排序相关约束项,表示与待查询图像Q越相似的库图应该得到越高的排序得分;公式第2项即
Figure BDA0002082883950000111
表示平滑度约束项,其中,W表示语义邻接矩阵即通过查询图计算得到的邻接矩阵,度矩阵C为对角矩阵,度矩阵C是指该矩阵对角线上每一个元素代表着某一幅图像与数据库中除某一幅图像之外的其他图像的相似度之和,即每一个对角线元素Cmm都表示语义邻接矩阵W第m行的累加和,即
Figure BDA0002082883950000112
公式第3项
Figure BDA0002082883950000113
用来约束排序分数,其中,o=[o1,o2,...,on,...,oM+1]T表示用户对每幅图与查询图之间的相似程度的判断,其中
Figure BDA0002082883950000114
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征在于,包括以下步骤:
S1:输入待查询图像Q并选择局部语义区域;在输入的所述待查询图像Q上,选择K个初始局部语义区域,标记为
Figure FDA0003515070780000011
Figure FDA0003515070780000012
表示第k个初始局部语义区域,θ1=0;
S2:对局部语义块样本进行增广;预设相似度参数β,并在所述待查询图像Q中找相似度大于β的J(J>=0)个相似区域块,得到包括初始局部语义区域的相似语义区域Pθ1,即
Figure FDA0003515070780000013
Figure FDA0003515070780000014
为第K个初始局部语义区域的第J个相似区域,θ1=0;
以所述待查询图像Q的几何中心为旋转中心,旋转N个角度θ=[θ12,…,θi,...,θN+1],i=1,...,N+1,其中θ1=0,并分别根据所述相似语义区域Pθ1的位置对旋转后的所述待查询图像截取相应区域作为旋转样本,并将各旋转样本组成语义块样本集,得到K个语义样本集T={T(1),T(2),…,T(k),…,T(K)},其中,第k个语义样本集:
Figure FDA0003515070780000015
其中,
Figure FDA0003515070780000016
表示第k个语义样本集的第(j-1)个相似区域旋转θN+1角度的局部语义块样本;得到完整的局部语义样本集T,实现对局部语义块样本的增广;
S3:分别对K个语义样本集训练局部语义滤波器,构建K个局部语义滤波器模型;
S4:局部语义滤波器与鞋底花纹数据库图像之间的相似度计算
S5:基于局部语义滤波器的待查询图像与鞋底花纹数据库图像之间的相似度计算;
S6:以所述待查询图像Q为桥接的鞋印图像对相似度计算;以待查询图像Q为桥接的鞋印图像对相似度计算;
设w表示一个度量函数,通过w来衡量鞋印图像两两之间的相似度,即对于dm,dn∈D,w(dm,dn)表示dm和dn间的相似度,sm表示鞋底花纹数据库的图像dm和待查询图像Q之间的相似度最优得分,sn表示鞋底花纹数据库的图像dn和所述待查询图像Q之间的相似度最优得分,则以所述待查询图像Q为桥接的鞋印图像对相似度w(m,n)为:
w(m,n)=T(sm-sn);
其中T(x)是一个映射函数,它可以把两个库图与查询图之间的相似度转化为库图之间的语义相似度,具体表示为:
Figure FDA0003515070780000021
其中ε是防止分母为0的一个误差项;
获取语义邻接矩阵W,所述语义邻接矩阵W中的各元素即为以所述待查询图像Q为桥接的各鞋印图像对相似度,即W(m,n)=w(m,n);
S7:计算初始归一化排序得分矩阵;所述计算初始归一化排序得分矩阵;对之前计算的所述待查询图像Q与所述鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T按降序排列并进行归一化处理,用index(Dm)表示图像Dm在排序结果中的位置索引,则初始归一化排序得分为:
Figure FDA0003515070780000022
从而建立归一化排序矩阵,它是一个(M+1)×(M+1)的对角阵,R的第m个元素Rmm为r(Dm);
S8:得到鞋印图像排序得分f*,输出检索鞋底花纹图像;计算鞋印图像排序得分;
综合所述基于局部语义滤波器的鞋印图像相似度的计算和所述以所述待查询图像Q为桥接的鞋印图像对相似度计算两部分来计算鞋印图像排序得分f*
Figure FDA0003515070780000023
Figure FDA0003515070780000024
其中f={fm,m=1,2,M+1},U=Q∪D表示所述待查询图像Q与所述数据库图像总的集合,α,β,γ均表示正则项系数,且0<α,β,γ<1;第1项即
Figure FDA0003515070780000031
表示排序相关约束项,表示与所述待查询图像Q越相似的库图应该得到越高的排序得分;公式第2项即
Figure FDA0003515070780000032
表示平滑度约束项,其中,W表示语义邻接矩阵即通过所述待查询图像计算得到的邻接矩阵,度矩阵C为对角矩阵,所述度矩阵C是指该矩阵对角线上每一个元素代表着某一幅图像与数据库中除所述某一幅图像之外的其他图像的相似度之和,即每一个对角线元素Cmm都表示语义邻接矩阵W第m行的累加和,即
Figure FDA0003515070780000033
公式第3项
Figure FDA0003515070780000034
用来约束排序分数,其中,o=[o1,o2,...,on,...,oM+1]T表示用户对每幅图与查询图之间的相似程度的判断,其中
Figure FDA0003515070780000035
2.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
所述局部语义滤波器模型的损失函数为:
Figure FDA0003515070780000036
其中,h(K)表示第K个局部语义区域样本集训练得到的局部语义滤波器模型,λ表示正则化系数,
Figure FDA0003515070780000037
表示第K个语义样本集的第(j-1)个相似区域旋转θi角度的局部语义块样本,所述局部语义块样本对应的标签yj,i为高斯函数,则该损失函数简化为:
Figure FDA0003515070780000038
其中,E(h)={E(1)(h(1)),...,E(K)(h(K))}表示损失函数,h={h(1),...,h(K)}表示局部语义滤波器,
Figure FDA0003515070780000039
表示由每个语义样本集中的第(j-1)个相似区域旋转θi角度的局部语义块样本所组成的多样本集;
所述局部语义滤波器模型在频域上的损失函数为:
Figure FDA0003515070780000041
其中,频域上的损失函数
Figure FDA0003515070780000042
频域上局部语义滤波器
Figure FDA0003515070780000043
频域上多样本集
Figure FDA0003515070780000044
通过求偏导并进行化简得到局部语义滤波器
Figure FDA0003515070780000045
的闭式解的公式为:
Figure FDA0003515070780000046
其中,I表示单位矩阵;每个所述局部语义样本集对应一个局部语义滤波器模型,所有局部语义滤波器模型组成一个局部语义滤波器模型组
Figure FDA0003515070780000047
3.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
计算局部语义滤波器与鞋底花纹数据库图像之间的相似度:
将所述局部语义滤波器模型组
Figure FDA0003515070780000048
中每一个局部语义滤波器模型与数据库图像D={D1,D2,…,Dm,…,DM}进行相关滤波,其中M表示数据库中图像数量;即对每一张图Dm相关滤波后可得到K个响应图组为:
Figure FDA0003515070780000049
其中
Figure FDA00035150707800000410
表示数据库中第m张图中第k个局部语义样本集的响应图,其中
Figure FDA00035150707800000411
计算所述响应图的最大值作为所述待查询图像Q各局部语义区域与数据库中图像Dm之间的相似度
Figure FDA00035150707800000412
其中
Figure FDA00035150707800000413
为所述局部语义区域k与所述数据库中图像Dm之间的相似度,定义如下:
Figure FDA00035150707800000414
其中x,y分别表示响应图
Figure FDA00035150707800000415
中的横纵坐标。
4.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
计算所述待查询图像Q与鞋底花纹数据库图像相似度:
首先求得各局部语义滤波器与所述鞋底花纹数据库中每一幅图像的相似度之后,获取所述待查询图像Q与所述鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T,其中sm表示第m张数据库的最优局部语义相似度得分:
Figure FDA0003515070780000051
完成基于局部语义滤波器的鞋印图像相似度的计算。
CN201910477938.5A 2019-06-03 2019-06-03 基于局部语义滤波器和桥接相似度的鞋印检索方法 Active CN110188222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910477938.5A CN110188222B (zh) 2019-06-03 2019-06-03 基于局部语义滤波器和桥接相似度的鞋印检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910477938.5A CN110188222B (zh) 2019-06-03 2019-06-03 基于局部语义滤波器和桥接相似度的鞋印检索方法

Publications (2)

Publication Number Publication Date
CN110188222A CN110188222A (zh) 2019-08-30
CN110188222B true CN110188222B (zh) 2022-06-14

Family

ID=67719995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910477938.5A Active CN110188222B (zh) 2019-06-03 2019-06-03 基于局部语义滤波器和桥接相似度的鞋印检索方法

Country Status (1)

Country Link
CN (1) CN110188222B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860500B (zh) * 2020-07-10 2024-03-19 大连海事大学 一种鞋印磨损区域检测与描边方法
CN112800267B (zh) * 2021-02-03 2024-06-11 大连海事大学 一种细粒度鞋印图像检索方法
CN113672755B (zh) * 2021-08-03 2024-03-22 大连海事大学 一种低质量鞋印图像的表示方法及鞋印图像检索方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9575994B2 (en) * 2011-02-11 2017-02-21 Siemens Aktiengesellschaft Methods and devices for data retrieval
CN106776950B (zh) * 2016-12-02 2020-05-05 大连海事大学 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法
CN107436943B (zh) * 2017-07-31 2020-05-29 大连海事大学 一种结合主观显著性的现场鞋底花纹检索方法
CN108563767B (zh) * 2018-04-19 2020-11-27 深圳市商汤科技有限公司 图像检索方法及装置

Also Published As

Publication number Publication date
CN110188222A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110188222B (zh) 基于局部语义滤波器和桥接相似度的鞋印检索方法
CN104584073B (zh) 物体识别装置和物体识别方法
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
US8588484B2 (en) Fingerprint matching method and apparatus
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN108280396B (zh) 基于深度多特征主动迁移网络的高光谱图像分类方法
JPH09508739A (ja) 指紋一致装置
CN106776950B (zh) 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法
Alberink et al. Performance of the FearID earprint identification system
CN105184225B (zh) 一种多国纸币图像识别方法和装置
CN106897722A (zh) 一种基于区域形状特征的商标图像检索方法
Maaten et al. Computer vision and machine learning for archaeology
Zhang et al. Automatic shoeprint retrieval system for use in forensic investigations
CN111898589B (zh) 一种基于gpu+特征识别的无人机影像快速配准方法
CN116757713A (zh) 基于图像识别的作品估值方法、装置、设备及存储介质
GB2451888A (en) Processing fingerprints to identify sweat pores, i.e. third level information, from ridge structures, i.e. macroscopic first level information.
CN111382703B (zh) 一种基于二次筛选与分数融合的指静脉识别方法
Huynh et al. Automatic classification of shoeprints for use in forensic science based on the Fourier transform
Jose et al. Early detection and classification of apple leaf diseases by utilizing ifpa genetic algorithm with mc-svm, svi and deep learning methods
Boudani et al. Content-Based Image Retrieval for Surface Defects of Hot Rolled Steel Strip Using Wavelet-Based LBP
Jadah et al. Breast Cancer Image Classification Using Deep Convolutional Neural Networks
Lakshmi et al. Robust algorithm for Telugu word image retrieval and recognition
CN111461060A (zh) 一种基于深度学习和极限学习机的交通标志识别方法
Savolainen Matching method for mutated veneer sheet images using gray-level co-occurrence matrix features
CN115564743B (zh) 纸张典型光谱提取方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant