CN110188222A - 基于局部语义滤波器和桥接相似度的鞋印检索方法 - Google Patents
基于局部语义滤波器和桥接相似度的鞋印检索方法 Download PDFInfo
- Publication number
- CN110188222A CN110188222A CN201910477938.5A CN201910477938A CN110188222A CN 110188222 A CN110188222 A CN 110188222A CN 201910477938 A CN201910477938 A CN 201910477938A CN 110188222 A CN110188222 A CN 110188222A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- semantic
- local semantic
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000003416 augmentation Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010606 normalization Methods 0.000 abstract description 2
- 238000001228 spectrum Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于局部语义滤波器和桥接相似度的鞋印检索方法,包括以下步骤:输入待查询图像并选择局部语义区域;对局部语义块样本进行增广;训练局部语义滤波器;计算局部语义滤波器与数据库中鞋印图像的相似度;计算待查询图像与数据库图像之间的相似度;计算以所述待查询图像为桥接的鞋印图像对的相似度;计算初始归一化排序得分矩阵;得到鞋印图像排序得分降序输出数据库中鞋底花纹图像。本发明通过在待查询图像上选择语义区域训练滤波器,根据滤波器与数据库之间的相关性计算相似度,使检索结果受光照、几何畸变影响小;另外以待查询图像为桥接计算鞋底花纹库图像之间的相似度,减弱了鞋印大部分缺损对检索性能的影响。
Description
技术领域
本发明涉及鞋底花纹检索技术领域,具体而言,尤其涉及基于局部语义滤波器和桥接相似度的鞋印检索方法。
背景技术
现有的自动鞋印检索系统按提取的特征主要分为:基于全局表观特征的检索方法、基于局部表观特征的检索方法和基于兴趣点特征的检索方法。其中与本发明最相关的技术是基于局部表观特征的检索方法。
现有的基于局部表观特征鞋底花纹检索技术主要有以下四种:
(1)将二值化后的现场鞋底花纹分为上下两个区域,并提取其频谱特征;之后将该频谱特征与样本图像库中预存的鞋底花纹二值图的频谱特征进行相似性度量计算,得到上下两个区域的相似性得分,并将两个区域的得分做几何平均从而得到最终相似性得分;将该相似性得分按一定规则排序,按其排序结果输出样本库中预先存储的鞋底花纹图像。
(2)引入反馈机制,其具体做法是首先将从二值化后的现场鞋底花纹图像中提取的频谱特征与样本图像库中预先存储的图像特征进行相似度计算并排序,依照排序结果将样本图像库中预存的鞋底花纹图像依次输出;之后按照某种标准选择两个以上输出样本图像并提取其频谱特征求平均,从而得到平均频谱特征;之后再计算平均频谱特征与样本库中预存的频谱特征的相似度得分并进行排序,按排序结果输出鞋底花纹图像
(3)将鞋底花纹图像分为固定大小区域并进行傅里叶变换,将各区域傅里叶变换结果作为特征描述子与数据库中鞋底花纹图像特征进行对比计算相似性得分并排序,按排序结果输出鞋底花纹图像
(4)利用人为选择的主观显著性区域进行旋转得到各显著性区域及其旋转副本,并将其组成一个模板组;将该模板组与鞋底花纹图像数据库进行相关操作,计算其相似度得分并归一化处理,作为主观匹配得分;再将整张图提取的小波傅里叶梅林频谱特征与库中鞋底花纹图像的特征进行相似度计算得到客观相似度;按一定比例综合主观匹配得分和客观相似度得分得到总的相似度得分并排序,由排序得分输出鞋印数据库图像。
由于现场图像大多数为残缺并且模糊的,在基于全局表观特征的检索方法中,直接将整幅鞋印图像作为唯一输入到检索系统中提取特征,而没有考虑到用户关注的局部区域,这样的做法并不合理。并且在基于局部表观特征的检索方法中,目前提取显著性区域特征的方法没有考虑到光照变化和噪声的影响,也没有考虑到现场鞋底花纹背景因素对特征提取的影响,而这些影响对鞋印检索技术的准确性来说是较为重要的影响因素。
现有技术中应用于鞋印图像的检索算法多是仅通过库图之间相似度来衡量两幅图像语义层面的相似度,当图像存在大面积残缺时,该方法会失效。
发明内容
根据上述提出的技术问题,而提供一种基于局部语义滤波器和桥接相似度的鞋印检索方法。本发明主要利用基于局部语义滤波器和桥接相似度的鞋印检索方法,包括以下步骤:
步骤S1:输入待查询图像Q并选择局部语义区域;在输入的所述待查询图像Q上,选择K个初始局部语义区域,标记为 表示第k个初始局部语义区域,θ1=0;
步骤S2:对局部语义块样本进行增广;预设相似度参数β,并在所述待查询图像Q中找相似度大于β的J(J>=0)个相似区域块,得到包括初始局部语义区域的相似语义区域即 为第K个初始局部语义区域的第J个相似区域,θ1=0。
进一步地,以所述待查询图像Q的几何中心为旋转中心,旋转N个角度θ=[θ1,θ2,…,θi,...,θN+1],i=1,...,N+1,其中θ1=0,并分别根据所述相似语义区域的位置对旋转后的所述待查询图像截取相应区域作为旋转样本,并将各旋转样本组成语义块样本集,得到K个语义样本集T={T(1),T(2),…,T(k),…,T(K)},其中,第k个语义样本集 表示第k个语义样本集的第(j-1)个相似区域旋转θN+1角度的局部语义块样本;得到完整的局部语义样本集T,实现对局部语义块样本的增广。
步骤S3:分别对K个语义样本集训练局部语义滤波器,构建K个局部语义滤波器模型。
步骤S4:计算局部语义滤波器与鞋底花纹数据库图像之间的相似度。
步骤S5:基于局部语义滤波器计算待查询图像与鞋底花纹数据库图像之间的相似度。
步骤S6:以所述待查询图像Q为桥接的鞋印图像对相似度计算。
步骤S7:计算初始归一化排序得分矩阵。
步骤S8:得到鞋印图像排序得分f*,输出检索鞋底花纹图像。
进一步地,所述局部语义滤波器模型的损失函数为:
其中,h(K)表示第K个局部语义区域样本集训练得到的局部语义滤波器模型,λ表示正则化系数,表示第K个语义样本集的第(j-1)个相似区域旋转θi角度的局部语义块样本,所述局部语义块样本对应的标签yj,i为高斯函数,则该损失函数简化为:
其中,E(h)={E(1)(h(1)),...,E(K)(h(K))}表示损失函数,h={h(1),...,h(K)}表示局部语义滤波器,表示由每个语义样本集中的第(j-1)个相似区域旋转θi角度的局部语义块样本所组成的多样本集。
更进一步地,所述局部语义滤波器模型在频域上的损失函数为:
其中,频域上的损失函数频域上局部语义滤波器频域上多样本集
进一步地,通过求偏导并进行化简得到局部语义滤波器的闭式解的公式为:
其中,I表示单位矩阵;每个所述局部语义样本集对应一个局部语义滤波器模型,所有局部语义滤波器模型组成一个局部语义滤波器模型组
更进一步地,所述计算局部语义滤波器与鞋底花纹数据库图像之间的相似度。将所述局部语义滤波器模型组中每一个局部语义滤波器模型与数据库图像D={D1,D2,…,Dm,…,DM}进行相关滤波,其中M表示数据库中图像数量;即对每一张图Dm相关滤波后可得到K个响应图组为:其中表示数据库中第m张图中第k个局部语义样本集的响应图,其中
进一步地,计算所述响应图的最大值作为所述待查询图像Q各局部语义区域与数据库中图像Dm之间的相似度其中为所述局部语义区域k与所述数据库中图像Dm相似度的相似度,定义如下:
其中x,y分别表示响应图中的横纵坐标。
更进一步地,所述计算所述待查询图像Q与鞋底花纹数据库图像相似度:
首先求得各局部语义滤波器与所述鞋底花纹数据库中每一幅图像的相似度之后,获取所述待查询图像Q与所述鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T,其中sm表示第m张数据库的最优局部语义相似度得分:
完成基于局部语义滤波器的鞋印图像相似度的计算。
进一步地,所述以所述待查询图像Q为桥接的鞋印图像对相似度计算;设w表示一个度量函数,通过w来衡量鞋印图像两两之间的相似度,即对于dm,dn∈D,w(dm,dn)表示dm和dn间的相似度,sm表示鞋底花纹数据库的图像dm和待查询图像Q之间的相似度最优得分,sn表示鞋底花纹数据库的图像dn和所述待查询图像Q之间的相似度最优得分,则以所述待查询图像Q为桥接的鞋印图像对相似度w(m,n)为:
w(m,n)=T(sm-sn);
其中T(x)是一个映射函数,它可以把两个库图与查询图之间的相似度转化为库图之间的语义相似度,具体表示为:
其中ε是防止分母为0的一个误差项;获取所述语义邻接矩阵W,所述语义邻接矩阵W中的各元素即为以所述待查询图像Q为桥接的各鞋印图像对相似度,即W(m,n)=w(m,n)。
更进一步地,所述计算初始归一化排序得分矩阵;对之前计算的所述待查询图像Q与所述鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T按降序排列并进行归一化处理,用index(Dm)表示图像Dm在排序结果中的位置索引,则初始归一化排序得分为
从而建立归一化排序矩阵,它是一个(M+1)×(M+1)的对角阵,R的第m个元素Rmm为r(Dm)。
进一步地,所述计算鞋印图像相似度得分;综合所述基于局部语义滤波器的鞋印图像相似度的计算和所述以所述待查询图像Q为桥接的鞋印图像对相似度计算鞋印图像排序得分f*:
其中f={fm,m=1,2,M+1},U=Q∪D表示所述待查询图像Q与所述数据库图像总的集合,α,β,γ均表示正则项系数,且0<α,β,γ<1;第1项即表示排序相关约束项,表示与所述待查询图像Q越相似的库图应该得到越高的排序得分;公式第2项即表示平滑度约束项,其中,W表示语义邻接矩阵即通过查询图计算得到的邻接矩阵,度矩阵C为对角矩阵,所述度矩阵C是指该矩阵对角线上每一个元素代表着某一幅图像与数据库中除所述某一幅图像之外的其他图像的相似度之和,即每一个对角线元素Cmm都表示语义邻接矩阵W第m行的累加和,即公式第3项用来约束排序分数,其中,o=[o1,o2,...,on,...,oM+1]T表示用户对每幅图与查询图之间的相似程度的判断,其中
较现有技术相比,本发明具有以下优点:
本发明通过利用鞋印的多个局部语义区域训练语义滤波器,避免了在现场鞋底花纹库中一些鞋底花纹样本图案部分鞋印缺损而导致的检索不准的情况,提高了算法鲁棒性;于此同时,本发明引入了局部语义滤波器来衡量查询图与鞋印图像之间的相似度,减小了光照变化和噪声的影响并降低了背景因素的影响,使得检索准确性和速度得到了一定的提升;进一步地,本发明通过借助查询图来衡量图像库中任意两图像之间的语义关系,进而提高了检索的召回率,提高了算法的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明整体流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,本发明提供了基于局部语义滤波器和桥接相似度的鞋印检索方法,包括以下步骤:
步骤S1:输入待查询图像Q并选择局部语义区域;在输入的待查询图像Q上,选择K个初始局部语义区域,标记为 表示第k个初始局部语义区域,θ1=0。可以理解为在其它的实施方式中,对待查询图像还可以通过设置图像采集装置对待查询的图像位置进行图像采集。
步骤S2:对局部语义块样本进行增广;预设相似度参数β,并在待查询图像Q中找相似度大于β的J(J>=0)个相似区域块,得到包括初始局部语义区域的相似语义区域即 为第K个初始局部语义区域的第J个相似区域,θ1=0。
作为一种优选的实施方式,以待查询图像Q的几何中心为旋转中心,旋转N个角度θ=[θ1,θ2,…,θi,...,θN+1],i=1,...,N+1,其中θ1=0,并分别根据相似语义区域的位置对旋转后的待查询图像截取相应区域作为旋转样本,并将各旋转样本组成语义块样本集,得到K个语义样本集T={T(1),T(2),…,T(k),…,T(K)},其中,第k个语义样本集 表示第k个语义样本集的第(j-1)个相似区域旋转θN+1角度的局部语义块样本;得到完整的局部语义样本集T,实现对局部语义块样本的增广。
步骤S3:分别对K个语义样本集训练局部语义滤波器,构建K个局部语义滤波器模型。
作为一种优选的实施方式,局部语义滤波器模型的损失函数为:
其中,h(K)表示第K个局部语义区域样本集训练得到的局部语义滤波器模型,λ表示正则化系数,表示第K个语义样本集的第(j-1)个相似区域旋转θi角度的局部语义块样本,局部语义块样本对应的标签yj,i为高斯函数,则该损失函数简化为:
其中,E(h)={E(1)(h(1)),...,E(K)(h(K))}表示损失函数,h={h(1),...,h(K)}表示局部语义滤波器,表示由每个语义样本集中的第(j-1)个相似区域旋转θi角度的局部语义块样本所组成的多样本集。
在本实施方式中,局部语义滤波器模型在频域上的损失函数为:
其中,频域上的损失函数频域上局部语义滤波器频域上多样本集
作为优选的实施方式,通过求偏导并进行化简得到局部语义滤波器的闭式解的公式为:
其中,I表示单位矩阵;每个局部语义样本集对应一个局部语义滤波器模型,所有局部语义滤波器模型组成一个局部语义滤波器模型组
步骤S4:局部语义滤波器与鞋底花纹数据库图像之间的相似度计算。
步骤S5:基于局部语义滤波器计算待查询图像与鞋底花纹数据库图像之间的相似度。
步骤S6:以待查询图像Q为桥接的鞋印图像对相似度计算。
步骤S7:计算初始归一化排序得分矩阵。
步骤S8:得到鞋印图像排序得分f*,输出检索鞋底花纹图像。
在本实施方式中,计算局部语义滤波器与鞋底花纹数据库图像之间的相似度。将局部语义滤波器模型组中每一个局部语义滤波器模型与数据库图像D={D1,D2,…,Dm,…,DM}进行相关滤波,其中M表示数据库中图像数量;即对每一张图Dm相关滤波后可得到K个响应图组为:其中表示数据库中第m张图中第k个局部语义样本集的响应图,其中
同时作为优选的实施方式,计算响应图的最大值作为待查询图像Q各局部语义区域与数据库中图像Dm之间的相似度其中为局部语义区域k与数据库中图像Dm相似度的相似度,定义如下:
其中x,y分别表示响应图中的横纵坐标。
在本实施方式中,计算待查询图像Q与鞋底花纹数据库图像相似度:首先求得各局部语义区域与鞋底花纹数据库中每一幅图像的相似度之后,获取待查询图像Q与鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T,其中sm表示第m张数据库的最优局部语义相似度得分:
完成基于局部语义滤波器的鞋印图像相似度的计算。进一步地,进行以待查询图像Q为桥接的鞋印图像对相似度计算;设w表示一个度量函数,通过w来衡量鞋印图像两两之间的相似度,即对于dm,dn∈D,w(dm,dn)表示dm和dn间的相似度,sm表示鞋底花纹数据库的图像dm和待查询图像Q之间的相似度最优得分,sn表示鞋底花纹数据库的图像dn和待查询图像Q之间的相似度最优得分,则以待查询图像Q为桥接的鞋印图像对相似度w(m,n)为:
w(m,n)=T(sm-sn);
其中T(x)是一个映射函数,它可以把两个库图与查询图之间的相似度转化为库图之间的语义相似度,具体表示为:
其中ε是防止分母为0的一个误差项;获取语义邻接矩阵W,语义邻接矩阵W中的各元素即为以待查询图像Q为桥接的各鞋印图像对相似度,即W(m,n)=w(m,n)。
在本实施方式中,计算初始归一化排序得分矩阵;对之前计算的待查询图像Q与鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T按降序排列并进行归一化处理,用index(Dm)表示图像Dm在排序结果中的位置索引,则初始归一化排序得分为
从而建立归一化排序矩阵,它是一个(M+1)×(M+1)的对角阵,R的第m个元素Rmm为r(Dm)。
作为一种优选的实施方式,计算鞋印图像相似度得分;综合基于局部语义滤波器的鞋印图像相似度的计算和以待查询图像Q为桥接的鞋印图像对相似度计算两部分来计算鞋印图像排序得分f*:
其中f={fm,m=1,2,M+1},U=Q∪D表示待查询图像Q与数据库图像总的集合,α,β,γ均表示正则项系数,且0<α,β,γ<1;第1项即表示排序相关约束项,表示与待查询图像Q越相似的库图应该得到越高的排序得分;公式第2项即表示平滑度约束项,其中,W表示语义邻接矩阵即通过查询图计算得到的邻接矩阵,度矩阵C为对角矩阵,度矩阵C是指该矩阵对角线上每一个元素代表着某一幅图像与数据库中除某一幅图像之外的其他图像的相似度之和,即每一个对角线元素Cmm都表示语义邻接矩阵W第m行的累加和,即公式第3项用来约束排序分数,其中,o=[o1,o2,...,on,...,oM+1]T表示用户对每幅图与查询图之间的相似程度的判断,其中
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征在于,包括以下步骤:
S1:输入待查询图像Q并选择局部语义区域;在输入的所述待查询图像Q上,选择K个初始局部语义区域,标记为 表示第k个初始局部语义区域,θ1=0;
S2:对局部语义块样本进行增广;预设相似度参数β,并在所述待查询图像Q中找相似度大于β的J(J>=0)个相似区域块,得到包括初始局部语义区域的相似语义区域即 为第K个初始局部语义区域的第J个相似区域,θ1=0;
以所述待查询图像Q的几何中心为旋转中心,旋转N个角度θ=[θ1,θ2,…,θi,...,θN+1],i=1,...,N+1,其中θ1=0,并分别根据所述相似语义区域的位置对旋转后的所述待查询图像截取相应区域作为旋转样本,并将各旋转样本组成语义块样本集,得到K个语义样本集T={T(1),T(2),…,T(k),…,T(K)},其中,第k个语义样本集:
其中,表示第k个语义样本集的第(j-1)个相似区域旋转θN+1角度的局部语义块样本;得到完整的局部语义样本集T,实现对局部语义块样本的增广;
S3:分别对K个语义样本集训练局部语义滤波器,构建K个局部语义滤波器模型;
S4:局部语义滤波器与鞋底花纹数据库图像之间的相似度计算
S5:基于局部语义滤波器的待查询图像与鞋底花纹数据库图像之间的相似度计算;
S6:以所述待查询图像Q为桥接的鞋印图像对相似度计算;
S7:计算初始归一化排序得分矩阵;
S8:得到鞋印图像排序得分f*,输出检索鞋底花纹图像。
2.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
所述局部语义滤波器模型的损失函数为:
其中,h(K)表示第K个局部语义区域样本集训练得到的局部语义滤波器模型,λ表示正则化系数,表示第K个语义样本集的第(j-1)个相似区域旋转θi角度的局部语义块样本,所述局部语义块样本对应的标签yj,i为高斯函数,则该损失函数简化为:
其中,E(h)={E(1)(h(1)),...,E(K)(h(K))}表示损失函数,h={h(1),...,h(K)}表示局部语义滤波器,表示由每个语义样本集中的第(j-1)个相似区域旋转θi角度的局部语义块样本所组成的多样本集;
所述局部语义滤波器模型在频域上的损失函数为:
其中,频域上的损失函数频域上局部语义滤波器频域上多样本集
通过求偏导并进行化简得到局部语义滤波器的闭式解的公式为:
其中,I表示单位矩阵;每个所述局部语义样本集对应一个局部语义滤波器模型,所有局部语义滤波器模型组成一个局部语义滤波器模型组
3.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
所述计算局部语义滤波器与鞋底花纹数据库图像之间的相似度:
将所述局部语义滤波器模型组中每一个局部语义滤波器模型与数据库图像D={D1,D2,…,Dm,…,DM}进行相关滤波,其中M表示数据库中图像数量;即对每一张图Dm相关滤波后可得到K个响应图组为:其中表示数据库中第m张图中第k个局部语义样本集的响应图,其中
计算所述响应图的最大值作为所述待查询图像Q各局部语义区域与数据库中图像Dm之间的相似度其中为所述局部语义区域k与所述数据库中图像Dm之间的相似度,定义如下:
其中x,y分别表示响应图中的横纵坐标。
4.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
所述计算所述待查询图像Q与鞋底花纹数据库图像相似度:
首先求得各局部语义滤波器与所述鞋底花纹数据库中每一幅图像的相似度之后,获取所述待查询图像Q与所述鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T,其中sm表示第m张数据库的最优局部语义相似度得分:
完成基于局部语义滤波器的鞋印图像相似度的计算。
5.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
所述以待查询图像Q为桥接的鞋印图像对相似度计算;
设w表示一个度量函数,通过w来衡量鞋印图像两两之间的相似度,即对于dm,dn∈D,w(dm,dn)表示dm和dn间的相似度,sm表示鞋底花纹数据库的图像dm和待查询图像Q之间的相似度最优得分,sn表示鞋底花纹数据库的图像dn和所述待查询图像Q之间的相似度最优得分,则以所述待查询图像Q为桥接的鞋印图像对相似度w(m,n)为:
w(m,n)=T(sm-sn);
其中T(x)是一个映射函数,它可以把两个库图与查询图之间的相似度转化为库图之间的语义相似度,具体表示为:
其中ε是防止分母为0的一个误差项;
获取所述语义邻接矩阵W,所述语义邻接矩阵W中的各元素即为以所述待查询图像Q为桥接的各鞋印图像对相似度,即W(m,n)=w(m,n)。
6.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
所述计算初始归一化排序得分矩阵;对之前计算的所述待查询图像Q与所述鞋底花纹数据库中所有图像的相似度S=[s1,s2,…,sm,…,sM]T按降序排列并进行归一化处理,用index(Dm)表示图像Dm在排序结果中的位置索引,则初始归一化排序得分为:
从而建立归一化排序矩阵,它是一个(M+1)×(M+1)的对角阵,R的第m个元素Rmm为r(Dm)。
7.根据权利要求1所述的基于局部语义滤波器和桥接相似度的鞋印检索方法,其特征还在于:
所述计算鞋印图像排序得分
综合所述基于局部语义滤波器的鞋印图像相似度的计算和所述以所述待查询图像Q为桥接的鞋印图像对相似度计算两部分来计算鞋印图像排序得分f*:
其中f={fm,m=1,2,M+1},U=Q∪D表示所述待查询图像Q与所述数据库图像总的集合,α,β,γ均表示正则项系数,且0<α,β,γ<1;第1项即表示排序相关约束项,表示与所述待查询图像Q越相似的库图应该得到越高的排序得分;公式第2项即表示平滑度约束项,其中,W表示语义邻接矩阵即通过所述待查询图像计算得到的邻接矩阵,度矩阵C为对角矩阵,所述度矩阵C是指该矩阵对角线上每一个元素代表着某一幅图像与数据库中除所述某一幅图像之外的其他图像的相似度之和,即每一个对角线元素Cmm都表示语义邻接矩阵W第m行的累加和,即公式第3项用来约束排序分数,其中,o=[o1,o2,...,on,...,oM+1]T表示用户对每幅图与查询图之间的相似程度的判断,其中
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910477938.5A CN110188222B (zh) | 2019-06-03 | 2019-06-03 | 基于局部语义滤波器和桥接相似度的鞋印检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910477938.5A CN110188222B (zh) | 2019-06-03 | 2019-06-03 | 基于局部语义滤波器和桥接相似度的鞋印检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110188222A true CN110188222A (zh) | 2019-08-30 |
CN110188222B CN110188222B (zh) | 2022-06-14 |
Family
ID=67719995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910477938.5A Active CN110188222B (zh) | 2019-06-03 | 2019-06-03 | 基于局部语义滤波器和桥接相似度的鞋印检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110188222B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860500A (zh) * | 2020-07-10 | 2020-10-30 | 大连海事大学 | 一种鞋印磨损区域检测与描边方法 |
CN112800267A (zh) * | 2021-02-03 | 2021-05-14 | 大连海事大学 | 一种细粒度鞋印图像检索方法 |
CN113672755A (zh) * | 2021-08-03 | 2021-11-19 | 大连海事大学 | 一种低质量鞋印图像的表示方法及鞋印图像检索方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120209833A1 (en) * | 2011-02-11 | 2012-08-16 | Siemens Aktiengesellschaft | Methods and devices for data retrieval |
CN106776950A (zh) * | 2016-12-02 | 2017-05-31 | 大连海事大学 | 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法 |
CN107436943A (zh) * | 2017-07-31 | 2017-12-05 | 大连海事大学 | 一种结合主观显著性的现场鞋底花纹检索方法 |
CN108563767A (zh) * | 2018-04-19 | 2018-09-21 | 深圳市商汤科技有限公司 | 图像检索方法及装置 |
-
2019
- 2019-06-03 CN CN201910477938.5A patent/CN110188222B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120209833A1 (en) * | 2011-02-11 | 2012-08-16 | Siemens Aktiengesellschaft | Methods and devices for data retrieval |
CN106776950A (zh) * | 2016-12-02 | 2017-05-31 | 大连海事大学 | 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法 |
CN107436943A (zh) * | 2017-07-31 | 2017-12-05 | 大连海事大学 | 一种结合主观显著性的现场鞋底花纹检索方法 |
CN108563767A (zh) * | 2018-04-19 | 2018-09-21 | 深圳市商汤科技有限公司 | 图像检索方法及装置 |
US20200327363A1 (en) * | 2018-04-19 | 2020-10-15 | Shenzhen Sensetime Technology Co., Ltd. | Image retrieval method and apparatus |
Non-Patent Citations (2)
Title |
---|
JUNGEUN LEE等: ""Image Retrieval in Forensics: Tattoo Image Database Application"", 《IEEE MULTIMEDIA》 * |
李大湘等: ""融合LBP特征与LSH索引的鞋印图像检索"", 《警察技术》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860500A (zh) * | 2020-07-10 | 2020-10-30 | 大连海事大学 | 一种鞋印磨损区域检测与描边方法 |
CN111860500B (zh) * | 2020-07-10 | 2024-03-19 | 大连海事大学 | 一种鞋印磨损区域检测与描边方法 |
CN112800267A (zh) * | 2021-02-03 | 2021-05-14 | 大连海事大学 | 一种细粒度鞋印图像检索方法 |
CN112800267B (zh) * | 2021-02-03 | 2024-06-11 | 大连海事大学 | 一种细粒度鞋印图像检索方法 |
CN113672755A (zh) * | 2021-08-03 | 2021-11-19 | 大连海事大学 | 一种低质量鞋印图像的表示方法及鞋印图像检索方法 |
CN113672755B (zh) * | 2021-08-03 | 2024-03-22 | 大连海事大学 | 一种低质量鞋印图像的表示方法及鞋印图像检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110188222B (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
Wu et al. | Busternet: Detecting copy-move image forgery with source/target localization | |
CN110188222B (zh) | 基于局部语义滤波器和桥接相似度的鞋印检索方法 | |
CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
CN108288271A (zh) | 基于三维残差网络的图像检测系统及方法 | |
CN103544499B (zh) | 一种基于机器视觉的表面瑕疵检测的纹理特征降维方法 | |
JPH09508739A (ja) | 指紋一致装置 | |
CN111539440A (zh) | 用于大图像集的有效的图像匹配 | |
CN112288761B (zh) | 一种异常发热的电力设备检测方法、装置和可读存储介质 | |
CN105184225B (zh) | 一种多国纸币图像识别方法和装置 | |
CN110188225A (zh) | 一种基于排序学习和多元损失的图像检索方法 | |
JP2013541779A (ja) | ウェブベースの材料のばらつきを検出するための、不均一性の厳しさ度の連続的なチャート化 | |
Maaten et al. | Computer vision and machine learning for archaeology | |
Yu et al. | Three-channel infrared imaging for object detection in haze | |
CN110147800A (zh) | 基于sift的图像复制粘贴篡改盲检方法 | |
CN112559791A (zh) | 一种基于深度学习的布匹分类检索方法 | |
CN117355038A (zh) | 用于线路板软板的x型孔加工方法及其系统 | |
CN113674225A (zh) | 一种基于卷积神经网络的电力设备故障检测方法 | |
CN112418262A (zh) | 车辆再识别的方法、客户端及系统 | |
Niskanen et al. | Real-time aspects of SOM-based visual surface inspection | |
CN106326927A (zh) | 一种鞋印新类别检测方法 | |
Huynh et al. | Automatic classification of shoeprints for use in forensic science based on the Fourier transform | |
CN111382703B (zh) | 一种基于二次筛选与分数融合的指静脉识别方法 | |
Jose et al. | Early detection and classification of apple leaf diseases by utilizing ifpa genetic algorithm with mc-svm, svi and deep learning methods | |
CN113658080B (zh) | 一种基于特征点匹配的线扫圆柱体几何校正方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |