CN113111209B - 一种针对货架场景大图的重复图片搜索方法及装置 - Google Patents
一种针对货架场景大图的重复图片搜索方法及装置 Download PDFInfo
- Publication number
- CN113111209B CN113111209B CN202110410107.3A CN202110410107A CN113111209B CN 113111209 B CN113111209 B CN 113111209B CN 202110410107 A CN202110410107 A CN 202110410107A CN 113111209 B CN113111209 B CN 113111209B
- Authority
- CN
- China
- Prior art keywords
- shelf
- picture
- pictures
- sku
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012216 screening Methods 0.000 claims abstract description 42
- 239000013598 vector Substances 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Abstract
本发明提供了一种针对货架场景大图的重复图片搜索方法及装置,所述方法包括:计算货架查询图片与数据库中货架数据库图片之间的相似度,并筛选出相似度最高的N张相似货架图片;对每一图片进行SKU位置识别,并根据SKU位置识别结果对每一图片生成SKU序列;基于每一图片的SKU序列,分别计算所述货架查询图片与每一相似货架图片的编辑距离;根据所述编辑距离分别计算每一相似货架图片的最终相似度,将最终相似度大于预设的阈值的图片判定为重复图片。本发明对筛选出的候选相似货架图片进一步基于SKU信息进行排序和相似度计算,最后搜索出与查询图片最相似的重复图片。本发明方案能够有效提高货架场景中重复图片的搜索准确性。
Description
技术领域
本发明涉及图像识别技术领域,尤其是涉及一种针对货架场景大图的重复图片搜索方法及装置。
背景技术
图像搜索技术是计算机视觉中一个重要的研究方向。当给定一个查询图片,图像搜索技术会从已有的底库图片中搜索N张相似的图片,然后根据所搜出来的N张图片进一步排序,找出一张最相似的图片。
目前,现有的图像搜索技术往往应用在单个建筑标记、某个商品小图的搜索应用中。而针对零售货架场景大图的重复图片的搜索,仅仅应用现有的图像搜索技术很难有较好的搜索效果。其原因在于,有很多不同门店的货架外观是标准化的,即使是两个不同货架拍摄的图片相似度也极高,则现有搜索方法容易将不同的两个货架图片误判为重复图片;此外,当拍照人员从不同角度拍摄同一货架,或者拍摄货架的区域位置略有变化时,照片的差异度会比较大。现有的图像搜索技术在搜索出N张相似图片后,进一步排序时很容易将其他标准化的非重复图片排列前面,而实际是同一货架的不同角度图片则被排在后面。
综上所述,在应用现有搜索技术搜索某一货架时,会返回很多相似的但并不是同个货架的图片出来,很难搜索出拍摄角度差异较大或者拍摄区域变化较大的同一货架图。
发明内容
本发明旨在提供一种针对货架场景大图的重复图片搜索方法及装置,以解决上述技术问题,从而能够提高货架场景中重复图片的搜索准确性。
为了解决上述技术问题,本发明提供了一种针对货架场景大图的重复图片搜索方法,包括:
获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片与预设数据库中每一货架数据库图片之间的相似度,并从所述货架数据库图片中筛选出相似度最高的N张作为相似货架图片;
采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按预设的顺序分别对所述货架查询图片和N张所述相似货架图片生成SKU序列;
基于每一图片的SKU序列,采用预设的编辑距离计算公式分别计算所述货架查询图片与N张所述相似货架图片的编辑距离;
根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度,并从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片;
若所述候选重复图片的最终相似度大于预设的阈值,则将该候选重复图片判定为重复图片。
所述获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片与预设数据库中每一货架数据库图片之间的相似度,并从所述货架数据库图片中筛选出相似度最高的N张作为相似货架图片,具体包括:
获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片和预设数据库中每一货架数据库图片的特征向量值;
根据所述特征向量值计算所述货架查询图片与每一所述货架数据库图片之间的特征距离;其中,所述特征距离L1的计算公式为:
;
其中,代表拍摄大图特征向量中的每一个元素值,/>代表数据库中图片的特征向量中的每一个元素值;
基于所述特征距离对所述货架数据库图片按从小到大进行排序,并从所述货架数据库图片中筛选出排序靠前的N张作为所述相似货架图片。
所述采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按预设的顺序分别对所述货架查询图片和N张所述相似货架图片生成SKU序列,具体包括:
采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按从左至右、从上至下的顺序对每一图片进行编号;其中,所述SKU位置识别结果包括SKU的位置和类别信息,所述SKU的位置和类别信息包括SKU的位置信息框bbox框和cls类别信息;
根据每一图片的编号分别对所述货架查询图片和N张所述相似货架图片生成SKU序列。
所述根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度,并从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片,具体包括:
根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度;所述最终相似度的计算公式为:similarity=1-lev,其中lev代表所述编辑距离;所述编辑距离计算公式具体为:
;
其中,Qr为货架查询图片的SKU序列,Qi为第i张相似货架图片的SKU序列,m和n分别代表Qr和Qi字符串的下标;
从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片。
在若所述候选重复图片的最终相似度大于预设的阈值,则将该候选重复图片判定为重复图片之后,还包括:
若所述候选重复图片的最终相似度不大于预设的阈值,则判定为不存在重复图片。
为了解决相同的技术问题,本发明还提供了一种针对货架场景大图的重复图片搜索装置,包括:
相似图片筛选模块,用于获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片与预设数据库中每一货架数据库图片之间的相似度,并从所述货架数据库图片中筛选出相似度最高的N张作为相似货架图片;
货架位置识别模块,用于采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按预设的顺序分别对所述货架查询图片和N张所述相似货架图片生成SKU序列;
编辑距离计算模块,用于基于每一图片的SKU序列,采用预设的编辑距离计算公式分别计算所述货架查询图片与N张所述相似货架图片的编辑距离;
候选图片筛选模块,用于根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度,并从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片;
重复图片判定模块,用于若所述候选重复图片的最终相似度大于预设的阈值,则将该候选重复图片判定为重复图片。
所述相似图片筛选模块具体用于:获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片和预设数据库中每一货架数据库图片的特征向量值;根据所述特征向量值计算所述货架查询图片与每一所述货架数据库图片之间的特征距离;基于所述特征距离对所述货架数据库图片按从小到大进行排序,并从所述货架数据库图片中筛选出排序靠前的N张作为所述相似货架图片。其中,所述特征距离L1的计算公式为:
;
其中,代表拍摄大图特征向量中的每一个元素值,/>代表数据库中图片的特征向量中的每一个元素值;
所述货架位置识别模块具体用于:采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按从左至右、从上至下的顺序对每一图片进行编号;根据每一图片的编号分别对所述货架查询图片和N张所述相似货架图片生成SKU序列。其中,所述SKU位置识别结果包括SKU的位置和类别信息,所述SKU的位置和类别信息包括SKU的位置信息框bbox框和cls类别信息;
所述候选图片筛选模块具体用于:根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度;所述最终相似度的计算公式为:similarity=1- lev,其中lev代表所述编辑距离;从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片。所述编辑距离的计算公式具体为:
;
其中,Qr为货架查询图片的SKU序列,Qi为第i张相似货架图片的SKU序列,m和n分别代表Qr和Qi字符串的下标;
所述重复图片判定模块还用于,若所述候选重复图片的最终相似度不大于预设的阈值,则判定为不存在重复图片。
与现有技术相比,本发明具有如下有益效果:
本发明提供了一种针对货架场景大图的重复图片搜索方法及装置,所述方法包括:计算货架查询图片与数据库中货架数据库图片之间的相似度,并筛选出相似度最高的N张相似货架图片;对每一图片进行SKU位置识别,并根据SKU位置识别结果对每一图片生成SKU序列;基于每一图片的SKU序列,分别计算所述货架查询图片与每一相似货架图片的编辑距离;根据所述编辑距离分别计算每一相似货架图片的最终相似度,将最终相似度大于预设的阈值的图片判定为重复图片。本发明对筛选出的候选相似货架图片进一步基于SKU信息进行排序和相似度计算,最后搜索出与查询图片最相似的重复图片,本发明方案能够有效提高货架场景中重复图片的搜索准确性。
附图说明
图1是本发明一实施例提供的针对货架场景大图的重复图片搜索方法的流程示意图;
图2是本发明一实施例提供的针对货架场景大图的重复图片搜索方法的另一流程示意图;
图3是本发明一实施例提供的货架图片搜索模型训练示意图;
图4是本发明一实施例提供的货架SKU识别模型训练示意图;
图5是本发明一实施例提供的针对货架场景大图的重复图片搜索装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,本发明实施例提供了一种针对货架场景大图的重复图片搜索方法,包括步骤:
S1、获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片与预设数据库中每一货架数据库图片之间的相似度,并从所述货架数据库图片中筛选出相似度最高的N张作为相似货架图片。
在本发明实施例中,进一步地,步骤S1具体包括:
获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片和预设数据库中每一货架数据库图片的特征向量值;
根据所述特征向量值计算所述货架查询图片与每一所述货架数据库图片之间的特征距离;
基于所述特征距离对所述货架数据库图片按从小到大进行排序,并从所述货架数据库图片中筛选出排序靠前的N张作为所述相似货架图片。
S2、采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按预设的顺序分别对所述货架查询图片和N张所述相似货架图片生成SKU序列。
在本发明实施例中,进一步地,步骤S2具体包括:
采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按从左至右、从上至下的顺序对每一图片进行编号;
根据每一图片的编号分别对所述货架查询图片和N张所述相似货架图片生成SKU序列。
S3、基于每一图片的SKU序列,采用预设的编辑距离计算公式分别计算所述货架查询图片与N张所述相似货架图片的编辑距离;
S4、根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度,并从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片。
在本发明实施例中,进一步地,步骤S4具体包括:
根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度;所述最终相似度的计算公式为:similarity=1-lev,其中lev代表所述编辑距离;
从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片。
S5、若所述候选重复图片的最终相似度大于预设的阈值,则将该候选重复图片判定为重复图片。另外,若所述候选重复图片的最终相似度不大于预设的阈值,则判定为不存在重复图片。
需要说明的是,本发明方案主要针对货架大图中出现的难点问题进行了相应的技术升级处理。首先本方案应用人工神经网络训练搜索模型。在搜索模型训练阶段,本方案对货架大图做了专业的crop预处理来优化拍摄区域偏差的问题,并且应用货架大图透视变换技术优化拍摄角度差异较大的问题。此外,在模型训练阶段,本方案应用KNN等传统聚类算法找出相似度较高但非同一货架的大图出来,作为训练集的负样本数据集,这样可以进一步解决货架标准化外观带来的误识别问题。另一方面,本方案在搜索模型搜索出N张货架大图后进一步识别货架上面的sku信息,并根据SKU之间的相对位置关系对N张货架大图的相似的进行排序,最后搜索出最相似的重复图片。
请参见图1-2,基于上述方案,为便于更好的理解本发明实施例提供的针对货架场景大图的重复图片搜索方法,以下进行详细说明:
本发明实施例的步骤如下:
1)将货架查询的图片和货架数据库图片经过货架图片搜索模型后,将N张最相似的货架大图会从数据库中搜索出来;
其中,N张相似货架大图的搜索步骤如下:
1、将查询图片和数据库中所有图片作为货架图片搜索模型的输入,针对每张图片得到一个特征向量;
2、将查询图片的特征向量与底库图片所有的特征向量进行一一匹配相似度,相似度距离可以利用L1距离衡量:,其中,/>代表拍摄大图特征向量中的每一个元素值,/>代表数据库中图片的特征向量中的每一个元素值;
3、根据L1距离值,对底库中所有图片进行从小到大排序,然后选出TopN张图片作为N张最相似的货架大图。
2)将N张相似的货架大图和货架查询图片放入货架SKU识别模型后,货架SKU识别模型会对每张货架大图SKU位置和类别进行识别(SKU的位置和类别信息可以应用货架SKU识别模型得到,将货架大图作为该模型的输入,模型会输出每个图片的SKU的位置信息框bbox框和cls类别信息);并将所有SKU从左至右,从上之下进行逐一编号,每张货架大图都会生成一个SKU序列Q(按照SKU的位置信息从左至右,从上到下进行编号,应用SKU的类别信息进行编号。例如,图片货架上从左至右有三个SKU,它们的类别分别是0,1,0类别;那么SKU序列Q即为010);
3)将货架查询图片SKU序列Qr和第i(0<=i<N)张相似货架大图SKU序列Qi送入编辑距离计算公式,计算编辑距离:
其中,m和n分别代表Qr和Qi字符串的下标。
4)计算出货架查询图片和N张相似货架大图的编辑距离后,进一步计算相似度,选出相似度最大的一张图片作为候选重复图片;
5)最后,比较候选重复图片相似度值是否大于一个阈值,如果是,判定候选图片即为重复图片;否则,判定为数据库中没有重复图片。
请参见图3,货架图片搜索模型训练的原理步骤具体如下:
1)首先针对训练集中每一张目标图片,随机crop尺寸为原图的1/4比例并做相应的透视变换作为该目标图片的正样本;并且应用KNN等传统聚类算法,将其他相似度较大但不是同一张货架图作为负样本;
2)将<正样本,目标图片,负样本>作为训练数据组合,送入货架图片搜索模型(卷积神经网络)中训练;
3)网络的卷积模块设计比较灵活,可以采用resnet(残差连接网络)、densenet(密集连接网络)等诸多优秀的网络结构;
4)网络的输出会得到3个2048维度的特征向量,3个向量分别是<正样本特征、目标图片特征、负样本特征>;
5)根据正样本特征和目标图片特征计算L1 Loss,缩小两个向量之间的距离(Loss1是该距离的定义公式,用来缩小目标图片和正样本的距离,同时loss2是用来放大目标图片和负样本之间的距离。这样模型就可以区别开正样本和负样本图片了):
6)根据负样本特征和目标图片特征计算L1 Loss,放大两个向量之间的距离:
7)网络模型最终的损失函数是loss1和loss2的和:
8)反向传播误差,更新网络参数,直至网络收敛,即可以完成训练。
请参见图4,货架SKU识别模型训练的原理步骤具体如下:
1)将训练集中的每张货架大图的SKU位置信息用bbox框框出,类别信息用cls类别标出;
2)将货架大图送入卷积层(conv layers)提取特征,并将提取到的特征送入RPN网络中生成Proposals,然后将提取到的特征和Proposals经过RoI pooling层生成bbox_pred和cls_prob;
3)将生成的bbox_pred和cls_prob与标注信息bbox框和cls类别计算Loss;bbox_pred和bbox框可以用现在比较流行的smooth l1计算Loss1,cls_prob和cls类别可以用比较流行的交叉熵损失函数计算Loss2,最后将Loss1和Loss2做和计算生成Loss;
4)反向传播损失Loss,更新网络参数,直至网络收敛,即可以完成训练。
需要说明的是,对于以上方法或流程实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作并不一定是本发明实施例所必须的。
请参见图5,为了解决相同的技术问题,本发明还提供了一种针对货架场景大图的重复图片搜索装置,包括:
相似图片筛选模块1,用于获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片与预设数据库中每一货架数据库图片之间的相似度,并从所述货架数据库图片中筛选出相似度最高的N张作为相似货架图片;
货架位置识别模块2,用于采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按预设的顺序分别对所述货架查询图片和N张所述相似货架图片生成SKU序列;
编辑距离计算模块3,用于基于每一图片的SKU序列,采用预设的编辑距离计算公式分别计算所述货架查询图片与N张所述相似货架图片的编辑距离;
候选图片筛选模块4,用于根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度,并从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片;
重复图片判定模块5,用于若所述候选重复图片的最终相似度大于预设的阈值,则将该候选重复图片判定为重复图片。
在本发明实施例中,进一步地,所述相似图片筛选模块1具体用于:获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片和预设数据库中每一货架数据库图片的特征向量值;根据所述特征向量值计算所述货架查询图片与每一所述货架数据库图片之间的特征距离;基于所述特征距离对所述货架数据库图片按从小到大进行排序,并从所述货架数据库图片中筛选出排序靠前的N张作为所述相似货架图片。
在本发明实施例中,进一步地,所述货架位置识别模块2具体用于:采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按从左至右、从上至下的顺序对每一图片进行编号;根据每一图片的编号分别对所述货架查询图片和N张所述相似货架图片生成SKU序列。
在本发明实施例中,进一步地,所述候选图片筛选模块4具体用于:根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度;所述最终相似度的计算公式为:similarity=1-lev,其中lev代表所述编辑距离;从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片。
在本发明实施例中,进一步地,所述重复图片判定模块5还用于,若所述候选重复图片的最终相似度不大于预设的阈值,则判定为不存在重复图片。
可以理解的是上述装置项实施例,是与本发明方法项实施例相对应的,本发明实施例提供的一种针对货架场景大图的重复图片搜索装置,可以实现本发明任意一项方法项实施例提供的针对货架场景大图的重复图片搜索方法。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (2)
1.一种针对货架场景大图的重复图片搜索方法,其特征在于,包括:
获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片与预设数据库中每一货架数据库图片之间的相似度,并从所述货架数据库图片中筛选出相似度最高的N张作为相似货架图片;
采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按预设的顺序分别对所述货架查询图片和N张所述相似货架图片生成SKU序列;
基于每一图片的SKU序列,采用预设的编辑距离计算公式分别计算所述货架查询图片与N张所述相似货架图片的编辑距离;
根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度,并从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片;
若所述候选重复图片的最终相似度大于预设的阈值,则将该候选重复图片判定为重复图片;
所述获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片与预设数据库中每一货架数据库图片之间的相似度,并从所述货架数据库图片中筛选出相似度最高的N张作为相似货架图片,具体包括:
获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片和预设数据库中每一货架数据库图片的特征向量值;
根据所述特征向量值计算所述货架查询图片与每一所述货架数据库图片之间的特征距离;其中,所述特征距离L1的计算公式为:
;
其中,代表拍摄大图特征向量中的每一个元素值,/>代表数据库中图片的特征向量中的每一个元素值;
基于所述特征距离对所述货架数据库图片按从小到大进行排序,并从所述货架数据库图片中筛选出排序靠前的N张作为所述相似货架图片;
所述采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按预设的顺序分别对所述货架查询图片和N张所述相似货架图片生成SKU序列,具体包括:
采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按从左至右、从上至下的顺序对每一图片进行编号;其中,所述SKU位置识别结果包括SKU的位置和类别信息,所述SKU的位置和类别信息包括SKU的位置信息框bbox框和cls类别信息;
根据每一图片的编号分别对所述货架查询图片和N张所述相似货架图片生成SKU序列;
所述根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度,并从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片,具体包括:
根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度;所述最终相似度的计算公式为:similarity=1-lev,其中lev代表所述编辑距离[A1];所述编辑距离的计算公式具体为:
;
其中,Qr为货架查询图片的SKU序列,Qi为第i张相似货架图片的SKU序列,m和n分别代表Qr和Qi字符串的下标;
从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片;
在若所述候选重复图片的最终相似度大于预设的阈值,则将该候选重复图片判定为重复图片之后,还包括:
若所述候选重复图片的最终相似度不大于预设的阈值,则判定为不存在重复图片。
2.一种针对货架场景大图的重复图片搜索装置,其特征在于,包括:
相似图片筛选模块,用于获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片与预设数据库中每一货架数据库图片之间的相似度,并从所述货架数据库图片中筛选出相似度最高的N张作为相似货架图片;
货架位置识别模块,用于采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按预设的顺序分别对所述货架查询图片和N张所述相似货架图片生成SKU序列;
编辑距离计算模块,用于基于每一图片的SKU序列,采用预设的编辑距离计算公式分别计算所述货架查询图片与N张所述相似货架图片的编辑距离;
候选图片筛选模块,用于根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度,并从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片;
重复图片判定模块,用于若所述候选重复图片的最终相似度大于预设的阈值,则将该候选重复图片判定为重复图片;
所述相似图片筛选模块具体用于:获取货架查询图片,采用预先构建的货架图片搜索模型分别计算所述货架查询图片和预设数据库中每一货架数据库图片的特征向量值;根据所述特征向量值计算所述货架查询图片与每一所述货架数据库图片之间的特征距离;基于所述特征距离对所述货架数据库图片按从小到大进行排序,并从所述货架数据库图片中筛选出排序靠前的N张作为所述相似货架图片;其中,所述特征距离L1的计算公式为:
;
其中,代表拍摄大图特征向量中的每一个元素值,/>代表数据库中图片的特征向量中的每一个元素值;
所述货架位置识别模块具体用于:采用预先构建的货架SKU识别模型分别对所述货架查询图片和N张所述相似货架图片进行SKU位置识别,并根据SKU位置识别结果按从左至右、从上至下的顺序对每一图片进行编号;根据每一图片的编号分别对所述货架查询图片和N张所述相似货架图片生成SKU序列;其中,所述SKU位置识别结果包括SKU的位置和类别信息,所述SKU的位置和类别信息包括SKU的位置信息框bbox框和cls类别信息;
所述候选图片筛选模块具体用于:根据所述编辑距离分别计算所述货架查询图片与N张所述相似货架图片的最终相似度;所述最终相似度的计算公式为:similarity=1-lev,其中lev代表所述编辑距离[A2];从N张所述相似货架图片中筛选出最终相似度最高的M张作为候选重复图片;所述编辑距离的计算公式具体为:
;
其中,Qr为货架查询图片的SKU序列,Qi为第i张相似货架图片的SKU序列,m和n分别代表Qr和Qi字符串的下标;
所述重复图片判定模块还用于,若所述候选重复图片的最终相似度不大于预设的阈值,则判定为不存在重复图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110410107.3A CN113111209B (zh) | 2021-04-15 | 2021-04-15 | 一种针对货架场景大图的重复图片搜索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110410107.3A CN113111209B (zh) | 2021-04-15 | 2021-04-15 | 一种针对货架场景大图的重复图片搜索方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113111209A CN113111209A (zh) | 2021-07-13 |
CN113111209B true CN113111209B (zh) | 2023-10-20 |
Family
ID=76717947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110410107.3A Active CN113111209B (zh) | 2021-04-15 | 2021-04-15 | 一种针对货架场景大图的重复图片搜索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111209B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830147A (zh) * | 2018-05-04 | 2018-11-16 | 广州图匠数据科技有限公司 | 一种基于图像识别的货架商品价格识别方法、装置和系统 |
CN110069980A (zh) * | 2019-03-05 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图像的产品聚合方法及装置、电子设备 |
CN110968711A (zh) * | 2019-10-24 | 2020-04-07 | 湖南大学 | 一种基于序列图像特征的自主无人系统位置识别定位方法 |
CN112100425A (zh) * | 2020-09-17 | 2020-12-18 | 广州图普网络科技有限公司 | 基于人工智能的标签标注方法、装置、电子设备及介质 |
CN112163145A (zh) * | 2020-10-09 | 2021-01-01 | 杭州安恒信息技术股份有限公司 | 基于编辑距离与余弦夹角的网站检索方法、装置及设备 |
CN112381924A (zh) * | 2020-11-12 | 2021-02-19 | 广州市玄武无线科技股份有限公司 | 一种基于三维建模获取仿真货品陈列信息的方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8861844B2 (en) * | 2010-03-29 | 2014-10-14 | Ebay Inc. | Pre-computing digests for image similarity searching of image-based listings in a network-based publication system |
CN104346370B (zh) * | 2013-07-31 | 2018-10-23 | 阿里巴巴集团控股有限公司 | 图像搜索、获取图像文本信息的方法及装置 |
-
2021
- 2021-04-15 CN CN202110410107.3A patent/CN113111209B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830147A (zh) * | 2018-05-04 | 2018-11-16 | 广州图匠数据科技有限公司 | 一种基于图像识别的货架商品价格识别方法、装置和系统 |
CN110069980A (zh) * | 2019-03-05 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图像的产品聚合方法及装置、电子设备 |
CN110968711A (zh) * | 2019-10-24 | 2020-04-07 | 湖南大学 | 一种基于序列图像特征的自主无人系统位置识别定位方法 |
CN112100425A (zh) * | 2020-09-17 | 2020-12-18 | 广州图普网络科技有限公司 | 基于人工智能的标签标注方法、装置、电子设备及介质 |
CN112163145A (zh) * | 2020-10-09 | 2021-01-01 | 杭州安恒信息技术股份有限公司 | 基于编辑距离与余弦夹角的网站检索方法、装置及设备 |
CN112381924A (zh) * | 2020-11-12 | 2021-02-19 | 广州市玄武无线科技股份有限公司 | 一种基于三维建模获取仿真货品陈列信息的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113111209A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10678846B2 (en) | Instance-level image retrieval with a region proposal network | |
WO2023273290A1 (zh) | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 | |
CN111126360A (zh) | 基于无监督联合多损失模型的跨域行人重识别方法 | |
CN109711366B (zh) | 一种基于群组信息损失函数的行人重识别方法 | |
CN106682700B (zh) | 基于关键点描述算子的分块快速匹配方法 | |
CN108596010B (zh) | 行人重识别系统的实现方法 | |
CN108229416A (zh) | 基于语义分割技术的机器人slam方法 | |
AU2020204549A1 (en) | Multi-View Three-Dimensional Model Retrieval Method Based on Non-Local Graph Convolutional Network | |
CN111027140B (zh) | 基于多视角点云数据的飞机标准件模型快速重构方法 | |
CN109711443A (zh) | 基于神经网络的户型图识别方法、装置、设备及存储介质 | |
CN111078913A (zh) | 基于多视图卷积神经网络的三维模型检索方法 | |
Can et al. | Detection and tracking of sea-surface targets in infrared and visual band videos using the bag-of-features technique with scale-invariant feature transform | |
CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
CN115147599A (zh) | 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法 | |
CN114067075A (zh) | 基于生成对抗网络的点云补全方法及装置 | |
CN111159475B (zh) | 基于多摄像头视频图像的行人再识别路径生成方法 | |
Sjahputera et al. | Clustering of detected changes in high-resolution satellite imagery using a stabilized competitive agglomeration algorithm | |
CN111444816A (zh) | 一种基于Faster RCNN的多尺度密集行人检测方法 | |
CN105956581B (zh) | 一种快速的人脸特征点初始化方法 | |
CN111354076A (zh) | 一种基于嵌入空间的单幅图像三维零件组合式建模方法 | |
Jiang et al. | Triangulate geometric constraint combined with visual-flow fusion network for accurate 6DoF pose estimation | |
CN113111209B (zh) | 一种针对货架场景大图的重复图片搜索方法及装置 | |
Sui et al. | An accurate indoor localization approach using cellphone camera | |
CN109740405B (zh) | 一种非对齐相似车辆前窗差异信息检测方法 | |
Konishi et al. | Detection of target persons using deep learning and training data generation for Tsukuba challenge |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |