CN115357742B - 门店图像查重方法、系统、终端设备及存储介质 - Google Patents
门店图像查重方法、系统、终端设备及存储介质 Download PDFInfo
- Publication number
- CN115357742B CN115357742B CN202210923218.9A CN202210923218A CN115357742B CN 115357742 B CN115357742 B CN 115357742B CN 202210923218 A CN202210923218 A CN 202210923218A CN 115357742 B CN115357742 B CN 115357742B
- Authority
- CN
- China
- Prior art keywords
- vector
- store
- sample
- feature vector
- transducer model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 156
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000007906 compression Methods 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 17
- 230000008447 perception Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种门店图像查重方法、系统、终端设备及存储介质，包括将两个空间域Transformer模型和两个频率域Transformer模型的最后一层全连接层舍弃，生成混合域特征向量提取器；提取门店数据集所有图像的特征向量，训练全局感知压缩网络，生成特征向量压缩器；将待查重的门店图像库分为历史库和新增库，利用特征向量压缩器分别提取历史库、新增库所有图像的压缩特征向量，生成第一向量和第二向量，并计算二者的余弦距离，若余弦距离大于预设阈值，则判定第一向量、第二向量所对应的历史库图像和新增库图像为重复。本申请考虑了全局和局部、空间和频率信息，能增加图像分类的准确性，提升特征向量的表达能力，通过全局压缩消除冗余信息，保证了查重结果的准确度。
Description
技术领域
本申请涉及图像识别及人工智能技术领域，尤其涉及一种门店图像查重方法、系统、终端设备及存储介质。
背景技术
在快消领域，客户往往需要安排业务员去拓展新的销售门店来零售自己生产的快消品。因此业务员需要采集新的门店照片，门店地址以及门店名称等相关门店信息，然后将门店照片上的图像录入数据库。但在实际应用中，经常会出现重复录入的情况，例如新拓展的门店已经存在于已拓展的门店数据库中，如此就会导致同一门店会被重复拓展，进而造成资源冗余。因此，有必要提供一种门店图像查重方法，来解决上述问题。
发明内容
本申请的目的在于提供一种门店图像查重方法、系统、终端设备及存储介质，以快速、有效地实现门店图像查重，准确判别新拓展门店是否已经存在于已拓展门店的数据库中，防止同一家门店被重复拓展造成资源冗余的问题。
为实现上述目的，本申请提供一种门店图像查重方法，包括：
将构建好的第一空间域Transformer模型、第二空间域Transformer模型、第一频率域Transformer模型及第二频率域Transformer模型的最后一层全连接层舍弃，生成混合域特征向量提取器；
利用混合域特征向量提取器提取门店数据集所有图像的特征向量，构建目标特征向量，利用目标特征向量训练全局感知压缩网络，生成特征向量压缩器；
将待查重的门店图像库分为历史库和新增库，利用特征向量压缩器分别提取历史库、新增库所有图像的压缩特征向量，生成第一向量和第二向量；
计算第一向量和第二向量的余弦距离，若余弦距离大于预设阈值，则判定第一向量所在的历史库门店图像与第二向量所在的新增库门店图像为重复图像。
作为优选地，所述的门店图像查重方法，还包括构建第一空间域Transformer模型和第二空间域Transformer模型，包括：
按照门店类别对采集的门店数据集进行分类，生成第一样本；所述门店数据集中包含每个门店的多张图像；
对第一样本进行去噪处理，生成第二样本；
分别利用第一样本和第二样本对Transformer分类网络进行训练，待模型收敛时得到第一空间域Transformer模型和第二空间域Transformer模型。
作为优选地，所述的门店图像查重方法，还包括构建第一频率域Transformer模型和第二频率域Transformer模型，包括：
分别对第一样本和第二样本进行离散余弦变换；
分别利用处理后的第一样本和第二样本训练DCT-Transformer网络，生成第一频率域Transformer模型和第二频率域Transformer模型；其中，
所述DCT-Transformer网络为在Transformer网络中添加DCT处理模块后得到的网络。
作为优选地，在所述分别对第一样本和第二样本进行离散余弦变换之前，还包括：
对第一样本和第二样本图像进行缩放和分区，并转化为YCbCr格式。
本申请还提供一种门店图像查重系统，包括：
特征向量提取器构建单元，用于将构建好的第一空间域Transformer模型、第二空间域Transformer模型、第一频率域Transformer模型及第二频率域Transformer模型的最后一层全连接层舍弃，生成混合域特征向量提取器；
特征向量压缩器构建单元，用于利用混合域特征向量提取器提取门店数据集所有图像的特征向量，构建目标特征向量，利用目标特征向量训练全局感知压缩网络，生成特征向量压缩器；
压缩特征向量提取单元，用于将待查重的门店图像库分为历史库和新增库，利用特征向量压缩器分别提取历史库、新增库所有图像的压缩特征向量，生成第一向量和第二向量；
查重单元，用于计算第一向量和第二向量的余弦距离，判断余弦距离与预设阈值的关系；若余弦距离大于预设阈值，则判定第一向量所在的历史库门店图像与第二向量所在的新增库门店图像为重复图像。
作为优选地，所述的门店图像查重系统，还包括空间域Transformer模型构建单元，用于：
构建第一空间域Transformer模型和第二空间域Transformer模型，包括：
按照门店类别对采集的门店数据集进行分类，生成第一样本；所述门店数据集中包含每个门店的多张图像；
对第一样本进行去噪处理，生成第二样本；
分别利用第一样本和第二样本对Transformer分类网络进行训练，待模型收敛时得到第一空间域Transformer模型和第二空间域Transformer模型。
作为优选地，所述的门店图像查重系统，还包括频率域Transformer模型构建单元，用于：
构建第一频率域Transformer模型和第二频率域Transformer模型，包括：
分别对第一样本和第二样本进行离散余弦变换；
分别利用处理后的第一样本和第二样本训练DCT-Transformer网络，生成第一频率域Transformer模型和第二频率域Transformer模型；其中，
所述DCT-Transformer网络为在Transformer网络中添加DCT处理模块后得到的网络。
作为优选地，所述频率域Transformer模型构建单元，还用于：
对第一样本和第二样本图像进行缩放和分区，并转化为YCbCr格式。
本申请还提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的门店图像查重方法。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的门店图像查重方法。
相对于现有技术，本申请的有益效果在于：
1)本申请基于混合域Transformer来训练特征提取模型，相比传统的空间域卷积神经网络的分类网络，其考虑了全局及局部信息，空间和频率信息，更能够增加图像分类的准确性从而提升特征向量的表达能力。
2)由于门店图像中除了门店本身之外，还包含许多冗余的背景信息如天空、汽车、行人等不属于门店的物体，基于原始数据集训练的混合域Transformer提取的特征向量同样也会包含这些冗余信息，此外，由于混合域Transformer提取的特征向量维度过大，会导致后续计算余弦距离的计算量过高。因此，本申请使用新提出的全局感知压缩网络来对输入的特征向量进行全局压缩并减弱特征向量中与门店无关的冗余信息，从而使得后续计算的余弦距离更精准且计算量更小。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请某一实施例提供的门店图像查重方法的流程示意图；
图2是本申请另一实施例提供的门店图像查重方法的流程示意图；
图3是本申请某一实施例提供的步骤S50的子步骤的流程示意图；
图4是本申请某一实施例提供的步骤S60的子步骤的流程示意图；
图5是本申请某一实施例提供的门店图像查重系统的结构示意图；
图6是本申请另一实施例提供的门店图像查重系统的结构示意图；
图7是本申请某一实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本申请某一实施例提供一种门店图像查重方法。如图1所示，该门店图像查重方法包括步骤S10至步骤S40。各步骤具体如下：
S10、将构建好的第一空间域Transformer模型、第二空间域Transformer模型、第一频率域Transformer模型及第二频率域Transformer模型的最后一层全连接层舍弃，生成混合域特征向量提取器。
S20、利用混合域特征向量提取器提取门店数据集所有图像的特征向量，构建目标特征向量，利用目标特征向量训练全局感知压缩网络，生成特征向量压缩器。
S30、将待查重的门店图像库分为历史库和新增库，利用特征向量压缩器分别提取历史库、新增库所有图像的压缩特征向量，生成第一向量和第二向量。
S40、计算第一向量和第二向量的余弦距离，若余弦距离大于预设阈值，则判定第一向量所在的历史库门店图像与第二向量所在的新增库门店图像为重复图像。
快消领域中存在较为普遍的员工重复录入数据的情况，其原因在于信息不对称、消息下发不及时或者工作人员自身马虎引起的。而一旦重复录入多余数据至数据库，必然会引起很多麻烦，例如造成资源冗余，占用不必要内存以及为以后的数据调用带来干扰等问题。因此有必要及时的对于数据库中的数据进行查重更新，避免资源冗余的情况。
本实施例中，针对门店图像的重复录入问题，旨在提供一种门店图像查重方法。通过采集大量不同的门店图像来获得门店照片数据集，再对此数据集进行按门店类别分类，通常将同一个店的所有图像归为一类；然后使用混合域模型，即空间域Transformer及频率域DCT-Transformer模型在获取的门店分类数据集上进行训练学习，得到混合域特征向量提取器，然后利用混合域特征向量提取器提取同一门店的图像的特征向量，将其拼接为单一特征向量作为训练数据来训练全局感知压缩网络，得到训练好的全局感知压缩网络作为特征向量压缩器，接着利用特征向量压缩器提取待查找的两组图像库中每张图片的压缩特征向量，该两组图像库通常是历史库和新增库；然后将两组图像库中的所有图片的压缩特征向量进行两两组合，计算所有组合中的两张图片压缩特征向量之间的余弦距离，最后，根据预设阈值与余弦距离的关系来判断该每个组合中的两张图像是否源自同一家门店，从而将两组图像库中属于同一家门店的照片查找出来，实现图像查重。因此，本实施例可广泛应用于各种场景的门店图像查重任务。
请参阅图2，在某一个实施例中，为了对本申请提供的方案进行具体阐述，还提供对应的流程图。如图2所示，该门店图像查重方法包括以下步骤：
S50、构建第一空间域Transformer模型和第二空间域Transformer模型。
具体地，步骤S50又包括三个子步骤，如图3所示。其中，各子步骤内容如下：
S501、按照门店类别对采集的门店数据集进行分类，生成第一样本；所述门店数据集中包含每个门店的多张图像。
本步骤中，首先采集实际场景下各种类型的门店照片：如常见的711，familymart，LAWSON等便利店或超市门店的店头图片，为了保证训练和学习的效果，通常要求要求采集的总的门店数量至少要超过1000家门店，且每个门店的图片采集数量至少超过100张。作为优选地，每张图片在角度、拍摄景深、拍摄距离以及拍摄背景都存在差异，目的是为了保证原始样本数据中的图像不存在完全相同的照片，从而影响训练效果。在获取了门店数据集之后，按照按照门店类别对其进行分类，通常是将属于同一家门店的照片归为一类，也即获取的所有照片数据中有多少家不同门店，就需要分为多少类。
在一具体地实施例中，将分类好的第一样本划分为训练集A和测试集A两部分。每类图片数量的65％构成训练集，余下35％的构成测试集。可以理解，65％和35％只是本实施例优选的划分方式，在实际应用中可根据需要来划分其他比例的训练集和测试集，在此不作任何限定。
S502、对第一样本进行去噪处理，生成第二样本。
可以理解的是，在实际采样过程中，门店照片往往会包含干扰背景，例如天空、地面及地面各类物品等无关背景，为了提高样本的质量。本步骤中，基于第一样本中的原始门店图像，利用目标检测技术识别门店图像的主体区域，把拍摄的门店中的干扰背景：天空及地面背景区域滤除，仅保留店头主体区域，依次减少背景噪音的干扰，得到消除背景噪音的第二样本，包括消除背景噪音后的训练集B和测试集B。
S503、分别利用第一样本和第二样本对Transformer分类网络进行训练，待模型收敛时得到第一空间域Transformer模型和第二空间域Transformer模型。
本步骤中，利用训练集A、训练集B分别对Transformer分类网络进行训练。优选地，在利用训练集A进行训练时，首先将训练集A缩放到448×448尺寸，然后对Swin-Transformer分类网络或其他Vision-Transformer分类网络进行训练，然后利用测试集A检验训练效果，保证模型收敛，并生成第一空间域Transformer模型。在利用训练集B进行训练时，由于是去噪后的图像，此时无需再对训练集B进行处理，直接利用训练集B对Swin-Transformer分类网络或其他Vision-Transformer分类网络进行训练，然后利用测试集B检验训练效果，待模型收敛时，生成第二空间域Transformer模型。
在执行完步骤S50后，得到了第一空间域Transformer模型和第二空间域Transformer模型。紧接着，需要执行步骤S60，以构建第一频率域Transformer模型和第二频率域Transformer模型，如图2所示。
在一具体地实施方式中，步骤S60子步骤S601和S602，如图4所示。具体地，各子步骤内容如下：
S601、分别对第一样本和第二样本进行离散余弦变换。
作为优选地，在进行离散余弦变换之前，通常要对第一样本和第二样本图像进行预处理，包括缩放和分区，转化为YCbCr格式。具体地将第一样本和第二样本的图像图像缩放到896×896尺寸，分成8×8的小区域，然后转化为YCbCr格式。
需要说明的是，DCT全称为Discrete Cosine Transform，即离散余弦变换。DCT变换属于傅里叶变换的一种，常用于对信号和图像(包括图片和视频)进行有损数据压缩。其可以将图像分成由不同频率组成的小块，然后进行量化。在量化过程中，舍弃高频分量，剩下的低频分量被保存下来用于后面的图像重建。在得到YCbCr格式的第一样本和第二样本之后，对其进行DCT频率变换，把同频率的DCT变换系数抽取分组，构建三维112×112×192维DCT变换系数矩阵，对DCT变换系数完成优选降维为112x112x64作为神经网络的输入。
S602、分别利用处理后的第一样本和第二样本训练DCT-Transformer网络，生成第一频率域Transformer模型和第二频率域Transformer模型；其中，
所述DCT-Transformer网络为在Transformer网络中添加DCT处理模块后得到的网络。
本步骤中，在Transformer神经网络中图像输入后加入DCT处理模块，成为DCT-Transformer网络，基于第一样本中的训练集A训练DCT-Transformer网络分类模型，利用测试集A进行测试，待模型收敛后生成第一频率域Transformer模型；基于第二样本中的训练集B训练DCT-Transformer网络分类模型，利用测试集B进行测试，待模型收敛后生成第二频率域Transformer模型。
进一步地，执行步骤S10，构建混合域特征向量提取器。本步骤中，对于构建好的第一空间域Transformer模型、第二空间域Transformer模型、第一频率域Transformer模型及第二频率域Transformer模型的网络结构畸形调整，具体为将这四个神经网络模型中的最后一层全连接层舍弃，保留网络其他的结构和权重，并将留下的网络结构作为特征向量提取器。如此，可得到四个1024维特征向量提取器。然后，采用四个特征向量提取器完成特征向量的提取，并对四个特征向量完成拼接得到4096维特征向量，最终得到混合域特征向量提取器。
在得到混合域特征向量提取器，下一步则要获取特征向量压缩器。具体地，在步骤S20中，利用混合域特征向量提取器提取门店数据集中所有图像的特征向量，构成门店混合域特征向量数据集。优选地，将每类图片混合域特征向量总数的65％构成训练集C，余下的构成测试集C，同样地该划分方式只是一种优选方式，不作为对划分比例的限定。接着利用训练集C对全局感知压缩网络进行训练，利用测试集C检验训练效果，待网络收敛后得到特征向量压缩器。通常，本实施例中的特征向量提取器可以将获取的N维特征向量压缩为1到N以内的任意维度向量，本实施例优选为将4096维压缩至512维。
进一步地，执行步骤S30，将待查重的门店图像库分为历史库和新增库，利用特征向量压缩器分别提取历史库、新增库所有图像的压缩特征向量，生成第一向量和第二向量。
最后，执行步骤S40、计算第一向量和第二向量的余弦距离，若余弦距离大于预设阈值，则判定第一向量所在的历史库门店图像与第二向量所在的新增库门店图像为重复图像。
本步骤中，将新增库的每一张图片的压缩特征向量与历史库的每一张图片的压缩特征向量进行两两组合，然后计算所有组合中的两张图片压缩特征向量之间的余弦距离。
为了方便理解，设新增库的一张图像的特征向量为A＝(x1,x2,x3.....xn)，历史库的一张图像的特征向量为B＝(y1,y2,y3.....yn)，则余弦距离的计算公式如下：
进一步地，将余弦距离与预设阈值的大小进行比较。假设预设阈值为t，t是属于0～2.0之间的任意小数。阈值t被用于判断两张门店图像是否是来自同一家门店的经验依据，本实施例中t为0.7。将上一步计算得到新增库和历史库之间所有两张图像的压缩特征向量的余弦距离与阈值t相比较,如果压缩特征向量的余弦距离大于等于阈值t，则表明分别来自新增库和历史库的两张图像是同一家门店的图片即新增库的这张图片与历史库的一张图片是重复的。否则，该两张图片不属于同一家门店，最终可以将新增库中存在的与历史库中重复的门店图像全部找出来，及时更新数据库。
综上所述，本申请提供的门店图像查重方法，混合域Transformer来训练特征提取模型，相比传统的空间域卷积神经网络的分类网络，其考虑了全局及局部信息，空间和频率信息，更能够增加图像分类的准确性从而提升特征向量的表达能力；通过采用全局感知压缩网络来对输入的特征向量进行全局压缩并减弱特征向量中与门店无关的冗余信息，使得后续计算的余弦距离更精准且计算量更小，有效的实现了门店图像的查重，避免资源冗余问题。
请参阅图5，本申请某一实施例还提供一种门店图像查重系统，包括：
特征向量提取器构建单元01，用于将构建好的第一空间域Transformer模型、第二空间域Transformer模型、第一频率域Transformer模型及第二频率域Transformer模型的最后一层全连接层舍弃，生成混合域特征向量提取器；
特征向量压缩器构建单元02，用于利用混合域特征向量提取器提取门店数据集所有图像的特征向量，构建目标特征向量，利用目标特征向量训练全局感知压缩网络，生成特征向量压缩器；
压缩特征向量提取单元03，用于将待查重的门店图像库分为历史库和新增库，利用特征向量压缩器分别提取历史库、新增库所有图像的压缩特征向量，生成第一向量和第二向量；
查重单元04，用于计算第一向量和第二向量的余弦距离，判断余弦距离与预设阈值的关系；若余弦距离大于预设阈值，则判定第一向量所在的历史库门店图像与第二向量所在的新增库门店图像为重复图像。
在某一实施例中，所述的门店图像查重系统，还包括空间域Transformer模型构建单元05，如图6所示。具体地，该空间域Transformer模型构建单元05用于：
构建第一空间域Transformer模型和第二空间域Transformer模型，包括：
按照门店类别对采集的门店数据集进行分类，生成第一样本；所述门店数据集中包含每个门店的多张图像；
对第一样本进行去噪处理，生成第二样本；
分别利用第一样本和第二样本对Transformer分类网络进行训练，待模型收敛时得到第一空间域Transformer模型和第二空间域Transformer模型。
在某一实施例中，所述的门店图像查重系统，还包括频率域Transformer模型构建单元06，如图6所示。具体地，该频率域Transformer模型构建单元06用于：
构建第一频率域Transformer模型和第二频率域Transformer模型，包括：
分别对第一样本和第二样本进行离散余弦变换；
分别利用处理后的第一样本和第二样本训练DCT-Transformer网络，生成第一频率域Transformer模型和第二频率域Transformer模型；其中，
所述DCT-Transformer网络为在Transformer网络中添加DCT处理模块后得到的网络。
在某一实施例中，频率域Transformer模型构建单元06，还用于：
对第一样本和第二样本图像进行缩放和分区，并转化为YCbCr格式。
可以立即的是，本实施例提供的门店图像查重系统查重系统用于执行如上述任意一项实施例所述的门店图像查重系统方法，并实现与其相同的效果，在此不再进一步赘述。
请参阅图7，本申请某一实施例提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的门店图像查重方法。
处理器用于控制该终端设备的整体操作，以完成上述的门店图像查重方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一示例性实施例中，终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的门店图像查重方法，并达到如上述方法一致的技术效果。
在另一示例性实施例中，还提供一种包括计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现如上述任一项实施例所述的门店图像查重方法的步骤。例如，该计算机可读存储介质可以为上述包括计算机程序的存储器，上述计算机程序可由终端设备的处理器执行以完成如上述任一项实施例所述的门店图像查重方法，并达到如上述方法一致的技术效果。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
Claims (6)
1.一种门店图像查重方法，其特征在于，包括：
构建第一空间域Transformer模型和第二空间域Transformer模型，包括：按照门店类别对采集的门店数据集进行分类，生成第一样本；所述门店数据集中包含每个门店的多张图像；对第一样本进行去噪处理，生成第二样本；分别利用第一样本和第二样本对Transformer分类网络进行训练，待模型收敛时得到第一空间域Transformer模型和第二空间域Transformer模型；
构建第一频率域Transformer模型和第二频率域Transformer模型，包括：分别对第一样本和第二样本进行离散余弦变换；分别利用处理后的第一样本和第二样本训练DCT-Transformer网络，生成第一频率域Transformer模型和第二频率域Transformer模型；其中，所述DCT-Transformer网络为在Transformer网络中添加DCT处理模块后得到的网络；
将构建好的第一空间域Transformer模型、第二空间域Transformer模型、第一频率域Transformer模型及第二频率域Transformer模型的最后一层全连接层舍弃，生成混合域特征向量提取器；
利用混合域特征向量提取器提取门店数据集所有图像的特征向量，构建目标特征向量，利用目标特征向量训练全局感知压缩网络，生成特征向量压缩器；
将待查重的门店图像库分为历史库和新增库，利用特征向量压缩器分别提取历史库、新增库所有图像的压缩特征向量，生成第一向量和第二向量；
计算第一向量和第二向量的余弦距离，若余弦距离大于预设阈值，则判定第一向量所在的历史库门店图像与第二向量所在的新增库门店图像为重复图像。
2.根据权利要求1所述的门店图像查重方法，其特征在于，在所述分别对第一样本和第二样本进行离散余弦变换之前，还包括：
对第一样本和第二样本图像进行缩放和分区，并转化为YCbCr格式。
3.一种门店图像查重系统，其特征在于，包括：
空间域Transformer模型构建单元，用于：构建第一空间域Transformer模型和第二空间域Transformer模型，包括：按照门店类别对采集的门店数据集进行分类，生成第一样本；所述门店数据集中包含每个门店的多张图像；对第一样本进行去噪处理，生成第二样本；分别利用第一样本和第二样本对Transformer分类网络进行训练，待模型收敛时得到第一空间域Transformer模型和第二空间域Transformer模型；
频率域Transformer模型构建单元，用于：构建第一频率域Transformer模型和第二频率域Transformer模型，包括：分别对第一样本和第二样本进行离散余弦变换；分别利用处理后的第一样本和第二样本训练DCT-Transformer网络，生成第一频率域Transformer模型和第二频率域Transformer模型；其中，所述DCT-Transformer网络为在Transformer网络中添加DCT处理模块后得到的网络；
特征向量提取器构建单元，用于将构建好的第一空间域Transformer模型、第二空间域Transformer模型、第一频率域Transformer模型及第二频率域Transformer模型的最后一层全连接层舍弃，生成混合域特征向量提取器；
特征向量压缩器构建单元，用于利用混合域特征向量提取器提取门店数据集所有图像的特征向量，构建目标特征向量，利用目标特征向量训练全局感知压缩网络，生成特征向量压缩器；
压缩特征向量提取单元，用于将待查重的门店图像库分为历史库和新增库，利用特征向量压缩器分别提取历史库、新增库所有图像的压缩特征向量，生成第一向量和第二向量；
查重单元，用于计算第一向量和第二向量的余弦距离，判断余弦距离与预设阈值的关系；若余弦距离大于预设阈值，则判定第一向量所在的历史库门店图像与第二向量所在的新增库门店图像为重复图像。
4.根据权利要求3所述的门店图像查重系统，其特征在于，所述频率域Transformer模型构建单元，还用于：
对第一样本和第二样本图像进行缩放和分区，并转化为YCbCr格式。
5.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2任一项所述的门店图像查重方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-2任一项所述的门店图像查重方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210923218.9A CN115357742B (zh) | 2022-08-02 | 2022-08-02 | 门店图像查重方法、系统、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210923218.9A CN115357742B (zh) | 2022-08-02 | 2022-08-02 | 门店图像查重方法、系统、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115357742A CN115357742A (zh) | 2022-11-18 |
| CN115357742B true CN115357742B (zh) | 2023-06-30 |
Family
ID=84001440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210923218.9A Active CN115357742B (zh) | 2022-08-02 | 2022-08-02 | 门店图像查重方法、系统、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115357742B (zh) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5339108A (en) * | 1992-04-09 | 1994-08-16 | Ampex Corporation | Ordering and formatting coded image data and reconstructing partial images from the data |
| CN110162654A (zh) * | 2018-01-30 | 2019-08-23 | 西安邮电大学 | 一种基于融合特征与检索结果优化的现勘图像检索算法 |
| CN108985346B (zh) * | 2018-06-25 | 2021-01-22 | 厦门安图威信息科技有限公司 | 融合低层图像特征及cnn特征的现勘图像检索方法 |
| CN111382298B (zh) * | 2018-12-30 | 2021-04-20 | 北京房江湖科技有限公司 | 基于图片内容的图像检索方法、装置与电子设备 |
| CN110688976A (zh) * | 2019-10-09 | 2020-01-14 | 创新奇智(北京)科技有限公司 | 基于图像识别的门店比对方法 |
| CN111078928B (zh) * | 2019-12-20 | 2023-07-21 | 数据堂（北京）科技股份有限公司 | 一种图像去重方法及装置 |
| CN111310832A (zh) * | 2020-02-18 | 2020-06-19 | 广东三维家信息科技有限公司 | 一种图片查重方法和系统 |
| CN111881920B (zh) * | 2020-07-16 | 2024-04-09 | 深圳力维智联技术有限公司 | 一种大分辨率图像的网络适配方法及神经网络训练装置 |
| CN111914921A (zh) * | 2020-07-24 | 2020-11-10 | 山东工商学院 | 一种基于多特征融合的相似性图像检索方法及系统 |
| CN114120363A (zh) * | 2021-11-23 | 2022-03-01 | 上海市刑事科学技术研究院 | 基于背景及姿态归一化的行人跨镜重识别方法及系统 |
-
2022
- 2022-08-02 CN CN202210923218.9A patent/CN115357742B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115357742A (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6241576B1 (ja) | 検査装置及び検査方法 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| US8861884B1 (en) | Training classifiers for deblurring images | |
| CN110019891B (zh) | 图像存储方法、图像检索方法及装置 | |
| JP4545641B2 (ja) | 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体 | |
| US9576218B2 (en) | Selecting features from image data | |
| US20090316993A1 (en) | Image identification | |
| CN108961180B (zh) | 红外图像增强方法及系统 | |
| Lepsøy et al. | Statistical modelling of outliers for fast visual search | |
| CN116071309B (zh) | 元器件的声扫缺陷检测方法、装置、设备和存储介质 | |
| CN109284700B (zh) | 图像中多个人脸检测的方法、存储介质、设备及系统 | |
| Peter | Fast inpainting-based compression: Combining Shepard interpolation with joint inpainting and prediction | |
| CN113378864B (zh) | 一种锚框参数的确定方法、装置、设备及可读存储介质 | |
| WO2017202086A1 (zh) | 图片的筛选方法及装置 | |
| CN113657370B (zh) | 一种文字识别方法及其相关设备 | |
| CN108921017B (zh) | 人脸检测方法及系统 | |
| CN116415020A (zh) | 一种图像检索的方法、装置、电子设备及存储介质 | |
| CN115357742B (zh) | 门店图像查重方法、系统、终端设备及存储介质 | |
| CN116363641A (zh) | 一种图像处理方法、装置及电子设备 | |
| US20220122341A1 (en) | Target detection method and apparatus, electronic device, and computer storage medium | |
| CN114863450B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111767757B (zh) | 身份信息确定方法及装置 | |
| CN114511715A (zh) | 一种驾驶场景数据挖掘方法 | |
| CN113066059A (zh) | 图像清晰度检测方法、装置、设备及存储介质 | |
| CN112487943A (zh) | 关键帧去重的方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |