CN117274778B - 基于无监督和半监督的图像搜索模型训练方法和电子设备 - Google Patents

基于无监督和半监督的图像搜索模型训练方法和电子设备 Download PDF

Info

Publication number
CN117274778B
CN117274778B CN202311550272.4A CN202311550272A CN117274778B CN 117274778 B CN117274778 B CN 117274778B CN 202311550272 A CN202311550272 A CN 202311550272A CN 117274778 B CN117274778 B CN 117274778B
Authority
CN
China
Prior art keywords
image
stage
image search
search model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311550272.4A
Other languages
English (en)
Other versions
CN117274778A (zh
Inventor
李林超
周凯
权家新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zhuoyun Intelligent Technology Co ltd
Original Assignee
Zhejiang Zhuoyun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zhuoyun Intelligent Technology Co ltd filed Critical Zhejiang Zhuoyun Intelligent Technology Co ltd
Priority to CN202311550272.4A priority Critical patent/CN117274778B/zh
Publication of CN117274778A publication Critical patent/CN117274778A/zh
Application granted granted Critical
Publication of CN117274778B publication Critical patent/CN117274778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于无监督和半监督的图像搜索模型训练方法和电子设备。该方法包括：分别采集不同安检设备的原始图像构建数据集，并基于各安检设备的数据集进行无监督和半监督训练，获取各安检设备的第一阶段图像搜索模型，并对相应数据集中每一原始图像和其他原始图像之间的距离进行求和，通过聚类确定跨域数据集；根据各安检设备在第一阶段的图像搜索模型的模型权重均值，确定第二阶段的图像搜索模型的初始权重，并为该模型增加域分类分支，继而根据跨域数据集进行模型训练，得到跨域的图像搜索模型。本发明实施例提供的技术方案，通过构建跨域的图像搜索模型，以提高对跨域数据集的搜索效率和搜索准确度。

Description

基于无监督和半监督的图像搜索模型训练方法和电子设备
技术领域
本发明实施例涉及图像识别技术领域，尤其涉及一种基于无监督和半监督的图像搜索模型训练方法和电子设备。
背景技术
在现有技术中，需要通过安检员从海量的快递安检图像中查找、匹配到该违禁品对应的快递安检图像。但通过此种方式进行违禁包裹查验时，不仅耗时耗力、还因违禁包裹数量较多导致搜索难度大、效率低下，并且难以保证违禁包裹搜索的准确度。另外，即使不同快递点安检机的来源厂家及型号的不同，同一个包裹生成的图像之间仍具有极大的相似性，但因图像分辨率、图像亮度等参数设置不同，使得不同图像之间又存在差异。当通过无监督方式进行图像搜索模型训练时，模型无法从大量相似性较高的图像中提取到区别特征信息，导致识别准确率较差。
发明内容
本发明提供了一种基于无监督和半监督的图像搜索模型训练方法和电子设备，以提高对跨域数据集的搜索效率和搜索准确度。
第一方面，本发明实施例提供了一种基于无监督和半监督的图像搜索模型训练方法，该方法包括：
针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型；
针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集；
对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支；
将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
第二方面，本发明实施例还提供了一种基于无监督和半监督的图像搜索模型训练装置，该装置包括：
第一模型确定模块，用于针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型；
数据集确定模块，用于针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集；
分支确定模块，用于对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支；
跨域模型确定模块，用于将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
第三方面，本发明实施例提供了一种图像搜索方法，该方法包括：
获取待处理的至少两个目标图像；
将所述至少两个目标图像输入跨域的图像搜索模型，得到不同目标图像之间的距离；其中，所述跨域的图像搜索模型采用如前述基于无监督和半监督的图像搜索模型训练方法训练得到。
第四方面，本发明实施例还提供了一种图像搜索装置，该装置包括：
目标图像获取模块，用于获取待处理的至少两个目标图像；
图像距离确定模块，用于将所述至少两个目标图像输入跨域的图像搜索模型，得到不同目标图像之间的距离；其中，所述跨域的图像搜索模型由如前述一种基于无监督和半监督的图像搜索模型的训练装置提供。
第五方面，本发明实施例还提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的一种基于无监督和半监督的图像搜索模型训练方法或一种图像搜索方法。
第六方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时，使得计算机处理器能够执行本发明实施例提供的任意一种基于无监督和半监督的图像搜索模型训练方法或一种图像搜索方法。
本发明实施例在第一阶段，针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型；在第二阶段，基于各安检设备在第一阶段的图像搜索模型，对各安检设备的原始图像进行处理，并确定不同原始图像之间的距离，继而对各原始图像的距离总和进行聚类得到跨域数据集。通过为第二阶段的图像搜索模型增加域分类分支，得到第二阶段的图像搜索模型，并将跨域数据集中的样本图像输入第二阶段的图像搜索模型中进行无监督和半监督模型训练，得到跨域的图像搜索模型。本发明实施例提供的技术方案，通过构建跨域的图像搜索模型，以提高对跨域数据集的搜索效率和搜索准确度。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种基于无监督和半监督的图像搜索模型训练方法的流程图；
图2是根据本发明实施例二提供的另一种基于无监督和半监督的图像搜索模型训练方法的流程图；
图3是根据本发明实施例三提供的另一种基于无监督和半监督的图像搜索模型训练方法的流程图；
图4是根据本发明实施例五提供的一种图像搜索方法的流程图；
图5是根据本发明实施例六提供的一种基于无监督和半监督的图像搜索模型训练装置的结构示意图；
图6是根据本发明实施例七提供的一种图像搜索装置的结构示意图；
图7是根据本发明实施例八提供的一种基于无监督和半监督的图像搜索模型训练方法或一种图像搜索方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
此外，还需要说明的是，本发明的技术方案中，所涉及的相关数据等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
实施例一
图1是本发明实施例一提供的一种基于无监督和半监督的图像搜索模型训练方法的流程图，本实施例可适用于通过构建跨域的图像搜索模型，以提高对跨域数据集的搜索效率和搜索准确度的情况，该方法可以由一种基于无监督和半监督的图像搜索模型训练装置来执行，该基于无监督和半监督的图像搜索模型训练装置可以采用硬件和/或软件的形式实现，该基于无监督和半监督的图像搜索模型训练装置可配置于电子设备中，该电子设备可以是终端设备或服务器等，本发明实施例对此不进行限制。
如图1所示，本发明实施例提供的一种基于无监督和半监督的图像搜索模型训练方法，具体包括如下步骤：
S110、针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型。
具体的，响应于对不同安检设备的数据采集需求，分别对各安检设备进行图像数据的采集，并对基于不同安检设备采集到的原始图像构建相应安检设备的数据集，也就是说，建立各安检设备与基于相应安检设备采集到的原始图像之间的关联关系。根据由各安检设备采集到的原始图像构建的数据集，分别对各安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，可得到各安检设备在第一阶段的图像搜索模型。其中，无监督训练的优势在于，无需通过手动方式标记样本图像，减少了标注工作量，可通过图像搜索模型自动提取样本图像中的特征信息，大大提高了效率。
其中，安检设备在第一阶段的图像搜索模型可选取卷积神经网络模型（Convlution Neural Network, CNN），包括但不限于AlexNet、ResNet、VGG或DenseNet。特别的，对于图像搜索模型的选取，还可以是由专业技术人员依据所采集的图像数据，结合不同CNN模型的特点，自行搭建的用于提取图像数据中特征信息的图像搜索模型。本发明实施例对图像搜索模型的选取不进行限制。
可选的，采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练，包括：采用该安检设备在半监督的数据集中的样本图像对输入该安检设备在第一阶段的图像搜索模型，得到样本图像对的全局特征和距离；采用样本图像对的全局特征和距离构建无监督与半监督的损失函数，并采用该损失函数对该安检设备在第一阶段的图像搜索模型进行更新。
具体的，采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练时，可将该安检设备在半监督的数据集中的样本图像作为输入图像，并将其输入到该安检设备在第一阶段的图像搜索模型中，继而得到样本图像对的全局特征和距离，进而基于生成的样本图像对的全局特征和距离构建无监督与半监督的损失函数，以通过构建的损失函数更新该安检设备在第一阶段的图像搜索模型。本发明实施例对样本图像对的距离的获取方式不进行限制。
其中，可通过如下方式确定样本图像对的全局特征，预先提取样本图像的局部特征，并得到该样本图像的局部特征序列，继而通过注意力层对局部特征序列进行全局特征信息的提取，得到该样本图像的全局特征，本发明实施例对样本图像对的全局特征获取方式不进行限制。
通过采集各安检设备的原始图像，并构建相应的数据集，将各安检设备在半监督的数据集中的样本图像对输入到该安检设备在第一阶段的图像搜索模型中，可得到该样本图像对的全局特征和距离，并构建无监督与半监督的损失函数，继而对该安检设备在第一阶段的图像搜索模型进行更新，以基于各安检设备在第一阶段的图像搜索模型，提高对相应原始图像中样本图像的特征提取能力，并实现对各安检设备在第一阶段的图像搜索模型的更新。
S120、针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集。
具体的，基于各安检设备采集到的每一原始图像，可根据相应安检设备在第一阶段的图像搜索模型，确定该原始图像与其他原始图像之间的距离，并对各距离进行求和确定该原始图像的距离总和，继而对距离总和进行聚类获取跨域数据集。
其中，对距离总和进行聚类是指，综合各原始图像的距离总和，并根据距离总和的数值不同将其划分为不同的簇，也就是说同一簇中的距离总和数值相近，不同簇之间的距离总和数值相异，以便于将距离总和数值相近的各原始图像尽可能聚集在一起，距离总和数值相异的各原始图像尽可能分离。聚类算法包括但不限于K均值（K-means）聚类算法、均值漂移聚类、基于密度的聚类方法(Density-Based Spatial Clustering ofApplications with Noise，DBSCAN)、谱聚类（Spectral Clustering），本发明实施例在对距离总和进行聚类时，所选取的聚类算法不进行限制；跨域数据集也就是基于由原始图像的距离总和所生成的簇，并根据同一簇中的原始图像构建跨域数据集。
可以理解的是，在构建跨域数据集时，是基于任一原始图像与其他原始图像之间的距离确定的，因此构建的跨域数据集中的各原始图像可能是通过不同安检设备采集得到的，本发明实施例对跨域数据集中来源于不同安检设备的数量不进行限制。
通过采集不同安检设备的原始图像，并确定任一原始图像与其他原始图像的距离进行距离求和，继而基于各原始图像的距离总和进行聚类得到跨域数据集，以便将来源于不同安检设备的、但具有相似类别的原始图像通过聚类的方式划分为同一类别，避免因安检机参数不同将具有相似类别的原始图像被划分为不同类别中，通过构建具有相似类别原始图像的跨域数据集，以便于提取到更丰富的特征信息，进而提高搜索的准确度。
S130、对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支。
具体的，根据各安检设备在第一阶段的图像搜索模型，对各模型的模型权重进行求均值，并将得到的模型权重均值作为第二阶段的图像搜索模型的初始权重，也就是说根据各安检设备在第一阶段的图像搜索模型的模型均值，更新第二阶段的图像搜索模型的模型权重，并在更新模型权重的第二阶段的图像搜索模型中增加域分类分支。
通过对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，并基于得到的模型权重均值更新第二阶段的图像搜索模型，在第二阶段的图像搜索模型中增加域分类分支，以便于获取类别信息，实现对图像所属类别的判断。通过更新第二阶段的图像搜索模型的模型权重，以便于构建可适用于跨域数据集的图像搜索模型，进而可提高对跨域数据集的搜索效率和搜索准确度。
S140、将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
具体的，通过将跨域数据集中的样本图像输入到第二阶段的图像搜索模型中，可得到相应样本图像的全局特征、域分类输出结果以及不同样本图像的距离，并基于第二阶段的图像搜索模型进行模型训练，进而得到跨域的图像搜索模型。
特别的，依据本发明实施例构建的图像搜索模型进行模型训练时，所采用的深度学习框架包括但不限于Pytorch、TensorFlow、Keras、Caffe，本发明实施例对深度学习框架的选取不进行限制。
通过第二阶段的图像搜索模型从跨域数据集中的样本图像中，获取跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，并对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型，以便于通过构建得到的跨域的图像搜索模型对跨域数据集进行特征提取，进而提高对跨域数据集的搜索效率和搜索准确度。
本发明实施例在第一阶段，针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型；在第二阶段，基于各安检设备在第一阶段的图像搜索模型，对各安检设备的原始图像进行处理，并确定不同原始图像之间的距离，继而对各原始图像的距离总和进行聚类得到跨域数据集。通过为第二阶段的图像搜索模型增加域分类分支，得到第二阶段的图像搜索模型，并将跨域数据集中的样本图像输入第二阶段的图像搜索模型中进行无监督和半监督模型训练，得到跨域的图像搜索模型。本发明实施例提供的技术方案，通过构建跨域的图像搜索模型，以提高对跨域数据集的搜索效率和搜索准确度。
实施例二
图2是本发明实施例二提供的另一种基于无监督和半监督的图像搜索模型训练方法的流程图，本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化。
进一步的，将“针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型”，进一步细化为“针对每一安检设备，获取该安检设备的N张原始图像，对各原始图像进行K次处理得到K个样本图像集合；其中，同一样本图像集合中的不同样本图像属于同一类，不同样本图像集合中的不同样本图像属于不同类；采用样本图像集合对该安检设备在第一阶段的图像搜索模型进行无监督训练；在无监督训练满足迭代停止要求的情况下，采用经训练的第一阶段的图像搜索模型确定不同样本图像之间的距离，并根据距离选择同一类的不同样本图像，作为该安检设备在半监督的数据集；采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练”，根据距离选择同一类的不同样本图像，并将其作为该安检设备在半监督的数据集，以提高各安检设备在第一阶段的图像搜索模型的搜索准确度。需要说明的是，在本实施例中未讲述部分，可参考其他实施例的相关表述，在此不再赘述。
如图2所示，本发明实施例提供的另一种基于无监督和半监督的图像搜索模型训练方法，具体包括如下步骤：
S210、针对每一安检设备，获取该安检设备的N张原始图像，对各原始图像进行K次处理得到K个样本图像集合；其中，同一样本图像集合中的不同样本图像属于同一类，不同样本图像集合中的不同样本图像属于不同类。
具体的，响应于对各安检设备的图像采集需求，分别采集每一安检设备的N张原始图像，并对各原始图像进行K次处理，继而获取到相应的样本图像集合，也就是说，对各安检设备的N张原始图像进行K次处理后，可得到每一安检设备的N张原始图像的K×N个样本图像集合。可以理解的是，来源于同一样本图像集合中的不同样本图像属于同一类，而来自不同样本图像集合中的不同样本图像属于不同类，也就是说，将属于同一样本图像集合的不同样本图像作为相同类别，彼此样本图像集合之间独立存在，视为不同类别。
其中，对各原始图像进行K次处理时，可对包括但不限于旋转、翻转、改变光照、改变颜色、模糊、仿射变换的候选的数据处理方式进行筛选与组合，得到该原始图像的数据处理组，该数据处理组包括K次数据处理方式，通过采用该原始图像的数据处理组对该原始图像进行K次数据处理，可得到该原始图像对应的K个样本图像集合。
需要说明的是，对各原始图像进行数据处理时所采用的数据处理方式是基于候选的数据处理方式进行筛选与组合，进而随机生成的针对各原始图像的数据处理组，也就是说，对包括但不限于旋转、翻转、改变光照、改变颜色、模糊、仿射变换的候选的数据处理方式进行筛选与组合得到的数据处理组，该数据处理组包括K次数据处理方式。可以理解的是，由于针对各原始图像所采取的数据处理组是随机生成的，因此基于数据处理组对各原始图像进行数据处理时，针对各原始图像生成的样本图像之间同样存在差异性。可选的，在对各原始图像进行数据处理时，还可以对候选的数据处理方式进行筛选与组合，得到随机生成的数据处理组，并基于该数据处理组对各原始图像采取相同的数据处理组进行数据处理操作。本发明实施例对数据处理方式的筛选与组合方式，及是否采用相同的数据处理组进行数据处理操作均不进行限制。
通过获取任一安检设备的N张原始图像，对各原始图像进行处理得到相应的样本图像集合，并将来源于同一样本图像集合的不同样本图像视为同一类，不同样本图像集合之间相互独立，视为不同类别。以便于基于原始图像生成不同情况下的样本图像集合，以提高模型对样本图像集合的特征提取能力。
S220、采用样本图像集合对该安检设备在第一阶段的图像搜索模型进行无监督训练。
具体的，基于该安检设备在第一阶段的图像搜索模型，对经处理操作得到的样本图像集合进行无监督训练，也就是说，通过采集任一安检设备的原始图像，并对原始图像进行处理后得到相应的样本图像集合，进而将生成的样本图像集合输入到该安检设备在第一阶段的图像搜索模型中进行无监督训练。
其中，在进行无监督训练时，该安检设备在第一阶段的图像搜索模型对相应的样本图像集合进行局部特征信息的提取，继而可得到与各样本图像集合相对应的局部特征序列，并基于已提取到的局部特征序列，通过图像搜索模型中的注意力层分别对局部特征序列进行全局特征的提取，可得到全局特征序列，并通过如下公式对已获得的全局特征序列计算相似度损失Loss1-1：
；
其中，m表示第几个序列，i表示当前计算的样本图像集合中待计算的样本图像，j表示对同属同一类别的图像进行数据处理，y表示样本图像集合中除待计算的样本图像外的其他图像。特别的，当通过该公式进行相似度损失计算时，若计算得到的相似度损失结果越小，则表明该待计算的样本图像与其他图像的相似度越高，反之，则表示相似度越低。
其中，通过注意力层对局部特征序列进行全局特征的提取时，注意力层的选取可以是自注意力机制（Self-Attention Machanism）、多头自注意力机制（Multi-head Self-Attention Machanism）、通道注意力（Channel Attention）、空间注意力（SpatialAttention）或通道和空间注意力机制的融合（Convloutional Block Attention Module，CBAM），本发明实施例对图像搜索模型中注意力层的选取不进行限制。
通过基于采集到的样本图像集合对该安检设备在第一阶段的图像搜索模型进行无监督训练，使得当通过该安检设备在第一阶段的图像搜索模型，对基于该安检设备经处理操作采集到的样本图像集合进行无监督训练时，可提取到更多的特征信息，进而可达到较高的搜索准确度。
S230、在无监督训练满足迭代停止要求的情况下，采用经训练的第一阶段的图像搜索模型确定不同样本图像之间的距离，并根据距离选择同一类的不同样本图像，作为该安检设备在半监督的数据集。
具体的，在无监督训练满足迭代停止要求的情况下，可采用经训练的第一阶段的图像搜索模型确定不同样本图像之间的距离，并根据距离选择同一类的不同样本图像，作为该安检设备在半监督的数据集。
其中，对于迭代停止条件的选择，可以是预先设置迭代次数，并在进行无监督训练至迭代次数时，停止无监督训练，视为满足无监督训练的迭代停止条件，本发明实施例对迭代停止条件不进行限制。
可选的，采用经训练的第一阶段的图像搜索模型确定不同样本图像之间的距离，并根据距离选择同一类的不同样本图像，作为该安检设备在半监督的数据集，包括：针对每一样本图像，将该样本图像和其他样本图像输入经训练的第一阶段的图像搜索模型得到该样本图像和其他样本图像之间的距离；其中，该样本图像和其他样本图像属于不同样本图像集合；选择距离相近的其他样本图像作为该样本图像的相同类别图像，得到该安检设备在半监督的数据集。
具体的，在一个具体实施方式中，对于每一样本图像，可将该样本图像和其他样本图像输入经训练的第一阶段的图像搜索模型，得到该样本图像和其他样本图像之间的距离distance，并对distance按照从小到大排序，选取距离最小的其他样本图像中前B张样本图像作为与该样本图像所属类别相同的类别，该样本图像和其他样本图像属于不同样本图像集合，并通过如下公式分别确定其他样本图像中前B张样本图像的权重P：
；
其中，选取距离最小的前B张样本图像的选取数量可以是人为预先指定的，本发明实施例对此不进行限制。可以理解的是，当该样本图像和其他样本图像之间的距离distance越小时，表示权重P越大，也就是说，该样本图像和其他样本图像中样本图像之间的相似度越高。因此，选择距离相近的其他样本图像作为该样本图像的相同类别图像，也就是选取权重值较高的其他样本图像作为该样本图像的相同类别图像，进而得到该安检设备在半监督的数据集。
通过在无监督训练满足迭代停止要求的情况下，针对每一样本图像，将该样本图像和其他样本图像输入经训练的第一阶段的图像搜索模型得到该样本图像和其他样本图像之间的距离；其中，该样本图像和其他样本图像属于不同样本图像集合。通过计算该样本图像和其他样本图像之间的距离，以便于从其他样本图像中确定与该样本图像相似的样本图像，也就是说，选取距离相近的其他样本图像作为与该样本图像同属相同类别的样本图像，继而构建该安检设备在半监督的数据集。
S240、采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练。
具体的，基于该安检设备在半监督的数据集，对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练，进而得到该安检设备在第一阶段训练完成的图像搜索模型，可通过如下公式计算无监督和半监督训练过程中的损失：
；
其中，N表示一次迭代的样本图像数量，K表示进行几次数据处理操作，m表示第几次序列，M表示一张样本图像的序列个数，P表示权重，B表示同属相同类别的样本图像个数。
通过采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练，以便于提高图像搜索模型的搜索效率和搜索准确度。
S250、针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集。
具体的，基于各安检设备采集到的每一原始图像，并根据相应安检设备在第一阶段的图像搜索模型，确定该原始图像与其他原始图像之间的距离，并对各距离进行求和确定该原始图像的距离总和，继而对距离总和进行聚类获取跨域数据集。特别的，需要说明的是，在确定各原始图像与其他原始图像之间距离时，其他原始图像可取自不同安检设备中的原始图像，也可取自相同安检设备中除该原始图像之外的其他原始图像。
针对每一原始图像，通过采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，并对各距离求和得到距离总和，继而对距离总和进行聚类得到跨域数据集，以便于将属于相同聚类簇中的样本图像归为跨域数据集中的同一类别，同一类别中的样本图像来自不同安检设备和相同安检设备。
S260、对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支。
具体的，通过确定各安检设备在第一阶段的图像搜索模型的模型权重，并对各模型权重求均值，继而将模型权重均值作为第二阶段的图像搜索模型的初始权重，另外，在第二阶段的图像搜索模型中增加域分类分支。
通过获取各安检设备在第一阶段的图像搜索模型的模型权重均值，并更新第二阶段的图像搜索模型的模型权重，以便于模型提取到更多的特征信息，提高搜索的准确度和搜索效率。另外，通过在第二阶段的图像搜索模型中增加域分类分支，以便于实现对类别的判断。
S270、将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
具体的，通过将跨域数据集中的样本图像作为输入图像，经第二阶段的图像搜索模型可得到样本图像的全局特征、域分类输出结果和不同样本图像之间的距离，继而对第二阶段的图像搜索模型进行训练，可得到跨域的图像搜索模型。
通过第二阶段的图像搜索模型确定跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，并对第二阶段的图像搜索模型进行训练，获取跨域的图像搜索模型，以便于提高对跨域数据集的搜索效率和搜索准确度。
本发明实施例通过获取不同安检设备的原始图像，并对各原始图像进行处理，继而根据不同安检设备在第一阶段的图像搜索模型进行无监督训练，在满足迭代停止要求时，确定各安检设备中不同样本图像之间的距离，并选取距离较近的样本图像作为相同类别图像，构建该安检设备在半监督的数据集。继而采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练。针对取自各安检设备的每一原始图像，确定该原始图像与其他原始图像之间的距离，并对距离总和进行聚类可得到跨域数据集，通过更新第二阶段的图像搜索模型的模型权重，并增加域分类分支，得到跨域的图像搜索模型。本发明实施例提供的技术方案，在第一阶段，将取自各安检设备且距离相近的样本图像作为相同类别图像，构建该安检设备的半监督的数据集，以便于提高第一阶段图像搜索模型对同属相同类别样本图像中特征的提取能力；在第二阶段，通过更新第二阶段的图像搜索模型的模型权重，并增加域分类分支，得到跨域的图像搜索模型，以避免因不同安检设备的参数不同，将同属相同类别的样本图像错分为不同类别，提高对所构建的跨域数据集的搜索效率和搜索准确度。
实施例三
图3是本发明实施例三提供的另一种基于无监督和半监督的图像搜索模型训练方法的流程图，本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化。
进一步的，将“将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型”，进一步细化为“将跨域数据集中的不同样本图像分别输入第二阶段的图像搜索模型得到各样本图像的全局特征、域分类输出和不同样本图像之间的距离；采用各样本图像的全局特征和不同样本图像之间的距离构建无监督与半监督的第一损失函数；采用各样本图像的域分类输出构建无监督与半监督的第二损失函数；采用第一损失函数和第二损失函数，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型”，以提高对跨域数据集的搜索效率和搜索准确度。需要说明的是，在本实施例中未讲述部分，可参考其他实施例的相关表述，在此不再赘述。
如图3所示，本发明实施例提供的另一种基于无监督和半监督的图像搜索模型训练方法，具体包括如下步骤：
S310、针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型。
S320、针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集。
具体的，根据各安检设备采集得到的原始图像构建数据集，并采用任一安检设备的数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型。基于各安检设备采集到的每一原始图像，并根据相应安检设备在第一阶段的图像搜索模型，确定该原始图像与其他原始图像之间的距离，并对各距离进行求和确定该原始图像的距离总和，继而对距离总和进行聚类获取跨域数据集。
可选的，对距离总和进行聚类得到跨域数据集，包括：采用距离总和进行聚类，将属于相同聚类簇中的样本图像归为跨域数据集的同一类别；同一类别中的样本图像来自不同安检设备和相同安检设备。
具体的，根据距离总和进行聚类时，是将同属相同聚类簇中的样本图像视为跨域数据集中的同一类别，同一类别中的样本图像来自不同安检设备和相同安检设备，继而可得到跨域数据集。可以理解的是，在构建跨域数据集时，是对距离总和进行聚类，并将同属相同聚类簇中的样本图像视为跨域数据集中的同一类别。因此，同属相同类别的跨域数据集中的样本图像可以是来源于不同安检设备的。
在一个具体实施例的实现方式中，选择K-means聚类算法进行聚类，并按照聚类生成的簇进行类别划分，剔除因安检机采集参数不同引起的差异，例如，不同安检机对生成样本图像的分辨率、亮度等的差异，通过对同属相同聚类簇中的样本图像进行共性特征的提取实现跨域特征的提取。
通过针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类，将属于相同聚类簇中的样本图像归为跨域数据集的同一类别；同一类别中的样本图像来自不同安检设备和相同安检设备，以便将来源于不同安检设备的、具有相似类别的原始图像通过聚类的方式划分为同一类别，以减少因安检机参数不同将具有相似类别的原始图像被划分为不同类别中，通过构建具有相似类别原始图像的跨域数据集，以便于提取到更丰富的特征信息，便于后续的图像搜索任务的开展。
S330、对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支。
具体的，根据各安检设备在第一阶段的图像搜索模型，可获取各图像搜索模型的模型权重，通过对各模型权重求均值，将确定的模型均值结果作为第二阶段的图像搜索模型的初始权重，也就是说，通过根据各安检设备在第一阶段的图像搜索模型，对各模型权重求均值，进而将已确定的模型权重均值加载到第二阶段的图像搜索模型中，用以更新第二阶段的图像搜索模型中的模型权重，并在第二阶段的图像搜索模型中增加域分类分支，用以实现对类别的判断。
通过对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，并基于得到的模型权重均值更新第二阶段的图像搜索模型，在第二阶段的图像搜索模型中增加域分类分支，通过更新第二阶段的图像搜索模型的模型权重，以便于构建可适用于跨域数据集的图像搜索模型，进而可提高对跨域数据集的搜索效率和搜索准确度。通过在第二阶段的图像搜索模型中增加域分类分支，以便于获取类别信息，实现图像所属类别的判断。
S340、将跨域数据集中的不同样本图像分别输入第二阶段的图像搜索模型得到各样本图像的全局特征、域分类输出和不同样本图像之间的距离。
S350、采用各样本图像的全局特征和不同样本图像之间的距离构建无监督与半监督的第一损失函数。
具体的，通过将跨域数据集中的不同样本图像分别输入第二阶段的图像搜索模型得到各样本图像的全局特征、域分类输出和不同样本图像之间的距离。采用各样本图像的全局特征和不同样本图像之间的距离，可通过如下公式构建无监督与半监督的第一损失函数：
；
其中，N表示一次迭代的样本图像数量，K表示进行几次数据处理操作，m表示第几次序列，M表示一张样本图像的序列个数，P表示权重，B表示同属相同类别的样本图像个数。
依据各样本图像的全局特征和不同样本图像之间的距离，构建无监督与半监督的第一损失函数，以便于提高图像搜索模型的搜索效率和搜索准确度。
S360、采用各样本图像的域分类输出构建无监督与半监督的第二损失函数。
具体的，在第二阶段的图像搜索模型中增加域分类分支，也就是说在该图像搜索模型中增加一个用于分类的网络，本发明实施例对分类网络的选取不进行限制，用以减少该图像搜索模型对不同安检机所采集图像的敏感程度，提高模型对图像通用特征的提取能力，并通过如下公式对域分类损失Losscls进行计算：
；
其中，q表示同一类别的概率，e表示同一类别为1，（1-e）表示不同类别为0。
依据各样本图像的域分类输出构建无监督与半监督的第二损失函数，以便于提高图像搜索模型的搜索效率和搜索准确度。
S370、采用第一损失函数和第二损失函数，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
具体的，采用各样本图像的全局特征和不同样本图像之间的距离构建无监督与半监督的第一损失函数；采用各样本图像的域分类输出构建无监督与半监督的第二损失函数；之后采用第一损失函数和第二损失函数，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
其中，采用各样本图像的全局特征和不同样本图像之间的距离构建无监督与半监督的第一损失函数Loss1-2，采用各样本图像的域分类输出构建无监督与半监督的第二损失函数Losscls，根据第一损失函数Loss1-2和第二损失函数Losscls并通过如下公式构建对第二阶段的图像搜索模型进行训练时的损失函数Loss：
；
本发明实施例在第一阶段，针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型；在第二阶段，基于各安检设备在第一阶段的图像搜索模型，对各安检设备的原始图像进行处理，并确定不同原始图像之间的距离，继而对各原始图像的距离总和进行聚类得到跨域数据集。通过为第二阶段的图像搜索模型增加域分类分支，得到第二阶段的图像搜索模型，将跨域数据集中的不同样本图像分别输入第二阶段的图像搜索模型得到各样本图像的全局特征、域分类输出和不同样本图像之间的距离，采用各样本图像的全局特征和不同样本图像之间的距离构建无监督与半监督的第一损失函数，采用各样本图像的域分类输出构建无监督与半监督的第二损失函数，采用第一损失函数和第二损失函数，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。本发明实施例提供的技术方案，通过构建跨域的图像搜索模型，并通过聚类处理减少该图像搜索模型对不同安检机所采集图像的敏感程度，提高模型对图像通用特征的提取能力，进而提高对跨域数据集的搜索效率和搜索准确度。
实施例四
本发明实施例将对一种基于无监督和半监督的图像搜索模型训练方法和电子设备的整体流程进行详细阐述。本发明实施例通过两个阶段完成，第一阶段，基于图像搜索模型，采用无监督和半监督方法进行模型训练；第二阶段，修改图像搜索模型，并在该图像搜索模型中增加跨域学习分支，也就是说，通过根据第一阶段的图像搜索模型确定第二阶段的图像搜索模型，并在第二阶段的图像搜索模型中增加跨域学习分支。
在第一阶段，首先获取各安检设备采集到的原始图像，并对已获取到的原始图像进行处理得到样本图像集合，需要说明的是，同一样本图像集合中的不同样本图像属于同一类，不同样本图像集合中的不同样本图像属于不同类。之后，将通过相同安检设备采集到的且已进行处理的样本图像集合输入第一阶段的图像搜索模型中，进行无监督训练，可得到相应样本图像集合的局部特征图，并通过注意力机制对局部特征图进行全局特征提取，获得相应的全局特征序列，并通过如下公式计算各序列的损失：
；
其中，m表示第几个序列，i表示当前计算的样本图像集合中待计算的样本图像，j表示对同属同一类别的图像进行数据处理，y表示样本图像集合中除待计算的样本图像外的其他图像。特别的，当通过该公式进行相似度损失计算时，若计算得到的相似度损失结果越小，则表明该待计算的样本图像与其他图像的相似度越高，反之，则表示相似度越低。
其中，通过注意力层对局部特征序列进行全局特征的提取时，注意力层的选取可以是自注意力机制（Self-Attention Machanism）、多头自注意力机制（Multi-head Self-Attention Machanism）、通道注意力（Channel Attention）、空间注意力（SpatialAttention）或通道和空间注意力机制的融合（Convloutional Block Attention Module，CBAM），本发明实施例对图像搜索模型中注意力层的选取不进行限制。
在无监督训练满足迭代停止要求的情况下，可针对任一样本图像集合中的每一样本图像，将该样本图像和其他样本图像输入经训练的第一阶段的图像搜索模型得到该样本图像和其他样本图像之间的距离；其中，该样本图像和其他样本图像属于不同样本图像集合。
具体的，在一个具体实施方式中，对于每一样本图像，可将该样本图像和其他样本图像输入经训练的第一阶段的图像搜索模型，得到该样本图像和其他样本图像之间的距离distance，并对distance按照从小到大排序，选取距离最小的其他样本图像中前B张样本图像作为与该样本图像所属类别相同的类别，该样本图像和其他样本图像属于不同样本图像集合，并通过如下公式分别确定其他样本图像中前B张样本图像的权重P：
；
其中，选取距离最小的前B张样本图像的选取数量可以是人为预先指定的，本发明实施例对此不进行限制。可以理解的是，当该样本图像和其他样本图像之间的距离distance越小时，表示权重P越大，也就是说，该样本图像和其他样本图像中样本图像之间的相似度越高。因此，选择距离相近的其他样本图像作为该样本图像的相同类别图像，也就是选取权重值较高的其他样本图像作为该样本图像的相同类别图像，进而得到该安检设备在半监督的数据集。
通过选择距离相近的其他样本图像作为该样本图像的相同类别图像，可得到该安检设备在半监督的数据集。目的在于避免将同属相同类别的图像被错分为不同类别，减少模型训练的波动，提高模型的特征提取能力，从而提高模型的搜索准确度。
在获取到该安检设备在半监督的数据集后，采用该安检设备在半监督的数据集中的样本图像对输入该安检设备在第一阶段的图像搜索模型，得到样本图像对的全局特征和距离；采用样本图像对的全局特征和距离构建无监督与半监督的损失函数，并采用该损失函数对该安检设备在第一阶段的图像搜索模型进行更新。其中，可通过如下公式计算无监督和半监督训练过程中的损失：
；
其中，N表示一次迭代的样本图像数量，K表示进行几次数据处理操作，m表示第几次序列，M表示一张样本图像的序列个数，P表示权重，B表示同属相同类别的样本图像个数。在第一阶段模型训练结束后，可得到各安检设备在第一阶段的图像搜索模型。
在第二阶段，首先针对各安检设备的每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，并对各距离求和得到距离总和，采用距离总和进行聚类，将属于相同聚类簇中的样本图像归为跨域数据集的同一类别；同一类别中的样本图像来自不同安检设备和相同安检设备。
继而，对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支；将跨域数据集中的不同样本图像分别输入第二阶段的图像搜索模型得到各样本图像的全局特征、域分类输出和不同样本图像之间的距离；采用各样本图像的全局特征和不同样本图像之间的距离构建无监督与半监督的第一损失函数；采用各样本图像的域分类输出构建无监督与半监督的第二损失函数；
在第二阶段的图像搜索模型中增加域分类分支，也就是说在该图像搜索模型中增加一个用于分类的网络，本发明实施例对分类网络的选取不进行限制，用以减少该图像搜索模型对不同安检机所采集图像的敏感程度，提高模型对图像通用特征的提取能力，并通过如下公式对域分类损失Losscls进行计算：
；
其中，q表示同一类别的概率，e表示同一类别为1，（1-e）表示不同类别为0。依据各样本图像的域分类输出构建无监督与半监督的第二损失函数，以便于提高图像搜索模型的搜索效率和搜索准确度。
最后，采用各样本图像的全局特征和不同样本图像之间的距离构建无监督与半监督的第一损失函数Loss1-2，采用各样本图像的域分类输出构建无监督与半监督的第二损失函数Losscls，根据第一损失函数Loss1-2和第二损失函数Losscls并通过如下公式构建对第二阶段的图像搜索模型进行训练时的损失函数Loss：
；
本发明实施例通过分别采集不同安检设备的原始图像构建数据集，并基于各安检设备的数据集进行无监督和半监督训练，获取各安检设备的第一阶段图像搜索模型，并对相应数据集中每一原始图像和其他原始图像之间的距离进行求和，通过聚类确定跨域数据集；根据各安检设备在第一阶段的图像搜索模型的模型权重均值，确定第二阶段的图像搜索模型的初始权重，并为该模型增加域分类分支，继而根据跨域数据集进行模型训练，得到跨域的图像搜索模型。本发明实施例提供的技术方案，通过构建跨域的图像搜索模型，以提高对跨域数据集的搜索效率和搜索准确度。
实施例五
图4是本发明实施例五提供的一种图像搜索方法的流程图，本实施例可适用于得到不同目标图像之间距离的情况，该方法可以由一种图像搜索装置来执行，该图像搜索装置可以采用硬件和/或软件的形式实现，该图像搜索装置可配置于电子设备中，该电子设备可以是终端设备或服务器等，本发明实施例对此不进行限制。
如图4所示，本发明实施例提供的一种图像搜索方法，具体包括如下步骤：
S410、获取待处理的至少两个目标图像。
具体的，响应于图像搜索需求方发起的图像搜索需求，获取相应的至少两个目标图像，以便于根据所获取到的目标图像开展后续图像搜索任务。
S420、将所述至少两个目标图像输入跨域的图像搜索模型，得到不同目标图像之间的距离；其中，所述跨域的图像搜索模型采用如前述的一种基于无监督和半监督的图像搜索模型训练方法训练得到。
具体的，将获取到的至少两个目标图像作为输入图像，输入到图像搜索模型中，可得到不同目标图像之间的距离。需要说明的是，对于所选取的图像搜索模型，可通过前述的一种基于无监督和半监督的图像搜索模型训练方法经训练得到。
本发明实施例通过获取待处理的至少两个目标图像；将所述至少两个目标图像输入图像搜索模型，得到不同目标图像之间的距离；其中，所述图像搜索模型可采用如前述的一种基于无监督和半监督的图像搜索模型训练方法训练得到。本发明实施例提供的技术方案，通过图像搜索模型确定不同目标图像之间的距离，以便于根据所得到的不同目标图像之间的距离开展图像搜索任务，进而提高图像搜索效率和搜索准确度。
实施例六
图5为本发明实施例六提供的一种基于无监督和半监督的图像搜索模型训练装置的结构示意图。如图5所示，该基于无监督和半监督的图像搜索模型训练装置包括：第一模型确定模块510、数据集确定模块520、分支确定模块530和跨域模型确定模块540。其中：
第一模型确定模块510，用于针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型；
数据集确定模块520，用于针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集；
分支确定模块530，用于对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支；
跨域模型确定模块540，用于将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
本发明实施例通过针对每一安检设备，采用该安检设备的原始图像构建数据集，并采用数据集对该安检设备在第一阶段的图像搜索模型进行无监督和半监督训练，得到该安检设备在第一阶段的图像搜索模型；针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集；对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支；将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。本发明实施例提供的技术方案，通过构建跨域的图像搜索模型，以提高对跨域数据集的搜索效率和搜索准确度。
可选的，第一模型确定模块510，包括：
图像处理单元，用于针对每一安检设备，获取该安检设备的N张原始图像，对各原始图像进行K次处理得到K个样本图像集合；其中，同一样本图像集合中的不同样本图像属于同一类，不同样本图像集合中的不同样本图像属于不同类；
无监督训练单元，用于采用样本图像集合对该安检设备在第一阶段的图像搜索模型进行无监督训练；
数据集构建单元，用于在无监督训练满足迭代停止要求的情况下，采用经训练的第一阶段的图像搜索模型确定不同样本图像之间的距离，并根据距离选择同一类的不同样本图像，作为该安检设备在半监督的数据集；
模型训练单元，用于采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练。
进一步的，数据集构建单元，包括：
距离确定子单元，用于针对每一样本图像，将该样本图像和其他样本图像输入经训练的第一阶段的图像搜索模型得到该样本图像和其他样本图像之间的距离；其中，该样本图像和其他样本图像属于不同样本图像集合；
数据集得到子单元，用于选择距离相近的其他样本图像作为该样本图像的相同类别图像，得到该安检设备在半监督的数据集。
可选的，第一模型确定模块510，包括模型更新单元，包括：
特征和距离得到子单元，用于采用该安检设备在半监督的数据集中的样本图像对输入该安检设备在第一阶段的图像搜索模型，得到样本图像对的全局特征和距离；
损失函数构建子单元，用于采用样本图像对的全局特征和距离构建无监督与半监督的损失函数，并采用该损失函数对该安检设备在第一阶段的图像搜索模型进行更新。
可选的，数据集确定模块520，包括：
跨域类别确定单元，用于采用距离总和进行聚类，将属于相同聚类簇中的样本图像归为跨域数据集的同一类别；同一类别中的样本图像来自不同安检设备和相同安检设备。
可选的，跨域模型确定模块540，包括：
距离确定单元，用于将跨域数据集中的不同样本图像分别输入第二阶段的图像搜索模型得到各样本图像的全局特征、域分类输出和不同样本图像之间的距离；
第一损失构建单元，用于采用各样本图像的全局特征和不同样本图像之间的距离构建无监督与半监督的第一损失函数；
第二损失构建单元，用于采用各样本图像的域分类输出构建无监督与半监督的第二损失函数；
模型得到单元，用于采用第一损失函数和第二损失函数，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
本发明实施例所提供的一种基于无监督和半监督的图像搜索模型训练装置，可执行本发明任意实施例所提供的一种基于无监督和半监督的图像搜索模型训练方法，具备执行方法相应的功能模块和有益效果。
实施例七
图6为本发明实施例七提供的一种图像搜索装置的结构示意图。如图6所示，该图像搜索装置包括：目标图像获取模块610和图像距离确定模块620。其中：
目标图像获取模块610，用于获取待处理的至少两个目标图像；
图像距离确定模块620，用于将所述至少两个目标图像输入跨域的图像搜索模型，得到不同目标图像之间的距离；其中，所述跨域的图像搜索模型由如前述的一种基于无监督和半监督的图像搜索模型的训练装置提供。
本发明实施例所提供的一种图像搜索装置，可执行本发明任意实施例所提供的一种图像搜索方法，具备执行方法相应的功能模块和有益效果。
实施例八
图7示出了可以用来实施本发明的实施例的电子设备700的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备700包括至少一个处理器710，以及与至少一个处理器710通信连接的存储器，如只读存储器（ROM）720、随机访问存储器（RAM）730等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器710可以根据存储在只读存储器（ROM）720中的计算机程序或者从存储单元780加载到随机访问存储器（RAM）730中的计算机程序，来执行各种适当的动作和处理。在（RAM）730中，还可存储电子设备700操作所需的各种程序和数据。处理器710、（RAM）720以及（RAM）730通过总线740彼此相连。输入/输出（I/O）接口750也连接至总线740。
电子设备700中的多个部件连接至I/O接口750，包括：输入单元760，例如键盘、鼠标等；输出单元770，例如各种类型的显示器、扬声器等；存储单元780，例如磁盘、光盘等；以及通信单元790，例如网卡、调制解调器、无线通信收发机等。通信单元790允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器710可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器710的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器710执行上文所描述的各个方法和处理，例如一种基于无监督和半监督的图像搜索模型训练方法或一种图像搜索方法。
在一些实施例中，一种基于无监督和半监督的图像搜索模型训练方法或一种图像搜索方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元780。在一些实施例中，计算机程序的部分或者全部可以经由（RAM）720和/或通信单元790而被载入和/或安装到电子设备700上。当计算机程序加载到（RAM）730并由处理器710执行时，可以执行上文描述的一种基于无监督和半监督的图像搜索模型训练方法或一种图像搜索方法的一个或多个步骤。备选地，在其他实施例中，处理器710可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行一种基于无监督和半监督的图像搜索模型训练方法或一种图像搜索方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于无监督和半监督的图像搜索模型训练方法，其特征在于，包括：
针对每一安检设备，获取该安检设备的N张原始图像，对各原始图像进行K次处理得到K个样本图像集合；其中，同一样本图像集合中的不同样本图像属于同一类，不同样本图像集合中的不同样本图像属于不同类；
采用样本图像集合对该安检设备在第一阶段的图像搜索模型进行无监督训练；
在无监督训练满足迭代停止要求的情况下，采用经训练的第一阶段的图像搜索模型确定不同样本图像之间的距离，并根据距离选择同一类的不同样本图像，作为该安检设备在半监督的数据集；
采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行训练；
针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集；
对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支；
将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
2.根据权利要求1所述的方法，其特征在于，采用经训练的第一阶段的图像搜索模型确定不同样本图像之间的距离，并根据距离选择同一类的不同样本图像，作为该安检设备在半监督的数据集，包括：
针对每一样本图像，将该样本图像和其他样本图像输入经训练的第一阶段的图像搜索模型得到该样本图像和其他样本图像之间的距离；其中，该样本图像和其他样本图像属于不同样本图像集合；
选择距离相近的其他样本图像作为该样本图像的相同类别图像，得到该安检设备在半监督的数据集。
3.根据权利要求1所述的方法，其特征在于，采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行无监督与半监督训练，包括：
采用该安检设备在半监督的数据集中的样本图像对输入该安检设备在第一阶段的图像搜索模型，得到样本图像对的全局特征和距离；
采用样本图像对的全局特征和距离构建损失函数，并采用该损失函数对该安检设备在第一阶段的图像搜索模型进行更新。
4.根据权利要求1所述的方法，其特征在于，对距离总和进行聚类得到跨域数据集，包括：
采用距离总和进行聚类，将属于相同聚类簇中的样本图像归为跨域数据集的同一类别；同一类别中的样本图像来自不同安检设备和相同安检设备。
5.根据权利要求1所述的方法，其特征在于，将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型，包括：
将跨域数据集中的不同样本图像分别输入第二阶段的图像搜索模型得到各样本图像的全局特征、域分类输出和不同样本图像之间的距离；
采用各样本图像的全局特征和不同样本图像之间的距离构建第一损失函数；
采用各样本图像的域分类输出构建第二损失函数；
采用第一损失函数和第二损失函数，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
6.一种图像搜索方法，其特征在于，包括：
获取待处理的至少两个目标图像；
将所述至少两个目标图像输入跨域的图像搜索模型，得到不同目标图像之间的距离；其中，所述跨域的图像搜索模型采用如权利要求1-4中任一项所述的方法训练得到。
7.一种基于无监督和半监督的图像搜索模型训练装置，其特征在于，包括：
第一模型确定模块，第一模型确定模块包括：
图像处理单元，用于针对每一安检设备，获取该安检设备的N张原始图像，对各原始图像进行K次处理得到K个样本图像集合；其中，同一样本图像集合中的不同样本图像属于同一类，不同样本图像集合中的不同样本图像属于不同类；
无监督训练单元，用于采用样本图像集合对该安检设备在第一阶段的图像搜索模型进行无监督训练；
数据集构建单元，用于在无监督训练满足迭代停止要求的情况下，采用经训练的第一阶段的图像搜索模型确定不同样本图像之间的距离，并根据距离选择同一类的不同样本图像，作为该安检设备在半监督的数据集；
模型训练单元，用于采用该安检设备在半监督的数据集对该安检设备在第一阶段的图像搜索模型进行训练；
数据集确定模块，用于针对每一原始图像，采用各安检设备在第一阶段的图像搜索模型分别确定该原始图像和其他原始图像之间的距离，对各距离求和得到距离总和，并对距离总和进行聚类得到跨域数据集；
分支确定模块，用于对各安检设备在第一阶段的图像搜索模型进行模型权重求均值，将模型权重均值作为第二阶段的图像搜索模型的初始权重，并为第二阶段的图像搜索模型增加域分类分支；
跨域模型确定模块，用于将跨域数据集中的样本图像输入第二阶段的图像搜索模型得到样本图像的全局特征、域分类输出和不同样本图像的距离，并采用跨域数据集中各样本图像的全局特征、域分类输出和不同样本图像的距离，对第二阶段的图像搜索模型进行训练，得到跨域的图像搜索模型。
8.一种图像搜索装置，其特征在于，包括：
目标图像获取模块，用于获取待处理的至少两个目标图像；
图像距离确定模块，用于将所述至少两个目标图像输入跨域的图像搜索模型，得到不同目标图像之间的距离；其中，所述跨域的图像搜索模型由如权利要求7所述的装置提供。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的方法。
CN202311550272.4A 2023-11-21 2023-11-21 基于无监督和半监督的图像搜索模型训练方法和电子设备 Active CN117274778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311550272.4A CN117274778B (zh) 2023-11-21 2023-11-21 基于无监督和半监督的图像搜索模型训练方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311550272.4A CN117274778B (zh) 2023-11-21 2023-11-21 基于无监督和半监督的图像搜索模型训练方法和电子设备

Publications (2)

Publication Number Publication Date
CN117274778A CN117274778A (zh) 2023-12-22
CN117274778B true CN117274778B (zh) 2024-03-01

Family

ID=89204882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311550272.4A Active CN117274778B (zh) 2023-11-21 2023-11-21 基于无监督和半监督的图像搜索模型训练方法和电子设备

Country Status (1)

Country Link
CN (1) CN117274778B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统
CN113592927A (zh) * 2021-07-26 2021-11-02 国网安徽省电力有限公司电力科学研究院 一种结构信息引导的跨域图像几何配准方法
CN113780578A (zh) * 2021-09-08 2021-12-10 北京百度网讯科技有限公司 模型训练方法、装置、电子设备及可读存储介质
CN113936147A (zh) * 2021-10-26 2022-01-14 北京联合大学 一种社群图像的显著区域提取方法及系统
CN114120063A (zh) * 2021-11-29 2022-03-01 中国人民解放军陆军工程大学 基于聚类的无监督细粒度图像分类模型训练方法及分类方法
CN114463603A (zh) * 2022-04-14 2022-05-10 浙江啄云智能科技有限公司 图像检测模型的训练方法、装置、电子设备及存储介质
WO2023063486A1 (ko) * 2021-10-15 2023-04-20 주식회사 솔리드웨어 기계학습모델의 생성 방법 및 그 장치
CN116310530A (zh) * 2023-03-03 2023-06-23 北京邮电大学 基于语义聚类的联邦无监督图像分类模型训练方法、分类方法及设备
WO2023207028A1 (zh) * 2022-04-27 2023-11-02 北京百度网讯科技有限公司 图像检索方法、装置及计算机程序产品
CN117011563A (zh) * 2023-08-04 2023-11-07 山东建筑大学 基于半监督联邦学习的道路损害巡检跨域检测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统
CN113592927A (zh) * 2021-07-26 2021-11-02 国网安徽省电力有限公司电力科学研究院 一种结构信息引导的跨域图像几何配准方法
CN113780578A (zh) * 2021-09-08 2021-12-10 北京百度网讯科技有限公司 模型训练方法、装置、电子设备及可读存储介质
WO2023063486A1 (ko) * 2021-10-15 2023-04-20 주식회사 솔리드웨어 기계학습모델의 생성 방법 및 그 장치
CN113936147A (zh) * 2021-10-26 2022-01-14 北京联合大学 一种社群图像的显著区域提取方法及系统
CN114120063A (zh) * 2021-11-29 2022-03-01 中国人民解放军陆军工程大学 基于聚类的无监督细粒度图像分类模型训练方法及分类方法
CN114463603A (zh) * 2022-04-14 2022-05-10 浙江啄云智能科技有限公司 图像检测模型的训练方法、装置、电子设备及存储介质
WO2023207028A1 (zh) * 2022-04-27 2023-11-02 北京百度网讯科技有限公司 图像检索方法、装置及计算机程序产品
CN116310530A (zh) * 2023-03-03 2023-06-23 北京邮电大学 基于语义聚类的联邦无监督图像分类模型训练方法、分类方法及设备
CN117011563A (zh) * 2023-08-04 2023-11-07 山东建筑大学 基于半监督联邦学习的道路损害巡检跨域检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Qingsong Xiong等.GTRF: A general deep learning framework for tuples recognition towards supervised, semi-supervised and unsupervised paradigms.《Engineering Applications of Artificial Intelligence》.2023,第124卷全文. *
郭长友 ; .基于粒子群算法的K均值半监督聚类算法研究.《计算机应用与软件》.2010,(第07期),全文. *

Also Published As

Publication number Publication date
CN117274778A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN113255694B (zh) 训练图像特征提取模型和提取图像特征的方法、装置
CN112949710B (zh) 一种图像的聚类方法和装置
CN112633276B (zh) 训练方法、识别方法、装置、设备、介质
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN110348516B (zh) 数据处理方法、装置、存储介质及电子设备
CN114444619B (zh) 样本生成方法、训练方法、数据处理方法以及电子设备
CN112001265B (zh) 视频事件识别方法、装置、电子设备及存储介质
CN114692778B (zh) 用于智能巡检的多模态样本集生成方法、训练方法及装置
CN111368865B (zh) 遥感影像储油罐检测方法、装置、可读存储介质及设备
CN117521768A (zh) 一种图像搜索模型的训练方法、装置、设备及存储介质
CN113887630A (zh) 图像分类方法、装置、电子设备和存储介质
CN117274778B (zh) 基于无监督和半监督的图像搜索模型训练方法和电子设备
CN115294405B (zh) 农作物病害分类模型的构建方法、装置、设备及介质
CN115471772A (zh) 一种关键帧的提取方法、装置、设备及介质
CN116188917A (zh) 缺陷数据生成模型训练方法、缺陷数据生成方法及装置
CN113420174B (zh) 难样本挖掘方法、装置、设备以及存储介质
CN113139483B (zh) 人体行为识别方法、装置、设备、存储介质以及程序产品
CN115665783A (zh) 一种异常指标溯源方法、装置、电子设备及存储介质
CN115359322A (zh) 一种目标检测模型训练方法、装置、设备和存储介质
CN113868460A (zh) 一种图像检索方法、装置及系统
CN113409288B (zh) 一种图像清晰度的检测方法、装置、设备和存储介质
CN114241243B (zh) 图像分类模型的训练方法、装置、电子设备和存储介质
CN114092739B (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN114037865B (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN117746069B (zh) 以图搜图的模型训练方法、和以图搜图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant