CN113392886A - 图片识别模型的获取方法、装置、电子设备及存储介质 - Google Patents

图片识别模型的获取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113392886A
CN113392886A CN202110603164.3A CN202110603164A CN113392886A CN 113392886 A CN113392886 A CN 113392886A CN 202110603164 A CN202110603164 A CN 202110603164A CN 113392886 A CN113392886 A CN 113392886A
Authority
CN
China
Prior art keywords
recognition
picture
global
local
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110603164.3A
Other languages
English (en)
Inventor
张恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110603164.3A priority Critical patent/CN113392886A/zh
Publication of CN113392886A publication Critical patent/CN113392886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种图片识别模型的获取方法、装置、电子设备及存储介质，方法包括：获取全局识别模型、局部识别模型以及待训练模型；将训练样本集的图片样本输入至全局识别模型和局部识别模型，得到参考全局识别结果和参考局部识别结果；将图片样本输入至待训练模型，由全局识别网络和局部识别网络基于特征提取网络提取从图片样本的多尺度图像特征得到全局识别结果和局部识别结果；通过全局识别结果和参考全局识别结果计算得到第一损失，通过局部识别结果和参考局部识别结果计算得到第二损失；以第一损失和第二损失的加权损失满足预设条件为目标，训练特征提取网络、全局识别网络和局部识别网络，得到图片识别模型。

Description

图片识别模型的获取方法、装置、电子设备及存储介质
技术领域
本公开涉及图片识别技术领域，具体涉及一种图片识别模型的获取方法、装置、电子设备及存储介质。
背景技术
随着互联网和无线通信技术的飞速发展，人们之间进行信息共享的方式越来越丰富。图片分享作为一种新兴的信息分享功能，可以实现用户通过图片(如照片或者拍摄的视频中的帧图片等)向他人展现自己生活的点点滴滴，提升用户分享信息的便捷性及趣味性。
目前，伴随着图片分享的迅速推广，人们传播的图片也越来越多，需要对每一图片的图片类型进行分类，以便于对图片的管理。但是，目前对于图片所属的图片类型的识别通常是由人工进行标注，工作强度大，从而导致图片识别的效率低下。可见，目前的图片识别过程中存在效率低的问题。
发明内容
本申请实施例的目的是提供一种图片识别模型的获取方法、装置、电子设备及存储介质，以解决目前的图片识别过程中存在效率低的问题。
本公开的技术方案如下：
根据本申请实施例的第一方面，提供一种图片识别模型的获取方法，包括：
获取全局识别模型、局部识别模型以及待训练模型，其中，所述待训练模型包括特征提取网络以及与所述特征提取网络连接的全局识别网络、局部识别网络，且所述全局识别模型和所述全局识别网络分别用于识别图片的全局图像是否异常，所述局部识别模型和所述局部识别网络分别用于识别图片的局部图像是否异常；
将训练样本集的图片样本输入至所述全局识别模型得到参考全局识别结果，将所述图片样本输入至所述局部识别模型得到参考局部识别结果；将所述图片样本输入至所述待训练模型，由所述特征提取网络提取所述图片样本的多尺度图像特征，并由所述全局识别网络基于所述多尺度图像特征得到全局识别结果，以及由所述局部识别网络基于所述多尺度图像特征得到局部识别结果；
通过所述全局识别结果和所述参考全局识别结果计算得到第一损失，以及，通过所述局部识别结果和所述参考局部识别结果计算得到第二损失；
以所述第一损失和所述第二损失的加权损失满足预设条件为目标，训练所述特征提取网络、所述全局识别网络和所述局部识别网络，得到图片识别模型，所述图片识别模型包括完成训练的特征提取网络、全局识别网络和局部识别网络。
在其中一个实施例中，所述参考全局识别结果、所述参考局部识别结果、所述全局识别结果和所述局部识别结果分别为所述全局识别模型、所述局部识别模型、所述全局识别网络以及所述局部识别网络在目标层的输出结果，所述目标层包括中间层和输出层中的至少一项。
在其中一个实施例中，所述图片样本标注有用于表示识别结果的识别标签，所述方法还包括：
获取所述识别标签；
所述通过所述参考全局识别结果和所述全局识别结果计算得到第一损失，以及，通过所述参考局部识别结果和所述局部识别结果计算得到第二损失，包括：
通过所述参考全局识别结果、所述全局识别结果和所述识别标签计算得到第一损失，以及，通过所述参考局部识别结果、所述局部识别结果和所述识别标签计算得到第二损失。
在其中一个实施例中，所述得到图片识别模型之后，所述方法还包括：
获取待识别图片；
将所述待识别图片输入至所述图片识别模型，通过所述特征提取网络提取所述待识别图片的多尺度特征；
将所述待识别图片的多尺度特征输入至所述全局识别网络得到第一识别结果，和/或，将所述待识别图片的多尺度特征输入至所述局部识别网络得到第二识别结果，其中，所述第一识别结果用于指示所述待识别图片的全局图像是否异常，所述第二识别结果用于指示所述待识别图片的局部图像的是否异常。
在其中一个实施例中，上述将训练样本集的图片样本输入至所述全局识别模型得到参考全局识别结果，将所述图片样本输入至所述局部识别模型得到参考局部识别结果之前，所述方法还包括：
获取第一样本集和第二样本集，其中，所述第一样本集包括标注的图片样本，所述第二样本集包括未标注的图片样本；
将所述第一样本集输入至第M-1个识别模型中，训练得到第M个识别模型，其中，所述M为正整数；
将所述第二样本集中图片样本输入至所述第M个识别模型中，以对输入的图片样本进行标注，并将标注的图片样本加入至所述第一样本集中；
在所述M个识别模型不满足训练停止条件的情况下，将所述第M个识别模型作为所述第M-1个识别模型，并重新执行将所述第一样本集输入至第M-1个识别模型中；
在所述M个识别模型满足训练停止条件的情况下，将所述第一样本集作为所述训练样本集。
根据本申请实施例的第二方面，提供一种图片识别模型的获取装置，包括：
模型获取模块，被配置为获取全局识别模型、局部识别模型以及待训练模型，其中，所述待训练模型包括特征提取网络以及与所述特征提取网络连接的全局识别网络、局部识别网络，且所述全局识别模型和所述全局识别网络分别用于识别图片的全局图像是否异常，所述局部识别模型和所述局部识别网络分别用于识别图片的局部图像是否异常；
第一识别模块，被配置为将训练样本集的图片样本输入至所述全局识别模型得到参考全局识别结果，将所述图片样本输入至所述局部识别模型得到参考局部识别结果；将所述图片样本输入至所述待训练模型，由所述特征提取网络提取所述图片样本的多尺度图像特征，并由所述全局识别网络基于所述多尺度图像特征得到全局识别结果，以及由所述局部识别网络基于所述多尺度图像特征得到局部识别结果；
损失计算模块，被配置为通过所述全局识别结果和所述参考全局识别结果计算得到第一损失，以及，通过所述局部识别结果和所述参考局部识别结果计算得到第二损失；
第一训练模块，被配置为以所述第一损失和所述第二损失的加权损失满足预设条件为目标，训练所述特征提取网络、所述全局识别网络和所述局部识别网络，得到图片识别模型，所述图片识别模型包括完成训练的特征提取网络、全局识别网络和局部识别网络。
在其中一个实施例中，所述参考全局识别结果、所述参考局部识别结果、所述全局识别结果和所述局部识别结果分别为所述全局识别模型、所述局部识别模型、所述全局识别网络以及所述局部识别网络在目标层的输出结果，所述目标层包括中间层和输出层中的至少一项。
在其中一个实施例中，所述图片样本标注有用于表示识别结果的识别标签，所述装置还包括：
识别标签获取模块，被配置为获取所述识别标签；
所述损失计算模块，具体被配置为：
通过所述参考全局识别结果、所述全局识别结果和所述识别标签计算得到第一损失，以及，通过所述参考局部识别结果、所述局部识别结果和所述识别标签计算得到第二损失。
在其中一个实施例中，所述装置，还包括：
图片获取模块，被配置为获取待识别图片；
多尺度特征提取模块，被配置为将所述待识别图片输入至所述图片识别模型，通过所述特征提取网络提取所述待识别图片的多尺度特征；
第二识别模块，被配置为将所述待识别图片的多尺度特征输入至所述全局识别网络得到第一识别结果，和/或，将所述待识别图片的多尺度特征输入至所述局部识别网络得到第二识别结果，其中，所述第一识别结果用于指示所述待识别图片的全局图像是否异常，所述第二识别结果用于指示所述待识别图片的局部图像的是否异常。
在其中一个实施例中，所述装置还包括：
样本集获取模块，被配置为获取第一样本集和第二样本集，其中，所述第一样本集包括标注的图片样本，所述第二样本集包括未标注的图片样本；
第二训练模块，被配置为将所述第一样本集输入至第M-1个识别模型中，训练得到第M个识别模型，其中，所述M为正整数；
标注模块，被配置为将所述第二样本集中图片样本输入至所述第M个识别模型中，以对输入的图片样本进行标注，并将标注的图片样本加入至所述第一样本集中；
重置模块，被配置为在所述M个识别模型不满足训练停止条件的情况下，将所述第M个识别模型作为所述第M-1个识别模型，并重新执行将所述第一样本集输入至第M-1个识别模型中；
训练集获取模块，被配置为在所述M个识别模型满足训练停止条件的情况下，将所述第一样本集作为所述训练样本集。
根据本申请实施例的第三方面，提供一种电子设备，该电子设备可以包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面的任一项实施例中所示的图片识别模型的获取方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由图片识别模型的获取装置或者电子设备的处理器执行时，以使图片识别模型的获取装置或者电子设备实现以实现如第一方面的任一项实施例中所示的图片识别模型的获取方法。
根据本申请实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在可读存储介质中，设备的至少一个处理器从存储介质读取并执行计算机程序，使得设备执行第一方面的任一项实施例中所示的图片识别模型的获取方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过以全局识别模型的识别结果与待训练模型中全局识别网络的识别结果之间的损失为目标，训练待训练模型中全局识别网络和特征提取网络；以及，通过以局部识别模型的识别结果与待训练模型中局部识别网络的识别结果之间的损失为目标，训练待训练模型中局部识别网络和特征提取网络，得到图片识别模型。如此，可以实现将全局识别模型对图片的全局图像识别的精度以及局部识别模型对图片的局部图像识别的精度迁移至图片识别模型，提升图片识别模型的识别精度以及识别效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限值本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图片识别模型的获取方法的流程示意图；
图2是根据一示例性实施例示出的训练图片分类模型的示意图；
图3是根据一示例性实施例示出的训练目标检测模型的示意图；
图4是根据一示例性实施例示出的图片识别模型的示意图；
图5是根据一示例性实施例示出的半监督方式训练模型的流程示意图；
图6是根据一示例性实施例示出的一种图片识别模型的获取装置的结构框图；
图7是根据一示例性实施例示出的一种计算设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参见图1，是根据一示例性实施例示出的一种图片识别模型的获取方法的流程示意图。该图片识别模型的获取方法应用于电子设备，例如计算机终端、或服务器，为方便理解，本方案以服务器为例进行说明。如图1所示，上述图片识别模型的获取方法包括如下步骤101-104。
步骤101、获取全局识别模型、局部识别模型以及待训练模型，其中，待训练模型包括特征提取网络以及与所述特征提取网络连接的全局识别网络、局部识别网络，且全局识别模型和全局识别网络分别用于识别图片的全局图像是否异常，局部识别模型和局部识别网络分别用于识别图片的局部图像是否异常。
一个实施例中，上述全局识别模型是预先训练得到且存储于电子设备中，且上述全局识别模型可以是任意的能够实现识别图片的全局图像是否异常的模型。
示例性地，如图2所示，为全局识别模型的结构示意图，上述全局识别模型可以包括骨干(Backbone)网络和分类器(classifier)，Backbone网络可以提取输入的图片的全局图像特征，并将提取到全局图像特征并输入至分类器中，分类器可以根据全局图像特征识别图片的全局图像正常(即输出结果为1)或者异常(输出结果为0)。这里，上述全局识别模型中的Backbone网络可以采用大迁移(Big transfer，Bit)网络或者高效网络(EfficientNet)等。
另外，上述局部识别模型也是预先训练得到且存储于电子设备中，且上述局部识别模型可以是任意的能够实现识别图片的局部图像是否异常的模型，且在局部图像存在异常时，该局部图像识别模型还可以标注该局部图像，如对该局部图像进行打框等。
示例性地，如图3所示，为局部识别模型的结构示意图，上述局部识别模型可以包括骨干网络以及与骨干网络连接的类别预测网络、框预测网络，该骨干网络可以采用EfficientDet网络或者基于单个神经网络的目标检测(You Only Look Once:Unified，Real-Time Object Detection，Yolo)系列网络，局部识别模型的骨干网络提取图片中敏感部位的局部图像特征(如胸部、臀部或者三角区等部位的图像区域的特征)；局部识别模型的类别预测网络根据局部图像特征识别图片中对应的局部图像正常或者异常(例如色情)，并框预测网络对异常(例如色情)的局部图像进行打框，该类别预测网络和框预测网络均为包括卷积层和全连接层的网络。
需要说明的是，上述电子设备预先训练上述全局识别模型和局部识别模型，可以是基于训练样本集分别对待训练全局识别模型和待训练局部识别模型进行训练，得到全局识别模型和局部识别模型。
在全局识别模型过程中，电子设备将训练样本集中标注有全局图像是否异常的图片样本输入至待训练全局识别模型，通过待训练全局识别模型中的全局特征提取网络提取全局图像特征，并将全局图像特征输入至待训练全局识别模型中的分类网络中，确定分类网络输出的识别结果与输入的图片样本的标记结果之间的全局损失，并根据该全局损失对待训练全局识别模型中的特征提取网络以及分类网络进行训练(即全局损失未达到预设条件，则对待训练全局识别模型中网络的参数进行更新；反之，则停止训练)，得到上述全局识别模型。
而在局部识别模型过程中，电子设备将训练样本集中标注有局部图像是否异常的图片样本输入至待训练局部识别模型，通过待训练局部识别模型中的局部特征提取网络提取局部图像特征，并将局部图像特征输入至待训练局部识别模型中的目标检测网络中，确定目标检测网络输出的识别结果与输入的图片样本的标记结果之间的局部损失，并根据该局部损失对待训练局部识别模型中的特征提取网络以及目标检测网络进行训练(即局部损失未达到预设条件，则对待训练局部识别模型中网络的参数进行更新；反之，则停止训练)，得到上述局部识别模型。
本申请实施例中，上述待训练模型包括特征提取网络、全局识别网络以及局部识别网络，且特征提取网络可以提取图片的多尺度图像特征，全局识别网络可以识别图片的全局图像是否异常，以及局部识别网络可以识别图片的局部图像是否异常。
其中，上述特征提取网络可以是任意的能够实现提取图片的多尺度特征的模型。具体地，上述特征提取网络可以为骨干(Backbone)网络，且该骨干网络可以采用Bit网络、残差神经网络(resNet)以及卷积神经网络GoogLeNet等网络中的任意一个网络；或者，上述特征提取网络也可以是最优(State Of The Art，SOTA)模型，等等。
另外，上述全局识别网络可以是任意的能够实现识别图片的全局图像是否异常的网络。具体地，上述全局识别网络可以是包括设置有注意力(Attention)机制的深度神经网络(Deep Neural Networks，DNN)的分类网络，且该分类网络可以从图片的全局图像特征上识别图片为正常图片或者低俗图片(即异常的图片)。
需要说明的是，上述全局识别网络与上述全局识别模型可以是具有相同数量的网络参数和/或网络层数；或者，相比于上述全局识别模型，上述全局识别网络的网络参数和/或网络层数少，从而可以提升识别过程中的处理速度。
当然，上述局部识别网络可以是任意的能够实现识别图片的局部图像是否异常的网络。具体地，上述局部识别网络可以是目标检测网络，该目标检测网络可以包括EfficientDet网络或者Yolo系列网络等，且该目标检测网络可以从图片的局部图像上进行图片类型识别，例如，可以是根据人物图片中的臀部的图像区域的图像识别臀部、胸部或者三角区的图像是否裸露(即裸露时为异常，而未裸露时为正常)。
同样地，上述局部识别网络与上述局部识别模型可以是具有相同数量的网络参数和/或网络层数；或者，相比于上述局部识别模型，上述局部识别网络的网络参数和/或网络层数少，从而可以提升识别过程中的处理速度。
步骤102、将训练样本集的图片样本输入至全局识别模型得到参考全局识别结果，将图片样本输入至局部识别模型得到参考局部识别结果；将图片样本输入至待训练模型，由特征提取网络提取图片样本的多尺度图像特征，并由全局识别网络基于多尺度图像特征得到全局识别结果，以及由局部识别网络基于多尺度图像特征得到局部识别结果。
其中，上述参考全局识别结果和上述全局识别结果可以是分别用于表征图片的全局图像是否异常的识别结果；以及，上述参考局部识别结果和上述局部识别结果可以是分别用于表征图片的局部图像是否异常的识别结果。
另外，上述参考全局识别结果、参考局部识别结果、全局识别结果和局部识别结果可以是模型中输出的任意能够表征图像是否异常的输出结果。具体地，参考全局识别结果、参考局部识别结果、全局识别结果和局部识别结果分别为全局识别模型、局部识别模型、全局识别网络以及局部识别网络在目标层的输出结果，目标层包括中间层和输出层中的至少一项，从而使得识别结果的获取方式更灵活。
示例性地，如图4所示，电子设备可以将包括分类网络的全局识别模型作为教师(Teacher)模型1，将包括目标检测网络的局部识别模型作为教师模型2，将教师模型1和教师模型2在输出层的输出结果作为软目标(soft target)，分别记为S1(即参考全局识别结果，教师模型1在输出层的输出结果)和S2(即参考局部识别结果，教师模型2在输出层的输出结果)，例如，S1可以为[0.05，0.8,0.15]，S2可以为[0.1，0.2,……0.6]，等等；
将待训练模型作为学生(student)模型，将图片样本输入至学生模型中的骨干网络(即特征提取网络)，由骨干网络提取到图片样本的多尺度特征，骨干网络将其提取到的多尺度特征分别输入至学生模型中的分类网络(即全局识别网络)和目标检测网络(即局部识别网络)，得到分类网络在输出层的输出结果(即全局识别结果)，以及目标检测网络在输出层的输出结果作(即局部识别结果)。其中，相比于全局识别模型，分类网络具有更少网络参数和/或网络层数；相比于局部识别模型，目标检测网络具有更少网络参数和/或网络层数。
需要说明的是，参考全局识别结果、参考局部识别结果、全局识别结果和局部识别结果分别为在中间层和输出层中的至少一项上的输出结果。以由上述全局识别网络得到的全局识别结果为例，在该全局识别网络的网络层数为K层的情况下，上述全局识别结果可以是第K层(即输出层)的输出结果，或者，也可以是第1层与第K层之间的任意一层(即中间层)的输出结果，K为大于1的整数。
另外，上述用于训练待训练模型的训练集，可以是包括标注标记结果的图片样本的训练集，同时为保证样本覆盖的全面性，训练样本集中所有图片所具有的图片类型的标签，可以包括全局图像是否异常的标签以及局部图像是否异常的标签。
例如，可以是根据历史审核记录或者用户投诉举报的记录，从视频和图片资源中抽取一批疑似低俗的图片或者视频帧，以及，从视频和图片资源中抽取一批正常的图片或者视频帧，通过抽取的图片和视频帧；再对抽取出来的每一图片和视频帧进行标注，即为各图片和视频帧添加图片为正常或者异常的标签，以及在异常的图片和视频帧的异常区域(如胸部、臀部以及三角区等敏感部位)进行打框，框选出异常区域并标注该异常区域异常的标签，如露胸、露臀或者露三角区等。
或者，上述步骤102之前，还可以包括：
获取第一样本集和第二样本集，其中，第一样本集包括标注的图片样本，第二样本集包括未标注的图片样本；
将第一样本集输入至第M-1个识别模型中，训练得到第M个识别模型，其中，M为正整数；
将第二样本集中图片样本输入至第M个识别模型中，以对输入的图片样本进行标注，并将标注的图片样本加入至第一样本集中；
在M个识别模型不满足训练停止条件的情况下，将第M个识别模型作为第M-1个识别模型，并重新执行将第一样本集输入至第M-1个识别模型中；
在M个识别模型满足训练停止条件的情况下，将第一样本集作为训练样本集。
基于此，在对识别模型的训练过程中，通过包括标注的图片样本的第一样本集对待训练的识别模型进行训练，并通过训练得到的识别模型对未标注的图片样本进行标注，且将标注后的样本加入至第一样本集中，直至在训练得到的识别模型满足训练停止条件下，将第一样本集中作为上述训练样本集，实现以半监督的方式获取训练样本集，从而可以降低获取训练样本集的工作量，提升获取训练样本集的效率。
其中，上述第一样本集可以包括标注有图片类型(包括局部图像是否异常和全局图像是否异常)的标签的至少一个图片样本，上述第二样本集可以包括未标注有上述标签的至少一个图片样本。
另外，上述识别模型可以是任意的能够实现识别图片的图片类型的模型，其可以是与上述全局识别模型、局部识别模型以及待训练模型中所有模型不具有相同网络结构的模型；或者，上述识别模型也可以是与上述全局识别模型、局部识别模型以及待训练模型中任意一个模型具有相同网络结构的模型。具体地，上述识别模型可以是包括特征提取网络、全局识别网络和局部识别网络的模型，全局识别网络可以实现为第二样本集中全局图像的样本标注是否异常以及局部识别网络可以实现为第二样本集中局部图像的样本标注是否异常的标签，本申请实施例可通过全局识别网络或局部识别网络自动、智能地标注样本，提高效率。
本申请实施例中，上述将第一样本集输入至第M-1个识别模型中，训练得到第M个识别模型，可以是将第一样本集的图片样本输入至第M-1次训练中的待训练识别模型(即第M-1个识别模型)中，该待训练识别模型输出识别结果；通过预设的损失函数计算识别结果与图片样本中标签的标记结果之间的损失；判断计算得到的损失是否达到预设条件，若计算得到的损失未达到预设条件，则对识别模型中的网络参数进行更新，并得到第M个识别模型，且第M个识别模型不满足训练停止条件。
其中，上述判断计算得到的损失是否达到预设条件，可以是判断计算得到的损失与上一次训练中计算得到的损失的差值是否小于或者等于预设差值(如趋向于不变)，或者，也可以是判断计算得到的损失是否小于或者等于预设损失，等等。
另外，上述对识别模型中的网络参数进行更新，可以是根据预设的网络参数更新方法对识别模型的网络参数进行调整，如梯度下降法等。
需要说明的是，在训练得到上述第M个识别模型之后，电子设备可以将第二样本集中未标注的样本输入至第M个识别模型中，得到通过机器标注的图片样本，并将标注的样本加入至第一样本集中，实现对第一样本集中图片样本的增加，如此，在训练停止之前，不断通过训练得到识别模型对未标注样本进行标注并更新第一样本集，直至上述训练满足停止条件，将更新得到的第一样本集作为训练样本集。
示例性地，如图5所示，通过半监督方式获取训练样本集的过程可以包括：
在上述初始的识别模型包括上述目标检测网络和分类网络的情况下，电子设备可以先通过由已标注的异常的图片或者视频帧、以及正常的图片或者视频帧形成的训练样本集训练初始的识别模型，得到教师模型；
通过教师模型对未标注的数据进行标注，即通过分类分支网络进行类别标注以及通过目标检测分支网络标注敏感部位的并打框，将电子设备标注的数据和一部分具有噪声的数据加入至训练样本集中，更新训练样本集，并将教师模型标注的数据和一部分具有噪声的数据加入至训练样本集中，更新训练样本集；
将后的训练样本集输入至教师模型的训练分类网络和目标检测网络，判断教师模型中分类分支网络和目标检测分支网络的加权损失是否达到预设条件(如加权损失是否小于或者等于预设损失等)的情况下，若教师模型的加权损失未达到预设条件，更新教师模型的网络参数，得到学生模型，并将学生模型作为教师模型，返回执行更新通过教师模型对未标注的数据进行标注的步骤，直至教师模型的加权损失达到预设条件，停止训练，并得到最终的训练样本集。
步骤103、通过全局识别结果和参考全局识别结果计算得到第一损失，以及，通过局部识别结果和参考局部识别结果计算得到第二损失。
其中，为实现将在通过上述全局识别模型和上述局部识别模型学习的知识迁移至待训练模型中，以使待训练模型针对全局图像识别具有全局识别模型的识别精度、以及针对局部图像识别具有局部识别模型的识别精度，本公开实施例将参考全局识别结果和参考局部识别结果作为训练待训练模型的目标，例如，将上述参考全局识别结果用于作为待训练模型中全局识别网络的输出结果的软目标(soft target)，以及，将上述参考局部识别结果用于作为待训练模型中局部识别网络的输出结果的软目标。
上述第一损失和第二损失的计算，可以是将参考全局识别结果与全局识别结果输入至预设的损失函数中，由损失函数输出第一损失；同样地，将参考局部识别结果与局部识别结果输入至预设的损失函数中，由损失函数输出第二损失。
需要说明的是，上述损失函数可以是任意的能够实现基于识别结果计算得到损失的函数，本申请对于损失函数并不作限制。
步骤104、以第一损失和第二损失的加权损失满足预设条件为目标，训练特征提取网络、全局识别网络和局部识别网络，得到图片识别模型，图片识别模型包括完成训练的特征提取网络、全局识别网络和局部识别网络。
其中，上述待训练模型中可以预先配置有全局识别网络和局部识别网络的权重，通过将第一损失与全局识别网络的权重的乘积以及第二损失与局部识别网络的权重的乘积之和，作为上述加权损失。
另外，上述以第一损失和第二损失的加权损失满足预设条件为目标，训练特征提取网络、全局识别网络和局部识别网络，得到图片识别模型，可以是在加权损失未满足预设条件的情况下，对特征提取网络、全局识别网络和局部识别网络的参数进行更新，如通过梯度下降法等更新参数，并将参数更新后的模型作为上述待训练模型，重新执行上述步骤102至104；直至加权损失未满足预设条件，得到上述图片识别模型。
需要说明的是，上述判断加权损失是否满足预设条件，可以是判断加权损失是否小于或者等于预设损失，或者判断该加权损失与上一次计算得到的加权的差值是否小于或者等于预设差值，若是，则确定加权损失满足预设条件；反之，则确定加权损失不满足预设条件。
示例性地，如图4所示，在得到上述S1(即[0.05，0.8,0.15])和S2(即[0.1，0.2,……0.6])之后，将S1、S2分别作为学生(student)模型(即待训练模型)中分类网络和目标检测网络的输出目标，训练学生模型，即计算S1与分类网络的分类器(Softmax)的输出结果之间的损失A，以及计算S2与目标检测网络的分类器的输出结果之间的损失B，将损失A与分类网络的权重w1相乘以及损失B与目标检测网络的权重w2相乘，并将相乘后两个乘积的和值确定为学生模型的加权损失(Total loss)，根据加权损失对学生模型中的网络参数(包括共享backbone网络的参数以及的参数、的参数)进行迭代更新，以使学生模型中分类网络的输出结果向S1逼近以及目标检测网络的输出结果向S2逼近；最终迭代若干轮之后，学生模型收敛(即加权损失满足预设条件，如趋向于不变)，且此时分类网络的输出结果接近全局识别模型的预测结果，以及目标检测网络的输出结果接近局部识别模型的预测结果，将迭代若干轮之后的学生模型确定为上述图片识别模型。
一个实施例中，上述图片样本标注有用于表示识别结果的识别标签，方法还可以包括：
获取识别标签；
通过参考全局识别结果和全局识别结果计算得到第一损失，以及，通过参考局部识别结果和局部识别结果计算得到第二损失，包括：
通过参考全局识别结果、全局识别结果和识别标签计算得到第一损失，以及，通过参考局部识别结果、局部识别结果和识别标签计算得到第二损失。
基于此，在训练上述待训练模型的过程中，还可将图片样本真实的标记结果作为计算上述第一损失和第二损失的参考指标，从而可以提升训练得到的图片识别模型的精度。
其中，通过参考全局识别结果、全局识别结果和识别标签计算得到第一损失的过程为：是待训练模型中配置有与参考全局识别结果的权重、以及识别标签中针对全局图像的识别结果的权重，计算参考全局识别结果与其对应的权重的乘积和识别标签与其对应的权重的乘积之和，并将计算得到的结果与全局识别结果输入至预设的损失函数，计算得到第一损失。同样地，通过参考局部识别结果、局部识别结果和识别标签计算得到第二损失的过程为：待训练模型中配置有参考局部识别结果的权重、以及识别标签中针对局部图像的识别结果的权重，计算参考局部识别结果与其对应的权重的乘积和识别标签与其对应的权重的乘积之和，并将计算得到的结果与局部识别结果输入至预设的损失函数，计算得到第二损失。
本申请实施例中，在上述电子设备训练得到上述图片识别模型之后，电子设备还可以通过上述图片识别模型对待识别图片进行识别。
一个实施例中，上述步骤104之后，方法还可以包括：
获取待识别图片；
将待识别图片输入至图片识别模型，通过特征提取网络提取待识别图片的多尺度特征；
将待识别图片的多尺度特征输入至全局识别网络得到第一识别结果，和/或，将待识别图片的多尺度特征输入至局部识别网络得到第二识别结果，其中，第一识别结果用于指示待识别图片的全局图像是否异常，第二识别结果用于指示待识别图片的局部图像的是否异常。
基于此，通过图片识别模型提取待识别图片的多尺度特征，将多尺度特征输入图片识别模型的全局识别网络和局部识别网络中的至少一个识别网络中，通过该至少一个识别网络识别待识别图片是否异常，即通过全局识别网络识别待识别图片的全局图像是否异常，以及通过局部识别网络识别待识别图片的局部图像是否异常，从而可以在保证识别精度的前提下，提升图片识别的效率。
其中，上述第一识别结果和第二识别结果可以分别是对应的识别网络的输出层的输出结果，如置信度等。
另外，上述图片识别模型中所采用的对待识别图片进行识别的至少一个识别网络，可以是根据预设的指令在全局识别网络和局部识别网络中确定，该预设的指令可以是由用户的操作触发，或者也可以是电子设备自动触发，在此并不进行限定。
需要说明的是，在第一识别结果指示异常和/或第二识别结果指示异常的情况下，电子设备可以确定待识别图片为异常图片。
其中，在得到上述第一识别结果和第二识别结果中的至少一项识别结果之后，图片识别模型可以将各识别结果与其对应的预设识别结果进行比对，并根据比对结果确定该识别结果指示正常或者异常。
例如，在第一识别结果为第一置信度的情况下，将第一置信度与预设的全局图像的置信区间进行比较，若第一置信度位于预设的与全局识别网络对应的置信区间内，则确定第一识别结果指示异常，反之，则正常；而在第二识别结果为第二置信度的情况下，将第二置信度与预设的与局部识别网络对应的至少一个置信区间进行比较，该至少一个置信区间中，不同置信区间可以是不同类型的局部图像对应的置信区间，如分别设置有与胸部、臀部以及三角区对应的置信区间，若第二置信度位于胸部对应的置信区间内，则第二识别结果指示因露胸导致的异常，等等。
另外，在上述第一识别结果和第二识别结果中的至少一项指示异常的情况下，电子设备确定待识别图片为异常图片。当然，在上述第一识别结果和第二识别结果均指示正常的情况下，电子设备可以确定待识别图片为正常图片。
需要说明的是，在确定上述待识别图片为异常图片或者正常图片的情况下，电子设备还可以为待识别图片标注异常图片或者正常图片的标签，且在异常图片存在局部图像异常的情况下，还可以标注该异常的局部图像，如在异常图像区域上打框。例如，在上述目标检测分支网络检测到人物图像中存在露胸的图像区域的情况下，目标检测网络可以对裸露的胸部所在的图像区域打框，并添加打框的图像区域的标签为露胸。
基于此，通过以全局识别模型的识别结果与待训练模型中全局识别网络的识别结果之间的损失为目标，训练待训练模型中全局识别网络和特征提取网络；以及，通过以局部识别模型的识别结果与待训练模型中局部识别网络的识别结果之间的损失为目标，训练待训练模型中局部识别网络和特征提取网络，得到图片识别模型。如此，可以实现将全局识别模型对图片的全局图像识别的精度以及局部识别模型对图片的局部图像识别的精度迁移至图片识别模型，提升图片识别模型的识别精度以及识别效率。
图6是根据一示例性实施例示出的一种图片识别模型的获取装置的结构示意图。
如图6所示，该图片识别模型的获取装置600具体可以包括：
模型获取模块601，被配置为获取全局识别模型、局部识别模型以及待训练模型，其中，所述待训练模型包括特征提取网络以及与所述特征提取网络连接的全局识别网络、局部识别网络，且所述全局识别模型和所述全局识别网络分别用于识别图片的全局图像是否异常，所述局部识别模型和所述局部识别网络分别用于识别图片的局部图像是否异常；
第一识别模块602，被配置为将训练样本集的图片样本输入至所述全局识别模型得到参考全局识别结果，将所述图片样本输入至所述局部识别模型得到参考局部识别结果；将所述图片样本输入至所述待训练模型，由所述特征提取网络提取所述图片样本的多尺度图像特征，并由所述全局识别网络基于所述多尺度图像特征得到全局识别结果，以及由所述局部识别网络基于所述多尺度图像特征得到局部识别结果；
损失计算模块603，被配置为通过所述全局识别结果和所述参考全局识别结果计算得到第一损失，以及，通过所述局部识别结果和所述参考局部识别结果计算得到第二损失；
第一训练模块604，被配置为以所述第一损失和所述第二损失的加权损失满足预设条件为目标，训练所述特征提取网络、所述全局识别网络和所述局部识别网络，得到图片识别模型，所述图片识别模型包括完成训练的特征提取网络、全局识别网络和局部识别网络。
基于此，通过以全局识别模型的识别结果与待训练模型中全局识别网络的识别结果之间的损失为目标，训练待训练模型中全局识别网络和特征提取网络；以及，通过以局部识别模型的识别结果与待训练模型中局部识别网络的识别结果之间的损失为目标，训练待训练模型中局部识别网络和特征提取网络，得到图片识别模型。如此，可以实现将全局识别模型对图片的全局图像识别的精度以及局部识别模型对图片的局部图像识别的精度迁移至图片识别模型，提升图片识别模型的识别精度以及识别效率。
在其中一个实施例中，所述参考全局识别结果、所述参考局部识别结果、所述全局识别结果和所述局部识别结果分别为所述全局识别模型、所述局部识别模型、所述全局识别网络以及所述局部识别网络在目标层的输出结果，所述目标层包括中间层和输出层中的至少一项。
基于此，可以将中间层和输出层的至少一项作为计算损失的识别结果，从而使得训练更灵活。
在其中一个实施例中，所述图片样本标注有用于表示识别结果的识别标签，所述装置600还包括：
识别标签获取模块，被配置为获取所述识别标签；
所述损失计算模块603，具体被配置为：
通过所述参考全局识别结果、所述全局识别结果和所述识别标签计算得到第一损失，以及，通过所述参考局部识别结果、所述局部识别结果和所述识别标签计算得到第二损失。
基于此，在训练上述待训练模型的过程中，还可将图片样本真实的标记结果作为计算上述第一损失和第二损失的参考指标，从而可以提升训练得到的图片识别模型的精度。
在其中一个实施例中，所述装置600，还包括：
图片获取模块，被配置为获取待识别图片；
多尺度特征提取模块，被配置为将所述待识别图片输入至所述图片识别模型，通过所述特征提取网络提取所述待识别图片的多尺度特征；
第二识别模块，被配置为将所述待识别图片的多尺度特征输入至所述全局识别网络得到第一识别结果，和/或，将所述待识别图片的多尺度特征输入至所述局部识别网络得到第二识别结果，其中，所述第一识别结果用于指示所述待识别图片的全局图像是否异常，所述第二识别结果用于指示所述待识别图片的局部图像的是否异常。
基于此，通过图片识别模型提取待识别图片的多尺度特征，将多尺度特征输入图片识别模型的全局识别网络和局部识别网络中的至少一个识别网络中，通过该至少一个识别网络识别待识别图片是否异常，即通过全局识别网络识别待识别图片的全局图像是否异常，以及通过局部识别网络识别待识别图片的局部图像是否异常，从而可以在保证识别精度的前提下，提升图片识别的效率。
在其中一个实施例中，所述装置600还包括：
样本集获取模块，被配置为获取第一样本集和第二样本集，其中，所述第一样本集包括标注的图片样本，所述第二样本集包括未标注的图片样本；
第二训练模块，被配置为将所述第一样本集输入至第M-1个识别模型中，训练得到第M个识别模型，其中，所述M为正整数；
标注模块，被配置为将所述第二样本集中图片样本输入至所述第M个识别模型中，以对输入的图片样本进行标注，并将标注的图片样本加入至所述第一样本集中；
重置模块，被配置为在所述M个识别模型不满足训练停止条件的情况下，将所述第M个识别模型作为所述第M-1个识别模型，并重新执行将所述第一样本集输入至第M-1个识别模型中；
训练集获取模块，被配置为在所述M个识别模型满足训练停止条件的情况下，将所述第一样本集作为所述训练样本集。
基于此，在对识别模型的训练过程中，通过包括标注的图片样本的第一样本集对待训练的识别模型进行训练，并通过训练得到的识别模型对未标注的图片样本进行标注，且将标注后的样本加入至第一样本集中，直至在训练得到的识别模型满足训练停止条件下，将第一样本集中作为上述训练样本集，实现以半监督的方式获取训练样本集，从而可以降低获取训练样本集的工作量，提升获取训练样本集的效率。
基于同一发明构思，本申请实施例还提供了一种计算设备，具体结合图7进行详细说明。
图7是根据一示例性实施例示出的一种计算设备的结构框图。
如图7所示，该计算设备700能够实现根据本申请实施例中的图片识别模型的获取方法以及图片识别模型的获取装置的计算设备的示例性硬件架构的结构图。该计算设备可以指代本申请实施例中的电子设备。
该计算设备700可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(application specific integrated circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(hard disk drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，USB)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。在特定实施例中，存储器702包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存，或者两个或及其以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以执行如下步骤：
处理器701，执行获取全局识别模型、局部识别模型以及待训练模型，其中，所述待训练模型包括特征提取网络以及与所述特征提取网络连接的全局识别网络、局部识别网络，且所述全局识别模型和所述全局识别网络分别用于识别图片的全局图像是否异常，所述局部识别模型和所述局部识别网络分别用于识别图片的局部图像是否异常；
将训练样本集的图片样本输入至所述全局识别模型得到参考全局识别结果，将所述图片样本输入至所述局部识别模型得到参考局部识别结果；将所述图片样本输入至所述待训练模型，由所述特征提取网络提取所述图片样本的多尺度图像特征，并由所述全局识别网络基于所述多尺度图像特征得到全局识别结果，以及由所述局部识别网络基于所述多尺度图像特征得到局部识别结果；
通过所述全局识别结果和所述参考全局识别结果计算得到第一损失，以及，通过所述局部识别结果和所述参考局部识别结果计算得到第二损失；
以所述第一损失和所述第二损失的加权损失满足预设条件为目标，训练所述特征提取网络、所述全局识别网络和所述局部识别网络，得到图片识别模型，所述图片识别模型包括完成训练的特征提取网络、全局识别网络和局部识别网络。
基于此，通过以全局识别模型的识别结果与待训练模型中全局识别网络的识别结果之间的损失为目标，训练待训练模型中全局识别网络和特征提取网络；以及，通过以局部识别模型的识别结果与待训练模型中局部识别网络的识别结果之间的损失为目标，训练待训练模型中局部识别网络和特征提取网络，得到图片识别模型。如此，可以实现将全局识别模型对图片的全局图像识别的精度以及局部识别模型对图片的局部图像识别的精度迁移至图片识别模型，提升图片识别模型的识别精度以及识别效率。
在其中一个实施例中，所述参考全局识别结果、所述参考局部识别结果、所述全局识别结果和所述局部识别结果分别为所述全局识别模型、所述局部识别模型、所述全局识别网络以及所述局部识别网络在目标层的输出结果，所述目标层包括中间层和输出层中的至少一项。
基于此，可以将中间层和输出层的至少一项作为计算损失的识别结果，从而使得训练更灵活。
在其中一个实施例中，处理器701，执行获取所述识别标签；
所述通过所述参考全局识别结果和所述全局识别结果计算得到第一损失，以及，通过所述参考局部识别结果和所述局部识别结果计算得到第二损失，包括：
通过所述参考全局识别结果、所述全局识别结果和所述识别标签计算得到第一损失，以及，通过所述参考局部识别结果、所述局部识别结果和所述识别标签计算得到第二损失。
基于此，在训练上述待训练模型的过程中，还可将图片样本真实的标记结果作为计算上述第一损失和第二损失的参考指标，从而可以提升训练得到的图片识别模型的精度。
在其中一个实施例中，处理器701，执行获取待识别图片；
将所述待识别图片输入至所述图片识别模型，通过所述特征提取网络提取所述待识别图片的多尺度特征；
将所述待识别图片的多尺度特征输入至所述全局识别网络得到第一识别结果，和/或，将所述待识别图片的多尺度特征输入至所述局部识别网络得到第二识别结果，其中，所述第一识别结果用于指示所述待识别图片的全局图像是否异常，所述第二识别结果用于指示所述待识别图片的局部图像的是否异常。
基于此，通过图片识别模型提取待识别图片的多尺度特征，将多尺度特征输入图片识别模型的全局识别网络和局部识别网络中的至少一个识别网络中，通过该至少一个识别网络识别待识别图片是否异常，即通过全局识别网络识别待识别图片的全局图像是否异常，以及通过局部识别网络识别待识别图片的局部图像是否异常，从而可以在保证识别精度的前提下，提升图片识别的效率。
在其中一个实施例中，处理器701，执行获取第一样本集和第二样本集，其中，所述第一样本集包括标注的图片样本，所述第二样本集包括未标注的图片样本；
将所述第一样本集输入至第M-1个识别模型中，训练得到第M个识别模型，其中，所述M为正整数；
将所述第二样本集中图片样本输入至所述第M个识别模型中，以对输入的图片样本进行标注，并将标注的图片样本加入至所述第一样本集中；
在所述M个识别模型不满足训练停止条件的情况下，将所述第M个识别模型作为所述第M-1个识别模型，并重新执行将所述第一样本集输入至第M-1个识别模型中；
在所述M个识别模型满足训练停止条件的情况下，将所述第一样本集作为所述训练样本集。
基于此，在对识别模型的训练过程中，通过包括标注的图片样本的第一样本集对待训练的识别模型进行训练，并通过训练得到的识别模型对未标注的图片样本进行标注，且将标注后的样本加入至第一样本集中，直至在训练得到的识别模型满足训练停止条件下，将第一样本集中作为上述训练样本集，实现以半监督的方式获取训练样本集，从而可以降低获取训练样本集的工作量，提升获取训练样本集的效率。
在一个示例中，该计算设备700还可包括收发器703和总线704。其中，如图5所示，处理器701、存储器702和收发器703通过总线704连接并完成相互间的通信。
总线704包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围控件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线704可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于实现本申请实施例所记载的图片识别模型的获取方法。
在一些可能的实施方式中，本公开提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的图片识别模型的获取方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开是参照根据本公开的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像传输设备的处理器以产生一个机器，使得通过计算机或其他可编程图像传输设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像传输设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像传输设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种图片识别模型的获取方法，其特征在于，包括：
获取全局识别模型、局部识别模型以及待训练模型，其中，所述待训练模型包括特征提取网络以及与所述特征提取网络连接的全局识别网络、局部识别网络，且所述全局识别模型和所述全局识别网络分别用于识别图片的全局图像是否异常，所述局部识别模型和所述局部识别网络分别用于识别图片的局部图像是否异常；
将训练样本集的图片样本输入至所述全局识别模型得到参考全局识别结果，将所述图片样本输入至所述局部识别模型得到参考局部识别结果；将所述图片样本输入至所述待训练模型，由所述特征提取网络提取所述图片样本的多尺度图像特征，并由所述全局识别网络基于所述多尺度图像特征得到全局识别结果，以及由所述局部识别网络基于所述多尺度图像特征得到局部识别结果；
通过所述全局识别结果和所述参考全局识别结果计算得到第一损失，以及，通过所述局部识别结果和所述参考局部识别结果计算得到第二损失；
以所述第一损失和所述第二损失的加权损失满足预设条件为目标，训练所述特征提取网络、所述全局识别网络和所述局部识别网络，得到图片识别模型，所述图片识别模型包括完成训练的特征提取网络、全局识别网络和局部识别网络。
2.根据权利要求1所述的方法，其特征在于，所述参考全局识别结果、所述参考局部识别结果、所述全局识别结果和所述局部识别结果分别为所述全局识别模型、所述局部识别模型、所述全局识别网络以及所述局部识别网络在目标层的输出结果，所述目标层包括中间层和输出层中的至少一项。
3.根据权利要求1所述的方法，其特征在于，所述图片样本标注有用于表示识别结果的识别标签，所述方法还包括：
获取所述识别标签；
所述通过所述参考全局识别结果和所述全局识别结果计算得到第一损失，以及，通过所述参考局部识别结果和所述局部识别结果计算得到第二损失，包括：
通过所述参考全局识别结果、所述全局识别结果和所述识别标签计算得到第一损失，以及，通过所述参考局部识别结果、所述局部识别结果和所述识别标签计算得到第二损失。
4.根据权利要求1所述的方法，其特征在于，所述得到图片识别模型之后，所述方法还包括：
获取待识别图片；
将所述待识别图片输入至所述图片识别模型，通过所述特征提取网络提取所述待识别图片的多尺度特征；
将所述待识别图片的多尺度特征输入至所述全局识别网络得到第一识别结果，和/或，将所述待识别图片的多尺度特征输入至所述局部识别网络得到第二识别结果，其中，所述第一识别结果用于指示所述待识别图片的全局图像是否异常，所述第二识别结果用于指示所述待识别图片的局部图像的是否异常。
5.根据权利要求1所述的方法，其特征在于，所述将训练样本集的图片样本输入至所述全局识别模型得到参考全局识别结果，将所述图片样本输入至所述局部识别模型得到参考局部识别结果之前，所述方法还包括：
获取第一样本集和第二样本集，其中，所述第一样本集包括标注的图片样本，所述第二样本集包括未标注的图片样本；
将所述第一样本集输入至第M-1个识别模型中，训练得到第M个识别模型，其中，所述M为正整数；
将所述第二样本集中图片样本输入至所述第M个识别模型中，以对输入的图片样本进行标注，并将标注的图片样本加入至所述第一样本集中；
在所述M个识别模型不满足训练停止条件的情况下，将所述第M个识别模型作为所述第M-1个识别模型，并重新执行将所述第一样本集输入至第M-1个识别模型中；
在所述M个识别模型满足训练停止条件的情况下，将所述第一样本集作为所述训练样本集。
6.一种图片识别模型的获取装置，其特征在于，包括：
模型获取模块，被配置为获取全局识别模型、局部识别模型以及待训练模型，其中，所述待训练模型包括特征提取网络以及与所述特征提取网络连接的全局识别网络、局部识别网络，且所述全局识别模型和所述全局识别网络分别用于识别图片的全局图像是否异常，所述局部识别模型和所述局部识别网络分别用于识别图片的局部图像是否异常；
第一识别模块，被配置为将训练样本集的图片样本输入至所述全局识别模型得到参考全局识别结果，将所述图片样本输入至所述局部识别模型得到参考局部识别结果；将所述图片样本输入至所述待训练模型，由所述特征提取网络提取所述图片样本的多尺度图像特征，并由所述全局识别网络基于所述多尺度图像特征得到全局识别结果，以及由所述局部识别网络基于所述多尺度图像特征得到局部识别结果；
损失计算模块，被配置为通过所述全局识别结果和所述参考全局识别结果计算得到第一损失，以及，通过所述局部识别结果和所述参考局部识别结果计算得到第二损失；
第一训练模块，被配置为以所述第一损失和所述第二损失的加权损失满足预设条件为目标，训练所述特征提取网络、所述全局识别网络和所述局部识别网络，得到图片识别模型，所述图片识别模型包括完成训练的特征提取网络、全局识别网络和局部识别网络。
7.根据权利要求6所述的装置，其特征在于，所述参考全局识别结果、所述参考局部识别结果、所述全局识别结果和所述局部识别结果分别为所述全局识别模型、所述局部识别模型、所述全局识别网络以及所述局部识别网络在目标层的输出结果，所述目标层包括中间层和输出层中的至少一项。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的图片识别模型的获取方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由图片识别模型的获取装置或者电子设备的处理器执行时，以使所述图片识别模型的获取装置或者所述电子设备实现如权利要求1至5中任一项所述的图片识别模型的获取方法。
10.一种计算机程序产品，包括计算机程序或者指令，其特征在于，所述计算机程序或者指令被处理器执行时实现如权利要求1至5中任一项所述的图片识别模型的获取方法。
CN202110603164.3A 2021-05-31 2021-05-31 图片识别模型的获取方法、装置、电子设备及存储介质 Pending CN113392886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110603164.3A CN113392886A (zh) 2021-05-31 2021-05-31 图片识别模型的获取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110603164.3A CN113392886A (zh) 2021-05-31 2021-05-31 图片识别模型的获取方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113392886A true CN113392886A (zh) 2021-09-14

Family

ID=77619578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110603164.3A Pending CN113392886A (zh) 2021-05-31 2021-05-31 图片识别模型的获取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113392886A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494172A (zh) * 2022-01-20 2022-05-13 上海人工智能创新中心 点云检测方法及装置、电子设备和计算机可读存储介质
CN114821250A (zh) * 2022-03-23 2022-07-29 支付宝(杭州)信息技术有限公司 一种跨域的模型训练方法、装置以及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN111639710A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
CN111860670A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 域自适应模型训练、图像检测方法、装置、设备及介质
CN112348110A (zh) * 2020-11-18 2021-02-09 北京市商汤科技开发有限公司 模型训练及图像处理方法、装置、电子设备和存储介质
CN112801209A (zh) * 2021-02-26 2021-05-14 同济大学 基于双特长教师模型知识融合的图像分类方法及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN111639710A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
CN111860670A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 域自适应模型训练、图像检测方法、装置、设备及介质
CN112348110A (zh) * 2020-11-18 2021-02-09 北京市商汤科技开发有限公司 模型训练及图像处理方法、装置、电子设备和存储介质
CN112801209A (zh) * 2021-02-26 2021-05-14 同济大学 基于双特长教师模型知识融合的图像分类方法及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
房子毅: "融合局部敏感特征检测和全局感知分类的色情图片识别方法", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 03, 15 March 2021 (2021-03-15), pages 2 *
项俐: "基于多任务迁移学习的人脸美丽预测研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 12, 15 December 2020 (2020-12-15), pages 3 - 5 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494172A (zh) * 2022-01-20 2022-05-13 上海人工智能创新中心 点云检测方法及装置、电子设备和计算机可读存储介质
CN114494172B (zh) * 2022-01-20 2024-07-12 上海人工智能创新中心 点云检测方法及装置、电子设备和计算机可读存储介质
CN114821250A (zh) * 2022-03-23 2022-07-29 支付宝(杭州)信息技术有限公司 一种跨域的模型训练方法、装置以及设备

Similar Documents

Publication Publication Date Title
CN112488218A (zh) 图像分类方法、图像分类模型的训练方法和装置
CN108550065B (zh) 评论数据处理方法、装置及设备
CN113469298B (zh) 模型训练方法及资源推荐方法
CN113392886A (zh) 图片识别模型的获取方法、装置、电子设备及存储介质
CN115941322B (zh) 基于人工智能的攻击检测方法、装置、设备及存储介质
CN111401343B (zh) 识别图像中人的属性的方法、识别模型的训练方法和装置
CN112613569A (zh) 图像识别方法、图像分类模型的训练方法及装置
CN115082752A (zh) 基于弱监督的目标检测模型训练方法、装置、设备及介质
CN110175519A (zh) 一种变电站的分合标识仪表识别方法、装置与存储介质
CN115100739B (zh) 人机行为检测方法、系统、终端设备及存储介质
WO2023029397A1 (zh) 训练数据获取方法、异常行为识别网络训练方法及装置、计算机设备、存储介质、计算机程序、计算机程序产品
CN113806501B (zh) 意图识别模型的训练方法、意图识别方法和设备
CN113657473A (zh) 一种基于迁移学习的Web服务分类方法
CN113392887A (zh) 图片识别方法、装置、电子设备及存储介质
CN117115596A (zh) 对象动作分类模型的训练方法、装置、设备及介质
CN114140751B (zh) 一种考场监控方法及系统
CN115718830A (zh) 训练信息抽取模型的方法、信息抽取方法及对应装置
CN114926627A (zh) 口腔结构定位模型训练方法、定位方法、装置和电子设备
CN113988059A (zh) 一种会话数据类型识别方法、系统、设备及存储介质
CN113343921B (zh) 视频识别方法、装置、电子设备及存储介质
CN111881187A (zh) 一种自动建立数据处理模型的方法及相关产品
CN118172799B (zh) 毫米波雷达行人重识别方法、设备及存储介质
CN113836915B (zh) 数据处理方法、装置、设备及可读存储介质
CN116012656B (zh) 样本图像的生成方法和图像处理模型的训练方法、装置
CN114155420B (zh) 一种场景识别模型训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination