CN117523259A - 半监督模型训练方法、装置、计算机设备和存储介质 - Google Patents
半监督模型训练方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117523259A CN117523259A CN202311287396.8A CN202311287396A CN117523259A CN 117523259 A CN117523259 A CN 117523259A CN 202311287396 A CN202311287396 A CN 202311287396A CN 117523259 A CN117523259 A CN 117523259A
- Authority
- CN
- China
- Prior art keywords
- classification
- category
- class
- image sample
- prototype
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 title claims description 41
- 238000013145 classification model Methods 0.000 claims abstract description 118
- 238000012937 correction Methods 0.000 claims abstract description 70
- 238000007689 inspection Methods 0.000 claims abstract description 68
- 238000004590 computer program Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 22
- 238000012216 screening Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种半监督模型方法、装置、计算机设备、存储介质和计算机程序产品。方法包括:确定每一分类类别各自对应的第一类别原型;将第二预设数量的标注图像样本输入初始化分类模型,得到每一标注图像样本各自对应的特征,确定每一分类类别各自对应的第二类别原型;根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;根据每一未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一未标注图像样本的伪标签;对初始化分类模型进行参数更新,得到训练好的分类模型。采用本方法能够减少了对样本标注的依赖,并提高了对工业质检图像数据进行分类的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种半监督模型训练方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
伴随着工业互联网应用的普及,人工智能技术为实现企业质检产线自动化、无人化、智能化等需求提供了较好的解决方案,取得了较为显著的效果。
但是,现有的人工智能技术对于标注样本的规模要求较大,而对于缺陷样品进行标注的人工成本代价十分高昂,这成为了应用人工智能技术进行工业质检中的一个不可忽视的缺陷。
发明内容
基于此,有必要针对上述技术问题,提供一种能够减少对样本标注的依赖的半监督模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种半监督模型训练方法,包括:
将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
将第二预设数量的标注图像样本输入初始化分类模型,得到每一所述标注图像样本各自对应的特征,根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签;
将所述每一所述未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对所述初始化分类模型进行参数更新,得到训练好的分类模型;所述训练好的分类模型用于对工业质检图像数据进行分类。
在其中一个实施例中,所述将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本被分类至每一分类类别各自对应的概率,包括:将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征;通过所述初始化分类模型中的分类器对每一所述未标注图像样本各自对应的特征进行处理,得到每一所述未标注图像样本被分类至每一分类类别各自对应的概率;所述根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型,包括:将每一所述未标注图像样本被分类至每一分类类别各自对应的概率进行归一化处理,得到每一所述未标注图像样本被分类至每一分类类别各自对应的归一化概率;针对多个分类类别中的每一个分类类别,从每一所述未标注图像样本被分类至每一分类类别各自对应的归一化概率中,筛选出每一所述未标注图像样本被分类至所针对的分类类别的目标归一化概率值;将每一所述未标注图像样本各自对应的特征和被分类至所针对的分类类别的目标归一化概率值相乘所得到的数值进行求和处理,得到所述针对的分类类别的第一类别原型所需的第一参数;将每一所述未标注图像样本被分类至所述针对的分类类别的目标归一化概率进行求和处理,得到计算所述针对的分类类别的第一类别原型所需的第二参数;根据所述第一参数和所述第二参数,确定所述针对的分类类别所对应的第一类别原型。
在其中一个实施例中,所述根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型,包括:获取预设函数;所述预设函数是根据所述标注图像样本标注的真实标签和被分类至每一分类类别各自对应的概率是否匹配来确定的;根据所述预设函数确定每一所述标注图像样本各自对应的预设数值;将每一所述标注图像样本各自对应的特征和预设数值相乘所得到的数值进行求和处理,得到计算每一分类类别的第二类别原型所需的第三参数;将每一所述标注图像样本各自对应的预设数值进行求和处理,得到计算每一分类类别的第二类别原型所需的第四参数;根据每一分类类别对应的第三参数和第四参数,确定每一分类类别各自对应的第二类别原型。
在其中一个实施例中,所述根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型,包括:确定对所述初始化分类模型进行训练的当前迭代次数;根据所述当前迭代次数,确定第一类别原型在所述当前迭代次数下对应的第一权重系数,以及第二类别原型在所述当前迭代次数下对应的第二权重系数;根据所述第一权重系数和所述第二权重系数,对每一所述分类类别在所述当前迭代次数下对应的第一类别原型和第二类别原型进行线性加权处理,得到每一分类类别在所述当前迭代次数下分别对应的修正类别原型。
在其中一个实施例中,所述根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签,包括:针对多个未标注图像样本中的每一个未标注图像样本,从每一个未标注图像样本被分类至每一分类类别对应的修正类别原型中,筛选出所述针对的未标注图像样本被分类至每一分类类别对应的目标修正类别原型;根据所述针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离,得到所述针对的未标注图像样本对应的伪标签。
在其中一个实施例中,所述根据所述针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离,得到所述针对的未标注图像样本对应的伪标签,包括:将所述针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离进行归一化处理,得到所述针对的未标注图像样本在每一分类类别中对应的子伪标签;将所述针对的未标注图像样本在每一分类类别中对应的子伪标签和所述针对的未标注图像样本被分类至每一分类类别各自对应的概率相乘得到的数值,作为所述针对的未标注图像样本在每一分类类别中对应的目标子伪标签;
根据所述针对的未标注图像样本在每一分类类别中对应的目标子伪标签,得到所述针对的未标注图像样本对应的伪标签。
在其中一个实施例中,获取工业质检图像数据;将获取到的所述工业质检图像数据输入训练好的分类模型;通过所述训练好的分类模型对所述工业质检图像数据进行特征提取,得到所述工业质检图像数据对应的图像特征;通过所述训练好的分类模型对所述工业质检图像数据对应的图像特征进行分类,得到所述工业质检图像数据的分类结果,所述工业质检图像数据的分类结果包括所述工业质检图像数被分类至每一分类类别对的概率值。
第二方面,本申请还提供了一种半监督模型训练装置,包括:
初始模块,用于将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
第一确定模块,用于根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
第二确定模块,用于将第二预设数量的标注图像样本输入初始化分类模型,得到每一所述标注图像样本各自对应的特征,根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
修正模块,用于根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
伪标签模块,用于根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签;
更新模块,用于将所述每一所述未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对所述初始化分类模型进行参数更新,得到训练好的分类模型;所述训练好的分类模型用于对工业质检图像数据进行分类。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
将第二预设数量的标注图像样本输入初始化分类模型,得到每一所述标注图像样本各自对应的特征,根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签;
将所述每一所述未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对所述初始化分类模型进行参数更新,得到训练好的分类模型;所述训练好的分类模型用于对工业质检图像数据进行分类。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
将第二预设数量的标注图像样本输入初始化分类模型,得到每一所述标注图像样本各自对应的特征,根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签;
将所述每一所述未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对所述初始化分类模型进行参数更新,得到训练好的分类模型;所述训练好的分类模型用于对工业质检图像数据进行分类。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
将第二预设数量的标注图像样本输入初始化分类模型,得到每一所述标注图像样本各自对应的特征,根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签;
将所述每一所述未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对所述初始化分类模型进行参数更新,得到训练好的分类模型;所述训练好的分类模型用于对工业质检图像数据进行分类。
上述半监督模型训练方法、装置、计算机设备、存储介质和计算机程序产品,通过将第一预设数量的未标注图像样本输入初始化分类模型,得到每一未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;根据每一未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;将第二预设数量的标注图像样本输入初始化分类模型,得到每一标注图像样本各自对应的特征,根据每一标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;根据每一未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一未标注图像样本的伪标签;将每一未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对初始化分类模型进行参数更新,得到训练好的分类模型;训练好的分类模型用于对工业质检图像数据进行分类。能够有效为无标注样本构建更为准确的伪标签,并通过伪标签对初始化分类模型的参数进行更新,减少了对样本标注的依赖,并提高了对工业质检图像数据进行分类的准确性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中半监督模型训练方法的应用环境图;
图2为一个实施例中半监督模型训练方法的流程示意图;
图3为另一个实施例中半监督模型训练方法的流程示意图;
图4为一个实施例中半监督模型训练装置的结构框图;
图5为另一个实施例中半监督模型训练装置的结构框图;
图6为一个实施例中半监督模型训练的系统原理图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的半监督模型训练方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102用于生成半监督模型训练请求,并发送至服务器104,服务器104接收到半监督模型训练请求后,对初始化分类模型进行训练。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中,如图2所示,图2为一个实施例中半监督模型训练方法的流程示意图,提供了一种半监督模型训练方法,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤202至步骤212。
步骤202,将第一预设数量的未标注图像样本输入初始化分类模型,得到每一未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率。
其中,本申请对于未标注图像样本不做具体限定,可根据实际需要进行设置。例如,该未标注图像样本为没有被标注过的工业质检图像数据。初始化分类模型主要包括特征提取器和分类器。对于第一预设数量的大小可根据实际需要进行设置。
具体地,将一定数量的没有被标注过的工业质检图像数据,输入进初始化分类模型当中。以其中一个没有被标注过的工业质检图像数据为例说明,通过该初始化分类模型中的特征提取器对该没有被标注过的工业质检图像数据进行特征提取,得到该没有被标注过的工业质检图像数据的一个特征,进而通过该初始化分类模型中的分类器对该特征进行处理,得到该没有被标注过的工业质检图像数据被分类到每一个分类类别的概率值。
步骤204,根据每一未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型。
其中,类别原型是指属于某个分类类别的样本,应该具有的代表性特征或者平均特征,换句话说,可以理解为该类别原型用于反映某个分类类别的普遍特征或普遍特征。而本申请中的第一类型原型是用于反映某个分类类别的未标注图像样本,应该具有的代表性特征或者平均特征。
具体地,以某一具体分类类别为例进行说明。首先,计算出每一未标注图像样本对应的特征和被分类至该具体分类类别的归一化概率相乘后得到的数值,然后,将第一预设数量中所有未标注图像样本计算出的数值相加在一起,相加后得到的数值作为第一参数,再计算出每一未标注图像样本被分类至该具体分类类别的概率进行相加得到的数值,相加后得到的数值作为第二参数。最后,将该第一参数作为分子,第二参数作为分母,计算出的比值即为该具体类别对应的第一类别原型。
步骤206,将第二预设数量的标注图像样本输入初始化分类模型,得到每一标注图像样本各自对应的特征,根据每一标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型。
其中,本申请中。对于第二预设数量可根据实际需要进行设置。本申请中的第二类型原型是用于反映某个分类类别的标注图像样本,应该具有的代表性特征或者平均特征。真实标签是指对图像样本进行标注后得到的标签,该真实标签包括该标注样本被分类至每一分类类别的真实概率。
具体地,获取预设函数,该预设函数的数值情况是根据标注图像样本的真实标签和被分类至每一分类类别各自对应的概率是否相同来确定的。例如,若该预设函数的数值情况是根据标注图像样本的真实标签和被分类至每一分类类别各自对应的概率相同,则该预设函数的数值为1。反之若该预设函数的数值情况是根据标注图像样本的真实标签和被分类至每一分类类别各自对应的概率不相同,则该预设函数的数值为0。
可选的,以某一具体分类类别为例进行说明。计算出每一标注图像样本对应的特征和根据每一标注图像样本的真实标签中反映的被分类至该具体分类类别的真实概率和通过初始化分类模型中的分类器得到被分类至该具体分类类别的概率确定出的预设函数的数值,然后将每一标注图像样本对应的特征和预设函数的数值进行相乘得到的数值相加在一起,得到第三参数。再将每一标注图像样本对应的预设函数的数值相加在一起,得到第四参数。最后,将该第三参数作为分子,第四参数作为分母,计算出的比值即为该具体类别对应的第二类别原型。
步骤208,根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型。
其中,修正类别原型是指以第一类别原型和第二类别原型为基础,通过对第一类别原型和第二类别原型进行线性加权的方式,对第一类别原型和第二类别原型进行修正,从而提升类别原型的准确度,得到更加准确的类别原型即修正类别原型。
具体地,以某一具体分类类别为例进行说明。首先确定出初始化分类模型进行训练的当前迭代次数,并以该确定出的当前迭代次数对第一类别原型的第一权重参数和第二类别原型的第二权重参数进行设置,根据设置后的第一权重参数和第二权重参数对第一类别原型和第二类别原型进行线性加权,加权后得到的结果即是该具体分类类别的修正类别原型。
步骤210,根据每一未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一未标注图像样本的伪标签。
其中,伪标签是指伪标签是指通过某种方法为无标签数据集添加标签,通常是通过使用一种监督学习模型来预测这些数据的标签。伪标签的目的是为了将无标签数据集转化为带有标签的数据集,以便可以使用监督学习方法对数据进行训练。伪标签常用于半监督学习,在本申请中,伪标签是利用每一分类类别的修正类别原型构成的。
具体地,以某一具体分类类别为例进行说明。首先,计算出某一未标记样本对应的特征(可以理解的,本申请中所有对于样本的特征的计算都是通过初始化分类模型中的特征提取器对样本进行特征提取得到的)以及该具体分类类别对应的修正类别原型之间的余弦距离,然后将计算出的该未标记样本的余弦距离进行归一化处理,就可以得到该未标记样本对应的子伪标签。最后,针对所有分类类别各自对应的子伪标签,将它们组合在一起,构成该未标记样本的伪标签。
可选的,考虑到进一步提高伪标签的准确性,将每一分类类别对应的子伪标签与未标注图像样本被分类至该分类类别对应的概率进行相乘处理,得到每一分类类别各自对应的目标子伪标签,然后再针对所有分类类别各自对应的目标子伪标签,将它们组合在一起,构成该未标记样本的伪标签。
步骤212,将每一未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对初始化分类模型进行参数更新,得到训练好的分类模型;训练好的分类模型用于对工业质检图像数据进行分类。
其中,初始化分类模型的参数主要是指该初始化分类模型中特征提取器和分类器中的参数。
具体地,对于标注图像样本数据,利用标准监督训练的交叉熵损失,使得初始化分类模型的预测与真实标签之间的误差最小化,从而使得初始化分类模型模型能够从少量的标注图像样本数据中学习。其中,计算交叉熵损失所需的公式为:
f表示初始化分类模型的分类器,g表示初始化分类模型的特征提取器,Xl表示一定数量的标注图像样本数据,E是均值符号,N表示分类类别的数量总数,yj表示第j个标注图像样本数据的真实标签。xj表示第j个标注图像样本数据。
对于未标注图像样本数据,利用修正类别原型,产生质量更高的伪标签,由于伪标签对多个类别原型都有相应的输出概率,利用该输出概率对伪标签进行加权处理,可起到对伪标签的噪声进一步压缩的效果。
以某一未标注图像样本数据为例进行说明。将该未标注图像样本数据的伪标签中每一分类类别对应的概率和通过初始化分类模型中分类器处理后得到的概率进行对比,并根据对比得到的二者之间的差异,对初始化分类模型中特征提取器和分类器中的参数做蒸馏损失,具体的损失函数为:
f表示初始化分类模型的分类器,g表示初始化分类模型的特征提取器,Xu表示一定数量的标注图像样本数据,E是均值符号,N表示分类类别的数量总数,/>表示第i个标注图像样本数据的伪标签。xi表示第i个标注图像样本数据。
在其中一个实施例中,将第一预设数量的未标注图像样本输入初始化分类模型,得到每一未标注图像样本各自对应的特征;通过初始化分类模型中的分类器对每一未标注图像样本各自对应的特征进行处理,得到每一未标注图像样本被分类至每一分类类别各自对应的概率;根据每一未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型,包括:将每一未标注图像样本被分类至每一分类类别各自对应的概率进行归一化处理,得到每一未标注图像样本被分类至每一分类类别各自对应的归一化概率;针对多个分类类别中的每一个分类类别,从每一未标注图像样本被分类至每一分类类别各自对应的归一化概率中,筛选出每一未标注图像样本被分类至所针对的分类类别的目标归一化概率值;将每一未标注图像样本各自对应的特征和被分类至所针对的分类类别的目标归一化概率值相乘所得到的数值进行求和处理,得到针对的分类类别的第一类别原型所需的第一参数;将每一未标注图像样本被分类至针对的分类类别的目标归一化概率进行求和处理,得到计算针对的分类类别的第一类别原型所需的第二参数;根据第一参数和第二参数,确定针对的分类类别所对应的第一类别原型。
具体地,首先,计算出每一未标注图像样本对应的特征和被分类至该具体分类类别的归一化概率相乘后得到的数值,然后,将第一预设数量中所有未标注图像样本计算出的数值相加在一起,相加后得到的数值作为第一参数,再计算出每一未标注图像样本被分类至该具体分类类别的概率进行相加得到的数值,相加后得到的数值作为第二参数。最后,将该第一参数作为分子,第二参数作为分母,计算出的比值即为该具体类别对应的第一类别原型。
在其中一个实施例中,获取预设函数;预设函数是根据标注图像样本标注的真实标签和被分类至每一分类类别各自对应的概率是否匹配来确定的;根据预设函数确定每一标注图像样本各自对应的预设数值;将每一标注图像样本各自对应的特征和预设数值相乘所得到的数值进行求和处理,得到计算每一分类类别的第二类别原型所需的第三参数;将每一标注图像样本各自对应的预设数值进行求和处理,得到计算每一分类类别的第二类别原型所需的第四参数;根据每一分类类别对应的第三参数和第四参数,确定每一分类类别各自对应的第二类别原型。
具体地,获取预设函数,该预设函数的数值情况是根据标注图像样本的真实标签和被分类至每一分类类别各自对应的概率是否相同来确定的。例如,若该预设函数的数值情况是根据标注图像样本的真实标签和被分类至每一分类类别各自对应的概率相同,则该预设函数的数值为1。反之若该预设函数的数值情况是根据标注图像样本的真实标签和被分类至每一分类类别各自对应的概率不相同,则该预设函数的数值为0。以某一具体分类类别为例进行说明。计算出每一标注图像样本对应的特征和根据每一标注图像样本的真实标签中反映的被分类至该具体分类类别的真实概率和通过初始化分类模型中的分类器得到被分类至该具体分类类别的概率确定出的预设函数的数值,然后将每一标注图像样本对应的特征和预设函数的数值进行相乘得到的数值相加在一起,得到第三参数。再将每一标注图像样本对应的预设函数的数值相加在一起,得到第四参数。最后,将该第三参数作为分子,第四参数作为分母,计算出的比值即为该具体类别对应的第二类别原型。
在其中一个实施例中,确定对初始化分类模型进行训练的当前迭代次数;根据当前迭代次数,确定第一类别原型在当前迭代次数下对应的第一权重系数,以及第二类别原型在当前迭代次数下对应的第二权重系数;根据第一权重系数和第二权重系数,对每一分类类别在当前迭代次数下对应的第一类别原型和第二类别原型进行线性加权处理,得到每一分类类别在当前迭代次数下分别对应的修正类别原型。
具体地,首先确定出初始化分类模型进行训练的当前迭代次数,并以该确定出的当前迭代次数对第一类别原型的第一权重参数和第二类别原型的第二权重参数进行设置,根据设置后的第一权重参数和第二权重参数对第一类别原型和第二类别原型进行线性加权,加权后得到的结果即是该具体分类类别的修正类别原型。
在其中一个实施例中,针对多个未标注图像样本中的每一个未标注图像样本,从每一个未标注图像样本被分类至每一分类类别对应的修正类别原型中,筛选出针对的未标注图像样本被分类至每一分类类别对应的目标修正类别原型;根据针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离,得到针对的未标注图像样本对应的伪标签。
具体地,以某一具体分类类别为例进行说明。首先,计算出某一未标记样本对应的特征以及该具体分类类别对应的修正类别原型之间的余弦距离,然后将计算出的该未标记样本的余弦距离进行归一化处理,就可以得到该未标记样本对应的子伪标签。最后,针对所有分类类别各自对应的子伪标签,将它们组合在一起,构成该未标记样本的伪标签。
在其中一个实施例中,将针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离进行归一化处理,得到针对的未标注图像样本在每一分类类别中对应的子伪标签;将针对的未标注图像样本在每一分类类别中对应的子伪标签和针对的未标注图像样本被分类至每一分类类别各自对应的概率相乘得到的数值,作为针对的未标注图像样本在每一分类类别中对应的目标子伪标签;根据针对的未标注图像样本在每一分类类别中对应的目标子伪标签,得到针对的未标注图像样本对应的伪标签。
具体地,考虑到进一步提高伪标签的准确性,将每一分类类别对应的子伪标签与未标注图像样本被分类至该分类类别对应的概率进行相乘处理,得到每一分类类别各自对应的目标子伪标签,然后再针对所有分类类别各自对应的目标子伪标签,将它们组合在一起,构成该未标记样本的伪标签。
在其中一个实施例中,获取工业质检图像数据;将获取到的工业质检图像数据输入训练好的分类模型;通过训练好的分类模型对工业质检图像数据进行特征提取,得到工业质检图像数据对应的图像特征;通过训练好的分类模型对工业质检图像数据对应的图像特征进行分类,得到工业质检图像数据的分类结果,工业质检图像数据的分类结果包括工业质检图像数被分类至每一分类类别对的概率值。
具体地,首先,通过某种方式获取工业质检图像数据,这些数据可能来自于生产线上的摄像头或其他图像采集设备。然后,将获取到的这些工业质检图像数据输入已经经过训练的分类模型。这个分类模型可以是机器学习算法或深度学习模型,它经过训练可以自动识别不同类型的工业质检问题。通过训练好的分类模型,对工业质检图像数据进行特征提取。这意味着从图像中提取有用的信息和特征,例如边缘、纹理、颜色等,以便用于分类。通过训练好的分类模型对提取到的图像特征进行分类。分类模型会将图像特征与已知的类别进行匹配,找到与之最相似的类别,从而确定工业质检图像数据的分类结果。最后,工业质检图像数据的分类结果会以概率值的形式呈现。这表示每个分类类别对应的概率,可以反映该图像属于某个类别的可能性有多大。
在一个示例性的实施例中,如图3所示,步骤A包括步骤302至步骤306。
其中:
步骤302,将第一预设数量的未标注图像样本输入初始化分类模型,得到每一未标注图像样本各自对应的特征;通过初始化分类模型中的分类器对每一未标注图像样本各自对应的特征进行处理,得到每一未标注图像样本被分类至每一分类类别各自对应的概率;
步骤304,将每一未标注图像样本被分类至每一分类类别各自对应的概率进行归一化处理,得到每一未标注图像样本被分类至每一分类类别各自对应的归一化概率;针对多个分类类别中的每一个分类类别,从每一未标注图像样本被分类至每一分类类别各自对应的归一化概率中,筛选出每一未标注图像样本被分类至所针对的分类类别的目标归一化概率值;将每一未标注图像样本各自对应的特征和被分类至所针对的分类类别的目标归一化概率值相乘所得到的数值进行求和处理,得到针对的分类类别的第一类别原型所需的第一参数;将每一未标注图像样本被分类至针对的分类类别的目标归一化概率进行求和处理,得到计算针对的分类类别的第一类别原型所需的第二参数;根据第一参数和第二参数,确定针对的分类类别所对应的第一类别原型;
步骤306,获取预设函数;预设函数是根据标注图像样本标注的真实标签和被分类至每一分类类别各自对应的概率是否匹配来确定的;根据预设函数确定每一标注图像样本各自对应的预设数值;将每一标注图像样本各自对应的特征和预设数值相乘所得到的数值进行求和处理,得到计算每一分类类别的第二类别原型所需的第三参数;将每一标注图像样本各自对应的预设数值进行求和处理,得到计算每一分类类别的第二类别原型所需的第四参数;根据每一分类类别对应的第三参数和第四参数,确定每一分类类别各自对应的第二类别原型;
步骤308,确定对初始化分类模型进行训练的当前迭代次数;根据当前迭代次数,确定第一类别原型在当前迭代次数下对应的第一权重系数,以及第二类别原型在当前迭代次数下对应的第二权重系数;根据第一权重系数和第二权重系数,对每一分类类别在当前迭代次数下对应的第一类别原型和第二类别原型进行线性加权处理,得到每一分类类别在当前迭代次数下分别对应的修正类别原型;
步骤310,针对多个未标注图像样本中的每一个未标注图像样本,从每一个未标注图像样本被分类至每一分类类别对应的修正类别原型中,筛选出针对的未标注图像样本被分类至每一分类类别对应的目标修正类别原型;根据针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离,得到针对的未标注图像样本对应的伪标签;
步骤312,将每一未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对初始化分类模型进行参数更新,得到训练好的分类模型;训练好的分类模型用于对工业质检图像数据进行分类;
步骤314,获取工业质检图像数据;将获取到的工业质检图像数据输入训练好的分类模型;
通过训练好的分类模型对工业质检图像数据进行特征提取,得到工业质检图像数据对应的图像特征;
通过训练好的分类模型对工业质检图像数据对应的图像特征进行分类,得到工业质检图像数据的分类结果,工业质检图像数据的分类结果包括工业质检图像数被分类至每一分类类别对的概率值。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的半监督模型训练方法的半监督模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个半监督模型训练装置实施例中的具体限定可以参见上文中对于半监督模型训练方法的限定,在此不再赘述。
在其中一个实施例中,如图4所示,图4为一个实施例中半监督模型训练装置的结构框图,提供了一种半监督模型训练装置400,包括:初始模块402、第一确定模块404、第二确定模块406、修正模块408、伪标签模块410和更新模块412,其中:
初始模块402,用于将第一预设数量的未标注图像样本输入初始化分类模型,得到每一未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
第一确定模块404,用于根据每一未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
第二确定模块406,用于将第二预设数量的标注图像样本输入初始化分类模型,得到每一标注图像样本各自对应的特征,根据每一标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
修正模块408,用于根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
伪标签模块410,用于根据每一未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一未标注图像样本的伪标签;
更新模块412,用于将每一未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对初始化分类模型进行参数更新,得到训练好的分类模型;训练好的分类模型用于对工业质检图像数据进行分类。
在其中一个实施例种,如图5所示,图5为另一个实施例中半监督模型训练装置的结构框图,提供了一种半监督模型训练装置400,包括:初始模块402、第一确定模块404、第二确定模块406、修正模块408、伪标签模块410、更新模块412以及分类模块414。其中,分类模块414用于获取工业质检图像数据;将获取到的工业质检图像数据输入训练好的分类模型;通过训练好的分类模型对工业质检图像数据进行特征提取,得到工业质检图像数据对应的图像特征;通过训练好的分类模型对工业质检图像数据对应的图像特征进行分类,得到工业质检图像数据的分类结果,工业质检图像数据的分类结果包括工业质检图像数被分类至每一分类类别对的概率值。
上述半监督模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中,如图6所示,图6为一个实施例中半监督模型训练的系统原理图。半监督模型训练的系统主要包括三个组成部分,分别为初始化分类模型602、类别原型计算模块604和伪标签获取模块606。其中:
初始化分类模型602中,包括特征提取器612和分类器614,特征提取器612用于对未标注图像样本608和标注图像样本610进行特征提取,得到每一未标注图像样本各自对应的特征,分类器614用于进一步对得到的每一未标注图像样本各自对应的特征进行处理,得到每一未标注图像样本被分类至每一分类类别各自对应的概率。
类别原型计算模块604中,针对每一分类类别下,根据由未标注图像样本得到的第一类别原型和由标注图像样本得到的第二类别原型进行相应修正,得到修正的类别原型。
伪标签获取模块606中,针对多个未标注图像样本中的每一个未标注图像样本,从每一个未标注图像样本被分类至每一分类类别对应的修正类别原型中,筛选出针对的未标注图像样本被分类至每一分类类别对应的目标修正类别原型;将针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离进行归一化处理,得到针对的未标注图像样本在每一分类类别中对应的子伪标签;将针对的未标注图像样本在每一分类类别中对应的子伪标签和针对的未标注图像样本被分类至每一分类类别各自对应的概率相乘得到的数值,作为针对的未标注图像样本在每一分类类别中对应的目标子伪标签;根据针对的未标注图像样本在每一分类类别中对应的目标子伪标签,得到针对的未标注图像样本对应的伪标签。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储与半监督模型训练相关的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种半监督模型训练方法。
本领域技术人员可以理解,图7示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
将第一预设数量的未标注图像样本输入初始化分类模型,得到每一未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
根据每一未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
将第二预设数量的标注图像样本输入初始化分类模型,得到每一标注图像样本各自对应的特征,根据每一标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
根据每一未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一未标注图像样本的伪标签;
将每一未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对初始化分类模型进行参数更新,得到训练好的分类模型;训练好的分类模型用于对工业质检图像数据进行分类。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种半监督模型训练方法,其特征在于,所述方法包括:
将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
将第二预设数量的标注图像样本输入初始化分类模型,得到每一所述标注图像样本各自对应的特征,根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签;
将所述每一所述未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对所述初始化分类模型进行参数更新,得到训练好的分类模型;所述训练好的分类模型用于对工业质检图像数据进行分类。
2.根据权利要求1所述的方法,其特征在于,所述将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本被分类至每一分类类别各自对应的概率,包括:
将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征;
通过所述初始化分类模型中的分类器对每一所述未标注图像样本各自对应的特征进行处理,得到每一所述未标注图像样本被分类至每一分类类别各自对应的概率;
所述根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型,包括:
将每一所述未标注图像样本被分类至每一分类类别各自对应的概率进行归一化处理,得到每一所述未标注图像样本被分类至每一分类类别各自对应的归一化概率;
针对多个分类类别中的每一个分类类别,从每一所述未标注图像样本被分类至每一分类类别各自对应的归一化概率中,筛选出每一所述未标注图像样本被分类至所针对的分类类别的目标归一化概率值;
将每一所述未标注图像样本各自对应的特征和被分类至所针对的分类类别的目标归一化概率值相乘所得到的数值进行求和处理,得到所述针对的分类类别的第一类别原型所需的第一参数;
将每一所述未标注图像样本被分类至所述针对的分类类别的目标归一化概率进行求和处理,得到计算所述针对的分类类别的第一类别原型所需的第二参数;
根据所述第一参数和所述第二参数,确定所述针对的分类类别所对应的第一类别原型。
3.根据权利要求1所述的方法,其特征在于,所述根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型,包括:
获取预设函数;所述预设函数是根据所述标注图像样本标注的真实标签和被分类至每一分类类别各自对应的概率是否匹配来确定的;
根据所述预设函数确定每一所述标注图像样本各自对应的预设数值;
将每一所述标注图像样本各自对应的特征和预设数值相乘所得到的数值进行求和处理,得到计算每一分类类别的第二类别原型所需的第三参数;
将每一所述标注图像样本各自对应的预设数值进行求和处理,得到计算每一分类类别的第二类别原型所需的第四参数;
根据每一分类类别对应的第三参数和第四参数,确定每一分类类别各自对应的第二类别原型。
4.根据权利要求1所述的方法,其特征在于,所述根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型,包括:
确定对所述初始化分类模型进行训练的当前迭代次数;
根据所述当前迭代次数,确定第一类别原型在所述当前迭代次数下对应的第一权重系数,以及第二类别原型在所述当前迭代次数下对应的第二权重系数;
根据所述第一权重系数和所述第二权重系数,对每一所述分类类别在所述当前迭代次数下对应的第一类别原型和第二类别原型进行线性加权处理,得到每一分类类别在所述当前迭代次数下分别对应的修正类别原型。
5.根据权利要求1所述的方法,其特征在于,所述根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签,包括:
针对多个未标注图像样本中的每一个未标注图像样本,从每一个未标注图像样本被分类至每一分类类别对应的修正类别原型中,筛选出所述针对的未标注图像样本被分类至每一分类类别对应的目标修正类别原型;
根据所述针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离,得到所述针对的未标注图像样本对应的伪标签。
6.根据权利要求5所述的方法,其特征在于,所述根据所述针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离,得到所述针对的未标注图像样本对应的伪标签,包括:
将所述针对的未标注图像样本对应的特征和被分类至每一分类类别对应的目标修正类别原型之间的余弦距离进行归一化处理,得到所述针对的未标注图像样本在每一分类类别中对应的子伪标签;
将所述针对的未标注图像样本在每一分类类别中对应的子伪标签和所述针对的未标注图像样本被分类至每一分类类别各自对应的概率相乘得到的数值,作为所述针对的未标注图像样本在每一分类类别中对应的目标子伪标签;
根据所述针对的未标注图像样本在每一分类类别中对应的目标子伪标签,得到所述针对的未标注图像样本对应的伪标签。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取工业质检图像数据;将获取到的所述工业质检图像数据输入训练好的分类模型;
通过所述训练好的分类模型对所述工业质检图像数据进行特征提取,得到所述工业质检图像数据对应的图像特征;
通过所述训练好的分类模型对所述工业质检图像数据对应的图像特征进行分类,得到所述工业质检图像数据的分类结果,所述工业质检图像数据的分类结果包括所述工业质检图像数被分类至每一分类类别对的概率值。
8.一种半监督模型训练装置,其特征在于,所述装置包括:
初始模块,用于将第一预设数量的未标注图像样本输入初始化分类模型,得到每一所述未标注图像样本各自对应的特征和被分类至每一分类类别各自对应的概率;
第一确定模块,用于根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别的概率,确定每一分类类别各自对应的第一类别原型;
第二确定模块,用于将第二预设数量的标注图像样本输入初始化分类模型,得到每一所述标注图像样本各自对应的特征,根据每一所述标注图像样本各自对应的特征、各自标注的真实标签和被分类至每一分类类别各自对应的概率,确定每一分类类别各自对应的第二类别原型;
修正模块,用于根据每一分类类别各自对应的第一类别原型和第二类别原型,确定每一分类类别对应的修正类别原型;
伪标签模块,用于根据每一所述未标注图像样本各自对应的特征和被分类至每一分类类别对应的修正类别原型,得到每一所述未标注图像样本的伪标签;
更新模块,用于将所述每一所述未标注图像样本被分类至每一分类类别各自对应的概率和伪标签之间的差异,对所述初始化分类模型进行参数更新,得到训练好的分类模型;所述训练好的分类模型用于对工业质检图像数据进行分类。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311287396.8A CN117523259A (zh) | 2023-10-07 | 2023-10-07 | 半监督模型训练方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311287396.8A CN117523259A (zh) | 2023-10-07 | 2023-10-07 | 半监督模型训练方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117523259A true CN117523259A (zh) | 2024-02-06 |
Family
ID=89752018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311287396.8A Pending CN117523259A (zh) | 2023-10-07 | 2023-10-07 | 半监督模型训练方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117523259A (zh) |
-
2023
- 2023-10-07 CN CN202311287396.8A patent/CN117523259A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
CN113837151B (zh) | 表格图像处理方法、装置、计算机设备及可读存储介质 | |
CN112818162A (zh) | 图像检索方法、装置、存储介质和电子设备 | |
CN116451093A (zh) | 电路故障分析模型的训练方法以及电路故障分析方法 | |
US11941792B2 (en) | Machine learning-based analysis of computing device images included in requests to service computing devices | |
CN114255381A (zh) | 图像识别模型的训练方法、图像识别方法、装置及介质 | |
CN111552812B (zh) | 确定实体之间关系类别的方法、装置和计算机设备 | |
CN113569933A (zh) | 商标图样匹配方法及其相应的装置、设备、介质 | |
CN117251777A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN112818068A (zh) | 基于大数据和多维特征的数据溯源方法及系统 | |
CN116524357A (zh) | 高压线路鸟巢检测方法、模型训练方法、装置及设备 | |
CN116383441A (zh) | 社群检测方法、装置、计算机设备和存储介质 | |
CN116524296A (zh) | 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法 | |
CN116051959A (zh) | 一种目标检测方法、装置 | |
CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
CN117523259A (zh) | 半监督模型训练方法、装置、计算机设备和存储介质 | |
CN111428741B (zh) | 网络社区的发现方法、装置、电子设备及可读存储介质 | |
CN117710100B (zh) | 基于区块链的数据分析方法及计算服务器 | |
CN112131446B (zh) | 图节点分类方法、装置、电子设备及存储介质 | |
CN116932761A (zh) | 文本数据标注模型的构建方法、装置和计算机设备 | |
CN117612181A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN116628538A (zh) | 基于图对齐神经网络的患者聚类方法、装置和计算机设备 | |
CN117540209A (zh) | 一种基于工业数据连接引擎的数据处理方法及系统 | |
CN116503734A (zh) | 电力设备缺陷检测方法、装置、计算机设备和存储介质 | |
CN117435758A (zh) | 图像检索方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |