CN116188876A - 基于信息混合的半监督学习方法及半监督学习装置 - Google Patents

基于信息混合的半监督学习方法及半监督学习装置 Download PDF

Info

Publication number
CN116188876A
CN116188876A CN202310324138.6A CN202310324138A CN116188876A CN 116188876 A CN116188876 A CN 116188876A CN 202310324138 A CN202310324138 A CN 202310324138A CN 116188876 A CN116188876 A CN 116188876A
Authority
CN
China
Prior art keywords
data set
semi
supervised learning
information
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310324138.6A
Other languages
English (en)
Other versions
CN116188876B (zh
Inventor
刘利非
杨吉利
朱剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiding Intelligent Technology Co ltd
Original Assignee
Shanghai Xiding Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiding Intelligent Technology Co ltd filed Critical Shanghai Xiding Intelligent Technology Co ltd
Priority to CN202310324138.6A priority Critical patent/CN116188876B/zh
Publication of CN116188876A publication Critical patent/CN116188876A/zh
Application granted granted Critical
Publication of CN116188876B publication Critical patent/CN116188876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种基于信息混合的半监督学习方法及半监督学习装置，涉及深度学习技术领域，包括：基于标记数据集对预设深度学习模型进行训练，获得初始分类模型；基于标记数据集和未标记数据集训练生成自编码网络；基于初始分类模型对未标记数据集进行分析，生成第一标签信息，基于自编码网络对未标记数据集进行分析，生成第二标签信息；基于第一标签信息和第二标签信息生成未标记数据集的混合标签信息；基于未标记数据集、混合标签信息及标记数据集对初始分类模型进行训练，生成的半监督学习模型。通过基于采用多种学习模型生成针对未标记数据集的混合标签的方式进行半监督学习模型的训练，从而有效提高半监督学习模型的训练效果。

Description

基于信息混合的半监督学习方法及半监督学习装置
技术领域
本发明涉及深度学习技术领域，具体地涉及一种基于信息混合的半监督学习方法及一种基于信息混合的半监督学习装置。
背景技术
随着图像采集设备在人们生活中的应用越来越广泛，针对图像识别技术的需求越来越高，传统的图像识别技术包括基于深度学习的图像识别技术，根据其是否利用标签进行学习，分为有监督学习、半监督学习和无监督学习三种。
传统的监督型学习模型根据样本及对应标签挖掘图像本质和内在规律，以实现对新样本类别的判断，然而该模型需要大量有标签样本的支撑，否则会出现“过拟合”的现象；传统的无监督型学习模型从图像之间的关系入手，通过某种度量准则探究图像之间的内在联系，实现对图像的归类和划分，然而该模型缺乏图像标签的指导，导致训练出来的模型判别性不足、泛化能力较弱。
为了解决上述技术问题，技术人员提出了半监督学习模型，该模型通过少量的标记标签以及大量的未标记标签对模型进行训练以实现更好的学习效果。然而在实际应用过程中，一方面，在将未标记数据作为伪标签进行训练的过程中，存在将错误的伪标签输入训练模型的问题；另一方面，现有的半监督学习模型依然存在一定的一致性损失，因此识别精确性依然有待提高。
发明内容
为了克服现有技术中存在的上述技术问题，本发明实施例提供一种基于信息混合的半监督学习方法及半监督学习装置，通过基于采用多种学习模型生成针对未标记数据集的混合标签的方式进行半监督学习模型的训练，从而有效提高半监督学习模型的训练效果。
为了实现上述目的，本发明实施例提供一种基于信息混合的半监督学习方法，所述方法包括：基于标记数据集对预设深度学习模型进行训练，获得初始分类模型；基于所述标记数据集和未标记数据集训练生成对应的自编码网络；基于所述初始分类模型对所述未标记数据集进行分析，生成第一标签信息，以及基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息；基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的混合标签信息；基于所述未标记数据集、所述混合标签信息以及所述标记数据集对所述初始分类模型进行训练，生成对应的半监督学习模型。
优选地，所述自编码网络包括编码器和解码器，所述基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息，包括：基于所述编码器对所述标记数据集进行处理，获得所述标记数据集中每张图像的第一低维特征信息，所述第一低维特征信息与不同类别相对应；基于预设聚类算法确定不同类别的中心点；基于所述编码器对所述未标记数据集进行处理，获得所述未标记数据集中每张图像的第二低维特征信息；计算确定所述第二低维特征信息与不同中心点之间的距离；基于所述距离确定所述未标记数据集中每张图像属于不同类别的第二概率信息；基于所述第二概率信息生成所述第二标签信息。
优选地，所述基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的混合标签信息，包括：基于所述初始分类模型对预设验证数据集进行分析，生成第一分析结果，基于所述自编码网络对所述预设验证数据集进行分析，生成第二分析结果；基于所述预设验证数据集的数据标签确定所述第一分析结果的第一分析准确率，以及确定所述第二分析结果的第二分析准确率；基于所述第一分析准确率和所述第二分析准确率生成所述第一标签信息的第一权重值以及所述第二标签信息的第二权重值；基于所述第一权重值、所述第一标签信息、所述第二权重值以及所述第二标签信息执行混合处理，生成混合后信息；基于所述预设归一化规则对所述混合后信息进行处理，生成所述未标记数据集的混合标签信息。
优选地，所述方法还包括：在生成所述半监督学习模型之后，获取所述半监督学习模型的损失函数；基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果；在所述验证结果为识别效果不满足预设效果的情况下，基于第一时间周期生成单位时间窗口，获取与至少一个单位时间窗口对应的至少一个窗口数据集；基于所述至少一个窗口数据集生成至少一个新的混合标签信息；基于所述至少一个新的混合标签信息对所述半监督学习模型进行迭代训练，生成迭代后模型，将所述迭代后模型作为新的半监督学习模型。
优选地，所述基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果，包括：判断当前时刻与生成所述半监督学习模型的时刻之间是否达到第二时间周期；若是，获取在前一单位时间窗口内输入所述半监督学习模型的在先窗口数据集；对所述在先数据集进行标记，生成在先标记数据集；基于所述损失函数和所述在先标记数据集判断所述半监督学习模型的学习效果是否满足预设效果；基于判断结果生成针对半监督学习模型的识别效果的验证结果。
相应的，本发明还提供一种基于信息混合的半监督学习装置，所述装置包括：模型训练单元，用于基于标记数据集对预设深度学习模型进行训练，获得初始分类模型；编码网络创建单元，用于基于所述标记数据集和未标记数据集训练生成对应的自编码网络；分析单元，用于基于所述初始分类模型对所述未标记数据集进行分析，生成第一标签信息，以及基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息；混合单元，用于基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的混合标签信息；训练单元，用于基于所述未标记数据集、所述混合标签信息以及所述标记数据集对所述初始分类模型进行训练，生成对应的半监督学习模型。
优选地，所述自编码网络包括编码器和解码器，所述基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息，包括：基于所述编码器对所述标记数据集进行处理，获得所述标记数据集中每张图像的第一低维特征信息，所述第一低维特征信息与不同类别相对应；基于预设聚类算法确定不同类别的中心点；基于所述编码器对所述未标记数据集进行处理，获得所述未标记数据集中每张图像的第二低维特征信息；计算确定所述第二低维特征信息与不同中心点之间的距离；基于所述距离确定所述未标记数据集中每张图像属于不同类别的第二概率信息；基于所述第二概率信息生成所述第二标签信息。
优选地，所述混合单元包括：验证分析模块，用于基于所述初始分类模型对预设验证数据集进行分析，生成第一分析结果，基于所述自编码网络对所述预设验证数据集进行分析，生成第二分析结果；准确率确定模块，用于基于所述预设验证数据集的数据标签确定所述第一分析结果的第一分析准确率，以及确定所述第二分析结果的第二分析准确率；权重确定模块，用于基于所述第一分析准确率和所述第二分析准确率生成所述第一标签信息的第一权重值以及所述第二标签信息的第二权重值；混合模块，用于基于所述第一权重值、所述第一标签信息、所述第二权重值以及所述第二标签信息执行混合处理，生成混合后信息；归一化模块，用于基于所述预设归一化规则对所述混合后信息进行处理，生成所述未标记数据集的混合标签信息。
优选地，所述装置还包括迭代单元，所述迭代单元用于：在生成所述半监督学习模型之后，获取所述半监督学习模型的损失函数；基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果；在所述验证结果为识别效果不满足预设效果的情况下，基于第一时间周期生成单位时间窗口，获取与至少一个单位时间窗口对应的至少一个窗口数据集；基于所述至少一个窗口数据集生成至少一个新的混合标签信息；基于所述至少一个新的混合标签信息对所述半监督学习模型进行迭代训练，生成迭代后模型，将所述迭代后模型作为新的半监督学习模型。
优选地，所述基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果，包括：判断当前时刻与生成所述半监督学习模型的时刻之间是否达到第二时间周期；若是，获取在前一单位时间窗口内输入所述半监督学习模型的在先窗口数据集；对所述在先数据集进行标记，生成在先标记数据集；基于所述损失函数和所述在先标记数据集判断所述半监督学习模型的学习效果是否满足预设效果；基于判断结果生成针对半监督学习模型的识别效果的验证结果。
通过本发明提供的技术方案，本发明至少具有如下技术效果：
通过对传统的半监督学习模型训练方法进行优化，在传统的采用单一伪标签对半监督学习模型进行训练的基础上，进一步采用多种模型对未标记数据集进行分析生成对应的多种标签，然后将多种标签进行混合以生成更好的混合标签信息，将其输入深度学习模型中进行训练，以获得训练效果更好的半监督学习模型，提高了训练效率和训练精确性。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明实施例提供的基于信息混合的半监督学习方法的具体实现流程图；
图2是本发明实施例提供的生成第二标签信息的具体实现流程图；
图3是本发明实施例提供的生成未标记数据集的混合标签信息的具体实现流程图；
图4是本发明实施例提供的基于信息混合的半监督学习装置的结构示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。另外，需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
请参见图1，本发明实施例提供一种基于信息混合的半监督学习方法，所述方法包括：
S10)基于标记数据集对预设深度学习模型进行训练，获得初始分类模型；
S20)基于所述标记数据集和未标记数据集进行训练，生成对应的自编码网络；
S30)基于所述初始分类模型对所述未标记数据集进行分析，生成第一标签信息，以及基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息；
S40)基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的第三标签信息；
S50)基于所述未标记数据集、所述第三标签信息以及所述标记数据集对所述初始分类模型进行训练，生成对应的半监督学习模型。
在一种可能的实施方式中，可以预先创建数据集，该数据集包括标记数据集和未标记数据集。在进行模型训练的过程中，首先基于标记数据集对预设深度学习模型进行训练，例如该预设深度学习模型为CNN模型，并获得对应的初始分类模型，具体的，首先创建初始CNN模型，然后基于预设归一化规则生成归一化处理层，具体的，该归一化处理层为softmax层，将该softmax层嵌入初始CNN模型的最后一层以对初始CNN模型进行优化，从而获得优化后CNN模型，将图像输入该优化后CNN模型后，将输出每张图像属于不同类别的概率，此时通过标记数据集对该优化后CNN模型进行训练，以生成初始分类模型。
然后基于标记数据集和未标记数据集训练生成对应的自编码网络，具体的，该自编码网络可以包括一个编码器和解码器，其中编码器可以将输入图像映射至低维的特征空间，解码器可以将低维特征还原为输入图像。
此时一方面，将未标记数据集输入上述初始分类模型进行分析，并生成未标记数据集中每张图像属于每个类别的概率信息，将该概率信息作为对应的第一标签信息；另一方面，将未标记数据集输入自编码网络进行分析，具体的，通过该编码器对未标记数据集进行分析，生成对应的第二标签信息。
请参见图2，在本发明实施例中，所述自编码网络包括编码器和解码器，所述基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息，包括：
S321)基于所述编码器对所述标记数据集进行处理，获得所述标记数据集中每张图像的第一低维特征信息，所述第一低维特征信息与不同类别相对应；
S322)基于预设聚类算法确定不同类别的中心点；
S323)基于所述编码器对所述未标记数据集进行处理，获得所述未标记数据集中每张图像的第二低维特征信息；
S324)计算确定所述第二低维特征信息与不同中心点之间的距离；
S325)基于所述距离确定所述未标记数据集中每张图像属于不同类别的第二概率信息；
S326)基于所述第二概率信息生成所述第二标签信息。
在一种可能的实施方式中，首先通过编码器对标记数据集中的图像进行分析后，生成每张图像的第一低维特征信息，该第一低维特征信息与不同类别相对应；然后根据预设聚类算法(例如为K-Means聚类算法)对第一低维特征信息进行聚类操作，以确定不同类别的中心点P＝{p1,p2,...,pn}，n为分类的类别数。另一方面，基于编码器对未标记数据集进行分析，以获得未标记数据集中每张图像的第二低维特征信息，然后根据该第二低维特征信息计算确定其与不同中心点之间的距离，然后根据该距离计算确定未标记数据集中每张图像属于不同类别的第二概率信息，具体的，通过将该距离的倒数执行softmax操作，从而得到上述第二概率信息，最后将该第二概率信息作为未标记数据集中每张图像的第二标签信息。
此时根据上述第一标签信息和第二标签信息生成未标记数据集中每张图像的混合标签信息，具体的，可以将第一概率信息和第二概率信息相加，然后将相加结果输入softmax模块进行归一化处理，从而得到混合多种识别概率的混合标签信息。此时基于上述未标记数据集、混合标签信息以及标记数据集对初始分类模型进行训练，生成对应的半监督学习模型。
在本发明实施例中，通过在传统的基于单一标签生成方法对半监督模型进行训练的基础上，采用基于多种标签生成方法对未标记数据集进行分析所生成的不同标签进行混合处理，以获得对应的混合标签，从而能够有效提高对半监督学习模型进行训练的数据集的丰富程度，提高对半监督学习模型的训练效果。
然而在实际应用过程中，由于不同模型对同一未标记数据集的分类效果是不同的，即其准确性不同，因此若将不同模型对同一未标记数据集的分析结果直接进行混合使用，必然降低高质量标签的数据占比、提高低质量标签的数据占比，由此降低最终训练结果的精确性。
为了解决该技术问题，请参见图3，所述基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的混合标签信息，包括：
S41)基于所述初始分类模型对预设验证数据集进行分析，生成第一分析结果，基于所述自编码网络对所述预设验证数据集进行分析，生成第二分析结果；
S42)基于所述预设验证数据集的数据标签确定所述第一分析结果的第一分析准确率，以及确定所述第二分析结果的第二分析准确率；
S43)基于所述第一分析准确率和所述第二分析准确率生成所述第一标签信息的第一权重值以及所述第二标签信息的第二权重值；
S44)基于所述第一权重值、所述第一标签信息、所述第二权重值以及所述第二标签信息执行混合处理，生成混合后信息；
S45)基于所述预设归一化规则对所述混合后信息进行处理，生成所述未标记数据集的混合标签信息。
在一种可能的实施方式中，通过预设验证数据集对基于初始分类模型确定的概率信息以及基于自编码网络确定的概率信息的准确性进行有效量化，并根据量化结果对各自确定的概率信息进行平衡处理。具体的，通过将预设验证数据集输入初始分类模型进行分析，以根据预设验证数据集中的数据标签确定初始分类模型的第一分析准确率；以及根据预设验证数据集确定由自编码网络确定的第二标签信息的第二分析准确率，根据上述两个准确率确定第一标签信息和第二标签信息分别对应的权重值，然后基于上述权重值以及标签信息进行混合处理，具体的，将第一标签信息与第一权重值的相乘结果加上对应的第二标签信息与第二权重值的相乘结果，生成对应的混合后信息，最后基于预设归一化规则对该混合后信息进行处理，具体的，可以将该混合后信息输入softmax层进行处理后，得到未标记数据集的混合标签信息。
在本发明实施例中，在采用不同模型对未标记数据集进行分析并生成对应的标签信息的基础上，通过根据每种模型的分析准确率确定每种标签的权重，并根据该权重将上述不同标签信息进行混合，从而能够保证该混合标签信息为基于不同质量的标签信息在合理比重下的混合结果，使得生成的混合标签信息具有更高的准确性和可靠性，提高了后续模型训练的精确性。
然而在实际应用过程中，在半监督学习模型训练完成后，由于所输入的数据可能发生较大变化，例如当新的数据分布与半监督学习模型不同时，其对半监督学习模型的训练效果将逐渐降低，即这类数据反而构成了对半监督学习模型的噪声、有害数据，此时原有的半监督学习模型将因识别准确性的不断下降而无法满足实际需求。
因此为了动态满足对于不同应用场景下半监督学习模型的识别精确性，可以对其识别效果进行动态跟踪，并在识别效果降低时自动对半监督学习模型进行对应的优化，从而实现动态自适应调整的技术效果。
在本发明实施例中，所述方法还包括：在生成所述半监督学习模型之后，获取所述半监督学习模型的损失函数；基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果；在所述验证结果为识别效果不满足预设效果的情况下，基于第一时间周期生成单位时间窗口，获取与至少一个单位时间窗口对应的至少一个窗口数据集；基于所述至少一个窗口数据集生成至少一个新的混合标签信息；基于所述至少一个新的混合标签信息对所述半监督学习模型进行迭代训练，生成迭代后模型，将所述迭代后模型作为新的半监督学习模型。
在一种可能的实施方式中，在生成所述半监督学习模型之后，获取所述半监督学习模型的损失函数，通过该损失函数周期性地计算半监督学习效果的识别损失，从而对半监督学习模型的识别效果进行周期性的识别效果验证。具体的，所述基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果，包括：判断当前时刻与生成所述半监督学习模型的时刻之间是否达到第二时间周期；若是，获取在前一单位时间窗口内输入所述半监督学习模型的在先窗口数据集；对所述在先数据集进行标记，生成在先标记数据集；基于所述损失函数和所述在先标记数据集判断所述半监督学习模型的学习效果是否满足预设效果；基于判断结果生成针对半监督学习模型的识别效果的验证结果。
例如对半监督学习模型的应用时间进行监控，当应用时间达到第二时间周期后，则按照基于第一时间周期确定的单位时间窗口获取在前一单位时间窗口内输入半监督学习模型的在先窗口数据集，其中第一时间周期小于第二时间周期。即利用已识别过的数据集来判断当前半监督学习模型的识别效果如何。具体的，对该在先窗口数据集进行标记，并生成对应的在先标记数据集，然后根据该损失函数和在先标记数据集计算半监督学习模型的损失情况，基于该损失情况分析半监督学习模型的学习效果，例如在一种实施例中，当前半监督学习模型的识别损失达到了40％，因此可以确定当前半监督学习模型的学习效果已经无法满足实际需求，生成识别效果不满足预设效果的验证结果。
此时获取从当前时刻起与至少一个单位时间窗口对应的至少一个窗口数据集，并基于该至少一个窗口数据集生成对应的至少一个新的混合标签信息，然后将其依次输入半监督学习模型中进行迭代训练，并生成迭代后模型，并在确定迭代后模型的识别效果达到预期的识别效果后，将该迭代后模型作为新的半监督学习模型。
在本发明实施例中，通过周期性对半监督学习模型的识别效果进行评估，从而能够动态跟踪半监督学习模型的识别效果，并根据实际情况进行动态的优化调整，实现了模型对不同分布的数据集的动态匹配，提高了半监督学习模型的有效使用时间，降低了模型训练成本，满足了实际需求。
下面结合附图对本发明实施例所提供的基于信息混合的半监督学习装置进行说明。
请参见图4，基于同一发明构思，本发明实施例提供一种基于信息混合的半监督学习装置，所述装置包括：模型训练单元，用于基于标记数据集对预设深度学习模型进行训练，获得初始分类模型；编码网络创建单元，用于基于所述标记数据集和未标记数据集训练生成对应的自编码网络；分析单元，用于基于所述初始分类模型对所述未标记数据集进行分析，生成第一标签信息，以及基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息；混合单元，用于基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的混合标签信息；训练单元，用于基于所述未标记数据集、所述混合标签信息以及所述标记数据集对所述初始分类模型进行训练，生成对应的半监督学习模型。
在本发明实施例中，所述自编码网络包括编码器和解码器，所述基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息，包括：基于所述编码器对所述标记数据集进行处理，获得所述标记数据集中每张图像的第一低维特征信息，所述第一低维特征信息与不同类别相对应；基于预设聚类算法确定不同类别的中心点；基于所述编码器对所述未标记数据集进行处理，获得所述未标记数据集中每张图像的第二低维特征信息；计算确定所述第二低维特征信息与不同中心点之间的距离；基于所述距离确定所述未标记数据集中每张图像属于不同类别的第二概率信息；基于所述第二概率信息生成所述第二标签信息。
在本发明实施例中，所述混合单元包括：验证分析模块，用于基于所述初始分类模型对预设验证数据集进行分析，生成第一分析结果，基于所述自编码网络对所述预设验证数据集进行分析，生成第二分析结果；准确率确定模块，用于基于所述预设验证数据集的数据标签确定所述第一分析结果的第一分析准确率，以及确定所述第二分析结果的第二分析准确率；权重确定模块，用于基于所述第一分析准确率和所述第二分析准确率生成所述第一标签信息的第一权重值以及所述第二标签信息的第二权重值；混合模块，用于基于所述第一权重值、所述第一标签信息、所述第二权重值以及所述第二标签信息执行混合处理，生成混合后信息；归一化模块，用于基于所述预设归一化规则对所述混合后信息进行处理，生成所述未标记数据集的混合标签信息。
在本发明实施例中，所述装置还包括迭代单元，所述迭代单元用于：在生成所述半监督学习模型之后，获取所述半监督学习模型的损失函数；基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果；在所述验证结果为识别效果不满足预设效果的情况下，基于第一时间周期生成单位时间窗口，获取与至少一个单位时间窗口对应的至少一个窗口数据集；基于所述至少一个窗口数据集生成至少一个新的混合标签信息；基于所述至少一个新的混合标签信息对所述半监督学习模型进行迭代训练，生成迭代后模型，将所述迭代后模型作为新的半监督学习模型。
在本发明实施例中，所述基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果，包括：判断当前时刻与生成所述半监督学习模型的时刻之间是否达到第二时间周期；若是，获取在前一单位时间窗口内输入所述半监督学习模型的在先窗口数据集；对所述在先数据集进行标记，生成在先标记数据集；基于所述损失函数和所述在先标记数据集判断所述半监督学习模型的学习效果是否满足预设效果；基于判断结果生成针对半监督学习模型的识别效果的验证结果。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种基于信息混合的半监督学习方法，其特征在于，所述方法包括：
基于标记数据集对预设深度学习模型进行训练，获得初始分类模型；
基于所述标记数据集和未标记数据集训练生成对应的自编码网络；
基于所述初始分类模型对所述未标记数据集进行分析，生成第一标签信息，以及基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息；
基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的混合标签信息；
基于所述未标记数据集、所述混合标签信息以及所述标记数据集对所述初始分类模型进行训练，生成对应的半监督学习模型。
2.根据权利要求1所述的方法，其特征在于，所述自编码网络包括编码器和解码器，所述基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息，包括：
基于所述编码器对所述标记数据集进行处理，获得所述标记数据集中每张图像的第一低维特征信息，所述第一低维特征信息与不同类别相对应；
基于预设聚类算法确定不同类别的中心点；
基于所述编码器对所述未标记数据集进行处理，获得所述未标记数据集中每张图像的第二低维特征信息；
计算确定所述第二低维特征信息与不同中心点之间的距离；
基于所述距离确定所述未标记数据集中每张图像属于不同类别的第二概率信息；
基于所述第二概率信息生成所述第二标签信息。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的混合标签信息，包括：
基于所述初始分类模型对预设验证数据集进行分析，生成第一分析结果，基于所述自编码网络对所述预设验证数据集进行分析，生成第二分析结果；
基于所述预设验证数据集的数据标签确定所述第一分析结果的第一分析准确率，以及确定所述第二分析结果的第二分析准确率；
基于所述第一分析准确率和所述第二分析准确率生成所述第一标签信息的第一权重值以及所述第二标签信息的第二权重值；
基于所述第一权重值、所述第一标签信息、所述第二权重值以及所述第二标签信息执行混合处理，生成混合后信息；
基于所述预设归一化规则对所述混合后信息进行处理，生成所述未标记数据集的混合标签信息。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在生成所述半监督学习模型之后，获取所述半监督学习模型的损失函数；
基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果；
在所述验证结果为识别效果不满足预设效果的情况下，基于第一时间周期生成单位时间窗口，获取与至少一个单位时间窗口对应的至少一个窗口数据集；
基于所述至少一个窗口数据集生成至少一个新的混合标签信息；
基于所述至少一个新的混合标签信息对所述半监督学习模型进行迭代训练，生成迭代后模型，将所述迭代后模型作为新的半监督学习模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果，包括：
判断当前时刻与生成所述半监督学习模型的时刻之间是否达到第二时间周期；
若是，获取在前一单位时间窗口内输入所述半监督学习模型的在先窗口数据集；
对所述在先数据集进行标记，生成在先标记数据集；
基于所述损失函数和所述在先标记数据集判断所述半监督学习模型的学习效果是否满足预设效果；
基于判断结果生成针对半监督学习模型的识别效果的验证结果。
6.一种基于信息混合的半监督学习装置，其特征在于，所述装置包括：
模型训练单元，用于基于标记数据集对预设深度学习模型进行训练，获得初始分类模型；
编码网络创建单元，用于基于所述标记数据集和未标记数据集训练生成对应的自编码网络；
分析单元，用于基于所述初始分类模型对所述未标记数据集进行分析，生成第一标签信息，以及基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息；
混合单元，用于基于所述第一标签信息和所述第二标签信息生成所述未标记数据集的混合标签信息；
训练单元，用于基于所述未标记数据集、所述混合标签信息以及所述标记数据集对所述初始分类模型进行训练，生成对应的半监督学习模型。
7.根据权利要求6所述的装置，其特征在于，所述自编码网络包括编码器和解码器，所述基于所述自编码网络对所述未标记数据集进行分析，生成第二标签信息，包括：
基于所述编码器对所述标记数据集进行处理，获得所述标记数据集中每张图像的第一低维特征信息，所述第一低维特征信息与不同类别相对应；
基于预设聚类算法确定不同类别的中心点；
基于所述编码器对所述未标记数据集进行处理，获得所述未标记数据集中每张图像的第二低维特征信息；
计算确定所述第二低维特征信息与不同中心点之间的距离；
基于所述距离确定所述未标记数据集中每张图像属于不同类别的第二概率信息；
基于所述第二概率信息生成所述第二标签信息。
8.根据权利要求6所述的装置，其特征在于，所述混合单元包括：
验证分析模块，用于基于所述初始分类模型对预设验证数据集进行分析，生成第一分析结果，基于所述自编码网络对所述预设验证数据集进行分析，生成第二分析结果；
准确率确定模块，用于基于所述预设验证数据集的数据标签确定所述第一分析结果的第一分析准确率，以及确定所述第二分析结果的第二分析准确率；
权重确定模块，用于基于所述第一分析准确率和所述第二分析准确率生成所述第一标签信息的第一权重值以及所述第二标签信息的第二权重值；
混合模块，用于基于所述第一权重值、所述第一标签信息、所述第二权重值以及所述第二标签信息执行混合处理，生成混合后信息；
归一化模块，用于基于所述预设归一化规则对所述混合后信息进行处理，生成所述未标记数据集的混合标签信息。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括迭代单元，所述迭代单元用于：
在生成所述半监督学习模型之后，获取所述半监督学习模型的损失函数；
基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果；
在所述验证结果为识别效果不满足预设效果的情况下，基于第一时间周期生成单位时间窗口，获取与至少一个单位时间窗口对应的至少一个窗口数据集；
基于所述至少一个窗口数据集生成至少一个新的混合标签信息；
基于所述至少一个新的混合标签信息对所述半监督学习模型进行迭代训练，生成迭代后模型，将所述迭代后模型作为新的半监督学习模型。
10.根据权利要求9所述的装置，其特征在于，所述基于所述损失函数对所述半监督学习模型执行周期性识别效果验证，生成验证结果，包括：
判断当前时刻与生成所述半监督学习模型的时刻之间是否达到第二时间周期；
若是，获取在前一单位时间窗口内输入所述半监督学习模型的在先窗口数据集；
对所述在先数据集进行标记，生成在先标记数据集；
基于所述损失函数和所述在先标记数据集判断所述半监督学习模型的学习效果是否满足预设效果；
基于判断结果生成针对半监督学习模型的识别效果的验证结果。
CN202310324138.6A 2023-03-29 2023-03-29 基于信息混合的半监督学习方法及半监督学习装置 Active CN116188876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310324138.6A CN116188876B (zh) 2023-03-29 2023-03-29 基于信息混合的半监督学习方法及半监督学习装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310324138.6A CN116188876B (zh) 2023-03-29 2023-03-29 基于信息混合的半监督学习方法及半监督学习装置

Publications (2)

Publication Number Publication Date
CN116188876A true CN116188876A (zh) 2023-05-30
CN116188876B CN116188876B (zh) 2024-04-19

Family

ID=86444470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310324138.6A Active CN116188876B (zh) 2023-03-29 2023-03-29 基于信息混合的半监督学习方法及半监督学习装置

Country Status (1)

Country Link
CN (1) CN116188876B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699960A (zh) * 2021-01-11 2021-04-23 华侨大学 基于深度学习的半监督分类方法、设备及存储介质
WO2022041307A1 (zh) * 2020-08-31 2022-03-03 温州医科大学 一种构建半监督图像分割框架的方法及系统
WO2022042002A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN115410026A (zh) * 2022-07-14 2022-11-29 扬州大学 基于标签传播对比半监督学习的图像分类方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041307A1 (zh) * 2020-08-31 2022-03-03 温州医科大学 一种构建半监督图像分割框架的方法及系统
WO2022042002A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN112699960A (zh) * 2021-01-11 2021-04-23 华侨大学 基于深度学习的半监督分类方法、设备及存储介质
CN115410026A (zh) * 2022-07-14 2022-11-29 扬州大学 基于标签传播对比半监督学习的图像分类方法与系统

Also Published As

Publication number Publication date
CN116188876B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN110245721B (zh) 神经网络模型的训练方法、装置和电子设备
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN115244548A (zh) 基于人工智能训练深度学习网络的方法及使用其的学习设备
CN109766481B (zh) 基于协同矩阵分解的在线哈希跨模态信息检索方法
CN116258861B (zh) 基于多标签学习的半监督语义分割方法以及分割装置
CN116151459B (zh) 基于改进Transformer的电网防汛风险概率预测方法和系统
CN111695604A (zh) 一种图像可信度的确定方法、装置及电子设备、存储介质
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN113920379A (zh) 一种基于知识辅助的零样本图像分类方法
CN114898406A (zh) 一种基于对比聚类的无监督行人重识别方法
CN114328942A (zh) 关系抽取方法、装置、设备、存储介质和计算机程序产品
CN116188876B (zh) 基于信息混合的半监督学习方法及半监督学习装置
CN116431788B (zh) 面向跨模态数据的语义检索方法
CN117634563A (zh) 一种层序列提取实现方法、系统及存储介质
CN112348108A (zh) 一种基于众包模式的样本标注方法
CN116628612A (zh) 一种无监督异常检测方法、装置、介质及设备
CN110516026A (zh) 基于图正则化非负矩阵分解的在线单模态哈希检索方法
CN113706019B (zh) 基于多维数据的业务能力分析方法、装置、设备及介质
CN111435453A (zh) 细粒度图像零样本识别方法
CN114842261A (zh) 图像处理方法、装置、电子设备及存储介质
CN113537942A (zh) 一种提高样本标记数量的方法及系统
CN114743030A (zh) 图像识别方法、装置、存储介质和计算机设备
CN116403074B (zh) 基于主动标注的半自动图像标注方法及标注装置
CN114548765B (zh) 用于风险识别的方法和装置
CN117635917B (zh) 基于半监督学习的目标检测模型训练方法及目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant