CN111898696B - 伪标签及标签预测模型的生成方法、装置、介质及设备 - Google Patents
伪标签及标签预测模型的生成方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN111898696B CN111898696B CN202010796408.XA CN202010796408A CN111898696B CN 111898696 B CN111898696 B CN 111898696B CN 202010796408 A CN202010796408 A CN 202010796408A CN 111898696 B CN111898696 B CN 111898696B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- unlabeled
- training
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 118
- 238000010801 machine learning Methods 0.000 claims abstract description 53
- 230000009466 transformation Effects 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 19
- 238000013473 artificial intelligence Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000004040 coloring Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请的实施例提供了一种伪标签及标签预测模型的生成方法、装置、介质及设备。该标签预测模型的生成方法包括：通过已标注图像对机器学习模型进行监督训练得到第一模型；基于自监督学习任务，通过未标注图像和已标注图像对所述第一模型中包含的编码器网络进行自监督训练得到第二模型；通过所述第二模型预测未标注图像的伪标签；根据未标注图像和所述未标注图像的伪标签，以及所述已标注图像对所述第二模型进行联合训练，得到标签预测模型。本申请实施例的技术方案提高了伪标签的生成效率，并且也可以提高伪标签生成的准确性，不仅降低了机器学习模型在训练时对标注数据的需求，而且有利于提升基于生成的伪标签训练得到的机器学习模型的性能。
Description
技术领域
本申请涉及计算机及通信技术领域，具体而言，涉及一种伪标签及标签预测模型的生成方法、装置、介质及设备。
背景技术
在人工智能的应用中，伪标签是在模型训练时给未标记数据生成的预测标签，这样做的目的是为了解决数据未被标记的问题。相关技术中在生成未标记数据的伪标签时不仅计算量较大，导致伪标签的生成效率较低，而且生成的伪标签的准确性也较低，进而影响了基于伪标签得到的机器学习模型的性能。
发明内容
本申请的实施例提供了一种伪标签及标签预测模型的生成方法、装置、介质及设备，进而至少在一定程度上可以提高伪标签的生成效率，进而有利于提升基于生成的伪标签训练得到的机器学习模型的性能。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种图像伪标签的生成方法，包括：基于自监督学习任务对待处理图像进行图像变换处理，生成所述待处理图像对应的多个变换图像；将所述多个变换图像分别输入至第二模型中，所述第二模型是基于自监督学习任务，通过未标注图像和已标注图像对第一模型中包含的编码器网络进行自监督训练后得到的，所述第一模型是通过所述已标注图像对机器学习模型进行监督训练得到的；获取所述第二模型输出的所述多个变换图像分别对应的预测标签；根据所述多个变换图像分别对应的预测标签，生成所述待处理图像的伪标签。
根据本申请实施例的一个方面，提供了一种标签预测模型的生成方法，包括：通过已标注图像对机器学习模型进行监督训练，得到第一模型；基于自监督学习任务，通过未标注图像和所述已标注图像对所述第一模型中包含的编码器网络进行自监督训练，得到第二模型；通过所述第二模型预测所述未标注图像的伪标签；根据所述未标注图像和所述未标注图像的伪标签，以及所述已标注图像对所述第二模型进行联合训练，得到标签预测模型。
根据本申请实施例的一个方面，提供了一种图像伪标签的生成装置，包括：第一生成单元，配置为基于自监督学习任务对待处理图像进行图像变换处理，生成所述待处理图像对应的多个变换图像；输入单元，配置为将所述多个变换图像分别输入至第二模型中，所述第二模型是基于自监督学习任务，通过未标注图像和已标注图像对第一模型中包含的编码器网络进行自监督训练后得到的，所述第一模型是通过所述已标注图像对机器学习模型进行监督训练得到的；获取单元，配置为获取所述第二模型输出的所述多个变换图像分别对应的预测标签；第二生成单元，配置为根据所述多个变换图像分别对应的预测标签，生成所述待处理图像的伪标签。
在本申请的一些实施例中，基于前述方案，所述第一生成单元配置为：按照设定的图像划分方式将所述待处理图像划分为多个图像块，并对所述待处理图像的多个图像块进行排列组合，以生成所述待处理图像对应的多个变换图像。
在本申请的一些实施例中，基于前述方案，所述第二生成单元配置为：计算所述多个变换图像分别对应的预测标签的均值，将所述均值作为所述待处理图像的伪标签。
根据本申请实施例的一个方面，提供了一种标签预测模型的生成装置，包括：第一训练单元，配置为通过已标注图像对机器学习模型进行监督训练，得到第一模型；第二训练单元，配置为基于自监督学习任务，通过未标注图像和所述已标注图像对所述第一模型中包含的编码器网络进行自监督训练，得到第二模型；预测单元，配置为通过所述第二模型预测所述未标注图像的伪标签；第三训练单元，配置为根据所述未标注图像和所述未标注图像的伪标签，以及所述已标注图像对所述第二模型进行联合训练，得到标签预测模型。
在本申请的一些实施例中，基于前述方案，所述第二训练单元配置为：基于自监督学习任务，生成所述未标注图像和所述已标注图像中各个图像对应的变换图像；将所述各个图像作为训练目标、并将所述各个图像对应的变换图像作为训练样本对所述第一模型中包含的编码器网络进行训练。
在本申请的一些实施例中，基于前述方案，所述第二训练单元配置为：按照设定的图像划分方式对所述未标注图像和所述已标注图像分别进行划分得到各个图像对应的多个图像块；对所述各个图像对应的多个图像块进行重新排列，以生成所述各个图像对应的变换图像。
在本申请的一些实施例中，基于前述方案，所述第二训练单元配置为：从预定的排列组合序列中随机选择一个排列组合序列对所述各个图像对应的多个图像块进行重新排列。
在本申请的一些实施例中，基于前述方案，所述标签预测模型的生成装置还包括：第三生成单元，配置为按照所述图像划分方式将指定图像划分为多个图像块，并生成所述指定图像的多个图像块所对应的排列组合序列；从所述排列组合序列中选择出相互之间差别大于或等于设定值的预定数量个排列组合序列作为所述预定的排列组合序列。
在本申请的一些实施例中，基于前述方案，所述第三生成单元还配置为：计算所述排列组合序列中每两个排列组合序列之间的汉明距离，根据所述汉明距离确定所述每两个排列组合序列之间的差别。
在本申请的一些实施例中，基于前述方案，所述预测单元配置为：按照设定的图像划分方式将所述未标注图像划分为多个图像块，并对所述未标注图像的多个图像块进行排列组合，生成所述未标注图像对应的多个变换图像；将所述多个变换图像分别输入至所述第二模型中，并获取所述第二模型输出的所述多个变换图像分别对应的预测标签；根据所述多个变换图像分别对应的预测标签，生成所述未标注图像的伪标签。
在本申请的一些实施例中，基于前述方案，所述第三训练单元配置为：计算所述已标注图像的监督训练损失值，并计算所述已标注图像和所述未标注图像的自监督训练损失值；根据所述未标注图像和所述未标注图像的伪标签，计算所述未标注图像中伪标签置信度大于或等于设定阈值的目标区域的损失值；根据所述监督训练损失值、所述自监督训练损失值和所述未标注图像中伪标签置信度大于或等于设定阈值的目标区域的损失值生成损失函数；基于所述损失函数，通过所述未标注图像和所述已标注图像对所述第二模型进行联合训练。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的图像伪标签的生成方法或标签预测模型的生成方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像伪标签的生成方法或标签预测模型的生成方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的图像伪标签的生成方法或标签预测模型的生成方法。
在本申请的一些实施例所提供的技术方案中，通过利用已标注数据对机器学习模型进行监督训练，使得得到的第一模型可以获得一定的图片特征提取与判别能力，然后基于自监督学习任务，通过未标注图像和已标注图像对第一模型中包含的编码器网络进行自监督训练得到第二模型，使得第二模型能够进一步获得图片特征提取与判别的能力。通过基于自监督学习任务对待处理图像(该待处理图像可以是未标注图像)进行图像变换处理，生成待处理图像对应的多个变换图像，然后通过第二模型预测多个变换图像分别对应的预测标签，进而根据多个变换图像分别对应的预测标签生成待处理图像的伪标签，使得能够基于一个模型(即第二模型)对多个变换图像的标签预测处理来生成待处理图像的伪标签，提高了伪标签的生成效率，并且也可以提高伪标签生成的准确性，不仅降低了机器学习模型在训练时对标注数据的需求，而且有利于提升基于生成的伪标签训练得到的机器学习模型的性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；
图2示出了根据本申请的一个实施例的标签预测模型的生成方法的流程图；
图3示出了根据本申请的一个实施例的图像伪标签的生成方法的流程图；
图4示出了根据本申请的一个实施例的图像伪标签的生成过程示意图；
图5示出了根据本申请的一个实施例的图像伪标签的生成装置的框图；
图6示出了根据本申请的一个实施例的标签预测模型的生成装置的框图；
图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，简称CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，简称ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
本申请实施例的技术方案主要侧重于人工智能领域中基于机器学习来实现图像处理的技术。其中，图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构可以包括终端设备101)、网络102和服务器103。网络102用以在终端设备和服务器103之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在本申请的一个实施例中，可以向服务器103提供未标注图像和已标注图像，该未标注图像和已标注图像可以是图1中所示的便携式计算机101提供给服务器103的，也可以是其它终端设备提供给服务器103，或者还可以是服务器103从互联网中下载下来的。服务器103在获取到未标注图像和已标注图像之后，可以通过已标注图像对机器学习模型进行监督训练得到第一模型，使得第一模型可以获得一定的图片特征提取与判别能力。可选地，机器学习模型可以是FCN(Fully Convolutional Networks，全卷积神经网络)模型、DNN(Deep Neural Networks，深度神经网络)模型等。
在本申请的一个实施例中，在得到第一模型之后，服务器103可以基于自监督学习任务，通过未标注图像和已标注图像对第一模型中包含的编码器网络进行自监督训练得到第二模型。可选地，自监督学习任务可以是对图像(包括未标注图像和已标注图像)进行切块重排之后的复原任务，也可以是对图像进行旋转之后的旋转预测任务，还可以是将图像转换为灰度图之后的上色任务等。在得到第二模型之后，服务器103可以通过该第二模型预测未标注图像的伪标签，进而服务器103可以根据未标注图像和未标注图像的伪标签，以及已标注图像对第二模型进行联合训练，得到标签预测模型。
在本申请的一个实施例中，用户可以通过终端设备101向服务器103提供待处理图像，该待处理图像可以是需要生成伪标签的图像，或者是需要生成图像标签的图像。如果该待处理图像是需要生成伪标签的图像，那么服务器103可以通过第二模型生成该待处理图像的伪标签；如果该待处理图像是需要生成图像标签的图像，那么服务器103可以通过标签预测模型生成该待处理图像的图像标签。
在本申请的一个实施例中，可以将图1所示的系统架构应用于云计算场景中，云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”，“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
比如，图1中的服务器103可以是提供资源的网络，即可以称之为“云”。服务器103提供的云服务可以是人工智能云服务，所谓人工智能云服务，一般也被称作是AIaaS(AI asa Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
需要说明的是，本申请实施例所提供的图像伪标签的生成方法和标签预测模型的生成方法一般由服务器103执行，相应地，图像伪标签的生成装置和标签预测模型的生成装置一般设置于服务器103中。但是，在本申请的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本申请实施例所提供的图像伪标签的生成方案和标签预测模型的生成方案。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2示出了根据本申请的一个实施例的标签预测模型的生成方法的流程图，该标签预测模型的生成方法可以由服务器来执行，该服务器可以是图1中所示的服务器103。参照图2所示，该标签预测模型的生成方法至少包括步骤S210至步骤S240，详细介绍如下：
在步骤S210中，通过已标注图像对机器学习模型进行监督训练，得到第一模型。
在本申请的一个实施例中，机器学习模型可以是FCN模型、DNN模型等。其中，对机器学习模型进行监督训练的过程即是使机器学习模型的输出结果与已标注图像的标签尽可能相同。可选地，已标注图像的标签可以是图像的分割结果、分类结果等。
在步骤S220中，基于自监督学习任务，通过未标注图像和已标注图像对第一模型中包含的编码器网络进行自监督训练，得到第二模型。
在本申请的一个实施例中，基于自监督学习任务，通过未标注图像和已标注图像对第一模型中包含的编码器网络进行自监督训练的过程可以是基于自监督学习任务，生成未标注图像和已标注图像中各个图像对应的变换图像，然后将各个图像作为训练目标、并将各个图像对应的变换图像作为训练样本对第一模型中包含的编码器网络进行训练。
在本申请的一个实施例中，自监督学习任务可以是对图像(包括未标注图像和已标注图像)进行切块重排之后的复原任务。在这种情况下，可以按照设定的图像划分方式对未标注图像和已标注图像分别进行划分得到各个图像对应的多个图像块，然后对各个图像对应的多个图像块进行重新排列，以生成各个图像对应的变换图像。可选地，设定的图像划分方式可以是将图像划分为3×3规格的图像块，那么变化图像即是将得到的9个图像块重新进行排列得到的图像。
在本申请的一个实施例中，在对各个图像对应的多个图像块进行重新排列时，可以从预定的排列组合序列中随机选择一个排列组合序列对各个图像对应的多个图像块进行重新排列。为了保证对第一模型进行自监督训练的有效性，该预定的排列组合序列中的各个排列组合序列可以是相互之间差别比较大的排列组合序列，选择这些相互之间差别比较大的排列组合序列的过程可以是：按照上述的图像划分方式将指定图像(该指定图像可以是前述的未标注图像和已标注图像中的任意一个，也可以是其它的图像)划分为多个图像块，并生成该指定图像的多个图像块所对应的排列组合序列，然后从该指定图像的多个图像块所对应的排列组合序列中选择出相互之间差别大于或等于设定值的预定数量个排列组合序列作为预定的排列组合序列。
在本申请的一个实施例中，在计算排列组合序列之间的差别时，可以计算每两个排列组合序列之间的汉明距离，然后根据汉明距离确定每两个排列组合序列之间的差别。即若两个排列组合序列之间的汉明距离越大，那么说明这两个排列组合序列之间的差别越大。可选地，在本申请的其它实施例中，也可以通过计算两个排列组合序列之间的欧氏距离、余弦相似度等来确定两个排列组合序列之间的差别。
在本申请的一个实施例中，自监督学习任务除了可以是对图像进行切块重排之后的复原任务之外，也可以是对图像进行旋转之后的旋转预测任务，还可以是将图像转换为灰度图之后的上色任务等。
如果自监督学习任务是对图像进行旋转之后的旋转预测任务，那么针对未标注图像和已标注图像中的各个图像生成的变换图像即为将各个图像进行不同角度的旋转后得到的旋转图像，然后将各个图像作为训练目标、并将各个图像对应的旋转图像作为训练样本对第一模型中包含的编码器网络进行训练。
如果自监督学习任务是将图像转换为灰度图之后的上色任务，那么针对未标注图像和已标注图像中的各个图像生成的变换图像即为将各个图像的不同区域进行灰度化处理得到的灰度图，然后将各个图像作为训练目标、并将各个图像对应的灰度图像作为训练样本对第一模型中包含的编码器网络进行训练。
继续参照图2所示，在步骤S230中，通过第二模型预测未标注图像的伪标签。
在本申请的一个实施例中，在通过前述步骤的训练过程之后，第二模型具有了一定的特征提取和判别能力，因此可以通过第二模型预测未标注图像的伪标签。
在本申请的一个实施例中，如果自监督学习任务是对图像进行切块重排之后的复原任务。那么在通过第二模型预测未标注图像的伪标签时，可以按照前述的图像划分方式将未标注图像划分为多个图像块，并对未标注图像的多个图像块进行排列组合，生成未标注图像对应的多个变换图像，然后将未标注图像的多个变换图像分别输入至第二模型中，并获取第二模型输出的多个变换图像分别对应的预测标签，进而可以根据这多个变换图像分别对应的预测标签，生成未标注图像的伪标签。比如可以将这多个变换图像分别对应的预测标签的均值作为未标注图像的伪标签。
在本申请的一个实施例中，如果自监督学习任务是对图像进行旋转之后的旋转预测任务，那么在通过第二模型预测未标注图像的伪标签时，可以将未标注图像进行不同角度的旋转得到多个旋转图像，然后将这多个旋转图像分别输入至第二模型中，并获取第二模型输出的多个旋转图像分别对应的预测标签，进而可以根据这多个旋转图像分别对应的预测标签，生成未标注图像的伪标签。比如可以将这多个旋转图像分别对应的预测标签的均值作为未标注图像的伪标签。
在本申请的一个实施例中，如果自监督学习任务是将图像转换为灰度图之后的上色任务，那么在通过第二模型预测未标注图像的伪标签时，可以将未标注图像的不同区域进行灰度化处理得到多个灰度图，然后将这多个灰度图分别输入至第二模型中，并获取第二模型输出的多个灰度图分别对应的预测标签，进而可以根据这多个灰度图分别对应的预测标签，生成未标注图像的伪标签。比如可以将这多个灰度图分别对应的预测标签的均值作为未标注图像的伪标签。
继续参照图2所示，在步骤S240中，根据未标注图像和未标注图像的伪标签，以及已标注图像对第二模型进行联合训练，得到标签预测模型。
在本申请的一个实施例中，在对第二模型进行联合训练时，可以基于已标注图像的监督训练的损失值、已标注图像和未标注图像的自监督训练损失值，以及根据伪标签得到的损失值来计算对第二模型进行训练时的损失函数，进而基于该损失函数，通过未标注图像和已标注图像对第二模型进行联合训练。可选地，根据伪标签得到的损失值可以是根据未标注图像和未标注图像的伪标签，计算未标注图像中伪标签置信度大于或等于设定阈值的目标区域的损失值，即只考虑未标注图像中伪标签置信度较大的区域的损失值，进而可以提高模型训练的准确性。
图2所示实施例的技术方案使得在模型训练过程中集成了伪标签的生成过程，进而无需单独进行额外的伪标签生成过程，提高了伪标签的生成效率，并且也可以提高伪标签生成的准确性，不仅降低了机器学习模型在训练时对标注数据的需求，而且有利于提升基于生成的伪标签训练得到的机器学习模型的性能。
图3示出了根据本申请的一个实施例的图像伪标签的生成方法的流程图，该图像伪标签的生成方法可以由服务器来执行，该服务器可以是图1中所示的服务器103。参照图3所示，该图像伪标签的生成方法至少包括步骤S310至步骤S340，详细介绍如下：
在步骤S310中，基于自监督学习任务对待处理图像进行图像变换处理，生成待处理图像对应的多个变换图像。
在本申请的一个实施例中，如果自监督学习任务是对图像进行切块重排之后的复原任务，那么对待处理图像进行图像变换处理可以是按照设定的图像划分方式将待处理图像划分为多个图像块，然后对待处理图像的多个图像块进行排列组合，以生成待处理图像对应的多个变换图像。可选地，设定的图像划分方式可以是将图像划分为3×3规格的图像块，那么变化图像即是将得到的9个图像块重新进行排列得到的图像。
在本申请的一个实施例中，如果自监督学习任务是对图像进行旋转之后的旋转预测任务，那么对待处理图像进行图像变换处理得到的变换图像可以是将待处理图像进行不同角度的旋转后得到的旋转图像。
在本申请的一个实施例中，如果自监督学习任务是将图像转换为灰度图之后的上色任务，那么对待处理图像进行图像变换处理得到的变换图像可以是将待处理图像中的不同区域进行灰度化处理得到的灰度图。
在步骤S320中，将待处理图像对应的多个变换图像分别输入至第二模型中，该第二模型是基于自监督学习任务，通过未标注图像和已标注图像对第一模型中包含的编码器网络进行自监督训练后得到的，该第一模型是通过已标注图像对机器学习模型进行监督训练得到的。
在本申请的一个实施例中，第一模型和第二模型的生成过程可以参照前述实施例的技术方案，不再赘述。
在步骤S330中，获取第二模型输出的待处理图像的多个变换图像分别对应的预测标签。
在步骤S340中，根据待处理图像的多个变换图像分别对应的预测标签，生成待处理图像的伪标签。
在本申请的一个实施例中，可以计算多个变换图像分别对应的预测标签的均值，然后将该均值作为待处理图像的伪标签。
需要说明的是，在图3所示的实施例中，待处理图像可以是对第一模型中包含的编码器网络进行自监督训练时所用到的未标注图像，也可以是其它的图像。
图3所示实施例的技术方案使得能够基于一个模型(即第二模型)对多个变换图像的标签预测处理来生成待处理图像的伪标签，提高了伪标签的生成效率，并且也可以提高伪标签生成的准确性，不仅降低了机器学习模型在训练时对标注数据的需求，而且有利于提升基于生成的伪标签训练得到的机器学习模型的性能。
以下以自监督学习任务是对图像进行切块重排之后的复原任务、已标注图像是带有标注病灶区域位置的医学图像、未标注图像是未标记病灶区域位置的医学图像为例，对本申请实施例的技术方案进行详细阐述：
如图4所示，可以先利用已标注图像对机器学习模型(如深度学习模型)进行训练，使机器学习模型获得一定的图片特征提取与判别能力，该过程即为图4中所示的将已标注图像直接输入至机器学习模型401中并得到监督训练损失LSEG的过程。
然后，可以利用拼图自监督学习任务对已标注图像和未标注图像进行打乱，并以打乱模式作为监督信息(LSS)训练机器学习模型的编码器部分，该过程即为图4中所示的将已标注图像和未标注图像通过重排输入至机器学习模型401中得到自监督训练损失LSS的过程。
在进行自监督训练之后，可以将未标注图像进行重排并输入至机器学习模型401中，得到针对未标注图像的每个重排之后的图像对应的标签预测结果，最后将未标注图像的所有重排之后的图像对应的标签预测结果进行平均得到未标记图像的分割伪标签yst。在得到未标记图像的分割伪标签之后，可以通过已标记图像和未标记图像对机器学习模型401进行联合训练，最后得到分割标签预测模型。以下对各个过程进行详细说明：
在本申请的一个实施例中，可以采用公开的MoNuSeg细胞核分割数据集训练与验证本申请实施例技术方案的有效性。该数据集包含15张已标注图像与15张未标注图像。同时，该数据集包含一个公开的测试集，其中包括14张已标注图像用于对算法性能进行评估。
在本申请的一个实施例中，在进行自监督训练时，需要对输入图像进行切块并重排。以3×3的拼图为例，如图4所示，可以将一张输入图像划分为9个图片块，然后生成这9个图片块的所有排列组合序列P＝(P1,P2,…,PQ)，这些排列组合序列影响了拼图复原任务的复杂程度，如果两个排列组合序列相互之间过于相似，那么网络的学习过程就会变得非常简单，难以学习到复杂的特征信息。为了保证学习的有效性，可以计算每两个排列组合序列的汉明距离，然后选取相互之间差别更大的P'个排列组合序列。对于每次拼图复原的训练输入图像(包括未标注图像和已标注图像)，可以从这P'个排列组合序列中随机抽取一个，然后将裁切好的9个图片块按照随机抽取出的序列的顺序进行重新排列，之后输入至机器学习模型401中对编码器部分进行训练。
在进行基于已标注图像的监督训练，以及已标注图像和未标注图像的自监督训练之后，可以通过机器学习模型401来生成未标注图像的伪标签。具体地，对于一张未标注图像，可以采用如图4中所示的方式对图像进行Q次拼图变换，得到Q张变换后的图像，即图4中所示的(P1,P2,…,PQ)。然后，将生成的Q张变换后的图像分别通过机器学习模型401进行编码器部分的自监督预测与全卷积网络的分割预测，即判断输入图像做了何种拼图变换和病灶检测，最后机器学习模型401输出了每张变换后的图像对应的预测标签Si，进而可以将Q张变换后的图像分别对应的预测标签取平均值，以得到未标注图像的伪标签ysl，如下述公式所示：
其中，T-1(Si)表示第i张变换后的图像经过逆排列变换后的预测标签，ωi表示T-1(Si)的权重，如果取均值，那么ωi＝1/Q。
在本申请的一个实施例中，当得到未标注图像的伪标签之后，可以通过已标注图像和未标注图像对机器学习模型进行联合训练。其中，对于未标注图像，可以根据得到的伪标签计算训练损失，具体损失函数如下：
其中，H和W分别表示未标注图像的高和宽；ysl表示未标注图像的伪标签；Sx表示机器学习模型针对未标注图像输出的预测标签；Ⅱ(ysl＞th)表示取未标注图像中伪标签置信度大于阈值th的区域，即在本申请的实施例中，只计算伪标签置信度大于阈值的区域的损失值。
在本申请的一个实施例中，已标注图像的监督学习损失为LSEG，自监督训练的损失为LSS，假设一共有N个已标注图像和M个未标注图像/>那么进行联合训练的损失函数定义如下：
其中，T表示拼图的排列变换，gi表示自监督信息。
在通过前述的损失函数对机器学习模型进行联合训练之后，可以通过训练后的机器学习模型预测待处理图像的分割标签。
需要说明的是，图4所示实施例的技术方案是以自监督学习任务是对图像进行切块重排之后的复原任务为例进行的阐述，在本申请的其它实施例中，自监督学习任务还可以是对图像进行旋转之后的旋转预测任务，或者是将图像转换为灰度图之后的上色任务等。如果自监督学习任务不同，那么在进行自监督训练时所采用的方案会有差别，比如，若自监督学习任务是对图像进行旋转之后的旋转预测任务，那么在进行自监督训练时可以将输入图像(包括未标注图像和已标注图像)进行不同角度的旋转后得到旋转图像，然后将各个输入图像作为训练目标、并将各个输入图像对应的旋转图像作为训练样本来对机器学习模型中包含的编码器网络进行训练。之后在生成未标注图像的伪标签时，可以将未标注图像进行不同角度的旋转得到多个旋转图像，然后将这多个旋转图像分别输入至经过自监督训练后的机器学习模型中，得到多个旋转图像分别对应的预测标签，进而可以根据这多个旋转图像分别对应的预测标签，生成未标注图像的伪标签。比如可以将这多个旋转图像分别对应的预测标签的均值作为未标注图像的伪标签。
如果自监督学习任务是将图像转换为灰度图之后的上色任务，那么在进行自监督训练时可以将输入图像(包括未标注图像和已标注图像)的不同区域进行灰度化处理得到的灰度图，然后将各个输入图像作为训练目标、并将各个输入图像对应的灰度图像作为训练样本对第一模型中包含的编码器网络进行训练。之后在生成未标注图像的伪标签时，可以将未标注图像的不同区域进行灰度化处理得到多个灰度图，然后将这多个灰度图分别输入至经过自监督训练后的机器学习模型中，得到多个灰度图分别对应的预测标签，进而可以根据这多个灰度图分别对应的预测标签，生成未标注图像的伪标签。比如可以将这多个灰度图分别对应的预测标签的均值作为未标注图像的伪标签。
此外，本申请实施例的技术方案除了可以用于对图像进行分割预测之外，还可以应用于诸如图像分类预测、图像识别预测等领域。
本申请上述实施例的技术方案使得在模型训练过程中集成了伪标签的生成过程，进而无需单独进行额外的伪标签生成过程，提高了伪标签的生成效率，并且也可以提高伪标签生成的准确性，不仅降低了机器学习模型在训练时对标注数据的需求，而且有利于提升基于生成的伪标签训练得到的机器学习模型的性能。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的图像伪标签的生成方法和标签预测模型的生成方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的图像伪标签的生成方法和标签预测模型的生成方法的实施例。
图5示出了根据本申请的一个实施例的图像伪标签的生成装置的框图，该图像伪标签的生成装置可以设置在服务器内部。
参照图5所示，根据本申请的一个实施例的图像伪标签的生成装置500，包括：第一生成单元502、输入单元504、获取单元506和第二生成单元508。
其中，第一生成单元502配置为基于自监督学习任务对待处理图像进行图像变换处理，生成所述待处理图像对应的多个变换图像；输入单元504配置为将所述多个变换图像分别输入至第二模型中，所述第二模型是基于自监督学习任务，通过未标注图像和已标注图像对第一模型中包含的编码器网络进行自监督训练后得到的，所述第一模型是通过所述已标注图像对机器学习模型进行监督训练得到的；获取单元506配置为获取所述第二模型输出的所述多个变换图像分别对应的预测标签；第二生成单元508配置为根据所述多个变换图像分别对应的预测标签，生成所述待处理图像的伪标签。
在本申请的一些实施例中，基于前述方案，第一生成单元502配置为：按照设定的图像划分方式将所述待处理图像划分为多个图像块，并对所述待处理图像的多个图像块进行排列组合，以生成所述待处理图像对应的多个变换图像。
在本申请的一些实施例中，基于前述方案，第二生成单元508配置为：计算所述多个变换图像分别对应的预测标签的均值，将所述均值作为所述待处理图像的伪标签。
图6示出了根据本申请的一个实施例的标签预测模型的生成装置的框图，该标签预测模型的生成装置可以设置在服务器内部。
参照图6所示，根据本申请的一个实施例的标签预测模型的生成装置600，包括：第一训练单元602、第二训练单元604、预测单元606和第三训练单元608。
其中，第一训练单元602配置为通过已标注图像对机器学习模型进行监督训练，得到第一模型；第二训练单元604配置为基于自监督学习任务，通过未标注图像和所述已标注图像对所述第一模型中包含的编码器网络进行自监督训练，得到第二模型；预测单元606配置为通过所述第二模型预测所述未标注图像的伪标签；第三训练单元608配置为根据所述未标注图像和所述未标注图像的伪标签，以及所述已标注图像对所述第二模型进行联合训练，得到标签预测模型。
在本申请的一些实施例中，基于前述方案，第二训练单元604配置为：基于自监督学习任务，生成所述未标注图像和所述已标注图像中各个图像对应的变换图像；将所述各个图像作为训练目标、并将所述各个图像对应的变换图像作为训练样本对所述第一模型中包含的编码器网络进行训练。
在本申请的一些实施例中，基于前述方案，第二训练单元604配置为：按照设定的图像划分方式对所述未标注图像和所述已标注图像分别进行划分得到各个图像对应的多个图像块；对所述各个图像对应的多个图像块进行重新排列，以生成所述各个图像对应的变换图像。
在本申请的一些实施例中，基于前述方案，第二训练单元604配置为：从预定的排列组合序列中随机选择一个排列组合序列对所述各个图像对应的多个图像块进行重新排列。
在本申请的一些实施例中，基于前述方案，所述标签预测模型的生成装置600还包括：第三生成单元，配置为按照所述图像划分方式将指定图像划分为多个图像块，并生成所述指定图像的多个图像块所对应的排列组合序列；从所述排列组合序列中选择出相互之间差别大于或等于设定值的预定数量个排列组合序列作为所述预定的排列组合序列。
在本申请的一些实施例中，基于前述方案，所述第三生成单元还配置为：计算所述排列组合序列中每两个排列组合序列之间的汉明距离，根据所述汉明距离确定所述每两个排列组合序列之间的差别。
在本申请的一些实施例中，基于前述方案，预测单元606配置为：按照设定的图像划分方式将所述未标注图像划分为多个图像块，并对所述未标注图像的多个图像块进行排列组合，生成所述未标注图像对应的多个变换图像；将所述多个变换图像分别输入至所述第二模型中，并获取所述第二模型输出的所述多个变换图像分别对应的预测标签；根据所述多个变换图像分别对应的预测标签，生成所述未标注图像的伪标签。
在本申请的一些实施例中，基于前述方案，第三训练单元608配置为：计算所述已标注图像的监督训练损失值，并计算所述已标注图像和所述未标注图像的自监督训练损失值；根据所述未标注图像和所述未标注图像的伪标签，计算所述未标注图像中伪标签置信度大于或等于设定阈值的目标区域的损失值；根据所述监督训练损失值、所述自监督训练损失值和所述未标注图像中伪标签置信度大于或等于设定阈值的目标区域的损失值生成损失函数；基于所述损失函数，通过所述未标注图像和所述已标注图像对所述第二模型进行联合训练。
图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(Central Processing Unit，CPU)701，其可以根据存储在只读存储器(Read-Only Memory，ROM)702中的程序或者从存储部分708加载到随机访问存储器(Random Access Memory，RAM)703中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(Input/Output，I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (13)
1.一种标签预测模型的生成方法，其特征在于，包括：
通过已标注图像对机器学习模型进行监督训练，得到第一模型；
基于自监督学习任务，通过未标注图像和所述已标注图像对所述第一模型中包含的编码器网络进行自监督训练，得到第二模型；
通过所述第二模型预测所述未标注图像的伪标签；
根据所述未标注图像和所述未标注图像的伪标签，以及所述已标注图像对所述第二模型进行联合训练，得到标签预测模型。
2.根据权利要求1所述的标签预测模型的生成方法，其特征在于，基于自监督学习任务，通过未标注图像和所述已标注图像对所述第一模型中包含的编码器网络进行自监督训练，包括：
基于自监督学习任务，生成所述未标注图像和所述已标注图像中各个图像对应的变换图像；
将所述各个图像作为训练目标、并将所述各个图像对应的变换图像作为训练样本对所述第一模型中包含的编码器网络进行训练。
3.根据权利要求2所述的标签预测模型的生成方法，其特征在于，基于自监督学习任务，生成所述未标注图像和所述已标注图像中各个图像对应的变换图像，包括：
按照设定的图像划分方式对所述未标注图像和所述已标注图像分别进行划分得到各个图像对应的多个图像块；
对所述各个图像对应的多个图像块进行重新排列，以生成所述各个图像对应的变换图像。
4.根据权利要求3所述的标签预测模型的生成方法，其特征在于，对所述各个图像对应的多个图像块进行重新排列，包括：
从预定的排列组合序列中随机选择一个排列组合序列对所述各个图像对应的多个图像块进行重新排列。
5.根据权利要求4所述的标签预测模型的生成方法，其特征在于，所述标签预测模型的生成方法还包括：
按照所述图像划分方式将指定图像划分为多个图像块，并生成所述指定图像的多个图像块所对应的排列组合序列；
从所述排列组合序列中选择出相互之间差别大于或等于设定值的预定数量个排列组合序列作为所述预定的排列组合序列。
6.根据权利要求5所述的标签预测模型的生成方法，其特征在于，所述标签预测模型的生成方法还包括：
计算所述排列组合序列中每两个排列组合序列之间的汉明距离，根据所述汉明距离确定所述每两个排列组合序列之间的差别。
7.根据权利要求1所述的标签预测模型的生成方法，其特征在于，通过所述第二模型预测所述未标注图像的伪标签，包括：
基于自监督学习任务对所述未标注图像进行图像变换处理，生成所述未标注图像对应的多个变换图像；
将所述多个变换图像分别输入至所述第二模型中，并获取所述第二模型输出的所述多个变换图像分别对应的预测标签；
根据所述多个变换图像分别对应的预测标签，生成所述未标注图像的伪标签。
8.根据权利要求7所述的标签预测模型的生成方法，其特征在于，基于自监督学习任务对所述未标注图像进行图像变换处理，生成所述未标注图像对应的多个变换图像，包括：
按照设定的图像划分方式将所述未标注图像划分为多个图像块，并对所述未标注图像的多个图像块进行排列组合，以生成所述未标注图像对应的多个变换图像。
9.根据权利要求7所述的标签预测模型的生成方法，其特征在于，根据所述多个变换图像分别对应的预测标签，生成所述未标注图像的伪标签，包括：
计算所述多个变换图像分别对应的预测标签的均值，将所述均值作为所述未标注图像的伪标签。
10.根据权利要求1至9中任一项所述的标签预测模型的生成方法，其特征在于，根据所述未标注图像和所述未标注图像的伪标签，以及所述已标注图像对所述第二模型进行联合训练，包括：
计算所述已标注图像的监督训练损失值，并计算所述已标注图像和所述未标注图像的自监督训练损失值；
根据所述未标注图像和所述未标注图像的伪标签，计算所述未标注图像中伪标签置信度大于或等于设定阈值的目标区域的损失值；
根据所述监督训练损失值、所述自监督训练损失值和所述未标注图像中伪标签置信度大于或等于设定阈值的目标区域的损失值生成损失函数；
基于所述损失函数，通过所述未标注图像和所述已标注图像对所述第二模型进行联合训练。
11.一种标签预测模型的生成装置，其特征在于，包括：
第一训练单元，配置为通过已标注图像对机器学习模型进行监督训练，得到第一模型；
第二训练单元，配置为基于自监督学习任务，通过未标注图像和所述已标注图像对所述第一模型中包含的编码器网络进行自监督训练，得到第二模型；
预测单元，配置为通过所述第二模型预测所述未标注图像的伪标签；
第三训练单元，配置为根据所述未标注图像和所述未标注图像的伪标签，以及所述已标注图像对所述第二模型进行联合训练，得到标签预测模型。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的标签预测模型的生成方法。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至10中任一项所述的标签预测模型的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010796408.XA CN111898696B (zh) | 2020-08-10 | 2020-08-10 | 伪标签及标签预测模型的生成方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010796408.XA CN111898696B (zh) | 2020-08-10 | 2020-08-10 | 伪标签及标签预测模型的生成方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111898696A CN111898696A (zh) | 2020-11-06 |
| CN111898696B true CN111898696B (zh) | 2023-10-27 |
Family
ID=73245603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010796408.XA Active CN111898696B (zh) | 2020-08-10 | 2020-08-10 | 伪标签及标签预测模型的生成方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111898696B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686316A (zh) * | 2020-12-30 | 2021-04-20 | 上海掌门科技有限公司 | 一种用于确定标签的方法与设备 |
| CN113239950A (zh) * | 2021-01-13 | 2021-08-10 | 深延科技(北京)有限公司 | 标注方法、装置、电子设备及存储介质 |
| CN112861935A (zh) * | 2021-01-25 | 2021-05-28 | 北京有竹居网络技术有限公司 | 模型生成方法、对象分类方法、装置、电子设备及介质 |
| CN112906561A (zh) * | 2021-02-18 | 2021-06-04 | 上海明略人工智能(集团)有限公司 | 用于获取动作识别模型的方法、装置及设备 |
| CN112819099B (zh) * | 2021-02-26 | 2023-12-22 | 杭州网易智企科技有限公司 | 网络模型的训练方法、数据处理方法、装置、介质及设备 |
| CN113052025A (zh) * | 2021-03-12 | 2021-06-29 | 咪咕文化科技有限公司 | 图像融合模型的训练方法、图像融合方法及电子设备 |
| CN112766423B (zh) * | 2021-03-15 | 2023-12-19 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、计算机设备及存储介质 |
| CN113065609B (zh) * | 2021-04-22 | 2024-04-09 | 深圳赛安特技术服务有限公司 | 图像分类方法、装置、电子设备及可读存储介质 |
| CN113159223A (zh) * | 2021-05-17 | 2021-07-23 | 湖北工业大学 | 一种基于自监督学习的颈动脉超声图像识别方法 |
| CN113192062A (zh) * | 2021-05-25 | 2021-07-30 | 湖北工业大学 | 一种基于图像复原的动脉斑块超声图像自监督分割方法 |
| CN113283509B (zh) * | 2021-05-28 | 2024-03-29 | 深圳一清创新科技有限公司 | 一种自动标注标签的方法、电子设备及存储介质 |
| CN113378835A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 标注模型训练、样本标注方法及相关装置 |
| CN113177616B (zh) * | 2021-06-29 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、设备及存储介质 |
| CN113469296A (zh) * | 2021-09-03 | 2021-10-01 | 广东众聚人工智能科技有限公司 | 基于少量标签数据自监督联合学习的图像分类方法及系统 |
| CN114118259A (zh) * | 2021-11-19 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法及装置 |
| CN113837670A (zh) * | 2021-11-26 | 2021-12-24 | 北京芯盾时代科技有限公司 | 风险识别模型训练方法及装置 |
| CN114596566B (zh) * | 2022-04-18 | 2022-08-02 | 腾讯科技（深圳）有限公司 | 文本识别方法及相关装置 |
| CN115936980B (zh) * | 2022-07-22 | 2023-10-20 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN115797638A (zh) * | 2023-02-03 | 2023-03-14 | 神州医疗科技股份有限公司 | 一种医学图像分割方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229479A (zh) * | 2017-08-01 | 2018-06-29 | 北京市商汤科技开发有限公司 | 语义分割模型的训练方法和装置、电子设备、存储介质 |
| CN109919209A (zh) * | 2019-02-26 | 2019-06-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种领域自适应深度学习方法及可读存储介质 |
| CN110097131A (zh) * | 2019-05-08 | 2019-08-06 | 南京大学 | 一种基于对抗协同训练的半监督医疗图像分割方法 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN110738263A (zh) * | 2019-10-17 | 2020-01-31 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练的方法、图像识别的方法及装置 |
| CN111062495A (zh) * | 2019-11-28 | 2020-04-24 | 深圳市华尊科技股份有限公司 | 机器学习方法及相关装置 |
| CN111460150A (zh) * | 2020-03-27 | 2020-07-28 | 北京松果电子有限公司 | 一种分类模型的训练方法、分类方法、装置及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11120337B2 (en) * | 2017-10-20 | 2021-09-14 | Huawei Technologies Co., Ltd. | Self-training method and system for semi-supervised learning with generative adversarial networks |
| US10820181B2 (en) * | 2018-02-09 | 2020-10-27 | Rapidsos, Inc. | Emergency location analysis system |
| CN110737758B (zh) * | 2018-07-03 | 2022-07-05 | 百度在线网络技术（北京）有限公司 | 用于生成模型的方法和装置 |
| US10748035B2 (en) * | 2018-07-05 | 2020-08-18 | Mitsubishi Electric Research Laboratories, Inc. | Visually aided active learning for training object detector |
| JP7318197B2 (ja) * | 2018-11-15 | 2023-08-01 | 富士通株式会社 | 逐次学習プログラム、逐次学習装置および逐次学習方法 |
-
2020
- 2020-08-10 CN CN202010796408.XA patent/CN111898696B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229479A (zh) * | 2017-08-01 | 2018-06-29 | 北京市商汤科技开发有限公司 | 语义分割模型的训练方法和装置、电子设备、存储介质 |
| CN109919209A (zh) * | 2019-02-26 | 2019-06-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种领域自适应深度学习方法及可读存储介质 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN110097131A (zh) * | 2019-05-08 | 2019-08-06 | 南京大学 | 一种基于对抗协同训练的半监督医疗图像分割方法 |
| CN110738263A (zh) * | 2019-10-17 | 2020-01-31 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练的方法、图像识别的方法及装置 |
| CN111062495A (zh) * | 2019-11-28 | 2020-04-24 | 深圳市华尊科技股份有限公司 | 机器学习方法及相关装置 |
| CN111460150A (zh) * | 2020-03-27 | 2020-07-28 | 北京松果电子有限公司 | 一种分类模型的训练方法、分类方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111898696A (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898696B (zh) | 伪标签及标签预测模型的生成方法、装置、介质及设备 | |
| CN111275784B (zh) | 生成图像的方法和装置 | |
| US20220222925A1 (en) | Artificial intelligence-based image processing method and apparatus, device, and storage medium | |
| CN108491812B (zh) | 人脸识别模型的生成方法和装置 | |
| CN110781413A (zh) | 兴趣点确定方法及装置、存储介质、电子设备 | |
| CN113704531A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113139628A (zh) | 样本图像的识别方法、装置、设备及可读存储介质 | |
| CN115861462B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN112989085A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN113821668A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
| WO2022222854A1 (zh) | 一种数据处理方法及相关设备 | |
| CN116630514A (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
| CN112115744A (zh) | 点云数据的处理方法及装置、计算机存储介质、电子设备 | |
| CN113962737A (zh) | 目标识别模型训练方法和装置、目标识别方法和装置 | |
| CN113657411A (zh) | 神经网络模型的训练方法、图像特征提取方法及相关装置 | |
| CN113239799A (zh) | 训练方法、识别方法、装置、电子设备和可读存储介质 | |
| CN115016754A (zh) | 设备间的页面同步显示方法、装置、电子设备及介质 | |
| CN114332561A (zh) | 超分辨率模型的训练方法、装置、设备及介质 | |
| CN113011320A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN114510592A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN113516735A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| CN113111684A (zh) | 神经网络模型的训练方法、装置和图像处理系统 | |
| CN117173731B (zh) | 一种模型训练的方法、图像处理的方法以及相关装置 | |
| CN117094362B (zh) | 一种任务处理方法及相关装置 | |
| CN117540306B (zh) | 一种多媒体数据的标签分类方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |