CN114330592B - 模型生成方法、装置、电子设备及计算机存储介质 - Google Patents
模型生成方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN114330592B CN114330592B CN202210008551.7A CN202210008551A CN114330592B CN 114330592 B CN114330592 B CN 114330592B CN 202210008551 A CN202210008551 A CN 202210008551A CN 114330592 B CN114330592 B CN 114330592B
- Authority
- CN
- China
- Prior art keywords
- data
- loss value
- target model
- marked
- output result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了模型生成方法、装置、电子设备及计算机存储介质,涉及计算机技术领域,尤其涉及计算机视觉、深度学习等人工智能领域。具体实现方案为:获取用于训练目标模型的训练数据,所述训练数据包括已标注数据和未标注数据;利用所述目标模型,根据所述已标注数据,得到第一输出结果;利用所述目标模型,根据所述未标注数据,得到第二输出结果;根据所述第一输出结果和第二输出结果优化所述目标模型,得到优化后的目标模型。本公开实施例能够提高已标注数据的使用率。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及计算机视觉、深度学习等人工智能领域。
背景技术
随着计算机技术的发展,计算机模型的技术发展速度和应用场景数量均快速提升。为了获得效果更好的计算机模型,用于训练模型的数据起到了非常重要的作用。但由于训练模型所使用的数据需要给与正确的标签,以使得模型学习到需要掌握的信息,而为数据赋予标签的过程往往较为繁琐甚至需要较多的人工参与,从而无形中影响模型训练的成本和速度的优化。
发明内容
本公开提供了一种模型生成方法、装置、电子设备及计算机存储介质。
根据本公开的一方面,提供了一种模型生成方法,包括:
获取用于训练目标模型的训练数据,训练数据包括已标注数据和未标注数据;
利用目标模型,根据已标注数据,得到第一输出结果;
利用目标模型,根据未标注数据,得到第二输出结果;
根据第一输出结果和第二输出结果优化目标模型,得到优化后的目标模型。
根据本公开的另一方面,提供了一种模型生成装置,包括:
训练数据获取模块,用于获取用于训练目标模型的训练数据,训练数据包括已标注数据和未标注数据;
第一输出结果获得模块,用于利用目标模型,根据已标注数据,得到第一输出结果;
第二输出结果获得模块,用于利用目标模型,根据未标注数据,得到第二输出结果;
优化模块,用于根据第一输出结果和第二输出结果优化目标模型,得到优化后的目标模型。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术,能够根据已标注数据和未标注数据对目标模型进行训练,得到优化后的目标模型,从而,在仅具有有限数量的已标注数据的情况下,仍然能够对目标模型进行训练,降低了模型训练过程对数据标注的要求,提高了对有限数量的已标注数据的使用率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一实施例的模型生成方法示意图;
图2是根据本公开另一实施例的模型生成方法示意图;
图3根据本公开一示例的目标模型训练过程中各个类别对应的输出数据数量示意图;
图4为本公开一示例的模型生成方法训练的目标模型的不平衡率随着训练轮数增加而减少的效果示意图;
图5为本公开一实施例的模型生成装置示意图;
图6为本公开另一实施例的模型生成装置示意图;
图7为本公开又一实施例的模型生成装置示意图;
图8是用来实现本公开实施例的模型生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
根据本公开的实施例,提供了一种模型生成方法,图1是根据本公开实施例的模型生成方法的流程示意图,该方法可以应用于可利用前端或有段执行指令的电子设备,例如,该装置可以部署于终端或服务器或其它处理设备执行的情况下,可以执行训练数据的获取、目标模型的优化等步骤。其中,终端可以为用户设备(UE,User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA,Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示,模型生成方法包括:
步骤S11:获取用于训练目标模型的训练数据,训练数据包括已标注数据和未标注数据;
步骤S12:利用目标模型,根据已标注数据,得到第一输出结果;
步骤S13:利用目标模型,根据未标注数据,得到第二输出结果;
步骤S14:根据第一输出结果和第二输出结果优化目标模型,得到优化后的目标模型。
本实施例中,目标模型可以是用于处理图像数据、向量数据等数据的模型。比如,具体可以是图像识别模型、图像生成模型、视频处理模型、音频处理模型、图像修复模型、特殊类别的数据处理模型等等。
目标模型可以是未经过训练的模型,或者已经经过初步训练、需要进一步优化的模型。
在一种具体实现方式中,训练数据可以是图像数据。目标模型可以是图像数据处理模型。
训练数据中的已标注数据,可以包括输入数据和输入数据的标签。输入数据的标签是对输入数据进行标注生成的,可以是在输入数据生成时就具有的,也可以是通过人工标注等方式进行标注生成的。输入数据的标签与目标模型的用途有关,比如,若目标模型用于识别图像中的物体,则输入数据为图像,输入数据的标签为物体信息。若目标模型用于识别文字,则输入数据为文字或文字转换的输入向量,输入数据的标签为文字识别的参考结果。
在目标模型是图像数据处理模型的情况下,训练数据中的已标注数据,可以是标注有参考预测信息的图像数据。训练数据中的未标注数据,可以是不具有标签的图像数据。
具体例如,目标模型用于识别目标物体,训练数据中的已标注数据,可以是包含目标物体的图像,且在已标注数据的图像中的目标物体区域存在表示目标物体的标签。训练数据中的未标注数据,可以是包含目标物体图像,且在未标注数据的图像中的目标物体区域不存在表示目标物体的标签。
再如,目标模型用于识别图像类别,具体可以用于识别图像内容是人物、动物、植物、建筑、自然风景等。训练数据中的已标注数据,可以是已标注类别信息的图像。训练数据中的未标注数据,可以是未标注类别信息的图像。
利用目标模型,根据已标注数据,得到第一输出结果,可以是将已标注数据输入目标模型,获得第一输出结果。
利用目标模型,根据未标注数据,得到第二输出结果,可以是将未标注数据输入目标模型,获得第二输出结果。
在一种具体实施方式中,上述步骤S12和步骤S13可以按照任意先后顺序执行,也可以不分先后顺序同时执行。
根据第一输出结果和第二输出结果优化目标模型,得到优化后的目标模型,可以包括,根据第一输出结果和对应的已标注数据的标签,训练目标模型,得到第一目标模型。根据将未标注数据输入第一目标模型,得到未标注数据的标签,根据第二输出结果和标签对第一目标模型进行进一步训练,得到优化后的目标模型。
根据第一输出结果和第二输出结果优化目标模型,得到优化后的目标模型,可以包括,利用目标模型,分别根据已标注数据和未标注数据得到第一输出结果和第二输出结果,根据第一输出结果、第二输出结果和已标注数据的标签,对目标模型进行训练,得到优化后的目标模型。
本实施例中,能够根据已标注数据和未标注数据对目标模型进行训练,得到优化后的目标模型,从而,在仅具有有限数量的已标注数据的情况下,仍然能够对目标模型进行训练,降低了模型训练过程对数据标注的要求,提高了对有限数量的已标注数据的使用率。
在一种实施方式中,根据第一输出结果和第二输出结果优化目标模型,得到优化后的目标模型,如图2所示,包括:
步骤S21:根据第一输出结果,计算第一损失值;
步骤S22:根据第二输出结果,计算第二损失值;
步骤S23:根据第一损失值和第二损失值,优化目标模型,得到优化后的目标模型。
在一种具体实现方式中,步骤S21和步骤S22可以按照任意先后顺序执行,也可以不分先后顺序同时执行。
本实施例中,根据第一输出结果,计算第一损失值,可以是按照模型训练的一般步骤,根据第一输出结果和标签计算第一损失值。在具体实现方式中,第一损失值可通过目标模型内部的函数和目标模型的待优化参数进行确定。
在一种实现方式中,根据第二输出结果,计算第二损失值,可以是根据第二输出结果和伪标签,计算第二损失值。
在一种具体实现方式中,伪标签可以是目标模型根据未标注数据得到的。
本实施例中,根据第一输出结果、第二输出结果分别获得第一损失值和第二损失值,根据两种损失值优化目标模型,从而未标注数据也能够起到模型训练的作用,降低了模型训练、学习过程对已标注数据的数量的要求。
在一种实施方式中,根据第一输出结果,计算第一损失值,包括:
根据已标注数据的有效数、第一输出结果和已标注数据的标签,计算第一损失值;已标注数据的有效数是根据已标注数据中符合设定条件的部分数据计算的。
本实施例中,已标注数据中符合设定条件的部分数据,可以指在已标注数据中,质量符合一定要求的数据。比如,在目标模型用于处理图像数据的情况下,已标注数据包括图像和图像的标签。已标注数据中符合设定条件的部分数据,可以是图像质量较高的部分数据,比如,图像画质清晰、不存在模糊虚化、拍摄内容完整的图像。
再如,在目标模型用于处理文字信息的情况下,已标注数据包括文字和文字的标签。已标注数据中符合设定条件的部分数据,可以是文字内容完整、包含完整句子的文字。
在具体实现方式中,已标注数据的有效数,可以是根据质量符合一定要求的数据的数据量计算确定的。每一份标注数据的数据量可计为1。
本实施例中,根据第一输出数据计算损失值,从而能够在后续的目标模型训练过程中,充分利用有限的标注数据。
在一种实施方式中,根据第二输出结果,计算第二损失值,包括:
根据未标注数据的有效数、第二输出结果和未标注数据的权重因子,计算第二损失值;未标注数据的有效数是根据未标注数据中符合设定条件的部分数据计算的。
本实施例中,未标注数据中符合设定条件的部分数据,可以指在未标注数据中,质量符合一定要求的数据。比如,在目标模型用于处理图像数据的情况下,未标注数据包括图像。未标注数据中符合设定条件的部分数据,可以是图像质量较高的部分数据,比如,图像画质清晰、不存在模糊虚化、拍摄内容完整的图像。
在目标模型用于处理文字的情况下,未标注数据中符合设定条件的部分数据,可以是包含完整语句的文字。
一般情况下,未标注数据都是根据真实世界中的数据获得的,且由于未经过标注处理,未标注数据的分布也与真实世界中的数据分布规律相似。真实世界中的数据分布往往具有数据长尾现象,即样本趋向于无穷大时,以减少的速度趋向于一个值。这种现象导致未标注数据用于训练模型时,由于训练数据分布不均衡,使得模型泛化能力受到极大的影响,训练后的模型泛化能力低。如果模型是在不平衡的训练集上训练,但在平衡的测试集上进行验证,则带来的影响更加明显。可能导致训练后的模型在样本较少的类别上的表现会很糟,但样本较多的类别上的表现会很好。在已标注数据与未标注数据的数量相差悬殊、未标注数据远多于已标注数据的情况下,采用未标注数据、已标注数据训练后,模型性能的不平衡性表现的更加明显。
本实施例中,在根据未标注数据获得损失值时,按照设定的权重因子进行计算,从而能够解决未标注数据中的长尾分布问题。
在一种实施方式中,根据第一损失值和第二损失值,优化目标模型,得到优化后的目标模型,包括:
根据第一损失值和第二损失值,得到总损失值;
根据总损失值,优化目标模型,得到优化后的目标模型。
根据第一损失值和第二损失值,得到总损失值,可以是将第一损失值和第二损失值相加或者加权相加,得到总损失值。
本实施例中,能够根据第一损失值和第二损失值得到的总损失值,对目标模型进行训练,从而能够发挥标注数据和未标注数据的作用,降低模型训练对标注数据的数据量的要求。
在一种实施方式中,获取用于训练目标模型的训练数据,包括:
获取已标注原始数据和未标注原始数据;
在已标注原始数据中添加第一噪声信息,得到已标注数据;
在未标注原始数据中添加第二噪声信息,得到未标注数据。
本实施例中,可采用数据增强函数,分别对已标注原始数据和未标注原始数据进行计算,得到已标注数据和未标注数据。
本实施例中,通过在原始数据中增加噪声信息,得到训练数据,从而能够提高目标模型训练后的鲁棒性。
在一种实施方式中,第二噪声信息包括第一噪声信息和第三噪声信息,第三噪声信息的干扰强度大于第一噪声信息。
本实施例中,可将加入弱噪声的未标注数据输入目标模型,得到伪标签。将加入强噪声的未标注数据输入目标模型,得到预测值。通过预测值回归伪标签,使得预测值与伪标签接近,在此过程中进一步调整目标模型的待优化参数,从而使得目标模型针对加入了强弱噪声的数据能够产生同样的预测值,提高模型的鲁棒性。
在本公开一种具体示例中,目标模型用于对图像进行分类。输入目标模型或优化后的目标模型的数据为图像,输出目标模型或优化后的目标模型的数据为图像对应的类别的分数,比如,针对图像A,输出数据包括:a类别对应的分数为12分,b类别对应的分数为15分,d类别对应的分数为80分等。可选择分数最高的类别作为目标模型的输入数据对应的类别。在训练目标模型时,给定训练数据集包含C个类别,训练数据集中的每个图像数据转换为向量数据后的数据维度为d。训练数据集中,已标注数据集未标注数据集/> 对数据进行标注的高成本导致未标注数据的数量,通常比已标注数据的数量大得多,这意味着Ns,u>>Ns,l。本示例中将未标注数据和已标注数据的比例表示为/>
其中,z=f(xs,l;θ)。
其中,(未标注数据对应的样本个数)具有时间动态性,因此/>随时间而变化。目标模型的可变参数为θ,目标模型的函数表示为:f(·;θ),训练数据集中已标注数据和未标注数据的总数Ns,l和Ns,u,采用弱噪声数据增强函数α(·)在原始的训练数据中增加弱噪声信息,采用强噪声数据增强函数/>在原始的训练数据中增加弱噪声信息。上式中的/>表示交叉熵损失函数,上式中的1()为条件阈函数,上式中的τ为阈值。
已标注数据和未标注数据的总损失函数可以表示为:
根据已标注数据的输出数据,得到的损失值可通过下式计算得到:
从图3可以看出,本公开实施例提供的模型生成方法,得到的优化后的目标模型,随着训练轮数的增加,每个类别的输出数据基本保持不变,从而不仅实现了对已标注数据的利用率的提高,且提高了模型稳定性。同时从图4中也可以看出,本公开实施例提供的模型生成方法,未标注数据的不平衡率随着横坐标轴训练轮数的增加而降低,模型稳定性高。
本公开实施例还提供一种模型生成装置,如图5所示,包括:
训练数据获取模块51,用于获取用于训练目标模型的训练数据,训练数据包括已标注数据和未标注数据;
第一输出结果获得模块52,用于利用目标模型,根据已标注数据,得到第一输出结果;
第二输出结果获得模块53,用于利用目标模型,根据未标注数据,得到第二输出结果;
优化模块54,用于根据第一输出结果和第二输出结果优化目标模型,得到优化后的目标模型。
在一种实施方式中,如图6所示,优化模块包括:
第一损失值单元61,用于根据第一输出结果,计算第一损失值;
第二损失值单元62,用于根据第二输出结果,计算第二损失值;
损失值处理单元63,用于根据第一损失值和第二损失值,优化目标模型,得到优化后的目标模型。
在一种实施方式中,第一损失值单元还用于:
根据已标注数据的有效数、第一输出结果和已标注数据的标签,计算第一损失值;已标注数据的有效数是根据已标注数据中符合设定条件的部分数据计算的。
在一种实施方式中,第二损失值单元还用于:
根据未标注数据的有效数、第二输出结果和未标注数据的权重因子,计算第二损失值;未标注数据的有效数是根据未标注数据中符合设定条件的部分数据计算的。
在一种实施方式中,损失值处理单元还用于:
根据第一损失值和第二损失值,得到总损失值;
根据总损失值,优化目标模型,得到优化后的目标模型。
在一种实施方式中,如图7所示,训练数据获取模块包括:
原始数据获取单元71,用于获取已标注原始数据和未标注原始数据;
第一噪声信息添加单元72,用于在已标注原始数据中添加第一噪声信息,得到已标注数据;
第二噪声信息添加单元73,用于在未标注原始数据中添加第二噪声信息,得到未标注数据。
在一种实施方式中,第二噪声信息包括第一噪声信息和第三噪声信息,第三噪声信息的干扰强度大于第一噪声信息。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
本公开实施例可应用于计算机技术领域,尤其可应用于计算机视觉、深度学习等人工智能领域。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如模型生成方法。例如,在一些实施例中,模型生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的模型生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行模型生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (13)
1.一种模型生成方法,包括:
获取用于训练目标模型的训练数据,所述训练数据包括已标注数据和未标注数据;
利用所述目标模型,根据所述已标注数据,得到第一输出结果;
利用所述目标模型,根据所述未标注数据,得到第二输出结果;
根据所述第一输出结果和所述第二输出结果优化所述目标模型,得到优化后的目标模型;其中,
所述目标模型用于识别目标物体;所述训练数据中的已标注数据,为包含所述目标物体的图像,且在所述已标注数据的图像中的目标物体区域存在表示所述目标物体的标签;所述训练数据中的未标注数据,为包含所述目标物体图像,且在所述未标注数据的图像中的目标物体区域不存在表示所述目标物体的标签;或者
所述目标模型用于识别图像类别;所述训练数据中的已标注数据,为已标注类别信息的图像;所述训练数据中的未标注数据,为未标注类别信息的图像;
所述目标模型用于处理文字信息,所述训练数据中的已标注数据包括文字和文字的标签;所述训练数据中的未标注数据为未经过标注处理的文字;
所述根据所述第一输出结果和第二输出结果优化所述目标模型,得到优化后的目标模型,包括:
根据所述第一输出结果,计算第一损失值;
根据所述第二输出结果,计算第二损失值;
根据所述第一损失值和所述第二损失值,优化所述目标模型,得到所述优化后的目标模型;
所述根据所述第一输出结果,计算第一损失值,包括:
根据所述已标注数据的有效数、所述第一输出结果和所述已标注数据的标签,计算所述第一损失值;所述已标注数据的有效数是根据所述已标注数据中符合设定条件的部分数据计算的;
所述已标注数据的有效数为:
所述第一损失值为:
2.根据权利要求1所述的方法,其中,所述根据所述第二输出结果,计算第二损失值,包括:
根据所述未标注数据的有效数、所述第二输出结果和所述未标注数据的权重因子,计算所述第二损失值;所述未标注数据的有效数是根据所述未标注数据中符合设定条件的部分数据计算的。
3.根据权利要求1或2所述的方法,其中,所述根据所述第一损失值和所述第二损失值,优化所述目标模型,得到所述优化后的目标模型,包括:
根据所述第一损失值和所述第二损失值,得到总损失值;
根据所述总损失值,优化所述目标模型,得到所述优化后的目标模型。
4.根据权利要求1-3中任意一项所述的方法,其中,所述获取用于训练目标模型的训练数据,包括:
获取已标注原始数据和未标注原始数据;
在所述已标注原始数据中添加第一噪声信息,得到所述已标注数据;
在所述未标注原始数据中添加第二噪声信息,得到所述未标注数据。
5.根据权利要求4所述的方法,其中,所述第二噪声信息包括所述第一噪声信息和第三噪声信息,所述第三噪声信息的干扰强度大于所述第一噪声信息。
6.一种模型生成装置,包括:
训练数据获取模块,用于获取用于训练目标模型的训练数据,所述训练数据包括已标注数据和未标注数据;
第一输出结果获得模块,用于利用所述目标模型,根据所述已标注数据,得到第一输出结果;
第二输出结果获得模块,用于利用所述目标模型,根据所述未标注数据,得到第二输出结果;优化模块,用于根据所述第一输出结果和所述第二输出结果优化所述目标模型,得到优化后的目标模型;其中
所述目标模型用于识别目标物体;所述训练数据中的已标注数据,为包含所述目标物体的图像,且在所述已标注数据的图像中的目标物体区域存在表示所述目标物体的标签;所述训练数据中的未标注数据,为包含所述目标物体图像,且在所述未标注数据的图像中的目标物体区域不存在表示所述目标物体的标签;或者
所述目标模型用于识别图像类别;所述训练数据中的已标注数据,为已标注类别信息的图像;所述训练数据中的未标注数据,为未标注类别信息的图像
所述目标模型用于处理文字信息,所述训练数据中的已标注数据包括文字和文字的标签;所述训练数据中的未标注数据为未经过标注处理的文字;
所述优化模块包括:
第一损失值单元,用于根据所述第一输出结果,计算第一损失值;
第二损失值单元,用于根据所述第二输出结果,计算第二损失值;
损失值处理单元,用于根据所述第一损失值和所述第二损失值,优化所述目标模型,得到所述优化后的目标模型;
所述第一损失值单元具体用于:根据所述已标注数据的有效数、所述第一输出结果和所述已标注数据的标签,计算所述第一损失值;所述已标注数据的有效数是根据所述已标注数据中符合设定条件的部分数据计算的;
所述已标注数据的有效数为:
所述第一损失值为:
7.根据权利要求6所述的装置,其中,所述第二损失值单元还用于:
根据所述未标注数据的有效数、所述第二输出结果和所述未标注数据的权重因子,计算所述第二损失值;所述未标注数据的有效数是根据所述未标注数据中符合设定条件的部分数据计算的。
8.根据权利要求6或7所述的装置,其中,所述损失值处理单元还用于:
根据所述第一损失值和所述第二损失值,得到总损失值;
根据所述总损失值,优化所述目标模型,得到所述优化后的目标模型。
9.根据权利要求6-8中任意一项所述的装置,其中,所述训练数据获取模块包括:
原始数据获取单元,用于获取已标注原始数据和未标注原始数据;
第一噪声信息添加单元,用于在所述已标注原始数据中添加第一噪声信息,得到所述已标注数据;
第二噪声信息添加单元,用于在所述未标注原始数据中添加第二噪声信息,得到所述未标注数据。
10.根据权利要求9所述的装置,其中,所述第二噪声信息包括所述第一噪声信息和第三噪声信息,所述第三噪声信息的干扰强度大于所述第一噪声信息。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-5中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210008551.7A CN114330592B (zh) | 2022-01-06 | 2022-01-06 | 模型生成方法、装置、电子设备及计算机存储介质 |
US18/080,549 US20230113019A1 (en) | 2022-01-06 | 2022-12-13 | Method for generating model, and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210008551.7A CN114330592B (zh) | 2022-01-06 | 2022-01-06 | 模型生成方法、装置、电子设备及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114330592A CN114330592A (zh) | 2022-04-12 |
CN114330592B true CN114330592B (zh) | 2023-06-02 |
Family
ID=81024199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210008551.7A Active CN114330592B (zh) | 2022-01-06 | 2022-01-06 | 模型生成方法、装置、电子设备及计算机存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230113019A1 (zh) |
CN (1) | CN114330592B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805196A (zh) * | 2018-06-05 | 2018-11-13 | 西安交通大学 | 用于图像识别的自动增量学习方法 |
CN110909784A (zh) * | 2019-11-15 | 2020-03-24 | 北京奇艺世纪科技有限公司 | 一种图像识别模型的训练方法、装置及电子设备 |
CN112699949A (zh) * | 2021-01-05 | 2021-04-23 | 百威投资(中国)有限公司 | 一种基于社交平台数据的潜在用户识别方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814816A (zh) * | 2019-04-12 | 2020-10-23 | 北京京东尚科信息技术有限公司 | 一种目标检测方法、装置及其存储介质 |
US11853908B2 (en) * | 2020-05-13 | 2023-12-26 | International Business Machines Corporation | Data-analysis-based, noisy labeled and unlabeled datapoint detection and rectification for machine-learning |
CN112183321A (zh) * | 2020-09-27 | 2021-01-05 | 深圳奇迹智慧网络有限公司 | 机器学习模型优化的方法、装置、计算机设备和存储介质 |
-
2022
- 2022-01-06 CN CN202210008551.7A patent/CN114330592B/zh active Active
- 2022-12-13 US US18/080,549 patent/US20230113019A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805196A (zh) * | 2018-06-05 | 2018-11-13 | 西安交通大学 | 用于图像识别的自动增量学习方法 |
CN110909784A (zh) * | 2019-11-15 | 2020-03-24 | 北京奇艺世纪科技有限公司 | 一种图像识别模型的训练方法、装置及电子设备 |
CN112699949A (zh) * | 2021-01-05 | 2021-04-23 | 百威投资(中国)有限公司 | 一种基于社交平台数据的潜在用户识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230113019A1 (en) | 2023-04-13 |
CN114330592A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113033537B (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
CN112926306B (zh) | 文本纠错方法、装置、设备以及存储介质 | |
JP7430820B2 (ja) | ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム | |
CN112749300B (zh) | 用于视频分类的方法、装置、设备、存储介质和程序产品 | |
CN115358392B (zh) | 深度学习网络的训练方法、文本检测方法及装置 | |
CN113051368B (zh) | 双塔模型训练方法、检索方法、装置及电子设备 | |
CN115631261B (zh) | 图像生成模型的训练方法、图像生成方法和装置 | |
CN112580732A (zh) | 模型训练方法、装置、设备、存储介质和程序产品 | |
CN114881129A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
CN114564971B (zh) | 深度学习模型的训练方法、文本数据处理方法和装置 | |
CN114020950B (zh) | 图像检索模型的训练方法、装置、设备以及存储介质 | |
CN113407610B (zh) | 信息抽取方法、装置、电子设备和可读存储介质 | |
CN113033408B (zh) | 数据队列动态更新方法、装置、电子设备及存储介质 | |
CN114494747A (zh) | 模型的训练方法、图像处理方法、装置、电子设备及介质 | |
CN112506359B (zh) | 输入法中候选长句的提供方法、装置及电子设备 | |
CN114330592B (zh) | 模型生成方法、装置、电子设备及计算机存储介质 | |
CN114860411B (zh) | 多任务学习方法、装置、电子设备和存储介质 | |
CN116383382A (zh) | 敏感信息的识别方法、装置、电子设备及存储介质 | |
CN113641724B (zh) | 知识标签挖掘方法、装置、电子设备及存储介质 | |
CN114817476A (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
CN115496734A (zh) | 视频内容的质量评价方法、网络训练方法和装置 | |
CN115565186A (zh) | 文字识别模型的训练方法、装置、电子设备和存储介质 | |
CN114707638A (zh) | 模型训练、对象识别方法及装置、设备、介质和产品 | |
CN114463361A (zh) | 网络模型训练方法、装置、设备、介质及程序产品 | |
CN114490969A (zh) | 基于表格的问答方法、装置以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |