CN112990387A - 模型优化方法、相关设备及存储介质 - Google Patents
模型优化方法、相关设备及存储介质 Download PDFInfo
- Publication number
- CN112990387A CN112990387A CN202110533449.4A CN202110533449A CN112990387A CN 112990387 A CN112990387 A CN 112990387A CN 202110533449 A CN202110533449 A CN 202110533449A CN 112990387 A CN112990387 A CN 112990387A
- Authority
- CN
- China
- Prior art keywords
- sample
- target
- model
- target model
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种模型优化方法、相关设备及存储介质,方法包括:调用目标模型对候选样本集中的每个样本图像进行类别识别,得到每个样本图像的类别识别结果;其中,候选样本集采用Q个领域中,未被学习的P个候选领域下的样本图像构建;根据每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算目标模型与每个候选领域的学习适配度;基于计算结果和适配策略,从P个候选领域中选取与目标模型适配的目标领域;采用目标领域下的样本图像对目标模型进行优化,以使目标领域被目标模型学习;迭代上述过程,直至Q个领域均被目标模型学习为止。采用本申请实施例可以有效提升目标模型的泛化性和鲁棒性。
Description
技术领域
本申请涉及互联网技术领域,具体涉及计算机技术领域,尤其涉及一种模型优化方法、一种模型优化装置、一种计算机设备及一种计算机存储介质。
背景技术
随着互联网技术的不断发展,图像识别的应用领域越来越广泛。所谓的图像识别是指利用计算机对图像进行处理、分析和理解,以对图像进行类别级别的识别的技术;换句话说,图像识别技术是一种不考虑对象(即待识别图像)的特定实例,仅考虑对象的类别(如人图像、狗图像、猫图像等)进行的图像识别,并给出对象所属类别的技术。目前,通常是采用神经网络模型对待识别图像实现类别识别的;由于类别识别结果的精准度和神经网络模型的性能息息相关,因此为了提升图像识别结果的准确性,需要提升神经网络模型的性能。基于此,如何更好地通过模型优化训练以提升神经网络模型的性能,成为了研究热点。
发明内容
本申请实施例提供了一种模型优化方法、相关设备及存储介质,可以有效提升目标模型的泛化性和鲁棒性等性能。
一方面,本申请实施例提供了一种模型优化方法,所述方法包括:
调用目标模型对候选样本集中的每个样本图像进行类别识别,得到所述每个样本图像的类别识别结果;其中,所述目标模型通过学习Q个领域进行优化,所述候选样本集采用所述Q个领域中,未被学习的P个候选领域下的样本图像构建,Q为大于1的正整数,P为小于或等于Q的正整数;
根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度;
基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域;
采用所述目标领域下的样本图像对所述目标模型进行优化,以使所述目标领域被所述目标模型学习;
迭代上述过程,直至所述Q个领域均被所述目标模型学习为止。
另一方面,本申请实施例提供了一种模型优化装置,所述装置包括:
处理单元,用于调用目标模型对候选样本集中的每个样本图像进行类别识别,得到所述每个样本图像的类别识别结果;其中,所述目标模型通过学习Q个领域进行优化,所述候选样本集采用所述Q个领域中,未被学习的P个候选领域下的样本图像构建,Q为大于1的正整数,P为小于或等于Q的正整数;
所述处理单元,还用于根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度;
所述处理单元,还用于基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域;
优化单元,用于采用所述目标领域下的样本图像对所述目标模型进行优化,以使所述目标领域被所述目标模型学习;
所述处理单元和所述优化单元被迭代调用,直至所述Q个领域均被所述目标模型学习为止。
另一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括输入接口和输出接口,所述计算机设备还包括:
处理器,适于实现一条或多条计算机程序;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由所述处理器加载并执行如下步骤:
调用目标模型对候选样本集中的每个样本图像进行类别识别,得到所述每个样本图像的类别识别结果;其中,所述目标模型通过学习Q个领域进行优化,所述候选样本集采用所述Q个领域中,未被学习的P个候选领域下的样本图像构建,Q为大于1的正整数,P为小于或等于Q的正整数;
根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度;
基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域;
采用所述目标领域下的样本图像对所述目标模型进行优化,以使所述目标领域被所述目标模型学习;
迭代上述过程,直至所述Q个领域均被所述目标模型学习为止。
另一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由处理器加载并执行如下步骤:
调用目标模型对候选样本集中的每个样本图像进行类别识别,得到所述每个样本图像的类别识别结果;其中,所述目标模型通过学习Q个领域进行优化,所述候选样本集采用所述Q个领域中,未被学习的P个候选领域下的样本图像构建,Q为大于1的正整数,P为小于或等于Q的正整数;
根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度;
基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域;
采用所述目标领域下的样本图像对所述目标模型进行优化,以使所述目标领域被所述目标模型学习;
迭代上述过程,直至所述Q个领域均被所述目标模型学习为止。
另一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述模型优化方法。
本申请实施例可为目标模型设定Q个领域,并按照适配领域优先学习的原则,让目标模型通过逐步学习Q个领域进行多轮学习优化。在每轮学习优化过程中,可采用Q个领域中未被学习的P个候选领域下的样本图像构建候选样本集。并调用目标模型对候选样本集中的各个样本图像进行类别识别,从而根据类别识别结果和各个样本图像的领域分布情况,反向计算目标模型与每个候选领域的学习适配度,以在一定程度上提升学习适配度的可靠性和准确性。然后可基于计算结果和适配策略,从P个候选领域中选取与目标模型适配的目标领域,并使目标模型优先学习该目标领域;由于目标领域是与目标模型适配的,因此相对于P个候选领域中的其他领域而言,目标模型学习目标领域更为容易,这样不仅可有效减少目标模型因学习领域所需的学习时长,提升模型优化效率,还可保证目标模型实现泛化能力稳定且准确性不降低的学习效果。在通过学习目标领域提升目标模型的模型能力后,可迭代上述过程以使目标模型继续学习未被学习的各个领域;随着逐渐迭代优化,可使得目标模型慢慢具有更强的能力来处理更复杂或者更难的领域下的样本图像,从而使得目标模型对Q个领域都能充分学习挖掘出有效信息来调整自身的模型参数,提升目标模型的准确性、泛化性和鲁棒性等性能。并且,由于每个领域间的样本图像通常不是绝对隔绝的,因此目标模型通过先学习的领域所获取到的信息,对后学习的领域可具有一定的帮助作用,有利于提升目标模型对后学习的领域的学习效果,从而提升目标模型的优化效果。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种模型优化方案的流程示意图;
图1b是本申请实施例提供的一种卷积块的结构示意图;
图2是本申请实施例提供的一种模型优化方法的流程示意图;
图3a是本申请实施例提供的一种噪声图像的示意图;
图3b是本申请实施例提供的一种区块链的示意图;
图4是本申请另一实施例提供的一种模型优化方法的流程示意图;
图5a是本申请实施例提供的一种对目标模型进行弱监督模型优化的示意图;
图5b是本申请实施例提供的一种为当前样本分配噪声权重的示意图;
图5c是本申请实施例提供的一种向服务器上传图像的示意图;
图5d是本申请实施例提供的一种服务器输出结果的示意图;
图6是本申请实施例提供的一种模型优化装置的结构示意图;
图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
随着互联网技术的不断发展,人工智能(Artificial Intelligence,AI)技术也随之得到更好的发展。所谓的人工智能技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术;其主要通过了解智能的实质,生产出一种新的能以人类智能相似的方式做出反应的智能机器,使得智能机器具有感知、推理与决策等多种功能。相应的,AI技术是一门综合学科,其主要包括计算机视觉技术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习(MachineLearning,ML)/深度学习等几大方向。
其中,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心,是使计算机设备具有智能的根据途径;所谓的机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科;其专门研究计算机设备怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。而深度学习则是一种利用深层神经网络系统,进行机器学习的技术;机器学习/深度学习通常可包括人工神经网络、强化学习(Reinforcement Learning,RL)、有监督学习、无监督学习等多种技术;所谓的有监督学习是指采用类别已知(具有标注类别)的训练样本进行模型优化训练的处理方式,无监督学习是指采用类别未知(没有被标记)的训练样本进行模型优化训练的处理方式。
基于AI技术中的机器学习/深度学习技术,本申请实施例提出了一种基于多领域递进的模型优化方案,以实现对目标模型进行模型优化,提升目标模型的泛化性和鲁棒性。在具体实现中,该模型优化方案可由一个计算机设备执行,该计算机设备可以是终端或者服务器;其中,此处所提及的终端可以包括但不限于:智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能电视、智能车载终端等;终端内可运行各式各样的客户端(application,APP),如视频播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端,等等。此处所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,等等。
需要说明的是,在其他实施例中,该模型优化方案也可由服务器和终端共同执行;服务器和终端通过网络(如有线网络、无线网络等)连接,对此不作限定。并且,本申请实施例所提及的计算机设备可以位于区块链网络外,也可以位于区块链网络内,对此不作限定;所谓的区块链网络是一种由点对点网络(P2P网络)和区块链所构成的网络,而区块链则是指一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,其本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块(或称为区块)。
参见图1a所示,本申请实施例所提出的模型优化方案的大致原理如下:①计算机设备可预先构建一个基础模型,并采用初始训练集对基础模型进行模型训练,以优化基础模型的模型参数,从而得到目标模型。此处的基础模型本质上是一个可对任一图像进行类别识别,以识别出该任一图像所属类别的类别识别模型;那么可理解的是,由于目标模型和基础模型之间只是模型参数的差异,模型结构并未改变,因此目标模型本质上也是一个类别识别模型。并且,该基础模型和目标模型可以实现任一维度的类别识别,如场景维度、图像类型维度、图像中各对象的种类维度、等等。也就是说,基础模型和目标模型可以实现基于场景的类别识别,如识别图像所属的类别是室外场景类别、还是室内场景类别。或者,基础模型和目标模型可以实现基于图像类型的类别识别,如识别图像所属的类别是风景图像类别、人物图像类别,还是动物图像类别,等等。又或者,基础模型和目标模型还可以实现基于物种的类别识别,如识别图像中的对象所属的类别是人物类别、小狗类别、小猫类别等。为便于阐述,后续均以基础模型和目标模型用于实现基于场景的类别识别为例进行说明。
②可进行多领域样本收集,一个领域对应一个样本收集渠道;即可在互联网中收集多个样本收集渠道下的样本图像,此处的样本收集渠道可以包括但不限于:浏览器客户端、视频播放客户端、资讯浏览网页、社交平台,等等。在各领域下收集到的各个样本图像可以称为互联网样本,所谓的互联网样本是指:通过互联网搜索引擎中的类别标签、某社交平台用户设置的类别标签等方式收集到的图像;如在浏览器客户端中通过搜索“公园”所获取到的图像,在视频播放客户端中通过搜索“公园”所获取到的图像,等等。其中,互联网搜索引擎中的类别标签、某社交平台用户设置的类别标签等标签可作为互联网样本的原始类别标签(后续简称为原始标签)。应理解的是,不同的样本收集渠道可对应不同的图像风格;例如以从多个样本搜集渠道收集教室图像作为样本图像为例,通过网站A(如acg(动画、漫画和游戏的总称)类型网站)收集到样本图像大多数是二次元风格的教室图像、通过网站B收集到的样本图像倾向于以人物为主体的风格的教室图像、通过网站C收集到的样本图像多为教室全景风格的教室图像、通过网站D收集到的样本图像通常是多种领域综合的风格的教室图像,等等。
③计算机设备在收集到多个领域下的样本图像后,便可将该多个领域均作为未被学习的候选领域。④计算机设备可通过目标模型对未被学习的候选领域进行多领域样本挖掘,以挖掘目标模型在各个领域下较为容易学习的样本图像作为各个领域下的训练样本;并根据多领域样本挖掘结果制定目标模型的学习目标,具体可根据多领域样本挖掘结果在未被学习的候选领域中,确定目标模型较为容易学习的目标领域作为目标模型的学习目标。⑤计算机设备可采用多领域样本挖掘结果所指示的各个样本图像,对目标模型进行模型优化训练。⑥通过目标模型对目标领域中未被学习的样本图像进行样本挖掘,并采用挖掘出的训练样本对目标模型进行模型优化训练。⑦迭代执行步骤⑥,直至目标领域中不存在可用于对目标模型进行优化的样本图像为止,结束目标模型对目标领域的挖掘和学习。⑧当目标模型结束对目标领域的挖掘和学习后,可判断多个领域中是否还存在未被学习的候选领域;⑨若存在,重新确定未被学习的候选领域,并重复执行步骤④-⑧,以实现对剩余未被学习的候选领域进行样本挖掘及模型更新;⑩若不存在,则输出最后一次通过步骤⑦所优化得到的目标模型。
由上述描述可知:本申请实施例提出的模型优化方案可通过少量的标注样本学习到目标模型以及进行多领域样本收集后,对互联网样本进行多轮挖掘、不均衡多领域学习;且每次取较为容易学习的领域作为优先学习的目标领域,以及每次在目标领域下取较为容易学习的样本图像逐渐加入至目标模型的学习过程中,以对目标模型进行训练优化。需说明的是,上述只是示例性地阐述了模型优化方案的大致原理,并不对此进行限定。例如,在上述流程中,计算机设备在通过步骤④制定学习目标后,可通过执行步骤⑤学习多领域中较为容易的样本图像,以优化目标模型的模型参数;但在其他实施例中,计算机设备在通过步骤④制定学习目标后,也可不执行步骤⑤,直接执行步骤⑥,等等。
经实践表明,本申请实施例提出的模型优化方案可至少具有如下几点有益效果:
第一点:由于不同的样本收集渠道所对应的图像风格通常是不一样的,因此通过进行多领域的样本收集,可有效提升样本图像的全面性,便于目标模型在学习各个样本图像时,可学习到较为全面的有效信息,有利于模型性能的优化。第二点:可有效减少目标模型因学习领域所需的学习时长,提升模型优化效率;以及保证目标模型保持泛化能力稳定且准确率不降低的学习效果。第三点:随着逐渐迭代优化,可使得目标模型慢慢具有更强的能力来处理更复杂或者更难的领域下的样本图像,从而使得目标模型对各个领域都能充分学习挖掘出有效信息来调整自身的模型参数,提升目标模型的准确性、泛化性和鲁棒性等性能。第四点:由于每个领域间的样本图像通常不是绝对隔绝的,因此目标模型通过先学习的领域所获取到的信息,对后学习的领域可具有一定的帮助作用,有利于提升目标模型对后学习的领域的学习效果,从而提升目标模型的优化效果;例如通过网站D所收集的样本图像中也含有一定程度的网站A所涉及的二次元风格的教室图像,若网站C先于网站A被目标模型学习,那么目标模型在学习网站C后,便可对网站A中的样本图像具有一定鉴别能力,有利于后续对网站A中的二次元风格的样本图像进行学习。
基于上述模型优化方案的相关描述,下面对该模型优化方案中所提及的基础模型,以及如何训练基准模型得到目标模型的具体训练过程作进一步的详细阐述:
1)网络结构:该基准模型可以是基于深度学习对图像进行类别识别的类别识别模型,其具体可包括表1所示的特征提取模块,以及表2所示的类别识别模块:
表1
参见上述表1所示,目标模型中的特征提取模块可以采用ResNet-101(一种残差网络)这种基础特征网络作为特征提取网络,采用其输出的结果为数据特征;也就是说,特征提取模块可至少包括多层卷积层(conv)。表1中的“Layer name”表示网络层名称,“Outputsize”表示网络层的输出结果的大小(或称为尺寸),“stride”表示步长,“max pool”表示最大池化,一个block(或称为卷积块)包括3个卷积层。例如,针对“Conv2_x”网络层而言,其包括的一个block的具体结构可参见图1b所示;也就是说,“Conv2_x”网络层中的一个block包括:卷积核为1×1且通道数为64的第一个卷积层,卷积核为3×3且通道数为64的第二个卷积层,以及卷积核为1×1且通道数为256的第三个卷积层。
表2
Layer name | Output size | Layer |
Pool_cr | 1×2048 | max pool |
Fc_cr | 1×N | full connetction |
参见表2所示,类别识别模块可至少包括类别识别层(Fc_cr)和池化层(pool_cr)。其中,表2中的 Fc_cr层的输出结果为1×N大小的数据,N为需学习的预设类别的数量,且N为大于1的正整数;“full connetction”表示全连接层。
2)特征提取:特征提取时可采用embedding作为数据特征,这里的embedding即为用来做相似度计算、数据检索的数据特征。
3)初始化模型参数:Conv1-Conv5采用预先训练好的网络参数(如在ImageNet(一种大型通用物体识别的开源数据集)上预训练的网络参数等),以减少后续模型优化时的计算量;在此情况下,对于已经训练好的网络参数(如表1中的各个卷积层的网络参数),可根据需求决定是否需要再次优化这些网络参数。而针对目标模型中的新添加的网络层(如Fc_cr层等)而言,则可采用方差为0.01,均值为0的高斯分布进行初始化;且对于表2中的Fc_cr层的网络参数,则需要进行迭代优化,即学习的目标是获得恰当的Fc_cr。也就是说,目标模型中的待学习的模型参数可至少包括Fc_cr层的网络参数;可选的,还可包括卷积层以及其他网络层的网络参数。
4)通过基础模型得到目标模型的训练过程,具体可包括如下步骤a-步骤c:
a构建初始训练集:采用目标数量的标注样本构建初始训练集,此处的标注样本是指:经专业标注人员进行标注后,具有标注类别的图像;也就是说,任一标注样本具有一个类别标注标签。
b模型前向:把基础模型的所有模型参数或部分模型参数设为需学习的状态,模型优化训练时,基础模型对输入的初始训练集中的标注样本进行前向计算得到类别识别结果,该类别识别结果可至少包括识别出的标注样本所属的目标类别。然后,可把类别识别结果(Fc_cluster的输出结果)中的目标类别与相应的标注样本的类别标注标签所指示的类别进行对比,以计算基础模型通过该标注样本产生的模型损失值(classification loss)。
c模型参数优化:将通过步骤b所得到的模型损失值回传到基础模型的网络中,并通过梯度下降法更新基础模型的模型参数,从而实现一次模型优化。具体的,可采用梯度下降算法根据通过步骤b所得到的模型损失值进行梯度后向计算,得到需学习的各个模型参数的更新值,并采用该更新值更新优化基础模型的模型参数;此处的梯度下降算法可包括但不限于:SGD(Stochastic Gradient Descent,随机梯度下降)算法、GD(GradientDropping,梯度下降)算法、BGD(Batch Gradient Descent,批量梯度下降法),等等。
需要说明的是,本申请实施例只是示例性地阐述了基础模型的模型结构,并不对基础模型的具体结构进行限定;例如,上述所提及的特征提取模块是采用ResNet-101作为特征提取网络进行特征提取的,但在其他实施例中,特征提取模块还可使用其他不同的结构网络以及不同的预训练模型权重作为基础特征提取的特征提取网络,如深度残差网络、ResNet-18、ResNet-50,等等。
基于上述模型优化方案的相关描述,本申请实施例提出一种模型优化方法,该模型优化方法可以由上述所提及的计算机设备执行,该计算机设备可以是终端或者服务器;或者,该模型优化方法可由终端和服务器共同执行。为便于阐述,后续均以计算机设备执行该模型优化方法为例进行说明;请参见图2,该模型优化方法可包括以下步骤S201-S205:
S201,调用目标模型对候选样本集中的每个样本图像进行类别识别,得到每个样本图像的类别识别结果。
在本申请实施例中,目标模型通过学习Q个领域进行优化,一个领域下可具有多个样本图像;当任一领域下不存在被目标模型学习过的样本图像,则可认为该任一领域未被目标模型学习,为便于阐述,后续将未被学习的领域均称为候选领域。在具体实现中,计算机设备可迭代执行步骤S201-S205,以实现按照容易领域优先学习的原则,让目标模型通过逐步学习Q个领域进行多轮学习优化。在每次执行步骤S201-S205之前,计算机设备均可先从Q个领域中确定出未被学习的P个候选领域,并采用P个候选领域下的样本图像构建候选样本图像;然后,计算机设备再通过步骤S201调用目标模型对候选样本集中的每个样本图像进行类别识别,得到每个样本图像的类别识别结果,进而继续执行步骤S202-S205。也就是说,每次执行步骤S201时,所涉及的候选样本集采用Q个领域中,未被学习的P个候选领域下的样本图像构建;其中,Q为大于1的正整数,P为小于或等于Q的正整数。
应理解的是,①当计算机设备首次执行步骤S201-S205时,步骤S201中的目标模型是还未进行过参数优化的目标模型;当计算机设备非首次执行步骤S201-S205时,步骤S201中的目标模型是指通过前一次步骤S201-S205进行参数优化后的目标模型。②若计算机设备是首次执行步骤S201,则由于Q个领域中的每个领域均是未被学习的领域,因此在此情况下,计算机设备是将Q个领域作为P个候选领域的,即P的取值等于Q。若计算机设备是非首次执行步骤S201,则由于计算机设备在本次执行步骤S201之前,已执行过一次或多次步骤S201-S205,因此从Q个领域中所确定的候选领域的数量是小于Q的,即P的取值小于Q。
举例来说,设Q的取值等于3,即目标模型通过学习3个领域(领域A、领域B以及领域C)进行优化,且设目标模型的原始的模型参数为A。那么当计算机设备首次执行步骤S201时,其调用的目标模型便是指模型参数为A的目标模型;且由于此时的3个领域均未被学习,因此可将领域A、领域B以及领域C均作为候选领域,即此时的P=3,P的取值等于Q。如果在通过第一次执行步骤S202-S205,实现了对领域B的学习,且通过学习领域B将目标模型的模型参数从A更新为B;那么,当计算机设备第二次执行步骤S201时,其调用的目标模型便是指模型参数为B的目标模型;且由于此时只存在领域A和领域C未被学习,因此可将领域A以及领域C均作为候选领域,即此时的P=2,P的取值小于Q。以此类推,如果在通过第二次执行步骤S202-S205,实现了对领域A的学习,且通过学习领域A将目标模型的模型参数从B更新为C;那么,当计算机设备第三次执行步骤S201时,其调用的目标模型便是指模型参数为C的目标模型;且由于此时只存在领域C未被学习,因此可将领域C作为候选领域,即此时的P=1,P的取值小于Q。
在本申请实施例中,由前述可知,目标模型具有N个需学习的预设类别;因此目标模型实际是采用图像多类别识别技术,实现对任一图像进行类别识别的。此处所提及的图像多类别识别技术是指:识别出图像是否具有一个或多个预设类别的技术;一张图像可能具有多个类别属性,多类别识别任务是判断某图像具有哪些预设类别的类别标签的任务。基于此,步骤S201的具体实施方式可以包括:针对候选样本集中的任一样本图像,调用目标模型提取该任一样本图像的数据特征。其次,可基于提取得到的数据特征预测该任一样本图像属于各个预设类别的置信度(或称为概率),以得到该任一样本图像的类别识别结果;任一样本图像的类别识别结果可至少包括:该任一样本图像的目标类别和对应的类别置信度。其中,该任一样本图像的目标类别是指:该任一样本图像所具有的最大置信度所对应的预设类别;该任一样本图像的类别置信度是指:该任一样本图像属于该任一样本图像的目标类别的置信度。可选的,该任一样本图像的类别识别结果还可包括:该任一样本图像的候选类别和对应的候选置信度;该任一样本图像的候选类别是指:N个预设类别中除该任一样本图像的目标类别以外的预设类别;该任一样本图像的候选置信度是指:该任一样本图像属于该任一样本图像的候选类别的置信度。基于此原理,计算机设备对候选样本集中的各个样本图像均进行处理,便可得到候选样本集中的各个样本图像的类别识别结果。
需说明的是,不同样本图像的目标类别可能相同,可能不同,对此不作限定。例如,设总共4个预设类别:类别a、类别b、类别c以及类别d;若调用目标模型识别出样本图像a属于各预设类别的概率依次是:0.96、0.85、0.5以及0.3,识别出样本图像b属于各预设类别的概率依次是:0.86、0.5、0.67以及0.2,以及识别出样本图像c属于各预设类别的概率依次是:0.2、0.85、0.32以及0.67。那么,样本图像a的目标类别为类别a,样本图像b的目标类别为类别a,样本图像c的目标类别为类别b;可见,样本图像a的目标类别和样本图像b的目标类别相同,但样本图像a的目标类别和样本图像c的目标类别就不同,且样本图像b的目标类别和样本图像c的目标类别也不同。
S202,根据每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算目标模型与每个候选领域的学习适配度。
由前述可知,任一样本图像的类别识别结果可包括:任一样本图像的目标类别的类别置信度。而经研究发现,针对任一样本图像而言,通过目标模型所得到的该任一样本图像的类别置信度越大,则表明目标模型对该任一样本图像的学习能力越强,目标模型学习该任一样本图像越容易,从而可表明目标模型与该任一样本图像越适配。由此可进一步确定,针对任一候选领域而言,该任一候选领域下存在越多的样本图像具有较大的类别置信度,则可表明目标模型对该任一候选领域的学习能力越强,目标模型学习该任一候选领域越容易,从而可表明目标模型与该任一候选领域越适配。基于此研究结果,计算机设备在通过步骤S201得到候选样本集中各个样本图像的类别识别结果后,可根据每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算目标模型与每个候选领域的学习适配度。其中,领域分布情况用于指示每个样本图像所属的候选领域。
在步骤S202的一种具体实现中,计算机设备可先根据每个样本图像的类别识别结果中的类别置信度,对P个候选领域进行样本挖掘,得到一个或多个第一训练样本,此处的第一训练样本是指候选样本集中类别置信度大于或等于第一置信度阈值的样本图像。其次,可基于各个样本图像的领域分布情况,确定每个候选领域下的第一训练样本的样本数量。然后,可根据每个候选领域对应的样本数量,计算目标模型和每个候选领域的学习适配度。针对任一候选领域而言,目标模型与该任一候选领域的学习适配度可与该任一候选领域对应的样本数量成正比;或者,目标模型与该任一候选领域的学习适配度,可与该任一候选领域下的第一训练样本的样本数量和该任一候选领域下的样本图像的总数量的比值成正比。
在步骤S202的另一种具体实现中,计算机设备也可先根据各个样本图像的领域分布情况,确定每个候选领域下的样本图像。其次,根据每个候选领域下的各个样本图像的类别识别结果中的类别置信度,对每个候选领域进行样本挖掘,得到每个候选领域下的第一训练样本,以及对应的样本数量。然后,根据每个候选领域对应的样本数量,计算目标模型和每个候选领域的学习适配度。
S203,基于计算结果和适配策略,从P个候选领域中选取与目标模型适配的目标领域。
其中,计算结果包括:目标模型和每个候选领域的学习适配度;由于目标模型和任一候选领域的学习适配度可用于指示目标模型与该任一候选领域之间的适配程度,且学习适配度越大,则表明目标模型越容易学习该任一候选领域。因此,计算机设备在执行步骤S203时,可在计算结果中选取最大学习适配度;并将P个候选领域中与该最大学习适配度对应的候选领域,作为与目标模型适配的目标领域;通过此实施方式,可实现在P个候选领域中选取目标模型最容易学习的候选领域作为目标领域,以缩短后续目标模型的学习时长,提升模型优化效率。
或者,也可预先设置一个适配度阈值;在此情况下,计算机设备在执行步骤S203时,可先将计算机结果中大于适配度阈值的各个学习适配度作为候选学习适配度;再从各个候选学习适配度中随机选取一个候选学习适配度作为目标学习适配度,并将P个候选领域中与该目标学习适配度对应的候选领域,作为与目标模型适配的目标领域。由于各个候选学习适配度均大于适配度阈值,因此任一候选学习适配度所对应的候选领域,对于目标模型而言都是比较容易学习的;可见,通过此实施方式,也可实现在P个候选领域中选取目标模型较为容易学习的候选领域作为目标领域,以缩短后续目标模型的学习时长,提升模型优化效率。
S204,采用目标领域下的样本图像对目标模型进行优化,以使目标领域被目标模型学习。
在一种具体实现中,计算机设备可采用目标领域下的全部样本图像对目标模型进行模型训练,以优化目标模型的模型参数,直至目标模型通过该目标领域下达到收敛。其中,目标模型通过目标领域达到收敛是指:目标模型的模型参数不再发生变化,或模型参数的变化幅度小于阈值;或者目标模型达到收敛是指:目标模型的损失值不再减小,或目标模型的损失值的减小幅度小于阈值;再或者,目标领域下的各个样本图像均被目标模型学习,等等。
另一种具体实现中,考虑到目标领域下的各个样本图像可能存在分布复杂的情况,有些样本图像容易被目标模型较好地进行学习,而有些样本图像则不容易被目标模型较好地进行学习。当采用目标模型无法容易学习的样本图像对目标模型进行优化时,会导致目标模型花费较多的学习时间,且学习效果较差;基于此,计算机设备在采用目标领域下的样本图像对目标模型进行优化时,可通过样本挖掘的方式,对目标领域进行一轮或多轮的样本挖掘,每次从目标领域下未被学习的样本图像中挖掘出部分目标模型容易学习的样本图像,并采用挖掘出的样本图像对目标模型进行模型优化,直至目标领域不再存在未被学习的样本图像,或直至目标领域下未被学习的样本图像中,不存在目标模型容易学习的样本图像为止。通过此具体实现方式,可保证每次用于模型优化的样本图像均是目标模型较为容易学习的样本图像,可有效节省目标模型的学习时间,提升学习效果。
由前述可知,本申请实施例所提及的样本图像为互联网样本,而互联网样本通常具有原始标签;因此在上述任一种具体实现中,计算机设备采用目标领域下的某样本图像对目标模型进行训练的具体方式如下:首先,可根据该任一样本图像在该目标领域下的原始标签,确定该任一样本图像在该目标领域下的原始类别;并调用目标模型对该任一样本图像进行类别识别,得到该任一样本图像的目标类别。然后,根据任一样本图像的原始类别和目标类别之间的差异,计算目标模型通过该任一样本图像产生的损失值。最后,按照减少该损失值的方向,优化目标模型的模型参数;具体的,可按照减小该损失值的方向,采用梯度下降算法根据该损失值进行梯度后向计算,得到目标模型的模型参数的更新值,将目标模型的模型参数更新成该更新值,以优化目标模型。其中,本申请实施例所提及的“按照减小损失值的方向”是指:以最小化损失值为目标的模型优化方向;通过此方向进行模型优化,使得目标模型在每次优化后所再次产生的损失值,需小于目标模型在优化前所产生的损失值。例如,本次计算得到的目标模型的损失值为0.85,那么通过按照减小损失值的方向优化目标模型后,通过优化目标模型所产生的损失值应小于0.85。
进一步的,考虑到目标领域下的样本图像可能是噪声样本(或称为带噪样本),所谓的噪声样本是指因各种因素导致原始标签不准确的样本图像。具体的,噪声样本可以是因用户人为失误所导致原始标签存在错误的样本图像;如图3a所示的两个样本图像,由于其原始标签所指示的类别均为“教室”,但这两个样本图像的真实类别并非是“教室”,因此图3a所示的两个样本图像均为噪声样本。或者,噪声样本还可以是因概念不清晰造成真实类别和原始标签所指示的原始类别不匹配的样本图像;如因两个类别间概念部分重叠而造成实际具有2种类别,但仅具有一个原始标签的样本图像),等等。由于目标模型通过该任一样本图像产生的损失值,是根据该任一样本图像的原始类别和目标类别之间的差异计算的;因此当用于对目标模型的任一样本图像存在噪声时,可在一定程度上影响原始类别的准确性,从而影响损失值的准确性,进而影响目标模型的优化效果。基于此,计算机设备在通过步骤S204采用目标领域下的样本图像对目标模型进行优化时,还可加入目标数量的标注样本,从而实现采用目标数量的标注样本和目标领域下的样本图像对目标模型进行混合样本的弱监督模型优化。此处所提及的标注样本是指具有标注标签的图像,通过加入标注样本可在一定程度上引导目标模型学习到更多的信息,从而提升目标模型的优化效果,进而提升目标模型的泛化性和鲁棒性。
可选的,计算机设备在执行步骤S204之前,也可先采用P个候选领域下的全部或部分样本图像对目标模型进行优化,以提升目标模型的泛化性;然后,再执行步骤S204,从而使得目标模型可以更好地学习目标领域,提升目标模型对于目标领域的学习效果,从而提升目标模型的优化效果。其中,当采用P个候选领域下的部分样本图像对目标模型进行优化时,计算机设备可从P个候选领域下的全部样本图像随机选取一批样本图像,对目标模型进行优化。或者,若计算机设备在执行步骤S202时,对P个候选领域进行了样本挖掘,则由于挖掘出的各个第一训练样本对于目标模型是相对容易学习的,那么可采用P个候选领域下的各个第一训练样本对目标模型进行优化;通过此实施方式,不仅可提升目标模型对于目标领域的学习效果,还可提升目标模型的学习效率。进一步的,在采用P个候选领域下的各个第一训练样本对目标模型进行优化时,还可加入目标数量的标注样本,从而实现采用目标数量的标注样本和各个第一训练样本对目标模型进行混合样本的弱监督模型优化,以进一步提升目标模型的泛化性和鲁棒性。
S205,迭代上述过程,直至Q个领域均被目标模型学习为止。
其中,迭代上述过程是指:迭代执行步骤S201-步骤S204;也就是说,一次迭代过程可包括:通过步骤S201-S203所实现的重新确定目标领域,以及通过步骤S204所实现的目标模型通过学习重新确定的目标领域而进行的优化更新。在通过迭代上述过程,使得Q个领域被目标模型学习之后,便可得到性能较为完善的目标模型;该性能较为完善的目标模型是指:通过学习最后一个领域进行优化更新后的目标模型。例如,目标模型通过学习3个领域(领域A、领域B以及领域C)进行优化,且设目标模型的原始的模型参数为A;若通过迭代上述过程对目标模型的优化逻辑如下:第一次执行步骤S201-S204,实现目标模型对领域B的学习,从而将目标模型的模型参数从A优化为B;第二次迭代执行步骤S201-S204,实现目标模型对领域A的学习,从而将目标模型的模型参数从B更新为C;第三次迭代执行步骤S201-S204,实现目标模型对领域C的学习,从而将目标模型的模型参数从C更新为D。那么,最终得到的性能较为完善的目标模型便是指:通过学习领域C进行优化更新后的目标模型,即模型参数为D的目标模型。
可选的,在得到性能较为完善的目标模型后,还可将该性能较为完善的目标模型上传存储至区块链网络的区块链中,以防止该性能较为完善的目标模型被恶意篡改。其中,区块链由多个区块组成,如图3b所示;创始块中包括区块头和区块主体,区块头中存储有输入信息特征值、版本号、时间戳和难度值,区块主体中存储有输入信息;创始块的下一区块以创始块为父区块,下一区块中同样包括区块头和区块主体,区块头中存储有当前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值,并以此类推,使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联,保证了区块中输入信息的安全性。基于此,将性能较为完善的目标模型存储至区块链网络的区块链中的具体实施方式可以是:
若计算机设备是区块链网络中的节点,则先可将性能较为完善的目标模型添加至目标区块的区块主体中,并对区块主体中的目标模型进行哈希运算,得到默克尔哈希值。其次,可采用随机算法生成一个随机数,并采用计算得到的默克尔哈希值、随机数、版本号、上一区块哈希值、当前时间戳以及当前难度值组成目标区块的区块头部。其中,版本号是指区块链中相关区块协议的版本信息;上一区块哈希值是指上一区块的区块头部的特征值;当前时间戳是指组成区块头部时的系统时间;当前难度值是指计算的难度值,该难度值在固定时间段内为定值,并在超出固定时间段后再次进行确定。然后,可采用特征值算法(如SHA256算法)对区块头部所包含的内容进行一次或多次哈希运算,得到目标区块的区块头部的特征值;此处的哈希运算的次数可根据计算难度确定,计算难度越大,哈希运算的次数越多。在基于上述步骤得到目标区块后,可将该目标区块广播给区块链网络中的各个共识节点进行共识处理;在通过共识处理后,将目标区块添加至区块链上。应理解的是,若计算机设备是区块链网络外的设备,则可将性能较为完善的目标模型发送给区块链网络中的任一共识节点,由该任一共识节点执行上述步骤,以将性能较为完善的目标模型存储至区块链中。
本申请实施例可为目标模型设定Q个领域,并按照适配领域优先学习的原则,让目标模型通过逐步学习Q个领域进行多轮学习优化。在每轮学习优化过程中,可采用Q个领域中未被学习的P个候选领域下的样本图像构建候选样本集。并调用目标模型对候选样本集中的各个样本图像进行类别识别,从而根据类别识别结果和各个样本图像的领域分布情况,反向计算目标模型与每个候选领域的学习适配度,以在一定程度上提升学习适配度的可靠性和准确性。然后可基于计算结果和适配策略,从P个候选领域中选取与目标模型适配的目标领域,并使目标模型优先学习该目标领域;由于目标领域是与目标模型适配的,因此相对于P个候选领域中的其他领域而言,目标模型学习目标领域更为容易,这样不仅可有效减少目标模型因学习领域所需的学习时长,提升模型优化效率,还可保证目标模型实现泛化能力稳定且准确性不降低的学习效果。在通过学习目标领域提升目标模型的模型能力后,可迭代上述过程以使目标模型继续学习未被学习的各个领域;随着逐渐迭代优化,可使得目标模型慢慢具有更强的能力来处理更复杂或者更难的领域下的样本图像,从而使得目标模型对Q个领域都能充分学习挖掘出有效信息来调整自身的模型参数,提升目标模型的准确性、泛化性和鲁棒性等性能。并且,由于每个领域间的样本图像通常不是绝对隔绝的,因此目标模型通过先学习的领域所获取到的信息,对后学习的领域可具有一定的帮助作用,有利于提升目标模型对后学习的领域的学习效果,从而提升目标模型的优化效果。
请参见图4,是本申请实施例提供的另一种模型优化方法的流程示意图。该模型优化方法可以由上述所提及的计算机设备执行,该计算机设备可以是终端或者服务器;或者,该模型优化方法可由终端和服务器共同执行。为便于阐述,后续均以计算机设备执行该模型优化方法为例进行说明;请参见图4,该模型优化方法可包括以下步骤S401-S409:
S401,调用目标模型对候选样本集中的每个样本图像进行类别识别,得到每个样本图像的类别识别结果。
其中,目标模型通过学习Q个领域进行优化,候选样本集采用Q个领域中,未被学习的P个候选领域下的样本图像构建,Q为大于1的正整数,P为小于或等于Q的正整数。并且,任一样本图像的类别识别结果可包括该任一样本图像的目标类别和对应的类别置信度。
S402,根据每个样本图像的类别识别结果中的类别置信度,对P个候选领域进行样本挖掘,得到一个或多个第一训练样本。
其中,第一训练样本是指候选样本集中类别置信度大于或等于第一置信度阈值的样本图像。该第一置信度阈值可以是根据业务需求或者经验值设置的固定阈值,例如可根据业务需求将经验值将第一置信度阈值设置为0.9,0.85等。或者该第一置信度阈值可以是根据候选样本集中的各个样本图像的类别置信度,所计算得到的动态阈值;例如,可对候选样本集中的各个样本图像的类别置信度进行均值计算,将计算得到的均值作为第一置信度阈值;又如,若计算机设备需按照类别置信度从高到低的顺序,从候选样本集中选取指定数量的样本图像作为第一训练样本,则可将最后一个被选取的样本图像的类别置信度作为第一置信度阈值,等等。
S403,获取每个第一训练样本在对应的候选领域下的原始标签,并将各个第一训练样本和对应的原始标签,添加至第一训练集中;获取目标数量的标注样本,并将各个标注样本和对应的标注标签,添加至第一训练集中。
S404,采用第一训练集,对目标模型进行弱监督模型优化。
其中,弱监督模型优化是指:根据样本的噪声权重使得目标模型在学习该样本时,可进行正样本(不具有噪声的样本)正常学习(非噪声样本)、而负样本(具有噪声的样本)抑制学习的优化方式。关于步骤S404的具体实施方式,与下述步骤S408所提及的“采用第二训练集,对目标模型进行弱监督模型优化”这一步骤的具体实施方式类似,在此不赘述。
S405,基于各个样本图像的领域分布情况,确定每个候选领域下的第一训练样本的样本数量。
由于领域分布情况用于指示候选样本集中的每个样本图像所属的候选领域,而第一训练样本本质上也是候选样本集中的样本图像,因此该领域分布情况也可指示各个第一训练样本所属的候选领域。具体的,可为每个候选领域初始化一个样本计数,且每个候选领域的样本计数的初始值均为0;遍历各个第一训练样本,并根据领域分布情况确定当前遍历的第一训练样本所属的候选领域,然后对确定出的候选领域的样本计数的当前值执行加一处理。当各个第一训练样本均被遍历,则可得到各个候选领域的样本计数的最终值,并将各个候选领域的样本计数的最终值作为每个候选领域下的第一训练样本的样本数量。
S406,根据每个候选领域对应的样本数量,计算目标模型和每个候选领域的学习适配度。
在一种实施方式中,计算机设备可直接将每个候选领域对应的样本数量,分别作为目标模型和每个候选领域的学习适配度;即此实施方式下,目标模型与每个候选领域的学习适配度,与每个候选领域对应的样本数量成正比。另一种实施方式中,考虑到不同候选领域下的样本图像的总数量可能相同,也可能不同;若仅根据每个候选领域下的第一训练样本的样本数量,来衡量目标模型和每个候选领域的学习适配度,则可能导致学习适配度的准确性较低。例如,设通过目标模型从候选领域j和候选领域k中分别挖掘出50个第一训练样本;且候选领域j下的样本图像的总数量为100个,候选领域k下的样本图像的总数量为1000个。若仅根据第一训练样本的数量来衡量学习适配度,则可认为目标模型对于候选领域j和候选领域k的学习适配度是相同的。但是由于候选领域k下的样本图像的总数量远大于候选领域j下的样本图像的总数量,因此目标模型在候选领域k中挖掘出的第一训练样本的样本数量,理应多于目标模型在候选领域j中挖掘出的第一训练样本的样本数量。然而实际上,目标模型在候选领域k中也只挖掘出候选领域j相同数量的第一训练样本,因此可见目标模型对候选领域j的学习能力更强,即目标模型对候选领域j的学习适配度更高。
基于此,计算机设备还可根据每个候选领域下的第一训练样本的样本数量和每个候选领域下的样本图像的总数量,来综合衡量目标模型和每个候选领域的学习适配度。具体的,计算机设备可统计第p个候选领域下的样本图像的总数量,p∈[1,P];并采用总数量和第p个候选领域对应的样本数量,计算第p个候选领域的样本挖掘比例。具体的,可将第p个候选领域对应的样本数量(采用x表示)和该总数量(采用y表示)之间的比值,作为第p个候选领域的样本挖掘比例(即样本挖掘比例等于x/y)。在得到第p个候选领域的样本挖掘比例后,可根据该样本挖掘比例,计算目标模型与第p个候选领域的学习适配度。具体的,可直接将该样本挖掘比例作为目标模型与第p个候选领域的学习适配度;或者,可按照样本挖掘比例和学习适配度之间的对应关系,确定与第p个候选领域的样本挖掘比例对应的学习适配度,并将确定的学习适配度作为目标模型与第p个候选领域的学习适配度,等等。
S407,基于计算结果和适配策略,从P个候选领域中选取与目标模型适配的目标领域。
需说明的是,①步骤S407的具体实施方式可参见前述方法实施例中的步骤S203的具体实施方式,在此不再赘述。②本申请实施例对上述步骤S403-S404,以及步骤S405-S407的执行先后顺序不作限定。例如,计算机设备可先通过执行步骤S403-S404,实现对目标模型进行弱监督模型优化;再通过执行步骤S405-S407,实现目标领域的选取。又如,计算机设备也可先通过执行步骤S405-S407,实现目标领域的选取;再通过执行步骤S403-S404,实现对目标模型进行弱监督模型优化。再如,计算机设备还可同时执行步骤S403-S404以及步骤S405-S407,实现同时对目标模型进行弱监督模型优化,以及目标领域的选取,等等。
S408,采用目标领域下的样本图像对目标模型进行优化,以使目标领域被目标模型学习。
在具体实施过程中,步骤S408的具体实施方式可包括:采用目标领域下的样本图像,对目标模型迭代执行一次或多次优化过程。其中,任一次优化过程如下:从目标领域下的所有样本图像中,选取未被学习的样本图像作为目标样本;并调用目标模型对每个目标样本进行类别识别,得到每个目标样本的目标类别和对应的类别置信度。然后,可根据每个目标样本的类别置信度,对目标领域进行样本挖掘;若挖掘出一个或多个第二训练样本,则采用挖掘出的各个第二训练样本和对应的目标类别,优化目标模型。具体的,若挖掘出一个或多个第二训练样本,则获取挖掘出的各个第二训练样本在目标领域下的原始标签,并将各个第二训练样本和对应的原始标签,添加至第二训练集中;以及将目标数量的标注样本和每个标注样本的标注标签,添加至第二训练集中。然后采用第二训练集,对目标模型进行弱监督模型优化。其中,第二训练样本是指目标领域下类别置信度大于或等于第二置信度阈值的目标样本;该第二置信度阈值可以是根据业务需求或者经验值设置的固定阈值,也可以是根据各个目标样本的类别置信度,所计算得到的动态阈值,具体计算方式与第一置信度阈值的计算方式类似,在此不再赘述。若未挖掘出该第二训练样本,则停止目标模型对目标领域的学习。
其中,采用第二训练集,对目标模型进行弱监督模型优化的具体过程,可包括如下步骤s11-s16:
s11,遍历第二训练集中的各个样本,并获取当前遍历的当前样本的样本标签;其中,若当前样本为第二训练样本,则样本标签为原始标签,若当前样本为标注样本,则样本标签为标注标签。
s12,调用目标模型对当前样本进行类别识别,得到当前样本的类别识别结果;当前样本的类别识别结果可包括:N个预设类别,以及该当前样本属于各个预设类别的置信度。其中,当前样本所具有的最大置信度所对应的预设类别可作为该当前样本的目标类别,当前样本所具有的除最大置信度以外的各个置信度对于的预设类别可作为该当前样本的候选类别。
s13,根据当前样本的类别识别结果和样本标签,计算目标模型通过当前样本产生的初始损失值。
可选的,经实践表明:在通过公式1.1计算目标模型通过当前样本产生的初始损失值时,由于任一预设类别的加权系数,要么为1,要么为0,这样容易导致目标模型过于相信某些预设类别(如加权系数为1的预设类别),从而导致目标模型的泛化性较低。因此,在另一种实施方式中,计算机设备可通过公式1.2对每个预设类别进行标签归一化处理,从而通过每个预设类别的归一化处理后的加权系数计算初始损失值,以增强目标模型的泛化性:
s14,获取当前样本的噪声权重。
在第一种实施方式中:可预先根据经验值为Q个领域中的各个领域分别设置相应的噪声权重;例如,若根据经验值发现Q个领域中的领域A通常具有较多噪声的样本图像,则可为领域A设置一个比较大的噪声权重;若根据经验值发现Q个领域中的领域B通常具有较少噪声的样本图像,则可为领域B设置一个比较小的噪声权重。基于此,计算机设备在执行步骤s14时,可将当前样本所属的目标领域对应的噪声权重作为当前样本的噪声权重。
在第二种实施方式中:可基于当前样本的数据特征和样本标签,对当前样本进行噪声预测,得到噪声预测结果。在具体实施过程中,第二训练集可具有H个聚类中心;一个聚类中心具有一个中心类别,H为大于1的正整数。基于此,计算机设备可先在H个聚类中心的中心类别中,查找与样本标签指示的类别相匹配的中心类别;具体的,计算机设备可计算每个聚类中心的中心类别和样本标签指示的类别之间的匹配度,若存在匹配度大于匹配度阈值(如0.99、0.98等)的中心类别,则将该存在中心类别确定为与样本标签指示的类别相匹配的中心类别。其次,可将查找到中心类别所对应的聚类中心作为当前样本的原始聚类中心;并可基于当前样本的数据特征和原始聚类中心的数据特征,计算当前样本和原始聚类中心之间的第一距离值。以及根据当前样本的数据特征和各个聚类中心的数据特征,分别计算当前样本和各个聚类中心之间的第二距离值,具体可采用距离计算算法(如cosine-similarity(余弦相似度)算法、欧式距离算法等),基于当前样本的数据特征和原始聚类中心的数据特征计算第一距离值,以及基于当前样本的数据特征和各个聚类中心的数据特征计算第二距离值。然后,可将最大第二距离值所对应的聚类中心作为当前样本的基准聚类中心;若最大第二距离值小于第一距离值,且原始聚类中心的中心类别和基准聚类中心的中心类别不同,则表示当前样本极有可能属于其他类别,而并非属于样本标签所指示的类别;因此可确定样本标签存在有误,此时生成用于指示当前样本存在噪声的噪声预测结果;否则,则生成用于指示当前样本未存在噪声的噪声预测结果。
在得到噪声预测结果后,可根据噪声预测结果为当前样本分配噪声权重。具体的,若噪声预测结果指示当前样本存在噪声,则根据最大第二距离值和第一距离值,计算当前样本的噪声权重;若噪声预测结果指示当前样本未存在噪声,则将预设数值确定为当前样本的噪声权重。其中,预设数值可根据经验值或者实际需求设置,如将预设数值设置为1。根据最大第二距离值和第一距离值计算噪声权重的计算公式也可根据经验值或者实际需求设置,例如采用d1表示第一距离值,采用d2表示最大第二距离值,采用w1表示当前样本的噪声权重,则w1=d2/(d1*2)。采用此计算公式计算当前样本的噪声权重,可实现在当前样本存在噪声的情况下:当d2远小于d1时,表明当前样本属于样本标签所指示的类别的可能性极低,此时可使得计算出的当前样本的噪声权重极小,从而控制当前样本对目标模型的学习贡献较少,防止目标模型被该当前样本的样本标签误导,可有效提升目标模型的学习准确性;当d2接近d1时,表明当前样本有一定可能属于样本标签所指示的类别,此时可提升当前样本对目标模型的学习贡献,但噪声权重最大不超过0.5。应理解的是,本申请实施例只是示例性的阐述了噪声权重的计算公式,并非穷举;例如,在其他实施例中,当前样本的噪声权重的计算公式也可以是:w1= d2/d1,w1=d2/(d1*3),等等。
需要说明的是,在步骤s14的第二种实施方式中,第二训练集的H个聚类中心是预先对第二训练集进行聚类处理得到的;也就是说,计算机设备可预先对第二训练集中的全部或部分样本进行聚类处理,得到H个聚类中心;一个聚类中心具有一个中心类别,H为大于1的正整数。其中,计算机设备通过对第二训练集中的部分样本进行聚类处理以得到H个聚类中心的方式,可有效减少参与聚类的数据量,从而节省处理资源,提升聚类效率。具体的,计算机设备对第二训练集中的部分样本进行聚类处理,得到H个聚类中心的具体实施方式可包括如下步骤A-步骤D:
步骤A,从第二训练集中选取参考样本集,并调用目标模型提取参考样本集中的每个参考样本的数据特征。在一种实施方式中,可按照一定比例,随机从第二训练集中选取多个样本作为参考样本,添加至参考样本集中。由于随机选取参考样本,可能导致参考样本集中的参考样本的类别分布不均衡,从而影响后续聚类处理所得到的聚类中心的准确性。因此,在另一种实施方式中,计算机设备也可分类别地选取参考样本,以在一定程度上保证参考样本的类别分布均衡。具体的,计算机设备可根据第二训练集中的各个第二训练样本的目标类别以及各个标注样本的标注类别,将第二训练集划分成N个预设类别的数据簇,分别在每个预设类别的数据簇中选取期望数量的样本作为参考样本,添加至每个预设类别下的样本组中,从而得到的参考样本集。
也就是说,此实施方式下,参考样本集包括:N个预设类别中的各个预设类别下的样本组,任一预设类别下的样本组包括:任一预设类别下的期望数量的参考样本。其中,此处所提及的期望数量可以根据实际需求或经验值设置,例如设置期望数量为K*50,K为每个预设类别下预设的聚类中心的数量;通过采用50倍量,可保证选取出足够数量的参考样本,从而提升后续聚类处理所得到的聚类中心的准确性。应理解的是,①本申请实施例只是示例性地说明期望数量可为K*50,并不对此进行限定;例如,期望数量还可以是K*40、K*80,或者10000等。②本申请实施例是以各个预设类别的期望数量相同为例进行说明的,即各个预设类别的期望数量之间的比例为1:1:1…;但在其他实施例中,各个预设类别的期望数量也可不同;例如可将各个预设类别的数据簇中样本的数量之间的比例(如2:1:5…),作为各个预设类别的期望数量之间的比例(即2:1:5…)。③K可以为任一正整数,如1,2…;或者,K可以为大于1的正整数,此情况下,可实现通过每个预设类别下的K个聚类中心对每个预设类别进行多中心的类别表达,从而提供类别的多种形式表达,以避免单中心噪声类别信息因特征平均造成过度模糊,不利于后续噪声相对准确的预测。
步骤B,基于每个参考样本的数据特征,对参考样本集进行聚类处理,得到H个聚类中心,一个聚类中心对应一个样本簇。其中,当参考样本集是按照一定比例从第二训练集中随机选取到的时,则计算机设备可直接对参考样本集进行聚类处理,得到H个聚类中心。当参考样本集包括N个预设类别中的各个预设类别下的样本组时,计算机设备可分别对每个样本组进行聚类处理,得到每个样本组的K个聚类中心,从而得到H个聚类中心,H等于N*K。具体的,计算机设备可遍历参考样本集中的各个样本组,并确定当前遍历的当前样本组,以及通过目标模型提取当前样本组中的各个参考样本的数据特征。然后,计算机设备可基于当前样本组中的各个参考样本的数据特征,对当前样本组进行聚类处理,得到当前样本组的K个聚类中心;在各个样本组均被遍历后,可得到H个聚类中心,该H个聚类中心包括每个样本组的K个聚类中心。
其中,基于当前样本组中的各个参考样本的数据特征,对当前样本组进行聚类处理,得到当前样本组的K个聚类中心的这一步骤的具体实施可以是:①从输入的当前样本组中随机选择一个参考样本作为第一个初始聚类中心。②对于当前样本组中的每个参考样本,根据每个参考样本的数据特征和已有的初始聚类中心的数据特征,计算每个参考样本与最近的初始聚类中心(即已选择的初始聚类中心)的距离D(x)。③根据距离计算结果,随机选择一个新的参考样本作为新的初始聚类中心,选择的原则是:D(x)较大的参考样本,被选取作为新的初始聚类中心的概率较大,然后,随机生成一个随机数,将大于随机数的概率所对应的参考样本作为新的初始聚类中心。例如,设参考样本A的概率是0.7,参考样本B的概率是0.3,随机生成一个0~1之间的随机数x,如果x<0.7就选择参考样本A作为新的初始聚类中心,否则就选择B作为新的初始聚类中心。④重复步骤②-③,直到选取出K个初始聚类中心。⑤利用这K个初始聚类中心来运行标准的k-means算法(一种聚类算法);该k-means算法的大致原理如下:基于K个初始聚类中心对当前样本组进行聚类处理,得到K个样本簇,并对每个样本簇计算平均坐标以得到新的聚类中心,迭代上述步骤,得到最终的K个聚类中心,以及每个聚类中心的样本簇。
应理解的是,本申请实施例只是示例性以k-mena算法为例,对如何得到当前样本组的K个聚类中心的具体实施方式进行说明,并非穷举;在其他实施例中,也可采用其他方式进行聚类,从而得到当前样本组的K个聚类中心。例如,采用基于curriculum net(即curriculum网络,curriculum是一种弱监督学习算法)的密度计算方式,该方式的大致原理如下:针对当前样本组中的每个参考样本,将其与最近的占全量60%的其他样本之间的距离的平均值作为每个参考样本的样本密度,并选取样本密度最大的K个参考样本作为K个聚类中心。或者,采用基于密度聚类的算法DBSCAN(Density-Based Spatial Clustering ofApplication with Noise,具有噪声的基于密度的空间聚类应用),对当前样本组进行聚类处理,得到K个聚类中心,等等。
步骤C,根据第h个样本簇中的每个参考样本和第h个聚类中心之间的相似度,在第h个样本簇中选取相似度满足预设条件的参考样本。其中,第h个样本簇是指第h个聚类中心对应的样本簇,h∈[1,H];第h个样本簇中的任一参考样本和该第h个聚类中心之间的相似度,可通过该任一参考样本和第h个聚类中心之间的距离值进行反映,距离值越小,则表明相似度越大。在一种实施方式中,可按照相似度从高到低的顺序,在第h个样本簇中选取预设数量的参考样本;通过此方式,可实现按照距离值从小到大的顺序,在第h个聚类中心周边选取最近的预设数量的参考样本。另一种实施方式中,也可在第h个样本簇中选取相似度大于相似度阈值的参考样本。
步骤D,根据被选取的各个参考样本的目标类别,为第h个聚类中心分配一个中心类别。具体的,可根据被选取的各个参考样本的目标类别,确定被选取的大部分参考样本所属的类别,将确定出的类别作为第h个聚类中心的中心类别。例如,假设计算机设备在第h个聚类中心周边选取了最近的10个参考样本,且这10个参考样本的目标类别分别是:“校园场景”、“校园场景”、“室外场景”、“校园场景”、“校园场景”、“景点场景”、“校园场景”、“校园场景”、“室外场景”以及“校园场景”;那么,可知这10个参考样本中的大部分参考样本均属于“校园场景”,因此可将第h个聚类中心的中心类别确定为“校园场景”。
s15,采用噪声权重对初始损失值进行加权处理,得到目标模型通过当前样本产生的目标损失值。具体的,采用表示目标模型通过当前样本产生的目标损失值,那么;其中,w1为预设数值(如数值“1”),或者根据第一距离值d1和最大第二距离值d2计算得到的数值。
s16,按照减少目标损失值的方向,优化目标模型的模型参数。
需说明的是,步骤s16的具体实施方式,可参见前述方法实施例中的步骤S204中所提及的“按照减少该损失值的方向,优化目标模型的模型参数”的具体实施方式,在此不再赘述。可选的,若当前样本的噪声权重小于预设的权重阈值(如0.2),则还可对当前样本进行人工标注修正,从而结合其他噪声权重较大的样本,得到较为干净的一套训练数据集。
基于上述描述,下面结合图5a-图5b,并采用一个完整流程对步骤S408中所提及的“采用第二训练集,对目标模型进行弱监督模型优化”的实施原理作进一步详细阐述:
(1)首先从第二训练集中选择参考样本集,该参考样本集中的每个预设类别下的样本组中的参考样本的数量均大于K*50。
(2)调用目标模型对参考样本集中的各个参考样本进行前向计算,从而提取出各个参考样本的数据特征,该数据特征可以例如是目标模型中的resnet-101的Max pool层所输出的特征。
(3)根据各个参考样本的数据特征,计算每个样本组的的类中心表达,每个样本组的类中心表达可包括对每个样本组进行聚类处理所得到K个聚类中心,每个聚类中心的权重可为wk,最后得到N*K个聚类中心(即H个聚类中心)。记录每个聚类中心的中心类别,该中心类别用于指示聚类中心所代表的真实场景类别;例如,若在聚类中心1周边最近的10个参考样本中,大部分参考样本均属于校园场景,则聚类中心1可代表校园场景,即聚类中心1的中心类别为“校园场景”。
(4)调用目标模型对第二训练集中的各个样本,均进行特征提取,得到第二训练集中的每个样本的数据特征。
(5)遍历第二训练集中的各个样本,并确定当前遍历的当前样本的原始聚类中心:在H个聚类中心的中心类别中,查找与当前样本的样本标签指示的类别相匹配的中心类别,并将查找到中心类别所对应的聚类中心作为当前样本的原始聚类中心,将原始聚类中心的中心类别记录为class1。基于当前样本的数据特征和原始聚类中心的数据特征,计算当前样本和原始聚类中心之间的第一距离值(采用d1表示)。
(6)确定当前遍历的当前样本的基准聚类中心:根据上述N*K个聚类中心的数据特征(一个数据特征为1*2048维的向量)和当前样本的数据特征(1*2048向量),计算N*K个余弦距离值(即第二距离值),并选取最大余弦距离值(采用d2表示)对应的聚类中心作为当前样本的基准聚类中心,将基准聚类中心的中心类别记录为class2。
(7)对当前样本计算噪声权重:比较d1和d2,若d2小于d1且class2与class不同,则表示该当前样本极有可能属于其他类别而不是样本标签指示的类别;此时可计算当前样本的噪声权重为:w1=d2/(d1*2)。否则,则确定当前样本的噪声权重为预设数值(如数值1)。
(8)根据当前样本的噪声权重,计算目标模型通过当前样本产生的目标损失值;并按照减少目标损失值的方向,优化目标模型的模型参数。
(9)重复执行步骤(5)-(8),以完成第二训练集中的各个样本的损失值计算及模型更新优化。
S409,迭代上述过程,直至Q个领域均被所述目标模型学习为止。
其中,迭代上述过程是指:迭代执行步骤S401-S408;也就是说,一次迭代过程可包括:通过多领域挖掘任务(即通过目标模型的当前模型能力对所有候选领域进行无差别挖掘及学习的任务)得到的第一训练样本,实现的对目标模型的弱监督模型优化;以及通过目标领域的单领域挖掘任务(即通过目标模型的当前模型能力对目标领域进行挖掘及学习的任务)所得到的第二训练样本,实现的对目标模型的弱监督模型优化。
为便于更好地理解本申请实施例中的步骤S401-S409的执行逻辑,下面采用一个具体例子作示意性说明:
1、从4个领域的互联网中搜索到大量样本图像,如领域A下的样本图像、领域B下的样本图像、领域C下的样本图像,以及领域D下的样本图像;
2、将4个领域均作为候选领域,并对4个候选领域进行样本挖掘,选取4个候选领域中类别置信度大于第一置信度样本图像为新增的第一训练样本,并通过第一训练样本对目标模型进行弱监督模型优化;
3、根据这4个候选领域中的每个候选领域的样本挖掘比例,决定优先学习领域B,则将领域B作为目标领域;迭代执行:对领域B进行单领域挖掘,以从领域B中挖掘出第二训练样本,并通过第二训练样本对目标模型进行弱监督模型优化,直至完成该领域B的挖掘;
4、将剩余3个领域(领域A、领域C以及领域D)作为候选领域,并对这3个候选领域进行样本挖掘,并通过从3个候选领域中挖掘出的第一训练样本对目标模型进行弱监督模型优化;
5、根据这3个候选领域中的每个候选领域的样本挖掘比例,决定优先学习领域C,则将领域C作为目标领域;迭代执行:对领域C进行单领域挖掘,并根据从领域C中挖掘出的第二训练样本,对目标模型进行弱监督模型优化,直至完成该领域C的挖掘;
6、将剩余2个领域(领域A以及领域D)作为候选领域,并对这2个候选领域进行样本挖掘,并通过从2个候选领域中挖掘出的第一训练样本对目标模型进行弱监督模型优化;
7、根据这2个候选领域中的每个候选领域的样本挖掘比例,决定优先学习领域D,则将领域D作为目标领域;迭代执行:对领域D进行单领域挖掘,并根据从领域D中挖掘出的第二训练样本,对目标模型进行弱监督模型优化,直至完成该领域D的挖掘;
8、将剩余1个领域(领域A)作为候选领域,并对这1个候选领域进行样本挖掘,并通过从1个候选领域中挖掘出的第一训练样本对目标模型进行弱监督模型优化;
9、根据这1个候选领域中的每个候选领域的样本挖掘比例,决定优先学习领域A,则将领域A作为目标领域;迭代执行:对领域A进行单领域挖掘,并根据从领域A中挖掘出的第二训练样本,对目标模型进行弱监督模型优化,直至完成该领域A的挖掘;
10、完成所有领域挖掘以及模型学习,收集到用于对目标模型进行优化的所有训练样本,最终输出目标模型。
另外,通过上述步骤S401-S409的相关描述可知,在对目标模型进行弱监督模型优化时,可涉及样本的噪声预测,从而根据噪声权重计算目标损失值,以优化目标模型;这样的优化方式可使得最终得到一个具有带噪识别能力的目标模型,所谓的带噪识别是指:对带噪声的图像所进行的类别识别任务。可选的,在通过本申请实施例中的步骤S401-S409,得到具有带噪识别能力的目标模型后,还可将该目标模型搭载于任一设备(如任一服务器、任一终端)中,使得任一设备可基于该目标模型提供类别识别服务。以将该目标模型搭载于服务器中为例,当前端A(如终端中的客户端或网页)接收到某用户输入的某图像,则可将该图像上传至服务器,如图5c所示。服务器在接收到该图像后,便可调用目标模型对该图像进行类别识别,得到该图像的类别识别结果;然后可将该图像的类别识别结果输出至前端B,如图5d所示;或者对该图像的类别识别结果进行一系列的后处理,将后处理后的结果输出至前端B。需说明的是,此处所提及的前端B和前端A可以位于同一终端中,也可以位于不同终端中,对此不作限定。
本申请实施例可为目标模型设定Q个领域,并利用多领域从简单到难、样本从简单到难的学习方式,让目标模型通过逐步学习Q个领域进行多轮学习优化,可以有效提升目标模型的学习效率,逐渐增强模型的学习能力与泛化能力。通过有选择地逐领域挖掘,以及弱监督学习交替进行,可实现目标模型在多领域样本下各领域逐渐趋好、模型泛化效果逐渐趋好的效果。在采用第一训练集以及第二训练集对目标模型进行弱监督模型优化时,无需人工标注第一训练集中的第一训练样本以及第二训练集中的第二训练样本,可有效降低人力投入,提升大规模数据下模型学习的效率。在弱监督模型优化过程中,通过噪声权重实现弱监督标签平滑,从而缓解因直接抑制噪声造成某些带有其他类别信息的样本无法得到有效利用,从而提高目标模型对实际类别的泛化能力。
基于上述模型优化方法的相关实施例的描述,本申请实施例还提出了一种模型优化装置,该模型优化装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)。该模型优化装置可以执行图2或图4所示的模型优化方法;请参见图6,所述模型优化装置可以运行如下单元:
处理单元601,用于调用目标模型对候选样本集中的每个样本图像进行类别识别,得到所述每个样本图像的类别识别结果;其中,所述目标模型通过学习Q个领域进行优化,所述候选样本集采用所述Q个领域中,未被学习的P个候选领域下的样本图像构建,Q为大于1的正整数,P为小于或等于Q的正整数;
所述处理单元601,还用于根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度;
所述处理单元601,还用于基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域;
优化单元602,用于采用所述目标领域下的样本图像对所述目标模型进行优化,以使所述目标领域被所述目标模型学习;
所述处理单元601和所述优化单元602被迭代调用,直至所述Q个领域均被所述目标模型学习为止。
在一种实施方式中,任一样本图像的类别识别结果包括:所述任一样本图像的目标类别的类别置信度;所述领域分布情况用于指示所述每个样本图像所属的候选领域;相应的,处理单元601在用于根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度时,可具体用于:
根据所述每个样本图像的类别识别结果中的类别置信度,对所述P个候选领域进行样本挖掘,得到一个或多个第一训练样本,所述第一训练样本是指所述候选样本集中类别置信度大于或等于第一置信度阈值的样本图像;
基于所述各个样本图像的领域分布情况,确定每个候选领域下的第一训练样本的样本数量;
根据所述每个候选领域对应的样本数量,计算所述目标模型和所述每个候选领域的学习适配度。
另一种实施方式中,处理单元601在用于根据所述每个候选领域对应的样本数量,计算所述目标模型和所述每个候选领域的学习适配度时,可具体用于:
统计第p个候选领域下的样本图像的总数量,p∈[1,P];
采用所述总数量和所述第p个候选领域对应的样本数量,计算所述第p个候选领域的样本挖掘比例;
根据所述样本挖掘比例,计算所述目标模型与所述第p个候选领域的学习适配度。
另一种实施方式中,在采用所述目标领域下的样本图像对所述目标模型进行优化之前,优化单元602还可用于:
获取每个第一训练样本在对应的候选领域下的原始标签,并将各个第一训练样本和对应的原始标签,添加至第一训练集中;
获取目标数量的标注样本,所述标注样本是指具有标注标签的图像;并将各个标注样本和对应的标注标签,添加至所述第一训练集中;
采用所述第一训练集,对所述目标模型进行弱监督模型优化。
另一种实施方式中,所述计算结果包括:所述目标模型和每个候选领域的学习适配度;相应的,处理单元601在用于基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域时,可具体用于:
在所述计算结果中选取最大学习适配度;
将所述P个候选领域中与所述最大学习适配度对应的候选领域,作为与所述目标模型适配的目标领域。
另一种实施方式中,优化单元602在用于采用所述目标领域下的样本图像对所述目标模型进行优化时,可具体用于:采用所述目标领域下的样本图像,对所述目标模型迭代执行一次或多次优化过程;其中,任一次优化过程如下:
从所述目标领域下的所有样本图像中,选取未被学习的样本图像作为目标样本;
调用所述目标模型对每个目标样本进行类别识别,得到所述每个目标样本的目标类别和对应的类别置信度;
根据所述每个目标样本的类别置信度,对所述目标领域进行样本挖掘;
若挖掘出一个或多个第二训练样本,则采用挖掘出的各个第二训练样本和对应的目标类别,优化所述目标模型,其中,所述第二训练样本是指所述目标领域下类别置信度大于或等于第二置信度阈值的目标样本;
若未挖掘出所述第二训练样本,则停止所述目标模型对所述目标领域的学习。
另一种实施方式中,优化单元602在用于若挖掘出一个或多个第二训练样本,则采用挖掘出的各个第二训练样本和对应的目标类别,优化所述目标模型时,可具体用于:
若挖掘出一个或多个第二训练样本,则获取挖掘出的各个第二训练样本在所述目标领域下的原始标签,并将每个第二训练样本和对应的原始标签,添加至第二训练集中;以及将目标数量的标注样本和每个标注样本的标注标签,添加至所述第二训练集中;
采用所述第二训练集,对所述目标模型进行弱监督模型优化。
另一种实施方式中,优化单元602在采用所述第二训练集,对所述目标模型进行弱监督模型优化时,可具体用于:
遍历所述第二训练集中的各个样本,并获取当前遍历的当前样本的样本标签;其中,若所述当前样本为第二训练样本,则所述样本标签为原始标签,若所述当前样本为标注样本,则所述样本标签为标注标签;
调用所述目标模型对所述当前样本进行类别识别,得到所述当前样本的类别识别结果;
根据所述当前样本的类别识别结果和所述样本标签,计算所述目标模型通过所述当前样本产生的初始损失值;
获取所述当前样本的噪声权重,并采用所述噪声权重对所述初始损失值进行加权处理,得到所述目标模型通过所述当前样本产生的目标损失值;
按照减少所述目标损失值的方向,优化所述目标模型的模型参数。
另一种实施方式中,优化单元602在用于获取所述当前样本的噪声权重时,可具体用于:
基于所述当前样本的数据特征和所述样本标签,对所述当前样本进行噪声预测,得到噪声预测结果;
根据所述噪声预测结果为所述当前样本分配噪声权重。
另一种实施方式中,所述第二训练集具有H个聚类中心,一个聚类中心具有一个中心类别,H为大于1的正整数;相应的,优化单元602在用于基于所述当前样本的数据特征和所述样本标签,对所述当前样本进行噪声预测,得到噪声预测结果时,可具体用于:
在所述H个聚类中心的中心类别中,查找与所述样本标签指示的类别相匹配的中心类别,并将查找到中心类别所对应的聚类中心作为所述当前样本的原始聚类中心;
基于所述当前样本的数据特征和所述原始聚类中心的数据特征,计算所述当前样本和所述原始聚类中心之间的第一距离值;
根据所述当前样本的数据特征和各个聚类中心的数据特征,分别计算所述当前样本和所述各个聚类中心之间的第二距离值,并将最大第二距离值所对应的聚类中心作为所述当前样本的基准聚类中心;
若所述最大第二距离值小于所述第一距离值,且所述原始聚类中心的中心类别和所述基准聚类中心的中心类别不同,则生成用于指示所述当前样本存在噪声的噪声预测结果;否则,则生成用于指示所述当前样本未存在噪声的噪声预测结果。
另一种实施方式中,优化单元602还可用于:
从所述第二训练集中选取参考样本集,并调用所述目标模型提取所述参考样本集中的每个参考样本的数据特征;
基于所述每个参考样本的数据特征,对所述参考样本集进行聚类处理,得到H个聚类中心,一个聚类中心对应一个样本簇;
根据第h个样本簇中的每个参考样本和所述第h个聚类中心之间的相似度,在所述第h个样本簇中选取相似度满足预设条件的参考样本;所述第h个样本簇是指第h个聚类中心对应的样本簇,h∈[1,H];
根据被选取的各个参考样本的目标类别,为所述第h个聚类中心分配一个中心类别。
另一种实施方式中,所述参考样本集包括:N个预设类别中的各个预设类别下的样本组,任一预设类别下的样本组包括:所述任一预设类别下的期望数量的参考样本,N为大于1的正整数;相应的,优化单元602在基于所述每个参考样本的数据特征,对所述参考样本集进行聚类处理,得到H个聚类中心时,可具体用于:
遍历所述参考样本集中的各个样本组,并确定当前遍历的当前样本组;
基于所述当前样本组中的各个参考样本的数据特征,对所述当前样本组进行聚类处理,得到所述当前样本组的K个聚类中心,K为大于1的正整数;
在所述各个样本组均被遍历后,得到H个聚类中心,所述H个聚类中心包括每个样本组的K个聚类中心。
另一种实施方式中,优化单元602在用于根据所述噪声预测结果为所述当前样本分配噪声权重时,可具体用于:
若所述噪声预测结果指示所述当前样本存在噪声,则根据最大第二距离值和所述第一距离值,计算所述当前样本的噪声权重;
若所述噪声预测结果指示所述当前样本未存在噪声,则将预设数值确定为所述当前样本的噪声权重。
根据本申请的一个实施例,图2或图4所示的方法所涉及的各个步骤均可以是由图6所示的模型优化装置中的各个单元来执行的。例如,图2中所示的步骤S201-步骤S203均可由图6中所示的处理单元601执行,步骤S204可由图6中所示的优化单元602执行。又如,图4中所示的步骤S401-步骤S403,以及步骤S405-S407均可由图6中所示的处理单元601执行,步骤S404和步骤S408均可由图6中所示的优化单元602执行,等等。
根据本申请的另一个实施例,图6所示的模型优化装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于模型优化装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图6中所示的模型优化装置设备,以及来实现本申请实施例的模型优化方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例可为目标模型设定Q个领域,并按照适配领域优先学习的原则,让目标模型通过逐步学习Q个领域进行多轮学习优化。在每轮学习优化过程中,可采用Q个领域中未被学习的P个候选领域下的样本图像构建候选样本集。并调用目标模型对候选样本集中的各个样本图像进行类别识别,从而根据类别识别结果和各个样本图像的领域分布情况,反向计算目标模型与每个候选领域的学习适配度,以在一定程度上提升学习适配度的可靠性和准确性。然后可基于计算结果和适配策略,从P个候选领域中选取与目标模型适配的目标领域,并使目标模型优先学习该目标领域;由于目标领域是与目标模型适配的,因此相对于P个候选领域中的其他领域而言,目标模型学习目标领域更为容易,这样不仅可有效减少目标模型因学习领域所需的学习时长,提升模型优化效率,还可保证目标模型实现泛化能力稳定且准确性不降低的学习效果。在通过学习目标领域提升目标模型的模型能力后,可迭代上述过程以使目标模型继续学习未被学习的各个领域;随着逐渐迭代优化,可使得目标模型慢慢具有更强的能力来处理更复杂或者更难的领域下的样本图像,从而使得目标模型对Q个领域都能充分学习挖掘出有效信息来调整自身的模型参数,提升目标模型的准确性、泛化性和鲁棒性等性能。并且,由于每个领域间的样本图像通常不是绝对隔绝的,因此目标模型通过先学习的领域所获取到的信息,对后学习的领域可具有一定的帮助作用,有利于提升目标模型对后学习的领域的学习效果,从而提升目标模型的优化效果。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种计算机设备。请参见图7,该计算机设备至少包括处理器701、输入接口702、输出接口703以及计算机存储介质704。其中,计算机设备内的处理器701、输入接口702、输出接口703以及计算机存储介质704可通过总线或其他方式连接。
计算机存储介质704可以存储在计算机设备的存储器中,所述计算机存储介质704用于存储计算机程序,所述计算机程序包括程序指令,所述处理器701 用于执行所述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本申请实施例所述的处理器701可以用于进行一系列的模型优化处理,具体包括:调用目标模型对候选样本集中的每个样本图像进行类别识别,得到所述每个样本图像的类别识别结果;其中,所述目标模型通过学习Q个领域进行优化,所述候选样本集采用所述Q个领域中,未被学习的P个候选领域下的样本图像构建;根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度;基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域;采用所述目标领域下的样本图像对所述目标模型进行优化,以使所述目标领域被所述目标模型学习;迭代上述过程,直至所述Q个领域均被所述目标模型学习为止将所述目标模型达到收敛时的聚类结果,作为所述目标数据集的目标聚类结果,等等。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机存储介质。在一个实施例中,可由处理器加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图2或图4所示的模型优化方法的实施例中的各个方法步骤。
本申请实施例可为目标模型设定Q个领域,并按照适配领域优先学习的原则,让目标模型通过逐步学习Q个领域进行多轮学习优化。在每轮学习优化过程中,可采用Q个领域中未被学习的P个候选领域下的样本图像构建候选样本集。并调用目标模型对候选样本集中的各个样本图像进行类别识别,从而根据类别识别结果和各个样本图像的领域分布情况,反向计算目标模型与每个候选领域的学习适配度,以在一定程度上提升学习适配度的可靠性和准确性。然后可基于计算结果和适配策略,从P个候选领域中选取与目标模型适配的目标领域,并使目标模型优先学习该目标领域;由于目标领域是与目标模型适配的,因此相对于P个候选领域中的其他领域而言,目标模型学习目标领域更为容易,这样不仅可有效减少目标模型因学习领域所需的学习时长,提升模型优化效率,还可保证目标模型实现泛化能力稳定且准确性不降低的学习效果。在通过学习目标领域提升目标模型的模型能力后,可迭代上述过程以使目标模型继续学习未被学习的各个领域;随着逐渐迭代优化,可使得目标模型慢慢具有更强的能力来处理更复杂或者更难的领域下的样本图像,从而使得目标模型对Q个领域都能充分学习挖掘出有效信息来调整自身的模型参数,提升目标模型的准确性、泛化性和鲁棒性等性能。并且,由于每个领域间的样本图像通常不是绝对隔绝的,因此目标模型通过先学习的领域所获取到的信息,对后学习的领域可具有一定的帮助作用,有利于提升目标模型对后学习的领域的学习效果,从而提升目标模型的优化效果。
需要说明的是,根据本申请的一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2、或图4所示的模型优化方法实施例方面的各种可选方式中提供的方法。
并且,应理解的是,以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (15)
1.一种模型优化方法,其特征在于,包括:
调用目标模型对候选样本集中的每个样本图像进行类别识别,得到所述每个样本图像的类别识别结果;其中,所述目标模型通过学习Q个领域进行优化,所述候选样本集采用所述Q个领域中,未被学习的P个候选领域下的样本图像构建,Q为大于1的正整数,P为小于或等于Q的正整数;
根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度;
基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域;
采用所述目标领域下的样本图像对所述目标模型进行优化,以使所述目标领域被所述目标模型学习;
迭代上述过程,直至所述Q个领域均被所述目标模型学习为止。
2.如权利要求1所述的方法,其特征在于,任一样本图像的类别识别结果包括:所述任一样本图像的目标类别的类别置信度;所述领域分布情况用于指示所述每个样本图像所属的候选领域;
所述根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度,包括:
根据所述每个样本图像的类别识别结果中的类别置信度,对所述P个候选领域进行样本挖掘,得到一个或多个第一训练样本,所述第一训练样本是指所述候选样本集中类别置信度大于或等于第一置信度阈值的样本图像;
基于所述各个样本图像的领域分布情况,确定每个候选领域下的第一训练样本的样本数量;
根据所述每个候选领域对应的样本数量,计算所述目标模型和所述每个候选领域的学习适配度。
3.如权利要求2所述的方法,其特征在于,所述根据所述每个候选领域对应的样本数量,计算所述目标模型和所述每个候选领域的学习适配度,包括:
统计第p个候选领域下的样本图像的总数量,p∈[1,P];
采用所述总数量和所述第p个候选领域对应的样本数量,计算所述第p个候选领域的样本挖掘比例;
根据所述样本挖掘比例,计算所述目标模型与所述第p个候选领域的学习适配度。
4.如权利要求2或3所述的方法,其特征在于,所述采用所述目标领域下的样本图像对所述目标模型进行优化之前,所述方法还包括:
获取每个第一训练样本在对应的候选领域下的原始标签,并将各个第一训练样本和对应的原始标签,添加至第一训练集中;
获取目标数量的标注样本,所述标注样本是指具有标注标签的图像;并将各个标注样本和对应的标注标签,添加至所述第一训练集中;
采用所述第一训练集,对所述目标模型进行弱监督模型优化。
5.如权利要求1-3任一项所述的方法,其特征在于,所述计算结果包括:所述目标模型和每个候选领域的学习适配度;所述基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域,包括:
在所述计算结果中选取最大学习适配度;
将所述P个候选领域中与所述最大学习适配度对应的候选领域,作为与所述目标模型适配的目标领域。
6.如权利要求1-3任一项所述的方法,其特征在于,所述采用所述目标领域下的样本图像对所述目标模型进行优化,包括:采用所述目标领域下的样本图像,对所述目标模型迭代执行一次或多次优化过程;其中,任一次优化过程如下:
从所述目标领域下的所有样本图像中,选取未被学习的样本图像作为目标样本;
调用所述目标模型对每个目标样本进行类别识别,得到所述每个目标样本的目标类别和对应的类别置信度;
根据所述每个目标样本的类别置信度,对所述目标领域进行样本挖掘;
若挖掘出一个或多个第二训练样本,则采用挖掘出的各个第二训练样本和对应的目标类别,优化所述目标模型,其中,所述第二训练样本是指所述目标领域下类别置信度大于或等于第二置信度阈值的目标样本;
若未挖掘出所述第二训练样本,则停止所述目标模型对所述目标领域的学习。
7.如权利要求6所述的方法,其特征在于,所述若挖掘出一个或多个第二训练样本,则采用挖掘出的各个第二训练样本和对应的目标类别,优化所述目标模型,包括:
若挖掘出一个或多个第二训练样本,则获取挖掘出的各个第二训练样本在所述目标领域下的原始标签,并将每个第二训练样本和对应的原始标签,添加至第二训练集中;以及将目标数量的标注样本和每个标注样本的标注标签,添加至所述第二训练集中;
采用所述第二训练集,对所述目标模型进行弱监督模型优化。
8.如权利要求7所述的方法,其特征在于,所述采用所述第二训练集,对所述目标模型进行弱监督模型优化,包括:
遍历所述第二训练集中的各个样本,并获取当前遍历的当前样本的样本标签;其中,若所述当前样本为第二训练样本,则所述样本标签为原始标签,若所述当前样本为标注样本,则所述样本标签为标注标签;
调用所述目标模型对所述当前样本进行类别识别,得到所述当前样本的类别识别结果;
根据所述当前样本的类别识别结果和所述样本标签,计算所述目标模型通过所述当前样本产生的初始损失值;
获取所述当前样本的噪声权重,并采用所述噪声权重对所述初始损失值进行加权处理,得到所述目标模型通过所述当前样本产生的目标损失值;
按照减少所述目标损失值的方向,优化所述目标模型的模型参数。
9.如权利要求8所述的方法,其特征在于,所述获取所述当前样本的噪声权重,包括:
基于所述当前样本的数据特征和所述样本标签,对所述当前样本进行噪声预测,得到噪声预测结果;
根据所述噪声预测结果为所述当前样本分配噪声权重。
10.如权利要求9所述的方法,其特征在于,所述第二训练集具有H个聚类中心,一个聚类中心具有一个中心类别,H为大于1的正整数;所述基于所述当前样本的数据特征和所述样本标签,对所述当前样本进行噪声预测,得到噪声预测结果,包括:
在所述H个聚类中心的中心类别中,查找与所述样本标签指示的类别相匹配的中心类别,并将查找到中心类别所对应的聚类中心作为所述当前样本的原始聚类中心;
基于所述当前样本的数据特征和所述原始聚类中心的数据特征,计算所述当前样本和所述原始聚类中心之间的第一距离值;
根据所述当前样本的数据特征和各个聚类中心的数据特征,分别计算所述当前样本和所述各个聚类中心之间的第二距离值,并将最大第二距离值所对应的聚类中心作为所述当前样本的基准聚类中心;
若所述最大第二距离值小于所述第一距离值,且所述原始聚类中心的中心类别和所述基准聚类中心的中心类别不同,则生成用于指示所述当前样本存在噪声的噪声预测结果;否则,则生成用于指示所述当前样本未存在噪声的噪声预测结果。
11.如权利要求10所述的方法,其特征在于,所述方法还包括:
从所述第二训练集中选取参考样本集,并调用所述目标模型提取所述参考样本集中的每个参考样本的数据特征;
基于所述每个参考样本的数据特征,对所述参考样本集进行聚类处理,得到H个聚类中心,一个聚类中心对应一个样本簇;
根据第h个样本簇中的每个参考样本和所述第h个聚类中心之间的相似度,在所述第h个样本簇中选取相似度满足预设条件的参考样本;所述第h个样本簇是指第h个聚类中心对应的样本簇,h∈[1,H];
根据被选取的各个参考样本的目标类别,为所述第h个聚类中心分配一个中心类别。
12.如权利要求11所述的方法,其特征在于,所述参考样本集包括:N个预设类别中的各个预设类别下的样本组,任一预设类别下的样本组包括:所述任一预设类别下的期望数量的参考样本,N为大于1的正整数;
所述基于所述每个参考样本的数据特征,对所述参考样本集进行聚类处理,得到H个聚类中心,包括:
遍历所述参考样本集中的各个样本组,并确定当前遍历的当前样本组;
基于所述当前样本组中的各个参考样本的数据特征,对所述当前样本组进行聚类处理,得到所述当前样本组的K个聚类中心,K为大于1的正整数;
在所述各个样本组均被遍历后,得到H个聚类中心,所述H个聚类中心包括每个样本组的K个聚类中心。
13.如权利要求10所述的方法,其特征在于,所述根据所述噪声预测结果为所述当前样本分配噪声权重,包括:
若所述噪声预测结果指示所述当前样本存在噪声,则根据最大第二距离值和所述第一距离值,计算所述当前样本的噪声权重;
若所述噪声预测结果指示所述当前样本未存在噪声,则将预设数值确定为所述当前样本的噪声权重。
14.一种模型优化装置,其特征在于,包括:
处理单元,用于调用目标模型对候选样本集中的每个样本图像进行类别识别,得到所述每个样本图像的类别识别结果;其中,所述目标模型通过学习Q个领域进行优化,所述候选样本集采用所述Q个领域中,未被学习的P个候选领域下的样本图像构建,Q为大于1的正整数,P为小于或等于Q的正整数;
所述处理单元,还用于根据所述每个样本图像的类别识别结果和各个样本图像的领域分布情况,计算所述目标模型与每个候选领域的学习适配度;
所述处理单元,还用于基于计算结果和适配策略,从所述P个候选领域中选取与所述目标模型适配的目标领域;
优化单元,用于采用所述目标领域下的样本图像对所述目标模型进行优化,以使所述目标领域被所述目标模型学习;
所述处理单元和所述优化单元被迭代调用,直至所述Q个领域均被所述目标模型学习为止。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由处理器加载并执行如权利要求1-13任一项所述的模型优化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110533449.4A CN112990387B (zh) | 2021-05-17 | 2021-05-17 | 模型优化方法、相关设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110533449.4A CN112990387B (zh) | 2021-05-17 | 2021-05-17 | 模型优化方法、相关设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112990387A true CN112990387A (zh) | 2021-06-18 |
CN112990387B CN112990387B (zh) | 2021-07-20 |
Family
ID=76336615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110533449.4A Active CN112990387B (zh) | 2021-05-17 | 2021-05-17 | 模型优化方法、相关设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112990387B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822130A (zh) * | 2021-07-05 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 模型训练方法、场景识别方法、计算设备和介质 |
CN114418021A (zh) * | 2022-01-25 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 模型优化方法、装置及计算机程序产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745233A (zh) * | 2014-01-23 | 2014-04-23 | 西安电子科技大学 | 基于空间信息迁移的高光谱图像分类方法 |
CN106874296A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格识别方法及装置 |
CN108256561A (zh) * | 2017-12-29 | 2018-07-06 | 中山大学 | 一种基于对抗学习的多源域适应迁移方法及系统 |
CN109829456A (zh) * | 2017-11-23 | 2019-05-31 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置及终端 |
CN110135579A (zh) * | 2019-04-08 | 2019-08-16 | 上海交通大学 | 基于对抗学习的无监督领域适应方法、系统及介质 |
CN111125422A (zh) * | 2019-12-13 | 2020-05-08 | 北京达佳互联信息技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
CN112733970A (zh) * | 2021-03-31 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 图像分类模型处理方法、图像分类方法及装置 |
-
2021
- 2021-05-17 CN CN202110533449.4A patent/CN112990387B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745233A (zh) * | 2014-01-23 | 2014-04-23 | 西安电子科技大学 | 基于空间信息迁移的高光谱图像分类方法 |
CN106874296A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格识别方法及装置 |
CN109829456A (zh) * | 2017-11-23 | 2019-05-31 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置及终端 |
CN108256561A (zh) * | 2017-12-29 | 2018-07-06 | 中山大学 | 一种基于对抗学习的多源域适应迁移方法及系统 |
CN110135579A (zh) * | 2019-04-08 | 2019-08-16 | 上海交通大学 | 基于对抗学习的无监督领域适应方法、系统及介质 |
CN111125422A (zh) * | 2019-12-13 | 2020-05-08 | 北京达佳互联信息技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
CN112733970A (zh) * | 2021-03-31 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 图像分类模型处理方法、图像分类方法及装置 |
Non-Patent Citations (4)
Title |
---|
BIYING FU ET AL.: "Generalization of Fitness Exercise Recognition from Doppler Measurements", 《ICPR 2020 WORKSHOPS》 * |
SHAOYUE SONG ET AL.: "Domain Adaptation for Convolutional Neural Networks-Based Remote Sensing Scene Classification", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
孙俏 等: "基于域间相似度序数的迁移学习源领域的选择", 《科学技术与工程》 * |
方存亮: "基于图像识别的无监督领域自适应方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822130A (zh) * | 2021-07-05 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 模型训练方法、场景识别方法、计算设备和介质 |
CN114418021A (zh) * | 2022-01-25 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 模型优化方法、装置及计算机程序产品 |
CN114418021B (zh) * | 2022-01-25 | 2024-03-26 | 腾讯科技(深圳)有限公司 | 模型优化方法、装置及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN112990387B (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111382868B (zh) | 神经网络结构搜索方法和神经网络结构搜索装置 | |
CN109919316B (zh) | 获取网络表示学习向量的方法、装置和设备及存储介质 | |
CN110728317A (zh) | 决策树模型的训练方法、系统、存储介质及预测方法 | |
CN111507419B (zh) | 图像分类模型的训练方法及装置 | |
CN112990387B (zh) | 模型优化方法、相关设备及存储介质 | |
CN111382283B (zh) | 资源类别标签标注方法、装置、计算机设备和存储介质 | |
CN111914156A (zh) | 自适应标签感知的图卷积网络跨模态检索方法、系统 | |
CN111310074B (zh) | 兴趣点的标签优化方法、装置、电子设备和计算机可读介质 | |
CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
CN111241992B (zh) | 人脸识别模型构建方法、识别方法、装置、设备及存储介质 | |
CN113806582B (zh) | 图像检索方法、装置、电子设备和存储介质 | |
CN114358188A (zh) | 特征提取模型处理、样本检索方法、装置和计算机设备 | |
EP3769270A1 (en) | A method, an apparatus and a computer program product for an interpretable neural network representation | |
CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
CN112800253B (zh) | 数据聚类方法、相关设备及存储介质 | |
CN114781611A (zh) | 自然语言处理方法、语言模型训练方法及其相关设备 | |
CN113869528A (zh) | 共识表征提取和多样性传播的解纠缠个性化联邦学习方法 | |
CN113656699B (zh) | 用户特征向量确定方法、相关设备及介质 | |
CN114358250A (zh) | 数据处理方法、装置、计算机设备、介质及程序产品 | |
CN116415647A (zh) | 神经网络架构搜索的方法、装置、设备和存储介质 | |
CN110019751A (zh) | 机器学习模型修改和自然语言处理 | |
CN113822130A (zh) | 模型训练方法、场景识别方法、计算设备和介质 | |
CN117010480A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 | |
CN113762648B (zh) | 公卫黑天鹅事件预测方法、装置、设备及介质 | |
CN112927810B (zh) | 基于大数据的智慧医疗响应方法及智慧医疗云计算系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40046482 Country of ref document: HK |