CN113496256A - 一种图像标注模型训练方法、标注方法、装置、设备及介质 - Google Patents
一种图像标注模型训练方法、标注方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113496256A CN113496256A CN202110703625.4A CN202110703625A CN113496256A CN 113496256 A CN113496256 A CN 113496256A CN 202110703625 A CN202110703625 A CN 202110703625A CN 113496256 A CN113496256 A CN 113496256A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- preset
- sample
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004458 analytical method Methods 0.000 claims abstract description 185
- 238000002372 labelling Methods 0.000 claims description 63
- 238000003860 storage Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种图像标注模型训练方法、标注方法、装置、设备及介质,通过第一预设分析网络模型分析多个样本图像在全量标签上的分析值,将多个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块,得到每个样本图像的目标标签,通过获取目标标签对应的偏差信息,确定目标标签与样本图像的匹配率;再根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,在训练过程中,利用目标标签对应的偏差信息,使样本图像的目标标签趋于准确,使预设图像标注模型的标注准确度趋于完善,可以提高样本图像需要人工标注导致的低效率、人工成本大的问题,还可以提高图像标注模型的泛化能力。
Description
技术领域
本公开涉及图像标注领域,尤其涉及一种图像标注模型训练方法、标注方法、装置、设备及介质。
背景技术
在如今自动驾驶、智能医疗、智能安防等人工智能领域,基于有明确标签训练样本的监督学习仍然是一种主要的模型训练方式。在具体的业务场景中需要大量的数据采集和标注,以用于算法模型的训练和迭代优化。目前,大多数企业及研究机构采用人工数据标注方式制作样本数据,标注人员的培训与手工标注存在人工工时长、劳动成本高等缺陷。以Imagenet的1500万数据集为例,该数据集的标注工作历时两年完成,动员了世界各地167个国家48940名标注人员。一些自动标注技术采用的模型,在训练时需要利用大量标注好的样本图像,也即在模型训练前期,需要人工对样本数据进行大量的标注,并且在模型更新时,也需要由人工对模型标注的样本进行校核。由此可见,在算法模型的训练和优化过程中,需要投入的人工成本极为庞大。
发明内容
为了解决上述技术问题,本发明提供一种图像标注模型训练方法、标注方法、装置、设备及介质,可以大大提高对用于图像自动标注模型训练的样本图像的自动标注效率和泛化能力,解决图像自动标注模型训练时,样本图像需要人工标注导致的低效率、人工成本大的问题。
为了达到上述申请的目的,本申请提供了一种图像标注模型训练方法,该方法可以包括:
获取样本图像数据集,所述样本图像数据集包括多个样本图像;
将所述多个样本图像输入预设图像标注模型中的第一预设分析网络模型,得到每个样本图像在全量标签上的分析值;
将所述多个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块,得到每个样本图像的目标标签;
获取所述目标标签对应的偏差信息;
根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型。
在一种可能的实现方式中,所述根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型可以包括:
根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,确定损失信息;
根据所述损失信息训练所述第一预设分析网络模型,得到目标分析网络模型;
利用所述损失信息,对所述贪心模块进行更新,得到更新后的贪心模块;
将所述目标分析网络模型和所述更新后的贪心模型,作为所述目标图像标注模型。
在一种可能的实现方式中,所述将所述多个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块,得到每个样本图像的目标标签可以包括:
将每个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块;
利用所述贪心模块确定目标随机数和预设变量;
当所述目标随机数和所述预设变量满足第一预设条件时,利用所述贪心模块确定每个样本图像在全量标签上的分析值中,数值最大的分析值;
将所述数值最大的分析值所对应的标签作为对应样本图像的目标标签。
在一种可能的实现方式中,所述利用所述贪心模块确定目标随机数和预设变量之后,所述方法还可以包括:
当所述目标随机数和所述预设变量满足第二预设条件时,利用所述贪心模块从所述全量标签中随机抽取一个标签,并将随机抽取的标签作为样本图像的目标标签。
在一种可能的实现方式中,所述方法还可以包括:
获取历史样本图像、所述历史样本图像在对应目标标签上的分析值和对应的偏差信息;
所述根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型包括:
从所述多个样本图像和所述历史图像中抽取目标样本图像;
根据每个目标样本图像、每个目标样本图像在目标标签上的分析值和对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型。
在一种可能的实现方式中,所述根据所述损失信息训练所述第一预设分析网络模型,得到目标分析网络模型包括:
获取第二预设分析网络模型;
根据所述损失信息,迭代更新所述第二预设分析网络模型中的网络参数;
获取每次迭代更新后的第二预设分析网络模型中的网络参数和对应的损失信息;
根据所述对应的损失信息,确定是否基于所述每次迭代更新后的第二预设分析网络模型中的网络参数,更新所述第一预设分析网络模型;
当所述对应的损失信息满足预设损失条件时,将更新后的第一预设分析网络模型作为所述目标分析网络模型。
本申请另外还提供一种图像标注方法,该方法可以包括:
获取待标注图像;
将所述待标注图像输入目标图像标注模型,进行所述待标注图像在全量标签上的分析,得到所述待标注图像在所述全量标签上的分析值,对所述待标注图像在全量标签上的分析值进行贪心计算,得到所述待标注图像的目标标签;
其中,所述目标图像标注模型为上述图像标注模型训练方法中的目标图像标注模型。
另一方面,本申请还提供一种图像标注模型训练装置,所述装置包括:
样本获取模块,用于获取样本图像数据集,所述样本图像数据集包括多个样本图像;
分析值确定模块,用于将所述多个样本图像输入预设图像标注模型中的第一预设分析网络模型,得到每个样本图像在全量标签上的分析值;
目标标签确定模块,用于将所述多个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块,得到每个样本图像的目标标签;
偏差信息获取模块,用于获取所述目标标签对应的偏差信息;
目标模型生成模块,用于根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型。
另一方面,本申请还提供一种电子设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或者至少一段程序,所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现上述的图像标注模型训练方法。
另一方面,本申请还提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的图像标注模型训练方法。
实施本申请,具有如下有益效果:
本申请通过第一预设分析网络模型分析多个样本图像在全量标签上的分析值,将多个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块,得到每个样本图像的目标标签,可以避免人工标注样本图像造成的高人工成本问题;并且可以通过获取目标标签对应的偏差信息,确定目标标签与样本图像的匹配率;再根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,在训练过程中,无需人工标注样本图像,并且利用目标标签对应的偏差信息,使样本图像的目标标签趋于准确,使预设图像标注模型的标注准确度趋于完善,可以提高样本图像需要人工标注导致的低效率、人工成本大的问题,还可以提高图像标注模型的泛化能力。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本申请实施例提供的一种应用场景的示意图;
图2为本申请实施例提供的一种图像标注模型训练方法的流程示意图;
图3是根据一示例性实施例示出的一种图像标注模型训练方法的流程图;
图4是根据一示例性实施例示出的一种将所述多个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块,得到每个样本图像的目标标签的方法流程图;
图5为本申请另一实施例提供的一种图像标注模型训练方法的流程示意图;
图6是根据一示例性实施例示出的图像标注模型训练方法的流程图;
图7是根据一示例性实施例示出的图像标注模型训练方法的流程图;
图8是根据一示例性实施例示出的图像标注方法的流程图;
图9是根据一示例性实施例示出的一种图像标注模型训练装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了实现本申请的技术方案,让更多的工程技术工作者容易了解和应用本申请,将结合具体的实施例,进一步阐述本申请的工作原理。
请参阅图1,图1是本申请实施例提供的一种应用场景的示意图,如图1所示,该应用场景可以包括服务器01和终端02。具体的,服务器01可以用于训练图像标注模型,也可以用于图像标注。服务器01可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。服务器可以包括由网络通信单元、处理器和存储器等等。具体的,服务器01上部署有消息中心,用于与终端02进行消息交互,进行任务处理。终端02可以用于面向用户进行图像标注,终端02可以包括运行于实体设备中的软体,例如某些服务商提供的应用等,也可以包括安装有应用的智能手机、计算机、数字助理等类型的实体设备。本说明书实施例中终端02上运行的操作系统可以包括但不限于安卓系统、IOS系统、Linux、Windows等。
以下介绍本申请一种图像标注模型训练方法的实施例,图2是本申请实施例提供的一种图像标注模型训练方法的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。具体的,如图2所示,该方法可以包括:
S101:获取样本图像数据集。
本说明书实施例中,样本图像数据集可以包括多个样本图像,该多个样本图像可以是从不同的数据来源方得到,也可以是从数据池中抓取。其中,数据来源方是指云平台中的不同用户。
在一个示例中,在从不同的数据来源方获取多个图像后,可以先对该多个图像进行图像处理,得到符合预设大小、预设像素、预设格式等预设图像标准的图像,并将该符合预设图像标准的图像作为样本图像。这样可以提高样本图像的新鲜度。
在一个示例中,可以预先构建数据池,对多个图像进行处理,得到符合预设图像标准的图像,并将该符合预设图像标准的图像存储于数据池中,在实际使用时,从数据池中获取样本图像数据集。这样可以提高样本图像的获取效率。
S103:将多个样本图像输入预设图像标注模型中的第一预设分析网络模型,得到每个样本图像在全量标签上的分析值。
实际应用中,可以采用CNN卷积神经网络作为第一预设分析网络模型,本申请对此不作限定。在一个示例中,可以设置多个卷积层和全连接层,利用多个卷积层提取每个样本图像的不同特征,利用多个全连接层将每个样本图像的不同特征映射到每个标签的分析值,其中,每个样本图像在全量标签上的分析值可以为0-1之间的任意数值,也可以为0-100之间的任意数值,本申请对比不作限定。例如,全量标签为l1、l2……ln,将样本图像Image1输入第一预设分析网络模型,输出为Q(l1)、Q(l2)……Q(ln),Q(l1)为样本图像Image1在标签l1上的分析值,Q(l2)为样本图像Image1在标签l2上的分析值……Q(ln)为样本图像Image1在标签ln上的分析值。
S105:将多个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块,得到每个样本图像的目标标签。
实际使用中,可以利用贪心模块确定样本图像的分析值中,最大分析值对应的标签,并将最大分析值对应的标签作为该样本图像的目标标签。通过贪心模块对多个样本图像以及对应的分析值进行处理,得到当前最优标签,并将该最优标签作为对应样本图像的目标标签,可以在无需人工标注的情况下,得到样本图像的目标标签。
S107:获取目标标签对应的偏差信息。
具体的,目标标签对应的偏差信息是指目标标签和该样本图像的真实标签之间的偏差。可选的,目标标签对应的偏差信息可以包括1和-1,当样本图像的目标标签和真实标签出现偏差时,该目标标签对应的偏差信息为-1,当样本图像的目标标签和真实标签没有偏差时,该目标标签对应的偏差信息为1。
实际应用中,目标标签对应的偏差信息可以由人工确定。由人工进行偏差信息的确定,可以在避免人工标注工作量大的同时,保证目标标签与样本图像的匹配度。
S109:根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,得到目标图像标注模型。
本说明书实施例中,通过多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息对预设图像标注模型进行训练,当满足训练条件时,即可获取目标图像标注模型。
该实施例通过第一预设分析网络模型分析多个样本图像在全量标签上的分析值,将多个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块,得到每个样本图像的目标标签,可以避免人工标注样本图像造成的高人工成本问题;并且可以通过获取目标标签对应的偏差信息,确定目标标签与样本图像的匹配率;再根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,在训练过程中,无需人工标注样本图像,并且利用目标标签对应的偏差信息,使样本图像的目标标签趋于准确,使预设图像标注模型的标注准确度趋于完善,可以提高样本图像需要人工标注导致的低效率、人工成本大的问题,还可以提高图像标注模型的泛化能力。
图3是根据一示例性实施例示出的一种图像标注模型训练方法的流程图。在一种可能的实现方式中,S109步骤,根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,得到目标图像标注模型可以包括:
S201:根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,确定损失信息。
实际应用中,损失信息可以为每个样本图像在目标标签上的分析值和目标标签对应的偏差信息的差值的相关函数,本申请对此不作限定。在一个示例中,可以设置损失函数为Loss=(Deviation-Q(image,label))2,其中,Deviation表示目标标签对应的偏差信息,Q(image,label)表示样本图像image的目标标签的分析值。这里仅仅是一个示例,不对本申请进行限定。
S203:根据损失信息训练第一预设分析网络模型,得到目标分析网络模型。
在一个示例中,可以用梯度下降法更新第一预设分析网络模型中的网络参数,使预设分析网络模型逐渐收敛,当第一预设分析网络模型收敛到预设条件时,得到目标分析网络模型。
S205:利用损失信息,对贪心模块进行更新,得到更新后的贪心模块。
在一个示例中,可以利用损失信息,对贪心模块进行更新,当损失信息满足预设条件时,调整贪心模块中的参数,使下一次迭代时贪心模块输出的目标标签更为准确。贪心模块的更新过程可以与第一预设分析网络模型的网络参数更新过程同步。本申请对此不作限定。
S207:将目标分析网络模型和更新后的贪心模型,作为目标图像标注模型。
该实施例根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,确定损失信息,根据损失信息训练第一预设分析网络模型,得到目标分析网络模型,利用损失信息,对贪心模块进行更新,得到更新后的贪心模块,可以对第一预设分析网络模型和贪心模块进行迭代更新,使预设图像标注模型有学习和适应能力。
图4是根据一示例性实施例示出的一种将所述多个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块,得到每个样本图像的目标标签的方法流程图。在一种可能的实现方式中,如图4所示,S105步骤,将多个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块,得到每个样本图像的目标标签可以包括:
S301:将每个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块。
具体的,将每个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块。贪心模块中设置有随机数确定单元和预设变量获取单元。
S303:利用贪心模块确定目标随机数,并获取预设变量。
具体的,利用贪心模块可以随机地生成一个数字,而预设变量可以是贪心模块从存储器获取的。目标随机数和预设变量可以是0-1范围内的数值,本申请对此不作限定。
S305:当目标随机数和预设变量满足第一预设条件时,利用贪心模块确定每个样本图像在全量标签上的分析值中,数值最大的分析值。
具体的,可以将目标随机数大于预设变量作为第一预设条件,当目标随机数大于预设变量时,利用贪心模块确定每个样本图像在全量标签上的分析值中,数值最大的分析值。例如,在下表1中,预设变量为0.5,目标随机数为0.7,样本图像image在全量标签l1、l2、l3、l4、l5上的分析值分别为35、64、21、22、13。这里仅仅是多个标签对应的分析值的示例,本申请对此不作限定。
表1
如表1所示,当目标随机数大于预设变量时,可以确定l1至l5中分析值中的最大值为64。
S307:将数值最大的分析值所对应的标签作为对应样本图像的目标标签。
在上述举例中,可以将64所对应的标签l2作为样本图像image的目标标签。
该实施例在目标随机数和预设变量满足第一预设条件时,利用贪心模块确定每个样本图像在全量标签上的分析值中,数值最大的分析值,将数值最大的分析值所对应的标签作为对应样本图像的目标标签,可以实现对数值大的分析值所对应标签的趋向。
在一个示例中,如图5所示,S303步骤,利用贪心模块确定目标随机数,并获取预设变量之后,该方法还可以包括:
S306:当目标随机数和预设变量满足第二预设条件时,利用贪心模块从全量标签中随机抽取一个标签,并将随机抽取的标签作为样本图像的目标标签。
具体的,目标随机数和预设变量满足第二预设条件,可以是与第一预设条件相反的条件,即当第一预设条件为目标随机数大于预设变量时,第二预设条件可以为目标随机数不大于预设变量。例如,预设变量为0.5,目标随机数为0.3时,随机从l1至l5中抽取一个标签,作为样本图像的目标标签。
该实施例通过在目标随机数和预设变量满足第二预设条件时,随机抽取一个标签作为样本图像的目标标签,可以避免模型在训练时梯度陷入局部最小值,模型不收敛的问题。
图6是根据一示例性实施例示出的图像标注模型训练方法的流程图。在一种可能的实现方式中,该方法还可以包括:
S401:获取历史样本图像、历史样本图像在对应目标标签上的分析值和对应的偏差信息。
实际应用中,可以将未标注标签的图像输入预设图像标注模型,输出样本图像、该样本图像的目标标签和对应的偏差信息,并将该样本图像、该样本图像的目标标签和对应的偏差信息存储至临时数据回放池。在下次迭代时,若输入预设图像标注模型的图像为未标注标签的图像,则输出该新的样本图像、对应的目标标签和对应的偏差信息,将临时数据回放池中的样本数据、对应的目标标签和对应的偏差信息存储至历史数据回放池,清空临时数据回放池,并将该次迭代输出的样本图像、对应的目标标签和对应的偏差信息存储至临时数据回放池。
相应的,S109步骤,根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,得到目标图像标注模型包括:
S403:从多个样本图像和历史样本图像中抽取目标样本图像。
实际应用中,在新一次的迭代时,从历史数据回放池中抽取一批次的样本图像数据集,例如,历史回放池中存储有100万个样本图像,可以从历史回放池中抽取100个样本图像,作为预设图像标注模型的新的输入。
或者,在新一次的迭代过程中,从临时数据回放池和历史数据回放池中按比例抽取样本图像数据集,并将抽取的样本图像数据集作为预设图像标注模型的新的输入。
或者,在新一次的迭代过程中,未标注的样本图像数据集、临时数据回放池抽取的样本图像数据集,以及从历史数据回放池抽取的样本图像数据集,按比例进行分配,并将按比例获取的样本图像数据集作为预设图像标注模型的新的输入。
S405:根据每个目标样本图像、每个目标样本图像在目标标签上的分析值和对应的偏差信息,训练预设图像标注模型,得到目标图像标注模型。
该实施例通过从临时数据回放池、历史数据回放池按比例抽取样本图像数据集,或者从临时数据回放池、历史数据回放池、未标注样本图像数据集按比例抽取样本图像,得到样本图像数据集,利用按比例抽取的样本图像数据集对预设图像标注模型进行训练,可以使训练预设图像标注模型的样本图像数据集处于不同时间段,提升了训练后模型的鲁棒性。
另外,在对预设图像标注模型的训练过程中,可以统计临时数据回放池中预测正确的样本图像所占的正确率比例,当正确率比例较低时,将更大比例地抽取历史数据回放池中的数据,当正确率比例逐渐增高时,增大抽取临时数据回放池中的数据的比例,需要说明的是,在临时数据回放池和历史数据回放池中的数据抽取比例调整时,抽取的样本图像总个数保持不变。通过这样的方式,对预设图像标注模型进行训练,可以使预设图像标注模型后期逐渐收敛后对新数据依旧有较强的学习能力。
图7是根据一示例性实施例示出的图像标注模型训练方法的流程图,在一种可能的实现方式中,S203步骤,根据损失信息训练第一预设分析网络模型,得到目标分析网络模型可以包括:
S501:获取第二预设分析网络模型。
实际使用时,第二预设分析网络模型在初始化时,可以设置与第一预设分析网络模型一样的网络参数。
S503:根据损失信息,迭代更新第二预设分析网络模型中的网络参数。
根据损失信息,迭代更新第二预设分析网络模型中的网络参数,可以用梯度下降法更新第二预设分析网络模型中的网络参数。
S505:获取每次迭代更新后的第二预设分析网络模型中的网络参数和对应的损失信息。
S507:根据对应的损失信息,确定是否基于每次迭代更新后的第二预设分析网络模型中的网络参数,更新第一预设分析网络模型。
例如,第一次迭代后,第二预设分析网络模型的网络参数为w1集合,对应的损失值为loss1,第二次迭代后,第二预设分析网络模型的网络参数为w2集合,对应的损失值为loss2,第三次迭代后,第二预设分析网络模型的网络参数为w3集合,对应的损失值为loss3。若loss3<loss2<loss1,说明三次迭代的效果良好,将第一预设分析网络模型中的网络参数更新为w3。对于迭代几次后,更新第一预设分析网络模型,本申请不作限制。
S509:当对应的损失信息满足预设损失条件时,将更新后的第一预设分析网络模型作为目标分析网络模型。
当对应的损失值小于预设损失阈值,或者损失函数趋向不变时,将更新后的第一预设分析网络模型作为目标分析网络模型。
该实施例采用双预设分析网络模型,第一预设分析网络模型用于预测输出,第二预设分析网络模型用于进行更新,可以避免直接对第一预设分析网络模型进行更新,造成崩溃后需要重新训练的问题,提升了训练过程的鲁棒性。
图8是根据一示例性实施例示出的图像标注方法的流程图,该方法可以包括:
S601:获取待标注图像。
S603:将待标注图像输入目标图像标注模型,进行待标注图像在全量标签上的分析,得到待标注图像在全量标签上的分析值,对待标注图像在全量标签上的分析值进行贪心计算,得到待标注图像的目标标签。
其中,目标图像标注模型为上述任意一种图像标注模型训练方法训练得到的模型。
图9是根据一示例性实施例示出的一种图像标注模型训练装置的结构示意图,该装置可以包括:
样本获取模块701,用于获取样本图像数据集,样本图像数据集包括多个样本图像;
分析值确定模块703,用于将多个样本图像输入预设图像标注模型中的第一预设分析网络模型,得到每个样本图像在全量标签上的分析值;
目标标签确定模块705,用于将多个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块,得到每个样本图像的目标标签;
偏差信息获取模块707,用于获取目标标签对应的偏差信息;
目标模型生成模块709,用于根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,得到目标图像标注模型。
通过第一预设分析网络模型分析多个样本图像在全量标签上的分析值,将多个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块,得到每个样本图像的目标标签,可以避免人工标注样本图像造成的高人工成本问题;并且可以通过获取目标标签对应的偏差信息,确定目标标签与样本图像的匹配率;再根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,在训练过程中,无需人工标注样本图像,并且利用目标标签对应的偏差信息,使样本图像的目标标签趋于准确,使预设图像标注模型的标注准确度趋于完善,可以提高样本图像需要人工标注导致的低效率、人工成本大的问题,还可以提高图像标注模型的泛化能力。
在一种可能的实现方式中,目标模型生成模块709可以包括:
损失确定单元,用于根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,确定损失信息;
第一确定单元,用于根据损失信息训练第一预设分析网络模型,得到目标分析网络模型;
第二确定单元,用于利用损失信息,对贪心模块进行更新,得到更新后的贪心模块;
目标图像标注模型确定单元,用于将目标分析网络模型和更新后的贪心模型,作为目标图像标注模型。
在一种可能的实现方式中,目标标签确定模块705可以包括:
数据输入单元,用于将每个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块;
数据获取单元,用于利用贪心模块确定目标随机数,并获取预设变量;
分析值确定单元,用于当目标随机数和预设变量满足第一预设条件时,利用贪心模块确定每个样本图像在全量标签上的分析值中,数值最大的分析值;
目标标签确定单元,用于将数值最大的分析值所对应的标签作为对应样本图像的目标标签。
在一种可能的实现方式中,目标标签确定单元,还用于当目标随机数和预设变量满足第二预设条件时,利用贪心模块从全量标签中随机抽取一个标签,并将随机抽取的标签作为样本图像的目标标签。
在一种可能的实现方式中,该装置还可以包括:
历史数据获取模块,用于获取历史样本图像、历史样本图像在对应目标标签上的分析值和对应的偏差信息。
在一种可能的实现方式中,第一确定单元可以包括:
模型获取单元,用于获取第二预设分析网络模型;
更新单元,用于根据损失信息,迭代更新第二预设分析网络模型中的网络参数;
更新数据获取单元,用于获取每次迭代更新后的第二预设分析网络模型中的网络参数和对应的损失信息;
更新确定单元,用于根据对应的损失信息,确定是否基于每次迭代更新后的第二预设分析网络模型中的网络参数,更新第一预设分析网络模型;
目标分析网络模型确定单元,用于当对应的损失信息满足预设损失条件时,将更新后的第一预设分析网络模型作为目标分析网络模型。
上述的实施例通过第一预设分析网络模型分析多个样本图像在全量标签上的分析值,将多个样本图像以及对应的分析值输入预设图像标注模型中的贪心模块,得到每个样本图像的目标标签,可以避免人工标注样本图像造成的高人工成本问题;并且可以通过获取目标标签对应的偏差信息,确定目标标签与样本图像的匹配率;再根据多个样本图像、每个样本图像在目标标签上的分析值和目标标签对应的偏差信息,训练预设图像标注模型,在训练过程中,无需人工标注样本图像,并且利用目标标签对应的偏差信息,使样本图像的目标标签趋于准确,使预设图像标注模型的标注准确度趋于完善,可以提高样本图像需要人工标注导致的低效率、人工成本大的问题,还可以提高图像标注模型的泛化能力。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如本发明的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在本发明的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(如计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,也可以在载体信号上提供,或者以任何其他形式提供。
应该注意的是,上述实施例是对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或者步骤等。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中,这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序,可将这些单词解释为名称。
Claims (10)
1.一种图像标注模型训练方法,其特征在于,所述方法包括:
获取样本图像数据集,所述样本图像数据集包括多个样本图像;
将所述多个样本图像输入预设图像标注模型中的第一预设分析网络模型,得到每个样本图像在全量标签上的分析值;
将所述多个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块,得到每个样本图像的目标标签;
获取所述目标标签对应的偏差信息;
根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型包括:
根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,确定损失信息;
根据所述损失信息训练所述第一预设分析网络模型,得到目标分析网络模型;
利用所述损失信息,对所述贪心模块进行更新,得到更新后的贪心模块;
将所述目标分析网络模型和所述更新后的贪心模型,作为所述目标图像标注模型。
3.根据权利要求1所述的方法,其特征在于,所述将所述多个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块,得到每个样本图像的目标标签包括:
将每个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块;
利用所述贪心模块确定目标随机数,并获取预设变量;
当所述目标随机数和所述预设变量满足第一预设条件时,利用所述贪心模块确定每个样本图像在全量标签上的分析值中,数值最大的分析值;
将所述数值最大的分析值所对应的标签作为对应样本图像的目标标签。
4.根据权利要求3所述的方法,其特征在于,所述利用所述贪心模块确定目标随机数,并获取预设变量之后,所述方法还包括:
当所述目标随机数和所述预设变量满足第二预设条件时,利用所述贪心模块从所述全量标签中随机抽取一个标签,并将随机抽取的标签作为样本图像的目标标签。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取历史样本图像、所述历史样本图像在对应目标标签上的分析值和对应的偏差信息;
所述根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型包括:
从所述多个样本图像和所述历史样本图像中抽取目标样本图像;
根据每个目标样本图像、每个目标样本图像在目标标签上的分析值和对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型。
6.根据权利要求2所述的方法,其特征在于,所述根据所述损失信息训练所述第一预设分析网络模型,得到目标分析网络模型包括:
获取第二预设分析网络模型;
根据所述损失信息,迭代更新所述第二预设分析网络模型中的网络参数;
获取每次迭代更新后的第二预设分析网络模型中的网络参数和对应的损失信息;
根据所述对应的损失信息,确定是否基于所述每次迭代更新后的第二预设分析网络模型中的网络参数,更新所述第一预设分析网络模型;
当所述对应的损失信息满足预设损失条件时,将更新后的第一预设分析网络模型作为所述目标分析网络模型。
7.一种图像标注方法,其特征在于,所述方法包括:
获取待标注图像;
将所述待标注图像输入目标图像标注模型,进行所述待标注图像在全量标签上的分析,得到所述待标注图像在所述全量标签上的分析值,对所述待标注图像在全量标签上的分析值进行贪心计算,得到所述待标注图像的目标标签;
其中,所述目标图像标注模型为权利要求1至权利要求6任意一项所述的方法训练得到的。
8.一种图像标注模型训练装置,其特征在于,所述装置包括:
样本获取模块,用于获取样本图像数据集,所述样本图像数据集包括多个样本图像;
分析值确定模块,用于将所述多个样本图像输入预设图像标注模型中的第一预设分析网络模型,得到每个样本图像在全量标签上的分析值;
目标标签确定模块,用于将所述多个样本图像以及对应的分析值输入所述预设图像标注模型中的贪心模块,得到每个样本图像的目标标签;
偏差信息获取模块,用于获取所述目标标签对应的偏差信息;
目标模型生成模块,用于根据所述多个样本图像、每个样本图像在目标标签上的分析值和所述目标标签对应的偏差信息,训练所述预设图像标注模型,得到目标图像标注模型。
9.一种电子设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或者至少一段程序,所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现如权利要求1-6任一所述的图像标注模型训练方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至6任一所述的图像标注模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110703625.4A CN113496256B (zh) | 2021-06-24 | 2021-06-24 | 一种图像标注模型训练方法、标注方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110703625.4A CN113496256B (zh) | 2021-06-24 | 2021-06-24 | 一种图像标注模型训练方法、标注方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113496256A true CN113496256A (zh) | 2021-10-12 |
CN113496256B CN113496256B (zh) | 2024-04-09 |
Family
ID=77997748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110703625.4A Active CN113496256B (zh) | 2021-06-24 | 2021-06-24 | 一种图像标注模型训练方法、标注方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113496256B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106169095A (zh) * | 2016-06-24 | 2016-11-30 | 广州图普网络科技有限公司 | 主动学习大数据标注方法和系统 |
CN110135522A (zh) * | 2019-05-28 | 2019-08-16 | 金陵科技学院 | 一种检测与标注遥感图像小目标一体化的智能方法 |
CN111340131A (zh) * | 2020-03-09 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 图像的标注方法、装置、可读介质和电子设备 |
CN112200173A (zh) * | 2020-12-08 | 2021-01-08 | 北京沃东天骏信息技术有限公司 | 多网络模型训练方法、图像标注方法和人脸图像识别方法 |
CN112598053A (zh) * | 2020-12-21 | 2021-04-02 | 西北工业大学 | 基于半监督学习的主动显著性目标检测方法 |
WO2021087985A1 (zh) * | 2019-11-08 | 2021-05-14 | 深圳市欢太科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
-
2021
- 2021-06-24 CN CN202110703625.4A patent/CN113496256B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106169095A (zh) * | 2016-06-24 | 2016-11-30 | 广州图普网络科技有限公司 | 主动学习大数据标注方法和系统 |
CN110135522A (zh) * | 2019-05-28 | 2019-08-16 | 金陵科技学院 | 一种检测与标注遥感图像小目标一体化的智能方法 |
WO2021087985A1 (zh) * | 2019-11-08 | 2021-05-14 | 深圳市欢太科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
CN111340131A (zh) * | 2020-03-09 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 图像的标注方法、装置、可读介质和电子设备 |
CN112200173A (zh) * | 2020-12-08 | 2021-01-08 | 北京沃东天骏信息技术有限公司 | 多网络模型训练方法、图像标注方法和人脸图像识别方法 |
CN112598053A (zh) * | 2020-12-21 | 2021-04-02 | 西北工业大学 | 基于半监督学习的主动显著性目标检测方法 |
Non-Patent Citations (2)
Title |
---|
崔超然等: "一种结合相关性和多样性的图像标签推荐方法", 计算机学报, no. 03 * |
柯逍等: "基于蒙特卡罗数据集均衡与鲁棒性增量极限学习机的图像自动标注", 电子学报, no. 12 * |
Also Published As
Publication number | Publication date |
---|---|
CN113496256B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11783227B2 (en) | Method, apparatus, device and readable medium for transfer learning in machine learning | |
CN109242013B (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
CN109376267B (zh) | 用于生成模型的方法和装置 | |
US20170116521A1 (en) | Tag processing method and device | |
CN107957940B (zh) | 一种测试日志处理方法、系统及终端 | |
CN104915351A (zh) | 图片排序方法及终端 | |
CN109670065A (zh) | 基于图像识别的问答处理方法、装置、设备和存储介质 | |
CN112231416A (zh) | 知识图谱本体更新方法、装置、计算机设备及存储介质 | |
US20150379112A1 (en) | Creating an on-line job function ontology | |
CN115964639A (zh) | 一种数据识别方法、模型适配新数据的方法、装置和设备 | |
CN111435367A (zh) | 知识图谱的构建方法、系统、设备及存储介质 | |
CN112364185B (zh) | 多媒体资源的特征确定方法、装置、电子设备和存储介质 | |
CN112712795B (zh) | 标注数据确定方法、装置、介质及电子设备 | |
CN110532448B (zh) | 基于神经网络的文档分类方法、装置、设备及存储介质 | |
CN111538859A (zh) | 一种动态更新视频标签的方法、装置及电子设备 | |
CN115482436B (zh) | 图像筛选模型的训练方法、装置以及图像筛选方法 | |
CN111026946A (zh) | 一种页面信息抽取方法、装置、介质及设备 | |
CN113111233A (zh) | 基于正则表达式的接处警文本居住地地址提取方法和装置 | |
CN115827899A (zh) | 基于知识图谱的数据集成方法、装置、设备及存储介质 | |
CN110704650A (zh) | Ota图片标签的识别方法、电子设备和介质 | |
CN112130827A (zh) | 基于云端模块化技术的模型开发方法、平台和智能终端 | |
CN113496256A (zh) | 一种图像标注模型训练方法、标注方法、装置、设备及介质 | |
CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
CN110442858A (zh) | 一种问句实体识别方法、装置、计算机设备及存储介质 | |
CN115757075A (zh) | 任务异常检测方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |