CN113780472A - 模型训练样本生成方法、装置、存储介质以及电子设备 - Google Patents
模型训练样本生成方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN113780472A CN113780472A CN202111152414.2A CN202111152414A CN113780472A CN 113780472 A CN113780472 A CN 113780472A CN 202111152414 A CN202111152414 A CN 202111152414A CN 113780472 A CN113780472 A CN 113780472A
- Authority
- CN
- China
- Prior art keywords
- image
- identification
- images
- identified
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种模型训练样本生成方法、装置、存储介质以及电子设备。该方法包括:获取待识别图像与背景图像;将待识别图像叠加到背景图像中,得到第一图像;使用目标识别模型识别第一图像,得到识别结果,其中,每一张第一图像对应一个识别结果,识别结果中包括第一图像中待识别图像的识别类型与识别区域;在识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的识别区域的图像内容;将提取的图像内容叠加到背景图像中,得到第一训练样本。本发明解决了模型训练效果差的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种模型训练样本生成方法、装置、存储介质以及电子设备。
背景技术
现有技术中,在对识别模型进行训练时,通常为由模型对训练样本图片进行识别,识别图片中待识别图像的类型与区域,以对图像进行分类,如果识别模型识别图像的类型或区域错误,则将图像作为负样本图像,添加到负样本图像集中,再次使用训练识别模型。
然而,使用上述方法,负样本图像仅仅是被标注然后再次使用训练模型,造成模型的训练效果差。
发明内容
本发明实施例提供了一种模型训练样本生成方法、装置、存储介质以及电子设备,以至少解决模型训练效果差的技术问题。
根据本发明实施例的一个方面,提供了一种模型训练样本生成方法,包括:获取待识别图像与背景图像;将上述待识别图像叠加到上述背景图像中,得到第一图像;使用目标识别模型识别上述第一图像,得到识别结果,其中,每一张上述第一图像对应一个上述识别结果,上述识别结果中包括上述第一图像中上述待识别图像的识别类型与识别区域;在上述识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的上述识别区域的图像内容;将提取的上述图像内容叠加到上述背景图像中,得到第一训练样本。
根据本发明实施例的另一方面,提供了一种模型训练样本生成装置,包括:获取单元,用于获取待识别图像与背景图像;第一叠加单元,用于将上述待识别图像叠加到上述背景图像中,得到第一图像;识别单元,用于使用目标识别模型识别上述第一图像,得到识别结果,其中,每一张上述第一图像对应一个上述识别结果,上述识别结果中包括上述第一图像中上述待识别图像的识别类型与识别区域;提取单元,用于在上述识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的上述识别区域的图像内容;第二叠加单元,用于将提取的上述图像内容叠加到上述背景图像中,得到第一训练样本。
作为一种可选的示例,上述第一叠加单元包括:叠加模块,用于将每一张上述待识别图像叠加到每一张上述背景图像中,将得到的每一张图像确定为上述第一图像;或者将上述背景图像按照预设比例分成目标数量份,将每一张上述待识别图像叠加到一份上述背景图像中的每一张背景图像上,其中,上述目标数量为上述待识别图像的数量。
作为一种可选的示例,上述装置还包括:第一确定单元,用于在上述识别结果中,上述识别类型与上述待识别图像的真实类型不同或者上述识别区域与上述待识别图像在上述第一图像中的区域不同的情况下,确定上述识别结果存在识别错误。
作为一种可选的示例,上述装置还包括:第二确定单元,用于在上述识别结果的识别区域与上述待识别图像在上述第一图像中的区域的交集与并集的比值小于第一阈值的情况下,确定上述识别结果的识别区域与上述待识别图像在上述第一图像中的区域不同。
作为一种可选的示例,上述第二叠加单元包括:划分模块,用于将上述图像内容按照上述第一图像中待识别图像的不同分为不同的图像内容集;添加模块,用于将每一个上述图像内容集中的图像内容添加到上述背景图像中,得到第二图像,其中,上述第二图像属于上述第一训练样本。
作为一种可选的示例,上述第二叠加单元包括:记录模块,用于记录上述图像内容在上述背景图像中所在的区域。
作为一种可选的示例,上述装置还包括:确定模块,用于将上述第一图像与上述第一训练样本作为目标训练样本;训练模块,用于使用上述目标训练样本训练上述目标识别模型。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被处理器运行时执行上述模型训练样本生成方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的模型训练样本生成方法。
在本发明实施例中,采用了获取待识别图像与背景图像;将上述待识别图像叠加到上述背景图像中,得到第一图像;使用目标识别模型识别上述第一图像,得到识别结果,其中,每一张上述第一图像对应一个上述识别结果,上述识别结果中包括上述第一图像中上述待识别图像的识别类型与识别区域;在上述识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的上述识别区域的图像内容;将提取的上述图像内容叠加到上述背景图像中,得到第一训练样本的方法,由于在上述方法中,在目标识别模型识别第一图像识别错误的情况下,将第一图像中目标识别模型识别出的识别区域中的图像内容提取出来,叠加到背景图像中,得到第一训练样本,使用第一训练样本训练目标识别模型可以提高了训练目标识别模型的训练效果,从而解决了模型训练效果差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的模型训练样本生成方法的流程图;
图2是根据本发明实施例的一种可选的模型训练样本生成方法的叠加待识别图像的示意图;
图3是根据本发明实施例的一种可选的模型训练样本生成方法的提取图像内容的示意图;
图4是根据本发明实施例的一种可选的模型训练样本生成方法的叠加图像内容的示意图;
图5是根据本发明实施例的一种可选的模型训练样本生成装置的结构示意图;
图6是根据本发明实施例的一种可选的电子设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的第一方面,提供了一种模型训练样本生成方法,可选地,如图1所示,上述方法包括:
S102,获取待识别图像与背景图像;
S104,将待识别图像叠加到背景图像中,得到第一图像;
S106,使用目标识别模型识别第一图像,得到识别结果,其中,每一张第一图像对应一个识别结果,识别结果中包括第一图像中待识别图像的识别类型与识别区域;
S108,在识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的识别区域的图像内容;
S110,将提取的图像内容叠加到背景图像中,得到第一训练样本。
可选地,本实施例中的目标识别模型可以为用于识别第一图像中待识别图像的识别区域与类型的模型。将第一图像输入到目标识别模型中,由目标识别模型输出第一图像中待识别图像的识别区域与识别类型。
可选地,在本实施例中,背景图片的背景颜色可以为不同的颜色,可以为纯色或者多种颜色的组合,背景图片中可以包括或者不包括文字、图像等,本实施例并不限定。
可选地,本实施例中的待识别图像可以包括文字、图像、形状图形中的至少一种。例如,待识别图像中可以包括动物照片,可以包括正方形、三角形等形状图形,可以包括文字,文字可以为任意字体、艺术字等。
可选地,本实施例中,将待识别图像叠加到背景图像中,可以在背景图像中选择叠加点,选择叠加点后将待识别图像叠加在叠加点处,叠加时,保证叠加后的待识别图像未超出背景图像的范围。例如,如图2所示,将待识别图像204叠加到背景图像202之上。
可选地,本实施例中的第一图像可以对应有第一标签,第一标签可以标注第一图像中待识别图像的类型与所处区域。
在目标识别模型识别第一图像之后,目标识别模型输出识别得到的第一图像中待识别图像的识别类型与识别区域。如果目标识别模型识别第一图像中的待识别图像识别错了,则提取目标识别模型识别错误的识别区域中的图像内容。例如,如图3所示,背景图像302中有待识别图像304,还有背景图像302上的内容306。目标识别模型在识别时,误把内容306识别为人类,因此,将内容306提取出来,得到图像内容。
将提取得到的内容叠加到背景图像中,得到第一训练样本。如图4所示,在得到图像内容后,将图像内容402叠加到背景图像404之上,得到第一训练样本。第一训练样本可以用于训练目标识别模型。通过本实施例,通过上述方法,从而可以在目标识别模型识别第一图像识别错误的情况下,将第一图像中目标识别模型识别出的识别区域中的图像内容提取出来,叠加到背景图像中,得到第一训练样本,使用第一训练样本训练目标识别模型,提高了训练目标识别模型的训练效果。
作为一种可选的示例,上述将待识别图像叠加到背景图像中,得到第一图像包括:
将每一张待识别图像叠加到每一张背景图像中,将得到的每一张图像确定为第一图像;或者
将背景图像按照预设比例分成目标数量份,将每一张待识别图像叠加到一份背景图像中的每一张背景图像上,其中,目标数量为待识别图像的数量。
可选地,本实施例中的预设比例可以为人为设置的比例,也可以为系统根据样本数量自动调整出的比例。例如,以目标数量为3为例,预设比例可以为1:1:1,如果某一类型的背景图像数量较少,则可以将比例调高,如调整为1.2:0.8:1。例如有3万张背景图像,则可以分成1.2万张、0.8万张和1万张,三张待识别图像中,每一张待识别图像叠加到一份背景图像中,分别得到1.2万张第一图像、0.8万张第一图像和1万张第一图像共3万张第一图像。
另一种叠加得到第一图像的方式为将每一张待识别图像叠加到每一张背景图像中。例如,有3张待识别图像,3万张背景图像,3张待识别图像的每一张叠加到3万张背景图像中,一共得到9万张第一图像。
作为一种可选的示例,上述方法还包括:
在识别结果中,识别类型与待识别图像的真实类型不同或者识别区域与待识别图像在第一图像中的区域不同的情况下,确定识别结果存在识别错误。
可选地,本实施例中,由于第一图像对应有第一标签,标注有第一图像中的待识别图像的类型与所在区域,而目标识别模型识别第一图像后,会输出第一图像中待识别图像的类型与所在区域。如果识别结果中的识别类型与第一标签中的类型不一致,或者识别结果中识别区域与第一标签中的所在区域不同,则说明目标识别模型的识别结果是错误的。
作为一种可选的示例,上述方法还包括:
在识别结果的识别区域与待识别图像在第一图像中的区域的交集与并集的比值小于第一阈值的情况下,确定识别结果的识别区域与待识别图像在第一图像中的区域不同。
可选地,本实施例中,上述第一阈值可以为一个固定值,也可以为一个浮动值。如果第一阈值为浮动值,则第一阈值可以根据图像的分辨率/清晰度进行调整。分辨率/清晰度越高,则目标识别模型识别的识别区域与第一标签中待识别图像的真实区域的比对精度越高,则第一阈值越大。如果分辨率/清晰度小,则目标识别模型识别的识别区域与第一标签中待识别图像的真实区域的比对时,由于分辨率/清晰度的影响,因此会存在一定的误差,可以将第一阈值调小来避免误差的影响。如果目标识别模型识别得到的待识别图像的识别区域与第一标签中待识别图像的真实区域的交集与并集的比值小于或等于第一阈值,则说明目标识别模型识别出的待识别图像的区域是错误的。说明识别结果的识别区域与待识别图像在第一图像中的真实区域不同。
作为一种可选的示例,上述将提取的图像内容叠加到背景图像中,得到第一训练样本包括:
将图像内容按照第一图像中待识别图像的不同分为不同的图像内容集;
将每一个图像内容集中的图像内容添加到背景图像中,得到第二图像,其中,第二图像属于第一训练样本。
可选地,本实施例中,可以按照待识别图像的不同,将所有的图像内容分为不同的图像内容集。例如,待识别图像有3个,分别叠加到1万张背景图像中,得到共3万张的第一图像。3万张的第一图像中,每一个待识别图像各对应1万张第一图像。在目标识别模型识别3万张第一图像之后,如果有识别待识别图像识别错误的情况,则将识别错误的识别结果中,识别区域的图像内容提取出来,则3万张第一图像中,每一个待识别图像对应的一万张第一图像中可能提取出0-10000个图像内容。将该0-10000个图像内容作为一个图像内容集。那么,对于3个待识别图像,各对应1个图像内容集,图像内容集中可能包含了0-10000个图像内容。对于一个待识别图像,从对应的图像内容集中获取一个或者多个图像内容,将图像内容添加到背景图像中,得到第二图像。第二图像即作为第一训练样本。
作为一种可选的示例,上述将提取的图像内容叠加到背景图像中,得到第一训练样本包括:
记录图像内容在背景图像中所在的区域。
可选地,本实施例中,每一个第一训练样本可以对应一个第二标签,第二标签可以记录有图像内容在第一训练样本中的位置和图像内容的类型。在使用第一训练样本训练目标识别模型时,可以将第二标签也输入给目标识别模型。
作为一种可选的示例,上述方法还包括:
将第一图像与第一训练样本作为目标训练样本;
使用目标训练样本训练目标识别模型。
可选地,在本实施例中,第一图像与第一训练样本可以分别作为正样本和负样本训练目标识别模型。
可选地,本实施例中,目标识别模型涉及分类与检测。分类与检测:对于图像分类,是对整张图片进行分类,且是单一标签,而对于目标检测,会对图片中的(潜在的多个)目标进行定位。图像分类输入为一张图片,输出为一个类别标签。目标检测基于图像分类,同时试图精准定位图像中每个目标的位置,输入为一张图片,输出为每个目标的类别标签和每个目标的坐标以及每个目标类别标签的置信度。
例如有20个待识别图像,底图(背景图像)有20w张图片(无任何目标类),把这20个待识别图像贴到20w张底图上,即构建了待识别图像检测的训练集(第一图像),进行第一次训练得到目标识别模型baseline模型;
利用baseline模型去检测这20w张第一图片,会得到很多的误检图片,检测任务的输出结果中不仅有类别,还会输出坐标(预测的识别区域),根据坐标位置把被误检的区域的图像内容裁剪下来,基本上每个待识别图像都会有对应的误检区域和对应的图像内容,和待识别图像对应的图像内容作为一个图像内容集,可以称为负类;
对于20个待识别图像的共20个第一图像的集合,可以称为目标类(用数字1-20表示),同时上一步结果中得到了各个类别被误检的区域,即我们又得到了20个负类(用mis1-mis20表示)。
把负类添加为目标类的对抗类,被误检的区域添加为对抗类后,模型便更能精确把握何为目标。
把被误检的区域,即20个负类,再贴到20w底图上,这样就也能获取到这些误检区域的坐标,便能在下一次训练时精确告诉网络哪些图片上的具体哪些区域不是想要的目标类,而且对抗类。
最终的训练集就有20个目标类,20个对抗类,再送入模型进行训练,即完成了一次迭代。
通过上述方法,把误检的区域裁剪下来当做目标类的对抗类来生成负样本数据,这样能精确告诉算法模型图片上的某块区域不是目标类,而是易被混淆的对抗类,算法在学习特征时更有针对性,这样在一轮算法迭代过后能有效降低误检率,提高对模型的训练效果。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本申请实施例的另一方面,还提供了一种模型训练样本生成装置,如图5所示,包括:
获取单元502,用于获取待识别图像与背景图像;
第一叠加单元504,用于将待识别图像叠加到背景图像中,得到第一图像;
识别单元506,用于使用目标识别模型识别第一图像,得到识别结果,其中,每一张第一图像对应一个识别结果,识别结果中包括第一图像中待识别图像的识别类型与识别区域;
提取单元508,用于在识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的识别区域的图像内容;
第二叠加单元510,用于将提取的图像内容叠加到背景图像中,得到第一训练样本。
可选地,本实施例中的目标识别模型可以为用于识别第一图像中待识别图像的识别区域与类型的模型。将第一图像输入到目标识别模型中,由目标识别模型输出第一图像中待识别图像的识别区域与识别类型。
可选地,在本实施例中,背景图片的背景颜色可以为不同的颜色,可以为纯色或者多种颜色的组合,背景图片中可以包括或者不包括文字、图像等,本实施例并不限定。
可选地,本实施例中的待识别图像可以包括文字、图像、形状图形中的至少一种。例如,待识别图像中可以包括动物照片,可以包括正方形、三角形等形状图形,可以包括文字,文字可以为任意字体、艺术字等。
可选地,本实施例中,将待识别图像叠加到背景图像中,可以在背景图像中选择叠加点,选择叠加点后将待识别图像叠加在叠加点处,叠加时,保证叠加后的待识别图像未超出背景图像的范围。例如,如图2所示,将待识别图像204叠加到背景图像202之上。
可选地,本实施例中的第一图像可以对应有第一标签,第一标签可以标注第一图像中待识别图像的类型与所处区域。
在目标识别模型识别第一图像之后,目标识别模型输出识别得到的第一图像中待识别图像的识别类型与识别区域。如果目标识别模型识别第一图像中的待识别图像识别错了,则提取目标识别模型识别错误的识别区域中的图像内容。例如,如图3所示,背景图像302中有待识别图像304,还有背景图像302上的内容306。目标识别模型在识别时,误把内容306识别为人类,因此,将内容306提取出来,得到图像内容。
将提取得到的内容叠加到背景图像中,得到第一训练样本。如图4所示,在得到图像内容后,将图像内容402叠加到背景图像404之上,得到第一训练样本。第一训练样本可以用于训练目标识别模型。通过本实施例,通过上述方法,从而可以在目标识别模型识别第一图像识别错误的情况下,将第一图像中目标识别模型识别出的识别区域中的图像内容提取出来,叠加到背景图像中,得到第一训练样本,使用第一训练样本训练目标识别模型,提高了训练目标识别模型的训练效果。
作为一种可选的示例,上述第一叠加单元包括:
叠加模块,用于将每一张待识别图像叠加到每一张背景图像中,将得到的每一张图像确定为第一图像;或者将背景图像按照预设比例分成目标数量份,将每一张待识别图像叠加到一份背景图像中的每一张背景图像上,其中,目标数量为待识别图像的数量。
可选地,本实施例中的预设比例可以为人为设置的比例,也可以为系统根据样本数量自动调整出的比例。例如,以目标数量为3为例,预设比例可以为1:1:1,如果某一类型的背景图像数量较少,则可以将比例调高,如调整为1.2:0.8:1。例如有3万张背景图像,则可以分成1.2万张、0.8万张和1万张,三张待识别图像中,每一张待识别图像叠加到一份背景图像中,分别得到1.2万张第一图像、0.8万张第一图像和1万张第一图像共3万张第一图像。
另一种叠加得到第一图像的方式为将每一张待识别图像叠加到每一张背景图像中。例如,有3张待识别图像,3万张背景图像,3张待识别图像的每一张叠加到3万张背景图像中,一共得到9万张第一图像。
作为一种可选的示例,上述装置还包括:
第一确定单元,用于在识别结果中,识别类型与待识别图像的真实类型不同或者识别区域与待识别图像在第一图像中的区域不同的情况下,确定识别结果存在识别错误。
可选地,本实施例中,由于第一图像对应有第一标签,标注有第一图像中的待识别图像的类型与所在区域,而目标识别模型识别第一图像后,会输出第一图像中待识别图像的类型与所在区域。如果识别结果中的识别类型与第一标签中的类型不一致,或者识别结果中识别区域与第一标签中的所在区域不同,则说明目标识别模型的识别结果是错误的。
作为一种可选的示例,上述装置还包括:
第二确定单元,用于在识别结果的识别区域与待识别图像在第一图像中的区域的交集与并集的比值小于第一阈值的情况下,确定识别结果的识别区域与待识别图像在第一图像中的区域不同。
可选地,本实施例中,上述第一阈值可以为一个固定值,也可以为一个浮动值。如果第一阈值为浮动值,则第一阈值可以根据图像的分辨率/清晰度进行调整。分辨率/清晰度越高,则目标识别模型识别的识别区域与第一标签中待识别图像的真实区域的比对精度越高,则第一阈值越大。如果分辨率/清晰度小,则目标识别模型识别的识别区域与第一标签中待识别图像的真实区域的比对时,由于分辨率/清晰度的影响,因此会存在一定的误差,可以将第一阈值调小来避免误差的影响。如果目标识别模型识别得到的待识别图像的识别区域与第一标签中待识别图像的真实区域的交集与并集的比值小于或等于第一阈值,则说明目标识别模型识别出的待识别图像的区域是错误的。说明识别结果的识别区域与待识别图像在第一图像中的真实区域不同。
作为一种可选的示例,上述第二叠加单元包括:
划分模块,用于将图像内容按照第一图像中待识别图像的不同分为不同的图像内容集;
添加模块,用于将每一个图像内容集中的图像内容添加到背景图像中,得到第二图像,其中,第二图像属于第一训练样本。
可选地,本实施例中,可以按照待识别图像的不同,将所有的图像内容分为不同的图像内容集。例如,待识别图像有3个,分别叠加到1万张背景图像中,得到共3万张的第一图像。3万张的第一图像中,每一个待识别图像各对应1万张第一图像。在目标识别模型识别3万张第一图像之后,如果有识别待识别图像识别错误的情况,则将识别错误的识别结果中,识别区域的图像内容提取出来,则3万张第一图像中,每一个待识别图像对应的一万张第一图像中可能提取出0-10000个图像内容。将该0-10000个图像内容作为一个图像内容集。那么,对于3个待识别图像,各对应1个图像内容集,图像内容集中可能包含了0-10000个图像内容。对于一个待识别图像,从对应的图像内容集中获取一个或者多个图像内容,将图像内容添加到背景图像中,得到第二图像。第二图像即作为第一训练样本。
作为一种可选的示例,上述第二叠加单元包括:
记录模块,用于记录图像内容在背景图像中所在的区域。
可选地,本实施例中,每一个第一训练样本可以对应一个第二标签,第二标签可以记录有图像内容在第一训练样本中的位置和图像内容的类型。在使用第一训练样本训练目标识别模型时,可以将第二标签也输入给目标识别模型。
作为一种可选的示例,上述装置还包括:
确定模块,用于将第一图像与第一训练样本作为目标训练样本;
训练模块,用于使用目标训练样本训练目标识别模型。
可选地,在本实施例中,第一图像与第一训练样本可以分别作为正样本和负样本训练目标识别模型。
本实施例的其他示例请参见上述示例,在此不在赘述。
图6是根据本申请实施例的一种可选的电子设备的结构框图,如图6所示,包括处理器602、通信接口604、存储器606和通信总线608,其中,处理器602、通信接口604和存储器606通过通信总线608完成相互间的通信,其中,
存储器606,用于存储计算机程序;
处理器602,用于执行存储器606上所存放的计算机程序时,实现如下步骤:
获取待识别图像与背景图像;
将待识别图像叠加到背景图像中,得到第一图像;
使用目标识别模型识别第一图像,得到识别结果,其中,每一张第一图像对应一个识别结果,识别结果中包括第一图像中待识别图像的识别类型与识别区域;
在识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的识别区域的图像内容;
将提取的图像内容叠加到背景图像中,得到第一训练样本。
可选地,在本实施例中,上述的通信总线可以是PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM,也可以包括非易失性存储器(non-volatile memory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例,上述存储器606中可以但不限于包括上述请求的处理装置中的获取单元502、第一叠加单元504、识别单元506、提取单元508以及第二叠加单元510。此外,还可以包括但不限于上述请求的处理装置中的其他模块单元,本示例中不再赘述。
上述处理器可以是通用处理器,可以包含但不限于:CPU(Central ProcessingUnit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(DigitalSignal Processing,数字信号处理器)、ASIC(Application Specific IntegratedCircuit,专用集成电路)、FPGA(Field -Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图6所示的结构仅为示意,实施上述请求的处理方法的设备可以是终端设备,该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图6其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图6所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被处理器运行时执行上述模型训练样本生成方法中的步骤。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种模型训练样本生成方法,其特征在于,包括:
获取待识别图像与背景图像;
将所述待识别图像叠加到所述背景图像中,得到第一图像;
使用目标识别模型识别所述第一图像,得到识别结果,其中,每一张所述第一图像对应一个所述识别结果,所述识别结果中包括所述第一图像中所述待识别图像的识别类型与识别区域;
在所述识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的所述识别区域的图像内容;
将提取的所述图像内容叠加到所述背景图像中,得到第一训练样本。
2.根据权利要求1所述的方法,其特征在于,所述将所述待识别图像叠加到所述背景图像中,得到第一图像包括:
将每一张所述待识别图像叠加到每一张所述背景图像中,将得到的每一张图像确定为所述第一图像;或者
将所述背景图像按照预设比例分成目标数量份,将每一张所述待识别图像叠加到一份所述背景图像中的每一张背景图像上,其中,所述目标数量为所述待识别图像的数量。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述识别结果中,所述识别类型与所述待识别图像的真实类型不同或者所述识别区域与所述待识别图像在所述第一图像中的区域不同的情况下,确定所述识别结果存在识别错误。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述识别结果的识别区域与所述待识别图像在所述第一图像中的区域的交集与并集的比值小于第一阈值的情况下,确定所述识别结果的识别区域与所述待识别图像在所述第一图像中的区域不同。
5.根据权利要求1所述的方法,其特征在于,所述将提取的所述图像内容叠加到所述背景图像中,得到第一训练样本包括:
将所述图像内容按照所述第一图像中待识别图像的不同分为不同的图像内容集;
将每一个所述图像内容集中的图像内容添加到所述背景图像中,得到第二图像,其中,所述第二图像属于所述第一训练样本。
6.根据权利要求1所述的方法,其特征在于,所述将提取的所述图像内容叠加到所述背景图像中,得到第一训练样本包括:
记录所述图像内容在所述背景图像中所在的区域。
7.根据权利要求1至6任意一项所述的方法,其特征在于,所述方法还包括:
将所述第一图像与所述第一训练样本作为目标训练样本;
使用所述目标训练样本训练所述目标识别模型。
8.一种模型训练样本生成装置,其特征在于,包括:
获取单元,用于获取待识别图像与背景图像;
第一叠加单元,用于将所述待识别图像叠加到所述背景图像中,得到第一图像;
识别单元,用于使用目标识别模型识别所述第一图像,得到识别结果,其中,每一张所述第一图像对应一个所述识别结果,所述识别结果中包括所述第一图像中所述待识别图像的识别类型与识别区域;
提取单元,用于在所述识别结果中,存在识别错误的识别结果的情况下,提取识别错误的识别结果的所述识别区域的图像内容;
第二叠加单元,用于将提取的所述图像内容叠加到所述背景图像中,得到第一训练样本。
9.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111152414.2A CN113780472A (zh) | 2021-09-29 | 2021-09-29 | 模型训练样本生成方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111152414.2A CN113780472A (zh) | 2021-09-29 | 2021-09-29 | 模型训练样本生成方法、装置、存储介质以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113780472A true CN113780472A (zh) | 2021-12-10 |
Family
ID=78854456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111152414.2A Pending CN113780472A (zh) | 2021-09-29 | 2021-09-29 | 模型训练样本生成方法、装置、存储介质以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113780472A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109359684A (zh) * | 2018-10-17 | 2019-02-19 | 苏州大学 | 基于弱监督定位和子类别相似性度量的细粒度车型识别方法 |
CN111126346A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 脸部识别方法、分类模型的训练方法、装置和存储介质 |
CN111476284A (zh) * | 2020-04-01 | 2020-07-31 | 网易(杭州)网络有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
CN111553236A (zh) * | 2020-04-23 | 2020-08-18 | 福建农林大学 | 基于道路前景图像的路面病害目标检测与实例分割方法 |
CN113361588A (zh) * | 2021-06-03 | 2021-09-07 | 北京文安智能技术股份有限公司 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
CN113435452A (zh) * | 2021-07-09 | 2021-09-24 | 南京荣新智能科技有限公司 | 一种基于改进ctpn算法的电气设备铭牌文本检测方法 |
-
2021
- 2021-09-29 CN CN202111152414.2A patent/CN113780472A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109359684A (zh) * | 2018-10-17 | 2019-02-19 | 苏州大学 | 基于弱监督定位和子类别相似性度量的细粒度车型识别方法 |
CN111126346A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 脸部识别方法、分类模型的训练方法、装置和存储介质 |
CN111476284A (zh) * | 2020-04-01 | 2020-07-31 | 网易(杭州)网络有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
CN111553236A (zh) * | 2020-04-23 | 2020-08-18 | 福建农林大学 | 基于道路前景图像的路面病害目标检测与实例分割方法 |
CN113361588A (zh) * | 2021-06-03 | 2021-09-07 | 北京文安智能技术股份有限公司 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
CN113435452A (zh) * | 2021-07-09 | 2021-09-24 | 南京荣新智能科技有限公司 | 一种基于改进ctpn算法的电气设备铭牌文本检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109726643B (zh) | 图像中表格信息的识别方法、装置、电子设备及存储介质 | |
US10592726B2 (en) | Manufacturing part identification using computer vision and machine learning | |
CN111178355B (zh) | 印章识别方法、装置和存储介质 | |
CN111078908A (zh) | 一种数据标注的检测方法和装置 | |
CN110738219A (zh) | 图像中线条提取方法和装置、存储介质及电子装置 | |
WO2022174605A1 (zh) | 一种手势识别方法、手势识别装置及智能设备 | |
CN114549993B (zh) | 实验中线段图像的评分方法、系统、设备及可读存储介质 | |
CN110490237B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN111738252B (zh) | 图像中的文本行检测方法、装置及计算机系统 | |
CN111179340A (zh) | 一种物体的定位方法、装置及计算机系统 | |
CN111259980A (zh) | 标注数据的处理方法和装置 | |
CN114120071A (zh) | 一种带有对象标注框图像的检测方法 | |
CN113486715A (zh) | 图像翻拍识别方法、智能终端以及计算机存储介质 | |
CN112084103B (zh) | 界面测试方法、装置、设备和介质 | |
CN114708582B (zh) | 基于ai和rpa的电力数据智慧稽查方法及装置 | |
CN113780472A (zh) | 模型训练样本生成方法、装置、存储介质以及电子设备 | |
US20230196558A1 (en) | Medicine image recognition method, electronic device and readable storage medium | |
CN112348112B (zh) | 图像识别模型的训练方法、训练装置及终端设备 | |
CN109993165A (zh) | 药片板药名识别及药片板信息获取方法、装置与系统 | |
CN111626313A (zh) | 一种特征提取模型训练方法、图像处理方法及装置 | |
CN114297720A (zh) | 一种图像脱敏方法、装置、电子设备及存储介质 | |
CN110851349A (zh) | 页面异常显示的检测方法、终端设备及存储介质 | |
CN112232282A (zh) | 一种手势识别方法、装置、存储介质和电子设备 | |
CN113516131A (zh) | 图像处理方法、装置、设备和存储介质 | |
CN113536868A (zh) | 电路板故障识别方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |