CN113449538A - 视觉模型的训练方法、装置、设备及存储介质 - Google Patents
视觉模型的训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113449538A CN113449538A CN202010211623.9A CN202010211623A CN113449538A CN 113449538 A CN113449538 A CN 113449538A CN 202010211623 A CN202010211623 A CN 202010211623A CN 113449538 A CN113449538 A CN 113449538A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- target
- sample image
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000011218 segmentation Effects 0.000 claims description 109
- 238000001514 detection method Methods 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003707 image sharpening Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 57
- 238000002372 labelling Methods 0.000 description 14
- 230000003321 amplification Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000003199 nucleic acid amplification method Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种目标视觉模型的训练方法、装置、设备及存储介质。该目标视觉模型的训练方法包括：获取第一样本图像和背景图像；根据所述第一样本图像获取目标图像，并将所述目标图像置于所述背景图像得到第二样本图像；将各个样本图像输入至待训练模型中，以使得所述待训练模型根据所述样本图像预测出对应的预测类别；根据所述目标类别和所述预测类别，确定第一损失值，并根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。本申请实施例中可以解决因样本数据少、样本数据获取困难等原因而导致模型性能低的问题。
Description
技术领域
本申请实施例涉及计算机视觉技术领域，具体涉及一种目标视觉模型的训练方法、装置、设备及存储介质。
背景技术
随着人工智能技术的不断发展，对图像中的目标进行识别的方式也越来越多的采用机器学习算法完成。
目前大部分机器学习依赖于大量的标注数据，若要训练得到性能较好的网络模型，则需要获取大量的样本数据对模型进行训练。然而，在实际情况中，往往会存在样本数据少、样本数据获取困难等问题。因此，如何在样本数据较少的情况下训练出高性能的模型是机器学习的一个难题。
发明内容
本申请实施例提供一种目标视觉模型的训练方法、装置、设备及存储介质，可以使得训练数据得到扩增，进而使得模型性能得到提升，解决因样本数据少、样本数据获取困难等原因而导致模型性能低的问题。
第一方面，本申请实施例提供一种目标视觉模型的训练方法，所述方法包括：
获取第一样本图像和背景图像，所述背景图像是指任意场景的图像，所述第一样本图像是指承载了第一目标物体的图像；
根据所述第一样本图像获取目标图像，并将所述目标图像置于所述背景图像得到第二样本图像，所述目标图像是指所述第一样本图像中承载物体的区域的图像；
将各个样本图像输入至待训练模型中，以使得所述待训练模型根据所述样本图像预测出对应的预测类别，其中，所述样本图像包括所述第一样本图像和所述第二样本图像，所述样本图像标注有图像中的物体的类别标签，所述类别标签用于指示所述样本图像中的物体所属的目标类别；
根据所述目标类别和所述预测类别，确定第一损失值，并根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述待训练模型还包括目标分割分支，所述样本图像还标注有图像中的物体的分割标签，所述分割标签用于指示所述样本图像中的物体的分割数据；
所述根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型，包括：
获取所述目标分割分支根据所述样本图像输出的预测分割数据；
根据所述预测分割数据和所述分割标签对应的分割数据，确定第二损失值；
根据所述第一损失值和所述第二损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述待训练模型还包括关键点检测分支，所述样本图像还标注有图像中的物体的关键点标签，所述关键点标签用于指示所述样本图像中的物体的关键点信息；
所述根据所述第一损失值和所述第二损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型，包括：
获取所述关键点检测分支根据所述样本图像输出的预测关键点；
根据所述预测关键点和所述关键点标签对应的关键点信息，确定第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述方法还包括：
获取待检测图像，并将所述待检测图像输入所述目标视觉模型；
获取所述关键点检测分支根据所述待检测图像输出的第二目标物体的关键点，所述第二目标物体是指所述待检测图像中承载的物体。
在本申请的一些实施例中，所述方法还包括：
获取待识别图像，并将所述待识别图像输入所述目标视觉模型；
获取所述目标分割分支根据所述待识别图像输出的第三目标物体的分割数据，所述第三目标物体是指所述待识别图像中承载的物体。
在本申请的一些实施例中，所述第二样本图像对应的类别标签与所述第一样本图像对应的类别标签相同。
在本申请的一些实施例中，所述样本图像还包括第三样本图像，所述第三样本图像通过以下步骤得到：
对待处理图像进行图像预处理，得到所述第三样本图像，所述待处理图像包括第一样本图像、第二样本图像中的至少一种，所述图像预处理包括图像旋转、图像缩放、图像裁剪、图像滤波、图像填充、图像对比度变换、图像颜色变换、图像锐化操作中的至少一种。
第二方面，本申请实施例提供一种目标视觉模型的训练装置，所述目标视觉模型的训练装置包括：
获取单元，用于获取第一样本图像和背景图像，所述背景图像是指任意场景的图像，所述第一样本图像是指承载了第一目标物体的图像；
处理单元，用于根据所述第一样本图像获取目标图像，并将所述目标图像置于所述背景图像得到第二样本图像，所述目标图像是指所述第一样本图像中承载物体的区域的图像；
训练单元，用于将各个样本图像输入至待训练模型中，以使得所述待训练模型根据所述样本图像预测出对应的预测类别，其中，所述样本图像包括所述第一样本图像和所述第二样本图像，所述样本图像标注有图像中的物体的类别标签，所述类别标签用于指示所述样本图像中的物体所属的目标类别；根据所述目标类别和所述预测类别，确定第一损失值，并根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述待训练模型还包括目标分割分支，所述样本图像还标注有图像中的物体的分割标签，所述分割标签用于指示所述样本图像中的物体的分割数据；所述训练单元具体还用于：
获取所述目标分割分支根据所述样本图像输出的预测分割数据；
根据所述预测分割数据和所述分割标签对应的分割数据，确定第二损失值；
根据所述第一损失值和所述第二损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述待训练模型还包括关键点检测分支，所述样本图像还标注有图像中的物体的关键点标签，所述关键点标签用于指示所述样本图像中的物体的关键点信息；所述训练单元具体还用于：
获取所述关键点检测分支根据所述样本图像输出的预测关键点；
根据所述预测关键点和所述关键点标签对应的关键点信息，确定第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述目标视觉模型的训练装置还包括检测单元，所述检测单元具体用于：
获取待检测图像，并将所述待检测图像输入所述目标视觉模型；
获取所述关键点检测分支根据所述待检测图像输出的第二目标物体的关键点，所述第二目标物体是指所述待检测图像中承载的物体。
在本申请的一些实施例中，所述检测单元具体还用于：
获取待识别图像，并将所述待识别图像输入所述目标视觉模型；
获取所述目标分割分支根据所述待识别图像输出的第三目标物体的分割数据，所述第三目标物体是指所述待识别图像中承载的物体。
在本申请的一些实施例中，所述处理单元确定的所述第二样本图像对应的类别标签与所述获取单元获取的所述第一样本图像对应的类别标签相同。
在本申请的一些实施例中，所述样本图像还包括第三样本图像，所述获取单元具体还用于：
对待处理图像进行图像预处理，得到所述第三样本图像，所述待处理图像包括第一样本图像、第二样本图像中的至少一种，所述图像预处理包括图像旋转、图像缩放、图像裁剪、图像滤波、图像填充、图像对比度变换、图像颜色变换、图像锐化操作中的至少一种。
第三方面，本申请实施例还提供一种目标视觉模型的训练设备，所述目标视觉模型的训练设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种目标视觉模型的训练方法中的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的目标视觉模型的训练方法中的步骤。
本申请实施例通过获取第一样本图像和背景图像；根据所述第一样本图像和所述背景图像，生成第二样本图像，使得训练数据得到扩增；根据所述第一样本图像(即原始的样本数据)和所述第二样本图像(即扩增的样本数据)，对待训练模型进行训练，将训练完成后的模型作为目标视觉模型，使得模型性能得到提升，解决了因样本数据少、样本数据获取困难等原因而导致模型性能低的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的目标视觉模型的网络结构的示意图；
图2是本申请实施例中提供的目标视觉模型的训练方法的一种实施例流程示意图；
图3是本申请实施例中提供的第二样本图像的示意图；
图4是本申请实施例中提供的步骤S40细化的一种实施例流程示意图；
图5是本申请实施例中提供的步骤S43细化的一种实施例流程示意图；
图6是本申请实施例中提供的目标视觉模型的训练装置的一个实施例结构示意图；
图7是本申请实施例中提供的目标视觉模型的训练设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。
目前大部分机器学习依赖于大量的标注数据，若要训练得到性能较好的网络模型，则需要获取大量的样本数据对模型进行训练。然而，在实际情况中往往会存在样本数据少、样本数据获取困难等问题。在样本数据较少的情况下，较难实现训练出一个性能较优的深度模型。
基于现有的相关技术存在的上述缺陷，本申请实施例提供了目标视觉模型的训练方法，通过从人工标注的样本图像中获取物体部分的图像，并将物体部分的图像置于随机获取的背景图像中，得到新的图像作为样本图像；使得训练数据得到扩增，进而提升模型的性能，至少在一定程度上克服现有的相关技术所存在的缺陷。
本申请实施例提供一种目标视觉模型的训练方法，参照图1，图1为本申请实施例提供的目标视觉模型的网络结构的示意图。在本申请实施例中，该目标视觉模型的训练方法可以应用于单任务或多任务的任意一种网络结构中，例如，可以应用于分类的单任务网络结构中，如图1(a)所示。也应用于包括分类、回归、分割的多任务网络结构中，如图1(b)所示。还可以应用于包括分类、回归、分割、关键点检测的复杂多任务网络结构中，如图1(c)所示。还可以应用于分类、回归的多任务网络结构中(图中未示出)。
本申请实施例目标视觉模型的训练方法的执行主体可以为本申请实施例提供的目标视觉模型的训练装置，或者集成了该目标视觉模型的训练装置的服务器设备、物理主机或者用户设备(User Equipment，UE)等不同类型的目标视觉模型的训练设备，其中，目标视觉模型的训练装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。
该目标视觉模型的训练设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本申请实施例提供的目标视觉模型的训练方法，可以使得训练数据得到扩增，进而使得模型性能得到提升，解决因样本数据少、样本数据获取困难等原因而导致模型性能低的问题。
下面，开始介绍本申请实施例提供的目标视觉模型的训练方法，本申请实施例中以目标视觉模型的训练设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，或直接将目标视觉模型的训练设备简称为设备(在没有特别声明的情况下，设备是指目标视觉模型的训练设备)，该目标视觉模型的训练方法包括：获取第一样本图像和背景图像；根据所述第一样本图像获取目标图像，并将所述目标图像置于所述背景图像得到第二样本图像；将各个样本图像输入至待训练模型中，以使得所述待训练模型根据所述样本图像预测出对应的预测类别；根据所述目标类别和所述预测类别，确定第一损失值，并根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
参照图2，图2为本申请实施例提供的目标视觉模型的训练方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该目标视觉模型的训练方法包括步骤S10～S40，其中：
S10、获取第一样本图像和背景图像。
其中，背景图像是指任意场景的图像，例如，随机生成的图像、以任意场景为拍摄背景拍摄的图像。第一样本图像是指承载了第一目标物体的图像，第一目标物体可以是人、动物或固定物体(如桌子、气球)等任意物体。在本申请实施例中，第一样本图像至少为一张、背景图像至少为一张。
具体地，待训练模型可以是基于多种任务构建成的模型，例如，基于分类任务的模型(如深度残差网络ResNet101网络)，基于分类任务与回归任务结合的模型，基于分类任务、回归任务与分割任务结合的模型(如Mask RCNN网络，Mask RCNN网络将后续实施例中详细介绍，在此不再赘述)，或者是基于分类任务、回归任务、分割任务与关键点检测任务结合的模型。
S20、根据所述第一样本图像获取目标图像，并将所述目标图像置于所述背景图像得到第二样本图像。
其中，目标图像是指第一样本图像中承载物体的区域的图像。第一样本图像标注了图像中的第一目标物体的分割数据，第一样本图像所标注的分割数据可以通过人工来标注。
作为一种实施方式，其中，步骤S20具体可以包括以下步骤(1)至(3)：
(1)从一个第一样本图像中获取一个目标图像。首先，根据第一样本图像以及第一样本图像对应的分割数据，检测出第一样本图像中的第一目标物体所在区域；然后，从第一样本图像中分割出第一目标物体所在区域，以作为目标图像。
(2)将目标图像分别置于步骤S10中获取的每张背景图像(在本申请实施例中，步骤S10中获取的背景图像有多张)中。具体地，首先，随机获取每个背景图像中的一个坐标，作为目标图像在该背景图像中的起点的坐标位置；然后，将目标图像以随机获取的坐标位置为起点，将目标图像覆盖至该背景图像中。最后，将放置了目标图像的每个背景图像，作为一个第二样本图像。
例如，随机获取背景图像中的一个坐标，作为目标图像左上角在背景图像中的坐标位置，并以目标图像左上角为起点，将目标图像覆盖至背景图像中。
进一步地，为了保证目标图像可以完整地放置于背景图像中，在“获取每个背景图像中的一个坐标，作为目标图像在背景图像中的起点的坐标位置”之前，首先，设置背景图像的边界范围；然后，再从背景图像的边界范围中随机获取一个坐标，确定为目标图像在背景图像中的起点的坐标位置。
(3)以另一个第一样本图像，重复以上步骤(1)和(2)，直至第一样本图像和第一样本图像的总数满足样本数量要求。至此，实现少量样本数据扩增。
为了方便进一步理解如何得出第二样本图像，请参照图3，图3是本申请实施例提供的第二样本图像的示意图。其中，图3(a)是含有第一目标物体(如猪体)的第一样本图像，图3(b)是随机获取的一个背景图像，图3(c)是将根据图3(a)确定的目标图像放置于图3(b)中的背景图像后，得到的第二样本图像。
S30、将各个样本图像输入至待训练模型中，以使得所述待训练模型根据所述样本图像预测出对应的预测类别。
其中，样本图像包括第一样本图像和第二样本图像，样本图像标注有图像中的物体的类别标签，类别标签用于指示样本图像中的物体所属于目标类别。
在对第一样本数据进行扩增得到第二样本数据后，将第一样本图像和第二样本图像作为训练数据集，用于训练待训练模型。具体地，首先，根据图像中的物体所属的类别，通过人工分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的类别标签。然后，将训练数据集中标注好的每个样本图像输入至待训练模型中，以使得待训练模型根据样本图像输出对应的预测类别、对应的回归区域。
为了提高训练数据集的获取效率，在本申请的一些实施例中，所述第二样本图像对应的类别标签与所述第一样本图像对应的类别标签相同。具体地，首先，根据人工对第一样本图像的标注，确定第一样本图像对应的类别标签。然后，确定第二样本图像对应的目标第一样本图像，并将目标第一样本图像的类别标签确定为第二样本图像对应的类别标签；其中，目标第一样本图像是指用于提取目标图像，以形成该第二样本图像的第一样本图像。
例如，根据样本图像A(第一样本图像)获取目标图像1，并将目标图像1置于背景图像a中，得到样本图像B(第二样本图像)；若样本图像A对应的类别标签为“桌子”，则样本图像B对应的类别标签也为“桌子”。又如，根据样本图像C(第一样本图像)获取目标图像2，并将目标图像2置于背景图像b中，得到样本图像D(第二样本图像)；若样本图像C对应的类别标签为“猪”，则样本图像D对应的类别标签也为“猪”。
由此可见，通过目标第一样本图像的类别标签确定为第二样本图像对应的类别标签，无需再通过人工标注的方式对第二样本图像进行标注，节省了的人力，提升模型训练的自动化程度。
S40、根据所述目标类别和所述预测类别，确定第一损失值，并根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
其中，待训练模型对应设置了分类损失函数，以使得待训练模型能够学习到图像中的物体所属的类别，分类损失函数对应于待训练模型输出预测类别进行设置。
“根据所述目标类别和所述预测类别，确定第一损失值”的一种实施方式为：在训练过程中，以分类损失函数作为第一损失函数，第一损失函数的值即为第一损失值。具体地，在训练过程中，通过第一损失函数计算第一损失值，将样本图像的预测类别和样本图像对应的类别标签所对应的目标类别，代入第一损失函数，即可得到对应的第一损失值。并不断地根据每次训练的第一损失值对待训练的模型参数进行调整，直至满足预设的停止训练条件，将训练好的待训练模型作为目标视觉模型。此时，可将训练好的目标视觉模型应用于检测图像。
“根据所述目标类别和所述预测类别，确定第一损失值”的另一种实施方式为：样本图像还标注有图像中的物体的区域标签，区域标签用于指示样本图像中的物体所处的目标区域。待训练模型对应设置了回归损失函数，以使得待训练模型能够学习到图像中的物体所处的区域，回归损失函数对应于待训练模型输出回归区域进行设置。在训练过程中，以分类损失函数和回归损失函数构建第一损失函数，第一损失函数的值即为第一损失值。
具体地，首先，根据图像中的物体所处的区域，通过人工分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的区域标签。作为标注的一种实施方式，第二样本图像的标签也可以根据第一样本图像的标签确定，而无需人工再次进行标注。
然后，将训练数据集中标注好的每个样本图像输入至待训练模型中，以使得待训练模型根据样本图像输出对应的预测类别、对应的回归区域。
在训练过程中，通过第一损失函数计算第一损失值，将样本图像的回归区域和样本图像对应的区域标签所对应的目标区域，以及样本图像的预测类别和样本图像对应的类别标签所对应的目标类别，代入第一损失函数，即可得到对应的第一损失值。并不断地根据每次训练的第一损失值对待训练的模型参数进行调整，直至满足预设的停止训练条件，将训练好的待训练模型作为目标视觉模型。此时，可将训练好的目标视觉模型应用于检测图像。
其中，分类损失函数、回归损失函数可以是铰链损失函数(hinge lossfunction)、交叉熵损失函数(cross-entropy loss function)、指数损失函数(exponential loss function)等，在本申请实施例中对分类损失函数、回归损失函数的具体函数类型不做限制。
其中，预设的停止训练条件可以根据实际需求而设置。例如，可以是当第一损失值小于预设值时，或者是第一损失值的基本不再变化时，即相邻多次训练对应的第一损失值的差值小于预设值。
本申请实施例中通过获取第一样本图像和背景图像；根据第一样本图像和背景图像，生成第二样本图像，使得训练数据得到扩增；根据第一样本图像(即原始的样本数据)和第二样本图像(即扩增的样本数据)，对待训练模型进行训练，将训练完成后的模型作为目标视觉模型，使得模型性能得到提升，解决了因样本数据少、样本数据获取困难等原因而导致模型性能低的问题。
请参阅图4，图4是本申请实施例中提供的步骤S40细化的一种实施例流程示意图。在本申请的一些实施例中，所述待训练模型还包括目标分割分支，所述样本图像还标注有图像中的物体的分割标签，所述分割标签用于指示所述样本图像中的物体的分割数据。
所述步骤S40具体包括以下步骤S41-步骤S43，其中：
S41、获取所述目标分割分支根据所述样本图像输出的预测分割数据。
在对第一样本数据进行扩增得到第二样本数据后，将第一样本图像和第二样本图像作为训练数据集，用于训练待训练模型。
具体地，首先，进行数据标注。1、根据图像中的物体所属的类别，通过人工分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的类别标签。2、根据图像中的物体所处的区域，通过人工分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的区域标签。3、根据图像中的物体所在的区域，分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的分割标签。其中，对样本图像进行标注可以由人工完成。作为标注的一种实施方式，第二样本图像的标签也可以根据第一样本图像的标签确定，而无需人工再次进行标注。
然后，将训练数据集中标注好的每个样本图像输入至待训练模型中，以使得待训练模型的分类分支根据样本图像输出对应的预测类别，回归分支根据样本图像输出对应的回归区域，目标分割分支根据样本图像输出对应的预测分割数据。
S42、根据所述预测分割数据和所述分割标签对应的分割数据，确定第二损失值。
其中，待训练模型的目标分割分支对应设置了第二损失函数，以使得待训练模型能够学习到图像中的物体的分割数据。第二损失函数对应于目标分割分支输出的预测分割数据进行设置。在训练过程中，第二损失函数的值即为第二损失值。其中，第二损失函数也可以是铰链损失函数、交叉熵损失函数、指数损失函数等，在本申请实施例中对第二损失函数的具体函数类型不做限制。
具体地，在训练过程中，通过第二损失函数计算第二损失值，将样本图像的预测分割数据和样本图像对应的分割标签所对应的分割数据代入第二损失函数，即可得到对应的第二损失值。
S43、根据所述第一损失值和所述第二损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
具体地，根据第一损失值和第二损失值，确定总损失值(例如，将第一损失值和第二损失值相加得到总损失值)。在训练过程中，不断地根据每次训练的总损失值对待训练的模型参数进行调整，包括对分类分支的模型参数进行调整以及对目标分割分支的模型参数进行调整，直至满足预设的停止训练条件，将训练好的待训练模型作为目标视觉模型。其中，第一损失值的确定可以参照以上步骤S40，在此不再赘述。
其中，预设的停止训练条件可以根据实际需求而设置。例如，可以是当总损失值小于预设值时，或者是总损失值的基本不再变化时，即相邻多次训练对应的总损失值的差值小于预设值。
由此可见，本申请实施例中通过将原始的样本图像(即第一样本图像)和扩增的样本图像(即第二样本图像)结合，应用于训练包括分类、回归、分割的多任务网络结构，由于训练数据得到扩增，使得由较少原始的样本图像也可以训练出分类、回归、分割的多任务网络结构，即使得由较少原始的样本图像也可以训练出较高性能的复杂模型，进而实现在样本数据获取困难的情况下也可以训练出较高性能的复杂模型。
在本申请的一些实施例中，所述方法还包括以下步骤a1-步骤a2，其中：
a1、获取待识别图像，并将所述待识别图像输入所述目标视觉模型。
其中，待识别图像一般为包含了目标视觉模型可以识别的物体的图像，可以理解的是，待识别图像也可以是不包含物体的图像。
具体地，获取待识别图像，并将待识别图像输入目标视觉模型，以使得目标视觉模型根据待识别图像，预测出待检测图像中承载的物体的分割数据。
a2、获取所述目标分割分支根据所述待识别图像输出的第三目标物体的分割数据。
其中，第三目标物体是指待识别图像中承载的物体。
在将待识别图像输入目标视觉模型后，首先，目标视觉模型的分类分支会对待识别图像进行分类。在确定待识别图像中承载的物体(即第三目标物体)的类别后，目标视觉模型的目标分割分支会与该类别对应的分割函数，从待识别图像中分割出第三目标物体，从而得到第三目标物体的分割数据。
上述实施例中的目标视觉模型的训练方法是对由分类分支、回归分支、目标分割分支组成的待训练模型整体进行训练，在满足预设的停止训练条件后，将训练好的待训练模型作为目标视觉模型。在步骤a1-a2中用到的即是上述步骤S43中训练好的目标视觉模型。进一步地，在步骤a1-a2中用到的也可以是后续实施例步骤S433中训练好的目标视觉模型。
由此可见，本申请实施例中采用由原始的样本图像(即第一样本图像)和扩增的样本图像(即第二样本图像)结合训练得到的目标视觉模型，对待识别图像进行检测；一方面，可以实现分割出待识别图像中承载的物体的分割数据，为后续的其他任务提供了精准的分割数据。另一方面，使得在较少原始的样本图像情况下，可以提高模型检测的分割数据的准确性。
请参阅图5，图5是本申请实施例中提供的步骤S43细化的一种实施例流程示意图。在本申请的一些实施例中，所述待训练模型还包括关键点检测分支，所述样本图像还标注有图像中的物体的关键点标签，所述关键点标签用于指示所述样本图像中的物体的关键点信息。
所述步骤S43具体包括以下步骤S431-步骤S433，其中：
S431、获取所述关键点检测分支根据所述样本图像输出的预测关键点。
在对第一样本数据进行扩增得到第二样本数据后，将第一样本图像和第二样本图像作为训练数据集，用于训练待训练模型。具体地，首先，进行数据标注。1、根据图像中的物体所属的类别，通过人工分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的类别标签。2、根据图像中的物体所处的区域，通过人工分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的区域标签。3、根据图像中的物体所在的区域，分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的分割标签。4、根据图像中的物体的关键点信息，分别对第一样本图像和第二样本图像进行标注，以确定每个样本图像对应的关键点标签。其中，对样本图像进行标注可以由人工完成。作为标注的一种实施方式，第二样本图像的标签也可以根据第一样本图像的标签确定，而无需人工再次进行标注。
然后，将训练数据集中标注好的每个样本图像输入至待训练模型中，以使得待训练模型的分类分支根据样本图像输出对应的预测类别，回归分支根据样本图像输出对应的回归区域，目标分割分支根据样本图像输出对应的预测分割数据，关键点检测分支根据样本图像输出对应的预测关键点。
S432、根据所述预测关键点和所述关键点标签对应的关键点信息，确定第三损失值。
其中，待训练模型的关键点检测分支对应设置了第三损失函数，以使得待训练模型能够学习到图像中的物体的关键点信息。第三损失函数对应于关键点检测分支输出的预测关键点进行设置。在训练过程中，第三损失函数的值即为第三损失值。其中，第三损失函数也可以是铰链损失函数、交叉熵损失函数、指数损失函数等，在本申请实施例中对第三损失函数的具体函数类型不做限制。
具体地，在训练过程中，通过第三损失函数计算第三损失值，将样本图像的预测关键点和样本图像对应的关键点标签所对应的关键点数据代入第三损失函数，即可得到对应的第三损失值。
S433、根据所述第一损失值、所述第二损失值和所述第三损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
具体地，根据第一损失值、第二损失值和第三损失值，确定总损失值(例如，将第一损失值、第二损失值和第三损失值代入预设的总损失函数，计算得到总损失值)。在训练过程中，不断地根据每次训练的总损失值对待训练的模型参数进行调整，包括对待训练模型的分类分支的模型参数进行调整、对目标分割分支的模型参数进行调整以及对关键点检测分支的模型参数进行调整，直至满足预设的停止训练条件，将训练好的待训练模型作为目标视觉模型。其中，第一损失值的确定可以参照以上步骤S40、第二损失值的确定可以参照以上步骤S41～S42，在此不再赘述。
由此可见，本申请实施例中通过将原始的样本图像(即第一样本图像)和扩增的样本图像(即第二样本图像)结合，应用于训练包括分类、回归、分割、关键点检测的复杂任务网络结构，由于训练数据得到扩增，使得由较少原始的样本图像也可以训练出分类、回归、分割、关键点检测的复杂任务网络结构，即使得由较少原始的样本图像也可以训练出较高性能的复杂模型，进而实现在样本数据获取困难的情况下也可以训练出较高性能的复杂模型。
在本申请的一些实施例中，所述方法还包括以下步骤b1-步骤b2，其中：
b1、获取待检测图像，并将所述待检测图像输入所述目标视觉模型。
其中，待检测图像一般为包含了目标视觉模型可以识别的物体的图像，可以理解的是，待检测图像也可以是不包含物体的图像。
具体地，获取待检测图像，并将待检测图像输入目标视觉模型，以使得目标视觉模型根据待检测图像，预测出待检测图像中承载的物体的关键点。
b2、获取所述关键点检测分支根据所述待检测图像输出的第二目标物体的关键点。
其中，第二目标物体是指待检测图像中承载的物体。
在将待检测图像输入目标视觉模型后，首先，目标视觉模型的分类分支会对待检测图像进行分类。在确定待检测图像中承载的物体(即第二目标物体)的类别后，目标视觉模型的目标分割分支会与该类别对应的分割函数，从待检测图像中分割出第二目标物体。最后，目标视觉模型的目标分割分支会根据第二目标物体的分割数据进行检测，得到第二目标物体的关键点。
上述实施例中的目标视觉模型的训练方法是对由分类分支、回归分支、目标分割分支、关键点检测分支组成的待训练模型整体进行训练，在满足预设的停止训练条件后，将训练好的待训练模型作为目标视觉模型。在步骤b1-b2中用到的即是上述步骤S433中训练好的目标视觉模型。
由此可见，本申请实施例中采用由原始的样本图像(即第一样本图像)和扩增的样本图像(即第二样本图像)结合训练得到的目标视觉模型，对待检测图像进行检测，一方面，可以检测出待检测图像中承载的物体的关键点信息，为后续的其他任务提供了精准的关键点信息。另一方面，使得在模型复杂、且原始的样本数据量少的情况，可以提高模型检测的关键点信息的准确性。
为了进一步增强训练数据的多样性，在本申请的一些实施例中，所述样本图像还包括第三样本图像，所述第三样本图像通过以下步骤得到：
对待处理图像进行图像预处理，得到所述第三样本图像，所述待处理图像包括第一样本图像、第二样本图像中的至少一种，所述图像预处理包括图像旋转、图像缩放、图像裁剪、图像滤波、图像填充、图像对比度变换、图像颜色变换、图像锐化操作中的至少一种。
为了进一步丰富训练数据集，步骤S30中、步骤S41中或步骤S431中的训练数据集除了第一样本图像和第二样本图像外，还可以包括第三样本图像。作为一种实施方式，第三样本图像具体通过如下方式得到：
(一)、对于输入网络的每张第一样本图像或第二样本图像，按照特定概率(如，1/2的概率)选择是否对其进行在线扩增。
(二)、若确定对第一样本图像或第二样本图像进行在线扩增，随机选择以下任意一种方式进行在线扩增：
1)对图像进行正向90度旋转；
2)对图像进行正向180度旋转；
3)对图像进行正向270度旋转；
4)对图像在-45度-45度范围内随机旋转角度旋转；
5)对图像按照一定的比例进行缩放；
6)对图像的宽进行一定比例的缩放，同时对图像的高进行另一种比例的缩放；
7)对图像随机裁剪；
8)对图像进行随机裁剪并填充；
9)对图像进行边界填充；
10)对图像增加高斯噪声；
11)对图像进行中值滤波；
12)对图像进行均值滤波；
13)对图像进行锐化操作；
14)对图像进行对比度变换；
15)对图像进行颜色空间变换；
16)对RGB图像的R通道随机增加50以内的像素；
17)对RGB图像的G通道随机增加50以内的像素；
18)对RGB图像的B通道随机增加50以内的像素。
(三)、将第一样本图像或第二样本图像经过以上步骤(二)的图像预处理后得到的图像，作为第三样本图像。
其中，1)至9)的在线增强操作需要对物体的分割数据和物体的关键点数据进行相同的变换，10)至18)在线增强操作是像素级别的变换，只需要对图像进行增强，物体的分割数据和物体的关键点数据保持不变。
由此可见，本申请实施例中通过将第一样本图像、第二样本图像、第三样本图像结合作为训练数据集对待训练模型进行训练，增加了样本的多样性，进而提升模型的性能，使得以少量的原始样本数据也可以训练出较高性能的复杂网络。
最后，为了更方便理解本申请实施例的目标视觉模型的训练方法，以猪体分割和关键点检测为例，阐述模型训练的过程，具体训练过程如下：
1、获取预训练模型。
Mask RCNN(Regions with CNN features，深度卷积神经网络)是基于FasterRCNN(Faster-Region based Convolutional Neural Network，更快速区域卷积神经网络)提出来的一个网络架构，主要完成了目标个体的语义分割，Mask RCNN可以看作是通用实例分割架构，其包括：分类，回归和分割三个分支。
首先，将Mask RCNN的内置网络ResNet101(深度残差网络)在分类数据集上进行训练，通过大量的训练数据使得ResNet101网络具有较好的分类性能。然后，将训练好的ResNet101网络作为预训练模型。
2、离线数据扩增。
2.1、获取少量的猪体样本图像并标注(即第一样本图像)。
其中，猪体样本图像的标注包括猪体的分割数据和猪体的关键点数据。猪体体分割数据主要是标注包含猪体的多边形框，猪体的关键点数据主要是包含猪体的七个关键点(猪嘴，猪耳，猪尾，猪前腿，猪前脚，猪后腿，猪后脚)。
2.2、使用2.1中的猪体样本图像进行离线扩增，得到扩增的猪体样本图像(即第二样本图像)。
2.2.1、随机获取一批背景图像。
2.2.2、遍历2.1中获取的猪体样本图像中的每一张图像，选取一张猪体样本图像并利用标注的分割数据把其中的猪体分割出来，获得猪体部分的图像(即目标图像)及对应的猪体分割数据和猪体关键点数据。
2.2.3、首先，设置背景图像的边界范围，并从背景图像的边界范围内随机获取猪体左上角在背景图像中的位置。然后，并将猪体部分的图像以左上角坐标位置为起点覆盖到背景图像中，得到扩增的猪体样本图像(即第二样本图像)。
最后，按照位置关系修正猪体的分割数据及猪体的关键点数据。其中，若猪体部分的图像覆盖到背景图像会超出背景图像的边界范围，则舍弃该覆盖后的背景图像。
2.2.4、迭代2.2.2和2.2.3，直至原始的猪体样本图像和扩增的猪体样本图像的数量，满足所需的样本数量。
3、在线数据扩增。
3.1、对输入待训练模型的每张原始的猪体样本图像(即第一样本图像)按照0.5的概率选择是否进行在线扩增；
3.2、若确定对原始的猪体样本图像进行在线扩增，随机选择以上实施例步骤(二)中的1)至18)中任意一种方式进行在线扩增，得到扩增的猪体样本图像(即第三样本图像)。
其中，1)至9)的在线增强操作需要对猪体的分割数据和猪体的关键点数据进行相同的变换，10)至18)在线增强操作是像素级别的变换，只需要对图像进行增强，猪体的分割数据和猪体的关键点数据保持不变。
4、训练由分类、回归、分割和关键点检测任务构建的待训练模型。
4.1、采用步骤1中预训练模型作为标准的Mask RCNN网络的内置网络，并根据原始的猪体样本图像、步骤2离线扩增的猪体样本图像以及步骤3在线扩增的猪体样本图像，参照以上步骤S41-步骤S43的方法，训练标准的Mask RCNN网络，将所述待训练模型作为标准Mask RCNN网络。
4.2、首先，在步骤4.1训练好的标准Mask RCNN网络的末端添加关键点检测分支，得到四任务的Mask RCNN网络，使得标准Mask RCNN网络由分类、回归和分割三个任务转变为分类、回归、分割和关键点检测四个任务。
然后，根据原始的猪体样本图像、步骤2离线扩增的猪体样本图像以及步骤3在线扩增的猪体样本图像，以分类损失、回归损失、分割损失和关键点损失作为模型损失，训练四任务的Mask RCNN网络。
为了更好实施本申请实施例中目标视觉模型的训练方法，在目标视觉模型的训练方法基础之上，本申请实施例中还提供一种目标视觉模型的训练装置，如图6所示，为本申请实施例中目标视觉模型的训练装置的一个实施例结构示意图，该目标视觉模型的训练装置600包括：
获取单元601，用于获取第一样本图像和背景图像，所述背景图像是指任意场景的图像，所述第一样本图像是指承载了第一目标物体的图像；
处理单元602，用于根据所述第一样本图像获取目标图像，并将所述目标图像置于所述背景图像得到第二样本图像，所述目标图像是指所述第一样本图像中承载物体的区域的图像；
训练单元603，用于将各个样本图像输入至待训练模型中，以使得所述待训练模型根据所述样本图像预测出对应的预测类别，其中，所述样本图像包括所述第一样本图像和所述第二样本图像，所述样本图像标注有图像中的物体的类别标签，所述类别标签用于指示所述样本图像中的物体所属的目标类别；根据所述目标类别和所述预测类别，确定第一损失值，并根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述待训练模型还包括目标分割分支，所述样本图像还标注有图像中的物体的分割标签，所述分割标签用于指示所述样本图像中的物体的分割数据；所述训练单元603具体还用于：
获取所述目标分割分支根据所述样本图像输出的预测分割数据；
根据所述预测分割数据和所述分割标签对应的分割数据，确定第二损失值；
根据所述第一损失值和所述第二损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述待训练模型还包括关键点检测分支，所述样本图像还标注有图像中的物体的关键点标签，所述关键点标签用于指示所述样本图像中的物体的关键点信息；所述训练单元603具体还用于：
获取所述关键点检测分支根据所述样本图像输出的预测关键点；
根据所述预测关键点和所述关键点标签对应的关键点信息，确定第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
在本申请的一些实施例中，所述目标视觉模型的训练装置还包括检测单元(图中未示出)，所述检测单元具体用于：
获取待检测图像，并将所述待检测图像输入所述目标视觉模型；
获取所述关键点检测分支根据所述待检测图像输出的第二目标物体的关键点，所述第二目标物体是指所述待检测图像中承载的物体。
在本申请的一些实施例中，所述检测单元具体还用于：
获取待识别图像，并将所述待识别图像输入所述目标视觉模型；
获取所述目标分割分支根据所述待识别图像输出的第三目标物体的分割数据，所述第三目标物体是指所述待识别图像中承载的物体。
在本申请的一些实施例中，所述处理单元602确定的所述第二样本图像对应的类别标签与所述获取单元601获取的所述第一样本图像对应的类别标签相同。
在本申请的一些实施例中，所述样本图像还包括第三样本图像，所述获取单元601具体还用于：
对待处理图像进行图像预处理，得到所述第三样本图像，所述待处理图像包括第一样本图像、第二样本图像中的至少一种，所述图像预处理包括图像旋转、图像缩放、图像裁剪、图像滤波、图像填充、图像对比度变换、图像颜色变换、图像锐化操作中的至少一种。
此外，为了更好实施本申请实施例中目标视觉模型的训练方法，在目标视觉模型的训练方法基础之上，本申请实施例还提供一种目标视觉模型的训练设备，参阅图7，图7示出了本申请实施例目标视觉模型的训练设备的一种结构示意图，具体的，本申请实施例提供的目标视觉模型的训练设备包括处理器701，处理器701用于执行存储器702中存储的计算机程序时实现如图1至图5对应任意实施例中目标视觉模型的训练方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
目标视觉模型的训练设备可包括，但不仅限于处理器701、存储器702。本领域技术人员可以理解，示意仅仅是目标视觉模型的训练设备的示例，并不构成对目标视觉模型的训练设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如目标视觉模型的训练设备还可以包括输入输出设备、网络接入设备、总线等，处理器701、存储器702、输入输出设备以及网络接入设备等通过总线相连。
处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是目标视觉模型的训练设备的控制中心，利用各种接口和线路连接整个目标视觉模型的训练设备的各个部分。
存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据目标视觉模型的训练设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的目标视觉模型的训练装置、设备及其相应单元的具体工作过程，可以参考如图1至图5对应任意实施例中目标视觉模型的训练方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图5对应任意实施例中目标视觉模型的训练方法中的步骤，具体操作可参考如图1至图5对应任意实施例中目标视觉模型的训练方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图5对应任意实施例中目标视觉模型的训练方法中的步骤，因此，可以实现本申请如图1至图5对应任意实施例中目标视觉模型的训练方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请实施例所提供的一种目标视觉模型的训练方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种目标视觉模型的训练方法，其特征在于，所述方法包括：
获取第一样本图像和背景图像，所述背景图像是指任意场景的图像，所述第一样本图像是指承载了第一目标物体的图像；
根据所述第一样本图像获取目标图像，并将所述目标图像置于所述背景图像得到第二样本图像，所述目标图像是指所述第一样本图像中承载物体的区域的图像；
将各个样本图像输入至待训练模型中，以使得所述待训练模型根据所述样本图像预测出对应的预测类别，其中，所述样本图像包括所述第一样本图像和所述第二样本图像，所述样本图像标注有图像中的物体的类别标签，所述类别标签用于指示所述样本图像中的物体所属的目标类别；
根据所述目标类别和所述预测类别，确定第一损失值，并根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
2.根据权利要求1所述的目标视觉模型的训练方法，其特征在于，所述待训练模型还包括目标分割分支，所述样本图像还标注有图像中的物体的分割标签，所述分割标签用于指示所述样本图像中的物体的分割数据；
所述根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型，包括：
获取所述目标分割分支根据所述样本图像输出的预测分割数据；
根据所述预测分割数据和所述分割标签对应的分割数据，确定第二损失值；
根据所述第一损失值和所述第二损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
3.根据权利要求2所述的目标视觉模型的训练方法，其特征在于，所述待训练模型还包括关键点检测分支，所述样本图像还标注有图像中的物体的关键点标签，所述关键点标签用于指示所述样本图像中的物体的关键点信息；
所述根据所述第一损失值和所述第二损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型，包括：
获取所述关键点检测分支根据所述样本图像输出的预测关键点；
根据所述预测关键点和所述关键点标签对应的关键点信息，确定第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值，对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
4.根据权利要求3所述的目标视觉模型的训练方法，其特征在于，所述方法还包括：
获取待检测图像，并将所述待检测图像输入所述目标视觉模型；
获取所述关键点检测分支根据所述待检测图像输出的第二目标物体的关键点，所述第二目标物体是指所述待检测图像中承载的物体。
5.根据权利要求2所述的目标视觉模型的训练方法，其特征在于，所述方法还包括：
获取待识别图像，并将所述待识别图像输入所述目标视觉模型；
获取所述目标分割分支根据所述待识别图像输出的第三目标物体的分割数据，所述第三目标物体是指所述待识别图像中承载的物体。
6.根据权利要求1所述的目标视觉模型的训练方法，其特征在于，所述第二样本图像对应的类别标签与所述第一样本图像对应的类别标签相同。
7.根据权利要求1-6任一项所述的目标视觉模型的训练方法，其特征在于，所述样本图像还包括第三样本图像，所述第三样本图像通过以下步骤得到：
对待处理图像进行图像预处理，得到所述第三样本图像，所述待处理图像包括第一样本图像、第二样本图像中的至少一种，所述图像预处理包括图像旋转、图像缩放、图像裁剪、图像滤波、图像填充、图像对比度变换、图像颜色变换、图像锐化操作中的至少一种。
8.一种目标视觉模型的训练装置，其特征在于，所述目标视觉模型的训练装置包括：
获取单元，用于获取第一样本图像和背景图像，所述背景图像是指任意场景的图像，所述第一样本图像是指承载了第一目标物体的图像；
处理单元，用于根据所述第一样本图像获取目标图像，并将所述目标图像置于所述背景图像得到第二样本图像，所述目标图像是指所述第一样本图像中承载物体的区域的图像；
训练单元，用于将各个样本图像输入至待训练模型中，以使得所述待训练模型根据所述样本图像预测出对应的预测类别，其中，所述样本图像包括所述第一样本图像和所述第二样本图像，所述样本图像标注有图像中的物体的类别标签，所述类别标签用于指示所述样本图像中的物体所属的目标类别；根据所述目标类别和所述预测类别，确定第一损失值，并根据所述第一损失值对所述待训练模型的模型参数进行调整，直至满足预设的停止训练条件，将训练好的所述待训练模型作为目标视觉模型。
9.一种目标视觉模型的训练设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的目标视觉模型的训练方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的目标视觉模型的训练方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010211623.9A CN113449538A (zh) | 2020-03-24 | 2020-03-24 | 视觉模型的训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010211623.9A CN113449538A (zh) | 2020-03-24 | 2020-03-24 | 视觉模型的训练方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113449538A true CN113449538A (zh) | 2021-09-28 |
Family
ID=77806389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010211623.9A Pending CN113449538A (zh) | 2020-03-24 | 2020-03-24 | 视觉模型的训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449538A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082430A (zh) * | 2022-07-20 | 2022-09-20 | 中国科学院自动化研究所 | 图像分析方法、装置及电子设备 |
| CN116189132A (zh) * | 2023-04-23 | 2023-05-30 | 深圳佑驾创新科技有限公司 | 道路信息的目标检测模型训练方法、目标检测方法及装置 |
| WO2024041318A1 (zh) * | 2022-08-23 | 2024-02-29 | 京东方科技集团股份有限公司 | 图像集的生成方法、装置、设备和计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180122114A1 (en) * | 2016-08-19 | 2018-05-03 | Beijing Sensetime Technology Development Co., Ltd. | Method and apparatus for processing video image and electronic device |
| CN109740571A (zh) * | 2019-01-22 | 2019-05-10 | 南京旷云科技有限公司 | 图像采集的方法、图像处理的方法、装置和电子设备 |
| CN109766822A (zh) * | 2019-01-07 | 2019-05-17 | 山东大学 | 基于神经网络的手势识别方法及系统 |
| CN110503097A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置及存储介质 |
| CN110516514A (zh) * | 2018-05-22 | 2019-11-29 | 杭州海康威视数字技术股份有限公司 | 一种目标检测模型的建模方法和装置 |
| CN110659646A (zh) * | 2019-08-21 | 2020-01-07 | 北京三快在线科技有限公司 | 一种多任务证件图像自动处理方法、装置、设备及可读存储介质 |
-
2020
- 2020-03-24 CN CN202010211623.9A patent/CN113449538A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180122114A1 (en) * | 2016-08-19 | 2018-05-03 | Beijing Sensetime Technology Development Co., Ltd. | Method and apparatus for processing video image and electronic device |
| CN110516514A (zh) * | 2018-05-22 | 2019-11-29 | 杭州海康威视数字技术股份有限公司 | 一种目标检测模型的建模方法和装置 |
| CN109766822A (zh) * | 2019-01-07 | 2019-05-17 | 山东大学 | 基于神经网络的手势识别方法及系统 |
| CN109740571A (zh) * | 2019-01-22 | 2019-05-10 | 南京旷云科技有限公司 | 图像采集的方法、图像处理的方法、装置和电子设备 |
| CN110659646A (zh) * | 2019-08-21 | 2020-01-07 | 北京三快在线科技有限公司 | 一种多任务证件图像自动处理方法、装置、设备及可读存储介质 |
| CN110503097A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 高云等: "基于深度学习的群猪图像实例分割方法", 《农业机械学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082430A (zh) * | 2022-07-20 | 2022-09-20 | 中国科学院自动化研究所 | 图像分析方法、装置及电子设备 |
| CN115082430B (zh) * | 2022-07-20 | 2022-12-06 | 中国科学院自动化研究所 | 图像分析方法、装置及电子设备 |
| WO2024041318A1 (zh) * | 2022-08-23 | 2024-02-29 | 京东方科技集团股份有限公司 | 图像集的生成方法、装置、设备和计算机可读存储介质 |
| CN116189132A (zh) * | 2023-04-23 | 2023-05-30 | 深圳佑驾创新科技有限公司 | 道路信息的目标检测模型训练方法、目标检测方法及装置 |
| CN116189132B (zh) * | 2023-04-23 | 2023-09-29 | 深圳佑驾创新科技股份有限公司 | 道路信息的目标检测模型训练方法、目标检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10936911B2 (en) | Logo detection | |
| CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| CN111275129A (zh) | 一种图像数据的增广策略选取方法及系统 | |
| CN113449538A (zh) | 视觉模型的训练方法、装置、设备及存储介质 | |
| CN105144239A (zh) | 图像处理装置、程序及图像处理方法 | |
| JP2020187736A (ja) | 地域的特徴を有する分類器学習のための学習データ生成方法およびそのシステム | |
| CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
| CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
| CN111640123B (zh) | 无背景图像的生成方法、装置、设备及介质 | |
| WO2019080702A1 (zh) | 图像处理方法和装置 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN112836653A (zh) | 人脸隐私化方法、设备、装置及计算机存储介质 | |
| CN108960247B (zh) | 图像显著性检测方法、装置以及电子设备 | |
| CN112733823A (zh) | 手势姿态识别关键帧提取方法、装置及可读存储介质 | |
| JP2019220014A (ja) | 画像解析装置、画像解析方法及びプログラム | |
| CN112257729B (zh) | 图像识别方法、装置、设备及存储介质 | |
| CN112465050B (zh) | 一种图像模板选择方法、装置、设备及存储介质 | |
| CN113269752A (zh) | 一种图像检测方法、装置终端设备及存储介质 | |
| CN113129298A (zh) | 文本图像的清晰度识别方法 | |
| CN115546219B (zh) | 检测板式生成方法、板卡缺陷检测方法、装置及产品 | |
| US20220122341A1 (en) | Target detection method and apparatus, electronic device, and computer storage medium | |
| CN115620315A (zh) | 手写文本检测方法、装置、服务器和存储介质 | |
| US11132762B2 (en) | Content aware image fitting | |
| CN113449539A (zh) | 动物体信息提取模型的训练方法、装置、设备及存储介质 | |
| CN111160358B (zh) | 一种图像二值化方法、装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210928 |