CN114882283A - 样本图像生成方法、深度学习模型的训练方法和装置 - Google Patents

样本图像生成方法、深度学习模型的训练方法和装置 Download PDF

Info

Publication number
CN114882283A
CN114882283A CN202210541103.3A CN202210541103A CN114882283A CN 114882283 A CN114882283 A CN 114882283A CN 202210541103 A CN202210541103 A CN 202210541103A CN 114882283 A CN114882283 A CN 114882283A
Authority
CN
China
Prior art keywords
labeling
sub
target
determining
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210541103.3A
Other languages
English (en)
Inventor
夏春龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202210541103.3A priority Critical patent/CN114882283A/zh
Publication of CN114882283A publication Critical patent/CN114882283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种样本图像生成方法，涉及人工智能技术领域，尤其涉及深度学习、计算机视觉和自动驾驶技术领域。具体实现方案为：对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域，其中，至少一个对象中每个对象被一个标注区域包围；针对至少一个标注区域，根据每个对象在用于包围每个对象的标注区域中的占比，确定至少一个标签；以及根据至少一个标签和原始图像，生成样本图像。本公开还提供了一种深度学习模型的训练方法、对象分类方法、目标对象检测方法、装置、电子设备和存储介质。

Description

样本图像生成方法、深度学习模型的训练方法和装置
技术领域
本公开涉及人工智能技术领域，尤其涉及深度学习、计算机视觉和自动驾驶技术领域。更具体地，本公开提供了一种样本图像生成方法、深度学习模型的训练方法、目标对象检测方法、对象分类方法、装置、电子设备和存储介质。
背景技术
随着人工智能技术的发展，深度学习模型广泛地应用于图像分类、目标检测、自动驾驶等场景。例如，在自动驾驶场景中，部署于自动驾驶车辆上的深度学习模型可以对自动驾驶车辆感知到的障碍物进行分类，以便自动驾驶车辆根据障碍物的类别执行相应操作。
发明内容
本公开提供了一种样本图像生成方法、深度学习模型的训练方法、目标对象检测方法、对象分类方法、装置、电子设备和存储介质。
根据本公开的一方面，提供了一种样本图像生成方法，该方法包括：对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域，其中，至少一个对象中每个对象被一个标注区域包围；针对至少一个标注区域，根据每个对象在用于包围每个对象的标注区域中的占比，确定至少一个标签；以及根据至少一个标签和原始图像，生成样本图像。
根据本公开的另一方面，提供了一种深度学习模型的训练方法，包括：将样本图像输入深度学习模型，得到至少一个输出值，其中，样本图像具有至少一个标签；根据至少一个输出值和至少一个标签，确定损失值；以及根据损失值，训练深度学习模型，其中，样本图像是根据本公开提供的方法生成的。
根据本公开的另一方面，提供了一种对象分类方法，包括：将待处理图像输入深度学习模型，得到至少一个分类结果；其中，深度学习模型是利用根据本公开提供的深度学习模型训练方法训练的。
根据本公开的另一方面，提供了一种目标对象检测方法，包括：将待处理图像输入深度学习模型，得到至少一个目标对象检测结果；其中，深度学习模型是利用根据本公开提供的深度学习模型训练方法训练的。
根据本公开的另一方面，提供了一种样本图像生成装置，该装置包括：分割模块，用于对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域，其中，至少一个对象中每个对象被一个标注区域包围；第一确定模块，用于针对至少一个标注区域，根据每个对象在用于包围每个对象的标注区域中的占比，确定至少一个标签；以及生成模块，用于根据至少一个标签和原始图像，生成样本图像。
根据本公开的另一方面，提供了一种深度学习模型的训练装置，该装置包括：第一获得模块，用于将样本图像输入深度学习模型，得到至少一个输出值，其中，样本图像具有至少一个标签；第二确定模块，用于根据至少一个输出值和至少一个标签，确定损失值；以及训练模块，用于根据损失值，训练深度学习模型，其中，样本图像是根据本公开提供的装置生成的。
根据本公开的另一方面，提供了一种对象分类装置，该装置包括：第二获得模块，用于将待处理图像输入深度学习模型，得到至少一个分类结果；其中，深度学习模型是利用根据本公开提供的装置训练的。
根据本公开的另一方面，提供了一种目标对象检测装置，该装置包括：第三获得模块，用于将待处理图像输入深度学习模型，得到至少一个目标对象检测结果；其中，深度学习模型是利用根据本公开提供的装置训练的。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的一个实施例的可以应用样本图像生成方法和装置的示例性系统架构示意图；
图2是根据本公开的一个实施例的样本图像生成方法的流程图；
图3A是根据本公开的一个实施例的原始图像的示意图；
图3B是根据本公开的一个实施例的标注区域的示意图；
图4是根据本公开的一个实施例的多个标注子区域的示意图；
图5A至图5B是根据本公开的另一个实施例的样本图像生成方法的原理图；
图6是根据本公开一个实施例的标注区域的示意图；
图7A是根据本公开的另一个实施例的标注区域的示意图；
图7B是根据本公开的另一个实施例的多个标注子区域的示意图；
图8A是根据本公开的另一个实施例的原始图像的示意图；
图8B是根据本公开的另一个实施例的标注区域的示意图；
图9是根据本公开的另一个实施例的原始图像的示意图；
图10是根据本公开的另一个实施例的原始图像的示意图；
图11是根据本公开的一个实施例的深度学习模型的训练方法的流程图；
图12是根据本公开的一个实施例的对象分类方法的流程图；
图13是根据本公开的一个实施例的目标对象检测方法的流程图；
图14是根据本公开的一个实施例的样本图像生成装置的框图；
图15是根据本公开的一个实施例的深度学习模型的训练装置的框图；
图16是根据本公开的一个实施例的对象分类装置的框图；
图17是根据本公开的一个实施例的目标对象检测装置的框图；以及
图18是根据本公开的一个实施例的可以应用样本对象生成方法、深度学习模型的训练方法、对象分类方法和/或目标对象检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在利用深度学习模型对例如障碍物等对象进行分类之前，可以对深度学习模型进行训练。在训练过程中，可以将样本图像集中的图像输入深度学习模型，得到输出值。根据输出值和样本图像的标签，确定损失值。根据损失值，训练深度学习模型。
样本图像集例如可以包括Mnist数据集、Imagenet数据集等。
一种用于分类任务的样本图像生成方法，包括：在样本图像Img_1具有多个对象的情况下，可以根据在原始图像Img_1中占比最大的对象的类别，确定原始图像Img_1的标签。根据原始图像Img_1和标签，生成样本图像。然而，样本图像Img_1中还包括其他对象。基于该方法得到的样本图像，无法提高深度学习模型的准确性。
一种用于目标检测任务的样本图像生成方法，包括：在样本图像Img_2具有多个对象的情况下，可以对每个对象进行标注，得到多个对象的标签。其中，每个对象的标签的值均为1。根据原始图像Img_2和多个标签，生成样本图像。然而，样本图像Img_2中的多个对象之间可能有重叠。基于该方法得到的样本图像，无法提高深度学习模型的准确性。
图1是根据本公开一个实施例的可以应用样本图像生成方法和装置的示例性系统架构示意图。
需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的样本图像生成方法一般可以由服务器105执行。相应地，本公开实施例所提供的样本图像生成装置一般可以设置于服务器105中。本公开实施例所提供的样本图像生成方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的样本图像生成装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
图2是根据本公开的一个实施例的样本图像生成方法的流程图。
如图2所示，该方法200可以包括操作S210至操作S230。
在操作S210，对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域。
例如，至少一个对象中每个对象被一个标注区域包围。
例如，标注区域例如可以是一个矩形区域。
例如，图像分割操作例如可以包括实例分割操作、语义分割操作等。
又例如，可以利用一个经训练的实例分割模型对原始图像进行图像分割操作，得到分割结果。分割结果包括原始图像中各对象的掩码信息。在一个示例中，基于分割结果，可以确定原始图像Imgi_1中包括对象Obj_1和对象Obj_2。对象Obj_1的类别例如可以为卡车(Truck)，对象Obj_2的类别例如可以为交通标志(Sign)。针对原始图像Imgi_1，确定一标注区域Aera_1，使得与对象Obj_1的掩码信息对应的像素被置于标注区域Aera_1中，以便对象Obj_1被标注区域Aera_1包围。类似地，对象Obj_2例如可以被标注区域Aera_2包围。
在操作S220，针对至少一个标注区域，根据每个对象在用于包围每个对象的标注区域中的占比，确定至少一个标签。
例如，以标注区域是矩形区域为示例，对象的形状可以不是矩形。对象在标注区域内的占比可以是一个小于的1的值，可以将该占比作为标签。在一个示例中，至少一个标签例如可以包括对应标注区域Aera_1的标签Lable_1和对应标注区域Aera_2的标签Lable_2。
在操作S230，根据至少一个标签和原始图像，生成样本图像。
例如，根据标签Lable_1、标签Lable_2和原始图像Imgi_1，可以生成样本图像Imgs_1。
通过本公开实施例，生成的样本图像可以用于训练执行分类任务或目标检测任务的深度学习模型。根据对象在标注区域中的占比确定标签，可以提高模型的性能，使得模型可以更加准确地确定包含多个对象的图像中每个对象的类别，或者使得模型可以更加确定对包含多个对象的图像进行目标检测。
在一些实施例中，至少一个对象为多个对象。
在一些实施例中，至少一个标注区域为多个标注区域。
在一些实施例中，至少一个标签为多个标签。
在一些实施例中，标注区域中包括第一对象和第二对象，第一对象被标注区域包围，第二对象包括以下至少之一：除第一对象之外的其他对象和除第一对象之外的其他对象的局部。下面将结合图3A至图3B进行详细说明。
图3A是根据本公开的一个实施例的原始图像的示意图。
如图3A所示，原始图像300例如可以是上文所述的原始图像Imgi_1。原始图像300包括对象301和对象302。对象301例如可以是上文所述的对象Obj_1，其类别例如可以为卡车。对象302例如可以是上文所述的对象Obj_2，其类别例如可以为交通标志。
图3B是根据本公开的一个实施例的标注区域的示意图。
对原始图像300进行实例分割，可以得到两个标注区域。本实施例中，以标注区域311为示例进行详细说明。
如图3B所示，对象301被标注区域311包围。标注区域311例如可以是上文所述的标注区域Aera_1。可以理解，对象302被另一个标注区域包围。
可以将对象301作为第一对象。如图3所示，对象302的局部位于标注区域311内。可以将对象302的局部作为第二对象。
在一些实施例中，针对至少一个标注区域，根据每个对象在用于包围每个对象的标注区域中的占比，确定至少一个标签包括：将标注区域中的第一对象和第二对象作为目标对象，得到多个目标对象；根据多个目标对象在标注区域中的占比，确定多个子标签；以及根据多个子标签，确定至少一个标签中的每个标签。
在本公开实施例中，可以通过多种方式，确定目标对象在标注区域中的占比。
例如，根据多个目标对象在标注区域中的占比，确定多个子标签包括：根据标注区域中与每个目标对象对应的像素数量和标注区域的像素数量，确定每个目标对象在标注区域中的占比；以及根据每个目标对象在标注区域中的占比，确定每个子标签。
例如，可以通过以下公式确定每个子标签：
Figure BDA0003647183470000071
Spimage＝Hp*Wp (公式二)
Spi＝sum(maskpi) (公式三)
labeli为一个子标签的值，Spi为目标对象i在标注区域中的像素个数，Spimage为整个标注区域包含的像素个数。Hp为标注区域长度方向的像素数量，Wp为标注区域宽度方向的像素数量。maskpi为与目标对象i的掩码信息对应的像素。
在一个示例中，如图3B所示，将对象301作为第一对象，将对象302的局部作为第二对象。再将第一对象和第二对象作为目标对象，得到两个目标对象。根据标注区域311中与对象301对应的像素数量Spi和标注区域311的像素数量Spimage，确定对象301在标注区域311中的占比(例如为0.6)。再根据对象301在标注区域311中的占比，确定子标签Lablec_1_1。子标签Lablec_1_1的值例如可以为0.6。
类似地，可以确定与对象302的局部对应的子标签Lablec_1_2。子标签Lablec_1_2的值例如可以为0.4。可以理解，在确定对象在标注区域中的占比时，可以不考虑与图像背景对应的像素。在另一些示例中，也可以考虑与图像背景对应的像素，本公开对此不做限制。
根据子标签Lablec_1_1和子标签Lablec_1_2，可以确定标签Lablec_1。
此外，对象302可以被标注区域Aera_2包围。基于与确定标签Lablec_1类似的方式，可以确定与标注区域Aera_2相应的标签Lablec_2。标签Lablec_2的值例如可以为1。根据标签Lablec_1、标签Lablec_2和原始图像Imgi_1，可以生成样本图像Imgs_1。
又例如，根据多个目标对象在标注区域中的占比，确定多个子标签包括：将标注区域划分为多个标注子区域；根据多个标注子区域中每个标注子区域中与每个目标对象对应的像素，确定每个标注子区域中每个目标对象的占比；将每个目标对象的占比大于预设阈值的标注子区域，确定为与每个目标对象对应的目标标注子区域；根据目标标注子区域和多个标注区域，确定每个目标对象在标注区域中的占比；以及根据每个目标对象在标注区域中的占比，确定每个子标签。
例如，可以通过以下公式确定每个子标签：
Figure BDA0003647183470000081
labeli为一个子标签的值，Sbi为目标对象i在标注区域中所占的目标标注子区域的个数，Sbimage为整个标注区域包含的标注子区域个数。
下面将结合图4进行详细说明。
图4是根据本公开的一个实施例的多个标注子区域的示意图。
如图4所示，关于原始图像400、对象401、对象402和标注区域411的详细描述，可以参考上文所述的原始图像300、对象301、对象302和标注区域311，本公开在此不再赘述。
可以将标注区域411划分为例如9个标注子区域。9个标注子区域例如可以包括标注子区域4111、标注子区域4112、标注子区域4113和标注子区域4114。本实施例中，标注子区域的数量Sbimage为9。
在标注子区域4111中，根据与对象401对应的像素，可以确定标注子区域4111中对象401的占比。例如，标注子区域4111中对象401的占比大于预设阈值(例如0.5)，可以将标注子区域4111确定为与对象401对应的目标标注子区域。
在标注子区域4112中，根据与对象401对应的像素，可以确定标注子区域4112中对象401的占比。例如，标注子区域4112中对象401的占比大于预设阈值(例如0.5)，可以将标注子区域4112确定为与对象401对应的目标标注子区域。
在标注子区域4113中，根据与对象401对应的像素，可以确定标注子区域4113中对象401的占比。根据与对象402对应的像素，可以确定标注子区域4113中对象402的占比。例如，标注子区域4113中对象401的占比小于预设阈值(例如0.5)，而标注子区域4113中对象402的占比大于预设阈值，可以将标注子区域4113确定为与对象402对应的目标标注子区域。
在标注子区域4114中，根据与对象402对应的像素，可以确定标注子区域4114中对象402的占比。例如，标注子区域4114中对象402的占比大于预设阈值(例如0.5)，可以将标注子区域4114确定为与对象402对应的目标标注子区域。
类似地，可以确定其他的与对象401对应的目标标注子区域，以及可以确定其他的与对象402的局部对应的目标标注子区域。例如，根据与对象401对应的目标标注子区域的数量Sbi1(例如6个)，可以确定与对象401对应的子标签Lablec_1_1’的值(例如0.67)。又例如，根据与对象402的局部对应的目标标注子区域的数量Sbi2(例如3个)，可以确定与对象402的局部对应的子标签Lablec_1_2’的值(例如0.33)。根据子标签Lablec_1_1’和子标签Lablec_1_2’，可以确定标签Lablec_1’。
可以理解，可以根据需要，设置预设阈值。例如，预设阈值可以为0.1、0.5、0.7等等。
在一些实施例中，在标注区域之间存在相同的对象的情况下，响应于确定一个标签的值为预设值，将该标签对应的目标对象作为待标注对象。根据存在相同的对象的其他标注区域中与待标注对象对应的像素，确定待标注对象的标签。
例如，预设标签值例如为1。
例如，如上文所述，原始图像400包括两个标注区域。此外，标注区域Aera_1和标注区域Aera_2之间存在相同的对象，即对象402。如上文所述，标签Lablec_2的值为1。标签Lablec_2对应的目标对象为对象402，将对象402作为待标注对象。在标注区域411中，与对象402对应的像素，也是与第二对象(对象402的局部)对应的像素。可以将子标签Lablec_1_2’确定为对象402的标签Lablec_2’。
在一些实施例中，可以将重复的标签或子标签删除。例如，标签Lablec_2’与标签Lablec_1’中的子标签Lablec_1_2’重复，可以删除子标签Lablec_1_2’，以得到样本图像Imgs_1’。
可以理解，如上文所述，本公开提供的方法可以应用于自动驾驶场景，也可以应用于其他场景。下面将结合图5A至图5B来进行详细说明。
图5A至图5B是根据本公开的另一个实施例的样本图像生成方法的原理图。
例如，可以对包括1个对象的原始图像Imgi_2进行图像分割，得到1个标注区域512。从原始图像Imgi_2中划分出与该标注区域512对应的局部图像510。局部图像510如图5A所示。原始图像Imgi_2包括如图5A所示的对象503。对象503的类别例如可以为大象。
可以理解，可以按照多种方式确定对象503的标签，下面将进行详细说明。
例如，将对象503作为目标对象。根据标注区域512中与对象503对应的像素数量和标注区域512的像素数量，确定对象503在标注区域512中的占比(例如为0.8)。再根据对象503在标注区域512中的占比，确定子标签Lablec_3_1。子标签Lablec_3_1的值例如可以为0.8。根据子标签Lablec_3_1，可以确定标签Lablec_3。根据原始图像Imgi_2和标签Lablec_3，可以生成样本图像Imgs_2。
又例如，将对象503作为目标对象。此外，可以将标注区域512划分为例如9个标注子区域。在9个标注子区域中，根据与对象503对应的像素，可以确定每个标注子区域中对象503的占比。将对象503的占比大于预设阈值(例如0.1)的标注子区域，确定为与对象503对应的目标标注子区域。本实施例中，与对象503对应的目标标注子区域的数量为9。可以确定对象503在标注区域512中的占比为1。可以确定与对象503对应的子标签Lablec_3_1’的值(例如为1)。根据子标签Lablec_3_1’，可以确定标签Lablec_3’。
可以理解，基于本公开提供的方法生成的样本图像可以用于训练执行分类任务的深度学习模型。
此外，基于本公开提供的方法生成的样本图像还可以用于训练执行目标检测任务的深度学习模型。
在一些实施例中，对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域包括：对原始图像进行目标检测，得到中间图像；以及对中间图像进行图像分割，得到至少一个标注区域。
例如，中间图像包括至少一个对象，以及标记每个对象所处位置的检测框。
例如，可以将检测框确定的区域作为标注区域，使得与对象的掩码信息对应的像素被置于该标注区域中。
图6是根据本公开一个实施例的标注区域的示意图。
如图6所示，原始图像600可以是根据上文所述的原始图像Imgi_2。
例如，原始图像600包括对象603。对象603的类别例如可以为大象。
又例如，对原始图像600进行目标检测，得到标记对象603所处位置的检测框。将该检测框确定的区域作为标注区域613，使得与对象603的掩码信息对应的像素被置于标注区域613中。
在一个示例中，将对象603作为目标对象。此外，可以将标注区域613划分为例如9个标注子区域。在9个标注子区域中，根据与对象603对应的像素，可以确定每个标注子区域中对象603的占比。将对象603的占比大于预设阈值(例如0.1)的标注子区域，确定为与对象603对应的目标标注子区域。本实施例中，与对象603对应的目标标注子区域的数量为9。可以确定对象603在标注区域613中的占比为1，以确定与对象603对应的子标签Labled_3_1”的值。此外，由于标注区域613中包括与图像背景对应的像素，可以按照预设值对子标签Labled_3_1”的值进行调整，得到标签Labled_3”值(例如0.99)。根据原始图像Imgi_2和标签Lablec_3”，可以生成样本图像Imgs_2”。
图7A是根据本公开的另一个实施例的标注区域的示意图。
如图7A所示，原始图像700中包括两个对象。分别为对象704和对象705。对象704和对象705的类别例如均为斑马。如图7A所示，对象704与对象705之间有重叠。例如，对象704被对象705遮盖。
对原始图像700进行目标检测，得到标记对象704所处位置的检测框和标记对象705所处位置的检测框。如图7A所示，将标记对象704所处位置的检测框确定的区域，作为标注区域714，使得与对象704的掩码信息对应的像素被置于标注区域714中。
图7B是根据本公开的另一个实施例的多个标注子区域的示意图。
例如，将对象704作为第一对象，将对象705的局部作为第二对象，并将二者作为目标对象。此外，可以将标注区域714划分为例如9个标注子区域。9个标注子区域例如可以包括标注子区域7141、标注子区域7142和标注子区域7143。
根据与对象704对应的像素，可以确定每个标注子区域中对象704的占比。
在标注子区域7141中，根据与对象704对应的像素，可以确定标注子区域7141中对象704的占比。例如，标注子区域7141中对象704的占比小于预设阈值(例如0.5)。可以理解，如图7B所示，标注子区域7141中图像背景的占比大于预设阈值。
在标注子区域7142中，根据与对象704对应的像素，可以确定标注子区域7142中对象704的占比。例如，标注子区域7142中对象704的占比大于预设阈值(例如0.5)，可以将标注子区域7142确定为与对象704对应的目标标注子区域。
在标注子区域7143中，根据与对象704对应的像素，可以确定标注子区域7143中对象704的占比。例如，标注子区域7143中对象704的占比大于预设阈值(例如0.5)，可以将标注子区域7143确定为与对象704对应的目标标注子区域。
类似地，可以确定与对象705的局部对应的目标标注子区域。例如，根据与对象704对应的目标标注子区域的数量(例如2个)，可以确定与对象704对应的子标签Labled_4_1的值(例如0.22)。
类似地，根据与对象705的局部对应的目标标注子区域的数量(例如6个)，可以确定与对象705的局部对应的子标签Labled_4_2的值(例如0.67)。
根据子标签Labled_4_1和子标签Labled_4_2，可以确定标签Labled_4。
类似地，可以确定与对象705对应的标签Labled_5。根据标签Labled_4、标签Labled_5和原始图像700，可以得到样本图像Imgs_3。
可以理解，如上文所述，对于同一原始图像的不同标注区域，可以按照相同的方式，确定目标对象在标注区域中的占比。
图8A是根据本公开的另一个实施例的原始图像的示意图。
如图8A所示，原始图像800中包括两个对象，分别为对象806和对象807。对象806的类别例如为轿车(Car)，对象807的类别例如为卡车(Truck)。如图8A所示，对象806与对象807之间有重叠。例如，对象806的局部被对象807遮盖。
图8B是根据本公开的另一个实施例的标注区域的示意图。
对原始图像800进行目标检测，得到标记对象806所处位置的检测框和标记对象807所处位置的检测框。如图8B所示，将标记对象806所处位置的检测框确定的区域作为标注区域815，使得与对象806的掩码信息对应的像素被置于标注区域815中。将标记对象807所处位置的检测框确定的区域作为标注区域816，使得与对象807的掩码信息对应的像素被置于标注区域816中。
例如，针对标注区域815，对象806为第一对象，对象807的局部为第二对象。将对象806作为一个目标对象。根据标注区域815中与对象806对应的像素数量和标注区域815的像素数量，确定对象806在标注区域815中的占比(例如为0.8)。再根据对象806在标注区域815中的占比，确定子标签Labled_6_1。子标签Labled_6_1的值例如可以为0.8。此外，将对象807的局部作为一目标对象。根据标注区域815中与对象807的局部对应的像素数量和标注区域815的像素数量，确定对象807的局部在标注区域815中的占比(例如为0.2)。再根据对象807的局部在标注区域815中的占比，确定子标签Labled_6_2。子标签Labled_6_2的值例如可以为0.2。根据子标签Labled_6_1和子标签Labled_6_2，可以确定标签Labled_6。
例如，针对标注区域816，对象807为第一对象，对象806的局部为第二对象。将对象807作为一目标对象，以及将对象806的局部也作为一目标对象。可以将标注区域816划分为例如4个标注子区域。
在4个标注子区域中，根据与对象807对应的像素，可以确定每个标注子区域中对象807的占比。将对象807的占比大于预设阈值(例如0.5)的标注子区域，确定为与对象807对应的目标标注子区域。本实施例中，与对象807对应的目标标注子区域的数量为4。可以确定对象807在标注区域816中的占比为1。可以确定与对象807对应的子标签Labled_7_1的值(例如为1)。
类似地，本实施例中，对象806的局部对应的目标标注子区域的数量为0。可以确定对象806的局部在标注区域816中的占比为0。可以确定与对象806的局部对应的子标签Labled_7_2的值(例如为0)。根据子标签Labled_7_1和子标签Labled_7_2，可以确定标签Labled_7。根据标签Labled_6、标签Labled_7和原始图像800，可以得到样本图像Imgs_4。
图9是根据本公开的另一个实施例的原始图像的示意图。
如图9所示，原始图像900包括一个对象908。对象908的类别例如为轿车(Car)。基于与确定标签Lablec_3类似的方式，可以确定标签Lablec_8。根据标签Lablec_8和原始图像900，可以得到的一个样本图像Imgs_5。该样本图像可以用于训练执行分类任务的深度学习模型。
图10是根据本公开的另一个实施例的原始图像的示意图。
如图10所示，原始图像1000包括对象1009和对象1010。对象1009的类别例如为轿车(Car)，对象1010的类别例如为卡车(Truck)。如图10所示，对象1009与对象1010之间无重叠。
基于与确定标签Labled_6类似的方式，可以确定对应对象1009的标签Labled_9。基于与确定标签Labled_6类似的方式，可以确定对应对象1010的标签Labled_10。根据标签Labled_9、标签Labled_10和原始图像1000，可以确定一个样本图像。该样本图像可以用于训练执行目标检测任务的深度学习模型。
图11是根据本公开的一个实施例的深度学习模型的训练方法的流程图。
如图11所示，该方法1100可以包括操作S1110至操作S1130。
在操作S1110，将样本图像输入深度学习模型，得到至少一个输出值。
例如，样本图像具有至少一个标签。
例如，样本图像是根据本公开提供的方法生成的。在一个示例中，样本图像是根据方法200生成的。
例如，该深度学习模型可以用于执行分类任务或目标检测任务。
在操作S1120，根据至少一个输出值和至少一个标签，确定损失值。
例如，每个输出值可以与一个标签对应。根据每个输出值和相应的标签，基于各种损失函数，可以确定一个子损失值。再根据至少一个子损失值，可以确定损失值。
在操作S1130，根据损失值，训练深度学习模型。
例如，可以根据损失值，调整深度学习模型的参数，以提高深度学习模型的性能。
在一些实施例中，可以通过以下公式确定损失值：
Figure BDA0003647183470000151
Figure BDA0003647183470000152
Figure BDA0003647183470000153
例如，labeli为标注区域一个子标签的值。在图像或目标区域中包含对象i的情况下，
Figure BDA0003647183470000154
的值为1。在图像或目标区域中不包含对象i的情况下，
Figure BDA0003647183470000155
的值为0。Xi为对象i的输出值。sigma(·)是一个函数。I为样本图像中包括的对象总数。lossi为与每个对象对应的子损失值。loss为上文所述的损失值。
在一些实施例中，深度学习模型为用于执行分类任务的深度学习模型。
例如，将上文所述的样本图像Imgs_1’输入深度学习模型。深度学习模型可以输出与对象401对应的输出值X1和与对象402对应的输出值X2。
利用上文所述的公式五，可以得到与对象401对应子损失值loss1。在计算子损失值loss1时，label1例如可以为子标签Lablec_1_1’的值(例如0.67)。类似地，在计算子损失值loss2时，label2例如可以为子标签Lablec_1_2’的值(例如0.33)。
又例如，也可以根据公式七确定损失值。
在一些实施例中，深度学习模型为用于执行目标检测任务的深度学习模型。
例如，将上文所述的样本图像Imgs_3输入深度学习模型。深度学习模型可以输出与对象704对应的输出值X4和与对象705对应的输出值X5。
用于执行目标检测任务的深度学习模型可以对样本图像Imgs_3进行目标检测，得到与对象704对应的检测框和与对象705对应的检测框。
将与对象704对应的检测框确定的区域作为一个目标区域Aera_T。利用上文所述的公式五，可以得到与对象704对应子损失值loss4。在计算子损失值loss4时，label4例如可以为子标签Lablec_4_1的值(例如0.22)。类似地，在计算子损失值loss5时，label5例如可以为子标签Lablec_4_2的值(例如0.67)。
又例如，也可以根据公式七确定损失值。
通过本公开实施例，在计算损失值的过程中，将标签的值作为一个权重。该权重可以为小于1的值，使得根据该损失值调整的深度学习模型可以充分学习到有效信息，并尽可能少地学习到无效信息。
例如，在计算子损失值loss4时，若label4的取值为0.22，而不是1。基于此，深度学习模型可以区分对象704、对象704被对象705遮盖的部分，可以有效的提高模型的精度。
图12是根据本公开的一个实施例的对象分类方法的流程图。
如图12所示，该方法1200包括操作S1210。
在操作S1210，将待处理图像输入深度学习模型，得到至少一个分类结果。
例如，深度学习模型是利用本公开提供的方法训练的。在一个示例中，深度学习模型是根据方法1100训练的。
图13是根据本公开的一个实施例的目标对象检测方法的流程图。
如图13所示，该方法1300包括操作S1310。
在操作S1310，将待处理图像输入深度学习模型，得到至少一个目标对象检测结果。
例如，深度学习模型是利用本公开提供的方法训练的。在一个示例中，深度学习模型是根据方法1100训练的。
图14是根据本公开的一个实施例的样本图像生成装置的框图。
如图14所示，该装置1400可以包括分割模块1410、第一确定模块1420和生成模块1430。
分割模块1410，用于对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域。例如，至少一个对象中每个对象被一个标注区域包围。
第一确定模块1420，用于针对至少一个标注区域，根据每个对象在用于包围每个对象的标注区域中的占比，确定至少一个标签。
生成模块1430，用于根据至少一个标签和原始图像，生成样本图像。
在一些实施例中，标注区域中包括第一对象和第二对象，第一对象被标注区域包围，第二对象包括以下至少之一：除第一对象之外的其他对象和除第一对象之外的其他对象的局部。
在一些实施例中，第一确定模块包括：获得子模块，用于将标注区域中的第一对象和第二对象作为目标对象，得到多个目标对象；第一确定子模块，用于根据多个目标对象在标注区域中的占比，确定多个子标签；以及第二确定子模块，用于根据多个子标签，确定至少一个标签中的每个标签。
在一些实施例中，第一确定子模块包括：第一确定单元，用于根据标注区域中与每个目标对象对应的像素数量和标注区域的像素数量，确定每个目标对象在标注区域中的占比；以及第二确定单元，用于根据每个目标对象在标注区域中的占比，确定每个子标签。
在一些实施例中，第一确定子模块包括：划分单元，用于将标注区域划分为多个标注子区域；第三确定单元，用于根据多个标注子区域中每个标注子区域中与每个目标对象对应的像素，确定每个标注子区域中每个目标对象的占比；第四确定单元，用于将每个目标对象的占比大于预设阈值的标注子区域，确定为与每个目标对象对应的目标标注子区域；第五确定单元，用于根据目标标注子区域和多个标注区域，确定每个目标对象在标注区域中的占比；以及第六确定单元，用于根据每个目标对象在标注区域中的占比，确定每个子标签。
在一些实施例中，分割模块包括：目标检测子模块，用于对原始图像进行目标检测，得到中间图像；以及分割子模块，用于对中间图像进行图像分割，得到至少一个标注区域。
图15是根据本公开的一个实施例的样本图像生成装置的框图。
如图15所示，该装置1500可以包括第一获得模块1510、第二确定模块1520和训练模块1530。
第一获得模块1510，用于将样本图像输入深度学习模型，得到至少一个输出值。例如，样本图像具有至少一个标签。
第二确定模块1520，用于根据至少一个输出值和至少一个标签，确定损失值。
训练模块1530，用于根据损失值，训练深度学习模型，
例如，样本图像是根据本公开提供的装置生成的。
图16是根据本公开的一个实施例的对象分类装置的框图。
如图16所示，该装置1600可以包括第二获得模块1610。
第二获得模块1610，用于将待处理图像输入深度学习模型，得到至少一个分类结果。
例如，深度学习模型是利用本公开提供的深度学习模型的训练装置训练的。
图17是根据本公开的一个实施例的对象分类装置的框图。
如图17所示，该装置1700可以包括第三获得模块1710。
第三获得模块1710，用于将待处理图像输入深度学习模型，得到至少一个目标对象检测结果；
例如，深度学习模型是利用本公开提供的深度学习模型的训练装置训练的。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图18示出了可以用来实施本公开的实施例的示例电子设备1800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图18所示，设备1800包括计算单元1801，其可以根据存储在只读存储器(ROM)1802中的计算机程序或者从存储单元1808加载到随机访问存储器(RAM)1803中的计算机程序，来执行各种适当的动作和处理。在RAM 1803中，还可存储设备1800操作所需的各种程序和数据。计算单元1801、ROM 1802以及RAM 1803通过总线1804彼此相连。输入/输出(I/O)接口1805也连接至总线1804。
设备1800中的多个部件连接至I/O接口1805，包括：输入单元1806，例如键盘、鼠标等；输出单元1807，例如各种类型的显示器、扬声器等；存储单元1808，例如磁盘、光盘等；以及通信单元1809，例如网卡、调制解调器、无线通信收发机等。通信单元1809允许设备1800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1801执行上文所描述的各个方法和处理，例如样本对象生成方法、深度学习模型的训练方法、对象分类方法和/或目标对象检测方法。例如，在一些实施例中，样本对象生成方法、深度学习模型的训练方法、对象分类方法和/或目标对象检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1802和/或通信单元1809而被载入和/或安装到设备1800上。当计算机程序加载到RAM 1803并由计算单元1801执行时，可以执行上文描述的样本对象生成方法、深度学习模型的训练方法、对象分类方法和/或目标对象检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行样本对象生成方法、深度学习模型的训练方法、对象分类方法和/或目标对象检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种样本图像生成方法，包括：
对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域，其中，所述至少一个对象中每个对象被一个所述标注区域包围；
针对所述至少一个标注区域，根据所述每个对象在用于包围所述每个对象的所述标注区域中的占比，确定至少一个标签；以及
根据所述至少一个标签和所述原始图像，生成样本图像。
2.根据权利要求1所述的方法，其中，所述标注区域中包括第一对象和第二对象，所述第一对象被所述标注区域包围，所述第二对象包括以下至少之一：除所述第一对象之外的其他对象和除所述第一对象之外的其他对象的局部。
3.根据权利要求2所述的方法，其中，所述针对所述至少一个标注区域，根据所述每个对象在用于包围所述每个对象的所述标注区域中的占比，确定至少一个标签包括：
将所述标注区域中的所述第一对象和所述第二对象作为目标对象，得到多个目标对象；
根据所述多个目标对象在所述标注区域中的占比，确定多个子标签；以及
根据所述多个子标签，确定所述至少一个标签中的每个标签。
4.根据权利要求3所述的方法，其中，所述根据所述多个目标对象在所述标注区域中的占比，确定多个子标签包括：
根据所述标注区域中与每个目标对象对应的像素数量和所述标注区域的像素数量，确定所述每个目标对象在所述标注区域中的占比；以及
根据所述每个目标对象在所述标注区域中的占比，确定每个子标签。
5.根据权利要求3所述的方法，其中，所述根据所述多个目标对象在所述标注区域中的占比，确定多个子标签包括：
将所述标注区域划分为多个标注子区域；
根据所述多个标注子区域中每个标注子区域中与每个目标对象对应的像素，确定所述每个标注子区域中所述每个目标对象的占比；
将所述每个目标对象的占比大于预设阈值的标注子区域，确定为与所述每个目标对象对应的目标标注子区域；
根据所述目标标注子区域和所述多个标注区域，确定所述每个目标对象在所述标注区域中的占比；以及
根据所述每个目标对象在所述标注区域中的占比，确定每个子标签。
6.根据权利要求1所述的方法，其中，所述对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域包括：
对所述原始图像进行目标检测，得到中间图像；以及
对所述中间图像进行图像分割，得到所述至少一个标注区域。
7.一种深度学习模型的训练方法，包括：
将样本图像输入深度学习模型，得到至少一个输出值，其中，所述样本图像具有至少一个标签；
根据所述至少一个输出值和所述至少一个标签，确定损失值；以及
根据所述损失值，训练所述深度学习模型，
其中，所述样本图像是根据权利要求1至6任一项所述的方法生成的。
8.一种对象分类方法，包括：
将待处理图像输入深度学习模型，得到至少一个分类结果；
其中，所述深度学习模型是利用根据权利要求7所述的方法训练的。
9.一种目标对象检测方法，包括：
将待处理图像输入深度学习模型，得到至少一个目标对象检测结果；
其中，所述深度学习模型是利用根据权利要求7所述的方法训练的。
10.一种样本图像生成装置，包括：
分割模块，用于对包括至少一个对象的原始图像进行图像分割，得到至少一个标注区域，其中，所述至少一个对象中每个对象被一个所述标注区域包围；
第一确定模块，用于针对所述至少一个标注区域，根据所述每个对象在用于包围所述每个对象的所述标注区域中的占比，确定至少一个标签；以及
生成模块，用于根据所述至少一个标签和所述原始图像，生成样本图像。
11.根据权利要求10所述的装置，其中，所述标注区域中包括第一对象和第二对象，所述第一对象被所述标注区域包围，所述第二对象包括以下至少之一：除所述第一对象之外的其他对象和除所述第一对象之外的其他对象的局部。
12.根据权利要求11所述的装置，其中，所述第一确定模块包括：
获得子模块，用于将所述标注区域中的所述第一对象和所述第二对象作为目标对象，得到多个目标对象；
第一确定子模块，用于根据所述多个目标对象在所述标注区域中的占比，确定多个子标签；以及
第二确定子模块，用于根据所述多个子标签，确定所述至少一个标签中的每个标签。
13.根据权利要求12所述的装置，其中，所述第一确定子模块包括：
第一确定单元，用于根据所述标注区域中与每个目标对象对应的像素数量和所述标注区域的像素数量，确定所述每个目标对象在所述标注区域中的占比；以及
第二确定单元，用于根据所述每个目标对象在所述标注区域中的占比，确定每个子标签。
14.根据权利要求12所述的装置，其中，所述第一确定子模块包括：
划分单元，用于将所述标注区域划分为多个标注子区域；
第三确定单元，用于根据所述多个标注子区域中每个标注子区域中与每个目标对象对应的像素，确定所述每个标注子区域中所述每个目标对象的占比；
第四确定单元，用于将所述每个目标对象的占比大于预设阈值的标注子区域，确定为与所述每个目标对象对应的目标标注子区域；
第五确定单元，用于根据所述目标标注子区域和所述多个标注区域，确定所述每个目标对象在所述标注区域中的占比；以及
第六确定单元，用于根据所述每个目标对象在所述标注区域中的占比，确定每个子标签。
15.根据权利要求10所述的装置，其中，所述分割模块包括：
目标检测子模块，用于对所述原始图像进行目标检测，得到中间图像；以及
分割子模块，用于对所述中间图像进行图像分割，得到所述至少一个标注区域。
16.一种深度学习模型的训练装置，包括：
第一获得模块，用于将样本图像输入深度学习模型，得到至少一个输出值，其中，所述样本图像具有至少一个标签；
第二确定模块，用于根据所述至少一个输出值和所述至少一个标签，确定损失值；以及
训练模块，用于根据所述损失值，训练所述深度学习模型，
其中，所述样本图像是根据权利要求10至15任一项所述的装置生成的。
17.一种对象分类装置，包括：
第二获得模块，用于将待处理图像输入深度学习模型，得到至少一个分类结果；
其中，所述深度学习模型是利用根据权利要求16所述的装置训练的。
18.一种目标对象检测装置，包括：
第三获得模块，用于将待处理图像输入深度学习模型，得到至少一个目标对象检测结果；
其中，所述深度学习模型是利用根据权利要求16所述的装置训练的。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的方法。
CN202210541103.3A 2022-05-17 2022-05-17 样本图像生成方法、深度学习模型的训练方法和装置 Pending CN114882283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541103.3A CN114882283A (zh) 2022-05-17 2022-05-17 样本图像生成方法、深度学习模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541103.3A CN114882283A (zh) 2022-05-17 2022-05-17 样本图像生成方法、深度学习模型的训练方法和装置

Publications (1)

Publication Number Publication Date
CN114882283A true CN114882283A (zh) 2022-08-09

Family

ID=82675113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541103.3A Pending CN114882283A (zh) 2022-05-17 2022-05-17 样本图像生成方法、深度学习模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN114882283A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563665A (zh) * 2023-04-25 2023-08-08 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563665A (zh) * 2023-04-25 2023-08-08 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法、装置及设备

Similar Documents

Publication Publication Date Title
US20200167558A1 (en) Semantic page segmentation of vector graphics documents
CN108229303B (zh) 检测识别和检测识别网络的训练方法及装置、设备、介质
CN113378833B (zh) 图像识别模型训练方法、图像识别方法、装置及电子设备
CN113379718A (zh) 一种目标检测方法、装置、电子设备以及可读存储介质
CN112949477B (zh) 基于图卷积神经网络的信息识别方法、装置及存储介质
CN113869138A (zh) 多尺度目标检测方法、装置及计算机可读存储介质
CA3144405A1 (en) Text information recognizing method, extracting method, devices and system
CN115917613A (zh) 文档中文本的语义表示
CN112749300A (zh) 用于视频分类的方法、装置、设备、存储介质和程序产品
CN115578486A (zh) 图像生成方法、装置、电子设备和存储介质
US11881044B2 (en) Method and apparatus for processing image, device and storage medium
CN114882283A (zh) 样本图像生成方法、深度学习模型的训练方法和装置
CN113837194A (zh) 图像处理方法、图像处理装置、电子设备以及存储介质
CN116311320B (zh) 文本图像融合层的训练方法、文本图像识别方法及装置
CN113326766A (zh) 文本检测模型的训练方法及装置、文本检测方法及装置
CN114548192A (zh) 样本数据处理方法、装置、电子设备及介质
CN115719444A (zh) 图像质量确定方法、装置、电子设备和介质
CN115756461A (zh) 标注模板生成方法、图像识别方法、装置和电子设备
CN115861809A (zh) 杆状物检测及其模型的训练方法、装置、电子设备、介质
JP2024507308A (ja) 画像サンプル生成方法、テキスト認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN113312568B (zh) 一种基于HTML源代码和网页快照的Web信息抽取方法与系统
CN115116080A (zh) 表格解析方法、装置、电子设备和存储介质
CN113221035A (zh) 用于确定异常网页的方法、装置、设备、介质和程序产品
CN108319640B (zh) 根据用户偏好进行车源展现的方法及装置
CN113761169A (zh) 一种价格识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination