CN113657518A - 训练方法、目标图像检测方法、装置、电子设备以及介质 - Google Patents

训练方法、目标图像检测方法、装置、电子设备以及介质 Download PDF

Info

Publication number
CN113657518A
CN113657518A CN202110964915.4A CN202110964915A CN113657518A CN 113657518 A CN113657518 A CN 113657518A CN 202110964915 A CN202110964915 A CN 202110964915A CN 113657518 A CN113657518 A CN 113657518A
Authority
CN
China
Prior art keywords
target
sample image
image
occlusion
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110964915.4A
Other languages
English (en)
Other versions
CN113657518B (zh
Inventor
卢子鹏
王健
孙昊
丁二锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110964915.4A priority Critical patent/CN113657518B/zh
Publication of CN113657518A publication Critical patent/CN113657518A/zh
Priority to US17/887,740 priority patent/US20220392101A1/en
Application granted granted Critical
Publication of CN113657518B publication Critical patent/CN113657518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种训练方法、目标图像检测方法、装置、电子设备以及介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习领域。具体实现方案为：利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，其中，掩膜图像集是对预设图像集进行解析得到的，目标场景中的目标对象被其他对象干扰或者目标对象被截断，预设图像集中的图像包括目标对象；利用初始样本图像集和扩充样本图像集训练用于检测目标对象的检测模型。

Description

训练方法、目标图像检测方法、装置、电子设备以及介质
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习领域。具体地，涉及一种训练方法、目标图像检测方法、装置、电子设备以及介质。
背景技术
随着计算机硬件性能的提升和大规模图像数据的出现，深度学习在计算机视觉领域得到广泛应用。目标检测任务是计算机视觉领域的任务之一。
目标检测是指从待检测图像中检测出目标对象以及目标对象在待检测图像中的位置。待检测图像可以是多种场景下的图像。
发明内容
本公开提供了一种训练方法、目标图像检测方法、装置、电子设备以及介质。
根据本公开的一方面，提供了一种检测模型的训练方法，包括：利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，其中，上述掩膜图像集是对预设图像集进行解析得到的，上述目标场景中的目标对象被其他对象干扰或者上述目标对象被截断，上述预设图像集中的图像包括上述目标对象或上述其他对象；以及，利用上述初始样本图像集和上述扩充样本图像集训练用于检测上述目标对象的检测模型。
根据本公开的另一方面，提供了一种目标图像检测方法，包括：获取待检测图像；以及，将上述待检测图像输入检测模型，得到检测结果，其中，上述检测模型是利用根据如上上述的方法训练的。
根据本公开的另一方面，提供了一种检测模型的训练装置，包括：生成模块，用于利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，其中，上述掩膜图像集是对预设图像集进行解析得到的，上述目标场景中的目标对象被其他对象干扰或者上述目标对象被截断，上述预设图像集中的图像包括上述目标对象或上述其他对象；以及，训练模块，用于利用上述初始样本图像集和上述扩充样本图像集训练用于检测上述目标对象的检测模型。
根据本公开的另一方面，提供了一种目标图像检测装置，包括：获取模块，用于获取待检测图像；以及，获得模块，用于将上述待检测图像输入检测模型，得到检测结果，其中，上述检测模型是利用根据如上上述的装置训练的。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开实施例的可以应用检测模型的训练方法、目标图像检测方法及装置的示例性系统架构；
图2示意性示出了根据本公开实施例的检测模型的训练方法的流程图；
图3示意性示出了根据本公开实施例的检测模型的训练过程的示意图；
图4示意性示出了根据本公开实施例的利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集的流程图；
图5示意性示出了根据本公开实施例的生成截断样本图像过程的示意图；
图6示意性示出了根据本公开实施例的生成第一拥挤遮挡图像过程的示意图；
图7示意性示出了根据本公开实施例的第二遮挡样本图像的示意图；
图8示意性示出了根据本公开实施例的目标图像检测方法的流程图；
图9示意性示出了根据本公开实施例的检测模型的训练装置的框图；
图10示意性示出了根据本公开实施例的目标图像检测装置的框图；以及
图11示意性示出了根据本公开实施例的适用于检测模型的训练方法或目标图像检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
可以利用基于深度学习训练得到的目标检测模型实现目标检测。针对较为简单的场景的目标检测，目标检测模型能够保证较好的预测精度。较为简单的场景可以指目标对象较容易被检测到的场景，例如，场景中目标对象的各个部分是完整且与其他对象之间无重叠。针对复杂场景的目标检测，目标检测模型的预测精度不高。复杂场景指目标对象较难以被检测到的场景，例如，复杂场景中目标对象被其他对象干扰或目标对象被截断，目标对象被其他对象干扰的场景可以包括以下至少一项：拥挤场景和遮挡场景。目标对象被截断的场景可以指截断场景。目标对象可以包括人体。例如，如果图像中的两个目标对象的遮挡程度较大，则可能出现漏检或检测不准确的情况，由此可以体现针对复杂场景的目标检测，目标检测模型的预测精度不高。
目标检测模型针对较为简单的场景能够保证较好的预测精度而针对复杂场景的预测精度不高的原因在于较为简单的场景和复杂场景的样本图像的数目不均衡，即，由于较为简单的场景的样本图像的数目大于复杂场景的样本图像的数目，这导致模型可以较好地学习到较为简单的场景的样本图像的特征而较难以学习到针对数目较少的复杂场景的样本图像的特征，因此，使得目标检测模型针对复杂场景的预测精度不高。
为了提高目标检测模型针对复杂场景的预测精度，需要解决较为简单的场景和复杂场景的样本图像的数目不均衡问题，为此，可以利用样本均衡策略实现。样本均衡策略可以包括以下至少一项：数据均衡策略和算法均衡策略。数据均衡策略可以指为了实现样本图像集中不同类别的样本图像的数目较为均衡所利用的策略。算法均衡策略可以指在不改变不同类别的样本图像的数目的情况下，实现样本均衡所利用的策略。
如果利用数据均衡策略来实现，则可以利用增加复杂场景的样本图像的数目的方式，具体可以利用如下方式。
在第一方式中，利用额外采集复杂场景的样本图像的方式增加困难样本的样本图像的数目。即，针对复杂场景，在保持原有样本图像不变的基础上，额外采集复杂场景的样本图像，增加复杂场景的样本图像的数目来提高目标检测模型针对复杂场景的预测精度。这是由于通过增加复杂场景的样本图像的数目，可以尽量保证较为简单的场景和复杂场景的样本图像的数目均衡，以此使得训练得到的目标检测模型在能够较好地学习到较为简单的场景的样本图像的特征的基础上，也能够较好地学习到复杂场景的样本图像的特征，进而提高目标检测模型针对复杂场景的预测精度。
在第二方式中，利用数据增强算法的方式增加困难样本图像的数目。即，利用数据增强算法对原有样本图像进行处理，得到增强样本图像，利用增强样本图像和原有样本图像训练目标检测模型来提高目标检测模型的预测精度。数据增强算法可以包括以下至少一项：平移、旋转、裁剪、非刚性变换、噪声扰动和颜色变换。
如果利用算法均衡策略来实现，则可以通过改进检测算法的方式。
在实现本公开构思的过程中，发现针对数据均衡策略中的第一方式，由于采集复杂场景的样本图像的难度较大，因此，增加了采集成本。
针对数据均衡策略中的第二方式，如果利用的原有样本图像不是复杂场景的样本图像，则利用数据增强算法对原有图像处理将难以得到新的复杂场景的样本图像。如果利用的原有样本图像是复杂场景的样本图像，则由于数据增强算法容易导致图像的部分区域失真，因此，使得基于数据增强算法得到的增强样本图像的图像质量不高，难以被作为训练模型的样本图像。由此可得，利用第二方式也难以提高目标检测模型针对复杂场景的预测精度。
针对算法均衡策略，改进检测算法可能涉及较复杂的小技巧(即trick)设计，实现难度较大，并且模型的改善效果也比较有限。
为此，本公开实施例提出了一种利用数据均衡策略来提高目标检测模型针对复杂场景的预测精度的方案，利用的数据均衡策略与利用额外采集复杂场景的样本图像的方式(即第一方式)和利用数据增强算法的方式(即第二方式)不同，是不需要额外采集复杂场景的样本图像而是利用已公开的预设图像集，并且，生成复杂场景的样本图像的方式未利用数据增强算法。即，利用预设图像集得到掩膜图像集，利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，再利用初始样本图像集和扩充样本图像集训练用于检测目标对象的检测模型。预设图像集可以是已被公开的图像集，预设图像集中的图像包括目标对象。目标场景可以指上文所述的复杂场景。
由于针对目标场景的扩充样本图像集是利用掩膜图像集和初始样本图像集生成的，而掩膜图像集是利用已公开的预设图像集得到的，因此，无需额外采集便实现了针对目标场景的样本图像的数目的增加(即，获得针对目标场景的扩充样本图像集)，由此，降低了改进成本。并且，由于扩充样本图像集是利用掩膜图像集和初始样本图像集生成的，而并不是利用数据增强算法对初始样本图像进行处理生成的，因此，可以尽可能降低由数据增强算法导致的图像的部分区域失真的情况发生，进而有效保证了扩充样本图像集的图像质量(即，目标场景的样本图像的图像质量)。此外，由于是利用数据均衡策略实现的，无需修改已公开的训练框架，即，可以将执行生成扩充样本图像集的操作作为一个模块插入已公开的训练框架，因此，可以进一步降低改进成本。基于上述内容，在尽量不增加改进成本的基础上，由于增加了参与检测模型训练的目标场景的样本图像的数目和有效保证了目标场景的样本图像的图像质量，因此，提高了检测模型针对目标场景的预测精度。
需要说明的是，本公开实施例中的初始样本图像集可以来自于公开数据集，或者初始样本图像集的获取是经过了与样本图像对应的用户的授权。
图1示意性示出了根据本公开实施例的可以应用检测模型的训练方法、目标图像检测方法及装置的示例性系统架构。
需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用检测模型的训练方法、目标图像检测方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的检测模型的训练方法、目标图像检测方法及装置。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，VPS)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。
需要说明的是，本公开实施例所提供的检测模型的训练方法和目标图像检测方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的检测模型的训练装置和目标图像检测装置也可以设置于终端设备101、102、或103中。
或者，本公开实施例所提供的检测模型的训练方法和目标图像检测方法一般也可以由服务器105执行。相应地，本公开实施例所提供的检测模型的训练方法和目标图像检测装置一般可以设置于服务器105中。本公开实施例所提供的检测模型的训练方法和目标图像检测方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的检测模型的训练方法和目标图像检测装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如，服务器105可以利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，掩膜图像集是对预设图像集进行解析得到的，目标场景中的目标对象被其他对象干扰或者目标对象被截断，预设图像集中的图像包括目标对象，并利用初始样本图像集和扩充样本图像集训练用于检测目标对象的检测模型。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群生成掩膜图像集，并利用掩膜图像集和初始样本图像集训练检测模型。
例如，服务器105可以获取待检测图像，将待检测图像输入检测模型，得到检测结果。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群获取待检测图像，将待检测图像输入检测模型，得到检测结果。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的检测模型的训练方法的流程图。
如图2所示，该方法200包括操作S210～S220。
在操作S210，利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，其中，掩膜图像集是对预设图像集进行解析得到的，目标场景中的目标对象被其他对象干扰或者目标对象被截断，预设图像集中的图像包括目标对象或其他对象。
在操作S220，利用初始样本图像集和扩充样本图像集训练用于检测目标对象的检测模型。
根据本公开的实施例，预设图像集可以指已公开的图像集，预设图像集可以包括多个图像，每个图像可以包括目标对象或其他对象。目标对象可以指需要被检测的对象，例如，目标对象可以包括人体。其他对象可以指对目标对象在视觉呈现上产生了影响的对象，例如，使得目标对象不能够在图像上完整显示，存在缺失部分。其他对象可以包括人体。例如，如果目标对象包括人体，则预设图像集可以是人体解析(即HumanParsing)图像集。
根据本公开的实施例，掩膜图像集中的掩膜图像(即Mask图像)可以包括目标对象或其他对象。掩膜图像集可以包括多个掩膜图像。初始样本图像集可以包括多个初始样本图像。初始样本集可以部分来自于预设样本图像集，也可以全部来自于预设样本图像集，还可以全部不来自于预设样本图像集，上述可以根据实际业务需求进行配置，在此不作限定。
根据本公开的实施例，目标场景可以指上文所述的复杂场景，即，目标场景可以指目标对象较难以被检测到的场景。目标场景可以包括目标对象被其他对象干扰的场景或者目标对象被截断的场景。
根据本公开的实施例，目标对象被其他对象干扰的场景可以包括以下至少一项：拥挤场景和遮挡场景。目标对象被截断的场景可以指截断场景。拥挤场景可以指包括的目标对象和与目标对象类型相同的对象之间的距离小于或等于第一预设距离阈值且目标对象和与目标对象类型相同的对象之间互相不遮挡的场景。遮挡场景可以指包括的目标对象和与目标对象类型相同的对象之间的距离小于或等于第二预设距离阈值且目标对象和与目标对象类型相同的对象之间互相遮挡的场景。第一预设距离阈值大于第二预设距离阈值。拥挤场景和遮挡场景中是由于受其他对象的影响而使得目标对象不能够在图像上完整显示，而目标对象本身是完整的。截断场景中是由于目标对象本身并不完整，使得其不能够在图像上完整显示。
根据本公开的实施例，可以获取预设图像集，可以对从预设图像集包括的多个图像中选择至少一个图像，针对至少一个图像中的每个图像，对图像进行解析，得到与图像中的对象对应的掩膜参数，根据与图像中的对象对应的掩膜参数，得到与图像对应的掩膜图像。可以根据与图像对应的掩膜图像，得到与掩膜图像对应的检测框信息。对图像进行解析，得到与图像中的对象对应的掩膜参数可以包括：利用掩膜函数对图像进行解析，得到与图像中的对象对应的掩膜参数。图像中的对象中的对象可以包括目标对象或其他对象。
根据本公开的实施例，针对初始样本图像集中的初始样本图像，可以从掩膜图像集中选择掩膜图像，利用掩膜图像对初始样本图像进行处理，得到扩充样本图像。
根据本公开的实施例，在获得扩充样本图像之后，可以利用初始样本图像集和扩充样本图像集对检测模型进行训练。检测模型是用于检测目标对象的模型。例如，检测模型可以用于实现行人检测。检测模型可以包括两阶段的检测模型或一阶段的检测模型。两阶段的检测模型可以包括R-CNN(Region-Convolutional Neural Network)、Fast R-CNN或Faster R-CNN。一阶段的检测模型可以包括YOLO或SSD(Single Shot MultiBoxDetector)。可以根据实际业务需求选择检测模型，在此不作限定。
需要说明的是，本公开实施例中的检测模型并不是针对某一特定对象的检测模型，并不能反映出某一特定对象的个人信息。
根据本公开的实施例，由于针对目标场景的扩充样本图像集是利用掩膜图像集和初始样本图像集生成的，而掩膜图像集是利用已公开的预设图像集得到的，因此，无需额外采集便实现了针对目标场景的样本图像的数目的增加(即，获得针对目标场景的扩充样本图像集)，由此，降低了改进成本。并且，由于扩充样本图像集是利用掩膜图像集和初始样本图像集生成的，而并不是利用数据增强算法对初始样本图像进行处理生成的，因此，可以尽可能降低由数据增强算法导致的图像的部分区域失真的情况发生，进而有效保证了扩充样本图像集的图像质量(即，目标场景的样本图像的图像质量)。此外，由于是利用数据均衡策略实现的，无需修改已公开的训练框架，即，可以将执行生成扩充样本图像集的操作作为一个模块插入已公开的训练框架，因此，可以进一步降低改进成本。基于上述内容，在尽量不增加改进成本的基础上，由于增加了参与检测模型训练的目标场景的样本图像的数目和有效保证了目标场景的样本图像的图像质量，因此，提高了检测模型针对目标场景的预测精度。
下面参考图3～图7，结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开实施例的检测模型的训练过程的示意图。
如图3所示，在该训练过程300中，获取预设图像集301，对预设图像集301进行解析，得到掩膜图像集302，利用掩膜图像集302和初始样本图像集303，生成针对目标场景的扩充样本图像集304，利用初始样本图像集303和扩充样本图像集304训练检测模型305。
图4示意性示出了根据本公开实施例的利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集的流程图。
根据本公开的实施例，掩膜图像集包括多个掩膜图像，初始样本图像集包括多个初始样本图像，扩充样本图像集包括预设数目的扩充样本图像。
如图4所示，该方法400包括操作S411～S413。
在操作S411，从多个初始样本图像中选择预设数目的目标样本图像。
在操作S412，针对每个目标样本图像，将从多个掩膜图像中选择的目标掩膜图像中的目标对象或其他对象设置于目标样本图像的预设区域，得到针对目标场景的扩充样本图像。
在操作S413，根据预设数目的扩充样本图像，得到针对目标场景的扩充样本图像集。
根据本公开的实施例，预设数目可以根据实际业务需求进行配置，在此不作限定。例如，初始样本图像的数目是R个，预设数目是T个。R大于或等于T，T大于或等于1，R和T是整数。
根据本公开的实施例，目标样本图像可以指从初始样本图像中选择出的，用于参与生成扩充样本图像的初始样本图像。目标掩膜图像可以指从掩膜图像集中选择出的，用于参与生成扩充样本图像的掩膜图像。
根据本公开的实施例，预设区域可以指目标样本图像的相关区域，例如，预设区域可以包括预设边缘区域或预设遮挡区域。
根据本公开的实施例，为了获得目标对象被截断的扩充样本图像，可以利用如下方式，即，针对目标样本图像，可以从多个掩膜图像中选择的用于处理该目标样本图像的目标掩膜图像，将该目标掩膜图像中的目标对象设置于目标样本图像的预设区域，得到扩充样本图像，使得扩充样本图像中的目标对象被截断。由于扩充样本图像是根据目标掩膜图像和目标样本图像生成的，因此，目标掩膜图像中的目标对象可以体现在扩充样本图像中，目标掩膜图像中的其他对象将体现在扩充样本图像中，所不同的是扩充样本图像中的目标对象被扩充样本图像中的其他对象干扰或扩充样本图像中的目标对象被扩充样本图像中的。目标对象可以指目标样本图像中的对象。其他对象可以指目标掩膜图像中的与目标样本图像中的目标对象类型相同的对象。
根据本公开的实施例，为了获得目标对象被其他对象干扰的扩充样本图像，可以利用如下方式，即，针对目标样本图像，可以从多个掩膜图像中选择用于处理该目标样本图像的目标掩膜图像，将该目标掩膜图像中的其他对象设置于与目标样本图像中的目标对象对应的预设区域，得到扩充样本图像，使得扩充样本图像中的目标对象被其他对象干扰。由于扩充样本图像是根据目标掩膜图像和目标样本图像生成的，因此，目标掩膜图像中的其他对象可以体现在扩充样本图像中，目标样本图像中的目标对象可以体现在扩充样本图像中，所不同的是扩充样本图像中的目标对象被扩充样本图像中的其他对象干扰。
根据本公开的实施例，目标场景中的目标对象被截断，预设数目包括第一预设数目，目标样本图像包括第一目标样本图像，目标掩膜图像包括第一目标掩膜图像，扩充样本图像集包括截断样本图像集，截断样本图像集包括第一预设数目的截断样本图像。
操作S412可以包括如下操作。
根据第一变换矩阵和从多个掩膜图像中选择的第一目标掩膜图像中的目标对象的变换前坐标，得到第一目标掩膜图像中的目标对象的变换后坐标，其中，第一目标掩膜图像中的目标对象的变换前坐标是根据与第一目标掩膜图像中的目标对象对应的第一检测框信息确定的。利用第一目标掩膜图像中的目标对象的变换后坐标，将第一目标掩膜图像中的目标对象设置于第一目标样本图像的预设边缘区域，得到截断样本图像，其中，截断样本图像中的目标对象被截断。
根据本公开的实施例，第一目标掩膜图像中的目标对象具有与其对应的第一检测框信息，第一检测框信息可以用于表征第一目标掩膜图像中的目标对象的位置信息。可以根据第一检测框信息，确定第一目标掩膜图像中的目标对象的变换前坐标。第一目标样本图像的预设边缘区域可以表征不包括对象且位于第一目标样本图像的边缘的区域。
根据本公开的实施例，为了获得截断样本图像，可以根据第一变换矩阵和第一目标掩膜图像中的目标对象的变换前坐标，得到第一目标掩膜图像中的目标对象的变换后坐标，即，可以将第一变换矩阵与第一目标掩膜图像中的目标对象的变换前坐标相乘，得到第一目标掩膜图像中的目标对象的变换后坐标。
根据本公开的实施例，在获得第一目标掩膜图像中的目标对象的变换后坐标之后，可以根据第一目标掩膜图像中的目标对象的变换后坐标，将第一目标掩膜图像中的目标对象设置于第一目标样本图像中的预设边缘区域，得到截断样本图像，截断样本图像中的目标对象被截断。
根据本公开的实施例，可以利用如下公式(1)确定第一目标掩膜图像中的目标对象的变换后坐标。
Figure BDA0003221967940000121
其中，xt表征第一目标掩膜图像中的目标对象的变换前横坐标，yt表征第一目标掩膜图像中的目标对象的变换前纵坐标。x表征第一目标掩膜图像中的目标对象的变换后横坐标，y表征第一目标掩膜图像中的目标对象的变换后纵坐标。
根据本公开的实施例，上述检测模型的训练方法还可以包括如下操作。
在确定截断样本图像中的目标对象的面积大于或等于预设面积阈值的情况下，将截断样本图像确定为截断样本图像集中的截断样本图像，其中，预设面积阈值是根据第一目标掩膜图像中的目标对象的面积确定的。
根据本公开的实施例，为了保证截断样本图像的图像质量，以保证检测模型的预测精度，需要使得参与检测模型训练的截断样本集中的截断样本图像是满足第一预设条件的截断样本图像，第一预设条件可以包括截断样本图像中的目标对象的面积大于或预设面积阈值。预设面积阈值可以是根据第一目标掩膜图像中的目标对象的面积确定的，例如，第一目标掩膜图像中的目标对象的面积是S，预设面积阈值可以设置为0.3S。
图5示意性示出了根据本公开实施例的生成截断样本图像过程的示意图。
如图5所示，在该过程500中，利用第一目标掩膜图像501中的目标对象5010的变换后坐标，将第一目标掩膜图像501中的目标对象5010设置于第一目标样本图像502的预设边缘区域，得到截断样本图像503，对截断样本图像503进行处理，得到处理后的截断样本图像504。
根据本公开的实施例，目标场景中的目标对象被其他对象干扰，预设数目包括第二预设数目，目标样本图像包括第二目标样本图像，目标掩膜图像包括第二目标掩膜图像，扩充样本图像集包括第一拥挤遮挡样本图像集，第一拥挤遮挡样本图像集包括第二预设数目的第一拥挤遮挡样本图像。
操作S412可以包括如下操作。
根据第二变换矩阵和从多个掩膜图像中选择的一个第二目标掩膜图像中的其他对象的变换前坐标，得到第二目标掩膜图像中的其他对象的变换后坐标，其中，第二目标掩膜图像中的其他对象的变换前坐标是根据与第二目标掩膜图像中的其他对象对应的第二检测框信息确定的。利用第二目标掩膜图像中的目标对象的变换后坐标，将第二目标掩膜图像中的其他对象设置于与第二目标样本图像中的目标对象对应的第一预设遮挡区域，得到第一拥挤遮挡样本图像，其中，第一预设遮挡区域是根据与第二目标样本图像中的目标对象对应的第三检测框信息确定的，第一拥挤遮挡样本图像中的目标对象被其他对象干扰。
根据本公开的实施例，第二目标掩膜图像中的其他对象具有与其对应的第二检测框信息，第二检测框信息可以用于表征第二目标掩膜图像中的其他对象的位置信息。可以根据第二检测框信息，确定第二目标掩膜图像中的其他对象的变换前坐标。第一预设遮挡区域可以是根据与第二目标样本图像中的目标对象对应的第三检测框信息确定的，例如，可以根据与第二目标样本图像中的目标对象对应的第三检测框信息，确定检测框区域，第一预设遮挡区域可以是与检测框区域对应的区域，与检测框区域对应的区域可以包括与检测框区域具有交集的区域。
根据本公开的实施例，为了获得第一拥挤遮挡样本图像，第一拥挤遮挡样本图像中的目标对象来自于第二目标样本图像，第一拥挤遮挡样本图像中的其他对象来自于第二目标掩膜图像，可以根据第二变换矩阵和第二目标掩膜图像中的其他对象的变换前坐标，得到第二目标掩膜图像中的其他对象的变换后坐标，即，可以将第二变换矩阵与第二目标掩膜图像中的其他对象的变换前坐标相乘，得到第二目标掩膜图像中的其他对象的变换后坐标。
根据本公开的实施例，在获得第二目标掩膜图像中的其他对象的变换后坐标之后，可以根据第二目标掩膜图像中的其他对象的变换后坐标，将第二目标掩膜图像中的其他对象设置与第二目标样本图像中的目标对象对应的第一预设遮挡区域，得到第一拥挤遮挡样本图像。
图6示意性示出了根据本公开实施例的生成第一拥挤遮挡图像过程的示意图。
如图6所示，在该过程600中，利用第二目标掩膜图像601中的其他对象6010的变换后坐标，将第二目标掩膜图像601中的其他对象6010设置于与第二目标样本图像602中的目标对象6020对应的第一预设遮挡区域，得到第一拥挤遮挡样本图像603，对第一拥挤遮挡样本图像603进行处理，得到处理后的第一拥挤遮挡样本图像604。第一拥挤遮挡样本图像604中的目标对象6020被其他对象6010遮挡。
根据本公开的实施例，上述检测模型的训练方法还可以包括如下操作。
根据第二检测框信息和第三检测框信息，确定第一拥挤遮挡值，第一拥挤遮挡值用于表征第一拥挤遮挡样本图像中的目标对象被其他对象干扰的程度。在确定第一拥挤遮挡值大于或等于第一预设拥挤遮挡阈值的情况下，将第一拥挤遮挡样本图像确定为第一拥挤遮挡样本图像集中的第一拥挤遮挡样本图像。
根据本公开的实施例，为了保证第一拥挤遮挡样本图像的图像质量，以保证检测模型的预测精度，需要使得参与检测模型训练的第一拥挤遮挡样本图像集中的第一拥挤遮挡样本图像是满足第二预设条件的第一拥挤遮挡样本图像，第二预设条件可以包括第一拥挤遮挡值大于或等于第一预设拥挤遮挡阈值。第一预设拥挤遮挡阈值可以根据实际业务需求进行配置，在此不作限定。
根据本公开的实施例，第二检测框信息包括第一检测框的第一中心点的第一坐标信息，第三检测框信息包括第二检测框的第二中心点的第二坐标信息。
根据第二检测框信息和第三检测框信息，确定第一拥挤遮挡值可以包括如下操作。
根据第一坐标信息和第二坐标信息，确定第一中心点和第二中心点之间的距离。根据第一中心点和第二中心点之间的距离，确定第一拥挤遮挡值。
根据本公开的实施例，可以将第一中心点和第二中心点之间的距离的倒数确定为第一拥挤遮挡值。可以利用如下公式(2)确定第一拥挤遮挡值。
Figure BDA0003221967940000151
其中，crowdegree表征第一拥挤遮挡值。xc1表征第一中心点的横坐标，yc1表征第一中心点的纵坐标。xc2表征第二中心点的横坐标，yc2表征第二中心点的纵坐标。
根据本公开的实施例，目标场景中的目标对象被其他对象干扰，预设数目包括第三预设数目，目标样本图像包括第三目标样本图像，目标掩膜图像包括第三目标掩膜图像，扩充样本图像集包括第二拥挤遮挡样本图像集，第二拥挤遮挡样本图像集包括第三预设数目的第二拥挤遮挡样本图像。
操作S412可以包括如下操作。
根据第三变换矩阵和从多个掩膜图像中选择的至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换前坐标，得到至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换后坐标，其中，每个第三目标掩膜图像中的目标对象的变换前坐标是根据与第三目标掩膜图像中的目标对象对应的第四检测框信息确定的。利用至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换后坐标，将至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象设置于第三目标样本图像的第二预设遮挡区域，得到第二拥挤遮挡样本图像，其中，第二预设遮挡区域是根据与第三目标样本图像对应的第五检测框信息确定的，第二拥挤遮挡样本图像中的每相邻两个目标对象之间互相干扰。
根据本公开的实施例，为了获得第二拥挤遮挡样本图像，第二拥挤遮挡样本图像中的相邻两个目标对象可以来自于第三目标掩膜图像，相邻两个目标对象中的一个如果作为目标对象，则另一个可以作为其他对象，可以根据第三变换矩阵和每个第三目标掩膜图像中的目标对象的变换前坐标，得到第三目标掩膜图像中的目标对象的变换后坐标，即，可以将第三变换矩阵与第三目标掩膜图像中的目标对象的变换前坐标相乘，得到第三目标掩膜图像中的目标对象的变换后坐标。
根据本公开的实施例，在获得第三目标掩膜图像中的目标对象的变换后坐标之后，可以根据第三目标掩膜图像中的目标对象的变换后坐标，将第三目标掩膜图像中的目标对象设置与第三目标样本图像对应的第二预设遮挡区域，得到第二拥挤遮挡样本图像。
根据本公开的实施例，第二预设遮挡区域包括多个预设遮挡子区域。
利用至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换后坐标，将至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象设置于第三目标样本图像的第二预设遮挡区域，得到第二拥挤遮挡样本图像，可以包括如下操作。
从至少两个第三目标掩膜图像中选择一个第三目标掩膜图像确定为当前第三目标掩膜图像。利用当前第三目标掩膜图像中的目标对象的变换后坐标，将当前第三目标掩膜图像中的目标对象设置于与当前第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域。确定与当前第三目标掩膜图像对应的下一第三目标掩膜图像。利用下一第三目标掩膜图像中的目标对象的变换后坐标，将下一第三目标掩膜图像中的目标对象设置于与下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域，其中，与下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域是根据与当前第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域确定的。重复执行将第三目标掩膜图像中的目标对象设置于与第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域的操作，直至完成全部第三目标掩膜图像中的目标对象的设置操作。将在完成全部第三目标掩膜图像中的目标对象的设置操作的情况下得到的第三目标样本图像确定为第二拥挤遮挡样本图像。
根据本公开的实施例，可以按照预设顺序将至少两个第三目标掩膜图像中的每个第三目标掩膜图像的目标对象设置于与第三目标样本图像对应的预设子区域。
例如，可以从已选择出的至少两个第三目标掩膜图像中再选择一个第三目标掩膜图像确定为当前第三目标掩膜图像，将当前第三目标掩膜图像中的目标图像设置于与第三目标样本图像对应的预设子区域，完成了当前第三目标掩膜图像中的目标对象的设置操作，该与第三目标样本图像对应的预设子区域可以指与第三目标样本图像中的目标对象对应的检测框不存在交集的区域。
在完成了当前第三目标掩膜图像中的目标对象的设置操作之后，可以从除当前第三目标掩膜图像外的剩余第三目标掩膜图像中选择一个第三目标掩膜图像确定为与当前第三目标掩膜图像对应的下一第三目标掩膜图像，将下一第三目标掩膜图像中的目标对象设置于与下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域，完成了下一第三目标掩膜图像中的目标对象的设置操作。
根据本公开的实施例，与下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域可以根据与当前第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域确定的，即，可以将与当前第三目标掩膜图像中的目标对象所占据区域具有交集的区域确定为与下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域，也即，尽量保证当前第三目标掩膜图像中的目标对象与下一第三目标掩膜图像中的目标对象能够相互干扰。
根据本公开的实施例，可以重复执行将已选择出的第三目标掩膜图像中的目标对象设置于与第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域的操作，直至完成全部第三目标掩膜图像中的目标对象的设置操作。
图7示意性示出了根据本公开实施例的第二遮挡样本图像的示意图。
如图7所示，第二遮挡样本图像700中701表征第二目标样本图像中的目标对象，702和703表征第二目标掩膜图像中的目标对象。在第二遮挡样本图像700中第一目标对象702被第二目标对象703遮挡。
根据本公开的实施例，上述检测模型的训练方法可以包括如下操作。
根据与至少两个预设遮挡子区域中的每个预设遮挡子区域对应的目标对象的像素信息，确定至少一个第二拥挤遮挡值，其中，每个第二拥挤遮挡值用于表征第二拥挤遮挡样本图像中的相邻两个目标对象之间互相干扰的程度。在确定至少一个第二拥挤遮挡值满足预设拥挤遮挡条件的情况下，将第二拥挤遮挡样本图像确定为第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像。
根据本公开的实施例，为了保证第二拥挤遮挡样本图像的图像质量，以保证检测模型的预测精度，需要使得参与检测模型训练的第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像是满足预设拥挤遮挡条件的第二拥挤遮挡样本图像。
根据本公开的实施例，与每个预设遮挡子区域对应的目标对象的像素信息可以包括像素点数目，像素点数目可以指目标对象占据与目标对象对应的预设遮挡子区域的像素点的数目，即，与目标对象对应的预设遮挡子区域包括的目标对象的像素点的数目。
根据本公开的实施例，可以根据每两个相邻目标对象的像素信息，确定与该两个相邻目标对象对应的第二拥挤遮挡值，由此可以得到至少一个第二拥挤遮挡值，确定至少一个第二拥挤遮挡值是否满足预设拥挤遮挡条件，如果确定至少一个第二拥挤遮挡值满足预设拥挤遮挡条件，则可以将第二拥挤遮挡样本图像确定为第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像。
根据本公开的实施例，根据与至少两个预设遮挡子区域中的每个预设遮挡子区域对应的目标对象的像素信息，确定至少一个第二拥挤遮挡值，可以包括如下操作。
确定至少一个第一像素点数目，其中，每个第一像素点数目表征设置于第二拥挤遮挡样本图像中的两个相邻目标对象占据的交集区域包括的像素点的数目。确定至少一个第二像素点数目，其中，每个第二像素点数目表征设置于第二拥挤遮挡样本图像中的两个相邻目标对象占据的并集区域包括的像素点的数目。针对每两个相邻目标对象，确定第一像素点数目和第二像素点数目之间的比值。将比值确定第二拥挤遮挡值。
根据本公开的实施例，针对每两个相邻目标对象，确定该两个相邻目标对象在第二拥挤遮挡样本图像中的交集区域，确定交集区域包括的像素点的数目，将交集区域包括的像素点的数目确定为第一像素点数目。确定该两个相邻目标对象在第二拥挤遮挡样本图像中的并集区域，确定并集区域包括的像素点的数目，将并集区域包括的像素点的数目确定为第二像素点数目。将与该两个相邻目标对象对应的第一像素点数目与第二像素点数目的比值确定为第二拥挤遮挡值。
根据本公开的实施例，可以利用如下公式(3)确定第二拥挤遮挡值。
Figure BDA0003221967940000191
其中，occlu_degree表征第二拥挤遮挡值。
Figure BDA0003221967940000192
表征第i个目标对象和第i+1个目标对象在第二拥挤遮挡样本图像占据的交集区域包括的像素点的数目。
Figure BDA0003221967940000193
表征第i个目标对象和第i+1个目标对象在第二拥挤遮挡样本图像占据的并集区域包括的像素点的数目。i＝{1，2，......，U-1，U}，U表征第二目标掩膜图像的数目，U是大于或等于2的整数。
根据本公开的实施例，在确定至少一个第二拥挤遮挡值满足预设拥挤遮挡条件的情况下，将第二拥挤遮挡样本图像确定为第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像，可以包括如下操作。
针对至少一个第二拥挤遮挡值中的每个第二拥挤遮挡值，在确定第二拥挤遮挡值大于或等于第二预设拥挤遮挡阈值的情况下，将第二拥挤遮挡值确定为目标拥挤遮挡值。在确定目标拥挤遮挡值的数目大于或等于预设数目阈值的情况下，将第二拥挤遮挡样本图像确定为第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像。
根据本公开的实施例，第二预设拥挤遮挡阈值可以根据实际业务需求进行配置，在此不作限定。预设数目阈值可以根据实际业务需求进行配置，在此不作限定。可以将大于或等于第二预设拥挤遮挡阈值的第二拥挤遮挡值确定为目标拥挤遮挡值。
根据本公开的实施例，确定目标拥挤遮挡值的数目是否大于或等于预设数目阈值，如果确定目标拥挤遮挡值的数目大于或等于预设数目阈值，则可以将第二拥挤遮挡样本图像确定为第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像。
根据本公开的实施例，初始样本图像集包括以下至少一项：包括目标对象和背景的初始样本图像集和仅包括背景的初始样本图像集。
根据本公开的实施例，如果初始样本图像集包括的初始样本图像的数目不满足模型训练条件，则还可以利用仅包括背景的初始样本图像集来生成扩充样本图像集。
图8示意性示出了根据本公开实施例的目标图像检测方法的流程图。
如图8所示，该方法800包括操作S810～S820。
在操作S810，获取待检测图像。
在操作S820，将待检测图像输入检测模型，得到检测结果，其中，检测模型是利用根据本公开实施例所述的检测模型的训练方法训练的。
根据本公开的实施例，通过将待检测图像输入检测模型，得到检测结果，检测模型是利用根据本公开实施例所述的检测模型的训练方法训练的，由于针对目标场景的扩充样本图像集是利用掩膜图像集和初始样本图像集生成的，而掩膜图像集是利用已公开的预设图像集得到的，因此，无需额外采集便实现了针对目标场景的样本图像的数目的增加(即，获得针对目标场景的扩充样本图像集)，由此，降低了改进成本。并且，由于扩充样本图像集是利用掩膜图像集和初始样本图像集生成的，而并不是利用数据增强算法对初始样本图像进行处理生成的，因此，可以尽可能降低由数据增强算法导致的图像的部分区域失真的情况发生，进而有效保证了扩充样本图像集的图像质量(即目标场景的样本图像的图像质量)。此外，由于是利用数据均衡策略实现的，无需修改已公开的训练框架，即，可以将执行生成扩充样本图像集的操作作为一个模块插入已公开的训练框架，因此，可以进一步降低改进成本。基于上述内容，在尽量不增加改进成本的基础上，由于增加了参与检测模型训练的目标场景的样本图像的数目和有效保证了目标场景的样本图像的图像质量，因此，提高了检测模型针对目标场景的预测精度。
图9示意性示出了根据本公开实施例的检测模型的训练装置的框图。
如图9所示，检测模型的训练装置900可以包括生成模块910和训练模块920。
生成模块910，用于利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，其中，掩膜图像集是对预设图像集进行解析得到的，目标场景中的目标对象被其他对象干扰或者目标对象被截断，预设图像集中的图像包括目标对象或其他对象。
训练模块920，用于利用初始样本图像集和扩充样本图像集训练用于检测目标对象的检测模型。
根据本公开的实施例，掩膜图像集包括多个掩膜图像，初始样本图像集包括多个初始样本图像，扩充样本图像集包括预设数目的扩充样本图像。
生成模块可以包括选择子模块、设置子模块和获得子模块。
选择子模块，用于从多个初始样本图像中选择预设数目的目标样本图像。
设置子模块，用于针对每个目标样本图像，将从多个掩膜图像中选择的目标掩膜图像中的目标对象或其他对象设置于目标样本图像的预设区域，得到针对目标场景的扩充样本图像。
获得子模块，用于根据预设数目的扩充样本图像，得到针对目标场景的扩充样本图像集。
根据本公开的实施例，目标场景中的目标对象被截断，预设数目包括第一预设数目，目标样本图像包括第一目标样本图像，目标掩膜图像包括第一目标掩膜图像，扩充样本图像集包括截断样本图像集，截断样本图像集包括第一预设数目的截断样本图像。
设置子模块可以包括第一获得单元和第二获得单元。
第一获得单元，用于根据第一变换矩阵和从多个掩膜图像中选择的第一目标掩膜图像中的目标对象的变换前坐标，得到第一目标掩膜图像中的目标对象的变换后坐标，其中，第一目标掩膜图像中的目标对象的变换前坐标是根据与第一目标掩膜图像中的目标对象对应的第一检测框信息确足的。
第二获得单元，用于利用第一目标掩膜图像中的目标对象的变换后坐标，将第一目标掩膜图像中的目标对象设置于第一目标样本图像的预设边缘区域，得到截断样本图像，其中，截断样本图像中的目标对象被截断。
根据本公开的实施例，上述检测模型的训练装置900还可以包括第一确定模块。
第一确定模块，用于在确定截断样本图像中的目标对象的面积大于或等于预设面积阈值的情况下，将截断样本图像确定为截断样本图像集中的截断样本图像，其中，预设面积阈值是根据第一目标掩膜图像中的目标对象的面积确定的。
根据本公开的实施例，目标场景中的目标对象被其他对象干扰，预设数目包括第二预设数目，目标样本图像包括第二目标样本图像，目标掩膜图像包括第二目标掩膜图像，扩充样本图像集包括第一拥挤遮挡样本图像集，第一拥挤遮挡样本图像集包括第二预设数目的第一拥挤遮挡样本图像。
设置子模块可以包括第三获得单元和第四获得单元。
第三获得单元，用于根据第二变换矩阵和从多个掩膜图像中选择的一个第二目标掩膜图像中的其他对象的变换前坐标，得到第二目标掩膜图像中的其他对象的变换后坐标，其中，第二目标掩膜图像中的其他对象的变换前坐标是根据与第二目标掩膜图像中的其他对象对应的第二检测框信息确定的。
第四获得单元，用于利用第二目标掩膜图像中的目标对象的变换后坐标，将第二目标掩膜图像中的其他对象设置于与第二目标样本图像中的目标对象对应的第一预设遮挡区域，得到第一拥挤遮挡样本图像，其中，第一预设遮挡区域是根据与第二目标样本图像中的目标对象对应的第三检测框信息确定的，第一拥挤遮挡样本图像中的目标对象被其他对象干扰。
根据本公开的实施例，上述检测模型的训练装置900还可以包括第二确定模块和第三确定模块。
第二确定模块，用于根据第二检测框信息和第三检测框信息，确定第一拥挤遮挡值，其中，第一拥挤遮挡值用于表征第一拥挤遮挡样本图像中的目标对象被其他对象干扰的程度。
第三确定模块，用于在确定第一拥挤遮挡值大于或等于第一预设拥挤遮挡阈值的情况下，将第一拥挤遮挡样本图像确定为第一拥挤遮挡样本图像集中的第一拥挤遮挡样本图像。
根据本公开的实施例，第二检测框信息包括第一检测框的第一中心点的第一坐标信息，第三检测框信息包括第二检测框的第二中心点的第二坐标信息。
第二确定模块可以包括第一确定子模块和第二确定子模块。
第一确定子模块，用于根据第一坐标信息和第二坐标信息，确定第一中心点和第二中心点之间的距离。
第二确定子模块，用于根据第一中心点和第二中心点之间的距离，确定第一拥挤遮挡值。
根据本公开的实施例，目标场景中的目标对象被其他对象干扰，预设数目包括第三预设数目，目标样本图像包括第三目标样本图像，目标掩膜图像包括第三目标掩膜图像，扩充样本图像集包括第二拥挤遮挡样本图像集，第二拥挤遮挡样本图像集包括第三预设数目的第二拥挤遮挡样本图像。
设置子模块可以包括第五获得单元和第六获得单元。
第五获得单元，用于根据第三变换矩阵和从多个掩膜图像中选择的至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换前坐标，得到至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换后坐标，其中，每个第三目标掩膜图像中的目标对象的变换前坐标是根据与第三目标掩膜图像中的目标对象对应的第四检测框信息确定的。
第六获得单元，用于利用至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换后坐标，将至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象设置于第三目标样本图像的第二预设遮挡区域，得到第二拥挤遮挡样本图像，其中，第二预设遮挡区域是根据与第三目标样本图像对应的第五检测框信息确定的，第二拥挤遮挡样本图像中的每相邻两个目标对象之间互相干扰。
根据本公开的实施例，第二预设遮挡区域包括多个预设遮挡子区域。
第六获得单元可以包括第一确定子单元、第一设置子单元、第二确定子单元、第二设置子单元、重复执行子单元和第三确定子单元。
第一确定子单元，用于从至少两个第三目标掩膜图像中选择一个第三目标掩膜图像确定为当前第三目标掩膜图像。
第一设置子单元，用于利用当前第三目标掩膜图像中的目标对象的变换后坐标，将当前第三目标掩膜图像中的目标对象设置于与当前第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域。
第二确定子单元，用于确定与当前第三目标掩膜图像对应的下一第三目标掩膜图像。
第二设置子单元，用于利用下一第三目标掩膜图像中的目标对象的变换后坐标，将下一第三目标掩膜图像中的目标对象设置于与下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域，其中，与下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域是根据与当前第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域确定的。
重复执行子单元，用于重复执行将第三目标掩膜图像中的目标对象设置于与第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域的操作，直至完成全部第三目标掩膜图像中的目标对象的设置操作。
第三确定子单元，用于将在完成全部第三目标掩膜图像中的目标对象的设置操作的情况下得到的第三目标样本图像确定为第二拥挤遮挡样本图像。
根据本公开的实施例，上述检测模型的训练装置900还可以包括第四确定模块和第五确定模块。
第四确定模块，用于根据与至少两个预设遮挡子区域中的每个预设遮挡子区域对应的目标对象的像素信息，确定至少一个第二拥挤遮挡值，其中，每个第二拥挤遮挡值用于表征第二拥挤遮挡样本图像中的相邻两个目标对象之间互相干扰的程度。
第五确定模块，用于在确定至少一个第二拥挤遮挡值满足预设拥挤遮挡条件的情况下，将第二拥挤遮挡样本图像确定为第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像。
根据本公开的实施例，第四确定模块可以包括第三确定子模块、第四确定子模块、第五确定子模块和第六确定子模块。
第三确定子模块，用于确定至少一个第一像素点数目，其中，每个第一像素点数目表征设置于第二拥挤遮挡样本图像中的两个相邻目标对象占据的交集区域包括的像素点的数目。
第四确定子模块，用于确定至少一个第二像素点数目，其中，每个第二像素点数目表征设置于第二拥挤遮挡样本图像中的两个相邻的目标对象占据的并集区域包括的像素点的数目。
第五确定子模块，用于针对每两个相邻目标对象，确定第一像素点数目和第二像素点数目之间的比值。
第六确定子模块，用于将比值确定第二拥挤遮挡值。
根据本公开的实施例，第五确定模块可以包括第七确定子模块和第八确定子模块。
第七确定子模块，用于针对至少一个第二拥挤遮挡值中的每个第二拥挤遮挡值，在确定第二拥挤遮挡值大于或等于第二预设拥挤遮挡阈值的情况下，将第二拥挤遮挡值确定为目标拥挤遮挡值。
第八确定子模块，用于在确定目标拥挤遮挡值的数目大于或等于预设数目阈值的情况下，将第二拥挤遮挡样本图像确定为第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像。
根据本公开的实施例，初始样本图像集包括以下至少一项：包括目标对象和背景的初始样本图像集和仅包括背景的初始样本图像集。
图10示意性示出了根据本公开实施例的目标图像检测装置的框图。
如图10所示，目标图像检测装置1000可以包括获取模块1010和获得模块1020。
获取模块1010，用于获取待检测图像。
获得模块1020，用于将待检测图像输入检测模型，得到检测结果，其中，检测模型是利用根据本公开实施例所述的检测模型的训练装置训练的。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
图11示意性示出了根据本公开实施例的适用于检测模型的训练方法或目标图像检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
电子设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如检测模型的训练方法或目标图像检测方法。例如，在一些实施例中，检测模型的训练方法或目标图像检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的检测模型的训练方法或目标图像检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行检测模型的训练方法或目标图像检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种检测模型的训练方法，包括：
利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，其中，所述掩膜图像集是对预设图像集进行解析得到的，所述目标场景中的目标对象被其他对象干扰或者所述目标对象被截断，所述预设图像集中的图像包括所述目标对象或所述其他对象；以及
利用所述初始样本图像集和所述扩充样本图像集训练用于检测所述目标对象的检测模型。
2.根据权利要求1所述的方法，其中，所述掩膜图像集包括多个掩膜图像，所述初始样本图像集包括多个初始样本图像，所述扩充样本图像集包括预设数目的扩充样本图像；
所述利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，包括：
从所述多个初始样本图像中选择所述预设数目的目标样本图像；
针对每个所述目标样本图像，将从所述多个掩膜图像中选择的目标掩膜图像中的目标对象或其他对象设置于所述目标样本图像的预设区域，得到针对所述目标场景的扩充样本图像；以及
根据所述预设数目的扩充样本图像，得到针对所述目标场景的扩充样本图像集。
3.根据权利要求2所述的方法，其中，所述目标场景中的目标对象被截断，所述预设数目包括第一预设数目，所述目标样本图像包括第一目标样本图像，所述目标掩膜图像包括第一目标掩膜图像，所述扩充样本图像集包括截断样本图像集，所述截断样本图像集包括所述第一预设数目的截断样本图像；
所述将从所述多个掩膜图像中选择的目标掩膜图像中的目标对象或其他对象设置于所述目标样本图像的预设区域，得到针对所述目标场景的扩充样本图像，包括：
根据第一变换矩阵和从所述多个掩膜图像中选择的第一目标掩膜图像中的目标对象的变换前坐标，得到所述第一目标掩膜图像中的目标对象的变换后坐标，其中，所述第一目标掩膜图像中的目标对象的变换前坐标是根据与所述第一目标掩膜图像中的目标对象对应的第一检测框信息确定的；以及
利用所述第一目标掩膜图像中的目标对象的变换后坐标，将所述第一目标掩膜图像中的目标对象设置于所述第一目标样本图像的预设边缘区域，得到所述截断样本图像，其中，所述截断样本图像中的目标对象被截断。
4.根据权利要求3所述的方法，还包括：
在确定所述截断样本图像中的目标对象的面积大于或等于预设面积阈值的情况下，将所述截断样本图像确定为所述截断样本图像集中的截断样本图像，其中，所述预设面积阈值是根据所述第一目标掩膜图像中的目标对象的面积确定的。
5.根据权利要求2所述的方法，其中，所述目标场景中的目标对象被其他对象干扰，所述预设数目包括第二预设数目，所述目标样本图像包括第二目标样本图像，所述目标掩膜图像包括第二目标掩膜图像，所述扩充样本图像集包括第一拥挤遮挡样本图像集，所述第一拥挤遮挡样本图像集包括所述第二预设数目的第一拥挤遮挡样本图像；
所述将从所述多个掩膜图像中选择的目标掩膜图像中的目标对象或其他对象设置于所述目标样本图像的预设区域，得到针对所述目标场景的扩充样本图像，包括：
根据第二变换矩阵和从所述多个掩膜图像中选择的一个第二目标掩膜图像中的其他对象的变换前坐标，得到所述第二目标掩膜图像中的其他对象的变换后坐标，其中，所述第二目标掩膜图像中的其他对象的变换前坐标是根据与所述第二目标掩膜图像中的其他对象对应的第二检测框信息确定的；以及
利用所述第二目标掩膜图像中的目标对象的变换后坐标，将所述第二目标掩膜图像中的其他对象设置于与所述第二目标样本图像中的目标对象对应的第一预设遮挡区域，得到所述第一拥挤遮挡样本图像，其中，所述第一预设遮挡区域是根据与所述第二目标样本图像中的目标对象对应的第三检测框信息确定的，所述第一拥挤遮挡样本图像中的目标对象被其他对象干扰。
6.根据权利要求5所述的方法，还包括：
根据所述第二检测框信息和所述第三检测框信息，确定第一拥挤遮挡值，其中，所述第一拥挤遮挡值用于表征所述第一拥挤遮挡样本图像中的目标对象被其他对象干扰的程度；以及
在确定所述第一拥挤遮挡值大于或等于第一预设拥挤遮挡阈值的情况下，将所述第一拥挤遮挡样本图像确定为所述第一拥挤遮挡样本图像集中的第一拥挤遮挡样本图像。
7.根据权利要求6所述的方法，其中，所述第二检测框信息包括第一检测框的第一中心点的第一坐标信息，所述第三检测框信息包括第二检测框的第二中心点的第二坐标信息；
所述根据所述第二检测框信息和所述第三检测框信息，确定第一拥挤遮挡值，包括：
根据所述第一坐标信息和所述第二坐标信息，确定所述第一中心点和所述第二中心点之间的距离；以及
根据所述第一中心点和所述第二中心点之间的距离，确定所述第一拥挤遮挡值。
8.根据权利要求2所述的方法，其中，所述目标场景中的目标对象被其他对象干扰，所述预设数目包括第三预设数目，所述目标样本图像包括第三目标样本图像，所述目标掩膜图像包括第三目标掩膜图像，所述扩充样本图像集包括第二拥挤遮挡样本图像集，所述第二拥挤遮挡样本图像集包括所述第三预设数目的第二拥挤遮挡样本图像；
所述将从所述多个掩膜图像中选择的目标掩膜图像中的目标对象或其他对象设置于所述目标样本图像的预设区域，得到针对所述目标场景的扩充样本图像，包括：
根据第三变换矩阵和从所述多个掩膜图像中选择的至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换前坐标，得到所述至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换后坐标，其中，每个所述第三目标掩膜图像中的目标对象的变换前坐标是根据与所述第三目标掩膜图像中的目标对象对应的第四检测框信息确定的；以及
利用所述至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换后坐标，将所述至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象设置于所述第三目标样本图像的第二预设遮挡区域，得到所述第二拥挤遮挡样本图像，其中，所述第二预设遮挡区域是根据与所述第三目标样本图像对应的第五检测框信息确定的，所述第二拥挤遮挡样本图像中的每相邻两个目标对象之间互相干扰。
9.根据权利要求8所述的方法，其中，所述第二预设遮挡区域包括多个预设遮挡子区域；
所述利用所述至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象的变换后坐标，将所述至少两个第三目标掩膜图像中的每个第三目标掩膜图像中的目标对象设置于所述第三目标样本图像的第二预设遮挡区域，得到所述第二拥挤遮挡样本图像，包括：
从所述至少两个第三目标掩膜图像中选择一个第三目标掩膜图像确定为当前第三目标掩膜图像；
利用所述当前第三目标掩膜图像中的目标对象的变换后坐标，将所述当前第三目标掩膜图像中的目标对象设置于与所述当前第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域；
确定与所述当前第三目标掩膜图像对应的下一第三目标掩膜图像；
利用所述下一第三目标掩膜图像中的目标对象的变换后坐标，将所述下一第三目标掩膜图像中的目标对象设置于与所述下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域，其中，与所述下一第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域是根据与所述当前第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域确定的；
重复执行将所述第三目标掩膜图像中的目标对象设置于与所述第三目标掩膜图像对应的第三目标样本图像的预设遮挡子区域的操作，直至完成全部所述第三目标掩膜图像中的目标对象的设置操作；以及
将在完成全部所述第三目标掩膜图像中的目标对象的设置操作的情况下得到的第三目标样本图像确定为所述第二拥挤遮挡样本图像。
10.根据权利要求9所述的方法，还包括：
根据与至少两个所述预设遮挡子区域中的每个预设遮挡子区域对应的目标对象的像素信息，确定至少一个第二拥挤遮挡值，其中，每个所述第二拥挤遮挡值用于表征所述第二拥挤遮挡样本图像中的相邻两个目标对象之间互相干扰的程度；以及
在确定所述至少一个第二拥挤遮挡值满足预设拥挤遮挡条件的情况下，将所述第二拥挤遮挡样本图像确定为所述第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像。
11.根据权利要求10所述的方法，其中，所述根据与至少两个所述预设遮挡子区域中的每个预设遮挡子区域对应的目标对象的像素信息，确定至少一个第二拥挤遮挡值，包括：
确定至少一个第一像素点数目，其中，每个所述第一像素点数目表征设置于所述第二拥挤遮挡样本图像中的两个相邻目标对象占据的交集区域包括的像素点的数目；
确定至少一个第二像素点数目，其中，每个所述第二像素点数目表征设置于所述第二拥挤遮挡样本图像中的两个相邻的目标对象占据的并集区域包括的像素点的数目；
针对每两个相邻目标对象，确定所述第一像素点数目和所述第二像素点数目之间的比值；以及
将所述比值确定所述第二拥挤遮挡值。
12.根据权利要求11所述的方法，其中，所述在确定所述至少一个第二拥挤遮挡值满足预设拥挤遮挡条件的情况下，将所述第二拥挤遮挡样本图像确定为所述第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像，包括：
针对所述至少一个第二拥挤遮挡值中的每个第二拥挤遮挡值，在确定所述第二拥挤遮挡值大于或等于第二预设拥挤遮挡阈值的情况下，将所述第二拥挤遮挡值确定为目标拥挤遮挡值；以及
在确定所述目标拥挤遮挡值的数目大于或等于预设数目阈值的情况下，将所述第二拥挤遮挡样本图像确定为所述第二拥挤遮挡样本图像集中的第二拥挤遮挡样本图像。
13.根据权利要求1～12中任一项所述的方法，其中，所述初始样本图像集包括以下至少一项：包括目标对象和背景的初始样本图像集和仅包括背景的初始样本图像集。
14.一种目标图像检测方法，包括：
获取待检测图像；以及
将所述待检测图像输入检测模型，得到检测结果，
其中，所述检测模型是利用根据权利要求1～13中任一项所述的方法训练的。
15.一种检测模型的训练装置，包括：
生成模块，用于利用掩膜图像集和初始样本图像集，生成针对目标场景的扩充样本图像集，其中，所述掩膜图像集是对预设图像集进行解析得到的，所述目标场景中的目标对象被其他对象干扰或者所述目标对象被截断，所述预设图像集中的图像包括所述目标对象或所述其他对象；以及
训练模块，用于利用所述初始样本图像集和所述扩充样本图像集训练用于检测所述目标对象的检测模型。
16.根据权利要求15所述的装置，其中，所述掩膜图像集包括多个掩膜图像，所述初始样本图像集包括多个初始样本图像，所述扩充样本图像集包括预设数目的扩充样本图像；
所述生成模块，包括：
选择子模块，用于从所述多个初始样本图像中选择所述预设数目的目标样本图像；
设置子模块，用于针对每个所述目标样本图像，将从所述多个掩膜图像中选择的目标掩膜图像中的目标对象或其他对象设置于所述目标样本图像的预设区域，得到针对所述目标场景的扩充样本图像；以及
获得子模块，用于根据所述预设数目的扩充样本图像，得到针对所述目标场景的扩充样本图像集。
17.一种目标图像检测装置，包括：
获取模块，用于获取待检测图像；以及
获得模块，用于将所述待检测图像输入检测模型，得到检测结果，
其中，所述检测模型是利用根据权利要求15或16所述的装置训练的。
18.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～13中任一项或权利要求14所述的方法。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～13中任一项或权利要求14所述的方法。
20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～13中任一项或权利要求14所述的方法。
CN202110964915.4A 2021-08-20 2021-08-20 训练方法、目标图像检测方法、装置、电子设备以及介质 Active CN113657518B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110964915.4A CN113657518B (zh) 2021-08-20 2021-08-20 训练方法、目标图像检测方法、装置、电子设备以及介质
US17/887,740 US20220392101A1 (en) 2021-08-20 2022-08-15 Training method, method of detecting target image, electronic device and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110964915.4A CN113657518B (zh) 2021-08-20 2021-08-20 训练方法、目标图像检测方法、装置、电子设备以及介质

Publications (2)

Publication Number Publication Date
CN113657518A true CN113657518A (zh) 2021-11-16
CN113657518B CN113657518B (zh) 2022-11-25

Family

ID=78491931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110964915.4A Active CN113657518B (zh) 2021-08-20 2021-08-20 训练方法、目标图像检测方法、装置、电子设备以及介质

Country Status (2)

Country Link
US (1) US20220392101A1 (zh)
CN (1) CN113657518B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693950A (zh) * 2022-04-22 2022-07-01 北京百度网讯科技有限公司 一种图像特征提取网络的训练方法、装置及电子设备
US20220237902A1 (en) * 2019-06-17 2022-07-28 Nippon Telegraph And Telephone Corporation Conversion device, conversion learning device, conversion method, conversion learning method, conversion program, and conversion learning program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057509A1 (en) * 2017-08-16 2019-02-21 Nvidia Corporation Learning rigidity of dynamic scenes for three-dimensional scene flow estimation
CN111784588A (zh) * 2019-04-04 2020-10-16 长沙智能驾驶研究院有限公司 图像数据增强方法、装置、计算机设备和存储介质
CN112232194A (zh) * 2020-10-15 2021-01-15 广州云从凯风科技有限公司 一种单目标人体关键点检测方法、系统、设备及介质
CN112258504A (zh) * 2020-11-13 2021-01-22 腾讯科技（深圳）有限公司 一种图像检测方法、设备及计算机可读存储介质
CN112580623A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 图像生成方法、模型训练方法、相关装置及电子设备
CN112749678A (zh) * 2021-01-22 2021-05-04 北京百度网讯科技有限公司 模型训练、矿产预测方法、装置、设备以及存储介质
US20210150751A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Occlusion-aware indoor scene analysis
CN113011298A (zh) * 2021-03-09 2021-06-22 北京百度网讯科技有限公司 截断物体样本生成、目标检测方法、路侧设备和云控平台

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057509A1 (en) * 2017-08-16 2019-02-21 Nvidia Corporation Learning rigidity of dynamic scenes for three-dimensional scene flow estimation
CN111784588A (zh) * 2019-04-04 2020-10-16 长沙智能驾驶研究院有限公司 图像数据增强方法、装置、计算机设备和存储介质
US20210150751A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Occlusion-aware indoor scene analysis
CN112232194A (zh) * 2020-10-15 2021-01-15 广州云从凯风科技有限公司 一种单目标人体关键点检测方法、系统、设备及介质
CN112258504A (zh) * 2020-11-13 2021-01-22 腾讯科技（深圳）有限公司 一种图像检测方法、设备及计算机可读存储介质
CN112580623A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 图像生成方法、模型训练方法、相关装置及电子设备
CN112749678A (zh) * 2021-01-22 2021-05-04 北京百度网讯科技有限公司 模型训练、矿产预测方法、装置、设备以及存储介质
CN113011298A (zh) * 2021-03-09 2021-06-22 北京百度网讯科技有限公司 截断物体样本生成、目标检测方法、路侧设备和云控平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NANNAN YAN等: ""Instance Segmentation Model for Substation Equipment Based on Mask R-CNN"", 《2020 INTERNATIONAL CONFERENCE ON ELECTRICAL ENGINEERING AND CONTROL TECHNOLOGIES (CEECT)》 *
史晋涛等: "基于样本扩充的Faster R-CNN电网异物监测技术", 《电网技术》 *
罗震宇等: "基于数据扩维的SAR目标识别性能提升技术", 《现代雷达》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220237902A1 (en) * 2019-06-17 2022-07-28 Nippon Telegraph And Telephone Corporation Conversion device, conversion learning device, conversion method, conversion learning method, conversion program, and conversion learning program
CN114693950A (zh) * 2022-04-22 2022-07-01 北京百度网讯科技有限公司 一种图像特征提取网络的训练方法、装置及电子设备
CN114693950B (zh) * 2022-04-22 2023-08-25 北京百度网讯科技有限公司 一种图像特征提取网络的训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN113657518B (zh) 2022-11-25
US20220392101A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
CN112801164B (zh) 目标检测模型的训练方法、装置、设备及存储介质
JP7110502B2 (ja) 深度を利用した映像背景減算法
US11321593B2 (en) Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN113657518B (zh) 训练方法、目标图像检测方法、装置、电子设备以及介质
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
CN113379627A (zh) 图像增强模型的训练方法和对图像进行增强的方法
EP3952312A1 (en) Method and apparatus for video frame interpolation, and device and storage medium
JP2023531350A (ja) サンプル画像を増分する方法、画像検出モデルの訓練方法及び画像検出方法
KR20220126264A (ko) 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체
US20230206578A1 (en) Method for generating virtual character, electronic device and storage medium
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113923474B (zh) 视频帧处理方法、装置、电子设备以及存储介质
CN113837194B (zh) 图像处理方法、图像处理装置、电子设备以及存储介质
CN108734718B (zh) 用于图像分割的处理方法、装置、存储介质及设备
CN113902899A (zh) 训练方法、目标检测方法、装置、电子设备以及存储介质
CN113112398A (zh) 图像处理方法和装置
CN112529161A (zh) 生成对抗网络训练方法、生成对抗网络、人脸图像翻译方法和装置
CN114926322B (zh) 图像生成方法、装置、电子设备和存储介质
CN114549303B (zh) 图像显示、处理方法、装置、设备和存储介质
CN114238821B (zh) 弹窗处理方法及装置
CN114119990A (zh) 用于图像特征点匹配的方法、装置及计算机程序产品
CN114093006A (zh) 活体人脸检测模型的训练方法、装置、设备以及存储介质
CN113947146A (zh) 样本数据生成方法、模型训练方法、图像检测方法及装置
CN112465692A (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant