CN113743434A - 一种目标检测网络的训练方法、图像增广方法及装置 - Google Patents

Abstract

本申请涉及人工智能领域，公开了一种目标检测网络的训练方法、图像增广方法及装置，用以提高检测准确率。该方法包括：对难例图像进行图像增广，得到难例样本集；其中，难例图像包括在被进行目标检测时获得的检测结果不满足设定条件的图像；难例样本集包括难例图像的至少一个相似图像，相似图像包含与难例图像中部分区域相似的区域；至少根据难例样本集，对目标检测网络进行训练。

Description

一种目标检测网络的训练方法、图像增广方法及装置

技术领域

本申请实施例涉及人工智能领域，尤其涉及一种目标检测网络的训练方法、图像增广方法及装置。

背景技术

目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，用以定位、识别视频或者图像中的目标对象，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。

基于机器学习的目标检测网络(即使用神经网络实现目标检测)依赖于训练的数据，通过对大量数据的学习实现检测功能。若应用于某个场景，如智能驾驶领域的场景中检测诸如人类、汽车等目标对象的位置，需先获取与该场景目标对象相关的数据。

目前，对于现有的基于机器学习的目标检测网络(例如YOLO等)，存在一些场景的图像在被检测时，对于目标对象的识别容易出错，检测结果不能满足设定条件。而这些场景下识别容易出错的数据数量少获取成本高，导致这些场景下的训练数据较少，而缺乏训练数据会进一步导致目标检测网络在这些场景下检测效果不佳，准确率较低。

发明内容

本申请实施例提供一种目标检测网络的训练方法、图像增广方法及装置，以期通过图像增广扩充识别容易出错的数据，对目标检测网络进行训练，从而提升检测准确率。

第一方面，本申请实施例提供一种目标检测网络的训练方法，包括：对难例图像进行图像增广，得到难例样本集；其中，所述难例图像包括在被进行目标检测时获得的检测结果不满足设定条件的图像；所述难例样本集包括所述难例图像的至少一个相似图像，所述相似图像包含与所述难例图像中部分区域相似的区域；至少根据所述难例样本集，对目标检测网络进行训练。通过对难例图像进行图像增广得到该难例图像的至少一个相似图像所构成的难例样本集，扩充了识别容易出错的数据，利用该难例样本集对目标检测网络进行训练，能够有效提高目标检测网络的检测准确度。

在一种可选的实现方式中，所述难例图像的检测结果包括所述难例图像中的第一区域，所述第一区域内的对象不为目标对象；和/或，所述难例图像的检测结果不包括所述难例图像中的第二区域，所述第二区域内的对象为所述目标对象。

在一种可选的实现方式中，所述对所述难例图像进行图像增广，得到难例样本集，包括：

对所述难例图像中的第一指定区域进行随机变换，得到所述第一指定区域对应的相似区域；其中，所述第一指定区域包括所述第一区域和/或所述第二区域；根据所述相似区域对所述难例图像进行图像增广，生成所述难例图像的相似图像。

在一种可选的实现方式中，所述根据所述相似区域对所述难例图像进行图像增广，生成所述难例图像的相似图像，包括：在所述难例图像中的第二指定区域上附加所述相似区域的内容，生成所述难例图像的相似图像；其中，所述检测结果不包括所述第二指定区域。针对图像中的误检或者漏检的区域进行随机变换得到相似区域，以模拟出误检或者漏检的区域中对象的不同状态；进而在该图像或者是其他图像的未被检测到空白区域上附加相似区域的内容生成该图像对应的相似图像，实现图像增广，能够扩充网络训练的数据量，有助于提升网络训练的效果。

在一种可选的实现方式中，所述随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

在一种可选的实现方式中，所述难例图像为由所述目标检测网络进行目标检测，检测结果不满足所述设定条件的图像。在目标检测网络使用过程中，利用目标检测网络的检测结果动态对目标检测网络的检测性能进行优化，即基于目标检测网络检测出检测结果不满足设定条件的图像构造难例样本集，对目标检测网络进行训练，能够有效提高检测准确度。

在一种可选的实现方式中，上述方法还包括：通过所述目标检测网络，对所述难例图像的至少一个相似图像进行目标检测；根据所述至少一个相似图像的检测结果，在所述至少一个相似图像中确定出检测结果不满足所述设定条件的相似图像。

所述至少根据难例样本集，对目标检测网络进行训练，包括：根据有效难例集和预设图像样本集，对所述目标检测网络进行训练；其中，所述有效难例样本集包括检测结果不满足所述设定条件的相似图像，或者所述有效难例样本集包括检测结果不满足所述设定条件的相似图像和所述难例图像。基于目标检测网络对于难例图像集包括的相似图像进行目标检测的检测结果，对难例图像集包括的相似图像进行筛选，保留其中检测结果不满足设定条件的相似图像，进而将包括检测结果不满足设定条件的相似图像的有效难例样本集结合预设图像样本集，对目标检测网络进行更加有效的训练，有助于进一步提升检测准确率。

在一种可选的实现方式中，所述根据有效难例样本集和预设图像样本集，对所述目标检测网络进行训练，包括：按照第一采样概率，在所述预设图像样本集中获取第一图像样本；按照第二采样概率，在所述有效难例样本集中获取第二图像样本；根据所述第一图像样本和所述第二图像样本生成新的图像样本集，基于所述新的图像样本集对所述目标检测网络进行训练。为检测结果不满足设定条件的相似图像构成的有效难例样本集和图像样本集赋予不同的采样概率，使其以不同的采样概率参与对目标检测网络的训练，在引入新的训练数据保证目标检测网络得到有效训练的同时，避免过拟合的风险。

第二方面，本申请实施例提供一种图像增广方法，包括：对第一图像的指定区域进行随机变换，得到所述指定区域对应的相似区域；根据所述相似区域对所述第一图像进行图像增广，生成至少一个相似图像。对于给定图像，针对该图像中指定区域进行随机变换，得到相似区域；进而生成包含相似区域与前述给定图像相似的一个或多个图像。基于图像中部分区域的变形实现图像增广，具有一定的针对性，能够按照实际需求更为灵活的扩充数据量，可以应用于需大量训练数据的网络训练过程，或者是其它需要针对图像中部分区域变形实现个性化图像增广的应用场景中。

在一种可选的实现方式中，所述根据所述相似区域对所述第一图像进行图像增广，生成至少一个相似图像，包括：在所述第一图像上附加所述相似区域的内容，生成所述相似图像；或者，在第二图像上附加所述相似区域的内容，生成所述相似图像。

在一种可选的实现方式中，所述随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

第三方面，本申请实施例提供一种目标检测网络的训练装置，包括：增广模块，用于对难例图像进行图像增广，得到难例样本集；其中，所述难例图像包括在被进行目标检测时获得的检测结果不满足设定条件的图像；所述难例样本集包括所述难例图像的至少一个相似图像，所述相似图像包含与所述难例图像中部分区域相似的区域；训练模块，用于至少根据所述难例样本集，对目标检测网络进行训练。通过对难例图像进行图像增广得到该难例图像的至少一个相似图像所构成的难例样本集，扩充了识别容易出错的数据，利用该难例样本集对目标检测网络进行训练，能够有效提高目标检测网络的检测准确度。

在一种可选的实现方式中，所述难例图像的检测结果包括所述难例图像中的第一区域，所述第一区域内的对象不为目标对象；和/或，所述难例图像的检测结果不包括所述难例图像中的第二区域，所述第二区域内的对象为所述目标对象。

在一种可选的实现方式中，所述增广模块，还用于：对所述难例图像中的第一指定区域进行随机变换，得到所述第一指定区域对应的相似区域；其中，所述第一指定区域包括所述第一区域和/或所述第二区域；根据所述相似区域对所述难例图像进行图像增广，生成所述难例图像的相似图像。

在一种可选的实现方式中，所述增广模块，还用于：在所述难例图像中的第二指定区域上附加所述相似区域的内容，生成所述难例图像的相似图像；其中，所述检测结果不包括所述第二指定区域。针对图像中的误检或者漏检的区域进行随机变换得到相似区域，以模拟出误检或者漏检的区域中对象的不同状态；进而在该图像或者是其他图像的未被检测到空白区域上附加相似区域的内容生成该图像对应的相似图像，实现图像增广，能够扩充网络训练的数据量，有助于提升网络训练的效果。

在一种可选的实现方式中，所述随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

在一种可选的实现方式中，所述难例图像为由所述目标检测网络进行目标检测，检测结果不满足所述设定条件的图像。在目标检测网络使用过程中，利用目标检测网络的检测结果动态对目标检测网络的检测性能进行优化，即基于目标检测网络检测出检测结果不满足设定条件的图像构造难例样本集，对目标检测网络进行训练，能够有效提高检测准确度。

在一种可选的实现方式中，所述装置还包括检测模块；所述检测模块，用于通过所述目标检测网络，对所述难例图像的至少一个相似图像进行目标检测；根据所述至少一个相似图像的检测结果，在所述至少一个相似图像中确定出检测结果不满足所述设定条件的相似图像；所述训练模块，还用于根据所述有效难例样本集和预设图像样本集，对所述目标检测网络进行训练；其中，所述有效难例样本集包括检测结果不满足所述设定条件的相似图像，或者所述有效难例样本集包括检测结果不满足所述设定条件的相似图像和所述难例图像。基于目标检测网络对于难例图像集包括的相似图像进行目标检测的检测结果，对难例图像集包括的相似图像进行筛选，保留其中检测结果不满足设定条件的相似图像，进而将包括检测结果不满足设定条件的相似图像的有效难例样本集结合预设图像样本集，对目标检测网络进行更加有效的训练，有助于进一步提升检测准确率。

在一种可选的实现方式中，所述训练模块，还用于：按照第一采样概率，在所述预设图像样本集中获取第一图像样本；按照第二采样概率，在所述有效难例数据集中获取第二图像样本；根据所述第一图像样本和所述第二图像样本生成新的图像样本集，基于所述新的图像样本集对所述目标检测网络进行训练。为有效难例样本集和图像样本集赋予不同的采样概率，使其以不同的采样概率参与对目标检测网络的训练，在引入新的训练数据保证目标检测网络得到有效训练的同时，避免过拟合的风险。

第四方面，本申请实施例提供一种图像增广装置，包括：区域变换模块，对第一图像的指定区域进行随机变换，得到所述指定区域对应的相似区域；增广模块，用于根据所述相似区域对所述第一图像进行图像增广，生成至少一个相似图像。对于给定图像，针对该图像中指定区域进行随机变换，得到相似区域；进而生成包含相似区域与前述给定图像相似的一个或多个图像。基于图像中部分区域的变形实现图像增广，具有一定的针对性，能够按照实际需求更为灵活的扩充数据量。可以应用于需大量训练数据的网络训练过程，或者是其它需要针对图像中部分区域变形实现个性化图像增广的应用场景中。

在一种可选的实现方式中，所述增广模块，还用于：在所述第一图像上附加所述相似区域的内容，生成所述相似图像；或者，在第二图像上附加所述相似区域的内容，生成所述相似图像。

在一种可选的实现方式中，所述随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

第五方面，本申请实施例提供一种图像增广系统，包括客户端和云服务器；

所述客户端，用于接收第一图像，并将所述第一图像通过预设接口发送至所述云服务器；其中，所述第一图像可以是被进行目标检测时获得的检测结果不满足设定条件的图像，或者是较难获取的实际场景中用作训练数据的图像；所述预设接口可以是云服务器开放的软件开发工具包(software development kit，SDK)或者应用编程接口(application programming interface，API)等。

所述云服务器，用于对第一图像的指定区域进行随机变换，得到所述指定区域对应的相似区域，并根据所述相似区域对所述第一图像进行图像增广，生成至少一个相似图像。

第六方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述目标检测网络的训练装置执行第一方面任一可能的实现方式中的方法或者第二方面任一可能的实现方式中的方法。

第七方面，本申请实施例提供一种电子设备，包括：处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；所述处理器用于运行所述代码指令以执行第一方面任一可能的实现方式中的方法或者第二方面任一可能的实现方式中的方法。

第八方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使第一方面任一可能的实现方式中的方法或者第二方面任一可能的实现方式中的方法被实现。

第九方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当计算机程序代码被运行时，使得第一方面任一可能的实现方式中的方法或者第二方面任一可能的实现方式中的方法被执行。

本申请实施例提供的上述目标检测网络方法、图像增广方法及装置可以应用于安防、物联网(the internet of things，IOT)等领域。

附图说明

图1为本申请实施例提供的一种检测系统工作流程示意图；

图2a为本申请实施例提供的一种目标检测网络的训练方法流程示意图之一；

图2b为本申请实施例提供的一种目标检测网络的训练方法流程示意图之二；

图3a为本申请实施例提供的一种检测结果示意图；

图3b为本申请实施例提供的另一种检测结果示意图；

图4a为本申请实施例提供的一种图像增广示意图；

图4b为本申请实施例提供的另一种图像增广示意图；

图5为本申请实施例提供的一种训练流程示意图；

图6为本申请实施例提供的一种图像增广方法的流程示意图；

图7为本申请实施例提供的一种目标检测网络的训练装置的结构示意图；

图8为本申请实施例提供的一种图像增广装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图之一；

图10为本申请实施例提供的一种电子设备的结构示意图之二。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下对本申请中提供的部分用语进行解释说明，方便本领域技术人员理解：

(1)目标检测网络

目标检测网络可识别图像中的特定人或者物体等目标对象，如标记目标对象在输入该检测网络的图像中的区域。本申请实施例中，目标检测网络可具体采用Faster R-CNN，YOLO，SSD等目标检测算法实现，目标检测网络也可称为目标检测模型。

(2)图像增广

图像增广技术通过对用作训练数据的图像做一系列随机改变，来产生相似但又不同的图像(以下，简称为相似图像)，可用以扩充目标检测网络的训练数据的规模。本申请实施例中所产生的相似图像中包含与被实施随机改变的原图像中部分区域相似的区域。

(3)本申请中涉及的多个，是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述各数据、但这些数据不应限于这些术语。这些术语仅用来将各数据彼此区分开。

本申请实施例提供一种检测系统，该检测系统用于检测图像，识别出图像中的特定人或物体等目标对象。例如经过动作识别方法对图像进行处理得到图像中人的动作类别，通过目标检测网络学习动作类别对图像进行检索分类，以检测出图像中具有某种动作特征的人。检测系统可具体通过训练目标检测网络，以使用目标检测网络对图像进行目标检测。

其中，用于训练目标检测网络的训练数据，或称图像样本可以是从实际场景中采集的图像，也可以是对所采集的图像进行图像增广所扩充出的图像，或者是一些用于目标检测的数据集，诸如PASCAL VOC，MS COCO，ImageNet等。可选的，如果由机器针对某一采集的图像中的目标对象识别有误，则对该采集的图像进行图像增广以扩充出更多的图像用作目标检测网络的训练数据。需要说明的是，前述机器可以是前述目标检测网络。也可以是机器学习领域中其它的目标识别模型，例如RestNet等，本申请实施例并不进行限制。

进一步，该检测系统还可根据目标检测网络的检测结果动态确定对目标检测网络进行再次训练的训练数据，不断优化检测网络，以提高检测准确度。如图1所示的一种检测系统工作流程示意图，示意出了如下(1)～(3)的工作过程。

(1)检测过程：检测系统100通过以预设图像样本集作为原始训练数据所训练出的目标检测网络11，对于输入图像进行目标检测，识别输入图像中的目标对象。其中，输入图像即输入检测系统100的图像，可以是在实际场景中采集到的图像。

(2)增广过程：当前述输入图像对应的检测结果不满足设定条件时，检测系统100确定该输入图像为难例图像；其中，设定条件包括识别出图像中的目标对象。检测系统100对难例图像进行图像增广，得到该难例图像的难例样本集，难例样本集中包括难例图像的至少一个相似图像。图1中具体示意出难例图像。

(3)训练过程：检测系统100根据难例样本集和图像样本集更新训练数据，以基于新的训练数据对于前述目标检测网络11进行再次训练，得到训练后的检测网络12。

可选的，检测系统100在得到难例图像的至少一个相似图像后，还可从中筛选出对于训练目标检测网络11有效，即通过目标检测网络11检测的结果不满足设定条件的相似图像，其中，检测结果不满足设定条件的相似图像构成有效难例样本集，或者检测结果不满足设定条件的相似图像和难例图像构成有效难例样本集。则在训练过程中，检测系统100可具体根据有效难例样本集和预设图像样本集中的图像更新训练数据。

实际应用时，上述检测系统可采用无人驾驶感知系统、终端设备、监控设备等实现，应用于安防、物联网(the internet of things，IOT)等领域，可具体部署在无人驾驶，平安城市等需要进行目标对象识别的场景中。

本申请实施例提供一种目标检测网络的训练方法、图像增广方法及装置，以期提升检测准确率。由于方法及装置解决问题的原理相同，因此方法部分与装置部分实施例可以相互参见，重复之处不再赘述。检测系统可以执行本申请实施例提供的目标检测网络的训练方法。

下面将结合附图，对本申请实施例提供的目标检测网络的训练方法进行详细描述。

参见图2a，本申请实施例提供一种目标检测网络的训练方法，该方法包括：

S201，对难例图像进行图像增广，得到难例样本集。

其中，难例图像包括在被进行目标检测时获得的检测结果不满足设定条件的图像；设定条件包括识别出图像中的目标对象。难例样本集包括难例图像的至少一个相似图像，相似图像包含与难例图像中部分区域相似的区域。

S202，至少根据所述难例样本集，对目标检测网络进行训练。

其中，目标检测网络可以是经过训练的网络，也可以是未经训练的网络。

本申请实施例中，通过对难例图像进行图像增广得到该难例图像的至少一个相似图像所构成的难例样本集，扩充了识别容易出错的数据，利用该难例样本集对目标检测网络进行训练，实现对于难例图像相关训练数据的学习，能够有效提高目标检测网络的检测准确度。

在一种可选的实施方式中，可通过机器对图像进行目标检测，将对目标对象识别有误，也即前述检测结果不满足设定条件的图像确定为难例图像，前述机器可以是目标检测网络。也可以是机器学习领域中其它的目标识别模型，例如RestNet等，本申请实施例并不进行限制。

为便于实施，本申请实施例以前述机器为目标检测网络为例，对于前述目标检测网络的训练方法进行详细说明。参见图2b，本申请实施例提供另一种目标检测网络的训练方法，该方法具体流程如下。

S200，通过目标检测网络对输入图像进行目标检测，将检测结果不满足设定条件的输入图像确定为难例图像；

S201，对难例图像进行图像增广，得到难例样本集；其中，难例样本集包括难例图像的至少一个相似图像，相似图像包含与难例图像中部分区域相似的区域。

S202，至少根据难例样本集，对目标检测网络进行训练。

本申请实施例中，在通过目标检测网络检测的输入图像中，确定出检测结果不满足设定条件的图像，即难例图像；对于难例图像进行图像增广得到难例样本集；至少根据难例样本集对目标检测网络进行训练，以优化目标检测网络，能够有效提高检测准确度。

在一种可选的实施方式中，难例图像的检测结果包括难例图像中的第一区域，第一区域内的对象不为目标对象；和/或，难例图像的检测结果不包括难例图像中的第二区域，第二区域内的对象为目标对象。

则在如图2b所示的方法中，如果输入图像的检测结果符合如下情况中的至少一种：检测结果包括输入图像中的前述第一区域、检测结果不包括输入图像中的前述第二区域，则可确定该输入图像为难例图像。

具体的，采用目标检测网络对输入图像进行目标检测，识别输入图像中的目标对象，得到输入图像对应的第一标注文件，第一标注文件用于记录输入图像中一个或多个被检测出区域对应的区域信息。其中，区域信息包括区域在前述输入图像中的位置信息以及区域内对象的类别。若第一标注文件中存在至少一个区域信息对应的区域内对象的类别与目标对象的类别不同，则确定检测结果包括输入图像中的第一区域，也即发生误检；若第一标注文件中记录的区域信息对应的区域没有涵盖输入图像中目标对象所在的全部区域，则确定检测结果不包括输入图像中的第二区域，也即发生漏检。

示例性的，以目标对象是前景中“人”和“车”为例，参见图3a本申请实施例提供的一种检测结果示意图，以采用长方形实线框在图像上标记被检测出区域的形式，示意出了发生误检的情况：将背景误检为前景，在图像A中标记出了包含背景中“垃圾桶”的区域，即图中的框1。

示例性的，以目标对象是前景中“人”和“车”为例，参见图3b本申请实施例提供的另一种检测结果示意图，以采用长方形实线框，在图像上标记被检测出区域的形式，示意出了发生漏检的情况：存在前景漏检，没有将图像B中包含“人”的区域全部标记出来，也即图像B中存在未被标记出的包含“人”的区域。

在一种可选的实施方式中，对难例图像进行图像增广得到难例样本集，可参照如下步骤S11～S12实施：

步骤S11，对难例图像中的第一指定区域进行随机变换，得到第一指定区域对应的相似区域；其中，第一指定区域包括第一区域和/或第二区域；随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种；前述相似区域的数量可以为一个或多个，其中任一相似区域可以是对第一指定区域进行前述随机变换中至少一种变换得到的。

可选的，在对输入图像进行目标检测发生误检的情况下，可为该输入图像中的误检区域信息记录误检标签，并记录在该输入图像对应的第一标注文件中与前述误检区域对应的区域信息中。则基于此，将该输入图像确定为难例图像对其进行图像增广时，可根据该输入图像对应的第一标注文件记录的误检标签，检索出该输入图像中的误检区域，进而对误检区域进行随机变换，得到误检区域对应的相似区域。其中，误检标签可以为诸如编号、名称等可指示误检区域的标识信息，本申请实施例中对此不进行限定。

可选的，在对输入图像进行目标检测发生漏检的情况下，可为该输入图像中的漏检区域添加漏检标签，并在该输入图像对应的第一标注文件中添加记录前述漏检区域对应的区域信息，前述漏检区域对应的区域信息包括漏检区域在输入图像中的位置信息、漏检区域中对象的类别外，还包括漏检标签。则基于此，将该输入图像确定为难例图像对其进行图像增广时，可根据该输入图像对应的第一标注文件记录的漏检标签，检索出该输入图像中的漏检区域，进而对误检区域进行随机变换，得到漏检区域对应的相似区域。其中，漏检标签可以为诸如编号、名称等可指示漏检区域的标识信息，本申请实施例中对此不进行限定。

此外，在对输入图像进行目标检测既发生误检也发生漏检的情况下，将该输入图像确定为难例图像对其进行图像增广时，可分别对于该输入图像中漏检区域和误检区域进行随机变换，得到漏检区域对应的相似区域以及误检区域对应的相似区域。其中，确定漏检区域以及误检区域的过程可参照上述实施例实施，本申请实施例对此不再进行赘述。

步骤S12，根据相似区域对难例图像进行图像增广，生成难例图像的相似图像。前述相似图像的数量可以为一个或多个，其中任一相似图像中包含至少一个与难例图像中第一指定区域所对应的相似区域。

具体实施时，可通过在难例图像中的第二指定区域上附加相似区域的内容，生成难例图像的相似图像；其中，检测结果不包括第二指定区域。如图2b所示的方法中，第二指定区域为输入图像中除通过目标检测网络检测出的区域之外的其他区域。

可选的，还可通过在其他图像中的第三指定区域上附加相似区域的内容，生成输入图像的相似图像。如图2b所示的方法中，其他图像可以是通过目标检测网络检测的至少一个输入图像中除前述难例图像之外的图像；其他图像对应的检测结果中不包括第三指定区域，也即第三指定区域为其他图像中除通过目标检测网络检测出的区域之外的其他区域。

本申请实施例中，针对图像中的误检或者漏检的区域进行随机变换得到相似区域，以模拟出误检或者漏检的区域中对象的不同状态；进而在该图像或者是其他图像的未被检测到空白区域上附加相似区域的内容生成该图像对应的相似图像，实现图像增广，能够扩充网络训练的数据量，有助于提升网络训练的效果。

示例性的，以图3a示意的误检的情况，即在图像A中标记有包含“垃圾桶”的区域为例，如图4a所示，本申请实施例提供了一种图像增广示意图。首先针对前述图像A中包含“垃圾桶”的区域进行三种随机变换，分别得到图像A的三个相似图像，即A-1、A-2、A-3。

具体的，如图4a所示第一种随机变换包含两次对于包含“垃圾桶”的区域的随机变化，第一次随机变换为缩放变换，第二次随机变换包括拉伸变换以及旋转变换，得到包含“垃圾桶”的区域所对应的两个相似区域，将这两个相似区域的内容附加在图像A中的其他区域，生成相似图像A-1；第二种随机变换包含一次对于包含“垃圾桶”的区域的随机变化，该随机变换包括缩放变换以及旋转变换，得到包含“垃圾桶”的区域所对应的一个相似区域，将该相似区域的内容附加在图像A中的其他区域，生成相似图像A-2；第三种随机变换包含一次对于包含“垃圾桶”的区域的随机变化，该随机变换为剪裁变换，得到包含“垃圾桶”的区域所对应的一个相似区域，将该相似区域的内容附加在图像A中的其他区域，生成相似图像A-3。

示例性的，以图3b示意的漏检的情况，即图像B中存在未被标记出的包含“人”的区域为例，如图4b所示，本申请实施例提供了另一种图像增广示意图。首先针对前述图像B中的虚线框，也即前述未被标记出的包含“人”的区域进行三种随机变换，分别得到图像B的三个相似图像，即B-1、B-2、B-3。

具体的，如图4b所示第一种随机变换包含两次对于未被标记的包含“人”的区域的随机变化，第一次随机变换为缩放变换，第二次随机变换包括缩放变换以及旋转变换，得到未被标记的包含“人”的区域所对应的两个相似区域，将这两个相似区域的内容附加在图像B中的其他区域，生成相似图像B-1；第二种随机变换包含一次对于未被标记的包含“人”的区域的随机变化，该随机变换为拉伸变换，得到未被标记的包含“人”的区域所对应的一个相似区域，将该相似区域的内容附加在图像B中的其他区域，生成相似图像B-2；第三种随机变换包含一次对于未被标记的包含“人”的区域的随机变化，该随机变换为剪裁变换，得到未被标记的包含“人”的区域所对应的一个相似区域，将该相似区域的内容附加在图像B中的其他区域，生成相似图像B-3。

在一种可选的实施方式中，难例图像为由目标检测网络进行目标检测，检测结果不满足设定条件的图像。在目标检测网络使用过程中，利用目标检测网络的检测结果动态对目标检测网络的检测性能进行优化，即基于目标检测网络检测出检测结果不满足设定条件的图像构造难例样本集，对目标检测网络进行训练。能够有效提高检测准确度。

在一种可选的实施方式中，上述至少根据难例样本集，对目标检测网络进行训练，可参照以下方式实施：根据难例样本集和预设图像样本集，对目标检测网络进行训练。

其中，预设图像样本集可以是诸如PASCALVOC，MS COCO，ImageNet等用于目标检测的数据集，或者是根据采集的实际场景中的图像预先构造的图像样本集。此外，若难例图像包括由目标检测网络进行目标检测，检测结果不满足设定条件的图像，预设图像样本集也可以是目标检测网络的原始训练数据集。本申请实施例对此并不进行限制。

在另一种可选的实施方式中，在得到难例样本集后，上述方法还包括步骤S13～S14。

步骤S13，通过目标检测网络，对难例图像的至少一个相似图像进行目标检测。

具体的，针对至少一个相似图像中的任一相似图像，采用目标检测网络识别任一相似图像中的目标对象，得到任一相似图像对应的第二标注文件，第二标注文件用于记录任一相似图像中一个或多个被检测出区域对应的区域信息，该区域信息包括被检测出区域在任一相似图像中的位置信息以及被检测出区域内对象的类别。

步骤S14，根据至少一个相似图像的检测结果，在至少一个相似图像中确定出检测结果不满足设定条件的相似图像，检测结果不正确的相似图像构成有效难例样本集。

具体的，基于任一相似图像对应的第二标注文件，若第二标注文件中存在至少一个区域信息对应的区域内对象的类别与目标对象的类别不同，则确定检测结果包括任一相似图像中的第一区域，也即发生误检；若第二标注文件中记录的区域信息对应的区域没有涵盖任一相似图像中目标对象所在的全部区域，则确定检测结果不包括任一相似图像中的第二区域，也即发生漏检。

基于此，上述至少根据难例样本集，对目标检测网络进行训练，可参照以下方式实施：根据有效难例样本集和预设图像样本集，对目标检测网络进行训练。有效难例样本集包括检测结果不满足设定条件的相似图像，或者有效难例样本集包括检测结果不满足设定条件的相似图像和难例图像。

其中，检测结果不满足设定条件的相似图像可表现为：当难例图像的检测结果包括前述第一区域，即发生误检时，该难例图像经过图像增广后得到的相似图像对应的检测结果仍包括误检区域；和/或者，当难例图像的检测结果不包括前述第二区域，即发生漏检时，该难例图像经过图像增广后得到的相似图像对应的检测结果仍存在漏检。本申请实施例中，基于目标检测网络对于难例图像集包括的相似图像进行目标检测的检测结果，对难例图像集包括的相似图像进行筛选，保留其中检测结果不满足设定条件的相似图像，进而将包括检测结果不满足设定条件的相似图像的有效难例样本集结合预设图像样本集，对目标检测网络进行更加有效的训练，有助于进一步提升检测准确率。

在一种可选的实施方式中，生成难例图像的相似图像后，还可根据目标对象在相似图像中的区域，确定相似图像对应的参考标注文件；其中，参考标注文件中包含相似图像中目标对象所在的全部区域对应的区域信息，该区域信息包括目标对象所在的全部区域的位置信息和区域内对象，也即目标对象的类别。

示例性的，以目标对象是“人”和“车”为例，本申请实施例在图4a中采用长方形实线框的形式，在相似图像A-1、A-2、A-3上标记出了目标对象所在的全部区域，用以示意相似图像对应的参考标注文件中所记录的区域信息；本申请实施例在图4b中也采用长方形实线框的形式，在相似图像B-1、B-2、B-3上标记出了目标对象所在的全部区域，用以示意相似图像对应的参考标注文件中所记录的区域信息。

基于此，前述根据至少一个相似图像对应的检测结果，在至少一个相似图像中确定出检测结果不满足设定条件的相似图像，可参照如下方式(1)或方式(2)实施：

方式(1)，针对至少一个相似图像中的任一相似图像，采用目标检测网络识别目标对象在任一相似图像中的区域，得到任一相似图像对应的第二标注文件。将任一相似图像对应的第二标注文件中记录的区域信息与参考标注文件中记录的区域信息进行比对；如果比对的结果为第二标注文件中记录的区域信息与参考标注文件中记录的区域信息不完全匹配，则确定任一相似图像的检测结果不满足设定条件。

方式(2)，针对至少一个相似图像中的任一相似图像，根据任一相似图像对应的检测结果所包括的区域是否与任一相似图像对应的参考标注文件中记录的区域信息所对应的区域完全匹配，如果否，则确定任一相似图像的检测结果不满足设定条件。

在一种可选的实施方式中，根据有效难例样本集和预设图像样本集，对目标检测网络进行训练，可具体参照如下方式实施：

按照第一采样概率，在预设图像样本集中获取第一图像样本；按照第二采样概率，在有效难例样本集中获取第二图像样本；根据第一图像样本和第二图像样本生成新的图像样本集，基于新的图像样本集对目标检测网络进行训练。

其中，第一采样概率和第二采样概率可以相同或者不相同；另可设定第一采样概率与第二采样概率的取值之和为1，第二采样概率的取值范围为0.01～0.2。需要说明的是，前述第二采样概率的取值范围以及具体取值可根据实际情况设置，本申请实施例在此不进行限定。

示例性的，第一采样概率取值为0.9，第二采样概率取值为0.1。参见图5，本申请实施例提供了一种训练流程示意图，具体示意出了按照0.9采样概率从预设图像样本集中获取第一图像样本，按照0.1采样概率从有效难例样本集中获取第二图像样本；将第一图像样本和第二图像样本结合生成新的图像样本集对目标检测网络进行训练，得到训练后的目标检测网络的过程。

本申请实施例中，为有效难例样本集和图像样本集赋予不同的采样概率，使其以不同的采样概率参与对目标检测网络的训练，在引入新的训练数据保证目标检测网络得到有效训练的同时，避免过拟合的风险。

另外，参见图6，本申请实施例还提供一种图像增广方法，该方法具体流程如下。

S601，对第一图像的指定区域进行随机变换，得到指定区域对应的相似区域。

其中，随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。指定区域可以是根据实际应用所设定的，本申请实施例对此不进行限制。

S602，根据相似区域对第一图像进行图像增广，生成至少一个相似图像。

本申请实施例中，对于给定图像，针对该图像中指定区域进行随机变换，得到相似区域；进而生成包含相似区域与前述给定图像相似的一个或多个图像。基于图像中部分区域的变形实现图像增广，具有一定的针对性，能够按照实际需求更为灵活的扩充数据量。本申请实施例提供的图像增广方法可以应用于需大量训练数据的网络训练过程，或者是其它需要针对图像中部分区域变形实现个性化图像增广的应用场景中。

在一种可选的实施方式中，根据相似区域对第一图像进行图像增广，生成至少一个相似图像，可参照如下方式实施：在第一图像上附加相似区域的内容，生成相似图像；或者，在第二图像上附加相似区域的内容，生成相似图像。

具体实施时，可根据实际需求在第一图像或者第二图像上的某些区域附加相似区域的内容，本申请实施例对此不进行限制。示例性的，若将该图像增广方法应用于目标检测网络训练数据的扩充，可选的在第一图像或者第二图像上的不包含目标对象的空白区域附加相似区域的内容。

基于与上述目标检测网络的训练方法相同的构思，参见图7，本申请实施例提供一种目标检测网络的训练装置700，该装置700包括增广模块702和训练模块703。

增广模块702，用于对难例图像进行图像增广，得到难例样本集。

其中，难例图像包括在被进行目标检测时获得的检测结果不满足设定条件的图像；难例样本集包括难例图像的至少一个相似图像，相似图像包含与难例图像中部分区域相似的区域。

训练模块703，用于至少根据难例样本集，对目标检测网络进行训练。

本申请实施例中，通过对难例图像进行图像增广得到该难例图像的至少一个相似图像所构成的难例样本集，扩充了识别容易出错的数据，利用该难例样本集对目标检测网络进行训练，实现对于难例图像有关训练数据的学习，能够有效提高目标检测网络的检测准确度。

在一种可选的实施方式中，难例图像的检测结果包括难例图像中的第一区域，第一区域内的对象不为目标对象；和/或，难例图像的检测结果不包括难例图像中的第二区域，第二区域内的对象为目标对象。

在一种可选的实施方式中，增广模块702，还用于：对难例图像中的第一指定区域进行随机变换，得到第一指定区域对应的相似区域；其中，第一指定区域包括第一区域和/或第二区域；根据相似区域对难例图像进行图像增广，生成难例图像的相似图像。

在一种可选的实施方式中，增广模块702，还用于：在难例图像中的第二指定区域上附加相似区域的内容，生成难例图像的相似图像；其中，检测结果不包括第二指定区域。

本申请实施例中，针对图像中的误检或者漏检的区域进行随机变换得到相似区域，以模拟出误检或者漏检的区域中对象的不同状态；进而在该图像或者是其他图像的未被检测到空白区域上附加相似区域的内容生成该图像对应的相似图像，实现图像增广，能够扩充网络训练的数据量，有助于提升网络训练的效果。

在一种可选的实施方式中，随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

在一种可选的实施方式中，难例图像为由目标检测网络进行目标检测，检测结果不满足设定条件的图像。

本申请实施例中，基于目标检测网络检测出检测结果不满足设定条件的图像构造难例样本集，对目标检测网络进行训练。在目标检测网络使用过程中，利用目标检测网络的检测结果动态对目标检测网络的检测性能进行优化，能够有效提高检测准确度。

在一种可选的实施方式中，上述装置700还包括检测模块701；检测模块701，用于通过目标检测网络，对难例图像的至少一个相似图像进行目标检测；根据至少一个相似图像的检测结果，在至少一个相似图像中确定出检测结果不满足设定条件的相似图像。

训练模块703，还用于根据有效难例样本集和图像样本集，对目标检测网络进行训练；其中，有效难例样本集包括检测结果不满足设定条件的相似图像，或者有效难例样本集包括检测结果不满足设定条件的相似图像和难例图像。

本申请实施例中，基于目标检测网络对于难例图像集包括的相似图像进行目标检测的检测结果，对难例图像集包括的相似图像进行筛选，保留其中检测结果不满足设定条件的相似图像，进而将包括检测结果不满足设定条件的相似图像的有效难例样本集结合预设图像样本集，对目标检测网络进行更加有效的训练，有助于进一步提升检测准确率。

在一种可选的实施方式中，训练模块703，还用于：

按照第一采样概率，在预设图像样本集中获取第一图像样本；

按照第二采样概率，在有效难例样本集中获取第二图像样本；

根据第一图像样本和第二图像样本生成新的图像样本集，基于新的图像样本集对目标检测网络进行训练。

本申请实施例中，为有效难例样本集和图像样本集赋予不同的采样概率，使其以不同的采样概率参与对目标检测网络的训练，在引入新的训练数据保证目标检测网络得到有效训练的同时，避免过拟合的风险。

基于与上述图像增广方法相同的构思，参见图8，本申请实施例提供一种图像增广装置800，包括：

区域变换模块801，对第一图像的指定区域进行随机变换，得到指定区域对应的相似区域。

增广模块802，用于根据相似区域对第一图像进行图像增广，生成至少一个相似图像。

本申请实施例中，对于给定图像，针对该图像中指定区域进行随机变换，得到相似区域；进而生成包含相似区域与前述给定图像相似的一个或多个图像。基于图像中部分区域的变形实现图像增广，具有一定的针对性，能够按照实际需求更为灵活的扩充数据量。本申请实施例提供的图像增广装置可以应用于需大量训练数据的网络训练过程，或者是其它需要针对图像中部分区域变形实现个性化图像增广的应用场景中。

在一种可选的实施方式中，增广模块802，还用于：在第一图像上附加相似区域的内容，生成相似图像；或者，在第二图像上附加相似区域的内容，生成相似图像。

在一种可选的实施方式中，随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

进一步，如图9所示，为本申请提供的一种电子设备900。该电子设备900可应用于目标检测网络的训练装置或者图像增广装置。示例性地，电子设备900可以是芯片或芯片系统。可选的，在本申请实施例中芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

电子设备900可以包括至少一个处理器910，电子设备900还可以包括至少一个存储器920，用于存储计算机程序、程序指令和/或数据。存储器920和处理器910耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其他的形式，用于装置、单元或模块之间的信息交互。处理器910可能和存储器920协同操作。处理器910可能执行存储器920中存储的计算机程序。可选的，所述至少一个存储器920中的至少一个可以包括于处理器910中。

电子设备900中还可以包括收发器930，电子设备900可以通过收发器930和其他设备进行信息交互。收发器930可以是电路、总线、收发器或者其他任意可以用于进行信息交互的装置。

当该电子设备900应用于目标检测网络的训练装置时，电子设备900可以具体是前述目标检测网络的训练装置，也可以是能够支持实施上述任一实施例中目标检测网络的训练方法的其它装置。存储器920保存实施上述任一实施例中的目标检测网络的训练方法的必要计算机程序、程序指令和/或数据。所述处理器910可执行所述存储器920存储的计算机程序，完成上述任一实施例中的目标检测网络的训练方法。

当该电子设备900应用于图像增广装置时，电子设备900可以具体是前述图像增广装置，也可以是能够支持实施上述任一实施例中图像增广方法的其它装置。存储器920保存实施上述任一实施例中的图像增广方法的必要计算机程序、程序指令和/或数据。所述处理器910可执行所述存储器920存储的计算机程序，完成上述任一实施例中的图像增广方法。

本申请实施例中不限定上述收发器930、处理器910以及存储器920之间的具体连接介质。本申请实施例在图9中以存储器920、处理器910以及收发器930之间通过总线连接，总线在图9中以粗线表示，其他部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实施或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

在本申请实施例中，存储器可以是非易失性存储器，比如硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatilememory)，例如随机存取存储器(random-access memory，RAM)。存储器还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器还可以是电路或者其他任意能够实施存储功能的装置，用于存储计算机程序、程序指令和/或数据。

基于以上实施例，参见图10，本申请实施例还提供另一种电子设备1000，该电子设备1000可应用于目标检测网络的训练装置或者图像增广装置。包括：接口电路1010和处理器1020；

接口电路1010，用于接收代码指令并传输至所述处理器；

处理器1020，用于运行所述代码指令以执行上述任一实施例中的目标检测网络的训练方法或者用于运行所述代码指令以执行上述任一实施例中的图像增广方法。

基于以上实施例，本申请实施例还提供一种可读存储介质，该可读存储介质存储有指令，当所述指令被执行时，使上述任一实施例中的方法被实施。该可读存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得上述方法实施例被执行。

本申请上述方法实施例描述的操作和功能中的部分或全部，可以用芯片或集成电路来完成。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实施流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实施在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实施在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实施的处理，从而在计算机或其他可编程设备上执行的指令提供用于实施在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (23)

1.一种目标检测网络的训练方法，其特征在于，包括：

对难例图像进行图像增广，得到难例样本集；其中，所述难例图像包括在被进行目标检测时获得的检测结果不满足设定条件的图像；所述难例样本集包括所述难例图像的至少一个相似图像，所述相似图像包含与所述难例图像中部分区域相似的区域；

至少根据所述难例样本集，对目标检测网络进行训练。

2.如权利要求1所述的方法，其特征在于，所述难例图像的检测结果包括所述难例图像中的第一区域，所述第一区域内的对象不为目标对象；和/或，所述难例图像的检测结果不包括所述难例图像中的第二区域，所述第二区域内的对象为所述目标对象。

3.如权利要求2所述的方法，其特征在于，所述对所述难例图像进行图像增广，得到难例样本集，包括：

对所述难例图像中的第一指定区域进行随机变换，得到所述第一指定区域对应的相似区域；其中，所述第一指定区域包括所述第一区域和/或所述第二区域；

根据所述相似区域对所述难例图像进行图像增广，生成所述难例图像的相似图像。

4.如权利要求3所述的方法，其特征在于，所述根据所述相似区域对所述难例图像进行图像增广，生成所述难例图像的相似图像，包括：

在所述难例图像中的第二指定区域上附加所述相似区域的内容，生成所述难例图像的相似图像；其中，所述检测结果不包括所述第二指定区域。

5.如权利要求3或4所述的方法，其特征在于，所述随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

6.如权利要求1-5任一项所述的方法，其特征在于，所述难例图像包括由所述目标检测网络进行目标检测，检测结果不满足所述设定条件的图像。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

通过所述目标检测网络，对所述难例图像的至少一个相似图像进行目标检测；

根据所述至少一个相似图像的检测结果，在所述至少一个相似图像中确定出检测结果不满足所述设定条件的相似图像；

所述至少根据难例样本集，对目标检测网络进行训练，包括：

根据有效难例样本集和预设图像样本集，对所述目标检测网络进行训练；其中，所述有效难例样本集包括所述检测结果不满足所述设定条件的相似图像，或者所述有效难例样本集包括所述检测结果不满足所述设定条件的相似图像和所述难例图像。

8.如权利要求7所述的方法，其特征在于，所述根据有效难例样本集和预设图像样本集，对所述目标检测网络进行训练，包括：

按照第一采样概率，在所述预设图像样本集中获取第一图像样本；

按照第二采样概率，在所述有效难例样本集中获取第二图像样本；

根据所述第一图像样本和所述第二图像样本生成新的图像样本集，基于所述新的图像样本集对所述目标检测网络进行训练。

9.一种图像增广方法，其特征在于，包括：

对第一图像的指定区域进行随机变换，得到所述指定区域对应的相似区域；

根据所述相似区域对所述第一图像进行图像增广，生成至少一个相似图像。

10.如权利要求9所述的方法，其特征在于，所述根据所述相似区域对所述第一图像进行图像增广，生成至少一个相似图像，包括：

在所述第一图像上附加所述相似区域的内容，生成所述相似图像；或者，

在第二图像上附加所述相似区域的内容，生成所述相似图像。

11.如权利要求9或10所述的方法，其特征在于，所述随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

12.一种目标检测网络的训练装置，其特征在于，包括：

增广模块，用于对难例图像进行图像增广，得到难例样本集；其中，所述难例图像包括在被进行目标检测时获得的检测结果不满足设定条件的图像；所述难例样本集包括所述难例图像的至少一个相似图像，所述相似图像包含与所述难例图像中部分区域相似的区域；

训练模块，用于至少根据所述难例样本集，对目标检测网络进行训练。

13.如权利要求12所述的装置，其特征在于，所述难例图像的检测结果包括所述难例图像中的第一区域，所述第一区域内的对象不为目标对象；和/或，所述难例图像的检测结果不包括所述难例图像中的第二区域，所述第二区域内的对象为所述目标对象。

14.如权利要求13所述的装置，其特征在于，所述增广模块，还用于：

对所述难例图像中的第一指定区域进行随机变换，得到所述第一指定区域对应的相似区域；其中，所述第一指定区域包括所述第一区域和/或所述第二区域；

根据所述相似区域对所述难例图像进行图像增广，生成所述难例图像的相似图像。

15.如权利要求14所述的装置，其特征在于，所述增广模块，还用于：

在所述难例图像中的第二指定区域上附加所述相似区域的内容，生成所述难例图像的相似图像；其中，所述检测结果不包括所述第二指定区域。

16.如权利要求14或15所述的装置，其特征在于，所述随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

17.如权利要求12-16任一项所述的装置，其特征在于，所述难例图像为由所述目标检测网络进行目标检测，检测结果不满足所述设定条件的图像。

18.如权利要求17所述的装置，其特征在于，所述装置还包括检测模块；

所述检测模块，用于通过所述目标检测网络，对所述难例图像的至少一个相似图像进行目标检测；根据所述至少一个相似图像的检测结果，在所述至少一个相似图像中确定出检测结果不满足所述设定条件的相似图像；

所述训练模块，还用于根据有效难例样本集和预设图像样本集，对所述目标检测网络进行训练；其中，所述有效难例样本集包括检测结果不满足所述设定条件的相似图像，或者所述有效难例样本集包括检测结果不满足所述设定条件的相似图像和所述难例图像。

19.如权利要求18所述的装置，其特征在于，所述训练模块，还用于：

按照第一采样概率，在所述预设图像样本集中获取第一图像样本；

按照第二采样概率，在所述有效难例样本集中获取第二图像样本；

根据所述第一图像样本和所述第二图像样本生成新的图像样本集，基于所述新的图像样本集对所述目标检测网络进行训练。

20.一种图像增广装置，其特征在于，包括：

区域变换模块，对第一图像的指定区域进行随机变换，得到所述指定区域对应的相似区域；

增广模块，用于根据所述相似区域对所述第一图像进行图像增广，生成至少一个相似图像。

21.如权利要求20所述的装置，其特征在于，所述增广模块，还用于：

在所述第一图像上附加所述相似区域的内容，生成所述相似图像；或者，

在第二图像上附加所述相似区域的内容，生成所述相似图像。

22.如权利要求20或21所述的装置，其特征在于，所述随机变换包括旋转变换、平移变换、缩放变换，拉伸变换、颜色变换、剪裁变换、镜像变换中的一种或多种。

23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，使如权利要求1-8中任一项所述的方法，或者如权利要求9-11中任一项所述的方法被实现。

Images