CN109919214B

CN109919214B - 一种神经网络模型的训练方法及训练装置

Info

Publication number: CN109919214B
Application number: CN201910144904.4A
Authority: CN
Inventors: 黄河; 吴玉东; 何泽文; 黄冠; 叶云; 陈新泽; 都大龙
Original assignee: Nanjing Horizon Robotics Technology Co Ltd
Current assignee: Nanjing Horizon Robotics Technology Co Ltd
Priority date: 2019-02-27
Filing date: 2019-02-27
Publication date: 2023-07-21
Anticipated expiration: 2039-02-27
Also published as: CN109919214A

Abstract

本申请公开了一种神经网络模型的训练方法，包括：根据预设的n个放缩系数将训练数据集中的样本图像进行放缩，得到n个不同分辨率的图像；n≥1，且n为整数；针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域；m≥1，且m为整数；对所述m个训练区域中每一个训练区域所包含的物体进行标注；基于标注后的训练数据集训练神经网络模型。本申请减小了神经网络模型训练过程中物体的尺度变化，降低了神经网络模型训练难度，提高了训练效果。

Description

一种神经网络模型的训练方法及训练装置

技术领域

本申请涉及数据处理领域，尤其涉及一种神经网络模型的训练方法及训练装置。

背景技术

在图像处理技术中，现有技术通过神经网络模型提取图像中的特征，神经网络模型在提取特征之前，需要先训练出神经网络模型。目前，在机器学习、深度学习、数据挖掘等任务中，通过各种不同类别的大量数据样本对神经网络模型进行训练，可使得神经网络模型能够完成不同的计算任务。

然而，在实际训练神经网络模型的过程中，当图像或者视频中物体的尺度变化较大时，通过现有技术训练得到的神经网络模型识别物体的精度较低。

发明内容

本申请提供了一种神经网络模型的训练方法及训练装置，本申请减小了神经网络模型训练过程中物体的尺度变化，降低了神经网络模型训练难度，提高了训练效果。

根据本申请的一个方面，提供了一种神经网络模型的训练方法，包括：

根据预设的n个放缩系数将训练数据集中的样本图像进行放缩，得到 n个不同分辨率的图像；n≥1，且n为整数；

针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域；m≥1，且m为整数；

对所述m个训练区域中每一个训练区域所包含的物体进行标注；

基于标注后的训练数据集训练神经网络模型。

根据本申请的另一个方面，提供了一种图像中目标物的预测方法，包括：将实际图像按照上述n个放缩系数进行放缩，得到n个具有不同预设分辨率的图像；n≥1；

将所述n个具有不同预设分辨率的每个图像逐一输入所述的神经网络模型进行预测，得到预测任务对应的中间预测结果；

将处于预设尺度范围内的中间预测结果根据放缩系数映射到实际图像，并融合映射后的中间预测结果，得到所述预测任务对应的最终预测结果。

根据本申请的再一个方面，提供了一种图像中物体识别模型的训练装置，包括：

放缩模块，用于根据预设的n个放缩系数将训练数据集中的目标图像进行放缩，得到n个具有不同预设分辨率的图像；n≥1；

确定模块，用于针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域；m≥1；

标注模块，用于对所述m个训练区域中每一个训练区域所包含的物体进行标注；

训练模块，基于标注后的训练数据集训练神经网络模型。

根据本申请的又一个方面，提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述可执行指令在被所述处理器运行时使得所述处理器执行上述的神经网络模型的训练方法，或者，执行上述的一种图像中目标物的预测方法。

根据本申请的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行所述的神经网络模型的训练方法，或者，执行上述一种图像中目标物的预测方法。

本申请能产生的有益效果包括：

1)本申请通过根据预设的n个放缩系数将训练数据集中的样本图像进行放缩，得到n个不同分辨率的图像，针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域，然后对所述m个训练区域中每一个训练区域所包含的物体进行标注，最后基于标注后的训练数据集训练神经网络模型。由于通过标注，参与神经网络模型训练的均为预设尺度范围内的物体，这减小了神经网络模型训练过程中物体的尺度变化，降低了神经网络模型的训练难度，提高了模型的训练效果。

2)本申请根据图像采集模块采集的实际图像按照n个放缩系数进行放缩，得到n个具有不同预设分辨率的图像，将n个具有不同预设分辨率的每个图像逐一输入所述的神经网络模型进行预测，得到预测任务对应的中间预测结果，然后将处于预设尺度范围内的中间预测结果根据放缩系数映射到实际图像，并融合映射后的中间预测结果，得到所述预测任务对应的最终预测结果。由于参与神经网络模型训练的均为预设尺度范围内的物体因此该神经网络模型只需预设尺度范围的预测结果，忽略超出预设尺度范围的预测结果，从而大大提升了预测精度，尤其在待预测的实际图像中物体尺度变化大的情况下，预测精度远远高于现有技术的预测精度。

附图说明

图1是本申请提供的一种神经网络模型的训练方法流程示意图。

图2是本申请提供的另一种神经网络模型的训练方法流程示意图。

图3是本申请提供的另一种神经网络模型的训练方法流程示意图。

图4是本申请提供的另一种神经网络模型的训练方法流程示意图。

图5是本申请提供的一种图像中目标物的预测方法流程示意图。

图6是本申请提供的一种神经网络模型的训练装置的结构示意图。

图7是本申请提供的另一种神经网络模型的训练装置结构示意图。

图8是本申请提供的另一种神经网络模型的训练装置结构示意图。

图9是本申请提供的电子设备的框图。

具体实施方式

下面结合实施例详述本申请，但本申请并不局限于这些实施例。

申请概述

如上所述，在机器学习、深度学习、数据挖掘等任务中，利用图像中大量的数据样本进行训练，来获得各种形式的神经网络模型。当图像或者视频中物体尺度变化不大时，训练出的神经网络模型精度还比较理想，但是当图像或者视频中物体尺度变化较大时，训练出的神经网络模型精度较低。

现有技术中使用图像金字塔进行多尺度训练和多尺度测试，在训练过程中将原图像放缩到多个尺度送入卷积神经网络(Convolutional Neural Networks，以下简称CNN)模型进行训练，从而对不同大小的物体进行学习，使CNN模型具有尺度不变性；在测试阶段同样进行多尺度测试，并将不同尺度的预测结果融合。但是由于CNN模型尺度不变性，在放缩原图像的过程中，原图像中物体也被放缩，小物体变更小，大物体变更大，尺度差异进一步加剧，因此网络更加难以学习，难以具有较好的尺度不变性。

针对上述技术问题，本申请的构思是提出一种神经网络模型的训练方法及训练装置、电子设备，通过根据预设的n个放缩系数将训练数据集中的样本图像进行放缩，得到n个不同分辨率的图像，针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域，然后对所述m个训练区域中每一个训练区域所包含的物体进行标注，最后基于标注后的训练数据集训练神经网络模型，经过上述步骤得到的神经网络模型精度高，可以适用于图像中物体尺度变化较大时的场景。

示例性方法

图1是本申请提供的一种神经网络模型的训练方法流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：，

步骤S101、根据预设的n个放缩系数将训练数据集中的样本图像进行放缩，得到n个不同分辨率的图像；n≥1，且n为整数；

具体地，预设的n个放缩系数构成放缩系数集Ω，Ω(Ω＝{ω_i|i＝ 1,2,…,n})，根据放缩系数集Ω将训练数据集中的目标图像放缩ω_i∈Ω (i＝1,2,…,n)倍，得到n个不同分辨率的图像，这n个不同分辨率的图像可形成n层目标图像金字塔I_i(i＝1,…,n)。

步骤S102、针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域；m≥1，且m为整数；

其中，每一图像均可通过采样得到m个训练区域，也就是说每一图像被划分为m个训练区域。

步骤S103、对所述m个训练区域中每一个训练区域所包含的物体进行标注；

例如，当样本图像包含尺度变化较大的多个物体时，例如样本图像包括飞机、火车、汽车和背景，该样本图像被划分为m个训练区域，每个训练区域包括不同物体的不同部位及该物体所处的背景，例如，划分的其中一个训练区域中包含汽车的大部分车体，且车体大小处于预设尺度范围内，则保持该汽车的原始标注，划分的另一个训练区域中只包含汽车的一小部分车尾，则在该训练区域中原始标注的汽车代表的物体就太小了，因此可以将其标注为背景或者忽略区域，从而使得每一图像中的物体均处于预设的尺度范围内参与神经网络模型训练，解决了训练过程中物体尺度变化较大的问题。

步骤S104、基于标注后的训练数据集训练神经网络模型。

本申请通过根据预设的n个放缩系数将训练数据集中的样本图像进行放缩，得到n个不同分辨率的图像，针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域，然后对所述m个训练区域中每一个训练区域所包含的物体进行标注，最后基于标注后的训练数据集训练神经网络模型。由于通过标注，参与神经网络模型训练的均为预设尺度范围内的物体，这减小了神经网络模型训练过程中物体的尺度变化，降低了神经网络模型的训练难度，提高了模型的训练效果。

图2是本申请提供的另一种神经网络模型的训练方法流程示意图，如图2所示，在图1所示实施例的基础上，步骤S103可包括如下步骤：

S1031、基于上述每一图像中的每个物体与所属训练区域的面积确定每个物体与所属训练区域的关系数值；

S1032、基于每个物体对应的关系数值和预设阈值的大小关系，对所述每个物体进行标注。

具体地，若第一物体与所属训练区域的关系数值符合第一预设条件并且所述第一物体的大小处于预设尺度范围内，维持所述第一物体在其所属训练区域中的原始标注；

若第二物体与所属训练区域的关系数值符合第二预设条件，将所述第二物体标注为背景类别；

若第三物体与所属训练区域的关系数值符合上述第一预设条件，且所述第三物体的大小超出预设尺度范围内时；或者第三物体与所属训练区域的关系数值符合第三预设条件，将所述第三物体标注为忽略区域。

例如，设第一物体i与所属训练区域的关系数值为IOB₁，则第一预设条件为IOB₁≥第一阈值φ，且该第一物体i的大小处于预设尺度范围[s_l,s_u] 内时，维持第一物体i在其所属训练区域中的原始标注；

本发明实施例中物体i的大小可以通过来量化表示，其中，w表示该物体的长度，h表示该物体的宽度。其中，[s_l,s_u]中，s_l表示预设的物体尺度下界，s_u表示预设的物体尺度上界。

例如，对于样本图像中一个长和宽的像素分别为80和20的汽车，汽车的大小可以量化表示为

设第二物体i与所属训练区域的关系数值为IOB₂，则第二预设条件为 IOB₂≤第二阈值θ，将该第二物体i标注为背景类别0；

设第三物体i与所属训练区域的关系数值为IOB₃，当且该第三物体i的大小超出预设范围内时，或者当第三预设条件/> 将第三物体i标注为忽略区域。

继续以样本图像包括飞机、火车、汽车和背景为例进行具体描述，设第一物体为汽车，将样本图像划为为m个训练区域后，包含汽车的一个训练区域中汽车对应的关系数值符合第一预设条件并且所述第一物体的大小处于预设尺度范围内，例如，该训练区域中包含汽车的大部分车体，因此保持其原始标注不变，在该训练区域中仍将第一物体标注为汽车；

设第二物体为飞机，包含飞机的一个训练区域中该飞机对应的关系数值符合第二预设条件，例如，该训练区域中包含飞机的一小部分，因此将该训练区域中的飞机标注为背景类别；

设第三物体为火车，包含火车的一个训练区域中火车对应的关系数值符合第一预设条件，但是该训练区域中火车的大小超出预设尺度范围，例如，该训练区域中全部为火车的车体，超出了预设尺度范围，或者该训练区域中的火车对应的关系数值符合第三预设条件，将火车标注为忽略类别，不参与后续的神经网络模型训练，也就是说，将极小物体标注为背景类别，忽略了极大物体，从而减小了训练过程中的物体尺度变化，减轻了神经网络模型的学习难度。

图3是本申请提供的另一种神经网络模型的训练方法流程示意图。如图3所示，在上述图2所示实施例的基础上，步骤S1031中基于图像中的每个物体与所属训练区域的面积确定每个物体与所属训练区域的关系数值，包括：

S1031a、确定每一图像中每个物体与所属训练区域的重叠面积；

S1031b、基于所述重叠面积与对应的物体面积的比值确定所述关系数值。

具体地，设上述每一图像中每个物体对应的关系数值为IOB， IOB＝S_i,t/S_i，其中S_i,t为每个物体与其自身所属训练区域的重叠面积，S_i为该物体的面积。

图4是本申请提供的另一种神经网络模型的训练方法流程示意图。如图4所示，步骤S102中针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域，包括：

S1021、对所述n个不同预设分辨率的每一图像进行采样，得到t个候选图像区域；t≥m；

S1022、从所述t个候选图像区域中确定m个训练区域。

具体地，对n个不同预设分辨率的每一图像进行均匀采样，得到t个候选图像区域，也可以根据n个不同预设分辨率的每一图像的实际内容进行非均匀的采样，本发明实施例对具体的采样过程不作限定。本申请中，n，m和t均为自然数。

实际应用中，可以采用预设滑动窗口对n个不同预设分辨率的每一图像进行采样，滑动窗口大小可以是600*600，或者是800*800，本发明实施例对滑动窗口的具体大小不作限制，实际应用中可以根据样本图像中物体的尺寸来确定滑动窗口的大小。

具体地，步骤S1022从所述t个候选图像区域中确定m个训练区域，包括：

在所述n个具有不同预设分辨率的每一图像中确定处于预设尺度范围内的物体，将确定的处于预设尺度范围内的物体称为物体集；

确定所述t个候选图像区域中的每个候选图像区域包含的来自所述物体集中的物体数量；

将所述物体数量大于预设阈值的候选图像区域确定为训练区域，得到 m个训练区域。

例如，设物体集为M，确定t个候选图像区域中的每个候选图像区域包含的来自物体集M中的物体数量，将数量最多的候选图像区域t_i确定为训练区域，将候选图像区域t_i中包含的物体从物体集M中删除，然后再确定剩下的t-1个候选图像区域中的每个候选图像区域包含的来自物体集M 中的物体数量，将数量最多的候选图像区域t_j再确定为训练区域，将候选图像区域t_j中包含的物体从物体集M中删除，以此类推，直至物体集M为空集。如果还有剩下的候选图像区域，则还可以从剩下的候选图像区域中随机选择预设的k个背景图像作为训练区域，k为自然数。本发明实施例中训练区域的数量也可以根据实际需求来设定，也就是训练区域m的数量可以根据自行设定，但是为了后续的训练精度高，训练区域m的数量越多越好。

实际应用中，也可以采用枚举算法从t个候选图像区域中确定m个训练区域。本发明实施例对从t个候选图像区域中确定m个训练区域的具体方式不作限定。

本发明实施例中，神经网络模型可以是特征金字塔网络模型、物体检测模型、实例分割模型或其他实例预测相关的模型。

例如，当神经网络模型是FPN时，可构建高性能检测系统，从而大幅提升物体尺度变化大时的检测精度，当神经网络模型是实例分割模型时，可构建高性能分割系统，从而大幅提升物体尺度变化大时的实例分割精度。

本申请通过根据预设的n个放缩系数将训练数据集中的样本图像进行放缩，得到n个不同分辨率的图像，针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域，然后对所述m个训练区域中每一个训练区域所包含的物体进行标注，最后基于标注后的训练数据集训练神经网络模型，由于通过标注，将预设尺度范围以外的物体都被标记成背景类别或者忽略区域，参与神经网络模型训练的均为预设尺度范围内的物体，因此减小了神经网络模型训练过程中物体的尺度变化，降低了神经网络模型的训练难度，提高了神经网络模型的训练效果。由于上述的标注过程可以使得参与神经网络模型训练的均为预设尺度范围内的物体，因此本申请的神经网络模型可以适用于尺度变化较大的视觉任务，例如，物体检测，实例分割，人体关键点检测等，由于训练的神经网络模型精度高，从而也提高了具体检测任务的检测精度。

图5是本申请提供的一种图像中目标物的预测方法流程示意图，如图 5所示，该方法包括：

S201、将实际图像按照上述n个放缩系数进行放缩，得到n个具有不同预设分辨率的图像；n≥1；

本发明实施例中，实际图像可以由图像采集模块实时采集得到，也可以是预先存储的图像。

S202、将所述n个具有不同预设分辨率的每个图像逐一输入上述的神经网络模型进行预测，得到预测任务对应的中间预测结果；

S203、将处于预设尺度范围内的中间预测结果根据放缩系数映射到实际图像，并融合映射后的中间预测结果，得到所述预测任务对应的最终预测结果。

在应用阶段，图像采集模块采集的实际图像中物体的大小是未知的，所以预测结果有可能超出[s_l,s_u]的范围，因此，需获取处于[s_l,s_u]之间的预测结果R_i。

其中，具体融合方法可以根据具体的预测任务来确定，例如，当预测任务是物体检测时，则融合映射后的中间预测结果，具体为：

采用Soft-NMS算法融合映射到实际图像之后的中间预测结果。

当预测任务是实例分割或人体关键点检测时，采用平均或加权求和的方式融合映射到实际图像之后的中间预测结果。

本申请根据图像采集模块采集的实际图像按照n个放缩系数进行放缩，得到n个具有不同预设分辨率的图像，将n个具有不同预设分辨率的每个图像逐一输入所述的神经网络模型进行预测，得到预测任务对应的中间预测结果，然后将处于预设尺度范围内的中间预测结果根据放缩系数映射到实际图像，并融合映射后的中间预测结果，得到所述预测任务对应的最终预测结果。由于参与神经网络模型训练的均为预设尺度范围内的物体，因此该神经网络模型只需预设尺度范围的预测结果，忽略超出预设尺度范围的预测结果，从而大大提升了预测精度，尤其在待预测的实际图像中物体尺度变化大的情况下，预测精度远远高于现有技术的预测精度。

示例性装置

图6示出了本申请实施例提供的神经网络模型的训练装置的结构示意图。如图6所示，根据本申请实施例的神经网络模型的训练装置30，包括：放缩模块31，确定模块32，标注模块33和训练模块34；

其中，放缩模块31，用于根据预设的n个放缩系数将训练数据集中的目标图像进行放缩，得到n个具有不同预设分辨率的图像；n≥1；

确定模块32，用于针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域；m≥1；

标注模块33，用于对所述m个训练区域中每一个训练区域所包含的物体进行标注；

训练模块34，基于标注后的训练数据集训练神经网络模型。

图7示出了本申请实施例提供的另一种神经网络模型的训练装置结构示意图。

如图7所示，在上述神经网络模型的训练装置30中，所述标注模块 33包括第一确定单元331和标注单元332；

第一确定单元331，基于每一图像中的每个物体与所属训练区域的面积确定每个物体与所属训练区域的关系数值；

标注单元332，基于每个物体对应的关系数值和预设阈值的大小关系，对所述每个物体进行标注。

具体地，标注单元332包括第一标注子单元，第二标注子单元，第三标注子单元；

第一标注子单元，用于确认第一物体对应的关系数值符合第一预设条件并且所述第一物体的大小处于预设尺度范围内，维持所述第一物体在其所属训练区域中的原始标注；

第二标注子单元，用于确认第二物体对应的关系数值符合第二预设条件，将所述第二物体标注为背景类别；

第三标注子单元，用于确认第三物体对应的关系数值符合第三预设条件，且所述第三物体的大小超出预设尺度范围内时；或者第三物体对应的关系数值符合第四预设条件，将所述第三物体标注为忽略区域。

具体地，第一确定单元331包括：面积子单元和关系确定子单元；

面积确定子单元，用于确定每一图像中每个物体与所属训练区域的重叠面积；

关系确定子单元，用于根据所述重叠面积与对应的物体面积的比值确定所述关系数值。

图8示出了本申请实施例提供的另一种神经网络模型的训练装置结构示意图。如图8所示，本申请的神经网络模型的训练装置30中，确定模块32包括：采样单元321和第二确定单元322；

采样单元321，用于对所述n个不同预设分辨率的每一图像进行采样，得到t个候选图像区域；t≥m；

第二确定单元322，用于从所述t个候选图像区域中确定m个训练区域。

具体地，第二确定单元322包括物体集确定子单元，数量确定子单元和训练区域确定子单元；

物体集确定子单元，用于在所述n个具有不同预设分辨率的每一图像中确定处于预设尺度范围内的物体，将确定的处于预设尺度范围内的物体称为物体集；

数量确定子单元，用于确定所述t个候选图像区域中的每个候选图像区域包含的来自所述物体集中的物体数量；

训练区域确定子单元，用于将所述物体数量大于预设阈值的候选图像区域确定为训练区域，得到m个训练区域。

这里，本领域技术人员可以理解，上述前景掩模特征图的确定装置40 中的各个模块和单元的具体功能和操作已经在上面参考图1至3描述的前景掩模特征图的确定方法中详细介绍，因此，示例性装置中省略部分重复描述。

如上所述，根据本申请实施例的神经网络模型的训练装置30可以实现在各种终端设备中。在一个示例中，根据本申请实施例的神经网络模型的训练装置30可以一个软件模块和/或硬件模块而集成到终端设备中。例如，该装置30可以是该终端设备的操作系统中的一个软件模块，或者也可以是针对于该终端设备所开发的一个应用程序；当然，该装置30同样可以是该终端设备的众多硬件模块之一。

替换地，在另一个示例中，该神经网络模型的训练装置30与终端设备也可以是分立的设备，并且该装置30可以通过有线和/或无线网络连接到终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。图9示出了本申请实施例提供的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM) 和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的神经网络模型的训练方法以及/或者其他期望的功能，或者，执行本申请所述的一种图像中目标物的预测方法。在所述计算机可读存储介质中还可以存储诸如样本图像，训练数据集、训练区域等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置13可以包括摄像装置，用于采集输入图像。此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的前景掩模特征图。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络模型的训练方法中的步骤。或者，执行本申请所述的一种图像中目标物的预测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络模型的训练方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

1.一种神经网络模型的训练方法，包括：

根据预设的n个放缩系数将训练数据集中的样本图像进行放缩，得到n个不同分辨率的图像；，且n为整数；

针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域；，且m为整数；

对所述m个训练区域中每一个训练区域所包含的物体进行标注，具体为，基于所述每一图像中的每个物体与所属训练区域的面积确定每个物体与所属训练区域的关系数值，基于每个物体对应的关系数值和预设阈值的大小关系，对所述每个物体进行标注；

基于标注后的训练数据集训练神经网络模型。

2.根据权利要求1所述的方法，其中，基于每个物体对应的关系数值和预设阈值的大小关系，对所述每个物体进行标注，包括：

若第一物体对应的关系数值符合第一预设条件并且所述第一物体的大小处于预设尺度范围内，维持所述第一物体在其所属训练区域中的原始标注；

若第二物体对应的关系数值符合第二预设条件，将所述第二物体标注为背景类别；

若第三物体对应的关系数值符合所述第一预设条件，且所述第三物体的大小超出预设尺度范围内时；或者第三物体对应的关系数值符合第三预设条件，将所述第三物体标注为忽略区域。

3.根据权利要求1所述的方法，其中，基于所述每一图像中的每个物体与所属训练区域的面积确定每个物体与所属训练区域的关系数值包括：

确定所述每一图像中每个物体与所属训练区域的重叠面积；

基于所述重叠面积与对应的物体面积的比值确定所述关系数值。

4.根据权利要求1所述的方法，其中，针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域，包括：

对所述n个不同预设分辨率的每一图像进行采样，得到t个候选图像区域；；

从所述t个候选图像区域中确定m个训练区域。

5.根据权利要求4所述的方法，其中，从所述t个候选图像区域中确定m个训练区域，包括：

将所述物体数量大于预设阈值的候选图像区域确定为训练区域，得到m个训练区域。

6.一种图像中目标物的预测方法，包括：

将实际图像按照上述n个放缩系数进行放缩，得到n个具有不同预设分辨率的图像；；

将所述n个具有不同预设分辨率的每个图像逐一输入权利要求1至5中任一一项所述的神经网络模型的训练方法得到的神经网络模型进行预测，得到预测任务对应的中间预测结果；

7.一种神经网络模型的训练装置，包括：

放缩模块，用于根据预设的n个放缩系数将训练数据集中的目标图像进行放缩，得到n个具有不同预设分辨率的图像；；

确定模块，用于针对所述n个不同分辨率的图像中的每一图像，确定对应的m个训练区域；；

训练模块，基于标注后的训练数据集训练神经网络模型；

所述标注模块包括第一确定单元和标注单元；

第一确定单元，基于每一图像中的每个物体与所属训练区域的面积确定每个物体与所属训练区域的关系数值；

标注单元，基于每个物体对应的关系数值和预设阈值的大小关系，对所述每个物体进行标注。

8.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述可执行指令在被所述处理器运行时使得所述处理器执行上述权利要求1~5中任一项所述的神经网络模型的训练方法，或者，执行上述权利要求6所述的一种图像中目标物的预测方法。

9.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1~5中任一项所述的神经网络模型的训练方法，或者，执行上述权利要求6所述的一种图像中目标物的预测方法。