CN111461209A - 一种模型训练装置和方法 - Google Patents

Abstract

本发明公开了一种模型训练装置和方法，本发明确定神经网络模型的原始训练样本集，原始训练样本集包括样本视频，样本视频包括已标注样本图，已标注样本图包括数量为预设数量的边界框，边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别样本视频中物体的特征信息；基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。本发明的神经网络模型应用到图像处理领域中，能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度。

Description

一种模型训练装置和方法

技术领域

本发明涉及图像数据处理技术领域，尤其涉及一种模型训练装置和方法。

背景技术

神经网络模型具有并行分布处理能力、高度鲁棒性和容错能力、分布存储及学习能力以及能充分逼近复杂的非线性关系。神经网络模型最大的特点在于其是一种自动学习机制的数学模型，在神经网络中，能够对外部环境提供的模式样本进行学习训练，并能存储这种模式。

目前，神经网络模型已经广泛地应用到各个领域里面，取得了很大的进展。在神经网络模型应用在图像处理领域中的图像识别技术的时候，具体是通过神经网络对图像中的某一特征进行识别，通过深度神经网络运算得到目标物体的边界框和类别。

然而，现有技术中，要保证图像特征识别的准确度，神经网络的深度学习需要通过获取数据的多样性，需要大量的训练样本增加模型的鲁棒性，样本数量少模型容易过拟合，测试集识别准确率召回率低。

但是现有的多数深度神经网络需要大量的训练样本，耗费人工，但使用少量样本训练模型则难以达到预期。

少量迁移学习相对大量数据从零训练，数据的多样性达不到要求，很多特性差异大的图像不能很好的识别。

因此，将神经网络模型应用到图像处理领域中，如何能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度，是一个亟需解决的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种模型训练装置和方法，旨在解决神经网络模型应用到图像处理领域中，如何能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度的技术问题。

本发明就上述技术问题而提出的技术方案如下：

本发明提供一种模型训练装置，所述模型训练装置包括：

样本集确定模块，用于确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；

第一模型构建模块，用于基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；

第二模型构建模块，用于基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。

相应地，所述第一模型构建模块包括：

视频采集单元，用于按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；

已标注帧获取单元，用于从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；

第一模型训练单元，用于使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；

图像识别跟踪单元，用于对迁移学习训练图像数据进行识别，得到识别出的内容数据；

滤波单元，用于对所述识别出的内容数据进行过滤，得到过滤后的数据；

所述模型训练单元，还用于使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。

相应地，所述第一模型构建模块还包括：

无标注帧获取单元，用于从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；

图像识别跟踪单元，还用于对所述无标注帧图像进行识别，识别出无标签物体，并对所述无标签物体构建新的标签类型的边界框；

滤波单元，还用于对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框保存到所述训练样本集。

相应地，所述第二模型构建模块包括：

第二模型训练单元，用于使用所述预设训练网络集合对所述训练样本集进行迁移学习训练，得到第二迁移学习训练图像数据；

图像裁剪单元，用于对所述第二迁移学习训练图像数据进行图像裁剪，得到边界框范围图像数据；

分类训练单元，用于使用卷积神经网络对所述边界框范围图像数据进行训练，以完成分类模型的构建。

优选地，所述装置还包括目标识别模块，所述目标识别模块包括：

采集单元，用于采集目标视频；

识别单元，用于基于所述目标识别模型从所述目标视频的各帧图像中识别出各个目标边界框；获取所述目标边界框的尺寸大小、位置和类别；

第一分组单元，用于将前后相邻帧图像中位置的重叠度大于预设阈值的目标边界框分到一组，得到多个边界框标签组；

滤波单元，用于对所述多个边界框标签组进行滤波处理；

判断单元，用于基于所述分类模型并使用softmax函数分别计算各个边界框标签组的最大概率值，将最大概率值超过预设概率阈值的边界框标签组作为有效标签组；

第二分组单元，用于剔除最大概率值不超过所述预设概率阈值的无效标签组，获取所述有效标签组的目标边界框的类别，根据所述有效标签组中的目标边界框的类别确定对应的目标物体。

此外，本发明还提出一种模型训练方法，所述方法包括：

确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；

基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；

基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。

相应地，所述基于所述已标注样本图构建目标识别模型的步骤，包括：

按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；

获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；

从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；

使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；

对迁移学习训练图像数据进行识别，得到识别出的内容数据；

对所述识别出的内容数据进行过滤，得到过滤后的数据；

使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。

相应地，所述获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合的步骤之后，还包括：

从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；

对所述无标注帧图像进行识别，识别出无标签物体，并对所述无标签物体构建新的标签类型的边界框；

对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框保存到所述训练样本集。

相应地，所述基于所述目标识别模型构建分类模型的步骤，包括：

使用所述预设训练网络集合对所述训练样本集进行迁移学习训练，得到第二迁移学习训练图像数据；

对所述第二迁移学习训练图像数据进行图像裁剪，得到边界框范围图像数据；

使用卷积神经网络对所述边界框范围图像数据进行训练，以完成分类模型的构建。

优选地，所述方法还包括：

采集目标视频；

基于所述目标识别模型从所述目标视频的各帧图像中识别出各个目标边界框；

获取所述目标边界框的尺寸大小、位置和类别；

将前后相邻帧图像中位置的重叠度大于预设阈值的目标边界框分到一组，得到多个边界框标签组；

对所述多个边界框标签组进行滤波处理；

基于所述分类模型并使用softmax函数分别计算各个边界框标签组的最大概率值，将最大概率值超过预设概率阈值的边界框标签组作为有效标签组；

剔除最大概率值不超过所述预设概率阈值的无效标签组，获取所述有效标签组的目标边界框的类别，根据所述有效标签组中的目标边界框的类别确定对应的目标物体。

本发明提供的技术方案带来的有益效果是：神经网络模型应用到图像处理领域中，能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度。

附图说明

图1是本发明的模型训练装置的示意框图；

图2为本发明一实施例中第一模型构建模块的示意框图；

图3为本发明一实施例中第二模型构建模块的示意框图；

图4为本发明一实施例中目标识别模块的示意框图；

图5为本发明实施例中提供的多帧图像物体运动的示意图；

图6为本发明实施例中提供的边界框组的示意图；

图7为本发明实施例中提供的多帧图像的边界框重叠的示意图；

图8为本发明模型训练方法的流程示意图；

图9为本发明实施例中构建目标识别模型的流程示意图；

图10为本发明实施例中构建分类模型的流程示意图；

图11为本发明实施例中对视频数据中帧图像中的目标物体进行识别的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为解决现有技术中何能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度的技术问题，本发明旨在提供一种模型训练装置和方法，其核心思想是：神经网络模型的原始训练样本集是包含少量标注的视频数据；视频数据在时间和空间上具有连续性，利用识别物体的时间段存在和空间位置连续变换的特性，扩充训练数据的边界框和对识别结果的约束。构建目标识别模型作为主模型，识别目标物体的特征信息，主模型使用标注的整张图训练。构建分类模型作为边界框组有效性检测模型，分类模型使用标注的边界框局部区域训练。

实施例一

参考图1，本发明实施例提供了一种模型训练装置，图1为本发明的模型训练装置的示意框图，所述模型训练装置包括样本集确定模块00、第一模型构建模块100以及第二模型构建模块200，其中：

样本集确定模块00，用于确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框、以及被边界框标注的特征内容，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；

第一模型构建模块100，用于基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；

第二模型构建模块200，用于基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。

可理解的是，本实施中的预设数量用于表征少量，即原始训练样本集中的样本视频包含少量边界框标注过的视频数据，视频数据为样本视频中的各帧图像；

由于视频数据是由一帧帧连续的图像构成，视频数据在时间和空间上具有连续性，本实施例利用从图像中识别出物体的时间段存在和空间位置连续变换的特性，扩充训练数据的边界框和对识别结果的约束。

具体地，本实施会构建目标识别模型作为主模型，识别目标物体大小、位置和类型，主模型使用标注的整张图训练。构建分类模型作为边界框组有效性检测模型，分类模型使用标注的边界框局部区域训练。分类模型用于筛选统计组内边界框图像的类别，分类模型的训练是使用开源数据集预训练，再使用少量标注的边界框局部区域图像样本迁移学习。

可理解的是，以无人驾驶摄像头采集图像这个实施场景为例，所采集的图像中包含人车障碍物等物体，对图像中的物体使用矩形边界框进行标注，体现目标物体的位置和类别。视频数据在时间和空间上具有连续性，图像中的物体在多数情况是连续运动，举例无人驾驶图像中单个人的运动在图像上多数情况是连续的，遮挡则会出现不连续的情况。

利用识别物体的时间段存在和空间位置连续变换的特性，在训练时对视频数据的少量标注边界框物体进行跟踪，对跟踪的边界框使用分类模型筛选，在前后帧可获得更多的带标签的数据，对无标签物体生成标签(图5中，第一和第三帧是人工标注帧，其中目标物体五角星表示标以边界框，第二帧通过扩充得到边界框)。

本实施例的神经网络模型应用到图像处理领域中，能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度。

在具体实现中，参考图2，图2为第一模型构建模块100的示意框图，具体地，所述第一模型构建模块100，包括：

视频采集单元101，用于按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；

可理解的是，在多数情况下视频图像中的目标物体运动是连续的，前后帧目标物体IOU(重叠度，Intersection over Union)大于0，即可利用IOU进行查找，也可利用GIOU(IOU改进版)查找。

具体地，采集视频数据时，采集帧数需要满足物体前后帧有一定重叠，且重叠度大于预设重叠阈值，便于扩充训练数据。在具体实现中，可通过跟踪方法获得边界框会在时间上重叠，两帧人工标注帧扩充标签后，对边界框IOU交并比(IOU为两个矩形框重叠面积除以两个矩形框合成新形状的面积，见图7，其中两个矩形框来自前后不同帧)大于阈值的两组判断类别是否一致，一致则认为是合并成同一组，不一致则截断分为两组。

已标注帧获取单元102，用于从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；

第一模型训练单元103，用于使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；

图像识别跟踪单元106，用于对迁移学习训练图像数据进行识别，得到识别出的内容数据；

滤波单元107，用于对所述识别出的内容数据进行过滤，得到过滤后的数据；

所述模型训练单元103，还用于使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。

具体地，通过少量训练数据，使用预训练网络(本实施优选使用coco数据集预训练)迁移学习训练网络模型。在训练收敛时，将模型提供给所述图像识别跟踪单元106识别；再由所述滤波单元107对数据进行优化，将优化后数据提供给所述第一模型训练单元103继续训练。最后通过对损失loss和精度acc判断是否需要收敛，若需要收敛则结束训练。最后通过对损失loss和精度acc判断训练是否收敛，若训练收敛，则结束训练。

需要说明的是，所述图像识别跟踪单元106可使用多种不同的目标检测网络，其模型可根据用户需求自行设计。本实施例的目标检测网络可以优选使用YOLOv3模型，由darknet骨干网络和三个特征提取和预测分支，每条分支在不同特征尺度上分出和融合，实现不同尺度目标物体识别，其中darknet骨干网络使用1*1的卷积核实现多个feature map的线性组合，实现跨通道的信息整合。

相应地，继续参考图2，在本实施例中，所述第一模型构建模块100，还包括：

无标注帧获取单元105，用于从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；

具体地，所述无标注帧获取单元105对对标注扩充，通过识别和跟踪扩充训练集。

图像识别跟踪单元106，还用于对所述无标注帧图像进行识别，得到识别出的无标签物体；并对所述无标签物体构建新的标签类型的边界框；

具体地，所述图像识别跟踪单元106是根据训练后的模型识别，对无标注图像扩充到训练集，根据前期训练模型(所述模型训练单元103)到模型收敛，再将训练好的模型用于识别无标签的图像。

进一步地，所述图像识别跟踪单元106跟踪扩充根据传统图像跟踪对视频前后帧搜索，目标跟踪方法(目标跟踪算法包括MIL算法、KCF算法、TLD算法、MEDIANFLOW算法、MOSSE算法和CSRT算法中的至少一项)采用非深度学习等相关方法，跟踪方法主要包括根据图像特征寻找边界框，根据IOU和匹配算法将边界框归到一组，包括但不限于匈牙利匹配算法。仅通过传统图像特征去跟踪，目的是标注样本少，要减少数据依赖。

进一步地，所述无标注帧获取单元105取视频中所有帧，包含标注帧，通过所述图像识别跟踪单元106识别和跟踪获得一系列边界框组，通过下述滤波单元107对每个物体对于边界框组滤波和筛选。

滤波单元107，还用于对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框保存到所述训练样本集。

具体地，将新识别的数据加入训练集，继续训练网络，通过所述第一模型训练单元103、所述图像识别跟踪单元106、所述滤波单元107循环不断更新网络，并使用新的网络去识别图像目标。

进一步地，所述滤波单元107通过对边界框滤波，获得形状和位置稳定的边界框。举例卡尔曼滤波，使用一个8维空间去刻画轨迹在某时刻的状态[u,v,r,h,x*,y*,r*,h*]分别表示边界框中心的位置、纵横比、高度、以及在图像坐标中对应的速度信息，使用一个卡尔曼滤波器预测更新轨迹，该滤波器采用匀速模型和线性观测模型，其观测变量为[u,v,r,h]。

需要说明的是，由于训练需要多样性数据，所述滤波单元107需要筛选一些不容易污染数据的图像，筛选的目的在于：

其一确保识别组有效，通过分类模型识别组内所有边界框图像，使用分类网络模型对每组边界框区域的图像进行类别识别，并统计各类数量，通过使用softmax函数来计算各类概率，其中最大概率的分类的概率超过阈值及作为稳定结果加入训练样本。

其二类型正确，根据边界框图像结果，包含识别错误项分布均匀和不均匀两种情况，根据单组边界框统计多类分布在时间轴上的位置，对该组边界框进行裁切，仅包留置信高的部分。举例人车识别，同一组识别框，识别后行人类别10个框，汽车类别3个框，会有两种情况，真实情况该组框完全是人，或者该组框一部分是人一部分是车，之间发生了跳变。

训练数据需要多样性，按一定间隔抽取包含有效边界框组中置信值较大的图像。抽取的图像和标签加入训练数据。由于目标跟踪的结果并不包含边界框的类别，使用分类模型对原始图像根据边界框区域图像数据分类，来判断改组边界框有效性。

本实施例构建目标识别模型作为主模型，模型用于检测图像中的目标物体，将物体边界框和类别给出。可选R-CNN两阶段算法和YOLO等一阶段算法，主模型使用标注的整张图训练。

扩充训练数据使用目标跟踪方法对有标注信息的视频前后帧查找当前帧所有标注对应边界框，循环扩散获得标注图像的前后多帧的边界框，对前后张不同坐标位置的边界框分组。再对所有物体对应的边界框组坐标进行滤波，减少干扰，通过人工标注帧中的边界框顶点作为基点用于修正偏移。

使用识别和跟踪获取标签组，通过前后帧包含的多个标签组，分别判断识别是否稳定。主要通过类别分布判断，统计组内标签的类型和个数，通过softmax函数计算最大概率值，概率值超过阈值的标签组作为有效标签组。

进一步地，参考图3，图3为第二模型构建模块200的示意框图，在一实施例中，所述第二模型构建模块200包括：

第二模型训练单元201，用于使用所述预设训练网络集合对所述训练样本集进行迁移学习训练，得到第二迁移学习训练图像数据；

具体地，第二模型训练单元201会按照与所述第一模型训练单元103相同的方式做分类训练集；

图像裁剪单元202，用于对所述第二迁移学习训练图像数据进行图像裁剪，得到边界框范围图像数据；

具体地，将边界框的图像按分类裁剪成新的图像。该分类训练集按所述第一模型训练单元103的识别训练集扩充而扩充；

分类训练单元203，用于使用卷积神经网络对所述边界框范围图像数据进行训练，以完成分类模型的构建。

可理解的是，边界框区域图像数据训练分类模型，分类模型可以使用卷积神经网络搭建，头部使用全连接层降维，使用独热方式输出类别结果。

需要说明的是，分类模型用于筛选统计组内边界框图像的类别，分类模型的训练是使用开源数据集预训练，再使用少量标注的边界框局部区域图像样本迁移学习。

本实施例构建分类模型作为有效性检测模型，分类模型使用标注的边界框局部区域训练和测试(图6图像为图5图像中提取的边界框中的图像，用于训练分类模型)。

进一步地，在一实施例中，所述装置还包括目标识别模块300，参考图4，图4为目标识别模块300的示意框，所述目标识别模块300用于对视频数据中的目标物体进行跟踪识别。

具体地，所述目标识别模块300包括：

采集单元301，用于采集目标视频；

识别单元302，用于基于所述目标识别模型从所述目标视频的各帧图像中识别出各个目标边界框；获取所述目标边界框的尺寸大小、位置和类别；

第一分组单元303，用于将前后相邻帧图像中位置的重叠度大于预设阈值的目标边界框分到一组，得到多个边界框标签组；

滤波单元304，用于对所述多个边界框标签组进行滤波处理；

判断单元305，用于基于所述分类模型并使用softmax函数分别计算各个边界框标签组的最大概率值，将最大概率值超过预设概率阈值的边界框标签组作为有效标签组；

可理解的是，使用所述分类模型再次对各个边界框标签组进行分类，这是因为由于滤波单元304的滤波操作可能会导致边界框不可靠，因此使用分类模型再次识别可以减少错误发生。

第二分组单元306，用于剔除最大概率值不超过所述预设概率阈值的无效标签组，获取所述有效标签组的目标边界框的类别，根据所述有效标签组中的目标边界框的类别确定对应的目标物体。

本实施例使用训练后的所述目标识别模型和所述分类模型通过空间关联，将单个物体在多个方向上的识别结果整合，获得鲁棒性高的识别结果。

实施例二

进一步地，为实现以上目的，本发明实施还提供了一种模型训练方法，参考图8，图8为本发明模型训练方法的流程示意图，所述方法包括：

步骤S00，确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框、以及被边界框标注的特征内容，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；

步骤S100，基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；

步骤S200，基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。

可理解的是，本实施中的预设数量用于表征少量，即原始训练样本集中的样本视频包含少量边界框标注过的视频数据，视频数据为样本视频中的各帧图像；

由于视频数据是由一帧帧连续的图像构成，视频数据在时间和空间上具有连续性，本实施例利用从图像中识别出物体的时间段存在和空间位置连续变换的特性，扩充训练数据的边界框和对识别结果的约束。

具体地，本实施会构建目标识别模型作为主模型，识别目标物体大小、位置和类型，主模型使用标注的整张图训练。构建分类模型作为边界框组有效性检测模型，分类模型使用标注的边界框局部区域训练。分类模型用于筛选统计组内边界框图像的类别，分类模型的训练是使用开源数据集预训练，再使用少量标注的边界框局部区域图像样本迁移学习。

可理解的是，以无人驾驶摄像头采集图像这个实施场景为例，所采集的图像中包含人车障碍物等物体，对图像中的物体使用矩形边界框进行标注，体现目标物体的位置和类别。视频数据在时间和空间上具有连续性，图像中的物体在多数情况是连续运动，举例无人驾驶图像中单个人的运动在图像上多数情况是连续的，遮挡则会出现不连续的情况。

利用识别物体的时间段存在和空间位置连续变换的特性，在训练时对视频数据的少量标注边界框物体进行跟踪，对跟踪的边界框使用分类模型筛选，在前后帧可获得更多的带标签的数据，对无标签物体生成标签(图5中，第一和第三帧是人工标注帧，其中目标物体五角星表示标以边界框，第二帧通过扩充得到边界框)。

本实施例的神经网络模型应用到图像处理领域中，能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度。

在具体实现中，在一实施例中，参考9，图9为构建目标识别模型的流程示意图，所述步骤S100，包括以下子步骤：

步骤S101，按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；

可理解的是，在多数情况下视频图像中的目标物体运动是连续的，前后帧目标物体IOU(重叠度，Intersection over Union)大于0，即可利用IOU进行查找，也可利用GIOU(IOU改进版)查找。

具体地，采集视频数据时，采集帧数需要满足物体前后帧有一定重叠，且重叠度大于预设重叠阈值，便于扩充训练数据。在具体实现中，可通过跟踪方法获得边界框会在时间上重叠，两帧人工标注帧扩充标签后，对边界框IOU交并比(IOU为两个矩形框重叠面积除以两个矩形框合成新形状的面积，见图7，其中两个矩形框来自前后不同帧)大于阈值的两组判断类别是否一致，一致则认为是合并成同一组，不一致则截断分为两组。

步骤S102，从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；

步骤S103，使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；

步骤S106，对迁移学习训练图像数据进行识别，得到识别出的内容数据；

步骤S107，对所述识别出的内容数据进行过滤，得到过滤后的数据；

步骤S103，使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。

具体地，通过少量训练数据，使用预训练网络(本实施优选使用coco数据集预训练)迁移学习训练网络模型。在训练收敛时，将模型提供给所述步骤S106识别；再由所述步骤S107对数据进行优化，将优化后数据提供给所述步骤S103继续训练。最后通过对损失loss和精度acc判断是否需要收敛，若需要收敛则结束训练。最后通过对损失loss和精度acc判断训练是否收敛，若训练收敛，则结束训练。

需要说明的是，所述步骤S106可使用多种不同的目标检测网络，其模型可根据用户需求自行设计。本实施例的目标检测网络可以优选使用YOLOv3模型，由darknet骨干网络和三个特征提取和预测分支，每条分支在不同特征尺度上分出和融合，实现不同尺度目标物体识别，其中darknet骨干网络使用1*1的卷积核实现多个feature map的线性组合，实现跨通道的信息整合。

相应地，在一实施例中，所述步骤S100，还包括：

步骤S105，从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；

具体地，所述步骤S105对标注扩充，通过识别和跟踪扩充训练集。

步骤S106，对所述无标注帧图像进行识别，得到识别出的无标签物体；并对所述无标签物体构建新的标签类型的边界框；

具体地，所述步骤S106是根据训练后的模型识别，对无标注图像扩充到训练集，根据前期训练模型(所述步骤S103)到模型收敛，再将训练好的模型用于识别无标签的图像。

进一步地，所述步骤S106跟踪扩充根据传统图像跟踪对视频前后帧搜索，目标跟踪方法(目标跟踪算法包括MIL算法、KCF算法、TLD算法、MEDIANFLOW算法、MOSSE算法和CSRT算法中的至少一项)采用非深度学习等相关方法，跟踪方法主要包括根据图像特征寻找边界框，根据IOU和匹配算法将边界框归到一组，包括但不限于匈牙利匹配算法。仅通过传统图像特征去跟踪，目的是标注样本少，要减少数据依赖。

进一步地，所述步骤S105取视频中所有帧，包含标注帧，通过所述步骤S106识别和跟踪获得一系列边界框组，通过下述步骤S107对每个物体对于边界框组滤波和筛选。

步骤S107，还用于对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框保存到所述训练样本集。

具体地，将新识别的数据加入训练集，继续训练网络，通过所述步骤S103、所述步骤S106、所述步骤S107循环不断更新网络，并使用新的网络去识别图像目标。

进一步地，所述步骤S107通过对边界框滤波，获得形状和位置稳定的边界框。举例卡尔曼滤波，使用一个8维空间去刻画轨迹在某时刻的状态[u,v,r,h,x*,y*,r*,h*]分别表示边界框中心的位置、纵横比、高度、以及在图像坐标中对应的速度信息，使用一个卡尔曼滤波器预测更新轨迹，该滤波器采用匀速模型和线性观测模型，其观测变量为[u,v,r,h]。

需要说明的是，由于训练需要多样性数据，所述步骤S107需要筛选一些不容易污染数据的图像，筛选的目的在于：

其一确保识别组有效，通过分类模型识别组内所有边界框图像，使用分类网络模型对每组边界框区域的图像进行类别识别，并统计各类数量，通过使用softmax函数来计算各类概率，其中最大概率的分类的概率超过阈值及作为稳定结果加入训练样本。

其二类型正确，根据边界框图像结果，包含识别错误项分布均匀和不均匀两种情况，根据单组边界框统计多类分布在时间轴上的位置，对该组边界框进行裁切，仅包留置信高的部分。举例人车识别，同一组识别框，识别后行人类别10个框，汽车类别3个框，会有两种情况，真实情况该组框完全是人，或者该组框一部分是人一部分是车，之间发生了跳变。

训练数据需要多样性，按一定间隔抽取包含有效边界框组中置信值较大的图像。抽取的图像和标签加入训练数据。由于目标跟踪的结果并不包含边界框的类别，使用分类模型对原始图像根据边界框区域图像数据分类，来判断改组边界框有效性。

本实施例构建目标识别模型作为主模型，模型用于检测图像中的目标物体，将物体边界框和类别给出。可选R-CNN两阶段算法和YOLO等一阶段算法，主模型使用标注的整张图训练。

扩充训练数据使用目标跟踪方法对有标注信息的视频前后帧查找当前帧所有标注对应边界框，循环扩散获得标注图像的前后多帧的边界框，对前后张不同坐标位置的边界框分组。再对所有物体对应的边界框组坐标进行滤波，减少干扰，通过人工标注帧中的边界框顶点作为基点用于修正偏移。

使用识别和跟踪获取标签组，通过前后帧包含的多个标签组，分别判断识别是否稳定。主要通过类别分布判断，统计组内标签的类型和个数，通过softmax函数计算最大概率值，概率值超过阈值的标签组作为有效标签组。

进一步地，参考图10，图10为本发明中构建分类模型的流程示意图，所述步骤S200具体包括以下步骤：

步骤S201，使用所述预设训练网络集合对所述训练样本集进行迁移学习训练，得到第二迁移学习训练图像数据；

具体地，本实施例会按照与所述上述步骤S103相同的方式做分类训练集；

步骤S202，对所述第二迁移学习训练图像数据进行图像裁剪，得到边界框范围图像数据；

具体地，将边界框的图像按分类裁剪成新的图像；该分类训练集按上述步骤S103的识别训练集扩充而扩充。

步骤S203，使用卷积神经网络对所述边界框范围图像数据进行训练，以完成分类模型的构建。

可理解的是，边界框区域图像数据训练分类模型，分类模型可以使用卷积神经网络搭建，头部使用全连接层降维，使用独热方式输出类别结果。

需要说明的是，分类模型用于筛选统计组内边界框图像的类别，分类模型的训练是使用开源数据集预训练，再使用少量标注的边界框局部区域图像样本迁移学习。

本实施例构建分类模型作为有效性检测模型，分类模型使用标注的边界框局部区域训练和测试(图6图像为图5图像中提取的边界框中的图像，用于训练分类模型)。

进一步地，参考图11，图11为本发明实施例中对视频数据中帧图像中的目标物体进行识别的流程示意图，本发明还包括对视频数据中帧图像中的目标物体进行识别的方法，具体包括以下步骤：

步骤S301，采集目标视频；

步骤S302，基于所述目标识别模型从所述目标视频的各帧图像中识别出各个目标边界框；获取所述目标边界框的尺寸大小、位置和类别；

步骤S303，将前后相邻帧图像中位置的重叠度大于预设阈值的目标边界框分到一组，得到多个边界框标签组；

步骤S304，对所述多个边界框标签组进行滤波处理；

步骤S305，基于所述分类模型并使用softmax函数分别计算各个边界框标签组的最大概率值，将最大概率值超过预设概率阈值的边界框标签组作为有效标签组；

可理解的是，使用所述分类模型再次对各个边界框标签组进行分类，这是因为由于步骤S304的滤波操作可能会导致边界框不可靠，因此使用分类模型再次识别可以减少错误发生。

步骤S306，剔除最大概率值不超过所述预设概率阈值的无效标签组，获取所述有效标签组的目标边界框的类别，根据所述有效标签组中的目标边界框的类别确定对应的目标物体。

本实施例使用训练后的所述目标识别模型和所述分类模型通过空间关联，将单个物体在多个方向上的识别结果整合，获得鲁棒性高的识别结果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种模型训练装置，其特征在于，所述装置包括：

样本集确定模块，用于确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；

第一模型构建模块，用于基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；

第二模型构建模块，用于基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。

2.如权利要求1所述的装置，其特征在于，所述第一模型构建模块包括：

视频采集单元，用于按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；

已标注帧获取单元，用于从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；

第一模型训练单元，用于使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；

图像识别跟踪单元，用于对迁移学习训练图像数据进行识别，得到识别出的内容数据；

滤波单元，用于对所述识别出的内容数据进行过滤，得到过滤后的数据；

所述模型训练单元，还用于使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。

3.如权利要求2所述的装置，其特征在于，所述第一模型构建模块还包括：

无标注帧获取单元，用于从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；

图像识别跟踪单元，还用于对所述无标注帧图像进行识别，识别出无标签物体，并对所述无标签物体构建新的标签类型的边界框；

滤波单元，还用于对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框保存到所述训练样本集。

4.如权利要求1-3任一项所述的装置，其特征在于，所述第二模型构建模块包括：

第二模型训练单元，用于使用所述预设训练网络集合对所述训练样本集进行迁移学习训练，得到第二迁移学习训练图像数据；

图像裁剪单元，用于对所述第二迁移学习训练图像数据进行图像裁剪，得到边界框范围图像数据；

分类训练单元，用于使用卷积神经网络对所述边界框范围图像数据进行训练，以完成分类模型的构建。

5.如权利要求1-3任一项所述的装置，其特征在于，所述装置还包括目标识别模块，所述目标识别模块包括：

采集单元，用于采集目标视频；

识别单元，用于基于所述目标识别模型从所述目标视频的各帧图像中识别出各个目标边界框；获取所述目标边界框的尺寸大小、位置和类别；

第一分组单元，用于将前后相邻帧图像中位置的重叠度大于预设阈值的目标边界框分到一组，得到多个边界框标签组；

滤波单元，用于对所述多个边界框标签组进行滤波处理；

判断单元，用于基于所述分类模型并使用softmax函数分别计算各个边界框标签组的最大概率值，将最大概率值超过预设概率阈值的边界框标签组作为有效标签组；

第二分组单元，用于剔除最大概率值不超过所述预设概率阈值的无效标签组，获取所述有效标签组的目标边界框的类别，根据所述有效标签组中的目标边界框的类别确定对应的目标物体。

6.一种模型训练方法，其特征在于，所述方法包括：

确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；

基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；

基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。

7.如权利要求6所述的方法，其特征在于，所述基于所述已标注样本图构建目标识别模型的步骤，包括：

按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；

获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；

从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；

使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；

对迁移学习训练图像数据进行识别，得到识别出的内容数据；

对所述识别出的内容数据进行过滤，得到过滤后的数据；

使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。

8.如权利要求7所述的方法，其特征在于，所述获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合的步骤之后，还包括：

从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；

对所述无标注帧图像进行识别，识别出无标签物体，并对所述无标签物体构建新的标签类型的边界框；

对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框保存到所述训练样本集。

9.如权利要求6-8任一项所述的方法，其特征在于，所述基于所述目标识别模型构建分类模型的步骤，包括：

使用所述预设训练网络集合对所述训练样本集进行迁移学习训练，得到第二迁移学习训练图像数据；

对所述第二迁移学习训练图像数据进行图像裁剪，得到边界框范围图像数据；

使用卷积神经网络对所述边界框范围图像数据进行训练，以完成分类模型的构建。

10.如权利要求6-8任一项所述的方法，其特征在于，所述方法还包括：

采集目标视频；

基于所述目标识别模型从所述目标视频的各帧图像中识别出各个目标边界框；

获取所述目标边界框的尺寸大小、位置和类别；

将前后相邻帧图像中位置的重叠度大于预设阈值的目标边界框分到一组，得到多个边界框标签组；

对所述多个边界框标签组进行滤波处理；

基于所述分类模型并使用softmax函数分别计算各个边界框标签组的最大概率值，将最大概率值超过预设概率阈值的边界框标签组作为有效标签组；

剔除最大概率值不超过所述预设概率阈值的无效标签组，获取所述有效标签组的目标边界框的类别，根据所述有效标签组中的目标边界框的类别确定对应的目标物体。

Images