CN102289686B - 一种基于迁移学习的运动目标分类识别方法 - Google Patents

Abstract

本发明公开一种基于迁移学习的运动目标分类方法，对图像序列进行背景建模、阴影消除和后处理获得有效运动目标区域，通过训练和识别两个过程完成目标分类，包括步骤：对已经标好类别的多类别目标进行特征提取，通过迁移学习方法训练，获得分类模型；对含有运动目标的视频进行特征提取，将提取的特征输入到分类模型，获得运动目标的类别。基于迁移学习的运动目标分类对于克服视角影响，提高多视角条件下的目标分类具有重要意义，。用于监控场景中异常检测，对不同类别目标建立规则，提高监控系统安全性能。用于监控场景物体识别，降低识别方法复杂度，提高识别率。用于监控场景语义化理解，识别运动目标的类别，帮助理解场景中发生的行为事件。

Description

一种基于迁移学习的运动目标分类识别方法

技术领域

本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及基于视频的一种基于迁移学习的运动目标分类识别方法。

背景技术

视频、图像是对事物客观、形象、主动的描述，是直观而具体的信息表达形式，是现代社会最重要的信息载体。特别是随着城市现代化、数字化、智能化进程的日益加快，人们对人身安全、财产安全等方面的需求也在不断提高。利用高科技为政府与人民提供可用、可靠的公共安全服务已成为促进社会和谐稳定与发展的必然手段。视频监控等一些特定的视觉分析系统以其直观、方便和内容丰富等特点，日益受到人们的青睐。同时，人们希望计算机可以像人一样识别出视频中的语义信息，比如视频中有什么目标，目标之间的关系如何，这些关系表示了一个什么样的场景或事件等等。

智能视频分析技术采用计算机视觉方法，对视频进行自动分析，在底层上对动态场景进行分析，提取出感兴趣的区域进行目标检测、定位于跟踪；在中层上对目标特征进行分析与识别；在高层上对目标的行为进行分析，进而得到场景事件的语义描述。智能视频分析系统应用广泛，如：智能安全监控系统、交通道路监管、汽车自动驾驶、人机交互、体育视频分析等。

目标的检测与分类是智能视频分析系统中必不可少的重要环节。智能视频分析系统分析视频中的场景与事件，就必须提取出视频中的各种目标，并对这些目标进行语义上的分类，以便于后续的对目标进行有针对性的处理。

现阶段大部分目标分类系统在特别设定环境下可以有较好的检测和分类效果，但是如果将其应用在其他的新的视角和场景下时，往往分类效果会非常差。在一些系统里，分类器将一些场景相关的信息显式的加入到摄像头的标定中。大部分系统使用了场景相关的信息，如：位置、朝向、光照及尺度变化等。这些信息场景不变性差，这往往正是导致视觉系统无法广泛应用的因素。与此形成鲜明对比的是，人类视觉系统即使在环境发生相当大变化时，仍然可以很容易的分别出场景中的各个目标(如从远视域变化到近视域时)。目前的视觉系统缺乏这种从训练环境(视角)到新的环境(视角)的自适应能力。

发明内容

本发明的目的是为了实现上述目的，提出一种基于迁移学习的运动目标分类识别方法。

本发明的一种基于迁移学习的运动目标分类识别方法，包括目标模拟训练和目标类型识别两个过程，具体为：

一、目标模拟训练；

对视频中的运动目标进行检测，标注类型，然后进行特征提取，提取的特征进行训练，获得分类模型，具体包括以下几个步骤：

步骤1：对视频中的图像序列经过前景检测及分割，提取出运动区域，通过阴影消除去除阴影区域，保留实际目标区域；

步骤2：计算实际目标区域边缘图，利用实际目标区域边缘图及种子填充方法将背景差分中分裂为多块的同一运动目标合并为同一个有效的运动目标；

步骤3：通过对行列进行投影，使用递归分裂方法将粘连的多个运动目标分割成有效的原始目标；

步骤4：对获得的原始目标的类别进行标注；

步骤5：对已标注类别的大量运动目标样本进行区域宽度及高度的归一化，并求取运动目标图像的方向梯度直方图。

步骤6：将方向梯度直方图作为特征输入迁移学习分类器进行训练，获得基于迁移学习的运动目标分类模型；

二、目标类型识别；

对视频中的运动目标进行特征提取，将提取的表象特征输入到目标模拟训练获得的分类模型，获得视频中运动目标的类型，具体包括以下几个步骤：

步骤1)：对视频中的图像序列经过前景检测及分割，提取出运动区域，通过阴影消除去除阴影区域，保留实际目标区域；

步骤2)：计算实际目标区域边缘图，利用实际目标区域边缘图及种子填充方法将背景差分中分裂为多块的同一运动目标合并为同一个有效的运动目标；

步骤3)：通过对行列进行投影，使用递归分裂方法将粘连的多个运动目标分割成有效的原始目标。

步骤4)：对提取的运动目标的宽度及高度进行归一化，对运动目标图像求取运动目标的方向梯度直方图。

步骤5)：将运动目标的方向梯度直方图输入S2训练的分类模型，输出当前运动目标的类型。

步骤4得到的已标注运动目标样本包括两部分，一部分为普通视角下的运动目标，另一部分为特定视角下的运动目标。

所述阴影消除是在颜色空间中利用阴影区域像素亮度比背景小，而色度较背景变化不大所得。

所述运动边缘图，是使用边缘检测算子对每帧图像进行边缘检测并统计图像序列中每个像素为静止边缘像素的概率，通过当前帧边缘检测结果得到每个像素为运动边缘像素的后验概率所得。

所述识别，是使用方向梯度直方图作为特征进行类型识别，方向梯度直方图是通过对图像进行区域划分并局部归一化所得。

在运动目标分类中，是使用迁移学习方法对特征进行训练，获得能够分辨运动目标类型的模型。

本发明的优点在于：

(1)对于场景中光线强弱变化、阴影变化具有自适应能力；

(2)只需要标注少量新场景下的数据，就可以在新场景中到达较高的识别率，节省了标注时间；

(3)解决了背景差分方法中较难处理的运动目标分裂和粘连的问题。

附图说明

图1是本发明的方法流程图；

图2a是本发明的从样本视频中提取出的一帧示例图像；

图2b是本发明的运动目标提取与阴影检测的效果图像；

图3是本发明的利用运动边缘图修复断裂的运动目标的效果图像；

图4a是本发明的从样本视频中提取出的一帧示例图像；

图4b是本发明的利用迭代行列投影方法切割粘连的运动目标的效果图像；

图5是本发明的迁移学习的原理示意图；

图6是本发明的不同场景下的样本库中的示例图像。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

基于视频的目标的检测与分类是智能视频分析系统中必不可少的重要环节。智能视频分析系统分析视频中的场景与事件，就必须提取出视频中的各种目标，并对这些目标进行语义上的分类，以便于后续的对目标进行有针对性的处理。本发明克服先前系统对多视角的没有自适应能力的弱点，使系统可以从不同视角地识别出目标，对目标进行分类，对于没有训练过的新视角也能有自适应的能力。图1示出了本发明的流程框图，本发明是一种基于迁移学习的运动目标分类识别方法，包括了训练和识别两个过程。

所述的训练过程包括步骤：对训练集中的视频序列，进行运动目标的前景检测和分割后进行阴影消除；计算运动边缘并连接被分裂的目标；行列投影计算并分割；提取准确的运动目标进行归一化并计算方向梯度直方图特征；应用运动目标的标注信息并使用迁移学习器进行训练。

具体包括以下几个步骤：

步骤1：对视频中的图像序列经过前景检测及分割，提取出运动区域，通过阴影消除去除阴影区域，保留实际目标区域；

步骤2：计算实际目标区域边缘图，利用实际目标区域边缘图及种子填充方法将背景差分中分裂为多块的同一运动目标合并为同一个有效的运动目标；

步骤3：通过对行列进行投影，使用递归分裂方法将粘连的多个运动目标分割成有效的原始目标；

步骤4：对获得的原始目标的类别进行标注；

步骤5：对已标注类别的大量运动目标样本进行区域宽度及高度的归一化，并求取运动目标图像的方向梯度直方图。

步骤6：将方向梯度直方图作为特征输入迁移学习分类器进行训练，获得基于迁移学习的运动目标分类模型；

所述的识别过程包括步骤：对摄像头数据或者视频文件中的图像序列经过运动前景检测和分割后进行阴影消除；计算运动边缘并连接被分裂的目标；行列投影计算并分割；提取准确的运动目标进行归一化并计算方向梯度直方图特征；载入训练阶段迁移学习得到的模型进行运动目标分类。

具体包括以下几个步骤：

步骤1)：对视频中的图像序列经过前景检测及分割，提取出运动区域，通过阴影消除去除阴影区域，保留实际目标区域；

步骤2)：计算实际目标区域边缘图，利用实际目标区域边缘图及种子填充方法将背景差分中分裂为多块的同一运动目标合并为同一个有效的运动目标；

步骤3)：通过对行列进行投影，使用递归分裂方法将粘连的多个运动目标分割成有效的原始目标。

步骤4)：对提取的运动目标的宽度及高度进行归一化，对运动目标图像求取运动目标的方向梯度直方图。

步骤5)：将运动目标的方向梯度直方图输入步骤6训练的分类模型，输出当前运动目标的类型。

运动目标的类型可以是行人、轿车、自行车等等。

本发明的方法需要的硬件最低配置为：Intel Core 22.0G CPU，1G内存的计算机；最低分辨率为320x240的监控摄像头；帧率为25帧每秒的视频采集卡。在此配置水平的硬件上，采用C++语言编程实现本发明，可以达到实时识别的效果。

下面对本发明的方法涉及的关键步骤进行逐一详细说明，本发明的方法中的基本步骤相同，具体形式如下所述：

所述的步骤1、步骤1)中：

首先，进行运动目标的前景检测、分割和阴影消除为：

要对运动目标进行分类，第一步应该是从背景中把运动目标分离出来，这是关键性的一步。由于摄像机是固定的，因此背景是静止的，目标是运动的。背景模型减除法是目前运动分割中最常用的一种方法，其基本思想是先形成场景的背景图像，然后将待检测图像与背景图像逐像素差分(理想情况下的差值图像中非零像素点就表示了运动物体)，进而就可运用阈值方法将运动物体从背景中分离出来，背景减除法能得到运动物体很全面的特征数据，但却对由于光线和其他外部的动态场景变化非常敏感。精确可靠的背景图像是背景减除法能否成功提取目标的关键。显然，建筑物阴影、浮云或光照的变化都会造成背景环境明显的变化，由于这些环境变化因素，作为参照物的背景需要定时更新。运动区域(前景)的检测可以使用混合高斯模型方法。混合高斯模型目前被广泛应用于背景建模，有比较稳定的性能。

基于背景差的目标检测的准确性很大程度上依赖于背景图像的可靠性。总的来说，背景减除法对环境光线的变化非常敏感，背景图像需不断地被更新以迎合环境光线、阴影和天气的变化等，因而背景更新中的误差累计是影响背景减除法精度的重要因素。

通过混合高斯模型方法得到的前景图像中，运动的阴影很难被消除，本发明利用HSV颜色空间中，阴影区域的前景较背景图像亮度变小，色度变化不大的原理对运动阴影进行消除。如图2a和图2b所示。

所述的步骤2、步骤2)中：

运动边缘的检测及分裂目标的拼接为：

在通过前景检测和分割之后，获取到了目标场景中大致的运动区域。由于光线亮暗、摄像头远近及背景建模本身缺陷的原因，会碰到同一个目标物体被分裂成多个连通块的情况，这样将会被识别成多个目标，图3示出了这一情况的一个实例。处理这种问题的难度在于怎么匹配运动前景中的目标和实际场景中的目标。

为了处理这种情况，本发明提出了一种运动边缘图像匹配运动目标的方法。为了获取运动边缘图像，本发明首先需获取静止累积边缘图像。通过Canny边缘检测算子对视频序列中的每一帧进行边缘检测，若某个像素在过去N帧中有一半以上的帧被检测为边缘像素则被认为是静止边缘。所谓静止累积边缘图像即当前帧的所有静止边缘像素组成的图像。通过公式(1)计算静止累积边缘图像。

${\mathrm{EB}}_{i,j}^t=\left\{\begin{array}{cc}1,& \underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{E}_{i,j}^{t-k}>T_{e}N\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中

表示第t针的第i行，第j列的像素是否为静止边缘像素，1表示是静止边缘，0表示非静止边缘。所有行列像素组成了静止累积边缘图像。

表示的是第t-k帧的边缘图像，由Canny边缘检测算子检测所得。T_e为所设阈值，一半情况下设置为0.5。N为需要累积的帧数，一半设置为100。

在获取到静止累积边缘之后可以将当前帧所获取的边缘图像减去静止边缘图像，即可得到当前帧的运动边缘图像。通过公式(2)计算得到。

$M{E}_{i,j}^t=E_{i,j}^t-E{B}_{i,j}^t---\left(2\right)$

式中：

即为运动边缘图像。

表示第t帧的边缘图像，由Canny边缘检测算子检测所得。

通过运动边缘图像可以将本来被分裂成多个运动目标的同一个目标合并。当两个分裂的块之间存在着至少一条连接路径时，认为这两个块是属于同一个目标的。使用种子填充方法完成这一过程，图3演示了这一过程的一个实例。

所述的步骤3、步骤3)中：

行列投影及粘连目标拆分为：

在提取运动目标的过程当中，除了会遇到单个目标分裂成多个的情况，也会遇到多个目标粘连在一起形成一个目标的情况，特别是由于摄像机抖动，有些静止的边缘会被检测为动态边缘，经过运动边缘的连接之后，将多个目标连接为一个目标。

为了处理这种情况，本发明使用了行列投影图对粘连的目标进行递归的拆分。在每次迭代的过程当中对当前目标进行行列投影。对于行列投影，找到一个最佳的切分位置，这个位置有最小投影值也即所花代价最小。在找到最佳切分位置之后将目标切分成两部分，对着两部分分别进行递归迭代处理。递归迭代的过程一直继续到没有可以切分的位置，也即最小切分投影值大于Ts。图4a和图4b示出了粘连目标拆分的一个实例。

所述的步骤5、步骤4)中：

运动目标图像的归一化及方向梯度直方图的提取具体为：

由于运动目标图像中实际的大小跟目标到摄像机的距离有关，距离摄像机越近，图像越大，为了去除这种影响，将图像保持长宽比归一化到40＊40，提取的运动目标的图像的大小一样。

方向梯度直方图特征的核心思想是一副图像的中的目标的表象和形状信息可以被梯度或边缘的方向密度分布很好地描述。具体实现时先将图像分成小块方格，求取方格中的中各个像素的梯度方向，将梯度方向计入到方格的梯度直方图中。梯度直方图作为每个方格的特征，最后把所有方格的直方图组合起来就可以构成整个特征描述子。为了提高精度，还可以将方格的直方图在周围的更大区域内进行归一化处理。通过归一化处理，能够对光照变化和阴影获得更好的鲁棒性。

同时，在实现中采用了一种快速的方向梯度直方图计算方法，该方法使用对每个梯度方向计算一个积分图(Integral Image)，使用积分图可以使得可以很快的计算图像的方向梯度直方图。

所述的步骤6中：

利用迁移学习方法对新场景进行学习具体为：

传统机器学习方法假设训练场景和测试场景具有相同的数据分布，当测试场景和训练场景的数据分布差异很大时，训练出的模型将在测试场景中表现非常差。也就是说当训练出的模型应用到一个完全陌生的环境中时会无法获得高准确率，这个时候需要从新环境中获取数据并标注新的数据来训练新的模型，这个过程耗费了大量的人工标注的时间和精力。并且忽视了原有的大量旧场景的数据。

本发明使用了一种迁移学习的机制利用原有的大量旧场景(原始场景)的数据辅助新场景的训练，从而减少新场景(目标场景)中的数据标注量，并且提高新场景下的目标分类准确率。图5示出了本迁移学习方法的原理。

迁移学习是近几年发展起来的一种新的机器学习方法，其出发点是希望从不同数据分布、不同领域及不同特征空间的数据中学习到有利于当前学习任务的知识。比如人类学习了骑自行车就比较容易学会摩托车，学习了下中国象棋就比较容易学习下国际象棋。

本发明中使用了一种基于自提升思想的迁移学习方法，来解决这一不同数据分布之间的分类学习问题。的基本思想是，尽管旧的辅助训练数据和新场景训练数据或多或少会有些不同，但是辅助训练数据中应该还是会存在一部分比较适合用来训练一个有效的新场景分类模型。于是，的方法就是从辅助训练数据中找出那些适合测试数据的实例，并将这些实例迁移到新场景训练数据的学习中去。

本发明中将辅助训练数据中符合新场景训练数据的那些数据就会拥有更高的权重，而那些不符合新场景训练数据的权重会降低。那些拥有更高权重的数据将会帮助新场景训练数据训练一个更好的分类模型。

为了验证方法有效性，使用采集的运动目标分类数据库对提出的方法进行了测试。采集的数据库是由包含300个目标，包括行人、人群、自行车、轿车、面包车和出租车。提取每类目标各400幅目标图像进行方法测试，训练集中采用10∶1的辅助数据和新场景数据，平均正确识别率为94.44％。该方法的识别率优于采用其他机器学习方法(支持向量机等)的方法。图6示出了本发明采用的数据库中的部分数据。

实施例：

以某一个用于搜集运动目标信息的智能监控系统为例说明，系统可以记录下监控场景里出现的每一个运动目标，并标出他们的类别信息。

训练的目的是学习不同类别的运动目标的表象模式。首先，要拥有大量标注了运动目标类别信息的视频训练数据，并且标注少量的新场景的视频训练数据，标注了类别信息的运动目标视频用于训练目标分类模型。

一、目标模拟训练步骤如下：

步骤1：对视频数据库中的已标注的大量原始场景视频序列和少量目标场景视频序列进行前景检测及分割，提取出运动区域，通过阴影消除将运动阴影去除，保留实际运动区域；

步骤2：计算运动边缘图，利用运动边缘图及种子填充方法将背景差分中分裂为多块的同一运动目标合并为一个运动目标；

步骤3：通过对行列进行投影，使用递归分裂方法将粘连的多个运动目标分割成原始目标。

步骤4：对获得的原始目标的类别进行标注；

步骤5：对提取的运动目标的宽度及高度进行归一化，对运动目标图像进行计算，求得运动目标图像的方向梯度直方图。

步骤6：将方向梯度直方图作为特征输入迁移学习器进行训练，获得基于迁移学习的运动目标分类模型参数并将次参数保存。

在识别阶段，将摄像头信号通过采集卡接入计算机，初始阶段的处理跟训练阶段一致，直到得到方向梯度直方图，然后将特征输入到训练阶段所得的基于迁移学习器的模型进行分类，输出分类结果。程序将分类结果记录下来，或者传给其他的程序。

二、目标类型识别，具体识别步骤如下：

步骤1)：对摄像头数据或者视频文件中的图像序列经过前景检测及分割，提取出运动区域，通过阴影消除将运动阴影去除，保留实际运动区域；

步骤2)：计算运动边缘图，利用运动边缘图及种子填充方法将背景差分中分裂为多块的同一运动目标合并为一个运动目标；

步骤3)：通过对行列进行投影，使用递归分裂方法将粘连的多个运动目标分割成原始目标。

步骤4)：对提取的运动目标的宽度及高度进行归一化，对运动目标图像进行计算，求得运动目标图像的方向梯度直方图。

步骤5)：载入一中步骤6中获得的模型，并将方向梯度直方图作为特征输入识别模块，得到当前运动目标的类型。

总之，本发明提出了一种简单有效的基于迁移学习的运动目标识别方法，在测试的数据库上的试验结果验证了本发明的有效性。本发明易于实现、性能稳定。本发明能够提高智能监控系统对监控场景的理解能力，是下一代智能监控系统里的关键技术。

Claims (2)

1.一种基于迁移学习的运动目标分类识别方法，其特征在于，具体包括目标模拟训练、目标类型识别两个方面，具体为：

目标模拟训练：对视频中的运动目标进行检测，标注好类型，进行特征提取，提取特征进行训练，获得分类模型；

目标类型识别：对视频中的运动目标进行特征提取，将提取的表象特征输入到目标模拟训练中得到的分类模型，获得视频中运动目标的类型；

所述的目标模拟训练具体包括以下几个步骤：

步骤1：对视频中的图像序列经过前景检测及分割，提取出运动区域，通过阴影消除去除阴影区域，保留实际目标区域；

步骤2：计算实际目标区域边缘图，利用实际目标区域边缘图及种子填充方法将背景差分中分裂为多块的同一运动目标合并为同一个有效的运动目标；所述步骤2采用一种运动边缘图像匹配运动目标的方法完成，具体过程为：

首先，需获取静止累积边缘图像，所谓静止累积边缘图像是指当前帧的所有静止边缘像素组成的图像，通过Canny边缘检测算子对视频序列中的每一帧进行边缘检测，若某个像素在过去N帧中有一半以上的帧被检测为边缘像素则被认为是静止边缘；通过公式（1）计算静止累积边缘图像：

EB _t,i,j =1, if ∑ _k=0:N-1 (E _t-k,i,j )＞T _e N；

EB _t,i,j  =0, otherwise          （1）

其中，EB _t,i,j 表示第t帧的第i行，第j列的像素是否为静止边缘像素，1表示是静止边缘，0表示非静止边缘；所有行列像素组成了静止累积边缘图像；E _t-k,i,j 表示的是第t-k帧的边缘图像，由Canny边缘检测算子检测所得；T _e 为所设阈值；N为需要累积的帧数；

然后，在获取到静止累积边缘之后，将当前帧所获取的边缘图像减去静止边缘图像，得到当前帧的运动边缘图像ME _t,i,j ：

   ME _t,i,j =E _t,i,j -EB _t,i,j                （2）

其中，E _t,i,j 表示第t帧的边缘图像，由Canny边缘检测算子检测所得；

通过运动边缘图像将本来被分裂成多个运动目标的同一个目标合并，当两个分裂的块之间存在着至少一条连接路径时，认为这两个块是属于同一个目标的；

步骤3：通过对行列进行投影，使用递归分裂方法将粘连的多个运动目标分割成有效的原始目标；

步骤4：对获得的原始目标的类别进行标注；

步骤5：对已标注类别的大量运动目标样本进行区域宽度及高度的归一化，并求取运动目标图像的方向梯度直方图；

步骤6：将方向梯度直方图作为特征输入迁移学习分类器进行训练，获得基于迁移学习的运动目标分类模型。

2.根据权利要求1所述的一种基于迁移学习的运动目标分类识别方法，其特征在于，步骤4得到的已标注运动目标样本包括两部分，一部分为普通视角下的运动目标，另一部分为特定视角下的运动目标。

3.根据权利要求1所述的一种基于迁移学习的运动目标分类识别方法，其特征在于，目标类型识别，具体包括以下几个步骤：

步骤1）：对视频中的图像序列经过前景检测及分割，提取出运动区域，通过阴影消除去除阴影区域，保留实际目标区域；

步骤2）：计算实际目标区域边缘图，利用实际目标区域边缘图及种子填充方法将背景差分中分裂为多块的同一运动目标合并为同一个有效的运动目标；

步骤3）：通过对行列进行投影，使用递归分裂方法将粘连的多个运动目标分割成有效的原始目标；

步骤4）： 对提取的运动目标的宽度及高度进行归一化，对运动目标图像求取运动目标的方向梯度直方图；

步骤5）：将运动目标的方向梯度直方图输入目标模拟训练的步骤6训练的分类模型，输出当前运动目标的类型。 

Images