CN105550713A - 一种持续学习的视频事件检测方法 - Google Patents

一种持续学习的视频事件检测方法 Download PDF

Info

Publication number
CN105550713A
CN105550713A CN201510995737.6A CN201510995737A CN105550713A CN 105550713 A CN105550713 A CN 105550713A CN 201510995737 A CN201510995737 A CN 201510995737A CN 105550713 A CN105550713 A CN 105550713A
Authority
CN
China
Prior art keywords
learning
video
feature
label
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510995737.6A
Other languages
English (en)
Inventor
张卫山
赵德海
宫文娟
卢清华
李忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201510995737.6A priority Critical patent/CN105550713A/zh
Publication of CN105550713A publication Critical patent/CN105550713A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Abstract

本发明提出了一种持续学习的视频事件检测方法，包括初始学习阶段和增量学习阶段；在初始学习阶段，准备了带有标签的视频数据，使用稀疏自编码对所述带有标签的视频数据进行学习，训练出一个先验模型；在增量学习阶段，使用训练好的先验模型对新到来的视频数据进行分类，计算概率评分和梯度距离，根据计算结果使用主动学习来决定为新到来的视频数据自动添加标签还是人工添加标签。本发明结合深度学习和主动学习，自动选择最合适的特征并且利用视频流数据逐渐改善现有的模型；当获得新的视频数据时，使用无监督学习来提取特征，然后使用主动学习来尽量减少人为分类的工作，逐渐完善模型，最终达到持续学习的目的。

Description

一种持续学习的视频事件检测方法
技术领域
本发明涉及计算机视觉、模式识别、机器学习多种领域，尤其是一种持续学习的视频事件检测方法。
背景技术
现有的视频事件检测系统，大多数为人工提取视频中的特征，例如梯度直方图(HOG)、光流直方图(HOF)等运动特征，这些人工选取的特征并不能适用于所有的领域或者场景，需要根据不同的应用进行不同的取舍。而深度学习正是解决这个问题的有效途径。
有部分研究也尝试使用深度学习的方法，例如C3D，但是都是使用大量有标签的数据训练出一个固定的模型，这个模型在使用过程中是不能改变的，这就导致其不能适应复杂的环境变化，而且对于视频中所有未训练过的事件类别，都无法准确识别，这对于不断变化的视频数据来说是很不适用的。因此需要一个能够持续学习的系统。
视频数据量非常巨大，处理需要消耗大量的计算资源，直接对视频数据进行处理将会产生很高的延时，甚至堵塞，因此需要一个合理的编码方式，对视频运动进行表达。
发明内容
为解决现有技术中的缺点和不足，本发明提出一种持续学习的视频事件检测方法，将深度学习和主动学习相结合，既能够发挥深度学习有效学习最有用的特征的优势，减少人工选取特征的局限性，又能够发挥主动学习不断增量式优化参数的优势，使其能够适应不断变化的环境。
本发明的技术方案是这样实现的：
一种持续学习的视频事件检测方法，包括初始学习阶段和增量学习阶段；
在初始学习阶段，准备了带有标签的视频数据，使用稀疏自编码对所述带有标签的视频数据进行学习，训练出一个先验模型；
在增量学习阶段，使用训练好的先验模型对新到来的视频数据进行分类，计算概率评分和梯度距离，根据计算结果使用主动学习来决定为新到来的视频数据自动添加标签还是人工添加标签。
可选地，初始学习阶段使用带有标签的数据训练一个先验模型，具体步骤为：
(11)定位并分割视频数据中的运动片段，剔除大量的没有目标或者目标静止的视频，从大量的视频中选取特定几个事件，为这些视频片段增加标签，构成预训练的数据集；
(12)使用时空金字塔和平均池化方法，对分割出的运动成分提取时空兴趣点特征，深度学习网络从所述时空兴趣点特征中自动学习到最有效的特征；
(13)采用稀疏自编码的方法自动从无标签的数据中学习有用的特征，这是一个拥有一层输入层、一层隐层和一层输出层的神经网络，所述神经网络输出特征的高阶表达，当得到新的数据时，稀疏自编码增量更新和调整网络参数；
(14)使用多项逻辑回归或者softmax做分类器，对高阶特征进行分类，训练当前的模型。
可选地，所述步骤(11)中，使用背景消除方法，提取视频片段中的运动成分，定位运动目标。
可选地，增量学习阶段使用新获得的视频数据对当前模型进行调整和优化，具体步骤为：
(21)将新获得的视频流数据存储在缓存中，当达到一定量时，将这一个批次的视频进行预处理；
(22)将视频特征输入到先验模型中进行分类，得出分类结果，并且计算概率评分和梯度距离，决定要保留当前的分类标签或者是人为增加标签；
(23)用有标签的样本来训练神经网络，优化网络参数。
可选地，将这一个批次的视频进行预处理，包括运动片段的截取、动作表达。
本发明的有益效果是：
(1)深度学习自动学习良好的特征，避免了人工选取特征的局限性，适应能力更强；
(2)持续学习的方式使网络模型不断得到修正优化，在外界环境改变时，能够尽快的适应，在检测到未训练过的事件时，可以选择性的加入该分类并在后期进行学习；
(3)事件检测系统可以对某特定区域进行监督，在第一时间发现异常的行为，为人们所关注的公共安全增添保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明持续学习的视频事件检测方法的流程图；
图2为本发明中稀疏自编码的解析图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明为一种持续学习的视频事件检测方法，包括初始学习阶段和增量学习阶段，在初始学习阶段，准备了带有标签的视频数据，使用稀疏自编码对这些数据进行学习，训练出一个先验模型；在增量学习阶段，使用训练好的先验模型来对新到来的视频数据进行分类，计算概率评分和梯度距离，根据计算结果使用主动学习来决定为这个视频数据自动添加标签还是人工添加标签。
其中，初始学习阶段使用有标签的数据训练一个先验模型，具体步骤为：
(11)定位并分割视频数据中的运动片段，剔除大量的没有目标或者目标静止的视频，缩减冗余数据，从大量的视频中选取特定几个事件，为这些视频片段增加标签，构成预训练的数据集。优选地，使用背景消除方法，提取视频片段中的运动成分，更精准的定位运动目标。
(12)为了减少视频的数据量，加快处理速度，使用时空金字塔和平均池化方法，对分割出的运动成分提取时空兴趣点(STIP)特征，深度学习网络可以从这些特征中自动的学习到最有效的特征。
(13)采用稀疏自编码的方法自动从无标签的数据中学习有用的特征，这是一个拥有一层输入层、一层隐层和一层输出层的神经网络，这个神经网络会输出特征的高阶表达，当得到新的数据时，稀疏自编码可以增量更新和调整网络参数。
(14)使用多项逻辑回归或者softmax做分类器，对高阶特征进行分类，训练当前的模型。
增量学习阶段使用新获得的视频数据对当前模型进行调整和优化，具体步骤为：
(21)将新获得的视频流数据存储在缓存中，当达到一定量时，将这一个批次的视频进行预处理，包括运动片段的截取、动作表达。
(22)将视频特征输入到先验模型中进行分类，得出分类结果，并且计算概率评分和梯度距离，决定要保留当前的分类标签或者是人为增加标签。
(23)用这个有标签的样本来训练神经网络，优化网络参数，同时可以删除缓存中这一批视频数据。
本发明的持续学习的视频事件检测方法，充分发挥深度学习自动学习最有效特征的优势，避免了人工选取特征的局限性，适用场景更广泛，持续学习的方式能够增量式更新当前的模型，优化模型参数，使之能够适应不断变化的环境，同时增量式的学习方法不需要保留所有视频样本，节约了大量的存储空间，而且预处理的动作表达阶段也对视频数据进行了压缩，可以对视频流数据进行有效的实时处理。
本发明可以对社会公共区域进行实时监控，当监控区域出现异常事件时及时报警，使安保部门可以在第一时间进行防范工作，这正是人们共同关注的公共安全问题，因此本发明有很高的社会价值。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种持续学习的视频事件检测方法，其特点在于，包括初始学习阶段和增量学习阶段；
在初始学习阶段，准备了带有标签的视频数据，使用稀疏自编码对所述带有标签的视频数据进行学习，训练出一个先验模型；
在增量学习阶段，使用训练好的先验模型对新到来的视频数据进行分类，计算概率评分和梯度距离，根据计算结果使用主动学习来决定为新到来的视频数据自动添加标签还是人工添加标签。
2.如权利要求1所述的一种持续学习的视频事件检测方法，其特点在于，初始学习阶段使用带有标签的数据训练一个先验模型，具体步骤为：
(11)定位并分割视频数据中的运动片段，剔除大量的没有目标或者目标静止的视频，从大量的视频中选取特定几个事件，为这些视频片段增加标签，构成预训练的数据集；
(12)使用时空金字塔和平均池化方法，对分割出的运动成分提取时空兴趣点特征，深度学习网络从所述时空兴趣点特征中自动学习到最有效的特征；
(13)采用稀疏自编码的方法自动从无标签的数据中学习有用的特征，这是一个拥有一层输入层、一层隐层和一层输出层的神经网络，所述神经网络输出特征的高阶表达，当得到新的数据时，稀疏自编码增量更新和调整网络参数；
(14)使用多项逻辑回归或者softmax做分类器，对高阶特征进行分类，训练当前的模型。
3.如权利要求2所述的一种持续学习的视频事件检测方法，其特点在于，所述步骤(11)中，使用背景消除方法，提取视频片段中的运动成分，定位运动目标。
4.如权利要求1所述的一种持续学习的视频事件检测方法，其特点在于，增量学习阶段使用新获得的视频数据对当前模型进行调整和优化，具体步骤为：
(21)将新获得的视频流数据存储在缓存中，当达到一定量时，将这一个批次的视频进行预处理；
(22)将视频特征输入到先验模型中进行分类，得出分类结果，并且计算概率评分和梯度距离，决定要保留当前的分类标签或者是人为增加标签；
(23)用有标签的样本来训练神经网络，优化网络参数。
5.如权利要求4所述的一种持续学习的视频事件检测方法，其特点在于，将这一个批次的视频进行预处理，包括运动片段的截取、动作表达。
CN201510995737.6A 2015-12-21 2015-12-21 一种持续学习的视频事件检测方法 Pending CN105550713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510995737.6A CN105550713A (zh) 2015-12-21 2015-12-21 一种持续学习的视频事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510995737.6A CN105550713A (zh) 2015-12-21 2015-12-21 一种持续学习的视频事件检测方法

Publications (1)

Publication Number Publication Date
CN105550713A true CN105550713A (zh) 2016-05-04

Family

ID=55829896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510995737.6A Pending CN105550713A (zh) 2015-12-21 2015-12-21 一种持续学习的视频事件检测方法

Country Status (1)

Country Link
CN (1) CN105550713A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027300A (zh) * 2016-05-23 2016-10-12 深圳市飞仙智能科技有限公司 一种应用神经网络的智能机器人参数优化系统及方法
CN107707931A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN108549857A (zh) * 2018-03-30 2018-09-18 国信优易数据有限公司 事件检测模型训练方法、装置及事件检测方法
CN108805196A (zh) * 2018-06-05 2018-11-13 西安交通大学 用于图像识别的自动增量学习方法
CN108830332A (zh) * 2018-06-22 2018-11-16 安徽江淮汽车集团股份有限公司 一种视觉车辆检测方法及系统
CN109922373A (zh) * 2019-03-14 2019-06-21 上海极链网络科技有限公司 视频处理方法、装置及存储介质
CN111814640A (zh) * 2020-06-30 2020-10-23 北京玩在一起科技有限公司 一种电竞赛事直播事件的检测和信息提取方法及系统
CN111968111A (zh) * 2020-09-02 2020-11-20 广州海兆印丰信息科技有限公司 一种ct图像的脏器或伪影辨别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法
CN104732208A (zh) * 2015-03-16 2015-06-24 电子科技大学 基于稀疏子空间聚类的视频人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法
CN104732208A (zh) * 2015-03-16 2015-06-24 电子科技大学 基于稀疏子空间聚类的视频人体行为识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027300A (zh) * 2016-05-23 2016-10-12 深圳市飞仙智能科技有限公司 一种应用神经网络的智能机器人参数优化系统及方法
CN106027300B (zh) * 2016-05-23 2019-03-05 深圳市飞仙智能科技有限公司 一种应用神经网络的智能机器人参数优化系统及方法
CN107707931A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN108549857A (zh) * 2018-03-30 2018-09-18 国信优易数据有限公司 事件检测模型训练方法、装置及事件检测方法
CN108805196A (zh) * 2018-06-05 2018-11-13 西安交通大学 用于图像识别的自动增量学习方法
CN108830332A (zh) * 2018-06-22 2018-11-16 安徽江淮汽车集团股份有限公司 一种视觉车辆检测方法及系统
CN109922373A (zh) * 2019-03-14 2019-06-21 上海极链网络科技有限公司 视频处理方法、装置及存储介质
CN111814640A (zh) * 2020-06-30 2020-10-23 北京玩在一起科技有限公司 一种电竞赛事直播事件的检测和信息提取方法及系统
CN111968111A (zh) * 2020-09-02 2020-11-20 广州海兆印丰信息科技有限公司 一种ct图像的脏器或伪影辨别方法及装置

Similar Documents

Publication Publication Date Title
CN105550713A (zh) 一种持续学习的视频事件检测方法
Liu et al. Cucumber fruits detection in greenhouses based on instance segmentation
CN110084151B (zh) 基于非局部网络深度学习的视频异常行为判别方法
CN109271374B (zh) 一种基于机器学习的数据库健康度打分方法和打分系统
CN107247956B (zh) 一种基于网格判断的快速目标检测方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN103984943B (zh) 一种基于贝叶斯概率框架的场景文本识别方法
CN105787458A (zh) 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN107392919B (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN105654508B (zh) 基于自适应背景分割的监控视频移动目标跟踪方法及系统
CN108491766B (zh) 一种端到端的基于深度决策森林的人群计数方法
CN107330446A (zh) 一种面向图像分类的深度卷积神经网络的优化方法
CN105678216A (zh) 基于深度学习的时空数据流视频行为识别方法
Suo et al. An improved adaptive background modeling algorithm based on Gaussian Mixture Model
CN103400391A (zh) 一种基于改进的随机森林的多目标跟踪方法及装置
CN109801260A (zh) 牲畜个数的识别方法及装置
CN103336971B (zh) 基于多特征融合与增量学习的多摄像机间的目标匹配方法
CN109239669B (zh) 一种基于深度学习的自进化雷达目标检测算法
CN110879881B (zh) 基于特征组分层和半监督随机森林的鼠标轨迹识别方法
CN111695640B (zh) 地基云图识别模型训练方法及地基云图识别方法
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
CN107992937A (zh) 基于深度学习的非结构化数据判决方法和装置
Wang et al. Online detection of action start via soft computing for smart city
CN109948639A (zh) 一种基于深度学习的图片垃圾识别方法
CN110796260B (zh) 一种基于类扩张学习的神经网络模型优化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160504