CN109190710B - 基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法 - Google Patents
基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法 Download PDFInfo
- Publication number
- CN109190710B CN109190710B CN201811065893.2A CN201811065893A CN109190710B CN 109190710 B CN109190710 B CN 109190710B CN 201811065893 A CN201811065893 A CN 201811065893A CN 109190710 B CN109190710 B CN 109190710B
- Authority
- CN
- China
- Prior art keywords
- detection
- classifier
- training
- haar
- nmf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 164
- 238000012549 training Methods 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000013461 design Methods 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000011160 research Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于Haar‑NMF特征和级联Adaboost分类器的脱岗检测方法，涉及视频信号处理技术领域。该方法采用低维Haar‑NMF特征代替传统的Haar特征，Haar‑NMF特征可以很好地表征图像中局部区域的特征，如在岗人员的头部和肩部特征，满足检测方法对检测准确率的要求；采用级联Adaboost分类器代替基本的Adaboost分类器，提高了检测的准确率并减少运算量，满足了检测方法对检测速度的要求。并针对检测过程中的漏检问题和误检问题进行优化，提高了检测方法的整体性能。本发明提供的基于Haar‑NMF特征和级联Adaboost分类器的脱岗检测方法，在保证检测成功率的基础上，缩短了样本的训练和检测的时间，并且通过增加分类器的级数提高了检测方法的部分性能，同时提高了检测速度。
Description
技术领域
本发明涉及视频信号处理技术领域，尤其涉及一种基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法。
背景技术
计算机视觉的主要任务是通过对采集的图片或视频进行处理从而获得特定场景需要的特定信息。近些年来计算机视觉一直是国内外学者的研究重点，而图像分类和识别是其中最具实用性的研究领域，行人检测和识别则是该领域中应用最广、研究最多的方向之一。伴随着“智慧校园”、“平安城市”等新兴科技项目的快速发展，智能化、网络化、数字化愈来愈成为现代工业的主要发展趋势，人们把计算机视觉的相关算法引入传统的视频监控中，智能视频监控系统应运而生。
智能视频监控的研究对象为监控视频中的行人、车辆或其他物体，通过对视频中的运动目标进行实时检测、跟踪和行为分析，使得系统能够自动提取出我们需要的信息。
近些年来，国防、安防、消防等高危化行业的岗位执勤工作日益受到重视，因此设计并实现一套可用于检测值班室人员是否脱岗的系统具有十分现实的意义。由于值班人员的“空岗”往往会造成不可估量的损失，脱岗检测就显得尤为重要。早期一般是通过指派专人不定期的查岗来进行脱岗检测，但这种方式实时性很差，难以第一时间处理突发状况并且查岗耗费太多不必要的人力和时间。研究脱岗检测算法具有十分现实的意义，孕藏着极大的商业价值。
脱岗检测技术的方法论是基于机器学习中统计学习的方法，设计一个完整成熟的脱岗检测系统必须要解决一些关键问题，包括适应行人姿态变化的多样性、单一场景下对行人和背景的分辨性和检测的准确性和实时性等，其中在工程化和商业化的过程中最需要解决的问题就是如何同时兼顾检测的准确率和检测速度，设计并实现一种特定场景下满足特定需求的脱岗检测算法。在解决检测速度和检测准确率的问题时，由于对检测准确性的高要求通常使得算法处理的过程中消耗了大量时间，而对于脱岗检测这种单一场景下单一目标检测的情况，对于区分有人和没人的情况不需要过于复杂的训练过程和算法，因此，主要需要解决的问题就是检测速度的问题，这也是目前所有的脱岗检测的应用急需解决的问题。
现阶段，国外科研机构以及一些独立研究人员在行人检测技术方面的研究已经获得了一定成果，很多高校和科研机构都有了较为成熟的行人检测系统，例如加利福尼亚理工学院、麻省理工大学、戴姆勒公司Ulm R&D中心、Facebook AI研究中心等都有了突出的研究成果。每年在一些国际顶尖会议上(其中包括国际计算机视觉大会ICCV、计算机视觉与模式识别会议CVPR、欧洲计算机视觉国际会议ECCV等)都会举行行人检测方面的专题会议，汇报在该领域已取得的研究进展及成果，探讨行人检测日后的研究方向。与此同时，每年都会有大量高质量、高水平，理论性、创新性、实用性兼具的学术文章被刊登在该领域极具影响力的国际期刊上，譬如模式分析与机器智能汇刊PAMI、计算机视觉国际期刊IJCV等等。
过去的十几年来，不断有新的想法被引入到行人检测当中，这也使得行人检测领域的计算机视觉算法被不断推进和更新。论文“ATrainable System for ObjectDetection”(Papageorgio等，Journal ofComputerVision，2012，38(1)：15-33.)提出了第一个滑动窗口检测器，把支持向量机(SVM)应用到了到多尺度Haar小波的过完备库中。论文“Robust Real-Time Face Detection”(Viola等，International Journal ofComputerVision，2014，57(2)：137-154.)基于这些想法，引入了用于快速特征计算的积分图像和用于有效检测的级联结构，并且利用Adaboost进行自动特征选择。这些思路直到如今也一直是工程使用的目标检测的方法。除了梯度特征，形状特征和运动特征也被频繁地纳入了行人检测的研究中，但研究结果发现，几乎没有单个特征能明显优于HOG特征。尽管如此，附加特征可以提供补充信息，这对于优化检测性能也有一定的好处。论文“A PerformanceEvaluation of Single and Multi-Feature People Detection”(Woiek等，ComputerVision and Pattern Recognition，2012：1491-1498.)就证明了Haar-like特征，时间序列shapelets，形状上下文和HOG特征的组合优于单个HOG特征。
经过几十年以来国内外专家学者不懈的努力探索和研究，目前行人检测技术在算法上已经有了很大突破，在室内等背景环境较为固定的场所，检测效果已相当良好。由于检测易受光照等环境因素的制约，例如在复杂背景以及光线变换较为剧烈的室外条件下，检测效果就受到了明显影响。此外，行人在运动过程中姿势会不断变化，在静止或运动过程中受到不同程度的遮挡，这些对行人检测来说都是比较难解决的问题。因此行人检测技术依然面临着严峻的挑战，但这也同样意味着行人检测技术在未来相当长的一段时间内依然有充足的发展空间。
目前对工程上目标识别的技术进行优化的方法大致可以分为两类，一类是对特征的改进，另一类是对分类器的改进。改进的目的主要是实现提取出的特征和对特征进行训练和检测的分类器能够尽可能的提取出需要检测的目标的特征，同时还能够尽可能地降低算法的复杂度，减少特征提取和分类计算的时间，提高检测的速度，在检测准确度和检测速度来两方面进行折中，满足特定场景下的特定需求，实现不同场景下的场景匹配性和场景适用性。
目前工程上脱岗检测最常用的方法是基于特征提取+分类器的方法，尽管很多算法已经产业化，但也存在一些问题，归纳起来有如下几点：
(1)行人姿态变化的多样性：由于行人是非刚性物体，衣着服饰各不相同，且行人或行走或静止，或站立或蹲下，姿态各异。目前现存的行人检测方法在多样性变换方面适应性较差。
(2)行人检测场景的复杂性：复杂的背景、不同行人尺度以及不同的光照环境也给行人检测带来较大的困难。图像中的行人往往并非独立的个体而和复杂背景融为一体，难以单独分离。在实际环境中，行人经常受到其他行人或物体的遮挡，并且背景中存在的物体也会影响行人检测的准确性。此外，现实场景中不同的光照度变化以及背景环境中大量类似人的身体轮廓的物体存在，这些都使行人检测的发展受到一定程度的限制。
(3)行人检测的准确性、实时性及鲁棒性：由于行人检测具有现实的应用价值，故在实际应用中需要考虑到同时满足准确性和实时性的要求。这就意味着设计的算法不能过于复杂，图像处理时间不能太长。实际的系统设计中，由于对检测准确性的高要求通常使得算法处理的过程中消耗了大量时间，这也是目前亟待解决的问题之一。此外。在某种程度上检测的算法越复杂，对机器设备的硬件要求也会越高。
除了上述难题之外，脱岗检测还面临的问题还有很多，例如提取的特征在特征空间中的分布不够紧凑、分类器的性能受训练样本的影响较大、离线训练时的负样本无法涵盖所有真实应用场景等等。
发明内容
针对现有技术的缺陷，本发明提供一种基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，实现对工程中值班室人员的脱岗问题进行检测。
基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，包括以下步骤：
步骤1、制作训练样本集；
所述训练样本集包括3000张正样本和4000张负样本；所述训练样本集来自三方面：一是监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人检测数据集；从这三部分中选取正负样本的图片，所述正样本选取包含人的头部和肩部的图片，所述负样本主要选取不同的室内背景图片；
步骤2、提取训练样本集中正样本和负样本图片中人体头肩部的Haar-NMF特征，具体方法为：
步骤2.1、提取训练样本集中正样本和负样本图片中人体头肩部的长度为L的Haar特征向量T，将其取绝对值后转化为m×n的矩阵A，其中L＝m×n，m＞n；
步骤2.2、对转化后的矩阵A进行秩为r的NMF分解，如下公式所示：
A＝W×KT (1)
其中，W和K分别为m×r和n×r的非负的基矩阵和系数矩阵，且满足r＜＜m；
步骤2.3、对矩阵W和K的每一个列向量按如下公式进行归一化处理，即
步骤2.4、将所有的ia级联得到原Haar特征向量对应的Haar-NMF特征向量；
步骤3、通过基本分类器Gm(x)及其权重系数αm加权组成单级强分类器Gx，然后将多个单级强分类器Gx串联组成级联Adaboost分类器，并将步骤2提前的训练样本的Haar-NMF特征输入该级联Adaboost分类器进行训练，得到保存训练结果的.xml文件，具体方法为：
步骤3.1、对训练数据的权重进行初始化，给每一个训练样本赋予同样的权值，得到训练数据的权重矩阵Dm，如下公式所示：
Dm＝(wm1，wm2，…wmi…，wmN) (3)
其中，
N为训练样本的图片总数；
步骤3.2、使用具有权值分布Dm的训练数据集学习，选取使误差率最低的阈值设计第m个基本分类器Gm(x)，m＝1、2、…、M，M为单级强分类器中基本分类器的个数，如下公式所示：
Gm(x)：x→{-1，+1} (4)
步骤3.3、计算基本分类器在训练数据集上的分类误差率，如下公式所示：
其中，em为第m个基本分类器Gm(x)在训练数据集上的分类误差率；
步骤3.4、计算出各个基本分类器在单级强分类器中所占的权重αm，αm表示不同的基本分类器Gm(x)在单级强分类器中的重要程度，如下公式所示：
步骤3.5、更新训练数据集的权值分布，得到用于下一轮迭代的样本新的权值分布，如下公式所示：
Dm+1＝(wmm+1，1，wm+1，2，wm+1，N) (7)
其中，
通过如下公式所示的规范化因子Zm使Dm+1成概率分布：
步骤3.6、重复执行步骤3.2-3.5进行M次迭代运算，得到M个基本分类器；
步骤3.7、将多次迭代得到的M个基本分类器按照权重进行加权求和组成单级强分类器，进行加权求和输出数值结果的过程如下公式所示：
将f(x)得到的数值进行sign运算得到的单级强分类器的判别结果如下公式所示：
其中，Gx为单级强分类器的判别结果，Gx＝+1表示有人，Gx＝-1表示没人；
最后将多个单级强分类器串联构成级联Adaboost分类器，将步骤2提前的训练样本的Haar-NMF特征训练级联Adaboost分类器，得到保存训练结果的.xml文件；
步骤4、对级联Adaboost分类器训练结果进行初步测试，具体方法为：
对输入的测试图片首先提取出测试图片的Haar-NMF特征，然后将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，利用保存训练结果的.xml文件进行检测，检测结果存在一定的误检和漏检；
步骤5、根据检测结果对级联Adaboost分类的测试结果进行优化，具体方法为：
根据测试结果进行优化：针对漏检问题，采用各补充2000张正负样本再次训练的方法进行解决；针对误检问题，在程序算法设计中，除了通过使用训练好的分类器进行判断之外，根据相邻视频帧的帧间关系补充了状态机的判定方法，在一定程度上有效的抑制误报，正确判定人员是否离岗；
所述相邻视频帧帧间关系状态机的判定方法为：
(1)当检测不到人时，首先在图像中找人，当检测到一帧图像中有人时，继续检测进行确认，当检测到与该帧图像相邻的连续5帧图像中有3帧中有人或者连续5帧有3帧画面中存在移动时，则判定画面中有人，即值班人员在岗，否则确认有人失败，值班人员脱岗；
(2)当连续检测到有人状态，突然某一帧无法检测到人，则继续在视频序列中找人确认是否的确没人，当接下来的连续5帧图像中有2帧检测不到有人或者连续5帧有4帧没有检测到存在移动时，则认定视频中没有人，否则值班人员在岗；
步骤6、根据优化的结果调整脱岗检测方法的训练过程和检测过程，并进行脱岗检测，具体方法为：
步骤6.1、补充正负样本图片对步骤3中的级联Adaboost分类器重新训练，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集；
步骤6.2、进行脱岗检测，具体方法为：
输入需要检测的视频流，并将输入的视频流分解为单帧图片；首先根据相邻视频帧的帧间关系进行状态机判定，然后使用训练结果.xml文件检测当前视频帧，用滑动窗口进行Haar-NMF特征提取，其中检测子窗口的大小为30×30，步长为8，将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，与单帧图片检测结果类似，测试时会出现部分的误检和虚位。
由上述技术方案可知，本发明的有益效果在于：本发明提供的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，(1)基于统计学习的思想，针对工程上常用的HOG特征结合SVM分类器的方法存在算法复杂度过高的缺陷，提出Haar-NMF特征结合级联Adaboost的算法训练头肩分类器，经过数次训练后得到的各弱分类器根据训练过程中的权值组成一个加权的强分类器，该分类器具有较高的学习效率，检测速度有明显提升。(2)脱岗检测算法检测的是人体头肩部而非全身。考虑到值班室的监控环境，如果选取值班室人员的全身区域进行检测，则很容易有部分身体被遮挡且姿势会比较复杂，而头肩部的形状相比于躯干具有更好的刚性，姿势相对单一且较不易被遮挡，所以头肩部对人的全身具有很好的代表性。(3)使用降维的Haar-NMF特征代替Haar特征的以减少计算量，提高检测速度的同时保证检测准确率。(4)采用级联Adaboost分类器代替单级的分类器结构以提高检测的准确性的同时提高检测速度，采用级联分类器的好处有两点：一是通过多个基础分类器的级联形成一个强的级联分类器，能够提高检测的准确率；二是可以减少运算量，级联Adaboost分类器的级联思想保证了可以快速抛弃掉没有目标的平滑窗，从而提高了检测效率，满足了实时性的需求。(5)针对存在的漏检和误检问题，采用补充正负训练样本和增加帧间关系判别器的方法，在训练过程中能够提取出更加准确的特征信息并且在检测时能够根据视频流的帧间关系辅助判别结果，提高了检测方法的整体性能。
附图说明
图1为本发明实施例提供的基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法的流程图；
图2为本发明实施例提供的包含8个基本分类器的单级强分类器示意图；
图3为本发明实施例提供的对级联Adaboost分类器训练结果进行初步测试的示意图；
图4为本发明实施例提供的视频帧间关系检测状态机的示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，如图1所示，包括以下步骤：
步骤1、制作训练样本集；
所述训练样本集包括3000张正样本和4000张负样本；所述训练样本集来自三方面：一是监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人检测数据集；从这三部分中选取正负样本的图片，所述正样本选取包含人的头部和肩部的图片，所述负样本主要选取不同的室内背景图片。
步骤2、提取训练样本集中正样本和负样本图片中人体头肩部的Haar-NMF特征，具体方法为：
步骤2.1、提取训练样本集中正样本和负样本图片中人体头肩部的长度为L的Haar特征向量T，将其取绝对值后转化为m×n的矩阵A，其中L＝m×n，m＞n；
本实施例中，对训练样本归一化后，得到L＝122512，m＝4712，n＝26。
步骤2.2、对转化后的矩阵A进行秩为r的NMF分解，如下公式所示：
A＝W×KT (1)
其中，W和K分别为m×r和n×r的非负的基矩阵和系数矩阵，且满足r＜＜m，可取r＝3；
步骤2.3、对矩阵W和K的每一个列向量按如下公式进行归一化处理，即
步骤2.4、将所有的ia级联得到原Haar特征向量对应的Haar-NMF特征向量；
步骤3、通过基本分类器Gm(x)及其权重系数αm加权组成单级强分类器Gx，然后将多个单级强分类器Gx串联组成级联Adaboost分类器，并将步骤2提前的训练样本的Haar-NMF特征输入该级联Adaboost分类器进行训练，得到保存训练结果的.xml文件，具体方法为：
步骤3.1、对训练数据的权重进行初始化，给每一个训练样本赋予同样的权值，得到训练数据的权重矩阵Dm，如下公式所示：
Dm＝(wm1，wm2，…wmi…，wmN) (3)
其中，
N为训练样本的图片总数；
步骤3.2、使用具有权值分布Dm的训练数据集学习，选取使误差率最低的阈值设计第m个基本分类器Gm(x)，m＝1、2、…、M，M为单级强分类器中基本分类器的个数，如下公式所示：
Gm(x)：x→{-1，+1} (4)
步骤3.3、计算基本分类器在训练数据集上的分类误差率，如下公式所示：
其中，em为第m个基本分类器Gm(x)在训练数据集上的分类误差率；
步骤3.4、计算出各个基本分类器在单级强分类器中所占的权重αm，am表示不同的基本分类器Gm(x)在单级强分类器中的重要程度，如下公式所示：
步骤3.5、更新训练数据集的权值分布，得到用于下一轮迭代的样本新的权值分布，如下公式所示：
Dm+1＝(wmn+1，1，wm+1，2，wm+1，N) (7)
其中，
通过如下公式所示的规范化因子Zm使Dm+1成概率分布：
Adaboost是通过增大基本分类器Gm(x)误分类样本的权值以及减小正确分类样本的权值来重点关注那些比较难区分的样本，式(8)中Zm是规范化因子，使得Dm+1成为一个概率分布：
步骤3.6、重复执行步骤3.2-3.5进行M次迭代运算，得到M个基本分类器；
步骤3.7、将多次迭代得到的M个基本分类器按照权重进行加权求和组成单级强分类器，进行加权求和输出数值结果的过程如下公式所示：
将f(x)得到的数值进行sign运算得到的单级强分类器的判别结果如下公式所示，其中Gx＝+1表示有人Gx＝-1表示没人：
其中，Gx为单级强分类器的判别结果，Gx＝+1表示有人，Gx＝-1表示没人；
最后将多个单级强分类器串联构成级联Adaboost分类器，将步骤2提前的训练样本的Haar-NMF特征训练级联Adaboost分类器，得到保存训练结果的.xml文件。
本实施例中，14个单级强分类器串联构成级联的Adaboost分类器，其中每个单级强分类器包括8个基本分类器，如图2所示。
步骤4、对级联Adaboost分类器训练结果进行初步测试，如图3所示，具体方法为：
输入测试图片，其中包括1000张在720P的视频流中切出的单帧图片，图片大小为1280*720，其中检测子窗口的大小为30×30，步长为8，对输入的测试图片首先提取出测试图片的Haar-NMF特征，然后将步骤2提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，利用保存训练结果的.xml文件进行检测，检测结果存在一定的误检和漏检；
步骤5、根据检测结果对级联Adaboost分类的测试结果进行优化，具体方法为：
根据测试结果进行优化：针对漏检问题，采用各补充2000张正负样本再次训练的方法进行解决；针对误检问题，在程序算法设计中，除了通过使用训练好的分类器进行判断之外，根据相邻视频帧的帧间关系补充了状态机的判定方法，在一定程度上有效的抑制误报，正确判定人员是否离岗；
所述相邻视频帧帧间关系状态机的判定，如图4所示，具体方法为：
(1)当检测不到人时，首先在图像中找人，当检测到一帧图像中有人时，继续检测进行确认，当检测到与该帧图像相邻的连续5帧图像中有3帧中有人或者连续5帧有3帧画面中存在移动时，则判定画面中有人，即值班人员在岗，否则确认有人失败，值班人员脱岗；
(2)当连续检测到有人状态，突然某一帧无法检测到人，则继续在视频序列中找人确认是否的确没人，当接下来的连续5帧图像中有2帧检测不到有人或者连续5帧有4帧没有检测到存在移动时，则认定视频中没有人，否则值班人员在岗。
实际检测中，当显示检测结果的屏幕显示AffirmNoPeople(确认没人)、PeopleInPic(有人)状态时字幕都呈绿色，而显示AffirmPeople(确认有人)、NoPeopleInPic(没人)状态时字幕则呈橘色，当NoPeopleInPic(没人)状态持续超过一分钟时，字幕变成红色，采用本发明的检测方法的检测系统自动报警，同时检测系统自动将此时的脱岗图片存放到程序中指定的报警图片文件夹。
步骤6、根据优化的结果调整脱岗检测方法的训练过程和检测过程，并进行脱岗检测，具体方法为：
步骤6.1、补充正负样本图片对步骤3中的级联Adaboost分类器重新训练，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集；
步骤6.2、进行脱岗检测，具体方法为：
输入需要检测的720p视频流，并将输入的视频流分解为单帧图片，图片大小为1280*720，首先根据相邻视频帧的帧间关系进行状态机判定，然后使用训练结果.xml文件检测当前视频帧，用滑动窗口进行Haar-NMF特征提取，其中检测子窗口的大小为30×30，步长为8，将步骤2提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，与单帧图片检测结果类似，测试时会出现部分的误检和虚位。
本实施例中，测试平台为Visual Studio 2012，测试计算机配置为Inter Corei7-7700k，内存为16GB，GPU为6GB的GTX1060。本实施例分别对本发明的基于Haar-NMF特征的级联Adaboost分类器和基于Haar的级联Adaboost分类器进行训练和检测，分类器均为10级，每级分类器包含8个基本分类器，其中检测子窗口的大小为30×30，步长为8，使用Haar-NMF特征训练的时间明显小于Haar特征的训练时间，加载1000张图片进行测试，测试图片大小为1280*720，检测效果对比结果如表1所示。
表1特征训练时间与检测率对比
| 特征 | 训练时间(h) | 检测率(％) |
| Haar特征 | 6.5 | 89.8 |
| Haar-NMF特征 | 2.1 | 89.1 |
由表1可以得出，使用Haar-NMF特征与使用Haar特征进行训练相比，训练时间大大降低，但是训练的结果(检测率)并没有很大的下降，得出结论，使用Haar-NMF特征可以有效地降低算法的复杂度，提升系统训练和检测的速度。
随后进行了多次正负样本的补充，最终使用的正样本数为5000个，负样本数为6000张，对本发明的基于Haar-NMF特征的级联Adaboost分类器进行训练和检测，增加正负样本训练后检测效果有所提升，实验证明补充样本后的检测效果有所改善，检测率由原来的88.1％提升为90.7％，最终测试结果如表2所示。
表2特征训练时间与检测率对比
| Haar-NMF特征 | 训练时间(h) | 检测率(％) |
| 正样本3000张，负样本4000张 | 2.1 | 89.1 |
| 正样本5000张，负样本6000张 | 4.8 | 90.7 |
为了进一步改善分类性能，本设计对级联分类器也进行了多次调试，级数由原来的10级提高至12级并最终增至16级，其对比结果见表3所示：
表3不同分类器级数训练时间与检测率对比
| 级数 | 训练时间(h) | 检测率(％) |
| 10级 | 4.8 | 90.7 |
| 12级 | 16 | 91.2 |
| 14级 | 40 | 91.6 |
| 16级 | 74 | 91.8 |
采用14级级联Adaboost分类器分别对Haar特征和Haar-NMF特征进行训练，得到的检测时间与检测率如表4所示。
表4 14级分类器训练时间与检测率对比
| 特征 | 训练时间(h) | 检测率(％) |
| Haar特征 | 107 | 91.1 |
| Haar-NMF特征 | 40 | 91.6 |
通过表3和表4的实验结果可以得出，提高分类器计数能在一定程度上提升检测率，对分类性能有所改善，分类器的级数增加会在一定程度上优化分类效果，但是随着分类器级数的增加，训练所需的时间显著增加，但是对检测效果(准确率)的提升并不是很明显。运用Haar-NMF特征进行训练和检测与运用Haar特征相比，在有着很好的检测率的同时大幅度地降低了训练时间。
通过上述的实验和对比测试，确定了本发明基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法的具体参数，本发明中用于训练和检测的特征选取为对Haar进行非负矩阵分解的Haar-NMF特征，分类器使用对原有Adaboost分类器进行级联改造的级联Adaboost分类器，其中每一级Adaboost分类器包含8个弱分类器，级联14级，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集。最后利用此方法对视频流进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，测试时会出现部分的误检和虚位，与单帧图片检测结果类似。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (1)
1.一种基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法，其特征在于：包括以下步骤：
步骤1、制作训练样本集；
步骤2、提取训练样本集中正样本和负样本图片中人体头肩部的Haar-NMF特征；
步骤3、通过基本分类器Gm(x)及其权重系数αm加权组成单级强分类器Gx，然后将多个单级强分类器Gx串联组成级联Adaboost分类器，并将步骤2提取 的训练样本的Haar-NMF特征输入该级联Adaboost分类器进行训练，得到保存训练结果的.xml文件；
步骤4、对级联Adaboost分类器训练结果进行初步测试，具体方法为：
对输入的测试图片首先提取出测试图片的Haar-NMF特征，然后将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，利用保存训练结果的.xml文件进行检测，检测结果存在一定的误检和漏检；
步骤5、根据检测结果对级联Adaboost分类的测试结果进行优化，具体方法为：
根据测试结果进行优化：针对漏检问题，采用各补充2000张正负样本再次训练的方法进行解决；针对误检问题，在程序算法设计中，除了通过使用训练好的分类器进行判断之外，根据相邻视频帧的帧间关系补充了状态机的判定方法，在一定程度上有效的抑制误报，正确判定人员是否离岗；
步骤6、根据优化的结果调整脱岗检测方法的训练过程和检测过程，并进行脱岗检测；
所述训练样本集包括3000张正样本和4000张负样本；所述训练样本集来自三方面：一是监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人检测数据集；从这三部分中选取正负样本的图片，所述正样本选取包含人的头部和肩部的图片，所述负样本主要选取不同的室内背景图片；
所述步骤2的具体方法为：
步骤2.1、提取训练样本集中正样本和负样本图片中人体头肩部的长度为L的Haar特征向量T，将其取绝对值后转化为m×n的矩阵A，其中L＝m×n，m>n；
步骤2.2、对转化后的矩阵A进行秩为r的NMF分解，如下公式所示：
A＝W×KT (1)
其中，W和K分别为m×r和n×r的非负的基矩阵和系数矩阵，且满足r＜＜m；
步骤2.3、对矩阵W和K的每一个列向量按如下公式进行归一化处理，即
步骤2.4、将所有的ia级联得到原Haar特征向量对应的Haar-NMF特征向量；
所述步骤3的具体方法为：
步骤3.1、对训练数据的权重进行初始化，给每一个训练样本赋予同样的权值，得到训练数据的权重矩阵Dm，如下公式所示：
Dm＝(wm1,wm2,…wmi…,wmN) (3)
其中，
N为训练样本的图片总数；
步骤3.2、使用具有权值分布Dm的训练数据集学习，选取使误差率最低的阈值设计第m个基本分类器Gm(x)，m＝1、2、…、M，M为单级强分类器中基本分类器的个数，如下公式所示：
Gm(x)：x→[-1，+1} (4)
步骤3.3、计算基本分类器在训练数据集上的分类误差率，如下公式所示：
其中，em为第m个基本分类器Gm(x)在训练数据集上的分类误差率；
步骤3.4、计算出各个基本分类器在单级强分类器中所占的权重αm，αm表示不同的基本分类器Gm(x)在单级强分类器中的重要程度，如下公式所示：
步骤3.5、更新训练数据集的权值分布，得到用于下一轮迭代的样本新的权值分布，如下公式所示：
Dm+1＝(wm+1,1,wm+1,2,wm+1,N) (7)
其中，
通过如下公式所示的规范化因子Zm使Dm+1成概率分布：
步骤3.6、重复执行步骤3.2-3.5进行M次迭代运算，得到M个基本分类器；
步骤3.7、将多次迭代得到的M个基本分类器按照权重进行加权求和组成单级强分类器，进行加权求和输出数值结果的过程如下公式所示：
将f(x)得到的数值进行sign运算得到的单级强分类器的判别结果如下公式所示：
其中，Gx为单级强分类器的判别结果，Gx＝+1表示有人，Gx＝-1表示没人；
最后将多个单级强分类器串联构成级联Adaboost分类器，将步骤2提取 的训练样本的Haar-NMF特征训练级联Adaboost分类器，得到保存训练结果的.xml文件；
步骤5所述相邻视频帧帧间关系状态机的判定方法为：
(1)当检测不到人时，首先在图像中找人，当检测到一帧图像中有人时，继续检测进行确认，当检测到与该帧图像相邻的连续5帧图像中有3帧中有人或者连续5帧有3帧画面中存在移动时，则判定画面中有人，即值班人员在岗，否则确认有人失败，值班人员脱岗；
(2)当连续检测到有人状态，突然某一帧无法检测到人，则继续在视频序列中找人确认是否的确没人，当接下来的连续5帧图像中有2帧检测不到有人或者连续5帧有4帧没有检测到存在移动时，则认定视频中没有人，否则值班人员在岗；
所述步骤6的具体方法为：
步骤6.1、补充正负样本图片对步骤3中的级联Adaboost分类器重新训练，训练样本选择5000张正样本和6000张负样本，训练样本集来自三方面：一是来自于铁路监控运转室的录像，二是手机摄像头采集的实验室工位图片，三是CVC标准行人监测数据集；
步骤6.2、进行脱岗检测，具体方法为：
输入需要检测的视频流，并将输入的视频流分解为单帧图片，图片大小为1280*720，首先根据相邻视频帧的帧间关系进行状态机判定，然后使用训练结果.xml文件检测当前视频帧，用滑动窗口进行Haar-NMF特征提取，其中检测子窗口的大小为30×30，步长为8，将提取的Haar-NMF特征输入步骤3训练的级联Adaboost分类器进行检测，加载入多个测试视频，测试视频的帧率为30fps，清晰度为720p，与单帧图片检测结果类似，测试时会出现部分的误检和虚位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811065893.2A CN109190710B (zh) | 2018-09-13 | 2018-09-13 | 基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811065893.2A CN109190710B (zh) | 2018-09-13 | 2018-09-13 | 基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109190710A CN109190710A (zh) | 2019-01-11 |
| CN109190710B true CN109190710B (zh) | 2022-04-08 |
Family
ID=64910888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811065893.2A Active CN109190710B (zh) | 2018-09-13 | 2018-09-13 | 基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109190710B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175531B (zh) * | 2019-05-05 | 2021-02-09 | 沈阳图为科技有限公司 | 一种基于姿态的考生位置定位方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577812A (zh) * | 2009-03-06 | 2009-11-11 | 北京中星微电子有限公司 | 一种岗位监测的方法和系统 |
| CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
| CN103065121A (zh) * | 2012-12-13 | 2013-04-24 | 李秋华 | 基于视频人脸分析的火车司机状态监控方法及装置 |
| CN104346802A (zh) * | 2013-08-05 | 2015-02-11 | 浙江大华技术股份有限公司 | 一种人员离岗监控方法及设备 |
| CN106446926A (zh) * | 2016-07-12 | 2017-02-22 | 重庆大学 | 一种基于视频分析的变电站工人安全帽佩戴检测方法 |
| CN107103300A (zh) * | 2017-04-22 | 2017-08-29 | 高新兴科技集团股份有限公司 | 一种离岗检测方法及系统 |
| CN107679471A (zh) * | 2017-09-24 | 2018-02-09 | 天津大学 | 基于视频监控平台的室内人员空岗检测方法 |
-
2018
- 2018-09-13 CN CN201811065893.2A patent/CN109190710B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577812A (zh) * | 2009-03-06 | 2009-11-11 | 北京中星微电子有限公司 | 一种岗位监测的方法和系统 |
| CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
| CN103065121A (zh) * | 2012-12-13 | 2013-04-24 | 李秋华 | 基于视频人脸分析的火车司机状态监控方法及装置 |
| CN104346802A (zh) * | 2013-08-05 | 2015-02-11 | 浙江大华技术股份有限公司 | 一种人员离岗监控方法及设备 |
| CN106446926A (zh) * | 2016-07-12 | 2017-02-22 | 重庆大学 | 一种基于视频分析的变电站工人安全帽佩戴检测方法 |
| CN107103300A (zh) * | 2017-04-22 | 2017-08-29 | 高新兴科技集团股份有限公司 | 一种离岗检测方法及系统 |
| CN107679471A (zh) * | 2017-09-24 | 2018-02-09 | 天津大学 | 基于视频监控平台的室内人员空岗检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| Synthetic Aperture Radar Ship Detection Using Haar-Like Features;C.P.Schwegmann等;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20170228;第14卷(第2期);第154-158页 * |
| 基于 Harr-NMF特征的车辆检测算法研究;胡杰等;《物流技术》;20171231;第26卷(第8期);第117-121页 * |
| 基于Haar-NMF特征和改进SOMPNN的车辆检测算法;王海等;《东南大学学报(自然科学版)》;20160531;第46卷(第3期);第499-504页 * |
| 基于视频分析的执勤人员疲劳和离岗检测系统软件设计;方奇敏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180815(第8期);I138-432 * |
| 路面箭头识别方法的研究;韩文凤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);I138-6072 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109190710A (zh) | 2019-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | Muhavi: A multicamera human action video dataset for the evaluation of action recognition methods | |
| CN109636795B (zh) | 实时无跟踪的监控视频遗留物检测方法 | |
| CN111914664A (zh) | 基于重识别的车辆多目标检测和轨迹跟踪方法 | |
| CN103186775B (zh) | 基于混合描述子的人体运动识别方法 | |
| CN109190475B (zh) | 一种人脸识别网络与行人再识别网络协同训练方法 | |
| US20060018516A1 (en) | Monitoring activity using video information | |
| Yao et al. | Fast human detection from videos using covariance features | |
| CN110991315A (zh) | 一种基于深度学习的安全帽佩戴状态实时检测方法 | |
| CN106295532B (zh) | 一种视频图像中的人体动作识别方法 | |
| CN107025420A (zh) | 视频中人体行为识别的方法和装置 | |
| Park et al. | Detection of construction workers in video frames for automatic initialization of vision trackers | |
| Moctezuma et al. | Person detection in surveillance environment with HoGG: Gabor filters and histogram of oriented gradient | |
| CN114863464B (zh) | 一种pid图纸图件信息的二阶识别方法 | |
| CN115359406A (zh) | 一种邮局场景人物交互行为识别方法及系统 | |
| Fan et al. | SkeletonGait: Gait Recognition Using Skeleton Maps | |
| Yoon et al. | Real-time multiple people detection using skin color, motion and appearance information | |
| CN110825916A (zh) | 一种基于形体识别技术的寻人方法 | |
| CN113723188B (zh) | 一种结合人脸与步态特征的着装一致人员身份核验方法 | |
| Mahapatra et al. | Background subtraction and human detection in outdoor videos using fuzzy logic | |
| CN109190710B (zh) | 基于Haar-NMF特征和级联Adaboost分类器的脱岗检测方法 | |
| CN114038011A (zh) | 一种室内场景下人体异常行为的检测方法 | |
| CN114581990A (zh) | 一种跑步智能测试方法以及装置 | |
| CN112487926A (zh) | 一种基于时空图卷积网络的景区投喂行为识别方法 | |
| CN116824641A (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
| CN116978090A (zh) | 一种基于特征分离和融合的行人重识别表征学习技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |