CN106326851B - 一种人头检测的方法 - Google Patents

一种人头检测的方法 Download PDF

Info

Publication number
CN106326851B
CN106326851B CN201610689364.4A CN201610689364A CN106326851B CN 106326851 B CN106326851 B CN 106326851B CN 201610689364 A CN201610689364 A CN 201610689364A CN 106326851 B CN106326851 B CN 106326851B
Authority
CN
China
Prior art keywords
people
image
classifier
formula
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610689364.4A
Other languages
English (en)
Other versions
CN106326851A (zh
Inventor
周康
刘玉宇
王增锹
赵伟
吴剑清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIDEOPARK TECHNOLOGY Co Ltd
Original Assignee
VIDEOPARK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIDEOPARK TECHNOLOGY Co Ltd filed Critical VIDEOPARK TECHNOLOGY Co Ltd
Priority to CN201610689364.4A priority Critical patent/CN106326851B/zh
Publication of CN106326851A publication Critical patent/CN106326851A/zh
Application granted granted Critical
Publication of CN106326851B publication Critical patent/CN106326851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种人头检测的方法，属于图像处理技术领域。包括以下步骤：对输入的视频图像进行前景提取同时将每帧图像缩放到不同的尺寸，对每个固定尺寸的图像窗口提取像素差特征送入Adaboost多视角分类器进行人头检测，采用人头模型对前景掩码进行匹配生成人头先验概率图，先验概率图与Adaboost多视角分类器结果进行加权得到最终结果。上述一种人头检测的方法，采用像素差特征和人头先验模型在检测实时性和准率上都有一个较大提升。

Description

一种人头检测的方法
技术领域
本发明属于图像处理技术领域，具体为一种人头检测的方法。
背景技术
图像处理系统中，目标检测是一个普遍而重要的方面，人头检测更是应用广泛。CN103020706 A、一种基于运动目标检测与Haar特征的人流量统计算法提出了一种采用Adaboost+Haar特征的检测器与运动目标检测结合的方案，其中运动检测仅仅作为一种限定检测区域的辅助，在检测效率上有一些提高但准确率仍然有待提高；CN102004924 A、一种人头检测系统及方法则采用了一种分块LBP特征进行检测，效果还算可以，实时性却远无法满足要求。
发明内容
针对现有技术中存在的上述问题，本发明的目的在于设计提供一种人头检测的方法的技术方案，该方法采用像素差特征和人头先验模型在检测实时性和准率上都有一个较大提升。
所述的一种人头检测的方法，其特征在于包括以下步骤：对输入的视频图像进行前景提取同时将每帧图像缩放到不同的尺寸，对每个固定尺寸的图像窗口提取像素差特征送入Adaboost多视角分类器进行人头检测，采用人头模型对前景掩码进行匹配生成人头先验概率图，先验概率图与Adaboost多视角分类器结果进行加权得到最终结果。
所述的一种人头检测的方法，其特征在于对输入的图像数据，根据设定的最大最小人头尺寸按照一定的缩放比率构建图像金字塔，对金字塔上的每个图像进行窗口扫描，提取每个窗口内的像素差特征，并用Adaboost进行分类。
所述的一种人头检测的方法，其特征在于上述Adaboost多视角分类包括正面人头分类器、背面人头分类器、左侧面人头分类器、右侧面人头分类器、顶视人头分类器，各个视角分类器分别对扫描窗口进行判定，如果通过一个或者多个分类器则可以认为扫描窗口为候选人头窗口。
所述的一种人头检测的方法，其特征在于人头分类器采用的像素差特征，仅仅使用像素差对即可生成特征，也可以采用多个像素对联合而产生其他变种特征，公式（1）即为最基本的像素对差值特征：
(1)
为了对于光线的变化有更好的适应性，采用韦伯法则对上述特征进行归一化，如公式（2），
(2)；
上述公式中，F表示提取的像素差特征值，P（i，j）代表图像中第i行第j列的位置上对应的像素值，同理P（m，n）。
所述的一种人头检测的方法，其特征在于前景的提取采用均值背景差分、中值背景差分、混合高斯模型或VIBE方法，优选VIBE方法。
所述的一种人头检测的方法，其特征在于采用离线生成的人头模型对前景图像进行匹配得到人头先验概率图；离线人头模型，采用高斯椭圆模型，公式3；或者中心距离模型，公式4；
(3)
(4)
(5)
上式（5）中Model(i,j)取高斯模型或者取中心距离模型，foreground(i,j)则表示前景图中i行j列位置上的像素值，零为背景非零则为前景；
(6)
上式（6）中T为最终人头分类所采用的阈值，w1与w2分别为先验概率图对应位置匹配分数与检测器对应位置分数的加权值；此处得到的先验概率图与人头检测器结果进行加权并通过融合与过滤就可以获得最终的人头检测结果。
上述一种人头检测的方法，采用像素差特征和人头先验模型在检测实时性和准率上都有一个较大提升。
附图说明
图1为本发明的人头检测算法流程示意图；
图2为本发明的并联人头检测器示意图；
图3为本发明的人头先验概率图示意图。
具体实施方式
以下结合具体实施例对本发明作进一步说明。
人头检测方法的系统框图如图1所示。对输入的图像数据，根据设定的最大最小人头尺寸按照一定的缩放比率构建图像金字塔，对金字塔上的每个图像进行窗口扫描，提取每个窗口内的像素差特征，并用Adaboost进行分类；同时输入的图像数据也将被用来提取前景目标，采用离线生成的人头模型对前景图像进行匹配可以得到人头先验概率图；Adaboost分类结果和人头先验概率图进行加权即可得到最后的人头检测结果。
上述人头Adaboost分类器，可为多个视角的分类器，包括正面人头分类器、背面人头分类器、左侧面人头分类器、右侧面人头分类器、顶视人头分类器，各个视角分类器分别对扫描窗口进行判定，如果通过一个或者多个分类器则可以认为扫描窗口为候选人头窗口。分类器并联示意图如图2所示。
人头分类器采用的像素差特征，仅仅使用像素差对即可生成特征，当然也可以采用多个像素对联合而产生其他变种特征。公式（1）即为最基本的像素对差值特征：
(1)
单像素对的分类能力，一般来说稍微偏弱且对于噪声严重的情况鲁棒性下降，所以一般采用多个像素对联合的特征，如2像素对特征即4个像素点两两组对产生两个F值进行联合得到特征；另外为了对于光线的变化有更好的适应性，可以采用韦伯法则对上述特征进行归一化，如公式（2）；由于像素差特征只需要获取原始图像中对应的像素值进行差值即可得到特征，计算量大大减少，再加上Cascade Adaboost整个分类过程实时性非常高。
(2)
先验概率图的生成中一个关键环节就是前景的提取，存在很多的方法可以提取前景，如均值背景差分、中值背景差分、混合高斯模型、VIBE方法等；本发明优选VIBE方法，VIBE方法具有很高的实时性，算法结构很适合并行计算，同时其前景提取效果也很不错，辅助一些形态学操作可以获得很好的前景提取效果。离线人头模型，可以采用高斯椭圆模型(公式3)或者中心距离模型（公式4）；
(3)
(4)
(5)
上式（5）中Model(i,j)或者取高斯模型或者取中心距离模型，foreground(i,j)则表示前景图中i行j列位置上的像素值，零为背景非零则为前景，模型匹配的结果如图3所示；此处得到的先验概率图与人头检测器结果进行加权并通过融合与过滤就可以获得最终的人头检测结果。
(6)
上式（6）中T为最终人头分类所采用的阈值，w1与w2分别为先验概率图对应位置匹配分数与检测器对应位置分数的加权值。采用先验概率图与检测器结果加权的方法既可以考虑人头目标的细节特性也可以考虑全局的轮廓和运动特征，因此可以较大提高人头检测的准确率。
采用本发明的方法后，对于分辨率为352*288的视频帧检测50*50大小的人头，在普通PC上可以达到1ms/帧，在1280*720的视频帧上检测60*60大小的目标也只需要15ms，完全可以满足实时性要求及嵌入式平台的应用。
本发明提升了人头检测算法的实用性，可以应用在各种客流监控/统计的场景中，以下列举两个实例。
本发明在嵌入式商铺客流统计设备上的应用。嵌入式平台上的计算资源和存储资源有一定的限制，各方面的资源占用需要尽可能的少，本发明在各方面都具备条件。考虑本发明人头检测对输入的视频图像数据流进行检测得到人头的位置信息，再采用相应的追踪器对人头结果进行实时追踪，当发生越线行为时就可以按方向进行数量统计，统计数据用作后续信息挖掘与分析。
本发明在公交车乘客商量统计方案中的应用。就公交车乘客数量统计应用场景来说人头检测存在一定的难度，本发明结合了局部特征和全局运动轮廓特征可以较好的解决这个问题，同时对人头的各种角度有较好的学习，从而精准检测。考虑本发明人头检测对输入的视频图像数据流进行检测得到人头的位置信息，再采用相应的追踪器对人头结果进行实时追踪，当发生越线行为时就可以按方向进行数量统计，统计数据用作后续信息挖掘与分析。

Claims (1)

1.一种人头检测的方法，其特征在于包括以下步骤：对输入的视频图像进行前景提取同时将每帧图像缩放到不同的尺寸，对每个固定尺寸的图像窗口提取像素差特征送入Adaboost多视角分类器进行人头检测，采用人头模型对前景掩码进行匹配生成人头先验概率图，先验概率图与Adaboost多视角分类器结果进行加权得到最终结果；
对输入的图像数据，根据设定的最大最小人头尺寸按照一定的缩放比率构建图像金字塔，对金字塔上的每个图像进行窗口扫描，提取每个窗口内的像素差特征，并用Adaboost进行分类；
上述Adaboost多视角分类包括正面人头分类器、背面人头分类器、左侧面人头分类器、右侧面人头分类器、顶视人头分类器，各个视角分类器分别对扫描窗口进行判定，如果通过一个或者多个分类器则可以认为扫描窗口为候选人头窗口；
人头分类器采用的像素差特征，仅仅使用像素差对即可生成特征，也可以采用多个像素对联合而产生其他变种特征，公式（1）即为最基本的像素对差值特征：
(1)
上述公式中，F表示提取的像素差特征值，P（i，j）代表图像中第i行第j列的位置上对应的像素值，同理P（m，n），以下表述中对应的公式符号均表示相同意义；
为了对于光线的变化有更好的适应性，采用韦伯法则对上述特征进行归一化，如公式（2），
(2) ；
前景的提取采用均值背景差分、中值背景差分、混合高斯模型或VIBE方法；
采用离线生成的人头模型对前景图像进行匹配得到人头先验概率图；离线人头模型，采用高斯椭圆模型，公式3；或者中心距离模型，公式4；
(3)
(4)
(5)
上式（5）中Model(i,j)取高斯模型或者取中心距离模型，foreground(i,j)则表示前景图中i行j列位置上的像素值，零为背景非零则为前景；
(6)
上式（6）中T为最终人头分类所采用的阈值，w1与w2分别为先验概率图对应位置匹配分数与检测器对应位置分数的加权值；此处得到的先验概率图与人头检测器结果进行加权并通过融合与过滤就可以获得最终的人头检测结果。
CN201610689364.4A 2016-08-19 2016-08-19 一种人头检测的方法 Active CN106326851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610689364.4A CN106326851B (zh) 2016-08-19 2016-08-19 一种人头检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610689364.4A CN106326851B (zh) 2016-08-19 2016-08-19 一种人头检测的方法

Publications (2)

Publication Number Publication Date
CN106326851A CN106326851A (zh) 2017-01-11
CN106326851B true CN106326851B (zh) 2019-08-13

Family

ID=57744190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610689364.4A Active CN106326851B (zh) 2016-08-19 2016-08-19 一种人头检测的方法

Country Status (1)

Country Link
CN (1) CN106326851B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491762B (zh) * 2017-08-23 2018-05-15 珠海安联锐视科技股份有限公司 一种行人检测方法
CN109993186B (zh) * 2017-12-29 2021-06-29 深圳市优必选科技有限公司 一种头肩检测方法、电子设备及具有存储功能的装置
CN108197579B (zh) * 2018-01-09 2022-05-20 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN109635675A (zh) * 2018-11-22 2019-04-16 广州市保伦电子有限公司 基于人头检测的视频静态人数统计方法、装置及介质
CN111274991A (zh) * 2020-02-12 2020-06-12 清华大学 行人检测识别系统、方法、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
CN105303191A (zh) * 2014-07-25 2016-02-03 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN105303191A (zh) * 2014-07-25 2016-02-03 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法和装置
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法

Also Published As

Publication number Publication date
CN106326851A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN106326851B (zh) 一种人头检测的方法
Zhou et al. Spatial–temporal convolutional neural networks for anomaly detection and localization in crowded scenes
WO2022134655A1 (zh) 一种端到端的视频动作检测定位系统
TWI439951B (zh) 人臉影像性別辨識系統及其辨識方法及其電腦程式產品
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN111985621A (zh) 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统
KR101448391B1 (ko) 피플 카운팅 시스템
Mitzel et al. Close-range human detection for head-mounted cameras
CN102609724A (zh) 一种基于双摄像头的周围环境信息提示方法
Hermina et al. A Novel Approach to Detect Social Distancing Among People in College Campus
Sahoo et al. DISNet: A sequential learning framework to handle occlusion in human action recognition with video acquisition sensors
Chen et al. Multi-gait identification based on multilinear analysis and multi-target tracking
Saif et al. Moment features based violence action detection using optical flow
Lamsal et al. Effects of the Unscented Kalman filter process for high performance face detector
Perko et al. Airborne based high performance crowd monitoring for security applications
Perko et al. Counting people from above: Airborne video based crowd analysis
Bhattacharya HybridFaceMaskNet: A novel face-mask detection framework using hybrid approach
Hardan et al. Developing an Automated Vision System for Maintaing Social Distancing to Cure the Pandemic
Khel et al. REALTIME CROWD MONITORING-ESTIMATING COUNT, SPEED AND DIRECTION OF PEOPLE USING HYBRIDISED YOLOv4
CN112329665A (zh) 一种人脸抓拍系统
Joy et al. Automatic object detection in car-driving sequence using neural network and optical flow analysis
Bebis et al. Advances in Visual Computing: 12th International Symposium, ISVC 2016, Las Vegas, NV, USA, December 12-14, 2016, Proceedings, Part II
Hbali et al. Object detection based on HOG features: Faces and dual-eyes augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant