CN106326851A - 一种人头检测的方法 - Google Patents

一种人头检测的方法 Download PDF

Info

Publication number
CN106326851A
CN106326851A CN201610689364.4A CN201610689364A CN106326851A CN 106326851 A CN106326851 A CN 106326851A CN 201610689364 A CN201610689364 A CN 201610689364A CN 106326851 A CN106326851 A CN 106326851A
Authority
CN
China
Prior art keywords
people
image
detection
grader
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610689364.4A
Other languages
English (en)
Other versions
CN106326851B (zh
Inventor
周康
刘玉宇
王增锹
赵伟
吴剑清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIDEOPARK TECHNOLOGY Co Ltd
Original Assignee
VIDEOPARK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIDEOPARK TECHNOLOGY Co Ltd filed Critical VIDEOPARK TECHNOLOGY Co Ltd
Priority to CN201610689364.4A priority Critical patent/CN106326851B/zh
Publication of CN106326851A publication Critical patent/CN106326851A/zh
Application granted granted Critical
Publication of CN106326851B publication Critical patent/CN106326851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种人头检测的方法，属于图像处理技术领域。包括以下步骤：对输入的视频图像进行前景提取同时将每帧图像缩放到不同的尺寸，对每个固定尺寸的图像窗口提取像素差特征送入Adaboost多视角分类器进行人头检测，采用人头模型对前景掩码进行匹配生成人头先验概率图，先验概率图与Adaboost多视角分类器结果进行加权得到最终结果。上述一种人头检测的方法，采用像素差特征和人头先验模型在检测实时性和准率上都有一个较大提升。

Description

一种人头检测的方法
技术领域
本发明属于图像处理技术领域，具体为一种人头检测的方法。
背景技术
图像处理系统中，目标检测是一个普遍而重要的方面，人头检测更是应用广泛。CN103020706 A、一种基于运动目标检测与Haar特征的人流量统计算法提出了一种采用Adaboost+Haar特征的检测器与运动目标检测结合的方案，其中运动检测仅仅作为一种限定检测区域的辅助，在检测效率上有一些提高但准确率仍然有待提高；CN102004924 A、一种人头检测系统及方法则采用了一种分块LBP特征进行检测，效果还算可以，实时性却远无法满足要求。
发明内容
针对现有技术中存在的上述问题，本发明的目的在于设计提供一种人头检测的方法的技术方案，该方法采用像素差特征和人头先验模型在检测实时性和准率上都有一个较大提升。
所述的一种人头检测的方法，其特征在于包括以下步骤：对输入的视频图像进行前景提取同时将每帧图像缩放到不同的尺寸，对每个固定尺寸的图像窗口提取像素差特征送入Adaboost多视角分类器进行人头检测，采用人头模型对前景掩码进行匹配生成人头先验概率图，先验概率图与Adaboost多视角分类器结果进行加权得到最终结果。
所述的一种人头检测的方法，其特征在于对输入的图像数据，根据设定的最大最小人头尺寸按照一定的缩放比率构建图像金字塔，对金字塔上的每个图像进行窗口扫描，提取每个窗口内的像素差特征，并用Adaboost进行分类。
所述的一种人头检测的方法，其特征在于上述Adaboost多视角分类包括正面人头分类器、背面人头分类器、左侧面人头分类器、右侧面人头分类器、顶视人头分类器，各个视角分类器分别对扫描窗口进行判定，如果通过一个或者多个分类器则可以认为扫描窗口为候选人头窗口。
所述的一种人头检测的方法，其特征在于人头分类器采用的像素差特征，仅仅使用像素差对即可生成特征，也可以采用多个像素对联合而产生其他变种特征，公式（1）即为最基本的像素对差值特征：
(1)
为了对于光线的变化有更好的适应性，采用韦伯法则对上述特征进行归一化，如公式（2），
(2)；
上述公式中，F表示提取的像素差特征值，P（i，j）代表图像中第i行第j列的位置上对应的像素值，同理P（m，n）。
所述的一种人头检测的方法，其特征在于前景的提取采用均值背景差分、中值背景差分、混合高斯模型或VIBE方法，优选VIBE方法。
所述的一种人头检测的方法，其特征在于采用离线生成的人头模型对前景图像进行匹配得到人头先验概率图；离线人头模型，采用高斯椭圆模型，公式3；或者中心距离模型，公式4；
(3)
(4)
(5)
上式（5）中Model(i,j)取高斯模型或者取中心距离模型，foreground(i,j)则表示前景图中i行j列位置上的像素值，零为背景非零则为前景；
(6)
上式（6）中T为最终人头分类所采用的阈值，w1与w2分别为先验概率图对应位置匹配分数与检测器对应位置分数的加权值；此处得到的先验概率图与人头检测器结果进行加权并通过融合与过滤就可以获得最终的人头检测结果。
上述一种人头检测的方法，采用像素差特征和人头先验模型在检测实时性和准率上都有一个较大提升。
附图说明
图1为本发明的人头检测算法流程示意图；
图2为本发明的并联人头检测器示意图；
图3为本发明的人头先验概率图示意图。
具体实施方式
以下结合具体实施例对本发明作进一步说明。
人头检测方法的系统框图如图1所示。对输入的图像数据，根据设定的最大最小人头尺寸按照一定的缩放比率构建图像金字塔，对金字塔上的每个图像进行窗口扫描，提取每个窗口内的像素差特征，并用Adaboost进行分类；同时输入的图像数据也将被用来提取前景目标，采用离线生成的人头模型对前景图像进行匹配可以得到人头先验概率图；Adaboost分类结果和人头先验概率图进行加权即可得到最后的人头检测结果。
上述人头Adaboost分类器，可为多个视角的分类器，包括正面人头分类器、背面人头分类器、左侧面人头分类器、右侧面人头分类器、顶视人头分类器，各个视角分类器分别对扫描窗口进行判定，如果通过一个或者多个分类器则可以认为扫描窗口为候选人头窗口。分类器并联示意图如图2所示。
人头分类器采用的像素差特征，仅仅使用像素差对即可生成特征，当然也可以采用多个像素对联合而产生其他变种特征。公式（1）即为最基本的像素对差值特征：
(1)
单像素对的分类能力，一般来说稍微偏弱且对于噪声严重的情况鲁棒性下降，所以一般采用多个像素对联合的特征，如2像素对特征即4个像素点两两组对产生两个F值进行联合得到特征；另外为了对于光线的变化有更好的适应性，可以采用韦伯法则对上述特征进行归一化，如公式（2）；由于像素差特征只需要获取原始图像中对应的像素值进行差值即可得到特征，计算量大大减少，再加上Cascade Adaboost整个分类过程实时性非常高。
(2)
先验概率图的生成中一个关键环节就是前景的提取，存在很多的方法可以提取前景，如均值背景差分、中值背景差分、混合高斯模型、VIBE方法等；本发明优选VIBE方法，VIBE方法具有很高的实时性，算法结构很适合并行计算，同时其前景提取效果也很不错，辅助一些形态学操作可以获得很好的前景提取效果。离线人头模型，可以采用高斯椭圆模型(公式3)或者中心距离模型（公式4）；
(3)
(4)
(5)
上式（5）中Model(i,j)或者取高斯模型或者取中心距离模型，foreground(i,j)则表示前景图中i行j列位置上的像素值，零为背景非零则为前景，模型匹配的结果如图3所示；此处得到的先验概率图与人头检测器结果进行加权并通过融合与过滤就可以获得最终的人头检测结果。
(6)
上式（6）中T为最终人头分类所采用的阈值，w1与w2分别为先验概率图对应位置匹配分数与检测器对应位置分数的加权值。采用先验概率图与检测器结果加权的方法既可以考虑人头目标的细节特性也可以考虑全局的轮廓和运动特征，因此可以较大提高人头检测的准确率。
采用本发明的方法后，对于分辨率为352*288的视频帧检测50*50大小的人头，在普通PC上可以达到1ms/帧，在1280*720的视频帧上检测60*60大小的目标也只需要15ms，完全可以满足实时性要求及嵌入式平台的应用。
本发明提升了人头检测算法的实用性，可以应用在各种客流监控/统计的场景中，以下列举两个实例。
本发明在嵌入式商铺客流统计设备上的应用。嵌入式平台上的计算资源和存储资源有一定的限制，各方面的资源占用需要尽可能的少，本发明在各方面都具备条件。考虑本发明人头检测对输入的视频图像数据流进行检测得到人头的位置信息，再采用相应的追踪器对人头结果进行实时追踪，当发生越线行为时就可以按方向进行数量统计，统计数据用作后续信息挖掘与分析。
本发明在公交车乘客商量统计方案中的应用。就公交车乘客数量统计应用场景来说人头检测存在一定的难度，本发明结合了局部特征和全局运动轮廓特征可以较好的解决这个问题，同时对人头的各种角度有较好的学习，从而精准检测。考虑本发明人头检测对输入的视频图像数据流进行检测得到人头的位置信息，再采用相应的追踪器对人头结果进行实时追踪，当发生越线行为时就可以按方向进行数量统计，统计数据用作后续信息挖掘与分析。

Claims (6)

1.一种人头检测的方法，其特征在于包括以下步骤：对输入的视频图像进行前景提取同时将每帧图像缩放到不同的尺寸，对每个固定尺寸的图像窗口提取像素差特征送入Adaboost多视角分类器进行人头检测，采用人头模型对前景掩码进行匹配生成人头先验概率图，先验概率图与Adaboost多视角分类器结果进行加权得到最终结果。
2.如权利要求1所述的一种人头检测的方法，其特征在于对输入的图像数据，根据设定的最大最小人头尺寸按照一定的缩放比率构建图像金字塔，对金字塔上的每个图像进行窗口扫描，提取每个窗口内的像素差特征，并用Adaboost进行分类。
3.如权利要求1所述的一种人头检测的方法，其特征在于上述Adaboost多视角分类包括正面人头分类器、背面人头分类器、左侧面人头分类器、右侧面人头分类器、顶视人头分类器，各个视角分类器分别对扫描窗口进行判定，如果通过一个或者多个分类器则可以认为扫描窗口为候选人头窗口。
4. 如权利要求1所述的一种人头检测的方法，其特征在于人头分类器采用的像素差特征，仅仅使用像素差对即可生成特征，也可以采用多个像素对联合而产生其他变种特征，公式（1）即为最基本的像素对差值特征：
(1)
上述公式中，F表示提取的像素差特征值，P（i，j）代表图像中第i行第j列的位置上对应的像素值，同理P（m，n），以下表述中对应的公式符号均表示相同意义；
为了对于光线的变化有更好的适应性，采用韦伯法则对上述特征进行归一化，如公式（2），
(2) 。
5.如权利要求1所述的一种人头检测的方法，其特征在于前景的提取采用均值背景差分、中值背景差分、混合高斯模型或VIBE方法，优选VIBE方法。
6. 如权利要求1所述的一种人头检测的方法，其特征在于采用离线生成的人头模型对前景图像进行匹配得到人头先验概率图；离线人头模型，采用高斯椭圆模型，公式3；或者中心距离模型，公式4；
(3)
(4)
(5)
上式（5）中Model(i,j)取高斯模型或者取中心距离模型，foreground(i,j)则表示前景图中i行j列位置上的像素值，零为背景非零则为前景；
(6)
上式（6）中T为最终人头分类所采用的阈值，w1与w2分别为先验概率图对应位置匹配分数与检测器对应位置分数的加权值；此处得到的先验概率图与人头检测器结果进行加权并通过融合与过滤就可以获得最终的人头检测结果。
CN201610689364.4A 2016-08-19 2016-08-19 一种人头检测的方法 Active CN106326851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610689364.4A CN106326851B (zh) 2016-08-19 2016-08-19 一种人头检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610689364.4A CN106326851B (zh) 2016-08-19 2016-08-19 一种人头检测的方法

Publications (2)

Publication Number Publication Date
CN106326851A true CN106326851A (zh) 2017-01-11
CN106326851B CN106326851B (zh) 2019-08-13

Family

ID=57744190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610689364.4A Active CN106326851B (zh) 2016-08-19 2016-08-19 一种人头检测的方法

Country Status (1)

Country Link
CN (1) CN106326851B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491762A (zh) * 2017-08-23 2017-12-19 珠海安联锐视科技股份有限公司 一种行人检测方法
CN108197579A (zh) * 2018-01-09 2018-06-22 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN109635675A (zh) * 2018-11-22 2019-04-16 广州市保伦电子有限公司 基于人头检测的视频静态人数统计方法、装置及介质
CN109993186A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种头肩检测方法、电子设备及具有存储功能的装置
CN111274991A (zh) * 2020-02-12 2020-06-12 清华大学 行人检测识别系统、方法、设备及计算机可读存储介质
CN112418244A (zh) * 2020-11-02 2021-02-26 北京迈格威科技有限公司 目标检测方法、装置和电子系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
CN105303191A (zh) * 2014-07-25 2016-02-03 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法和装置
US20160196467A1 (en) * 2015-01-07 2016-07-07 Shenzhen Weiteshi Technology Co. Ltd. Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN105303191A (zh) * 2014-07-25 2016-02-03 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法和装置
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
US20160196467A1 (en) * 2015-01-07 2016-07-07 Shenzhen Weiteshi Technology Co. Ltd. Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491762A (zh) * 2017-08-23 2017-12-19 珠海安联锐视科技股份有限公司 一种行人检测方法
CN109993186A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种头肩检测方法、电子设备及具有存储功能的装置
CN109993186B (zh) * 2017-12-29 2021-06-29 深圳市优必选科技有限公司 一种头肩检测方法、电子设备及具有存储功能的装置
CN108197579A (zh) * 2018-01-09 2018-06-22 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN108197579B (zh) * 2018-01-09 2022-05-20 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN109635675A (zh) * 2018-11-22 2019-04-16 广州市保伦电子有限公司 基于人头检测的视频静态人数统计方法、装置及介质
CN111274991A (zh) * 2020-02-12 2020-06-12 清华大学 行人检测识别系统、方法、设备及计算机可读存储介质
CN112418244A (zh) * 2020-11-02 2021-02-26 北京迈格威科技有限公司 目标检测方法、装置和电子系统

Also Published As

Publication number Publication date
CN106326851B (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN106326851A (zh) 一种人头检测的方法
US7831087B2 (en) Method for visual-based recognition of an object
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
WO2022134655A1 (zh) 一种端到端的视频动作检测定位系统
CN106127137A (zh) 一种基于3d轨迹分析的目标检测识别算法
Damen et al. Detecting carried objects from sequences of walking pedestrians
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
Rouhi et al. A review on feature extraction techniques in face recognition
CN105956552B (zh) 一种人脸黑名单监测方法
CN108701211B (zh) 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统
KR101921071B1 (ko) 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치
Luo et al. Traffic analytics with low-frame-rate videos
CN102609724A (zh) 一种基于双摄像头的周围环境信息提示方法
Melotti et al. CNN-LIDAR pedestrian classification: Combining range and reflectance data
Khel et al. Realtime Crowd Monitoring—Estimating Count, Speed and Direction of People Using Hybridized YOLOv4
Gerónimo et al. Computer vision approaches to pedestrian detection: Visible spectrum survey
CN106845361B (zh) 一种行人头部识别方法及系统
CN106127251A (zh) 一种用于描述人脸特征变化的计算机视觉方法
Vasu An effective step to real-time implementation of accident detection system using image processing
CN106778452A (zh) 服务机器人基于双目视觉的人体检测与跟踪方法
Joy et al. Automatic object detection in car-driving sequence using neural network and optical flow analysis
Thiyagarajan Face Detection and Facial Feature Points' Detection with the help of KLT Algorithm
Wang et al. Highly Reliable Vehicle Detection through CNN with Attention Mechanism
Salazar Estimating distance between pedestrians from street view images using geometric properties
Ran et al. Thermal-visible video fusion for moving target tracking and pedestrian motion analysis and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant