CN104298969A - 基于颜色与haar特征融合的人群规模统计方法 - Google Patents

基于颜色与haar特征融合的人群规模统计方法 Download PDF

Info

Publication number
CN104298969A
CN104298969A CN201410500290.6A CN201410500290A CN104298969A CN 104298969 A CN104298969 A CN 104298969A CN 201410500290 A CN201410500290 A CN 201410500290A CN 104298969 A CN104298969 A CN 104298969A
Authority
CN
China
Prior art keywords
image
color
haar
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410500290.6A
Other languages
English (en)
Other versions
CN104298969B (zh
Inventor
陈雷霆
蒲晓蓉
万艾学
邱航
蔡洪斌
崔金钟
卢光辉
曹跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201410500290.6A priority Critical patent/CN104298969B/zh
Publication of CN104298969A publication Critical patent/CN104298969A/zh
Application granted granted Critical
Publication of CN104298969B publication Critical patent/CN104298969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00Counting of objects distributed at random, e.g. on a surface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于颜色与HAAR特征融合的人群规模统计方法,该方法包括以下步骤:数据预处理;特征提取;Adaboost构建目标模型;行人检测以及人数统计。本发明融合颜色特征和Haar特征的方法,将颜色这种先验知识作为Haar特征权值进行目标判断,再通过adaboost训练分类器进行人群中个体的检测与识别。本发明首先训练Haar模型,通过加权基于人脸肤色的颜色属性构建分类器用于人脸检测,将人脸子窗口进行K-NN分类,分类结果即为行人个数。本发明能避免光线过弱、目标集中、目标过小等因素造成的影响。

Description

基于颜色与HAAR特征融合的人群规模统计方法
技术领域
本发明涉及一种规模统计方法,具体涉及一种基于颜色与HAAR特征融合的人群规模统计方法。
背景技术
视频人群规模统计运用视频图像分析技术进行人群流量统计。从视频流中分析统计出人群规模(即人数)是一个非常复杂且挑战性的计算机视觉与计算智能问题。人群规模统计能为大型商场、购物中心、连锁店、广场、街道、机场、车站、博物馆、展览馆等公共场所的管理和决策提供有效的数据支撑。用户可以在掌握监控区域动态信息的同时,能及时得到目标区域中准确的人数规模和人群流量数据,有利于提升管理水平和效率。实现视频人群规模统计涉及到目标检测、目标识别和对象聚类技术等计算机技术。
本发明基于目标检测,对视频监控目标区域的人流量进行自动统计。目标检测是近年来计算机视觉领域的研究热点,它在基于内容的图像检索、智能交通、智能视频监控、高级人机交互等领域具有广泛的应用前景。由于目标外观形状的不确定性,应用场景的复杂性,目标之间以及目标与其它物体之间的相互遮挡等原因导致目标检测成为一个极具挑战性的问题。目标检测是自动目标识别的基础和关键环节。早期的目标识别研究主要针对具有较强约束条件的目标图像(如,无背景的图像),往往假设目标位置已知或很容易获得。因此,目标检测问题并未受到重视。近几年,随着电子商务等应用的发展,目标识别已逐渐成为最具潜力的生物身份验证手段,这种应用背景要求自动目标识别系统能够对一般环境图像具有一定的适应能力。由此所面临的一系列问题使得目标检测开始作为一个独立的课题受到研究者的重视。
目前,已提出了一些常用的、有效的目标检测方法,其中基于特征提取的目标检测方法,如基于Haar特征的目标检测方法表现出较好的性能。不过,Haar特征的应用存在较大的局限性,不能应对图像中目标过小、光线影响严重、对象数量集中、对比度不足等诸多实际环境,这些环境中无法获取可靠的Haar特征,导致很难区分每个独立对象。
为此,有研究通过融合一些全局特征来改进Haar特征,可以解决某些对比度过弱无法获取有意义特征的问题,如果使用恰当的特征还可以克服光线对目标的影响问题。但是,通过局部或全局特征融合,很难区分相近特征,容易造成误检现象。
北京中星微电子有限公司黄英的专利《基于视频监控的人数统计方法和系统》,于2009年01月7日向中国国家知识产权局申请专利并获得批准,于2009年01月8日公开,公开号为:CN101477641,该专利主要是使用跟踪统计人流量,当人流过多时,会出现如下问题:第一,多目标跟踪过程中容易出现单体之间的重合、遮挡等问题,无法确保跟踪所需的单体特征获取,从而无法检测跟踪;第三,多目标跟踪需要大量的计算,花费时间很难估量。
刘子源和蒋承志2011年8月在辽宁科技大学学报上发表论文《基于OpenCV和Haar特征分类器的图像人数检测》。研究了一种基于OpenCV和Haar特征检测固定区域图像中人数的方法。通过选取大量含有人的Haar特征的样本图片,利用OpenCV训练出分类器,并通过实验深入分析选取的样本对分类器识别性能(即检测效果)的影响,最终选取人的头肩部上半身样本训练分类器,并在1500张640pi×480pix待检图像(共计人数17294人)的检测实验中达到93.9%的识别准确率,平均检测时间小于323ms。
此文通过Haar特征统计图像中的人数,但是该文章采用的实验用样本与视频监控获取的图像有差异,单纯使用Haar特征统计监控中人数会出现漏检、误检现象,同时此文没有针对视频中出现的重复的计数策略。
发明内容
为解决上述问题,我们提出融合颜色特征和Haar特征的方法,将颜色这种先验知识作为Haar特征权值进行目标判断,再通过adaboost训练分类器进行人群中个体的检测与识别。本发明首先训练Haar模型,通过加权基于人脸肤色的颜色属性构建分类器用于人脸检测,将人脸子窗口进行K-NN分类,分类结果即为行人个数。
本发明的具体技术方案如下:
一种基于颜色与HAAR特征融合的人群规模统计方法,包括以下步骤:
步骤1数据预处理
针对不同场景,一般可以采用以下几种处理方式:直方图均衡化、灰度拉伸、同态滤波等。本发明采用灰度拉伸增强对比度。
步骤1.1采集视频图像序列集合,假设选取N个样本进行采样;
步骤1.2对每一个图像像素进行灰度拉伸:每个图像的像素的大小为x,上下阀值分别为x1,x2
x < x 1 : f ( x ) = y 1 x 1 * x
x 1 &le; x &le; x 2 : f ( x ) = y 2 - y 1 x 2 - x 1 * ( x - x 1 ) + y 1
x > x 2 : f ( x ) = 255 - y 2 255 - x 2 * ( x - x 2 ) + y 2 .
步骤2特征提取
特征提取是目标检测的关键环节。本发明主要针对大型商场、户外广场、街道、机场、车站等公共场所的监控系统,这些环境的摄像头大都悬挂于较高的上空,获取的画面目标相对较小且目标特征不太明显。Haar特征作为常用人体特征具有诸多优点,但很难处理画面中目标过小的问题。现有其它视频目标检测方法,大多也会出现漏检、重复、误检等现象。本发明将颜色属性作为Haar特征的加权值,能较好解决上述问题。增加颜色特征以后,当检测窗口出现颜色波动,且检测到疑似目标特征时,即可判断为目标。肤色是人脸最重要的特征之一,不依赖于面部的细节特征,对于旋转、表情等变化情况都适应,具有相对的稳定性并且与大多数背景物体的颜色相区别。我们采用基于人脸肤色范围的颜色属性进一步缩小误差,我们使用检测肤色像素性能最好HSV色彩空间,使用H和S就足够将肤色和背景分割开,其对光照和阴影的影响也有较高的稳定性。根据不同场景下通过实验获取H和S的阀值区间用于分配CN向量,具体步骤如下:
步骤2.1HSV中阀值区间获取
HSV空间是RGB空间的非线性变换,它将原本相关性很强的R、G、B值转换为相关性较弱的H、S、V,值,H和S分量与人感受色彩的方式相一致。在HSV空间中彩色图像的每一个均匀性色彩区域都对应一个相对一致的色调(Hue),使得色调(Hue)能够单独用来进行彩色区域的分割。
V=max(R,G,B)
Delta=V-min(R,G,B)
S = o if V = 0 V - min ( R , G , B ) V else
r = V - R Delta , g = V - G Delta , b = V - B Delta
H取值依赖一下情况:
V=R且min(R,G,B)=B则
V=R且min(R,G,B)=G则
V=G且min(R,G,B)=R则
V=G且min(R,G,B)=B则
V=B且min(R,G,B)=G则
V=B且min(R,G,B)=R则
步骤2.2颜色属性权值
CN是一个向量,记录了图像中每一区域被标示为某种颜色属性名时的概率
CN={(cn1|R),P(cn2|R),P(cn3|R),......P(cn11|R)}
其中,cni表示颜色属性名,CN向量区间来源于步骤2.1中的HSV区间,我们构造H、S的颜色向量区间,大体可分为10---100分量,其中cni表示图像区域的H、S值包含于此范围的概率;若标注100种颜色属性名,cni表示图像颜色属性名空间{1...100};
步骤2.2.1根据现有图像数据库,计算每一张图像的颜色属性概率P(cn|f(x));
步骤2.2.2获取颜色属性描述子,定义x为图像区域P立体坐标,然后计算图像R中区域P对应的P(cni|f(x))。
步骤2.3Haar特征
采用积分图获取每一张样本的Haar特征,具体步骤如下:
步骤2.3.1令s(i,j)表示行方向的累加和,初始化s(i,-1)=0;
步骤2.3.2令ii(i,j)表示一个积分图像,初始化ii(-1,j)=0;
步骤2.3.3自左向右,自上向下,逐行扫描图像,逐一计算每个像素f(i,j)行方向的累加和s(i,j)和积分图像s(i,j)的值
s(i,j)=s(i,j-1)+f(i,j)
ii(i,j)=ii(i-1,j)+s(i,j)
步骤2.3.4完整扫描图像一遍,当到达图像右下角的最后一个像素时,积分矩阵ii就构造好了;
步骤2.3.5计算积分矩阵和D=ii(α)+ii(β)-ii(γ)+ii(δ);
步骤2.3.6得到特征:Haar=Di-Dj
步骤2.4将Haar特征加权颜色属性,得到图像的最终特征
图像的最终特征集C(1,2,...n):获取窗口R的Haar特征、得到对应的颜色属性向量,然后加权得到Ci=[Harri:CNi]。
步骤3Adaboost构建目标模型
步骤3.1构建Adaboost创建弱分类器,根据训练子窗口中的矩形特征数量和特征值,需要对每一个区域x的特征f,训练一个弱分类器h(x,f,p,θ),θ是阀值,p是不等号方向
h = 1 pf ( x ) < p&theta; 0 other ;
步骤3.1.1对于不同窗口不同位置都有对应的特征f,计算所有训练样本的特征值,并将样本库中每个样本对应位置的特征值进行升序排序;
步骤3.1.2扫描一遍排好序的特征值,对排好序的表中的每个元素,计算下面四个值:
全部目标样本的权重和t1
全部非目标样本的权重和t0
在此元素之前的目标样本的权重和S1
在此元素之前的非目标样本的权重和S0
步骤3.1.3选取当前元素的特征值Fi和它前一个特征值Fi-1之间的数作为阀值,该阀值的分类误差为r
r=min(S1+(t0-S0),S0+(t1-S1))
选取具有最小分类误差对应阀值,该阈值作为弱分类器阀值。
步骤3.2Adaboost创建强分类器
步骤3.2.1设定每层需达到的最小检测率d,最大误识率f,以及最终级联分类器的误识率Ft
步骤3.2.1令P=目标训练样本,N=非目标训练样本,D0=1.0,F0=1.0;
步骤3.2.3i=0;
步骤3.2.4for:Fi>Ft
         i++;Ni=0;Fi=Fi-1
         for:Fi>f*Fi-1
                ++Ni
利用AdaBoost算法在正P负N样本集具有ni个弱分类器的强分类器;衡量当前级联分类器的检测率Di和误识率Fi
for:D1<d*Si-1;降低第i层的强分类器阈值;衡量当前级联分类器的检测率Di和误识率Fi;初始化利用当前的级联分类器检测非目标图像,将误识的图像放入N。
步骤4行人检测
本发明的重要贡献之一即改进了目标检测策略。将滑动窗口法与积分图相结合,用于加速检测,避免固定步长带来的漏检,对窗口特征进行加权,能显著提高检测准确率。
步骤4.1结合积分图,设定某固定大小的窗口,令其在图像尺度空间内(即缩放后得到的图像)依次滑动。利用预先训练好的分类器判断每一个滑动窗口内是否包含目标。通过窗口的滑动对图像进行遍历。
步骤4.2获取窗口特征加权颜色特征Ci=[Haari:CNi]
步骤4.3记录分类器获取的检测成功窗口T(1,2,...m)
步骤5人数统计
现有的人数统计方法主要包括:1)跟踪法。检测视频中的每一行人,并且进行跟踪。但当人流密集时,很难发挥作用;2)直接计数法。直接计算人头数,该方法不适用视频人数统计,因其易重复计数。本发明改进了单页分类,并用于标定人群中的行人数量。
步骤5.1获取目标窗口数据集T(1,2,...m)
步骤5.2Fi=||Ti||2
步骤5.3循环计算Eij=NN(Fi,Fj),当Eij<e(e为阀值)时,目标窗口数减一,此时目标窗口数仅为计数使用,则最后m的值即为该视频的最终人数。
本发明的有益效果在于:本发明采用基于颜色属性加权Haar特征构建分类器实现视频中的人群计数,能避免光线过弱、目标集中、目标过小等因素造成的影响。
应用计算机视觉是视频监控系统发展的必然趋势。通过智能人流统计分析技术,对客运大巴、公交车、校车、广场、办公楼、商场等场所进行人数统计,可满足数字化城市智能生活的需求。
众所周知,交通安全、交通拥堵以及环境污染是困扰当今城市交通领域的三大难题,尤其以交通安全问题最为严重。据专家研究,采用智能交通技术提高道路管理水平以后,每年仅交通事故死亡人数就可减30%以上,并能提高交通工具的使用效率50%以上。为此,世界各发达国家竞相投入大量资金和人力,进行大规模的智能交通技术研究试验。在智能交通中,客流量统计充当了重要角色,对车流量、人流量进行实时的监测和反馈,给调度中心以分析作参考制定相应的解决方案,为缓解交通压力和智能化交通建设有极其重要的意义。
本发明能够为智能交通提供大量的聚集人群规模估计数据,通过对这些数据的分析可以得到实际可行的结论。此外,本发明还能够为大型商场、购物中心、连锁店、机场、车站、博物馆、展览馆等公共场所在管理和决策提供人群规模方面的基础数据。
具体实施方式
一种基于颜色与HAAR特征融合的人群规模统计方法,包括以下步骤:
步骤1数据预处理
针对不同场景,一般可以采用以下几种处理方式:直方图均衡化、灰度拉伸、同态滤波等。本发明采用灰度拉伸增强对比度。
步骤1.1采集视频图像序列集合,假设选取N个样本进行采样;
步骤1.2对每一个图像像素进行灰度拉伸:每个图像的像素的大小为x,上下阀值分别为x1,x2
x < x 1 : f ( x ) = y 1 x 1 * x
x 1 &le; x &le; x 2 : f ( x ) = y 2 - y 1 x 2 - x 1 * ( x - x 1 ) + y 1
x > x 2 : f ( x ) = 255 - y 2 255 - x 2 * ( x - x 2 ) + y 2 .
步骤2特征提取
特征提取是目标检测的关键环节。本发明主要针对大型商场、户外广场、街道、机场、车站等公共场所的监控系统,这些环境的摄像头大都悬挂于较高的上空,获取的画面目标相对较小且目标特征不太明显。Haar特征作为常用人体特征具有诸多优点,但很难处理画面中目标过小的问题。现有其它视频目标检测方法,大多也会出现漏检、重复、误检等现象。本发明将颜色属性作为Haar特征的加权值,能较好解决上述问题。增加颜色特征以后,当检测窗口出现颜色波动,且检测到疑似目标特征时,即可判断为目标。肤色是人脸最重要的特征之一,不依赖于面部的细节特征,对于旋转、表情等变化情况都适应,具有相对的稳定性并且与大多数背景物体的颜色相区别。我们采用基于人脸肤色范围的颜色属性进一步缩小误差,我们使用检测肤色像素性能最好HSV色彩空间,使用H和S就足够将肤色和背景分割开,其对光照和阴影的影响也有较高的稳定性。根据不同场景下通过实验获取H和S的阀值区间用于分配CN向量,具体步骤如下:
步骤2.1HSV中阀值区间获取
HSV空间是RGB空间的非线性变换,它将原本相关性很强的R、G、B值转换为相关性较弱的H、S、V,值,H和S分量与人感受色彩的方式相一致。在HSV空间中彩色图像的每一个均匀性色彩区域都对应一个相对一致的色调(Hue),使得色调(Hue)能够单独用来进行彩色区域的分割。
V=max(R,G,B)
Delta=V-min(R,G,B)
S = o if V = 0 V - min ( R , G , B ) V else
r = V - R Delta , g = V - G Delta , b = V - B Delta
H取值依赖一下情况:
V=R且min(R,G,B)=B则
V=R且min(R,G,B)=G则
V=G且min(R,G,B)=R则
V=G且min(R,G,B)=B则
V=B且min(R,G,B)=G则
V=B且min(R,G,B)=R则
步骤2.2颜色属性权值
CN是一个向量,记录了图像中每一区域被标示为某种颜色属性名时的概率
CN={(cn1|R),P(cn2|R),P(cn3|R),......P(cn11|R)}
其中,cni表示颜色属性名,CN向量区间来源于步骤2.1中的HSV区间,我们构造H、S的颜色向量区间,大体可分为10---100分量,其中cni表示图像区域的H、S值包含于此范围的概率;若标注100种颜色属性名,cni表示图像颜色属性名空间{1...100};
步骤2.2.1根据现有图像数据库,计算每一张图像的颜色属性概率P(cn|f(x));
步骤2.2.2获取颜色属性描述子,定义x为图像区域P立体坐标,然后计算图像R中区域P对应的P(cni|f(x))。
步骤2.3Haar特征
采用积分图获取每一张样本的Haar特征,具体步骤如下:
步骤2.3.1令s(i,j)表示行方向的累加和,初始化s(i,-1)=0;
步骤2.3.2令ii(i,j)表示一个积分图像,初始化ii(-1,j)=0;
步骤2.3.3自左向右,自上向下,逐行扫描图像,逐一计算每个像素f(i,j)行方向的累加和s(i,j)和积分图像s(i,j)的值
s(i,j)=s(i,j-1)+f(i,j)
ii(i,j)=ii(i-1,j)+s(i,j)
步骤2.3.4完整扫描图像一遍,当到达图像右下角的最后一个像素时,积分矩阵ii就构造好了;
步骤2.3.5计算积分矩阵和D=ii(α)+ii(β)-ii(γ)+ii(δ);
步骤2.3.6得到特征:Haar=Di-Dj
步骤2.4将Haar特征加权颜色属性,得到图像的最终特征
图像的最终特征集C(1,2,...n):获取窗口R的Haar特征、得到对应的颜色属性向量,然后加权得到Ci=[Haari:CNi]。
步骤3Adaboost构建目标模型
步骤3.1构建Adaboost创建弱分类器,根据训练子窗口中的矩形特征数量和特征值,需要对每一个区域x的特征f,训练一个弱分类器h(x,f,p,θ),θ是阀值,p是不等号方向
h = 1 pf ( x ) < p&theta; 0 other ;
步骤3.1.1对于不同窗口不同位置都有对应的特征f,计算所有训练样本的特征值,并将样本库中每个样本对应位置的特征值进行升序排序;
步骤3.1.2扫描一遍排好序的特征值,对排好序的表中的每个元素,计算下面四个值:
全部目标样本的权重和t1
全部非目标样本的权重和t0
在此元素之前的目标样本的权重和S1
在此元素之前的非目标样本的权重和S0
步骤3.1.3选取当前元素的特征值Fi和它前一个特征值Fi-1之间的数作为阀值,该阀值的分类误差为r
r=min(S1+(t0-S0),S0+(t1-S1))
选取具有最小分类误差对应阀值,该阈值作为弱分类器阀值。
步骤3.2Adaboost创建强分类器
步骤3.2.1设定每层需达到的最小检测率d,最大误识率f,以及最终级联分类器的误识率Ft
步骤3.2.1令P=目标训练样本,N=非目标训练样本,D0=1.0,F0=1.0;
步骤3.2.3i=0;
步骤3.2.4for:Fi>Ft
         i++;Ni=0;Fi=Fi-1
         for:Fi>f*Fi-1
           ++Ni
利用AdaBoost算法在正P负N样本集具有ni个弱分类器的强分类器;衡量当前级联分类器的检测率Di和误识率Fi
for:Di<d*Si-1;降低第i层的强分类器阈值;衡量当前级联分类器的检测率Di和误识率Fi;初始化利用当前的级联分类器检测非目标图像,将误识的图像放入N。
步骤4行人检测
本发明的重要贡献之一即改进了目标检测策略。将滑动窗口法与积分图相结合,用于加速检测,避免固定步长带来的漏检,对窗口特征进行加权,能显著提高检测准确率。
步骤4.1结合积分图,设定某固定大小的窗口,令其在图像尺度空间内(即缩放后得到的图像)依次滑动。利用预先训练好的分类器判断每一个滑动窗口内是否包含目标。通过窗口的滑动对图像进行遍历。
步骤4.2获取窗口特征加权颜色特征Ci=[Haari:CNi]
步骤4.3记录分类器获取的检测成功窗口T(1,2,...m)
步骤5人数统计
现有的人数统计方法主要包括:1)跟踪法。检测视频中的每一行人,并且进行跟踪。但当人流密集时,很难发挥作用;2)直接计数法。直接计算人头数,该方法不适用视频人数统计,因其易重复计数。本发明改进了单页分类,并用于标定人群中的行人数量。
步骤5.1获取目标窗口数据集T(1,2,...m)
步骤5.2Fi=||Ti||2
步骤5.3循环计算Eij=NN(Fi,Fj),当Eij<e(e为阀值)时,目标窗口数减一,此时目标窗口数仅为计数使用,则最后m的值即为该视频的最终人数。

Claims (6)

1.一种基于颜色与HAAR特征融合的人群规模统计方法,包括以下步骤:
步骤1数据预处理;
步骤2特征提取;
步骤3Adaboost构建目标模型;
步骤4行人检测;
步骤5人数统计。
2.根据权利要求1所述的基于颜色与HAAR特征融合的人群规模统计方法,其特征在于:所述步骤1数据预处理的方法为:
步骤1.1采集视频图像序列集合,假设选取N个样本进行采样;
步骤1.2对每一个图像像素进行灰度拉伸:每个图像的像素的大小为x,上下阀值分别为x1,x2
x < x 1 : f ( x ) = y 1 x 1 * x
x 1 &le; x &le; x 2 : f ( x ) = y 2 - y 1 x 2 - x 1 * ( x - x 1 ) + y 1
x > x 2 : f ( x ) = 255 - y 2 255 - x 2 * ( x - x 2 ) + y 2 .
3.根据权利要求1所述的基于颜色与HAAR特征融合的人群规模统计方法,其特征在于:所述步骤2特征提取的方法为:
步骤2.1HSV中阀值区间获取
在HSV空间中彩色图像的每一个均匀性色彩区域都对应一个相对一致的色调Hue,使得色调Hue能够单独用来进行彩色区域的分割;
V=max(R,G,B)
Delta=V-min(R,G,B)
S = o if V = 0 V - min ( R , G , B ) V else
r = V - R Delta , g = V - G Delta , b = V - B Delta
H取值依赖一下情况:
V=R且min(R,G,B)=B则
V=R且min(R,G,B)=G则
V=G且min(R,G,B)=R则
V=G且min(R,G,B)=B则
V=B且min(R,G,B)=G则
V=B且min(R,G,B)=R则
步骤2.2颜色属性权值
CN是一个向量,记录了图像中每一区域被标示为某种颜色属性名时的概率
CN={(cn1|R),P(cn2|R),P(cn3|R),......P(cn11|R)}
其中,cni表示颜色属性名,CN向量区间来源于步骤2.1中的HSV区间;
步骤2.2.1根据现有图像数据库,计算每一张图像的颜色属性概率P(cn|f(x));
步骤2.2.2获取颜色属性描述子,定义x为图像区域P立体坐标,然后计算图像R中区域P对应的P(cni|f(x));
步骤2.3Haar特征
采用积分图获取每一张样本的Haar特征,具体步骤如下:
步骤2.3.1令s(i,j)表示行方向的累加和,初始化s(i,-1)=0;
步骤2.3.2令ii(i,j)表示一个积分图像,初始化ii(-1,j)=0;
步骤2.3.3自左向右,自上向下,逐行扫描图像,逐一计算每个像素f(i,j)行方向的累加和s(i,j)和积分图像s(i,j)的值
s(i,j)=s(i,j-1)+f(i,j)
ii(i,j)=ii(i-1,j)+s(i,j);
步骤2.3.4完整扫描图像一遍,当到达图像右下角的最后一个像素时,积分矩阵ii就构造好了;
步骤2.3.5计算积分矩阵和D=ii(α)+ii(β)-ii(γ)+ii(δ);
步骤2.3.6得到特征:Haar=Di-Dj
步骤2.4将Haar特征加权颜色属性,得到图像的最终特征
图像的最终特征集C(1,2,...n):获取窗口R的Haar特征、得到对应的颜色属性向量,然后加权得到Ci=[Haari:CNi)。
4.根据权利要求1所述的基于颜色与HAAR特征融合的人群规模统计方法,其特征在于:所述步骤3中Adaboost构建目标模型的方法为:
步骤3.1构建Adaboost创建弱分类器,根据训练子窗口中的矩形特征数量和特征值,需要对每一个区域x的特征f,训练一个弱分类器h(x,f,p,θ),θ是阀值,p是不等号方向
h = 1 pf ( x ) < p&theta; 0 other ;
步骤3.1.1对于不同窗口不同位置都有对应的特征f,计算所有训练样本的特征值,并将样本库中每个样本对应位置的特征值进行升序排序;
步骤3.1.2扫描一遍排好序的特征值,对排好序的表中的每个元素,计算下面四个值:
全部目标样本的权重和t1
全部非目标样本的权重和t0
在此元素之前的目标样本的权重和S1
在此元素之前的非目标样本的权重和S0
步骤3.1.3选取当前元素的特征值Fi和它前一个特征值Fi-1之间的数作为阀值,该阀值的分类误差为r
r=min(S1+(t0-S0),S0+(t1-S1))
选取具有最小分类误差对应阀值,该阈值作为弱分类器阀值。
步骤3.2Adaboost创建强分类器
步骤3.2.1设定每层需达到的最小检测率d,最大误识率f,以及最终级联分类器的误识率Ft
步骤3.2.1令P=目标训练样本,N=非目标训练样本,D0=1.0,F0=1.0;
步骤3.2.3i=0;
步骤3.2.4for:Fi>Ft
         i++;Ni=0;Fi=Fi-1
         for:Fi>f*Fi-1
                ++Ni
利用AdaBoost算法在正P负N样本集具有ni个弱分类器的强分类器;衡量当前级联分类器的检测率Di和误识率Fi
for:Di<d*Si-1;降低第i层的强分类器阈值;衡量当前级联分类器的检测率Di和误识率Fi;初始化利用当前的级联分类器检测非目标图像,将误识的图像放入N。
5.根据权利要求1所述的基于颜色与HAAR特征融合的人群规模统计方法,其特征在于:所述步骤4中行人检测的方法为:
步骤4.1结合积分图,设定某固定大小的窗口,令其在图像尺度空间内即缩放后得到的图像依次滑动,利用预先训练好的分类器判断每一个滑动窗口内是否包含目标,通过窗口的滑动对图像进行遍历;
步骤4.2获取窗口特征加权颜色特征Ci=[Haari:CNi];
步骤4.3记录分类器获取的检测成功窗口T(1,2,...m)。
6.根据权利要求1所述的基于颜色与HAAR特征融合的人群规模统计方法,其特征在于:所述步骤5中人数统计的方法为:
步骤5.1获取目标窗口数据集T(1,2,...m);
步骤5.2Fi=||Ti||2
步骤5.3循环计算Eij=NN(Fi,Fj),当Eij<e(e为阀值)时,目标窗口数减一,此时目标窗口数仅为计数使用,则最后m的值即为该视频的最终人数。
CN201410500290.6A 2014-09-25 2014-09-25 基于颜色与haar特征融合的人群规模统计方法 Active CN104298969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410500290.6A CN104298969B (zh) 2014-09-25 2014-09-25 基于颜色与haar特征融合的人群规模统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410500290.6A CN104298969B (zh) 2014-09-25 2014-09-25 基于颜色与haar特征融合的人群规模统计方法

Publications (2)

Publication Number Publication Date
CN104298969A true CN104298969A (zh) 2015-01-21
CN104298969B CN104298969B (zh) 2018-06-26

Family

ID=52318690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410500290.6A Active CN104298969B (zh) 2014-09-25 2014-09-25 基于颜色与haar特征融合的人群规模统计方法

Country Status (1)

Country Link
CN (1) CN104298969B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794443A (zh) * 2015-04-16 2015-07-22 杭州中威电子股份有限公司 一种基于图像处理的自助存取款机实时人数检测方法
CN105160349A (zh) * 2015-08-06 2015-12-16 深圳市哈工大交通电子技术有限公司 一种基于GPU平台的Haar检测目标算法
CN105825188A (zh) * 2016-03-18 2016-08-03 中兴智能视觉大数据技术(湖北)有限公司 一种智能动态人脸识别人证核实系统
CN106446926A (zh) * 2016-07-12 2017-02-22 重庆大学 一种基于视频分析的变电站工人安全帽佩戴检测方法
CN106971193A (zh) * 2016-11-23 2017-07-21 南京理工大学 基于结构型Haar和Adaboost的目标检测方法
CN107463957A (zh) * 2017-08-04 2017-12-12 河海大学 一种有效的遥感图像目标识别方法
CN107679492A (zh) * 2017-09-29 2018-02-09 重庆市智权之路科技有限公司 通过使用特征抓取功能进行行为判别分析方法
CN108292355A (zh) * 2015-11-04 2018-07-17 三菱电机株式会社 用于确定行人流的方法和系统
CN108710836A (zh) * 2018-05-04 2018-10-26 南京邮电大学 一种基于级联特征提取的唇部检测及读取方法
CN109048934A (zh) * 2018-08-20 2018-12-21 深圳威琳懋生物科技有限公司 一种智能导购机器人系统
CN109431523A (zh) * 2018-10-19 2019-03-08 昆山杜克大学 基于非社会性声音刺激行为范式的孤独症初级筛查装置
WO2019114145A1 (zh) * 2017-12-12 2019-06-20 深圳光启合众科技有限公司 监控视频中人数检测方法及装置
CN113283430A (zh) * 2021-07-23 2021-08-20 深圳市赛菲姆科技有限公司 目标检测的方法、装置、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006057475A1 (en) * 2004-11-23 2006-06-01 Kicheon Hong Face detection and authentication apparatus and method
CN102682287A (zh) * 2012-04-17 2012-09-19 电子科技大学 基于显著度信息的行人检测方法
CN103258232A (zh) * 2013-04-12 2013-08-21 中国民航大学 一种基于双摄像头的公共场所人数估算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006057475A1 (en) * 2004-11-23 2006-06-01 Kicheon Hong Face detection and authentication apparatus and method
CN102682287A (zh) * 2012-04-17 2012-09-19 电子科技大学 基于显著度信息的行人检测方法
CN103258232A (zh) * 2013-04-12 2013-08-21 中国民航大学 一种基于双摄像头的公共场所人数估算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
左登宇: ""基于adaboost算法的人脸检测研究"", 《中国优秀硕士学位论文全文数据库,信息科技辑》 *
张丙坤: ""基于人头检测的人数统计算法研究"", 《中国优秀硕士学位论文全文数据库,信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794443B (zh) * 2015-04-16 2018-09-21 杭州中威电子股份有限公司 一种基于图像处理的自助存取款机实时人数检测方法
CN104794443A (zh) * 2015-04-16 2015-07-22 杭州中威电子股份有限公司 一种基于图像处理的自助存取款机实时人数检测方法
CN105160349A (zh) * 2015-08-06 2015-12-16 深圳市哈工大交通电子技术有限公司 一种基于GPU平台的Haar检测目标算法
CN105160349B (zh) * 2015-08-06 2019-06-18 深圳市哈工大交通电子技术有限公司 一种基于GPU平台的Haar检测目标方法
CN108292355B (zh) * 2015-11-04 2019-04-30 三菱电机株式会社 用于确定行人流的方法和系统
CN108292355A (zh) * 2015-11-04 2018-07-17 三菱电机株式会社 用于确定行人流的方法和系统
CN105825188A (zh) * 2016-03-18 2016-08-03 中兴智能视觉大数据技术(湖北)有限公司 一种智能动态人脸识别人证核实系统
CN106446926A (zh) * 2016-07-12 2017-02-22 重庆大学 一种基于视频分析的变电站工人安全帽佩戴检测方法
CN106971193A (zh) * 2016-11-23 2017-07-21 南京理工大学 基于结构型Haar和Adaboost的目标检测方法
CN107463957A (zh) * 2017-08-04 2017-12-12 河海大学 一种有效的遥感图像目标识别方法
CN107463957B (zh) * 2017-08-04 2020-04-03 河海大学 一种有效的遥感图像目标识别方法
CN107679492A (zh) * 2017-09-29 2018-02-09 重庆市智权之路科技有限公司 通过使用特征抓取功能进行行为判别分析方法
CN109918971A (zh) * 2017-12-12 2019-06-21 深圳光启合众科技有限公司 监控视频中人数检测方法及装置
WO2019114145A1 (zh) * 2017-12-12 2019-06-20 深圳光启合众科技有限公司 监控视频中人数检测方法及装置
CN109918971B (zh) * 2017-12-12 2024-01-05 深圳光启合众科技有限公司 监控视频中人数检测方法及装置
CN108710836A (zh) * 2018-05-04 2018-10-26 南京邮电大学 一种基于级联特征提取的唇部检测及读取方法
CN108710836B (zh) * 2018-05-04 2020-10-09 南京邮电大学 一种基于级联特征提取的唇部检测及读取方法
CN109048934A (zh) * 2018-08-20 2018-12-21 深圳威琳懋生物科技有限公司 一种智能导购机器人系统
CN109431523A (zh) * 2018-10-19 2019-03-08 昆山杜克大学 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN113283430A (zh) * 2021-07-23 2021-08-20 深圳市赛菲姆科技有限公司 目标检测的方法、装置、电子设备及计算机可读存储介质
CN113283430B (zh) * 2021-07-23 2022-12-27 深圳市赛菲姆科技有限公司 目标检测的方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN104298969B (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
CN104298969A (zh) 基于颜色与haar特征融合的人群规模统计方法
CN108288033B (zh) 一种基于随机蕨融合多特征的安全帽检测方法
CN109190444B (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN104778453B (zh) 一种基于红外行人亮度统计特征的夜间行人检测方法
CN102073841B (zh) 一种不良视频检测方法及装置
CN105160691A (zh) 基于颜色直方图的车身颜色识别方法
CN103390164A (zh) 基于深度图像的对象检测方法及其实现装置
CN106250845A (zh) 基于卷积神经网络的火焰检测方法及装置
CN102214291A (zh) 一种快速准确的基于视频序列的人脸检测跟踪方法
CN109325404A (zh) 一种公交场景下的人数统计方法
CN103425967A (zh) 一种基于行人检测和跟踪的人流监控方法
CN108280397A (zh) 基于深度卷积神经网络的人体图像头发检测方法
CN104715244A (zh) 一种基于肤色分割和机器学习的多视角人脸检测方法
CN102855500A (zh) 一种基于Haar和HoG特征的前车检测方法
CN103390151B (zh) 人脸检测方法及装置
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN102214309A (zh) 一种基于头肩模型的特定人体识别方法
CN104143077B (zh) 基于图像的行人目标检索方法和系统
CN108549901A (zh) 一种基于深度学习的快速迭代目标检测方法
CN105184301B (zh) 一种利用四轴飞行器判别车辆方位的方法
CN105005773A (zh) 一种融合时域信息和空域信息的行人检测方法
Khan et al. Deep-learning based vehicle count and free parking slot detection system
CN103489012A (zh) 一种基于支持向量机的人群密集度检测方法及系统
CN105184299A (zh) 基于局部约束线性编码的车身颜色识别方法
CN103680145A (zh) 一种基于局部图像特征的人车自动识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant