CN109918971B - 监控视频中人数检测方法及装置 - Google Patents
监控视频中人数检测方法及装置 Download PDFInfo
- Publication number
- CN109918971B CN109918971B CN201711327492.5A CN201711327492A CN109918971B CN 109918971 B CN109918971 B CN 109918971B CN 201711327492 A CN201711327492 A CN 201711327492A CN 109918971 B CN109918971 B CN 109918971B
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- histogram equalization
- identifying
- equalized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims 2
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000011160 research Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明公开了一种监控视频中人数检测方法及装置。其中，该方法包括：对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像；通过级联分类器，识别均衡化图像中的人体，其中，级联分类器用于根据直方图均衡化后的均衡化图像的人体特征识别出人体；对识别出的人体进行统计。本发明解决了由于现有技术无法在远距离监控下实现人群异常状态的检测造成的公共场所安全无法保障的技术问题。
Description
技术领域
本发明涉及视频检测领域，具体而言，涉及一种监控视频中人数检测方法及装置。
背景技术
人们对于公共场所的安全要求日益提升。现阶段得到广泛应用的视频监控系统虽然提供了大量的视频信息，但是对于突发事件和情况不具有预报警能力，必须人为地参与到监视工作中去。随着机器视觉技术和图像处理技术的不断进步，需要大量人力的传统视频监控系统已然不能满足社会发展的需要，高度自动化、智能化的新一代视频监控系统必将逐步取代传统视频监控系统在安防领域中的地位，在保证系统性能的同时，解放人力，进而降低成本。
基于视频的人群异常状态检测是指在大规模人群的公共场所，对群体性事件进行行为状态智能分析，判断其是否存在人群踩踏、打架斗殴、骚乱等异常事件的检测方法。目前，国内外对于智能监控系统的研究均处于初级开发阶段，能够真正应用在实际生活中的产品很少。经过近些年大量专家学者的研究工作，在视频内容分析理解方面，侧重于人群密度估计或少数个体研究已经取得了一定的科研成果，
而现阶段取得的所述科研成果只适用于街头、室内等近距离的监控设备的条件，这样的环境下检测的目标显示分辨率高、区域较大，识别难度相对较低，但是在远距离检测的条件下，这样的条件所拍摄的场景面积大，目标人物相对就显得非常小、并且十分模糊，检测难度更大，所以上述科研成果并不适用。
针对上述的远距离监控下人群异常状态的检测困难的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种监控视频中人数检测方法及装置，以至少解决由于现有技术无法在远距离监控下实现人群异常状态的检测造成的公共场所安全无法保障的技术问题。
根据本发明实施例的一个方面，提供了一种监控视频中人数检测的方法，包括：对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像；通过级联分类器，识别所述均衡化图像中的人体，其中，所述级联分类器用于根据直方图均衡化后的所述均衡化图像的人体特征识别出人体；对识别出的人体进行统计。
可选的，所述级联分类器至少由两个弱分类器叠加而成，其中，所述级联分类器通过叠加的所述至少两个弱分类器根据所述直方图均衡化后的均衡化图像的人体特征识别出人体。
可选的，在采集的所述监控视频为彩色的情况下，在对采集到的所述监控视频中的每一帧图像进行直方图均衡化之前，所述方法还包括：将彩色的所述监控视频中的每一帧图像进行灰度化；对采集到的所述监控视频中的每一帧图像进行直方图均衡化包括：对进行灰度化后的每一帧图像进行直方图均衡化。
可选的，在通过所述级联分类器，识别所述均衡化图像中的人体之前，所述方法还包括：利用拉普拉斯算子提取所述每一帧图像中的高频成分，并对所述高频成分赋于权值，得到增强后的高频成分；将增强后的高频成分叠加于直方图均衡化后的图像中，得到增强后的均衡化图像；通过所述级联分类器，识别所述均衡化图像中的人体包括：通过所述级联分类器，识别所述增强后的均衡化图像中的人体。
可选的，在通过所述级联分类器，识别所述均衡化图像中的人体之前，所述方法还包括：利用Canny算子对所述直方图均衡化后的均衡化图像进行边缘检测，获得所述直方图均衡化后的均衡化图像中所包括的轮廓；确定所述直方图均衡化后的均衡化图像中所包括的轮廓的面积；将面积大于预定阈值的非目标轮廓使用漫水进行填充，获得包括了所述非目标轮廓的均衡化图像，其中，所述非目标轮廓为识别人体的非目标区域；通过所述级联分类器，识别所述均衡化后的图像中的人体包括：通过所述级联分类器，识别包括了所述非目标轮廓的均衡化图像中的人体。
可选的，在通过所述级联分类器，识别所述均衡化图像中的人体之前，所述方法还包括：通过对多组数据进行训练得到所述级联分类器，其中，所述多组数据中的每组数据均包括：样本图像，和用于标识所述样本图像是否包括人体的人体识别结果。
可选的，所述弱分类器在基于Haar-like矩形特征下的识别函数为：
其中，ghaar(x)用于标识基于人体特征x确定均衡化图像是否包括人体的识别结果，fj(x)是特征值；θj是所述弱分类器的阈值；j用于标识第j个弱分类器；α和β是分类结果的置信度，取值范围为[-1,+1]，为负则不是人体，为正则是人体。
根据本发明实施例的另一方面，还提供了一种监控视频中人数检测的装置，包括：第一得到模块，用于对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像；识别模块，用于通过级联分类器，识别所述均衡化图像中的人体，其中，所述级联分类器用于根据直方图均衡化后的所述均衡化图像的人体特征识别出人体；统计模块，用于对识别出的人体进行统计。
可选的，所述级联分类器至少由两个弱分类器叠加而成，其中，所述级联分类器通过叠加的所述至少两个弱分类器根据所述直方图均衡化后的均衡化图像的人体特征识别出人体。
可选的，所述装置还包括：灰度化模块，用于在采集的所述监控视频为彩色的情况下，在对采集到的所述监控视频中的每一帧图像进行直方图均衡化之前，将彩色的所述监控视频中的每一帧图像进行灰度化；得到模块，用于对进行灰度化后的每一帧图像进行直方图均衡化。
可选的，所述装置还包括：第二得到模块，用于在通过所述级联分类器，识别所述均衡化图像中的人体之前，利用拉普拉斯算子提取所述每一帧图像中的高频成分，并对所述高频成分赋于权值，得到增强后的高频成分；将增强后的高频成分叠加于直方图均衡化后的图像中，得到增强后的均衡化图像；识别模块，用于通过所述级联分类器，识别所述增强后的均衡化图像中的人体。
可选的，所述装置还包括：获得模块，用于在通过所述级联分类器，识别所述均衡化图像中的人体之前，利用Canny算子对所述直方图均衡化后的均衡化图像进行边缘检测，获得所述直方图均衡化后的均衡化图像中所包括的轮廓；确定所述直方图均衡化后的均衡化图像中所包括的轮廓的面积；将面积大于预定阈值的非目标轮廓使用漫水进行填充，获得包括了所述非目标轮廓的均衡化图像，其中，所述非目标轮廓为识别人体的非目标区域；识别模块，用于通过所述级联分类器，识别包括了所述非目标轮廓的均衡化图像中的人体。
可选的，所述装置还包括：第三得到模块，用于在通过所述级联分类器，识别所述均衡化图像中的人体之前，通过对多组数据进行训练得到所述级联分类器，其中，所述多组数据中的每组数据均包括：样本图像，和用于标识所述样本图像是否包括人体的人体识别结果。
可选的，所述弱分类器在基于Haar-l ike矩形特征下的识别函数为：
其中，ghaar(x)用于标识基于人体特征x确定均衡化图像是否包括人体的识别结果，fj(x)是特征值；θj是所述弱分类器的阈值；j用于标识第j个弱分类器；α和β是分类结果的置信度，取值范围为[-1,+1]，为负则不是人体，为正则是人体。
根据本发明实施例的另一方面，还提供了一种机器人，所述机器人包含上述任意一项所述的监控视频中人数检测装置。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的监控视频中人数检测方法。
根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的监控视频中人数检测方法。
在本发明实施例中，采用采集拍摄的监控视频，对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像，并通过级联分类器识别该均衡化图像中的人体，再对从监控视频中的每一帧图像中识别出的人体进行统计的方式，通过设计出滤波和增强的算法，及通过测试几种常用的分类器算法，得出检测效果最好的Haar分类器，并不断优化，达到在远距离监控中检测人像的目的，实现了远距离监控中较为准确地检测和统计人数的技术效果，进而解决了由于现有技术无法在远距离监控下实现人群异常状态的检测造成的公共场所安全无法保障的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的监控视频中人数检测的方法的流程图；
图2是根据本发明实施例的拉普拉斯算子3*3的区域的示意图；
图3是根据本发明实施例的Haar特征模板的示意图；
图4是根据本发明实施例的监控视频中人数检测装置的结构框图；
图5是根据本发明实施例的监控视频中人数检测装置的优化结构框图一；
图6是根据本发明实施例的监控视频中人数检测装置的优化结构框图二；
图7是根据本发明实施例的监控视频中人数检测装置的优化结构框图三；
图8是根据本发明实施例的监控视频中人数检测装置的优化结构框图四；
图9是根据本发明实施例的监控视频中人数检测的优化方法的流程图；
图10是根据本发明实施例的基于级联分类器的人数检测流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种监控视频中人数检测的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的监控视频中人数检测的方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像；
步骤S104，通过级联分类器，识别均衡化图像中的人体，其中，级联分类器用于根据直方图均衡化后的均衡化图像的人体特征识别出人体；
步骤S106，对识别出的人体进行统计。
在本发明实施例中，采用采集拍摄的监控视频对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像，并通过级联分类器识别该均衡化图像中的人体，再对从监控视频中的每一帧图像中识别出的人体进行统计的方式，通过设计出增强的图像直方图均衡化算法，及人像检测效果最好的级联分类器，并进行人数统计，达到在远距离监控中检测人像的目的，实现了远距离监控中较为准确地检测和统计人数的技术效果，进而解决了由于现有技术无法在远距离监控下实现人群异常状态的检测造成的公共场所安全无法保障的技术问题。
其中，级联分类器可以至少由两个弱分类器叠加而成，其中，级联分类器通过叠加的至少两个弱分类器根据直方图均衡化后的均衡化图像的人体特征识别出人体。
优选的，在采集的监控视频为彩色的情况下，在对采集到的监控视频中的每一帧图像进行直方图均衡化之前，方法还可以包括：将彩色的监控视频中的每一帧图像进行灰度化；对采集到的监控视频中的每一帧图像进行直方图均衡化包括：对进行灰度化后的每一帧图像进行直方图均衡化。
灰度化，在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值为灰度值，因此，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255。图像灰度化是由于级联分类器所要求的，将彩色的原图灰度化后作为输入。例如，可通过调用OpenCV的cvCvtColor函数实现。
其中，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
需要说明的是，由于拍摄的距离较远，图像中的人体相对较小，并且模糊，因此需要在检测之前对图像进行增强。直方图均衡化是为了增强图像对比度，改善图像的质量，有助于检测效果。例如，本发明实施例使用了改进的直方图均衡化方法：通过级联分类器，识别均衡化图像中的人体之前，利用拉普拉斯算子提取每一帧图像中的高频成分，并对高频成分赋于权值，得到增强后的高频成分；将增强后的高频成分叠加于直方图均衡化后的图像中，得到增强后的均衡化图像。同时，通过级联分类器，识别均衡化图像中的人体包括：通过级联分类器，识别增强后的均衡化图像中的人体。
直方图均衡化处理的“中心思想”是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。直方图均衡化就是把给定图像的直方图分布改变成“均匀”分布直方图分布。但是存在两个缺点：
1)变换后图像的灰度级减少，某些细节消失；
2)某些图像，如直方图有高峰，经处理后对比度不自然的过分增强。
考虑到图像中人体往往处于低灰度值部分的细节，为了改进直方图均衡化带来的缺点，增强细节部分的表现，将直方图均衡化引入边缘的信息改进该算法。拉普拉斯算法在能实现较快的边缘检测，并且对高频的边缘检测效果较好，拉普拉斯算子是一个二阶微分算子，在离散的情况下，表示如下：
其中
可以用多种方式将其表示为数字形式。对于一个3*3的区域，经验上被推荐最多的形式是：
图2是根据本发明实施例的拉普拉斯算子3*3的区域的示意图，其中3*3的区域如所示。
综上介绍，改进的直方图均衡化步骤如下：
(1)利用拉普拉斯算子提取原图像的高频成分并赋予相应权值λ(本实施例中选取λ＝3，得到了增强后的图像高频成分λ|f(x,y)|；
(2)使用传统的直方图均衡化获得另一幅图像；
(3)将(1)、(2)两步得到的图像进行相加，并将得到的结果超出255的像素值取255，得到最终增强后的图像。
改进后的直方图均衡化方法极大地增强了图像细节部分，有助于之后的检测。
需要说明的是，由于在图像中的人显得较小，于是本发明实施例可以通过轮廓的查找，将面积较大的轮廓区域填充，即可排除非目标区域，提高检测准确率。在通过级联分类器，识别均衡化图像中的人体之前，利用Canny算子对直方图均衡化后的均衡化图像进行边缘检测，获得直方图均衡化后的均衡化图像中所包括的轮廓；确定直方图均衡化后的均衡化图像中所包括的轮廓的面积；将面积大于预定阈值的非目标轮廓使用漫水进行填充，获得包括了非目标轮廓的均衡化图像，其中，非目标轮廓为识别人体的非目标区域。同时，通过级联分类器，识别均衡化后的图像中的人体包括：通过级联分类器，识别包括了非目标轮廓的均衡化图像中的人体。
可以采用如下具体流程实现：
(1)使用Canny算子进行边缘检测；
(2)调用OpenCV库的findContours()，在二值图像中找到轮廓；
(3)调用OpenCV库的drawContours()将每一个轮廓绘制出来，并使用contourArea()计算每个轮廓面积，将面积大于阈值的轮廓使用漫水填充填充方法进行填充，即调用OpenCV中的cvFloodFill。
至此，可将图中大部分非目标区域去掉。
优选的，在通过级联分类器，识别均衡化图像中的人体之前，方法还包括：通过对多组数据进行训练得到级联分类器，其中，多组数据中的每组数据均包括：样本图像，和用于标识样本图像是否包括人体的人体识别结果。需要说明的是，在对训练级联分类器的样本图像进行选择时，可以选择一些具体代表性的场景的图像，这样可以使得训练出的级联分类器对图像中的人体进行识别时，得到的识别结果更为准确。
需要说明的是，级联分类器的获取过程其核心是通过迭代的方法从大量的Haar-like特征中找到很小很关键的一部分特征，并用该特征产生有效的分类器，利用大量的分类能力一般的弱分类器通过一定的方法叠加起来构成一个分类能力很强的分类器，再将这些分类器进行级联得到最后的强分类器。
其中，Haar-like矩形特征是用于物体检测的数字图像特征。图3是根据本发明实施例的Haar特征模板的示意图，如图3所示，这类矩形特征模板由两个或多个全等的黑白矩形相邻组合而成，而矩形特征值是白色矩形的灰度值的和减去黑色矩形的灰度值的和，矩形特征对一些简单的图形结构，如线段、边缘比较敏感。如果把这样的矩形放在一个非人脸区域，那么计算出的特征值应该和人脸特征值不一样，所以这些矩形就是为了把人脸特征量化，以区分人脸和非人脸。
之所以选择基于特征的方法而没有选择基于像素的方法是因为,在给定的有限的数据样本情况下,基于特征的检测不但能够编码特定区域的状态,而且通过基于特征设计的系统远比基于像素的系统快。
优选的，弱分类器在基于Haar-like矩形特征下的识别函数可以为：
其中，ghaar(x)用于标识基于人体特征x确定均衡化图像是否包括人体的识别结果，fj(x)是特征值；θj是弱分类器的阈值；j用于标识第j个弱分类器；α和β是分类结果的置信度，取值范围为[-1,+1]，为负则不是人体，为正则是人体。
需要说明的是，对于Haar-like弱分类器，一个弱分类器对应一个Haar-like矩形特征。Haar-like特征的弱分类器形式如上描述所示。通过OpenCV训练好的分类器中含有一系列特征阈值。判断截取图像是否通过分类器，需要计算图像在所有Haar-like特征模板下的Haar-like特征值，并对比分类器中相应特征模板的阈值。
根据本发明实施例的另一方面，还提供了一种监控视频中人数检测的装置，图4是根据本发明实施例的监控视频中人数检测装置的结构框图，如图4所示，该监控视频中人数检测装置包括：第一得到模块44、识别模块46、统计模块48。下面对该监控视频中人数检测装置进行详细说明。
第一得到模块44，用于对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像；
识别模块46，与上述第一得到模块44相连，用于通过级联分类器，识别均衡化图像中的人体，其中，级联分类器用于根据直方图均衡化后的均衡化图像的人体特征识别出人体；
统计模块48，与上述识别模块46相连，用于对识别出的人体进行统计。
图5是根据本发明实施例的监控视频中人数检测装置的优化结构框图一，如图5所示，该监控视频中人数检测装置除含图4中所有结构外，还包括：灰度化模块52。下面对该灰度化模块52进行详细说明。
灰度化模块52，与第一得到模块44相连，用于在采集的监控视频为彩色的情况下，在对采集到的监控视频中的每一帧图像进行直方图均衡化之前，将彩色的监控视频中的每一帧图像进行灰度化。
图6是根据本发明实施例的监控视频中人数检测装置的优化结构框图二，如图6所示，该监控视频中人数检测装置除含图4中所有结构外，还包括：第二得到模块62。下面对该第二得到模块62进行详细说明。
第二得到模块62，与上述第一得到模块44和识别模块46相连，用于在通过级联分类器，识别均衡化图像中的人体之前，利用拉普拉斯算子提取每一帧图像中的高频成分，并对高频成分赋于权值，得到增强后的高频成分；将增强后的高频成分叠加于直方图均衡化后的图像中，得到增强后的均衡化图像。
图7是根据本发明实施例的监控视频中人数检测装置的优化结构框图三，如图7所示，该监控视频中人数检测装置除含图4中所有结构外，还包括：获得模块72。下面对该获得模块72进行详细说明。
获得模块72，与上述第一得到模块44和识别模块46相连，用于在通过级联分类器，识别均衡化图像中的人体之前，利用Canny算子对直方图均衡化后的均衡化图像进行边缘检测，获得直方图均衡化后的均衡化图像中所包括的轮廓；确定直方图均衡化后的均衡化图像中所包括的轮廓的面积；将面积大于预定阈值的非目标轮廓使用漫水进行填充，获得包括了非目标轮廓的均衡化图像，其中，非目标轮廓为识别人体的非目标区域。
图8是根据本发明实施例的监控视频中人数检测装置的优化结构框图四，如图8所示，该监控视频中人数检测装置除含图4中所有结构外，还包括：第三得到模块82。下面对该第三得到模块82进行详细说明。
第三得到模块82，与上述识别模块46相连，用于在通过级联分类器，识别均衡化图像中的人体之前，通过对多组数据进行训练得到级联分类器，其中，多组数据中的每组数据均包括：样本图像，和用于标识样本图像是否包括人体的人体识别结果。
图9是根据本发明实施例的监控视频中人数检测的优化方法的流程图，如图9所示，该方法包括如下步骤：
步骤S902，级联分类器训练；
其中，利用OpenCV训练基于Haar-l ike特征的级联分类器，需要提供所要识别特征的相应正例样本图片和反例样本图片。正例样本为人的全身像的样本图片；反例样本为背景图片，要求不能有人，长宽比例是1:2。利用OpenCV提供的相应的程序训练出级联分类器，进行提取特征和训练分类器，训练出的分类器模型就可以对这些事物进行识别。
步骤S904，行人检测与人数统计。
其中，该步骤的具体流程为：
(1)输入的待检测数据是实时的视频，对输入视频的每一帧图像进行灰度化处理；
(2)采取改进直方图均衡化方法对图像增强；
(3)使用漫水填充方法填充轮廓较大的区域；
(4)然后对预处理的图像进行特征提取，调用OpenCV中CascadeClass ifier类的相关方法，提取Haar-l ike特征；
(5)载入训练好的Haar特征分类器，对输入的每一帧图像进行检测，对检测到的行人用黄色的矩形框标注；
(6)筛选分类器的检测结果，并进行人数计数，在原图标注出行人位置，最后显示人数的数量。
其中，在目标筛选过程中，由于目标区域较小，所以分类器检测出来的结果可能看有较大的区域，于是通过遍历分类器的检测结果(矩形框)，将目标矩形框高度大于阈值的剔除，进而提高检测准确率。
相对于相关技术中，采用实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样本，以及速度采样图样本；对于得到的速度采样图样本进行时空矫正；基于原始采样图和速度采样图，离线训练得到深度学习模型，深度学习模型包括分类模型和统计模型；利用得到的深度学习模型对于实时视频流进行人群状态分析。本发明实施例对于不同环境、光照强度、天气情况以及摄像头角度均具有良好的适应性；对于大流量人群涌出等人群拥挤环境，可以保证较高的准确率；计算量小，可以满足实时视频处理的要求，能够广泛地应用于对于公交、地铁和广场等滞留人群密集的公共场所的监控和管理。
在相关技术中，针对人群的密度估计以及运动分析做了一定的研究，在人群密度估计方面，对于低密度人群，采用像素统计的方法估计人群密度，对于高密度的人群，利用小波包分解对人群图像进行多尺度分析，最后利用支持向量机SVM(Support VectorMachine)对人群密度等级进行分类；在人群的运动分析上，使用基于以平均绝对误差为匹配准则的全搜索算法的块匹配方法对人群运动速度进行估计。
在另一些相关技术中，通过分析人群图像的频谱图，发现不同人群密度的图像所对应的频谱图像具有明显的不同，并依此将人群的频谱图视为纹理图像，对人群的频谱图采用纹理分析的方法提取纹理特征进行分析，最后利用Adaboost分类器实现人群密度级别的分类。
当前在人群密度估计及运动分析方面的研究重点，是解决当行人数量比较大时，人群中存在大量的遮挡，难以准确地对人群中的单个行人进行准确的检测、分割和跟踪的问题，如何在不进行单个目标的检测、跟踪的前提下，利用前景图像整体的特征，通过有效的统计学习方法建立合理的判决规则，直接估计行人的数量，且判定目标的运动状态，并检测异常事件的发生。
但在上述相关技术中的解决方案只适用于街头、室内等近距离的监控设备的条件，这样的环境下检测的目标显示分辨率高、区域较大，识别难度相对较低，但是在远距离检测的条件下并不适用，这样的条件所拍摄的场景面积大，目标人物相对就显得非常小、并且十分模糊，检测难度更大，以上的方法就不适用了。
而通过上述实施例及优选实施方式，采用采集拍摄的监控视频，对采集的监控视频中的每一帧图像直方图均衡化，得到直方图均衡化后的图像，并通过级联分类器识别直方图均衡化后的图像中的人体，再对从监控视频中的每一帧图像中识别出的人体进行统计的方式，通过设计出滤波和增强的算法，及通过测试几种常用的分类器算法，得出检测效果最好的Haar分类器，并不断优化，达到在远距离监控中检测人像的目的，实现了远距离监控中较为准确地检测和统计人数的技术效果，进而解决了由于现有技术无法在远距离监控下实现人群异常状态的检测造成的公共场所安全无法保障的技术问题。
此发明实施例解决的问题是云端号在运行过程中，云端号的监控摄像头会重点监控地面上一些重要场所，通过人数的统计，来判定场所的安全状况，起到人流密集的警示作用，并充分保证预警的实效性和准确性。
本发明实施例可应用于统计人群数量的系统，能在远距离监控的环境下(比如云端号、无人机等设备对地监控)，实现行人的检测，统计行人的数量，当人数较多时可作出某些的预警。
图10是根据本发明实施例的基于级联分类器的人数检测流程示意图，如图所示，实现图像的人数检测，需要使用检测人体特征的特征分类器，通过分类器可将识别图像中含有人体特征的部分检测出来，当检测到一个含有人的特征时，人数计数器自动加1。本发明实施例是使用级联分类器进行人体检测的，相应的程序是基于OpenCV库中关于预处理和级联分类器的接口函数设计的。
根据本发明实施例的另一方面，还提供了一种机器人，该机器人包含上述任意一项的监控视频中人数检测装置。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的监控视频中人数检测方法。
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述任意一项的监控视频中人数检测方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (13)
1.一种监控视频中人数检测方法，其特征在于，包括：
对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像；
通过级联分类器，识别所述均衡化图像中的人体，其中，所述级联分类器用于根据直方图均衡化后的所述均衡化图像的人体特征识别出人体；
对识别出的人体进行统计；
其中，所述级联分类器至少由两个弱分类器叠加而成，其中，所述级联分类器通过叠加的所述至少两个弱分类器根据所述直方图均衡化后的均衡化图像的人体特征识别出人体；
其中，在通过所述级联分类器，识别所述均衡化图像中的人体之前，所述方法还包括：利用拉普拉斯算子提取所述每一帧图像中的高频成分，并对所述高频成分赋于权值，得到增强后的高频成分；将增强后的高频成分叠加于直方图均衡化后的图像中，得到增强后的均衡化图像；
通过所述级联分类器，识别所述均衡化图像中的人体包括：通过所述级联分类器，识别所述增强后的均衡化图像中的人体。
2.根据权利要求1所述的方法，其特征在于，
在采集的所述监控视频为彩色的情况下，在对采集到的所述监控视频中的每一帧图像进行直方图均衡化之前，所述方法还包括：将彩色的所述监控视频中的每一帧图像进行灰度化；
对采集到的所述监控视频中的每一帧图像进行直方图均衡化包括：对进行灰度化后的每一帧图像进行直方图均衡化。
3.根据权利要求1所述的方法，其特征在于，
在通过所述级联分类器，识别所述均衡化图像中的人体之前，所述方法还包括：利用Canny算子对所述直方图均衡化后的均衡化图像进行边缘检测，获得所述直方图均衡化后的均衡化图像中所包括的轮廓；确定所述直方图均衡化后的均衡化图像中所包括的轮廓的面积；将面积大于预定阈值的非目标轮廓使用漫水进行填充，获得包括了所述非目标轮廓的均衡化图像，其中，所述非目标轮廓为识别人体的非目标区域；
通过所述级联分类器，识别所述均衡化后的图像中的人体包括：通过所述级联分类器，识别包括了所述非目标轮廓的均衡化图像中的人体。
4.根据权利要求1所述的方法，其特征在于，在通过所述级联分类器，识别所述均衡化图像中的人体之前，所述方法还包括：
通过对多组数据进行训练得到所述级联分类器，其中，所述多组数据中的每组数据均包括：样本图像，和用于标识所述样本图像是否包括人体的人体识别结果。
5.根据权利要求1至4中任一项所述的方法，其特征在于，弱分类器在基于Haar-like矩形特征下的识别函数为：
其中，ghaar(x)用于标识基于人体特征x确定均衡化图像是否包括人体的识别结果，fj(x)是特征值；θj是所述弱分类器的阈值；j用于标识第j个弱分类器；
α和β是分类结果的置信度，取值范围为[-1,+1]，为负则不是人体，为正则是人体。
6.一种监控视频中人数检测装置，其特征在于，包括：
第一得到模块，用于对采集到的监控视频中的每一帧图像进行直方图均衡化，得到直方图均衡化后的均衡化图像；
识别模块，用于通过级联分类器，识别所述均衡化图像中的人体，其中，所述级联分类器用于根据直方图均衡化后的所述均衡化图像的人体特征识别出人体；
统计模块，用于对识别出的人体进行统计；
其中，所述级联分类器至少由两个弱分类器叠加而成，其中，所述级联分类器通过叠加的所述至少两个弱分类器根据所述直方图均衡化后的均衡化图像的人体特征识别出人体；
其中，所述装置还包括：第二得到模块，用于在通过所述级联分类器，识别所述均衡化图像中的人体之前，利用拉普拉斯算子提取所述每一帧图像中的高频成分，并对所述高频成分赋于权值，得到增强后的高频成分；将增强后的高频成分叠加于直方图均衡化后的图像中，得到增强后的均衡化图像；
识别模块，用于通过所述级联分类器，识别所述增强后的均衡化图像中的人体。
7.根据权利要求6所述的装置，其特征在于，
所述装置还包括：灰度化模块，用于在采集的所述监控视频为彩色的情况下，在对采集到的所述监控视频中的每一帧图像进行直方图均衡化之前，将彩色的所述监控视频中的每一帧图像进行灰度化；
得到模块，用于对进行灰度化后的每一帧图像进行直方图均衡化。
8.根据权利要求6所述的装置，其特征在于，
所述装置还包括：获得模块，用于在通过所述级联分类器，识别所述均衡化图像中的人体之前，利用Canny算子对所述直方图均衡化后的均衡化图像进行边缘检测，获得所述直方图均衡化后的均衡化图像中所包括的轮廓；确定所述直方图均衡化后的均衡化图像中所包括的轮廓的面积；将面积大于预定阈值的非目标轮廓使用漫水进行填充，获得包括了所述非目标轮廓的均衡化图像，其中，所述非目标轮廓为识别人体的非目标区域；
识别模块，用于通过所述级联分类器，识别包括了所述非目标轮廓的均衡化图像中的人体。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第三得到模块，用于在通过所述级联分类器，识别所述均衡化图像中的人体之前，通过对多组数据进行训练得到所述级联分类器，其中，所述多组数据中的每组数据均包括：样本图像，和用于标识所述样本图像是否包括人体的人体识别结果。
10.根据权利要求6至9中任一项所述的装置，其特征在于，弱分类器在基于Haar-like矩形特征下的识别函数为：
其中，ghaar(x)用于标识基于人体特征x确定均衡化图像是否包括人体的识别结果，fj(x)是特征值；θj是所述弱分类器的阈值；j用于标识第j个弱分类器；
α和β是分类结果的置信度，取值范围为[-1,+1]，为负则不是人体，为正则是人体。
11.一种机器人，其特征在于，所述机器人包含权利要求6至9中任意一项所述的监控视频中人数检测装置。
12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的监控视频中人数检测方法。
13.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的监控视频中人数检测方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711327492.5A CN109918971B (zh) | 2017-12-12 | 2017-12-12 | 监控视频中人数检测方法及装置 |
| PCT/CN2018/079856 WO2019114145A1 (zh) | 2017-12-12 | 2018-03-21 | 监控视频中人数检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711327492.5A CN109918971B (zh) | 2017-12-12 | 2017-12-12 | 监控视频中人数检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109918971A CN109918971A (zh) | 2019-06-21 |
| CN109918971B true CN109918971B (zh) | 2024-01-05 |
Family
ID=66818939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711327492.5A Active CN109918971B (zh) | 2017-12-12 | 2017-12-12 | 监控视频中人数检测方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109918971B (zh) |
| WO (1) | WO2019114145A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112327893A (zh) * | 2019-08-05 | 2021-02-05 | 旭日蓝天(武汉)科技有限公司 | 一种基于ai技术的无人机飞控前端人数统计系统及方法 |
| CN110717885A (zh) * | 2019-09-02 | 2020-01-21 | 平安科技（深圳）有限公司 | 顾客数量的统计方法及装置、电子设备及可读存储介质 |
| CN110807424B (zh) * | 2019-11-01 | 2024-02-02 | 深圳市科卫泰实业发展有限公司 | 一种基于航拍图像的港口船舶比对方法 |
| CN110852814A (zh) * | 2020-01-14 | 2020-02-28 | 深圳惠通天下信息技术有限公司 | 一种广告投放自助服务系统及方法 |
| CN111474914B (zh) * | 2020-02-24 | 2020-12-01 | 安徽省华腾农业科技有限公司经开区分公司 | 故障代码大数据存储系统 |
| CN111931567A (zh) * | 2020-07-01 | 2020-11-13 | 珠海大横琴科技发展有限公司 | 人体识别的方法及装置、电子设备、存储介质 |
| CN114362988B (zh) * | 2021-09-29 | 2023-06-20 | 中国科学院计算机网络信息中心 | 网络流量的识别方法及装置 |
| CN114399728B (zh) * | 2021-12-17 | 2023-12-05 | 燕山大学 | 一种雾天场景人群计数方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010015140A1 (zh) * | 2008-08-07 | 2010-02-11 | 中兴通讯股份有限公司 | 一种视频增强的方法及其装置 |
| CN104298969A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 基于颜色与haar特征融合的人群规模统计方法 |
| CN104463191A (zh) * | 2014-10-30 | 2015-03-25 | 华南理工大学 | 一种基于注意机制的机器人视觉处理方法 |
| CN105893946A (zh) * | 2016-03-29 | 2016-08-24 | 中国科学院上海高等研究院 | 一种正面人脸图像的检测方法 |
| CN106326839A (zh) * | 2016-08-11 | 2017-01-11 | 中防通用河北电信技术有限公司 | 一种基于出操视频流的人数统计方法 |
| CN106446872A (zh) * | 2016-11-07 | 2017-02-22 | 湖南源信光电科技有限公司 | 一种低照度下的视频人脸检测识别方法 |
| CN106778683A (zh) * | 2017-01-12 | 2017-05-31 | 西安电子科技大学 | 基于改进lbp特征的快速多角度人脸检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9053537B2 (en) * | 2011-09-21 | 2015-06-09 | Tandent Vision Science, Inc. | Classifier for use in generating a diffuse image |
| KR101659657B1 (ko) * | 2014-09-29 | 2016-09-23 | 동명대학교산학협력단 | 개선된 리얼 아다부스트 알고리즘에 근거한 새로운 멀티 뷰 얼굴감지방식 |
-
2017
- 2017-12-12 CN CN201711327492.5A patent/CN109918971B/zh active Active
-
2018
- 2018-03-21 WO PCT/CN2018/079856 patent/WO2019114145A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010015140A1 (zh) * | 2008-08-07 | 2010-02-11 | 中兴通讯股份有限公司 | 一种视频增强的方法及其装置 |
| CN104298969A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 基于颜色与haar特征融合的人群规模统计方法 |
| CN104463191A (zh) * | 2014-10-30 | 2015-03-25 | 华南理工大学 | 一种基于注意机制的机器人视觉处理方法 |
| CN105893946A (zh) * | 2016-03-29 | 2016-08-24 | 中国科学院上海高等研究院 | 一种正面人脸图像的检测方法 |
| CN106326839A (zh) * | 2016-08-11 | 2017-01-11 | 中防通用河北电信技术有限公司 | 一种基于出操视频流的人数统计方法 |
| CN106446872A (zh) * | 2016-11-07 | 2017-02-22 | 湖南源信光电科技有限公司 | 一种低照度下的视频人脸检测识别方法 |
| CN106778683A (zh) * | 2017-01-12 | 2017-05-31 | 西安电子科技大学 | 基于改进lbp特征的快速多角度人脸检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于眼动特征的机动车驾驶疲劳系统;傅亚煌等;《电脑与信息技术》;20130228(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019114145A1 (zh) | 2019-06-20 |
| CN109918971A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN106203274B (zh) | 一种视频监控中行人实时检测系统及方法 | |
| US9158985B2 (en) | Method and apparatus for processing image of scene of interest | |
| US20230289979A1 (en) | A method for video moving object detection based on relative statistical characteristics of image pixels | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN110298297B (zh) | 火焰识别方法和装置 | |
| CN107729812B (zh) | 一种适用于监控场景中的车辆颜色识别的方法 | |
| CN106886778B (zh) | 一种监控场景下车牌字符分割与识别方法 | |
| CN107491762A (zh) | 一种行人检测方法 | |
| CN110717896A (zh) | 基于显著性标签信息传播模型的板带钢表面缺陷检测方法 | |
| Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN109359577B (zh) | 一种基于机器学习的复杂背景下人数检测系统 | |
| CN110706235A (zh) | 一种基于双级级联分割的远红外行人检测方法 | |
| CN105096342A (zh) | 一种基于傅里叶描述子和方向梯度直方图的入侵检测算法 | |
| CN113177467A (zh) | 火焰识别方法及系统、装置、介质 | |
| CN106909883A (zh) | 一种基于ros的模块化手部区域检测方法和装置 | |
| CN104899559B (zh) | 一种基于视频监控的快速行人检测方法 | |
| Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
| Wali et al. | Shape matching and color segmentation based traffic sign detection system | |
| Patel et al. | Top-down and bottom-up cues based moving object detection for varied background video sequences | |
| Kumar et al. | Intelligent parking vehicle identification and classification system | |
| CN115147450B (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 | |
| CN108875572B (zh) | 基于背景抑制的行人重识别方法 | |
| CN107341456B (zh) | 一种基于单幅户外彩色图像的天气晴阴分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |