CN107403137A - 基于视频的密集人群流量计算方法和装置 - Google Patents
基于视频的密集人群流量计算方法和装置 Download PDFInfo
- Publication number
- CN107403137A CN107403137A CN201710514797.0A CN201710514797A CN107403137A CN 107403137 A CN107403137 A CN 107403137A CN 201710514797 A CN201710514797 A CN 201710514797A CN 107403137 A CN107403137 A CN 107403137A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- video
- pedestrian target
- represented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000004907 flux Effects 0.000 title claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 abstract description 11
- 238000000205 computational method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000010086 Hypertelorism Diseases 0.000 description 1
- 206010020771 Hypertelorism of orbit Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视频的密集人群流量计算方法,包括以下步骤:步骤1:获取运动行人目标的视频序列;步骤2:通过帧差分对视频帧进行处理,提取运动行人目标;步骤3:对提取的行人目标进行形态学处理;步骤4:获取行人目标运动轨迹,基于运动轨迹对行人目标进行计数;采用本发明的计算方法,能够实现密集人群的实时准确计数,并且能够适应多种情况下的人群检测与人流量计数。
Description
技术领域
本发明涉及一种图像处理领域,尤其涉及一种基于视频的密集人群流量计算方法。
背景技术
早在二十世纪七十年代,视频监控系统就已开始出现,发展到现在,视频监控系统对社会产生了非常重要的影响,监控摄像机几乎遍布大街小巷。但是实际上,目前监控系统承担的许多监控任务还是需要人工干预。随着人工智能技术的发展,近年来不断兴起的智能监控系统,通过计算机视觉技术与模式识别技术对采集到的视频信息进行分析,提取出视频中有用的信息并进行相关操作,使现有的视频监控系统可以在没有人工干预的情况下,自动完成一些视频监控任务。
基于视频的人流量统计技术是智能视频监控系统中的一个重要应用。密集人群流量统计数据有着非常重要的意义,例如机场车站等场所可以利用人流量统计数据预估客流信息调整运行班次,也可以对某个出入口进行人流量统计进而判断该出入口的设置是否合理;商场超市可以利用人流量统计数据分析消费者的购买习惯,优化店面布局以及评估所实施的营销和促销的投资回报;而安防人员可以利用人流量统计数据防止异常事件的发生。正是由于人流量统计数据有着如此广泛的应用前景,许多公司和科研机构在对其进行研究,国内的如北京文安,杭州海康威视以及武汉烽火众智等智能监控系统公司都推出了其基于视频的人流量统计产品。但是从复杂变化的背景环境中准确识别出正确的行人目标并对它们进行稳定的跟踪计数依然具有重要社会和经济价值,是本领域技术人员仍需解决的技术问题。
发明内容
为了解决上述问题,本发明提供一种基于视频的密集人群流量计算方法,基于行人运动轨迹,根据行人运动方向一致性以及是否通过检测线为标准来进行行人数量的统计,能够提高复杂背景环境中人群计数的准确率。
为了实现上述目的,本发明采用如下技术方案:
一种基于视频的密集人群流量计算方法,其特征在于,包括以下步骤:
步骤1:获取运动行人目标的视频序列;
步骤2:通过帧差分对视频帧进行处理,提取运动行人目标;
步骤3:对提取的行人目标进行形态学处理;
步骤4:获取行人目标运动轨迹,基于运动轨迹对行人目标进行计数。
所述步骤4中基于运动轨迹对行人目标进行计数包括:
对于每一个行人目标,获取该目标的运动距离;计算该行人目标的运动方向;对该行人目标进行越界检测;当运动距离有效、运动方向与设定方向一致,且通过检测线时,执行计数;反之,不执行计数,对下一个行人目标进行判断。
所述步骤2包括:
第i帧视频用Ii表示,第i+1帧视频用Ii+1表示,第i+2帧视频用Ii+2表示,分别计算Ii与Ii+1的差分图像Diffi以及Ii+1与Ii+2的差分图像Diffi+1;
对Diffi和Diffi+1进行阈值化处理,得到Diffi_t和Diffi+1_t。
所述步骤3包括:
对Diffi_t和Diffi+1_t中像素值为1的区域进行形态学运算,先腐蚀后膨胀,得到fi和fi+1,其中Diffi_t表示Ii与Ii+1的差分图像经过阈值化处理后的图像,Diffi+1_t表示Ii+1与Ii+2的差分图像经过阈值化处理后的图像。
所述步骤4中获取行人运动轨迹包括:fi、fi+1分别表示Ii与Ii+1、Ii+1与Ii+2的差分图像经过阈值化处理和形态学运算后得到的图像,
从0开始标记fi中每个单连通的取值为1区域,令标记的最大值为M,令Si(m)表示fi中第m个单连通的区域,其中0≤m≤M,Ci(m)表示第m个单连通的区域的质心,Ai(m)表示第m个单连通的区域的面积;
从0开始标记fi+1中每个单连通的取值为1区域,令标记的最大值为N,令Si+1(n)表示fi中第n个单连通的区域,其中0≤n≤N,Ci+1(n)表示第n个单连通的区域的质心,Ai+1(n)表示第n个单连通的区域的面积;
在fi+1中搜索与fi中第m个标记区域的匹配区域,即
其中表示最佳匹配区域的质心坐标,||Ci+1(n)-Ci(m)||表示Ci+1(n)与Ci(m)的欧式距离。
Si(m)的运动方向的计算公式为:
其中ORIi(m)表示Si(m)的运动方向,其取值为±1;sign表示数值符号运算符。
Si(m)是否越界的判断方式为:
这里Cross_State表示越界检测标识,CL表示设定的越界检测线坐标。
基于本发明的另一方面,本发明还提供了一种基于视频的密集人群流量计算装置,其特征在于,包括:
数据获取模块,用于获取运动行人目标的视频序列;
目标提取模块,用于通过帧差分对视频帧进行处理,提取运动行人目标;
区域生长模块,用于对提取的行人目标进行形态学处理;
数目统计模块,用于获取行人目标运动轨迹,基于运动轨迹对行人目标进行计数。
所述数目统计模块中基于运动轨迹对行人目标进行计数包括:
对于每一个行人目标,获取该目标的运动距离;计算该行人目标的运动方向;对该行人目标进行越界检测;当运动距离有效、运动方向与设定方向一致,且通过检测线时,执行计数;反之,不执行计数,对下一个行人目标进行判断。
所述数目统计模块中运动距离、运动方向和越界检测通过以下方式实现:fi、fi+1分别表示Ii与Ii+1、Ii+1与Ii+2的差分图像经过阈值化处理和形态学运算后得到的图像,
从0开始标记fi中每个单连通的取值为1区域,令标记的最大值为M,令Si(m)表示fi中第m个单连通的区域,其中0≤m≤M,Ci(m)表示第m个单连通的区域的质心,Ai(m)表示第m个单连通的区域的面积;
从0开始标记fi+1中每个单连通的取值为1区域,令标记的最大值为N,令Si+1(n)表示fi中第n个单连通的区域,其中0≤n≤N,Ci+1(n)表示第n个单连通的区域的质心,Ai+1(n)表示第n个单连通的区域的面积;
在fi+1中搜索与fi中第m个标记区域的匹配区域,即
其中表示最佳匹配区域的质心坐标,||Ci+1(n)-Ci(m)||表示Ci+1(n)与Ci(m)的欧式距离;
Si(m)的运动方向的计算公式为:
其中ORIi(m)表示Si(m)的运动方向,其取值为±1;sign表示数值符号运算符;
Si(m)是否越界的判断方式为:
其中Cross_State表示越界检测标识,CL表示设定的越界检测线坐标。
本发明的有益效果:
1、本发明采用运动方向和越界检测作为执行计数的判断标准,经过现场采集视频数据的检测,本方法计数准确率均在90%以上,且能够实现实时计数,可以很好的适应多种情况下的人群检测与人流量计数。
2、本发明适用于各种人群密集的场合,例如配备有车载视频监控系统的大型乘用车辆内部、环境稳定的室内场所、环境稳定的公共出入口等。
附图说明
图1是本发明人群流量计算的流程图。
图2室内检测视频(实际60人,实时检测58人,准确率97.6%);
图3公交车上车视频(实际22人,实时计数22人,准确率100%
图4公交车下车视频(实际33人,实时计数30人,准确率达到91%)
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
实施例1
本实施例提供了一种基于视频的密集人群流量计算方法,如图1所示,包括以下步骤:
步骤1:获取运动行人目标的视频序列,对获取的视频序列进行预处理;
视频序列可通过摄像头获取或者进行手动添加,视频格式可以为avi、h.264或者mp4。
步骤2:通过帧差分对视频帧进行处理,提取运动行人目标;
令第i帧视频用Ii表示,第i+1帧视频用Ii+1表示,第i+2帧视频用Ii+2表示,分别计算Ii与Ii+1的差分图像
Diffi=Ii+1-Ii (1)
以及Ii+1与Ii+2的差分图像
Diffi+1=Ii+2-Ii+1 (2)
其中Diffi表示Ii与Ii+1的差分图像,Diffi+1表示Ii+2与Ii+1的差分图像。
对Diffi和Diffi+1进行阈值化处理,即
和
其中(i,j)表示图像像素坐标,Diffi(i,j)表示(i,j)处Ii与Ii+1的差分图像的像素值,Diffi+1(i,j)表示(i,j)处Ii+1与Ii+2的差分图像的像素值,Diffi_t(i,j)表示(i,j)处Ii与Ii+1的差分图像经过阈值化处理后的像素值,Diffi+1_t(i,j)表示(i,j)处Ii+1与Ii+2的差分图像经过阈值化处理后的像素值,diff_thres表示设定的阈值,abs表示绝对值运算符。
步骤3:对提取的行人目标进行区域生长,本实施例采用形态学处理;
对Diffi_t和Diffi+1_t中像素值为1的区域进行形态学运算(先腐蚀再膨胀),即
fi=Diffi_t⊙S⊕S (5)
和
fi+1=Diffi+1_t⊙S⊕S (6)
其中Diffi_t表示Ii与Ii+1的差分图像经过阈值化处理后的图像,Diffi+1_t表示Ii+1与Ii+2的差分图像经过阈值化处理后的图像,fi表示对Diffi_t进行形态学运算后得到的图像,fi+1表示对Diffi+1_t进行形态学运算后得到的图像,⊙表示腐蚀运算符,⊕表示膨胀运算符,S为形状算子。
步骤4:检测运动行人目标运动轨迹,基于运动轨迹对行人目标进行计数。
对于每一个行人目标,获取该目标的运动距离;计算该行人目标的运动方向;对该行人目标进行越界检测;当运动距离有效、运动方向与设定方向一致,且通过检测线时,执行计数;反之,不执行计数,对下一个行人目标进行判断。
步骤4具体算法流程如下:
(step-1)对于fi中每个单连通的取值为1区域,按照先水平后垂直的顺序进行标记,标记数值从0开始,直至所有区域均被标记为止。令标记的最大值为M,令Si(m)表示fi中第m个单连通的区域,其中0≤m≤M,Ci(m)表示第m个单连通的区域的质心,Ai(m)表示第m个单连通的区域的面积。
(step-2)对于fi+1中每个单连通的取值为1区域,按照先水平后垂直的顺序进行标记,标记数值从0开始,直至所有区域均被标记为止。令标记的最大值为N,令Si+1(n)表示fi中第n个单连通的区域,其中0≤n≤N,Ci+1(n)表示第n个单连通的区域的质心,Ai+1(n)表示第n个单连通的区域的面积。
(step-3)令g=0且person_counter=0,其中person_counter表示人群流量计数器。
(step-4)g=g+1。若g≥M,则进入step-14;否则,进入(step-5)。
(step-5)在fi+1中搜索与fi中第m个标记区域的匹配区域,即
其中表示最佳匹配区域的质心坐标,||Ci+1(n)-Ci(m)||表示Ci+1(n)与Ci(m)的欧式距离。
(step-6)计算Si(m)的运动方向,即
其中ORIi(m)表示Si(m)的运动方向,其取值为±1;sign表示数值(正负)符号运算符。
(step-7)计算Si(m)是否越界,即
这里Cross_State表示越界检测标识,CL表示设定的越界检测线坐标。
(step-8)令k=0。
(step-9)k=k+1。若k≥N,则进入(step-14)。
(step-10)进行距离有效性判决。判决的目的是便于确认fi图像的一个区域与fi+1图像中的一个区域是否距离过远。如果距离远,即两区域之间的距离大于设定的阈值,这意味着目标在单位时间内运动距离过大,超出了合理的范围。这就表明这两个区域匹配错误,需要重新选择后帧区域进行匹配。若||Ci+1(n)-Ci(m)||≤Dist_thres且k≤N-1,则进入(step-11);否则,排除Si(m)区域并返回(step-4)。
(step-11)进行运动方向有效性判决。若ORIi(m)与设定的方向一致且k≤N-1,则进入(step-12);否则,排除Si(m)区域并返回(step-4);
(step-12)进行越界检测。若Cross_State=1且k≤N-1,则进入(step-13);否则,排除Si(m)区域并返回(step-4);
(step-13)person_counter=person_counter+1。
(step-14)检测视频是否结束。若没有结束,返回(step-1);否则,进入(step-15)。
(step-15)输出最终结果person_counter。
实施例2
基于实施例1提供的密集人流量计算方法,本发明还提供了另一实施例:一种基于视频的密集人群流量计算装置,包括:
数据获取模块,用于获取运动行人目标的视频序列;
目标提取模块,用于通过帧差分对视频帧进行处理,提取运动行人目标;
区域生长模块,用于对提取的行人目标进行形态学处理;
数目统计模块,用于获取行人目标运动轨迹,基于运动轨迹对行人目标进行计数。
所述数目统计模块中基于运动轨迹对行人目标进行计数包括:对于每一个行人目标,获取该目标的运动距离;计算该行人目标的运动方向;对该行人目标进行越界检测;当运动距离有效、运动方向与设定方向一致,且通过检测线时,执行计数;反之,不执行计数,对下一个行人目标进行判断。
所述数目统计模块中运动距离、运动方向和越界检测通过以下方式实现:fi、fi+1分别表示Ii与Ii+1、Ii+1与Ii+2的差分图像经过阈值化处理和形态学运算后得到的图像,
从0开始标记fi中每个单连通的取值为1区域,令标记的最大值为M,令Si(m)表示fi中第m个单连通的区域,其中0≤m≤M,Ci(m)表示第m个单连通的区域的质心,Ai(m)表示第m个单连通的区域的面积;
从0开始标记fi+1中每个单连通的取值为1区域,令标记的最大值为N,令Si+1(n)表示fi中第n个单连通的区域,其中0≤n≤N,Ci+1(n)表示第n个单连通的区域的质心,Ai+1(n)表示第n个单连通的区域的面积;
在fi+1中搜索与fi中第m个标记区域的匹配区域,即
其中表示最佳匹配区域的质心坐标,||Ci+1(n)-Ci(m)||表示Ci+1(n)与Ci(m)的欧式距离;
Si(m)的运动方向的计算公式为:
其中ORIi(m)表示Si(m)的运动方向,其取值为±1;sign表示数值符号运算符;
Si(m)是否越界的判断方式为:
其中Cross_State表示越界检测标识,CL表示设定的越界检测线坐标。
本发明通过帧差分对视频帧进行处理来获取运动行人目标,并对提取的行人目标进行形态学处理,再对已识别的运动行人目标进行追踪,获取运动轨迹,最后对运动行人目标进行统计计数。行人流量统计是通过检测其运动轨迹,通过对行人运动方向一致性以及是否通过检测线为标准来进行行人数量的统计,能够实现实时计数,可以很好的适应多种情况下的人群检测与人流量计数,例如配备有车载视频监控系统的大型乘用车辆内部、环境稳定的室内场所、环境稳定的公共出入口等;本发明的应用实例如图2-4,图2为室内检测视频,实际60人,实时检测58人,准确率97.6%;图3为公交车上车视频,实际22人,实时计数22人,准确率100%;图4公交车下车视频,实际33人,实时计数30人,准确率达到91%。
本领域技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于视频的密集人群流量计算方法,其特征在于,包括以下步骤:
步骤1:获取运动行人目标的视频序列;
步骤2:通过帧差分对视频帧进行处理,提取运动行人目标;
步骤3:对提取的行人目标进行形态学处理;
步骤4:获取行人目标运动轨迹,基于运动轨迹对行人目标进行计数。
2.如权利要求1所述的一种基于视频的密集人群流量计算方法,其特征在于,所述步骤4中基于运动轨迹对行人目标进行计数包括:
对于每一个行人目标,获取该目标的运动距离;计算该行人目标的运动方向;对该行人目标进行越界检测;当运动距离有效、运动方向与设定方向一致,且通过检测线时,执行计数;反之,不执行计数,对下一个行人目标进行判断。
3.如权利要求1所述的一种基于视频密集人群流量计算方法,其特征在于,所述步骤2包括:
第i帧视频用Ii表示,第i+1帧视频用Ii+1表示,第i+2帧视频用Ii+2表示,分别计算Ii与Ii+1的差分图像Diffi以及Ii+1与Ii+2的差分图像Diffi+1;
对Diffi和Diffi+1进行阈值化处理,得到Diffi_t和Diffi+1_t。
4.如权利要求1所述的一种基于视频密集人群流量计算方法,其特征在于,所述步骤3包括:
对Diffi_t和Diffi+1_t中像素值为1的区域进行形态学运算,先腐蚀后膨胀,得到fi和fi+1,其中Diffi_t表示Ii与Ii+1的差分图像经过阈值化处理后的图像,Diffi+1_t表示Ii+1与Ii+2的差分图像经过阈值化处理后的图像。
5.如权利要求1或2所述的一种基于视频密集人群流量计算方法,其特征在于,所述步骤4中获取行人运动轨迹包括:fi、fi+1分别表示Ii与Ii+1、Ii+1与Ii+2的差分图像经过阈值化处理和形态学运算后得到的图像,
从0开始标记fi中每个单连通的取值为1区域,令标记的最大值为M,令Si(m)表示fi中第m个单连通的区域,其中0≤m≤M,Ci(m)表示第m个单连通的区域的质心,Ai(m)表示第m个单连通的区域的面积;
从0开始标记fi+1中每个单连通的取值为1区域,令标记的最大值为N,令Si+1(n)表示fi中第n个单连通的区域,其中0≤n≤N,Ci+1(n)表示第n个单连通的区域的质心,Ai+1(n)表示第n个单连通的区域的面积;
在fi+1中搜索与fi中第m个标记区域的匹配区域,即
<mrow>
<msubsup>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>o</mi>
<mi>p</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>n</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<mo>,</mo>
<mn>0</mn>
<mo>&le;</mo>
<mi>n</mi>
<mo>&le;</mo>
<mi>N</mi>
<mo>,</mo>
<mn>0</mn>
<mo>&le;</mo>
<mi>m</mi>
<mo>&le;</mo>
<mi>M</mi>
</mrow>
其中表示最佳匹配区域的质心坐标,||Ci+1(n)-Ci(m)||表示Ci+1(n)与Ci(m)的欧式距离。
6.如权利要求5所述的一种基于视频密集人群流量计算方法,其特征在于,Si(m)的运动方向的计算公式为:
<mrow>
<msub>
<mi>ORI</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>o</mi>
<mi>p</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中ORIi(m)表示Si(m)的运动方向,其取值为±1;sign表示数值符号运算符。
7.如权利要求5所述的一种基于视频密集人群流量计算方法,其特征在于,Si(m)是否越界的判断方式为:
<mrow>
<mi>C</mi>
<mi>r</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mo>_</mo>
<mi>S</mi>
<mi>t</mi>
<mi>a</mi>
<mi>t</mi>
<mi>e</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>C</mi>
<mi>L</mi>
<mo>)</mo>
<mo>=</mo>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>C</mi>
<mi>L</mi>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
这里Cross_State表示越界检测标识,CL表示设定的越界检测线坐标。
8.一种基于视频的密集人群流量计算装置,其特征在于,包括:
数据获取模块,用于获取运动行人目标的视频序列;
目标提取模块,用于通过帧差分对视频帧进行处理,提取运动行人目标;
区域生长模块,用于对提取的行人目标进行形态学处理;
数目统计模块,用于获取行人目标运动轨迹,基于运动轨迹对行人目标进行计数。
9.如权利要求8所述的一种基于视频的密集人群流量计算装置,其特征在于,所述数目统计模块中基于运动轨迹对行人目标进行计数包括:
对于每一个行人目标,获取该目标的运动距离;计算该行人目标的运动方向;对该行人目标进行越界检测;当运动距离有效、运动方向与设定方向一致,且通过检测线时,执行计数;反之,不执行计数,对下一个行人目标进行判断。
10.如权利要求9所述的一种基于视频密集人群流量计算方法,其特征在于,所述数目统计模块中运动距离、运动方向和越界检测通过以下方式实现:fi、fi+1分别表示Ii与Ii+1、Ii+1与Ii+2的差分图像经过阈值化处理和形态学运算后得到的图像,
从0开始标记fi中每个单连通的取值为1区域,令标记的最大值为M,令Si(m)表示fi中第m个单连通的区域,其中0≤m≤M,Ci(m)表示第m个单连通的区域的质心,Ai(m)表示第m个单连通的区域的面积;
从0开始标记fi+1中每个单连通的取值为1区域,令标记的最大值为N,令Si+1(n)表示fi中第n个单连通的区域,其中0≤n≤N,Ci+1(n)表示第n个单连通的区域的质心,Ai+1(n)表示第n个单连通的区域的面积;
在fi+1中搜索与fi中第m个标记区域的匹配区域,即
<mrow>
<msubsup>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>o</mi>
<mi>p</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>n</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<mo>,</mo>
<mn>0</mn>
<mo>&le;</mo>
<mi>n</mi>
<mo>&le;</mo>
<mi>N</mi>
<mo>,</mo>
<mn>0</mn>
<mo>&le;</mo>
<mi>m</mi>
<mo>&le;</mo>
<mi>M</mi>
</mrow>
其中表示最佳匹配区域的质心坐标,||Ci+1(n)-Ci(m)||表示Ci+1(n)与Ci(m)的欧式距离;
Si(m)的运动方向的计算公式为:
<mrow>
<msub>
<mi>ORI</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>o</mi>
<mi>p</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中ORIi(m)表示Si(m)的运动方向,其取值为±1;sign表示数值符号运算符;
Si(m)是否越界的判断方式为:
<mrow>
<mi>C</mi>
<mi>r</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mo>_</mo>
<mi>S</mi>
<mi>t</mi>
<mi>a</mi>
<mi>t</mi>
<mi>e</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>C</mi>
<mi>L</mi>
<mo>)</mo>
<mo>=</mo>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>C</mi>
<mi>L</mi>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中Cross_State表示越界检测标识,CL表示设定的越界检测线坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710514797.0A CN107403137B (zh) | 2017-06-29 | 2017-06-29 | 基于视频的密集人群流量计算方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710514797.0A CN107403137B (zh) | 2017-06-29 | 2017-06-29 | 基于视频的密集人群流量计算方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107403137A true CN107403137A (zh) | 2017-11-28 |
CN107403137B CN107403137B (zh) | 2020-01-31 |
Family
ID=60405122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710514797.0A Expired - Fee Related CN107403137B (zh) | 2017-06-29 | 2017-06-29 | 基于视频的密集人群流量计算方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107403137B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875562A (zh) * | 2018-04-28 | 2018-11-23 | 华南师范大学 | 一种公交人流量统计方法及系统 |
CN113781526A (zh) * | 2021-09-23 | 2021-12-10 | 内蒙古大学 | 一种家畜计数识别系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101847206A (zh) * | 2010-04-21 | 2010-09-29 | 北京交通大学 | 基于交通监控设施的行人流量统计方法与系统 |
CN102867177A (zh) * | 2012-09-19 | 2013-01-09 | 无锡慧眼电子科技有限公司 | 一种基于图像灰度匹配的人数统计方法 |
CN103425967A (zh) * | 2013-07-21 | 2013-12-04 | 浙江大学 | 一种基于行人检测和跟踪的人流监控方法 |
CN103473554A (zh) * | 2013-08-19 | 2013-12-25 | 上海汇纳网络信息科技有限公司 | 人流统计系统及方法 |
CN103871082A (zh) * | 2014-03-31 | 2014-06-18 | 百年金海科技有限公司 | 一种基于安防视频图像的人流量统计方法 |
CN105303191A (zh) * | 2014-07-25 | 2016-02-03 | 中兴通讯股份有限公司 | 一种前视监视场景下的行人计数方法和装置 |
CN105321187A (zh) * | 2014-07-22 | 2016-02-10 | 无锡慧眼电子科技有限公司 | 基于人头检测的行人计数方法 |
CN105512640A (zh) * | 2015-12-30 | 2016-04-20 | 重庆邮电大学 | 一种基于视频序列的人流量统计方法 |
US9460613B1 (en) * | 2016-05-09 | 2016-10-04 | Iteris, Inc. | Pedestrian counting and detection at a traffic intersection based on object movement within a field of view |
CN106570883A (zh) * | 2016-10-25 | 2017-04-19 | 长安大学 | 一种基于rgb‑d相机的人数统计方法 |
CN106650593A (zh) * | 2016-09-30 | 2017-05-10 | 王玲 | 客流统计方法和装置 |
-
2017
- 2017-06-29 CN CN201710514797.0A patent/CN107403137B/zh not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101847206A (zh) * | 2010-04-21 | 2010-09-29 | 北京交通大学 | 基于交通监控设施的行人流量统计方法与系统 |
CN102867177A (zh) * | 2012-09-19 | 2013-01-09 | 无锡慧眼电子科技有限公司 | 一种基于图像灰度匹配的人数统计方法 |
CN103425967A (zh) * | 2013-07-21 | 2013-12-04 | 浙江大学 | 一种基于行人检测和跟踪的人流监控方法 |
CN103473554A (zh) * | 2013-08-19 | 2013-12-25 | 上海汇纳网络信息科技有限公司 | 人流统计系统及方法 |
CN103871082A (zh) * | 2014-03-31 | 2014-06-18 | 百年金海科技有限公司 | 一种基于安防视频图像的人流量统计方法 |
CN105321187A (zh) * | 2014-07-22 | 2016-02-10 | 无锡慧眼电子科技有限公司 | 基于人头检测的行人计数方法 |
CN105303191A (zh) * | 2014-07-25 | 2016-02-03 | 中兴通讯股份有限公司 | 一种前视监视场景下的行人计数方法和装置 |
CN105512640A (zh) * | 2015-12-30 | 2016-04-20 | 重庆邮电大学 | 一种基于视频序列的人流量统计方法 |
US9460613B1 (en) * | 2016-05-09 | 2016-10-04 | Iteris, Inc. | Pedestrian counting and detection at a traffic intersection based on object movement within a field of view |
CN106650593A (zh) * | 2016-09-30 | 2017-05-10 | 王玲 | 客流统计方法和装置 |
CN106570883A (zh) * | 2016-10-25 | 2017-04-19 | 长安大学 | 一种基于rgb‑d相机的人数统计方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875562A (zh) * | 2018-04-28 | 2018-11-23 | 华南师范大学 | 一种公交人流量统计方法及系统 |
CN113781526A (zh) * | 2021-09-23 | 2021-12-10 | 内蒙古大学 | 一种家畜计数识别系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107403137B (zh) | 2020-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fang et al. | Detecting non-hardhat-use by a deep learning method from far-field surveillance videos | |
Liu et al. | A vision-based pipeline for vehicle counting, speed estimation, and classification | |
CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
CN101447082B (zh) | 一种运动目标实时检测方法 | |
CN110188807A (zh) | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 | |
Hsu et al. | Passenger flow counting in buses based on deep learning using surveillance video | |
CN201255897Y (zh) | 一种公交车人流量监测装置 | |
CN106611157A (zh) | 一种基于光流定位和滑动窗口检测的多人姿态识别方法 | |
CN110298238A (zh) | 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质 | |
CN111553201A (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
CN104134078B (zh) | 一种人流量统计系统中分类器的自动选择方法 | |
Hussein et al. | Automated pedestrian safety analysis at a signalized intersection in New York City: Automated data extraction for safety diagnosis and behavioral study | |
CN103324955A (zh) | 一种基于视频处理的行人检测方法 | |
CN108364466A (zh) | 一种基于无人机交通视频的车流量统计方法 | |
CN106682603A (zh) | 一种基于多源信息融合的实时驾驶员疲劳预警系统 | |
CN109460704A (zh) | 一种基于深度学习的疲劳检测方法、系统和计算机设备 | |
CN107657244A (zh) | 一种基于多摄像机的人体跌倒行为检测系统及其检测方法 | |
CN112241969A (zh) | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 | |
CN103871081A (zh) | 一种自适应鲁棒在线目标跟踪方法 | |
CN104159088A (zh) | 一种远程智能车辆监控系统及方法 | |
CN109784296A (zh) | 客车乘客数量统计方法、装置及计算机可读存储介质 | |
CN113014870A (zh) | 一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法 | |
CN110111370A (zh) | 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法 | |
Minnikhanov et al. | Detection of traffic anomalies for a safety system of smart city | |
CN107403137A (zh) | 基于视频的密集人群流量计算方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200131 |
|
CF01 | Termination of patent right due to non-payment of annual fee |