CN101959060A - 视频客流监控系统及方法 - Google Patents

Abstract

本发明公开了一种视频客流监控系统，包括多个摄像机、控制主机、显示设备、记录设备、第一编码译码模块、第一RF收发模块、手持监控终端，所述手持监控终端包括第二RF收发模块、微处理器MCU、第二编码译码模块、触摸显示屏、按键模块。手持监控终端接收控制主机发送的客流视频进行显示并计算人流密度。视频客流监控方法包含下列步骤：运动探测、运动目标分割、单人块匹配、目标跟踪、运动向量分析、人数统计、计算区域人流密度。本发明应用于公共场所，为安全防范等工作提供决策依据；巡查人员配备手持监控终端可以实时调看、计算各区域监控视频和客流密度，使得人员配置灵活高效，及时有效处理险情。

Description

视频客流监控系统及方法

技术领域

发明涉及一种客流监控系统及方法，尤其涉及一种智能视频客流监控系统及方法，属于视频监控技术领域。

背景技术

视频监控系统是安全防范技术体系中的一个重要组成部分，近年来视频监控技术得到了广泛的应用。视频监控系统可以通过控制摄象机及其辅助设备(云台、镜头等)直接观看被监视场所的情况；同时它可以把被监视场所的图象和声音全部或部分的记录下来，为日后对某些事件的处理提供了方便条件及重要依据。视频监控系统还可以与防盗、报警、消防等其他安全技术防范体系联动运行，使防范能力更加强大，实现对犯罪的防范、火灾事故隐患的防范等。将视频监控应用到公共场所的客流人数统计、分析中，可以实时准确地掌握人员的分布情况、分布密度、人员流向，为防范拥挤、及时疏通、环境调控、节能等工作提供决策依据。  

视频监控技术的演变，已经历了三个阶段。第一阶段：模拟视频监控系统；第二阶段：数字化视频监控；第三阶段：网络化监控系统，它将视频监控技术推上一个新台阶。 但与此同时，以人工监视为主的视频监控技术仍然存在诸多缺陷：传统的视频监控依赖人工，消耗大量的人力，却受限于人力的各种缺陷，耗时耗力而效率低。有研究表明，一个人观察两个监视器时，10分钟内会错过45%的有用信息；22分钟后会错过95%的有用信息；当人同时观察更多个显示器时注意力更加分散。大量的摄像画面没有足够的人力监控，视频监控的功能主要是“事后取证”为主，缺乏实时报警功能。因此研究一种智能化视频分析监控技术，以人工智能研究为基础，以计算机视觉软件分析、过滤视频信号，并结合丰富的人体、物体行为识别库，自动辨别事件，实时通知，全天候不间断工作，能够在一个动态的环境中精确地分析、探测出有意义的动态和静态的事件，最大程度降低错报、误报率，具有十分重要的意义。

  从视频监控系统结构来说，现有的系统一般由前端摄像设备、传输部分、控制主机、显示记录设备组成。监控人员在监控室值班监视，遇有异常情况进行报警或派员现场查看及处理，当监控室值班员离开了监控室就无法掌握情况，另外，位于处理现场的人员、位于巡查途中的巡查人员都必需和监控室保持联络才能随时掌握全局或区域的情况。这种结构方式要求值班、巡查人员配置数量较多，而且不能机动灵活、及时有效地处理险情。

发明内容

本发明的目的在于提供一种视频客流监控系统及方法，应用到公共场所的客流人数、流向、密度的统计分析中，实时准确地掌握人员的分布情况，为防范拥挤、及时疏通、环境调控、节能等工作提供决策依据；监控系统除了在监控室进行监控以外，提供可移动式手持监控终端，在移动终端上可以实时调看各区域监控视频，计算实时客流人数、流向、区域密度等数据。  

本发明的目的通过以下技术方案予以实现：

一种视频客流监控系统，包括多个摄像机1、控制主机2、显示设备3、记录设备4，摄像机1、显示设备3、记录设备4与控制主机2相连，所述摄像机1将多路视频信号输入控制主机2，多路视频信号经控制主机2矩阵切换后输送至显示设备3显示，记录设备4记录视频信号以备查询和回看。本系统还包括第一编码译码模块5、第一RF收发模块6、手持监控终端7，所述第一编码译码模块5与控制主机2相连，第一RF收发模块6与第一编码译码模块5相连，控制主机2根据手持监控终端7的请求信号输出其请求的视频信号至第一编码译码模块5，第一编码译码模块5将视频信号编码压缩后由第一RF收发模块6向手持监控终端7发送；所述手持监控终端7包括第二RF收发模块8、微处理器MCU 9、第二编码译码模块10、触摸显示屏11、按键模块12，所述第二RF收发模块8与第二编码译码模块10相连，第二编码译码模块10、触摸显示屏11、按键模块12均与微处理器MCU9相连，第二RF收发模块8将接收的压缩视频信号送至第二编码译码模块10解码后传送给微处理器MCU9, 微处理器MCU9对视频信号进行客流分析并将客流视频信号和分析结果在触摸显示屏11上显示，触摸显示屏11接收的用户触摸控制信号和按键模块12的按键控制信号输入到微处理器MCU9，再经第二编码译码模块10编码后由第二RF收发模块8发送。

    一种视频客流监控方法，该方法包含下列步骤：

⑴获取RGB888或YCbCr422格式的图像；

⑵进行运动探测，将连续的三帧图象I_t-1 (x，y)，I_t(x，y)，I_t+1(x，y)，按下式计算，其中σ为常数，

 

   

 

  

获得二进制图像D₁(x,y)和D₂(x,y)，然后将D₁(x,y)和D₂(x,y)进行逻辑与得到二进制图像M₁(x,y)，M₁(x,y)是I_t(x，y)的运动像素；

⑶进行运动目标分割；以探测到的运动像素作为种子点，应用区域生长法将相邻的运动像素种子点进行不断合并，并用矩形框将合并后的运动像素种子点包含在内，得到的一定数量的矩形框就是运动目标分割结果；

⑷进行单人块匹配，将单人从人群中区分出来；先将典型的单人图像区域尺寸定义为每人N_P像素，然后将步骤(3)获得的各矩形框内的人群图像的像素数N_PI与N_P进行比较，以确定每个人群图像中的人数并用矩形框将单人块标出；

⑸进行目标跟踪；在运动目标有合并的情况下，采用SADD跟踪算法，在运动目标没有合并的情况下，采用区域跟踪法以提高效率和节能，然后将前后两帧单人块的中心点连接起来获得目标运动向量；

⑹将目标运动向量进行分析，以确定目标是进入或出去；

⑺进行人数统计；

⑻计算区域人流密度。

本发明的目的还可以通过以下技术措施来进一步实现：

前述一种视频客流监控系统，其中摄像机1离地面三至六米，镜头垂直于地面安装，顶视于被监视区域，摄像机1输出图像格式为RGB888 或YCbCr422,图像的帧率大于15fps,图像分辨率为640×480，摄像机1和控制主机2通过同轴电缆连接。

前述一种视频客流监控系统，其中摄像机1为网络摄像机，摄像机1离地面三至六米，镜头垂直于地面安装，顶视于被监视区域，摄像机1输出图像格式为RGB888 或YCbCr422,图像的帧率大于15fps,图像分辨率为640×480，摄像机1和控制主机2通过LAN/Ethernet网络端口连接。

前述一种视频客流监控系统，其中摄像机1使用广角镜头，获得的图像是标准的图像。

前述一种视频客流监控系统，其中第一RF收发模块6、第二RF收发模块8为UWB通信模块，采用UWB协议通信。

前述一种视频客流监控系统，其中第一RF收发模块6、第二RF收发模块8为RF4CE通信模块，采用RF4CE协议通信。

    前述一种视频客流监控方法，其步骤⑷中，将N_PI与N_P进行比较，确定每个人群图像中人数的推断原则是：

 当   N_P ≤ N_PI＜1.3N_P ,人数为1；

当1.3N_P ≤ N_PI＜2.5N_P ,人数为2；

当2.5N_P ≤ N_PI＜3.5N_P ,人数为3；

当3.5N_P ≤ N_PI＜4.7N_P ,人数为4；

当4.7N_P ≤ N_PI＜5.7N_P ,人数为5；

当5.7N_P ≤ N_PI＜6.7N_P ,人数为6。

与现有技术相比，本发明有益效果是：视频客流分析系统及方法，可应用到会展、商场、博物馆等公共场所的客流人数统计、分析中，实时准确地掌握人员的分布情况，为安全防范、环境调控、节能等工作提供决策依据；现场处理人员、位于巡查途中的巡查人员配备手持监控终端可以实时调看、计算各区域监控视频和实时客流人数、流向、区域密度等分析数据，使得值班、巡查人员可灵活高效地配置，及时有效地处理险情。

附图说明

图1是视频客流监控系统结构图；

图2是视频客流监控方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

如图1所示，视频客流监控系统包括多个摄像机1、控制主机2、显示设备3、记录设备4，摄像机1、显示设备3、记录设备4与控制主机2相连，控制主机2、显示设备3、记录设备4位于监控室内。所述的摄像机1为网络摄像机，数量可根据监控场所的范围确定，可根据需要安装于商场、展览馆的进口、出口、交通要道、有安全风险的区域等处。摄像机1离地面五米安装，镜头垂直于地面，顶视于被监视区域，摄像机1输出图像格式为RGB888 或YCbCr422,图像的帧率大于15fps,图像分辨率为640×480，摄像机1和控制主机2通过LAN或者Ethernet网络端口连接。所述安装于各处的摄像机1将多路视频信号输入控制主机2，多路视频信号经控制主机2矩阵切换后输送至显示设备3显示，记录设备4记录视频信号以备查询和回看。本系统还包括第一编码译码模块5、第一RF收发模块6、手持监控终端7，所述第一编码译码模块5与控制主机2相连，第一RF收发模块6与第一编码译码模块5相连，控制主机2根据手持监控终端7的请求信号输出其请求的视频信号至第一编码译码模块5，第一编码译码模块5将视频信号编码压缩后由第一RF收发模块6向位于监控室以外的巡查人员手持的移动监控终端7发送；所述手持监控终端7包括第二RF收发模块8、微处理器MCU 9、第二编码译码模块10、触摸显示屏11、按键模块12，微处理器MCU9为ARM处理器。所述第二RF收发模块8与第二编码译码模块10相连，第二编码译码模块10、触摸显示屏11、按键模块12均与微处理器MCU9相连，第二RF收发模块8将接收的压缩视频信号送至第二编码译码模块10解码后传送给微处理器MCU9, 微处理器MCU9对视频信号进行客流分析并将客流视频图像和分析结果在触摸显示屏11上显示，用户可以在触摸显示屏11上通过触摸方式，或者通过按键模块12以按键方式输入控制信号到微处理器MCU9，这两种控制信号都经第二编码译码模块10编码后由第二RF收发模块8向监控室发送，监控室的控制主机2和手持监控终端7之间通过无线通信方式通信。本实施例中第一RF收发模块6、第二RF收发模块8采用UWB通信模块，以UWB协议通信。UWB超宽频通讯具有抗干扰性能强、传输速率高、带宽极宽、穿透性好、低功耗、结构简单和价格低廉等优点，尤其适用于室内等密集多径场所使用。

    手持监控终端7接收到控制主机2发送来的某一区域的客流监控视频信号，其触摸显示屏11显示视频图像，手持监控终端7用户还可以发出控制信号切换、观看其他区域的监控图像。手持监控终端7可以帮助巡查人员直观地监视所负责区域的人流情况，尤其是巡查人员所负责的区域较大，其视线范围之外的情况无法掌握时。进一步的，手持监控终端7的微处理器MCU9对视频图像进行智能视频客流分析，如图2所示，视频客流分析方法包含下列步骤：

⑴从摄像机获取RGB888格式的图像。

⑵对上述图像进行运动探测，先将连续的三帧图象I_t-1 (x，y)，I_t(x，y)，I_t+1(x，y)，按下式计算，其中σ为常数，

    

 

  

获得二进制图像D₁(x,y)和D₂(x,y)，然后将D₁(x,y)和D₂(x,y)进行逻辑与得到二进制图像M₁(x,y)，则M₁(x,y)是I_t(x，y)的运动像素。

⑶进行运动目标分割；以探测到的运动像素作为种子点，应用区域生长法将相邻的运动像素种子点进行不断合并，然后用矩形框将合并后的运动像素种子点包含在内，得到的一定数量的矩形框就是运动目标分割结果，这些矩形框内的图像可能是单人的，也可能是紧密相邻的多人图像。

⑷进行单人块匹配，将单人从人群中区分出来；先将典型的单人图像区域尺寸定义为每人N_P像素，然后将步骤(3)获得的运动目标分割结果，即各矩形框内的人群图像的像素数N_PI与N_P进行比较以确定每个人群图像中的人数并用矩形框将单人块标出；确定每个人群图像中人数的推断原则是：

当   N_P ≤ N_PI＜1.3N_P ,人数为1；

当1.3N_P ≤ N_PI＜2.5N_P ,人数为2；

当2.5N_P ≤ N_PI＜3.5N_P ,人数为3；

当3.5N_P ≤ N_PI＜4.7N_P ,人数为4；

当4.7N_P ≤ N_PI＜5.7N_P ,人数为5；

当5.7N_P ≤ N_PI＜6.7N_P ,人数为6。

以上推断原则适用于东方人正常行走的情况下。由于七个及以上的人相互紧密接触并一起行走的情况很少，所以上述推断原则在普通情况下是够用的。

⑸进行目标跟踪；在进行目标跟踪时有两个层次的跟踪方法可以使用，在运动目标有合并的情况下(即紧密相邻的多人图像)，采用SADD跟踪算法(最小绝对差分误差和算法)以排除一群人之间的相互影响；在运动目标没有合并的情况下，采用区域跟踪法(blob tracking)，这种策略可以提高效率和节能。然后将前后两帧单人块的中心点连接起来获得目标运动向量；

⑹将目标运动向量进行分析，以确定目标是进入或出去；

⑺进行人数统计；

⑻计算区域人流密度。

应用以上方法获得的数据，可以进一步加工得到所监控的公共场所实时的人员分布密度、平均移动速度等信息，可用于拥挤坍塌的预防、人员群集的防范，拥堵通道的疏散，或根据人员分布情况控制该区域的照明、新风量、温湿度，以达到调节环境和节能的目的。现场处理人员、位于巡查途中的巡查人员配备手持监控终端可以随时调看各区域监控视频和实时客流人数、流向、区域密度等分析数据，无需通过与监控室通讯的方式获得，使得值班、巡查人员可灵活高效地配置，及时有效地处理险情。

除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围内。

Claims (8)

1.一种视频客流监控系统，包括多个摄像机(1)、控制主机(2)、显示设备(3)、记录设备(4)，摄像机(1)、显示设备(3)、记录设备(4)与控制主机(2)相连，所述摄像机(1)将多路视频信号输入控制主机(2)，多路视频信号经控制主机(2)矩阵切换后输送至显示设备(3)显示，记录设备(4)记录视频信号以备查询和回看，其特征在于，还包括第一编码译码模块(5)、第一RF收发模块(6)、手持监控终端(7)，所述第一编码译码模块(5)与控制主机(2)相连，第一RF收发模块(6)与第一编码译码模块(5)相连，控制主机(2)根据手持监控终端(7)的请求信号输出其请求的视频信号至第一编码译码模块(5)，第一编码译码模块(5)将视频信号编码压缩后由第一RF收发模块(6)向手持监控终端(7)发送；所述手持监控终端(7)包括第二RF收发模块(8)、微处理器MCU (9)、第二编码译码模块(10)、触摸显示屏(11)、按键模块(12)，所述第二RF收发模块(8)与第二编码译码模块(10)相连，第二编码译码模块(10)、触摸显示屏(11)、按键模块(12)均与微处理器MCU(9)相连，第二RF收发模块(8)将接收的压缩视频信号送至第二编码译码模块(10)解码后传送给微处理器MCU(9), 微处理器MCU(9)对视频信号进行客流分析并将客流视频信号和分析结果在触摸显示屏(11)上显示，所述触摸显示屏(11)接收的用户触摸控制信号和按键模块(12)的按键控制信号输入到微处理器MCU(9)，再经第二编码译码模块(10)编码后由第二RF收发模块(8)发送。

2.如权利要求1所述的视频客流监控系统，其特征在于，所述摄像机(1)离地面三至六米，镜头垂直于地面安装，顶视于被监视区域，摄像机(1)输出图像格式为RGB888 或YCbCr422,图像的帧率大于15fps,图像分辨率为640×480，摄像机(1)和控制主机(2)通过同轴电缆连接。

3.如权利要求1所述的视频客流监控系统，其特征在于，所述摄像机(1)为网络摄像机，摄像机(1)离地面三至六米，镜头垂直于地面安装，顶视于被监视区域，摄像机(1)输出图像格式为RGB888 或YCbCr422,图像的帧率大于15fps,图像分辨率为640×480，摄像机(1)和控制主机(2)通过LAN/Ethernet网络端口连接。

4.如权利要求2或3所述的视频客流监控系统，其特征在于，所述摄像机(1)的镜头为广角镜头，所获得的图像为摄像机标准图像。

5.如权利要求1或2或3所述的视频客流监控系统，其特征在于，所述第一RF收发模块(6)、第二RF收发模块(8)为UWB通信模块，采用UWB协议通信。

6.如权利要求1或2或3所述的视频客流监控系统，其特征在于，所述第一RF收发模块(6)、第二RF收发模块(8)为RF4CE通信模块，采用RF4CE协议通信。

7.一种如权利要求1所述的视频客流监控系统的监控方法，其特征在于，该方法包含下列步骤：

⑴获取RGB888或YCbCr422格式的图像；

⑵进行运动探测，将连续的三帧图象I_t-1 (x，y)，I_t(x，y)，I_t+1(x，y)，按下式计算，其中σ为常数，

                                                 

   

  

获得二进制图像D₁(x,y)和D₂(x,y)，然后将D₁(x,y)和D₂(x,y)进行逻辑与得到二进制图像M₁(x,y)，M₁(x,y)是I_t(x，y)的运动像素；

⑶进行运动目标分割；以探测到的运动像素作为种子点，应用区域生长法将相邻的运动像素种子点进行不断合并，并用矩形框将合并后的运动像素种子点包含在内，得到的一定数量的矩形框就是运动目标分割结果；

⑷进行单人块匹配，将单人从人群中区分出来；先将典型的单人图像区域尺寸定义为每人N_P像素，然后将步骤(3)获得的各矩形框内的人群图像的像素数N_PI与N_P进行比较，以确定每个人群图像中的人数并用矩形框将单人块标出；

⑸进行目标跟踪；在运动目标有合并的情况下，采用SADD跟踪算法，在运动目标没有合并的情况下，采用区域跟踪法以提高效率和节能，然后将前后两帧单人块的中心点连接起来获得目标运动向量；

⑹将目标运动向量进行分析，以确定目标是进入或出去；

⑺进行人数统计；

⑻计算区域人流密度。

8.如权利要求7所述的视频客流监控系统的监控方法，其特征在于，所述的步骤⑷中将N_PI与N_P进行比较，确定每个人群图像中人数的推断原则是：

当   N_P ≤ N_PI＜1.3N_P ,人数为1；

当1.3N_P ≤ N_PI＜2.5N_P ,人数为2；

当2.5N_P ≤ N_PI＜3.5N_P ,人数为3；

当3.5N_P ≤ N_PI＜4.7N_P ,人数为4；

当4.7N_P ≤ N_PI＜5.7N_P ,人数为5；

当5.7N_P ≤ N_PI＜6.7N_P ,人数为6。

Images