CN107229894B - 基于计算机视觉分析技术的智能视频监控方法及系统 - Google Patents

Abstract

本发明提供了一种基于计算机视觉分析技术的智能视频监控方法及系统，包括：视频获取步骤：通过固定机位的摄像机获取固定场景的监控视频；视频分析步骤：对所述监控视频进行分析，得到分析结果；监控管理步骤：将分析结果向人员进行展示或进行报警。本发明采用计算机视觉技术对监控视频进行自动分析，进一步能够提取出视频中特定的信息，并在发生特定事件时自动产生报警信息并记录到数据库，提升视频监控的智能化程度，并大大减轻监控人员的劳动强度。

Description

基于计算机视觉分析技术的智能视频监控方法及系统

技术领域

本发明涉及视频监控，具体地，涉及基于计算机视觉分析技术的智能视频监控方法及系统。

背景技术

智能视频监控是计算机视觉技术在安防领域应用的一个分支，是一种基于目标行为的智能监控技术。传统的视频监控仅提供原始视频画面或仅采用一些初级的视频分析技术；智能视频监控系统首先将场景中背景和目标分离，识别出真正的目标，去除背景干扰(如树叶抖动、水面波浪、灯光变化)，进而分析并追踪在摄像机场景内出现的目标行为，并在设定的行为发生时自动给出报警信息。对比传统的视频监控，智能视频监控可实现视频监控的全自动化，从而大大减轻监控人员的劳动强度。

现有的视频监控系统中，多数不带有智能视频分析技术，或仅提供类似于移动侦测等较为初级的视频分析技术，这种方案具有以下问题：

(1)现有视频监控系统需要监控人员一直注意监控画面，容易因监控人员疲劳等原因漏掉一些重要的事件。

(2)虽然部分视频监控系统已带有一些自动视频分析功能，但往往比较初级，误报率较高，略有风吹草动即会产生报警，基本不具备实用价值。

(3)现有视频监控系统无法自动记录视频中感兴趣的事件，事后查找回放很不方便；无法对视频中的事件进行统计并提供统计报告给决策人员。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于计算机视觉分析技术的智能视频监控方法及系统。本发明采用计算机视觉技术对监控视频进行自动分析，进一步能够提取出视频中特定的信息，并在发生特定事件时自动产生报警信息并记录到数据库，提升视频监控的智能化程度，并大大减轻监控人员的劳动强度。

根据本发明提供的一种基于计算机视觉分析技术的智能视频监控方法，包括：

视频获取步骤：通过固定机位的摄像机获取固定场景的监控视频；

视频分析步骤：对所述监控视频进行分析，得到分析结果；

监控管理步骤：将分析结果向人员进行展示或进行报警。

优选地，所述视频分析步骤包括如下任一个步骤：

客流统计步骤：对所述监控视频中的每一帧监控画面，产生前景图像，仅对监控画面的前景部分进行处理；在得到前景图像后，对前景图像进行扫描，检测前景图像中是否包含行人头肩部位，其中，通过事先采用采集的行人头肩部位样本进行离线训练的分类器分类后得到行人头肩部位的特征；在检测到一个可能的行人头肩部位后，对该可能的行人进行跟踪；如果该可能的行人的轨迹长度、运动方向属于设定的长度阈值范围、运动方向范围内，则认为该可能的行人是一个有效的行人，并根据有效的行人的运动方向分别统计为进入人数和出去人数，否则则认为该可能的行人不是一个有效的行人；

入侵检测步骤：在监控视频画面中勾勒出预告警机制覆盖的区域，针对该区域进行入侵检测；对前景图像的阴影进行滤除，其中，通过比较前景像素点和对应的背景像素，如果色度分量、亮度分量的差别属于设定的阈值范围内，则认为该前景像素点是阴影，否则则认为该前景像素点不是阴影；在阴影滤除后，对得到的前景图像进行形态学运算，通过腐蚀运算消除孤立的前景像素点；通过膨胀运算连通前景像素点，使得同一个行人的前景像素点连成一个前景团块；在形态学运算完成后，计算每个前景团块的最小外接矩形框，其中，对于几个前景团块的最小外接矩形框彼此的最小距离小于设定的距离阈值，则认为这几个前景团块是同一个行人的不同部位，并得到这几个前景团块的最小外接矩形框，将这几个前景团块作为一个整体进行处理；将每个最小外接矩形框的尺寸与事先设定的最小值和最大值比较，只有尺寸小于最大值且大于最小值的最小外接矩形框对应的团块被认为是有效的入侵；

人群密度估计步骤：提取监控视频图像的特征，将背景差分后得到的二值图像转换为一个固定维数的向量，用以描述该帧监控视频图像的特征；通过训练，对监控视频中的每帧图像进行手工标注，统计出图像中的人数，作为该帧图像的标签；在得到了每一帧监控视频图像的特征和标签后，使用支持向量回归SVR得到一个回归器并将回归器用于人群密度估计；在回归器输出当前视频图像中的人群密度后，对输出结果进行滤波，使得输出结果平滑。

逆行检测步骤：计算监控视频图像中均匀分布的各个点的光流，然后按照各个点上光流的方向，计算光流方向直方图；若光流方向直方图中存在与设定方向相反且幅值超过一定阈值的光流点，则认为监控视频图像中存在逆行目标，否则则认为监控视频图像中不存在逆行目标。

优选地，所述人群密度估计步骤包括：

第一特征提取步骤：选定监控视频图像中水平的两行，分别选取身高中心位于这两行的两个行人，计算这两个行人在监控视频图像中的高度，根据这两个行人在监控视频图像中的高度，对监控视频图像中的这两行之外的其它行进行线性插值，得到监控视频图像中每一行的权重，其中，权重与行人在监控视频图像中的高度的平方成反比；将监控视频图像与对应的权重相乘得到基于面积的特征；将监控视频图像与对应的权重的平方根相乘得到基于边缘的特征；和/或

第二特征提取步骤：提取监控视频图像的团块特征、边缘特征或者纹理特征；其中，团块特征直接从背景差分后的前景二值图像中提取，团块特征包括团块面积、周长、边缘方向直方图特征；边缘特征采用Canny算子得到，并只保留前景区域的边缘，计算边缘总数与边缘方向直方图特征；纹理特征采用灰度共生矩阵GLCM进行描述，只保留监控视频图像中对应前景的像素，然后将监控视频图像中对应前景的像素量化为8个灰度级，并计算灰度共生矩阵；然后，基于灰度共生矩阵来计算得到三种纹理特征：均匀性特征、能量特征以及熵特征。

根据本发明提供的一种基于计算机视觉分析技术的智能视频监控系统，包括：

视频获取装置：通过固定机位的摄像机获取固定场景的监控视频；

视频分析装置：对所述监控视频进行分析，得到分析结果；

监控管理装置：将分析结果向人员进行展示或进行报警。

优选地，所述视频分析装置包括如下任一个装置：

客流统计装置：对所述监控视频中的每一帧监控画面，产生前景图像，仅对监控画面的前景部分进行处理；在得到前景图像后，对前景图像进行扫描，检测前景图像中是否包含行人头肩部位，其中，通过事先采用采集的行人头肩部位样本进行离线训练的分类器分类后得到行人头肩部位的特征；在检测到一个可能的行人头肩部位后，对该可能的行人进行跟踪；如果该可能的行人的轨迹长度、运动方向属于设定的长度阈值范围、运动方向范围内，则认为该可能的行人是一个有效的行人，并根据有效的行人的运动方向分别统计为进入人数和出去人数，否则则认为该可能的行人不是一个有效的行人；

入侵检测装置：在监控视频画面中勾勒出预告警机制覆盖的区域，针对该区域进行入侵检测；对前景图像的阴影进行滤除，其中，通过比较前景像素点和对应的背景像素，如果色度分量、亮度分量的差别属于设定的阈值范围内，则认为该前景像素点是阴影，否则则认为该前景像素点不是阴影；在阴影滤除后，对得到的前景图像进行形态学运算，通过腐蚀运算消除孤立的前景像素点；通过膨胀运算连通前景像素点，使得同一个行人的前景像素点连成一个前景团块；在形态学运算完成后，计算每个前景团块的最小外接矩形框，其中，对于几个前景团块的最小外接矩形框彼此的最小距离小于设定的距离阈值，则认为这几个前景团块是同一个行人的不同部位，并得到这几个前景团块的最小外接矩形框，将这几个前景团块作为一个整体进行处理；将每个最小外接矩形框的尺寸与事先设定的最小值和最大值比较，只有尺寸小于最大值且大于最小值的最小外接矩形框对应的团块被认为是有效的入侵；

人群密度估计装置：提取监控视频图像的特征，将背景差分后得到的二值图像转换为一个固定维数的向量，用以描述该帧监控视频图像的特征；通过训练，对监控视频中的每帧图像进行手工标注，统计出图像中的人数，作为该帧图像的标签；在得到了每一帧监控视频图像的特征和标签后，使用支持向量回归SVR得到一个回归器并将回归器用于人群密度估计；在回归器输出当前视频图像中的人群密度后，对输出结果进行滤波，使得输出结果平滑。

逆行检测装置：计算监控视频图像中均匀分布的各个点的光流，然后按照各个点上光流的方向，计算光流方向直方图；若光流方向直方图中存在与设定方向相反且幅值超过一定阈值的光流点，则认为监控视频图像中存在逆行目标，否则则认为监控视频图像中不存在逆行目标。

优选地，所述人群密度估计装置包括：

第一特征提取装置：选定监控视频图像中水平的两行，分别选取身高中心位于这两行的两个行人，计算这两个行人在监控视频图像中的高度，根据这两个行人在监控视频图像中的高度，对监控视频图像中的这两行之外的其它行进行线性插值，得到监控视频图像中每一行的权重，其中，权重与行人在监控视频图像中的高度的平方成反比；将监控视频图像与对应的权重相乘得到基于面积的特征；将监控视频图像与对应的权重的平方根相乘得到基于边缘的特征；和/或

第二特征提取装置：提取监控视频图像的团块特征、边缘特征或者纹理特征；其中，团块特征直接从背景差分后的前景二值图像中提取，团块特征包括团块面积、周长、边缘方向直方图特征；边缘特征采用Canny算子得到，并只保留前景区域的边缘，计算边缘总数与边缘方向直方图特征；纹理特征采用灰度共生矩阵GLCM进行描述，只保留监控视频图像中对应前景的像素，然后将监控视频图像中对应前景的像素量化为8个灰度级，并计算灰度共生矩阵；然后，基于灰度共生矩阵来计算得到三种纹理特征：均匀性特征、能量特征以及熵特征。

与现有技术相比，本发明具有如下的有益效果：

本发明实现了视频监控的自动化，在发生特定事件时自动产生报警信息并记录到数据库，大大减轻监控人员的劳动强度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的系统架构图。

图2为本发明的系统模块图。

图3为本发明的方法流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种基于计算机视觉分析技术的智能视频监控方法，包括：

视频获取步骤：通过固定机位的摄像机获取固定场景的监控视频；

视频分析步骤：对所述监控视频进行分析，得到分析结果；

监控管理步骤：将分析结果向人员进行展示或进行报警。

优选地，所述视频分析步骤包括如下任一个步骤：

客流统计步骤：对所述监控视频中的每一帧监控画面，产生前景图像，仅对监控画面的前景部分进行处理；在得到前景图像后，对前景图像进行扫描，检测前景图像中是否包含行人头肩部位，其中，通过事先采用采集的行人头肩部位样本进行离线训练的分类器分类后得到行人头肩部位的特征；在检测到一个可能的行人头肩部位后，对该可能的行人进行跟踪；如果该可能的行人的轨迹长度、运动方向属于设定的长度阈值范围、运动方向范围内，则认为该可能的行人是一个有效的行人，并根据有效的行人的运动方向分别统计为进入人数和出去人数，否则则认为该可能的行人不是一个有效的行人；

入侵检测步骤：在监控视频画面中勾勒出预告警机制覆盖的区域，针对该区域进行入侵检测；对前景图像的阴影进行滤除，其中，通过比较前景像素点和对应的背景像素，如果色度分量、亮度分量的差别属于设定的阈值范围内，则认为该前景像素点是阴影，否则则认为该前景像素点不是阴影；在阴影滤除后，对得到的前景图像进行形态学运算，通过腐蚀运算消除孤立的前景像素点；通过膨胀运算连通前景像素点，使得同一个行人的前景像素点连成一个前景团块；在形态学运算完成后，计算每个前景团块的最小外接矩形框，其中，对于几个前景团块的最小外接矩形框彼此的最小距离小于设定的距离阈值，则认为这几个前景团块是同一个行人的不同部位，并得到这几个前景团块的最小外接矩形框，将这几个前景团块作为一个整体进行处理；将每个最小外接矩形框的尺寸与事先设定的最小值和最大值比较，只有尺寸小于最大值且大于最小值的最小外接矩形框对应的团块被认为是有效的入侵；

人群密度估计步骤：提取监控视频图像的特征，将背景差分后得到的二值图像转换为一个固定维数的向量，用以描述该帧监控视频图像的特征；通过训练，对监控视频中的每帧图像进行手工标注，统计出图像中的人数，作为该帧图像的标签；在得到了每一帧监控视频图像的特征和标签后，使用支持向量回归SVR得到一个回归器并将回归器用于人群密度估计；在回归器输出当前视频图像中的人群密度后，对输出结果进行滤波，使得输出结果平滑。

逆行检测步骤：计算监控视频图像中均匀分布的各个点的光流，然后按照各个点上光流的方向，计算光流方向直方图；若光流方向直方图中存在与设定方向相反且幅值超过一定阈值的光流点，则认为监控视频图像中存在逆行目标，否则则认为监控视频图像中不存在逆行目标。

优选地，所述人群密度估计步骤包括：

第一特征提取步骤：选定监控视频图像中水平的两行，分别选取身高中心位于这两行的两个行人，计算这两个行人在监控视频图像中的高度，根据这两个行人在监控视频图像中的高度，对监控视频图像中的这两行之外的其它行进行线性插值，得到监控视频图像中每一行的权重，其中，权重与行人在监控视频图像中的高度的平方成反比；将监控视频图像与对应的权重相乘得到基于面积的特征；将监控视频图像与对应的权重的平方根相乘得到基于边缘的特征；和/或

第二特征提取步骤：提取监控视频图像的团块特征、边缘特征或者纹理特征；其中，团块特征直接从背景差分后的前景二值图像中提取，团块特征包括团块面积、周长、边缘方向直方图特征；边缘特征采用Canny算子得到，并只保留前景区域的边缘，计算边缘总数与边缘方向直方图特征；纹理特征采用灰度共生矩阵GLCM进行描述，只保留监控视频图像中对应前景的像素，然后将监控视频图像中对应前景的像素量化为8个灰度级，并计算灰度共生矩阵；然后，基于灰度共生矩阵来计算得到三种纹理特征：均匀性特征、能量特征以及熵特征。

根据本发明提供的一种基于计算机视觉分析技术的智能视频监控系统，包括：

视频获取装置：通过固定机位的摄像机获取固定场景的监控视频；

视频分析装置：对所述监控视频进行分析，得到分析结果；

监控管理装置：将分析结果向人员进行展示或进行报警。

优选地，所述视频分析装置包括如下任一个装置：

客流统计装置：对所述监控视频中的每一帧监控画面，产生前景图像，仅对监控画面的前景部分进行处理；在得到前景图像后，对前景图像进行扫描，检测前景图像中是否包含行人头肩部位，其中，通过事先采用采集的行人头肩部位样本进行离线训练的分类器分类后得到行人头肩部位的特征；在检测到一个可能的行人头肩部位后，对该可能的行人进行跟踪；如果该可能的行人的轨迹长度、运动方向属于设定的长度阈值范围、运动方向范围内，则认为该可能的行人是一个有效的行人，并根据有效的行人的运动方向分别统计为进入人数和出去人数，否则则认为该可能的行人不是一个有效的行人；

入侵检测装置：在监控视频画面中勾勒出预告警机制覆盖的区域，针对该区域进行入侵检测；对前景图像的阴影进行滤除，其中，通过比较前景像素点和对应的背景像素，如果色度分量、亮度分量的差别属于设定的阈值范围内，则认为该前景像素点是阴影，否则则认为该前景像素点不是阴影；在阴影滤除后，对得到的前景图像进行形态学运算，通过腐蚀运算消除孤立的前景像素点；通过膨胀运算连通前景像素点，使得同一个行人的前景像素点连成一个前景团块；在形态学运算完成后，计算每个前景团块的最小外接矩形框，其中，对于几个前景团块的最小外接矩形框彼此的最小距离小于设定的距离阈值，则认为这几个前景团块是同一个行人的不同部位，并得到这几个前景团块的最小外接矩形框，将这几个前景团块作为一个整体进行处理；将每个最小外接矩形框的尺寸与事先设定的最小值和最大值比较，只有尺寸小于最大值且大于最小值的最小外接矩形框对应的团块被认为是有效的入侵；

人群密度估计装置：提取监控视频图像的特征，将背景差分后得到的二值图像转换为一个固定维数的向量，用以描述该帧监控视频图像的特征；通过训练，对监控视频中的每帧图像进行手工标注，统计出图像中的人数，作为该帧图像的标签；在得到了每一帧监控视频图像的特征和标签后，使用支持向量回归SVR得到一个回归器并将回归器用于人群密度估计；在回归器输出当前视频图像中的人群密度后，对输出结果进行滤波，使得输出结果平滑。

逆行检测装置：计算监控视频图像中均匀分布的各个点的光流，然后按照各个点上光流的方向，计算光流方向直方图；若光流方向直方图中存在与设定方向相反且幅值超过一定阈值的光流点，则认为监控视频图像中存在逆行目标，否则则认为监控视频图像中不存在逆行目标。

优选地，所述人群密度估计装置包括：

第一特征提取装置：选定监控视频图像中水平的两行，分别选取身高中心位于这两行的两个行人，计算这两个行人在监控视频图像中的高度，根据这两个行人在监控视频图像中的高度，对监控视频图像中的这两行之外的其它行进行线性插值，得到监控视频图像中每一行的权重，其中，权重与行人在监控视频图像中的高度的平方成反比；将监控视频图像与对应的权重相乘得到基于面积的特征；将监控视频图像与对应的权重的平方根相乘得到基于边缘的特征；和/或

第二特征提取装置：提取监控视频图像的团块特征、边缘特征或者纹理特征；其中，团块特征直接从背景差分后的前景二值图像中提取，团块特征包括团块面积、周长、边缘方向直方图特征；边缘特征采用Canny算子得到，并只保留前景区域的边缘，计算边缘总数与边缘方向直方图特征；纹理特征采用灰度共生矩阵GLCM进行描述，只保留监控视频图像中对应前景的像素，然后将监控视频图像中对应前景的像素量化为8个灰度级，并计算灰度共生矩阵；然后，基于灰度共生矩阵来计算得到三种纹理特征：均匀性特征、能量特征以及熵特征。

下面对本发明进行更为详细的描述。

如图1所示，根据本发明提供的基于计算机视觉分析技术的智能视频监控系统，包括以下设备：

(1)摄像机

可以采用视频监控系统的摄像机，可以是标清模拟摄像机，也可以采用网络数字摄像机。但必须采用固定安装的枪机，也就是场景必须固定，不能安装有可以自由转动的云台。如果是标准的RTSP摄像机，则可以直接连接视频分析服务器。其中，摄像机固定安装在固定支架上。

(2)录像机

视频流一般可以从硬盘录像机中获取。如果直接从摄像机获取视频，则需要采用网络数字摄像机或采用编码器将模拟摄像机的模拟视频信号转换成网络数字信号。

(3)视频分析服务器

这是基于计算机视觉分析技术的智能视频监控系统中的核心设备，能够对前端摄像机传来的视频进行智能分析并进行客流统计、入侵检测、人群密度和逆行检测的计算分析，同时数据发送到监控管理终端并存储到数据库。目前一台高性能的服务器最多可以支持32路视频。

(4)监控管理终端

监控管理终端是系统与用户进行人机交互的终端程序，可以进行视频监控，可以查询各种报警信息以及对应的监控录像，并以各种统计报表的形式展示给用户，可以在视频中特定事件发生时自动弹出对应的监控画面并发出声音报警。

视频分析服务器包括以下功能模块：

(1)客流统计模块

客流统计又称为行人计数，用来统计通道口出入人数，并提供人群流动方向等信息，适用于交通枢纽、机场、车站、商场、超市、连锁店、公园景区、体育场馆、娱乐场所等交通业、零售业、旅游娱乐业和安防领域，可以为用户提供人员数量、滞留人数、人流规律、人数趋势等信息，为管理者提供科学的决策依据。本客流统计模块能自动检测和跟踪行人，并据此判断行人进出的方向和数量。将检测得到的行人信息通过网络传输并存储到数据库，以供客户进行各种查询统计操作。

客流统计模块主要使用的技术有基于混合高斯模型的背景差分技术、基于haar小波特征和cascade层叠分类器的行人头肩检测技术、基于Kalman滤波的行人跟踪技术等。在监控视频中，首先对每一帧监控画面，采用基于混合高斯模型的背景差分算法产生前景图像，在后续的处理算法中，仅需对图像的前景部分进行处理，而无需处理背景部分，可以显著提高行人检测的速度并降低误检率。在得到前景图像后，采用基于haar小波特征与cascade层叠结构的分类器对前景区域进行扫描，检测其中是否包含行人的头肩部位，分类器事先采用大量采集的行人头肩样本进行离线训练的分类器分类后得到。在检测到一个可能的行人头肩部位之后，采用Kalman滤波器对其进行跟踪，同时消除检测阶段的误检结果。最后，根据行人的轨迹长度、方向等进行综合判断其是否为一个有效的行人，并根据其运动方向分别统计为进入/出去的人数。

(2)入侵检测

入侵检测视频分析功能即针对进入禁入区域的目标进行检测并按照用户设置的规则触发报警。用户可以通过在视频画面中勾勒出预告警机制覆盖的区域，这个区域既可以是规则区域，也可以是不规则区域，视频分析只需在这个区域内进行。一旦有入侵者-闯入该区域，即产生入侵报警事件，并在客户端自动显示报警的视频。用户可以根据该报警信息做出相应的管理措施，避免财物损失或其他意外事件发生。该模块克服了传统视频监控系统中入侵检测的相关缺陷。可对背景进行自适应建模，克服光照变化、阴影、雨雪天气、持续的背景运动物体(如随风飘动的树叶等)对检测性能带来的影响。同时，对于检测到的前景物体，还要对其进行形状分析，滤除个别噪声或其他小物体的影响。最后还要对检测结果进行跟踪，分析其运动轨迹，符合入侵行为的最终才判定为非法入侵行为并触发报警通知。

入侵检测模块主要使用的技术有基于混合高斯模型的背景差分技术、基于图像形态学的前景分析技术和基于Kalman滤波的目标跟踪技术。基于混合高斯模型的背景差分技术以及基于Kalman滤波的目标跟踪技术已在客流统计模块中描述，本模块只描述基于图像形态学的前景分析技术。

在工业生产现场，由于环境恶劣，背景不稳定(比如光线经常会变化、背景有固定来回运动的物体、有较大的震动、有大量的粉尘等)，很难得到一个完美的前景图像。因此，需要对背景建模后得到的前景图像进行进一步的分析，滤除可能的背景像素，将破碎的部分填补上，以及消除一些环境噪声的影响等。本模块首先对前景图像的阴影进行滤除，因为阴影的存在将会对后续前景图像的分析产生较大的影响。通过比较前景像素点和对应的背景像素，如果色度和亮度分量的差别分别在某一范围内，则该像素被认为是阴影。在阴影消除后，对得到的前景图像进行形态学运算，通过腐蚀运算消除孤立的前景像素点，因为它一般是噪声所引起的；通过膨胀运算连通附近的前景像素点，使得同一个人的前景像素连成一个团块，而不是支离破碎的。

在形态学处理完成后，计算每个前景团块的最小外接矩形框。若有几个团块的最小外接矩形框彼此非常接近，则还是可以认为是同一个人的不同部位。这时，我们用一个更大的矩形框同时包含这几部分前景团块，将其作为一个整体进行处理。为了避免将其他变化的背景误分类为前景像素，同时考虑到摄像机的透视效应，本项目要求在监控视频中指定入侵检测的最小目标和最大目标大小。在得到每个前景团块的外接矩形框后，将它与事先设定的最小值和最大值比较，只有落在这个区间范围内的目标矩形框，才认为是入侵的人；反之，若前景团块的外接矩形框小于最小值或大于最大值，则认为是其他背景物体，不是入侵的人。

(3)人群密度估计

人群密度估计功能是统计计算设定区域内的人群数量，当指定区域内人数超过预设的阈值时将自动产生报警，提示监控管理人员采取针对性的措施。同时系统拥有先进的算法能将背景中的物体和人群区分开来，减少其他因素的干扰，能检测高密度情况下的人群密度，具有较高的检测准确度。

人群密度估计模块主要使用的技术有基于混合高斯模型的背景差分技术、透视校正技术、图像特征提取技术以及回归器设计技术。

在一般的监控摄像机拍摄的视频中，由于相机的安装位置，使得图像一般存在透视效应，从而使得不同位置处的行人，在图像中的大小并不相同。因此，需要将不同位置的行人调整至同一大小，方便后续的特征提取。我们采用对图像不同位置进行加权的方法来解决透视问题。具体方法为：选定图像中水平的两行，分别选取中心位于这两行的两个行人，计算其高度，根据这两个人在图像中的高度，对图像中的其它行进行线性插值，得到图像中每一行的权重，权重与行人高度的平方成反比。对于基于面积的特征(如团块特征)，直接将图像与对应的权重相乘；对于基于边缘的特征，则将图像与对应的权重的平方根相乘。

特征提取是实现人群密度估计的核心。通过特征提取，将背景差分后得到的二值图像转换为一个固定维数的向量，用以描述该帧图像的特征。本模块中，我们使用了图像前景团块特征、边缘特征和纹理特征这3种类型的图像特征。团块特征直接从背景差分后的前景二值图像中提取，包括团块面积、周长、边缘方向直方图等特征；边缘特征采用Canny算子得到，并只保留前景区域的边缘，计算边缘总数与边缘方向直方图等特征；纹理特征采用GLCM(灰度共生矩阵)进行描述，只保留图像中对应前景的像素，然后将它量化为8个灰度级，并计算GLCM矩阵。在计算GLCM矩阵的时候，我们取d＝1，θ＝{0°，45°，90°，135°}。然后，基于GLCM矩阵来计算以下三种纹理特征：均匀性特征、能量特征和熵特征。

经过特征提取的步骤，每帧图像就被转化成了一个29维的向量。在训练阶段，需要对视频中的每帧图像进行手工标注，统计出图像中的人数，作为该帧的标签。在得到了每一个特征和标签后，问题就转化成了一个回归问题。本模块使用SVR(支持向量回归)来训练这个回归问题，得到一个回归器并将其用于人群密度估计。在回归器输出当前视频图像中的人群密度后，对输出结果进行滤波，使得输出结果更加平滑。

(4)逆行检测

逆行检测分析功能，能准确检测出单向通道内的逆行目标并触发报警。应用于公共自动扶梯、车道、机场、火车、地铁内单向通道或关口的监测与报警。用户可以通过在视频画面中自行设定检测区域和运动方向，一旦有逆行发生，客户端自动显示并记录报警的视频。

逆行检测模块主要使用的技术有基于光流的运动分析技术。为了提高计算效率，本模块不选择在图像特征点处计算光流，而是在一个均匀分布的网格上计算各个点的光流，然后按照各个网格点上光流的方向，计算光流方向直方图。若直方图中存在与设定方向相反且幅值超过一定阈值的光流点，则认为视频中存在逆行的目标。对检测出的逆行目标再进行跟踪以确认是真正的逆行目标还是误报。

(5)监控管理

监控管理终端是一款集视频实时播放、视频回放、实时报警、报警视频重组、报警查询等多项功能为一体的终端系统软件，该系统可以实时将收到的报警信号和相应的视频显示出来，一旦有报警发生，不但发出声音警报，还会实时弹出画面显示发生报警视频的最近历史回放和实时视频，便于监控人员快速的确认报警来源，为最短时间发现报警行为提供有力的保障。所有的报警信息都会被存储到数据库，并能通过该软件方便的检索到，同时还可以快速定位到发生报警的视频并进行回放。监控管理软件提供了客流统计数据的图表统计功能，通过时间和视频场景门道分类，可以查询进入、出去、以及滞留人数，并以折线图的形式呈现给用户。

在优选的具体实施方式中：采用主流视频监控厂商的录像机与摄像机产品，与本发明系统的视频分析服务器和监控管理终端位于同一内网中。调整摄像机对焦，使得监控画面清晰，行人轮廓清晰可辨。按照本发明的要求，在视频分析服务器和监控管理终端上分别安装本发明系统相应部分的装置，并进行相应的配置。

实施例1：公共场所客流统计。

硬件需求：摄像机正对通道或门口安装，摄像机水平方向与地面成30度左右夹角，视野中尽量不出现除行人外的其他比较明显的移动物体(如车辆等)。

在系统软硬件配置完成后，打开分析服务配置程序，选择要进行客流统计的视频通道，使用绘制区域功能在其中绘制一个四边形的区域作为客流统计的行人检测区域；使用区域方向功能在区域中绘制一个箭头，行人沿着该箭头方向行走视为进入该区域，逆着该箭头方向行走视为离开该区域；使用绘制远近人体框功能在视频中绘制一个和远处(小)行人类似大小的矩形框，以及一个和近处(大)行人类似大小的矩形框；最后为该区域选择打开客流统计功能即可。

在系统运行了一段时间后，可以通过监控管理终端来查看客流统计结果。在监控管理终端设备上打开监控管理程序，点击“客流统计”按钮，选择指定的日期时间、门道、类型(进入人数/出去人数/滞留人数)信息后，即可按照折线图的方式查看感兴趣的客流统计信息。

实施例2：工业场所防入侵监控

硬件需求：摄像机正对不允许随意进入的场所，视野中尽量不出现除行人外的其他比较明显的移动物体(如车辆等)，如果摄像机安装于有灯光的场合，需尽量避免灯光的频繁变化。

在系统软硬件配置完成后，打开分析服务配置程序，选择要进行入侵检测的视频通道，使用绘制区域功能在其中绘制一个或多个多边形区域作为入侵检测区域；使用绘制远近人体框功能在视频中绘制一个和远处(小)行人类似大小的矩形框，以及一个和近处(大)行人类似大小的矩形框；最后为该区域选择打开入侵检测功能即可。

入侵检测功能打开后，一旦设定的区域有人进入，将在监控管理程序中自动弹出入侵发生时刻的视频信息，方便监控人员及时查看，同时产生声音报警。也可通过主界面上的“历史报警”功能查看以往的入侵检测结果，并自动调出当时事件发生时的录像。

实施例3：轨道交通站台人群密度估计

硬件需求：摄像机正对轨道交通站台安装，视野覆盖要进行人群密度估计的区域。

训练阶段：由于人群密度估计算法的特殊性，需要对每个摄像机进行一次训练后才可使用(每个摄像机在位置不变的情况下只需训练一次，不训练也可以，但估计的准确率会变差)。在训练阶段，系统软硬件配置完成后，打开分析服务配置程序，选择要进行人群密度训练的视频通道，使用绘制区域功能在其中绘制一个多边形区域作为人群密度估计区域；之后在“算法设置”对话框的“人群密度”标签页里，选择所需的人群密度类型(需要估计区域中的人数或是密度等级)再为该区域选择打开人群密度估计功能。然后在菜单中选择“人群密度训练分类器”功能，同时观察区域中目前的人数(或密度等级)，将其填入人数框内(或选择适当的密度等级)并点击“采集当前样本”按钮。之后重复该过程，在人数较少/中等/较多的场景各采集一些样本，可以得到更好的效果。在采集了几百到几千帧图像样本后，点击开始训练即可。

训练完成后，系统会自动使用训练好的回归器，可以在视频分析配置程序里各个通道视频的左下角看到当前区域的估计的人数(或密度等级)。在“算法设置”对话框的“人群密度”标签页中，可以设定人数或密度等级的上限，达到或超过该上限即自动产生报警。同样可通过主界面上的“历史报警”功能查看以往的入侵检测结果，并自动调出当时事件发生时的录像。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (2)

1.一种基于计算机视觉分析技术的智能视频监控方法，其特征在于，包括：

视频获取步骤：通过固定机位的摄像机获取固定场景的监控视频；

视频分析步骤：对所述监控视频进行分析，得到分析结果；

监控管理步骤：将分析结果向人员进行展示或进行报警；

所述视频分析步骤包括如下步骤：

客流统计步骤：对所述监控视频中的每一帧监控画面，产生前景图像，仅对监控画面的前景部分进行处理；在得到前景图像后，对前景图像进行扫描，检测前景图像中是否包含行人头肩部位，其中，通过事先采用采集的行人头肩部位样本进行离线训练的分类器分类后得到行人头肩部位的特征；在检测到一个可能的行人头肩部位后，对该可能的行人进行跟踪；如果该可能的行人的轨迹长度、运动方向属于设定的长度阈值范围、运动方向范围内，则认为该可能的行人是一个有效的行人，并根据有效的行人的运动方向分别统计为进入人数和出去人数，否则，则认为该可能的行人不是一个有效的行人；

入侵检测步骤：在监控视频画面中勾勒出预告警机制覆盖的区域，针对该区域进行入侵检测；对前景图像的阴影进行滤除，其中，通过比较前景像素点和对应的背景像素，如果色度分量、亮度分量的差别属于设定的阈值范围内，则认为该前景像素点是阴影，否则则认为该前景像素点不是阴影；在阴影滤除后，对得到的前景图像进行形态学运算，通过腐蚀运算消除孤立的前景像素点；通过膨胀运算连通前景像素点，使得同一个行人的前景像素点连成一个前景团块；在形态学运算完成后，计算每个前景团块的最小外接矩形框，其中，对于几个前景团块的最小外接矩形框彼此的最小距离小于设定的距离阈值，则认为这几个前景团块是同一个行人的不同部位，并得到这几个前景团块的最小外接矩形框，将这几个前景团块作为一个整体进行处理；将每个最小外接矩形框的尺寸与事先设定的最小值和最大值比较，只有尺寸小于最大值且大于最小值的最小外接矩形框对应的团块被认为是有效的入侵；

人群密度估计步骤：提取监控视频图像的特征，将背景差分后得到的二值图像转换为一个固定维数的向量，用以描述该帧监控视频图像的特征；通过训练，对监控视频中的每帧图像进行手工标注，统计出图像中的人数，作为该帧图像的标签；在得到了每一帧监控视频图像的特征和标签后，使用支持向量回归SVR得到一个回归器并将回归器用于人群密度估计；在回归器输出当前视频图像中的人群密度后，对输出结果进行滤波，使得输出结果平滑；

逆行检测步骤：计算监控视频图像中均匀分布的各个点的光流，然后按照各个点上光流的方向，计算光流方向直方图；若光流方向直方图中存在与设定方向相反且幅值超过一定阈值的光流点，则认为监控视频图像中存在逆行目标，否则则认为监控视频图像中不存在逆行目标；

所述人群密度估计步骤包括：

第一特征提取步骤：选定监控视频图像中水平的两行，分别选取身高中心位于这两行的两个行人，计算这两个行人在监控视频图像中的高度，根据这两个行人在监控视频图像中的高度，对监控视频图像中的这两行之外的其它行进行线性插值，得到监控视频图像中每一行的权重，其中，权重与行人在监控视频图像中的高度的平方成反比；将监控视频图像与对应的权重相乘得到基于面积的特征；将监控视频图像与对应的权重的平方根相乘得到基于边缘的特征；和/或

第二特征提取步骤：提取监控视频图像的团块特征、边缘特征或者纹理特征；其中，团块特征直接从背景差分后的前景二值图像中提取，团块特征包括团块面积、周长、边缘方向直方图特征；边缘特征采用Canny算子得到，并只保留前景区域的边缘，计算边缘总数与边缘方向直方图特征；纹理特征采用灰度共生矩阵GLCM进行描述，只保留监控视频图像中对应前景的像素，然后将监控视频图像中对应前景的像素量化为8个灰度级，并计算灰度共生矩阵；然后，基于灰度共生矩阵来计算得到三种纹理特征：均匀性特征、能量特征以及熵特征。

2.一种基于计算机视觉分析技术的智能视频监控系统，其特征在于，包括：

视频获取装置：通过固定机位的摄像机获取固定场景的监控视频；

视频分析装置：对所述监控视频进行分析，得到分析结果；

监控管理装置：将分析结果向人员进行展示或进行报警；

所述视频分析装置包括如下任一个装置：

客流统计装置：对所述监控视频中的每一帧监控画面，产生前景图像，仅对监控画面的前景部分进行处理；在得到前景图像后，对前景图像进行扫描，检测前景图像中是否包含行人头肩部位，其中，通过事先采用采集的行人头肩部位样本进行离线训练的分类器分类后得到行人头肩部位的特征；在检测到一个可能的行人头肩部位后，对该可能的行人进行跟踪；如果该可能的行人的轨迹长度、运动方向属于设定的长度阈值范围、运动方向范围内，则认为该可能的行人是一个有效的行人，并根据有效的行人的运动方向分别统计为进入人数和出去人数，否则则认为该可能的行人不是一个有效的行人；

入侵检测装置：在监控视频画面中勾勒出预告警机制覆盖的区域，针对该区域进行入侵检测；对前景图像的阴影进行滤除，其中，通过比较前景像素点和对应的背景像素，如果色度分量、亮度分量的差别属于设定的阈值范围内，则认为该前景像素点是阴影，否则则认为该前景像素点不是阴影；在阴影滤除后，对得到的前景图像进行形态学运算，通过腐蚀运算消除孤立的前景像素点；通过膨胀运算连通前景像素点，使得同一个行人的前景像素点连成一个前景团块；在形态学运算完成后，计算每个前景团块的最小外接矩形框，其中，对于几个前景团块的最小外接矩形框彼此的最小距离小于设定的距离阈值，则认为这几个前景团块是同一个行人的不同部位，并得到这几个前景团块的最小外接矩形框，将这几个前景团块作为一个整体进行处理；将每个最小外接矩形框的尺寸与事先设定的最小值和最大值比较，只有尺寸小于最大值且大于最小值的最小外接矩形框对应的团块被认为是有效的入侵；

人群密度估计装置：提取监控视频图像的特征，将背景差分后得到的二值图像转换为一个固定维数的向量，用以描述该帧监控视频图像的特征；通过训练，对监控视频中的每帧图像进行手工标注，统计出图像中的人数，作为该帧图像的标签；在得到了每一帧监控视频图像的特征和标签后，使用支持向量回归SVR得到一个回归器并将回归器用于人群密度估计；在回归器输出当前视频图像中的人群密度后，对输出结果进行滤波，使得输出结果平滑；

逆行检测装置：计算监控视频图像中均匀分布的各个点的光流，然后按照各个点上光流的方向，计算光流方向直方图；若光流方向直方图中存在与设定方向相反且幅值超过一定阈值的光流点，则认为监控视频图像中存在逆行目标，否则则认为监控视频图像中不存在逆行目标；

所述人群密度估计装置包括：

第一特征提取装置：选定监控视频图像中水平的两行，分别选取身高中心位于这两行的两个行人，计算这两个行人在监控视频图像中的高度，根据这两个行人在监控视频图像中的高度，对监控视频图像中的这两行之外的其它行进行线性插值，得到监控视频图像中每一行的权重，其中，权重与行人在监控视频图像中的高度的平方成反比；将监控视频图像与对应的权重相乘得到基于面积的特征；将监控视频图像与对应的权重的平方根相乘得到基于边缘的特征；和/或

第二特征提取装置：提取监控视频图像的团块特征、边缘特征或者纹理特征；其中，团块特征直接从背景差分后的前景二值图像中提取，团块特征包括团块面积、周长、边缘方向直方图特征；边缘特征采用Canny算子得到，并只保留前景区域的边缘，计算边缘总数与边缘方向直方图特征；纹理特征采用灰度共生矩阵GLCM进行描述，只保留监控视频图像中对应前景的像素，然后将监控视频图像中对应前景的像素量化为8个灰度级，并计算灰度共生矩阵；然后，基于灰度共生矩阵来计算得到三种纹理特征：均匀性特征、能量特征以及熵特征。

Images