CN102938058A - 面向平安城市的视频主动智能感知方法及系统 - Google Patents

Abstract

本发明涉及视频监控技术领域，公开了一种面向平安城市的视频主动智能感知方法及系统。该方法具体步骤包括：读取监控视频图像并处理；对处理后的视频图像进行行人检测；对检测到的行人进行人脸识别，判断是否为网上通缉的罪犯或是潜在造成社会治安不稳定的人员；对检测到的行人进行行为检测，判断其行为是否存在异常；对检测到的行人进行异常姿态检测；对有异常姿态的人员进行视线跟踪；最后进行物品遗留检测。基于该方法设计组成的系统具体包括：视频采集模块、智能感知模块和决策报警模块。本发明通过计算机辅助人进行实时监控和管理，采用智能化软件平台，自动分析潜在隐患并进行报警，能够防患于未然。

Description

面向平安城市的视频主动智能感知方法及系统

技术领域

本发明涉及视频监控技术领域，特别涉及公共安全视频方面的主动智能感知方法及系统。

背景技术

平安城市一直以来是人们关注的热点话题，许多人都在思考，如何让我们生活的场所更加安全，如何构建一个强大的安防网路来保证整个城市的安全？显而易见，运用科学、先进的技防手段是最为行之有效的，在这种前提下，城市安防系统的建设便显得愈发重要。视频监控是安全防范系统的重要组成部分，它是一种防范能力较强的综合系统。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。

随着视频监控范围的不断扩大，现有的人工监控方式已经越来越力不从心，因为对于视频监控人员来说，海量的视频信息和长时间的屏幕监控所带来的视觉疲劳会导致许多重要信息被忽略，所以，单靠人工监控很难及时发现并遏制危险的发生。此外，事后为了寻找证据而去整理视频监视器所保存下来的海量信息也是一项复杂而麻烦的工作。

在此背景下，能够提供相应的技术方案使得安全问题发生时监控人员能快速而准确地从监控视频中锁定目标人物并且由系统将有用视频信息及时有效地存储下来，就成为视频监控领域急需解决的问题。

发明内容

针对现有公共场合视频监控技术无法主动发现并锁定直接或潜在危险目标的不足，本发明提供一种多模态的视频主动智能感知监控方法和系统，能够在监控视频中自动锁定和跟踪直接或潜在危险目标，并对监控人员发出声光报警信号。

为了达到上述目的，本发明采用的技术方案包含以下几个步骤：

A、读取视频监控图像并对图像进行光线补偿、均衡化和滤波去噪；

B、对处理后的图像使用背景差分法进行行人检测；

具体方法步骤如下：

B1、使用四元数法提取所述步骤A处理后的图像边缘轮廓；

B2、使用帧差法提取边缘图像背景；

具体方法步骤如下：

B21、提取历史时间段内N帧边缘图像F_i(x，y)，其中i＝1，2…N，将N帧边缘图像相加得到边缘图像的历史累计，则历史累计图像的中心点为：

B22、计算超复数空间边缘图像标准差：

$S.\mathrm{Img}(x,y)=\sqrt{\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|F_i.\mathrm{Img}(x,y)-F_0.\mathrm{Img}(x,y)|}^2};$

B23、根据 $\left\{F_i(x,y)\right|\∀c|F_i.\mathrm{Img}(x,y)-F_0.\mathrm{Img}(x,y)|\≤S.\mathrm{Img}(x,y);i=\mathrm{1,2},...N\},$ 计算该集合中所有元素的平均值，即为所求背景

B3、使用背景差分法检测运动目标；

B4、对检测到的运动目标使用人脸模板匹配判断是否为行人。

C、对检测到的行人进行人脸识别，判断跟踪区域内的人脸是否为网上通缉的在逃人员或者潜在造成社会治安不稳定的人员；

D、对检测到的行人进行行为检测，判断是否存在异常行为，包括闪躲、奔跑、徘徊和追逐；

具体实施步骤为：

D1、将检测到的目标窗口中心坐标多帧相连，得到运动目标的运动轨迹；

D2、使用双层词袋模型进行异常行为识别，其中异常行为包括闪躲、奔跑、徘徊和追逐；

D3、提取有异常行为的行人特征并保存。

E、对检测到的行人进行手势识别，判断行人姿态是否异常，包括手持物是否为刀具、枪支和棍棒以及手势是否为拉扯、投掷和扭打；

具体实施步骤为：

E1、利用肤色分割和边缘检测初步分割出人手位置；

E2、结合所述步骤C中人脸的位置精确定位人手；

E3、手持物检测，判断手持物是否为限定物品，限定物包括刀具、枪支和棍棒；

E4、判断手势是否为拉扯、投掷或扭打。

F、对检测到的行人进行视线跟踪识别，判断行人视线落点是否在其他行人口袋或随身携带物之上；

G、对检测到的行人进行物品遗留检测，对行人随身物品跟踪，若有物品遗留，提醒监控人员注意是否有人遗失物品或者故意在公共场所放置危险物品。

本发明提供的视频主动智能感知系统，包括：视频采集模块，用于读取视频并对视频图像进行预处理，包括图像的光线补偿、均衡化、滤波去噪以及图像的背景提取；智能感知模块，用于对指定对象的自动识别和跟踪；决策报警模块，用于对异常情况发生时产生声光报警提醒监控人员注意。

本发明提供的视频主动智能感知系统，所述智能感知模块是基于多模态的检测跟踪和识别，包括：模态1，运动目标检测；模态2，行为检测；模态3，人脸识别；模态4，手势识别；模态5，视线跟踪和模态6，物品遗留检测。

本发明的有益效果是，可以主动智能地感知异常事件的发生，协助视频监控人员快速有效的发现并锁定人员密集地存在的直接或潜在的危险目标，为警务人员及时到达现场做出相应处理节省了时间，从而达到更好的保障公共安全的目的。本发明和现有的技术相比具有主动感知和明确识别异常以及对异常情况进行报警的功能，能够实现安防监控系统功能从事后查看到事前预警的转变。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明面向平安城市的视频主动智能感知报警方法的流程图；

图2是本发明报警系统的结构框图；

图3是人脸识别环节的流程图；

图4是视线跟踪识别环节的结构示意图。

具体实施方式

以下结合实施例和附图说明本发明技术方案。所描述的实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

本视频主动智能感知报警系统共包含三个功能模块，包括：视频采集模块，用于读取视频并对视频图像进行预处理，包括图像的光线补偿、均衡化、滤波去噪以及图像的背景提取；智能感知模块，用于对指定对象的自动识别和跟踪；决策报警模块，用于对异常情况发生时产生声光报警提醒监控人员注意，组成结构如图2所示。

以下结合图1对本发明方法进行详细说明，具体实施步骤为：

(1)读取视频图像并进行预处理，然后进行背景图像分离。图像预处理部分包含以下三个步骤：

a)光线补偿：由于光线原因，所照的图像可能会存在光线不平衡的情况而造成色彩偏差，为了抵消这种整个图像中存在的色彩偏差将整个图像中所有像素的亮度(经过了非线性γ校正后的亮度)从低到高进行排列，取前5％的像素，如果这些像素的数目足够多，就将将它们的亮度都调整为最大值255，光线补偿系数通过前5％像素亮度的平均值除以255获得，整幅图像的其他像素点的色彩值按这一调整尺度进行变换。

b)灰度直方图均衡化：为了减少光照强度和阴影等不利因素对检测图像的干扰，将整体图像的灰度分步进行标准化，拓宽像素个数偏多的灰度，减少像素个数偏少的灰度，从而使得图像灰度等级减少，轮廓更为清晰，对比度增强。

c)滤波去噪：为了去除图像在量化和传输过程中产生的干扰，需要对读取的图像进行滤波去噪。采用小波分析进行图像去噪，首先对图像信号进行小波分解，然后对经过层次分解后的高频系数进行阈值量化，最后利用二维小波重构图像信号。

背景提取部分包含以下几个步骤：

a)彩色图像边缘提取。对一个彩色像素或者彩色矢量C(x，y)＝[u₁，u₂，…u_n]^T，图像函数在位置(x，y)的变化用等式ΔC(x，y)＝JΔ(x，y)来描述。彩色图像函数中具有最大变化或者不连续性的方向用对应本征值的本征矢量J^TJ来表示，如果变化超过一定的值，就表明存在彩色边缘像素。彩色空间中的一个点(x，y)在四元数空间中可以表示为：

Img(x，y)＝iR(x，y)+jG(x，y)+kB(x，y)                式(1)

式(1)中R(x，y)、G(x，y)、B(x，y)为RGB空间的三个色彩分量，i、j、k分别代表三个虚部分量，且满足： $\left\{\begin{array}{c}i\·j=-j\·i=k\\ j\·k=-k\·j=i\\ k\·i=-i\·k=j\\ i^2=j^2=k^2=-1\end{array}\right.$ 式(2)

在四元数空间中令：

其中，μ代表灰度图像矢量，该轴上的点满足R＝G＝B，任何彩色向量在该轴上的投影代表该向量的强度，在此基础上，定义四元数空间中的旋转向量：

u(θ)＝e^μθ＝cosθ+μsinθ                    式(3)

把该空间中两个共轭向量u(θ)和u^*(θ)与图像Img的左右卷积称为图像Img的旋转变换。即：Y(θ)＝u(θ)[img]u^*(θ)                    式(4)

由于任一个彩色像素矢量Img，都有u(θ)[img]u^*(θ)是一个纯虚四元数，那么对任意两个彩色像素矢量Q₁和Q₂，令Q₃＝Q₁+u(θ)Q₂u^*(θ)。如果两彩色像素矢量相同，则|Q₃|＝0，若Q₁和Q₂色调接近，那么Q₃必位于灰度矢量μ附近，即是说存在任意小的正数δ，有|Q₃|＜δ(δ为任意小正数)，若彩色像素矢量Q₁和Q₂在图像边缘，就能迅速判断出来。彩色图像经过四元数矢量旋转处理以后，再将其转换到HSV色彩空间，提取其中的S分量，便可得到边缘图形。

b)边缘图像的背景提取。由于公共场所的摄像头位置相对固定，因此背景图像也相对固定。提取前一个时间段内N帧边缘图像F_i(x，y)，其中i＝1，2…N，将N帧边缘图像相加得到边缘图像的历史累计，则历史累计图像的中心点为：

$F_0(x,y)=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{F}_i(x,y)}{N}$ 式(5)

标准差为：

$S.\mathrm{Img}(x,y)=\sqrt{\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|F_i.\mathrm{Img}(x,y)-F_0.\mathrm{Img}(x,y)|}^2}$ 式(6)

式(6)中Img(x，y)表达式如式(1)所示，令集合：

$\left\{F_i(x,y)\right|\∀c|F_i.\mathrm{Img}(x,y)-F_0.\mathrm{Img}(x,y)|\≤S.\mathrm{Img}(x,y);i=\mathrm{1,2},...N\}$ 式(7)

式(7)中所有元素的平均值，就是所求背景，

$B(x,y)=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{F}_i(x,y)}{N}$ 式(8)

式(8)中F_i(x，y)为满足式(7)条件的集合中元素。

(2)运动行人检测。首先，对步骤(1)中所获得的背景图像使用图像差分法首先检测到运动目标；然后，对检测到的运动目标使用基于模板匹配的人脸检测方法检测人脸，确定该运动目标是否为行人；最后，获取目标窗口和中心，再结合Mean-shift算法，实现能适应目标尺寸大小改变情况的全自动跟踪。

(3)对检测到的行人进行人脸识别，判断该目标是否为网上通缉人员或者是潜在造成社会治安不稳定的人员。具体流程如图3所示，具体实现分以下几个步骤：

a)根据肤色初步定位人脸的位置，并分割出来。

b)用积分投影算法大致找出眼睛的位置。

c)用Adaboost算法粗定位嘴巴的位置。通过Adaboost算法检测出人脸图像大致的嘴部区域，缩小了后续定位的搜索范围，采用改进的局部梯度算子提取嘴部轮廓，通过Ostu阈值法对提取的轮廓进行二值化处理，根据链码跟踪最终确定左右嘴角的精确位置。

d)用改进的局部梯度算子精确定位眼角和嘴角。

e)根据眼睛和嘴巴的位置进行人脸图像归一化：人脸的几何特征中，嘴角是重要特征点，不仅提供了唇形外轮廓宽度的测量标准，也是嘴部和人脸图像归一化，如旋转、缩放的基准点，更是很多直接提取特征点的几何模型的参考。因此利用嘴角配合眼睛作为归一化的基准点，可以达到更好的特征提取和匹配效果，提高最终识别率。由于在每幅人脸图像的大小不同，因此可能导致眼睛、鼻子、口等的位置发生误差，因而会导致识别结果发生错误，所以在对人脸表情特征提取和分类之前一般需要做几何归一化和灰度归一化。

f)归一化后的人脸与当前数据库进行匹配，判别是否为异动人员。根据异常行为的分类，奔跑和闪躲的行为目标，与网上通缉的在逃人员数据库匹配，判断是否为通缉的罪犯；当前徘徊的行为目标与前期的徘徊行为目标进行比对，判断是否为潜在造成社会治安不稳定的人员如黄牛、小偷或诈骗人员等。

(4)对检测到的行人进行异常行为检测判断。具体实现步骤为：

a)将步骤(2)中的运动目标窗口中心坐标多帧相连，得到运动目标的运动轨迹。

b)使用双层词袋模型进行异常行为识别，其中异常行为包括闪躲、奔跑、徘徊和追逐。

c)提取异常行为目标特征并保存，对有追逐行为的目标示警。

(5)步骤(3)和(4)中判断结果为否的进行异常姿态判断。具体实现步骤为：

a)利用肤色分割和边缘检测初步分割出人手位置。

b)结合步骤(4)中人脸的位置精确定位人手。

c)手持物检测，判断手持物是否为限定物品，限定物包括刀具、枪支和棍棒。

d)判断手势是否为拉扯、投掷或扭打。

(6)对步骤(5)中判断结果为否的行人进行视线跟踪，判断该行人视线落点是否总是紧盯其他行人的口袋或随身携带物。执行过程如图4所示，具体实现分以下几个步骤：

a)由步骤(4)获取行人头部姿态并跟踪人眼位置图像。

b)使用四元数法提取人眼轮廓边缘图像。

c)结合头部姿态进行瞳孔定位。

d)根据平面映射技术估算出用户在屏幕上的注视位置。

e)判断视线落点位置是否异常，例如落点为其他行人的口袋或随身携带物。

(7)步骤(5)和(6)中判断结果为否的采用模态6检测。使用步骤(1)中的背景图像提取方法，进行背景图像匹配判断是否有物品遗留。

(8)发出声光报警并锁定目标跟踪其行迹，提醒监控人员做出下一步决策。其中步骤(4)中判断结果为是的，提醒监控人员通知警务平台网上异动人员出现的位置；步骤(5)中判断结果为是的，提醒监控人员有可能是潜在造成社会治安不稳定的人员；步骤(6)中判断结果为是的，提醒监控人员注意此人有可能是扒窃人员；步骤(7)中判断为是的，提醒监控人员注意是否有人遗失物品或者故意在公共场所放置危险物品。

以上对本发明实施例所提供的面向平安城市的视频主动智能感知方法及系统进行了详细介绍，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种面向平安城市的视频主动智能感知方法，其特征在于包含以下步骤：

A、读取视频监控图像并对图像进行光线补偿、均衡化和滤波去噪；

B、对处理后的图像使用背景差分法进行行人检测；

C、对检测到的行人进行人脸识别，判断跟踪区域内的人脸是否为网上通缉的在逃人员或者潜在造成社会治安不稳定的人员；

D、对检测到的行人进行行为检测，判断是否存在异常行为，包括闪躲、奔跑、徘徊和追逐；

E、对检测到的行人进行手势识别，判断行人姿态是否异常，包括手持物是否为刀具、枪支和棍棒以及手势是否为拉扯、投掷和扭打；

F、对检测到的行人进行视线跟踪识别，判断行人视线落点是否在其他行人口袋或随身携带物之上；

G、对检测到的行人进行物品遗留检测，对行人随身物品跟踪，若有物品遗留，提醒监控人员注意是否有人遗失物品或者故意在公共场所放置危险物品。

2.根据权利要求1所述的视频主动智能感知方法，其特征在于，所述步骤B中采用背景差分法进行行人检测的方法步骤如下：

B1、使用四元数法提取所述步骤A处理后的图像边缘轮廓；

B2、使用帧差法提取边缘图像背景；

B3、使用背景差分法检测运动目标；

B4、对检测到的运动目标使用人脸模板匹配判断是否为行人。

3.根据权利要求2所述的视频主动智能感知方法，其特征在于，所述步骤B2中边缘图像背景提取的方法步骤如下：

B21、提取历史时间段内N帧边缘图像F_i(x，y)，其中i＝1，2…N，将N帧边缘图像相加得到边缘图像的历史累计，则历史累计图像的中心点为：

B22、计算超复数空间边缘图像标准差：

$S.\mathrm{Img}(x,y)=\sqrt{\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|F_i.\mathrm{Img}(x,y)-F_0.\mathrm{Img}(x,y)|}^2};$

B23、根据 $\left\{F_i(x,y)\right|\∀c|F_i.\mathrm{Img}(x,y)-F_0.\mathrm{Img}(x,y)|\≤S.\mathrm{Img}(x,y);i=\mathrm{1,2},...N\},$ 计算该集合中所有元素的平均值，即为所求背景

4.根据权利要求1所述的视频主动智能感知方法，其特征在于，所述步骤D中行人行为检测的具体实施步骤为：

D1、将检测到的目标窗口中心坐标多帧相连，得到运动目标的运动轨迹；

D2、使用双层词袋模型进行异常行为识别，其中异常行为包括闪躲、奔跑、徘徊和追逐；

D3、提取有异常行为的行人特征并保存。

5.根据权利要求1所述的视频主动智能感知方法，其特征在于，所述步骤E的手势识别具体实施步骤为：

E1、利用肤色分割和边缘检测初步分割出人手位置；

E2、结合所述步骤C中人脸的位置精确定位人手；

E3、手持物检测，判断手持物是否为限定物品，限定物包括刀具、枪支和棍棒；

E4、判断手势是否为拉扯、投掷或扭打。

6.一种视频主动智能感知系统，其特征在于包括：

视频采集模块，用于读取监控视频并对视频监控图像进行预处理，包括图像的光线补偿、均衡化、滤波去噪以及图像的背景提取；

智能感知模块，用于对指定对象的自动识别和跟踪；

决策报警模块，用于对异常情况发生时产生声光报警，提醒监控人员注意。

7.根据权利要求6所述的视频主动智能感知系统，其特征在于，所述智能感知模块是基于多模态的检测跟踪和识别，包括：模态1，运动目标检测；模态2，行为检测；模态3，人脸识别；模态4，手势识别；模态5，视线跟踪和模态6，物品遗留检测。

Images