CN100446043C - 基于生物传感和图像信息融合的视频安防监控方法 - Google Patents

Abstract

本发明是一种基于生物传感和图像信息融合的视频安防监控方法，该方法运用运动目标检测和图像信息融合方法分析监控视频图像，其步骤包括：当智能监控终端通过生物传感器检测到生物入侵时被触发产生报警后，通过专用局域网向监控中心主机发送报警信号；监控中心主机接收到报警信号后，利用运动目标检测和人体轮廓特征融合对监控视频进行分析，判断报警信号真伪；监控中心主机根据判断结果执行相应操作。该方法结合了生物传感和图像信息融合技术，可有效减少外界环境和其他生物对安防监控系统的影响，实现不同地理环境下的敏感区域和重要基础设施等场所只对入侵人体生物进行全天候的视频安全监控。

Description

基于生物传感和图像信息融合的视频安防监控方法

技术领域

本发明属于生物传感、数字图像处理和模式识别技术领域，具体涉及一种视频安防监控方法，通过该方法实现在不同地理环境下的敏感区域和重要基础设施等场所只对入侵的人体生物进行全天候的视频安全监控。

背景技术

重要基础设施和敏感区域场所的安全历来是人们关注的重点，重要基础设施和敏感区域场所的安全直接关系到国家安危和人民生命财产安全。以前，对重要基础设施和敏感区域场所进行安全监控主要是利用主动式红外探测或激光探测等方法，当发现有入侵者时，现场的报警装置立即产生报警信号，由报警点附近的值勤人员对报警点进行检查。上述这种安全监控方法存在三点不足：一是无法准确判断报警点的位置，给值勤人员检查带来困难；二是红外或激光探测很容易受到外界环境干扰而产生误报；三是不能记录入侵者的作案过程，无法给相关职能部门提供有力的依据。

视频监控技术因其直观、方便、信息记录详实等特点被广泛地应用于公共安全、企业安全和社区、家庭安全等领域。目前的视频监控系统正处于从模拟视频监控向数字化视频监控方式的转变过程中。在计算机技术和网络技术基础上发展起来的数字化视频监控技术克服了传统模拟视频监控只适合小范围监控的缺点，只要有网络存在的地方就可以实现视频监视；另外，数字化视频监控可以在保留原有设备的前提下很容易地增加新的监控点。所有这些特点都为其在重要设施安全监控方面奠定了基础。但是，目前的视频监控技术仍然存在两点不足，致使其不能直接应用在对重要设施的安全监控上。一是一般的视频监控系统大多都由人工值守，不能及时发现入侵者，实时报警性能较差，；二是即使系统具备了实时报警功能，但所采用红外或激光探测的传感手段易受外界环境干扰的缺点仍然存在。

发明内容

本发明的目的是提出一种基于生物传感和图像信息融合的视频安防监控方法，结合生物传感、计算机图像处理、信息融合和模式识别技术，在为视频监控系统提供实时报警功能的同时运用图像处理和信息融合技术消除外界环境的干扰，降低误报发生的几率。

本发明是一种基于生物传感和图像信息融合的视频安防监控方法，该方法是通过在数字化视频监控系统的基础上增加基于热释电红外传感器的生物传感，通过对生物传感信息、运动图像信息和人体轮廓特征信息进行融合，分析和识别监视摄像机的视频图像，从而判断报警信号真伪。

本发明中的生物传感信号和视频图像信号是由安装于监控现场的智能监控终端采集并传输给监控中心主机进行融合处理的。智能监控终端由基于热释电红外传感元件的生物传感器、视频摄像机、PIC16F877控制器和现场声音、灯光报警设备组成，实现对监控区域的全面监控，当生物传感器被触发时，通过智能监控终端发送报警信息至监控中心主机，实现智能传感、信号采集、预处理、网络传输和报警控制等。

监控中心主机在接收到智能监控终端发送报警信息后，采用以下步骤进行处理：

(1)监控中心主机接收到智能监控终端的报警信息，采用视频图像序列处理方法对对应监视摄像机的视频图像进行分析，确定监控区域中是否存在运动目标，从而判别报警信号的真伪，消除由于外界环境因素引起的误报；

(2)若监控区域中存在运动目标，进一步结合视频图像信息和人体轮廓特征信息，进行决策层融合，通过人体轮廓图像特征识别方法判别运动目标是否为入侵者，消除由于其他生物(如鸟类、鼠类等)的闯入而引起的误报；

(3)根据生物传感和视频图像信息融合处理结果，若报警信号为真(即由入侵者引起传感器报警)，则发送报警信号通过驱动智能报警终端控制器进行灯光、声音现场警示，同时监控中心通过声音和短信息告知值班人员有人入侵；若报警信号为假(即由其他因素引起传感器报警)，则忽略此次报警。

本发明中引入生物传感和视频图像信息融合处理方法的目的是为了跟踪并分析视频序列图像，确定监控区域中的是否有运动目标；若有，则融合人体轮廓特征信息，判断运动目标是否为入侵者。一般情况下，入侵者的运动幅度远大于视频序列图像中背景图象的运动幅度且入侵者的运动在一段时间内是连续的；另外，人体在一个三维的监控区域内运动时，监控视频中其外轮廓特征是时刻都在变化的，但我们可以利用人体的三视图(顶视图、正视图和侧视图)来描述人体在三维空间的运动，在监控视频中，人体的运动始终是处于某一视图位置或是在这三视图之间变化，相对于其他生物，人体在视频图像中表现出的轮廓特性是不同的。根据上述条件，可以采用以下的视频序列图像处理和人体轮廓图像特征识别方法。

首先，当监控中心接收到来自智能监控终端的报警信息时，分析监控摄像机的视频信息，判定监控区域内是否存在运动目标，其实现方法如下：

设F表示时间长度为N帧的视频序列图像，视频序列图像的大小为H×V(像素)，F_n(n＝1，2，…，N)表示视频序列中的第n帧图像的强度。

①对输入序列图像进行色彩空间转换，由彩色序列图像转为灰度序列图像，

$\mathrm{Gray}=\frac{1}{1000}(299*R+587*G+114*B+500)---\left(1\right)$

其中Gray表示转换后序列图像的灰度值，R、G、B分别表示原始序列图像中对应像素的红、绿、蓝三分量的值；

②对步骤①得到的灰度序列图像，计算序列图像中前后两帧的时间差分

Δ_n＝|F_n-F_n-1|，(n＝2，3…，N)；        (II)

③根据步骤②的差分值大小确定序列图像中的运动图像M_n

$M_n(u,v)=\left\{\begin{array}{cc}255,& {\mathrm{\&Delta;}}_n(u,v)\&GreaterEqual;T_1\\ 0,& {\mathrm{\&Delta;}}_n(u,v)<T_1\end{array}\right.u=\mathrm{1,2},...,H,v=\mathrm{1,2},...,V---\left(\mathrm{III}\right)$

其中T₁为阈值参数，其取值为差分矩阵Δ_n中非零像素的平均值；

④对M_n进行5×5的中值滤波，去除由于背景运动而产生的对M_n的影响；

⑤统计M_n中非零像素的数量

⑥计算

，当满足 $\frac{N_{M_n(u,v)>0}}{H\&times;V}>T_2$ 时，判定监控区域中有运动目标存在，否则判定监控区域中没有运动目标，其中T₂为预先设定的判定阈值。

若经过上述视频序列图像处理后，确定监控区域存在运动目标，则进一步利用人体轮廓特征融合的方法判定该运动目标是否为入侵者。具体的处理步骤是：

描述人体轮廓三视图的轮廓特征模型分别为Model_T(顶视图模型)、Model_F(正视图模型)、Model_L(侧视图模型)，各模型分别以数据文件的形式存储与监控中心主机中。

①对上述视频序列图像处理得到的中值滤波后的运动图像M_n进行处理，提取运动目标的外轮廓特征X；

②分别计算X与人体三视图轮廓特征模型的相似度L_i(X，Model_i)，i＝T，F，L；

③根据相似度L_i(X，Model_i)的大小做出各自的判别

$h_i\left(X\right)=\left\{\begin{array}{cc}1,& L_i(X,{\mathrm{Model}}_i)\&GreaterEqual;{\mathrm{Th}}_i\\ 0,& L_i(X,{\mathrm{Model}}_i)<{\mathrm{Th}}_i\end{array}\right.,i=T,F,L---\left(\mathrm{IV}\right)$

其中Th_i为各模型对应的相似度的阈值；

④按照F＝max{h_T(X)，h_F(X)，h_L(X)}对③的判别结果进行融合积分；当F＝1时，表示有入侵者进入监控区域；反之，当F＝0时表示没有入侵者进入监控区域。

本发明方法结合生物传感、计算机图像处理、信息融合和模式识别技术，在为视频监控系统提供实时报警功能的同时运用图像处理和信息融合技术消除了外界环境和其他生物对安防监控系统的干扰，降低了误报发生的几率，实现不同地理环境下的敏感区域和重要基础设施等场所只对入侵人体生物进行全天候的视频安全监控。

附图说明

图1：是实现本发明方法的视频安防监控系统的方框图。

图2：是实现本发明方法的监控现场智能监控终端构成方框图。

图3：是实现本发明方法的视频序列图像处理和人体轮廓特征融合处理的框图

图4：本发明方法采用的人体轮廓三视图模型；图4A：正视图模型；图4B：侧视图模型；图4C：顶视图模型.

图5：本发明方法的监控系统程序流程图。

具体实施方式

本发明提出一种基于生物传感和图像信息融合的视频安防监控方法，下面结合附图说明该方法的具体实施方式：

图1表示实现本发明方法的视频安防监控系统的方框图。利用这个系统可以实现对进入监控区域的入侵者进行监视、报警和现场警示。

首先结合附图1、2说明与本发明方法的系统构成。

如图1所示，视频安防监控系统3由位于监控现场的智能监控终端1和位于监控中心的监控中心主机2组成。智能监控终端1和监控中心主机2之间通过专用局域网连接，可以是由光纤、双绞线等组成的有线网络也可以是无线网络。

如图2所示，位于监控现场的智能监控终端1上装配有生物传感器4、智能终端控制器5、视频摄像机6、现场警示设备7(包括警示照明灯、警笛等声音和灯光警示设备)以及网络设备8。生物传感器4由热释电红外传感器和单片机构成，以有效地探测闯入监控区域的入侵者。视频摄像机6为任何可直接接入网络的监视用IP摄像机，用以实时获取监控现场的视频序列图像。网络设备8的功能是实现信号的转换，使转换后的信号适合于在专用局域网上传输。智能终端控制器5利用Microchip公司的PIC16F877单片机和RTL8019网络控制芯片及相应外围电路实现，其功能是：(1)生物传感器4产生的报警信号通过PIC16F877的RB0/INT引脚以中断方式输入给PIC16F877，然后通过RTL8019网络控制器发送到监控中心主机2；(2)通过网络接收来自监控中心主机2的控制命令，由PIC16F877的RB5～RB7口控制现场警示设备7工作。

监控中心主机2接收到智能监控终端1的报警信号后，按照图1所示的流程框图对报警信号和视频信息进行处理。

下面结合附图1、2、3、4、5说明本发明方法的实现步骤：

(1)、监控现场的生物传感器4和监视摄像机6一直处于工作状态，若没有入侵者进入监控区域，则按照图5所示程序流程图，监控中心主机2获取由监视摄像机6传来的视频序列图像进行显示；

(2)、当生物传感器4检测到有生物进入监控区域时，产生报警信号并输出至智能终端控制器5；智能终端控制器5对输入的报警信号进行预处理后通过专用局域网发送至监控中心主机2；

(3)、监控中心主机2接收到报警信号后，按照图1所示流程框图对报警信号和视频信息进行处理，对视频图像进行运动检测处理，判断监控区域内是否存在运动目标，具体步骤是：

设F表示时间长度为N帧的视频序列图像，视频序列图像的大小为H×V(像素)，F_n(n＝1，2，…，N)表示视频序列中的第n帧图像的强度。

①对输入的视频中连续的两帧图像进行色彩空间转换，由彩色序列图像转为灰度序列图像，

$\mathrm{Gray}=\frac{1}{1000}(299*R+587*G+114*B+500)---\left(I\right)$

其中Gray表示转换后序列图像的灰度值，R、G、B分别表示原始序列图像中对应像素的红、绿、蓝三分量的值；

②对步骤①得到的灰度序列图像，计算序列图像中前后两帧的时间差分

Δ_n＝F_n-F_n-1，(n＝2，3…，N)；    (II)

③根据步骤②的差分值大小确定序列图像中的运动图像M_n

$M_n(u,v)=\left\{\begin{array}{cc}255,& {\mathrm{\&Delta;}}_n(u,v)\&GreaterEqual;T_1\\ 0,& {\mathrm{\&Delta;}}_n(u,v)<T_1\end{array}\right.u=\mathrm{1,2},...,H,v=\mathrm{1,2},...,V---\left(\mathrm{III}\right)$

其中T₁为阈值参数，其取值为差分矩阵Δ_n中非零像素的平均值；

④对差分运动图像M_n进行5×5的中值滤波，去除由于背景运动而产生的对M_n的影响；

⑤统计M_n中非零像素的数量

⑥计算非零像素数

占整幅图像像素数的比例：

根据

的值做出判断，

其中T₂为预先设定的判定阈值，由大量的实验得出当阈值T₂＝0.05时，判断的效果最佳。

(4)、如图3所示，若步骤(3)判定监控区域内不存在运动目标，则认为是由于环境变化而引起的误报，忽略步骤(2)产生的报警信号；若步骤(3)判定监控区域内存在运动目标，则进一步采用人体轮廓特征信息，判定运动目标是否为入侵者，具体步骤是：

描述人体轮廓三视图的轮廓特征模型分别为Model_T(图4C顶视图模型)、Model_F(图4A正视图模型)、Model_L(图4B侧视图模型)，各模型分别以数据文件的形式存储与监控中心主机2上。

·提取上述视频图像运动检测中得到的经中值滤波后的差分运动图像M_n的轮廓特征X；

·分别计算轮廓特征X与图4所示的人体轮廓三视图轮廓模型的相似度L_i(X，Model_i)，i＝T，F，L；

·利用公式(IV)，根据相似度L_i(X，Model_i)(i＝T，F，L)的大小，对每种模型分别做出决策判断h_i(X)，i=T，F，L

$h_i\left(X\right)=\left\{\begin{array}{cc}1,& L_i(X,{\mathrm{Model}}_i)\&GreaterEqual;{\mathrm{Th}}_i\\ 0,& L_i(X,{\mathrm{Model}}_i)<{\mathrm{Th}}_i\end{array}\right.,i=T,F,L---\left(\mathrm{IV}\right)$

其中Th_i为各模型对应的相似度的阈值；

●根据h_i(X)，i＝T，F，L，按照F＝max{h_T(X)，h_F(X)，h_L(X)}的规则做出融合决策；当F＝1时，表示有入侵者进入监控区域；反之，当F＝0时表示无入侵者进入监控区域；

(5)、根据步骤(4)的判别结果执行相应操作：若步骤(4)判定为有入侵者时，由监控中心主机2产生语音报警信号提示值班人员，同时向智能终端控制器5发送控制命令，由智能终端控制器5控制现场警示设备7产生声音与灯光警示；若步骤(4)判定为无入侵者时，则认为是由于其他生物引起的传感器误报，忽略步骤(2)产生的报警信号。

如图1所示，在本发明方法的具体实施方式说明中，我们仅画出了一个智能监控终端。实际上，本发明方法同样可以应用于有多个智能监控终端的系统中。由于每个智能监控终端都是独立工作的，当发生报警时，只要对智能监控终端进行简单的编号，监控中心就可以清楚地知道是由哪个终端产生的报警。

我们知道，当有人入侵时，现场警示设备7被驱动产生声音和灯光警示，这可以给入侵者造成一种恐吓，使其退出监控区域之外；即使声音和灯光警示无效，入侵者仍然在监控区域内活动时，监控中心主机可以及时向值班人员报警，起到积极预防的作用。

Claims (3)

1.一种基于生物传感和图像信息融合的视频安防监控方法，其特征在于采用生物传感器、摄像机、控制器和声光报警设备作为智能监控终端，智能监控终端通过局域网与监控中心主机连接，当生物传感器被触发时，通过智能监控终端发送报警信息至监控中心主机，监控中心主机通过对生物传感信息、运动图像信息和人体轮廓特征信息融合，分析和识别监视摄像机的视频图像，从而判断报警信号真伪，再驱动智能监控终端的声光报警设备报警；步骤如下：

(1)监控中心主机接收到生物传感器的报警信息，通过视频图像分析方法对对应监视摄像机的视频图像进行分析，确定监控区域中是否存在运动目标，从而判别报警信号的真伪，消除由于外界环境因素引起的误报；

(2)当监控区域中存在运动目标，进一步结合视频图像信息和人体轮廓特征信息，进行融合，判别运动目标是否为入侵者；

(3)根据生物传感和视频图像信息融合处理结果，若运动目标为入侵者，报警信号为真，监控中心主机则发送报警信号通过驱动智能报警终端控制器进行灯光、声音现场警示，同时监控中心主机通过声音和短信息告知值班人员有人入侵；若运动目标不是入侵者，报警信号为假，监控中心主机则忽略此次报警；

所述智能监控终端的生物传感器由热释电红外传感器和单片机构成，控制器采用PIC16F877控制器。

2、根据权利要求1所述的基于生物传感和图像信息融合的视频安防监控方法，其特征在于所述视频图像分析的步骤如下：

设F表示时间长度为N帧的视频序列图像，视频序列图像的像素大小为H×V，F_n(n＝1，2，...，N)表示视频序列中的第n帧图像的强度；

第一步，用公式(I)对输入序列图像进行色彩空间转换，将彩色序列图像转为灰度序列图像，

$\mathrm{Gray}=\frac{1}{1000}(299*R+587*G+114*B+500)---\left(I\right)$

其中Gray表示转换后序列图像的灰度值，R、G、B分别表示原始序列图像中对应像素的红、绿、蓝三分量的值；

第二步，对第一步得到的灰度序列图像，计算序列图像中前后两帧的时间差分

Δ_n＝|F_n-F_n-1|，(n＝2，3…，N)；    (II)

第三步，根据第二步的差分值大小确定序列图像中的运动图像M_n

$M_n(u,v)=\left\{\begin{array}{cc}255,& {\mathrm{\&Delta;}}_n(u,v)\&GreaterEqual;T_1\\ 0,& {\mathrm{\&Delta;}}_n\left(u,v\right)<T_1\end{array}\right.u=\mathrm{1,2},...,\mathrm{H\; v}=\mathrm{1,2},...,V---\left(\mathrm{III}\right)$

其中T₁为阈值参数，其取值为差分矩阵Δ_n中非零像素的平均值；

第四步，对M_n进行5×5的中值滤波，去除由于背景运动而产生的对M_n的影响；

第五步，统计M_n中非零像素的数量 $N_{M_n(u,v)>0};$

第六步，计算 $\frac{N_{M_n(u,v)>0}}{H\&times;V},$ 当满足 $\frac{N_{M_n(u,v)>0}}{H\&times;V}>T_2$ 时，判定监控区域中有运动目标存在，否则判定监控区域中没有运动目标，其中T₂为预先设定的判定阈值。

3、根据权利要求1所述的基于生物传感和图像信息融合的视频安防监控方法，其特征在于结合视频图像信息和人体轮廓特征信息进行融合的步骤包括：其步骤包括：

预先存储描述人体轮廓三视图的轮廓特征模型在监控中心主机中，分别有顶视图模型Model_T、正视图模型Model_F、侧视图模型Model_L；

第一步，对视频序列图像处理得到的中值滤波后的运动图像M_n进行处理，提取运动目标的外轮廓特征X；

第二步，分别计算X与人体轮廓三视图轮廓特征模型的相似度L_i(X，M odel_i)，i＝T，F，L；

第三步，根据相似度L_i(X，M odel_i)的大小做出各自的判决

$h_i\left(X\right)=\left\{\begin{array}{cc}1,& L_i(X,{\mathrm{M\; odel}}_i)\&GreaterEqual;{\mathrm{Th}}_i\\ 0,& L_i(X,{\mathrm{M\; odel}}_i)<{\mathrm{Th}}_i\end{array}\right.i=T,F,L---\left(\mathrm{IV}\right)$

其中Th_i为各模型对应的相似度的阈值；

第四步，按照F＝max{h_T(X)，h_F(X)，h_L(X)}对第三步的判别结果进行融合积分；当F＝1时，表示有入侵者进入监控区域；反之，当F＝0时表示没有入侵者进入监控区域。

Images