CN101163234A - 利用数据处理装置进行模式识别和图像监控的实现方法 - Google Patents

Abstract

一种利用数据处理装置进行模式识别和图像监控的实现方法，其特征在于采用带摄像或数码照相功能的数据处理装置如手机，其步骤依次为：现场场景图像获取步骤；像差影处理步骤；图像分割处理步骤；后处理步骤；判断及报警步骤，统计形态运算结果图像中的异常部分图像占整幅图像的比例，当比例超出预设上限时判定有非法闯入，并启动报警；当比例没有超出预设上限时判定无非法闯入，跳至现场场景图像获取步骤，循环执行。它结构简单，使用自由方便，成本低，可靠性强，适合推广使用。

Description

利用数据处理装置进行模式识别和图像监控的实现方法

技术领域

本发明属于模式识别领域，尤其属于一种利用数字处理装置如手机对现场图像进行模式识别用于图像监控的方法。

背景技术

随着社会物质水平的提高，安全防护越来越获得人们的关注，当前有各种各样的安防产品充斥市场，但是由于大部分安防产品造价昂贵，非一般消费者可以承受。

市场上常见的安防产品的实现原理基本上可以归为两类，一类是将现场场景图像或声音通过电缆传入监控中心，由值班人员根据画面或声音进行主观判断，即所见即所得；另一类是基于图像处理或模式识别技术对现场采集的图像或声音进行处理和识别，并将识别结果传入监控中心，因此所采用的识别技术直接决定了识别结果，此类技术在专利文献中报道比较多，如专利申请号为03119517.2的中国专利“基于人脸识别和手形识别的双模态生物认证系统”、专利申请号为03147600.7的中国专利“一种用于安全防犯的现场图像远程接收的系统及其方法”等等。第一类实现方法由于自动化程度较低，因此逐渐被淘汰，随着模式识别技术的日臻成熟，第二类实现方法已经得到了广泛应用，但目前此类设备存在的缺陷是成本高，且使用不够自由方便。本发明所提供的安防实现即采用第二类方法。

发明内容

本发明所要解决的技术问题是提供一种利用数据处理装置进行模式识别和图像监控的实现方法，它实施简单容易，使用自由方便，成本低，可靠性强。

本发明解决上述技术问题所采用的技术方案为：一种利用数据处理装置进行模式识别和图像监控的实现方法，其特征在于采用带摄像或数码照相功能的数据处理装置，其步骤依次为：

(1)现场场景图像获取步骤：在一定时间间隔内，依次至少要获取一张静态场景图像和一张当前的场景图像；

(2)图像差影处理步骤：将静态场景图像和当前的场景图像的对应像素相减来获得差影结果图像；

(3)图像分割处理步骤：采用分割算法对差影结果图像进行分割获得分割图像；

(4)后处理步骤：对分割图像进行形态运算，获得形态运算结果图像；

(5)判断及报警步骤：统计形态运算结果图像中的异常部分图像占整幅图像的比例，当比例超出预设上限时判定有非法闯入，并启动报警；当比例没有超出预设上限时判定无非法闯入，跳至现场场景图像获取步骤，循环执行。

有益的改进是，所述的现场场景图像获取步骤中获得的两幅图像需要进行低通滤波处理，以最大限度的抑止各种高频噪声对目标检测结果的影响。

作为进一步改进，所述的现场场景图像获取步骤中获得的两幅图像或滤波后的图像需要转换为灰度图，以减少后续处理的延时，提高图像检测速度，改善检测的实时性。

更有益的改进是，所述的图像分割处理步骤分割算法是方差或偏态指标的方法，或者根据现场条件选择其中之一作为当前的分割算法。

为了更好的从图像中提取出目标物，在图像分割处理步骤采用结构元素对分割图像进行腐蚀运算消除这些噪声点，而后再对腐蚀结果进行膨胀运算，将异常部分边缘空洞填充起来，最终得到异常部分图像。

而且，所述的报警为启动警铃，或将有目标物的图像通过有线或无线方式发给相关人员做进一步确认或处理，进一步提高了现场监控的可靠性。当然报警也可以为启动警铃并将异常部分图像和包括时间或当前的场景图像相关信息存储在手机的存储器中。

为了保证能获得较有价值的现场图像，在获取图像步骤中的两幅图像之间的时间间隔为0.2-10秒范围。

另外，为了实现循环检测和连续监控，在触发报警后可以中断后续的检测，使得该监控装置一直处于报警状态，或者使得该装置一直处于报警状态的同时，不中断后续检测，则开始下一次检测的时候，选取上一次检测的静态场景图像作为本次检测的静态现场图像，再另取一张当前的场景图像，进行后续的检测对比。

关于预设上限的数值范围，可以根据测试结果进行调整，一般设1％到5％来判断是否有人进入，另外这个值也和场景分辨率有关，即与拍摄得到的图像大小有关，考虑到所用的手机屏幕比较小，可以将选取的值定为1％。

上述的数据处理装置是指具有一定数据处理能力的电子装置，该装置具有摄像头或摄像机用于获取现场的图像，有报警模块，如扬声器等，有与其他装置通信的模块(如有必要)，如用于无线通信的收发器，用于有线通信的导线等，在该装置中集成有模式识别和图像处理等功能的程序，该装置可以是手机、PDA(Personal Digital Assistant个人数字助理)、电脑装置、数字电视、数码相机、数码摄像机以及专门设计制造的安防装置或系统。

与现有技术相比，本发明的优点在于：安全防护效果良好，而且实施简易，对硬件要求不高，因此可以大大降低目前安防产品的成本，该方法将获取的图像转换为灰度图进行处理，处理速度快，可以实现实时监控，该发明不但能自动识别图像中目标物而报警，而且可以将监测到的目标物的图像传输给相关人员作进一步确认或处理，因此具有较高的可靠性，由于目前拍照甚至摄像已经成为数字产品如手机普遍的功能，因此，可以将该发明集成于手机上，一方面可以大大降低投资成本，另一方面也可以做到随身携带，使用自由方便，具有广泛的市场前景。而且，目前该发明已经在手机上试验并取得了良好的效果。

附图说明

图1一次检测的流程图；

图2a静态场景图像；

图2b当前的场景图像；

图2c两者差影图像；

图3差影图像分割结果；

图4分割图像形态运算结果。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，一种利用数据处理装置进行模式识别和图像监控的实现方法，该方法利用带摄像或数码照相功能的数据处理装置，在本实施例子中，数据处理装置为一款带摄像或数码照相功能的手机。该方法主要由图像获取、预处理、差影、分割、后处理以及判断和报警等步骤组成。以下分别对每一步骤逐一详细描述。

(1)图像获取

获取场景图像的方法可以是采用照相机连拍，取得一副静态场景图以及当前的场景图，或者采用摄像机获得所需的图像，即选择2帧连续的时间相隔T(根据实际情况设定，一般在0.2～10秒之间，比如5秒，1秒或0.5秒)的图像。本实施例采用连拍的方法获取两幅图像。因此要实现对现场实施实时的连续的监控，需要使得照相机处于连拍的状态下或者是使得摄像机处于拍摄状态下，即处于监控状态下。由于图像处理对图像质量要求较高，其图像本身的质量对检测结果有较大影响，本例所用的照相机分辨率为130万像素。由于自动检测是对连续拍摄的两幅图像进行差影处理，因此连拍延时对检测的准确率也有较大影响，理论上连拍延时或摄像机获取的两帧图像的时间间隔应不小于目标物进入现场到离开现场的时间间隔。

另外，这里所说的是对第一次检测的图像获取，对于下一次检测，如果第一次检测没有发现目标物进入现场，即没有触发报警，则开始第二次检测的时候，可以选取上一次检测的现场图像即时间在后的图像作为本次检测的静态现场图像，再另取一张当前图像(两幅图像的时间差依然是预先设定的T或者大于T)，再进行后续的检测；依次类推。

如果某一次检测发现有目标物如人、动物或车辆进入现场，并触发了报警，则可以中断后续的检测，使得监控系统(此处为手机)一直处于报警状态比如警铃一直保持铃响状态，或者使得监控系统(此处为手机)一直处于报警状态的同时，不中断后续检测，则开始下一次检测的时候，可以选取上一次检测的静态场景图像(时间在前的图像，因为该图像中没有目标物)作为本次检测的静态现场图像，再另取一张当前图像(两幅图像的时间差依然是预先设定的T)，再进行后续的检测；依次类推。

另外，检测的图像和相关的时间等其他信息可以备份在系统的存储器中，以备后续的调阅。

(2)预处理

由于受外界环境因素影响，通过照相机获得的图像一般都被噪声所污染，如强光、照相机感光硬件反馈系统等引入的噪声，因此在对获取图像进行检测前要进行一定的预处理来去除各种不利于异物检测的因素，在本实施例中为了最大限度的抑止各种高频噪声对目标物检测结果的影响，对连拍得到的两幅图像进行低通滤波处理；另外为了减少检测延时，为了提高检测效率，将滤波后的图像转换为灰度图，因此本例的后续的检测方法都是对灰度图而言的。图2中的(a)和(b)图所示为连拍得到的两幅图像，一幅图像为静态场景图像，另一幅图像为有目标物如人、动物或车辆闯入时的动态的现场场景图像。图2b中的目标物为就人。

(3)图像差影处理

由于所监测的场景为静态图像，而当有目标物进入所监测场景时，仅仅目标物占据的图像区域和静态场景图像有明显差异，因此将静态场景图像和有目标物的现场场景图像的对应像素相减来获得差影图像。

设f(x，y)为静态场景图像，g(x，y)为有目标异物闯入时的场景图像，h(x，y)为差影图像，则h(x，y)的理论定义如下：

$h(x,y)=\left\{\begin{array}{cc}0& (x,y)\∈\mathrm{\Ω}\\ |f(x,y)-g(x,y)|& (x,y)\∉\mathrm{\Ω}\end{array}\right.$

其中Ω为不被目标物遮盖的静态场景区域，但由于目标物对光线的影响，静态场景区域的差影结果并不为0，而是在一个较小范围内浮动的整数。

差影实例如图2所示，其中图2(a)为静态场景图像，图2(b)为有目标物时的场景图像，图2(c)为差影结果图像，从图2(c)可以看出差影后的静态区域像素值并不全为零。

(4)差影图像分割

由于目标物对光线的影响，从差影后的图像中并不能完全分离出目标物，因此需要对差影结果图像进行分割以分离出非法闯入图像中的目标物。

由于外界光线的变化，同时又由于没有通用的分割算法，因此本例根据差影图像亮度的强弱而采用不同的分割算法。

在数理统计中，随机样本数据的均值为样本的一阶统计矩，它衡量数据的平均值大小；方差为样本的二阶统计中心矩，它衡量随机数据离散的程度；而偏态指标为样本的三阶中心统计矩，它衡量随机数据分割偏离正态分布的程度。设随机样本为x(t)，概率密度分布函数为p(x)，则方差和偏态指标定义如下所示：

${\mathrm{\σ}}_x^2={\∫}_{-\∞}^{+\∞}{(x-{\mathrm{\μ}}_x)}^{2}p\left(x\right)\mathrm{dx}$

$K_3=\frac{{\∫}_{-\∞}^{+\∞}{(x-{\mathrm{\μ}}_x)}^{3}p\left(x\right)\mathrm{dx}}{{\mathrm{\σ}}_x^3}$

设差影图像只由目标物和场景组成，则分割二者即是找到适当阈值，为了减少运算量，本文在差影图像亮度较低的情况下基于方差求最佳阈值；在差影图像亮度较高的情况下，基于方差得到的阈值不能较好的分割目标异物和场景，因此在亮度较高的情况下基于目标物和场景的偏态指标求最佳阈值。

下面分别介绍基于方差和偏态指标的分割方法。

1)基于方差的分割方法

设fOut为目标物和背景两类间方差，fIn为两类内的类内方差和，u为差影图像内的像素平均值，u₁为背景像素平均值，u₂为目标物区域像素平均值，另外historyGram为直方图，gray为差影图像灰度级数，level为阈值，则：

$\mathrm{fOut}=\underset{i=0}{\overset{\mathrm{gray}}{\mathrm{\Σ}}}{(i-u)}^2\×\mathrm{historyGray}[i]$

$\mathrm{fIn}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}{(i-u_1)}^2\×\mathrm{historyGray}\left[i\right]+\underset{i=\mathrm{level}+1}{\overset{\mathrm{gray}}{\mathrm{\Σ}}}{(i-u_2)}^2\×\mathrm{historyGray}\left[i\right]$

取使fOut/fIn最大的level做为最佳阈值即可以对差影图像进行分割。

2)基于偏态指标的分割方法

设σ₁ ²和σ₂ ²分别为静态背景和目标物像素的均方差，u₁为背景像素平均值，u₂为目标物区域像素平均值，二者的偏态指标分别为K₁和K₂，总偏态指标为K，historyGram为归一后的直方图，gray为差影图像灰度级数，level为阈值，则：

${{\mathrm{\σ}}_1}^2=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}{(i-u_1)}^2\×\mathrm{historyGram}\left[i\right]/\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}\mathrm{historyGray}\left[i\right]$

${{\mathrm{\σ}}_2}^2=\underset{i=\mathrm{level}+1}{\overset{\mathrm{gray}}{\mathrm{\Σ}}}{(i-u_2)}^2\×\mathrm{historyGram}\left[i\right]/\underset{i=\mathrm{level}+1}{\overset{\mathrm{gray}}{\mathrm{\Σ}}}\mathrm{historyGray}\left[i\right]$

$K_1=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}{(i-u_1)}^3\×\mathrm{historyGray}\left[i\right]/{{\mathrm{\σ}}_1}^3\×\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}\mathrm{historyGray}\left[i\right]$

$K_2=\underset{i=\mathrm{level}+1}{\overset{\mathrm{gray}}{\mathrm{\Σ}}}{(i-u_2)}^3\×\mathrm{historyGray}\left[i\right]/{{\mathrm{\σ}}_2}^3\×\underset{i=\mathrm{level}+1}{\overset{\mathrm{gray}}{\mathrm{\Σ}}}\mathrm{historyGray}\left[i\right]$

K＝|K₁|+|K₂|

当阈值level为最佳阈值时，背景和目标物的灰度分布会接近正态分布，即当K为最小值时的阈值level为最佳阈值。图3为采用本文所述分割方法对差影图像进行分割所得的分割图像。

(5)后处理

如图3所示，由于目标物对光线的影响，阈值分割后的图像中除了目标外，还包括高频噪声以及目标物对场景的干扰点，因此为了提取目标物，必须对分割图像进行后处理。

由于本方法检测的目的是检测出是否有目标物出现，而对目标物为何物并不关心，因此本方法采用形态运算对分割图像进行后处理。

数学形态学是一种非线性滤波方法，可以用于处理抑止噪声、特征提取、边缘检测、图像分割等问题。数学形态学的特点是能将复杂的形状进行分解，并将有意义的形状分量从无用的信息中提取出来。为了方便进行形态处理，对分割图像进行二值化处理。

形态学图像处理是在图像中移动一个结构元素，然后将结构元素与二值图像进行交、并等集合运算。其基本的形态运算是腐蚀和膨胀。简单的腐蚀是一种消除边界点的过程，结果使目标物缩小，因而可以有效消除孤立噪声点；膨胀是将与目标物距离很小的所有目标物断裂点合并到目标物上，使目标物孤立点融入目标物本身，从而使目标物更明显，更利于目标物检测。

由于场景区域的噪声点比较稀疏，因此先用1×3的结构元素对分割图像进行腐蚀运算消除这些噪声点，而后再对腐蚀结果进行膨胀运算，将目标物边缘空洞填充起来，最终得到目标物。形态运算结果如图4所示。

上述相关的图象识别技术可以参考《Visual C++数字图像处理典型算法及实现》(邮电出版社)或者是《数字图像处理及模式识别》(沈庭芝，方子文  编著，出版社：北京理工大学出版社，ISBN：781045403X)。

(6)判断及报警

本例对检测结果的处理方法为统计目标物的异常部分图像占整幅图像的比例，当比例超出预设上限时认为有非法闯入，则触发警铃，或将有目标物的图像通过彩信发往用户随身携带的手机进行进一步确认。

另外，如果上述统计的比例没有超出预设的上限，则返回到第一步骤“获取图像”开始下一检测流程。

至此，一个检测流程结束。

关于所述的预设上限的数值范围可以根据测试结果调整；一般设1％到5％来判断是否有目标物进入，另外这个值也和场景分辨率有关，即与拍摄得到的图像大小有关，在本例中，因为所用的手机屏幕比较小，所以选取的值为1％。

实际上，本发明在一款手机上的应用已经获得了试验成功，集成有该发明的手机可以有效检测到非法闯入的目标物，实验结果显示，该检测方法具有较高的准确率，在光线非直射情况下，准确率可以达到90％以上。同时根据一定的检测条件，既可以进行鸣笛报警，也可以将非法闯入的现场图像以彩信方式传入用户随身携带的移动终端中，以便进行进一步的确认，进一步提高了现场监控的可靠性。

由于为了减少运算量，降低检测延时，上述实施例中采用照相机拍摄得到的128×120缩略图进行检测处理，因此图像所含信息比较少，从而造成检测准确率不太高，如果采用实际拍摄图像进行处理，则准确率会有进一步的提高，但检测延时也会增加，从而降低自动检测的实时性。因此，如果采用更高处理速度的数据处理芯片，则可以同时满足检测准确率和实时性这两个方面的要求。

本实施例子手机为GSM(Global System for Mobile Communications，中文为全球移动通讯系统)制式，无摄像功能，摄像头为130万像素，其他硬件和软件均为普通配置，由此充分说明了该方法的对硬件的依赖程度低，实用性好，成本低廉。

以上实施例是一个优选的示例，但本发明的保护范围由权利要求确定，而不限于本实施例所公开的范围。该方法可以集成于手机或PDA中，或电脑装置中，也可以应用在专门用于安防的电子装置中，只要这种装置具备摄像头(或摄像机)、具有一定的数据处理能力，以及具有与其他设备和装置通信的能力。

Claims (11)

1.一种利用数据处理装置进行模式识别和图像监控的实现方法，其特征在于采用带摄像或数码照相功能的数据处理装置，其步骤依次为：

(1)现场场景图像获取步骤：在一定时间间隔内，依次至少要获取一张静态场景图像和一张当前的场景图像

(2)图像差影处理步骤：将静态场景图像和当前的场景图像的对应像素相减来获得差影结果图像；

(3)图像分割处理步骤：采用分割算法对差影结果图像进行分割获得分割图像；

(4)后处理步骤：对分割图像进行形态运算，获得形态运算结果图像；

(5)判断及报警步骤：统计形态运算结果图像中的异常部分图像占整幅图像的比例，当比例超出预设上限时判定有非法闯入，并启动报警；当比例没有超出预设上限时判定无非法闯入，跳至现场场景图像获取步骤，循环执行。

2.根据权利要求1所述的实现方法，其特征在于所述的现场场景图像获取步骤中获得的两幅图像需要进行低通滤波处理。

3.根据权利要求1或2所述的实现方法，其特征在于所述的现场场景图像获取步骤中获得的两幅图像或滤波后的图像需要转换为灰度图。

4.根据权利要求3所述的实现方法，其特征在于所述的分割算法是方差或偏态指标的方法，或者根据现场条件选择其中之一作为当前的分割算法。

5.根据权利要求4所述的实现方法，其特征在于所述的图像分割处理步骤采用结构元素对分割图像进行腐蚀运算消除这些噪声点，而后再对腐蚀结果进行膨胀运算，将异常部分边缘空洞填充起来，最终得到异常部分图像。

6.根据权利要求5所述的实现方法，其特征在于所述的报警为启动警铃，或将异常部分图像通过有线或无线方式发给相关人员做进一步确认或处理。

7.根据权利要求5所述的实现方法，其特征在于所述的报警为启动警铃并将异常部分图像和包括时间或当前的场景图像相关信息存储在手机的存储器中。

8.根据权利要求6所述的实现方法，其特征在于所述的一定时间间隔在0.2-10秒范围。

9.根据权利要求6所述的实现方法，其特征在于所述的报警后可以中断后续的检测，使得所述的装置一直处于报警状态，或者使得所述的装置一直处于报警状态的同时，不中断后续检测，则开始下一次检测的时候，选取上一次检测的静态场景图像作为本次检测的静态现场图像，再另取一张当前的场景图像，进行后续的检测对比。

10.根据权利要求6所述的实现方法，其特征在于所述的预设上限数值为1-5％。

11.根据权利要求6所述的实现方法，其特征在于所述的数据处理装置为手机、PDA个人数字助理、电脑装置、数字电视、数码相机、数码摄像机、或者是专门设计制造的安防装置或系统。

Images