CN103475855A - 一种基于嵌入式的智能家居监控方法及系统 - Google Patents

Abstract

本发明涉及一种基于嵌入式的智能家居监控方法及系统，其包括如下步骤：a、在家居中设置所需的监控模块，所述监控模块将采集的实时视频图像经过路由器传输到服务器模块；b、服务器模块将接收的视频图像输入视频处理单元，进行运动检测和目标跟踪的判断；c、视频处理单元判断为有运动物体且需要目标跟踪时，服务器模块一方面将视频图像进行保存，同时向监控模块发送相应的云台运动控制指令以跟踪目标；另一方面将报警信息发送到用户终端上；d、根据用户终端的不同，用户可以与服务器进行交互式操作，查看报警信息。本发明实时性好，稳定性强，可靠性好，能及时检测到异常情况，并报警通知用户，提高了家居的安全性。

Description

一种基于嵌入式的智能家居监控方法及系统

技术领域

本发明涉及一种基于嵌入式的智能家居监控方法及系统，尤其涉及一种基于嵌入式的运动检测和目标跟踪的视频监控方法及系统，属于视频监控技术领域。

背景技术

随着嵌入式技术、通讯技术和数字图像技术的发展和人民生活水平的提高，人们对居住环境的要求也向着安全舒适、智能化和自动化的方向发展，家用视频监控系统越来越受到人们的欢迎。

而现有的家用视频监控系统大多是基于PC机或者单核ARM处理器的。基于PC机的视频监控系统大多使用的是工业视频监控系统方案，工业视频监控系统由于偏高的价格、较大的体积与功耗、复杂的布线以及功能设计等方面的原因都不能很好的应用于家庭。而基于嵌入式单核ARM处理器的视频监控系统，由于其较低的主频，在处理较大的数据时无法达到实时的效果，不利于图像的处理。

在家庭应用中，在家庭成员外出或者在夜间等时间段，所监控的场景出现变化的情况较少，当没有运动物体进入时，图像会长时间的保持同一画面而不会产生较为明显的变化。若将所监控的画面全部保存的话，对计算机的自身资源和储存设备等资源都存在一定程度上的浪费。

现有的监控系统中，摄像机大多是静止的，拍摄固定区域的画面。而当监控区域出现的运动目标躲避固定的监控区域时，摄像机由于无法进行跟踪，造成目标的丢失，影响着家居系统的安全性。

随着3G无线通讯网络及WIFI技术的发展，无线网络的应用在各个行业已经很普遍。无线传输为视频监控系统联网平台的发展提供了很好的技术支撑。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于嵌入式的智能家居监控方法及系统，其采用达芬奇平台的ARM和DSP双核架构的DM3730芯片作为系统的核心处理器，采用三帧差分算法对视频图像进行运动检测，并通过将运动目标的质心转换成相对位移矢量来实现目标跟踪，能够及时发现并跟踪家居监控区域图像的异常目标。具有实时性好，可靠性高，稳定性强的优点。

按照本发明提供的技术方案，一种基于嵌入式的智能家居监控方法，所述家居监控方法包括如下步骤：

a、在家居中设置所需的监控模块，所述监控模块将实时采集的视频图像经过路由器传输到服务器模块；

b、服务器模块将通过路由器接收的视频图像输入视频处理单元，进行运动检测和目标跟踪判断；

c、视频处理单元判断为有运动物体且需要目标跟踪时，服务器模块一方面将视频图像进行保存，同时向监控模块发送相应的云台运动控制指令，以跟踪目标；另一方面将报警信息发送到用户终端上。

d、根据用户终端的不同，用户可以与服务器进行交互式操作，查看报警信息。

所述步骤b中，服务器模块将接收的视频图像输入视频处理单元，采用三帧差分算法对视频图像进行运动检测，并通过运动目标的质心转换成相对位移矢量实现目标跟踪。

所述步骤b包括如下步骤：

b1、将接收的YUV格式视频图像提取亮度Y的分量，即灰度值作为待处理图像；

b2、采用中值滤波进行预处理；

b3、采用三帧差分算法提取运动目标轮廓，首先采用连续三帧序列的图像f_k-1(x，y)、f_k(x，y)和f_k+1(x，y)前后帧两两差分，

△f₁(x，y)＝|f_k(x，y)-f_k-1(x，y)|；

△f₂(x，y)＝|f_k+1(x，y)-f_k(x，y)|；

其△f₁(x，y)中和△f₂(x，y)为相邻两帧图像灰度差的绝对值；

b4、将所得到的△f₁(x，y)和△f₂(x，y)做二值化处理得到图像d_m(x，y)和d_n(x，y)，

$T_1=\mathrm{\τ}+\mathrm{\α}\frac{1}{N_A}\underset{(x,y)\∈N_A}{\mathrm{\Σ}}{\mathrm{\Δf}}_1(x,y)$

$T_2=\mathrm{\τ}+\mathrm{\α}\frac{1}{N_A}\underset{(x,y)\∈N_A}{\mathrm{\Σ}}{\mathrm{\Δf}}_2(x,y)$

其中T₁和T₂为二值化的阈值，τ为设定的初始阈值，α为加权系数，N_A为待处理帧图像的像素数；

b5、将二值化后的图像d_m(x，y)和d_n(x，y)进行与运算，所得结果d_l(x，y)即为运动物体轮廓图像；

d_l(x，y)＝d_m(x，y)∩d_n(x，y)

b6、统计二值化图像d_l(x，y)中像素点为1的个数N，当N＞T₃时，则认为监控区域中有运动物体，T₃为运动物体临界报警点；

b7、计算运动物体的质心坐标(x_g，y_g)，

$x_g=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}x\·G(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}G(x,y)}$

$y_g=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}y\·G(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}G(x,y)}$

其中G(x，y)为d_l(x，y)在点(x，y)的灰度值，M×N为运动物体轮廓图像d_l(x，y)的大小；

b8、设图像中心坐标为(x_c，y_c)，则运动物体在水平和竖直方向上的相对位偏移量为△x和△y，

△x＝x_g-x_c

△y＝y_g-y_c

b9、计算摄像机镜头的水平视场角a_h和垂直视场角a_v，

a_h＝2arctan(h/2λ)

a_v＝2arctan(v/2λ)

其中λ为摄像机镜头的焦距，h和v分别为摄像机靶面水平尺寸和垂直尺寸；

b10、计算水平方向和垂直方向上，每个像素对应的视场角a_p和a_q，

a_p＝a_h/W

a_q＝a_v/H

其中，W和H分别代表视频图像的宽度和高度；

b11、得到云台水平和垂直方向上的角度偏移量△s和△t，

△s＝a_p*△x

△t＝a_q*△y

所述步骤a中，监控模块包括摄像机、云台、微处理器和WIFI模块，所述微处理器将摄像机采集到的YUV格式的图像进行压缩处理，并通过WIFI模块向服务器传送。

所述监控模块与服务器模块通过路由器以WIFI无线方式连接。

所述步骤d中，根据用户终端的不同，用户可以与服务器进行交互式操作。当用户终端为手机时，用户在接到GSM模块的短信报警之后，若想查看图像报警信息，可发送短信至GSM模块，GSM模块将图像报警信息以彩信的方式通过2G/3G网络传送，供用户查看；当用户终端为PC机时，在用户远程登录服务器后，报警信息以监控画面的方式通过网络传送。

所述服务器模块还包括一个其采用LAMP(Linux-Apache-MySQL-PHP)架构的嵌入式平台的服务器单元，供用户远程访问，能够及时查看所监控的视频图像。

一种基于嵌入式的智能家居监控系统包括设置在家居内的一个监控模块及与所述监控模块无线连接的服务器模块，服务器模块设有视频处理单元，监控模块采集对应监控区域的视频图像，并将所述视频图像传输到服务器模块，服务器模块将接收的视频图像输入视频处理单元，以获得运动检测和目标跟踪的判断；当服务器模块通过视频处理单元得到判断的结果为有运动物体且需要目标跟踪时，服务器模块一方面将视频图像进行保存，同时向监控模块发送相应的云台运动控制指令，以跟踪目标；另一方面将报警信息发送到用户终端上；根据用户终端的不同，用户可以与服务器进行交互式操作，查看报警信息。

所述监控模块包括摄像机、云台、微处理器和WIFI模块，监控模块与服务器模块通过路由器以WIFI无线方式连接；所述服务器模块还包括一个嵌入式平台的小型服务器单元，供用户远程访问，能够及时查看所监控的视频图像。

本发明的优点：采用改进的三帧差分算法进行运动检测，并通过运动目标的质心转换成相对位移矢量对云台进行控制，对运动目标进行自动跟踪，避免监控区域中的目标丢失，能够更好的进行视频监控，提高家居的安全性。监控模块、路由器与服务器模块之间采用WIFI协议进行无线连接，避免了布线维修问题。采用手机和PC机作为用户终端，方便用户及时查看监控情况。当服务器模块检测到运动图像时，才将视频图像进行保存，解决了计算机存储空间浪费的问题。采用LAMP(Linux-Apache-MySQL-PHP)架构的嵌入式平台的服务器单元，稳定性好，可靠性高，可以实现用户远程控制。

附图说明

图1为本发明的工作流程图。

图2为本发明的结构框图。

图3为本发明的算法流程图。

附图2标记说明：1-监控模块、2-服务器模块、3-摄像机、4-微处理器、5-WIFI模块一、6-WIFI模块二、7-路由器、8-视频处理单元、9-服务器单元、10-存储模块、11-GSM模块、12-本地报警模块、13-手机、14-PC机、15-云台、16-用户终端。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图1和图2所示：为了能够实现对家居的实时监控，本发明基于嵌入式的智能家居监控方法包括如下步骤：

a、在家居中设置所需的监控模块1，所述监控模块1实时采集视频图像，并将所采集的视频图像经过路由器7传输到服务器模块2；

本发明实施例中，监控模块1包括一个摄像机3、微处理器4、WIFI模块一和云台15。

b、服务器模块2将通过路由器7接收的视频图像输入视频处理单元8，进行运动检测和目标跟踪的判断。本发明实施例中采用三帧差分算法对视频图像进行运动检测，并通过运动目标的质心转换成相对位移矢量实现目标跟踪。

如图3所示，具体的包括如下步骤：

b1、将接收的YUV格式视频图像提取亮度Y的分量，即灰度值作为待处理图像；

b2、采用中值滤波进行预处理；

b3、采用三帧差分算法提取运动目标轮廓，首先采用连续三帧序列的图像f_k-1(x，y)、f_k(x，y)、f_k+1(x，y)前后帧两两差分，

△f₁(x，y)＝|f_k(x，y)-f_k-1(x，y)|     (1)

△f₂(x，y)＝|f_k+1(x，y)-f_k(x，y)|     (2)

其△f₁(x，y)中和△f₂(x，y)为相邻两帧图像灰度差的绝对值；

b4、将所得到的△f₁(x，y)和△f₂(x，y)做二值化处理得到图像d_m(x，y)和d_n(x，y)，

$T_1=\mathrm{\τ}+\mathrm{\α}\frac{1}{N_A}\underset{(x,y)\∈N_A}{\mathrm{\Σ}}{\mathrm{\Δf}}_1(x,y)---\left(5\right)$

$T_2=\mathrm{\τ}+\mathrm{\α}\frac{1}{N_A}\underset{(x,y)\∈N_A}{\mathrm{\Σ}}{\mathrm{\Δf}}_2(x,y)$

其中T₁和T₂为二值化的阈值，τ为设定的初始阈值，α为加权系数，N_A为待处理帧图像的像素数；本发明实施例中，τ＝30；α＝3。

b5、将二值化后的图像d_m(x，y)和d_n(x，y)进行与运算，所得结果d_l(x，y)即为运动物体轮廓图像；

d_l(x，y)＝d_m(x，y)∩d_n(x，y)     (6)

b6、统计二值化图像d_l(x，y)中像素点为1的个数N，当N＞T₃时，则认为监控区域中有运动物体，T₃为运动物体临界报警点；本发明实施例中，T₃＝100。

b7、计算运动物体的质心坐标(x_g，y_g)，

$x_g=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}x\·G(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}G(x,y)}---\left(7\right)$

$y_g=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}y\·G(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}G(x,y)}---\left(8\right)$

其中G(x，y)为d_l(x，y)在点(x，y)的灰度值，M×N为运动物体轮廓图像d_l(x，y)的大小；

b8、设图像中心坐标为(x_c，y_c)，则运动物体在水平和竖直方向上的相对位偏移量为△x和△y，

△x＝x_g--x_c；     (9)

△y＝y_g-y_c；     (10)

本发明实施例中，x_c＝320，y_c＝240。

b9、计算摄像机镜头的水平视场角a_h和垂直视场角a_v，

a_h＝2arctan(h/2λ)；     (11)

a_v＝2arctan(v/2λ)；     (12)

其中λ为摄像机镜头的焦距，h和v为摄像机靶面水平尺寸和垂直尺寸；

b10、计算水平方向和垂直方向上，每个像素对应的视场角a_p和a_q，

a_p＝a_h/W；     (13)

a_q＝a_v/H；     (14)

其中，W和H分别代表视频图像的宽度和高度；

b11、得到云台15的水平和垂直方向上的角度偏移量△s和△t，

△s＝a_p*△x；     (15)

△t＝a_q*△y；     (16)

c、当服务器模块2通过视频处理单元8得到运动检测判断的结果为有运动物体且需要目标跟踪时，服务器模块2一方面将视频图像保存到存储模块10，同时向监控模块1发送相应的云台15运动控制指令，以跟踪目标；另一方面将报警信息发送到用户终端16上。

d、根据用户终端16的不同，用户可以与服务器进行交互式操作，查看报警信息。

当用户终端16为手机13时，用户在接到GSM模块11的短信报警之后，若想查看图像报警信息，可发送短信至GSM模块11，GSM模块11将图像报警信息以彩信的方式通过2G/3G网络传送，供用户查看；当用户终端16为PC机14时，在用户远程登录服务器模块2后，报警信息以监控画面的方式通过网络传送。

如图2所示：上述嵌入式的智能家居监控方法可以通过下述嵌入式的智能家居监控系统实现，所述基于嵌入式的智能家居监控系统包括设置在家居内的一个监控模块1及与所述监控模块1无线连接的服务器模块2，服务器模块2设有视频处理单元8，监控模块1采集对应监控区域的视频图像，并将所述视频图像传输到服务器模块2内，服务器模块2将接收的视频图像输入视频处理单元8，以获得运动检测和目标跟踪的判断；当服务器模块2通过视频处理单元8得到运动检测判断的结果为有运动物体且需要目标跟踪时，服务器模块2一方面将视频图像保存到存储模块10，同时向监控模块1发送相应的云台运动控制指令，以跟踪目标；另一方面将报警信息发送到用户终端16上；根据用户终端的不同，用户可以与服务器模块2进行交互式操作，查看报警信息。

所述监控模块1包括一个摄像机3、微处理器4、WIFI模块一5和云台15。其中摄像机3采用OV7725图像传感器，实时的进行视频图像的采集；微处理器4采用STM32芯片，微处理器一方面将摄像机3采集到的视频图像进行压缩处理；另一方面将压缩后的图像经WIFI模块一5通过路由器7和WIFI模块二6传输给视频处理单元2。

所述服务器模块2包括视频处理单元8、服务器单元9和存储模块10。视频处理单元8和服务器单元9使用德州仪器公司生产的达芬奇平台的DM3730芯片作为核心处理器。它由一个1GHz主频的ARM核和一个800MHz主频的DSP核两部分组成，并集成了3D图形处理器，视频加速器，USB2.0，支持MMC/SD卡，串口等。其独特的ARM和DSP双核架构不仅能满足视频图像应用中高速运算的要求，同时提供了丰富的接口，可满足系统控制功能的需求。ARM端满足服务器单元的搭建及与用户进行交互操作的要求，DSP端负责对视频图像处理的任务。在服务器软件方面采用LAMP(Linux-Apache-MySQL-PHP)架构。该框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，PHP编程语言，LAMP具有Web资源丰富、轻量、快速开发等特点。

本发明采用改进的三帧差分算法进行运动检测，并通过运动目标的质心转换成相对位移矢量对云台15进行控制，对运动目标进行自动跟踪，避免监控区域中的目标丢失，能够更好的进行视频监控，提高家居的安全性。监控模块1、路由器7与服务器2之间采用WIFI协议进行无线连接，避免了布线维修问题。可采用手机13和PC机14作为用户终端，方便用户及时查看监控情况。当服务器模块2检测到运动图像时，才将视频图像进行保存，解决了计算机存储空间浪费的问题。采用LAMP(Linux-Apache-MySQL-PHP)架构的嵌入式平台的服务器单元，稳定性好，可靠性高，可以实现用户远程控制。

Claims (3)

1.一种基于嵌入式的智能家居监控方法，其特征是，所述家居监控包括如下步骤：

a、在家居中设置所需的监控模块1，所述监控模块1实时采集视频图像，并将所采集的视频图像经过路由器7传输到服务器模块2；

b、服务器模块2将通过路由器7接收的视频图像输入视频处理单元8，进行运动检测和目标跟踪的判断。

c、当服务器模块2通过视频处理单元8得到的判断为有运动物体且需要目标跟踪时，服务器模块2一方面将视频图像保存到存储模块10，同时向监控模块1发送相应的云台15运动控制指令，以跟踪目标；另一方面将报警信息发送到用户终端上。

d、根据用户终端的不同，用户可以与服务器模块2进行交互式操作，查看报警信息。

2.根据权利要求1所述的基于嵌入式的智能家居监控方法，其特征是：所述步骤b中，采用三帧差分算法对视频图像进行运动检测，并通过将运动目标的质心转换成相对位移矢量来实现目标跟踪。

3.一种基于嵌入式的智能家居监控系统，其特征是：包括设置在家居内的一个监控模块1及与所述监控模块1无线连接的服务器模块2，服务器模块2设有视频处理单元8，监控模块1采集对应监控区域的视频图像，并将所述视频图像传输到服务器模块2内，服务器模块2将接收的视频图像输入视频处理单元8，以获得运动检测和目标跟踪的判断；当服务器模块2通过视频处理单元8得到运动检测判断为有运动物体需要目标跟踪时，服务器模块2一方面将视频图像保存到存储模块10，同时向监控模块1发送相应的云台运动控制指令，以跟踪目标；另一方面将报警信息发送到用户终端上；根据用户终端的不同，用户可以与服务器模块2进行交互式操作，查看报警信息。

Images