CN105100724A - 一种基于视觉分析的智能家居远程安全监控方法及装置 - Google Patents

Abstract

一种基于视觉分析的智能家居远程安全监控方法及装置，该方法包括：采集室内视频图像；间隔提取视频图像中的一帧进行家居设备识别，并判断其运行状态；根据采集到的视频图像分析是否存在运动物体，若存在则跟踪拍摄该运动物体，并获取该物体的高清照片；将获取的高清照片主动发送给远程终端，同时本地分析高清照片识别出运动目标的种类；判断种类，若运动物体是人类，通过人脸识别判断该人类是否为居住户；根据判断结果，判断其危险等级并向远程终端发出相应的信息或报警信息。装置包括摄像机、图像处理器、控制器、数据收发设备、远程智能终端；远程终端通过互联网与信息传输设备连接。从而本发明具有实时性高、适用范围广、易于安装维护的有点。

Description

一种基于视觉分析的智能家居远程安全监控方法及装置

技术领域

本发明属于远程安全监控领域。

背景技术

当前智能家居系统主要存在两类应用模式，一类是以智能安防为平台、集成了家电管理的自动化控制系统，另一类是以家电管理自动化控制为平台、集成了智能安防功能的家居系统。它们都存在着一些亟待解决的问题：(1)未制订统一的智能家居行业标准；(2)系统安装、调试和使用操作过于复杂，将制约着智能家居产品从研发向市场消费的转化，需要结合大多数用户和住宅的现状来进行系统设计；(3)后期维护和更新的成本高，通过固定的通信网络或外部扩展模块实现设备互联的方式将导致系统一旦安装完成就难以改变；(4)安全和可靠性技术需要进一步提升，功能较为复杂的系统综合使用的各项技术也需要不断升级。

由于基于视觉分析的监控技术在行人检测、跟踪及识别应用中取得的成功，并且存在着推广到诸多其它应用中的可能，引起了越来越多相关企业的关注。但是，目前视觉分析的应用在智能家居领域大多以安防功能为主，其他功能(如家电管理、灯光控制等)的实现通常依赖基于各类专项传感器的智能系统。完完全全基于视觉分析的家居安全监控方式几乎还没有出现，本发明以智能家居远程安全监控为应用背景开发的基于视觉分析的监控系统正是视觉分析和监控技术的融合、推广与出新。

发明内容

为了避免已有智能家居系统需要对住宅进行重新布线、更换家电的配套设备或安装特定控制模块的问题，本发明提供一种仅需增设摄像头装置的基于视觉分析的智能家居远程安全监控方法及装置，既便于前期安装和后期维护，又能够大大降低成本费用。

本发明解决其技术问题所采用的技术方案是：一种基于视觉分析的智能家居远程安全监控方法，该方法包括：

步骤1：采集室内视频图像；

步骤2：间隔提取视频图像中的一帧进行家居设备识别，并判断其运行状态；

步骤3：根据采集到的视频图像分析是否存在运动物体，若存在则跟踪拍摄该运动物体，并获取该物体的高清照片；

步骤4：将获取的高清照片主动发送给远程终端，同时本地分析高清照片识别出运动目标的种类；

步骤5：根据步骤4的判断种类，若运动物体是人类，通过人脸识别判断该人类是否为居住户；

步骤6：根据步骤4和步骤5的判断结果，判断其危险等级并向远程终端发出相应的信息或报警信息。

进一步的远程终端可向监控设备发送请求命令，要求实时传送采集的视频图像。

进一步的远程终端具有图像处理能力，对接收到的高清照片进行种类识别、危险等级的判断、人脸识别；再根据识别结果发出信息或报警信息。

进一步的所述步骤2的具体方法为：

步骤2.1：预输入家居设备的模板图片；

步骤2.2：提取视频图像中的一帧，将模版图片依次在提取的帧图像进行滑动，计算模版图像与其在帧图像上覆盖的小块图像的相关度，根据相关度辨别帧图像该处是否为模版图像上的家居设备；

步骤2.3：判断出帧图像中的家居设备后，对家居设备进行彩色直方图统计，获取家居设备电源指示灯的颜色信息；

步骤2.4：根据彩色直方图判断家居设备的运行状态。

进一步的所述步骤3的具体方法为：

步骤3.1：采用混和高斯模型对背景进行建模；

步骤3.2：利用采集到的室内背景图像对建立的混合高斯模型进行训练；

步骤3.2：利用训练好的模型对采集到的视频图像进行背景剔除，判断是否有运动物体；

步骤3.3：若存在运动物体只捕捉并跟踪拍摄该运动物体。

步骤3.4：若当前帧信息更新，则在当前帧中，选取与模型不匹配的点来更新模型参数，从而更新原模型。

进一步的所述步骤4的具体步骤为：

步骤4.1：将获取的高清照片发送给远程终端；

步骤4.2：本地处理过程中，首先预输入运动物体的模版图像；

步骤4.3：将预输入的模版图像与获取的运动物体进行相关度计算，获取运动物体的种类；

步骤4.4：若运动物体为人类，采用人脸识别方法对检测出的人类进行判断，判断其是否为居住户。

进一步的所述步骤4.3中预输入的运动物体模版图像包括：人、火焰、烟雾、动物。

进一步的所述步骤4.4的具体步骤为：

步骤4.4.1：采用居住户的人脸图像以每个像素作为1维特征，得到一个高维数的特征向量；

步骤4.4.2：用PCA算法对图像进行降维，去除原始特征维之间的相关性，得到居住户的主分量PCA特征脸；

步骤4.4.3：将获得人脸图像以每个像素作为1维特征，得到一个高维数的特征向量；

步骤4.4.4：用PCA算法对图像进行降维，去除原始特征维之间的相关性，得到待识别人脸的主分量PCA特征脸；

步骤4.4.5：将待识别人脸的主分量PCA特征脸送入SVM分类器将其与步骤4.4.2获得的居住户的主分量PCA特征脸进行分类识别。

一种基于视觉分析的智能家居远程安全监控装置，包括摄像机、图像处理器、控制器、数据收发设备、远程智能终端；远程终端通过互联网与信息传输设备连接；

所述图像处理器包括：运动物体检测模块、目标跟踪模块、运动目标识别模块、人脸识别模块、家居设备识别模块、家居设备运行状态判断模块、报警模块；

所述控制器根据目标跟踪模块的结果控制摄像机对目标进行跟踪拍摄，或根据远程智能的终端的指令对摄像机进行控制。

进一步的所述远程终端还包括：运动目标识别模块、人脸识别模块、家居设备识别模块、家居设备运行状态判断模块、数据收发模块、存储模块、报警模块。

本发明的技术构思为：首先，在摄像机端，基于运动目标检测，使用混合高斯背景建模提取背景图像，通过背景减除得到前景图像(包含人形目标、火焰、烟雾或者其他物体)，再采用连通区域处理和分析，根据其空间位置和相对尺寸大小改变摄像头焦距和角度，采集具有适宜尺寸和分辨率的运动目标图像并传输到智能终端；其次，在智能终端，对接收到的运动目标根据外观轮廓信息进行匹配分类，识别为人形目标、火焰\烟雾或者其他物体，并分别进行相应处理，若判定为其他物体则发出警报信息(其他物体闯入)，若判定为火焰\烟雾则发出警报信息(火灾)，若判定为人形目标则需要通过人脸识别是否为用户本人或家庭成员，如果认定为非用户或家庭成员的人形目标则发出相应的警报信息(陌生人闯入)，如果在本次监测中不能判断则等待下一次监测；同时，在智能终端，对定时发送来的监控场景图像中的各种家居设备(包含电视机、空调、电风扇、灯具等)进行识别分类，并分别进行运行状态检测，若判定为开启状态则发出相应的警报信息(某个设备未关闭)，如果在本次监测中不能判断或者判定为关闭状态则等待下一次监测；最后，在智能终端，根据各项警报信息做出相应的处理，通过4G通信网络向用户进行语言报告及等待用户的指令，或者通过有线通信网联系物业、派出所等有关机构，并且根据权限提供不同的查询功能以便对方了解住宅内部的情况。整个监测流程采用自顶向下的判断结构，各个判断算法的融合兼顾计算复杂度和检测精度，实现整个监测系统的高实时性和良好的检出率。

本发明的有益效果主要表现在：实时性高、适用范围广、易于安装维护。

附图说明

图1是基于视觉分析的智能家居远程安全控制系统的总体架构图。

图2是基于视觉分析的智能家居远程安全控制系统的主流程图。

图3是主流程图中摄像机端的子流程图。

图4是主流程图中智能终端的子流程图。

图5是主流程图中摄像机端与智能终端之间的通信子图。

图6是主流程图中智能终端与外界之间的通信子图。

具体实施方式

下面结合附图对本发明作进一步描述。

本发明涉及一种基于视觉分析的智能家居远程安全监控系统，其总体架构图参照图1。该系统适用于对住宅内部安全情况的实时监测，及时发现潜在危险和电器运行状况，保障住宅安全。该系统的监测范围包括：住宅内部是否有闯入情况、火灾隐患、电器和灯具未正常使用情况等。

根据对住宅内部的监控需求分析，基于视觉分析的智能家居远程安全监控系统的主要工作流程参照图2。该监控系统用于室内环境下且背景几乎不变的住宅内部，由摄像头实时监测现场情况并上传相关数据给智能终端，在智能终端上经过深入地分析判断之后，将最终结果以相应形式告知用户或其他相关机构，并接受用户指令或进行自主控制。整个监控过程采用主动方式，同时通过智能终端交互平台受到用户的监控，即允许用户由无线或有线方式对智能终端下达相关指令，从而远程控制住宅内部的各项设施。

参照图1-2，基于视觉分析的智能家居远程安全监控系统，主要包括用于实施无缝覆盖施工现场的PTZ摄像机和配套的处理器、无线传输设备，以及用于与各个摄像头进行无线连接的智能终端。PTZ云台摄像机具有全方位视角变化和较大范围光学变焦的能力，并可以通过网络远程控制摄像头运动。利用其视角、焦距可变的特点在进行常规的场景监控的同时，依靠直接定位来捕获感兴趣区域的高分辨率图像，以便进一步的处理。智能终端集成了图像处理、逻辑判断、报警和人机交互功能，并可以通过网络与摄像机、用户及相关机构远程通信。利用智能终端的自主智能监测和控制的特点，可以实时保障住宅的安全。

考虑到住宅内部的无线通信环境、移动设备功耗和计算能力的问题，该方案将视频的前期处理放在摄像机端，其初步处理的结果和压缩后的原始视频数据经无线发送设备传输至智能终端进行进一步的处理，以减小所需传输的数据量。同时，智能终端能够通过无线方式发出指令，控制摄像头的活动和各个家居设备的运行。

(1)所述摄像机端的主要功能模块包括：

视频数据采集模块，用于采集住宅内部需要实时监控的区域(包含电视机、空调、电风扇、灯具等)的视频数据，作为后续处理的数据来源，；

运动物体检测模块，用于检测住宅内部的运动目标，其输入为摄像头采集的视频信息，输出的检测结果(运动物体)作为目标跟踪模块的输入；

目标跟踪模块，用于跟踪由前期处理已确定的运动目标，直至目标到达合适位置后，通知摄像机捕捉高分辨率图像，作为需要发送给智能终端进行进一步处理分析的数据内容；

摄像头控制模块，用于根据其他模块的需要或移动终端的指令控制摄像头的活动，如改变摄像头焦距。

无线收发模块，用于接收其他模块的输出信息向移动终端传输，并且支持与移动终端进行交互；

(2)所述移动终端的主要功能模块包括：

运动目标识别模块，用于对识别出的运动目标进行分类，打上各自的类别标签(人形目标、火焰\烟雾、其他物体)，以便后续分别地处理；

人脸识别模块，用于识别人形目标是否为用户本人或家庭成员，其输入为识别出来的人形目标，输出的检测结果为用户或非用户，是判定住宅是否被陌生人闯入的依据；

家居设备识别模块，用于识别监控现场中的电视机、电风扇、空调、灯具等各种家居设备，其输入为摄像头采集的视频信息，输出的检测结果为各种家居设备打上类别标签，以便后续分别地处理；

家居设备运行状态判断模块，用于判断监控现场的各种家电和灯具设备是否处于运行状态，其输入为识别出来的各个设备，输出为该设备处于开启或关闭的状态信息；

控制模块，用于根据其他模块传来的不同报警信息生成相应的警报提醒，例如火灾报警、闯入报警等，及相应的应对措施，例如通知用户或物业等相关机构，等待接收处理指令，在未收到任何回复的情况下进行自主处理，例如关闭电器、开启喷淋设施等；

无线收发模块，用于接收来自摄像机端的数据信息，例如目标跟踪模块输出的结果是后续处理的基础、视频采集模块输出的结果是查询功能的数据来源等，并且支持与摄像机端进行交互，与摄像机端的此类模块相似；

4G通信模块，用于通知用户、物业或者派出所等相关机构，接受控制模块发出的指令进行自动拨号，提供电话语音提示；

有线上网模块(包括家庭网关)，用于向外界提供在线的接入方式，并根据权限限制接入行为；

存储模块，用于存储摄像机端采集的原始视频数据和控制模块的输出结果(包括警报信息和相关控制指令信息)，面向用户提供自定义查询的功能。

(1)参照图3，摄像机端的详细工作流程如下：

首先，启动PTZ相机，进行初始化默认的监控场景，并为选择的捕获区域设置预置点，根据预设时间间隔调整PTZ对每个预置点进行高分辨率图像捕获；在监控开始时，对监控场景进行背景建模，通过运动目标检测估计感兴趣区域，然后调整PTZ到相应的预置点，捕获该区域的高分辨率图像；最后发送至智能终端做后续处理；同时将实时采集的监控视频数据进行压缩后发送至智能终端以备后续查询。

其中，运动目标检测检测方法的具体实现如下。对动态背景来说，由于背景运动通常是多模的，因此混合高斯背景使用多个高斯模型来拟合一个像素点的颜色分布更加符合实际情况。假设混合高斯模型由K个高斯函数组成，K一般取值3，X_t为当前帧上的一个点，那么X_t属于这个混合高斯背景模型的概率为：

$f\left(X_t\left(i,j\right)\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,t}{N}_k\left(X_t\left(i,j\right),M_{k,t}{\mathrm{\Σ}}_{k,t}\right)$

式中：ω_k，t是第k个高斯分布在时刻t的权值且满足M_k，t、∑_k，t分别是第k个高斯分布在时刻t的均值和标准差矩阵，f(X_t(i，j))即混合高斯模型。N(·)是一个高斯函数，表示为：

$N(X^t,M,\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}|\mathrm{\Σ}{|}^{\frac{1}{2}}}\exp \[-\frac{1}{2}{(X^t-M)}^T{\mathrm{\Σ}}^{-1}(X^t-M)\]$

$N(X^t,\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}|\mathrm{\Σ}{|}^{\frac{1}{2}}}\exp \[-\frac{1}{2}{(X^t-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}\left(X^t-\mathrm{\μ}\right)\]$

初始的每个点都可以用前几帧信息建立一个初始高斯模型，即通过对初始帧的数据进行统计操作来完成初始高斯模型中参数M和∑的初始化过程。随后，在模型更新时通过引入当前帧信息更新模型。当前帧中，与模型不匹配的点将用来建立新的模型。参数的更新可以采用下式：

M_k,t+1＝(1-α)M_k,t+α∑_k,tX^t

∑_k,t+1＝(1-β)∑_k,t+1+β(M_k,t-X^t)²

在选择更新系数α、β时，需要考虑视频帧率与背景变化的频率，经验值为0.01、0.01。此外，需要对∑_k，t设置下限值，避免高斯分量变得过于陡峭。当模型数目达到K时，新的模型将取代权重最低的旧模型。更新各高斯分量的权重则按照：对S个有序排列的稳定高斯分量，只对第一个分量使用：

来更新权重，而直接削弱其他高斯分量的权重系数：

最后归一化所有权重系数：

式中r为更新系数，经验值为0.02。

获得当前帧各点的混合高斯模型概率后，对于当前帧的各个像素X_t,只需要计算其属于对应混合高斯背景模型的概率值，并二值化即得到检测结果。高斯模型中落入在距离中心2.5∑以外的概率很小，因此一般取2.5∑作为二值化门限。具体来说，首先保持所有K个高斯模型按照权重从大到小排列，并设置一个阈值δ_w，表示仅认可所有模型中权重最大的S个高斯分量为稳定分量，即：

$S=\arg \underset{b}{\min }(\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\ω}}_k^t>{\mathrm{\δ}}_w)$

若某像素X落在这S个稳定分量中每一个的2.5∑之内，就标记X为背景，否则标记为运动目标。经过混合高斯背景建模后，对已标记的运动目标进行形态学处理，去除面积较小的干扰项，填补孔洞弥合间断，得到较为完整的一个连通分量作为目标跟踪模块的输入。这一步对于减少不必要的计算具有重要意义。

确定跟踪目标后，采用传统的外观模型方法对运动目标进行跟踪。将目标的颜色模型和前景概率保存在模板中。在每一帧都用上一帧保存的颜色模板和前景概率模板与新检测到的运动区域进行匹配，最接近的标记为同一目标，从而达到跟踪效果。当确认目标是以稳定目标，并到达合适位置后，预测目标的停留位置。然后中断运动目标检测和目标跟踪程序，调整PTZ摄像机视野到选定区域进行拍摄。若运动目标在第i个预置捕捉区域内，则将当前窗口调整至第i个预置捕捉区域。若运动目标不在同一个捕捉区域内，则直接选择最近的捕捉区域。在预置的捕捉窗口，拍摄几帧高分辨率的人形目标全身图像后，窗口返回默认监视场景状态，并恢复运动检测和跟踪。

(2)参照图4，智能终端的详细工作流程如下：

首先，智能终端收到来自摄像机端的高分辨率运动目标图像和预置点图像。接着对运动目标进行分类，打上对应的类别标签后，对不同的类分别进行处理：对火焰\烟雾进行自动开启喷淋系统并进行报警；对人形目标进行人脸识别，根据识别结果作报警处理，或不作处理并等待下一次的检测；对其他物体直接进行报警处理。报警信息通过4G通信网络发出，等待相关人员的最终处理。然后对预置点图像中的家居设备进行识别，并对每一个设备的运行状态进行判定，根据判定结果作自行处理，或关闭设备或切断对应的进线开关。控制信息通过红外传输来无线遥控家居设备。

其中，家居设备识别方法的具体实现如下。预先输入电视机、电风扇、空调、灯具等各种家居设备的模板图片，通过基于相关的模板匹配来计算待检测图像中的各个子图像与模板的相关度，相关程度高即匹配成功，并识别为该种设备。计算相关的过程：在图像f(x，y)中逐点地移动子图像w(s，t)，使w的原点和点(x，y)重合，然后计算w与f中被w完全覆盖的图像区域对应像素的乘积之和，以此计算结果作为相关图像r在(x，y)点的响应。计算的相关响应存在着对f和w的灰度幅值比较敏感的缺陷，可通过归一化来解决这一问题。用于匹配的相关计算公式如下：

$r(x,y)=\frac{\underset{s=0}{\overset{K}{\Σ}}\underset{t=0}{\overset{J}{\Σ}}w(s,t)f(x+s,y+t)}{{\[\underset{s=0}{\overset{K}{\Σ}}\underset{t=0}{\overset{J}{\Σ}}{w}^2(s,t)\·\underset{s=0}{\overset{K}{\Σ}}\underset{t=0}{\overset{J}{\Σ}}{f}^2(x+s,y+t)\]}^{1/2}}$

得到的具有最大相关度(r为最大值)的点(x，y)为最佳匹配区域左上角的点。

运动目标识别方法的具体实现也如上所述，采用模板匹配。

家居设备运行状态的判定方法如下。由于各种电器(如电视机、空调、电风扇)和灯具在开启状态下能够通过指示灯从视觉上进行区分，因此利用指示灯或显示屏部分的颜色信息进行判定是最简单有效的方法。待检测的是设备区域的RGB图像。RGB图像是M×N×3的彩色像素的数组，其中的每个彩色像素点都是在特定空间位置的彩色图像所对应的红、绿、蓝三个分量。通过预先对设备颜色在RGB彩色空间中的统计，可以分别得到R、G、B三个分量的取值范围。对待检测目标进行逐个像素扫描，统计落入该取值范围的像素点占总像素点数目的比值β，若β接近于1，则可以认为是处于关闭状态的，否则认为处于开启状态并输出警报信息“warning:XXX未关闭”。控制模块根据此条警报则自动进行远程遥控关闭设备处理，若在下一次的检测中发现设备未正常关闭，则进行关闭该设备对应的进线开关处理。

人脸识别方法的具体实现如下。将一幅图像以每个像素作为1维特征，得到一个维数非常高的特征向量，再利用PCA技术进行降维，去除原始特征各维之间的相关性，那么得到的主分量称为PCA特征脸。假设将原始数据从n维空间投影到d(d≤n)维空间，用d维向量来代替n维向量，则选取散布矩阵S的前d个最大本征值所对应的本征向量即构成代表人脸的d个PCA特征脸，其中散布矩阵为：

$S=\underset{i=1}{\overset{N}{\Σ}}({\stackrel{\→}{x}}_i-\stackrel{\→}{m}){({\stackrel{\→}{x}}_i-\stackrel{\→}{m})}^T$

式中：是各个样本，是样本均值。通过事先由用户人脸图像生成样本矩阵，进而得到主成分分量，最后将代表待检测图像的特征向量送入SVM分类器进行分类识别。分类器学习应预先完成，即通过在正负样本集上用SVM方法来学习分类器。检测部分则是在监测系统运行时直接相关的部分，即对特征向量进行分类识别，得到检测结果(该目标是否穿戴安全带)。SVM分类是寻找能够成功分开两类样本并且具有最大分类间隔的最优分类超平面。寻找最优分类面是一个二次寻优问题，理论上得到的是全局最优点。SVM分类器分为线性和非线性两类：

①线性SVM的最优分类函数为：

$h\left(x\right)=\mathrm{sgn}(({\stackrel{\→}{w}}^{*}\·\stackrel{\→}{x})+b^{*})=\mathrm{sgn}(\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i^{*}{y}_i({\stackrel{\→}{x}}_i\·\stackrel{\→}{x})+b^{*})$

式中：是待分类的测试样本，全部N个训练样本，y_i是第i个训练样本的类标签(y_i＝+1或y_i＝-1)，α*，b*分别对应各个系数α，b的最优解。最优解由下式得到：

$L\left(\mathrm{\α}\right)=-\frac{1}{2}\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j{\stackrel{\→}{x}}_i^T{\stackrel{\→}{x}}_j+\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\α}}_i,{\mathrm{\α}}_i\≥0,\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\α}}_i{y}_i=0$

是关于α的凸二次规划问题。在解得α之后，最大余地分割超平面的参数可由下式确定：

$\stackrel{\→}{w}=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\α}}_i{y}_i{x}_i$

或 $b=-1-\underset{y_i=-1}{\max }(\stackrel{\→}{w}\·{\stackrel{\→}{x}}_i)$

②非线性SVM，采用内积核函数K(xi，xj)实现从低维空间向高维空间的映射，从而实现某一非线性分类变换后的线性分类。优化目标函数变为：

$L\left(\mathrm{\α}\right)=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_{j}K(x_i,x_j)$

分类函数变为：

$h\left(x\right)=\mathrm{sgn}(\underset{i\∈SV}{\Σ}{\mathrm{\α}}_i^{*}{y}_{i}K(x_i,x_j)+b^{*})$

常用的核函数有：线性核函数、多项式核函数、径向基核函数、Sigmoid核函数。分类器学习部分，主要包括建立人脸正负样本集，对所有样本提取特征，然后学习分类器，即根据样本集获得分类器参数的最优解的过程，而分类识别是待检测样本在生成的分类函数中进行运算的过程，进而输出最终检测结果。若检测结果为该目标是用户本人或家庭成员，则不作处理，等待下一次检测；否则，输出警报信息“warning:陌生人员闯入”，并保存该目标的高分辨率图像，同时通知进行报警处理。

(3)参照图5，摄像机端与智能终端之间的通信流程如下：

智能终端每间隔时间T进行主动轮询一次，摄像机端收到此消息则向移动终端发出连接请求，智能终端收到其中一个摄像机端发来的连接请求则返回同意连接的消息，随后摄像机端向移动终端发送视频和图像数据，数据发送完成后或时间片到达后自动断开连接。摄像机端检测到运动物体时能主动发出连接请求，该连接请求的优先级高于上述连接请求的优先级，智能终端将先应答优先级高的请求。

(4)参照图6，智能终端与外界之间的通信流程如下：

智能终端与外界通信的方式主要通过4G通信模块和有线上网模块实现。智能终端采用主动发起呼叫的方式连接用户、物业、派出所等相关机构，并进行语音报警提示。智能终端接收来自有线网络的被动连接，根据权限提供接入查询服务。

本发明的重点在于通过摄像机和智能终端建成一个家居远程安全监控系统，由摄像机端采集数据并做前期处理后发送给智能终端做后续处理，以自主和远程控制相结合的方式进行处理。该系统实现了对住宅内部的实时监控，以及对家具设备的自动检测、处理，构建了一个现代化智能化的居住环境。

Claims (10)

1.一种基于视觉分析的智能家居远程安全监控方法，该方法包括：

步骤1：采集室内视频图像；

步骤2：间隔提取视频图像中的一帧进行家居设备识别，并判断其运行状态；

步骤3：根据采集到的视频图像分析是否存在运动物体，若存在则跟踪拍摄该运动物体，并获取该物体的高清照片；

步骤4：将获取的高清照片主动发送给远程终端，同时本地分析高清照片识别出运动目标的种类；

步骤5：根据步骤4的判断种类，若运动物体是人类，通过人脸识别判断该人类是否为居住户；

步骤6：根据步骤4和步骤5的判断结果，判断其危险等级并向远程终端发出相应的信息或报警信息。

2.如权利要求1所述的一种基于视觉分析的智能家居远程安全监控方法,其特征在于远程终端可向监控设备发送请求命令，要求实时传送采集的视频图像。

3.如权利要求1所述的一种基于视觉分析的智能家居远程安全监控方法,其特征在于远程终端具有图像处理能力，对接收到的高清照片进行种类识别、危险等级的判断、人脸识别；再根据识别结果发出信息或报警信息。

4.如权利要求1所述的一种基于视觉分析的智能家居远程安全监控方法,其特征在于所述步骤2的具体方法为：

步骤2.1：预输入家居设备的模板图片；

步骤2.2：提取视频图像中的一帧，将模版图片依次在提取的帧图像进行滑动，计算模版图像与其在帧图像上覆盖的小块图像的相关度，根据相关度辨别帧图像该处是否为模版图像上的家居设备；

步骤2.3：判断出帧图像中的家居设备后，对家居设备进行彩色直方图统计，获取家居设备电源指示灯的颜色信息；

步骤2.4：根据彩色直方图判断家居设备的运行状态。

5.如权利要求1所述的一种基于视觉分析的智能家居远程安全监控方法,其特征在于所述步骤3的具体方法为：

步骤3.1：采用混和高斯模型对背景进行建模；

步骤3.2：利用采集到的室内背景图像对建立的混合高斯模型进行训练；

步骤3.2：利用训练好的模型对采集到的视频图像进行背景剔除，判断是否有运动物体；

步骤3.3：若存在运动物体只捕捉并跟踪拍摄该运动物体。

步骤3.4：若当前帧信息更新，则在当前帧中，选取与模型不匹配的点来更新模型参数，从而更新原模型。

6.如权利要求1所述的一种基于视觉分析的智能家居远程安全监控方法,其特征在于所述步骤4的具体步骤为：

步骤4.1：将获取的高清照片发送给远程终端；

步骤4.2：本地处理过程中，首先预输入运动物体的模版图像；

步骤4.3：将预输入的模版图像与获取的运动物体进行相关度计算，获取运动物体的种类；

步骤4.4：若运动物体为人类，采用人脸识别方法对检测出的人类进行判断，判断其是否为居住户。

7.如权利要求1所述的一种基于视觉分析的智能家居远程安全监控方法,其特征在于所述步骤4.3中预输入的运动物体模版图像包括：人、火焰、烟雾、动物。

8.如权利要求1所述的一种基于视觉分析的智能家居远程安全监控方法,其特征在于所述步骤4.4的具体步骤为：

步骤4.4.1：采用居住户的人脸图像以每个像素作为1维特征，得到一个高维数的特征向量；

步骤4.4.2：用PCA算法对图像进行降维，去除原始特征维之间的相关性，得到居住户的主分量PCA特征脸；

步骤4.4.3：将获得人脸图像以每个像素作为1维特征，得到一个高维数的特征向量；

步骤4.4.4：用PCA算法对图像进行降维，去除原始特征维之间的相关性，得到待识别人脸的主分量PCA特征脸；

步骤4.4.5：将待识别人脸的主分量PCA特征脸送入SVM分类器将其与步骤4.4.2获得的居住户的主分量PCA特征脸进行分类识别。

9.一种基于视觉分析的智能家居远程安全监控装置，包括摄像机、图像处理器、控制器、数据收发设备、远程智能终端；远程终端通过互联网与信息传输设备连接；

所述图像处理器包括：运动物体检测模块、目标跟踪模块、运动目标识别模块、人脸识别模块、家居设备识别模块、家居设备运行状态判断模块、报警模块；

所述控制器根据目标跟踪模块的结果控制摄像机对目标进行跟踪拍摄，或根据远程智能的终端的指令对摄像机进行控制。

10.如权利要求9所述的一种基于视觉分析的智能家居远程安全监控装置,其特征在于所述远程终端还包括：运动目标识别模块、人脸识别模块、家居设备识别模块、家居设备运行状态判断模块、数据收发模块、存储模块、报警模块。