CN102724773B - 基于m2m通信的无线智能监控装置及方法 - Google Patents

Abstract

一种基于M2M通信的无线智能监控装置及方法，其装置包括由服务器PC、智能化管理模块和无线通信模块组成的监控台，以及由视频采集模块、智能处理模块、无线通信模块组成的无线监控终端。其方法包括：(1)控制台发送拓扑信息；(2)终端接收拓扑信息；(3)终端中的智能处理模块估计接力点；(4)终端广播接力任务；(5)控制台判断是否继续跟踪；(6)接力点进行特征匹配；(7)接力点判断是否为接力跟踪目标；(8)接力点跟踪目标，估计下一个接力点；(9)接力点终端等待新任务；(10)控制台判断是否报警。本发明适用于室内室外多种复杂场景的联合监控，不受距离限制，使监控系统更加可靠的同时也节省了通信费用。

Description

基于M2M通信的无线智能监控装置及方法

技术领域

本发明属于电子信息技术领域，更进一步涉及无线通信领域、计算机视觉领域中的基于机器对机器(Machine To Machine，M2M)通信的无线智能监控装置及方法。

本发明利用M2M无线通信和视频智能化分析装置及方法，实现大型监控系统中对运动目标的行为分析和接力跟踪。

背景技术

目前，监控系统在各行各业已经得到广泛的应用，在这些监控系统中大多采用摄像机或者摄像头进行录像，将视频以有线的方式传送到监控中心进行分析和存储，这样不仅需要大量的人力物力，而且无法及时的发现可疑的目标和行为。然而，如果采用无线方式来进行视频传输同样面临巨大的后台处理压力和高昂的通信费用，尤其当被跟踪目标在室内多点活动或者当室内室外场景切换，给实时智能监控造成了较大的困难。

中国科学院自动化研究所提出的专利申请“大范围监控场景下异常目标检测及接力跟踪的方法及系统”(专利申请号CN201010191162.X，公开号CN101883261A)公开了一种大范围监控场景下异常目标的检测和接力跟踪方法。该方法的实施步骤是：步骤1，视频输入和帧抽取；步骤2，对图像进行亚采样；步骤3，高斯背景建模；步骤4，计算目标块在数字地图中的位置；步骤5，对目标进行跟踪和轨迹记录；步骤6，对目标异常行为进行检测；步骤7，对目标进行检测和接力跟踪。该专利申请还公开了一种装置，包括：目标检测模块、目标识别与跟踪控制模块、主动跟踪模块。该方法虽然利用主动跟踪主机和云台摄像机配合工作，通过确定目标在数字地图中的位置，实现了接力跟踪任务。但是仍然存在的不足是，该方法利用设置在高空的摄像机定位目标的位置，适用的监控场景比较单一，若目标移动到室内或者被环境遮挡，接力跟踪将无法进行。此外，该专利申请系统采用有线方式连接，并且监控场景范围较大，对于走线和后期维护都比较费力。

北京航空航天大学提出的专利申请“一种多摄像机场景下车辆接力跟踪方法”(专利申请号201010296640.3，公开号CN101950426A)公开了一种多摄像机场景下车辆接力跟踪方法，解决了复杂背景下实现多个摄像机覆盖范围内实时的持续跟踪。该方法实施步骤是：步骤1，获取相邻摄像机场景图像，利用SIFT算法提取图像特征；步骤2，找出相邻图像与基准图像特征点欧氏距离最近的前两个关键点，用于完成相邻场景图像特征匹配；步骤3，利用随机采样一致性算法(RANSAC)，剔除错误的匹配对；步骤4，采用了L-M算法优化透视矩阵，提高RANSAC算法对图像变换的准确率，步骤5，根据两幅图像匹配点的位置，确定摄像机交叠区域。该方法虽然对于多摄像机存在交叠视场区域的情况下，解决了摄像机交接过程中车辆唯一性身份确认问题，实现了复杂场景下车辆实时、准确的跟踪。但是仍然存在的不足是，仅适用于多摄像机有交叠区域场景下的车辆跟踪，在实际应用中尤其在大范围的监控场景无法做到摄像机如此密集的分布，而且对于其它运动目标的跟踪，例如对人的跟踪，可能存在室内室外多场景的切换，该发明的系统和方法则无法完成接力跟踪。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种将M2M无线通信与视频智能化处理相结合的监控装置及方法，通过对视频中的运动目标进行自动分析，仅提取有用信息进行无线发送，既达到实时智能监控的目的，又不会造成高昂的通信费用，能满足远距离多场景下的运动目标接力跟踪和报警功能。同时，终端能接收并解析控制台的命令数据，用于支持人工提取监控录像和执行控制中心下发的监控指令。

实现本发明的技术思路是：通过一个智能监控系统来实现，该系统由一台控制台PC、多个M2M通信模块、多个摄像机以及必要的连接电路组成。一个M2M通信模块和一部摄像机通过电路连接，组成一个无线监控终端，多个监控终端按照实际需要安装，组成一个无线监控网络，控制台PC通过无线数据交互，实现对所有无线监控网络的组织和管理。无线监控终端中的视频智能化分析模块，自动识别和跟踪可疑目标，仅提取关键信息进行传递，同时控制台具有对监控点上报信息进行复核和纠错功能，提高了视频智能化分析结果的可靠性。当M2M通信模块中插入SIM卡、所有设备上电后，多个监控终端和控制台将通过无线网络通信，共同完成运动目标的行为分析和接力跟踪任务。

本发明的装置包括由服务器PC、智能化管理模块和无线通信模块组成的监控台，以及由视频采集模块、智能处理模块、无线通信模块组成的无线监控终端，其中：监控台中的服务器PC，与智能化管理模块和无线通信模块相连，用于提供人机操作界面、状态查看以及报警音的播放。监控台中的智能化管理模块，用于监控子网的组建、监控过程中对终端的监督控制、报警信息的复核以及报警行为的实施。监控台中的无线通信模块，与服务器PC的接口相连，实现监控台与无线监控终端的身份验证和数据收发功能。无线监控终端中的视频采集模块，与摄像机或摄像头连接，用于实时视频的采集和对视频进行压缩存储。无线监控终端中的智能处理模块，用于对实时采集的视频进行形态学预处理，提取运动目标并分析其行为，自动识别可疑目标，提取可疑目标的特征，通过对可疑目标的跟踪估算出接力点。无线监控终端中的无线通信模块，与视频采集模块和智能处理模块连接，实现无线监控终端之间以及无线监控终端与监控台之间的数据交互。

本发明方法的具体步骤如下：

(1)控制台发送拓扑信息

1a)控制台中的智能化管理模块根据地理位置和监控需要划分监控子网；

1b)无线通信模块将包含监控子网拓扑信息的数据发送到终端。

(2)终端接收拓扑信息

2a)终端接收包含拓扑信息的数据；

2b)每个终端存储与其自身相关的拓扑信息数据。

(3)终端中的智能处理模块估计接力点

3a)终端确定可疑目标；

3b)终端提取可疑目标的图片和特征信息；

3c)终端跟踪可疑目标，根据接力点估算方法估算接力点。

(4)终端广播接力任务

终端将可疑目标的图片和特征信息组装成数据包，由无线通信模块通过M2M协议发送到控制台和接力点，完成广播接力任务。

(5)控制台判断是否继续跟踪

5a)智能化管理模块从终端获取发现可疑行为的视频或图片，从中判断运动目标的行为是否可疑；

5b)智能化管理模块根据监控系统的拓扑结构，判断接力跟踪目标是否超出监控范围；

5c)智能化管理模块根据终止跟踪条件判断是否继续跟踪，如果是，则转到步骤(6)，否则，执行步骤(10)。

(6)接力点进行特征匹配

接力点终端根据接收的信息分析视频采集模块采集的实时视频，智能处理模块将实时视频中获取的运动目标特征与步骤3b)中所述的接力跟踪目标的特征信息通过特征匹配方法进行匹配。

(7)接力点判断是否为接力跟踪目标

接力点终端查询匹配结果，若匹配成功，则判定当前获取的运动目标为接力跟踪目标，执行步骤(8)，否则执行步骤(9)。

(8)接力点执行步骤3c)，估计下一个接力点。

(9)接力点终端等待新任务。

(10)控制台判断是否报警

控制台中智能化管理模块查询步骤5a)中的判断结果决定是否报警，若可疑，则报警并给出可疑目标的运动路径，否则终止当前任务。

本发明与现有技术相比具有以下优点：

第一，由于本发明将物理上分散的摄像机利用M2M通信模块关联起来，构成一个可共享信息的无线监控网络，仅需要一台计算机作为控制后台，进行必要的组织协调，适用于室内室外多种复杂场景的联合监控，不受距离限制，大量节省了人力物力。

第二，由于本发明利用视频的智能化分析手段，各无线监控终端和控制台之间仅交换有用信息，克服了现有技术中依靠人工判断可疑目标的局限性，使得本发明能够及时发现可疑目标，节省了人力的同时也极大的减小了无线通信费用。

第三，由于本发明在无线监控终端之间采用实时通信，同时控制台具有对无线监控终端所上报信息进行复核和纠错的功能，因此能有效避免现有技术智能监控系统中由于光照变化、遮挡、阴影以及其他环境影响造成对可疑目标的误判，使得本发明具有良好的实际应用价值。

附图说明

图1为本发明装置的方框图；

图2为本发明方法的流程图；

图3为本发明监控接力点的确定方法示意图。

具体实施方式

下面结合附图对本发明做进一步的描述。

图1为本发明装置的方框图，包括一个监控台和多个无线监控终端。

监控台由服务器PC、智能化管理模块和无线通信模块组成，智能化管理模块用于监控子网的组建、监控过程的监督控制、报警信息的复核以及报警行为的实施。无线通信模块是指M2M无线通信模块，与服务器PC通过接口连接，负责监控台和无线监控终端的身份验证和数据收发功能。

无线监控终端由视频采集模块、智能处理模块、无线通信模块组成，其中视频采集模块是指普通的摄像机或者摄像头，可根据实际场地需要进行选择，负责实时视频的采集和压缩存储。智能处理模块用于对实时采集的视频进行形态学预处理，提取运动目标并分析其行为，自动识别可疑目标，提取可疑目标的特征，通过对可疑目标的跟踪估算出接力点。无线通信模块为M2M无线通信模块，无线监控终端之间以及无线监控终端与监控台之间通过该模块实现数据的交互。

无线监控终端根据实际监控需要配备，通常配备十个左右。若监控范围过大，可将系统划分成多个监控子网，每个监控子网分别由一个监控台控制，几个监控台隶属于一个总的监控台，这样能够减小庞大监控系统中对多个可疑目标同时接力跟踪造成的复杂性，提高系统运行效率。

图2为本发明方法的流程图，由于本发明的装置包括控制台端和无线智能终端两部分，因此主流程通过这两部分协同工作，共同完成接力跟踪任务。

步骤1.控制台发送拓扑信息

当设备安装完成并且上电以后，首先由控制台中的智能化管理模块根据地理位置和监控需要划分监控子网，为了减小无线监控系统的复杂性，一个监控子网通常包括不超过十台无线终端。然后控制台将监控子网的拓扑结构通过无线通信模块无线发送到监控子网内的每个无线智能终端，该拓扑结构是一个列表，表中的信息主要有三项，例如“A|B|N”，代表与终端A地理位置直接关联的终端中有终端B，并且B处于A的北部方位N，即终端B处于终端A监控矩形视野的上方。

步骤2.终端接收拓扑信息

无线智能终端中的无线通信模块从控制台接收拓扑信息，通过智能处理模块从中提取并保存与当前终端有直接关联的相邻监控点信息。例如，记录当前监控终端矩形视野内，与其上(北)、下(南)、左(西)、右(东)相邻的终端的编号和方位信息，该编号是系统搭建初期分配的逻辑编号且在整个监控系统中具有唯一性，可以采用数字编号或者字母编号。

步骤3.终端估计接力点

无线智能终端中的视频采集模块用于采集和暂时存储实时视频，首先由智能处理模块确定可疑目标，可疑目标的确定规则是在系统搭建初期根据监控目的进行选择和设置。例1，智能监控系统旨在监控公共场合是否有人员暴力事件发生，那么当监控区域内出现人员打斗，则参与打斗的人均被确定为可疑目标。例2，智能监控系统旨在监控车辆是否越界违章行驶，那么车辆一旦越界则被确定为可疑目标。可疑目标的确定方法是：智能处理模块采用背景减除法和时间差分法相结合的方法提取运动人体轮廓，并用形态学方法去除噪点，获得单个的运动目标轮廓。可疑目标的判断分为人或者车辆。对人的行为监控系统而言，终端中的智能处理模块用运动目标的轮廓和标准的运动人体行为库中的轮廓进行一一比对，同时结合运动轨迹判断运动目标的行为，如果可疑则被锁定为接力跟踪目标，否则继续获取其它单个运动目标，并删除暂时由视频采集模块储存的实时视频。对车辆的违章监控种类有：逆行、越界行驶和不按规定位置停放，异常行为的判定主要根据车辆的运动轨迹，不同的监控点根据实际需要设定不同的规则，当车辆的运动轨迹和运动方向与预设规则不符合，则该车辆被确定为可疑目标。

无线智能终端确定可疑目标后，则对可疑目标进行跟踪，由智能处理模块提取可疑目标的图片和特征信息，特征信息具体表现为一个数据结构，该数据结构的字段根据实际需要设定。例如，第一字节代表目标的类型(人类或车辆)，若是人类，第二字节代表着装的颜色，分别有上装和下装，第三字节代表身形的长宽比例，第四字节代表其它特征，例如带帽子、携带物品。

终端中的智能处理模块根据可疑目标离开其监控范围矩形视野的位置，估算出所有可能的接力点终端编号，具体估算方法通过图3进行举例说明。

图3为本发明监控接力点的确定方法示意图，对于每个监控终端而言，只关心矩形视野边界的上、下、左、右四个出口对应的接力点，这些边界对应的接力点可能没有，也可能有一个或多个，每个监控点只更新维护自己视野范围四个方向的拓扑信息。需要说明的是，系统搭建初期可以合理并有效的布局监控拓扑，使得每个监控终端的边界出口对应的接力点个数在一个数值范围内，例如设定为3，这样可以减小后续广播所消耗的数据流量。

图3中所示，若可疑目标从边界D离开的情况下没有接力点，超出了系统监控的整体区域，则当前监控点会向控制台发出警告，控制台根据监控子网的拓扑判断不需要继续跟踪，发出命令终止跟踪。若跟踪目标从边界B离开当前监控点的视野，根据当前监控点所维护的拓扑结构，对应三个接力监控点：室外监控点c、监控点e和教学楼内监控点d，则将可疑目标的特征信息及视频截图压缩并发送给控制台、监控点c、监控点e和监控点d。控制台判断是否接力跟踪，如果需要接力跟踪，则监控点c、监控点e和监控点d同时就绪，等待获取可疑目标，直到其中一个监控点捕获到该目标为止。根据监控系统的布局设定一个超时时间，如果所有接力点在该时间后仍然没有向控制台发送捕获到可疑目标的提示，则控制台可直接报警，请求人工干预。在本发明所述系统中，当前监控点和接力点之间无需重叠区域，可以用于远距离的监控网络搭建。

步骤4.终端广播接力任务

当可疑目标离开当前终端的监控范围后，当前终端监控点将可疑目标的特征信息和图片组包，由无线通信模块以无线数据业务的方式发送到接力点，同时向控制台发送同样的信息作为通知和日志。特征信息包括着装颜色、身高比例以及其他特征(比如是否带帽子)相结合的数据结构信息，M2M模块间通信运用2G或3G网络，数据通信规范参考运营商指定规范进行。

步骤5.控制台判断是否继续跟踪

控制台中的无线通信模块接收到终端上报的异常告警信息，首先智能化管理模块从终端获取发现可疑行为的视频或图片，从中判断运动目标的行为是否可疑，然后根据监控系统的拓扑结构，判断接力跟踪目标是否超出监控范围，最后根据终止接力跟踪的条件判断是否需要监控终端继续跟踪，如果是，则转到步骤6，命令各接力点准备进行接力跟踪任务，否则执行步骤10。终止接力跟踪的条件包括两方面条件：一方面当可疑目标超出监控系统的覆盖范围则必须停止跟踪；另一方面当控制台中的智能化管理模块判断运动目标的行为是否可疑，若确定为终端误判，控制台也可以命令终端终止跟踪任务，释放软件资源。

步骤6.接力点对目标进行特征匹配

若控制台判断需要继续跟踪，则各接力点开始执行接力跟踪任务，接力点中的智能处理模块对视频采集模块获取的所有运动目标采用特征匹配方法逐个进行特征匹配，特征匹配方法是，将当前获取的运动目标的各项特征信息代号，与接力跟踪目标的各项特征信息的代号进行一一比对，如果各项比对结果一致，则可确定该运动目标为接力跟踪目标。例如，运动目标的类别中“01”代表车辆，“02”代表人类，如果接力跟踪目标类别代号为“01”，当前获取的运动目标的类别也为“01”，则继续判断其它特征信息项的代号，否则可判定该目标不是待接力跟踪的目标。所述的特征信息包括运动目标的类别(人或者车辆)、着装颜色信息、身形比例、其它附加信息(主要针对人，包括携带物品和带帽子的标识)。

步骤7.接力点判断是否为目标

终端中智能处理模块根据特征匹配的结果，判断当前运动目标是否为接力跟踪的目标，如果是则执行步骤8，继续跟踪并估算接力点，否则执行步骤9。

步骤8.接力点跟踪目标，估计下一个接力点。

接力点若确定监控视频中的目标为接力跟踪目标，则跟踪该目标的运动轨迹，智能处理模块根据可疑目标离开当前监控终端的矩形视野中的方位，确定下一个接力点，确定接力点的方法和步骤3中所述的方法一致，然后执行步骤4。

步骤9.接力点等待新任务

当接力点中的智能处理模块匹配特征，确定该运动目标不是待接力跟踪的目标，则由视频采集模块继续获取实时监控视频，等待新的目标进入监控范围后再进行特征匹配，直到其中有一个接力点发现接力跟踪目标为止。同时，如果接力点在执行接力跟踪任务时发现了新的接力跟踪目标，智能处理模块按照步骤3中的方法确定接力点，这时当前终端同时充当上一个任务的接力点和新任务的发现终端。

步骤10.控制台判断是否报警

控制台中的智能化管理模块根据步骤5中对目标可疑性进行复核的结果，判断是否满足报警条件，如果满足则报警，反之终止任务。本发明中的报警条件可根据实际需要设定不同的报警级别，按照紧急程度由低到高，报警级别例如有：提示、告警、紧急报警三种。同时，控制台中的智能化管理模块根据发现可疑目标的终端编号，结合初始设定的拓扑结构，生成可疑目标的运动路径，报警并给出拦截目标的地点提示，完成本次接力跟踪任务。可疑目标的运动路径是一个单链表数据结构，其中每个节点代表经过的监控终端的编号，从这个单链表可分析得到可疑目标的运动路径以及当前可能出现的地理位置。

Claims (8)

1.一种基于M2M通信的无线智能监控装置，包括由服务器PC、智能化管理模块和无线通信模块组成的监控台，以及由视频采集模块、智能处理模块、无线通信模块组成的无线监控终端，其中：

所述的监控台中的服务器PC，与智能化管理模块和无线通信模块相连，用于提供人机操作界面、状态查看以及报警音的播放；

所述的监控台中的智能化管理模块，用于监控子网的组建、监控过程中对无线监控终端的监督控制、报警信息的复核以及报警行为的实施；

所述的监控台中的无线通信模块，与服务器PC的接口相连，实现监控台与无线监控终端的身份验证和数据收发功能；

所述的无线监控终端中的视频采集模块，与摄像机或摄像头连接，用于实时视频的采集和对视频进行压缩存储；

所述的无线监控终端中的智能处理模块，用于对实时采集的视频采用背景减除法和时间差分法相结合的方法提取运动人体轮廓，并进行形态学预处理，提取每个运动目标并采用模板匹配结合运动轨迹的方法来分析其行为，自动识别可疑目标，提取可疑目标的特征，通过对可疑目标的跟踪，利用接力点估算方法估算接力点终端，接力点估算方法是，将无线监控终端的视野划分为一个矩形的四边形，其中每一边对应一个或多个可能的接力点终端，根据运动目标离开无线监控终端视野时的方位来确定可能的接力点终端；

所述的无线监控终端中的无线通信模块，与视频采集模块和智能处理模块连接，实现无线监控终端之间以及无线监控终端与监控台之间的数据交互。

2.一种基于M2M通信的无线智能监控方法，其具体步骤如下：

(1)控制台发送拓扑信息

1a)控制台中的智能化管理模块根据地理位置和监控需要划分监控子网；

1b)无线通信模块将包含监控子网拓扑信息的数据发送到无线监控终端；

(2)无线监控终端接收拓扑信息

2a)无线监控终端接收包含拓扑信息的数据；

2b)每个无线监控终端存储与其自身相关的拓扑信息数据；

(3)无线监控终端中的智能处理模块估计接力点终端；

3a)无线监控终端确定可疑目标；

3b)无线监控终端提取可疑目标的图片和特征信息；

3c)无线监控终端跟踪可疑目标，利用接力点估算方法估算接力点终端，接力点估算方法是，将无线监控终端的视野划分为一个矩形的四边形，其中每一边对应一个或多个可能的接力点终端，根据运动目标离开无线监控终端视野时的方位来确定可能的接力点终端；

(4)无线监控终端广播接力任务

无线监控终端将可疑目标的图片和特征信息组装成数据包，由无线通信模块通过M2M协议发送到控制台和接力点终端，完成广播接力任务；

(5)控制台判断是否继续跟踪

5a)智能化管理模块从无线监控终端获取可疑目标的图片和特征信息，从中判断运动目标的行为是否可疑；

5b)智能化管理模块根据监控系统的拓扑结构，判断接力跟踪目标是否超出监控范围；

5c)智能化管理模块根据终止跟踪条件判断是否继续跟踪，如果是，则转到步骤(6)，否则，执行步骤(10)；

(6)接力点终端进行特征匹配

接力点终端根据接收的信息分析视频采集模块采集的实时视频，智能处理模块将实时视频中获取的运动目标特征与步骤3b)中所述的接力跟踪目标的特征信息通过特征匹配方法进行匹配；

(7)接力点终端判断是否为接力跟踪目标

接力点终端查询匹配结果，若匹配成功，则判定当前获取的运动目标为接力跟踪目标，执行步骤(8)，否则执行步骤(9)；

(8)接力点终端执行步骤3c)，估计下一个接力点终端；

(9)接力点终端等待新任务；

(10)控制台判断是否报警

控制台中智能化管理模块查询步骤5a)中的判断结果决定是否报警，若可疑，则报警并给出可疑目标的运动路径，否则终止当前任务；

所述的可疑目标的运动路径是指，一个单链表数据结构，其中每个节点代表发现可疑目标的无线监控终端的编号，节点按照发现目标的时间先后顺序排序，从这个单链表可分析得到可疑目标的运动路径以及当前可能出现的地理位置。

3.根据权利要求2所述的基于M2M通信的无线智能监控方法，其特征在于，步骤(1)中所述的监控子网是指，在监控系统搭建时根据地理位置和监控需要人工设定的虚拟网络，监控子网由多个无线监控终端组成，每个无线监控终端只和同一个监控子网的其它无线监控终端以及控制台直接通信。

4.根据权利要求2所述的基于M2M通信的无线智能监控方法，其特征在于，步骤3b)中所述的特征信息，包括类别、颜色信息、目标的长宽比例、是否戴帽子、是否携带物品的特征组合。

5.根据权利要求2所述的基于M2M通信的无线智能监控方法，其特征在于，步骤(5)中所述的终止跟踪条件是指，满足下列两个条件之一即满足终止跟踪条件：条件1，接力跟踪目标已经超出监控系统所设的监控范围；条件2，控制台中的智能化管理模块判断运动目标的行为是否可疑，若确定为终端误判，控制台可命令终端终止跟踪任务，释放软件资源。

6.根据权利要求2所述的基于M2M通信的无线智能监控方法，其特征在于，步骤(6)所述特征匹配方法是指，将当前获取的运动目标的各项特征信息代号，与接力跟踪目标的各项特征信息的代号进行一一比对，如果各项比对结果一致，则可确定该运动目标为接力跟踪目标。

7.根据权利要求2所述的基于M2M通信的无线智能监控方法，其特征在于，步骤(9)所述接力点终端等待的新任务是指，接力点终端获取新的接力跟踪目标。

8.根据权利要求2所述的基于M2M通信的无线智能监控方法，其特征在于，步骤(9)所述接力点终端等待的新任务是指，接力点终端等待获取已经发现的接力跟踪目标，直到接力跟踪目标被其中一个接力点终端找到，则释放任务。