CN110225004A - 一种用于社区安防弱电子系统的数据采集系统及方法 - Google Patents

Abstract

本发明属于物联网技术领域，公开了一种用于社区安防弱电子系统的数据采集系统及方法，系统包括设置于中心服务器的采集器，采集代理器以及设置于采集代理器的若干个适配器；采集代理器具有若干个用于连接弱电子系统的接口；采集器是数据采集的发起方，也是采集到的数据的接收容器，用于数据存储和维护；采集器用于根据中心服务器的指令启动采集任务或停止采集任务，并对数据采集任务进行管理，采集任务实现具体采集过程；采集代理器作为独立运行的模块，用于实现被采集端协议，向采集器提供数据；并用于作为被采集者与采集器通信，进行连接维护和数据传输；采集代理器内部集成的适配器用于获取弱电子系统的原始数据并转换成统一格式。

Description

一种用于社区安防弱电子系统的数据采集系统及方法

技术领域

本发明属于物联网技术领域，更具体地，涉及一种用于社区安防弱电子系统的数据采集系统及方法。

背景技术

随着5G建设的进展，人工智能、大数据和万物互联时代会很快到来。智慧城市、智慧社区和物联网应用得到快速的发展。智慧社区作为智慧城市建设的核心内容之一，其建设受到了政府高度重视。

当前城市社区特别是城乡结合地带，人口流动频繁，社会治安形势呈现多样性、复杂性，传统的警务模式已越来越不能适应维护社会稳定和治安的形势变化。社会安防急需使用技术手段来监察社会事件，采集各种数据，并利用大数据技术来进行数据分析和研判，以便做到事前的预防和事后快速处理，而数据的采集技术是这一切的基础。

中国专利CN201510885287所公开的应用于社区服务的防窃电电能信息数据采集系统，提供了一种测量可靠性好、稳定性高的应用于社区服务的防窃电电能信息数据采集系统，电表内的计量模块通过M-BUS总线与集中器连接，集中器通过远程通信WAN与数据处理器连接，数据处理器通过远程通信WAN与手持终端连接，然而，由于该系统是针对社区电能的数据采集硬件系统，其系统定位和硬件技术原理限制了其适用领域，只可用于社区电能采集，而无法应用于更广泛的社区安防弱电子系统，也不能对各安防弱电子系统进行统一适配以提供多种子系统的统一数据采集方法，因此该方法无法用于社区安防弱电子系统的数据采集。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种用于社区安防弱电子系统的数据采集系统及方法，其目的在于通过标准的通用数据采集协议以及对应的采集系统，来实现对各社区安防弱电子系统的接口适配及数据统一采集。

为实现上述目的，按照本发明的一个方面，提供了一种用于社区安防弱电子系统的数据采集系统，包括中心服务器、设置于中心服务器的采集器、采集代理器、以及设置于采集代理器的若干个适配器；采集代理器具有若干个用于连接弱电子系统的接口；

其中，中心服务器是数据采集的发起方，也是采集到的数据的接收容器，用于数据的入库、存储、维护，以及为数据应用提供数据源；其中，维护包括对数据的查询、统计、转换、备份和/或清理；

采集器用于执行数据采集任务，根据中心服务器的指令启动采集数据任务或停止数据采集任务，并对数据采集任务进行管理，数据采集任务实现具体采集过程；对数据采集任务的管理包括多线程分配和调度，连接维护，超时检测以及重连；

采集代理器作为独立运行的模块，用于实现被采集端协议，作为被采集者与采集器通信，向采集器提供数据，进行连接维护和数据传输；采集代理器内部集成有若干用于与社区安防弱电子系统交互的适配器，将从社区安防弱电子系统采集到的原始数据按照预先设定的通用数据采集协议进行转换；一个适配器通常针对一个社区安防弱电子系统产品，通过该社区安防弱电子系统提供的接口实现与该子系统的交互。

优选的，上述用于社区安防弱电子系统的数据采集系统，从社区安防弱电子系统获取数据采用轮询、消息订阅、共享、串口访问中的一种或多种。

为实现上述目的，按照本发明的另一个方面，基于上述的数据采集系统，提供了一种用于社区安防弱电子系统的数据采集方法，具体如下：

(201)中心服务器的采集器向采集代理器建立短连接，发送认证和数据请求；

(202)采集代理器收到认证和数据请求后，向采集器返回响应，响应包括提供数据的端口、一个随机的会话id；该会话id是由采集代理器产生的一个随机字符串，用于标识后续传输连接的合法性；

(203)由采集器向采集代理器发起建立长连接的请求；

(204)建立长连接成功后，采集代理器向采集器持续上报数据；一个连接可上报一种或多种数据类型；

(205)采集代理器与弱电子系统之间进行数据交互时序上不受采集器与采集代理器之间数据交互的影响；采集代理器可在系统启动时即与弱电子系统进行数据获取、适配以及缓存，等待被采集器采集；适配器类型则根据弱电子系统本身所支持的协议类型来确定。

优选地，上述用于社区安防弱电子系统的数据采集方法，在步骤201 中，认证和数据请求合一以简化交互流程。

优选地，上述用于社区安防弱电子系统的数据采集方法，在步骤201 中，采用Basic Authentication认证，数据请求包括拟采集的数据类型列表、每种数据的起始位置。

优选地，上述用于社区安防弱电子系统的数据采集方法，在步骤203 中，采集器通过向采集代理器发送websocket请求建立长连接，在websocket 请求中，将步骤(202)获取的会话id用于识别采集器的合法性，即已经通过了合法认证的会话。

优选地，上述用于社区安防弱电子系统的数据采集方法，在步骤204 中，一个连接可上报一种数据类型，每个数据包只包含一个数据类型、但包含一条或多条记录。

优选地，上述用于社区安防弱电子系统的数据采集方法，采用心跳检测机制确保采集器与采集代理器之间连接的有效，并确保失败时重连。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明提供的用于社区安防弱电子系统的数据采集系统及方法，由于采用统一的预先设定的通用数据采集协议和完整的系统逻辑架构，解决了不同的社区安防弱电子系统软硬件接口和通信协议不一致、系统数据无法统一采集、集成管理困难的问题，具有提升智慧社区类信息管理系统开发效率和系统扩展性的有益效果。

附图说明

图1是本发明提供的用于社区安防弱电子系统的数据采集系统的系统架构图；

图2是本发明提供的用于社区安防弱电子系统的数据采集方法的一个实施例中的采集流程示意图；

图3是本发明实施例提供的用于社区安防弱电子系统的数据采集方法中的心跳检测流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

参照图1，实施例提供的用于社区安防弱电子系统的数据采集系统，包括中心服务器101、设置于中心服务器的采集器102、采集代理器103、以及设置于采集代理器的若干个适配器104；采集代理器具有若干个用于连接弱电子系统105的接口；

其中，中心服务器101是数据采集的发起方，也是采集到的数据的接收容器，用于数据的入库、持久化、管理维护，为数据应用提供数据源；

采集器102用于数据采集任务的执行，根据中心服务器的指令启动采集任务或停止采集任务，并对数据采集任务进行管理，以及与采集代理器之间的进行通信；采集器是数据采集逻辑的具体实现方，实现譬如采集任务的实现、采集任务的多线程调度、连接维护、采集协议实现和/或数据接收转储。

采集代理器作为独立运行的模块，作为被采集者与采集器通信，向采集器提供数据，进行连接维护和数据传输；采集代理器内部集成有若干用于与弱电子系统交互的适配器104；适配器104用于与弱电子系统交互，获取安防弱电子系统的原始数据按照预先设定的通用数据采集协议进行转换并按照预先设定的通用数据采集协议进行转换，一个适配器通常针对一个弱电子系统产品，通过该弱电子系统提供的接口实现与该子系统的交互。实施例中，从弱电子系统获取数据采用轮询和/或消息订阅的方式；也可采用其他方式譬如文件共享、串口访问；社区内各安防弱电子系统所支持的通信方式不尽相同，而适配器屏蔽了各安防弱电子系统的差异，为采集代理器提供统一的访问数据的方式。

弱电子系统105是被采集数据的原始来源，与采集代理器之间通过适配器进行交互，向采集代理器提供原始数据；弱电子系统支持适配器的一种或多种数据访问方式。

参照图2，基于上述用于社区安防弱电子系统的数据采集系统进行数据采集的方法，包括如下步骤：

(201)中心服务器的采集器向采集代理器建立https短连接，发送认证、数据请求；在一个实施例中，认证与请求合一以简化交互流程；在一个实施例中具体使用BasicAuthentication认证，数据请求包括拟采集的数据类型列表、每种数据的起始位置。

(202)采集代理器向采集器返回响应，响应包括提供数据的端口、一个随机的会话id；会话id是由采集代理器产生的一个随机字符串，用于标识后续传输连接的合法性；

(203)由采集器向采集代理器发起建立长连接的请求；在一个实施例中，采集器通过向采集代理器发送websocket请求建立长连接，在websocket 请求中，将上述步骤(2)获取的会话id作为http头Authorization域的值，起到识别作用；当此值为空或非上述步骤(2)返回的id值，则代理器认为该连接是非法连接而拒绝。

(204)建立长连接成功后，采集代理器向采集器持续推送数据；一个连接可上报多种数据类型；在一个实施例中，规定每个数据包只包含一个数据类型、但可包含多条记录以简化逻辑；在一个优选实施例中，若采集器向与采集代理器之间的连接中断，则重复步骤(203)，由采集器主动重新发起建立长连接的请求；

(205)采集代理器与弱电子系统之间进行数据交互时序上不受采集器与采集代理器之间的影响采集代理器可在系统启动时即与弱电子系统进行数据获取、适配以及缓存，等待被采集器采集；适配器类型则根据弱电子系统本身所支持的协议类型来确定。

在一个实施例中，上述步骤(201)所发送的采集认证、数据请求协议以POST方式提交，URL为/collect；以Basic Authorization方式认证；body 部分包括两个字段：action和request；

action字段表示请求的动作，值有”replace”、”additional”、”remove”、”stop”几种可选，分别表示替换当前采集操作、增加新的采集操作、从当前采集中移除、停止所有采集。

requst字段为一个列表，列表每一项为数据分类和定位信息，数据分类是通信的两端约定的关键字，在采集代理器中是唯一的；定位信息是指上次采集的最后一条数据的序列号，用于指示请求该序列号之后的数据。

如果上述步骤(1)所发送请求成功，返回200OK，并在body域返回： session_id(会话id)、dst_port(代理器数据传输端口)、max_conn(代理器允许的最大连接个数)；

其中，会话id用于识别是否为合法连接；max_conn表示代理器允许的最大连接个数，譬如为1，表示采集代理器只允许一个连接；如允许多个连接，采集器可主动建立多个连接，同时接收数据，但每种类型的数据只会在一个连接上传输，以保证数据的顺序性。

如果上述步骤(202)成功，则采集器向采集代理器dst_port端口发起连接，发送session_id以及请求的数据类型；然后，采集代理器持续向采集器推送数据，数据包括type字段和data字段；type字段为数据的类型，data 是一个列表，列表中每项是具体的数据记录字段，列表中的key表示数据的序列号，用于数据序列定位信息；该序列号是有序的数值。

在一个实施例中，使用心跳检测机制，确保采集器与采集代理器之间连接的有效，并确保失败时重连。心跳检测在采集器中实现，采集器使用 PING包对当前采集连接进行检测，以便维护与采集代理器之间连接的有效性。流程为：采集器初始化时开启一个线程，定期遍历与采集代理器之间的当前采集连接，对一段时间未传输数据的连接发送心跳包，若在预设的响应时长内心跳包未得到响应(例如响应时长为10秒)，则计数；计到一定个数(譬如5次)仍未得到响应，则认为连接已断，主动关闭连接，并加入“待启动列表”，由专门的线程负责重新执行发起采集流程；遍历完所有连接后，线程自动休眠预设的时长后再重复执行上述过程。

参照图3，上述心跳检测的流程具体包括如下步骤：

401：线程休眠n秒，表示每n秒做一次轮询检测；在一个实施例中， n取10；

402：休眠时间到，开始遍历当前连接列表；

403：选择一个连接，判断最近数据接收时间，如不大于预设的接收时长如1分钟，则结束，继续遍历下一连接；否则，判断是否有待响应的心跳包(ping)，如无则转到404；如有待响应心跳包，则判断是否超时(如10秒)，如未超时则结束，如超时则超时次数计数加1，进入405；

404：采集器的心跳检测模块发送心跳包，更新ping时间；进入步骤 403，继续遍历下一连接；

405：若计数不超过指定次数(如5次)，则转到404，发送心跳包；如计数超过指定次数，则认为连接已中断，则关闭连接，将该连接任务信息加入待启动列表。

实施例提供的上述用于社区安防弱电子系统的数据采集系统及方法，底层使用基于TCP协议栈的长连接技术websocket，以及SSL协议，稳定、易于实现。

本发明所提供的数据采集方法中，交互机制为：由采集方主动发起 HTTP SSL连接，使用已指定的账号密码进行认证请求，并传递待采集信息的类型、数据起始点等信息。然后被采集方认证账号信息，若成功，则返回本机可用端口，断开连接。采集方再使用WebSocket协议，连接上一步返回的端口，保持长连接，然后被采集方开始数据主动上传，由于底层通信采用成熟的协议，并在其上扩展应用协议，具有性能稳定、扩展灵活的特点。

本发明所提供的数据采集方法中，认证机制保持简洁，使用BasicAuthentication，简单、不加密、无状态、无上下文、无需管理session、无需考虑超时，易于实现、易于维护、易于复制。

本发明所提供的数据采集方法，采集代理器对社区弱电子系统的数据采集协议使用json为基本格式，各种技术平台内置支持，具有易于理解、结构清晰紧凑、可表达复杂层次结构的优点，并具有学习成本低、扩展性好等有益效果。

本发明所提供的数据采集方法中，设置了数据采集的标准命令，对应替换、增加、删除、停止语义，由于语义涵盖了数据采集的发起、过程和结束，可灵活控制，具有协议完备性。

在一个优选方案中，每个上报数据包只包含一种信息类型，但可包含多条记录，一个连接通道可使用不同的包来上报不同信息类型，具有逻辑简洁清晰、易于实现且兼具灵活的特点。

所设定的数据采集的续传机制，被采集端自动按一定规则为序进行上报，每条数据记录有唯一的序列号；采集端自动记录最新的序列号并持久化，以便在中断、宕机、重启等情况下重新建立连接并以此序列号为基础续传，可防止数据丢失、保证数据可靠性。

本发明的优选方案采用WebSocket协议的PING/PONG控制帧进行心跳检测，当在一定时间内无数据传输(比如1分钟)，客户端(采集端)主动发送PING包，待服务端(被采集端)的响应。如连续心跳包无响应(如5 次)，则客户端主动断开连接，并不断尝试重新连接直到成功；具有自动维护数据通道、保证网络传输可靠性的有益效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于社区安防弱电子系统的数据采集系统，其特征在于，包括中心服务器以及设置于中心服务器的采集器、采集代理器以及设置于采集代理器的若干个适配器；所述采集代理器具有若干个用于连接弱电子系统的接口；

所述中心服务器是数据采集的发起方，并用于数据的存储、维护，以及为数据应用提供数据源；

所述采集器用于执行数据采集任务，根据中心服务器的指令启动数据采集任务或停止数据采集任务，并对数据采集任务进行管理，所述数据采集任务实现具体采集过程；对数据采集任务的管理包括多线程分配和调度，连接维护，超时检测以及重连；

所述采集代理器作为被采集者与采集器通信、向采集器提供数据、进行连接维护和数据传输；采集代理器内部集成的若干个适配器用于将从社区安防弱电子系统采集到的原始数据按照预先设定的通用数据采集协议进行转换。

2.如权利要求1所述的数据采集系统，其特征在于，从社区安防弱电子系统获取数据采用轮询、消息订阅、共享、串口访问中的一种或多种。

3.如权利要求1或2所述的数据采集系统，其特征在于，所述采集器包括心跳检测模块；所述心跳检测模块使用心跳检测机制确保采集器与采集代理器之间连接的有效，并确保失败时重连。

4.一种基于权利要求1～3任一项所述的用于社区安防弱电子系统的数据采集系统的社区安防弱电子系统的数据采集方法，其特征在于，具体如下：

(201)中心服务器的采集器向采集代理器建立短连接，发送认证和数据请求；

(202)采集代理器收到认证和数据请求后，向采集器返回响应，响应包括提供数据的端口、一个随机的会话id；该会话id是由采集代理器产生的一个随机字符串，用于标识后续传输连接的合法性；

(203)由采集器向采集代理器发起建立长连接的请求；

(204)建立长连接成功后，采集代理器向采集器持续上报数据；一个连接可上报一种或多种数据类型；

(205)采集代理器与弱电子系统之间进行数据交互时序上不受采集器与采集代理器之间数据交互的影响；采集代理器可在系统启动时即与弱电子系统进行数据获取、适配以及缓存，等待被采集器采集；适配器类型则根据弱电子系统本身所支持的协议类型来确定。

5.如权利要求4所述的数据采集方法，其特征在于，所述数据请求设置了数据采集的标准命令，包括替换、增加、删除和/或停止语义。

6.如权利要求4或5所述的数据采集方法，其特征在于，在步骤(201)中，将认证和数据请求合一以简化交互流程。

7.如权利要求4或5所述的数据采集方法，其特征在于，在步骤(201)中，采用BasicAuthentication认证，而数据请求包括拟采集的数据类型列表、每种数据的起始位置。

8.如权利要求4或5所述的数据采集方法，其特征在于，在步骤(203)中，采集器通过向采集代理器发送websocket请求建立长连接，在websocket请求中将步骤(202)获取的会话id用于识别采集器的合法性。

9.如权利要求4或5所述的数据采集方法，其特征在于，在步骤(204)中，一个连接可上报多种数据类型，每个数据包只包含一个数据类型、但包含一条或多条记录。

10.如权利要求4或5所述的数据采集方法，其特征在于，采用心跳检测机制确保采集器与采集代理器之间连接的有效，并确保失败时重连。