CN110888924A - 一种数据采集系统 - Google Patents

Abstract

本申请公开了一种数据采集系统，包括：工作网络、采集网络和传输网络，工作网络包括终端设备和信息点数据库服务器，采集网络包括信息点数据库服务器和数据同步设备，传输网络包括数据同步设备和数据接收服务器；终端设备通过网络交换机与信息点数据库服务器的第一网口连接，信息点数据库服务器的第二网口与数据同步设备连接，数据同步设备与数据接收服务器连接；信息点数据库服务器部署有信息点数据库，数据接收服务器部署有数据接收数据库，该系统能提高数据传输的安全性。

Description

一种数据采集系统

技术领域

本发明涉及数据处理领域，尤其涉及一种数据采集系统。

背景技术

在现有的数据采集系统中，如图1所示，网络连接方式和部署方式为信息点数据库服务器通过网口1(简称网1)与网络交换机连接，网络交换机通过工作网络与数据接收服务器。信息点数据库服务器通过网口1(简称网1)连接采集网络和传输网络，然后采集网络和传输网络连接数据接收服务器。在此种连接模式下，数据接收服务器可以通过网络直接访问信息点数据库服务器，反之，信息点数据库服务器也可以直接通过网络访问数据接收服务器，这样的部署和连接方式会对双边的数据安全造成很大隐患，虽然可以通过防火墙等方式增加安全性，可从网络层面隐患依然存在。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据采集系统，解决现有的数据采集系统安全性不高的问题。

为了解决上述技术问题，本申请提供了一种数据采集系统，包括：

工作网络、采集网络和传输网络，所述工作网络包括终端设备和信息点数据库服务器，所述采集网络包括信息点数据库服务器和数据同步设备，所述传输网络包括所述数据同步设备和数据接收服务器；所述终端设备通过网络交换机与所述信息点数据库服务器的第一网口连接，所述信息点数据库服务器的第二网口与所述数据同步设备连接，所述数据同步设备与所述数据接收服务器连接；所述信息点数据库服务器部署有信息点数据库，所述数据接收服务器部署有数据接收数据库。

在一种可能的设计中，所述信息点数据库服务器，用于向所述数据接收服务器发送数据表和所述信息点数据库服务的身份信息；

所述数据接收服务器，用于接收来自所述信息点数据库服务器的所述数据表和所述身份信息，判断所述身份信息是否合法，若为是，继续判断所述数据表中是否包括非法指令，若为否，将所述数据表存储在所述接收数据库中。

在一种可能的设计中，所述身份信息包括IP地址、MAC地址和设备编号。

在一种可能的设计中，所述判断所述数据表中是否包括非法指令包括：

判断所述数据库中是否包括预设字段或预设策略，若为否，确定所述数据库中不包括非法指令。

在一种可能的设计中，所述数据接收服务器，用于接收来自所述数据同步设备的心跳包，在所述心跳包的指定字段为预设值时，执行所述数据接收数据库的更新过程。

在一种可能的设计中，所述数据接收数据库包括数据表、统计表和历史表，在所述数据表存储的数据大于预设数据量时，将当前数据表中存储的数据转移到所历史表中；所述统计表存储指定字段的数据。

在一种可能的设计中，通过应用程序、网页或移动终端绑定即时通信账号配置所述数据同步设备。

在一种可能的设计中，所述数据接收服务器设置有先进先出队列，所述先进先出队列用于接收来自所述信息点数据库服务器的数据。

在一种可能的设计中，所述信息点数据库中的数据为非标准格式数据和标准格式数据中的一种或多种，所述数据接收服务器中的数据为格式数据。

在一种可能的设计中，所述信息点数据库和数据接收服务器为关系型数据库或非关系型数据库。

本发明实施例解决大批量、多品种、多类型的数据库终端信息点上的格式化数据(数据库标准格式)向一个或几个信息点汇集的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中的数据采集系统的结构示意图；

图2是本发明实施例提供的数据采集系统的另一结构示意图；

图3是本发明实施例提供的信息采集方法的流程示意图；

图4是本发明实施例提供信息采集方法的另一流程示意图；

图5是本发明实施例提供的信息采集方法的另一流程示意图；

图6是本发明实施例提供的信息采集方法的另一流程示意图；

图7是本发明实施例提供的信息采集方法的另一流程示意图；

图8是本发明实施例提供的信息采集方法的另一流程示意图；

图9是本发明实施例提供的信息采集方法的另一流程示意图；

图10是本发明实施例提供的信息采集方法的另一流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

参见图2，为本发明实施例提供的一种数据处理系统的结构示意图，在本发明实施例中，数据处理系统包括终端设备、网络交换机、信息点数据库服务器、数据同步设备和数据接收服务器。图2中的各个设备的形态和数量仅仅为举例说明，并非对本发明实施例构成限定。

图2中的终端设备以工作电脑为例，本发明实施例的终端设备可以是手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端设备可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、会话启动协议(Session Initiation Protocol，SIP)电话、无线本地环路(Wireless Local Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)、5G网络或未来演进网络中的终端设备等。

其中，数据采集系统包括工作网络、采集网络和传输网络三个部分，工作网络包括工作电脑和网络交换机，采集网络包括信息点数据库服务器和数据同步设备，传输网络包括数据同步设备和数据接收服务器。工作电脑通过连接网络交换机，网络交换机连接信息点数据库服务器的网口1(简称网1)，信息点数据库服务器的网口2连接数据同步设备，数据同步设备连接数据接收服务器。信息点数据库服务器中部署有信息点数据库，数据接收服务器部署有数据接收数据库。数据接收服务器可同时连接多个信息点数据服务器，多个信息点数据服务器向数据接收服务器传输数据，数据接收服务器将来自多个信息点数据服务器的数据进行汇总。其中，在信息点数据库服务器传输的数据类型为非标准格式数据和标准格式数据中的一种或多种，数据接收服务器将非标准格式数据和/或标准格式数据转换为格式数据存储在数据接收数据库中。

其中，信息点数据库和数据接收数据库的类型可以是ORACLE、MS-SQLserver或MySQL等，本发明实施例不作限制。

其中，操作人员可以配置数据同步设备的基础信息，配置方法包括如下的任意一种：

a)厂家工程师通过网页登录信息采集平台，直接维护数据同步设备基础信息。

b)用户登录网页版的设备注册程序完成注册数据同步设备的基础信息。

c)用户通过微信扫描设备二维码，在手机端完成注册数据同步设备的基础信息。

根据以上的描述，本实施例中的数据采集系统通过引入数据同步设备，将数据采集系统划分为工作网络、采集网络和传输网络，三个网络之间相互隔离互不影响，提高了传输采集系统的安全性。

参见图3，为本发明实施例提供的现有的数据传输方法的流程示意图，信息点数据库部署在信息点数据库服务器中，数据接收数据库部署在数据接收服务器中，在本发明实施例中所述方法包括：

1、信息点数据库服务器创建数据库抽取程序(利用数据库本身创建触发器，或者利用ETL管理工具)这个程序可以在双边任何一个服务器上存在。一般是在数据接收服务器上存在。

2、信息点数据库服务器需要双边用户名和权限。

3、信息点数据库服务器创建数据库连接DataLink。参见图4，为本发明实施例提供的数据库连接(datalink)的示意图，如果datalink建立在数据接收服务器端，那在信息点用户TEST下的表对数据接收数据库全完开放，权限一般为只读。但如果datalink建立在信息点那一段，则用户system下的表将对信息点A数据库全部开放，而且权限一般是读写。

4、信息点数据库服务器创建数据抽取的命令(一般是SQL语句)，抽取原数据库数据。

以上流程的安全隐患在于：

A、不管数据库抽取程序在双边哪台服务器上，双边的数据库信息(地址、用户名、密码、权限等)用户名和权限都将在那台服务器上保存。如果在数据接受服务器的数据库上保存双边用户名和权限密码(主动抽取)还好，因为一般信息点提供的用户名都为只读的，只能抽取数据。但如果在信息点(被动接收)数据库端保存，因为数据接收服务器处提供的用户名必须是具备写入权限的，就有可能造成不合格数据写入，SQL注入，数据删除等多种风险，数据会非常不安全。

B、但如果全部都有数据接收服务器上来保存用户名和权限(密码)及(主动抽取)模式，如果一旦信息节点过多(多信息点向以接收点汇集数据情况下)，就会产生一系列问题，问题如下：1、多信息点数据库信息集中保存情况下泄密的风险。2、各信息点开放用户(就是给接收方用来抽取数据的用户)权限管理不当(比如开放写权限)数据库数据安全风险，在小信息点存在广泛，大部分小信息点给的是超级管理员权限用来抽取数据。3、各信息点开放用户开放过多表引起数据库数据泄密风险。4、各信息点通过修改表或时间轴内容进行SQL注入攻击影响接收端数据安全的风险。

C、一旦数据库连接(datalink)建立，及可在权限允许范围内进行双边数据库的跨库传输和修改，对双边数据库及不安全，只适用于在同一机构或单位下进行数据传输使用。

参见图5，是本发明实施例提供的一种数据传输方法的流程示意图，信息点数据库服务器执行采集流程，数据同步设备执行上传流程。

其中，采集流程包括：

1、编辑信息点A的基础信息：主要用于服务器验证设备合法性。

2、创建与信息点A的数据库连接：链接数据库。

3、编辑要上传的数据表：自己控制那些表或数据需要上传。

4、开启数据主动上传：由自己控制开启或关闭数据上传。

其中，上传流程包括：

1、接口协议加密连接，判断回传设备是否合法(编号和IP地址是否已经登记，防止非法设备回传数据)

2、过滤所有非法指令(预设过滤策略，过滤非法字段，防止SQL注入攻击风险)

3、接收数据：(按照模板进行数据接收和数据写入)

根据以上的描述，本发明实施例还通过信息点终端操作，服务器管理操作的方式将汇集工作的操作员权限进行了划分，划分后的信息点终端的操作员无权去操作服务器，而中心服务器平台的操作员也无法对终端信息点的数据进行任何操作，他们之间只是依靠程序的约定进行各自的设置，从而避免了以往权限的交叉。

参见图6，为本发明实施例提供的数据传输方法的另一流程示意图，在本发明实施例中，所述方法包括：

1、数据接收服务器保存设备编码和其对应的配置信息、升级文件等。

2、数据同步设备处点击手动下载配置

3、数据同步设备根据自身的设备编码向服务器接口发送预定义指令和自身设备编码

4、数据接收服务器根据接口指令回传设备编码和配置、升级文件等

5、数据同步设备接收配置或升级文件，调用预定义过程进行配置更改和升级。

其中，升级过程参见图7所述的方法：

1、数据接收服务器选择需要更新的设备，编辑配置或升级文件。

2、数据接收服务器选择立即更新，并保存。

3、数据同步设备定时发送心跳包向数据接收服务器。

4、数据接收服务器接收到需要更新的设备的心跳包，在返回值处写入预先定义的值

5、数据同步设备接收到服务器的心跳包返回值，如有符合预先定义的值时则触发相应动作。如需升级，

6、信息点数据库服务器自动执行一次手动下载配置过程，达到自动更新目的。

7、数据同步设备更新结束后发送心跳包，并添加接口预定义值，通知服务器更新结束

8、数据接收服务器接收到已更新设备心跳包和预定义值，并标记设备更新结束，去除立即更新指令。

9、数据接收服务器正常返回心跳包返回值，

10、数据同步设备接收正常返回值，按预先定义时段和频率继续发送心跳包，至此结束一次自动更新和升级的过程。

参见图8所示，为本发明实施例提供的数据传输方法的另一流程示意图，在本发明实施例中，所示方法包括：

1、在服务器构建统一的行业表，每个行业表中集中存放各个采集点回传数据。

2、在没有行业表或者不规则数据需要回传时，构建临时的表存放数据。存放数据的方式如图8所示。

3、在数据接收服务器端存在标准行业表(zy_water)和个性表(test.abc、POPO.123)。

根据现有的数据传输方法，不管是行业表和个性化表，信息点的数据能回传的根本就是，服务器端必须有相应存放字段的地方，如果没有按信息点的数据格式和字段内容构建的相应存放数据的表，信息点就无法回传数据。

为了解决上述问题，参见图9所示，本发明实施例在构建一种全新的通用接收方式，以消除以上数据回传必须有服务器预先构建表和存储方式的局限性。

在数据服务器端构建了一个统一的接收信息表ZYTB(ZYTB是例子，实际的表庞大和复杂的多)，这个接收信息表里包含了大量的通用字段类型和扩展字段，用以匹配各种终端数据和数据结构。

数据服务器提供可视化的操作页面用来配置各种行业模板，也就是那个行业回传数据时需要回传的数据格式和要包含的元素。

数据同步设备根据自身的编码和数据类型选定或者由服务器指定使用哪个模板来上传和在服务器上保存数据。

对应自身字段和服务器行业模板字段的关系。

开启数据上传程序上传数据。

数据接收服务器接收数据同步设备上传的数据并且根据对应关系保存到数据库中，同时保存一份设备或程序编码和行业模板的映射关系到另外的表中。

在数据接收服务器上做数据展示的时候，根据当初保存的映射关系调取相应设备或程序所回传的数据，并根据模板做数据展示。

当有其他数据库或服务需要做数据对接时，可以输出行业模板对应的标准化模板数据(及通常意义上经过清洗的数据)，也可根据当初映射关系追溯到原始表数据输出原始数据。

参见图10，为本发明实施例提供的一种数据传输方法的流程示意图，在本发明实施例中，数据接收服务器将用来接收数据的单个资源表分为三个表，分别是：(实时数据表、统计表、历史表)。实时数据表主要用来24小时不间断接收各个信息点回传的实时数据，并且在数据量或接收时间达到一定程度(预先定义时长或数据量)时，触发数据转储机制，向历史表转储数据。通过步骤2，达到实时数据表时刻保持瘦身情况，已发挥最大的数据接收存储性能。统计表转储机制为实时转储，内容只存储相当有限的统计字段(统计字段预先定义)，严格控制字段长度和大小，已达到最佳性能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种数据采集系统，其特征在于，包括：工作网络、采集网络和传输网络，所述工作网络包括终端设备和信息点数据库服务器，所述采集网络包括信息点数据库服务器和数据同步设备，所述传输网络包括所述数据同步设备和数据接收服务器；所述终端设备通过网络交换机与所述信息点数据库服务器的第一网口连接，所述信息点数据库服务器的第二网口与所述数据同步设备连接，所述数据同步设备与所述数据接收服务器连接；所述信息点数据库服务器部署有信息点数据库，所述数据接收服务器部署有数据接收数据库。

2.根据权利要求1所述的系统，其特征在于，

所述信息点数据库服务器，用于向所述数据接收服务器发送数据表和所述信息点数据库服务的身份信息；

所述数据接收服务器，用于接收来自所述信息点数据库服务器的所述数据表和所述身份信息，判断所述身份信息是否合法，若为是，继续判断所述数据表中是否包括非法指令，若为否，将所述数据表存储在所述接收数据库中。

3.根据权利要求2所述的系统，其特征在于，所述身份信息包括IP地址、MAC地址、和设备编号。

4.根据权利要求2或3所述的系统，其特征在于，所述判断所述数据表中是否包括非法指令包括：

判断所述数据库中是否包括预设字段或预设策略，若为否，确定所述数据库中不包括非法指令。

5.根据权利要求1所述的系统，其特征在于，所述数据接收服务器，用于接收来自所述数据同步设备的心跳包，在所述心跳包的指定字段为预设值时，执行所述数据接收数据库的更新过程。

6.根据权利要求1所述的系统，其特征在于，所述数据接收数据库包括数据表、统计表和历史表，在所述数据表存储的数据大于预设数据量时，将当前数据表中存储的数据转移到所历史表中；所述统计表存储指定字段的数据。

7.根据权利要求1所述的系统，其特征在于，通过应用程序、网页或移动终端绑定即时通信账号配置所述数据同步设备。

8.根据权利要求1所述的系统，其特征在于，所述数据接收服务器设置有先进先出队列，所述先进先出队列用于接收来自所述信息点数据库服务器的数据。

9.根据权利要求1所述的系统，其特征在于，所述信息点数据库中的数据为非标准格式数据和标准格式数据中的一种或多种，所述数据接收服务器中的数据为标准格式数据。

10.根据权利要求1所述的系统，其特征在于，所述信息点数据库和数据接收服务器为关系型数据库或非关系型数据库。

Images