CN113489806A - 基于分布式物联网架构的数据存储系统、方法及装置 - Google Patents

Abstract

本发明涉及一种基于分布式物联网架构的数据存储系统、方法及装置。该系统包括：采集仪、用户端和云端服务器；采集仪与用户端通过预设的数据转发层通信连接，用户端与云端服务器通信连接；采集仪采集传感器检测的原始数据并利用用户自定义TLS公钥对原始数据进行加密，得到加密数据并将加密数据传输至用户端；用户端接收加密数据并依据加密数据进行混淆处理，得到混淆数据并将混淆数据上传至云端服务器；云端服务器在接收到混淆数据后存入预设的卡夫卡集群中，进而存入数据库中。上述系统解决了海量数据导致的硬件成本提高的问题，提高了数据存储的安全问题。

Description

基于分布式物联网架构的数据存储系统、方法及装置

技术领域

本发明涉及物联网数据存储技术领域，具体涉及一种基于分布式物联网架构的数据存储系统、方法及装置。

背景技术

传统物联网SAAS(Software-as-a-service，软件即服务)服务存在两个问题：

1、云平台会因为服务商对接的硬件传感器设备的数量增加而消耗更多的硬件资源。因为目前的接收海量数据最好的方法就是通过消息队列集群来接收。但是此种方式下，一个小小的振动数据都要存到云平台上，云平台的SAAS服务功能应该更加倾向于记录结果和报表，记录原始数据只会让平台运行的越来越慢。结果就是不得不增加硬件资源，提高的硬件成本。

2、客户的数据都存在云平台数据库中，一旦云平台发生意外，会造成不可挽回的损失。而且还有一些客户他们是有安全要求的，数据可能不被允许存在第三方(SAAS服务商)的数据库中。

基于此，目前的数据存储架构存在硬件成本和数据安全这两个严重的问题。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于分布式物联网架构的数据存储系统、方法及装置。解决了目前存储架构存在的硬件成本和数据安全的问题。

为实现以上目的，本发明采用如下技术方案：

一种基于分布式物联网架构的数据存储系统，包括：

采集仪、用户端和云端服务器；

所述采集仪与所述用户端通过预设的数据转发层通信连接，所述用户端与所述云端服务器通信连接；

所述采集仪用于采集传感器检测的原始数据，并利用用户自定义TLS公钥对所述原始数据进行加密，得到加密数据并将所述加密数据传输至所述用户端；

所述用户端用于接收所述加密数据并依据所述加密数据进行混淆处理，得到混淆数据，并将所述混淆数据上传至所述云端服务器；

所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，进而存入数据库中。

可选的，所述用户端，包括：

数据应用层和数据安全层；

所述数据应用层用于接收所述加密数据并依据预设私钥进行解密，得到明文数据；

所述数据安全层利用预设混淆规则对所述明文数据进行混淆处理，得到所述混淆数据。

可选的，所述云端服务器，包括：

数据采集服务层、数据汇集服务层和数据入库服务层；

所述数据采集服务层，与所述用户端通信连接，用于接收所述混淆数据，并存入所述卡夫卡集群；

所述数据汇集服务层用于读取所述卡夫卡集群中的所述混淆数据，将所述混淆数据进行格式转换，并将格式转换后的混淆数据存入所述卡夫卡集群；

所述数据入库服务层用于读取所述卡夫卡集群中存储的格式转换后的混淆数据，并存入数据库。

可选的，所述数据安全层还用于：

依据预设字典工具配置自定义字典；所述自定义字典中存有所述预设混淆规则；

配置信息管理表；所述信息管理表中存有所述加密数据、加密规则、解密规则和所述预设混淆规则。

可选的，所述数据安全层还用于：

接收所述云端服务器发送的反馈混淆数据；所述反馈混淆数据为所述云端服务器在所述用户端发送数据请求后从所述数据库中读取得到；

依据所述自定义字典中的所述预设混淆规则对所述反馈混淆数据进行解析，得到对应的明文数据展示给用户。

一种基于分布式物联网架构的数据存储方法，所述方法应用于上述所述的数据存储系统，所述方法包括：

采集仪收集传感器检测的原始数据，并将所述原始数据依据用户自定义TLS公钥进行加密，得到加密数据并传至用户端；

所述用户端在接收到所述加密数据后进行混淆处理，生成混淆数据，并将所述混淆数据上传至云端服务器；

所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，并将所述卡夫卡集群中的混淆数据存入数据库。

可选的，所述用户端在接收到所述加密数据后进行混淆处理，生成混淆数据，包括：

所述用户端的数据应用层接收所述加密数据，并利用预设私钥进行解密，得到明文数据；

所述用户端的数据安全层利用预设混淆规则对所述明文进行混淆处理，得到所述混淆数据。

可选的，所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，并将所述卡夫卡集群中的混淆数据存入数据库，包括：

所述云端服务器将接收到的所述混淆数据存入卡夫卡集群中；并对所述卡夫卡集群中的所述混淆数据进行格式转换；

将转换后的混淆数据存入数据库中。

一种基于分布式物联网架构的数据存储装置，包括：

加密模块，用于采集仪收集传感器检测的原始数据，并将所述原始数据依据用户自定义TLS公钥进行加密，得到加密数据并传至用户端；

数据混淆模块，用于所述用户端在接收到所述加密数据后进行混淆处理，生成混淆数据，并将所述混淆数据上传至云端服务器；

存储模块，用于所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，并将所述卡夫卡集群中的混淆数据存入数据库。

可选的，所述数据混淆模块，包括：

解密单元，用于所述用户端的数据应用层接收所述加密数据，并利用预设私钥进行解密，得到明文数据；

混淆单元，用于所述用户端的数据安全层利用预设混淆规则对所述明文进行混淆处理，得到所述混淆数据。

可选的，所述存储模块，包括：

卡夫卡存储单元，用于所述云端服务器将接收到的所述混淆数据存入卡夫卡集群中；并对所述卡夫卡集群中的所述混淆数据进行格式转换；

数据库存入单元，用于将转换后的混淆数据存入数据库中。

本申请提供的技术方案可以包括以下有益效果：

本申请中公开了一种基于分布式物联网架构的数据存储系统、方法及装置，该系统包括：采集仪、用户端和云端服务器；该采集仪用于采集传感器检测的原始数据，并利用用户自定义TLS公钥对原始数据进行加密，得到加密数据并将加密数据传输至用户端；用户端用于接收加密数据并依据加密数据进行混淆处理，得到混淆数据，并将混淆数据上传至云端服务器；云端服务器在接收到混淆数据后存入预设的卡夫卡集群中，进而存入数据库中。上述方法中通过采集仪收集各个传感器检测的数据，以此减少了海量无标签传感器数据直接传入云平台；解决了海量数据导致的硬件成本提高的问题，解决了客户数据存在第三方的顾虑，上述系统中对传感器检测的原始数据利用TLS公钥进行加密，且用户端对加密数据进行混淆处理，以此解决了数据在传输过程中的安全隐患。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的基于分布式物联网架构的数据存储系统的结构图；

图2是本发明实施例一提供的分布式物联网架构的结构图；

图3是本发明实施例一提供的基于分布式物联网架构的数据存储方法的流程图；

图4是本发明实施例一提供的基于分布式物联网架构的数据存储装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

本申请中进行数据存储的实现过程依赖于构建的分布式物联网架构，该分布式物联网架构的具体结构如图2所示。图2是本发明实施例一提供的分布式物联网架构的结构图。参见图2，一种分布式物联网架构，包括：

硬件设备层、数据转发层、数据应用层、SAAS服务层和数据安全层。其中，硬件设备层用于获取要存储的原始数据并进行加密；然后利用数据转发层将加密数据传至数据应用层，数据应用层对加密数据解密，得到明文数据，然后数据安全层对该明文数据进行混沌处理，传至SAAS服务层进行存储。

上述分布式物联网架构中各个服务层的应用场景和实现过程具体如下：

图1是本发明实施例一提供的基于分布式物联网架构的数据存储系统的结构图。参见图1，一种基于分布式物联网架构的数据存储系统，包括：

采集仪、用户端和云端服务器；

所述采集仪与所述用户端通过预设的数据转发层通信连接，所述用户端与所述云端服务器通信连接；

所述采集仪用于采集传感器检测的原始数据，并利用用户自定义TLS公钥对所述原始数据进行加密，得到加密数据并将所述加密数据传输至所述用户端。

其中，传感器与采集仪使用有线连接，采集仪将收集的传感器数据通过特定协议解析并使用用户自定义TLS公钥证书进行加密传给SAAS服务商的数据转发服务层。其中，TLS公钥证书是用户自己定义的，需要客户设置。该公钥证书标准是OpenSSL提供的非对称加密形式的证书都可以，架构不做具体要求。

所述用户端用于接收所述加密数据并依据所述加密数据进行混淆处理，得到混淆数据，并将所述混淆数据上传至所述云端服务器。

更详细地，用户端包括：数据应用层和数据安全层；

所述数据应用层用于接收所述加密数据并依据预设私钥进行解密，得到明文数据。数据转发服务层将加密数据转发给已经安装在用户服务器上的数据应用层软件，数据应用层软件利用配置好的私钥将数据解密并使用明文存入用户本地的数据库。

数据安全层利用预设混淆规则对所述明文数据进行混淆处理，得到所述混淆数据。数据安全服务程序会连接云平台的数据采集服务层并将已经授权表的数据通过混淆程序混淆之后上传。

更进一步地，数据安全层在进行混淆处理时，会依据预设字典工具配置自定义字典；所述自定义字典中存有所述预设混淆规则。字典里面存储的是汉字和混淆的unicode键值对。比如：汉字李对应的unicode键值为&#100；雷对应&#99；那么加密一个叫李雷的人名就会是&#100；&#99。

配置信息管理表；所述信息管理表中存有所述加密数据、加密规则、解密规则和所述预设混淆规则。数据安全服务层的对应软件程序的管理界面会创建信息管理表，同时对信息管理表和表中的字段进行授权和配置。其中，表中除了用户数据库中存入的明文信息外，还有客户安装的应用程序使用的信息表，该信息表主要是存有加密程序如何加密解密程序使用哪个字典等信息。

所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，进而存入数据库中。

更进一步地，云端服务器中运行的是SAAS服务层，该SAAS服务层中具体包括：数据采集服务层、数据汇集服务层和数据入库服务层；

所述数据采集服务层，与所述用户端通信连接，用于接收所述混淆数据，并存入所述卡夫卡集群。海量上传到云端服务器的混淆数据会被存入Kafka(卡夫卡)消息队列集群中，等待数据汇集服务层消费处理。

所述数据汇集服务层用于读取所述卡夫卡集群中的所述混淆数据，将所述混淆数据进行格式转换，并将格式转换后的混淆数据存入所述卡夫卡集群。数据汇集服务层消费Kafka中的数据，将数据转化成Web系统可以解析的格式，然后将格式转换后的混淆数据再存入Kafka中等待数据入库服务的消费。

所述数据入库服务层用于读取所述卡夫卡集群中存储的格式转换后的混淆数据，并存入数据库。数据入库服务层消费掉Kafka中存储的混淆数据，将数据存入数据库。

上述实施例中传感器数据没有直接上传至云台服务器，而是通过采集仪和用户端处理后再上传至服务器，以此减少了海量无标签传感器数据直接传入云平台，同时将原始数据进行混淆处理，以此解决了海量数据导致的硬件成本提高的问题；同时将混淆数据会先存在云台服务器中的卡夫卡集群中，以此解决了客户数据存在第三方(SAAS服务商)的顾虑；同时利用数据安全层将数据进行混淆处理，以此解决了数据在传输过程中的安全隐患。

更进一步地，在上述实施例的基础上，本申请中数据安全层还用于：

接收所述云端服务器发送的反馈混淆数据；所述反馈混淆数据为所述云端服务器在所述用户端发送数据请求后从所述数据库中读取得到；依据所述自定义字典中的所述预设混淆规则对所述反馈混淆数据进行解析，得到对应的明文数据展示给用户。

具体的，数据安全服务层程序会开放一个反向代理，A公司的终端用户最终会通过这个反向代理访问云端服务器的SAAS服务，该反向代理功能会识别用户请求报文中具有混淆特征的数据并根据配置的字典进行解密，最终变成明文展示给终端客户。

如果是其他公司的终端客户，他们不通过A公司的数据安全服务程序的话，即便是有账号和密码登录系统后，看到的数据也都是混淆过的数据。减少了安全隐患问题。

为了更清楚地介绍实现本发明实施例的硬件系统，对应于本发明实施例提供的一种基于分布式物联网架构的数据存储系统，本发明实施例还提供一种基于分布式物联网架构的数据存储方法。请参见下文实施例。

图3是本发明实施例一提供的基于分布式物联网架构的数据存储方法的流程图。参见图3，一种基于分布式物联网架构的数据存储方法，所述方法应用于上述所述的数据存储系统，所述方法包括：

步骤301：采集仪收集传感器检测的原始数据，并将所述原始数据依据用户自定义TLS公钥进行加密，得到加密数据并传至用户端。其中，采集仪中存有用户自定义TLS公钥，会利用该公钥对原始数据进行加密。

步骤302：所述用户端在接收到所述加密数据后进行混淆处理，生成混淆数据，并将所述混淆数据上传至云端服务器。

具体的混淆处理过程包括：

所述用户端的数据应用层接收所述加密数据，并利用预设私钥进行解密，得到明文数据；所述用户端的数据安全层利用预设混淆规则对所述明文进行混淆处理，得到所述混淆数据。

步骤303：所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，并将所述卡夫卡集群中的混淆数据存入数据库。具体的，所述云端服务器将接收到的所述混淆数据存入卡夫卡集群中；并对所述卡夫卡集群中的所述混淆数据进行格式转换；将转换后的混淆数据存入数据库中。

上述方法中采集仪将传感器检测的原始数据进行加密，并传至用户端，用户端对加密数据进行解析存储，同时利用数据安全层进行数据混淆，将混淆数据上传至云台服务器进行存储。以此减少了海量无标签传感器数据直接传入云平台，解决了海量数据导致的硬件成本提高的问题，解决了客户数据存在第三方(SAAS服务商)的顾虑，解决了数据在传输过程中的安全隐患。

对应于本发明实施例提供的一种基于分布式物联网架构的数据存储方法，本发明实施例还提供一种基于分布式物联网架构的数据存储装置。请参见下文实施例。

图4是本发明实施例一提供的基于分布式物联网架构的数据存储装置的结构图。参见图4，一种基于分布式物联网架构的数据存储装置，包括：

加密模块401，用于采集仪收集传感器检测的原始数据，并将所述原始数据依据用户自定义TLS公钥进行加密，得到加密数据并传至用户端。

数据混淆模块402，用于所述用户端在接收到所述加密数据后进行混淆处理，生成混淆数据，并将所述混淆数据上传至云端服务器。

存储模块403，用于所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，并将所述卡夫卡集群中的混淆数据存入数据库。

更详细地，数据混淆模块402包括：解密单元，用于所述用户端的数据应用层接收所述加密数据，并利用预设私钥进行解密，得到明文数据；混淆单元，用于所述用户端的数据安全层利用预设混淆规则对所述明文进行混淆处理，得到所述混淆数据。

存储模块403包括：卡夫卡存储单元，用于所述云端服务器将接收到的所述混淆数据存入卡夫卡集群中；并对所述卡夫卡集群中的所述混淆数据进行格式转换；数据库存入单元，用于将转换后的混淆数据存入数据库中。

上述装置减少了海量无标签传感器数据直接传入云平台，解决了海量数据导致的硬件成本提高的问题，解决了客户数据存在第三方(SAAS服务商)的顾虑，解决了数据在传输过程中的安全隐患。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种基于分布式物联网架构的数据存储系统，其特征在于，包括：

采集仪、用户端和云端服务器；

所述采集仪与所述用户端通过预设的数据转发层通信连接，所述用户端与所述云端服务器通信连接；

所述采集仪用于采集传感器检测的原始数据，并利用用户自定义TLS公钥对所述原始数据进行加密，得到加密数据并将所述加密数据传输至所述用户端；

所述用户端用于接收所述加密数据并依据所述加密数据进行混淆处理，得到混淆数据，并将所述混淆数据上传至所述云端服务器；

所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，进而存入数据库中。

2.根据权利要求1所述的数据存储系统，其特征在于，所述用户端，包括：

数据应用层和数据安全层；

所述数据应用层用于接收所述加密数据并依据预设私钥进行解密，得到明文数据；

所述数据安全层利用预设混淆规则对所述明文数据进行混淆处理，得到所述混淆数据。

3.根据权利要求1所述的数据存储系统，其特征在于，所述云端服务器，包括：

数据采集服务层、数据汇集服务层和数据入库服务层；

所述数据采集服务层，与所述用户端通信连接，用于接收所述混淆数据，并存入所述卡夫卡集群；

所述数据汇集服务层用于读取所述卡夫卡集群中的所述混淆数据，将所述混淆数据进行格式转换，并将格式转换后的混淆数据存入所述卡夫卡集群；

所述数据入库服务层用于读取所述卡夫卡集群中存储的格式转换后的混淆数据，并存入数据库。

4.根据权利要求2所述的数据存储系统，其特征在于，所述数据安全层还用于：

依据预设字典工具配置自定义字典；所述自定义字典中存有所述预设混淆规则；

配置信息管理表；所述信息管理表中存有所述加密数据、加密规则、解密规则和所述预设混淆规则。

5.根据权利要求4所述的数据存储系统，其特征在于，所述数据安全层还用于：

接收所述云端服务器发送的反馈混淆数据；所述反馈混淆数据为所述云端服务器在所述用户端发送数据请求后从所述数据库中读取得到；

依据所述自定义字典中的所述预设混淆规则对所述反馈混淆数据进行解析，得到对应的明文数据展示给用户。

6.一种基于分布式物联网架构的数据存储方法，其特征在于，所述方法应用于权利要求1-5任一项所述的数据存储系统，所述方法包括：

采集仪收集传感器检测的原始数据，并将所述原始数据依据用户自定义TLS公钥进行加密，得到加密数据并传至用户端；

所述用户端在接收到所述加密数据后进行混淆处理，生成混淆数据，并将所述混淆数据上传至云端服务器；

所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，并将所述卡夫卡集群中的混淆数据存入数据库。

7.根据权利要求6所述的方法，其特征在于，所述用户端在接收到所述加密数据后进行混淆处理，生成混淆数据，包括：

所述用户端的数据应用层接收所述加密数据，并利用预设私钥进行解密，得到明文数据；

所述用户端的数据安全层利用预设混淆规则对所述明文进行混淆处理，得到所述混淆数据。

8.根据权利要求6所述的方法，其特征在于，所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，并将所述卡夫卡集群中的混淆数据存入数据库，包括：

所述云端服务器将接收到的所述混淆数据存入卡夫卡集群中；并对所述卡夫卡集群中的所述混淆数据进行格式转换；

将转换后的混淆数据存入数据库中。

9.一种基于分布式物联网架构的数据存储装置，其特征在于，包括：

加密模块，用于采集仪收集传感器检测的原始数据，并将所述原始数据依据用户自定义TLS公钥进行加密，得到加密数据并传至用户端；

数据混淆模块，用于所述用户端在接收到所述加密数据后进行混淆处理，生成混淆数据，并将所述混淆数据上传至云端服务器；

存储模块，用于所述云端服务器在接收到所述混淆数据后存入预设的卡夫卡集群中，并将所述卡夫卡集群中的混淆数据存入数据库。

10.根据权利要求9所述的装置，其特征在于，所述数据混淆模块，包括：

解密单元，用于所述用户端的数据应用层接收所述加密数据，并利用预设私钥进行解密，得到明文数据；

混淆单元，用于所述用户端的数据安全层利用预设混淆规则对所述明文进行混淆处理，得到所述混淆数据。

11.根据权利要求10所述的装置，其特征在于，所述存储模块，包括：

卡夫卡存储单元，用于所述云端服务器将接收到的所述混淆数据存入卡夫卡集群中；并对所述卡夫卡集群中的所述混淆数据进行格式转换；

数据库存入单元，用于将转换后的混淆数据存入数据库中。

Images