CN111935090B - 工业智造物联网的大数据传输和持久化方法及系统 - Google Patents

工业智造物联网的大数据传输和持久化方法及系统 Download PDF

Info

Publication number
CN111935090B
CN111935090B CN202010648968.0A CN202010648968A CN111935090B CN 111935090 B CN111935090 B CN 111935090B CN 202010648968 A CN202010648968 A CN 202010648968A CN 111935090 B CN111935090 B CN 111935090B
Authority
CN
China
Prior art keywords
data
persistence
transmission
time
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010648968.0A
Other languages
English (en)
Other versions
CN111935090A (zh
Inventor
张昭
邱全志
粟常伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Original Assignee
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiyi Intelligent Manufacturing Technology Co ltd filed Critical Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority to CN202010648968.0A priority Critical patent/CN111935090B/zh
Publication of CN111935090A publication Critical patent/CN111935090A/zh
Application granted granted Critical
Publication of CN111935090B publication Critical patent/CN111935090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0823—Network architectures or network communication protocols for network security for authentication of entities using certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种工业智造物联网的大数据传输和持久化方法及系统，包括设备数据上传安全校验步骤：注册用户并加密上传数据；数据传输路由分发步骤：发布上传数据并路由分发；数据解析和持久化步骤：解析上传数据并进行数据持久化操作。本发明通过采用数据安全中心注册和对数据连接加密的方式，解决了细分到传输设备和时间粒度的安全问题；通过采用加权轮询的路由分发规则，解决了数据传输转发过程中负载不均,数据响应延迟的问题；通过采用实时持久化和离线持久化相结合的方式，解决了数据持久化数据对齐难，数据链路不统一的问题；通过动态配置中心的方式加载配置，解决了传统数据传输方式配置不灵活和变更消息处理逻辑笨重的问题。

Description

工业智造物联网的大数据传输和持久化方法及系统
技术领域
本发明涉及通信领域，具体地，涉及一种工业智造物联网的大数据传输和持久化方法及系统。
背景技术
传统的基于mqtt协议的文件传输方法，传输安全性都依赖于mqtt代理校验，本专利提供了一种通过数据中心注册下发有时效证书，传输过程对连接加密的方式保证传输安全性；此外现有的数据传输方式不支持传输数据的高速存储持久化和
传输链路资源容量动态弹扩，本专利采用的路由分发策略在保障吞吐和延迟的前提下支持传输节点的动态扩容，并以高容错的方式对传输数据进行持久化，传输数据的即时消费，延迟消费，后续的统计分析得以实现。
专利文献为201910934743.9的发明专利公开了一种基于MQTT协议的文件传输方法，利用MQTT协议，提高了文件传输的可靠性及效率，采用队列先进先出和单线程处理相结合的方式，保证了多个文件同时传输时，接收端接收多个文件时不会出现文件片段穿插的问题，保证了多个文件传输的完整性和独立性。
专利文献为201910885870.4的发明专利公开了一种MQTT安全传输数据的方法，本发明SDP网关通过标识信息验证MQTT发布设备发布数据是否安全，可以有效地安全的传输数据，SDP控制器和SDP可接受连接的主机(AH)拒绝无效数据包，避免MQTT订阅设备被攻击，可以减轻DDoS攻击。而且本发明不需要对MQTT订阅设备进行任何操作，就可以提高数据传输安全性和稳定性，实用性比较强。
上述方案中，基于MQTT协议的文件传输方法未实现集群化数据分发和路由，数据吞吐和和数据低延迟传输都无法满足，而基于MQTT安全传输数据的方法并未实现基于数据中心安全校验的方式对数据加密，数据一旦被中途截获，有加密泄露和被恶意插入脏数据的风险。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种工业智造物联网的大数据传输和持久化方法及系统。
根据本发明提供的一种工业智造物联网的大数据传输和持久化方法，包括如下步骤：
设备数据上传安全校验步骤：注册用户并加密上传数据；
数据传输路由分发步骤：发布所述上传数据并路由分发；
数据解析和持久化步骤：解析上传数据并进行数据持久化操作。
优选地，所述设备数据上传安全校验步骤包括：
数据传输许可证书获取步骤：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传步骤：根据所述数据传输许可证书对设备上报数据进行加密上传。
优选地，数据传输路由分发步骤包括：
数据上传发布步骤：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发步骤：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IP list；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
优选地，所述数据解析和持久化步骤，包括：
数据解析步骤:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化步骤：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
优选地，所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
本发明提供了一种工业智造物联网的大数据传输和持久化系统，包括如下模块：
设备数据上传安全校验模块：注册用户并加密上传数据；
数据传输路由分发模块：发布所述上传数据并路由分发；
数据解析和持久化模块：解析上传数据并进行数据持久化操作。
优选地，所述设备数据上传安全校验模块包括：
数据传输许可证书获取模块：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传模块：根据所述数据传输许可证书对设备上报数据进行加密上传。
优选地，数据传输路由分发模块包括：
数据上传发布模块：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发模块：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IP list；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
优选地，所述数据解析和持久化模块，包括：
数据解析模块:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化模块：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
优选地，所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用数据安全中心注册和对数据连接加密的方式，解决了细分到传输设备和时间粒度的安全问题，使数据的传输安全性获得极大提升；
2、本发明通过采用加权轮询的路由分发规则，使系统可以平滑的负载均衡，解决了数据传输转发过程中负载不均,数据响应延迟的问题，获得更好的数据传输和数据吞吐；
3、本发明通过采用实时持久化和离线持久化相结合的方式，解决了数据持久化数据对齐难，数据链路不统一的问题，既保证了系统数据传输接收的高容错性，又为其他系统消费本系统信息提供了一致性的方案；
4、本发明通过动态配置中心的方式加载配置，解决了传统数据传输方式配置不灵活和变更消息处理逻辑笨重的问题，提供了一种灵活，轻便的消息处理配置方式。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的数据采集分发流程图；
图2为本发明提供的传输层数据转发接收流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1和图2所示，本发明提供了一种工业智造物联网的大数据传输和持久化方法及系统，实现了一种高吞吐低延迟，安全系数高，高容错性的消息传输和持久化系统，为大数据场景下实时数据采集和海量数据分析提供支持。本发明的系统包含实时数据采集网关，数据分流和汇集层，数据路由和分发层，数据解析和转换层。本发明提供的方法，数据格式灵活，传输速率快，安全系数高，容错能力好，且自身实现了动态变更消息处理方式功能。具体的，根据本发明提供的工业智造物联网的数据传输和持久化方法，包括设备数据上传安全校验步骤，数据传输路由分发步骤以及数据解析和持久化步骤，其中：账户安全校验步骤，包括如下步骤:
得到数据传输许可的证书，具体如下:
使用上传数据的设备号，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心将下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
根据上述的数据传输许可证书对设备上报数据进行加密上传,包括如下详细步骤：
设备数据对某一主题进行上传时，解析下发的传输许可证书获得传输账号和密码；
设备上传数据时，对传输连接加载账号和密码进行加密；
数据传输的接收层获取连接中的账号和密码，在数据安全中心进行账密和时效性校验，校验成功后数据传输连接被允许，否则连接请求被拒连；
所述数据上传路由步骤，包括如下步骤:
数据上传发布，具体如下:
数据上传连接允连后，传输数据通过通信协议封装序列化为信道占用小的字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发，具体如下：
根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
系统的分布式状态管理模块动态维护后向接收数据节点的IP list；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
所述数据解析和持久化步骤，包括如下步骤：
数据解析步骤，具体如下：
系统持久化层接收的字节流数据反序列化为实体类；
请求动态配置中心是否有解析配置，无解析配置，则数据全部属性转换为json样式的字符串，若有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化步骤，具体如下：
判断实时持久化服务可达性，可达，调用实时持久化服务；
所述实时持久化服务步骤，具体如下；
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，发送成功，发送下一条数据，发送失败，根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
实时持久化服务不可达，调用离线持久化服务
对发送数据进行异步flush到磁盘，异步flush规则，根据持久化服务接收消息时间构建flush落盘路径；
Flush过程，异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容
离线持久化日志入库：数据抽取服务监听离线持久化服务生成的文件，增量读取，发送文件中消息内容到发送主题，最终通过实时持久化相同链路进行数据入库。
本发明还提供一种本发明提供了一种工业智造物联网的大数据传输和持久化系统，包括如下模块：
设备数据上传安全校验模块：注册用户并加密上传数据；
数据传输路由分发模块：发布所述上传数据并路由分发；
数据解析和持久化模块：解析上传数据并进行数据持久化操作。
进一步地，所述设备数据上传安全校验模块包括：
数据传输许可证书获取模块：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传模块：根据所述数据传输许可证书对设备上报数据进行加密上传。
进一步地，数据传输路由分发模块包括：
数据上传发布模块：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发模块：根据全局分布式唯一generateId(基于分布式uuid算法生成的全局唯一id，id生成过程将依赖设备，服务器节点，当前的数据摄入时间戳。若还有重复可能，还可引入事件时间戳和处理时间戳)，数据批提交数batchNum(数据批次提交的某一批次的总数据条数，设定后，提交操作为异步缓冲提交，将构建一个数据缓冲池，单次提交数据不会被直接提交，而是会启动另外一个异步线程收集至缓冲池，待缓冲池被集满后，整体提交，本质上是一个生产者消费者模式，目的在于避免同步阻塞和提升数据吞吐能力)，hash(此处的hash规则为batchNum对后向节点即后一层数据接收节点数取余，例如后向节点数为8，batchNum为18，则编号1、9、17对应数据发向节点1，2、10、18数据发向节点2...)
分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IP列表；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
进一步地，所述数据解析和持久化模块，包括：
数据解析模块:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化模块：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
进一步地，所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
本发明通过采用数据安全中心注册和对数据连接加密的方式，解决了细分到传输设备和时间粒度的安全问题，使数据的传输安全性获得极大提升；通过采用加权轮询的路由分发规则，使系统可以平滑的负载均衡，解决了数据传输转发过程中负载不均,数据响应延迟的问题，获得更好的数据传输和数据吞吐；通过采用实时持久化和离线持久化相结合的方式，解决了数据持久化数据对齐难，数据链路不统一的问题，既保证了系统数据传输接收的高容错性，又为其他系统消费本系统信息提供了一致性的方案；通过动态配置中心的方式加载配置，解决了传统数据传输方式配置不灵活和变更消息处理逻辑笨重的问题，提供了一种灵活，轻便的消息处理配置方式。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种工业智造物联网的大数据传输和持久化方法，其特征在于，包括如下步骤：
设备数据上传安全校验步骤：注册用户并加密上传数据；
数据传输路由分发步骤：发布所述上传数据并路由分发；
数据解析和持久化步骤：解析上传数据并进行数据持久化操作；
数据传输路由分发步骤包括：
数据上传发布步骤：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发步骤：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IP list；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
2.根据权利要求1所述的工业智造物联网的大数据传输和持久化方法，其特征在于，所述设备数据上传安全校验步骤包括：
数据传输许可证书获取步骤：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传步骤：根据所述数据传输许可证书对设备上报数据进行加密上传。
3.根据权利要求1所述的工业智造物联网的大数据传输和持久化方法，其特征在于，所述数据解析和持久化步骤，包括：
数据解析步骤:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化步骤：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
4.根据权利要求3所述的工业智造物联网的大数据传输和持久化方法，其特征在于，
所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
5.一种工业智造物联网的大数据传输和持久化系统，其特征在于，包括如下模块：
设备数据上传安全校验模块：注册用户并加密上传数据；
数据传输路由分发模块：发布所述上传数据并路由分发；
数据解析和持久化模块：解析上传数据并进行数据持久化操作；
数据传输路由分发模块包括：
数据上传发布模块：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发模块：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IP list；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
6.根据权利要求5所述的工业智造物联网的大数据传输和持久化系统，其特征在于，所述设备数据上传安全校验模块包括：
数据传输许可证书获取模块：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传模块：根据所述数据传输许可证书对设备上报数据进行加密上传。
7.根据权利要求5所述的工业智造物联网的大数据传输和持久化系统，其特征在于，所述数据解析和持久化模块，包括：
数据解析模块:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化模块：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
8.根据权利要求7所述的工业智造物联网的大数据传输和持久化系统，其特征在于，
所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
CN202010648968.0A 2020-07-07 2020-07-07 工业智造物联网的大数据传输和持久化方法及系统 Active CN111935090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010648968.0A CN111935090B (zh) 2020-07-07 2020-07-07 工业智造物联网的大数据传输和持久化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010648968.0A CN111935090B (zh) 2020-07-07 2020-07-07 工业智造物联网的大数据传输和持久化方法及系统

Publications (2)

Publication Number Publication Date
CN111935090A CN111935090A (zh) 2020-11-13
CN111935090B true CN111935090B (zh) 2021-04-06

Family

ID=73312328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010648968.0A Active CN111935090B (zh) 2020-07-07 2020-07-07 工业智造物联网的大数据传输和持久化方法及系统

Country Status (1)

Country Link
CN (1) CN111935090B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532975A (zh) * 2013-10-28 2014-01-22 国家电网公司 一种可动态平滑扩展的数据采集系统及方法
CN106875156A (zh) * 2017-02-14 2017-06-20 电子科技大学 一种通用化智能审核平台及其审核方法
WO2018056962A1 (en) * 2016-09-21 2018-03-29 Intel Corporation Technologies for user-mode persistence of certificates and keys in resource-constrained devices
CN110598440A (zh) * 2019-08-08 2019-12-20 中腾信金融信息服务(上海)有限公司 一种分布式自动加解密系统
CN110933139A (zh) * 2019-11-05 2020-03-27 浙江工业大学 一种解决Web服务器高并发的系统及方法
CN111324596A (zh) * 2020-03-06 2020-06-23 腾讯科技（深圳）有限公司 数据库集群的数据迁移方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10455053B2 (en) * 2016-05-23 2019-10-22 Citrix Systems, Inc. Systems and methods for provisioning network automation by logically separating L2-L3 entities from L4-L7 entities using a software defined network (SDN) controller
CN109583221A (zh) * 2018-12-07 2019-04-05 中国科学院深圳先进技术研究院 基于多云服务器架构的网盘系统
CN109688229A (zh) * 2019-01-24 2019-04-26 江苏中云科技有限公司 一种负载均衡集群下会话保持系统
CN110764912B (zh) * 2019-10-25 2022-09-09 东北大学 一种自适应任务调度器及方法
CN111324462A (zh) * 2020-02-20 2020-06-23 杭州梦视网络科技有限公司 一种具有Web负载均衡技术的系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532975A (zh) * 2013-10-28 2014-01-22 国家电网公司 一种可动态平滑扩展的数据采集系统及方法
WO2018056962A1 (en) * 2016-09-21 2018-03-29 Intel Corporation Technologies for user-mode persistence of certificates and keys in resource-constrained devices
CN106875156A (zh) * 2017-02-14 2017-06-20 电子科技大学 一种通用化智能审核平台及其审核方法
CN110598440A (zh) * 2019-08-08 2019-12-20 中腾信金融信息服务(上海)有限公司 一种分布式自动加解密系统
CN110933139A (zh) * 2019-11-05 2020-03-27 浙江工业大学 一种解决Web服务器高并发的系统及方法
CN111324596A (zh) * 2020-03-06 2020-06-23 腾讯科技（深圳）有限公司 数据库集群的数据迁移方法、装置及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《blog（混合开发）——https://blog.csdn.net/qq_34361235/article/details/94738251》;是吗乔治;《CSDN》;20190709;全文 *
《PRS Generic Data Store Service》;Ranjini R;《 2020 11th International Conference on Computing, Communication and Networking Technologies (ICCCNT)》;20200703;全文 *
《分布式架构——序列化与反序列化https://blog.csdn.net/qq_30509055/article/details/89375083》;坚持是一种修行;《CSDN》;20190418;全文 *
《面向物联网应用的数据接入和存储系统的设计与实现》;甄凯成;《中国优秀硕士学位论文全文数据库》;20190831;全文 *

Also Published As

Publication number Publication date
CN111935090A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US8898336B2 (en) Content conversion system and content conversion server
CN104811459A (zh) 用于消息服务的处理方法、装置及系统、消息服务系统
CN107070613B (zh) 分布式网络环境下数据可靠传输方法
CN111211971B (zh) 一种支撑互联网问诊服务的集群式即时消息系统及其实现方法
WO2014180407A1 (zh) 推送方法及装置
CN112631788B (zh) 数据传输方法及数据传输服务器
CN111064755B (zh) 一种数据保护方法、装置、计算机设备和存储介质
CN109547162B (zh) 基于两套单向边界的数据通信方法
CN110855634A (zh) 基于安全网络下的跨网交换服务系统及方法
WO2022241990A1 (zh) 一种媒体传输链路管理方法、装置及存储介质
CN115002023B (zh) 一种链路聚合方法、链路聚合装置、电子设备及存储介质
CN113507483A (zh) 即时通讯方法、装置、服务器及存储介质
WO2019218474A1 (zh) 一种视频通话服务的响应方法及系统
CN113986811A (zh) 一种高性能内核态网络数据包加速方法
CN111614726B (zh) 一种数据转发方法、集群系统及存储介质
CN111935090B (zh) 工业智造物联网的大数据传输和持久化方法及系统
CN115361455B (zh) 一种数据传输存储方法、装置以及计算机设备
CN112217878A (zh) 高并发请求分发方法及系统
CN109144919B (zh) 一种接口转接方法及装置
CN111935316B (zh) 一种前端设备目录获取方法及装置
EP3408989B1 (en) Detecting malware on spdy connections
CN106487643B (zh) 一种即时通信的信息存储方法及装置
CN113542324A (zh) 一种消息推送方法和装置
CN101860544A (zh) 会话启动协议消息的发送系统及方法
CN106209666A (zh) 一种基于负载均衡器的链路复用方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: The big data transmission and persistence method and system of industrial intelligent Internet of Things

Effective date of registration: 20230524

Granted publication date: 20210406

Pledgee: Bank of Hangzhou Limited by Share Ltd. Shanghai branch

Pledgor: Shanghai Weiyi Intelligent Manufacturing Technology Co.,Ltd.

Registration number: Y2023310000207