CN114189347A - 一种数据粒子化与网闸相结合的数据安全传输方法 - Google Patents

一种数据粒子化与网闸相结合的数据安全传输方法 Download PDF

Info

Publication number
CN114189347A
CN114189347A CN202111200962.8A CN202111200962A CN114189347A CN 114189347 A CN114189347 A CN 114189347A CN 202111200962 A CN202111200962 A CN 202111200962A CN 114189347 A CN114189347 A CN 114189347A
Authority
CN
China
Prior art keywords
data
transmitted
sub
cleaning
gatekeeper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111200962.8A
Other languages
English (en)
Other versions
CN114189347B (zh
Inventor
张凯
郑应强
牛德标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing LSSEC Technology Co Ltd
Original Assignee
Beijing LSSEC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing LSSEC Technology Co Ltd filed Critical Beijing LSSEC Technology Co Ltd
Priority to CN202111200962.8A priority Critical patent/CN114189347B/zh
Publication of CN114189347A publication Critical patent/CN114189347A/zh
Application granted granted Critical
Publication of CN114189347B publication Critical patent/CN114189347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/18—Network architectures or network communication protocols for network security using different networks or channels, e.g. using out of band channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种数据粒子化与网闸相结合的数据安全传输方法，包括获取待传输数据的属性信息，根据所述属性信息对所述待传输数据进行数据分割处理，得到若干个第一子待传输数据，根据每个第一子待传输数据的属性信息为每个第一子待传输数据分配相应的网闸通信链路；获取每个第一子待传输数据的重要度，并根据所述重要度生成待传输队列，根据所述待传输队列确定每个第一子待传输数据的传输时间节点；根据所述网闸通信链路及所述传输时间节点对相应的第一子待传输数据进行传输。有益效果：在不同时间点，经过不同的网闸传输链路进行数据的传输，使得攻击者无法轻易通过网络攻击等手段，获取全部的数据碎片和密文信息，进一步保障了数据传输安全。

Description

一种数据粒子化与网闸相结合的数据安全传输方法
技术领域
本发明涉及数据传输技术领域，特别涉及一种数据粒子化与网闸相结合的数据安全传输方法。
背景技术
随着经济的飞速发展，信息安全越来越受到人们的重视，尤其是数据在传输过程中的安全性。目前，在数据传输过程中，常用的方法有：单一的数据粒子化算法，将数据碎片化后，通过不同的通信链路传输至对端，这种方法存在的弊端是攻击者可以通过破坏链路等方式，有可能获取到所有碎片信息。单一的网闸传输，完成数据在不同安全域间的传输，这种方法存在的弊端是攻击者在某固定时刻，可能获取到全部的密文数据信息。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出了一种数据粒子化与网闸相结合的数据安全传输方法，对待传输数据进行分割后，在不同时间点，经过不同的网闸传输链路进行数据的传输，使得攻击者无法轻易通过网络攻击等手段，获取全部的数据碎片和密文信息，进一步保障了数据传输安全。
为达到上述目的，本发明提出了一种数据粒子化与网闸相结合的数据安全传输方法，包括：
获取待传输数据的属性信息，根据所述属性信息对所述待传输数据进行数据分割处理，得到若干个第一子待传输数据，根据每个第一子待传输数据的属性信息为每个第一子待传输数据分配相应的网闸通信链路；
获取每个第一子待传输数据的重要度，并根据所述重要度生成待传输队列，根据所述待传输队列确定每个第一子待传输数据的传输时间节点；
根据所述网闸通信链路及所述传输时间节点对相应的第一子待传输数据进行传输。
进一步地，所述属性信息包括数据的类型及名称。
进一步地，所述根据所述重要度生成待传输队列，包括：
对所述重要度按照从大到小的顺序进行排序，得到排序结果，根据所述排序结果生成待传输队列。
进一步地，所述根据所述网闸通信链路及所述传输时间节点对相对应的第一子待传输数据进行传输前，还包括对所述第一子待传输数据进行加密处理。
进一步地，所述对所述第一子待传输数据进行加密处理前，还包括对所述第一子待传输数据进行预处理。
进一步地，对所述第一子待传输数据进行加密处理，包括：
获取所述第一子待传输数据中包括的字符个数，判断所述字符个数是否为偶数，在确定所述字符个数为偶数时，对所述第一子待传输数据进行平分处理，得到所述第一子待传输数据的前半部分数据和后半部分数据；所述前半部分数据与所述后半部分数据的数据长度相等；
在确定所述字符个数为奇数时，获取位于所述第一子待传输数据的中间位置的字符，根据位于所述第一子待传输数据的中间位置的字符的前面的字符生成所述第一子待传输数据的前半部分数据，根据位于所述第一子待传输数据中的中间位置的字符的后面的字符生成所述第一子待传输数据的后半部分数据；
基于预设哈希算法对所述前半部分数据进行计算，得到所述前半部分数据的第一哈希值；
基于预设哈希算法对所述后半部分数据进行计算，得到所述后半部分数据的第二哈希值；
将所述第一哈希值与所述第二哈希值输入预先训练好的加强哈希值计算模型中，输出相对应的加强哈希值；
将所述加强哈希值添加到所述第一子待传输数据的最前端；
根据所述第一子待传输数据的属性信息生成加密密钥请求，将所述加密密钥请求发送至密钥服务器；
接收所述密钥服务器根据加密密钥请求返回的响应信息；所述响应信息包括加密密钥和加密算法；
根据所述加密密钥与所述加密算法对添加完加强哈希值的第一子待传输数据进行加密处理。
进一步地，对第一子待传输数据进行预处理，包括：
获取所述第一子待传输数据中前预设数量个字符，根据所述前预设数量个字符得到试验数据；
获取预设数据清洗库中包括的若干个数据清洗规则，根据所述若干个数据清洗规则分别对所述试验数据进行数据清洗处理，并计算每个数据清洗规则对所述试验数据的清洗完成率；
对所述清洗完成率按照从大到小的顺序进行排序，筛选出最大的清洗完成率，将所述最大的清洗完成率对应的数据清洗规则作为目标数据清洗规则；
根据所述目标清洗规则对所述第一子待传输数据进行数据清洗处理；
对数据清洗处理完成后的第一子待传输数据进行数据分割处理，得到若干个第二子待传输数据；
根据预设哈希算法分别对每个第二子待传输数据进行哈希计算，得到每个第二子待传输数据对应的第三哈希值，分别将每个第二子待传输数据对应的第三哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度等于预设匹配度的第三哈希值对应的第二子待传输数据，并进行剔除处理；
对剩余的第二子待传输数据进行完整度检测，将完整度大于等于预设完整度的的第二子待传输数据作为完整数据；将完整度小于预设完整度的的第二子待传输数据作为缺失数据；
基于模糊聚类法对剩余的第二子待传输数据进行聚类分析，并生成若干个聚类簇；
获取所述缺失数据所在的聚类簇，并计算所述缺失数据到所述聚类簇中包括的每个完整数据的欧式距离，筛选出最小的欧式距离对应的完整数据，并作为目标数据，根据所述目标数据对相应的缺失数据进行填充处理；
根据完整数据与所述填充处理后的缺失数据生成预处理后的第一子待传输数据。
进一步地，在根据所述网闸通信链路及所述传输时间节点对相对应的第一子待传输数据进行传输时，对所述网闸通信链路进行评价，并计算得到评价值，判断所述评价值是否小于预设评价值，在确定所述评价值小于预设评价值时，对所述网闸通信链路进行优化处理。
进一步地，在获取待传输数据的属性信息前，还包括对待传输数据中包括的数据的格式进行统一。
进一步地，还包括：
在根据所述目标清洗规则对所述第一子待传输数据进行数据清洗处理后，得到清洗结果，根据所述清洗结果对所述目标清洗规则进行更新。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一实施例的一种的数据粒子化与网闸相结合的数据安全传输方法的流程图；
图2为本发明一实施例的对第一子待传输数据进行加密处理的流程图；
图3为本发明一实施例的对第一子待传输数据进行预处理的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
下面参考图1至图3来描述本发明实施例提出的一种数据粒子化与网闸相结合的数据安全传输方法。
如图1所示，一种数据粒子化与网闸相结合的数据安全传输方法，包括：
S1:获取待传输数据的属性信息，根据所述属性信息对所述待传输数据进行数据分割处理，得到若干个第一子待传输数据，根据每个第一子待传输数据的属性信息为每个第一子待传输数据分配相应的网闸通信链路；
S2:获取每个第一子待传输数据的重要度，并根据所述重要度生成待传输队列，根据所述待传输队列确定每个第一子待传输数据的传输时间节点；
S3:根据所述网闸通信链路及所述传输时间节点对相应的第一子待传输数据进行传输。
上述方案的工作原理：获取待传输数据的属性信息，根据所述属性信息对所述待传输数据进行数据分割处理，得到若干个第一子待传输数据，根据每个第一子待传输数据的属性信息为每个第一子待传输数据分配相应的网闸通信链路；获取每个第一子待传输数据的重要度，并根据所述重要度生成待传输队列，根据所述待传输队列确定每个第一子待传输数据的传输时间节点；根据所述网闸通信链路及所述传输时间节点对相应的第一子待传输数据进行传输。
上述方案的有益效果：对待传输数据进行分割后，在不同时间节点，经过不同的网闸传输链路进行数据的传输，使得攻击者无法轻易通过网络攻击等手段，获取全部的数据碎片和密文信息，进一步保障了数据传输安全。
根据本发明的一些实施例，所述属性信息包括数据的类型及名称。
上述方案的工作原理及有益效果：所述属性信息包括数据的类型及名称，即根据数据的类型及名称对待传输数据进行数据分割，便于数据的后续管理。
根据本发明的一些实施例，所述根据所述重要度生成待传输队列，包括：
对所述重要度按照从大到小的顺序进行排序，得到排序结果，根据所述排序结果生成待传输队列。
上述方案的工作原理：对所述重要度按照从大到小的顺序进行排序，得到排序结果，根据所述排序结果生成待传输队列。
上述方案的有益效果：对重要度高的数据进行优先的传输，保证数据传输的及时性。
根据本发明的一些实施例，所述根据所述网闸通信链路及所述传输时间节点对相对应的第一子待传输数据进行传输前，还包括：
S4:对所述第一子待传输数据进行加密处理。
上述方案的工作原理：所述根据所述网闸通信链路及所述传输时间节点对相对应的第一子待传输数据进行传输前，还包括：
S5:对所述第一子待传输数据进行加密处理。
上述方案的有益效果：对所述第一子待传输数据进行加密处理，进一步增强第一子待传输数据在传输时的安全性。
根据本发明的一些实施例，所述对所述第一子待传输数据进行加密处理前，还包括对所述第一子待传输数据进行预处理。
上述方案的工作原理：所述对所述第一子待传输数据进行加密处理前，还包括对所述第一子待传输数据进行预处理。所述预处理包括数据清洗、冗余数据去除及数据填补。
上述方案的有益效果：对所述第一子待传输数据进行预处理，保证第一子待传输数据的完整性及最简性。
如图2所示，根据本发明的一些实施例，对所述第一子待传输数据进行加密处理，包括：
S401:获取所述第一子待传输数据中包括的字符个数，判断所述字符个数是否为偶数，在确定所述字符个数为偶数时，对所述第一子待传输数据进行平分处理，得到所述第一子待传输数据的前半部分数据和后半部分数据；所述前半部分数据与所述后半部分数据的数据长度相等；
S402:在确定所述字符个数为奇数时，获取位于所述第一子待传输数据的中间位置的字符，根据位于所述第一子待传输数据的中间位置的字符的前面的字符生成所述第一子待传输数据的前半部分数据，根据位于所述第一子待传输数据中的中间位置的字符的后面的字符生成所述第一子待传输数据的后半部分数据；
S403:基于预设哈希算法对所述前半部分数据进行计算，得到所述前半部分数据的第一哈希值；基于预设哈希算法对所述后半部分数据进行计算，得到所述后半部分数据的第二哈希值；
S404:将所述第一哈希值与所述第二哈希值输入预先训练好的加强哈希值计算模型中，输出相对应的加强哈希值；将所述加强哈希值添加到所述第一子待传输数据的最前端；
S405:根据所述第一子待传输数据的属性信息生成加密密钥请求，将所述加密密钥请求发送至密钥服务器；
S406:接收所述密钥服务器根据加密密钥请求返回的响应信息；所述响应信息包括加密密钥和加密算法；
S407:根据所述加密密钥与所述加密算法对添加完加强哈希值的第一子待传输数据进行加密处理。
上述方案的工作原理：获取所述第一子待传输数据中包括的字符个数，判断所述字符个数是否为偶数，在确定所述字符个数为偶数时，对所述第一子待传输数据进行平分处理，得到所述第一子待传输数据的前半部分数据和后半部分数据；所述前半部分数据与所述后半部分数据的数据长度相等；示例的，所述第一子待传输数据中包括的字符为ABCD共四个字符，为偶数字符，那么前半部分数据为AB，后半部分数据为CD；在确定所述字符个数为奇数时，获取位于所述第一子待传输数据的中间位置的字符，根据位于所述第一子待传输数据的中间位置的字符的前面的字符生成所述第一子待传输数据的前半部分数据，根据位于所述第一子待传输数据中的中间位置的字符的后面的字符生成所述第一子待传输数据的后半部分数据；示例的，所述第一子待传输数据中包括的字符为ABCDE共五个字符，为奇数字符，那么位于所述第一子待传输数据的中间位置的字符为C，此时，位于所述第一子待传输数据的中间位置的字符C的前面的字符为AB，即前半部分数据为AB；位于所述第一子待传输数据中的中间位置的字符C的后面的字符的DE，即后半部分数据为DE；基于预设哈希算法对所述前半部分数据进行计算，得到所述前半部分数据的第一哈希值；基于预设哈希算法对所述后半部分数据进行计算，得到所述后半部分数据的第二哈希值；其中，预设哈希算法为MD5算法；将所述第一哈希值与所述第二哈希值输入预先训练好的加强哈希值计算模型中，输出相对应的加强哈希值；所述加强哈希值计算模型为通过样本第一哈希值与样本第二哈希值及相对应的加强哈希值训练得到的神经网络模型；将所述加强哈希值添加到所述第一子待传输数据的最前端；根据所述第一子待传输数据的属性信息生成加密密钥请求，将所述加密密钥请求发送至密钥服务器；接收所述密钥服务器根据加密密钥请求返回的响应信息；所述响应信息包括加密密钥和加密算法；根据所述加密密钥与所述加密算法对添加完加强哈希值的第一子待传输数据进行加密处理。
上述方案的有益效果：数据在传输过程前，对数据加密往往能够提高数据的安全性，以往的加密方法都是对数据单单的对进行一次加密，在遇到攻击时，往往会轻易的被破解；本方案提供一种对数据的双层加密方法，最大程度的保证数据在传输过程中的安全性；获取所述第一子待传输数据中包括的字符个数，判断所述字符个数是否为偶数，在确定所述字符个数为偶数时，对所述第一子待传输数据进行平分处理，得到所述第一子待传输数据的前半部分数据和后半部分数据；所述前半部分数据与所述后半部分数据的数据长度相等；示例的，所述第一子待传输数据中包括的字符为ABCD共四个字符，为偶数字符，那么前半部分数据为AB，后半部分数据为CD；在确定所述字符个数为奇数时，获取位于所述第一子待传输数据的中间位置的字符，根据位于所述第一子待传输数据的中间位置的字符的前面的字符生成所述第一子待传输数据的前半部分数据，根据位于所述第一子待传输数据中的中间位置的字符的后面的字符生成所述第一子待传输数据的后半部分数据；示例的，所述第一子待传输数据中包括的字符为ABCDE共五个字符，为奇数字符，那么位于所述第一子待传输数据的中间位置的字符为C，此时，位于所述第一子待传输数据的中间位置的字符C的前面的字符为AB，即前半部分数据为AB；位于所述第一子待传输数据中的中间位置的字符C的后面的字符的DE，即后半部分数据为DE；基于预设哈希算法对所述前半部分数据进行计算，得到所述前半部分数据的第一哈希值；基于预设哈希算法对所述后半部分数据进行计算，得到所述后半部分数据的第二哈希值；其中，预设哈希算法为MD5算法；将所述第一哈希值与所述第二哈希值输入预先训练好的加强哈希值计算模型中，输出相对应的加强哈希值；所述加强哈希值计算模型为通过样本第一哈希值与样本第二哈希值及相对应的加强哈希值训练得到的神经网络模型；将所述加强哈希值添加到所述第一子待传输数据的最前端；在原本的哈希值基础上，进一步地对哈希值进行加强，并基于加强哈希值对第一子待传输数据进行第一次加密，提高数据的安全性；根据所述第一子待传输数据的属性信息生成加密密钥请求，将所述加密密钥请求发送至密钥服务器；不同的属性的第一子待传输数据配对不同的加密密钥和加密算法，接收所述密钥服务器根据加密密钥请求返回的响应信息；所述密钥服务器根据属性信息提取相对应的最新版本的加密密钥和加密算法；所述响应信息包括加密密钥和加密算法；根据所述加密密钥与所述加密算法对添加完加强哈希值的第一子待传输数据进行第二次加密处理，最大程度的提高第一子待传输数据在传输过程中的安全性，避免被不发分子盗取从而造成用户的财产损失，提高用户的体验感。
如图3所示，根据本发明的一些实施例，对第一子待传输数据进行预处理，包括：
S501:获取所述第一子待传输数据中前预设数量个字符，根据所述前预设数量个字符得到试验数据；
S502:获取预设数据清洗库中包括的若干个数据清洗规则，根据所述若干个数据清洗规则分别对所述试验数据进行数据清洗处理，并计算每个数据清洗规则对所述试验数据的清洗完成率；
S503:对所述清洗完成率按照从大到小的顺序进行排序，筛选出最大的清洗完成率，将所述最大的清洗完成率对应的数据清洗规则作为目标数据清洗规则；根据所述目标清洗规则对所述第一子待传输数据进行数据清洗处理；
S504:对数据清洗处理完成后的第一子待传输数据进行数据分割处理，得到若干个第二子待传输数据；
S505:根据预设哈希算法分别对每个第二子待传输数据进行哈希计算，得到每个第二子待传输数据对应的第三哈希值，分别将每个第二子待传输数据对应的第三哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度等于预设匹配度的第三哈希值对应的第二子待传输数据，并进行剔除处理；
S506:对剩余的第二子待传输数据进行完整度检测，将完整度大于等于预设完整度的的第二子待传输数据作为完整数据；将完整度小于预设完整度的的第二子待传输数据作为缺失数据；
S507:基于模糊聚类法对剩余的第二子待传输数据进行聚类分析，并生成若干个聚类簇；
S508:获取所述缺失数据所在的聚类簇，并计算所述缺失数据到所述聚类簇中包括的每个完整数据的欧式距离，筛选出最小的欧式距离对应的完整数据，并作为目标数据，根据所述目标数据对相应的缺失数据进行填充处理；
S509:根据完整数据与所述填充处理后的缺失数据生成预处理后的第一子待传输数据。
上述方案的工作原理：获取所述第一子待传输数据中前预设数量个字符，根据所述前预设数量个字符得到试验数据；获取预设数据清洗库中包括的若干个数据清洗规则，根据所述若干个数据清洗规则分别对所述试验数据进行数据清洗处理，并计算每个数据清洗规则对所述试验数据的清洗完成率；对所述清洗完成率按照从大到小的顺序进行排序，筛选出最大的清洗完成率，将所述最大的清洗完成率对应的数据清洗规则作为目标数据清洗规则；根据所述目标清洗规则对所述第一子待传输数据进行数据清洗处理；对数据清洗处理完成后的第一子待传输数据进行数据分割处理，得到若干个第二子待传输数据；根据预设哈希算法分别对每个第二子待传输数据进行哈希计算，得到每个第二子待传输数据对应的第三哈希值，分别将每个第二子待传输数据对应的第三哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度等于预设匹配度的第三哈希值对应的第二子待传输数据，并进行剔除处理；对剩余的第二子待传输数据进行完整度检测，将完整度大于等于预设完整度的的第二子待传输数据作为完整数据；将完整度小于预设完整度的的第二子待传输数据作为缺失数据；基于模糊聚类法对剩余的第二子待传输数据进行聚类分析，并生成若干个聚类簇；获取所述缺失数据所在的聚类簇，并计算所述缺失数据到所述聚类簇中包括的每个完整数据的欧式距离，筛选出最小的欧式距离对应的完整数据，并作为目标数据，根据所述目标数据对相应的缺失数据进行填充处理；根据完整数据与所述填充处理后的缺失数据生成预处理后的第一子待传输数据。
上述方案的有益效果：通过若干个数据清洗规则分别对所述试验数据进行数据清洗处理，并计算每个数据清洗规则对所述试验数据的清洗完成率，筛选出最大的清洗完成率对第一子待传输数据进行数据清洗，最大程度的保证对第一子待传输数据的清洗结果，剔除掉第一子待传输数据中的异常数据，对数据清洗处理完成后的第一子待传输数据进行数据分割处理，得到若干个第二子待传输数据；根据预设哈希算法分别对每个第二子待传输数据进行哈希计算，得到每个第二子待传输数据对应的第三哈希值，分别将每个第二子待传输数据对应的第三哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度等于预设匹配度的第三哈希值对应的第二子待传输数据，并进行剔除处理；其中，预设匹配度为1，第三哈希值为每个第二子待传输数据的独有特征，匹配度等于预设匹配度的第三哈希值对应的第二子待传输数据为冗余数据，对冗余数据进行剔除，减少数据传输量，进而减少数据传输的时间，提高数据传输的效率；对剩余的第二子待传输数据进行完整度检测，将完整度大于等于预设完整度的的第二子待传输数据作为完整数据；将完整度小于预设完整度的的第二子待传输数据作为缺失数据；在数据清洗的过程中，有可能将有用的数据误清洗，因此，最终对缺失数据进行填充，保证数据的完整性，基于模糊聚类法对剩余的第二子待传输数据进行聚类分析，聚类分析是指将相似度大于预设相似度的第二子待传输数据聚为一类，并生成若干个聚类簇；获取所述缺失数据所在的聚类簇，并计算所述缺失数据到所述聚类簇中包括的每个完整数据的欧式距离，筛选出最小的欧式距离对应的完整数据，并作为目标数据，根据所述目标数据对相应的缺失数据进行填充处理；保证第二子待传输数据的完整性，根据完整数据与所述填充处理后的缺失数据生成预处理后的第一子待传输数据，使得预处理后的第一子待传输数据最简且完整，进而第一子待传输数据在接下来的传输过程中，最大程度的保证传输效率。
根据本发明的一些实施例，在根据所述网闸通信链路及所述传输时间节点对相对应的第一子待传输数据进行传输时，对所述网闸通信链路进行评价，并计算得到评价值，判断所述评价值是否小于预设评价值，在确定所述评价值小于预设评价值时，对所述网闸通信链路进行优化处理。
上述方案的工作原理：在根据所述网闸通信链路及所述传输时间节点对相对应的第一子待传输数据进行传输时，对所述网闸通信链路进行评价，并计算得到评价值，判断所述评价值是否小于预设评价值，在确定所述评价值小于预设评价值时，对所述网闸通信链路进行优化处理。
上述方案的有益效果：在确定所述评价值小于预设评价值时，对所述网闸通信链路进行优化处理，保证第一子待传输数据的传输效率，保证数据传输的及时性。
根据本发明的一些实施例，在获取待传输数据的属性信息前，还包括对待传输数据中包括的数据的格式进行统一。
上述方案的工作原理：在获取待传输数据的属性信息前，还包括对待传输数据中包括的数据的格式进行统一。
上述方案的有益效果：对待传输数据中包括的数据的格式进行统一，进而提高获取待传输数据的属性信息的准确性。
根据本发明的一些实施例，还包括：
在根据所述目标清洗规则对所述第一子待传输数据进行数据清洗处理后，得到清洗结果，根据所述清洗结果对所述目标清洗规则进行更新。
上述方案的工作原理：在根据所述目标清洗规则对所述第一子待传输数据进行数据清洗处理后，得到清洗结果，根据所述清洗结果对所述目标清洗规则进行更新。
上述方案的有益效果：根据上一次的清洗结果对目标清洗规则进行更新，增加下一次对数据的清洗完成率。
根据本发明的一些实施例，所述对所述网闸通信链路进行评价，并计算得到评价值，包括：
计算所述网闸通信链路对所述第一子待传输数据的传输速率W，如公式(1)所示：
Figure BDA0003303122740000131
其中，ζ为所述网闸通信链路对所述第一子待传输数据的已传输数据量；t为所述网闸通信链路对所述第一子待传输数据的已传输时间；
根据所述网闸通信链路对所述第一子待传输数据的传输速率W，计算对所述网闸通信链路的评价值K，如公式(2)所示：
Figure BDA0003303122740000141
其中，B为所述网闸通信链路的带宽；Q()为标准高斯分布的尾积分函数；λ为所述网闸通信链路的信噪比；l为所述第一子待传输数据的长度。
上述方案的工作原理及有益效果：在计算对所述网闸通信链路的评价值时，考虑所述网闸通信链路的带宽、所述网闸通信链路的信噪比、所述第一子待传输数据的长度等因素，使得计算出来的评价值更加的精确，提高判断所述评价值与预设评价值大小的准确率，便于在所述评价值小于预设评价值时，对所述网闸通信链路进行优化处理，进而提高网闸通信链路的传输效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据粒子化与网闸相结合的数据安全传输方法，其特征在于，包括：
获取待传输数据的属性信息，根据所述属性信息对所述待传输数据进行数据分割处理，得到若干个第一子待传输数据，根据每个第一子待传输数据的属性信息为每个第一子待传输数据分配相应的网闸通信链路；
获取每个第一子待传输数据的重要度，并根据所述重要度生成待传输队列，根据所述待传输队列确定每个第一子待传输数据的传输时间节点；
根据所述网闸通信链路及所述传输时间节点对相应的第一子待传输数据进行传输。
2.根据权利要求1所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，所述属性信息包括数据的类型及名称。
3.根据权利要求1所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，所述根据所述重要度生成待传输队列，包括：
对所述重要度按照从大到小的顺序进行排序，得到排序结果，根据所述排序结果生成待传输队列。
4.根据权利要求1所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，所述根据所述网闸通信链路及所述传输时间节点对相对应的第一子待传输数据进行传输前，还包括对所述第一子待传输数据进行加密处理。
5.根据权利要求4所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，所述对所述第一子待传输数据进行加密处理前，还包括对所述第一子待传输数据进行预处理。
6.根据权利要求4所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，对所述第一子待传输数据进行加密处理，包括：
获取所述第一子待传输数据中包括的字符个数，判断所述字符个数是否为偶数，在确定所述字符个数为偶数时，对所述第一子待传输数据进行平分处理，得到所述第一子待传输数据的前半部分数据和后半部分数据；所述前半部分数据与所述后半部分数据的数据长度相等；
在确定所述字符个数为奇数时，获取位于所述第一子待传输数据的中间位置的字符，根据位于所述第一子待传输数据的中间位置的字符的前面的字符生成所述第一子待传输数据的前半部分数据，根据位于所述第一子待传输数据中的中间位置的字符的后面的字符生成所述第一子待传输数据的后半部分数据；
基于预设哈希算法对所述前半部分数据进行计算，得到所述前半部分数据的第一哈希值；
基于预设哈希算法对所述后半部分数据进行计算，得到所述后半部分数据的第二哈希值；
将所述第一哈希值与所述第二哈希值输入预先训练好的加强哈希值计算模型中，输出相对应的加强哈希值；
将所述加强哈希值添加到所述第一子待传输数据的最前端；
根据所述第一子待传输数据的属性信息生成加密密钥请求，将所述加密密钥请求发送至密钥服务器；
接收所述密钥服务器根据加密密钥请求返回的响应信息；所述响应信息包括加密密钥和加密算法；
根据所述加密密钥与所述加密算法对添加完加强哈希值的第一子待传输数据进行加密处理。
7.根据权利要求5所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，对第一子待传输数据进行预处理，包括：
获取所述第一子待传输数据中前预设数量个字符，根据所述前预设数量个字符得到试验数据；
获取预设数据清洗库中包括的若干个数据清洗规则，根据所述若干个数据清洗规则分别对所述试验数据进行数据清洗处理，并计算每个数据清洗规则对所述试验数据的清洗完成率；
对所述清洗完成率按照从大到小的顺序进行排序，筛选出最大的清洗完成率，将所述最大的清洗完成率对应的数据清洗规则作为目标数据清洗规则；
根据所述目标清洗规则对所述第一子待传输数据进行数据清洗处理；
对数据清洗处理完成后的第一子待传输数据进行数据分割处理，得到若干个第二子待传输数据；
根据预设哈希算法分别对每个第二子待传输数据进行哈希计算，得到每个第二子待传输数据对应的第三哈希值，分别将每个第二子待传输数据对应的第三哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度等于预设匹配度的第三哈希值对应的第二子待传输数据，并进行剔除处理；
对剩余的第二子待传输数据进行完整度检测，将完整度大于等于预设完整度的的第二子待传输数据作为完整数据；将完整度小于预设完整度的的第二子待传输数据作为缺失数据；
基于模糊聚类法对剩余的第二子待传输数据进行聚类分析，并生成若干个聚类簇；
获取所述缺失数据所在的聚类簇，并计算所述缺失数据到所述聚类簇中包括的每个完整数据的欧式距离，筛选出最小的欧式距离对应的完整数据，并作为目标数据，根据所述目标数据对相应的缺失数据进行填充处理；
根据完整数据与所述填充处理后的缺失数据生成预处理后的第一子待传输数据。
8.根据权利要求1所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，在根据所述网闸通信链路及所述传输时间节点对相对应的第一子待传输数据进行传输时，对所述网闸通信链路进行评价，并计算得到评价值，判断所述评价值是否小于预设评价值，在确定所述评价值小于预设评价值时，对所述网闸通信链路进行优化处理。
9.根据权利要求1所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，在获取待传输数据的属性信息前，还包括对待传输数据中包括的数据的格式进行统一。
10.根据权利要求7所述的数据粒子化与网闸相结合的数据安全传输方法，其特征在于，还包括：
在根据所述目标清洗规则对所述第一子待传输数据进行数据清洗处理后，得到清洗结果，根据所述清洗结果对所述目标清洗规则进行更新。
CN202111200962.8A 2021-10-14 2021-10-14 一种数据粒子化与网闸相结合的数据安全传输方法 Active CN114189347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111200962.8A CN114189347B (zh) 2021-10-14 2021-10-14 一种数据粒子化与网闸相结合的数据安全传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111200962.8A CN114189347B (zh) 2021-10-14 2021-10-14 一种数据粒子化与网闸相结合的数据安全传输方法

Publications (2)

Publication Number Publication Date
CN114189347A true CN114189347A (zh) 2022-03-15
CN114189347B CN114189347B (zh) 2022-08-05

Family

ID=80601398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111200962.8A Active CN114189347B (zh) 2021-10-14 2021-10-14 一种数据粒子化与网闸相结合的数据安全传输方法

Country Status (1)

Country Link
CN (1) CN114189347B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242762A (zh) * 2022-06-27 2022-10-25 北京连山科技股份有限公司 一种结合数据粒子化算法实现的网络通信的方法
CN115374070A (zh) * 2022-08-16 2022-11-22 北京连山科技股份有限公司 一种数据粒子化技术与分布式存储结合的存储方法及系统
CN115550289A (zh) * 2022-11-28 2022-12-30 网御安全技术（深圳）有限公司 一种数据传输方法、装置及存储介质
CN116232629A (zh) * 2022-11-15 2023-06-06 北京连山科技股份有限公司 一种基于量子密码保护的多链路数据粒子传输方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054588A1 (ja) * 2011-10-11 2013-04-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、データストア操作方法、データ構築装置、データ構築方法、データ結合装置、データ結合方法およびプログラム
CN105636025A (zh) * 2015-07-08 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种安全传输数据的方法及系统
CN107749840A (zh) * 2017-09-27 2018-03-02 北京机电工程研究所 基于单向网闸的数据单向安全传输及协同处理系统及方法
US20200374267A1 (en) * 2019-05-24 2020-11-26 Sierra Nevada Corporation Unified communication gateway systems
CN112671809A (zh) * 2021-03-17 2021-04-16 北京红云融通技术有限公司 数据传输方法、信源端及接收端
CN113285923A (zh) * 2021-04-23 2021-08-20 中国电子科技集团公司电子科学研究院 基于空海跨域通信网关的数据安全传输方法及存储介质
CN113472537A (zh) * 2021-09-01 2021-10-01 深圳市通易信科技开发有限公司 数据加密方法、系统及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054588A1 (ja) * 2011-10-11 2013-04-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、データストア操作方法、データ構築装置、データ構築方法、データ結合装置、データ結合方法およびプログラム
CN105636025A (zh) * 2015-07-08 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种安全传输数据的方法及系统
CN107749840A (zh) * 2017-09-27 2018-03-02 北京机电工程研究所 基于单向网闸的数据单向安全传输及协同处理系统及方法
US20200374267A1 (en) * 2019-05-24 2020-11-26 Sierra Nevada Corporation Unified communication gateway systems
CN112671809A (zh) * 2021-03-17 2021-04-16 北京红云融通技术有限公司 数据传输方法、信源端及接收端
CN113285923A (zh) * 2021-04-23 2021-08-20 中国电子科技集团公司电子科学研究院 基于空海跨域通信网关的数据安全传输方法及存储介质
CN113472537A (zh) * 2021-09-01 2021-10-01 深圳市通易信科技开发有限公司 数据加密方法、系统及计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242762A (zh) * 2022-06-27 2022-10-25 北京连山科技股份有限公司 一种结合数据粒子化算法实现的网络通信的方法
CN115242762B (zh) * 2022-06-27 2023-03-10 北京连山科技股份有限公司 一种结合数据粒子化算法实现的网络通信的方法
CN115374070A (zh) * 2022-08-16 2022-11-22 北京连山科技股份有限公司 一种数据粒子化技术与分布式存储结合的存储方法及系统
CN116232629A (zh) * 2022-11-15 2023-06-06 北京连山科技股份有限公司 一种基于量子密码保护的多链路数据粒子传输方法
CN116232629B (zh) * 2022-11-15 2023-09-26 北京连山科技股份有限公司 一种基于量子密码保护的多链路数据粒子传输方法
CN115550289A (zh) * 2022-11-28 2022-12-30 网御安全技术（深圳）有限公司 一种数据传输方法、装置及存储介质

Also Published As

Publication number Publication date
CN114189347B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114189347B (zh) 一种数据粒子化与网闸相结合的数据安全传输方法
CN110445653B (zh) 网络状态预测方法、装置、设备及介质
JP7184959B2 (ja) ネットワーク内の分散データベースのための方法及び装置
US11645528B2 (en) Continuous learning neural network system using rolling window
CN112235264B (zh) 一种基于深度迁移学习的网络流量识别方法及装置
CN108768986B (zh) 一种加密流量分类方法及服务器、计算机可读存储介质
CN111277570A (zh) 数据的安全监测方法和装置、电子设备、可读介质
CN112491643B (zh) 深度报文检测方法、装置、设备及存储介质
CN107786388B (zh) 一种基于大规模网络流数据的异常检测系统
CN109766389B (zh) 一种基于位图索引的区块链轻客户端验证查询方法
CN111191767A (zh) 一种基于向量化的恶意流量攻击类型的判断方法
CN113378899B (zh) 非正常账号识别方法、装置、设备和存储介质
CN111145027A (zh) 一种疑似洗钱交易识别方法及装置
CN112199412B (zh) 基于区块链的支付账单处理方法和区块链账单处理系统
CN112613599A (zh) 一种基于生成对抗网络过采样的网络入侵检测方法
An et al. Traffic Identification Based on Applications using Statistical Signature Free from Abnormal TCP Behavior.
CN108366048B (zh) 一种基于无监督学习的网络入侵检测方法
CN114726634B (zh) 一种基于知识图谱的黑客攻击场景构建方法和设备
CN114095265A (zh) Icmp隐蔽隧道检测方法、装置及计算机设备
CN114611722B (zh) 一种基于聚类分析的安全横向联邦学习方法
CN117527446B (zh) 一种网络异常流量精细化检测方法
CN109657447B (zh) 一种设备指纹生成方法及装置
Shaked et al. Sequence preserving network traffic generation
CN117113221A (zh) 基于深度学习的5g网络异常流量检测方法
Yasmin et al. Optimized Sampling with Clustering Approach for Large Intrusion Detection Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant