CN114615014A - 面向多层分布式网络的数据传输方法及系统 - Google Patents

面向多层分布式网络的数据传输方法及系统 Download PDF

Info

Publication number
CN114615014A
CN114615014A CN202210112786.0A CN202210112786A CN114615014A CN 114615014 A CN114615014 A CN 114615014A CN 202210112786 A CN202210112786 A CN 202210112786A CN 114615014 A CN114615014 A CN 114615014A
Authority
CN
China
Prior art keywords
data
coding
network
transmission
transmission data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210112786.0A
Other languages
English (en)
Other versions
CN114615014B (zh
Inventor
郑开发
王娜
刘建伟
张汕成
韩庆云
张政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210112786.0A priority Critical patent/CN114615014B/zh
Publication of CN114615014A publication Critical patent/CN114615014A/zh
Application granted granted Critical
Publication of CN114615014B publication Critical patent/CN114615014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种面向多层分布式网络的数据传输方法及系统，其中方法为将预传输数据进行切割并分组，得到l组传输数据；按照预设编码机制对l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据；利用分布式网络的n个中间节点对n组编码数据进行分布式传输，发送至接收方；利用接收方在n个中间节点的编码数据中任意选择l个中间节点的编码数据，对l个中间节点对应的l组编码数据进行解码恢复预传输数据，其中，l小于等于n。本申请基于网络编码和密钥共享技术，将数据编码后通过中间层分布式节点，并行传输到接收节点，实现了数据高效、可信传输，解决了相关技术的分布式网络数据传输速度低、数据拥塞，安全性差等问题。

Description

面向多层分布式网络的数据传输方法及系统
技术领域
本申请涉及数据传输技术领域，特别涉及一种面向多层分布式网络的数据传输方法及系统。
背景技术
随着5G、无线网络等技术发展，物联网成为新一代信息技术重要组成部分。物联网是“云网边端”多层、分布式的网络架构，并随网络迭代发展，IOT(Internet of Things，物联网)网络架构越来越复杂，暴露面越来越大，面临安全问题更突出。
典型的云存储数据共享模型与物联网架构下的模型如图1所示。传统的面向云存储的数据共享系统由三元组组成：数据拥有者(Data Owner，DOs)、数据使用者(也称终端用户End user，EUs)和云服务器(Cloud service processor，CSP)。云服务被认为是“诚实而好奇的”，数据拥有者将数据加密上传，终端用户是访问控制验证通过的可信实体。相关技术系统模型包含以下五个实体:云服务器、用户、净化者、密钥产生中心(Private KeyGenerator， PKG)和第三方验证者；面向敏感数据脱敏的场景，加入了数据盲化、数据完整性验证的功能。相关技术中有考虑到物联网系统中雾计算场景，将中间的雾节点纳入传统云加密检索系统，其系统将分解为：密钥生成中心(KGC)、云服务提供商(CSP)，多个雾节点(FNs)，数据所有者(DO)和终端用户(EUs)。并且将部分加密、解密、陷门函数生成、检索的相关计算转移到了系统的雾节点以降低重点的计算开销、存储和能源损耗。但是相关技术方案弱化了真实情况下复杂的网络架构及现状：由于安全防护限制，真实现状是中间的网络节点只是半可信或不可信实体；需要增强中间网络节点的传输和计算的安全性能。
综上，传统云存储数据共三元组直接忽略了考虑网络中间层节点，与真实的网络架构不符合。传统的物联网架构考虑了中间层节点，但是未考虑中间层节点分布式、分层架构等现状。目前的物联网架构未考虑中间节点是半诚实的现状；未考虑中间节点基于网络编码可以实现数据快速传输。
发明内容
本申请提供一种面向多层分布式网络的数据传输方法及系统，基于网络编码和密钥共享技术，将数据编码后通过中间层分布式节点，并行传输到接收节点，实现了数据高效、可信传输。还可以抵抗合谋攻击，另外，通过对节点传输数据的差异化计算，可以实现恶意节点检测、损坏节点检测，降低网络节点排查难度。由此，解决了相关技术的分布式网络数据传输速度低、数据拥塞，安全性差，故障排查难等问题
本申请第一方面实施例提供一种面向多层分布式网络的数据传输方法，包括以下步骤：将预传输数据进行切割并分组，得到l组传输数据；按照预设编码机制对所述l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据；利用分布式网络的n个中间节点对所述n组编码数据进行分布式传输，发送至接收方；以及利用所述接收方在所述n个中间节点的编码数据中任意选择l个中间节点的编码数据，对所述l个中间节点对应的l组编码数据进行解码恢复所述预传输数据，其中，l为所述预传输数据的切割份数，l 小于等于n。
可选地，在本申请的一个实施例中，所述按照预设编码机制对所述l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据，包括：根据所述切割份数与所述中间节点个数构建网络编码系数，根据所述网络编码系数利用l个编码密钥对所述l组传输数据进行网络编码，得到所述n组编码数据。
可选地，在本申请的一个实施例中，所述对所述l个中间节点对应的l组编码数据进行解码恢复所述预传输数据，包括：根据所述预设编码机制获取所述l个中间节点对应的解码密钥；根据所述解码密钥对所述l组编码数据进行解码恢复所述预传输数据。
可选地，在本申请的一个实施例中，在按照预设编码机制对l组传输数据进行网络编码之前，还包括：检测所述分布式网络的中间节点是否发生变化；在检测到所述中间节点增加时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的行向量；在检测到所述中间节点减少时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的行向量。
可选地，在本申请的一个实施例中，在按照预设编码机制对l组传输数据进行网络编码之前，还包括：检测所述预传输数据是否发生变更；在检测到所述预传输数据发生变更，且信息量增加时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的列向量；在检测到所述预传输数据发生变更，且信息量减少时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的列向量。
本申请第二方面实施例提供一种面向多层分布式网络的数据传输系统，包括：密钥生成模块，用于编码密钥和解码密钥的生成、分发及更新；数据分组模块，用于将预传输数据进行切割并分组，得到l组传输数据；数据编码模块，用于按照预设编码机制对所述l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据；数据传输模块，用于利用分布式网络的n个中间节点对所述n组编码数据进行分布式传输，发送至接收方；数据恢复模块，用于利用所述接收方在所述n个中间节点的编码数据中任意选择l 个中间节点的编码数据，对所述l个中间节点对应的l组编码数据进行解码恢复所述预传输数据，其中，l为所述预传输数据的切割份数，l小于等于n。
可选地，在本申请的一个实施例中，所述数据编码模块具体用于，根据所述切割份数与所述中间节点个数构建网络编码系数，根据所述网络编码系数利用l个编码密钥对所述l 组传输数据进行网络编码，得到所述n组编码数据。
可选地，在本申请的一个实施例中，所述数据恢复模块，具体用于根据所述预设编码机制获取所述l个中间节点对应的解码密钥；根据所述解码密钥对所述l组编码数据进行解码恢复所述预传输数据。
可选地，在本申请的一个实施例中，还包括：第一检测模块，用于在按照预设编码机制对l组传输数据进行网络编码之前，检测所述分布式网络的中间节点是否发生变化；第一处理模块，用于在检测到所述中间节点增加时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的行向量；第二处理模块，用于在检测到所述中间节点减少时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的行向量。
可选地，在本申请的一个实施例中，还包括：第二检测模块，用于在按照预设编码机制对l组传输数据进行网络编码之前，检测所述预传输数据是否发生变更；第三处理模块，用于在检测到所述预传输数据发生变更，且信息量增加时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的列向量；第四处理模块，用于在检测到所述预传输数据发生变更，且信息量减少时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的列向量。
本申请提供一种面向多层分布式网络的数据传输方法及系统，基于网络编码和密钥共享技术，将数据编码后通过中间层分布式节点，并行传输到接收节点，实现了数据高效、可信传输。具体具有以下有益效果：
第一，面向当前“云网边端”多层、分布式网络环境，提出一种通用的数据传输机制，解决了新型网络架构下数据传输问题。
第二，考虑网络中间节点不可信、不安全的现状，面向现有云存储服务系统，实现了数据高效、安全、可信传输，解决了云服务系统、可搜索加密系统等缺乏数据共享机制。
第三，解决了分布式网络中，中间节点传输的数据易出现丢包、损坏等，容易遭受恶意篡改等难题。
第四，通过中间层节点传输数据的差异化计算，实现对物联网中间层恶意或坏损节点快速检测，解决了网络节点难以检测难题，降低网络检测成本。
第五，解决分布式网络中，数据传输的速度低、拥塞等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为典型的云存储数据共享模型与物联网架构示意图；
图2为根据本申请实施例提供的一种面向多层分布式网络的数据传输方法的流程图；
图3为根据本申请实施例提供的一种海量接入物联网场景下的典型网络架构示意图；
图4为根据本申请实施例提供的一种面向多层分布式网络的数据传输方法的系统架构图；
图5为根据本申请实施例提供的一种面向多层分布式网络的网络编码原理图；
图6为根据本申请实施例提供的一种面向多层分布式网络的简化网络编码示意图；
图7为根据本申请实施例提供的一种面向多层分布式网络的数据传输方法数据交互流程交互图；
图8为根据本申请实施例提供的一种面向多层分布式网络的数据上传与下载示意图；
图9为根据本申请实施例的面向多层分布式网络的数据传输系统的示例图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图2为根据本申请实施例提供的一种面向多层分布式网络的数据传输方法的流程图。
如图2所示，该面向多层分布式网络的数据传输方法包括以下步骤：
在步骤S101中，将预传输数据进行切割并分组，得到l组传输数据。
可以理解的是，对于数据传输过程中庞大的数据量，整体传输的传输速度比较低，且容易造成数据拥塞，本申请的实施例通过对数据进行切割和分组，以组的形式进行数据传输，实现了数据传输的高效性和可信性。
如图3所示，展示了一种海量接入物联网场景下的典型网络架构，物联网架构大致可分为感知层、网络层和应用层。感知层是最底层终端设备，实现边缘端的感知、数据采集、人机交互等功能；本方案的感知层实现DOs数据上传，EUs数据检索和解密等。网络层是架构中间层，实现采集数据编码、传输等；本方案的网络层实现数据网络编码、分布式传输。应用层是架构最上层，实现对接收数据的分析、计算和管理等功能；本申请的应用层是云服务器(CSP)，实现检索、计算等。接入层、网络汇聚和核心层是多层分布网络的路线的桥梁和纽带。
本申请考虑了分层分布式物联网络架构，设计分层数据分享系统涉及五个实体：密钥生成中心(KGC)、云服务器(CSP)，中间层物联网节点集合(Nodes)，数据所有者(DOs)和数据使用者(也叫终端使用者EUs)。模型如图4所示，实体间真实交互用实线表示。
(1)钥生成机构(KGC)：KGC是完全可信的机构实体，实现系统参数生成，Dos、 EUs、Nodes等各实体的密钥生成和分发，整个系统的参数和密钥更新、升级和管理等功能。
(2)数据拥有者(DOs)：是实现数据分享上传的主体，将待分享的数据加密后，经过分布式中间节点发送给CSP；同时向通过授权的Eus提供陷门生成机制、文档解码密钥 key。
(3)终端使用者(EUs)：被授权用户可检索、下载CSP存储数据；EUs执行检索操作，从CSP中下载结果文档，再通过密钥key实现对密文解密。
(4)云服务器(CSP)：CSP提供海量存储、高效计算。在检索阶段，CSP根据收到的陷门，执行检索，并将检索结果排序后结果发送给EUs。
(5)中间节点层(Nodes)：被认为是“不可信”实体；CSP与DOs、EUs所有交互数据都经过中间节点；实际场景中，中间节点可能自然损坏或被攻击者监测、控制等；一旦失陷，多节点联合后拥有强大计算、推断能力。
步骤S102，按照预设编码机制对l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据。
为了增加数据传输的安全性，本申请的实施例在通过中间节点进行分布式传输之前，对分组后的传输数据进行编码，直接通过中间节点发送编码后的数据，保证了中间节点不诚实时，数据传输的安全性。
可选地，在本申请的一个实施例中，按照预设编码机制对l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据，包括：根据切割份数与中间节点个数构建网络编码系数，根据网络编码系数利用l个编码密钥对l组传输数据进行网络编码，得到n组编码数据。
如图5所示，展示了网络编码的基本原理，网络编码理论是用编码器取代路由器。发送端将源信息数据进行分组，在组播通信网络中，网络的中间节点对于接收到的已经分组编码过的数据，可以直接将其传输出去。传统的网络中的中间节点，转发的是完整的数据，一端丢失，接收者就不能恢复，在本申请中，中间节点转发的是编码后的数据，部分丢失，不影响信息传递，只要有l个节点数据是诚实即可，接收者利用l个节点的数据就可以恢复完整的传输数据。在信宿节点上，通过一定的处理方式，译出信源节点所发的信息。整过程是通过网络中继节点分割发送到目的节点，接收器(receiver)收到信息数据便进行重组还元信息：这样便大大提高了网络的容量和效率。通过网络编码，可以大大提高网络的传输速率，充分利用网络中的链路资源；传统的路由方式可以看成是网络编码的一种特殊形式。
步骤S103，利用分布式网络的n个中间节点对n组编码数据进行分布式传输，发送至接收方。
步骤S104，利用接收方在n个中间节点的编码数据中任意选择l个中间节点的编码数据，对l个中间节点对应的l组编码数据进行解码恢复预传输数据，其中，l为预传输数据的切割份数，l小于n。
可选地，在本申请的一个实施例中，对l个中间节点对应的l组编码数据进行解码恢复预传输数据，包括：根据预设编码机制获取l个中间节点对应的解码密钥；根据解码密钥对l组编码数据进行解码恢复预传输数据。
可以理解的是，将编码数据发送至接收方后，接收方需要对编码数据进行相应的解码，以恢复传输数据。整体流程为发送者对数据进行分割、编码，通过中间节点分布式传输，接收者解码恢复数据。以检索文件下传到EUs为例说明编码和解码方式，如图6所示。为了更好地进行说明，本申请首先对参数进行定义。
定义1：网络编码系数(l，n)，待传输数据M被分割成l等份(不够等分时用0补位)，即M＝s1||s2...||sl，信息向量为S＝(s1，s2，...，sl)T，其中
Figure BDA0003495330760000061
经过n个中间节点传输到目标节点，这里n≥l。
定义2：如图6所示，编码系数为(l，n)的网络结构中，第i个节点的编码方式为 Ai＝(ai1，ai2，...，ail)＝(1，ai 1，...，ai l-1)(1≤i≤n)(也称为编码密钥)，第i个节点的编码结果为ci＝AiS＝(ai1，ai2，...，ail)(s1，s2，...，sl)T，(1≤i≤n)，共有n个中间节点、编码方式和编码结果，中间节点将编码结果发送给数据接收者。
共n个中间节点的编码结果为消息分割集M的线性组合：
Figure BDA0003495330760000062
其中，A是n行l列矩阵，记矩阵A的第i行元素组成的行向量为Ai，(i，ai，l)，(i＝1，2，...，n) 是主密钥，(ai，ci)被称为数据对。
定义3：当a＞b时，定义符号
Figure BDA0003495330760000063
为从A＝{A1，A2，...Aa}任意选择b个元素组成的元素组。则
Figure BDA0003495330760000071
为从n个节点中任意选l个节点的编码方式，形成的向量组满足线性无关。
定义4：从n个节点中任选l个节点编码方式
Figure BDA0003495330760000072
生成矩阵
Figure BDA0003495330760000073
其逆矩阵B-1定义为n选l解码方式(也称为解码密钥)。
显然，数据上传时，数据接收者是CSP；数据下载时，数据接收者是EUs。对数据接收者而言，只要从n个节点任选l个节点的传输值，并知道这l个节点的编码方式，就可以恢复出原始信息集M。
由网络编码基本原理可知：
1)本申请假设物联网中间层共有n个节点，源数据M被分为l份，所有中间节点运输总量为nM/l(≥M)；而传统方案，一个中间节点运输量是M，其他节点为0，运输总量M。
2)本申请定义的(l，n)编码机制数；为了安全性n/l越大越好，但是为了节省开销n/l越小越好。
在本申请的实施例中，数据与网络节点是动态变化的，因此，在传输过程中，数据或节点发生变化时，需要对传输方式进行更新。
可选地，在本申请的一个实施例中，在按照预设编码机制对l组传输数据进行网络编码之前，还包括：检测分布式网络的中间节点是否发生变化；在检测到中间节点增加时，根据预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的行向量；在检测到中间节点减少时，根据预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的行向量。
可以理解的是，在数据编码之前，需要检测分布式中间节点是否发生变化，根据中间节点的变动，进行范德蒙行列式的对应变化，进而获取更加贴合数据的编码方式。
具体地，当网络中间节点变动时，升级规则如下：当网络节点增加时，编码机制(l，n) 会实时更新，KGC只需增加A矩阵的行向量即可。当网络节点减少时，编码机制(l，n)会实时更新，KGC只需减少A矩阵的行向量即可。
可选地，在本申请的一个实施例中，在按照预设编码机制对l组传输数据进行网络编码之前，还包括：检测预传输数据是否发生变更；在检测到预传输数据发生变更，且信息量增加时，根据预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的列向量；在检测到预传输数据发生变更，且信息量减少时，根据预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的列向量。
具体地，当传输文件信息量变更时，升级规则如下：当信息量增加时，编码机制(l，n) 会实时更新，KGC只需增加A矩阵的列向量即可。当信息量减少时，编码机制(l，n)会实时更新，KGC只需减少A矩阵的列向量即可。
通过在网络中间节点变动或传输文件信息量变更时，对编码机制进行调整，具有很好的适应性。
为了更好地理解本申请的技术方案，对范德蒙德矩阵进行介绍。
范德蒙行列式是指形如：
Figure BDA0003495330760000081
的行列式，其中{a1，…，an}为n个不同的实数，其值为：
Figure BDA0003495330760000082
如果在有限域Fp上考察这个问题(p为素数)，形式将变为：
Figure BDA0003495330760000083
Figure BDA0003495330760000084
A＝VT
其中，ai是p阶有限域Fp中n个不同的元素，即ai∈Fp；有限域V上的范德蒙德矩阵和其转置矩阵A是可逆的。
下面结合图7和一个具体实施例对本申请的面向多层分布式网络的数据传输方法进行详细介绍。
(1)DOs针对待分享文档，提取每个文档的关键词生成文档索引，可以选用本常用的加密方法对每个文档生成加密索引，并对每个文档进行加密。
(2)Dos将(1)中数据分割M＝s1||s2||…||sl，根据KGC发送的密钥(i，ai，l)(i＝1，2，…，n)，进行编码后，分布式发送给中间节点，第i个节点得到的数据为 ci＝AiS＝(ai1，ai2，...，ail)(s1，s2，...，sl)T，(1≤i≤n)。
(3)TNs节点将接收到的数据分布式上传到CSP；CSP从n个节点任意选l个节点观测数据，识别所选节点的编号，将节点编号集发送到KGC、请求对应的解码密钥，收到 KGC反馈的解码密钥后对加密文档进行恢复。
(4)EUs输入需求目标的检索关键词，生成查询命令，将查询命令通过网络编码、经过n个节点TNs传输到CSP；CSP从n个节点任意选l个节点观测数据，识别所选节点编号，将节点编号发送到KGC、请求对应的解码密钥，收到KGC反馈的解码密钥后对查询命令数据进行恢复；具体见数据交互方法。
(5)CSP执行检索操作，得到匹配度最高的top-k个文档数据。
(6)CSP基于网络编码机制，将待传输结果数据(top-k文档密文)进行网络编码、经过n个节点TNs、分布式下载到EUs；具体步骤下面进行介绍。
(7)EUs从n个节点选l个观测数据，识别所选节点的编号，将节点编号集发送到KGC、请求对应的解码密钥，收到KGC反馈的解码密钥后恢复加密文档；EUs对top-k个文档密文进行解密，解密成明文文档。具体步骤下面进行介绍。
如图8的(a)和图8的(b)所示，面向物联网的SEE系统发生数据交互(上传、下载)时，采用网络编码机制实现数据传输。数据上传和下载发生在以下两个过程：
(1)DOs向CSP上传加密文档和索引，数据发送者是DOs，数据接收者是CSP。
(2)CSP向EUs下传top-k检索结果文档等，数据发送者是CSP，数据接收者是EUs。
在进行数据交互时，选取大素数p，以下运算皆在模p下进行(定义Zp上的运算)。具体流程如下：
(1)预处理
在网络编码机制(l，n)为网络中，每次数据传输时，KGC首先在
Figure BDA0003495330760000091
中随机选取n个两两不同的值{a1，a2，…，an}，生成密钥(i，ai，l)(i＝1，2，…，n)。
同时，计算矩阵：
Figure BDA0003495330760000092
令Ai为矩阵A的第i行组成的子矩阵。
同步，数据传输者将目标信息分解成M＝s1||s2||...||sl，生成信息向量为S＝(s1，s2，...，sl)T。
(2)数据编码
编码时，数据发送者收到KGC的密钥{i，ai，l}(i＝1，2，…，n)，得到每个节点编码方式
Figure BDA0003495330760000093
计算每个节点的编码值ci＝AiS mod p(i＝1，2，…，n)，将n个数据数对{i，ci}(i＝1，2，…，n)发送给网络的n个节点。
(3)数据传输
中间节点接收到数据后，将i记为自身编号，第i个节点将数对{i，ci}(i＝1，2，…，n)发送给目标接收者，共计n个中间节点、发送了n个数对。
(4)数据恢复
收到中间节点发送的数对{i，ci}(i＝1，2，…，n)后，数据接收者从n个节点中任意选l个数据对{i，ci}(i＝1，2，…，n)，即可恢复数据。数据恢复的具体方法如下：数据接收者识别所选l个节点的编号，并向KGC发送编号集合，KGC计算这l个节点的编码方式Ai；记第i节点的编码方式声
Figure BDA0003495330760000101
则KGC计算得到矩阵B，如下：
Figure BDA0003495330760000102
进一步计算逆矩阵B-1后，并发送给数据接收者；数据接收者计算
Figure BDA0003495330760000103
来恢复出原数据。
(5)防数据损坏和节点检测等功能的实现
在交互过程中，还要进行防损坏或节点检测，以免影响传输的准确性。
1)防数据损坏：敌手至少需攻陷全网
Figure BDA0003495330760000104
的节点，才能损坏数据，使得接收者不可恢复出原数据，这是不可行的：对网络编码(l，n)，一般情况下n＞2l，这意味着攻击者需要控制全网络中的一半节点，这在实践上是不可能的，也是不经济的。
2)抵抗合谋攻击：假设共v个中间节点被敌手控制，得知网络编码机制(l，n)；v个中间节点共观测v对数据为{i，ci}(i＝1，2，…，n)，由于无法得到其他更多信息，敌手猜对第一个节点ai概率为
Figure BDA0003495330760000105
猜对全部节点编码基数概率为：
Figure BDA0003495330760000106
(p是大素数)
故，中间节点不可能恢复密钥(i，ai，l)(i＝1，2，…，n)，即不可能“一致”篡改l组数对 {i，ci}，使得接收者的恢复数据为敌手篡改“预设数据”M‘＝{s1′，s2′，...，sl′}。
3)恶意(损坏)节点检测：当网络上出现数据包丢失、延迟和混乱字符时，可以很容易地检测到坏节点。因此，本主要说明节点由恶意干扰数据传输的对手控制的情况。假设(i+1)节点发送伪造数据(i+1，c′)，进而可以通过计算获得(i+1，a′i+1，c′)。这里会得到不兼容的数据(A′i+1，c′)，其中
Figure BDA0003495330760000107
Figure BDA0003495330760000111
Ai+l，·[s1，s2，...sl]T≠c′
根据以上公式，很容易就检测到了节点数据被篡改。在多个节点损坏的情况下，在多项式时间内都可以准确地检测到所有损坏的节点。
1)当存在一个坏节点时；当发现恢复不成功后，系统启动协同排查机制，至多尝试tl，n次便可排查出传输错误或恶意节点，其中log2 l≤tl，n≤l；且数据接收者至多尝试tl，n+1次便可恢复原数据。
2)当有x个损坏节点时；发现数据不匹配时，系统启动排查机制，在一定次数内可以排查出这x个恶意节点，具体如下：从n中任意选l个节点，试图恢复数据，直到发现一组未被篡改数据(因为n＞＞l＞＞x，所选节点全为非损坏节点的概率是
Figure BDA0003495330760000112
即大概率事件)；然后从剩下n-l个数据依次选择一个节点传输数据进行替换检测，最多只需要 n-l次就可发现所有x个节点。
在上述实施例的介绍中，网络编码由数据发送者完成，中间节点只负责数据传输。作为一种等效的实施方式，本申请可以通过数据发送者将待传输数据M发送给n个中间节点TNs，中间节点进行网络编码后，将编码后的数据发送给数据接收者。与上述实施例相同的是，数据接收者只需要观察任意l个数据，即可回复原数据M。
本申请的面向多层分布式网络的数据传输方法，第一方面，该方法考虑了真实物联网网络环境，将预传输数据进行切割分组、网络编码，通过中间节点进行分布式传输，接收者观测到其中任意若干组数据后，可恢复预传输数据。充分利用了中间节点，实现通信冗余，提高了数据传输鲁棒性；也使得网络线路负载均衡，降低网络堵塞延时概率，传输时间减少，提升了用户体验；也使得网络节点能耗、磨损均摊，增加整体网络寿命。第二方面，该方法认为中间层节点是不可信实体，设计的过余编码、分布式传输机制使得网络传输的安全性增加(可抵抗合谋攻击等)、实用性增加(抵抗数据丢包和损坏等)。第三方面，该方法通过中间层节点传输数据的差异化计算，可验证、检测出物联网中间层恶意或坏损节点，增加了网络检测功能，降低网络检测成本，这是其他主流方案不具备的功能。
其次参照附图描述根据本申请实施例提出的面向多层分布式网络的数据传输系统。
图9为根据本申请实施例的面向多层分布式网络的数据传输系统的示例图。
如图9所示，该面向多层分布式网络的数据传输系统10包括：密钥生成模块100、数据分组模块200、数据编码模块300、数据传输模块400和数据恢复模块500。
其中，密钥生成模块100，用于编码密钥和解码密钥的生成、分发及更新。数据分组模块200，用于将预传输数据进行切割并分组，得到l组传输数据。数据编码模块300，用于按照预设编码机制对l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据。数据传输模块400，用于利用分布式网络的n个中间节点对n组编码数据进行分布式传输，发送至接收方。数据恢复模块500，用于利用接收方在n个中间节点的编码数据中任意选择l个中间节点的编码数据，对l个中间节点对应的l组编码数据进行解码恢复预传输数据，其中，l为预传输数据的切割份数，l小于等于n。
可选地，在本申请的一个实施例中，数据编码模块300具体用于，根据切割份数与中间节点个数构建网络编码系数，根据网络编码系数利用l个编码密钥对l组传输数据进行网络编码，得到n组编码数据。
可选地，在本申请的一个实施例中，数据恢复模块500，具体用于根据预设编码机制获取l个中间节点对应的解码密钥；根据解码密钥对l组编码数据进行解码恢复预传输数据。
可选地，在本申请的一个实施例中，还包括：第一检测模块，用于在按照预设编码机制对l组传输数据进行网络编码之前，检测分布式网络的中间节点是否发生变化；第一处理模块，用于在检测到中间节点增加时，根据预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的行向量；第二处理模块，用于在检测到中间节点减少时，根据预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的行向量。
可选地，在本申请的一个实施例中，还包括：第二检测模块，用于在按照预设编码机制对l组传输数据进行网络编码之前，检测预传输数据是否发生变更；第三处理模块，用于在检测到预传输数据发生变更，且信息量增加时，根据预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的列向量；第四处理模块，用于在检测到预传输数据发生变更，且信息量减少时，根据预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的列向量。
需要说明的是，前述对面向多层分布式网络的数据传输方法实施例的解释说明也适用于该实施例的面向多层分布式网络的数据传输装置，此处不再赘述。
本申请的面向多层分布式网络的数据传输方法，第一方面，考虑了真实物联网网络环境，将预传输数据进行切割分组、网络编码，通过中间节点进行分布式传输，接收者观测到其中任意若干组数据后，可恢复预传输数据。充分利用了中间节点，实现通信冗余，提高了数据传输鲁棒性；也使得网络线路负载均衡，降低网络堵塞延时概率，传输时间减少，提升了用户体验；也使得网络节点能耗、磨损均摊，增加整体网络寿命。第二方面，认为中间层节点是不可信实体，设计的过余编码、分布式传输机制使得网络传输的安全性增加 (可抵抗合谋攻击等)、实用性增加(抵抗数据丢包和损坏等)。第三方面，通过中间层节点传输数据的差异化计算，可验证、检测出物联网中间层恶意或坏损节点，增加了网络检测功能，降低网络检测成本，这是其他主流方案不具备的功能。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、些示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“描个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

Claims (10)

1.一种面向多层分布式网络的数据传输方法，其特征在于，包括以下步骤：
将预传输数据进行切割并分组，得到l组传输数据；
按照预设编码机制对所述l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据；
利用分布式网络的n个中间节点对所述n组编码数据进行分布式传输，发送至接收方；以及
利用所述接收方在所述n个中间节点的编码数据中任意选择l个中间节点的编码数据，对所述l个中间节点对应的l组编码数据进行解码恢复所述预传输数据，其中，l为所述预传输数据的切割份数，l小于等于n。
2.根据权利要求1所述的方法，其特征在于，所述按照预设编码机制对所述l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据，包括：
根据所述切割份数与所述中间节点个数构建网络编码系数，根据所述网络编码系数利用l个编码密钥对所述l组传输数据进行网络编码，得到所述n组编码数据。
3.根据权利要求2所述的方法，其特征在于，所述对所述l个中间节点对应的l组编码数据进行解码恢复所述预传输数据，包括：
根据所述预设编码机制获取所述l个中间节点对应的解码密钥；
根据所述解码密钥对所述l组编码数据进行解码恢复所述预传输数据。
4.根据权利要求1所述的方法，其特征在于，在按照预设编码机制对l组传输数据进行网络编码之前，还包括：
检测所述分布式网络的中间节点是否发生变化；
在检测到所述中间节点增加时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的行向量；
在检测到所述中间节点减少时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的行向量。
5.根据权利要求1或4所述的方法，其特征在于，在按照预设编码机制对l组传输数据进行网络编码之前，还包括：
检测所述预传输数据是否发生变更；
在检测到所述预传输数据发生变更，且信息量增加时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的列向量；
在检测到所述预传输数据发生变更，且信息量减少时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的列向量。
6.一种面向多层分布式网络的数据传输系统，其特征在于，包括：
密钥生成模块，用于编码密钥和解码密钥的生成、分发及更新；
数据分组模块，用于将预传输数据进行切割并分组，得到l组传输数据；
数据编码模块，用于按照预设编码机制对所述l组传输数据进行网络编码，通过n个中间节点的编码密钥生成n组编码数据；
数据传输模块，用于利用分布式网络的n个中间节点对所述n组编码数据进行分布式传输，发送至接收方；以及
数据恢复模块，用于利用所述接收方在所述n个中间节点的编码数据中任意选择l个中间节点的编码数据，对所述l个中间节点对应的l组编码数据进行解码恢复所述预传输数据，其中，l为所述预传输数据的切割份数，l小于等于n。
7.根据权利要求6所述的系统，其特征在于，所述数据编码模块具体用于，根据所述切割份数与所述中间节点个数构建网络编码系数，根据所述网络编码系数利用l个编码密钥对所述l组传输数据进行网络编码，得到所述n组编码数据。
8.根据权利要求7所述的系统，其特征在于，所述数据恢复模块，具体用于根据所述预设编码机制获取所述l个中间节点对应的解码密钥；根据所述解码密钥对所述l组编码数据进行解码恢复所述预传输数据。
9.根据权利要求6所述的系统，其特征在于，还包括：
第一检测模块，用于在按照预设编码机制对l组传输数据进行网络编码之前，检测所述分布式网络的中间节点是否发生变化；
第一处理模块，用于在检测到所述中间节点增加时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的行向量；
第二处理模块，用于在检测到所述中间节点减少时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的行向量。
10.根据权利要求6或9所述的系统，其特征在于，还包括：
第二检测模块，用于在按照预设编码机制对l组传输数据进行网络编码之前，检测所述预传输数据是否发生变更；
第三处理模块，用于在检测到所述预传输数据发生变更，且信息量增加时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵增加相应的列向量；
第四处理模块，用于在检测到所述预传输数据发生变更，且信息量减少时，根据所述预设编码机制中的有限域上的范德蒙德矩阵对应转置矩阵减少相应的列向量。
CN202210112786.0A 2022-01-29 2022-01-29 面向多层分布式网络的数据传输方法及系统 Active CN114615014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210112786.0A CN114615014B (zh) 2022-01-29 2022-01-29 面向多层分布式网络的数据传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210112786.0A CN114615014B (zh) 2022-01-29 2022-01-29 面向多层分布式网络的数据传输方法及系统

Publications (2)

Publication Number Publication Date
CN114615014A true CN114615014A (zh) 2022-06-10
CN114615014B CN114615014B (zh) 2023-03-17

Family

ID=81858811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210112786.0A Active CN114615014B (zh) 2022-01-29 2022-01-29 面向多层分布式网络的数据传输方法及系统

Country Status (1)

Country Link
CN (1) CN114615014B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090238097A1 (en) * 2008-03-18 2009-09-24 Canon Kabushiki Kaisha Method and device for building of a network coding scheme for data transmission, corresponding computer program product and storage means
JP2011120227A (ja) * 2009-12-03 2011-06-16 Ntt Docomo Inc データ伝送方法およびネットワークノード
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置
US20140317222A1 (en) * 2012-01-13 2014-10-23 Hui Li Data Storage Method, Device and Distributed Network Storage System
US20140379858A1 (en) * 2013-06-19 2014-12-25 The Governors Of The University Of Alberta Network coding using an outer coding process
US20170118673A1 (en) * 2015-10-23 2017-04-27 Motorola Mobility Llc Random Linear Network Encoded Data Transmission
US20180212764A1 (en) * 2010-03-25 2018-07-26 Massachusetts Institute Of Technology Secure Network Coding for Multi-Description Wireless Transmission
CN109525368A (zh) * 2018-11-26 2019-03-26 广东中兴新支点技术有限公司 基于线性网络编码的混合传输方法、电子设备和存储介质
CN112019304A (zh) * 2020-09-24 2020-12-01 南京理工大学 一种基于网络编码的端到端实时可靠传输方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090238097A1 (en) * 2008-03-18 2009-09-24 Canon Kabushiki Kaisha Method and device for building of a network coding scheme for data transmission, corresponding computer program product and storage means
JP2011120227A (ja) * 2009-12-03 2011-06-16 Ntt Docomo Inc データ伝送方法およびネットワークノード
US20180212764A1 (en) * 2010-03-25 2018-07-26 Massachusetts Institute Of Technology Secure Network Coding for Multi-Description Wireless Transmission
US20140317222A1 (en) * 2012-01-13 2014-10-23 Hui Li Data Storage Method, Device and Distributed Network Storage System
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置
US20140379858A1 (en) * 2013-06-19 2014-12-25 The Governors Of The University Of Alberta Network coding using an outer coding process
US20170118673A1 (en) * 2015-10-23 2017-04-27 Motorola Mobility Llc Random Linear Network Encoded Data Transmission
CN109525368A (zh) * 2018-11-26 2019-03-26 广东中兴新支点技术有限公司 基于线性网络编码的混合传输方法、电子设备和存储介质
CN112019304A (zh) * 2020-09-24 2020-12-01 南京理工大学 一种基于网络编码的端到端实时可靠传输方法

Also Published As

Publication number Publication date
CN114615014B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
Pannetrat et al. Efficient multicast packet authentication.
Park et al. Efficient multicast stream authentication using erasure codes
KR100519770B1 (ko) 애드 혹 망에서 분산 인증서 관리 방법 및 그 시스템
Lacan et al. Reed-Solomon forward error correction (FEC) schemes
CN110891066B (zh) 一种基于同态加密方案的代理型匿名通信方法
US20030084020A1 (en) Distributed fault tolerant and secure storage
Kumar et al. Binary hash tree based certificate access management for connected vehicles
CN111526197A (zh) 一种云端数据安全共享方法
Li et al. On the security and efficiency of content distribution via network coding
Wang et al. Privacy‐preserving cloud‐fog–based traceable road condition monitoring in VANET
Abo‐alian et al. Integrity as a service for replicated data on the cloud
CN111385090A (zh) 基于多密钥组合量子密钥中继的密钥分发方法及其系统
CN114615014B (zh) 面向多层分布式网络的数据传输方法及系统
CN107231628A (zh) 一种适用于多应用场景的安全数据融合方法
CN109714362B (zh) 一种轻量级的工业无线网络安全数据融合方法
Liang et al. Towards robust and stealthy communication for wireless intelligent terminals
KR101161585B1 (ko) 네트워크 코딩을 이용한 망에서의 데이터 전송 시스템 및 방법
Karamačoski et al. Blockchain for reliable and secure distributed communication channel
Guo et al. BFT-DSN: A Byzantine Fault Tolerant Decentralized Storage Network
CN108494774A (zh) 一种用于加强匿名通信系统安全性的抗链路控制攻击方法
Ruan et al. Securing sensor data storage and query based on k‐out‐of‐n coding
Xie et al. Efficient post-quantum secure network coding signatures in the standard model
Boussaha et al. Towards authenticated network coding for named data networking
Liu et al. Security Analysis and Improvements on a Remote Integrity Checking Scheme for Regenerating‐Coding‐Based Distributed Storage
Zhang et al. Robust and privacy-preserving federated learning with distributed additive encryption against poisoning attacks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information

Inventor after: Wang Na

Inventor after: Liu Jianwei

Inventor after: Zheng Kaifa

Inventor after: Zhang Shancheng

Inventor after: Han Qingyun

Inventor after: Zhang Zheng

Inventor before: Zheng Kaifa

Inventor before: Wang Na

Inventor before: Liu Jianwei

Inventor before: Zhang Shancheng

Inventor before: Han Qingyun

Inventor before: Zhang Zheng

CB03 Change of inventor or designer information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant