CN108566430B - 一种数据分配方法 - Google Patents

一种数据分配方法 Download PDF

Info

Publication number
CN108566430B
CN108566430B CN201810353339.8A CN201810353339A CN108566430B CN 108566430 B CN108566430 B CN 108566430B CN 201810353339 A CN201810353339 A CN 201810353339A CN 108566430 B CN108566430 B CN 108566430B
Authority
CN
China
Prior art keywords
storage node
file
distribution
data
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810353339.8A
Other languages
English (en)
Other versions
CN108566430A (zh
Inventor
任智源
姚博文
程文驰
陈晨
张海林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810353339.8A priority Critical patent/CN108566430B/zh
Publication of CN108566430A publication Critical patent/CN108566430A/zh
Application granted granted Critical
Publication of CN108566430B publication Critical patent/CN108566430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种数据分配方法，涉及通信技术领域，根据公式
Figure DDA0002708345080000011
及
Figure DDA0002708345080000012
计算第i个存储节点第j+1个文件片被分配给各个存储节点的概率，选择其中概率最大的存储节点为第j+1个文件片的存储节点，生成第一分配矩阵Cm×n，根据公式
Figure DDA0002708345080000013
保证了数据存储的安全性，根据最小传输时延及公式Tij＝(1‑ρ)Tij+ΔTij，得到Tij并根据Tij更新第一分配矩阵Cm×n全局信息素的值，生成第二分配矩阵C’m×n；针对第二分配矩阵C’m×n，重复上述步骤，生成最终的分配矩阵并根据该分配矩阵，执行数据分配操作，降低了数据传输过程中的时延。

Description

一种数据分配方法
技术领域
本发明涉及通信技术领域，具体涉及一种数据分配方法。
背景技术
近年来，得益于互联网和通信技术的快速发展，传统工业逐渐向智能工业发展。德国技术科学院针对工业的飞速发展，提出了工业4.0的概念，工业物联网作为工业4.0的重要内容，得到了越来越多的关注与研究。工厂智能设备的互联是工业物联网生产的基础，由于连接的智能设备众多，且这些设备在生产中会产生大量数据，因此工业物联网中存在大量的工业数据需要被存储与处理。在智能工业的生产过程中，许多生产流程对数据的实时处理提出了要求，工业物联网中的数据传输时延应处于较低水平。同时，由于工业生产中许多数据十分重要与敏感，一旦失窃将会泄漏工厂机密，会产生严重后果。因此，如何在保证数据存储安全性的前提下降低数据的传输时延是工业物联网中亟待解决的问题。
工业物联网中数据安全要求数据在传感器、传输系统、处理系统中不会出现被窃取、被篡改、被伪造、被抵赖等情况。工业物联网作为互联网的发展与延伸，与互联网存在许多共性，许多互联网中的安全措施也被应用于工业物联网中。椭圆加密是一种性能较为优越的加密技术，但该加密方法对网络中存储节点的计算能力要求较高，不能较好的适用于工业物联网中。基于随机密钥预分配的密钥分配方案和三层架构的传感器网络成对密钥分配方案均是通过保证密钥的安全来保证数据明文的安全，但密钥潜在泄露的风险，一旦泄露，数据的安全就无从保证。基于压缩感知的信息隐藏技术虽然可以保证数据在传输过程中的安全性，但无法保证数据存储的安全性。
发明内容
为解决现有技术的不足，本发明实施例提供了一种数据分配方法，以解决现有技术存在的数据存储安全性低及数据传输时延大的缺陷。
本发明实施例提供的数据分配方法，包括：
根据公式
Figure BDA0001633963230000021
及
Figure BDA0001633963230000022
计算第i个存储节点第j+1个文件片被分配给各个存储节点的概率，选择其中概率最大的存储节点为第j+1个文件片的存储节点，生成第一分配矩阵Cm×n，其中，α、β为可调参数，分别表示信息素值和效率值对数据分配决策的影响程度，m、n分别为单个文件片的分配方案的个数及文件片的个数，Tij∈Tm×n，表示第j个文件片被分配给第i个存储节点的信息素值，Vij∈Vm×n，表示第j个文件片被分配给第i个存储节点产生的效率值，Cj是j个文件片的分配方案集合，D(Cj)表示j个文件片分配方案对应的传输时延，D(Cj-1)表示j-1个文件片分配方案对应的时延；
根据公式
Figure BDA0001633963230000036
计算平均丢失文件片个数
Figure BDA0001633963230000031
其中，k表示存储节点的个数，p表示一次攻破存储节点的概率，λi表示对存储节点Ei攻击的到达率，t表示存储节点Ei受到攻击所持续的时间，
Figure BDA0001633963230000032
分别表示第i1至ik个存储节点被攻破时丢失的文件片数目；
比较丢失文件片个数
Figure BDA0001633963230000033
与原始数据的文件片的个数M，若
Figure BDA0001633963230000034
小于M，则通过公式
Figure BDA0001633963230000035
计算最小传输时延，即求得L’＝{L1,L2,...,Lm}，使得目标函数最小，
其中，CR(Ei,O)表示存储节点Ei与O之间的边上的权重表示存储节点间的数据传输速率，O表示数据需要传输的目标存储节点，size表示文件片的大小；
根据最小传输时延及公式Tij＝(1-ρ)Tij+△Tij，得到Tij并根据Tij更新第一分配矩阵Cm×n进行全局信息素的值，生成第二分配矩阵C’m×n，
其中，ρ表示信息素挥发系数，(1-ρ)Tij是残留的信息素浓度，ΔTij＝Q/D，Q是构建分配方案过程中蚁群产生的信息素的总量，D是一次循环工作中对应的分配方案的最小时延；
针对第二分配矩阵C’m×n，重复上述步骤，直至迭代次数N等于预设的最大迭代次数Nmax时，生成最终的分配矩阵并根据该分配矩阵，执行数据分配操作。
优选地，在计算平均丢失文件片个数
Figure BDA0001633963230000049
之前，该方法还包括：
根据公式
Figure BDA0001633963230000041
Figure BDA0001633963230000042
及
Figure BDA0001633963230000043
生成公式
Figure BDA0001633963230000044
其中，
Figure BDA00016339632300000410
表示k个存储节点被攻破时，丢失的文件片数目，
Figure BDA0001633963230000045
表示该k个存储节点被攻破而其余m-k个存储节点未被攻破的概率，
Figure BDA0001633963230000046
表示第i1个存储节点被攻破的概率，Ni(t)表示存储节点Ei在时间t内受到攻击的次数，ηj表示存储节点Ei每次被攻击的结果。
优选地，在根据公式
Figure BDA0001633963230000047
及
Figure BDA0001633963230000048
计算第i个存储节点第j+1个文件片被分配给各个存储节点的概率，选择其中概率最大的存储节点为第j+1个文件片的存储节点，生成第一分配矩阵Cm×n之前，该方法还包括：
设定参数α、β、m及n的值，初始化矩阵Tm×n、Vm×n。
本发明实施例提供的数据分配方法，根据公式
Figure BDA0001633963230000051
及
Figure BDA0001633963230000052
计算第i个存储节点第j+1个文件片被分配给各个存储节点的概率，选择其中概率最大的存储节点为第j+1个文件片的存储节点，生成第一分配矩阵Cm×n，根据公式
Figure BDA0001633963230000053
保证了数据存储的安全性，并进一步通过计算平均丢失文件片个数
Figure BDA0001633963230000054
比较丢失文件片个数
Figure BDA0001633963230000055
与原始数据的文件片的个数M，若
Figure BDA0001633963230000056
小于M，则通过公式
Figure BDA0001633963230000057
计算最小传输时延，即求得L’＝{L1,L2,...,Lm}，使得目标函数最小；根据最小传输时延及公式Tij＝(1-ρ)Tij+△Tij，得到Tij并根据Tij更新第一分配矩阵Cm×n全局信息素的值，生成第二分配矩阵C’m×n；针对第二分配矩阵C’m×n，重复上述步骤，直至迭代次数N等于预设的最大迭代次数Nmax时，生成最终的分配矩阵并根据该分配矩阵，执行数据分配操作，降低了数据传输过程中的时延。
附图说明
图1为现有工业物联网网络架构示意图；
图2为本发明实施例提供的数据分配方法的流程示意图；
图3为分布式系统结构的无向示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
图1为现有工业物联网网络架构示意图，如图1所示，
现有工业物联网网络架构由云计算层，雾计算层和基础设施层组成。其中：
云计算层由高性能服务器组成，负责存储大量的数据，弥补雾计算层存储能力的不足。
雾计算层由众多边缘网络设备组成，如路由器，交换机，网关等。雾计算层快速转发和存储数据降低数据被请求时的传输时延。但雾计算层设备安全性较差，数据容易遭到泄露，为了保证数据的安全，本发明利用雾设备构建分布式存储系统存储数据。
基础设施层，主要由传感器存储节点、生产设备、传送系统、智能工业机器人、机械臂及智能终端组成，用于执行具体的生产任务，具体的生产任务包括采集数据，生产制造，物流等。
图2为本发明实施例提供的数据分配方法的流程示意图。如图2所示，该方法包括：
101，根据公式
Figure BDA0001633963230000061
及
Figure BDA0001633963230000062
计算第i个存储节点第j+1个文件片被分配给各个存储节点的概率，选择其中概率最大的存储节点为第j+1个文件片的存储节点，生成第一分配矩阵Cm×n，其中，α、β为可调参数，分别表示信息素值和效率值对数据分配决策的影响程度，m、n分别为单个文件片的分配方案的个数及文件片的个数，Tij∈Tm×n，表示第j个文件片被分配给第i个存储节点的信息素值，Vij∈Vm×n，表示第j个文件片被分配给第i个存储节点产生的效率值，Cj是j个文件片的分配方案集合，D(Cj)表示j个文件片分配方案对应的传输时延，D(Cj-1)表示j-1个文件片分配方案对应的时延；
102，根据公式
Figure BDA0001633963230000071
计算平均丢失文件片个数
Figure BDA0001633963230000072
其中，
Figure BDA0001633963230000073
k表示存储节点的个数，p表示一次攻破存储节点的概率，λi表示对存储节点Ei攻击的到达率，t表示所述存储节点Ei受到攻击所持续的时间，
Figure BDA0001633963230000074
分别表示第i1至ik个存储节点被攻破时丢失的文件片数目；
103，比较所述丢失文件片个数
Figure BDA0001633963230000075
与原始数据的文件片的个数M，若
Figure BDA0001633963230000076
小于M，则通过公式
Figure BDA0001633963230000077
计算最小传输时延，即求得L’＝{L1,L2,...,Lm}，使得目标函数最小，其中，CR(Ei,O)表示存储节点Ei与O之间的边上的权重表示存储节点间的数据传输速率，O表示数据需要传输的目标存储节点，size表示文件片的大小；
104，根据最小传输时延及公式Tij＝(1-ρ)Tij+△Tij，得到Tij并根据Tij更新所述第一分配矩阵Cm×n全局信息素的值，生成第二分配矩阵C’m×n，其中，其中，ρ表示信息素挥发系数，(1-ρ)Tij是残留的信息素浓度，ΔTij＝Q/D，Q是构建分配方案过程中蚁群产生的信息素的总量，D是一次循环工作中对应的分配方案的最小时延；
105，针对所述第二分配矩阵C’m×n，重复上述步骤101-104，直至迭代次数N等于预设的最大迭代次数Nmax时，生成最终的分配矩阵并根据所述分配矩阵，执行数据分配操作。
可选地，该方法还包括：
根据公式
Figure BDA0001633963230000081
Figure BDA0001633963230000082
Figure BDA0001633963230000083
生成所述公式
Figure BDA0001633963230000084
其中，
Figure BDA0001633963230000085
表示k个存储节点被攻破时，丢失的文件片数目，
Figure BDA0001633963230000086
表示k个存储节点被攻破而其余m-k个存储节点未被攻破的概率，
Figure BDA0001633963230000087
表示第i1个存储节点被攻破的概率，Ni(t)表示存储节点Ei在时间t内受到攻击的次数，ηj表示存储节点Ei每次被攻击的结果。
其中，生成公式
Figure BDA0001633963230000091
的具体步骤如下：
采用纠删码方案，该方案的原理如式(1)所示。
Figure BDA0001633963230000092
Fn×l表示文件片，n表示文件片的数量，Sk×l表示原始数据块，k表示原始数据块的数量。I是k*k阶的单位矩阵，X是k*(n-k)阶范德蒙矩阵。
数据分配是将数据冗余后生成的文件片发送到各个存储节点上进行存储。如图1所示，存储节点为E＝{E1,E2,…,Em}，存储节点上被分配的文件片数目为L＝{L1,L2,...,Lm}，不同的向量L，对应着不同的数据分配的方案，在存储过程中，存储节点可能遭到外界的攻击，存储节点被攻破后，其上存储的文件片都会丢失，本文使用平均丢失的文件片数目
Figure BDA0001633963230000097
衡量分配方案的安全性，通过公式(2)计算：
Figure BDA0001633963230000093
从公式(2)可知，平均丢失文件片数目是m项的和，
Figure BDA0001633963230000094
代表有i个存储节点被攻破时平均丢失的文件片数目。当只有一个存储节点被攻破时，平均丢失文件片数目为
Figure BDA0001633963230000095
表示如下：
Figure BDA0001633963230000096
其中Li表示第i个存储节点被攻破时丢失的文件片数目，Pi表示第i个存储节点被攻破，其余m-1个存储节点未被攻破的概率，计算公式如下：
Figure BDA0001633963230000101
其中Ri(t)表示第i个存储节点被攻破的概率。当有两个存储节点被攻破时，平均丢失文件片数目
Figure BDA0001633963230000102
可通过下式计算：
Figure BDA0001633963230000103
其中Li1+Li2表示两个存储节点被攻破时丢失文件片数目，Pi1,i2是与其相对应两个存储节点同时被攻破而其余m-2个存储节点未被攻破的概率，计算公式如下：
Figure BDA0001633963230000104
以此类推，可以得到有k个存储节点被攻破时平均丢失的文件片数目
Figure BDA0001633963230000105
的计算公式如下：
Figure BDA0001633963230000106
其中Li1+Li2+…+Lik表示k个存储节点被攻破时丢失的文件片数目，Pi1,i2…ik表示与其相对应的k个存储节点被攻破而其余m-k个存储节点未被攻破的概率。可由下式计算：
Figure BDA0001633963230000107
由上述公式可以看出，存储节点被攻破的概率R(t)对平均丢失文件片数目存在影响，R(t)并不是一直保持不变的，假设存储节点Ei在时间t内受到攻击的次数Ni(t)服从泊松分布，每次被攻攻击的结果记为ηj：ηj＝1表示存储节点被攻破；ηj＝0表示存储节点未被攻破，一次攻击存储节点被攻破的概率记为p，对存储节点Ei攻击的到达率记为λi。同时假设每次攻击之间相互独立，则存储节点Ei在时间t内被攻破是一个复合泊松过程，其概率分布可表示如下：
Figure BDA0001633963230000111
将上述公式(7)、(8)及(9)带入上述公式(2)，可将
Figure BDA0001633963230000116
表示为如下式(10)所示的形式：
Figure BDA0001633963230000112
在采用RS编码冗余的情况下，通过M个文件片可以恢复原始数据，如果平均丢失文件片数目
Figure BDA0001633963230000113
则表明分配方案安全。
进一步地，在根据公式
Figure BDA0001633963230000114
及
Figure BDA0001633963230000115
计算第i个存储节点第j+1个文件片被分配给各个存储节点的概率，选择其中概率最大的存储节点为第j+1个文件片的存储节点，生成第一分配矩阵Cm×n之前，所述方法还包括：
设定参数α、β、m及n的值，初始化矩阵Tm×n、Vm×n。
图3为分布式系统结构的无向示意图。如图3所示，顶点集合E＝{E1,E2,…,Em}表示存储节点，顶点O表示数据需要传输的目标存储节点，集合E与O之间的边表示通信链路。
本发明实施例提供的数据分配方法，根据公式
Figure BDA0001633963230000121
及
Figure BDA0001633963230000122
计算第i个存储节点第j+1个文件片被分配给各个存储节点的概率，选择其中概率最大的存储节点为第j+1个文件片的存储节点，生成第一分配矩阵Cm×n，根据公式
Figure BDA0001633963230000123
保证了数据存储的安全性，并进一步通过计算平均丢失文件片个数
Figure BDA0001633963230000124
比较丢失文件片个数
Figure BDA0001633963230000125
与原始数据的文件片的个数M，若
Figure BDA0001633963230000126
小于M，则通过公式
Figure BDA0001633963230000127
计算最小传输时延，即求得L’＝{L1,L2,...,Lm}，使得目标函数最小；根据公式Tij＝(1-ρ)Tij+△Tij，得到Tij并根据Tij更新第一分配矩阵Cm×n全局信息素的值，生成第二分配矩阵C’m×n；针对第二分配矩阵C’m×n，重复上述步骤，直至迭代次数N等于预设的最大迭代次数Nmax时，生成最终的分配矩阵并根据该分配矩阵，执行数据分配操作，降低了数据传输过程中的时延。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (4)

1.一种数据分配方法，其特征在于，包括：
设定参数α、β、m及n的值，初始化矩阵Tm×n、Vm×n；
根据公式
Figure FDA0002708345070000011
及
Figure FDA0002708345070000012
计算第i个存储节点第j+1个文件片被分配给各个存储节点的概率，选择其中概率最大的存储节点为第j+1个文件片的存储节点，生成第一分配矩阵Cm×n，
其中，α、β为可调参数，分别表示信息素值和效率值对数据分配决策的影响程度，m、n分别为单个文件片的分配方案的个数及文件片的个数，Tij∈Tm×n，表示第j个文件片被分配给第i个存储节点的信息素的值，Vij∈Vm×n，表示第j个文件片被分配给第i个存储节点产生的效率值，Cj是j个文件片的分配方案集合，D(Cj)表示j个文件片分配方案对应的传输时延，D(Cj-1)表示j-1个文件片分配方案对应的时延；
根据公式
Figure FDA0002708345070000013
计算平均丢失文件片个数
Figure FDA0002708345070000014
其中，k表示存储节点的个数，p表示一次攻破存储节点的概率，λi表示对存储节点Ei攻击的到达率，t表示所述存储节点Ei受到攻击所持续的时间，
Figure FDA0002708345070000015
分别表示第i1至ik个存储节点被攻破时丢失的文件片数目；
比较所述丢失文件片个数
Figure FDA0002708345070000016
与原始数据的文件片的个数M，若
Figure FDA0002708345070000017
小于M，则通过公式
Figure FDA0002708345070000021
计算最小传输时延，即求得L’＝{L1,L2,...,Lm}，使得目标函数最小，
其中，CR(Ei,O)表示存储节点Ei与O之间的边上的权重表示存储节点间的数据传输速率，O表示数据需要传输的目标存储节点，size表示文件片的大小；
根据所述最小传输时延及公式Tij＝(1-ρ)Tij+ΔTij，得到Tij并根据Tij更新所述第一分配矩阵Cm×n全局信息素的值，生成第二分配矩阵C’m×n，
其中，其中，ρ表示信息素挥发系数，(1-ρ)Tij是残留的信息素浓度，ΔTij＝Q/D，Q是构建分配方案过程中蚁群产生的信息素的总量，D是一次循环工作中对应的分配方案的最小时延；
针对所述第二分配矩阵C’m×n，重复上述步骤，直至迭代次数N等于预设的最大迭代次数Nmax时，生成最终的分配矩阵并根据所述分配矩阵，执行数据分配操作。
2.根据权利要求1所述的方法，其特征在于，在计算平均丢失文件片个数
Figure FDA0002708345070000022
之前，所述方法还包括：
根据公式
Figure FDA0002708345070000023
及
Figure FDA0002708345070000031
生成所述公式
Figure FDA0002708345070000032
其中，
Figure FDA0002708345070000033
表示k个存储节点被攻破时，丢失的文件片数目，
Figure FDA0002708345070000034
表示该k个存储节点被攻破而其余m-k个存储节点未被攻破的概率，
Figure FDA0002708345070000035
表示第i1个存储节点被攻破的概率，Ni(t)表示存储节点Ei在时间t内受到攻击的次数，ηj表示存储节点Ei每次被攻击的结果。
3.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-2任一项所述的数据分配方法。
4.一种计算机存储介质，其中，所述计算机存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行根据权利要求1-2任一项所述的数据分配方法。
CN201810353339.8A 2018-04-19 2018-04-19 一种数据分配方法 Active CN108566430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810353339.8A CN108566430B (zh) 2018-04-19 2018-04-19 一种数据分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810353339.8A CN108566430B (zh) 2018-04-19 2018-04-19 一种数据分配方法

Publications (2)

Publication Number Publication Date
CN108566430A CN108566430A (zh) 2018-09-21
CN108566430B true CN108566430B (zh) 2020-11-27

Family

ID=63535808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810353339.8A Active CN108566430B (zh) 2018-04-19 2018-04-19 一种数据分配方法

Country Status (1)

Country Link
CN (1) CN108566430B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819452B (zh) * 2018-12-29 2022-09-20 上海无线通信研究中心 一种基于雾计算虚拟容器的无线接入网络构建方法
CN111245719B (zh) * 2020-01-02 2021-12-31 湖南大学 基于蚁群优化的纠删编码存储系统数据更新方法
CN112347014B (zh) * 2020-11-30 2022-04-26 安徽信息工程学院 一种用于集中式数据通信的最优时序控制方法及系统
CN116915767B (zh) * 2023-09-13 2024-03-29 重庆华悦生态环境工程研究院有限公司深圳分公司 文档传输方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352430B1 (en) * 2009-11-06 2013-01-08 Carbonite, Inc. File storage system to support high data rates
CN106101199A (zh) * 2016-06-02 2016-11-09 西安电子科技大学 一种基于sdn的云/雾混合网络架构
WO2017117348A1 (en) * 2015-12-31 2017-07-06 General Electric Company Systems and methods for managing industrial assets
CN107172166A (zh) * 2017-05-27 2017-09-15 电子科技大学 面向工业智能化服务的云雾计算系统
CN107343025A (zh) * 2017-06-07 2017-11-10 西安电子科技大学 分布式卫星云雾网络架构及能耗约束下的时延优化方法
CN107493334A (zh) * 2017-08-18 2017-12-19 西安电子科技大学 一种云雾计算网络架构及增强云雾网络架构可靠性的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352430B1 (en) * 2009-11-06 2013-01-08 Carbonite, Inc. File storage system to support high data rates
WO2017117348A1 (en) * 2015-12-31 2017-07-06 General Electric Company Systems and methods for managing industrial assets
CN106101199A (zh) * 2016-06-02 2016-11-09 西安电子科技大学 一种基于sdn的云/雾混合网络架构
CN107172166A (zh) * 2017-05-27 2017-09-15 电子科技大学 面向工业智能化服务的云雾计算系统
CN107343025A (zh) * 2017-06-07 2017-11-10 西安电子科技大学 分布式卫星云雾网络架构及能耗约束下的时延优化方法
CN107493334A (zh) * 2017-08-18 2017-12-19 西安电子科技大学 一种云雾计算网络架构及增强云雾网络架构可靠性的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Low latency communication for Internet of Things;Shao-Chou Hung等;《IEEE/CIC ICCC 2015 Symposium on Wireless Communications System》;20151231;全文 *
Secure Data Storage and Searching for Industrial IoT by Integrating Fog Computing and Cloud Computing;Jun-Song Fu等;《IEEE Transactions on Industrial Informatics》;20180215;全文 *
Ultra-low latency cloud-fog computing for industrial Internet of Things;Chenhua Shi等;《2018 IEEE Wireless Communications and Networking Conference (WCNC)》;20180415;全文 *
混合蚁群算法求解分布式系统任务分配问题;王灵霞等;《自动化与仪器仪表》;20141225;全文 *

Also Published As

Publication number Publication date
CN108566430A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108566430B (zh) 一种数据分配方法
US11087329B2 (en) Method and apparatus of identifying a transaction risk
CN110768912A (zh) Api网关限流方法及装置
CN110287197A (zh) 一种数据存储方法、迁移方法及装置
CN110138762B (zh) 基于攻击图网络的脆弱点检测系统、方法及存储介质
WO2020209958A1 (en) Adaptive severity functions for alerts
CN109460301B (zh) 一种流数据负载的弹性资源配置方法及系统
US11270227B2 (en) Method for managing a machine learning model
CN113965389B (zh) 一种基于防火墙日志的网络安全管理方法、设备及介质
CN112232426A (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
Krishna An integrated approach for weather forecasting based on data mining and forecasting analysis
US20240036563A1 (en) Method and system for determining maintenance time of pipe networks of natural gas
CN109033365B (zh) 一种数据处理方法及相关设备
CN106130960A (zh) 盗号行为的判断系统、负载调度方法和装置
CN108924185A (zh) 接口生成方法及装置
CN106569786A (zh) 业务应用的开发方法及系统
CN104951442A (zh) 一种确定结果向量的方法和装置
JP2018524659A (ja) サーバログから識別子をリンクするためのブリッジ一致識別子の生成
CN110659296B (zh) 存储方法、装置、设备以及计算机可读介质
CN112258129A (zh) 配送路径预测网络训练、配送资源调度方法及装置
Geethakumari et al. Regenerating cloud attack scenarios using LVM2 based system snapshots for forensic analysis
EP3580676B1 (en) Sample-based multidimensional data cloning
CN114422105A (zh) 联合建模方法、装置、电子设备及存储介质
CN104965840A (zh) 一种数据节点的随机分配方法及系统
KR101690315B1 (ko) 병렬처리 이웃 탐색 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant