CN114285854B - 具备存储优化和安全传输能力的边缘计算系统与方法 - Google Patents
具备存储优化和安全传输能力的边缘计算系统与方法 Download PDFInfo
- Publication number
- CN114285854B CN114285854B CN202210200645.4A CN202210200645A CN114285854B CN 114285854 B CN114285854 B CN 114285854B CN 202210200645 A CN202210200645 A CN 202210200645A CN 114285854 B CN114285854 B CN 114285854B
- Authority
- CN
- China
- Prior art keywords
- data
- edge
- storage
- module
- latest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 96
- 230000005540 biological transmission Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005457 optimization Methods 0.000 title claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 74
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000010972 statistical evaluation Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 abstract description 2
- 238000007619 statistical method Methods 0.000 abstract description 2
- 238000013500 data storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 101100187350 Aspergillus versicolor notR' gene Proteins 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- AHLBNYSZXLDEJQ-FWEHEUNISA-N orlistat Chemical compound CCCCCCCCCCC[C@H](OC(=O)[C@H](CC(C)C)NC=O)C[C@@H]1OC(=O)[C@H]1CCCCCC AHLBNYSZXLDEJQ-FWEHEUNISA-N 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种具备存储优化和安全传输能力的边缘计算系统与方法，面向存储容量和网络带宽均有限的边缘网络，在边缘计算任务陆续到来之际，利用统计方法建立对于不断到来的边缘计算任务所需数据分布的无偏估计，并据此优先将存储空间安排给收益较大的数据项，从而在多项式时间内完成对边缘采集的数据进行取舍的决策，以最大限度地利用有限的存储容量，达到尽可能为下一个计算任务准备好所需的数据以缩短计算任务完成时间的目的。
Description
技术领域
本发明涉及边缘计算技术领域，具体涉及存储容量和网络带宽均有限的边缘网络有效利用存储容量以提高时间序列任务执行效率的方法。
背景技术
在边缘计算环境中，边缘设备需要随时采集、汇聚各渠道的数据，并据此进行计算并完成所需的任务。由于边缘设备无法预见将要承担的边缘计算任务需要哪些数据，而边缘存储空间有限，无法对所有数据进行预先存储，这就导致当边缘计算任务到来时，边缘设备需要从边缘计算网络中的其他边缘设备获取数据，不仅可能使边缘计算任务延迟，而且会对带宽有限的边缘计算网络带来传输压力甚至堵塞。
为此，在边缘计算任务到来之前，面对边缘网络上不断采集和传输的数据，边缘设备需要对存储哪些数据做出决策，以最大限度地利用有限的存储容量，以达到尽可能为下一个计算任务准备好所需的数据以缩短计算任务完成时间的目的。
同时，如果所承担的边缘计算任务或所采集的数据具有保密性，则需要提高数据安全性。目前常见的方法有：
1、采用国际密码算法（例如MD5），但不符合最新颁布的《密码法》规定；2、采用国产非对称商用密码算法SM2，但其加密、解密算法相对复杂，对于计算能力较弱的边缘设备来说，会导致计算任务的时间进一步延长；
3、采用国产对称商用密码算法SM4，但需要在边缘网络上进行密钥的传输，就可能导致密钥的泄露，并造成数据安全性漏洞。
为此，本发明首先在边缘设备之间、边缘设备和上位机之间，两两建立SM2的非对称加密机制，然后由其中一台设备产生SM4对称密钥，并通过SM2非对称加密机制将SM4密钥传递给所有设备；此后，各设备就使用SM4密钥进行加密、解密和鉴权，从而能够利用SM4算法相对较简单的特点，降低了边缘设备的计算要求，并提高了边缘计算的数据安全性。
发明内容
本发明提供一种针对时间任务和数据存储的边缘计算系统与方法，旨在解决的技术问题之一是：边缘存储空间有限，无法对所有数据进行预先存储，当边缘计算任务到来时，从而导致计算任务延迟的技术问题。
考虑到现有技术的上述问题，根据本发明公开的一个方面，本发明采用以下技术方案：
一种具备存储优化和安全传输能力的边缘计算方法，其包括：
S1：m个边缘设备M i （i=1,2,…,m）按照一定周期采集n i 个离散的数据项D ik （i=1,2,…,m, k=1,2,…,n i ），存储模块对其进行存储；边缘设备M i 为完成上位机（或服务器、云端设备）下达的第t个计算任务J t （t=1,2,…）需要数据项集合{D jk |j=1,2,…,m; k=1,2,…,n j }的子集R t 的最新数据；边缘设备M i 接收到边缘计算任务后，检查存储在存储模块中的数据R' i 是否有完成本次所述边缘计算任务的全部最新数据，如果有，则进行计算任务；否则，M i 对于缺失最新数据的数据项由传输模块向对应的边缘设备发出数据请求，直至全部得到最新数据后，进行计算任务；
S2：计算任务完成后，M i 对前t次计算任务需要的数据R t 进行重新统计评估，并根据M i 存储容量、网络速度等参数对最新数据和存储数据进行取舍，将取舍后的数据项进行存储，从而优化所述存储模块中的数据项集合R' i ，以最大限度地利用有限的存储容量、降低网络通信量；
S3：重复上述过程，以完成下一次边缘计算任务，并同步完成每一次的存储优化。
为了更好地实现本发明，进一步的技术方案是：
进一步地，所述步骤S2中优化数据项集合R' i 的方法包括：
如果
较小，则M i 求解如下包含
个0-1变量的0-1线性规划，
以确定M i 需要存储最新数据的数据项集合R' i ，包括：
其中，0-1常量r tjk 表示数据项D jk 是否属于R t ，即r tjk =1表示D jk ∊R t ，r tjk =0表示D jk ∉R t ；x ijk 是0-1线性规划的决策变量，x ijk =1表示D jk ∊R' i ，x ijk =0表示D jk ∉R' i ；s ik 为传输和存储数据项D ik 的最新值需要占用的存储容量（单位：字节）；c ik 为传输数据项D ik 的最新值所需的传输时间。
进一步地，所述步骤S2中估计所述数据项集合R' i 的方法包括：
如果
较大，M i 的计算模块按照以下步骤确定M i 需要存储最新数据的数
据项：
如果t=1，则任意设置一组概率p ijk （j=1,2,…,m; k=1,2,…,n j ），满足0≤p ijk ≤1，
且
；
如果t≠1，则设置一组概率p ijk =
（j=1,2,…,m; k=1,2,…,n j ）；
对每组j和k的组合，计算收益与开销之比u ijk = c jk p ijk /s jk （j=1,2,…,m; k=1,2,…,n j ）；
在闭区间[1,
]中求出最大的正整数n，使收益与开销之比最大的n个j
和k的组合对应的s jk 之和不大于S i ；
则数据项集合R' i 为上述n个u ijk 的对应数据项D jk 的集合。
进一步地，采用枚举或者对分搜索的方法在闭区间[1, 
]中求出满足
要求的正整数n。
进一步地，所述计算收益与开销之比u ijk 时，如果出现多个u ijk 相等的情况，则对其按照随机的顺序进行排序和选择。
进一步地，所述步骤S2中，对边缘采集的数据进行取舍的方式包括：
边缘设备M i 的存储模块清空并释放其存储空间中由不属于R' i 的数据项所占用的空间；
或边缘设备M i 的存储模块为属于R' i 、但尚未在M i 的存储空间中占用空间的数据项分配空间；
或边缘设备M i 的存储模块将属于R t ∩R' i 的数据项的最新数据更新到M i 对应的存储空间中。
进一步地，所述步骤S2中，所述将取舍后的数据项进行存储后，边缘设备M i 的传输模块继续接收边缘网络广播的数据，如果接收到的数据不是R' i 元素的最新数据，则忽略该数据；否则，边缘设备M i 的存储模块将该数据项的最新数据更新到M i 对应的存储空间中。
进一步地，如果所承担的边缘计算任务或所采集的数据具有保密性，则增加提高数据安全性的步骤包括：
S1.在进行数据采集、传输、存储和计算前，由边缘网络上的所有设备采用SM2商用密码算法建立密码对，所述密码对包含SM2私钥和SM2公钥，并将SM2公钥发送给其他所有设备；
S2.组长设备采用SM4商用密码算法建立SM4密钥；组长设备针对每一台组员设备，分别同时使用组长设备的SM2私钥和该组员设备的SM2公钥对SM4密钥进行加密，并将加密后的SM4密钥分别发送给该组员设备，以实现SM4密钥传输的安全和对组长设备身份的鉴权；
S3.该组员设备使用该组员设备的SM2私钥和组长设备的SM2公钥对加密后的SM4密钥进行解密，以完成对组长设备身份的鉴权，并获得解密的SM4密钥；
S4.上述加密、鉴权、解密过程完成后，各设备删除所有SM2密钥；
S5.当边缘网络上的一个设备向另一个设备发送数据时，发送方采用SM4密钥对数据进行加密；接收方收到加密的数据后，采用SM4密钥对数据进行解密。
进一步地，为了在没有权威CA认证机构参与情况下保证认证过程的可信性，在步骤S1之前，先切断边缘网络和外部网络的连接，以保证参与安全性步骤的设备均为可信的设备；在步骤S4之后，根据需要恢复边缘网络和外部网络的连接。
本发明还可以是：
一种具备存储优化和安全传输能力的边缘计算系统，其包括：
采集模块，用于m个边缘设备M i （i=1,2,…,m）按照一定周期采集n i 个离散的数据项D ik （i=1,2,…,m, k=1,2,…,n i ）；
存储模块，用于存储采集模块采集的数据项D ik （i=1,2,…,m, k=1,2,…,n i ），以及将取舍后的数据项进行存储，从而优化或更新存储在所述存储模块中的数据R t ，以最大限度地利用有限的存储容量；
计算模块，用于检查存储在存储模块中的子集数据R t 是否有完成本次所述边缘计算任务的全部最新数据，如果有，则进行计算任务；否则，对于缺失最新数据的数据项由传输模块向对应的边缘设备发出数据请求，直至全部得到最新数据后，进行计算任务；以及在计算任务完成后，对存储模块中存储的数据R t 进行重新统计评估，以估计出在下一次边缘计算任务时能够缩短计算任务完成时间的最新数据的数据项集合R' i ；根据所述子集数据R t 和数据项集合R' i 对边缘采集的数据进行取舍，根据优化或更新的数据R t 计算下一次边缘计算任务；以及用于完成加密、解密和鉴权工作。
与现有技术相比，本发明的有益效果是：
（1）不依赖于对边缘计算任务的先验知识：本发明巧妙地通过对边缘计算任务的统计，计算出关于边缘计算任务需要哪些数据的参数，从而能够根据存储空间收益对不同数据项进行排序和取舍；
（2）能够适应不同的边缘计算网络：当网络规模较小，节点数量、数据项数比较少的情况下，通过求解一个小型的0-1线性规划得到最优解；而当边缘网络规模较大时，0-1线性规划无法在多项式时间内完成，本发明巧妙地利用概率方法获得统计意义上的最优解，从而在多项式时间内完成决策；
（3）能够支持高安全计算环境：本发明结合了国密算法SM2和SM4各自的优点，在尽可能降低边缘设备计算要求的同时，提高了边缘计算的数据安全性。同时，由于本发明依靠数据存储和传输的开销进行计算，不依赖于具体数据内容，因此还适用于对采用国密算法等进行了加密的数据的边缘存储和边缘计算场景。
附图说明
为了更清楚的说明本申请文件实施例或现有技术中的技术方案，下面将对实施例或现有技术的描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅是对本申请文件中一些实施例的参考，对于本领域技术人员来讲，在不付出创造性劳动的情况下，还可以根据这些附图得到其它的附图。
图1为根据本发明一个实施例的具备存储优化和安全传输能力的边缘计算方法的流程示意图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
参见图1所示，一种具备存储优化和安全传输能力的边缘计算方法，其包括：
S1：m个边缘设备M i （i=1,2,…,m）按照一定周期采集n i 个离散的数据项D ik （i=1,2,…,m, k=1,2,…,n i ），存储模块对其进行存储；边缘设备M i 为完成上位机下达的第t个计算任务J t （t=1,2,…）需要数据项集合{D jk |j=1,2,…,m; k=1,2,…,n j }的子集R t 的最新数据；边缘设备M i 接收到边缘计算任务后，检查存储在存储模块中的数据R' i 是否有完成本次所述边缘计算任务的全部最新数据，如果有，则进行计算任务；否则，M i 对于缺失最新数据的数据项由传输模块向对应的边缘设备发出数据请求，直至全部得到最新数据后，进行计算任务；本实施例的上位机包含服务器、云端设备等。
S2：计算任务完成后，M i 对前t次计算任务需要的数据R t 进行重新统计评估，并根据M i 存储容量、网络速度等参数对最新数据和存储数据进行取舍，将取舍后的数据项进行存储，从而优化所述存储模块中的数据项集合R' i ，以最大限度地利用有限的存储容量、降低网络通信量；
本步骤S2中优化数据项集合R' i 的方法包括：
如果
较小，则M i 求解如下包含
个0-1变量的0-1线性规划，
以确定M i 需要存储最新数据的数据项集合R' i ，包括：
其中，0-1常量r tjk 表示数据项D jk 是否属于R t ，即r tjk =1表示D jk ∊R t ，r tjk =0表示D jk ∉R t ；x ijk 是0-1线性规划的决策变量，x ijk =1表示D jk ∊R' i ，x ijk =0表示D jk ∉R' i ；s ik 为传输和存储数据项D ik 的最新值需要占用的存储容量（单位：字节）；c ik 为传输数据项D ik 的最新值所需的传输时间。
如果
较大，M i 的计算模块按照以下步骤确定M i 需要存储最新数据的数
据项：
如果t=1，则任意设置一组概率p ijk （j=1,2,…,m; k=1,2,…,n j ），满足0≤p ijk ≤1，
且
；
如果t≠1，则设置一组概率p ijk =
（j=1,2,…,m; k=1,2,…,n j ）；
对每组j和k的组合，计算收益与开销之比u ijk = c jk p ijk /s jk （j=1,2,…,m; k=1,2,…,n j ）；如果出现多个u ijk 相等的情况，可以对其按照随机的顺序进行排序和选择。
在闭区间[1,
]中求出最大的正整数n，使收益与开销之比最大的n个j
和k的组合对应的s jk 之和不大于S i ；本步骤可优先采用枚举或者对分搜索的方法在闭区间
[1, 
]中求出满足要求的正整数n。
则数据项集合R' i 为上述n个u ijk 的对应数据项D jk 的集合。
对边缘采集的数据进行取舍的方式包括：
边缘设备M i 的存储模块清空并释放其存储空间中由不属于R' i 的数据项所占用的空间；
或边缘设备M i 的存储模块为属于R' i 、但尚未在M i 的存储空间中占用空间的数据项分配空间；
或边缘设备M i 的存储模块将属于R t ∩R' i 的数据项的最新数据更新到M i 对应的存储空间中。
所述将取舍后的数据项进行存储后，边缘设备M i 的传输模块继续接收边缘网络广播的数据，如果接收到的数据不是R' i 元素的最新数据，则忽略该数据；否则，边缘设备M i 的存储模块将该数据项的最新数据更新到M i 对应的存储空间中。
S3：重复上述过程，以完成下一次边缘计算任务，并同步完成每一次的存储优化。
上述实施例中，如果所承担的边缘计算任务或所采集的数据具有保密性，则增加提高数据安全性的步骤包括：
S1.在进行数据采集、传输、存储和计算前，由边缘网络上的所有设备采用SM2商用密码算法建立密码对（可以包含SM2私钥和SM2公钥），并将SM2公钥发送给其他所有设备；
S2.其中一台设备（可以是边缘设备或上位机，以下简称组长设备）采用SM4商用密码算法建立SM4密钥；组长设备针对每一台其他设备（以下简称组员设备），分别同时使用组长设备的SM2私钥和该组员设备的SM2公钥对SM4密钥进行加密，并将加密后的SM4密钥分别发送给该组员设备，以实现SM4密钥传输的安全和对组长设备身份的鉴权；
S3.该组员设备使用该组员设备的SM2私钥和组长设备的SM2公钥对加密后的SM4密钥进行解密，以完成对组长设备身份的鉴权，并获得解密的SM4密钥；
S4.上述加密、鉴权、解密过程完成后，各设备删除所有SM2密钥；
S5.当边缘网络上的一个设备向另一个设备发送数据时，发送方采用SM4密钥对数据进行加密；接收方收到加密的数据后，采用SM4密钥对数据进行解密。
为了在没有权威CA认证机构参与情况下保证认证过程的可信性，在步骤S1之前，先切断边缘网络和外部网络的连接，以保证参与安全性步骤的设备均为可信的设备；在步骤S4之后，根据需要恢复边缘网络和外部网络的连接。
一种具备存储优化和安全传输能力的边缘计算系统，其包括：
（1）m个边缘设备M i （i=1,2,…,m），分别包含采集模块、传输模块、存储模块和计算模块，用于采集边缘数据、向边缘网络上的其他边缘设备传输数据、接收边缘网络上的其他边缘设备传输的数据、接收上位机下达的边缘计算任务、存储所需的数据、进行边缘计算；具体地：
采集模块，用于m个边缘设备M i （i=1,2,…,m）按照一定周期采集n i 个离散的数据项D ik （i=1,2,…,m, k=1,2,…,n i ）；
存储模块，用于存储采集模块采集的数据项D ik （i=1,2,…,m, k=1,2,…,n i ），以及将取舍后的数据项进行存储，从而优化或更新存储在所述存储模块中的数据R t ，以最大限度地利用有限的存储容量；
计算模块，用于检查存储在存储模块中的子集数据R t 是否有完成本次所述边缘计算任务的全部最新数据，如果有，则进行计算任务；否则，对于缺失最新数据的数据项由传输模块向对应的边缘设备发出数据请求，直至全部得到最新数据后，进行计算任务；以及在计算任务完成后，对存储模块中存储的数据R t 进行重新统计评估，以估计出在下一次边缘计算任务时能够缩短计算任务完成时间的最新数据的数据项集合R' i ；根据所述子集数据R t 和数据项集合R' i 对边缘采集的数据进行取舍，根据优化或更新的数据R t 计算下一次边缘计算任务；以及用于完成加密、解密和鉴权工作。
边缘设备M i 的存储模块的存储容量为正整数S i 字节（i=1,2,…,m）。
边缘设备M i 的采集模块按照一定周期采集n i 个离散的数据项D ik （i=1,2,…,m, k=1,2,…,n i ）。
边缘设备M i 的传输模块实时地向边缘网络广播数据项D ik 的最新数据（i=1,2,…,m, k=1,2,…,n i ）。
（2）边缘网络，用于连接边缘设备、实现边缘设备之间的数据传输。
（3）上位机，用于向边缘设备下达边缘计算任务。
上位机下达给M i （i=1,2,…,m）的第t个计算任务J t （t=1,2,…）需要数据项集合{D jk |j=1,2,…,m; k=1,2,…,n j }的子集R t 的最新数据；
边缘计算任务应在尽可能短的时间内完成。
本发明针对时间任务的边缘数据存储和安全方法，可应用在制造业、物流业以及便民生活等需要边缘计算的场景，在边缘计算任务陆续到来之际，对边缘网络上不断采集和传输的数据进行取舍，以最大限度地利用有限的存储容量，达到尽可能为下一个计算任务准备好所需的数据以缩短计算任务完成时间的目的。下面以一具体实施例对本发明做进一步说明：
实施例1：一个具有1000个边缘设备M i （i=1,2,…,1000）的边缘计算环境，每个M i 均具有1024字节的存储空间，并按照频率0.1 Hz采集5个离散的数据项D ik （i=1,2,…,1000, k=1,2,…,5），并向边缘网络广播数据项的最新值。5个离散的数据项是：刀具运行方向D i1、刀具旋转方向D i2、刀具速度D i3、刀具角速度D i4、刀具力量D i5，其占用的数据存储容量分别为s i1=40，s i2=40，s i3=15，s i4=15，s i5=15字节，将其传输给其他边缘设备的时间为c i1=3ms，c i2=3ms，c i3=1.2ms，c i4=1.2ms，c i5=1.2ms（i=1,2,…,1000）。数据项的值在传输前采用国密算法进行加密，因此上述存储容量、传输时间均包含加密所需要的空间和时间。
（1）某时刻M 606接到需要其完成的第t=1个计算任务J 1，完成该任务需要数据项集合R 1的最新数据，其中R 1为包含133个元素的集合{D 15, D 31, …, D 998,3}。令0-1常量r 1jk 表示数据项D jk 是否属于R 1，即r 1jk =1表示D jk ∊R 1；r 1jk =0表示D jk ∉R 1；例如r 115=r 131=…=r 1,998,3=1，r 111=r 112=…=r 1,1000,5=0。
（2）M 606的存储空间中尚未存储数据，M 606对于缺失最新数据的数据项向对应的边缘设备发出数据请求，这些边缘设备将采用国密算法加密后的数据发送给M 606，M 606得到全部最新数据后，进行数据解密，并执行计算任务；
（3）计算任务完成后，由于t=1，M 606任意设置概率p 606,jk =0.5（j=1,2,…,1000; k=1,2,…,5）；
（4）对每组j和k的组合，计算收益与开销之比u 606,jk = c jk p 606,jk / s jk （j=1,2,…,1000; k=1,2,…,5）；例如u 606,31 = 3×0.5 / 40=0.0375；
（5）在闭区间[1, 4995]中通过对分法求出最大的正整数n=68，使收益与开销之比最大的68个j和k的组合对应的s jk 之和为1020字节，不大于M 606的存储空间1024字节；R' 606是这68个需要存储的数据项的集合{D 13, D 14, …, D 23,4}；
（6）M 606清空并释放其存储空间，为属于R' 606的数据项分配空间，将属于R' 606的数据项的最新数据（加密数据）更新到M i 中对应的存储空间中；
（7）M 606继续接收边缘网络广播的数据，如果接收到的数据不是R' 606元素的最新数据，则忽略该数据；否则，将该数据项的最新数据（加密数据）更新到M 606中对应的存储空间中；
（8）经过若干时间后，某时刻M 606接到需要其完成的第t=2个计算任务J 2，完成该任务需要数据项集合R 2的最新数据，其中R 2为包含88个元素的集合{D 14, D 23, …, D 974,2}。令0-1常量r 2jk 表示数据项D jk 是否属于R 2，即r 2jk =1表示D jk ∊R 2；r 2jk =0表示D jk ∉R 2；例如r 214=r 223=…=r 2,974,2=1，r 111=r 112=…=r 1,1000,5=0。
（9）M 606对于缺失最新数据的数据项向对应的边缘设备发出数据请求，这些边缘设备将采用国密算法加密后的数据发送给M 606，M 606得到全部最新数据后，进行数据解密，并执行计算任务；
（10）计算任务完成后，由于t>1，M 606设置一组概率p 606,jk =前2次任务的r 2jk 之和÷(2-1)（j=1,2,…,1000; k=1,2,…,n j ）；例如p 606,14 = (r 114+r 214)÷(2-1)=(0+1)/2=0.5；
（11）对每组j和k的组合，计算收益与开销之比u 606,jk = c jk p 606,jk / s jk （j=1,2,…,1000; k=1,2,…,5）；例如u 606,14 = 1.2×0.5 / 15=0.04；
（12）在闭区间[1, 4995]中通过对分法求出最大的正整数n=57，使收益与开销之比最大的57个u 606,jk 对应的s jk 之和为1018字节，不大于M 606的存储空间1024字节；R' 606是这57个需要存储的数据项的集合{D 14, D 23, …, D 650,3}；
（13）M 606清空并释放其存储空间中由不属于R' 606的数据项所占用的空间；
（14）M 606为属于R' 606、但尚未在M 606的存储空间中占用空间的数据项（例如D 14）分配空间；
（15）M 606将属于R 2∩R' 606的数据项（例如D 14、D 23）的最新数据（加密数据）更新到M 606中对应的存储空间中；
（16）M 606继续接收边缘网络广播的数据，如果接收到的数据不是R' 606元素的最新数据，则忽略该数据；否则，将该数据项的最新数据（加密数据）更新到M 606中对应的存储空间中；
（17）对所有的i、t执行上述类似步骤，直至所有任务完成。
综上而言，本发明面向存储容量和网络带宽均有限的边缘网络，提出一种针对时间任务的边缘数据存储和安全方法，在边缘计算任务陆续到来之际，利用统计方法建立对于不断到来的边缘计算任务所需数据分布的无偏估计，并据此优先将存储空间安排给收益较大的数据项，从而在多项式时间内完成对边缘采集的数据进行取舍的决策，以最大限度地利用有限的存储容量，达到尽可能为下一个计算任务准备好所需的数据以缩短计算任务完成时间的目的。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似部分相互参见即可。
在本说明书中所谈到的“一个实施例”、“另一个实施例”、 “实施例”、等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。
尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。
Claims (8)
1.一种具备存储优化和安全传输能力的边缘计算方法，其特征在于包括：
S1：m个边缘设备Mi(i＝1,2,…,m)按照一定周期采集ni个离散的数据项Dik(i＝1,2,…,m,k＝1,2,…,ni)，存储模块对其进行存储；边缘设备Mi为完成上位机下达的第t个计算任务Jt(t＝1,2,…)需要数据项集合{Djk|j＝1,2,…,m；k＝1,2,…,nj}的子集Rt的最新数据；边缘设备Mi接收到边缘计算任务后，检查存储在存储模块中的数据R'i是否有完成本次所述边缘计算任务的全部最新数据，如果有，则进行计算任务；否则，Mi对于缺失最新数据的数据项由传输模块向对应的边缘设备发出数据请求，直至全部得到最新数据后，进行计算任务；
S2：计算任务完成后，Mi对前t次计算任务需要的数据Rt进行重新统计评估，并根据Mi存储容量、网络速度对最新数据和存储数据进行取舍，将取舍后的数据项进行存储，从而优化所述存储模块中的数据项集合R'i，以最大限度地利用有限的存储容量、降低网络通信量；
其中，优化所述存储模块中的数据项集合R'i的方法包括：
如果
较小，则Mi求解如下包含
个0-1变量的0-1线性规划，以确定Mi需要存储最新数据的数据项集合R'i，包括：
其中，0-1常量rtjk表示数据项Djk是否属于Rt，即rtjk＝1表示Djk∈Rt，rtjk＝0表示
xijk是0-1线性规划的决策变量，xijk＝1表示Djk∈R'i，xijk＝0表示
sik为传输和存储数据项Dik的最新值需要占用的存储容量(单位：字节)；cik为传输数据项Dik的最新值所需的传输时间；
如果
较大，Mi的计算模块按照以下步骤确定Mi需要存储最新数据的数据项：
如果t＝1，则任意设置一组概率pijk(j＝1,2,…,m；k＝1,2,…,nj)，满足0≤pijk≤1，且
如果t≠1，则设置一组概率
对每组j和k的组合，计算收益与开销之比uijk＝cjkpijk/sjk(j＝1,2,…,m；k＝1,2,…,nj)；
在闭区间
中求出最大的正整数n，使收益与开销之比最大的n个j和k的组合对应的sjk之和不大于Si；
则数据项集合R'i为上述n个uijk的对应数据项Djk的集合；
S3：重复步骤S1和S2，以完成下一次边缘计算任务，并同步完成每一次的存储优化。
2.根据权利要求1所述的具备存储优化和安全传输能力的边缘计算方法，其特征在于采用枚举或者对分搜索的方法在闭区间
中求出满足要求的正整数n。
3.根据权利要求1所述的具备存储优化和安全传输能力的边缘计算方法，其特征在于所述计算收益与开销之比uijk时，如果出现多个uijk相等的情况，则对其按照随机的顺序进行排序和选择。
4.根据权利要求1所述的具备存储优化和安全传输能力的边缘计算方法，其特征在于所述步骤S2中，对边缘采集的数据进行取舍的方式包括：
边缘设备Mi的存储模块清空并释放其存储空间中由不属于R'i的数据项所占用的空间；
或边缘设备Mi的存储模块为属于R'i、但尚未在Mi的存储空间中占用空间的数据项分配空间；
或边缘设备Mi的存储模块将属于Rt∩R'i的数据项的最新数据更新到Mi对应的存储空间中。
5.根据权利要求1所述的具备存储优化和安全传输能力的边缘计算方法，其特征在于所述步骤S2中，所述将取舍后的数据项进行存储后，边缘设备Mi的传输模块继续接收边缘网络广播的数据，如果接收到的数据不是R'i元素的最新数据，则忽略该数据；否则，边缘设备Mi的存储模块将该数据项的最新数据更新到Mi对应的存储空间中。
6.根据权利要求1所述的具备存储优化和安全传输能力的边缘计算方法，其特征在于如果所承担的边缘计算任务或所采集的数据具有保密性，则增加提高数据安全性的步骤包括：
S1.在进行数据采集、传输、存储和计算前，由边缘网络上的所有设备采用SM2商用密码算法建立密码对，所述密码对包含SM2私钥和SM2公钥，并将SM2公钥发送给其他所有设备；
S2.组长设备采用SM4商用密码算法建立SM4密钥；组长设备针对每一台组员设备，分别同时使用组长设备的SM2私钥和该组员设备的SM2公钥对SM4密钥进行加密，并将加密后的SM4密钥分别发送给该组员设备，以实现SM4密钥传输的安全和对组长设备身份的鉴权；
S3.该组员设备使用该组员设备的SM2私钥和组长设备的SM2公钥对加密后的SM4密钥进行解密，以完成对组长设备身份的鉴权，并获得解密的SM4密钥；
S4.上述加密、鉴权、解密过程完成后，各设备删除所有SM2密钥；
S5.当边缘网络上的一个设备向另一个设备发送数据时，发送方采用SM4密钥对数据进行加密；接收方收到加密的数据后，采用SM4密钥对数据进行解密。
7.根据权利要求6所述的具备存储优化和安全传输能力的边缘计算方法，其特征在于为了在没有权威CA认证机构参与情况下保证认证过程的可信性，在步骤S1之前，先切断边缘网络和外部网络的连接，以保证参与安全性步骤的设备均为可信的设备；在步骤S4之后，根据需要恢复边缘网络和外部网络的连接。
8.一种实现如权利要求1-7任一项所述具备存储优化和安全传输能力的边缘计算方法的边缘计算系统，其特征在于包括：
采集模块，用于m个边缘设备Mi(i＝1,2,…,m)按照一定周期采集ni个离散的数据项Dik(i＝1,2,…,m,k＝1,2,…,ni)；
存储模块，用于存储采集模块采集的数据项Dik(i＝1,2,…,m,k＝1,2,…,ni)，以及将取舍后的数据项进行存储，从而优化或更新存储在所述存储模块中的数据Rt，以最大限度地利用有限的存储容量；
计算模块，用于检查存储在存储模块中的子集数据Rt是否有完成本次所述边缘计算任务的全部最新数据，如果有，则进行计算任务；否则，对于缺失最新数据的数据项由传输模块向对应的边缘设备发出数据请求，直至全部得到最新数据后，进行计算任务；以及在计算任务完成后，对存储模块中存储的数据Rt进行重新统计评估，以估计出在下一次边缘计算任务时能够缩短计算任务完成时间的最新数据的数据项集合R'i；根据所述子集数据Rt和数据项集合R'i对边缘采集的数据进行取舍，根据优化或更新的数据Rt计算下一次边缘计算任务；以及用于完成加密、解密和鉴权工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210200645.4A CN114285854B (zh) | 2022-03-03 | 2022-03-03 | 具备存储优化和安全传输能力的边缘计算系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210200645.4A CN114285854B (zh) | 2022-03-03 | 2022-03-03 | 具备存储优化和安全传输能力的边缘计算系统与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114285854A CN114285854A (zh) | 2022-04-05 |
| CN114285854B true CN114285854B (zh) | 2022-07-05 |
Family
ID=80882114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210200645.4A Active CN114285854B (zh) | 2022-03-03 | 2022-03-03 | 具备存储优化和安全传输能力的边缘计算系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114285854B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110312231A (zh) * | 2019-06-28 | 2019-10-08 | 重庆邮电大学 | 一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法 |
| CN110633138A (zh) * | 2019-08-28 | 2019-12-31 | 中山大学 | 一种基于边缘计算的自动驾驶服务卸载方法 |
| CN113452566A (zh) * | 2021-07-05 | 2021-09-28 | 湖南大学 | 一种云边端协同资源管理方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108121512B (zh) * | 2017-12-22 | 2020-04-07 | 苏州大学 | 一种边缘计算服务缓存方法、系统、装置及可读存储介质 |
| CN109862592B (zh) * | 2018-12-06 | 2020-11-10 | 北京邮电大学 | 一种基于多基站协作的移动边缘计算环境下资源管理和调度方法 |
| US10887428B2 (en) * | 2019-05-09 | 2021-01-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for allocating service requests from mobile objects among edge servers |
| US11093287B2 (en) * | 2019-05-24 | 2021-08-17 | Intel Corporation | Data management for edge architectures |
| CN110471621B (zh) * | 2019-07-29 | 2020-12-29 | 东南大学 | 一种面向实时数据处理应用的边缘协同存储方法 |
| CN111092946B (zh) * | 2019-12-18 | 2020-10-20 | 博依特(广州)工业互联网有限公司 | 一种应用于边缘计算网关的数据处理方法及系统 |
| CN111262940B (zh) * | 2020-01-17 | 2021-06-22 | 中南大学 | 一种车载边缘计算应用缓存方法、装置及系统 |
| CN112003269B (zh) * | 2020-07-30 | 2022-06-28 | 四川大学 | 并网型共享储能系统的智能化在线控制方法 |
-
2022
- 2022-03-03 CN CN202210200645.4A patent/CN114285854B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110312231A (zh) * | 2019-06-28 | 2019-10-08 | 重庆邮电大学 | 一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法 |
| CN110633138A (zh) * | 2019-08-28 | 2019-12-31 | 中山大学 | 一种基于边缘计算的自动驾驶服务卸载方法 |
| CN113452566A (zh) * | 2021-07-05 | 2021-09-28 | 湖南大学 | 一种云边端协同资源管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114285854A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1098581C (zh) | 使用加密服务器加密消息 | |
| WO2018184407A1 (zh) | 一种具有隐私保护的K-means聚类方法及系统 | |
| US20220271957A1 (en) | Blockchain sharding with adjustable quorums | |
| CN111625593A (zh) | 基于区块链的数据处理方法、装置、计算机设备 | |
| CN111800400B (zh) | 一种基于雾的多维度多角度用电数据的聚合系统 | |
| Yaacoub et al. | Secure transmission of IoT mHealth patient monitoring data from remote areas using DTN | |
| CN1350735A (zh) | 间接公共密钥加密 | |
| CN111800495A (zh) | 一种车辆雾计算中的任务卸载系统和方法 | |
| CN112311537A (zh) | 基于区块链的设备接入认证系统及方法 | |
| CN107241448A (zh) | 一种云存储节点负载均衡方法 | |
| CN104636672A (zh) | 一种基于哈希树及匿名技术的安全数据汇报方法及系统 | |
| Lin et al. | Flexible group key management and secure data transmission in mobile device communications using elliptic curve Diffie-Hellman cryptographic system | |
| CN116957064A (zh) | 基于知识蒸馏的联邦学习隐私保护模型训练方法及系统 | |
| CN113691313A (zh) | 一种星地一体量子密钥链路虚拟化应用服务系统 | |
| CN115664629A (zh) | 一种基于同态加密的智慧物联平台数据隐私保护方法 | |
| Bouabdellah et al. | A secure cooperative transmission model in VANET using attribute based encryption | |
| US20080046216A1 (en) | Managing supplied data | |
| CN110972132A (zh) | 一种无人机队列身份认证方法 | |
| CN110708337A (zh) | 一种基于身份认证的大数据安全框架系统 | |
| CN114285854B (zh) | 具备存储优化和安全传输能力的边缘计算系统与方法 | |
| CN113378228A (zh) | 私有信息检索方法、装置、设备及存储介质 | |
| CN116806038A (zh) | 一种去中心化的计算机数据共享方法及装置 | |
| CN107454162A (zh) | 一种提高云计算环境可靠性的系统 | |
| CN114362939B (zh) | 一种基于可信中继量子保密通信网络动态路由转发方法、存储装置及智能终端 | |
| CN113472734B (zh) | 一种身份认证方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231210 Address after: Room 902, 9 / F, building 3, No. 1858, middle section of Yizhou Avenue, high tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610000 Patentee after: CHENGDU BITNUM TECHNOLOGY Co.,Ltd. Patentee after: Sichuan Fufan Technology Co.,Ltd. Patentee after: Shandong 3000 Internet of Things Technology Co.,Ltd. Patentee after: Chengdu Wuhou Qingqing public welfare service center Address before: 610000 2 flower arch street, Chengdu, Sichuan Patentee before: CHENGDU TECHNOLOGICAL University Patentee before: CHENGDU BITNUM TECHNOLOGY Co.,Ltd. Patentee before: Sichuan Fufan Technology Co.,Ltd. Patentee before: Shandong 3000 Internet of Things Technology Co.,Ltd. Patentee before: Chengdu Wuhou Qingqing public welfare service center |
|
| TR01 | Transfer of patent right |