CN117938766B - 一种受限网络下的数据资源分级传输方法 - Google Patents
一种受限网络下的数据资源分级传输方法 Download PDFInfo
- Publication number
- CN117938766B CN117938766B CN202410341186.0A CN202410341186A CN117938766B CN 117938766 B CN117938766 B CN 117938766B CN 202410341186 A CN202410341186 A CN 202410341186A CN 117938766 B CN117938766 B CN 117938766B
- Authority
- CN
- China
- Prior art keywords
- data
- importance
- attribute
- parameters
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004891 communication Methods 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000011478 gradient descent method Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000013461 design Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 101150096839 Fcmr gene Proteins 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明提供一种受限网络下的数据资源分级传输方法，涉及边缘信息服务数据交互领域。其包括：将信息系统云边间交互的数据资源表示为数据类型、数据名称、数据属性、属性值的集合，为数据类型增加一个类型重要度，为数据属性新增一个属性重要度；设置数据传输阈值，根据通信资源消耗相关的指标动态调整数据传输阈值，保证传输资源消耗在合理范围内；记录数据传输日志，提取每条数据的传输成功时间、数据类型、已分发节点数、已共享用户数，加权调整数据资源的类型重要度；根据用户对已获取数据资源的未传输字段的需求情况，动态调整数据的类型重要度和属性重要度。本发明能有效利用云边受限的通信传输资源，提高数据资源转化为系统能力的效率。
Description
技术领域
本发明属于边缘信息服务数据交互领域，具体涉及一种受限网络下的数据资源分级传输方法。
背景技术
当前信息系统的研究重点正逐渐向离用户更近的边节点和末端上延伸，过去的云中心信息处理模式是将用户在末端上产生的数据、服务需求通过网络通信资源传输至后方云平台，结合云平台上的数据、服务、计算资源对需求进行响应后，将响应结果返回至末端用户侧。此过程对通信网络的消耗极大，用户获取数据服务资源的效率较低，且一旦云端网络断连，末端设备将失去可依赖的云中心数据服务支撑。当前信息系统多采用“云-边-端”三级架构，通过在离末端用户更近的地方部署具有一定计算存储资源的边中心，为末端用户提供更实时的数据服务支撑。但同时，相比于后方由巨量硬件设备组成的云中心来说，只具有一定计算存储资源的边中心能力较弱，难以承载全量数据和服务资源，依然需要与云中心进行数据、服务层面上的协同，才能为用户提供较好的体验，这一过程在云边通信资源受限时效率较低。当前在受限网络下加速云边数据交互效率的方法多是在传输协议层进行改进，或是对传输数据的编码压缩率进行优化，依然是想实现数据的全量交互。这些方法固然能提升信息交互的效率，但传输协议和数据压缩策略的改进和优化是存在极限的。如何在不过多影响云边必要信息交流的情况下，根据网络因素和用户需求对传输数据本身进行适当裁剪，是现有技术中一个亟待解决的问题。
发明内容
有鉴于此，本发明提供一种受限网络下的数据资源分级传输方法，该方法能够在受限网络下对云边中心间交互的数据资源进行分级传输。
本发明采用的技术方案为：
一种受限网络下的数据资源分级传输方法，包括：
步骤S1，将信息系统云边间交互的数据资源表示为数据类型、数据名称、数据属性、属性值构成的集合，对信息系统云边交互的各类数据资源及其字段的重要度进行量化区分，为每种数据类型增加一个类型重要度，为每个数据属性新增一个属性重要度/>；
步骤S2，设置数据传输阈值，感知并分析通信资源消耗相关的指标，包括数据包往返时延/>、通道待传输数据量与传输中数据量的比例/>、边缘网络的吞吐量/>、云边数据传输的平均时延/>，根据这些指标动态调整数据传输阈值/>，只传输/>大于传输阈值/>的数据属性，从而保证传输资源消耗在合理范围内；
步骤S3，记录数据传输日志，提取每条数据的传输成功时间、数据类型/>、已分发节点数/>、已共享用户数/>，经统计分析，加权调整第/>类数据资源/>的/>；根据用户对已获取数据资源的未传输字段的需求情况，动态调整数据的类型重要度/>和属性重要度/>。
进一步地，步骤S1中，将信息系统云边间交互的第类数据资源/>表示为，其中/>代表该数据的类型，/>代表该数据类型的重要度，/>代表该数据的属性集合，/>，/>为第/>类数据属性的总个数，/>为属性集合/>中的第/>个属性，属性/>由属性名称/>、属性值/>、属性重要度/>表示，即/>；最终，数据资源表示为/>，其中，数据类型和数据属性的结构基于信息系统云边中心间交互的数据资源的类型来确定，数据类型重要度和数据属性重要度由信息系统专家填充，作为专家输入的先验知识。
进一步地，步骤S2中，数据传输阈值的计算方式为：
其中/>为对应项的权重，/>，/>的初始值均为0.25，后续根据用户反馈调整；
为各参数的转换函数，具体如下：
其中，、/>、/>、/>分别为/>、/>、/>、/>的最大值，/>、/>、/>、/>为转换公式对应曲线的斜率，/>、/>、/>、/>为转换公式的中心点，/>、/>、/>、/>、/>、/>、/>、/>、/>、/>、/>、/>均通过训练获得；
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
的调整方式为：
采集用户满意时的参数值，…/>，作为/>调整的依据；由于/>，将/>转化为/>；
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、/>、/>，反向更新参数：
，/>，/>
根据更新/>。
进一步地，步骤S3中，动态调整数据的类型重要度和属性重要度/>的方式为：
设计第类数据资源/>的类型重要度/>的调整公式如下：
其中，为专家设计的类型重要度初始值，每条数据的传输成功时间为/>、数据类型为/>、已分发节点数为/>、已共享用户数为/>、传输成功的时间点/>距离当前时间点的间隔为/>，/>分别为时间间隔/>、已分发节点数/>、已共享用户数/>对类型重要度的加权值，/>分别为时间间隔/>、已分发节点数/>、已共享用户数/>对类型重要度的转换函数，设计如下：
其中，、/>、/>分别为/>、/>、/>的最大值，/>、/>、/>为转换公式对应曲线的斜率，/>、/>、/>为转换公式的中心点，/>、/>、/>、/>、/>、/>、/>、/>、/>均通过训练获得；
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
设计数据资源的不同数据属性的分级策略，记录下用户对第类数据的进一步需求次数/>以及浏览第/>类数据的总次数/>，用户对所有数据的总浏览次数/>，以及总需求次数/>，并计算需求比/>；
定义第类数据的临界属性/>，其属性重要度/>在小于/>的所有属性中最大；将用户提出的需求频率/>大于临界值/>的第/>类数据的临界属性的属性重要度/>调至等于/>，使其不会被裁剪；计算需求比/>的变化，根据其变化率/>，表示出属性/>的调整影响，更新需求频率的临界值/>；系统运行过程中，不断调整临界属性的属性重要度/>，确保用户需要的数据资源在受限网络下会被传输。
本发明的有益效果是：
1、能够有效利用云边受限的通信传输资源，保证被用户需要的信息优先被传输，提高数据资源转化为系统能力的效率；
2、能够解决用户从云中心获取到数据资源过多过杂，陷入到信息迷雾中，难以有效利用系统数据资源的问题；
3、能够根据用户需求和带宽情况，动态调整信息传输、裁剪的策略，保证数据资源利用的精准有效性。
附图说明
图1是本发明的云边中心间交互的数据资源的结构示意图；
图2是本发明的重要度阈值调整方法的示意图；
图3是本发明的数据类型重要度和数据属性重要度/>的动态调整策略的示意图。
具体实施方式
下面将结合附图对本发明的实施方式进行更详细阐述。根据下面实施方式的具体说明，能够让专家更清楚地了解本发明的优点与特征，但实施本发明的方式不限于下面描述的实施例。
一种受限网络下的数据资源分级传输方法，包括以下步骤：
步骤1，预备阶段，对信息系统用于云边交互的各类数据资源用数学公式表示，以便增加重要性权重参数，并进行基于网络状态和用户需求的数据资源裁剪：
云边中心间交互的数据资源可以表示为数据类型、数据名称、数据属性、属性值构成的集合，现在为每种数据类型增加一个类型重要度、为每个数据属性新增一个属性重要度，如图1所示，那么一种类型的数据资源可记为/>，其中/>代表该数据的类型，/>代表该数据类型的重要度，/>代表该数据的属性集合，/>，/>为第/>类数据属性的总个数，/>为属性集合/>中的第/>个属性，属性/>由属性名称/>、属性值/>、属性重要度/>表示，即/>；最终，数据资源表示为。其中，数据类型和数据属性的结构基于信息系统云边中心间交互的数据资源的类型来确定，数据类型重要度和数据属性重要度由信息系统专家填充，作为专家输入的先验知识。
步骤2，基于网络状态动态调整可传输数据资源重要度的阈值。云边受限网络中可传输的数据量是有限的，为满足用户需求，需在可用带宽范围内优先传输重要度更高的数据资源和数据属性。通过感知并分析通信资源消耗相关的指标，包括数据包往返时延、通道待传输数据量与传输中数据量的比例/>、边缘网络的吞吐量/>、云边数据传输的平均时延/>，动态调整阈值/>，如图2所示，只传输/>大于传输阈值/>的数据属性，保证传输资源消耗在合理范围内。具体计算方式如下：
步骤2.1，构建阈值与数据包往返时延/>、通道待传输数据量与传输中数据量的比例/>、边缘网络的吞吐量/>、云边数据传输的平均时延/>的计算公式：
其中为对应项的权重，/>加权和为1，初始值均为0.25，根据用户反馈调整。/>为各参数的转换函数，数据包往返时延/>越大、通道待传输数据量与传输中数据量的比例/>越大、云边数据传输的平均时延/>越大，证明网络的承载能力越近上限，这三者与阈值/>的转换函数设计为正向映射；边缘网络的吞吐量/>越大表示网络带宽越好，对应阈值/>可以降低，设计为反向映射。映射关系取S型曲线，保证阈值/>可以取得一个相对平衡的效果，不会过于极端，公式如下。
其中，、/>、/>、/>为四个参数的最大值，/>、/>、/>、/>为转换公式对应曲线的斜率，/>、/>、/>、/>为转换公式的中心点，这些参数后续需要训练。
步骤2.2，网络状态相关的四个参数转换公式调优。云边间信息传输过程会记录生成传输日志，统计分析传输日志可为用户实现展现四个参数在一段时间/>内的平均值/>、/>、/>、/>,相对于这一段时间的平均阈值/>，形成映射关系，可利用Logistic函数调优方法，根据用户较满意时的/>、/>、/>、/>、/>，训练步骤2.1中四个转换公式中的参数。
步骤2.2.1，以数据包往返时延为例，在用户满意的情况下，记录一系列二元组、/>…/>作为调优依据。
步骤2.2.2，设定待训练参数的初值，可用记录的二元组来进行设定。其中，/>
其含义分别是根据数据包往返时延/>的最大值设定，/>根据数据包往返时延/>的中位数设定，/>根据数据包往返时延/>与阈值/>的平均斜率来确定。
步骤2.2.3，训练参数，可用记录的二元组来进行训练。设计损失函数
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数，
，/>，/>
步骤2.2.4，类似2.2.1-2.2.3步骤，训练中的参数。
步骤2.3，对四个参数的权重进行训练优化。/>初始值均为0.25，/>加和需要保持为1。对数据包往返时延/>、通道待传输数据量与传输中数据量的比例/>、边缘网络的吞吐量/>、云边数据传输的平均时延/>四项通信资源消耗指标进行监控，记录下用户满意时的/>，…/>，作为/>调整的依据。由于/>，将/>转化为/>。
对中的三个加权系数进行调优。设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、/>、/>，反向更新参数，
，/>，/>
步骤3，信息系统实际应用过程中，用户对不同类型数据资源的实时性、完整性的需求程度不同，根据用户消费数据资源的情况动态调整数据类型重要度；根据用户对已获取数据资源的未传输字段的需求情况，动态调整数据属性重要度/>，如图3所示。
步骤3.1，记录数据传输日志，提取每条数据的传输成功时间、数据类型/>、已分发节点数/>、已共享用户数/>，经统计分析，加权调整第/>类数据资源/>的/>。考虑分发节点数和共享用户数多的数据类型使用更频繁，重要度更高；传输成功的时间点/>距离当前时间点的间隔/>越短，对应数据类型更重要，设计公式如下，
其中，为专家设计的数据类型重要度初始值，/>分别为时间间隔/>、已分发节点数/>、已共享用户数/>对类型重要度的加权。类似2.1中方法构建这三者的计算公式，
记录用户满意时的一系列，设定上面公式中参数初始值，并利用梯度下降法训练参数，类似2.2.1-2.2.3步骤。
步骤3.2，提供用户对数据资源裁剪字段的进一步获取机制，当用户获取到裁剪的数据资源后，可以提出数据难以满足自身需求，需要更多信息，此时记录下用户对第类数据的进一步需求次数/>，以及浏览第/>类数据的总次数/>。综合所有数据的需求次数和浏览次数，动态调整属性的权重值，尽量保证受限网络通信资源受限的条件下，用户的数据需求能得到满足。构建模型如下，总浏览次数/>，总需求次数/>，最终目的是需求比/>最小。
首先定义第类数据的临界属性/>，其属性重要度/>在小于/>的所有属性中最大。然后将用户提出需求频率/>大于临界值/>的第/>类数据的临界属性/>的/>调至等于，使其不会被裁剪。然后计算需求比/>的变化，根据其变化率/>，表示出属性/>的调整影响，更新需求频率的临界值/>。
下面为一个更具体的例子：
一种受限网络下的数据资源分级传输方法，本实施例考虑信息系统领域的“云-边-端”架构模式，由大后方云中心、临近用户的边中心和末端设备三部分构成。用户在末端设备消费数据资源，云中心根据自身部署的服务和拥有的数据资源，将用户需求的数据资源，发送至边中心，云边之间网络传输资源受限，单位时间内能传输的数据资源不足以支持所有应用产生的全量数据资源进行传输，因此对待传输的数据进行裁剪和筛选。
本方法针对边中心与云中心间网络通信资源受限，与实际信息系统使用场景下云边数据资源高频交互的需求之间的矛盾，设计一种根据网络状态和用户反馈自动调整数据资源分级传输策略的机制，达成用户信息需求和通信资源消耗的平衡。实现上述能力的基础是由专家对信息系统中云边交互的各类数据的属性字段进行一个重要度标记，在传统的数据资源含数据类型、数据名称、数据属性、属性值之上，为每个属性增加一个属性权重的字段，以便后续传输时去掉动态除去重要性较低的字段；之后在云边间开启传输通道进行数据交互时，实时感知数据包的往返时延、通道待传输数据量与传输中数据量的比例、边缘网络的吞吐量、云边数据传输的平均时延，作为分级传输数据的依据，动态调整传输数据属性的级别；最后，当末端用户获取到云上传下来的数据时，允许用户查看裁剪后的数据资源的详情以及被裁剪的字段信息，设计被裁剪字段的按需补充发送机制，并统计用户浏览、需补发数据的情况，作为参数，反向迭代优化数据裁剪机制，实现按用户需求的数据类型、数据字段裁剪策略动态更新。
在具体实施例中，利用大量服务器构建的后方云中心、临近用户侧轻量化部署的边中心、20个作为用户末端的电脑，形成“云-边-端”环境，云边之间使用限制了带宽的无线网络作为通信手段，云边之间交互的数据采用被可能被用户需要的实时气象、地理信息、实时路况、新闻信息、热点信息等。
具体来说，本方法包括以下步骤：
步骤1，为实时气象、地理信息、实时路况、新闻信息、热点信息等类型的数据添加上数据类型重要度和数据属性重要度字段，再由专家根据先验知识，为数据类型重要度和数据属性重要度赋初值，重要度可设定范围为。
步骤2，为构建好的边缘系统设定一个较小的初始传输阈值，设定阈值公式中的初始权重/>均为0.25。/>中的参数根据过去的观察的传输监测结果分别设置为/>、/>、/>、/>、/>、、/>、/>、/>、/>、/>、/>。云边之间的带宽限制为2M/s,云中心部署新闻发布、热点发布、气象发布等服务，末端用户根据自身需求开始浏览信息。数据在云中心和边中心间传输，过程中监控数据包往返时延/>、通道待传输数据量与传输中数据量的比例/>、边缘网络的吞吐量/>、云边数据传输的平均时延/>，系统根据末端用户获取数据的反馈结果，记录下反馈优良的时间点、各项指标及传输阈值，并自动根据记录结果按步骤2中的反向迭代操作调整各参数值。
步骤3，系统在专家定义的实时气象、地理信息、实时路况、新闻信息、热点信息等类型数据的权重值的基础上，根据本次系统启动时输入的运行需要，提高实时气象数据类型和属性权重值初始值，降低其他数据类型的权重值初始值。调整结果如下=0.8、、/>、/>、/>，对应数据的属性值也做相应调整，属性较多不在此详细说明。时间间隔/>、已分发节点数/>、已共享用户数/>的加权参数的初始权重/>也根据系统运行需求，设置为/>，转换公式中的参数根据用户和节点的总数均为20的条件，分别设置为/>、/>、/>、/>、/>、，根据日常检测到传输时延状态，设置/>、/>、/>。系统根据末端用户反馈的数据消费结果、后台记录的数据浏览次数，记录下反馈优良的时间点、数据类型权重和数据属性权重，系统自动根据记录结果按步骤3中的反向迭代操作调整各参数值。最终实现需求比/>在受限带宽下的最小化。
本实施例中搭建了云边端信息系统架构，并在末端用户使用信息系统过程中，进行实时气象、地理信息、实时路况、新闻信息、热点信息等类型数据的自适应传输，裁减掉传输数据的低价值或无用字段，减少云边受限网络的传输压力，提高用户接收与应用数据资源的效率，提高云边数据资源一体化协同应用的能力。
总之，本发明通过对信息系统用于云边交互的各类数据资源进行量化，增加数据类型重要性权重和数据属性重要性权重，以便根据网络状态和用户需求对数据资源裁剪；设计基于网络状态动态调整可传输数据资源重要度阈值的方法，确保能够有效利用云边受限通信资源，在不过多影响服务质量的条件下，优先传输重要度更高的数据资源和数据属性；设计根据用户对数据资源消费情况动态调整数据类型重要度和数据属性重要度的机制，确保更符合用户需求的数据资源能被优先传输。
以上所述的实施例仅为本发明的一种适用方式，但本发明的保护范围并不局限于此。本发明的架构与优化算法已在实施例中详细解释与展示，在没有违背该技术原理的情况下，本发明允许有任何的变化或，都应涵盖在本发明权利要求的保护范围内。
Claims (3)
1.一种受限网络下的数据资源分级传输方法，其特征在于，包括：
步骤S1，将信息系统云边间交互的数据资源表示为数据类型、数据名称、数据属性、属性值构成的集合，对信息系统云边交互的各类数据资源及其字段的重要度进行量化区分，为每种数据类型增加一个类型重要度，为每个数据属性新增一个属性重要度/>；
步骤S2，设置数据传输阈值，感知并分析通信资源消耗相关的指标，包括数据包往返时延/>、通道待传输数据量与传输中数据量的比例/>、边缘网络的吞吐量/>、云边数据传输的平均时延/>，根据这些指标动态调整数据传输阈值/>，只传输/>大于传输阈值/>的数据属性，从而保证传输资源消耗在合理范围内；
步骤S3，记录数据传输日志，提取每条数据的传输成功时间、数据类型/>、已分发节点数/>、已共享用户数/>，经统计分析，加权调整第/>类数据资源/>的/>；根据用户对已获取数据资源的未传输字段的需求情况，动态调整数据的类型重要度/>和属性重要度/>，具体方式为：
设计第类数据资源/>的类型重要度/>的调整公式如下：
其中，为专家设计的类型重要度初始值，每条数据的传输成功时间为/>、数据类型为、已分发节点数为/>、已共享用户数为/>、传输成功的时间点/>距离当前时间点的间隔为，/>分别为时间间隔/>、已分发节点数/>、已共享用户数/>对类型重要度的加权值，/>分别为时间间隔/>、已分发节点数/>、已共享用户数/>对类型重要度的转换函数，设计如下：
其中，、/>、/>分别为/>、/>、/>的最大值，/>、/>、/>为转换公式对应曲线的斜率，/>、/>、/>为转换公式的中心点，/>、/>、/>、/>、/>、/>、/>、/>、/>均通过训练获得；
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、/>、，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、/>、，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
设计数据资源的不同数据属性的分级策略，记录下用户对第类数据的进一步需求次数以及浏览第/>类数据的总次数/>，用户对所有数据的总浏览次数/>，以及总需求次数/>，并计算需求比/>；
定义第类数据的临界属性/>，其属性重要度/>在小于/>的所有属性中最大；将用户提出的需求频率/>大于临界值/>的第/>类数据的临界属性的属性重要度/>调至等于/>，使其不会被裁剪；计算需求比/>的变化，根据其变化率/>，表示出属性/>的调整影响，更新需求频率的临界值/>；系统运行过程中，不断调整临界属性的属性重要度/>，确保用户需要的数据资源在受限网络下会被传输。
2.根据权利要求1所述的一种受限网络下的数据资源分级传输方法，其特征在于，步骤S1中，将信息系统云边间交互的第类数据资源/>表示为/>，其中/>代表该数据的类型，/>代表该数据类型的重要度，/>代表该数据的属性集合，/>，/>为第/>类数据属性的总个数，/>为属性集合/>中的第/>个属性，属性/>由属性名称/>、属性值/>、属性重要度/>表示，即/>；最终，数据资源表示为，其中，数据类型和数据属性的结构基于信息系统云边中心间交互的数据资源的类型来确定，数据类型重要度和数据属性重要度由信息系统专家填充，作为专家输入的先验知识。
3.根据权利要求1所述的一种受限网络下的数据资源分级传输方法，其特征在于，步骤S2中，数据传输阈值的计算方式为：
其中为对应项的权重，/>，/>的初始值均为0.25，后续根据用户反馈调整；
为各参数的转换函数，具体如下：
其中，、/>、/>、/>分别为/>、/>、/>、/>的最大值，/>、/>、/>、/>为转换公式对应曲线的斜率，/>、/>、/>、/>为转换公式的中心点，/>、/>、/>、/>、/>、/>、/>、/>、、/>、/>、/>均通过训练获得；
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、/>、，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、/>、/>，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、/>、，反向更新参数：
，/>，/>
、/>、/>的训练方式为：
采集用户满意时的数据、/>…/>作为训练集，设置参数的初始值分别为：
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、、/>，反向更新参数：
，/>，/>
的调整方式为：
采集用户满意时的参数值，…/>，作为/>调整的依据；由于/>，将/>转化为/>；
设计损失函数：
使用梯度下降法计算损失函数与参数/>的偏导数/>、/>、，反向更新参数：
，/>，/>
根据更新/>。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410341186.0A CN117938766B (zh) | 2024-03-25 | 2024-03-25 | 一种受限网络下的数据资源分级传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410341186.0A CN117938766B (zh) | 2024-03-25 | 2024-03-25 | 一种受限网络下的数据资源分级传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117938766A CN117938766A (zh) | 2024-04-26 |
| CN117938766B true CN117938766B (zh) | 2024-06-04 |
Family
ID=90768744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410341186.0A Active CN117938766B (zh) | 2024-03-25 | 2024-03-25 | 一种受限网络下的数据资源分级传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117938766B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113037877A (zh) * | 2021-05-26 | 2021-06-25 | 深圳大学 | 云边端架构下时空数据及资源调度的优化方法 |
| CN114219074A (zh) * | 2021-12-14 | 2022-03-22 | 西安电子科技大学 | 一种按需动态调整的无线通信网络资源分配算法 |
| CN117135131A (zh) * | 2023-08-24 | 2023-11-28 | 北京计算机技术及应用研究所 | 一种面向云边协同场景的任务资源需求感知方法 |
| CN117560327A (zh) * | 2023-12-27 | 2024-02-13 | 北方信息控制研究院集团有限公司 | 受限网络下面向突发流量的服务质量调整方法 |
| WO2024052888A2 (en) * | 2022-09-10 | 2024-03-14 | Strong Force Ee Portfolio 2022, Llc | Ai-based energy edge platform, systems, and methods |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9065779B2 (en) * | 2009-06-12 | 2015-06-23 | Wi-Lan Labs, Inc. | Systems and methods for prioritizing and scheduling packets in a communication network |
-
2024
- 2024-03-25 CN CN202410341186.0A patent/CN117938766B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113037877A (zh) * | 2021-05-26 | 2021-06-25 | 深圳大学 | 云边端架构下时空数据及资源调度的优化方法 |
| CN114219074A (zh) * | 2021-12-14 | 2022-03-22 | 西安电子科技大学 | 一种按需动态调整的无线通信网络资源分配算法 |
| WO2024052888A2 (en) * | 2022-09-10 | 2024-03-14 | Strong Force Ee Portfolio 2022, Llc | Ai-based energy edge platform, systems, and methods |
| CN117135131A (zh) * | 2023-08-24 | 2023-11-28 | 北京计算机技术及应用研究所 | 一种面向云边协同场景的任务资源需求感知方法 |
| CN117560327A (zh) * | 2023-12-27 | 2024-02-13 | 北方信息控制研究院集团有限公司 | 受限网络下面向突发流量的服务质量调整方法 |
Non-Patent Citations (1)
| Title |
|---|
| 关于LEO卫星Wi-Fi网络吞吐量的分析;何雯;陶孝锋;任德锋;;空间电子技术;20180825(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117938766A (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111447083B (zh) | 动态带宽和不可靠网络下的联邦学习架构及其压缩算法 | |
| He et al. | QoE-driven content-centric caching with deep reinforcement learning in edge-enabled IoT | |
| CN107566194B (zh) | 一种实现跨域虚拟网络映射的方法 | |
| CN110955463B (zh) | 支持边缘计算的物联网多用户计算卸载方法 | |
| CN109831808B (zh) | 一种基于机器学习的混合供电c-ran的资源分配方法 | |
| CN111381971A (zh) | 一种基于Nginx的动态权重负载均衡方法 | |
| CN110798858A (zh) | 基于代价效率的分布式任务卸载方法 | |
| US8886615B2 (en) | Web service performance optimization by adaptively using compression | |
| CN110324260B (zh) | 一种基于流量识别的网络功能虚拟化智能调度方法 | |
| CN115665227B (zh) | 一种普适的异构融合算网资源智慧适配网络架构及方法 | |
| CN106998353A (zh) | 一种内容中心网络中文件的最优缓存配置方法 | |
| CN114465945B (zh) | 一种基于sdn的标识解析网络构建方法 | |
| CN107734482A (zh) | 基于d2d和业务卸载的内容分发方法 | |
| CN113472420B (zh) | 一种基于区域用户兴趣感知的卫星网络缓存放置方法 | |
| CN117938766B (zh) | 一种受限网络下的数据资源分级传输方法 | |
| CN112804702B (zh) | 基于效用函数的多链路空地数据交换链路性能评估方法 | |
| Cardoso et al. | Adaptive fuzzy flow rate control considering multifractal traffic modeling and 5G communications | |
| CN117560327A (zh) | 受限网络下面向突发流量的服务质量调整方法 | |
| CN112867092A (zh) | 一种面向移动边缘计算网络的数据智能路由方法 | |
| CN113472843A (zh) | 一种基于贪婪算法的MQTT协议QoS机制选择方法 | |
| CN112887943A (zh) | 一种基于中心度的缓存资源分配方法及系统 | |
| CN110661566A (zh) | 一种采用深度图嵌入的无人机集群组网方法与系统 | |
| CN116249162A (zh) | 车载边缘网络中基于深度强化学习的协作缓存方法 | |
| CN115587266A (zh) | 一种空天地一体化互联网智能边缘缓存方法 | |
| Hussein et al. | Data aggregation algorithms with multiple sensors in clustered-based WSN/IoT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |