CN118138640B - 一种云平台用户数据传输优化系统及方法 - Google Patents
一种云平台用户数据传输优化系统及方法 Download PDFInfo
- Publication number
- CN118138640B CN118138640B CN202410555225.7A CN202410555225A CN118138640B CN 118138640 B CN118138640 B CN 118138640B CN 202410555225 A CN202410555225 A CN 202410555225A CN 118138640 B CN118138640 B CN 118138640B
- Authority
- CN
- China
- Prior art keywords
- data
- state
- representing
- user
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005457 optimization Methods 0.000 title claims abstract description 22
- 230000006399 behavior Effects 0.000 claims abstract description 56
- 238000007906 compression Methods 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 18
- 230000002787 reinforcement Effects 0.000 claims abstract description 16
- 230000006835 compression Effects 0.000 claims abstract description 15
- 230000009471 action Effects 0.000 claims description 94
- 230000006870 function Effects 0.000 claims description 52
- 230000001186 cumulative effect Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000013480 data collection Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000013144 data compression Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 4
- 238000012300 Sequence Analysis Methods 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012731 temporal analysis Methods 0.000 claims description 3
- 238000000700 time series analysis Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000009977 dual effect Effects 0.000 claims 1
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明公开了一种云平台用户数据传输优化系统及方法，包括如下步骤：S1、采集用户行为数据和网络状态信息；S2、使用深度强化学习模型分析用户行为数据和网络状态信息，预测用户未来的数据请求；S3、根据预测结果，将预计会被请求的数据缓存至距用户最近的边缘计算节点；S4当用户实际发起数据请求时，通过边缘计算节点直接响应该请求，减少数据从云中心到用户端的传输时间；S5、对于需要从云中心传输到边缘节点的数据，采用Brotli压缩技术对数据进行压缩。本发明显著提高了数据传输的效率和稳定性。
Description
技术领域
本发明涉及数据传输技术领域，尤其涉及一种云平台用户数据传输优化系统及方法。
背景技术
随着云计算和边缘计算技术的迅速发展，用户对云平台服务的数据传输速度和稳定性要求越来越高。传统的云服务平台在处理大文件和高清视频传输时常面临网络拥堵、数据传输延迟高以及传输效率低下等问题。尤其是在高峰期，数据传输的瓶颈问题更加明显，直接影响到用户的在线体验和服务满意度。此外，随着数据安全和隐私保护意识的提升，如何在保障数据传输效率的同时，确保数据的安全性和隐私不被侵犯，也成为了一个亟待解决的技术难题。
现有技术主要依靠传统的数据压缩方法和静态的数据缓存策略来尝试解决这些问题，但这些方法往往无法有效适应网络状态的动态变化，也难以针对用户行为进行个性化的数据传输优化。此外，随着物联网(IoT)设备的普及和5G通信技术的推广，数据生成和消费的地点越来越分散，使得数据处理和传输的复杂度大大增加，对数据传输系统提出了更高的要求。
在这一背景下，传统的云服务架构，依赖于中央处理和存储的模式，已经难以满足用户对实时性、可靠性和安全性的综合要求。用户体验的提升不仅仅取决于数据传输的速度，还包括数据处理的及时性、系统的可用性以及服务的个性化水平。因此，需要一种新的技术方案，能够智能地管理和调度数据流，根据实时的网络状况和用户需求动态调整数据传输和处理策略，同时确保数据的安全和隐私得到有效保护。
具体来说，亟需解决的技术问题包括：1.动态数据传输优化：如何根据实时网络状况和用户行为模式，动态优化数据传输路径和策略，以减少延迟和提高传输效率。2.智能数据缓存策略：如何利用边缘计算技术，根据用户地理位置和访问模式，智能地选择数据缓存的位置和策略，以减少用户访问数据的等待时间。3.高效数据压缩算法：如何采用高效的数据压缩算法，平衡数据传输的效率和质量，特别是对于大规模数据和高清视频内容的传输。4.数据安全与隐私保护：在优化数据传输效率的同时，如何采取有效措施保护数据的安全和用户的隐私，特别是在数据跨越不同地理区域传输时。
解决上述问题，不仅可以显著提高云平台服务的性能和用户满意度，还可以为云计算和边缘计算的发展开辟新的应用场景，推动智能互联网服务的进步。
发明内容
本发明的一个目的在于提出一种云平台用户数据传输优化系统及方法，本发明通过综合运用深度学习、数据压缩技术、边缘计算以及动态路由优化技术，提出了一种云平台用户数据传输优化系统及方法，充分利用了深度强化学习（DRL）预测性缓存、Brotli压缩技术、边缘计算加速和自适应流量管理等先进技术，显著提高了数据传输的效率和稳定性。
根据本发明实施例的一种云平台用户数据传输优化系统及方法，包括如下步骤：
S1、采集用户行为数据和网络状态信息；
S2、使用深度强化学习模型分析用户行为数据和网络状态信息，预测用户未来的数据请求；
S3、根据预测结果，将预计会被请求的数据缓存至距用户最近的边缘计算节点；
S4、当用户实际发起数据请求时，通过边缘计算节点直接响应该请求；
S5、对于需要从云中心传输到边缘节点的数据，采用Brotli压缩技术对数据进行压缩。
可选的，所述S1具体包括：
S11、通过在用户设备上部署数据收集模块，实时监控用户的互动行为，包括点击
频率、页面访问顺序、停留时间以及请求数据的种类，用表示第次用户行为数据；
S12、采集与用户设备相关的网络状态信息，网络状态信息包括网络延迟、带
宽使用率和网络类型；
S13、将收集到的用户行为数据和网络状态信息,发送至数据处理中
心，进行初步分析，识别用户行为模式和网络使用模式；
S14、利用时间序列分析方法对用户行为数据进行趋势分析，预测用户未来可
能的行为和请求，其中时间序列分析包括移动平均、指数平滑技术；
S15、结合网络状态信息（,）和用户行为数据的分析结果，通过构建
用户行为和网络状况的综合模型，来优化数据缓存和传输策略。
可选的，所述S2具体包括：
S21、定义深度强化学习模型的输入层，接收用户行为数据和网络状态信息（,）作为特征输入，其中为第i次用户行为数据，用户行为数据包括点击频率、
页面访问顺序；
S22、设定状态空间，其中每个状态代表当前环境的一个具体情况，包括
用户的行为模式和网络状况；
S23、构建动作空间，每个动作对应一种或多种数据预缓存决策，动作
被设计为基于当前状态，预测用户未来可能请求的数据，指导数据的预缓存至边缘计算
节点；
S24、定义奖励函数，评估在状态下执行动作的效果：
；
其中代表预测准确度，代表数据传输延迟，和是权重系数，用来平衡
各因素的重要性，衡量了从状态通过动作转移到状态的不确定性，
是一个权重系数，用于调节不确定性对奖励的影响；
状态价值函数和动作价值函数分别代表在某状态和在某状态下
采取某动作的期望回报，进一步引入策略的概率分布：
；
；
其中，是在策略下的状态价值函数，表示如果从状态开始并且遵循策
略行动，所期望得到的累计回报，表示在策略下，给定当前状态为
时，从时间开始的预期累计回报，是从时间开始的累积回报，这代表在时间的
状态，是一个求和符号，表示对所有可能的动作进行求和，是策略函数，定义
在状态下采取动作的概率，是在策略下的动作价值函数，表示如果在状态
下采取动作并且继续遵循策略行动，所期望得到的累计回报，这是奖励函
数，表示在状态下采取动作时获得的即时奖励，是折扣因子，介于0和1之间的数，用
于减少未来奖励的当前价值，是一个求和符号，表示对所有可能的后继状态进行求
和，这是状态转移概率，表示在状态下采取动作后转移到状态的概率，
表示学习率，用于调节Q值更新的步长，代表下一个状态，是在执行动作之后所到达的
新状态；
通过引入Bellman最优方程，对函数进行迭代更新，求得最优策略：
；
其中，代表在状态下采取动作获得的最大期望回报，是在新状
态下可能采取的动作，表示在状态下采取动作的情况下，期望获得
的最大回报的估计值；
推导出：
；
其中，在状态下采取动作的当前估计的值，表示执行
动作在状态下获得的即时奖励，表示在状态下采取动作转移到状态
的概率，表示执行动作a从状态s转移到状态的环境状态变化的不确定性度
量，为的权重系数，是一个介于0和1之间的参数，代表学习速率；
S25、实施经验回放机制，随机抽取历史转换进行训练，其中代表
执行动作后的新状态；
S26、应用双重深度Q网络算法进行模型训练，通过迭代更新网络参数，优化最小化实际奖励与预期奖励之间的差异并通过不断优化策略来达到最大化长期奖励。
可选的，所述S26具体包括：
S261、初始化主网络和目标网络,使用主网络学习并预测动作值函数，使用目标网络稳定学习过程中的目标值；
S262、定义动作值函数，其中表示当前状态，表示执行的动作，
表示主网络的参数,动作值函数预测执行动作在状态下的期望回报；
S263、在每一步迭代中，根据当前策略从主网络中选择动作,策略、基于贪心算法，选择使最大化的动作；
S264、执行选择的动,观察新状态和奖励，进行存储转换在经
验回放池中；
S265、从经验回放池中随机采样一批转换，对于每一个转换，使用目
标网络计算目标值，其计算公式为：
；
其中，是折扣因子，表示未来奖励的当前价值；表示目标网络的参数。
可选的，所述S3具体包括：
S31、基于深度强化学习模型的预测结果，确定出用户可能会请求的数据集合
，其中包含了预测将被请求的各项数据；
S32、计算每个数据项的优先级：
；
其中，表示数据项的优先级分数，表示数据项被请求的
概率，表示数据项对用户的重要性，表示数据项的更新频率，
表示数据项的大小；
S33、根据计算得出的优先级，选取一部分优先级最高的数据项组成数据子
集用于缓存；
S34、根据用户的地理位置信息和网络连接状态，选择一个最适合的边缘计算节点；
S35、将数据子集缓存到选定的边缘计算节点上，优化数据请求
响应时间。
可选的，所述S4具体包括：
S41、监听用户端发起的数据请求，并识别请求的数据项；
S42、检查距离用户最近的边缘计算节点的缓存中，是否存在请求的数据
项；
S43、如果数据项存在于边缘计算节点的缓存中，立即从节点直接向
用户端发送请求的数据项，利用表达式计算响应时间，其中代表从用户请求数据到接收到数据的总时间，代表从边缘计算节点
响应数据的时间；
S44、当数据项存在于边缘计算节点的缓存中，则边缘计算节点将请
求转发至云中心或其他含有数据项的边缘节点，再由云中心或该边缘节点向用户端发
送请求的数据项，此时响应时间为：
；
其中，表示从边缘计算节点直接响应数据的基础时间，表示
从云中心或其他边缘节点传输数据所需的额外时间，是一个指示函数，当数据项在边缘节点缓存中，则为1，否则为0，根据当前网络状况和边缘节点的缓存
利用率动态调整。
可选的，所述S5具体包括：
S51、识别待传输数据集，其中每个数据项标记为；
S52、对每个应用Brotli算法进行压缩，得到压缩后的数据项压缩过程表示
为：
；
S53、计算压缩效率，评估压缩前后数据大小的变化：
；
其中，表示数据项的大小；
S54、基于和当前网络状态，通过决策是直接传输原数据还是压缩后的数据，优化网络使用和传输效率；
S55、将或从云中心传输至选定的边缘节点，记录该过程的时间；
S56、边缘节点收到后，执行解压操作，恢复为原始数据供后续使用。
可选的，包括如下模块：
数据收集模块：负责采集用户行为数据以及网络状态信息（,），数据
收集模块通过在用户设备和网络节点上实时监控和记录用户的互动行为及网络状况，为深
度学习模型提供必要的输入数据；
深度强化学习模型：核心分析单元，用于处理收集的数据和网络状态信息（,），预测用户未来的数据请求；
数据压缩与传输模块：利用Brotli压缩技术对需要从云中心传输至边缘节点的数据进行压缩；
缓存管理单元：根据DRL模型的预测结果，选择优先级最高的数据子集进
行缓存至最适边缘计算节点；
响应与路由优化系统：当用户发起数据请求时，检查最近的边缘计算节点
的缓存中是否存在请求的数据；
用户与网络监控界面：提供实时反馈和可视化的用户行为和网络状态信息，并根据需要调整数据传输和缓存策略。
本发明的有益效果是：
1.降低数据传输延迟：通过预测性缓存机制，根据用户行为和数据访问模式预测未来请求，提前将数据缓存至边缘节点，显著减少了用户请求数据的响应时间。
2.提高传输效率：利用Brotli压缩技术，优化了数据传输量与质量的平衡，特别是在大文件和高清视频传输方面，有效减轻了网络拥堵。
3.增强网络稳定性：通过边缘计算加速和动态路由优化，根据实时网络状况调整传输路径，确保数据快速、安全地送达用户，提高了网络的稳定性。
4.保障数据安全与隐私：在边缘节点进行数据处理和加密，最小化了敏感数据在公网上的传输，降低了数据泄露风险，增强了数据传输的安全性和用户隐私保护。
综上所述，本发明不仅提升了数据传输的速度和效率，还通过智能化的数据处理和传输策略，有效应对了网络拥堵和数据安全隐患，为提升用户的在线体验和满意度提供了坚实的技术支持。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1展示了云平台用户体验数据传输优化系统的整体架构图，描绘了从数据收集、处理到最终响应用户请求的整个流程；
图2为深度强化学习模型在预测用户数据请求中的应用流程图，详细说明了从数据收集、模型训练到预测结果输出的步骤。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
参考图1，一种云平台用户数据传输优化系统及方法，包括如下步骤：
S1、采集用户行为数据和网络状态信息；
本实施方式中，所述S1具体包括：
S11、通过在用户设备上部署数据收集模块，实时监控用户的互动行为，包括点击
频率、页面访问顺序、停留时间以及请求数据的种类，用表示第次用户行为数据；
S12、采集与用户设备相关的网络状态信息，网络状态信息包括网络延迟、带
宽使用率和网络类型；
S13、将收集到的用户行为数据和网络状态信息,发送至数据处理中
心，进行初步分析，识别用户行为模式和网络使用模式；
S14、利用时间序列分析方法对用户行为数据进行趋势分析，预测用户未来可
能的行为和请求，其中时间序列分析包括移动平均、指数平滑技术；
S15、结合网络状态信息（,）和用户行为数据的分析结果，通过构建
用户行为和网络状况的综合模型，来优化数据缓存和传输策略。
S2、使用深度强化学习模型分析用户行为数据和网络状态信息，预测用户未来的数据请求；
本实施方式中，所述S2具体包括：
S21、定义深度强化学习模型的输入层，接收用户行为数据和网络状态信息（,）作为特征输入，其中为第i次用户行为数据，用户行为数据包括点击频率、
页面访问顺序；
S22、设定状态空间，其中每个状态代表当前环境的一个具体情况，包括
用户的行为模式和网络状况；
S23、构建动作空间，每个动作对应一种或多种数据预缓存决策，动作
被设计为基于当前状态，预测用户未来可能请求的数据，指导数据的预缓存至边缘计算
节点；
S24、定义奖励函数，评估在状态下执行动作的效果：
；
其中代表预测准确度，代表数据传输延迟，和是权重系数，用来平衡
各因素的重要性，衡量了从状态通过动作转移到状态的不确定性，
是一个权重系数，用于调节不确定性对奖励的影响；
状态价值函数和动作价值函数分别代表在某状态和在某状态下
采取某动作的期望回报，进一步引入策略的概率分布：
；
；
其中，是在策略下的状态价值函数，表示如果从状态开始并且遵循策
略行动，所期望得到的累计回报，表示在策略下，给定当前状态为
时，从时间开始的预期累计回报，是从时间开始的累积回报，这代表在时间的
状态，是一个求和符号，表示对所有可能的动作进行求和，是策略函数，定义
在状态下采取动作的概率，是在策略下的动作价值函数，表示如果在状态下采取动作并且继续遵循策略行动，所期望得到的累计回报，这是奖励函
数，表示在状态下采取动作时获得的即时奖励，是折扣因子，介于0和1之间的数，用
于减少未来奖励的当前价值，是一个求和符号，表示对所有可能的后继状态进行求
和，这是状态转移概率，表示在状态下采取动作后转移到状态的概率，
表示学习率，用于调节Q值更新的步长，代表下一个状态，是在执行动作之后所到达的
新状态；
通过引入Bellman最优方程，对函数进行迭代更新，求得最优策略：
；
其中，代表在状态下采取动作获得的最大期望回报，是在新状
态下可能采取的动作，表示在状态下采取动作的情况下，期望获得
的最大回报的估计值；
推导出：
；
其中，在状态下采取动作的当前估计的值，表示执行
动作a在状态s下获得的即时奖励，表示在状态下采取动作转移到状态的
概率，表示执行动作从状态转移到状态的环境状态变化的不确定性度
量，为的权重系数，是一个介于0和1之间的参数，代表学习速率；
S25、实施经验回放机制，随机抽取历史转换进行训练，其中代表
执行动作后的新状态；
S26、应用双重深度Q网络算法进行模型训练，通过迭代更新网络参数，优化最小化实际奖励与预期奖励之间的差异并通过不断优化策略来达到最大化长期奖励。
本实施方式中，所述S26具体包括：
S261、初始化主网络和目标网络,使用主网络学习并预测动作值函数，使用目标网络稳定学习过程中的目标值；
S262、定义动作值函数，其中表示当前状态，表示执行的动作，
表示主网络的参数,动作值函数预测执行动作在状态下的期望回报；
S263、在每一步迭代中，根据当前策略从主网络中选择动作,策略、基于贪心算法，选择使最大化的动作；
S264、执行选择的动,观察新状态和奖励，进行存储转换在经
验回放池中；
S265、从经验回放池中随机采样一批转换，对于每一个转换，使用目
标网络计算目标值，其计算公式为：
；
其中，是折扣因子，表示未来奖励的当前价值；表示目标网络的参数。
S3、根据预测结果，将预计会被请求的数据缓存至距用户最近的边缘计算节点；
本实施方式中，所述S3具体包括：
S31、基于深度强化学习模型的预测结果，确定出用户可能会请求的数据集合
，其中包含了预测将被请求的各项数据；
S32、计算每个数据项的优先级：
；
其中，表示数据项的优先级分数，表示数据项被请求的
概率，表示数据项对用户的重要性，表示数据项的更新频率，
表示数据项的大小；
S33、根据计算得出的优先级，选取一部分优先级最高的数据项组成数据子
集用于缓存；
S34、根据用户的地理位置信息和网络连接状态，选择一个最适合的边缘计算节点；
S35、将数据子集缓存到选定的边缘计算节点上，优化数据请求
响应时间。
S4、当用户实际发起数据请求时，通过边缘计算节点直接响应该请求，减少数据从云中心到用户端的传输时间；
本实施方式中，所述S4具体包括：
S41、监听用户端发起的数据请求，并识别请求的数据项；
S42、检查距离用户最近的边缘计算节点的缓存中，是否存在请求的数据
项；
S43、如果数据项存在于边缘计算节点的缓存中，立即从节点直接向
用户端发送请求的数据项，利用表达式计算响应时间，其中代表从用户请求数据到接收到数据的总时间，代表从边缘计算节点
响应数据的时间；
S44、当数据项存在于边缘计算节点的缓存中，则边缘计算节点将请
求转发至云中心或其他含有数据项的边缘节点，再由云中心或该边缘节点向用户端发
送请求的数据项，此时响应时间为：
；
其中，表示从边缘计算节点直接响应数据的基础时间，表示
从云中心或其他边缘节点传输数据所需的额外时间，是一个指示函数，当数据项在边缘节点缓存中，则为1，否则为0，根据当前网络状况和边缘节点的缓存
利用率动态调整。
S5、对于需要从云中心传输到边缘节点的数据，采用Brotli压缩技术对数据进行压缩。
本实施方式中，所述S5具体包括：
S51、识别待传输数据集，其中每个数据项标记为；
S52、对每个应用Brotli算法进行压缩，得到压缩后的数据项压缩过程表示
为：
；
S53、计算压缩效率，评估压缩前后数据大小的变化：
；
其中，表示数据项的大小；
S54、基于和当前网络状态，通过决策是直接传输原数据还是压缩后的数据，优化网络使用和传输效率；
S55、将或从云中心传输至选定的边缘节点，记录该过程的时间；
S56、边缘节点收到后，执行解压操作，恢复为原始数据供后续使用。
可选的，包括如下模块：
数据收集模块：负责采集用户行为数据以及网络状态信息（,），数据
收集模块通过在用户设备和网络节点上实时监控和记录用户的互动行为及网络状况，为深
度学习模型提供必要的输入数据；
深度强化学习模型：核心分析单元，用于处理收集的数据和网络状态信息（,），预测用户未来的数据请求；
数据压缩与传输模块：利用Brotli压缩技术对需要从云中心传输至边缘节点的数据进行压缩；
缓存管理单元：根据DRL模型的预测结果，选择优先级最高的数据子集进
行缓存至最适边缘计算节点；
响应与路由优化系统：当用户发起数据请求时，检查最近的边缘计算节点
的缓存中是否存在请求的数据；
用户与网络监控界面：提供实时反馈和可视化的用户行为和网络状态信息，并根据需要调整数据传输和缓存策略。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种云平台用户数据传输优化方法，其特征在于，包括如下步骤：
S1、采集用户行为数据和网络状态信息；
S2、使用深度强化学习模型分析用户行为数据和网络状态信息，预测用户未来的数据请求；
所述S2具体包括：
S21、定义深度强化学习模型的输入层，接收用户行为数据和网络延迟、带宽使用率作为特征输入，其中为第i次用户行为数据，用户行为数据包括点击频率、页面访问顺序；
S22、设定状态空间，其中每个状态代表当前环境的一个具体情况，包括用户的行为模式和网络状况；
S23、构建动作空间，每个动作对应一种或多种数据预缓存决策，动作被设计为基于当前状态，预测用户未来可能请求的数据，指导数据的预缓存至边缘计算节点；
S24、定义奖励函数，评估在状态下执行动作的效果：
；
其中代表预测准确度，代表数据传输延迟，和是权重系数，用来平衡各因素的重要性，衡量了从状态通过动作转移到状态的不确定性，是一个权重系数，用于调节不确定性对奖励的影响；
状态价值函数和动作价值函数分别代表在某状态和在某状态下采取某动作的期望回报，进一步引入策略的概率分布：
；
；
其中，是在策略下的状态价值函数，表示如果从状态开始并且遵循策略行动，所期望得到的累计回报，表示在策略下，给定当前状态为时，从时间开始的预期累计回报，是从时间开始的累积回报，这代表在时间的状态，是一个求和符号，表示对所有可能的动作进行求和，是策略函数，定义在状态下采取动作的概率，是在策略下的动作价值函数，表示如果在状态下采取动作并且继续遵循策略行动，所期望得到的累计回报，这是奖励函数，表示在状态下采取动作时获得的即时奖励，是折扣因子，介于0和1之间的数，用于减少未来奖励的当前价值，是一个求和符号，表示对所有可能的后继状态进行求和，这是状态转移概率，表示在状态下采取动作后转移到状态的概率，表示学习率，用于调节Q值更新的步长，代表下一个状态，是在执行动作之后所到达的新状态；
通过引入Bellman最优方程，对函数进行迭代更新，求得最优策略：
；
其中，代表在状态下采取动作获得的最大期望回报，是在新状态下可能采取的动作，表示在状态下采取动作的情况下，期望获得的最大回报的估计值；
推导出：
；
其中，在状态下采取动作的当前估计的Q值，表示执行动作a在状态s下获得的即时奖励，表示在状态下采取动作转移到状态的概率，表示执行动作从状态转移到状态的环境状态变化的不确定性度量，为的权重系数，是一个介于0和1之间的参数，代表学习速率；
S25、实施经验回放机制，随机抽取历史转换进行训练，其中代表执行动作后的新状态；
S26、应用双重深度Q网络算法进行模型训练，通过迭代更新网络参数，优化最小化实际奖励与预期奖励之间的差异并通过不断优化策略来达到最大化长期奖励；
S3、根据预测结果，将预计会被请求的数据缓存至距用户最近的边缘计算节点；
S4、当用户实际发起数据请求时，通过边缘计算节点直接响应该请求；
S5、对于需要从云中心传输到边缘节点的数据，采用Brotli压缩技术对数据进行压缩。
2.根据权利要求1所述的一种云平台用户数据传输优化方法，其特征在于，所述S1具体包括：
S11、通过在用户设备上部署数据收集模块，实时监控用户的互动行为，包括点击频率、页面访问顺序、停留时间以及请求数据的种类，用表示第次用户行为数据；
S12、采集与用户设备相关的网络状态信息，网络状态信息包括网络延迟、带宽使用率和网络类型；
S13、将收集到的用户行为数据和网络状态信息,发送至数据处理中心，进行初步分析，识别用户行为模式和网络使用模式；
S14、利用时间序列分析方法对用户行为数据进行趋势分析，预测用户未来可能的行为和请求，其中时间序列分析包括移动平均、指数平滑技术；
S15、结合网络状态信息,和用户行为数据的分析结果，构建用户行为和网络状况的综合模型。
3.根据权利要求1所述的一种云平台用户数据传输优化方法，其特征在于，所述S26具体包括：
S261、初始化主网络和目标网络,使用主网络学习并预测动作值函数，使用目标网络稳定学习过程中的目标值；
S262、定义动作值函数，其中表示当前状态，表示执行的动作，表示主网络的参数,动作值函数预测执行动作在状态下的期望回报；
S263、在每一步迭代中，根据当前策略从主网络中选择动作,策略、基于贪心算法，选择使最大化的动作；
S264、执行选择的动,观察新状态和奖励，进行存储转换在经验回放池中；
S265、从经验回放池中随机采样一批转换，对于每一个转换，使用目标网络计算目标值，其计算公式为：
；
其中，是折扣因子，表示未来奖励的当前价值；表示目标网络的参数。
4.根据权利要求1所述的一种云平台用户数据传输优化方法，其特征在于，所述S3具体包括：
S31、基于深度强化学习模型的预测结果，确定出用户可能会请求的数据集合，其中包含了预测将被请求的各项数据；
S32、计算每个数据项的优先级：
；
其中，表示数据项的优先级分数，表示数据项被请求的概率，表示数据项对用户的重要性，表示数据项的更新频率，表示数据项的大小；
S33、根据计算得出的优先级，选取一部分优先级最高的数据项组成数据子集用于缓存；
S34、根据用户的地理位置信息和网络连接状态，选择一个最适合的边缘计算节点；
S35、将数据子集缓存到选定的边缘计算节点上，优化数据请求响应时间。
5.根据权利要求1所述的一种云平台用户数据传输优化方法，其特征在于，所述S4具体包括：
S41、监听用户端发起的数据请求，并识别请求的数据项；
S42、检查距离用户最近的边缘计算节点的缓存中，是否存在请求的数据项；
S43、如果数据项存在于边缘计算节点的缓存中，立即从节点直接向用户端发送请求的数据项，利用表达式计算响应时间，其中代表从用户请求数据到接收到数据的总时间，代表从边缘计算节点响应数据的时间；
S44、当数据项存在于边缘计算节点的缓存中，则边缘计算节点将请求转发至云中心或其他含有数据项的边缘节点，再由云中心或该边缘节点向用户端发送请求的数据项，此时响应时间为：
；
其中，表示从边缘计算节点直接响应数据的基础时间，表示从云中心或其他边缘节点传输数据所需的额外时间，是一个指示函数，当数据项在边缘节点缓存中，则为1，否则为0，根据当前网络状况和边缘节点的缓存利用率动态调整。
6.根据权利要求1所述的一种云平台用户数据传输优化方法，其特征在于，所述S5具体包括：
S51、识别待传输数据集，其中每个数据项标记为；
S52、对每个应用Brotli算法进行压缩，得到压缩后的数据项压缩过程表示为：
；
S53、计算压缩效率，评估压缩前后数据大小的变化：
；
其中，表示数据项的大小；
S54、基于和当前网络状态，通过决策是直接传输原数据还是压缩后的数据，优化网络使用和传输效率；
S55、将或从云中心传输至选定的边缘节点，记录该过程的时间；
S56、边缘节点收到后，执行解压操作，恢复为原始数据供后续使用。
7.一种云平台用户体验数据传输优化方法的系统，其特征在于，包括如下模块：
数据收集模块：负责采集用户行为数据以及网络延迟、带宽使用率，数据收集模块通过在用户设备和网络节点上实时监控和记录用户的互动行为及网络状况，为深度学习模型提供必要的输入数据；
深度强化学习模型：核心分析单元，用于处理收集的数据和网络延迟、带宽使用率，预测用户未来的数据请求；
数据压缩与传输模块：利用Brotli压缩技术对需要从云中心传输至边缘节点的数据进行压缩；
缓存管理单元：根据DRL模型的预测结果，选择优先级最高的数据子集进行缓存至最适边缘计算节点；
响应与路由优化系统：当用户发起数据请求时，检查最近的边缘计算节点的缓存中是否存在请求的数据；
用户与网络监控界面：提供实时反馈和可视化的用户行为和网络状态信息，并根据需要调整数据传输和缓存策略；
预测用户未来的数据请求具体包括：
定义深度强化学习模型的输入层，接收用户行为数据和网络延迟、带宽使用率作为特征输入，其中为第i次用户行为数据，用户行为数据包括点击频率、页面访问顺序；
设定状态空间，其中每个状态代表当前环境的一个具体情况，包括用户的行为模式和网络状况；
构建动作空间，每个动作对应一种或多种数据预缓存决策，动作被设计为基于当前状态，预测用户未来可能请求的数据，指导数据的预缓存至边缘计算节点；
定义奖励函数，评估在状态下执行动作的效果：
；
其中代表预测准确度，代表数据传输延迟，和是权重系数，用来平衡各因素的重要性，衡量了从状态通过动作转移到状态的不确定性，是一个权重系数，用于调节不确定性对奖励的影响；
状态价值函数和动作价值函数分别代表在某状态和在某状态下采取某动作的期望回报，进一步引入策略的概率分布：
；
；
其中，是在策略下的状态价值函数，表示如果从状态开始并且遵循策略行动，所期望得到的累计回报，表示在策略下，给定当前状态为时，从时间开始的预期累计回报，是从时间开始的累积回报，这代表在时间的状态，是一个求和符号，表示对所有可能的动作进行求和，是策略函数，定义在状态下采取动作的概率，是在策略下的动作价值函数，表示如果在状态下采取动作并且继续遵循策略行动，所期望得到的累计回报，这是奖励函数，表示在状态下采取动作时获得的即时奖励，是折扣因子，介于0和1之间的数，用于减少未来奖励的当前价值，是一个求和符号，表示对所有可能的后继状态进行求和，这是状态转移概率，表示在状态下采取动作后转移到状态的概率，表示学习率，用于调节Q值更新的步长，代表下一个状态，是在执行动作之后所到达的新状态；
通过引入Bellman最优方程，对函数进行迭代更新，求得最优策略：
；
其中，代表在状态下采取动作获得的最大期望回报，是在新状态下可能采取的动作，表示在状态下采取动作的情况下，期望获得的最大回报的估计值；
推导出：
；
其中，在状态下采取动作的当前估计的Q值，表示执行动作a在状态s下获得的即时奖励，表示在状态下采取动作转移到状态的概率，表示执行动作从状态转移到状态的环境状态变化的不确定性度量，为的权重系数，是一个介于0和1之间的参数，代表学习速率；
实施经验回放机制，随机抽取历史转换进行训练，其中代表执行动作后的新状态；
应用双重深度Q网络算法进行模型训练，通过迭代更新网络参数，优化最小化实际奖励与预期奖励之间的差异并通过不断优化策略来达到最大化长期奖励。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410555225.7A CN118138640B (zh) | 2024-05-07 | 一种云平台用户数据传输优化系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410555225.7A CN118138640B (zh) | 2024-05-07 | 一种云平台用户数据传输优化系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118138640A CN118138640A (zh) | 2024-06-04 |
| CN118138640B true CN118138640B (zh) | 2024-07-02 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108632860A (zh) * | 2018-04-17 | 2018-10-09 | 浙江工业大学 | 一种基于深度强化学习的移动边缘计算速率最大化方法 |
| CN110213097A (zh) * | 2019-05-31 | 2019-09-06 | 浙江大学 | 一种基于资源动态分配的边缘服务供应优化方法 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108632860A (zh) * | 2018-04-17 | 2018-10-09 | 浙江工业大学 | 一种基于深度强化学习的移动边缘计算速率最大化方法 |
| CN110213097A (zh) * | 2019-05-31 | 2019-09-06 | 浙江大学 | 一种基于资源动态分配的边缘服务供应优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Energy-latency tradeoffs for edge caching and dynamic service migration based on DQN in mobile edge computing | |
| CN111641681A (zh) | 基于边缘计算和深度强化学习的物联网服务卸载决策方法 | |
| CN108446382B (zh) | 用于推送信息的方法和装置 | |
| CN112422644B (zh) | 计算任务卸载方法及系统、电子设备和存储介质 | |
| CN113315978B (zh) | 一种基于联邦学习的协作式在线视频边缘缓存方法 | |
| CN104583950A (zh) | 数据网络中的动态服务类升级 | |
| CN113568727A (zh) | 一种基于深度强化学习的移动边缘计算任务分配方法 | |
| CN111935025B (zh) | 一种tcp传输性能的控制方法、装置、设备和介质 | |
| CN113467944B (zh) | 面向复杂软件系统的资源部署装置及方法 | |
| Li et al. | DQN-enabled content caching and quantum ant colony-based computation offloading in MEC | |
| Gali et al. | A Distributed Deep Meta Learning based Task Offloading Framework for Smart City Internet of Things with Edge-Cloud Computing. | |
| KR101924628B1 (ko) | 트래픽 오프로딩을 제어하기 위한 장치 및 방법 | |
| CN118138640B (zh) | 一种云平台用户数据传输优化系统及方法 | |
| CN111324839B (zh) | 建筑大数据缓存方法及装置 | |
| CN118138640A (zh) | 一种云平台用户数据传输优化系统及方法 | |
| CN111510473A (zh) | 访问请求处理方法、装置、电子设备和计算机可读介质 | |
| CN114462506B (zh) | 一种支持偏好策略的通信网络辅助规划方法及其应用 | |
| CN116017570A (zh) | 一种基于区块链的边缘计算系统资源管理方法 | |
| CN115129447A (zh) | 一种工业互联网中计及条件风险价值的边缘计算任务卸载方法及计算机设备 | |
| CN109753512A (zh) | 余额更新方法及装置、计算机存储介质和电子设备 | |
| CN116016514B (zh) | 一种边缘计算服务的智能自适应编排方法 | |
| CN114385359B (zh) | 一种物联网云边端任务时序协同方法 | |
| CN117492856A (zh) | 一种金融物联网中信任评估的低延迟边缘计算卸载方法 | |
| Zhang et al. | Adaptive device sampling and deadline determination for cloud-based heterogeneous federated learning | |
| CN115002042B (zh) | 基于机器学习的专线流量管控方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |