CN117424861A - 一种网络资源管理方法、装置、设备及介质 - Google Patents
一种网络资源管理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117424861A CN117424861A CN202311734284.2A CN202311734284A CN117424861A CN 117424861 A CN117424861 A CN 117424861A CN 202311734284 A CN202311734284 A CN 202311734284A CN 117424861 A CN117424861 A CN 117424861A
- Authority
- CN
- China
- Prior art keywords
- terminal
- resource
- quota
- access
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 38
- 230000000737 periodic effect Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 230000001934 delay Effects 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
- H04L47/765—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions triggered by the end-points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
Abstract
本公开涉及一种网络资源管理方法、装置、设备及介质，涉及计算机技术领域，根据机器学习算法为不同属性的第一终端动态定制资源配额策略；根据第一终端和第二终端的状态，实时调整滑动窗口大小，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求；如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。通过采用上述方案，能够精准、科学地对模型访问流量进行配额管理。
Description
技术领域
本公开涉及计算机技术领域，具体涉及一种网络资源管理方法、装置、设备及介质。
背景技术
随着大型预训练语言模型的兴起，如BERT、GPT、文心一言等，语言模型作为服务的方式日益普及。用户可以通过API接口调用各种语言模型实现文本生成、情感分析、问答等多种智能应用。
现有技术中，语言模型运算成本高昂，计算资源需求大，但缺乏流量访问使用控制。同时，峰值使用量可能超出流量资源限制，需要进行限流保护。
目前业内尚无成熟的模型使用流量配额管理方案，迫切需要一种能在模型访问时对流量资源进行精准科学配额的方法。
发明内容
本公开提供一种网络资源管理方法、装置、设备及介质，用以解决现有技术中访问语言模型无法精确进行流量配额的方法。
第一方面，本公开提供一种网络资源管理方法，包括：
获取第一终端属性，所述第一终端为用户端，根据机器学习算法为不同属性的第一终端动态定制资源配额策略，资源配额策略包括访问模型以及对应的访问时长、频率和资源配额；
根据第一终端和第二终端的状态，所述第二终端为多模型集成的网络流量配额管理终端，实时调整滑动窗口大小，分别获取第一终端和第二终端统计的资源访问量，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；
当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求，请求第二终端判断实际资源访问量是否超过资源配额；
如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。
根据本公开提供的网络资源管理方法，通过第一终端的用户日志获取预设时间段内第一终端的历史资源访问记录，所述访问记录包括第一终端历史访问模型的各个子模块以及各个子模块对应的访问时长、频率、资源访问量，根据各个子模块对应的访问时长、频率、资源访问量计算第一终端的资源配额。
根据本公开提供的网络资源管理方法，当第一终端处于启动阶段时，第一终端的滑动窗口大小随时间呈线性增长，第二终端的窗口大小保持不变；
当第二终端处于网络拥塞状态时，根据网络拥塞情况调整滑动窗口大小，网络越拥塞，第一终端和第二终端的滑动窗口越小。
根据本公开提供的网络资源管理方法，分别获取第一终端统计的资源访问量X和第二终端统计的资源访问量Y；
分别设置第一终端的置信度m和第二终端的置信度n，根据下述加权公式计算实际资源访问量S：
。
根据本公开提供的网络资源管理方法，第二终端接收第一终端延迟预设时长发送的周期性预警请求，并放入第二终端的延迟队列，按照请求先进先出的顺序处理请求，并判断实际资源访问量是否超过资源配额。
根据本公开提供的网络资源管理方法，根据第一终端属性分别进行访问时长、频率和配额的限流；
获取访问模型各个子模块的热度，热度越高，限流策略越严格。
根据本公开提供的网络资源管理方法，当超过第一阈值时，向第一终端以第一频率发送包含实际资源访问量、资源配额、扩容建议的预警邮件；
当超过第二阈值时，向第一终端以第二频率发送包括实际资源访问量趋势的预警短信；
当超过第三阈值时，向第一终端以第三频率弹出使用量警告弹窗，弹窗中呈现配额剩余资源访问量；
所述第二阈值大于第一阈值且小于第三阈值；
所述第二频率大于第一频率且小于第三频率。
第二方面，本公开还提供一种网络资源管理装置，包括：
资源配额模块：获取第一终端属性，所述第一终端为用户端，根据机器学习算法为不同属性的第一终端动态定制资源配额策略，资源配额策略包括访问模型以及对应的访问时长、频率和资源配额；
计算模块：根据第一终端和第二终端的状态，所述第二终端为多模型集成的网络流量配额管理终端，实时调整滑动窗口大小，分别获取第一终端和第二终端统计的资源访问量，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；
判断模块：当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求，请求第二终端判断实际资源访问量是否超过资源配额；
限流模块：如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。
与现有技术相比，本公开获取第一终端属性，根据机器学习算法为不同属性的第一终端动态定制资源配额策略，资源配额策略包括访问模型以及对应的访问时长、频率和资源配额；根据第一终端和第二终端的状态，实时调整滑动窗口大小，分别获取第一终端和第二终端统计的资源访问量，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求，请求第二终端判断实际资源访问量是否超过资源配额；如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。通过采用上述方案，能够科学、精准地对模型访问流量进行配额管理。
附图说明
为了更清楚地说明本公开中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开提供的一种网络资源管理方法的流程图；
图2是本公开提供的一种网络资源管理装置的示意图；
图3为本公开提供的电子设备的框架结构图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开中的附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1是本公开提供的一种网络资源管理方法的流程图，如图1所示，该方法包括：
步骤1：获取第一终端属性，根据机器学习算法为不同属性的第一终端动态定制资源配额策略，资源配额策略包括访问模型以及对应的访问时长、频率和资源配额；
具体地，根据本发明实施例，第一终端为用户端，可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如个人计算机(Personal Computer，PC)、平板电脑、掌上电脑、手机、智能电视等。
第一终端属性包括用户名称标识、用户ID地址、用户组设置、时间戳等。其中用户组设置包括初级用户组、中级用户组、高级用户组，级别越高，用户资源访问权限越大，例如允许高级用户组在特定时间段内放开配额限制。通过设置第一终端用户属性，便于后续统计该用户在流量传输过程中访问的流量数据值。
具体的，访问模型为大型预训练语言模型，包括BERT、GPT、文心一言等，第一终端用户可以通过API接口调用各种语言模型实现文本生成、情感分析、问答等多种智能应用。
进一步地，根据本发明实施例，所述机器学习算法包括：
通过第一终端的用户日志获取预设时间段内第一终端的历史资源访问记录，所述预设时间段可以为一星期、一个月之内的历史资源访问记录，一个星期、一个月内的用户访问习惯比较平稳，能够有效反映用户的资源访问需求；
示例性的，获取用户日志时需要清理删除无效数据，具体清理过程包括：删除重复数据，只保留最新一条记录；删除爬虫访问数据。
所述访问记录包括第一终端历史访问模型的各个子模块以及各个子模块对应的访问时长、频率、资源访问量，根据各个子模块对应的访问时长、频率、资源访问量计算第一终端的资源配额；模型中往往包括多个子模块，如百度的“文心一言”模型包括“搭画快写”、“创意框架”、“文书助手”、“写作测评”等多个子模块，其中“画快写”是其核心重要的组成部分，属于热门模块。
步骤2：根据第一终端和第二终端的状态，实时调整滑动窗口大小，分别获取第一终端和第二终端统计的资源访问量，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；
具体地，根据本发明实施例，第二终端为多模型集成的网络流量配额管理终端，如AIGC用户流量使用配额管理终端。
其中，滑动窗口方法常用于进行流量统计，第一终端和第二终端均具有滑动窗口。
滑动窗口的具体方法包括：将一个时间窗口分为若干个等份的小窗口，每个小窗口对应不同的时间点，拥有独立的计数器，当请求的时间点大于窗口的最大时间点时，则将窗口向前平移一个小窗口，将第一个小窗口的数据舍弃，第二个小窗口变成第一个小窗口，请求放在最后一个小窗口。
具体地，根据本发明实施例，当第一终端初始访问模型时，处于初始启动状态，此时不会向模型访问大量数据，如果初始滑动窗口过大会导致滑动窗口缓存空间被无效占用，容易发生拥塞，为解决该问题，可以实时调整滑动窗口大小，所述实时调整滑动窗口大小包括：
当第一终端处于启动阶段时，第一终端的滑动窗口大小随时间呈线性增长，第二终端的滑动窗口大小保持不变；
慢启动之后，第一终端的访问量变大，当第二终端根据网速判断处于网络拥塞情况时，可以调整滑动窗口大小，从而缓解网络拥塞状态，具体包括：
当第二终端处于网络拥塞状态时，根据网络拥塞情况调整滑动窗口大小，网络越拥塞，第一终端和第二终端的滑动窗口越小。
进一步地，根据本发明实施例，第一终端和第二终端统计的资源访问量可能会有所不同，为了精确统计实际资源访问量，需要综合考虑两个终端各自统计的资源访问量。所述根据第一终端和第二终端统计的资源访问量计算实际资源访问量包括：
分别获取第一终端统计的资源访问量X和第二终端统计的资源访问量Y；
分别设置第一终端的置信度m和第二终端的置信度n，根据下述加权公式计算实际资源访问量S：
。
对于实际访问资源量，定期生成可视化统计报表以供第一终端和第二终端查看分析。
进一步地，为防止数据丢失，第一终端和第二终端均设置一个流量缓冲区，第二终端在发送完流量后，在第二终端的流量缓冲区缓存保留流量，在收到第一终端发来的确认信号时，删除流量缓冲区缓存保留的流量。
步骤3：当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求，请求第二终端判断实际资源访问量是否超过资源配额；
具体地，根据本发明实施例，当实际资源访问量与资源配额的比值大于预警阈值后，如实际资源访问量为9.8G，资源配额为10G，两者比值为9.8÷10=0.98，比值大于预警阈值（0.95），此时极有可能会触发限流预警，在流量资源已经不足的情况下，如果持续发送即时预警请求，会浪费大量的请求资源。为有效提升资源利用率，第一终端延迟预设时长发送周期性预警请求之后还包括：
第二终端接收第一终端延迟预设时长发送的周期性预警请求，并放入第二终端的延迟队列，按照请求先进先出的顺序处理请求，并判断实际资源访问量是否超过资源配额。
步骤4：如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。
具体地，根据本发明实施例，根据第一终端属性分别进行访问时长、频率和配额的限流；
获取访问模型各个子模块的热度，热度越高，限流策略越严格。
进一步地，根据本发明实施例，多级预警方式还包括：
当超过第一阈值时，向第一终端以第一频率发送包含实际资源访问量、资源配额、扩容建议的预警邮件；
当超过第二阈值时，向第一终端以第二频率发送包括实际资源访问量趋势的预警短信；
当超过第三阈值时，向第一终端以第三频率弹出使用量警告弹窗，弹窗中呈现配额剩余资源访问量；
所述第二阈值大于第一阈值且小于第三阈值；
所述第二频率大于第一频率且小于第三频率。
与现有技术相比，本公开获取第一终端属性，根据机器学习算法为不同属性的第一终端动态定制资源配额策略，资源配额策略包括访问模型以及对应的访问时长、频率和资源配额；根据第一终端和第二终端的状态，实时调整滑动窗口大小，分别获取第一终端和第二终端统计的资源访问量，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求，请求第二终端判断实际资源访问量是否超过资源配额；如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。通过采用上述方案，能够科学、精准地对模型访问流量进行配额管理，不仅可以提高模型的运行效率和使用价值，还可以保证服务质量和用户体验。同时，该方法还可以根据实际需求进行调整和优化，具有很好的灵活性和可预见性。
下面对本公开提供的一种网络资源管理装置进行描述，下文描述的检测系统与上文描述的检测方法可相互对应参照。
如图2所示，一种网络资源管理装置，包括：
资源配额模块：获取第一终端属性，根据机器学习算法为不同属性的第一终端动态定制资源配额策略，资源配额策略包括访问模型以及对应的访问时长、频率和资源配额；
计算模块：根据第一终端和第二终端的状态，实时调整滑动窗口大小，分别获取第一终端和第二终端统计的资源访问量，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；
判断模块：当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求，请求第二终端判断实际资源访问量是否超过资源配额；
限流模块：如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。
本申请实施例提供的一种电子设备，如图3所示，电子设备包括处理器302、存储器301，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图3，电子设备还包括：总线303和通信接口304，处理器302、通信接口304和存储器301通过总线303连接；处理器302用于执行存储器301中存储的可执行模块，例如计算机程序。
其中，存储器301可能包含高速随机存取存储器（Random Access Memory，简称RAM），也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口304（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线303可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器301用于存储程序，所述处理器302在接收到执行指令后，执行所述程序，前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器302中，或者由处理器302实现。
处理器302可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器302中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器302可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器301，处理器302读取存储器301中的信息，结合其硬件完成上述方法的步骤。
对应于上述网络资源管理方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述网络资源管理方法的步骤。
本申请实施例所提供的网络资源管理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述网络资源管理方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种网络资源管理方法，其特征在于，包括：
获取第一终端属性，所述第一终端为用户端，根据机器学习算法为不同属性的第一终端动态定制资源配额策略，所述资源配额策略包括访问模型以及对应的访问时长、频率和资源配额；
根据第一终端和第二终端的状态，所述第二终端为多模型集成的网络流量配额管理终端，实时调整滑动窗口大小，分别获取第一终端和第二终端统计的资源访问量，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；
当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求，请求第二终端判断实际资源访问量是否超过资源配额；
如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。
2.根据权利要求1所述的网络资源管理方法，其特征在于，所述机器学习算法包括：
通过第一终端的用户日志获取预设时间段内第一终端的历史资源访问记录，所述访问记录包括第一终端历史访问模型的各个子模块以及各个子模块对应的访问时长、频率、资源访问量，根据各个子模块对应的访问时长、频率、资源访问量计算第一终端的资源配额。
3.根据权利要求1所述的网络资源管理方法，其特征在于：所述实时调整滑动窗口大小包括：
当第一终端处于启动阶段时，第一终端的滑动窗口大小随时间呈线性增长，第二终端的窗口大小保持不变；
当第二终端处于网络拥塞状态时，根据网络拥塞情况调整滑动窗口大小，网络越拥塞，第一终端和第二终端的滑动窗口越小。
4.根据权利要求3所述的网络资源管理方法，其特征在于，所述根据第一终端和第二终端统计的资源访问量计算实际资源访问量包括：
分别获取第一终端统计的资源访问量X和第二终端统计的资源访问量Y；
分别设置第一终端的置信度m和第二终端的置信度n，根据下述加权公式计算实际资源访问量S：
。
5.根据权利要求1所述的网络资源管理方法，其特征在于，所述第一终端延迟预设时长发送周期性预警请求之后还包括：
第二终端接收第一终端延迟预设时长发送的周期性预警请求，并放入第二终端的延迟队列，按照请求先进先出的顺序处理请求，并判断实际资源访问量是否超过资源配额。
6.根据权利要求1所述的网络资源管理方法，其特征在于，所述根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式包括：
根据第一终端属性分别进行访问时长、频率和配额的限流；
获取访问模型各个子模块的热度，热度越高，限流策略越严格。
7.根据权利要求6所述的网络资源管理方法，其特征在于，所述超出阈值包括第一阈值、第二阈值、第三阈值：
当超过第一阈值时，向第一终端以第一频率发送包含实际资源访问量、资源配额、扩容建议的预警邮件；
当超过第二阈值时，向第一终端以第二频率发送包括实际资源访问量趋势的预警短信；
当超过第三阈值时，向第一终端以第三频率弹出使用量警告弹窗，弹窗中呈现配额剩余资源访问量；
所述第二阈值大于第一阈值且小于第三阈值；
所述第二频率大于第一频率且小于第三频率。
8.一种网络资源管理装置，其特征在于，包括：
资源配额模块：获取第一终端属性，所述第一终端为用户端，根据机器学习算法为不同属性的第一终端动态定制资源配额策略，所述资源配额策略包括访问模型以及对应的访问时长、频率和资源配额；
计算模块：根据第一终端和第二终端的状态，所述第二终端为多模型集成的网络流量配额管理终端，实时调整滑动窗口大小，分别获取第一终端和第二终端统计的资源访问量，根据第一终端和第二终端统计的资源访问量计算实际资源访问量；
判断模块：当实际资源访问量与资源配额的比值大于预警阈值后，第一终端延迟预设时长发送周期性预警请求，请求第二终端判断实际资源访问量是否超过资源配额；
限流模块：如果实际资源访问量超过资源配额，根据第一终端属性、访问模型类型以及超出阈值，设置多级预警方式。
9.一种电子设备，包括：处理器；存储程序的存储器；其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机可读存储介质中存储有指令或计算机程序，当所述指令或计算机程序在设备上运行时，使得所述设备执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311734284.2A CN117424861B (zh) | 2023-12-18 | 2023-12-18 | 一种网络资源管理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311734284.2A CN117424861B (zh) | 2023-12-18 | 2023-12-18 | 一种网络资源管理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117424861A true CN117424861A (zh) | 2024-01-19 |
| CN117424861B CN117424861B (zh) | 2024-02-23 |
Family
ID=89528677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311734284.2A Active CN117424861B (zh) | 2023-12-18 | 2023-12-18 | 一种网络资源管理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117424861B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113691596A (zh) * | 2021-08-12 | 2021-11-23 | 北京奇艺世纪科技有限公司 | 一种网关控制方法、装置、电子设备及存储介质 |
| CN113765734A (zh) * | 2021-03-24 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 网络访问量的检测方法及装置 |
| CN114936089A (zh) * | 2022-04-25 | 2022-08-23 | 阿里巴巴（中国）有限公司 | 资源调度方法、系统、设备及存储介质 |
| KR102531621B1 (ko) * | 2022-12-30 | 2023-05-11 | 주식회사 에스티씨랩 | 클라우드 기반 유량제어 비용 최적화를 위한 리소스 최적화 서버, 시스템 및 방법 |
-
2023
- 2023-12-18 CN CN202311734284.2A patent/CN117424861B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113765734A (zh) * | 2021-03-24 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 网络访问量的检测方法及装置 |
| CN113691596A (zh) * | 2021-08-12 | 2021-11-23 | 北京奇艺世纪科技有限公司 | 一种网关控制方法、装置、电子设备及存储介质 |
| CN114936089A (zh) * | 2022-04-25 | 2022-08-23 | 阿里巴巴（中国）有限公司 | 资源调度方法、系统、设备及存储介质 |
| KR102531621B1 (ko) * | 2022-12-30 | 2023-05-11 | 주식회사 에스티씨랩 | 클라우드 기반 유량제어 비용 최적화를 위한 리소스 최적화 서버, 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117424861B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111159436B (zh) | 一种推荐多媒体内容的方法、装置及计算设备 | |
| CN107239339B (zh) | 系统性能优化参数确定方法、系统性能优化方法及装置 | |
| CN107547433B (zh) | 基于令牌漏桶进行限流的方法、装置和设备 | |
| CN105095107A (zh) | 清理缓存数据的方法及装置 | |
| KR20060129873A (ko) | 휴대단말기의 메모리 정리 방법 | |
| CN106951550B (zh) | 数据处理方法、装置及移动终端 | |
| CN108063818B (zh) | 数据下载方法、装置、终端和计算机可读存储介质 | |
| US11037190B2 (en) | Web page performance improvement system | |
| CN112367269A (zh) | 基于双指针的滑动窗口限流方法、装置、设备及存储介质 | |
| CN110061930B (zh) | 一种数据流量的限制、限流值的确定方法和装置 | |
| CN111381988A (zh) | 一种请求限速方法、装置、电子设备及存储介质 | |
| WO2016082176A1 (zh) | 一种数据阈值预测方法与相关装置 | |
| CN117424861B (zh) | 一种网络资源管理方法、装置、设备及介质 | |
| WO2021129742A1 (zh) | 网络数据的恢复方法、装置及移动终端 | |
| CN112558872A (zh) | 数据处理方法和装置、存储介质和电子设备 | |
| CN110347546B (zh) | 监控任务动态调整方法、装置、介质及电子设备 | |
| CN108762684B (zh) | 热点数据迁移流控方法、装置、电子设备及存储介质 | |
| CN110780820A (zh) | 一种连续存储空间确定方法、装置及电子设备和存储介质 | |
| CN111078697A (zh) | 一种数据存储方法、装置、存储介质及电子设备 | |
| US9183041B2 (en) | Input/output traffic backpressure prediction | |
| CN112806070B (zh) | 网络功耗调整方法、网络功耗调整装置及移动终端 | |
| CN115278786A (zh) | 业务接入方法、装置、电子设备及存储介质 | |
| CN112015924A (zh) | 流媒体缓存方法及其装置、计算机可存储介质 | |
| CN114048059A (zh) | 接口的超时时间调整方法、装置、计算机设备及存储介质 | |
| CN112182454A (zh) | 一种网页优化的方法、装置及存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |