CN112365003A - 一种基于大数据调整nlp模型容量的方法 - Google Patents

一种基于大数据调整nlp模型容量的方法 Download PDF

Info

Publication number
CN112365003A
CN112365003A CN202011279428.6A CN202011279428A CN112365003A CN 112365003 A CN112365003 A CN 112365003A CN 202011279428 A CN202011279428 A CN 202011279428A CN 112365003 A CN112365003 A CN 112365003A
Authority
CN
China
Prior art keywords
model
qps
nlp
capacity
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011279428.6A
Other languages
English (en)
Other versions
CN112365003B (zh
Inventor
陈继扬
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Baiying Technology Co Ltd
Original Assignee
Zhejiang Baiying Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Baiying Technology Co Ltd filed Critical Zhejiang Baiying Technology Co Ltd
Priority to CN202011279428.6A priority Critical patent/CN112365003B/zh
Publication of CN112365003A publication Critical patent/CN112365003A/zh
Application granted granted Critical
Publication of CN112365003B publication Critical patent/CN112365003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种基于大数据调整NLP模型容量的方法，包括：获取NLP模型的模型服务历史QPS数据构建NLP容量预测模型，其中，NLP容量预测模型通过NLP模型的模型服务历史QPS数据、模型服务历史QPS数据对应的时间点建立拟合曲线，采用最小二乘法拟合拟合曲线获得；获取NLP模型的模型服务当前时刻的最大可服务的QPS数作为第一QPS阈值，其中，第一QPS阈值通过NLP模型的最大可承受请求数、NLP模型处理每个请求的时间获得；根据NLP容量预测模型计算当前时刻NLP模型的模型服务QPS作为第一QPS；判断第一QPS是否大于第一QPS阈值，如果是，扩充NLP模型的模型服务容量。

Description

一种基于大数据调整NLP模型容量的方法
技术领域
本发明涉及NLP模型领域，尤其涉及一种基于大数据调整NLP模型容量的方法。
背景技术
随着目前AI技术的发展，NLP相关技术的普及，在短短的几年里涌现了CNN、RNN、Bert等NLP模型。然而，相比于NLP模型的快速发展，配套于NLP相关技术的工程化设施相对较少，特别是自动化调整NLP模型容量这一方面更是欠缺。
发明内容
本发明要解决的技术问题，在于提供一种基于大数据调整NLP模型容量的方法，以解决目前NLP模型在训练完成后，生产上投产时NLP模型的服务容量无法动态规划的技术问题。
为实现上述目的，本发明采用下述技术方案：
本发明提供一种基于大数据调整NLP模型容量的方法，所述方法包括：
获取NLP模型的模型服务历史QPS数据构建NLP容量预测模型，其中，所述NLP容量预测模型通过所述NLP模型的模型服务历史QPS数据、所述模型服务历史QPS数据对应的时间点建立拟合曲线，采用最小二乘法拟合所述拟合曲线获得；
获取所述NLP模型的模型服务当前时刻的最大可服务的QPS数作为第一QPS阈值，其中，所述第一QPS阈值通过所述NLP模型的最大可承受请求数、所述NLP模型处理每个请求的时间获得；
根据所述NLP容量预测模型计算当前时刻所述NLP模型的模型服务QPS作为第一QPS；
判断所述第一QPS是否大于所述第一QPS阈值，如果是，扩充所述NLP模型的模型服务容量。
作为优选，当所述第一QPS不大于所述第一QPS阈值时，所述方法还包括：
计算当前时刻后第一预设时间段内的每一个时间节点在所述拟合曲线函数上的导数之和，其中，所述时间节点为所述第一预设时间段内相隔固定时间段的时间点；
当所述导数之和大于0时，获取所述第一预设时间段内所述NLP容量预测模型的最大可服务的QPS数作为第二QPS；
当所述第二QPS大于所述第一QPS阈值时，扩充所述NLP模型的模型服务容量。
作为优选，当所述导数之和不大于0时，不扩充所述NLP模型的模型服务容量。
作为优选，当所述第二QPS不大于所述第一QPS阈值时，不扩充所述NLP模型的模型服务容量。
本发明的有益效果是：
本发明提供一种基于大数据调整NLP模型容量的方法，以解决目前NLP模型在训练完成后，生产上投产时NLP模型的服务容量无法动态规划的技术问题，提升NLP模型服务扩容时的服务平滑度以及提升服务资源的利用率。
附图说明
图1为本发明本发明实施例提供的一种基于大数据调整NLP模型容量的方法的流程示意图；
图2为本发明本发明实施例提供的一种基于大数据调整NLP模型容量的方法的流程示意图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
解决目前NLP模型在训练完成后，生产上投产时NLP模型的服务容量无法动态规划的技术问题，本发明实施例提供一种基于大数据调整NLP模型容量的方法。
以下结合附图，详细说明本发明中各实施例提供的技术方案。
请参阅附图1，其示出了本发明实施例提供的一种基于大数据调整NLP模型容量的方法的流程示意图，所述方法包括：
S101，获取NLP模型的模型服务历史QPS数据构建NLP容量预测模型；
其中，所述NLP容量预测模型通过所述NLP模型的模型服务历史QPS数据、所述模型服务历史QPS数据对应的时间点建立拟合曲线，采用最小二乘法拟合所述拟合曲线获得。
可以理解，获取任意一个NLP模型的模型服务历史QPS数据，包括时间点、时间点对应的QPS数据，根据所述模型服务历史QPS数据建立拟合曲线，并采用最小二乘法拟合所述拟合曲线获得该NLP模型的NLP容量预测模型。
S102，获取所述NLP模型的模型服务当前时刻的最大可服务的QPS数作为第一QPS阈值；
其中，所述第一QPS阈值通过所述NLP模型的最大可承受请求数（并发量）、所述NLP模型处理每个请求的时间获得。
可以理解，第一QPS阈值为NLP模型的模型服务当前时刻的最大可服务的QPS，所述第一QPS阈值=NLP模型的最大可承受请求数/NLP模型处理每个请求的时间，NLP模型处理每个请求的时间可以通过计算处理所有请求的平均时间获得。
S103，根据所述NLP容量预测模型计算当前时刻所述NLP模型的模型服务QPS作为第一QPS；
将当前时刻输入所述NLP容量预测模型中进行计算，获得当前时刻对应的模型服务QPS作为第一QPS。
S104，判断所述第一QPS是否大于所述第一QPS阈值；
S105，如果是，扩充所述NLP模型的模型服务容量。
可以理解，上述实施例提供的一种基于大数据调整NLP模型容量的方法利用历史QPS数据建立NLP容量预测模型，基于当前时刻计算NLP模型的模型服务QPS与NLP模型的最大可承受请求数的关系，以决策NLP模型是否进行扩容。
针对步骤S104，请参阅附图2，其示出了本发明实施例提供的一种基于大数据调整NLP模型容量的方法的流程示意图，当所述第一QPS不大于所述第一QPS阈值时，所述方法还包括：
S106，计算当前时刻后第一预设时间段内的每一个时间节点在所述拟合曲线函数上的导数之和；
其中，所述时间节点为所述第一预设时间段内相隔固定时间段的时间点，例如在当前时刻后30S内的每一个时间节点在所述拟合曲线函数上的导数之和，当前时刻为0时0秒，每一个时间节点之间的时间间隔为1S，即计算0时31S、0时32S、0时33S…0时60S对应的拟合曲线函数的导数之和。
S107，当所述导数之和大于0时，获取所述第一预设时间段内所述NLP容量预测模型的最大可服务的QPS数作为第二QPS；
针对步骤S107，当所述导数之和不大于0时，不扩充所述NLP模型的模型服务容量。
S108，当所述第二QPS大于所述第一QPS阈值时，扩充所述NLP模型的模型服务容量。
针对步骤S108，当所述第二QPS不大于所述第一QPS阈值时，不扩充所述NLP模型的模型服务容量。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于大数据调整NLP模型容量的方法，其特征是，所述方法包括：
获取NLP模型的模型服务历史QPS数据构建NLP容量预测模型，其中，所述
容量预测模型通过所述NLP模型的模型服务历史QPS数据、所述模型服务历史QPS数据对应的时间点建立拟合曲线，采用最小二乘法拟合所述拟合曲线获得；
获取所述NLP模型的模型服务当前时刻的最大可服务的QPS数作为第一QPS
阈值，其中，所述第一QPS阈值通过所述NLP模型的最大可承受请求数、所述NLP模型处理每个请求的时间获得；
根据所述NLP容量预测模型计算当前时刻所述NLP模型的模型服务QPS作为
第一QPS；
判断所述第一QPS是否大于所述第一QPS阈值，如果是，扩充所述NLP模型
的模型服务容量。
2.根据权利要求1所述的一种基于大数据调整NLP模型容量的方法，其特征是，
当所述第一QPS不大于所述第一QPS阈值时，所述方法还包括：
计算当前时刻后第一预设时间段内的每一个时间节点在所述拟合曲线函数上的导数之和，其中，所述时间节点为所述第一预设时间段内相隔固定时间段的时间点；
当所述导数之和大于0时，获取所述第一预设时间段内所述NLP容量预测模型的最大可服务的QPS数作为第二QPS；
当所述第二QPS大于所述第一QPS阈值时，扩充所述NLP模型的模型服务容量。
3.根据权利要求2所述的一种基于大数据调整NLP模型容量的方法，其特征是，
当所述导数之和不大于0时，不扩充所述NLP模型的模型服务容量。
4.根据权利要求2所述的一种基于大数据调整NLP模型容量的方法，其特征是，当所述第二QPS不大于所述第一QPS阈值时，不扩充所述NLP模型的模型服务容量。
CN202011279428.6A 2020-11-16 2020-11-16 一种基于大数据调整nlp模型容量的方法 Active CN112365003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011279428.6A CN112365003B (zh) 2020-11-16 2020-11-16 一种基于大数据调整nlp模型容量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011279428.6A CN112365003B (zh) 2020-11-16 2020-11-16 一种基于大数据调整nlp模型容量的方法

Publications (2)

Publication Number Publication Date
CN112365003A true CN112365003A (zh) 2021-02-12
CN112365003B CN112365003B (zh) 2023-04-11

Family

ID=74515760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011279428.6A Active CN112365003B (zh) 2020-11-16 2020-11-16 一种基于大数据调整nlp模型容量的方法

Country Status (1)

Country Link
CN (1) CN112365003B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204961A (zh) * 2021-05-31 2021-08-03 平安科技（深圳）有限公司 用于nlp任务的语言模型构建方法、装置、设备及介质
CN113391883A (zh) * 2021-08-18 2021-09-14 中关村科学城城市大脑股份有限公司 应用于城市大脑的ai模型推理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160085891A1 (en) * 2014-09-23 2016-03-24 Interactive Intelligence Group, Inc. Method and System for Creating Contact Center Models
CN108334521A (zh) * 2017-01-19 2018-07-27 阿里巴巴集团控股有限公司 一种数据库容量预测方法及装置
CN108845881A (zh) * 2018-05-30 2018-11-20 有米科技股份有限公司 服务器容量动态调整的方法及装置
CN108897673A (zh) * 2018-07-05 2018-11-27 北京京东金融科技控股有限公司 系统容量评估方法与装置
CN111475772A (zh) * 2020-03-27 2020-07-31 微梦创科网络科技（中国）有限公司 一种容量评估方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160085891A1 (en) * 2014-09-23 2016-03-24 Interactive Intelligence Group, Inc. Method and System for Creating Contact Center Models
CN108334521A (zh) * 2017-01-19 2018-07-27 阿里巴巴集团控股有限公司 一种数据库容量预测方法及装置
CN108845881A (zh) * 2018-05-30 2018-11-20 有米科技股份有限公司 服务器容量动态调整的方法及装置
CN108897673A (zh) * 2018-07-05 2018-11-27 北京京东金融科技控股有限公司 系统容量评估方法与装置
CN111475772A (zh) * 2020-03-27 2020-07-31 微梦创科网络科技（中国）有限公司 一种容量评估方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204961A (zh) * 2021-05-31 2021-08-03 平安科技（深圳）有限公司 用于nlp任务的语言模型构建方法、装置、设备及介质
CN113204961B (zh) * 2021-05-31 2023-12-19 平安科技（深圳）有限公司 用于nlp任务的语言模型构建方法、装置、设备及介质
CN113391883A (zh) * 2021-08-18 2021-09-14 中关村科学城城市大脑股份有限公司 应用于城市大脑的ai模型推理系统及方法

Also Published As

Publication number Publication date
CN112365003B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN112365003B (zh) 一种基于大数据调整nlp模型容量的方法
CN112181666A (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
CN111163085B (zh) 一种灰度发布场景优化方法
CN110536264B (zh) 一种提高5g车联网通信服务质量的边缘计算方法
CN111104291B (zh) 基于物联网的环境监测方法、装置、系统及监测服务器
CN111105016A (zh) 一种数据处理方法、装置、电子设备及可读存储介质
CN114465945B (zh) 一种基于sdn的标识解析网络构建方法
CN105050095B (zh) 一种基于能量预测的异构无线传感网的拓扑构建方法
CN112600827B (zh) 基于增量式最小费用最大流的虚拟服务迁移方法及系统
CN109600765A (zh) 一种休眠、唤醒控制方法、装置、du、cu和存储介质
CN111249106B (zh) 老年康复机器人的训练控制装置及系统
CN111124439A (zh) 一种云边协同的智能动态卸载算法
CN114666274A (zh) 异步模式训练的联邦学习方法、设备、系统及可读介质
CN116132403A (zh) 算力网络的路由分配方法、装置、电子设备及存储介质
CN110656385B (zh) 一种基于神经网络的静电纺丝纤维平均直径预测方法
CN105516247A (zh) 通信应用的信息推荐方法和装置
CN114116052A (zh) 一种边缘计算方法及装置
CN112738225B (zh) 基于人工智能的边缘计算方法
CN113923745A (zh) 电力通信系统的通信中继选择方法及其通信方法
Cha et al. Sequential confidence interval estimation for system availability
CN106332166A (zh) 语音质量评估方法及装置
CN111381959A (zh) 扩容方法及装置
CN116502286B (zh) 一种基于边缘计算的标准信息的服务方法及其系统
CN103795420B (zh) 一种基于分段的sbr多属性数据压缩方法
CN113316170B (zh) 一种改善烟雾报警系统组网稳定性的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Adjusting NLP Model Capacity Based on Big Data

Effective date of registration: 20231007

Granted publication date: 20230411

Pledgee: Guotou Taikang Trust Co.,Ltd.

Pledgor: ZHEJIANG BYAI TECHNOLOGY Co.,Ltd.

Registration number: Y2023980059654

PE01 Entry into force of the registration of the contract for pledge of patent right