CN113885920A - 机器学习模型的热更新方法、装置、电子设备及存储介质 - Google Patents
机器学习模型的热更新方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113885920A CN113885920A CN202111246295.7A CN202111246295A CN113885920A CN 113885920 A CN113885920 A CN 113885920A CN 202111246295 A CN202111246295 A CN 202111246295A CN 113885920 A CN113885920 A CN 113885920A
- Authority
- CN
- China
- Prior art keywords
- model
- machine learning
- file
- learning model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例提供了一种机器学习模型的热更新方法,涉及机器学习技术领域。具体实现方案为:检测是否需要进行机器学习模型的更新;若需要,获取预定服务端中所存储的、针对目标机器学习模型的目标描述文件;其中,所述目标机器学习模型为待更新至所述电子设备中的机器学习模型,针对任一机器学习模型的描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息;基于所述目标描述文件中的下载地址,下载所述目标机器学习模型的模型文件;基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,并将所述目标描述文件中的描述信息作为热更新后的描述信息。通过这样的方式,提高模型优化迭代的效率。
Description
技术领域
本发明涉及机器学习技术领域,特别是涉及一种机器学习模型的热更新方法、装置、电子设备及存储介质。
背景技术
在服务端中每次新训练完成的机器学习模型往往需要部署到电子设备中,以方便电子设备中的客户端的调用。因此,需要对移动端中机器学习模型进行更新。
相关技术中,机器学习模型的模型文件是通过静态引入的方式,写入到客户端的程序代码中,而与机器学习模型相关的描述信息,是以硬编码的形式写入到客户端的程序代码中。其中,描述信息为模型推理过程中所需利用的信息,例如:模型输入列表和模型输出列表等信息。
这样,在进行模型更新时,模型文件可线上热更新,但是由于与机器学习模型相关的描述信息为硬编码的形态,因此,不能进行线上热更新。为了实现与机器学习模型相关的描述信息的更新,通常将与新的机器学习模型相关的描述信息重新写入到客户端的程序代码中。因此,限制了模型优化迭代的效率。
发明内容
本发明实施例的目的在于提供一种机器学习模型的热更新方法、装置、电子设备及存储介质,以提高模型优化迭代的效率。具体技术方案如下:
在本发明实施的第一方面,首先提供了一种机器学习模型的热更新方法,应用于电子设备,所述方法包括:
检测是否需要进行机器学习模型的更新;
若需要,获取预定服务端中所存储的、针对目标机器学习模型的目标描述文件;其中,所述目标机器学习模型为待更新至所述电子设备中的机器学习模型,针对任一机器学习模型的描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息;
基于所述目标描述文件中的下载地址,下载所述目标机器学习模型的模型文件;
基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,并将所述目标描述文件中的描述信息作为热更新后的描述信息。
可选地,所述针对任一机器学习模型的描述文件中还包含该机器学习模型的模型类型;
所述基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,包括:
确定所述目标描述文件中的模型类型,作为目标类型;
若所述目标类型为指定类型,对所述目标机器学习模型的模型文件进行编译处理,得到热更新后的可执行的模型文件;否则,将所述目标机器学习模型的模型文件,确定为热更新后的可执行的模型文件;
其中,所述指定类型为表征存在文件编译需求的类型。
可选地,所述目标机器学习模型与更新之前的机器学习模型属于模型名称相同的模型。
可选地,所述检测是否需要进行机器学习模型的更新,包括:
确定具有指定模型名称的模型的最新的模型版本;其中,所述指定模型名称为更新之前的机器学习模型的模型名称;
若所述最新的模型版本,高于更新之前的机器学习模型的模型版本,则判定需要进行机器学习模型的更新。
可选地,所述确定具有指定模型名称的模型的最新的模型版本,包括:
从预定服务端中请求、针对具有指定模型名称的模型的描述文件,作为待分析文件;
从所述待分析文件中,获取模型版本,作为具有指定模型名称的模型的最新的模型版本。
可选地,所述目标机器学习模型与更新之前的机器学习模型属于模型名称不同的模型。
可选地,检测是否需要进行机器学习模型的更新,包括:
获取模型调用方发送的待调用模型的模型名称;
若所获取的模型名称与指定模型的模型名称不同,则判定需要进行机器学习模型的更新;其中,所述指定模型为更新之前的机器学习模型;所述目标机器学习模型为所获取模型名称指示的机器学习模型。
在本发明实施的第二方面,还提供了一种基于上述第一方面所提供方法的机器学习模型的推理方法,所述方法包括:
基于模型调用方提供的模型名称,加载对应的机器学习模型的可执行的模型文件;
按照目标描述信息中的模型输入列表对模型调用方提供的输入数据进行筛选,得到掩模后的输入数据;其中,所述目标描述信息为所述机器学习模型的描述文件中的描述信息;
将掩模后的输入数据输入到可执行的模型文件中,得到按照所述目标描述信息中的模型输出列表输出的推理结果。
在本发明实施的第三方面,还提供了一种机器学习模型的热更新装置,应用于电子设备,所述装置包括:
检测模块,用于检测是否需要进行机器学习模型的更新;
获取模块,用于若需要,获取预定服务端中所存储的、针对目标机器学习模型的目标描述文件;其中,所述目标机器学习模型为待更新至所述电子设备中的机器学习模型,针对任一机器学习模型的描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息;
下载模块,用于基于所述目标描述文件中的下载地址,下载所述目标机器学习模型的模型文件;
更新模块,用于基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,并将所述目标描述文件中的描述信息作为热更新后的描述信息。
在本发明实施的第四方面,还提供了一种基于上述第一方面所提供方法的机器学习模型的推理装置,所述装置包括:
加载模块,用于基于模型调用方提供的模型名称,加载对应的机器学习模型的可执行的模型文件;
输入模块,用于按照目标描述信息中的模型输入列表对模型调用方提供的输入数据进行筛选,得到掩模后的输入数据;其中,所述目标描述信息为所述机器学习模型的描述文件中的描述信息;
输出模块,用于将掩模后的输入数据输入到可执行的模型文件中,得到按照所述目标描述信息中的模型输出列表输出的推理结果。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的机器学习模型热更新的方法。
在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的机器学习模型热更新的方法。
本发明实施例有益效果:
本发明实施例所提供的方案中,检测到机器学习模型需要更新时,获取预定服务端中存储的、针对目标机器学习模型的目标描述文件;由于描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息,因此,基于所述目标描述文件中的下载地址,即可下载所述目标机器学习模型的模型文件,并且基于所述目标机器学习模型的模型文件,可以获得热更新后的可执行的模型文件,另外,将所述目标描述文件中的描述信息作为热更新后的描述信息。本方案中,由于预定服务端中部署有针对目标机器学习模型的目标描述文件,因此,当需要将模型更新为目标机器学习模型时,可以利用目标描述文件中的下载地址以及描述信息,分别对原有模型的模型文件和描述信息进行更新,使得模型文件和描述信息均可以线上热更新,无需将描述信息重新写入客户端的程序代码中。可见,通过本方案,可以提高模型优化迭代的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中一种机器学习模型的热更新方法的流程图;
图2为本发明实施例中一种机器学习模型的推理方法的流程图;
图3为本发明实施例的一种机器学习模型的推理方法的原理示意图;
图4为本发明实施例中一种机器学习模型的热更新装置的结构示意图;
图5为本发明实施例中一种机器学习模型的推理装置的结构示意图;
图6是本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
使用机器学习模型的机器学习项目始终是一个不断迭代的过程,能够快速上线新的机器学习模型是一个成熟部署系统的基本要求。在机器学习项目中,服务端新训练完成的机器学习模型往往需要部署到电子设备中,以方便电子设备中的客户端的调用。
相关技术中,机器学习模型部署流程一般为硬编码的形态,通用性较差,以iOS(苹果公司开发的移动操作系统)平台部署Core ML(机器学习框架,支持多种机器学习模型,其中包括了神经网络、组合树、支持向量机等)模型并进行推理的过程为例:首先,训练出CoreML模型格式的机器学习模型的模型文件,也就是以.mlmodel扩展名结尾的模型文件;接着,静态引入模型文件,即使用Xcode(集成开发工具)打开Mac电脑中用于开发APP(Application,应用程序)的iOS项目工程,拖入模型文件,Xcode自动编译模型文件生成可执行代码文件,即可执行的模型文件,通过在Xcode中打开这个模型文件,可以查看它的相关描述信息,其中包括有模型输入列表和模型输出列表等信息;然后,在具体的业务场景中调用模型文件时,需要按照硬编码的形式设置模型输入参数,然后通过调用推理方法得到推理结果。其中,iOS项目工程指的是Mac电脑中用于开发的一组工程文件,这部分文件通过编译过程生成APP,APP可以安装到iOS系统的手机中。这里所说的以.mlmodel扩展名结尾的模型文件放到编译前的工程场景,该模型文件也会在APP编译过程中编译成二进制的机器学习模型,并作为资源文件集成进最后的APP程序包中。
但是,基于上述部署流程,在后续模型更新的过程中,由于模型的组成部分有:模型名称,模型类型,模型文件,模型输入列表,模型输出列表等等,上述硬编码的集成流程会导致仅模型文件可在线部署更新,模型输入列表以及模型输出列表,都不能线上热更新,从而限制了模型优化迭代的效率。
并且,由于模型在使用过程中,推理引擎有Core ML,TFLite等多种方案,不同推理引擎的具体调用方式各有差别,前端如果需要同一个场景灰度上线的多种机器学习模型,需要开发多套调用逻辑,开发成本较高。可以理解的是,机器学习模型的本质是把一组输入数据按照一系列函数转化变成输出数据,其中输入、输出数据的类型及名称列表就是模型描述,中间一系列函数的具体参数值就组成了模型权重,而模型描述和模型权重共同组成了模型文件。由于Core ML,TFLite等推理引擎对上述过程都有自己的标准,所以模型文件会不同,加载模型和推理过程也会有所不同,从而,不同的推理引擎的具体调用方式各有差别。
基于上述内容,为了使机器学习模型不仅模型文件本身可线上热更新,模型输入列表和模型输出列表等与该机器学习模型相关的描述信息都可以热更新,以提高模型优化迭代的效率;同时,为了使具体的推理业务可以在Core ML,TFLite等引擎间线上切换,本发明提出了一种机器学习模型的热更新方法、装置、电子设备及存储介质。
下面首先对本发明实施例所提供的一种机器学习模型的热更新方法进行介绍。
本发明实施例所提供的一种机器学习模型的热更新方法可以应用于电子设备。在具体应用中,该电子设备可以为服务器,也可以为终端设备,这都是合理的。在实际应用中,该终端设备可以是:智能手机、平板电脑、台式电脑等等。
具体而言,该机器学习模型的热更新方法的执行主体可以为机器学习模型的热更新装置。示例性的,当该机器学习模型的热更新方法应用于终端设备时,该机器学习模型的热更新装置可以为存在模型更新需求的客户端中的插件,例如:视频播放客户端中的模型更新插件。示例性的,当该机器学习模型的热更新方法应用于服务器时,该机器学习模型的热更新装置可以为运行于服务器中的计算机程序,该计算机程序可以用于实现机器学习模型的热更新。
另外,本发明中所述的机器学习模型是指经过机器学习算法训练后得到的机器学习模型,得到训练完成的机器学习模型后,可以将模型转换为Core ML或TFLite类型等的模型文件,称为机器学习模型的模型文件,它可用于预测分析使用。而在模型的训练过程中,输出模型的同时按照协议规范输出描述文件,该描述文件的内容至少可以包括该机器学习模型的下载地址和与该机器学习模型相关的描述信息,其中描述信息可以包括:模型名称、模型版本、模型类型、模型输入列表、模型输出列表,等等。
其中,本发明实施例所提供的一种机器学习模型的热更新方法,可以包括如下步骤:
检测是否需要进行机器学习模型的更新;
若需要,获取预定服务端中所存储的、针对目标机器学习模型的目标描述文件;其中,所述目标机器学习模型为待更新至所述电子设备中的机器学习模型,针对任一机器学习模型的描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息;
基于所述目标描述文件中的下载地址,下载所述目标机器学习模型的模型文件;
基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,并将所述目标描述文件中的描述信息作为热更新后的描述信息。
本发明实施例所提供的方案中,检测到机器学习模型需要更新时,获取预定服务端中存储的、针对目标机器学习模型的目标描述文件;由于描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息,因此,基于所述目标描述文件中的下载地址,即可下载所述目标机器学习模型的模型文件,并且基于所述目标机器学习模型的模型文件,可以获得热更新后的可执行的模型文件,另外,将所述目标描述文件中的描述信息作为热更新后的描述信息。可见,本方案中,基于预定服务端中存储的目标描述文件进行模型更新,使得不仅模型文件可以更新,模型输入列表和模型输出列表等模型的描述信息均可以线上热更新,因此,提高了模型优化迭代的效率。
下面结合附图,对本发明实施例所提供的机器学习模型的热更新方法进行介绍。
如图1所示,本发明实施例所提供的一种机器学习模型的热更新方法,可以包括如下步骤:
S101,检测是否需要进行机器学习模型的更新;
机器学习模型的使用始终是一个不断迭代的过程,当服务端有新训练完成的机器学习模型时,往往需要部署到电子设备中,以方便电子设备中客户端的调用。因此,在本发明实施例中,首先需要检测是否需要进行机器学习模型的更新,若需要更新,则可以执行S102;若不需要更新,则可以不做处理,结束处理流程。这里,机器学习模型的更新可以是模型版本的更新,也就是同一名称的模型更新为新发布的版本;也可以是模型种类的更新,也就是更新为不同名称的模型。
示例性的,检测机器学习模型的模型版本是否需要更新的过程可以是:电子设备周期性或不定期地从用于部署描述文件的预定服务端中,获取本地已有机器学习模型的描述文件,按照所获取描述文件中V字段检查是否需要升级,也就是按照描述文件中的模型版本检查是否需要更新,若描述文件中的模型版本高于电子设备本地部署的模型版本,则表明需要更新。示例性的,检测机器学习模型的种类是否需要更新的过程可以是:电子设备获取模型调用方发送的待调用的模型名称,按照模型名称检测本地是否部署有对应的模型,若没有,则表明需要更新。示例性的,模型调用方可以是电子设备中的娱乐、生活等各种应用的客户端。
S102,若需要,获取预定服务端中所存储的、针对目标机器学习模型的目标描述文件;其中,所述目标机器学习模型为待更新至所述电子设备中的机器学习模型,针对任一机器学习模型的描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息;
本发明实施例中,预定服务端可以是cdn(内容分发网络)服务器,并且,经过机器学习算法训练后生成的模型文件和描述文件均可以部署到cdn服务器中;当然,电子设备能够访问的任一服务端均可以作为预定服务端,本发明实施例对此不做限定。可以理解的是,cdn服务器通过将网站的内容发布到最接近用户的网络“边缘”,使用户可以就近取得所需的内容,从而提高用户访问网站的响应速度。
示例性的,当需要进行机器学习模型的更新时,电子设备从cdn服务器中获取针对目标机器学习模型的目标描述文件,其中,目标描述文件中的内容包括目标机器学习模型的模型文件的下载地址和与目标机器学习模型相关的描述信息。例如,目标描述文件中的内容,可以包括:模型名称、模型版本、模型类型、模型的下载地址、模型输入列表和模型输出列表,等等。
其中,目标描述文件为在目标机器学习模型的训练过程中,输出模型文件的同时按照协议规范输出的描述文件。可以理解的是,由于目标描述文件中包括模型类型、模型输入列表和模型输出列表等内容,目标描述文件的存在为模型的更新提供了模型类型、输入、输出等维度的动态空间,提高了模型训练及部署的整体效率。
S103,基于所述目标描述文件中的下载地址,下载所述目标机器学习模型的模型文件;
本发明实施例中,通过步骤S102获取到针对目标机器学习模型的目标描述文件后,按照目标描述文件中的模型文件的下载地址,向该模型文件的下载地址发送针对目标机器学习模型的模型文件请求,即可以下载对应的模型文件。其中,目标描述文件中的模型的下载地址即为目标机器学习模型的模型文件的访问地址。
S104,基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,并将所述目标描述文件中的描述信息作为热更新后的描述信息。
本发明实施例中,针对不同的模型文件,模型类型可以是Core ML,或者,TFLite(用于设备端推断的开源深度学习框架)等。由于属于不同模型类型的模型文件在使用时具有不同的调用方式,因此,可以基于模型文件的模型类型选择是否进行编译,从而生成可执行的模型文件。可以理解的是,由于目标机器学习模型为待更新至所述电子设备中的机器学习模型,通过步骤S103获得的目标机器学习模型的模型文件,经过选择性编译后,即可得到热更新后的可执行的模型文件;由于目标描述文件中的描述信息为表征目标机器学习模型的配置相关的描述内容,该目标描述文件中的描述信息即可作为热更新后的描述信息。
可选地,在一种实现方式中,针对任一机器学习模型的描述文件中还包含该机器学习模型的模型类型;
相应的,所述基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,可以包括步骤A1-A2:
A1,确定所述目标描述文件中的模型类型,作为目标类型;
本实现方式中,从目标描述文件中获取模型类型,将所获取的模型类型作为作为目标类型,模型类型可以是Core ML,TFLite等。
A2,若所述目标类型为指定类型,对所述目标机器学习模型的模型文件进行编译处理,得到热更新后的可执行的模型文件;否则,将所述目标机器学习模型的模型文件,确定为热更新后的可执行的模型文件;其中,所述指定类型为表征存在文件编译需求的类型。
本实现方式中,所述指定类型为需要进行编译处理的模型类型。可以理解的是,在模型热更新时,针对不同类型的模型文件,对模型文件进行选择性的编译处理,生成可执行的模型文件,可以方便后续推理阶段的调用。示例性的,指定类型可以为Core ML,那么,若模型文件的模型类型为Core ML,则需要进行编译,生成可执行的模型文件,该可执行的模型文件即为热更新后的可执行的模型文件;若模型文件的模型类型为TFLite则不需要进行编译,该模型文件即为热更新后的可执行的模型文件。
上述的基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件的具体实现方式,仅仅作为示例,并不应该构成对本发明的限定。例如:电子设备在获取到目标机器学习模型的模型文件后,可以基于文件名称等信息,对目标机器学习模型的模型文件进行类型分析,确定出是否需要编译,进而,在需要编译时,对目标机器学习模型的模型文件进行编译。
本发明实施例所提供的方案中,检测到机器学习模型需要更新时,获取预定服务端中存储的、针对目标机器学习模型的目标描述文件;由于描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息,因此,基于所述目标描述文件中的下载地址,即可下载所述目标机器学习模型的模型文件,并且基于所述目标机器学习模型的模型文件,可以获得热更新后的可执行的模型文件,另外,将所述目标描述文件中的描述信息作为热更新后的描述信息。可见,本方案中,基于预定服务端中存储的目标描述文件进行模型更新,使得不仅模型文件可以更新,模型输入列表和模型输出列表等模型的描述信息均可以线上热更新,因此,提高了模型优化迭代的效率。
可选地,在一种实现方式中,所述目标机器学习模型与更新之前的机器学习模型属于模型名称相同的模型。也就是上述S101中所述的模型版本的更新,即同一名称的模型更新为新发布的版本。
在本实现方式中,所述检测是否需要进行机器学习模型的更新,包括步骤B1-B2:
B1,确定具有指定模型名称的模型的最新的模型版本;其中,所述指定模型名称为更新之前的机器学习模型的模型名称;
可以理解的是,在需要进行模型版本的更新时,首先可以确定具有指定模型名称的模型的最新版本。
可选地,所述确定具有指定模型名称的模型的最新的模型版本,包括步骤B11-B12:
B11,从预定服务端中请求、针对具有指定模型名称的模型的描述文件,作为待分析文件;
示例性的,所述预定服务端可以是cdn服务器;这里,从预定服务端中请求、针对具有指定模型名称的模型的描述文件,作为待分析文件的过程可以是:电子设备从cdn服务器中获取具有指定模型名称的描述文件,该从cdn服务器中新获取的具有指定模型名称的描述文件作为待分析文件。
B12,从所述待分析文件中,获取模型版本,作为具有指定模型名称的模型的最新的模型版本。
也就是,从预定服务端新获取的具有指定模型名称的描述文件中,获取模型版本,该模型版本即为具有指定模型名称的模型的最新的模型版本。
B2,若所述最新的模型版本,高于更新之前的机器学习模型的模型版本,则判定需要进行机器学习模型的更新。
在确定具有指定模型名称的模型的最新版本后,可以将该最新的模型版本与更新之前的机器学习模型的模型版本进行对比,以判定是否需要进行机器学习模型的更新。也就是,将预定服务端中新获取的具有指定模型名称的描述文件中的模型版本,与电子设备中本地部署的具有指定模型名称的描述文件中的模型版本进行对比,即按照描述文件中的V字段比较模型版本,若新获取的描述文件中的模型版本高于本地描述文件中的模型版本,则判定需要进行机器学习模型的更新。
本实现方式中,通过从预定服务端中请求、针对具有指定模型名称的模型的描述文件,然后将该描述文件中的模型版本与电子设备本地部署的具有指定模型名称的描述文件的模型版本进行比较,对模型是否需要更新进行判断,从而在预定服务端中存在具有指定模型名称的模型的新版本时,可以进行模型的更新。
可选地,在另一种实现方式中,所述目标机器学习模型与更新之前的机器学习模型属于模型名称不同的模型。也就是上述S101中所述的进行模型种类的更新,即将机器学习模型更新为具有不同模型名称的模型。
在本实现方式中,所述检测是否需要进行机器学习模型的更新,包括步骤C1-C2:
C1,获取模型调用方发送的待调用模型的模型名称;
也就是,在模型调用方调用机器学习模型时,获取模型调用方发送的待调用的模型的名称。这里,模型的调用方可以是使用机器学习模型的电子设备中的某个客户端中的业务模块,例如:视频播放客户端中的视频预加载模块。
C2,若所获取的模型名称与指定模型的模型名称不同,则判定需要进行机器学习模型的更新;其中,所述指定模型为更新之前的机器学习模型;所述目标机器学习模型为所获取模型名称指示的机器学习模型。
若所获取的模型名称与指定模型的模型名称不同,也就是模型调用方发送的待调用模型的模型名称,与更新之前的机器学习模型的模型名称不同,则需要进行机器学习模型的更新。
本实现方式中,通过获取模型调用方发送的待调用模型的模型名称,然后将待调用模型的模型名称与更新之前的机器学习模型的模型名称进行比较,当调用方需要调用具有不同模型名称的模型时,即可进行模型的更新。这样,在后续推理过程中,模型调用方通过模型名称即可调用热更新后的模型,从而支持了具有不同模型名称的模型的跨模型升级的能力,为线上实验提供了更多灵活性。
在通过本方案进行机器学习模型的热更新后,如图2所示,本发明还提供一种机器学习模型的推理方法,包括步骤S201-S203:
S201,基于模型调用方提供的模型名称,加载对应的机器学习模型的可执行的模型文件;
本发明实施例中,模型调用方可以是电子设备中的某个客户端中的、需要调用机器学习模型的业务模块,该业务模块按照模型名称加载对应的机器学习模型。示例性的,所述客户端可以是视频播放客户端,所述业务模块可以是视频预加载模块。可以理解的是,在经过上述模型的热更新后,电子设备中存储了相应模型热更新后的可执行的模型文件。因此,在推理过程中,通过模型调用方提供的模型名称,即可加载对应的机器学习模型的可执行的模型文件。
其中,在加载过程中,由于推理引擎有Core ML、TFLite等多种方案,不同推理引擎的调用方式各有差别。现有技术如果需要同一个场景灰度上线多种算法,需要开发多套调用方式的逻辑代码,成本较高;而本方案针对各类模型进行了使用方式的统一。例如:某视频预加载场景,既有TFLite的模型,又有Core ML的模型,传统方案要针对每种类型开发一套代码,而本方案由于描述文件的存在,可以按照描述文件中的描述信息分版本分系统的加载不同模型,从而可以提高模型使用过程中更新的灵活性。
S202,按照目标描述信息中的模型输入列表对模型调用方提供的输入数据进行筛选,得到掩模后的输入数据;其中,所述目标描述信息为所述机器学习模型的描述文件中的描述信息;
本发明实施例中,目标描述信息中包括模型输入列表,模型输入列表中定义了模型输入的配置信息,包括:模型的输入名称及类型。按照模型输入列表的配置信息,对模型调用方提供的输入数据进行筛选,得到真正的输入,即掩模后的输入数据。
相较于现有技术中,描述文件的存在提供了输入、输出、模型类型等维度的动态空间,提高了模型训练及部署的效率。例如:某APP的V1版本中,视频预加载场景在使用机器学习模型的V1版本时,使用了5个特征字段的输入,此时,若APP的V1版本中仅预埋了5个特征,而采集的特征字段又扩展到10个,则另5个特征需要发版APP的V2版本进行预埋,在APP的V2版本上线后,模型的V1版本才可以吸收另5个特征进行训练,生成模型的V2版本。此时,传统方案由于不能进行热更新,APP的V2版本中部署的仍是模型的V1版本,从而只能通过发版APP的V3版本才可以使用模型的V2版本。而本方案由于描述文件的存在,可以根据描述信息中模型输入列表对输入数据进行动态的筛选,把新的特征加入到推理过程中,从而可以在APP的V2版本直接下发模型的V2版本,在一定程度上减少了模型扩展参数依赖发版的问题。
S203,将掩模后的输入数据输入到可执行的模型文件中,得到按照所述目标描述信息中的模型输出列表输出的推理结果。
在通过步骤S202得到掩模后的输入数据后,将输入数据输入到可执行的模型文件中,即可进行推理过程,得到推理结果。其中,模型输出列表中定义了模型输出的配置信息,包括:模型的输出名称及类型。按照模型输出列表的配置信息,即可输出满足输出格式的推理结果。
本发明实施例所提供的方案中,可以通过描述文件中记载的描述信息,分版本分系统的加载不同模型,实现各模型之间的混合调用,从而可以提高模型使用过程中模型更新的灵活性;并且,描述文件的存在提供了输入、输出、模型类型等维度的动态空间,提高了模型训练及部署的效率。
为了更好的理解本发明的思路,下面结合一个具体的示例进行阐述。本发明的一个具体的示例可以包括如下内容:
(1)模型训练阶段:在训练输出模型文件的同时按照协议规范输出描述文件,将模型文件和描述文件上传到cdn服务器中进行部署;其中,描述文件中的内容包括模型的下载地址,以及与该模型相关的描述信息;其中描述信息包括:模型名称、模型版本、模型类型、模型输入列表、模型输出列表,等等。
(2)模型更新部署阶段:移动端从cdn服务器中获取协议描述文件,其中,协议描述文件为包含至少一个描述文件的描述文件列表;按照v字段检查是否需要升级(即更新),也就是检查本地是否有对应版本缓存。如果需要升级,按照每个待升级模型的URL(UniformResource Locator,统一资源定位器)地址下载模型文件并解压,检查该模型文件对应的描述文件中的type属性(即模型类型),如果是Core ML类型,需要进行编译模型,如果是TFLite类型,则不需要编译模型,这样就得到了可执行的模型文件,其他种类模型可以类似扩展;如果模型不需要升级,直接进入(3)推理流程。
(3)推理流程的模型加载阶段:业务模块按照模型名称加载推理模型(即可执行的模型文件),模型加载模块按照模型名称从协议描述文件中查找描述信息,按照描述信息中的模型类型(Core ML/TFLite)进行对应模型的加载。这样业务模块通过模型名称即可调用模型推理模块,降低使用成本,同时支持了不同格式模型(即具有不同模型名称的模型)的跨模型升级的能力,为线上实验提供了更多灵活性。
(4)推理流程的推理阶段,业务模块构建输入数据,通过描述信息中模型输入列表中定义的配置信息过滤后形成匹配模型的输入,进行预测推理。
业务模块提供的原始输入:{“a1”:”1”,“b1”:”1”,“c1”:”1”,“d1”:”1”,“e1”:”1”}
描述文件中模型输入列表的配置信息:"input":[{"type":"double","name":"b1"},{"type":"double","name":"c1"}]
掩模后输入:input={“b1”:”1”,“c1”:”1”}
执行推理:output=[_model predictionFromFeatures:input options:optionserror:error];
本示例中,当前版本支持了5个特征字段的输入,其中2个特征字段参与了模型推理,随着当前版本的上线,后台可以搜集到5个特征字段的数据,训练出新的模型,动态部署到当前版本,5个特征字段可以直接参与到推理过程,减少了一次发版的成本。理想情况下,前端可以有一个大型特征字段库,可以在该范围内通过描述文件任意指定输入范围来作为模型输入,实现了极大的动态能力。通过使用该模型在某重点场景中进行视频点击预测,实现智能预加载,在加速开播和宽带省流两个方面进行了合理平衡。
为了更好的阐述本发明实施例的内容,下面结合机器学习模型的推理方法的原理示意图对本发明的思路进行介绍。
如图3所示,本发明的示意图包括前端和后端两个部分,其中,后端即为电子设备中的模型配置后台,为前端(电子设备中的客户端)功能的实现提供技术支持。前端中进行模型的下载解压,将模型下载解压后,经过选择性编译处理生成可执行的模型文件,保存到前端模型管理中心进行管理。在业务模块需要使用机器学习模型时,直接从前端模型管理中心中调用相应的模型。
基于上述描述内容可知,本方案的有益效果在于:
(1)通过模型的描述文件扩展模型动态部署能力,包括按照模型名称更新模型的类型,模型文件,模型输入列表和模型输出列表。该能力在视频预加载场景实现了单版本模型更新过程动态加入前端特征库中的维度,提高了算法迭代速度,减少对发版周期的依赖。
(2)业务模块可以按照模型名称从描述文件中查找描述信息,按照描述信息中的模型类型(Core ML/TFLite)进行对应模型的加载。这样业务模块通过模型名称即可调用模型推理模块,降低使用成本,同时支持了不同格式模型的跨模型升级的能力,为线上实验提供了更多灵活性。目前视频预加载场景具备动态更新Core ML、TFLite格式的决策树随机森林,神经网络等多种模型。
值得一提的是,本发明作为端智能SDK(Software Development Kit,软件开发工具包)的重要基础设施,支持了视频播放客户端智能预加载的模型更新工作,支持线上进行了多组模型及参数组合的灰度实验,目前效果为节省了召回率84%,假真率12.92%,节省请求率80.11%,为节省公司宽带成本和兼顾用户体验上做了非常科学合理的折中。并且,该发明后续将持续赋能各种端智能场景落地场景,使用移动端进行模型热更新以及推理过程的统一化透明处理行为都可以适用,包括娱乐、生活等各种APP,不局限APP的类型。
基于上述方法的实施例,本发明实施例还提供了一种机器学习模型热更新的装置,如图4所示,所述装置包括:
检测模块410,用于检测是否需要进行机器学习模型的更新;
获取模块420,用于若需要,获取预定服务端中所存储的、针对目标机器学习模型的目标描述文件;其中,所述目标机器学习模型为待更新至所述电子设备中的机器学习模型,针对任一机器学习模型的描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息;
下载模块430,用于基于所述目标描述文件中的下载地址,下载所述目标机器学习模型的模型文件;
更新模块440,用于基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,并将所述目标描述文件中的描述信息作为热更新后的描述信息。
可选地,所述针对任一机器学习模型的描述文件中还包含该机器学习模型的模型类型;
所述更新模块,包括:
类型确定子模块,用于确定所述目标描述文件中的模型类型,作为目标类型;
处理子模块,用于若所述目标类型为指定类型,对所述目标机器学习模型的模型文件进行编译处理,得到热更新后的可执行的模型文件;否则,将所述目标机器学习模型的模型文件,确定为热更新后的可执行的模型文件;
其中,所述指定类型为表征存在文件编译需求的类型。
可选地,所述目标机器学习模型与更新之前的机器学习模型属于模型名称相同的模型。
可选地,所述检测模块,包括:
第一确定子模块,用于确定具有指定模型名称的模型的最新的模型版本;其中,所述指定模型名称为更新之前的机器学习模型的模型名称;
第一判定子模块,用于若所述最新的模型版本,高于更新之前的机器学习模型的模型版本,则判定需要进行机器学习模型的更新。
可选地,所述第一确定子模块,包括:
请求单元,用于从预定服务端中请求、针对具有指定模型名称的模型的描述文件,作为待分析文件;
版本获取单元,用于从所述待分析文件中,获取模型版本,作为具有指定模型名称的模型的最新的模型版本。
可选地,所述目标机器学习模型与更新之前的机器学习模型属于模型名称不同的模型。
可选地,所述检测模块,包括:
名称获取子模块,用于获取模型调用方发送的待调用模型的模型名称;
第二判定子模块,用于若所获取的模型名称与指定模型的模型名称不同,则判定需要进行机器学习模型的更新;其中,所述指定模型为更新之前的机器学习模型;所述目标机器学习模型为所获取模型名称指示的机器学习模型。
基于上述方法的实施例,本发明实施例还提供了一种基于上述的热更新方法的机器学习模型的推理装置,如图5所示,所述装置包括:
加载模块510,用于基于模型调用方提供的模型名称,加载对应的机器学习模型的可执行的模型文件;
筛选模块520,用于按照目标描述信息中的模型输入列表对模型调用方提供的输入数据进行筛选,得到掩模后的输入数据;其中,所述目标描述信息为所述机器学习模型的描述文件中的描述信息;
输出模块530,用于将掩模后的输入数据输入到可执行的模型文件中,得到按照所述目标描述信息中的模型输出列表输出的推理结果。
本发明实施例还提供了一种电子设备,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现上述实施例中任一所述的机器学习模型热更新的方法的步骤,或者,上述实施例中任一所述的机器学习模型的推理方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一所述的机器学习模型热更新的方法的步骤,或者,上述实施例中任一所述的机器学习模型的推理方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的机器学习模型热更新的方法的步骤,或者,上述实施例中任一所述的机器学习模型的推理方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、存储介质等实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (12)
1.一种机器学习模型的热更新方法,其特征在于,应用于电子设备,所述方法包括:
检测是否需要进行机器学习模型的更新;
若需要,获取预定服务端中所存储的、针对目标机器学习模型的目标描述文件;其中,所述目标机器学习模型为待更新至所述电子设备中的机器学习模型,针对任一机器学习模型的描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息;
基于所述目标描述文件中的下载地址,下载所述目标机器学习模型的模型文件;
基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,并将所述目标描述文件中的描述信息作为热更新后的描述信息。
2.根据权利要求1所述的方法,其特征在于,针对任一机器学习模型的描述文件中还包含该机器学习模型的模型类型;
所述基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,包括:
确定所述目标描述文件中的模型类型,作为目标类型;
若所述目标类型为指定类型,对所述目标机器学习模型的模型文件进行编译处理,得到热更新后的可执行的模型文件;否则,将所述目标机器学习模型的模型文件,确定为热更新后的可执行的模型文件;
其中,所述指定类型为表征存在文件编译需求的类型。
3.根据权利要求1或2所述的方法,其特征在于,所述目标机器学习模型与更新之前的机器学习模型属于模型名称相同的模型。
4.根据权利要求3所述的方法,其特征在于,所述检测是否需要进行机器学习模型的更新,包括:
确定具有指定模型名称的模型的最新的模型版本;其中,所述指定模型名称为更新之前的机器学习模型的模型名称;
若所述最新的模型版本,高于更新之前的机器学习模型的模型版本,则判定需要进行机器学习模型的更新。
5.根据权利要求4所述的方法,其特征在于,所述确定具有指定模型名称的模型的最新的模型版本,包括:
从预定服务端中请求、针对具有指定模型名称的模型的描述文件,作为待分析文件;
从所述待分析文件中,获取模型版本,作为具有指定模型名称的模型的最新的模型版本。
6.根据权利要求1或2所述的方法,其特征在于,所述目标机器学习模型与更新之前的机器学习模型属于模型名称不同的模型。
7.根据权利要求6所述的方法,其特征在于,检测是否需要进行机器学习模型的更新,包括:
获取模型调用方发送的待调用模型的模型名称;
若所获取的模型名称与指定模型的模型名称不同,则判定需要进行机器学习模型的更新;其中,所述指定模型为更新之前的机器学习模型;所述目标机器学习模型为所获取模型名称指示的机器学习模型。
8.一种基于权利要求1-7任一项所述方法的机器学习模型的推理方法,其特征在于,所述方法包括:
基于模型调用方提供的模型名称,加载对应的机器学习模型的可执行的模型文件;
按照目标描述信息中的模型输入列表对模型调用方提供的输入数据进行筛选,得到掩模后的输入数据;其中,所述目标描述信息为所述机器学习模型的描述文件中的描述信息;
将掩模后的输入数据输入到可执行的模型文件中,得到按照所述目标描述信息中的模型输出列表输出的推理结果。
9.一种机器学习模型的热更新装置,其特征在于,应用于电子设备,所述装置包括:
检测模块,用于检测是否需要进行机器学习模型的更新;
获取模块,用于若需要,获取预定服务端中所存储的、针对目标机器学习模型的目标描述文件;其中,所述目标机器学习模型为待更新至所述电子设备中的机器学习模型,针对任一机器学习模型的描述文件中包含该机器学习模型的模型文件的下载地址,以及与该机器学习模型相关的描述信息;
下载模块,用于基于所述目标描述文件中的下载地址,下载所述目标机器学习模型的模型文件;
更新模块,用于基于所述目标机器学习模型的模型文件,获得热更新后的可执行的模型文件,并将所述目标描述文件中的描述信息作为热更新后的描述信息。
10.一种基于权利要求1-7任一项所述方法的机器学习模型的推理装置,其特征在于,所述装置包括:
加载模块,用于基于模型调用方提供的模型名称,加载对应的机器学习模型的可执行的模型文件;
输入模块,用于按照描述信息中的模型输入列表对模型调用方提供的输入数据进行筛选,得到掩模后的输入数据;
输出模块,用于将掩模后的输入数据输入到可执行的模型文件中,得到按照所述目标描述信息中的模型输出列表输出的推理结果。
11.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一项所述的机器学习模型热更新的方法的步骤,或者,权利要求8所述的机器学习模型的推理方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的机器学习模型热更新的方法的步骤,或者,权利要求8所述的机器学习模型的推理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111246295.7A CN113885920A (zh) | 2021-10-26 | 2021-10-26 | 机器学习模型的热更新方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111246295.7A CN113885920A (zh) | 2021-10-26 | 2021-10-26 | 机器学习模型的热更新方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113885920A true CN113885920A (zh) | 2022-01-04 |
Family
ID=79014276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111246295.7A Pending CN113885920A (zh) | 2021-10-26 | 2021-10-26 | 机器学习模型的热更新方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113885920A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115145592A (zh) * | 2022-09-01 | 2022-10-04 | 新华三技术有限公司 | 离线模型部署方法和装置、网络设备、分析器 |
CN117540827A (zh) * | 2024-01-08 | 2024-02-09 | 杭州吉利汽车数字科技有限公司 | 模型热更新方法、装置、设备及计算机可读存储介质 |
-
2021
- 2021-10-26 CN CN202111246295.7A patent/CN113885920A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115145592A (zh) * | 2022-09-01 | 2022-10-04 | 新华三技术有限公司 | 离线模型部署方法和装置、网络设备、分析器 |
CN117540827A (zh) * | 2024-01-08 | 2024-02-09 | 杭州吉利汽车数字科技有限公司 | 模型热更新方法、装置、设备及计算机可读存储介质 |
CN117540827B (zh) * | 2024-01-08 | 2024-04-09 | 杭州吉利汽车数字科技有限公司 | 模型热更新方法、装置、设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106980504B (zh) | 一种应用程序开发方法及其工具、设备 | |
EP1872215B1 (en) | Implementing data-compatibility-based version scheme | |
CN105100191A (zh) | 一种云编译实现Java应用安装的方法、装置及系统 | |
EP1803313A1 (en) | Method and system for controlling software version updates | |
CN109618176B (zh) | 一种直播业务的处理方法、设备和存储介质 | |
CN113885920A (zh) | 机器学习模型的热更新方法、装置、电子设备及存储介质 | |
CN111399840B (zh) | 一种模块开发方法及装置 | |
CN111666497A (zh) | 应用程序的加载方法、装置、电子设备及可读存储介质 | |
CN111045683A (zh) | 小程序代码编译方法、装置、设备及介质 | |
CN103634393A (zh) | Ivr及其实现方法 | |
CN112395253A (zh) | 索引文件生成方法、终端设备、电子设备及介质 | |
CN114756306A (zh) | 服务调用方法、装置、设备及存储介质 | |
CN111683005B (zh) | 一种物联网智能网关设备及其构建方法 | |
CN113360156B (zh) | 一种ios编译方法及相关设备 | |
CN110442353B (zh) | 一种安装包管理的方法、装置及电子设备 | |
CN111897565A (zh) | 基于物联网的数据处理方法、装置和设备 | |
CN116414407A (zh) | 组件安装和数据处理的方法、装置、设备及介质 | |
CN111382953A (zh) | 一种动态流程生成方法和装置 | |
CN115729590A (zh) | 服务部署方法、装置、设备和计算机可读存储介质 | |
CN111026466A (zh) | 文件处理方法、装置、计算机可读存储介质及电子设备 | |
CN111522627B (zh) | 一种Docker镜像管理方法、装置、设备及介质 | |
CN112632113B (zh) | 一种算子管理方法和算子管理系统 | |
CN112558870B (zh) | 一种针对地址空间的数据处理方法及装置 | |
CN116382796B (zh) | 一种h5小程序运行器的插件管理方法、装置及电子设备 | |
CN117193729A (zh) | 一种微服务的生成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |