CN111273953B - 模型处理方法、装置、终端及存储介质 - Google Patents

模型处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111273953B
CN111273953B CN201811376526.4A CN201811376526A CN111273953B CN 111273953 B CN111273953 B CN 111273953B CN 201811376526 A CN201811376526 A CN 201811376526A CN 111273953 B CN111273953 B CN 111273953B
Authority
CN
China
Prior art keywords
model
target
parameters
application program
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811376526.4A
Other languages
English (en)
Other versions
CN111273953A (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811376526.4A priority Critical patent/CN111273953B/zh
Priority to PCT/CN2019/111086 priority patent/WO2020103606A1/zh
Publication of CN111273953A publication Critical patent/CN111273953A/zh
Application granted granted Critical
Publication of CN111273953B publication Critical patent/CN111273953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44505Configuring for program initiating, e.g. using registry, configuration files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44568Immediately runnable code
    • G06F9/44578Preparing or optimising for loading

Abstract

本申请公开了一种模型处理方法、装置、终端及存储介质,属于终端技术领域。所述方法包括:获取目标应用程序对应的输入参数和目标模型,读取多个模型参数各自对应的状态值,根据输入参数,将多个模型参数运行在各自对应的状态值所指示的计算处理单元中,输出得到目标应用程序对应的目标参数。本申请实施例通过将多个模型参数各自对应的状态值配置在目标模型中,当终端需要采用目标模型对目标应用程序识别输入参数时,通过对更新后的目标模型进行读入,即可获得修改后的多个模型参数各自对应的状态值,从而将多个模型参数运行在各自对应的状态值所指示的计算处理单元中,提高了配置效率。

Description

模型处理方法、装置、终端及存储介质
技术领域
本申请实施例涉及终端技术领域,特别涉及一种模型处理方法、装置、终端及存储介质。
背景技术
通常一个模型包括多个模型参数,模型处理方法是对模型中的多个模型参数进行处理的方法。
相关技术中,终端安装该目标应用程序后,存储有该目标应用程序对应的预先训练的目标模型和通过编译脚本预先生成的二进制可执行程序,该二进制可执行程序用于指示该模型中的多个模型参数各自所运行的计算处理单元。若需要修改某个模型参数对应的计算处理单元,则服务器需要修改编译脚本,重新编译生成二进制可执行程序。对应的,终端需要卸载并重新安装应用程序,才能根据重新编译生成的二进制可执行程序使用该模型。
发明内容
本申请实施例提供了一种模型处理方法、装置、终端及存储介质,可以用于解决当需要修改某个模型参数对应的计算处理单元时配置过程复杂导致配置效率较低的问题。技术方案如下:
根据本申请实施例的第一方面,提供了一种模型处理方法,用于终端中,所述方法包括:
获取目标应用程序对应的输入参数和目标模型,所述目标模型为采用样本输入参数对多个模型参数进行训练得到的模型;
读取所述多个模型参数各自对应的状态值,所述状态值用于指示所述目标模型更新后所配置的用于运行所述模型参数的计算处理单元;
根据所述输入参数,将所述多个模型参数运行在各自对应的所述状态值所指示的所述计算处理单元中,输出得到所述目标应用程序对应的目标参数;
其中,所述计算处理单元包括中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式神经网络处理器(Neural-network Processing Unit,NPU)中的至少一种。
根据本申请实施例的第二方面,提供了一种模型处理装置,用于终端中,所述装置包括:
获取模块,用于获取目标应用程序对应的输入参数和目标模型,所述目标模型为采用样本输入参数对多个模型参数进行训练得到的模型;
读取模块,用于读取所述多个模型参数各自对应的状态值,所述状态值用于指示所述目标模型更新后所配置的用于运行所述模型参数的计算处理单元;
输出模块,用于根据所述输入参数,将所述多个模型参数运行在各自对应的所述状态值所指示的所述计算处理单元中,输出得到所述目标应用程序对应的目标参数;
其中,所述计算处理单元包括CPU、GPU、DSP、NPU中的至少一种。
根据本申请实施例的第三方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如本申请第一方面及其可选实施例任一所述的模型处理方法。
根据本申请实施例的第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如本申请第一方面及其可选实施例任一所述的模型处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过将多个模型参数各自对应的状态值配置在目标模型中,根据更新后的目标模型中所配置的多个模型参数各自对应的状态值,确定多个模型参数各自所运行的计算处理单元,计算处理单元包括CPU、GPU、DSP、NPU中的至少一种,避免了相关技术中需要将目标应用程序卸载并重新安装才能根据重新编译生成的二进制可执行程序,确定出该模型中的多个模型参数各自所运行的处理单元的情况,进而简化了对模型参数所运行的处理单元进行重新配置的过程,提高了配置效率。
附图说明
图1是本申请一个示例性实施例所提供的终端的结构示意图;
图2是本申请一个示例性实施例提供的模型处理方法的流程图;
图3是本申请另一个示例性实施例提供的模型处理方法的流程图;
图4是本申请另一个示例性实施例提供的模型处理方法的流程图;
图5是本申请一个实施例提供的模型处理装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
首先,对本申请涉及到的名词进行介绍。
目标模型:是一种用于根据输入的数据输出得到目标应用程序对应的目标参数的数学模型。
可选地,目标模型包括:卷积神经网络(Convolutional Neural Network,CNN)模型、深度神经网络(Deep Neural Network,DNN)模型、循环神经网络(Recurrent NeuralNetworks,RNN)模型、嵌入(embedding)模型、梯度提升决策树(Gradient BoostingDecision Tree,GBDT)模型和逻辑回归(Logistic Regression,LR)模型中的至少一种。
CNN模型是用于对图像中物体类别进行识别的网络模型。CNN模型还可以对有标签图像数据或无标签图像数据的数据特征进行提取。CNN模型分为可通过无标签图像数据进行训练的神经网络模型以及不可以通过无标签图像数据进行训练的神经网络模型。
DNN模型是一种深度学习框架。DNN模型包括输入层、至少一层隐层(或称,中间层)和输出层。可选地,输入层、至少一层隐层(或称,中间层)和输出层均包括至少一个神经元,神经元用于对接收到的数据进行处理。可选地,不同层之间的神经元的数量可以相同;或者,也可以不同。
RNN模型是一种具有反馈结构的神经网络模型。在RNN模型中,神经元的输出可以在下一个时间戳直接作用到自身,即,第i层神经元在m时刻的输入,除了(i-1)层神经元在该时刻的输出外,还包括其自身在(m-1)时刻的输出。
embedding模型是基于实体和关系分布式向量表示,将每个三元组实例中的关系看作从实体头到实体尾的翻译。其中,三元组实例包括主体、关系、客体,三元组实例可以表示成(主体,关系,客体);主体为实体头,客体为实体尾。比如:小张的爸爸是大张,则通过三元组实例表示为(小张,爸爸,大张)。
GBDT模型是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结果累加起来作为最终结果。决策树的每个节点都会得到一个预测值,以年龄为例,预测值为属于年龄对应的节点的所有人年龄的平均值。
LR模型是指在线性回归的基础上,套用一个逻辑函数建立的模型。
相关技术中,若需要修改某个模型的模型参数对应的计算处理单元,则服务器需要修改编译脚本,重新编译生成二进制可执行程序。对应的,终端需要卸载并重新安装应用程序,才能根据重新编译生成的二进制可执行程序使用该模型。目前尚未提供一种方便而可靠的模型处理方法。
本申请实施例提供了一种模型处理方法、装置、终端及存储介质,可以用于解决上述相关技术中存在的问题。本申请提供的技术方案中,通过将多个模型参数各自对应的状态值配置在目标模型中,当终端需要采用目标模型对目标应用程序对应的输入参数进行识别时,通过对更新后的目标模型进行读入,即可获得修改后的多个模型参数各自对应的状态值,根据多个模型参数各自对应的状态值,将多个模型参数运行在各自对应的状态值所指示的计算处理单元中,计算处理单元包括CPU、GPU、DSP、NPU中的至少一种,避免了相关技术中需要将目标应用程序卸载并重新安装才能根据重新编译生成的二进制可执行程序,确定出该模型中的多个模型参数各自所运行的处理单元的情况,进而简化了对模型参数所运行的处理单元进行重新配置的过程,提高了配置效率。
在对本申请实施例进行解释说明之前,先对本申请实施例的应用场景进行说明。图1示出了本申请一个示例性实施例所提供的终端的结构示意图。
该终端100是安装有目标应用程序的电子设备。
可选的,该目标应用程序是系统程序或者第三方应用程序。其中,第三方应用程序是除了用户和操作系统之外的第三方制作的应用程序。
该终端100是具有通讯功能的电子设备。比如,该终端为手机。
可选的,该终端100中包括:处理器120和存储器140。
处理器120可以包括一个或者多个处理核心。处理器120利用各种接口和线路连接整个终端100内的各个部分,通过运行或执行存储在存储器140内的指令、程序、代码集或指令集,以及调用存储在存储器140内的数据,执行终端100的各种功能和处理数据。可选的,处理器120可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器120可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器120中,单独通过一块芯片进行实现。
存储器140可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器140包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器140可用于存储指令、程序、代码、代码集或指令集。存储器140可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等;存储数据区可存储下面各个方法实施例中涉及到的数据等。
请参考图2,其示出了本申请一个示例性实施例提供的模型处理方法的流程图。本实施例以该模型处理方法应用于图1所示出的终端中来举例说明。该模型处理方法包括:
步骤201,获取目标应用程序对应的输入参数和目标模型,目标模型为采用样本输入参数对多个模型参数进行训练得到的模型。
可选的,当目标应用程序处于前台运行时,获取目标应用程序对应的输入参数和目标模型。示意性的,当目标应用程序处于前台运行时,若终端检测到目标应用程序中的识别功能被启动则获取目标应用程序对应的输入参数和目标模型。
其中,目标模型为用于对目标应用程序对应的待识别数据中的目标特征进行识别的神经网络模型,输入参数为待识别数据中的目标特征,目标参数为待识别数据对应的识别结果。
可选的,目标模型是根据训练样本集对原始参数模型进行训练得到的经网络模型。其中,原始参数模型包括:CNN模型、DNN模型、RNN模型、嵌入模型、GBDT模型和LR模型中的至少一种。训练样本集包括多组样本数据组,样本数据组包括样本输入参数和预先标注的正确目标参数。
需要说明的是,目标模型的训练过程可参考下面实施例中的相关描述,在此先不介绍。
步骤202,读取多个模型参数各自对应的状态值,状态值用于指示目标模型更新后所配置的用于运行模型参数的计算处理单元。
可选的,终端读取多个模型参数各自对应的状态值,包括:获取目标模型对应的目标配置文件,目标配置文件用于存储目标模型的模型参数与状态值之间的对应关系;从目标配置文件中读取多个模型参数各自对应的状态值。
可选的,该目标配置文件存储在目标模型中,即终端读取多个模型参数各自对应的状态值,也就是终端从目标模型中读取多个模型参数各自对应的状态值。其中,目标模型中存储有模型参数与状态值之间的对应关系。
可选的,目标模型中包括多个模型参数各自对应的状态值,状态值用于指示目标模型更新后所配置的用于运行模型参数的计算处理单元。
其中,计算处理单元包括CPU、GPU、DSP、NPU中的至少一种。
相关技术中多个模型参数各自对应的状态值是配置在二进制可执行程序中的,而本申请将多个模型参数各自对应的状态值配置在目标模型中,使得在终端安装好目标应用程序之后,当需要修改某个模型参数对应的计算处理单元时服务器更新目标模型,终端只需从更新后的目标模型中重新读取即可,避免了相关技术中终端需要卸载目标应用程序并重新安装后才能获取重新编译生成的二进制可执行程序,并根据该二进制可执行程序使用该模型的情况。
步骤203,根据输入参数,将多个模型参数运行在各自对应的状态值所指示的计算处理单元中,输出得到目标应用程序对应的目标参数。
可选的,终端将输入参数输入至目标模型中输出得到目标应用程序对应的目标参数。其中,目标模型在使用的过程中多个模型参数运行在各自对应的状态值所指示的计算处理单元中。
可选的,目标模型、输入参数和目标参数之间的对应关系包括但不限于以下几种可能的对应关系:
在一种可能的对应关系中,当目标模型为场景分类模型时,输入参数包括目标应用程序当前的应用图层中的图层特征,目标参数包括应用图层对应的应用场景的场景类型标识。
比如,目标模型为游戏场景分类模型,输入参数包括游戏应用程序当前的应用图层中的图层特征,目标参数包括应用图层对应的游戏场景的场景类型标识。游戏场景包括资源更新场景、账号登录场景、游戏主界面场景、商城界面场景、游戏内加载场景和对战场景中的至少一种。
在另一种可能的对应关系中,当目标模型为多媒体文件评分模型时,输入参数包括包含目标应用程序当前的多媒体文件中的文件特征,目标参数包括多媒体文件的文件评分,多媒体文件包括文本、图像、音频和视频中的至少一种。
可选的,多媒体文件评分模型为文本评分模型、图像评分模型、音频评分模型和视频评分模型中的一种。
比如,目标模型为图像评分模型,终端获取图像处理应用程序的目标图像,从目标图像中提取图像特征,将该图像特征作为输入参数输入至图像评分模型中,输出得到该目标图像的图像评分,图像评分用于指示该目标图像的图像质量。
在另一种可能的对应关系中,当目标模型为画质调节模型时,输入参数包括目标应用程序对应的系统参数数据中的数据特征,目标参数包括目标应用程序的目标画质参数。
系统参数数据包括操作系统的温度数据或者电池电量数据。
比如,目标模型为画质调节模型,终端获取操作系统当前的温度数据,当温度数据大于预设温度阈值时将当前的温度数据作为输入参数输入至画质调节模型中,输出得到目标应用程序的目标画质参数,画质参数用于指示在终端屏幕中所显示的目标应用程序的画面质量。
需要说明的是,目标模型、输入参数和目标参数之间的对应关系还可以包括根据上述几种可能的对应关系易于思及的其它可能的对应关系,本实施例不再一一举例说明。
综上所述,本实施例通过将多个模型参数各自对应的状态值配置在目标模型中,根据更新后的目标模型中所配置的多个模型参数各自对应的状态值,确定多个模型参数各自所运行的计算处理单元,计算处理单元包括CPU、GPU、DSP、NPU中的至少一种,避免了相关技术中需要将目标应用程序卸载并重新安装才能根据重新编译生成的二进制可执行程序,确定出该模型中的多个模型参数各自所运行的处理单元的情况,进而简化了对模型参数所运行的处理单元进行重新配置的过程,提高了配置效率。
请参考图3,其示出了本申请一个示例性实施例提供的模型处理方法的流程图。本实施例以该模型处理方法应用于图1所示出的终端中来举例说明。该模型处理方法包括:
步骤301,获取训练得到的中间网络模型,中间网络模型包括多个模型参数。
可选的,终端获取训练得到的中间网络模型,包括:获取训练样本集,训练样本集包括多组样本数据组,样本数据组包括样本输入参数和预先标注的正确目标参数。根据多组样本数据组,采用误差反向传播算法对初始网络模型进行训练,得到中间网络模型。
在一种可能的实现方式中,终端根据多组样本数据组,采用误差反向传播算法对初始网络模型进行训练,得到中间网络模型,包括但不限于以下几个步骤,如图4所示:
步骤401,对于至少一组样本数据组中的每组样本数据组,从样本输入参数中提取样本参数特征。
终端根据样本输入参数,采用特征提取算法计算得到特征向量,将计算得到的特征向量确定为样本参数特征。
可选的,终端根据样本输入参数,采用特征提取算法计算得到特征向量,包括:对采集到的样本输入参数进行特征提取,将经过特征提取后的数据确定为特征向量。
示意性的,特征提取是从样本输入参数中提取特征,并将特征转换为结构化数据的过程。
步骤402,将样本参数特征输入原始参数模型,得到训练结果。
可选的,原始参数模型是根据神经网络模型建立的,比如:原始参数模型是根据DNN模型或者RNN模型建立的。
示意性的,对于每组样本数据组,终端创建该组样本数据组对应的输入输出对,输入输出对的输入参数为该组样本数据组中的样本参数特征,目标参数为该组样本数据组中的正确目标参数;终端将输入参数输入预测模型,得到训练结果。
可选的,输入输出对通过特征向量表示。
步骤403,将训练结果与正确目标参数进行比较,得到计算损失,计算损失用于指示训练结果与正确目标参数之间的误差。
可选地,计算损失通过交叉熵(cross-entropy)来表示,
可选地,终端通过下述公式计算得到计算损失H(p,q):
Figure BDA0001870879400000091
其中,p(x)和q(x)是长度相等的离散分布向量,p(x)表示表示训练结果;q(x)表示目标参数;x为训练结果或目标参数中的一个向量。
步骤404,根据至少一组样本数据组各自对应的计算损失,采用误差反向传播算法训练得到目标模型。
可选地,终端通过反向传播算法根据计算损失确定目标模型的梯度方向,从目标模型的输出层逐层向前更新目标模型中的模型参数。
步骤302,将中间网络模型转化为目标模型,目标模型包括模型参数和状态值之间的对应关系。
可选的,终端将中间网络模型转化为目标模型,包括:终端在训练得到的中间网络模型中配置多个模型参数各自对应的状态值得到目标模型。
在一种可能的实现方式中,终端中预先存储有状态值与计算处理单元之间的第一对应关系。后续在终端读取一个模型参数对应的状态值时,根据预先存储的第一对应关系获取状态值所指示的计算处理单元。
在另一种可能的实现方式中,终端将中间网络模型转化为目标模型,目标模型包括模型参数、状态值和计算处理单元这三者之间的对应关系。
在一个示意性的例子中,模型参数、状态值和计算处理单元这三者之间的对应关系如表一所示。在表一中,包括五个模型参数,模型参数“参数S1”对应的状态值为“1”,对应的计算处理单元为“CPU”;模型参数“参数S2”对应的状态值为“1”,对应的计算处理单元为“CPU”;模型参数“参数S3”对应的状态值为“2”,对应的计算处理单元为“GPU”;模型参数“参数S4”对应的状态值为“3”,对应的计算处理单元为“DSP”;模型参数“参数S5”对应的状态值为“4”,对应的计算处理单元为“NPU”。
表一
模型参数 状态值 计算处理单元
参数S1 1 CPU
参数S2 1 CPU
参数S3 2 GPU
参数S4 3 DSP
参数S5 4 NPU
步骤303,当接收到目标应用程序对应的识别指令时,获取目标应用程序对应的待识别数据,将待识别数据中的目标特征确定为输入参数。
可选的,当终端检测到目标应用程序处于前台运行时,若终端接收到目标应用程序对应的识别指令,则获取目标应用程序对应的输入参数和目标模型。
可选地,终端从操作系统的预定栈中,获取处于前台运行的应用程序的应用标识,当应用标识为目标应用程序的应用标识时确定目标应用程序处于前台运行。示意性的,该预定栈为预定的活动栈。
目标应用程序的应用标识用于唯一指示目标应用程序,比如,应用标识为目标应用程序的包名。
可选地,终端采用主动轮询的方式监控处于前台运行的应用程序,根据前台运动活动(英文:Activity)来确定处于前台运行的应用程序。其中,活动是一种包含用户界面的组件,用于实现与用户之间的交互,每个应用程序包括多个活动,每个活动对应一种用户界面。前台运行活动是位于最上层的用户界面相对应的组件。最上层的用户界面是用户在使用终端时在屏幕上看见的用户界面。
以操作系统为安卓操作系统为例,活动是可以层叠的,每当启动一个新的活动,新的活动就会覆盖在原活动之上。使用活动栈存放启动的活动,活动栈是一种后进先出的数据结构,在默认情况下,每启动一个活动,该活动就会在活动栈中入栈,并处于栈顶位置,处于栈顶位置的活动是前台运行活动。当前台运行活动发生变化时,活动栈中处于栈顶位置的活动也会发生变化,终端通过程序管理器采用主动轮询的方式监控前台运行活动。
需要说明的是,除了新的活动会位于栈顶,将一个旧的活动切换到前台运行时,该旧的活动也会重新移动到栈顶。
可选的,当终端接收到目标应用程序中识别入口对应的操作信号时,确定接收到目标应用程序对应的识别指令,开启目标应用程序的识别功能,并获取目标应用程序对应的输入参数和目标模型。
识别入口是用于开启目标应用程序的识别功能的可操作控件。示意性的,识别入口的类型包括按钮、可操控的条目、滑块中的至少一种。
可选的,操作信号是用于触发开启目标应用程序的识别功能的用户操作。示意性的,操作信号包括点击操作信号、滑动操作信号、按压操作信号、长按操作信号中的任意一种或多种的组合。在其它可能的实现方式中,操作信号也可以语音形式实现。
步骤304,在终端的指定存储位置中读取目标模型,目标模型为实时更新或者每隔预定时间间隔更新的用于对目标特征进行识别的模型。
可选地,终端在指定存储位置中存储有更新后的目标模型。
可选的,在终端的指定位置中读取目标模型之前,还包括:终端接收服务器发送的模型更新数据,模型更新数据用于指示对目标模型中的至少一个模型参数对应的计算处理单元进行修改;根据模型更新数据对目标模型进行更新。
终端接收服务器发送的模型更新数据,包括但不限于以下几种可能的实现方式:
在一种可能的实现方式中,当终端接收到目标应用程序对应的识别指令,开启目标应用程序的识别功能时,向服务器发送查询指令,服务器接收到查询指令后将模型更新数据发送至终端,对应的,终端接收服务器发送的模型更新数据。
在另一种可能的实现方式中,当服务器对目标模型中的至少一个模型参数对应的计算处理单元进行修改时,向终端发送模型更新数据;对应的,终端接收服务器发送的模型更新数据。
在另一种可能的实现方式中,终端每隔预定时间间隔从服务器中获取模型更新数据。
需要说明的是,本实施例对终端接收服务器发送的模型更新数据的时机不加以限定。
步骤305,根据输入参数,将多个模型参数运行在各自对应的状态值所指示的计算处理单元中,输出得到目标应用程序对应的目标参数。
终端将输入参数输入至目标模型中输出得到目标应用程序对应的目标参数。其中,目标模型在使用的过程中多个模型参数运行在各自对应的状态值所指示的计算处理单元中。
在一个示意性的例子中,目标应用程序为游戏应用程序,终端获取游戏应用程序对应的输入参数和目标模型,输入参数包括游戏应用程序当前的应用图层中的图层特征,目标模型为场景分类模型,场景分类模型包括三个模型参数“参数S1、参数S2和参数S5”,终端从场景分类模型中读取得到模型参数“参数S1”对应的状态值为“1”,模型参数“参数S2”对应的状态值为“1”,模型参数“参数S5”对应的状态值为“4”,基于表一提供的模型参数、状态值和计算处理单元这三者之间的对应关系,终端在将图层特征输入至场景分类模型中输出得到场景类型标识的过程中,参数S1和参数S2均运行在CPU中,参数S5运行在NPU中。
可选的,终端在输出得到目标应用程序对应的目标参数之后,将输入参数和目标参数添加至训练样本集,得到更新后的训练样本集;根据更新后的训练样本集对中间网络模型进行训练,得到更新后的中间网络模型。
其中,根据更新后的训练样本集对中间网络模型进行训练,得到更新后的中间网络模型的过程可类比参考上述的中间网络模型的训练过程,在此不再赘述。
综上所述,本申请实施例还通过当终端接收到目标应用程序对应的识别指令时,获取目标应用程序对应的待识别数据,将待识别数据中的目标特征确定为输入参数;在终端的指定存储位置中读取目标模型,由于目标模型存储于终端的指定存储位置中,且该目标模型为实时更新或者每隔预定时间间隔更新的用于对目标特征进行识别的模型,使得终端在对目标应用程序对应的待识别数据进行识别时获取到的目标模型为更新后的目标模型,进而使得终端能够及时根据修改后的多个模型参数各自对应的状态值使用该目标模型。
本申请实施例还通过终端将输入参数和目标参数添加至训练样本集,得到更新后的训练样本集;根据更新后的训练样本集对中间网络模型进行训练,得到更新后的中间网络模型,使得终端可以根据新的训练样本不断提高中间网络模型的精度,提高了终端确定目标应用程序对应的目标参数的准确性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图5,其示出了本申请一个实施例提供的模型处理装置的结构示意图。该模型处理装置可以通过专用硬件电路,或者,软硬件的结合实现成为图1中的终端的全部或一部分,该模型处理装置包括:获取模块510、读取模块520和输出模块530。
获取模块510,用于获取目标应用程序对应的输入参数和目标模型,目标模型为采用样本输入参数对多个模型参数进行训练得到的模型;
读取模块520,用于读取多个模型参数各自对应的状态值,状态值用于指示目标模型更新后所配置的用于运行模型参数的计算处理单元;
输出模块530,用于根据输入参数,将多个模型参数运行在各自对应的状态值所指示的计算处理单元中,输出得到目标应用程序对应的目标参数;
其中,计算处理单元包括CPU、GPU、DSP、NPU中的至少一种。
可选的,获取模块510,还用于当接收到目标应用程序对应的识别指令时,获取目标应用程序对应的待识别数据,将待识别数据中的目标特征确定为输入参数;
在终端的指定存储位置中读取目标模型,目标模型为实时更新或者每隔预定时间间隔更新的用于对目标特征进行识别的模型。
可选的,该装置还包括:更新模块,该更新模型用于接收服务器发送的模型更新数据,模型更新数据用于指示对目标模型中的至少一个模型参数对应的计算处理单元进行修改;根据模型更新数据对目标模型进行更新。
可选的,该装置还包括:训练模块。该训练模块,用于获取训练得到的中间网络模型,中间网络模型包括多个模型参数;将中间网络模型转化为目标模型,目标模型包括模型参数和状态值之间的对应关系。
可选的,该训练模块,还用于获取训练样本集,训练样本集包括多组样本数据组,样本数据组包括样本输入参数和预先标注的正确目标参数;根据多组样本数据组,采用误差反向传播算法对初始网络模型进行训练,得到中间网络模型。
可选的,该装置还包括:重新训练模块。该重新训练模块,用于将输入参数和目标参数添加至训练样本集,得到更新后的训练样本集;根据更新后的训练样本集对中间网络模型进行训练,得到更新后的中间网络模型。
可选的,目标模型为用于对目标应用程序对应的待识别数据中的目标特征进行识别的神经网络模型,输入参数为待识别数据中的目标特征,目标参数为待识别数据对应的识别结果。
可选的,当目标模型为场景分类模型时,输入参数包括目标应用程序当前的应用图层中的图层特征,目标参数包括应用图层对应的应用场景的场景类型标识;
或者,当目标模型为多媒体文件评分模型时,输入参数包括包含目标应用程序当前的多媒体文件中的文件特征,目标参数包括多媒体文件的文件评分,多媒体文件包括文本、图像、音频和视频中的至少一种;或者,
当目标模型为画质调节模型时,输入参数包括目标应用程序对应的系统参数数据中的数据特征,目标参数包括目标应用程序的目标画质参数。
相关细节可结合参考图2至图4所示的方法实施例。其中,获取模块510还用于实现上述方法实施例中其他任意隐含或公开的与获取步骤相关的功能;读取模块520还用于实现上述方法实施例中其他任意隐含或公开的与读取步骤相关的功能;输出模块530还用于实现上述方法实施例中其他任意隐含或公开的与输出步骤相关的功能。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请还提供一种计算机可读介质,其上存储有程序指令,程序指令被处理器执行时实现上述各个方法实施例提供的模型处理方法。
本申请还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个实施例所述的模型处理方法。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的模型处理方法中全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种模型处理方法,其特征在于,用于终端中,所述方法包括:
获取目标应用程序对应的输入参数和目标模型,所述目标模型为采用样本输入参数对多个模型参数进行训练得到的模型,所述目标模型中配置有多个模型参数中每个模型参数对应的状态值;
读取所述多个模型参数各自对应的状态值,所述状态值用于指示所述目标模型更新后所配置的用于运行所述模型参数的计算处理单元;
根据所述输入参数,将所述多个模型参数运行在各自对应的所述状态值所指示的所述计算处理单元中,输出得到所述目标应用程序对应的目标参数;
其中,所述计算处理单元包括中央处理器CPU、图形处理器GPU、数字信号处理器DSP、嵌入式神经网络处理器NPU中的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述获取目标应用程序对应的输入参数和目标模型,包括:
当接收到所述目标应用程序对应的识别指令时,获取所述目标应用程序对应的待识别数据,将所述待识别数据中的目标特征确定为所述输入参数;
在所述终端的指定存储位置中读取所述目标模型,所述目标模型为实时更新或者每隔预定时间间隔更新的用于对所述目标特征进行识别的模型。
3.根据权利要求2所述的方法,其特征在于,所述在所述终端的指定存储位置中读取所述目标模型之前,还包括:
接收服务器发送的模型更新数据,所述模型更新数据用于指示对所述目标模型中的至少一个所述模型参数对应的所述计算处理单元进行修改;
根据所述模型更新数据对所述目标模型进行更新。
4.根据权利要求1所述的方法,其特征在于,所述读取所述多个模型参数各自对应的状态值,包括:
获取所述目标模型对应的目标配置文件,所述目标配置文件用于存储所述目标模型的所述模型参数与所述状态值之间的对应关系;
从所述目标配置文件中读取所述多个模型参数各自对应的状态值。
5.根据权利要求1所述的方法,其特征在于,所述获取目标应用程序对应的输入参数和目标模型之前,还包括:
获取训练得到的中间网络模型,所述中间网络模型包括所述多个模型参数;
将所述中间网络模型转化为所述目标模型,所述目标模型包括所述模型参数和所述状态值之间的对应关系。
6.根据权利要求5所述的方法,其特征在于,所述获取训练得到的中间网络模型,包括:
获取训练样本集,所述训练样本集包括多组样本数据组,所述样本数据组包括所述样本输入参数和预先标注的正确目标参数;
根据所述多组样本数据组,采用误差反向传播算法对初始网络模型进行训练,得到所述中间网络模型。
7.根据权利要求6所述的方法,其特征在于,所述根据所述输入参数,将所述多个模型参数依次运行在各自对应的所述计算处理单元中,输出得到所述目标应用程序对应的目标参数之后,还包括:
将所述输入参数和所述目标参数添加至所述训练样本集,得到更新后的训练样本集;
根据所述更新后的训练样本集对所述中间网络模型进行训练,得到更新后的中间网络模型。
8.根据权利要求1至7任一所述的方法,其特征在于,所述目标模型为用于对所述目标应用程序对应的待识别数据中的目标特征进行识别的神经网络模型,所述输入参数为所述待识别数据中的所述目标特征,所述目标参数为所述待识别数据对应的识别结果。
9.根据权利要求8所述的方法,其特征在于,
当所述目标模型为场景分类模型时,所述输入参数包括所述目标应用程序当前的应用图层中的图层特征,所述目标参数包括所述应用图层对应的应用场景的场景类型标识;或者,
当所述目标模型为多媒体文件评分模型时,所述输入参数包括包含所述目标应用程序当前的多媒体文件中的文件特征,所述目标参数包括所述多媒体文件的文件评分,所述多媒体文件包括文本、图像、音频和视频中的至少一种;或者,
当所述目标模型为画质调节模型时,所述输入参数包括所述目标应用程序对应的系统参数数据中的数据特征,所述目标参数包括所述目标应用程序的目标画质参数。
10.一种模型处理装置,其特征在于,用于终端中,所述装置包括:
获取模块,用于获取目标应用程序对应的输入参数和目标模型,所述目标模型为采用样本输入参数对多个模型参数进行训练得到的模型,所述目标模型中配置有多个模型参数中每个模型参数对应的状态值;
读取模块,用于读取所述多个模型参数各自对应的状态值,所述状态值用于指示所述目标模型更新后所配置的用于运行所述模型参数的计算处理单元;
输出模块,用于根据所述输入参数,将所述多个模型参数运行在各自对应的所述状态值所指示的所述计算处理单元中,输出得到所述目标应用程序对应的目标参数;
其中,所述计算处理单元包括中央处理器CPU、图形处理器GPU、数字信号处理器DSP、嵌入式神经网络处理器NPU中的至少一种。
11.一种终端,其特征在于,所述终端包括处理器、与所述处理器相连的存储器,以及存储在所述存储器上的程序指令,所述处理器执行所述程序指令时实现如权利要求1至9任一所述的模型处理方法。
12.一种计算机可读存储介质,其特征在于,其上存储有程序指令,所述程序指令被处理器执行时实现如权利要求1至9任一所述的模型处理方法。
CN201811376526.4A 2018-11-19 2018-11-19 模型处理方法、装置、终端及存储介质 Active CN111273953B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811376526.4A CN111273953B (zh) 2018-11-19 2018-11-19 模型处理方法、装置、终端及存储介质
PCT/CN2019/111086 WO2020103606A1 (zh) 2018-11-19 2019-10-14 模型处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811376526.4A CN111273953B (zh) 2018-11-19 2018-11-19 模型处理方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111273953A CN111273953A (zh) 2020-06-12
CN111273953B true CN111273953B (zh) 2021-07-16

Family

ID=70773025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811376526.4A Active CN111273953B (zh) 2018-11-19 2018-11-19 模型处理方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN111273953B (zh)
WO (1) WO2020103606A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783506B (zh) * 2021-01-29 2022-09-30 展讯通信(上海)有限公司 一种模型运行方法及相关装置
CN113177471A (zh) * 2021-04-28 2021-07-27 Oppo广东移动通信有限公司 动作检测方法、装置、电子设备及存储介质
CN113821321A (zh) * 2021-08-31 2021-12-21 上海商汤阡誓科技有限公司 任务处理芯片、方法、装置、计算机设备及存储介质
CN114327671A (zh) * 2021-12-03 2022-04-12 北京达佳互联信息技术有限公司 参数配置方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090080775A1 (en) * 2007-09-24 2009-03-26 Kabushiki Kaisha Toshiba Image-processing apparatus which has an image region distinction processing capability, and an image region distinction processing method
CN104346629A (zh) * 2014-10-24 2015-02-11 华为技术有限公司 一种模型参数训练方法、装置及系统
US20160034814A1 (en) * 2014-08-01 2016-02-04 University Of Southern California Noise-boosted back propagation and deep learning neural networks
CN105677353A (zh) * 2016-01-08 2016-06-15 北京物思创想科技有限公司 特征抽取方法、机器学习方法及其装置
CN106295678A (zh) * 2016-07-27 2017-01-04 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
US20180032865A1 (en) * 2016-07-29 2018-02-01 Denso Corporation Prediction apparatus, prediction method, and prediction program
CN108108821A (zh) * 2017-12-29 2018-06-01 广东欧珀移动通信有限公司 模型训练方法及装置
CN108733639A (zh) * 2018-04-09 2018-11-02 中国平安人寿保险股份有限公司 一种配置参数调整方法、装置、终端设备及存储介质
CN108805048A (zh) * 2018-05-25 2018-11-13 腾讯科技(深圳)有限公司 一种人脸识别模型的调整方法、装置和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453367B (zh) * 2007-11-30 2011-12-28 华为技术有限公司 软件部署方法和系统及软件部署服务器和用户服务器
CN104063239B (zh) * 2013-03-22 2019-01-15 腾讯科技(深圳)有限公司 移动终端的应用程序更新方法及服务器、客户端
CN103677835B (zh) * 2013-12-16 2017-04-12 北京经纬恒润科技有限公司 软件集成方法及系统
CN107168726B (zh) * 2017-03-30 2021-04-27 武汉斗鱼网络科技有限公司 一种动态配置应用程序的方法和装置
CN108037961B (zh) * 2017-12-07 2021-01-19 北京锐安科技有限公司 一种应用程序配置方法、装置、服务器和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090080775A1 (en) * 2007-09-24 2009-03-26 Kabushiki Kaisha Toshiba Image-processing apparatus which has an image region distinction processing capability, and an image region distinction processing method
US20160034814A1 (en) * 2014-08-01 2016-02-04 University Of Southern California Noise-boosted back propagation and deep learning neural networks
CN104346629A (zh) * 2014-10-24 2015-02-11 华为技术有限公司 一种模型参数训练方法、装置及系统
CN105677353A (zh) * 2016-01-08 2016-06-15 北京物思创想科技有限公司 特征抽取方法、机器学习方法及其装置
CN106295678A (zh) * 2016-07-27 2017-01-04 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
US20180032865A1 (en) * 2016-07-29 2018-02-01 Denso Corporation Prediction apparatus, prediction method, and prediction program
CN108108821A (zh) * 2017-12-29 2018-06-01 广东欧珀移动通信有限公司 模型训练方法及装置
CN108733639A (zh) * 2018-04-09 2018-11-02 中国平安人寿保险股份有限公司 一种配置参数调整方法、装置、终端设备及存储介质
CN108805048A (zh) * 2018-05-25 2018-11-13 腾讯科技(深圳)有限公司 一种人脸识别模型的调整方法、装置和存储介质

Also Published As

Publication number Publication date
CN111273953A (zh) 2020-06-12
WO2020103606A1 (zh) 2020-05-28

Similar Documents

Publication Publication Date Title
CN111273953B (zh) 模型处理方法、装置、终端及存储介质
US11452941B2 (en) Emoji-based communications derived from facial features during game play
WO2021184972A1 (zh) 图像分割方法、装置、电子设备及存储介质
US11380131B2 (en) Method and device for face recognition, storage medium, and electronic device
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
WO2021232958A1 (zh) 执行操作的方法、电子设备、装置及存储介质
CN112990390B (zh) 一种图像识别模型的训练方法、图像识别的方法及装置
US20190286989A1 (en) Distributed neural network model utilization system
CN110781881A (zh) 一种视频中的赛事比分识别方法、装置、设备及存储介质
CN113807515A (zh) 模型训练的方法、装置、计算机设备及存储介质
CN109961152B (zh) 虚拟偶像的个性化互动方法、系统、终端设备及存储介质
CN109062094B (zh) 模型的控制方法、装置及存储介质
CN109948426A (zh) 应用程序调整方法、装置、电子设备及存储介质
CN114119935B (zh) 图像处理方法和装置
CN113569824B (zh) 模型处理方法、相关设备、存储介质及计算机程序产品
CN112749364B (zh) 基于人工智能的网页生成方法、装置、设备及存储介质
CN113222178A (zh) 模型训练方法、用户界面的生成方法、装置及存储介质
CN113392867A (zh) 一种图像识别方法、装置、计算机设备及存储介质
US20230237280A1 (en) Automatically generating context-based alternative text using artificial intelligence techniques
JP7335221B2 (ja) 画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム
CN113610064B (zh) 笔迹识别方法和装置
CN112805674B (zh) 字体设置方法及装置
CN115633345A (zh) 用于sim系统的路径选择方法及装置、存储介质、终端设备
CN117436482A (zh) 神经网络剪枝方法、装置、芯片、设备、存储介质及产品
CN117112890A (zh) 一种数据处理方法、贡献值的获取方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant