CN110837858B - 网络模型训练方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种网络模型训练方法、装置、计算机设备及存储介质，属于计算机技术领域。方法包括：根据第一样本数据对特征提取子模型进行训练；基于已训练完成的特征提取子模型，对当前的图像进行特征提取，得到图像的第一图像特征；基于操作确定子模型，对第一图像特征进行处理，得到待执行的第一操作；根据执行第一操作后得到的操作结果，对操作确定子模型进行训练。通过将网络模型拆分训练，减少了每次训练需要调整的模型参数，降低了训练难度。且基于样本数据对特征提取子模型进行训练，无需在终端上执行操作，避免了训练速度受到终端执行操作的速度的影响，加快了训练速度。

Description

网络模型训练方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种网络模型训练方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，终端能够模拟人类智能做出反应。例如，终端可以基于深度学习的神经网络模型，对终端显示的当前界面进行分析，确定当前界面下将要执行的操作，在当前界面上执行确定出的操作。为了保证终端操作的准确性，如何训练网络模型成为亟需解决的问题。

目前，采用深度强化学习的方式对网络模型进行训练，但是深度强化学习会受到终端执行操作的速度的影响，从而降低了模型训练的速度。并且该网络模型中的模型参数也较多，训练难度较大，会增加训练的次数，从而导致训练的速度较慢，训练时间较长。

发明内容

本申请实施例提供了一种网络模型训练方法、装置、计算机设备及存储介质，解决了相关技术存在的网络模型的训练耗时较久的问题。所述技术方案如下：

一方面，提供了一种网络模型训练方法，所述网络模型包括特征提取子模型和操作确定子模型，所述方法包括：

根据第一样本数据对所述特征提取子模型进行训练，所述第一样本数据包括图像数据；

基于已训练完成的所述特征提取子模型，对当前的图像进行特征提取，得到所述图像的第一图像特征；

基于所述操作确定子模型，对所述第一图像特征进行处理，得到待执行的第一操作；

根据执行所述第一操作后得到的操作结果，对所述操作确定子模型进行训练。

另一方面，提供了一种网络模型训练装置，所述网络模型包括特征提取子模型和操作确定子模型，所述装置包括：

第一训练模块，用于根据第一样本数据对所述特征提取子模型进行训练，所述第一样本数据包括图像数据；

特征提取模块，用于基于已训练完成的所述特征提取子模型，对当前的图像进行特征提取，得到所述图像的第一图像特征；

处理模块，用于基于所述操作确定子模型，对所述第一图像特征进行处理，得到待执行的第一操作；

第二训练模块，用于根据执行所述第一操作后得到的操作结果，对所述操作确定子模型进行训练。

在一种可能实现方式中，所述第二训练模块，包括：

状态获取单元，用于执行所述第一操作后，获取当前的状态数据，所述状态数据指示执行所述第一操作后得到的操作结果；

第一收益获取单元，用于基于所述状态数据和收益函数，获取所述状态数据对应的第一收益数值；

目标收益获取单元，用于基于目标状态数据和所述收益函数，获取目标收益数值，所述目标状态数据指示对所述图像执行操作后得到的目标操作结果；

训练单元，用于根据所述目标收益数值和所述第一收益数值之间的差异，对所述操作确定子模型进行训练。

在一种可能实现方式中，所述训练单元，用于根据所述第一收益数值、所述目标收益数值和损失函数，确定所述损失函数的损失值；

所述训练单元，还用于根据所述损失值，对所述操作确定子模型的模型参数进行调整，以使所述损失函数收敛。

在一种可能实现方式中，所述处理模块，包括：

第二处理单元，用于基于所述操作确定子模型，对所述第一图像特征进行处理，得到多个参考操作对应的操作分值，所述参考操作对应的操作分值用于表示对所述图像执行所述参考操作的概率；

选取单元，用于从所述多个参考操作中，随机选取一个参考操作，作为所述第一操作。

在一种可能实现方式中，所述第一训练模块，包括：

获取单元，用于获取样本图像以及所述样本图像的样本目标信息，所述样本目标信息包括所述样本图像中目标的类型和位置；

特征提取单元，用于基于所述特征提取子模型，对样本图像进行特征提取，得到所述样本图像的第五图像特征；

目标检测单元，用于基于已训练完成的目标检测子模型，对所述第五图像特征进行目标检测处理，得到检测目标信息；

训练单元，用于基于所述检测目标信息与所述样本目标信息之间的差异，对所述特征提取子模型进行训练。

在一种可能实现方式中，所述装置还包括：

所述处理单元，用于基于所述网络模型，对当前的图像进行处理，得到多个参考操作对应的操作分值；

所述选取单元，用于基于多个操作分值，从多个参考操作中选取操作分值最大的参考操作，作为目标操作；

执行模块，用于执行所述目标操作。

再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行上述方面所述的网络模型训练方法中所执行的操作。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如所述的网络模型训练方法中所执行的操作。

再一方面，提供了一种计算机程序，所述计算机程序包括至少一条指令，所述指令由处理器加载并执行以实现如所述的网络模型训练方法中所执行的操作。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例提供的网络模型训练方法、装置、计算机设备及存储介质，构建特征提取子模型和操作确定子模型，分别对特征提取子模型和操作确定子模型进行训练，减少了每次训练需要调整的模型参数的数量，降低了训练难度，减少了训练次数，从而加快了训练速度。并且，对特征提取子模型进行训练时，是基于样本数据对特征提取子模型进行训练的，该训练过程不需要在终端上执行操作，避免了训练速度受到终端执行操作的速度的影响，从而加快了训练速度。虽然，将网络模型拆分成两个子模型进行训练，但是两个子模型的训练速度均较快，即便将两个子模型的训练时间加起来也少于对网络模型整体进行训练的时间。

并且，网络模型不仅可以提取当前的图像的第一图像特征，还可以提取该图像的目标区域的第二图像特征，使得目标区域的图像特征得到了强化，网络模型可以基于第一图像特征和第二图像特征进行预测，提高了网络模型的预测准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种网络模型的结构示意图；

图3是本申请实施例提供的一种操作确定子模型的结构示意图；

图4是本申请实施例提供的一种残差结构的结构示意图；

图5是本申请实施例提供的一种特征提取子模型的结构示意图；

图6是本申请实施例提供的一种特征提取子模型的结构示意图；

图7是本申请实施例提供的一种网络模型的结构示意图；

图8是本申请实施例提供的一种网络模型的结构示意图；

图9是本申请实施例提供的一种操作确定子模型的结构示意图；

图10是本申请实施例提供的一种网络模型的结构示意图；

图11是本申请实施例提供的一种网络模型训练方法的流程图；

图12是本申请实施例提供的一种目标检测模型的结构示意图；

图13是本申请实施例提供的一种当前的图像示意图；

图14是本申请实施例提供的另一种当前的图像示意图；

图15是本申请实施例提供的一种当前图像的目标区域的图像示意图；

图16是本申请实施例提供的一种基于游戏AI模型控制游戏角色进行操作的方法流程图；

图17是本申请实施例提供的一种网络模型训练装置的结构示意图；

图18是本申请实施例提供的另一种网络模型训练装置的结构示意图；

图19是本申请实施例提供的一种终端的结构框图；

图20是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号(包括但不限于用户终端与其他设备之间传输的信号等)，均为经用户或相关方面充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像特征称为第二图像特征，且类似地，可将第二图像特征称为第一图像特征。

本申请实施例涉及到的至少两个是指两个或者两个以上，也即至少两个图像特征是指图像特征的数量为大于等于二的整数，例如，至少两个图像特征可以是两个图像特征，可以是三个图像特征，也可以是四个图像特征等。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

本申请实施例提供的方案涉及人工智能的机器学习等技术，通过如下实施例进行说明。

本申请实施例提供的网络模型训练方法可以应用于计算机设备中，在一种可能实现方式中，计算机设备可以为手机、电脑、平板电脑等终端。终端可以根据第一样本数据对网络模型的特征提取子模型进行训练。在特征提取子模型训练完成之后，终端将当前的图像输入特征提取子模型，获取图像的第一图像特征，基于操作确定子模型，对第一图像特征进行处理，得到待执行的第一操作。获取执行第一操作后得到的操作结果，根据该操作结果对操作确定子模型进行训练。

在另一种可能实现方式中，计算机设备还可以是与终端上安装的应用相关的服务器。图1是本申请实施例提供的一种实施环境的示意图，参见图1，该实施环境包括：终端101和服务器102，终端101和服务器102通过网络连接。

该终端101可以为手机、电脑、平板电脑等安装有应用或者具有安装应用功能的终端，该服务器102可以是一台服务器，也可以是若干台服务器组成的服务器集群，或者是一个云计算服务中心。

服务器102根据第一样本数据对特征提取子模型进行训练。在特征提取子模型训练完成之后，从终端获取终端当前的图像，基于已训练完成的特征提取子模型，对图像进行特征提取，得到该图像的第一图像特征。服务器基于操作确定子模型，对第一图像特征进行处理，得到待执行的第一操作，向终端发送控制指令，该控制指令用于控制对当前的图像执行第一操作。服务器获取执行第一操作后得到的操作结果，根据该操作结果对操作确定子模型进行训练。

本申请实施例提供的网络模型训练方法，可应用于基于网络模型确定将在终端界面中执行的操作的场景下。

例如：应用测试场景：

应用客户端开发完成后，可以由终端自动对应用客户端进行测试，可以采用本申请实施例提供的网络模型训练方法，训练出用于预测操作的网络模型。则后续当应用客户端显示某一应用界面时，将该应用界面的图像输入至训练完成的网络模型，根据该应用界面的图像确定将在该应用界面中执行的操作，从而执行该操作，得到操作结果，作为该应用客户端的测试结果，根据该测试结果可以分析应用客户端的运行是否正常，及时发现应用客户端的错误，达到测试应用客户端的目的。

例如：与智能机器人进行交互的场景：

可以采用本申请实施例提供的网络模型训练方法，训练出用于预测操作的网络模型，该网络模型可以作为一种智能机器人，与用户进行交互。如，当用户对应用客户端执行操作后，应用客户端显示应用界面，此时智能机器人作为用户的对手，将该应用界面的图像输入至训练完成的网络模型，根据该应用界面的图像确定将在该应用界面中执行的操作，从而执行该操作，实现与用户的互动。

如，当某一真人用户使用终端登录游戏并选择单机游戏模式时，终端作为一个虚拟用户，与真人用户一起参与到游戏中，终端自动与真人用户进行交互，最终决出获胜者。又如，当某一真人用户使用终端登录游戏并选择代为游戏模型时，终端可以代替真人用户参与到游戏中，进行决策和操作，并展示当前的操作界面，供真人用户与真人用户交互的其他用户查看。

图2是本申请实施例提供的一种网络模型的结构示意图，参见图2，该网络模型包括特征提取子模型201和操作确定子模型202，特征提取子模型201与操作确定子模型202连接。

其中，特征提取子模型201用于对图像进行特征提取，得到该图像对应的图像特征，操作确定子模型202用于根据图像特征进行预测，得到待执行的操作。

在训练网络模型时，先根据第一样本数据对特征提取子模型201进行训练，后基于训练完成的特征提取子模型201对操作确定子模型202进行训练，其中，第一样本数据可以包括图像数据，还可以包括图像数据对应的目标信息。例如，第一样本数据可以是样本图像和样本图像对应的样本目标信息，样本图像可以是任一终端界面的图像，样本目标信息可以是图像中的目标物体的类型信息或者位置信息等。

由于特征提取子模型201是基于样本数据进行训练的，该训练过程不需要终端执行操作，避免了训练速度受终端执行操作的速度影响，从而特征提取子模型的训练速度较快。之后，利用训练好的特征提取子模型对操作确定子模型进行训练，相比于完整的网络模型，操作确定子模型中模型参数较少，从而训练难度也较小，可以减少训练次数，从而加快训练速度。虽然，将网络模型拆分成两个子模型进行训练，但是两个子模型的训练速度均较快，即便将两个子模型的训练时间加起来也少于对网络模型整体进行训练的时间。

在一种可能实现方式中，在图2所示的网络模型的基础上，参见图3，该特征提取子模型201包括特征提取层2011，操作确定子模型202包括操作确定层2021。其中，特征提取层2011与操作确定层2021连接。特征提取层2011对图像进行特征提取，得到该图像对应的图像特征，将得到的图像特征输入操作确定层2021中；操作确定层2021根据输入的图像特征进行预测，得到待执行的操作。

在一种可能实现方式中，在图3的基础上，特征提取子模型201还可以包括以下至少一项：

(1)归一化层：

特征提取子模型201包括归一化层2012，特征提取层2011与归一化层2012连接，归一化层2012与操作确定层2011连接，该归一化层对图像特征进行归一化处理，得到归一化的图像特征，将归一化的图像特征输入至操作确定层2021中。

(2)激活层：

特征提取子模型201包括激活层2013，特征提取层2011与激活层2013连接，激活层2013与操作确定层2021连接。该激活层2013可以通过激活函数对图像特征进行处理，将线性向量转换成非线性向量。

在一种可能实现方式中，激活函数可以是Sigmoid函数或者Relu函数中的任一种，本申请实施例对激活函数的具体形式不做限定。

(3)残差结构层：

特征提取子模型201包括残差结构层2014，特征提取层2011与残差结构层2014连接，残差结构层2014与操作确定层2021连接。

在一种可能实现方式中，如图4所示，残差结构层2014包括第一卷积子层20141和第二卷积子层20142。残差结构层2014可以解决梯度消失和梯度爆炸的问题，在训练更深网络的同时，能够保证良好的信息。

例如，将图像特征x输入至第一卷积子层20141和第二卷积子层20142中，对图像特征x进行卷积处理，得到F(x)，将残差结构层的输入x与输出F(x)相加，得到H(x)，其中，F(x)为残差。

(4)全连接层：

特征提取子模型201包括全连接层2015，特征提取层2011与全连接层2015连接，全连接层2015与操作确定层2021连接。全连接层2015可以对输入的图像特征进行降维处理，将图像特征中不必要的特征删除，减少后续的计算量。其中，降维处理是指减少图像特征中的无效特征，以使图像特征的维度降低。例如，将1024维的图像特征输入至全连接层2015中，全连接层对该图像特征进行降维处理，输出512维的图像特征。

其中，特征提取子模型201可以包括上述任意一个或多个层，本申请实施例对特征提取子模型201的具体形式不做限定。在一种可能实现方式中，如图5所示，特征提取子模型201包括特征提取层2011、归一化层2012、激活层2013和目标数目个残差结构层2014。

其中，目标数目可以为任一整数，如，1、3、5、8等。本申请实施例对目标数目不做限定。

在另一种可能实现方式中，如图6所示，特征提取子模型201包括特征提取层2011和全连接层2015，特征提取层2011对输入的图像进行特征提取得到图像特征，将图像特征输入至全连接层2015；全连接层2015对输入的图像特征进行降维处理，得到目标维数的图像特征。

在一种可能实现方式中，在图3的基础上，如图7所示，操作确定子模型202可以包括特征提取层2022和拼接层2023。特征提取子模型201与拼接层2023连接，特征提取层2022与拼接层2023连接，拼接层2023与操作确定层2021连接。

特征提取子模型201对图像进行特征提取，得到第一图像特征，将第一图像特征输入至拼接层2023中。特征提取层2022对图像中的目标区域进行特征提取，得到目标区域的第二图像特征，将第二图像特征输入至拼接层2023中。拼接层2023将第一图像特征和第二图像特征进行拼接处理，得到第三图像特征，将第三图像特征输入至操作确定层2021。操作确定层2021对第三图像特征进行处理，得到待执行的操作。其中，第一图像特征为图像的整体特征，第二图像特征是根据图像的目标区域进行提取的，因此，第二图像特征为图像的部分特征，例如，图像中包括作战区域和缩略地图区域，第一图像特征为整体图像的图像特征，第二图像特征为缩略地图区域的图像特征。

输入特征提取子模型201的图像可以是当前图像的完整图像，目标区域可以为当前图像的部分区域，该部分区域中的信息对于确定下一步操作比较重要，但是该部分区域在当前图像中所占区域的面积较小，基于该部分区域进行运算可以减小运算量。例如，目标区域为当前图像中的缩略地图区域的图像。

在另一种可能实现方式中，如图8所示，操作确定子模型可以包括特征提取层2022、拼接层2023和全连接层2024。特征提取子模型201与拼接层2023连接，特征提取层2022与全连接层2024连接，全连接层2024与拼接层2023连接，拼接层2023与操作确定层2021连接。

特征提取子模型201对图像进行特征提取，得到第一图像特征，将第一图像特征输入至拼接层2023中。特征提取层2022对图像中的目标区域进行特征提取，得到目标区域的第二图像特征，将第二图像特征输入至全连接层2024中。全连接层2024对第二图像特征进行降维处理，得到第四图像特征，将第四图像特征输入至拼接层2023中。拼接层2023将第一图像特征和第四图像特征进行拼接处理，得到第三图像特征，将第三图像特征输入至操作确定层2021。操作确定层2021对第三图像特征进行处理，得到待执行的操作。

其中，第四图像特征为第二图像特征经过降维处理后的图像特征，例如，第二图像特征为1024维的图像特征，该第四图像特征为512维的图像特征，第二图像特征和第四图像特征用于表示同一图像的特征。第三图像特征为第一图像特征和第四图像特征进行拼接后得到的图像特征，例如，第一图像特征为512维的图像特征，第四图像特征为512维的图像特征，将第一图像特征和第四图像特征进行拼接之后，得到1024维的第三图像特征。

可选地，如图9所示，操作确定子模型可以包括依次连接的第一数目个特征提取层2022，依次连接的第二数目个全连接层2024，第一数目个特征提取层2022与全连接层2024连接，全连接层2024与拼接层2023连接，拼接层2023与第二数目个全连接层2024连接，第二数目个全连接层2024与操作确定层2021连接。其中，第一数目与第二数目可以为任意数值的整数，第一数目与第二数目可以相同，也可以不同。

第一数目个特征提取层2022用于提取对图像中的目标区域进行特征提取，得到目标区域的第二图像特征，将第二图像特征输入至全连接层2024中。全连接层2024对第二图像特征进行降维处理，得到第四图像特征，将第四图像特征输入至拼接层2023中。拼接层2023将第一图像特征和第四图像特征进行拼接处理，得到第三图像特征，将第三图像特征输入第二数目个全连接层2024中，第二数目个全连接层2024对第三图像特征进行降维处理，得到降维后的第三图像特征，将降维后的第三图像特征输入至操作确定层2021。操作确定层2021对第三图像特征进行处理，得到待执行的操作。

在一种可能实现方式中，如图10所示，该网络模型可以包括：第一特征提取子模型1001、第二特征提取子模型1002和操作确定子模型1003，第一特征提取子模型1001与操作确定子模型1003连接，第二特征提取子模型1002与操作确定子模型1003连接。

第一特征提取子模型1001用于对图像进行特征提取，得到该图像对应的第一图像特征；第二特征提取子模型1002用于对图像的目标区域进行特征提取，得到该目标区域的第二图像特征。操作确定子模型用于根据第一图像特征和第二图像特征进行预测，得到待执行的操作。

其中，第一特征提取子模型1001可以与第二特征提取子模型1002相同，也可以不同。若第一特征提取子模型1001与第二特征提取子模型1002相同，则可以仅训练一个特征提取子模型，将训练好的特征提取子模型进行复制，得到另一个特征提取子模型。例如，对第一特征提取子模型进行训练，得到训练好的第一特征提取子模型，将训练好的第一特征提取子模型进行复制，得到第二特征提取子模型。

若第一特征提取子模型1001与第二特征提取子模型1002不同，则可以同时对第一特征提取子模型1001和第二特征提取子模型1002进行训练。当第一特征提取子模型1001与第二特征提取子模型1002不同时，第一特征提取子模型1001的模型结构比第二特征提取子模型1002的模型结构简单。

图11是本申请实施例提供的一种网络模型训练方法的流程图，本申请实施例的执行主体为计算机设备，该计算机设备可以是手机、电脑、平板电脑等终端，也可以是一台服务器，或者是若干台服务器组成的服务器集群，或者是一个云计算服务中心，参见图11，该方法包括：

1101、获取样本图像以及该样本图像的样本目标信息，样本目标信息包括样本图像中目标的类型和位置。

样本图像是用于对特征提取子模型进行训练的训练样本，由于特征提取子模型对训练样本进行特征提取之后，得到图像特征，基于得到的图像特征与样本图像的实际图像特征之间的差异，对特征提取子模型进行训练的准确率较低。因此，本申请实施例在特征提取子模型后添加了目标检测子模型，通过目标检测子模型对特征提取子模型获取的图像特征进行目标检测处理，得到检测目标信息，从而基于检测目标信息与样本目标信息之间的差异，对特征提取子模型进行训练，能够提高训练准确度。

其中，样本目标信息包括样本图像中目标的类型和位置，检测目标信息包括模型检测出的样本图像中目标的类型和位置。

样本图像可以是经过标记的终端界面图像，可以通过使用不同的标记，将终端界面图像中不同类型的目标的位置标记出来，从而得到样本图像。

样本图像是用于对特征提取子模型进行训练的，因此，可以获取多个样本图像，多条样本图像的数量可以为200、500等任一数目，本申请实施例对样本图像的数量不做限定。

1102、基于特征提取子模型，对样本图像进行特征提取，得到样本图像的第五图像特征。

其中，特征提取子模型可以是图4至图6提供的任一种特征提取子模型。

例如，特征提取子模型可以包括特征提取层，特征提取层对样本图像进行特征提取，得到样本图像的图像特征，将该图像特征作为第五图像特征。又如，特征提取子模型可以包括特征提取层和全连接层，特征提取层对样本图像进行特征提取，得到样本图像的图像特征，将该图像特征输入至全连接层中，全连接层对该图像特征进行降维处理，将降维后的图像特征作为第五图像特征。

其中，特征提取子模型是用于进行特征提取的模型，该特征提取子模型可以是由卷积神经网络构成，如SSD(Single Shot multibox Detector，单次多箱探测器)网络、R-CNN(Regions with Convolutional Neural Network Features，基于区域的卷积神经网络)、HMM(Hidden Markov Model，隐马尔可夫模型)网络或者其他卷积神经网络等，本申请实施例对特征提取子模型的具体结构不做限定。

1103、基于已训练完成的目标检测子模型，对第五图像特征进行目标检测处理，得到检测目标信息。

目标检测子模型为用于检测目标的模型，已训练完成的目标检测子模型是指已经能准确进行检测目标的模型，无需对该模型的模型参数继续进行调整。该目标检测子模型可以由卷积神经网络构成，如SSD网络、R-CNN网络、HMM网络或者其他卷积神经网络等，本申请实施例对目标检测子模型的具体结构不做限定。

在一种可能实现方式中，目标检测子模型可以包括目标检测层，目标检测层可以对输入的图像特征进行目标检测处理，得到检测目标信息。基于已训练完成的目标检测子模型，对第五图像特征进行目标检测处理，可以包括：将特征提取子模型与目标检测子模型连接，将样本图像输入至特征提取子模型中，基于特征提取子模型，对样本图像进行特征提取，得到样本图像的第五图像特征，将第五图像特征输入至目标检测层，目标检测层对第五图像特征进行目标检测处理，得到检测目标信息。

在一种可能实现方式中，目标检测子模型可以是目标检测模型的一部分，例如，目标检测模型可以包括特征提取层和目标检测层，目标检测子模型为目标检测模型的目标检测层。

可选地，将目标检测模型中的特征提取层替换为步骤1101中的特征提取子模型，得到新的目标检测模型，将样本图像输入至新的目标检测模型中，基于新的目标检测模型中的特征提取子模型，对样本图像进行特征提取，得到样本图像的第五图像特征，将第五图像特征输入至目标检测子模型中，目标检测子模型对第五图像特征进行目标检测处理，得到检测目标信息。

例如，目标检测模型可以为YOLO(You Only Look Once，一种基于深度学习和卷积神经网络的目标检测神经网络)，如图12所示，目标检测模型为YOLOv3，将YOLOv3中进行特征提取的部分(图12的左侧)替换为特征提取子模型，通过目标检测层(图12的右侧)对特征提取子模型获取的图像特征进行目标检测。

1104、基于检测目标信息与样本目标信息之间的差异，对特征提取子模型进行训练。

由于目标检测子模型是已经训练好的模型，因此，无需对目标检测子模型的模型参数进行调整，只需调整特征提取子模型的模型参数即可，减少了需要调整的模型参数的数量，从而加快了训练速度。

在一种可能实现方式中，基于检测目标信息与样本目标信息之间的差异，对特征提取子模型进行训练，可以包括：根据目标信息与样本目标信息之间的差异，调整特征提取子模型的模型参数，以使基于训练完成的特征提取子模型和目标检测子模型对样本图像进行目标检测处理后，得到的检测目标信息与样本目标信息之间的误差收敛。

对于任一个模型来说，误差收敛是指，通过对模型进行一次调整，使基于调整后的模型进行处理时得到的误差与基于调整前的模型进行处理时得到的误差相比更小。通过一次或多次调整，模型的误差逐渐减小，直至模型的误差小于预设阈值时，满足模型的要求，此时误差收敛，可以认为模型训练完成。

在一种可能实现方式中，为特征提取子模型设置损失函数，基于损失函数对特征提取子模型进行训练，该损失函数的输出值由样本图像的样本目标信息与检测目标信息的误差确定，与该误差呈正相关关系，因此特征提取子模型的训练目标可以为：损失函数的输出值收敛，以保证目标检测子模型对特征提取子模型获取的图像特征进行目标检测处理，得到的检测目标信息与样本目标信息之间的误差收敛。

其中，该损失函数可以为triplet loss损失函数(三重损失函数)，或者还可以为Softmax损失函数(交叉熵损失函数)等其他损失函数。

其中，需要说明的是，上述步骤1101-1104仅是训练特征提取子模型的一种可能实现方式。而在另一实施例中，根据第一样本数据对特征提取子模型进行训练还可以采用其他训练方法。在一种可能实现方式中，构建特征提取子模型和目标检测子模型，该特征提取子模型与目标检测子模型连接，获取样本图像以及样本图像的样本目标信息，将样本图像输入至特征提取子模型中，特征提取子模型对样本图像进行特征提取，得到样本图像的第五图像特征，将第五图像特征输入至目标检测子模型，目标检测子模型对第五图像特征进行目标检测处理，得到检测目标信息，基于检测目标信息和样本目标信息之间的差异，对特征提取子模型和目标检测子模型进行训练。

1105、基于已训练完成的特征提取子模型，对当前的图像进行特征提取，得到该图像的第一图像特征。

其中，当前的图像可以为终端显示界面对应的图像，例如，如图13所示的竞速类游戏界面、如图14所示的射击类游戏界面等，本申请实施例对当前的图像不做限定。

在得到训练完成的特征提取子模型之后，基于训练完成的特征提取子模型对操作确定子模型进行训练，该过程仅需对操作确定子模型中的模型参数进行调整，而无需对特征提取子模型中的模型参数进行调整。通过将网络模型分开训练，减少了每次训练过程中需要调整的模型参数，从而降低了训练难度，加快了训练速度。

在基于已训练完成的特征提取子模型对操作确定子模型进行训练之前，需要将特征提取子模型中的最后一层与操作确定子模型连接。在第一种可能实现方式中，操作确定子模型包括操作确定层，操作确定层与特征提取子模型连接。特征提取子模型对当前的图像进行特征提取，得到该图像的第一图像特征，将该第一图像特征输入至操作确定层。操作确定层对第一图像特征进行处理，得到待执行的第一操作。

在第二种可能实现方式中，操作确定子模型包括特征提取层、拼接层和操作确定层，特征提取子模型与拼接层连接，特征提取层与拼接层连接，拼接层与和操作确定层连接。特征提取子模型对当前的图像进行特征提取，得到该图像的第一图像特征，将第一图像特征输入至拼接层中。特征提取层对图像中的目标区域进行特征提取，得到目标区域的第二图像特征，将第二图像特征输入至拼接层中。拼接层将输入的图像特征进行拼接处理，得到第三图像特征，将第三图像特征输入至操作确定层。操作确定层对第三图像特征进行处理，得到待执行的第一操作。

其中，目标区域可以为当前的图像中的部分区域，该部分区域中的信息对于确定下一步操作比较重要，但是该部分区域在当前的图像中所占区域的面积较小，基于该部分区域进行运算可以减小运算量。例如，目标区域为当前的图像中的缩略地图区域的图像，如图15所示。

其中，特征提取子模型和目标检测子模型的模型结构可以参考图2至图10示出的模型结构，本申请实施例，对特征提取子模型和目标检测子模型的模型结构不再一一赘述。

1106、基于操作确定子模型，对第一图像特征进行处理，得到多个参考操作对应的操作分值，该参考操作对应的操作分值用于表示对当前的图像执行该参考操作的概率。

其中，参考操作可以为能对当前的图像执行的任一操作，该参考操作可以是对当前的图像上虚拟按钮的操作，如点击操作、长按操作等；该参考操作还可以对当前的图像上某一虚拟角色对应的操作，如左转、右转、前进、后退、射击等操作。该参考操作可以根据当前的图像的具体情况进行配置，本申请实施例对参考操作不做限定。

其中，基于操作确定子模型，对第一图像特征进行处理，得到多个参考操作对应的操作分值，可以包括：当网络模型包括特征提取子模型和操作确定子模型，且操作确定子模型包括操作确定层时，操作确定层对第一图像特征进行处理，得到多个参考操作对应的操作分值。

当网络模型包括特征提取子模型和操作确定子模型，且操作确定子模型包括特征提取层、拼接层和操作确定层时，操作确定层根据第三图像特征进行处理，得到多个参考操作对应的操作分值，其中，第三图像特征由第一图像特征和第二图像特征拼接得到。

当网络模型包括第一特征提取子模型、第二特征提取子模型和操作确定子模型，且操作确定子模型包括拼接层和操作确定层时，拼接层将第一特征提取子模型和第二特征提取子模型获取的第一图像特征和第二图像特征进行拼接处理，得到第三图像特征，将第三图像特征输入至操作确定层，操作确定层对第三图像特征进行处理，得到多个参考操作对应的操作分值。

1107、从多个参考操作中，随机选取一个参考操作，作为待执行的第一操作。

在对操作确定子模型进行训练的过程可以为一个试错过程，因此，可以从多个参考操作中随机选取一个参考操作，从而使得操作确定子模型在同种情况下，可以选择到不同的参考操作，根据操作结果对操作确定子模型的模型参数进行调整。

需要说明的是，在步骤1109-1107中，是操作确定子模型输出多个操作分值，计算机设备在多个参考操作中随机选取一个参考操作。而在另一实施例中，可以通过操作确定子模型在多个参考操作中，随机选取一个参考操作，作为待执行的第一操作，本申请实施例对此不做限定。

1108、对当前的图像执行第一操作，获取当前的状态数据，该状态数据指示执行第一操作后得到的操作结果。

其中，当前的状态数据可以是对执行第一操作后的当前图像的描述信息，或者是对当前图像发生的事件的描述信息，例如，状态数据可以是当前虚拟角色的血量、敌方虚拟角色的血量、击杀敌方虚拟角色、被敌方虚拟角色击杀等。通过状态数据可以得知执行该第一操作后，得到的操作结果，从而确定该第一操作是否为该当前的图像中可能执行的参考操作。本申请实施例对状态数据不做限定。

1109、基于当前的状态数据和收益函数，获取当前的状态数据对应的第一收益数值。

其中，确定第一操作是否为该当前的图像中可能执行的参考操作的方式可以包括：根据执行第一操作之后的收益数值，来确定执行该第一操作的概率，收益越大，执行该第一操作的概率越高，收益越小，执行该第一操作的概率越小。

网络模型中包括收益函数，该收益函数用于根据任一当前的图像和将在该当前的图像中执行的操作，获取对应的收益数值，该收益数值能够表示在该当前的图像中执行该操作得到的收益多少。

其中，基于当前的状态数据和收益函数，获取当前的状态数据对应的第一收益数值，可以包括：基于收益函数对当前的状态数据进行处理，得到当前的状态数据对应的第一收益数值。

1110、基于目标状态数据和收益函数，获取目标收益数值。

其中，当目标状态数据可以是执行目标操作之后，对应的状态数据，该目标状态数指示对当前的图像执行操作后得到的目标操作结果。

其中，确定目标操作的方式，可以包括：基于操作确定子模型，对第一图像特征进行处理，得到多个参考操作对应的操作分值，将操作分值最大的参考操作，作为目标操作。

之后，根据目标操作获取当前的目标状态函数，根据目标状态数据和收益函数，获取目标状态数据对应的目标收益数值。

1111、根据目标收益数值和第一收益数值之间的差异，对操作确定子模型进行训练。

在一种可能实现方式中，根据目标收益数值和第一收益数据之间的差异，对操作确定子模型进行训练，可以包括：根据第一收益数值、目标收益数值和损失函数，确定损失函数的损失值，基于该损失值，对操作确定子模型的模型参数进行调整，以使损失函数收敛。其中，对操作确定子模型的训练过程可以参考特征提取子模型的训练过程，在此不再一一赘述。

其中，训练过程中，采用的训练算法可以包括多种，如监督学习算法、深度学习训练算法、卷积神经网络训练算法、DQN(Deep Q Network，深度Q网络)算法等，本申请实施例对此不做限定。

在操作确定子模型训练完成之后，网络模型整体训练完成，可以应用训练完成的网络模型对终端自动控制。只需将终端当前的图像输入网络模型中，网络模型可以输出多个参考操作对应的操作分值，根据输出的操作分值预测下一步参考操作。

在一种可能实现方式中，获取当前的图像，基于网络模型，对当前的图像进行处理，得到多个参考操作对应的操作分值；基于多个操作分值，从多个参考操作中选取操作分值最大的参考操作，作为目标操作，在当前的图像中执行该目标操作。实现了终端自动基于当前的图像预测下一步操作。

需要说明的是，上述步骤1108至步骤1111仅是根据执行第一操作后得到的操作结果，对操作确定子模型进行训练的一种可能实现方式，而在另一实施例中，根据执行第一操作后得到的操作结果，对操作确定子模型进行训练还可以采用其他方式。本申请实施例对根据执行第一操作后得到的操作结果，对操作确定子模型进行训练的方式不做限定。

本申请实施例提供的网络模型训练方法，构建特征提取子模型和操作确定子模型，分别对特征提取子模型和操作确定子模型进行训练，减少了每次训练需要调整的模型参数的数量，降低了训练难度，减少了训练次数，从而加快了训练速度。并且，对特征提取子模型进行训练时，是基于多条样本数据对特征提取子模型进行训练的，该训练过程不需要在终端上执行操作，避免了训练速度受到终端执行操作的速度的影响，从而加快了训练速度。虽然，将网络模型拆分成两个子模型进行训练，但是两个子模型的训练速度均较快，即便将两个子模型的训练时间加起来也少于对网络模型整体进行训练的时间。

并且，网络模型不仅可以提取当前的图像的第一图像特征，还可以提取该图像的目标区域的第二图像特征，使得目标区域的图像特征得到了强化，网络模型可以基于第一图像特征和第二图像特征进行预测，提高了网络模型的预测准确率。

由于本申请实施例提供的网络模型训练方法，可以训练出用于预测操作的网络模型，因此，可以采用上述实施例提供的网络模型方法训练出一种控制游戏角色的游戏AI模型，通过该AI模型控制游戏角色进行操作。其中，上述网络模型训练方法可以应用于多种游戏中，如，FPS(First Person Shooting第一人称射击)游戏、竞速类游戏等。

图16是本申请实施例提供的一种基于游戏AI模型控制游戏角色进行操作的方法流程图，参见图16，该方法包括：

1601、获取当前的游戏图像。

例如，竞速类游戏中当前的游戏图像可以如图13所示，FPS游戏中当前的游戏图像可以如图14所示。

1602、将游戏图像输入至游戏AI模型的特征提取子模型中，将游戏图像中的小地图图像输入至操作确定子模型中的特征提取层。

其中，该小地图图像可以如图13中的1301区域，或者如图14中的1401区域。

游戏AI模型包括特征提取子模型和操作确定子模型，操作确定子模型包括特征提取层、拼接层和操作确定层。

1603、特征提取子模型根据输入的游戏图像，对该游戏图像进行特征提取，得到该游戏图像的图像特征，将该图像特征输入至操作确定子模型中的拼接层。

1604、特征提取层根据输入的小地图图像，对该小地图图像进行特征提取，得到该小地图图像的图像特征，将该图像特征输入至操作确定子模型中的拼接层。

1605、拼接层将特征提取子模型输出的图像特征与特征提取层输出的图像特征进行拼接处理，将得到的图像特征输入至操作确定层。

例如，特征提取子模型输出1024维的图像特征，特征提取层输出256维的图像特征，拼接层将1024维的图像特征和256维的图像特征拼接为1280维的图像特征。

1606、操作确定层根据多个参考操作和输入的图像特征，确定待执行的目标操作。

1607、控制当前的游戏图像中的虚拟角色执行该目标操作。

其中参考操作可以为当前游戏中可以执行的任一操作，当终端显示如图13所示的游戏图像时，参考操作可以为，对“左转按钮”1302执行点击操作，使得车辆1303向左移动；参考操作还可以为，对“右转按钮”1304执行点击操作，使得车辆1303向右移动。

当终端显示如图14所示的游戏图像时，参考操作可以为，对“移动按钮”1402执行滑动操作，根据滑动后“移动按钮”1402的位置，确定虚拟角色1403的移动方向，使得虚拟角色1403根据“移动按钮”1402指示的方向进行移动。参考操作还可以为，对“射击按钮”1404执行点击操作，使得虚拟角色1403进行射击。

另外，关于游戏AI模型的训练过程，游戏AI模型包括特征提取子模型和操作确定子模型，可以分别对特征提取子模型和操作确定子模型进行训练，先训练特征提取子模型，基于训练好的特征提取子模型来训练操作确定子模型。

在对特征提取子模型进行训练时，可以获取游戏图像，将游戏图像输入至特征提取子模型，特征提取子模型根据输入的游戏图像，对该游戏图像进行特征提取，得到该游戏图像的图像特征，可以根据特征提取子模型输出的图像特征与该游戏图像的实际图像之间的差异，对特征提取子模型进行训练。

在特征提取子模型训练完成之后，可以基于训练完成的特征提取子模型对操作确定子模型进行训练。其中，操作确定子模型可以包括特征提取层、拼接层和操作确定层。可以将游戏图像的小地图图像输入至特征提取层，特征提取层提取游戏图像的小地图图像的特征，特征提取层根据输入的小地图图像，对该小地图图像进行特征提取，得到该小地图图像的图像特征，将该图像特征输入至操作确定子模型中的拼接层。

拼接层将特征提取子模型输出的图像特征与特征提取层输出的图像特征进行拼接处理，将拼接后的图像特征输入至操作确定层，由操作确定层根据多个参考操作和输入的图像特征，确定待执行的第一操作，在游戏应用中执行该第一操作，获取执行该第一操作之后得到的操作结果，根据该操作结果与目标操作结果之间的差异对操作确定子模型进行训练。

图17是本申请实施例提供的一种网络模型训练装置的结构示意图，参见图17，该装置包括：第一训练模块1701、特征提取模块1702、处理模块1703和第二训练模块1704。

第一训练模块1701，用于根据第一样本数据对该特征提取子模型进行训练，该第一样本数据包括图像数据；

特征提取模块1702，用于基于已训练完成的特征提取子模型，对当前的图像进行特征提取，得到图像的第一图像特征；

处理模块1703，用于基于操作确定子模型，对第一图像特征进行处理，得到待执行的第一操作；

第二训练模块1704，用于根据执行该第一操作后得到的操作结果，对该操作确定子模型进行训练。

如图18所示，在一种可能实现方式中，操作确定子模型包括操作确定层，操作确定层与特征提取子模型连接；处理模块1703，用于基于操作确定层，对第一图像特征进行处理，得到第一操作。

在一种可能实现方式中，操作确定子模型包括特征提取层、拼接层和操作确定层，特征提取子模型与拼接层连接，特征提取层与拼接层连接，拼接层与和操作确定层连接；处理模块1703，包括：

特征提取单元17031，用于基于特征提取层，对图像中的目标区域进行特征提取，得到目标区域的第二图像特征；

拼接单元17032，用于基于拼接层，对输入的图像特征进行拼接处理，得到第三图像特征；

第一处理单元17033，用于基于操作确定层，对第三图像特征进行处理，得到第一操作。

在一种可能实现方式中，操作确定子模型还包括全连接层，全连接层与特征提取子层和拼接层连接；处理模块1703，还包括：

降维单元17034，用于基于全连接层，对第二图像特征进行降维处理，得到第四图像特征，将第四图像特征输入拼接层。

在一种可能实现方式中，第二训练模块1704，包括：

状态获取单元17041，用于执行该第一操作后，获取当前的状态数据，该状态数据指示执行该第一操作后得到的操作结果；

第一收益获取单元17042，用于基于该状态数据和收益函数，获取该状态数据对应的第一收益数值；

目标收益获取单元17043，用于基于目标状态数据和该收益函数，获取目标收益数值，该目标状态数据指示对该图像执行操作后得到的目标操作结果；

训练单元17044，用于根据该目标收益数值和该第一收益数值之间的差异，对该操作确定子模型进行训练。

在一种可能实现方式中，训练单元17044，用于根据第一收益数值、目标收益数值和损失函数，确定损失函数的损失值；

训练单元17044，还用于根据损失值，对操作确定子模型的模型参数进行调整，以使损失函数收敛。

在一种可能实现方式中，处理模块1703，包括：

第二处理单元17035，用于基于操作确定子模型，对第一图像特征进行处理，得到多个参考操作对应的操作分值，参考操作对应的操作分值用于表示对图像执行参考操作的概率；

选取单元17036，用于从多个参考操作中，随机选取一个参考操作，作为第一操作。

在一种可能实现方式中，第一训练模块1701，包括：

获取单元17011，用于获取样本图像以及样本图像的样本目标信息，样本目标信息包括样本图像中目标的类型和位置；

特征提取单元17012，用于基于特征提取子模型，对样本图像进行特征提取，得到样本图像的第五图像特征；

目标检测单元17013，用于基于已训练完成的目标检测子模型，对第五图像特征进行目标检测处理，得到检测目标信息；

训练单元17014，用于基于检测目标信息与样本目标信息之间的差异，对特征提取子模型进行训练。

在一种可能实现方式中，装置还包括：

第二处理单元17035，用于基于网络模型，对当前的图像进行处理，得到多个参考操作对应的操作分值；

选取单元17036，用于基于多个操作分值，从多个参考操作中选取操作分值最大的参考操作，作为目标操作；

执行模块1705，用于执行目标操作。

需要说明的是：上述实施例提供的网络模型训练装置在对网络模型进行训练时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的网络模型训练装置与网络模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图19是本申请实施例提供的一种终端的结构框图。该终端1900用于执行上述实施例中计算机设备执行的步骤，可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1900包括有：处理器1901和存储器1902。

处理器1901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1901所执行以实现本申请中方法实施例提供的网络模型训练方法。

在一些实施例中，终端1900还可选包括有：外围设备接口1903和至少一个外围设备。处理器1901、存储器1902和外围设备接口1903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1903相连。具体地，外围设备包括：射频电路1904、触摸显示屏1905、摄像头1906、音频电路1907、定位组件1908和电源1909中的至少一种。

外围设备接口1903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1901和存储器1902。在一些实施例中，处理器1901、存储器1902和外围设备接口1903被集成在同一芯片或电路板上；在一些其他实施例中，处理器1901、存储器1902和外围设备接口1903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1905是触摸显示屏时，显示屏1905还具有采集在显示屏1905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1901进行处理。此时，显示屏1905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1905可以为一个，设置终端1900的前面板；在另一些实施例中，显示屏1905可以为至少两个，分别设置在终端1900的不同表面或呈折叠设计；在再一些实施例中，显示屏1905可以是柔性显示屏，设置在终端1900的弯曲表面上或折叠面上。甚至，显示屏1905还可以设置成非矩形的不规则图形，也即异形屏。显示屏1905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1906用于采集图像或视频。可选地，摄像头组件1906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1901进行处理，或者输入至射频电路1904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1901或射频电路1904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1907还可以包括耳机插孔。

定位组件1908用于定位终端1900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。

电源1909用于为终端1900中的各个组件进行供电。电源1909可以是交流电、直流电、一次性电池或可充电电池。当电源1909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1900还包括有一个或多个传感器1910。该一个或多个传感器1910包括但不限于：加速度传感器1911、陀螺仪传感器1912、压力传感器1913、指纹传感器1914、光学传感器1915以及接近传感器1916。

加速度传感器1911可以检测以终端1900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1911可以用于检测重力加速度在三个坐标轴上的分量。处理器1901可以根据加速度传感器1911采集的重力加速度信号，控制触摸显示屏1905以横向视图或纵向视图进行用户界面的显示。加速度传感器1911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1912可以检测终端1900的机体方向及转动角度，陀螺仪传感器1912可以与加速度传感器1911协同采集用户对终端1900的3D动作。处理器1901根据陀螺仪传感器1912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1913可以设置在终端1900的侧边框和/或触摸显示屏1905的下层。当压力传感器1913设置在终端1900的侧边框时，可以检测用户对终端1900的握持信号，由处理器1901根据压力传感器1913采集的握持信号进行左右手识别或快捷操作。当压力传感器1913设置在触摸显示屏1905的下层时，由处理器1901根据用户对触摸显示屏1905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1914用于采集用户的指纹，由处理器1901根据指纹传感器1914采集到的指纹识别用户的身份，或者，由指纹传感器1914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1914可以被设置终端1900的正面、背面或侧面。当终端1900上设置有物理按键或厂商Logo时，指纹传感器1914可以与物理按键或厂商标志集成在一起。

光学传感器1915用于采集环境光强度。在一个实施例中，处理器1901可以根据光学传感器1915采集的环境光强度，控制触摸显示屏1905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1905的显示亮度；当环境光强度较低时，调低触摸显示屏1905的显示亮度。在另一个实施例中，处理器1901还可以根据光学传感器1915采集的环境光强度，动态调整摄像头组件1906的拍摄参数。

接近传感器1916，也称距离传感器，通常设置在终端1900的前面板。接近传感器1916用于采集用户与终端1900的正面之间的距离。在一个实施例中，当接近传感器1916检测到用户与终端1900的正面之间的距离逐渐变小时，由处理器1901控制触摸显示屏1905从亮屏状态切换为息屏状态；当接近传感器1916检测到用户与终端1900的正面之间的距离逐渐变大时，由处理器1901控制触摸显示屏1905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图19中示出的结构并不构成对终端1900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图20是本申请实施例提供的一种服务器的结构示意图，该服务器2000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)2001和一个或一个以上的存储器2002，其中，存储器2002中存储有至少一条指令，至少一条指令由处理器2001加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

服务器2000可以用于执行上述网络模型训练方法中计算机设备所执行的步骤。

本申请实施例还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行上述实施例的网络模型训练方法中所执行的操作。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述实施例的网络模型训练方法中所执行的操作。

本申请实施例还提供了一种计算机程序，该计算机程序包括至少一条指令，该指令由处理器加载并执行以实现上述实施例的网络模型训练方法中所执行的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种网络模型训练方法，其特征在于，所述网络模型包括特征提取子模型和操作确定子模型，所述操作确定子模型包括特征提取层、拼接层和操作确定层，所述特征提取子模型与所述拼接层连接，所述特征提取层与所述拼接层连接，所述拼接层与和所述操作确定层连接，所述方法包括：

根据第一样本数据对所述特征提取子模型进行训练，所述第一样本数据包括图像数据；

基于已训练完成的所述特征提取子模型，对当前的图像进行特征提取，得到所述图像的第一图像特征；

基于所述特征提取层，对所述图像中的目标区域进行特征提取，得到所述目标区域的第二图像特征；

基于所述拼接层，对输入的图像特征进行拼接处理，得到第三图像特征，所述输入的图像特征根据所述第一图像特征和所述第二图像特征得到；

基于所述操作确定层，对所述第三图像特征进行处理，得到待执行的第一操作；

根据执行所述第一操作后得到的操作结果，对所述操作确定子模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述操作确定子模型还包括全连接层，所述全连接层与所述特征提取层和所述拼接层连接；

基于所述全连接层，对所述第二图像特征进行降维处理，得到第四图像特征，将所述第四图像特征输入所述拼接层。

3.根据权利要求1所述的方法，其特征在于，所述根据执行所述第一操作后得到的操作结果，对所述操作确定子模型进行训练，包括：

执行所述第一操作后，获取当前的状态数据，所述状态数据指示执行所述第一操作后得到的操作结果；

基于所述状态数据和收益函数，获取所述状态数据对应的第一收益数值；

基于目标状态数据和所述收益函数，获取目标收益数值，所述目标状态数据指示对所述图像执行操作后得到的目标操作结果；

根据所述目标收益数值和所述第一收益数值之间的差异，对所述操作确定子模型进行训练。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标收益数值和所述第一收益数值之间的差异，对所述操作确定子模型进行训练，包括：

根据所述第一收益数值、所述目标收益数值和损失函数，确定所述损失函数的损失值；

根据所述损失值，对所述操作确定子模型的模型参数进行调整，以使所述损失函数收敛。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述操作确定子模型，对所述第一图像特征进行处理，得到多个参考操作对应的操作分值，所述参考操作对应的操作分值用于表示对所述图像执行所述参考操作的概率；

从所述多个参考操作中，随机选取一个参考操作，作为所述第一操作。

6.根据权利要求1所述的方法，其特征在于，所述根据第一样本数据对所述特征提取子模型进行训练，包括：

获取样本图像以及所述样本图像的样本目标信息，所述样本目标信息包括所述样本图像中目标的类型和位置；

基于所述特征提取子模型，对样本图像进行特征提取，得到所述样本图像的第五图像特征；

基于已训练完成的目标检测子模型，对所述第五图像特征进行目标检测处理，得到检测目标信息；

基于所述检测目标信息与所述样本目标信息之间的差异，对所述特征提取子模型进行训练。

7.根据权利要求5所述的方法，其特征在于，在所述操作确定子模型训练完成之后，所述方法还包括：

基于所述网络模型，对当前的图像进行处理，得到多个参考操作对应的操作分值；

基于多个操作分值，从多个参考操作中选取操作分值最大的参考操作，作为目标操作；

执行所述目标操作。

8.一种网络模型训练装置，其特征在于，所述网络模型包括特征提取子模型和操作确定子模型，所述操作确定子模型包括特征提取层、拼接层和操作确定层，所述特征提取子模型与所述拼接层连接，所述特征提取层与所述拼接层连接，所述拼接层与和所述操作确定层连接，所述装置包括：

第一训练模块，用于根据第一样本数据对所述特征提取子模型进行训练，所述第一样本数据包括图像数据；

特征提取模块，用于基于已训练完成的所述特征提取子模型，对当前的图像进行特征提取，得到所述图像的第一图像特征；

处理模块，包括特征提取单元、拼接单元和第一处理单元：

所述特征提取单元，用于基于所述特征提取层，对所述图像中的目标区域进行特征提取，得到所述目标区域的第二图像特征；

所述拼接单元，用于基于所述拼接层，对输入的图像特征进行拼接处理，得到第三图像特征，所述输入的图像特征根据所述第一图像特征和所述第二图像特征得到；

所述第一处理单元，用于基于所述操作确定层，对所述第三图像特征进行处理，得到待执行的第一操作；

第二训练模块，用于根据执行所述第一操作后得到的操作结果，对所述操作确定子模型进行训练。

9.根据权利要求8所述的装置，其特征在于，所述操作确定子模型还包括全连接层，所述全连接层与所述特征提取层和所述拼接层连接；所述处理模块，还包括：

降维单元，用于基于所述全连接层，对所述第二图像特征进行降维处理，得到第四图像特征，将所述第四图像特征输入所述拼接层。

10.根据权利要求8所述的装置，其特征在于，所述第二训练模块，包括：

状态获取单元，用于执行所述第一操作后，获取当前的状态数据，所述状态数据指示执行所述第一操作后得到的操作结果；

第一收益获取单元，用于基于所述状态数据和收益函数，获取所述状态数据对应的第一收益数值；

目标收益获取单元，用于基于目标状态数据和所述收益函数，获取目标收益数值，所述目标状态数据指示对所述图像执行操作后得到的目标操作结果；

训练单元，用于根据所述目标收益数值和所述第一收益数值之间的差异，对所述操作确定子模型进行训练。

11.根据权利要求10所述的装置，其特征在于，所述训练单元，用于根据所述第一收益数值、所述目标收益数值和损失函数，确定所述损失函数的损失值；

所述训练单元，还用于根据所述损失值，对所述操作确定子模型的模型参数进行调整，以使所述损失函数收敛。

12.根据权利要求8所述的装置，其特征在于，所述处理模块包括：

第二处理单元，用于基于所述操作确定子模型，对所述第一图像特征进行处理，得到多个参考操作对应的操作分值，所述参考操作对应的操作分值用于表示对所述图像执行所述参考操作的概率；

选取单元，用于从所述多个参考操作中，随机选取一个参考操作，作为所述第一操作。

13.根据权利要求8所述的装置，其特征在于，所述第一训练模块，包括：

获取单元，用于获取样本图像以及所述样本图像的样本目标信息，所述样本目标信息包括所述样本图像中目标的类型和位置；

特征提取单元，用于基于所述特征提取子模型，对样本图像进行特征提取，得到所述样本图像的第五图像特征；

目标检测单元，用于基于已训练完成的目标检测子模型，对所述第五图像特征进行目标检测处理，得到检测目标信息；

训练单元，用于基于所述检测目标信息与所述样本目标信息之间的差异，对所述特征提取子模型进行训练。

14.根据权利要求12所述的装置，其特征在于，所述装置还包括：

所述第二处理单元，用于基于所述网络模型，对当前的图像进行处理，得到多个参考操作对应的操作分值；

所述选取单元，用于基于多个操作分值，从多个参考操作中选取操作分值最大的参考操作，作为目标操作；

执行模块，用于执行所述目标操作。

15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至7任一项所述的网络模型训练方法中所执行的操作。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至7任一项所述的网络模型训练方法中所执行的操作。