CN113988162A - 模型训练及图像识别方法、装置、存储介质及电子设备 - Google Patents

Abstract

本说明书公开了模型训练及图像识别方法、装置、存储介质及电子设备。在训练阶段，提取样本图像中局部图像的局部特征，并采用第一识别模型根据局部特征进行识别，以局部图像的识别结果以及局部图像所属的样本图像的标注之间的差异来对特征提取模型中的参数进行调整。由于针对每个局部图像输出的识别结果都是根据由该局部图像所提取出的局部特征来确定的，因此在以识别结果和标注之间的差异最小为目标进行训练时，使得特征提取模型在提取各局部图像的局部特征时，都会倾向于提取局部图像中与所要识别的任务相关的特征，从而提高训练后所进行图像识别的识别结果的准确性。

Description

模型训练及图像识别方法、装置、存储介质及电子设备

技术领域

本说明书涉及计算机技术领域，尤其涉及模型训练及图像识别方法、装置、存储介质及电子设备。

背景技术

通常来说，应用机器学习模型来进行图像识别时，不可避免地需要先对图像进行特征提取，才能够根据提取出的特征进行图像识别。

可以将特征提取理解为从图像的抽取出信息的过程。

在提取特征之前，图像对于计算机来说是由若干像素点构成的数值矩阵，矩阵中的数值是每个像素点的亮度、饱和度等。由于像素点之间的是孤立存在的，每个单个像素点的数值不携带有计算机能够理解的图像语义，因此，需要图像中抽取出计算机能够“理解”的向量、数值等，即对图像进行特征提取。

在现有技术中，在采用所提取出的图像的特征进行图像识别之后，可以根据识别结果的准确性来评价从图像中提取的特征的好坏，当识别结果的准确性较高时，则可以认为从图像出提取出的特征是对识别有用的特征。

但若仅以此来构建损失进行训练，当损失达到足够小时，用于进行特征提取的机器学习模型便倾向于认为已经挖掘到足够进行识别的特征，而不再挖掘其他特征，造成图像识别的准确性难以进一步提升。

发明内容

本说明书提供模型训练及图像识别方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种模型训练方法，包括：

确定样本图像，并输入样本图像至待训练的特征提取模型中；

通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征；

针对每个局部图像，将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果；

以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整。

可选地，将该局部图像的局部特征输入至第一识别模型中，具体包括：

将该局部图像的局部特征输入至该局部图像对应的第一识别模型中，其中，该局部图像对应的第一识别模型与其他局部图像对应的第一识别模型不完全相同。

可选地，确定样本图像，并输入样本图像至待训练的特征提取模型中，具体包括：

从样本视频中选取出若干帧图像，并将选取的每一帧图像确定为样本图像；

确定由各样本图像组成的图像序列，并输入所述图像序列至待训练的特征提取模型中；

通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，具体包括：

采用所述特征提取模型中的三维卷积核，在输入所述特征提取模型的图像序列上滑动，并将每次滑动后所述三维卷积核所占据的各样本图像的图像区域的集合作为从样本图像中划分出的局部图像；

以所述三维卷积核对各局部图像进行卷积，并得到卷积后每个局部图像对应的局部特征。

可选地，所述样本图像中包含目标对象；

将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果，具体包括：

将该局部图像的局部特征输入至第一识别模型中，通过第一识别模型，从预先确定的各类型的行为中，识别所述目标对象执行的行为，作为对该局部图像的识别结果。

可选地，从预先确定的各类型的行为中，识别所述目标对象执行的行为，具体包括：

根据该局部图像的局部特征，确定所识别出的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的预测概率分布；

以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整，具体包括：

针对每个局部图像，根据该局部图像所属的样本图像的标注，确定该局部图像所属的样本图像中的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的标准概率分布；

确定该局部图像的预测概率分布和标准概率分布之间的交叉熵；

以各局部图像的预测概率分布和标准概率分布之间的交叉熵之和最小为目标，对所述特征提取模型中的参数进行调整。

可选地，所述方法还包括：

通过所述特征提取模型，根据输入所述特征提取模型的样本图像，提取出由各局部特征构成的所述样本图像的全局特征，并将所述全局特征输入至第二识别模型；

获取样本图像中所包含的目标对象的肢体节点在所述样本图像中的位置信息，通过所述第二识别模型，从所述全局特征中确定出各肢体节点所占据的图像区域对应的特征，作为目标特征；

根据目标特征，通过所述第二识别模型，从预先确定的各类型的行为中，识别所述目标对象执行的行为，作为对所述样本图像的识别结果；

以所述样本图像的标注和识别结果之间的差异最小为目标，调整所述特征提取模型和所述第二识别模型中的参数。

本说明书提供了一种图像识别方法，包括：

确定待识别图像，并输入所述待识别图像至特征提取模型中，其中，所述特征提取模型是采用如上述的方法训练得到的；

通过所述特征提取模型，以指定的划分方式，从所述待识别图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，获得由各局部特征构成的所述待识别图像的全局特征；

将所述待识别图像的全局特征输入至第二识别模型，通过所述第二识别模型，根据所述全局特征，确定出所述待识别对象的识别结果。

本说明书提供了一种模型训练装置，包括：

确定模块，用于确定样本图像，并输入样本图像至待训练的特征提取模型中；

特征提取模块，用于通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征；

识别模块，用于针对每个局部图像，将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果；

参数调整模块，用于以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整。

本说明书提供了一种图像识别装置，包括：

确定模块，用于确定待识别图像，并输入所述待识别图像至特征提取模型中，其中，所述特征提取模型是采用如上述的方法训练得到的；

特征提取模块，用于通过所述特征提取模型，以指定的划分方式，从所述待识别图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，获得由各局部特征构成的所述待识别图像的全局特征；

识别模块，用于将所述待识别图像的全局特征输入至第二识别模型，通过所述第二识别模型，根据所述全局特征，确定出所述待识别对象的识别结果。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练及图像识别方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练及图像识别方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的模型训练及图像识别方法中，提出了一种对特征提取模型中所包含的参数进行调整的训练方式，在训练阶段提取样本图像中局部图像的局部特征，并采用第一识别模型根据局部特征进行识别，以局部图像的识别结果以及局部图像所属的样本图像的标注之间的差异来对特征提取模型中的参数进行调整。

由于针对每个局部图像输出的识别结果都是根据由该局部图像所提取出的局部特征来确定的，因此在以识别结果和标注之间的差异最小为目标进行训练时，使得特征提取模型在提取各局部图像的局部特征时，都会倾向于提取局部图像中与所要识别的任务相关的特征，使得训练后的特征提取模型能够从图像中的各局部图像中都提取出与所要识别的任务相关的特征，从而提高训练后所进行图像识别的识别结果的准确性。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书提供的一种图像识别模型的示意图；

图2为本说明书中一种模型训练方法的流程示意图；

图3为本说明书中一种样本图像的划分方法的示意图；

图4为本说明书中另一种样本图像的划分方法的示意图；

图5为本说明书中一种图像识别方法的流程示意图；

图6为本说明书提供的一种模型训练装置的示意图；

图7为本说明书提供的一种图像识别装置的示意图；

图8为本说明书提供的电子设备的结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中一种图像识别模型的示意图，图像识别模型包括特征提取模型和第二识别模型。

在实际应用时，特征提取模型以待识别图像为输入，并输出提取出的图像特征，而第二识别模型则以特征提取模型所输出的图像特征为输入，根据图像特征，从预先设定的各类别中为图像选择识别结果。

图像识别模型可以用于不同的识别任务，例如人脸识别、行为识别，与文字等模态的数据进行匹配等等，仅示例性的，本说明以下部分以图像识别模型的识别任务为行为识别为例进行说明，在此情形下，输入所述图像识别模型的图像中包含目标对象，所述图像识别模型的识别结果为从预先确定的各类型的行为中，识别出的所述目标对象执行的行为，其中，所述目标对象可以为人或动物，具体的，当目标对象为人时，例如可以为行人、病人、被监护的无行为能力或限制行为能力人等等。本说明书一实施例中，每个样本图像中仅包括一个目标对象，当样本图像属于样本视频中的一帧图像时，所述样本视频中仅包括一个目标对象。

通常来说，在训练阶段，输入图像识别模型的样本图像对应有用于表征目标对象执行的行为的标注，可以以样本图像所对应的标注以及对样本图像的识别结果之间的差异最小为目标，调整图像识别模型中的参数。

而本说明书实施例中，提出了一种仅调整图像识别模型中的特征提取模型中所包含的参数的训练方式，具体的，在训练阶段提取样本图像中局部图像的局部特征，并采用第一识别模型根据局部特征进行识别，以根据所得到的样本图像的识别结果和标注之间的差异来对特征提取模型中的参数进行调整，流程示意图如图2所示。

采用如图2所示的方式对特征提取模型中参数进行训练时，由于针对每个局部图像，都根据由该局部图像所提取出的局部特征输出识别结果，并以识别结果和标注之间的差异最小为目标进行训练，使得特征提取模型在提取各局部图像的局部特征时，会倾向于提取局部图像中与所要识别的任务相关的特征，使得训练后的特征提取模型能够从图像中的各局部图像中都提取出与所要识别的任务相关的特征。

除采用如图2所示的流程示意图所示的模型训练方法训练特征提取模型以外，还可以采用任一方式对图像识别模型中任一部分(诸如特征提取模型、第二识别模型等)进行训练，本说明书实施例对此不作限制。本说明书一实施例中，所述第一识别模型和第二识别模型为不同的模型，即第一识别模型和第二识别模型中不包含相同的参数。

本说明书中所述的模型训练方法的执行主体和应用本说明书所述的图像识别方法的执行主体可以为同一执行主体，也可以为不同的执行主体，其中任一执行主体可以为终端设备或服务器。当执行主体为终端时，所述执行主体可以为任一现有形式的终端设备，例如可以为手机、平板电脑等，而当执行主体为服务器时，也可以为集群式服务器或分布式服务器等，本说明书对此不作限制。

图2为本说明书中一种模型训练方法的流程示意图，具体包括以下步骤：

S200：确定样本图像，并输入样本图像至待训练的特征提取模型中。

S202：通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征。

在执行步骤S200之前，需要先采集样本图像。

本说明书一实施例中，可以预先采用照相机、摄像头等图像采集设备采集样本图像，承上例，当所述图像识别任务为行为识别时，图像采集设备所采集到的样本图像为包含目标对象的图像。

将样本图像输入至待训练的特征提取模型中。

然后，通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像。具体的，本说明书实施例并不限制采用何种划分方式划分样本图像，所划分出的各局部图像包含样本图像中的图像区域，本说明书一实施例中，所划分出的局部图像不为该局部图像所述的样本图像本身。更进一步的，各局部图像可以两两不同，本说明书一实施例中，局部图像之间可以重合，即包含相同的图像区域，当然，每个局部图像也可以不与其他局部图像相重合。本说明书一实施例中，

图3示出了本说明书一实施例中的划分方式，即将样本图像划分为九个面积均等的局部图像。

通过所述特征提取模型，可以从各局部图像中提取出对应的局部特征。例如，可以通过池化、卷积等方式从局部图像中提取对应的局部特征，以所述特征提取模型采用卷积的方式提取局部图像中的局部特征为例，在每次滑动卷积窗口时，所述卷积核所占据的样本图像中的图像区域，即样本图像中的局部感受野即为所划分出的局部图像。仅示例性的，以下以特征提取模型为卷积神经网络为例进行说明。

S204：针对每个局部图像，将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果。

本说明书一实施例中，可以包括有一个或若干个第一识别模型，当仅一个第一识别模型时，所提取出的各局部图像的局部特征均输入该第一识别模型，而当有若干个第一识别模型时，可以预先为各局部图像确定出了对应的第一识别模型，或者说，预先为相对于样本图像中的每个图像区域确定出了对应的第一识别模型，在划分出局部图像之后，则可以将局部图像所占据的样本图像的图像区域对应的第一识别模型作为局部图像对应的第一识别模型。

本说明书实施例中，针对特征提取模型、第一识别模型以及第二识别模型中的任一，可以为任一现有的机器学习模型，例如所述特征提取模型可以为卷积神经网络，而第一识别模型或第二识别模型可以为任一现有的分类模型，诸如全连接层等等，本说明书对于特征提取模型、第一识别模型以及第二识别模型为何种机器学习模型不作限制。

本说明书一实施例中，针对每个局部图像，该局部图像对应的第一识别模型可以与其他各局部图像对应的第一识别模型均为不同的机器学习模型，具体的，该局部图像对应的第一识别模型中所包含的参数可以不与其他各局部图像对应的第一识别模型所包含的参数完全相同。更进一步的，本说明书另一实施例中，各局部图像对应的第一识别模型可以完全不同，即每个局部图像对应的第一识别模型不进行其他局部图像对应的第一识别模型进行参数共享。

将局部图像的局部特征输入对应的第一识别模型之后，第一识别模型可以根据所述局部特征输出对局部图像的识别结果，具体的，承上例，当图像识别任务为行为识别时，所输出的可以是从预先确定的各类型的行为中，识别出的局部图像所属的样本图像中的目标对象的执行的行为，更进一步的，当所述第一识别模型为任一现有的分类器时，例如全连接层，则第一识别模型输出的识别结果可以为所识别出的目标对象执行预先确定的各类型的行为的概率分布，并将所预测的概率最大的行为作为所识别出的所述目标对象执行的行为。

S206：确定各局部图像的标注，以各局部图像的标注和识别结果之间的差异最小为目标，对所述特征提取模型中的参数进行调整。

本领域技术人员可以理解的，作为训练样本的样本会对应有预先标定出的标注，标注是所输出的识别结果的训练目标，仍然以识别任务为行为识别为例，样本图像的标注可以是样本图像中所包含的目标对象实际执行的行为。

本说明书一实施例中，可以预先为各局部图像分别确定对应的标注，但由于通常来说，在由各局部图像组成的样本图像这一整体中，才能识别出目标对象的行为，或者说，目标对象在各局部图像中的动作表现共同构成了目标对象在样本图像中的行为，因此，在标注过程中可以仅对样本图像进行标注，而局部图像则将局部图像所属的样本图像的标注作为局部图像自身的标注。

本说明书一实施例中，对于一张样本图像来说，由该样本图像中所划分出的各局部图像的标注均与该样本图像的标注相同。

在确定出各局部图像的识别结果之后，以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整。

例如，可以为所预设的各类型的行为确定出两两之间的差异值，为两个行为所预设的差异值越大，表示将标注为其中一个行为的局部图像的识别为另一行为时，所述识别的准确性就越差。此时，针对每个局部图像，可以确定该局部图像的识别结果和标注之间的差异值，作为对该局部图像的识别差异值，并以各局部图像的识别差异值最小为目标，调整所述特征提取模型中的参数。

而另一实施例中，当上述局部图像的识别结果为所识别出的目标对象执行预先确定的各类型的行为的概率分布时，本说明书示例性提出一种参数调整方式，即以交叉熵来构建损失。

具体的，可以根据该局部图像的局部特征，确定所识别出的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的预测概率分布，针对每个局部图像，根据该局部图像所属的样本图像的标注，确定该局部图像所属的样本图像中的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的标准概率分布，确定该局部图像的预测概率分布和标准概率分布之间的交叉熵，最后，可以以各局部图像的预测概率分布和标准概率分布之间的交叉熵之和作为参数调整过程中的损失，然后，可根据损失确定梯度，并使用梯度下降算法调整该识别模型中的各模型参数。当模型参数的调整次数达到预设次数阈值，和/或，损失小于预设损失阈值时，将得到识别模型作为训练后的识别模型。

其中，本说明书实施例示例一种根据局部图像所属的样本图像的标注，确定标准概率分布的方法。例如，当预先设定的目标对象的各类别的行为包括吃饭、跑步和睡觉时，预先对样本图像进行的标注可以为跑步，代表所述目标对象的行为为跑步的概率为100％，则所确定出的样本图像中的目标对象执行吃饭、跑步和睡觉三中预设的行为的概率分布为(0，1，0)。

基于如图2所示的上述方法，提出了一种对特征提取模型中所包含的参数进行调整的训练方式，在训练阶段提取样本图像中局部图像的局部特征，并采用第一识别模型根据局部特征进行识别，以局部图像的识别结果以及局部图像所属的样本图像的标注之间的差异来对特征提取模型中的参数进行调整。

由于针对每个局部图像输出的识别结果都是根据由该局部图像所提取出的局部特征来确定的，因此在以识别结果和标注之间的差异最小为目标进行训练时，使得特征提取模型在提取各局部图像的局部特征时，都会倾向于提取局部图像中与所要识别的任务相关的特征，使得训练后的特征提取模型能够从图像中的各局部图像中都提取出与所要识别的任务相关的特征，从而提高训练后所进行图像识别的识别结果的准确性。

在实际应用中，根据目标对象所保持的某一特定姿势，往往难以识别出其正在执行的动作，因此，可以将在各采集时刻采集到的包含目标对象的图像输入所述图像识别模型，以通过目标对象各肢体节点在各采集时刻的位置信息获得目标对象的肢体节点在时间上的运动倾向，从而能够更准确的识别出目标对象的行为。

当然，在识别任务为行为识别以外的其他任务时，输入若干张对应有采集时刻的图像也能够提高图像识别的准确性，本说明书不再一一赘述。

相应的，在训练阶段，也可以将所采集到的若干张图像作为样本图像，并将采集每张样本图像的时刻作为该样本图像对应的采集时刻，以根据若干张对应有采集时刻的样本图像获得目标对象在时间上的特征。

具体的，可以将各样本图像及对应的采集时刻输入至待训练的特征提取模型中，通过所述特征提取模型，从各采集时刻中选择出指定时刻，并确定相对于样本图像的指定位置，确定在指定时刻所采集到的各样本图像位于指定位置的图像区域的集合，并作为所划分出的局部图像，重新确定指定时刻和/或指定位置，以获得另一局部图像，直到满足预先设定的停止条件，针对每个局部图像，通过所述特征提取模型，对该局部图像中各图像区域进行特征提取，以将所提取到的各图像区域的特征融合为该局部图像对应的局部特征。其中，本说明书实施例并不限定所述指定时刻和指定位置的确定方式，也不限定所述停止条件，仅作为示例，以下提供一种以所述特征提取模型为卷积神经网络为例的实施例。

在将样本图像输入至特征提取模型之前，可以根据所采集到的采集时刻为各样本图像进行排序，得到排序后的图像序列，在将图像序列及各样本图像对应的采集时刻至待训练的特征提取模型中。当然，各样本图像也可以为从样本视频中选取出若干帧图像，然后确定出由各样本图像组成的图像序列，并输入所述图像序列至待训练的特征提取模型中。

本说明书实施例并不限制如何对样本图像进行排序，仅示例性的，可以根据各样本图像的采集时刻或在视频中的时刻先后进行排序。

然后，可以采用所述特征提取模型中的三维卷积核，在输入所述特征提取模型的图像序列上滑动，并将每次滑动后所述三维卷积核所占据的各样本图像的图像区域的集合作为从样本图像中划分出的局部图像，本说明书一实施例中，所述三维卷积核在三个自由度的方向上进行滑动，然后，可以以所述三维卷积核对每个局部图像进行卷积，并到的卷积后每个局部图像对应的局部特征。

如图4所示，图4中示出了由采集时刻t分别为t1、t2、t3、t4、t5的五个样本图像所构成的图像序列，三维卷积核则可分别滑动至由加粗的立方体所示出S1、S2、S3、S4四个位置。可以看出，所述三维卷积核可以在图像序列上进行滑窗卷积，包括在二维平面上滑动和在时间维度上滑动，例如三维卷积核可以在样本图像的二维平面上滑动，在S1、S2、S3的位置之间滑动。在S1、S2、S3的位置上时，分别对采集时刻为t1、t2和t3的样本图像中位于不同位置的图像区域的集合(即局部图像)进行卷积。所述三维卷积核还可以在时间维度上滑动，例如从S1、S2、S3中的任一位置滑动至S4位置时，所述三维卷积核不仅在样本图像的二维平面上进行了滑动，即改变了所卷积的图像区域在样本图像中的位置，还在时间维度上进行了滑动，即由对采集时刻为t1、t2和t3的样本图像中的图像区域进行卷积转变为了对采集时刻为t3、t4和t5的样本图像中的图像区域进行卷积。

以上为本说明书实施例提供的仅对特征提取模型中所包含的参数能够调整的各实施例，另外，在采用上述方式训练之前或之后，还可以将所述特征提取模型作为图像识别模型的一部分进行训练，同时对所述特征提取模型和第二识别模型中所包含的参数进行调整。

具体的，可以将样本图像输入所述特征提取模型，通过所述特征提取模型，提取出由各局部特征构成的所述样本图像的全局特征，并将所述全局特征输入至第二识别模型，然后，获取样本图像中所包含的肢体节点在所述样本图像中的位置信息，通过所述第二识别模型，从所述全局特征中确定出各肢体节点所占据的图像区域对应的特征，作为目标特征，根据目标特征，通过所述第二识别模型，从预先确定的各类别的行为中预测所述样本图像中目标对象执行的行为，作为对所述样本图像的识别结果，以所述样本图像的标注和识别结果之间的差异最小为目标，调整所述特征提取模型和所述第二识别模型中的参数。

以上为本说明书实施例提供的模型训练方法，以下，本说明书实施例还提供一种采用通过上述模型训练方法训练后的图像识别模型来实现的图像识别方法，所述图像识别方法的流程图如图5所示。

S500：确定待识别图像，并输入所述待识别图像至特征提取模型中，其中，所述特征提取模型是采用如上述任一方法训练得到的。

需要说明的是，本说明书实施例中，应用过程中所述输入的待识别图像和训练过程中输入的样本图像相对应，具体的，若在训练阶段所输入的样本图像为单张图像，则在进行图像识别时所输入的待识别图像也为单张图像，而若在训练阶段输入的样本图像为所采集到的若干张图像以及对应的采集时刻，则在应用时输入的也需为若干张对应有采集时刻的待识别图像。

S502：通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，获得由各局部特征构成的所述待识别图像的全局特征。

S504：将所述待识别图像的全局特征输入至第二识别模型，通过所述第二识别模型，根据所述全局特征，确定出所述待识别对象的识别结果。

承上例，当识别任务为行为识别时，在实际应用中，第二识别模型所输出的也为样本图像中的目标对象执行的行为，而当识别任务为其他任务时，所述第二识别模型的输出也可以为人脸信息等等，本说明书对此不再赘述。

以上为本说明书的一个或多个实施例提供的模型训练及图像识别方法，基于同样的思路，本说明书还提供了相应的模型训练装置和图像识别装置。

图6为本说明书提供的一种模型训练装置示意图，包括：

确定模块600，用于确定样本图像，并输入样本图像至待训练的特征提取模型中；

特征提取模块602，用于通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征；

识别模块604，用于针对每个局部图像，将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果；

参数调整模块606，用于以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整。

可选地，所述识别模块604具体用于，将该局部图像的局部特征输入至该局部图像对应的第一识别模型中，其中，该局部图像对应的第一识别模型与其他局部图像对应的第一识别模型不完全相同。

可选地，所述确定模块600具体用于，从样本视频中选取出若干帧图像，并将选取的每一帧图像确定为样本图像；确定由各样本图像组成的图像序列，并输入所述图像序列至待训练的特征提取模型中；所述特征提取模块602具体用于，采用所述特征提取模型中的三维卷积核，在输入所述特征提取模型的图像序列上滑动，并将每次滑动后所述三维卷积核所占据的各样本图像的图像区域的集合作为从样本图像中划分出的局部图像；以所述三维卷积核对各局部图像进行卷积，并得到卷积后每个局部图像对应的局部特征。

可选地，所述样本图像中包含目标对象；所述识别模块604具体用于，将该局部图像的局部特征输入至第一识别模型中，通过第一识别模型，从预先确定的各类型的行为中，识别所述目标对象执行的行为，作为对该局部图像的识别结果。

可选地，所述识别模块604具体用于，根据该局部图像的局部特征，确定所识别出的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的预测概率分布；所述参数调整模块606具体用于，针对每个局部图像，根据该局部图像所属的样本图像的标注，确定该局部图像所属的样本图像中的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的标准概率分布；确定该局部图像的预测概率分布和标准概率分布之间的交叉熵；以各局部图像的预测概率分布和标准概率分布之间的交叉熵之和最小为目标，对所述特征提取模型中的参数进行调整。

可选地，所述参数调整模块606还用于，通过所述特征提取模型，根据输入所述特征提取模型的样本图像，提取出由各局部特征构成的所述样本图像的全局特征，并将所述全局特征输入至第二识别模型；获取样本图像中所包含的目标对象的肢体节点在所述样本图像中的位置信息，通过所述第二识别模型，从所述全局特征中确定出各肢体节点所占据的图像区域对应的特征，作为目标特征；根据目标特征，通过所述第二识别模型，从预先确定的各类型的行为中，识别所述目标对象执行的行为，作为对所述样本图像的识别结果；以所述样本图像的标注和识别结果之间的差异最小为目标，调整所述特征提取模型和所述第二识别模型中的参数。

图7为本说明书提供的一种图像识别装置的示意图，包括：

确定模块700，用于确定待识别图像，并输入所述待识别图像至特征提取模型中，其中，所述特征提取模型是采用如上述的方法训练得到的；

特征提取模块702，用于通过所述特征提取模型，以指定的划分方式，从所述待识别图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，获得由各局部特征构成的所述待识别图像的全局特征；

识别模块704，用于将所述待识别图像的全局特征输入至第二识别模型，通过所述第二识别模型，根据所述全局特征，确定出所述待识别对象的识别结果。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述模型训练及图像识别方法。

本说明书还提供了图8所示的电子设备的结构示意图。如图8所示，在硬件层面，该电子设备包括处理器、内部总线、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述模型训练及图像识别方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (11)

1.一种模型训练方法，其特征在于，包括：

确定样本图像，并输入样本图像至待训练的特征提取模型中；

通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征；

针对每个局部图像，将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果；

以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整。

2.如权利要求1所述的方法，其特征在于，将该局部图像的局部特征输入至第一识别模型中，具体包括：

将该局部图像的局部特征输入至该局部图像对应的第一识别模型中，其中，该局部图像对应的第一识别模型与其他局部图像对应的第一识别模型不完全相同。

3.如权利要求1所述的方法，其特征在于，确定样本图像，并输入样本图像至待训练的特征提取模型中，具体包括：

从样本视频中选取出若干帧图像，并将选取的每一帧图像确定为样本图像；

确定由各样本图像组成的图像序列，并输入所述图像序列至待训练的特征提取模型中；

通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，具体包括：

采用所述特征提取模型中的三维卷积核，在输入所述特征提取模型的图像序列上滑动，并将每次滑动后所述三维卷积核所占据的各样本图像的图像区域的集合作为从样本图像中划分出的局部图像；

以所述三维卷积核对各局部图像进行卷积，并得到卷积后每个局部图像对应的局部特征。

4.如权利要求1所述的方法，其特征在于，所述样本图像中包含目标对象；

将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果，具体包括：

将该局部图像的局部特征输入至第一识别模型中，通过第一识别模型，从预先确定的各类型的行为中，识别所述目标对象执行的行为，作为对该局部图像的识别结果。

5.如权利要求4所述的方法，其特征在于，从预先确定的各类型的行为中，识别所述目标对象执行的行为，具体包括：

根据该局部图像的局部特征，确定所识别出的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的预测概率分布；

以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整，具体包括：

针对每个局部图像，根据该局部图像所属的样本图像的标注，确定该局部图像所属的样本图像中的目标对象执行预先确定的各类型的行为的概率分布，作为该局部图像的标准概率分布；

确定该局部图像的预测概率分布和标准概率分布之间的交叉熵；

以各局部图像的预测概率分布和标准概率分布之间的交叉熵之和最小为目标，对所述特征提取模型中的参数进行调整。

6.如权利要求4所述的方法，其特征在于，所述方法还包括：

通过所述特征提取模型，根据输入所述特征提取模型的样本图像，提取出由各局部特征构成的所述样本图像的全局特征，并将所述全局特征输入至第二识别模型；

获取样本图像中所包含的目标对象的肢体节点在所述样本图像中的位置信息，通过所述第二识别模型，从所述全局特征中确定出各肢体节点所占据的图像区域对应的特征，作为目标特征；

根据目标特征，通过所述第二识别模型，从预先确定的各类型的行为中，识别所述目标对象执行的行为，作为对所述样本图像的识别结果；

以所述样本图像的标注和识别结果之间的差异最小为目标，调整所述特征提取模型和所述第二识别模型中的参数。

7.一种图像识别方法，其特征在于，包括：

确定待识别图像，并输入所述待识别图像至特征提取模型中，其中，所述特征提取模型是采用如权利要求1～6任一所述的方法训练得到的；

通过所述特征提取模型，以指定的划分方式，从所述待识别图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，获得由各局部特征构成的所述待识别图像的全局特征；

将所述待识别图像的全局特征输入至第二识别模型，通过所述第二识别模型，根据所述全局特征，确定出所述待识别对象的识别结果。

8.一种模型训练装置，其特征在于，所述装置具体包括：

确定模块，用于确定样本图像，并输入样本图像至待训练的特征提取模型中；

特征提取模块，用于通过所述特征提取模型，以指定的划分方式，从样本图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征；

识别模块，用于针对每个局部图像，将该局部图像的局部特征输入至第一识别模型中，得到所述第一识别模型对该局部图像的识别结果；

参数调整模块，用于以各局部图像的识别结果以及各局部图像所属的样本图像的标注之间的差异最小为目标，对所述特征提取模型中的参数进行调整。

9.一种图像识别装置，其特征在于，所述装置具体包括：

确定模块，用于确定待识别图像，并输入所述待识别图像至特征提取模型中，其中，所述特征提取模型是采用如权利要求1～6任一所述的方法训练得到的；

特征提取模块，用于通过所述特征提取模型，以指定的划分方式，从所述待识别图像中划分出若干个局部图像，并为每个局部图像提取对应的局部特征，获得由各局部特征构成的所述待识别图像的全局特征；

识别模块，用于将所述待识别图像的全局特征输入至第二识别模型，通过所述第二识别模型，根据所述全局特征，确定出所述待识别对象的识别结果。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。

Images