CN107578055A - 一种图像预测方法和装置 - Google Patents

Abstract

本申请公开了一种图像预测方法和装置，该方法包括确定预测图像的第1特征图，第1特征图是用于描述预测图像的矩阵；从N＝1起至N＝M为止循环执行以下方法：根据第N特征图和D值卷积神经网络确定D个第N索引图，根据D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图，其中，M为D值卷积神经网络的卷积层数，M大于1，D值卷积神经网络包括多个分类器，每个分类器对应一种权重矩阵；根据第M+1特征图进行预测。本申请实施例根据所述多个第N索引图和权重矩阵，通过求和的方式确定第N+1索引图，以将乘法计算转换为加法计算，从而能够提高计算效率。

Description

一种图像预测方法和装置

技术领域

本申请涉及图像处理领域，尤其涉及一种图像预测方法和装置。

背景技术

当下，深度神经网络被广泛的使用于机器学习的各个领域。在通过深度神经网络对结果进行预测时，计算量较大导致预测的时间较长，因此，很难做到产品级的效果。

为了解决深度神经网络实用性的问题，现有技术提出了半精度卷积神经网络、二值卷积神经网络和三值卷积神经网络。在半精度卷积神经网络中，通过将被训练的模型的大小减小一半，从而将预测速度提高一倍。二值卷积神经网络，把卷积神经网络的参数训练成只有两种取值，-1和1。使用1bit便可以储存模型，把模型的大小减小到了原本的32分之一，从而进一步的提高处理的速度。三值卷积神经网络，与二值卷积神经网络类似，权重有-1，0,1，三种取值。可以使用2bits来保存权重。由于三值卷积神经网通通过三个权重来进行标识，因此三值卷积神经网络拥有比二值卷积神经网络更强的表达能力。

但是，在上述二值、三值卷积网络中，需要使用传统的矩阵乘法进行计算。例如，使用caffe im2col的方法把特征图和权重过滤器扩展成两个矩阵，将两个矩阵相乘得到特征图，并通过最终得到的特征图对结果进行预测。在矩阵相乘的计算过程中，需要使用多次乘法和加法，在矩阵很大的时候，计算量会成倍的增加，计算时间长，计算效率较差。

发明内容

本申请实施例提供一种图像预测方法和装置，能够通过加法的计算确定用于预测图像的特征图，提高计算效率。

本申请实施例采用下述技术方案：

一方面，本申请具体实施例提供一种图像预测方法，所述方法包括确定预测图像的第1特征图，所述第1特征图是用于描述输入信息的矩阵。从N＝1起至N＝M为止循环执行以下方法:根据第N特征图和D值卷积神经网络确定D个第N索引图，根据所述D值卷积神经网络的权重矩阵和所述D个第N索引图确定第N+1特征图，其中，M为D值卷积神经网络的卷积层数，M大于1，所述D值卷积神经网络包括多个分类器，每个分类器一种权重矩阵，D为2或3；根据第M+1特征图进行预测；

其中，根据所述D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图包括：

确定所述权重矩阵中第j列的X个元素在所述第N特征图的索引图中对应的X个索引图；

分别确定所述X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1；

确定所述X个元素之和为第N特征图中的第i行第j列的元素。

在一个可能的设计中，所述根据所述D值卷积神经网络的权重矩阵和所述D个第N索引图确定第N＝1特征图包括，通过如下公式确定第N+1特征图中的元素C(i，j)：

其中所述k表示权重矩阵的行数，B[t][j]用于表示权重矩阵在第t行第j列的元素，对应于所述D个第N索引图之一，A[B[t][j]][i][t]表述根据权重矩阵的元素B[t][j]确定的索引图中的第i行第t列的元素。

在一个可能的设计中，所述根据所述第N特征图和D值卷积神经网络，确定D个第N索引图包括：

当所述D为3时，将所述第N特征图的每个元素与-1相乘，得到所述第N索引图中的第1索引图；

将所述第N特征图的每个元素与0相乘，得到所述第N索引图中的第2索引图；

将所述第N特征图的每个元素与1相乘，得到所述第N索引图中的第3索引图。

在一个可能的设计中，所述根据所述第N特征图和D值卷积神经网络，确定D个第N索引图包括：

当所述D为2时，将所述第N特征图的每个元素与-1相乘，得到所述第N索引图中的第1索引图；

将所述第N特征图的每个元素与1相乘，得到所述第N索引图中的第2索引图。

在一个可能的设计中，所述D值卷积神经网络包括多个分类器，每个分类器对应于一种分类，每个分类对应于一种权重矩阵，包括：每个分类器对应多个权重过滤器，所述多个权重过滤器中的每个权重过滤器包括多个通道，每个通道表示输入图像的一种特征的矩阵，其中，每个分类器的多个权重过滤器中的每个权重过滤器构成权重矩阵的一行，以形成所述分类器对应的权重矩阵；或者，每个分类器的多个权重过滤器中的每个权重过滤器构成权重矩阵的一列，以形成所述分类器对应的权重矩阵。

在一个可能的设计中，所述确定预测图像的第1特征图前还包括，接收预测任务，所述预测任务包括预测图像和任务类型；确定与所述任务类型相匹配的分类器。

在一个可能的设计中，所述确定预测图像的第1特征图前还包括：

获取输入特征图，所述输入特征图为多通道，所述多通道的输入特征图根据预测图像确定；

将输入特征图转换为第1特征图；

其中，所述将输入特征图转换为第1特征图，包括：从多通道的输入特征图中的每个通道的输入特征图中提取第1组数据至第N组数据，将所述多个第X组数据作为第1特征图对应的矩阵的第X行，其中，第1组数据至第N组数据中的每组数据是与权重过滤器行、列相等的数据；

其中，所述从多通道的输入特征图中的每个通道的输入特征图中提取第1组数据至第N组数据，包括：从输入特征图的第1行第1列提取第1组数据至输入特征图的第A-F+1行第B-G+1列提取第N组数据，所述输入图像为A行B列，所述权重过滤器为F行G列，所述A、B、F和G均为大于1的正整数。

在一个可能的设计中，获取预测图像的第1特征图，当所述D值卷积神经网络的输入信息为所述预测图像时，根据所述预测图像的二值特征、视觉特征或像素点的颜色的值确定所述预测图像的第1特征图。

第二方面，本申请具体实施例提供一种电子设备，包括处理单元。所述处理单元，用于确定预测图像的第1特征图，所述第1特征图是用于描述预测图像的矩阵；处理单元，还用于从N＝1起至N＝M为止循环执行以下方法：根据第N特征图和D值卷积神经网络确定D个第N索引图，根据所述D值卷积神经网络的权重矩阵和所述D个第N索引图确定第N+1特征图，其中，M为D值卷积神经网络的卷积层数，M大于1，所述D值卷积神经网络包括多个分类器，每个分类器对应一种权重矩阵，D为2或3；处理单元，还用于根据第M+1特征图进行预测。其中，根据所述D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图包括，确定所述权重矩阵中第j列的X个元素在所述第N特征图的索引图中对应的X个索引图；分别确定所述X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1；确定所述X个元素之和为第N特征图中的第i行第j列的元素。

第三方面，本申请具体实施例提供了一种图像预测装置，其特征在于，包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：确定预测图像的第1特征图，所述第1特征图是用于描述预测图像的矩阵；从N＝1起至N＝M为止循环执行以下方法：根据第N特征图和D值卷积神经网络确定D个第N索引图，根据所述D值卷积神经网络的权重矩阵和所述D个第N索引图确定第N+1特征图，其中，M为D值卷积神经网络的卷积层数，M大于1，所述D值卷积神经网络包括多个分类器，每个分类器对应一种权重矩阵，D为2或3；处理器，还用于根据第M+1特征图进行预测；其中，根据所述D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图包括：确定所述权重矩阵中第j列的X个元素在所述第N特征图的索引图中对应的X个索引图；分别确定所述X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1；确定所述X个元素之和为第N特征图中的第i行第j列的元素。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述第一至第三方面任一方面所述的程序。

本申请实施例的一种图像预测方法和装置，通过将预测图像的特征图转换为多个索引图；根据所述多个第N索引图和权重矩阵，通过求和的方式确定第N+1索引图，以将乘法计算转换为加法计算，从而能够提高计算效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请具体实施例提供的一种图像预测方法流程图；

图2为本申请具体实施例提供的一种三通道输入特征图和权重过滤器示意图；

图3为本申请具体实施例提供的一种将多通道的输入特征图转换为第1特征图的示意图；

图4为本申请实施例提供的一种分类器的示意图；

图5为本申请具体实施例提供的一种采用caffe im2col的扩展方法示意图；

图6为本申请具体实施例提供的一种电子设备的结构示意图；

图7是本申请的一个实施例的图像预测装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请具体实施例提供的一种图像预测方法流程图。图1的方法由图像预测装置执行。该预测方法具体包括：

S101、确定预测图像的第1特征图，第1特征图是用于描述预测图像的矩阵。

设备中包括至少一个经过训练的卷积神经网络，对卷积神经网络的训练是通过多个同一类且不相同的图像进行训练。对卷积神经网络训练的结果包括一个分类器，该分类器可以用于对一个类别的图形的判断，其中，每个分类器还与一个权重过滤器相对应。当卷积神经网络中包括多个经过训练的卷积神经网络时，则包括多个分类器。

设备获取预测任务，该预测任务包括输入信息和任务类型，每个任务类型与一个分类器相对应，即通过任务类型确定相对应的分类器。例如，当任务类型是判断是不是小狗时，通过各种小狗图像训练的卷积神经网络的分类器来判断。输入的信息可以是预测图像或预测图像的第1特征值。当该输入的信息为预测图像时，还根据该预测图像确定预测图像的第1特征值。

在一个例子中，当输入的信息为预测图像时，可确定所述预测图像的输入特征图，所述输入特征图为多通道，例如，所述输入图像为RGB3通道。所述多通道的输入特征图可以是预测图像的2值特征、视觉特征或像素点的颜色的值中的任意一种。进一步的，当该多通道的输入特征图是预测图像上像素点的颜色的值时，该多通道的输入特征图既可以是预测图像中每个像素点的颜色的值，也可以是按照预定间隔获取的预测图像上像素点的颜色的值。例如，按照每间隔两个像素点获取一个像素点的颜色的值，等等。

可选地，可将多通道的输入特征图转换为第1特征图。具体地，将多通道的输入特征图转换为第1特征图，可包括：从多通道的输入特征图中的每个通道的输入特征图中提取一组数据作为第1特征图对应的矩阵的一行。更具体地，可从多通道的输入特征图中的每个通道的输入特征图中，分别提取第1组数据至第N组数据，将所述多个第X组数据作为第1特征图对应的矩阵的第X行。其中，第1组数据至第N组数据中的每组数据的数量与权重过滤器中包括的数据的数量相等。

具体的，从多通道的输入特征图中的每个通道的输入特征图中提取第1组数据至第N组数据是，从输入特征图的第1行第1列提取第1组数据至输入特征图的第A-F+1行第B-G+1列提取第N组数据，所述输入图像为A行B列，所述权重过滤器为F行G列，所述A、B、F和G均为大于1的正整数。

下面，通过一个例子对本申请具体实施例中从多通道的输入特征图中的每个通道的输入特征图中提取第1组数据至第N组数据进行说明。

图2为本申请具体实施例提供的一种三通道输入特征图和权重过滤器示意图。如图2所示，包括三通道的输入特征图所对应的矩阵I、J、K，以及一个权重过滤器的一个通道所对应的矩阵。其中，所述输入特征图所对应的矩阵的大小是4×4的矩阵，所述权重过滤器的一个通道所对应的矩阵的大小是3×3的矩阵。

图3为本申请具体实施例提供的一种将多通道的输入特征图转换为第1特征图的示意图。如图3所示，由于所述权重过滤器所对应的矩阵的大小是3×3的矩阵，因此首先从每个通道的输入图像的第1行第1列取3行3列的数值作为第1特征图对应的矩阵的第1行的值，具体如图3中的M1所示。再从每个通道的输入图像的第1行第2列取3行3列的数值作为第1特征图对应的矩阵的第2行的值，具体如图3中的M2所示。由于输入特征图为4行4列，不能从第1行第3列取3行3列的数值作为第1特征图对应的矩阵的第3行的值，因此，需要从每个输入特征图的第2行的第1列取3行3列的数值作为第1特征图对应的矩阵的第3行的值。最后再从每个输入特征图的第2行的第2列取3行3列的数值作为第1特征图对应的矩阵的第4行的值，具体如图3中的M4所示。通过上述的内容，将3通道的输入特征图转换为第1特征图。

S102、根据第N特征图和D值卷积神经网络，确定D个第N索引图。

在一个例子中，D值卷积神经网络可以是2值卷积神经网络或3值卷积神经网络。在本申请的具体实施例中，卷积神经网络还可以是其他类型。3值卷积神经网络的权重过滤器包括-1、0和1共3种元素。2值卷积神经网络的权重过滤器包括-1和1两种元素。在本申请的具体实施例中，以3值卷积神经网络为例子进行详细说明。

当D为2时，将根据第1特征图确定第1索引图，第1索引图包括索引图A0和索引图A1。当D为3时，将根据第1特征图确定第1索引图，第1索引图包括索引图A0、索引图A1和索引图A2。

在一个例子中，当终端设备中包括的卷积神经网络为2值卷积神经网络时，第1索引图的索引图A0是对第1特征图的矩阵中各元素求反的结果，即将第1索引图的矩阵中各元素与-1相乘的结果。第1索引图的索引图A1是第1特征图的原值，即将第1特征图的矩阵中各元素与1相乘的结果。

在另一个例子中，当设备中包括的卷积神经网络为3值卷积神经网络时，第1索引图的索引图A0是对第1特征图的矩阵中各元素求反的结果，即将第1特征图的矩阵中各元素与-1相乘的结果。第1索引图的索引图A1是将第1特征图的矩阵中各元素与0相乘的结果。第1索引图的索引图A2是将第1特征图的矩阵中各元素与1相乘的结果。

当然，上述将各个索引图表示为索引图A0和索引图A1或索引图A0、索引图A1和索引图A2仅为本申请具体实施例中的一种举例，而不能用于对本申请的限定。只要是在2值卷积神经网络中，对特征图求反和求原值，得到2种索引图；或在3值卷积神经网络中，对特征图求反、求0和求原值，得到3种索引图，均为本申请的保护范围。

每个分类器对应多个权重过滤器，所述多个权重过滤器中的每个权重过滤器包括多个通道，每个通道表示输入图像的一种特征的矩阵，

其中，每个分类器的多个权重过滤器中的每个权重过滤器构成权重矩阵的一行，以形成所述分类器对应的权重矩阵；或者，

每个分类器的多个权重过滤器中的每个权重过滤器构成权重矩阵的一列，以形成所述分类器对应的权重矩阵。

在本申请的具体实施例中，所述分类器可以是Cout×C×K×K。其中，所述Cout为权重过滤器的数量(与输出特征图的通道数相同)，C为输入特征图的通道数，K×K为一个通道的权重过滤器的大小。将权重过滤器经过im2col转换成权重矩阵Cout×(C×K×K)，其中，Cout为权重矩阵的行数，C×K×K为权重矩阵的列数。当然，一个权重过滤器作为一个权重矩阵的一行输入时，所述Cout为权重矩阵的行数，C×K×K为权重矩阵的列数。当一个权重过滤器作为一个权重矩阵的一列输入时，所述Cout为权重矩阵的列数，C×K×K为权重矩阵的行数。

图4为本申请实施例提供的一种分类器的示意图。如图4所示，分类器包括N个权重过滤器，所示N个权重过滤器中的每个权重过滤器还分别包括3个通道，在本申请的具体实施例中，所示权重过滤器的数量为输出特征图的数量，所示每个权重过滤器中的通道的数量与输入特征图的通道的数量相同。

在一个例子中，将权重过滤器的扩展为权重矩阵可以采用caffe im2col的方法。图5为本申请具体实施例提供的一种采用caffe im2col的扩展方法示意图。通过采用图5所示的方法，可将图4所示出的权重过滤器转换为权重矩阵。其中，每个权重过滤器对应3×3大小的矩阵，每个权重过滤器包括3个通道。于是，将第1权重过滤器对应的3个通道作为权重矩阵第1行或列的值；将第2权重过滤器对应的3个通道作为权重矩阵第2行或列的值；将第N权重过滤器对应的3个通道作为权重矩阵第N行或列的值。需要说明的是，图5所示的是将第1至第N权重过滤器转换为1行；在本申请的实施例中，也可以将第1至第N权重过滤器转换为1列。当然，应理解，图5所示的方法，仅仅是示意性的，在具体的实现中，可能还存在其它的具体实现方式，另外，权重过滤器的大小的不同，其对应的扩展方法一般也不同。

在上述实施例中，分类器包括N个权重过滤、每个权重过滤器包括三个通道、每个通道包括3×3的矩阵仅为本申请具体实施例的一种距离，不能用于对本申请的限定。

在本申请的具体实施例中，权重矩阵中的每个元素都与一个索引图相对应。在一个例子中，权重矩阵中的元素-1与第1索引图相对应；权重矩阵中的元素0与第2索引图相对应；权重矩阵中的元素1与第3索引图相对应。

可选的，为了更加方便的使权重矩阵中包括的元素与索引图相对应，还可以对权重矩阵进行修改，使权重矩阵与索引图能够更加方便的相对应。在一个例子中，将权重矩阵中的每个元素加1，修改后的权重矩阵中包括元素0、1和2，共3种元素。其中，权重矩阵中的元素0与索引图A0相对应，权重矩阵中的元素1与索引图A1相对应，权重矩阵中的元素2与索引图A2相对应。

需要说明的是，对上述权重矩阵中各元素加1仅为本申请具体实施例的举例，而不能用于对本申请的限定。例如，还可以在权重矩阵中各元素加7得到新的权重矩阵，该新的权重矩阵中包括元素6、7和8，其中，元素6与索引图A0相对应，元素7与索引图A1相对应，元素8与索引图A2相对应。在本发明的具体实施例中，所述权重矩阵中各个元素可以加任意值，而不能用于对本发明具体实施例的限定，当然，对一个权重矩阵中各个元素加的值是相同的。

S103，根据D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图。

由于本申请具体实施例以3值卷积神经网络为例，其中，N为1，于是，通过3个第1索引图和权重矩阵确定第2特征图。

根据D值卷积神经网络的权重矩阵和3个第1索引图确定第2特征图是，确定X个元素之和为第N特征图中的第i行第j列的元素。根据权重矩阵和3个第1索引图确定第2特征图的矩阵中的每个元素C(i，j)。在确定第2特征图的矩阵中的每个元素时，通过权重矩阵确定该元素相对应的索引图，再根据该确定的索引图相对位置的值来确定第2特征图的元素C(i，j)的值。

具体的，确定第N+1特征图中的元素C(i，j)，包括确定该权重矩阵中第j列的X个元素在该第N特征图的索引图中对应的X个索引图。确定该X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1。

即，通过如下公式确定第N+1特征图中的元素C(i，j)：

具体的，C[i][j]＝

A[B[0][j]][i][0]+

A[B[1][j]][i][1]+

……

A[B[k-1][j]][i][k-1]

其中，k表示权重矩阵的行数或索引图的列数，B[t][j]用于表示权重矩阵在第t行第j列的元素，对应于所述D个第N索引图之一，A[B[t][j]][i][t]表示根据权重矩阵的元素B[t][j]确定的索引图中的第i行第t列的元素。

在一个通过程序段计算第N+1特征图的例子中：

其中，根据第N特征图为A，确定第N特征图的3个索引图A[0]、A[1]、A[2]。

输入：索引图A[0]、A[1]、A[2]，大小均为m×k；权重矩阵B，大小为k×n，权重矩阵中包括元素-1、0和1。

输出：第N+1特征图C,大小为m×n。

其程序段的实现代码可如下所示：

其中，m×k表示m行、k列；k×n表示k行、n列；m×n表示m行、n列。B[t][j]表示，根据权重矩阵B的第t行第j列来确定相对应的索引图。例如，当权重矩阵B的第t行第j列为0，确定索引图A[1]；当权重矩阵B的第t行第j列为-1，确定索引图A[0]；当权重矩阵B的第t行第j列为1，确定索引图A[2]。

A[B[t][j]][i][t]表示，权重矩阵B[t][j]对应的索引图的第i行第t列的值。由于t可以取小于k的任意正整数，因此，需要确定B[t][j]中t＝0至t＝k-1的每个值对应的索引图的值。

C[i][j]+表示第2特征图C的第i行第j列的和，具体的，对B[t][j]中t＝0至t＝k-1的每个值对应的索引图的值求和确定C[i][j]+。

当然，在上述例子中，若对权重矩阵的值进行修改，例如，将权重矩阵中的每个值加1时，加1后的权重矩阵中包括元素0、1和2。则：

具体的，C[i][j]＝

A[B[0][j]+1][i][0]+

A[B[1][j]+1][i][1]+

……

A[B[k-1][j]+1][i][k-1]

其程序段的实现代码可如下所示：

其中，m×k表示m行、k列；k×n表示k行、n列；m×n表示m行、n列。B[t][j]+1表示，根据权重矩阵B的第t行第j列的值加1来确定相对应的索引图。例如，当权重矩阵B的第t行第j列对应的值为-1，则B[t][j]+1的值为0，确定相对应的索引图A[0]；当权重矩阵B的第t行第j列为0，则B[t][j]+1的值为1，确定相对应的索引图A[1]；当权重矩阵B的第t行第j列为1，则B[t][j]+1的值为2，确定相对应的索引图A[2]。

A[B[t][j]+1][i][t]表示，权重矩阵B[t][j]+1对应的索引图的第i行第t列的值加1。由于t可以取小于k的任意正整数，因此，需要确定B[t][j]+1中t＝0至t＝k-1的每个值对应的索引图的值，对B[t][j]+1中t＝0至t＝k-1的每个值对应的索引图的值求和。

C[i][j]+表示第2特征图C的第i行第j列的和。具体的，是将A[B[t][j]+1][i][t]中的t分别取值时，确定的多个A[i][t]的和。

S104、根据第M+1特征图进行预测。

在本申请的具体实施例中，由于需要预测的信息分为M层，根据第M+1特征图，对结果进行预测。根据第2特征图确定第3特征图时，根据第2特征图确定3个第2索引图。并根据权重矩阵和3个第2索引图确定第3特征图。根据第2特征图确定第3个第2索引图，以及根据权重矩阵和3个第2索引图确定第3特征图的具体方法与上述根据第1特征图确定第2特征图的方法相同。以此类推，根据第N特征图确定第N+1特征图的方法，与上述跟进第1特征图确定第2特征图的方法相同，N取值为1至M。本申请对此不再赘述。

应理解，在本申请的具体实施例中，不同卷积神经网络包括不同的卷积层数。在对预测图像进行计算的过程中，经过卷积层数相同次数的计算，得到最终的特征图，再根据最终得到的特征图进行预测。

例如，卷积神经网络包括M个卷积层数，因此，需要对输入的第一特征图进行M此计算，并根据计算的第M+1特征图进行预测。

在一个例子中，针对一种经过训练的卷积神经网络还包括一个对比特征图，该对比特征图与分类器相对应。当获取第M+1特征图后，将该第M+1特征图与对比特征图进行确定。当该第M+1特征图与对比特征图的差不小于预设预测时，确定该预测图像与卷积神经网络的训练模型为同一类。当该第M+1特征图与对比特征图的差大于预测阈值时，确定该预测图像与卷积神经网络的训练模块为不同类。

图6是本申请的一个实施例的电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

存储器，用于存放程序。具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像预测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

确定预测图像的第1特征图，该第1特征图是用于描述预测图像的矩阵；

从N＝1起至N＝M为止循环执行以下方法：根据第N特征图和D值卷积神经网络确定D个第N索引图，根据D值卷积神经网络的权重矩阵和该D个第N索引图确定第N+1特征图，其中，M为D值卷积神经网络的卷积层数，M大于1，该D值卷积神经网络包括多个分类器，每个分类器对应一种权重矩阵；根据第M+1特征图进行预测；

其中，根据所述D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图包括：

确定所述权重矩阵中第j列的X个元素在所述第N特征图的索引图中对应的X个索引图；分别确定所述X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1；确定所述X个元素之和为第N特征图中的第i行第j列的元素。

上述如本申请图1所示实施例揭示的电子设备执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1所示实施例中图像预测装置执行的方法，本申请实施例在此不再赘述。

图7为本申请具体实施例提供的一种图像预测装置的结构示意图。请参考图7，在一种软件实施方式中，进程维护装置可包括：如图7所示，该电子设备700包括处理单元701和接收单元702。

该处理单元701，用于获取预测图像的第1特征图，该第1特征图是用于描述预测图像的矩阵；

处理单元701，还用于从N＝1起至N＝M为止循环执行以下方法：根据第N特征图和D值卷积神经网络确定D个第N索引图，根据D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图，其中，M为D值卷积神经网络的卷积层数，M大于1，D值卷积神经网络包括多个分类器，每个分类器对应一种权重矩阵；根据第M+1特征图进行预测；

其中，处理单元701根据D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图，具体实现为：处理单元701确定该重矩阵中第j列的X个元素在第N特征图的索引图中对应的X个索引图；分别确定该X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1；确定X个元素之和为第N特征图中的第i行第j列的元素。

可选地，处理单元701根据该D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图，具体可实现为：

通过如下公式确定第N+1特征图中的元素C(i，j)：

其中，所述k表示权重矩阵的行数，B[t][j]用于表示权重矩阵在第t行第j列的元素，A[B[t][j]][i][t]表述根据权重矩阵的元素B[t][j]确定的索引图中的第i行第t列的元素。该C[i][j]用于表示第N特征图中的元素C(i，j)的值，该C(i，j)的值是，A[B[t][j]][i][t]中，t从取0至取k-1的和。

处理单元701根据第N特征图和D值卷积神经网络，确定D个第N索引图包括：

当该D为3时，确定第1索引图、第2索引图和第3索引图，其中，

将第N特征图的每个元素与-1相乘，得到第N索引图中的第1索引图；

将第N特征图的每个元素与0相乘，得到第N索引图中的第2索引图；

将第N特征图的每个元素与1相乘，得到第N索引图中的第3索引图。

处理单元701根据第N特征图和D值卷积神经网络，确定D个第N索引图包括：

当D为2时，确定第1索引图和第2索引图，其中，

将第N特征图的每个元素与-1相乘，得到第N索引图中的第1索引图；

将第N特征图的每个元素与1相乘，得到第N索引图中的第2索引图。

可选地，所述D值卷积神经网络包括用于执行多个分类任务，每个所述分类任务对应一个分类器，每个分类器对应一种权重矩阵，包括：每个分类器对应多个权重过滤器，所述多个权重过滤器中的每个权重过滤器包括多个通道，每个通道表示输入图像的一种特征的矩阵；其中，每个分类器的多个权重过滤器中的每个权重过滤器构成权重矩阵的一行，以形成所述分类器对应的权重矩阵；或者，每个分类器的多个权重过滤器中的每个权重过滤器构成权重矩阵的一列，以形成所述分类器对应的权重矩阵。

接收单元702还可在确定预测图像的第1特征图前，接收预测任务，所述预测任务包括预测图像和任务类型；处理单元701还可根据所述测试任务中包括的任务类型，确定与所述任务类型相匹配的分类器。

在确定预测图像的第1特征图前，所述处理单元701还可获取输入特征图，所述输入特征图为多通道，所述多通道的输入特征图根据预测图像确定；将输入特征图转换为第1特征图。

所述处理单元701将输入特征图转换为第1特征图，具体实现为：

所述处理单元701从多通道的输入特征图中的每个通道的输入特征图中提取第1组数据至第N组数据，将所述多个第X组数据作为第1特征图对应的矩阵的第X行，其中，第1组数据至第N组数据中的每组数据是与权重过滤器行、列相等的数据。

更进一步地，所述处理单元701从多通道的输入特征图中的每个通道的输入特征图中提取第1组数据至第N组数据，具体实现为：

所述处理单元701从输入特征图的第1行第1列提取第1组数据至输入特征图的第A-F+1行第B-G+1列提取第N组数据，所述输入图像为A行B列，所述权重过滤器为F行G列，所述A、B、F和G均为大于1的正整数。

可选地，当所述D值卷积神经网络的输入信息为所述预测图像时，处理单元701还可根据所述预测图像的二值特征、视觉特征或像素点的颜色的值确定所述预测图像的输入特征图。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请的具体实施例中还提出了一种计算机程序产品，该计算机程序产品可用于计算机设备运行。当该计算机程序产品在计算机上运行时，使得计算机执行如图1所述的方法。

本申请的具体实施例中还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像预测方法，其特征在于，所述方法包括：

确定预测图像的第1特征图，所述第1特征图是用于描述预测图像的矩阵；

从N＝1起至N＝M为止循环执行以下方法:根据第N特征图和D值卷积神经网络确定D个第N索引图，根据所述D值卷积神经网络的权重矩阵和所述D个第N索引图确定第N+1特征图，其中，M为所述D值卷积神经网络的卷积层数，M大于1，所述D值卷积神经网络包括多个分类器，每个分类器对应一种权重矩阵，D取值为2或3；

根据第M+1特征图进行预测；

其中，根据所述D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图包括：

确定所述权重矩阵中第j列的X个元素在所述第N特征图的索引图中对应的X个索引图；

分别确定所述X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1；

确定所述X个元素之和为第N特征图中的第i行第j列的元素。

2.根据权利要求1所述的方法，其特征在于，所述根据所述D值卷积神经网络的权重矩阵和所述D个第N索引图确定第N+1特征图包括：

通过如下公式确定第N+1特征图中的元素C(i，j)：

<mrow> <mi>C</mi> <mo>&amp;lsqb;</mo> <mi>i</mi> <mo>&amp;rsqb;</mo> <mo>&amp;lsqb;</mo> <mi>j</mi> <mo>&amp;rsqb;</mo> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>A</mi> <mo>&amp;lsqb;</mo> <mi>B</mi> <mo>&amp;lsqb;</mo> <mi>t</mi> <mo>&amp;rsqb;</mo> <mo>&amp;lsqb;</mo> <mi>j</mi> <mo>&amp;rsqb;</mo> <mo>&amp;rsqb;</mo> <mo>&amp;lsqb;</mo> <mi>i</mi> <mo>&amp;rsqb;</mo> <mo>&amp;lsqb;</mo> <mi>t</mi> <mo>&amp;rsqb;</mo> </mrow>

其中，所述k表示权重矩阵的行数，B[t][j]用于表示权重矩阵在第t行第j列的元素，对应于所述D个第N索引图之一，A[B[t][j]][i][t]表示根据权重矩阵的元素B[t][j]确定的索引图中的第i行第t列的元素。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第N特征图和D值卷积神经网络，确定D个第N索引图，包括：

当所述D为3时，

将所述第N特征图的每个元素与-1相乘，得到所述第N索引图中的第1索引图；

将所述第N特征图的每个元素与0相乘，得到所述第N索引图中的第2索引图；

将所述第N特征图的每个元素与1相乘，得到所述第N索引图中的第3索引图。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第N特征图和D值卷积神经网络，确定D个第N索引图，包括：

当所述D为2时，

将所述第N特征图的每个元素与-1相乘，得到所述第N索引图中的第1索引图；

将所述第N特征图的每个元素与1相乘，得到所述第N索引图中的第2索引图。

5.根据权利要求1所述的方法，其特征在于，

所述D值卷积神经网络包括用于执行多个分类任务，每个所述分类任务对应一个分类器，每个分类器对应一种权重矩阵，包括：

每个分类器对应多个权重过滤器，所述多个权重过滤器中的每个权重过滤器包括多个通道，每个通道表示输入图像的一种特征的矩阵，

其中，每个分类器的多个权重过滤器中的每个权重过滤器构成权重矩阵的一行，以形成所述分类器对应的权重矩阵；或者，

每个分类器的多个权重过滤器中的每个权重过滤器构成权重矩阵的一列，以形成所述分类器对应的权重矩阵。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述确定预测图像的第1特征图前，所述方法还包括：

接收预测任务，所述预测任务包括预测图像和任务类型；

根据所述测试任务中包括的任务类型，确定与所述任务类型相匹配的分类器。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述确定预测图像的第1特征图前，所述方法还包括：

获取输入特征图，所述输入特征图为多通道，所述多通道的输入特征图根据预测图像确定；

将输入特征图转换为第1特征图；

所述将输入特征图转换为第1特征图，包括：

从多通道的输入特征图中的每个通道的输入特征图中提取第1组数据至第N组数据，将所述多个第X组数据作为第1特征图对应的矩阵的第X行，其中，第1组数据至第N组数据中的每组数据是与权重过滤器行、列相等的数据；

所述从多通道的输入特征图中的每个通道的输入特征图中提取第1组数据至第N组数据，包括：

从输入特征图的第1行第1列提取第1组数据至输入特征图的第A-F+1行第B-G+1列提取第N组数据，所述输入图像为A行B列，所述权重过滤器为F行G列，所述A、B、F和G均为大于1的正整数。

8.一种图像预测装置，其特征在于，包括：

处理单元，用于确定预测图像的第1特征图，所述第1特征图是用于描述预测图像的矩阵；

所示处理单元，还用于从N＝1起至N＝M为止循环执行以下方法：根据第N特征图和D值卷积神经网络确定D个第N索引图，根据所述D值卷积神经网络的权重矩阵和所述D个第N索引图确定第N+1特征图，其中，M为D值卷积神经网络的卷积层数，M大于1，所述D值卷积神经网络包括多个分类器，每个分类器对应一种权重矩阵，D为2或3；

处理单元，还用于根据第M+1特征图进行预测；

其中，根据所述D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图包括：

确定所述权重矩阵中第j列的X个元素在所述第N特征图的索引图中对应的X个索引图；

分别确定所述X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1；

确定所述X个元素之和为第N特征图中的第i行第j列的元素。

9.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

确定预测图像的第1特征图，所述第1特征图是用于描述预测图像的矩阵；

从N＝1起至N＝M为止循环执行以下方法：根据第N特征图和D值卷积神经网络确定D个第N索引图，根据所述D值卷积神经网络的权重矩阵和所述D个第N索引图确定第N+1特征图，其中，M为D值卷积神经网络的卷积层数，M大于1，所述D值卷积神经网络包括多个分类器，每个分类器对应一种权重矩阵，D为2或3；

根据第M+1特征图进行预测；

其中，根据所述D值卷积神经网络的权重矩阵和D个第N索引图确定第N+1特征图包括：

确定所述权重矩阵中第j列的X个元素在所述第N特征图的索引图中对应的X个索引图；

分别确定所述X个索引图中第x个索引图的第i行第x列的元素，x取值为0至X-1；

确定所述X个元素之和为第N特征图中的第i行第j列的元素。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1-7任一项所述的方法。