CN109242091B - 图像识别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种图像识别方法，该方法通过对图像进行处理得到待进行卷积乘运算的特征图数据，根据特征图数据生成原始乘法指令，对原始乘法指令进行信息包装后进行乘数信息的提取，根据提取的信息复用一个乘法计算核心进行乘法计算，得到卷积乘结果，根据卷积乘法结果进行特征分类，即可得到图像识别结果，可以支持多种图像数据格式的乘法计算，节省了硬件资源，提高了资源利用率，降低了图像识别过程的成本；本发明还公开了一种图像识别装置、设备及可读存储介质，具有上述有益效果。

Description

图像识别方法、装置、设备及可读存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种图像识别方法、装置、设备及一种可读存储介质。

背景技术

深度神经网络作为一种近年来最受关注的机器学习算法，在图像视频处理等应用场景中取得了突破性的进展，并在众多领域获得了广泛的应用。而卷积神经网络作为应用最广泛的深度神经网络，其利用多层卷积核获取输入的特征。卷积神经网络是由卷积层、激活层、池化层、全连接层构成的具有局部感知和权值共享能力的深层神经网络，其中卷积层占据网络的大部分计算量。

采用卷积神经网络进行图像处理(包括图像分类以及图像识别)时，深度卷积网络的可分为两个阶段，训练阶段和推理阶段，训练阶段利用标记数据训练网络的参数，而推理阶段是使用训练好的模型和参数对数据进行处理。深度学习的模型正在变得越来越复杂，所需要的计算资源也越来越多。越大的模型在训练和推理时都需要消耗更多的计算资源和内存。目前很多深度网络在训练时能够取得较好的结果，但在推理时由于参数和计算量多，不能做到实时处理，制约了深度模型的应用。

低精度的神经网络可以显著加快网络的处理速度，将高精度的神经网络转变为低精度的神经网络的过程，称之为量化。量化，即用更少的数据位宽进行神经网络存储和计算。为了节省存储，并进行更快地访存和计算，需要进行量化处理。出于量化的需要，需要进行多精度乘法的计算。目前常用的数据格式可以分为：浮点(FP)和定点(INT)，其中，常用的浮点包括浮点32位(FP32)，浮点16位(FP16)，浮点11位(FP11)，浮点8位(FP8)等，常用的定点包括定点32位(INT32)，定点16位(INT16)，定点8位(INT8)等。同一个网络模型，经过量化后，可以减少神经网络的存储和计算量。

目前针对各种图像数据格式会使用专用的计算部件进行计算，即采用每种类型精度的数据计算采用专用的计算部件，例如浮点16位的计算部件只做浮点16位数据的计算，定点8位的计算部件只做定点8位的数据计算。采用专用的计算部件，每种类型的数据都需要独立的芯片资源来实现其计算部件，在整个卷积处理过程中可能会出现多种精度的卷积计算，比如进行定点16位计算后，进行定点8位的计算，接着进行浮点11位的计算，则系统中需要同时具备计算各种类型的独立芯片，芯片晶体管资源开支较大。

因此，如何实现计算部件在较少开销下同时支持多种类型图像数据的计算，减少芯片晶体管资源开支，控制整体图像识别成本，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种图像识别方法，该方法通过对图像进行处理得到待进行卷积乘运算的特征图数据，根据特征图数据生成原始乘法指令，对原始乘法指令进行信息包装后进行乘数信息的提取，根据提取的信息复用一个乘法计算核心进行乘法计算，可以支持多种图像数据格式的乘法计算，节省了硬件资源，提高了资源利用率，降低了图像识别过程的成本；本发明的另一目的是提供一种图像识别装置、设备及一种可读存储介质。

为解决上述技术问题，本发明提供一种图像识别方法，包括：

对接收的原始图像进行预处理，得到特征图数据；

根据所述特征图数据以及卷积层计算规则生成原始乘法指令；

对所述原始乘法指令根据预先设定的指令格式进行包装，得到标准乘法指令；

对所述标准乘法指令进行乘数特征信息提取，得到乘数信息；其中，所述乘数信息包括：原始乘数、乘数个数以及乘数格式；

通过乘法核根据所述乘数信息选择对应的计算类型对所述原始乘数进行乘法运算，得到运算结果；

根据所述乘数信息对所述运算结果进行输出处理，得到卷积乘结果；

根据所述卷积乘法结果进行特征分类，得到图像识别结果。

优选地，对所述原始乘法指令根据预先设定的指令格式进行包装包括：

提取所述原始乘法指令中乘法操作信息；其中，所述乘法操作信息包括乘数标志位、乘数个数；

根据所述乘法操作信息对乘数进行去格式化处理，得到原始乘数；

将所述原始乘数以及所述乘法操作信息对应添加至预先设定的指令格式中，得到标准乘法指令。

优选地，所述预先设定的指令格式包括：长度为1位的格式标志位、长度为3位的乘法组数、长度为6位的第一乘数位数、长度为2位的第一乘数个数、长度为6位的第二乘数位数、长度为2位的第二乘数个数、长度为40位的第一乘数数据以及长度为40位的第二乘数数据。

优选地，所述将所述原始乘数以及所述乘法操作信息对应添加至预先设定的指令格式中包括：

当所述乘数的长度小于预设位数时，根据所述乘数的格式选择对应的掩模进行屏蔽处理。

优选地，所述通过乘法核对所述原始乘数进行乘法运算包括：

若当前乘数精度低于精度阈值时，根据所述乘法核的计算能力筛选若干组乘数；其中，所述乘法精度根据所述乘数格式得到；

通过所述乘法核对筛选得到的若干组乘数进行乘法运算。

优选地，通过所述乘法核对筛选得到的若干组乘数进行乘法运算包括：

根据所述乘数信息对所述若干组乘数进行拼接；

对每两个邻接的乘数间补零，得到拼接乘数；

对所述拼接乘数进行乘法运算。

本发明公开一种图像识别装置，其特征在于，包括：

预处理单元，用于对接收的原始图像进行预处理，得到特征图数据；

原始指令生成单元，用于根据所述特征图数据以及卷积层计算规则生成原始乘法指令；

格式包装单元，用于对所述原始乘法指令根据预先设定的指令格式进行包装，得到标准乘法指令；

信息提取单元，用于对所述标准乘法指令进行乘数特征信息提取，得到乘数信息；其中，所述乘数信息包括：原始乘数、乘数个数以及乘数格式；

运算单元，用于通过乘法核根据所述乘数信息选择对应的计算类型对所述原始乘数进行乘法运算，得到运算结果；

输出处理单元，用于根据所述乘数信息对所述运算结果进行输出处理，得到卷积乘结果；

特征分类单元，用于根据所述卷积乘法结果进行特征分类，得到图像识别结果。

优选地，所述格式包装单元包括：

操作信息提取子单元，用于提取所述原始乘法指令中乘法操作信息；其中，所述乘法操作信息包括乘数标志位、乘数个数；

格式处理子单元，用于根据所述乘法操作信息对乘数进行去格式化处理，得到原始乘数；

信息添加子单元，用于将所述原始乘数以及所述乘法操作信息对应添加至预先设定的指令格式中，得到标准乘法指令。

本发明公开一种图像识别设备，包括：

存储器，用于存储程序；

处理器，用于执行所述程序时实现所述图像识别方法的步骤。

本发明公开一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述图像识别方法的步骤。

不同精度的特征图数据(例如16位浮点和32位浮点)所采用的指数位数和小数位数都是不同的，本发明所提供的图像识别方法通过对处理得到的原始乘法指令(即目前输入至卷积核的乘法指令)根据预先设定的指令格式进行包装，得到标准乘法指令，标准乘法指令中包括根据不同格式的乘法指令中提取出来的标准数据信息，包括原始乘数，原始乘数指无格式差异的乘数，采用同一组计算部件为不同精度类型的数据计算提供支持，可以根据乘数信息选择不同的计算类型，可以得到各类型数据的运算结果。本发明通过一种可配置化的图像识别方法，对乘法指令进行定义包装，利用同一个乘法核对原始乘数根据计算类型对应进行计算，支持多种不同位数的定点或者浮点乘法计算，实现计算部件在较少开销下同时支持多种类型的计算，保证了在图像处理深度学习中不同计算精度的需求，减少芯片晶体管资源开支。

本发明还提供了一种图像识别装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的图像识别方法的流程图；

图2为本发明实施例提供的一种图像识别卷积神经网络结构示意图；

图3为本发明实施例提供的一种指令格式示意图；

图4为本发明实施例提供的图像识别装置的结构框图；

图5为本发明实施例提供的图像识别设备的结构示意图。

具体实施方式

本发明的核心是提供一种图像识别方法，该方法通过对图像进行处理得到待进行卷积乘运算的特征图数据，根据特征图数据生成原始乘法指令，对原始乘法指令进行信息包装后进行乘数信息的提取，根据提取的信息复用一个乘法计算核心进行乘法计算，可以支持多种图像数据格式的乘法计算，节省了硬件资源，提高了资源利用率，降低了图像识别过程的成本；本发明的另一核心是提供一种图像识别装置、设备及一种可读存储介质。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明主要涉及图像处理领域，在采用深度学习算法进行图像特征处理时，提供一种图像数据图像识别方法，请参考图1，图1为本实施例提供的图像识别方法的流程图；该方法可以包括：

步骤s110、对接收的原始图像进行预处理，得到特征图数据。

将通过图像采集设备采集的原始图像进行裁剪，采用边缘检测算法，切除边缘冗余部分，保留目标的有效识别区域，并将有效区域的像素值转化为特定大小的矩阵，即为输入特征图，将输入特征图作为下一步卷积神经网络的输入。

步骤s120、根据特征图数据以及卷积层计算规则生成原始乘法指令。

卷积神经网络中包含若干个卷积层、全连接层、非线性层和池化层等，如图2所示为一种图像识别卷积神经网络结构示意图，可见卷积计算过程在整体卷积神经网络中起着十分重要的作用，各层配合实现图像特征提取、特征分类汇总以及数据归一化等，通过卷积神经网络对特征图数据进行特征提取以及分类，得到分类结果，可以实现对原输入图像的精准识别。

卷积层中的计算量最大，其中有大量的乘法运算。卷积层中计算部件对特征图数据的计算过程在很大程度上影响着整体图像识别的性能。然而目前，针对各种数据格式会使用专用的计算部件进行计算，在进行多精度特征图数据计算时需要同时具备计算各种类型的独立芯片，芯片晶体管资源开支较大。

由于不同的结构配置的层的种类可能不同，但卷积层属于卷积神经网络中必要层，本实施例中卷积神经网络中其它层进行数据处理的过程可参照现有技术，在此不再赘述，在此仅对卷积层对特征图数据的计算过程进行介绍。

原始乘法指令的生成过程可参照现有技术，本实施例中可以利用目前生成的乘法指令对其进行相应设置后可以实现同时对多精度数据的卷积支持。

步骤s130、对原始乘法指令根据预先设定的指令格式进行包装，得到标准乘法指令。

本发明支持常见的FP32乘法，FP16乘法，FP8，INT16乘法，INT8乘法，还支持自定义的FP11，FP10等其他位数的浮点乘法，以及其他位数的定点乘法等，同时输入中乘数的数据格式还可不一致，比如为不同位数的浮点数，或者为不同尾数的定点数，在此对输入的数据精度格式不做限定。不同精度的数据，例如16位浮点和32位浮点，其所采用的指数位数和小数位数都是不同的，混合精度相乘需要有一个数据包装的过程，需要提取出来按一定的顺序送入计算部件，计算部件才能执行正确的计算。

数据包装的具体过程不做限定，需要将原始指令中相关信息添加至预先设定的标准格式中。优选地，对接收的乘法指令根据预先设定的指令格式进行包装的过程具体可以包括以下步骤：

步骤一：提取原始乘法指令中乘法操作信息；其中，乘法操作信息包括乘数标志位、乘数个数。

步骤二：根据乘法操作信息对乘数进行去格式化处理，得到原始乘数。

步骤三：将原始乘数以及乘法操作信息对应添加至预先设定的指令格式中，得到标准乘法指令。

原始乘数指无格式差异的乘数，通过对原始乘法指令进行标准信息提取，根据不同的精度需要为不同精度类型的数据的计算提供支持。

预先设定的指令格式可以根据数据处理需要自行配置项目以及顺序排布。优选地，如图3所示为一种指令格式示意图，其长度为100位，主要包括8部分，包括：浮点/定点乘法指示位(1位)，乘法组数(3位)，第一乘数的数据格式(6位)，第一乘数的个数(2位)，第二乘数的数据格式(6位)，第二乘数的个数(2位)，第一乘数数据(40位)和第二乘数数据(40位)。通过上述指令格式进行包装排除计算冗余信息，数据位一般不会溢出，方便对有用信息的提取。

当实际获取的乘数小于预设位数的情况在此不做限定，例如获取的原始第一乘数为一个20位的数据，为避免其他空余位的干扰，也为了尽量减少空余位的内存占用，优选地，可以根据乘数的格式选择对应的掩模进行屏蔽处理，通过为不同精度的数据类型选择不同的掩模屏蔽这些位，避免其对其它数据位的计算产生干扰。

步骤s140、对标准乘法指令进行乘数特征信息提取，得到乘数信息。

标准乘法指令中包含各种与当前计算相关的信息，从中提取计算过程所需要的信息，在此对提取的具体项目不做限定，乘数信息可以包括：原始乘数、乘数个数以及乘数格式，当然，也可以包括其他信息，比如乘数的位数等，可以根据不同的计算需要对指令格式以及对应提取的信息项目进行设定。

提取原始乘数需要将其输入至计算部件中进行卷积乘法；提取乘数个数用于指示卷积乘法的整体流程；提取乘数格式用于在数据输出前对数据进行格式包装。

步骤s150、通过乘法核根据乘数信息选择对应的计算类型对原始乘数进行乘法运算，得到运算结果。

混合精度数据相乘并非将数据转换成统一精度进行计算，而是根据算法需要，在需要不同精度时，采用同一组计算部件为不同精度类型的数据计算提供支持，但是在同一时刻一般只能支持一种数据类型的计算，例如，同一个计算部件可能一个时钟周期只能执行一个32位浮点加，但是可能可以支持2个11位浮点加。

步骤s160、根据乘数信息对运算结果进行输出处理，得到卷积乘结果。输出处理一般包括添加符号位等输出设置，根据提取的乘数特征信息对运算结果进行包装，使其符合一般卷积计算的数据输出方式。

步骤s170、根据卷积乘法结果进行特征分类，得到图像识别结果。

根据卷积输出的特征图数据进行特征分类的方法可参展现有特征分类的方法，在此不再赘述。

为加深对本实施例中对原始乘法指令进行处理得到卷积乘结果过程的理解，在此以实际卷积计算过程为例进行介绍。

例如，一个乘法器支持40bit*40bit的乘法，则最终得到的结果是80bit的数据。假设输入为A*B，输出为C，此时，在A的高16bit位放一个16bit数，表示为A1，低16bit位放一个数，表示为A2，在B的高16bit位放一个16bit数，表示为B1，在B的低16bit放一个数，表示为B2，其他位全置零。此时A＝{A1，000…0，A2}，B＝{B1，000，…0，B2}，采用同一个乘法器对两个数进行同样的乘操作，此时得到的C＝{A1*B1,000,…0,A2*B2}，两者的乘积在最终的结果上不会产生交叉，通过相应的逻辑可以将两个计算结果抽取出来而不会产生相互影响。即可实现同一个部件支持两种数据类型的计算。

上述仅以两种数据类型的计算过程为例，其它类型的混合精度卷积计算过程均可参照上述介绍。

本实施例可以实现在图像识别过程中资源开支的减少。具体地，在此以进行人脸表情识别过程为例对本实施例提供的图像识别过程进行介绍，其它图像识别过程均可参照下面的介绍。

通过图像采集装置(照相机)采集人脸图像，对采集的人脸图像进行预处理，得到特征图数据，将特征图数据输入至表情识别网络中，其中，表情识别网络为根据人脸样本图像以及对应的样本表情结果训练得到的卷积神经网络，特征图数据在表情识别网络中进行卷积乘计算时采用步骤s120至步骤s160的卷积乘方法得到卷积乘的结果，在通过卷积神经网络中其它单元进行数据的处理，得到特征数据，特征数据中包括对人脸中各部分细节特征，比如嘴弯曲的弧度、眉毛的幅度以及皮肤肌肉走向等，将特征数据通过高斯混合聚类方法进行特征的分类划分，计算其属于微笑、平静、伤心、大笑的概率，根据高斯聚类的结果生成最终的识别结果。

基于上述介绍，本实施例提供的图像识别方法通过对处理得到的原始乘法指令(即目前输入至卷积核的乘法指令)根据预先设定的指令格式进行包装，得到标准乘法指令，标准乘法指令中包括根据不同格式的乘法指令中提取出来的标准数据信息，包括原始乘数，原始乘数指无格式差异的乘数，采用同一组计算部件为不同精度类型的数据计算提供支持，可以根据乘数信息选择不同的计算类型，可以得到各类型数据的运算结果。本发明通过一种可配置化的图像识别方法，对乘法指令进行定义包装，利用同一个乘法核对原始乘数根据计算类型对应进行计算，支持多种不同位数的定点或者浮点乘法计算，实现计算部件在较少开销下同时支持多种类型的计算，保证了在图像处理深度学习中不同计算精度的需求，减少芯片晶体管资源开支。

基于上述实施例，在进行乘数信息提取时从输入的标准乘法指令中提取出两个乘数，其中，两个乘数中可以仅包括一组乘数，也可以包括若干组乘数，不做限定。优选地，对于低精度的乘法，即位数较少的乘法，为提高计算效率，保证乘法资源的充分利用，可一次完成多组乘法运算。多组乘法运算可根据指令译码的结果对乘数进行拼接，以生成送往乘法核的输入。

具体地，通过乘法核对原始乘数进行乘法运算过程具体可以为：若当前乘数精度低于精度阈值时，根据乘法核的计算能力筛选若干组乘数；通过乘法核对筛选得到的若干组乘数进行乘法运算。

对当前计算的精度进行判断，乘法的精度可参照现有的精度判别方式，可以根据乘数格式得到。在进行高精度乘法时的情况不做限定，为避免负荷过重，可以只完成一组乘法，例如一组A*B，A，B均为FP32的数据格式。但在低精度乘法时，该乘法部件可以完成多组乘法操作，例如同时完成A*B1，A*B2，其中A为INT8类型的第一乘数，B1和B2为两个INT8类型的第二乘数，采用可配置的指令数据和内部的指令的解析及乘法核的合理复用，针对不同的精度设置不同的计算模式，根据指令中的指示位，选择不同的计算类型，保证乘法资源的充分利用，提高硬件资源的利用效率，降低计算功耗，加快处理速度。

当同时对若干组低精度乘数进行乘法运算时，单个乘数的位数较低，可以将多个乘数拼接起来，为防止计算结果混淆，优选地，可以在每两个邻接的乘数之间补0用以做间隔，得到计算结果后可从乘法核的输出结果中提取出每组乘法对应的结果。

请参考图4，图4为本发明实施例提供的图像识别装置的结构框图；可以包括：预处理单元310、原始指令生成单元320、格式包装单元330、信息提取单元340、运算单元350、输出处理单元360以及特征分类单元370。本实施例提供的图像识别装置可与上述图像识别方法相互对照。

其中，预处理单元310主要用于对接收的原始图像进行预处理，得到特征图数据；

原始指令生成单元320主要用于根据特征图数据以及卷积层计算规则生成原始乘法指令

格式包装单元330主要用于对接收的图像数据乘法指令根据预先设定的指令格式进行包装，得到标准乘法指令；

信息提取单元340主要用于对标准乘法指令进行乘数特征信息提取，得到乘数信息；其中，乘数信息包括：原始乘数、乘数个数以及乘数格式；

运算单元350主要用于通过乘法核根据乘数信息选择对应的计算类型对原始乘数进行乘法运算，得到运算结果；

输出处理单元360主要用于根据乘数信息对运算结果进行输出处理，得到卷积乘结果；

特征分类单元370主要用于根据卷积乘法结果进行特征分类，得到图像识别结果。

其中，优选地，格式包装单元具体可以包括：

指令接收子单元，用于接收原始乘法指令；

操作信息提取子单元，用于提取原始乘法指令中乘法操作信息；其中，乘法操作信息包括乘数标志位、乘数个数；

格式处理子单元，用于根据乘法操作信息对乘数进行去格式化处理，得到原始乘数；

信息添加子单元，用于将原始乘数以及乘法操作信息对应添加至预先设定的指令格式中，得到标准乘法指令。

其中，优选地，信息添加子单元还可以用于：当乘数的长度小于预设位数时，根据乘数的格式选择对应的掩模进行屏蔽处理。

优选地，运算单元具体可以包括：

乘数筛选子单元，用于若当前乘数精度低于精度阈值时，根据乘法核的计算能力筛选若干组乘数；其中，乘法精度根据乘数格式得到；

运算子单元，用于通过乘法核对筛选得到的若干组乘数进行乘法运算。

其中，优选地，运算子单元具体可以包括：

拼接子单元，用于根据乘数信息对若干组乘数进行拼接；

补零子单元，用于对每两个邻接的乘数间补零，得到拼接乘数；

拼接运算子单元，用于对拼接乘数进行乘法运算。

本实施例提供的图像识别装置通过对乘法指令进行信息包装后进行乘数信息的提取，根据提取的信息复用一个乘法计算核心进行乘法计算，可以支持多种数据格式的乘法计算，节省了图像识别过程的硬件资源，提高了资源利用率和系统的可用性。

本实施例提供一种卷积乘法部件的结构框架，该装置主要包括指令译码模块，输出处理模块，乘法核模块和输出处理模块。

其中，指令译码模块可根据输入数据判断本次乘法的多个乘数的数据格式，并从输入的特征图数据中提取出两个乘数。乘法指令输入包括：输入数据的数据格式和输入数据。对于低精度的乘法，即位数较少的乘法，本乘法部件可一次完成多组乘法运算。

输入处理模块可根据指令译码的结果对乘数进行拼接，以生成送往乘法核的输入。

乘法核可以完成两个乘数的乘法运算。

输出处理模块可根据指令译码的结果提取相应的结果，添加符号位等，以完成输出结果的处理。

本实施例提供的卷积乘法部件可以利用一个乘法计算核心支持多种特征图数据格式的乘法计算，节省了硬件资源。还设计了输入预处理和输出处理模块，以对输入数据进行变换，以复用乘法核，并对乘法核的输出进行处理，恢复得到正确的乘法结果。通过参数配置该卷积部件的工作模式，可以支持多种浮点或定点的数据格式的卷积计算。在不同的配置模式下，数据通路会发生变化。通过支持多种精度的乘法运算，可以适用于多种量化模型，提高了资源利用率和整个系统的可用性。

在此仅以上述两种卷积乘法部件结构为例进行介绍，其它基于本发明提供的图像识别装置中的卷积乘法部件均可参照上述介绍，在此不再赘述。

本实施例提供一种图像识别设备，包括：存储器以及处理器。

其中，存储器用于存储程序；

处理器用于执行程序时实现如上述图像识别方法的步骤，具体可参照上述图像识别方法的介绍。

请参考图5，为本实施例提供的图像识别设备的结构示意图，该计算设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在计算设备301上执行存储介质330中的一系列指令操作。

计算设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上面图1所描述的图像识别方法中的步骤可以由图像识别设备的结构实现。

本实施例公开一种可读存储介质，其上存储有程序，程序被处理器执行时实现如婴幼儿辅助护理方法的步骤，具体可参照上述图像识别方法的介绍。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的图像识别方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种图像识别方法，其特征在于，包括：

对接收的原始图像进行预处理，得到特征图数据；

根据所述特征图数据以及卷积层计算规则生成原始乘法指令；

对所述原始乘法指令根据预先设定的指令格式进行包装，得到标准乘法指令；

对所述标准乘法指令进行乘数特征信息提取，得到乘数信息；其中，所述乘数信息包括：原始乘数、乘数个数以及乘数格式；

通过乘法核根据所述乘数信息选择对应的计算类型对所述原始乘数进行乘法运算，得到运算结果；

根据所述乘数信息对所述运算结果进行输出处理，得到卷积乘结果；

根据所述卷积乘结果进行特征分类，得到图像识别结果；

其中，所述对所述原始乘法指令根据预先设定的指令格式进行包装包括：

提取所述原始乘法指令中乘法操作信息；其中，所述乘法操作信息包括乘数标志位、乘数个数；

根据所述乘法操作信息对乘数进行去格式化处理，得到原始乘数；

将所述原始乘数以及所述乘法操作信息对应添加至预先设定的指令格式中，得到标准乘法指令；

其中，所述将所述原始乘数以及所述乘法操作信息对应添加至预先设定的指令格式中包括：

当所述乘数的长度小于预设位数时，根据所述乘数的格式选择对应的掩模进行屏蔽处理；

其中，所述预先设定的指令格式包括浮点/定点乘法指示位，乘法组数，第一乘数的数据格式，第一乘数的个数，第二乘数的数据格式，第二乘数的个数，第一乘数数据和第二乘数数据。

2.如权利要求1所述的图像识别方法，其特征在于，所述预先设定的指令格式包括：长度为1位的格式标志位、长度为3位的乘法组数、长度为6位的第一乘数位数、长度为2位的第一乘数个数、长度为6位的第二乘数位数、长度为2位的第二乘数个数、长度为40位的第一乘数数据以及长度为40位的第二乘数数据。

3.如权利要求1所述的图像识别方法，其特征在于，所述通过乘法核对所述原始乘数进行乘法运算包括：

若当前乘数精度低于精度阈值时，根据所述乘法核的计算能力筛选若干组乘数；其中，所述乘数精度根据所述乘数格式得到；

通过所述乘法核对筛选得到的若干组乘数进行乘法运算。

4.如权利要求3所述的图像识别方法，其特征在于，通过所述乘法核对筛选得到的若干组乘数进行乘法运算包括：

根据所述乘数信息对所述若干组乘数进行拼接；

对每两个邻接的乘数间补零，得到拼接乘数；

对所述拼接乘数进行乘法运算。

5.一种图像识别装置，应用于图像处理卷积神经网络，其特征在于，包括：

预处理单元，用于对接收的原始图像进行预处理，得到特征图数据；

原始指令生成单元，用于根据所述特征图数据以及卷积层计算规则生成原始乘法指令；

格式包装单元，用于对所述原始乘法指令根据预先设定的指令格式进行包装，得到标准乘法指令；

信息提取单元，用于对所述标准乘法指令进行乘数特征信息提取，得到乘数信息；其中，所述乘数信息包括：原始乘数、乘数个数以及乘数格式；

运算单元，用于通过乘法核根据所述乘数信息选择对应的计算类型对所述原始乘数进行乘法运算，得到运算结果；

输出处理单元，用于根据所述乘数信息对所述运算结果进行输出处理，得到卷积乘结果；

特征分类单元，用于根据所述卷积乘结果进行特征分类，得到图像识别结果；

所述格式包装单元包括：

操作信息提取子单元，用于提取所述原始乘法指令中乘法操作信息；其中，所述乘法操作信息包括乘数标志位、乘数个数；

格式处理子单元，用于根据所述乘法操作信息对乘数进行去格式化处理，得到原始乘数；

信息添加子单元，用于将所述原始乘数以及所述乘法操作信息对应添加至预先设定的指令格式中，得到标准乘法指令；

其中，所述信息添加子单元还用于当所述乘数的长度小于预设位数时，根据所述乘数的格式选择对应的掩模进行屏蔽处理；

其中，所述预先设定的指令格式包括浮点/定点乘法指示位，乘法组数，第一乘数的数据格式，第一乘数的个数，第二乘数的数据格式，第二乘数的个数，第一乘数数据和第二乘数数据。

6.一种图像识别设备，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述程序时实现如权利要求1至4任一项所述图像识别方法的步骤。

7.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至4任一项所述图像识别方法的步骤。

Images