CN109934077A - 一种图像识别方法和电子设备 - Google Patents

Abstract

本发明实施例提供了一种图像识别方法和电子设备，该方法应用于电子设备中的协处理器，电子设备中还包括CPU，该方法包括：接收由CPU发送的待识别图像；将待识别图像输入至预先构建的内容识别神经网络，获得内容识别结果；内容识别神经网络：用于识别图像所包含的对象的类别及位置；将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性；将得到的每个对象的类别及属性发送给CPU，以使CPU将接收到的对象的类别及属性，作为待识别图像的图像识别结果。应用本发明实施例，可以借助内容、属性识别神经网络对图像所包含的对象的类别及属性进行准确识别，并降低CPU的计算压力。

Description

一种图像识别方法和电子设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像识别方法和电子设备。

背景技术

目前，常常需要对摄像机监测得到的图像进行识别，以识别该图像中包含的各个对象的类别，以及各个对象的属性。例如，识别一张道路监测图像中包含的一个对象的类别为车，并识别该车的车型、颜色等属性。

其中，由于摄像机会源源不断的采集图像数据，因而需要进行识别的图像的数量是非常巨大的。而在相关技术中，常常通过中央处理器CPU来处理这些大量的图像，以识别这些图像中包含的对象的类别，以及这些对象的属性。

但是，该种通过CPU来对图像进行识别的方式，当需要识别的图像较多时，会给CPU造成较大的计算压力。

发明内容

本发明实施例的目的在于提供一种图像识别方法和电子设备，以准确识别图像所包含对象的类别及属性，并降低CPU的计算压力。

第一方面，本发明实施例提供了一种图像识别方法，该方法应用于电子设备中的协处理器，该电子设备中还包括中央处理器CPU，该方法可以包括：

接收由CPU发送的待识别图像；

将待识别图像输入至预先构建的内容识别神经网络，获得内容识别结果，内容识别结果中包括：待识别图像所包含的对象的类别及位置；其中，内容识别神经网络：用于识别图像所包含的对象的类别及位置；

将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性；其中，属性识别神经网络用于识别对象的属性；

将得到的每个对象的类别及属性发送给CPU，以使CPU将接收到的对象的类别及属性，作为待识别图像的图像识别结果。

可选地，将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性的步骤，可以包括：

基于预设映射关系和待识别图像所包含的每个对象的类别，确定每个对象对应的属性识别神经网络；其中，预设映射关系包括：预设的类别和预先构建的属性识别神经网络之间的对应关系；

将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性。

可选地，将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性的步骤，可以包括：

将待识别图像所包含的对象分为两组，得到第一组对象和第二组对象；

基于第一组对象中每个对象的位置，将第一组对象中每个对象输入至：该对象对应的属性识别神经网络，得到第一组对象中每个对象的属性；

将第二组对象中每个对象的位置发送至CPU，以使CPU基于第二组对象中每个对象的位置，将第二组对象中每个对象输入至：该对象对应的属性识别神经网络，得到第二组对象中每个对象的属性；

将得到的每个对象的类别及属性发送给CPU的步骤，包括：

将第一组对象中每个对象的类别及属性，第二组对象中每个对象的类别发送至CPU，以使CPU将第一组对象中每个对象的类别及属性，和第二组对象中每个对象的类别及属性，作为待识别图像的图像识别结果。

可选地，将待识别图像所包含的对象分为两组，得到第一组对象和第二组对象的步骤，可以包括：

从待识别图像所包含的对象中选择出预设数量个对象，作为第一组对象，剩余对象作为第二组对象；

或者，将待识别图像中第一预设类别的对象，作为第一组对象，将待识别图像中不为第一预设类别的对象，作为第二组对象。

可选地，将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性的步骤，可以包括：

将待识别图像所包含的对象中为第二预设类别的每个第一对象的位置发送至CPU，以使CPU基于每个第一对象的位置，将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第一类属性识别神经网络，得到每个第一对象的第一类属性；

将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第一对象的第二类属性；

将待识别图像所包含的对象中不为第二预设类别的每个第二对象，输入至：该第二对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第二对象的第二类属性；

将得到的每个对象的类别和属性发送给CPU的步骤，包括：

将每个第一对象的第二类属性和类别，及每个第二对象的第二属性和类别发送至CPU，以使CPU将每个第一对象的第一类属性、第二类属性和类别，以及每个第二对象的第二类属性及类别，作为待识别图像的图像识别结果。

可选地，将得到的每个对象的类别及属性发送给CPU，以使CPU将接收到的对象的类别及属性，作为待识别图像的图像识别结果的步骤，可以包括：

将得到的每个对象的位置、类别及属性发送给CPU，以使CPU将接收到的对象的位置、类别及属性，作为待识别图像的图像识别结果。

可选地，内容识别神经网络还用于识别图像所包含的对象的类别对应的置信度；内容识别结果中还包括：图像所包含的对象的类别对应的置信度；

在将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性之前，方法还可以包括：

判断得到的置信度是否大于预设阈值；

若是，将大于预设阈值的置信度对应的对象，作为筛选后的对象；

将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性的步骤，包括：

基于筛选后的每个对象的位置，将筛选后的每个对象发送至预先构建的属性识别神经网络进行属性识别，得到筛选后的每个对象的属性；

将得到的每个对象的类别及属性发送给CPU的步骤，包括：

将得到的筛选后的每个对象的类别及属性发送给CPU。

可选地，协处理器包括图形处理器GPU、数字信号处理器DSP和现场可编程门阵列处理器FPGA中的至少一种。

可选地，将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性的步骤，包括：

将得到的每个位置对应的对象进行缩放处理；

将缩放处理后得到的每个对象输入至预先构建的属性识别神经网络，获得每个对象的属性。

可选地，待识别图像为：CPU对原始图像进行图像格式转换和缩放处理后得到的。

第二方面，本发明实施例还提供了一种电子设备，该电子设备可以包括协处理器和中央处理器CPU；

CPU用于向协处理器发送待识别图像；

协处理器用于接收CPU发送的待识别图像；

协处理器还用于：将待识别图像输入至预先构建的内容识别神经网络，获得内容识别结果，内容识别结果中包括：待识别图像所包含的对象的类别及位置；其中，内容识别神经网络：用于识别图像所包含的对象的类别及位置；

协处理器还用于：将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性；其中，属性识别神经网络用于识别对象的属性；

协处理器还用于：将得到的每个对象的类别及属性发送给CPU；

CPU，还用于接收协处理器发送的每个对象的类别及属性，并将接收到的对象的类别及属性，作为待识别图像的图像识别结果。

可选地，在本发明实施例中，该协处理器具体可以用于：

基于预设映射关系和待识别图像所包含的每个对象的类别，确定每个对象对应的属性识别神经网络；其中，预设映射关系包括：预设的类别和预先构建的属性识别神经网络之间的对应关系；

将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性。

可选地，在本发明实施例中，协处理器具体可以用于：

将待识别图像所包含的对象分为两组，得到第一组对象和第二组对象；

基于第一组对象中每个对象的位置，将第一组对象中每个对象输入至：该对象对应的属性识别神经网络，得到第一组对象中每个对象的属性；

将第二组对象中每个对象的位置发送至CPU，以使CPU基于第二组对象中每个对象的位置，将第二组对象中每个对象输入至：该对象对应的属性识别神经网络，得到第二组对象中每个对象的属性；

协处理器还具体可以用于：将第一组对象中每个对象的类别及属性，第二组对象中每个对象的类别发送至CPU；

CPU具体可以用于：将第一组对象中每个对象的类别及属性，和第二组对象中每个对象的类别及属性，作为待识别图像的图像识别结果。

可选地，在本发明实施例中，该协处理器具体可以用于：

从待识别图像所包含的对象中选择出预设数量个对象，作为第一组对象，剩余对象作为第二组对象；

或者，将待识别图像中第一预设类别的对象，作为第一组对象，将待识别图像中不为第一预设类别的对象，作为第二组对象。

可选地，在本发明实施例中，协处理器具体可以用于：

将待识别图像所包含的对象中为第二预设类别的每个第一对象的位置发送至CPU，以使CPU基于每个第一对象的位置，将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第一类属性识别神经网络，得到每个第一对象的第一类属性；

将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第一对象的第二类属性；

将待识别图像所包含的对象中不为第二预设类别的每个第二对象输入至：该第二对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第二对象的第二类属性；将每个第一对象的第二类属性和类别，及每个第二对象的第二属性和类别发送至CPU；

CPU具体可以用于：将每个第一对象的第一类属性、第二类属性和类别，以及每个第二对象的第二类属性及类别，作为待识别图像的图像识别结果。

可选地，在本发明实施例中，协处理器具体可以用于：将得到的每个对象的位置、类别及属性发送给CPU；

CPU具体可以用于：将接收到的对象的位置、类别及属性，作为待识别图像的图像识别结果。

可选地，内容识别神经网络还用于识别图像所包含的对象的类别对应的置信度；内容识别结果中还包括：图像所包含的对象的类别对应的置信度；

相应地，协处理器还可以用于：在将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性之前，判断得到的置信度是否大于预设阈值；若是，将大于预设阈值的置信度对应的对象，作为筛选后的对象；基于筛选后的每个对象的位置，将筛选后的每个对象发送至预先构建的属性识别神经网络进行属性识别，得到筛选后的每个对象的属性；将得到的筛选后的每个对象的类别及属性发送给CPU。

可选地，协处理器可以包括图形处理器GPU、数字信号处理器DSP和现场可编程门阵列处理器FPGA中的至少一种。

可选地，在本发明实施例中，该协处理器具体可以用于：

将得到的每个位置对应的对象进行缩放处理；

将缩放处理后得到的每个对象输入至预先构建的属性识别神经网络，获得每个对象的属性。

可选地，在本发明实施例中，CPU还可以用于：

对原始图像进行图像格式转换和缩放处理，获得待识别图像。

在本发明实施例中，电子设备中的协处理器可以接收该电子设备中的CPU发送的待识别图像，并可以将该待识别图像输入至预先构建的内容识别神经网络中，从而获得该待识别图像中所包含的对象的类别及位置。然后，该协处理器将得到的每个位置对应的对象输入至预先构建的属性识别神经网络中，从而可以获得每个对象的属性。进而，协处理器可以将得到的每个对象的类别及属性发送给CPU，使得CPU可以将接收得到的对象的类别及属性，作为该待识别图像的图像识别结果。该种方式中，协处理器可以借助内容识别神经网络和属性识别神经网络，对该待识别图像中所包含的对象的类别及属性进行准确识别，并且，分担了CPU对图像进行识别的计算压力，从而降低了CPU的计算压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像识别方法流程图；

图2为本发明实施例提供的一种图像识别方法的示意图；

图3为本发明实施例提供的另一种图像识别方法的示意图；

图4为本发明实施例提供的又一种图像识别方法的示意图；

图5为本发明实施例提供的又一种图像识别方法的示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决现有技术中存在的问题，本发明实施例提供了一种图像识别方法和电子设备。

下面首先对本发明实施例提供的图像识别方法进行说明。

本发明实施例提供的图像识别方法应用于电子设备中的协处理器，该协处理器可以为GPU(Graphics Processing Unit，图形处理器)，也可以为DSP(Digital SignalProcessing，数字信号处理器)，还可以为FPGA(Field－Programmable Gate Array，现场可编程门阵列)。当然，也可以为GPU、DSP和FPGA的任意组合形式，这都是合理的。另外，该电子设备中还包括CPU(Central Processing Unit，中央处理器)。

其中，该电子设备可以为前端设备，例如摄像机等；也可以为后端设备，例如服务器等。具体地，当该电子设备为前端设备时，该协处理器可以选择低功耗的DSP和/或FPGA；当该电子设备为后端设备时，该协处理器可以选择功耗较高但更容易开发的GPU，当然并不局限与此。其中，在本发明实施例中，协处理器能够支撑复杂的浮点计算。

参见图1，本发明实施例提供的图像识别方法包括如下步骤：

S101：接收由CPU发送的待识别图像；

S102：将待识别图像输入至预先构建的内容识别神经网络，获得内容识别结果，内容识别结果中包括：待识别图像所包含的对象的类别及位置；其中，内容识别神经网络：用于识别图像所包含的对象的类别及位置；

S103：将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性；其中，属性识别神经网络用于识别对象的属性；

S104：将得到的每个对象的类别及属性发送给CPU，以使CPU将接收到的对象的类别及属性，作为待识别图像的图像识别结果。

可以理解的是，电子设备中的协处理器可以接收该电子设备中的CPU发送的待识别图像，并可以将该待识别图像输入至预先构建的内容识别神经网络中，从而获得该待识别图像中所包含的对象的类别及位置。然后，该协处理器将得到的每个位置对应的对象输入至预先构建的属性识别神经网络中，从而可以获得每个对象的属性。进而，协处理器可以将得到的每个对象的类别及属性发送给CPU，使得CPU可以将接收得到的对象的类别及属性，作为该待识别图像的图像识别结果。该种方式中，协处理器可以借助内容识别神经网络和属性识别神经网络，对该待识别图像中所包含的对象的类别及属性进行准确识别，并且，分担了CPU对图像进行识别的计算压力，从而降低了CPU的计算压力。

举例而言，待识别图像可以为一张道路监测图像，该道路监测图像中包含一个人和一辆车。那么，协处理器可以识别得到该道路监测图像中包含的一个对象的类别为人，包含的另一个对象的类别为车。并且可以识别得到人的性别属性为女性、衣着颜色属性为蓝色等等，识别得到车的颜色属性为黑色、车型属性为小轿车等等。

该待识别图像可以是CPU通过对原始图像进行预处理后得到的，当然，该待识别图像也可以是CPU接收到的、待识别的原始图像本身，这都是合理的。其中，该预处理对应的操作可以包括：图像格式转换和图像缩放等。这样，通过图像格式转换可以将原始图像转换为内容识别神经网络可识别的图像格式，并通过图像缩放可以将原始图像转换为内容识别神经网络可识别的分辨率，从而使得得到的待识别图像满足内容识别神经网络的图像格式和分辨率要求。当然，该预处理对应的操作还可以包括：对原始图像中的感兴趣区域进行区域提取，得到该感兴趣区域；对原始图像进行去噪处理来提高图像质量等等，这样，可以提高后续对图像进行识别的识别效果。

也就是说，可以由CPU对原始图像进行预处理计算，得到待识别图像。然后，可以由协处理器对待识别图像进行识别，得到该待识别图像所包含的对象的类别及属性。这样，当需要进行识别的图像的数量较大时，CPU在对图像进行预处理之后，即可将预处理得到的待识别图像发送至协处理器进行处理，然后空闲下来的CPU可以开始对下一帧图像进行预处理，使得CPU和协处理器可以实现并行计算，避免了图像需要排队等待CPU进行图像识别所导致的：获得图像识别结果的速度较慢的问题。

其中，该预先构建的内容识别神经网络可以是基于Faster R-CNN(FasterRegion-based Convolutional Network method，更快的基于区域的卷积网络算法)、YOLO(You Only Look Once)算法或SSD(Single Shot MultiBox Detector)算法等人工神经网络算法训练得到的。而且，在训练过程中采用了大量的图像样本，以及每个图像样本中所包含的对象的类别及位置对该内容识别神经网络进行训练。因此，该训练得到的内容识别神经网络可以对图像中包含的对象的类别及位置进行识别。并且，发明人经过大量实验发现，相对于通过传统的SVM(Support Vector Machine，支持向量机)算法对图像中所包含的对象的类别进行识别而言，该基于神经网络训练得到内容识别神经网络能够获得更准确的类别、位置识别结果。

另外，由于现有技术中是利用人为设定的属性特征，来判断图像中所包含的对象的属性的。例如，人为设定红色对应的颜色取值范围，即人为设定红色的颜色特征，当判断对象的颜色位于该红色对应的颜色取值范围内时，则判断该对象的颜色属性为红色。但是，当该红色对应的颜色取值范围设置不准确时，会导致颜色属性的判断结果并不准确。因此可知，该种属性判断方式的准确度受人为因素影响较大，从而导致属性识别效果并不稳定。

而在本发明实施例中，可以基于LeNet、AlexNet或GoogleNet等卷积神经网络算法训练得到属性识别神经网络。并且，由于该属性识别神经网络是通过大量的对象样本，以及每个对象样本的属性训练得到的，因此该训练得到的属性识别神经网络可以不依赖于人的经验设定属性特征来对图像中所包含的对象的属性进行识别。并且随着训练样本的增多，该属性识别神经网络的识别准确度就越高，识别效果越稳定。

当然，在将对象输入至属性识别神经网络进行识别之前，还可以对该对象进行缩放处理，然后将缩放处理后得到的对象输入至该属性识别神经网络进行识别。其中，当对对象进行缩小处理(即进行下采样处理)时，可以降低属性识别神经网络对该对象的数据处理量，从而提高处理速度。当然，也可以对对象进行放大处理，以使放大后的对象的小大与用于训练该属性识别神经网络的对象样本的大小相匹配，从而获得更好的属性识别结果。

下面结合图2对本发明实施例提供的图像识别方法进行详细说明。

参见图2，在本发明实施例中，CPU对原始图像进行预处理后，可以得到待识别图像。之后，该CPU可以将该待识别图像发送给协处理器。协处理器在接收该待识别图像后，可以将该待识别图像输入至预先构建的内容识别神经网络。

当该内容识别神经网络除了可以识别图像所包含的对象的类别和位置之外，还可以计算识别得到的每个对象的类别对应的置信度时，该内容识别神经网络可以输出：该待识别图像中所包含的对象1、对象2、对象3，……，对象N的类别、这N个对象在该待识别图像中的位置，以及这N个对象中每个对象的类别对应的置信度。其中，置信度是指识别得到的类别的可信度。

这样，协处理器可以根据置信度对各个对象进行过滤，具体的过滤方式可以为：判断对象的类别对应的置信度是否大于预设阈值，若大于预设阈值，表明识别得到的、该对象的类别的可信度较高，此时可以继续将该对象输入至预先构建的属性识别神经网络来识别该对象的属性；若小于该预设阈值，表明识别得到的、该对象的类别的可信度不高，此时不将该对象输入至该属性识别神经网络进行后续属性识别。该种方式中，协处理器可以不继续对识别得到的、可信度不高的类别对应的对象的属性进行识别，也就是，可以删除一些不可信的对象，从而可以提高图像识别结果的准确性，并且可以降低协处理器对对象的属性进行识别的识别压力。

需要说明的是，图2中所示的属性识别神经网络可以是同一个属性识别神经网络，该属性识别神经网络用于对同一种属性特征(例如颜色特征)进行识别。也可以是多个不同的属性识别神经网络，且每个属性识别神经网络用于对一种类别的对象的属性进行识别。例如图2中对象1的类别为车时，对象1对应的属性识别神经网络可以是用于：识别车的颜色特征的属性识别神经网络。对象2的类别为人时，对象2对应的属性识别神经网络可以是用于：识别人的性别特征的属性识别神经网络。

当然，该对象1和对象2对应的属性识别网络也可以是多个，例如，对象1对应的属性识别神经网络可以是：识别车的颜色特征的属性识别神经网络，以及，识别车的车型特征的属性识别神经网络，当然并不局限于此。

这样，可以针对不同类别的对象设置不同的属性识别网络，同时设置每种对象可以对应有多个属性识别网络，使得可以对对象的多个属性进行识别，从而可以获得更丰富的属性信息。

其中，确定对象1对应的属性识别神经网络的方式为：在确定得到对象1的类别为车后，基于预设关系中记录的：类别车与识别车的颜色特征的属性识别神经网络，以及，识别车的车型特征的属性识别神经网络的对应关系，确定得到该对象1对应的属性识别神经网络。其中，本领域技术人员可以根据实际需求来设置该属性识别神经网络，在此不做一一举例说明。

当然，也可以结合图3所示的示意图，对本发明实施例提供的图像识别方法进行说明。

参见图3，假设摄像机源源不断地向该电子设备中的CPU发送需要识别的图像帧。并且，CPU在对接收到的第N-1帧图像进行预处理后，可得到第N-1帧图像对应的待识别图像。之后，该CPU将该待识别图像传输至协处理器，该协处理器对该第N-1帧图像对应的待识别图像进行识别，识别得到该待识别图像所包含的对象的位置、类别及属性，并将该识别得到的对象的位置、类别及属性返回给CPU，以使该CPU将接收到的对象的位置、类别及属性作为该待识别图像的图像识别结果。

在将该待识别图像传输至协处理器后，该CPU可以继续对接收到的第N帧图像进行预处理，并将得到的第N帧图像对应的待识别图像发送至协处理器，以使协处理器对该第N帧图像对应的待识别图像进行识别。按照该种方式，CPU和协处理器可以对图像进行异步协同处理，提高了电子设备对图像的识别速度。

另外，当协处理器需要对较多对象的属性进行识别时，可以采用如图4所示的图像识别方式来提高图像识别的速度。

参见图4，假设协处理器接收到CPU发送的、第N-1帧图像对应的待识别图像。此时，该协处理器可以将该第N-1帧图像对应的待识别图像，输入至预先构建的内容识别神经网络中，识别得到该待识别图像所包含的对象的类别和位置。并假设协处理器在识别得到该待识别图像所包含的对象的类别和位置之后，还需要对识别得到的对象中较多对象的属性进行识别。此时，可以将该待识别图像所包含的对象分为两组，得到第一组对象和第二组对象。然后，协处理器可以对计算量较多的第一组对象的属性进行识别，具体地，协处理器可以将该第一组对象中每个对象输入至：该对象对应的属性识别神经网络，得到该第一组对象中每个对象的属性。

并且，协处理器可以将计算量较少的第二组对象的属性识别任务，迁移至CPU进行计算。具体地，协处理器将第二组对象中每个对象的位置发送至CPU，以使CPU基于第二组对象中每个对象的位置，将第二组对象中每个对象输入至：该对象对应的属性识别神经网络，得到第二组对象中每个对象的属性。

这样，可以充分发挥CPU和协处理器各自的计算能力，具备较高的属性识别速度。并且，使得当协处理器的属性识别压力较大时，可以将一部分属性识别任务发送给CPU来进行处理，避免了协处理器计算压力较大而CPU出现等待的情况发生。

然后，协处理器可以将计算得到的第一组对象中每个对象的类别及属性，以及第二组对象中每个对象的类别发送至CPU，使得CPU将第一组对象中每个对象的类别及属性，和第二组对象中每个对象的类别及属性进行汇总，得到该待识别图像的图像识别结果。

其中，将该待识别图像所包含的对象分为两组的分组方式可以为：从该待识别图像所包含的对象中选择出预设数量个对象，作为第一组对象，剩余对象作为第二组对象；或者，将该待识别图像所包含的对象中为第一预设类别(例如类别车)的对象，作为第一组对象，将该待识别图像所包含的对象中不为该第一预设类别的对象，作为第二组对象，这都是合理的。

此外，当协处理器需要对一个对象的多种属性进行识别时，还可以采用如图5所示的图像识别方式来提高图像识别的速度。

参见图5，假设协处理器在识别得到第N-1帧图像对应的该待识别图像所包含的对象的类别和位置之后，还需要对识别得到的、类别为第二预设类别的对象的多种属性进行识别。

例如第二预设类别为车，那么，在识别得到对象为车，以及车的位置之后，还需要对类别为车的对象的颜色、车型等多种属性进行识别。但是，对不为第二预设类别(例如类别为人)的对象，仅需对颜色属性进行识别。那么，可以将车型属性作为第一类属性，将颜色属性作为第二类属性。

在属性识别过程中，可以将类别为车的每个对象(即类别为第二预设类别的对象)作为一个第一对象，并且，可以将识别得到的、类别为第二预设类别的每个第一对象的位置发送至CPU，以使CPU基于每个第一对象的位置，将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第一类属性识别神经网络(即用于识别车的车型的属性识别神经网络)，得到每个第一对象的第一类属性。这样，使得当协处理器的属性识别压力较大时，可以将一部分属性识别任务发送给CPU来进行处理，避免了协处理器计算压力较大而CPU出现等待的情况发生，提高了图像识别速度。

而对于协处理器而言，协处理器还可以将类别为第二预设类别的每个第一对象输入至：该第一对象对应的属性识别神经网络中的第二类属性识别神经网络(即用于识别车的颜色的属性识别神经网络)，得到每个第一对象的第二类属性。同时，协处理器也可以将类别不为车的每个对象(即类别不为第二预设类别的对象)作为一个第二对象，并且，将类别不为第二预设类别的第二对象(例如类别为人的对象)输入至：该第二对象对应的属性识别神经网络中的第二类属性识别神经网络(即用于识别人的头发的颜色的属性识别神经网络)，得到每个第二对象的第二类属性。

然后，协处理器可以将识别得到的、每个第一对象的第二类属性和类别，以及每个第二对象的第二属性和类别发送至CPU，以使CPU将每个第一对象的第一类属性、第二类属性和类别，以及每个第二对象的第二类属性及类别进行汇总，从而得到待识别图像的图像识别结果。

例如，可以根据实际需求来训练该第一类属性识别神经网络和第二类属性识别神经网络。示例性地，该第一类属性识别神经网络中可以包括第一数量个属性识别神经网络，该第一数量个属性识别神经网络中的每个属性识别神经网络用于识别同一类别对象的不同属性。该第二类属性识别神经网络中可以包括第二数量个属性识别神经网络，该第二数量个属性识别神经网络中的每个属性识别神经网络用于识别同一类别对象的不同属性。且该第一类属性识别神经网络所识别的属性与该第二类属性识别神经网络所识别的属性并不相同。

另外，第二预设类别也可以根据实际情况进行设定，在此不做限定。

综上，应用本发明实施例，可以对图像所包含的对象的位置、类别及属性进行识别，并可以降低CPU的计算压力，并可以提高图像识别效果和图像识别速度。

相应于上述方法实施例，本发明实施例还提供了一种电子设备，如图6所示，该电子设备600包括协处理器601和中央处理器CPU602；

CPU602，用于向协处理器601发送待识别图像；

协处理器601，用于接收CPU602发送的待识别图像；

协处理器601，还用于将待识别图像输入至预先构建的内容识别神经网络，获得内容识别结果，内容识别结果中包括：待识别图像所包含的对象的类别及位置；其中，内容识别神经网络：用于识别图像所包含的对象的类别及位置；

协处理器601，还用于将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性；其中，属性识别神经网络用于识别对象的属性；

协处理器601，还用于将得到的每个对象的类别及属性发送给CPU602；

CPU602，还用于接收协处理器601发送的每个对象的类别及属性，并将接收到的对象的类别及属性，作为待识别图像的图像识别结果。

在本发明实施例中，电子设备中的协处理器可以接收该电子设备中的CPU发送的待识别图像，并可以将该待识别图像输入至预先构建的内容识别神经网络中，从而获得该待识别图像中所包含的对象的类别及位置。然后，该协处理器将得到的每个位置对应的对象输入至预先构建的属性识别神经网络中，从而可以获得每个对象的属性。进而，协处理器可以将得到的每个对象的类别及属性发送给CPU，使得CPU可以将接收得到的对象的类别及属性，作为该待识别图像的图像识别结果。该种方式中，协处理器可以借助内容识别神经网络和属性识别神经网络，对该待识别图像中所包含的对象的类别及属性进行准确识别，并且，分担了CPU对图像进行识别的计算压力，从而降低了CPU的计算压力。

可选地，协处理器601具体可以用于：

基于预设映射关系和待识别图像所包含的每个对象的类别，确定每个对象对应的属性识别神经网络；其中，预设映射关系包括：预设的类别和预先构建的属性识别神经网络之间的对应关系；

将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性。

相应地，协处理器601具体用于：

将待识别图像所包含的对象分为两组，得到第一组对象和第二组对象；

基于第一组对象中每个对象的位置，将第一组对象中每个对象输入至：该对象对应的属性识别神经网络，得到第一组对象中每个对象的属性；

将第二组对象中每个对象的位置发送至CPU，以使CPU基于第二组对象中每个对象的位置，将第二组对象中每个对象输入至：该对象对应的属性识别神经网络，得到第二组对象中每个对象的属性；

相应地，CPU602具体可以用于：将第一组对象中每个对象的类别及属性，和第二组对象中每个对象的类别及属性，作为待识别图像的图像识别结果。

可选地，协处理器601具体用于：

从待识别图像所包含的对象中选择出预设数量个对象，作为第一组对象，剩余对象作为第二组对象；

或者，将待识别图像中第一预设类别的对象，作为第一组对象，将待识别图像中不为第一预设类别的对象，作为第二组对象。

可选地，协处理器601具体用于：

将待识别图像所包含的对象中为第二预设类别的每个第一对象的位置发送至CPU，以使CPU基于每个第一对象的位置，将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第一类属性识别神经网络，得到每个第一对象的第一类属性；

将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第一对象的第二类属性；

将待识别图像所包含的对象中不为第二预设类别的每个第二对象，输入至：该第二对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第二对象的第二类属性；

将每个第一对象的第二类属性和类别，及每个第二对象的第二属性和类别发送至CPU；

CPU602具体用于：将每个第一对象的第一类属性、第二类属性和类别，以及每个第二对象的第二类属性及类别，作为待识别图像的图像识别结果。

可选地，协处理器601具体用于：

将得到的每个对象的位置、类别及属性发送给CPU；

CPU602具体用于：将接收到的对象的位置、类别及属性，作为待识别图像的图像识别结果。

可选地，内容识别神经网络还用于识别图像所包含的对象的类别对应的置信度；内容识别结果中还包括：图像所包含的对象的类别对应的置信度；

协处理器601还可以用于：在将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性之前，判断得到的置信度是否大于预设阈值；若是，将大于预设阈值的置信度对应的对象，作为筛选后的对象；基于筛选后的每个对象的位置，将筛选后的每个对象发送至预先构建的属性识别神经网络进行属性识别，得到筛选后的每个对象的属性；将得到的筛选后的每个对象的类别及属性发送给CPU。

可选地，协处理器601包括图形处理器GPU、数字信号处理器DSP和现场可编程门阵列处理器FPGA中的至少一种。

可选地，在本发明实施例中，协处理器601具体可以用于：

将得到的每个位置对应的对象进行缩放处理；

将缩放处理后得到的每个对象输入至预先构建的属性识别神经网络，获得每个对象的属性。

可选地，在本发明实施例中，CPU602还可以用于：

对原始图像进行图像格式转换和缩放处理，获得待识别图像。

相应于上述方法实施例，本发明实施例还提供了一种可读存储介质，该可读存储介质为包括协处理器和中央处理器CPU的电子设备中的存储介质，该可读存储介质内存储有计算机程序，计算机程序被协处理器执行时实现上述任一项的图像识别方法的方法步骤。

应用本发明实施例，可以对图像所包含的对象的类别及属性进行准确识别，并可以降低CPU的计算压力，提高了图像识别效果和图像识别速度。

相应于上述方法实施例，本发明实施例还提供了一种应用程序，用于在运行时执行：上述任一项图像识别方法的方法步骤。

应用本发明实施例，可以对图像所包含的对象的类别及属性进行准确识别，并可以降低CPU的计算压力，提高了图像识别效果和图像识别速度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于电子设备实施例和可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (20)

1.一种图像识别方法，其特征在于，应用于电子设备中的协处理器，所述电子设备中还包括中央处理器CPU，所述方法包括：

接收由所述CPU发送的待识别图像；

将所述待识别图像输入至预先构建的内容识别神经网络，获得内容识别结果，所述内容识别结果中包括：所述待识别图像所包含的对象的类别及位置；其中，所述内容识别神经网络：用于识别图像所包含的对象的类别及位置；

将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性；其中，所述属性识别神经网络用于识别对象的属性；

将得到的每个对象的类别及属性发送给所述CPU，以使所述CPU将接收到的对象的类别及属性，作为所述待识别图像的图像识别结果。

2.根据权利要求1所述的方法，其特征在于，所述将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性的步骤，包括：

基于预设映射关系和所述待识别图像所包含的每个对象的类别，确定所述每个对象对应的属性识别神经网络；其中，所述预设映射关系包括：预设的类别和预先构建的属性识别神经网络之间的对应关系；

将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性。

3.根据权利要求2所述的方法，其特征在于，所述将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性的步骤，包括：

将所述待识别图像所包含的对象分为两组，得到第一组对象和第二组对象；

基于所述第一组对象中每个对象的位置，将所述第一组对象中每个对象输入至：该对象对应的属性识别神经网络，得到所述第一组对象中每个对象的属性；

将所述第二组对象中每个对象的位置发送至所述CPU，以使所述CPU基于所述第二组对象中每个对象的位置，将所述第二组对象中每个对象输入至：该对象对应的属性识别神经网络，得到所述第二组对象中每个对象的属性；

所述将得到的每个对象的类别及属性发送给所述CPU的步骤，包括：

将所述第一组对象中每个对象的类别及属性，所述第二组对象中每个对象的类别发送至所述CPU，以使所述CPU将所述第一组对象中每个对象的类别及属性，和所述第二组对象中每个对象的类别及属性，作为所述待识别图像的图像识别结果。

4.根据权利要求3所述的方法，其特征在于，所述将所述待识别图像所包含的对象分为两组，得到第一组对象和第二组对象的步骤，包括：

从所述待识别图像所包含的对象中选择出预设数量个对象，作为第一组对象，剩余对象作为第二组对象；

或者，

将所述待识别图像中第一预设类别的对象，作为第一组对象，将所述待识别图像中不为所述第一预设类别的对象，作为第二组对象。

5.根据权利要求2所述的方法，其特征在于，所述将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性的步骤，包括：

将所述待识别图像所包含的对象中为第二预设类别的每个第一对象的位置发送至所述CPU，以使所述CPU基于每个第一对象的位置，将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第一类属性识别神经网络，得到每个第一对象的第一类属性；

将所述每个第一对象输入至：该第一对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第一对象的第二类属性；

将所述待识别图像所包含的对象中不为所述第二预设类别的每个第二对象，输入至：该第二对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第二对象的第二类属性；

所述将得到的每个对象的类别和属性发送给所述CPU的步骤，包括：

将每个第一对象的第二类属性和类别，及每个第二对象的第二属性和类别发送至所述CPU，以使所述CPU将每个第一对象的第一类属性、第二类属性和类别，以及每个第二对象的第二类属性及类别，作为所述待识别图像的图像识别结果。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述将得到的每个对象的类别及属性发送给所述CPU，以使所述CPU将接收到的对象的类别及属性，作为所述待识别图像的图像识别结果的步骤，包括：

将得到的每个对象的位置、类别及属性发送给所述CPU，以使所述CPU将接收到的对象的位置、类别及属性，作为所述待识别图像的图像识别结果。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述内容识别神经网络还用于识别图像所包含的对象的类别对应的置信度；所述内容识别结果中还包括：所述图像所包含的对象的类别对应的置信度；

在所述将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性之前，所述方法还包括：

判断得到的置信度是否大于预设阈值；

若是，将大于所述预设阈值的置信度对应的对象，作为筛选后的对象；

所述将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性的步骤，包括：

基于筛选后的每个对象的位置，将筛选后的每个对象发送至预先构建的属性识别神经网络进行属性识别，得到筛选后的每个对象的属性；

所述将得到的每个对象的类别及属性发送给所述CPU的步骤，包括：

将得到的筛选后的每个对象的类别及属性发送给所述CPU。

8.根据权利要求1所述的方法，其特征在于，所述协处理器包括图形处理器GPU、数字信号处理器DSP和现场可编程门阵列处理器FPGA中的至少一种。

9.根据权利要求1所述的方法，其特征在于，所述将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性的步骤，包括：

将得到的每个位置对应的对象进行缩放处理；

将缩放处理后得到的每个对象输入至预先构建的属性识别神经网络，获得每个对象的属性。

10.根据权利要求1所述的方法，其特征在于，所述待识别图像为：所述CPU对原始图像进行图像格式转换和缩放处理后得到的。

11.一种电子设备，其特征在于，所述电子设备包括协处理器和中央处理器CPU；

所述CPU，用于向所述协处理器发送待识别图像；

所述协处理器，用于接收所述CPU发送的待识别图像；

所述协处理器，还用于将所述待识别图像输入至预先构建的内容识别神经网络，获得内容识别结果，所述内容识别结果中包括：所述待识别图像所包含的对象的类别及位置；其中，所述内容识别神经网络：用于识别图像所包含的对象的类别及位置；

所述协处理器，还用于将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性；其中，所述属性识别神经网络用于识别对象的属性；

所述协处理器，还用于将得到的每个对象的类别及属性发送给所述CPU；

所述CPU，还用于接收所述协处理器发送的每个对象的类别及属性，并将接收到的对象的类别及属性，作为所述待识别图像的图像识别结果。

12.根据权利要求11所述的电子设备，其特征在于，所述协处理器具体用于：

基于预设映射关系和所述待识别图像所包含的每个对象的类别，确定所述每个对象对应的属性识别神经网络；其中，所述预设映射关系包括：预设的类别和预先构建的属性识别神经网络之间的对应关系；

将得到的每个位置对应的对象输入至：该对象对应的属性识别神经网络，得到每个对象的属性。

13.根据权利要求12所述的电子设备，其特征在于，所述协处理器具体用于

将所述待识别图像所包含的对象分为两组，得到第一组对象和第二组对象；

基于所述第一组对象中每个对象的位置，将所述第一组对象中每个对象输入至：该对象对应的属性识别神经网络，得到所述第一组对象中每个对象的属性；

将所述第二组对象中每个对象的位置发送至所述CPU，以使所述CPU基于所述第二组对象中每个对象的位置，将所述第二组对象中每个对象输入至：该对象对应的属性识别神经网络，得到所述第二组对象中每个对象的属性；

所述协处理器还具体用于：将所述第一组对象中每个对象的类别及属性，所述第二组对象中每个对象的类别发送至所述CPU；

所述CPU具体用于：将所述第一组对象中每个对象的类别及属性，和所述第二组对象中每个对象的类别及属性，作为所述待识别图像的图像识别结果。

14.根据权利要求13所述的电子设备，其特征在于，所述协处理器具体用于：

从所述待识别图像所包含的对象中选择出预设数量个对象，作为第一组对象，剩余对象作为第二组对象；

或者，将所述待识别图像中第一预设类别的对象，作为第一组对象，将所述待识别图像中不为所述第一预设类别的对象，作为第二组对象。

15.根据权利要求12所述的电子设备，其特征在于，所述协处理器具体用于：

将所述待识别图像所包含的对象中为第二预设类别的每个第一对象的位置发送至所述CPU，以使所述CPU基于每个第一对象的位置，将每个第一对象输入至：该第一对象对应的属性识别神经网络中的第一类属性识别神经网络，得到每个第一对象的第一类属性；

将所述每个第一对象输入至：该第一对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第一对象的第二类属性；

将所述待识别图像所包含的对象中不为所述第二预设类别的每个第二对象输入至：该第二对象对应的属性识别神经网络中的第二类属性识别神经网络，得到每个第二对象的第二类属性；将每个第一对象的第二类属性和类别，及每个第二对象的第二属性和类别发送至所述CPU；

所述CPU具体用于：将每个第一对象的第一类属性、第二类属性和类别，以及每个第二对象的第二类属性及类别，作为所述待识别图像的图像识别结果。

16.根据权利要求11-15中任一项所述的电子设备，其特征在于，所述协处理器具体用于：将得到的每个对象的位置、类别及属性发送给所述CPU；

所述CPU具体用于：将接收到的对象的位置、类别及属性，作为所述待识别图像的图像识别结果。

17.根据权利要求11-15中任一项所述的电子设备，其特征在于，所述内容识别神经网络还用于识别图像所包含的对象的类别对应的置信度；所述内容识别结果中还包括：所述图像所包含的对象的类别对应的置信度；

所述协处理器还用于：在将得到的每个位置对应的对象输入至预先构建的属性识别神经网络，获得每个对象的属性之前，判断得到的置信度是否大于预设阈值；若是，将大于所述预设阈值的置信度对应的对象，作为筛选后的对象；基于筛选后的每个对象的位置，将筛选后的每个对象发送至预先构建的属性识别神经网络进行属性识别，得到筛选后的每个对象的属性；将得到的筛选后的每个对象的类别及属性发送给所述CPU。

18.根据权利要求11所述的电子设备，其特征在于，所述协处理器包括图形处理器GPU、数字信号处理器DSP和现场可编程门阵列处理器FPGA中的至少一种。

19.根据权利要求11所述的电子设备，其特征在于，所述协处理器具体用于：

将得到的每个位置对应的对象进行缩放处理；

将缩放处理后得到的每个对象输入至预先构建的属性识别神经网络，获得每个对象的属性。

20.根据权利要求11所述的电子设备，其特征在于，所述CPU还用于：

对原始图像进行图像格式转换和缩放处理，获得待识别图像。