CN111612855A - 物体颜色识别方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种物体颜色识别方法、装置及电子设备，涉及图像处理的技术领域，包括：获取待识别图像，其中，待识别图像中包含待识别对象；通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到待识别图像的颜色识别结果；颜色识别结果用于表征待识别对象中至少一个识别部件的颜色识别结果。本发明实施例通过目标特征融合卷积神经网络对待识别图像进行颜色识别的方式，能够缓解现有的利用人工的方式对产品的外观进行检测，该方式浪费了大量的人力，且难以适应高速的生产系统的技术问题。

Description

物体颜色识别方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种物体颜色识别方法、装置及电子设备。

背景技术

生产企业一般会生产几种不同型号的产品，不同型号产品的外观具有不同的设计。由于产品由各种零部件构成，因此对产品的外观进行设计，相当于对各种零部件的颜色进行设计。在产品的生产制造的过程中难免会发生零部件与其设计的颜色不匹配的情况。为了提高产品的外观质量，生产企业在产品生产过程中利用人工的方式对产品的外观进行检测，该方式浪费了大量的人力，且难以适应高速的生产系统。

发明内容

本发明的目的在于提供一种物体颜色识别方法、装置及电子设备，以缓解了现有技术中存在的生产企业在产品生产过程中利用人工的方式对产品的外观进行检测，该方式浪费了大量的人力，且难以适应高速的生产系统的技术问题。

第一方面，本发明实施例提供了一种物体颜色识别方法，其中，包括：获取待识别图像，其中，所述待识别图像中包含待识别对象；通过目标特征融合卷积神经网络对所述待识别图像进行颜色识别，得到所述待识别图像的颜色识别结果；其中，所述颜色识别结果用于表征所述待识别对象中至少一个识别部件的颜色识别结果；其中，所述目标特征融合卷积神经网络包括：至少一个卷积池化模块、特征融合模块和至少一个全连接模块，所述至少一个卷积池化模块输出的特征信息输入至所述特征融合模块，所述特征融合模块用于将所述至少一个卷积池化模块输出的特征信息进行特征融合处理，所述至少一个全连接模块用于对特征融合处理的结果进行处理。

进一步地，通过目标特征融合卷积神经网络对所述待识别图像进行颜色识别，得到所述待识别图像的颜色识别结果包括：通过所述目标特征融合卷积神经网络对所述待识别图像进行颜色识别，得到每个识别部件的预测值，其中，所述预测值用于表征识别部件的颜色为每个预设颜色的概率值；根据每个识别部件的预测值确定所述待识别图像的颜色识别结果。

进一步地，根据每个识别部件的预测值确定所述待识别图像的颜色识别结果包括：将每个识别部件的预测值中最大概率值所对应的预设颜色确定为所述识别部件所属的颜色。

进一步地，每个卷积池化模块包括：至少一个卷积层和至少一个池化层，所述特征融合模块与部分或者全部卷积池化模块中的至少一个池化层相连接。

进一步地，所述卷积池化模块的数量为多个；且多个卷积池化模块依次连接；所述特征融合模块包含：特征处理模块和特征连接模块；通过目标特征融合卷积神经网络对所述待识别图像进行颜色识别包括：依次通过对个所述卷积池化模块对所述待识别图像进行卷积池化处理，得到多个所述卷积池化模块分别输出的多个图像特征；通过所述特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理，得到多个第二图像特征；通过所述特征连接模块对所述多个第二图像特征进行特征连接，得到第三图像特征；通过所述至少一个全连接模块对所述第三图像特征进行全连接处理，得到所述待识别图像的颜色识别结果。

进一步地，所述特征处理模块包括：目标卷积层和全局平均池化层；通过所述特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理包括：通过所述目标卷积层对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征处理，得到中间图像特征；通过所述全局平均池化层对所述中间图像特征进行全局平均池化处理，得到所述第二图像特征。

进一步地，所述目标卷积层的卷积核为1×1卷积核。

进一步地，所述至少一个卷积池化模块中的前N个卷积池化模块和所述至少一个卷积池化模块中的最后一个卷积池化模块输出的图像特征输入至特征处理模块中进行处理，N小于所述至少一个卷积池化模块的数量。

进一步地，所述方法还包括：通过所述待识别图像的颜色识别结果确定所述待识别对象的质量信息，其中，所述质量信息包括：合格产品或者不合格产品。

进一步地，通过所述待识别图像的颜色识别结果确定所述待识别对象的质量信息包括：将所述待识别图像的颜色识别结果和所述待识别对象的标准颜色信息进行比对；若比对结果为相同，则确定所述待识别对象的质量信息为合格产品；若比对结果为不相同，则确定所述待识别对象的质量信息为不合格产品。

进一步地，所述方法还包括：获取原始训练图像，其中，所述原始训练图像中包括待识别对象；将所述原始训练图像输入到初始特征融合卷积神经网络，得到所述原始训练图像的颜色识别结果；基于所述原始训练图像的颜色识别结果计算所述初始特征融合卷积神经网络的目标损失函数的函数值；通过所述目标损失函数的函数值对所述初始特征融合卷积神经网络的参数进行调整，得到所述目标特征融合卷积神经网络。

进一步地，所述至少一个识别部件的数量为多个；基于所述原始训练图像的颜色识别结果计算所述初始特征融合卷积神经网络的目标损失函数的函数值包括：基于所述原始训练图像的颜色识别结果中每个识别部件的颜色识别结果和目标向量计算交叉熵损失函数的函数值，得到多个函数值；其中，所述目标向量用于表征每个识别部件在预设颜色中的实际颜色信息；将所述多个函数值进行求和计算，得到所述目标损失函数的函数值。

第二方面，本发明实施例提供了一种物体颜色识别装置，其中，包括：获取单元，用于获取待识别图像，其中，所述待识别图像中包含待识别对象；颜色识别单元，用于通过目标特征融合卷积神经网络对所述待识别图像进行颜色识别，得到所述待识别图像的颜色识别结果；其中，所述颜色识别结果用于表征所述待识别对象中至少一个识别部件的颜色识别结果；其中，所述目标特征融合卷积神经网络包括：至少一个卷积池化模块、特征融合模块和至少一个全连接模块，所述至少一个卷积池化模块输出的特征信息输入至特征融合模块，所述特征融合模块用于将所述至少一个卷积池化模块输出的特征信息进行特征融合处理，所述至少一个全连接模块用于对特征融合处理的结果进行处理。

第三方面，本发明还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现的所述的目标跟踪方法的步骤。

第四方面，本发明还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，其中，所述程序代码使所述处理器执行所述的目标跟踪方法。

在本发明实施例中，先获取待识别图像，其中，待识别图像中包含待识别对象，然后通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到待识别图像的颜色识别结果；其中，颜色识别结果用于表征待识别对象中至少一个识别部件的颜色识别结果。其中，目标特征融合卷积神经网络包括：至少一个卷积池化模块、特征融合模块和至少一个全连接模块，至少一个卷积池化模块输出的特征信息输入至特征融合模块，特征融合模块用于将至少一个卷积池化模块输出的特征信息进行特征融合处理，至少一个全连接模块用于对特征融合处理的结果进行处理。在本发明实施例中，通过目标特征融合卷积神经网络对待识别图像进行颜色识别的方式，能够缓解现有的利用人工的方式对产品的外观进行检测，该方式浪费了大量的人力，且难以适应高速的生产系统的技术问题，从而达到了对物体颜色的快速识别，提高颜色识别效率，可以适应高速的生产系统的技术效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的一种电子设备的示意图；

图2是根据本发明实施例的一种物体颜色识别方法的流程图；

图3是根据本发明实施例提供的目标特征融合卷积神经网络的示意图；

图4是根据本发明实施例的一种物体颜色识别方法中步骤S204的流程图；

图5是根据本发明实施例的一种物体颜色识别方法中步骤S403的流程图；

图6是根据本发明实施例提供的训练初始特征融合卷积神经网络的流程图；

图7是根据本发明实施例提供的不同型号的断路器的示意图；

图8是根据本发明实施例的一种物体颜色识别方法对断路器进行颜色识别的示意图；

图9是根据本发明实施例提供的对每个识别部件分别进行softmax函数计算的示意图；

图10是根据本发明实施例的一种物体颜色识别装置的示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的物体颜色识别方法。

如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理设备102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的物体颜色识别方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

实施例2：

根据本发明实施例，提供了一种物体颜色识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种物体颜色识别方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取待识别图像，其中，待识别图像中包含待识别对象。

在本发明实施例中，待识别图像可以为利用上述实施例1中的图像采集装置实时获取到的图像，也可以从图像库中获取，因此本申请对待识别图像的获取方式不做具体限定。其中，待识别图像中的待识别对象可以指任意物体(或称为产品)，例如，该待识别对象可以为断路器。

步骤S204，通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到待识别图像的颜色识别结果；其中，颜色识别结果用于表征待识别对象中至少一个识别部件的颜色识别结果。

其中，目标特征融合卷积神经网络包括：至少一个卷积池化模块、特征融合模块和至少一个全连接模块，至少一个卷积池化模块输出的特征信息输入至特征融合模块，特征融合模块用于将至少一个卷积池化模块输出的特征信息进行特征融合处理，至少一个全连接模块用于对特征融合处理的结果进行处理。

在本发明实施例中，在通过目标特征融合卷积神经网络对待识别图像进行颜色识别之前，可以对待识别图像进行裁剪，得到预设规格的待识别图像。在得到预设规格的待识别图像之后，通过目标特征融合卷积神经网络对预设规格的待识别图像进行颜色识别，得到待识别图像的颜色识别结果。

上述待识别对象包含至少一个识别部件，若存在多个识别部件，则对每个识别部件的部件类型不作具体限制，也即多个识别部件的部件类型可以相同，也可以不同。例如，假设待识别对象为断路器，那么断路器的识别部件可以为连接件和按键。

需要说明的是，在本申请中，对待识别图像进行颜色识别，本质上是对待识别图像中所包含的待识别对象的至少一个识别部件进行颜色识别，目的是得到每个识别部件的颜色识别结果。由于颜色属于浅层的特征信息，不包含深层的语义信息，因此本发明实施例采用的目标特征融合卷积神经网络可以是一个比较浅层的卷积神经网络，该目标特征融合卷积神经网络中的至少一个卷积池化模块基于待识别图像输出浅层的特征信息，该目标特征融合卷积神经网络中的特征融合模块将浅层的特征信息进行特征融合处理，以获取不同层次的特征信息。

需要说明的是，在本申请中，如果卷积池化模块为多个，那么特征融合模块可以与全部卷积池化模块中的至少一个池化层相连接，或者，可以与部分卷积池化模块中的至少一个池化层相连接。例如，如图3所示，卷积池化模块共设有4个，且每个卷积池化模块为3个卷积层和1个池化层，在每个卷积池化模块中从左到右，第一个卷积层、第二个卷积层、第三个卷积层和池化层依次连接。特征融合模块与第一个卷积池化模块的池化层、第四个卷积池化模块的池化层相连接，与第二卷积池化模块、第三卷积池化模块的池化层不相连接。

在本发明实施例中，通过目标特征融合卷积神经网络对待识别图像进行颜色识别的方式，能够缓解现有的利用人工的方式对产品的外观进行检测，该方式浪费了大量的人力，且难以适应高速的生产系统的技术问题，从而达到了对物体颜色的快速识别，提高颜色识别效率，可以适应高速的生产系统的技术效果。

下面结合具体的实施例介绍上述物体颜色识别方法。

通过上述描述可知，在本发明实施例中，首先获取包含待识别对象的待识别图像，然后通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到待识别图像的颜色识别结果。

在一个可选的实施例中，上述步骤S204，通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到待识别图像的颜色识别结果包括以下步骤：

步骤1：通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到每个识别部件的预测值，其中，预测值用于表征识别部件的颜色为每个预设颜色的概率值；

步骤2：根据每个识别部件的预测值确定待识别图像的颜色识别结果，具体地，可以将每个识别部件的预测值中最大概率值所对应的预设颜色确定为识别部件所属的颜色。

在本发明实施例中，待识别图像中包含待识别对象，待识别对象至少包含一个识别部件。为了准确识别出识别部件的颜色，本发明实施例对识别部件的颜色为每个预设颜色的概率值进行预测。若预设颜色的个数为N个，则概率值的个数也为N个，本发明实施例对N的取值不作具体限定。不同识别部件对应的预设颜色的个数可以相同，也可以不同。将N个预测值中的最大概率值所对应的预设颜色作为识别部件的颜色，进而确定待识别图像的颜色识别结果。

例如，待识别图像中的待识别对象有3个识别部件，每个识别部件的预设颜色均设有红色、橙色、黄色三种颜色，即N为3，其中，识别部件1的标准颜色为橙色，识别部件1的预测值为(z₁₁，z₁₂，z₁₃)，概率值为(p₁₁，p₁₂，p₁₃)；若p₁₂为p₁₁、p₁₂、p₁₃中的最大概率值，则将p₁₂对应的橙色作为识别部件1的颜色识别结果。识别部件2的标准颜色为红色，识别部件2的预测值为(z₂₁，z₂₂，z₂₃)，概率值为(p₂₁，p₂₂，p₂₃)；若p₂₁为p₂₁、p₂₂、p₂₃中的最大概率值，则将p₂₁对应的红色作为识别部件2的颜色识别结果。识别部件3的标准颜色为黄色，识别部件3的预测值为(z₃₁，z₃₂，z₃₃)，概率值为(p₃₁，p₃₂，p₃₃)。若p₃₃为p₃₁、p₃₂、p₃₃中的最大概率值，则将p₃₃对应的黄色作为识别部件3的颜色识别结果。在确定各个识别部件的颜色识别结果之后，可以确定待识别图像的颜色识别结果：[橙色，红色，黄色]。

在本发明实施例中，在得到每个识别部件的预测值之后，就可以基于softmax函数对该识别部件的预测值进行计算处理，以确定该识别部件的概率值，其中，softmax函数的公式为

其中，i为识别部件的标号，z_ij为识别部件i的颜色为第j个预设颜色的预测值，N为预设颜色的总个数。

在本申请的一个可选实施方式中，每个卷积池化模块包括：至少一个卷积层和至少一个池化层，特征融合模块与部分或者全部卷积池化模块中的至少一个池化层相连接。

需要说明的是，在本申请中，卷积池化模块中的每个卷积层的卷积核可以选择为3×3卷积核。

在一个可选的实施例中，卷积池化模块的数量为多个；且多个卷积池化模块依次连接；特征融合模块包含：特征处理模块和特征连接模块；如图4所示，上述步骤S204，通过目标特征融合卷积神经网络对待识别图像进行颜色识别包括：

步骤S401，依次通过多个卷积池化模块对待识别图像进行卷积池化处理，得到多个所述卷积池化模块分别输出的多个图像特征。

步骤S402，通过特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理，得到多个第二图像特征。

步骤S403，通过特征连接模块对多个第二图像特征进行特征连接，得到第三图像特征。

步骤S404，通过至少一个全连接模块对第三图像特征进行全连接处理，得到待识别图像的颜色识别结果。

在本发明实施例中，通过上述多个卷积池化模块对待识别图像进行卷积池化处理的方式可以提取到待识别对象中识别部件的颜色特征，即图像特征，且可以增加图像特征所在特征图的通道数，以使图像特征所在特征图的通道数大于待识别图像所在特征图的通道数；通过特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理的方式可以得到多个第二图像特征；通过特征连接模块对多个第二图像特征进行特征连接的方式可以连接不同层次的第二图像特征。

在一个可选的实施例中，所述特征处理模块包括：目标卷积层和全局平均池化层；如图5所示，上述步骤S402，通过特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理包括以下步骤：

步骤S501，通过目标卷积层对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征处理，得到中间图像特征；步骤S502，通过全局平均池化层对中间图像特征进行全局平均池化处理，得到第二图像特征。

在一个可选的实施例中，目标卷积层的卷积核为1×1卷积核。

在本发明实施例中，特征融合模块将卷积池化模块输出的图像特征进行1×1的卷积，再进行全局平均池化，得到的第三图像特征空间大小为1。

在一个可选的实施例中，至少一个卷积池化模块中的前N个卷积池化模块和至少一个卷积池化模块中的最后一个卷积池化模块输出的图像特征输入至特征处理模块中进行处理，N小于至少一个卷积池化模块的数量。

在一个可选的实施例中，在步骤S204之后，方法还包括：通过待识别图像的颜色识别结果确定待识别对象的质量信息，其中，质量信息包括：合格产品或者不合格产品。

在一个可选的实施例中，通过待识别图像的颜色识别结果确定待识别对象的质量信息包括：将待识别图像的颜色识别结果和待识别对象的标准颜色信息进行比对；若比对结果为相同，则确定待识别对象的质量信息为合格产品；若比对结果为不相同，则确定待识别对象的质量信息为不合格产品。

在本发明实施例中，待识别图像的颜色识别结果包括待识别对象中所有识别部件的颜色识别结果；待识别对象的标准颜色信息包括所有识别部件的标准颜色信息；将每个识别部件的颜色识别结果均与其对应的标准颜色信息进行比对，在所有识别部件的颜色识别结果与其对应的标准颜色信息都相同的情况下，确定待识别对象的质量信息为合格产品，否则为不合格产品。

在一个可选的实施例中，如图6所示，方法还包括：

步骤S601，获取原始训练图像，其中，原始训练图像中包括待识别对象；

步骤S602，将原始训练图像输入到初始特征融合卷积神经网络，得到原始训练图像的颜色识别结果；

步骤S603，基于原始训练图像的颜色识别结果计算初始特征融合卷积神经网络的目标损失函数的函数值；

步骤S604，通过目标损失函数的函数值对初始特征融合卷积神经网络的参数进行调整，得到目标特征融合卷积神经网络。

在本发明实施例中，通过包含待识别对象的原始训练图像和待识别对象的标准颜色信息对初始特征融合卷积神经网络进行训练的方式，结合通过目标损失函数的函数值对初始特征融合卷积神经网络的参数进行调整的方式，可以得到用于物体颜色识别的目标特征融合卷积神经网络。

在一个可选的实施例中，至少一个识别部件的数量为多个；上述步骤S603，基于原始训练图像的颜色识别结果计算初始特征融合卷积神经网络的目标损失函数的函数值包括：

基于原始训练图像的颜色识别结果中每个识别部件的颜色识别结果和目标向量计算交叉熵损失函数的函数值，得到多个函数值；其中，所述目标向量用于表征每个识别部件在预设颜色中的实际颜色信息；

将多个函数值进行求和计算，得到目标损失函数的函数值。

在一个可选的实施例中，目标损失函数的公式如下所示：

其中，L为所述目标损失函数的函数值，M为所述识别部件的总个数，N为预设颜色的总个数，y_il为目标向量中识别部件i所对应的第l个向量值，用于表示第l个向量值所对应的预设颜色是否为识别部件的颜色，p_il为识别部件i为第l个预设颜色的预测值。

例如，原始训练图像中的待识别对象有3个识别部件，记为M＝3，每个识别部件i的预设颜色均设有红色、橙色、黄色三种颜色，每个识别部件i基于标准颜色可以确定其目标向量(y_i1，y_i2，y_i3)，其中，识别部件1的标准颜色为橙色，识别部件1的目标向量为(y₁₁，y₁₂，y₁₃)，对应的具体数值为(0,1,0)，识别部件1的颜色识别结果为(p₁₁，p₁₂，p₁₃)；利用交叉熵损失函数

可以计算出函数值loss₁。识别部件2的标准颜色为红色，识别部件2的目标向量为(y₂₁，y₂₂，y₂₃)，对应的具体数值为(1,0,0)，识别部件2的颜色识别结果为(p₂₁，p₂₂，p₂₃)；利用交叉熵损失函数

可以计算出函数值loss₂。识别部件3的标准颜色为黄色，识别部件3的目标向量为(y₃₁，y₃₂，y₃₃)，对应的具体数值为(0,0,1)，识别部件3的颜色识别结果为(p₃₁，p₃₂，p₃₃)；利用交叉熵损失函数

可以计算出函数值loss₃。将函数值loss₁、loss₂和loss₃求和计算，得到目标损失函数的函数值L。

在本发明实施例中，目标损失函数的函数值用于表征初始特征融合卷积神经网络对原始训练图像的颜色识别结果的识别效果。具体的，目标损失函数的函数值越小，意味着初始特征融合卷积神经网络对原始训练图像的颜色识别结果的识别效果越好。

本发明实施例先利用包含待识别对象的原始训练图像对初始特征融合卷积神经网络进行训练，得到满足预设要求的目标特征融合卷积神经网络；然后利用上述训练好的目标特征融合卷积神经网络对待识别图像进行颜色识别，得到待识别图像的颜色识别结果，可以实现对物体颜色的快速识别，提高了颜色识别效率，可以适应高速的生产系统。

实施例3：

在前述实施例的基础上，本实施例提供了一种应用前述物体颜色识别方法对断路器进行颜色识别的示例。

断路器是一种开关装置，能够合上或断开回路，广泛应用于工业生产和日常生活中。不同型号的断路器具有不同的极数，按极数的不同可以分成单极(如图7中的(a))、二极(如图7中的(b))、三极和四极(如图7中的(c))。如图7所示，多极断路器与单极断路器相比，增加了一个连接件。一般生产企业都会生产几种不同型号的断路器，不同型号的断路器在外观上主要表现为手柄颜色(例如：橘色、灰色或黑色)的不同和字体的不同(如图7所示)。由于在断路器的生产制造过程中难免会发生按键颜色与连接件颜色不匹配的情况，例如：图7中的(c)的连接件应为灰色而非黑色，或发生多极断路器中按键颜色不一致的情况。所以生产企业在产品生产过程中专门安排人员对断路器的外观质量进行检测，但该方式浪费了大量的人力，也难以适应高速的生产系统。

为了解决断路器上按键和连接件的颜色识别问题，本发明实施例采用深度学习技术将包含断路器的待识别图像输入至目标特征融合卷积神经网络，该目标特征融合卷积神经网络输出待识别图像的颜色识别结果，输出的待识别图像的颜色识别结果用于表征按键的颜色识别结果和连接件的颜色识别结果，通过目标特征融合卷积神经网络预测的按键的颜色识别结果与按键的标准颜色信息进行比对，且通过目标特征融合卷积神经网络预测的连接件的颜色识别结果与连接件的标准颜色信息进行比对，进而判断断路器的外观质量。目标特征融合卷积神经网络是一种神经网络结构，并结合了特征融合方法，可以更好的提升颜色识别的精度。

具体的，本发明实施例包括数据收集、网络(初始特征融合卷积神经网络)结构设计与训练推理三阶段。

首先对第一阶段的数据收集进行展开描述：由于不同极数的断路器需要预测的颜色数目不同，因此一种网络结构只针对一种类型的断路器进行识别。在此，为说明方便，以识别四极断路器颜色为例。首先准备标记为良品的四极断路器和标记为次品的四极断路器各50件，然后用手机或者工业相机拍摄上述100件四极断路器的正面照片，每件四极断路器在开、关不同状态下各拍摄10次，共拍摄1000张正面图片。需要注意的是，拍摄时可以移动不同位置、旋转不同角度或者置换不同背景以保证数据的多样性。在1000张正面图片采集完成后，需要对每张正面图片标注标准颜色，一共需要标注正面图片中四极断路器的5个位置(4个按键和一个连接件)的标准颜色。为保证初始特征融合卷积神经网络训练的一致性，可以对连接件、按键进行顺序标注，例如，设定第一个位置标记的是连接件的标准颜色，其余四个位置标记的是正面图片中4个按键从左到右的标准颜色。例如，图7中的(c)四极断路器的标准颜色为[黑、灰、灰、灰、灰]。

然后对第二阶段的网络结构设计进行展开描述：由于颜色特征相对来说是很浅层的特征，不包含高层的语义信息，因此本发明实施例采用的初始特征融合卷积神经网络是一个比较浅层的卷积神经网络，如图8所示，包含多个卷积层、多个池化层和两个全连接模块。从上述1000张正面图片中选取输入图片，将输入图片缩放成224×224的规格，然后利用初始特征融合卷积神经网络对输入图片进行卷积和池化，得到输出的特征图，之后不断地对特征图进行卷积和池化，可以不断地减小特征图的大小，并增加特征图的通道数。如图8所示，最左侧的图片为输入图片，输入图片的右侧从左到右依次是特征图1、特征图2、特征图3、特征图4和特征图5。每个特征图上的数值表示该特征图的通道数。另外，每两个相邻不同大小的特征图通过多个3×3的卷积层和一个3×3的池化层连接，特征图1的大小是输入图片大小的1/2，特征图2的大小是输入图片大小的1/4，依次类推，特征图5的大小是输入图片大小的1/32。需要注意的是，该初始特征融合卷积神经网络还增加了特征融合模块，特征融合模块对浅层的4个不同大小的特征图分别进行1×1卷积和全局平均池化(GlobalAverage Pooling，GAP)，得到4个空间大小都为1的特征，然后将上述4个特征进行连接，可以获得不同层次的特征信息。最后通过两个全连接模块获得该初始特征融合卷积神经网络的输出结果。以识别四极断路器的颜色为例，一共需要识别五个位置的颜色，每个位置都可能是3种颜色(橘色、灰色、黑色)之一，所以初始特征融合卷积神经网络需要输出15个预测值。由于在数据收集阶段，已经设定第一个位置标记的是连接件的标准颜色，其余四个位置标记的是正面图片中4个按键从左到右的标准颜色，因此初始特征融合卷积神经网络预测的前3个数值为四极断路器中连接件的预测值，其他数值分别对应从左到右每个按键的预测值。

最后对第三阶段的训练推理进行展开描述：由于该初始特征融合卷积神经网络与一般的图像分类模型相似，因此在训练方式上与训练图像分类模型的方式大体相同，即采用梯度下降法进行迭代训练，并在训练收敛之后用于推理。该初始特征融合卷积神经网络与一般的图像分类模型最主要的区别是在损失函数的设计上，具体如下：如图9所示，初始特征融合卷积神经网络输出15个预测值，若上述15个预测值为[z₁₁，z₁₂，z₁₃，z₂₁，z₂₂。。。z₅₂，z₅₃]，将每三个预测值分为一组，对每组分别进行softmax函数计算，softmax函数的计算公式为：

得到5组概率值。其中，(p₁₁，p₁₂，p₁₃)表示四极断路器中连接件的颜色为预设颜色(橘色、灰色和黑色)的概率值，后面4组预测值(p₂₁，p₂₂，p₂₃)、(p₃₁，p₃₂，p₃₃)、(p₄₁，p₄₂，p₄₃)、(p₅₁，p₅₂，p₅₃)分别是四个按键的颜色为预设颜色的概率值。

在计算初始特征融合卷积神经网络的损失之前，将输入图片的标签转换成one-hot向量。具体来说，预设颜色的顺序为橘色、灰色和黑色，四级断路器中连接件的标准颜色为黑色，因此断路器中连接件对应的向量为[0,0,1]，每个按键的标准颜色为灰色，因此每个按键的向量均为[0,1,0]。将5个向量进行合并，可以确定图7中的(c)四极断路器的one-hot向量为y＝[0,0,1,0,1,0,0,1,0,0,1,0,0,1,0]，其中前3个数值对应连接件的颜色编码，后12个数值对应4个按键的颜色编码。然后基于每组得到的3个概率值利用公式

计算交叉熵损失函数的函数值，其中，p_il为连接件或断路器为第l个预设颜色的预测值，将5个交叉熵损失函数的函数值加起来即为输入图片的总损失。在初始特征融合卷积神经网络训练完成之后，得到目标特征融合卷积神经网络，利用目标特征融合卷积神经网络即可完成对其他四极断路器的颜色判别。为了测试目标特征融合卷积神经网络的识别效果，首先重新拍摄一张四极断路器的正面图片，输入目标特征融合卷积神经网络得到15个预测值，每3个为一组，共5组。每组预测值中的最大概率值的索引即为目标特征融合卷积神经网络预测的颜色值，例如，若最大值是第1个则判定为橘色，若最大值为第2个则判为灰色，否则为黑色。最后比较目标特征融合卷积神经网络预测的5个颜色与四极断路器的5个颜色是否相同，如果5个颜色都相同则判定该四极断路器为良品，否则为次品。

本实施例利用目标特征融合卷积神经网络提取图像特征，可以对四极断路器连接件颜色和不同位置的按键颜色都可以实现有效的识别，另外，加入的特征融合模块，充分的抓取了浅层特征，可以提高颜色识别精度。

实施例4：

本发明实施例还提供了一种物体颜色识别装置，该物体颜色识别装置主要用于执行本发明实施例上述内容所提供的物体颜色识别方法，以下对本发明实施例提供的物体颜色识别装置做具体介绍。

图10是根据本发明实施例的一种物体颜色识别装置的示意图，如图10所示，该物体颜色识别装置主要包括获取单元10，颜色识别单元20，其中：

获取单元10，用于获取待识别图像，其中，待识别图像中包含待识别对象；

颜色识别单元20，用于通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到待识别图像的颜色识别结果；其中，颜色识别结果用于表征待识别对象中至少一个识别部件的颜色识别结果；

其中，目标特征融合卷积神经网络包括：至少一个卷积池化模块、特征融合模块和至少一个全连接模块，至少一个卷积池化模块输出的特征信息输入至特征融合模块，特征融合模块用于将至少一个卷积池化模块输出的特征信息进行特征融合处理，至少一个全连接模块用于对特征融合处理的结果进行处理。

在本发明实施例中，获取单元先获取待识别图像，其中，待识别图像中包含待识别对象，然后颜色识别单元通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到待识别图像的颜色识别结果；其中，颜色识别结果用于表征待识别对象中至少一个识别部件的颜色识别结果。其中，目标特征融合卷积神经网络包括：至少一个卷积池化模块、特征融合模块和至少一个全连接模块，至少一个卷积池化模块输出的特征信息输入至特征融合模块，特征融合模块用于将至少一个卷积池化模块输出的特征信息进行特征融合处理，至少一个全连接模块用于对特征融合处理的结果进行处理。在本发明实施例中，通过目标特征融合卷积神经网络对待识别图像进行颜色识别的方式，能够缓解现有的利用人工的方式对产品的外观进行检测，该方式浪费了大量的人力，且难以适应高速的生产系统的技术问题，从而达到了对物体颜色的快速识别，提高颜色识别效率，可以适应高速的生产系统的技术效果。

可选地，颜色识别单元20用于：通过目标特征融合卷积神经网络对待识别图像进行颜色识别，得到每个识别部件的预测值，其中，预测值用于表征识别部件的颜色为每个预设颜色的概率值；根据每个识别部件的预测值确定待识别图像的颜色识别结果。

可选地，颜色识别单元20用于：将每个识别部件的预测值中最大概率值所对应的预设颜色确定为识别部件所属的颜色。

可选地，每个卷积池化模块包括：至少一个卷积层和至少一个池化层，特征融合模块与部分或者全部卷积池化模块中的至少一个池化层相连接。

可选地，卷积池化模块的数量为多个；且多个卷积池化模块依次连接；特征融合模块包含：特征处理模块和特征连接模块；颜色识别单元20用于：依次通过多个卷积池化模块对待识别图像进行卷积池化处理，得到多个卷积池化模块分别输出的多个图像特征；通过特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理，得到多个第二图像特征；通过特征连接模块对多个第二图像特征进行特征连接，得到第三图像特征；通过至少一个全连接模块对第三图像特征进行全连接处理，得到待识别图像的颜色识别结果。

可选地，特征处理模块包括：目标卷积层和全局平均池化层；通过特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理包括：通过目标卷积层对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征处理，得到中间图像特征；通过全局平均池化层对中间图像特征进行全局平均池化处理，得到第二图像特征。

可选地，目标卷积层的卷积核为1×1卷积核。

可选地，至少一个卷积池化模块中的前N个卷积池化模块和所述至少一个卷积池化模块中的最后一个卷积池化模块输出的图像特征输入至特征处理模块中进行处理，N小于至少一个卷积池化模块的数量。

可选地，物体颜色识别装置还用于：通过待识别图像的颜色识别结果确定待识别对象的质量信息，其中，质量信息包括：合格产品或者不合格产品。

可选地，物体颜色识别装置还用于：将待识别图像的颜色识别结果和待识别对象的标准颜色信息进行比对；若比对结果为相同，则确定待识别对象的质量信息为合格产品；若比对结果为不相同，则确定待识别对象的质量信息为不合格产品。

可选地，物体颜色识别装置还用于：获取原始训练图像，其中，原始训练图像中包括待识别对象；将原始训练图像输入到初始特征融合卷积神经网络，得到原始训练图像的颜色识别结果；基于原始训练图像的颜色识别结果计算初始特征融合卷积神经网络的目标损失函数的函数值；通过目标损失函数的函数值对初始特征融合卷积神经网络的参数进行调整，得到目标特征融合卷积神经网络。

可选地，至少一个识别部件的数量为多个；物体颜色识别装置还用于：基于原始训练图像的颜色识别结果中每个识别部件的颜色识别结果和目标向量计算交叉熵损失函数的函数值，得到多个函数值；其中，目标向量用于表征每个识别部件所属的实际颜色信息；将多个函数值进行求和计算，得到目标损失函数的函数值。

可选地，目标损失函数的公式如下：

其中，L为所述目标损失函数的函数值，M为所述识别部件的总个数，N为预设颜色的总个数，y_il为目标向量中识别部件i所对应的第l个向量值，用于表示第l个向量值所对应的预设颜色是否为识别部件的颜色，p_il为识别部件i为第l个预设颜色的预测值。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

进一步地，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的物体颜色识别方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本实施例所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (15)

1.一种物体颜色识别方法，其特征在于，包括：

获取待识别图像，其中，所述待识别图像中包含待识别对象；

通过目标特征融合卷积神经网络对所述待识别图像进行颜色识别，得到所述待识别图像的颜色识别结果；其中，所述颜色识别结果用于表征所述待识别对象中至少一个识别部件的颜色识别结果；

其中，所述目标特征融合卷积神经网络包括：至少一个卷积池化模块、特征融合模块和至少一个全连接模块，所述至少一个卷积池化模块输出的特征信息输入至所述特征融合模块，所述特征融合模块用于将所述至少一个卷积池化模块输出的特征信息进行特征融合处理，所述至少一个全连接模块用于对特征融合处理的结果进行处理。

2.根据权利要求1所述的方法，其特征在于，通过目标特征融合卷积神经网络对所述待识别图像进行颜色识别，得到所述待识别图像的颜色识别结果包括：

通过所述目标特征融合卷积神经网络对所述待识别图像进行颜色识别，得到每个识别部件的预测值，其中，所述预测值用于表征识别部件的颜色为每个预设颜色的概率值；

根据每个识别部件的预测值确定所述待识别图像的颜色识别结果。

3.根据权利要求2所述的方法，其特征在于，根据每个识别部件的预测值确定所述待识别图像的颜色识别结果包括：

将每个识别部件的预测值中最大概率值所对应的预设颜色确定为所述识别部件所属的颜色。

4.根据权利要求1所述的方法，其特征在于，每个卷积池化模块包括：至少一个卷积层和至少一个池化层，所述特征融合模块与部分或者全部卷积池化模块中的至少一个池化层相连接。

5.根据权利要求4所述的方法，其特征在于，所述卷积池化模块的数量为多个；且多个卷积池化模块依次连接；

所述特征融合模块包含：特征处理模块和特征连接模块；通过目标特征融合卷积神经网络对所述待识别图像进行颜色识别包括：

依次通过多个所述卷积池化模块对所述待识别图像进行卷积池化处理，得到多个所述卷积池化模块分别输出的多个图像特征；

通过所述特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理，得到多个第二图像特征；

通过所述特征连接模块对所述多个第二图像特征进行特征连接，得到第三图像特征；

通过所述至少一个全连接模块对所述第三图像特征进行全连接处理，得到所述待识别图像的颜色识别结果。

6.根据权利要求5所述的方法，其特征在于，所述特征处理模块包括：目标卷积层和全局平均池化层；

通过所述特征处理模块对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征融合处理包括：

通过所述目标卷积层对与其相连接的卷积池化模型的至少一个池化层输出的图像特征进行特征处理，得到中间图像特征；

通过所述全局平均池化层对所述中间图像特征进行全局平均池化处理，得到所述第二图像特征。

7.根据权利要求6所述的方法，其特征在于，所述目标卷积层的卷积核为1×1卷积核。

8.根据权利要求6所述的方法，其特征在于，所述至少一个卷积池化模块中的前N个卷积池化模块和所述至少一个卷积池化模块中的最后一个卷积池化模块输出的图像特征输入至特征处理模块中进行处理，N小于所述至少一个卷积池化模块的数量。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述待识别图像的颜色识别结果确定所述待识别对象的质量信息，其中，所述质量信息包括：合格产品或者不合格产品。

10.根据权利要求9所述的颜色识别方法，其特征在于，通过所述待识别图像的颜色识别结果确定所述待识别对象的质量信息包括：

将所述待识别图像的颜色识别结果和所述待识别对象的标准颜色信息进行比对；

若比对结果为相同，则确定所述待识别对象的质量信息为合格产品；

若比对结果为不相同，则确定所述待识别对象的质量信息为不合格产品。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取原始训练图像，其中，所述原始训练图像中包括待识别对象；

将所述原始训练图像输入到初始特征融合卷积神经网络，得到所述原始训练图像的颜色识别结果；

基于所述原始训练图像的颜色识别结果计算所述初始特征融合卷积神经网络的目标损失函数的函数值；

通过所述目标损失函数的函数值对所述初始特征融合卷积神经网络的参数进行调整，得到所述目标特征融合卷积神经网络。

12.根据权利要求11所述的方法，其特征在于，所述至少一个识别部件的数量为多个；

基于所述原始训练图像的颜色识别结果计算所述初始特征融合卷积神经网络的目标损失函数的函数值包括：

基于所述原始训练图像的颜色识别结果中每个识别部件的颜色识别结果和目标向量计算交叉熵损失函数的函数值，得到多个函数值；其中，所述目标向量用于表征每个识别部件在预设颜色中的实际颜色信息；

将所述多个函数值进行求和计算，得到所述目标损失函数的函数值。

13.一种物体颜色识别装置，其特征在于，包括：

获取单元，用于获取待识别图像，其中，所述待识别图像中包含待识别对象；

颜色识别单元，用于通过目标特征融合卷积神经网络对所述待识别图像进行颜色识别，得到所述待识别图像的颜色识别结果；其中，所述颜色识别结果用于表征所述待识别对象中至少一个识别部件的颜色识别结果；

其中，所述目标特征融合卷积神经网络包括：至少一个卷积池化模块、特征融合模块和至少一个全连接模块，所述至少一个卷积池化模块输出的特征信息输入至特征融合模块，所述特征融合模块用于将所述至少一个卷积池化模块输出的特征信息进行特征融合处理，所述至少一个全连接模块用于对特征融合处理的结果进行处理。

14.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如权利要求1至12任一项所述的方法。

15.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行如权利要求1至12任一项所述的方法。

Images