CN110532897A - 零部件图像识别的方法和装置 - Google Patents

Abstract

本发明公开了一种零部件图像识别的方法和装置，属于图像识别领域。所述方法包括：获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在所述待识别图像中是否识别到零部件图像；如果在所述待识别图像中识别到零部件图像，则确定所述零部件图像在所述待识别图像中的位置信息；如果在所述待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及所述待识别图像，在所述待识别图像中还原零部件图像，确定还原的零部件图像在所述待识别图像中的位置信息。采用本发明，可以提高抓取零部件的效率。

Description

零部件图像识别的方法和装置

技术领域

本发明涉及图像识别领域，特别涉及一种零部件图像识别的方法和装置。

背景技术

机器人飞速发展的今天，工业机器人在制造业中的应用越来越广泛，如汽车零部件制造领域、机械加工领域、电子电器生产领域、橡胶及塑料塑造领域、食品加工、木材与家具制造领域等的自动化生产过程中，机器人昨夜发挥着重要的作用。

机器人对工业零部件的抓取是制造业的自动化生产中一项常见的任务，目前，图像识别与定位技术成为工业机器人获得作业周围环境信息的主要手段。在对零部件进行识别时，通过摄像头采集零部件的待识别图像，将采集到的待识别图像与预设的零部件模板图像进行匹配，在采集到的图像中确定零部件的图像，进而确定零部件在待识别图像中的位置信息。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

如果待识别图像中零部件被障碍物遮挡住了，则通过上述的图像识别方式无法识别出零部件图像，也就无法定位零部件所在的位置信息，工业机器人也就无法抓取零部件，大大降低了零部件抓取的效率。

发明内容

为了解决相关技术的问题，本发明实施例提供了一种零部件图像识别的方法和装置。所述技术方案如下：

第一方面，提供了一种零部件图像识别的方法，所述方法包括：

获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在所述待识别图像中是否识别到零部件图像；

如果在所述待识别图像中识别到零部件图像，则确定所述零部件图像在所述待识别图像中的位置信息；

如果在所述待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及所述待识别图像，在所述待识别图像中还原零部件图像，确定还原的零部件图像在所述待识别图像中的位置信息。

可选地，所述基于图像匹配算法以及零部件模板图像，确定在所述待识别图像中是否识别到零部件图像，包括：

根据图像匹配算法，确定所述待识别图像中的局部图像与零部件模板图像的相似度；

如果存在大于相似度阈值的相似度，则确定在所述待识别图像中识别到零部件图像；

如果不存在大于相似度阈值的相似度，则确定在所述待识别图像中识别不到零部件图像。

可选地，所述根据图像匹配算法，确定所述待识别图像中的局部图像与零部件模板图像的相似度，包括：

对所述待识别图像进行高斯滤波，得到第一图像，所述第一图像的分辨率低于所述待识别图像的分辨率；

根据图像匹配算法，确定所述第一图像中的局部图像与零部件模板图像的中间相似度；

如果存在大于中间相似度阈值的第一中间相似度，则确定所述第一中间相似度对应的第一局部图像在所述第一图像中的中间位置信息，在所述待识别图像中，基于所述中间位置信息确定对应的第二局部图像，确定所述第二局部图像与所述零部件模板图像的相似度；

所述确定所述零部件图像在所述待识别图像中的位置信息，包括：

将所述中间位置信息确定为所述零部件图像在所述待识别图像中的位置信息。

可选地，所述基于预先训练的遮挡去除网络模型以及所述待识别图像，在所述待识别图像中还原零部件图像，包括：

根据预先训练的遮挡去除网络模型，提取所述待识别图像的第一特征向量；

将所述第一特征向量转换成零部件模板图像的第二特征向量；

根据所述第二特征向量，在所述待识别图像中还原零部件图像。

可选地，所述遮挡去除网络模型的训练方法包括：

获取多个样本数据，其中，所述多个样本数据包括尺寸相同的多个被遮挡零部件图像以及多个未被遮挡零部件图像；

将所述被遮挡零部件图像输入初始遮挡去除网络模型，得到预测图像，基于所述预测图像与所述未被遮挡零部件图像，调整所述初始遮挡去除网络模型中的系数，得到所述遮挡去除网络模型。

第二方面，提供了一种零部件图像识别的装置，所述装置包括：

获取模块，用于获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在所述待识别图像中是否识别到零部件图像；

确定模块，用于如果在所述待识别图像中识别到零部件图像，则确定所述零部件图像在所述待识别图像中的位置信息；

还原模块，用于如果在所述待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及所述待识别图像，在所述待识别图像中还原零部件图像，确定还原的零部件图像在所述待识别图像中的位置信息。

可选地，所述获取模块，用于：

根据图像匹配算法，确定所述待识别图像中的局部图像与零部件模板图像的相似度；

如果存在大于相似度阈值的相似度，则确定在所述待识别图像中识别到零部件图像；

如果不存在大于相似度阈值的相似度，则确定在所述待识别图像中识别不到零部件图像。

可选地，所述获取模块，用于：

对所述待识别图像进行高斯滤波，得到第一图像，所述第一图像的分辨率低于所述待识别图像的分辨率；

根据图像匹配算法，确定所述第一图像中的局部图像与零部件模板图像的中间相似度；

如果存在大于中间相似度阈值的第一中间相似度，则确定所述第一中间相似度对应的第一局部图像在所述第一图像中的中间位置信息，在所述待识别图像中，基于所述中间位置信息确定对应的第二局部图像，确定所述第二局部图像与所述零部件模板图像的相似度；

所述确定模块，用于：

将所述中间位置信息确定为所述零部件图像在所述待识别图像中的位置信息。

可选地，所述还原模块，用于：

根据预先训练的遮挡去除网络模型，提取所述待识别图像的第一特征向量；

将所述第一特征向量转换成零部件模板图像的第二特征向量；

根据所述第二特征向量，在所述待识别图像中还原零部件图像。

可选地，所述装置还包括训练模块，所述训练模块，用于：

获取多个样本数据，其中，所述多个样本数据包括尺寸相同的多个被遮挡零部件图像以及多个未被遮挡零部件图像；

将所述被遮挡零部件图像输入初始遮挡去除网络模型，得到预测图像，基于所述预测图像与所述未被遮挡零部件图像，调整所述初始遮挡去除网络模型中的系数，得到所述遮挡去除网络模型。

第三方面，提供了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现上述第一方面中任一所述的方法步骤。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的零部件图像识别的方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例中，获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在待识别图像中是否识别到零部件图像；如果在待识别图像中识别到零部件图像，则确定零部件图像在待识别图像中的位置信息；如果在待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及待识别图像，在待识别图像中还原零部件图像，确定还原的零部件图像在待识别图像中的位置信息。这样，即使采集到的待识别图像中零部件被障碍物遮挡住了，通过遮挡去除网络模型可以在待识别图像中还原出零部件图像，进而可以准确地确定出零部件图像的位置信息，使得工业机器人根据位置信息准确地抓取零部件，大大提高了工业机器人抓取零部件的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种零部件图像识别的方法的流程图；

图2是本发明实施例提供的一种零部件图像识别的设备交互的流程示意图；

图3是本发明实施例提供的一种零部件图像识别的实体示意图；

图4是本发明实施例提供的一种零部件图像识别的方法的流程图；

图5是本发明实施例提供的一种零部件图像识别的方法的流程图；

图6是本发明实施例提供的一种零部件图像识别的实体示意图；

图7是本发明实施例提供的一种零部件图像识别的装置的结构示意图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种零部件图像识别的方法，该方法可以由电子设备实现，电子设备可以是终端，也可以是服务器。电子设备还需配备有图像采集装置，如摄像头等，用于采集当前的图像。

电子设备可以包括处理器、存储器、收发器等部件。处理器，可以为CPU(CentralProcessing Unit，中央处理单元)等，可以判断待识别图像中是否识别到零部件图像、在待识别图像中还原零部件图像、在待识别图像中确定零部件图像的位置信息等。存储器，可以为RAM(Random Access Memory，随机存取存储器)，Flash(闪存)等，可以用于存储图像匹配算法、遮挡出去网络模型、零部件模板图像等。收发器，可以用于与终端或其它设备进行数据传输，例如，向工业机器人发送零部件图像的位置信息、接收摄像头发送的待识别图像等。电子设备还可以包括屏幕等，屏幕可以用于显示待识别图像。

本发明实施例提供了一种零部件图像识别的方法，该方法应用于电子设备，如图1所示，该方法的处理流程可以包括如下的步骤：

在步骤101中，电子设备获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在待识别图像中是否识别到零部件图像。

一种可行的实施方式中，在制造业的工业化生产中，零部件的识别以及抓取起到了重要作用，如图2所示，电子设备通过摄像头对当前零部件作业场景进行图像采集(采集的图像可称为待识别图像)，在待识别图像检测零部件图像的位置信息，进而将零部件图像的位置信息发送给工业机器人，使得工业机器人根据零部件图像的位置信息抓取到零部件，为工业机器人抓取零部件的实体示意图。

但发明人认识到，如果零部件被遮挡，如图3所示，电子设备采集的待识别图像不具备完整的零部件，则通过上述方法无法识别到零部件图像，进而无法给工业机器人提供位置信息，使得工业机器人无法继续作业。基于此种情况，发明人设计出在零部件被遮挡的情况下依旧可以识别零部件图像的位置信息的方案。

在对零部件图像进行识别时，可以使电子设备先获取待识别图像。电子设备获取待识别图像的方式有多种，例如，电子设备配备有摄像头，可以实时采集当前零部件作业场景的图像，也可以由技术人员将待识别图像导入电子设备等，本发明对此不作限定。

获取到待识别图像后，电子设备获取预先存储的零部件模板图像，该零部件模板图像与待识别图像的尺寸相同，根据图像匹配算法，计算零部件模板图像与待识别图像的相似度。需要说明的是，图像匹配算法可以是多种，如感知哈希算法、MAD(Mean AbsoluteDifferences，平均绝对差算法)、SAD(Sum of Absolute Differences，绝对误差和算法)、NCC(Normalized Cross Correlation，归一化互相关匹配法)等，下面以NCC为例进行介绍。

NCC是一种基于统计学计算两组样本数据相关性的算法，对图像来说，每个像素点都可以看成是RGB(Red Green Blue，红绿蓝)数值，这样整个图像就可以看成是一个样本数据的集合。NCC输出结果为相似程度值，取值范围为[-1,1]之间。如果它有一个子集与另外一个样本数据相互匹配则它的NCC值为1，表示相关性很高，如果是-1，则表示完全不相关。基于这个原理，实现图像匹配算法，第一步就是要归一化数据，数学公式如下述公式(1)(2)(3)(4)：

N＝xy……(2)

其中，NCC(image1,image2)表示两个图像的相似程度，本实施例中表示零部件模板图像与待识别图像的相似程度，表示两个图像中的第一个图像的整体平均灰度值，本实施例中表示零部件模板图像的整体平均灰度值，表示两个图像中的第二个图像的整体平均灰度值，本实施例中表示待识别图像的整体平均灰度值，image1(x,y)表示零部件模板图像中横坐标为x、纵坐标为y的像素点的灰度值，image2(x,y)表示待识别图像中横坐标为x、纵坐标为y的像素点的灰度值，N表示图像的像素点总数。

可选地，上述步骤101根据图像匹配算法判断在待识别图像中是否能够识别到零部件图像的具体步骤可以如下：根据图像匹配算法，确定待识别图像中的局部图像与零部件模板图像的相似度；如果存在大于相似度阈值的相似度，则确定在待识别图像中识别到零部件图像；如果不存在大于相似度阈值的相似度，则确定在待识别图像中识别不到零部件图像。

一种可行的实施方式中，在进行步骤101之前，技术人员预先在电子设备中设置有零部件模板图像，零部件模板图像可以是只包括零部件的图像，尺寸可以小于待识别图像，零部件模板图像也可以是尺寸与待识别图像相同的、包括场景的图像，本发明对此不作限定。

在执行步骤101时，电子设备调取预先存储的零部件模板图像，如果零部件模板图像的尺寸小于待识别图像，则根据零部件模板图像的尺寸，在待识别图像中确定出相同尺寸的局部图像，将该局部图像与零部件模板图像通过图像匹配算法计算相似度，如果该相似度大于相似度阈值，则确定在待识别图像中识别到零部件图像，如果该相似度小于相似度阈值，则在待识别图像中选取下一个相同尺寸的局部图像，使之与零部件模板图像进行比较，确定其相似度是否大于相似度阈值，如果该相似度仍然小于相似度阈值，则循环该过程，直到确定在待识别图像中选取的所有局部图像与零部件模板图像的相似度均小于相似度阈值，则确定在待识别图像中识别不到零部件图像。

举例来讲，先选取待识别图像的左小角图像作为局部图像，将该局部图像与零部件模板图像计算相似度。如果该相似度小于相似度阈值，则将该局部图像的四个顶角的横坐标均增加相同的预设第一增量，得到新的局部图像，将新的局部图像与零部件模板图像计算相似度。如果该相似度仍然小于相似度阈值，则再次将该局部图像的四个顶角的横坐标均增加相同的预设第一增量，得到新的局部图像……循环上述过程，直到局部图像的四个顶点中的两个顶点的横坐标达到最大值或最小值，即选取的局部图像已经达到待识别图像的边缘时，将四个顶点的纵坐标增加预设第二增量，得到新的局部图像，计算新的局部图像与零部件模板图像的相似度。如果该相似度依然小于相似度阈值，则将局部图像的四个顶点的横坐标均减少第一预设增量，得到新的局部图像。直到选取的局部图像的横坐标以及纵坐标均到达最大值或最小值，即在待识别图像中选取了所有的局部图像，而所有的局部图像与零部件模板图像的相似度均小于相似度阈值，则确定在待识别图像中识别不到零部件图像。

可选地，为了增加图像识别的速度，可以借助图像金字塔的方式进行图像识别，相应的步骤可以如下：对待识别图像进行高斯滤波，得到第一图像，第一图像的分辨率低于待识别图像的分辨率；根据图像匹配算法，确定第一图像中的局部图像与零部件模板图像的中间相似度；如果存在大于中间相似度阈值的第一中间相似度，则确定第一中间相似度对应的第一局部图像在第一图像中的中间位置信息，在待识别图像中，基于中间位置信息确定对应的第二局部图像，确定第二局部图像与零部件模板图像的相似度。

其中，图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低、且来源于同一张原始图的图像集合，其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

一种可行的实施方式中，在构建待识别图像的图像金字塔时，可采用多种方式进行滤波，其中可行的一种方式是借助高斯滤波器，下面以高斯滤波器为例进行说明。

将待识别图像先扩大一倍，将扩大后的图像作为高斯金字塔的第1组第1层，然后，将第1组第1层的图像经过高斯滤波，将得到的图像(可称为第一图像)作为高斯金字塔的第1组第2层，高斯滤波函数可以如下述公式(5)所示。

其中，x表示像素点的横坐标，y表示像素点的纵坐标，t表示高斯金字塔的层数。

期望信号由二维的高斯滤波函数和上一层图像的卷积之后得到，如下公式(6)所示。

L(x,y；t)＝g(x,y；t)*f(x,y)……(6)

其中，f(x，y)表示待识别图像的滤波函数。

通过上述过程，得到了高斯金字塔基本的两个图像，其中，第1组第1层的图像分辨率高一些，第1组第2层的图像分辨率低一些。分辨率低的图像可以与零部件模板图像进行先进行初步的匹配，可以较为快速地确定待识别图像中是否包括零部件图像，运算量低，根据分辨率低的图像大致确定待识别图像中零部件图像的大致位置，再根据这个大致位置在分辨率高的图像中进行精细匹配，确定待识别图像中零部件图像的精确位置，这样，可以减少图像匹配的运算量，提高图像匹配的效率。

举例来说，先在分辨率低的图像(即第一图像)上选取多个与零部件模板图像尺寸相同的局部图像，将每个局部图像分别于零部件模板图像进行匹配，当存在某个局部图像与零部件模板图像的相似度(可称为中间相似度)大于预设的中间相似度阈值时，确定该局部图像(可称为第一局部图像)的位置信息(可称为中间位置信息)，将该中间位置信息映射到分辨率较高的图像上，即根据中间位置信息在分辨率较高的图像上确定一片可能包括零部件图像的区域，在该区域中划分多个局部图像(可称为第二局部图像)，将每个第二局部图像与零部件模板图像进行匹配，将相似度最大的第二局部图像的位置信息记录下来，该位置信息即为零部件图像在待识别图像中的位置信息。需要说明的是，上述分辨率较高的图像可以是待识别图像，也可以是经过放大处理的第一图像。

基于这种方式识别方式，将中间位置信息确定为零部件图像在待识别图像中的位置信息。

在步骤102中，如果在待识别图像中识别到零部件图像，则电子设备确定零部件图像在待识别图像中的位置信息。

其中，零部件图像在待识别图像中的位置信息可以是零部件图像的四个顶点在待识别图像中的坐标。

一种可行的实施方式中，通过上述步骤101，如果确定在待识别图像中识别到零部件图像，则电子设备确定零部件图像在待识别图像中的位置信息，如确定零部件图像的四个顶点在待识别图像中的坐标，然后，电子设备将该位置信息发送给工业机器人，使得工业机器人根据该位置信息抓取零部件。

需要说明的是，电子设备确定零部件图像的位置信息的方法有多种，其中一种可以持续发生在图像匹配过程中，例如，在进行步骤101的图像匹配时，先确定待识别图像的局部图像的位置信息，再确定局部图像与零部件模板图像是否匹配，如果匹配，则将局部图像的位置信息作为零部件图像在待识别图像中的位置信息，如果不匹配，则调整局部图像，并重新记录局部图像的位置信息。除此之外的其它确定方法，本发明再次不作一一列举。

在步骤103中，如果在待识别图像中识别不到零部件图像，则电子设备基于预先训练的遮挡去除网络模型以及待识别图像，在待识别图像中还原零部件图像，确定还原的零部件图像在待识别图像中的位置信息。

一种可行的实施方式中，通过上述步骤101，如果在待识别图像中识别不到零部件图像，说明电子设备采集待识别图像时零部件被遮挡住了，导致待识别图像中的零部件图像不完整，这时需要将待识别图像输入到预先训练的遮挡去除网络模型中，遮挡去除网络模型输出目标图像，该目标图像是将待识别图像中被遮挡的零部件图像还原出来的图像，根据目标图像以及上述步骤101的图像匹配算法，可以确定目标图像中的零部件图像，并确定零部件图像在目标图像中的位置信息，并将位置信息发送给工业机器人，使得工业机器人根据接收到的位置信息抓取零部件。

可选地，通过遮挡去除网络模型在待识别图像中还原零部件图像的步骤可以如下：根据遮挡去除网络模型，提取待识别图像的第一特征向量；将第一特征向量转换成零部件模板图像的第二特征向量；根据第二特征向量，在待识别图像中还原零部件图像。

一种可行的实施方式中，上述遮挡去除网络模型可以是多种算法模型，其中可行的一种即为Cycle GAN(Generative Adversarial Networks，生成对抗模型)模型，下面以Cycle GAN模型为例进行说明。

Cycle GAN模型的原理可以简单概括为，将一类图像转换成另一类图像，也就是说，假设有两个样本空间X和Y，而该模型可以实现把X空间中的样本转换成Y空间中的样本。在本实施例中，即将被遮挡的待识别图像转换为不被遮挡的零部件图像。

Cycle GAN模型通常包括鉴别器以及生成器两个结构，生成器由编码器、转换器和解码器构成，如图4所示，相应的步骤可以如下步骤1031-1033。

步骤1031，在将待识别图像输入遮挡去除网络模型时，第一步根据编码器的卷积神经网络从待识别图像中提取特征向量(可称为第一特征向量)，提取到的特征向量具有个数固定、尺寸固定的特点，例如，提取256个64*64的特征向量。

步骤1032，根据生成器中的转换器，通过组合图像的不相近特征，将上述提取的第一特征向量转换为零部件模板图像的第二特征向量。此处的转换器通常可以使用9层Resnet(Residual Neural Network，残差神经网络)模块，每个Resnet模块是一个由两个卷积层构成的神经网络层，能够达到在转换时同时保留原始图像特征的目标。但Resnet模块会忽略掉一些图像特征细节，使得转换后的图像存在一定失真的现象，因此，可以考虑使用DenseNet(Dense Convolutional Network，稠密卷积神经网络)模块代替Resnet模块，例如，使用8个DenseNet模块代替Resnet模块，这样有助于转换图像时学习到更多图像的细节特征，使得转换后的图像更加真实。

步骤1033，根据解码器的反卷积层(decovolution)，从第二特征向量中还原出图像的低级特征，最后得到转换后的图像。

通过上述步骤1031-1033，实现从待识别图像中还原得到零部件图像的工作，生成零部件图像后，根据鉴别器判断还原出的图像是否符合要求，如果符合，则遮挡去除网络模型输出还原出的图像。

可选地，上述遮挡去除网络模型在使用前需要经过预先训练，其训练方法可以包括下述步骤：获取多个样本数据，其中，多个样本数据包括尺寸相同的多个被遮挡零部件图像以及多个未被遮挡零部件图像；将被遮挡零部件图像输入初始遮挡去除网络模型，得到预测图像，基于预测图像与未被遮挡零部件图像，调整初始遮挡去除网络模型中的系数，得到遮挡去除网络模型。

一种可行的实施方式中，Cycle GAN模型可以使用无配对样本数据集进行训练，而Cycle GAN模型的目标是在两个样本集合之间学习映射函数，因此，在训练时需要准备两个样本数据集，一个是未被遮挡零部件图像的集合，一个是被遮挡零部件图像的集合，将多个样本数据输出初始遮挡去除网络模型。用数学表达式表示为以及数据分布为x～p_data(x)，z～p_data(z)。模型学习到的映射函数应该是循环一致的：对于域X中的每一张图像x，图像的循环转换都能将x还原成原始图像例如x→G(x)→F(G(x))≈x，同样，对于域Z中的每一张图像z，图像的循环转换都能将y还原成原始图像例如z→F(y)→G(F(z))≈z，相应的网络架构可以如图5所示。

Cycle GAN模型本质上是两个镜像对称的GAN，构成了一个环形网络。两个GAN共享两个生成器，并各自带一个鉴别器，即共有两个判别器和两个生成器。训练的主要思路是，从被遮挡零部件图像的集合中选取一张样本图像，将该样本图像传递到第一个生成器中，通过该生成器将该样本图像转换成未被遮挡零部件图像，然后将这个新生成的未被遮挡零部件图像传递到另一个生成器中，通过该生成器将该未被遮挡零部件图像转换成被遮挡零部件图像，而新生成的被遮挡零部件图像需要与输入的样本图像相似，根据新生成的被遮挡零部件图像与输入的样本图像的相似性，调整初始遮挡去除网络模型的参数。

具体地，Cycle GAN模型的损失函数由对抗性损失、周期一致性损失和同一性损失这3部分组成，相应的确定步骤可以如下：

目的将生成图像的分布与目标域中的数据分布进行匹配。它强制生成器逐渐生成真实的图像。映射函数为X～Z及其鉴别器,目标函数可以制定如下述公式(7)。

生成器是用来逐渐生成和真实的图象集合Z里面图像相似的图像，而Dz则用来区分生成器生成的图像G(x)和来自于数据集Z的真实的图像。

映射函数的对抗性损失F：Z→X基于相似的原理定义如下。

循环一致性损失能够使生成的图像恢复到原始图像，从而保证生成的图像具有源域的一些基本特征。x→G(x)→F(G(x))～x，z→F(z)→G(F(z))～z，loss函数定义如下：

无论某一工件的遮挡量有多少，如果他们的位置和方向相同，那么它们特征模型的中间层必须是相同的向量。利用无监督跨域图像生成技术，当目标域的真实样本作为输入提供给生成器时，将生成器正则化为接近于一个恒等映射，即输入输出不发生改变。

Cycle GAN的全部损失函数可以看作是对抗性损失、周期一致性损失和同一性损失的总和，它们各有两个，具体的形式如下：

L_all(G,D_z,F,D_x)＝L_GAN(G,D_z)+L_GAN(F,D_x)+αL_cyc(G,F)+βL_identity(G,F)……(10)

里面的两个系数是对应这两个部分相对重要性的一个权重的值。

在Cycle GAN中，特征转换模型包含几个残差模块。

X_l＝H_l(X_l-1)+X_l-1……(11)

其中，X_l-1和X_l分别对应l残差网络层的输入和输出的信息，H_l对应l层残差网络层的激活函数。这种设计其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。

本发明提出将残差模块换成稠密连接模块，稠密连接模块的转换特征模型函数可以如下公式(12)所示。

X_l＝H_l([X₀,X₁,K,X_l-1])……(12)

其中，[X₀,X₁,K,X_l-1]代表前面所有层输出的融合。该结构很好地缓解了梯度消失问题和增强了特征跨层传递。

这样，本发明实施例采用的遮挡去除网络模型是深层的卷积网络架构，同时借鉴了对抗学习的思想，通过引入一个鉴别网络作为遮挡去除网络的结果的鉴别器来引导遮挡去除网络模型的训练，与现有的遮挡工件识别方法相比，该方法对遮挡和光照变化具有较强的鲁棒性，取得了较好的识别效果。同时对于没有遮挡，或者遮挡比较小的情况采用特征匹配的快速通路进行匹配。

举例来说，训练的样本数据包括503幅遮挡图像和185幅未遮挡图像，尺寸均为256×256。α和β等于10和5，分别使用batch(批次)大小为1的Adam solver(一种求解器)。对于前150循环从零开始的网络训练的学习率设置为0.0002，并且在接下来的150个循环中进行线性衰减直到为零。

模板匹配的参数设置：

采用基于Halcon模型形状的模板匹配方法，在模型创建过程中，需要应用模板模型，参数如下述表1所示，训练后的遮挡去除网络模型的实验结果可以参照图6。

表1

本发明实施例中，获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在待识别图像中是否识别到零部件图像；如果在待识别图像中识别到零部件图像，则确定零部件图像在待识别图像中的位置信息；如果在待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及待识别图像，在待识别图像中还原零部件图像，确定还原的零部件图像在待识别图像中的位置信息。这样，即使采集到的待识别图像中零部件被障碍物遮挡住了，通过遮挡去除网络模型可以在待识别图像中还原出零部件图像，进而可以准确地确定出零部件图像的位置信息，使得工业机器人根据位置信息准确地抓取零部件，大大提高了工业机器人抓取零部件的效率。

基于相同的技术构思，本发明实施例还提供了一种零部件图像识别的装置，该装置可以为上述实施例中的电子设备，如图7所示，该装置包括：获取模块710、确定模块720和还原模块730。

获取模块710，用于获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在所述待识别图像中是否识别到零部件图像；

确定模块720，用于如果在所述待识别图像中识别到零部件图像，则确定所述零部件图像在所述待识别图像中的位置信息；

还原模块730，用于如果在所述待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及所述待识别图像，在所述待识别图像中还原零部件图像，确定还原的零部件图像在所述待识别图像中的位置信息。

可选地，所述获取模块710，用于：

根据图像匹配算法，确定所述待识别图像中的局部图像与零部件模板图像的相似度；

如果存在大于相似度阈值的相似度，则确定在所述待识别图像中识别到零部件图像；

如果不存在大于相似度阈值的相似度，则确定在所述待识别图像中识别不到零部件图像。

可选地，所述获取模块710，用于：

对所述待识别图像进行高斯滤波，得到第一图像，所述第一图像的分辨率低于所述待识别图像的分辨率；

根据图像匹配算法，确定所述第一图像中的局部图像与零部件模板图像的中间相似度；

如果存在大于中间相似度阈值的第一中间相似度，则确定所述第一中间相似度对应的第一局部图像在所述第一图像中的中间位置信息，在所述待识别图像中，基于所述中间位置信息确定对应的第二局部图像，确定所述第二局部图像与所述零部件模板图像的相似度；

所述确定模块720，用于：

将所述中间位置信息确定为所述零部件图像在所述待识别图像中的位置信息。

可选地，所述还原模块730，用于：

根据预先训练的遮挡去除网络模型，提取所述待识别图像的第一特征向量；

将所述第一特征向量转换成零部件模板图像的第二特征向量；

根据所述第二特征向量，在所述待识别图像中还原零部件图像。

可选地，所述装置还包括训练模块740，所述训练模块740，用于：

获取多个样本数据，其中，所述多个样本数据包括尺寸相同的多个被遮挡零部件图像以及多个未被遮挡零部件图像；

将所述被遮挡零部件图像输入初始遮挡去除网络模型，得到预测图像，基于所述预测图像与所述未被遮挡零部件图像，调整所述初始遮挡去除网络模型中的系数，得到所述遮挡去除网络模型。

本发明实施例中，获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在待识别图像中是否识别到零部件图像；如果在待识别图像中识别到零部件图像，则确定零部件图像在待识别图像中的位置信息；如果在待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及待识别图像，在待识别图像中还原零部件图像，确定还原的零部件图像在待识别图像中的位置信息。这样，即使采集到的待识别图像中零部件被障碍物遮挡住了，通过遮挡去除网络模型可以在待识别图像中还原出零部件图像，进而可以准确地确定出零部件图像的位置信息，使得工业机器人根据位置信息准确地抓取零部件，大大提高了工业机器人抓取零部件的效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

需要说明的是：上述实施例提供的零部件图像识别的装置在零部件图像识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的零部件图像识别的装置与零部件图像识别的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是本发明实施例提供的一种电子设备的结构示意图，该电子设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述零部件图像识别的方法步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述实施例中的识别动作类别的方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种零部件图像识别的方法，其特征在于，所述方法包括：

获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在所述待识别图像中是否识别到零部件图像；

如果在所述待识别图像中识别到零部件图像，则确定所述零部件图像在所述待识别图像中的位置信息；

如果在所述待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及所述待识别图像，在所述待识别图像中还原零部件图像，确定还原的零部件图像在所述待识别图像中的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述基于图像匹配算法以及零部件模板图像，确定在所述待识别图像中是否识别到零部件图像，包括：

根据图像匹配算法，确定所述待识别图像中的局部图像与零部件模板图像的相似度；

如果存在大于相似度阈值的相似度，则确定在所述待识别图像中识别到零部件图像；

如果不存在大于相似度阈值的相似度，则确定在所述待识别图像中识别不到零部件图像。

3.根据权利要求2所述的方法，其特征在于，所述根据图像匹配算法，确定所述待识别图像中的局部图像与零部件模板图像的相似度，包括：

对所述待识别图像进行高斯滤波，得到第一图像，所述第一图像的分辨率低于所述待识别图像的分辨率；

根据图像匹配算法，确定所述第一图像中的局部图像与零部件模板图像的中间相似度；

如果存在大于中间相似度阈值的第一中间相似度，则确定所述第一中间相似度对应的第一局部图像在所述第一图像中的中间位置信息，在所述待识别图像中，基于所述中间位置信息确定对应的第二局部图像，确定所述第二局部图像与所述零部件模板图像的相似度；

所述确定所述零部件图像在所述待识别图像中的位置信息，包括：

将所述中间位置信息确定为所述零部件图像在所述待识别图像中的位置信息。

4.根据权利要求1所述的方法，其特征在于，所述基于预先训练的遮挡去除网络模型以及所述待识别图像，在所述待识别图像中还原零部件图像，包括：

根据预先训练的遮挡去除网络模型，提取所述待识别图像的第一特征向量；

将所述第一特征向量转换成零部件模板图像的第二特征向量；

根据所述第二特征向量，在所述待识别图像中还原零部件图像。

5.根据权利要求1所述的方法，其特征在于，所述遮挡去除网络模型的训练方法包括：

获取多个样本数据，其中，所述多个样本数据包括尺寸相同的多个被遮挡零部件图像以及多个未被遮挡零部件图像；

将所述被遮挡零部件图像输入初始遮挡去除网络模型，得到预测图像，基于所述预测图像与所述未被遮挡零部件图像，调整所述初始遮挡去除网络模型中的系数，得到所述遮挡去除网络模型。

6.一种零部件图像识别的装置，其特征在于，所述装置包括：

获取模块，用于获取待识别图像，基于图像匹配算法以及零部件模板图像，确定在所述待识别图像中是否识别到零部件图像；

确定模块，用于如果在所述待识别图像中识别到零部件图像，则确定所述零部件图像在所述待识别图像中的位置信息；

还原模块，用于如果在所述待识别图像中识别不到零部件图像，则基于预先训练的遮挡去除网络模型以及所述待识别图像，在所述待识别图像中还原零部件图像，确定还原的零部件图像在所述待识别图像中的位置信息。

7.根据权利要求6所述的装置，其特征在于，所述获取模块，用于：

根据图像匹配算法，确定所述待识别图像中的局部图像与零部件模板图像的相似度；

如果存在大于相似度阈值的相似度，则确定在所述待识别图像中识别到零部件图像；

如果不存在大于相似度阈值的相似度，则确定在所述待识别图像中识别不到零部件图像。

8.根据权利要求7所述的装置，其特征在于，所述获取模块，用于：

对所述待识别图像进行高斯滤波，得到第一图像，所述第一图像的分辨率低于所述待识别图像的分辨率；

根据图像匹配算法，确定所述第一图像中的局部图像与零部件模板图像的中间相似度；

如果存在大于中间相似度阈值的第一中间相似度，则确定所述第一中间相似度对应的第一局部图像在所述第一图像中的中间位置信息，在所述待识别图像中，基于所述中间位置信息确定对应的第二局部图像，确定所述第二局部图像与所述零部件模板图像的相似度；

所述确定模块，用于：

将所述中间位置信息确定为所述零部件图像在所述待识别图像中的位置信息。

9.根据权利要求6所述的装置，其特征在于，所述还原模块，用于：

根据预先训练的遮挡去除网络模型，提取所述待识别图像的第一特征向量；

将所述第一特征向量转换成零部件模板图像的第二特征向量；

根据所述第二特征向量，在所述待识别图像中还原零部件图像。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块，用于：

获取多个样本数据，其中，所述多个样本数据包括尺寸相同的多个被遮挡零部件图像以及多个未被遮挡零部件图像；

将所述被遮挡零部件图像输入初始遮挡去除网络模型，得到预测图像，基于所述预测图像与所述未被遮挡零部件图像，调整所述初始遮挡去除网络模型中的系数，得到所述遮挡去除网络模型。