CN112102302B - 图像识别方法及装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像识别方法及装置、电子设备和存储介质。该方法包括：获取第一图像，所述第一图像中包括吊弦；对所述第一图像进行图像分割，得到至少一个第一掩码图；根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物。

Description

图像识别方法及装置、电子设备和存储介质

技术领域

本申请涉及图像识别技术领域，具体涉及一种图像识别方法及装置、电子设备和存储介质。

背景技术

接触网吊弦缺陷检测技术在工业中的很多领域都有重要应用，特别是在高铁领域，接触网吊弦缺陷检测技术能够有效的保护乘客的出行安全。

但是，对接触网吊弦缺陷检测的建模是很困难，主要是具有缺陷吊弦的图像样本的数量比较少，且同样的吊弦在不同的场景下，其呈现的特征也不相同。目前主要通过借助于特殊的硬件检测设备进行接触网吊弦缺陷检测。比如，通过两端的线激光器的光照射在待检测锚段吊弦上形成一亮光区域，工业相机接收待检测锚段吊弦的反射光并形成图像，并将该图像传输至系统控制器，通过系统控制器对图像进行分析，以检测接触网吊弦上是否包含有异物。

因此，目前检测接触网吊弦上是否包含有异物，需要借助于特殊的硬件设备，成本较高。

发明内容

本申请实施例提供了一种图像识别方法及装置、电子设备和存储介质。通过图像分割，识别出吊弦上是否挂载有异物，降低吊弦异物检测的成本。

第一方面，本申请实施例提供一种图像识别方法，其特征在于，包括：

获取第一图像，所述第一图像中包括吊弦；

对所述第一图像进行图像分割，得到至少一个第一掩码图；

根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物。

第二方面，本申请实施例提供一种图像识别装置，包括：

收发单元，用于获取第一图像，所述第一图像中包括吊弦；

处理单元，用于对所述第一图像进行图像分割，得到至少一个第一掩码图；

处理单元，还用于根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物。

第三方面，本申请实施例提供一种电子设备，包括：处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。

实施本申请实施例，具有如下有益效果：

可以看出，在本申请实施例中，可通过对图像进行分割，得到至少一个第一掩码图，然后根据该第一掩码图即可确定出吊弦上是否挂在有异物，无需借助特殊的设备，降低了对吊弦进行缺陷检测(异物检测)的成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像识别方法的流程示意图；

图2为本申请实施例提供的一种掩码图的示意图；

图3为本申请实施例提供的一种吊弦的示意图；

图4为本申请实施例提供的一种神经网络训练方法的流程示意图；

图5为本申请实施例提供的一种神经网络训练的示意图；

图6为本申请实施例提供的一种图像识别装置的功能单元组成框图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1，图1为本申请实施例提供的一种图像识别方法的流程示意图。该方法应用于图像识别装置。该方法包括以下步骤：

101：获取第一图像，所述第一图像中包括吊弦。

其中，该第一图像可以为原始图像或者对该原始图像进行目标检测得到的，该原始图像为对高铁线路进行拍摄得到的，该原始图像中包括有吊弦。当然，该原始图像中也可能包含有其他物体。

示例性的，可对该原始图像进行目标检测，得到该原始图像中的物体所对应的至少一个候选框；然后，对每个候选框中的物体进行分类识别，得到每个候选框中的物体所对应的类别，得到第一吊弦所在的候选框，即吊弦对应的吊弦区域；对该第一吊弦所在的候选框进行图像截取，得到该第一图像。由于，提前对该原始图像进行目标检测，进而可以将一些背景区域剔除，尽量保留只包含吊弦的区域，可减少后续图像分割过程中的计算量，提高图像分割的效率。

102：对所述第一图像进行图像分割，得到至少一个第一掩码图。

示例性的，对该第一图像进行特征提取，得到第一特征图；对该第一特征图进行第一卷积处理，得到与至少一个预设类别对应的至少一个第一掩码图，其中，该卷积处理包含有两个过程：一个是使用卷积核对该第一特征图进行卷积处理，第二个是将卷积结果进行分类操作，即softmax。后续涉及的卷积处理均包含有这两个过程，不再详细叙述。其中，预设类别与掩码图一一对应，每个第一掩码图中包括该第一掩码图中每个像素点属于与该第一掩码图对应的预设类别的概率。每个第一掩码图包括该第一掩码图中每个像素点属于与该第一掩码图对应的预设类别的概率。

需要说明，由于没有对第一特征图进行上采样处理，因此，每个第一掩码图的大小是小于该第一图像的大小，故每个第一掩码图只包含了该第一图像中部分像素点，该第一掩码图也只反映了该部分像素点属于异物的概率。

举例来说，如图2所示，假设该掩码图为异物对应的掩码图，则a11表示该掩码图中的第一个像素点为异物的概率为a11。若该掩码图的大小为原始图像的1/32，则该第一个像素点就是将原始图像缩小1/32之后的第一个像素点，且该像素点为异物的概率为a11。

示例性的，对该第一图像进行特征提取，得到第一特征图；对该第一特征图进行上采样处理，得到第二特征图；对该第二特征图进行第二卷积处理，得到与至少一个预设类别对应的至少一个第一掩码图。其中，预设类别与掩码图一一对应，每个第一掩码图中包括该第一掩码图中每个像素点属于与该第一掩码图对应的预设类别的概率。每个第一掩码图包括该第一掩码图中每个像素点属于与该第一掩码图对应的预设类别的概率。

需要说明，在对第一特征图进行上采样处理的情况下，则该第二特征图的大小与该第一图像的大小相同。因此，每个第一掩码图中每个像素点属于与该第一掩码图对应的预设类别的概率，也就是，该第一图像中每个像素点属于与该第一掩码图对应的预设类别的概率。

其中，该上采样处理包括反卷积处理和子像素卷积Sub-pixel convolution处理。本申请中以上采样处理为反卷积处理进行说明。

示例性的，如图3所示，该至少一个预设类别包括异物或者该至少一个预设类别包括异物和目标物体，该目标物体包括以下至少一种背景、吊弦的承力绳索、与吊弦上端所连接的第一承力索吊弦线夹以及与吊弦下端所连接的第二承力索吊弦线夹。其中，该异物可以是挂载在该吊弦上的羽毛、树叶、蜘蛛网、毛线、塑料袋，等等。可以看出，由于异物一般会挂载在吊弦的承力绳索、第一承力索吊弦线夹或第二承力索吊弦线夹上，因此，在对像素点进行分类的过程中，还确定像素点属于吊弦的承力绳索、第一承力索吊弦线夹或第二承力索吊弦线夹进行分类，而不是笼统的将像素点分类为背景或者异物，这样更细致的分类，可以考虑到异物、承力绳索、第一承力索吊弦线夹以及第二承力索吊弦线夹之间的相关性，使对异物的分类更加精确。

上述的预设类别仅为举例说明，在实际应用中，该至少一个预设类别还可以包括载流环，上下接触线，等等，本申请不对预设类别进行限定。

其中，上述对第一图像进行图像分割可通过神经网络实现，该神经网络是预先训练好的，下文详细叙述对该神经网络的训练过程，在此不做过多描述。此外，该神经网络为全卷积网络(Fully Convolutional Networks，FCN)。

通过该神经网络对该第一图像进行特征提取，得到第一特征图，可以通过该神经网络中的卷积层对该第一特征图进行第一卷积处理，得到该至少一个第一掩码图；也可以对该第一特征图进行上采样，得到第二特征图，然后，再对该第二特征图进行第二卷积处理，得到该至少一个第一掩码图；其中，每个第一掩码图中包括该第一掩码图中每个像素点属于与该第一掩码图对应的预设类别的概率，即对该特征图中每个像素点进行分类，得到该特征图中的每个像素点属于各个预设类别的概率，得到该至少一个第一掩码图。

具体来说，传统的卷积神经网络，在最后的卷积层之后会连接上多个全连接层，将卷积层产生的特征图映射成为一个固定长度的特征向量，也就是输入图像属于每个类别的概率。而全卷积神经网络，将传统神经网络中的全连接层换成1*1的卷积层。即与传统的卷积神经网络对图像分类相比，全卷积网络设计了1*1的卷积层，且该卷积层的卷积核的数量与预设类别的数量相对应，使用每个卷积核对第一特征图或第二特征图进行卷积处理，并进行softmax操作，可将该第一特征图中像素点的灰度值压缩到0～1之间，得到各个像素点属于与该卷积核对应的预设类别的概率。因此，全卷积网络是像素级的分类，可以确定出每个像素点属于各个类别的概率。

103：根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物。

示例性的，可确定该至少一个第一掩码图中与异物对应的目标第一掩码图，则该目标第一掩码图中包括该目标第一掩码图中每个像素点属于异物的概率。根据该目标第一掩码图，得到该目标第一掩码图中每个像素点属于异物的概率，并获取该目标第一掩码图中每个像素点属于异物的概率中的最大概率，根据该最大概率确定该第一图像中是否包含有异物。比如，该最大概率大于阈值(比如，阈值为0.7)，则确定该吊弦上挂载有异物，否则，确定该吊弦上未挂载异物。

可以看出，在本申请实施例中，可通过对图像进行分割，得到至少一个第一掩码图，然后根据该第一掩码图即可确定出吊弦上是否挂在有异物，无需借助特殊的设备，降低了对吊弦进行缺陷检测(异物检测)的成本。

参阅图4，图4为本申请实施例提供的一种神经网络训练方法的流程示意图。该方法包括以下步骤：

401：获取图像样本以及样本标签。

该样本标签用于表征该图像样本中每个像素点对应的真实类别。

402：将所述图像样本输入到所述神经网络进行图像分割，得到至少一个第二掩码图和至少一个第三掩码图，其中，所述第二掩码图和所述第三掩码图一一对应，且每个第三掩码图的大小大于与所述第三掩码图对应的第二掩码图的大小。

示例性的，通过该神经网络对该图像样本进行特征提取，得到第三特征图；对该第二特征图进行第三卷积处理，得到该至少一个第二掩码图；通过该神经网络对该第三特征图进行上采样处理，得到第四特征图；对该第四特征图进行第四卷积处理，得到该至少一个第三掩码图。

其中，该第二掩码图、第三掩码图均与预设类别一一对应。

示例性的，该神经网络包括编码网络和解码网络，可通过该编码网络对该图像样本进行特征提取，得到第三特征图；通过该解码网络对该第三特征图进行上采样处理，得到第四特征图。

403：根据所述至少一个第三掩码图，确定所述图像样本中每个像素点的预测类别。

示例性的，根据该至少一个第三掩码图，确定该图像样本中每个像素点属于每个预设类别的概率，将概率最大对应的预设类别作为该像素点的预测类别。具体地，每个第三掩码图反映该图像样本中每个像素点属于该第三掩码图对应的预设类别的概率。因此，确定该像素点在各个第三掩码图中的概率，可得到该像素点属于各个预设类别的概率。

举例来说，假设该至少一个第三掩码图包括与背景、吊弦的承力绳索以及异物对应的三个第三掩码图。假设，该图像样本中第一个像素点在背景对应的第三掩码图中的概率为0.5，也就是说第一个像素点属于背景的概率为0.5，若该第一个像素点在吊弦的承力绳索对应的第三掩码图中的概率为0.3，也就是说该第一个像素点属于吊弦的承力绳索的概率为0.3，若该第一个像素点在异物对应的第三掩码图中的概率为0.2，也就是说该第一个像素点属于异物的概率为0.2，则可确定出该第一个像素点对应的预测类别为该吊弦的承力绳索。

404：对所述至少一个第三掩码图中的每个第三掩码图进行缩放处理，得到至少一个第四掩码图，其中，每个所述第四掩码图的大小与所述第四掩码图对应的第二掩码图的大小相同。

示例性的，该缩放处理可以通过池化操作实现，其中，该池化可以包括最大值池化，最小值池化或者平均值池化，等等。

405：根据所述至少一个第二掩码图、所述至少一个第四掩码图、所述样本标签以及所述图像样本中每个像素点的预测类别，调整所述神经网络的网络参数。

示例性的，确定该至少一个第二掩码图中的任意一个第二掩码图，以及与该第二掩码图对应的第四掩码图之间的相对熵(KL散度)，得到至少一个第一损失。其中，第一损失可通过公式(1)表示：

其中，

为该至少一个第一损失中的第j个第一损失，x_i为至少一个第二掩码图中的第j个第二掩码图以及第j个第四掩码图中的第x_i个像素点，p(x_i)为第x_i个像素点属于与第i个第二掩码图对应的预设类别的概率，q(x_i)为第x_i个像素点属于与第j个第四掩码图对应的预设类别的概率，其中，i的取值为1～N，N为第j个第二掩码图和第j个第四掩码图中的像素点的总数量，j的取值为1～W，W为该第二掩码图或者第四掩码图的数量。

可以看出，通过KL散度，计算第二掩码图和第四掩码图之间的损失，从而可以使编码网络和解码网络输出的掩码图之间的尽可能的相似，以便于后续通过自蒸馏技术，删除解码网络之后，即使不经过解码网络的处理，编码网络仍可输出精度较高的掩码图，实现在网络参数减少的情况下，并不会降低异物的识别精度。

示例性的，确定该图像样本中每个像素点的预测类别与该样本标签中标记的该像素点的真实类别之间的交叉熵损失，得到第二损失。其中，第二损失可通过公式(2)表示：

其中，

为第二损失，y为图像样本中的第y个像素点，P(y)为第y个像素点的真实类别，

为第y个像素点的预测类别，M为图像样本中的像素点的总数量。

示例性的，根据该至少一个第一损失和该第二损失，调整该神经网络的网络参数。即，对该至少一个第一损失和该第二损失进行加权处理，得到最终损失；根据该最终损失以及梯度下降法，调整该神经网络的网络参数。其中，最终损失可通过公式(3)表示：

其中，α_j为与至少一个第一损失中的第j个第一损失对应的权重系数，β为与第二损失对应的权重系数，

下面结合图5说明对该神经网络的训练过程以及使用训练好的神经网络进行图像识别的过程。

如图5所示，该神经网络包括编码网络、解码网络以及1*1的卷积层。其中，该编码网络由多个卷积层组成、该解码网络由多个反卷积层组成。

在训练阶段，将输入图像输入到编码网络，得到第二特征图；然后，对该第二特征图进行卷积处理，得到与预设类别对应的至少一个第二掩码图，示例性的，该至少一个第二掩码图包括与承力绳索、第一承力索吊弦线夹、第二承力索吊弦线夹、异物以及背景对应的第二掩码图。图5示出了与承力绳索、第一承力索吊弦线夹、第二承力索吊弦线夹以及异物对应的第二掩码图，未示出与背景对应的第二掩码图；将该第二特征图输入到该解码网络进行上采样处理，得到第三特征图；对该第三特征图进行卷积处理，得到至少一个第三掩码图。同样该至少一个第三掩码图包括与承力绳索、第一承力索吊弦线夹、第二承力索吊弦线夹、异物以及背景对应的第三掩码图。图5示出了与承力绳索、第一承力索吊弦线夹、第二承力索吊弦线夹以及异物对应的第三掩码图，未示出与背景对应的第三掩码图；然后，对每个第三掩码图进行缩放处理，得到与第二掩码图大小相同的至少一个第四掩码图。示例性的，可以对该第三掩码图进行最大池化处理，得到该至少一个第四掩码图；然后，确定该至少一个第二掩码图与该至少一个第四掩码图之间的KL散度，得到至少一个第一损失；然后，根据该至少一个第三掩码图确定该第一图像中每个像素点的预测类别；确定第一图像中每个像素点的预测类别与该图像标签中记录的每个像素点的真实类别之间的交叉熵损失，得到第二损失；最后，根据该至少一个第一损失以及该第二损失调整该神经网络的网络参数，直至该神经网络收敛，完成对该神经网络的训练。

在一些可能的实施方式中，在对该神经网络完成训练之后，可通过自蒸馏技术，删除该解码网络以及与该解码网络连接的1*1卷积层。这样在对该神经网络进行测试或者应用的过程中，可以降低模型深度，减少计算量。

在测试或者应用该神经网络的阶段，将输入图像输入到编码网络，得到第二特征图；然后，对该第二特征图进行卷积处理，得到与预设类别对应的至少一个第二掩码图；然后，确定该至少一个第二掩码图中与异物对应的目标掩码图；根据该目标掩码图确定该输入图像中包含有异物的概率。

参阅图6，图6本申请实施例提供的一种图像识别装置的功能单元组成框图。图像识别装置600包括：收发单元601和处理单元602，其中：

收发单元601，用于获取第一图像，所述第一图像中包括吊弦；

处理单元602，用于对所述第一图像进行图像分割，得到至少一个第一掩码图；

处理单元602，还用于根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物。

在一些可能的实施方式中，在对所述第一图像进行图像分割，得到至少一个第一掩码图方面，所述处理单元602，具体用于：

对所述第一图像进行特征提取，得到第一特征图；

对所述第一特征图进行第一卷积处理，得到与至少一个预设类别对应的至少一个第一掩码图，其中，预设类别与第一掩码图一一对应，每个第一掩码图包括所述第一掩码图中每个像素点属于与所述第一掩码图对应的预设类别的概率。

在一些可能的实施方式中，在对所述第一图像进行图像分割，得到至少一个第一掩码图方面，处理单元602，具体用于：

对所述第一图像进行特征提取，得到第一特征图；

对所述第一特征图进行上采样处理，得到第二特征图；

对所述第二特征图进行第二卷积处理，得到与至少一个预设类别对应的至少一个第一掩码图，其中，预设类别与第一掩码图一一对应，每个第一掩码图包括所述第一掩码图中每个像素点属于与所述第一掩码图对应的预设类别的概率。

在一些可能的实施方式中，至少一个预设类别包括异物，在根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物方面，处理单元602，具体用于：

确定所述至少一个掩码图中与异物对应的目标第一掩码图；

根据所述目标第一掩码图，得到所述目标第一掩码图中每个像素点属于异物的概率；

根据所述目标第一掩码图中每个像素点属于异物的概率中的最大概率，确定所述吊弦上是否挂载有异物。

在一些可能的实施方式中，所述至少一个预设类别包括异物；

或者，所述至少一个预设类别包括异物和目标物体，所述目标物体包括以下至少一种：背景、吊弦的承力绳索、与吊弦上端所连接的第一承力索吊弦线夹以及与吊弦下端所连接的第二承力索吊弦线夹。

在一些可能的实施方式中，对所述第一图像进行图像分割是通过神经网络执行的，获取单元601，还用于获取图像样本以及样本标签；

处理单元602，还用于将所述图像样本输入到所述神经网络进行图像分割，得到至少一个第二掩码图和至少一个第三掩码图，其中，所述第二掩码图和所述第三掩码图一一对应，且每个第三掩码图的大小大于与所述第三掩码图对应的第二掩码图的大小；根据所述至少一个第三掩码图，确定所述图像样本中每个像素点的预测类别；对所述至少一个第三掩码图中的每个第三掩码图进行缩放处理，得到至少一个第四掩码图，其中，每个所述第四掩码图的大小与所述第四掩码图对应的第二掩码图的大小相同；根据所述至少一个第二掩码图、所述至少一个第四掩码图、所述样本标签以及所述图像样本中每个像素点的预测类别，调整所述神经网络的网络参数。

在一些可能的实施方式中，在根据所述至少一个第一掩码图、所述至少一个第二掩码图、所述样本标签以及所述图像样本中每个像素点的预测类别，调整所述神经网络的网络参数方面，处理单元602，具体用于：

确定所述至少一个第二掩码图中任意一个第二掩码图与所述至少一个第四掩码图中与所述第二掩码图对应的第四掩码图之间的相对熵，得到至少一个第一损失；

根据所述样本标签和所述图像样本中每个像素点的预测类别，得到第二损失；

根据所述至少一个第一损失和所述第二损失，调整所述神经网络的网络参数。

在一些可能的实施方式中，所述神经网络包括编码网络和解码网络，在将所述图像样本输入到所述神经网络进行图像分割，得到至少一个第二掩码图和至少一个第三掩码图方面，处理单元602，具体用于：

通过所述编码网络对所述图像样本进行特征提取，得到第三特征图；

对所述第三特征图进行第三卷积处理，得到所述至少一个第二掩码图；

通过所述解码网络对所述第三特征图进行上采样处理，得到第四特征图；

对所述第四特征图进行第四卷积处理，得到所述至少一个第三掩码图。

在一些可能的实施方式中，处理单元602，还用于对所述神经网络的训练完成后，删除所述解码网络以及所述神经网络中位于所述解码网络之后的其他网络层，删除所述解码网络以及所述神经网络中位于所述解码网络之后的其他网络层的神经网络用于检测吊弦上是否挂载有异物。

在一些可能的实施方式中，所述第一图像为原始图像或者对原始图像中目标候选框中的图像进行截取得到的，所述候选框为对所述原始图像进行目标检测，得到的与所述吊弦对应的候选框，所述原始图像为对高铁线路进行拍摄得到的。

参阅图7，图7为本申请实施例提供的一种电子设备的结构示意图。如图7所示，电子设备700包括收发器701、处理器702和存储器703。它们之间通过总线704连接。存储器703用于存储计算机程序和数据，并可以将存储503存储的数据传输给处理器702。

处理器702用于读取存储器703中的计算机程序执行以下操作：

获取第一图像，所述第一图像中包括吊弦；

对所述第一图像进行图像分割，得到至少一个第一掩码图；

根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物。

在一些可能的实施方式中，在对所述第一图像进行图像分割，得到至少一个第一掩码图方面，处理器702，具体用于执行以下操作：

对所述第一图像进行特征提取，得到第一特征图；

对所述第一特征图进行第一卷积处理，得到与至少一个预设类别对应的至少一个第一掩码图，其中，预设类别与第一掩码图一一对应，每个第一掩码图包括所述第一掩码图中每个像素点属于与所述第一掩码图对应的预设类别的概率。

在一些可能的实施方式中，在对所述第一图像进行图像分割，得到至少一个第一掩码图方面，处理器702，具体用于执行以下操作：

对所述第一图像进行特征提取，得到第一特征图；

对所述第一特征图进行上采样处理，得到第二特征图；

对所述第二特征图进行第二卷积处理，得到与至少一个预设类别对应的至少一个第一掩码图，其中，预设类别与第一掩码图一一对应，每个第一掩码图包括所述第一掩码图中每个像素点属于与所述第一掩码图对应的预设类别的概率。

在一些可能的实施方式中，至少一个预设类别包括异物，在根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物方面，处理器702，具体用于执行以下操作：

确定所述至少一个掩码图中与异物对应的目标第一掩码图；

根据所述目标第一掩码图，得到所述目标第一掩码图中每个像素点属于异物的概率；

根据所述目标第一掩码图中每个像素点属于异物的概率中的最大概率，确定所述吊弦上是否挂载有异物。

在一些可能的实施方式中，所述至少一个预设类别包括异物；

或者，所述至少一个预设类别包括异物和目标物体，所述目标物体包括以下至少一种：背景、吊弦的承力绳索、与吊弦上端所连接的第一承力索吊弦线夹以及与吊弦下端所连接的第二承力索吊弦线夹。

在一些可能的实施方式中，对所述第一图像进行图像分割是通过神经网络执行的，处理器702还用于读取存储器703中的计算机程序执行以下操作：

处理器702控制收发器701获取图像样本以及样本标签；

将所述图像样本输入到所述神经网络进行图像分割，得到至少一个第二掩码图和至少一个第三掩码图，其中，所述第二掩码图和所述第三掩码图一一对应，且每个第三掩码图的大小大于与所述第三掩码图对应的第二掩码图的大小；根据所述至少一个第三掩码图，确定所述图像样本中每个像素点的预测类别；对所述至少一个第三掩码图中的每个第三掩码图进行缩放处理，得到至少一个第四掩码图，其中，每个所述第四掩码图的大小与所述第四掩码图对应的第二掩码图的大小相同；根据所述至少一个第二掩码图、所述至少一个第四掩码图、所述样本标签以及所述图像样本中每个像素点的预测类别，调整所述神经网络的网络参数。

在一些可能的实施方式中，在根据所述至少一个第一掩码图、所述至少一个第二掩码图、所述样本标签以及所述图像样本中每个像素点的预测类别，调整所述神经网络的网络参数方面，处理器702，具体用于执行以下操作：

确定所述至少一个第二掩码图中任意一个第二掩码图与所述至少一个第四掩码图中与所述第二掩码图对应的第四掩码图之间的相对熵，得到至少一个第一损失；

根据所述样本标签和所述图像样本中每个像素点的预测类别，得到第二损失；

根据所述至少一个第一损失和所述第二损失，调整所述神经网络的网络参数。

在一些可能的实施方式中，所述神经网络包括编码网络和解码网络，在将所述图像样本输入到所述神经网络进行图像分割，得到至少一个第二掩码图和至少一个第三掩码图方面，处理器702，具体用于执行以下操作：

通过所述编码网络对所述图像样本进行特征提取，得到第三特征图；

对所述第三特征图进行第三卷积处理，得到所述至少一个第二掩码图；

通过所述解码网络对所述第三特征图进行上采样处理，得到第四特征图；

对所述第四特征图进行第四卷积处理，得到所述至少一个第三掩码图。

在一些可能的实施方式中，处理器702，还用于执行以下操作：

对所述神经网络的训练完成后，删除所述解码网络以及所述神经网络中位于所述解码网络之后的其他网络层，删除所述解码网络以及所述神经网络中位于所述解码网络之后的其他网络层的神经网络用于检测吊弦上是否挂载有异物。

在一些可能的实施方式中，所述第一图像为原始图像或者对原始图像中目标候选框中的图像进行截取得到的，所述候选框为对所述原始图像进行目标检测，得到的与所述吊弦对应的候选框，所述原始图像为对高铁线路进行拍摄得到的。

具体地，上述收发器701可为图6所述的实施例的图像识别装置600的收发单元601，上述处理器702可以为图6所述的实施例的图像识别装置600的处理单元602。

本申请实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种图像识别方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种图像识别方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像识别方法，其特征在于，包括：

获取第一图像，所述第一图像中包括吊弦；

对所述第一图像进行图像分割，得到至少一个第一掩码图，其中，对所述第一图像进行图像分割通过神经网络执行的，所述神经网络包括编码网络和解码网络，所述神经网络通过以下步骤实现：获取图像样本以及样本标签；通过所述编码网络对所述图像样本进行特征提取，得到第三特征图；对所述第三特征图进行第三卷积处理，得到所述至少一个第二掩码图；通过所述解码网络对所述第三特征图进行上采样处理，得到第四特征图；对所述第四特征图进行第四卷积处理，得到所述至少一个第三掩码图；根据所述至少一个第三掩码图，确定所述图像样本中每个像素点的预测类别；对所述至少一个第三掩码图中的每个第三掩码图进行缩放处理，得到至少一个第四掩码图；确定所述至少一个第二掩码图中任意一个第二掩码图与所述至少一个第四掩码图中与所述第二掩码图对应的第四掩码图之间的相对熵，得到至少一个第一损失；根据所述样本标签和所述图像样本中每个像素点的预测类别，得到第二损失；对所述至少一个第一损失和所述第二损失进行加权处理，得到最终损失；根据所述最终损失以及梯度下降法，调整所述神经网络的网络参数；在训练完成之后删除所述神经网络中的解码网络以及所述神经网络中位于所述解码网络之后的其他网络层；

根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行图像分割，得到至少一个第一掩码图，包括：

对所述第一图像进行特征提取，得到第一特征图；

对所述第一特征图进行第一卷积处理，得到与至少一个预设类别对应的至少一个第一掩码图，其中，预设类别与第一掩码图一一对应，每个第一掩码图包括所述第一掩码图中每个像素点属于与所述第一掩码图对应的预设类别的概率。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行图像分割，得到至少一个第一掩码图，包括：

对所述第一图像进行特征提取，得到第一特征图；

对所述第一特征图进行上采样处理，得到第二特征图；

对所述第二特征图进行第二卷积处理，得到与至少一个预设类别对应的至少一个第一掩码图，其中，预设类别与第一掩码图一一对应，每个第一掩码图包括所述第一掩码图中每个像素点属于与所述第一掩码图对应的预设类别的概率。

4.根据权利要求2或3所述的方法，其特征在于，所述至少一个预设类别包括异物，所述根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物，包括：

确定所述至少一个掩码图中与异物对应的目标第一掩码图；

根据所述目标第一掩码图，得到所述目标第一掩码图中每个像素点属于异物的概率；

根据所述目标第一掩码图中每个像素点属于异物的概率中的最大概率，确定所述吊弦上是否挂载有异物。

5.根据权利要求4所述的方法，其特征在于，

所述至少一个预设类别包括异物；

或者，所述至少一个预设类别包括异物和目标物体，所述目标物体包括以下至少一种：背景、吊弦的承力绳索、与吊弦上端所连接的第一承力索吊弦线夹以及与吊弦下端所连接的第二承力索吊弦线夹。

6.根据权利要求1所述的方法，其特征在于，

所述第二掩码图和所述第三掩码图一一对应，且每个第三掩码图的大小大于与所述第三掩码图对应的第二掩码图的大小；

每个所述第四掩码图的大小与所述第四掩码图对应的第二掩码图的大小相同。

7.根据权利要求1所述的方法，其特征在于，

所述第一图像为原始图像或者对原始图像中目标候选框中的图像进行截取得到的，所述候选框为对所述原始图像进行目标检测，得到的与所述吊弦对应的候选框，所述原始图像为对高铁线路进行拍摄得到的。

8.一种图像识别装置，其特征在于，包括：

收发单元，用于获取第一图像，所述第一图像中包括吊弦；

处理单元，用于对所述第一图像进行图像分割，得到至少一个第一掩码图，其中，对所述第一图像进行图像分割通过神经网络执行的，所述神经网络包括编码网络和解码网络，所述神经网络通过以下步骤实现：获取图像样本以及样本标签；通过所述编码网络对所述图像样本进行特征提取，得到第三特征图；对所述第三特征图进行第三卷积处理，得到所述至少一个第二掩码图；通过所述解码网络对所述第三特征图进行上采样处理，得到第四特征图；对所述第四特征图进行第四卷积处理，得到所述至少一个第三掩码图；根据所述至少一个第三掩码图，确定所述图像样本中每个像素点的预测类别；对所述至少一个第三掩码图中的每个第三掩码图进行缩放处理，得到至少一个第四掩码图；确定所述至少一个第二掩码图中任意一个第二掩码图与所述至少一个第四掩码图中与所述第二掩码图对应的第四掩码图之间的相对熵，得到至少一个第一损失；根据所述样本标签和所述图像样本中每个像素点的预测类别，得到第二损失；对所述至少一个第一损失和所述第二损失进行加权处理，得到最终损失；根据所述最终损失以及梯度下降法，调整所述神经网络的网络参数；

所述处理单元，还用于根据所述至少一个第一掩码图，确定所述吊弦上是否挂载有异物。

9.一种电子设备，其特征在于，包括：处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。

Images