CN110751066A - 一种基于语义分割模型的图像状态识别方法、装置和设备 - Google Patents

Abstract

本发明涉及图像识别技术领域，提供了一种基于语义分割模型的图像状态识别方法、装置和图像识别设备，该方法包括：将插销锁图像输入销钉语义分割模型，通过销钉语义分割模型对插销锁图像进行分割后输出语义分割图；将语义分割图输入图像状态识别模型，通过图像状态识别模型识别语义分割图处于销钉缺陷状态或者销钉完整状态，避免使用销钉语义分割模型识别图像处于销钉缺陷状态或者销钉完整状态，语义分割图支持图像状态识别模型快速、准确地识别语义分割图像处于销钉缺陷状态或者销钉完整状态，提高了前述销钉缺陷状态的识别率，有助于缩小前述销钉缺陷状态的识别率与前述销钉完整状态的识别率之间的差距。

Description

一种基于语义分割模型的图像状态识别方法、装置和设备

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于语义分割模型的图像状态识别方法、装置和设备。

背景技术

插销锁是指销钉安装在销座所构成的锁固件，插销锁被广泛应用于紧固不同部件之间的连接处，以防不同部件相互松动，例如：开口销安装在接触网的不同支撑悬挂装置之间连接处的螺母上所构成的插销锁。

插销锁主要存在缺陷状态和完整状态，相比于诸如销钉在销座上松脱和销钉紧固在销座上等完整状态，缺陷状态尤为严重的影响了插销锁的锁固性能，为了确保插销锁的锁固性能，往往以人工巡检方式人为监控插销锁处于缺陷状态或完整状态，人工巡检方式需要巡检人员投入大量人力和时间，面对大量插销锁，插销锁的监控效率低。

为了节省巡检人员所需投入的大量人力和时间，依据以下三种图像识别算法识别针对插销锁拍摄的图像处于销钉缺陷状态或销钉完整状态：其一，依据灰度投影算法对图像进行灰度值分析；其二，依据图像形态算法对图像进行形态分析；其三，基于已训练的图像分割算法对图像进行识别；依据以上三种图像识别算法可以自动获得用以表征图像处于销钉缺陷状态或销钉完整状态的结果，实现智能化监控插销锁处于缺陷状态或完整状态，相比于人工巡检方式，以上三种图像识别算法提高了插销锁处于缺陷状态或完整状态的监控效率。

然而，受限于图像清晰度和预处理程序(预处理程序诸如尺度归一化和旋转归一化等)等因素，灰度投影算法难以兼顾图像的分析精度和分析效率；受限于插销锁处于缺陷状态与处于完整状态的结构差异程度和图像的拍摄角度等因素，在图像上分别与销钉对应的区域和与销座对应的区域所呈现的形态特征具有较强随机性，相比于具有不明显形态特征的图像，图像形态算法更适用于分析具有明显形态特征的图像，导致依据图像形态算法识别图像处于销钉缺陷状态和销钉完整状态具有较差的普适性；图像分割算法需要以样本集预先训练获得，由于插销锁处于缺陷状态的概率很小，样本集中很少处于销钉缺陷状态的图像，所以处于销钉缺陷状态的图像和处于销钉完整状态的图像在样本集中极度不平衡，使得训练后的图像分割算法识别图像处于销钉缺陷状态的性能差，相比于销钉完整状态，使用训练后的图像分割算法识别出销钉缺陷状态的概率偏低。

发明内容

针对现有技术中使用训练后的图像分割算法识别图像处于销钉缺陷状态的概率偏低的问题，本发明提供一种基于语义分割模型的图像状态识别方法、装置和设备。

本发明第一方面提供一种基于语义分割模型的图像状态识别方法，包括以下步骤：

将插销锁图像输入销钉语义分割模型，通过所述销钉语义分割模型对所述插销锁图像进行分割后输出语义分割图；

将所述语义分割图输入图像状态识别模型，通过所述图像状态识别模型识别所述语义分割图处于销钉缺陷状态或者销钉完整状态。

本发明第二方面提供一种基于语义分割模型的图像状态识别装置，包括：

语义分割模块，用于将插销锁图像输入销钉语义分割模型，通过所述销钉语义分割模型对所述插销锁图像进行分割后输出语义分割图；

状态识别模块，用于将所述语义分割图输入图像状态识别模型，通过所述图像状态识别模型识别所述语义分割图处于销钉缺陷状态或者销钉完整状态。

本发明第三方面提供一种图像识别设备，包括：存储器和与所述存储器耦合的处理器，所述存储器可被配置存储至少一条指令或至少一段程序或代码集或指令集，所述指令或所述程序或所述代码集或所述指令集由所述处理器加载并执行以实现如第一方面所述基于语义分割模型的图像状态识别方法所执行的操作步骤。

本发明提供的基于语义分割模型的图像状态识别方法、装置和图像识别设备的有益效果是：使用销钉语义分割模型可以按照像素块在插销锁图像上表达出的销钉语义进行高效地分割，既为销钉语义分割模型输出语义分割图节省时间，也使得表达销钉语义的像素块突出地呈现在语义分割图上，使用不同于销钉语义分割模型的图像状态识别模型识别语义分割图所处的图像状态，避免使用销钉语义分割模型识别销钉缺陷状态或者销钉完整状态，语义分割图呈现的表达销钉语义的像素块，支持了图像状态识别模型快速、准确地识别语义分割图像处于销钉缺陷状态或者销钉完整状态，提高了前述销钉缺陷状态的识别率，有助于缩小前述销钉缺陷状态的识别率与前述销钉完整状态的识别率之间的差距。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于语义分割模型的图像状态识别方法的流程示意图；

图2为本发明实施例提供的一副处于销钉缺陷状态的插销锁图像；

图3为本发明实施例提供的一幅处于销钉缺陷状态的语义分割图；

图4为本发明实施例提供的另一幅处于销钉缺陷状态的语义分割图；

图5为本发明实施例提供的的一副处于销钉完整状态的插销锁图像；

图6为本发明实施例提供的一副处于销钉完整状态的语义分割图；

图7为对应于图6所示的语义分割图呈现有定位窗口的示意图；

图8为本发明实施例提供的另一副处于销钉完整状态的语义分割图；

图9为本发明实施例提供的一幅销钉粘连图；

图10为对应于图8中的钉尾区域和钉头区域分别在销钉粘连图上旋转变换后得到的两个旋转区域的示意图；

图11为本发明实施例提供的另一种基于语义分割模型的图像状态识别装置的结构示意图；

图12为本发明实施例提供的另一种基于语义分割模型的图像状态识别装置的结构示意图；

图13为本发明实施例提供的另一种基于语义分割模型的图像状态识别装置的结构示意图；

图14为本发明实施例提供的一种图像识别设备的通信原理图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

如图1所示，基于语义分割模型的图像状态识别方法包括以下步骤：将插销锁图像输入销钉语义分割模型，通过销钉语义分割模型对插销锁图像进行分割后输出语义分割图；将语义分割图输入图像状态识别模型，通过图像状态识别模型识别语义分割图处于销钉缺陷状态或者销钉完整状态。

在一些具体方式中，基于语义分割模型的图像状态识别方法可以由运行在服务器或者智能终端中的图像识别程序执行实现，智能终端诸如智能手机、笔记本电脑和台式电脑等。

在一些具体方式中，销钉语义分割模型是利用样本集训练Deeplabv3+模型后得到，样本集可以包括处于销钉缺陷状态的插销锁图像和处于销钉缺陷状态的插销锁图像，使用销钉语义分割模型可以按照像素块在插销锁图像上表达出的销钉语义进行高效地分割，既为销钉语义分割模型输出语义分割图节省时间，也使表达销钉语义的像素块和表达非销钉语义的像素块差异化呈现在语义分割图上，表达销钉语义的像素块突出地呈现在语义分割图上。

如图2所示为处于销钉缺陷状态的插销锁图像，如图3所示为销钉语义分割模型对图2所示的插销锁图像进行分割后输出的一幅处于销钉缺陷状态的语义分割图，如图4所示为另一幅处于销钉缺陷状态的语义分割图，如图5所示为处于销钉完整状态的插销锁图像，如图6所示为销钉语义分割模型对图5所示的插销锁图像进行分割后输出的一幅处于销钉完整状态的语义分割图。

在销钉语义分割模型输出语义分割图之后，使用不同于销钉语义分割模型的图像状态识别模型识别语义分割图所处的图像状态，避免使用销钉语义分割模型识别销钉缺陷状态或者销钉完整状态，语义分割图支持图像状态识别模型快速、准确地识别语义分割图像处于销钉缺陷状态或者销钉完整状态，提高了前述销钉缺陷状态的识别率，有助于缩小前述销钉缺陷状态的识别率与前述销钉完整状态的识别率之间的差距，其中，图像状态识别模型可以采用图像形态算法，语义分割图突出地呈现表达销钉语义的像素块，使图像形态算法普遍适用于分析语义分割图，本领域技术人员依据现有技术可以获知图像形态算法分析语义分割图的具体方式，此处不再赘述。

作为可选的实施方式，通过图像状态识别模型识别语义分割图处于销钉缺陷状态或者销钉完整状态，具体包括：验证语义分割图是否分区共存有至少一个钉尾区域和至少一个钉头区域，若否，则识别语义分割图处于销钉缺陷状态，若是，则根据至少一个钉尾区域和至少一个钉头区域识别语义分割图处于销钉完整状态。

在插销锁中，完整的销钉具有钉尾、钉头以及位于钉尾和钉头之间的钉杆，钉杆插在销座内，销座会遮挡住钉杆，不会遮挡钉尾和钉头，为插销锁拍摄的插销锁图像可以呈现呈与钉尾所对应的第一像素块和与钉头所对应的第二像素块，语义分割图上可以呈现对第一像素块分割后对应产生的钉尾区域和对第二像素块分割后对应产生的钉头区域。

受一些因素限制，语义分割图可能缺失钉尾区域或/和钉头区域，例如：当完整的销钉遭受破坏时，相比于钉杆，钉尾或/和钉头更容易受损而发生残缺问题，使得销钉出现残缺状态，销钉处于残缺状态下，为插销锁拍摄的插销锁图像不能呈现第一像素块或/和第二像素块，从而，销钉语义分割模型也不能将第一像素块或/和第二像素块分割为对应的钉头区域或/和钉尾区域；或者，由于插销锁图像的拍摄角度限制，导致第一像素块重叠在第二像素块上，从而，销钉语义分割模型无法将第二像素块分割为钉尾区域；或者，由于销钉语义分割模型存在缺陷，导致销钉语义分割模型不能将第一像素块或/和第二像素块分割为对应的钉头区域或/和钉尾区域。

通过图像状态识别模型只需要验证钉头区域和钉尾区域分区分布在语义分割图上的共存性，且将语义分割图缺失钉头区域或/和钉尾区域作为语义分割图处于销钉缺陷状态的识别条件，以及将语义分割图分区共存有钉头区域和钉尾区域作为销钉完整状态的识别条件，克服了因销钉本身遭受破坏、插销锁图像的拍摄角度和语义分割图像存在缺陷等因素而造成图像状态识别模型无法识别语义分割图处于销钉缺陷状态或者销钉完整状态，提高了语义分割图处于销钉缺陷状态或者销钉完整状态的识别率，图像状态识别模型无需验证语义分割图有无缺少与销杆所对应的区域，简化了语义分割图的识别过程，有助于提高语义分割图处于销钉缺陷状态或者销钉完整状态的识别效率，图像状态识别模型可以采用基于连通域分析的状态验证算法。

作为可选的实施方式，验证语义分割图是否分区共存有至少一个钉尾区域和至少一个钉头区域，具体包括：当语义分割图无表达钉尾语义的至少一个第一连通域或/和表达钉头语义的至少一个第二连通域时，则验证语义分割图缺失钉头区域或/和钉尾区域；当语义分割图分区共存有至少一个第一连通域和至少一个第二连通域时，分别获取第一预设像素阈值、第二预设像素阈值和预设长度阈值；分别计量各个第一连通域所囊括的第一像素个数；验证各个第一连通域中是否存在超过第一预设像素阈值的第一像素个数，若否，则识别语义分割图缺失钉尾区域，若是，则将超过第一预设像素阈值的第一像素个数所属的第一连通域归类为对应的钉尾区域；根据钉尾区域分别计量各个第二连通域所囊括的第二像素个数；验证各个第二连通域中是否存在超过第二预设像素阈值的第二像素个数，若否，则验证语义分割图缺失钉头区域，若是，则在语义分割图上分别定位与各个超过第二预设像素阈值的第二像素个数所属的第二连通域外接的最小窗口；验证是否存在总边长超过预设长度阈值的最小窗口，若否，则验证语义分割图缺失钉头区域，若是，则将总边长超过预设长度阈值的最小窗口所对应的第二连通域归类为对应的钉头区域。

在一些具体方式中，销钉包括开口销，语义分割图呈现表达开口销的销尾语义的第一连通域在形状方面具有多样性且表达开口销的销头语义的第二连通域在形状方面呈圆形，按照从先到后的顺序验证语义分割图是否分区共存有钉尾区域和钉头区域、验证是否存在超过第一预设像素阈值的第一像素个数、验证是否存在超过第二预设像素阈值的第二像素个数以及验证是否存在总边长超过预设长度阈值的最小窗口，有助于简化语义分割图是否分区共存有钉尾区域和钉头区域的验证流程，提高语义分割图的验证效率。

在一些具体方式中，语义分割图是彩色图像，该彩色图像以绿色标示钉尾语义、以蓝色标示钉头语义和以黑色标示非销钉语义，如果彩色图像不存在以绿色标示的第一连通域或/和以蓝色标示的第二连通域，则返回用于表征语义分割图缺失钉头区域或/和钉尾区域的第一验证结果，并将该第一验证结果用作语义分割图处于销钉缺陷状态的识别条件，通过识别该销钉缺陷状态的方式可以停止语义分割图是否分区共存有钉尾区域和钉头区域的验证过程，该第一验证结果可以包括0或者flase；如果彩色图像分区共存以绿色标示的第一连通域和以蓝色标示的第二连通域，则返回用于表征语义分割图分区共存有钉头区域和钉尾区域的第二验证别结果，并将第二验证别结果用作图像状态识别模型分别计量每个第一连通域中像素的触发条件，获得每个第一连通域所囊括的第一像素个数，该第二验证别结果可以包括1或者true。

在一些具体方式中，第一预设像素阈值、第二预设像素阈值和预设长度阈值均预先定义在图像状态识别模型中，第一预设像素阈值可以在0个-3个范围，第二预设像素阈值可以在0个-10个范围，预设长度阈值可以在20mm-40mm之间，例如：第一预设像素阈值为0个、第二预设像素阈值为3个和预设长度阈值24mm。

在一些具体方式中，将每个第一像素个数与第一预设像素阈值逐一进行比较；当每个第一像素个数均小于或等于第一预设像素阈值时，则忽略每个第一像素个数及该第一像素个数所属的第一连通域，在最后一个第一像素个数与第一预设像素阈值比较结束时，返回用以表征每个第一像素个数均不超过第一预设像素阈值的第三验证结果，并将该第三验证结果用作语义分割图缺失钉尾区域的识别条件，通过识别语义分割图缺失钉尾区域的方式可以停止语义分割图是否分区共存有钉尾区域和钉头区域的验证过程；当有第一像素个数大于第一预设像素阈值时，则记录超过第一预设像素阈值的第一像素个数，在最后一个第一像素个数与第一预设像素阈值比较结束时，返回用以表征有第一像素个数超过第一预设像素阈值的第四验证结果，并将第四验证结果用作将超过第一预设像素阈值的第一像素个数所属的第一连通域归类为对应的钉尾区域的触发条件，排除了不超过第一预设像素阈值的第一像素个数所属的第一连通域对钉尾区域产生归类干扰，提高了钉尾区域的识别精度和识别效率。

在一些具体方式中，当有第一连通域被归类为对应的钉尾区域时，将该钉尾区域用作分别计量每个第二连通域中像素的触发条件，以获得每个第二连通域所囊括的第二像素个数，将每个第二像素个数与第二预设像素阈值逐一进行比较；当每个第二像素个数均小于或等于第二预设像素阈值时，则忽略每个第二像素个数及该第二像素个数所属的第二连通域，在最后一个第二像素个数与第二预设像素阈值比较结束时，返回用以表征所有第二像素个数不超过第二预设像素阈值的第五验证结果，并将该第五验证结果用作语义分割图缺失钉头区域的识别条件，通过识别语义分割图缺失钉头区域的方式可以停止语义分割图是否分区共存有钉尾区域和钉头区域的验证过程；当有第二像素个数大于第二预设像素阈值时，则记录超过第二预设像素阈值的第二像素个数，在最后一个第二像素个数与第二预设像素阈值比较结束时，返回用以表征有第二像素个数超过第二预设像素阈值的第六验证结果，并将该第六验证结果用作从超过第二预设像素阈值的所有第二像素个数中确定最大像素个数的触发条件，在语义分割图上只需定位与该最大像素个数所属的第二连通域外接的最小窗口，排除了不超过第二预设像素阈值的第二像素个数所属的第二连通域对最小窗口产生定位干扰，提高了最小窗口的识别精度和识别效率。

需要说明的是，最小窗口为能够囊括对应的第二连通域且面积最小的定位窗口，该定位窗口可以呈正方形或者长方形或者圆形，如图7所示为呈长方形的前述定位窗口呈现在图6所示的语义分割图上。

在一些具体方式中，计量与最大像素个数所属的第二连通域外接的最小窗口上的总边长，将总边长与预设长度阈值进行比较；当前述总边长小于或等于预设长度阈值时，说明每个第二连通域的形状均非圆形，则返回用以表征语义分割图缺失钉头区域的第七验证结果，第七验证结果可以作为停止语义分割图是否分区共存有钉尾区域和钉头区域这一验证过程的控制条件；当前述总边长大于预设长度阈值时，说明存在第二连通域的形状呈圆形，则返回用以表征语义分割图存在钉头区域的第八验证结果，将该第八验证结果用作将囊括最大像素个数的一个第二连通域归类为钉头区域的触发条件，有效排除了不超过第二预设像素阈值的第二像素个数所属的第二连通域对钉头区域产生归类干扰，提高了钉头区域的识别精度和识别效率。

作为可选的实施方式，根据至少一个钉尾区域和至少一个钉头区域识别语义分割图像处于销钉完整状态，具体包括：验证各个钉尾区域是否属于与至少一个钉头区域粘连的松脱区域，若否，则将松脱状态归类为销钉完整状态，若是，则将紧固状态归类为销钉完整状态。

在一些情形下，销杆会从插入销座内松脱出销座外，相应地，插销锁图像能够呈现与销杆松脱出销座的部分所对应的第三像素块，语义分割模型会将该第三像素块自动分割为钉尾区域。

相比于插销锁图像处于销钉完整状态的传统识别方式，通过验证有无钉尾区域属于松脱区域的方式将销钉完整状态细分为松脱状态或者紧固状态，提高了销钉完整状态的识别精度和图像状态识别模型所处图像状态的自动化识别能力。

作为可选的实施方式，验证各个钉尾区域是否属于与至少一个钉头区域粘连的松脱区域，具体包括：分别定位各个钉尾区域的第一像素边界和各个钉头区域的第二像素边界；当任意一个第一像素边界无粘连任意一个第二像素边界的像素时，则验证对应第一像素边界所属的钉尾区域与对应第二像素边界所属的钉头区域互不粘连；当至少一个第一像素边界囊括粘连至少一个第二像素边界的像素时，则验证对应第一像素边界所属的钉尾区域与对应第二像素边界所属的钉头区域互为粘连；将互有粘连的钉尾区域和钉头区域提取至预设背景图，获得对应的销钉粘连图；在销钉粘连图上定位钉尾区域所囊括的第一像素边界与钉头区域所囊括的第二像素边界之间的最长直线；在销钉粘连图上根据最长直线将与钉头区域粘连的钉尾区域验证为紧固区域或者松脱区域。

在一些具体方式中，图像状态识别模型预定义有欧式距离计算公式，采用该欧式距离计算公式计算第一像素边界上的每个像素与第二像素边界上的每个像素之间的第一欧式距离，对所有第一欧式距离进行升序，获得欧式距离序列，验证位于该欧式距离序列最后一位的最小欧式距离是否等于0；当最小欧式距离不等于0时，则认定在该最小欧式距离所属的第一像素边界上无粘连第二像素边界的像素，此时，该像素所属的钉尾区域粘连钉头区域；当最小欧式距离等于0时，则将该最小欧式距离所属的第一像素边界上的像素认定为对应的粘连第一像素边界和第二像素边界的像素，此时，该像素所属的钉尾区域粘连钉头区域。

在一些具体方式中，如图8所示，语义分割图包括钉尾区域1、钉尾区域2和钉头区域3，钉尾区域1与钉头区域3呈相离分布，钉尾区域1所囊括的第一像素边界与钉头区域3所囊括的第二像素边界互不粘连，钉尾区域1与钉头区域3呈邻近分布，钉尾区域2所囊括的第一像素边界与前述第二像素边界互有粘连，其中，钉尾区域2所囊括的第一像素边界包括粘连前述第二像素边界的第一像素点21。

在一些具体方式中，如图9所示，按照排列在前述欧式距离序列第一位的最长欧式距离，在语义分割图上分别定位在钉尾区域2所属的第一像素边界上的第二像素点22和在钉头区域3所属的第二像素边界上的第三像素点31，将第二像素点22与第三像素点31之间的直线连线作为最长直线，并将该最长直线以虚线形式标定在语义分割图上，第二像素点22为距离钉头区域3所属的第二像素边界最远的像素，第三像素点31为距离钉尾区域2所属的第一像素边界最远的像素，最长直线的长度等于前述最长欧式距离。

在一些具体方式中，预设背景图的背景色呈黑色，预设背景图与语义分割图之间的尺寸比例可以为1:4；销钉粘连图呈现钉尾区域的颜色与语义分割图呈现钉尾区域的颜色保持相同，销钉粘连图呈现钉头区域的颜色与语义分割图呈现钉尾区域的颜色保持相同。

通过验证每个第一像素边界与每个第二像素边界均互不粘连的方式可以及时停止钉尾区域有无松脱区域的验证过程，通过验证有第一像素边界与第二像素边界粘连的方式保证了持续钉尾区域有无松脱区域的验证过程，避免了在无第一像素边界与第二像素边界粘连的情形下持续钉尾区域有无松脱区域的验证过程，既有助于提高钉尾区域的验证效率，也有助于提升图像状态识别模型验证钉尾区域有无松脱区域的可靠性。

在第一像素边界与第二像素边界互有粘连的情形下，图像状态模型才会将呈现在语义分割图上且互有粘连的钉尾区域和钉头区域提取至预设背景图，得到销钉粘连图，避免了在每个第一像素边界与每个第二像素边界均互不粘连的情形下也获得销钉粘连图，支持以简单方式获得销钉粘连图，保证了获取销钉粘连图的准确性和效率，依据销钉粘连图和最长直线将与钉头区域粘连的钉尾区域细分为紧固区域或者松脱区域，有助于提高钉尾区域的验证精度。

作为可选的实施方式，在销钉粘连图上根据最长直线将与钉头区域粘连的钉尾区域验证为紧固区域或者松脱区域，具体包括：分别获取第一旋转矩阵和预设比率；计量最长直线在销钉粘连图上的倾斜角度；根据倾斜角度将第一旋转矩阵更新为第二旋转矩阵；根据第二旋转矩阵分别将互有粘连的钉尾区域和钉头区域旋转变换为对应的第一旋转区域和第二旋转区域；分别计量第一旋转区域在销钉粘连图的直线方向上的第一长度和第二旋转区域在销钉粘连图的直线方向上的第二长度，以及第一长度与第二长度之间的比值；当比值小于或等于预设比率时，将与钉头区域粘连的钉尾区域归类为紧固区域；当比值大于预设比率时，将与钉头区域粘连的钉尾区域归类为松脱区域。

在一些具体方式中，第一旋转矩阵和预设比率分别预先定义在图像状态识别模型中，计量最长直线与沿着销钉粘连图的横向边之间的夹角，将该夹角作为最长线在销钉粘连图上的倾斜角度，将该倾斜角度更新至第一旋转矩阵后得到第二旋转矩阵，第一旋转矩阵会随着销钉粘连图呈现钉尾区域与钉头区域之间的位置关系而发生适应性更新，相比于第一旋转矩阵，第二旋转矩阵更为精确，也更适用于精确地对呈现在销钉粘连图上的钉尾区域与钉头区域进行旋转变换，有助于提高旋转变换的精度和对销钉粘连图的普适性，第二旋转矩阵可以用以分别对钉尾区域和钉头区域进行仿射变换，以获得与钉尾区域所对应的第一旋转区域和与钉头区域对应的第二旋转区域。

在一些具体方式中，如图10所示，将销钉粘连图的横向作为直线方向，采用投影法计量第一旋转区域沿着前述横向的第一长度和第二旋转区域沿着前述横向的第二长度，将第一长度记为Dg，将第二长度记为Db。

在一些具体方式中，图像状态识别模型还预先定义有比率计算公式和预设比率，该比率计算公式表示为rate＝Dg/Db，其中，rate表示第一长度与第二长度之间的比值，Dg表示第一长度，Db表示第二长度；将rate与预设比率进行比较，当_rate小于或等于预设比率时，将销钉粘连图呈现粘连于钉头区域的钉尾区域验证为紧固区域；当rate大于预设比率时，将前述钉尾区域归类为松脱区域，预设比率可以在0-0.25范围，例如：rate＝0.85且预设比率为0.25即可将前述钉尾区域归类为松脱区域，避免了在前述比值大于预设比率的条件下将前述钉尾区域误归类为紧固区域，提高了前述钉尾区域的归类精度，保证了前述钉尾区域的归类效率。

实施例二

如图11所示，基于语义分割模型的图像状态识别装置包括：语义分割模块，用于将插销锁图像输入销钉语义分割模型，通过销钉语义分割模型对插销锁图像进行分割后输出语义分割图；状态识别模块，用于将语义分割图输入图像状态识别模型，通过图像状态识别模型识别语义分割图处于销钉缺陷状态或者销钉完整状态。

作为可选的实施方式，如图12所示，状态识别模块具体包括：第一识别子模块和第二识别子模块。

第一识别子模块，用于验证语义分割图是否分区共存有至少一个钉尾区域和至少一个钉头区域；当语义分割图缺失钉尾区域或/和钉头区域时，则识别语义分割图处于销钉缺陷状态。

第一识别子模块具体用于：当语义分割图无表达钉尾语义的至少一个第一连通域或/和表达钉头语义的至少一个第二连通域时，则验证语义分割图缺失钉头区域或/和钉尾区域；当语义分割图分区共存有至少一个第一连通域和至少一个第二连通域时，分别获取第一预设像素阈值、第二预设像素阈值和预设长度阈值；分别计量各个第一连通域所囊括的第一像素个数；验证各个第一连通域中是否存在超过第一预设像素阈值的第一像素个数，若否，则识别语义分割图缺失钉尾区域，若是，则将超过第一预设像素阈值的第一像素个数所属的第一连通域归类为对应的钉尾区域；根据钉尾区域分别计量各个第二连通域所囊括的第二像素个数；验证各个第二连通域中是否存在超过第二预设像素阈值的第二像素个数，若否，则验证语义分割图缺失钉头区域，若是，则在语义分割图上分别定位与各个超过第二预设像素阈值的第二像素个数所属的第二连通域外接的最小窗口；验证是否存在总边长超过预设长度阈值的最小窗口，若否，则验证语义分割图缺失钉头区域，若是，则将总边长超过预设长度阈值的最小窗口所对应的第二连通域对应归类为钉头区域。

第二识别子模块，用于当语义分割图分区共存有至少一个钉尾区域和至少一个钉头区域时，则根据至少一个钉尾区域和至少一个钉头区域识别语义分割图处于销钉完整状态。

第二识别子模块具体用于：当语义分割图分区分区共存有至少一个钉尾区域和至少一个钉头区域时，则验证各个钉尾区域是否属于与至少一个钉头区域粘连的松脱区域，若否，则将松脱状态归类为销钉完整状态，若是，则将紧固状态归类为销钉完整状态。

作为可选的实施方式，如图13所示，第二识别子模块具体包括：边界定位单元、粘连识别单元、区域提取单元、直线定位单元和松固识别单元。

边界定位单元，用于当语义分割图分区共存有至少一个钉尾区域和至少一个钉头区域时，则分别定位各个钉尾区域的第一像素边界和各个钉头区域的第二像素边界。

粘连识别单元，用于当任意一个第一像素边界无粘连任意一个第二像素边界的像素时，则验证对应第一像素边界所属的钉尾区域与对应第二像素边界所属的钉头区域互不粘连；当至少一个第一像素边界囊括粘连至少一个第二像素边界的像素时，则验证对应第一像素边界所属的钉尾区域与对应第二像素边界所属的钉头区域互为粘连。

区域提取单元，用于将互有粘连的钉尾区域和钉头区域提取至预设背景图，获得对应的销钉粘连图。

直线定位单元，用于在销钉粘连图上定位钉尾区域所囊括的第一像素边界与钉头区域所囊括的第二像素边界之间的最长直线。

松固识别单元，用于在销钉粘连图根据最长直线将与钉头区域粘连的钉尾区域验证为为紧固区域或者松脱区域。

松固识别单元具体用于：分别获取第一旋转矩阵和预设比率；计量最长直线在销钉粘连图上的倾斜角度；根据倾斜角度将第一旋转矩阵更新为第二旋转矩阵；根据第二旋转矩阵分别将互有粘连的钉尾区域和钉头区域旋转变换为对应的第一旋转区域和第二旋转区域；分别计量第一旋转区域在销钉粘连图的直线方向上的第一长度和第二旋转区域在销钉粘连图的直线方向上的第二长度，以及第一长度与第二长度之间的比值；当比值小于或等于预设比率时，将与钉头区域粘连的钉尾区域归类为紧固区域；当比值大于预设比率时，将与钉头区域粘连的钉尾区域归类为松脱区域。

实施例三

如图14所示，图像识别设备包括：存储器和通过通信总线与存储器耦合的处理器，存储器可被配置存储至少一条指令或至少一段程序或代码集或指令集，指令或程序或所述代码集或指令集由处理器加载并执行以实现实施例一中基于语义分割模型的图像状态识别方法所执行的操作步骤。

在一些具体方式中，图像识别设备可以包括服务器或者智能终端中任一种，智能终端包括移动终端和PC终端中的任一种。

读者应理解，在本说明书的描述中，参考术语“方面”、“实施例”和“实施方式”等的描述意指结合该实施例或示例描述的具体特征、步骤或者特点包含于本发明的至少一个实施例或示例中，术语“第一”和“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”和“第二”等的特征可以明示或者隐含地包括至少一个该特征。

在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例，描述的具体特征、步骤或者特点可以在一个或多个具体实例或示例中以合适的方式结合，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同具体实例或示例并不同实施例或示例的特征进行结合或/和组合。

Claims (10)

1.一种基于语义分割模型的图像状态识别方法，其特征在于，包括：

将插销锁图像输入销钉语义分割模型，通过所述销钉语义分割模型对所述插销锁图像进行分割后输出语义分割图；

将所述语义分割图输入图像状态识别模型，通过所述图像状态识别模型识别所述语义分割图处于销钉缺陷状态或者销钉完整状态。

2.根据权利要求1所述基于语义分割模型的图像状态识别方法，其特征在于，通过所述图像状态识别模型识别所述语义分割图处于销钉缺陷状态或者销钉完整状态，具体包括：

验证所述语义分割图是否分区共存至少一个钉尾区域和至少一个钉头区域，若否，则识别所述语义分割图处于所述销钉缺陷状态，若是，则根据至少一个所述钉尾区域和至少一个所述钉头区域识别所述语义分割图处于所述销钉完整状态。

3.根据权利要求2所述基于语义分割模型的图像状态识别方法，其特征在于，验证所述语义分割图是否分区共存至少一个所述钉尾区域和至少一个所述钉头区域，具体包括：

当所述语义分割图无表达钉尾语义的至少一个第一连通域或/和表达钉头语义的至少一个第二连通域时，则验证所述语义分割图缺失所述钉头区域或/和所述钉尾区域；

当所述语义分割图分区共存至少一个所述第一连通域和至少一个所述第二连通域时，分别获取第一预设像素阈值、第二预设像素阈值和预设长度阈值；

分别计量各个所述第一连通域所囊括的第一像素个数；

验证各个所述第一连通域中是否存在超过所述第一预设像素阈值的所述第一像素个数，若否，则识别所述语义分割图缺失所述钉尾区域，若是，则将超过所述第一预设像素阈值的所述第一像素个数所属的所述第一连通域归类为对应的所述钉尾区域；

根据所述钉尾区域分别计量各个所述第二连通域所囊括的第二像素个数；

验证各个所述第二连通域中是否存在超过所述第二预设像素阈值的所述第二像素个数，若否，则验证所述语义分割图缺失所述钉头区域，若是，则在所述语义分割图上分别定位与各个超过所述第二预设像素阈值的所述第二像素个数所属的所述第二连通域外接的最小窗口；

验证是否存在总边长超过所述预设长度阈值的所述最小窗口，若否，则验证所述语义分割图缺失所述钉头区域，若是，则将所述总边长超过所述预设长度阈值的所述最小窗口所对应的所述第二连通域归类为对应的所述钉头区域。

4.根据权利要求2或3所述基于语义分割模型的图像状态识别方法，其特征在于，根据至少一个所述钉尾区域和至少一个所述钉头区域识别所述语义分割图处于所述销钉完整状态，具体包括：

验证各个所述钉尾区域是否属于与至少一个所述钉头区域粘连的松脱区域，若否，则将松脱状态归类为所述销钉完整状态，若是，则将紧固状态归类为所述销钉完整状态。

5.根据权利要求4所述基于语义分割模型的图像状态识别方法，其特征在于，验证各个所述钉尾区域是否属于与至少一个所述钉头区域粘连的松脱区域，具体包括：

分别定位各个所述钉尾区域的第一像素边界和各个所述钉头区域的第二像素边界；

当任意一个所述第一像素边界无粘连任意一个所述第二像素边界的像素时，则验证对应所述第一像素边界所属的所述钉尾区域与对应所述第二像素边界所属的所述钉头区域互不粘连；

当至少一个所述第一像素边界囊括粘连至少一个所述第二像素边界的像素时，则验证对应所述第一像素边界所属的所述钉尾区域与对应所述第二像素边界所属的所述钉头区域互为粘连；

将互为粘连的所述钉尾区域和所述钉头区域提取至预设背景图，获得对应的销钉粘连图；

在所述销钉粘连图上定位所述钉尾区域所囊括的所述第一像素边界与所述钉头区域所囊括的所述第二像素边界之间的最长直线；

在所述销钉粘连图上根据所述最长直线将与所述钉头区域粘连的所述钉尾区域验证为紧固区域或者所述松脱区域。

6.根据权利要求5所述基于语义分割模型的图像状态识别方法，其特征在于，在所述销钉粘连图上根据所述最长直线将与所述钉头区域粘连的所述钉尾区域验证为紧固区域或者所述松脱区域，具体包括：

分别获取第一旋转矩阵和预设比率；

计量所述最长直线在所述销钉粘连图上的倾斜角度；

根据所述倾斜角度将所述第一旋转矩阵更新为第二旋转矩阵；

根据所述第二旋转矩阵在销钉粘连图上分别将互为粘连的所述钉尾区域和所述钉头区域旋转变换为对应的第一旋转区域和第二旋转区域；

分别计量所述第一旋转区域在所述销钉粘连图的直线方向上的第一长度和所述第二旋转区域在所述销钉粘连图的直线方向上的第二长度，以及所述第一长度与所述第二长度之间的比值；

当所述比值小于或等于所述预设比率时，将与所述钉头区域粘连的所述钉尾区域归类为所述紧固区域；

当所述比值大于所述预设比率时，将与所述钉头区域粘连的所述钉尾区域归类为所述松脱区域。

7.一种基于语义分割模型的图像状态识别装置，其特征在于，包括：

语义分割模块，用于将插销锁图像输入销钉语义分割模型，通过所述销钉语义分割模型对所述插销锁图像进行分割后输出语义分割图；

状态识别模块，用于将所述语义分割图输入图像状态识别模型，通过所述图像状态识别模型识别所述语义分割图处于销钉缺陷状态或者销钉完整状态。

8.根据权利要求7所述基于语义分割模型的图像状态识别装置，其特征在于，所述图像状态验证模块具体包括：

第一识别子模块，用于验证所述语义分割图是否分区共存至少一个钉尾区域和至少一个钉头区域；当所述语义分割图缺失所述钉尾区域或/和所述钉头区域时，则识别所述语义分割图处于所述销钉缺陷状态；

第二识别子模块，用于当所述语义分割图分区共存至少一个所述钉尾区域和至少一个所述钉头区域时，则根据至少一个所述钉尾区域和至少一个所述钉头区域识别所述语义分割图处于所述销钉完整状态。

9.根据权利要求8所述基于语义分割模型的图像状态识别装置，其特征在于，所述第一识别子模块具体用于：

当所述语义分割图无表达钉尾语义的至少一个第一连通域或/和表达钉头语义的至少一个第二连通域时，则验证所述语义分割图缺失所述钉头区域或/和所述钉尾区域，并识别所述语义分割图处于所述销钉缺陷状态；

当所述语义分割图共存至少一个所述第一连通域和至少一个所述第二连通域时，分别获取第一预设像素阈值、第二预设像素阈值和预设长度阈值；

分别计量各个所述第一连通域所囊括的第一像素个数；

验证各个所述第一连通域中是否存在超过所述第一预设像素阈值的所述第一像素个数，若否，则识别所述语义分割图缺失所述钉尾区域，若是，则将超过所述第一预设像素阈值的所述第一像素个数所属的所述第一连通域归类为对应的所述钉尾区域；

根据所述钉尾区域分别计量各个所述第二连通域所囊括的第二像素个数；

验证各个所述第二连通域中是否存在超过所述第二预设像素阈值的所述第二像素个数，若否，则验证所述语义分割图缺失所述钉头区域，若是，则在所述语义分割图上分别定位各个与超过所述第二预设像素阈值的所述第二像素个数所属的所述第二连通域外接的最小窗口；

验证是否存在总边长超过所述预设长度阈值的所述最小窗口，若否，则验证所述语义分割图缺失所述钉头区域，若是，则将所述总边长超过所述预设长度阈值的所述最小窗口所对应的所述第二连通域归类为对应的所述钉头区域；

所述第二识别子模块具体用于：

当所述语义分割图分区共存至少一个所述钉尾区域和至少一个所述钉头区域时，则验证各个所述钉尾区域是否属于与至少一个所述钉头区域粘连的松脱区域，若否，则将松脱状态归类为所述销钉完整状态，若是，则将紧固状态归类为所述销钉完整状态。

10.一种图像识别设备，其特征在于，包括：存储器和与所述存储器耦合的处理器，所述存储器可被配置存储至少一条指令或至少一段程序或代码集或指令集，所述指令或所述程序或所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至6任一项所述基于语义分割模型的图像状态识别方法所执行的操作步骤。

Images