CN114622311A - 断线检测方法、装置及纺纱机 - Google Patents

Abstract

本发明提供一种断线检测方法、装置及纺纱机，该方法包括：获取待检测纺纱机纺纱过程中预设区域内的目标图像；将目标图像输入断线识别模型，获取由断线识别模型输出的断线识别结果；基于断线识别结果，获取待检测纺纱机的断线检测结果；其中，断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签进行训练后得到的。本发明提供的断线检测方法、装置及纺纱机，能在纺纱机纺纱的过程中，对纺纱机中的纱线是否出现断线进行端到端的实时在线检测，检测过程更简便和更轻量，能提高断线检测的效率、准确率和鲁棒性，能降低检测设备成本投入，对操作人员的日常作业的影响更小。

Description

断线检测方法、装置及纺纱机

技术领域

本发明涉及人工智能技术领域，尤其涉及一种断线检测方法、装置及纺纱机。

背景技术

纺纱机在纺纱过程中出现纱线断线，将影响纺纱机纺纱的质量和产量。

传统的断线检测方法通常依赖于人工发现纱线断线，劳动强度大且检测效率较低。随着纺织行业信息化技术的发展，出现了以电磁感应技术为基础的断线检测方法，上述断线检测方法可以通过电磁感应技术检测是否出现纱线断线。但是基于上述断线检测方法进行断线检测时，需要为纺纱机中的每一锭子对应安装一个电磁检测装置，利用每一电磁检测装置对每一锭子进行一对一的电磁检测，而纺纱机中的锭子数量众多，所需投入的成本高昂，成本回收周期长。因此，如何更高效、更低成本的进行断线检测是本领域亟待解决的技术问题。

发明内容

本发明提供一种断线检测方法、装置及纺纱机，用以解决现有技术中断线检测效率较低、成本投入较高的缺陷，实现更高效、更低成本的进行断线检测。

本发明提供一种断线检测方法，包括：

获取待检测纺纱机纺纱过程中预设区域内的目标图像；

将所述目标图像输入断线识别模型，获取由所述断线识别模型输出的断线识别结果；

基于所述断线识别结果，获取所述待检测纺纱机的断线检测结果；

其中，所述断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中所述预设区域内的样本图像以及所述样本图像的断线识别标签进行训练后得到的。

根据本发明提供的一种断线检测方法，所述断线识别模型，包括：纱线识别单元和断线识别单元；

相应地，所述将所述目标图像输入断线识别模型，获取由所述断线识别模型输出的所述断线识别结果，包括：

将所述目标图像输入所述纱线识别单元，由所述纱线识别单元对所述目标图像中的纱线进行识别，进而获取所述纱线识别单元输出的纱线识别结果；

将所述纱线识别结果输入所述断线识别单元，获取由所述断线识别单元输出的所述断线识别结果。

根据本发明提供的一种断线检测方法，所述预设区域，为前罗拉至锭子之间的区域。

根据本发明提供的一种断线检测方法，所述样本图像，是基于如下方式获得的：

在所述样本纺纱机纺纱的过程中，获取所述样本纺纱机所述预设区域的视频流，作为样本视频流；

对所述样本视频流进行抽帧处理，获得所述样本图像。

根据本发明提供的一种断线检测方法，所述获取待检测纺纱机纺纱过程中预设区域内的目标图像，包括：

在所述待检测纺纱机纺纱的过程中，获取所述待检测纺纱机所述预设区域的视频流，作为目标视频流；

对所述目标视频流进行抽帧处理，获取所述目标图像。

根据本发明提供的一种断线检测方法，所述基于所述断线识别结果，获取所述待检测纺纱机的断线检测结果，包括：

基于所述断线识别结果，获取所述待检测纺纱机中出现断线的锭子，作为所述待检测纺纱机的断线检测结果。

本发明还提供一种断线检测装置，包括：

图像获取模块，用于获取待检测纺纱机纺纱过程中预设区域内的目标图像；

图像识别模块，用于将所述目标图像输入断线识别模型，获取由所述断线识别模型输出的断线识别结果；

断线识别模块，用于基于所述断线识别结果，获取所述待检测纺纱机的断线检测结果；

其中，所述断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中所述预设区域内的样本图像以及所述样本图像的断线识别标签进行训练后得到的。

本发明还提供一种纺纱机，包括：包括：如上所述的断线检测装置。

根据本发明提供的一种纺纱机，还包括：图像采集设备；

所述图像采集设备设置于所述纺纱机对应的关联纺纱机中吹吸风机顶部导轨处；所述关联纺纱机设置于所述纺纱机中前罗拉和锭子所在侧的相对侧，且所述关联纺纱机与所述纺纱机之间的距离小于所述预设值。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述断线检测方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述断线检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述断线检测方法。

本发明提供的断线检测方法、装置及纺纱机，通过获取待检测纺纱机纺纱过程中预设区域内的目标图像，将上述目标图像输入断线识别模型，获得上述断线识别模型输出的断线识别结果，基于上述断线识别结果，获取待检测纺纱机的断线检测结果，上述断线识别模型是基于YOLOv5构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签训练得到的，能在待检测纺纱机纺纱的过程中，对待检测纺纱机中的纱线是否出现断线进行端到端的实时在线检测，检测过程更简便和更轻量，能提高断线检测的效率和准确率，能降低检测设备成本投入，对已有车间的改动较小，可实施性更强，对操作人员的日常作业的影响更小，能在光照欠佳、纱线颜色不同的情况下，更准确的进行断线检测，鲁棒性更强。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的断线检测方法的流程示意图；

图2是本发明提供的断线检测方法中样本纺纱机与样本纺纱机对应的第一纺纱机的相对位置示意图；

图3是本发明提供的断线检测方法中第一图像采集设备的位置示意图；

图4是本发明提供的断线检测方法中待检测纺纱机与待检测纺纱机对应的第二纺纱机的相对位置示意图；

图5是本发明提供的断线检测方法中第二图像采集设备的位置示意图；

图6是本发明提供的断线检测装置的结构示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，传统的断线检测方法是依赖纺织车间中的挡车工在车间内巡回视察监测发现有故障的锭子，进而实现对纱线的断线检测。通过上述方法进行断线检测时挡车工劳动强度较大，对人员依赖度较高且检测效率低下。近年来随着纺织行业信息化技术的发展，出现了以电磁感应技术为基础的细纱机单锭断线检测方法，通过电磁感应技术检测细纱是否断线。但是基于上述断线检测方法进行断线检测时，需要为纺纱机中的每一锭子对应安装一个电磁检测装置，利用每一电磁检测装置对每一锭子进行一对一的电磁检测，而纺纱机中的锭子数量众多，所需投入的成本高昂，成本回收周期长并且不方便挡车工的日常操作。

对此，本发明提供一种断线检测方法、装置及纺纱机，基于本发明提供的断线检测方法，可以结合深度学习中的目标检测和图像分割，实现在纺纱机纺纱的过程中，对纺纱机中的纱线是否出现断线进行端到端的实时在线检测，断线检测的效率更高、准确率更高、成本投入更低且不影响人员操作，进而可以更好的保证产品的质量和产量。其中，纺纱机可以包括粗纱机、细纱机等。

图1是本发明提供的断线检测方法的流程示意图。下面结合图1描述本发明的断线检测方法。如图1所示，该方法包括：步骤101、获取待检测纺纱机纺纱过程中预设区域内的目标图像。

需要说明的是，本发明实施例的执行主体为断线检测装置。

具体地，待检测纺纱机为本发明提供的断线检测方法的检测对象，基于本发明提供的断线检测方法，可以在待检测纺纱机纺纱的过程中，检测待检测纺纱机中的纱线是否出现断线，以及进一步确定断线的位置以及确定出现断线的锭子等。

需要说明的是，细纱机是一种可以通过锭子、钢领、钢丝圈、罗拉等部件，实现在纺纱过程中把半制品粗纱或条子经喂入、牵伸、加捻卷绕成细纱管纱的主要纺纱机，是完成粗纱到细纱的重要设备。细纱机中每一锭子上纱线的状态可以决定细纱的质量和产量，相较于粗纱机，细纱机在纺织过程中更容易出现纱线断线。若不能及时发现和处理细纱机在纺纱过程中出现的纱线断线，则会造成细纱机中罗拉的缠绕和原材料的浪费，降低细纱机的生产效率。本发明实施例中以待检测纺纱机为细纱机为例，说明本发明提供的断线检测方法。

在待检测纺纱机纺纱的过程中，可以利用图像采集设备获取待检测纺纱机预设区域内的目标图像。

可选地，在待检测纺纱机纺纱的过程中，可以利用图像采集设备周期性获取待检测纺纱机预设区域内的图像。获取上述图像之后，可以按照时序顺序依次将每一周期获取到的上述图像作为目标图像，还可以对每一周期获取到的上述图像进行图像处理后，按照时序顺序依次将经过图像处理后的每一周期获取到的上述图像作为目标图像。

可选地，在待检测纺纱机纺纱的过程中，还可以利用图像采集设备获取待检测纺纱机预设区域内的视频流，对上述视频流进行抽帧处理，可以获得时序分布的待检测纺纱机预设区域内的图像。获得上述图像之后，可以直接按照时序顺序依次将上述图像作为目标图像，还可以对上述图像进行图像处理后，按照时序顺序将经过图像处理后的上述图像作为目标图像。

可选地，本发明实施例中的图像处理，可以包括但不限于图像裁剪以及剔除过明、过暗的图像等。

步骤102、将目标图像输入断线识别模型，获取由断线识别模型输出的目标图像的断线识别结果。

其中，断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签进行训练后得到的。

具体地，YOLO（You Only Look Once）是一种基于深度神经网络的对象识别和定位算法，YOLO具体运行速度快、适用于实时运算等特点。YOLOv5算法作为最新的YOLO算法，相较于YOLOv3算法和YOLOv4算法，YOLOv5算法的网络结构更小、计算速度更快和计算准确度更高，并且YOLOv5算法中的权重文件较小，使得基于YOLOv5算法构建的模型可以搭载于配置相对较低的移动设备上。

本发明实施例中基于YOLOv5算法构建断线识别模型，可以简化断线识别模型的网络结构，进而减少断线识别模型的模型参数，提高断线识别模型的计算速度，还可以提高断线识别模型的计算准确度。基于YOLOv5算法构建的断线识别模型对特殊情况下获取到的目标图像仍具备一定的检测能力，从而提高断线识别模型的鲁棒性。其中，上述特殊情况可以包括但不限于光照欠佳、待检测纺纱机中纱线的颜色不同等的情况下。基于YOLOv5构建得到的断线识别模型中的权重文件更小，使得断线识别模型可以搭载于配置相对较低的移动设备上，从而可以提高断线识别模型的可用性，实现端到端的实时在线检测。

在样本纺纱机纺纱的过程中，利用图像采集设备获取多张样本纺纱机上述预设区域内的图像之后，可以直接将上述图像作为样本图像，还可以对上述图像进行图像处理之后，将经过图像处理之后的上述图像作为样本图像；或者，利用图像采集设备获取样本纺纱机上述预设区域内的样本视频流，对上述样本视频流进行抽帧处理，获得多张样本纺纱机上述预设区域内的图像之后，可以直接将上述图像作为样本图像，还可以对上述图像进行图像处理之后，将经过图像处理之后的上述图像作为样本图像。其中，样本图像可以用于断线识别模型的训练，样本图像的数量越多，基于样本图像训练得到的断线识别模型的计算准确度越高。

需要说明的是，本发明实施例中的样本纺纱机与待检测纺纱机为相同类型的纺纱机。上述目标图像与上述样本图像的采集区域相同，均为预设区域。预设区域可以根据实际情况确定，本发明实施例中对预设区域不作具体限定。

样本图像的断线识别标签，可以为标注有纱线出现断线的区域的样本图像。

获取样本图像之后，可以对样本图像进行标注，在样本图像中的至少一根纱线出现断线的情况下，可以通过标注框在样本图像中标注每一根纱线出现断线的区域，进而可以获得上述样本图像的断线识别标签。

本发明实施例中可以通过多种方式对样本图像进行标注，例如：可以通过Labelme对样本图像进行标注。其中，Labelme是一种基于python的开源图像多边形标注工具，是一种具有直观用户界面的轻量级、跨平台的图形应用程序。Labelme可以支持多个系统中运行，例如：Windows、Ubuntu或macOS等系统，安装及操作简单，可以在无需大型数据集的情况下进行图像标注。

可选地，获取样本图像及上述样本图像的断线识别标签之后，还可以按照预设比例，将部分样本图像作为验证图像和测试图像，将上述样本图像的断线识别标签，作为上述验证图像对应的验证标签和上述测试图像对应的测试标签，可以用于对训练好的断线识别模型进行验证和测试。

获取样本图像及上述样本图像的断线识别标签之后，可以基于上述样本图像及上述样本图像的断线识别标签，对基于YOLOv5构建的断线识别模型进行训练。

具体地，可以将样本图像输入训练中的断线识别模型，获得上述训练中的断线识别模型输出的上述样本图像的预测断线识别结果。获取上述样本图像的预测断线识别结果之后，可以通过对比上述样本图像的预测断线识别结果与上述样本图像的断线识别标签，对训练中的断线识别模型的模型参数和权重进行调整，进而可以获得训练好的断线识别模型。

获得训练好的断线识别模型之后，可以基于上述验证图像及对应的验证标签以及测试图像及对应的测试标签，对上述训练好的断线识别模型进行验证和测试。

在上述训练好的断线识别模型通过验证和测试的情况下，可以将目标图像输入上述训练好的断线识别模型。

上述训练好的断线识别模型可以对目标图像中的纱线进行断线识别，获得并输出目标图像的断线识别结果。其中，目标图像的断线识别结果，可以为标注有出现纱线断线的区域的目标图像；或者目标图像的断线识别结果可以为目标图像中的纱线未出现断线。

步骤103、基于目标图像的断线识别结果，获取待检测纺纱机的断线检测结果。

具体地，获取目标图像的断线识别结果之后，可以基于目标图像的断线识别结果以及目标图像与预设区域之间的映射关系，获取待检测纺纱机预设区域的断线检测结果。

例如：在目标图像的断线识别结果为目标图像中的纱线未出现断线的情况下，可以将待检测纺纱机预设区域内的纱线未出现断线，作为待检测纺纱机的断线检测结果。

在目标图像的断线识别结果为标注有出现纱线断线的区域的目标图像的情况下，基于目标图像的断线识别结果，可以将待检测纺纱机预设区域内出现纱线断线，作为待检测纺纱机的断线检测结果；还可以进一步基于目标图像的断线识别结果和目标图像与预设区域之间的映射关系，获取待检测纺纱机预设区域内出现断线的纱线的标识信息，作为待检测纺纱机预设区域的断线检测结果。

可选地，获取待检测纺纱机的断线检测结果之后，若基于待检测纺纱机的断线检测结果可以确定待检测纺纱机预设区域内出现纱线断线，则可以触发告警系统，对现场人员进行预警。

本发明实施例通过获取待检测纺纱机纺纱过程中预设区域内的目标图像，将上述目标图像输入断线识别模型，获得上述断线识别模型输出的断线识别结果，基于上述断线识别结果，获取待检测纺纱机的断线检测结果，上述断线识别模型是基于YOLOv5构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签训练得到的，能在待检测纺纱机纺纱的过程中，对待检测纺纱机中的纱线是否出现断线进行端到端的实时在线检测，检测过程更简便和更轻量，能提高断线检测的效率和准确率，能降低检测设备成本投入，对已有车间的改动较小，可实施性更强，对操作人员的日常作业的影响更小，能在光照欠佳、纱线颜色不同的情况下，更准确的进行断线检测，鲁棒性更强。

基于上述各实施例的内容，断线识别模型，包括：纱线识别单元和断线识别单元。

相应地，将目标图像输入断线识别模型，获取由断线识别模型输出的断线识别结果，包括：将目标图像输入纱线识别单元，由纱线识别单元对目标图像中的纱线进行识别，进而获得纱线识别单元输出的纱线识别结果。

具体地，获取样本图像之后，还可以对样本图像中的纱线、样本纺纱机的构件（例如：罗拉、锭子等）进行标注，并将标注后的样本图像作为上述样本图像对应的第二标签。

获取样本图像及上述样本图像对应的第二标签之后，可以基于上述样本图像及上述样本图像对应的第二标签对纱线识别单元进行训练，获得训练好的纱线识别单元。

获得训练好的纱线识别单元之后，可以将获取到的目标图像输入上述训练好的纱线识别单元。

上述训练好的纱线识别单元可以对目标图像中的纱线进行识别，并可以对识别到的纱线进行标注，进而可以将标注有纱线所在区域的目标图像，作为目标图像的纱线识别结果输出。

可选地，上述训练好的纱线识别单元识别到目标图像中的纱线之后，还可以基于识别到的纱线进一步获取目标图像中纱线的数量以及任意相邻两根纱线之间的距离等，作为目标图像的纱线识别结果输出。

将纱线识别结果输入断线识别单元，获得由断线识别单元输出的断线识别结果。

具体地，获取样本图像之后，可以将上述样本图像输入上述训练好的纱线识别单元，进而可以获得上述训练好的纱线识别单元输出的上述样本图像的纱线识别结果。其中，上述样本图像的纱线识别结果，可以为标注有纱线所在区域的样本图像。

获取上述样本图像的纱线识别结果之后，可以对上述样本图像的纱线识别结果进行标注，在上述样本图像的纱线识别结果中的至少一根纱线出现断线的情况下，可以通过标注框在上述样本图像的纱线识别结果中标注每一出现纱线断线的区域，进而可以获取上述样本图像的纱线识别结果对应的第三标签。

获取上述样本图像的纱线识别结果及上述样本图像的纱线识别结果对应的第三标签之后，可以基于上述样本图像的纱线识别结果及上述样本图像的纱线识别结果对应的第三标签，对断线识别单元进行训练，获得训练好的断线识别单元。

获得训练好的断线识别单元之后，可以将目标图像的纱线识别结果输入上述训练好的断线识别单元。

上述训练好的断线识别单元可以基于目标图像的纱线识别结果，判断目标图像的纱线是否出现断线，进而可以获得并输出目标图像的断线识别结果。其中，上述目标图像的断线识别结果，包括目标图像中的纱线是否出现断线。

本发明实施例通过将目标图像输入断线识别模型中的纱线识别单元，获得上述纱线检测单元输出的目标图像的纱线识别结果，将目标图像的纱线识别结果输入断线识别模型中的断线识别单元，获得上述断线识别单元输出的目标图像的断线识别结果，能进一步提高断线识别模型的计算准确率，进而能在待检测纺纱机纺纱的过程中，对待检测纺纱机中的纱线是否出现断线进行更准确的检测。

基于上述各实施例的内容，预设区域，为前罗拉至锭子之间的区域。

通常情况下，纺纱机在纺纱的过程中，纺纱机中前罗拉至锭子之间的纱线易出现断线。因此，本发明提供的断线检测方法可以用于判断待检测纺纱机中前罗拉至锭子之间的纱线是否出现断线。

在样本纺纱机纺纱的过程中，可以利用图像采集设备获取样本纺纱机中前罗拉至锭子之间区域的样本图像。

相应地，获取待检测纺纱机纺纱过程中预设区域内的目标图像，包括：在待检测纺纱机纺纱的过程中，获取待检测纺纱机中前罗拉至锭子之间区域的目标图像。

本发明实施例中的预设区域，为前罗拉至锭子之间的区域，能更准确、更高效的判断待检测纺纱机中前罗拉至锭子之间的纱线是否出现断线，进行断线检测的成本投入更低。

基于上述各实施例的内容，样本图像，是在样本纺纱机纺纱的过程中，基于第一图像采集设备获取的；第一图像采集设备设置于样本纺纱机对应的第一纺纱机中吹吸风机顶部导轨处；第一纺纱机位于样本纺纱机中前罗拉和锭子所在侧的相对侧，且第一纺纱机与样本纺纱机之间的距离小于预设值。

图2是本发明提供的断线检测方法中样本纺纱机与样本纺纱机对应的第一纺纱机的相对位置示意图。如图2所示，样本纺纱机201中阴影部分所示的一侧为样本纺纱机中前罗拉和锭子所在侧。可以将位于样本纺纱机201中前罗拉和锭子所在侧的相对侧，且与样本纺纱机201之间的距离d₁小于预设值的纺纱机，作为样本纺纱机201对应的第一纺纱机202。

需要说明的是，上述预设值可以根据实际情况确定，但上述预设值不大于图像传感器的最远拍摄距离。本发明实施例中对上述预设值的具体取值不作限定。

图3是本发明提供的断线检测方法中第一图像采集设备的位置示意图。如图3所示，确定样本纺纱机201对应的第一纺纱机202之后，可以在第一纺纱机202中吹吸风机顶部导轨301处设置第一图像采集设备302。

基于设置于第一纺纱机202中吹吸风机顶部导轨301处的第一图像采集设备302，可以获取样本纺纱机201中前罗拉至锭子之间区域的样本图像。

需要说明的是，第一图像采集设备302的数量可以为多个，各第一图像采集设备302可以均匀分布于第一纺纱机202中吹吸风机顶部导轨301处，每一图像采集设备均可获取样本纺纱机201中部分前罗拉与锭子之间区域的样本图像。

相应地，在待检测纺纱机纺纱的过程中，获取待检测纺纱机中前罗拉至锭子之间区域的目标图像，包括：在待检测纺纱机纺纱的过程中，基于第二图像采集设备，获取待检测纺纱机中前罗拉至锭子之间区域的目标图像。

其中，第二图像采集设备设置于待检测纺纱机对应的第二纺纱机中吹吸风机顶部导轨处；第二纺纱机位于待检测纺纱机中前罗拉和锭子所在侧的相对侧，且第二纺纱机与待检测纺纱机之间的距离小于预设值。

图4是本发明提供的断线检测方法中待检测纺纱机与待检测纺纱机对应的第二纺纱机的相对位置示意图。如图4所示，待检测纺纱机401中阴影部分所示的一侧为待检测纺纱机中前罗拉和锭子所在侧。可以将位于待检测纺纱机401中前罗拉和锭子所在侧的相对侧，且与待检测纺纱机401之间的距离d₂小于上述预设值的纺纱机，作为待检测纺纱机401对应的第二纺纱机402。

图5是本发明提供的断线检测方法中第二图像采集设备的位置示意图。如图5所示，确定待检测纺纱机401对应的第二纺纱机402之后，可以在第二纺纱机402中吹吸风机顶部导轨501处设置第二图像采集设备502。

基于设置于第二纺纱机402中吹吸风机顶部导轨501处的第二图像采集设备502，可以获取待检测纺纱机401中前罗拉至锭子之间区域的目标图像。

需要说明的是，第二图像采集设备502的数量可以为多个，各第二图像采集设备502可以均匀分布于第二纺纱机402中吹吸风机顶部导轨501处，每一第二图像采集设备502可以获取待检测纺纱机401中部分前罗拉与锭子之间区域的目标图像。

可选地，可以预先对待检测纺纱机中前罗拉至锭子之间的纱线进行编号，一个前罗拉与一个锭子之间的纱线作为一根纱线，对应一个编号。可以依据图像采集设备的采集范围对上述纱线进行分组，在图像采集设备相同的情况下，各组纱线中纱线的数量相同。

本发明实施例中第二纺纱机402中吹吸风机顶部导轨501处的各第二图像采集设备502的设备类型相同，每一第二图像采集设备502可以获取一组纱线的图像，作为目标图像。

获取纱线识别单元输出的目标图像的纱线识别结果之后，可以验证上述目标图像的纱线识别结果中纱线的数量是否等于上述一组纱线中的纱线数量，在验证通过的情况下，可以获取上述目标图像的第二图像采集设备502对应的各纱线的编号，赋值于目标图像的纱线识别结果中识别到的各纱线，从而可以通过纱线的编号，表示目标图像的断线识别结果和待检测纺纱机的断线检测结果，例如：目标图像的断线识别结果和待检测纺纱机的断线检测结果可以包括编号34、38的纱线出现断线。

本发明实施例通过基于设置于样本纺纱机对应的第一纺纱机中吹吸风机顶部导轨处的第一图像采集设备，获取样本纺纱机中前罗拉至锭子之间区域的样本图像，通过基于设置于待检测纺纱机对应的第二纺纱机中吹吸风机顶部导轨处的第二图像采集设备，获取待检测纺纱机中前罗拉至锭子之间区域的目标图像，上述第一纺纱机位于样本纺纱机中前罗拉和锭子所在侧的相对侧，且上述第一纺纱机与样本纺纱机之间的距离小于预设值，上述第二纺纱机位于待检测纺纱机中前罗拉和锭子所在侧的相对侧，且上述第二纺纱机与待检测纺纱机之间的距离小于预设值，能更准确、更高效的获取样本图像和目标图像。

基于上述各实施例的内容，样本图像，是基于如下方式获得的：在样本纺纱机纺纱的过程中，获取样本纺纱机预设区域的视频流，作为样本视频流。

在样本纺纱机纺纱的过程中，可以基于图像采集设备获取样本纺纱机预设区域的视频流，作为样本视频流。

可选地，本发明实施例中的第一图像采集设备302，可以为摄像机等能够获取视频流的图像采集设备。在样本纺纱机纺纱的过程中，可以基于设置于上述第一纺纱机202中吹吸风机顶部导轨301处的第一图像采集设备302，获取样本纺纱机201中前罗拉至锭子之间区域的视频流，作为样本视频流。

对样本视频流进行抽帧处理，获得样本图像。

具体地，获取上述样本视频流之后，可以对上述样本视频流进行抽帧处理，获得多张样本纺纱机预设区域的图像。

获取上述样本纺纱机预设区域的图像之后，可以直接将上述图像作为样本图像，还可以对上述图像进行图像处理，将经过图像处理后的上述图像获取样本图像。

可选地，对上述图像的图像处理，可以包括但不限于剔除过明、过暗以及图像质量较差的图像、对图像进行分割裁剪以及整理汇编等。

需要说明的是，图3中虚线线框内的区域为预设区域。对上述图像进行分割裁剪时，可以依据上述预设区域对上述图像进行分割裁剪。对上述图像进行分割裁剪时，分割裁剪的范围可以与第一图像采集设备302安装调试时的划定范围（预设区域）保持一致，从而可以保证获得的样本图像具有较高的可比性。

基于图像处理后得到的样本图像对断线识别模型进行训练，可以训练得到计算准确率和召回率更高的断线识别模型。

本发明实施例通过在样本纺纱机纺纱的过程中，获取样本纺纱机预设区域的视频流作为样本视频流，对上述样本视频流进行抽帧处理，获得样本纺纱机预设区域的样本图像，能更高效、更便捷的获取大量样本图像，获得的样本图像可用性和图像质量更高，能提高断线识别模型的计算准确率和召回率。

基于上述各实施例的内容，获取待检测纺纱机纺纱过程中预设区域内的目标图像，包括：在待检测纺纱机纺纱的过程中，获取待检测纺纱机预设区域的视频流，作为目标视频流。

在目标纺纱机纺纱的过程中，可以基于图像采集设备获取目标纺纱机预设区域的视频流，作为目标视频流。

可选地，本发明实施例中的第二图像采集设备502，可以为摄像机等能够获取视频流的图像采集设备。在待检测纺纱机纺纱的过程中，可以基于设置于上述第二纺纱机402中吹吸风机顶部导轨501处的第二图像采集设备502，获取待检测纺纱机401中前罗拉至锭子之间纱线的视频流，作为目标视频流。

对目标视频流进行抽帧处理，获取目标图像。

具体地，获取上述目标视频流之后，可以对上述目标视频流进行抽帧处理，获得待检测纺纱机预设区域的图像。

获取待检测纺纱机预设区域的图像之后，可以直接将上述图像作为目标图像，还可以对上述图像进行图像处理，获得经过图像处理后的上述图像作为目标图像。

可选地，对上述图像的图像处理，可以包括但不限于剔除过明、过暗的原始图像以及对原始图像进行分割裁剪等。

需要说明的是，对上述图像进行分割采集，可以去除上述图像中粗纱部分区域、减少上述图像中的复杂内容，降低上述图像中的粗纱纱线对断线检测的影响。

本发明实施例通过在待检测纺纱机纺纱的过程中，获取待检测纺纱机预设区域的视频流作为目标视频流，基于上述目标视频流，获取待检测纺纱机预设区域的目标图像，能更高效、更便捷的获取目标图像，获得的目标图像可用性和图像质量更高，能进一步提高获得的目标图像的断线识别结果的准确率。

基于上述各实施例的内容，相应地，将目标图像输入断线识别模型，获取断线识别模型输出的目标图像的断线识别结果之后，还包括：基于断线识别结果，获取待检测纺纱机中出现断线的锭子，作为待检测纺纱机的断线检测结果。

具体地，获取目标图像的断线识别结果之后，可以基于目标图像的断线识别结果以及目标图像与预设区域之间的映射关系，获取待检测纺纱机中出现断线的锭子，作为待检测纺纱机的断线检测结果。例如：在目标图像的断线识别结果包括目标图像中自左向右第2根、第3根和第9根纱线出现断线的情况下，可以基于目标图像的断线识别结果，将待检测纺纱机中目标图像对应的区域中自左向右第2根、第3根和第9根纱线所在的锭子，确定为出现断线的锭子。

可选地，在目标图像的断线识别结果包括出现断线的纱线的编号的情况下，可以基于出现断线的纱线的编号，更快速、更高效的将上述编号的纱线所在的锭子确定为出现断线的锭子。

本发明实施例通过在获取目标图像的断线识别结果之后，基于上述目标图像的断线识别结果，确定待检测纺纱机中出现断线的锭子，能为待检测纺纱机的故障排除和日常维护提供数据基础，能进一步提供纺纱的质量和产量。

图6是本发明提供的断线检测装置的结构示意图之一。下面结合图6对本发明提供的断线检测装置进行描述，下文描述的断线检测装置与上文描述的本发明提供的断线检测方法可相互对应参照。如图6所示，该装置包括：图像获取模块601、图像识别模块602和断线识别模块603。

图像获取模块601，用于获取待检测纺纱机纺纱过程中预设区域内的目标图像。

图像识别模块602，用于将目标图像输入断线识别模型，获取由断线识别模型输出的断线识别结果。

断线识别模块603，用于基于断线识别结果，获取待检测纺纱机的断线检测结果；

其中，断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签进行训练后得到的。

具体地，图像获取模块601、图像识别模块602和断线识别模块603电连接。

图像获取模块601可以用于在待检测纺纱机纺纱的过程中，可以利用图像采集设备获取待检测纺纱机预设区域内的目标图像。

图像识别模块602可以用于将目标图像输入上述训练好的断线识别模型。获得上述训练好的断线识别模型输出的目标图像的断线识别结果。其中，目标图像的断线识别结果，可以为标注有出现纱线断线的区域的目标图像；或者目标图像的断线识别结果可以为目标图像中的纱线未出现断线。

断线识别模块603可以用于基于目标图像的断线识别结果以及目标图像与预设区域之间的映射关系，获取待检测纺纱机预设区域的断线检测结果。

可选地，图像获取模块601可以用于在待检测纺纱机纺纱的过程中，获取待检测纺纱机预设区域的视频流，作为目标视频流；对目标视频流进行抽帧处理，获取目标图像。

可选地，断线识别模块603可以用于基于断线识别结果，获取待检测纺纱机中出现断线的锭子，作为待检测纺纱机的断线检测结果。

本发明实施例中的断线检测装置通过获取待检测纺纱机纺纱过程中预设区域内的目标图像，将上述目标图像输入断线识别模型，获得上述断线识别模型输出的断线识别结果，基于上述断线识别结果，获取待检测纺纱机的断线检测结果，上述断线识别模型是基于YOLOv5构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签训练得到的，能在待检测纺纱机纺纱的过程中，对待检测纺纱机中的纱线是否出现断线进行端到端的实时在线检测，检测过程更简便和更轻量，能提高断线检测的效率和准确率，能降低检测设备成本投入，对已有车间的改动较小，可实施性更强，对操作人员的日常作业的影响更小，能在光照欠佳、纱线颜色不同的情况下，更准确的进行断线检测，鲁棒性更强。

基于上述各实施例的内容，一种纺纱机，包括如上所述的断线检测装置。

具体地，纺纱机包括如上所述的断线检测装置，可以实时在线检测纺纱机中的纱线是否出现断线。

断线检测装置的结果和具体工作流程可以参见上述各实施例的内容，本发明实施例中不再赘述。

本发明实施例中的纺纱机，通过获取待检测纺纱机纺纱过程中预设区域内的目标图像，将上述目标图像输入断线识别模型，获得上述断线识别模型输出的断线识别结果，基于上述断线识别结果，获取待检测纺纱机的断线检测结果，上述断线识别模型是基于YOLOv5构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签训练得到的，能在待检测纺纱机纺纱的过程中，对待检测纺纱机中的纱线是否出现断线进行端到端的实时在线检测，检测过程更简便和更轻量，能提高断线检测的效率和准确率，能降低检测设备成本投入，对已有车间的改动较小，可实施性更强，对操作人员的日常作业的影响更小，能在光照欠佳、纱线颜色不同的情况下，更准确的进行断线检测，鲁棒性更强。

基于上述各实施例的内容，纺纱机，还包括：图像采集设备；

图像采集设备设置于纺纱机对应的关联纺纱机中吹吸风机顶部导轨处；关联纺纱机设置于纺纱机中前罗拉和锭子所在侧的相对侧，且关联纺纱机与纺纱机之间的距离小于预设值。

需要说明的是，上述图像采集设备的数量可以为一个或多个。

本发明实施例中的纺纱机包括图像采集设备，上述图像采集设备设置于纺纱机对应的关联纺纱机中吹吸风机顶部导轨处，上述关联纺纱机设置于纺纱机中前罗拉和锭子所在侧的相对侧，且关联纺纱机与纺纱机之间的距离小于预设值，能基于上述图像采集设备，能更准确、更高效的获取纺纱机纺纱过程中前罗拉与锭子之间区域的目标图像。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行断线检测方法，该方法包括：获取待检测纺纱机纺纱过程中预设区域内的目标图像；将目标图像输入断线识别模型，获取由断线识别模型输出的断线识别结果；基于断线识别结果，获取待检测纺纱机的断线检测结果；其中，断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签进行训练后得到的。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的断线检测方法，该方法包括：获取待检测纺纱机纺纱过程中预设区域内的目标图像；将目标图像输入断线识别模型，获取由断线识别模型输出的断线识别结果；基于断线识别结果，获取待检测纺纱机的断线检测结果；其中，断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签进行训练后得到的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的断线检测方法，该方法包括：获取待检测纺纱机纺纱过程中预设区域内的目标图像；将目标图像输入断线识别模型，获取由断线识别模型输出的断线识别结果；基于断线识别结果，获取待检测纺纱机的断线检测结果；其中，断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中预设区域内的样本图像以及样本图像的断线识别标签进行训练后得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种断线检测方法，其特征在于，包括：

获取待检测纺纱机纺纱过程中预设区域内的目标图像；

将所述目标图像输入断线识别模型，获取由所述断线识别模型输出的断线识别结果；

基于所述断线识别结果，获取所述待检测纺纱机的断线检测结果；

其中，所述断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中所述预设区域内的样本图像以及所述样本图像的断线识别标签进行训练后得到的。

2.根据权利要求1所述的断线检测方法，其特征在于，所述断线识别模型，包括：纱线识别单元和断线识别单元；

相应地，所述将所述目标图像输入断线识别模型，获取由所述断线识别模型输出的所述断线识别结果，包括：

将所述目标图像输入所述纱线识别单元，由所述纱线识别单元对所述目标图像中的纱线进行识别，进而获取所述纱线识别单元输出的纱线识别结果；

将所述纱线识别结果输入所述断线识别单元，获取由所述断线识别单元输出的所述断线识别结果。

3.根据权利要求1所述的断线检测方法，其特征在于，所述预设区域，为前罗拉至锭子之间的区域。

4.根据权利要求1所述的断线检测方法，其特征在于，所述样本图像，是基于如下方式获得的：

在所述样本纺纱机纺纱的过程中，获取所述样本纺纱机所述预设区域的视频流，作为样本视频流；

对所述样本视频流进行抽帧处理，获得所述样本图像。

5.根据权利要求1所述的断线检测方法，其特征在于，所述获取待检测纺纱机纺纱过程中预设区域内的目标图像，包括：

在所述待检测纺纱机纺纱的过程中，获取所述待检测纺纱机所述预设区域的视频流，作为目标视频流；

对所述目标视频流进行抽帧处理，获取所述目标图像。

6.根据权利要求3至5任一所述的断线检测方法，其特征在于，所述基于所述断线识别结果，获取所述待检测纺纱机的断线检测结果，包括：

基于所述断线识别结果，获取所述待检测纺纱机中出现断线的锭子，作为所述待检测纺纱机的断线检测结果。

7.一种断线检测装置，其特征在于，包括：

图像获取模块，用于获取待检测纺纱机纺纱过程中预设区域内的目标图像；

图像识别模块，用于将所述目标图像输入断线识别模型，获取由所述断线识别模型输出的断线识别结果；

断线识别模块，用于基于所述断线识别结果，获取所述待检测纺纱机的断线检测结果；

其中，所述断线识别模型，是基于YOLOv5算法构建，并基于样本纺纱机纺纱过程中所述预设区域内的样本图像以及所述样本图像的断线识别标签进行训练后得到的。

8.一种纺纱机，其特征在于，包括：如权利要求7所述的断线检测装置。

9.根据权利要求8所述的纺纱机，其特征在于，还包括：图像采集设备；

所述图像采集设备设置于所述纺纱机对应的关联纺纱机中吹吸风机顶部导轨处；所述关联纺纱机设置于所述纺纱机中前罗拉和锭子所在侧的相对侧，且所述关联纺纱机与所述纺纱机之间的距离小于所述预设值。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述断线检测方法。

Images