CN115457330A - 一种打包线断线状态识别方法、装置、设备及存储介质 - Google Patents

一种打包线断线状态识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115457330A
CN115457330A CN202211166583.6A CN202211166583A CN115457330A CN 115457330 A CN115457330 A CN 115457330A CN 202211166583 A CN202211166583 A CN 202211166583A CN 115457330 A CN115457330 A CN 115457330A
Authority
CN
China
Prior art keywords
packing
station
wire
marking
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211166583.6A
Other languages
English (en)
Inventor
谭凌
张晓辉
黄建斌
刘竞升
刘睿
庞殊杨
宋嘉铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202211166583.6A priority Critical patent/CN115457330A/zh
Publication of CN115457330A publication Critical patent/CN115457330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种打包线断线状态识别方法、装置、设备及存储介质，该方法通过获取目标打包工位的目标环境图像；识别目标环境图像中的打包工位标志位特征和打包线特征，标注打包工位标志位标识和打包线标识，并确定打包工位标志位标识数量和打包线标识数量；比较打包工位标志位标识数量和打包线标识数量，确定目标打包工位打包线断线状态；本发明涉及的图像采集、图像处理，以及最终得出结论，均通过机器设备完成，故极大地提升了判断的准确性，且有效降低了人力成本。

Description

一种打包线断线状态识别方法、装置、设备及存储介质
技术领域
本发明涉及线棒材领域，尤其涉及一种打包线断线状态识别方法、装置、设备及存储介质。
背景技术
在钢铁产品的生产中，打包过程是线棒材生产的重要步骤，打包工位共有多个打包机器，每个打包机器需要对应的线材来进行打包。一旦出现打包线断裂的情况，就会导致成品出现严重的质量问题，因为打包线的断线情况识别在生产过程中显得尤为重要。当前市场普遍适用的打包线断裂识别主要依靠有经验的工人进行人工识别，但是由于多条产线需要长时间运行，则需要投入大量的人力以完成打包线断线状态识别，且人工识别受限于人的主观意识及生产经验，其判断结论存在不确定性，且准确率不可估算。
因此，在整个打包过程中需要采用智能化的监控手段对打包线是否断裂进行实时检测，从而节省更多的人力成本以及提升判断结论的准确性。
发明内容
鉴于现有技术的缺点，本发明提供一种打包线断线状态识别方法、装置、设备及存储介质，以解决上述技术问题。
本发明提供一种打包线断线状态识别方法、装置、设备及存储介质，包括：获取目标打包工位的目标环境图像；识别所述目标环境图像中的打包工位标志位特征和打包线特征，标注打包工位标志位标识和打包线标识，并确定打包工位标志位标识数量和打包线标识数量；比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态。
在本发明的一个实施例中，标注打包工位标志位标识和打包线标识包括：获取目标工位的多个样本环境图像，并进行标注，得到训练样本数据集；通过所述训练样本数据集对初始标识标注模型进行训练；将所述目标环境图像输入至训练后的所述标识标注模型，识别所述目标环境图像中的打包工位标志位特征和打包线特征，得到打包线标注框和打包工位标志位标注框，将所述打包线标注框确定为打包线标识，将所述打包工位标志位标注框确定为打包工位标志位标识。
在本发明的一个实施例中，将所述目标环境图像输入至训练后的所述标识标注模型，识别所述目标环境图像中的打包工位标志位特征和打包线特征，得到打包线标注框和打包工位标志位标注框包括：通过矩形框对所述多个目标环境图像进行旋转框标注，所述矩形框包括非标准矩形框；将所述非标准矩形框修正为标准矩形框，并得到所述标识标注模型的角度预测结果；基于所述角度预测结果在预设的角度范围内检测具有旋转属性的打包线和打包工位标志位，以得到打包线标注框和打包工位标志位标注框。
在本发明的一个实施例中，比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态包括以下至少之一：当所述目标打包工位的打包线标识数量和所述目标打包工位的打包工位标志位标识数量相等，判定所述目标打包工位的打包线断线状态为无断线状态；当所述目标打包工位的打包线标识数量和所述目标打包工位的打包工位标志位标识数量不相等，判定所述目标打包工位的打包线断线状态为有断线状态。
在本发明的一个实施例中，比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态之后，所述方法还包括：若无断线，获取下一时刻的下一时刻图像，并标注所述下一时刻图像的打包线标注框；将当前时刻的图像确定为待追踪图像，并标注所述待追踪图像的打包线标注框；比较所述待追踪图像的标注框数量和所述下一时刻图像的打包线标注框数量，若所述下一时刻图像的打包线标注框数量小于所述待追踪图像的打包线标注框数量，则判定所述目标打包工位的打包线断线状态为有断线状态。
在本发明的一个实施例中，确定所述目标打包工位的打包线断线状态之后还包括：获取多帧所述目标工位的环境图像，并检测所述多帧所述目标工位的打包线断线状态；当检测到至少一帧所述目标工位的打包线断线状态为有断线状态，则发出警报信息。
在本发明的一个实施例中，发出警报信息之前还包括：获取所述多帧所述目标工位的打包线断线状态为有断线状态的帧数；若所述多帧的帧数大于或等于预设的安全帧数阈值，则发出警报信息。
本发明提供一种打包线断线状态识别装置，包括：图像获取模块，用于获取目标打包工位的目标环境图像；标识标注模块，用于识别所述目标环境图像中的打包工位标志位特征和打包线特征，标注打包工位标志位标识和打包线标识，并确定打包工位标志位标识数量和打包线标识数量；状态确定模块，用于比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态。
本发明提供一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的打包线断线状态识别方法。
本发明提供一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的打包线断线状态识别方法。
有益效果：本发明提供一种打包线断线状态识别方法、装置、设备及存储介质，通过获取目标打包工位的目标环境图像；识别所述目标环境图像中的打包工位标志位特征和打包线特征，标注打包工位标志位标识和打包线标识，并确定打包工位标志位标识数量和打包线标识数量；比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态；其涉及到的图像采集、图像处理，以及最终得出结论，均通过机器设备完成，故极大地提升了判断的准确性，且有效降低了人力成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请的一示例性实施例示出的线材场进行打包线断线状态识别的系统架构示意图；
图2是本申请的一示例性实施例示出的打包线断线状态识别步骤流程图；
图3是本申请的一示例性实施例示出的旋转标注标注框；
图4是本申请的一示例性实施例示出的打包工位示意图；
图5是本申请的一示例性实施例示出的打包线断线状态识别装置的框图；
图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
首先需要说明的是，本发明所提供的断线状态识别方法通过摄像设备采集高分辨率打包工位图像，对图像进行预处理并对打包线和标志位目标进行标注，将完成标注的打包工位图像输入到深度学习网络中进行训练，获取识别率较高的旋转检测模型，进而通过检测模型对实时画面截图中的打包线和标志位进行检测，得到二者的特征信息，例如，数目信息，依据关联特征信息对打包工位场景进行逻辑判断，以判断是否有打包线断裂，提高了检测效率和时效性，避免人工判定时造成的人为误差以及危害施工安全情况发生。
图1是本申请的一示例性实施例示出的线材场进行打包线断线状态识别的系统架构示意图。
参照图1所示，系统架构可以包括图像采集装置101和计算机设备102。其中，计算机设备102可以是台式图形处理器(Graphic Processing Unit，GPU)计算机、GPU计算集群、神经网络计算机等中的至少一种。通过图像采集装置采集得到打包工位的环境图像，然后相关技术人员可以使用该计算机设备102实现对该环境图像的处理，从而得到该打包工位的打包线是否存在断线的结论。
示意性的，图像采集装置101首先采集目标打包工位的环境图像，并将该环境图像传输至计算机设备102，计算机设备102在接收到目标打包工位的环境图像之后，首先通过旋转标注模型，在该环境图像之中标注出打包线标识和打包工位标志位标识，而后通过比较打包线标识数量和打包工位标志位标识数量，判断该打包工位的打包线断线情况。
图2是本申请的一示例性实施例示出的打包线断线状态识别步骤流程图。
如图2所示，在一示例性的实施例中，打包线断线状态识别方法至少包括步骤S210至步骤S230，详细介绍如下：
步骤S210，获取目标打包工位的目标环境图像。
应当理解的是，在各打包工位设置有固定摄像头，以采集各打包工位的工作状态。通过设置在打包工位的固定摄像头对目标打包工位的环境图像进行采集，目标工位的周边设置有一个或多个摄像头，可以通过调整摄像头的角度对采集得到的环境图像的角度做调整，以得到包括目标打包工位信息的多张环境图像，其中以多张能够包括目标打包工位360度的图像为最佳。
在本发明的一个实施例中，在目标打包工位的不同角度设置多个2073600像素摄像的高清摄像设备，并将摄像设备与打工工位相匹配，以使相关摄像设备能够采集场景中各个工位的工作情况图片。并基于设置在打包工位的摄像设备，采集得到1920x1080高分辨率环境图像，以保证标识标注模型能提取到准确的图像信息用于训练，以提升该标识标注模型的准确率。
步骤S220，识别目标环境图像中的打包工位标志位特征和打包线特征，标注打包工位标志位标识和打包线标识，并确定打包工位标志位标识数量和打包线标识数量。
标注打包工位标志位标识和打包线标识包括：获取目标工位的多个样本环境图像，并进行标注，得到训练样本数据集；通过训练样本数据集对初始标识标注模型进行训练；将目标环境图像输入至训练后的标识标注模型，识别目标环境图像中的打包工位标志位特征和打包线特征，得到打包线标注框和打包工位标志位标注框，将打包线标注框确定为打包线标识，将打包工位标志位标注框确定为打包工位标志位标识。
应当理解的是，对采集得到的多个样本环境图像进行标注，该标注方式包括但不限于人工标注，此处并不对标注方式做任何限制；对多个样本数据进行标注后生成训练样本数据集，则该训练样本数据集包括有多个样本环境图像。
将目标环境图像输入至训练后的标识标注模型，识别目标环境图像中的打包工位标志位特征和打包线特征，得到打包线标注框和打包工位标志位标注框：通过矩形框对多个目标环境图像进行旋转框标注，该矩形框包括非标准矩形框；使用的是OpenCV(开源计算机视觉库)的最小外接矩形，将非标准矩形框修正为标准矩形框，并得到标识标注模型的角度预测结果；基于角度预测结果在预设的角度范围内检测具有旋转属性的打包线和打包工位标志位，以得到打包线标注框和打包工位标志位标注框。
应当理解的是，在每一根打包线由于近大原小的视觉效果和旋转属性，相机视场内的多根打包线会出现大量重叠情况，传统非旋转检测算法可能会出现大量漏检。为避免此类漏检情况出现，我们在模型输出端添加角度预测结果，创新性的开发出高精度的旋转目标检测模型。
在本发明的一个实施例中，通过采用环形平滑标签(CSL)的方式解决角度周期性问题，以增加相邻角度之间的误差容忍度，其环形平滑标签方法的公式如下：
Figure BDA0003861671020000071
其中，g(x)是窗函数，r是窗函数的半径，θ是当前包围框的角度。
应当理解的是，采集得到的初始环境图像具有多样性的环境信息，其中包括复杂的光照条件和任务目标，故需要制作训练意义充分地基于旋转标注的数据集用于深度学习模型训练，以得到该目标打包工位的打包线标识信息以及打包工位标志位标识信息。其中所涉及的标准矩形框即为有一个角是直角的平行四边形，而非标准矩形则是非矩形的其他四边形。
图3是本申请的一示例性实施例示出的旋转标注标注框。
如图3所示，从左上角开始，沿着顺时针的方向对目标环境图像中的任一打包线或打包工位标志位，进行标注，以形成四边形标注框。通过旋转标注模型(即标识标注模型)对目标环境图像中的打包线以及打包工位标志位进行标注，该旋转标注模型根据形貌信息检测打包线和打包工位标志位，判断检测得到的打包线数量和打包工位标志位数量是否一致，若否，则判定场景下有打包线断裂。
在本发明的一个实施例中对在特定工业场景下拍摄获得的打包工位图像并进行打包线和标志位目标的标注、学习、检测以及获取二者的目标框(即打包线标注框和打包工位标志位标注框)，通过目标框检测出打包线和打包工位标志位在图像中的位置信息、同时记录该信息并制作成打包工位旋转数据集，并将其分为三部分：训练集、测试集、验证集，用训练集的数据训练打包线和打包工位标志位目标检测模型(即标注标识模型)。在检测模型进行训练时，图像标注后训练集可用于训练的有效信息包括图像基础属性与标注信息。图像基础属性有：filename-文件名称，width-宽度，height-高度，depth-图像深度。标注信息包括：Xmin,Ymin,Xmax,Ymax，分别代表每一个目标框在图像中的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；class，即目标物体的类别。通过深度学习网络提取每张打包工位目标环境图像的训练集图像中目标框范围内打包线标识和打包工位标志位标识，最终得到打包线、标志位目标的旋转检测模型(即标识标注模型)。本实施例选用了YOLOV5神经网络，还可以选用其他模型，例如transformer、例如RNN(LSTM)、Faster-RCNN,R3det等模型。在分类模型训练时，图像标注后训练集可用于训练的有效信息包括图像基础属性与标注信息。图像基础属性有：filename-文件名称，width-宽度，height-高度，depth-图像深度。标注信息包括：Xmin,Ymin,Xmax,Ymax，分别代表每一个目标框在图像中的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；class，即目标物体的类别，此处分目标为打包线或是标志位两类，二者都具有旋转属性。通过学习每张打包工位训练集图像中目标框范围内的目标特征与所属类别，最终得到打包工位目标分类模型。
应当理解的是，通过上述旋转标注模型(即标识标注模型)将目标环境图像中的打包线和打包工位标志位分别标注了打包线标识和打包工位标志位标识，其打包线标识的数量即为打包线的数量，同理打包工位标志位标识的数量即为打包工位标志位的数量，故得到打包线标识数量和打包工位标志位标识数量，即为得到打包线数量和打包工位标志位数量，通过比较打包线标识数量和打包工位标志位标识数量即可判断该打包工位的打包线断线状态。
步骤S230，比较打包工位标志位标识数量和打包线标识数量，确定目标打包工位打包线断线状态。
比较打包工位标志位标识数量和打包线标识数量，确定目标打包工位打包线断线状态包括以下至少之一：当目标打包工位的打包线标识数量和打包工位标志位标识数量相等，判定目标打包工位的打包线断线状态为无断线状态；当目标打包工位的打包线标识数量和打包工位标志位标识数量不相等，判定目标打包工位的打包线断线状态为有断线状态。
在本发明的一个实施例中，经过对目标环境图像进行标注，得到该目标打包工位的打包线标注框为K1，打包工位标志位标注框为K2，其中K1小于K2，则判定该目标打包工位的打包线断线状态为有断线状态。
在本发明的一个实施例中，经过对目标环境图像进行标注，得到该目标打包工位的打包线标注框为K3，打包工位标志位标注框为K4，其中K3等于K4，则判定该目标打包工位的打包线断线状态为无断线状态。
比较打包工位标志位标识数量和打包线标识数量，确定目标打包工位打包线断线状态之后，方法还包括：若无断线，获取下一时刻的下一时刻图像，并标注下一时刻图像的打包线标注框；将当前时刻的图像确定为待追踪图像，并标注待追踪图像的打包线标注框；比较待追踪图像的标注框数量和下一时刻图像的打包线标注框数量，若下一时刻图像的打包线标注框数量小于待追踪图像的打包线标注框数量，则判定目标打包工位的打包线断线状态为有断线状态。
在本发明的一个实施例中，采集两帧连续的打包工位的环境图像，并分别标注该前后两帧环境图像的打包线，并通过标识数量确定模型得到前一帧环境图像中的打包线标识数量为S1，后一帧环境图像中的打包线标识数量S2，比较S1和S2得到S1大于S2，则确定该打包工位的打包线断线状态为有断线。通过对打包线标注框进行目标追踪的方式，有效增强了检测结果的鲁棒性，从而提高整体检测的准确性。
确定目标打包工位的打包线断线状态之后还包括：获取多帧目标工位的环境图像，并检测多帧目标工位的打包线断线状态；当检测到至少一帧目标工位的打包线断线状态为有断线状态，则发出警报信息。
发出警报信息之前还包括：获取多帧目标工位的打包线断线状态为有断线状态的帧数；若多帧的帧数大于或等于预设的安全帧数阈值，则发出警报信息。
在本发明的一个实施例中，当某打包工位的打包线为有断线状态是，预设其发出警报的安全帧数阈值为M。确定该目标打包工位的打包线状态为有断线状态，则基于该时刻往后采集N帧图像，并对其N帧图像进行标注，确认该N帧图像中的打包工位环境信息皆表明该打包工位的打包线断线状态为有断线状态，且N大于M，则控制该打包工位的控制器发出警报。
应当理解的是，基于旋转标注模型(即标识标注模型)得到目标环境图像中的打包线标识和打包工位标志位标识，然后又通过标识数量确定模型得到该目标环境图像中打包线标识的数量和打包工位标志位标识的数量，从而通过比较打包线标识的数量和打包工位标志位标识的数量判断该目标打包工位的打包线断线状态。当确定该目标打包位打包线处于有断线的状态时，还可以通过检测多帧图像的断线状态而判断是否报警。
图4是本申请的一示例性实施例示出的打包工位示意图。
如图4所示，在某一打包工位中，包括多个打包工位标志位以及多根打包线，且每个打包工位标志位对应有一根打包线，其中A、B、C所示的位置即为打包工位标志位，而a、b、c所示的位置则为打包线，其中打包线a和b未断裂，打包线c已断裂，在图像识别与标注的过程中，将正常识别并标注a和b，而c则不能被成功标注，故在目标环境图像中，当该打包工位打包线断线状态为无断线时，其打包工位标志位标识数量和打包线标识数量相等；当该打包工位打包线断线状态为有断线时，其其打包工位标志位标识数量大于打包线标识数量。
在本发明的一个实施例中，通过旋转标注模型(即标识标注模型)得到目标环境图像中的打包线标识和打包工位标志位标识，然后又通过标识数量确定模型得到该目标环境图像中打包线标识的数量和打包工位标志位标识的数量，得到打包线标识数量为A1，打包工位标志位标识数量也为B1，比较打包线标识数量和打包工位标志位标识数量，得到A1等于B1，即打包线标识数量等于打包工位标志位标识数量，则判定该目标打包工位的打包线断线状态为无断线。
在本发明的另一个实施例中，通过旋转标注模型(即标识标注模型)得到目标环境图像中的打包线标识和打包工位标志位标识，然后又通过标识数量确定模型得到该目标环境图像中打包线标识的数量和打包工位标志位标识的数量，得到打包线标识数量为A2，打包工位标志位标识数量为B2，比较打包线标识数量和打包工位标志位标识数量，得到A2小于B2，即打包线标识数量小于打包工位标志位标识数量，则判定该目标打包工位的打包线断线状态为有断线。进而采集该打包工位多帧的环境图像进行标注和识别，得到该目标打包工位连续K帧的打包线断线状态为有断线，且K大于预设的等待值(安全帧数阈值)K0，故控制启动该目标打包工位的报警装置，以实现向相关工作人员或相关处理单元报警的功能。
图5是本申请的一示例性实施例示出的打包线断线状态识别装置的框图。该装置可以应用于图1所示的实施环境，并具体配置在智能终端102中。该装置也可以适用于其它示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
如图5所示，该示例性的打包线断线状态识别装置包括：图像获取模块510、标识标注模块520、状态确定模块530。
其中图像获取模块510，用于获取目标打包工位的目标环境图像；标识标注模块520，用于识别目标环境图像中的打包工位标志位特征和打包线特征，标注打包工位标志位标识和打包线标识，并确定打包工位标志位标识数量和打包线标识数量；状态确定模块530，用于比较打包工位标志位标识数量和打包线标识数量，确定目标打包工位打包线断线状态。
状态确定模块530还包括断线状态识别模块、断线时长确定模块和报警模块。
其中断线状态识别模块，用于识别目标打包工位的打包线断线状态；断线时长确定模块，用于确定目标工位处于的打包线断线状态为有断线状态的多帧数；报警模块，用于当目标工位处于的打包线断线状态为有断线状态的多帧数超过预设的安全帧数阈值时，发出警报。
需要说明的是，上述实施例所提供的打包线断线状态识别装置与上述实施例所提供的打包线断线状态识别方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的打包线断线状态识别装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现上述各个实施例中提供的打包线断线状态识别方法。
图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(Central Processing Unit，CPU)601，其可以根据存储在只读存储器(Read-Only Memory，ROM)602中的程序或者从储存部分608加载到随机访问存储器(Random Access Memory，RAM)603中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output，I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分607；包括硬盘等的储存部分608；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入储存部分608。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行的执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前的打包线断线状态识别方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的打包线断线状态识别方法。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种打包线断线状态识别方法，其特征在于，包括：
获取目标打包工位的目标环境图像；
识别所述目标环境图像中的打包工位标志位特征和打包线特征，标注打包工位标志位标识和打包线标识，并确定打包工位标志位标识数量和打包线标识数量；
比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态。
2.根据权利要求1所述的打包线断线状态识别方法，其特征在于，标注打包工位标志位标识和打包线标识包括：
获取目标工位的多个样本环境图像，并进行标注，得到训练样本数据集；
通过所述训练样本数据集对初始标识标注模型进行训练；
将所述目标环境图像输入至训练后的所述标识标注模型，识别所述目标环境图像中的打包工位标志位特征和打包线特征，得到打包线标注框和打包工位标志位标注框，将所述打包线标注框确定为打包线标识，将所述打包工位标志位标注框确定为打包工位标志位标识。
3.根据权利要求2所述的打包线断线状态识别方法，其特征在于，将所述目标环境图像输入至训练后的所述标识标注模型，识别所述目标环境图像中的打包工位标志位特征和打包线特征，得到打包线标注框和打包工位标志位标注框包括：
通过矩形框对所述多个目标环境图像进行旋转框标注，所述矩形框包括非标准矩形框；
将所述非标准矩形框修正为标准矩形框，并得到所述标识标注模型的角度预测结果；
基于所述角度预测结果在预设的角度范围内检测具有旋转属性的打包线和打包工位标志位，得到打包线标注框和打包工位标志位标注框。
4.根据权利要求2所述的打包线断线状态识别方法，其特征在于，比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态包括以下至少之一：
当所述目标打包工位的打包线标识数量和打包工位标志位标识数量相等，判定所述目标打包工位的打包线断线状态为无断线状态；
当所述目标打包工位的打包线标识数量和打包工位标志位标识数量不相等，判定所述目标打包工位的打包线断线状态为有断线状态。
5.根据权利要求1所述的打包线断线状态识别方法，其特征在于，比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态之后，所述方法还包括：
若无断线，获取下一时刻的下一时刻图像，并标注所述下一时刻图像的打包线标注框；
将当前时刻的图像确定为待追踪图像，并标注所述待追踪图像的打包线标注框；
比较所述待追踪图像的标注框数量和所述下一时刻图像的打包线标注框数量，若所述下一时刻图像的打包线标注框数量小于所述待追踪图像的打包线标注框数量，则判定所述目标打包工位的打包线断线状态为有断线状态。
6.根据权利要求1-5任一项所述的打包线断线状态识别方法，其特征在于，确定所述目标打包工位的打包线断线状态之后还包括：
获取多帧所述目标工位的环境图像，并检测所述多帧所述目标工位的打包线断线状态；
当检测到至少一帧所述目标工位的打包线断线状态为有断线状态，则发出警报信息。
7.根据权利要求6所述的打包线断线状态识别方法，其特征在于，发出警报信息之前还包括：
获取所述多帧所述目标工位的打包线断线状态为有断线状态的帧数；
若所述多帧的帧数大于或等于预设的安全帧数阈值，则发出警报信息。
8.一种打包线断线状态识别装置，其特征在于，包括：
图像获取模块，用于获取目标打包工位的目标环境图像；
标识标注模块，用于识别所述目标环境图像中的打包工位标志位特征和打包线特征，标注打包工位标志位标识和打包线标识，并确定打包工位标志位标识数量和打包线标识数量；
状态确定模块，用于比较所述打包工位标志位标识数量和所述打包线标识数量，确定所述目标打包工位打包线断线状态。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的打包线断线状态识别方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的打包线断线状态识别方法。
CN202211166583.6A 2022-09-23 2022-09-23 一种打包线断线状态识别方法、装置、设备及存储介质 Pending CN115457330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211166583.6A CN115457330A (zh) 2022-09-23 2022-09-23 一种打包线断线状态识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211166583.6A CN115457330A (zh) 2022-09-23 2022-09-23 一种打包线断线状态识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115457330A true CN115457330A (zh) 2022-12-09

Family

ID=84307037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211166583.6A Pending CN115457330A (zh) 2022-09-23 2022-09-23 一种打包线断线状态识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115457330A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372377A (zh) * 2023-10-23 2024-01-09 保定景欣电气有限公司 一种单晶硅棱线的断线检测方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372377A (zh) * 2023-10-23 2024-01-09 保定景欣电气有限公司 一种单晶硅棱线的断线检测方法、装置及电子设备
CN117372377B (zh) * 2023-10-23 2024-05-31 保定景欣电气有限公司 一种单晶硅棱线的断线检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109308174B (zh) 跨屏幕图像拼接控制方法
CN112149658B (zh) 目标物尺寸确定方法、系统、电子设备及存储介质
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN115457330A (zh) 一种打包线断线状态识别方法、装置、设备及存储介质
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN110570422A (zh) 一种基于矩阵分析的胶囊缺陷视觉检测方法
CN111091104A (zh) 一种目标物体的防护检测方法、装置、设备及存储介质
CN109086643B (zh) 一种基于机器视觉的彩盒标签检测方法及系统
CN116993804B (zh) 一种基于lsm算法的箍筋尺寸检测方法及系统
CN113177941B (zh) 一种钢卷边裂识别方法、系统、介质和终端
CN112669302A (zh) 吊弦缺陷检测方法、装置、电子设备及存储介质
CN112053333A (zh) 一种基于机器视觉的方坯检测方法、系统、设备及介质
CN109146916A (zh) 一种运动物体跟踪方法及装置
CN115482416A (zh) 一种打包线乱线报警方法、装置、设备及存储介质
CN115982824A (zh) 施工现场工人空间管理方法、装置、电子设备及存储介质
CN115760857A (zh) 一种塔机斜拉斜吊智能检测方法、终端、设备以及介质
CN115027904A (zh) 基于实例分割的皮带撕裂检测方法
CN110674778B (zh) 一种高分辨视频图像目标检测方法及装置
CN114973113A (zh) 目标检测和追踪的方法及系统
WO2022027816A1 (zh) 一种用于图像获取装置的检测方法及相关装置
Fu et al. Vision based navigation for power transmission line inspection robot
CN112730427B (zh) 一种基于机器视觉的产品表面缺陷检测方法及系统
CN111553210B (zh) 车道线检测模型的训练方法、车道线检测方法及装置
CN116071314A (zh) 一种自动判断缺陷对面板产品影响程度的方法
CN113976452A (zh) 一种基于柔性排线的失效检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination