CN112053339A - 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备 - Google Patents

一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备 Download PDF

Info

Publication number
CN112053339A
CN112053339A CN202010900128.9A CN202010900128A CN112053339A CN 112053339 A CN112053339 A CN 112053339A CN 202010900128 A CN202010900128 A CN 202010900128A CN 112053339 A CN112053339 A CN 112053339A
Authority
CN
China
Prior art keywords
bar
bundle
bar bundle
position information
crane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010900128.9A
Other languages
English (en)
Other versions
CN112053339B (zh
Inventor
刘斌
袁钰博
庞殊杨
赵静
刘常坤
贾鸿盛
毛尚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202010900128.9A priority Critical patent/CN112053339B/zh
Publication of CN112053339A publication Critical patent/CN112053339A/zh
Application granted granted Critical
Publication of CN112053339B publication Critical patent/CN112053339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本发明公开了一种基于机器视觉的棒材成品库行车安全监测方法，包括：将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。本发明利用深度学习算法与机器视觉相结合，实现对成品库中棒材捆的吊运情况进行实时检测，并在检测到散捆棒材、棒材吸取不牢固以及码垛不规整时反馈警告信号，提醒工人处理。

Description

一种基于机器视觉的棒材成品库行车安全监测方法、装置及 设备
技术领域
本发明涉及及图像处理领域，尤其涉及一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备。
背景技术
在棒材打捆入库环节中，需对成品库中的棒材进行吊运并码垛。其中，每一套行车吊运系统分别由三个行车组成，两台控制纵向的行车，一台控制横向的行车。正常情况下，横向行车上的磁盘吊将已经打捆完毕的棒材(即棒材捆)吊运至成品库规定的棒材堆放位置进行码垛。若出现散捆棒材、棒材吸取不牢固以及码垛不规整的情况，将会导致该环节运行停滞，出现巨大的生产损失。
为确保该环节的持续顺畅运行，需实时检查吊运棒材是否存在散捆、吸吊不牢和堆放不规整的情况。而目前对于该吊运环节的检测主要依靠人工来进行，可能会出现漏检、错检的情况且不具备实时性。
发明内容
鉴于以上所述的现有技术缺点，本发明的目的在于提供一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备，用于解决现有技术的缺陷。
为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的棒材成品库行车安全监测方法，包括：
将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；
基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；
将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。
可选地，若不存在棒材捆吸取不牢固或散捆情况，则判断所述棒材捆是否存在码垛不规则的情况；若出现码垛不规则的情况，则输出报警信号。
可选地，所述棒材捆的位置信息为：
Figure BDA0002659526740000021
其中，每一行对应一个棒材捆识别框，Tie1xmin,Tie1ymin分别为第一个棒材捆识别框的左上角点的横、纵坐标；Tie1xmax,Tie1ymax分别为第一个棒材捆识别框右下角点的横、纵坐标；Tie2表示第二个棒材识别框，Tie3表示第三个棒材识别框，Tien表示第n个棒材识别框。
可选地，所述磁盘吊的位置信息为：
[Magnetxmin，Magnetymin，Magnetxmax，Magnetymax]，
其中，Magnetxmin,Magnetymin分别为磁盘吊识别框的左上角点的横、纵坐标；Magnetxmax,Magnetymax分别为磁盘吊识别框的右下角点的横、纵坐标。
可选地，所述基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离，包括：
根据所述棒材捆的位置信息，得到棒材捆的中心位置坐标Cn；
根据所述磁盘吊的位置信息，得到磁盘吊的中心位置坐标B(x，y)；
基于所述棒材捆的中心位置坐标Cn与磁盘吊的中心位置坐标B(x，y)得到棒材捆与磁盘吊之间的距离；
Dn＝|B(x,y)-Cn|
其中，Dn表示编号为n的棒材捆与磁盘吊的距离。
可选地，所述判定是否存在棒材捆吸取不牢固或出现散捆的情况，包括，
若所述棒材捆与所述磁盘吊之间的距离Dn大于设定的距离D，则表示棒材捆出现吸取不牢固或者散捆的情况；
若所述棒材捆与所述磁盘吊之间的距离Dn小于或等于设定的距离D，则表示棒材捆没有出现吸取不牢固或者散捆的情况。
可选地，判定棒材捆是否存在码垛不规则的情况，包括：
识别出所述棒材捆中的棒材；
将棒材的轴线与水平方向的夹角与设定角度进行对比；
若所述棒材的轴线与水平方向的夹角大于所述设定角度，则表示棒材捆摆放不规则；若所述棒材的轴线与水平方向的夹角小于或等于所述设定角度，则表示棒材捆摆放规则。
可选地，采用SSD-MobileNet、R-CNN、Faster-RCNN或YOLO对训练所述棒材捆检测模型。
可选地，获取所述棒材捆检测模型的方法包括：
对棒材捆图片进行图像标注；
使用识别框标出棒材捆在图像中的位置、记录下目标框的位置信息并制作成棒材捆训练集；
用训练集的数据训练得到棒材捆检测模型。
可选地，获取所述磁盘吊检测模型的方法包括：
对磁盘吊图片进行图像标注；
使用识别框标出磁盘吊在图像中的位置、记录下目标框的位置信息并制作成磁盘吊训练集；
用训练集的数据训练得到磁盘吊检测模型。
为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的棒材成品库行车安全监测装置，，包括：
目标检测模块，用于将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；
距离计算模块，用于基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；
判断模块，用于将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。
可选地，若不存在棒材捆吸取不牢固或散捆情况，则判断所述棒材捆是否存在码垛不规则的情况；若出现码垛不规则的情况，则输出报警信号。
可选地，所述棒材捆的位置信息为：
Figure BDA0002659526740000031
其中，每一行对应一个棒材捆识别框，Tie1xmin,Tie1ymin分别为第一个棒材捆识别框的左上角点的横、纵坐标；Tie1xmax,Tie1ymax分别为第一个棒材捆识别框右下角点的横、纵坐标；Tie2表示第二个棒材识别框，Tie3表示第三个棒材识别框，Tien表示第n个棒材识别框。
可选地，所述磁盘吊的位置信息为：
[Magnetxmin，Magnetymin，Magnetxmax，Magnetymax]，
其中，Magnetxmin,Magnetymin分别为磁盘吊识别框的左上角点的横、纵坐标；Magnetxmax,Magnetymax分别为磁盘吊识别框的右下角点的横、纵坐标。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行所述的方法。
如上所述，本发明的一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备，具有以下有益效果：
本发明的一种基于机器视觉的棒材成品库行车安全监测方法，包括：将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。本发明利用深度学习算法与机器视觉相结合，实现对成品库中棒材捆的吊运情况进行实时检测，并在检测到散捆棒材、棒材吸取不牢固以及码垛不规整时反馈警告信号，提醒工人处理。
附图说明
图1为本发明一实施例中一种基于机器视觉的棒材成品库行车安全监测方法流程图；
图2为本发明一实施例中球机拍摄棒材截面示意图；
图3为本发明一实施例中相机、行车、棒材捆相对位置示意图；
图4为本发明一实施例中棒材捆出现吸吊不牢固的情况示意图；
图5为本发明一实施例中棒材捆码垛不规则的情况示意图；
图6为本发明一实施例中一种基于机器视觉的棒材成品库行车安全监测装置的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
本实施例提供一种基于机器视觉的棒材成品库行车安全监控方法，其中，所述的棒材成品库行车用于对棒材捆进行吊运，进一步完成码垛。如图3所示，每一套行车吊运系统分别由三个行车组成，一台控制纵向的行车2，两台控制横向的行车1。每一个控制横向的行车下面设置有一磁盘吊4，磁盘吊用于吊取棒材捆5。每一个控制纵向的行车上，有n个磁盘吊。本实施例选用的是3个磁盘吊，其他数量的磁盘吊可达到同样的效果。控制横向的行车2上各架设一台球机3，利用所述相机采集纵向行车上的棒材样本图像，主要是拍摄磁盘吊上的棒材捆端面，如图2所示。由于棒材捆较长，且行车存在对目标识别的遮挡，正视或者俯视的拍摄角度不够理想。因此，将相机架设于横向行车上，向下方斜视棒材捆，可实现对棒材捆端面的实时拍摄。
如图1所示，所述的监控方法包括：
S11将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；
S12基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；
S13将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。
本发明利用深度学习算法与机器视觉相结合，实现对成品库中棒材捆的吊运情况进行实时检测，并在检测到散捆棒材、棒材吸取不牢固以及码垛不规整时反馈警告信号，提醒工人处理。
在一实施例中，棒材捆检测模型与磁盘吊检测模型的训练方法为：
标注所采集到的样本图像，搭建基于深度神经网络的棒材捆检测模型和磁盘吊检测模型，并利用样本图像进行训练，得到基于深度神经网络的棒材捆检测模型和磁盘吊检测模型。
对在特定工业场景下拍摄获得的棒材捆和相应的磁盘吊图片进行图像标注，并使用图像标注工具的识别框标出棒材捆在图像中的位置以及磁盘吊在图像中的位置，记录下棒材捆识别框的位置信息与磁盘吊识别框的位置信息并制作成数据集，并将其分为三部分：训练集、测试集、验证集，用训练集的数据训练棒材捆检测模型和磁盘吊检测模型。
图像标注后棒材捆训练集和磁盘吊训练集可用于训练的有效信息包括图像基础属性与标注信息。图片基础属性有：filename-文件名称，width-宽度，height-高度，depth-图像深度。标注信息包括：xmin,ymin,xmax,ymax，分别代表识别框(棒材捆识别框、磁盘吊识别框)在图像中的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；class，即目标物体的类别，分别为磁盘吊、棒材捆以及散捆棒材。
通过学习每张棒材捆和磁盘吊训练集图像中识别框范围内的目标特征，最终得到棒材捆检测模型和磁盘吊检测模型。在一实施例中，选用了SSD-MobileNet神经网络作为棒材捆检测网络和磁盘吊检测网络，其他的目标识别类神经网络亦可实现与本实施例相近的效果，如R-CNN、Faster-RCNN与YOLO系列等。
在一实施例中，将磁盘吊及棒材捆设置为感兴趣区域(ROI：Region ofInterest)，对感兴趣区域的图像进行实时采集。
在采集到感兴趣区域中包括磁盘吊与棒材捆的吊运图像后，将该图像输入到预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，识别出其中的棒材捆和磁盘吊，同时输出磁盘吊的位置信息与棒材捆的位置信息。
其中，棒材捆位置信息为：
Figure BDA0002659526740000061
其中，每一行对应一个棒材捆识别框，Tie1xmin,Tie1ymin分别为第一个棒材捆识别框的左上角点的横、纵坐标；Tie1xmax,Tie1ymax分别为第一个棒材捆识别框右下角点的横、纵坐标；Tie2表示第二个棒材识别框，Tie3表示第三个棒材捆识别框，Tien表示第n个棒材捆识别框。
实际上，棒材捆的位置指的是棒材捆识别框的位置，该识别框为一个能够将棒材捆包含在内的最小矩形框或正方形框。
磁盘吊的位置信息为：
[Magnetxmin，Magnetymin，Magnetxmax，Magnetymax]，
其中，Magnetxmin,Magnetymin分别为磁盘吊识别框的左上角点的横、纵坐标；Magnetxmax,Magnetymax分别为磁盘吊识别框的右下角点的横、纵坐标。
实际上，磁盘吊的位置指的是磁盘吊识别框的位置，该识别框为一个能够将磁盘吊包含在内的最小矩形框或正方形框。
在一实施例中，所述基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离，包括：
根据所述棒材捆的位置信息，得到棒材捆的中心位置坐标Cn；
根据所述磁盘吊的位置信息，得到磁盘吊的中心位置坐标B(x，y)；
基于所述棒材捆的中心位置坐标Cn与磁盘吊的中心位置坐标B(x，y)得到棒材捆与磁盘吊之间的距离；
Dn＝|B(x,y)-Cn|
其中，Dn表示编号为n的棒材捆与磁盘吊的距离。
其中，利用所述棒材捆位置信息，计算棒材捆的中心位置坐标Cn：
Figure BDA0002659526740000071
n表示磁盘吊吊取的棒材捆的编号，
利用所述磁盘吊位置信息，得到磁盘吊的中心位置坐标B(x，y)：
Figure BDA0002659526740000072
基于所述棒材捆的中心位置坐标Cn与磁盘吊的中心位置坐标B(x，y)得到棒材捆与磁盘吊之间的距离；
Dn＝|By-Cny|
在一实施例中，所述判定是否存在棒材捆吸取不牢固或出现散捆的情况，包括，
若所述棒材捆与所述磁盘吊之间的距离Dn大于设定的距离D，则表示棒材捆出现吸取不牢固或者散捆的情况；
若所述棒材捆与所述磁盘吊之间的距离Dn小于或等于设定的距离D，则表示棒材捆没有出现吸取不牢固或者散捆的情况，如图4所示。
若出现吸取不牢固或者散捆的情况时，则反馈异常信号，通知工人处理
在一实施例中，判定棒材捆是否存在码垛不规则的情况，包括：
识别出所述棒材捆中的棒材；
将棒材的轴线与水平方向的夹角与设定角度进行对比；
若所述棒材的轴线与水平方向的夹角大于所述设定角度，则表示棒材捆摆放不规则，如图5所示；若所述棒材的轴线与水平方向的夹角小于或等于所述设定角度，则表示棒材捆摆放规则。
若出现棒材捆摆不规则的情况时，则反馈异常信号，通知工人处理。具体可以通过声光报警的方式，提醒工人处理。其他异常反馈方式亦可实现相似效果，如通过传输异常信号至系统，由系统对该状况进行处理。
本发明可实现对棒材捆吊运全流程(包括磁盘吊刚吊取上棒材捆、吊运过程中以及码垛完成等过程)，出现棒材捆吸取不牢固、散捆的情况进行实时检测。
如图6所示，一种基于机器视觉的棒材成品库行车安全监测装置，包括：
目标检测模块61，用于将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；
距离计算模块62，用于基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；
判断模块63，用于将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解为：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以储存于一计算机可读储存介质中。该程序在执行时，执行包括上述个方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等可以存储程序代码的介质。
本实施例提供的设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，是设备执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory,简称RAM)，也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，说明书对“本实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种基于机器视觉的棒材成品库行车安全监测方法，其特征在于，包括：
将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；
基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；
将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。
2.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，若不存在棒材捆吸取不牢固或散捆情况，则判断所述棒材捆是否存在码垛不规则的情况；若出现码垛不规则的情况，则输出报警信号。
3.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，所述棒材捆的位置信息为：
Figure FDA0002659526730000011
其中，每一行对应一个棒材捆识别框，Tie1xmin,Tie1ymin分别为第一个棒材捆识别框的左上角点的横、纵坐标；Tie1xmax,Tie1ymax分别为第一个棒材捆识别框右下角点的横、纵坐标；Tie2表示第二个棒材识别框，Tie3表示第三个棒材识别框，Tien表示第n个棒材识别框。
4.根据权利要求3所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，所述磁盘吊的位置信息为：
[Magnetxmin，Magnetymin，Magnetxmax，Magnetymax]，
其中，Magnetxmin,Magnetymin分别为磁盘吊识别框的左上角点的横、纵坐标；Magnetxmax,Magnetymax分别为磁盘吊识别框的右下角点的横、纵坐标。
5.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，所述基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离，包括：
根据所述棒材捆的位置信息，得到棒材捆的中心位置坐标Cn；
根据所述磁盘吊的位置信息，得到磁盘吊的中心位置坐标B(x，y)；
基于所述棒材捆的中心位置坐标Cn与磁盘吊的中心位置坐标B(x，y)得到棒材捆与磁盘吊之间的距离；
Dn＝|B(x,y)-Cn|
其中，Dn表示编号为n的棒材捆与磁盘吊的距离。
6.根据权利要求5所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，所述判定是否存在棒材捆吸取不牢固或出现散捆的情况，包括，
若所述棒材捆与所述磁盘吊之间的距离Dn大于设定的距离D，则表示棒材捆出现吸取不牢固或者散捆的情况；
若所述棒材捆与所述磁盘吊之间的距离Dm小于或等于设定的距离D，则表示棒材捆没有出现吸取不牢固或者散捆的情况。
7.根据权利要求2所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，判定棒材捆是否存在码垛不规则的情况，包括：
识别出所述棒材捆中的棒材；
将棒材的轴线与水平方向的夹角与设定角度进行对比；
若所述棒材的轴线与水平方向的夹角大于所述设定角度，则表示棒材捆摆放不规则；若所述棒材的轴线与水平方向的夹角小于或等于所述设定角度，则表示棒材捆摆放规则。
8.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，采用SSD-MobileNet、R-CNN、Faster-RCNN或YOLO对训练所述棒材捆检测模型或/和所述磁盘吊检测模型。
9.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，获取所述棒材捆检测模型的方法包括：
对棒材捆图片进行图像标注；
使用识别框标出棒材捆在图像中的位置、记录下目标框的位置信息并制作成棒材捆训练集；
用训练集的数据训练得到棒材捆检测模型。
10.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，获取所述磁盘吊检测模型的方法包括：
对磁盘吊图片进行图像标注；
使用识别框标出磁盘吊在图像中的位置、记录下目标框的位置信息并制作成磁盘吊训练集；
用训练集的数据训练得到磁盘吊检测模型。
11.一种基于机器视觉的棒材成品库行车安全监测装置，其特征在于，包括：
目标检测模块，用于将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；
距离计算模块，用于基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；
判断模块，用于将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。
12.根据权利要求11所述的基于机器视觉的棒材成品库行车安全监测装置，其特征在于，若不存在棒材捆吸取不牢固或散捆情况，则判断所述棒材捆是否存在码垛不规则的情况；若出现码垛不规则的情况，则输出报警信号。
13.根据权利要求11所述的基于机器视觉的棒材成品库行车安全监测装置，其特征在于，所述棒材捆的位置信息为：
Figure FDA0002659526730000031
其中，每一行对应一个棒材捆识别框，Tie1xmin,Tie1ymin分别为第一个棒材捆识别框的左上角点的横、纵坐标；Tie1xmax,Tie1ymax分别为第一个棒材捆识别框右下角点的横、纵坐标；Tie2表示第二个棒材识别框，Tie3表示第三个棒材识别框，Tien表示第n个棒材识别框。
14.根据权利要求13所述的基于机器视觉的棒材成品库行车安全监测装置，其特征在于，所述磁盘吊的位置信息为：
[Magnetxmin，Magnetymin，Magnetxmax，Magnetymax]，
其中，Magnetxmin,Magnetymin分别为磁盘吊识别框的左上角点的横、纵坐标；Magnetxmax,Magnetymax分别为磁盘吊识别框的右下角点的横、纵坐标。
15.一种设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如权利要求1～10中的任一项方法。
CN202010900128.9A 2020-08-31 2020-08-31 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备 Active CN112053339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010900128.9A CN112053339B (zh) 2020-08-31 2020-08-31 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010900128.9A CN112053339B (zh) 2020-08-31 2020-08-31 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112053339A true CN112053339A (zh) 2020-12-08
CN112053339B CN112053339B (zh) 2023-01-31

Family

ID=73606581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010900128.9A Active CN112053339B (zh) 2020-08-31 2020-08-31 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112053339B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222977A (zh) * 2021-05-31 2021-08-06 中冶赛迪重庆信息技术有限公司 一种行车作业过程中的棒线材标签识别方法、系统、介质和终端

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0276830A1 (de) * 1987-01-30 1988-08-03 Joachim Schirnig Haltevorrichtung mit Saugnapf
KR20100131701A (ko) * 2009-06-08 2010-12-16 에스티엑스조선해양 주식회사 마그네틱 크레인과 컨베이어를 이용한 실시간 강재 관리 시스템 및 방법
CN203833259U (zh) * 2014-03-14 2014-09-17 沈阳隆基电磁科技股份有限公司 一种打捆机用翻转电磁铁系统
CN104058260A (zh) * 2013-09-27 2014-09-24 沈阳工业大学 基于视觉处理的机器人自动码垛方法
CN109850766A (zh) * 2019-01-28 2019-06-07 唐山钢铁集团微尔自动化有限公司 天车吊运铁钢包的安全检测方法及系统
CN110143447A (zh) * 2019-06-06 2019-08-20 广西现代职业技术学院 锌锭垛自动下线转运加固方法
CN110273711A (zh) * 2019-07-09 2019-09-24 通号电缆集团有限公司 一种漏缆吊具脱落的在线监测方法及系统
CN110490995A (zh) * 2019-08-26 2019-11-22 精英数智科技股份有限公司 一种皮带运行状态异常监测方法、系统、设备及存储介质
CN110852233A (zh) * 2019-11-05 2020-02-28 上海眼控科技股份有限公司 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN111055039A (zh) * 2019-12-31 2020-04-24 东北大学 一种基于机器视觉的成捆棒材标牌焊接系统
CN111223180A (zh) * 2020-01-08 2020-06-02 中冶赛迪重庆信息技术有限公司 一种料场的三维建模方法、装置、存储介质及电子终端
CN111344460A (zh) * 2017-12-04 2020-06-26 住友重机械工业株式会社 周边监视装置、信息处理终端、信息处理装置及信息处理程序

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0276830A1 (de) * 1987-01-30 1988-08-03 Joachim Schirnig Haltevorrichtung mit Saugnapf
KR20100131701A (ko) * 2009-06-08 2010-12-16 에스티엑스조선해양 주식회사 마그네틱 크레인과 컨베이어를 이용한 실시간 강재 관리 시스템 및 방법
CN104058260A (zh) * 2013-09-27 2014-09-24 沈阳工业大学 基于视觉处理的机器人自动码垛方法
CN203833259U (zh) * 2014-03-14 2014-09-17 沈阳隆基电磁科技股份有限公司 一种打捆机用翻转电磁铁系统
CN111344460A (zh) * 2017-12-04 2020-06-26 住友重机械工业株式会社 周边监视装置、信息处理终端、信息处理装置及信息处理程序
CN109850766A (zh) * 2019-01-28 2019-06-07 唐山钢铁集团微尔自动化有限公司 天车吊运铁钢包的安全检测方法及系统
CN110143447A (zh) * 2019-06-06 2019-08-20 广西现代职业技术学院 锌锭垛自动下线转运加固方法
CN110273711A (zh) * 2019-07-09 2019-09-24 通号电缆集团有限公司 一种漏缆吊具脱落的在线监测方法及系统
CN110490995A (zh) * 2019-08-26 2019-11-22 精英数智科技股份有限公司 一种皮带运行状态异常监测方法、系统、设备及存储介质
CN110852233A (zh) * 2019-11-05 2020-02-28 上海眼控科技股份有限公司 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN111055039A (zh) * 2019-12-31 2020-04-24 东北大学 一种基于机器视觉的成捆棒材标牌焊接系统
CN111223180A (zh) * 2020-01-08 2020-06-02 中冶赛迪重庆信息技术有限公司 一种料场的三维建模方法、装置、存储介质及电子终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHEN YANG 等: "Safety Distance Identification for Crane Drivers Based on Mask R-CNN", 《SENSORS》 *
纪常付: "一种大直径圆棒材多支起重电磁铁系统", 《金属世界》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222977A (zh) * 2021-05-31 2021-08-06 中冶赛迪重庆信息技术有限公司 一种行车作业过程中的棒线材标签识别方法、系统、介质和终端

Also Published As

Publication number Publication date
CN112053339B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
DE102019009206B4 (de) Robotersystem mit dynamischem Packmechanismus
DE102019130046B4 (de) Robotersytem mit verbessertem Abtastmechanismus
DE112019000177T5 (de) Ein robotersystem mit automatisiertem paketregistrierungsmechanismus und verfahren zum betreiben dieses systems
DE102020104468A1 (de) Robotersystem mit objektidentifizierungs- und handhabungsmechanismus und verfahren zu seinem betrieb
CN111844019B (zh) 一种机器抓取位置确定方法、设备、电子设备和存储介质
JP7352694B2 (ja) 倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体
CN107491738A (zh) 停车位检测方法及系统、存储介质及电子设备
CN113378952A (zh) 一种皮带机跑偏检测方法、系统、介质和终端
CN115018903B (zh) 一种堆场料堆体积计算方法及系统
CN112053339B (zh) 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
CN112052696A (zh) 一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备
CN111242847B (zh) 基于闸道的图像拼接方法、系统、设备及存储介质
CN113516322B (zh) 基于人工智能的工厂障碍物风险评估方法及系统
CN112053333B (zh) 一种基于机器视觉的方坯检测方法、系统、设备及介质
CN113177941A (zh) 一种钢卷边裂识别方法、系统、介质和终端
CN107797556A (zh) 一种利用巡维机器人实现服务器启停的方法
CN111968104A (zh) 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质
CN112053336B (zh) 一种棒材对齐检测方法、系统、设备及介质
CN112037199A (zh) 热轧棒材收集完成辊道落料检测方法、系统、介质及终端
CN113222977A (zh) 一种行车作业过程中的棒线材标签识别方法、系统、介质和终端
CN113284129A (zh) 基于3d包围盒的压箱检测方法及装置
CN112037195B (zh) 一种棒材长度异常的检测方法、系统、设备及介质
CN115146686B (zh) 一种确定目标对象安装位置的方法、装置、设备及介质
CN114226670B (zh) 连铸铸坯切断状态识别方法、系统、介质及电子终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant