CN116228760A - 一种钢板的取样方法、装置和系统 - Google Patents

一种钢板的取样方法、装置和系统 Download PDF

Info

Publication number
CN116228760A
CN116228760A CN202310504735.7A CN202310504735A CN116228760A CN 116228760 A CN116228760 A CN 116228760A CN 202310504735 A CN202310504735 A CN 202310504735A CN 116228760 A CN116228760 A CN 116228760A
Authority
CN
China
Prior art keywords
steel plate
determining
image
laser
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310504735.7A
Other languages
English (en)
Other versions
CN116228760B (zh
Inventor
石珣
徐宗立
刘明灯
周鼎
林启森
段正淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jinheng Information Technology Co Ltd
Original Assignee
Jiangsu Jinheng Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jinheng Information Technology Co Ltd filed Critical Jiangsu Jinheng Information Technology Co Ltd
Priority to CN202310504735.7A priority Critical patent/CN116228760B/zh
Publication of CN116228760A publication Critical patent/CN116228760A/zh
Application granted granted Critical
Publication of CN116228760B publication Critical patent/CN116228760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/02—Devices for withdrawing samples
    • G01N1/04—Devices for withdrawing samples in the solid state, e.g. by cutting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请提供了一种钢板的取样方法、装置和系统，实现了钢板取样的自动化，避免了目前由于人工操作电磁铁吸附钢板样条至切割工序的工位导致生产线产能较低。方法应用于处理器，处理器分别与图像采集装置和机器臂通信连接，并且用于传输钢板样条的辊道的周边设置有激光发射装置，激光发射装置用于向辊道发射至少两条激光线，至少两条激光线互相平行且垂直于辊道的传输方向，方法包括：获取图像采集装置对辊道拍摄形成的图像序列，图像序列中的各帧图像包括激光线；根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，目标图像中包括激光线发生形变的区域；根据目标图像，确定钢板样条相对于辊道的位置；触发机器臂根据位置抓取钢板样条。

Description

一种钢板的取样方法、装置和系统
技术领域
本申请涉及工程自动化领域，尤其涉及一种钢板的取样方法、装置和系统。
背景技术
现有的钢板生产工艺中，包括轧线工序和剪切线工序。轧线工序是指以轧机轧制工序为主的一条钢板输送生产线，剪切线工序是指以探伤工序和剪切工序为主的一条钢板输送生产线。工作过程中，通过轧线工序进行钢板的轧制生产，生产后的钢板通过辊道被输送到冷床，冷床上的热钢板冷却后通过辊道被运到剪切线工序的入口辊道上，通过剪切线工序将钢板剪切成为钢板样条，以作为后续的取样、切割、喷号、存储等操作的对象。
目前，辊道上的钢板样条需由工作人员操作电磁铁吸附，并调运至后续的切割工序的工位上。但是人工操作钢板样条调运，不仅具有安全风险，而且由于废样库设置在调运途中的下方，工作人员因为疲劳操作失误时可能会使得钢板样条掉落至废样库，导致后续工序没有收到钢板样条，进一步可能导致需要对钢板样条进行处理的生产线出现故障，从而影响生产线的产能。
发明内容
本申请提供了一种钢板的取样方法、装置和系统，实现了钢板取样的自动化，避免了目前由于人工操作电磁铁吸附钢板样条至切割工序的工位，而导致的安全风险高且生产线产能低的问题发生。
第一方面，提供了一种钢板的取样方法，应用于处理器，处理器分别与图像采集装置和机器臂通信连接，并且用于传输钢板样条的辊道的周边设置有激光发射装置，激光发射装置用于向辊道发射至少两条激光线，至少两条激光线互相平行且垂直于辊道的传输方向，方法包括：
获取图像采集装置对辊道拍摄形成的图像序列，图像序列中的各帧图像包括激光线；
根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，目标图像中包括激光线发生形变的区域；
根据目标图像，确定钢板样条相对于辊道的位置；
触发机器臂根据位置抓取钢板样条。
在一个示例中，方法还包括：
根据目标图像，确定钢板样条的摆放角度，摆放角度为钢板样条平行于辊道的端面的中轴线与辊道运输方向之间的角度；
触发机器臂根据位置抓取钢板样条，包括：
触发机器臂根据位置和摆放角度抓取钢板样条。
在一个示例中，根据目标图像，确定钢板样条相对于辊道的位置，包括：
确定目标图像中发生形变部分的两条目标激光线的截线，两条目标激光线为发生形变的激光线中间距最大的两条激光线；
根据两条目标激光线的截线的轮廓，确定两条目标激光线的截线各自的第一中心坐标；
根据第一中心坐标，确定钢板样条平行于辊道的端面的第二中心坐标；
根据第二中心坐标，确定钢板样条相对于辊道的位置；
其中，根据目标图像，确定钢板样条的摆放角度，包括：
根据第一中心坐标，确定钢板样条的摆放角度。
在一个示例中，确定目标图像中发生形变部分的两条目标激光线的截线，包括：
获取目标图像中至少两条激光线未发生形变的部分的位置；
根据未发生形变的部分的位置和目标图像中所有线段的轮廓，确定发生形变部分的两条目标激光线的截线。
在一个示例中，根据未发生形变的部分的位置和目标图像中所有线段的轮廓，确定至少两条激光线发生形变部分的两条目标激光线的截线，包括：
根据未发生形变的部分的位置、目标图像中所有线段的轮廓和面积，确定至少两条激光线发生形变部分的两条目标激光线的截线。
在一个示例中，触发机器臂根据位置抓取钢板样条，包括：
根据两条目标激光线的截线的长度，确定钢板样条在辊道上的矗立姿态；
触发机器臂根据位置和矗立姿态，抓取钢板样条。
在一个示例中，在根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像之前，还包括：
确定钢板样条的尺寸是否符合标准，若是，再执行确定目标图像的操作；
在根据目标图像，确定钢板样条相对于辊道的位置之前，方法还包括：
根据目标图像中的感兴趣区域裁剪目标图像；
对裁剪后的目标图像进行二值化处理和滤波处理，获取新的目标图像。
在一个示例中，根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，包括：
根据钢板样条的尺寸，确定激光线因钢板样条而发生的形变部分的偏离距离；
根据偏离距离和图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像。
第二方面，本申请提供了一种钢板的取样装置，装置分别与图像采集装置和机器臂通信连接，并且辊道的周边设置有激光发射装置，辊道用于传输钢板样条，激光发射装置用于向辊道发射至少两条激光线，至少两条激光线互相平行且垂直于辊道的传输方向，装置包括：
图像序列获取模块，用于获取图像采集装置对辊道拍摄形成的图像序列，图像序列中的各帧图像包括激光线；
目标图像获取模块，用于根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，目标图像中包括激光线发生形变的区域；
位置确定模块，用于根据目标图像，确定钢板样条相对于辊道的位置；
信号传输模块，用于触发机器臂根据位置抓取钢板样条。
第三方面，提供了一种钢板的取样系统，系统包括处理器、激光发射装置、图像采集装置和机器臂；
处理器分别与图像采集装置和机器臂通信连接，用于传输钢板样条的辊道的周边设置有激光发射装置，激光发射装置用于向辊道发射至少两条激光线，至少两条激光线互相平行且垂直于辊道的传输方向；
图像采集装置用于对辊道拍摄图像序列，并向处理器发送图像序列，图像序列中的各帧图像包括激光线；
处理器用于获取图像序列；
处理器用于根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，目标图像中包括激光线发生形变的区域；
处理器用于根据目标图像，确定钢板样条相对于辊道的位置；
处理器用于向机器臂发送触发信号，触发信号用于触发机器臂根据位置抓取钢板样条；
机器臂用于接收触发信号后，根据位置抓取钢板样条。
本申请实施例中通过使激光发射装置向传输钢板样条的传送带发射至少两条激光线，该至少两条激光线互相平行且垂直于传送带的传输方向，以便于根据图像上的激光线确定钢板样条的位置。从包含激光线的图像序列中，根据图像序列中各帧图像的拍摄顺序筛选出包括激光线发生形变的区域的目标图像。然后根据目标图像，确定钢板样条相对于辊道的位置，以便于触发机器臂根据辊道的位置，抓取钢板样条。上述方案实现了钢板取样的自动化，避免了目前由于人工操作电磁铁吸附钢板样条至切割工序的工位，而导致的安全风险高且生产线产能低的问题发生。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例提供的钢板的取样方法的流程示意图；
图2是本申请一示例性实施例提供的钢板取样的场景示意图；
图3是本申请一示例性实施例提供的一例激光线发生形变的图像；
图4是本申请一示例性实施例提供的一例钢板样条的矗立姿态示意图；
图5是本申请一示例性实施例提供的一例钢板的取样系统示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
图1是本申请一示例性实施例提供的钢板的取样方法的流程示意图。本实施例可应用在电子设备上，该电子设备内置有处理器，该处理器可执行本申请实施例提供的钢板的取样方法。
如图1所示，钢板的取样方法应用于处理器，处理器分别与图像采集装置和机器臂通信连接。用于传输钢板样条的辊道的周边设置有激光发射装置，如图2所示，激光发射装置用于向辊道发射至少两条激光线，至少两条激光线互相平行且垂直于辊道的传输方向，该方法包括：
S110，获取图像采集装置对辊道拍摄形成的图像序列，图像序列中的各帧图像包括激光线。
S120，根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，目标图像中包括激光线发生形变的区域。
在一个示例中，按照图像序列中各帧图像的拍摄顺序，实时对各帧图像进行检测，确定各帧图像是否包括激光线发生形变的区域。当检测到包括激光线发生形变的区域的第一帧图像时，将该第一帧图像作为目标图像。
上述示例中，通过将包括激光线发生形变的区域的第一帧图像作为目标图像进行后续处理，能够及时地根据目标图像确定钢板样条位置，并将位置发送给机器臂，以避免由于机器臂收到钢板样条的位置不及时而导致延误抓取钢板样条的时机，从而使得辊道无法正常运行。
在一个示例中，在根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像之前，方法还包括：
确定钢板样条的尺寸是否符合标准，若是，再执行确定目标图像的操作。
在进行钢板取样之前，需要通过剪切，将钢板剪切成钢板样条，然后再对钢板样条进行取样。本申请考虑到经过剪切的钢板样条的尺寸可能出现偏差，导致钢板样条的尺寸不在标准的尺寸范围内，这种钢板样条即为不符合标准的钢板样条，该标准中的尺寸范围根据实际需要设置即可。不符合标准的钢板样条可直接由辊道运送至废样库，无需机器臂抓取并调运至后续的切割工序的工位上，因此，也无需执行确定该不符合标准的钢板样条对应的目标图像的操作，避免了处理器和机器臂做无用功。
在根据目标图像，确定钢板样条相对于辊道的位置之前，方法还包括：
根据目标图像中的感兴趣区域裁剪目标图像，其中，感兴趣区域包括至少两条激光线；
对裁剪后的目标图像进行二值化处理和滤波处理，获取新的目标图像。
示例性地，根据预设的起始坐标（roi_x、roi_y）和尺寸（宽度：roi_w、高度：roi_h），在目标图像中提取感兴趣区域。
根据目标图像中的感兴趣区域裁剪目标图像，能够避免图像中的冗余信息干扰后续对图像的处理，增加对图像的处理速度。进一步地，对裁剪后的目标图像进行二值化处理和滤波处理，能够平滑像素，减少与激光线无关的像素点对确定激光线像素信息的干扰。
在一个示例中，根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，包括：
根据钢板样条的尺寸，确定激光线因钢板样条而发生的形变部分的偏离距离；
根据偏离距离和图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像。
其中，如图3所示，偏离距离能够表示激光线的形变部分相对于激光线的原始位置发生的形变的程度。
示例性地，偏离距离为激光线的形变部分的端点处，与激光线未发生形变部分的最近的端点处之间的直线距离（线段L1的距离），或线段L1在轴方向上映射的垂直距离（线段L2的距离）。
示例性地，根据偏离距离和图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，包括：
基于坐标标定，根据偏离距离确定偏离距离在图像中的偏离像素距离，根据偏离像素距离，从图像序列中确定激光线的形变部分偏离的像素距离大于或等于偏离像素距离的第一帧图像，将该第一帧图像确定为目标图像。
上述示例中，通过将图像序列中激光线的形变部分偏离的像素距离与偏离像素距离进行比较，能够排除只包括了由于辊道传送带上的小的凹凸造成的激光线形变的图像，能够准确地确定目标图像。
在一个示例中，根据图像序列中各帧图像的拍摄顺序，每间隔一定数量的帧图像后进行目标图像的确定，有利于在处理图像速度小于采集图像的速度时，提高处理图像的速度。
S130，根据目标图像，确定钢板样条相对于辊道的位置。
在一个示例中，根据目标图像，确定钢板样条相对于辊道的位置，包括：
首先确定目标图像中至少两条激光线发生形变部分的两条目标激光线的截线，两条目标激光线为发生形变的激光线中间距最大的两条激光线。接着根据两条目标激光线的截线的轮廓，确定两条激光线的截线各自的第一中心坐标；根据第一中心坐标，确定钢板样条平行于辊道的端面的第二中心坐标。然后根据第二中心坐标，确定钢板样条相对于辊道的位置。
在本申请实施例中，激光发射装置向辊道发射至少两条激光线，该至少两条激光线互相平行且垂直于辊道的传输方向。在一种可行的设计中，激光发射装置发射的激光线包括两条分别位于辊道两侧的激光线。或者，在另一种可行的设计中，激光发射装置发射的激光线不仅包括两条分别位于辊道两侧的激光线，还包括对辊道进行照射的激光线。
而两条目标激光线为发生形变的激光线中间距最大的两条激光线，因此，通过两条目标激光线确定钢板样条相对于辊道的位置，能够提高确定钢板样条相对于辊道的位置的准确度。
示例性地，根据两条目标激光线的截线的轮廓，确定两条激光线的截线各自的第一中心坐标，包括：
在目标图像上根据两条目标激光线的截线的轮廓，确定轮廓的骨干信息，骨干信息包括轮廓所包围区域的质心坐标和轮廓的像素点。根据轮廓的骨干信息确定两条激光线的截线各自的第一中心坐标，第一中心坐标为轮廓的最小外接矩形的中心坐标。
上述示例中，由于两条目标激光线的截线是因钢板样条产生的，因此，根据两条目标激光线的截线的两端位置与钢板样条对应的两端位置是重合的。两个截线的第一中心坐标所在直线，即钢板样条平行于辊道的端面的第二中心坐标所在的直线。又由于目标图像是钢板样条到达两条目标激光线的第一帧图像，因此可以根据两条目标激光线在传输方向上靠前的一条目标激光线，确定钢板样条在传输方向上的头部的位置。根据钢板样条在传输方向上的头部的位置、钢板样条的尺寸和第一中心坐标所在的直线，可以确定钢板样条平行于辊道的端面的第二中心坐标。基于坐标标定，根据第二中心坐标可以准确地确定钢板样条相对于辊道在三维物理世界中的位置。进一步地，本申请考虑到为了提高计算第二中心坐标的准确度，使得激光发射装置能够发射两条或两条以上的激光线，当两条目标激光线为发生形变的激光线中间距最大的两条激光线时，计算的第二中心坐标的准确度最高。
在一个示例中，确定目标图像中至少两条激光线发生形变部分的两条目标激光线的截线，包括：
首先获取目标图像中至少两条激光线未发生形变的部分的位置。然后根据未发生形变的部分的位置和目标图像中所有线段的轮廓，确定至少两条激光线发生形变部分的两条目标激光线的截线。
示例性地，根据激光线未发生形变的部分的端部像素位置，确定激光线未发生形变的部分的位置。
例如，当激光线未发生形变的部分与图像的x坐标轴平行时，激光线未发生形变的部分的端部像素位置中的y坐标为激光线未发生形变的部分的位置。或者，当激光线未发生形变的部分与图像的y坐标轴平行时，激光线未发生形变的部分的端部像素位置中的x坐标为激光线未发生形变的部分的位置。应理解，若激光线未发生形变的部分与图像的任一坐标轴均不平行，可以对图像进行旋转或对坐标轴进行旋转，使得激光线未发生形变的部分与图像的坐标轴平行；或者，根据激光线与坐标轴之间的角度，将激光线未发生形变的部分的端部像素位置进行变换后，将端部像素位置中的y坐标或x坐标作为激光线未发生形变的部分的位置。
示例性地，根据未发生形变的部分的位置和目标图像中所有线段的轮廓，确定至少两条激光线发生形变部分的两条目标激光线的截线，包括：
根据目标图像中所有线段的各个线段的轮廓，确定各个线段的最小外接矩形。根据各个线段的最小外接矩形确定各个线段的中心坐标。确定各个线段的中心坐标与相应的激光线未发生形变的部分的端部像素位置的距离差是否大于或等于偏移距离，若是，将线段作为相应的激光线的截线。
上述示例中，本申请考虑还存在若传送带的凹凸较大，造成的激光线的形变部分的偏移距离，与钢板样条造成的激光线的形变部分的偏移距离接近，从而会错误地识别两条目标激光线的截线。因此，根据未发生形变的部分的位置和目标图像中所有线段的轮廓，能够筛选出由钢板样条形成的两条目标激光线的截线。
进一步地，根据未发生形变的部分的位置和目标图像中所有线段的轮廓，确定至少两条激光线发生形变部分的两条目标激光线的截线，包括：
根据未发生形变的部分的位置、目标图像中所有线段的轮廓和面积，确定至少两条激光线发生形变部分的两条目标激光线的截线。
示例性地，根据目标图像中所有线段的各个线段的轮廓，确定各个线段的最小外接矩形。根据各个线段的最小外接矩形确定各个线段的中心坐标。确定各个线段的中心坐标与相应的激光线未发生形变的部分的端部像素位置的距离差是否大于或等于偏移距离，若是，将线段作为相应的激光线的截线。若激光线的截线有多条，则将占据的像素区域的面积在预设的范围内的截线作为最终的截线，该最终的截线是由钢板样条对激光线折射形成的。
上述示例中，进一步根据线段的面积，在偏移距离满足要求的多条截线中能够准确地筛选出由钢板样条形成的两条目标激光线的截线。
S140，触发机器臂根据位置抓取钢板样条。
示例性地，处理器的第一线程封装了第一函数，第一函数用于执行S110。
示例性地，处理器的第二线程封装了第二函数，第二函数用于执行S120、S130和S140。
例如，通过第一线程中的函数获取二维的图像序列数组，通过第二线程的函数从图像序列的数组中抓取待检测的各帧图像。
第一线程用于获取图像序列，第二线程用于检测每帧图像，能够提高处理器处理图像的效率。
在一个示例中，S140包括：触发机器臂根据位置和摆放角度抓取钢板样条，其中，摆放角度是根据目标图像确定的钢板样条摆放的角度，摆放角度为钢板样条平行于辊道的端面的中轴线与辊道运输方向之间的角度。
进一步地，根据第一中心坐标，确定钢板样条的摆放角度。
例如图3所示，以两个第一中心坐标为三角形的两个顶点，以平行于辊道传输方向且以一个顶点为端点的线段L3作为三角形的边，确定线段L3与第一截线的交点为三角形的另一个顶点。基于三角形中边长与角度的关系，确定第一夹角的角度，第一夹角即为摆放角度。
上述示例中，机器臂根据位置和摆放角度能够准确地调整抓取装置，从而更加牢固的抓取钢板样条。
在一个示例中，触发机器臂根据位置抓取钢板样条，包括：
根据两条目标激光线的截线的长度，确定钢板样条在辊道上的矗立姿态；
触发机器臂根据位置和矗立姿态，抓取钢板样条。
示例性地，根据两条目标激光线的截线的长度，确定钢板样条在辊道上的矗立姿态，包括：
根据两条目标激光线中的一条目标激光线的截线两端的端点的坐标，确定截线的长度Dist。
当fabs(Dist - Depth * t)<fabs(Dist - Width * t)时，可以得到样条树立的姿态；
当fabs(Dist - Depth * t)≥fabs(Dist - Width * t)时，可以得到样条平躺的姿态；
其中fabs（x）表示x的绝对值，Depth为样板厚度，Width为样板宽度，t为预设的标定参数。
钢板样条的不同的矗立姿态使得接触激光线的表面、该表面距离辊道的厚度均发生变化，因此，钢板样条的不同的矗立姿态使得激光线照射在钢板样条时，发生形变的截线的长度不同，因此，根据两条目标激光线的截线的长度，能够确定钢板样条在辊道上的矗立姿态。
示例性地，本申请考虑到钢板样条在辊道上的矗立姿态为平躺或竖立（如图4所示）。钢板样条的矗立姿态为平躺时，面积最大的端面与辊道接触。将平躺的钢板样条向左或向右翻转90度后，钢板样条的矗立姿态为竖立。钢板样条的矗立姿态根据实际需要设置，从而可以获取每一姿态对应的截线长度，本申请对此不作限定。不同的矗立姿态影响机器臂抓取钢板样条的力度和抓取装置张开的角度。因此，触发机器臂根据位置和矗立姿态，能够更加牢固地抓取钢板样条。
在一个示例中，在机器臂根据位置抓取钢板样条之前，方法还包括：
首先获取钢板样条掉落至辊道的第一时刻，接着根据第一时刻确定停止辊道传输钢板样条的第二时刻。然后根据第二时刻停止辊道传输钢板样条，以便于配合机器臂根据位置准确地抓取钢板样条。
本申请实施例中通过使激光发射装置向传输钢板样条的传送带发射至少两条激光线，该至少两条激光线互相平行且垂直于传送带的传输方向，以便于根据图像上的激光线确定钢板样条的位置。从包含激光线的图像序列中，根据图像序列中各帧图像的拍摄顺序筛选出包括激光线发生形变的区域的目标图像。然后根据目标图像，确定钢板样条相对于辊道的位置，以便于触发机器臂根据辊道的位置，抓取钢板样条。上述方案实现了钢板取样的自动化，避免了目前由于人工操作电磁铁吸附钢板样条至切割工序的工位，而导致的安全风险高且生产线产能低的问题发生。
基于上述钢板的取样方法，本申请还提供了一种钢板的取样装置，装置分别与图像采集装置和机器臂通信连接，并且辊道的周边设置有激光发射装置，辊道用于传输钢板样条，激光发射装置用于向辊道发射至少两条激光线，至少两条激光线互相平行且垂直于辊道的传输方向，装置包括：
图像序列获取模块，用于获取图像采集装置对辊道拍摄形成的图像序列，图像序列中的各帧图像包括激光线；
目标图像获取模块，用于根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，目标图像中包括激光线发生形变的区域；
位置确定模块，用于根据目标图像，确定钢板样条相对于辊道的位置；
信号传输模块，用于触发机器臂根据位置抓取钢板样条。
装置的其他实现方式和效果参见钢板的取样方法中的说明，在此不再赘述。
基于上述钢板的取样装置，如图5所示，本申请还提供了一种钢板的取样系统，其特征在于，系统包括处理器、激光发射装置、图像采集装置和机器臂；
处理器分别与图像采集装置和机器臂通信连接，用于传输钢板样条的辊道的周边设置有激光发射装置，激光发射装置用于向辊道发射至少两条激光线，至少两条激光线互相平行且垂直于辊道的传输方向；
图像采集装置用于对辊道拍摄图像序列，并向处理器发送图像序列，图像序列中的各帧图像包括激光线；
处理器用于获取图像序列；
处理器用于根据图像序列中各帧图像的拍摄顺序，确定各帧图像中的目标图像，目标图像中包括激光线发生形变的区域；
处理器用于根据目标图像，确定钢板样条相对于辊道的位置；
处理器用于向机器臂发送触发信号，触发信号用于触发机器臂根据位置抓取钢板样条；
机器臂用于接收触发信号后，根据位置抓取钢板样条。
在一个示例中，取样系统还包括触发装置，触发装置的激光发射端布置于钢板样条在传送带上的掉落位置的一侧，触发装置的激光接收端布置于另一侧，激光发射端向激光接收端发射激光。当激光接收端没有接收到激光时，触发图像采集装置采集图像序列，以及处理器接收图像序列并进行后续的处理。
取样系统的其他部分例如新建电气室、码放工位、废料输送链等参见图5所示，本申请对此不作赘述。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种钢板的取样方法，其特征在于，应用于处理器，所述处理器分别与图像采集装置和机器臂通信连接，并且用于传输钢板样条的辊道的周边设置有激光发射装置，所述激光发射装置用于向所述辊道发射至少两条激光线，所述至少两条激光线互相平行且垂直于所述辊道的传输方向，所述方法包括：
获取所述图像采集装置对所述辊道拍摄形成的图像序列，所述图像序列中的各帧图像包括所述激光线；
根据所述图像序列中各帧所述图像的拍摄顺序，确定各帧所述图像中的目标图像，所述目标图像中包括所述激光线发生形变的区域；
根据所述目标图像，确定所述钢板样条相对于所述辊道的位置；
触发所述机器臂根据所述位置抓取所述钢板样条。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标图像，确定所述钢板样条的摆放角度，所述摆放角度为所述钢板样条平行于所述辊道的端面的中轴线与所述辊道运输方向之间的角度；
所述触发所述机器臂根据所述位置抓取所述钢板样条，包括：
触发所述机器臂根据所述位置和所述摆放角度抓取所述钢板样条。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标图像，确定所述钢板样条相对于所述辊道的位置，包括：
确定所述目标图像中发生形变部分的两条目标激光线的截线，所述两条目标激光线为发生形变的所述激光线中间距最大的两条激光线；
根据所述两条目标激光线的截线的轮廓，确定所述两条目标激光线的截线各自的第一中心坐标；
根据所述第一中心坐标，确定所述钢板样条平行于所述辊道的端面的第二中心坐标；
根据所述第二中心坐标，确定所述钢板样条相对于所述辊道的位置；
其中，所述根据所述目标图像，确定所述钢板样条的摆放角度，包括：
根据所述第一中心坐标，确定所述钢板样条的摆放角度。
4.根据权利要求3所述的方法，其特征在于，所述确定所述目标图像中发生形变部分的两条目标激光线的截线，包括：
获取所述目标图像中所述至少两条激光线未发生形变的部分的位置；
根据所述未发生形变的部分的位置和所述目标图像中所有线段的轮廓，确定所述发生形变部分的两条目标激光线的截线。
5.根据权利要求4所述的方法，其特征在于，所述根据所述未发生形变的部分的位置和所述目标图像中所有线段的轮廓，确定所述至少两条激光线发生形变部分的两条目标激光线的截线，包括：
根据所述未发生形变的部分的位置、所述目标图像中所有线段的轮廓和面积，确定所述至少两条激光线发生形变部分的两条目标激光线的截线。
6.根据权利要求3-5中任一项所述的方法，其特征在于，所述触发所述机器臂根据所述位置抓取所述钢板样条，包括：
根据所述两条目标激光线的截线的长度，确定所述钢板样条在所述辊道上的矗立姿态；
触发所述机器臂根据所述位置和所述矗立姿态，抓取所述钢板样条。
7.根据权利要求1-5中任一项所述的方法，其特征在于，在所述根据所述图像序列中各帧所述图像的拍摄顺序，确定各帧所述图像中的目标图像之前，还包括：
确定所述钢板样条的尺寸是否符合标准，若是，再执行确定所述目标图像的操作；
在根据所述目标图像，确定所述钢板样条相对于所述辊道的位置之前，所述方法还包括：
根据所述目标图像中的感兴趣区域裁剪所述目标图像；
对裁剪后的所述目标图像进行二值化处理和滤波处理，获取新的所述目标图像。
8.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述图像序列中各帧所述图像的拍摄顺序，确定各帧所述图像中的目标图像，包括：
根据所述钢板样条的尺寸，确定所述激光线因所述钢板样条而发生的形变部分的偏离距离；
根据所述偏离距离和所述图像序列中各帧所述图像的拍摄顺序，确定各帧所述图像中的目标图像。
9.一种钢板的取样装置，其特征在于，所述装置分别与图像采集装置和机器臂通信连接，并且辊道的周边设置有激光发射装置，所述辊道用于传输钢板样条，所述激光发射装置用于向所述辊道发射至少两条激光线，所述至少两条激光线互相平行且垂直于所述辊道的传输方向，所述装置包括：
图像序列获取模块，用于获取所述图像采集装置对所述辊道拍摄形成的图像序列，所述图像序列中的各帧图像包括所述激光线；
目标图像获取模块，用于根据所述图像序列中各帧所述图像的拍摄顺序，确定各帧所述图像中的目标图像，所述目标图像中包括所述激光线发生形变的区域；
位置确定模块，用于根据所述目标图像，确定所述钢板样条相对于所述辊道的位置；
信号传输模块，用于触发所述机器臂根据所述位置抓取所述钢板样条。
10.一种钢板的取样系统，其特征在于，所述系统包括处理器、激光发射装置、图像采集装置和机器臂；
所述处理器分别与图像采集装置和机器臂通信连接，用于传输钢板样条的辊道的周边设置有所述激光发射装置，所述激光发射装置用于向所述辊道发射至少两条激光线，所述至少两条激光线互相平行且垂直于所述辊道的传输方向；
所述图像采集装置用于对所述辊道拍摄图像序列，并向所述处理器发送所述图像序列，所述图像序列中的各帧图像包括所述激光线；
所述处理器用于获取所述图像序列；
所述处理器用于根据所述图像序列中各帧所述图像的拍摄顺序，确定各帧所述图像中的目标图像，所述目标图像中包括所述激光线发生形变的区域；
所述处理器用于根据所述目标图像，确定所述钢板样条相对于所述辊道的位置；
所述处理器用于向所述机器臂发送触发信号，所述触发信号用于触发所述机器臂根据所述位置抓取所述钢板样条；
所述机器臂用于接收所述触发信号后，根据所述位置抓取所述钢板样条。
CN202310504735.7A 2023-05-08 2023-05-08 一种钢板的取样方法、装置和系统 Active CN116228760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310504735.7A CN116228760B (zh) 2023-05-08 2023-05-08 一种钢板的取样方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310504735.7A CN116228760B (zh) 2023-05-08 2023-05-08 一种钢板的取样方法、装置和系统

Publications (2)

Publication Number Publication Date
CN116228760A true CN116228760A (zh) 2023-06-06
CN116228760B CN116228760B (zh) 2023-11-17

Family

ID=86584657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310504735.7A Active CN116228760B (zh) 2023-05-08 2023-05-08 一种钢板的取样方法、装置和系统

Country Status (1)

Country Link
CN (1) CN116228760B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111122598A (zh) * 2019-12-16 2020-05-08 北京冶自欧博科技发展有限公司 一种钢轨表面缺陷三维检测系统及方法
CN113819841A (zh) * 2021-08-27 2021-12-21 西安理工大学 一种基于机器视觉的板形检测装置及其检测方法
CN114348581A (zh) * 2022-01-29 2022-04-15 山东省科学院激光研究所 一种皮带撕裂检测方法和系统
WO2022143796A1 (zh) * 2020-12-29 2022-07-07 杭州海康机器人技术有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统
CN115901320A (zh) * 2022-12-14 2023-04-04 辽宁德润新材科技有限公司 一种钢板自动取样系统及其取样方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111122598A (zh) * 2019-12-16 2020-05-08 北京冶自欧博科技发展有限公司 一种钢轨表面缺陷三维检测系统及方法
WO2022143796A1 (zh) * 2020-12-29 2022-07-07 杭州海康机器人技术有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统
CN113819841A (zh) * 2021-08-27 2021-12-21 西安理工大学 一种基于机器视觉的板形检测装置及其检测方法
CN114348581A (zh) * 2022-01-29 2022-04-15 山东省科学院激光研究所 一种皮带撕裂检测方法和系统
CN115901320A (zh) * 2022-12-14 2023-04-04 辽宁德润新材科技有限公司 一种钢板自动取样系统及其取样方法

Also Published As

Publication number Publication date
CN116228760B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN109230580B (zh) 一种基于混放物料信息采集的拆垛机器人系统及方法
JP6708855B1 (ja) ロボットシステムの操作方法及び非一時的なコンピュータ可読媒体
US10442633B2 (en) Robot system
CN111791239B (zh) 一种结合三维视觉识别可实现精确抓取的方法
CN107150032B (zh) 一种基于多图像获取设备的工件识别与分拣装置和方法
CN111136656B (zh) 一种用于机器人三维不规则物体自动识别及抓取的方法
WO2017015898A1 (zh) 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法
CN111924460B (zh) 一种码垛控制方法及系统
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN109775376A (zh) 不规则随机物料的机器人拆垛方法
CN212284935U (zh) 一种基于3d视觉的金属板材分拣装置
CN110666801A (zh) 一种复杂工件匹配定位的抓取工业机器人
CN112224590B (zh) 一种基于三维点云的钢坯贴标方法及系统
CN114405866A (zh) 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统
CN114286740A (zh) 作业机器人以及作业系统
CN116228760B (zh) 一种钢板的取样方法、装置和系统
EP4207068A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN113021341A (zh) 一种基于5g的物品识别和自动转移运输的机器人
CN114078162B (zh) 钢板切割后工件的桁架分拣方法及系统
CN113800270A (zh) 一种用于物流拆垛的机器人控制方法及系统
CN113602799B (zh) 一种航空港行李箱搬运系统及其控制方法
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN113538459A (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
CN114548334B (zh) 一种中厚板试样识别追溯系统
JPH0623684A (ja) 視覚処理機能付きワーク移載ロボット

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant