CN106044570B - 一种采用机器视觉的钢卷吊自动识别装置和方法 - Google Patents
一种采用机器视觉的钢卷吊自动识别装置和方法 Download PDFInfo
- Publication number
- CN106044570B CN106044570B CN201610376576.7A CN201610376576A CN106044570B CN 106044570 B CN106044570 B CN 106044570B CN 201610376576 A CN201610376576 A CN 201610376576A CN 106044570 B CN106044570 B CN 106044570B
- Authority
- CN
- China
- Prior art keywords
- strip
- coil
- manipulator
- machine vision
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/22—Control systems or devices for electric drives
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种采用机器视觉的钢卷吊自动识别装置和方法，包括机械手和装于机械手上的CCD摄像头，CCD摄像头通过图像采集卡与主控计算机相连，主控计算机上安装有机械手运动控制系统，机械手运动控制系统通过控制指令控制机械手进行相应运动。机械手的视觉图像处理算法提取钢卷的边缘特征，利用获得的图像边缘特征坐标值，描述目标物体的空间位置信息；机械手运动控制系统建立机械吊具的动力学简化模型，对吊具的运行路径进行规划，使吊具能够自动迅速的抓取目标物体。本发明通过机器视觉技术实现吊具的自动精确定位，而不需要去手动控制吊具的各个环节，对操作员的要求低，起重机运行效率高，可以在很大程度上提高客户厂家的生产效益。
Description
技术领域
本发明涉及自动钢卷搬运起重设备领域，具体涉及一种采用机器视觉的钢卷吊自动识别装置和方法。
背景技术
钢厂在搬运钢卷时，操作工人借助车间起重机完成，而钢卷的抓取，则是由起重机上安装的吊具或机械手臂来完成，吊具抓取物品是一个复杂的过程，在抓取钢卷的过程中，最关键的技术就是控制吊具精确地定位到钢卷的位置，完成抓取动作。目前世界上已投入使用的钢卷抓取系统，在工作方式上，一般都需要一个经验丰富的操作员，对机械手吊具进行远程手动控制，达到机械手或吊具精确定位的目的。对操作员的要求非常高，否则很难达到很高的精度，常因为操作员的定位不准而使吊具与钢卷发生碰撞造成损伤。起重机启停与搬运线路的人工控制，会带有一定的随意与盲目性，使起重机运行效率不高，导致设备的能源浪费，增加了搬运成本。
发明内容
本发明的目的是提供一种采用机器视觉的钢卷吊自动识别装置和方法，本发明解决了现有钢卷抓取系统操作精度低且运行效率不高的技术问题。
本发明通过以下技术方案实现：
一种采用机器视觉的钢卷吊自动识别方法，包括如下步骤：
步骤（1），工作开始；
步骤（2），机械手运动控制系统根据所要抓取的钢卷参数和数据库中的方位记录，判断所要抓取的钢卷目标方位；
步骤（3），机械手运动控制系统计算位移量；
步骤（4），由运动控制器控制机械手进行相应的运动；
步骤（5），视觉传感器判断是否能够感知所要抓取的目标钢卷，若否，转到步骤（4）；若是，转到步骤（6）；
步骤（6），获取目标钢卷的图像，并传递给主控计算机，主控计算机使用视觉图像处理算法进行视觉图像处理；
步骤（7），机械手运动控制系统根据视觉图像处理结果，判断机械手是否能够抓取到钢卷，若否，转到步骤（8），若是，转到步骤（10）；
步骤（8），机械手运动控制系统计算理论位移；
步骤（9），伺服驱动器根据计算结果驱动各电机，以使机械手进行相应运动，转到步骤（5）；
步骤（10），抓取钢卷，程序结束；
所述步骤（5）中，视觉传感器为两个CCD摄像头。
所述步骤（6）中，视觉图像处理包括提取钢卷的边缘特征，利用获得的图像边缘特征坐标值，描述目标物体的空间位置信息。
所述图像处理算法包括：
a.建立计算机图像坐标系，摄像机采集的图像以标准电信号输入计算机，经计算机中的采集卡转变为数字图像；
b.定义空间任意点P在摄像机坐标系中坐标为（Xｗ，Ｙｗ，Ｚｗ），定义空间任意点P在世界坐标系中坐标为（Xc，Ｙc，Ｚc），使用旋转矩阵Ｒ与平移矩阵ｔ来描述P点在世界坐标系和摄像机坐标系下的坐标，即：
c.为了使图像平滑，采用均值滤波-中值滤波-高斯滤波算法进行优化。
所述数字图像为二维坐标系，坐标原点位于图片的左上角，坐标以像素为单位。
所述机械手运动控制系统建立机械吊具的动力学简化模型，对吊具的运行路径进行规划，使吊具能够自动迅速的抓取目标物体。目标物体X、Y、Z三维各个方向的坐标误差值控制在5mm以内。
机械手运动控制系统采用直角坐标系作为钢卷搬运机器人主体结构的理论依据。
机械手从起始点到目标点的运动通过轨迹插补算法实现，根据轨迹插补算法获得中间点的坐标，通过机械手的运动学分解算法，转变为对应的电机角度位移，然后交由机械手运动控制系统实现要求的位姿。
包括机械手和装于机械手上的CCD摄像头，所述CCD摄像头通过图像采集卡与主控计算机相连，所述主控计算机上安装有机械手运动控制系统，所述机械手运动控制系统通过控制指令控制机械手进行相应运动。
所述机械手上设置有导轨，所述导轨与机械手之间设置有固定装置，所述CCD摄像头可以在导轨上横向自由滑动。
所述导轨上表面设置有不锈钢减阻轴。
机械手运动控制系统包括用于规划及监控机械手的运动轨迹的运动控制器以及与所述运动控制器相连接的伺服驱动器，用于基于所述机械手的运动轨迹来驱动各电机，以使所述机械手进行相应运动。
本发明与现有技术相比，具有以下明显优点：通过机器视觉技术实现吊具的自动精确定位，而不需要去手动控制吊具的各个环节，对操作员的要求低，起重机运行效率高，可以在很大程度上提高客户厂家的生产效益。
附图说明
图1为本发明的工作原理图；
图2为本发明的钢卷搬运机器人的结构示意图；
图3为本发明的计算位移的流程图；
图4为本发明的工作流程图；
其中，附图标记说明如下：
1、起重机；2、CCD摄像头；3、机械手；4、钢卷。
具体实施方式
如图1和图2所示，一种采用机器视觉的钢卷吊自动识别装置，包括机械手和装于机械手上的两个CCD摄像头，CCD摄像头通过图像采集卡与主控计算机相连，主控计算机上安装有机械手运动控制系统，机械手运动控制系统通过控制指令控制机械手进行相应运动。机械手运动控制系统包括用于规划及监控机械手的运动轨迹的运动控制器以及与所述运动控制器相连接的伺服驱动器，用于基于所述机械手的运动轨迹来驱动各电机，以使所述机械手进行相应运动。所述机械手上设置有导轨，所述导轨与机械手之间设置有固定装置，所述CCD摄像头可以在导轨上横向自由滑动。所述导轨上表面设置有不锈钢减阻轴。
如图4所示，一种采用机器视觉的钢卷吊自动识别方法，包括如下步骤：
步骤（1），工作开始；
步骤（2），机械手运动控制系统根据所要抓取的钢卷参数和数据库中的方位记录，判断所要抓取的钢卷目标方位；
步骤（3），机械手运动控制系统计算位移量；
步骤（4），由运动控制器控制机械手进行相应的运动；
步骤（5），视觉传感器，本例中为两个CCD摄像头，判断是否能够感知所要抓取的目标钢卷，若否，转到步骤（4）；若是，转到步骤（6）；
步骤（6），获取目标钢卷的图像，并传递给主控计算机，主控计算机使用视觉图像处理算法进行视觉图像处理，包括提取钢卷的边缘特征，利用获得的图像边缘特征坐标值，描述目标物体的空间位置信息；
上述的视觉图像处理算法包括：
a.建立计算机图像坐标系，摄像机采集的图像以标准电信号输入计算机，经计算机中的采集卡转变为数字图像；所述数字图像为二维坐标系，坐标原点位于图片的左上角，坐标以像素为单位；
b.定义空间任意点P在摄像机坐标系中坐标为（Xｗ，Ｙｗ，Ｚｗ），定义空间任意点P在世界坐标系中坐标为（Xc，Ｙc，Ｚc），使用旋转矩阵Ｒ与平移矩阵ｔ来描述P点在世界坐标系和摄像机坐标系下的坐标，R是3×3正交单位矩阵，t是3维平移向量，即：
c.为了使图像平滑，采用均值滤波-中值滤波-高斯滤波算法进行优化。
步骤（7），机械手运动控制系统根据视觉图像处理结果，判断机械手是否能够抓取到钢卷，若否，转到步骤（8），若是，转到步骤（10）；
步骤（8），机械手运动控制系统计算理论位移；
步骤（9），伺服驱动器根据计算结果驱动各电机，以使机械手进行相应运动，转到步骤（5）；
步骤（10），抓取钢卷，程序结束；
由于钢卷库内钢卷位置已知，上述步骤（3）中的位移为从工作开始时的起始点到数据库中所记录的方位的位移，上述步骤（8）中的位移为视觉系统可校判断后，从数据库中所记录的方位到钢卷实际位置的位移。
所述机械手运动控制系统建立机械吊具的动力学简化模型，对吊具的运行路径进行规划，使吊具能够自动迅速的抓取目标物体。目标物体X、Y、Z三维各个方向的坐标误差值控制在5mm以内。
机械手运动控制系统采用直角坐标系作为钢卷搬运机器人主体结构的理论依据，其优点是：
1结构简单；
2编程容易；
3采用直线滚动导轨，速度高、定位精度高；
4在x,y和z三个坐标轴方向上的运动没有耦合作用，较容易控制；
5活动范围大。
直角坐标式机器手至少有三个自由度。
机械手从起始点到目标点的运动通过轨迹插补算法实现，根据轨迹插补算法获得中间点的坐标，通过机械手的运动学分解算法，转变为对应的电机角度位移，然后交由机械手运动控制系统实现要求的位姿，其计算流程如图3所示。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种采用机器视觉的钢卷吊自动识别方法，其特征在于，包括如下步骤：
步骤（1），工作开始；
步骤（2），机械手运动控制系统根据所要抓取的钢卷参数和数据库中的方位记录，判断所要抓取的钢卷目标方位；
步骤（3），机械手运动控制系统计算位移量；
步骤（4），由运动控制器控制机械手进行相应的运动；
步骤（5），视觉传感器判断是否能够感知所要抓取的目标钢卷，若否，转到步骤（4）；若是，转到步骤（6）；
步骤（6），获取目标钢卷的图像，并传递给主控计算机，主控计算机使用视觉图像处理算法进行视觉图像处理；
步骤（7），机械手运动控制系统根据视觉图像处理结果，判断机械手是否能够抓取到钢卷，若否，转到步骤（8），若是，转到步骤（10）；
步骤（8），机械手运动控制系统计算理论位移；
步骤（9），伺服驱动器根据计算结果驱动各电机，以使机械手进行相应运动，转到步骤（5）；
步骤（10），抓取钢卷，程序结束。
2.根据权利要求1所述的一种采用机器视觉的钢卷吊自动识别方法，其特征在于：所述步骤（5）中，视觉传感器为两个CCD摄像头。
3.根据权利要求1所述的一种采用机器视觉的钢卷吊自动识别方法，其特征在于：所述步骤（6）中，视觉图像处理包括提取钢卷的边缘特征，利用获得的图像边缘特征坐标值，描述目标物体的空间位置信息。
4.根据权利要求3所述的一种采用机器视觉的钢卷吊自动识别方法，其特征在于：所述图像处理算法包括：
建立计算机图像坐标系，摄像机采集的图像以标准电信号输入计算机，经计算机中的采集卡转变为数字图像；
定义空间任意点P在摄像机坐标系中坐标为（Xｗ，Ｙｗ，Ｚｗ），定义空间任意点P在世界坐标系中坐标为（Xc，Ｙc，Ｚc），使用旋转矩阵Ｒ与平移矩阵ｔ来描述P点在世界坐标系和摄像机坐标系下的坐标，即：
；
为了使图像平滑，采用均值滤波-中值滤波-高斯滤波算法进行优化。
5.根据权利要求4所述的一种采用机器视觉的钢卷吊自动识别方法，其特征在于：所述数字图像为二维坐标系，坐标原点位于图片的左上角，坐标以像素为单位。
6.根据权利要求1所述的一种采用机器视觉的钢卷吊自动识别方法，其特征在于：所述机械手运动控制系统建立机械吊具的动力学简化模型，对吊具的运行路径进行规划，使吊具能够自动迅速的抓取目标物体。
7.根据权利要求6所述的一种采用机器视觉的钢卷吊自动识别方法，其特征在于：所述机械手运动控制系统采用直角坐标系作为钢卷搬运机器人主体结构的理论依据。
8.根据权利要求6所述的一种采用机器视觉的钢卷吊自动识别方法，其特征在于：机械手从起始点到目标点的运动通过轨迹插补算法实现，根据轨迹插补算法获得中间点的坐标，通过机械手的运动学分解算法，转变为对应的电机角度位移，然后交由机械手运动控制系统实现要求的位姿。
9.一种实现权利要求1至8任一所述的方法的采用机器视觉的钢卷吊自动识别装置，其特征在于：包括机械手和装于机械手上的CCD摄像头，所述CCD摄像头通过图像采集卡与主控计算机相连，所述主控计算机上安装有机械手运动控制系统，所述机械手运动控制系统通过控制指令控制机械手进行相应运动。
10.根据权利要求9所述的一种采用机器视觉的钢卷吊自动识别装置，其特征在于：机械手运动控制系统包括用于规划及监控机械手的运动轨迹的运动控制器以及与所述运动控制器相连接的伺服驱动器，用于基于所述机械手的运动轨迹来驱动各电机，以使所述机械手进行相应运动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610376576.7A CN106044570B (zh) | 2016-05-31 | 2016-05-31 | 一种采用机器视觉的钢卷吊自动识别装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610376576.7A CN106044570B (zh) | 2016-05-31 | 2016-05-31 | 一种采用机器视觉的钢卷吊自动识别装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106044570A CN106044570A (zh) | 2016-10-26 |
| CN106044570B true CN106044570B (zh) | 2018-06-26 |
Family
ID=57171673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610376576.7A Active CN106044570B (zh) | 2016-05-31 | 2016-05-31 | 一种采用机器视觉的钢卷吊自动识别装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106044570B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103624B (zh) * | 2017-04-13 | 2020-04-17 | 宁波舜宇智能科技有限公司 | 立体视觉搬运系统及其搬运方法 |
| CN108153312B (zh) * | 2017-12-28 | 2020-05-22 | 燕山大学 | 用于钢坯库行车作业的辅助驾驶的控制方法 |
| CN108328347B (zh) * | 2017-12-29 | 2020-04-14 | 杭州永创智能设备股份有限公司 | 电缆盘自动卸垛设备 |
| CN108335331B (zh) * | 2018-01-31 | 2020-09-18 | 华中科技大学 | 一种钢卷双目视觉定位方法及设备 |
| CN109493313B (zh) * | 2018-09-12 | 2020-07-10 | 华中科技大学 | 一种基于视觉的钢卷定位方法及设备 |
| CN112996742B (zh) * | 2018-10-24 | 2023-08-11 | 住友重机械工业株式会社 | 起重机系统、起重机定位装置及起重机定位方法 |
| CN111232845A (zh) * | 2018-11-28 | 2020-06-05 | 周口师范学院 | 一种基于机器视觉的钢卷吊自动抓取算法 |
| CN110104563A (zh) * | 2019-04-02 | 2019-08-09 | 广东博智林机器人有限公司 | 一种单横梁多车体行吊系统及故障处理方法 |
| CN110092301B (zh) * | 2019-04-02 | 2021-03-09 | 广东博智林机器人有限公司 | 一种多行吊系统及其运行控制方法 |
| CN110054084B (zh) * | 2019-04-29 | 2021-03-09 | 广东博智林机器人有限公司 | 一种多机械臂行吊系统及其控制方法和故障处理方法 |
| CN110436349A (zh) * | 2019-07-19 | 2019-11-12 | 上海宝信软件股份有限公司 | 基于图像识别的无人全自动行车夹钳对中调整系统及方法 |
| CN110488812A (zh) * | 2019-07-25 | 2019-11-22 | 天津大学青岛海洋技术研究院 | 一种基于轴线车的海洋平台大型结构物模块移位搬运方法 |
| CN116891177B (zh) * | 2023-09-01 | 2023-12-05 | 河南科技学院 | 一种工件分拣起重机吊具 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6478780A (en) * | 1987-09-19 | 1989-03-24 | Nissan Motor | Work shifter |
| DE3735145A1 (de) * | 1987-10-16 | 1989-04-27 | Siemens Ag | Einrichtung zum rechnergesteuerten positionieren eines hebezeugs |
| JPH06156973A (ja) * | 1992-11-18 | 1994-06-03 | Toshiba Corp | 機器遠隔操作装置 |
| JP3785061B2 (ja) * | 2000-10-27 | 2006-06-14 | 三菱重工業株式会社 | 荷役クレーンにおけるコンテナ位置検知方法及び装置並びにコンテナ着床、段積制御方法 |
| CN100532244C (zh) * | 2006-09-26 | 2009-08-26 | 上海海事大学 | 港口运动集装箱卡车定位方法及装置 |
| CN102115010A (zh) * | 2010-09-27 | 2011-07-06 | 成都西部泰力起重机有限公司 | 一种带有机器视觉、定位系统的智能起重机 |
| FI125644B (fi) * | 2011-07-18 | 2015-12-31 | Konecranes Oyj | Järjestelmä ja menetelmä nosturin tartuntaelimen sijainnin ja kiertymän määrittämiseksi |
| JP2014144836A (ja) * | 2013-01-28 | 2014-08-14 | Mitsubishi Heavy Industries Machinery Technology Corp | コンテナクレーン |
| CN104085794B (zh) * | 2014-07-14 | 2017-02-15 | 上海海事大学 | 一种用于集装箱分布轮廓和位置智能化检测系统及方法 |
| CN105398958A (zh) * | 2015-12-19 | 2016-03-16 | 太原重工股份有限公司 | 一种钢卷测量定位吊取方法及应用该方法的装置和起重机 |
-
2016
- 2016-05-31 CN CN201610376576.7A patent/CN106044570B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106044570A (zh) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106044570B (zh) | 一种采用机器视觉的钢卷吊自动识别装置和方法 | |
| US11780101B2 (en) | Automated package registration systems, devices, and methods | |
| CN108858199B (zh) | 基于视觉的服务机器人抓取目标物体的方法 | |
| CN109483554B (zh) | 基于全局和局部视觉语义的机器人动态抓取方法及系统 | |
| CN104626169B (zh) | 基于视觉与机械综合定位的机器人抓取零件的方法 | |
| CN106839985B (zh) | 无人天车钢卷抓取的自动识别定位方法 | |
| WO2020091846A1 (en) | Automated package registration systems, devices, and methods | |
| EP4019200A1 (en) | Production system | |
| CN110751691B (zh) | 一种基于双目视觉的管件自动抓取方法 | |
| CN106272424A (zh) | 一种基于单目相机和三维力传感器的工业机器人抓取方法 | |
| CN110980276B (zh) | 一种三维视觉配合机器人实施铸件自动下料的方法 | |
| CN110293559B (zh) | 一种自动识别定位对准的安装方法 | |
| EP4013578A1 (en) | Robot-mounted moving device, system, and machine tool | |
| CN111924460A (zh) | 一种码垛控制方法及系统 | |
| WO2021053750A1 (ja) | 作業ロボットおよび作業システム | |
| JP5428922B2 (ja) | ハンガーラインへのワーク供給装置及び方法 | |
| CN114405866A (zh) | 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统 | |
| CN111390910A (zh) | 机械手目标抓取定位方法、计算机可读存储介质及机械手 | |
| US20230173660A1 (en) | Robot teaching by demonstration with visual servoing | |
| CN114074331A (zh) | 一种基于视觉的无序抓取方法及机器人 | |
| JP5428921B2 (ja) | ハンガーラインからのワーク回収装置及び方法 | |
| JP7112528B2 (ja) | 作業座標作成装置 | |
| CN108393676B (zh) | 自动化彩妆装配的模型设定方法 | |
| EP4144494A1 (en) | Image processing method, image processing device, robot mounted-type conveyance device, and system | |
| CN107020545A (zh) | 识别机械工件位姿的装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190308 Address after: 453400 West Section of Weihua Avenue, Changyuan County, Xinxiang City, Henan Province Patentee after: Henan Weihua Heavy Machinery Co., Ltd. Address before: 450000 Building No. 1, 49 Jinshui East Road, Zhengdong New District, Zhengzhou City, Henan Province, 24th Floor, 264 Patentee before: Henan Weihua Machinery Engineering Research Institute Co., Ltd. |
|
| TR01 | Transfer of patent right |