CN114045367A - 一种鱼雷罐车自动拔插视觉引导系统及其使用方法 - Google Patents
一种鱼雷罐车自动拔插视觉引导系统及其使用方法 Download PDFInfo
- Publication number
- CN114045367A CN114045367A CN202111296916.2A CN202111296916A CN114045367A CN 114045367 A CN114045367 A CN 114045367A CN 202111296916 A CN202111296916 A CN 202111296916A CN 114045367 A CN114045367 A CN 114045367A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- robot
- plugging
- unplugging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 abstract description 12
- 229910052742 iron Inorganic materials 0.000 abstract description 6
- 229910000831 Steel Inorganic materials 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000010959 steel Substances 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000009628 steelmaking Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C21—METALLURGY OF IRON
- C21B—MANUFACTURE OF IRON OR STEEL
- C21B3/00—General features in the manufacture of pig-iron
- C21B3/04—Recovery of by-products, e.g. slag
- C21B3/06—Treatment of liquid slag
- C21B3/10—Slag pots; Slag cars
-
- C—CHEMISTRY; METALLURGY
- C21—METALLURGY OF IRON
- C21B—MANUFACTURE OF IRON OR STEEL
- C21B2300/00—Process aspects
- C21B2300/04—Modeling of the process, e.g. for control purposes; CII
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Materials Engineering (AREA)
- Metallurgy (AREA)
- Organic Chemistry (AREA)
- Image Processing (AREA)
Abstract
本发明涉及钢铁行业鱼雷罐车自动倾倒铁水领域，具体来说是一种鱼雷罐车自动拔插视觉引导系统及其使用方法，属于自动控制技术领域。一种鱼雷罐车自动拔插视觉引导系统，包括辅助部件、2D视觉引导相机、3D立体视觉引导相机、图像处理算法系统和数据通讯及记录系统五个部分，前三个部分为系统的硬件部分，最后一部分是系统的软件部分；利用涉及2D视觉和3D视觉技术，解决鱼雷罐车火车停靠范围大，每辆火车上插座形态和空间旋转角度不同等问题，通过多维视觉融合有效解决鱼雷罐车电源拔插高精度引导需求，并将视觉系统获得坐标数据时时传递给拔插机器人，并记录整个数据传输过程，从而实现成功引导拔插机器人实现鱼雷罐车电源的自动拔插。
Description
技术领域
本发明涉及钢铁行业鱼雷罐车自动倾倒铁水领域，具体来说是一种鱼雷罐车自动拔插视觉引导系统及其使用方法，属于自动控制技术领域。
背景技术
鱼雷罐车是用来运送铁水的主要设备之一，在铁水运送过程中需要通过火车，将高炉生产的铁水运送到炼钢车间，通过罐车倾倒将铁水倒入铁水包中，倾倒过程需要电源，因此需要人工对罐车电源进行拔插。人工拔插电源存在劳动强度大、高温和触电等多种危险，存在较大的生产风险，因此提出了采用拔插机器人自动拔插鱼雷罐车，拔插过程的最大的难点是罐车每次停靠位置不同，因此需要视觉系统来引导拔插机器人进行工作。
发明内容
本发明的提供了一种鱼雷罐车自动拔插的视觉引导系统，涉及2D视觉和3D视觉技术的应用，用于解决鱼雷罐车火车停靠范围大，每辆火车上插座形态和空间旋转角度不同等问题，通过多维视觉融合有效解决鱼雷罐车电源拔插高精度引导需求，并将视觉系统获得坐标数据时时传递给拔插机器人，并记录整个数据传输过程，从而实现成功引导拔插机器人实现鱼雷罐车电源的自动拔插。
一种鱼雷罐车自动拔插视觉引导系统，包括辅助部件、2D视觉引导相机、3D立体视觉引导相机、图像处理算法系统和数据通讯及记录系统；所述2D视觉引导相机和3D立体视觉引导相机分别通过夹具安装于拔插机器人上；
所述辅助部件包括安装板，所述安装板的中间位置印刷有十字架图形，对图像位置识别起定位作用；所述安装板安装于鱼雷罐车上，并紧靠鱼雷罐车的插座；
所述图像处理算法系统和数据通讯及记录部分设置于拔插机器人内；
所述2D视觉引导相机和3D立体视觉引导相机用于采集图像数据信息，并能够将图像数据信息传递给所述图像处理算法系统，所述图像处理算法系统对图像数据信息进行拔插机器人的运动坐标运算处理。
进一步地，所述2D视觉引导相机为2D灰度工业相机。
进一步地，所述3D立体视觉引导相机为线扫相机。
一种鱼雷罐车自动拔插视觉引导系统的使用方法，包括如下步骤：
S1.利用2D视觉引导相机获取图像，随后将图像转化为图像数据信号传输给图像处理算法系统，根据图像计算坐标位置后将图像数据信号传递给拔插机器人；
S2.利用3D立体视觉引导相机获取图像，随后将图像转化为图像数据信号传输给图像处理算法系统，根据图像计算坐标位置后将图像数据信号传递给拔插机器人；
S3.数据通讯及记录系统记录拔插机器人的坐标位置、拔插状态及动作数据。
进一步地，所述S1包括：
S1.1固定2D视觉引导相机位置，使其在整个被测位置的中心位置，并调整镜头焦距和光圈大小，从而获取清晰的图像；
S1.2对相机进行畸变矫正，对相机取相范围内各个位置进行棋盘格图像的成像，通过图像对相机和镜头进行矫正，获取相机的内外参数，从而实现矫正畸变，矫正后的图像应保证横平竖直，保证现实直线没有弧度；
S1.3进行九点标定，确定拔插机器人坐标系和2D视觉引导相机坐标系的对应关系，分别记录视觉坐标系的中的九个坐标点和与之对应的拔插机器人坐标系的九个点，利用两组坐标系之间的对应关系求得齐次转换矩阵；
S1.4进行模板匹配算法，首先制作所述辅助部件的外形模板，并取十字架部分的外形轮廓，根据金字塔算法，设定各模板的最大旋转角度和放大系数，从而适应在各种情况下的高精度匹配；
S1.5进行位置转换，通过S1.4步骤可以获取辅助部件在相机坐标系下的位置，且在辅助部件中已经做好了位置固定关系，因此通过位置转换可以直接获取插入点的拔插机器人坐标位置；
S1.6将获取的坐标位置传递给拔插机器人以及图像处理算法系统和数据通讯及记录系统。
进一步地，所述S2包括：
S2.1固定3D立体视觉引导相机位置，确定3D立体视觉引导相机的成像范围，使插座位于清晰的成像空间中，调整扫描速度与拔插机器人速度相匹配，并设置成像帧数，确保点云图的完整性；
S2.2扫描标准位3D点云模板，并制作标准点云模板，调整检测空间和匹配参数；
S2.3进行3D模板匹配，从而获取当前插座与标准位插座的位置差距，将数据信号发送给拔插机器人，从而时时调整插头位置，完成3D引导；同时将数据信号传递给图像处理算法系统和数据通讯及记录系统。
进一步地，所述S3中数据通讯及记录系统采用基于OPC协议的方式进行数据通讯，采用SQL数据库的方式，记录每次坐标位置和插拔状态及所有拔插机器人动作数据。
本发明具有的有益效果为：适用于所有需要鱼雷罐车的钢铁厂，通过系统的引导可以实现自动拔插鱼雷罐车，是实现炼钢自动化的关键步骤，该方式的应用属于国内首套，具有较大的推广应用价值。
利用涉及2D视觉和3D视觉技术，解决鱼雷罐车火车停靠范围大，每辆火车上插座形态和空间旋转角度不同等问题，通过多维视觉融合有效解决鱼雷罐车电源拔插高精度引导需求，并将视觉系统获得坐标数据时时传递给拔插机器人，并记录整个数据传输过程，从而实现成功引导拔插机器人实现鱼雷罐车电源的自动拔插。
附图说明
图1为本发明流程图；
具体实施方式：
以下结合附图对本发明内容作进一步的详细说明。
一种鱼雷罐车自动拔插视觉引导系统，包括辅助部件、2D视觉引导相机、3D立体视觉引导相机、图像处理算法系统和数据通讯及记录系统五部分，前三个部分为系统的硬件部分，后两部分是系统的软件部分；2D视觉引导相机和3D立体视觉引导相机分别通过夹具安装于拔插机器人上；图像处理算法系统和数据通讯及记录部分设置于拔插机器人内；
辅助部件包括安装板，安装板的中间位置印刷有十字架图形，对图像位置识别起定位作用；安装板安装于鱼雷罐车上，并紧靠鱼雷罐车的插座；
2D视觉引导相机和3D立体视觉引导相机用于采集图像数据信息，并能够将图像数据信息传递给图像处理算法系统，图像处理算法系统对图像数据信息进行拔插机器人的运动坐标运算处理。
一种鱼雷罐车自动拔插视觉引导系统的使用方法，包括如下步骤：以一次工作流程为例，首先确保所要进行自动插拔的车辆，已经正确安装了视觉辅助识别装置，且插头形状尺寸符合当前视觉部分的相关模型，且所有相机已安装在正确位置，并做好了相关的矫正、对位和相关视觉模型工作。
S1.(1)固定2D视觉引导相机位置，使其在整个被测位置的中心位置，并调整镜头焦距和光圈大小，从而获取清晰的图像；
(2)对相机进行畸变矫正，对相机取相范围内各个位置进行棋盘格图像的成像，通过图像对相机和镜头进行矫正，获取相机的内外参数，从而实现矫正畸变，矫正后的图像应保证横平竖直，保证现实直线没有弧度；
(3)进行九点标定，确定拔插机器人坐标系和2D视觉引导相机坐标系的对应关系，分别记录视觉坐标系的中的九个坐标点和与之对应的拔插机器人坐标系的九个点，利用两组坐标系之间的对应关系求得齐次转换矩阵；
(4)进行模板匹配算法，首先制作所述辅助部件的外形模板，并取十字架部分的外形轮廓，根据金字塔算法，设定各模板的最大旋转角度和放大系数，从而适应在各种情况下的高精度匹配；
(5)进行位置转换，通过(4)步骤可以获取辅助部件在相机坐标系下的位置，且在辅助部件中已经做好了位置固定关系，因此通过位置转换可以直接获取插入点的拔插机器人坐标位置；
(6)将获取的坐标位置传递给拔插机器人以及数据通讯及记录系统。
S2.(1)固定3D立体视觉引导相机位置，确定3D立体视觉引导相机的成像范围，使插座位于清晰的成像空间中，调整扫描速度与拔插机器人速度相匹配，并设置成像帧数，确保点云图的完整性；
(2)扫描标准位3D点云模板，并制作标准点云模板，调整检测空间和匹配参数；
(3)进行3D模板匹配，从而获取当前插座与标准位插座的位置差距，将数据信号发送给拔插机器人，从而时时调整插头位置，完成3D引导；同时将数据信号传递给图像处理算法系统和数据通讯及记录系统；
S3.数据通讯及记录系统采用基于OPC协议的方式进行数据通讯，采用SQL数据库的方式，记录每次坐标位置和插拔状态及所有拔插机器人动作数据。
综上所述，当载有鱼雷罐车的火车停稳时，触发2D视觉引导相机对现场进行拍照，获取当前罐车插座的灰度图像，获取图像后会将图像传入图像处理算法系统和数据通讯及记录系统中，首先会保存相关图片，随后会对图像进行高精度模板匹配算法，对整幅图像进行模板匹配，在成功匹配到辅助部件时，会根据对位信息和之前计算的齐次矩阵将计算出拔插机器人运动坐标，将坐标信息发送拔插机器人；随后拔插机器人运行到达指定位置，并通过硬线触发线扫开关，同时带动线扫相机匀速运动，获取当前插座的点云数据，通过3D模板匹配在整个点云空间进行匹配，在匹配成功后将与标注位置的坐标差传送给拔插机器人，拔插机器人调整姿态，完成插拔动作，整个过程所有的状态会被数据通讯及记录系统存入数据库中，以便故障分析和查找。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
Claims (7)
1.一种鱼雷罐车自动拔插视觉引导系统，其特征在于：包括辅助部件、2D视觉引导相机、3D立体视觉引导相机、图像处理算法系统和数据通讯及记录系统；所述2D视觉引导相机和3D立体视觉引导相机分别通过夹具安装于拔插机器人上；
所述辅助部件包括安装板，所述安装板印刷有十字架图形，对图像位置识别起定位作用；所述安装板安装于鱼雷罐车上，并紧靠鱼雷罐车的插座；
所述图像处理算法系统和数据通讯及记录部分设置于拔插机器人内；
所述2D视觉引导相机和3D立体视觉引导相机用于采集图像数据信息，并能够将图像数据信息传递给所述图像处理算法系统，所述图像处理算法系统对图像数据信息进行拔插机器人的运动坐标运算处理。
2.根据权利要求1所述的一种鱼雷罐车自动拔插视觉引导系统，其特征在于：所述2D视觉引导相机为2D灰度工业相机。
3.根据权利要求1所述的一种鱼雷罐车自动拔插视觉引导系统，其特征在于：所述3D立体视觉引导相机为线扫相机。
4.一种鱼雷罐车自动拔插视觉引导系统的使用方法，其特征在于：
包括如下步骤：
S1.利用2D视觉引导相机获取图像，随后将图像转化为图像数据信号传输给图像处理算法系统，根据图像计算坐标位置后将图像数据信号传递给拔插机器人；
S2.利用3D立体视觉引导相机获取图像，随后将图像转化为图像数据信号传输给图像处理算法系统，根据图像计算坐标位置后将图像数据信号传递给拔插机器人；
S3.数据通讯及记录系统记录拔插机器人的坐标位置、拔插状态及动作数据。
5.根据权利要求4所述的一种鱼雷罐车自动拔插视觉引导系统的使用方法，其特征在于：
所述S1包括：
S1.1固定2D视觉引导相机位置，使其在整个被测位置的中心位置，并调整镜头焦距和光圈大小，从而获取清晰的图像；
S1.2对相机进行畸变矫正，对相机取相范围内各个位置进行棋盘格图像的成像，通过图像对相机和镜头进行矫正，获取相机的内外参数，从而实现矫正畸变，矫正后的图像应保证横平竖直，保证现实直线没有弧度；
S1.3进行九点标定，确定拔插机器人坐标系和2D视觉引导相机坐标系的对应关系，分别记录视觉坐标系的中的九个坐标点和与之对应的拔插机器人坐标系的九个点，利用两组坐标系之间的对应关系求得齐次转换矩阵；
S1.4进行模板匹配算法，首先制作所述辅助部件的外形模板，并取十字架部分的外形轮廓，根据金字塔算法，设定各模板的最大旋转角度和放大系数，从而适应在各种情况下的高精度匹配；
S1.5进行位置转换，通过S1.4步骤可以获取辅助部件在相机坐标系下的位置，且在辅助部件中已经做好了位置固定关系，因此通过位置转换可以直接获取插入点的拔插机器人坐标位置；
S1.6将获取的坐标位置传递给拔插机器人以及图像处理算法系统和数据通讯及记录系统。
6.根据权利要求4所述的一种鱼雷罐车自动拔插视觉引导系统的使用方法，其特征在于：
所述S2包括：
S2.1固定3D立体视觉引导相机位置，确定3D立体视觉引导相机的成像范围，使插座位于清晰的成像空间中，调整扫描速度与拔插机器人速度相匹配，并设置成像帧数，确保点云图的完整性；
S2.2扫描标准位3D点云模板，并制作标准点云模板，调整检测空间和匹配参数；
S2.3进行3D模板匹配，从而获取当前插座与标准位插座的位置差距，将数据信号发送给拔插机器人，从而时时调整插头位置，完成3D引导；同时将数据信号传递给图像处理算法系统和数据通讯及记录系统。
7.根据权利要求4所述的一种鱼雷罐车自动拔插视觉引导系统的使用方法，其特征在于：所述S3中数据通讯及记录系统采用基于OPC协议的方式进行数据通讯，采用SQL数据库的方式，记录每次坐标位置和插拔状态及所有拔插机器人动作数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111296916.2A CN114045367A (zh) | 2021-11-02 | 2021-11-02 | 一种鱼雷罐车自动拔插视觉引导系统及其使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111296916.2A CN114045367A (zh) | 2021-11-02 | 2021-11-02 | 一种鱼雷罐车自动拔插视觉引导系统及其使用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114045367A true CN114045367A (zh) | 2022-02-15 |
Family
ID=80207221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111296916.2A Pending CN114045367A (zh) | 2021-11-02 | 2021-11-02 | 一种鱼雷罐车自动拔插视觉引导系统及其使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114045367A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915957A (zh) * | 2015-05-29 | 2015-09-16 | 何再兴 | 一种提高工业机器人三维视觉识别精度的匹配矫正方法 |
| CN109062161A (zh) * | 2018-08-23 | 2018-12-21 | 大连重工环保工程有限公司 | 一种倒罐站自动化出铁控制系统 |
| US20190184570A1 (en) * | 2017-08-01 | 2019-06-20 | Enova Technology, Inc. | Intelligent robots |
| CN111661082A (zh) * | 2020-05-29 | 2020-09-15 | 鞍钢股份有限公司 | 一种鱼雷罐车的电源自动插接系统及其插接控制方法 |
-
2021
- 2021-11-02 CN CN202111296916.2A patent/CN114045367A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915957A (zh) * | 2015-05-29 | 2015-09-16 | 何再兴 | 一种提高工业机器人三维视觉识别精度的匹配矫正方法 |
| US20190184570A1 (en) * | 2017-08-01 | 2019-06-20 | Enova Technology, Inc. | Intelligent robots |
| CN109062161A (zh) * | 2018-08-23 | 2018-12-21 | 大连重工环保工程有限公司 | 一种倒罐站自动化出铁控制系统 |
| CN111661082A (zh) * | 2020-05-29 | 2020-09-15 | 鞍钢股份有限公司 | 一种鱼雷罐车的电源自动插接系统及其插接控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张雷等: "基于图像的高炉出铁口铁水流量检测", 《钢铁研究学报》 * |
| 谢永辉等: "面向钢铁工业场景的三维点云技术研究", 《现代信息科技》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590835B (zh) | 一种核环境下机械臂工具快换视觉定位系统与定位方法 | |
| CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
| WO2019136882A1 (zh) | 一种手机触控屏Mark定位非接触式视觉检测方法 | |
| CN112643207B (zh) | 基于计算机视觉的激光自动除锈系统及方法 | |
| CN112221890A (zh) | 一种涂布纠正方法及装置 | |
| CN113276106A (zh) | 一种攀爬机器人空间定位方法及空间定位系统 | |
| CN111452045B (zh) | 一种基于立体视觉的钢筋识别标记系统和方法 | |
| CN115880296B (zh) | 基于机器视觉的预制构件质量检测方法及装置 | |
| CN107643049B (zh) | 基于单目结构光的地磅上车辆位置检测系统及方法 | |
| CN112000124B (zh) | 一种应用于电网的无人机巡检方法 | |
| CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN110779933A (zh) | 基于3d视觉传感阵列的表面点云数据获取方法和系统 | |
| CN115629066A (zh) | 一种基于视觉引导的面向自动配线的方法及装置 | |
| CN111465188B (zh) | 异形电路板及元器件插件方法及装置 | |
| CN109059769B (zh) | 一种非接触式受电弓升降弓臂杆位置关系测量方法 | |
| CN114045367A (zh) | 一种鱼雷罐车自动拔插视觉引导系统及其使用方法 | |
| CN205869697U (zh) | 一种机器人自动凸焊精确定位的装置 | |
| CN117901688A (zh) | 一种用于新能源汽车的自动化充电系统及方法 | |
| CN111397509B (zh) | 一种蜡烛芯校正方法和系统 | |
| CN114119459A (zh) | 一种电器产品绝缘测试电源口定位方法及系统 | |
| CN113333946A (zh) | 一种用于汽车控制单元内部件焊接定位的方法 | |
| CN115893294A (zh) | 基于2d相机的机器人自动加注方法 | |
| CN116140987A (zh) | 一种车桥测试台视觉快速对接装置及对接方法 | |
| CN112783076A (zh) | 基于高精度位移传感器的引导机械手定位的方法及系统 | |
| CN115520796A (zh) | 一种基于双目立体视觉与电动葫芦的拱肋节段吊装施工方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220215 |
|
| RJ01 | Rejection of invention patent application after publication |