CN113460851A - 基于单目视觉和激光的管片自动抓取和运输系统和方法 - Google Patents

基于单目视觉和激光的管片自动抓取和运输系统和方法 Download PDF

Info

Publication number
CN113460851A
CN113460851A CN202110615406.0A CN202110615406A CN113460851A CN 113460851 A CN113460851 A CN 113460851A CN 202110615406 A CN202110615406 A CN 202110615406A CN 113460851 A CN113460851 A CN 113460851A
Authority
CN
China
Prior art keywords
lifting appliance
laser
segment
monocular
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110615406.0A
Other languages
English (en)
Other versions
CN113460851B (zh
Inventor
刘铁根
赖典毅
王双
张连昊
郭素阳
江俊峰
杨正凡
刘琨
吴志洋
傅裕
聂辰一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Tianhe Mechanical Equipment Manufacturing Co Ltd
Original Assignee
Tianjin University
Tianhe Mechanical Equipment Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University, Tianhe Mechanical Equipment Manufacturing Co Ltd filed Critical Tianjin University
Priority to CN202110615406.0A priority Critical patent/CN113460851B/zh
Publication of CN113460851A publication Critical patent/CN113460851A/zh
Application granted granted Critical
Publication of CN113460851B publication Critical patent/CN113460851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C1/00—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles
    • B66C1/10—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means
    • B66C1/12—Slings comprising chains, wires, ropes, or bands; Nets
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C1/00—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles
    • B66C1/10—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means
    • B66C1/62—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means comprising article-engaging members of a shape complementary to that of the articles to be handled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/06—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for minimising or preventing longitudinal or transverse swinging of loads
    • B66C13/063—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for minimising or preventing longitudinal or transverse swinging of loads electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/08—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
    • B66C13/085—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

本发明公开了一种基于单目视觉和激光的管片吊具自动抓取和运输装置和方法，通过单目视觉智能相机对管片(6)的定位孔(10)进行识别定位进而计算出吊具(5)与管片(6)的相对位置，控制吊具(5)移动以及借助激光测距完成管片(6)自动抓取；再通过单目视觉智能相机对反光三角标志物进行识别并计算出吊具(5)与喂片机(13)的相对位置，控制吊具(5)移动和借助激光测距完成管片(6)的自动运输。本发明在利用相机识别定位的过程中，减少吊具移动过程中由惯性带来的摇摆现象对识别定位精度和精定位速度产生的影响；实现了对吊具平面进行调平，从而保证激光测距传感器测量的准确度。

Description

基于单目视觉和激光的管片自动抓取和运输系统和方法
技术领域
本发明涉及机械工程技术领域，具体涉及一种隧道施工的大尺寸管片自动抓取和运输方法。
背景技术
吊具自动化技术广泛用于码头集装箱吊具上，其大部分采用的是基于视觉处理的识别和定位系统。视觉系统有基于单目视觉的也有双目视觉，在图像识别定位算法方面，大部分采用的是模板匹配算法。但目前吊具自动化技术仍然存在图像识别定位效果不佳以及受到吊具摇摆现象的影响经常导致识别定位不准确等问题。
在自动化程度较高的隧道的盾构法施工领域，存在管片吊具自动抓取和运输管片技术仍不成熟的现象。传统人工操作吊具抓取管片并放置到喂片机上，由于吊具与管片的距离较远，为了吊具的定位销能够成功插入管片的定位孔，操作人员需要被下放到一定高度(甚至需下放到定位销接近管片)才能进行调整，这时移动吊具会使吊具剧烈摇晃，从而使单管片吊具的吊爪、定位销经常与管片相碰，造成吊具的损坏和管片表面的破坏进而给工程的安全质量带来一定的安全隐患，同时也会给操作人员带来安全风险。
发明内容
本发明旨在提出了一种基于单目视觉和激光的管片吊具自动抓取和运输装置和方法，通过识别定位来控制吊具移动以及借助激光测距完成吊具的管片自动抓取，以及控制吊具移动和借助激光测距完成管片吊具的自动运输。
本发明为解决上述问题而采取的技术方案如下：
本发明的一种基于单目视觉和激光的吊具自动抓取和运输装置，该装置包括两个单目智能相机即第一单目智能相机1、第二单目智能相机2，两个激光位移传感器即第一激光位移传感器3、第二激光位移传感器4，用于抓取盾构管片的吊具5、管片6、反光三角标志物7；其中：
所述第一单目智能相机1和所述第二激光位移传感器3以及所述十字激光器8安装在所述吊具5的正中间位置，所述吊具5上设置有两个定位销9；所述十字激光器8位于两个定位销9中心连线的中点上，所述第二单目智能相机2和所述第二激光位移传感器4安装在所述吊具5的侧边；当所述吊具5在所述管片6正上方时，所述吊具5上的两个定位销9在所述管片6的两个定位孔10的正上方，所述第一单目智能相机1和所述第一激光位移传感器3的光轴与管片6的表面垂直；当所述吊具5将所述管片6抓取到位于喂片机13的正上方位置时，所述第二单目智能相机2和所述第二激光位移传感器4的光轴与喂片机13表面垂直。
本发明的一种基于单目视觉和激光的吊具自动抓取和运输方法，该方法包括以下步骤：
步骤一、将吊具5移动至预先设定的粗定位范围之内；
步骤二、用第一单目智能相机1拍摄一张管片图，对所拍摄的图像用Otsu算法二值化图像，对二值化图像取反操作，再用Canny算子提取图中的物体轮廓，找出面积值大于一定数值的轮廓并提取出来，将原灰度图中这一部分轮廓区域的值置0，从而提取出管片的区域，识别出管片6的类型编号以确定管片6放置方向；
步骤三、继续不断地用第一单目智能相机1拍摄并且识别管片6的定位孔10的坐标值，进行吊具5与管片6的相对位置检测；逐步控制吊具5移动至管片6正上方；
步骤四、利用十字激光器8和第一单目智能相机1对吊具5进行调平，使之平行于管片6的切平面；调平参数通过以下处理得到：
步骤五、根据第一激光位移传感器3的测量数值确定管片6的下方高度，使吊具5的两个定位销成功插入管片的两个定位孔10，并抓取管片6；
步骤六、将管片6提升至最高处，并往喂片机13方向行走至下放粗定位范围；
步骤七、用第二单目智能相机2识别位于喂片机13旁的反光三角标志物7，即在相机设置低曝光值，高Gamma值下，对拍摄到的反光三角标志物图像以高灰度值为二值化阈值二值化图像从而提取标志物，用Shi-Tomasi角点检测算法检测三角标志物中的三个角点的坐标，根据这三个角点坐标值之间的位置关系，确定A、B、C三点的坐标；
计算当前吊具5与已抓取的管片6要下放到喂片机13上的相对位置和旋转电机14的偏转角度，与标定值进行对比，计算出吊具5需要移动的距离和旋转的角度，具体步骤如下：
第一单目智能相机1拍摄参数调为低曝光值、高Gamma值，拍摄打在管片上的十字激光线，用自定义的一个“十字”滤波器对图像进行滤波，去除外部一些激光点的干扰，然后以高灰度值为二值化阈值对图像进行二值化处理，同时用Canny算子提取二值化图像轮廓，然后Hough变换检测图中的直线，并计算出两条直线的交点坐标值即为十字激光线十字交点；
以相机拍摄的管片图建立直角坐标系，设两定位孔圆心连线中点O坐标值为(x0,y0)，此时相机距离管片切平面的距离为H，十字激光点在坐标平面的坐标值为(x,y)，在管片6面上十字激光中心点坐标点相对于两定位孔连线中点的位移偏转量，它们之间的关系式为：
Figure BDA0003097831500000031
其中，ΔTP为边TR相对于边PQ的高度差，ΔPQ为边TP相对于边RQ的高度差；获得吊具5倾斜角度，表达式如下：
Figure BDA0003097831500000032
α为吊具5的边TP和RQ相对于水平面的倾斜角度，β为吊具5的边TR和PQ相对于水平面的倾斜角度；
进而求得吊具5上四根吊绳之间的高度差值：
Figure BDA0003097831500000041
以T为基准原点，P的高度为Δx，R的高度为Δy，Q的高度为(Δx+Δy)；
调整吊具5状态至初始标定位置，并下放；
步骤八、利用第二激光位移传感器4确定吊具6与喂片机13的高度，使吊具6成功下放。
与现有技术相变，本发明的基于单目视觉和激光的管片自动抓取和运输系统和方法，能够达到以下的技术效果：
1)在利用相机识别定位的过程中，成功克服吊具5移动过程会由惯性带来的摇晃导致定位不准、以及在摇晃过程中抓取会导致吊具与管片磕碰、吊具四个吊钩上的吊绳经常不一致导致吊具平面倾斜等问题对识别定位精度和精定位速度产生的影响响，使单管片吊具抓取运输管片整个过程定位准确、耗时低、安全稳定；
2)实现了对吊具平面进行调平，从而保证激光测距传感器测量的准确度。
附图说明
图1为本发明的一种基于单目视觉和激光的吊具自动抓取和运输装置结构示意图；(a)主视结构图，(b)侧视结构图；
图2为管片结构图示意图；
图3为反光三角标志物的形状图；
图4为本发明的一种基于单目视觉和激光的吊具自动抓取和运输方法整体流程图；(4a)自动抓取流程，(4b)自动运输流程；
图5为吊具自动抓取系统的图像处理流程图；
图6为激光辅助相机调平吊具图像处理流程图；
图7为十字激光器辅助单目智能相机调平吊具的原理示意图；(7a)吊具平面与管片切平面平行，(7b)吊具平面与管片切平面不平行；
图8为吊具自动运输系统识别标志物的图像处理流程；
附图标记：
1、第一单目智能相机，2、第二单目智能相机，3、第一激光位移传感器，4、第二激光位移传感器，5、吊具，6、管片，7、反光三角标志物，8、十字激光器，9、定位销、10、吊绳，11、吊爪，12、定位孔，13、喂片机，14、旋转电机，15、注浆孔。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述，但不作为对本发明的限定。
本发明公开了一种基于单目视觉和激光的管片吊具自动抓取和运输装置和方法，通过单目视觉智能相机对管片的定位孔进行识别定位进而计算出吊具与管片的相对位置，控制吊具移动以及借助激光测距完成吊具的管片自动抓取；再通过单目视觉智能相机对特殊三角标志物进行识别并计算出吊具与喂片机13的相对位置，控制吊具移动和借助激光测距完成管片吊具的自动运输。最终实现管片吊具的自动抓取和运输。
如图1所示，为本发明的一种基于单目视觉和激光的吊具自动抓取和运输装置。该装置主要包括两个单目智能相机即第一单目智能相机1、第二单目智能相机2，两个激光位移传感器即第一激光位移传感器3、第二激光位移传感器4，用于抓取盾构管片的吊具5、管片6、反光三角标志物7。其中，所述第一单目智能相机1和所述第二激光位移传感器3以及所述十字激光器8安装在所述吊具5的正中间位置，所述吊具5上设置有两个定位销9；所述十字激光器8位于两个定位销9中心连线的中点上，所述第二单目智能相机2和所述第二激光位移传感器4安装在所述吊具5的侧边。当所述吊具5在所述管片6正上方时，所述吊具5上的两个定位销9在所述管片6的两个定位孔10的正上方，所述第一单目智能相机1和所述第一激光位移传感器3的光轴与管片6的表面垂直，保证所述第一激光位移传感器3的光源点在管片6的表面，所述十字激光器8发出的十字激光位于所述管片6两个定位孔10的圆心连线的中点上。当所述吊具5将所述管片6抓取到位于喂片机13的正上方位置时，所述第二单目智能相机2和所述第二激光位移传感器4的光轴与喂片机13表面垂直。所述吊具5具有前后、左右、旋转以及上下三个自由度，通过相机测量目标物确定吊具5相对于目标物的前后、左右以及旋转方向的相对位置，通过测量激光位移传感器与目标物的实时高度确定吊具的摇摆情况以及吊具旋转电机14的移动距离。
基于单目视觉和激光的吊具自动抓取和运输的方法，包括如下步骤：
步骤一、将吊具5移动至预先设定的粗定位范围之内；
步骤二、用第一单目智能相机1拍摄一张管片图，通过识别出管片6的类型编号以确定管片6放置方向；
步骤三、继续不断地用第一单目智能相机1拍摄并且识别管片6的定位孔10的坐标值，进行吊具5与管片6的相对位置检测；逐步控制吊具5移动至管片6正上方；
步骤四、利用十字激光器8和第一单目智能相机1对吊具5进行调平，使之平行于管片6的切平面；
步骤五、根据第一激光位移传感器3的测量数值确定管片6的下方高度，使吊具5的两个定位销成功插入管片的两个定位孔10，并抓取管片6
步骤六、将管片6提升至最高处，并往喂片机13方向行走至下放粗定位范围；
步骤七、用第二单目智能相机2识别位于喂片机13旁的反光三角标志物7，计算当前吊具5与已抓取的管片6要下放到喂片机13上的相对位置和旋转电机14的偏转角度，与标定值进行对比计算出吊具5需要移动的距离和旋转的角度，调整吊具5状态至初始标定位置，并下放。
步骤八、利用第二激光位移传感器4确定吊具6与喂片机13的高度，使吊具6成功下放。
本发明的具体实施过程描述如下：
标定过程：利用智能相机和激光对目标进行标定，标定方法为：在吊具自动抓取中，将吊具5移动至管片正上方(即此时如果下放吊具，吊具的定位销刚好能够插入管片6的两个定位孔且整个过程无任何磕碰)，然后用第一单目智能相机1拍摄识别管片的两个定位孔，将当前的定位孔心坐标值作为自动抓取相机的标定值。记录此时激光传感器的数值作为自动抓取激光的标定值，再将吊具5下放直到定位销刚好完全插入定位孔，记录此时激光传感器的数值作为自动抓取激光的标定值。
运输过程：在吊具5自动运输中，将吊具5移动至喂片机13正上方(即，此时如果下放管片，管片刚好能放置到喂片机13的正中间)，然后用第二单目智能相机2拍摄识别位于喂片机13旁的反光三角标志物7，将当前三角标志物7的三个顶点坐标值作为自动运输相机的标定值。记录此时激光传感器的数值作为自动运输激光的标定值，再将管片下放至刚好放置于喂片机13上，记录此时激光传感器的数值作为自动运输激光的标定值。
用第一单目智能相机1在粗定位位置拍摄管片图识别出管片6的类型所采用的深度学习神经网络主要包括特征提取网络、区域候选网络以及分类和回归网络。特征提取网络采用ResNet网络框架，网络里隐藏层的层数为101。区域候选网络用于提出候选对象边界框。然后使用分类和回归网络从每个候选框中提取特征，并对每个感兴趣区域执行分类、边界框回归和二进制掩码，实现目标管片类型的识别。
识别管片6的定位孔10的坐标所采用的图像处理方法如下：
如图5所示，为吊具自动抓取系统的图像处理流程图。对所拍摄的图像用Otsu算法二值化图像，对二值化图像取反操作，再用Canny算子提取图中的物体轮廓，找出面积值大于一定数值的轮廓并提取出来，将原灰度图中这一部分轮廓区域的值置0，从而提取出管片的区域。
用Hough变换检测图中的一定半径范围内的圆。半径范围计算方法为：
Figure BDA0003097831500000071
其中，pmin、pmax分别为定位孔在图片中最小半径、最大半径(单位为pixel)，f为相机的焦距，r为定位孔的半径，p0为相机像元尺寸大小，d1、d2分别为相机离管片定位孔的最小距离、最大距离。
对于识别出的圆，先根据它们圆心的横坐标值从小到大进行排列，然后选出圆心坐标在同一条直线上的圆，最后根据在同一条线上圆的圆心距离筛选出定位孔。
吊具5在管片6的正上方时，如果吊具5平台平行于管片的切平面，十字激光器8打向管片6的十字激光在两个定位圆心连线的中点上，即附图7中的O点；当吊具平台不平行于管片的切平面，十字激光器打向O1点。
如图6所示，为激光辅助相机调平吊具图像处理流程图。具体过程如下：
如图7所示，为十字激光器辅助单目智能相机调平吊具的原理示意图。十字激光器8辅助第一单目智能相机1对吊具平面进行调平的图像处理。第一单目智能相机1拍摄参数调为低曝光值、高Gamma值，拍摄打在管片上的十字激光线，用自定义的一个“十字”滤波器对图像进行滤波，去除外部一些激光点的干扰，然后以高灰度值为二值化阈值对图像进行二值化处理，同时用Canny算子提取二值化图像轮廓，然后Hough变换检测图中的直线，并计算出两条直线的交点坐标值即为十字激光线十字交点。自定义的“十字”滤波器内核为：
Figure BDA0003097831500000081
以相机拍摄的管片图建立直角坐标系，设两定位孔圆心连线中点O坐标值为(x0,y0)，此时相机距离管片切平面的距离为H，十字激光点在坐标平面的坐标值为(x,y)，
根据相机的物象关系，得到图像坐标的偏移量ΔX对应于实际十字激光与定位孔连线中点的偏移量ΔY的关系为：
Figure BDA0003097831500000082
其中，H为相机距离管片切平面的高度，f为相机焦距，p0为相机像元尺寸大小。
所以根据第二单目智能相机2拍摄到十字激光中心点相对于两定位孔10圆心连线中点的坐标偏转量就能够得到在管片6面上十字激光中心点坐标点相对于两定位孔连线中点的位移偏转量，它们之间的关系式为：
Figure BDA0003097831500000091
其中，ΔTP为边TR相对于边PQ的高度差，ΔPQ为边TP相对于边RQ的高度差。
所以吊具5的边TP和RQ相对于水平面的倾斜角度为α，吊具5的边TR和PQ相对于水平面的倾斜角度为β，
Figure BDA0003097831500000092
即
Figure BDA0003097831500000093
进而求得吊具5上四根吊绳之间的高度差值：
Figure BDA0003097831500000094
以T为基准原点，P的高度为Δx，R的高度为Δy，Q的高度为(Δx+Δy)。
如图8所示，为吊具自动运输系统识别标志物的图像处理流程示意图。用第二单目智能相机2识别反光三角标志物7的图像处理，具体如下：
在相机设置低曝光值，高Gamma值下，对拍摄到的反光三角标志物(7)图像以高灰度值为二值化阈值二值化图像从而提取标志物，用Shi-Tomasi角点检测算法检测三角标志物中的三个角点的坐标，根据这三个角点坐标值之间的位置关系，确定A、B、C三点的坐标。
然后根据边AB的斜率判断吊具需要旋转的角度，用C点的坐标相对于边AB的位置判断需要旋转的方向。根据三角形的中心坐标值变化求出前后、左右移动的距离。
在吊具5抓取和运输自动化精定位识别过程中，吊具5在移动过程中由于惯性作用存在摇摆现象导致识别和定位不准确，所以在识别定位中加入了防摇算法，使得相机即使在摇摆的情况下也能够保证识别的精度。具体算法如下：
吊具5在移动中由惯性作用引起的摇摆现象可简化为单摆模型，单摆的周期为：
Figure BDA0003097831500000101
其中，T为吊具摆动的周期，l为吊绳的长度，g为当地的重力加速度。
用相机在T内以
Figure BDA0003097831500000102
的时间间隔采集图像k张，然后分别对这些图片的定位孔进行识别得到它们的坐标，然后根据以下面公式求取当前位置下定位孔的坐标：
Figure BDA0003097831500000103
其中，x、y为当前位置下定位孔的横、纵坐标，xi、yi分别为抽取的图像的定位孔的坐标，k为抽取的图像的张数。

Claims (3)

1.一种基于单目视觉和激光的吊具自动抓取和运输装置，其特征在于，该装置包括两个单目智能相机即第一单目智能相机(1)、第二单目智能相机(2)，两个激光位移传感器即第一激光位移传感器(3)、第二激光位移传感器(4)，用于抓取盾构管片的吊具(5)、管片(6)、反光三角标志物(7)；其中：
所述第一单目智能相机(1)和所述第二激光位移传感器(3)以及所述十字激光器(8)安装在所述吊具(5)的正中间位置，所述吊具(5)上设置有两个定位销(9)；所述十字激光器(8)位于两个定位销(9)中心连线的中点上，所述第二单目智能相机(2)和所述第二激光位移传感器(4)安装在所述吊具(5)的侧边；当所述吊具(5)在所述管片(6)正上方时，所述吊具(5)上的两个定位销(9)在所述管片(6)的两个定位孔(10)的正上方，所述第一单目智能相机(1)和所述第一激光位移传感器(3)的光轴与管片(6)的表面垂直；当所述吊具(5)将所述管片(6)抓取到位于喂片机(13)的正上方位置时，所述第二单目智能相机(2)和所述第二激光位移传感器(4)的光轴与喂片机(13)表面垂直。
2.一种基于单目视觉和激光的吊具自动抓取和运输方法，其特征在于，该方法包括以下步骤：
步骤一、将吊具(5)移动至预先设定的粗定位范围之内；
步骤二、用第一单目智能相机(1)拍摄一张管片图，对所拍摄的图像用Otsu算法二值化图像，对二值化图像取反操作，再用Canny算子提取图中的物体轮廓，找出面积值大于一定数值的轮廓并提取出来，将原灰度图中这一部分轮廓区域的值置零，从而提取出管片的区域，识别出管片(6)的类型编号以确定管片(6)放置方向；
步骤三、继续不断地用第一单目智能相机(1)拍摄并且识别管片(6)的定位孔(10)的坐标值，进行吊具(5)与管片(6)的相对位置检测；逐步控制吊具(5)移动至管片(6)正上方；
步骤四、利用十字激光器(8)和第一单目智能相机(1)对吊具(5)进行调平，使之平行于管片(6)的切平面；调平参数通过以下处理得到：
步骤五、根据第一激光位移传感器(3)的测量数值确定管片(6)的下方高度，使吊具(5)的两个定位销成功插入管片的两个定位孔(10)，并抓取管片(6)；
步骤六、将管片(6)提升至最高处，并往喂片机(13)方向行走至下放粗定位范围；
步骤七、用第二单目智能相机(2)识别位于喂片机(13)旁的反光三角标志物(7)，即在相机设置低曝光值，高Gamma值下，对拍摄到的反光三角标志物图像以高灰度值为二值化阈值二值化图像从而提取标志物，用Shi-Tomasi角点检测算法检测三角标志物中的三个角点的坐标，根据这三个角点坐标值之间的位置关系，确定A、B、C三点的坐标；
计算当前吊具5与已抓取的管片(6)要下放到喂片机(13)上的相对位置和旋转电机14的偏转角度，与标定值进行对比，计算出吊具5需要移动的距离和旋转的角度，具体步骤如下：
第一单目智能相机1拍摄参数调为低曝光值、高Gamma值，拍摄打在管片上的十字激光线，用自定义的一个“十字”滤波器对图像进行滤波，去除外部一些激光点的干扰，然后以高灰度值为二值化阈值对图像进行二值化处理，同时用Canny算子提取二值化图像轮廓，然后Hough变换检测图中的直线，并计算出两条直线的交点坐标值即为十字激光线十字交点；
以相机拍摄的管片图建立直角坐标系，设两定位孔圆心连线中点O坐标值为(x0，y0)，此时相机距离管片切平面的距离为H，十字激光点在坐标平面的坐标值为(x，y)，在管片6面上十字激光中心点坐标点相对于两定位孔连线中点的位移偏转量，它们之间的关系式为：
Figure FDA0003097831490000021
其中，ΔTP为边TR相对于边PQ的高度差，ΔPQ为边TP相对于边RQ的高度差；
获得吊具(5)倾斜角度，表达式如下：
Figure FDA0003097831490000031
其中，α为吊具(5)的边TP和RQ相对于水平面的倾斜角度，β为吊具(5)的边TR和PQ相对于水平面的倾斜角度；
进而求得吊具(5)上四根吊绳之间的高度差值：
Figure FDA0003097831490000032
以T为基准原点，P的高度为Δx，R的高度为Δy，Q的高度为Δx+Δy；
调整吊具(5)状态至初始标定位置，并下放；
步骤八、利用第二激光位移传感器(4)确定吊具(6)与喂片机(13)的高度，使吊具(6)成功下放。
3.如权利要求1所述的一种基于单目视觉和激光的吊具自动抓取和运输方法，其特征在于，所述步骤八还包括以下步骤：
计算吊具(5)在移动过程中的摇摆周期，然后以1/6摇摆周期的采样间隔采集图像并识别、根据以下面公式求取当前位置下定位孔的坐标：
Figure FDA0003097831490000033
其中，x、y为当前位置下定位孔的横、纵坐标，xi、yi分别为抽取的图像的定位孔的坐标，k为抽取的图像的张数。
CN202110615406.0A 2021-06-02 2021-06-02 基于单目视觉和激光的管片自动抓取和运输系统和方法 Active CN113460851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110615406.0A CN113460851B (zh) 2021-06-02 2021-06-02 基于单目视觉和激光的管片自动抓取和运输系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110615406.0A CN113460851B (zh) 2021-06-02 2021-06-02 基于单目视觉和激光的管片自动抓取和运输系统和方法

Publications (2)

Publication Number Publication Date
CN113460851A true CN113460851A (zh) 2021-10-01
CN113460851B CN113460851B (zh) 2023-03-10

Family

ID=77872136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110615406.0A Active CN113460851B (zh) 2021-06-02 2021-06-02 基于单目视觉和激光的管片自动抓取和运输系统和方法

Country Status (1)

Country Link
CN (1) CN113460851B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113979315A (zh) * 2021-10-28 2022-01-28 承德石油高等专科学校 一种天车定位偏差补偿装置
CN114183167A (zh) * 2021-12-21 2022-03-15 中铁工程装备集团有限公司 管片自动抓取定位方法和管片自动拼装定位方法
CN114873469A (zh) * 2022-06-02 2022-08-09 宜昌精联电子科技有限公司 Ftr脱钩无源自动检测系统及方法
CN115063579A (zh) * 2022-08-19 2022-09-16 西南交通大学 基于二维图像和三维点云投影的列车定位销松动检测方法
CN116891177A (zh) * 2023-09-01 2023-10-17 河南科技学院 一种工件分拣起重机吊具
DE102022129860B3 (de) 2022-11-11 2024-02-15 Herrenknecht Aktiengesellschaft Tunnelbohrmaschine und Verfahren zum Verbauen von Tübbingen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205766164U (zh) * 2016-05-20 2016-12-07 中国科学院上海高等研究院 十字激光辅助识别定位系统及搬运机器人
CN107489430A (zh) * 2017-09-22 2017-12-19 中国铁建重工集团有限公司 一种管片自动识别定位装置及方法
CN109555543A (zh) * 2019-02-01 2019-04-02 中国铁建重工集团有限公司 一种管片自动输送及识别系统
CN209925010U (zh) * 2019-12-05 2020-01-10 中国铁建重工集团股份有限公司 一种基于机器视觉的盾构管片位置调节装置
CN112010024A (zh) * 2020-08-21 2020-12-01 南京理工大学 一种基于激光和视觉融合检测的货箱自动抓取方法及系统
CN112253168A (zh) * 2020-10-28 2021-01-22 中交天和机械设备制造有限公司 一种盾构机管片自动化拼装方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205766164U (zh) * 2016-05-20 2016-12-07 中国科学院上海高等研究院 十字激光辅助识别定位系统及搬运机器人
CN107489430A (zh) * 2017-09-22 2017-12-19 中国铁建重工集团有限公司 一种管片自动识别定位装置及方法
CN109555543A (zh) * 2019-02-01 2019-04-02 中国铁建重工集团有限公司 一种管片自动输送及识别系统
CN209925010U (zh) * 2019-12-05 2020-01-10 中国铁建重工集团股份有限公司 一种基于机器视觉的盾构管片位置调节装置
CN112010024A (zh) * 2020-08-21 2020-12-01 南京理工大学 一种基于激光和视觉融合检测的货箱自动抓取方法及系统
CN112253168A (zh) * 2020-10-28 2021-01-22 中交天和机械设备制造有限公司 一种盾构机管片自动化拼装方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113979315A (zh) * 2021-10-28 2022-01-28 承德石油高等专科学校 一种天车定位偏差补偿装置
CN113979315B (zh) * 2021-10-28 2023-10-31 承德石油高等专科学校 一种天车定位偏差补偿装置
CN114183167A (zh) * 2021-12-21 2022-03-15 中铁工程装备集团有限公司 管片自动抓取定位方法和管片自动拼装定位方法
CN114873469A (zh) * 2022-06-02 2022-08-09 宜昌精联电子科技有限公司 Ftr脱钩无源自动检测系统及方法
CN114873469B (zh) * 2022-06-02 2023-01-24 宜昌精联电子科技有限公司 Ftr脱钩无源自动检测系统及方法
CN115063579A (zh) * 2022-08-19 2022-09-16 西南交通大学 基于二维图像和三维点云投影的列车定位销松动检测方法
CN115063579B (zh) * 2022-08-19 2022-11-04 西南交通大学 基于二维图像和三维点云投影的列车定位销松动检测方法
DE102022129860B3 (de) 2022-11-11 2024-02-15 Herrenknecht Aktiengesellschaft Tunnelbohrmaschine und Verfahren zum Verbauen von Tübbingen
WO2024099748A1 (de) 2022-11-11 2024-05-16 Herrenknecht Aktiengesellschaft Tunnelbohrmaschine und verfahren zum verbauen von tübbingen
CN116891177A (zh) * 2023-09-01 2023-10-17 河南科技学院 一种工件分拣起重机吊具
CN116891177B (zh) * 2023-09-01 2023-12-05 河南科技学院 一种工件分拣起重机吊具

Also Published As

Publication number Publication date
CN113460851B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN113460851B (zh) 基于单目视觉和激光的管片自动抓取和运输系统和方法
CN106824816B (zh) 一种基于机器视觉的pe瓶检测与分拣方法
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法
CN105956619B (zh) 一种集装箱锁孔粗定位和跟踪方法
CN109345554A (zh) 一种基于rgb－d相机的粘连蘑菇视觉原位测量方法
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN112348034A (zh) 基于无人机图像识别的起重机缺陷检测系统和工作方法
CN111352123B (zh) 用于车辆检查的机器人和方法、确定车辆底盘中线的方法
CN113160211B (zh) 基于无人机平台的建筑物损伤判读系统
CN106546263A (zh) 一种基于机器视觉的激光水平仪出射激光线检测方法
WO2020244591A1 (en) Method for docking boarding bridge with aircraft, electronic equipment and storage medium
CN103363898B (zh) 集装箱对箱检测装置
CN116277025A (zh) 一种智能制造用机器人的物件分拣控制方法及系统
JPH08271223A (ja) 物体の位置認識装置
CN117474321A (zh) 基于bim模型的施工现场风险智能识别方法及系统
CN114758333B (zh) 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN117115249A (zh) 一种集装箱锁孔自动识别定位系统及方法
CN116395567B (zh) 一种基于相机和激光雷达的塔吊控制方法及系统
CN111461079A (zh) 一种基于双目图像的吊臂下人员检测方法
CN112337810B (zh) 一种视觉引导分拣珍珠机器人及其分拣方法
CN114873401A (zh) 一种基于重力储能的升降电梯定位系统及方法
CN107316302A (zh) 基于双目视觉的行车自动定位装置及其对应的定位方法
CN111854678B (zh) 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
CN111550273B (zh) 一种基于计算机视觉的液压支架调平调直方法
CN207115499U (zh) 基于双目视觉的行车自动定位装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant