CN104018850A - 基于双目视觉的管片拼装机的管片定位及抓取系统 - Google Patents

基于双目视觉的管片拼装机的管片定位及抓取系统 Download PDF

Info

Publication number
CN104018850A
CN104018850A CN201410252840.7A CN201410252840A CN104018850A CN 104018850 A CN104018850 A CN 104018850A CN 201410252840 A CN201410252840 A CN 201410252840A CN 104018850 A CN104018850 A CN 104018850A
Authority
CN
China
Prior art keywords
jurisdiction
assembling machine
section
duct piece
piece assembling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410252840.7A
Other languages
English (en)
Other versions
CN104018850B (zh
Inventor
吕玮东
王国强
赵海峰
何恩光
边野
苏丽达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201410252840.7A priority Critical patent/CN104018850B/zh
Publication of CN104018850A publication Critical patent/CN104018850A/zh
Application granted granted Critical
Publication of CN104018850B publication Critical patent/CN104018850B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了基于双目视觉的管片拼装机的管片定位及抓取系统。系统由图像获取系统(A)和图像处理系统(B)组成,并与控制系统及执行机构(C)相连。其中,图像获取系统(A)由右CCD传感器(1)、辅助光源(2)、支架(3)、左CCD传感器(6)构成;图像处理系统(B)由工业计算机(8)和现场可编辑门阵列(7)和(9)组成;控制系统及执行机构(C)包括管片拼装机控制系统(18)、管片拼装机姿态调整机构(19)、管片拼装机举升机构(20)和管片拼装机回转机构(21)。系统在工作时采集待装管片的图像并进行处理,根据管片位置算法得到待装管片的坐标信息,生成控制信号并待装管片进行抓取,从而自动完成待装管片定位及抓取工作。

Description

基于双目视觉的管片拼装机的管片定位及抓取系统
技术领域
本发明属机械工程技术领域,具体涉及一种盾构管片拼装机的双目视觉定位及抓取系统。
背景技术
管片拼装机是盾构机的重要子系统之一,当盾构掘进一个管片环的距离后,管片拼装机将预制的混凝土管片拼装成环,作为隧道的支护和盾构机前盾的支撑点。在拼装过程中,首先管片拼装机从盾构机后方的管片运输车上抓取管片,然后通过轴向平移、周向旋转和径向伸缩将管片进行粗定位,再通过横摇、俯仰和偏转进行姿态调整以实现精确定位。目前我国的工程实际中,管片拼装的整个过程都需要人工完成,这样不仅效率低下、不能保证统一的拼装质量,还容易产生危险。
由于目前的管片拼装机多可视为一多自由度的机器人,因此可将管片拼装作业简单理解为对于工件(待装管片)的定位、抓取、移动和放置过程。管片拼装机的视觉系统是实现管片拼装机自动工作的重要子系统之一。视觉系统使管片拼装机获取工作环境的图像以便辨识管片,并确定其位置,据此通过控制系统实现管片抓取和拼装等功能。如何借助机器视觉技术完成管片的定位工作是管片拼装自动化的首要研究内容。
机器视觉可按照系统中摄像头的数量分为单目视觉、双目视觉和多目视觉。双目视觉技术是通过分析多幅二维图像以获取物体的三维坐标,并且还能对三维物体进行识别。利用三角测量的原理,双目视觉通过两台摄像机获取及预处理环境和物体的数字图像,并校正和匹配特征点,最后进行深度信息的获取和三维重建。作为目前应用较为广泛的机器视觉系统之一,双目视觉系统利用两个摄像头即可完成目标物体的三维信息获取。其工作一般包括图像获取、摄像机校准、特征提取、立体匹配和三维信息恢复。
经文献查阅,目前国内外没有应用双目视觉相关技术的管片拼装机视觉系统。申请号为“201210021637.X”的专利公开了一种基于图像识别的管片拼装质量的智能检测系统及其检测方法,用于检测盾构隧道管片拼装质量。该系统通过USB(通用串行总线)摄像头搭建的智能检测系统实现了对管片拼装质量的检验,通过辨识管片和标识物的图像建立并加载模型,以对管片内径和错台量进行分析。但是此专利没有涉及到管片拼装时对管片的识别,无法实现管片拼装的自动作业,也就无法实现管片拼装机的自动化。
发明内容
本发明的目的是提供基于双目视觉的管片拼装机的管片定位及抓取系统,实现对待装管片的定位和抓取的功能。
本发明的上述目的可以通过以下技术方案实现,结合附图说明如下:
1、基于双目视觉的管片拼装机的管片定位及抓取系统,主要由图像获取系统A、图像处理系统B组成,并与控制系统及执行机构C相连;其中,图像获取系统A由右CCD(电荷耦合元件)传感器1、辅助光源2、支架3、左CCD传感器6构成;图像处理系统B由工业计算机8和两个现场可编辑门阵列9组成;控制系统及执行机构C包括管片拼装机控制系统18、管片拼装机姿态调整机构19、管片拼装机举升机构20和管片拼装机回转机构21;所述的图像获取系统A的CCD传感器1通过数据线和图像处理系统B中的现场可编程门阵列9连接,图像处理系统B的工业计算机8通过数据线和控制系统及执行机构C中管片拼装机控制系统21的硬件连接。
2、所述的图像获取系统A中,右CCD传感器1、左CCD传感器6、辅助光源2安装在支架3上;支架固定在举升横梁斜臂上,根据管片输送车和管片拼装机的初始位置调整CCD传感器的角度;辅助光源2安装在支架3侧面,采用平行光源,低角度照射方式。
3、所述的图像处理系统B中,两个现场可编程门阵列7和9各自构成一样的控制电路,分别连接在两个CCD传感器6和1上;其中,现场可编辑门阵列9的控制电路的PHY/LLC(物理层/逻辑链路控制)芯片4和右CCD传感器1连接,并与RAM(随机存取存储器)10、FLASH(闪存)17和PCI(外设互联标准)主控器11相连,控制程序和图像处理程序保存在FLASH芯片中,PCI主控器和工业计算机的PCI总线连接,在工作中对右CCD传感器1的图像进行采集和处理;现场可编程门阵列7的硬件布置及连接方式与现场可编程门阵列9的相同,对左CCD传感器6的图像进行处理,且现场可编程门阵列7和9的FLASH芯片中的预设程序相同。
4、所述的图像处理系统B中,对于已经获取的图像,管片的形心O′(Xd,Yd,Zd)的坐标可表示为:
X d = s x - 1 d x X f Y d = d y Y f Z d = r ′
式中,sx -1、dx、dy为摄像机内部常量,Xf、Yf为用图像灰度函数f(i,j)的一阶矩与其零阶矩的比值获得的X、Y轴坐标。r′为管片中心点O′距离隧道原点O的距离;
已知管片内径r,A、B、K型管片中心角为α、β、γ,可以算出r′:
Z PQ = 1 2 ( Z P + Z Q ) Z NM = 1 2 ( Z N + Z M ) r ′ = 1 2 ( Z PQ + Z NM ) + ( 1 - sin i 2 ) r      (i=α,β,γ)
式中,ZP、ZQ、ZN、ZM分别为管片内径表面四个角点的Z轴坐标值。
5、所述的基于双目视觉的管片拼装机的管片定位及抓取系统的工作过程可分为四个阶段:初始化、粗定位、精定位和抓取;其中,系统在开始工作前先进行初始化,初始化包括传感器标定和管片拼装机回到初始位置以及待装管片的到达预定位置;粗定位是通过调整管片拼装机轴向移动来获取具有完整待装管片的图像,消除初始化过程中可能出现的待装管片位置和管片拼装机初始位置的误差;精定位根据边缘的二值图像,进行图像匹配,得到视差图并进行深度还原,计算待装管片的坐标、管片拼装机轴向和周向需要运动的量和待装管片位置;抓取阶段是控制管片拼装机根据精定位阶段获取的管片拼装机控制量控制管片拼装机抓取待装管片的过程。
与现有技术相比本发明的有益效果是:
使待装管片定位及抓取工作可以自动完成,通过自动化操作,节约人力,避免人工操作的失误,有效提高操作精度,同时提高工作效率。另外,本发明提出的双目视觉系统结构简单,构成的闭环抓取控制系统的鲁棒性好。同时,对于管片图像的处理算法简单,运算速度快。
附图说明
图1是本发明的基于双目视觉的管片拼装机的管片定位系统框图;
图2是本发明的图像处理系统连接框图;
图3是本发明的各个坐标系示意图;
图4是本发明的待抓取管片的模型示意图;
图5是本发明的管片形状和安装形式示意图;
图6是本发明的系统定位抓取管片的工作流程图;
图7是本发明的CCD传感器安装位置正视图示意图;
图8是本发明的CCD传感器和支架安装位置侧视图示意图。
图中:1、CCD传感器;2、辅助光源;3、支架;4、集成PHY/LLC芯片;5、集成PHY/LLC芯片;6、CCD传感器;7、现场可编程门阵列;8、工业计算机;9、现场可编程门阵列;10、RAM;11、PCI主控器;12、PCI总线;13、RAM;14、FLASH;15、PCI主控器;16、真空压力开关;17、FLASAH;18、管片拼装机控制系统;19、管片拼装机姿态调整机构;20、管片拼装机举升机构;21、管片拼装机回转机构;22、螺旋输送机或泥水输送设备;23、管片拼装机行走梁;24、举升横梁斜臂;25、真空吸盘;26、待装管片;27、姿态调整油缸;28、举升油缸。
具体实施方式
下面结合附图进一步说明本发明的详细内容及其具体实施方式:
一、参阅图1,为基于双目视觉的管片拼装机的管片定位及抓取系统的整体示意图。其中,图像获取系统A的功能是对待装管片所在环境进行拍照,图像处理系统B的功能是对图像获取系统A拍摄的图像进行采集和处理,生成控制系统可以识别的输入信号,控制系统及执行机构C的功能根据图像处理系统B生成的信号及预设的算法生成管片拼装机各个执行机构的控制信号,对管片拼装机进行控制。
二、参阅图7和图8,进行图像获取系统A的安装,虚线框表示的是螺旋输送机或者泥水输送设备。参阅图2,进行图像处理系统B的连接。参阅图3、图7和图8,进行控制系统及执行机构C的布置。控制系统及执行机构C中,管片拼装机控制系统18与工业计算机8相连接,接受处理完成的管片位置信息,根据预设姿态角控制程序对管片拼装机姿态调整机构19、管片拼装机举升机构20和管片拼装机回转机构21进行控制。
三、参阅图6,基于双目视觉的管片拼装机的管片定位及抓取系统的工作过程可分为以下四个阶段:
阶段一、初始化
系统在开始工作前先进行初始化,初始化包括传感器标定和管片拼装机回到初始位置以及待装管片的到达预定位置。
在初始化工作和后续的图像处理过程中,需要规定相应的坐标系以便进行计算。如图3所示O-XYZ坐标系,X即隧道轴线,Y为水平方向,Z为竖直方向,O为隧道原点。按照此坐标方向规定此坐标系为世界坐标系(XW,YW,ZW)T。为方便处理,规定管片输送车预定的位置为隧道原点O,管片拼装机初始位置也在此点,并且在系统初始化时根据此点对各个传感器进行标定。
图像获取系统A的初始化过程中涉及到系统的标定和坐标转换,设右CCD传感器1的摄像机坐标系(XO,YO,ZO)T,左CCD传感器2的摄像机坐标系(XC,YC,ZC)T。令0T=[0,0,0]T,TO=[t1,t2,t3]T是隧道原点在全局视觉系统摄像机坐标系中的坐标,RO为一个3×3的正交矩阵,是全局视觉系统摄像机的外部参数。世界坐标系与摄像机坐标系关系如下:
X O T O Z O 1 = R O T O 0 T 1 X W Y W Z W 1
设(UO,VO)T为CCD传感器1的图像坐标系,CO为全局视觉系统的摄像机内部参数。右CCD传感器1图像坐标系与右CCD传感器1的摄像机坐标系关系如下:
U O V O 1 = C O X O Y O 1
同理,可以标定世界坐标系和左CCD传感器2的摄像机坐标系为:
X C Y C Z C 1 = R C T C 0 T 1 X W Y W Z W 1
其中0T=[0,0,0]T,TC=[t4,t5,t6]T是隧道原点在局部视觉系统摄像机坐标系中的坐标,RC为一个3×3的正交矩阵,是左CCD传感器2的摄像机外部参数。
设(UC,VC)T为左CCD传感器2图像坐标系,CC为左CCD传感器2的摄像机内部参数。左CCD传感器2图像坐标系与左CCD传感器2的摄像机坐标系关系如下:
U C V C 1 = C C X C Y C 1
根据系统初始化的标定,在世界坐标系中,右CCD传感器1位置CO(xO,yO,zO),左CCD传感器2位置CC(xC,yC,zC),取管片拼装机抓取机构的真空吸盘25的角点M′(xM′,yM′,zM′)、N′(xN′,yN′,zN′)、P′(x′P,y′P,z′P)和Q′(x′Q,y′Q,z′Q),中心位置O″。首先管片拼装机回到初始位置,初始位置即在标定时默认的待装管片输送位置,管片拼装机三坐标轴位移在次位置规定为零。此时举升油缸28收回并处于垂直位置,抓取机构也调整为初始位置M0′、N0′、P0′、Q0′。
阶段二、粗定位
粗定位是通过调整管片拼装机轴向(X向)移动来获取具有完整待装管片的图像,消除初始化过程中可能出现的待装管片位置和管片拼装机初始位置的误差。分为5步执行:
(1)工业计算机8通过火线(Firewire)给出开始信号,控制左右CCD传感器1和2拍摄待装管片,生成两路数字图像信号。
(2)两个集成PHY/LLC芯片4通过火线接口采集左右两路数字图像信号,并生成两幅数字图像。
(3)两个现场可编程门单元9各接收一幅数字图像,接收的触发命令采用FIFO(先入先出队列)方法。接收图像后,根据编译好的储存在FLASH17中的算法,对数字图像进行降噪和增强处理,并储存在RAM10中。
(4)PCI主控器检测到PCI总线空闲,将储存在RAM10中的两幅数字图像通过PCI总线发送给工业计算机8。
(5)工业计算机8根据预设算法对两幅图像进行边缘检测并将生成边缘的二值图像,进行行扫描和列扫描提取角点信息,并与预设值进行比对,若确定四个角点都在范围内则进入阶段三精定位,若有角点丢失的情况则根据预设算法调整管片拼装机轴向(X向)移动并重复阶段二的操作。
具体的,左右CCD传感器采集待装管片的图像,通过两个集成PHY/LLC芯片分别采集送至两个现场可编程门单元9,通信协议采用DCAM协议,两个可编程门单元9分别接收左右数字图像。
根据预设的程序,现场可编程门单元对左右两幅图像分别进行处理。在处理时,先将图像分成一定数量的方块,并生成与方块数量相等的CPU,对每个图像方块进行降噪和增强处理,过滤图像中的噪音,然后将降噪后的图像方块反序组装成原图像的降噪图像,储存在各自的RAM中。
PCI主控器按顺序检测PCI总线12的空闲,将滤波后的图像发送给工业计算机8。根据预设的算法,工业计算机8对两幅数字图像进行边缘检测处理。对图像采用阈值分割和形态学预算,得到管片边界图像并生成二值图像。对二值图像进行行扫描和列扫描,规定管片边界值为1、背景值为0,若图像的上边界有值为1,则认为管片拼装机应向X轴正向移动,移动距离为一个规定步长,规定步长根据正常工作时管片拼装机和管片输送车初始位置的极限偏差确定,重复此步骤直至管片拼装机可以获取两幅完整的待装管片的图像。边界的二值图像下、左、右边界按照同样的方式处理。
在定位过程中需要求取管片的形心O′的坐标(Xd,Yd,Zd),其中Z轴坐标即为形心O′到隧道原点O的距离r′,而X、Y轴坐标可以用图像灰度函数f(i,j)的一阶矩与其零阶矩的比值获得:
X f = m 10 m 00 Y f = m 01 m 00
式中, m pq = Σ x Σ y x p y q f ( i , j ) .
所以在考虑镜头失真情况下的管片的形心O′(Xd,Yd,Zd)的坐标可表示为:
X d = s x - 1 d x X f Y d = d y Y f Z d = r ′
式中,sx -1、dx、dy为摄像机内部常量,r′为管片中心点O′距离隧道原点O的距离,粗定位中只控制管片拼装机的轴向(X向)移动,所以r′在本步骤中暂不计算。
参阅图4,如前所述,在粗定位过程中,利用左右CCD传感器1和2获取点M(xM,yM,zM)、N(xN,yN,zN)、P(xP,yP,zP)、Q(xQ,yQ,zQ)位置,可以算出管片形心O′位置,若O′(Xd,Yd,Zd)满足直线OO″的位置,则姿态调整油缸27动作,使M′(xM′,yM′,zM′)、P′(x′P,y′P,z′P)的X、Y坐标对准M(xM,yM,zM)、P(xP,yP,zP)点对应坐标,实际真空吸盘小于管片尺寸,所以应使M(xM,yM,zM)、P(xP,yP,zP)点在X、Y方向上减去D、D′。若O′(Xd,Yd,Zd)满足直线OO″的位置,则算出OO′与O″绕O旋转的圆周交点O″′,通过O″和O″′计算管片拼装机需要旋转的角度φ,再使M′(xM′,yM′,zM′)、P′(x′P,y′P,z′P)的X、Y坐标对准M(xM,yM,zM)、P(xP,yP,zP)点对应坐标。
阶段三、精定位
精定位根据边缘的二值图像,进行图像匹配,得到视差图并进行深度还原,计算待装管片的坐标并发送给管片拼装机控制系统18,计算得到管片拼装机轴向(X向)和周向需要运动的量和待装管片Z向位置。
待装管片的形心O′(Xd,Yd,Zd)的坐标的计算方法可参照阶段二粗定位的相关方法,对于r′可由如下方法计算。
参阅图3,如图中M、N、P、Q点所示,通过图像处理可得P点坐标(xP,yP,zP)、N点坐标(xN,yN,zN)、M点坐标(xM,yM,zM)、Q点坐标(xQ,yQ,zQ)。参阅图5,已知管片内径r,A、B、K型管片中心角为α、β、γ,可以算出r′。参阅图4,其中的管片坐标可表示为:
Z PQ = 1 2 ( Z P + Z Q ) Z NM = 1 2 ( Z N + Z M ) r ′ = 1 2 ( Z PQ + Z NM ) + ( 1 - sin i 2 ) r      (i=α,β,γ)
参阅图5,为A、B、K型管片。
阶段四、抓取
管片拼装机控制系统18根据精定位得到的待装管片的三维位置信息,根据预设的算法,计算管片拼装机姿态调整机构19、管片拼装机举升机构20和管片拼装机回转机构21的控制信号,控制管片拼装机移动并抓取管片。若真空吸盘上的传感器未确认吸合,管片拼装机回初始位置并重复粗定位至抓取过程。当真空吸盘上的传感器确认吸盘吸合,表示抓取成功。
具体的,需要通过预设算法计算出需要举升的距离,即待装管片相对于抓取机构中心位置O″在Z向上差值Z′z,引导举升油缸28伸出,当真空吸盘25成功抓取待装管片26时,安装在真空吸盘25上的真空压力开关动作,管片抓牢,举升油缸28收回,定位抓取工作结束。
因为控制系统的输入信号为偏差量,所以不能将待装管片的三维信息或真空吸盘的三维信息直接输入控制系统,需要进行转化。6自由度管片拼装机6个动作为平移、偏转、升降、俯仰、横摇和偏转,对应的六个输入为X轴偏差、周向角度偏差、举升油缸位移偏差和微调机构姿态角偏差,由此可以得出平移油缸、偏转马达、举升油缸和微调机构3个油缸的控制信号。其中举升油缸位移偏差可以直接用上文所述的Z′z
X轴偏差可由测量计算得出:
Δ S i = x i - x O S ‾ = ΣΔ S i      (i=M,N,P,Q)
周向角度偏差和微调机构姿态角偏差可由测量计算得出。设此时O点为OC(xC,yC,zC),O′(xO′,yO′,zO′),O″(xO″,yO″,zO″),则可以算出Z轴姿态角偏差
同理可以算得其中若大于管片拼装机抓取机构姿态角设计值范围,则作为周向角度偏差,否则即为微调机构姿态角偏差。在使M′(xM′,yM′,zM′)、P′(x′P,y′P,z′P)的X、Y坐标对准M(xM,yM,zM)、P(xP,yP,zP)点对应坐标时,可类似的用作为向量,即可用同样的方法算出偏差的角度值。
四、实施例
本发明所述的基于双目视觉的管片拼装机的管片定位及抓取系统的实施例给出了该系统的实施过程,但本发明的保护范围不限于下述的实施例。
参阅图6,以一片待装管片26的抓取过程为例,说明本系统的工作过程:
1、系统初始化。
2、工业计算机8通过火线给出开始信号,控制左右CCD传感器1和2拍摄待装管片,生成两路数字图像信号。
3、两个集成PHY/LLC芯片4通过火线接口采集左右两路数字图像信号,并生成两幅数字图像。
4、两个现场可编程门单元9各接收一幅数字图像,接收的触发命令采用FIFO方法。接收图像后,根据编译好的储存在FLASH17中的算法,对数字图像进行降噪和增强处理,并储存在RAM10中。
5、PCI主控器检测到PCI总线空闲,将储存在RAM10中的两幅数字图像通过PCI总线发送给工业计算机8。
6、工业计算机8根据预设算法对两幅图像进行边缘检测并将生成边缘的二值图像,进行行扫描和列扫描提取角点信息,并与预设值进行比对,若确定四个角点都在范围内则执行步骤7,若有角点丢失的情况则根据预设算法调整管片拼装机轴向(X向)移动并重复此步骤。
7、根据边缘的二值图像,进行图像匹配,得到视差图并进行深度还原,并发送给管片拼装机控制系统18,计算得到管片拼装机轴向(X向)和周向需要运动的量和待装管片Z向位置。
8、管片拼装机控制系统18根据步骤7得到的待装管片的三维位置信息,根据预设的算法,计算管片管片拼装机姿态调整机构19、管片拼装机举升机构20和管片拼装机回转机构21的控制信号,控制管片机移动并抓取管片。
9、重复步骤6至步骤8,直至真空吸盘上的传感器确认吸盘吸合,管片成功抓取。
根据标准号为“GB50446-2008”的国家标准《盾构法隧道施工与验收规范》,相邻管片的径向错台量为5mm。而本发明根据具体传感器的分辨率、以及不同管片尺寸的不同,系统的精度可以达到1mm到0.1mm。因此本发明可以满足实际的工程需求,在后续拼装作业中也具有足够的精度。另外,本系统在工作时,图像处理为实时过程,耗时极短,管片拼装机的控制也是数字量化控制,精度较高。相较于传统人工观测-控制-观测的重复作业,在控制时间上具有明显的优势。

Claims (5)

1.基于双目视觉的管片拼装机的管片定位及抓取系统,其特征在于,主要由图像获取系统(A)、图像处理系统(B)组成,并与控制系统及执行机构(C)相连;其中,图像获取系统(A)由右CCD传感器(1)、辅助光源(2)、支架(3)、左CCD传感器(6)构成;图像处理系统(B)由工业计算机(8)和两个现场可编辑门阵列(9)组成;控制系统及执行机构(C)包括管片拼装机控制系统(18)、管片拼装机姿态调整机构(19)、管片拼装机举升机构(20)和管片拼装机回转机构(21);所述的图像获取系统(A)的CCD传感器(1)通过数据线和图像处理系统(B)中的现场可编程门阵列(9)连接,图像处理系统(B)的工业计算机(8)通过数据线和控制系统及执行机构(C)中管片拼装机控制系统(21)的硬件连接。
2.按照权利要求1所述的基于双目视觉的管片拼装机的管片定位系统,其特征在于,所述的图像获取系统(A)中,右电荷耦合元件CCD传感器(1)、左CCD传感器(6)、辅助光源(2)安装在支架(3)上;支架固定在举升横梁斜臂上,根据管片输送车和管片拼装机的初始位置调整CCD传感器的角度;辅助光源(2)安装在支架(3)侧面,采用平行光源,低角度照射方式。
3.按照权利要求1所述的基于双目视觉的管片拼装机的管片定位系统,其特征在于,所述的图像处理系统(B)中,两个现场可编程门阵列(7)和(9)各自构成一样的控制电路,分别连接在两个CCD传感器(6)和(1)上;其中,现场可编辑门阵列(9)的控制电路的物理层/逻辑链路控制芯片PHY/LLC(4)和右CCD传感器(1)连接,并与随机存取存储器RAM(10)、闪存FLASH(17)和外设互联标准PCI主控器(11)相连,控制程序和图像处理程序保存在FLASH芯片中,PCI主控器和工业计算机的PCI总线连接,在工作中对右CCD传感器(1)的图像进行采集和处理;现场可编程门阵列(7)的硬件布置及连接方式与现场可编程门阵列(9)的相同,对左CCD传感器(6)的图像进行处理,且现场可编程门阵列(7)和(9)的FLASH芯片中的预设程序相同。
4.按照权利要求1所述的基于双目视觉的管片拼装机的管片定位系统,其特征在于,所述的图像处理系统(B)中,对于已经获取的图像,管片的形心O′(Xd,Yd,Zd)的坐标可表示为:
X d = s x - 1 d x X f Y d = d y Y f Z d = r ′
式中,sx -1、dx、dy为摄像机内部常量,Xf、Yf为用图像灰度函数f(i,j)的一阶矩与其零阶矩的比值获得的X、Y轴坐标。r′为管片中心点O′距离隧道原点O的距离;
已知管片内径r,A、B、K型管片中心角为α、β、γ,可以算出r′:
Z PQ = 1 2 ( Z P + Z Q ) Z NM = 1 2 ( Z N + Z M ) r ′ = 1 2 ( Z PQ + Z NM ) + ( 1 - sin i 2 ) r      (i=α,β,γ)
式中,ZP、ZQ、ZN、ZM分别为管片内径表面四个角点的Z轴坐标值。
5.按照权利要求1所述的基于双目视觉的管片拼装机的管片定位系统,其特征在于,基于双目视觉的管片拼装机的管片定位及抓取系统的工作过程可分为四个阶段:初始化、粗定位、精定位和抓取;其中,系统在开始工作前先进行初始化,初始化包括传感器标定和管片拼装机回到初始位置以及待装管片的到达预定位置;粗定位是通过调整管片拼装机轴向移动来获取具有完整待装管片的图像,消除初始化过程中可能出现的待装管片位置和管片拼装机初始位置的误差;精定位根据边缘的二值图像,进行图像匹配,得到视差图并进行深度还原,计算待装管片的坐标、管片拼装机轴向和周向需要运动的量和待装管片位置;抓取阶段是控制管片拼装机根据精定位阶段获取的管片拼装机控制量控制管片拼装机抓取待装管片的过程。
CN201410252840.7A 2014-06-09 2014-06-09 基于双目视觉的管片拼装机的管片定位及抓取系统 Expired - Fee Related CN104018850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410252840.7A CN104018850B (zh) 2014-06-09 2014-06-09 基于双目视觉的管片拼装机的管片定位及抓取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410252840.7A CN104018850B (zh) 2014-06-09 2014-06-09 基于双目视觉的管片拼装机的管片定位及抓取系统

Publications (2)

Publication Number Publication Date
CN104018850A true CN104018850A (zh) 2014-09-03
CN104018850B CN104018850B (zh) 2016-06-29

Family

ID=51435809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410252840.7A Expired - Fee Related CN104018850B (zh) 2014-06-09 2014-06-09 基于双目视觉的管片拼装机的管片定位及抓取系统

Country Status (1)

Country Link
CN (1) CN104018850B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104234722A (zh) * 2014-09-20 2014-12-24 辽宁三三工业有限公司 盾构机管片拼装机抓取装置
CN104266591A (zh) * 2014-09-29 2015-01-07 樊晓莉 一种隧道内移动装置的移位检测方法
CN105134224A (zh) * 2015-09-04 2015-12-09 上海市机械施工集团有限公司 矩形盾构拼装机的控制方法
CN106926241A (zh) * 2017-03-20 2017-07-07 深圳市智能机器人研究院 一种基于视觉引导的双臂机器人装配方法及系统
CN107152295A (zh) * 2017-06-28 2017-09-12 中船重型装备有限公司 一种盾构管片拼装机用视觉平台自动抓取方法及系统
CN107449383A (zh) * 2017-09-22 2017-12-08 中国铁建重工集团有限公司 一种管片自动识别抓取装置及方法
CN107464262A (zh) * 2017-07-25 2017-12-12 中铁工程装备集团有限公司 一种基于进化图像处理的真空吸盘定位抓取系统
CN107489430A (zh) * 2017-09-22 2017-12-19 中国铁建重工集团有限公司 一种管片自动识别定位装置及方法
CN109555543A (zh) * 2019-02-01 2019-04-02 中国铁建重工集团有限公司 一种管片自动输送及识别系统
CN109695459A (zh) * 2018-12-07 2019-04-30 中建八局轨道交通建设有限公司 管片吊装工具及其使用方法
CN109736836A (zh) * 2019-01-22 2019-05-10 长沙理工大学 一种基于Tag码视觉测量的盾构机管片自动拼装方法
CN109826648A (zh) * 2019-04-22 2019-05-31 中国铁建重工集团有限公司 一种双目管片拼装识别系统及其拼装识别方法
CN109882215A (zh) * 2019-04-04 2019-06-14 中国铁建重工集团有限公司 一种管片拼装机的自动抓取系统及自动抓取方法
CN109917793A (zh) * 2019-04-15 2019-06-21 中国铁建重工集团有限公司 一种管片拼装机避障路径规划方法及装置
CN110018163A (zh) * 2019-04-09 2019-07-16 大连理工大学 基于机器视觉的管片拼装测量与控制系统和方法
CN110593885A (zh) * 2019-10-10 2019-12-20 中国铁建重工集团股份有限公司 一种包括管片拼装机的掘进设备
CN111366091A (zh) * 2020-03-20 2020-07-03 中铁十四局集团有限公司 确定待拼装管片错台的方法和系统
CN112065434A (zh) * 2020-10-12 2020-12-11 郑州轻工业大学 基于双目视觉技术的全自动低净空管片运输机及管片运输方法
CN112171657A (zh) * 2020-08-07 2021-01-05 天津大学 基于单目视觉的大尺寸长方体构件抓取装置及方法
CN112253168A (zh) * 2020-10-28 2021-01-22 中交天和机械设备制造有限公司 一种盾构机管片自动化拼装方法及装置
CN112610231A (zh) * 2020-12-09 2021-04-06 上海隧道工程有限公司 全自动盾构机管片拼装方法及系统
CN113250718A (zh) * 2021-06-08 2021-08-13 北京建工土木工程有限公司 基于自动巡航的管片智能化拼装系统及其拼装方法
CN113414566A (zh) * 2021-08-25 2021-09-21 江苏锦上装饰设计工程有限公司 通过视觉反馈实现主动定位的玻璃安装设备及系统
CN113443556A (zh) * 2021-06-28 2021-09-28 上海隧道工程有限公司 管片智能自动识别运输系统以及运输方法
CN114183167A (zh) * 2021-12-21 2022-03-15 中铁工程装备集团有限公司 管片自动抓取定位方法和管片自动拼装定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02308097A (ja) * 1989-05-23 1990-12-21 Hazama Gumi Ltd セグメント位置計測方法及びその自動組立て方法
JPH0497100A (ja) * 1990-08-13 1992-03-30 Hitachi Constr Mach Co Ltd セグメント自動組立時のセグメント位置姿勢検出方法
JPH04213699A (ja) * 1989-12-27 1992-08-04 Hitachi Constr Mach Co Ltd セグメント自動組立装置
CN102589443A (zh) * 2012-01-31 2012-07-18 华中科技大学 一种基于图像识别的管片拼装质量的智能检测系统及其检测方法
CN102879553A (zh) * 2012-09-21 2013-01-16 中铁隧道装备制造有限公司 混凝土挤压衬砌试验装置
CN103510963A (zh) * 2013-10-27 2014-01-15 吉林大学 基于多传感器信息融合的盾构机管片定位控制系统及控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02308097A (ja) * 1989-05-23 1990-12-21 Hazama Gumi Ltd セグメント位置計測方法及びその自動組立て方法
JPH04213699A (ja) * 1989-12-27 1992-08-04 Hitachi Constr Mach Co Ltd セグメント自動組立装置
JPH0497100A (ja) * 1990-08-13 1992-03-30 Hitachi Constr Mach Co Ltd セグメント自動組立時のセグメント位置姿勢検出方法
CN102589443A (zh) * 2012-01-31 2012-07-18 华中科技大学 一种基于图像识别的管片拼装质量的智能检测系统及其检测方法
CN102879553A (zh) * 2012-09-21 2013-01-16 中铁隧道装备制造有限公司 混凝土挤压衬砌试验装置
CN103510963A (zh) * 2013-10-27 2014-01-15 吉林大学 基于多传感器信息融合的盾构机管片定位控制系统及控制方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104234722A (zh) * 2014-09-20 2014-12-24 辽宁三三工业有限公司 盾构机管片拼装机抓取装置
CN104266591A (zh) * 2014-09-29 2015-01-07 樊晓莉 一种隧道内移动装置的移位检测方法
CN105134224A (zh) * 2015-09-04 2015-12-09 上海市机械施工集团有限公司 矩形盾构拼装机的控制方法
CN106926241A (zh) * 2017-03-20 2017-07-07 深圳市智能机器人研究院 一种基于视觉引导的双臂机器人装配方法及系统
CN107152295A (zh) * 2017-06-28 2017-09-12 中船重型装备有限公司 一种盾构管片拼装机用视觉平台自动抓取方法及系统
CN107464262A (zh) * 2017-07-25 2017-12-12 中铁工程装备集团有限公司 一种基于进化图像处理的真空吸盘定位抓取系统
CN107489430B (zh) * 2017-09-22 2019-11-22 中国铁建重工集团股份有限公司 一种管片自动识别定位装置及方法
CN107449383A (zh) * 2017-09-22 2017-12-08 中国铁建重工集团有限公司 一种管片自动识别抓取装置及方法
CN107489430A (zh) * 2017-09-22 2017-12-19 中国铁建重工集团有限公司 一种管片自动识别定位装置及方法
CN109695459B (zh) * 2018-12-07 2024-02-13 中建八局轨道交通建设有限公司 管片吊装工具及其使用方法
CN109695459A (zh) * 2018-12-07 2019-04-30 中建八局轨道交通建设有限公司 管片吊装工具及其使用方法
CN109736836A (zh) * 2019-01-22 2019-05-10 长沙理工大学 一种基于Tag码视觉测量的盾构机管片自动拼装方法
CN109736836B (zh) * 2019-01-22 2020-08-28 长沙理工大学 一种基于Tag码视觉测量的盾构机管片自动拼装方法
CN109555543B (zh) * 2019-02-01 2024-03-29 中国铁建重工集团股份有限公司 一种管片自动输送及识别系统
CN109555543A (zh) * 2019-02-01 2019-04-02 中国铁建重工集团有限公司 一种管片自动输送及识别系统
CN109882215A (zh) * 2019-04-04 2019-06-14 中国铁建重工集团有限公司 一种管片拼装机的自动抓取系统及自动抓取方法
CN109882215B (zh) * 2019-04-04 2020-06-30 中国铁建重工集团股份有限公司 一种管片拼装机的自动抓取系统及自动抓取方法
CN110018163A (zh) * 2019-04-09 2019-07-16 大连理工大学 基于机器视觉的管片拼装测量与控制系统和方法
CN109917793A (zh) * 2019-04-15 2019-06-21 中国铁建重工集团有限公司 一种管片拼装机避障路径规划方法及装置
CN109917793B (zh) * 2019-04-15 2022-07-08 中国铁建重工集团股份有限公司 一种管片拼装机避障路径规划方法及装置
CN109826648A (zh) * 2019-04-22 2019-05-31 中国铁建重工集团有限公司 一种双目管片拼装识别系统及其拼装识别方法
CN110593885A (zh) * 2019-10-10 2019-12-20 中国铁建重工集团股份有限公司 一种包括管片拼装机的掘进设备
CN111366091B (zh) * 2020-03-20 2021-11-09 中铁十四局集团有限公司 确定待拼装管片错台的方法和系统
CN111366091A (zh) * 2020-03-20 2020-07-03 中铁十四局集团有限公司 确定待拼装管片错台的方法和系统
CN112171657A (zh) * 2020-08-07 2021-01-05 天津大学 基于单目视觉的大尺寸长方体构件抓取装置及方法
CN112171657B (zh) * 2020-08-07 2023-06-27 天津大学 基于单目视觉的大尺寸长方体构件抓取装置及方法
CN112065434B (zh) * 2020-10-12 2021-07-02 郑州轻工业大学 基于双目视觉技术的全自动低净空管片运输机及管片运输方法
CN112065434A (zh) * 2020-10-12 2020-12-11 郑州轻工业大学 基于双目视觉技术的全自动低净空管片运输机及管片运输方法
CN112253168A (zh) * 2020-10-28 2021-01-22 中交天和机械设备制造有限公司 一种盾构机管片自动化拼装方法及装置
CN112610231A (zh) * 2020-12-09 2021-04-06 上海隧道工程有限公司 全自动盾构机管片拼装方法及系统
CN113250718A (zh) * 2021-06-08 2021-08-13 北京建工土木工程有限公司 基于自动巡航的管片智能化拼装系统及其拼装方法
CN113443556A (zh) * 2021-06-28 2021-09-28 上海隧道工程有限公司 管片智能自动识别运输系统以及运输方法
CN113414566A (zh) * 2021-08-25 2021-09-21 江苏锦上装饰设计工程有限公司 通过视觉反馈实现主动定位的玻璃安装设备及系统
CN113414566B (zh) * 2021-08-25 2021-11-16 江苏锦上装饰设计工程有限公司 通过视觉反馈实现主动定位的玻璃安装系统
CN114183167A (zh) * 2021-12-21 2022-03-15 中铁工程装备集团有限公司 管片自动抓取定位方法和管片自动拼装定位方法

Also Published As

Publication number Publication date
CN104018850B (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN104018850B (zh) 基于双目视觉的管片拼装机的管片定位及抓取系统
CN109035200B (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN109029257A (zh) 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
CN103198477B (zh) 一种采用苹果套袋机器人进行视觉定位的方法
CN107471218A (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN111536981B (zh) 一种嵌入式的双目非合作目标相对位姿测量方法
CN102567989A (zh) 基于双目立体视觉的空间定位方法
CN102937816A (zh) 摄像机预置位偏差校准方法及装置
CN104647390B (zh) 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
CN105217324A (zh) 一种新型的拆垛方法和系统
CN104034263A (zh) 一种锻件尺寸的非接触测量方法
CN111091076B (zh) 基于立体视觉的隧道限界数据测量方法
CN106204416B (zh) 全景泊车辅助系统及其广角图像调试方法和装置
CN109000557A (zh) 一种核燃料棒位姿自动识别方法
CN104268876A (zh) 基于分块的摄像机标定方法
CN104036541A (zh) 一种视觉测量中的快速三维重建方法
CN105913435A (zh) 一种适用于大区域的多尺度遥感影像匹配方法及系统
CN109931909A (zh) 一种基于无人机的海上风机塔柱状态巡检方法和装置
CN107092905A (zh) 一种电力巡检机器人的待识别仪器定位方法
CN103707300A (zh) 机械手装置
CN112045682A (zh) 一种固态面阵激光安装的标定方法
CN104614372B (zh) 一种太阳能硅片检测方法
CN104794680B (zh) 基于同一卫星平台的多相机图像镶嵌方法及装置
CN112419424B (zh) 一种枪球联动标定方法、装置及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160629

Termination date: 20170609

CF01 Termination of patent right due to non-payment of annual fee