CN114842079B - 盾构隧道内对预制中隔墙进行位姿测量的设备及方法 - Google Patents
盾构隧道内对预制中隔墙进行位姿测量的设备及方法 Download PDFInfo
- Publication number
- CN114842079B CN114842079B CN202210432377.9A CN202210432377A CN114842079B CN 114842079 B CN114842079 B CN 114842079B CN 202210432377 A CN202210432377 A CN 202210432377A CN 114842079 B CN114842079 B CN 114842079B
- Authority
- CN
- China
- Prior art keywords
- intermediate wall
- mechanical arm
- camera
- coordinate system
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 6
- 230000036544 posture Effects 0.000 claims description 23
- 238000009434 installation Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 10
- 238000005096 rolling process Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 17
- 238000004904 shortening Methods 0.000 abstract 1
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000009417 prefabrication Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于视觉测量领域，提供一种盾构隧道内对预制中隔墙进行位姿测量的设备及方法，安装好六自由度机械臂和主动型视觉相机；对主动型视觉相机内参进行标定，通过标定求得内参矩阵以及畸变系数；进行相机手眼标定，确定相机坐标系与世界坐标系之间的转换关系；通过控制六自由度机械臂运动，在中隔墙上不同的多个区域进行拍摄；并控制六自由度机械臂做平移运动，主动型视觉相机不断拍摄，得到中隔墙的位姿信息。本发明可提升预制中隔墙安装装备智能化水平，不再依靠人工对预制中隔墙进行对位，达到缩短工期、减小安全隐患。
Description
技术领域
本发明涉及机器视觉测量领域，尤其涉及一种盾构隧道内对预制中隔墙进行位姿测量的设备及方法。
背景技术
目前，我国铁路隧道建设规模和建设速度均位居世界前列。在施工方法方面，传统的暗挖法会带来作业环境差、功效差、施工风险高等影响。而通过将隧道内部结构部分预制或者全预制的方法在理论上可以大幅缩短工期，减少施工现场环境污染，同时构件的工厂化预制也提高了结构的质量指标。随着交通建设的不断发展进步，盾构隧道管片结构的预制拼装设计、生产与施工技术也迅速发展，推动了我国的铁路隧道的建设速度，提高了建设质量。
而在隧道预制结构的现场拼装环节，装备智能化程度普遍较低，配套装备适用性差，吊装设备尺寸过大，操作过程依赖人为因素较多，最终导致工作效率不高，严重制约着我国隧道建设的速度。同时，隧道施工现场环境也普遍较差，预制结构也动辄几十吨，采用以人工近距离操作装备以及工件对位的方法，也会对工作人员的身体健康甚至是生命安全带来隐患。在此背景下，提升预制结构安装装备的智能化水平也便成为了十分重要的研究方向。
中隔墙作为盾构隧道中的一个重要组成部分，安装中隔墙预制件的时间也占据着整个隧道建设工期的一大部分。中隔墙预制件具有外形尺寸大、自重沉、弱纹理等特点，现有方法是人工估计待安装中隔墙与目标位置之间的距离，引导吊装设备操作人员手动操作手柄，反复调整以靠近目标位置，不仅安装误差大、效率低、所需人工成本也非常高。对此如何快速、精确地测量待安装中隔墙的位置和姿态信息，是提升预制结构安装装备的智能化水平的关键，对提升隧道建设效率，提高建设质量，降低安全风险隐患有着重要意义。
发明内容
本发明的目的是提供一种盾构隧道内对预制中隔墙进行位姿测量的设备及方法，提高现有预制中隔墙安装装备的智能化程度，提供工作效率，减少对位误差。
本发明解决其技术问题，采用的技术方案是：
本发明首先提供了一种盾构隧道内对预制中隔墙进行位姿测量的设备，包括六自由度机械臂及主动型视觉相机，所述六自由度机械臂固定于预制中隔墙安装装置上，所述主动型视觉相机固定于六自由度机械臂末端法兰盘上；
所述六自由度机械臂，用于按规定路径沿平行于中隔墙的正表面进行移动；
所述主动型视觉相机，用于在六自由度机械臂在移动过程中在中隔墙上不同的区域拍摄点云图像，并基于点云图像计算中隔墙的实时位姿，完成基于图像的视觉伺服，并将传输至上位机系统。
作为优选，所述规定路径是指：
预先设置好的六自由度机械臂行进路径；
或六自由度机械臂及主动型视觉相机安装好后，主动型视觉相机拍摄当前场景图像，并基于当前场景图像计算出六自由度机械臂行进路径。
另外，本发明还提供了一种盾构隧道内对预制中隔墙进行位姿测量的方法，包括如下步骤：
步骤1.将六自由度机械臂安装在中隔墙安装装置上，将主动型视觉相机安装至机械臂末端的法兰盘上，安装后需保证相机与法兰盘之间不会发生相对运动；
步骤2.对主动型视觉相机内参采用张氏标定法进行标定，再通过标定求得内参矩阵以及畸变系数；
步骤3.通过点云配准的方法进行相机手眼标定，以确定相机坐标系与机械臂坐标系之间的转换关系矩阵；
步骤4.通过控制六自由度机械臂运动，在中隔墙上不同的多个区域进行拍摄，对得到的点云信息进行处理，并基于相机坐标系与机械臂坐标系之间的转换关系矩阵，得到中隔墙偏航角和俯仰角；
步骤5.控制六自由度机械臂做向中隔墙的一侧平移运动，同时主动型视觉相机不断拍摄，直到检测中隔墙边缘，基于相机坐标系与机械臂坐标系之间的转换关系矩阵，得到中隔墙翻滚角和位置信息，结合步骤4得到的中隔墙偏航角和俯仰角，得到中隔墙在机械臂坐标系下的位姿信息。
进一步的是，步骤2中，所述内参矩阵为：
其中，f/dx和f/dy分别表示相机在X轴和Y轴上的尺度因子，u0和v0分别表示像素平面坐标系下光轴与成像平面交点的横纵坐标值。
进一步的是，步骤2中，当求得内参矩阵后，设中隔墙表面上一点在相机坐标系下的坐标为(xi,yi,zi)，则其像素坐标用参数矩阵描述为：
在像素平面坐标系，将平面上像素坐标表示为[u,v]T,那么径向畸变由公式(3)进行矫正：
对于切向畸变，由公式(4)进行矫正：
联立公式(3)和(4),求解得到五个参数[k1,k2,k3,p1,p2]来纠正整个图像的畸变,即使用公式(5)对每个像素点位置进行矫正：
通过矫正相机畸变的公式(5)的作用对公式(2)中的结果进行矫正，矫正之后的坐标变为[ucorrected,vcorrected]T，其从像素平面转换到归一化的平面上。
进一步的是，步骤3具体步骤如下：
首先手动控制机械臂分别在不同的姿态下对参考物品进行拍摄，获取多个位姿的点云(通过步骤2中给出的内参矩阵得到)和对应机械臂的六维位姿(即机械臂末端姿态矩阵)；这里的点云是指由主动型视觉相机拍摄参考物体得到的在相机坐标系下的点的集合，用来表示参考物体在相机坐标系下的空间分布，获取的原始点云数据先经过公式(5)在u和v方向上进行校正，再通过公式(2)得到相机坐标系下的点的坐标。按照任意两组点云配对，构建多组机械臂不同姿态下点云图像对(记为L组)。
然后对任意两组点云Pl和Ql(l＝1,2，…，L)之间的坐标转换关系进行求解，求解步骤如下：
第一步，计算两组点云质心，用up和uq来变化，计算公式如下：
式中，pl,j表示点云Pl中第j点的三维坐标，ql,k表示点云Ql中第k点的三维坐标，j,k＝1,2,…,N，N表示两组点云数据中点数较少的数目；
第二步，对两组点云进行去质心：
p′l,j＝pl,j-up,q′l,k＝ql,k-uq (7)
第三步，构建矩阵H
第四步，对矩阵H进行SVD分解：
H＝UΣVT (9)
其中，U、V分别表示左右奇异矩阵，Σ表示对角矩阵。
第五步，通过公式(10)求得第l组两个点云之间的旋转矩阵Rl与平移矩阵Tl：
Rl＝VUT Tl＝μq-Rlμp (10)
第六步，按照公式(11)构建第l组两个点云之间的坐标转换矩阵：
循环如上第一步至第六步，计算多组机械臂不同姿态下所拍摄的点云图像(相机坐标系下坐标)之间的坐标转换矩阵。
利用多组点云图像之间的坐标转换矩阵，结合每张点云图像对应的机械臂末端姿态矩阵(机械臂末端姿态矩阵/>可从机械臂上位机直接获取)，再用最小二乘法拟合出相机坐标系与机械臂坐标系之间的转换关系矩阵：
进一步的是，步骤4中，首先对中隔墙上选取机械臂工作范围内的上、下、左、右以及中间五个区域A-E中的每个区域进行拍摄，基于步骤2得到相应的点云图像；再对拍摄的点云图像进行滑动窗口滤波作平滑处理；
然后对这一拍摄范围的点云坐标求平均：
B-E区域也同样做上述操作，得到Ac-Ec；
再基于步骤3得到的相机坐标系与机械臂坐标系之间的转换关系矩阵，得到Ac-Ec在机械臂坐标系下的坐标，然后对这五个点用最小二乘法进行拟合，得到中隔墙预制件在机械臂坐标系下的平面坐标：
aX+bY+cZ＝1 (14)
其中，a、b、c表示拟合系数。
可以进一步通过公式(15)获得中隔墙的偏航角θ偏航、俯仰角θ俯仰：
进一步的是，步骤5中，控制六自由度机械臂做向中隔墙的一侧平移运动，同时主动型视觉相机不断拍摄，直到检测中隔墙一侧上方或下方角点和边缘非角点的任意一点，并将两点转换到机械臂坐标系，记为[X1,Y1,Z1]和[X2,Y2,Z2]，通过公式(16)得到中隔墙翻滚角θ翻滚
进一步的是，用中隔墙一侧上方或下方角点位置表示中隔墙位置信息，再用公式(15)和公式(16)表示中隔墙姿态信息，得到中隔墙的位姿信息为：
其中
T中隔墙＝[X1,Y1,Z1]
而且，基于中隔墙的位姿信息，结合机械臂平移的距离及预先得知的中隔墙尺寸，可以得到机械臂坐标系下中隔墙其它位置的位姿信息。
进一步的是，不断重复步骤4和5，同时将检测到的中隔墙的位姿信息不断传输给上位机系统，上位机系统计算与预计安装位置之间的误差控制执行机构安装到位。
本发明的有益效果是，通过上述盾构隧道内对预制中隔墙进行位姿测量的设备及方法，本发明可提升预制中隔墙安装装备智能化水平，不再依靠人工对预制中隔墙进行对位，达到缩短工期、减小安全隐患。另外，本发明通过高精度标定方法以及姿态测量方法，可大大提高安装精度。另外，发明能够实现对预制中隔墙姿态的实时监测，可以使智能化安装设备连续高效工作，适于在本领域内推广使用。
附图说明
图1为本发明实施例1的盾构隧道内对预制中隔墙进行位姿测量的设备的使用场景图；
图2为本发明实施例1的系统框图；
图3为本发明实施例2的盾构隧道内对预制中隔墙进行位姿测量的方法的流程图；
其中，1表示盾构隧道，2表示预制中隔墙，3表示智能拼装设备平台，4表示六自由度机械臂，5表示主动型视觉相机，6表示中隔墙抓取机构。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
实施例1
本实施例提供的是一种盾构隧道内对预制中隔墙进行位姿测量的设备，其使用场景图见图1所示，其中，该设备包括六自由度机械臂4及主动型视觉相机5，六自由度机械臂4固定于预制中隔墙安装装置上，中隔墙安装装置即本实施例中的智能拼装设备平台3，主动型视觉相5固定于六自由度机械臂4末端法兰盘上。本实施例中主动型视觉相机5采用的是主动型双目相机。
这里，六自由度机械臂4，用于按规定路径沿平行于中隔墙2的正表面进行移动；主动型视觉相机5，用于在六自由度机械臂4在移动过程中在中隔墙2上不同的区域拍摄点云图像，并基于点云图像计算中隔墙的实时位姿，并与标准位置匹配，完成基于图像的视觉伺服，并将传输至上位机系统。
本实施例中，上述规定路径是指：
预先设置好的六自由度机械臂4行进路径；
或六自由度机械臂4及主动型视觉相机5安装好后，主动型视觉相机5拍摄当前场景图像，并基于当前场景图像计算出六自由度机械臂4行进路径。
本实施例以在盾构隧道1内安装一堵预制中隔墙为例，依靠本发明高精度检测中隔墙的位姿信息，用于中隔墙智能拼装设备平台3对中隔墙2的位置精调，系统框图如图2所示。
本实施例在实际应用时，首先完成对预制中隔墙2的特征区域的拍摄，然后进行点云信息处理，并计算预制中隔墙位姿，将中隔墙2位姿信息传输至上位机系统，上位机系统控制中隔墙抓取机构6移动中隔墙2至目标位置，完成中隔墙2的固定。本实施例具体包括以下步骤：
a、智能拼装设备平台3行进停止，完成驻车，进入微调状态；
b、六自由度机械臂4动作，打出结构光，主动型视觉相机5提取中隔墙点云信息；
c、基于中隔墙点云信息，计算中隔墙2实时位姿，并将位姿信息传输至上位机系统；
d、上位机系统计算中隔墙2实时位姿与标准位置之间误差，控制中隔墙抓取机构6完成基于图像的视觉伺服，完成对中隔墙2的对位和安装；
需要说明的是，在完成一堵预制中隔墙的安装作业后，智能拼装设备平台3会移动到一下处安装位置，重复上述步骤a-d，直至完成整个隧道中的预制中隔墙安装作业。
实施例2
本发明实施例提供的是一种盾构隧道内对预制中隔墙进行位姿测量的方法，其流程图见图3，其中，该方法包括如下步骤：
S1.将六自由度机械臂安装在中隔墙安装装置(这里即中隔墙智能拼装设备平台3)的主架上，将主动型视觉相机安装至机械臂末端的法兰盘上，安装后需保证相机与法兰盘之间不会发生相对运动。
S2.对主动型视觉相机的内参采用张氏标定法进行标定，再通过标定求得内参矩阵以及畸变系数；
这里，内参矩阵为：
其中，f/dx和f/dy分别表示相机在X轴和Y轴上的尺度因子，u0和v0分别表示像素平面坐标系下光轴与成像平面交点的横纵坐标值。
当求得内参矩阵后，设中隔墙表面上一点在相机坐标系下的坐标为(xi,yi,zi)，则其像素坐标用参数矩阵描述为：
在像素平面坐标系，将平面上的某一点p坐标表示为[u,v]T,那么径向畸变由公式(3)进行矫正：
对于切向畸变，由公式(4)进行矫正：
联立公式(3)和(4),求解得到五个参数[k1,k2,k3,p1,p2]来纠正整个图像的畸变,即使用公式(5)对每个像素点位置进行矫正：
通过矫正相机畸变的公式(5)的作用对公式(2)中的结果进行矫正，矫正之后的坐标变为[ucorrected,vcorrected]T，其从像素平面转换到归一化的平面上，且进一步提高了测量精度。
S3.通过点云配准的方法进行相机手眼标定，以确定相机坐标系与机械臂坐标系之间的转换关系矩阵；
该步骤具体为：
首先手动控制机械臂分别在不同的姿态下对参考物品进行拍摄，这里的点云是指由主动型视觉相机拍摄参考物体得到的在相机坐标系下的点的集合，用来表示参考物体在相机坐标系下的空间分布，获取的原始点云数据先经过公式(5)在u和v方向上进行校正，再通过公式(2)得到相机坐标系下的点的坐标。按照任意两组点云配对，构建多组机械臂不同姿态下点云图像对(记为L组)。
然后对任意两组点云Pl和Ql(l＝1,2，…，L)之间的坐标转换关系进行求解，求解步骤如下：
第一步，计算两组点云质心，用up和uq来变化，计算公式如下：
式中，pl,j表示点云Pl中第j点的三维坐标，ql,k表示点云Ql中第k点的三维坐标，j,k＝1,2,…,N，N表示两组点云数据中点数较少的数目；
第二步，对两组点云进行去质心：
p′l,j＝pl,j-up,q′l,k＝ql,k-uq (7)
第三步，构建矩阵H
第四步，对矩阵H进行SVD分解：
H＝UΣVT (9)
其中，U、V分别表示左右奇异矩阵，Σ表示对角矩阵；
第五步，通过公式(10)求得第l组两个点云之间的旋转矩阵Rl与平移矩阵Tl：
Rl＝VUT Tl＝μq-Rlμp (10)
第六步，按照公式(11)构建第l组两个点云之间的坐标转换矩阵：
循环如上第一步至第六步，计算多组机械臂不同姿态下所拍摄的点云图像(相机坐标系下坐标)之间的坐标转换矩阵；
利用多组点云图像之间的坐标转换矩阵，结合每张点云图像对应的机械臂末端姿态矩阵用最小二乘法拟合出相机坐标系与机械臂坐标系之间的转换关系矩阵：
S4.通过控制六自由度机械臂运动，在中隔墙上不同的多个区域进行拍摄，对得到的点云信息进行处理，并基于相机坐标系与机械臂坐标系之间的转换关系矩阵，得到中隔墙偏航角和俯仰角；
首先将中隔墙上选取机械臂工作范围按照上、下、左、右以及中间分为五个区域A-E，然后利用主动型视觉相机在每个区域进行拍摄，基于步骤2得到相应的点云图像；再对拍摄的点云图像进行滑动窗口滤波作平滑处理；
然后对这一拍摄范围的点云坐标求平均：
B-E区域也同样做上述操作，得到Ac-Ec；
再基于步骤3得到的相机坐标系与机械臂坐标系之间的转换关系矩阵，得到Ac-Ec在机械臂坐标系下的坐标，然后对这五个点用最小二乘法进行拟合，得到中隔墙预制件在机械臂坐标系下的平面坐标：
aX+bY+cZ＝1 (14)
其中，a、b、c表示拟合系数。
可以进一步通过公式(15)获得中隔墙的偏航角θ偏航、俯仰角θ俯仰：
进而，通过依据中隔墙的偏航角、俯仰角、以及中隔墙上特征点处X、Y、Z轴坐标来表征中隔墙位姿。
S5.控制六自由度机械臂做向中隔墙的一侧平移运动，同时主动型视觉相机不断拍摄，直到检测中隔墙边缘，基于相机坐标系与机械臂坐标系之间的转换关系矩阵，得到中隔墙翻滚角和位置信息，结合S4得到的中隔墙偏航角和俯仰角得到中隔墙在机械臂坐标系下的位姿信息。
本实施例中，控制六自由度机械臂做向左平移运动，同时主动型视觉相机不断拍摄，直到检测中隔墙左上方角点和左边缘非角点的任意一点，并基于相机坐标系与机械臂坐标系之间的转换关系矩阵，得到两点在机械臂坐标系下的坐标，记为[X1,Y1,Z1]和[X2,Y2,Z2]。通过公式(16)得到中隔墙翻滚角θ翻滚
然后用中隔墙左上方角点位置表示中隔墙位置信息，再用公式(15)和公式(16)表示中隔墙姿态信息，得到中隔墙的位姿信息为：
其中
T中隔墙＝[X1,Y1,Z1]
而且，基于中隔墙的位姿信息，结合机械臂平移的距离及预先得知的中隔墙尺寸，可以得到机械臂坐标系下中隔墙其它位置的位姿信息。
实际应用时，需要不断重复步骤S4和S5，同时将检测到的中隔墙的位姿信息不断传输给上位机系统，上位机系统计算与预计安装位置之间的误差控制执行机构安装到位。
Claims (10)
1.盾构隧道内对预制中隔墙进行位姿测量的方法，其特征在于，包括如下步骤：
步骤1.将六自由度机械臂安装在中隔墙安装装置上，将主动型视觉相机安装至机械臂末端的法兰盘上；
步骤2.对主动型视觉相机内参采用张氏标定法进行标定，再通过标定求得内参矩阵以及畸变系数；
步骤3.通过点云配准的方法进行相机手眼标定，以确定相机坐标系与机械臂坐标系之间的转换关系矩阵；
步骤4.通过控制六自由度机械臂运动，在中隔墙上不同的多个区域进行拍摄，对得到的点云信息进行处理，并基于相机坐标系与机械臂坐标系之间的转换关系矩阵，得到中隔墙偏航角和俯仰角；
步骤5.控制六自由度机械臂做向中隔墙的一侧平移运动，同时主动型视觉相机不断拍摄，直到检测中隔墙边缘，基于相机坐标系与机械臂坐标系之间的转换关系矩阵，得到中隔墙翻滚角和位置信息，结合步骤4得到的中隔墙偏航角和俯仰角，得到中隔墙在机械臂坐标系下的位姿信息。
2.根据权利要求1所述的盾构隧道内对预制中隔墙进行位姿测量的方法，其特征在于，步骤2中，所述内参矩阵为：
其中，f/dx和f/dy分别表示相机在X轴和Y轴上的尺度因子，u0和v0分别表示光轴与成像平面交点的横纵坐标值。
3.根据权利要求2所述的盾构隧道内对预制中隔墙进行位姿测量的方法，其特征在于，步骤2中，当求得内参矩阵后，设中隔墙表面上一点在相机坐标系下的坐标为(xi,yi,zi)，则其像素坐标用参数矩阵描述为：
在像素平面坐标系，将平面上的某一点p坐标表示为[u,v]T,那么径向畸变由公式(3)进行矫正：
对于切向畸变，由公式(4)进行矫正：
联立公式(3)和(4),求解得到五个参数[k1,k2,k3,p1,p2]来纠正整个图像的畸变,即使用公式(5)对每个像素点位置进行矫正：
通过矫正相机畸变的公式(5)的作用对公式(2)中的结果进行矫正，矫正之后的坐标变为[ucorrected,vcorrected]T。
4.根据权利要求1所述的盾构隧道内对预制中隔墙进行位姿测量的方法，其特征在于，步骤3具体步骤如下：
首先手动控制机械臂分别在不同的姿态下对参考物品进行拍摄，获取多个位姿的点云和对应机械臂的六维位姿；
然后对任意两组点云Pl和Ql之间的坐标转换关系进行求解，l＝1,2，…，L，求解步骤如下：
第一步，计算两组点云质心，用up和uq来变化，计算公式如下：
式中，pl,j表示点云Pl中第j点的三维坐标，ql,k表示点云Ql中第k点的三维坐标，j,k＝1,2,…,N，N表示两组点云数据中点数较少的数目；
第二步，对两组点云进行去质心：
p′l,j＝pl,j-up,q′l,k＝ql,k-uq (7)
第三步，构建矩阵H
第四步，对矩阵H进行SVD分解：
H＝UΣVT (9)
其中，U、V分别表示左右奇异矩阵，Σ表示对角矩阵；
第五步，通过公式(10)求得第l组两个点云之间的旋转矩阵Rl与平移矩阵Tl：
Rl＝VUT Tl＝μq-Rlμp (10)
第六步，按照公式(11)构建第l组两个点云之间的坐标转换矩阵：
循环如上第一步至第六步，计算多组机械臂不同姿态下所拍摄的点云图像之间的坐标转换矩阵；
利用多组点云图像之间的坐标转换矩阵，结合每张点云图像对应的机械臂末端姿态矩阵用最小二乘法拟合出相机坐标系与机械臂坐标系之间的转换关系矩阵：
5.根据权利要求1所述的盾构隧道内对预制中隔墙进行位姿测量的方法，其特征在于，首先对中隔墙上选取机械臂工作范围内的上、下、左、右以及中间五个区域A-E中的每个区域进行拍摄，基于步骤2得到相应的点云图像；再对拍摄的点云图像进行滑动窗口滤波作平滑处理；
然后对这一拍摄范围的点云坐标求平均：
B-E区域也同样做上述操作，得到Ac-Ec；
再基于步骤3得到的相机坐标系与机械臂坐标系之间的转换关系矩阵，得到Ac-Ec在机械臂坐标系下的坐标，然后对这五个点用最小二乘法进行拟合，得到中隔墙预制件在机械臂坐标系下的的平面坐标：
aX+bY+cZ＝1 (14)
其中，a、b、c表示拟合系数；
进一步通过公式(15)获得中隔墙的偏航角θ偏航、俯仰角θ俯仰：
6.根据权利要求5所述的盾构隧道内对预制中隔墙进行位姿测量的方法，其特征在于，步骤5中，控制六自由度机械臂做向中隔墙的一侧平移运动，同时主动型视觉相机不断拍摄，直到检测中隔墙一侧上方或下方角点和边缘非角点的任意一点，并将两点转换到机械臂坐标系，记为[X1,Y1,Z1]和[X2,Y2,Z2]通过公式(16)得到中隔墙翻滚角θ翻滚
进一步的是，用中隔墙一侧上方或下方角点位置表示中隔墙位置信息，再用公式(15)和公式(16)表示中隔墙姿态信息，得到中隔墙的位姿信息。
7.根据权利要求6所述的盾构隧道内对预制中隔墙进行位姿测量的方法，其特征在于，中隔墙的位姿信息为：
其中，
T中隔墙＝[X1,Y1,Z1]。
8.根据权利要求1-7任意一项所述的盾构隧道内对预制中隔墙进行位姿测量的方法，其特征在于，不断重复步骤4和5，同时将检测到的中隔墙的位姿信息不断传输给上位机系统，上位机系统计算与预计安装位置之间的误差控制执行机构安装到位。
9.盾构隧道内对预制中隔墙进行位姿测量的设备，其特征在于，包括六自由度机械臂及主动型视觉相机，所述六自由度机械臂固定于预制中隔墙安装装置上，所述主动型视觉相机固定于六自由度机械臂末端法兰盘上；
所述六自由度机械臂，用于按规定路径沿平行于中隔墙的正表面进行移动；
所述主动型视觉相机，用于在六自由度机械臂在移动过程中在中隔墙上不同的区域拍摄点云图像，并基于点云图像按照权利要求1至8任意一项所述方法计算中隔墙的实时位姿，完成基于图像的视觉伺服，并将中隔墙的实时位姿传输至上位机系统。
10.根据权利要求9所述的盾构隧道内对预制中隔墙进行位姿测量的设备，其特征在于，所述规定路径是指：
预先设置好的六自由度机械臂行进路径；
或六自由度机械臂及主动型视觉相机安装好后，主动型视觉相机拍摄当前场景图像，并基于当前场景图像计算出六自由度机械臂行进路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210432377.9A CN114842079B (zh) | 2022-04-23 | 2022-04-23 | 盾构隧道内对预制中隔墙进行位姿测量的设备及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210432377.9A CN114842079B (zh) | 2022-04-23 | 2022-04-23 | 盾构隧道内对预制中隔墙进行位姿测量的设备及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114842079A CN114842079A (zh) | 2022-08-02 |
| CN114842079B true CN114842079B (zh) | 2023-09-19 |
Family
ID=82566557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210432377.9A Active CN114842079B (zh) | 2022-04-23 | 2022-04-23 | 盾构隧道内对预制中隔墙进行位姿测量的设备及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842079B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115343299B (zh) * | 2022-10-18 | 2023-03-21 | 山东大学 | 一种轻量化公路隧道集成检测系统及方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108589979A (zh) * | 2018-05-28 | 2018-09-28 | 朱从兵 | 一种大空间机器人模块隔断吊顶装修方法及设备 |
| CN108724169A (zh) * | 2017-04-25 | 2018-11-02 | 无锡黎曼机器人科技有限公司 | 视觉导引汽车后隔板装配机器人 |
| CN208379839U (zh) * | 2018-05-28 | 2019-01-15 | 朱从兵 | 一种大空间机器人模块隔断吊顶装修设备 |
| CN109920006A (zh) * | 2019-01-21 | 2019-06-21 | 上海大学 | 一种青饲机自动抛送系统位姿变换矩阵的标定方法 |
| CN110666791A (zh) * | 2019-08-29 | 2020-01-10 | 江苏大学 | 一种基于深度学习的rgbd机器人看护系统及方法 |
| CN110948492A (zh) * | 2019-12-23 | 2020-04-03 | 浙江大学 | 一种基于深度学习的三维抓取平台和抓取方法 |
| CN111702772A (zh) * | 2020-06-04 | 2020-09-25 | 浙江和生荣智能科技有限公司 | 一种帮面自动引导涂胶方法及系统 |
| CN111791239A (zh) * | 2020-08-19 | 2020-10-20 | 苏州国岭技研智能科技有限公司 | 一种结合三维视觉识别可实现精确抓取的方法 |
| CN113210933A (zh) * | 2021-03-29 | 2021-08-06 | 德坤数字科技(江苏)有限公司 | 一种结构件自动拼焊生产单元 |
| CN113653504A (zh) * | 2021-08-18 | 2021-11-16 | 中铁隧道局集团有限公司 | 用于隧道内的中隔墙、其安装设备和安装方法 |
| CN113671150A (zh) * | 2021-07-16 | 2021-11-19 | 长安大学 | 可均匀增湿的组合式黄土地层盾构隧道施工全阶段试验装置 |
| CN113967070A (zh) * | 2020-07-23 | 2022-01-25 | 连俊文 | 机械臂控制方法和皮肤表面处理设备 |
| CN114092552A (zh) * | 2021-11-03 | 2022-02-25 | 西安航天精密机电研究所 | 一种基于固定端图像进行大型刚体构件对接的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9616569B2 (en) * | 2015-01-22 | 2017-04-11 | GM Global Technology Operations LLC | Method for calibrating an articulated end effector employing a remote digital camera |
-
2022
- 2022-04-23 CN CN202210432377.9A patent/CN114842079B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108724169A (zh) * | 2017-04-25 | 2018-11-02 | 无锡黎曼机器人科技有限公司 | 视觉导引汽车后隔板装配机器人 |
| CN108589979A (zh) * | 2018-05-28 | 2018-09-28 | 朱从兵 | 一种大空间机器人模块隔断吊顶装修方法及设备 |
| CN208379839U (zh) * | 2018-05-28 | 2019-01-15 | 朱从兵 | 一种大空间机器人模块隔断吊顶装修设备 |
| CN109920006A (zh) * | 2019-01-21 | 2019-06-21 | 上海大学 | 一种青饲机自动抛送系统位姿变换矩阵的标定方法 |
| CN110666791A (zh) * | 2019-08-29 | 2020-01-10 | 江苏大学 | 一种基于深度学习的rgbd机器人看护系统及方法 |
| CN110948492A (zh) * | 2019-12-23 | 2020-04-03 | 浙江大学 | 一种基于深度学习的三维抓取平台和抓取方法 |
| CN111702772A (zh) * | 2020-06-04 | 2020-09-25 | 浙江和生荣智能科技有限公司 | 一种帮面自动引导涂胶方法及系统 |
| CN113967070A (zh) * | 2020-07-23 | 2022-01-25 | 连俊文 | 机械臂控制方法和皮肤表面处理设备 |
| CN111791239A (zh) * | 2020-08-19 | 2020-10-20 | 苏州国岭技研智能科技有限公司 | 一种结合三维视觉识别可实现精确抓取的方法 |
| CN113210933A (zh) * | 2021-03-29 | 2021-08-06 | 德坤数字科技(江苏)有限公司 | 一种结构件自动拼焊生产单元 |
| CN113671150A (zh) * | 2021-07-16 | 2021-11-19 | 长安大学 | 可均匀增湿的组合式黄土地层盾构隧道施工全阶段试验装置 |
| CN113653504A (zh) * | 2021-08-18 | 2021-11-16 | 中铁隧道局集团有限公司 | 用于隧道内的中隔墙、其安装设备和安装方法 |
| CN114092552A (zh) * | 2021-11-03 | 2022-02-25 | 西安航天精密机电研究所 | 一种基于固定端图像进行大型刚体构件对接的方法 |
Non-Patent Citations (6)
| Title |
|---|
| Andreas ten Pas等.Using Geometry to Detect Grasp Poses in 3D Point Clouds--First Online.《Robotics Research》.2017,307–324. * |
| Dynamic predicition for attitude and position in shield tunneling: A deep learning method;Cheng Zhou等;《Automation in Construction 》;第105卷;1-16 * |
| 徐学.协作机器人三维视觉环境感知与路径规划算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2022,(第03期),I138-1059. * |
| 王秋爽等.基于改进OMP算法的喷涂机器人轨迹规划研究.《现代制造工程》.2021,(第12期),28-34. * |
| 盾构隧道内部中隔墙安装机智能化控制系统设计;王华等;《隧道建设（中英文）》;第43卷(第4期);698-710 * |
| 瞿双全.高速公路双连拱隧道中隔墙施工技术分析.《交通世界》.2021,169-170、174. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114842079A (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276806B (zh) | 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法 | |
| US9197810B2 (en) | Systems and methods for tracking location of movable target object | |
| CN113276106B (zh) | 一种攀爬机器人空间定位方法及空间定位系统 | |
| CN110370316B (zh) | 一种基于垂直反射的机器人tcp标定方法 | |
| CN107590835A (zh) | 一种核环境下机械臂工具快换视觉定位系统与定位方法 | |
| CN110900611A (zh) | 一种新型机械臂目标定位及路径规划方法 | |
| CN114842079B (zh) | 盾构隧道内对预制中隔墙进行位姿测量的设备及方法 | |
| CN107253190A (zh) | 一种高精度机器人手眼相机自动标定的装置及其使用方法 | |
| CN112894209A (zh) | 一种基于十字激光的管板智能焊接机器人自动平面校正方法 | |
| CN105843166B (zh) | 一种特型多自由度自动对接装置及其工作方法 | |
| CN102230758A (zh) | 一种自行火炮行进间跟踪稳定精度测试方法及装置 | |
| CN115042175A (zh) | 一种机器人机械臂末端姿态的调整方法 | |
| CN114092552A (zh) | 一种基于固定端图像进行大型刚体构件对接的方法 | |
| CN106840137B (zh) | 一种四点式掘进机自动定位定向方法 | |
| CN116374191B (zh) | 一种直升机尾梁自动安装方法及系统 | |
| CN112381881B (zh) | 一种基于单目视觉的大型刚体构件自动对接方法 | |
| CN117021087A (zh) | 一种基于视觉多点位姿约束的机器人运动学参数校准方法 | |
| CN114034205B (zh) | 一种箱体装填系统及装填方法 | |
| CN114643577B (zh) | 一种通用型机器人视觉自动标定装置和方法 | |
| CN110370272A (zh) | 一种基于垂直反射的机器人tcp标定系统 | |
| CN114942421A (zh) | 一种全向扫描的多线激光雷达自主定位装置及方法 | |
| CN114888501A (zh) | 一种基于三维重建的无示教编程建筑构件焊接装置及方法 | |
| CN117817667B (zh) | 一种基于svd分解法的机械臂末端姿态调整方法 | |
| CN220602436U (zh) | 组塔吊装施工吊件位姿感知装置 | |
| CN115082557B (zh) | 一种基于双目视觉的塔柱吊装相对姿态测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |