CN111502671A - 盾构激光标靶导向搭载双目相机的综合导向装置及方法 - Google Patents
盾构激光标靶导向搭载双目相机的综合导向装置及方法 Download PDFInfo
- Publication number
- CN111502671A CN111502671A CN202010310329.3A CN202010310329A CN111502671A CN 111502671 A CN111502671 A CN 111502671A CN 202010310329 A CN202010310329 A CN 202010310329A CN 111502671 A CN111502671 A CN 111502671A
- Authority
- CN
- China
- Prior art keywords
- shield
- coordinates
- coordinate system
- binocular camera
- laser target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D9/00—Tunnels or galleries, with or without linings; Methods or apparatus for making thereof; Layout of tunnels or galleries
- E21D9/003—Arrangement of measuring or indicating devices for use during driving of tunnels, e.g. for guiding machines
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D9/00—Tunnels or galleries, with or without linings; Methods or apparatus for making thereof; Layout of tunnels or galleries
- E21D9/06—Making by using a driving shield, i.e. advanced by pushing means bearing against the already placed lining
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
Abstract
本发明公开了一种盾构激光标靶导向搭载双目相机的综合导向装置及方法,包括如下步骤:S1,设定基准坐标系,检测前盾的初始绝对位姿和前盾上特征点的绝对位姿,将检测数据输入控制系统;S2,全站仪测量激光标靶导向系统的坐标,控制系统根据坐标和激光标靶导向系统与双目相机之间的坐标差计算双目相机的坐标;S3,双目相机实时拍摄特征点,控制系统对图像进行处理并通过坐标变换计算特征点的三维坐标;S4,根据特征点的起始坐标和当前实测坐标,计算前盾的相对位置转换关系的关键参数,根据前盾的起始位姿计算前盾运动后的位姿;S5,重复执行S2‑S4,推算前盾实时位姿。本发明测量结果精度较高,且不易受地下环境的影响。
Description
技术领域
本发明属于双护盾隧道掘进机技术领域,具体涉及一种盾构激光标靶导向搭载双目相机的综合导向装置及方法。
背景技术
盾构法隧道施工工艺由于安全性高、效率高、经济适用等优点,现在被广泛应用于现代城市地下隧道的施工。盾构法的主要原理是由盾构机在地下掘进时切割岩体完成挖掘,然后在盾尾拼接好管片并注浆成型,以此往复完成整个隧道的施工。但掘进机在地下前进的过程中,管节可能会受到土体的压力产生形变,进而导致掘进机的姿态发生变化,而确定掘进机在土体中的实时姿态是进行掘进施工导向的前提。
中国专利(申请号:CN2019101269747,专利名称:双护盾位置检测装置、检测方法、导向系统及导向方法),采用CCD相机拍摄前盾上特征点的坐标来计算定位前盾的坐姿,该种方法存在单个相机在掘进中拍摄精度不高,特征点定位时易受光线角度的影响,且计算过程中将后盾的坐标固定为基准来推导前盾的坐姿,没有考虑到掘进过程中前后盾坐姿间的相对误差造成的影响;中国专利(申请号:CN2015105664200,专利名称:应用于双护盾隧道掘进机的导向系统及定位方法)通过前盾上布置的感光靶接收激光束的入射角度来推算前盾的偏移量,而对前后盾的俯仰角和滚动角的测量则是通过倾斜仪测量,在掘进震动大时测量精度较差,且无法准确考虑到因土压造成的掘进机姿态的变化造成的影响。
综上所述,现有的测量方法难以有效地检测掘进机前盾在土体中的实时姿态和位置的全部信息,给施工时的导向带来了不便。
发明内容
针对现有掘进机的姿态测量方法不能有效检测双护盾掘进机中前盾在土体中的实际姿态和位置的全部信息,给施工时的导向带来了不便的技术问题,本发明提出了一种盾构激光标靶导向搭载双目相机的综合导向装置及方法,解决了在不宜进行直接测量的工况条件下依然可以通过激光标靶导向系统与机器视觉综合求解特征点的实时坐标。
为解决以上技术问题,本发明所采用的技术方案如下:
一种盾构激光标靶导向搭载双目相机的综合导向方法,包括以下步骤:
S1,设定基准坐标系,检测前盾的初始绝对位姿和前盾上的特征点的绝对位姿,并将检测数据输入控制系统;
S2,启动后盾内的激光标靶导向系统,由设置在激光标靶导向系统后方的全站仪对激光标靶导向系统进行坐标测量,控制系统根据激光标靶导向系统的坐标和激光标靶导向系统与后盾前部的双目相机之间的坐标差计算双目相机的坐标;
S3,双目相机对特征点进行实时追踪拍摄,控制系统对拍摄到的图像进行处理并通过坐标变换计算特征点的三维坐标;
S4,根据特征点的起始坐标和当前实测坐标,计算前盾的相对位置转换关系的关键参数,进而根据前盾的起始位姿计算前盾运动后的位姿;
S5,重复执行步骤S2-S4,根据特征点推算实时的前盾位姿。
在步骤S2中,所述双目相机的坐标的计算公式为:
Ob-XcYcZc=Ob-X2Y2Z2+ω;
式中,ω表示激光标靶导向系统与双目相机之间的坐标差,Ob-XcYcZc表示双目相机的坐标,Ob-X2Y2Z2表示激光标靶导向系统的坐标。
在步骤S3中,所述计算特征点的三维坐标包括如下步骤:
S3.1,双目相机的左右两个镜头分别对特征点进行拍摄,控制系统对所拍摄图片进行处理;
S3.2,控制系统从处理后的图片中提取包含特征点阈值的图片,并对图片进行增强处理;
S3.3,从增强处理后的图片中提取出特征点的质心像素,确定特征点的坐标;
S3.4,将特征点所在的大地坐标系与相机坐标系进行转换;
S3.5,将步骤S3.4所得的相机坐标系与特征点的图像坐标系进行转换;
S3.6,将步骤S3.5中所获得的图像坐标系与特征点的成像像素坐标系进行转换;
S3.7,根据大地坐标系、相机坐标系图像坐标系和成像像素坐标系之间的关系,求取盾构机掘进后特征点在大地坐标系下的三维坐标。
在步骤S3.4中,特征点所在的大地坐标系与双目相机的左镜头Cl的相机坐标系的转换表达式为:
式中,R表示3×3的旋转矩阵,tl为左镜头Cl的三维平移向量,(Xl,Yl,Zl)表示左镜头Cl在相机坐标系下的坐标,(X,Y,Z)表示特征点在大地坐标系下的三维坐标;
双目相机的右镜头Cr的相机坐标系与特征点所在的大地坐标系的转换表达式为:
式中,T表示三维平移矩阵,(Xr,Yr,Zr)表示右镜头Cr在相机坐标系下的坐标;
在步骤S3.5中,相机坐标系与特征点的图像坐标系的转换表达式为:
式中,f表示双目相机的成像焦距,(xu,yu,zu)表示特征点从相机坐标系转换为图像坐标系下的坐标,(Xl,Yl,Zl)表示特征点从大地坐标系转换为相机坐标系下的坐标;
在步骤S3.6中,图像坐标系与特征点的成像像素坐标系之间的转换表达式为:
式中,(u0,v0)表示图像坐标系的原点在成像像素坐标系下的坐标,(u,v)表示特征点在成像像素坐标系下的坐标,dx和dy分别表示每一列和每一行所代表单位坐标值。
在步骤S3.7中,特征点在大地坐标系下的三维坐标的表达式为:
式中,(ul,vl)和(ur,vr)分别表示特征点在双目相机的左右两个镜头中的齐次图像坐标,mjk l和mjk r分别表示任一特征点在双目相机的左右两个镜头的投影矩阵Ml和Mr中的各项元素,j表示投影矩阵Ml和Mr的行号,k表示投影矩阵Ml和Mr的列号。
在步骤S4中,所述盾构机相对位置转换关系是指盾构机转动过程中从起始位置到观测位置的转换,根据布尔莎模型求解关键参数,包括如下步骤:
S4.1,将特征点的起始坐标和当前实测坐标代入布尔沙模型,求解盾构机相对位置转换关系的关键参数;
S4.2,将步骤S4.1所求解的关键参数代入布尔沙模型得到新的布尔沙模型,将前盾的盾首和盾尾的起始坐标代入新的布尔沙模型,求解盾构机转动后前盾的盾首和盾尾的坐标;
S4.3,根据步骤S4.2所得的转动后的前盾的盾首和盾尾的坐标,求解前盾的姿态角。
在步骤S4.1中,所述布尔沙模型的表达式为:
式中,(Xe,Ye,Ze)表示特征点的起始坐标,(Xn,Yn,Zn)表示特征点的当前实测坐标,(Tx,Ty,Tz)表示位移参数,(ωx,ωy,ωz)表示旋转参数,k表示缩放因子;
所述盾构机相对位置转换关系的关键参数的求解表达式为:
式中,[Tx,Ty,Tz,ωx,ωy,ωz,k]为关键参数所形成的矩阵的转置矩阵;
在步骤S4.2中,所述新的布尔沙模型即为将计算出的关键参数代入布尔沙模型后所得到的表达式。
在步骤S4.3中,所述前盾的姿态角的求解表达式为:
式中,(x0,y0,z0)表示前盾的初始位姿,(α,β,γ)分别表示前盾的滚动角α、俯仰角β和水平角γ,(x,y,z)表示前盾盾首的中心坐标,(x1,y1,z1)表示激光标靶导向系统的中心坐标与前盾盾首的中心坐标之间的坐标差。
一种盾构激光标靶导向搭载双目相机的综合导向装置,包括设置在管片上的全站仪和后视棱镜,且后视棱镜设置在全站仪的后方,还包括激光标靶导向系统和双目相机,所述激光标靶导向系统设置在后盾内,双目相机设置在后盾的前部,且双目相机和激光标靶导向系统均朝向前盾的方向设置;所述前盾的后部设有位于双目相机共视区域内的若干特征点,且双目相机、激光标靶导向系统和全站仪均与控制系统相连接。
所述激光标靶导向系统包括壳体,所述壳体内设有用于显示入射激光聚焦光斑的激光成像单元和用于对激光成像单元拍照的相机;所述相机设置在激光成像单元的前方,且相机与控制系统电连接;所述激光成像单元包括感光屏和小孔光阑,所述感光屏设置在相机的后方,且感光屏的后方依次设有平凸透镜、小孔光阑和反射棱镜;所述平凸透镜设置在感光屏和小孔光阑之间,反射棱镜设置在小孔光阑的后方,且相机、感光屏、平凸透镜、小孔光阑和反射棱镜的中心均设置在同一水平线上。
所述反射棱镜的一端设有切口,且切口的方向朝向盾体的后方。
本发明的有益效果:
本发明在盾构机的前盾上布置若干数量的特征点通过双目相机和激光标靶导向系统相结合构成测量系统,利用后视棱镜和全站仪的精确坐标并通过双目相机的视觉定位跟踪系统实时识别和定位特征点,大大提高了对特征点定位的精度;以大地坐标系为基准,针对盾构中的大角度旋转引入布尔沙模型进行计算,考虑了前盾和后盾的坐姿实时变化的影响,计算出前盾转动后的特征点的坐标及前盾的实际位姿,测量结果精度较高、过程简单易行,工程实用性较强,且不易受到掘进过程中地下环境的影响;根据特征点与前盾和后盾的位置关系,完成了对前盾的高精度、高效率、自动化的测量,具有准确性较好、且能够自动补偿测量过程中产生的误差的特点;在掘进机长时间作业情况下,测量系统仍可以正常工作,不需要停工检修,大大提高了施工的效率和精度,降低了维护测量系统的人力及时间成本;通过对多个特征点的定位与误差纠正,避免了因个别特殊点造成的影响,提高了结果的准确性及可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明在盾构机上的分布示意图。
图3为本发明各结构的分布和连接示意图。
图4为双目相机的定位原理示意图。
图5为激光标靶导向系统的结构示意图。
图6为激光标靶导向系统和前盾在大地坐标系下的位置示意图。
图7为后盾与中轴线在大地坐标系下的位置示意图。
图8为图7的简化立体示意图。
图中,1为前盾,2为后盾,3为激光标靶导向系统,4为全站仪,5为双目相机,6为工控室,7为控制系统,8为交换机,9为主控室电台,10为平行光管,11为反射棱镜,12为小孔光阑,13为平凸透镜,14为感光屏,15为后视棱镜,16为特征点。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:一种盾构激光标靶导向搭载双目相机的综合导向装置,如图2和图3所示,包括设置在管片上的全站仪4和后视棱镜15,且后视棱镜15固定设置在全站仪4的后方,后视棱镜15用于对全站仪4进行目标定位;还包括激光标靶导向系统3和双目相机5,所述激光标靶导向系统3固定设置在后盾2内,且激光标靶导向系统3固定设置在全站仪4的前方,方便接收全站仪4发射的平行光束;后盾2也称支撑盾,后盾2的前部设有双目相机5,激光标靶导向系统3和双目相机5之间的距离固定,以便于后期根据激光标靶导向系统3的坐标位置推算双目相机5的坐标,且双目相机5和激光标靶导向系统3均朝向前盾1的方向设置,以便于通过双目相机5和激光标靶导向系统3综合测量前盾1的位姿;所述前盾1的后部设有若干个位于双目相机5共视区域内的特征点16,所述特征点16可以选择五个或者六个等,特征点16越多,测量的精度越高;双目相机5与设置在工控室6的控制系统7相连接,以便控制系统7接收双目相机5的信号。盾构机施工过程中,双目相机5不断对特征点16进行拍照,再由控制系统7负责对图片进行分析处理,以便于获得前盾1的实时位姿。本实施例中,所述特征点16的数量为五个;前盾1设置在后盾2的前部,前盾1通过油缸与后盾2相连接,后盾2通过推进油缸顶在管片上或者顶紧油缸顶紧隧道壁,起到施工时固定整机的作用,前盾1上配置有施工时切削土体的刀盘。
如图3所示,控制系统7通过交换机8与地面的监控设备相连接,地面监控设备为方便管理人员在地面上监视盾构设备而设立,可认为是地下系统界面通过网络在地面上的复制品;控制系统7与集中控制器相连接,集中控制器为激光标靶导向系统3的控制核心,是一台配备控制软件的工业电脑;所述集中控制器与主控室电台9相连接,主控室电台9通过串口与全站仪4通讯连接,进而控制全站仪4动作,且集中控制器与激光标靶导向系统3相连接。
所述激光标靶导向系统3包括壳体,所述壳体内设有用于显示入射激光聚焦光斑的激光成像单元和用于对激光成像单元拍照的相机;所述相机固定设置在激光成像单元的前方,且相机与控制系统7和全站仪4电连接;如图5所示,所述激光成像单元包括感光屏14和小孔光阑12,所述感光屏14设置在相机的后方,且感光屏14的后方依次固定设有平凸透镜13、小孔光阑12和反射棱镜11;所述平凸透镜13设置在感光屏14和小孔光阑12之间,反射棱镜11设置在小孔光阑12的后方,标靶3利用小孔成像技术在感光屏14上显示入射激光的聚焦光斑,相机对聚焦光斑进行拍照,以记录聚焦光斑的位置坐标;相机、感光屏14、平凸透镜13、小孔光阑12和反射棱镜11的中心均设置在同一水平线上,且与壳体的中心线位置重合,以利于激光的传播。全站仪4通过接收反射棱镜11反射的测距光测量全站仪4与激光标靶导向系统3的距离,可以实现对激光标靶导向系统3的定位。
所述反射棱镜11的一端设有切口,且切口的方向朝向盾体的后方,便于全站仪4发射的平行光束可以从切口依次穿过反射棱镜11、小孔光阑12和平凸透镜13,聚焦到感光屏14上形成聚焦光斑。
实施例2:一种盾构激光标靶导向搭载双目相机的综合导向方法,如图1所示,包括如下步骤:
S1,掘进开始前,首先设定基准坐标系,检测前盾1的初始绝对位姿和前盾1上的特征点16的绝对位姿,并将检测数据输入控制系统7;
前盾1的初始绝对位姿和各特征点的初始绝对位姿均由全站仪4通过人工操作方式测量获得,在盾构机中所有测量工作都必须有一个基准坐标系,一般情况下,激光标靶导向系统3在整个测量过程中可能会用到以下3种不同的坐标系,如零位坐标系、大地坐标系及偏差坐标系,零位坐标系用于确定测量有关的点的数据,包括激光标靶导向系统3在盾构机上的安装位置,测量控制点及参考点。为了便于监测盾构机的前盾1和后盾2的实时姿态变化,本实施例中,采用大地坐标系为基准坐标系,并将前盾坐标系设为Oa-XYZ,后盾坐标系为Ob-XYZ,大地坐标系为O-XYZ。
当需要测定激光标靶导向系统3与前盾1和后盾2之间的空间位置关系时,可以通过拟合圆的方法测量前盾1和后盾2各自的中心点坐标;在拟合中心点坐标时,选取的测量点越多所得出的结果越精确,一般选用5~10个测量点;本实施例中,所述特征点16设置在前盾1上,特征点16的数量为若干个,且所有特征点16均位于后盾2前部的双目相机5的共识区域内,以方便通过双目相机5对特征点16拍照。
S2,掘进开始时,启动后盾2内的激光标靶导向系统3,由设置在激光标靶导向系统3后方的全站仪4对激光标靶导向系统3进行坐标测量,控制系统7根据激光标靶导向系统3的坐标和激光标靶导向系统3与双目相机5之间的坐标差计算双目相机5的坐标;
如图3所示,首先操作全站仪4使其通过后视棱镜15进行自身定位,定位后设置全站仪4的水平垂直角度值,以使全站仪4的旋转镜头按照盾构方向搜索到反射棱镜11,一般情况下激光标靶导向系统3、全站仪4和后视棱镜15由前至后顺序设置,且三者设置在同一直线上,所以全站仪4的水平角与后视棱镜15相差180度,两者垂直角相一致;全站仪4发射激光到感光屏14上瞄准并锁定反射棱镜11,通过反射光可以获得激光标靶导向系统3的坐标;而激光标靶导向系统3固定设置在后盾2内,进而可以根据激光标靶导向系统3与后盾2中心点之间的距离,并通过坐标变换计算得出后盾2的中心点位姿和后盾2的滚动角α、俯仰角β和水平角γ。
由于激光标靶导向系统3与双目相机5之间的距离是固定的,因此两者之间的坐标差亦是固定的,所述双目相机5的坐标Ob-XcYcZc的表达式为:
Ob-XcYcZc=Ob-X2Y2Z2+ω;(1)
式中,ω表示激光标靶导向系统3与双目相机5之间的坐标差,Ob-X2Y2Z2表示激光标靶导向系统3的坐标。
S3,掘进过程中,双目相机5对特征点16进行实时追踪拍摄,控制系统7对拍摄到的图像进行处理并通过坐标变换获得特征点16的三维坐标;
由于盾构机在不断的向前掘进,因此前盾1的位置位姿会不断的发生变化,特征点16的三维坐标也会同步发生变化。如图4所示为双目相机5的成像定位原理,图中Cl、Cr分别为双目相机5的左右两个镜头,Ol、Or则为两个镜头的固定坐标系,Ml、Mr为任一特征点16在两个镜头上的成像点,且所述特征点位于OlMl与OrMr延长线的交点处,因此可以通过两个镜头的三维坐标系推导确定特征点16的唯一坐标位置。
一般情况下,在相机成像定位过程中,主要使用四个坐标系分别为大地坐标系、相机坐标系、图像坐标系与成像像素坐标系,由于双目相机5是固定在后盾2上的,因此可以将相机坐标系视为后盾坐标系Ob-XYZ平移了固定距离变换而成的。双目相机5对特征点16的定位是通过建立大地坐标系下的特征点16的三维坐标点到二维成像像素坐标系中特征点16的像素点之间的对应关系实现。
所述获得特征点16的三维坐标,包括如下步骤:
S3.1,特征点图片拍摄:双目相机5的左右两个镜头分别对特征点16拍摄成像,控制系统7对所拍摄图片进行截取,并对截取的图片进行黑白二值化处理,以得到图片的二值化矩阵。
S3.2,图像处理:对步骤S3.1中所得到的图片进行去噪滤波预处理和图像阈值分割,以将包含特征点阈值的部分提取出来,之后再对图片进行增强处理,以提高图片中特征点16的边界特征信息,便于后续的目标定位;
本实施例中,所述去噪滤波预处理的方法为opencv库进行blur均值滤波,图像阈值分割的方法为自适应阈值分割原理,将特征点的阈值范围设定为目标区域,无设定阈值范围内的区域为干扰区域;所述增强处理的方法为拉普拉斯算子的图像增强方法。
S3.3,特征点定位:将特征点16作为待提取目标,使用轮廓匹配方法,从图片中提取特征点16的质心像素,以确定特征点16的坐标;
步骤S3.3对步骤S3.2中处理后的图片目标区域进行findContours轮廓提取并与预先设定的特征点轮廓进行比对,当确定了特征点轮廓特征后,读取特征点16在双目相机5的左右镜头中的成像像素坐标,便于后续求取特征点16在大地坐标系下的坐标。
S3.4,将特征点16所在的大地坐标系与相机坐标系进行转换;
由于在对双目相机5定位目标点的三维坐标求解时,需要确保双目相机5的两个镜头均处于同一个空间坐标系中,本实施例以双目相机5的左镜头Cl为基准坐标系;
特征点16所在的大地坐标系与双目相机5的左镜头Cl的相机坐标系的转换表达式为:
式中,R表示3×3的旋转矩阵,tl表示左镜头Cl的三维平移向量,(Xl,Yl,Zl)表示左镜头Cl在相机坐标系下的坐标,(X,Y,Z)表示特征点16在大地坐标系下的三维坐标;
由于3×3的矩阵可以用来旋转或缩放坐标系,但不能移动坐标系,因此需要在四维空间切变以实现三维平移,因此,将式(2)转化为齐次矩阵;
所述齐次矩阵的表达式为:
双目相机5的右镜头Cr相对于左镜头Cl在大地坐标系下的表达式为:
式中,T表示三维平移矩阵,(Xr,Yr,Zr)表示右镜头Cr在相机坐标系下的坐标;
根据式(3)和式(4)可得右镜头Cr的相机坐标系与特征点16所在的大地坐标系的转换表达式为:
为了得到右镜头Cr与特征点16的大地坐标系的转换矩阵,化简式(5)可得:
式中,tr表示右镜头Cr的三维平移向量;
通过步骤S3.4可得出特征点16相对于双目相机5的左右两个镜头的成像位置关系,便于进行后续相机坐标系到图像坐标系的转换。
S3.5,将步骤S3.4所得的相机坐标系与特征点16的图像坐标系进行转换;
相机坐标系与特征点16的图像坐标系的转换表达式为:
式中,f表示双目相机5的成像焦距,(xu,yu,zu)表示特征点16从相机坐标系转换为图像坐标系下的坐标,(Xl,Yl,Zl)表示特征点16从大地坐标系转换为相机坐标系下的坐标;
将式(6)转化为齐次矩阵,对应的表达式为:
S3.6,对步骤S3.5中所获得的图像坐标系与特征点16的成像像素坐标系进行转换;
成像像素坐标系和图像坐标系都在成像平面上,且成像像素坐标系的原点为图像的左上角;
所述特征点16的成像像素坐标系的表达式为:
式中,(u0,v0)表示图像坐标系的原点在成像像素坐标系下的坐标,(u,v)表示特征点16在成像像素坐标系下的坐标,dx和dy分别表示每一列和每一行所代表单位坐标值;
为了便于后续的求解计算,将式(8)转化为齐次矩阵,对应的表达式为:
S3.7,根据大地坐标系、相机坐标系图像坐标系和成像像素坐标系之间的关系,求取特征点16的三维坐标;
根据式(4)、(5)、(7)和式(9)可得,特征点16的大地坐标系坐标到成像像素坐标系的映射关系表达式如下:
假定双目相机5的左右两个镜头所捕获任一特征点的投影矩阵分别为Ml和Mr,并对式(10)中的矩阵计算后与对应特征点的投影矩阵一一对应可得,
式中,(ul,vl)和(ur,vr)分别表示特征点16在双目相机5的左右两个镜头中的齐次图像坐标,Zcl和Zcr分别表示特征点16在相机坐标系下的Z坐标,mjk l和mjk r分别表示任一特征点16在左右两个镜头的投影矩阵Ml和Mr中的各项元素,j表示投影矩阵Ml和Mr的行号,k表示投影矩阵Ml和Mr的列号;
因为双目相机的左右两个镜头设置在同一水平线上,也就是每个特征点16在两个镜头中成像的z坐标是相同的,也就是Zcl=Zcr,根据式(11)和式(12),消去Zcl与Zcr可得:
由于式(13)和式(14)为三元四次方程组,因此这两个方程必有唯一解,即可采用最小二乘法优化求解出特征点16的盾构机运动后的三维坐标(X,Y,Z),以方便后期根据运动后的特征点16的三维坐标计算前盾1的位姿。
S4,根据特征点16的起始坐标和当前实测坐标,计算盾构机前盾1的相对位置转换关系的关键参数,进而根据前盾1的起始位姿计算前盾1运动后的位姿及对应偏差关系;
所述前盾1的相对位置转换关系是指盾构机掘进过程中前盾1从起始位置到观测位置的转换,本实施例,以空间解析几何原理及布尔莎(BURSA)模型为例计算关键参数,包括如下步骤:
S4.1,将特征点16的起始坐标和当前实测坐标代入布尔沙模型,求解盾构机相对位置转换关系的关键参数;
所述布尔沙模型的表达式为:
式中,(Xe,Ye,Ze)表示特征点16的起始坐标,(Xn,Yn,Zn)表示特征点16的当前实测坐标,(Tx,Ty,Tz)表示位移参数,(ωx,ωy,ωz)表示旋转参数,k表示缩放因子;
整理式(15)可得以下表达式:
所述关键参数矩阵R的表达式为:
为方便求解关键参数矩阵R中的七个参数值,将式(16)转换为方程组:
由于式(18)中有七个未知数,根据至少三个已知特征点的起始坐标和按照步骤S3中所计算出的对应的当前实测坐标代入式(18)即可求解出关键参数矩阵R中的七个参数值,将七个参数值再代入布尔沙模型即可得到新的布尔沙模型;另外,为了计算出高精度的关键参数矩阵R,可以选用至少五个特征点进行求解,再通过求取平均值的方式过滤掉测量误差,即可得出高精度的关键参数矩阵R。
S4.2,将前盾1的盾首和盾尾的起始坐标代入新的布尔沙模型,求解盾构机转动后前盾1的盾首和盾尾的坐标;
由于对于同一空间体内所有点的转换参数是一致的,因此将前盾1的盾首和盾尾的起始坐标代入新的布尔沙模型,即可求得转动后的前盾1的盾首和盾尾的坐标,以为后续计算相对偏差提供基础。
S4.3,如图6所示,根据步骤S4.2所得的转动后的前盾1的盾首和盾尾的坐标,求解前盾1的姿态角;
所述姿态角包括滚动角、俯仰角和水平角,通过对姿态角的监控可以防止盾构过转或者偏离轴线过大、发生纠偏困难,盾构机整体是一个机械装置具有一定的转弯或者转动的能力和极限,过转会对设备造成损害、产生事故;
所述姿态角的求解表达式为:
式中,(x0,y0,z0)表示前盾1的初始位姿,(α,β,γ)分别表示前盾1的滚动角α、俯仰角β和水平角γ,(x,y,z)表示前盾1的盾首的中心坐标,(x1,y1,z1)表示激光标靶导向系统(3)的中心坐标与前盾1的盾首中心坐标之间的坐标差;
通过前盾1的姿态角可以实时监控前盾1的位置,为盾构机的掘进参数的设置和掘进状况跟进提供参考;
另外,还可以根据盾构机转动前后前盾1和后盾2的盾首和盾尾的坐标,计算前盾1的盾首和盾尾的相对偏差关系,通过与整条隧道设计的中轴线(即Designed Tunnel Axis,简称DTA,DTA为一连串的设计规划点)对比,先用中轴线的轴线坐标计算出轴线方法,将盾构机的坐标往中轴线上做垂线,垂线段值即为盾构机相对于中轴线的相对偏差,相对偏差值与标准值作比较,若保证相对偏差值小于标准值,即可保证盾构机不偏离中轴线掘进,进而确保盾构机隧道施工的质量;
如图7-8所示,C表示将后盾中心O在中轴线上的垂足,A和B表示与C最近的中轴线上的两个离散点,后盾中心O与实际掘进线路的水平相对偏差OCh根据以下公式计算:
OCh=AC×Sina;
式中,a表示AC与AO之间的夹角,AC表示离散点A与垂足C之间的距离;
式中,Xc和Yc表示垂足C的横坐标和纵坐标,Xa和Ya表示离散点A的横坐标和纵坐标,Xb和Yb为离散点B的横坐标和纵坐标;
同理,也还可以计算垂直相对偏差,根据垂直相对偏差和水平相对偏差可以判断出盾构机的掘进状况,进而为掘进参数的调整提供参考。
S5,重复执行步骤S2-S4,根据推进时实时变化的特征点坐标推算实时的前盾位姿,以实现对前盾1的实时位姿监控,防止盾构施工偏离隧道设计的中轴线。
在掘进过程中,双目相机5实时拍摄定位的目标包含所有的特征点16,对每一个特征点16进行定位并求解出特征点16的三维坐标后,将多个推算得出的前盾位姿进行处理与误差纠正,以此来避免特征点数据异常或损坏造成的影响,并能够提高得出的前盾位姿准确率及可靠性。因此安装越多的特征点16,在误差补偿计算中所确定的精度就越高。
本实施例中,所述控制系统7为工控机。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种盾构激光标靶导向搭载双目相机的综合导向方法,其特征在于,包括如下步骤:
S1,设定基准坐标系,检测前盾(1)的初始绝对位姿和前盾(1)上的特征点(16)的绝对位姿,并将检测数据输入控制系统(7);
S2,启动后盾(2)内的激光标靶导向系统(3),由设置在激光标靶导向系统(3)后方的全站仪(4)对激光标靶导向系统(3)进行坐标测量,控制系统(7)根据激光标靶导向系统(3)的坐标和激光标靶导向系统(3)与后盾(2)前部的双目相机(5)之间的坐标差计算双目相机(5)的坐标;
S3,双目相机(5)对特征点(16)进行实时追踪拍摄,控制系统(7)对拍摄到的图像进行处理并通过坐标变换计算特征点(16)的三维坐标;
S4,根据特征点(16)的起始坐标和当前实测坐标,计算前盾(1)的相对位置转换关系的关键参数,进而根据前盾(1)的起始位姿计算前盾(1)运动后的位姿;
S5,重复执行步骤S2-S4,根据特征点(16)推算实时的前盾位姿。
2.根据权利要求1所述的盾构激光标靶导向搭载双目相机的综合导向方法,其特征在于,在步骤S2中,所述双目相机(5)的坐标的计算公式为:
Ob-XcYcZc=Ob-X2Y2Z2+ω;
式中,ω表示激光标靶导向系统(3)与双目相机(5)之间的坐标差,Ob-XcYcZc表示双目相机(5)的坐标,Ob-X2Y2Z2表示激光标靶导向系统(3)的坐标。
3.根据权利要求1或2所述的盾构激光标靶导向搭载双目相机的综合导向方法,其特征在于,在步骤S3中,所述计算特征点(16)的三维坐标包括如下步骤:
S3.1,双目相机(5)的左右两个镜头分别对特征点(16)进行拍摄,控制系统(7)对所拍摄图片进行处理;
S3.2,控制系统(7)从处理后的图片中提取包含特征点阈值的图片,并对图片进行增强处理;
S3.3,从增强处理后的图片中提取出特征点(16)的质心像素,确定特征点(16)的坐标;
S3.4,将特征点(16)所在的大地坐标系与相机坐标系进行转换;
S3.5,将步骤S3.4所得的相机坐标系与特征点(16)的图像坐标系进行转换;
S3.6,将步骤S3.5中所获得的图像坐标系与特征点(16)的成像像素坐标系进行转换;
S3.7,根据大地坐标系、相机坐标系图像坐标系和成像像素坐标系之间的关系,求取盾构机掘进后特征点(16)在大地坐标系下的三维坐标。
4.根据权利要求3所述的盾构激光标靶导向搭载双目相机的综合导向方法,其特征在于,在步骤S3.4中,特征点(16)所在的大地坐标系与双目相机(5)的左镜头Cl的相机坐标系的转换表达式为:
式中,R表示3×3的旋转矩阵,tl为左镜头Cl的三维平移向量,(Xl,Yl,Zl)表示左镜头Cl在相机坐标系下的坐标,(X,Y,Z)表示特征点(16)在大地坐标系下的三维坐标;
双目相机(5)的右镜头Cr的相机坐标系与特征点(16)所在的大地坐标系的转换表达式为:
式中,T表示三维平移矩阵,(Xr,Yr,Zr)表示右镜头Cr在相机坐标系下的坐标;
在步骤S3.5中,相机坐标系与特征点(16)的图像坐标系的转换表达式为:
式中,f表示双目相机(5)的成像焦距,(xu,yu,zu)表示特征点(16)从相机坐标系转换为图像坐标系下的坐标,(Xl,Yl,Zl)表示特征点(16)从大地坐标系转换为相机坐标系下的坐标;
在步骤S3.6中,图像坐标系与特征点(16)的成像像素坐标系之间的转换表达式为:
式中,(u0,v0)表示图像坐标系的原点在成像像素坐标系下的坐标,(u,v)表示特征点(16)在成像像素坐标系下的坐标,dx和dy分别表示每一列和每一行所代表单位坐标值。
6.根据权利要求1或5所述的盾构激光标靶导向搭载双目相机的综合导向方法,其特征在于,在步骤S4中,所述盾构机相对位置转换关系是指盾构机转动过程中从起始位置到观测位置的转换,根据布尔莎模型求解关键参数,包括如下步骤:
S4.1,将特征点(16)的起始坐标和当前实测坐标代入布尔沙模型,求解盾构机相对位置转换关系的关键参数;
S4.2,将步骤S4.1所求解的关键参数代入布尔沙模型得到新的布尔沙模型,将前盾(1)的盾首和盾尾的起始坐标代入新的布尔沙模型,求解盾构机转动后前盾(1)的盾首和盾尾的坐标;
S4.3,根据步骤S4.2所得的转动后的前盾(1)的盾首和盾尾的坐标,求解前盾(1)的姿态角。
9.一种盾构激光标靶导向搭载双目相机的综合导向装置,包括设置在管片上的全站仪(4)和后视棱镜(15),且后视棱镜(15)设置在全站仪(4)的后方,其特征在于,还包括激光标靶导向系统(3)和双目相机(5),所述激光标靶导向系统(3)设置在后盾(2)内,双目相机(5)设置在后盾(2)的前部,且双目相机(5)和激光标靶导向系统(3)均朝向前盾(1)的方向设置;所述前盾(1)的后部设有位于双目相机(5)共视区域内的若干特征点(16),且双目相机(5)、激光标靶导向系统(3)和全站仪(4)均与控制系统(7)相连接。
10.根据权利要求9所述的盾构激光标靶导向搭载双目相机的综合导向装置,其特征在于,所述激光标靶导向系统(3)包括壳体,所述壳体内设有用于显示入射激光聚焦光斑的激光成像单元和用于对激光成像单元拍照的相机;所述相机设置在激光成像单元的前方,且相机与控制系统(7)电连接;所述激光成像单元包括感光屏(14)和小孔光阑(12),所述感光屏(14)设置在相机的后方,且感光屏(14)的后方设有平凸透镜(13)、小孔光阑(12)和反射棱镜(11);所述平凸透镜(13)设置在感光屏(14)和小孔光阑(12)之间,反射棱镜(11)设置在小孔光阑(12)的后方,且相机、感光屏(14)、平凸透镜(13)、小孔光阑(12)和反射棱镜(11)的中心均设置在同一水平线上。
11.根据权利要求9或10所述的盾构激光标靶导向搭载双目相机的综合导向装置,其特征在于,所述反射棱镜(11)的一端设有切口,且切口的方向朝向盾体的后方。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010310329.3A CN111502671B (zh) | 2020-04-20 | 2020-04-20 | 盾构激光标靶导向搭载双目相机的综合导向装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010310329.3A CN111502671B (zh) | 2020-04-20 | 2020-04-20 | 盾构激光标靶导向搭载双目相机的综合导向装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111502671A true CN111502671A (zh) | 2020-08-07 |
CN111502671B CN111502671B (zh) | 2022-04-22 |
Family
ID=71869426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010310329.3A Active CN111502671B (zh) | 2020-04-20 | 2020-04-20 | 盾构激光标靶导向搭载双目相机的综合导向装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111502671B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111879314A (zh) * | 2020-08-10 | 2020-11-03 | 中国铁建重工集团股份有限公司 | 一种多传感器融合的巷道掘进装备实时定位系统和方法 |
CN112683163A (zh) * | 2020-12-03 | 2021-04-20 | 中国科学院光电技术研究所 | 一种适用于视觉测量相机的绝对位姿测量精度评估方法 |
CN112964236A (zh) * | 2021-02-07 | 2021-06-15 | 中铁工程装备集团有限公司 | 一种用于竖井掘进机的激光导向系统及其导向方法 |
CN113006811A (zh) * | 2021-03-19 | 2021-06-22 | 中铁工程装备集团有限公司 | 复合破岩施工方法 |
CN113048955A (zh) * | 2021-02-02 | 2021-06-29 | 中铁十二局集团第七工程有限公司 | 基于激光位姿靶和机器视觉的特定空间测量方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
CN102135766A (zh) * | 2011-01-04 | 2011-07-27 | 北京林业大学 | 自主作业林业机器人平台 |
CN103522291A (zh) * | 2013-10-29 | 2014-01-22 | 中国人民解放军总装备部军械技术研究所 | 一种排爆机器人的目标抓取系统及方法 |
CN204302569U (zh) * | 2014-12-04 | 2015-04-29 | 西安西光威信光电有限公司 | 具有测距功能的双目光学仪器 |
US20180093303A1 (en) * | 2011-08-05 | 2018-04-05 | Gui Global Products, Ltd. | Apparatus for cleaning view screens and lenses and method for the use thereof |
CN108225258A (zh) * | 2018-01-09 | 2018-06-29 | 天津大学 | 基于惯性单元和激光跟踪仪动态位姿测量装置和方法 |
CN108920996A (zh) * | 2018-04-10 | 2018-11-30 | 泰州职业技术学院 | 一种基于机器人视觉的小目标检测方法 |
CN110288653A (zh) * | 2019-07-15 | 2019-09-27 | 中国科学院深圳先进技术研究院 | 一种多角度超声图像融合方法、系统及电子设备 |
CN110513116A (zh) * | 2019-09-30 | 2019-11-29 | 西南石油大学 | 一种隧道顶进施工导向的监测装置及监测方法 |
CN110514114A (zh) * | 2019-07-30 | 2019-11-29 | 江苏海事职业技术学院 | 一种基于双目视觉的微小目标空间位置标定方法 |
CN110765922A (zh) * | 2019-10-18 | 2020-02-07 | 华南理工大学 | 一种agv用双目视觉物体检测障碍物系统 |
-
2020
- 2020-04-20 CN CN202010310329.3A patent/CN111502671B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
CN102135766A (zh) * | 2011-01-04 | 2011-07-27 | 北京林业大学 | 自主作业林业机器人平台 |
US20180093303A1 (en) * | 2011-08-05 | 2018-04-05 | Gui Global Products, Ltd. | Apparatus for cleaning view screens and lenses and method for the use thereof |
CN103522291A (zh) * | 2013-10-29 | 2014-01-22 | 中国人民解放军总装备部军械技术研究所 | 一种排爆机器人的目标抓取系统及方法 |
CN204302569U (zh) * | 2014-12-04 | 2015-04-29 | 西安西光威信光电有限公司 | 具有测距功能的双目光学仪器 |
CN108225258A (zh) * | 2018-01-09 | 2018-06-29 | 天津大学 | 基于惯性单元和激光跟踪仪动态位姿测量装置和方法 |
CN108920996A (zh) * | 2018-04-10 | 2018-11-30 | 泰州职业技术学院 | 一种基于机器人视觉的小目标检测方法 |
CN110288653A (zh) * | 2019-07-15 | 2019-09-27 | 中国科学院深圳先进技术研究院 | 一种多角度超声图像融合方法、系统及电子设备 |
CN110514114A (zh) * | 2019-07-30 | 2019-11-29 | 江苏海事职业技术学院 | 一种基于双目视觉的微小目标空间位置标定方法 |
CN110513116A (zh) * | 2019-09-30 | 2019-11-29 | 西南石油大学 | 一种隧道顶进施工导向的监测装置及监测方法 |
CN110765922A (zh) * | 2019-10-18 | 2020-02-07 | 华南理工大学 | 一种agv用双目视觉物体检测障碍物系统 |
Non-Patent Citations (2)
Title |
---|
BETTER-CALL-SOUL: "《CSDN》", 16 July 2018 * |
杨文辉: "双护盾硬岩隧道掘进机导向系统关键技术研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111879314A (zh) * | 2020-08-10 | 2020-11-03 | 中国铁建重工集团股份有限公司 | 一种多传感器融合的巷道掘进装备实时定位系统和方法 |
CN111879314B (zh) * | 2020-08-10 | 2022-08-02 | 中国铁建重工集团股份有限公司 | 一种多传感器融合的巷道掘进装备实时定位系统和方法 |
CN112683163A (zh) * | 2020-12-03 | 2021-04-20 | 中国科学院光电技术研究所 | 一种适用于视觉测量相机的绝对位姿测量精度评估方法 |
CN113048955A (zh) * | 2021-02-02 | 2021-06-29 | 中铁十二局集团第七工程有限公司 | 基于激光位姿靶和机器视觉的特定空间测量方法及系统 |
CN113048955B (zh) * | 2021-02-02 | 2022-05-10 | 中铁十二局集团第七工程有限公司 | 基于激光位姿靶和机器视觉的特定空间测量方法及系统 |
CN112964236A (zh) * | 2021-02-07 | 2021-06-15 | 中铁工程装备集团有限公司 | 一种用于竖井掘进机的激光导向系统及其导向方法 |
CN113006811A (zh) * | 2021-03-19 | 2021-06-22 | 中铁工程装备集团有限公司 | 复合破岩施工方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111502671B (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111502671B (zh) | 盾构激光标靶导向搭载双目相机的综合导向装置及方法 | |
CN106403900B (zh) | 飞行物追踪定位系统及方法 | |
CN110954015B (zh) | 基于激光调焦和图像识别的盾尾间隙测量方法 | |
CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
US20130063563A1 (en) | Transprojection of geometry data | |
CN109253706B (zh) | 一种基于数字图像的隧道三维形貌测量方法 | |
KR20020097172A (ko) | 3차원 좌표 계측방법, 3차원 좌표 계측장치 및 대형구조물의 건조방법 | |
CN110111412A (zh) | 一种隧道开挖面围岩点云模型的获取方法 | |
CN108681337B (zh) | 一种涵洞或桥梁专用巡查无人机及无人机巡查方法 | |
CN111536955B (zh) | 基于v型激光标靶图像识别的掘进机位姿检测系统及方法 | |
JPWO2020003497A1 (ja) | 撮像装置の校正装置、監視装置、作業機械および校正方法 | |
US20210123717A1 (en) | System and method for determination of a spatial property of a submerged object in a 3d-space | |
US20230105991A1 (en) | Method of imaging a wind turbine rotor blade | |
CN115143887B (zh) | 视觉监测设备测量结果的修正方法及视觉监测系统 | |
CN113947638A (zh) | 鱼眼相机影像正射纠正方法 | |
CN110954003A (zh) | 基于高分相机图像采集处理的盾尾间隙测量系统 | |
WO2024046390A1 (zh) | 基于视觉和imu融合的海洋装备水下损伤三维重建方法 | |
CN112284360B (zh) | 基于双目视觉系统的双护盾六自由度测量方法及系统 | |
CN115388798A (zh) | 一种隧道开挖面变形快速测量方法及装置 | |
CN114663486A (zh) | 一种基于双目视觉的建筑物测高方法及系统 | |
CN110736438A (zh) | 一种高炮检测装置及其检测方法 | |
JPH07139918A (ja) | 円柱中心位置・半径計測方法 | |
JP3737455B2 (ja) | 変位測定装置 | |
CN118015067A (zh) | 一种施工工地的吊车隐患臂测量方法 | |
Su et al. | Long-distance 2D positioning with diffractive large diameter laser beam and camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |