CN107085853B - 导轨单目立体视觉矿区井架变形监测方法 - Google Patents
导轨单目立体视觉矿区井架变形监测方法 Download PDFInfo
- Publication number
- CN107085853B CN107085853B CN201710307840.6A CN201710307840A CN107085853B CN 107085853 B CN107085853 B CN 107085853B CN 201710307840 A CN201710307840 A CN 201710307840A CN 107085853 B CN107085853 B CN 107085853B
- Authority
- CN
- China
- Prior art keywords
- derrick
- point
- monitoring
- mining area
- head sheave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 94
- 238000005065 mining Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 238000007430 reference method Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 29
- 229910000831 Steel Inorganic materials 0.000 claims description 24
- 239000010959 steel Substances 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 238000012806 monitoring device Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 239000003245 coal Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000003673 groundwater Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
发明公开了一种导轨单目立体视觉的矿区井架变形监测方法(本专利以塔型井架单绳天轮为例),提出了基于平面标定板和二维共线条件方程的CE平面标定法,基于单张以上图像利用约束最小二乘平差直接求解内外方位元素和畸变参数。其次,通过导轨装置可使高速相机在导轨滑块上自由滑动并拍摄矿区井架及天轮标志点(含控制点和监测点)图像,利用多期连续拍摄图像或视频图像对标志点进行矿区井架及天轮标志点的虚拟立体视觉三维重建,并提出了矿区井架及天轮视觉变形监测方法和基于变形信息的井架倾斜率和天轮纵横向偏摆计算方法。本发明方法,具有检测工具结构简单、携带方便、成本低、非接触式面监测效率高,有效地解决了矿区井架及天轮变形监测问题。
Description
技术领域
本发明涉及煤炭开采矿区井架变形监测领域,尤其是涉及一种导轨单目立体视觉的矿区井架变形监测装置及方法。
背景技术
煤炭矿区井架按材料分为钢制井架和钢筋混凝土井架(本专利以塔型井架为例),由于井架的自重过大,在使用过程中的附加荷载、地下水位的升降、地下水对井架基础的侵蚀等因素都可能导致井架的倾斜与变形。无论塔型井架主体发生倾斜或天轮发生倾斜(水平偏移和垂直偏移分别造成横向偏摆和纵向偏摆)都可能导致提升用钢丝绳脱落,从而导致罐笼坠落井底,造成人员伤亡和设备损伤。因此,如何开展井架及天轮变形监测是煤矿安全生产中一项十分重要的工作。
目前,矿区井架变形监测手段主要有位移传感器、全站仪、测量机器人、三维激光扫描仪和GPS等。其中,位移传感器需提前埋设(中国发明专利文件CN02138850.4,一种矿山井架安全自动监测方法及装置),且单点监测系统可靠性低;传统全站仪自动化程度低,且不满足非接触式危险区变形监测要求;测量机器人和三维激光扫描技术自动化程度较高但成本昂贵;GPS具有全天候自动化程度高但卫星信号受矿区井架遮挡严重。因此,近景摄影测量和立体视觉技术以非接触性、测量精度高、可连续测量、测量瞬时完成等特点被逐步应用于三维重建等领域。
按照视觉摄像头个数,主要分为单目视觉,双目及多目视觉。单目视觉装置要求简单,但缺乏深度信息难以进行三维重建;双目及多目视觉三维重建精度高,但存在装置结构复杂、成本较高以及立体标定鲁棒性难保证等不足。例如,中国发明专利文件《一种基于多目视觉的桥梁三维变形监测方法》(专利号CN201110038782.4),必须对多个视觉摄像头进行立体标定,且要求多个视觉摄像头位姿关系保持不变,结构复杂成本高且不便于外业携带。中国发明专利文件《基于视觉的物体倾斜位移沉降变形监测系统》(专利号CN201220358005.8)、《一种基于运动图像的危岩变形信息提取及报警方法》(专利号CN201510214600.2),采用单目视觉帧间差分原理获取变形信息,无法进行三维重建且变形信息提取受限于光照影响。
发明内容
本发明针对上述现有技术的缺点与不足,提出了一种导轨单目立体视觉的矿区井架变形监测装置,其结构简单、便于携带并能够快速地完成立体视觉三维重建和变形量估计。
本发明实现发明目的的基本思路是:
(1)CE平面标定方法求解内外方位元素和畸变模型参数。
CE平面标定法的标定装置为三个等长基准尺组成的正三角形标定板并固定在三脚架上。建立世界坐标系:三角形标定板中平放基准尺左端为原点,平放基准尺右端指向为X轴正向,标定板平面内与X轴垂直向上方向为Y轴,三角形标定板上共有12个标志点,自原点起始标志点依次编号1,2,……,12,同一基准尺相邻标志点间隔为ΔL,各标志点的世界坐标分别为:(0,0),(ΔL,0),(2ΔL,0),(3ΔL,0),(4ΔL,0),
本专利基于该标定装置提出了一种二维共线条件方程(CollinearityEquations)和平面标定板相结合的快捷标定方法(简称CE平面标定方法)。基于平面标定板建立世界坐标系或物方坐标系,获得的标志点世界坐标或物方坐标记为(X,Y),获得的平面标定板上标志点的像点坐标记为(x,y)。设图像畸变量为(Δx,Δy),内方位元素记为(x0,y0,-f),外方位元素包括摄站物方坐标Xs,Ys,Zs和姿态矩阵元素a1,b1,c1,a2,b2,c2,a3,b3,c3。顾及姿态矩阵元素满足,c1=a2b3-a3b2,c2=a3b1-a1b3,c3=a1b2-a2b1,引入摄站物方坐标的姿态矩阵变换坐标γ1=-(a1XS+b1YS+c1ZS),γ2=-(a2XS+b2YS+c2ZS),γ3=-(a3XS+b3YS+c3ZS),则基于共线条件方程(Z=0)建立关于内方位元素(x0,y0,-f)和新的外方位元素a1,b1,a2,b2,a3,b3,γ1,γ2,γ3及畸变(Δx,Δy)的CE平面标定方法,基本原理如下
求解上述方程中涉及的内外方位元素畸变模型参数,采用两步法进行估计,步骤一和步骤二的具体思路和方法分别如下:
步骤一:在不考虑畸变量的情况下,设内方位元素(x0,y0,-f)初值已知,将二维共线条件方程式(1)等式两端同时乘以a3X+b3Y+γ3,则可建立关于外方位元素的误差方程,同时顾及式(2)姿态矩阵的正交性约束,利用约束最小二乘平差估计外方位元素的近似值;
步骤二:则进一步考虑畸变量的情况,考虑径向畸变和切向畸变,利用获得外方位元素作为初值,基于二维共线条件方程式(1),建立关于内方位元素(x0,y0,-f)和新的外方位元素a1,b1,a2,b2,a3,b3,γ1,γ2,γ3及畸变(Δx,Δy),同时考虑式(2)姿态矩阵的正交性约束,利用约束最小二乘平差求解出内外方位元素和畸变模型参数。
应用该方法进行标定可知,对于单张图像,标定的像点对为m,则利用该方法可列2m+3个方程,待求参数为12(不含畸变),需要5对像点即可完成标定;若考虑径向和切向3参数畸变模型,待求参数为15,则需要6对像点完成标定工作;对于n张图像、m个标定像点对/图像(顾及移动标定板或移动摄像站位置拍摄,即考虑外方位元素变化、其他参数不变),可列(2m+3)n个方程,不含畸变时的待求参数为3+9n、含畸变时的待求参数为6+9n。因此,当n=4时,m≥2(不含畸变)、m≥3(含畸变)。
(2)虚拟立体视觉矿区井架变形监测
基于导轨的单目立体视觉变形监测装置(简称虚拟立体视觉变形监测装置),由带刻度尺的水平滑轨、滑块及高速工业相机构成。滑轨安置在三脚架上,滑块上安装云台,高速工业相机安装在云台上,通过控制滑块可使高速相机在滑轨上自由滑动。滑块底部安有指针,指向滑道的刻度读数,通过图像识别读取滑块底部的指针在刻度上的读数。
本专利基于该变形监测装置提出了一种快速三维重建和变形估计方法。设高速相机导轨刻度由小到大方向为X轴正向,垂直于导轨平面朝下方为Y轴正向,Z轴与X轴、Y轴满足右手准则,建立以高速相机位于导轨零刻度时的透镜中心为坐标原点的变形监测坐标系,则待测点或标志点P的三维坐标记为将高速相机拍摄第i张图像时的导轨刻度记为Ti(i=1,2,3n),同名标志点P的像平面坐标记为(xi,yi)。由此,利用高速相机在拍摄第i-1张和第i张图像时的导轨刻度Ti-1,Ti和同名标志点像点坐标(xi-1,yi-1),(xi,yi),同时顾及高速相机沿导轨运动时姿态矩阵不变,可得虚拟立体视觉三维重建原理如下
矿区井架结构的虚拟立体视觉变形监测方法包括两个步骤:虚拟立体视觉三维重建和矿区井架变形监测。
步骤一:基于导轨的单目立体视觉三维重建。
(a)控制高速相机在滑轨上从左到右运动,运动过程中拍摄n张图像,滑块底部指针初始指向零刻度,在不同位置时的刻度读数记为Ti(i=1,2,3…n);
(b)高速相机在第i-1,i,i+1张图像中的同名点P的像平面坐标分为(xi-1,yi-1),(xi,yi)和(xi+1,yi+1)。根据本专利的三维重建方法列立误差方程和
(c)基于高速相机拍摄的第i-1,i,i+1张共3张图像,可联立两个误差方程,推导Li-,Li+的联合权阵P,利用加权最小二乘估计方法可得标志点P的三维坐标
步骤二:矿区井架变形监测。
矿区(塔型)井架变形(单绳天轮)监测包括矿区井架倾斜监测和天轮偏摆监测。监测坐标系的建立:在站心坐标系下由全站仪获取控制点的三维坐标,其中以提升滚筒指向天轮的钢丝平面投影为Y方向,以天轮天顶方向为H方向,由右手准则确定X方向。矿区井架倾斜监测方案:在井架的各支柱(塔型井架有四个支柱)上分别布设三个监测点,记为Mi(i=1,2,12,)在井架各方向(前后左右)均布设三个控制点,记为Ci(i=1,2,…12)。控制点和监测点均布设标靶,其坐标分别采用下标control和monitor进行区分。视觉变形监测井架时,设站两次以上以保证完整地监测到四个支柱。天轮偏摆监测方案:在井架的正前方设站,方便观测天轮和提升滚筒的钢丝,通过直线检测分别得到连接天轮和滚筒的钢丝对应的直线l,进而计算横摆角和纵摆角。
(a)不同监测时期,重复步骤二,对监测点Mi(i=1,2,…12)、控制点Ci(i=1,2,…12)、直线l的两个端点P、Q进行虚拟立体视觉三维重建,可得控制点和监测点的三维坐标,记为和j指变形监测的期号,i指变形监测的点号,以及直线l端点的坐标和
(b)以第一期控制点坐标为基准,将后续不同期获得控制点转至第一期坐标基准,第j次监测相对于第1次监测控制点坐标转换参数分别记为Rj(旋转矩阵)和Dj(平移向量),则矿区井架上监测点的第j期的站心坐标为对应的倾斜量为
(c)利用第j次监测相对于第1次监测控制点坐标转换参数分别记为Rj(旋转矩阵)和Dj(平移向量),得到天轮架上连接天轮和滚筒的钢丝对应的直线l的两个端点P和Q的站心坐标,分别计算天轮的水平偏移(天轮(钢丝)横摆角)和垂直偏移(天轮(钢丝)纵摆角)。
应用步骤一进行虚拟立体视觉三维重建时,对于有同名标志点的连续3张图像(第i-1,i,i+1张),利用该思路可列8个方程,待求参数为3。显然,方程数为(图像张数-1)的4倍,增加图像张数可有效增加多余观测进而提高三维重建精度。完成虚拟立体视觉的三维重建后,按步骤二则可进行变形估计。而且,不同期监测过程中不需要固定摄站,便于变形监测移动作业。综上,在视野可见范围内,具有同名标志点的图像张数越多,则标志点三维重建以及变形估计精度越高。
基于上述原理和思路,本发明提出的导轨单目立体视觉矿区井架变形监测方法,分为三部分:CE平面标定、虚拟立体视觉和变形监测。
步骤一、CE平面标定法标定内外方位元素和畸变模型参数。
1、CE平面标定法的标定装置为三个等长基准尺组成的正三角形标定板并固定在三脚架上。建立世界坐标系:三角形标定板中平放基准尺左端为原点,平放基准尺右端指向为X轴正向,标定板平面内与X轴垂直向上方向为Y轴,三角形标定板上共有12个标志点,自原点起始标志点依次编号1,2,……,12,同一基准尺相邻标志点间隔为ΔL,各标志点的世界坐标分别为:(0,0),(ΔL,0),(2ΔL,0),(3ΔL,0),(4ΔL,0),
2、CE平面标定法标定内外方位元素和畸变模型参数:
(a)标志点识别
通过对高速相机拍摄的标定板图像进行灰度化、二值化、边缘提取,利用边缘点的一系列像素坐标(xe,ye)来拟合椭圆,椭圆可以用圆锥曲线方程的代数形式表示
其中:A、B、C、D、E、F是方程系数
从而计算出图像中椭圆的中心位置(x,y),即为上述12个平面标定板标志点的物方坐标(X,Y)一一对应的像点坐标(x,y);
(b)取图像中心坐标为像主点(x0,y0)的初值、畸变量(Δx,Δy)初值为零、高速相机镜头出厂标称值为焦距f的初值,建立a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs为外方位元素的误差方程
式中,γ1=-(a1XS+b1YS+c1ZS),
γ2=-(a2XS+b2YS+c2ZS),
γ3=-(a3XS+b3YS+c3ZS),
(c)根据旋转矩阵的单位正交性,建立以下约束方程
(d)通过约束最小二乘平差可估计外方位元素a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs;
(e)进一步考虑径向畸变和切向畸变3参数模型,利用获得外方位元素作为初值,进行内外方位元素优化估计,建立误差方程为
式中,k1为径向畸变系数,p1,p2为切向畸变系数,A=a3X+b3Y+γ3;
(f)根据旋转矩阵的单位正交性,建立以下约束方程
(g)通过约束最小二乘平差可以求解出畸变系数k1,p1,p2,内方位元素(x0,y0)和f,外方位元素a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs。对于单张图像标定,至少需要(2n-12>0)6个点完成含畸变参数的内外方位元素标定。
步骤二、虚拟立体视觉三维重建
(a)控制高速相机在滑块上从左到右在带零刻度的滑轨上匀速滑动,高速相机初始位置滑块底部指针指向零刻度,间隔时间t进行一次拍摄,直到滑块滑到滑道最右端,完成本次虚拟立体视觉监测过程。
(b)通过图像识别出每张图像中滑块底部指针指向滑轨刻度的读数Ti(i=1,2,3…n)。
(c)对拍摄到的n张图像,特征提取并匹配标志点,其中连续三张图图像中有同名点P,(xi-1,yi-1),(xi,yi)和(xi+1,yi+1)分别为点P在第i-1张,第i张,第i+1张图像中的像点坐标,可由此列出误差方程
式中,
(d)在利用i-1,i,i+1连续三张图像时,顾及Ti使用2次导致的相关性,推导出Li-,Li+的联合权阵为P,利用加权最小二乘估计方法可得标志点P的三维坐标
步骤三、矿区塔型井架变形监测
矿区(塔型)井架变形(单绳天轮)监测包括矿区井架倾斜监测和天轮偏摆监测。监测坐标系的建立:在站心坐标系下由全站仪获取控制点的三维坐标,其中以提升滚筒指向天轮的钢丝平面投影为Y方向,以天轮天顶方向为H方向,由右手准则确定X方向。矿区井架倾斜监测方案:在井架的各支柱(塔型井架有四个支柱)上分别布设三个监测点,记为Mi(i=1,2,…12,在井架各方向(前后左右)均布设三个控制点,记为Ci(i=1,2,…12)。控制点和监测点均布设标靶,其坐标分别采用下标control和monitor进行区分。视觉变形监测井架时,设站两次以上以保证完整地监测到四个支柱。天轮偏摆监测方案:在井架的正前方设站,方便观测天轮和提升滚筒的钢丝,通过直线检测分别得到连接天轮和滚筒的钢丝对应的直线l,进而计算横摆角和纵摆角。
(a)不同监测时期重复步骤二,对监测点Mi(i=1,2,…12)、控制点Ci(i=1,2,…12)、直线l的两个端点进行虚拟立体视觉三维重建,可得控制点和监测点的三维坐标,记为和j指变形监测的期号,i指变形监测的点号。以及直线端点的坐标和
(b)以第1期控制点坐标为基准,将后续不同期获得控制点转至第一期坐标基准,记第1期和第j期控制点的三维坐标集和其中,N为控制点数目。记重心坐标分别为和对应的去重心化后的新三维坐标集记为和计算并构造4×4矩阵K
式中,tr(M)指矩阵的迹,
I3指3阶单位矩阵,
Δ=[M23-M32 M31-M13 M12-M21]。
(c)计算矩阵K的特征值以及特征向量,其中最大特征值相对应的特征向量即为单位四元数q=(q0 q1 q2 q3)T,从而得到旋转矩阵
(d)根据旋转矩阵和同期监测点重心坐标计算平移向量
(e)矿区井架上监测点Mi在第j期的三维坐标为
(f)第j期监测时的矿区塔型井架中立架的倾斜率(垂直偏差的距离除以高度)
(g)天轮(钢丝)水平偏移采用横摆角来表示。
(h)天轮(钢丝)垂直偏移采用纵摆角来表示。
本发明方法与传统变形监测相比,具有以下优点:
1)基于平面标定板的CE平面标定法,直接估计内外方位元素和畸变系数而无需泰勒级数线性化展开,而且单张以上图像即可完成标定工作;
2)导轨单目虚拟立体视觉三维重建,无复杂的常规双目或多目立体标定工作,三维重建自动化程度高。
3)与常规接触式变形监测方法相比,本专利基于导轨单目立体视觉监测方法、具有非接触式、成本低、面监测特点。此外,通过控制点基准转换便于灵活设置导轨拍摄站点,并有效地增加拍摄视野,快速完成矿区井架变形监测。
附图说明
图1是本发明导轨单目立体视觉矿区井架变形监测流程图。
图2是标定装置立体示意图。
图3是标定板及物方坐标系示意图。
图4是虚拟立体视觉变形监测装置示意图。
其中:1是滑轨支撑脚;2是刻度尺;3是滑块;4是高速工业相机;5是平面镜;6是云台;7是指针;8是滑道;9是控制线;10是电动控制器。
图5虚拟立体视觉变形监测坐标系示意图。
图6矿区塔型井架(单绳天轮)示意图。
其中:a图为正视图,b图为侧视图,61是立架;62是斜架;63是天轮架。
图7矿区塔型井架倾斜监测点位布设示意图。
图8天轮偏摆监测示意图。
其中:a图是正视图,b图是俯视图,81是天轮;82是滚筒;83是罐笼;84是钢丝绳;85是地面。
图9是标靶示意图。
具体实施方式
下面结合具体实施例,对本发明作进一步详细说明。
矿区塔型井架(单绳天轮)是矿井工程关键性的工程构筑物,通常由立架,斜架和天轮架三个主要部分组成。如图6所示,其中,61为立架;62为斜架;63为天轮架。本发明提出的一种导轨单目立体视觉变形监测装置及方法,技术流程如图1所示。具体实施方法分为三部分:CE平面标定、虚拟立体视觉和变形监测。
(1)高速相机CE平面标定
CE平面标定法的标定装置如图2所示,包括:21标志点、22基准尺、23三脚架。标定时,将图4所示的三个等长基准尺组件两端互相链接在一起,图3所示标志点组件通过螺栓安装在基准尺上,组成正三角形标定板并固定在三脚架上,组成如图2所示快捷标定装置。标定板上标志点编号及世界坐标系如图3、图5所示:三角形标定板中平放基线尺左端为原点,平放基线尺右端指向为X轴正向,标定板平面内与X轴垂直向上方向为Y轴,共有12个标志点(同一基线尺相邻标志点间隔为ΔL)。按标志点编号①~等,其平面标定板物方坐标或世界坐标分别为(0,0),(ΔL,0),(2ΔL,0),(3ΔL,0),(4ΔL,0),
基于平面标定板的CE平面标定法,步骤如下:
(a)标志点识别。通过对高速相机拍摄的平面标定板图像进行灰度化、二值化、边缘提取,利用边缘点的一系列像素坐标(xe,ye)来拟合椭圆,椭圆可以用圆锥曲线方程的代数形式表示
从而计算出图像中椭圆的中心位置(x,y),即为上述12个平面标定板标志点的物方坐标(X,Y)一一对应的像点坐标(x,y);
(b)取图像中心坐标为像主点(x0,y0)的初值、畸变量(Δx,Δy)初值为零、高速相机镜头出厂标称值为焦距f的初值,建立a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs为外方位元素的误差方程
式中,γ1=-(a1XS+b1YS+c1ZS),
γ2=-(a2XS+b2YS+c2ZS),
γ3=-(a3XS+b3YS+c3ZS),
(c)根据旋转矩阵的单位正交性,建立以下约束方程
(d)通过约束最小二乘平差可估计外方位元素a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs;
(e)进一步考虑径向畸变和切向畸变3参数模型,利用获得外方位元素作为初值,进行内外方位元素优化估计,建立误差方程为
式中,k1为径向畸变系数,p1,p2为切向畸变系数,A=a3X+b3Y+γ3;
(f)根据旋转矩阵的单位正交性,建立以下约束方程
(g)通过约束最小二乘平差可以求解出畸变系数k1,p1,p2,内方位元素(x0,y0)和f,外方位元素a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs。对于单张图像标定,至少需要(2n-12>0)6个点完成含畸变参数的内外方位元素标定。
(2)虚拟立体视觉三维重建
矿区(塔型)井架变形(单绳天轮)监测包括矿区井架倾斜监测和天轮偏摆监测。监测坐标系的建立:在站心坐标系下由全站仪获取控制点的三维坐标,其中以提升滚筒指向天轮的钢丝平面投影为Y方向,以天轮天顶方向为H方向,由右手准则确定X方向。矿区井架倾斜监测方案如图7所示:在井架的各支柱(塔型井架有四个支柱)上分别布设三个监测点,记为Mi(i=1,2,…12),在井架各方向(前后左右)均布设三个控制点,记为Ci(i=1,2,…12)。控制点和监测点均布设标靶,如图9所示,其坐标分别采用下标control和monitor进行区分。视觉变形监测井架时,设站两次以上以保证完整地监测到四个支柱。天轮偏摆监测方案如图8所示:在井架的正前方设站,方便观测天轮和提升滚筒的钢丝,通过直线检测分别得到连接天轮和滚筒的钢丝对应的直线l,进而计算横摆角α和纵摆角β。
(a)控制高速相机从左到右在电动滑轨上自由滑动,初始位置滑块底部指针指向零刻度,间隔时间t进行一次拍摄,直到滑块滑到滑道最右端,完成本次虚拟立体视觉监测过程;
(b)通过图像识别出每张图像中滑块底部指针指向刻度盘的读数Ti(i=1,2,3…n);
(c)通过Canny边缘检测算子提取天轮轮廓,采用Hough变换检测轮廓中的直线算子,找出天轮架上连接天轮和滚筒的钢丝对应的直线l及其端点P和Q的像素坐标;
(d)对拍摄到的n张图像,特征提取并匹配标志点,其中连续三张图图像中有标志点,(xi-1,yi-1),(xi,yi)和(xi+1,yi+1)分别为标志点在第i-1张,第i张,第i+1张图像中的像点坐标,可由此列出误差方程
式中,
(e)在利用i-1,i,i+1连续三张图像时,顾及Ti使用2次导致的相关性,推导出Li-,Li+的联合权阵为P,利用加权最小二乘估计方法可得标志点P的三维坐标
(3)矿区井架变形监测
(a)不同监测时期,对监测点Mi(i=1,2,…12)、控制点Ci(i=1,2,…12)、直线l的两个端点进行虚拟立体视觉三维重建,可得控制点和监测点的三维坐标,记为和j指变形监测的期号,i指变形监测的点号,以及直线端点的三维坐标和
(b)以第1期控制点坐标为基准,将后续不同期获得控制点转至第一期坐标基准,记第1期和第j期控制点的三维坐标集和其中,N为控制点数目。记重心坐标分别为和对应的去重心化后的新三维坐标集记为和计算并构造4×4矩阵K
式中,tr(M)指矩阵的迹,
I3指3阶单位矩阵,
Δ=[M23-M32 M31-M13 M12-M21],
(c)计算矩阵K的特征值以及特征向量,其中最大特征值相对应的特征向量即为单位四元数q=(q0 q1 q2 q3)T,从而得到旋转矩阵
(d)根据旋转矩阵和同期监测点重心坐标计算平移向量
(e)矿区井架上监测点Mi在第j期的站心坐标为
(f)第j期监测时的矿区塔型井架中四个立架的倾斜率(垂直偏差的距离除以高度)为
式中,n=1,2,3,4表示井架的四个支柱,j表示观测时期,
n=1时,a=1,b=2,c=3;n=2时,a=4,b=5,c=6;
n=3时,a=7,b=8,c=9;n=4时,a=10,b=11,c=12;
(g)天轮架上连接天轮和滚筒的钢丝对应的直线l,对应的端点P和Q的站心坐标为
(h)天轮(钢丝)水平偏移计算横摆角
(i)天轮(钢丝)垂直偏移计算纵摆角
Claims (1)
1.一种导轨单目立体视觉矿区井架变形监测方法,其步骤是:
步骤一、CE平面标定法标定内外方位元素和畸变模型参数
1、CE平面标定法的标定装置为三个等长基准尺组成的正三角形标定板并固定在三脚架上;建立世界坐标系:三角形标定板中平放基准尺左端为原点,平放基准尺右端指向为X轴正向,标定板平面内与X轴垂直向上方向为Y轴,三角形标定板上共有12个标志点,自原点起始标志点依次编号1,2,……,12,同一基准尺相邻标志点间隔为ΔL,各标志点的世界坐标分别为:(0,0),(ΔL,0),(2ΔL,0),(3ΔL,0),(4ΔL,0),
2、CE平面标定法标定内外方位元素和畸变模型参数:
(a)标志点识别
通过对高速相机拍摄的标定板图像进行灰度化、二值化、边缘提取,利用边缘点的一系列像素坐标(xe,ye)来拟合椭圆,椭圆可以用圆锥曲线方程的代数形式表示
其中:A、B、C、D、E、Fe是方程系数;
从而计算出图像中椭圆的中心位置(x,y),即为上述12个平面标定板标志点的物方坐标(X,Y)一一对应的像点坐标(x,y);
(b)取图像中心坐标为像主点(x0,y0)的初值、畸变量(Δx,Δy)初值为零、高速相机镜头出厂标称值为焦距f的初值,建立a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs为外方位元素的误差方程
式中,γ1=-(a1XS+b1YS+c1ZS),
γ2=-(a2XS+b2YS+c2ZS),
γ3=-(a3XS+b3YS+c3ZS);
(c)根据旋转矩阵的单位正交性,建立以下约束方程
(d)通过约束最小二乘平差可估计外方位元素a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs;
(e)进一步考虑径向畸变和切向畸变3参数模型,利用获得外方位元素作为初值,进行内外方位元素优化估计,建立误差方程为
式中,k1为径向畸变系数,p1,p2为切向畸变系数,A=a3X+b3Y+γ3;
(f)根据旋转矩阵的单位正交性,建立以下约束方程
(g)通过约束最小二乘平差可以求解出畸变系数k1,p1,p2,内方位元素(x0,y0)和f,外方位元素a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs;
步骤二、虚拟立体视觉三维重建
(a)控制高速相机在滑块上从左到右在带零刻度的滑轨上匀速滑动,高速相机初始位置滑块底部指针指向零刻度,间隔时间t进行一次拍摄,直到滑块滑到滑道最右端,完成本次虚拟立体视觉监测过程;
(b)通过图像识别出每张图像中滑块底部指针指向滑轨刻度的读数Ti,i=1,2,……,n;
(c)对拍摄到的n张图像,特征提取并匹配标志点,其中连续三张图图像中有标志点Pe,(xi-1,yi-1),(xi,yi)和(xi+1,yi+1)分别为点Pe在第i-1张,第i张,第i+1张图像中的像点坐标,可由此列出误差方程
式中,
(d)在利用i-1,i,i+1连续三张图像时,顾及Ti使用2次导致的相关性,推导出Li-1,Li的联合权阵为P,利用加权最小二乘估计方法可得标志点Pe的三维坐标
步骤三、矿区塔型井架变形监测
矿区塔型井架变形监测包括矿区井架倾斜监测和天轮偏摆监测;建立监测坐标系:在站心坐标系下由全站仪获取控制点的三维坐标,其中以提升滚筒指向天轮的钢丝平面投影为Y方向,以天轮天顶方向为H方向,由右手准则确定X方向;矿区井架倾斜监测:在井架的四个支柱上分别布设三个监测点,记为Mi,i=1,2……,12,在井架前后左右均布设三个控制点,记为Ci,i=1,2……,12;控制点和监测点均布设标靶,其坐标分别采用下标control和monitor进行区分;视觉变形监测井架时,设站两次以上以保证完整地监测到四个支柱;天轮偏摆监测:在井架的正前方设站,通过直线检测分别得到连接天轮和滚筒的钢丝对应的直线l,进而计算横摆角和纵摆角;
(a)在设定的监测时期,重复步骤二,对监测点Mi、控制点Ci、直线l的两个端点Pj,Qj进行虚拟立体视觉三维重建,获得控制点和监测点的三维坐标,记为和j指变形监测的期号,i指变形监测的点号,以及直线端点的坐标和
(b)以第1期控制点坐标为基准,将后续不同期获得控制点转至第一期坐标基准,记第1期和第j期控制点的三维坐标集和其中,N为控制点数目;记重心坐标分别为和对应的去重心化后的新三维坐标集记为和计算并构造4×4矩阵K
式中,tr(M)指矩阵的迹,I3指3阶单位矩阵,ΔT=[M23-M32 M31-M13 M12-M21];
(c)计算矩阵K的特征值以及特征向量,其中最大特征值相对应的特征向量即为单位四元数q=(q0 q1 q2 q3)T,从而得到旋转矩阵
(d)根据旋转矩阵和同期监测点重心坐标计算平移向量
(e)矿区井架上监测点Mi在第j期的站心坐标为
(f)第j期监测时的矿区塔型井架中四个立架的倾斜率为
式中,n=1,2,3,4表示井架的四个支柱,j表示观测时期,
n=1时,a=1,b=2,c=3;n=2时,a=4,b=5,c=6;
n=3时,a=7,b=8,c=9;n=4时,a=10,b=11,c=12;
(g)天轮架上连接天轮和滚筒的钢丝对应的直线l,两个端点Pj,Qj的站心坐标为
(h)天轮(钢丝)水平偏移计算横摆角
(i)天轮(钢丝)垂直偏移计算纵摆角
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710307840.6A CN107085853B (zh) | 2017-05-04 | 2017-05-04 | 导轨单目立体视觉矿区井架变形监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710307840.6A CN107085853B (zh) | 2017-05-04 | 2017-05-04 | 导轨单目立体视觉矿区井架变形监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107085853A CN107085853A (zh) | 2017-08-22 |
CN107085853B true CN107085853B (zh) | 2019-08-27 |
Family
ID=59611518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710307840.6A Active CN107085853B (zh) | 2017-05-04 | 2017-05-04 | 导轨单目立体视觉矿区井架变形监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107085853B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108107462B (zh) * | 2017-12-12 | 2022-02-25 | 中国矿业大学 | Rtk与高速相机组合的交通标志杆姿态监测装置及方法 |
CN110675446A (zh) * | 2018-07-03 | 2020-01-10 | 百度在线网络技术(北京)有限公司 | 定位方法和装置 |
CN109765939A (zh) * | 2018-12-21 | 2019-05-17 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 无人机的云台控制方法、装置和存储介质 |
CN110033436A (zh) * | 2019-03-08 | 2019-07-19 | 安徽理工大学 | 一种基于机器视觉与激光融合的矿井刚性罐道变形诊断及其定位系统 |
CN110196993B (zh) * | 2019-04-23 | 2023-06-23 | 中国华冶科工集团有限公司 | 矿山建井施工中天轮平台的选取方法 |
CN110231152B (zh) * | 2019-05-08 | 2020-11-03 | 长江大学 | 基于无人机的井架检测方法及设备 |
CN111238388B (zh) * | 2020-01-08 | 2021-11-16 | 安徽逻根农业科技有限公司 | 一种高空支架形态监测装置和方法 |
CN112001379A (zh) * | 2020-05-19 | 2020-11-27 | 西安工程大学 | 基于机器视觉的汽车仪表固定视点读取仪表的修正算法 |
CN112461147A (zh) * | 2020-10-16 | 2021-03-09 | 深圳大学 | 一种基于视觉测量技术的桥梁动态形变监测方法及系统 |
CN112857246B (zh) * | 2021-02-05 | 2022-11-15 | 中国矿业大学(北京) | 一种利用地面三目视频匹配的露天矿边坡形变在线监测方法 |
CN113063359B (zh) * | 2021-03-31 | 2023-03-28 | 中煤科工集团重庆研究院有限公司 | 一种微小位移识别方法 |
CN113446935B (zh) * | 2021-06-09 | 2022-07-05 | 同济大学 | 一种六自由度测量系统和方法 |
CN113589348B (zh) * | 2021-06-17 | 2023-09-22 | 北京建筑大学 | 一种基于卫星定位的电力塔安全监测方法及系统 |
CN114012736A (zh) * | 2021-12-08 | 2022-02-08 | 北京云迹科技有限公司 | 一种辅助环境定位用定位物及机器人系统 |
WO2023178481A1 (zh) * | 2022-03-21 | 2023-09-28 | 深圳大学 | 形变测量方法、装置、电子设备及存储介质 |
CN114910003A (zh) * | 2022-05-25 | 2022-08-16 | 湖北工业大学 | 基于固定轨道的测量机器人位移监测方法及设备 |
CN115439630B (zh) * | 2022-08-04 | 2024-04-19 | 思看科技(杭州)股份有限公司 | 标记点拼接方法、摄影测量方法、装置和电子装置 |
CN117870566B (zh) * | 2024-01-11 | 2024-06-25 | 中铁第一勘察设计院集团有限公司 | 一种基于轨道式机器视觉仪的变形监测系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1397785A (zh) * | 2002-07-30 | 2003-02-19 | 武汉大学 | 一种矿山井架安全自动监测方法及装置 |
CN102645173A (zh) * | 2011-02-16 | 2012-08-22 | 张文杰 | 一种基于多目视觉的桥梁三维变形监测方法 |
CN104853154A (zh) * | 2015-04-29 | 2015-08-19 | 同济大学 | 一种基于运动图像的危岩变形信息提取及报警方法 |
CN105758327A (zh) * | 2016-05-16 | 2016-07-13 | 总装备部工程设计研究总院 | 建筑物变形的三维摄影监测系统及方法 |
-
2017
- 2017-05-04 CN CN201710307840.6A patent/CN107085853B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1397785A (zh) * | 2002-07-30 | 2003-02-19 | 武汉大学 | 一种矿山井架安全自动监测方法及装置 |
CN102645173A (zh) * | 2011-02-16 | 2012-08-22 | 张文杰 | 一种基于多目视觉的桥梁三维变形监测方法 |
CN104853154A (zh) * | 2015-04-29 | 2015-08-19 | 同济大学 | 一种基于运动图像的危岩变形信息提取及报警方法 |
CN105758327A (zh) * | 2016-05-16 | 2016-07-13 | 总装备部工程设计研究总院 | 建筑物变形的三维摄影监测系统及方法 |
Non-Patent Citations (5)
Title |
---|
BUNDLE ADJUSTMENTS CCD CAMERA CALIBRATION BASED ON COLLINEARITY EQUATION;Liu Changying et al;《CHINESE JOURNAL OF MECHANICAL ENGINEERING》;20040830;第17卷(第4期);494-497 * |
Non-Metric CCD Camera Calibration Algorithm in a Digital Photogrammetry System;Yang Huachao et al;《Journal of China University of Mining&Technology》;20060630;第16卷(第2期);119-122 * |
单目视觉下振动台试件变形位移测量方法研究;赵珊;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20170115;第2017年卷(第1期);C038-164 * |
基于机器视觉的巷道变形实时监测预警技术研究;徐剑坤;《中国博士学位论文全文数据库工程科技Ⅰ辑》;20121015;第2012年卷(第10期);B021-16 * |
振动台调试及单目视觉下振动台试验测量方法研究;薛彪;《中国优秀硕士学位论文全文数据库信息科技辑》;20141015;第2014年卷(第10期);I138-752 * |
Also Published As
Publication number | Publication date |
---|---|
CN107085853A (zh) | 2017-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107085853B (zh) | 导轨单目立体视觉矿区井架变形监测方法 | |
CN107421465B (zh) | 一种基于激光跟踪仪的双目视觉拼接方法 | |
US8803943B2 (en) | Formation apparatus using digital image correlation | |
CN109019335B (zh) | 一种基于深度学习的吊装安全距离检测方法 | |
CN111076880B (zh) | 一种考虑相机姿态变化的大跨桥梁多点挠度测量方法 | |
CN104034263B (zh) | 一种锻件尺寸的非接触测量方法 | |
CN103353282B (zh) | 热轧带钢端部形状在线视觉测量装置 | |
CN102927917B (zh) | 多目铁塔视觉测量方法 | |
CN105913410A (zh) | 一种基于机器视觉的远距离运动物体高度测量的装置与方法 | |
CN111174961B (zh) | 一种基于模态分析的索力光学测量方法及其测量系统 | |
CN102589523A (zh) | 远距离监测建筑物位移的方法和所用装备 | |
CN103968774A (zh) | 一种取土过程中土体内部位移测量模型试验装置及其使用方法 | |
CN106092059A (zh) | 一种基于多点拟合的结构物平面位移监测方法 | |
CN104215795A (zh) | 基于昊控表面流场计算算法的大尺度粒子图像测速方法 | |
CN106197292A (zh) | 一种建筑物位移监测方法 | |
CN110702343B (zh) | 一种基于立体视觉的挠度测量系统及方法 | |
CN103528520A (zh) | 基于双目视觉的同步运行顶升系统的检测装置与方法 | |
CN104949658B (zh) | 基于双目立体视觉技术的导线脱冰跳跃轨迹测量装置 | |
CN105865349A (zh) | 一种大型建筑物位移监测方法 | |
CN106709955A (zh) | 基于双目立体视觉的空间坐标系标定系统和方法 | |
CN109035343A (zh) | 一种基于监控相机的楼层相对位移测量方法 | |
CN108489397A (zh) | 一种车载接触网运行状态非接触式检测装置及方法 | |
CN110243338A (zh) | 一种实时动态双目测距方法及系统 | |
CN111311659A (zh) | 一种基于斜交平面镜三维成像的校准方法 | |
KR101571886B1 (ko) | 해저 지형을 3차원으로 확인하는 수심측량방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 221116 No. 1 University Road, copper mountain, Jiangsu, Xuzhou Applicant after: China University of Mining & Technology Address before: 221116 Xuzhou University Road, Jiangsu, No. 1 Applicant before: China University of Mining & Technology |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |