CN114332362A - 一种耦合光学定位与实时更新的测斜监测装置及方法 - Google Patents
一种耦合光学定位与实时更新的测斜监测装置及方法 Download PDFInfo
- Publication number
- CN114332362A CN114332362A CN202111545611.0A CN202111545611A CN114332362A CN 114332362 A CN114332362 A CN 114332362A CN 202111545611 A CN202111545611 A CN 202111545611A CN 114332362 A CN114332362 A CN 114332362A
- Authority
- CN
- China
- Prior art keywords
- point
- model
- inclinometer
- algorithm
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003287 optical effect Effects 0.000 title claims abstract description 18
- 238000012806 monitoring device Methods 0.000 title claims abstract description 16
- 230000008878 coupling Effects 0.000 title claims abstract description 8
- 238000010168 coupling process Methods 0.000 title claims abstract description 8
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 64
- 239000000523 sample Substances 0.000 claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 230000001681 protective effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- FPIGOBKNDYAZTP-UHFFFAOYSA-N 1,2-epoxy-3-(4-nitrophenoxy)propane Chemical compound C1=CC([N+](=O)[O-])=CC=C1OCC1OC1 FPIGOBKNDYAZTP-UHFFFAOYSA-N 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005452 bending Methods 0.000 claims 1
- 230000004807 localization Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013461 design Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001739 density measurement Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开一种耦合光学定位与实时更新的测斜监测装置及方法，包括：测斜管、提升端、探头端和控制端，测斜管内壁布设专门设计的特征点以提高精度，并便于解码定位；提升端通过自动程序控制探头的下方速度；探头端装设专门的镜头及配套设施，用于获取测斜管图像序列信息，并将数据传输至控制端；控制端基于光学定位与追踪技术的算法运算，得出测斜管的三位变形模型以及传统的测斜监测曲线。本发明能够更加精确监测测斜管的变形，为工程的安全稳定提供了新兴的保障。
Description
技术领域：
本发明涉及地质灾害监测技术领域，属于测斜管变形监测装置，尤其是一种耦合光学定位与实时更新的测斜监测装置及方法。
背景技术：
随着城市化进程的加快，城市地下空间的开发进入快速发展阶段。基坑工程作为开发过程中的重要组成成分，稍有不慎便会导致影响范围内出现建筑物损坏、失稳乃至人员伤亡等重大危害，因此必须贯彻“安全第一”的施工原则。而在基坑工程中，基坑的水平位移程度是影响基坑安全最主要的因素，所以做好基坑水平位移监测至关重要。
监测测斜管的变形能有效反应基坑的水平位移程度，监测系统一般由测斜管和测斜仪两部分组成。按照规范要求，便携式测斜仪通过人工牵引测斜探头，每500mm测量一次，测点不连续，测量精度低，无法真实地反映测斜管的整体变形情况，且仪器和人力成本较高，具有一定的技术应用局限性。
光学定位与追踪技术体系下的视觉SLAM技术是一项新兴的地图构建技术，通过摄像头获得周围的环境数据，并根据获得的数据同时估计自身运动轨迹和构建所处环境。其根据是否需要提取图像特征分为特征点法和直接法。特征点法首先通过特征匹配得出关键帧间的关系，其次根据匹配结果利用对极几何等方法计算出关键帧间的本质矩阵(或单应矩阵)，并进行矩阵分解得出摄像头的运动轨迹，最后基于关键帧的运动关系通过误差优化等方式拼合出所处环境的三维模型。
因此如何利用视觉SLAM技术实现高密度测量和关键测点相结合监测测斜管的变形是一个值得关注的方向。
发明内容：
本发明旨在提供一种耦合光学定位与实时更新的测斜监测装置及方法。其基于光学定位与追踪技术，跟踪单目镜头拍摄的视频流(观测图像序列)，分析帧与帧之间的关系，得出关键测点的三维深度信息，建立测斜曲线；并与稠密深度模型结合，得出测斜管的三维变形模型，实现可视化、数字化的精准监测。
一种耦合光学定位与实时更新的测斜监测装置，包括测斜管、提升端、探头端和控制端，所述测斜管插置于地下，提升端控制探头端于测斜管中从上至下投放，控制端通过探头端采集测斜管内信息，所述测斜管内壁布设专有设计的特征点，包括点状编码标志和普通标志，探头端采集包含点状编码标志和普通标志的图像序列，控制端分析出测斜管的三维变形模型。
作为更进一步的优选方案，点状编码标志采用方向定位点、高度定位点以及多个定位标识的标识信息进行信息预设，多个定位标识分布于方向定位点、高度定位点周围，采用投影定理的交比不变性分布原则；所述普通标志采用随机位置布设的具有特征区别的标识信息进行信息预设。
作为更进一步的优选方案，测斜管内壁中每500mm布置点一个点状编码标志群，其余内壁随机分布普通标志。
作为更进一步的优选方案，一个点状编码标志群包括测斜管内同高度周向布置的四个点状编码标志，一个点状编码标志群的高度定位点标记相同高度编号，一个点状编码标志群的方向定位点分别依次标记四个方向的位置编号，测斜管中所有点状编码标志群的位置编号的顺序和方向基准相同。
作为更进一步的优选方案，普通标志采用随机布设的圆环以及圆环内多个区域随机填充形成的标识信息进行信息预设，圆环分为内圆区域和外环区域，内圆区域和外环区域分别等分为四个区域，共八个填充区域，普通标志的位置随机布置，普通标志内八个填充区域中随机则一填充作为标识。
作为更进一步的优选方案，探头端包括保护壳，保护壳的下部为弯曲部，保护壳内置导像束，保护壳的底端位置具有与导像束连接的相机，相机用于采集和传输测斜管中的点状编码标志和普通标志信息，保护壳上还设有与相机连接的数据传输中心，数据传输中心用于临时存储图像序列信息，所述相机处还配设有照明装置。
一种耦合光学定位与实时更新的测斜监测装置的监测方法，所述相机采用鱼眼镜头，所述相机成像模型为针孔成像模型，相机的畸变模型采用FOV模型，其内参包括相机x轴的焦距fx，相机y轴的焦距fy，像主点在像素坐标系下的x坐标cx，像主点在像素坐标系下的y坐标cy，以及视场角ω；
镜头在拍摄图像序列时，每个像素的真实坐标与像素坐标的理想转换关系如公式1所示：
ZPp＝K(R+t)Pw (1)
其中Z为尺度因子；Pp为像素坐标系，记为(u,v,1)T；K为内参矩阵；R为旋转矩阵；t为平移向量，R和t合称外参矩阵；Pw为世界坐标系，记为(U，V，W，1)T；该式表明任意点的世界坐标系经过外参矩阵，即旋转和平移，内参矩阵转换和尺度缩放，可得到该点在相片上的像素坐标，本发明算法核心思想即为反解该坐标转换关系；
所述监测方法包括以下步骤：
步骤一：在测斜管内布置点状编码标志群和普通标志，并通过相机镜头校正算法更新镜头的内参，并消除镜头畸变对精度的影响；
点状编码标识的布置方法如下：
多个定位标识布置在点状编码标志中的对应位置，其功能是在图像输入后，通过特征测斜曲线计算算法基于定位标识的交比不变性识别出点状编码标志；高度定位点存储了该点状编码离管口的距离，每500mm为一个节点，采用红色编码点信息对应高度定位点，黄色编码点信息对应方向定位点，黑色实心点为定位标识，比如：离管口500mm就选取红色编码点的1号位涂红，离管口1000mm就选取红色编码点的2号位涂红，以此类推；方向定位点存储了该点状编码的周向信息，比如，该点状编码如果位于测斜管的A面(人为定义的一个方向)即将黄色编码涂黄，ABCD代表四个方向；然后特征测斜曲线计算算法首先验算定位点的交比不变性定位到某一个点状编码，再通过特征测斜曲线计算算法的目标识别模块识别出对应的红色编码点信息和黄色编码点信息；
镜头校正算法基于张正友相机标定法(棋盘黑白格法)，其数学原理如下：
求解内参矩阵K：
将黑白棋格粘贴于平面白墙上，令W＝0，根据公式(1)的矩阵换算可知，内参矩阵与外参矩阵的乘积必为3×3的矩阵H，则公式(1)可简化为公式(2)；
根据H矩阵的齐次性，化简成为式(3)和式(4)；
由上式可知，当得知的黑白棋盘格的实际坐标和像素坐标大于等于4对时，即可求得H矩阵；
选取旋转矩阵R的第一列R1，第二列R2，由于旋转矩阵的单位正交性，可得：
将H矩阵和R1、R2的关系带入式(3)、(4)，可得：
联合求出来的H矩阵和以上约束，先求解出K-TK-1矩阵，再根据内参矩阵为上三角矩阵，分解出内参矩阵K；
消除畸变参数：
实际图片在转化的时候会因为镜头型号等问题发生一定的畸变，本算法同时考虑径向畸变和轴向畸变，其数学表达式为公式(7)；通过将每一个角点畸变后的坐标和畸变前的坐标，带入公式(1)后，由最小二乘法求出各畸变参数；
由于两个部分求解出的参数互相影响，最后基于L-M算法对所有参数进行迭代优化；
步骤二：下放探头端，并固定好提升端，防止在自动测斜过程中，出现仪器不稳的情况；
步骤三：启动探头端与提升端，提升端控制探头端下放，探头端通过镜头采集图像序列，将数据传输至控制端，并在数据传输中心(5)备份；
步骤四：前端基于SLAM的匹配算法提取关键帧，并进行特征提取及匹配计算位姿(R和t)并传输到后端；
基于SLAM的匹配算法主要框架为ORB-SLAM2算法，其分为特征匹配和深度计算；
特征匹配：
图像序列从探头端传入后，算法比对帧之间的重叠率自适应筛选关键帧；然后通过特征提取出关键帧的ORB特征点，并采用对极约束进行初始化配对，待初始化完成后，则采用ICP和P3P算法进行匹配；其中对极约束原理为考虑某个空间三维点P和两个时刻的帧；P的世界坐标为(X，Y，Z)，它在两帧的相机坐标系下的坐标分别为Pc1和Pc2，相机的内参矩阵为K，当前帧的旋转矩阵R和平移向量t已知，可得：
本算法将对极约束的阈值设定为0.001，若两个像素点满足对极约束的误差，即认为它们配对成功；
待两幅图特征配对完成后，采用Open CV的EPNP对镜头的位姿进行计算，其数学原理为通过反复迭代公式(8)，以寻找最好的相机位姿，使得关键帧之间的重投影误差最小；
其中，T为相机位姿的李群表示，即代表R、t；Pi为空间点坐标；ui为其投影的像素坐标；
深度计算：
深度计算是将匹配好的特征点的深度信息进行恢复，其数学原理为三角测量；其通过考虑某个空间三维点P和两个时刻的帧，P的世界坐标为(X，Y，Z)，它在两帧的像素坐标系下的齐次坐标分别为Pp1(x1，y1，1)和Pp2(x2，y2，1)，相机的内参矩阵为K，参考帧的旋转矩阵R和平移向量t已知，可得：
公式(9)中，其他量均通过之前的计算可得，那仅剩的未知量仅有Z，因此就可以恢复该空间点的真实三维信息；
步骤五：后端基于SLAM的匹配算法构建稀疏锚点模型；其通过位姿与特征点的空间关系以及帧与帧的运动关系，建立稀疏锚点模型，并通过位姿与特征点的空间关系，将特征点的三维坐标(位置和深度)统一到大地坐标，然后通过帧与帧的运动关系拼接模型；
在得到了关键帧所有特征点的真实坐标和探头(镜头)的位姿之后，可以通过简单的坐标变换将所有坐标统一在大地坐标系下，即可完成稀疏锚点模型的建立；
步骤六：前端基于特征测斜曲线计算算法涵盖传统测斜的功能；其通过识别关键测点并对关键测点的信息进行进一步处理，求出每对关键测点的变形比，并作图软件更新曲线图；
特征测斜曲线计算算法是将所有识别的特征点，通过验证点状编码标志透视投影的交比不变性来识别出点状编码，并进行标志点提取；由于定位点和编码点所占像素较少，一般采用重心法求取标志点代表的含义，阈值取0.05，其数学公式如式(10)：
其中，(ik,jk)表示像素点坐标，
表示(ik，jk)处的像素值；
步骤七：后端基于三维模型重构算法计算出测斜管的三维变形模型；
基于三维模型重构算法通过比对帧之间的重叠率筛选出相同的关键帧，对所有关键帧的一个子集每个像素进行三角测量(见步骤四讲解)，并计算每个像素的三维真实坐标，得到稠密模型；然后通过前端传递的位姿信息，并将前端更新的稀疏锚点模型中的特征点作为锚点，将稠密模型与稀疏锚点模型映射对齐，其通过RMSE进行误差评估；
步骤八：重复步骤四至步骤七，直至探头端下放至孔底；其中需要注意的是，步骤七是带步骤三图像序列采集到一定程度后，便开始并行运行，然后等待步骤五传入稀疏锚点模型；
步骤九：提升端控制探头端上拉，探头端采集返程图像序列，控制端基于精度修正算法修正三维变形模型的精度；其中需要注意的是，精度修正算法在整个控制端运算流程中都在保持运行状态，该步骤仅为专门的精度修正步骤；
精度修正算法包括：回环检测以及各步骤计算时采用的误差函数；
回环检测：
采用词袋模型，即将关键帧的特征点划分为词，然后将当前帧和之前所有帧中出现的词用描述向量表示(出现该词+1，不出现则为0)，通过比较两个帧的描述向量即可定义这两帧的相似程度，其数学公式如式(11)，经过多次实验证明回环检测能提高模型的精度；
其中，a，b为描述向量；w为词袋中所有词的总和；
步骤十：提升端提升到孔口，完成一次正测，后通过转头机构转向，重复步骤三到步骤九，实现一次反测；
步骤十一：正反测结束后，关闭仪器，保存测斜模型。
与现有技术相比，本发明的有益效果是：
1)本发明采用SLAM技术重构测斜管的三维变形模型，用以计算测斜管管壁的变形程度，且误差至多达到0.2个像素误差(至少为0.05毫米级)。考虑到传统测斜的数据不充分带来的误差累计，此改进能更加真实全面地反映测斜管的三维变形。
2)本发明中添加了无影灯等小型照明系统，能避免阴影等图像特征的影响，可整体提高模型精度形成信任模型。
3)本发明根据测斜管的变形特点(塑性变形、管壁凹陷等)，将探头部分设计为类圆锥状，并采用一定的软支撑让探头保持居中以获得更多的视野，同时也可以有效规避探头的卡孔问题。
其存在的不足和改进措施：本发明虽然需要处理更多的数据，但基于GPU的并行处理能大大减少处理时间；本发明的成本目前较传统测斜装置略有降低，且随着硬件的发展，配套成本将大幅下降。
总体而言，本发明实施例提供的测斜管变形监测方法测得的数据准确可靠，能够更加真实地反映测斜管地实际变形情况，便于监测基坑水平位移监测，能够更加简单、准确地把控基坑工程地安全程度。
附图说明
图1为本发明的装置示意图；
图2为本发明探头端结构示意图；
图3为本发明特征设计示意图；
图4为本发明的系统框架图；
图5为本发明的部分算法流程图。
具体实施方法
为使本发明的目的、技术优点更清晰，下面将对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限制本发明的范围。
实施例中未注明具体条件者，按照常规条件进行；所用仪器未注明生产厂商者，均可以通过市售购买获得的常规产品；所使用的所有技术术语均与本发明技术领域的技术人员通常理解的含义相同。以上仅为了更好地描述具体实施例，不是旨在于限制本发明。
一种耦合光学定位与实时更新的测斜监测装置及方法，如其示意图如图1所示；
整个装置主要分为：测斜管6、提升端7、探头端8和控制端9。测斜管内壁布设专门设计的特征点；提升端通过自动提升技术，精密控制探头下降速度等指标；探头端包括管内照明系统、单目镜头及其配套设施，确保视频的精度；控制端通过下述其他算法建立测斜管三维变形模型，并提取出特征测斜曲线，实现可视化的精准监测手段。
本发明通过以下技术方案实现上述目的：本发明包括镜头校正算法、特征点设计方案、基于SLAM的匹配算法、特征测斜曲线计算、三维变形模型重构算法、精度修正算法。
1)镜头校正算法：用以标定镜头内参，并消除镜头畸变对精度的影响。
2)特征点设计方案：采用点状编码标志和普通标志分别设计关键测点和普通特征点，提高匹配速度，减少误匹配率。
3)基于SLAM的匹配算法：主要包括特征匹配、深度计算和稀疏地图构建。特征匹配：选取关键帧→提取特征→稀疏映射匹配→优化剔除误匹配→探头位姿和图像特征点；深度计算：通过三角测量法和多帧优化计算出特征点的深度信息；稀疏地图构建：基于位姿数据将所有特征点整合在同一坐标系下建立稀疏锚点模型。
4)特征测斜曲线计算：分为关键测点提取和曲线计算。关键测点提取：对所有特征点的编码信息进行识别，通过定位标识选取关键测点，并将其编码语义信息及深度信息保存至TXT文件。曲线计算：对关键测点的信息进行进一步处理，以管口点为基准生成特征测斜曲线(即包含传统测斜监测曲线)。
5)三维模型重构算法：包括模型构建和模型对齐。模型构建：设定帧重合率→选择重建关键帧及其子集→计算所选子集每个像素的深度→多目标优化→构建稠密深度模型。模型对齐：基于关键测点的三维信息，将稠密深度模型与稀疏模型对齐，形成测斜管的三维变形模型。
6)精度修正算法：为了保证信息计算的准确度，在进行计算时，会采取BA优化以及回环检测等手段，保证变形的精度能达到亚mm级。
另外，本发明还提供了一种测斜管三维空间形状的估算方法，即将探头位姿数据导出，可以粗略得出侧斜贯的三维空间形状。
测斜管里每500mm布置点状编码标志(关键测点)，其作用是：涵盖传统测斜曲线的功能，能反映测斜管的大体变形情况。其余管壁每100mm布置普通标志(普通特征点)，其作用是：增加管壁的特征点数量，以便匹配。
点状编码标志(关键测点)由5个定位点和14个区分不同编码标志的编码点组成，具有旋转不变性，可按照任意角度布置，如图3a(点状编码标志)所示。定位点基于透视投影的交比不变性质定位每一个点状编码标志块，而编码点分布在不同的设计位置用来存储关键测点的信息。高度定位点表示关键测点离管口的竖向距离，方向定位点表示关键测点的周向位置。通过更改编码点的数量、位置和组合关系，每个标志点根据不同的设计坐标被赋予了一个唯一的数字标识，构成了含有语义信息的编码体系。
普通标志由1/8实心的圆环构成，便于特征点的提取和处理。在布设过程中，采用不规律的方式(随机布设、任意旋转等)布设在相邻的编码标志之间，如图3b(普通标志)所示。
提升端由定速提升装置及其配套设施组成，将速度与模型精度匹配，分为Ⅰ型、Ⅱ型和手动。Ⅰ型：并行建模，速度快耗时短，适用于常规监测。Ⅱ型：并行建模返程进行回环检测，确保建模的精度，适用于精确监测。手动：当发生意外时可以及时通过手动提升下方探头，防止探头损坏。
探头端如图2所示，由小型照明系统、单目镜头及其配套设施组成。小型照明系统采用无影灯环，以减少阴影对特征匹配的影响。单目镜头采用类德国IDS公司UI系列的计算机视觉专用镜头，确保识别精度。配套设备包括一个数据存储中心，用于临时存储视频流(观测图像序列)，防止放线过长或者设备老化导致数据丢失。
控制端是本发明最具创新的部分。根据测斜管的工程特性，对SLAM技术进行了算法群的完善和升级，确保形成精确的特征测斜曲线和三维变形模型。
系统框架，如图4所示，注：单线框图为采集视频流；虚线框图为前端部分；双线框图为后端部分，如下：
1)跟踪获取图像序列，并将图像序列分别传输至前端与后端。
2)前端通过关键帧提取、特征提取及匹配计算位姿并传输到后端。其采用ORB描述量提取和匹配新帧及上一帧的特征点，并使用恒速运动模型计算探头位姿。误差评价采用Huber损失函数最小化重投影误差。
3)前端从选定的关键帧中对特征点进行三角测量，计算特征点的深度信息。其采用强过滤器去除异常值，并进一步BA优化深度信息，提高计算的准确度。
4)后端基于位姿与特征点的空间关系以及帧与帧的运动关系，建立稀疏锚点模型。其通过位姿与特征点的空间关系，将特征点的三维坐标(位置和深度)统一到大地坐标，然后通过帧与帧的运动关系拼接模型。
5)前端基于投影不变性定位关键测点，通过识别特征点的类别编码提取关键测点的信息。对关键测点的信息进行进一步处理，求出每对关键测点的变形比，按时间顺序保存至算法元组中，并通过作图软件更新曲线图。
6)后端基于位姿与图像进行三维变形模型重构。稠密模型旨在计算所选关键帧子集每个像素的深度，为简化计算复杂度，选择关键帧的一个子集进行稠密计算。其详细步骤如下：A)关键帧选取：给定重建关键帧的重叠率δ1，当重构模型投影与关键帧i的重叠率小于δ1时，选择关键帧i作为重构关键帧；B)子集选取：基于视差阈值α1，从重构关键帧i开始顺序搜索，直到寻到视差大于阈值α1的边缘帧j，选择边缘帧j、重构关键帧i及中间帧作为重构子集；C)子集优化：基于去冗阈值α2，对重构子集内的帧进行筛选，如果帧与其邻帧之间的视差低于去冗阈值α2，则将该帧删除；D)三维重构：采用反向深度图描述重构子集的深度信息，并结合ZNCC权重和Huber正则化范数评估计算精度；E)模型对齐：将前端更新的稀疏锚点模型中的特征点和关键帧的位姿作为锚点，用以保持稠密模型与稀疏SLAM映射对齐。
其中，前端和后端是算法的模块化称呼，均在控制端中运行，前端主要负责对探头端传来的原始数据进行处理和数据关联，比如提取图像的特征点，匹配特征，对图片帧与帧之间进行关联，简单的精度校正等。后端主要负责解决根据前端传递的数据，建立模型的求解和优化问题；并且该技术为了保证检测精度，在位姿计算和三维变形模型重构阶段，提出了新的精度算法。
在计算探头端位姿时，采用内外层迭代的方法估计基础矩阵(用于分解计算位姿)，算法流程如图5a，内外层迭代法，其中，黑底为外层迭代，白底为内层迭代(特征匹配点对为输入，基础矩阵内点子集为输出)。其算法核心为随机初始化外层子集，并在外层采用7点法进行粗略计算，遍历所有样本点扩充内点子集，通过内点置信度判断后，将过滤过的内点集和基础矩阵传递给内层。内层再通过7点或8点法迭代计算将结果传递到外层，通过内点置信度检验，判断精度是否合格。
在三维变形模型重构阶段，为防止系统误差随着帧数的递增，该系统从三个方面进行了精度控制。A)提高重投影误差的判断阈值。B)采用多序列扩展式重建。其主要核心思想是将视频流(观测图像序列)分为多个单序列进行拓展重建，并通过临时数据总线控制数据交换，最后将多路序列配准，输出场稠密模型，算法流程如图5b(多序列扩展重建法)。C)联合景深与运动的方法。其主要核心思想是根据运动观测系统的特性，融合已知运动信息和深度信息，削弱景深估计误差和由于运动导致的视角变化和运动估计误差，算法流程如图5c(联合运动与景深的方法)。
需要特别说明：模型对齐过程中，会结合实际测斜管的形状和未变形模型段还原测斜管的真实深度信息；并结合纹理手段，形成最后的纹理化模型。
综上所述，本发明实施例提供的联合光学即时定位与建图更新的测斜管变形监测方法及装置测得的变形模型更加准确可靠，能够达到0.2个像素误差(至少为0.05毫米级)的测斜管变形监测，确保基坑工程的安全。
以上所述仅为本发明的较佳实施例，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种耦合光学定位与实时更新的测斜监测装置，包括测斜管、提升端、探头端和控制端，所述测斜管插置于地下，提升端控制探头端于测斜管中从上至下投放，控制端通过探头端采集测斜管内信息，其特征在于：所述测斜管内壁布设专有设计的特征点，包括点状编码标志和普通标志，探头端采集包含点状编码标志和普通标志的图像序列，控制端分析出测斜管的三维变形模型。
2.根据权利要求1所述的一种耦合光学定位与实时更新的测斜监测装置，其特征在于：所述点状编码标志采用方向定位点、高度定位点以及多个定位标识的标识信息进行信息预设，多个定位标识分布于方向定位点、高度定位点周围，采用投影定理的交比不变性分布原则；所述普通标志采用随机位置布设的具有特征区别的标识信息进行信息预设。
3.根据权利要求2所述的一种耦合光学定位与实时更新的测斜监测装置，其特征在于：所述测斜管内壁中每500mm布置点一个点状编码标志群，其余内壁随机分布普通标志。
4.根据权利要求3所述的一种耦合光学定位与实时更新的测斜监测装置，其特征在于：一个点状编码标志群包括测斜管内同高度周向布置的四个点状编码标志，一个点状编码标志群的四个点状编码标志中高度定位点标记相同高度编号，一个点状编码标志群的方向定位点分别依次标记四个方向的位置编号，测斜管中所有点状编码标志群的位置编号的顺序和方向基准相同。
5.根据权利要求3或4所述的一种耦合光学定位与实时更新的测斜监测装置，其特征在于：所述普通标志采用随机布设的圆环以及圆环内多个区域随机填充形成的标识信息进行信息预设，圆环分为内圆区域和外环区域，内圆区域和外环区域分别等分为四个区域，共八个填充区域，普通标志的位置随机布置，普通标志内八个填充区域中随机则一填充作为标识。
6.根据权利要求1所述的一种耦合光学定位与实时更新的测斜监测装置，其特征在于：所述探头端包括保护壳(1)，保护壳(1)的下部为弯曲部(2)，保护壳(1)内置导像束(3)，保护壳(1)的底端位置具有与导像束(3)连接的相机(4)，相机(4)用于采集和传输测斜管中的点状编码标志和普通标志信息，保护壳(1)上还设有与相机(4)连接的数据传输中心(5)，数据传输中心(5)用于临时存储图像序列信息，所述相机(4)处还配设有照明装置。
7.根据权利要求1-6中任一项所述的一种耦合光学定位与实时更新的测斜监测装置的监测方法，其特征在于：所述相机(4)采用鱼眼镜头，所述相机(4)成像模型为针孔成像模型，相机的畸变模型采用FOV模型，其内参包括相机x轴的焦距fx，相机y轴的焦距fy，像主点在像素坐标系下的x坐标cx，像主点在像素坐标系下的y坐标cy，以及视场角ω；
镜头在拍摄图像序列时，每个像素的真实坐标与像素坐标的理想转换关系如公式1所示：
ZPp＝K(R+t)Pw (1)
其中Z为尺度因子；Pp为像素坐标系，记为(u,v,1)T；K为内参矩阵；R为旋转矩阵；t为平移向量，R和t合称外参矩阵；Pw为世界坐标系，记为(U,V,W,1)T；该式表明任意点的世界坐标系经过外参矩阵，即旋转(R)和平移(t)，内参矩阵转换和尺度缩放，可得到该点在相片上的像素坐标，本发明算法核心思想即为反解该坐标转换关系；
所述监测方法包括以下步骤：
步骤一：在测斜管内布置点状编码标志群和普通标志，并通过相机镜头校正算法更新镜头的内参，并消除镜头畸变对精度的影响；
点状编码标识的布置方法如下：
多个定位标识布置在点状编码标志中的对应位置，其功能是在图像输入后，通过特征测斜曲线计算算法基于定位标识的交比不变性识别出点状编码标志；方向定位点存储了该点状编码离管口的距离，每500mm为一个节点；方向定位点存储了该点状编码的周向信息；然后特征测斜曲线计算算法首先验算定位标识的交比不变性定位到某一个点状编码，再通过特征测斜曲线计算算法的目标识别模块识别出对应的高度定位点信息和方向定位点信息；
镜头校正算法基于张正友相机标定法，其数学原理如下：
求解内参矩阵K：
将黑白棋格粘贴于平面白墙上，令W＝0，根据公式(1)的矩阵换算可知，内参矩阵与外参矩阵的乘积必为3×3的矩阵H，则公式(1)可简化为公式(2)；
根据H矩阵的齐次性，化简成为式(3)和式(4)；
由上式可知，当得知的黑白棋盘格的实际坐标和像素坐标大于等于4对时，即可求得H矩阵；
选取旋转矩阵R的第一列R1，第二列R2，由于旋转矩阵的单位正交性，可得：
将H矩阵和R1、R2的关系带入式(3)、(4)，可得：
联合求出来的H矩阵和以上约束，先求解出K-TK-1矩阵，再根据内参矩阵为上三角矩阵，分解出内参矩阵K；
消除畸变参数：
实际图片在转化的时候会因为镜头型号等问题发生一定的畸变，本算法同时考虑径向畸变和轴向畸变，其数学表达式为公式(7)；通过将每一个点畸变后的坐标和畸变前的坐标，带入公式(1)后，由最小二乘法求出各畸变参数；
由于两个部分求解出的参数互相影响，最后基于L-M算法对所有参数进行迭代优化；
步骤二：下放探头端，并固定好提升端，防止在自动测斜过程中，出现仪器不稳的情况；
步骤三：启动探头端与提升端，提升端控制探头端下放，探头端通过镜头采集图像序列，将数据传输至控制端，并在数据传输中心(5)备份；
步骤四：前端基于SLAM的匹配算法提取关键帧，并进行特征提取及匹配计算位姿并传输到后端；
基于SLAM的匹配算法主要框架为ORB-SLAM2算法，其分为特征匹配和深度计算；
特征匹配：
图像序列从探头端传入后，算法比对帧之间的重叠率自适应筛选关键帧；然后通过特征提取出关键帧的ORB特征点，并采用对极约束进行初始化配对，待初始化完成后，则采用ICP和P3P算法进行匹配；其中对极约束原理为考虑某个空间三维点P和两个时刻的帧；P的世界坐标为(X,Y,Z)，它在两帧的相机坐标系下的坐标分别为Pc1和Pc2，相机的内参矩阵为k，当前帧的旋转矩阵R和平移向量t已知，可得：
本算法将对极约束的阈值设定为0.001，若两个像素点满足对极约束的误差，即认为它们配对成功；
待两幅图特征配对完成后，采用Open CV的EPNP对镜头的位姿进行计算，其数学原理为通过反复迭代公式(8)，以寻找最好的相机位姿，使得关键帧之间的重投影误差最小；
其中，T为相机位姿的李群表示，即代表R、t；Pi为空间点坐标；ui为其投影的像素坐标；
深度计算：
深度计算是将匹配好的特征点的深度信息进行恢复，其数学原理为三角测量；其通过考虑某个空间三维点P和两个时刻的帧，P的世界坐标为(X,Y,Z)，它在两帧的像素坐标系下的齐次坐标分别为Pp1(x1,y1,1)和Pp2(x2，y2,1)，相机的内参矩阵为K，参考帧的旋转矩阵R和平移向量t已知，可得：
公式(9)中，其他量均通过之前的计算可得，那仅剩的未知量仅有Z，因此就可以恢复该空间点的真实三维信息；
步骤五：后端基于SLAM的匹配算法构建稀疏锚点模型；其通过位姿与特征点的空间关系以及帧与帧的运动关系，建立稀疏锚点模型，并通过位姿与特征点的空间关系，将特征点的三维坐标统一到大地坐标，然后通过帧与帧的运动关系拼接模型；
在得到了关键帧所有特征点的真实坐标和探头的位姿之后，可以通过简单的坐标变换将所有坐标统一在大地坐标系下，即可完成稀疏锚点模型的建立；
步骤六：前端基于特征测斜曲线计算算法涵盖传统测斜的功能；其通过识别关键测点并对关键测点的信息进行进一步处理，求出每对关键测点的变形比，并作图软件更新曲线图；
特征测斜曲线计算算法是将所有识别的特征点，通过验证点状编码标志透视投影的交比不变性来识别出点状编码，并进行标志点提取；由于定位点和编码点所占像素较少，一般采用重心法求取标志点代表的含义，阈值取0.05，其数学公式如式(10)：
其中，(ik，jk)表示像素点坐标，
表示(ik，jk)处的像素值；
步骤七：后端基于三维模型重构算法计算出测斜管的三维变形模型；
基于三维模型重构算法通过比对帧之间的重叠率筛选出相同的关键帧，对所有关键帧的一个子集每个像素进行三角测量，并计算每个像素的三维真实坐标，得到稠密模型；然后通过前端传递的位姿信息，并将前端更新的稀疏锚点模型中的特征点作为锚点，将稠密模型与稀疏锚点模型映射对齐，其通过RMSE进行误差评估；
步骤八：重复步骤四至步骤七，直至探头端下放至孔底；其中需要注意的是，步骤七是带步骤三图像序列采集到一定程度后，便开始并行运行，然后等待步骤五传入稀疏锚点模型；
步骤九：提升端控制探头端上拉，探头端采集返程图像序列，控制端基于精度修正算法修正三维变形模型的精度；其中需要注意的是，精度修正算法在整个控制端运算流程中都在保持运行状态，该步骤仅为专门的精度修正步骤；
精度修正算法包括：回环检测以及各步骤计算时采用的误差函数；
回环检测：
采用词袋模型，即将关键帧的特征点划分为词，然后将当前帧和之前所有帧中出现的词用描述向量表示，通过比较两个帧的描述向量即可定义这两帧的相似程度，其数学公式如式(11)，经过多次实验证明回环检测能提高模型的精度；
其中，a，b为描述向量；w为词袋中所有词的总和；
步骤十：提升端提升到孔口，完成一次正测，后进行80°转向，重复步骤三到步骤九，实现一次反测；
步骤十一：正反测结束后，关闭仪器，保存测斜模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111545611.0A CN114332362A (zh) | 2021-12-15 | 2021-12-15 | 一种耦合光学定位与实时更新的测斜监测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111545611.0A CN114332362A (zh) | 2021-12-15 | 2021-12-15 | 一种耦合光学定位与实时更新的测斜监测装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332362A true CN114332362A (zh) | 2022-04-12 |
Family
ID=81053536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111545611.0A Pending CN114332362A (zh) | 2021-12-15 | 2021-12-15 | 一种耦合光学定位与实时更新的测斜监测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332362A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190234746A1 (en) * | 2016-09-14 | 2019-08-01 | Zhejiang University | Method for simultaneous localization and mapping |
| US20200273190A1 (en) * | 2018-03-14 | 2020-08-27 | Dalian University Of Technology | Method for 3d scene dense reconstruction based on monocular visual slam |
| CN112750172A (zh) * | 2020-07-23 | 2021-05-04 | 江苏普达迪泰科技有限公司 | 一种摄影测量中点状编码标志的改进方法 |
| CN112799080A (zh) * | 2019-11-14 | 2021-05-14 | 深圳芯视微系统科技有限公司 | 深度感测装置及方法 |
-
2021
- 2021-12-15 CN CN202111545611.0A patent/CN114332362A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190234746A1 (en) * | 2016-09-14 | 2019-08-01 | Zhejiang University | Method for simultaneous localization and mapping |
| US20200273190A1 (en) * | 2018-03-14 | 2020-08-27 | Dalian University Of Technology | Method for 3d scene dense reconstruction based on monocular visual slam |
| CN112799080A (zh) * | 2019-11-14 | 2021-05-14 | 深圳芯视微系统科技有限公司 | 深度感测装置及方法 |
| CN112750172A (zh) * | 2020-07-23 | 2021-05-04 | 江苏普达迪泰科技有限公司 | 一种摄影测量中点状编码标志的改进方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张国良;姚二亮;林志林;徐慧;: "融合直接法与特征法的快速双目SLAM算法", 机器人, no. 06, 15 November 2017 (2017-11-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109509230B (zh) | 一种应用于多镜头组合式全景相机的slam方法 | |
| CN109631855B (zh) | 基于orb-slam的高精度车辆定位方法 | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| CN103267491B (zh) | 自动获取物体表面完整三维数据的方法及系统 | |
| CN108765328B (zh) | 一种高精度多特征平面模板及其畸变优化和标定方法 | |
| CN110307790A (zh) | 应用于边坡安全监测的摄像机检测装置及方法 | |
| CN108010085A (zh) | 基于双目可见光相机与热红外相机的目标识别方法 | |
| CN104537659B (zh) | 双摄像机的自动标定方法和系统 | |
| CN103714571B (zh) | 一种基于摄影测量的单像机三维重建方法 | |
| CN106705849B (zh) | 线结构光传感器标定方法 | |
| CN108986037A (zh) | 基于半直接法的单目视觉里程计定位方法及定位系统 | |
| CN107240129A (zh) | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 | |
| CN103604417B (zh) | 物方信息约束的多视影像双向匹配策略 | |
| CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
| CN105654476A (zh) | 基于混沌粒子群优化算法的双目标定方法 | |
| CN104794748A (zh) | 基于Kinect视觉技术的三维空间地图构建方法 | |
| CN103258329A (zh) | 一种基于圆球一维特性的摄像机标定方法 | |
| CN113902809A (zh) | 一种红外相机与激光雷达联合标定的方法 | |
| CN106530407A (zh) | 一种用于虚拟现实的三维全景拼接方法、装置和系统 | |
| CN108154066B (zh) | 一种基于曲率特征递归神经网络的三维目标识别方法 | |
| CN116778288A (zh) | 一种多模态融合目标检测系统及方法 | |
| CN106295657A (zh) | 一种视频数据结构化过程中提取人体高度特征的方法 | |
| Özdemir et al. | A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment | |
| CN105787464A (zh) | 一种大量图片在三维场景中的视点标定方法 | |
| CN104596486B (zh) | 基于目标旋转对称特征的位姿测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |