CN105023270A - 用于地下基础设施结构监测的主动式3d立体全景视觉传感器 - Google Patents

Abstract

本发明公开了一种用于地下基础设施结构监测的主动式3D立体全景视觉传感器，包括：用于为管道内壁提供管道断截面全景扫描光的全景激光光源，用于获取管道内壁全景激光扫描的切片图像的全方位视觉传感器，以及用于管道内壁照明的LED光源；所述的全景激光光源通过连接器同轴固定在全方位视觉传感器的顶部；所述的全景激光光源包括与连接器固定的底座，安装在底座上且为圆筒形的透明外罩，位于透明外罩一端的圆圈形激光发射器，位于透明外罩另一端并用于反射圆圈激光以形成全景激光的圆锥形镜面；所述的主动式3D立体全景视觉传感器还包括处理器，用于在全景激光扫描的切片图像上解析出激光投影位置信息，并进行3D建模。

Description

用于地下基础设施结构监测的主动式3D立体全景视觉传感器

技术领域

本发明涉及全景激光光源、全方位视觉传感器以及计算机视觉技术在全景立体视觉测量及建模等方面的应用，尤其是一种用于全方位三维模型重建的主动式3D立体全景视觉传感器，主要应用于管道、隧道等狭长而较为封闭空间的3D测量及建模等领域。

背景技术

地下管道和地铁隧道，以下简称为管道，都隶属于超大型土木工程，都存在着结构健康监测问题，其必要性和迫切性是不言而喻的。需要有一种对管道进行自动化的、全方位的、智能化的全面健康体检技术，定期对管道进行检测和维护。

结构健康监测技术是一个多领域跨学科的综合性技术，它涉及土木工程、动力学、材料学、传感技术、测试技术、信号分析、计算机技术、网络通讯通信技术、模式识别等多个研究方向。

从管道内表面视觉检测的目的进行分类，可分为以下两类：第一类是检测有无缺陷，例如腐蚀、裂缝、泄漏、变形等，有的检测需要对缺陷进行精确定位，以此来进行维修；第二类是检测几何量，例如管道的内壁形貌、内径、直线度等参数，这类检测方法与第一类差别较大，需要准确获取管道内表面密集点云的精确三维坐标。

现今使用最普遍的检测工具是管道闭路电视检测系统，即CCTV法，该方法是专门应用于地下管道检测的工具。

中国发明专利申请号为201010170739.9公开了一种排水管道视频检测机器人，其中包括摄像系统，镜头控制系统，机身驱动系，软件控制与数据传输系统和照明装置。由驱动系统负载其它系统在管道内爬行，镜头控制系统用以调整摄像系统的位置与角度，摄像系统获取经照明后的管道内部信息，最后通过数据传输系统将这些信息输出到计算机屏幕上。这种技术主要存在的问题是，需要额外的镜头控制系统不断调整摄像系统的位置与角度来获取管道内部的全景图像信息，并且要从这些图像信息进行三维重构及三维检测是极其困难的，另外，需要相关的技术人员根据这些检测录像，进行管道内部状况的判读与分析，从严格意义上讲，这类技术仅仅是获取了管内的图像信息。

中国发明专利申请号为201010022782.0公开了一种CCTV闭路电视摄像检测方法，是采用CCTV管道内窥电视摄像检测系统，在管道内自动爬行，对管道的结构状况进行探测和摄像，通过有线传输方式进行显示和记录，并依据检测技术规程再进行评估的一种检测方法。从严格意义上讲，这类技术也仅仅是获取了管内的图像信息。

综上所述，目前利用CCTV法进行管道检测时存在着以下的缺陷和不足：首先，摄像机所拍摄的范围有限，只能获取管道内壁某一部分的图像，为了获取管道内壁所有图像，需要不断改变摄像机的视角；另外，目前还只能靠检测人员用眼睛通过所获取管道内的图像来判断表面是否存在缺陷，一般人眼只能察觉尺寸变化达±10％以上的图像变异，难以实现管道检测的精准自动化和智能化；其次，目前的管内图像获取方法导致了难以对缺陷的尺寸以及具体位置作定量的测量和分析，仍然依靠地面上的工作人员的经验来判断，并对计算机处理结果进行综合分析，难以对管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估，自动地将管道运行状况分为不同等级；最后，管道内部侧壁的三维建模困难，难以用三维数据方式再现管道的详细情况，为管道的维护管理提供有效的数据支撑，为制定管道维修计划提供参考，以便采用不同的修复方法，及时、经济地进行修复。

中国发明专利申请号为201510006892.0公开了一种基于主动式全景视觉的管道内部功缺陷检测装置及方法，该装置包括：摄像爬行系统、控制电缆和检测分析核心操作系统；检测分析核心操作系统包括：协调动作控制单元、爬行系统控制单元、图像接收单元、功能性缺陷和结构性缺陷的定性和定量分析判断模块和储存单元；通过对管道内部全景影像及激光扫描断面切片图像两种图像进行机器视觉处理分析和识别管道的功能性缺陷和结构性缺陷。该申请提案有效地克服了CCTV法进行管道检测时存在着一些的缺陷和不足，但是内容尚未涉及如何高精度进行3D测量的主动式全景视觉传感器设计技术，更进一步，该案尚未涉及如何应用主动式全景视觉传感器对管道内部进行三维重建技术。

中国发明专利申请号为201510005918.X公开了一种基于主动式全景视觉的隧道全断面高速动态健康检测装置与方法，其硬件包括：隧道检测车、主动式全景视觉传感器、RFID读取器和处理器；系统软件包括：全方位面激光信息解析及点云数据获取单元、隧道中轴线提取单元、降噪及平差处理单元、三维建模及变形分析单元、全隧道各节横断面基准数据库、全隧道纵断面拼接单元、位移监测和沉降监测单元、全隧道健康体检结果数据库和隧道纵断面变移量三维可视化单元；通过对隧道内壁激光扫描断面切片图像进行机器视觉处理分析和识别隧道的横向和纵向形变。该申请提案有效地克服了目前激光视觉法进行隧道检测时存在着一些的缺陷和不足，但是内容尚未涉及如何高精度进行3D测量的主动式全景视觉传感器设计技术。

发明内容

为了克服已有的CCTV法的自动化和智能化水平低、难以对管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估、管道内部侧壁的三维建模困难等不足，本发明提供一种用于对管道内部进行检测的主动式全景视觉技术，能够提高管道检测自动化和智能化水平，对管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估，实现管道内部侧壁的三维建模。

要实现上述发明内容，必须要解决三个核心问题：(1)实现一种全景激光光源；(2)实现一种能快速并高精度获得实际物体深度信息的主动式全景视觉传感器；(3)采用计算机视觉技术对管道内部侧壁的三维重建方法。

本发明解决其技术问题所采用的技术方案是：

一种用于地下基础设施结构健康监测的主动式3D立体全景视觉传感器，其硬件包括：全方位视觉传感器、全景激光光源和照明用的LED带光源；所述的全方位视觉传感器与所述的全景激光光源进行同轴固定连接，LED带光源环绕在所述的全方位视觉传感器的下固定座上；

所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元和连接单元；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上；

所述的全景激光光源，包括圆锥形镜面、透明外罩、圆圈形激光发射器和底座，圆圈形激光发射器固定在底座上，圆圈形激光发射器的发射光轴心线与底座轴心线一致，圆锥形镜面固定在透明外罩的一端，固定着圆圈形激光发射器的底座固定在透明外罩的另一端；圆圈形激光发射器发射出来的圆圈激光通过圆锥形镜面的反射产生垂直于轴心线的全景激光；

所述的主动式3D立体全景视觉传感器，通过连接器将所述的全方位视觉传感器和所述的全景激光光源连接而成，全景激光光源投射到管道内壁上的全景激光经管道内壁的反射在所述的全方位视觉传感器中成像；这里有两个设计要点：1)全方位视觉传感器在水平方向的视角范围为360°，在垂直方向的视角范围为78°，其中仰角为28°、俯角为50°；2)全景激光光源配置在全方位视觉传感器的上方，以保证全景激光光源投射到管道内壁上的全景激光经管道内壁的反射在全方位视觉传感器中的仰角成像区域；下面结合图1介绍主动式3D立体全景视觉传感器的检测原理；

光线矢量r由全景激光的图像坐标[u,v]通过公式(1)进行计算，

$r=\mathrm{\λ}\left(\begin{array}{c}\mathrm{su}\\ \mathrm{sv}\\ \mathrm{sf}-2c\end{array}\right)---\left(1\right)$

式中，

$c=\sqrt{a^2+b^2}---\left(2\right)$

$s=\frac{a^2(f\sqrt{a^2+b^2}+b\sqrt{u^2+v^2+f^2})}{a^2{f}^2-b^2(u^2+v^2)}---\left(3\right)$

在上述方程中，a，b和c是双曲面镜的参数，f是焦距，即透镜的中心与像平面之间的距离，λ表示光线向量的比例值，u,v分别为图像坐标系中的值。

用公式(4)定义全景激光平面；

k₁x+k₂y+k₃z+k₄＝0                 (4)

式中，k₁，k₂，k₃，k₄是预先校准的平面参数，x,y,z分别为实际空间坐标系中的值。

从公式(1)～(4)，用公式(5)来计算测量点的3D坐标值；

$\left(\begin{array}{c}{x}_p\\ y_p\\ z_p\end{array}\right)=\frac{-k_4}{k_1\mathrm{su}+k_2\mathrm{sv}+k_3(\mathrm{sf}-2c)}\left(\begin{array}{c}\mathrm{su}\\ \mathrm{sv}\\ \mathrm{sf}-2c\end{array}\right)---\left(5\right)$

摄像单元，即全景成像芯片，其像素的有效数量为p_H×p_V，单位为像素；每个像素的尺寸是s_H×s_V，单位为毫米；实际获取图像的大小为H×V，单位为像素；基线距B和测量误差ΔD之间的关系用公式(6)～(9)来进行计算，

$\frac{\mathrm{\ΔD}}{D}=\frac{(c^2-b^2)(2{\mathrm{bcf}}^2-(b^2+c^2)\sqrt{f^2+r^2}f)\mathrm{\Δr}}{\sqrt{f^2+r^2}(b^2+c^2)f-2\mathrm{bc}\sqrt{f^2+r^2}}\frac{B}{D}---\left(6\right)$

$r=\mathrm{fa}\frac{b\sqrt{1+{(B/D)}^2}-\frac{\mathrm{cB}}{D}}{b\sqrt{b\sqrt{1+{(B/D)}^2}-\frac{\mathrm{cB}}{D}+a^2{\mathrm{\κ}}^2+\mathrm{ac\κ}}}---\left(7\right)$

$\mathrm{\κ}=(\frac{b}{a}-\frac{B}{D})(\frac{b}{a}+\frac{B}{D})---\left(8\right)$

$\mathrm{\Δr}=\sqrt{{\left(\frac{p_H{s}_H}{2H}\right)}^2+{\left(\frac{p_V{s}_V}{2V}\right)}^2}---\left(9\right)$

式中，D是ODVS的轴心线到测量对象的距离，B是主动式全景视觉传感器的基线距，r是在全景图像中从全景图像中心到激光光线投射点之间的距离，Δr是图像平面上的量化误差，a，b和c是双曲面镜的参数，f是焦距，s_H和s_V分别为图像平面上的水平和垂直方向上的分辨率，p_H和p_V分别为图像平面上的水平和垂直方向上的像素值，H和V分别为图像平面上的水平和垂直方向上的值。

为了提高测量精度，这里用ΔD/D表示测量误差率，根据检测的管道内径来选择与其相对应的基线距B，使得B/D基本上能够保持恒定；由公式(7)所知r值也基本上保持恒定。如果r值越大，在全景图像成像平面上越远离全景图像中心，由公式(6)所知，ΔD值就越小；另外，在全景图像上，公式(9)计算得到的量化误差Δr是随着r值的增大而减小的，这是由于在全景图像成像平面上越远离全景图像中心每个像素的压缩越小，即s_H和s_V与r值成反比；因此，采用图1的设计，通过根据检测的管道内径来选择与其相对应的基线距B，使得由公式(7)计算得到的r值增大，同时随着r值增大由公式(9)计算得到的量化误差Δr随之减小，最终使得由公式(6)计算得到的测量误差率ΔD/D减小，实现了一种高精度的测量；当然，增加全景成像芯片的分辨率，即减小量化误差Δr也能有效减小测量误差率。

针对被测管道的管径不同，这里设计了两种不同类型的主动式3D立体全景视觉传感器，如图5所示的是一种长基线距的主动式3D立体全景视觉传感器，这类传感器适用于被测管径较大的场合，通过改变全景激光光源与连接器的相对连接固定位置来实现改变主动式3D立体全景视觉传感器的基线距B；如图6所示的是一种短基线距的主动式3D立体全景视觉传感器，这类传感器适用于被测管径较小的场合，通过改变全景激光光源与连接器的相对连接固定位置来实现改变主动式3D立体全景视觉传感器的基线距B。

在实际检测过程中，主动式3D立体全景视觉传感器搭载在管道爬行器上，随着爬行器沿管道轴线移动，全景激光光源为管道内壁提供管道断截面全景扫描光，全方位视觉传感器获取全景激光扫描的切片图像；接着，需要在全景激光扫描的切片图像上解析出激光投影位置信息；本发明将上述处理过程称为全景激光截面法。

激光投影位置信息是通过帧间差法进行提取的，帧间差法通过对两个相邻位置所获得的全景激光扫描的切片图像作差分运算来获得激光投射点的方法；当管道爬行器前行过程中，前后位置所获取的两帧全景激光扫描的切片图像，其帧与帧之间在沿管道轴线方向上会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取全景切片图像中的激光投射点；

由于在检测过程中会存在着噪声的影响，得到的截面边缘信息会出现不连续的现象。因此需要通过局部连接法将不连续的截面边缘进行连接，连接算法思想是通过比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边，用公式(10)和公式(11)来进行判断，

|▽f(x,y)-▽f(x',y')|≤T_▽               (10)

|α(x,y)-α(x',y')|≤A_α                 (11)

式中，▽f(x,y)为管道内壁邻域内的边界点梯度值，▽f(x',y')为待确认点梯度值，T_▽为梯度判断阈值，α(x,y)为管道内壁邻域内的边界点梯度向量的方向角，α(x',y')为待确认点梯度向量的方向角，A_α为梯度向量的方向角判断阈值。

当公式(10)和公式(11)都成立时，表示待确认点与管道内壁邻域内的边界点的梯度值和方向角都是相似的，两点是连接的，即待确认点是属于管道内壁上的点；通过上述处理得到了在图像平面上的一条完整的封闭管道内壁边缘线；

进一步，针对全景图像的成像特点，对得到的封闭管道内壁边缘线采用环形遍历的方式，以图像中心位置为圆心，以相等的间隔角度从方位角0°→360°进行遍历，根据公式(5)计算得到管道内部实际空间点云几何数据；

为了对狭长管道进行3D建模，需要对搭载着主动式3D立体全景视觉传感器的爬行器的运动进行估计；这里将检测坐标系建立在全方位视觉传感器的单视点上，使用SFM算法，即运动的结构重建算法，对爬行器的运动进行估计，得到测量点坐标变换的信息；

具体管道3D建模过程如下：首先，全方位视觉传感器获得其运动过程中的全方向图像序列；然后利用SFM算法提取和跟踪特征点，以获得全方向图像序列中的相对应点；接着用线性估计方法估计爬行器的运动，主要利用对应点在每个观测点拍摄的两个图像的位置；最后为了更精确地估计爬行器的运动，用非线性估计方法重新估算爬行器的运动；

特征点的提取和跟踪：为了在全方位图像序列中获得图像之间的对应点，首先在第一帧图像中提取特征点，然后沿着图像序列跟踪这些特征点；跟踪特征点采用SIFT算法，即尺度不变特征变换算法；然而，实际上全方位图像的畸变和投影畸变会影响对应特征点采集和跟踪；这是因为现有的SIFT算法是一种全局的算法，全景视觉在全局范围内难以保证尺度不变特征变换条件，从而导致了误跟踪；为了提高SIFT算法的跟踪精度，这里根据爬行器在管道中的运动特征，将对应特征点采集和跟踪规定在一个局部范围内，即通过划分跟踪扇区方法；该方法是基于在全方位图像序列中的两帧之间相对应点的空间位置是不会发生突变的假设，爬行器在前行过程中，相对应点是在某一个扇区范围内从全景图像的外圈向图像中心方向移动的，或者是从图像中心向全景图像的外圈方向移动的；有了扇区约束条件来提高SIFT算法的跟踪精度；具体实现方法是：在第N帧图像中提取特征点，然后在第N+1帧图像中的同一扇区内跟踪同一特征点；

爬行器的运动估计：为了估计爬行器的运动，这里计算两个观测点，即两个不同位置的全方位视觉传感器的单视点之间的相对位置和方位的差异信息的基本矩阵；本质矩阵E用公式(12)表示；

r_i'^TEr_i＝0               (12)

其中，r_i＝[x_i,y_i,z_i]^T，r_i'＝[x’_i,y’_i,z’_i]分别为两个全景图像中对应点的光线向量，将公式(12)转化成公式(13)；

u_i ^Te＝0                  (13)

其中，

u_i＝[x_ix'_i,y_ix'_i,z_ix'_i,x_iy'_i,y_iy'_i,z_iy'_i,x_iz'_i,y_iz'_i,z_iz'_i]^T  (14)

e＝[e₁₁,e₁₂,e₁₃,e₂₁,e₂₂,e₂₃,e₃₁,e₃₂,e₃₃]^T        (15)

式中，e₁₁,e₁₂,e₁₃,e₂₁,e₂₂,e₂₃,e₃₁,e₃₂,e₃₃分别是矩阵e的元素。

通过对8组相应的光线向量r求解联立方程获得本质矩阵E，计算方法用公式(16)表示；

$\underset{e}{\min }{\left|\right|\mathrm{Ue}\left|\right|}^2---\left(16\right)$

其中，U＝[u₁,u₂,…,u_n]^T，u₁,u₂,…,u_n分别为矩阵U的元素，本质矩阵E是以U^TU的最小特征值的特征向量e进行计算获得的；

从本质矩阵E计算旋转矩阵R和平移向量t，由公式(17)所示，本质矩阵E由旋转矩阵R和平移向量t＝[t_x,t_y,t_z]^T，表示；

E＝RT                    (17)

这里T用下面矩阵表示。

$T=\left[\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right]---\left(18\right)$

式中，t_x,t_y,t_z分别为矩阵是T的元素，分别表示相对X、Y、Z轴的位移量。

从本质矩阵E计算旋转矩阵R和T一种方法是采用奇异值方法，即SVD方法，该方法属于数值运算方法；但是这种分解方法分解出的四组解间的几何意义并不直观，难以保证分解结果是惟一正确解，而且实时性欠佳；因此，还需要对爬行器的运动进行再估计和尺度匹配方法处理；

爬行器的运动再估计：用SVD方法从本质矩阵E来估计旋转矩阵R和平移向量T未必能得到良好的结果，这是因为在SVD方法中没有考虑图像中的各种错误。因此，需要重新估计爬行器运动中所获取全景图像内的每个特征点的测量误差；这里使用光束平差法对爬行器的运动进行重新估计；该方法的思想是将特征重投影误差总和最小化；

尺度匹配方法：由于SFM算法中仅仅是对输入的全景图像进行处理，并不包含任何尺度的信息；因此，通过SFM算法还不能确定2个观测点之间的距离|t|；然而，在全景激光截面法处理结果中包括了尺度坐标信息；因此，通过融合这两种处理方法的结果来实现尺度匹配；

首先，通过全景激光截面法测量一个管道内壁点的三维坐标；然后，用SFM算法测量同一点的三维坐标；最后，通过尽可能接近的三维坐标同一点来实现尺度匹配；

当同一点远离观察点时，用两种不同算法，即SFM算法和全景激光截面法，对同一点进行处理所得到的坐标值之间的最小偏差更为敏感；基于此，这里采用最小偏差坐标值之间的距离来计算尺度s'，如公式(19)所示；

$\min \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|\log \left(p_k\right)-\log \left(s^{\′}{p_k}^{\′}\right)\left|\right|}^2---\left(19\right)$

式中，p_k＝[x_k,y_k,z_k]^T表示全景激光截面法测量结果，p_k'＝[x_k',y_k',z_k']^T表示SFM算法测量结果；x_k,y_k,z_k分别为矩阵p_k的元素，表示用全景激光截面法测量的在XYZ空间坐标系中的坐标值，x_k′,y_k′,z_k′分别为矩阵p_k′的元素，表示用SFM算法测量的在XYZ空间坐标系中的坐标值。

纹理映射：图8所示的是对管道的建模过程；在某一空间点对管道内壁进行3D测量后，随着管道爬行器的爬行对下一个测量点对管道内壁进行3D测量；将各个横断面的3D测量结果进行拼接，最后还需要进行纹理映射，实现狭长管道的自动3D建模。

另一种从本质矩阵E计算旋转矩阵R和T方法是：首先，利用本质矩阵E秩2的属性求出爬行器移动前后间的平移量t，如公式(20)所示；

$t=\left\{\begin{array}{c}{\left[\begin{array}{ccc}-\frac{e_{i2}{\mathrm{Me}}_{k2}+e_{i3}{\mathrm{Me}}_{k3}}{e_{i1}}& {\mathrm{Me}}_{k2}& {\mathrm{Me}}_{k3}\end{array}\right]}^T,j=1,k\≠j\\ {\left[\begin{array}{ccc}{\mathrm{Me}}_{k1}& -\frac{e_{i1}{\mathrm{Me}}_{k1}+e_{i3}{\mathrm{Me}}_{k3}}{e_{i2}}& {\mathrm{Me}}_{k3}\end{array}\right]}^T,j=2,k\≠j\\ {\left[\begin{array}{ccc}{\mathrm{Me}}_{k1}& {\mathrm{Me}}_{k2}& -\frac{e_{i1}{\mathrm{Me}}_{k1}+e_{i2}{\mathrm{Me}}_{k2}}{e_{i3}}\end{array}\right]}^T,j=3,k\≠j\end{array}\right.---\left(20\right)$

式中，e_ij为本质矩阵E的元素，Me_ij为e_ij的代数余子式；

进而求得满足约束‖t‖₂＝1的两个平移量t₁＝1，t₂＝-1，其中，

$t=\frac{t}{{\left|\right|t\left|\right|}_2}---\left(21\right)$

然后，利用求解旋转矩阵方程组的方法求出爬行器移动前后间的旋转矩阵R；

将公式(20)代入到公式(17)计算旋转矩阵R，得到四组分解结果；最后，利用直接求取空间3D点成像深度的方法快速从四组分解结果中确定出满足空间3D点可见性约束的惟一正确解，计算方法如公式(22)给出；

$\left[\begin{array}{c}{\mathrm{\σ}}_1\\ {\mathrm{\σ}}_2\end{array}\right]=-{\left[\begin{array}{cc}{K}^{-1}x& -R^T{K}^{\′-1}\hat{y}\end{array}\right]}^{+}{R}^{T}t---\left(22\right)$

式中，K'^-1、K^-1分别为全方位视觉传感器的内外参数矩阵的逆矩阵，σ₁，σ₂分别为相对应点在爬行器移动前后间的全景图像中的成像深度，通过全景激光截面法测量得到；R^T为旋转矩阵R的转矩阵，t为平移向量，x，分别为相对应点在爬行器移动前后间的全景图像中的成像部分；

只要公式(22)中的σ₁，σ₂均满足大于零的约束，则对应的R，t即为惟一正确解。

本发明的有益效果主要表现在：

1)提供了一种能快速并高精度获得实际物体深度信息的主动式全景视觉传感器；

2)提供了一种全新的自动化地下基础设施健康体检方式；

3)在给地下管道做体检的过程中及时采集管道的三维空间信息，为城市地下基础设施的三维建模提供原始地下空间基础数据。

附图说明

图1为一种主动式全景视觉传感器的检测原理图；

图2为单视点折反射全方位视觉传感器；

图3为在全方位视觉传感器中成像的全景图；

图4为全景激光光源的结构图；

图5为一种宽基线距的主动式全景视觉传感器的结构图；

图6为一种短基线距的主动式全景视觉传感器的结构图；

图7为一种采用主动全景视觉传感器地下管道检测的总体宏观示意图；

图8为通过SFM算法确定管道爬行器的运动轨迹及3D建模的流程图；

图9为全景视觉传感器的运动估计处理流程图。

具体实施方式

实施例1

参照图1～9，一种用于地下基础设施结构健康监测的主动式3D立体全景视觉传感器，其硬件包括：全方位视觉传感器、全景激光光源和LED带光源；全方位视觉传感器与全景激光光源进行同轴固定连接，LED带光源环绕在全方位视觉传感器的下固定座上。

如图2所示，全方位视觉传感器包括双曲面镜面1、上盖9、透明半圆形外罩2、下固定座4、摄像单元固定座5、摄像单元6和连接单元7；双曲面镜面1固定在上盖9上，连接单元7将下固定座4和透明半圆形外罩2连接成一体，透明半圆形外罩2与上盖9固定在一起，摄像单元6固定在摄像单元固定座5上，摄像单元固定座5固定在下固定座4上。

如图4所示，全景激光光源包括圆锥形镜面11、透明外罩12、圆圈形激光发射器13和底座14，圆圈形激光发射器13固定在底座14上，圆圈形激光发射器13的发射光轴心线与底座14轴心线一致，圆锥形镜面11固定在透明外罩12的一端，固定着圆圈形激光发射器的底座固定在透明外罩的另一端；圆圈形激光发射器发射出来的圆圈激光通过圆锥形镜面的反射产生垂直于轴心线的全景激光。

如图5所示，主动式3D立体全景视觉传感器，通过连接器10将全方位视觉传感器和全景激光光源连接而成，全景激光光源投射到管道内壁上的全景激光经管道内壁的反射在全方位视觉传感器中成像；这里有两个设计要点：1)全方位视觉传感器的垂直方向视角范围为78°，其中仰角为28°、俯角为50°；2)全景激光光源配置在全方位视觉传感器的上方，以保证全景激光光源投射到管道内壁上的全景激光经管道内壁的反射在全方位视觉传感器中的仰角成像区域。

下面结合图1介绍主动式3D立体全景视觉传感器的检测原理；

图1中的光线矢量r由全景激光的图像坐标[u,v]通过公式(1)进行计算，

$r=\mathrm{\λ}\left(\begin{array}{c}\mathrm{su}\\ \mathrm{sv}\\ \mathrm{sf}-2c\end{array}\right)---\left(1\right)$

式中，

$c=\sqrt{a^2+b^2}---\left(2\right)$

$s=\frac{a^2(f\sqrt{a^2+b^2}+b\sqrt{u^2+v^2+f^2})}{a^2{f}^2-b^2(u^2+v^2)}---\left(3\right)$

在上述方程中，a，b和c是双曲面镜的参数，f是焦距，即透镜的中心与像平面之间的距离，λ表示光线向量的比例值，u,v分别为图像坐标系中的值。

用公式(4)定义全景激光平面，如图1中的红色激光面；

k₁x+k₂y+k₃z+k₄＝0                    (4)

式中，k₁，k₂，k₃，k₄是预先校准的平面参数。

从公式(1)～(4)，用公式(5)来计算测量点的3D坐标值；

$\left(\begin{array}{c}{x}_p\\ y_p\\ z_p\end{array}\right)=\frac{-k_4}{k_1\mathrm{su}+k_2\mathrm{sv}+k_3(\mathrm{sf}-2c)}\left(\begin{array}{c}\mathrm{su}\\ \mathrm{sv}\\ \mathrm{sf}-2c\end{array}\right)---\left(5\right)$

摄像单元，即全景成像芯片，其像素的有效数量为p_H×p_V，单位为像素；每个像素的尺寸是s_H×s_V，单位为毫米；实际获取图像的大小为H×V，单位为像素；基线距B和测量误差ΔD之间的关系用公式(6)～(9)来进行计算，

$\frac{\mathrm{\ΔD}}{D}=\frac{(c^2-b^2)(2{\mathrm{bcf}}^2-(b^2+c^2)\sqrt{f^2+r^2}f)\mathrm{\Δr}}{\sqrt{f^2+r^2}(b^2+c^2)f-2\mathrm{bc}\sqrt{f^2+r^2}}\frac{B}{D}---\left(6\right)$

$r=\mathrm{fa}\frac{b\sqrt{1+{(B/D)}^2}-\frac{\mathrm{cB}}{D}}{b\sqrt{b\sqrt{1+{(B/D)}^2}-\frac{\mathrm{cB}}{D}+a^2{\mathrm{\κ}}^2+\mathrm{ac\κ}}}---\left(7\right)$

$\mathrm{\κ}=(\frac{b}{a}-\frac{B}{D})(\frac{b}{a}+\frac{B}{D})---\left(8\right)$

$\mathrm{\Δr}=\sqrt{{\left(\frac{p_H{s}_H}{2H}\right)}^2+{\left(\frac{p_V{s}_V}{2V}\right)}^2}---\left(9\right)$

式中，D是ODVS的轴心线到测量对象的距离，B是主动式全景视觉传感器的基线距，r是在全景图像中从全景图像中心到激光光线投射点之间的距离，Δr是图像平面上的量化误差，a，b和c是双曲面镜的参数，f是焦距。

为了提高测量精度，这里用ΔD/D表示测量误差率，根据检测的管道内径来选择与其相对应的基线距B，使得B/D基本上能够保持恒定；由公式(7)所知r值也基本上保持恒定。如果r值越大，在全景图像成像平面上越远离全景图像中心，由公式(6)所知，ΔD值就越小；另外，在全景图像上，公式(9)计算得到的量化误差Δr是随着r值的增大而减小的，这是由于在全景图像成像平面上越远离全景图像中心每个像素的压缩越小，即s_H和s_V与r值成反比；因此，采用图1的设计，通过根据检测的管道内径来选择与其相对应的基线距B，使得由公式(7)计算得到的r值增大，同时随着r值增大由公式(9)计算得到的量化误差Δr随之减小，最终使得由公式(6)计算得到的测量误差率ΔD/D减小，实现了一种高精度的测量；当然，增加全景成像芯片的分辨率，即减小量化误差Δr也能有效减小测量误差率。

针对被测管道的管径不同，采用两种不同类型的主动式3D立体全景视觉传感器，如图5所示的是一种长基线距的主动式3D立体全景视觉传感器，这类传感器适用于被测管径较大的场合，通过改变全景激光光源与连接器的相对连接固定位置来实现改变主动式3D立体全景视觉传感器的基线距B。

在实际检测过程中，如图7所示，主动式3D立体全景视觉传感器搭载在管道爬行器上，随着爬行器沿管道轴线移动，全景激光光源为管道内壁提供管道断截面全景扫描光，全方位视觉传感器获取全景激光扫描的切片图像；接着，需要在全景激光扫描的切片图像上解析出激光投影位置信息；本发明将上述处理过程称为全景激光截面法。

激光投影位置信息是通过帧间差法进行提取的，帧间差法通过对两个相邻位置所获得的全景激光扫描的切片图像作差分运算来获得激光投射点的方法；当管道爬行器前行过程中，前后位置所获取的两帧全景激光扫描的切片图像，其帧与帧之间在沿管道轴线方向上会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取全景切片图像中的激光投射点。

由于在检测过程中会存在着噪声的影响，得到的截面边缘信息会出现不连续的现象。因此需要通过局部连接法将不连续的截面边缘进行连接，连接算法思想是通过比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边，用公式(10)和公式(11)来进行判断，

|▽f(x,y)-▽f(x',y')|≤T_▽             (10)

|α(x,y)-α(x',y')|≤A_α                (11)

式中，▽f(x,y)为管道内壁邻域内的边界点梯度值，▽f(x',y')为待确认点梯度值，T_▽为梯度判断阈值，α(x,y)为管道内壁邻域内的边界点梯度向量的方向角，α(x',y')为待确认点梯度向量的方向角，A_α为梯度向量的方向角判断阈值。

当公式(10)和公式(11)都成立时，表示待确认点与管道内壁邻域内的边界点的梯度值和方向角都是相似的，两点是连接的，即待确认点是属于管道内壁上的点；通过上述处理得到了在图像平面上的一条完整的封闭管道内壁边缘线。

进一步，针对全景图像的成像特点，对得到的封闭管道内壁边缘线采用环形遍历的方式，以图像中心位置为圆心，以相等的间隔角度从方位角0°→360°进行遍历，根据公式(5)计算得到管道内部实际空间点云几何数据。

为了对狭长管道进行3D建模，需要对搭载着主动式3D立体全景视觉传感器的爬行器的运动进行估计；这里将检测坐标系建立在全方位视觉传感器的单视点上，使用SFM算法，即运动的结构重建算法，对爬行器的运动进行估计，得到测量点坐标变换的信息。

具体管道3D建模过程如下，如图9所示：首先，全方位视觉传感器获得其运动过程中的全方向图像序列；然后利用SFM算法提取和跟踪特征点，以获得全方向图像序列中的相对应点；接着用线性估计方法估计爬行器的运动，主要利用对应点在每个观测点拍摄的两个图像的位置；最后为了更精确地估计爬行器的运动，用非线性估计方法重新估算爬行器的运动。

特征点的提取和跟踪：为了在全方位图像序列中获得图像之间的对应点，首先在第一帧图像中提取特征点，然后沿着图像序列跟踪这些特征点；跟踪特征点采用SIFT算法，即尺度不变特征变换算法；然而，实际上全方位图像的畸变和投影畸变会影响对应特征点采集和跟踪；这是因为现有的SIFT算法是一种全局的算法，全景视觉在全局范围内难以保证尺度不变特征变换条件，从而导致了误跟踪；为了提高SIFT算法的跟踪精度，这里根据爬行器在管道中的运动特征，将对应特征点采集和跟踪规定在一个局部范围内，即通过划分跟踪扇区方法；该方法是基于在全方位图像序列中的两帧之间相对应点的空间位置是不会发生突变的假设，爬行器在前行过程中，相对应点是在某一个扇区范围内从全景图像的外圈向图像中心方向移动的，或者是从图像中心向全景图像的外圈方向移动的；有了扇区约束条件来提高SIFT算法的跟踪精度；具体实现方法是：在第N帧图像中提取特征点，然后在第N+1帧图像中的同一扇区内跟踪同一特征点。

爬行器的运动估计：为了估计爬行器的运动，这里计算两个观测点，即两个不同位置的全方位视觉传感器的单视点之间的相对位置和方位的差异信息的基本矩阵；本质矩阵E用公式(12)表示；

r_i'^TEr_i＝0             (12)

其中，r_i＝[x_i,y_i,z_i]^T，r′_i＝[x’_i,y’_i,z’_i]分别为两个全景图像中对应点的光线向量，将公式(12)转化成公式(13)；

u_i ^Te＝0                 (13)

其中，

u_i＝[x_ix'_i,y_ix'_i,z_ix'_i,x_iy'_i,y_iy'_i,z_iy'_i,x_iz'_i,y_iz'_i,z_iz'_i]^T  (14)

e＝[e₁₁,e₁₂,e₁₃,e₂₁,e₂₂,e₂₃,e₃₁,e₃₂,e₃₃]^T           (15)

通过对8组相应的光线向量r求解联立方程获得本质矩阵E，计算方法用公式(16)表示；

$\underset{e}{\min }{\left|\right|\mathrm{Ue}\left|\right|}^2---\left(16\right)$

其中，U＝[u₁,u₂,…,u_n]^T，本质矩阵E是以U^TU的最小特征值的特征向量e进行计算获得的；

从本质矩阵E计算旋转矩阵R和平移向量t，由公式(17)所示，本质矩阵E由旋转矩阵R和平移向量t＝[t_x,t_y,t_z]^T，表示；

E＝RT                    (17)

这里T用下面矩阵表示。

$T=\left[\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right]---\left(18\right)$

从本质矩阵E计算旋转矩阵R和T一种方法是采用奇异值方法，即SVD方法，该方法属于数值运算方法；但是这种分解方法分解出的四组解间的几何意义并不直观，难以保证分解结果是惟一正确解，而且实时性欠佳；因此，还需要对爬行器的运动进行再估计和尺度匹配方法处理。

爬行器的运动再估计：用SVD方法从本质矩阵E来估计旋转矩阵R和平移向量T未必能得到良好的结果，这是因为在SVD方法中没有考虑图像中的各种错误。因此，需要重新估计爬行器运动中所获取全景图像内的每个特征点的测量误差；这里使用光束平差法对爬行器的运动进行重新估计；该方法的思想是将特征重投影误差总和最小化。

尺度匹配方法：由于SFM算法中仅仅是对输入的全景图像进行处理，并不包含任何尺度的信息；因此，通过SFM算法还不能确定2个观测点之间的距离t；然而，在全景激光截面法处理结果中包括了尺度坐标信息；因此，通过融合这两种处理方法的结果来实现尺度匹配。

首先，通过全景激光截面法测量一个管道内壁点的三维坐标；然后，用SFM算法测量同一点的三维坐标；最后，通过尽可能接近的三维坐标同一点来实现尺度匹配；

当同一点远离观察点时，用两种不同算法，即SFM算法和全景激光截面法，对同一点进行处理所得到的坐标值之间的最小偏差更为敏感；基于此，这里采用最小偏差坐标值之间的距离来计算尺度s'，如公式(19)所示；

$\min \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|\log \left(p_k\right)-\log \left(s^{\′}{p_k}^{\′}\right)\left|\right|}^2---\left(19\right)$

式中，p_k＝[x_k,y_k,z_k]^T表示全景激光截面法测量结果，p_k'＝[x_k',y_k',z_k']^T表示SFM算法测量结果；

纹理映射：图8所示的是对管道的建模过程；在某一空间点对管道内壁进行3D测量后，随着管道爬行器的爬行对下一个测量点对管道内壁进行3D测量；将各个横断面的3D测量结果进行拼接，最后还需要进行纹理映射，实现狭长管道的自动3D建模。

实施例2

其余与实施例1相同，所不同的是在主动式3D立体全景视觉传感器的基线距；根据被测管径的不同，当被测管径较小的场合，为了使得全景激光截面法全景激光扫描线在如图3所示的全景图中成像，需要采用一种短基线距的主动式3D立体全景视觉传感器，如图6所示；进行微调整的时候还可以通过改变全景激光光源与连接器的相对连接固定位置来实现改变主动式3D立体全景视觉传感器的基线距B。

实施例3

其余与实施例1相同，所不同的是从本质矩阵E计算旋转矩阵R和T方法；该方法是：首先，利用本质矩阵E秩2的属性求出爬行器移动前后间的平移量t，如公式(20)所示；

$t=\left\{\begin{array}{c}{\left[\begin{array}{ccc}-\frac{e_{i2}{\mathrm{Me}}_{k2}+e_{i3}{\mathrm{Me}}_{k3}}{e_{i1}}& {\mathrm{Me}}_{k2}& {\mathrm{Me}}_{k3}\end{array}\right]}^T,j=1,k\≠j\\ {\left[\begin{array}{ccc}{\mathrm{Me}}_{k1}& -\frac{e_{i1}{\mathrm{Me}}_{k1}+e_{i3}{\mathrm{Me}}_{k3}}{e_{i2}}& {\mathrm{Me}}_{k3}\end{array}\right]}^T,j=2,k\≠j\\ {\left[\begin{array}{ccc}{\mathrm{Me}}_{k1}& {\mathrm{Me}}_{k2}& -\frac{e_{i1}{\mathrm{Me}}_{k1}+e_{i2}{\mathrm{Me}}_{k2}}{e_{i3}}\end{array}\right]}^T,j=3,k\≠j\end{array}\right.---\left(20\right)$

式中，e_ij为本质矩阵E的元素，Me_ij为e_ij的代数余子式；

进而求得满足约束‖t‖₂＝1的两个平移量t₁＝1，t₂＝-1，其中，

$t=\frac{t}{{\left|\right|t\left|\right|}_2}---\left(21\right)$

然后，利用求解旋转矩阵方程组的方法求出爬行器移动前后间的旋转矩阵R；

将公式(20)代入到公式(17)计算旋转矩阵R，得到四组分解结果；最后，利用直接求取空间3D点成像深度的方法快速从四组分解结果中确定出满足空间3D点可见性约束的惟一正确解，计算方法如公式(22)给出；

$\left[\begin{array}{c}{\mathrm{\σ}}_1\\ {\mathrm{\σ}}_2\end{array}\right]=-{\left[\begin{array}{cc}{K}^{-1}x& -R^T{K}^{\′-1}\hat{y}\end{array}\right]}^{+}{R}^{T}t---\left(22\right)$

式中，K'^-1、K^-1分别为全方位视觉传感器的内外参数矩阵的逆矩阵，σ₁，σ₂分别为相对应点在爬行器移动前后间的全景图像中的成像深度，通过全景激光截面法测量得到；R^T为旋转矩阵R的转矩阵，t为平移向量，x，分别为相对应点在爬行器移动前后间的全景图像中的成像部分；

只要公式(22)中的σ₁，σ₂均满足大于零的约束，则对应的R，t即为惟一正确解。

Claims (10)

1.一种用于地下基础设施结构监测的主动式3D立体全景视觉传感器，其特征在于，包括：用于为管道内壁提供管道断截面全景扫描光的全景激光光源，用于获取管道内壁全景激光扫描的切片图像的全方位视觉传感器，以及用于管道内壁照明的LED光源；

所述的全景激光光源通过连接器同轴固定在全方位视觉传感器的顶部；

所述的全景激光光源包括与连接器固定的底座，安装在底座上且为圆筒形的透明外罩，位于透明外罩一端的圆圈形激光发射器，位于透明外罩另一端并用于反射圆圈激光以形成全景激光的圆锥形镜面；

所述的主动式3D立体全景视觉传感器还包括处理器，用于在全景激光扫描的切片图像上解析出激光投影位置信息，并进行3D建模。

2.如权利要求1所述的主动式3D立体全景视觉传感器，其特征在于，所述圆圈形激光发射器和圆锥形镜面的位置互换。

3.如权利要求1所述的主动式3D立体全景视觉传感器，其特征在于，所述全方位视觉传感器在水平方向的视角范围为360°，在垂直方向的视角范围为78°，其中仰角为28°、俯角为50°。

4.如权利要求1所述的主动式3D立体全景视觉传感器，其特征在于，所述的全方位视觉传感器的光线矢量r由全景激光的图像坐标[u,v]通过公式(1)进行计算，

$r=\mathrm{\λ}\left(\begin{array}{c}\mathrm{su}\\ \mathrm{sv}\\ \mathrm{sf}-2c\end{array}\right)---\left(1\right)$

式中，

$c=\sqrt{a^2+b^2}$

$s=\frac{a^2(f\sqrt{a^2+b^2}+b\sqrt{u^2+v^2+f^2})}{a^2{f}^2-b^2(u^2+v^2)}$

式中，a，b和c是双曲面镜的参数，f是焦距，λ表示光线向量的比例值，u,v分别为图像坐标系中的值。

5.如权利要求1所述的主动式3D立体全景视觉传感器，其特征在于，提取激光投影位置信息的方法包括：

帧间差法，对两个相邻位置所获得的全景激光扫描的切片图像作差分运算来获得激光投射点；

局部连接法，通过比较梯度算子的响应强度和梯度方向确定两个激光投射点是否同属一条边，提取连接的两点，得到图像平面上的一条完整的封闭管道内壁边缘线；

环形遍历法，对得到的内壁边缘线采用环形遍历的方式，以图像中心位置为圆心，以相等的间隔角度从方位角0°→360°进行遍历，得到管道内部的空间点云几何数据。

6.如权利要求1或5所述的主动式3D立体全景视觉传感器，其特征在于，3D全景建模过程如下：

首先，全方位视觉传感器获得其运动过程中的全方向图像序列；然后利用SFM算法提取和跟踪特征点，以获得全方向图像序列中的相对应点；接着用线性估计方法估计爬行器的运动，利用对应点在每个观测点拍摄的两个图像的位置；最后用非线性估计方法重新估算爬行器的运动。

7.如权利要求6所述的主动式3D立体全景视觉传感器，其特征在于，为了估计爬行器的运动，需要计算两个观测点，即两个不同位置的全方位视觉传感器的单视点之间的相对位置和方位的差异信息的基本矩阵；本质矩阵E用公式(12)表示；

r_i ^′TEr_i＝0          (12)

其中，r_i＝[x_i,y_i,z_i]^T，r′_i＝[x′_i,y′_i,z′_i]分别为两个全景图像中对应点的光线向量，x_i,y_i,z_i和x′_i,y′_i,z′_i为两个观测点的坐标，将公式(12)转化成公式(13)；

u_i ^Te＝0           (13)

其中，

u_i＝[x_ix'_i,y_ix'_i,z_ix'_i,x_iy'_i,y_iy'_i,z_iy'_i,x_iz'_i,y_iz'_i,z_iz'_i]^T  (14)

e＝[e₁₁,e₁₂,e₁₃,e₂₁,e₂₂,e₂₃,e₃₁,e₃₂,e₃₃]^T          (15)

通过对8组相应的光线向量r求解联立方程获得本质矩阵E，计算方法用公式(16)表示；

$\underset{e}{\min }{\left|\right|\mathrm{Ue}\left|\right|}^2---\left(16\right)$

其中，U＝[u₁,u₂,…,u_n]^T，本质矩阵E是以U^TU的最小特征值的特征向量e进行计算获得的；

利用本质矩阵E计算旋转矩阵R和平移向量t，由公式(17)所示，本质矩阵E由旋转矩阵R和平移向量t＝[t_x,t_y,t_z]^T，表示；

E＝RT             (17)

$T=\left[\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right]---\left(18\right).$

8.如权利要求7所述的主动式3D立体全景视觉传感器，其特征在于，所述的非线性估计方法为光束平差法。

9.如权利要求8所述的主动式3D立体全景视觉传感器，其特征在于，通过融合全景激光截面法和SFM算法两种处理方法的结果来实现尺度匹配，具体步骤为：

STEP1：通过全景激光截面法测量一个地下基础设施内部空间内壁点的三维坐标；

STEP2：用SFM算法测量同一点的三维坐标；

STEP3：通过采用最小偏差坐标值之间的距离来计算尺度s'，如公式(19)所示；

$\min \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|\log \left(p_k\right)-\log \left(s^{\′}{p_k}^{\′}\right)\left|\right|}^2---\left(19\right)$

式中，p_k＝[x_k,y_k,z_k]^T表示全景激光截面法测量结果，p_k'＝[x_k',y_k',z_k']^T表示SFM算法测量结果。

10.如权利要求9所述的主动式3D立体全景视觉传感器，其特征在于，通过全景激光截面法对各个地下基础设施的横断面的3D测量结果进行拼接，采用三角格网将空间中的离散点云用三角面片构建成物体表面，处理每一帧的全景切片图像，获取地下基础设施横截面的点云数据，进行三维重构，并将全景图像中的纹理映射到3D模型，实现3D建模。