CN102589443B

CN102589443B - 一种基于图像识别的管片拼装质量的智能检测系统及其检测方法

Info

Publication number: CN102589443B
Application number: CN 201210021637
Authority: CN
Inventors: 丁烈云; 周迎; 骆汉宾; 张仁鑫; 周诚
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2012-01-31
Filing date: 2012-01-31
Publication date: 2013-03-13
Anticipated expiration: 2032-01-31
Also published as: CN102589443A

Abstract

本发明公开了一种基于图像识别的管片拼装质量的智能检测系统及其检测方法，该检测系统包括标识物、图像采集装置、图像处理系统和显示装置。根据管片内径以及错台允许偏差，绘制管片错台控制模型；在系统中将控制模型与特定标识物绑定，在正确识别出标识物后，便能对应加载该模型；将特定标识物其固定于相邻管片接触处，获取标识物大小，以及与管片接触处的距离；在现场安置好摄像头，使摄像头能够同时获取包含标识物和管片实体的图像；图像处理系统接收采集到的图像，运行程序，形成管片实体与管片错台控制模型叠加的图像，将其输入到显示设备中；调试模型；根据显示设备提供的叠加图像，智能判定该相邻管片错台量是否符合规范要求。

Description

一种基于图像识别的管片拼装质量的智能检测系统及其检测方法

技术领域

本发明涉及地铁盾构管片检测技术，具体涉及一种基于图像识别的管片拼装质量的智能检测系统及其检测方法。采用摄像头获取管片实体的图像，与虚拟管片模型进行叠加并比较，实现管片拼装质量的智能检测。

背景技术

盾构施工技术以其安全高效、可穿越复杂地层的特点，在地铁、大型引水工程及城市市政建设中被广泛采用。与传统地铁施工方法（如明挖法、盖挖法、浅埋暗挖法等）相比，盾构法的优点是安全、速度快，不影响地面交通，不受气候条件影响和适用于各种不同地层状况，是加速发展城市地铁的有效手段。

钢筋混凝土盾构管片作为地下隧道的主体结构，管片的拼装质量符合技术标准要求、符合设计规定、满足使用要求，是顺利、安全、优质完成盾构推进任务的最基本要求。在2008年我国住建部出台的《盾构法隧道施工与验收规范》中，对于管片拼装质量给出了控制规范以及检测方法。该规范对管片错台量的允许偏差也提出了明确要求和控制标准，该规范要求相邻管片径向错台偏差须控制在5mm以内。

《盾构法隧道施工与验收规范》要求采用尺量法完成相邻管片之间的错台量差值检测。检测人员在实际地铁工程中，则采用外观目测法，完成相邻管片错台量检测。上述检测方法，均无法实现地铁盾构管片安全状态实时监测的要求。一般来说，盾构施工过程中在小半径隧道处需要进行盾构姿态的纠偏控制，常常进行适度超挖或欠挖，容易产生大量错台，极易造成管片破损、开裂甚至渗漏、涌水涌砂等事故。另外，隧道管片结构拼装完成后，由于壁后土体损失和蠕变的长期作用，也会造成不同程度的管片错台，甚至出现大面积不均匀纵向沉降。而使用传统的检测方法，只有在地铁安全检测人员进行安全巡视的时候，才有可能发现盾构管片的不安全状态，易于错过发现安全隐患的最佳时机。假若采用加大检测频次的方法，消除现有错台检测实时性差的弊端，又会导致检测成本大幅度提升的后果。而且盾构管片是大体量构件，实际工程中，盾构直径通常约6m，如在施工过程中采用传统的尺量法或目测法，也难以检测上部管片的错台差值。采用本系统，通过将整环管片错台控制模型与管片实体相叠加，能够同时实现整环管片的拼装质量检测。

综上所述，开发能够满足管片错台检测精度，且实现简单成本低的实时检测技术相当必要。

发明内容

本发明的目的在于提供一种基于图像识别的管片拼装质量的智能检测系统及其检测方法，该系统和方法能够低成本的实现盾构管片错台实时高精度检测。本发明将图像识别技术应用到盾构管片错台检测，通过识别地铁现场实时获取的图像数据，实现该检测方法。

本发明所述的一种基于图像识别的管片拼装质量的智能检测系统，包括标识物、图像采集装置、图像处理系统和显示装置。

实现本发明所阐述的错台检测系统，需要标识物、图像采集装置、图像处理系统和显示装置。标识物为辅助图像识别的纸质或其他材质图案，使用时，纸质图案标识物被固定在盾构管片上；图像采集装置由普通的USB摄像头构成，用于采集包含图像标识物和管片实体的图像信息，并将采集到的信息传输给图像处理系统；图像处理系统用于对接收到的图像信息进行处理，通过识别图像信息中的标识物，测算叠加矩阵，加载并调试管片错台控制模型，实现实时输出集成管片实体和错台控制模型的图像信息；显示系统由计算机显示器构成，用于显示叠加后错台控制模型的图像信息。通过如上单元构成的系统，实现盾构实体与错台控制模型叠加，依据合成图像直观判定管片拼装质量。

而且，所述的基于图像识别的管片拼装质量的智能检测系统，其特征在于，所述的图像处理系统中，建立的模型为：在建模软件中，按照1：1的比例建立半径分别为R-5mm和R+5mm两个同心圆，R为标识物所在管片的半径，两圆圆周使用红色表示错台临界位置，两圆之间区域采用绿色表示错台允许范围，并在两圆之间以蓝色线条再绘制一半径为R的同心圆，表示管片内径对应位置。建立完成后，导出wrl格式，作为原始载入模型。

而且，基于所述的检测系统的检测方法，其包括以下步骤：

（1）根据获取的管片内径以及规范中要求的错台允许偏差，绘制管片错台控制模型；

（2）在系统中将管片错台控制模型与特定标识物绑定，在正确识别出标识物后，便能对应加载该模型；

（3）打印出特定标识物，并将其固定于相邻管片接触处，获取标识物大小，以及标识物与管片接触处的距离，精确到毫米；

（4）在现场安置好摄像头，使摄像头能够同时获取包含标识物和管片实体的图像；

（5）图像处理系统接收采集到的图像，运行系统中的程序，形成管片实体与管片错台控制模型叠加的图像，并将其输入到显示设备中；

（6）调试管片错台控制模型，对模型进行缩放、三维平移、三维旋转操作，使模型能够与待检测管片外端完全重合；

（7）根据显示设备提供的叠加图像，直观判定该相邻管片错台量是否符合规范要求。

而且，基于所述的检测系统的检测方法，其中，所述的图像处理系统的处理过程为：

（1）接收图像采集装置提供的图像数据，对其进行二值化处理，并进行连通域分析，从而辨认出图像中的闭合区块，甄别寻找其中的矩形区块，将矩形区块与初始设定的标识物比对，提取比对成功的矩形区块进行注册矩阵运算；

（2）完成注册矩阵运算，根据注册矩阵确认摄像头与标识物之间的关系，重新绘制管片错台控制模型；

（3）将新绘制的管片错台控制模型数据与图像采集装置提供的图像数据转换至同一坐标系进行叠加，输出管片实体和错台控制模型叠加之后的图像信息。

（4）提供模型调试界面，用户输入针对管片错台控制模型的调整期望，系统按照设定算法，改变错台控制模型的大小、显示角度和方位，实现错台控制模型与管片实体正确叠加。

本发明采用图像识别的方法进行盾构管片错台量的检验，具有如下优点：

（1）检测方便：传统的错台检验方法可归结为人工现场检测，该方法需要检测人员进入到地铁隧道内部进行检测。然而地铁隧道中环境较为恶劣，人工现场检测实现困难。基于图像设别的错台检测系统，只需完成检测设备设置后，检测人员无需再次进入隧道内部，便可进行自动检验，进而简化错台检测过程。

（2）实时检测：通过基于图像识别的错台检测系统，能够实现多个盾构管片错台量实时检测，从而及时发现盾构管片受到破坏形成的错台量变化，及时给与安全管理人员警示。

（3）精度较高：相比传统的人工现场检测法，本系统采用高分辨率的摄像头和显示设备，实现管片错台量检测精度的提升。

（4）智能判断：本系统采用管片实体与控制模型相叠加的方式，给管片拼装质量检测提供了可视化效果，检测人员无需采用传统的直尺等工具，便能智能判定拼装质量，实现智能化管片拼装质量判定。

附图说明

图1是本发明所述的一种基于图像识别的管片拼装质量的智能检测系统的基本功能结构图；

图 2是本发明所述的一种基于图像识别的管片拼装质量的智能检测方法的图像处理系统实现流程图；

图3 是本发明所述的一种基于图像识别的管片拼装质量的智能检测系统实施示意图；

图4是本发明实施例实施流程图；

图5是本发明实施例效果示意图。

具体实施方式

下面结合具体实施例来对本发明进行进一步的说明。

如图1所示，本发明实施所需的基本单元包括标识物、图像采集装置、图像处理系统和显示装置，各单元围绕管片实体和管片错台控制模型两大对象运行。

标识物为黑白打印的纸质图案，纸质图案外围采用黑色方框包围，标识物的作用是辅助实现图像识别，使用时将标识物安置于盾构管片上，最佳位置为相邻管片接触处。

图像采集装置由普通的USB摄像头构成，用于采集包含图像标识物和管片实体的图像信息，并将采集到的信息传输给图像处理系统。使用过程中，可以任意改变USB摄像头的拍摄角度和距离，但标识物要确保完全被摄像头完全拍摄到。

图像处理系统用于对接收到的图像信息进行处理，通过识别图像信息中的标识物，测算叠加矩阵，加载并调试管片错台控制模型，实现实时输出集成了管片实体和错台控制模型的图像信息。图像处理系统的实现流程图如图2所示，下面详细说明其过程：

（1）接收图像采集装置提供的图像数据，对其进行二值化处理，转化为黑白二值图像，并进行连通域分析，从而辨认出图像中的闭合区块，甄别寻找其中的矩形区块，将矩形区块与初始设定的标识物比对，提取比对成功的矩形区块进行注册矩阵运算；

（2）完成注册矩阵运算，根据注册矩阵确认摄像头与标识物之间的关系。载入错台控制模型，使用opengl语言重新绘制，按照初始的参数，重新绘制错台控制模型。根据设定的初始参数模型将按照1倍大小垂直显示于标识物正中；

（3）将新绘制的错台控制模型数据与图像采集装置提供的图像数据转换至同一坐标系进行叠加，输出管片实体和错台控制模型叠加之后的图像信息；

（4）提供模型调试界面，用户输入针对错台控制模型的调整期望，系统按照设定算法，改变错台控制模型的大小、显示角度和方位，实现错台控制模型与管片实体正确叠加。

显示装置由计算机显示器构成，用于显示叠加了错台控制模型的图像信息。质量检测人员通过显示装置提供的图像，检查管片实体是否坐落于控制模型之内，一旦管片实体超出管片控制模型范围，即可以判定管片拼装质量不达标。

图3绘制了本发明的实现流程，其中涉及到三个坐标系之间的转换。设（Xm，Ym，Zm）^T为世界坐标系，（Xc，Yc，Zc）^T为摄像机坐标系，Tcm为摄像机变化矩阵，R和T表示摄像机的旋转和平移变换，R为3*3正交矩阵，T为三维位向量（T1，T2，T3）^T，摄像机坐标系与世界坐标系的关系如下：

（Xd，Yd）^T为屏幕坐标系，S为摄像机的内置参数，程序初始化时可以获取，该参数涉及焦距f，倾斜系数s， h表示某一时刻，摄像机坐标系与屏幕坐标系的关系如下：

本发明通过提取的矩形区域的四个顶点的屏幕坐标初步估算摄像机变换矩阵，然后通过非线性最小二乘法对摄像机变换矩阵进行迭代求精，从而求出摄像机变换矩阵，从而进行定位和叠加虚拟模型。

如图4所示，下面列举实例对本发明进行详细的说明。

（1）管片错台控制模型建立

本实例选用的三维建模软件是3ds max。获取盾构管片的内径R，R即为标识物所在管片的半径，查阅《盾构法隧道施工与验收规范》中相邻管片径向错台允许偏差为5mm。在3ds max软件中，按照1:1的比例建立半径分别为R-5mm和R+5mm两个同心圆，两圆圆周使用红色表示错台临界位置，两圆之间区域采用绿色表示错台允许范围，并在两圆之间以蓝色线条再绘制一半径为R的同心圆，表示管片内径对应位置。建立完成后，导出wrl格式，作为原始载入模型。

（2）标识物定位

打印出程序设定的特定标识物，并将其固定在管片内部，标识物尽量固定于相邻管片接触处，便于摄像头同时获取标识物与管片错台图像。量取标识物外边与所要检测管片之间的距离M，精确到毫米。本实例选取大小为2N*2N的方形标识物，N的单位为毫米。标识物图案由外围黑框和内部白色区域构成，其中内部区域为边长等于N的正方形。

（3）模型标定

模型标定就是建立模型与特定标识物的对应叠加关系。设定此标识物对应的特定模型，在图像处理系统针对获取的图像信息识别出标识物种类后，提取该标识物单一对应模型进行叠加。

（4）模型调试

通过本发明提供的用户人机交互界面，用户对错台控制模型进行缩放、旋转和平移，使错台控制模型的蓝色管片内径正好与所需检测管片内径重合。

本发明的错台控制模型缩放功能使用glScalef(S_x, S_y, S_z)命令实现，该命令涉及三个参数S_x，S_y，S_z，其中S_x表示模型在x轴上的缩放比例，S_y表示模型在y轴上的缩放比例，S_z表示模型在z轴上的缩放比例。以上三个参数的测算需要考虑标识物大小2Nmm，导入的wrl格式模型的尺寸S₁，导出的模型大小S₂。其中标识物内部白色区域在系统中默认为边长是16mm的正方形。模型的缩放系数公式如下：

本发明的错台控制模型平移功能使用glTranslatef(T_x, T_y, T_z )命令实现，该命令涉及三个参数T_x，T_y，T_z，其中T_x表示模型在x轴上的平移量，T_y表示模型在y轴上的平移量，T_z表示模型在z轴上的平移量。实际场景中1mm相当于系统中10个基本单位大小，以模型x轴偏移量为例，获取标识物外边与所要检测管片之间的距离M，则标识物中心到所要检测管片之间的距离为M+N，x轴偏移量的计算公式如下：

本发明的错台控制模型旋转功能使用glRotatef(R_x, R_y, R_z )命令实现，该命令涉及三个参数R_x，R_y，R_z，其中R_x表示模型在x轴上的旋转量，R_y表示模型在y轴上的旋转量，R_z表示模型在z轴上的旋转量。该命令所采用的法则是右手法则，即将张开右手掌，朝上，大拇指指向向量方向，然后四手指往里握成拳，四手指旋转的方向即旋转方向。

通过缩放、旋转和平移模型后，错台控制模型应如图5所示，与管片B的外端处于同一平面，同时控制模型的管片对齐线正与管片A内径在管片B外端上的投影重合。

（5）管片错台检测

完成模型定位调试后，错台控制模型会与管片实体外端正确重合，用户任意改变摄像头的拍摄位置，管片控制模型依旧会与管片实体重合。针对管片错台量进行检测时，只需在视频流中确认管片B的内部是否超出红色的管片错台临界值。假若超出该范围，则表明该相邻管片错台量不符合规范要求。

Claims

1.一种基于图像识别的管片拼装质量的智能检测系统，其特征在于，包括标识物、图像采集装置、图像处理系统和显示装置；

标识物为辅助图像识别的纸质图案；

图像采集装置由普通的USB摄像头构成，用于采集包含图像标识物和管片实体的图像信息，并将采集到的信息传输给图像处理系统；

图像处理系统用于对接收到的图像信息进行处理，通过识别图像信息中的标识物，测算叠加矩阵，加载并调试管片错台控制模型，实现实时输出集成了管片实体和管片错台控制模型的图像信息，进行管片拼装质量的智能检测；

显示装置由计算机显示器构成，用于显示叠加了管片错台控制模型的图像信息。

2.根据权利要求1所述的基于图像识别的管片拼装质量的智能检测系统，其特征在于，所述的图像处理系统中，建立的管片错台控制模型为：在建模软件中，按照1:1的比例建立半径分别为R-5mm和R+5mm两个同心圆，两圆圆周使用红色表示错台临界位置，两圆之间区域采用绿色表示错台允许范围，并在两圆之间以蓝色线条再绘制一半径为R的同心圆，表示管片内径对应位置,建立完成后，导出wrl格式，作为原始载入模型。

3.一种基于权利要求1所述的检测系统的检测方法，其特征在于，包括以下步骤：

（2）在系统中将管片错台控制模型与特定标识物绑定，在正确识别出标识物后，便能对应加载该管片错台控制模型；

（6）调试管片错台控制模型，对管片错台控制模型进行缩放、三维平移、三维旋转操作，使管片错台控制模型能够与待检测管片外端完全重合；

（7）根据显示设备提供的叠加图像，智能判定该相邻管片错台量是否符合规范要求。

4.根据权利要求3所述的检测方法，其特征在于，所述的图像处理系统的处理过程为：

（3）将新绘制的错台控制模型数据与图像采集装置提供的图像数据转换至同一坐标系进行叠加，输出管片实体和管片错台控制模型叠加之后的图像信息;

（4）提供模型调试界面，用户输入针对管片错台控制模型的调整期望，系统按照设定算法，改变管片错台控制模型的大小、显示角度和方位，实现管片错台控制模型与管片实体正确叠加。