CN115355394A - 一种基于螺旋扫描的管道检测机器人及其检测方法 - Google Patents

Abstract

本发明设计一种基于螺旋扫描的管道检测机器人及其检测方法，包括履带式车体，螺旋检测系统，控制机构和感知机构；螺旋检测系统包括检测臂升降平台和交叉型检测臂，控制机构调节检测臂升降平台的高度并带动交叉型检测臂进行螺旋扫描；螺旋线信号的处理和矫正通过一套螺旋信号反演算法完成；轴中心控制方法通过感知机构的信息采集和控制机构的反馈控制检测臂升降平台的高度实现；本发明针对现有传感器密布式的PIG型管道机器人的检测方式造成的缺陷信号漏检的问题进行设计，轴中心控制方法保证了机器人行进检测的稳定性，螺旋检测方式及其信号反演算法可以实现对管道的无遗漏全方位扫描。

Description

一种基于螺旋扫描的管道检测机器人及其检测方法

技术领域

本发明涉及管道检测技术领域，具体涉及到一种基于螺旋扫描的管道检测机器人及其检测方法。

背景技术

管道运输在工业发展和城市现代化建设中起着重要作用，在石油、天然气等能源的运输中，管道作为一种有效的物料输送方式而得到广泛的应用，为工业发展和人们的生活带来了巨大经济效益，具有不可估量的发展前景。

但管道在制造及投入运行等过程中都可能存在缺陷，其破损会带来巨大的损失，造成资源浪费，环境污染，发生中毒、爆炸等事故。因此，为了延长管道的寿命、防止泄漏事故的发生，就必须对管道进行有效的检测维护、维修。

管道环境复杂狭长，人工的检测操作难以进行。管道机器人因为其较小的体积、可在管道中爬行、可携带多种传感器及操作机械以及可远程控制，适合应用于管道的检测、清理以及探伤。所以，为保证油气管道安全运行，利用管道内检测机器人进行油气管道内检测是必要的手段。

PIG类机器人是最具代表性的油气管道检测设备，它没有自主驱动能力，其在油气管内前进的动力均来源于其头部和末端流体的压力差，也无需拖带电缆或携带蓄电池来进行驱动，一次可以行走几百公里，但其负载能力低，无法自主前进，且在行进中的不稳定性和传感器排列间隙变化可能导致数据采集的错误。

美国卡内基梅隆大学Schempf H等研发了Explorer系列城市天然气管道检测机器人，其中Explorer I1可搭载远场涡流或漏磁检测器进行管道缺陷检测，管体腐蚀、机械损伤和壁厚减薄可通过超声、远场涡流或漏磁等方法实现有效检测，但在运动过程中可能导致传感器排列间隙过大造成的缺陷信号的漏检。

我国管道机器人的研究起步较晚，1994年中国石油天然气管道局从美国引进漏磁检测设备开始，才真正着手漏磁检测技术的研究和应用。在多年的研究与应用发展过程中，管道局的检测技术水平取得了巨大的飞跃，管道局的漏磁检测技术与国际上相比水平已基本接近，但在应力裂纹、疲劳裂纹等裂纹缺陷的检测，仍然存在问题。目前，国内虽已基本掌握了油气管道外检测服务技术，但在管道内检测服务技术上仍处于空缺的状态。相较漏磁检测，远场涡流可以对内外缺陷都进行检测，且对提离值要求小，而远场涡流等电磁检测方式的研究目前才刚刚起步，发展潜力大。

发明内容

针对现有技术的不足，本发明设计一种基于螺旋扫描的管道检测机器人及其检测方法。

一种基于螺旋扫描的管道检测机器人，包括履带式车体、螺旋检测系统、感知机构和控制机构；所述螺旋检测系统安装在车体后半部分上，感知机构与控制机构相连，控制机构与螺旋检测系统相连，感知机构和控制机构都与履带式车体相连；

所述履带式车体，包括车体骨架、主动轮、从动轮、驱动电机、驱动电机固定架、锥齿轮组、滚珠丝杠、多连接丝杠螺母、第一丝杠支撑板、第二丝杠支撑板、主动变径杆、里程轮固定槽、第一从动变径杆和第二从动变径杆、第一履带固定片和第二履带固定片、履带内挡板和履带外挡板、轴承、激励线圈固定盘；两个主动轮和两个从动轮分成两组，对称设置在车体两侧，两个主动轮分别与两个锥齿轮组的主齿轮相连，两个锥齿轮组的副齿轮分别与两个驱动电机相连，驱动电机通过驱动电机固定架与履带内挡板固定，主动轮、从动轮均通过轴承与履带内挡板和履带外挡板连接，履带内挡板和履带外挡板通过第一履带固定片和第二履带固定片分别与第一从动变径杆和第二从动变径杆连接并通过第一从动变径杆和第二从动变径杆与车体骨架连接，滚珠丝杠两端分别与第一丝杠支撑板、第二丝杠支撑板相固定，多连接丝杠螺母套在滚珠丝杠上并沿其前后移动，三个主动变径杆与多连接丝杠螺母侧面连接，位于下方的两个主动变径杆与第二履带固定片连接；

位于滚珠丝杠上方的位置再安装一条主动变径杆，主动变径杆顶端安装里程轮固定槽，激励线圈固定盘固定在第一丝杠支撑板前端；

螺旋检测系统包括检测臂升降平台和交叉型检测机构两部分，所述检测臂升降平台，包括升降平台底座、舵机、舵机齿轮、伸缩直尺条、旋转电机支架；所述交叉型检测机构，包括旋转电机、联轴器、中心连接环、n条检测臂，每条所述检测臂包括套筒、伸缩杆、弹性结构、检测探头，升降平台底座固定在车体骨架上表面，伸缩直尺条与升降平台底座连接并相对滑动，舵机通过舵机齿轮与伸缩直尺条接触，旋转电机通过旋转电机支架与伸缩直尺条顶部固定，随其上下运动，交叉型检测机构的中心连接环通过联轴器与旋转电机连接，n条检测臂分别呈θ夹角

分布在中心连接环外侧，并与其固定，检测臂的套筒与伸缩杆通过卡槽结构相接，套筒内部安装弹性结构用于改变检测臂的长度，伸缩杆的另一端与所述检测探头固定，检测探头预留缠绕检测线圈及布线的空间；

控制机构包括控制器、电源、电机驱动模块、直流降压模块、信号传输模块，所述电源与控制器、电机驱动模块、直流降压模块连接，控制器分别通过导线与电机驱动模块、信号传输模块相连、直流降压模块和电机驱动模块均通过导线与驱动电机和旋转电机连接，所述控制器、电源、电机驱动模块、直流降压模块、信号传输模块安装在车体骨架上；

感知机构包括电子陀螺仪、红外测距模块、霍尔测速模块；所述电子陀螺仪安装在车体骨架下表面并与履带式车体表面平行，所述红外测距模块固定在检测臂升降平台中的旋转电机支架上，所述霍尔测速模块与履带式车体的驱动电机和旋转电机连接；

一种基于螺旋扫描的管道检测机器人的检测方法，基于上述一种基于螺旋扫描的管道检测机器人实现，包括以下步骤：

步骤1：设定机器人的驱动电机初始转速n0、旋转电机转速与驱动电机转速比值K，螺旋检测系统偏心阈值TH，采样宽度h，检测最大允许采样宽度误差e，其中旋转电机转速与驱动电机转速的比值K为检测探头最大有效检测范围所决定的常值，螺旋检测系统偏心阈值TH为检测臂微小弹性变径适应的变径范围所决定的常值，采样宽度h为检测探头的采样原理所决定的常值，检测最大允许采样宽度误差e为对检测探头的扫描精度要求所决定的常值；

步骤1.1：对待检测的油气管道内部建立右手空间直角坐标系，其中，以沿管道中轴线的机器人运动方向为Z轴正方向，假设从机器人前方观察，交叉型检测机构旋转方向为顺时针；检测探头在管道内壁上的检测区域的中心点的运动，为沿Z轴的直线运动和在OXY平面的周向圆周运动的合运动，对于某条检测臂的检测探头在管道内壁上的投影的任一初始位置(x₀,y₀,z₀)，其运动轨迹方程为：

式中，ω为交叉型检测机构中检测臂的旋转角速度，v为机器人行进速度，t为工作时间，x、y、z分别为该条检测臂的检测探头在管道内壁上的投影的位置在XYZ轴上的截距；

步骤1.2：将管道所在的圆柱面沿直线x＝R,y＝0切割并展开为笛卡尔坐标系，机器人扫描过的管道内表面的展开图为一个矩形，所述矩形长为L，宽为W；

且L＝S、W＝C，C＝2πR、S＝vt；

式中，S为工作时间内检测车的行进距离，C为管道截面周长，R为管道内半径；

螺旋状检测轨迹将展开为笛卡尔坐标系上倾斜的直线，所述直线与矩形的长的夹角α为：

相邻两条轨迹中心的相距距离d为：

式中，n为螺旋检测系统中参与扫描的检测臂的数量；

两条检测轨迹之间的距离与采样宽度之差，应小于检测最大允许采样宽度误差，以避免扫描遗漏和扫描重复，经计算，需满足的条件为：

式中，e为检测最大允许采样宽度误差，h为采样宽度；

初始设定机器人的旋转电机转速与驱动电机转速的比值K：

式中，r为机器人主动轮半径；

综上，为确保检测臂对管道内壁的全面扫描，需通过控制算法保持旋转电机转速与驱动电机转速的比值K满足以下条件：

理想状态下，当检测最大允许采样宽度误差e为0时，利用如下公式计算出旋转电机转速与驱动电机转速的比值K：

步骤2：感知机构红外测距模块获取交叉型检测机构中心连接环在管道轴向的位置信息，并反馈给控制机构，控制机构调节舵机转动角度，从而控制检测臂升降平台高度，通过轴中心控制方法，使交叉型检测机构几何中心始终处于管道轴向中心；

步骤2.1：检测臂升降平台顶端的红外测距模块将采集到的距管道内壁的距离信息实时传输到控制机构；

步骤2.2：控制机构根据实时获取的距离信息计算出交叉型检测机构中心在管道截面上的位置的偏心程度X；

步骤2.3：将获取的相关参数与设定的螺旋检测系统偏心阈值TH比较，通过位置式PID算法对升降平台进行控制，调节舵机的转动方向、角度、速度；

步骤2.4：重复步骤2.1至步骤2.3，直到控制偏心程度X始终小于等于偏心阈值TH，进行输出限幅；

步骤3：控制机构根据所需的驱动电机速度设定值，采用增量式PID反馈算法，实现速度闭环控制，分别带动履带式车体的驱动电机和螺旋检测系统的旋转电机工作，霍尔测速模块获取履带式车体的驱动电机和所述螺旋检测系统的旋转电机转速，传递给控制机构，控制机构将所述速度信息与速度设定值n0及速度比例设定值K进行对比，并进行反馈控制，达到设定的驱动电机与旋转电机转速，以保证行进过程中对管道内壁的扫描无遗漏；

步骤4：机器人工作过程中，检测探头紧挨管道内壁以螺旋轨迹移动采集信号，通过一套螺旋信号反演算法将螺旋信号进行反演和矫正，将三维管道内壁信息转换为二维管道内壁展开图，以实现管道内壁缺陷的可视化；

螺旋信号反演算法将螺旋信号进行反演和矫正，具体为：

步骤4.1：利用Matlab从数据储存设备中读取检测探头的采样数据和车体运行情况数据，包括n条检测臂测量的电压值、检测臂的相位、小车运动的时间、由所述霍尔测速模块测得的电机出轴旋转脉冲数；

步骤4.2：对采样数据的缺陷值、异常值进行初步识别，滤除噪声信号，再对初步处理后的数据进行拟合，插值数据预处理工作，对小数位较多的数据进行近似处理；

步骤4.3：将预处理后的数据读取到结构体数据类型中形成数据集，按照实际物理意义使用新的堆叠方式处理数据，以便给数据集升维，最终给每个采样到的管壁信号添加交互式特征包括测量该值时的相位，时间数据以及电机出轴旋转脉冲数数据；

步骤4.4：通过时钟驱动转化为里程驱动算法，得到小车前进里程，同时利用车体上的电子陀螺仪信号对检测臂的信号进行矫正，减小车体出现的倾斜问题所导致的检测数据误差，修正后插入到数据集中，最终得到采样数据的数据库；

螺旋信号反演算法中通过时钟驱动转化为里程驱动算法具体步骤为：

步骤4.4.1：提取出小车运动时间和电机出轴旋转脉冲数数据集；

步骤4.4.2：读取霍尔测速模块测得的单位时钟编码器脉冲数，计算得到小车前进速度；

步骤4.4.3：由逐步积分算法，将小车前进速度计算出小车前进里程；

步骤4.4.4：将由步骤4.4.1到4.4.3得到的小车前进里程与所述车体里程轮采集到的前进历程数据进行比对矫正，减小这两种方法造成的偶然误差；

步骤4.5：利用循环体结构将电子陀螺仪采集到的车体倾角信息作为特征值索引，依次在数据库中找到不同螺旋臂在该相位的不同里程坐标下的电压值，最终得到各个相位值数据库，绘图后得到管道内壁展开图，完成数据可视化工作；

步骤5：为了对缺陷的类型以及缺陷在管道内壁展开图中具体位置的进一步的判断，提出一种基于深度学习的管道内壁缺陷识别模型，在模型的输出结果中，利用缺陷特征信息判断算法识别并标注缺陷的几何特征，包括缺陷面积，周长，边界距离最大值，最大深度，同时标注出缺陷所在管道内处于多少米何相位处，最终输出处理完成后的管道内壁展开图；

步骤5.1：通过收集步骤4得到的管道内壁展开图获取数据；

步骤5.2：首先对原图像进行初步裁剪，然后对裁剪后的图像进行噪声滤波，和图像增强预处理工作；

所述裁剪为利用截图工具裁剪原图获得目标测量区域，图片保存为“jpg”格式；

步骤5.3：基于区域提议算法的目标检测网络模型(Faster-RCNN)模型训练并得到管道内壁缺陷识别模型；

步骤5.3.1：使用大规模图像识别数据库(ImageNet)的预训练权重初始化神经网络特有层参数的各个模块；

步骤5.3.2：收集正常管道内壁和含有缺陷的管道内壁检测图像，并进行分类标记，确定训练集与测试集，形成样本库；

步骤5.3.2.1：使用检测探头对各种已知类型的缺陷以及正常管道内壁进行检测，并生成检测图像；

步骤5.3.2.2：对管道内壁缺陷进行识别和标注；将特征明显的缺陷图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的图像，使用固定的像素大小对进行分割，再使用数据标注工具软件Labelme进行所有缺陷的类型标注，标注与缺陷类型一一对应，获得一组标注集；

步骤5.3.2.3：确定训练集与测试集：根据样本的数量，以7:3的比例将训练样本分为训练集和测试集，将txt文件和图片以及xml文件整合为Faster_RCNN可读取的文件，形成样本库；

步骤5.3.3：训练分为两个部分进行，一个是训练RPN网络，一个是训练后面的分类网络；用步骤5.3.2的数据集依次训练好各网络层参数；

步骤5.3.4：经过测试集测试，再根据测试结果与实际的误差微调各网络层的参数后，最终构成一个统一网络，得到管道内壁缺陷识别模型；

步骤5.4：利用该模型进行缺陷识别过程，判断管道内壁是否有缺陷，框出缺陷位置并标注类型；

步骤5.4.1：将检测图像缩放至固定大小，然后传入特征提取网络，特征提取网络采取深度残差网络，得到特征图；

步骤5.4.2：将得到的特征图传入区域候选网络RPN部分，用于生成可能出现缺陷的建议候选框，同时判断该候选框内是否存在缺陷，以及通过修正框使候选框的范围更加准确；

步骤5.4.3：将步骤5.4.2生成的缺陷建议候选框和步骤5.4.1中的缺陷特征图中提取出来，传入兴趣域池化层ROI Polling，得到含有候选框的固定大小特征图送入后续全连接层继续做分类和回归；

步骤5.4.4：将步骤5.4.3过程得到的固定大小候选框的特征图送入后续的classification分类层和regression回归层，进行分类和回归操作，得到目标的具体位置；

步骤5.5：基于缺陷特征信息处理算法确定缺陷的特征信息包括几何特征信息和方位特征信息；

步骤5.5.1：获取由Faster R-CNN识别到的被框住的缺陷；

步骤5.5.2：通过图像增强手段，将图像经过灰度变换转换为灰度图像；

步骤5.5.3：用中值滤波法对灰度图像进行噪声滤波操作，再对噪声滤波后的灰度图像进行形态学处理，包括腐蚀和膨胀操作；

步骤5.5.4：利用Canny边缘检测算法确定缺陷边缘位置；

步骤5.5.5：确定图像中的目标缺陷，进而得到目标缺陷总的像素个数，通过与标准物件像素个数对比，最终得到缺陷的各类几何特征信息，包括缺陷面积，周长，边界距离最大值。

步骤5.5.6：再调用数据库中此处缺陷有关信息，经过换算，得到该缺陷的最大深度或者是最大隆起高度，以及得到该缺陷在管道内的方位特征信息，包括该缺陷在管道内所在位置和所处相位，最后将所有特征信息加入标注中；

步骤5.6：输出处理完成后的管道内壁缺陷展开图。

本发明的有益技术效果：

本发明针对传感器密布式的PIG型管道检测机器人缺陷信号漏检的问题，设计了一种基于螺旋扫描的管道检测机器人及其检测方法，其中螺旋扫描系统首次将医学界核磁共振仪的螺旋检测思路应用于工业油气管道检测，可以实现对管道内壁无遗漏的全方位扫描；螺旋信号反演算法实现对螺旋信号的处理和管道内缺陷定位，避免传统结构因传感器排列间隙造成的缺陷信号漏检问题；检测系统轴中心控制方法，将交叉型检测机构的旋转中心始终控制于管道轴向中心，以保证检测的稳定。本检测方法最终可以实现对一定口径范围内的管道壁的破损、裂纹、凹陷等缺陷的无遗漏检测。

附图说明

图1为本发明的整体结构立体图；

图2为本发明的履带式车体的行走结构立体图；

图3为本发明中履带式底盘与螺旋检测系统的装配关系立体图；

图4为本发明中螺旋检测系统结构立体图；

图5为本发明中轴中心控制方法流程图；

图6为本发明中螺旋信号反演算法流程图；

图7为螺旋信号反演算法中时钟驱动与里程驱动转化流程图；

图8为管道柱坐标系模型与管道扫描轨迹侧面展开示意图；

图9为本发明一种基于螺旋信号反演算法的管道内壁检测路径展开图；

图10为本发明一种缺陷数据矫正后的管道平面等高线图和管道三维缺陷图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明；

本发明设计一种基于螺旋扫描的管道检测机器人及其检测方法。

一种基于螺旋扫描的管道检测机器人，如附图1-4所示；包括履带式车体1、螺旋检测系统2、感知机构4和控制机构3；所述螺旋检测系统安装在车体后半部分上，感知机构与控制机构相连，控制机构与螺旋检测系统相连，感知机构和控制机构都与履带式车体相连；

履带式车体1，如附图1、附图2所示，包括车体骨架1-1、主动轮1-2、从动轮1-3、驱动电机1-4、驱动电机固定架1-5、锥齿轮组1-6、滚珠丝杠1-7、多连接丝杠螺母1-8、第一丝杠支撑板1-9、第二丝杠支撑板1-10、主动变径杆1-11、里程轮固定槽1-12、第一从动变径杆和第二从动变径杆1-13、第一履带固定片和第二履带固定片1-14、履带内挡板和履带外挡板1-15、轴承1-16、激励线圈固定盘1-17，两个主动轮1-2和两个从动轮1-3分成两组，对称设置在车体两侧，两个主动轮1-2分别与两个锥齿轮组1-6的主齿轮相连，两个锥齿轮组1-6的副齿轮分别与两个驱动电机1-4相连，所述锥齿轮组1-6用于改变电机旋转的方向并提高传动比例，驱动电机1-4通过驱动电机固定架1-5与履带内挡板1-15固定，主动轮1-2、从动轮1-3均通过轴承1-16与履带内挡板和履带外挡板1-15连接，履带内挡板和履带外挡板1-15通过第一履带固定片和第二履带固定片1-14分别与第一从动变径杆和第二从动变径杆1-13连接并通过第一从动变径杆和第二从动变径杆1-13与车体骨架1-1连接，滚珠丝杠1-7两端分别与第一丝杠支撑板1-9、第二丝杠支撑板1-10相固定，多连接丝杠螺母1-8套在滚珠丝杠1-7上并可以沿其前后移动，三个主动变径杆1-11与多连接丝杠螺母1-8侧面连接，位于下方的两个主动变径杆1-11与第二履带固定片1-14连接，当多连接丝杠螺母1-8沿滚珠丝杠运动时，可以带动主动变径杆1-11改变角度，从而牵引第一从动变径杆和第二从动变径杆1-13，达到扩展或收缩履带的目的，以适应不同管径，位于上方的主动变径杆1-11顶端安装里程轮固定槽，便于安装用于计算距离和定位的里程轮结构，激励线圈固定盘1-17固定在第一丝杠支撑板1-9前端，用于安装远场涡流激励线圈。

位于滚珠丝杠上方的位置再安装一条主动变径杆，其同样随滚珠丝杠的变化进行扩展或收缩，主动变径杆顶端安装里程轮固定槽，便于安装用于计算距离和定位的里程轮结构；激励线圈固定盘固定在第一丝杠支撑板前端，用于安装远场涡流激励线圈；

螺旋检测系统2包括检测臂升降平台和交叉型检测机构两部分，所述检测臂升降平台，如附图3所示，包括升降平台底座2-1、舵机2-2、舵机齿轮2-3、伸缩直尺条2-4、旋转电机支架2-5，所述交叉型检测机构，如附图4所示，包括旋转电机2-6、联轴器2-7、中心连接环2-8、n条检测臂，每条所述检测臂包括套筒2-9、伸缩杆2-10、弹性结构2-11、检测探头2-12，升降平台底座2-1固定在车体骨架1-1上表面，伸缩直尺条2-4与升降平台底座连接并可相对滑动，舵机2-2通过舵机齿轮2-3与伸缩直尺条2-4接触，调节舵机2-2转动角度，舵机齿轮2-3的旋转可以带动伸缩直尺条2-4上升或下降到精确位置，实现对交叉型检测机构高度的控制，旋转电机2-6通过旋转电机支架2-5与伸缩直尺条2-4顶部固定，可以随其上下运动，交叉型检测机构的中心连接环2-8通过联轴器2-7与旋转电机2-6连接，n条检测臂呈90度夹角分布在中心连接环2-8外侧，并与其固定，检测臂的套筒2-9与伸缩杆2-10通过卡槽结构相接，套筒内部安装弹性结构2-11用于改变检测臂的长度，伸缩杆2-10的另一端与所述检测探头2-12固定，检测探头2-12预留缠绕检测线圈及布线的空间，旋转电机工作时，交叉型检测机构旋转，检测探头2-12紧贴管道内壁移动进行扫描。

控制机构3包括STM32F4控制器、锂电池电源、电机驱动模块、直流降压模块、信号传输模块，所述电源与STM32F4控制器、电机驱动模块、直流降压模块连接，STM32F4控制器分别通过导线与电机驱动模块、信号传输模块相连、直流降压模块和电机驱动模块均通过导线与驱动电机1-4和旋转电机2-6连接，所述STM32F4控制器、锂电池电源、电机驱动模块、直流降压模块、信号传输模块安装在车体骨架1-1上。

感知机构4包括Mpu6050电子陀螺仪、红外测距模块、霍尔测速模块；所述Mpu6050电子陀螺仪安装在车体骨架1-1下表面并与履带式车体1表面平行，所述红外测距模块固定在检测臂升降平台中的旋转电机支架2-5上，所述霍尔测速模块与履带式车体的驱动电机1-4和旋转电机2-6连接。

一种基于螺旋扫描的管道检测机器人的检测方法，基于上述一种基于螺旋扫描的管道检测机器人实现，包括以下步骤：

步骤1：设定机器人的驱动电机初始转速n0、旋转电机转速与驱动电机转速比值K，螺旋检测系统偏心阈值TH，采样宽度h，检测最大允许采样宽度误差e，其中旋转电机转速与驱动电机转速的比值K为检测探头最大有效检测范围所决定的常值，螺旋检测系统偏心阈值TH为检测臂微小弹性变径适应的变径范围所决定的常值，采样宽度h为检测探头的采样原理所决定的常值，检测最大允许采样宽度误差e为对检测探头的扫描精度要求所决定的常值；

步骤1.1：对待检测的油气管道内部建立右手空间直角坐标系，其中，以沿管道中轴线的机器人运动方向为Z轴正方向，如附图8，假设从机器人前方观察，交叉型检测机构旋转方向为顺时针；检测探头在管道内壁上的检测区域的中心点的运动，为沿Z轴的直线运动和在OXY平面的周向圆周运动的合运动，对于某条检测臂的检测探头在管道内壁上的投影的任一初始位置(x₀,y₀,z₀)，其运动轨迹方程为：

式中，ω为交叉型检测机构中检测臂的旋转角速度，v为机器人行进速度，t为工作时间，x、y、z分别为该条检测臂的检测探头在管道内壁上的投影的位置在XYZ轴上的截距；

步骤1.2：将管道所在的圆柱面沿直线x＝R,y＝0切割并展开为笛卡尔坐标系，机器人扫描过的管道内表面的展开图为一个矩形，所述矩形长为L，宽为W，如附图8；

且L＝S、W＝C，C＝2πR、S＝vt；

式中，S为工作时间内检测车的行进距离，C为管道截面周长，R为管道内半径；

螺旋状检测轨迹将展开为笛卡尔坐标系上倾斜的直线，所述直线与矩形的长的夹角α为：

相邻两条轨迹中心的相距距离d为：

式中，n为螺旋检测系统中参与扫描的检测臂的数量，在本实施例中，n为4；

两条检测轨迹之间的距离与采样宽度之差，应小于检测最大允许采样宽度误差，以避免扫描遗漏和扫描重复，经计算，需满足的条件为：

式中，e为检测最大允许采样宽度误差，h为采样宽度；

初始设定机器人的旋转电机转速与驱动电机转速的比值K：

式中，r为机器人主动轮半径；

综上，为确保检测臂对管道内壁的全面扫描，在本实施例中，需通过控制算法保持旋转电机转速与驱动电机转速的比值K满足以下条件：

理想状态下，当检测最大允许采样宽度误差e为0时，利用如下公式可计算出旋转电机转速与驱动电机转速的比值K：

步骤2：感知机构红外测距模块获取交叉型检测机构中心连接环在管道轴向的位置信息，并反馈给控制机构，控制机构调节舵机转动角度，从而控制检测臂升降平台高度，通过轴中心控制方法，使交叉型检测机构几何中心始终处于管道轴向中心，算法流程如附图5；

步骤2.1：检测臂升降平台顶端的红外测距模块将采集到的距管道内壁的距离信息实时传输到控制机构；

步骤2.2：控制机构根据实时获取的距离信息计算出交叉型检测机构中心在管道截面上的位置的偏心程度X；

步骤2.3：将获取的相关参数与设定的螺旋检测系统偏心阈值TH比较，通过位置式PID算法对升降平台进行控制，调节舵机的转动方向、角度、速度；

步骤2.4：重复步骤2.1至步骤2.3，直到控制偏心程度X始终小于等于偏心阈值TH，进行输出限幅；

步骤3：控制机构根据所需的驱动电机速度设定值，采用增量式PID反馈算法，实现速度闭环控制，分别带动履带式车体的驱动电机和螺旋检测系统的旋转电机工作，霍尔测速模块获取履带式车体的驱动电机和所述螺旋检测系统的旋转电机转速，传递给控制机构，控制机构将所述速度信息与速度设定值n0及速度比例设定值K进行对比，并进行反馈控制，达到设定的驱动电机与旋转电机转速，以保证行进过程中对管道内壁的扫描无遗漏；

步骤4：机器人工作过程中，随着机器人的行驶和交叉型检测机构的旋转，检测探头紧贴管道内壁移动，实现管道缺陷信号的采集。但由于交叉型检测机构采集到的信号是n条彼此分立的电压值，且检测探头的运行轨迹是螺旋线，无法直接分析缺陷所在的缺陷电压信息与位置信息。为解决以上问题，通过一套螺旋信号反演算法将螺旋信号进行反演和矫正，将三维管道内壁信息转换为二维管道内壁展开图，以实现管道内壁缺陷的可视化；

本实施例中，选定测试环境为直径为219mm的金属管道，机器人主动轮半径约为24mm。为使检测信号无漏检，选取检测探头采样间距为1cm。在此条件下，将测试管道直径与检测探头采样间距带入步骤1计算得出旋转电机转速与驱动电机转速的比值K，约为23.65，使旋转臂旋转角速度(rad/s)与小车前进速度(v/s)的数值比值约为1.568。进而根据实际要求设定旋转角速度10.0rad/s，前进速度6.4cm/s，同时为了保证高精度采样数据，设定采样频率为573Hz，保证每条旋转臂每旋转一圈采样点为360个点，设定好后进入管道环境进行检测。

螺旋信号反演算法将螺旋信号进行反演和矫正如附图6，具体步骤为：

步骤4.1：利用Matlab从数据储存设备中读取检测探头的采样数据和车体运行情况数据，包括n条检测臂测量的电压值、检测臂的相位、小车运动的时间、由所述霍尔测速模块测得的电机出轴旋转脉冲数；

步骤4.2：对采样数据的缺陷值，异常值进行初步识别，滤除噪声信号，再对初步处理后的数据进行拟合，插值等数据预处理工作；其中要对小数位较多的数据进行近似处理。

步骤4.3：将预处理后的数据读取到结构体数据类型中形成数据集，按照实际物理意义使用新的堆叠方式处理数据，以便给数据集升维，最终给每个采样到的管壁信号添加交互式特征包括测量该值时的相位，时间数据以及电机出轴旋转脉冲数数据；

步骤4.4：通过时钟驱动转化为里程驱动算法，得到小车前进里程，同时利用车体上的电子陀螺仪信号对检测臂的信号进行矫正，减小车体可能出现的倾斜问题所导致的检测数据误差，修正后插入到数据集中，最终得到采样数据的数据库；

螺旋信号反演算法中通过时钟驱动转化为里程驱动算法流程图如附图7，具体步骤为：

步骤4.4.1：提取出小车运动时间和电机出轴旋转脉冲数数据集；

步骤4.4.2：读取霍尔测速模块测得的单位时钟编码器脉冲数，计算得到小车前进速度；

步骤4.4.3：由逐步积分算法，将小车前进速度计算出小车前进里程；

步骤4.4.4：将由所属步骤4.4.1到4.4.3得到的小车前进里程与所述车体里程轮采集到的前进历程数据进行比对矫正，减小这两种方法造成的偶然误差；

步骤4.5：利用循环体结构将电子陀螺仪采集到的车体倾角信息作为特征值索引，依次在数据库中找到不同螺旋臂在该相位的不同里程坐标下的电压值，最终得到各个相位值数据库，绘图后得到管道内壁展开图，如附图9所示，完成数据可视化工作；同时也可以绘出缺陷等高线图，更加直观的看到缺陷大小，深度等特征信息，可以绘制出缺陷三维图，如附图10所示。

步骤5：为了对缺陷的类型以及缺陷在管道内壁展开图中具体位置的进一步的判断，提出一种基于深度学习的管道内壁缺陷识别模型，在模型的输出结果中，利用缺陷特征信息判断算法识别并标注缺陷的几何特征，包括缺陷面积，周长，边界距离最大值，最大深度，同时标注出缺陷所在管道内的距离和相位信息，最终输出处理完成后的管道内壁展开图；

步骤5.1：通过收集步骤4得到的管道内壁展开图获取数据；

步骤5.2：首先对原图像进行初步裁剪，然后对裁剪后的图像进行噪声滤波，和图像增强预处理工作；

所述裁剪为利用截图工具裁剪原图获得目标测量区域，图片保存为“jpg”格式；

步骤5.3：基于区域提议算法的目标检测网络模型(Faster-RCNN)训练并得到管道内壁缺陷识别模型；

步骤5.3.1：使用大规模图像识别数据库(ImageNet)的预训练权重初始化神经网络特有层参数的各个模块；

步骤5.3.2：收集正常管道内壁和含有缺陷的管道内壁检测图像，并进行分类标记，确定训练集与测试集，形成样本库；

步骤5.3.2.1：使用检测探头对各种已知类型的缺陷以及正常管道内壁进行检测，并生成检测图像；

步骤5.3.2.2：对管道内壁缺陷进行识别和标注；将特征明显的缺陷图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的图像，使用固定的像素大小对进行分割，再使用数据标注工具软件Labelme进行所有缺陷的类型标注，标注与缺陷类型一一对应，获得一组标注集；

步骤5.3.2.3：确定训练集与测试集：根据样本的数量，以7:3的比例将训练样本分为训练集和测试集，将txt文件和图片以及xml文件整合为Faster_RCNN可读取的文件，形成样本库；

步骤5.3.3：训练分为两个部分进行，一个是训练RPN网络，一个是训练后面的分类网络；用步骤5.3.2的数据集依次训练好各网络层参数；

步骤5.3.4：经过测试集测试，再根据测试结果与实际的误差微调各网络层的参数后，最终构成一个统一网络，得到管道内壁缺陷识别模型；

步骤5.4：利用该模型进行缺陷识别过程，判断管道内壁是否有缺陷，框出缺陷位置并标注类型；

步骤5.4.1：将检测图像缩放至固定大小，然后传入特征提取网络，特征提取网络采取深度残差网络，得到特征图；

步骤5.4.2：将得到的特征图传入区域候选网络RPN部分，用于生成可能出现缺陷的建议候选框，同时判断该候选框内是否存在缺陷，以及通过修正框使候选框的范围更加准确；

步骤5.4.3：将步骤5.4.2生成的缺陷建议候选框和步骤5.4.1中的缺陷特征图中提取出来，传入兴趣域池化层ROI Polling，得到含有候选框的固定大小特征图送入后续全连接层继续做分类和回归；

步骤5.4.4：将步骤5.4.3过程得到的固定大小候选框的特征图送入后续的classification分类层和regression回归层，进行分类和回归操作，得到目标的具体位置；

步骤5.5：基于缺陷特征信息处理算法确定缺陷的特征信息包括几何特征信息和方位特征信息；

步骤5.5.1：获取由Faster R-CNN识别到的被框住的缺陷；

步骤5.5.2：通过图像增强手段，将图像经过灰度变换转换为灰度图像；

步骤5.5.3：用中值滤波法对灰度图像进行噪声滤波操作，再对噪声滤波后的灰度图像进行形态学处理，包括腐蚀和膨胀操作；

步骤5.5.4：利用Canny边缘检测算法确定缺陷边缘位置；

步骤5.5.5：确定图像中的目标缺陷，进而得到目标缺陷总的像素个数，通过与标准物件像素个数对比，最终得到缺陷的各类几何特征信息，包括缺陷面积，周长，边界距离最大值。

步骤5.5.6：再调用数据库中此处缺陷有关信息，经过换算，得到该缺陷的最大深度或者是最大隆起高度，以及得到该缺陷在管道内的方位特征信息，包括该缺陷在管道内所在位置和所处相位，最后将所有特征信息加入标注中。

步骤5.6：输出处理完成后的管道内壁缺陷展开图。

Claims (10)

1.一种基于螺旋扫描的管道检测机器人，其特征在于，包括履带式车体、螺旋检测系统、感知机构和控制机构；所述螺旋检测系统安装在车体后半部分上，感知机构与控制机构相连，控制机构与螺旋检测系统相连，感知机构和控制机构都与履带式车体相连。

2.根据权利要求1所述的一种基于螺旋扫描的管道检测机器人，其特征在于，所述履带式车体，包括车体骨架、主动轮、从动轮、驱动电机、驱动电机固定架、锥齿轮组、滚珠丝杠、多连接丝杠螺母、第一丝杠支撑板、第二丝杠支撑板、主动变径杆、里程轮固定槽、第一从动变径杆和第二从动变径杆、第一履带固定片和第二履带固定片、履带内挡板和履带外挡板、轴承、激励线圈固定盘；两个主动轮和两个从动轮分成两组，对称设置在车体两侧，两个主动轮分别与两个锥齿轮组的主齿轮相连，两个锥齿轮组的副齿轮分别与两个驱动电机相连，驱动电机通过驱动电机固定架与履带内挡板固定，主动轮、从动轮均通过轴承与履带内挡板和履带外挡板连接，履带内挡板和履带外挡板通过第一履带固定片和第二履带固定片分别与第一从动变径杆和第二从动变径杆连接并通过第一从动变径杆和第二从动变径杆与车体骨架连接，滚珠丝杠两端分别与第一丝杠支撑板、第二丝杠支撑板相固定，多连接丝杠螺母套在滚珠丝杠上并沿其前后移动，三个主动变径杆与多连接丝杠螺母侧面连接，位于下方的两个主动变径杆与第二履带固定片连接；

位于滚珠丝杠上方的位置再安装一条主动变径杆，主动变径杆顶端安装里程轮固定槽，激励线圈固定盘固定在第一丝杠支撑板前端。

3.根据权利要求1所述的一种基于螺旋扫描的管道检测机器人，其特征在于，螺旋检测系统包括检测臂升降平台和交叉型检测机构两部分，所述检测臂升降平台，包括升降平台底座、舵机、舵机齿轮、伸缩直尺条、旋转电机支架；所述交叉型检测机构，包括旋转电机、联轴器、中心连接环、n条检测臂，每条所述检测臂包括套筒、伸缩杆、弹性结构、检测探头，升降平台底座固定在车体骨架上表面，伸缩直尺条与升降平台底座连接并相对滑动，舵机通过舵机齿轮与伸缩直尺条接触，旋转电机通过旋转电机支架与伸缩直尺条顶部固定，随其上下运动，交叉型检测机构的中心连接环通过联轴器与旋转电机连接，n条检测臂分别呈θ夹角

分布在中心连接环外侧，并与其固定，检测臂的套筒与伸缩杆通过卡槽结构相接，套筒内部安装弹性结构用于改变检测臂的长度，伸缩杆的另一端与所述检测探头固定，检测探头预留缠绕检测线圈及布线的空间；

控制机构包括控制器、电源、电机驱动模块、直流降压模块、信号传输模块，所述电源与控制器、电机驱动模块、直流降压模块连接，控制器分别通过导线与电机驱动模块、信号传输模块相连、直流降压模块和电机驱动模块均通过导线与驱动电机和旋转电机连接，所述控制器、电源、电机驱动模块、直流降压模块、信号传输模块安装在车体骨架上；

感知机构包括电子陀螺仪、红外测距模块、霍尔测速模块；所述电子陀螺仪安装在车体骨架下表面并与履带式车体表面平行，所述红外测距模块固定在检测臂升降平台中的旋转电机支架上，所述霍尔测速模块与履带式车体的驱动电机和旋转电机连接。

4.一种基于螺旋扫描的管道检测机器人的检测方法，基于权利要求1一种基于螺旋扫描的管道检测机器人实现，其特征在于，包括以下步骤：

步骤1：设定机器人的驱动电机初始转速n0、旋转电机转速与驱动电机转速比值K，螺旋检测系统偏心阈值TH，采样宽度h，检测最大允许采样宽度误差e，其中旋转电机转速与驱动电机转速的比值K为检测探头最大有效检测范围所决定的常值，螺旋检测系统偏心阈值TH为检测臂微小弹性变径适应的变径范围所决定的常值，采样宽度h为检测探头的采样原理所决定的常值，检测最大允许采样宽度误差e为对检测探头的扫描精度要求所决定的常值；

步骤2：感知机构红外测距模块获取交叉型检测机构中心连接环在管道轴向的位置信息，并反馈给控制机构，控制机构调节舵机转动角度，从而控制检测臂升降平台高度，通过轴中心控制方法，使交叉型检测机构几何中心始终处于管道轴向中心；

步骤3：控制机构根据所需的驱动电机速度设定值，采用增量式PID反馈算法，实现速度闭环控制，分别带动履带式车体的驱动电机和螺旋检测系统的旋转电机工作，霍尔测速模块获取履带式车体的驱动电机和所述螺旋检测系统的旋转电机转速，传递给控制机构，控制机构将所述速度信息与速度设定值n0及速度比例设定值K进行对比，并进行反馈控制，达到设定的驱动电机与旋转电机转速，以保证行进过程中对管道内壁的扫描无遗漏；

步骤4：机器人工作过程中，检测探头紧挨管道内壁以螺旋轨迹移动采集信号，通过一套螺旋信号反演算法将螺旋信号进行反演和矫正，将三维管道内壁信息转换为二维管道内壁展开图，以实现管道内壁缺陷的可视化；

步骤5：为了对缺陷的类型以及缺陷在管道内壁展开图中具体位置的进一步的判断，提出一种基于深度学习的管道内壁缺陷识别模型，在模型的输出结果中，利用缺陷特征信息判断算法识别并标注缺陷的几何特征，包括缺陷面积，周长，边界距离最大值，最大深度，同时标注出缺陷所在管道内的距离和相位信息，最终输出处理完成后的管道内壁展开图。

5.根据权利要求4所述的一种基于螺旋扫描的管道检测机器人的检测方法，其特征在于，步骤1具体为：

步骤1.1：对待检测的油气管道内部建立右手空间直角坐标系，其中，以沿管道中轴线的机器人运动方向为Z轴正方向，假设从机器人前方观察，交叉型检测机构旋转方向为顺时针；检测探头在管道内壁上的检测区域的中心点的运动，为沿Z轴的直线运动和在OXY平面的周向圆周运动的合运动，对于某条检测臂的检测探头在管道内壁上的投影的任一初始位置(x₀,y₀,z₀)，其运动轨迹方程为：

式中，ω为交叉型检测机构中检测臂的旋转角速度，v为机器人行进速度，t为工作时间，x、y、z分别为该条检测臂的检测探头在管道内壁上的投影的位置在XYZ轴上的截距；

步骤1.2：将管道所在的圆柱面沿直线x＝R,y＝0切割并展开为笛卡尔坐标系，机器人扫描过的管道内表面的展开图为一个矩形，所述矩形长为L，宽为W；

且L＝S、W＝C，C＝2πR、S＝vt；

式中，S为工作时间内检测车的行进距离，C为管道截面周长，R为管道内半径；

螺旋状检测轨迹将展开为笛卡尔坐标系上倾斜的直线，所述直线与矩形的长的夹角α为：

相邻两条轨迹中心的相距距离d为：

式中，n为螺旋检测系统中参与扫描的检测臂的数量；

两条检测轨迹之间的距离与采样宽度之差，应小于检测最大允许采样宽度误差，以避免扫描遗漏和扫描重复，经计算，需满足的条件为：

式中，e为检测最大允许采样宽度误差，h为采样宽度；

初始设定机器人的旋转电机转速与驱动电机转速的比值K：

式中，r为机器人主动轮半径；

综上，为确保检测臂对管道内壁的全面扫描，需通过控制算法保持旋转电机转速与驱动电机转速的比值K满足以下条件：

理想状态下，当检测最大允许采样宽度误差e为0时，利用如下公式计算出旋转电机转速与驱动电机转速的比值K：

6.根据权利要求4所述的一种基于螺旋扫描的管道检测机器人的检测方法，其特征在于，步骤2具体为：

步骤2.1：检测臂升降平台顶端的红外测距模块将采集到的距管道内壁的距离信息实时传输到控制机构；

步骤2.2：控制机构根据实时获取的距离信息计算出交叉型检测机构中心在管道截面上的位置的偏心程度X；

步骤2.3：将获取的相关参数与设定的螺旋检测系统偏心阈值TH比较，通过位置式PID算法对升降平台进行控制，调节舵机的转动方向、角度、速度；

步骤2.4：重复步骤2.1至步骤2.3，直到控制偏心程度X始终小于等于偏心阈值TH，进行输出限幅。

7.根据权利要求4所述的一种基于螺旋扫描的管道检测机器人的检测方法，其特征在于，步骤4具体为：

步骤4.1：利用Matlab从数据储存设备中读取检测探头的采样数据和车体运行情况数据，包括n条检测臂测量的电压值、检测臂的相位、小车运动的时间、由所述霍尔测速模块测得的电机出轴旋转脉冲数；

步骤4.2：对采样数据的缺陷值、异常值进行初步识别，滤除噪声信号，再对初步处理后的数据进行拟合，插值数据预处理工作，对小数位较多的数据进行近似处理；

步骤4.3：将预处理后的数据读取到结构体数据类型中形成数据集，按照实际物理意义使用新的堆叠方式处理数据，以便给数据集升维，最终给每个采样到的管壁信号添加交互式特征包括测量该值时的相位，时间数据以及电机出轴旋转脉冲数数据；

步骤4.4：通过时钟驱动转化为里程驱动算法，得到小车前进里程，同时利用车体上的电子陀螺仪信号对检测臂的信号进行矫正，减小车体出现的倾斜问题所导致的检测数据误差，修正后插入到数据集中，最终得到采样数据的数据库；

螺旋信号反演算法中通过时钟驱动转化为里程驱动算法具体步骤为：

步骤4.4.1：提取出小车运动时间和电机出轴旋转脉冲数数据集；

步骤4.4.2：读取霍尔测速模块测得的单位时钟编码器脉冲数，计算得到小车前进速度；

步骤4.4.3：由逐步积分算法，将小车前进速度计算出小车前进里程；

步骤4.4.4：将由步骤4.4.1到4.4.3得到的小车前进里程与所述车体里程轮采集到的前进历程数据进行比对矫正，减小这两种方法造成的偶然误差；

步骤4.5：利用循环体结构将电子陀螺仪采集到的车体倾角信息作为特征值索引，依次在数据库中找到不同检测臂在该相位的不同里程坐标下的电压值，最终得到各个相位值数据库，绘图后得到管道内壁展开图，完成数据可视化工作。

8.根据权利要求4所述的一种基于螺旋扫描的管道检测机器人的检测方法，其特征在于，步骤5具体为：

步骤5.1：通过收集步骤4得到的管道内壁展开图获取数据；

步骤5.2：首先对原图像进行初步裁剪，然后对裁剪后的图像进行噪声滤波，和图像增强预处理工作；

所述裁剪为利用截图工具裁剪原图获得目标测量区域，图片保存为“jpg”格式；

步骤5.3：基于区域提议算法的目标检测网络模型(Faster-RCNN)模型训练并得到管道内壁缺陷识别模型；

步骤5.4：利用该模型进行缺陷识别过程，判断管道内壁是否有缺陷，框出缺陷位置并标注类型；

步骤5.5：基于缺陷特征信息处理算法确定缺陷的特征信息包括几何特征信息和方位特征信息；

步骤5.5.1：获取由Faster R-CNN识别到的被框住的缺陷；

步骤5.5.2：通过图像增强手段，将图像经过灰度变换转换为灰度图像；

步骤5.5.3：用中值滤波法对灰度图像进行噪声滤波操作，再对噪声滤波后的灰度图像进行形态学处理，包括腐蚀和膨胀操作；

步骤5.5.4：利用Canny边缘检测算法确定缺陷边缘位置；

步骤5.5.5：确定图像中的目标缺陷，进而得到目标缺陷总的像素个数，通过与标准物件像素个数对比，最终得到缺陷的各类几何特征信息，包括缺陷面积，周长，边界距离最大值；

步骤5.5.6：再调用数据库中此处缺陷有关信息，经过换算，得到该缺陷的最大深度或者是最大隆起高度，以及得到该缺陷在管道内的方位特征信息，包括该缺陷在管道内所在位置和所处相位，最后将所有特征信息加入标注中；

步骤5.6：输出处理完成后的管道内壁缺陷展开图。

9.根据权利要求8所述的一种基于螺旋扫描的管道检测机器人的检测方法，其特征在于，步骤5.3具体为：

步骤5.3.1：使用大规模图像识别数据库(ImageNet)的预训练权重初始化神经网络特有层参数的各个模块；

步骤5.3.2：收集正常管道内壁和含有缺陷的管道内壁检测图像，并进行分类标记，确定训练集与测试集，形成样本库；

步骤5.3.2.1：使用检测探头对各种已知类型的缺陷以及正常管道内壁进行检测，并生成检测图像；

步骤5.3.2.2：对管道内壁缺陷进行识别和标注；将特征明显的缺陷图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的图像，使用固定的像素大小对进行分割，再使用数据标注工具软件Labelme进行所有缺陷的类型标注，标注与缺陷类型一一对应，获得一组标注集；

步骤5.3.2.3：确定训练集与测试集：根据样本的数量，以7:3的比例将训练样本分为训练集和测试集，将txt文件和图片以及xml文件整合为Faster_RCNN可读取的文件，形成样本库；

步骤5.3.3：训练分为两个部分进行，一个是训练RPN网络，一个是训练后面的分类网络；用步骤5.3.2的数据集依次训练好各网络层参数；

步骤5.3.4：经过测试集测试，再根据测试结果与实际的误差微调各网络层的参数后，最终构成一个统一网络，得到管道内壁缺陷识别模型。

10.根据权利要求8所述的一种基于螺旋扫描的管道检测机器人的检测方法，其特征在于，步骤5.4具体为：

步骤5.4.1：将检测图像缩放至固定大小，然后传入特征提取网络，特征提取网络采取深度残差网络，得到特征图；

步骤5.4.2：将得到的特征图传入区域候选网络RPN部分，用于生成可能出现缺陷的建议候选框，同时判断该候选框内是否存在缺陷，以及通过修正框使候选框的范围更加准确；

步骤5.4.3：将步骤5.4.2生成的缺陷建议候选框和步骤5.4.1中的缺陷特征图中提取出来，传入兴趣域池化层ROI Polling，得到含有候选框的固定大小特征图送入后续全连接层继续做分类和回归；

步骤5.4.4：将步骤5.4.3过程得到的固定大小候选框的特征图送入后续的classification分类层和regression回归层，进行分类和回归操作，得到目标的具体位置。

Images