CN110634140B - 一种基于机器视觉的大直径管状物定位及内壁缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的大直径管状物定位及内壁缺陷检测方法，属于工业自动化检测领域。采用导航小车通过工业机械臂把图像采集设备输送到待测大直径管状物的端面上方，采集待测图像，传输至终端，终端内的图像处理模块获取大直径管状物的空间的坐标信息，图像采集设备和工业机械臂手眼标定，经过坐标转化，定位管状物的圆心位置，使得图像中的坐标转化成工业机械臂中的坐标，工业机械臂按照预设路径。搭载高精度扫描仪采集大直径管状物内壁的3维图像信息，图像处理模块计算出大直径管状物缺陷信息，并判断缺陷类型，以此可以实现对多个大直径管状物内壁的检测，全程不需要人工参与，大大提高检测自动化程度。

Description

一种基于机器视觉的大直径管状物定位及内壁缺陷检测方法

技术领域

本发明涉及图像处理以及机器视觉等技术，属于机器视觉检测领域。更具体地说，是一种基于机器视觉的大直径管状物定位及内壁缺陷检测方法。

背景技术

大直径管状物在工业应用中尤其常见，是一种重要的基础设施，比如输送管道、排气管道以及螺母等，在工业生产中起到输送、排气、走线以及联结等作用。其形式多变、种类繁多，随着管道使用时间的增加出现老化，管道内壁的缺陷往往会恶化，导致一些列问题。如果不能发现并解决这些问题就会埋下隐患。因此，及时对管道的缺陷进行检测就成为管道正常使用的关键。其中对于大直径管状物的内壁进行检测显得格外重要，具有巨大的经济和社会价值。

现有技术中公开的内壁检测方法有电磁检测、视觉检测等。电磁超声传感器在线监测技术只能检测管壁减薄缺陷而无法检测到管道表面缺陷,而视觉检测一般采用CCD相机提取缺陷图像，比如公开号为CN109513639A，的专利中公布了一种基于机器视觉的环状工件内壁缺陷检测设备及方法。该发明包括机架和多组检测工位，机架上间隔安装多组检测工位，检测工位包括一对镜片、光源和摄像机。通过CCD相机自动采集内壁图像并定位缺陷位置。但是，该发明无法实现对管状物的定位并且二维的CCD相机不能精确的测量缺陷的三维形貌和尺寸，且由于CCD相机容易受环境光的影响，需要光源等设备配合才能采集到的图像。

发明内容

1、要解决的问题

针对现有技术中对多个大直径管状物内壁检测，需要逐一人工定位，不够智能化，准确性不高，本发明提供一种基于机器视觉的大直径管状物定位方法，通过图像采集设备采集所有待测大直径管状物的整体顶视图，传输至终端，终端内的图像处理模块计算出大直径管状物的空间的坐标信息，图像采集设备和工业机械臂手眼标定，使得所述坐标信息转化成工业机械臂中的坐标，工业机械臂按照标定的路径，自动搭载图像采集设备进入大直径管状物内部容置空间，采集器内部的图像信息，大大节省了时间，提高了检测效率；

针对现有大直径管状物内壁的缺陷信息不便获取的问题，本发明提供一种大直径管状物内壁缺陷检测方法，通过将待测大直径管状物与预设标准大直径管状物模型比较，获取待测大直径管状物的缺陷信息，用于大直径管状物的质检，及早发现大直径管状物的隐患，保证其安全使用。

2、技术方案

本发明第一方面，提供了一种基于机器视觉的大直径管状物定位方法，其步骤包括：

S100：采集大直径管状物的端面轮廓第一图像信息；

S200：根据所述第一图像信息构建坐标信息，定位端面圆心；

S300：根据所述坐标信息标定第二路径；

S400：根据所述第二路径采集大直径管状物内部的第二图像信息。

优选的，构建坐标信息具体步骤包括：

对所述第一图像进行中值滤波以及灰度化处理；

提取第一图像边缘轮廓；

对所述边缘轮廓膨胀处理；

筛选边缘轮廓；

对所述边缘轮廓腐蚀处理以及圆形拟合；

求取第一图像信息边缘拟合轮廓的参数，构建端面圆心的坐标信息。

优选的，工业机械臂搭载图像采集设备按预先设定的第一路径采集第一图像信息。

优选的，第二路径步骤包括：预先将图像采集设备和工业机械臂手眼标定，使得所述坐标信息转化成工业机械臂中的坐标，构成第二路径。

优选的，所述手眼标定方法包括两点法、九点法以及张氏标定法的一种。

本发明第二方面，提供了一种基于机器视觉的大直径管状物内壁缺陷检测方法，包括：

根据上述的方法采集大直径管状物内壁信息，获取待测管状物内壁点云图像PF2；

获取预设标准大直径管状物模型的标准采样模型SOM1；

将待测管状物内壁图像PF2的姿态归一化，得到标准姿态三维图像PFN2，

将标准姿态三维图像PFN2的待测点与所述标准采样模型SOM1上标准点匹配，建立点对；

当各个点对中待测点与标准点的距离大于预设第一阈值时，判定该待测点为待选缺陷点；

将所述待选缺陷点建立联结得到缺陷点云图像p3。

优选的，在所述待选缺陷点建立联结时，计算各个待选缺陷点之间的三维欧式距离，当各个待选缺陷点之间的三维欧式距离小于预设第二阈值时，联结所述待选缺陷点。

优选的，联结所述待选缺陷点，得到待选区域面积，当所述待选区域面积大于第四阈值时，判定为缺陷。

优选的，将待测管状物内壁图像PF2的姿态归一化步骤包括：

获取预设大直径管状物模型的表面模型SM1；

在所述待测管状物内壁图像PF2中均匀采样获得场景点，

从所述场景点选取一组作为关键点；

将所述关键点与所有其他采样的场景点配对；

从采样的场景点中选择一组关键点Pi；

在表面模型SM1上找到对应的点集Qi；

通过ICP算法使得||Pi-Qi||最小，得到旋转矩阵T1和平移矩阵T2

对所述姿态转移矩阵T1平移矩阵T2得逆矩阵；

将所述逆矩阵应用到待测管状物内壁图像PF2上，使得PF2在三维空间中进行姿态变换，得到得到标准三维模型PFN2。

优选的，计算所述缺陷点云图像p3中所有待选缺陷点的坐标的平均值

得到中心点坐标，所述中心点坐标用于标识所述缺陷点云图像p3的位置信息，其中所述缺陷点云图像p3中的点云数量表示缺陷的大小。

更优选的，通过线性SVM算法对所述缺陷点云图像P3进行分类，其步骤包括：

提取所述缺陷点云图像P3特征向量，所述缺陷点云图像P3特征向量包括凸起缺陷点云图像和凹陷缺陷点云图像；

将所述凸起点云图像和凹陷点云图像作为训练数据，输入SVM模型进行训练，得到SVM分类器，所述SVM分类器用于识别所述缺陷点云图像P3。

本发明第三方面，提供了一种基于机器视觉的大直径管状物缺陷检测系统，包括：

导航车；

工业机械臂，设置在导航车上；

图像采集设备，安装于工业机械臂；及

终端，包括图像处理模块，所述图像处理模块与图像采集设备连接；

其中图像采集设备采集待测大直径管状物内壁图像传送到终端中的图像处理模块进行处理。

本发明第四方面，提供了一种终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的方法。

本发明第五方面，提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。

3、有益效果

相比于现有技术，本发明的有益效果为：

(1)本发明提供一种基于机器视觉的大直径管状物定位方法，通过图像采集设备采集所有待测大直径管状物的整体顶视图，传输至终端，终端内的图像处理模块计算出大直径管状物的空间的坐标信息，图像采集设备和工业机械臂手眼标定，使得所述坐标信息转化成工业机械臂中的坐标，工业机械臂按照标定的路径，自动搭载图像采集设备进入大直径管状物内部容置空间，采集器内部的图像信息，大大节省了时间，提高了检测效率；

(2)在CCD相机在图像获取过程中，通常会由于光电转换器件等引入非线性噪声，采用中值滤波对图像滤波，消除非线性噪声；

(3)本发明提供的一种基于机器视觉的大直径管状物内壁缺陷检测方法，通过将待测大直径管状物与预设标准大直径管状物模型比较，获取待测大直径管状物的缺陷信息，进一步通过SVM算法对缺陷点云图像P3进行分类，可以区分出裂缝、缺损等特征，可以更好用于大直径管状物的质检，及早发现其安全隐患，提高安全性能；

(4)本发明通过获取所述缺陷点云图像p3中所有点的坐标的平均值

该中心点提供了缺陷的位置信息，便于对大直径管状物后期的修复；

(5)本发明通过采用高精度激光扫描仪采集管状物内壁三维图像信息，检测精度达到10微米，可以检测出人眼、二维图像无法检测出的细小划痕等缺陷。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的一种基于机器视觉的大直径管状物定位方法流程图A；

图2为本发明实施例提供的一种基于机器视觉的大直径管状物检测系统示意图；

图3为本发明实施例提供的一种基于机器视觉的大直径管状物内壁缺陷检测方法流程图；

图4为本发明实施例提供的一种基于机器视觉的大直径管状物定位方法流程图B。

图中：1、终端；2、UGV视觉导航小车；3、工业机械臂；4、CCD相机；5、三维蓝光扫描仪；6、大直径管状物。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

在本申请中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在本发明的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。

具体实现中，本发明实施例中描述的终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

实施例1

如图2，本实施例提供了一种基于机器视觉的大直径管状物内壁缺陷检测系统，包括导航小车、工业机械臂3、终端1、以及图像采集设备，其中导航小车可以为UGV视觉导航小车2，型号可选为Autolabor Pro1、Clearpath公司的Husky等；UGV视觉导航小车2的主体由底盘本架、一体式后桥、缓冲弹簧、操舵轮模块组成；UGV视觉导航小车2上安装有工业机械臂，工业机械臂具有多个自由度，工业机械臂3上安装有图像采集设备，图像采集设备包括三维蓝光扫描仪5和CCD相机4；CCD相机4的可选型号为Datalogic的A系列相机或M系列相机等，CCD相机4与三维蓝光扫描仪5与工业机械臂3连接；此外CCD相机4与三维蓝光扫描仪5与终端1内的图像处理模块通讯连接，工业机械臂与终端1通讯连接，终端1通过工业机械臂控制图像处理设备采集待测工件图像信息，传送到终端中的图像处理模块进行处理。本领域技术人员应当理解，以上设备的选择可以根据实际需要变化，不用于限制本发明。

实施例2

如图1和4所示，是本实施例提供的一种基于机器视觉的大直径管状物定位方法，本领域技术人员应当理解，该方法可以由图2所示的设备来执行。具体步骤包括：

步骤S90：小车运行至预定位置；

具体的，如图2所示，启动系统，UGV视觉导航小车2按照预先设定的第一路径行驶，即UGV视觉导航小车2运动到待测大直径管状物6的一侧。

步骤S100：采集大直径管状物端面轮廓的第一图像信息；

具体的，当工业机械臂搭载CCD相机4位于所有待测大直径管状物的正上方，启动CCD相机拍摄，获取待测大直径管状物的第一图像信息。其中，所述的第一图像信息是指多个大直径管状物的上端面图像信息。

即使用CCD相机采集所有待测大直径管状物的端面轮廓视图，这里的大直径管状物指的是直径应大于170mm的，具体可以包括输送管道、排气管道以及螺母等。

步骤S200：根据所述第一图像信息构建每一个大直径管状物的坐标信息，定位端面圆心，其具体步骤参见S201-S206；

步骤S201：对所述第一图像信息进行中值滤波处理以及灰度化；

具体的，在图像获取过程中，通常会由于光电转换器件等引入非线性噪声。本实施例可选的，采用中值滤波对图像滤波，消除非线性噪声，具体采用选择3*3的中值滤波窗口。本领域技术人员应当理解，中值滤波本质上是一种统计排序滤波器。它采用含有奇数个像素点的可调窗口平滑图像，这个窗口中的像素被3*3区域中所有点的像素值的中间值代替；将图像灰度化，本领域技术人员还应当理解，CCD相机获取的为RGB图像，根据图像的各个通道的采样值进行加权平均，例如Gray＝0.299R+0.587G+0.114B。若是其他格式的彩色图像，可以根据需要将其转化成RGB图像处理。

S202：提取第一图像边缘轮廓；

具体的，使用Canny算子提取待测工件边缘轮廓。

S203：对边缘轮廓膨胀处理；

S204：筛选边缘轮廓；

具体的选取像素点个数高于W₁且低于W₂边缘轮廓。其中W₁的取值范围在500～1000之间，W₂取值范围在5000～6000；申请人经过大量实验论证，若不在此范围内，则提取的边缘轮廓不符合大直径管状物边缘轮廓的特征。

S205：对所述边缘轮廓腐蚀处理以及圆形拟合；

S206：求取第一图像的边缘轮廓拟合轮廓的参数构建端面圆心的坐标信息；

具体的，圆形拟合步骤包括：设图像平面上某一圆弧拟合点为(X_i，Y_i)，我们已知，只要有中心点(O_x，O_y)，和半径R，就可确定圆的方程：

(x-O_x)²+(y-O_y)²＝R²

对圆弧型边缘轮廓进行最小二乘法的拟合，本实施例优选的，选择几何最小二乘拟合法，其中，几何最小二乘圆弧拟合算法代数最小二乘法可以初步拟合出圆(弧)的轮廓，但在精度上稍有欠缺，几何最小二乘法很好的解决了这一点。

具体的，设几何距离偏差为

该算法的基本想法同样也是要求

的最小值。

设

对式中的三个参数分别求偏导数，可得：

式中：

对上式使用不动点迭代法进行求解简化，可得：

另外设

其中：R_i为第i次拟合半径；x_i为第i次拟合点X坐标；y_i为第i次拟合点Y坐标；N为拟合点个数；R为半径；O_x为中心点X坐标；O_y为中心点Y坐标；

使得X＝Φ(X)，可以构造出不动点迭代公式：

X^(k+1)＝φ(X^(k))，k＝0,1,2…

对上式进行迭代计算，当第k+1次迭代与第k次迭代，求取多个待测大直径管状物边缘拟合轮廓的参数；包括但不限于其圆心坐标集合(X_n，Y_n)和半径集合R_n，并按照圆心的Y坐标从小到大排序，实现对多个待测管状物的精确定位。

步骤S300：根据所述坐标信息标定第二路径；

具体的，预先将图像采集设备和工业机械臂3手眼标定，即先将CCD相机和工业机械臂手眼标定，使得所述多个待测管状物的坐标信息转化成工业机械臂中的坐标，形成所述第二路径。其中手眼标定方法有两点法，九点法，张氏标定法等，优选地，采用两点法进行手眼标定，相比较而言，两点法标定法实现简单，标定精准。根据CCD相机悬挂于机械臂上还是固定在机械臂外分为eye-in-hand和eye-to-hand，优选地采用eye-in-hand，将CCD相机悬挂于机械臂上，CCD相机可以随检测系统一起运动，测量不同位置的工件时不需要重新放置CCD相机，提高系统的整体性，具体的标定过程在本领域中运用比较成熟，在此不做赘述。

步骤S310：根据第二路径移动至第i个大直径管状物端面圆上方；

具体的，工业机械臂3按照规划第二路径，搭载三维蓝光扫描仪5依次运动至第i个大直径管状物正上方。

步骤S400：按照第二路径采集工件内部三维图像信息；

工业机械臂3搭载三维蓝光扫描仪5从正上方向下运动，使得扫描仪获取到管状物内壁从顶部到底部的图像。获取这部分图像后，扫描仪回到管状物正上方，然后转动一个角度，继续从正上方向下运动，使得扫描仪获取到管状物内壁从顶部到底部的图像。由于三维蓝光扫描仪5的视场范围(FOV)为30mm，所以这个角度为30°，为完成整个内壁点云图像的获取，上述动作需要重复20次左右，从而完整获得一个大直径管状物全部的内壁图像信息。

实施例3

如图3所示，本实施例提供一种基于机器视觉的大直径管状物内壁缺陷检测方法包括：

S51：获取待测大直径管状物内壁图像信息PF1；

本领域技术人员应当理解，可以按照如实施例2所述的方法采集大直径管状物第二图像信息，此处第二图像信息即为待测大直径管状物内壁图像信息PF1。

具体的，蓝光扫描仪5为激光线扫描相机，依据三维激光成像原理在工业机械臂按规划路径配合运动下获取管状物内壁图像信息PF1，蓝光扫描仪将第二图像信息通过以太网通讯技术和GenICamTL协议传输至终端1中；根据该协议，第二图像信息以RGB格式为载体，其中B通道中存储着管状物内壁表面的深度信息，提取该图像信息；根据该协议，传输过来的图像信息还包括扫描区域的长、宽信息，以及这两个方向上的分辨率。

进一步，根据第二图像信息，获取待测管状物内壁图像PF2步骤具体参见S511-S514。

S511：通过所述第二图像信息中的长、宽信息创建倾斜的一阶灰度曲面；通过一阶灰度曲面和管状物内壁表面的深度信息，建立管状物内壁表面的点云图像P2。

S512：计算点云图像P2的点云个数，并判断点云数P小于1000000，若是，则代表该次扫描取图不完整，需要重新扫描。

S513：计算点云图像P2中每个点云之间的三维欧式距离，将三维欧式距离小于0.05单位距离的点云，建立联结关系即视为一个整体。计算建立了联结关系的点云块中点云的数量，去除点云的数量小于1000的联结点云块，即去除噪声干扰。

S514：将多个点云块合并为一个点云块，得到待测管状物内壁图像PF2。

S52：获取预设标准大直径管状物模型PF1的采样模型SOM1；

本领域技术人员应当理解，标准大直径管状物模型PF1可以是预先存储好的，也可以通过步骤51所述方法获取没有任何缺陷的大直径管状物内壁图像，进行存储。

对标准管状物内壁图像PF1进行进一步处理，具体参见S521-S525：

S521：构建标准管状物内壁图像PF1的三维曲面法线，用于后续计算。

S522：创建标准管状物内壁图像PF1的表面三角剖分模型，即将相邻的三个点云连接成一个小三维曲面，从而构成整个物体的三维曲面，即通过点云数据重构标准大直径管状物内壁三维模型(用M1表示)。

S523：通过标准大直径管状物内壁三维模型M1，创建基于表面相似性匹配所需的数据结构，即表面模型SM1。

S524：计算三维模型M1的最大直径；设置最小采样距离，该距离为0.02mm，通过对三维模型M1采样，得到采样模型SOM1。

S53：将待测管状物内壁图像PF2的姿态归一化，得到标准三维模型PFN2，具体参见S531-S534：

S531：获取预设大直径管状物表面模型SM1；

S532：在所述待测管状物内壁图像PF2中均匀采样获得场景点；从所述场景点选取一组作为关键点；

具体的，在待测管状物内壁图像PF2中均匀地采样，自己定义采样距离，为了稳健匹配，优选的为每个对象实例采样至少50-100个场景点。因为减小采样距离会导致更多的采样场景点，从而导致更稳定但更慢的匹配；增加采样距离减少了采样场景点的数量，这导致不太稳定但更快的匹配。

从采样场景点中选择一组，作为关键点Pi；自己定义所选关键点pi的数量。例如，如果该值设置为0.1，则10％的采样场景点将用作关键点。增加关键点数量意味着从场景中选择更多关键点，从而导致更慢但更稳定的匹配。减少关键点数量具有相反的效果，并且导致更快但不太稳定的匹配。

S533：在表面模型SM1上找到对应的点集Qi；通过ICP算法使得||Pi-Qi||(欧氏距离)最小，并得到旋转矩阵T1和平移矩阵T2。

S534：对所述姿态转移矩阵T1(角度)和平移矩阵T2(位置)求逆矩阵；将得到的两个逆矩阵应用到待测管状物内壁图像PF2上，使得PF2在三维空间中进行姿态变换，得到得到标准三维模型PFN2。从而使该点云图像的三维空间姿态和标准模板的三维空间姿态严格一致。

S54：将标待测三维模型PFN2的待测点与所述采样模型SOM1上标准点匹配，建立点对；

S55：当各个点对中待测点与标准点的距离大于第一阈值时，判定该待测点为待选缺陷

点；具体的，计算待测三维模型PFN2上的待测点到采样模型SOM1上对应点的距离，

第一阈值为0.2单位距离，当点对之间的距离≥0.2时，则认为该点为待选缺陷点。

S56：将所述待选缺陷点建立联结得到缺陷点云图像p3。

具体的，在所述待选缺陷点建立联结时，计算各个待选缺陷点之间的三维欧式距离，当各个待选缺陷点之间的三维欧式距离小于预设第二阈值时，第二阈值为0.15单位距离，联结所述待选缺陷点。

对于本实施例可选的，联结所述待选缺陷点，得到待选区域面积，当所述待选区域面积大于第四阈值时，判定为缺陷(缺陷点云图像p3)；

具体的，求取建立了联结的待选缺陷点得到点云，计算的点云数量(待选区域面积)，当点云数量小于第四阈值时，第四阈值为10，判定为缺陷(缺陷点云图像p3)。

优选的，根据本实施例得到的缺陷点云图像P3,计算缺陷点云图像中所有点的坐标的平均值

得到中心点坐标，该中心点提供了缺陷的位置信息。其中缺陷点中的点云数量表示缺陷的大小area1。

实施例4

通过线性SVM算法对所述缺陷点云图像P3进行分类，其步骤包括：

提取所述缺陷点云图像P3特征向量，所述缺陷点云图像P3特征向量包括凸起缺陷点云图像和凹陷缺陷点云图像；将所述凸起点云图像和凹陷点云图像作为训练数据，输入SVM模型进行训练，得到SVM分类器，所述SVM分类器用于识别所述缺陷点云图像P3。

需要说明的是，大直径管状物内壁的缺陷主要分为受外力作用而形成的凹陷和表面附着物造成的凸起。其中，凹陷还包括钝力作用下的凹坑和锐利物体造成的划痕、裂缝等。

通过线性SVM算法可以非常精确地将这几类缺陷区分开，选择具有上述特征的缺陷点云图像数据P3，提取特征向量，构造线性SVM分类器，SVM分类器1将输入数据区分为凸起和凹陷，从而实现缺陷的分类。将这些点云图像随机分为训练数据和测试数据。将训练数据用于线性SVM的训练，并通过测试数据验证分类的准确性，训练好的SVM分类器可以准确区分缺陷。

具体的参见步骤61-65；

S61将所述缺陷点云图像P3存储为(x,y,z)离散点的三维坐标形式，将缺陷点云图像P3切分成5*5的点云块，求取每个点云块的z坐标平均值

作为分类特征，并求取

的平均值

构造特征向量

点云数据提取的特征组成的特征向量及脚点类别标号作为SVM分类模型的输入向量，然后选取一定比例的数据作为训练样本，其余作为测试样本。

S62构造SVM分类器，样本数据线性可分时，SVM的目标是寻找一个超平面可以将两类样本数据准确的分开并且可以使得此时的分类间隔最大。

S63SVM的分类结果和SVM的核函数选择有关。优选地，选用Sigmoid核函数：k(x_i,x_j)＝tanh(αx_i ^Tx_j+c),式中，x_i，x_j为特征向量，a用来设置核函数中的gamma参数值，c用来设置核函数中的coef0。该核函数的泛化能力较好，不容易出错误。

S64利用训练样本对分类器进行训练。设置SVM分类器的最优核函数参数a＝1,c＝3等，其中gamma越大，支持向量越少，gamma越小，支持向量越多。惩罚系数C设为80，C越高，容易过拟合；C越小，容易欠拟合。该组参数可以准确分类样本。

S65将测试数据用SVM分类器进行处理，得到分类后的数据结果。当训练好的SVM分类器用于缺陷分类。

实施例5

本实施例提供一种终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行实施例2-4所述的方法。

实施例6

本实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行实施例2-4所述的方法。

具体的，所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种基于机器视觉的大直径管状物内壁缺陷检测方法，包括：

S100：采集大直径管状物端面轮廓的第一图像信息；

具体步骤包括：当工业机械臂搭载CCD相机位于所有待测大直径管状物的正上方，启动CCD相机拍摄，获取待测大直径管状物的第一图像信息；所述的第一图像信息是指多个大直径管状物的上端面图像信息；

S200：根据所述第一图像信息构建坐标信息；

具体步骤包括：

对所述第一图像进行中值滤波以及灰度化处理；

提取第一图像边缘轮廓；

对所述边缘轮廓膨胀处理；

筛选边缘轮廓；

对所述边缘轮廓腐蚀处理以及圆形拟合；

求取第一图像信息边缘拟合轮廓的参数，构建所述坐标信息；

圆形拟合步骤包括：设图像平面上某一圆弧拟合点为(X_i，Y_i)，我们已知，只要有中心点(O_x，O_y)，和半径R，就可确定圆的方程：

(x_i-O_x)²+(y_i-O_y)²＝R²

对圆弧型边缘轮廓进行最小二乘法的拟合，选择几何最小二乘拟合法，其中，几何最小二乘圆弧拟合算法代数最小二乘法可以初步拟合出圆弧的轮廓；

设几何距离偏差为

该算法的基本想法同样也是要求

的最小值；

设

对式中的三个参数分别求偏导数，可得：

式中：

对上式使用不动点迭代法进行求解简化，可得：

另外设

其中：R_i为第i次拟合半径；x_i为第i次拟合点X坐标；y_i为第i次拟合点Y坐标；N为拟合点个数；R为半径；O_x为中心点X坐标；O_y为中心点Y坐标；

使得X＝Φ(X)，可以构造出不动点迭代公式：

X^(k+1)＝Φ(X^(k))，k＝0,1,2…

对上式进行迭代计算，当第k+1次迭代与第k次迭代，求取多个待测大直径管状物边缘拟合轮廓的参数；包括其圆心坐标集合(X_n，Y_n)和半径集合R_n，并按照圆心的Y坐标从小到大排序，实现对多个待测管状物的精确定位；

S300：根据所述坐标信息标定第二路径；

S400：根据所述第二路径采集大直径管状物内部的第二图像信息；

根据上述的方法采集大直径管状物内壁信息，获取待测管状物内壁图像PF2；

获取预设标准大直径管状物模型的标准采样模型SOM1；

将待测管状物内壁图像PF2的姿态归一化，得到标准姿态三维图像PFN2，

将标准姿态三维图像PFN2的待测点与所述标准采样模型SOM1上标准点匹配，建立点对；

当各个点对中待测点与标准点的距离大于预设第一阈值时，判定该待测点为待选缺陷点；

将所述待选缺陷点建立联结得到缺陷点云图像p3。

2.根据权利要求1所述的基于机器视觉的大直径管状物内壁缺陷检测方法，其特征在于：工业机械臂搭载图像采集设备按预先设定的第一路径采集第一图像信息。

3.根据权利要求1或2所述的基于机器视觉的大直径管状物内壁缺陷检测方法，其特征在于，第二路径步骤包括：预先将图像采集设备和工业机械臂手眼标定，使得所述坐标信息转化成工业机械臂中的坐标，构成第二路径。

4.根据权利要求3所述的基于机器视觉的大直径管状物内壁缺陷检测方法，所述手眼标定方法包括两点法、九点法以及张氏标定法的一种。

5.根据权利要求1所述的机器视觉的大直径管状物内壁缺陷检测方法，其特征在于，在所述待选缺陷点建立联结时，计算各个待选缺陷点之间的三维欧式距离，当各个所述待选缺陷点之间的三维欧式距离小于预设第二阈值时，联结所述待选缺陷点。

6.根据权利要求5所述的机器视觉的大直径管状物内壁缺陷检测方法，其特征在于，联结所述待选缺陷点，得到待选区域面积，当所述待选区域面积大于第四阈值时，判定为缺陷。

7.根据权利要求1所述的机器视觉的大直径管状物内壁缺陷检测方法，其特征在于，将待测管状物内壁图像PF2的姿态归一化步骤包括：

获取预设大直径管状物模型的表面模型SM1；

在所述待测管状物内壁图像PF2中均匀采样获得场景点，

从所述场景点选取一组作为关键点；

将所述关键点与所有其他采样的场景点配对；

从采样的场景点中选择一组关键点Pi；

在表面模型SM1上找到对应的点集Qi；

通过ICP算法使得||Pi-Qi||最小，得到旋转矩阵T1和平移矩阵T2；

对所述旋转矩阵T1和平移矩阵T2求得逆矩阵；

将所述逆矩阵应用到待测管状物内壁图像PF2上，使得PF2在三维空间中进行姿态变换，得到标准三维模型PFN2。

8.根据权利要求1所述的机器视觉的大直径管状物内壁缺陷检测方法，其特征在于:通过SVM算法对所述缺陷点云图像P3进行分类，其步骤包括：

提取所述缺陷点云图像P3特征向量，所述缺陷点云图像P3特征向量包括凸起缺陷点云图像和凹陷缺陷点云图像；

将所述凸起缺陷点云图像和凹陷缺陷点云图像作为训练数据，输入SVM模型进行训练，得到SVM分类器，所述SVM分类器用于识别所述缺陷点云图像P3。

Images