CN112697814B - 一种基于机器视觉的线缆表面缺陷检测系统及方法 - Google Patents

Abstract

本发明涉及线缆检测领域，具体涉及一种基于机器视觉的线缆表面缺陷检测系统及方法，包括数据采集单元和数据处理单元，所述数据采集单元包括图像采集装置和线缆信息采集装置，所述图像采集装置设置于一箱体内、包括相机和光源，所述箱体相对的两个侧面上开设有位置对应的过孔用于线缆穿过，设置有两个所述相机、其镜头相对且错位设置于所述箱体内上下两侧，所述光源用于照射线缆；所述线缆信息采集装置包括速度编码器和记米器；所述图像采集装置和线缆信息采集装置采集到的数据传输给所述数据处理单元进行缺陷识别和缺陷定位，弥补人工监测的不足，具有速度快、精度高、稳定性强的优点。

Description

一种基于机器视觉的线缆表面缺陷检测系统及方法

技术领域

本发明属于线缆检测领域，具体涉及一种基于机器视觉的线缆表面缺陷检测系统及方法。

背景技术

线缆生产过程中由于工艺和/设备原因，会出现一定的表面缺陷，这些缺陷可能会影响线缆的正常使用，故而在生产过程需要进行缺陷检测，很多厂商采用人工检测，依靠肉眼判断，精度、稳定性等都存在不足，长期工作对人眼睛也会造成损伤。

发明内容

本发明提供一种基于机器视觉的线缆表面缺陷检测系统，以解决上述问题：包括数据采集单元和数据处理单元，所述数据采集单元包括图像采集装置和线缆信息采集装置，所述图像采集装置设置于一箱体内、包括相机和光源，所述箱体相对的两个侧面上开设有位置对应的过孔用于线缆穿过，设置有两个所述相机、其镜头相对且错位设置于所述箱体内上下两侧，所述光源用于照射线缆；所述线缆信息采集装置包括速度编码器和记米器；所述图像采集装置和线缆信息采集装置采集到的数据传输给所述数据处理单元进行缺陷识别和缺陷定位。

优选的，所述数据采集单元还包括线缆稳定装置，所述线缆稳定装置包括设置在所述箱体外侧的第一减震轮组件。

优选的，所述线缆稳定装置还包括设置在所述箱体内部且位于两个摄像机镜头中间的第二减震轮组件。

一种基于机器视觉的线缆表面缺陷检测方法，包括以下步骤：

S1、获取线缆表面图像，按图像获取顺序对每一帧图像进行处理，将单通道图像转为彩色三通道图像，将所述彩色三通道图像下采样后转为黑白单通道预处理图像；

S2、将所述预处理图像沿垂直于线缆运动方向分为四个子图像分别进行处理，将所述子图像使用分割阈值进行全局阈值分割得到完整线缆与无关部分的分割结果；

S3、将分割图像经过形态学开操作滤除细小离散噪点得到后处理图像，统计所述后处理图像的径向直方图信息并计算其数组的数字特征；

S4、综合四张所述子图像数字特征数据，并与相应的预设判断阈值进行比较，判断线缆是否存在缺陷。

优选的，将彩色三通道图像转为黑白单通道预处理图像的转换公式表征为：

G(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y) (1)

其中G表示预处理图像，R、G、B分别表示红色、绿色、蓝色通道数据，(x,y)表示图像像素位置。

优选的，所述将所述子图像使用分割阈值进行全局阈值分割的计算式表征为：

其中C_i表示第i张子图像的分割结果，G_i表示第i张子图像，T表示分割阈值。

优选的，所述将分割图像经过形态学开操作滤除细小离散噪点得到后处理图像的计算式表示表征为：

其中，D_i表示第i张子图像的后处理图像，E表示一个3*3全1的矩阵，E′是E关于原点的映像矩阵，

表示图像形态学处理中的腐蚀操作，

表示图像形态学处理中的膨胀操作，xy为图像像素域。

优选的，所述统计所述后处理图像的径向直方图信息表征为：

其中height为预处理图像G纵向像素点个数H个，I_i表示D_i的径向直方图信息；

所述数组的数字特征包括最大值max_i、最小值min_i、平均值mean_i，所述平均值mean_i表征为：

其中width为所述预处理图像G横向像素点个数L个。

优选的，所述综合四张所述子图像数字特征数据表征为：

mean＝∑mean_i,i＝1,2,3...N (7)

max＝max(max_i),i＝1,2,3...N (8)

min＝min(min_i),i＝1,2,3...N (9)

diff＝max-min (10)

其中，mean表示所述预处理图像全图的数字特征平均值，max表示所述预处理图像全图的数字特征最大值，min表示所述预处理图像全图的数字特征最小值，diff为比较值，用于与所述预设判断阈值进行比较。

优选的，所述与相应的预设判断阈值进行比较，判断线缆是否存在缺陷包括：设置直径限制范围，当mean超过直径限制范围，则为脱料或直径有误；当diff大于判断阈值，则带有空洞、缺口或鼓包的矩形。

本发明具有以下有益效果：提供一种基于机器视觉的线缆表面缺陷检测系统及方法，在电缆生产线上加入机器视觉检测系统，通过在密封箱体内设置相机对线缆进行实时拍摄，将拍摄完成的图像穿值数据处理单元中进行处理并判断是否存在缺陷，弥补人工监测的不足，具有速度快、精度高、稳定性强的优点。

附图说明

图1为本发明实施例中检测系统的部分结构示意图；

图2为本发明实施例中数据采集单元部分结构示意图；

图3为本发明实施例中箱体正视示意图；

图4为本发明实施例中缺陷检测方法流程框图。

10-箱体；11-箱门；12-过孔；13-挡光板；14-固定板；21-第一减震轮组件；22-第二减震轮组件；31-相机；32-镜头。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。若未特别指明，实施例中所用的技术手段为本领域技术人员所熟知的常规手段。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1-4所示，一种基于机器视觉的线缆表面缺陷检测系统，包括数据采集单元和数据处理单元，所述数据采集单元包括图像采集装置和线缆信息采集装置，所述图像采集装置设置于一箱体10内、包括相机31和光源，所述箱体10相对的两个侧面上开设有位置对应的过孔12用于线缆穿过，设置有两个所述相机31、其镜头32相对且错位设置于所述箱体10内上下两侧，所述光源用于照射线缆；所述线缆信息采集装置包括速度编码器和记米器；所述图像采集装置和线缆信息采集装置采集到的数据传输给所述数据处理单元进行缺陷识别和缺陷定位。

该系统应用于线缆生产线，线缆从过孔12中穿入密封的箱体10中，通过镜头32采集图像，并传输至数据处理单元，具体的，在箱体10内设置有两个镜头32，镜头32分设在线缆上下两侧且错开布置，互相不干扰，并且能够覆盖到整条线缆进行拍摄，设置有光源进行补光，光源安装在可调节角度的安装座上，针对不同型号、尺寸的线缆可以进行一定程度的照射角度调整，以优化获取到的图像质量。

通过速度编码器和记米器可以测得线缆的生产速度、长度数据，两个镜头32与生产线结点的距离可以直接测得，将时间和当前检测的位置结合起来即可将每一帧检测图像与线缆上的位置匹配起来，实现定位检测，一旦当前图像检测结果为存在缺陷，即可直接推算出缺陷的位置，便于后期处理。

还设置有声光报警器，数据处理单元根据处理结果向声光报警器发送信号，缺陷、正常、检测完毕等情况分别对应的声光信号。

可以实施的一种方案：数据采集设备由全封闭机箱、相机31、镜头32、光源、线缆等部分，该部分安装在控制机房内，通过网络与数据处理设备连接，声光报警监控设备：由嵌入式微处理、控制面板、报警数据接收和处理等部分构成。该部分与数据采集设备可集成安装在一起，接收来自编码器的线缆速度，线缆位置(长度)等数据，并通过网络发送给数据处理主机。同时该设备接收来自主机的检测结果，发出声光报警等监控信号。

还设置有显示单元，根据需要还可以选择输入线缆类型等参数，显示缺陷位置，生产速度、生产长度等数据。

根据不同商家对于线缆检测的需求，系统检测缺陷大于S平方毫米，设系统分辨率(1像素点)为m毫米*m毫米，线缆最高速度x米每秒，设图像拍摄范围宽为w毫米长为l毫米，则相机31采集速度为：x/l(帧/秒)。

作为优选的方案，所述数据采集单元还包括线缆稳定装置，所述线缆稳定装置包括设置在所述箱体10外侧的第一减震轮组件21，包括连接板和定滑轮。

减震轮组件包括两个上下设置的定滑轮，使线缆从两个滑轮相对的凹槽中穿过，对线缆进行导向、定位，起到稳定线缆的作用，避免线缆在检测过程中过大的晃动影响检测结果。

作为优选的方案，所述线缆稳定装置还包括设置在所述箱体10内部且位于两个摄像机镜头32中间的第二减震轮组件22，将定滑轮通过连接轴固定在箱体10内侧。

第二减震轮组件22包括三个定滑轮，其中两个位于同一水平高度间隔设置，另一个设置与上述两个定滑轮上方或者下方，同样的，线缆从两组滑轮相对的凹槽中穿过，最好的方式是将第二减震轮组件22设置在两个相机31镜头32的正中，三个定滑轮与线缆的接触点形成类似于三角支撑的形态，进一步对线缆进行稳定，保证两个镜头32拍摄到的图像的状态一直，保证数据处理单元判断依据的稳定性。

在第二减震轮组件22两侧设置有挡光板13，避免两个镜头32的光源互相干涉，相应的在挡光板13上也设置有用于线缆穿过的过孔。

箱体10上设置有箱门11形成封闭箱体10，箱体10内设置有固定板14，固定板14上设置有阻尼转轴结构，光源通过阻尼转轴结构与固定板14连接，达到调节光源角度的效果，在同一镜头32两侧设置两个对称的光源，避免形成阴影区域，提升拍摄效果。

一种基于机器视觉的线缆表面缺陷检测方法，包括以下步骤：

S1、获取线缆表面图像，按图像获取顺序对每一帧图像进行处理，将单通道图像转为彩色三通道图像，将所述彩色三通道图像下采样后转为黑白单通道预处理图像；

S2、将所述预处理图像沿垂直于线缆运动方向分为四个子图像分别进行处理，将所述子图像使用分割阈值进行全局阈值分割得到完整线缆与无关部分的分割结果；

S3、将分割图像经过形态学开操作滤除细小离散噪点得到后处理图像，统计所述后处理图像的径向直方图信息并计算其数组的数字特征；

S4、综合四张所述子图像数字特征数据，并与相应的预设判断阈值进行比较，判断线缆是否存在缺陷。

对于缺陷的识别，通过机器学习，让数据处理单元具备识别的能力，基于python开发的算法进行图像处理，采用Keras人工神经网络库以及Tensorflow机器学习平台中的网络模型进行数据分析，步骤如下：

(1)将存在缺陷的图片进行分类，将缺陷种类标签添加至图像名称前，分别为孔洞，脱料，鼓包，大小径四类，每类缺陷分别挑选300张放入同一文件夹中。

(2)从计算机硬盘中读取数据格式为jpg的3通道图像，图像个数为300*4，并顺序读取一组图像中的各个图像进行后续处理。

(3)对图像进行预处理，使用pillow库中的resize方法将原图像从1280*480像素分辨率降至320*120以降低后续深度学习需要的显存占用，并使用Numpy中的asarray方法将图像转换为float32格式的浮点数矩阵用来进行后续模型计算。

(4)将预处理过的数据和标签送入深度学习网络中进行学习，参数设置如下：批处理大小为5，迭代次数为60，图像数量为1200，图像宽度为320，图像高度为120。

深度学习模型采用VGG网络，网络层次设置如下：

(1)输入设置为120*320大小的3通道矩阵，使用Tensorflow中的Conv2D函数设置卷积核参数，采用残差网络多层模型。

(2)输入层的卷积核数量为32，卷积核宽度为3，高度为3，输出特征图尺寸为32，池化层窗口高为2，宽为2，操作步幅高为2，宽为2，添加relu激活函数。

(3)四个隐含层的卷积核数量分别为64，64，32，64，卷积核宽度均为3，高度均为3，输出特征图尺寸分别为64，64，32，64，池化层窗口高均为2，宽均为2，操作步幅高均为2，宽均为2，添加relu激活函数。

(4)最后使用softmax函数将学习完成的数据进行回归操作，将已经完成学习的模型与输入的验证集进行测试，输出最后的判断准确率。

(5)当单张图片中的电缆被检测出缺陷时，将该图像以二进制文件形式存储在计算机硬盘中，否则无需存储。

(6)当一组图像数据检测均无缺陷时，返回系统“无错误”信号，否则返回缺陷图像的信息，包括编号和缺陷种类。

与相应的预设判断阈值进行比较，判断线缆是否存在缺陷包括：设置直径限制范围，当mean超过直径限制范围，则为脱料或大小径；当diff大于判断阈值，则带有孔洞、鼓包等缺陷。

将人工分类的存在缺陷的图片按照缺陷种类标签添加至图像名称前，分别为孔洞、脱料、鼓包、大小径四类，每类缺陷分别挑选n张放入计算机硬盘同一文件夹中。

将硬盘文件夹中的图像读取到深度学习算法模型中，图像总数为4*n，使用下采样方法降低图像分辨率x倍后进行后续处理。

模型采用VGG网络，通过深度学习训练后生成检测模板，将经过粗检测后的缺陷图像送入检测模板，网络将输出缺陷类型，缺陷大小等参数。检测完成后，将缺陷图像和缺陷类型，缺陷大小，缺陷米数等参数一同保存至硬盘中，并生成检测报告，至此，完整检测流程结束。

本系统和方法主要应用于黑色线皮的检测，对于白色线皮的处理，在步骤S1中，将彩色图像转为黑白图像改为取出RGB通道中B通道数据，因灰度图像中白色外皮与黄色内芯在灰度值上过于接近难以分辨，而在B通道中，因黄色与蓝色为对比色，黄色呈现低明度值，白色呈现高明度值，易于区分，故采用B通道处理，其它步骤相同。

对于具体的检测效果，见附表：

以上的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形、变型、修改、替换，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种基于机器视觉的线缆表面缺陷检测方法，其特征在于：包括以下步骤：

S1、设置数据采集单元获取线缆表面图像，所述数据采集单元包括图像采集装置和线缆信息采集装置，所述图像采集装置设置于一箱体内、包括相机和光源，所述箱体相对的两个侧面上开设有位置对应的过孔用于线缆穿过，设置有两个所述相机、其镜头相对且错位设置于所述箱体内上下两侧，所述光源用于照射线缆；所述线缆信息采集装置包括速度编码器和记米器；所述数据采集单元还包括线缆稳定装置，所述线缆稳定装置包括设置在所述箱体外侧的第一减震轮组件，第一减震轮组件包括两个上下设置的定滑轮，使线缆从两个滑轮相对的凹槽中穿过；所述线缆稳定装置还包括设置在所述箱体内部且位于两个摄像机镜头中间的第二减震轮组件，第二减震轮组件包括三个定滑轮，其中两个位于同一水平高度间隔设置，另一个设置于上述两个定滑轮上方或下方；第二减震轮组件两侧设置有挡光板；所述图像采集装置和线缆信息采集装置采集到的数据传输给数据处理单元进行缺陷识别和缺陷定位；按图像获取顺序对每一帧图像进行处理，将单通道图像转为彩色三通道图像，将所述彩色三通道图像下采样后转为黑白单通道预处理图像；

S2、将所述预处理图像沿垂直于线缆运动方向分为N个子图像分别进行处理，两个相机拍摄的图像共分成2N个子图像，每一个子图像分别使用一个CPU线程进行后续处理，共使用2N个线程进行处理；

S3、将分割图像经过形态学开操作即先腐蚀再膨胀滤除细小离散噪点得到处理后图像，统计所述处理后图像的径向直方图信息并计算其数组的数字特征；

S4、综合N张所述子图像数字特征数据，并与相应的本地文件预设判断阈值进行比较，从而初步判断线缆图像是否存在缺陷；

综合N张所述子图像数字特征数据表征为：

mean＝∑mean_i,i＝1,2,3...N (7)

max＝max(max_i),i＝1,2,3...N (8)

min＝min(min_i),i＝1,2,3...N (9)

diff＝max-min (10)

其中，mean表示预处理图像全图的数字特征平均值，max表示预处理图像全图的数字特征最大值，min表示预处理图像全图的数字特征最小值，diff为比较值，用于与所述预设判断阈值进行比较，包括：设置直径限制范围，当mean超过直径限制范围，则为脱料或大小径有误；当diff大于判断阈值，则带有孔洞、缺口或鼓包的缺陷；

S5、经过S4判断该线缆图像出现缺陷后，缺陷检测程序启动深度学习算法进行第二次检测，深度学习算法使用VGG网络模型对线缆图像进行数据分析，检测出缺陷后的深度学习算法将缺陷类型，缺陷大小参数传输到缺陷检测软件的显示输出界面；

S6、缺陷检测软件通过将计米器和速度编码器的实时数据和缺陷图像编号进行匹配后，将在显示器上显示缺陷类型，缺陷大小，缺陷米数参数，并且将启动声光报警装置完成报警提醒；

S7、缺陷检测软件报警将存储所有上述步骤中检测出的每一张缺陷图片及缺陷类型，缺陷大小，缺陷米数参数，最后生成缺陷检测报告。

2.根据权利要求1所述的一种基于机器视觉的线缆表面缺陷检测方法，其特征在于：将彩色三通道图像转为黑白单通道预处理图像的转换公式表征为：

G(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y) (1)

其中G表示预处理图像，R、G、B分别表示红色、绿色、蓝色通道数据，(x,y)表示图像像素位置。

3.根据权利要求1所述的一种基于机器视觉的线缆表面缺陷检测方法，其特征在于：将所述子图像使用分割阈值进行全局阈值分割的计算式表征为：

其中C_i表示第i张子图像的分割结果，G_i表示第i张子图像，T表示分割阈值。

4.根据权利要求1所述的一种基于机器视觉的线缆表面缺陷检测方法，其特征在于：将分割图像经过形态学开操作滤除细小离散噪点得到后处理图像的计算式表示表征为：

其中，T表示分割阈值，C_i表示第i张子图像的分割结果，D_i表示第i张子图像的后处理图像，E表示一个3*3全1的矩阵，E′是E关于原点的映像矩阵，

表示图像形态学处理中的腐蚀操作，

表示图像形态学处理中的膨胀操作，xy为图像像素域。

5.根据权利要求1所述的一种基于机器视觉的线缆表面缺陷检测方法，其特征在于：统计所述后处理图像的径向直方图信息表征为：

其中height为预处理图像G纵向像素点个数H个，I_i表示D_i的径向直方图信息；

所述数组的数字特征包括最大值max_i、最min_i小值、平均值mean_i，所述平均值mean_i表征为：

其中width为所述预处理图像G横向像素点个数L个。

Images