CN115236083A - 一种筒体内表面图像采集装置及缺陷检测方法 - Google Patents

一种筒体内表面图像采集装置及缺陷检测方法 Download PDF

Info

Publication number
CN115236083A
CN115236083A CN202210701103.5A CN202210701103A CN115236083A CN 115236083 A CN115236083 A CN 115236083A CN 202210701103 A CN202210701103 A CN 202210701103A CN 115236083 A CN115236083 A CN 115236083A
Authority
CN
China
Prior art keywords
layer
convolutional
layers
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210701103.5A
Other languages
English (en)
Inventor
任世杰
徐东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tuoda Kunwu Robot Technology Co ltd
Original Assignee
Suzhou Tuoda Kunwu Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tuoda Kunwu Robot Technology Co ltd filed Critical Suzhou Tuoda Kunwu Robot Technology Co ltd
Priority to CN202210701103.5A priority Critical patent/CN115236083A/zh
Publication of CN115236083A publication Critical patent/CN115236083A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

本发明提供一种筒体内表面图像采集装置,检测台前端安装有对齐组件,所述对齐组件包括齿条,检测台上横向布设有滑轨;电机安装座一侧安装有传动齿轮,传动齿轮与齿条啮合;驱动装置安装在滑轨上,驱动装置上安装有悬臂杆,所述悬臂杆上安装有计数组件,所述计数组件上安装有用于采集筒体内表面图像的相机单元,计数组件包括计数器,通过计数器计算相机单元旋转圈数;托盘组件位于悬臂杆一侧,托盘组件上承载有待测筒体,待测筒体一侧安装在固定卡盘上,固定卡盘与安装在检测台上的主轴箱连接,且主轴箱位于滑轨一侧。

Description

一种筒体内表面图像采集装置及缺陷检测方法
技术领域
本发明属于缺陷检测技术领域,具体涉及一种筒体内表面图像采集装置。
背景技术
在工业生产中,对于筒体来说,目前市场上没有可用于其内表面缺陷检测的成熟产品。筒体内表面的图像无法准确获取,主要原因在于:筒体内光线较暗,无法满足图像采集设备所需的光照条件;普通的平面相机在拍摄转动的圆弧曲面时所获取的图像会失真,导致图像中的缺陷难以区分;受到筒体直径和长度的限制,大型的拍摄设备无法进入筒体内部。
目前工业中依然依靠人工来检测筒体内表面的缺陷,人工检测存在以下问题:筒体中心位置人眼无法触及,导致筒体中心位置成为检测盲区;人工检测出的缺陷精度范围有限,对于宽度和深度小于0.1mm的细微缺陷肉眼难以发现;人工检测速度慢,效率低;对于处于旋转作业的筒体,人工检测比较危险。
申请号为201811276559.1的公开了一种基于深度可分卷积神经网络的视觉深度估计方法,采用传统的VGG-16卷积神经网络,所有卷积层的卷积核大小都为3*3,每次携带的信息量少,遍历图像时耗时久;并且仅仅采用16个初始卷积核,训练时间长。
发明内容
本发明的目的是,为了解决现有技术存在的问题,本发明提供一种筒体内表面图像采集装置。
本发明提供了如下的技术方案:
一种筒体内表面图像采集装置,包括:
检测台,其前端安装有对齐组件,所述对齐组件包括齿条,检测台上横向布设有滑轨;
底座,其安装在滑轨上,所述底座一端连接有电机安装座,电机安装座一侧安装有传动齿轮,电机安装座一侧设有驱动传动齿轮旋转的电机,传动齿轮与齿条啮合;
驱动装置,其安装在滑轨上,驱动装置上安装有悬臂杆,所述悬臂杆上安装有计数组件,所述计数组件上安装有用于采集筒体内表面图像的相机单元,计数组件包括计数器,通过计数器计算相机单元旋转圈数;
所述相机单元包括LED线性光源与线阵相机,所述LED线性光源发射的光倾斜朝向采集表面,其出射光投射至采集表面后反射进所述线阵相机;
计数组件包括计数辊轴和计数器,计数辊轴一端与悬臂杆固定连接,另一端设有凹槽,相机单元安装在凹槽内,凹槽内设有液压杆,液压杆与相机单元连接;
托盘组件,其位于悬臂杆一侧,托盘组件上承载有待测筒体,待测筒体一侧安装在固定卡盘上,固定卡盘与安装在检测台上的主轴箱连接,且主轴箱位于滑轨一侧。
进一步地,所述滑轨上滑动连接有多个底座,驱动装置安装在底座上,所述驱动装置包括驱动座,所述驱动座上设有垂直槽道和电机滑轨,电机滑轨位于垂直槽道两侧,所述电机滑轨上连接有连接板,连接板一侧安装有悬臂电机,悬臂杆一端穿过连接板与悬臂电机连接。
进一步地,所述驱动装置一侧设有用于支撑悬臂杆的支撑结构,所述支撑结构包括举升气缸和支撑块,所述举升气缸安装在底座上,支撑块安装在举升气缸上,且支撑块上设有用于支撑悬臂杆的弧形缺口。
进一步地,所述托盘组件包括限位托杆,与托盘组件连接的底座上纵向布设有轨道,限位托杆与轨道滑动连接,所述轨道上安装有双轴电机,所述双轴电机上安装有螺杆,所述螺杆一端与检测台活动连接。
基于上述筒体内表面图像采集装置,本发明提出了一种筒内表面的缺陷检测方法,包括以下步骤:
S1、通过图像采集装置对采样筒体内表面进行全区域覆盖的光学图像采集,获取样本图片;
S2、对所述样本图片进行预处理,获得二值化图像;
S3、对预处理后的二值化图像进行多向旋转,包括对所述图像进行上、下、左、右、左上、左下、右上、右下八个方向的旋转,以扩充样本集,在扩充的样本集中选取等量的缺陷图像与非缺陷图像作为训练集样本;
S4、利用所述训练集离线训练卷积神经网络,获取划痕的深层特征参数;构建基于VGG-16的多层深度卷积神经网络,所述多层深度卷积神经网络包括13层卷积层、3层全连接层、5层最大池化层、2层Dropout层、1层输入层和1层输出层,其中,初始卷积层的卷积核个数为64,最后六层的卷积层包括三层卷积核大小为5*5的卷积层、以及设置于上述三层卷积层之后的三层卷积核大小为7*7的卷积层,在最后六层卷积层中每隔三层插入一个所述Dropout层;
S5、将步骤S2预处理后的二值化图像输入到步骤S4构建的多层深度卷积神经网络中进行识别,筛选出分类标记为缺陷的图像块,并记录其图像块中缺陷区域的位置坐标,然后在待检图像中用检测框标出,从而完成最终对缺陷的检测效果。
进一步地,步骤S4所述的利用所述训练集离线训练卷积神经网络的方法,包括以下步骤:
T1、构造VGG-16卷积神经网络并利用MSRA方式进行参数初始化;
T2、采用所述训练集,采用Adam算法对初始VGG-16卷积神经网络的误差梯度做最速下降优化,离线训练所述VGG-16卷积神经网络,构成VGG-16卷积神经网络;
T3、采用开源深度学习模型框架Caffe对训练后构成的VGG-16卷积神经网络进行开发,并采用GPU对深度学习算法进行加速,以获取划痕的深层特征参数。
进一步地,步骤T2所述的离线训练所述VGG-16卷积神经网络的方法为:迭代100000次对初始VGG-16卷积神经网络进行训练,每一次迭代随机从所述训练集中选取100张图像作为输入,采用交叉熵的损失函数,并进行L2正则化处理,再利用Adam算法对VGG-16卷积神经网络进行最速下降优化处理。
进一步地,步骤S4构建的所述多层深度卷积神经网络具体网格结构包括如下24层:
第一层:大小为224*224的二值化图像输入层;
第二层:卷积核大小为3*3,数量为64的卷积层,卷积层用于提取图像的特征参数;
第三层:卷积核大小为3*3,数量为64的卷积层;
第四层:池化核大小为2*2的最大池化层,最大池化层的输入一般来源于上一个卷积层,取对应区域内的最大值,若此区域中的其他值变化,或者图像出现平移,池化的结果仍然不变,并且相应的减少了参数的数量;池化层一般没有参数,所以反向传播的时候,只需要对输入参数进行求导,不需要进行权重迭代更新;
第五层:卷积核大小为3*3,数量为128的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第六层:卷积核大小为3*3,数量为128的卷积层;
第七层:池化核大小为2*2的最大池化层;
第八层:卷积核大小为3*3,数量为256的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第九层:卷积核大小为3*3,数量为256的卷积层;
第十层:卷积核大小为3*3,数量为256的卷积层;
第十一层:池化核大小为2*2的最大池化层;
第十二层:卷积核大小为5*5,数量为512的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第十三层:卷积核大小为5*5,数量为512的卷积层;
第十四层:卷积核大小为5*5,数量为512的卷积层;
第十五层:池化核大小为2*2的最大池化层;
第十六层:加入一个Dropout层,以0.2的概率随机去除一些神经元的节点;
第十七层:卷积核大小为7*7,数量为512的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第十八层:卷积核大小为7*7,数量为512的卷积层;
第十九层:卷积核大小为7*7,数量为512的卷积层;
第二十层:池化核大小为2*2的全局平均池化层,所述全局平均池化层用于对上层中每个特征图计算一个均值;
第二十一层:在最底层加入一个Dropout层,以0.5的概率随机去除一些神经元的节点;
第二十二层:节点个数为4096的全连接层;
第二十三层:节点个数为4096的全连接层;
第二十四层:softmax分类输出层,该层主要用于分类,由于只有含缺陷以及不含缺陷两类图像,因此该层只有两个节点。
进一步地,步骤S2的所述预处理包括依次对所述样本图片进行灰度映射、高斯滤波与阈值分割处理,其中,进行阈值分割之前,绘制图像的直方图,得到像素分布的临界值,根据此临界值设置阈值,如果当图像中某一部分的像素值高于设定阈值,我们将此部分的像素值设置为最大值,如果此部分的像素值低于预先设定的阈值,将此部分的像素设置为最小值,以获得缺陷图像的二值图像。
进一步地,步骤S1的中在进行图像采集之前,对所述图像采集模块进行参数设置,包括以下步骤:
A1、对所述线阵相机的扫描宽度进行调整,使得扫描一帧的像素宽度为224;
A2、再根据待检测筒体的旋转速度,调整所述线阵相机输出相邻的图片的间隔时间,以保证每张图片的像素高度均为224,保证获得的原始图片的像素大小均未224*224。
本发明的有益效果是:
1.本发明通过驱动筒体自转,实现圆周方向的缺陷检测,通过图像采集装置的轴向移动,使得筒体内表面的任何位置都能被图像采集设备覆盖,不存在检测盲区;
2.通过对悬臂杆和相机单元位置的调整,采集筒内不同位置处的表面图像,以便获得更加准确的检测结果;
3.对采集的图像进行预处理,滤除了样本图像中的噪声,缺陷区域和背景的对比度提高,神经网络模型能更准确的获取缺陷区域的特征参数,会有效提高检测的准确率;
4.采用专业采集的线阵相机组成相机单元,合理的参数设置能够无重复的,全面的,快速的完成内表面的扫描工作,大大的提高了检测效率,输出便于后期处理的优质图像;
5.旋转中的筒体,容易发生卷夹毛发和衣服等危险后果,图像采集设备通过随悬臂杆进入筒体内部,安全可靠,无安全隐患;
6.本发明构建的VGG-16卷积神经网络模型,将最后的六层卷积层的卷积核的尺寸增大,每进行一次卷积所能获取的信息会增多,对相同大小的输入图像,大的卷积核能更快的遍历图像中每一处的深层特征,这有利于提高训练的速度;通过在最后的六层卷积层每隔三层便插入了一个Dropout层,Dropout会在训练过程中随机抛弃一部分神经网络节点,会减少计算量,这相当于加快训练速度,但是每次携带的信息量不变,使得神经网络模型能更好的应对数据量过多而引起的过拟合问题;
7.初始卷积层的卷积核个数为64,这在训练初始阶段有利于加快训练速度,也就是加快获取划痕特征的速度;
8.本发明采用了13层卷积层,5层池化层,本文所提模型的深度大于传统模型的深度,深度越深,获取划痕特征的能力越强,这有利于划痕识别阶段更准确的识别出划痕,也就是提高了划痕识别准确率。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明的主视结构示意图;
图2是本发明的计数组件右视图;
图3是本发明的对齐组件左视图;
图4是本发明的驱动装置左视图;
图5是本发明的支撑结构左视图;
图6是本发明的托盘组件结构示意图。
图中标记为:1、检测台;
101、齿条;102、滑轨;103、底座;
2、驱动装置;
201、电机滑轨;202、悬臂电机;203、垂直槽道;204、连接板;205、驱动座;
21、对齐组件;
2101、电机安装座;2102、传动齿轮;2103、电机;
3、悬臂杆;
4、相机单元;
41、计数组件;
4101、液压杆;4102、计数器;4103、计数辊轴;4104、凹槽;
5、待测筒体;
6、托盘组件;
601、双轴电机;602、限位托杆;603、螺杆;
7、固定卡盘;8、主轴箱;
9、支撑结构;
901、弧形缺口;902、支撑块;903、举升气缸。
具体实施方式
实施例一
如图1所示,一种筒体内表面图像采集装置,检测台1上依次安装有驱动装置2、对齐组件21、支撑结构9、相机单元4、托盘组件6和主轴箱8,固定卡盘7与安装在检测台1上的主轴箱8连接,检测台1上横向布设有滑轨102,驱动装置2、支撑结构9、托盘组件6均安装在滑轨102上,主轴箱8位于滑轨102一侧。
驱动装置2安装在底座103上,驱动装置2包括驱动座205,驱动座205上安装有悬臂电机202驱动悬臂杆3旋转。
为了使底座103在滑轨102上顺利移动,检测台1前端安装有对齐组件21,对齐组件21包括齿条101。
如图3所示,底座103安装在滑轨102上,底座103一端连接有电机安装座2101,电机安装座2101一侧安装有传动齿轮2102,电机安装座2101一侧设有驱动传动齿轮2102旋转的电机2103,传动齿轮2102与齿条101啮合,电机2103驱动传动齿轮2102转动,从而通过电机安装座2101使底座103在滑轨102上滑动。
相机单元4工作时,悬臂杆3需要伸至待测筒体5内,待测筒体5一侧安装在固定卡盘7上,因为为了悬臂杆3移动的稳定性,滑轨102上安装有支撑结构9。
如图5所示,支撑结构9用于支撑悬臂杆3,支撑结构9包括举升气缸903和支撑块902,举升气缸9安装在底座103上,支撑块902安装在举升气缸903上,且支撑块902上设有用于支撑悬臂杆3的弧形缺口901,驱动装置2驱动悬臂杆3旋转,且底座103移动时,悬臂杆3随之移动,支撑结构9支撑悬臂杆3的杆身位置,且悬臂杆3前移时,支撑结构9后移,避免支撑结构9干涉相机单元4采集筒内表面图像。
如图1和图2所示,相机单元4和悬臂杆3之间安装有计数组件41,计数组件41上安装有用于采集筒体内表面图像的相机单元4,计数组件41包括计数器4102,通过计数器4102计算相机单元4旋转圈数;通过计数器4102计算出悬臂杆3旋转的圈数,保证相机单元4采集的图像的完整性。
相机单元包括LED线性光源与线阵相机,LED线性光源发射的光倾斜朝向采集表面,其出射光投射至采集表面后反射进线阵相机;
计数组件41包括计数辊轴4103和计数器4102,计数辊轴4103一端与悬臂杆3固定连接,另一端设有凹槽4104,相机单元4安装在凹槽4104内,凹槽4101内设有液压杆4104,液压杆4104与相机单元4连接。
相机单元4通过液压杆4101调整其在计数辊轴4103上的位置,以便采集不同直径的筒内表面图像,计数器4102、与驱动装置2连接的电机2103、与支撑结构9连接的电机2103三者电连接,精准控制相机单元4前进的速度。
实施例二
如图1和图6所示,在上述实施例一的基础上,为了便于不同直径的待测筒体的固定,滑轨102上安装有托盘组件6,本实施例的其他部件及原理与实施例一相同,托盘组件6包括限位托杆602,与托盘组件6连接的底座103上纵向布设有轨道,限位托杆602与轨道滑动连接,轨道上安装有双轴电机601,双轴电机601上安装有螺杆603,螺杆603一端与检测台1活动连接。
双轴电机601驱动螺杆603旋转,从而使限位托杆602在轨道上滑动,由于限位托杆602顶端弧形面,因为调整限位托杆602的距离即可固定待测筒体5,同时还可保证不同直径的待测筒体的安装的轴线在同一水平线上,以便固定卡盘7固定待测筒体5一端。
如图4所示,为了是相机单元4更好的采集筒内表面的图像,悬臂杆3的轴线位置可调,驱动装置2安装在底座103上,驱动装置2包括驱动座205,驱动座205上设有垂直槽道203和电机滑轨201,电机滑轨201位于垂直槽道203两侧,电机滑轨201上连接有连接板204,连接板204一侧安装有悬臂电机202,悬臂杆3一端穿过连接板204与悬臂电机202连接,通过举升气缸903调整悬臂杆3的上下位置,连接板204在电机滑轨201上滑动,改变悬臂杆3的位置。
实施例三
在上述实施例二的基础上,使用采集装置检测筒体内表面的缺陷的方法,包括以下步骤:
S1、通过图像采集装置对采样筒体内表面进行全区域覆盖的光学图像采集,获取样本图片;
S1中,获取样本图片的步骤:
将待测筒体5一端固定在固定卡盘7上,待测筒体5的筒身通过托盘组件6支撑;
根据待测筒体5的轴线调整悬臂杆3,根据相机单元4与待测筒体5内表面的距离,通过液压杆4101将相机单元4调整至最佳位置;
悬臂电机202驱动悬臂杆3旋转,配合与驱动装置2连接的底座103使相机单元4向待测筒体5内推进,从而得到不同位置的待测筒体的样本图片;
S2、对样本图片进行预处理,获得二值化图像;
S3、对预处理后的二值化图像进行多向旋转,以扩充样本集,在扩充的样本集中选取等量的缺陷图像与非缺陷图像作为训练集样本;
S4、利用训练集离线训练卷积神经网络,包括以下步骤:
T1、构造VGG-16卷积神经网络并利用MSRA方式进行参数初始化;
T2、采用训练集,采用Adam算法对初始VGG-16卷积神经网络的误差梯度做最速下降优化,离线训练VGG-16卷积神经网络,构成VGG-16卷积神经网络;
T3、采用开源深度学习模型框架Caffe对训练后构成的VGG-16卷积神经网络进行开发,并采用GPU对深度学习算法进行加速,以获取划痕的深层特征参数。
再构建基于VGG-16的多层深度卷积神经网络,多层深度卷积神经网络包括13层卷积层、3层全连接层、5层最大池化层、2层Dropout层、1层输入层和1层输出层,其中,初始卷积层的卷积核个数为64,最后六层的卷积层包括三层卷积核大小为5*5的卷积层、以及设置于上述三层卷积层之后的三层卷积核大小为7*7的卷积层,在最后六层卷积层中每隔三层插入一个Dropout层;
具体地,多层深度卷积神经网络具体网格结构包括如下24层:
第一层:大小为224*224的二值化图像输入层;
第二层:卷积核大小为3*3,数量为64的卷积层,卷积层用于提取图像的特征参数;
第三层:卷积核大小为3*3,数量为64的卷积层;
第四层:池化核大小为2*2的最大池化层,最大池化层的输入一般来源于上一个卷积层,取对应区域内的最大值,若此区域中的其他值变化,或者图像出现平移,池化的结果仍然不变,并且相应的减少了参数的数量;池化层一般没有参数,所以反向传播的时候,只需要对输入参数进行求导,不需要进行权重迭代更新;
第五层:卷积核大小为3*3,数量为128的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第六层:卷积核大小为3*3,数量为128的卷积层;
第七层:池化核大小为2*2的最大池化层;
第八层:卷积核大小为3*3,数量为256的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第九层:卷积核大小为3*3,数量为256的卷积层;
第十层:卷积核大小为3*3,数量为256的卷积层;
第十一层:池化核大小为2*2的最大池化层;
第十二层:卷积核大小为5*5,数量为512的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第十三层:卷积核大小为5*5,数量为512的卷积层;
第十四层:卷积核大小为5*5,数量为512的卷积层;
第十五层:池化核大小为2*2的最大池化层;
第十六层:加入一个Dropout层,以0.2的概率随机去除一些神经元的节点;
在训练过程中,由于训练样本参数多,神经网络的权重和训练样本的匹配度过大,容易导致在处理新样本时的表现不理想,引入Dropout后,在前向过程中随机将一些激活值改为0,使得模型在使用同样的数据在进行训练时相当于从不同的模型中随机选择一个进行,这样不同的模型就会产生不同的计算结果,随着训练的不断进行,计算结果会在一个范围内波动,但是均值不会变化很大,因此可以把最终的训练结果看成是不同模型的平均输出;
第十七层:卷积核大小为7*7,数量为512的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第十八层:卷积核大小为7*7,数量为512的卷积层;
第十九层:卷积核大小为7*7,数量为512的卷积层;
第二十层:池化核大小为2*2的全局平均池化层,全局平均池化层用于对上层中每个特征图计算一个均值,大大减少了参数的计算,而且大大加快了训练检测速度;
第二十一层:在最底层加入一个Dropout层,以0.5的概率随机去除一些神经元的节点,使得神经网络模型能更好的应对数据量过多而引起的过拟合问题;
第二十二层:节点个数为4096的全连接层;
第二十三层:节点个数为4096的全连接层;
第二十四层:softmax分类输出层,该层主要用于分类,由于只有含缺陷以及不含缺陷两类图像,因此该层只有两个节点;
S5、将步骤S2预处理后的二值化图像输入到步骤S4构建的多层深度卷积神经网络中进行识别,筛选出分类标记为缺陷的图像块,并记录其图像块中缺陷区域的位置坐标,然后在待检图像中用检测框标出,从而完成最终对缺陷的检测效果。
本发明构建的多层深度卷积神经网络,初始卷积层的卷积核个数为64,在训练初始阶段有利于加快训练速度,也就是加快获取划痕特征的速度。
最后六层的卷积层包括三层卷积核大小为5*5的卷积层、以及设置于上述三层卷积层之后的三层卷积核大小为7*7的卷积层,最后六层是对传统的VGG-16卷积神经网络,所有卷积层的卷积核大小都为3*3进行了改进,卷积核的尺寸增大,每进行一次卷积所能获取的信息会增多,对相同大小的输入图像,大的卷积核能更快的遍历图像中每一处的深层特征,这有利于提高训练的速度,但是大的卷积核携带的信息增多容易引起过拟合问题,所以本发明在最后的六层卷积层每隔三层便插入了一个Dropout层,Dropout层会在训练过程中随机抛弃一部分神经网络节点,会减少计算量,这相当于加快训练速度,但是每次携带的信息量不变,使得神经网络模型能更好的应对数据量过多而引起的过拟合问题。
并且,本发明采用了13层卷积层,5层池化层,本文所提模型的深度大于传统模型的深度,深度越深,获取划痕特征的能力越强,这有利于划痕识别阶段更准确的识别出划痕,也就是提高了划痕识别准确率。
本实施例中的其他方法及原理与实施例二相同。
实施例四
一种筒体内表面缺陷检测模型的构建方法,其特征在于,包括以下步骤:
S1、对图像采集装置进行参数设置,使之输出便于后期处理的优质图像,再通过图像采集装置对采样筒体(内径大于20mm)内表面进行全区域覆盖的光学图像采集,获取像素大小均为224*224的样本图片;
S2、对样本图片进行预处理,获得二值化图像;
S3、对预处理后的二值化图像进行上、下、左、右、左上、左下、右上、右下八个方向的旋转,以扩充样本集,在扩充的样本集中选取20000张缺陷图像与20000张非缺陷图像作为训练集样本;
S4、利用训练集离线训练卷积神经网络,具体步骤为:
T1、构造VGG-16卷积神经网络并利用MSRA方式进行参数初始化;
T2、采用训练集,采用Adam算法对初始VGG-16卷积神经网络的误差梯度做最速下降优化,离线训练VGG-16卷积神经网络,构成VGG-16卷积神经网络,具体方法为:迭代100000次对初始VGG-16卷积神经网络进行训练,每一次迭代随机从训练集中选取100张图像作为输入,采用交叉熵的损失函数,并进行L2正则化处理,再利用Adam算法对VGG-16卷积神经网络进行最速下降优化处理。
T3、采用开源深度学习模型框架Caffe对训练后构成的VGG-16卷积神经网络进行开发,并采用GPU对深度学习算法进行加速,以获取划痕的深层特征参数;
再构建基于VGG-16的多层深度卷积神经网络,多层深度卷积神经网络包括13层卷积层、3层全连接层、5层最大池化层、2层Dropout层、1层输入层和1层输出层,其中,初始卷积层的卷积核个数为64,最后六层的卷积层包括三层卷积核大小为5*5的卷积层、以及设置于上述三层卷积层之后的三层卷积核大小为7*7的卷积层,在最后六层卷积层中每隔三层插入一个Dropout层;
S5、将步骤S2预处理后的像素大小为224*224的二值化图像输入到步骤S4构建的多层深度卷积神经网络中进行识别,筛选出分类标记为缺陷的图像块,并记录其图像块中缺陷区域的位置坐标,然后在待检图像中用检测框标出,从而完成最终对缺陷的检测效果。
本实施例中的其他方法及原理与实施例三相同。
实施例五
相比于实施例三,本实施例在步骤S2的预处理包括依次对样本图片进行灰度映射、高斯滤波与阈值分割处理。
通过灰度映射使得筒体内表面缺陷和背景的对比度提高,从而易于分离出缺陷区域,还使得图像的灰度分布更加均匀。
通过高斯滤波滤除光源和相机在拍摄过程中的抖动所产生的噪声,同时对图像起到平滑化的作用。
通过阈值分割处理更好的使缺陷区域和背景分离,其中,进行阈值分割之前,绘制图像的直方图,得到像素分布的临界值,根据此临界值设置阈值,如果当图像中某一部分的像素值高于设定阈值,我们将此部分的像素值设置为最大值(225),如果此部分的像素值低于预先设定的阈值,将此部分的像素设置为最小值(0),以获得缺陷图像的二值图像。
通过对图像的预处理,滤除了样本图像中的噪声,缺陷区域和背景的对比度提高,神经网络模型能更准确的获取缺陷区域的特征参数,会有效提高检测的准确率,优化图片质量。
相机单元4中,LED线性光源:为相机补光,LED灯具有寿命长,亮度高且光源稳定的优势;
线阵相机:采用Teledyne DALSA高端线阵相机,基于最先进的CMOS线扫描技术,Linea系列相机采用单线感光单元,像素尺寸为7μm x 7μm,最大行频为80KHz。Linea相机速度快,性能优良,灵敏度出色,完善的平场校正功能、支持多ROI、通过可编程GPIO实现智能触发、多用户参数组、为多种光照环境提供校正系数等,并且同时兼容GenICamTM,易于安装和集成;
采用10mm镜头,像素宽度和高度可调,最大像素宽度为8192,像素高度不限,成像距离为120mm左右,可以实现对内径大于20mm的筒体的内表面图像检测,
在进行图像采集之前,对图像采集模块进行参数设置,包括以下步骤:
A1、对线阵相机的扫描宽度进行调整,使得扫描一帧的像素宽度为224;
A2、再根据待检测筒体18的旋转速度,调整线阵相机输出相邻的图片的间隔时间,以保证每张图片的像素高度均为224,保证获得的原始图片的像素大小均未224*224。
本实施例中的其他方法及原理与实施例三相同。
以上仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种筒体内表面图像采集装置,其特征在于,包括:
检测台,其前端安装有对齐组件,所述对齐组件包括齿条,检测台上横向布设有滑轨;
底座,其安装在滑轨上,所述底座一端连接有电机安装座,电机安装座一侧安装有传动齿轮,电机安装座一侧设有驱动传动齿轮旋转的电机,传动齿轮与齿条啮合;
驱动装置,其安装在滑轨上,驱动装置上安装有悬臂杆,所述悬臂杆上安装有计数组件,所述计数组件上安装有用于采集筒体内表面图像的相机单元,计数组件包括计数器,通过计数器计算相机单元旋转圈数;
所述相机单元包括LED线性光源与线阵相机,所述LED线性光源发射的光倾斜朝向采集表面,其出射光投射至采集表面后反射进所述线阵相机;
计数组件包括计数辊轴和计数器,计数辊轴一端与悬臂杆固定连接,另一端设有凹槽,相机单元安装在凹槽内,凹槽内设有液压杆,液压杆与相机单元连接;
托盘组件,其位于悬臂杆一侧,托盘组件上承载有待测筒体,待测筒体一侧安装在固定卡盘上,固定卡盘与安装在检测台上的主轴箱连接,且主轴箱位于滑轨一侧。
2.根据权利要求1所述的筒体内表面图像采集装置,其特征在于,所述滑轨上滑动连接有多个底座,驱动装置安装在底座上,所述驱动装置包括驱动座,所述驱动座上设有垂直槽道和电机滑轨,电机滑轨位于垂直槽道两侧,所述电机滑轨上连接有连接板,连接板一侧安装有悬臂电机,悬臂杆一端穿过连接板与悬臂电机连接。
3.根据权利要求2所述的筒体内表面图像采集装置,其特征在于,所述驱动装置一侧设有用于支撑悬臂杆的支撑结构,所述支撑结构包括举升气缸和支撑块,所述举升气缸安装在底座上,支撑块安装在举升气缸上,且支撑块上设有用于支撑悬臂杆的弧形缺口。
4.根据权利要求1所述的筒体内表面图像采集装置,其特征在于,所述托盘组件包括限位托杆,与托盘组件连接的底座上纵向布设有轨道,限位托杆与轨道滑动连接,所述轨道上安装有双轴电机,所述双轴电机上安装有螺杆,所述螺杆一端与检测台活动连接。
5.一种使用如权利要求1-4中任意一项所述筒体内表面图像采集装置的缺陷检测方法,包括以下步骤:
S1、通过图像采集装置对采样筒体内表面进行全区域覆盖的光学图像采集,获取样本图片;
S2、对所述样本图片进行预处理,获得二值化图像;
S3、对预处理后的二值化图像进行多向旋转,包括对所述图像进行上、下、左、右、左上、左下、右上、右下八个方向的旋转,以扩充样本集,在扩充的样本集中选取等量的缺陷图像与非缺陷图像作为训练集样本;
S4、利用所述训练集离线训练卷积神经网络,获取划痕的深层特征参数;构建基于VGG-16的多层深度卷积神经网络,所述多层深度卷积神经网络包括13层卷积层、3层全连接层、5层最大池化层、2层Dropout层、1层输入层和1层输出层,其中,初始卷积层的卷积核个数为64,最后六层的卷积层包括三层卷积核大小为5*5的卷积层、以及设置于上述三层卷积层之后的三层卷积核大小为7*7的卷积层,在最后六层卷积层中每隔三层插入一个所述Dropout层;
S5、将步骤S2预处理后的二值化图像输入到步骤S4构建的多层深度卷积神经网络中进行识别,筛选出分类标记为缺陷的图像块,并记录其图像块中缺陷区域的位置坐标,然后在待检图像中用检测框标出,从而完成最终对缺陷的检测效果。
6.根据权利要求5所述的筒体内表面图像采集装置的缺陷检测方法,其特征在于,步骤S4所述的利用所述训练集离线训练卷积神经网络的方法,包括以下步骤:
T1、构造VGG-16卷积神经网络并利用MSRA方式进行参数初始化;
T2、采用所述训练集,采用Adam算法对初始VGG-16卷积神经网络的误差梯度做最速下降优化,离线训练所述VGG-16卷积神经网络,构成VGG-16卷积神经网络;
T3、采用开源深度学习模型框架Caffe对训练后构成的VGG-16卷积神经网络进行开发,并采用GPU对深度学习算法进行加速,以获取划痕的深层特征参数。
7.根据权利要求6所述的筒体内表面图像采集装置的缺陷检测方法,其特征在于,步骤T2所述的离线训练所述VGG-16卷积神经网络的方法为:迭代100000次对初始VGG-16卷积神经网络进行训练,每一次迭代随机从所述训练集中选取100张图像作为输入,采用交叉熵的损失函数,并进行L2正则化处理,再利用Adam算法对VGG-16卷积神经网络进行最速下降优化处理。
8.根据权利要求5所述的筒体内表面图像采集装置的缺陷检测方法,其特征在于,步骤S4构建的所述多层深度卷积神经网络具体网格结构包括如下24层:
第一层:大小为224*224的二值化图像输入层;
第二层:卷积核大小为3*3,数量为64的卷积层,卷积层用于提取图像的特征参数;
第三层:卷积核大小为3*3,数量为64的卷积层;
第四层:池化核大小为2*2的最大池化层,最大池化层的输入一般来源于上一个卷积层,取对应区域内的最大值,若此区域中的其他值变化,或者图像出现平移,池化的结果仍然不变,并且相应的减少了参数的数量;池化层一般没有参数,所以反向传播的时候,只需要对输入参数进行求导,不需要进行权重迭代更新;
第五层:卷积核大小为3*3,数量为128的卷积层,并且卷积核之间的连接采用channelshuffle操作;
第六层:卷积核大小为3*3,数量为128的卷积层;
第七层:池化核大小为2*2的最大池化层;
第八层:卷积核大小为3*3,数量为256的卷积层,并且卷积核之间的连接采用channelshuffle操作;
第九层:卷积核大小为3*3,数量为256的卷积层;
第十层:卷积核大小为3*3,数量为256的卷积层;
第十一层:池化核大小为2*2的最大池化层;
第十二层:卷积核大小为5*5,数量为512的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第十三层:卷积核大小为5*5,数量为512的卷积层;
第十四层:卷积核大小为5*5,数量为512的卷积层;
第十五层:池化核大小为2*2的最大池化层;
第十六层:加入一个Dropout层,以0.2的概率随机去除一些神经元的节点;
第十七层:卷积核大小为7*7,数量为512的卷积层,并且卷积核之间的连接采用channel shuffle操作;
第十八层:卷积核大小为7*7,数量为512的卷积层;
第十九层:卷积核大小为7*7,数量为512的卷积层;
第二十层:池化核大小为2*2的全局平均池化层,所述全局平均池化层用于对上层中每个特征图计算一个均值;
第二十一层:在最底层加入一个Dropout层,以0.5的概率随机去除一些神经元的节点;
第二十二层:节点个数为4096的全连接层;
第二十三层:节点个数为4096的全连接层;
第二十四层:softmax分类输出层,该层主要用于分类,由于只有含缺陷以及不含缺陷两类图像,因此该层只有两个节点。
9.根据权利要求5所述的筒体内表面图像采集装置的缺陷检测方法,其特征在于,步骤S2的所述预处理包括依次对所述样本图片进行灰度映射、高斯滤波与阈值分割处理,其中,进行阈值分割之前,绘制图像的直方图,得到像素分布的临界值,根据此临界值设置阈值,如果当图像中某一部分的像素值高于设定阈值,我们将此部分的像素值设置为最大值,如果此部分的像素值低于预先设定的阈值,将此部分的像素设置为最小值,以获得缺陷图像的二值图像。
10.根据权利要求5所述的筒体内表面图像采集装置的缺陷检测方法,其特征在于,步骤S1的中在进行图像采集之前,对所述图像采集模块进行参数设置,包括以下步骤:
A1、对所述线阵相机的扫描宽度进行调整,使得扫描一帧的像素宽度为224;
A2、再根据待检测筒体的旋转速度,调整所述线阵相机输出相邻的图片的间隔时间,以保证每张图片的像素高度均为224,保证获得的原始图片的像素大小均未224*224。
CN202210701103.5A 2022-06-20 2022-06-20 一种筒体内表面图像采集装置及缺陷检测方法 Pending CN115236083A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210701103.5A CN115236083A (zh) 2022-06-20 2022-06-20 一种筒体内表面图像采集装置及缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210701103.5A CN115236083A (zh) 2022-06-20 2022-06-20 一种筒体内表面图像采集装置及缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115236083A true CN115236083A (zh) 2022-10-25

Family

ID=83668994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210701103.5A Pending CN115236083A (zh) 2022-06-20 2022-06-20 一种筒体内表面图像采集装置及缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115236083A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578365A (zh) * 2022-10-26 2023-01-06 西南交通大学 一种齿轨铁路相邻齿条齿距检测方法及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578365A (zh) * 2022-10-26 2023-01-06 西南交通大学 一种齿轨铁路相邻齿条齿距检测方法及设备

Similar Documents

Publication Publication Date Title
JP5443435B2 (ja) タイヤの欠陥検出方法
RU2735806C1 (ru) Способ проверки печатного цилиндра и соответствующая установка
CN108230324B (zh) 磁瓦表面微缺陷视觉检测方法
CN109685766B (zh) 一种基于区域融合特征的布匹瑕疵检测方法
CN107064160A (zh) 基于显著性检测的纺织品表面瑕疵检测方法及系统
CN107290347B (zh) 蜂窝载体缺陷自动化检测方法
CN115100206B (zh) 用于具有周期图案纺织物的印花缺陷识别方法
CN105745523A (zh) 用于检查缠绕的光纤的系统和方法
CN106645197A (zh) 检测精密光学元件表面颗粒物的在线检测系统及应用方法
CN115236083A (zh) 一种筒体内表面图像采集装置及缺陷检测方法
CN110823097A (zh) 一种密集波分复用器自动装配中光学元件尺寸测量的方法
CN110648301A (zh) 一种消除成像反光的装置及方法
CN110738644A (zh) 一种基于深度学习的汽车涂装表面缺陷检测方法及系统
CN116223519A (zh) 晶圆检测设备、检测方法、系统及可读存储介质
CN111536908B (zh) 一种基于机器视觉技术的复杂柱体表面积测量装置与方法
CN113012105A (zh) 基于图像处理的纱线毛羽检测评级方法
Han et al. SSGD: A smartphone screen glass dataset for defect detection
CN108490002B (zh) 一种微结构棱镜镜片质量检测方法
CN112950541A (zh) 一种基于机器视觉的合成革涂胶在线监测方法
CN114486939B (zh) 一种镜片划痕检测系统及方法
CN114120318B (zh) 一种基于集成决策树的暗场图像目标点精确提取方法
CN116091423A (zh) 一种基于稀疏字典优选的织物疵点检测方法及系统
CN111912854B (zh) 基于振镜快速扫描的大面积表面缺陷光学检测系统及方法
CN113686880A (zh) 一种基于视觉的刀具质量检测装置
CN114286078A (zh) 摄像头模组镜片外观检查方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination