CN109785314A - 一种基于u-net网络的织物经纬密度检测系统及方法 - Google Patents

一种基于u-net网络的织物经纬密度检测系统及方法 Download PDF

Info

Publication number
CN109785314A
CN109785314A CN201910056421.9A CN201910056421A CN109785314A CN 109785314 A CN109785314 A CN 109785314A CN 201910056421 A CN201910056421 A CN 201910056421A CN 109785314 A CN109785314 A CN 109785314A
Authority
CN
China
Prior art keywords
image
net network
training
count detection
pck count
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910056421.9A
Other languages
English (en)
Inventor
余楚才
向运洪
张光源
裴广
王理顺
吴强
李科
张衡
凌志祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinhua Information Technology Co Ltd
Original Assignee
Jinhua Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinhua Information Technology Co Ltd filed Critical Jinhua Information Technology Co Ltd
Priority to CN201910056421.9A priority Critical patent/CN109785314A/zh
Publication of CN109785314A publication Critical patent/CN109785314A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于u‑net网络的织物经纬密度检测系统及方法,旨在解决复杂纹理和颜色织物经纬密度检测的问题,对于复杂纹理和颜色的织物可采用u‑net网络进行图像分割的方法,通过图像距离变换算法自动统计平均值,是一种可靠、精确度高、误差小、可以同时用人眼核查的自动测量仪器。与现有技术相比,本发明的积极效果是:首先,本发明提升了织物经纬密度统计的准确度,可应用于复杂纹理和颜色的织物;其次,能在织物生产过程中实时监测经纬线密度变化情况;再次,解决了传统检测方法中需要人工数纱线的方式,大大降低了人工成本。

Description

一种基于u-net网络的织物经纬密度检测系统及方法
技术领域
本发明涉及图像处理和深度学习领域,具体涉及一种基于深度学习网络的可应用于牛仔布等织物,具有经纬线自动统计功能的系统及方法。
背景技术
织物经纬密度检测通常用织物分解法、织物分析镜法和移动式织物密度镜法。以上方法均要靠人工数纱线根数完成,这些方法会导致工人在检测的过程中产生漏检和误检,严重地降低了纺织工艺流程的生产效率。为了克服纺织业中生产过程效率低下、成本高及自动化程度低等不足,机器视觉技术被引入到经纬密度检测过程。但在纺织品组织结构参数的测量方面研究还非常有限,还没有形成比较完整的系统,不能应用于实际生产。因此迫切需要设计一种可以快速、高效、准确度高、操作方便的检测系统对纺织品经纬密度进行检测以适应市场的需求。
目前在纺织行业中,传统的纺织品的密度测量手段仍然占据着主体地位。但随着计算机速度的提高和图像算法的发展,纺织品经纬密度的自动检测技术可以更多的在工业领域普及,会有更多的用户及企业选择智能检测仪器来提高产品的质量和生产效率。
中国专利公开号CN200610090508,发明名称:织物经纬密度的检测方法中,公开了一种织物经纬密度的检测方法,该系统属于一种智能的可实现织物经纬密度快速测量。在现有织物扫描图像和傅立叶变换求得织物平均周期的基础上,通过纱线的不同部分反映在织物亮度曲线上的梯度变化,进一步根据周期来确定一区域范围,找出此区域范围内的亮度曲线的最大值或最小值(波峰位置或波谷位置),从而依此画出经纬纱的分割线,最终检测出织物的经纬密度。这种方法可以方便地观察分割线的分布状态,进行人工检查和纠错,得到准确结果。但是该方法采用时域变换到频域的方式只适合经纬线亮度区分较为明显的织物,容易受到织物颜色、花色、纹理的限制,会对经纬线亮度区分较小的织物混淆,因此无法应用于复杂纹理和颜色的织物经纬密度检测中。
发明内容
为了克服现有技术的缺点,本发明提供了一种基于u-net网络的织物经纬密度检测系统及方法,旨在解决复杂纹理和颜色织物经纬密度检测的问题,对于复杂纹理和颜色的织物可采用u-net网络进行图像分割的方法,通过图像距离变换算法自动统计平均值,是一种可靠、精确度高、误差小、可以同时用人眼核查的自动测量仪器。
本发明所采用的技术方案是:一种基于u-net网络的织物经纬密度检测系统,包括电源供应模块和分别与电源供应模块连接的PLC同步控制模块和图像采集模块,所述PLC同步控制模块依次与图像采集模块、图像分割模块和图像统计分析模块连接;所述图像统计分析模块通过RS485串口与PLC同步控制模块进行数据通讯,所述PLC同步控制模块通过编码器A相信号控制图像采集模块和RS485串口信息的同步。
本发明还提供了一种基于u-net网络的织物经纬密度检测方法,包括如下步骤:
步骤一、在设定的检测区域内采集一张织物图像,截取部分区域人工标注经线和纬线的分界线,分别保存原图和标注图像到训练集和label;
步骤二、对训练图像和label图像进行数据增强处理;
步骤三、用caffe训练u-net网络,将训练集,label,测试集生成一个npy文件,传入u-net网络训练,初始学习率调整为0.01;
步骤四、迭代2000次左右把学习率调整为10-5,继续迭代到损失率降到1以下;
步骤五、用python测试训练模型的准确率:若训练模型测试图像的准确率小于等于设定的预期值时,则调整模型参数、训练集、label,然后进入步骤四重新训练,直至训练模型测试图像的准确率大于设定的预期值;
步骤六、将实时采集图像传入训练模型进行图像分割处理;
步骤七、利用图像距离变换算法实时统计分割图像经向和纬向数量;
步骤八、根据经向数量和纬向数量实时绘制动态曲线表示织物经纬密度变化情况。
与现有技术相比,本发明的积极效果是:
首先,本发明提升了织物经纬密度统计的准确度,可应用于复杂纹理和颜色的织物;其次,能在织物生产过程中实时监测经纬线密度变换情况;再次,解决了传统检测方法中需要人工数纱线的方式,大大降低了人工成本。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1为本发明的基于u-net网络的织物经纬密度检测系统的结构示意图。
图2是本发明的基于u-net网络的织物经纬密度检测方法的流程图。
图3是本发明采用的u-net网络的示意图。
图4是训练图和人工标注图像。
图5是本发明基于u-net网络图像分割的效果示意图。
具体实施方式
一种基于u-net网络的织物经纬密度检测系统,如图1所示,包括在设定的检测区域内采集图像数据的图像采集模块;利用u-net网络训练一个检测模型提取经线和纬线边缘的图像分割模块;采用距离变换算法统计图像经向和纬向纱线数量的图像统计分析模块;控制CCD采集图像和串口信息同步的PLC同步控制模块;为系统提供独立电源的电源供应模块。
图像采集模块实现图像数据的采集,图像采集模块由线阵千兆网CCD、施耐德镜头、白色LED线光源及其周边电路组成,图像处理由1080显卡及其周边电路组成。图像数据通过CCD捕获,通过回调函数传送到基于caffe的深度学习网络u-net上进行分析处理。
图像分割模块采用的u-net网络是全卷积神经网络,输入和输出都是图像,没有全连接层,u-net通过收缩路径来获取上下文信息和对称的扩张路径用以精确定位。图像分割模块还包括实现检测模型参数的调整和对样品的标定。
图像统计分析模块是对caffe输出的分割图像通过距离变换算法统计经向和纬向纱线数量。
PLC同步控制模块是通过编码器A相信号控制CCD采集图像和PLC串口信息的同步,便于系统准确输出控制信号。
电源供应模块由5V直流电源、12V直流电源、24V直流电源,电源供应系统为编码器、PLC、线阵CCD和白色LED线光源供电。
一种基于u-net网络的织物经纬密度检测方法,如图2所示,包括如下步骤(1)至步骤(8):
(1)在设定的检测区域内采集一张织物图像,截取部分区域人工标注经线和纬线的分界线,分别保存原图和标注图像到训练集和label;
(2)数据增强,对训练图像、label图像分别进行裁切、镜像、旋转、模糊、扭曲、灰度变换,进入步骤(3);
(3)用caffe训练u-net网络,将训练集,label,测试集生成一个npy文件,传入u-net网络训练,初始学习率调整为0.01。进入步骤(4);
(4)迭代2000次左右把学习率调整为10-5,继续迭代到损失率降到1以下;
(5)用python测试训练模型的准确率;
该步骤(5)用训练模型测试图像的准确率不大于预期值时,则调整模型参数、训练集、label,然后进入步骤(4)重新训练。
(6)将实时采集图像传入训练模型进行图像分割处理;
(7)利用图像距离变换算法实时统计分割图像经向和纬向数量;
(7.1)指定经向、纬向图像宽度和高度,在分割图像中截取指定区域图像;
(7.2)对指定区域图像做距离变换算法,输出距离图像,图像中每个像素的灰度值为该像素与其距其最近的背景像素间的距离;
(7.3)对(7.2)输出距离图像进行增强处理,实现对整个图像数组中的每一个元素,进行如下矩阵操作:dsti=saturateuchar(|α*srci+β|),其中α*=1,β=0,srci,dsti分别表示(7.2)输出距离图像、增强后图像;saturate(x)表示如果x取值小于0,则返回值为0;如果x取值大于1,则返回值为1;若x在0到1之间,则直接返回x的值。
(7.4)二值化图像,根据连通域的面积过滤图像中轮廓分析后像素点≤15的区域,保留像素点>15的区域;
(7.5)分别统计(7.4)处理图像的周向和轴向的连通域,得到经向数量和纬向数量;
(8)根据经向数量和纬向数量实时绘制动态曲线表示织物经纬密度变化情况。
图像分割模块是通过深度学习框架caffe来实现的,采用全卷积网络u-net来训练模型,u-net网络结构如图3所示。u-net由收缩路径来获取上下文信息和对称的扩张路径用以精确定位。收缩路径是每2个3*3的卷积层后会跟一个2*2的最大池化层(步长为2),并且每个卷积层后面采用relu激活函数来对原始图像进行下采样操作。扩展路径每一步都包含对特征图进行上采样,然后用2*2的卷积核进行卷积运算;接着级联收缩路径中相应的裁剪后的特征图;再用两个3*3的卷积核进行卷积运算,且均使用ReLU激活函数。网络的最后一层是一个1*1的卷积层,通过这一操作可以将64通道的特征向量转换为所需要的分类结果的数量(例如2)。u-net网络可以对任意形状大小的图像进行卷积操作,特别是任意大的图像。
人工用PS对采集图像进行标注,基本保证黑白条纹比例为1:1,如图4所示。在只有少量样本的情况下,要想尽可能的让网络获得不变性和鲁棒性,数据增加是必不可少的。因此需要对各种织物图像数据集进行增强处理,训练集中的每一个图像和label是一一对应的。数据增强主要包括:裁切、旋转(90度、180度、270度)、镜像、模糊操作、扭曲、灰度变换等。
设定参数,初始学习率调整为0.01,用caffe深度学习框架训练模型,迭代2000次左右把学习率调整为10-5,继续迭代到损失率降到1以下,即可测试模型的准确度,完成模型训练。
图像统计分析模块是对caffe输出的二值图像通过距离变换算法统计经向和纬向纱线数量,并通过拟合曲线实时显示当前织物生产过程中的缩率变化。
PLC同步控制模块是通过编码器A相信号控制线阵CCD图像的采集和RS485串口信息的同步,同时PLC能控制LED线光源的亮灭和统计信息的输出。
图像分割的效果如图5所示,经测试该系统具有良好的稳定性和实用性。

Claims (10)

1.一种基于u-net网络的织物经纬密度检测系统,其特征在于:包括电源供应模块和分别与电源供应模块连接的PLC同步控制模块和图像采集模块,所述PLC同步控制模块依次与图像采集模块、图像分割模块和图像统计分析模块连接;所述图像统计分析模块通过RS485串口与PLC同步控制模块进行数据通讯,所述PLC同步控制模块通过编码器A相信号控制图像采集模块和RS485串口信息的同步。
2.根据权利要求1所述的一种基于u-net网络的织物经纬密度检测系统,其特征在于:所述图像采集模块由线阵千兆网CCD、施耐德镜头、白色LED线光源及其周边电路组成。
3.根据权利要求1所述的一种基于u-net网络的织物经纬密度检测系统,其特征在于:所述图像分割模块采用全卷积神经网络u-net来训练模型,u-net通过收缩路径来获取上下文信息和对称的扩张路径用以精确定位。
4.根据权利要求3所述的一种基于u-net网络的织物经纬密度检测系统,其特征在于:所述收缩路径是每2个3*3的卷积层后跟一个2*2的最大池化层,并且每个卷积层后面采用relu激活函数来对原始图像进行下采样操作。
5.根据权利要求3所述的一种基于u-net网络的织物经纬密度检测系统,其特征在于:所述扩张路径每一步均包含对特征图进行上采样,然后用2*2的卷积核进行卷积运算;接着级联收缩路径中相应的裁剪后的特征图;再用两个3*3的卷积核进行卷积运算,且均使用ReLU激活函数。
6.根据权利要求3所述的一种基于u-net网络的织物经纬密度检测系统,其特征在于:所述u-net网络的最后一层是一个1*1的卷积层,用于将64通道的特征向量转换为所需要的分类结果的数量。
7.一种基于u-net网络的织物经纬密度检测方法,其特征在于:包括如下步骤:
步骤一、在设定的检测区域内采集一张织物图像,截取部分区域人工标注经线和纬线的分界线,分别保存原图和标注图像到训练集和label;
步骤二、对训练图像和label图像进行数据增强处理;
步骤三、用caffe训练u-net网络,将训练集,label,测试集生成一个npy文件,传入u-net网络训练,初始学习率调整为0.01;
步骤四、迭代2000次左右把学习率调整为10-5,继续迭代到损失率降到1以下;
步骤五、用python测试训练模型的准确率:若训练模型测试图像的准确率小于等于设定的预期值时,则调整模型参数、训练集、label,然后进入步骤四重新训练,直至训练模型测试图像的准确率大于设定的预期值;
步骤六、将实时采集图像传入训练模型进行图像分割处理;
步骤七、利用图像距离变换算法实时统计分割图像经向和纬向数量;
步骤八、根据经向数量和纬向数量实时绘制动态曲线表示织物经纬密度变化情况。
8.根据权利要求7所述的一种基于u-net网络的织物经纬密度检测方法,其特征在于:步骤七所述统计分割图像经向和纬向数量的方法为:
(1)指定经向、纬向图像宽度和高度,在分割图像中截取指定区域图像;
(2)对指定区域图像做距离变换算法,输出距离图像,图像中每个像素的灰度值为该像素与其距其最近的背景像素间的距离;
(3)对第(2)步输出的距离图像进行增强处理;
(4)对第(3)步处理后的图像进行二值化,根据连通域的面积过滤图像中轮廓分析后像素点≤15的区域,保留像素点>15的区域;
(5)分别统计第(4)步处理后图像的周向和轴向的连通域,即得到经向数量和纬向数量。
9.根据权利要求7所述的一种基于u-net网络的织物经纬密度检测方法,其特征在于:第(3)步所述对第(2)步输出的距离图像进行增强处理的方法为:对整个图像数组中的每一个元素,进行如下矩阵操作:dsti=saturateuchar(|α*srci+β|),其中α、β为增强系数,根据增强效果的需要进行选取,srci,dsti分别表示输出距离图像、增强后图像;saturate(x)表示如果x取值小于0,则返回值为0;如果x取值大于1,则返回值为1;若x在0到1之间,则直接返回x的值。
10.根据权利要求7所述的一种基于u-net网络的织物经纬密度检测方法,其特征在于:步骤二所述对训练图像和label图像进行数据增强处理的操作包括:裁切、镜像、旋转、模糊、扭曲、灰度变换。
CN201910056421.9A 2019-01-22 2019-01-22 一种基于u-net网络的织物经纬密度检测系统及方法 Pending CN109785314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910056421.9A CN109785314A (zh) 2019-01-22 2019-01-22 一种基于u-net网络的织物经纬密度检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910056421.9A CN109785314A (zh) 2019-01-22 2019-01-22 一种基于u-net网络的织物经纬密度检测系统及方法

Publications (1)

Publication Number Publication Date
CN109785314A true CN109785314A (zh) 2019-05-21

Family

ID=66501103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910056421.9A Pending CN109785314A (zh) 2019-01-22 2019-01-22 一种基于u-net网络的织物经纬密度检测系统及方法

Country Status (1)

Country Link
CN (1) CN109785314A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111830036A (zh) * 2020-07-01 2020-10-27 湖北省纤维检验局 一种织物密度分析方法及系统
CN112801986A (zh) * 2021-02-01 2021-05-14 深圳市创景数据科技有限责任公司 一种纺织材料匹配方法、装置、设备、存储介质及系统
CN113283499A (zh) * 2021-05-24 2021-08-20 南京航空航天大学 一种基于深度学习的三维编制物编制密度检测方法
CN113554603A (zh) * 2021-07-01 2021-10-26 南京航空航天大学 一种基于深度学习的芯片焊点超界检测方法
CN117853932A (zh) * 2024-03-05 2024-04-09 华中科技大学 一种基于光电吊舱的海面目标检测方法、检测平台及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101096818A (zh) * 2006-06-27 2008-01-02 中国纺织科学研究院 织物经纬密度的检测方法
CN104715477A (zh) * 2015-03-05 2015-06-17 浙江工业大学之江学院 基于多尺度和多区域的机织物编织密度的图像分析方法
CN106596568A (zh) * 2016-12-13 2017-04-26 青岛大学 一种基于线激光的实时非接触纱线断头检测方法
CN107169956A (zh) * 2017-04-28 2017-09-15 西安工程大学 基于卷积神经网络的色织物疵点检测方法
CN108256440A (zh) * 2017-12-27 2018-07-06 长沙学院 一种眉毛图像分割方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101096818A (zh) * 2006-06-27 2008-01-02 中国纺织科学研究院 织物经纬密度的检测方法
CN104715477A (zh) * 2015-03-05 2015-06-17 浙江工业大学之江学院 基于多尺度和多区域的机织物编织密度的图像分析方法
CN106596568A (zh) * 2016-12-13 2017-04-26 青岛大学 一种基于线激光的实时非接触纱线断头检测方法
CN107169956A (zh) * 2017-04-28 2017-09-15 西安工程大学 基于卷积神经网络的色织物疵点检测方法
CN108256440A (zh) * 2017-12-27 2018-07-06 长沙学院 一种眉毛图像分割方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OLAF RONNEBERGER ET AL.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV:1505.04597V1》, 18 May 2015 (2015-05-18), pages 1 - 8, XP055835587 *
OLAF RONNEBERGER ET AL.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV:1505.04597V1》, pages 1 - 8 *
冯平,程涛: "《PCB自动光学检测数字图像处理技术》", 西南交通大学出版社, pages: 125 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111830036A (zh) * 2020-07-01 2020-10-27 湖北省纤维检验局 一种织物密度分析方法及系统
CN112801986A (zh) * 2021-02-01 2021-05-14 深圳市创景数据科技有限责任公司 一种纺织材料匹配方法、装置、设备、存储介质及系统
CN113283499A (zh) * 2021-05-24 2021-08-20 南京航空航天大学 一种基于深度学习的三维编制物编制密度检测方法
CN113554603A (zh) * 2021-07-01 2021-10-26 南京航空航天大学 一种基于深度学习的芯片焊点超界检测方法
CN117853932A (zh) * 2024-03-05 2024-04-09 华中科技大学 一种基于光电吊舱的海面目标检测方法、检测平台及系统
CN117853932B (zh) * 2024-03-05 2024-05-14 华中科技大学 一种基于光电吊舱的海面目标检测方法、检测平台及系统

Similar Documents

Publication Publication Date Title
CN109785314A (zh) 一种基于u-net网络的织物经纬密度检测系统及方法
EP1977371B1 (en) Method and system for identifying illumination fields in an image
CN103034838B (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN107679106B (zh) 一种快速反应的色织面料设计生产方法
CN108982514A (zh) 一种铸件表面缺陷仿生视觉检测系统
CN107895362B (zh) 一种微型接线端子质量检测的机器视觉方法
CN109507192A (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN102523366B (zh) 一种织物编织样式自动分析系统及方法
CN106918594A (zh) 一种在线分析籽棉色特征和杂质的方法
Satpute et al. Automatic fruit quality inspection system
CN114820627A (zh) 一种基于光学手段的纺织品质量检测方法
CN110070526A (zh) 基于深度神经网络热度图预测的缺陷检测方法
CN109507209A (zh) 一种薄膜印刷缺陷检测系统及方法
CN109872313A (zh) 一种基于深度卷积自编码器的产品表面缺陷检测方法
CN108764134A (zh) 一种适用于巡检机器人的多类型仪表自动定位与识别方法
CN107016353B (zh) 一种变分辨率目标探测与识别一体化的方法与系统
CN112102224A (zh) 一种基于深度卷积神经网络的布匹疵点识别方法
CN109284718A (zh) 面向巡检机器人的变视角多仪表同时识别方法
CN113470041B (zh) 免疫组化细胞图像细胞核分割与计数方法和系统
CN104048966B (zh) 一种基于大律法的布面疵点检测及分类方法
CN115619787B (zh) 一种uv胶缺陷检测方法、系统、设备及介质
CN105371955B (zh) 一种染色色差检测装置及检测方法
CN114972158A (zh) 一种纺织品测色配色智能数字化系统
CN114441452A (zh) 一种光纤尾纤检测方法
CN106501278B (zh) 基于旋转不变纹理特征的灯管表面瑕疵分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190521