CN111709429A - 一种基于卷积神经网络的机织物结构参数识别方法 - Google Patents

一种基于卷积神经网络的机织物结构参数识别方法 Download PDF

Info

Publication number
CN111709429A
CN111709429A CN202010486331.6A CN202010486331A CN111709429A CN 111709429 A CN111709429 A CN 111709429A CN 202010486331 A CN202010486331 A CN 202010486331A CN 111709429 A CN111709429 A CN 111709429A
Authority
CN
China
Prior art keywords
fabric
color
yarn
tissue
warp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010486331.6A
Other languages
English (en)
Other versions
CN111709429B (zh
Inventor
潘如如
孟朔
周建
高卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202010486331.6A priority Critical patent/CN111709429B/zh
Publication of CN111709429A publication Critical patent/CN111709429A/zh
Application granted granted Critical
Publication of CN111709429B publication Critical patent/CN111709429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明属于机织物质量检测技术领域,涉及一种基于卷积神经网络的机织物结构参数识别方法。本发明提供一种基于卷积神经网络的机织物结构参数识别方法,可以同时检测识别织物经纬密、织物组织以及色织物色纱排列,是一种精确度高、鲁棒性强、品种适应性广的机织物结构参数识别方法。同时所提出的网络可分层提取不同的图像特征,使用的深度卷积网络可应用于各种复杂纹理和颜色的机织物,可同时检测各种结构参数包括织物经纬密、织物组织、色纱排列、配色模纹等,提升了机织物结构参数自动检测的效率和效果;本发明所提出的多任务多尺度卷积网络结构可以应用于其它领域中关联特征的目标定位识别问题。

Description

一种基于卷积神经网络的机织物结构参数识别方法
技术领域
本发明属于机织物质量检测技术领域,涉及一种基于卷积神经网络的机织物结构参数识别方法。
背景技术
纺织企业在来样设计与质量检测中,往往需要分析织物的经密、纬密、组织点、色纱排列等结构特征,从而准确得到样品的工艺参数,进行大规模生产或与标准样进行比对。而当产品多样,织物的基础结构特征又密集复杂时,将极大地考验工人的精力与耐心。目前,这一重复枯燥的分析检测工作,仍由熟练工人完成,耗时费力且效率低下。劳动力成本的上升,加上缩短产品生产周期的目标,使得企业对自动化产品工艺参数分析的需求迫切。
伴随着图像采集与模式识别技术的发展,应用计算机视觉的产品特征提取与检测分析,已经成为企业实行适时反应战略,进行大规模生产和质量控制的趋势。尽管基于计算机视觉的织物结构参数识别与检测分析技术发展迅速,但是现有的方法往往是对单一或少量特征点的提取分析,例如需要分别提取组织点和纱线等特征,只能单独识别某一结构参数。另一方面,由于织物的纹理颜色复杂多样,现有的方法的准确率会受较大影响,且他们往往针对于某一种特定的织物,品种适应性不够广泛。以上原因使得现有技术往往难以应用到实际生产中。
发明内容
为了克服现有技术的问题,本发明目的在于提供一种基于卷积神经网络的机织物结构参数识别方法,可以同时检测识别织物经纬密、织物组织以及色织物色纱排列,是一种精确度高、鲁棒性强、品种适应性广的机织物结构参数识别方法。同时所提出的网络可分层提取不同的图像特征,根据处理任务的不同分别识别定位不同的目标,并可应用于其他领域中的识别问题,例如医药领域中不同药品的识别,印刷领域中不同标签的识别等问题。
本发明的技术方案如下:
一种基于卷积神经网络的机织物结构参数识别方法,包括以下步骤:
步骤1,采集广泛的织物图像,所采集的织物图像包含详细织物结构参数;
步骤2,对于采集的织物图像,标注纱线轮廓与基础组织点位置;
步骤3,利用步骤2中标注好的纱线与组织点,使用一种自适应响应的高斯函数生成纱线和组织点的特征热力图;
步骤4,建立一种多任务多尺度结构的卷积神经网络模型,该网络可分层提取图像特征,适用于关联特征的提取,可大大减少模型参数量;
步骤5,利用步骤1中采集的织物图像和步骤3中所生成的特征热力图,对对步骤4中的多任务多尺度的卷积神经网络进行学习和训练,使得网络能够提取纱线和组织点特征图,实现对纱线和组织点的定位识别;
步骤6,对于步骤5所提取的纱线特征图进行后处理,提取到纱线的位置,计算出织物的经纬密,同时根据纱线的位置,可得到组织点的位置;
步骤7,对于步骤5所提取的组织点特征图进行后处理,提取到组织点的类别,结合步骤6所获取的组织点位置,可以得到织物组织,同时使用一种最小组织循环数法,可进一步分析得到基础组织;
步骤8,对于步骤5所获取的组织点位置,结合原始图像提取到每个纱线的颜色特征,针对所提取的颜色特征,使用一种基于色差密度的颜色空间聚类算法,对纱线进行聚类分析可以得到色纱排列,与步骤7所获取的织物组织相结合,可进一步得到织物的配色模纹。
步骤1中建立织物结构参数数据集的具体步骤为:
选取尽量广泛的织物的种类,不少于10种,使用普通数码或定焦相机进行织物图像采集,采集时应使得所采集的织物图像具有清晰可辨的组织点与纱线,保持相机与织物保持固定的距离,同时记录下采集的空间分辨率,以便推算出实际的距离特征。推荐分辨率范围为3000-12000像素/英寸。推荐的织物经纬密度范围为50-250根/英寸。为得到较好的训练效果,推荐的数据集应大于100幅织物图像,并包含常见的织物组织例如平纹,斜纹,缎纹以及提花等复杂组织。
步骤2中织物结构特征的标注的具体步骤为:
对于所采集的织物图像,使用图像标注软件标记出所有的纱线轮廓位置,同时用点标注一个基础组织中组织点的位置和类别,结合纱线位置,映射得到图像中所有组织点的位置和类别。同时记录下实际的织物经纬密,织物组织,色纱排列,以便验证网络效果。
步骤3中所使用的一种自适应响应的高斯函数具体特征在于:
该自适应响应的高斯函数根据特征目标的大小,在目标轮廓内生成相适应大小的响应,使得过大的目标响应值不至于过大,而过小的目标响应值不至于过小,达到平衡并准确表示全图的目标特征,用以训练网络。
进一步地,对于纱线和组织点特征热力图的生成,该特征目标的表达符合以纱线或组织点中心为均值μ,以一个尺度参数为标准差的高斯分布σ,其具体公式为:
Figure BDA0002519362280000031
Figure BDA0002519362280000032
其中f(x)表示点x的响应,dy为纱线或组织点直径,
Figure BDA0002519362280000033
为一个非负的权重,该权重使得最终响应可以根据纱线直径而自适应的效果。
步骤4中一种多任务多尺度结构的卷积神经网络模型的具体特征在于:
该多任务多尺度的卷积神经网络,包含一个共享多尺度特征编码器,在其后级联两个并行排列的特征解码器,根据待解决问题所需提取特征的数量的不同,可以增加特征解码器的个数。特征解码器的并行排列结构,使得网络可以处理不同的特征提取定位问题,同时由于共享多尺度特征编码器的存在使得网络尤其适用于关联特征的提取。
进一步地,所述共享多尺度特征编码器包含四个级联的多尺度模块来提取特征,每个多尺度特征模块之间进行2*2最大池化操作,四个多尺度模块的通道数依次为16、32、64、32,其中多特征模块结构包括1*1、3*3、5*5、7*7大小的四个并联的卷积层,同时在3*3、5*5、7*7大小的卷积层之前增加一个1*1大小的预处理卷积层来减少参数。激活函数全部使用ReLu。
进一步地,所述特征解码器包括了四个级联的卷积层来解码特征,每个级联的卷积层之间进行2*2反卷积操作,生成和原图同样大小的预测图,四个卷积层的通道数依次为64、32、16、2,其中每个卷积层的卷积核大小依次为7*7、5*5、3*3、1*1。激活函数全部使用ReLu,损失函数使用均方误差(MSE)和结构相似性函数(SSIM),其公式为:
Figure BDA0002519362280000041
Figure BDA0002519362280000042
Figure BDA0002519362280000043
Figure BDA0002519362280000044
Figure BDA0002519362280000045
Figure BDA0002519362280000046
Figure BDA0002519362280000047
L=MSE+λ(1-SSIM) (10)
其中N一幅图片中的总像素数,Yi代表预测值,Gi代表真实值。L代表最后损失函数。
进一步地,根据所处理的织物结构参数识别的问题,使用两个特征解码器,分别命名为组织点特征解码器和纱线特征解码器。
步骤5中该卷积神经网络训练的具体步骤为:
步骤5.1将数据集按照6:1:1的比例划分为训练集、验证集、测试集;
步骤5.2将训练集中的图片分别按照水平翻转、竖直翻转、颜色通道抖动进行数据增广;
步骤5.3将图像中的所有像素归一化到[0,1]范围内进行标准化;
步骤5.4训练时推荐使用Adam优化器和一个较小的学习率,经过200次左右的迭代后,模型训练完成,训练完成的模型接受任意大小的织物图像,输出两组共四幅特征图:经纬纱线特征图和经纬组织点特征图。
步骤6中纱线特征图进行后处理的具体步骤为:
步骤6.1检测图像中纱线的倾斜角,首先对模型输出的纱线特征图进行二值化处理,然后使用细化算法减少特征点,再使用霍夫变换检测纱线的倾斜角;将图像旋转相应的角度摆正图像,同时截取最大内接矩形使图像只包含完整的纱线;
步骤6.2将图像中像素分别按照横向和纵向进行投影,得到投影曲线,根据波谷的位置可以确定纱线的两侧位置,经纬纱相交处即为组织点的位置,根据相邻波峰的位置差p可以计算出纱线的经密dw和纬密dj具体公式为:
Figure BDA0002519362280000051
Figure BDA0002519362280000052
其中PPI为织物图像的空间分辨率。
步骤7中组织点特征图进行后处理的具体步骤为:
根据获取到的组织点的位置,分别计算经纬组织点特征图对应位置下的所有像素值之和,如果经组织点特征图下的像素之和大于纬组织点下的像素之和则该组织点即为经纬组织点,反之则为纬组织点,最终得到织物组织;
步骤7中所述的一种最小组织循环数法计算基础组织的具体特征为:
从组织循环数为2开始,以1为步长,依次增加到整个图像中经纱或纬纱较小数目一半的组织循环数,计算该组织循环数所表示的基础组织在织物组织的重合数,最大的即可判断为基础组织,如果没有相同的组织则可认为该织物图像没有基础组织。
步骤8中颜色特征提取以获得配色模纹的具体步骤为:
步骤8.1将原图像RGB颜色空间转化到LAB颜色空间;
步骤8.2根据获取到的组织点位置,计算原图下对应位置像素的L、A、B平均值,将这三个值作为该组织点的颜色特征值;
步骤8.3结合步骤7中获取的织物组织,经纱上所有经组织点的三个颜色特征值的平均值作为该经纱的颜色特征值,同样地可以得到所有纬纱的三个颜色特征值;
步骤8.4对于所有纱线使用一种基于色差密度的颜色空间聚类算法,对纱线进行聚类分析,将所有纱线进行分类,得到色纱排列,结合织物组织图可以得到配色模纹图。
进一步地,所述的一种基于色差密度的颜色空间聚类算法,具体特征在于:
首先,计算任意两个特征点之间的距离,距离的计算使用CIEDE 2000色差公式,然后对于所有特征点,若特征点在人眼可明显分辨色差距离下,在颜色空间中是密度可达的,则认为这些点属于同一类别。基于该方法,无需输入聚类类别数目,而且特别针对颜色聚类,可适用于色纱的聚类。
本发明的有益效果:
本发明极大地降低了人工成本,有利于长期维护;本发明使用的深度卷积网络可应用于各种复杂纹理和颜色的机织物,可同时检测各种结构参数包括织物经纬密、织物组织、色纱排列、配色模纹等,提升了机织物结构参数自动检测的效率和效果;本发明所提出的多任务多尺度卷积网络结构可以应用于其它领域中关联特征的目标定位识别问题。
附图说明
图1为基于卷积神经网络的机织物结构参数识别方法的流程图;
图2为数据集中部分代表性的织物图像;
图3为一张标注图像和生成的用于训练的特征真实值;
图4为本发明所提出的多任务多尺度结构的卷积神经网络模型示意图;
图5为一特征例织物图像的处理步骤流程结果图;
图6为测试集中织物图像的识别效果图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明实施例提供了一种基于卷积神经网络的机织物结构参数识别方法,其识别流程图如图1,为了详细说明本发明的具体实施方式,本实施例的方法包括以下步骤:
步骤1,采集广泛的织物图像,所采集的织物图像应包含详细织物结构参数;
于本步骤中,本发明在从工厂采集了400种左右织物的800幅织物图像,作为图像数据集,部分织物图像可以参考图2,图像的大小为1280*720像素,图像的分辨率为4680像素/英寸;
步骤2,对于采集的织物图像,标注纱线轮廓与基础组织点位置;
于本步骤中,对于所采集的织物图像,使用LabelMe图像标注软件标记出所有的纱线轮廓位置,同时用点标注一个基础组织中组织点的位置和类别,图3(a)为一幅织物图像实例的标注图像,结合纱线位置,映射得到图像中所有组织点的位置和类别。同时记录下实际的织物经纬密,织物组织,色纱排列,以便验证网络效果。
步骤3,利用步骤2中标注好的纱线与组织点,使用一种自适应响应的高斯函数生成纱线和组织点的特征热力图;
于本步骤中,该自适应响应的高斯函数根据特征目标的大小,在目标轮廓内生成相适应大小的响应,使得过大的目标响应值不至于过大,而过小的目标响应值不至于过小,达到平衡并准确表示全图的目标特征,用以训练网络。
对于纱线和组织点特征热力图的生成,该特征目标的表达符合以纱线或组织点中心为均值μ,以一个尺度参数为标准差的高斯分布σ,其具体公式为:
Figure BDA0002519362280000081
Figure BDA0002519362280000082
其中f(x)表示点x的响应,dy为纱线或组织点直径,
Figure BDA0002519362280000083
为一个非负的权重,该权重使得最终响应可以根据纱线直径而自适应的效果,与本实例中
Figure BDA0002519362280000084
的取值为0.01。图3(b-e)为生成的特征热力图像。
步骤4,建立一种多任务多尺度结构的卷积神经网络模型,该网络可分层提取图像特征,适用于关联特征的提取,可大大减少模型参数量;
于本步骤中,该多任务多尺度的卷积神经网络,包含一个共享多尺度特征编码器,在其后级联两个并行排列的特征解码器,根据待解决问题所需提取特征的数量的不同,可以增加特征解码器的个数。特征解码器的并行排列结构,使得网络可以处理不同的特征提取定位问题,同时由于共享多尺度特征编码器的存在使得网络尤其适用于关联特征的提取,其结构示意图可参考图4。
所述共享多尺度特征编码器包含四个级联的多尺度模块来提取特征,每个多尺度特征模块之间进行2*2最大池化操作,四个多尺度模块的通道数依次为16、32、64、32,其中多特征模块结构包括1*1、3*3、5*5、7*7大小的四个并联的卷积层,同时在3*3、5*5、7*7大小的卷积层之前增加一个1*1大小的预处理卷积层来减少参数。激活函数全部使用ReLu。
所述特征解码器包括了四个级联的卷积层来解码特征,每个级联的卷积层之间进行2*2反卷积操作,生成和原图同样大小的预测图,四个卷积层的通道数依次为64、32、16、2,其中每个卷积层的卷积核大小依次为7*7、5*5、3*3、1*1。激活函数全部使用ReLu,损失函数使用均方误差(MSE)和结构相似性函数(SSIM),其公式为:
Figure BDA0002519362280000091
Figure BDA0002519362280000092
Figure BDA0002519362280000093
Figure BDA0002519362280000094
Figure BDA0002519362280000095
Figure BDA0002519362280000096
Figure BDA0002519362280000097
L=MSE+λ(1-SSIM) (10)
其中N一幅图片中的总像素数,Yi代表预测值,Gi代表真实值。L代表最后损失函数。
进一步地,根据所处理的织物结构参数识别的问题,使用两个特征解码器,分别命名为组织点特征解码器和纱线特征解码器。
步骤5,利用步骤1中采集的织物图像和步骤3中所生成的特征热力图,对对步骤4中的多任务多尺度的卷积神经网络进行学习和训练,使得网络能够提取纱线和组织点特征图,实现对纱线和组织点的定位识别;
于本步骤中,卷积神经网络训练的具体步骤为:
步骤5.1将数据集按照6:1:1的比例划分为训练集、验证集、测试集,本实例中600幅作为训练集,100幅做为验证集,100幅作为测试集;
步骤5.2将训练集中的图片分别按照水平翻转、竖直翻转、颜色通道抖动进行数据增广;
步骤5.3将图像中的所有像素归一化到[0,1]范围内进行标准化;
步骤5.4训练时使用的硬件环境为Intel(R)Core(TM)i9-7900x CPU,GTX 1080TiGPU,32GB RAM,所使用的软件环境为Python 3.6,Keras 2.2.4,TensorFlow 1.13.0作为后端,使用Adam优化器和一个较小的学习率10-5,经过200次的迭代后,模型训练完成,训练完成的模型接受任意大小的织物图像,输出两组共四幅特征图:经纬纱线特征图和经纬组织点特征图,测试集中一幅织物图像实例图及其效果步骤图可参考图5(a-f)。
步骤6,对于步骤5所提取的纱线特征图进行后处理,提取到纱线的位置,计算出织物的经纬密,同时根据纱线的位置,可得到组织点的位置;
于本步骤中,纱线特征图进行后处理的具体步骤为:
步骤6.1检测图像中纱线的倾斜角,首先对模型输出的纱线特征图进行二值化处理,然后使用细化算法减少特征点,再使用霍夫变换检测纱线的倾斜角,将图像旋转相应的角度摆正图像,同时截取最大内接矩形使图像只包含完整的纱线,其处理步骤效果图可参考图5(g-h);
步骤6.2将图像中像素分别按照横向和纵向进行投影,得到投影曲线,投影曲线图可参考图5(i-k),根据波谷的位置可以确定纱线的两侧位置,经纬纱相交处即为组织点的位置,根据相邻波峰的位置差p可以计算出纱线的经密dw和纬密dj具体公式为:
Figure BDA0002519362280000101
Figure BDA0002519362280000111
其中PPI为织物图像的空间分辨率。
步骤7,对于步骤5所提取的组织点特征图进行后处理,提取到组织点的类别,结合步骤6所获取的组织点位置,可以得到织物组织,同时使用一种最小组织循环数法,可进一步分析得到基础组织;
于本步骤中,根据获取到的组织点的位置,组织点位置图可以参考图5(l),分别计算经纬组织点特征图对应位置下的所有像素值之和,如果经组织点特征图下的像素之和大于纬组织点下的像素之和则该组织点即为经纬组织点,反之则为纬组织点,最终得到织物组织,组织点图可以参考图5(m);
步骤8,对于步骤5所获取的组织点位置,结合原始图像提取到每个纱线的颜色特征,针对所提取的颜色特征,使用一种基于色差密度的颜色空间聚类算法,对纱线进行聚类分析可以得到色纱排列,与步骤7所获取的织物组织相结合,可进一步得到织物的配色模纹。
所述的一种最小组织循环数法计算基础组织的具体特征为:从组织循环数为2开始,以1为步长,依次增加到整个图像中经纱或纬纱较小数目一半的组织循环数,计算该组织循环数所表示的基础组织在织物组织的重合数,最大的即可判断为基础组织,如果没有相同的组织则可认为该织物图像没有基础组织。
步骤8中颜色特征提取以获得配色模纹的具体步骤为:
步骤8.1将原图像RGB颜色空间转化到LAB颜色空间;
步骤8.2根据获取到的组织点位置,计算原图下对应位置像素的L、A、B平均值,将这三个值作为该组织点的颜色特征值;
步骤8.3结合步骤7中获取的织物组织,经纱上所有经组织点的三个颜色特征值的平均值作为该经纱的颜色特征值,同样地可以得到所有纬纱的三个颜色特征值;
步骤8.4对于所有纱线使用一种基于色差密度的颜色空间聚类算法,对纱线进行聚类分析,将所有纱线进行分类,得到色纱排列,结合织物组织图可以得到配色模纹图,一幅织物图像实例的配色模纹图可参考图5(n)。
进一步地,所述的一种基于色差密度的颜色空间聚类算法,具体特征在于:首先,计算任意两个特征点之间的距离,距离的计算使用CIEDE 2000色差公式,然后对于所有特征点,若特征点在人眼可明显分辨色差距离下,在颜色空间中是密度可达的,则认为这些点属于同一类别。基于该方法,无需输入聚类类别数目,而且特别针对颜色聚类,可适用于色纱的聚类。
为了详细说明本发明的具体效果,测试集中代表性图像的原图、经纱特征图、经组织点特征图、织物组织和配色模纹图可参考图6。
所属领域的普通技术人员应当理解:以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,包括以下步骤:
步骤1,采集织物图像,所采集的织物图像包含详细织物结构参数;
步骤1中建立织物结构参数数据集的具体步骤为:
选取不少于10种织物的种类,使用普通数码或定焦相机进行织物图像采集,采集时保持相机与织物保持固定的距离,同时记录下采集的空间分辨率,以便推算出实际的距离特征;
步骤2,对于采集的织物图像,标注纱线轮廓与基础组织点位置;
步骤2中织物结构特征的标注的具体步骤为:
对于所采集的织物图像,使用图像标注软件标记出所有的纱线轮廓位置,同时用点标注一个基础组织中组织点的位置和类别,结合纱线位置,映射得到图像中所有组织点的位置和类别;同时记录下实际的织物经纬密,织物组织,色纱排列,以便验证网络效果;
步骤3,利用步骤2中标注好的纱线与组织点,使用一种自适应响应的高斯函数生成纱线和组织点的特征热力图;
步骤3中所使用的一种自适应响应的高斯函数具体在于:
对于纱线和组织点特征热力图的生成,该特征目标的表达符合以纱线或组织点中心为均值μ,以一个尺度参数为标准差的高斯分布σ,其具体公式为:
Figure FDA0002519362270000011
Figure FDA0002519362270000012
其中f(x)表示点x的响应,dy为纱线或组织点直径,
Figure FDA0002519362270000013
为一个非负的权重,该权重使得最终响应可以根据纱线直径而自适应的效果;
步骤4,建立一种多任务多尺度结构的卷积神经网络模型,该网络可分层提取图像特征,适用于关联特征的提取,可大大减少模型参数量;
步骤4中一种多任务多尺度结构的卷积神经网络模型的具体特征在于:
该多任务多尺度的卷积神经网络,包含一个共享多尺度特征编码器,在其后级联两个并行排列的特征解码器,根据待解决问题所需提取特征的数量的不同,可以增加特征解码器的个数;特征解码器的并行排列结构,使得网络可以处理不同的特征提取定位问题,同时由于共享多尺度特征编码器的存在使得网络尤其适用于关联特征的提取;
所述共享多尺度特征编码器包含四个级联的多尺度模块来提取特征,每个多尺度特征模块之间进行2*2最大池化操作,四个多尺度模块的通道数依次为16、32、64、32,其中多特征模块结构包括1*1、3*3、5*5、7*7大小的四个并联的卷积层,同时在3*3、5*5、7*7大小的卷积层之前增加一个1*1大小的预处理卷积层来减少参数;激活函数全部使用ReLu;
所述特征解码器包括了四个级联的卷积层来解码特征,每个级联的卷积层之间进行2*2反卷积操作,生成和原图同样大小的预测图,四个卷积层的通道数依次为64、32、16、2,其中每个卷积层的卷积核大小依次为7*7、5*5、3*3、1*1;激活函数全部使用ReLu,损失函数使用均方误差(MSE)和结构相似性函数(SSIM),其公式为:
Figure FDA0002519362270000021
Figure FDA0002519362270000022
Figure FDA0002519362270000023
Figure FDA0002519362270000031
Figure FDA0002519362270000032
Figure FDA0002519362270000033
Figure FDA0002519362270000034
L=MSE十λ(1-SSIM) (10)
其中N一幅图片中的总像素数,Yi代表预测值,Gi代表真实值;L代表最后损失函数;
根据所处理的织物结构参数识别的问题,使用两个特征解码器,分别命名为组织点特征解码器和纱线特征解码器;
步骤5,利用步骤1中采集的织物图像和步骤3中所生成的特征热力图,对对步骤4中的多任务多尺度的卷积神经网络进行学习和训练,使得网络能够提取纱线和组织点特征图,实现对纱线和组织点的定位识别;
步骤6,对于步骤5所提取的纱线特征图进行后处理,提取到纱线的位置,计算出织物的经纬密,同时根据纱线的位置,可得到组织点的位置;
步骤7,对于步骤5所提取的组织点特征图进行后处理,提取到组织点的类别,结合步骤6所获取的组织点位置,可以得到织物组织,同时使用一种最小组织循环数法,可进一步分析得到基础组织;
步骤8,对于步骤5所获取的组织点位置,结合原始图像提取到每个纱线的颜色特征,针对所提取的颜色特征,使用一种基于色差密度的颜色空间聚类算法,对纱线进行聚类分析得到色纱排列,与步骤7所获取的织物组织相结合,可进一步得到织物的配色模纹。
2.根据权要求1所述的一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,所述的步骤5中该卷积神经网络训练的具体步骤为:
步骤5.1将数据集按照6:1:1的比例划分为训练集、验证集、测试集;
步骤5.2将训练集中的图片分别按照水平翻转、竖直翻转、颜色通道抖动进行数据增广;
步骤5.3将图像中的所有像素归一化到[0,1]范围内进行标准化;
步骤5.4训练时推荐使用Adam优化器和一个较小的学习率,经过200次左右的迭代后,模型训练完成,训练完成的模型接受任意大小的织物图像,输出两组共四幅特征图:经纬纱线特征图和经纬组织点特征图。
3.根据权要求1或2所述的一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,所述的步骤6中纱线特征图进行后处理的具体步骤为:
步骤6.1检测图像中纱线的倾斜角,首先对模型输出的纱线特征图进行二值化处理,然后使用细化算法减少特征点,再使用霍夫变换检测纱线的倾斜角;将图像旋转相应的角度摆正图像,同时截取最大内接矩形使图像只包含完整的纱线;
步骤6.2将图像中像素分别按照横向和纵向进行投影,得到投影曲线,根据波谷的位置可以确定纱线的两侧位置,经纬纱相交处即为组织点的位置,根据相邻波峰的位置差p可以计算出纱线的经密dw和纬密dj具体公式为:
Figure FDA0002519362270000041
Figure FDA0002519362270000042
其中PPI为织物图像的空间分辨率。
4.根据权要求1或2所述的一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,所述的步骤7中组织点特征图进行后处理的具体步骤为:
根据获取到的组织点的位置,分别计算经纬组织点特征图对应位置下的所有像素值之和,如果经组织点特征图下的像素之和大于纬组织点下的像素之和则该组织点即为经纬组织点,反之则为纬组织点,最终得到织物组织;
所述的一种最小组织循环数法计算基础组织的具体特征为:
从组织循环数为2开始,以1为步长,依次增加到整个图像中经纱或纬纱较小数目一半的组织循环数,计算该组织循环数所表示的基础组织在织物组织的重合数,最大的即可判断为基础组织,如果没有相同的组织则可认为该织物图像没有基础组织。
5.根据权要求1或2所述的一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,所述的步骤8中颜色特征提取以获得配色模纹的具体步骤为:
步骤8.1将原图像RGB颜色空间转化到LAB颜色空间;
步骤8.2根据获取到的组织点位置,计算原图下对应位置像素的L、A、B平均值,将这三个值作为该组织点的颜色特征值;
步骤8.3结合步骤7中获取的织物组织,经纱上所有经组织点的三个颜色特征值的平均值作为该经纱的颜色特征值,同样地可以得到所有纬纱的三个颜色特征值;
步骤8.4对于所有纱线使用一种基于色差密度的颜色空间聚类算法,对纱线进行聚类分析,将所有纱线进行分类,得到色纱排列,结合织物组织图可以得到配色模纹图。
6.根据权要求3所述的一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,所述的步骤8中颜色特征提取以获得配色模纹的具体步骤为:
步骤8.1将原图像RGB颜色空间转化到LAB颜色空间;
步骤8.2根据获取到的组织点位置,计算原图下对应位置像素的L、A、B平均值,将这三个值作为该组织点的颜色特征值;
步骤8.3结合步骤7中获取的织物组织,经纱上所有经组织点的三个颜色特征值的平均值作为该经纱的颜色特征值,同样地可以得到所有纬纱的三个颜色特征值;
步骤8.4对于所有纱线使用一种基于色差密度的颜色空间聚类算法,对纱线进行聚类分析,将所有纱线进行分类,得到色纱排列,结合织物组织图可以得到配色模纹图。
7.根据权要求4所述的一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,所述的步骤8中颜色特征提取以获得配色模纹的具体步骤为:
步骤8.1将原图像RGB颜色空间转化到LAB颜色空间;
步骤8.2根据获取到的组织点位置,计算原图下对应位置像素的L、A、B平均值,将这三个值作为该组织点的颜色特征值;
步骤8.3结合步骤7中获取的织物组织,经纱上所有经组织点的三个颜色特征值的平均值作为该经纱的颜色特征值,同样地可以得到所有纬纱的三个颜色特征值;
步骤8.4对于所有纱线使用一种基于色差密度的颜色空间聚类算法,对纱线进行聚类分析,将所有纱线进行分类,得到色纱排列,结合织物组织图可以得到配色模纹图。
8.根据权要求5所述的一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,所述的一种基于色差密度的颜色空间聚类算法,首先,计算任意两个特征点之间的距离,距离的计算使用CIEDE 2000色差公式,然后对于所有特征点,若特征点在人眼可明显分辨色差距离下,在颜色空间中是密度可达的,则认为这些点属于同一类别;基于该方法,无需输入聚类类别数目,而且特别针对颜色聚类,可适用于色纱的聚类。
9.根据权要求6或7所述的一种基于卷积神经网络的机织物结构参数识别方法,其特征在于,所述的一种基于色差密度的颜色空间聚类算法,首先,计算任意两个特征点之间的距离,距离的计算使用CIEDE 2000色差公式,然后对于所有特征点,若特征点在人眼可明显分辨色差距离下,在颜色空间中是密度可达的,则认为这些点属于同一类别;基于该方法,无需输入聚类类别数目,而且特别针对颜色聚类,可适用于色纱的聚类。
CN202010486331.6A 2020-06-01 2020-06-01 一种基于卷积神经网络的机织物结构参数识别方法 Active CN111709429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010486331.6A CN111709429B (zh) 2020-06-01 2020-06-01 一种基于卷积神经网络的机织物结构参数识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486331.6A CN111709429B (zh) 2020-06-01 2020-06-01 一种基于卷积神经网络的机织物结构参数识别方法

Publications (2)

Publication Number Publication Date
CN111709429A true CN111709429A (zh) 2020-09-25
CN111709429B CN111709429B (zh) 2023-05-05

Family

ID=72538458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486331.6A Active CN111709429B (zh) 2020-06-01 2020-06-01 一种基于卷积神经网络的机织物结构参数识别方法

Country Status (1)

Country Link
CN (1) CN111709429B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114324189A (zh) * 2021-12-22 2022-04-12 江苏恒力化纤股份有限公司 一种机织物经纬纱颜色均匀性评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592286A (zh) * 2012-03-14 2012-07-18 江南大学 一种基于图像处理的色织物配色模纹图自动识别方法
CN108416774A (zh) * 2018-03-08 2018-08-17 中山大学 一种基于细粒度神经网络的织物种类识别方法
CN108629360A (zh) * 2017-03-23 2018-10-09 天津工业大学 一种基于深度学习的针织物基本组织结构自动识别方法
CN109272500A (zh) * 2018-09-27 2019-01-25 西安电子科技大学 基于自适应卷积神经网络的织物分类方法
CN110349146A (zh) * 2019-07-11 2019-10-18 中原工学院 基于轻量级卷积神经网络的织物缺陷识别系统的搭建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592286A (zh) * 2012-03-14 2012-07-18 江南大学 一种基于图像处理的色织物配色模纹图自动识别方法
CN108629360A (zh) * 2017-03-23 2018-10-09 天津工业大学 一种基于深度学习的针织物基本组织结构自动识别方法
CN108416774A (zh) * 2018-03-08 2018-08-17 中山大学 一种基于细粒度神经网络的织物种类识别方法
CN109272500A (zh) * 2018-09-27 2019-01-25 西安电子科技大学 基于自适应卷积神经网络的织物分类方法
CN110349146A (zh) * 2019-07-11 2019-10-18 中原工学院 基于轻量级卷积神经网络的织物缺陷识别系统的搭建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宏伟 等: "基于深度卷积神经网络的织物花型分类" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114324189A (zh) * 2021-12-22 2022-04-12 江苏恒力化纤股份有限公司 一种机织物经纬纱颜色均匀性评价方法
CN114324189B (zh) * 2021-12-22 2023-06-02 江苏恒力化纤股份有限公司 一种机织物经纬纱颜色均匀性评价方法

Also Published As

Publication number Publication date
CN111709429B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
Huang et al. Fabric defect segmentation method based on deep learning
CN110349146B (zh) 基于轻量级卷积神经网络的织物缺陷识别系统的搭建方法
CN108520114B (zh) 一种纺织布疵点检测模型及其训练方法和应用
CN107705306B (zh) 一种基于多特征矩阵低秩分解的织物疵点检测方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
Wu et al. Automatic fabric defect detection using a wide-and-light network
CN105957082A (zh) 一种基于面阵相机的印刷质量在线监测方法
Pan et al. Automatic detection of structure parameters of yarn-dyed fabric
CN107016664A (zh) 一种大圆机的坏针瑕疵检测方法
CN111127383A (zh) 一种数码印花在线缺陷检测系统及其实现方法
CN108647706A (zh) 基于机器视觉的物品识别分类与瑕疵检测方法
CN112802016A (zh) 基于深度学习的实时布匹缺陷检测方法及系统
CN114638784A (zh) 一种基于fe-yolo的铜管表面缺陷检测方法及装置
CN107240112A (zh) 一种复杂场景下个体x角点提取方法
Meng et al. Woven fabric density measurement by using multi-scale convolutional neural networks
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN114332086B (zh) 基于风格迁移和人工智能的纺织品缺陷检测方法及系统
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN117541557A (zh) 一种基于深度学习的纺织提花缺陷检测方法及系统
CN111709429B (zh) 一种基于卷积神经网络的机织物结构参数识别方法
Peng et al. Application of deep residual neural network to water meter reading recognition
CN113112471B (zh) 基于ri-hog特征及快速金字塔的目标检测方法
Mandapaka et al. Application of automated quality control in smart factories-a deep learning-based approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant