CN111709620B - 一种移动便携式机织物结构参数在线检测系统 - Google Patents

一种移动便携式机织物结构参数在线检测系统 Download PDF

Info

Publication number
CN111709620B
CN111709620B CN202010486319.5A CN202010486319A CN111709620B CN 111709620 B CN111709620 B CN 111709620B CN 202010486319 A CN202010486319 A CN 202010486319A CN 111709620 B CN111709620 B CN 111709620B
Authority
CN
China
Prior art keywords
fabric
image
yarn
tissue
yarns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010486319.5A
Other languages
English (en)
Other versions
CN111709620A (zh
Inventor
潘如如
孟朔
周建
高卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202010486319.5A priority Critical patent/CN111709620B/zh
Publication of CN111709620A publication Critical patent/CN111709620A/zh
Application granted granted Critical
Publication of CN111709620B publication Critical patent/CN111709620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于纺织品质量检测和管理领域，涉及一种移动便携式机织物结构参数在线检测系统，可应用于实时在线检测机织物的经纬密、织物组织、色纱排列等结构参数。所述的检测系统包括：一套无线便携式图像采集设备、路由器、远程服务器、客户端软件；所述系统各部分经由一套数据处理流程相交互；织物的结构参数经由一种基于卷积神经网络的机织物结构参数识别算法进行识别。本发明能极大地降低人工成本，能够自动识别出织物的经纬密、织物组织、色纱排列等结构参数；其次，本系统跨平台运行，一次开发可运行到多个平台，提高系统的维护性能；再次，本发明使用便携式无线设备，系统的应用范围大大提高。

Description

一种移动便携式机织物结构参数在线检测系统
技术领域
本发明属于纺织品质量检测和管理领域，涉及一种移动便携式机织物结构参数在线检测系统，可应用于实时在线检测机织物的经纬密、织物组织、色纱排列等结构参数。
背景技术
随着生活水平的提高，消费者对于商品的需求趋于美观化和个性化，多品种，小批量，紧交期逐渐成为工业生产中的全新模式。纺织企业在来样设计与质量检测中，往往需要快速分析织物的经纬密、组织点、色纱排列等结构特征，从而准确得到样品的工艺参数，进行大规模生产或与标准样进行比对。目前，这一重复枯燥的分析检测工作，仍由熟练工人完成，耗时费力且效率低下。劳动力成本的上升，产品生产周期的缩短，使得企业对自动化机织物结构参数检测系统的需求迫切。
近年来，伴随着图像采集和处理技术的发展，研究人员提出了许多自动化检测系统，但是现有方法的硬件采集系统造价高昂且笨重复杂，往往只能应用于实验室环境，应用范围受限；另一方面，现有方法的软件系统只能运行于特定的平台，系统可维护性低；再加上织物品种多样，规格复杂，现有自动化检测算法又依赖于采集环境，使得实际的检测准确率和效率较低。以上原因使得现有的机织物结构检测系统，难以进入纺织生产、外贸等实际行业中应用。
发明内容
有鉴于此，本发明的目的在于提出一种移动便携式机织物结构参数在线检测系统，此系统包含硬件和软件两个方面，通过一种无线便携式的图像采集设备快速采集织物图像，经无线网络上传至服务器，服务器分析织物图像并向客户端返回识别结果，实现机织物经纬密、织物组织、色纱排列的检测。硬件方面采用无线便携式采集设备，软件方面前后端完全分离，实现网页端、安卓端、苹果端、小程序端等多终端跨平台运行。通过硬件与软件结合，使得本发明是一种高效、准确、应用范围广泛的机织物结构参数识别方法。
本发明的技术方案如下：
一种移动便携式织物参数检测系统包括：一套无线便携式图像采集设备、路由器、远程服务器、客户端软件；所述系统各部分经由一套数据处理流程相交互；织物的结构参数经由一种基于卷积神经网络的机织物结构参数识别算法进行识别。
所述系统的数据处理流程包括：用户利用一种无线便携式图像采集设备采集织物图像；织物图像经路由器通过无线网络上传至远程服务器，并储存在数据库中；远程服务器使用一种基于卷积网络的机织物的结构参数识别算法，识别织物经纬密、织物组织、色纱排列；远程服务器整合识别结果，并返回至客户端，客户端实时在线显示该织物所有的识别结果；用户可选择保留识别结果，并保存到历史数据中，如果识别错误，用户可将错误结果反馈至远程服务器中，远程服务器根据反馈结果，不断改进效果。
所述的一种基于卷积神经网络的机织物的结构参数识别算法包括如下步骤：
步骤1，采集广泛的织物图像，所采集的织物图像应包含详细织物结构参数，并标注纱线轮廓与基础组织点位置，同时使用一种自适应响应的高斯函数生成纱线和组织点的特征热力图，最终建立一个织物数据集，来训练网络；
步骤2，建立一种多任务多尺度结构的卷积神经网络模型，该网络可分层提取织物图像特征，适用于相似关联特征的提取，可大大减少模型参数量，训练好的网络可以输出纱线和组织点的定位图；
步骤3，对于网络识别的定位图进行后处理，提取到纱线以及组织点的位置，实现对织物经纬密，织物组织的识别，然后结合原始图像，可以提取到每个纱线的颜色特征，对纱线进行聚类分析可以得到色纱排列，与织物组织相结合，可进一步得到织物的配色模纹。
进一步地，织物图像采集使用一种无线便携式图像采集设备，其具有固定的分辨率且采集的图像有清晰可辨的组织点与纱线。所建立的数据集大于100幅织物图像，包含常见的织物组织例如平纹，斜纹，缎纹以及提花等复杂组织。对于所采集的织物图像，使用图像标注软件标记出所有的纱线和组织点的轮廓位置。
进一步地，所使用的一种自适应响应的高斯函数具体特征在于，纱线和组织点的特征表达符合以纱线或组织点中心为均值μ，以一个尺度参数为标准差的高斯分布σ，其具体公式为：
Figure BDA0002519361110000031
Figure BDA0002519361110000032
其中f(x)表示点x的响应,dy为纱线或组织点直径，
Figure BDA0002519361110000033
为一个非负的权重，该权重使得最终响应可以根据纱线直径而自适应的效果，使得过大的目标响应值不至于过大，而过小的目标响应值不至于过小，达到平衡并准确表示全图的目标特征，用以训练网络。
进一步地，该多任务多尺度的卷积神经网络，包含一个共享多尺度特征编码器，在其后级联两个并行排列的特征解码器，根据待解决问题所需提取特征的数量的不同，可以增加特征解码器的个数。根据所处理的织物结构参数识别的问题，使用两个特征解码器，分别命名为组织点特征解码器和纱线特征解码器。
进一步地，所述共享多尺度特征编码器包含四个级联的多尺度模块来提取特征，每个多尺度特征模块之间进行2*2最大池化操作，四个多尺度模块的通道数依次为16、32、64、32，其中多特征模块结构包括1*1、3*3、5*5、7*7大小的四个并联的卷积层，同时在3*3、5*5、7*7大小的卷积层之前增加一个1*1大小的预处理卷积层来减少参数。激活函数全部使用ReLu。
进一步地，所述特征解码器包括了四个级联的卷积层来解码特征，每个级联的卷积层之间进行2*2反卷积操作，生成和原图同样大小的预测图，四个卷机层的通道数依次为64、32、16、2，其中每个卷积层的卷积核大小依次为7*7、5*5、3*3、1*1。激活函数全部使用ReLu，损失函数使用均方误差(MSE)和结构相似性函数(SSIM)，其公式为：
Figure BDA0002519361110000034
Figure BDA0002519361110000041
Figure BDA0002519361110000042
Figure BDA0002519361110000043
Figure BDA0002519361110000044
Figure BDA0002519361110000045
Figure BDA0002519361110000046
L＝MSE+λ(1-SSIM) (10)
其中N一幅图片中的总像素数，Yi代表预测值，Gi代表真实值。L代表最后损失函数。
进一步地，网络识别的定位图进行后处理的具体步骤为：检测图像中纱线的倾斜角，首先对模型输出的纱线特征图进行二值化处理，然后使用细化算法减少特征点，再使用霍夫变换检测纱线的倾斜角；将图像旋转相应的角度摆正图像，同时截取最大内接矩形使图像只包含完整的纱线；将图像中像素分别按照横向和纵向进行投影，得到投影曲线，根据波谷的位置可以确定纱线的两侧位置，经纬纱相交处即为组织点的位置，根据相邻波峰的位置差p可以计算出纱线的经密dw和纬密dj具体公式为：
Figure BDA0002519361110000047
Figure BDA0002519361110000048
根据获取到的组织点的位置，分别计算经纬组织点特征图对应位置下的所有像素值之和，如果经组织点特征图下的像素之和大于纬组织点下的像素之和则该组织点即为经纬组织点，反之则为纬组织点，最终得到织物组织；
进一步地，所述的对纱线进行聚类分析可以得到色纱排列的具体特征在于：将原图像RGB颜色空间转化到LAB颜色空间；根据获取到的组织点位置，计算原图下对应位置像素的L、A、B平均值，将这三个值作为该组织点的颜色特征值；使用一种基于色差密度的颜色空间聚类算法，对纱线进行聚类分析，将所有纱线进行分类，得到色纱排列，结合织物组织图可以得到配色模纹图。
进一步地，所述的一种基于色差密度的颜色空间聚类算法，具体特征在于：首先，计算任意两个特征点之间的距离，距离的计算使用CIEDE 2000色差公式，然后对于所有特征点，若特征点在人眼可明显分辨色差距离下，在颜色空间中是密度可达的，则认为这些点属于同一类别。基于该方法，无需输入聚类类别数目，而且特别针对颜色聚类，可适用于色纱的聚类。
进一步地，所述的一种无线便携式图像采集设备结构包括：一个小型数码相机，可以采集sRGB模式且固定大小的图像；一个定焦镜头，镜头到织物表面的距离一定，从而使设备具有固定的分辨率；在定焦镜头下配有LED光源，提供恒定的采集环境；锂电池，提供电源；无线模块，使图像可以无线传输，提高采集范围；电源开关；拍照按钮。
进一步地，所述采集织物图像过程包括：拍摄织物图像时，织物表面保持干净整洁，织物表面紧贴采集设备，同时还应保证织物尽量放正，采集过程中无需确定经纬纱方向，根据一般约定，纱线密度大的方向为经纱，当按下拍照按钮后便采集到织物图像。
进一步地，所述的织物图像经无线网络上传至远程服务器具体包括：采集设备连接到路由器，所处环境中有无线网络信号，同时该网络应当与远程服务器在同一局域网下或该路由器能够访问远程服务器，当用户按下拍照按钮后，织物图片经无线上传至远程服务器。远程服务器将图片存入数据库，以便用户访问历史数据。
进一步地，所述的远程服务器整合识别结果包括：使用Django架构作为远程服务器后端，受理用户请求，用户请求经深度卷积网络处理后，整合处理结果并响应给客户端。
进一步地，所使用的客户端软件包括：桌面端软件和移动端软件，桌面端软件采用vue架构，使用浏览器输入网址访问；移动端软件，使用uni-app做为前端架构，发布到iOS、Android、H5、以及各种小程序(微信/支付宝/百度/头条/QQ/钉钉/淘宝)、快应用等多个平台，用户可根据实际需求采用相应的客户端。
进一步地，所述的一种反馈机制其特征在于：根据用户反馈识别错误的结果，远程服务器再次对模型训练，不断改进识别效果，当下次出现类似图像时，避免错误，不断提高模型的识别效果。
本发明的有益效果：首先，本发明能极大地降低人工成本，能够自动识别出织物的经纬密、织物组织、色纱排列等结构参数；其次，本系统跨平台运行，一次开发可运行到多个平台，提高系统的维护性能；再次，本发明使用便携式无线设备，系统的应用范围大大提高。
附图说明
图1为移动便携式织物参数在线监测系统的原理示意图；
图2为无线便携式设备的结构示意图；
图3为部分采集的织物图像实例；
图4为本发明所提出的多任务多尺度结构的卷积神经网络模型示意图；
图5为Web系统界面；
图6为移动APP端系统界面。
具体实施方式
本发明实施例提供了一种移动便携式织物结构参数在线监测系统，其结构示意图参考图1，为了详细说明本发明的具体实施方式，本实施例的方法包括以下步骤：
步骤1，用户利用一种无线便携式图像采集设备采集织物图像；
所述的一种无线便携式图像采集设备结构包括：一个数码相机，可以采集RGB模式且固定大小的图像，图像大小设定为1280*720像素；一个定焦镜头，镜头到织物表面的距离一定，从而使设备具有固定的分辨率，此实例中设定为4680像素/英寸；在定焦镜头下配有8个小型LED光源，提供恒定的采集环境；锂电池，提供电源；无线模块，使图像可以无线传输，提高采集范围；电源开关；拍照按钮；该采集设备的示意图可以参考图2；
所述采集织物图像过程包括：拍摄织物图像时，织物表面保持干净整洁，织物表面紧贴采集设备，同时还应保证织物尽量放正，采集过程中无需确定经纬纱方向，约定纱线密度大的方向为经纱，当按下拍照按钮后便采集到织物图像；部分采集到的织物图像实例可参考图3；
步骤2，织物图像经无线网络上传至远程服务器，并储存在数据库中；
所述的织物图像经无线网络上传至远程服务器包括：采集设备连接到路由器，所处环境中有无线网络信号，同时该网络应当与远程服务器在同一局域网下或该路由器能够访问远程服务器，当用户按下拍照按钮后，织物图片经无线上传至远程服务器，服务器将图片存入数据库，以便用户访问历史数据；
步骤3，远程服务器使用一种基于深度卷积网络的织物的结构参数识别算法，可以识别织物经纬密、织物组织、色纱排列；
所述的一种基于深度卷积网络的织物的结构参数识别算法具体步骤为：首先，采集广泛的织物图像，所采集的织物图像应包含详细织物结构参数，并标注纱线轮廓与基础组织点位置，同时使用一种自适应响应的高斯函数生成纱线和组织点的特征热力图，最终建立一个织物数据集，来训练网络；然后，建立一种多任务多尺度结构的卷积神经网络模型，该网络可分层提取织物图像特征，适用于相似关联特征的提取，可大大减少模型参数量，训练好的网络可以输出纱线和组织点的定位图；最后，对于网络识别的定位图进行后处理，提取到纱线以及组织点的位置，实现对织物经纬密，织物组织的识别，然后结合原始图像，可以提取到每个纱线的颜色特征，对纱线进行聚类分析可以得到色纱排列，与织物组织相结合，可进一步得到织物的配色模纹。
织物图像采集使用步骤1中所述的一种无线便携式图像采集设备，其具有固定的分辨率且采集的图像有清晰可辨的组织点与纱线。所建立的数据集大于100幅织物图像，包含常见的织物组织例如平纹，斜纹，缎纹以及提花等复杂组织。对于所采集的织物图像，使用图像标注软件标记出所有的纱线和组织点的轮廓位置。
所使用的一种自适应响应的高斯函数具体特征在于，纱线和组织点的特征表达符合以纱线或组织点中心为均值μ，以一个尺度参数为标准差的高斯分布σ，其具体公式为：
Figure BDA0002519361110000081
Figure BDA0002519361110000082
其中f(x)表示点x的响应,dy为纱线或组织点直径，
Figure BDA0002519361110000083
为一个非负的权重，该权重使得最终响应可以根据纱线直径而自适应的效果，使得过大的目标响应值不至于过大，而过小的目标响应值不至于过小，达到平衡并准确表示全图的目标特征，用以训练网络。
该多任务多尺度的卷积神经网络，包含一个共享多尺度特征编码器，在其后级联两个并行排列的特征解码器，根据待解决问题所需提取特征的数量的不同，可以增加特征解码器的个数。根据所处理的织物结构参数识别的问题，使用两个特征解码器，分别命名为组织点特征解码器和纱线特征解码器，该多任务多尺度卷积神经网络结构示意图可以参考图4。
所述共享多尺度特征解码器包含四个级联的多尺度模块来提取特征，每个多尺度特征模块之间进行2*2最大池化操作，四个多尺度模块的通道数依次为16、32、64、32，其中多特征模块结构包括1*1、3*3、5*5、7*7大小的四个并联的卷积层，同时在3*3、5*5、7*7大小的卷积层之前增加一个1*1大小的预处理卷积层来减少参数。激活函数全部使用ReLu。
所述特征编码器包括了四个级联的卷积层来解码特征，每个级联的卷积层之间进行2*2反卷积操作，生成和原图同样大小的预测图，四个卷几层的通道数依次为64、32、16、2，其中每个卷积层的卷积核大小依次为7*7、5*5、3*3、1*1。激活函数全部使用ReLu，损失函数使用均方误差(MSE)和结构相似性函数(SSIM)，其公式为：
Figure BDA0002519361110000084
Figure BDA0002519361110000091
Figure BDA0002519361110000092
Figure BDA0002519361110000093
Figure BDA0002519361110000094
Figure BDA0002519361110000095
Figure BDA0002519361110000096
L＝MSE+λ(1-SSIM) (10)
其中N一幅图片中的总像素数，Yi代表预测值，Gi代表真实值。L代表最后损失函数。
网络识别的定位图进行后处理的具体步骤为：检测图像中纱线的倾斜角，首先对模型输出的纱线特征图进行二值化处理，然后使用细化算法减少特征点，再使用霍夫变换检测纱线的倾斜角；将图像旋转相应的角度摆正图像，同时截取最大内接矩形使图像只包含完整的纱线；将图像中像素分别按照横向和纵向进行投影，得到投影曲线，根据波谷的位置可以确定纱线的两侧位置，经纬纱相交处即为组织点的位置，根据相邻波峰的位置差p可以计算出纱线的经密dw和纬密dj具体公式为：
Figure BDA0002519361110000097
Figure BDA0002519361110000101
根据获取到的组织点的位置，分别计算经纬组织点特征图对应位置下的所有像素值之和，如果经组织点特征图下的像素之和大于纬组织点下的像素之和则该组织点即为经纬组织点，反之则为纬组织点，最终得到织物组织；
所述的对纱线进行聚类分析可以得到色纱排列的具体特征在于：将原图像RGB颜色空间转化到LAB颜色空间；根据获取到的组织点位置，计算原图下对应位置像素的L、A、B平均值，将这三个值作为该组织点的颜色特征值；使用一种基于色差密度的颜色空间聚类算法，对纱线进行聚类分析，将所有纱线进行分类，得到色纱排列，结合织物组织图可以得到配色模纹图。
进一步地，所述的一种基于色差密度的颜色空间聚类算法，具体特征在于：首先，计算任意两个特征点之间的距离，距离的计算使用CIEDE 2000色差公式，然后对于所有特征点，若特征点在人眼可明显分辨色差距离下，在颜色空间中是密度可达的，则认为这些点属于同一类别。基于该方法，无需输入聚类类别数目，而且特别针对颜色聚类，可适用于色纱的聚类。
步骤4，远程服务器整合识别结果，并返回至用户客户端，客户端实时在线显示该织物所有的识别结果；
所述的服务器整合识别结果包括：使用Django架构作为服务器后端，受理用户请求，用户请求经深度卷积网络处理后，整合处理结果并响应给客户端；
步骤5，用户可选择保留识别结果，并保存到历史数据中，便于日后访问，同时引入一种反馈机制，如果识别错误，用户可将错误结果反馈至服务器中，服务器根据反馈结果，不断改进效果。
所述的客户端包括：使用uni-app做为前端架构，发布到iOS、Android、H5、以及各种小程序(微信/支付宝/百度/头条/QQ/钉钉/淘宝)、快应用等多个平台，跨平台方式使用户可根据实际需求采用相应的客户端。系统的Web界面示意图可参考图5，系统的移动APP界面可以参考图6.
所述的一种反馈机制其特征在于：根据用户反馈识别错误的结果，服务器再次对模型训练，不断改进识别效果，当下次出现类似图像时，避免错误，不断提高模型的识别效果。
所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种移动便携式织物参数检测系统，包括：无线便携式图像采集设备、路由器、远程服务器、客户端软件；所述系统的路由器、远程服务器、客户端软件经由数据处理流程相交互；织物的结构参数经由一种基于卷积神经网络的机织物结构参数识别算法进行识别，其特征在于：所述系统的数据处理流程包括：用户利用一种无线便携式图像采集设备采集织物图像；织物图像经路由器通过无线网络上传至远程服务器，并储存在数据库中；远程服务器使用一种基于卷积网络的机织物的结构参数识别算法，识别机织物的经纬密、织物组织、色纱排列；远程服务器整合识别结果，并返回至客户端，客户端实时在线显示该织物所有的识别结果；用户可选择保留识别结果，并保存到历史数据中，如果识别错误，用户可将错误结果反馈至远程服务器中，远程服务器根据反馈结果，不断改进效果；
所述的一种基于卷积神经网络的机织物的结构参数识别算法包括如下步骤：
步骤1，采集广泛的织物图像，所采集的织物图像应包含详细织物结构参数，并标注纱线轮廓与基础组织点位置，同时使用一种自适应响应的高斯函数生成纱线和组织点的特征热力图，最终建立一个织物数据集，来训练网络；
步骤2，建立一种多任务多尺度结构的卷积神经网络模型，该网络可分层提取织物图像特征，适用于相似关联特征的提取，可大大减少模型参数量，训练好的网络可以输出纱线和组织点的定位图；
步骤3，对于网络识别的定位图进行后处理，提取到纱线以及组织点的位置，实现对机织物的经纬密，织物组织的识别，然后结合原始图像，可以提取到每个纱线的颜色特征，对纱线进行聚类分析可以得到色纱排列，与织物组织相结合，可进一步得到织物的配色模纹；
所使用的一种自适应响应的高斯函数方法为：纱线和组织点的特征表达符合以纱线或组织点中心为均值μ，以一个尺度参数为标准差的高斯分布σ，其具体公式为：
Figure FDA0004053458360000021
Figure FDA0004053458360000022
其中f(x)表示点x的响应,dy为纱线或组织点直径，
Figure FDA0004053458360000023
为一个非负的权重，该权重使得最终响应可以根据纱线直径而自适应的效果，使得过大的目标响应值不至于过大，而过小的目标响应值不至于过小，达到平衡并准确表示全图的目标特征，用以训练网络；
该多任务多尺度的卷积神经网络，包含一个共享多尺度特征编码器，在其后级联两个并行排列的特征解码器，根据待解决问题所需提取特征的数量的不同，可以增加特征解码器的个数；根据所处理的织物结构参数识别的问题，使用两个特征解码器，分别命名为组织点特征解码器和纱线特征解码器；
所述共享多尺度特征编码器包含四个级联的多尺度模块来提取特征，每个多尺度特征模块之间进行2*2最大池化操作，四个多尺度模块的通道数依次为16、32、64、32，其中多特征模块结构包括1*1、3*3、5*5、7*7大小的四个并联的卷积层，同时在3*3、5*5、7*7大小的卷积层之前增加一个1*1大小的预处理卷积层来减少参数；激活函数全部使用ReLu；
所述特征解码器包括了四个级联的卷积层来解码特征，每个级联的卷积层之间进行2*2反卷积操作，生成和原图同样大小的预测图，四个卷机层的通道数依次为64、32、16、2，其中每个卷积层的卷积核大小依次为7*7、5*5、3*3、1*1；激活函数全部使用ReLu，损失函数使用均方误差(MSE)和结构相似性函数(SSIM)，其公式为：
Figure FDA0004053458360000024
Figure FDA0004053458360000025
Figure FDA0004053458360000031
Figure FDA0004053458360000032
Figure FDA0004053458360000033
Figure FDA0004053458360000034
Figure FDA0004053458360000035
L＝MSE+λ(1-SSIM) (10)
其中N一幅图片中的总像素数，Yi代表预测值，Gi代表真实值；L代表最后损失函数；
网络识别的定位图进行后处理的具体步骤为：检测图像中纱线的倾斜角，首先对模型输出的纱线特征图进行二值化处理，然后使用细化算法减少特征点，再使用霍夫变换检测纱线的倾斜角；将图像旋转相应的角度摆正图像，同时截取最大内接矩形使图像只包含完整的纱线；将图像中像素分别按照横向和纵向进行投影，得到投影曲线，根据波谷的位置可以确定纱线的两侧位置，经纬纱相交处即为组织点的位置，根据相邻波峰的位置差p可以计算出纱线的经密dw和纬密dj具体公式为：
Figure FDA0004053458360000036
Figure FDA0004053458360000037
根据获取到的组织点的位置，分别计算经纬组织点特征图对应位置下的所有像素值之和，如果经组织点特征图下的像素之和大于纬组织点下的像素之和则该组织点即为经纬组织点，反之则为纬组织点，最终得到织物组织。
2.如权利要求1所述的一种移动便携式织物参数检测系统，其特征在于：所述的织物图像采集使用一种无线便携式图像采集设备，其具有固定的分辨率且采集的图像有清晰可辨的组织点与纱线；所建立的数据集大于100幅织物图像，包含的织物组织为平纹、斜纹、缎纹以及提花；对于所采集的织物图像，使用图像标注软件标记出所有的纱线和组织点的轮廓位置。
3.如权利要求1所述的一种移动便携式织物参数检测系统，其特征在于：所述的对纱线进行聚类分析能得到色纱排列的方法如下：将原图像RGB颜色空间转化到LAB颜色空间；根据获取到的组织点位置，计算原图下对应位置像素的L、A、B平均值，将这三个值作为该组织点的颜色特征值；使用一种基于色差密度的颜色空间聚类算法，对纱线进行聚类分析，将所有纱线进行分类，得到色纱排列，结合织物组织图可以得到配色模纹图。
4.如权利要求1所述的一种移动便携式织物参数检测系统，其特征在于：所述的一种基于色差密度的颜色空间聚类算法，首先，计算任意两个特征点之间的距离，距离的计算使用CIEDE 2000色差公式，然后对于所有特征点，若特征点在人眼可明显分辨色差距离下，在颜色空间中是密度可达的，则认为这些点属于同一类别；基于该方法，无需输入聚类类别数目，而且特别针对颜色聚类，可适用于色纱的聚类。
5.如权利要求1所述的一种移动便携式织物参数检测系统，其特征在于：所述采集织物图像过程包括：拍摄织物图像时，织物表面保持干净整洁，织物表面紧贴采集设备，同时还应保证织物尽量放正，采集过程中无需确定经纬纱方向，根据一般约定，纱线密度大的方向为经纱，当按下拍照按钮后便采集到织物图像。
CN202010486319.5A 2020-06-01 2020-06-01 一种移动便携式机织物结构参数在线检测系统 Active CN111709620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010486319.5A CN111709620B (zh) 2020-06-01 2020-06-01 一种移动便携式机织物结构参数在线检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486319.5A CN111709620B (zh) 2020-06-01 2020-06-01 一种移动便携式机织物结构参数在线检测系统

Publications (2)

Publication Number Publication Date
CN111709620A CN111709620A (zh) 2020-09-25
CN111709620B true CN111709620B (zh) 2023-04-18

Family

ID=72538533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486319.5A Active CN111709620B (zh) 2020-06-01 2020-06-01 一种移动便携式机织物结构参数在线检测系统

Country Status (1)

Country Link
CN (1) CN111709620B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1844550A (zh) * 2006-01-26 2006-10-11 香港理工大学 双面扫描织物和纱线分析系统
CN105654123A (zh) * 2015-12-26 2016-06-08 河北工业大学 一种机织物组织图的识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592286A (zh) * 2012-03-14 2012-07-18 江南大学 一种基于图像处理的色织物配色模纹图自动识别方法
CN106485288B (zh) * 2016-12-21 2023-11-28 上海工程技术大学 一种色织物组织的自动识别方法
CN108629360A (zh) * 2017-03-23 2018-10-09 天津工业大学 一种基于深度学习的针织物基本组织结构自动识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1844550A (zh) * 2006-01-26 2006-10-11 香港理工大学 双面扫描织物和纱线分析系统
CN105654123A (zh) * 2015-12-26 2016-06-08 河北工业大学 一种机织物组织图的识别方法

Also Published As

Publication number Publication date
CN111709620A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN110310259B (zh) 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
CN113160123B (zh) 一种基于YOLOv5的皮革缺陷检测方法、系统及装置
CN110689539A (zh) 一种基于深度学习的工件表面缺陷检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
KR102503116B1 (ko) 인공지능 머신러닝 학습을 위한 데이터셋 자동 생성 장치와 그의 제어 방법
KR20210020065A (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN111178190A (zh) 基于深度图像的目标检测方法、装置及存储介质
CN111242057A (zh) 产品分拣系统、方法、计算机设备和存储介质
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN117351473A (zh) 一种基于深度学习的面料识别方法、系统、设备及介质
CN110555424A (zh) 港口集装箱布局检测方法、装置、设备及可读存储介质
CN118196309B (zh) 基于图像处理工控机的高清视觉检测识别系统
CN114241522A (zh) 现场作业安全穿戴识别方法、系统、设备及存储介质
CN118037091A (zh) 一种基于计算机视觉技术的智能化报工质检方法及系统
CN117456358A (zh) 一种基于YOLOv5神经网络的植物病虫害检测方法
CN114972246A (zh) 一种基于深度学习的模切产品表面缺陷检测方法
CN111709429B (zh) 一种基于卷积神经网络的机织物结构参数识别方法
Wang et al. SE-COTR: A novel fruit segmentation model for green apples application in complex orchard
CN117274843B (zh) 基于轻量级边缘计算的无人机前端缺陷识别方法及系统
CN111709620B (zh) 一种移动便携式机织物结构参数在线检测系统
CN110458231B (zh) 一种陶瓷产品检测方法、装置和设备
CN113557522A (zh) 基于相机统计的图像帧预处理
CN109543733B (zh) 一种基于云平台的色织面料快速生产方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant