CN114882253A - 一种基于对比学习和自注意力机制的面料织法匹配方法 - Google Patents
一种基于对比学习和自注意力机制的面料织法匹配方法 Download PDFInfo
- Publication number
- CN114882253A CN114882253A CN202210645732.0A CN202210645732A CN114882253A CN 114882253 A CN114882253 A CN 114882253A CN 202210645732 A CN202210645732 A CN 202210645732A CN 114882253 A CN114882253 A CN 114882253A
- Authority
- CN
- China
- Prior art keywords
- self
- fabric
- learning
- images
- weave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000004744 fabric Substances 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000009941 weaving Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 230000000052 comparative effect Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 6
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于对比学习和自注意力机制的面料织法匹配方法，包括采集多种不同织法的面料图像，经过增强处理后以张量的形式存放在模式匹配数据库中。再基于深度学习的基本结构，设计包括残差网络和自编码器的对比学习网络，利用对比损失函数计算正负例的对比计算误差，再通过梯度反向传播进行迭代训练；将训练后的自编码器与多头自注意力层级联，提取待检索图像的全局信息和局部细节；采用全连接层和归一化残差连接层输出特征，并据此进行概率投射排序，匹配最符合的面料织法模式。本发明解决了面料织法模式匹配问题，将多头自注意力机制引入传统的对比学习架构中，实现了对面料织法图像的更优匹配，提高了目标识别和匹配的精度和效率。
Description
技术领域
本发明属于图像识别技术领域，具体涉及一种基于对比学习和自注意力机制的面料织法匹配方法。
背景技术
面料的织法模式匹配技术可以帮助面料生产商便捷管理面料的信息，也可以辅助终端用户如面料经销商和服装设计师快速依据现有的面料匹配更多相似织法面料，具有非常广泛的应用。目前，市场上应用深度学习技术对于面料织法进行匹配的产品还非常少见，现有的产品也往往很难对面料的织法进行准确的判断，由于识别准确率不高，导致匹配出的面料往往并不是采用同一种织法的，这无疑大大降低了面料匹配的效率和实用性。
计算机视觉图像识别技术大多采用自监督学习或无监督学习的深度学习网络。与传统的基于纯数学方法的图像处理技术，如图像滤波器、边缘提取、锐化等相比，基于深度学习的方法能够提取层级特征，对于图像这类高维稀疏数据可以进行更好的处理，对关键信息进行多次非线性组合和处理，提取出图像中更深层次的特征，因此具有更好的鲁棒性和识别准确率。
然而，传统的基于卷积神经网络的监督学习需要经过大量的有标签训练数据的训练和调参之后，才能够取得较为理想的效果，但这些精确标注标签的图像信息无疑会大量耗费人力物力和资源，除此之外，混杂的样本集中部分误标签样本也可能对于模型的准确率产生一定的影响，这无疑是不利于模型训练的。以对比学习为代表的自监督学习可以在样本数据没有标签的情况下进行模型训练，并且表现出了优于传统卷积神经网络的识别性能和准确率；并且，对比学习训练得到的自编码器可以被单独提取出来与其他网络结构组合。将自编码器用于下游任务，与传统的卷积神经网络相比，网络结构更简单，需要的参数和对计算机资源的要求也更低。将自编码器应用到面料织法匹配问题中，有利于解决传统神经网络在准确性、鲁棒性、训练效率等方面的固有缺点。
发明内容
针对现有技术的不足，本发明提出了一种基于对比学习和自注意力机制的面料织法匹配方法，采用深度学习的基本结构进行自编码器的训练，将多头自注意力机制引入传统的对比学习架构中，实现了对面料织法图像的更优匹配，提高了目标识别和匹配的精度和效率。
一种基于对比学习和自注意力机制的面料织法匹配方法，具体包括以下步骤：
步骤1、采集多种不同织法的面料图像，以图像中的面料织法作为对应标签。对面料图像进行数据增强与边缘增强处理后缩放至同一大小，以张量的形式存入模式匹配数据库。
步骤2、构建对比学习网络，包括用于特征提取的自编码器以及用于非线性变换的投影层。所述投影层包括依次级联的两层残差网络和一个线性整流函数。
步骤3、将模式匹配数据库中的张量及其标签输入步骤2构建的对比学习网络中，进行多次迭代训练。利用对比损失函数计算正例和负例之间的误差和损失，并对对比学习网络中的参数进行梯度反向传播。
步骤4、将待匹配的面料图像，输入步骤3训练后的自编码器中，得到特征图像后再依次经过多层多头自注意力层，与查询矩阵、键矩阵和值矩阵进行点积计算，最后依次通过全连接层、归一化以及残差连接，输出特征向量。
步骤5、将步骤4得到的特征向量输入分类器中，对特征向量采取概率投射排序，输出待匹配面料图像的标签。根据得到的标签调取模式匹配数据库中具有相同标签的面料图像作为匹配结果。
本发明具有以下有益效果：
本方法通过面料的织法模式匹配数据库训练集，预先训练出识别效率较高的对比学习自编码器，针对图像中的特征关键信息进行提取，通过模式匹配准确判断面料的织法，与传统方法相比，具有较高的准确度，较好的效率和鲁棒性，大大增强了用户的体验。
附图说明
图1为基于对比学习和自注意力机制的面料织法匹配方法流程图；
图2为实施例中采集的不同织法的面料图像；
图3为残差网络结构示意图；
图4为反向传播训练流程图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图1所示，一种基于对比学习和自注意力机制的面料织法匹配方法，具体包括以下步骤：
步骤1、通过显微摄影采集50万张多种不同织法的面料图像，依据面料的经向和纬向纱穿行规律不同，分为平纹组织、斜纹组织、缎纹组织以及这三种原纹组织不同组合的多种联合面料织法，以图像中的面料织法作为对应图像的标签。如图2所示，其中a、b、c分别表示平纹组织、斜纹组织、缎纹组织。采用超采样技术和基于Sobel算子的边缘增强技术对面料图像进行边缘增强处理，以突出细节特征。最后再将预处理后的图像统一缩放为128x128像素，以张量的形式存入模式匹配数据库。
所述超采样技术通过将图像中的多个像素合成一个超级像素，使得处理过后的图像画质更好，可以展示更多的细节，增加了像素密度。
基于Sobel算子的图像处理是传统的图像处理技术，借助算子对图像做卷积，依次将图像中的边缘提取出来，考虑到面料织法信息往往蕴含在纺织边缘区域，故采用边缘增强技术可以有效减少无用信息，大大提高训练的效率和准确率，降低计算的开销。本实施例中采用的Sobel算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。Sobel算子如下：
其中，A表示处理前的原始图像，Gx、Gy分别代表经横向、纵向边缘检测得到的图像。原始图像中每一个像素的横向及纵向梯度近似值G可以表示为：
梯度方向θ为：
步骤2、构建对比学习网络，包括用于特征提取的自编码器以及用于非线性变换的投影层。本实施例中，所述自编码器为3个依次级联的全连接层组成。所述投影层包括如图3所示的两层残差网络和一个线性整流函数。
步骤3、将模式匹配数据库中的张量及其标签按批次输入步骤2构建的对比学习网络中，进行多次迭代训练。在输入对比学习网络之前，将步骤1采集到的每张原图片随机进行裁剪、旋转、翻转或变色操作，转化为多张增广图片，这些原图片的增广图像将被作为是正例使用。为了增加学习效果，随机选取不在模式匹配数据库中的其他图片，经过相同的增广处理后，作为原图片的负例。对于任意一张图像来说，都要求其通过神经网络后与正例更接近，而与负例则更不接近，以此实现无标签自监督学习。经过反向传播和梯度下降法逐步调优模型。利用对比损失函数计算正例和负例之间的误差和损失，要求正例之间尽可能相近，正例与负例之间的距离尽可能远一些。根据训练结果对对比学习网络中的参数进行梯度反向传播。
如图4所示，本实施例通过计算归一化温度-尺度交叉熵损失实现梯度反向传播，具体步骤如下：
s3.1、计算对比学习网络中，投影层输出的特征图像的余弦相似性。
s3.2、使用归一化指数函数与不同图像的余弦相似性，计算不同图像间相似的概率；在一批中有图像自己的增广图像和自己的其他增广图像的比较，也有图像自己的增广图像和其他图像的增广图像的比较，会存在多对配对组合，都是需要逐一计算余弦相似性和使用归一化指数函数计算相似的概率的。
s3.3、使用噪声对比估计损失计算这一组图像的损失。
s3.4、计算整个批的所有配对的损失并取平均值，得到本次训练的归一化温度-尺度交叉熵损失。
s3.5、将归一化温度-尺度交叉熵损失函数的结果反向传播到对比学习网络，动态调整自编码器和投影层的参数。
s3.6、依据梯度下降进行多次迭代训练计算，采用自适应性矩估计优化器降低迭代次数，减少训练时间。
步骤4、将待匹配的面料图像，输入步骤3训练后的自编码器中，得到特征图像后再依次经过3层多头自注意力层，与查询矩阵、键矩阵和值矩阵进行点积计算，最后依次通过全连接层、归一化以及残差连接，输出特征向量。
步骤5、将步骤4得到的特征向量输入分类器中，采取概率投射排序，进行模式匹配，输出面料织法的匹配结果。在本实施例中，不仅会将与图像中面料织法最大相似概率匹配的结果呈现给用户，还会呈现多个相似概率较大的结果，作为相似推荐。
Claims (8)
1.一种基于对比学习和自注意力机制的面料织法匹配方法，其特征在于：具体包括以下步骤：
步骤1、采集多种不同织法的面料图像，以图像中的面料织法作为对应标签；对面料图像进行数据增强与边缘增强处理后缩放至同一大小，以张量的形式存入模式匹配数据库；
步骤2、构建对比学习网络，包括用于特征提取的自编码器以及用于非线性变换的投影层；所述投影层包括依次级联的两层残差网络和一个线性整流函数；
步骤3、将模式匹配数据库中的张量及其标签输入步骤2构建的对比学习网络中，进行多次迭代训练；利用对比损失函数对对比学习网络中的参数进行梯度反向传播；
步骤4、将待匹配的面料图像，输入步骤3训练后的自编码器中，得到特征图像后再依次经过多层多头自注意力层，与查询矩阵、键矩阵和值矩阵进行点积计算；最后依次通过全连接层、归一化以及残差连接，输出特征向量；
步骤5、将步骤4得到的特征向量输入分类器中，对特征向量采取概率投射排序，输出待匹配面料图像的标签；根据得到的标签调取模式匹配数据库中具有相同标签的面料图像作为匹配结果。
2.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法，其特征在于：采集的面料图像的织法包括平纹组织、斜纹组织、缎纹组织以及两种或多种的组合。
3.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法，其特征在于：采用超采样技术和基于Sobel算子的边缘增强技术对面料图像进行边缘增强处理。
4.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法，其特征在于：所述Sobel算子为：
其中，A表示处理前的原始图像，Gx、Gy分别代表经横向、纵向边缘检测得到的图像；原始图像中每一个像素的横向及纵向梯度近似值G表示为：
梯度方向θ为：
5.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法，其特征在于：所述自编码器包括3个依次级联的全连接层，多头自注意力层的个数为3。
6.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法，其特征在于：所述对比损失函数为归一化温度-尺度交叉熵损失。
7.如权利要求1或6所述一种基于对比学习和自注意力机制的面料织法匹配方法，其特征在于：对比学习网络训练的具体步骤如下：
s3.1、将面料图像按批次输入对比学习网络中，计算投影层输出的特征图像的余弦相似性；
s3.2、根据余弦相似性计算结果，使用归一化指数函数比较不同图像之间相似的概率；
s3.3、使用噪声对比估计损失计算一组图像的损失；
s3.4、计算整个批的所有配对的损失并取平均值，得到本次训练的归一化温度-尺度交叉熵损失；
s3.5、将归一化温度-尺度交叉熵损失函数的结果反向传播到对比学习网络，动态调整自编码器和投影层的参数；
s3.6、依据梯度下降进行多次迭代训练计算，采用自适应性矩估计优化器降低迭代次数，减少训练时间。
8.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1～6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210645732.0A CN114882253A (zh) | 2022-06-08 | 2022-06-08 | 一种基于对比学习和自注意力机制的面料织法匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210645732.0A CN114882253A (zh) | 2022-06-08 | 2022-06-08 | 一种基于对比学习和自注意力机制的面料织法匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114882253A true CN114882253A (zh) | 2022-08-09 |
Family
ID=82680805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210645732.0A Pending CN114882253A (zh) | 2022-06-08 | 2022-06-08 | 一种基于对比学习和自注意力机制的面料织法匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882253A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115240036A (zh) * | 2022-09-22 | 2022-10-25 | 武汉珈鹰智能科技有限公司 | 一种裂缝图像识别网络的训练方法、应用方法及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654121A (zh) * | 2016-04-11 | 2016-06-08 | 李云栋 | 一种基于深度学习的复杂提花织物缺陷检测方法 |
| CN107633272A (zh) * | 2017-10-09 | 2018-01-26 | 东华大学 | 一种基于小样本下压缩感知的dcnn纹理疵点识别方法 |
| US20220019410A1 (en) * | 2020-07-14 | 2022-01-20 | X Development Llc | Code change graph node matching with machine learning |
| CN114937155A (zh) * | 2022-06-08 | 2022-08-23 | 杭州电子科技大学 | 一种基于深度学习的面料图像成份识别方法 |
-
2022
- 2022-06-08 CN CN202210645732.0A patent/CN114882253A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654121A (zh) * | 2016-04-11 | 2016-06-08 | 李云栋 | 一种基于深度学习的复杂提花织物缺陷检测方法 |
| CN107633272A (zh) * | 2017-10-09 | 2018-01-26 | 东华大学 | 一种基于小样本下压缩感知的dcnn纹理疵点识别方法 |
| US20220019410A1 (en) * | 2020-07-14 | 2022-01-20 | X Development Llc | Code change graph node matching with machine learning |
| CN114937155A (zh) * | 2022-06-08 | 2022-08-23 | 杭州电子科技大学 | 一种基于深度学习的面料图像成份识别方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115240036A (zh) * | 2022-09-22 | 2022-10-25 | 武汉珈鹰智能科技有限公司 | 一种裂缝图像识别网络的训练方法、应用方法及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hosu et al. | KonIQ-10k: An ecologically valid database for deep learning of blind image quality assessment | |
| Theis et al. | Faster gaze prediction with dense networks and fisher pruning | |
| Anwar et al. | Real image denoising with feature attention | |
| Bao et al. | L0 norm based dictionary learning by proximal methods with global convergence | |
| CN107135664B (zh) | 一种人脸识别的方法以及人脸识别装置 | |
| CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
| CN108090472B (zh) | 基于多通道一致性特征的行人重识别方法及其系统 | |
| CN111340123A (zh) | 一种基于深度卷积神经网络的图像分数标签预测方法 | |
| CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
| CN108710893B (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
| CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN113205002B (zh) | 非受限视频监控的低清人脸识别方法、装置、设备及介质 | |
| Xia et al. | Knowledge distillation based degradation estimation for blind super-resolution | |
| CN114882253A (zh) | 一种基于对比学习和自注意力机制的面料织法匹配方法 | |
| CN117197904A (zh) | 人脸活体检测模型的训练方法、人脸活体检测方法及装置 | |
| Cui et al. | Compact feature representation for image classification using elms | |
| CN108932501A (zh) | 一种基于多核关联集成降维的人脸识别方法 | |
| CN114444564A (zh) | 一种基于深度神经网络模型的高相似度论文图片比对方法 | |
| CN109934281B (zh) | 一种二分类网络的非监督训练方法 | |
| CN116071752A (zh) | 一种数字型仪表读数智能识别方法及系统 | |
| CN115100509B (zh) | 基于多分支块级注意力增强网络的图像识别方法及系统 | |
| CN113807237A (zh) | 活体检测模型的训练、活体检测方法、计算机设备及介质 | |
| CN113989586A (zh) | 一种基于人脸几何运动特征的真假视频检测方法 | |
| CN114627424A (zh) | 一种基于视角转化的步态识别方法和系统 | |
| CN112906829A (zh) | 一种基于Mnist数据集的数字识别模型构建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |