CN112632313A - 一种基于深度学习的蕾丝花边检索方法 - Google Patents

一种基于深度学习的蕾丝花边检索方法 Download PDF

Info

Publication number
CN112632313A
CN112632313A CN202011559620.0A CN202011559620A CN112632313A CN 112632313 A CN112632313 A CN 112632313A CN 202011559620 A CN202011559620 A CN 202011559620A CN 112632313 A CN112632313 A CN 112632313A
Authority
CN
China
Prior art keywords
pattern
lace
neural network
pair
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011559620.0A
Other languages
English (en)
Inventor
李岳阳
徐东东
罗海驰
樊启高
朱一昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202011559620.0A priority Critical patent/CN112632313A/zh
Publication of CN112632313A publication Critical patent/CN112632313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的蕾丝花边检索方法，属于机器视觉和深度学习技术领域。该方法采用深度学习网络自动提取蕾丝花边图像的特征，无需人为干预，从而具有很好的鲁棒性和较强的泛化能力；具体的，采用孪生神经网络，并构造训练孪生神经网络所需的(A，P)正例对和(A，N)负例对，在训练孪生神经网络时，使得正例对中的样本A和P的特征向量之间的欧式距离尽可能小，而对于负例对则使得其特征向量之间的欧式距离尽可能大，最终得到训练好的孪生神经网络实现检索；采用该检索方法，所检索出的准确结果排在所有检索结果中第1个位置的百分比值可达98.39％，而所检索出的准确结果排在前10个位置的百分比值可达100％。

Description

一种基于深度学习的蕾丝花边检索方法
技术领域
本发明涉及一种基于深度学习的蕾丝花边检索方法，属于机器视觉和深度学习技术领域。
背景技术
近年来，企业开发的蕾丝花边花型复杂且多变，其数量种类非常庞大，企业的蕾丝花边花型数据库中甚至可多达上万种。而在实际的生产或销售过程中，对于客户提供的蕾丝花边样品，企业需要快速从现有数据库中找到与样品最相似的蕾丝花边，以便快速确定设计工艺和方案，提高管理和生产效率。
而对于蕾丝花边的检索，最初是基于文本进行检索，即采用人工的方式标注每一种蕾丝花边，后续根据标注进行检索。这种检索方法容易受到不同标注者的主观因素的影响，因为每一个标注者对同一个蕾丝的描述很可能会不同，从而导致检索的难度很大，检索准确率比较低。
为提高检索效率和准确率，基于内容的图像检索方法开始逐渐大量应用。在基于内容的图像检索方法中，通过人工确定特征提取算子，提取蕾丝花边图像的颜色特征、纹理特征或几何特征等。然而，实际应用表明，人工确定特征提取算子的图像检索方法，因为需要依赖人工确定特征提取算子，而人工确定特征提取算子是基于已有的蕾丝花边图案确定的，因而对于新的蕾丝花边，其检索准确率较低，也即其鲁棒性和泛化能力差。
发明内容
为了解决目前蕾丝花边检索方法存在的检索准确率较低的问题，本发明提供了一种基于深度学习的蕾丝花边检索方法，所述方法包括：
采用孪生神经网络提取待检索蕾丝花边图案的特征向量，并与蕾丝花边图案数据库中的各蕾丝花边图案的特征向量依次进行对比，计算二者的欧几里德距离，欧几里德距离最小值对应的蕾丝花边图案即为待检索蕾丝花边图案的检索结果；其中孪生神经网络为采用以下步骤训练后的孪生神经网络网络：
步骤1：构造用于训练孪生神经网络的正例对(A，P)或负例对(A，N)；
每一种蕾丝花边图案对应M组花型循环图像，各组花型循环图像的循环起始位置不同；根据花型循环图像是否对应同一种蕾丝花边图案，将每两张花型循环图像定义为正例对(A，P)或负例对(A，N)；其中A，P为对应同一种蕾丝花边图案的两张花型循环图像，A，N为对应两种不同蕾丝花边图案的两张花型循环图像；
步骤2：将正例对(A，P)或负例对(A，N)中的两张花型循环图像作为孪生神经网络的输入样本对训练孪生神经网络；
若以正例对(A，P)中的两张花型循环图像作为孪生神经网络的输入样本对，则以最小化对比损失函数为目的训练孪生神经网络；若以负例对(A，N)中的两张花型循环图像作为孪生神经网络的输入样本对，则以最大化对比损失函数为目的训练孪生神经网络。
可选的，所述对比损失函数为：
Figure BDA0002860029040000021
其中，W是网络权重；X1，X2分别为输入样本对中的两张花型循环图像，Y是标签，若输入样本对为正例对(A，P)，则标签Y为1；若输入样本对为负例对(A，N)，则标签Y为0；Dw是X1，X2之间的欧几里德距离；m是预先设定的阈值，m>0。
可选的，输入样本对为正例对(A，P)时，对比损失函数转化为：
Figure BDA0002860029040000022
输入样本对为负例对(A，N)时，对比损失函数转化为：
Figure BDA0002860029040000023
可选的，在采用负例对(A，N)训练孪生神经网络时，将负例对(A，N)分为三类：简单二元组、适中二元组和困难二元组：
简单二元组：网络经过10次以下的迭代，式(3)中的L值就能够趋近于0；
适中二元组：网络需要经过10次以上、50次以下的迭代，式(3)中的L值能够趋近于0；
困难二元组：网络需要50次以上的迭代，式(3)中的L值才能够趋近于0；
选择适中二元组或困难二元组作为输入样本对训练孪生神经网络。
可选的，所述步骤1：构造用于训练孪生神经网络的正例对(A，P)或负例对(A，N)之前，还包括对蕾丝花边图案进行预处理：
利用扫描仪扫描得到蕾丝花边图案，对其进行灰度变换，得到灰度图像；
对灰度图像进行图像旋正，得到旋正后的图像；
根据旋正后的图像，选取不同起始位置得到均包含一个花型循环的多组花型循环图像；
将均包含一个花型循环的花型循环图像缩放至同一尺寸；
将缩放至同一尺寸的花型循环图像进行归一化操作，使其像素灰度值缩放到[0,1]之间。
可选的，所述对灰度图像进行图像旋正，得到旋正后的图像，包括：
提取蕾丝花边最小外接矩形MAR，然后得到MAR与水平方向的偏角，最后使用图像旋转函数旋正图像，得到旋正后的图像。
可选的，Dw是X1，X2之间的欧几里德距离，计算公式为：
Figure BDA0002860029040000031
X1与X2的维度相同，n是X1与X2的维度，(x1,x2,…,xn)为样本X1的特征向量，(y1,y2,…,yn)为样本X2的特征向量。
可选的，训练后的孪生神经网络网络在进行蕾丝花边图案检索时，预先得到数据库中每一个花型循环图像对应的128维特征向量，并将花型循环图像的高度与宽度的比值作为1个有效特征，与预先得到的128维特征向量进行特征融合，构成129维特征向量，保存至特征数据库中，以便后续与待检索蕾丝花边图案的特征向量进行对比。
可选的，所述孪生神经网络网络的主干网络为VGG16，两个VGG16网络的权值共享。
本申请还提供上述基于深度学习的蕾丝花边检索方法在蕾丝花边生产中的应用方法。
本发明有益效果是：
本申请在进行蕾丝花边图像检索时，通过采用深度学习网络自动提取蕾丝花边图像的特征，无需人为干预，从而使得检索方法具有很好的鲁棒性和较强的泛化能力；具体的，采用孪生神经网络，并构造训练孪生神经网络所需的(A，P)正例对和(A，N)负例对，在训练孪生神经网络时，使得正例对中的样本A和P的特征向量之间的欧式距离尽可能小，而对于负例对的样本A和N，则使得其特征向量之间的欧式距离尽可能大，最终得到训练好的孪生神经网络实现对于蕾丝花边图像的检索，经验证，本申请提出的蕾丝花边检索方法具有较高的检索准确率，所检索出的准确结果排在所有检索结果中第1个位置的个数占整个测试样本数的百分比值可达98.39％，而所检索出的准确结果排在前10个位置中的个数占整个测试样本数的百分比值可达100％。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中蕾丝花边及其不同起止的花型循环示意图。
图2是本发明一个实施例中的孪生神经网络示意图。
图3是本发明一个实施例提供的蕾丝花边检索方法的流程示意图。
图4是本发明一个实施例提供的蕾丝花边检索系统的检索结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种基于深度学习的蕾丝花边检索方法，所述方法包括：采用孪生神经网络提取待检索蕾丝花边图案的特征向量，并与蕾丝花边图案数据库中的各蕾丝花边图案的特征向量依次进行对比，计算二者的欧几里德距离，欧几里德距离最小值对应的蕾丝花边图案即为待检索蕾丝花边图案的检索结果；其中孪生神经网络为采用以下步骤训练后的孪生神经网络网络：
步骤1：构造用于训练孪生神经网络的正例对(A，P)或负例对(A，N)；
每一种蕾丝花边图案对应M组花型循环图像，各组花型循环图像的循环起始位置不同；根据花型循环图像是否对应同一种蕾丝花边图案，将每两张花型循环图像定义为正例对(A，P)或负例对(A，N)；其中A，P为对应同一种蕾丝花边图案的两张花型循环图像，A，N为对应两种不同蕾丝花边图案的两张花型循环图像；
步骤2：将正例对(A，P)或负例对(A，N)中的两张花型循环图像作为孪生神经网络的输入样本对训练孪生神经网络；
若以正例对(A，P)中的两张花型循环图像作为孪生神经网络的输入样本对，则以最小化对比损失函数为目的训练孪生神经网络；若以负例对(A，N)中的两张花型循环图像作为孪生神经网络的输入样本对，则以最大化对比损失函数为目的训练孪生神经网络。
实施例二：
本实施例提供一种基于深度学习的蕾丝花边检索方法，参见图3，所述方法包括：
步骤一、对扫描得到的蕾丝花边图像进行预处理，构造训练和测试数据集。
1、蕾丝花边图像预处理
对所有蕾丝花边图像进行预处理，顺序为：灰度变换、图像旋正、获取花型循环、图像缩放、归一化。因为用扫描仪得到的图像，图片尺寸相当于蕾丝花边的实际尺寸，而用照相机或者其他途径获取图像，获取到的图片中的蕾丝花边并不是实际的尺寸，导致后续工作无法进行，所以本申请所述蕾丝花边图像通常可采用扫描仪扫描得到。
(1)灰度变换：将所有蕾丝花边图像进行灰度转换得到对应的灰度图像；
由扫描仪得到蕾丝花边图像，一般为RBG格式的彩色图像，需要转为灰度图像。因为本申请提供的蕾丝花边检索方法是在数据库中寻找与待检索样品花型图案最相似的蕾丝花边，与颜色无关。并且由于彩色图像是三通道图像，灰度图是单通道图像，彩色图像的数据量更大；因此神经网络处理彩色图像的速度比处理灰度图要慢，所以本申请使用灰度图像，可以加快后续预处理速度。另外灰度图像作为深度神经网络的输入，可以更快速地得到图像特征。
(2)图像旋正：对灰度图像进行图像旋正，得到旋正后的图像；
如图1A所示，在使用扫描仪获取蕾丝花边图像时，很多时候不可避免地会有些许偏转，为提高蕾丝花边图像检测准确率，需要对蕾丝花边图像进行旋正处理。
旋正处理的方法，是提取蕾丝花边最小外接矩形(MAR)，然后得到MAR与水平方向的偏角，最后使用图像旋转函数旋正图像。
(3)获取花型循环：根据旋正后的图像，选取不同起始位置得到均包含一个花型循环的多个花型循环图像；
如图1A所示，蕾丝花边图案一般都是周期性变化的，一个周期即为一个花型循环。为了提高检索准确率，本申请提供的蕾丝花边检索方法是基于花型循环，而不是整个蕾丝花边图像。另外，在实际进行检索时所获取的花型循环一般不可能与训练系统时获取的花型循环完全一致(花型循环完全一致指两个花型循环的起始位置和终止位置完全一样)，因此，为了提高检索算法的泛化性能，在训练检索系统时，对于每个蕾丝花边图像，会获取多个不同位置的花型循环，如图1B和1C分别为图1A中的蕾丝花边的二个不同起止位置的花型循环。并且，基于一个蕾丝花边，获取多个花型循环作为训练样本，也是扩充训练样本的一种方法，避免深度神经网络陷入过拟合。
(4)图像缩放：将均包含一个花型循环的花型循环图像缩放至同一尺寸；
由同一个蕾丝花边得到的不同位置的花型循环，其几何尺寸，即高度和宽度，应该会相同，但不同蕾丝花边的花型循环，其几何尺寸一般会不同，但后续深度神经网络的输入图像需要统一尺寸。本申请中使用VGG16网络，其输入图像尺寸为224x224，也就是说，所有的花型循环需要缩放至224x224大小。
(5)归一化：将缩放至同一尺寸的花型循环图像进行归一化操作，使其像素灰度值缩放到[0,1]之间；
对图像进行归一化操作，将像素灰度值缩放到[0,1]之间，加快深度神经网络收敛速度。
2、构造训练和测试数据集
因为蕾丝花边图案都是周期性变化的，本申请提出的蕾丝花边检索方法，是基于每个蕾丝花边的花型循环进行检索的。为扩充样本数量，避免网络过拟合，对于每一个蕾丝花边，得到4个不同位置的花型循环，这样可得到4组花型循环图像。任选其中3组花型循环图像构造训练数据集，另外1组花型循环图像为测试数据集。
本申请蕾丝花边检索方法以训练数据集中花型循环图像的对图2所示的孪生神经网络进行训练；如图2所示，该孪生神经网络的输入为2个图像样本(即训练数据集中的各个花型循环图像)，其中样本1为1个蕾丝花边花型循环图片，记作Anchor图片。如果样本2与Anchor图片为同一个蕾丝花边不同位置的花型循环图片，则样本2记作Positive图片；如果样本2与Anchor图片属于不同蕾丝花边的花型循环图片，则样本2记作Negative图片。
为方便描述，分别将Anchor图片、Positive图片和Negative图片简称为A图，P图，N图。
由前述得到的3组花型循环，可得到训练该孪生神经网络所需的(A，P)正例对和(A，N)负例对，其中(A，P)正例对的2个花型循环图像属于同一个蕾丝花边，而(A，N)负例对的2个花型循环属于不同的蕾丝花边。
步骤二、训练孪生神经网络
由步骤1得到的训练数据集，即可训练图2所示的孪生神经网络，其中(A，P)正例对或(A，N)负例对可作为网络的输入样本对，该孪生神经网络的主干网络为VGG16，两个VGG16网络的权值共享(即权值相同)，每个VGG16网络输出128维的特征向量，即图2中的特征向量1和特征向量2，最后基于两个特征向量计算该孪生神经网络的对比损失函数。
对比损失函数可定义为：
Figure BDA0002860029040000061
其中，W是网络权重。X1，X2分别为输入样本1和2，Y是标签。
如果X1，X2样本属于同一个蕾丝花边，即(A，P)正例对，则Y＝0；
若不属于同一个蕾丝花边，即(A，N)负例对，则Y＝1。
Dw是两个样本X1，X2之间的欧几里德距离，计算公式如下：
Figure BDA0002860029040000062
X1与X2的维度相同，n是X1与X2的特征向量的维度，本实施例中样本X1，X2对应的特征向量为129维，(x1,x2,…,xn)为样本X1的特征向量，(y1,y2,…,yn)为样本X2的特征向量。
m是设定的阈值(m>0)。
训练网络时，需要最小化对比损失函数值。
当Y＝0时，即网络输入是(A，P)正例对，对比损失函数转化为：
Figure BDA0002860029040000071
最小化式(2)中的L值，也就是对于(A，P)正例对，需要训练网络，最小化属于同一个蕾丝花边的两个样本A和P之间的距离Dw。
当Y＝1时，即网络输入是(A，N)负例对，对比损失函数转化为：
Figure BDA0002860029040000072
最小化式(3)中的L值，也就是对于(A，N)负例对，需要训练网络，最大化属于不同蕾丝花边的两个样本A和N之间的距离Dw。
设立阈值m的作用：当负例对样本A和样本N之间的距离不到阈值m时，网络会继续训练使距离接近m；而当负例对样本A和N之间的距离超过阈值m时，网络就达到收敛条件，无需再迭代训练下去。
总的来说，训练孪生神经网络的目的是：对于(A，P)正例对输入，由网络得到的样本A和P的两个特征向量之间的欧式距离尽可能小；而对于(A，N)负例对输入，由网络得到的样本A和N的两个特征向量之间的欧式距离尽可能大。
进一步的，在训练孪生神经网络时，为加快网络收敛的速度，在本发明中，采用了难负例对样本学习的策略。可根据由网络得到的(A，N)负例对特征向量间的距离，将所有的(A，N)负例对分为三类：简单二元组、适中二元组和困难二元组。
(1)简单二元组：(A，N)负例对输入网络时，由网络得到的样本A和N的特征向量之间的距离较大，网络经过10次以下的迭代，式(3)中的L值就能够趋近于0。
(2)适中二元组：(A，N)负例对输入网络时，由网络得到的样本A和N的特征向量之间的距离不太大，网络需要经过10次以上、50次以下的迭代，式(3)中的L值才会趋近于0。
(3)困难二元组：(A，N)负例对输入网络时，由网络得到的样本A和N的特征向量之间的距离较小，网络需要50次以上的迭代，式(3)中的L值才可能会趋近于0。
因此，在训练孪生神经网络时，如果输入的(A，N)负例对为简单二元组，网络很容易就满足收敛要求(式(3)中的L值为0)，但最终训练后的网络泛化能力差。由此，在训练网络时，应该采用难负例对样本学习的策略，优先选择适中二元组或困难二元组作为训练样本，来有效促进网络的训练，经验证，采用适中二元组或困难二元组作为训练样本进行训练可以减少30％的训练时间。
具体来说，在训练孪生神经网络时，采用以下的方法选择每一批次的训练样本：
假设每批次训练都是基于32个蕾丝花边图像，那么，根据步骤1中构造训练数据集的方法，对于每个蕾丝花边图像，得到3个不同位置的花型循环图像来构造训练数据集。32个蕾丝花边图像可得到96个花型循环图像。那么，(A，P)正例对的样本数为
Figure BDA0002860029040000081
(A，N)负例对的样本数为
Figure BDA0002860029040000082
对于所有的(A，N)负例对，使用当前的网络可得到相对应的特征向量之间的距离，选择其中距离最小的96个(A，N)负例对作为难负例样本，与96个(A，P)正例对，作为一个批次的样本，送入孪生神经网络进行训练，最终得到训练好的孪生神经网络。
步骤三、测试蕾丝花边检索系统
当图2的孪生神经网络训练好之后，其中的VGG16网络就具备了从蕾丝花边花型循环中提取有效特征的能力，为验证训练得到的孪生神经网络对于蕾丝花边图像的检索能力，采用测试数据集进行测试。
图3为本发明所述的蕾丝花边检索流程示意图。如图中所示，为加快测试时系统的检索效率，当孪生神经网络训练好之后，任选1组训练用的蕾丝花边花型循环图，由训练好的VGG16网络，预先得到每一个花型循环相对应的128维特征向量。另外，由步骤1所知，不同蕾丝花边的花型循环，其几何尺寸一般会不同，那么其花型循环的高度与宽度的比值可作为1个有效特征，与网络得到的128维特征向量进行特征融合，构成129维特征向量，保存至特征数据库中。
为测试检索系统的性能，对于由步骤1中得到的1组测试数据集中的每一个蕾丝花边花型循环图作为待检索图片，由训练好的VGG16网络得到其对应的128维特征向量，再与其高宽比特征相融合，得到129维特征向量，然后与特征数据库中每一个蕾丝花边相对应的特征向量进行一对多匹配，即计算待检索图片与特征数据库中每一个蕾丝花边图片所对应的两个特征向量间的欧式距离，按从小到大顺序给出与待检索图片距离最接近的10个检索结果。
图4所示的是其中一个蕾丝花边检索结果图。图4A为待检索蕾丝花边图，该蕾丝花边图是从数据库中选出的编号为002的蕾丝花边图案；图4B为按距离从小到大顺序排列的最相似的前10个蕾丝花边图，在数据库中的编号依次为002、031、160、061、392、327、353、378、402和004。从图中明显可以看到，图4B中显示的与待检索蕾丝花边图案距离最小的蕾丝花边与待检索蕾丝花边是一样的，说明检索到的准确结果排在第1个位置。
在本发明中，检索性能评价指标可用top1和top10准确率。其中，top1准确率表示，对于测试数据集中每一个待检索图，由系统检索得到的准确结果排在第1个位置的个数占整个测试样本数的百分比值；top10准确率表示，对于测试数据集中每一个待检索图，由系统检索得到的准确结果排在前10个位置中的个数占整个测试样本数的百分比值，所述准确结果即为与待检索图最接近的蕾丝花边，因为本申请测试及训练所选取的待检索图均为从数据库中选取的蕾丝花边图案，因此本申请中提到的“准确结果”即为待检索图本身，可根据蕾丝花边图案的编号确定。
在本发明中，假设某企业蕾丝花边图案数据库中，共有500种蕾丝花边图案，每种蕾丝花边图案包含三个花型循环图案。
为对比说明本申请检索方法的准确度高于现有检索方法的准确度，特与“基于LBP纹理算子特征匹配方法”、“基于GGCM的纹理特征匹配方法”、以及“使用多种纹理特征进行匹配的LBP，GLCM，GCCM，Canny方法，并进行特征融合后”的方法进行对比，结果如下：
基于LBP纹理算子特征匹配方法在top1的检索准确率为66.38％；基于GGCM的纹理特征匹配方法在top1检索的准确率是66.28％；使用多种纹理特征进行匹配的LBP，GLCM，GCCM，Canny方法，并进行特征融合后在top1检索的准确率为94.14％，上述三种方法的相关内容介绍可参考“曹霞,李岳阳,罗海驰,蒋高明,丛洪莲.蕾丝花边的改进型纹理特征检索方法[J].纺织学报,2016,37(06):142-147+154.”。
而本申请提供的检索方法在top1检索的准确率为98.39％，top10准确率可达100％。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的蕾丝花边检索方法，其特征在于，所述方法包括：
采用孪生神经网络提取待检索蕾丝花边图案的特征向量，并与蕾丝花边图案数据库中的各蕾丝花边图案的特征向量依次进行对比，计算二者的欧几里德距离，欧几里德距离最小值对应的蕾丝花边图案即为待检索蕾丝花边图案的检索结果；其中孪生神经网络为采用以下步骤训练后的孪生神经网络网络：
步骤1：构造用于训练孪生神经网络的正例对(A，P)或负例对(A，N)；
每一种蕾丝花边图案对应M组花型循环图像，各组花型循环图像的循环起始位置不同；根据花型循环图像是否对应同一种蕾丝花边图案，将每两张花型循环图像定义为正例对(A，P)或负例对(A，N)；其中A，P为对应同一种蕾丝花边图案的两张花型循环图像，A，N为对应两种不同蕾丝花边图案的两张花型循环图像；
步骤2：将正例对(A，P)或负例对(A，N)中的两张花型循环图像作为孪生神经网络的输入样本对训练孪生神经网络；
若以正例对(A，P)中的两张花型循环图像作为孪生神经网络的输入样本对，则以最小化对比损失函数为目的训练孪生神经网络；若以负例对(A，N)中的两张花型循环图像作为孪生神经网络的输入样本对，则以最大化对比损失函数为目的训练孪生神经网络。
2.根据权利要求1所述的方法，其特征在于，所述对比损失函数为：
Figure FDA0002860029030000011
其中，W是网络权重；X1，X2分别为输入样本对中的两张花型循环图像，Y是标签，若输入样本对为正例对(A，P)，则标签Y为1；若输入样本对为负例对(A，N)，则标签Y为0；Dw是X1，X2之间的欧几里德距离；m是预先设定的阈值，m>0。
3.根据权利要求2所述的方法，其特征在于，输入样本对为正例对(A，P)时，对比损失函数转化为：
Figure FDA0002860029030000012
输入样本对为负例对(A，N)时，对比损失函数转化为：
Figure FDA0002860029030000013
4.根据权利要求3所述的方法，其特征在于，在采用负例对(A，N)训练孪生神经网络时，将负例对(A，N)分为三类：简单二元组、适中二元组和困难二元组：
简单二元组：网络经过10次以下的迭代，式(3)中的L值就能够趋近于0；
适中二元组：网络需要经过10次以上、50次以下的迭代，式(3)中的L值能够趋近于0；
困难二元组：网络需要50次以上的迭代，式(3)中的L值才能够趋近于0；
选择适中二元组或困难二元组作为输入样本对训练孪生神经网络。
5.根据权利要求4所述的方法，其特征在于，所述步骤1：构造用于训练孪生神经网络的正例对(A，P)或负例对(A，N)之前，还包括对蕾丝花边图案进行预处理：
利用扫描仪扫描得到蕾丝花边图案，对其进行灰度变换，得到灰度图像；
对灰度图像进行图像旋正，得到旋正后的图像；
根据旋正后的图像，选取不同起始位置得到均包含一个花型循环的多组花型循环图像；
将均包含一个花型循环的花型循环图像缩放至同一尺寸；
将缩放至同一尺寸的花型循环图像进行归一化操作，使其像素灰度值缩放到[0,1]之间。
6.根据权利要求5所述的方法，其特征在于，所述对灰度图像进行图像旋正，得到旋正后的图像，包括：
提取蕾丝花边最小外接矩形MAR，然后得到MAR与水平方向的偏角，最后使用图像旋转函数旋正图像，得到旋正后的图像。
7.根据权利要求6所述的方法，其特征在于，Dw是X1，X2之间的欧几里德距离，计算公式为：
Figure FDA0002860029030000021
n是X1与X2的特征向量的维度，(x1,x2,…,xn)为样本X1的特征向量，(y1,y2,…,yn)为样本X2的特征向量。
8.根据权利要求7所述的方法，其特征在于，训练后的孪生神经网络网络在进行蕾丝花边图案检索时，预先得到数据库中每一个花型循环图像对应的128维特征向量，并将花型循环图像的高度与宽度的比值作为1个有效特征，与预先得到的128维特征向量进行特征融合，构成129维特征向量，保存至特征数据库中，以便后续与待检索蕾丝花边图案的特征向量进行对比。
9.根据权利要求7所述的方法，其特征在于，所述孪生神经网络网络的主干网络为VGG16，两个VGG16网络的权值共享。
10.权利要求1-9任一所述的基于深度学习的蕾丝花边检索方法在蕾丝花边生产中的应用方法。
CN202011559620.0A 2020-12-25 2020-12-25 一种基于深度学习的蕾丝花边检索方法 Pending CN112632313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011559620.0A CN112632313A (zh) 2020-12-25 2020-12-25 一种基于深度学习的蕾丝花边检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011559620.0A CN112632313A (zh) 2020-12-25 2020-12-25 一种基于深度学习的蕾丝花边检索方法

Publications (1)

Publication Number Publication Date
CN112632313A true CN112632313A (zh) 2021-04-09

Family

ID=75324794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011559620.0A Pending CN112632313A (zh) 2020-12-25 2020-12-25 一种基于深度学习的蕾丝花边检索方法

Country Status (1)

Country Link
CN (1) CN112632313A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100462A (zh) * 2022-06-20 2022-09-23 浙江方圆检测集团股份有限公司 一种基于回归预测的插座分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100462A (zh) * 2022-06-20 2022-09-23 浙江方圆检测集团股份有限公司 一种基于回归预测的插座分类方法

Similar Documents

Publication Publication Date Title
EP2808827B1 (en) System and method for OCR output verification
Levi et al. LATCH: learned arrangements of three patch codes
US10013636B2 (en) Image object category recognition method and device
CN110263659B (zh) 一种基于三元组损失和轻量级网络的指静脉识别方法及系统
EP2701098B1 (en) Region refocusing for data-driven object localization
US7958070B2 (en) Parameter learning method, parameter learning apparatus, pattern classification method, and pattern classification apparatus
US9008429B2 (en) Label-embedding for text recognition
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CN105069457B (zh) 图像识别方法和装置
CN112085072B (zh) 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN110008844B (zh) 一种融合slic算法的kcf长期手势跟踪方法
EP2672396A1 (en) Method for annotating images
CA2922296A1 (en) System and method for clustering data
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
US8429163B1 (en) Content similarity pyramid
CN113420669B (zh) 基于多尺度训练和级联检测的文档版面分析方法和系统
Vallet et al. A multi-label convolutional neural network for automatic image annotation
CN110728307A (zh) 自生成数据集与标签实现x光影像图小样本字符识别方法
WO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および記録媒体
CN111125397A (zh) 一种基于卷积神经网络的布料图像检索方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN111626250A (zh) 文本图像的分行方法、装置、计算机设备及可读存储介质
CN112632313A (zh) 一种基于深度学习的蕾丝花边检索方法
CN117312594A (zh) 一种融合双尺度特征的草图化机械零件库检索方法
Pereira et al. Assessing active learning strategies to improve the quality control of the soybean seed vigor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination