CN111275137B - 基于专属孪生网络模型的茶叶验真方法 - Google Patents

Abstract

本发明公开了一种基于专属孪生网络模型的茶叶验真方法，为每一类茶叶都配备一个专属孪生网络模型自动提取出目标茶叶所独有的隐式特征进行验证。该模型输入为目标茶叶与任意一种茶叶样本的组合，并以VGG16为基准结构提取它们的特征向量，最后将两个通道降维向量的L1距离进行逻辑回归，如果茶叶类别一致，则逻辑回归值为1，否则为0。此外，在测试阶段，首先将待验证茶叶图片转换到HSV空间，使用直方图规定化的方法对其进行图像颜色校准，使其在亮度和色调方面与训练时的采样图片接近，解决了因设备差异而导致的验真准确率低的问题。本发明相比于直接使用全分类模型，更加高效可靠，能够准确的判断或验证用户所购买的茶叶是否为真。

Description

基于专属孪生网络模型的茶叶验真方法

技术领域

本发明涉及一种基于孪生网络模型的茶叶验真方法，属于图像、人工智能、神经网络领域。

背景技术

茶文化是中国传统文化的重要组成部分，现如今，市面上的茶叶真假难辨，为帮助消费者验证其购买茶叶的真假性，如图7所示，研发一种合理高效的茶叶验真方法显得尤为重要。该问题类似于人类身份的验证，但是茶叶不像人脸具有固定的基准图片，使用传统的特征提取方法进行比对存在一定的盲目性，往往某一特征仅适用于某特定茶叶品种的校验，并不能推广至所有的茶叶品种。另外茶叶类别数也不确定，单纯按照茶叶现有类别进行神经网络全分类也是不可取的。因此，如何有针对性的提取目标茶叶特征进行校验，并且不受将来茶叶类别数增加的干扰，成为了问题的关键。

发明内容

本发明所要解决的技术问题是：针对传统验证方法中，特征的提取和选择都存在一定盲目性，以及茶叶类别数不确定等问题，本发明提出为每一类茶叶都配备一个专属孪生网络模型的验真方法。同时为了消除因采样设备差异而导致验真错误的问题，本发明提出在测试前先对图片进行HSV直方图规定化，让其在亮度和色彩均衡性方面与训练时的采样设备接近。

本发明为解决以上技术问题而采用以下技术方案：

本发明提出一种基于孪生网络模型的茶叶验真方法，针对每一种茶叶均对应建立一个专属于其自身的孪生网络模型，然后将待验真的茶叶图片，通过其孪生网络模型自动提取出目标茶叶所独有的隐式特征进行真假验证；具体包括以下步骤：

(1)数据集建立：在室内自然光照的条件下，使用一台采样设备在固定高度的前提下对每一类茶叶进行拍照采样，采样后进行滑动框的切割，将切割好的图片作为总数据集；

(2)筛选负样本：在包含所有茶叶种类的总数据集上训练一个孪生网络模型，随后根据其余各类茶叶与目标茶叶降维向量的欧式距离进行升序排列，欧式距离越小，则相似度越高；对于相似度靠前的前1/2类茶叶，随机取m张图片，而后1/2类茶叶取n张图片，m大于n，由此共同组成目标茶叶模型的负样本集；

(3)训练模型：在为目标茶叶准备好正负样本集后，训练出专属于目标茶叶的孪生网络验证模型，训练过程中一个通道的输入始终为正样本，即目标茶叶本身，标签为1，另一个通道的输入为正负样本合集，其中负样本的标签为0，正样本的标签为1，若两个通道输入图片标签一致，则最后的logits期望输出为1，否则为0；

(4)测试模型：当用户上传待验证的茶叶图片时，调出该类别茶叶的专属模型，将待验证图片切割后，转换至HSV空间中进行直方图规定化，最后与目标茶叶基准图片组合输入模型，如果输出在预设值以上则为真，否则为假。

进一步的，本发明所提出的基于孪生网络模型的茶叶验真方法，步骤(1)采用三种尺寸对图片进行缩放以模拟在不同高度下采样导致的茶叶大小以及数量的变化，缩放比例分别是22.4％、28％和37％，然后使用最小外接矩框选出每张图片的茶叶部分，再在其基础上选出最大内接矩，最后进行滑动框的切割，滑动框的大小始终固定为模型输入大小(224*224)。

进一步的，本发明所提出的基于孪生网络模型的茶叶验真方法，步骤(2)中的孪生网络模型使用VGG16的倒数第二层，即分类层的前一层输出作为最后的降维向量，在训练之前，使用ImageNet预训练好的VGG16模型来初始化权重和偏置，以促进模型的收敛，Loss函数设置为：

假设输入网络的两张图片为X1和X2，如果它们都归属于同一类茶叶，那么标签l为1，若不是同一类，则标签l为0，其中，D是两张图片降维向量之间的欧式距离，m是一个常数，整个Loss函数的作用是鼓励同一类茶叶的降维向量彼此靠近，而迫使不同类茶叶降维向量至少拉开m的距离。

进一步的，本发明所提出的基于孪生网络模型的茶叶验真方法，步骤(3)是对步骤(2)中的孪生网络结构进行改进，将其用于茶叶的验证，改进后的模型依然采用VGG16作为基准模型进行训练和初始化，分类层的前一层输出作为最后的降维向量，最后将两个通道的输出联合进行L1距离度量，其结果与单个S形神经元相连接；该神经元的预测值在[0,1]之间，用于衡量两个降维向量的相似度，相似度越高，越接近1；总体表示为：

P＝σ(∑_jα_j|h^(j) _1,L-1-h^(j) _2,L-1|)

其中σ表示Sigmoid激活函数，α_j是从第L-1层特征向量中自主学习到的额外参数，表示L1距离向量各维上的权重；如果训练过程中的批次大小为M，i表示第i个批次，那么整个批次的标签可以表示为一个M维向量y(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾)，标签向量命名遵循以下形式：

因此，训练过程中的损失函数被定义为二元交叉熵的形式：

L(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾)＝y(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾)logP(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾)+(1-y(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾))log(1-P(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾))。

进一步的，本发明所提出的基于孪生网络模型的茶叶验真方法，步骤(4)在测试阶段，首先将待验证茶叶图片进行颜色校准操作，即以训练时的目标茶叶图片为基准图，将待验证茶叶图片进行HSV直方图规定化，使得待验证茶叶图片在亮度和色调方面都接近于训练时的采样条件；并且由于茶叶不具有基准图片，因此在测试过程中应当选择一个目标茶叶的子集x₂ ⁽ⁱ⁾，该子集来自于目标茶叶的训练集；在校准后，调出专属于目标茶叶的验真模型，将校准图作为x₁，目标茶叶的子集作为x₂，共同输入模型，如果平均输出结果大于0.5，则待验证茶叶图片为真，否则为假；判断公式为：

本发明采用以上技术方案，相对于传统的特征比对方法，具有以下技术效果：

第一，本发明为每一种茶叶均配备了一个专属的验真模型，自动提取最有利于区分目标茶叶的特征进行验真，有效避免了传统方法依赖手工选择茶叶特征的问题，在自动化程度和准确率上都有了大幅提升。从实验结果可以看出该方法不论在验真还是验假方面，都取得了较好的验证结果。

第二，模型与模型之间互不干扰，当有新茶加入时，不会对之前的茶叶模型产生任何影响，依然会将其判别为假，具有较强的鲁棒特性，是一种有效可行的方法。

第三，本发明提出在验真前将待验证茶叶图片转换到HSV空间进行直方图规定化，使其在亮度和色调方面与采样图片接近，从而有效的解决了因设备差异而导致的验真错误问题。

附图说明

图1是用于茶叶验真的专属孪生网络结构图。

图2是茶叶验真流程图。

图3是在室内自然光，固定高度下的采样示例。

图4是不同尺寸缩放后进行滑动框切割后的效果图，缩放比例依次是22.4％、28％和37％。

图5是孪生网络的结构图。

图6是HSV直方图规定化效果图，从左到右依次是原图，基准图和校准后图片。

图7是茶叶验真展示图。

图8是训练过程收敛曲线图。

具体实施方式

以下结合附图对本发明作详细描述。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例和说明书附图对本发明的技术方案进行清楚、完整的描述，显然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明所提出的基于孪生网络模型的茶叶验真方法，具体包含以下步骤：

(1)数据采样：在室内自然光照的条件下，将茶叶平铺在一张白纸上，尽量不要露出白底，使用一台固定的采样设备，在固定高度的前提下对每一类茶叶都进行拍照采样，每类大概15张左右，分辨率为3024*4032，再使用最小内接矩框选出包含茶叶的部分，分别以三种不同的尺寸22.4％、28％和37％对其进行缩小，最后使用224*224的滑动框对其进行切割，切割后的图片集作为总数据集。

(2)选择负样本：在包含所有茶叶种类的总数据集上训练一个孪生网络模型，每个通道训练批次图片从总数据集中随机取得，训练完成后计算出目标茶叶降维向量与其他茶叶降维向量之间的欧式距离，然后进行升序排列，距离越小则相似度越高。对前1/2类的茶叶的负样本数量取多，后1/2类茶叶取少，共同组成负样本集，数量与正样本相近。

(3)训练模型：在准备好正负样本后，其中正样本图片标注为1，负样本图片标注为0。开始训练专属于目标茶叶的孪生网络验真模型，以VGG16作为模型基准结构，其倒数第二层(4096个神经元)，即分类层的前一层的输出作为最后的降维向量，训练过程中，一个通道的输入始终为正样本集，另一通道的输入为正负样本合集，最后将两个通道输出的降维向量的L1距离进行逻辑回归，当两个通道输入的都是目标茶叶时，输出logits的期望值为1，否则为0。批次大小设置为16，迭代步数为6200步，学习率为1e-5，以湄潭翠芽为例，在训练其专属模型时的Loss收敛图如图8所示。

(4)验证测试：当用户上传待验证的茶叶图片时，调出该类别茶叶的专属模型，将图片切割后转换至HSV空间，选择一张训练时目标茶叶的样本图作为基准进行直方图规定化，最后将规定化后的测试集与目标茶叶基准图片组合一起输入模型，若输出在0.5以上则为真，否则为假。最后的验真概率计算公式为：(判真个数/切割图片总数)。验证为真的图片个数超过一半，则待验证茶叶为真，否则为假。

请参照附图1和附图2，本发明提供一种基于孪生网路模型的茶叶验真方法，本发明技术方案，为每一类茶叶都配备一个专属的孪生网络验真模型，迫使其在训练过程中自动提取出最有利于校验目标茶叶的隐式特征进行验真，具有很好的鲁棒性和泛化性。具体如下：

首先进入步骤100，对每一类茶叶进行采样，具体是在室内自然光照的条件下，将茶叶平铺在一张白纸上，不要露出白底，以3042*4032的分辨率采样15张左右。注意每次采样结束后将茶叶均匀搅拌一下再进行下一次采样，图3为采样示例。

接着进入步骤110，对步骤100中采样的茶叶原图使用最小内接矩框选出包含茶叶的部分，然后分别以三种不同的尺寸将其缩小22.4％、28％和37％，最后使用224*224的滑动框对其进行切割，上下左右的滑动步长均设置为150。切割后的图片集作为原始数据集。进行这一步是为了模拟出采样时高度不同所导致的茶叶形态差异，图4为三种尺寸缩放后的切割效果图。

以上步骤都是对数据进行预处理，接着进入步骤120，对于那些与目标茶叶相似度比较高的茶叶类型，模型往往需要更多地样本去学习才能将它们和目标茶叶区分开，因此步骤120训练总体的孪生网络对负样本进行筛选，孪生网络结构如图5所示，使用VGG16作为其共享层网络结构，并使用Image_Net预训练的模型初始化模型参数，VGG16分类层的前一层作为降维向量(4096)的输出层。在训练过程中，梯度下降法的学习率设置为1e-5，每个通道训练批次图片均从总数据集中随机取得，如果两张图片标签相同，即属于同一类茶叶，则它们降维后向量之间的欧式距离越近越好，反之如果不同类，则至少拉开m的距离。损失函数设置为：

在训练结束后，一个通道输入目标茶叶的图片，另一个通道输入其他类型茶叶图片，计算出目标茶叶降维向量与其他类型茶叶降维向量之间的欧式距离，然后进行升序排列，越靠前的与目标茶叶越相似，最后对前1/2类茶叶的负样本数量取多，后1/2类茶叶取少，共同组成负样本集，数量与正样本相近。

接着进入步骤130，在步骤120准备好目标茶叶的正负训练集后，其中正样本图片标注为1，负样本图片标注为0。开始训练专属于目标茶叶的孪生网络验真模型，基准模型结构与步骤120相似。在专属模型的训练过程中，一个通道的输入始终为正样本集，另一通道的输入为正负样本合集，最后将两个通道输出的降维向量的L1距离进行逻辑回归，当两个通道输入的标签相同时，即都是目标茶叶时，输出logits的期望值为1，否则为0。批次大小设置为16，迭代步数为6200步，学习率为1e-5，以湄潭翠芽为例，在训练其专属模型时的Loss收敛图如图8所示。损失函数设置为：

loss＝ylog(p)+(1-y)log(1-p),p＝1/(1+e^(-x))，其中x是末端单个神经元的输出值，y是logits的期望输出值，即都是目标茶叶时，y为1，否则为0。

最后进入步骤140，当步骤130结束后，即可得到专属于目标茶叶的孪生网络验真模型，该模型输入为待验证的目标茶叶图片和目标茶叶类的基准图片，输出为相似概率。在验证前先将待验证茶叶图片切割后进行颜色校准操作，即以训练时的目标茶叶图片为基准图，将待验证茶叶图片进行HSV直方图规定化，使得待验证茶叶图片在亮度和色调方面都接近于训练时的采样条件，校准效果如图6所示。然后选择一个目标茶叶的子集x⁽ⁱ⁾ ₂，该子集来自于目标茶叶的训练集。在校准后，调出专属于目标茶叶的验真模型，将校准图作为x₁，目标茶叶的子集作为x₂，共同输入模型，如果平均输出结果大于0.5，则待验证茶叶图片为真，否则为假。判断公式为：

最后的验真概率计算公式为：(判真个数/切割图片总数)。验证为真的图片个数超过一半，则待验证茶叶为真，否则为假。

本发明中各茶叶的专属模型之间互不干扰，当有新茶加入时，不会对之前的茶叶模型产生任何影响，模型依然会将新茶判别为假，具有较强的鲁棒特性，是一种有效可行的方法。同时在验真前将待验证茶叶图片转换到HSV空间进行直方图规定化，使其在亮度和色调方面与采样图片接近，有效的解决了因设备差异而导致的验真错误问题。

本发明所提出的基于孪生网络模型的茶叶验真方法，首先，是对数据集的预处理阶段，使用滑动框对原图进行切割以适应模型的输入大小。其次，是数据集的筛选阶段，正样本为待验证茶叶，即目标茶叶本身，负样本中与目标茶叶相似的茶叶占多数，不相似占少数。最后，是模型的训练和测试阶段，在准备好正负训练集后，以1e-5的学习率，使用梯度下降法迭代训练6200步的到专属于目标茶叶的孪生网络验真模型。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替代，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于孪生网络模型的茶叶验真方法，其特征在于，针对每一种茶叶均对应建立一个专属于其自身的孪生网络模型，然后将待验真的茶叶图片，通过其孪生网络模型自动提取出目标茶叶所独有的隐式特征进行真假验证；具体包括以下步骤：

(1)数据集建立：在室内自然光照的条件下，使用一台采样设备在固定高度的前提下对每一类茶叶进行拍照采样，采样后进行滑动框的切割，将切割好的图片作为总数据集；

(2)筛选负样本：在包含所有茶叶种类的总数据集上训练一个孪生网络模型，随后根据其余各类茶叶与目标茶叶降维向量的欧式距离进行升序排列，欧式距离越小，则相似度越高；对于相似度靠前的前1/2类茶叶，随机取m张图片，而后1/2类茶叶取n张图片，m大于n，由此共同组成目标茶叶模型的负样本集；

(3)训练模型：在为目标茶叶准备好正负样本集后，训练出专属于目标茶叶的孪生网络验证模型，训练过程中一个通道的输入始终为正样本，即目标茶叶本身，标签为1，另一个通道的输入为正负样本合集，其中负样本的标签为0，正样本的标签为1，若两个通道输入图片标签一致，则最后的logits期望输出为1，否则为0；

(4)测试模型：当用户上传待验证的茶叶图片时，调出待验证类别茶叶的专属模型，将待验证图片切割后，转换至HSV空间中进行直方图规定化，最后与目标茶叶基准图片组合输入模型，如果输出在预设值以上则为真，否则为假；

其中，步骤(3)是对步骤(2)中的孪生网络结构进行改进，将其用于茶叶的验证，改进后的模型依然采用VGG16作为基准模型进行训练和初始化，分类层的前一层输出作为最后的降维向量，最后将两个通道的输出联合进行L1距离度量，其结果与单个S形神经元相连接；该神经元的预测值在[0,1]之间，用于衡量两个降维向量的相似度，相似度越高，越接近1；总体表示为：

P＝σ(∑_jα_j|h^(j) _1,L-1-h^(j) _2,L-1|)

其中σ表示Sigmoid激活函数，α_j是从第L-1层特征向量中自主学习到的额外参数，表示L1距离向量各维上的权重；如果训练过程中的批次大小为M，i表示第i个批次，那么整个批次的标签可以表示为一个M维向量y(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾)，标签向量命名遵循以下形式：

因此，训练过程中的损失函数被定义为二元交叉熵的形式：

L(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾)＝y(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾)logP(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾)+(1-y(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾))log(1-P(x₁ ⁽ⁱ⁾,x₂ ⁽ⁱ⁾))。

2.根据权利要求1所述的基于孪生网络模型的茶叶验真方法，其特征在于，步骤(1)采用三种尺寸对图片进行缩放以模拟在不同高度下采样导致的茶叶大小以及数量的变化，缩放比例分别是22.4％、28％和37％，然后使用最小外接矩框选出每张图片的茶叶部分，再在其基础上选出最大内接矩，最后进行滑动框的切割，滑动框的大小始终固定为模型输入大小(224*224)。

3.根据权利要求1所述的基于孪生网络模型的茶叶验真方法，其特征在于，步骤(2)中的孪生网络模型使用VGG16的倒数第二层，即分类层的前一层输出作为最后的降维向量，在训练之前，使用ImageNet预训练好的VGG16模型来初始化权重和偏置，以促进模型的收敛，Loss函数设置为：

假设输入网络的两张图片为X1和X2，如果它们都归属于同一类茶叶，那么标签l为1，若不是同一类，则标签l为0，其中，D是两张图片降维向量之间的欧式距离，m是一个常数，整个Loss函数的作用是鼓励同一类茶叶的降维向量彼此靠近，而迫使不同类茶叶降维向量至少拉开m的距离。

4.根据权利要求1所述的基于孪生网络模型的茶叶验真方法，其特征在于，步骤(4)在测试阶段，首先将待验证茶叶图片进行颜色校准操作，即以训练时的目标茶叶图片为基准图，将待验证茶叶图片进行HSV直方图规定化，使得待验证茶叶图片在亮度和色调方面都接近于训练时的采样条件；并且由于茶叶不具有基准图片，因此在测试过程中应当选择一个目标茶叶的子集x₂ ⁽ⁱ⁾，该子集来自于目标茶叶的训练集；在校准后，调出专属于目标茶叶的验真模型，将校准图作为x₁，目标茶叶的子集作为x₂，共同输入模型，如果平均输出结果大于0.5，则待验证茶叶图片为真，否则为假；判断公式为：