CN115690758B - 一种基于深度度量学习的茶脸验真方法及验真系统 - Google Patents

Abstract

本发明涉及计算机视觉领域，公开了一种基于深度度量学习的茶脸验真方法及验真系统。步骤1：对输入的一对茶脸图像进行预处理；所述一对茶脸包括待检测茶脸图像与原茶脸图像；步骤2：建立茶脸特征提取网络并训练；步骤3：将步骤1预处理后的一对茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；步骤4：基于步骤3图像的特征编码，计算特征编码之间的欧氏距离，得到图像间的相似度指数；步骤5：基于确定的最佳阈值，将步骤4的图像间的相似度指数与最佳阈值进行比较，判断两张茶脸是否相似，若相似则为真，若不相似则为假。本发明用以解决普洱茶饼可追溯性低的问题。

Description

一种基于深度度量学习的茶脸验真方法及验真系统

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于深度度量学习的茶脸验真方法及验真系统。

背景技术

普洱茶(PET)是中国云南极具特色的茶品之一，其包装、生产、加工、仓储等过程都影响了普洱茶本身的品质，不同地区不同品种以及不同的加工工艺都对其价值产生极大的影响。通常普洱茶存储时间越长价值越高，许多不法企业和个人以次充好、掺杂使假，严重影响了普洱茶销售市场，并且会误导消费者，对消费者的经济效益造成负面影响。如果提高普洱茶产品的可追溯性，那么就可以很容易定位到假冒产品。目前，已经提出了多种技术方案来提高产品的可追溯性。例如，采用绑定快速响应（QR）码近场通信（NFC）芯片的方式，可以很好的追溯供应链的每个环节。但是基于数字ID的方案无法完全解决假冒问题，依然可以通过复制QR码或NFC芯片的方式对产品进行造假，甚至可以将廉价产品装入原包装中。普洱茶在压缩成饼状进行销售时，同样会遇到此类问题。因此，发明一种可以提高普洱茶饼可追溯性的方法，对普洱茶销售市场的稳定发展和提升产品可信度具有重要意义。

提取并利用产品本身独特的和自然的特征信息也是增强产品可追溯性的重要方式。普洱茶压缩成饼状后，会形成不同的自然纹理，并且这些纹理具有唯一性，即不会出现两片纹理相同的茶饼。我们将这种不同纹理的茶饼图像称为茶脸图像。设计一种茶脸验真方法对普洱茶销售市场的稳定发展和提升产品可信度具有重要意义。

发明内容

本发明提供一种基于深度度量学习的茶脸验真方法，解决普洱茶饼可追溯性低的问题，用以填补现有技术中没有对于普洱茶的茶脸检测的技术空白。

本发明提供一种基于深度度量学习的茶脸验真系统，用以解决现有技术中没有对普洱茶茶脸的检测系统。

本发明通过以下技术方案实现：

一种基于深度度量学习的茶脸验真方法，所述茶脸验真方法包括以下步骤：

步骤1：对输入的一对茶脸图像进行预处理；所述一对茶脸包括待检测茶脸图像与原茶脸存档图像；

步骤2：建立茶脸特征提取网络并训练；

步骤3：将步骤1预处理后的一对茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；

步骤4：基于步骤3图像的特征编码，计算特征编码之间的欧氏距离，得到图像间的相似度指数；

步骤5：基于确定的最佳阈值，将步骤4的图像间的相似度指数与最佳阈值进行比较，判断两张茶脸是否相似，若相似则为真，若不相似则为假。

一种基于深度度量学习的茶脸验真方法，所述步骤1具体为，将一对茶脸图片的分辨率均调整为320×320×3。

一种基于深度度量学习的茶脸验真方法，所述步骤2具体为，

主干网络由{Layer1, Layer2, Layer3, Layer4, Layer5,…, Layer18}18个模块组成， 其中{Layer1}为卷积模块，包括卷积层、正则化层和激活层。{ Layer2, Layer3,Layer4}和{Layer8, Layer9, Layer10, Layer11}为线性瓶颈模块，{Layer5, Layer6,Layer7}和{Layer12, Layer13, Layer14, Layer15, Layer16}为线性茶脸瓶颈模块，{Layer17}为Flatten模块，{Layer18}为全连接模块；

最终输出一个128维的特征向量。

一种基于深度度量学习的茶脸验真方法，所述线性瓶颈模块包括深度可分离卷积层，卷积层，正则化层和激活层；

所述线性茶脸瓶颈模块包括深度可分离卷积层，卷积层，正则化层，激活层和ECA通道注意力机制模块。

一种基于深度度量学习的茶脸验真方法，所述步骤2具体包括以下步骤，

步骤2.1：按照图像拍摄标准进行茶脸图像采集；

步骤2.2：对步骤2.1采集的茶脸图像进行数据增强后，构建训练数据集，并且按照9：1的比例将训练数据集拆分成训练分集和验证分集；

步骤2.3： 将训练数据集输入到茶脸特征提取网络中对茶脸特征提取网络进行训练，迭代到指定轮次且损失值收敛时保存模型；

步骤2.4：对步骤2.3保存的模型通过验证集进行验证茶脸特征提取网络的训练效果。

一种基于深度度量学习的茶脸验真方法，所述步骤2.1中的图像拍摄标准具体为，

以白色背景衬底，保持背景的干净整洁无杂物；

在距离茶饼正上方20cm处进行拍摄；

保证茶饼在图片的中心位置；

使茶饼最大化填充图片，以保证纹理清晰。

一种基于深度度量学习的茶脸验真方法，所述步骤2.3的损失值通过使用组合损失函数来实现，具体为，所述损失函数采用三元组Triplet损失函数和Softmax损失函数；

所述三元组Triplet损失函数表达式为，

其中，代表基准样本；/>代表正样本；/>代表负样本；/>代表间隔参数；/>代表二范数的平方；/>代表总训练轮次；/>代表第/>个训练轮次；/>代表映射函数；

所述Softmax损失函数表达式为，

其中，代表第/>个深度特征，属于第/>个类；/>代表特征维度；/>代表最后一个全连接层中权重/>的第/>列， />是偏置项；/>代表训练的轮次的大小；/>代表第/>个训练轮次；/>代表每一列权重；/>代表权重总列数；/>代表偏置项；代表每一个类别；/>代表偏置项。

一种基于深度度量学习的茶脸验真方法，所述步骤4的相似度指数代表两张茶脸图像的欧氏距离，距离越小两张茶脸图像越相似，距离越大两张茶脸图像越不相似。

一种基于深度度量学习的茶脸验真方法，所述5通过对构建的测试数据集并采用十折交叉验证的方式获得最佳阈值，该阈值用于判断两张茶脸是否相似，即两张茶脸的欧氏距离与阈值相比较，大于阈值，判定为不相似，证明该茶脸为假；若两张茶脸的欧氏距离与阈值相比较，小于阈值，判定为相似，证明该茶脸为真。

一种基于深度度量学习的茶脸验真系统，所述茶脸验真系统包括图像预处理单元、图像特征提取单元和特征图像比较单元；

所述图像预处理单元，用于对输入的一对茶脸图像进行预处理；

所述图像特征提取单元，内置茶脸特征提取网络，一对茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；

所述特征图像比较单元，基于图像的特征编码，计算特征编码之间的欧氏距离，得到图像间的相似度指数，将图像间的相似度指数与设置的最佳阈值之间进行比较，判断两张茶脸是否相似，若相似则为真，若不相似则为假。

本发明的有益效果是：

本发明能够快速定位到假冒伪劣茶品。

本发明采用深度度量学习的方法，增强了数据的可靠性，提升消费者对茶品的信任度。

本发明为查验茶饼的真伪提供了可靠地技术支持。

附图说明

图1是本发明的方法流程图。

图2是本发明的茶脸特征提取网络训练流程图。

图3是本发明的茶脸特征提取网络的结构示意图。

图4是本发明的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度度量学习的茶脸验真方法，所述茶脸验真方法包括以下步骤：

步骤1：对输入的一对茶脸图像进行预处理；所述一对茶脸包括待检测茶脸图像与原茶脸存档图像；

步骤2：建立茶脸特征提取网络并训练；

步骤3：将步骤1预处理后的一对茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；

具体地，将存于数据库中的茶脸图像输入茶脸特征提取网络得到茶脸原始图像的特征编码，接着，输入待检测茶脸图像到茶脸特征提取网络中获得特征编码，供下一步使用。

步骤4：基于步骤3图像的特征编码，计算特征编码之间的欧氏距离，得到图像间的相似度指数；

具体地，本发明实施例所描述的欧氏距离指的是两张茶脸经过茶脸特征提取网络后得到的128维特征向量间的欧氏距离；其中欧氏距离的公式为：

公式中，x_i为向量x的第i个值，y_i为向量y的第i个值。

步骤5：基于确定的最佳阈值，将步骤4的图像间的相似度指数与最佳阈值进行比较，判断两张茶脸是否相似，若相似则为真，若不相似则为假。

一种基于深度度量学习的茶脸验真方法，所述步骤1对一对茶脸图像进行预处理具体为，将一对茶脸图片的分辨率均调整为320×320×3。

如图3所示，一种基于深度度量学习的茶脸验真方法，所述步骤2茶脸特征提取网络的建立过程具体为，

主干网络由{Layer1, Layer2, Layer3, Layer4, Layer5,…, Layer18}18个模块组成， 其中{Layer1}为卷积模块，包括卷积层、正则化层和激活层。{ Layer2, Layer3,Layer4}和{Layer8, Layer9, Layer10, Layer11}为线性瓶颈模块，{Layer5, Layer6,Layer7}和{Layer12, Layer13, Layer14, Layer15, Layer16}为线性茶脸瓶颈模块，{Layer17}为Flatten模块，{Layer18}为全连接模块；

最终输出一个128维的特征向量。

一种基于深度度量学习的茶脸验真方法，所述线性瓶颈模块包括深度可分离卷积层，卷积层，正则化层和激活层；

所述线性茶脸瓶颈模块包括深度可分离卷积层，卷积层，正则化层，激活层和ECA通道注意力机制模块。

如图2所示，一种基于深度度量学习的茶脸验真方法，所述步骤2茶脸特征提取网络的训练过程具体包括以下步骤，

步骤2.1：按照图像拍摄标准进行茶脸图像采集；

步骤2.2：对步骤2.1采集的茶脸图像进行数据增强后，构建训练数据集，并且按照9：1的比例将训练数据集拆分成训练分集和验证分集；

步骤2.3： 将训练数据集输入到茶脸特征提取网络中对茶脸特征提取网络进行训练，迭代到指定轮次且损失值收敛时保存模型；

步骤2.4：对步骤2.3保存的模型通过验证集进行验证茶脸特征提取网络的训练效果。

一种基于深度度量学习的茶脸验真方法，所述步骤2.1中的图像拍摄标准具体为，

以白色背景衬底，保持背景的干净整洁无杂物；

在距离茶饼正上方20cm处进行拍摄；

保证茶饼在图片的中心位置；

使茶饼最大化填充图片，以保证纹理清晰。

一种基于深度度量学习的茶脸验真方法，所述步骤2.3的损失值通过使用组合损失函数来实现，具体为，使用组合损失函数来评价模型的好坏供模型进行学习；所述损失函数采用三元组Triplet损失函数和Softmax损失函数；

所述三元组Triplet损失函数表达式为，

其中，代表基准（anchor）样本，/>代表正（positive）样本，/>代表负（negative）样本；

所述Softmax损失函数表达式为，

其中，表示第i个深度特征，属于第/>个类； d是特征维度；/>表示最后一个全连接层中权重/>的第 j 列， />是偏置项。

一种基于深度度量学习的茶脸验真方法，所述步骤4的相似度指数代表两张茶脸图像的欧氏距离，距离越小两张茶脸图像越相似，距离越大两张茶脸图像越不相似。欧氏距离远近的判断基于最佳阈值。

一种基于深度度量学习的茶脸验真方法，所述5通过对构建的测试数据集并采用十折交叉验证的方式获得最佳阈值，该阈值用于判断两张茶脸是否相似，即两张茶脸的欧氏距离与阈值相比较，大于阈值，判定为不相似，证明该茶脸为假；若两张茶脸的欧氏距离与阈值相比较，小于阈值，判定为相似，证明该茶脸为真。

所述测试数据集具体为，基于收集的区别于步骤2.2的训练数据集，为单独采集的茶脸图像主要用于确定最佳阈值。

一种基于深度度量学习的茶脸验真系统，所述茶脸验真系统包括图像预处理单元、图像特征提取单元和特征图像比较单元；

所述图像预处理单元，用于对输入的一对茶脸图像进行预处理；

所述图像特征提取单元，内置茶脸特征提取网络，一对茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；

所述特征图像比较单元，基于图像的特征编码，计算特征编码之间的欧氏距离，得到图像间的相似度指数，将图像间的相似度指数与设置的最佳阈值之间进行比较，判断两张茶脸是否相似，若相似则为真，若不相似则为假。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于深度度量学习的茶脸验真方法。

如图4所示，该电子设备可以包括：处理器(processor)210、通信接口(Communications Interface)220、存储器(memory)230和通信总线240，其中，处理器210，通信接口220，存储器230通过通信总线240完成相互间的通信。处理器210可以调用存储器230中的逻辑指令，以执行上述各方法所提供的茶脸验真方法，该方法包括：输入一对茶脸图像进行预处理，将图片分辨率调整为320×320×3；将茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；计算特征编码之间的欧氏距离，得到图像间的相似度指数；根据最佳阈值，得出两张茶脸是否相似，即是否为真。

此外，上述的存储器230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的茶脸验真方法，该方法包括：输入一对茶脸图像进行预处理，将图片分辨率调整为320×320×3；将茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；计算特征编码之间的欧氏距离，得到图像间的相似度指数；根据最佳阈值，得出两张茶脸是否相似，即是否为真。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

Claims (7)

1.一种基于深度度量学习的茶脸验真方法，其特征在于，所述茶脸验真方法包括以下步骤：

步骤1：对输入的一对茶脸图像进行预处理；所述一对茶脸包括待检测茶脸图像与原茶脸图像；

步骤2：建立茶脸特征提取网络并训练；

步骤3：将步骤1预处理后的一对茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；

步骤4：基于步骤3图像的特征编码，计算特征编码之间的欧氏距离，得到图像间的相似度指数；

步骤5：基于确定的最佳阈值，将步骤4的图像间的相似度指数与最佳阈值进行比较，判断两张茶脸是否相似，若相似则为真，若不相似则为假；

所述步骤2具体包括以下步骤，

步骤2.1：按照图像拍摄标准进行茶脸图像采集；

步骤2.2：对步骤2.1采集的茶脸图像进行数据增强后，构建训练数据集，并且按照9：1的比例将训练数据集拆分成训练分集和验证分集；

步骤2.3： 将训练数据集输入到茶脸特征提取网络中对茶脸特征提取网络进行训练，迭代到指定轮次且损失值收敛时保存模型；

步骤2.4：对步骤2.3保存的模型通过验证集进行验证茶脸特征提取网络的训练效果；

所述步骤2具体为，

主干网络由{Layer1, Layer2, Layer3, Layer4, Layer5,…, Layer18}18个模块组成， 其中{Layer1}为卷积模块，包括卷积层、正则化层和激活层；{ Layer2, Layer3,Layer4}和{Layer8, Layer9, Layer10, Layer11}为线性瓶颈模块，{Layer5, Layer6,Layer7}和{Layer12, Layer13, Layer14, Layer15, Layer16}为线性茶脸瓶颈模块，{Layer17}为Flatten模块，{Layer18}为全连接模块；

最终输出一个128维的特征向量；

所述线性瓶颈模块包括深度可分离卷积层，卷积层，正则化层和激活层；

所述线性茶脸瓶颈模块包括深度可分离卷积层，卷积层，正则化层，激活层和ECA通道注意力机制模块。

2.根据权利要求1所述一种基于深度度量学习的茶脸验真方法，其特征在于，所述步骤1具体为，将一对茶脸图片的分辨率均调整为320×320×3。

3.根据权利要求1所述一种基于深度度量学习的茶脸验真方法，其特征在于，所述步骤2.1中的图像拍摄标准具体为，

以白色背景衬底，保持背景的干净整洁无杂物；

在距离茶饼正上方20cm处进行拍摄；

保证茶饼在图片的中心位置；

使茶饼最大化填充图片，以保证纹理清晰。

4.根据权利要求1所述一种基于深度度量学习的茶脸验真方法，其特征在于，所述步骤2.3的损失值通过使用组合损失函数来实现，具体为，所述损失函数采用三元组Triplet损失函数和Softmax损失函数；

所述三元组Triplet损失函数表达式为，

其中，代表基准样本；/>代表正样本；/>代表负样本；/>代表间隔参数；/>代表二范数的平方；/>代表总训练轮次；/>代表第/>个训练轮次；/>代表映射函数；

所述Softmax损失函数表达式为，

其中，代表第i个深度特征，属于第/>个类； d代表特征维度；/>代表最后一个全连接层中权重/>的第 j 列， />是偏置项；/>代表训练的轮次的大小；/>代表第/>个训练轮次；/>代表每一列权重；/>代表权重总列数；/>代表每一列权重的偏置项；/>代表每一个类别；/>代表第/>个类的偏置项，R代表自然数的集合。

5.根据权利要求1所述一种基于深度度量学习的茶脸验真方法，其特征在于，所述步骤4的相似度指数代表两张茶脸图像的欧氏距离。

6.根据权利要求5所述一种基于深度度量学习的茶脸验真方法，其特征在于，所述步骤5通过构建测试数据集并采用十折交叉验证的方式获得最佳阈值，该阈值用于判断两张茶脸是否相似，即大于阈值，不相似，证明该茶脸为假，小于阈值，相似，证明该茶脸为真。

7.一种基于深度度量学习的茶脸验真系统，其特征在于，所述茶脸验真系统包括图像预处理单元、图像特征提取单元和特征图像比较单元；

所述图像预处理单元，用于对输入的一对茶脸图像进行预处理；

所述图像特征提取单元，内置茶脸特征提取网络，一对茶脸图像分别输入茶脸特征提取网络，得到图像的特征编码；

所述特征图像比较单元，基于图像的特征编码，计算特征编码之间的欧氏距离，得到图像间的相似度指数，将图像间的相似度指数与设置的最佳阈值之间进行比较，判断两张茶脸是否相似，若相似则为真，若不相似则为假；

所述图像特征提取单元还包括，按照图像拍摄标准进行茶脸图像采集；

对采集的茶脸图像进行数据增强后，构建训练数据集，并且按照9：1的比例将训练数据集拆分成训练分集和验证分集；

将训练数据集输入到茶脸特征提取网络中对茶脸特征提取网络进行训练，迭代到指定轮次且损失值收敛时保存模型；

对保存的模型通过验证集进行验证茶脸特征提取网络的训练效果；

所述图像特征提取单元的茶脸特征提取网络具体为，

主干网络由{Layer1, Layer2, Layer3, Layer4, Layer5,…, Layer18}18个模块组成， 其中{Layer1}为卷积模块，包括卷积层、正则化层和激活层；{ Layer2, Layer3,Layer4}和{Layer8, Layer9, Layer10, Layer11}为线性瓶颈模块，{Layer5, Layer6,Layer7}和{Layer12, Layer13, Layer14, Layer15, Layer16}为线性茶脸瓶颈模块，{Layer17}为Flatten模块，{Layer18}为全连接模块；

最终输出一个128维的特征向量；

所述线性瓶颈模块包括深度可分离卷积层，卷积层，正则化层和激活层；

所述线性茶脸瓶颈模块包括深度可分离卷积层，卷积层，正则化层，激活层和ECA通道注意力机制模块。