CN114818985B - 基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法 - Google Patents
基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法 Download PDFInfo
- Publication number
- CN114818985B CN114818985B CN202210609737.8A CN202210609737A CN114818985B CN 114818985 B CN114818985 B CN 114818985B CN 202210609737 A CN202210609737 A CN 202210609737A CN 114818985 B CN114818985 B CN 114818985B
- Authority
- CN
- China
- Prior art keywords
- msc
- train
- sample
- training
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005457 optimization Methods 0.000 title claims abstract description 10
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 10
- 238000001228 spectrum Methods 0.000 claims abstract description 179
- 238000012549 training Methods 0.000 claims abstract description 134
- 230000003595 spectral effect Effects 0.000 claims abstract description 109
- 238000005259 measurement Methods 0.000 claims abstract description 54
- 241001122767 Theaceae Species 0.000 claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 86
- 230000004913 activation Effects 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 33
- 238000013508 migration Methods 0.000 claims description 22
- 230000005012 migration Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 15
- 230000002779 inactivation Effects 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法，其步骤包括：1、获取茶叶的高光谱图像并从中提取光谱信息与图像信息；2、采用伪孪生卷积神经网络和双锚点三元组的结构构建网络，并将训练集数据送入模型进行训练，得到光谱信息与图像信息到新的特征空间的映射；3、根据训练得到的模型，送入待检测样的高光谱数据，通过其输出的特征向量度量其距离并判断样品相似性。本发明能根据茶叶的高光谱数据计算度量空间下的光谱特征与图像特征，从而计算不同茶样间的距离，表征茶样的相似性。
Description
技术领域
本发明涉及茶叶精加工领域，具体是一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法。
背景技术
茶叶是中国特有的饮料。我国茶叶的总产量、栽培面积、出口量均居世界第一，已成为世界上最大的茶叶生产和消费国，在茶叶的生产、消费和对外贸易中占有举足轻重的地位。
拼配，就是把具有一定共性而形质不一的产品，拼合在一起的作业。这是一种常用的提高茶叶品质、保证产品延续性、扩大货源、增加数量、获取较高经济效益的方法。只有通过科学而精致的拼配，加入等级接近优势互补的调剂茶，我们才能获得有产量的品质稳定、质量上乘的成品茶。
在目前的研究成果中，国内外学者的研究目的都在于如何准确区分开不同类别或者不同等级的茶叶，但并没有解决掉茶叶拼配过程中的一个关键问题，即拼配过程中因为原料样比例变化而品质不断变化的试拼小样，与标准样的相似程度到底是如何变化的。因为本研究主要面向混合后的茶叶与原茶叶的相似性度量。以期望在进行拼配的过程中，客观准确的度量试拼小样与标准样之间的距离，稳定茶叶的质量。
近红外光谱成像技术具有分析速度快、无损、样品不需要预处理等优势，由于光谱可以快速获取大量信息，而且能够有效反映待检测物的内质成分，因此被广泛用于农业科学方面。
发明内容
本发明为克服现有技术的不足之处，提供一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法，以期能在茶叶拼配过程中，客观准确的度量试拼小样与标准样之间的距离，从而评价两者之间的相似性，保证试拼小样与标准样质量品质相仿，达到稳定茶叶的质量的目的。
为实现达到上述目的，本发明所采用的技术方案为：
本发明一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法的特点在于，是按照以下步骤进行：
步骤1、采集茶叶样本的高光谱数据集，并从所述高光谱数据集中提取光谱数据集及其对应的图像数据集；对所述光谱数据集进行MSC预处理，得到预处理后的光谱数据集；
将所述预处理后的光谱数据集划分为训练集和标准集；
令所述训练集中的n个训练光谱数据记为Fmsc_train_1，…，Fmsc_train_i，…Fmsc_train_n，其中，Fmsc_train_i表示第i个训练光谱数据；i∈(1，n)，所述训练集对应的标签集为Lt＝{Lt_1，…，Lt_i，…，Lt_n}，其中，Lt_i表示第i个训练光谱数据Fmsc_train_i对应的标签；
令所述标准集中nn个标准样光谱记为Fmsc_std_1，…，Fmsc_std_ii，…，Fmsc_std_nn，其中，Fmsc_std_ii表示第ii个标准光谱数据；ii∈(1，nn)，所述标准集对应的标签集为Ls＝{Ls_1，…，Ls_ii，…，Ls_n}，其中，Ls_ii表示第ii个标准光谱数据Fmsc_std_ii对应的标签；
对所述预处理后的光谱数据集中每个光谱数据在所述图像数据集中对应的各波段的高光谱图像进行主成分分析，得到每个光谱数据在各个波段的高光谱图像的贡献率，并选出每个光谱数据在各个波段的高光谱图像的中贡献率最高的三张图像；分别计算每个光谱数据在各个波段的高光谱图像中贡献率最高的三张图像的灰度共生矩阵，从而得到相应光谱数据的三个图像特征；
其中，所述训练集中的n个训练光谱数据所对应的贡献率最高的三张图像的图像特征记为Pmsc_train_1_1st，Pmsc_train_1_2nd，Pmsc_train_1_3rd，…，Pmsc_train_i_1st，Pmsc_train_i_2nd，Pmsc_train_i_3rd，…，Pmsc_train_n_1st，Pmsc_train_n_2nd，Pmsc_train_n_3rd，其中，Pmsc_train_i_1st，Pmsc_train_i_2nd，Pmsc_train_i_3rd分别代表第i个训练光谱数据Fmsc_train_i所对应的贡献率最高的三张图像的图像特征；
令所述标准集中nn个标准光谱数据所对应的贡献率最高的三张图像的图像特征记为Pmsc_std_1_1st，Pmsc_std_1_2nd，Pmsc_std_1_3rd，…，Pmsc_std_ii_1st，Pmsc_std_ii_2nd，Pmsc_std_ii_3rd，…，Pmsc_std_nn_1st，Pmsc_std_nn_2nd，Pmsc_std_nn_3rd，其中，Pmsc_std_ii_1st，Pmsc_std_ii_2nd，Pmsc_std_ii_3rd分别代表第ii个标准光谱数据Fmsc_std_ii所对应的贡献率最高的三张图像的图像特征；
步骤2、构建迁移度量学习网络，包括：一对伪孪生卷积神经网络和中心锚点三元组损失函数；其中，任意一个伪孪生卷积神经网络包括：两个卷积层，两个池化层、一个dropout层及一个全连接层；一对伪孪生卷积神经网络的各个参数不同，其中一个伪孪生卷积神经网络的第一个卷积层cov1包含c个大小均为b×1的一维卷积核g1，…，gu，…，gc，gu表示第u个一维卷积核；第一个池化层为最大池化方式，池化核的大小与步长均为P；第二个卷积层cov2包含c′个大小均为b′×1×c的卷积核q1，…，qu′，…，qc′，其中，qu′表示第u′个大小为b′×1×c的卷积核，且qu′包含c个大小为b′×1的卷积核qu′1，…，qu′v，…，qu′c，qu′v表示qu′的第v个大小为b′×1的卷积；第二个池化层为最大池化方式，池化核的大小与步长均为R；dropout层的神经元失活率为γ；
步骤2.1、每次训练过程中均从训练集中选择3个训练光谱数据及其对应的各波段的高光谱图像并输入所述迁移度量学习网中进行训练：
令第w次训练过程中所输入的3个训练光谱数据Fw为第m1、m2、m3个训练光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}，其中，第w次训练过程中的第m1个训练集光谱数据Fmsc_train_m1的标签Lt_m1与第m2个训练集光谱数据Fmsc_train_m2的标签Lt_m2相同，第w次训练过程中的第m3个训练集光谱数据Fmsc_train_m3的标签Lt_m3与第m1个训练集光谱数据Fmsc_train_m1的标签Lt_m1不同；
令第w次训练过程中所输入的3个训练集光谱数据Fw所对应的的各波段的高光谱图像Pw＝{Pmsc_train_m1_1st，Pmsc_train_m1_2nd_，Pmsc_train_m1_3rd，Pmsc_train_m2_1st，Pmsc_train_m22nd，Pmsc_train_m2_3rd，Pmsc_train_m3_1st，Pmsc_train_m3_2nd，Pmsc_train_m33rd}，其中，Pmsc_train_m1_1st，Pmsc_train_m1_2nd，Pmsc_train_m1_3rd分别表示第w次训练过程中的第m1个训练光谱数据Fmsc_train_m1所对应的贡献率最高的三张图像的图像特征；Pmsc_train_m2_1st，Pmsc_train_m2_2nd，Pmsc_train_m2_3rd分别表示第w次训练过程中的第m2个训练光谱数据Fmsc_train_m2所对应的贡献率最高的三张图像的图像特征；Pmsc_train_m3_1st，Pmsc_train_m3_2nd，Pmsc_train_m3_3rd分别表示第w次训练过程中的第m3个训练光谱数据Fmsc_train_m3所对应的贡献率最高的三张图像的图像特征；
步骤2.2、将3个训练集光谱数据Fw送入第一个伪孪生卷积神经网络Net1中，并先通过第一个卷积层cov1的处理后得到三样本单次光谱卷积特征FC1w＝{Fgm1，Fgm2，Fgm3}，其中，Fgm1为Fmsc_train_m1经过卷积处理后的单样本单次光谱卷积特征，且Fgm1＝{Fgm1_1，…，Fgm1_u，…，Fgm1_c}，Fgm1_u为Fmsc_train_m1与第u个卷积核gu计算得到的单次光谱卷积特征，并利用式(1)得到Fgm1_u中的第n个单次卷积值Fgm1_u(n)，Fgm2为Fmsc_train_m2经过卷积处理后的单样本单次光谱卷积特征，且Fgm2＝{Fgm2_1，…，Fgm2_u，…，Fgm2_c}，Fgm3为Fmsc_train_m3经过卷积处理后的单样本单次光谱卷积特征，且Fgm3＝{Fgm3_1，…，Fgm3_u，…，Fgm3_c}；
式(1)中，gu(τ)表示gu的第τ个光谱卷积核的值，Fmsc_train_m_1(τ+n-1)表示Fmsc_train_m_1的第τ+n-1个波段下的光谱值；
所述三样本单次光谱卷积特征FC1w经过第一个池化层pooll的最大池化处理后得到三样本单次光谱池化特征FP1w＝{Fpm1，Fpm2，Fpm3}，其中，Fpm1表示Fgm1经过pool1得到的单样本单次光谱池化特征，且Fpm1＝{Fpm1_1，…，Fpm1_u，…，Fpm1_c}，Fpm1_u为单次光谱池化特征，并利用式(2)得到Fpm1_u中的第n个单次池化值Fpm1_u(n)；Fpm2表示Fgm2经过pool1得到的单样本单次光谱池化特征，Fpm3表示Fgm3经过pool1得到的单样本单次光谱池化特征；
Fpm1_u(n)＝max{Fgm1_u(n)，…，Fgm1_u(n+P)} (2)
式(2)中，Fgm1_u(n)与Fgm1_u(n+P)分别表示Fgm1_u中的第n与第n+P个波段光谱的单次池化值；
所述三样本单次光谱池化特征FP1w经过sigmoid激活函数后，得到三样本单次激活光谱特征Fsig1w＝{Fsigm1，Fsigm2，Fsigm3}，其中，Fsigm1表示Fpm1经过sigmoid激活函数后得到单样本单次激活光谱特征，且Fsigm1＝{Fsigm1_1，…，Fsigm1_u，…，Fsigm1_c}，其中，Fsigm1_u表示单次激活光谱特征，并由式(3)得到Fsigm1_u中的第n个单次激活值Fsigm1_u(n)；Fsigm2表示Fpm2经过sigmoid激活函数后得到单样本单次激活光谱特征，Fsigm3表示Fpm3经过sigmoid激活函数后得到单样本单次激活光谱特征；
Fsig1w送入第二卷积层cov2后得到三样本二次卷积光谱特征FC2w＝{Fqm1，Fqm2，Fqm3}，其中，Fqm1为Fsigm1经过卷积处理得到的单样本二次卷积光谱特征，且Fqm1＝{Fqm1_1，…，Fqm1_u′，…，Fqm1_c′}，Fqm1_u′为Fsigm1与qu′计算卷积得到的二次卷积光谱特征，并利用式(4)得到Fqm1_u′中的第n个二次光谱值Fqm1_u′(n)；Fqm2为Fsigm2经过卷积处理得到的单样本二次卷积光谱特征，Fqm3为Fsigm3经过卷积处理得到的单样本二次卷积光谱特征；
式(4)中，Fsigm1_u(τ+n-1)表示Fsigm1中第u个单次激活光谱特征Fsigm1_u的第τ+n-1个单次激活值，qu′u(τ)表示qu′的第u个大小为b′×1的卷积的第τ个光谱卷积核的值；
FC2w经过池化层pool2后得到三样本二次池化光谱特征FP2w＝{Frm1，Frm2，Frm3}，其中Frm1表示Fqm1经过pool2后得到的单样本二次池化光谱特征，且Frm1＝{Frm1_1，…，Frm1_u′，…，Frm1_c′}，Frm1_u′为Fqm1_u′经过池化层pool2后得到的二次池化光谱特征，并利用式(5)得到Frm1_u′中的第n个二次池化值Frm1_u′(n)；Frm2表示Fqm2经过pool2后得到的单样本二次池化光谱特征，Frm3表示Fqm3经过pool2后得到的单样本二次池化光谱特征；
Frm1_u′(n)＝max{Fqm1_u′(n)，…，Fqm1_u′(n+R)} (5)
式(5)中，Fqm1_u′(n)和Fqm1_u′(n+R)分别为Fqm1_u′的第n和n+R个二次光谱值；
所述三样本二次池化光谱特征FP2w经过sigmoid激活函数后，得到三样本二次激活光谱特征Fsig2w＝{Fsig2m1，Fsig2m2，Fsig2m3}，其中，Fsig2m1表示Frm1经过sigmoid激活函数后得到单样本二次激活光谱特征，其中，Fsig2m1＝{Fsig2m1_1，…，Fsig2m1_u′，…，Fsig2m1_c′}，其中，Fsig2m1_u′表示Frm1_u′经过sigmoid激活函数后得到的二次激活光谱特征，并由式(6)得到Fsig2m1_u′中的第n个二次激活值Fsig2m1_u′(n)；Fsig2m2表示Frm2经过sigmoid激活函数后得到单样本二次激活光谱特征，Fsig2m3表示Frm3经过sigmoid激活函数后得到单样本二次激活光谱特征；
所述三样本二次池化光谱特征Fsig2w送入dropout层进行处理后再经过所述全连接层，并输出度量空间光谱特征Fdw＝{Fdm1，Fdm2，Fdm3}，其中，Fdm1，Fdm2，Fdm3分别第m1、m2、m3个训练集光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}经过第一个伪孪生卷积神经网络Net1后得到的单样本度量空间光谱特征；
将第m1、m2、m3个训练集光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}所对应的图像数据Pw送入第二个伪孪生卷积神经网络Net2中进行处理，从而得到度量空间图像特征FIm＝{FIm1_1st，FIm1_2nd，FIm1_3rd，FIm2_1st，FIm2_2nd，FIm2_3rd，FIm3_1st，FIm3_2nd，FIm3_3rd}，其中，FIm1_1st，FIm1_2nd，FIm1_3rd分别第m1个训练集光谱数据Fmsc_train_m1在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征；FIm2_1st，FIm2_2nd，FIm2_3rd为第m2个训练集光谱数据Fmsc_train_m2在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征，FIm3_1st，FIm3_2nd，FIm3_3rd为第m3个训练集光谱数据Fmsc_train_m3在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征；
步骤2.3、利用式(7)构建中心锚点的三元组损失函数L：
式(7)中，||.，.||表示马氏距离函数；
步骤2.4、基于所述训练集，利用梯度下降法对所述迁移度量学习网络进行训练，并计算所述中心锚点三元组损失函数L，用于更新网络参数，当训练达到所设定的次数或所述三元组损失函数L收敛时，训练停止，从而得到最优茶叶品质度量模型；
步骤3、将标准样与待测茶叶的高光谱数据输入所述最优茶叶品质度量模型中进行处理，分别输出相应的度量空间光谱特征和度量空间图像特征，并根据标准样与待测茶叶的马氏距离对茶叶之间的相似性进行品质度量。
本发明所述的基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法的特点也在于，所述步骤2.3中的马氏距离是按如下过程计算：
步骤2.3.1、将标准集送入所述迁移度量学习网络中进行处理，并得到标准集的度量空间光谱特征Fd_s＝{Fd_s1，…，Fd_sii，…，Fd_snn}，其中，Fd_sii为第ii个标准光谱数据Fmsc_std_ii经过Net1得到的度量空间光谱特征；
将标准集的每个光谱数据在各个波段的高光谱图像的中贡献率最高的三张图像送入迁移度量学习网络中进行处理，并得到标准集的度量空间图像特征FI_s＝{FI_s1_1st，FI_s1_2nd，FI_s1_3rd，…，FI_sii_1st，FI_sii_2nd，FI_sii_3rd，…，FI_snn_1st，FI_snn_2nd，FI_snn_3rd}，其中，FI_sii_1st，，FI_sii_2nd，FI_sii_3rd为第ii个标准光谱数据Fmsc_std_ii对应的光谱图像经过Net2得到的度量空间图像特征；
步骤2.3.2、将标准集与训练集中每个光谱数据在各个波段的高光谱图像中贡献率最高的三张图像的图像特征相应构成最高图像贡献矩阵第二贡献图像矩阵/>与第三贡献图像矩阵/>
分别求矩阵C_1st、C_2nd、C_3rd各列向量之间的协方差，相应构成最高贡献图像特征协方差矩阵C_1st_cov、第二贡献图像特征协方差矩阵C_2nd_cov与第三贡献图像特征协方差矩阵C_3rd_cov；
利用式(8)计算第ii个标准样Fmsc_std_ii与第i个训练样Fmsc_train_1之间的马氏距离dii_i：
式(8)中，Fd_sii表示第ii种标准样Fmsc_std_ii的光谱特征向量经过迁移度量学习模型所得的度量空间光谱特征，Fdi表示训练集中第i个光谱Fmsc_train_1的光谱特征向量经过迁移度量学习模型所得的度量空间光谱特征，Aii，Bii，Cii分别代表第ii种标准样Fmsc_std_ii的各个波段的高光谱图像中贡献率最高的三张图像对应的贡献率。
与现有技术相比，本发明的有益效果在于：
1、本发明采用高光谱数据的光谱数据与图像数据共同表示茶叶的特征，光谱数据可以有效反映出茶叶内质成分，通过图像数据来计算马氏距离中的协方差矩阵，再结合其贡献率与光谱数据进行距离计算，客观准确的度量了试拼小样与标准样之间的距离，从而评价了两者之间的相似性。
2、本发明在度量茶叶样本与标准样的相似性中，采用了三元组损失函数的思想，并对其进行了改进，引入利用类内中点的概念，将类间距变成一类样本与另一类内中点的距离，解决了三元组选取过程中由锚点选择带来的收敛缓慢的问题；同时用类内距与类间距的比例关系代替常数，省去了人工优化常数的过程，保证了三元组构建的合理性，使得可以更好的完成缩小类内距，扩大类间距的工作；使得茶叶在计算距离时，保证不同类别的茶叶距离远大于同类别茶叶之间的距离，使相似性评价更加准确。
附图说明
图1是本发明迁移度量学习方法的流程图；
图2是本发明网络结构示意图。
具体实施方式
在本实施例中，一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法，如图1所示，其过程按照以下步骤进行：
步骤1、采集茶叶样本的高光谱数据集，本实验选取样本如下：本实验以7种等级的眉茶样品作为训练集，包括9366、9367、9368、9369、9370、9371、41022。从每个等级中随机选择1个样本作为标准样。使用高光谱仪获取样品的高光谱数据，选取其中200×200像素矩形区域为感兴趣区域，获得高光谱反射率数据，维度为Nori×1，由于光强、设备等原因的干扰，选择将光谱数据的首尾分别截掉x个区间得到FX，保留维度Nx×1，其中Nx＝Nori-2×x。并从高光谱数据集中提取光谱数据集及其对应的图像数据集；对光谱数据集进行MSC预处理，得到预处理后的光谱数据集；
将预处理后的光谱数据集划分为训练集和标准集；
令训练集中的n个训练光谱数据记为Fmsc_train_1，…，Fmsc_train_i，…Fmsc_train_n，其中，Fmsc_train_i表示第i个训练光谱数据；i∈(1，n)，训练集对应的标签集为Lt＝{Lt_1，…，Lt_i，…，Lt_n}，其中，Lt_i表示第i个训练光谱数据Fmsc_train_i对应的标签；
令标准集中nn个标准样光谱记为Fmsc_std_1，…，Fmsc_std_ii，…，Fmsc_std_nn，其中，Fmsc_std_ii表示第ii个标准光谱数据；ii∈(1，nn)，标准集对应的标签集为Ls＝{Ls_1，…，Ls_ii，…，Ls_n}，其中，Ls_ii表示第ii个标准光谱数据Fmsc_std_ii对应的标签；本实验共训练集420个，标准样7个；
对预处理后的光谱数据集中每个光谱数据在图像数据集中对应的各波段的高光谱图像进行主成分分析，得到每个光谱数据在各个波段的高光谱图像的贡献率，并选出每个光谱数据在各个波段的高光谱图像的中贡献率最高的三张图像；分别计算每个光谱数据在各个波段的高光谱图像中贡献率最高的三张图像的灰度共生矩阵，从而得到相应光谱数据的三个图像特征，本实例中，选取每个灰度共生矩阵的均值(Mean)、方差(Variance)、同质度(Homogeneity)、对比度(Contrast)、角二阶矩(Angular Second Moment)和熵(Entropy)共6个值作为特征来描述图像信息，因此每张图片共选取24个纹理参数；
其中，训练集中的n个训练光谱数据所对应的贡献率最高的三张图像的图像特征记为Pmsc_train_1_1st，Pmsc_train_1_2nd，Pmsc_train_1_3rd，…，Pmsc_train_i_1st，Pmsc_train_i_2nd，Pmsc_train_i3rd，…，Pmsc_train_n_1st，Pmsc_train_n_2nd，Pmsc_train_n_3rd，其中，Pmsc_train_i_1st，Pmsc_train_i_2nd，Pmsc_train_i_3rd分别代表第i个训练光谱数据Fmsc_train_i所对应的贡献率最高的三张图像的图像特征；
令标准集中nn个标准光谱数据所对应的贡献率最高的三张图像的图像特征记为Pmsc_std_1_1st，Pmsc_std_1_2nd，Pmsc_std_1_3rd，…，Pmsc_std_ii_1st，Pmsc_std_ii_2nd，Pmsc_std_ii_3rd，…，Pmsc_std_nn_1st，Pmsc_std_nn_2nd，Pmsc_std_nn_3rd，其中，Pmsc_std_ii_1st，Pmsc_std_ii_2nd，Pmsc_std_ii_3rd分别代表第ii个标准光谱数据Fmsc_std_ii所对应的贡献率最高的三张图像的图像特征；
步骤2、构建迁移度量学习网络，本实验网络结构示意图如图2所示，包括：一对伪孪生卷积神经网络和中心锚点三元组损失函数；其中，任意一个伪孪生卷积神经网络包括：两个卷积层，两个池化层、一个dropout层及一个全连接层；一对伪孪生卷积神经网络的各个参数不同，其中一个伪孪生卷积神经网络的第一个卷积层cov1包含c个大小均为b×1的一维卷积核g1，…，gu，…，gc，gu表示第u个一维卷积核；第一个池化层为最大池化方式，池化核的大小与步长均为P；第二个卷积层cov2包含c′个大小均为b′×1×c的卷积核q1，…，qu′，…，qc′，其中，qu′表示第u′个大小为b′×1×c的卷积核，且qu′包含c个大小为b′×1的卷积核qu′1，…，qu′v，…，qu′c，qu′v表示qu′的第v个大小为b′×1的卷积；第二个池化层为最大池化方式，池化核的大小与步长均为R；dropout层的神经元失活率为γ；
步骤2.1、每次训练过程中均从训练集中选择3个训练光谱数据及其对应的各波段的高光谱图像并输入迁移度量学习网中进行训练：
令第w次训练过程中所输入的3个训练光谱数据Fw为第m1、m2、m3个训练光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}，其中，第w次训练过程中的第m1个训练集光谱数据Fmsc_train_m1的标签Lt_m1与第m2个训练集光谱数据Fmsc_train_m2的标签Lt_m2相同，第w次训练过程中的第m3个训练集光谱数据Fmsc_train_m3的标签Lt_m3与第m1个训练集光谱数据Fmsc_train_m1的标签Lt_m1不同；
令第w次训练过程中所输入的3个训练集光谱数据Fw所对应的的各波段的高光谱图像Pw＝{Pmsc_train_m1_1st，Pmsc_train_m1_2nd_，Pmsc_train_m1_3rd，Pmsc_train_m2_1st，Pmsc_train_m22nd，Pmsc_train_m2_3rd，Pmsc_train_m3_1st，Pmsc_train_m3_2nd，Pmsc_train_m33rd}，其中，Pmsc_train_m1_1st，Pmsc_train_m1_2nd，Pmsc_train_m1_3rd分别表示第w次训练过程中的第m1个训练光谱数据Fmsc_train_m1所对应的贡献率最高的三张图像的图像特征；Pmsc_train_m2_1st，Pmsc_train_m2_2nd，Pmsc_train_m2_3rd分别表示第w次训练过程中的第m2个训练光谱数据Fmsc_train_m2所对应的贡献率最高的三张图像的图像特征；Pmsc_train_m3_1st，Pmsc_train_m3_2nd，Pmsc_train_m3_3rd分别表示第w次训练过程中的第m3个训练光谱数据Fmsc_train_m3所对应的贡献率最高的三张图像的图像特征；
步骤2.2、将3个训练集光谱数据Fw送入第一个伪孪生卷积神经网络Net1中，并先通过第一个卷积层cov1的处理后得到三样本单次光谱卷积特征FC1w＝{Fgm1，Fgm2，Fgm3}，其中，Fgm1为Fmsc_train_m1经过卷积处理后的单样本单次光谱卷积特征，且Fgm1＝{Fgm1_1，…，Fgm1_u，…，Fgm1_c}，Fgm1_u为Fmsc_train_m1与第u个卷积核gu计算得到的单次光谱卷积特征，并利用式(1)得到Fgm1_u中的第n个单次卷积值Fgm1_u(n)，Fgm2为Fmsc_train_m2经过卷积处理后的单样本单次光谱卷积特征，且Fgm2＝{Fgm2_1，…，Fgm2_u，…，Fgm2_c}，Fgm3为Fmsc_train_m3经过卷积处理后的单样本单次光谱卷积特征，且Fgm3＝{Fgm3_1，…，Fgm3_u，…，Fgm3_c}；
式(1)中，gu(τ)表示gu的第τ个光谱卷积核的值，Fmsc_train_m_1(τ+n-1)表示Fmsc_train_m_1的第τ+n-1个波段下的光谱值；
三样本单次光谱卷积特征FC1w经过第一个池化层pool1的最大池化处理后得到三样本单次光谱池化特征FP1w＝{Fpm1，Fpm2，Fpm3}，其中，Fpm1表示Fgm1经过pool1得到的单样本单次光谱池化特征，且Fpm1＝{FPm1_1，…，Fpm1_u，…，Fpm1_c}，Fpm1_u为单次光谱池化特征，并利用式(2)得到Fpm1_u中的第n个单次池化值Fpm1_u(n)；Fpm2表示Fgm2经过pool1得到的单样本单次光谱池化特征，Fpm3表示Fgm3经过pool1得到的单样本单次光谱池化特征；
Fpm1_u(n)＝max{Fgm1_u(n)，…，Fgm1_u(n+P)} (2)
式(2)中，Fgm1_u(n)与Fgm1_u(n+P)分别表示Fgm1_u中的第n与第n+P个波段光谱的单次池化值；
三样本单次光谱池化特征FP1w经过sigmoid激活函数后，得到三样本单次激活光谱特征Fsig1w＝{Fsigm1，Fsigm2，Fsigm3}，其中，Fsigm1表示Fpm1经过sigmoid激活函数后得到单样本单次激活光谱特征，且Fsigm1＝{Fsigm1_1，…，Fsigm1_u，…，Fsigm1_c}，其中，Fsigm1_u表示单次激活光谱特征，并由式(3)得到Fsigml_u中的第n个单次激活值Fsigm1_u(n)；Fsigm2表示Fpm2经过sigmoid激活函数后得到单样本单次激活光谱特征，Fsigm3表示Fpm3经过sigmoid激活函数后得到单样本单次激活光谱特征；
Fsig1w送入第二卷积层cov2后得到三样本二次卷积光谱特征FC2w＝{Fqm1，Fqm2，Fqm3}，其中，Fqm1为Fsigm1经过卷积处理得到的单样本二次卷积光谱特征，且Fqm1＝{Fqm1_1，…，Fqm1_u′，…，Fqm1_c′}，Fqm1_u′为Fsigm1与qu′计算卷积得到的二次卷积光谱特征，并利用式(4)得到Fqm1_u′中的第n个二次光谱值Fqm1_u′(n)；Fqm2为Fsigm2经过卷积处理得到的单样本二次卷积光谱特征，Fqm3为Fsigm3经过卷积处理得到的单样本二次卷积光谱特征；
式(4)中，Fsigm1_ε(τ+n-1)表示Fsigm1中第u个单次激活光谱特征Fsigm1_u的第τ+n-1个单次激活值，qu′u(τ)表示qu′的第u个大小为b′×1的卷积的第τ个光谱卷积核的值；
FC2w经过池化层pool2后得到三样本二次池化光谱特征FP2w＝{Frm1，Frm2，Frm3}，其中Frm1表示Fqm1经过pool2后得到的单样本二次池化光谱特征，且Frm1＝{FFm1_1，…，Frm1_u′，…，Frm1_c′}，Frm1_u′为Fqm1_u′经过池化层pool2后得到的二次池化光谱特征，并利用式(5)得到Frm1_u′中的第n个二次池化值Frm1_u′(n)；Frm2表示Fqm2经过pool2后得到的单样本二次池化光谱特征，Frm3表示Fqm3经过pool2后得到的单样本二次池化光谱特征；
Frm1_u′(n)＝max{Fqm1_u′(n)，…，Fqm1_u′(n+R)} (5)
式(5)中，Fqm1_u′(n)和Fqm1_u′(n+R)分别为Fqm1_u′的第n和n+R个二次光谱值；
三样本二次池化光谱特征FP2w经过sigmoid激活函数后，得到三样本二次激活光谱特征Fsig2w＝{Fsig2m1，Fsig2m2，Fsig2m3}，其中，Fsig2m1表示Frm1经过sigmoid激活函数后得到单样本二次激活光谱特征，其中，Fsig2m1＝{Fsig2m1_1，…，Fsig2m1_u′，…，Fsig2m1_c′}，其中，Fsig2m1_u′表示Frm1_u′经过sigmoid激活函数后得到的二次激活光谱特征，并由式(6)得到Fsig2m1_u′中的第n个二次激活值Fsig2m1_u′(n)；Fsig2m2表示Frm2经过sigmoid激活函数后得到单样本二次激活光谱特征，Fsig2m3表示Frm3经过sigmoid激活函数后得到单样本二次激活光谱特征；
三样本二次池化光谱特征Fsig2w送入dropout层进行处理后再经过全连接层，并输出度量空间光谱特征Fdw＝{Fdm1，Fdm2，Fdm3}，其中，Fdm1，Fdm2，Fdm3分别第m1、m2、m3个训练集光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}经过第一个伪孪生卷积神经网络Net1后得到的单样本度量空间光谱特征；本实例中，光谱数据Fw经过的卷积神经网络Net1的2层卷积层的卷积核大小分别为5×1、3×1，步长均为1，每层卷积核数目分别为5、10。池化层采用平均池化，核大小分别为3×1、3×1，步长分别为3、3。激活函数均采用relu函数，之后接一个失活率为0.5的dropout层，最后经过全连接层变成维度20×1的度量空间光谱特征Fdw；
将第m1、m2、m3个训练集光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}所对应的图像数据Pw送入第二个伪孪生卷积神经网络Net2中进行处理，从而得到度量空间图像特征FIm＝{FIm1_1st，FIm1_2nd，FIm1_3rd，FIm2_1st，FIm2_2nd，FIm2_3rd，FIm3_1st，FIm3_2nd，FIm3_3rd}，其中，FIm1_1st，FIm1_2nd，FIm1_3rd分别第m1个训练集光谱数据Fmsc_train_m1在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征；FIm2_1st，FIm2_2nd，FIm2_3rd为第m2个训练集光谱数据Fmsc_train_m2在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征，FIm3_1st，FIm3_2nd，FIm3_3rd为第m3个训练集光谱数据Fmsc_train_m3在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征；本实例中，图像数据Pw经过的卷积神经网络2层卷积层的卷积核大小分别为5×1、3×1，步长均为1，每层卷积核数目分别为5、8。池化层采用平均池化，核大小均为2×1，步长均为2。激活函数均采用relu函数，之后接一个失活率为0.5的dropout层，最后经过全连接层展平为维度20×1的特征向量；
步骤2.3、利用式(7)构建中心锚点的三元组损失函数L：
式(7)中，||.，.||表示马氏距离函数；
本实施例中，马氏距离是按如下过程计算：
步骤2.3.1、将标准集送入迁移度量学习网络中进行处理，并得到标准集的度量空间光谱特征Fd_s＝{Fd_s1，…，Fd_sii，…，Fd_snn}，其中，Fd_sii为第ii个标准光谱数据Fmsc_std_ii经过Net1得到的度量空间光谱特征；将标准集的每个光谱数据在各个波段的高光谱图像的中贡献率最高的三张图像送入迁移度量学习网络中进行处理，并得到标准集的度量空间图像特征FI_s＝{FI_s1_1st，FI_s1_2nd，FI_s1_3rd，…，FI_sii_1st，FI_sii_2nd，FI_sii_3rd，…，FI_snn_1st，FI_snn_2nd，FI_snn_3rd}，其中，FI_sii_1st，，FI_sii_2nd，FI_sii_3rd为第ii个标准光谱数据Fmsc_std_ii对应的光谱图像经过Net2得到的度量空间图像特征；
步骤2.3.2、将标准集与训练集中每个光谱数据在各个波段的高光谱图像中贡献率最高的三张图像的图像特征相应构成最高图像贡献矩阵第二贡献图像矩阵/>与第三贡献图像矩阵/>其维度均为(7+60)×20；
分别求矩阵C_1st、C_2nd、C_3rd各列向量之间的协方差，相应构成最高贡献图像特征协方差矩阵C_1st_cov、第二贡献图像特征协方差矩阵C_2nd_cov与第三贡献图像特征协方差矩阵C_3rd_cov；其中
其中C_1stii与C_1stjj分别代表最高图像贡献矩阵C_1st的第ii列数据和第jj列数据，C_2nd_cov与C_3rd_cov计算方式与C_1st_cov类似。
利用式(8)计算第ii个标准样Fmsc_std_ii与第i个训练样Fmsc_train_1之间的马氏距离dii_i：
式(8)中，Fd_sii表示第ii种标准样Fmsc_std_ii的光谱特征向量经过迁移度量学习模型所得的度量空间光谱特征，Fdi表示训练集中第i个光谱Fmsc_train_1的光谱特征向量经过迁移度量学习模型所得的度量空间光谱特征，Aii，Bii，Cii分别代表第ii种标准样Fmsc_std_ii的各个波段的高光谱图像中贡献率最高的三张图像对应的贡献率。
步骤2.4、基于训练集，利用梯度下降法对迁移度量学习网络进行训练，并计算中心锚点三元组损失函数L，用于更新网络参数，当训练达到所设定的次数或三元组损失函数L收敛时，训练停止，从而得到最优茶叶品质度量模型；
步骤3、将标准样与待测茶叶的高光谱数据输入最优茶叶品质度量模型中进行处理，分别输出相应的度量空间光谱特征和度量空间图像特征，并根据标准样与待测茶叶的马氏距离对茶叶之间的相似性进行品质度量。
Claims (2)
1.一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法，其特征在于，是按照以下步骤进行：
步骤1、采集茶叶样本的高光谱数据集，并从所述高光谱数据集中提取光谱数据集及其对应的图像数据集；对所述光谱数据集进行MSC预处理，得到预处理后的光谱数据集；
将所述预处理后的光谱数据集划分为训练集和标准集；
令所述训练集中的n个训练光谱数据记为Fmsc_train_1，...，Fmsc_train_i，...Fmsc_train_n，其中，Fmsc_train_i表示第i个训练光谱数据；i∈(1，n)，所述训练集对应的标签集为Lt＝{Lt_1，...，Lt_i，...，Lt_n}，其中，Lt_i表示第i个训练光谱数据Fmsc_train_i对应的标签；
令所述标准集中nn个标准样光谱记为Fmsc_std_1，...，Fmsc_std_ii，...，Fmsc_std_nn，其中，Fmsc_std_ii表示第ii个标准光谱数据；ii∈(1，nn)，所述标准集对应的标签集为Ls＝{Ls_1，...，Ls_ii，...，Ls_n}，其中，Ls_ii表示第ii个标准光谱数据Fmsc_std_ii对应的标签；
对所述预处理后的光谱数据集中每个光谱数据在所述图像数据集中对应的各波段的高光谱图像进行主成分分析，得到每个光谱数据在各个波段的高光谱图像的贡献率，并选出每个光谱数据在各个波段的高光谱图像的中贡献率最高的三张图像；分别计算每个光谱数据在各个波段的高光谱图像中贡献率最高的三张图像的灰度共生矩阵，从而得到相应光谱数据的三个图像特征；
其中，所述训练集中的n个训练光谱数据所对应的贡献率最高的三张图像的图像特征记为Pmsc_train_1_1st，Pmsc_train_1_2nd，Pmsc_train_1_3rd，...，Pmsc_train_i_1st，Pmsc_train_i_2nd，Pmsc_train_i_3rd，...，Pmsc_train_n_1st，Pmsc_train_n_2nd，Pmsc_train_n_3rd，其中，Pmsc_train_i_1st，Pmsc_train_i_2nd，Pmsc_train_i_3rd分别代表第i个训练光谱数据Fmsc_train_i所对应的贡献率最高的三张图像的图像特征；
令所述标准集中nn个标准光谱数据所对应的贡献率最高的三张图像的图像特征记为Pmsc_std_1_1st，Pmsc_std_1_2nd，Pmsc_std_1_3rd，...，Pmsc_std_ii_1st，Pmsc_std_ii_2nd，Pmsc_std_ii_3rd，...，Pmsc_std_nn_1st，Pmsc_std_nn_2nd，Pmsc_std_nn_3rd，其中，Pmsc_std_ii_1st，Pmsc_std_ii_2nd，Pmsc_std_ii_3rd分别代表第ii个标准光谱数据Fmsc_std_ii所对应的贡献率最高的三张图像的图像特征；
步骤2、构建迁移度量学习网络，包括：一对伪孪生卷积神经网络和中心锚点三元组损失函数；其中，任意一个伪孪生卷积神经网络包括：两个卷积层，两个池化层、一个dropout层及一个全连接层；一对伪孪生卷积神经网络的各个参数不同，其中一个伪孪生卷积神经网络的第一个卷积层cov1包含c个大小均为b×1的一维卷积核g1，...，gu，...，gc，gu表示第u个一维卷积核；第一个池化层为最大池化方式，池化核的大小与步长均为P；第二个卷积层cov2包含c′个大小均为b′×1×c的卷积核q1，...，qu′，...，qc′，其中，qu′表示第u′个大小为b′×1×c的卷积核，且qu′包含c个大小为b′×1的卷积核qu′1，...，qu′v，...，qu′c，qu′v表示qu′的第v个大小为b′×1的卷积；第二个池化层为最大池化方式，池化核的大小与步长均为R；dropout层的神经元失活率为γ；
步骤2.1、每次训练过程中均从训练集中选择3个训练光谱数据及其对应的各波段的高光谱图像并输入所述迁移度量学习网中进行训练：
令第w次训练过程中所输入的3个训练光谱数据Fw为第m1、m2、m3个训练光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}，其中，第w次训练过程中的第m1个训练集光谱数据Fmsc_train_m1的标签Lt_m1与第m2个训练集光谱数据Fmsc_train_m2的标签Lt_m2相同，第w次训练过程中的第m3个训练集光谱数据Fmsc_train_m3的标签Lt_m3与第m1个训练集光谱数据Fmsc_train_m1的标签Lt_m1不同；
令第w次训练过程中所输入的3个训练集光谱数据Fw所对应的的各波段的高光谱图像Pw＝{Pmsc_train_m1_1st，Pmsc_train_m1_2nd_，Pmsc_train_m1_3rd，Pmsc_train_m2_1st，Pmsc_train_m22nd，Pmsc_train_m2_3rd，Pmsc_train_m3_1st，Pmsc_train_m3_2nd，Pmsc_train_m33rd}，其中，Pmsc_train_m1_1st，Pmsc_train_m1_2nd，Pmsc_train_m1_3rd分别表示第w次训练过程中的第m1个训练光谱数据Fmsc_train_m1所对应的贡献率最高的三张图像的图像特征；Pmsc_train_m2_1st，Pmsc_train_m2_2nd，Pmsc_train_m2_3rd分别表示第w次训练过程中的第m2个训练光谱数据Fmsc_train_m2所对应的贡献率最高的三张图像的图像特征；Pmsc_train_m3_1st，Pmsc_train_m3_2nd，Pmsc_train_m3_3rd分别表示第w次训练过程中的第m3个训练光谱数据Fmsc_train_m3所对应的贡献率最高的三张图像的图像特征；
步骤2.2、将3个训练集光谱数据Fw送入第一个伪孪生卷积神经网络Net1中，并先通过第一个卷积层cov1的处理后得到三样本单次光谱卷积特征FC1w＝{Fgm1，Fgm2，Fgm3}，其中，Fgm1为Fmsc_train_m1经过卷积处理后的单样本单次光谱卷积特征，且Fgm1＝{Fgm1_1，...，Fgm1_u，...，Fgm1_c}，Fgm1_u为Fmsc_train_m1与第u个卷积核gu计算得到的单次光谱卷积特征，并利用式(1)得到Fgm1_u中的第n个单次卷积值Fgm1_u(n)，Fgm2为Fmsc_train_m2经过卷积处理后的单样本单次光谱卷积特征，且Fgm2＝{Fgm2_1，...，Fgm2_u，...，Fgm2_c}，Fgm3为Fmsc_train_m3经过卷积处理后的单样本单次光谱卷积特征，且Fgm3＝{Fgm3_1，...，Fgm3_u，...，Fgm3_c}；
式(1)中，gu(τ)表示gu的第τ个光谱卷积核的值，Fmsc_train_m_1(τ+n-1)表示Fmsc_train_m_1的第τ+n-1个波段下的光谱值；
所述三样本单次光谱卷积特征FC1w经过第一个池化层pool1的最大池化处理后得到三样本单次光谱池化特征FP1w＝{Fpm1，Fpm2，Fpm3}，其中，Fpm1表示Fgm1经过pool1得到的单样本单次光谱池化特征，且Fpm1＝{Fpm1_1，...，Fpm1_u，...，Fpm1_c}，Fpm1_u为单次光谱池化特征，并利用式(2)得到Fpm1_u中的第n个单次池化值Fpm1_u(n)；Fpm2表示Fgm2经过pool1得到的单样本单次光谱池化特征，Fpm3表示Fgm3经过pool1得到的单样本单次光谱池化特征；
Fpm1_u(n)＝max{Fgm1_u(n)，...，Fgm1_u(n+P)} (2)
式(2)中，Fgm1_u(n)与Fgm1_u(n+P)分别表示Fgm1_u中的第n与第n+P个波段光谱的单次池化值；
所述三样本单次光谱池化特征FP1w经过sigmoid激活函数后，得到三样本单次激活光谱特征Fsig1w＝{Fsigm1，Fsigm2，Fsigm3}，其中，Fsigm1表示Fpm1经过sigmoid激活函数后得到单样本单次激活光谱特征，且Fsigm1＝{Fsigm1_1，...，Fsigm1_u，...，Fsigm1_c}，其中，Fsigm1_u表示单次激活光谱特征，并由式(3)得到Fsigm1_u中的第n个单次激活值Fsigm1_u(n)；Fsigm2表示Fpm2经过sigmoid激活函数后得到单样本单次激活光谱特征，Fsigm3表示Fpm3经过sigmoid激活函数后得到单样本单次激活光谱特征；
Fsig1w送入第二卷积层cov2后得到三样本二次卷积光谱特征FC2w＝{Fqm1，Fqm2，Fqm3}，其中，Fqm1为Fsigm1经过卷积处理得到的单样本二次卷积光谱特征，且Fqm1＝{Fqm1_1，...，Fqm1_u′，...，Fqm1_c′}，Fqm1_u′为Fsigm1与qu′计算卷积得到的二次卷积光谱特征，并利用式(4)得到Fqm1_u′中的第n个二次光谱值Fqm1_u′(n)；Fqm2为Fsigm2经过卷积处理得到的单样本二次卷积光谱特征，Fqm3为Fsigm3经过卷积处理得到的单样本二次卷积光谱特征；
式(4)中，Fsigm1_u(τ+n-1)表示Fsigm1中第u个单次激活光谱特征Fsigm1_u的第τ+n-1个单次激活值，qu′u(τ)表示qu′的第u个大小为b′×1的卷积的第τ个光谱卷积核的值；
FC2w经过池化层pool2后得到三样本二次池化光谱特征FP2w＝{Frm1，Frm2，Frm3}，其中Frm1表示Fqm1经过pool2后得到的单样本二次池化光谱特征，且Frm1＝{Frm1_1，...，Frm1_u′，...，Frm1_c′}，Frm1_u′为Fqm1_u′经过池化层pool2后得到的二次池化光谱特征，并利用式(5)得到Frm1_u′中的第n个二次池化值Frm1_u′(n)；Frm2表示Fqm2经过pool2后得到的单样本二次池化光谱特征，Frm3表示Fqm3经过pool2后得到的单样本二次池化光谱特征；
Frm1_u′(n)＝max{Fqm1_u′(n)，...，Fqm1_u′(n+R)} (5)
式(5)中，Fqm1_u′(n)和Fqm1_u′(n+R)分别为Fqm1_u′的第n和n+R个二次光谱值；
所述三样本二次池化光谱特征FP2w经过sigmoid激活函数后，得到三样本二次激活光谱特征Fsig2w＝{Fsig2m1，Fsig2m2，Fsig2m3}，其中，Fsig2m1表示Frm1经过sigmoid激活函数后得到单样本二次激活光谱特征，其中，Fsig2m1＝{Fsig2m1_1，...，Fsig2m1_u′，...，Fsig2m1_c′}，其中，Fsig2m1_u′表示Frm1_u′经过sigmoid激活函数后得到的二次激活光谱特征，并由式(6)得到Fsig2m1_u′中的第n个二次激活值Fsig2m1_u′(n)；Fsig2m2表示Frm2经过sigmoid激活函数后得到单样本二次激活光谱特征，Fsig2m3表示Frm3经过sigmoid激活函数后得到单样本二次激活光谱特征；
所述三样本二次池化光谱特征Fsig2w送入dropout层进行处理后再经过所述全连接层，并输出度量空间光谱特征Fdw＝{Fdm1，Fdm2，Fdm3}，其中，Fdm1，Fdm2，Fdm3分别第m1、m2、m3个训练集光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}经过第一个伪孪生卷积神经网络Net1后得到的单样本度量空间光谱特征；
将第m1、m2、m3个训练集光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}所对应的图像数据Pw送入第二个伪孪生卷积神经网络Net2中进行处理，从而得到度量空间图像特征FIm＝{FIm1_1st，FIm1_2nd，FIm1_3rd，FIm2_1st，FIm2_2nd，FIm2_3rd，FIm3_1st，FIm3_2nd，FIm3_3rd}，其中，Flm1_1st，FIm1_2nd，FIm1_3rd分别第m1个训练集光谱数据Fmsc_train_m1在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征；FIm2_1st，FIm2_2nd，FIm2_3rd为第m2个训练集光谱数据Fmsc_train_m2在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征，FIm3_1st，FIm3_2nd，FIm3_3rd为第m3个训练集光谱数据Fmsc_train_m3在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征；
步骤2.3、利用式(7)构建中心锚点的三元组损失函数L：
式(7)中，||.，.||表示马氏距离函数；
步骤2.4、基于所述训练集，利用梯度下降法对所述迁移度量学习网络进行训练，并计算所述中心锚点三元组损失函数L，用于更新网络参数，当训练达到所设定的次数或所述三元组损失函数L收敛时，训练停止，从而得到最优茶叶品质度量模型；
步骤3、将标准样与待测茶叶的高光谱数据输入所述最优茶叶品质度量模型中进行处理，分别输出相应的度量空间光谱特征和度量空间图像特征，并根据标准样与待测茶叶的马氏距离对茶叶之间的相似性进行品质度量。
2.根据权利要求1所述的基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法，其特征是，所述步骤2.3中的马氏距离是按如下过程计算：
步骤2.3.1、将标准集送入所述迁移度量学习网络中进行处理，并得到标准集的度量空间光谱特征Fd_s＝{Fd_s1，...，Fd_sii，...，Fd_snn}，其中，Fd_sii为第ii个标准光谱数据Fmsc_std_ii经过Net1得到的度量空间光谱特征；
将标准集的每个光谱数据在各个波段的高光谱图像的中贡献率最高的三张图像送入迁移度量学习网络中进行处理，并得到标准集的度量空间图像特征FI_s＝{FI_s1_1st，FI_s1_2nd，FI_s1_3rd，...，FI_sii_1st，FI_sii_2nd，FI_sii_3rd，...，FI_snn_1st，FI_snn_2nd，FI_snn_3rd}，其中，FI_sii_1st，FI_sii_2nd，FI_sii_3rd为第ii个标准光谱数据Fmsc_std_ii对应的光谱图像经过Net2得到的度量空间图像特征；
步骤2.3.2、将标准集与训练集中每个光谱数据在各个波段的高光谱图像中贡献率最高的三张图像的图像特征相应构成最高图像贡献矩阵第二贡献图像矩阵/>与第三贡献图像矩阵/>
分别求矩阵C_1st、C_2nd、C_3rd各列向量之间的协方差，相应构成最高贡献图像特征协方差矩阵C_1st_cov、第二贡献图像特征协方差矩阵C_2nd_cov与第三贡献图像特征协方差矩阵C_3rd_cov；
利用式(8)计算第ii个标准样Fmsc_std_ii与第i个训练样Fmsc_train_1之间的马氏距离dii_i：
式(8)中，Fd_sii表示第ii种标准样Fmsc_std_ii的光谱特征向量经过迁移度量学习模型所得的度量空间光谱特征，Fdi表示训练集中第i个光谱Fmsc_train_1的光谱特征向量经过迁移度量学习模型所得的度量空间光谱特征，Aii，Bii，Cii分别代表第ii种标准样Fmsc_std_ii的各个波段的高光谱图像中贡献率最高的三张图像对应的贡献率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210609737.8A CN114818985B (zh) | 2022-05-31 | 2022-05-31 | 基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210609737.8A CN114818985B (zh) | 2022-05-31 | 2022-05-31 | 基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114818985A CN114818985A (zh) | 2022-07-29 |
| CN114818985B true CN114818985B (zh) | 2024-04-16 |
Family
ID=82518928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210609737.8A Active CN114818985B (zh) | 2022-05-31 | 2022-05-31 | 基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114818985B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189176B (zh) * | 2023-03-06 | 2024-05-14 | 安徽农业大学 | 基于生成度量td3的茶叶智能化拼配方法、设备和介质 |
| CN117273070B (zh) * | 2023-11-16 | 2024-02-02 | 云南烟叶复烤有限责任公司 | 一种基于孪生卷积自编码器构建的光谱模型转移方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018018354A (ja) * | 2016-07-28 | 2018-02-01 | 高砂香料工業株式会社 | ディープラーニングを用いた飲食品の品質予測方法及び飲食品 |
| CN112434646A (zh) * | 2020-12-08 | 2021-03-02 | 浙江大学 | 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法 |
| CN112699756A (zh) * | 2020-12-24 | 2021-04-23 | 中国农业科学院农业信息研究所 | 一种基于高光谱图像的茶叶原产地识别方法和系统 |
| CN113158980A (zh) * | 2021-05-17 | 2021-07-23 | 四川农业大学 | 一种基于高光谱图像和深度学习的茶叶分类方法 |
-
2022
- 2022-05-31 CN CN202210609737.8A patent/CN114818985B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018018354A (ja) * | 2016-07-28 | 2018-02-01 | 高砂香料工業株式会社 | ディープラーニングを用いた飲食品の品質予測方法及び飲食品 |
| CN112434646A (zh) * | 2020-12-08 | 2021-03-02 | 浙江大学 | 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法 |
| CN112699756A (zh) * | 2020-12-24 | 2021-04-23 | 中国农业科学院农业信息研究所 | 一种基于高光谱图像的茶叶原产地识别方法和系统 |
| CN113158980A (zh) * | 2021-05-17 | 2021-07-23 | 四川农业大学 | 一种基于高光谱图像和深度学习的茶叶分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多层局部感知卷积神经网络的高光谱图像分类;池涛;王洋;陈明;;四川大学学报(自然科学版)(第01期);109-118 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114818985A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114818985B (zh) | 基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法 | |
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN112070078B (zh) | 基于深度学习的土地利用分类方法及系统 | |
| CN106845497B (zh) | 基于多特征融合的玉米前期图像旱情识别方法 | |
| CN107145830A (zh) | 基于空间信息增强和深度信念网络的高光谱图像分类方法 | |
| Tsagaris et al. | Multispectral image fusion for improved RGB representation based on perceptual attributes | |
| CN111860351B (zh) | 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法 | |
| CN111896495A (zh) | 基于深度学习与近红外光谱太平猴魁产地甄别方法及系统 | |
| Stepanova | The impact of color palettes on the prices of paintings | |
| CN110309811A (zh) | 一种基于胶囊网络的高光谱图像分类方法 | |
| CN106960221A (zh) | 一种基于光谱特征和空间特征融合的高光谱图像分类方法及系统 | |
| CN109829924A (zh) | 一种基于主体特征分析的图像质量评价方法 | |
| Zhao et al. | Vision transformer for quality identification of sesame oil with stereoscopic fluorescence spectrum image | |
| Qi et al. | Global–local 3-D convolutional transformer network for hyperspectral image classification | |
| CN109816646A (zh) | 一种基于退化决策逻辑的无参考图像质量评价方法 | |
| CN113420838A (zh) | 基于多尺度注意力特征融合的sar与光学图像分类方法 | |
| Zhang et al. | Deep learning based rapid diagnosis system for identifying tomato nutrition disorders | |
| CN107944413A (zh) | 基于光谱指数排序法的水生植被遥感分类阈值计算方法 | |
| Khekare et al. | Internet of things based best fruit segregation and taxonomy system for smart agriculture | |
| Jiang et al. | Quantitative analysis of aflatoxin B1 in moldy peanuts based on near-infrared spectra with two-dimensional convolutional neural network | |
| Wu et al. | Rapid nondestructive detection of peanut varieties and peanut mildew based on hyperspectral imaging and stacked machine learning models | |
| CN110132865B (zh) | 基于SAE-LSSVR农作物镉含量Vis-NIR光谱深度特征模型建立方法 | |
| Long et al. | Application of hyperspectral imaging technology in classification of tobacco leaves and impurities | |
| CN115861788A (zh) | 一种基于高分辨率卫星遥感影像的耕地地块提取方法 | |
| CN110658156B (zh) | 一种近红外光谱特征提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |