CN116312860B - 基于监督迁移学习的农产品可溶性固形物预测方法 - Google Patents

基于监督迁移学习的农产品可溶性固形物预测方法 Download PDF

Info

Publication number
CN116312860B
CN116312860B CN202310300277.5A CN202310300277A CN116312860B CN 116312860 B CN116312860 B CN 116312860B CN 202310300277 A CN202310300277 A CN 202310300277A CN 116312860 B CN116312860 B CN 116312860B
Authority
CN
China
Prior art keywords
spectrum data
source domain
patch
agricultural product
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310300277.5A
Other languages
English (en)
Other versions
CN116312860A (zh
Inventor
杨宇
黄敏
朱启兵
赵鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202310300277.5A priority Critical patent/CN116312860B/zh
Publication of CN116312860A publication Critical patent/CN116312860A/zh
Application granted granted Critical
Publication of CN116312860B publication Critical patent/CN116312860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16CCOMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/30Prediction of properties of chemical compounds, compositions or mixtures
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16CCOMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70Machine learning, data mining or chemometrics
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请公开了一种基于监督迁移学习的农产品可溶性固形物预测方法,涉及农产品无损检测技术领域,该方法利用源域中农产品样本的光谱数据在自监督学习框架下预训练金字塔编码器,然后将训练得到的金字塔编码器迁移到目标域,作为骨干网络搭建预测模型,然后使用目标域中的农产品样本的光谱数据进行重新训练以实现预测模型的更新,更新后的预测模型即能用于目标域中的可溶性固形物含量的预测,该方法针对光谱数据发生域偏移的情况,通过模型更新的方法可以在目标域中实现准确预测,检测准确度更高。

Description

基于监督迁移学习的农产品可溶性固形物预测方法
技术领域
本申请涉及农产品无损检测技术领域,尤其是一种基于监督迁移学习的农产品可溶性固形物预测方法。
背景技术
近些年来,国家和社会对农产品质量与安全的要求日益增高。我国人口基数大,每年都会消耗巨量的农产品,对农产品的品质要求尤为严苛。农产品内部品质指标,如糖度、酸度、淀粉含量和水分等其它营养成分,体现农产品的真实价值,因此对于消费者、生产者和政府监管机构来说,如何准确检测农产品的品质指标成为当前亟待解决的问题。
传统农产品的品质检测技术多基于分析化学理论提出,如气相色谱法、气相色谱-质谱联用法、飞行时间质谱法等。然而,这些方法存在如下缺点:(1)耗时且价格昂贵,只适用于农产品抽样检测,难以全面检测所有农产品。(2)检测方法在检测过程中会破坏农产品的检测样本,使检测样本无法再次出售,造成资源浪费。(3)检测过程繁琐,需要行业专业人员精细操作检测仪器和分析数据,不利于检测方法的普及和实际应用。
近些年来,光学检测技术集成了光学检测方法和数据处理方法,相比于传统检测技术具有快速、无污染、无损地、成本低、操作简单等优点。因此目前可见光/近红外光谱光学检测技术已被广泛地应用于检测农产品的可溶性固形物、硬度、可滴定酸含量等内部品质。
在利用光学检测技术预测农产品的可溶性固形物时,需要首先利用源域的农产品的光谱数据及对应的可溶性固形物训练预测模型,但是不同年份采集的农产品的光谱数据的分布往往不一致,当目标域的农产品的光谱数据与源域的农产品的光谱数据存在域偏差时,利用源域的数据训练得到的预测模型难以准确分析目标域中的农产品的光谱数据,也就难以准确预测农产品的可溶性固形物,品质检测的准确度难以保证。
发明内容
本申请人针对上述问题及技术需求,提出了一种基于监督迁移学习的农产品可溶性固形物预测方法,本申请的技术方案如下:
一种基于监督迁移学习的农产品可溶性固形物预测方法,该农产品可溶性固形物预测方法包括:
利用源域中的农产品样本的源域光谱数据在自监督学习框架下训练金字塔编码器,利用金字塔编码器根据输入的源域光谱数据输出对应的重构光谱数据,金字塔编码器基于源域光谱数据及对应的重构光谱数据确定的源域损失函数进行训练;
将训练得到的金字塔编码器、特征融合模块和预测头网络依次连接,构建得到预测模型;
将目标域中农产品样本的目标域光谱数据作为输入、对应的可溶性固形物含量作为输出,训练预测模型;
利用训练得到的预测模型根据目标域的待测农产品的光谱数据,预测得到待测农产品的可溶性固形物含量。
本申请的有益技术效果是:
本申请公开了一种基于监督迁移学习的农产品可溶性固形物预测方法,该方法利用源域中农产品样本的光谱数据在自监督学习框架下预训练金字塔编码器,然后将训练得到的金字塔编码器迁移到目标域,作为骨干网络搭建预测模型,然后使用目标域中的农产品样本的光谱数据进行重新训练以实现预测模型的更新,更新后的预测模型即能用于目标域中的可溶性固形物含量的预测,该方法针对域偏移的情况,通过模型更新的方法可以在目标域中实现准确预测,检测准确度更高。
该方法在源域中进行预训练时只需使用无标签的光谱数据,实现方式简单,而且该方法实现的预测模型的更新速度快,更新得到的预测模型的检测精度高。
附图说明
图1是本申请一个实施例的农产品可溶性固形物预测方法的方法流程图。
图2是本申请一个实施例中获取源域中农产品样本的源域光谱数据的方法流程图。
图3是本申请一个实施例中利用金字塔编码器对源域光谱数据处理得到对应的重构光谱数据的方法流程示意图。
图4是本申请一个实例中计算源域损失函数的方法示意图。
图5是本申请一个实施例中目标域光谱数据输入预测模型后输出可溶性固形物预测值的方法流程示意图。
图6是一个实例中利用训练得到的预测模型对目标域中待测农产品的可溶性固形物含量预测结果示意图。
具体实施方式
下面结合附图对本申请的具体实施方式做进一步说明。
本申请公开了一种基于监督迁移学习的农产品可溶性固形物预测方法,请参考图1所示的流程示意图,该农产品可溶性固形物预测方法包括:
步骤1,利用源域中的农产品样本的源域光谱数据在自监督学习框架下训练金字塔编码器。
步骤2,将训练得到的金字塔编码器、特征融合模块和预测头网络依次连接,构建得到预测模型。
在一个实施例中,特征融合模块为一维卷积网络。预测头网络包括三个依次连接的全连接层,在一个实施例中,三个全连接层依次包括16、8和1个神经元,激活函数为线性函数。
在一个实施例中,通过截断正态分布程序初始化特征融合模块和预测头网络中的权重。
步骤3,将目标域中农产品样本的目标域光谱数据作为输入、对应的可溶性固形物含量作为输出,训练预测模型。
步骤4,利用训练得到的预测模型根据目标域的待测农产品的光谱数据,预测得到待测农产品的可溶性固形物含量。
在本申请的方法中,源域中的农产品和目标域中的农产品是光谱数据由于分布不一致而存在域偏差的同一类农产品。比如比较常见的,源域中的农产品和目标域中的农产品是不同年份种植采摘的同一类农产品,或者,源域中的农产品和目标域中的农产品是不同产地种植采摘的同一类农产品,或者,源域中的农产品和目标域中的农产品是不同品种的同一类农产品等等。
在上述步骤1中,首先需要获取源域中的农产品样本的源域光谱数据,请参考图2所示的方法流程图,获取源域中的农产品样本的源域光谱数据的方法包括:
(a)获取源域中R1个农产品初始样本的采集光谱数据以及可溶性固形物含量,包括:
将农产品初始样本放置在可见光/近红外光谱采集系统图像采集系统中,采集得到每个农产品初始样本在g个波段下的可见光或近红外光谱数据作为采集光谱数据,则R1个农产品初始样本的采集光谱数据构成光谱数据集R1和g均为参数。
将每个农产品初始样本由可见光/近红外光谱采集系统图像采集系统的测量位置处的组织取出,利用数字折射仪测量得到该农产品初始样本的可溶性固形物含量,则R1个农产品初始样本的可溶性固形物含量成可溶性固形物数据集进而可以得到源域中R1个农产品初始样本构成的源域初始数据集{Xs,Ys}。
(b)从采集到的源域初始数据集{Xs,Ys}中筛选出部分农产品初始样本的采集光谱数据作为源域中农产品样本的原始光谱数据,包括:
按照可溶性固形物含量的降序对源域中所有R1个农产品初始样本进行重排列,按照重排列的顺序每隔P个农产品初始样本提取T个农产品初始样本的采集光谱数据作为源域中农产品样本的原始光谱数据,P和T均为参数,由此可以从R1个农产品初始样本中挑选出个农产品初始样本作为源域中的农产品样本,/>表示对/>取整,也即从光谱数据集/>中筛选出部分数据作为光谱数据集/>中。由此可以减少后续需要处理的数据量,且筛选出的农产品样本覆盖从大到小的各种可溶性固形物含量的取值,更能体现不同可溶性固形物含量下的农产品样本的光谱特征。
比如在一个实例中,取P=1、T=3,则按可溶性固形物含量的降序遍历所有R1个农产品初始样本,每次按顺序抽取四个连续的农产品初始样本,并选取其中前三个农产品初始样本的采集光谱数据作为源域中农产品样本的原始光谱数据,剩余的另一个农产品初始样本的采集光谱数据丢弃,由此得到所有农产品样本的原始光谱数据构成的光谱数据集
(c)计算源域中所有R2个农产品样本的原始光谱数据在各个波段处的光谱数据的最大值向量Vmax和最小值向量Vmin,也即计算光谱数据集在所有波段位置的最大值/>和最小值/> 是光谱数据集Xp中任意一个原始光谱数据xp在波段位置b处的光谱数据,b∈[1,g]。
(d)利用最大值向量Vmax和最小值向量Vmin对源域中农产品样本的原始光谱数据进行归一化处理,利用无监督光谱数据增强技术进行数据扩展,并利用补零操作对源域中每条原始光谱数据进行维度扩展,得到源域中农产品样本的源域光谱数据。
光谱数据集Xp中任意一组原始光谱数据xp在进行归一化处理后转换为然后利用无监督光谱数据增强技术进行数据扩展,一般将数据扩展9倍。另外还利用补零操作对源域中每条原始光谱数据进行维度扩展,使得每个农产品样本的归一化后的原始光谱数据从g维扩展到g′维后得到对应的源域光谱数据xpn,g′为大于g的参数,即最终得到的任意一个农产品样本的源域光谱数据xpn包括g′个波段下的光谱数据且已经经过归一化处理,而且本申请使用的源域光谱数据是无标签数据,所有农产品样本的源域光谱数据构成光谱数据集/>
在通过上述方法获取到源域中的光谱数据集后,可以利用源域光谱数据在自监督学习框架下训练金字塔编码器,包括:利用金字塔编码器根据输入的源域光谱数据输出对应的重构光谱数据,然后金字塔编码器基于源域光谱数据及对应的重构光谱数据确定的源域损失函数进行训练。
对于每组源域光谱数据xpn,生成对应的重构光谱数据Vde包括如下步骤,请参考图3所示的示意图:
(1)将源域光谱数据xpn按照波段顺序划分为M个波段上连续但不重合的补丁单元,每个补丁单元包括连续的4m个波段内的光谱数据,g′=M·4m,m和M均为正整数参数,一般直接取m=1。
(2)按照预定划分比例随机将所有M个补丁单元划分为M1个源域可视补丁和M2个掩膜补丁,M1+M2=M,也即在按照预定划分比例确定M1和M2的数量之后,随机从M个补丁单元中选取M1个补丁单元作为源域可视补丁、剩余M2个补丁单元作为掩膜补丁。预定划分比例是预先设定好的自定义参数,比如可以按照M1=25%×M以及M2=75%×M的预定划分比例进行划分。
(3)利用金字塔编码器对所有M1个源域可视补丁包括的光谱数据进行特征提取得到多个尺度不同的精细化特征图,利用对齐模块对所有精细化特征图进行特征融合,得到编码可视补丁Fvis。包括:
(3-1)将M1个源域可视补丁划分为4M1个波段上连续但不重合的第一源域重构可视补丁,将M1个源域可视补丁划分为2M1个波段上连续但不重合的第二源域重构可视补丁。其中,每个第一源域重构可视补丁包括连续m个波段的光谱数据,每个第二源域重构可视补丁包括连续2m个波段的光谱数据。
(3-2)通过具有d个输出节点的线性变换模块将M1个源域可视补丁转化为特征图利用外部自注意力模块处理特征图F4得到尺寸为4m的原始补丁单元对应的精细化特征图/>d为参数。
(3-3)通过具有d个输出节点的线性变换模块将2M1个第二源域重构可视补丁转换为特征图利用外部自注意力模块处理特征图F2得到尺寸为2m的原始补丁单元对应的精细化特征图/>
(3-4)通过具有d个输出节点的线性变换模块将4M1个第一源域重构可视补丁转换为特征图利用外部自注意力模块处理特征图F1得到尺寸为m的原始补丁单元对应的精细化特征图/>
(3-5)金字塔编码器输出的精细化特征图的尺度不同,因此对齐模块对精细化特征图/>进行四倍下采样,得到下采样特征图/>对精细化特征图/>进行两倍下采样,得到下采样特征图/>然后对下采样特征图/>下采样特征图/>和精细化特征图/>进行特征融合得到编码可视补丁/>为Fvis=Fout,1,d+Fout,2,d+Fout,4
(4)对得到的编码可视补丁Fvis和M2个掩膜补丁进行连接并解码,得到波段顺序和维度分别与源域光谱数据相同的重构光谱数据Vde。包括:
(4-1)通过具有d″个输出节点的线性变换模块将M2个包括连续的4m个波段内的光谱数据的掩膜补丁转化为特征图d″为参数。
(4-2)通过具有d″个输出节点的线性变换模块将编码可视补丁转化为特征图/>
(4-3)级联特征图Fmd和特征图Fvd并按照各个补丁单元对应的波段范围的波段顺序调整得到特征图
(4-4)利用外部自注意力模块处理特征图Fc得到对应的精细化特征图
(4-5)通过具有4m个输出节点的线性变换模块将精细化特征图Fout,c转换为特征图
(4-5)将特征图Fsp按行展平,得到一维的重构光谱数据即得到了与源域光谱数据xpn的波段顺序和维度分别与源域光谱数据相同的重构光谱数据Vde
在上述步骤(3-2)~(3-4)以及(4-4)中都需要使用到外部自注意力模块,利用外部自注意力模块处理任意一个特征图得到对应的精细化特征图/>的方法包括如下步骤:
通过具有d′个输出节点的线性变换模块将特征图转换为query矩阵并设置两个不同的外置存储单元分别为矩阵/>和value矩阵S为外部存储器的尺度,也被称为外部自注意力模块的尺寸。
利用query矩阵Q和矩阵Mk计算注意力矩阵计算公式为softmax()表示softmax函数。在注意力矩阵A乘外置存储单元Mv后,残差连接输入的特征图F实现特征的精细化,从而得到精细化特征图通过参数S即能控制外部自注意力模块所消耗的计算代价。
其中,M′和D均为参数。在步骤(3-2)中,特征图表示特征图/>对应得到的精细化特征图/>表示精细化特征图/>在步骤(3-3)中,特征图/>表示特征图/>对应得到的精细化特征图/>表示精细化特征图/>在步骤(3-4)中,特征图/>表示特征图/>对应得到的精细化特征图/>表示精细化特征图/>在步骤(4-4)中,特征图表示特征图/>对应得到的精细化特征图/>表示精细化特征图
通过上述实施例提供的方法确定任意一组源域光谱数据xpn对应的重构光谱数据Vde后,即可利用所有源域光谱数据及对应的重构光谱数据确定的源域损失函数对金字塔编码器进行训练。包括:计算每组源域光谱数据及对应的重构光谱数据之间的均方误差,然后计算所有源域光谱数据对应的均方误差之和,并结合L2正则化项计算得到源域损失函数。在一个实施例中,L2正则化选取惩罚因子为0.05。
在本申请中,为了提高处理效率,首先将R2个农产品样本的原始光谱数据划分为B个处理批次,每个处理批次中包括若干个农产品样本的原始光谱数据,B为参数且B≥2。然后按照预定划分比例随机对一个处理批次中的多组源域光谱数据进行划分,对同一个处理批次中的多组源域光谱数据按照相同的划分原则分别划分为M个补丁单元,使得同一个处理批次中的多组源域光谱数据对应于相同波段范围的补丁单元均属于源域可视补丁或均属于掩膜补丁。针对不同的处理批次的预定划分比例一般相同,但是划分原则一般不同,也即不同的处理批次中的源域光谱数据均划分为M个补丁单元,且包含相同数量的M1个源域可视补丁和M2个掩膜补丁,但哪些波段范围下的补丁单元属于源域可视补丁、哪些波段范围下的补丁单元属于掩膜补丁是不同的。
对于任意一个处理批次,依次按照上述实施例提供的方法处理该处理批次中的各组源域光谱数据得到对应的重构光谱数据,并计算源域光谱数据与重构光谱数据之间的均方误差MSE。然后对该处理批次中所有源域光谱数据对应计算得到的均方误差进行累加,得到批次均方误差和。按照相同的方法依次处理各个处理批次中的源域光谱数据,得到各个处理批次的批次均方误差和。处理完所有处理批次后,对所有处理批次的批次均方误差和进行累加,得到源域光谱数据对应的均方误差之和,并结合L2正则化项计算得到源域损失函数,这里的结合L2正则化项可以直接相加,或者加权相加,本申请不做限定。
比如请参考图4,在一个实例中,假设R2=4,B=2,M=5。则划分得到的第一个处理批次包括农产品样本1的原始光谱数据xpn_1以及农产品样本2的原始光谱数据xpn_2,第二个处理批次包括农产品样本3的原始光谱数据xpn_3,以及农产品样本4的原始光谱数据xpn_4。对每个原始光谱数据划分为5个补丁单元,且每个补丁单元均覆盖4个波段范围,对所有4个农产品样本的原始光谱数据均按照相同的划分方式进行划分,由于所有原始光谱数据均覆盖相同的g′个波段,又按照相同的划分方式来划分补丁单元,因此从图4可以看出,对所有原始光谱数据划分得到的补丁单元的数量和覆盖的范围都是对齐的,划分得到的补丁单元按照波段范围顺序依次记为补丁单元1~补丁单元5。
假设将5个补丁单元划分为2个源域可视补丁和3个掩膜补丁,对于第一个处理批次,随机将补丁单元1和补丁单元5划分为源域可视补丁,则其余3个补丁单元作为掩膜补丁,如图4所示,则同属于第一处理批次的原始光谱数据xpn_1和原始光谱数据xpn_2均以补丁单元1和补丁单元5作为源域可视补丁,图4中阴影部分表示源域可视补丁覆盖的波段范围,其余3个补丁单元作为掩膜补丁。对于第二个处理批次,随机将补丁单元2和补丁单元3划分为源域可视补丁,则其余3个补丁单元作为掩膜补丁,如图4所示,则同属于第二处理批次的原始光谱数据xpn_3和原始光谱数据xpn_4均以补丁单元2和补丁单元3作为源域可视补丁,图4中阴影部分表示源域可视补丁覆盖的波段范围,其余3个补丁单元作为掩膜补丁。
然后按照上述实施例提供的方法计算得到原始光谱数据xpn_1对应的均方误差MSEpn_1、原始光谱数据xpn_2对应的均方误差MSEpn_2后,对均方误差MSEpn_1和均方误差MSEpn_2相加得到第一个批次的批次均方误差和MSE1=MSEpn_1+MSEpn_2。然后同样的,计算得到原始光谱数据xpn_3对应的均方误差MSEpn_3、原始光谱数据xpn_4对应的均方误差MSEpn_4后,对均方误差MSEpn_3和均方误差MSEpn_4相加得到第二个批次的批次均方误差和MSE2=MSEpn_3+MSEpn_4。然后结合L2正则化项即可计算得到源域损失函数,利用源域损失函数进行模型迭代训练,最终训练得到金字塔编码器。
在目标域基于金字塔编码器进行重训练时,首先也需要获取目标域中农产品样本的目标域光谱数据及对应的可溶性固形物含量,首先获取目标域中R3个农产品样本的采集光谱数据以及可溶性固形物含量,具体获取采集光谱数据以及可溶性固形物含量的方法与源域中类似,该实施例不赘述。
然后利用在源域中已经确定的最大值向量Vmax和最小值向量Vmin对目标域中农产品样本的原始光谱数据进行归一化处理,利用无监督光谱数据增强技术进行数据扩展,同样的一般将数据扩展9倍。另外还利用补零操作对目标域中每条原始光谱数据进行维度扩展,得到目标域中农产品样本的目标域光谱数据。具体实现方式也与源域中的实现方式类似,该实施例不赘述。
在得到目标域中农产品样本的目标域光谱数据后,将目标域中每个农产品样本的目标域光谱数据输入搭建的预测模型,预测模型会输出该农产品样本的可溶性固形物预测值,计算可溶性固形物预测值和该农产品样本的测量得到的可溶性固形物含量之间的均方误差,然后计算目标域中所有农产品样本的均方误差之和,并结合L2正则化项计算得到目标域损失函数,利用该目标域损失函数来迭代训练预测模型,利用自适应学习率的小批量适应性矩估计优化器调整预测模型中所有模块的权重。在实际应用时,一般将目标域中所有农产品样本的目标域光谱数据及对应的可溶性固形物含量按比例划分为重训练集和测试集,然后利用重训练集来训练预测模型,利用测试集进行测试。
预测模型对输入的每组目标域光谱数据的处理方法进行处理并输出对应的可溶性固形物预测值的方法包括,请参考图5所示的流程示意图,对于任意一组目标域光谱数据xrn
(1)将该目标域光谱数据xrn按照波段顺序划分为N个波段上连续但不重合的第一目标域补丁单元,利用金字塔编码器对N个第一目标域补丁单元进行特征提取得到对应的精细化特征图每个第一目标域补丁单元包括连续的4n个波段内的光谱数据,N和n均为参数。
(2)将目标域光谱数据按照波段顺序划分为2N个波段上连续但不重合的第二目标域补丁单元,利用金字塔编码器对2N个第二目标域补丁单元进行特征提取得到对应的精细化特征图每个第二目标域补丁单元包括连续的2n个波段内的光谱数据。
(3)将目标域光谱数据按照波段顺序划分为4N个波段上连续但不重合的第三目标域补丁单元,利用金字塔编码器对4N个第三目标域补丁单元进行特征提取得到对应的精细化特征图每个第三目标域补丁单元包括连续的n个波段内的光谱数据。
步骤(1)~(4)实现的过程与源域中的处理过程是类似的,该实施例再赘述。
(4)利用特征融合模块对三个精细化特征图进行特征融合得到一维特征向量。按行级联三个精细化特征图和/>得到特征图/>对特征图在列方向上实施具有一个核的一维卷积网络,核尺寸为(N+2N+4N)×1,步长为1,激活函数为指数线性单元,从而输出一维特征向量/>
(5)利用预测头网络基于一维特征向量输出目标域光谱数据所属的农产品样本对应的可溶性固形物预测值。
在目标域对预测模型进行训练的过程中,同样可以按照源域的做法对目标域中所有农产品样本划分处理批次,按照处理批次来划分补丁单元并依次处理,该实施例不再赘述。
在训练得到预测模型后,即可利用训练得到的预测模型根据目标域的待测农产品的光谱数据,预测得到待测农产品的可溶性固形物含量。同样的,也需要利用在源域中确定的最大值向量和最小值向量对目标域的待测农产品的光谱数据进行归一化处理后输入训练得到的预测模型。
在一个实例中,以2009年采摘的红龙苹果作为源域的农产品,以2010年采摘的红龙苹果作为目标域的农产品。则首先测量并确定919个2009年采摘的红龙苹果的采集光谱数据以及可溶性固形物含量,然后筛选出其中689个2009年采摘的红龙苹果的采集光谱数据,采集光谱数据包括641个波段的光谱数据。
然后利用最大值向量和最小值向量对689个2009年采摘的红龙苹果的采集光谱数据进行归一化处理,并利用无监督光谱数据增强技术将采集光谱数据扩展9倍,并对每条采集光谱数据利用补零操作扩展维度,得到源域中6890个农产品样本的源域光谱数据,每组源域光谱数据包括644个波段的光谱数据。
按每个处理批次包括200个农产品样本的源域光谱数据的方式,将源域中6890个农产品样本的源域光谱数据划分为35个处理批次。将每条源域光谱数据的644个波段的光谱数据划分为161个补丁单元,每个补丁单元包含连续的4个波段的光谱数据。随机从每条源域光谱数据划分得到的161个补丁单元中抽取40个补丁单元作为源域可视补丁,剩下121个补丁单元作为掩膜补丁。然后按照本申请的方法进行迭代训练,得到训练后的金字塔编码器。
将训练得到的金字塔编码器、特征融合模块和预测头网络依次连接,构建得到预测模型。特征融合模块采用一维卷积网络,其包括一个核、核尺寸为1127*1。预测头网络包括三个全连接层,三个全连接层依次包括16、8和1个神经元,激活函数为线性函数。通过截断正态分布程序初始化一维卷积网络层和三个全连接层中的权重,取平均值和标准差分别为0.1和0.02。
测量并确定1192个2010年采摘的红龙苹果的采集光谱数据以及可溶性固形物含量,从中随机选取894个2010年采摘的红龙苹果的采集光谱数据以及可溶性固形物含量构成重训练集,剩下298个2010年采摘的红龙苹果的采集光谱数据以及可溶性固形物含量构成测试集。
利用最大值向量和最小值向量对重训练集中的894条采集光谱数据进行归一化处理,并利用无监督光谱数据增强技术将采集光谱数据扩展9倍,并对每条采集光谱数据利用补零操作扩展维度,得到目标中8940个农产品样本的目标域光谱数据,每条目标域光谱数据包括644个波段的光谱数据。
同样按每个处理批次包括200个农产品样本的目标域光谱数据的方式,将目标域的重训练集中8940个农产品样本的目标域光谱数据划分为35个处理批次。将每条目标域光谱数据的644个波段的光谱数据划分为161个补丁单元,每个补丁单元包含连续的4个波段的光谱数据。随机从每条目标域光谱数据划分得到的161个补丁单元中抽取40个补丁单元作为源域可视补丁,剩下121个补丁单元作为掩膜补丁。然后按照本申请的方法对预测模型进行重训练。
训练得到的预测模型可用于预测2010年采摘的红龙苹果的可溶性固形物含量。在该实例中,训练得到的预测模型对2010年采摘的红龙苹果的可溶性固形物含量的预测结果如图6所示,预测模型输出的可溶性固形物预测值与可溶性固形物含量真实值之间的线性相关性超过0.92,可见由此得到的预测模型可以准确预测目标域的红龙苹果的可溶性固形物含量。
在源域预训练的金字塔编码器可抽取更为有效的域不变特征,校正的预测模型可提取13个与相应红龙苹果的可溶性固形物含量强相关的特征,比传统无模型更新模块的预测模型多3个相同属性的特征。
以上所述的仅是本申请的优选实施方式,本申请不限于以上实施例。可以理解,本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本申请的保护范围之内。

Claims (8)

1.一种基于监督迁移学习的农产品可溶性固形物预测方法,其特征在于,所述农产品可溶性固形物预测方法包括:
利用源域中的农产品样本的源域光谱数据在自监督学习框架下训练金字塔编码器,利用所述金字塔编码器根据输入的源域光谱数据输出对应的重构光谱数据,所述金字塔编码器基于源域光谱数据及对应的重构光谱数据确定的源域损失函数进行训练,源域中的每个农产品样本的源域光谱数据包括所述农产品样本在g′个波段下的光谱数据;
将训练得到的所述金字塔编码器、特征融合模块和预测头网络依次连接,构建得到预测模型;
将目标域中农产品样本的目标域光谱数据作为输入、对应的可溶性固形物含量作为输出,训练所述预测模型;
利用训练得到的所述预测模型根据所述目标域的待测农产品的光谱数据,预测得到所述待测农产品的可溶性固形物含量;
利用所述金字塔编码器根据输入的源域光谱数据输出对应的重构光谱数据的方法包括:
将所述源域光谱数据按照波段顺序划分为M个波段上连续但不重合的补丁单元,每个补丁单元包括连续的4m个波段内的光谱数据,g′=M·4m;
按照预定划分比例随机将所有M个补丁单元划分为M1个源域可视补丁和M2个掩膜补丁,M1+M2=M;
将M1个源域可视补丁划分为4M1个第一源域重构可视补丁,将M1个源域可视补丁划分为2M1个第二源域重构可视补丁,每个第一源域重构可视补丁包括m个波段的光谱数据,每个第二源域重构可视补丁包括2m个波段的光谱数据;通过具有d个输出节点的线性变换模块将M1个源域可视补丁转化为特征图利用外部自注意力模块处理特征图F4得到尺寸为4m的原始补丁单元对应的精细化特征图/>通过具有d个输出节点的线性变换模块将2M1个第二源域重构可视补丁转换为特征图/>利用外部自注意力模块处理特征图F2得到尺寸为2m的原始补丁单元对应的精细化特征图/>通过具有d个输出节点的线性变换模块将4M1个第一源域重构可视补丁转换为特征图/>利用外部自注意力模块处理特征图F1得到尺寸为m的原始补丁单元对应的精细化特征图其中,精细化特征图/> 和/>的尺度不同;利用对齐模块对所有精细化特征图进行特征融合,得到编码可视补丁;
对得到的所述编码可视补丁和M2个掩膜补丁进行连接并解码,得到波段顺序和维度分别与所述源域光谱数据相同的重构光谱数据。
2.根据权利要求1所述的农产品可溶性固形物预测方法,其特征在于,利用对齐模块对所有精细化特征图进行特征融合得到编码可视补丁的方法包括:
对精细化特征图进行四倍下采样,得到下采样特征图/>
对精细化特征图进行两倍下采样,得到下采样特征图/>
对下采样特征图下采样特征图/>和精细化特征图进行特征融合得到编码可视补丁/>为Fvis=Fout,1,d+Fout,2,d+Fout,4
3.根据权利要求2所述的农产品可溶性固形物预测方法,其特征在于,对得到的编码可视补丁和M2个掩膜补丁进行连接并解码得到重构光谱数据的方法包括:
通过具有d″个输出节点的线性变换模块将M2个包括连续的4m个波段内的光谱数据的掩膜补丁转化为特征图
通过具有d″个输出节点的线性变换模块将编码可视补丁转化为特征图
级联特征图Fmd和特征图Fvd并按照各个补丁单元对应的波段范围的波段顺序调整得到特征图
利用外部自注意力模块处理特征图Fc得到对应的精细化特征图
通过具有4m个输出节点的线性变换模块将精细化特征图Fout,c转换为特征图
将特征图Fsp按行展平,得到一维的重构光谱数据
4.根据权利要求1或3所述的农产品可溶性固形物预测方法,其特征在于,利用外部自注意力模块处理任意一个特征图得到对应的精细化特征图/>的方法包括:
通过具有d′个输出节点的线性变换模块将特征图转换为query矩阵并设置两个不同的外置存储单元分别为矩阵/>和value矩阵S为外部存储器的尺度;
计算得到精细化特征图
5.根据权利要求1所述的农产品可溶性固形物预测方法,其特征在于,确定源域损失函数的方法包括:
计算每组源域光谱数据及对应的重构光谱数据之间的均方误差;
计算所有源域光谱数据对应的均方误差之和,并结合L2正则化项计算得到源域损失函数。
6.根据权利要求1所述的农产品可溶性固形物预测方法,其特征在于,所述预测模型对输入的每组目标域光谱数据的处理方法包括:
将所述目标域光谱数据按照波段顺序划分为N个波段上连续但不重合的第一目标域补丁单元,利用金字塔编码器对N个第一目标域补丁单元进行特征提取得到对应的精细化特征图每个所述第一目标域补丁单元包括连续的4n个波段内的光谱数据;
将所述目标域光谱数据按照波段顺序划分为2N个波段上连续但不重合的第二目标域补丁单元,利用金字塔编码器对2N个第二目标域补丁单元进行特征提取得到对应的精细化特征图每个所述第二目标域补丁单元包括连续的2n个波段内的光谱数据;
将所述目标域光谱数据按照波段顺序划分为4N个波段上连续但不重合的第三目标域补丁单元,利用金字塔编码器对4N个第三目标域补丁单元进行特征提取得到对应的精细化特征图每个所述第三目标域补丁单元包括连续的n个波段内的光谱数据;
利用特征融合模块对三个精细化特征图和/>进行特征融合得到一维特征向量;
利用预测头网络基于所述一维特征向量输出所述目标域光谱数据所属的农产品样本对应的可溶性固形物预测值。
7.根据权利要求1所述的农产品可溶性固形物预测方法,其特征在于,所述农产品可溶性固形物预测方法还包括:
获取源域中农产品样本的原始光谱数据以及目标域中农产品样本的原始光谱数据;
计算源域中所有农产品样本的原始光谱数据在各个波段处的光谱数据的最大值向量和最小值向量;
利用所述最大值向量和所述最小值向量对源域中农产品样本的原始光谱数据进行归一化处理,利用无监督光谱数据增强技术进行数据扩展,并利用补零操作对源域中每条原始光谱数据进行维度扩展,得到源域中农产品样本的源域光谱数据;
利用所述最大值向量和所述最小值向量对目标域中农产品样本的原始光谱数据进行归一化处理,利用无监督光谱数据增强技术进行数据扩展,并利用补零操作对目标域中每条原始光谱数据进行维度扩展,得到目标域中农产品样本的目标域光谱数据;
利用所述最大值向量和所述最小值向量对所述目标域的待测农产品的光谱数据进行归一化处理后输入训练得到的所述预测模型。
8.根据权利要求7所述的农产品可溶性固形物预测方法,其特征在于,获取源域中农产品样本的原始光谱数据的方法包括:
获取源域中农产品初始样本的采集光谱数据以及可溶性固形物含量;
按照可溶性固形物含量的降序对源域中农产品初始样本进行重排列,按照重排列的顺序每隔P个农产品初始样本提取T个农产品初始样本的采集光谱数据作为源域中农产品样本的原始光谱数据。
CN202310300277.5A 2023-03-24 2023-03-24 基于监督迁移学习的农产品可溶性固形物预测方法 Active CN116312860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310300277.5A CN116312860B (zh) 2023-03-24 2023-03-24 基于监督迁移学习的农产品可溶性固形物预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310300277.5A CN116312860B (zh) 2023-03-24 2023-03-24 基于监督迁移学习的农产品可溶性固形物预测方法

Publications (2)

Publication Number Publication Date
CN116312860A CN116312860A (zh) 2023-06-23
CN116312860B true CN116312860B (zh) 2023-09-12

Family

ID=86802953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310300277.5A Active CN116312860B (zh) 2023-03-24 2023-03-24 基于监督迁移学习的农产品可溶性固形物预测方法

Country Status (1)

Country Link
CN (1) CN116312860B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315405B (zh) * 2023-11-28 2024-03-29 广州思德医疗科技有限公司 内窥镜图像生成网络训练方法、图像生成方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN112651173A (zh) * 2020-12-18 2021-04-13 浙江大学 一种基于跨域光谱信息的农产品品质无损检测方法及可泛化系统
CN113486827A (zh) * 2021-07-13 2021-10-08 上海中科辰新卫星技术有限公司 基于域对抗与自监督的多源遥感影像迁移学习方法
CN113850813A (zh) * 2021-09-16 2021-12-28 太原理工大学 基于空间分辨率域自适应的无监督遥感图像语义分割方法
CN114022752A (zh) * 2021-11-04 2022-02-08 中国人民解放军国防科技大学 基于注意力特征精细化及对齐的sar目标检测方法
CN114445670A (zh) * 2022-04-11 2022-05-06 腾讯科技(深圳)有限公司 图像处理模型的训练方法、装置、设备及存储介质
CN114663729A (zh) * 2022-03-29 2022-06-24 南京工程学院 一种基于元学习的气缸套小样本缺陷检测方法
CN114998893A (zh) * 2022-06-14 2022-09-02 江南大学 基于半监督迁移学习的食品品质无损检测模型构建方法
CN115359361A (zh) * 2022-07-07 2022-11-18 西安电子科技大学 一种sar影像域自适应动态优化地物分类模型训练方法
CN115731441A (zh) * 2022-11-29 2023-03-03 浙江大学 基于数据跨模态迁移学习的目标检测和姿态估计方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308158B (zh) * 2020-11-05 2021-09-24 电子科技大学 一种基于部分特征对齐的多源领域自适应模型及方法
US20220198339A1 (en) * 2020-12-23 2022-06-23 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for training machine learning model based on cross-domain data
US20230082899A1 (en) * 2021-09-14 2023-03-16 Eduardo CORRAL-SOTO Devices, systems, methods, and media for domain adaptation using hybrid learning

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN112651173A (zh) * 2020-12-18 2021-04-13 浙江大学 一种基于跨域光谱信息的农产品品质无损检测方法及可泛化系统
CN113486827A (zh) * 2021-07-13 2021-10-08 上海中科辰新卫星技术有限公司 基于域对抗与自监督的多源遥感影像迁移学习方法
CN113850813A (zh) * 2021-09-16 2021-12-28 太原理工大学 基于空间分辨率域自适应的无监督遥感图像语义分割方法
CN114022752A (zh) * 2021-11-04 2022-02-08 中国人民解放军国防科技大学 基于注意力特征精细化及对齐的sar目标检测方法
CN114663729A (zh) * 2022-03-29 2022-06-24 南京工程学院 一种基于元学习的气缸套小样本缺陷检测方法
CN114445670A (zh) * 2022-04-11 2022-05-06 腾讯科技(深圳)有限公司 图像处理模型的训练方法、装置、设备及存储介质
CN114998893A (zh) * 2022-06-14 2022-09-02 江南大学 基于半监督迁移学习的食品品质无损检测模型构建方法
CN115359361A (zh) * 2022-07-07 2022-11-18 西安电子科技大学 一种sar影像域自适应动态优化地物分类模型训练方法
CN115731441A (zh) * 2022-11-29 2023-03-03 浙江大学 基于数据跨模态迁移学习的目标检测和姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多源域混淆的双流深度迁移学习;闫美阳;李原;;中国图象图形学报(第12期);全文 *

Also Published As

Publication number Publication date
CN116312860A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110728224B (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN112052755B (zh) 基于多路注意力机制的语义卷积高光谱图像分类方法
CN111079683B (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN113095409B (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN113936214B (zh) 一种基于融合空天遥感影像的岩溶湿地植被群落分类方法
CN116312860B (zh) 基于监督迁移学习的农产品可溶性固形物预测方法
CN108734199A (zh) 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
CN104809471A (zh) 一种基于空间光谱信息的高光谱图像残差融合分类方法
CN107680081B (zh) 基于卷积神经网络的高光谱图像解混方法
CN116051896A (zh) 一种轻量化混合张量神经网络的高光谱图像分类方法
CN114973019A (zh) 一种基于深度学习的地理空间信息变化检测分类方法及系统
CN113657472B (zh) 一种基于子空间学习的多源遥感数据融合方法
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
CN116593980B (zh) 雷达目标识别模型训练方法、雷达目标识别方法及装置
CN116863341A (zh) 基于时间序列卫星遥感影像的作物分类和识别方法和系统
CN111062888A (zh) 一种基于多目标低秩稀疏及空谱全变分的高光谱影像去噪方法
CN116205863A (zh) 一种检测高光谱图像异常目标的方法
Çakmak Grapevine Leaves Classification Using Transfer Learning and Fine Tuning
CN110751144B (zh) 一种基于稀疏表示的冠层植物高光谱图像分类方法
CN114298101A (zh) 一种动态称重方法及系统
CN109740666B (zh) 基于lksvd的面向柑橘汁香气检测的电子鼻特征提取与分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant