CN116701845B - 基于数据处理的水产品品质评价方法及系统 - Google Patents

基于数据处理的水产品品质评价方法及系统 Download PDF

Info

Publication number
CN116701845B
CN116701845B CN202310934328.XA CN202310934328A CN116701845B CN 116701845 B CN116701845 B CN 116701845B CN 202310934328 A CN202310934328 A CN 202310934328A CN 116701845 B CN116701845 B CN 116701845B
Authority
CN
China
Prior art keywords
signal
signal segment
value
decomposition
jump
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310934328.XA
Other languages
English (en)
Other versions
CN116701845A (zh
Inventor
郑银地
郑武畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Haichang Yuanguotong Food Material Co ltd
Original Assignee
Guangdong Haichang Yuanguotong Food Material Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Haichang Yuanguotong Food Material Co ltd filed Critical Guangdong Haichang Yuanguotong Food Material Co ltd
Priority to CN202310934328.XA priority Critical patent/CN116701845B/zh
Publication of CN116701845A publication Critical patent/CN116701845A/zh
Application granted granted Critical
Publication of CN116701845B publication Critical patent/CN116701845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Abstract

本发明涉及数据处理技术领域,具体涉及一种基于数据处理的水产品品质评价方法及系统。获得原始光谱信号经验模态分解时第一个分量信号和第一个残差信号,确定信号段,获得均值信号,根据信号段中残差信号与均值信号的斜率获得模态混叠概率,筛选出目标信号段,根据每个目标信号段的分解程度和极值点密度获得模态混叠程度,构建目标函数,根据目标函数在噪声迭代过程中的迭代结果筛选最优加噪强度,根据最优加噪强度对原始光谱信号进行加噪,重新进行经验模态分解并重组,获得高质量的光谱信号以及评价结果。本发明消除了经验模态分解过程中的模态混叠问题,获得去噪效果更好的高质量的光谱信号,提高了水产品品质评价结果的可信度。

Description

基于数据处理的水产品品质评价方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于数据处理的水产品品质评价方法及系统。
背景技术
水产品是人类蛋白质、无机盐和维生素的优质来源,需要对水产品进行品质检测以及评价。
现有色谱、质谱及光谱等现代分析技术,其中光谱对于水产品鲜活度化学检测具有重要作用;但是由于水产品中含水量较多,营养物质组成复杂,光束穿透水产品样本时会发生散射现象,另外还有部分波长的光线会被水体吸收,光谱信号会包含噪声导致出现严重失真,现有相关技术中通常利用经验模态分解算法对光谱信号进行分析,但是在处理光谱信号中的非均匀复杂噪声时,会存在模态混叠问题,影响去噪效果,进而降低评价结果的可信度。
发明内容
为了解决利用经验模态分解算法分析光谱信号时,存在模态混叠问题,影响去噪效果,进而降低评价结果的可信度的技术问题,本发明的目的在于提供一种基于数据处理的水产品品质评价方法及系统,所采用的技术方案具体如下:
本发明提出了一种基于数据处理的水产品品质评价方法,所述方法包括:
获取水产品品质检测时的原始光谱信号;对所述原始光谱信号进行经验模态分解,获得第一个分量信号和分解过程中第一次迭代的残差信号;
根据所述残差信号的上包络线中任意相邻两个极值点确定信号段;根据所述原始光谱信号中相邻极值点的幅值获得均值信号;根据每个所述信号段中所有采样点处残差信号的上包络线的斜率与均值信号的斜率,获得每个信号段的模态混叠概率;根据所述模态混叠概率筛选目标信号段;
根据每个所述目标信号段中所有采样点处原始光谱信号的值、第一个分量信号的值和均值信号的值获得分解程度;根据每个所述目标信号段中极值点与采样点的数量以及分解程度获得模态混叠程度;
根据每个所述目标信号段加噪后的跳变值获得跳变熵;根据每个所述目标信号段的跳变熵和模态混叠程度构建目标函数;根据所述目标函数进行噪声强度迭代的迭代结果筛选出最优加噪强度;根据每个所述目标信号段的最优加噪强度对原始光谱信号加噪并进行经验模态分解获得分解结果,根据所述分解结果获得高质量的光谱信号;
根据所述高质量的光谱信号进行水产品品质评价,获得评价结果。
进一步地,所述均值信号的获取方法包括:
将所述原始光谱信号中每个极值点与距离最近的两个极值点的幅值的均值作为每个极值点的均值幅值;将所有极值点的所述均值幅值采用局部平滑方法进行拟合获得均值信号。
进一步地,所述模态混叠概率的获取方法包括:
获取每个信号段对应的残差信号的上包络线与均值信号的斜率协方差;依次获取每个信号段对应的残差信号上包络线的斜率均方差和均值信号的斜率均方差;
将每个所述信号段对应的所述斜率协方差与两个斜率均方差乘积的比值作为每个信号段的所述模态混叠概率。
进一步地,所述目标信号段的获取方法包括:
设置预设阈值;
将每个所述信号段的模态混叠概率与所述预设阈值进行比较;若信号段的所述模态混叠概率大于或者等于所述预设阈值,则所述信号段为目标信号段。
进一步地,所述分解程度的获取方法包括:
将每个所述目标信号段中每个采样点处原始光谱信号的值与第一个分量信号的值的差值的平方,作为每个采样点的偏差值;将所述每个采样点的偏差值与每个采样点对应的均值信号的值的比值作为每个采样点的分解值;将每个信号段中所有采样点的分解值累加作为每个目标信号段的所述分解程度。
进一步地,所述模态混叠程度的获取方法包括:
将每个所述目标信号段中极值点的数量与采样点的数量的比值作为极值点密度;将每个所述目标信号段的极值点密度进行负相关映射后与对应的分解程度相乘,作为每个目标信号段的所述模态混叠程度。
进一步地,所述目标函数的构建方法包括:
将每个所述目标信号段加噪后任意两个极值点的差异作为跳变值,获取每个目标信号段中跳变值的总数,根据所述跳变值的幅值对跳变值进行分类;
将每类跳变值的数量与跳变值的总数的比值作为每类跳变值的概率;根据所述每类跳变值的概率获得跳变熵;获取每个目标信号段中任意两个采样点进行组合的组合数,根据所述组合数获得每个目标信号段的跳变熵极限;将每个所述目标信号段的跳变熵与跳变熵极限和模态混叠程度乘积的比值作为比值熵,将预设正数减去每个目标信号段的所述比值熵作为所述目标函数。
进一步地,所述评价结果的获取方法包括:
将所述高质量的光谱信号输入到训练好的分类神经网络中,获得每类物质的浓度;
获取每类物质浓度的标准值,将所述每类物质的浓度与每类物质浓度的标准值的差异作为浓度差,若所有所述浓度差都小于或者等于预设判断阈值,则水产品品质合格;若存在所述浓度差大于预设判断阈值,则水产品品质不合格。
本发明还提出了一种基于数据处理的水产品品质评价系统,所述系统包括:
存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时可实现任意一项所述方法的步骤。
本发明具有如下有益效果:
本发明的目的在于利用光谱信号中的信息准确的获得水产品品质的评价结果;首先需要获取水产品品质检测时的原始光谱信号,然后使用经验模态分解算法获得第一个分量信号以及分解过程中第一次迭代的残差信号;由于经验模态分解算法会存在模态混叠问题,所以可以根据残差信号初步筛除掉信号自身幅值跳变的情况便于后续对模态混叠问题进行处理;然后将原始光谱信号进行分段,分段的目的在于可以从局部出发,分析每个信号段的模态混叠情况,进而对存在模态混叠情况的信号段进行自适应加噪;再基于每个信号段对应的残差信号的上包络线与均值信号的斜率可以获得每个信号段的模态混叠概率,故可以筛选出需要进行加噪的目标信号段;进一步基于每个目标信号段的分解程度、极值点数量以及采样点数量获得每个目标信号段的模态混叠程度,模态混叠程度可以初步反映出每个目标信号段需要的加噪强度;然后构建目标函数,目标函数由每个目标信号段加噪后的跳变熵以及模态混叠程度获得,可以更加准确的反映出每个加噪强度的效果,进而便于筛选出最优加噪强度;然后可以对原始光谱信号进行加噪并进行经验模态分解,此时可以得到消除了模态混叠问题的分量信号,使含噪的光谱信号成分分离更加的精准细致,提高了光谱信号去噪效果,进而可以获得高质量的光谱信号,并提高了水产品品质评价结果的可信度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于数据处理的水产品品质评价方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于数据处理的水产品品质评价方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
基于数据处理的水产品品质评价方法实施例:
下面结合附图具体的说明本发明所提供的一种基于数据处理的水产品品质评价方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于数据处理的水产品品质评价方法流程图,该方法包括以下步骤:
步骤S1:获取水产品品质检测时的原始光谱信号;对原始光谱信号进行经验模态分解,获得第一个分量信号和分解过程中第一次迭代的残差信号。
本发明的目的在于利用光谱信号对水产品的品质进行评价,而水产品的鲜度,或者腐败程度是其品质检测的重要指标,需要根据水产品内部的营养物质流失程度进行判定,但是由于水产品中含水量较多,营养物质组成复杂,光束穿透水产品样本时会发生散射现象,另外还有部分波长的光线会被水体吸收,光谱信号会出现严重失真,故每个光束测点处的光谱信号中会含有大量噪声,导致高光谱图像中的物质分布以及浓度并不准确,因此需要先对所有测点的光谱信号进行去噪处理,故利用高光谱成像技术对待测水产品进行检测,获取水产品品质检测时的原始光谱信号。
由于不同营养物质在不同波段有各自的特征峰、特征谷,关于水产品鲜度的化学指标检测依赖于这些特征信号,但由于原始光谱信号存在噪声,所以光谱信号本身存在较低的信噪比,部分噪声本身还可能与信号的特征相似,导致信号特征模糊不清,增加了噪声去除的难度;并且不同波段所检测的物质不同,噪声类型、强度也不相同,为了更好的处理这类非均匀性噪声,故对光谱信号进行经验模态分解。但这一过程中会存在模态混叠问题,模态混叠实质是由经验模分解的过程中因为非均匀噪声和非均匀信号的局部极值在很短的时间间隔内发生多次跳变导致的;而极值跳变分为两种情况:一种是信号本身幅值跳变,一种是基线变化剧烈引起的极值跳变。前者所分解的信号不存在模态混叠,后者则可能存在模态混叠。故需要消除信号本身幅值跳变的情况再进行后续对模态混叠情况的处理。
对原始光谱信号进行经验模态分解,获得第一个分量信号以及分解过程中第一次迭代的残差信号,残差信号为原始光谱信号减去首个均值包络线,由于首个均值包络线为原始光谱信号最外层的波动线,而局部幅值异常的信号处具有突出的包络线,因此原始光谱信号减去首个均值包络线所得的残差信号中不包含本身幅值跳变的信号;而获取第一个分量信号可以便于在后续的处理中使用。需要说明的是,经验模态分解算法为本领域技术人员熟知的技术手段,在此不做赘述,原始光谱信号的采集装置实施者可根据具体实施场景进行调整,在此不做限定。
至此,获得了水产品品质检测时的原始光谱信号并且获得了消除自身幅值跳变的导致的局部极值跳变的情况的残差信号,可以便于后续进行消除模态混叠情况的处理。
步骤S2:根据残差信号的上包络线中的任意相邻两个极值点确定信号段;根据原始光谱信号中相邻极值点的幅值获得均值信号;根据每个信号段中所有采样点处残差信号的上包络线的斜率与均值信号的斜率,获得每个信号段的模态混叠概率;根据模态混叠概率筛选目标信号段。
由于并不是所有的基线波动大的信号段都会存在极值跳变的情况,所以需要筛选出可能存在极值跳变的信号段,筛选过程可根据每个信号段的模态混叠概率进行判断。首先需要对原始光谱信号进行分段,将步骤S1中获取的残差信号的上包络线中任意相邻两个极值点之间的原始光谱信号作为一个信号段,即每个信号段中信号的变化趋势为单调递增或者单调递减,使用上包络线的原因在于低频信息在高频信息的下面,且经验模态分解过程的结果越靠后即越低频;而原始光谱信号的变化趋势可根据相邻极值点的幅值进行表征;所以可以使用上包络线与原始光谱信号的均值信号之间的变化趋势获取每个信号段的模态混叠概率。
优选地,本发明一个实施例中均值信号的获取方法包括:
将原始光谱信号中每个极值点与距离最近的两个极值点的幅值的均值作为每个极值点的均值幅值;将所有极值点的均值幅值采用局部平滑方法进行拟合获得均值信号;例如,确定与任一极值点相距最近的两个相邻极值点,将极值点与其相邻极值点求均,得到对应极值点的均值幅值;然后采用局部平滑方法进行拟合获得均值信号。
然后利用每个信号段对应的均值信号的变化趋势与残差信号的上包络线的变化趋势进行对比,若变化趋势一致,说明经验模态分解算法在分解获得第一个分量信号的过程中残差信号不再对原始信号的表面毛刺做功,每次迭代的过程仅仅在于消除基线,则该部分毛刺会被完整保留在第一个分量信号中,而模态混叠必然存在于这部分信号段中。由于变化趋势可以由斜率表征,故可以根据每个信号段中所有采样点处残差信号的上包络线的斜率与均值信号的斜率,获得每个信号段的模态混叠概率。
优选地,本发明一个实施例中模态混叠概率的获取方法包括:
获取每个信号段中每个采样点处残差信号的上包络线与均值信号的斜率值,然后可以获取每个信号段对应的残差信号的上包络线与均值信号的斜率均值,所以可以基于斜率值与斜率均值获取每个信号段对应的残差信号上包络线与均值信号的斜率协方差;然后依次获取每个信号段对应的残差信号上包络线与均值信号的斜率均方差;将每个信号段的斜率协方差与两个斜率均方差乘积的比值作为每个信号段的模态混叠概率。模态混叠概率的公式模型为:
其中,表示第/>个信号段的模态混叠概率,/>表示残差信号的上包络线,/>表示均值信号,/>表示第/>个信号段中的采样点总数,/>表示任意一个采样点,/>表示第/>个信号段中第/>个采样点对应的残差信号的上包络线的斜率值,/>表示第/>个信号段中第/>个采样点对应的均值信号的斜率值,/>表示第/>个信号段对应的残差信号的上包络线的斜率均值,/>表示第/>个信号段对应的均值信号的斜率均值,∑表示求和符号,/>表示均方差函数。
在模态混叠概率的公式模型中,分子为协方差,可以用来衡量每个信号段对应的残差信号的上包络线与均值信号之间变化趋势的总体误差,如变化趋势一致,则协方差值为正,若变化趋势不一致,则协方差值为负;而当二者变化趋势一致时,说明经验模态分解算法在分解获得第一个分量信号的过程中残差信号不再对原始光谱信号的表面毛刺做功,每次迭代的过程仅仅在于消除基线,则该部分毛刺会被完整保留在第一个分量信号中,而模态混叠必然存在于这部分信号段中,所以分子越大,说明模态混叠概率越大;分母为两个均方差的乘积,分别表征了每个信号段对应的残差信号上包络线的斜率的与均值信号的斜率的离散程度,所以当分母越小,说明每个信号段对应的残差信号的上包络线以及均值信号在该信号段内是单调的;故可将上述协方差与均方差乘积的比值视为自相关系数,用来表征每个信号段的模态混叠概率,其取值范围为(-1,1),越接近1,越正相关,即变化趋势越一致,则模态混叠概率越大。
在获得了每个信号段的模态混叠概率之后,由于每个信号段会发生模态混叠问题的概率不同,故本实施例根据模态混叠概率筛选出需要对其进行加噪的信号段,即目标信号段。
优选地,本发明一个实施例中目标信号段的获取方法包括:
首先设置预设阈值,目的在于可以将每个信号段的模态混叠概率与该预设阈值进行比较进行筛选;若信号段的模态混叠概率大于或者等于该预设阈值,则认为此信号段中残差信号的上包络线与均值信号的变化趋势呈现正相关,即此信号段中会发生模态混叠问题的概率大,需要对其进行调整,故将此类信号段作为目标信号段。需要说明的是,预设阈值的大小为0.7,具体数值的设置实施者可根据具体实施场景进行调整,在此不做限定。
至此,根据每个信号段的模态混叠概率筛选出了目标信号段,即需要对此类信号段进行自适应加噪处理,便于后续对原始光谱信号进行去噪,获得高质量的光谱信号。
步骤S3:根据每个目标信号段中所有采样点处原始光谱信号的值、第一个分量信号的值和均值信号的值获得分解程度;根据每个目标信号段中极值点与采样点的数量以及分解程度获得模态混叠程度。
由于通过经验模态分解算法获得第一个分量信号的分解过程为不断重复的差去均值包络线,即不断扔掉低频信息的过程,因此本发明实施例中将此过程视为对低频分解做功的过程,本质含义为分解了多少的低频信息;所以可以根据每个目标信号段中所有采样点处原始光谱信号的值、第一个分量信号的值和均值信号的值获得分解程度。
优选地,本发明一个实施例中分解程度的获取方法包括:
将每个目标信号段中每个采样点处原始光谱信号的值与第一个分量信号的值的差异的平方,作为每个采样点的偏差值,偏差值可以视为分解过程中对低频信息部分分解所做的功;然后将每个采样点的偏差值与采样点对应的均值信号的值的比值作为每个采样点的分解值,分解值可以视为分解过程中低频信息的分解功比上总功;最后将每个信号段中所有采样点的分解值累加作为每个目标信号段的分解程度。分解程度的公式模型为:
其中,表示第/>个目标信号段的分解程度,/>表示第/>个目标信号段中的采样点总数,/>表示第/>个目标信号段中第/>个采样点对应的原始光谱信号的值,/>表示第/>个目标信号段中第/>个采样点对应的第一个分量信号的值,/>表示第/>个目标信号段中第/>个采样点对应的均值信号的值,∑表示求和符号。
在分解程度的公式模型中,分子表征了原始光谱信号分解至第一个分量信号时不断差去均值包络线,即原始信号与分量信号之间的差异或偏差有多大,故可将其视为分解功;分母为每个采样点处均值信号的值,而均值信号在原始光谱信号分解至第一个分量信号时会变为0,故可将其视为分解过程中的总功,因此分解程度的公式模型可视为分解过程中低频信息的分解功比总功,当分子越小,比值越小,说明原始光谱信号与第一个分量信号的差异越小,即分解程度越小,可视为分解过程中对低频信息的分解做功越低。
由于每个目标信号段的极值点数量信息也可以反映出目标信号段的模态混叠程度,故可以将每个目标信号段的极值点信息和分解程度进行结合从而获得每个目标信号段的模态混叠程度。
优选地,本发明一个实施例中模态混叠程度的获取方法包括:
首先根据每个目标信号段中极值点的数量与采样点的总数获得目标信号段的极值点密度;每个目标信号段的极值点密度的具体获取方法为极值点的数量比上采样点的总数;然后将每个目标信号段的极值点密度与分解程度相结合;将极值点密度进行负相关映射后与分解程度相乘,将该乘积作为目标信号段的模态混叠程度。模态混叠程度的公式模型为:
其中,表示第/>个目标信号段的模态混叠程度,/>表示第/>个目标信号段中的采样点总数,/>表示第/>个目标信号段的分解程度,/>表示任意一个极值点,/>表示第个目标信号段中极值点的数量。
在模态混叠程度的公式模型中,的值表示了第/>个目标信号段的极值点密度,极值点数量越少,则基线信息在分解过程中的残留信息就越多,则模态混叠程度就越高,对极值点密度进行负相关映射的目的在于进行逻辑矫正,矫正后当极值点密度越小,则获得的模态混叠程度就越大;同时当分解程度越小,说明残留在第一个分量信号中的低频信息就越多,那么模态混叠程度也就越大;故将分解程度与极值点密度进行结合可以更加准确的表征出每个目标信号段的模态混叠程度。
至此,获得了每个目标信号段的模态混叠程度,可以基于模态混叠程度对每个目标信号段需要自适应加噪的噪声强度进行分析。
步骤S4:根据每个目标信号段加噪后的跳变值获得跳变熵;根据每个目标信号段的跳变熵和模态混叠程度构建目标函数;根据目标函数进行噪声强度迭代的迭代结果筛选出最优加噪强度;根据每个目标信号段的最优加噪强度对原始光谱信号加噪并进行经验模态分解获得分解结果,根据分解结果获得高质量的光谱信号。
当目标信号段的模态混叠程度越大,则应该加入的白噪声强度也应该越大,才能够使得噪声特征更加突出,便于在加噪过后重新使用经验模态分解算法分解时可以更好的剥离原本分解过程中可能残留的低频信息,而白噪声强度越大代表其服从的高斯分布标准差越大,故本发明实施例从开始迭代加噪强度,步长为0.1,即以进行迭代,然后根据模态混叠程度以及跳变熵构建目标函数,对不同目标信号段进行白噪声加噪,并筛选出不同目标信号段的最优加噪强度,实现对不同的目标信号段的自适应加噪。
优选地,本发明一个实施例中目标函数的构建方法包括:
将每个目标信号段中加噪后任意两个极值点的差异作为跳变值,选取任意两个的原因在于噪声位置是随机的,因此只能限制噪声的强度,而不能设置噪声信号的位置;然后获取每个信号段中跳变值的总数,根据跳变值的幅值对跳变值进行分类,具体分类方法为幅值相同的跳变值即为一类。分类的目的在于可以获取每类跳变值出现的概率进而构建跳变熵。
将每类跳变值的数量与跳变值的总数的比值作为每类跳变值的概率;根据每类跳变值的概率获得跳变熵;跳变熵可以初步反映出目标信号段加噪后的加噪效果;然后根据每个目标信号段内任意两个采样点进行组合的组合数获得跳变熵的极限值;将每个目标信号段的跳变熵与跳变熵极限和模态混叠程度乘积的比值作为比值熵,将预设正数减去每个目标信号段的比值熵作为目标函数。目标函数的公式模型为:
其中,表示第/>个目标信号段加噪后目标函数的值,/>表示跳变值,/>表示任意一类跳变值,/>表示跳变值的类数,/>表示第/>个目标信号段中的第/>类跳变值的值,/>表示第/>个目标信号段中第/>类跳变值的数量,/>表示第/>个目标信号段中跳变值的总数,表示第/>个目标信号段的模态混叠程度,/>表示第/>个目标信号段中任意两个采样点进行组合的组合数,/>表示以2为底的对数函数,∑表示求和符号。
在目标函数的公式模型中,分子为加噪后第个目标信号段的跳变值信息熵,即跳变熵,该值越大,说明噪声特征越突出,分母中的/>为第/>个目标信号段的跳变熵极限,表征的含义为若在该目标信号段中投放的噪声强度可以使得所有的采样点处都成为极值点,且所有极值点之间所求得的跳变值均不一样,那么此时该目标信号段中的噪声程度最大,跳变熵也越大;但是由于加噪过程中并不需要使该目标信号段内的噪声混乱度最高,而是在其模态混叠程度的基础上适量添加,因此/>表示模态混叠程度乘以最大熵极限,为该目标信号段实际所需的跳变熵极限;当/>越接近1,说明此时的加噪强度越合适,故本发明实施例中将预设正数设置为1,原因在于可以便于进行数值比较,所以当目标函数/>的值越接近0越好,因此将目标函数在进行噪声迭代过程中的最小值对应的噪声强度作为最优加噪强度。需要说明的是,预设正数的值也可为其他值,在此不做限定。
至此,可以通过构建目标函数并将其进行噪声迭代获得每个目标信号段的最优加噪强度。
进而可以根据每个目标信号段各自的最优加噪强度完成自适应加噪,获得加噪后的光谱信号,然后对其进行经验模态分解,此时可以得到消除模态混叠的第一个分量信号以及后续准确的分解结果。根据先验知识可知噪声基本集中在分量信号中的高频信号中,故本发明实施例中将第一个分量信号以及第二个分量信号丢弃,然后叠加重构剩余分量信号,可以得到高质量的光谱信号,提高了去噪的精度及效果。需要说明的是,经验模态分解过程为本领域技术人员熟知的过程,在此不做赘述。
步骤S5:根据高质量的光谱信号进行水产品品质评价,获得评价结果。
根据步骤S4中获得的高质量的光谱信号,即可以得到准确的高光谱图像以及水产品中营养物质的检测结果,然后可以进行水产品品质评价,获得评价结果。
优选地,本发明一个实施例中评价结果的获取方法包括:
其中,每类物质的浓度具体为水产品营养物质的浓度,例如蛋白质浓度,无机物浓度等,通过对光谱信号进行分析,提取水产品中各类营养物质的浓度,从而根据各类营养物质的浓度对水产品进行品质评价。
将高质量的光谱信号输入到训练好的分类神经网络中,获得每类物质的浓度;获取每类物质浓度的标准值,将每类物质的浓度与每类物质浓度的标准值的差异作为浓度差,若所有浓度差都小于或者等于预设判断阈值,则水产品品质合格;若存在有浓度差大于预设判断阈值,则水产品品质不合格。需要说明的是,分类神经网络的训练方法为本领域技术人员熟知的过程,以及每类物质浓度的标准值为公开信息,在此不做赘述,本发明实施例中的预设判断阈值为0.7,具体数值的大小实施者可根据不同物质的浓度进行调整,在此不做限定。
其中,分类神经网络的训练过程包括:
通过定向提取历史数据中不同波长处的高质量光谱信号和对应的物质的浓度,分为训练集和测试集,分类神经网络的结构选择Encoder-FC,损失函数为交叉熵函数,通过不同波长处的高质量光谱信号与其对应每类物质的浓度,调整分类神经网络中各参数的值,从而与对应的物质浓度相匹配,通过不断训练测试收敛,得到训练好的分类神经网络。
本发明实施例中,将高质量的光谱信号输入到训练好的分类神经网络中,经由分类神经网络处理,输出每类物质的浓度,实现水产品品质评价。
本发明一个实施例还提供了一种基于数据处理的水产品品质评价系统,该系统包括存储器、处理器和计算机程序,其中存储器用于存储相应的计算机程序,处理器用于运行相应的计算机程序,计算机程序在处理器上运行时能够实现任意一项一种基于数据处理的水产品品质评价方法的步骤。
综上所述,本发明的目的在于对水产品的品质进行评价,因此可以通过获取水产品品质检测时的光谱信号,通过分析光谱信号中各种营养成分的浓度来对水产品的品质进行评价,但是由于水产品中含水量较多,营养物质组成复杂,光束穿透水产品样本时会发生散射现象,另外还有部分波长的光线会被水体吸收,使光谱信号出现严重失真,影响最终评价结果的可信度,因此需要对原始光谱信号进行去噪,但在使用经验模态分解算法对其进行分析时,会出现模态混叠问题,故可以通过加噪的方式消除这一现象。对原始光谱信号进行经验模态分解,获得第一个分量信号和分解过程中第一次迭代的残差信号,然后根据残差信号的上包络线中相邻的极值点确定信号段,确定信号段的目的在于可以从局部分析,获得更加精确的结果。根据原始光谱信号获得均值信号,由于信号段的斜率可以表征出每个信号段的变化趋势,故根据信号段中残差信号的上包络线的斜率与均值信号的斜率获得每个信号段的模态混叠概率,进而根据模态混叠概率筛选出目标信号段,目标信号段即需要进行加噪的信号段。然后根据目标信号段中原始光谱信号的值、第一个分量信号的值以及均值信号的值获得目标信号段的分解程度,进而可以根据目标信号段的分解程度以及极值点密度获得每个目标信号段的模态混叠程度。然后为了获得最优加噪强度,可以构建目标函数,目标函数基于每个目标信号段的跳变熵以及模态混叠程度构建,可以更加准确的反映出每个加噪强度获得的加噪效果,然后根据目标函数在进行噪声迭代的过程中的迭代结果筛选出最优加噪强度,进而根据每个目标信号段的最优加噪强度对原始光谱信号进行加噪,然后重新进行经验模态分解,此时的分解结果可以消除模态混叠问题,然后筛选合适的分量进行重组,获得高质量的光谱信号,进而可以获得可信度更高的评价结果。
一种水产品光谱信号获取方法实施例:
在对水产品的光谱信号进行经验模态分解的过程中,由于水产品中含水量较多,营养物质组成复杂,光束穿透水产品样本时会发生散射现象,并且部分波长的光线会被水体吸收,使光谱信号出现严重失真,所以经验模态分解过程中会出现模态混叠问题,影响后续去噪效果,导致水产品光谱信号质量较差,故本实施例提供了一种水产品光谱信号获取方法,包括:
步骤S1:获取水产品品质检测时的原始光谱信号;对所述原始光谱信号进行经验模态分解,获得第一个分量信号和分解过程中第一次迭代的残差信号;
步骤S2:根据所述残差信号的上包络线中任意相邻两个极值点确定信号段;根据所述原始光谱信号中相邻极值点的幅值获得均值信号;根据每个所述信号段中所有采样点处残差信号的上包络线的斜率与均值信号的斜率,获得每个信号段的模态混叠概率;根据所述模态混叠概率筛选目标信号段;
步骤S3:根据每个所述目标信号段中所有采样点处原始光谱信号的值、第一个分量信号的值和均值信号的值获得分解程度;根据每个所述目标信号段中极值点与采样点数量以及分解程度获得模态混叠程度;
步骤S4:根据每个所述目标信号段加噪后的跳变值获得跳变熵;根据每个所述目标信号段的跳变熵和模态混叠程度构建目标函数;根据所述目标函数进行噪声强度迭代的迭代结果筛选出最优加噪强度;根据每个所述目标信号段的最优加噪强度对原始光谱信号加噪并进行经验模态分解获得分解结果,根据所述分解结果获得高质量的光谱信号。
其中,步骤S1~S4在上述基于数据处理的水产品品质评价方法实施例中已给出了详细说明,在此不再赘述。
本实施例带来的有益效果包括:针对利用经验模态分解对水产品光谱信号进行处理时,会出现模态混叠问题,影响后续去噪效果,导致水产品光谱信号质量较差,故本实施例提出了一种可以消除模态混叠问题的方法,即可利用加噪的方式解决模态混叠问题,首先利用经验模态分解算法获得原始信号的第一个分量信号以及分解过程中的第一个残差信号,残差信号可以用来筛除掉由于信号自身幅值跳变引起的极值跳变,进而可以使得后续的处理过程仅针对基线变化剧烈引起的极值跳变,即会产生模态混叠问题的极值跳变情况,然后将原始信号分段,便于对信号进行局部处理,可以获得更高的精度以及效果,进而基于每个信号段的残差信号的上包络线以及均值信号的斜率获得每个信号段的模态混叠概率,然后可以筛选出需要进行加噪的信号段,即目标信号段,进一步获得每个目标信号段的分解程度,分解程度和可以表征出分量信号中的残留信息信息量,由于每个目标信号段中极值点信息也可表征分量信号中的残留信息信息量,故可以基于每个目标信号段的分解程度以及极值点信息获得模态混叠程度,然后可以通过构建目标函数并结合模态混叠程度反映出目标信号段添加不同强度噪声时的效果,进而筛选出最优加噪强度;进一步可以获得加噪后的光谱信号,该光谱信号经过经验模态分解并重构后即可获得高质量的光谱信号,便于后续使用。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。

Claims (8)

1.一种基于数据处理的水产品品质评价方法,其特征在于,所述方法包括:
获取水产品品质检测时的原始光谱信号;对所述原始光谱信号进行经验模态分解,获得第一个分量信号和分解过程中第一次迭代的残差信号;
根据所述残差信号的上包络线中任意相邻两个极值点确定信号段;根据所述原始光谱信号中相邻极值点的幅值获得均值信号;根据每个所述信号段中所有采样点处残差信号的上包络线的斜率与均值信号的斜率,获得每个信号段的模态混叠概率;根据所述模态混叠概率筛选目标信号段;
根据每个所述目标信号段中所有采样点处原始光谱信号的值、第一个分量信号的值和均值信号的值获得分解程度;根据每个所述目标信号段中极值点与采样点的数量以及分解程度获得模态混叠程度;
根据每个所述目标信号段加噪后的跳变值获得跳变熵;根据每个所述目标信号段的跳变熵和模态混叠程度构建目标函数;根据所述目标函数进行噪声强度迭代的迭代结果筛选出最优加噪强度;根据每个所述目标信号段的最优加噪强度对原始光谱信号加噪并进行经验模态分解获得分解结果,根据所述分解结果获得高质量的光谱信号;
根据所述高质量的光谱信号进行水产品品质评价,获得评价结果;
所述目标函数的构建方法包括:
将每个所述目标信号段加噪后任意两个极值点的差异作为跳变值,获取每个目标信号段中跳变值的总数,根据所述跳变值的幅值对跳变值进行分类;
将每类跳变值的数量与跳变值的总数的比值作为每类跳变值的概率;根据所述每类跳变值的概率获得跳变熵;获取每个目标信号段中任意两个采样点进行组合的组合数,根据所述组合数获得每个目标信号段的跳变熵极限;将每个所述目标信号段的跳变熵与跳变熵极限和模态混叠程度乘积的比值作为比值熵,将预设正数减去每个目标信号段的所述比值熵作为所述目标函数。
2.根据权利要求1所述的一种基于数据处理的水产品品质评价方法,其特征在于,所述均值信号的获取方法包括:
将所述原始光谱信号中每个极值点与距离最近的两个极值点的幅值的均值作为每个极值点的均值幅值;将所有极值点的所述均值幅值采用局部平滑方法进行拟合获得均值信号。
3.根据权利要求1所述的一种基于数据处理的水产品品质评价方法,其特征在于,所述模态混叠概率的获取方法包括:
获取每个信号段对应的残差信号的上包络线与均值信号的斜率协方差;依次获取每个信号段对应的残差信号上包络线的斜率均方差和均值信号的斜率均方差;
将每个所述信号段对应的所述斜率协方差与两个斜率均方差乘积的比值作为每个信号段的所述模态混叠概率。
4.根据权利要求1所述的一种基于数据处理的水产品品质评价方法,其特征在于,所述目标信号段的获取方法包括:
设置预设阈值;
将每个所述信号段的模态混叠概率与所述预设阈值进行比较;若信号段的所述模态混叠概率大于或者等于所述预设阈值,则所述信号段为目标信号段。
5.根据权利要求1所述的一种基于数据处理的水产品品质评价方法,其特征在于,所述分解程度的获取方法包括:
将每个所述目标信号段中每个采样点处原始光谱信号的值与第一个分量信号的值的差异的平方,作为每个采样点的偏差值;将所述每个采样点的偏差值与每个采样点对应的均值信号的值的比值作为每个采样点的分解值;将每个信号段中所有采样点的分解值累加作为每个目标信号段的所述分解程度。
6.根据权利要求1所述的一种基于数据处理的水产品品质评价方法,其特征在于,所述模态混叠程度的获取方法包括:
将每个所述目标信号段中极值点的数量与采样点的数量的比值作为极值点密度;将每个所述目标信号段的极值点密度进行负相关映射后与对应的分解程度相乘,作为每个目标信号段的所述模态混叠程度。
7.根据权利要求1所述的一种基于数据处理的水产品品质评价方法,其特征在于,所述评价结果的获取方法包括:
将所述高质量的光谱信号输入到训练好的分类神经网络中,获得每类物质的浓度;
获取每类物质浓度的标准值,将所述每类物质的浓度与每类物质浓度的标准值的差异作为浓度差,若所有所述浓度差都小于或者等于预设判断阈值,则水产品品质合格;若存在所述浓度差大于预设判断阈值,则水产品品质不合格。
8.一种基于数据处理的水产品品质评价系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1~7任意一项所述方法的步骤。
CN202310934328.XA 2023-07-28 2023-07-28 基于数据处理的水产品品质评价方法及系统 Active CN116701845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310934328.XA CN116701845B (zh) 2023-07-28 2023-07-28 基于数据处理的水产品品质评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310934328.XA CN116701845B (zh) 2023-07-28 2023-07-28 基于数据处理的水产品品质评价方法及系统

Publications (2)

Publication Number Publication Date
CN116701845A CN116701845A (zh) 2023-09-05
CN116701845B true CN116701845B (zh) 2024-01-09

Family

ID=87836047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310934328.XA Active CN116701845B (zh) 2023-07-28 2023-07-28 基于数据处理的水产品品质评价方法及系统

Country Status (1)

Country Link
CN (1) CN116701845B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373471B (zh) * 2023-12-05 2024-02-27 鸿福泰电子科技(深圳)有限公司 一种音频数据优化降噪方法及系统
CN117420095B (zh) * 2023-12-15 2024-03-01 乐比(广州)健康产业有限公司 一种鼻腔喷雾剂成分检测方法
CN117541020B (zh) * 2024-01-04 2024-03-22 山东合能科技有限责任公司 一种城市排水泵站调度管理方法及系统
CN117559448B (zh) * 2024-01-12 2024-03-22 山东德源电力科技股份有限公司 一种用于专变采集终端的用电负荷预测分析方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765979A (zh) * 2015-04-28 2015-07-08 南京信息工程大学 一种基于集成经验模态分解的海杂波去噪方法
CN106844293A (zh) * 2017-02-03 2017-06-13 中国铁道科学研究院 一种经验模态分解中模态混叠问题的自适应解耦方法
CN111709116A (zh) * 2020-05-12 2020-09-25 西安交通大学 一种基于相似度度量的盲信号分解方法
CN112364291A (zh) * 2020-11-17 2021-02-12 哈工大机器人(合肥)国际创新研究院 一种前置滤波极值点优化集合经验模态分解方法及装置
CN112446323A (zh) * 2020-11-24 2021-03-05 云南电网有限责任公司电力科学研究院 基于改进emd模态混叠和端点效应的hht谐波分析方法
CN112464855A (zh) * 2020-12-09 2021-03-09 中国石油天然气集团有限公司 基于eemd的随钻泥浆正脉冲信号处理方法及装置
CN114970602A (zh) * 2022-04-13 2022-08-30 浙大宁波理工学院 基于改进的经验模态分解与小波阀值函数的信号去噪方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765979A (zh) * 2015-04-28 2015-07-08 南京信息工程大学 一种基于集成经验模态分解的海杂波去噪方法
CN106844293A (zh) * 2017-02-03 2017-06-13 中国铁道科学研究院 一种经验模态分解中模态混叠问题的自适应解耦方法
CN111709116A (zh) * 2020-05-12 2020-09-25 西安交通大学 一种基于相似度度量的盲信号分解方法
CN112364291A (zh) * 2020-11-17 2021-02-12 哈工大机器人(合肥)国际创新研究院 一种前置滤波极值点优化集合经验模态分解方法及装置
CN112446323A (zh) * 2020-11-24 2021-03-05 云南电网有限责任公司电力科学研究院 基于改进emd模态混叠和端点效应的hht谐波分析方法
CN112464855A (zh) * 2020-12-09 2021-03-09 中国石油天然气集团有限公司 基于eemd的随钻泥浆正脉冲信号处理方法及装置
CN114970602A (zh) * 2022-04-13 2022-08-30 浙大宁波理工学院 基于改进的经验模态分解与小波阀值函数的信号去噪方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于自适应CEEMD方法的电能质量扰动检测与分析;胡明 等;电力系统保护与控制;第46卷(第21期);第103-110页 *
改进的HHT方法及其在旋转机械故障诊断中的应用;周小龙 等;振动与冲击;第第39卷卷(第第7期期);第189-195页 *

Also Published As

Publication number Publication date
CN116701845A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN116701845B (zh) 基于数据处理的水产品品质评价方法及系统
CN109100323B (zh) 一种苹果水心病的透射光谱无损定量评价方法
JP6155746B2 (ja) 検量線作成方法および検量線作成装置、並びに目的成分検量装置
JP5884526B2 (ja) 検量線作成方法およびその装置、並びに目的成分検量装置
JP5884524B2 (ja) 検量線作成方法およびその装置、並びに目的成分検量装置
JP6273705B2 (ja) 検量線作成方法および検量線作成装置
Lu et al. Fast Bi-dimensional empirical mode decomposition as an image enhancement technique for fruit defect detection
CN110503060B (zh) 一种光谱信号去噪方法及其系统
CN108387887A (zh) 一种水声信号的混合降噪方法
JP2013036973A (ja) 検量線作成方法およびその装置、並びに目的成分検量装置
CN115326783B (zh) 拉曼光谱预处理模型生成方法、系统、终端及存储介质
US7693689B2 (en) Noise-component removing method
CN117405622B (zh) 一种燕窝中亚硝酸盐含量智能检测方法
CN110672582A (zh) 一种基于改进主成分分析的拉曼特征谱峰提取方法
JP5884525B2 (ja) 検量線作成方法およびその装置、並びに目的成分検量装置
CN110208211B (zh) 一种用于农药残留检测的近红外光谱降噪方法
Ashraf et al. Underwater ambient-noise removing GAN based on magnitude and phase spectra
CN114417937A (zh) 一种基于深度学习的拉曼光谱去噪方法
Fan et al. A reconstruction algorithm based on sparse representation for Raman signal processing under high background noise
CN111766210A (zh) 一种近岸复杂海水硝酸盐氮多光谱测量方法
CN115993332A (zh) 基于EEMD-db3的皇竹草重金属相对含量高光谱反演方法
CN114037769B (zh) 光学相干层析血管造影方法、装置、电子设备及存储介质
CN113392916A (zh) 基于高光谱图像的麻竹笋营养成分检测方法、系统和存储介质
CN112378942A (zh) 一种基于核磁共振指纹图谱的白酒等级分类识别方法
DARICI et al. A comparative study on denoising from facial images using convolutional autoencoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant