CN116756527A - 一种用于育种筛选的数据处理方法 - Google Patents
一种用于育种筛选的数据处理方法 Download PDFInfo
- Publication number
- CN116756527A CN116756527A CN202311041546.7A CN202311041546A CN116756527A CN 116756527 A CN116756527 A CN 116756527A CN 202311041546 A CN202311041546 A CN 202311041546A CN 116756527 A CN116756527 A CN 116756527A
- Authority
- CN
- China
- Prior art keywords
- breeding
- evaluation parameter
- data
- breeding evaluation
- imf component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009395 breeding Methods 0.000 title claims abstract description 336
- 230000001488 breeding effect Effects 0.000 title claims abstract description 336
- 238000012216 screening Methods 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 236
- 238000005457 optimization Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 40
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 206010023126 Jaundice Diseases 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 238000013480 data collection Methods 0.000 claims 1
- 239000000463 material Substances 0.000 description 12
- 238000000354 decomposition reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/148—Wavelet transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Business, Economics & Management (AREA)
- Pure & Applied Mathematics (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Housing For Livestock And Birds (AREA)
Abstract
本发明涉及数据处理领域,具体涉及一种用于育种筛选的数据处理方法,根据各育种评价参数的数据得到各育种评价参数函数;根据正负高斯白噪声对各育种评价参数函数进行处理得到各育种评价参数信号集合;获取每个育种评价参数的各IMF分量集合;根据育种评价参数的各IMF分量集合以及育种评价参数函数得到育种评价参数的各残余分量集合;获取各IMF分量集合的小波系数;构建各IMF分量集合的去噪小波系数模型并去除噪点小波系数,构建各育种评价参数的育种评价参数去噪函数及育种评价参数优化数据矩阵;计算各育种评价参数优化数据的噪点置信度,完成育种数据的处理。从而实现育种数据的处理,提高育种数据精度及可靠性。
Description
技术领域
本申请涉及数据处理领域,具体涉及一种用于育种筛选的数据处理方法。
背景技术
育种筛选的概念就是从育种材料中选出符合人们要求的优良个体留作育种来用,同时把不良个体淘汰。从育种材料中选择出优良的个体作为种用,育种筛选可以使品质较差个体的繁殖后代受到限制,而使优秀个体得到更多的繁殖机会,产生更多的优良品种,使群体的遗传结构发生定向变化,即有利基因的频率增加,不利基因的频率减少,最终使有利基因纯合个体的比例逐代增多。育种筛选时保持和发展一个品质的优良特性、增加品质内优良个体的比例、克服品种的缺点、达到保持品种纯度和提高整个品种质量的关键一步。
在育种筛选过程中,对于育种数据的处理极为重要,育种数据的处理可提高育种筛选的评价精度,保证育种筛选的准确度。对于育种筛选过程中的育种数据处理,目前大多为基于育种材料外在以及单一特征对育种材料进行分析,对于育种材料的育种数据并没有进行相应的处理,因此在基于育种数据进行育种筛选时将会出现噪声等影响,且该过程无法根据育种材料的内在实际特征以及无法结合多维度特征对育种材料进行检测分析,育种筛选准确性较低,育种数据处理效果不佳。
因此,本发明提出一种用于育种筛选的数据处理方法,为避免单一参数数据分析导致育种筛选精度低的问题,本发明通过多种数据采集传感器采集育种材料育种过程中的各育种评价参数数据,构建育种评价参数矩阵,并结合多维育种评价参数对育种评价参数矩阵进行分析,对多维育种评价参数数据进行处理,提高育种数据的可靠性及利用率,进而保证育种筛选的精度。
发明内容
为了解决上述技术问题,本发明提供一种用于育种筛选的数据处理方法,以解决现有的问题。
本发明的一种用于育种筛选的数据处理方法采用如下技术方案:
本发明一个实施例提供了一种用于育种筛选的数据处理方法,该方法包括以下步骤:
采集各育种评价参数的数据,并根据各育种评价参数的数据得到各育种评价参数函数;
根据正负高斯白噪声对各育种评价参数函数进行处理得到各育种评价参数信号集合;根据每个育种评价参数信号集合中各育种评价参数信号的IMF分量得到每个育种评价参数的各IMF分量集合;根据育种评价参数的各IMF分量集合以及育种评价参数函数得到育种评价参数的各残余分量集合;
对每个育种评价参数的各IMF分量集合进行小波分析,获取各IMF分量集合的小波系数;根据各IMF分量集合小波系数以及小波系数软、硬阈值函数得到各IMF分量集合的去噪小波系数模型;通过各IMF分量集合的去噪小波系数模型去除各IMF分量集合小波系数中的噪点小波系数,结合小波逆变换得到各IMF分量重构集合;
根据各IMF分量重构集合以及各残余分量集合得到各育种评价参数的育种评价参数去噪函数;通过各育种评价参数去噪函数计算各育种评价参数优化数据,根据各育种评价参数优化数据得到育种评价参数优化数据矩阵;
根据育种评价参数优化数据矩阵中各育种评价参数优化数据及相邻育种评价参数优化数据之间的差异状况得到各育种评价参数优化数据的噪点置信度,将噪点置信度高于噪点置信度阈值的优化数据均作为噪点数据,删除各育种评价参数中的噪点数据,完成育种数据的处理。
优选的,所述根据正负高斯白噪声对各育种评价参数函数进行处理得到各育种评价参数信号集合,表达式为:
;
式中,E为高斯白噪声的添加次数,为第i次添加的高斯白噪声,/>为高斯指数,/>为白噪声幅度,/>为育种评价参数m所有数据的标准差,/>为育种评价参数m的育种评价参数信号集合。
优选的,所述根据每个育种评价参数信号集合中各育种评价参数信号的IMF分量得到每个育种评价参数的各IMF分量集合,表达式为:
;
式中,为育种评价参数m的第k个IMF分量集合,/>为育种评价参数m在第i次添加高斯指数为/>的高斯白噪声时对应育种评价参数信号的第k个IMF分量。
优选的,所述根据育种评价参数的各IMF分量集合以及育种评价参数函数得到育种评价参数的各残余分量集合,表达式为:
;
式中,为育种评价参数m的第k个残余分量集合,/>为育种评价参数m的第k-1个残余分量集合,/>为育种评价参数m的第k个IMF分量集合,K为残余分量集合个数,/>为育种评价参数m的育种评价参数函数,t为数据采集时刻。
优选的,所述根据各IMF分量集合小波系数以及小波系数软、硬阈值函数得到各IMF分量集合的去噪小波系数模型,表达式为:
;
;
式中,为育种评价参数m的第k个IMF分量集合的第j个小波系数,/>为小波系数/>对应的去噪小波系数,/>为第k个IMF分量集合的小波系数阈值,/>为符号函数,/>为调控权值,/>为调控因子,/>为以2为底数的对数函数。
优选的,所述根据各IMF分量重构集合以及各残余分量集合得到各育种评价参数的育种评价参数去噪函数,具体为:
;
式中,为育种评价参数m的育种评价参数去噪函数,K为IMF分量集合个数,也为残余分量集合个数,/>为育种评价参数m第k个IMF分量集合的IMF分量重构集合,/>育种评价参数m的第k个残余分量集合。
优选的,所述根据各育种评价参数优化数据得到育种评价参数优化数据矩阵,表达式为:
;
式中,为育种评价参数优化数据矩阵,M为育种评价参数数量,n为总时刻,分别为育种评价参数1在数据采集时刻1、2、n所对应的优化数据,/>分别为育种评价参数2在数据采集时刻1、2、n所对应的优化数据,/>分别为育种评价参数M在数据采集时刻1、2、n所对应的优化数据。
优选的,所述根据育种评价参数优化数据矩阵中各育种评价参数优化数据及相邻育种评价参数优化数据之间的差异状况得到各育种评价参数优化数据的噪点置信度,表达式为:
;
式中,为优化数据/>的噪点置信度,min()为取最小值操作,为归一化操作,e为自然常数,/>分别为育种评价参数M在数据采集时刻/>、/>、/>所对应的优化数据。
本发明至少具有如下有益效果:
本发明主要根据育种筛选过程中的各育种评价参数的育种数据进行提取,构建育种数据处理模型,对育种数据进行噪点提取,避免噪点数据对育种数据信息可靠度的影响,提高育种筛选准确性。本发明结合EMD算法以及高斯白噪声对各育种评价参数进行分解处理,提高数据分析速度,同时结合小波变换对育种评价参数的各IMF分量集合进行去噪筛选,对小波系数去噪模型进行优化,实现对各IMF分量集合进行自适应去噪处理,避免了各IMF分量集合中噪声分量对育种评价参数数据可靠性的影响,同时结合小波系数软硬阈值函数对各IMF分量集合小波系数去噪模型进行优化,解决了软硬阈值函数在小波逆变换过程中重构信号不准确以及平滑度低的问题;
同时,本发明结合各优化数据之间的空间维度关系,对各育种评价参数优化数据的噪点置信度进行计算,对噪点数据进行提取并滤除,进一步解决了噪点数据对于育种数据纯度以及可靠性的影响。本发明具有育种数据处理精度高、提高数据可信度等有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的一种用于育种筛选的数据处理方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种用于育种筛选的数据处理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于育种筛选的数据处理方法的具体方案。
本发明一个实施例提供的一种用于育种筛选的数据处理方法。
具体的,提供了如下的一种用于育种筛选的数据处理方法,请参阅图1,该方法包括以下步骤:
步骤S001,获取各育种评价参数数据,构建各育种评价参数函数。
本实施例主要对育种材料的各育种评价参数的数据进行处理分析,提高育种数据可信度,进而为育种材料筛选提供可靠数据支撑。首先,本实施例将通过各数据采集传感器对育种材料育种过程中的各育种评价参数进行数据采集,育种材料育种过程中对各育种评价参数在时序上对数据进行采集,以便分析育种材料育种过程中的育种数据信息。考虑到育种材料在育种过程中具有时段性,因此,实施者可选择育种评价参数数据采集间隔时长t,也即每t小时对各育种评价参数进行一次数据采集,本实施例设定为t=3h。需要说明的是,育种评价相关的参数有很多,实施者可根据育种种类实际情况自行选取设定,本实施例中育种评价参数包括但不限于:生长速度,发病率,生虫率,含水率等,各育种评价参数可通过现有测量技术直接测量或者现有技术的转换计算获取;
为便于对育种评价参数数据的分析,根据每个育种评价参数的数据获取每个育种评价参数函数,需要说明的是,育种评价参数函数为各育种评价参数数据的波形线状函数,育种评价参数函数横坐标表示的为数据采集时刻t,纵坐标为各育种评价参数在各数据采集时刻所对应的数据;
至此,即可根据本实施例上述方法获取各育种评价参数的数据,获取每个育种评价参数函数,用于对育种筛选过程中的育种数据进行处理分析。
步骤S002,分析各育种评价参数数据,检测提取噪声数据并进行处理,完成育种数据的处理。
对于获取的各育种评价参数函数,为实现对育种数据的处理,本实施例将对各育种评价参数数据进行分析,检测育种评价参数中的各噪声分量,以避免噪声对育种数据纯度的影响,进而导致育种筛选精度低等问题。
考虑到育种评价参数采集过程中由于外界环境因素等不可避免存在的一些噪声将对获取的育种评价参数数据纯度产生影响,同时传感器在工作时本身元器件也会产生一定的散粒噪声,导致育种评价参数数据中存在大量的噪点数据,影响育种评价参数数据精度以及育种筛选结果。因此,为提高数据纯度,保证育种筛选可信度,本实施例将对育种数据进行分析,提取育种数据中的噪点并进行处理,具体过程为:
首先,为提高育种数据处理效率,加快育种数据处理速度,本实施例将对育种评价参数函数进行分解处理,传统经验模态分解EMD(Empirical Mode Decomposition)不需要预先给定基函数,直接根据信号或者波形本身特征即可进行自适应分解,故本实施例采用EMD对育种评价参数函数进行分解处理。但是,本实施例考虑到EMD存在模式混叠问题,在分解过程中会出现同一信号分量也即同一IMF分量中会存在不同频率的波形混叠的情况,降低育种评价参数数据分解效率且对育种评价参数数据的噪点处理性能有所影响,因此,本实施例将在各育种评价参数函数上分别添加高斯噪声进行辅助分解处理,本实施例以育种评价参数m为例,对育种数据噪点检测处理过程进行详细说明:首先育种评价参数m所对应的育种评价参数函数记为,根据正负高斯白噪声对育种评价参数函数进行处理得到育种评价参数信号集合,表达式为:
;
式中,E为高斯白噪声的添加次数,为第i次添加的高斯白噪声,/>为高斯指数,用于控制所添加的高斯白噪声的正负情况,/>为白噪声幅度,实施者可自行设定,本实施例设定为/>,/>为育种评价参数m所有数据的标准差,/>为育种评价参数m的育种评价参数信号集合;
重复上述方法,获取各育种评价参数所对应的育种评价参数信号集合;
对于育种评价参数m的育种评价参数信号集合,本实施例通过EMD对育种评价参数m的育种评价参数信号集合进行分解,得到育种评价参数信号集合/>中每个育种评价参数信号的各IMF分量,然后根据育种评价参数信号集合中每个育种评价参数信号的各IMF分量得到育种评价参数的各IMF分量集合,表达式为:
;
式中,为育种评价参数m的第k个IMF分量集合,/>为育种评价参数m在第i次添加高斯指数为/>的高斯白噪声时对应育种评价参数信号的第k个IMF分量;
重复上述方法,获取各育种评价参数m的各个IMF分量集合;
进一步,根据育种评价参数的各IMF分量集合以及育种评价参数函数得到育种评价参数的各残余分量集合,表达式为:
;
式中,为育种评价参数m的第k个残余分量集合,/>为育种评价参数m的第k-1个残余分量集合,/>为育种评价参数m的第k个IMF分量集合,K为残余分量集合个数,/>为育种评价参数m的育种评价参数函数,t为数据采集时刻;
进一步,本实施例将结合小波去噪算法对各个IMF分量集合进行去噪处理,以消除各IMF分量集合中的噪点分量。首先,对各个IMF分量集合进行小波分析,获取各个IMF分量集合所对应的小波系数;然后对小波系数进行阈值设定,以便对噪点对应的小波系数进行滤除,小波系数阈值设定传统大多通过硬阈值、软阈值设定方法,但是,硬阈值过于绝对,存在突变点,导致处理后的信号出现不平滑现象,而软阈值对小波系数处理前后将会存在一定的偏差,影响小波逆变换过程中各IMF分量集合的重构,因此,考虑到噪点分量所对应的小波系数较小,本实施例根据各IMF分量集合小波系数以及小波系数软、硬阈值函数得到各IMF分量集合的去噪小波系数模型,表达式为:
;
;
式中,为育种评价参数m的第k个IMF分量集合的第j个小波系数,/>为小波系数/>对应的去噪小波系数,/>为第k个IMF分量集合的小波系数阈值,实施者可自行设定,本实施例将第k个IMF分量集合的小波系数均值的0.75倍作为小波系数阈值,为符号函数,/>为调控权值,/>为调控因子,实施者可自行设定,本实施例设定为/>;根据去噪小波系数模型可知,当/>时为软阈值函数,/>越大,/>越趋于1,则去噪小波系数模型越接近于硬阈值函数,本实施例上述方法可对各IMF分量集合的小波系数进行自适应去噪处理,可有效滤除各IMF分量集合中的噪点小波系数,并保证各IMF分量结合在小波逆变换过程时重构信号的平滑效果;
重复上述方法,获取各IMF分量集合的去噪小波系数模型,对各IMF分量集合中的小波系数进行去噪处理,滤除噪点小波系数,然后通过小波逆变换得到各IMF分量重构集合,需要说明的是,小波变换以及逆变换过程为现有公知技术,不在本实施例保护范围内,不做相关一一详细阐述;
根据各IMF分量重构集合以及各残余分量集合得到各育种评价参数对应的育种评价参数去噪函数,实现对各育种评价参数数据进行去噪处理,表达式为:
;
式中,为育种评价参数m的育种评价参数去噪函数,K为IMF分量集合个数,也为残余分量集合个数,/>为育种评价参数m第k个IMF分量集合的IMF分量重构集合,/>育种评价参数m的第k个残余分量集合;
重复上述方法,获取各育种评价参数的育种评价参数去噪函数;
根据各育种评价参数的育种评价参数去噪函数,计算各数据采集时刻t对应的各育种评价参数优化数据,获取各育种评价参数的优化数据,构建育种评价参数优化数据矩阵,育种评价参数优化数据矩阵具体为:
;
式中,为育种评价参数优化数据矩阵,M为育种评价参数数量,n为总时刻,实施者可自行设定,本实施例设置n=500,式中,/>为育种评价参数优化数据矩阵,M为育种评价参数数量,n为总时刻,/>分别为育种评价参数1在数据采集时刻1、2、n所对应的优化数据,/>分别为育种评价参数2在数据采集时刻1、2、n所对应的优化数据,/>分别为育种评价参数M在数据采集时刻1、2、n所对应的优化数据;
进一步,为保证育种数据处理效果,提高育种数据可信度,本实施例将对初步去噪优化后的各育种数据进行空间维度的分析。考虑到噪点具有孤立性,与周围相邻数据之间的相关性低,因此,本实施例将对各育种评价参数优化数据的噪点置信度进行检测,根据各育种评价参数优化数据及相邻育种评价参数优化数据之间的差异状况得到各育种评价参数优化数据的噪点置信度,表达式为:
;
式中,为优化数据/>的噪点置信度,min()为取最小值操作,为归一化操作,e为自然常数。噪点置信度越大,则对应优化数据的孤立性越强,与周围优化数据之间的差异程度越高,越可能为噪点;
重复上述方法,获取各优化数据的噪点置信度,并设置噪点置信度阈值,将噪点置信度高于噪点置信度阈值的优化数据作为噪点数据,删除各育种评价参数中的噪点数据,得到各育种评价参数所对应的最终数据。需要说明的是,噪声置信度阈值实施者可自行设定,本实施例设置为0.5;
重复上述方法,获取各育种评价参数的最终数据,实现对育种数据的处理分析。
至此,即可根据本实施例上述方法对各育种评价参数的数据进行处理分析,获取各育种评价参数的最终数据,实现用于育种筛选的育种数据处理,提高育种数据纯度,为育种筛选提供可靠信息,进而提高育种筛选准确性。
综上所述,本发明实施例主要根据育种筛选过程中的各育种评价参数的育种数据进行提取,构建育种数据处理模型,对育种数据进行噪点提取,避免噪点数据对育种数据信息可靠度的影响,提高育种筛选准确性。本发明实施例结合EMD算法以及高斯白噪声对各育种评价参数进行分解处理,提高数据分析速度,同时结合小波变换对育种评价参数的各IMF分量集合进行去噪筛选,对小波系数去噪模型进行优化,实现对各IMF分量集合进行自适应去噪处理,避免了各IMF分量集合中噪声分量对育种评价参数数据可靠性的影响,同时结合小波系数软硬阈值函数对各IMF分量集合小波系数去噪模型进行优化,解决了软硬阈值函数在小波逆变换过程中重构信号不准确以及平滑度低的问题;
同时,本发明实施例结合各优化数据之间的空间维度关系,对各育种评价参数优化数据的噪点置信度进行计算,对噪点数据进行提取并滤除,进一步解决了噪点数据对于育种数据纯度以及可靠性的影响。本发明实施例具有育种数据处理精度高、提高育种数据可信度等有益效果。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种用于育种筛选的数据处理方法,其特征在于,该方法包括以下步骤:
采集各育种评价参数的数据,并根据各育种评价参数的数据得到各育种评价参数函数;
根据正负高斯白噪声对各育种评价参数函数进行处理得到各育种评价参数信号集合;根据每个育种评价参数信号集合中各育种评价参数信号的IMF分量得到每个育种评价参数的各IMF分量集合;根据育种评价参数的各IMF分量集合以及育种评价参数函数得到育种评价参数的各残余分量集合;
对每个育种评价参数的各IMF分量集合进行小波分析,获取各IMF分量集合的小波系数;根据各IMF分量集合小波系数以及小波系数软、硬阈值函数得到各IMF分量集合的去噪小波系数模型;通过各IMF分量集合的去噪小波系数模型去除各IMF分量集合小波系数中的噪点小波系数,结合小波逆变换得到各IMF分量重构集合;
根据各IMF分量重构集合以及各残余分量集合得到各育种评价参数的育种评价参数去噪函数;通过各育种评价参数去噪函数计算各育种评价参数优化数据,根据各育种评价参数优化数据得到育种评价参数优化数据矩阵;
根据育种评价参数优化数据矩阵中各育种评价参数优化数据及相邻育种评价参数优化数据之间的差异状况得到各育种评价参数优化数据的噪点置信度,将噪点置信度高于噪点置信度阈值的优化数据均作为噪点数据,删除各育种评价参数中的噪点数据,完成育种数据的处理。
2.如权利要求1所述的一种用于育种筛选的数据处理方法,其特征在于,所述根据正负高斯白噪声对各育种评价参数函数进行处理得到各育种评价参数信号集合,表达式为:
;
式中,E为高斯白噪声的添加次数,为第i次添加的高斯白噪声,/>为高斯指数,为白噪声幅度,/>为育种评价参数m所有数据的标准差,/>为育种评价参数m的育种评价参数信号集合。
3.如权利要求1所述的一种用于育种筛选的数据处理方法,其特征在于,所述根据每个育种评价参数信号集合中各育种评价参数信号的IMF分量得到每个育种评价参数的各IMF分量集合,表达式为:
;
式中,为育种评价参数m的第k个IMF分量集合,/>为育种评价参数m在第i次添加高斯指数为/>的高斯白噪声时对应育种评价参数信号的第k个IMF分量。
4.如权利要求1所述的一种用于育种筛选的数据处理方法,其特征在于,所述根据育种评价参数的各IMF分量集合以及育种评价参数函数得到育种评价参数的各残余分量集合,表达式为:
;
式中,为育种评价参数m的第k个残余分量集合,/>为育种评价参数m的第k-1个残余分量集合,/>为育种评价参数m的第k个IMF分量集合,K为残余分量集合个数,/>为育种评价参数m的育种评价参数函数,t为数据采集时刻。
5.如权利要求1所述的一种用于育种筛选的数据处理方法,其特征在于,所述根据各IMF分量集合小波系数以及小波系数软、硬阈值函数得到各IMF分量集合的去噪小波系数模型,表达式为:
;
;
式中,为育种评价参数m的第k个IMF分量集合的第j个小波系数,/>为小波系数/>对应的去噪小波系数,/>为第k个IMF分量集合的小波系数阈值,/>为符号函数,/>为调控权值,/>为调控因子,/>为以2为底数的对数函数。
6.如权利要求1所述的一种用于育种筛选的数据处理方法,其特征在于,所述根据各IMF分量重构集合以及各残余分量集合得到各育种评价参数的育种评价参数去噪函数,具体为:
;
式中,为育种评价参数m的育种评价参数去噪函数,K为IMF分量集合个数,也为残余分量集合个数,/>为育种评价参数m第k个IMF分量集合的IMF分量重构集合,/>育种评价参数m的第k个残余分量集合。
7.如权利要求1所述的一种用于育种筛选的数据处理方法,其特征在于,所述根据各育种评价参数优化数据得到育种评价参数优化数据矩阵,表达式为:
;
式中,为育种评价参数优化数据矩阵,M为育种评价参数数量,n为数据采集总时刻,分别为育种评价参数1在数据采集时刻1、2、n所对应的优化数据,/>分别为育种评价参数2在数据采集时刻1、2、n所对应的优化数据,/>分别为育种评价参数M在数据采集时刻1、2、n所对应的优化数据。
8.如权利要求1所述的一种用于育种筛选的数据处理方法,其特征在于,所述根据育种评价参数优化数据矩阵中各育种评价参数优化数据及相邻育种评价参数优化数据之间的差异状况得到各育种评价参数优化数据的噪点置信度,表达式为:
;
式中,为优化数据/>的噪点置信度,min()为取最小值操作,为归一化操作,e为自然常数,/>分别为育种评价参数M在数据采集时刻/>、/>、/>所对应的优化数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041546.7A CN116756527B (zh) | 2023-08-18 | 2023-08-18 | 一种用于育种筛选的数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041546.7A CN116756527B (zh) | 2023-08-18 | 2023-08-18 | 一种用于育种筛选的数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116756527A true CN116756527A (zh) | 2023-09-15 |
CN116756527B CN116756527B (zh) | 2023-11-07 |
Family
ID=87953685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311041546.7A Active CN116756527B (zh) | 2023-08-18 | 2023-08-18 | 一种用于育种筛选的数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116756527B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030037349A1 (en) * | 2000-03-01 | 2003-02-20 | Lieven Callewaert | Method for combinatorial optimization in plant or animal breeding |
JP2018161058A (ja) * | 2017-03-24 | 2018-10-18 | キッセイコムテック株式会社 | 植物の生育状態評価方法、植物生育状態評価プログラム、植物生育状態評価装置ならびに植物モニタリングシステム |
CN112231559A (zh) * | 2020-10-13 | 2021-01-15 | 黑龙江省农业科学院绥化分院 | 一种作物育种方法 |
CN114841412A (zh) * | 2022-04-08 | 2022-08-02 | 大连大学 | 一种海参生长水质中酸碱度的预测方法 |
CN115938477A (zh) * | 2022-12-08 | 2023-04-07 | 四川新希望六和猪育种科技有限公司 | 多性状育种值的测定方法、装置、设备及存储介质 |
-
2023
- 2023-08-18 CN CN202311041546.7A patent/CN116756527B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030037349A1 (en) * | 2000-03-01 | 2003-02-20 | Lieven Callewaert | Method for combinatorial optimization in plant or animal breeding |
JP2018161058A (ja) * | 2017-03-24 | 2018-10-18 | キッセイコムテック株式会社 | 植物の生育状態評価方法、植物生育状態評価プログラム、植物生育状態評価装置ならびに植物モニタリングシステム |
CN112231559A (zh) * | 2020-10-13 | 2021-01-15 | 黑龙江省农业科学院绥化分院 | 一种作物育种方法 |
CN114841412A (zh) * | 2022-04-08 | 2022-08-02 | 大连大学 | 一种海参生长水质中酸碱度的预测方法 |
CN115938477A (zh) * | 2022-12-08 | 2023-04-07 | 四川新希望六和猪育种科技有限公司 | 多性状育种值的测定方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
J.B.COLE: "BREEDING AND GENETICS SYMPOSIUM:Really big data: Processing and analysis of very large data sets", JOURNAL OR ANIMAL SCIENCE, vol. 90, no. 3, pages 723 - 733 * |
刘忠强;赵向宇;王开义;李民赞;: "基于序相关的作物育种评价性状特征选择方法", 农业机械学报, vol. 46, no. 1, pages 283 - 289 * |
Also Published As
Publication number | Publication date |
---|---|
CN116756527B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108827605B (zh) | 一种基于改进稀疏滤波的机械故障特征自动提取方法 | |
CN105844285B (zh) | 基于图像信息的黄瓜病害识别方法及装置 | |
CN109890043B (zh) | 一种基于生成式对抗网络的无线信号降噪方法 | |
CN109410977B (zh) | 一种基于EMD-Wavelet的MFCC相似度的语音段检测方法 | |
CN107464226B (zh) | 一种基于改进二维经验模态分解算法的图像去噪方法 | |
CN106653032A (zh) | 低信噪比环境下基于多频带能量分布的动物声音检测方法 | |
WO2019062595A1 (zh) | 光电容积脉搏波的质量评估方法 | |
CN114469124B (zh) | 一种运动过程中异常心电信号的识别方法 | |
CN111414832B (zh) | 一种基于鲸豚类低频水声信号的实时在线识别分类系统 | |
CN117373471B (zh) | 一种音频数据优化降噪方法及系统 | |
CN110808057A (zh) | 一种基于约束朴素生成对抗网络的语音增强方法 | |
CN111540368A (zh) | 一种稳健的鸟声提取方法、装置及计算机可读存储介质 | |
CN110349106A (zh) | 一种基于Renyi熵的小波软阈值图像去噪方法 | |
CN116756527B (zh) | 一种用于育种筛选的数据处理方法 | |
CN117235576A (zh) | 一种基于黎曼空间的运动想象脑电意图分类方法 | |
CN112735480A (zh) | 一种基于神经网络的声带病变检测装置 | |
Sun et al. | Wavelet denoising method based on improved threshold function | |
CN113484913B (zh) | 一种多粒度特征融合卷积神经网络的地震资料去噪方法 | |
CN114881883A (zh) | 一种红外图像多维降噪方法、存储介质及装置 | |
CN112927169A (zh) | 一种基于小波变换和改进的加权核范数最小化的遥感影像去噪方法 | |
CN106997766B (zh) | 一种基于宽带噪声的同态滤波语音增强方法 | |
CN113487519B (zh) | 一种基于人工智能的图像去雨方法 | |
Shi | An Improved Machine Learning Model for Pig Abnormal Voice Recognition | |
CN117711419B (zh) | 用于数据中台的数据智能清洗方法 | |
CN117370737B (zh) | 一种基于自适应高斯滤波器的非稳态非高斯噪声去除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |