CN108897719A - 基于自适应遗传算法的气象数据缺失值填补方法 - Google Patents
基于自适应遗传算法的气象数据缺失值填补方法 Download PDFInfo
- Publication number
- CN108897719A CN108897719A CN201810512093.4A CN201810512093A CN108897719A CN 108897719 A CN108897719 A CN 108897719A CN 201810512093 A CN201810512093 A CN 201810512093A CN 108897719 A CN108897719 A CN 108897719A
- Authority
- CN
- China
- Prior art keywords
- missing values
- data
- value
- individual
- genetic algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002068 genetic effect Effects 0.000 title claims abstract description 37
- 230000007812 deficiency Effects 0.000 claims abstract description 4
- 108090000623 proteins and genes Proteins 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000006978 adaptation Effects 0.000 claims description 5
- 230000017105 transposition Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 6
- 241001269238 Data Species 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Genetics & Genomics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种基于自适应的遗传算法的气象数据填补方法，旨在提高对气象数据缺失值填补准确率，实现步骤为：设定气象数据集和缺失值；根据缺失值最近的前一相邻时刻和后一时刻相邻的数据，利用线性插值法，对缺失值进行估计；以与缺失值所在的属性相关性最大的属性为参照，对缺失值所在的属性数据进行分组，并在缺失值所在的组中计算缺失值所在的行与其他行相关性最大的相关系数，以构造缺失值与最大相关系数的方程，从而计算得到缺失值的估计值；建立遗传算法的目标函数，对线性插值法和相关性分类法的估计值加权的权重系数进行寻优，输出最优权重系数，从而得到缺失值的填补值。
Description
技术领域
本发明属于数据处理技术领域，涉及一种气象数据缺失值填补方法，具体涉及一种基于自适应遗传算法的气象数据的填补方法，可用于气象数据挖掘领域。
背景技术
气象数据通常是从气象站采集而来，然而在自动气象站架设的区域，一方面由于电磁波或各类观测探测仪本身的原因或外界干扰的因素，以及自动气象站所处恶劣环境改变的不可预见性；另一方面，一些地方地形情况特殊以及环境气候恶劣，使得气象站点分布多而广、维护保障的人员数量较少，区域自动气象站的维护保障工作难以进行；除此之外，不准确的测量方式、收集条件的限制以及人工录入的遗漏都有可能导致自动气象站运行过程中采集的数据不可避免的将会出现缺失。大量的数据缺失对后期的数据统计、数据挖掘等工作都会产生不利的影响。例如，缺失值可能会直接影响新发现模式的准确性，导致错误的挖掘模型；缺失值的未知性，也会对正常的数据分布形成干扰，降低挖掘能力；数据值的缺失导致难以对数据进行合理分类，无法准确获取统计分析结果，从而影响最终决策。
为了提供高质量的完整数据集，对数据集中的缺失值进行及时准确的填补，对于今后利用气象数据进行挖掘技术研究和分析气象数据的潜在规律，以及进一步完成对气象数据的预测等具有重要的科学研究意义和实用价值，并且也是数据处理领域一个值得研究和重视的问题。
目前针对气象数据缺失值填补，主要分为单一填补和多重填补两大类，单一填补主要有均值、中位数和众数填补方法，该类方法计算简单，但用单一数值填补大大降低了数据的随机性，损失了大量的数据信息。多重填补方法主要有热卡填补、邻近数据填补、空间插补、基于贝叶斯等方法，每一种方法都有其优缺点，根据具体数据对象的类型，方法的填补效果也不同，然而，没有任何一种缺失值填补方法能够有效解决所有类型的数据缺失问题。
为解决上述问题，在申请公布号为CN104280791A，名称为“一种气象数据质量控制处理方法及系统”的专利申请，公开了一种气象数据质量控制处理方法，所述的方法首先接收原始气象数据，然后判断原始数据中是否存在缺测值，若原始数据中存在异常数据，则对其进行填充处理并输出。其中针对气象数据的缺失值填补时，该方法首先统计预设时间段内的气象数据中存在缺失值的个数，当存在缺失值的个数小于设定值时，且缺失值前后两个数据不为缺失值时，采用缺失值前后数据的平均值来填充缺失值的气象数据，当缺失值前面或后面为缺失值时，通过预设时间段内的全部数据的平均值来填充缺失值的气象数据。该发明虽然通过判断缺失值前后的数据是否为缺失值，来决定采用哪种缺失值填补方法来对气象数据进行填补，提高了气象数据的准确性，但是该方法仍然存在不足之处：(1)在对缺失值进行填充时，需先预设时间段并判断缺失值的个数，才能对缺失值进行填充，计算效率较低；(2)当气象数据缺失值前后数据存在但气象数据变化为显著时，直接采用缺失值前后数据的均值，或气象数据连续缺失时，直接采用预设时间段内所有的气象数据均值进行填补，显然填补方法过于简单，填补准确性低。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出了一种基于自适应遗传算法的气象数据缺失值填补方法，旨在提高气象数据缺失值填补的准确率。
本发明的技术思路是：针对气象数据中的缺失值，首先采用线性插值法和相关性分类法对缺失值进行估计。然后，对利用线性插值法和相关性分类法计算得到缺失值的估计值进行加权处理，并采用自适应遗传算法对权值系数进行优化，以实现对气象数据的缺失值填补。
根据上述技术思路，实现本发明目的采取的技术方案包括如下步骤：
(1)设定气象数据集和缺失值：
设定气象数据集R为n个向量Y1,Y2,…,Yj,…Yn的s维数据，Yj代表数据属性j，Yj＝(x1j,x2j,…,xij,…,xsj)T，xij代表在i时刻属性为Yj的缺失值，T为转置符号；
(2)利用线性插值法计算缺失值xij的估计值xBA：
将Yj中距离缺失值xij在i时刻最近的前一相邻时刻和后一相邻时刻的真实气象数据代入线性插值函数中，得到缺失值xij的估计值xBA；
(3)利用相关性分类法计算缺失值xij的估计值xRC：
(3a)以R中与Yj相关性最大的属性所包含的数据随时间变化的趋势的相邻的极值点为参照，对缺失值xij所在的列数据进行分组，得到多个列数据组；
(3b)从多个列数据组中选取缺失值xij所在的列数据组，并根据相关性公式计算R中缺失值xij所在的列数据组中缺失值xij所在的行与其他行的相关系数，得到多个相关系数值；
(3c)通过多个相关系数值中最大的相关系数值，构造缺失值xij与最大相关系数值的方程，其表达式为：
其中，rmax为最大相关系数，i为气象数据所在的时刻，t和l分别为R中的数据属性，n为R中所有属性的总数，xi为i时刻所有数据的均值 为l时刻所有数据的均值 为属性t在i时刻的气象数据，xlt为属性t在l时刻的气象数据；
(3d)将数据集R中的真实气象数据带入缺失值xij与最大相关系数值的方程中，计算缺失值xij的估计值xRC；
(4)建立遗传算法的目标函数：
(4a)计算缺失值xij的填补值y，计算公式为：
y＝ω1xBA+ω2xRC
其中，xBA为利用线性插值法计算缺失值xij的估计值，xRC为利用相关性分类法计算缺失值xij的估计值，ω1、ω2分别为xBA和xRC的权值系数，0≤ω1≤1，ω1+ω2＝1；
(4b)根据缺失值xij的填补值y和缺失值xij所在的列数据组中的真实气象数据，建立遗传算法的目标函数，其表达式为：
Y＝min|y-Sj|
其中，min代表最小值符号，j为R中的属性，Sj为缺失值xij所在组的真实气象数据的集合，y为缺失值xij的填补值；
(5)采用遗传算法计算缺失值xij的填补值：
(5a)获取搜索最优xBA和xRC权值系数的初始群体：
采用二进制基因编码方式表示随机产生的多个代表xBA和xRC的权值系数的个体，得到用于搜索最优xBA和xRC权值系数的初始群体；
(5b)计算初始群体中每个个体适应度：
计算初始群体中每个个体适应度，计算公式为：
其中，ζ为一个较小常数值，i代表初始群体中的每一个个体，xBA为利用线性插值法计算缺失值xij的估计值，xRC为利用相关性分类法计算缺失值xij的估计值，ω1、ω2分别为xBA和xRC的权值系数，Sj为缺失值xij所在组的真实气象数据的集合；
(5c)从初始群体中选择概率大于K的个体：
采用概率公式，通过初始群体中每个个体的适应度，计算每个个体在初始群体中出现的概率，并选取概率大于K的个体，得到新的群体，0＜K＜1；
(5d)对新的群体中的个体基因进行交叉：
对从新的群体中随机选取的两个个体基因的起始位置进行相互交叉，得到二进制基因编码方式表示的子代个体；
(5e)对子代个体进行变异：
对随机选取二进制基因编码方式表示的子代个体基因的变异位置的原有基因取反得到二进制基因编码方式表示的最终子代；
(5f)输出最优xBA和xRC的权值系数：
将二进制基因编码方式表示的最终子代所代表的xBA和xRC的权值系数代入遗传算法的目标函数中，并根据遗传算法的目标函数的解是否趋于稳定判断遗传算法的目标函数是否收敛，若是，遗传算法的目标函数的解即最优权值系数ω1和权值系数ω2，并执行(5g)，否则执行步骤(5b)；
(5g)计算缺失值xij的填补值：将最优权值系数ω1和权值系数ω2代入缺失值xij的填补值公式中，得到缺失值xij的填补值。
本发明与现有技术相比，具有如下优点：
1、本发明在对缺失值进行填补时，针对气象数据的特点，分别采用了线性插值法和相关性分类法对缺失值进行估计，对两种方法求得的缺失值的估计值进行加权处理，并采用自适应遗传算法对线性插值法和相关性分类法的权值系数进行寻优，使得无论缺失值存在于何种情况，自适应遗传算法都可以可靠的给较准确估计缺失值的方法赋予较大的权重，与现有技术相比，有效地提高了对气象数据缺失值填补的准确性。
2、本发明在对对缺失值进行填补时，通过考虑气象数据与时间的强相关性以及气象数据属性之间的相关性，获得与缺失值属性相关性最大的属性以进行缺失值的计算，减少了气象数据缺失值计算的属性数目以及计算量，与现有技术相比，有效提高了气象数据缺失值填补的计算效率。
附图说明
图1是本发明的实现流程图；
图2是本发明中利用线性插值法计算缺失值的估计值流程图；
图3是本发明中利用相关性分类法计算缺失值的估计值流程图；
图4是本发明中利用遗传算法计算缺失值填补值的实现流程图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步的详细描述：
参照图1，一种基于自适应遗传算法的气象数据缺失值填补方法，包括如下步骤：
步骤1)设定气象数据集R为n个向量Y1,Y2,…,Yj,…Yn的s维数据，Yj代表数据属性j，Yj＝(x1j,x2j,…,xij,…,xsj)T，xij代表在i时刻属性为Yj的缺失值，T为转置符号；
步骤2)考虑到气象数据等属性与时间具有的强相关性，以及这些属性数据在一定时间间隔内随时间变化浮动较小，因此利用气象数据这种特点，根据距离缺失值最近的前一相邻时刻和后一相邻时刻的真实气象数据对缺失值进行估计，实现步骤参照图2：
步骤2a)获取与缺失值最近的前一相邻时刻和后一相邻时刻的真实气象数据；
步骤2b)利用线性插值，构建分段线性函数的方式来刻画气象数据随时间的变化，并通过已知数据来预估缺失值。对于任一数据属性，对于缺失值可通过构建线性插值函数计算，其计算公式为：
其中，xBA为待求数据，xA、xB分别为时刻tA、tB的数据，t为xBA所在的时刻；
步骤2c)将步骤2a得到的两个气象数据带入步骤2b的线性插值函数公式中，计算得到对缺失值xij的估计值，记为xBA；
步骤3)在数据变化较为显著时，与相邻时刻数据特征不明显的情况下，考虑到气候数据属性之间的相关性以及与时间的相关性，借助于相关性来分析数据之间的规律，根据所获得的信息，以对缺失值进行估计，实现步骤参照图3：
步骤3a)利用相关性分析，获取与缺失值所在列相关性最大的属性，并以该属性所包含的数据随时间变化的趋势的相邻极值点为参照，对缺失值xij所在的列数据进行分组，得到多个列数据组；
步骤3b)从多个列数据组中选取缺失值xij所在的列数据组，并根据相关性公式计算R中缺失值xij所在的列数据组中缺失值xij所在的行与其他行的相关系数，得到多个相关系数；
其中，X、Y为数据集，E(X)、E(Y)分别为X、Y的数学期望，D(X)、D(Y)分别为X、Y的方差；
步骤3c)选取步骤3b中多个相关系数中最大的相关系数，并构造缺失值xij与最大相关系数的方程，其表达式为：
其中，rmax为最大相关系数，i为气象数据所在的时刻，t和l分别为R中的数据属性，n为R中所有属性的总数，为i时刻所有数据的均值 为l时刻所有数据的均值xit为属性t在i时刻的气象数据，xlt为属性t在l时刻的气象数据；
步骤4)实际情况下，因为缺失值的存在，导致我们并不能准确获悉数据的真实变化规律，不确定应该采用哪种方法来估计缺失值。因此，采用将线性插值法和相关性分类法的估计结果进行加权处理，并利用被广泛应用于取得最优参数的遗传算法对权值系数进行寻优，构成基于自适应遗传算法的气象数据填补法，合理的确定优化目标是解决问题的关键，目标函数根据提高气象缺失值填补准确性为目的而建立；
步骤4a)计算气象数据集R中缺失值xij的填补值y，计算公式为：
y＝ω1xBA+ω2xRC
其中，xBA为利用线性插值法计算缺失值xij的估计值，xRC为利用相关性分类法计算缺失值xij的估计值，ω1、ω2分别为xBA和xRC的权值系数，0≤ω1≤1，ω1+ω2＝1；
步骤4b)根据缺失值xij的填补值y和缺失值xij所在的列数据组中的真实气象数据，建立遗传算法的目标函数，其表达式为：
Y＝min|y-Sj|
其中，min代表最小值符号，y为缺失值xij的填补值，j为R中的属性，Sj为缺失值xij所在组的真实气象数据的集合；
步骤5)采用遗传算法计算缺失值xij的填补值，实现步骤参照图4：
步骤5a)随机产生多个采用二进制基因编码方式表示的代表xBA和xRC的权值系数的个体，产生的多个个体组成了初始群体，即遗传算法搜索最优xBA和xRC的权值系数的数据集合；
步骤5b)计算初始群体中每个个体适应度，以判别个体是否保留，适应度函数一般根据目标函数来设定，且要求不为负。根据遗传算法在搜索过程中是朝着适应度值不断增大的目标进行的，因此本文设定适应度函数为：
其中，i代表初始群体中的每一个个体，ζ为一个较小常数值，以避免适应度函数分母为0，从而防止GA算法的优化过程陷入局部搜索最优状态，xBA为利用线性插值法计算缺失值xij的估计值，xRC为利用相关性分类法计算缺失值xij的估计值，ω1、ω2分别为xBA和xRC的权值系数，Sj为缺失值xij所在组的真实气象数据的集合；
步骤5c)采用概率公式，通过初始群体中每个个体的适应度，计算每个个体在初始群体中出现的概率，并选取概率大于K的个体，得到新的群体，0＜K＜1，为一个具体的常数，概率公式的表达式为：
其中，pi表示个体在群体中出现的概率，i表示初始群体中的个体，n表示个体的总数，Fi表示个体i的适应度值；
步骤5d)从初始群体中，随机的选择两个个体中任意基因的起止位置，两个个体的被选位置应该相同，然后交换这两组基因的位置，得到二进制基因编码方式表示的子代个体；
步骤5e)随机产生二进制基因编码方式表示的子代个体基因的变异位置，然后依照某一概率将变异点的原有基因位置取反，得到二进制基因编码方式表示的最终子代；
步骤5f)将二进制基因编码方式表示的最终子代所代表的xBA和xRC的权值系数代入遗传算法的目标函数中，并根据遗传算法的目标函数的解是否趋于稳定判断遗传算法的目标函数是否收敛，若是，遗传算法的目标函数的解即最优权值系数ω1和权值系数ω2，并执行步骤5g)，否则执行步骤5b)；
步骤5g)将最优权值系数ω1和权值系数ω2代入缺失值xij的填补值公式中，得到缺失值xij的填补值。
以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (4)
1.一种基于自适应遗传算法的气象数据缺失值填补方法，其特征在于，包括如下步骤：
(1)设定气象数据集和缺失值：
设定气象数据集R为n个向量Y1,Y2,…,Yj,…Yn的s维数据，Yj代表数据属性j，Yj＝(x1j,x2j,…,xij,…,xsj)T，xij代表在i时刻属性为Yj的缺失值，T为转置符号；
(2)利用线性插值法计算缺失值xij的估计值xBA：
将Yj中距离缺失值xij在i时刻最近的前一相邻时刻和后一相邻时刻的真实气象数据代入线性插值函数中，得到缺失值xij的估计值xBA；
(3)利用相关性分类法计算缺失值xij的估计值xRC：
(3a)以R中与Yj相关性最大的属性所包含的数据随时间变化的趋势的相邻的极值点为参照，对缺失值xij所在的列数据进行分组，得到多个列数据组；
(3b)从多个列数据组中选取缺失值xij所在的列数据组，并根据相关性公式计算R中缺失值xij所在的列数据组中缺失值xij所在的行与其他行的相关系数，得到多个相关系数值；
(3c)通过多个相关系数中最大的相关系数，构造缺失值xij与最大相关系数的方程，其表达式为：
其中，rmax为最大相关系数，i为气象数据所在的时刻，t和l分别为R中的数据属性，n为R中所有属性的总数，为i时刻所有数据的均值 为l时刻所有数据的均值xit为属性t在i时刻的气象数据，xlt为属性t在l时刻的气象数据；
(3d)将数据集R中的真实气象数据带入缺失值xij与最大相关系数的方程中，计算缺失值xij的估计值xRC；
(4)建立遗传算法的目标函数：
(4a)计算缺失值xij的填补值y，计算公式为：
y＝ω1xBA+ω2xRC
其中，xBA为利用线性插值法计算缺失值xij的估计值，xRC为利用相关性分类法计算缺失值xij的估计值，ω1、ω2分别为xBA和xRC的权值系数，0≤ω1≤1，ω1+ω2＝1；
(4b)根据缺失值xij的填补值y和缺失值xij所在的列数据组中的真实气象数据，建立遗传算法的目标函数，其表达式为：
Y＝min|y-Sj|
其中，min代表最小值符号，j为R中的属性，Sj为缺失值xij所在组的真实气象数据的集合，y为缺失值xij的填补值；
(5)采用遗传算法计算缺失值xij的填补值：
(5a)获取搜索最优xBA和xRC权值系数的初始群体：
采用二进制基因编码方式表示随机产生的多个代表xBA和xRC的权值系数的个体，得到用于搜索最优xBA和xRC权值系数的初始群体；
(5b)计算初始群体中每个个体适应度：
计算初始群体中每个个体适应度，计算公式为：
其中，ζ为一个较小常数值，i代表初始群体中的每一个个体，xBA为利用线性插值法计算缺失值xij的估计值，xRC为利用相关性分类法计算缺失值xij的估计值，ω1、ω2分别为xBA和xRC的权值系数，Sj为缺失值xij所在组的真实气象数据的集合；
(5c)从初始群体中选择概率大于K的个体：
采用概率公式，通过初始群体中每个个体的适应度，计算每个个体在初始群体中出现的概率，并选取概率大于K的个体，得到新的群体，0＜K＜1；
(5d)对新的群体中的个体基因进行交叉：
对从新的群体中随机选取的两个个体基因的起始位置进行相互交叉，得到二进制基因编码方式表示的子代个体；
(5e)对子代个体进行变异：
对随机选取二进制基因编码方式表示的子代个体基因的变异位置的原有基因取反，得到二进制基因编码方式表示的最终子代；
(5f)输出最优xBA和xRC的权值系数：
将二进制基因编码方式表示的最终子代所代表的xBA和xRC的权值系数代入遗传算法的目标函数中，并根据遗传算法的目标函数的解是否趋于稳定判断遗传算法的目标函数是否收敛，若是，遗传算法的目标函数的解即最优权值系数ω1和权值系数ω2，并执行(5g)，否则执行步骤(5b)；
(5g)计算缺失值xij的填补值：将最优权值系数ω1和权值系数ω2代入缺失值xij的填补值公式中，得到缺失值xij的填补值。
2.根据权利要求1所述的基于自适应遗传算法的气象数据缺失值填补方法，其特征在于，步骤(2)所述的线性插值函数，其表达式为：
其中，xBA为待求数据，xA、xB分别为时刻tA、tB的数据，t为xBA所在的时刻。
3.根据权利要求1所述的基于自适应遗传算法的气象数据缺失值填补方法，其特征在于，步骤(3)所述的相关性公式，其表达式为：
其中，X、Y为数据集，E(X)、E(Y)分别为X、Y的数学期望，D(X)、D(Y)分别为X、Y的方差。
4.根据权利要求1所述的基于自适应遗传算法的气象数据缺失值填补方法，其特征在于，步骤(5c)所述的概率公式，其表达式为：
其中，pi表示个体在群体中出现的概率，i表示初始群体中的个体，n表示个体的总数，Fi表示个体i的适应度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810512093.4A CN108897719B (zh) | 2018-05-25 | 2018-05-25 | 基于自适应遗传算法的气象数据缺失值填补方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810512093.4A CN108897719B (zh) | 2018-05-25 | 2018-05-25 | 基于自适应遗传算法的气象数据缺失值填补方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108897719A true CN108897719A (zh) | 2018-11-27 |
| CN108897719B CN108897719B (zh) | 2019-10-25 |
Family
ID=64343111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810512093.4A Active CN108897719B (zh) | 2018-05-25 | 2018-05-25 | 基于自适应遗传算法的气象数据缺失值填补方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108897719B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147367A (zh) * | 2019-05-14 | 2019-08-20 | 中国科学院深圳先进技术研究院 | 一种温度缺失数据填补方法、系统及电子设备 |
| CN110532518A (zh) * | 2019-08-30 | 2019-12-03 | 中国电力工程顾问集团西北电力设计院有限公司 | 一种空冷对比观测待插补数据插补方法及系统 |
| CN110826715A (zh) * | 2019-11-08 | 2020-02-21 | 江西理工大学 | 一种用于加密边坡监测数据的改进时空Kriging插值算法 |
| CN111062002A (zh) * | 2019-12-14 | 2020-04-24 | 广西电网有限责任公司电力科学研究院 | 一种基于误差反馈的电力负荷数据插补方法 |
| CN113313194A (zh) * | 2021-06-17 | 2021-08-27 | 西北工业大学 | 一种基于线性插值偏差的推进剂制备数据缺失值填补方法 |
| CN113312587A (zh) * | 2021-06-16 | 2021-08-27 | 福建中锐网络股份有限公司 | 基于arima预测和回归预测的传感器采集数据缺失值处理方法 |
| CN113495913A (zh) * | 2021-09-07 | 2021-10-12 | 中国科学院地理科学与资源研究所 | 一种空气质量数据缺失值插补方法及装置 |
| CN113760880A (zh) * | 2021-09-07 | 2021-12-07 | 天津大学 | 一种水质自动监测数据的预处理方法 |
| CN114490619A (zh) * | 2022-02-15 | 2022-05-13 | 北京大数据先进技术研究院 | 基于遗传算法的数据填补方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090177598A1 (en) * | 2008-01-08 | 2009-07-09 | General Electric Company | Method for building predictive models with incomplete data |
| CN106357701A (zh) * | 2016-11-25 | 2017-01-25 | 西安电子科技大学 | 云存储中数据的完整性验证方法 |
| CN106372660A (zh) * | 2016-08-30 | 2017-02-01 | 西安电子科技大学 | 一种基于大数据分析的航天产品装配质量问题分类方法 |
| CN107766887A (zh) * | 2017-10-23 | 2018-03-06 | 辽宁大学 | 一种局部加权的不完整数据混杂聚类方法 |
-
2018
- 2018-05-25 CN CN201810512093.4A patent/CN108897719B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090177598A1 (en) * | 2008-01-08 | 2009-07-09 | General Electric Company | Method for building predictive models with incomplete data |
| CN106372660A (zh) * | 2016-08-30 | 2017-02-01 | 西安电子科技大学 | 一种基于大数据分析的航天产品装配质量问题分类方法 |
| CN106357701A (zh) * | 2016-11-25 | 2017-01-25 | 西安电子科技大学 | 云存储中数据的完整性验证方法 |
| CN107766887A (zh) * | 2017-10-23 | 2018-03-06 | 辽宁大学 | 一种局部加权的不完整数据混杂聚类方法 |
Non-Patent Citations (3)
| Title |
|---|
| ]WEIW ETAL.: "A generie Neural Network APProach for Filling Missing Datain Data Ming", 《MAN AND CYBERNETICS》 * |
| 任志伟 等: "电站锅炉缺失数据的遗传自适应填补方法", 《兰州理工大学学报》 * |
| 石雅楠 等: "基于ANFIS 改进的大气腐蚀环境缺失数据填补方法", 《装备环境工程》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147367A (zh) * | 2019-05-14 | 2019-08-20 | 中国科学院深圳先进技术研究院 | 一种温度缺失数据填补方法、系统及电子设备 |
| CN110532518B (zh) * | 2019-08-30 | 2023-04-25 | 中国电力工程顾问集团西北电力设计院有限公司 | 一种空冷对比观测待插补数据插补方法及系统 |
| CN110532518A (zh) * | 2019-08-30 | 2019-12-03 | 中国电力工程顾问集团西北电力设计院有限公司 | 一种空冷对比观测待插补数据插补方法及系统 |
| CN110826715A (zh) * | 2019-11-08 | 2020-02-21 | 江西理工大学 | 一种用于加密边坡监测数据的改进时空Kriging插值算法 |
| CN111062002A (zh) * | 2019-12-14 | 2020-04-24 | 广西电网有限责任公司电力科学研究院 | 一种基于误差反馈的电力负荷数据插补方法 |
| CN113312587A (zh) * | 2021-06-16 | 2021-08-27 | 福建中锐网络股份有限公司 | 基于arima预测和回归预测的传感器采集数据缺失值处理方法 |
| CN113312587B (zh) * | 2021-06-16 | 2023-09-22 | 福建中锐网络股份有限公司 | 基于arima预测和回归预测的传感器采集数据缺失值处理方法 |
| CN113313194A (zh) * | 2021-06-17 | 2021-08-27 | 西北工业大学 | 一种基于线性插值偏差的推进剂制备数据缺失值填补方法 |
| CN113495913A (zh) * | 2021-09-07 | 2021-10-12 | 中国科学院地理科学与资源研究所 | 一种空气质量数据缺失值插补方法及装置 |
| CN113495913B (zh) * | 2021-09-07 | 2021-12-21 | 中国科学院地理科学与资源研究所 | 一种空气质量数据缺失值插补方法及装置 |
| CN113760880A (zh) * | 2021-09-07 | 2021-12-07 | 天津大学 | 一种水质自动监测数据的预处理方法 |
| CN114490619A (zh) * | 2022-02-15 | 2022-05-13 | 北京大数据先进技术研究院 | 基于遗传算法的数据填补方法、装置、设备及存储介质 |
| CN114490619B (zh) * | 2022-02-15 | 2022-09-09 | 北京大数据先进技术研究院 | 基于遗传算法的数据填补方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108897719B (zh) | 2019-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108897719B (zh) | 基于自适应遗传算法的气象数据缺失值填补方法 | |
| CN109902801B (zh) | 一种基于变分推理贝叶斯神经网络的洪水集合预报方法 | |
| CN109215344B (zh) | 用于城市道路短时交通流量预测的方法和系统 | |
| CN108846527A (zh) | 一种光伏发电功率预测方法 | |
| CN106228185A (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
| CN107203810A (zh) | 一种基于深度网络的降水量预测方法 | |
| CN114792044B (zh) | 一种耦合空间特性基坑邻近地表沉降智能预警方法及系统 | |
| CN103514353A (zh) | 新增风机的功率预测方法和系统 | |
| WO2015166637A1 (ja) | メンテナンス時期決定装置、劣化予測システム、劣化予測方法および記録媒体 | |
| CN111709454B (zh) | 一种基于最优copula模型的多风电场出力聚类评估方法 | |
| CN107886160B (zh) | 一种bp神经网络区间需水预测方法 | |
| CN112711896B (zh) | 一种考虑多源预报误差不确定性的复杂水库群优化调度方法 | |
| CN112559593A (zh) | 一种基于标签聚类的本地化差分隐私保护方法 | |
| CN117592819B (zh) | 一种面向海洋牧场的陆海综合体的动态监管方法及装置 | |
| CN116720620A (zh) | 一种基于IPSO算法优化CNN-BiGRU-Attention网络模型的储粮通风温度预测方法 | |
| CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及系统 | |
| CN116992779A (zh) | 基于数字孪生模型的光伏储能系统仿真方法及系统 | |
| CN115329930A (zh) | 一种基于混合深度学习模型的洪水过程概率预报方法 | |
| CN116774678B (zh) | 一种基于迁移学习的列车控制系统入侵检测方法及系统 | |
| CN117035417A (zh) | 一种灌区地下水下降风险评估方法、系统、设备及介质 | |
| CN117290673A (zh) | 一种基于多模型融合的船舶能耗高精度预测系统 | |
| CN109492744A (zh) | 一种离散二进制粒子群算法与模糊控制耦合的混合运行优化控制方法 | |
| CN111612289B (zh) | 基于新能源多场景风险特征导向的电力系统风险评估方法 | |
| CN117933316B (zh) | 一种基于可解释贝叶斯卷积网络的地下水位概率预报方法 | |
| CN115204324B (zh) | 基于ifoa-dbn-elm的设备耗电异常检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200729 Address after: Room 1506, No. 69, west section of south 2nd Ring Road, Beilin District, Xi'an City, Shaanxi Province Patentee after: Xi'an Qigong Data Technology Co.,Ltd. Address before: 710071, No. 2 Taibai South Road, Yanta District, Shaanxi, Xi'an Patentee before: XIDIAN University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221219 Address after: 710000 No. 702-14, Building 106, Xi'an Jiawei Science and Technology Industrial Park, No. 99, Hangtian East Road, Xi'an National Civil Aerospace Industrial Base, Shaanxi Province Patentee after: Shaanxi Hanguang Digital Technology Co.,Ltd. Address before: 710068 Room 1506, No. 69, West Section of South Second Ring Road, Beilin District, Xi'an, Shaanxi Patentee before: Xi'an Qigong Data Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |