CN110490244A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN110490244A
CN110490244A CN201910749158.1A CN201910749158A CN110490244A CN 110490244 A CN110490244 A CN 110490244A CN 201910749158 A CN201910749158 A CN 201910749158A CN 110490244 A CN110490244 A CN 110490244A
Authority
CN
China
Prior art keywords
neural network
network model
data
initial
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910749158.1A
Other languages
English (en)
Inventor
刘军
李博
关雯雪
崔军红
张桐
勾毓
刘宇
刘嘉欣
冯英文
王俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910749158.1A priority Critical patent/CN110490244A/zh
Publication of CN110490244A publication Critical patent/CN110490244A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请提供一种数据处理方法及装置，通过获取海洋环境中传感器采集的原始数据，将原始数据作为预先构建的神经网络模型的输入，输入预先构建的神经网络模型进行训练，得到预先构建的神经网络模型输出的有效数据。将有效数据进行压缩处理，生成压缩文件。基于本申请，将海洋环境中传感器采集的原始数据作为预先构建的神经网络模型的输入，得到神经网络模型输出的有效数据，将有效数据进行压缩得到压缩文件，能显著减少水声通信传输文件的内存大小，提高水声通信的利用率，有效节约通信资源，降低水声通信的成本。

Description

一种数据处理方法及装置
技术领域
本申请涉及水声通信技术领域，尤其涉及一种数据处理方法及装置。
背景技术
海洋观测一直以来都是海洋学科的热点问题，在目前已有的观测系统中，多源传感器数据监测系统是最常用的一种观测系统。在多源传感器数据监测系统中，传感器采集温度、深度、盐度、甲烷、溶解氧含量等数据，并通过水声通信方式将数据传输至陆地岸基平台，而后进行数据分析。
目前，在大部分观测系统中，直接将海洋环境中采集的数据进行压缩处理，然后将压缩文件传输至陆地岸基平台。然而，从海洋环境中所采集的数据存在大量的错误或者不完整的数据，这些大量的无用数据增加了压缩文件的内存，从而占用不少水声通信的速率及带宽，造成了不少通信资源的浪费。
发明内容
本申请提供了一种数据处理方法及装置，目的在于解决现有海洋观测系统中存在大量的无效观测数据，额外增加了水声通信的通信负荷，致使水声通信成本提高的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请实施例第一方面公开了一种数据处理方法，该数据处理方法包括：
获取海洋环境中传感器采集的原始数据；
将所述原始数据作为预先构建的神经网络模型的输入，输入所述预先构建的神经网络模型进行训练，得到所述预先构建的神经网络模型输出的有效数据；
将所述有效数据进行压缩处理，生成压缩文件。
可选的，在上述数据处理方法中，所述神经网络模型的构建过程，包括：
构建训练集，所述训练集包括样本原始数据、以及与所述样本原始数据对应的样本有效数据；
将所述样本原始数据输入到初始神经网络模型中进行分类，得到处理后的数据；
基于所述样本原始数据、所述样本有效数据、以及所述处理后的数据，利用梯度下降法训练所述初始神经网络模型，直至所述初始神经网络模型输出与所述样本原始数据对应的有效数据，确定当前训练得到的神经网络模型为所述预先构建的神经网络模型。
可选的，在上述数据处理方法中，所述神经网络模型的构建过程，包括：
构建训练集，所述训练集包括样本原始数据、以及与所述样本原始数据对应的样本有效数据；
将所述样本原始数据输入到BP神经网络模型中进行分类，得到处理后的数据；
基于所述样本原始数据、所述样本有效数据、以及所述处理后的数据，利用梯度下降法训练所述BP神经网络模型，直至所述BP神经网络模型输出与所述样本原始数据对应的有效数据，确定当前训练得到的BP神经网络模型为所述预先构建的神经网络模型。
可选的，在上述数据处理方法中，所述将所述样本原始数据输入到BP神经网络模型中进行分类之前，还包括：
利用遗传算法优化所述BP神经网络模型，所述利用遗传算法优化所述BP神经网络模型的过程包括：
利用所述遗传算法，从初始BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值，所述预设初始值包括所述初始BP神经网络模型中各个神经元的连接权值和阈值，所述最优初始值的数量少于所述预设初始值；基于所述多个最优初始值，训练所述初始BP神经网络模型，得到所述BP神经网络模型中各个神经元的连接权值和阈值；基于所述BP神经网络模型中各个神经元的连接权值和阈值，构建BP神经网络模型。
本申请实施例第二方面公开了一种数据处理装置，该数据处理装置包括：
获取单元，用于获取海洋环境中传感器采集的原始数据；
训练单元，用于将所述原始数据作为预先构建的神经网络模型的输入，输入所述预先构建的神经网络模型进行训练，得到所述预先构建的神经网络模型输出的有效数据；
压缩单元，用于将所述有效数据进行压缩处理，生成压缩文件。
可选的，在上述数据处理装置中，所述训练单元包括：
构建模块，用于构建训练集，所述训练集包括样本原始数据、以及与所述样本原始数据对应的样本有效数据；
分类模块，用于将所述样本原始数据输入到初始神经网络模型中进行分类，得到处理后的数据；
训练模块，用于基于所述样本原始数据、所述样本有效数据、以及所述处理后的数据，利用梯度下降法训练所述初始神经网络模型，直至所述初始神经网络模型输出与所述样本原始数据对应的有效数据，确定当前训练得到的神经网络模型为所述预先构建的神经网络模型。
可选的，在上述数据处理装置中，所述训练单元包括：
构建模块，用于构建训练集，所述训练集包括样本原始数据、以及与所述样本原始数据对应的样本有效数据；
分类模块，用于将所述样本原始数据输入到BP神经网络模型中进行分类，得到处理后的数据；
训练模块，用于基于所述样本原始数据、所述样本有效数据、以及所述处理后的数据，利用梯度下降法训练所述BP神经网络模型，直至所述BP神经网络模型输出与所述样本原始数据对应的有效数据，确定当前训练得到的BP神经网络模型为所述预先构建的神经网络模型。
可选的，在上述数据处理装置中，所述训练单元还包括：
优化模块，用于利用遗传算法，从初始BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值，所述预设初始值包括所述初始BP神经网络模型中各个神经元的连接权值和阈值，所述最优初始值的数量少于所述预设初始值；基于所述多个最优初始值，训练所述初始BP神经网络模型，得到所述BP神经网络模型中各个神经元的连接权值和阈值；基于所述BP神经网络模型中各个神经元的连接权值和阈值，构建BP神经网络模型。
本申请提供的数据处理方法及装置，通过获取海洋环境中传感器采集的原始数据，将原始数据作为预先构建的神经网络模型的输入，输入预先构建的神经网络模型进行训练，得到预先构建的神经网络模型输出的有效数据。将有效数据进行压缩处理，生成压缩文件。基于本申请，将海洋环境中传感器采集的原始数据作为预先构建的神经网络模型的输入，得到神经网络模型输出的有效数据，将有效数据进行压缩得到压缩文件，能显著减少水声通信传输文件的内存大小，提高水声通信的利用率，有效节约通信资源，降低水声通信的成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的示意图；
图2为本申请实施例提供的一种神经网络模型的示意图；
图3为本申请实施例提供的一种神经元模型的示意图；
图4为本申请实施例提供的一种激活函数的图形；
图5为本申请实施例提供的一种训练神经网络模型的具体实现方式的示意图；
图6为本申请实施例提供的一种训练BP神经网络模型的具体实现方式的示意图；
图7为本申请实施例提供的一种利用遗传算法优化BP神经网络模型的示意图；
图8为本申请实施例提供的一种数据处理装置的结构示意图；
图9为本申请实施例提供的另一种数据处理装置的结构示意图；
图10为本申请实施例提供的另一种数据处理装置的结构示意图；
图11为本申请实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，为本申请实施例提供的一种数据处理方法的示意图，包括如下步骤：
S101：获取海洋环境中传感器采集的原始数据。
在S101中，原始数据包括但不限于是温度、深度、盐度、甲烷含量、溶解氧含量等数据。
S102：将原始数据作为预先构建的神经网络模型的输入，输入预先构建的神经网络模型进行训练，得到预先构建的神经网络模型输出的有效数据。
在S102中，神经网络模型为三层结构，分别为输入层、隐藏层和输出层，神经网络模型的具体结构如图2所示。
输入层、隐藏层和输出层的神经元模型均如图3所示。输入层神经元对应多维数据，每一个神经元对应一个维度的数据，在本申请实施例中，多维数据是指：依据多维数组的方式存储的原始数据。
在图2中，x1，…xi，…xd表征输入层神经元，v1h，…vih，…vdh表征输入层神经元的连接权值，b1，b2，…bh，…bq表征隐藏层神经元，隐藏层神经元bh的输入为αh。
αh的计算过程如公式(1)所示，y1，…yj，…yl表征输出层神经元，输出层神经元yj的输入为βj，βj的计算过程如公式(2)所示。
在图3中，x1，x2，…xi…xn表征神经元的输入，w1，w2，…wi…wn表征神经元的连接权值，θ表征神经元的阈值，y表征神经元的输出，f表征神经网络的激活函数，其中，y的计算过程如公式(3)所示，激活函数的图形如图4所示。
需要说明的是，神经网络模型的构建过程实质就是：基于训练样本训练神经网络模型，不断更新神经网络模型中各个神经元的连接权值和阈值，从而使得神经网络模型的输出与训练样本中真实数据的均方误差小于预设阈值。
其中，结合图2和图3，神经网络模型的输出的具体计算过程为：
神经网络模型的输出与训练样本中真实数据的均方误差的具体计算过程为：
在神经网络模型中，连接权值Δwhj的具体计算过程包括：
联立公式(6)、(7)、(8)和(9)，进一步得到：
Δwhj＝ηgjbh (10)
由公式(10)可计算得到连接权值Δwhj的具体数值。
进一步的，联立公式(3)和(10)，计算得到各个神经元的阈值θ。
需要说明的是，基于训练样本训练神经网络模型，不断更新神经网络模型中各个神经元的连接权值和阈值，为本领域技术人员所熟知的技术手段，这里不再进行详细赘述。具体的神经网络模型训练过程可参见图5。
可选的，在本申请实施例中，神经网络模型可以为BP神经网络模型。
需要说明的是，具体的BP神经网络模型训练过程可参见图6。
S103：将有效数据进行压缩处理，生成压缩文件。
在S103中，相比于直接将原始数据进行压缩处理，本申请实施例将有效数据进行压缩处理，能够减少水声通信传输文件的内存大小，有效节约通信资源。
在本申请实施例中，获取海洋环境中传感器采集的原始数据，将原始数据作为预先构建的神经网络模型的输入，输入预先构建的神经网络模型进行训练，得到预先构建的神经网络模型输出的有效数据。将有效数据进行压缩处理，生成压缩文件。基于本申请，将海洋环境中传感器采集的原始数据作为预先构建的神经网络模型的输入，得到神经网络模型输出的有效数据，将有效数据进行压缩得到压缩文件，能显著减少水声通信传输文件的内存大小，提高水声通信的利用率，有效节约通信资源，降低水声通信的成本。
可选的，如图5所示，为本申请实施例提供的一种训练神经网络模型的具体实现方式的示意图，包括如下步骤：
S501：构建训练集。
在S501中，训练集包括样本原始数据、以及与样本原始数据对应的样本有效数据。
S502：将样本原始数据输入到初始神经网络模型中进行分类，得到处理后的数据。
在S502中，初始神经网络模型可由技术人员根据实际情况进行设置。
S503：基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练初始神经网络模型，直至初始神经网络模型输出与样本原始数据对应的有效数据，确定当前训练得到的神经网络模型为预先构建的神经网络模型。
在S503中，基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练初始神经网络模型的过程，为本领域技术人员所熟知的技术手段，这里不再赘述。
在本申请实施例中，构建训练集，训练集包括样本原始数据、以及与样本原始数据对应的样本有效数据。将样本原始数据输入到初始神经网络模型中进行分类，得到处理后的数据。基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练初始神经网络模型，直至初始神经网络模型输出与样本原始数据对应的有效数据，确定当前训练得到的神经网络模型为预先构建的神经网络模型。可见本申请中，基于训练集对初始神经网络模型进行训练，从而得到能够对原始数据进行分类处理的神经网络模型。
可选的，如图6所示，为本申请实施例提供的一种训练BP神经网络模型的具体实现方式的示意图，包括如下步骤：
S601：构建训练集。
在S601中，训练集包括样本原始数据、以及与样本原始数据对应的样本有效数据。
需要说明的是，因BP神经网络模型采用梯度下降法进行训练，极易导致陷入局部最小值而无法获得全局最小值，由此无法训练得到最优的BP神经网络模型。因此，为了能够得到最优的BP神经网络模型，采用优化算法对BP神经网络模型进行优化。
可选的，在本申请实施例中，利用遗传算法优化BP神经网络模型。
需要说明的是，利用遗传算法优化BP神经网络模型的具体实现过程可参见图7。
S602：将样本原始数据输入到BP神经网络模型中进行分类，得到处理后的数据。
S603：基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练BP神经网络模型，直至BP神经网络模型输出与样本原始数据对应的有效数据，确定当前训练得到的BP神经网络模型为预先构建的神经网络模型。
在S603中，基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练BP神经网络模型的过程，为本领域技术人员所熟知的技术手段，这里不再赘述。
在本申请实施例中，构建训练集，训练集包括样本原始数据、以及与样本原始数据对应的样本有效数据。将样本原始数据输入到BP神经网络模型中进行分类，得到处理后的数据。基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练BP神经网络模型，直至BP神经网络模型输出与样本原始数据对应的有效数据，确定当前训练得到的BP神经网络模型为预先构建的神经网络模型。可见本申请中，基于训练集对BP神经网络模型进行训练，从而得到能够对原始数据进行分类处理的神经网络模型。
可选的，如图7所示，为本申请实施例提供的一种利用遗传算法优化BP神经网络模型的示意图，包括以下步骤：
S701：利用遗传算法，从BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值。
在S701中，预设初始值包括BP神经网络模型中各个神经元的连接权值和阈值，并且最优初始值的数量小于预设初始值。预设初始值的具体数量和具体大小可由技术人员根据实际情况进行设置。
需要说明的是，利用遗传算法，从BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值的具体过程，包括：
A1、将多个预设初始值，分别代入BP神经网络中，并训练BP神经网络模型，对应得到BP神经网络模型的多个均方误差。将各个预设初始值对应的均方误差作为各自对应的适应值。比较各个适应值的大小，依据适应值由小至大的顺序，排序各个预设初始值，得到初始值序列。
A2、采用轮盘算法，从初始值序列中选择任意两个预设初始值。采用单点交叉算子，对两个预设初始值进行处理，得到新的预设初始值。
A3、依据预设要求，从初始值序列中选取部分预设初始值，并依据适应值由小至大的顺序，排序部分预设初始值，得到新的初始值序列。该预设要求包括但不限于是：选取初始值序列中排序位置在前20％的预设初始值。
A4、基于高斯突变算子，对新的预设初始值进行突变。若新的预设初始值发生突变，则将突变后的新的预设初始值放入新的初始值序列中。若新的预设初始值未发生突变，则将新的预设初始值放入新的初始值序列中。
A5、基于预设循环次数，迭代循环A2-A4，得到最终初始值序列，将最终初始值序列中的各个预设初始值，作为最优初始值。
S702：基于多个最优初始值，训练初始BP神经网络模型，得到BP神经网络模型中各个神经元的连接权值和阈值。
在S702中，任意一个最优初选值，通过训练初始BP神经网络模型，能够对应得到一个BP神经网络模型。比较各个BP神经网络模型的训练效果，选取训练效果最佳的BP神经网络模型中各个神经元的连接权值和阈值，作为最终的BP神经网络模型中各个神经元的连接权值和阈值。
S703：基于BP神经网络模型中各个神经元的连接权值和阈值，构建BP神经网络模型。
在本申请实施例中，利用遗传算法，从初始BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值。其中，预设初始值包括初始BP神经网络模型中各个神经元的连接权值和阈值，最优初始值的数量少于预设初始值。基于多个最优初始值，训练初始BP神经网络模型，得到BP神经网络模型中各个神经元的连接权值和阈值。基于BP神经网络模型中各个神经元的连接权值和阈值，构建BP神经网络模型。可见本申请中，利用遗传算法从多个预设初始值中筛选多个最优初始值，基于多个最优初始值训练BP神经网络模型，得到多个训练效果不同的BP神经网络模型，从中多个BP神经网络模型中选取训练效果最佳的BP神经网络模型。因此，能够避免BP神经网络模型在利用梯度下降法进行计算的过程陷入局部最小值。
与上述本申请实施例提供的数据处理方法相对应，如图8所示，为本申请实施例提供的一种数据处理装置的结构示意图，包括：
获取单元100，用于获取海洋环境中传感器采集的原始数据。
训练单元200，用于将原始数据作为预先构建的神经网络模型的输入，输入预先构建的神经网络模型进行训练，得到预先构建的神经网络模型输出的有效数据。
压缩单元300，用于将有效数据进行压缩处理，生成压缩文件。
在本申请实施例中，通过获取海洋环境中传感器采集的原始数据，将原始数据作为预先构建的神经网络模型的输入，输入预先构建的神经网络模型进行训练，得到预先构建的神经网络模型输出的有效数据。将有效数据进行压缩处理，生成压缩文件。基于本申请，将海洋环境中传感器采集的原始数据作为预先构建的神经网络模型的输入，得到神经网络模型输出的有效数据，将有效数据进行压缩得到压缩文件，能显著减少水声通信传输文件的内存大小，提高水声通信的利用率，有效节约通信资源。
可选的，如图9所示，为本申请实施例提供的另一种数据处理装置的结构示意图，其中，训练单元200包括：
构建模块201，用于构建训练集，训练集包括样本原始数据、以及与样本原始数据对应的样本有效数据。
分类模块202，用于将样本原始数据输入到初始神经网络模型中进行分类，得到处理后的数据。
训练模块203，用于基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练初始神经网络模型，直至初始神经网络模型输出与样本原始数据对应的有效数据，确定当前训练得到的神经网络模型为预先构建的神经网络模型。
在本申请实施例中，通过构建训练集，训练集包括样本原始数据、以及与样本原始数据对应的样本有效数据。将样本原始数据输入到初始神经网络模型中进行分类，得到处理后的数据。基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练初始神经网络模型，直至初始神经网络模型输出与样本原始数据对应的有效数据，确定当前训练得到的神经网络模型为预先构建的神经网络模型。可见本申请中，基于训练集对初始神经网络模型进行训练，从而得到能够对原始数据进行分类处理的神经网络模型。
可选的，如图10所示，为本申请实施例提供的另一种数据处理装置的结构示意图，其中，训练单元200包括：
构建模块204，用于构建训练集，训练集包括样本原始数据、以及与样本原始数据对应的样本有效数据。
分类模块205，用于将样本原始数据输入到BP神经网络模型中进行分类，得到处理后的数据。
训练模块206，用于基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练BP神经网络模型，直至BP神经网络模型输出与样本原始数据对应的有效数据，确定当前训练得到的BP神经网络模型为预先构建的神经网络模型。
在本申请实施例中，构建训练集，训练集包括样本原始数据、以及与样本原始数据对应的样本有效数据。将样本原始数据输入到BP神经网络模型中进行分类，得到处理后的数据。基于样本原始数据、样本有效数据、以及处理后的数据，利用梯度下降法训练BP神经网络模型，直至BP神经网络模型输出与样本原始数据对应的有效数据，确定当前训练得到的BP神经网络模型为预先构建的神经网络模型。可见本申请中，基于训练集对BP神经网络模型进行训练，从而得到能够对原始数据进行分类处理的神经网络模型。
可选的，如图11所示，为本申请实施例提供的另一种数据处理装置的结构示意图，其中，训练单元200还包括：
优化模块207，用于利用遗传算法，从初始BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值，预设初始值包括初始BP神经网络模型中各个神经元的连接权值和阈值，最优初始值的数量少于预设初始值。基于多个最优初始值，训练初始BP神经网络模型，得到BP神经网络模型中各个神经元的连接权值和阈值。基于BP神经网络模型中各个神经元的连接权值和阈值，构建BP神经网络模型。
在本申请实施例中，利用遗传算法，从初始BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值。其中，预设初始值包括初始BP神经网络模型中各个神经元的连接权值和阈值，最优初始值的数量少于预设初始值。基于多个最优初始值，训练初始BP神经网络模型，得到BP神经网络模型中各个神经元的连接权值和阈值。基于BP神经网络模型中各个神经元的连接权值和阈值，构建BP神经网络模型。可见本申请中，利用遗传算法从多个预设初始值中筛选多个最优初始值，基于多个最优初始值训练BP神经网络模型，得到多个训练效果不同的BP神经网络模型，从中多个BP神经网络模型中选取训练效果最佳的BP神经网络模型。因此，能够避免BP神经网络模型在利用梯度下降法进行计算的过程陷入局部最小值。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据处理方法，其特征在于，包括：
获取海洋环境中传感器采集的原始数据；
将所述原始数据作为预先构建的神经网络模型的输入，输入所述预先构建的神经网络模型进行训练，得到所述预先构建的神经网络模型输出的有效数据；
将所述有效数据进行压缩处理，生成压缩文件。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的构建过程，包括：
构建训练集，所述训练集包括样本原始数据、以及与所述样本原始数据对应的样本有效数据；
将所述样本原始数据输入到初始神经网络模型中进行分类，得到处理后的数据；
基于所述样本原始数据、所述样本有效数据、以及所述处理后的数据，利用梯度下降法训练所述初始神经网络模型，直至所述初始神经网络模型输出与所述样本原始数据对应的有效数据，确定当前训练得到的神经网络模型为所述预先构建的神经网络模型。
3.根据权利要求1所述的方法，其特征在于，所述神经网络模型的构建过程，包括：
构建训练集，所述训练集包括样本原始数据、以及与所述样本原始数据对应的样本有效数据；
将所述样本原始数据输入到BP神经网络模型中进行分类，得到处理后的数据；
基于所述样本原始数据、所述样本有效数据、以及所述处理后的数据，利用梯度下降法训练所述BP神经网络模型，直至所述BP神经网络模型输出与所述样本原始数据对应的有效数据，确定当前训练得到的BP神经网络模型为所述预先构建的神经网络模型。
4.根据权利要求3所述的方法，其特征在于，所述将所述样本原始数据输入到BP神经网络模型中进行分类之前，还包括：
利用遗传算法优化所述BP神经网络模型，所述利用遗传算法优化所述BP神经网络模型的过程包括：
利用所述遗传算法，从初始BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值，所述预设初始值包括所述初始BP神经网络模型中各个神经元的连接权值和阈值，所述最优初始值的数量少于所述预设初始值；基于所述多个最优初始值，训练所述初始BP神经网络模型，得到所述BP神经网络模型中各个神经元的连接权值和阈值；基于所述BP神经网络模型中各个神经元的连接权值和阈值，构建BP神经网络模型。
5.一种数据处理装置，其特征在于，包括：
获取单元，用于获取海洋环境中传感器采集的原始数据；
训练单元，用于将所述原始数据作为预先构建的神经网络模型的输入，输入所述预先构建的神经网络模型进行训练，得到所述预先构建的神经网络模型输出的有效数据；
压缩单元，用于将所述有效数据进行压缩处理，生成压缩文件。
6.根据权利要求5所述的装置，其特征在于，所述训练单元包括：
构建模块，用于构建训练集，所述训练集包括样本原始数据、以及与所述样本原始数据对应的样本有效数据；
分类模块，用于将所述样本原始数据输入到初始神经网络模型中进行分类，得到处理后的数据；
训练模块，用于基于所述样本原始数据、所述样本有效数据、以及所述处理后的数据，利用梯度下降法训练所述初始神经网络模型，直至所述初始神经网络模型输出与所述样本原始数据对应的有效数据，确定当前训练得到的神经网络模型为所述预先构建的神经网络模型。
7.根据权利要求5所述的装置，其特征在于，所述训练单元包括：
构建模块，用于构建训练集，所述训练集包括样本原始数据、以及与所述样本原始数据对应的样本有效数据；
分类模块，用于将所述样本原始数据输入到BP神经网络模型中进行分类，得到处理后的数据；
训练模块，用于基于所述样本原始数据、所述样本有效数据、以及所述处理后的数据，利用梯度下降法训练所述BP神经网络模型，直至所述BP神经网络模型输出与所述样本原始数据对应的有效数据，确定当前训练得到的BP神经网络模型为所述预先构建的神经网络模型。
8.根据权利要求7所述的装置，其特征在于，所述训练单元还包括：
优化模块，用于利用遗传算法，从初始BP神经网络模型的多个预设初始值中，筛选得到多个最优初始值，所述预设初始值包括所述初始BP神经网络模型中各个神经元的连接权值和阈值，所述最优初始值的数量少于所述预设初始值；基于所述多个最优初始值，训练所述初始BP神经网络模型，得到所述BP神经网络模型中各个神经元的连接权值和阈值；基于所述BP神经网络模型中各个神经元的连接权值和阈值，构建BP神经网络模型。
CN201910749158.1A 2019-08-14 2019-08-14 一种数据处理方法及装置 Pending CN110490244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910749158.1A CN110490244A (zh) 2019-08-14 2019-08-14 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910749158.1A CN110490244A (zh) 2019-08-14 2019-08-14 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN110490244A true CN110490244A (zh) 2019-11-22

Family

ID=68550978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910749158.1A Pending CN110490244A (zh) 2019-08-14 2019-08-14 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110490244A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036554A (zh) * 2020-11-04 2020-12-04 深圳追一科技有限公司 神经网络模型的处理方法、装置、计算机设备和存储介质
CN113688036A (zh) * 2021-08-13 2021-11-23 北京灵汐科技有限公司 一种数据处理方法、装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034388A (zh) * 2018-07-27 2018-12-18 湖北中烟工业有限责任公司 一种基于遗传算法优化神经网络的卷烟材料与主流烟气成分的预测模型
CN109492287A (zh) * 2018-10-30 2019-03-19 成都云材智慧数据科技有限公司 一种基于bp神经网络的固态电解质离子电导率预测方法
CN109948791A (zh) * 2017-12-21 2019-06-28 河北科技大学 利用遗传算法优化bp神经网络的方法及其在定位中的应用

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948791A (zh) * 2017-12-21 2019-06-28 河北科技大学 利用遗传算法优化bp神经网络的方法及其在定位中的应用
CN109034388A (zh) * 2018-07-27 2018-12-18 湖北中烟工业有限责任公司 一种基于遗传算法优化神经网络的卷烟材料与主流烟气成分的预测模型
CN109492287A (zh) * 2018-10-30 2019-03-19 成都云材智慧数据科技有限公司 一种基于bp神经网络的固态电解质离子电导率预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩金菊: ""基于改进的BP神经网络的海洋环境监测数据等级分类研究"", 《万方数据知识服务平台》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036554A (zh) * 2020-11-04 2020-12-04 深圳追一科技有限公司 神经网络模型的处理方法、装置、计算机设备和存储介质
CN112036554B (zh) * 2020-11-04 2021-04-06 深圳追一科技有限公司 神经网络模型的处理方法、装置、计算机设备和存储介质
CN113688036A (zh) * 2021-08-13 2021-11-23 北京灵汐科技有限公司 一种数据处理方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
JP6708847B1 (ja) 機械学習装置及び方法
CN109063247B (zh) 基于深度信念网络的滑坡灾害预报方法
CN109117380B (zh) 一种软件质量评价方法、装置、设备及可读存储介质
CN107169573A (zh) 利用复合机器学习模型来执行预测的方法及系统
CN103853786B (zh) 数据库参数的优化方法与系统
CN110858973B (zh) 小区网络流量预测方法及装置
US20200372342A1 (en) Systems and methods for predictive early stopping in neural network training
CN107229693A (zh) 基于深度学习的大数据系统配置参数调优的方法和系统
CN110490244A (zh) 一种数据处理方法及装置
CN105279692A (zh) 金融信息技术系统性能预测方法和装置
CN110858805A (zh) 小区网络流量预测方法及装置
CN111008693A (zh) 一种基于数据压缩的网络模型构建方法、系统和介质
CN109872052A (zh) 一种法院案件智能化分案辅助方法及系统
CN108846695A (zh) 终端更换周期的预测方法及装置
CN107945534A (zh) 一种基于gmdh神经网络的交通车流量预测方法
CN115659807A (zh) 一种基于贝叶斯优化模型融合算法对人才表现预测的方法
CN111242347B (zh) 基于历史权重更新的桥梁管养辅助决策系统
CN111400964B (zh) 一种故障发生时间预测方法及装置
CN111626324A (zh) 基于边缘计算的海底观测网数据异构解析集成方法
EP2357603A1 (en) Evolutionary design optimization of real world structures with adaptive manipulation of nonlinear constraints
CN110162704B (zh) 基于多因子遗传算法的多规模关键用户提取方法
CN113743461A (zh) 无人机集群健康度评估方法及装置
CN110739030A (zh) 一种乙烯生产过程小样本的软测量方法
CN111160662A (zh) 一种风险预测方法、电子设备及存储介质
CN110276448A (zh) 一种模型压缩方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122