CN110414629B - 一种基于copula初始值优化的深度神经网络方法 - Google Patents
一种基于copula初始值优化的深度神经网络方法 Download PDFInfo
- Publication number
- CN110414629B CN110414629B CN201910734803.2A CN201910734803A CN110414629B CN 110414629 B CN110414629 B CN 110414629B CN 201910734803 A CN201910734803 A CN 201910734803A CN 110414629 B CN110414629 B CN 110414629B
- Authority
- CN
- China
- Prior art keywords
- training
- copula
- initial value
- distribution
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000039077 Copula Species 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 16
- 238000005457 optimization Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000009826 distribution Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于copula初始值优化的深度神经网络方法，具体包括以下步骤：S1：将标签数据划分为训练集和测试集，训练集用于模型的训练学习，测试集用于测试模型的综合效果；S2：用训练数据去拟合copula分布的多维相关性矩阵参数ρ；S3：设定copula拟合分布为高斯分布，根据已经拟合好的高斯copula函数，按照网络结构规模生产随机数，随机数产生的区域进行调优；S4：将S3得到的随机数矩阵，传入反向传播算法作为初始值，设定学习率、迭代次数及正则化训练参数，进行反向传播训练。本发明提出的一种基于copula初始值优化的深度神经网络方法，将训练数据的统计特征融合进神经网络复杂的优化训练中的初始权重值中，使得反向传播训练达到更好的优化效果。
Description
技术领域
本发明涉及机器学习及深度学习算法领域，特别是涉及一种基于copula初始值优化的深度神经网络方法。
背景技术
随着信息技术的发展，机器学习算法已经证明在多个领域可以产生较好效果，例如图像分类、语义分析、视频处理等。近年来，深度神经网络方法在机器学习领域起到了相对更好的效果。深度信念网络(Deep Belief Network)证明了相对于传统的权重随机初始化，利用无监督的限制玻尔兹曼机训练可以得到更好的初始权重值提供给反向传播算法(Back propagation)，从而提高神经网络的表现效果。
因此，为了使得权重初始值能更好的反映出训练数据的特征信息，急于开发出一种深度神经网络方法用于优化反向传播算法，并用于提高分类模型效果。
发明内容
为了克服现有技术的上述不足，本发明提出了一种基于copula初始值优化的深度神经网络方法，解决现有权重初始值不能很好的反应训练数据特征信息的问题。
本发明是通过以下技术方案实现的：
一种基于copula初始值优化的深度神经网络方法，具体包括以下步骤：
S1：图像集划分：将标签数据划分为训练集和测试集，训练集用于模型的训练学习，测试集用于测试模型的综合效果；
S2：特征拟合：用训练数据去拟合copula分布的多维相关性矩阵参数ρ；
S3：初始权重值生产：设定copula拟合分布为高斯分布，根据已经拟合好的高斯copula函数，按照网络结构规模生产随机数，随机数产生的区域进行调优；
S4：将步骤S3得到的随机数矩阵，传入反向传播算法作为初始值，设定学习率、迭代次数及正则化训练参数，进行反向传播训练；
S5：利用训练好的模型参数对模型效果进行测评。
进一步的，S2中矩阵参数ρ相关性的计算包括以下步骤：
S21：当训练数据为密集型数据(即80％以上的数据不为0)，直接进行相关性的计算；
S22：当训练数据为稀疏型数据(即80％以上的数据为0)，如果输入特征向量全部为0，则强制设定此特征向量与其它特征的相关性为0，其它相关性数值计算方法不变。
进一步的，S3中调优后的随机数服从[0,1]上的高斯copula分布。
与现有技术相比，本发明的有益效果在于：
本发明提出的一种基于copula初始值优化的深度神经网络方法，将训练数据的统计特征融合进神经网络复杂的优化训练中的初始权重值中，使得反向传播训练达到更好的优化效果，本方法对神经网络系列模型中反向传播算法的训练方法优化起到了积极效果。
具体实施方式
展示一下实例来具体说明本发明的某些实施例，且不应解释为限制本发明的范围。对本发明公开的内容可以同时从材料、方法和反应条件进行改进，所有这些改进，均应落入本发明的的精神和范围之内。
一种基于copula初始值优化的深度神经网络方法，具体包括以下步骤：
S1：图像集划分：将标签数据划分为训练集和测试集，训练集用于模型的训练学习，测试集用于测试模型的综合效果；
S2：特征拟合：用训练数据去拟合copula分布的多维相关性矩阵参数ρ，对矩阵参数ρ的相关性计算一般采用如下方法处理：当训练数据为密集型数据(80％以上的数据不为0)，拟合特征能很好的融合训练数据的特征信息，故直接进行相关性的计算；当训练数据为稀疏型数据，80％以上的数据为0，会导致相关性矩阵参数的错误估计，可能将两个完全没有直接关系的变量数据之间的依赖夸大，从而间接将非零数值的关联缩小，所以在copula拟合过程中需要针对数据的稀疏性特征做出一定的特殊处理，如果输入特征向量全部为0，则强制设定此特征向量与其它特征的相关性为0，其它相关性数值计算方法不变；
S3：初始权重值生产：设定copula拟合分布为高斯分布，根据已经拟合好的高斯copula函数，按照网络结构规模生产随机数，随机数产生的区域一般分为[-1,1]、[-0.5,0.5]、[0,0.5]及[0,1]这四个区间，最终采用[0,1]作为初始值分布区间；
S4：将步骤S3得到的随机数矩阵，传入反向传播算法作为初始值，设定学习率、迭代次数及正则化训练参数，进行反向传播训练；
S5：利用训练好的模型参数对模型效果进行测评。
实验过程采用了四个数据集(图像分类)进行训练测试，数据集简介以及训练结果分别如下表1和表2。其中Copula_DNN是采用本发明方法得到的结果，而DNN是基于一般初始值的反向传播算法得到的结果，除了初始值生产方法不一致，两者在训练过程中的网络结构和其它训练参数都是相同的：
表1训练数据基本信息
表2测试结果(测试集错误率)
| 数据集 | Copula_DNN | DNN |
| MNIST | 1.79％ | 1.98％ |
| smallMNIST | 3.65％ | 4.10％ |
| USPS | 2.55％ | 2.85％ |
| COIL20 | 0.21％ | 1.56％ |
从上表1-2可以看出，本发明的方法在密集型和稀疏型数据集上的分类结果均取得了相对一般反向传播算法更优良的表现效果。本发明通过一种简单的统计拟合方法，将训练数据的统计特征融合进神经网络复杂的优化训练中的初始权重值中，使得反向传播训练达到更好的优化效果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (1)
1.一种基于copula初始值优化的深度神经网络方法，其特征在于，具体包括以下步骤：
S1：图像集划分：将标签数据划分为训练集和测试集，训练集用于模型的训练学习，测试集用于测试模型的综合效果；
S2：特征拟合：用训练数据去拟合copula分布的多维相关性矩阵参数ρ；
S3：初始权重值生产：设定copula拟合分布为高斯分布，根据已经拟合好的高斯copula函数，按照网络结构规模生产随机数，随机数产生的区域进行调优；
S4：将步骤S3得到的随机数矩阵，传入反向传播算法作为初始值，设定学习率、迭代次数及正则化训练参数，进行反向传播训练；
S5：利用训练好的模型参数对模型效果进行测评；
S2中矩阵参数ρ相关性的计算包括以下步骤：
S21：当训练数据中80%以上的数据不为0，直接进行相关性的计算；
S22：当训练数据中80%以上的数据为0，如果输入特征向量全部为0，则强制设定此特征向量与其它特征的相关性为0，其它相关性数值计算方法不变；
S3中调优后的随机数服从[0,1]上的高斯copula分布。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910734803.2A CN110414629B (zh) | 2019-08-09 | 2019-08-09 | 一种基于copula初始值优化的深度神经网络方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910734803.2A CN110414629B (zh) | 2019-08-09 | 2019-08-09 | 一种基于copula初始值优化的深度神经网络方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110414629A CN110414629A (zh) | 2019-11-05 |
| CN110414629B true CN110414629B (zh) | 2023-12-08 |
Family
ID=68366914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910734803.2A Active CN110414629B (zh) | 2019-08-09 | 2019-08-09 | 一种基于copula初始值优化的深度神经网络方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110414629B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019057489A1 (de) * | 2017-09-20 | 2019-03-28 | Siemens Aktiengesellschaft | Verfahren und trainingsdatengenerator zum konfigurieren eines technischen systems sowie steuereinrichtung zum steuern des technischen systems |
-
2019
- 2019-08-09 CN CN201910734803.2A patent/CN110414629B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019057489A1 (de) * | 2017-09-20 | 2019-03-28 | Siemens Aktiengesellschaft | Verfahren und trainingsdatengenerator zum konfigurieren eines technischen systems sowie steuereinrichtung zum steuern des technischen systems |
Non-Patent Citations (2)
| Title |
|---|
| Yan Chu,et al..Change detection of remote sensing image based on deep neural networks .《2nd International Conference on Artificial Intelligence and Industrial Engineering AIIE2016》.2016,全文. * |
| 基于藤Copula-GARCH模型的网络资源风险预测;熊飞;李军;钮焱;;湖北工业大学学报(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110414629A (zh) | 2019-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108171762B (zh) | 一种深度学习的压缩感知同类图像快速重构系统与方法 | |
| TWI794157B (zh) | 自動多閾值特徵過濾方法及裝置 | |
| CN112215054B (zh) | 一种用于水声信号去噪的深度生成对抗方法 | |
| CN110717617A (zh) | 一种基于深度图网络自编码器的无监督关系预测方法 | |
| CN116402825B (zh) | 轴承故障红外诊断方法、系统、电子设备及存储介质 | |
| CN114239807A (zh) | 基于rfe-dagmm的高维数据异常检测方法 | |
| CN111611293B (zh) | 一种基于特征加权与MapReduce的离群数据挖掘方法 | |
| CN111985825A (zh) | 一种用于滚磨机定向仪的晶面质量评估方法 | |
| CN107229945A (zh) | 一种基于竞争学习的深度聚类方法 | |
| CN114785824B (zh) | 一种智能物联网大数据传输方法及系统 | |
| CN109951327B (zh) | 一种基于贝叶斯混合模型的网络故障数据合成方法 | |
| Srimani et al. | Adaptive data mining approach for PCB defect detection and classification | |
| CN110414629B (zh) | 一种基于copula初始值优化的深度神经网络方法 | |
| CN107609033A (zh) | 基于自适应协同进化算法的信息核提取方法 | |
| Bakar et al. | ROBUST CENTERING IN THE FIXED EFFECT PANEL DATA MODEL. | |
| CN112468229B (zh) | 基于混合分布模型的大气湍流信道衰落参数估计方法 | |
| Song et al. | Convex and non-Convex approaches for statistical inference with class-conditional noisy labels | |
| CN116861964A (zh) | 一种基于双判别器生成式对抗网络的异常数据检测方法 | |
| CN111275109A (zh) | 基于自编码器的电力设备状态数据特征选优方法及系统 | |
| US20230348197A1 (en) | Sound-based roller fault detecting method by using double-projection neighborhoods preserving embedding | |
| CN115906959A (zh) | 基于de-bp算法的神经网络模型的参数训练方法 | |
| CN112580667B (zh) | 一种纺织图像的特征提取方法 | |
| CN113537573A (zh) | 基于双重时空特征提取的风电功率运行趋势预测方法 | |
| CN110784887B (zh) | 网格化无线电信号监测系统中异常信号源数量的检测方法 | |
| CN112749807A (zh) | 一种基于生成模型的量子态层析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |