CN108304915A - 一种深度学习神经网络的分解与合成方法和系统 - Google Patents

一种深度学习神经网络的分解与合成方法和系统 Download PDF

Info

Publication number
CN108304915A
CN108304915A CN201810016932.3A CN201810016932A CN108304915A CN 108304915 A CN108304915 A CN 108304915A CN 201810016932 A CN201810016932 A CN 201810016932A CN 108304915 A CN108304915 A CN 108304915A
Authority
CN
China
Prior art keywords
deep learning
neural network
learning neural
data
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810016932.3A
Other languages
English (en)
Other versions
CN108304915B (zh
Inventor
朱定局
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Power Innovative Intelligent Technology (dongguan) Co Ltd
Original Assignee
Great Power Innovative Intelligent Technology (dongguan) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Power Innovative Intelligent Technology (dongguan) Co Ltd filed Critical Great Power Innovative Intelligent Technology (dongguan) Co Ltd
Priority to CN201810016932.3A priority Critical patent/CN108304915B/zh
Publication of CN108304915A publication Critical patent/CN108304915A/zh
Application granted granted Critical
Publication of CN108304915B publication Critical patent/CN108304915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种深度学习神经网络的分解与合成方法和系统，具体为：首先获取输入数据变量与输出数据变量集合；然后将输入数据变量集合分解为N个子集；接着初始化第一深度学习神经网络；然后初始化第二深度学习神经网络；然后初始化第三深度学习神经网络；接着对每个子集对应的第一深度学习神经网络进行无监督训练；然后对第二深度学习神经网络进行无监督训练；最后对第二或第三深度学习神经网络进行有监督训练。本发明将输入数据变量集合分解为多个子集，并为每个子集初始化一个深度学习神经网络，再以所有深度学习神经网络的输出层为输入层初始化一个深度学习神经网络，降低了深度学习的数据维度和计算复杂度，改进了深度学习神经网络的效果。

Description

一种深度学习神经网络的分解与合成方法和系统
技术领域
本发明涉及一种深度学习神经网络方法和系统，特别是一种深度学习神经网络的分解与合成方法和系统。
背景技术
现有深度学习神经网络能处理的输入数据变量数和输出数据变量数非常多时，就会导致计算复杂度的剧增，导致训练困难及训练得到的深度学习神经网络的应用效果差。可以理解：数据变量数就是数据的维度，所以数据变量数越多，则数据维度越高，则复杂性呈指数级别增长。例如，现有深度学习神经网络一般只能在训练中学习2个时间点的数据之间的相关性，然后根据一个时间点的数据来预测另一个时间点的数据。如果输入数据变量是多个时间点数据则会导致训练非常复杂，并会导致训练和预测的效果差。
发明内容
本发明所解决的技术问题在于提供一种深度神经网络的分解与合成方法和系统。
实现本发明目的的技术解决方案为：一种深度神经网络的分解与合成方法，包括以下步骤：
步骤1、获取输入数据变量集合A、输出数据变量集合B。
步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1。
步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量。
步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量。
步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成。其中，第三深度学习神经网络，具体为：
第三深度学习神经网络的输入层由所述N个第一深度学习神经网络的输入层组成，第三深度学习神经网络的输出层由所述第二深度学习神经网络的输出层组成，第三深度学习神经网络的隐藏层由所述N个第一深度学习神经网络的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，第三深度学习神经网络的分类器由所述第二深度学习神经网络的分类器组成。
步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量。
步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征。
步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10或步骤11。
步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络。具体为：
步骤10-1、将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据；
步骤10-2、将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。
步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。具体为：
将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
本发明的另一目的采取的技术方案为：一种深度学习神经网络的分解与合成系统，包括数据变量集合获取模块、输入数据聚类模块、初始化模块、数据分解模块、无监督训练模块、数据获取模块、有监督训练模块；
其中，
所述数据变量集合获取模块，用于获取输入数据变量集合A及输出数据变量集合B；
所述输入数据聚类模块，用于将输入数据变量集合A中相关性大的输入数据变量聚类到同一个子集中，获得N个子集。
所述初始化模块，用于初始化深度学习神经网络。具体包括：
初始化第一深度学习神经网络单元，用于为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
初始化第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有最顶层隐藏层节点作为第二深度学习神经网络的输入层节点，将数据变量集合B中的数据变量作为第二深度学习神经网络的输出数据；
初始化第三深度学习神经网络单元，用于将所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络进行组合。
所述数据分解模块，用于将训练输入数据划分为与所述N个子集各自的输入数据变量对应的N个输入子数据。
所述无监督训练模块，用于对深度学习神经网络进行无监督训练。具体包括：
无监督训练第一深度学习神经网络单元，用于N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，并获得每个输入子数据对应的顶层特征；
无监督训练第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
所述数据获取模块，用于获取第一输入数据及其对应的第一输出数据。
所述有监督训练模块，用于对深度学习神经网络进行有监督训练。具体包括：
有监督训练第二深度学习神经网络单元，用于先将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据，然后将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练；
有监督训练第三深度学习神经网络单元，用于将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
本发明与现有技术相比，其显著优点为：本发明通过将输入数据变量集合分解为多个输入数据变量子集，然后为每个子集初始化一个深度学习神经网络，再以所有深度学习神经网络的输出层为输入层初始化一个深度学习神经网络，从而降低深度学习的数据维度和计算复杂度的同时改进深度学习神经网络的效果。本发明在分解时使得子集内部各数据变量强相关，子集之间弱相关。本发明将强相关的数据变量放到同一个子集中由同一个深度学习神经网络进行无监督训练，从而使得子集的深度学习神经网络的隐藏层能反映出子集中各数据变量及其之间的相关性。本发明将各子集神经网络的隐藏层作为一个用于综合各子集的深度学习神经网络或其他类型神经网络的输入，最终得到的输出作为所有输入数据变量对应的输出数据。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明的深度神经网络的分解与合成方法的流程图。
图2为本发明的深度神经网络的分解与合成方法中第三深度学习神经网络构成图。
图3为本发明的深度神经网络的分解与合成方法中对第二深度学习神经网络进行有监督训练的流程图。
图4为本发明的深度神经网络的分解与合成方法中对第三深度学习神经网络进行有监督训练的流程图。
图5为本发明的深度神经网络的分解与合成系统结构框图。
图6为本发明的深度神经网络的分解与合成系统中初始化模块的结构框图。
图7为本发明的深度神经网络的分解与合成系统中无监督训练模块的结构框图。
图8为本发明的深度神经网络的分解与合成系统中有监督训练模块的结构框图。
具体实施方式
下面结合附图及具体实施方式对本发明作进一步详细说明。
结合附图，本发明的一种深度学习神经网络的分解与合成方法，包括以下步骤：
步骤1、获取输入数据变量集合A、输出数据变量集合B；
步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1；
步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量；
步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成；
所述第三深度学习神经网络，具体构成为：
第三深度学习神经网络的输入层由所述N个第一深度学习神经网络的输入层组成，第三深度学习神经网络的输出层由所述第二深度学习神经网络的输出层组成，第三深度学习神经网络的隐藏层由所述N个第一深度学习神经网络的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，第三深度学习神经网络的分类器由所述第二深度学习神经网络的分类器组成。
步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量；
步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征；
步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练；
步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10、步骤11；
步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络；对第二深度学习神经网络进行有监督训练，具体为：
步骤10-1、将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据；
步骤10-2、将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。
步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。具体为：
将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
一种深度学习神经网络的分解与合成系统，包括数据变量集合获取模块、输入数据聚类模块、初始化模块、数据分解模块、无监督训练模块、数据获取模块、有监督训练模块；
其中，
所述数据变量集合获取模块，用于获取输入数据变量集合A及输出数据变量集合B；
所述输入数据聚类模块，用于将输入数据变量集合A中的输入数据变量聚类到子集中，获得N个子集；
所述初始化模块，用于初始化深度学习神经网络；
所述数据分解模块，用于将训练输入数据划分为与所述N个子集各自的输入数据变量对应的N个输入子数据；
所述无监督训练模块，用于对深度学习神经网络进行无监督训练；
所述数据获取模块，用于获取第一输入数据及其对应的第一输出数据；
所述有监督训练模块，用于对深度学习神经网络进行有监督训练。
所述初始化模块，具体包括：
初始化第一深度学习神经网络单元，用于为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
初始化第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有最顶层隐藏层节点作为第二深度学习神经网络的输入层节点，将数据变量集合B中的数据变量作为第二深度学习神经网络的输出数据；
初始化第三深度学习神经网络单元，用于将所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络进行组合。
所述无监督训练模块，具体包括：
无监督训练第一深度学习神经网络单元，用于N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，并获得每个输入子数据对应的顶层特征；
无监督训练第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
所述有监督训练模块，具体包括：
有监督训练第二深度学习神经网络单元，用于先将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据，然后将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练；
有监督训练第三深度学习神经网络单元，用于将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
本发明将输入数据变量集合分解为多个子集，并为每个子集初始化一个深度学习神经网络，再以所有深度学习神经网络的输出层为输入层初始化一个深度学习神经网络，降低了深度学习的数据维度和计算复杂度，改进了深度学习神经网络的效果。
下面结合实施例对本发明做进一步详细的描述。
实施例
结合图1，本发明深度神经网络的分解与合成方法，包括以下步骤：
步骤1、获取输入数据变量集合A为全身照的像素矩阵，输出数据变量集合B为性别、年龄、身高。
步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，用k-means方式对输入数据变量进行聚类，聚类时计算不同像素之间的距离，尽量使得同一子集中各像素之间的距离短，而不同子集间的像素之间的距离长，例如将输入数据变量集合A聚类后获得3个子集，分别为头部像素矩阵H、上身像素矩阵U、下身像素矩阵D。其中，上身指腰以上的身体部位，下身指腰以下的身体部位。
步骤3、为所述头部像素矩阵H、上身像素矩阵U、下身像素矩阵D等3个子集分别初始化对应的第一深度学习神经网络，分别为第一深度学习神经网络HN、第一深度学习神经网络UN和第一深度学习神经网络DN，并将头部像素矩阵H、上身像素矩阵U、下身像素矩阵D分别作为第一深度学习神经网络HN、UN、DN的输入数据变量。
步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述第一深度学习神经网络HN、UN、DN的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量如性别、年龄、身高。
步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述第一深度学习神经网络HN、UN、DN的所有输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成。结合图2，第三深度学习神经网络的构成具体为：第三深度学习神经网络的输入层由HN、UN、DN的输入层组成，输出层由所有第二深度学习神经网络的输出层组成，隐藏层由HN、UN、DN的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，分类器由所述第二深度学习神经网络的分类器组成。
步骤6、获取训练输入数据为多张全身照i，例如有m张，令i＝1,2,...,m，并将每一张全身照划分为头部像素矩阵H对应的头部照Hi、上身像素矩阵U对应的上身照Ui、下身像素矩阵D对应的下身照Di。
步骤7、利用每张全身照划分出的头部照Hi对头部像素矩阵H对应的第一深度学习神经网络HN进行无监督训练，获得该张全身照中的头部照对应的顶层特征HFi；利用每张全身照划分出的上身照对上身像素矩阵U对应的第一深度学习神经网络UN进行无监督训练，获得该张全身照中的上身照对应的顶层特征UFi；利用每张全身照划分出的下身照对下身像素矩阵D对应的第一深度学习神经网络DN进行无监督训练，获得该张全身照中的下身照对应的顶层特征DFi。
步骤8、将每张全身照中的头部照对应的顶层特征HFi、该张全身照中的上身照对应的顶层特征UFi、该张全身照中的下身照对应的顶层特征DFi作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，例如获取的输入数据为全身照i的像素矩阵，其对应的输出数据为性别Si、年龄Ai、身高Ti，分别作为第一输入数据及其对应的第一输出数据。然后执行步骤10或步骤11。
步骤10、对第二深度学习神经网络进行有监督训练。结合图3，具体为：
步骤10-1、获取各子集对应的第一深度学习神经网络的顶层特征数据。由步骤9知第一输入数据为全身照i的像素矩阵，其对应的输出数据为其对应的性别Si、年龄Ai、身高Ti，则由全身照i的像素矩阵中的头部像素矩阵作为第一深度学习神经网络HN的输入，计算得到顶层特征HNi；全身照i的像素矩阵中的上身像素矩阵作为第一深度学习神经网络UN的输入，计算得到顶层特征UNi；全身照i的像素矩阵中的下身像素矩阵作为第一深度学习神经网络DN的输入，计算得到顶层特征DNi。
步骤10-2、将所述顶层特征数据HNi、UNi、DNi作为第二深度学习神经网络的输入数据，并将对应的第一输出数据性别Si、年龄Ai、身高Ti作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。
步骤11、对第三深度学习神经网络进行有监督训练，结合图4，具体为：
由步骤9知第一输入数据为全身照i的像素矩阵，其对应的输出数据为其对应的性别Si、年龄Ai、身高Ti，则由全身照i的像素矩阵中的头部像素矩阵、全身照i的像素矩阵中的上身像素矩阵、全身照i的像素矩阵中的下身像素矩阵作为第三深度学习神经网络的输入，并将对应的第一输出数据性别Si、年龄Ai、身高Ti作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
本发明将强相关的数据变量放到同一个子集中由同一个深度学习神经网络进行无监督训练，从而使得子集的深度学习神经网络的隐藏层能反映出子集中各数据变量及其之间的相关性。本发明将各子集神经网络的隐藏层作为一个用于综合各子集的深度学习神经网络或其他类型神经网络的输入，最终得到的输出作为所有输入数据变量对应的输出数据。

Claims (8)

1.一种深度学习神经网络的分解与合成方法，其特征在于，包括以下步骤：
步骤1、获取输入数据变量集合A、输出数据变量集合B；
步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1；
步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量；
步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成；
步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量；
步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征；
步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练；
步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10、步骤11；
步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络；
步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。
2.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤5中所述第三深度学习神经网络，具体构成为：
第三深度学习神经网络的输入层由所述N个第一深度学习神经网络的输入层组成，第三深度学习神经网络的输出层由所述第二深度学习神经网络的输出层组成，第三深度学习神经网络的隐藏层由所述N个第一深度学习神经网络的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，第三深度学习神经网络的分类器由所述第二深度学习神经网络的分类器组成。
3.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤10所述对第二深度学习神经网络进行有监督训练，具体为：
步骤10-1、将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据；
步骤10-2、将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。
4.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤11对第三深度学习神经网络进行有监督训练，具体为：
将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
5.一种深度学习神经网络的分解与合成系统，其特征在于，包括数据变量集合获取模块、输入数据聚类模块、初始化模块、数据分解模块、无监督训练模块、数据获取模块、有监督训练模块；
其中，
所述数据变量集合获取模块，用于获取输入数据变量集合A及输出数据变量集合B；
所述输入数据聚类模块，用于将输入数据变量集合A中的输入数据变量聚类到子集中，获得N个子集；
所述初始化模块，用于初始化深度学习神经网络；
所述数据分解模块，用于将训练输入数据划分为与所述N个子集各自的输入数据变量对应的N个输入子数据；
所述无监督训练模块，用于对深度学习神经网络进行无监督训练；
所述数据获取模块，用于获取第一输入数据及其对应的第一输出数据；
所述有监督训练模块，用于对深度学习神经网络进行有监督训练。
6.根据权利要求5所述的深度学习神经网络的分解与合成系统，其特征在于，所述初始化模块，具体包括：
初始化第一深度学习神经网络单元，用于为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
初始化第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有最顶层隐藏层节点作为第二深度学习神经网络的输入层节点，将数据变量集合B中的数据变量作为第二深度学习神经网络的输出数据；
初始化第三深度学习神经网络单元，用于将所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络进行组合。
7.根据权利要求5所述的深度学习神经网络的分解与合成系统，其特征在于，所述无监督训练模块，具体包括：
无监督训练第一深度学习神经网络单元，用于N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，并获得每个输入子数据对应的顶层特征；
无监督训练第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
8.根据权利要求5所述的深度学习神经网络的分解与合成系统，其特征在于，所述有监督训练模块，具体包括：
有监督训练第二深度学习神经网络单元，用于先将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据，然后将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练；
有监督训练第三深度学习神经网络单元，用于将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
CN201810016932.3A 2018-01-05 2018-01-05 一种深度学习神经网络的分解与合成方法和系统 Active CN108304915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810016932.3A CN108304915B (zh) 2018-01-05 2018-01-05 一种深度学习神经网络的分解与合成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810016932.3A CN108304915B (zh) 2018-01-05 2018-01-05 一种深度学习神经网络的分解与合成方法和系统

Publications (2)

Publication Number Publication Date
CN108304915A true CN108304915A (zh) 2018-07-20
CN108304915B CN108304915B (zh) 2020-08-11

Family

ID=62868801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810016932.3A Active CN108304915B (zh) 2018-01-05 2018-01-05 一种深度学习神经网络的分解与合成方法和系统

Country Status (1)

Country Link
CN (1) CN108304915B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613630A (zh) * 2018-10-15 2019-04-12 杭州易造科技有限公司 大气电场实时监控报警系统
CN109949226A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110533170A (zh) * 2019-08-30 2019-12-03 陕西思科锐迪网络安全技术有限责任公司 一种图形化编程的深度学习神经网络搭建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853531A (zh) * 2010-05-25 2010-10-06 北京航空航天大学 基于预分类技术和rbf神经网络的直升机飞行状态识别方法
CN105930934A (zh) * 2016-04-27 2016-09-07 北京物思创想科技有限公司 展示预测模型的方法、装置及调整预测模型的方法、装置
CN107358293A (zh) * 2017-06-15 2017-11-17 北京图森未来科技有限公司 一种神经网络训练方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853531A (zh) * 2010-05-25 2010-10-06 北京航空航天大学 基于预分类技术和rbf神经网络的直升机飞行状态识别方法
CN105930934A (zh) * 2016-04-27 2016-09-07 北京物思创想科技有限公司 展示预测模型的方法、装置及调整预测模型的方法、装置
CN107358293A (zh) * 2017-06-15 2017-11-17 北京图森未来科技有限公司 一种神经网络训练方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGWEI QIN 等: "Joint Training of Cascaded CNN for Face Detection", 《2016IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
魏少华: ""基于声强知识与神经网络融合技术的发动机故障诊断研究"", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613630A (zh) * 2018-10-15 2019-04-12 杭州易造科技有限公司 大气电场实时监控报警系统
CN109613630B (zh) * 2018-10-15 2021-05-18 杭州易造科技有限公司 大气电场实时监控报警系统
CN109949226A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110533170A (zh) * 2019-08-30 2019-12-03 陕西思科锐迪网络安全技术有限责任公司 一种图形化编程的深度学习神经网络搭建方法

Also Published As

Publication number Publication date
CN108304915B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
Wen et al. Deep predictive coding network for object recognition
CN107766447B (zh) 一种使用多层注意力网络机制解决视频问答的方法
Ho-Phuoc CIFAR10 to compare visual recognition performance between deep neural networks and humans
CN107833183B (zh) 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
CN105701480B (zh) 一种视频语义分析方法
CN104463209B (zh) 一种基于bp神经网络的pcb板上数字代码识别方法
CN108416755A (zh) 一种基于深度学习的图像去噪方法及系统
CN107808146A (zh) 一种多模态情感识别分类方法
CN108304915A (zh) 一种深度学习神经网络的分解与合成方法和系统
CN104915643A (zh) 一种基于深度学习的行人再标识方法
CN108171329A (zh) 深度学习神经网络训练方法、层数调整装置和机器人系统
CN110490128A (zh) 一种基于加密神经网络的手写识别方法
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN110516537B (zh) 一种基于自步学习的人脸年龄估计方法
CN106651887A (zh) 一种基于卷积神经网络的图像像素分类方法
CN109325513B (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
CN113254782B (zh) 问答社区专家推荐方法及系统
CN106909938A (zh) 基于深度学习网络的视角无关性行为识别方法
CN112836105B (zh) 一种基于运动生理表征融合的大规模学生有氧能力分群方法
CN106503616A (zh) 一种基于分层超限学习机的运动想象脑电信号分类方法
CN111627080A (zh) 基于卷积神经与条件生成对抗性网络的灰度图像上色方法
CN112766413A (zh) 一种基于加权融合模型的鸟类分类方法及系统
CN106649886A (zh) 一种利用三元组标签的深度监督散列进行图像检索方法
CN110059593A (zh) 一种基于反馈卷积神经网络的面部表情识别方法
CN108205708A (zh) 一种新型可扩展的深度学习系统及数据识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant