CN108304915B - 一种深度学习神经网络的分解与合成方法和系统 - Google Patents

一种深度学习神经网络的分解与合成方法和系统 Download PDF

Info

Publication number
CN108304915B
CN108304915B CN201810016932.3A CN201810016932A CN108304915B CN 108304915 B CN108304915 B CN 108304915B CN 201810016932 A CN201810016932 A CN 201810016932A CN 108304915 B CN108304915 B CN 108304915B
Authority
CN
China
Prior art keywords
deep learning
learning neural
neural network
data
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810016932.3A
Other languages
English (en)
Other versions
CN108304915A (zh
Inventor
朱定局
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daguo Innovation Intelligent Technology Dongguan Co ltd
Original Assignee
Daguo Innovation Intelligent Technology Dongguan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daguo Innovation Intelligent Technology Dongguan Co ltd filed Critical Daguo Innovation Intelligent Technology Dongguan Co ltd
Priority to CN201810016932.3A priority Critical patent/CN108304915B/zh
Publication of CN108304915A publication Critical patent/CN108304915A/zh
Application granted granted Critical
Publication of CN108304915B publication Critical patent/CN108304915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种深度学习神经网络的分解与合成方法和系统，具体为：首先获取输入数据变量与输出数据变量集合；然后将输入数据变量集合分解为N个子集；接着初始化第一深度学习神经网络；然后初始化第二深度学习神经网络；然后初始化第三深度学习神经网络；接着对每个子集对应的第一深度学习神经网络进行无监督训练；然后对第二深度学习神经网络进行无监督训练；最后对第二或第三深度学习神经网络进行有监督训练。本发明将输入数据变量集合分解为多个子集，并为每个子集初始化一个深度学习神经网络，再以所有深度学习神经网络的输出层为输入层初始化一个深度学习神经网络，降低了深度学习的数据维度和计算复杂度，改进了深度学习神经网络的效果。

Description

一种深度学习神经网络的分解与合成方法和系统
技术领域
本发明涉及一种深度学习神经网络方法和系统，特别是一种深度学习神经网络的分解与合成方法和系统。
背景技术
现有深度学习神经网络能处理的输入数据变量数和输出数据变量数非常多时，就会导致计算复杂度的剧增，导致训练困难及训练得到的深度学习神经网络的应用效果差。可以理解：数据变量数就是数据的维度，所以数据变量数越多，则数据维度越高，则复杂性呈指数级别增长。例如，现有深度学习神经网络一般只能在训练中学习2个时间点的数据之间的相关性，然后根据一个时间点的数据来预测另一个时间点的数据。如果输入数据变量是多个时间点数据则会导致训练非常复杂，并会导致训练和预测的效果差。
发明内容
本发明所解决的技术问题在于提供一种深度神经网络的分解与合成方法和系统。
实现本发明目的的技术解决方案为：一种深度神经网络的分解与合成方法，包括以下步骤：
步骤1、获取输入数据变量集合A、输出数据变量集合B。
步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1。
步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量。
步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量。
步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成。其中，第三深度学习神经网络，具体为：
第三深度学习神经网络的输入层由所述N个第一深度学习神经网络的输入层组成，第三深度学习神经网络的输出层由所述第二深度学习神经网络的输出层组成，第三深度学习神经网络的隐藏层由所述N个第一深度学习神经网络的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，第三深度学习神经网络的分类器由所述第二深度学习神经网络的分类器组成。
步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量。
步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征。
步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10或步骤11。
步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络。具体为：
步骤10-1、将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据；
步骤10-2、将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。
步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。具体为：
将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
本发明的另一目的采取的技术方案为：一种深度学习神经网络的分解与合成系统，包括数据变量集合获取模块、输入数据聚类模块、初始化模块、数据分解模块、无监督训练模块、数据获取模块、有监督训练模块；
其中，
所述数据变量集合获取模块，用于获取输入数据变量集合A及输出数据变量集合B；
所述输入数据聚类模块，用于将输入数据变量集合A中相关性大的输入数据变量聚类到同一个子集中，获得N个子集。
所述初始化模块，用于初始化深度学习神经网络。具体包括：
初始化第一深度学习神经网络单元，用于为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
初始化第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有最顶层隐藏层节点作为第二深度学习神经网络的输入层节点，将数据变量集合B中的数据变量作为第二深度学习神经网络的输出数据；
初始化第三深度学习神经网络单元，用于将所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络进行组合。
所述数据分解模块，用于将训练输入数据划分为与所述N个子集各自的输入数据变量对应的N个输入子数据。
所述无监督训练模块，用于对深度学习神经网络进行无监督训练。具体包括：
无监督训练第一深度学习神经网络单元，用于N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，并获得每个输入子数据对应的顶层特征；
无监督训练第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
所述数据获取模块，用于获取第一输入数据及其对应的第一输出数据。
所述有监督训练模块，用于对深度学习神经网络进行有监督训练。具体包括：
有监督训练第二深度学习神经网络单元，用于先将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据，然后将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练；
有监督训练第三深度学习神经网络单元，用于将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
本发明与现有技术相比，其显著优点为：本发明通过将输入数据变量集合分解为多个输入数据变量子集，然后为每个子集初始化一个深度学习神经网络，再以所有深度学习神经网络的输出层为输入层初始化一个深度学习神经网络，从而降低深度学习的数据维度和计算复杂度的同时改进深度学习神经网络的效果。本发明在分解时使得子集内部各数据变量强相关，子集之间弱相关。本发明将强相关的数据变量放到同一个子集中由同一个深度学习神经网络进行无监督训练，从而使得子集的深度学习神经网络的隐藏层能反映出子集中各数据变量及其之间的相关性。本发明将各子集神经网络的隐藏层作为一个用于综合各子集的深度学习神经网络或其他类型神经网络的输入，最终得到的输出作为所有输入数据变量对应的输出数据。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明的深度神经网络的分解与合成方法的流程图。
图2为本发明的深度神经网络的分解与合成方法中第三深度学习神经网络构成图。
图3为本发明的深度神经网络的分解与合成方法中对第二深度学习神经网络进行有监督训练的流程图。
图4为本发明的深度神经网络的分解与合成方法中对第三深度学习神经网络进行有监督训练的流程图。
图5为本发明的深度神经网络的分解与合成系统结构框图。
图6为本发明的深度神经网络的分解与合成系统中初始化模块的结构框图。
图7为本发明的深度神经网络的分解与合成系统中无监督训练模块的结构框图。
图8为本发明的深度神经网络的分解与合成系统中有监督训练模块的结构框图。
具体实施方式
下面结合附图及具体实施方式对本发明作进一步详细说明。
结合附图，本发明的一种深度学习神经网络的分解与合成方法，包括以下步骤：
步骤1、获取输入数据变量集合A、输出数据变量集合B；
步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1；
步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量；
步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成；
所述第三深度学习神经网络，具体构成为：
第三深度学习神经网络的输入层由所述N个第一深度学习神经网络的输入层组成，第三深度学习神经网络的输出层由所述第二深度学习神经网络的输出层组成，第三深度学习神经网络的隐藏层由所述N个第一深度学习神经网络的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，第三深度学习神经网络的分类器由所述第二深度学习神经网络的分类器组成。
步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量；
步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征；
步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练；
步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10、步骤11；
步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络；对第二深度学习神经网络进行有监督训练，具体为：
步骤10-1、将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据；
步骤10-2、将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。
步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。具体为：
将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
一种深度学习神经网络的分解与合成系统，包括数据变量集合获取模块、输入数据聚类模块、初始化模块、数据分解模块、无监督训练模块、数据获取模块、有监督训练模块；
其中，
所述数据变量集合获取模块，用于获取输入数据变量集合A及输出数据变量集合B；
所述输入数据聚类模块，用于将输入数据变量集合A中的输入数据变量聚类到子集中，获得N个子集；
所述初始化模块，用于初始化深度学习神经网络；
所述数据分解模块，用于将训练输入数据划分为与所述N个子集各自的输入数据变量对应的N个输入子数据；
所述无监督训练模块，用于对深度学习神经网络进行无监督训练；
所述数据获取模块，用于获取第一输入数据及其对应的第一输出数据；
所述有监督训练模块，用于对深度学习神经网络进行有监督训练。
所述初始化模块，具体包括：
初始化第一深度学习神经网络单元，用于为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
初始化第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有最顶层隐藏层节点作为第二深度学习神经网络的输入层节点，将数据变量集合B中的数据变量作为第二深度学习神经网络的输出数据；
初始化第三深度学习神经网络单元，用于将所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络进行组合。
所述无监督训练模块，具体包括：
无监督训练第一深度学习神经网络单元，用于N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，并获得每个输入子数据对应的顶层特征；
无监督训练第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
所述有监督训练模块，具体包括：
有监督训练第二深度学习神经网络单元，用于先将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据，然后将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练；
有监督训练第三深度学习神经网络单元，用于将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
本发明将输入数据变量集合分解为多个子集，并为每个子集初始化一个深度学习神经网络，再以所有深度学习神经网络的输出层为输入层初始化一个深度学习神经网络，降低了深度学习的数据维度和计算复杂度，改进了深度学习神经网络的效果。
下面结合实施例对本发明做进一步详细的描述。
实施例
结合图1，本发明深度神经网络的分解与合成方法，包括以下步骤：
步骤1、获取输入数据变量集合A为全身照的像素矩阵，输出数据变量集合B为性别、年龄、身高。
步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，用k-means方式对输入数据变量进行聚类，聚类时计算不同像素之间的距离，尽量使得同一子集中各像素之间的距离短，而不同子集间的像素之间的距离长，例如将输入数据变量集合A聚类后获得3个子集，分别为头部像素矩阵H、上身像素矩阵U、下身像素矩阵D。其中，上身指腰以上的身体部位，下身指腰以下的身体部位。
步骤3、为所述头部像素矩阵H、上身像素矩阵U、下身像素矩阵D等3个子集分别初始化对应的第一深度学习神经网络，分别为第一深度学习神经网络HN、第一深度学习神经网络UN和第一深度学习神经网络DN，并将头部像素矩阵H、上身像素矩阵U、下身像素矩阵D分别作为第一深度学习神经网络HN、UN、DN的输入数据变量。
步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述第一深度学习神经网络HN、UN、DN的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量如性别、年龄、身高。
步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述第一深度学习神经网络HN、UN、DN的所有输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成。结合图2，第三深度学习神经网络的构成具体为：第三深度学习神经网络的输入层由HN、UN、DN的输入层组成，输出层由所有第二深度学习神经网络的输出层组成，隐藏层由HN、UN、DN的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，分类器由所述第二深度学习神经网络的分类器组成。
步骤6、获取训练输入数据为多张全身照i，例如有m张，令i＝1,2,...,m，并将每一张全身照划分为头部像素矩阵H对应的头部照Hi、上身像素矩阵U对应的上身照Ui、下身像素矩阵D对应的下身照Di。
步骤7、利用每张全身照划分出的头部照Hi对头部像素矩阵H对应的第一深度学习神经网络HN进行无监督训练，获得该张全身照中的头部照对应的顶层特征HFi；利用每张全身照划分出的上身照对上身像素矩阵U对应的第一深度学习神经网络UN进行无监督训练，获得该张全身照中的上身照对应的顶层特征UFi；利用每张全身照划分出的下身照对下身像素矩阵D对应的第一深度学习神经网络DN进行无监督训练，获得该张全身照中的下身照对应的顶层特征DFi。
步骤8、将每张全身照中的头部照对应的顶层特征HFi、该张全身照中的上身照对应的顶层特征UFi、该张全身照中的下身照对应的顶层特征DFi作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，例如获取的输入数据为全身照i的像素矩阵，其对应的输出数据为性别Si、年龄Ai、身高Ti，分别作为第一输入数据及其对应的第一输出数据。然后执行步骤10或步骤11。
步骤10、对第二深度学习神经网络进行有监督训练。结合图3，具体为：
步骤10-1、获取各子集对应的第一深度学习神经网络的顶层特征数据。由步骤9知第一输入数据为全身照i的像素矩阵，其对应的输出数据为其对应的性别Si、年龄Ai、身高Ti，则由全身照i的像素矩阵中的头部像素矩阵作为第一深度学习神经网络HN的输入，计算得到顶层特征HNi；全身照i的像素矩阵中的上身像素矩阵作为第一深度学习神经网络UN的输入，计算得到顶层特征UNi；全身照i的像素矩阵中的下身像素矩阵作为第一深度学习神经网络DN的输入，计算得到顶层特征DNi。
步骤10-2、将所述顶层特征数据HNi、UNi、DNi作为第二深度学习神经网络的输入数据，并将对应的第一输出数据性别Si、年龄Ai、身高Ti作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。
步骤11、对第三深度学习神经网络进行有监督训练，结合图4，具体为：
由步骤9知第一输入数据为全身照i的像素矩阵，其对应的输出数据为其对应的性别Si、年龄Ai、身高Ti，则由全身照i的像素矩阵中的头部像素矩阵、全身照i的像素矩阵中的上身像素矩阵、全身照i的像素矩阵中的下身像素矩阵作为第三深度学习神经网络的输入，并将对应的第一输出数据性别Si、年龄Ai、身高Ti作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
本发明将强相关的数据变量放到同一个子集中由同一个深度学习神经网络进行无监督训练，从而使得子集的深度学习神经网络的隐藏层能反映出子集中各数据变量及其之间的相关性。本发明将各子集神经网络的隐藏层作为一个用于综合各子集的深度学习神经网络或其他类型神经网络的输入，最终得到的输出作为所有输入数据变量对应的输出数据。

Claims (8)

1.一种深度学习神经网络的分解与合成方法，其特征在于，包括以下步骤：
步骤1、获取输入数据变量集合A、输出数据变量集合B；所述输入数据变量集合A为全身照的像素矩阵，输出数据变量集合B为性别、年龄、身高；
步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1；所述子集包括头部像素矩阵H、上身像素矩阵U以及下身像素矩阵D；
步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；所述N个第一深度学习神经网络包括第一深度学习神经网络HN、第一深度学习神经网络UN和第一深度学习神经网络DN，头部像素矩阵H、上身像素矩阵U、下身像素矩阵D分别作为第一深度学习神经网络HN、UN、DN的输入数据变量；
步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量；
步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成；
步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量；所述训练输入数据包括m张全身照，针对第i张全身照，将其划分为头部像素矩阵H对应的头部照Hi、上身像素矩阵U对应的上身照Ui、下身像素矩阵D对应的下身照Di；i＝1,2,...,m；
步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征；
步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练；
步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10、步骤11；
步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络；
步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。
2.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤5中所述第三深度学习神经网络，具体构成为：
第三深度学习神经网络的输入层由所述N个第一深度学习神经网络的输入层组成，第三深度学习神经网络的输出层由所述第二深度学习神经网络的输出层组成，第三深度学习神经网络的隐藏层由所述N个第一深度学习神经网络的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，第三深度学习神经网络的分类器由所述第二深度学习神经网络的分类器组成。
3.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤10所述对第二深度学习神经网络进行有监督训练，具体为：
步骤10-1、将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据；
步骤10-2、将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。
4.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤11对第三深度学习神经网络进行有监督训练，具体为：
将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
5.基于权利要求1至4任意一项所述的深度学习神经网络的分解与合成方法的系统，其特征在于，包括数据变量集合获取模块、输入数据聚类模块、初始化模块、数据分解模块、无监督训练模块、数据获取模块、有监督训练模块；
其中，
所述数据变量集合获取模块，用于获取输入数据变量集合A及输出数据变量集合B；
所述输入数据聚类模块，用于将输入数据变量集合A中的输入数据变量聚类到子集中，获得N个子集；
所述初始化模块，用于初始化深度学习神经网络；
所述数据分解模块，用于将训练输入数据划分为与所述N个子集各自的输入数据变量对应的N个输入子数据；
所述无监督训练模块，用于对深度学习神经网络进行无监督训练；
所述数据获取模块，用于获取第一输入数据及其对应的第一输出数据；
所述有监督训练模块，用于对深度学习神经网络进行有监督训练。
6.根据权利要求5所述的深度学习神经网络的分解与合成系统，其特征在于，所述初始化模块，具体包括：
初始化第一深度学习神经网络单元，用于为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；
初始化第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有最顶层隐藏层节点作为第二深度学习神经网络的输入层节点，将数据变量集合B中的数据变量作为第二深度学习神经网络的输出数据；
初始化第三深度学习神经网络单元，用于将所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络进行组合。
7.根据权利要求5所述的深度学习神经网络的分解与合成系统，其特征在于，所述无监督训练模块，具体包括：
无监督训练第一深度学习神经网络单元，用于N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，并获得每个输入子数据对应的顶层特征；
无监督训练第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。
8.根据权利要求5所述的深度学习神经网络的分解与合成系统，其特征在于，所述有监督训练模块，具体包括：
有监督训练第二深度学习神经网络单元，用于先将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据，然后将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练；
有监督训练第三深度学习神经网络单元，用于将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。
CN201810016932.3A 2018-01-05 2018-01-05 一种深度学习神经网络的分解与合成方法和系统 Active CN108304915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810016932.3A CN108304915B (zh) 2018-01-05 2018-01-05 一种深度学习神经网络的分解与合成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810016932.3A CN108304915B (zh) 2018-01-05 2018-01-05 一种深度学习神经网络的分解与合成方法和系统

Publications (2)

Publication Number Publication Date
CN108304915A CN108304915A (zh) 2018-07-20
CN108304915B true CN108304915B (zh) 2020-08-11

Family

ID=62868801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810016932.3A Active CN108304915B (zh) 2018-01-05 2018-01-05 一种深度学习神经网络的分解与合成方法和系统

Country Status (1)

Country Link
CN (1) CN108304915B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613630B (zh) * 2018-10-15 2021-05-18 杭州易造科技有限公司 大气电场实时监控报警系统
CN109949226A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110533170A (zh) * 2019-08-30 2019-12-03 陕西思科锐迪网络安全技术有限责任公司 一种图形化编程的深度学习神经网络搭建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853531B (zh) * 2010-05-25 2012-09-05 北京航空航天大学 基于预分类技术和rbf神经网络的直升机飞行状态识别方法
CN105930934B (zh) * 2016-04-27 2018-08-14 第四范式（北京）技术有限公司 展示预测模型的方法、装置及调整预测模型的方法、装置
CN107358293B (zh) * 2017-06-15 2021-04-02 北京图森智途科技有限公司 一种神经网络训练方法及装置

Also Published As

Publication number Publication date
CN108304915A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN107679465B (zh) 一种基于生成网络的行人重识别数据生成和扩充方法
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
EP3832534B1 (en) Video action segmentation by mixed temporal domain adaptation
CN111126488B (zh) 一种基于双重注意力的图像识别方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
US10776662B2 (en) Weakly-supervised spatial context networks to recognize features within an image
CN110110323B (zh) 一种文本情感分类方法和装置、计算机可读存储介质
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN108399435B (zh) 一种基于动静特征的视频分类方法
CN108304915B (zh) 一种深度学习神经网络的分解与合成方法和系统
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN105205448A (zh) 基于深度学习的文字识别模型训练方法和识别方法
CN106599863A (zh) 一种基于迁移学习技术的深度人脸识别方法
CN113688894B (zh) 一种融合多粒度特征的细粒度图像分类方法
CN112115967B (zh) 一种基于数据保护的图像增量学习方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN112861659A (zh) 一种图像模型训练方法、装置及电子设备、存储介质
CN110796177B (zh) 一种有效减少图像分类任务中神经网络过拟合的方法
Cai et al. The DKU-DukeECE system for the self-supervision speaker verification task of the 2021 VoxCeleb speaker recognition challenge
Zulkeflie et al. Evaluation of basic convolutional neural network, alexnet and bag of features for indoor object recognition
CN114821770A (zh) 文本到图像的跨模态行人再识别方法、系统、介质和设备
CN110659679B (zh) 一种基于自适应滤波与耦合性编码的图像来源鉴别方法
CN117372775A (zh) 一种基于视觉的动态选择的零样本学习分类方法
CN116152645A (zh) 一种融合多种表征平衡策略的室内场景视觉识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant