CN106096727A - 一种基于机器学习的网络模型构造方法及装置 - Google Patents

一种基于机器学习的网络模型构造方法及装置 Download PDF

Info

Publication number
CN106096727A
CN106096727A CN201610389530.9A CN201610389530A CN106096727A CN 106096727 A CN106096727 A CN 106096727A CN 201610389530 A CN201610389530 A CN 201610389530A CN 106096727 A CN106096727 A CN 106096727A
Authority
CN
China
Prior art keywords
network
data processing
sub
data
processing step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610389530.9A
Other languages
English (en)
Other versions
CN106096727B (zh
Inventor
郑博
刘志斌
刘日佳
陈谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610389530.9A priority Critical patent/CN106096727B/zh
Publication of CN106096727A publication Critical patent/CN106096727A/zh
Priority to JP2018543424A priority patent/JP6549332B2/ja
Priority to PCT/CN2017/086917 priority patent/WO2017206936A1/zh
Priority to EP17805881.4A priority patent/EP3467723B1/en
Priority to KR1020187013732A priority patent/KR102173555B1/ko
Priority to US15/984,754 priority patent/US11741361B2/en
Application granted granted Critical
Publication of CN106096727B publication Critical patent/CN106096727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种基于机器学习的网络模型构造方法及装置，其中的方法可包括：获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集；按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络；采用所述参考数据集对所述至少一个子网络进行优化训练；将优化训练后的至少一个子网络进行合并，形成目标网络模型。本发明能够简化网络模型的构造过程，提升模型构造效率。

Description

一种基于机器学习的网络模型构造方法及装置
技术领域
本发明涉及互联网技术领域，具体涉及机器学习技术领域，尤其涉及一种基于机器学习的网络模型构造方法及装置。
背景技术
随着机器学习技术的快速发展，越来越多的领域开始使用机器学习的方法构建网络模型，以作为分析、控制、决策的工具。网络模型包括非神经网络模型和神经网络模型。其中，神经网络(Neural Networks，NN)是由大量的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，是一个高度复杂的非线性动力学习系统；神经网络的基础在于神经元，神经网络模型由神经元的网络拓扑、节点特点和学习规则来表示。神经网络模型相对于非神经网络模型而言，通常具备更强的深度学习能力及更好的环境适应能力的优点，但同时，神经网络模型的构造过程相较于非神经网络模型的构造过程复杂许多。目前，基于对现有网络模型进行机器学习以构建神经网络模型的过程中，需要人工干预，即由人工在对现有网络模型进行认知和理解的基础上，对现有网络模型的数据进行标注形成训练集，再从零开始构建神经网络模型。由于训练神经网络的过程需要大量的标注数据作为训练集，否则会导致严重的过拟合现象，这需要耗费大量的人力、物力以及时间资源成本，并且从零开始构造神经网络模型需要对所构造的网络模型整体进行复杂的参数调整，模型构造效率较低实用性较低。
发明内容
本发明实施例提供一种基于机器学习的网络模型构造方法及装置，简化网络模型的构造过程，提升模型构造效率。
本发明实施例第一方面提供一种基于机器学习的网络模型构造方法，可包括：
获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集；
按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络；
采用所述参考数据集对所述至少一个子网络进行优化训练；
将优化训练后的至少一个子网络进行合并，形成目标网络模型。
优选地，所述获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集，包括：
获取原网络模型在数据处理流程中所执行的至少一个数据处理步骤；
获取所述原网络模型在执行各数据处理步骤时产生的运行数据；
分别从所述原网络模型在执行各数据处理步骤时产生的运行数据中抽样提取参考数据集；
其中，所述参考数据集包含各数据处理步骤对应的至少一组输入/输出数据。
优选地，所述按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络，包括：
从预设的等价对应表中分别查询与各数据处理步骤相等价的子网络的网络主结构；
按照各数据处理步骤对应的至少一组输入/输出数据，确定与各数据处理步骤相等价的子网络的输入层结构和输出层结构；
根据与各数据处理步骤相等价的子网络的网络主结构、输入层结构和输出层结构构造与各数据处理步骤相等价的子网络，其中，一个子网络与一个数据处理步骤相等价。
优选地，所述采用所述参考数据集对所述至少一个子网络进行优化训练，包括：
依次从所述参考数据集中读取各数据处理步骤对应的至少一组输入/输出数据；
以各数据处理步骤对应的至少一组输入/输出数据为参考，按照神经网络训练优化算法对与各数据处理步骤相等价的子网络的参数进行优化调整，所述参数包括：网络节点、权值、训练速率中的至少一种。
优选地，所述将优化训练后的至少一个子网络进行合并，形成目标网络模型，包括：
从所述至少一个子网络中选择任一个子网络作为种子网络；
按照预置的合并顺序从所述至少一个子网络中选取除种子网络之外的一个子网络作为合并对象网络，所述预置的合并顺序包括以下任一种：所述至少一个数据处理步骤的先后执行顺序，所述至少一个数据处理步骤的后先执行顺序，所述至少一个子网络之间的结构相似度的高低顺序；
拆除所述种子网络与所述合并对象网络之间的输入层和输出层；
将所述种子网络与所述合并对象网络之间采用全连接的方式进行合并连接；
若合并连接成功，以与所述种子网络相等价的数据处理步骤对应的至少一组输入/输出数据以及与所述合并对象网络相等价的数据处理步骤对应的至少一组输入/输出数据为参考，对合并连接的网络的参数进行优化调整；
再以合并连接的网络作为种子网络，迭代上述过程直至将所述至少一个子网络全部合并连接形成目标网络模型。
优选地，所述将所述种子网络与所述合并对象网络之间采用全连接权值的方式进行合并连接之后，还包括：
若合并连接失败，在所述种子网络与所述合并对象网络之间添加中间隐含层，通过所述中间隐含层将所述种子网络与所述合并对象网络采用全连接方式进行合并连接。
本发明实施例第二方面提供一种基于机器学习的网络模型构造装置，可包括：
获取单元，用于获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集；
分层构造单元，用于按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络；
优化训练单元，用于采用所述参考数据集对所述至少一个子网络进行优化训练；
合并单元，用于将优化训练后的至少一个子网络进行合并，形成目标网络模型。
优选地，所述获取单元包括：
步骤获取单元，用于获取原网络模型在数据处理流程中所执行的至少一个数据处理步骤；
数据获取单元，用于获取所述原网络模型在执行各数据处理步骤时产生的运行数据；
抽样提取单元，用于分别从所述原网络模型在执行各数据处理步骤时产生的运行数据中抽样提取参考数据集；
其中，所述参考数据集包含各数据处理步骤对应的至少一组输入/输出数据。
优选地，所述分层构造单元包括：
查询单元，用于从预设的等价对应表中分别查询与各数据处理步骤相等价的子网络的网络主结构；
确定单元，用于按照各数据处理步骤对应的至少一组输入/输出数据，确定与各数据处理步骤相等价的子网络的输入层结构和输出层结构；
构造单元，用于根据与各数据处理步骤相等价的子网络的网络主结构、输入层结构和输出层结构构造与各数据处理步骤相等价的子网络，其中，一个子网络与一个数据处理步骤相等价。
优选地，所述优化训练单元包括：
读取单元，用于依次从所述参考数据集中读取各数据处理步骤对应的至少一组输入/输出数据；
调整单元，用于以各数据处理步骤对应的至少一组输入/输出数据为参考，按照神经网络训练优化算法对与各数据处理步骤相等价的子网络的参数进行优化调整，所述参数包括：网络节点、权值、训练速率中的至少一种。
优选地，所述合并单元包括：
种子选择单元，用于从所述至少一个子网络中选择任一个子网络作为种子网络；
合并对象选取单元，用于按照预置的合并顺序从所述至少一个子网络中选取除种子网络之外的一个子网络作为合并对象网络，所述预置的合并顺序包括以下任一种：所述至少一个数据处理步骤的先后执行顺序，所述至少一个数据处理步骤的后先执行顺序，所述至少一个子网络之间的结构相似度的高低顺序；
拆除单元，用于拆除所述种子网络与所述合并对象网络之间的输入层和输出层；
合并连接单元，用于将所述种子网络与所述合并对象网络之间采用全连接的方式进行合并连接；
优化调整单元，用于若合并连接成功，以与所述种子网络相等价的数据处理步骤对应的至少一组输入/输出数据以及与所述合并对象网络相等价的数据处理步骤对应的至少一组输入/输出数据为参考，对合并连接的网络的参数进行优化调整；
所述种子选择单元还用于将合并连接的网络作为种子网络，迭代由所述合并对象选取单元、所述拆除单元、所述合并连接单元和所述优化调整单元执行相应处理直到将所述至少一个子网络全部合并连接形成目标网络模型。
优选地，所述合并单元还包括：
添加单元，用于若合并连接失败，在所述种子网络与所述合并对象网络之间添加中间隐含层，以使得所述合并连接单元通过所述中间隐含层将所述种子网络与所述合并对象网络采用全连接方式进行合并连接。
本发明实施例中，通过分析原网络模型的数据处理流程，以原网络模型在所述数据处理流程中产生的实际运行数据为参考数据集，分层构造至少一个等价的子网络，并且对至少一个子网络进行优化训练，最后合并形成目标网络模型；由于采用原网络模型的实际运行数据灵活快速地构造目标网络模型的各个层次，再将各个层次进行合并即可形成目标网络模型，而不再需要从零开始构想目标网络模型的整体结构，简化了模型构造过程，有效地提升了模型构造效率；对于目标网络模型的优化调整采用分而治之的方式，分别对各个子网络进行优化调整再合并，这使得目标网络模型的优化调整过程更为灵活，进一步提升模型构造效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于机器学习的网络模型构造方法的流程图；
图2为本发明实施例提供的另一种基于机器学习的网络模型构造方法的流程图；
图3a为本发明实施例提供的与原网络模型中的数据处理步骤a1相等价的子网络b1的构造过程和优化训练过程的示意图；
图3b为本发明实施例提供的子网络b1和b2的合并过程和对合并连接的网络的优化训练过程的一个示意图；
图3c为本发明实施例提供的子网络b1和b2的合并过程和对合并连接的网络的优化训练过程的另一个示意图；
图4为本发明实施例提供的一种基于机器学习的网络模型构造装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
网络模型包括非神经网络模型和神经网络模型。其中，神经网络是由大量的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，是一个高度复杂的非线性动力学习系统；神经网络的基础在于神经元，神经网络模型由神经元的网络拓扑、节点特点和学习规则来表示。神经网络模型相对于非神经网络模型而言，通常具备更强的深度学习能力及更好的环境适应能力的优点，但同时，神经网络模型的构造过程相较于非神经网络模型的构造过程复杂许多。
本发明实施例提供了一种基于机器学习的网络模型构造方法及装置，能够通过分析原网络模型的数据处理流程，以原网络模型在所述数据处理流程中产生的实际运行数据为参考数据集，分层构造至少一个等价的子网络，并且对至少一个子网络进行优化训练，最后合并形成目标网络模型。通过此机器学习过程构建目标网络模型，可以获得如下有益效果：
(1)性能可靠性高。由于目标网络模型是经过对与原网络模型的数据处理流程相等价的至少一个子网络联合优化调整得到的，与原网络模型相比，目标网络模型不再需要考虑各个数据处理步骤之间的磨合与适应问题；并且联合优化过程是以原网络模型的实际运行数据为基准，从而可以保证目标网络模型的处理性能的可靠性。
(2)调整灵活度高。由于目标网络模型是通过训练原网络模型的实际运行数据驱动改变的，因此若需要调整目标网络模型，仅需调整训练过程涉及的参数，而不需要考虑目标网络模型各个层级结构之间的参数适配问题，调整灵活度较高；并且若原网络模型出现或产生新的运行数据，可以直接利用新的运行数据对目标网络模型进行调整，不需要过多的人工干预，从而节省了人力成本，减轻模型构造的工作量。
(3)构造过程简单。由于不需要从零开始构建目标网络模型，这就避免复杂的网络结构调整过程，并且不需要人工冗杂的经验作为参考，大大节省了模型构造时间，提升构造效率。
(4)对数据的利用更加充分。目标网络模型是由至少一个子网络联合优化而形成的深度网络，性能可靠性高，相对于原网络模型，其能够对参数不断迭代以最大程度地利用数据的价值，实现更好的性能优化。
(5)具有可解释性。目标网络模型是通过机器学习的方法将原网络模型进行等价替换而成，在此过程利用了原网络模型在数据处理流程中产生的实际运行数据，而并未添加人工理解或认知的标注数据，这能够在一定程度上将原网络模型的解释性要素继承下来，更适用于对于解释性要求较高的场景。
需要说明的是，原网络模型可以是非神经网络模型或神经网络模型，目标网络模型优选是神经网络模型。除特别说明外，本发明后续实施例中，原网络模型以非神经网络模型为例进行说明，而目标网络模型以神经网络模型进行说明。
基于上述描述，本发明实施例公开了一种基于机器学习的网络模型构造方法，请参见图1，该方法可包括以下步骤S101-步骤S104：
S101，获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集。
原网络模型作为一种分析、控制、决策的工具，在运行过程中会执行一系列的数据处理步骤而形成一套完整的数据处理流程。此处的数据处理步骤可以包括但不限于以下至少一种：
①单一机器学习的步骤。此步骤基于分类算法、聚类算法、成分分析算法、降维映射算法、编码器方法而实现，其中，分类算法可包括但不限于：支持向量机(Support VectorMachine，SVM)、决策树、阈值分类器、逻辑回归、浅层神经网络、迭代决策树(GradientBoost Decision Tree，GBDT)、Boosting(一种提高弱分类算法准确度的方法)方法、最邻近结点算法(k-NearestNeighbor，KNN)、贝叶斯分类器、随机森林方法及其可能的变种方法。聚类算法可包括但不限于：Kmeans(基于划分的聚类方法)、K中心、MeanShift、谱聚类、基于密度的聚类算法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)、相似传播方法。成分分析算法可包括但不限于：主成分分析(PrincipalComponent Analysis，PCA)、典范对应分析(canonical correspondence analusis，CCA)、因子分析、傅里叶变换、小波分析。降维映射算法可包括但不限于：混合判别分析(MixtureDiscriminant Analysis，MDA)、Fisher投影、lsoMap(一种全局优化算法)。编码器方法可包括但不限于：线性判别式分析(Linear Discriminant Analysis，LDA)、概率潜在语义分析(Probability Latent Semantic Analysis，pLSA)、隐含语义分析(Latent SemanticAnalysis，LSA)、SparseCoding(稀疏编码)。
②数据统计的步骤。此步骤可基于数据统计算法实现，该数据统计算法可包括但不限于：求和、求平均、求分位数、求最值、求中心统计矩、求卡方统计量等。
③序列分析的步骤。此步骤可基于序列分析算法实现，该序列分析算法可包括但不限于：自回归积分滑动平均模型(Autoregressive Integrated Moving Average Model，ARIMA)回归、Karman滤波等。
④函数处理的步骤。此处的函数可包括但不限于：线性映射函数、包含信息熵的变换函数、解析函数、超越函数等。
⑤对数据的编辑处理步骤。此步骤可以包括但不限于：数据合并、对数据的筛选、数据分离、数据变换等。
本步骤S101中，可以分析记录原网络模型运行的数据处理流程所涉及的至少一个数据处理步骤。并且，原网络模型在执行上述的各数据处理步骤时会产生运行数据，此处的运行数据可以包括但不限于：原网络模型在实际运行过程中使用的输入数据、中间数据和获得的输出数据；或者，原网络模型在训练或测试过程中所使用的带标注的输入数据、中间数据和输出数据；或者，由人工针对原网络模型注入的模拟输入数据、中间数据及获得的输出数据。那么，本步骤从各数据处理步骤的运行数据中提炼部分或全部的运行数据作为参考数据集。
S102，按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络。
所述数据处理流程记载了原网络模型所执行的至少一个数据处理步骤，所述参考数据集包含各数据处理步骤对应的至少一组输入/输出数据。分层构造的思想在于：原网络模型的每一个数据处理步骤可以由一个具备等价功能的子网络来执行，那么，一个数据处理步骤可对应一个子网络的网络主结构；与此同时，该子网络的输入/输出层则可以由该数据处理步骤的输入/输出数据来确定。因此，本步骤中，按照原网络模型的数据处理流程以及提炼到的参考数据集，可以分层构造至少一个子网络，例如：假设原网络模型的数据处理流程表示为“步骤a1-步骤a2-步骤a3-步骤a4”共四个数据处理步骤，那么，步骤a1与第一层次的子网络b1相等价，该子网络b1的主网络结构由步骤a1确定，该子网络b1的输入层和输出层由从步骤a1提炼出输入/输出数据确定；同理，步骤a2与第二层次的子网络b2相等价，该子网络b2的主网络结构由步骤a2确定，该子网络b2的输入层和输出层由从步骤a2提炼出输入/输出数据确定；以此类推，步骤a4与第四层次的子网络b4相等价，该子网络b4的主网络结构由步骤a4确定，该子网络b4的输入层和输出层由从步骤a4提炼出输入/输出数据确定。按照此实例进一步可知，目标网络模型是由子网络b1、子网络b2、子网络b3和子网络b4按层次联接而成。
S103，采用所述参考数据集对所述至少一个子网络进行优化训练。
优化训练的目的在于：以所述参考数据集中的数据作为参考基准，不断调整至少一个子网络的参数，使得子网络的性能指标达到与原网络模型中对应的数据处理步骤的性能指标相同或更高水平。此处，子网络的参数可包括：网络节点、权值、训练速率中的至少一种。具体实现中，从每个数据处理步骤提炼的至少一组输入/输出数据被用来对该数据处理步骤相等价的子网络进行优化训练，按照步骤S102中的例子，参考数据集中步骤a1对应的至少一组输入/输出数据用于对子网络b1进行优化训练，步骤a2对应的至少一组输入/输出数据用于对子网络b2进行优化训练，以此类推，步骤a4对应的至少一组输入/输出数据用于对子网络b4进行优化训练。
S104，将优化训练后的至少一个子网络进行合并，形成目标网络模型。
本步骤需要迭代将优化训练后的至少一个子网络不断合并，在合并过程中，还需要对不断合并形成的网络进行联合优化，最终形成完整的目标网络模型；通过迭代合并和联合优化的过程形成的目标网络模型是一个深度网络，性能可靠性较高。
本发明实施例的基于机器学习的网络模型构造方法，通过分析原网络模型的数据处理流程，以原网络模型在所述数据处理流程中产生的实际运行数据为参考数据集，分层构造至少一个等价的子网络，并且对至少一个子网络进行优化训练，最后合并形成目标网络模型；由于采用原网络模型的实际运行数据灵活快速地构造目标网络模型的各个层次，再将各个层次进行合并即可形成目标网络模型，而不再需要从零开始构想目标网络模型的整体结构，简化了模型构造过程，有效地提升了模型构造效率；对于目标网络模型的优化调整采用分而治之的方式，分别对各个子网络进行优化调整再合并，这使得目标网络模型的优化调整过程更为灵活，进一步提升模型构造效率。
本发明实施例公开了另一种基于机器学习的网络模型构造方法，请参见图2，该方法可包括以下步骤S201-步骤S204：
S201，获取原网络模型在数据处理流程中所执行的至少一个数据处理步骤。
原网络模型作为一种分析、控制、决策的工具，在运行过程中会执行一系列的数据处理步骤而形成一套完整的数据处理流程。本步骤中，可以分析记录原网络模型运行的数据处理流程所执行的至少一个数据处理步骤；例如：假设获取到原网络模型的数据处理流程所执行的“步骤a1-步骤a2-步骤a3-步骤a4”共四个数据处理步骤。
S202，获取所述原网络模型在执行各数据处理步骤时产生的运行数据。
原网络模型在各数据处理步骤时会产生运行数据，此处的运行数据可以包括但不限于：原网络模型在实际运行过程中使用的输入数据、中间数据和获得的输出数据；或者，原网络模型在训练或测试过程中所使用的带标注的输入数据、中间数据和输出数据；或者，由人工针对原网络模型注入的模拟输入数据、中间数据及获得的输出数据。本步骤则分别获取原网络模型在执行各数据处理步骤时产生的运行数据，按照S201所示例子，需要分别获取原网络模型执行步骤a1时产生的运行数据，执行步骤a2时产生的运行数据，执行步骤a3时产生的运行数据以及执行步骤a4时产生的运行数据。
S203，分别从所述原网络模型在执行各数据处理步骤时产生的运行数据中抽样提取参考数据集。
具体实现中，按照本实施例所示例子，假设原网络模型执行步骤a1的过程中产生两组输入/输出数据，那么，本步骤可以抽样提取其中一组输入/输出数据添加至参考数据集，也可以全部提取两组输入/输出数据添加至参考数据集。以此类推，所述参考数据集包含各数据处理步骤对应的至少一组输入/输出数据。
本实施例的步骤S201-S203可以为图1所示的步骤S101的具体细化步骤。
S204，从预设的等价对应表中分别查询与各数据处理步骤相等价的子网络的网络主结构。
如前述，数据处理步骤可以包括但不限于以下至少一种：①单一机器学习的步骤；②数据统计的步骤；③序列分析的步骤；④函数处理的步骤；⑤对数据的编辑处理步骤。每一种类型的数据处理步骤均存在相等价的子网络的网络主结构，等价关系可以参见下述表一：
表一：预设的等价对应表
上述表一的右侧列中，如果存在多种网络主结构，表示任意一种网络主结构或任意组合的网络主结构对应左侧例中的数据处理步骤，例如：上述数据统计的步骤，等价的网络主结构包括汇总(pooling)层、卷积层、全连接层，那么，汇总(pooling)层、卷积层、全连接层中的任一种结构或多种结构的组合与数据统计的步骤相等价，那么，实际应用中如果一个数据处理步骤存在多个相等价的子网络的网络主结构时，可以通过实际训练效果反馈决定子网络最终的网络主结构，例如选择误差率最小的网络主结构。可以理解的是，上述表一并非穷举，如果存在其他数据处理步骤以及相等价的网络主结构，可添加至上述表一中。
S205，按照各数据处理步骤对应的至少一组输入/输出数据，确定与各数据处理步骤相等价的子网络的输入层结构和输出层结构。
本步骤中，需要根据各数据处理步骤对应的输入数据，确定等价的子网络的输入层的维度；根据各数据处理步骤对应的输出数据，来确定等价的子网络的输出层的维度；也就是说，与某数据处理步骤相等价的子网络的输入层与该数据处理步骤对应的输入数据的维度相同，而与该数据处理步骤相等价的子网络的输出层与该数据处理步骤对应的输出数据的维度相同。此处的维度可以包括：数据的来源、数据的数量等。
S206，根据与各数据处理步骤相等价的子网络的网络主结构、输入层结构和输出层结构构造与各数据处理步骤相等价的子网络，其中，一个子网络与一个数据处理步骤相等价。
本步骤中，在子网络的网络主结构的基础上添加输入层结构和输出层结构，即可形成子网络的网络结构。本实施例的步骤S204-S206可以为图1所示的步骤S102的具体细化步骤。
S207，依次从所述参考数据集中读取各数据处理步骤对应的至少一组输入/输出数据。
S208，以各数据处理步骤对应的至少一组输入/输出数据为参考，按照神经网络训练优化算法对与各数据处理步骤相等价的子网络的参数进行优化调整，所述参数包括：网络节点、权值、训练速率中的至少一种。
所述神经网络训练优化算法可以包括但不限于以下至少一种：随机梯度下降算法、RMSProp(一种优化算法)、动量法、AdaGrad(为各个参数分配不同学习率的算法)、AdaDelta(一种优化算法)。步骤S207-S208中，从每个数据处理步骤提炼的至少一组输入/输出数据被用来对该数据处理步骤相等价的子网络进行优化训练，按照本实施例所示例子，从参考数据集中读取步骤a1对应的至少一组输入/输出数据用于对与步骤a1相等价的子网络b1进行优化训练；从参考数据集中读取步骤a2对应的至少一组输入/输出数据用于对与步骤a2相等价的子网络b2进行优化训练，以此类推，从参考数据集中读取步骤a4对应的至少一组输入/输出数据用于对步骤a4相等价的子网络b4进行优化训练。本实施例的步骤S207-S208可以为图1所示的步骤S103的具体细化步骤。
上述步骤S204-S208可请一并参见图3a，图3a示出了与原网络模型中的数据处理步骤a1相等价的子网络b1的构造过程和优化训练过程的示意图。
S209，从所述至少一个子网络中选择任一个子网络作为种子网络。
S210，按照预置的合并顺序从所述至少一个子网络中选取除种子网络之外的一个子网络作为合并对象网络，所述预置的合并顺序包括以下任一种：所述至少一个数据处理步骤的先后执行顺序，所述至少一个数据处理步骤的后先执行顺序，所述至少一个子网络之间的结构相似度的高低顺序。
步骤S209-S210中，按照本实施例所示例子，原网络模型执行“步骤a1-步骤a2-步骤a3-步骤a4”四个数据处理步骤，相等价的子网络分别为：子网络b1、子网络b2、子网络b3和子网络b4。假设选择子网络b2为种子网络，那么：1)按照所述至少一个数据处理步骤的先后执行顺序，应当选取与步骤a3相等价的子网络b3作为合并对象网络；2)如果按照至少一个数据处理步骤的后先执行顺序，应当选取与步骤a1相等价的子网络b1作为合并对象网络；3)如果按照至少一个子网络之间的结构相似度的高低顺序，应当选择与子网络b2的结构相似度最高的子网络作为合并对象网络，假设子网络b2与子网络b4的网络主结构均为全连接层结构，那么，选择子网络b4作为合并对象网络。
S211，拆除所述种子网络与所述合并对象网络之间的输入层和输出层。
按照图3a所示的子网络的网络结构，本步骤需要拆除上层子网络的输入层，同时拆除下层子网络的输出层。如果种子网络作为上层子网络，合并对象网络作为下层子网络，那么需要拆除种子网络的输入层，同时拆除合并对象网络的输出层；如果种子网络作为下层子网络，合并对象网络作为上层子网络，那么需要拆除种子网络的输出层，同时拆除合并对象网络的输入层。
S212，将所述种子网络与所述合并对象网络之间采用全连接的方式进行合并连接。若合并连接成功，转入步骤S214；若合并失败，转入步骤S213。
S213，在所述种子网络与所述合并对象网络之间添加中间隐含层，通过所述中间隐含层将所述种子网络与所述合并对象网络采用全连接方式进行合并连接。
S214，以与所述种子网络相等价的数据处理步骤对应的至少一组输入/输出数据以及与所述合并对象网络相等价的数据处理步骤对应的至少一组输入/输出数据为参考，对合并连接的网络的参数进行优化调整。
由于合并连接的网络的输入层为下层子网络的输入层，合并连接的网络的输出层为上层子网络的输出层，那么，本步骤需要以上层子网络相等价的数据处理步骤对应的输出数据为参考，同时以下层子网络相等价的数据处理步骤对应的输入数据为参考，对合并连接的网络的参数进行优化调整。
S215，以合并连接的网络作为种子网络，迭代上述步骤S210-S214的过程直至将所述至少一个子网络全部合并连接形成目标网络模型。
本实施例的步骤S209-S215可以为图1所示的步骤S104的具体细化步骤。上述步骤S209-S215可请一并参见图3b和图3c，图3b和图3c分别示出了子网络b1和b2的合并过程和对合并连接的网络的优化训练过程的示意图。
本发明实施例的基于机器学习的网络模型构造方法，通过分析原网络模型的数据处理流程，以原网络模型在所述数据处理流程中产生的实际运行数据为参考数据集，分层构造至少一个等价的子网络，并且对至少一个子网络进行优化训练，最后合并形成目标网络模型；由于采用原网络模型的实际运行数据灵活快速地构造目标网络模型的各个层次，再将各个层次进行合并即可形成目标网络模型，而不再需要从零开始构想目标网络模型的整体结构，简化了模型构造过程，有效地提升了模型构造效率；对于目标网络模型的优化调整采用分而治之的方式，分别对各个子网络进行优化调整再合并，这使得目标网络模型的优化调整过程更为灵活，进一步提升模型构造效率。
本发明实施例还公开了一种基于机器学习的网络模型构造装置，请参见图4，该装置可运行如下单元：
获取单元101，用于获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集。
分层构造单元102，用于按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络。
优化训练单元103，用于采用所述参考数据集对所述至少一个子网络进行优化训练。
合并单元104，用于将优化训练后的至少一个子网络进行合并，形成目标网络模型。
具体实现中，该装置在运行所述获取单元101的过程中，具体运行如下单元：
步骤获取单元1001，用于获取原网络模型在数据处理流程中所执行的至少一个数据处理步骤。
数据获取单元1002，用于获取所述原网络模型在执行各数据处理步骤时产生的运行数据。
抽样提取单元1003，用于分别从所述原网络模型在执行各数据处理步骤时产生的运行数据中抽样提取参考数据集；其中，所述参考数据集包含各数据处理步骤对应的至少一组输入/输出数据。
具体实现中，该装置在运行所述分层构造单元102的过程中，具体运行如下单元：
查询单元2001，用于从预设的等价对应表中分别查询与各数据处理步骤相等价的子网络的网络主结构。
确定单元2002，用于按照各数据处理步骤对应的至少一组输入/输出数据，确定与各数据处理步骤相等价的子网络的输入层结构和输出层结构。
构造单元2003，用于根据与各数据处理步骤相等价的子网络的网络主结构、输入层结构和输出层结构构造与各数据处理步骤相等价的子网络，其中，一个子网络与一个数据处理步骤相等价。
具体实现中，该装置在运行所述优化训练单元103的过程中，具体运行如下单元：
读取单元3001，用于依次从所述参考数据集中读取各数据处理步骤对应的至少一组输入/输出数据。
调整单元3002，用于以各数据处理步骤对应的至少一组输入/输出数据为参考，按照神经网络训练优化算法对与各数据处理步骤相等价的子网络的参数进行优化调整，所述参数包括：网络节点、权值、训练速率中的至少一种。
具体实现中，该装置在运行所述合并单元104的过程中，具体运行如下单元：
种子选择单元4001，用于从所述至少一个子网络中选择任一个子网络作为种子网络。
合并对象选取单元4002，用于按照预置的合并顺序从所述至少一个子网络中选取除种子网络之外的一个子网络作为合并对象网络，所述预置的合并顺序包括以下任一种：所述至少一个数据处理步骤的先后执行顺序，所述至少一个数据处理步骤的后先执行顺序，所述至少一个子网络之间的结构相似度的高低顺序。
拆除单元4003，用于拆除所述种子网络与所述合并对象网络之间的输入层和输出层。
合并连接单元4004，用于将所述种子网络与所述合并对象网络之间采用全连接的方式进行合并连接。
优化调整单元4005，用于若合并连接成功，以与所述种子网络相等价的数据处理步骤对应的至少一组输入/输出数据以及与所述合并对象网络相等价的数据处理步骤对应的至少一组输入/输出数据为参考，对合并连接的网络的参数进行优化调整。
所述种子选择单元4001还用于将合并连接的网络作为种子网络，迭代由所述合并对象选取单元4002、所述拆除单元4003、所述合并连接单元4004和所述优化调整单元4005执行相应处理直到将所述至少一个子网络全部合并连接形成目标网络模型。
可选地，该装置在运行所述合并单元104的过程中，还运行如下单元：
添加单元4006，用于若合并连接失败，在所述种子网络与所述合并对象网络之间添加中间隐含层，以使得所述合并连接单元4004通过所述中间隐含层将所述种子网络与所述合并对象网络采用全连接方式进行合并连接。
由于图4所示的装置可用于执行图1-图3实施例所示方法的各步骤，因此，图4所示装置的各单元的功能可参见图1-图3所示各步骤的描述，在此不赘述。
与方法同理，本发明实施例的基于机器学习的网络模型构造装置，通过分析原网络模型的数据处理流程，以原网络模型在所述数据处理流程中产生的实际运行数据为参考数据集，分层构造至少一个等价的子网络，并且对至少一个子网络进行优化训练，最后合并形成目标网络模型；由于采用原网络模型的实际运行数据灵活快速地构造目标网络模型的各个层次，再将各个层次进行合并即可形成目标网络模型，而不再需要从零开始构想目标网络模型的整体结构，简化了模型构造过程，有效地提升了模型构造效率；对于目标网络模型的优化调整采用分而治之的方式，分别对各个子网络进行优化调整再合并，这使得目标网络模型的优化调整过程更为灵活，进一步提升模型构造效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种基于机器学习的网络模型构造方法，其特征在于，包括：
获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集；
按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络；
采用所述参考数据集对所述至少一个子网络进行优化训练；
将优化训练后的至少一个子网络进行合并，形成目标网络模型。
2.如权利要求1所述的方法，其特征在于，所述获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集，包括：
获取原网络模型在数据处理流程中所执行的至少一个数据处理步骤；
获取所述原网络模型在执行各数据处理步骤时产生的运行数据；
分别从所述原网络模型在执行各数据处理步骤时产生的运行数据中抽样提取参考数据集；
其中，所述参考数据集包含各数据处理步骤对应的至少一组输入/输出数据。
3.如权利要求2所述的方法，其特征在于，所述按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络，包括：
从预设的等价对应表中分别查询与各数据处理步骤相等价的子网络的网络主结构；
按照各数据处理步骤对应的至少一组输入/输出数据，确定与各数据处理步骤相等价的子网络的输入层结构和输出层结构；
根据与各数据处理步骤相等价的子网络的网络主结构、输入层结构和输出层结构构造与各数据处理步骤相等价的子网络，其中，一个子网络与一个数据处理步骤相等价。
4.如权利要求2或3所述的方法，其特征在于，所述采用所述参考数据集对所述至少一个子网络进行优化训练，包括：
依次从所述参考数据集中读取各数据处理步骤对应的至少一组输入/输出数据；
以各数据处理步骤对应的至少一组输入/输出数据为参考，按照神经网络训练优化算法对与各数据处理步骤相等价的子网络的参数进行优化调整，所述参数包括：网络节点、权值、训练速率中的至少一种。
5.如权利要求4所述的方法，其特征在于，所述将优化训练后的至少一个子网络进行合并，形成目标网络模型，包括：
从所述至少一个子网络中选择任一个子网络作为种子网络；
按照预置的合并顺序从所述至少一个子网络中选取除种子网络之外的一个子网络作为合并对象网络，所述预置的合并顺序包括以下任一种：所述至少一个数据处理步骤的先后执行顺序，所述至少一个数据处理步骤的后先执行顺序，所述至少一个子网络之间的结构相似度的高低顺序；
拆除所述种子网络与所述合并对象网络之间的输入层和输出层；
将所述种子网络与所述合并对象网络之间采用全连接的方式进行合并连接；
若合并连接成功，以与所述种子网络相等价的数据处理步骤对应的至少一组输入/输出数据以及与所述合并对象网络相等价的数据处理步骤对应的至少一组输入/输出数据为参考，对合并连接的网络的参数进行优化调整；
再以合并连接的网络作为种子网络，迭代上述过程直至将所述至少一个子网络全部合并连接形成目标网络模型。
6.如权利要求5所述的方法，其特征在于，所述将所述种子网络与所述合并对象网络之间采用全连接权值的方式进行合并连接之后，还包括：
若合并连接失败，在所述种子网络与所述合并对象网络之间添加中间隐含层，通过所述中间隐含层将所述种子网络与所述合并对象网络采用全连接方式进行合并连接。
7.一种基于机器学习的网络模型构造装置，其特征在于，包括：
获取单元，用于获取原网络模型的数据处理流程及所述原网络模型在所述数据处理流程中产生的参考数据集；
分层构造单元，用于按照所述数据处理流程以及所述参考数据集分层构造至少一个子网络；
优化训练单元，用于采用所述参考数据集对所述至少一个子网络进行优化训练；
合并单元，用于将优化训练后的至少一个子网络进行合并，形成目标网络模型。
8.如权利要求7所述的装置，其特征在于，所述获取单元包括：
步骤获取单元，用于获取原网络模型在数据处理流程中所执行的至少一个数据处理步骤；
数据获取单元，用于获取所述原网络模型在执行各数据处理步骤时产生的运行数据；
抽样提取单元，用于分别从所述原网络模型在执行各数据处理步骤时产生的运行数据中抽样提取参考数据集；
其中，所述参考数据集包含各数据处理步骤对应的至少一组输入/输出数据。
9.如权利要求8所述的装置，其特征在于，所述分层构造单元包括：
查询单元，用于从预设的等价对应表中分别查询与各数据处理步骤相等价的子网络的网络主结构；
确定单元，用于按照各数据处理步骤对应的至少一组输入/输出数据，确定与各数据处理步骤相等价的子网络的输入层结构和输出层结构；
构造单元，用于根据与各数据处理步骤相等价的子网络的网络主结构、输入层结构和输出层结构构造与各数据处理步骤相等价的子网络，其中，一个子网络与一个数据处理步骤相等价。
10.如权利要求8或9所述的装置，其特征在于，所述优化训练单元包括：
读取单元，用于依次从所述参考数据集中读取各数据处理步骤对应的至少一组输入/输出数据；
调整单元，用于以各数据处理步骤对应的至少一组输入/输出数据为参考，按照神经网络训练优化算法对与各数据处理步骤相等价的子网络的参数进行优化调整，所述参数包括：网络节点、权值、训练速率中的至少一种。
11.如权利要求10所述的装置，其特征在于，所述合并单元包括：
种子选择单元，用于从所述至少一个子网络中选择任一个子网络作为种子网络；
合并对象选取单元，用于按照预置的合并顺序从所述至少一个子网络中选取除种子网络之外的一个子网络作为合并对象网络，所述预置的合并顺序包括以下任一种：所述至少一个数据处理步骤的先后执行顺序，所述至少一个数据处理步骤的后先执行顺序，所述至少一个子网络之间的结构相似度的高低顺序；
拆除单元，用于拆除所述种子网络与所述合并对象网络之间的输入层和输出层；
合并连接单元，用于将所述种子网络与所述合并对象网络之间采用全连接的方式进行合并连接；
优化调整单元，用于若合并连接成功，以与所述种子网络相等价的数据处理步骤对应的至少一组输入/输出数据以及与所述合并对象网络相等价的数据处理步骤对应的至少一组输入/输出数据为参考，对合并连接的网络的参数进行优化调整；
所述种子选择单元还用于将合并连接的网络作为种子网络，迭代由所述合并对象选取单元、所述拆除单元、所述合并连接单元和所述优化调整单元执行相应处理直到将所述至少一个子网络全部合并连接形成目标网络模型。
12.如权利要求11所述的装置，其特征在于，所述合并单元还包括：
添加单元，用于若合并连接失败，在所述种子网络与所述合并对象网络之间添加中间隐含层，以使得所述合并连接单元通过所述中间隐含层将所述种子网络与所述合并对象网络采用全连接方式进行合并连接。
CN201610389530.9A 2016-06-02 2016-06-02 一种基于机器学习的网络模型构造方法及装置 Active CN106096727B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610389530.9A CN106096727B (zh) 2016-06-02 2016-06-02 一种基于机器学习的网络模型构造方法及装置
JP2018543424A JP6549332B2 (ja) 2016-06-02 2017-06-02 機械学習に基づくネットワークモデル構築方法及び装置
PCT/CN2017/086917 WO2017206936A1 (zh) 2016-06-02 2017-06-02 基于机器学习的网络模型构造方法及装置
EP17805881.4A EP3467723B1 (en) 2016-06-02 2017-06-02 Machine learning based network model construction method and apparatus
KR1020187013732A KR102173555B1 (ko) 2016-06-02 2017-06-02 머신 러닝 기반 네트워크 모델 구축 방법 및 장치
US15/984,754 US11741361B2 (en) 2016-06-02 2018-05-21 Machine learning-based network model building method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610389530.9A CN106096727B (zh) 2016-06-02 2016-06-02 一种基于机器学习的网络模型构造方法及装置

Publications (2)

Publication Number Publication Date
CN106096727A true CN106096727A (zh) 2016-11-09
CN106096727B CN106096727B (zh) 2018-12-07

Family

ID=57447501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610389530.9A Active CN106096727B (zh) 2016-06-02 2016-06-02 一种基于机器学习的网络模型构造方法及装置

Country Status (6)

Country Link
US (1) US11741361B2 (zh)
EP (1) EP3467723B1 (zh)
JP (1) JP6549332B2 (zh)
KR (1) KR102173555B1 (zh)
CN (1) CN106096727B (zh)
WO (1) WO2017206936A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206936A1 (zh) * 2016-06-02 2017-12-07 腾讯科技（深圳）有限公司 基于机器学习的网络模型构造方法及装置
CN108629413A (zh) * 2017-03-15 2018-10-09 阿里巴巴集团控股有限公司 神经网络模型训练、交易行为风险识别方法及装置
CN109034367A (zh) * 2018-08-22 2018-12-18 广州杰赛科技股份有限公司 神经网络更新方法、装置、计算机设备和可读存储介质
CN109167789A (zh) * 2018-09-13 2019-01-08 上海海事大学 一种云环境LDoS攻击数据流检测方法及系统
WO2019006541A1 (en) 2017-07-07 2019-01-10 Darwinai Corporation SYSTEM AND METHOD FOR AUTOMATIC CONSTRUCTION OF LEARNING MACHINES USING LEARNING MACHINES
CN109685203A (zh) * 2018-12-21 2019-04-26 北京中科寒武纪科技有限公司 数据处理方法、装置、计算机系统及存储介质
CN109978024A (zh) * 2019-03-11 2019-07-05 北京工业大学 一种基于互联模块化神经网络的出水bod预测方法
CN110322021A (zh) * 2019-06-14 2019-10-11 清华大学 大规模网络表征学习的超参数优化方法和装置
CN110380888A (zh) * 2019-05-29 2019-10-25 华为技术有限公司 一种网络异常检测方法和装置
CN110414570A (zh) * 2019-07-04 2019-11-05 北京迈格威科技有限公司 图像分类模型生成方法、装置、设备和存储介质
WO2019211651A1 (en) * 2018-05-02 2019-11-07 Telefonaktiebolaget Lm Ericsson (Publ) Placement-aware acceleration of parameter optimization in a predictive model
CN111224805A (zh) * 2018-11-26 2020-06-02 中兴通讯股份有限公司 一种网络故障根因检测方法、系统及存储介质
TWI696971B (zh) * 2017-12-12 2020-06-21 浩霆 黃 金融商品的相關性預測系統及其方法
CN112150605A (zh) * 2020-08-17 2020-12-29 北京化工大学 用于mri局部sar估计的膝关节模型构建方法
WO2021134350A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 神经网络模型的推理方法、装置、计算机设备和存储介质
CN113378777A (zh) * 2021-06-30 2021-09-10 沈阳康慧类脑智能协同创新中心有限公司 基于单目摄像机的视线检测的方法和装置
CN114492789A (zh) * 2022-01-25 2022-05-13 天津工业大学 一种数据样本的神经网络模型构建方法及装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3596655B1 (en) * 2017-06-05 2023-08-09 Siemens Aktiengesellschaft Method and apparatus for analysing an image
DE102018109835A1 (de) * 2018-04-24 2019-10-24 Albert-Ludwigs-Universität Freiburg Verfahren und Vorrichtung zum Ermitteln einer Netzkonfiguration eines neuronalen Netzes
CN109447273A (zh) * 2018-09-30 2019-03-08 深圳市元征科技股份有限公司 模型训练方法、广告推荐方法、相关装置、设备及介质
JP7115207B2 (ja) * 2018-10-11 2022-08-09 富士通株式会社 学習プログラム、学習方法および学習装置
CN111105020B (zh) * 2018-10-29 2024-03-29 西安宇视信息科技有限公司 特征表示迁移学习方法及相关装置
KR20200052439A (ko) * 2018-10-29 2020-05-15 삼성에스디에스 주식회사 딥러닝 모델의 최적화 시스템 및 방법
CN111291771B (zh) * 2018-12-06 2024-04-02 西安宇视信息科技有限公司 对池化层特征优化的方法及装置
CN109684087B (zh) * 2018-12-17 2020-01-10 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN109726718B (zh) * 2019-01-03 2022-09-16 电子科技大学 一种基于关系正则化的视觉场景图生成系统及方法
CN109684648B (zh) * 2019-01-14 2020-09-01 浙江大学 一种多特征融合的古今汉语自动翻译方法
CN111435432B (zh) * 2019-01-15 2023-05-26 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN111600734B (zh) * 2019-02-21 2021-11-02 烽火通信科技股份有限公司 一种网络故障处理模型的构建方法、故障处理方法及系统
CN110046706B (zh) * 2019-04-18 2022-12-20 腾讯科技（深圳）有限公司 模型生成方法、装置及服务器
GB2596477B (en) * 2019-04-29 2023-02-22 Landmark Graphics Corp Hybrid neural network and autoencoder
CN110570013B (zh) * 2019-08-06 2023-04-07 山东省科学院海洋仪器仪表研究所 一种单站位在线波周期数据的预测诊断方法
US11763157B2 (en) * 2019-11-03 2023-09-19 Microsoft Technology Licensing, Llc Protecting deep learned models
JP7203000B2 (ja) * 2019-11-12 2023-01-12 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
US11847500B2 (en) 2019-12-11 2023-12-19 Cisco Technology, Inc. Systems and methods for providing management of machine learning components
US11501216B2 (en) 2020-02-21 2022-11-15 King.Com Ltd. Computer system, a computer device and a computer implemented method
CN111584027B (zh) * 2020-04-30 2022-03-11 天津大学 融合复杂网络和图卷积的脑控康复系统运动想象识别系统
CN113780513B (zh) * 2020-06-10 2024-05-03 杭州海康威视数字技术股份有限公司 网络模型量化、推理方法、装置、电子设备及存储介质
US12045721B2 (en) * 2020-10-08 2024-07-23 Lg Electronics Inc. Method and device for transmitting OFDM signal, and method and device for receiving OFDM signal
KR20220055363A (ko) * 2020-10-26 2022-05-03 삼성전자주식회사 복수의 모델들 중 어느 하나의 모델을 이용하여 기지국의 네트워크의 상태를 조정하기 위한 상태 제어 파라미터를 제어하는 방법 및 이를 수행하는 전자 장치
US12047248B2 (en) 2020-10-26 2024-07-23 Samsung Electronics Co., Ltd. Method of controlling state control parameter for adjusting state of network of base station by using any one of plurality of models and electronic device performing the method
KR102593844B1 (ko) 2021-02-25 2023-10-25 주식회사 인제니오에이아이 딥러닝 네트워크 구성 방법, 딥러닝 자동화 플랫폼 서비스 시스템 및 이를 위한 컴퓨터 프로그램
CN113378998B (zh) * 2021-07-12 2022-07-22 西南石油大学 一种基于机器学习的地层岩性随钻识别方法
CN113554077B (zh) * 2021-07-13 2024-09-06 南京铉盈网络科技有限公司 基于多模态神经网络模型的工况评估及业务量预测方法
CN113919387A (zh) * 2021-08-18 2022-01-11 东北林业大学 基于gbdt-lr模型的脑电信号情感识别
KR102644593B1 (ko) * 2021-11-23 2024-03-07 한국기술교육대학교 산학협력단 지능형 디바이스 개발을 위한 ai 분화 기반의 하드웨어 정보에 최적의 지능형 소프트웨어 개발도구
US20240205092A1 (en) * 2022-12-14 2024-06-20 Advanced Micro Devices, Inc. Network collective offloading routing management
CN116451099B (zh) * 2023-06-19 2023-09-01 浪潮通用软件有限公司 一种基于随机遍历的高熵knn聚类方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345656A (zh) * 2013-07-17 2013-10-09 中国科学院自动化研究所 一种基于多任务深度神经网络的数据识别方法及装置
CN103838836A (zh) * 2014-02-25 2014-06-04 中国科学院自动化研究所 基于判别式多模态深度置信网多模态数据融合方法和系统
CN104751227A (zh) * 2013-12-31 2015-07-01 安徽科大讯飞信息科技股份有限公司 深度神经网络的构建方法及系统
US20150193694A1 (en) * 2014-01-06 2015-07-09 Cisco Technology, Inc. Distributed learning in a computer network

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04190461A (ja) * 1990-11-26 1992-07-08 Fujitsu Ltd ニューラルネットワークの構築表示方法
JPH05128082A (ja) * 1991-07-19 1993-05-25 Fujitsu Ltd 階層ネツトワーク構成データ処理装置とその学習処理方法
JP3035106B2 (ja) * 1993-03-11 2000-04-17 株式会社東芝 大規模情報認識回路
JPH0793160A (ja) * 1993-09-20 1995-04-07 Toshiba Corp 推論装置
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
JP3678636B2 (ja) 2000-08-21 2005-08-03 Ｎｅｃソフト株式会社 ニューラルネットワークの学習方法
CN101310294A (zh) 2005-11-15 2008-11-19 伯纳黛特·加纳 神经网络的训练方法
CN101814160A (zh) * 2010-03-08 2010-08-25 清华大学 一种基于特征聚类的rbf神经网络建模方法
CN103729459A (zh) * 2014-01-10 2014-04-16 北京邮电大学 一种构建情感分类模型的方法
CN106096727B (zh) * 2016-06-02 2018-12-07 腾讯科技（深圳）有限公司 一种基于机器学习的网络模型构造方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345656A (zh) * 2013-07-17 2013-10-09 中国科学院自动化研究所 一种基于多任务深度神经网络的数据识别方法及装置
CN104751227A (zh) * 2013-12-31 2015-07-01 安徽科大讯飞信息科技股份有限公司 深度神经网络的构建方法及系统
US20150193694A1 (en) * 2014-01-06 2015-07-09 Cisco Technology, Inc. Distributed learning in a computer network
CN103838836A (zh) * 2014-02-25 2014-06-04 中国科学院自动化研究所 基于判别式多模态深度置信网多模态数据融合方法和系统

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741361B2 (en) 2016-06-02 2023-08-29 Tencent Technology (Shenzhen) Company Limited Machine learning-based network model building method and apparatus
WO2017206936A1 (zh) * 2016-06-02 2017-12-07 腾讯科技（深圳）有限公司 基于机器学习的网络模型构造方法及装置
TWI689874B (zh) * 2017-03-15 2020-04-01 香港商阿里巴巴集團服務有限公司 神經網路模型訓練、交易行為風險識別方法及裝置
CN108629413A (zh) * 2017-03-15 2018-10-09 阿里巴巴集团控股有限公司 神经网络模型训练、交易行为风险识别方法及装置
CN108629413B (zh) * 2017-03-15 2020-06-16 创新先进技术有限公司 神经网络模型训练、交易行为风险识别方法及装置
EP3649582A4 (en) * 2017-07-07 2021-07-21 Darwinai Corporation SYSTEM AND METHOD FOR AUTOMATIC CONSTRUCTION OF LEARNING MACHINES USING LEARNING MACHINES
WO2019006541A1 (en) 2017-07-07 2019-01-10 Darwinai Corporation SYSTEM AND METHOD FOR AUTOMATIC CONSTRUCTION OF LEARNING MACHINES USING LEARNING MACHINES
TWI696971B (zh) * 2017-12-12 2020-06-21 浩霆 黃 金融商品的相關性預測系統及其方法
WO2019211651A1 (en) * 2018-05-02 2019-11-07 Telefonaktiebolaget Lm Ericsson (Publ) Placement-aware acceleration of parameter optimization in a predictive model
CN109034367A (zh) * 2018-08-22 2018-12-18 广州杰赛科技股份有限公司 神经网络更新方法、装置、计算机设备和可读存储介质
CN109167789A (zh) * 2018-09-13 2019-01-08 上海海事大学 一种云环境LDoS攻击数据流检测方法及系统
CN109167789B (zh) * 2018-09-13 2021-04-13 上海海事大学 一种云环境LDoS攻击数据流检测方法及系统
CN111224805A (zh) * 2018-11-26 2020-06-02 中兴通讯股份有限公司 一种网络故障根因检测方法、系统及存储介质
CN109685203B (zh) * 2018-12-21 2020-01-17 中科寒武纪科技股份有限公司 数据处理方法、装置、计算机系统及存储介质
CN109685203A (zh) * 2018-12-21 2019-04-26 北京中科寒武纪科技有限公司 数据处理方法、装置、计算机系统及存储介质
CN109978024A (zh) * 2019-03-11 2019-07-05 北京工业大学 一种基于互联模块化神经网络的出水bod预测方法
CN110380888A (zh) * 2019-05-29 2019-10-25 华为技术有限公司 一种网络异常检测方法和装置
CN110380888B (zh) * 2019-05-29 2021-02-23 华为技术有限公司 一种网络异常检测方法和装置
CN110322021A (zh) * 2019-06-14 2019-10-11 清华大学 大规模网络表征学习的超参数优化方法和装置
CN110322021B (zh) * 2019-06-14 2021-03-30 清华大学 大规模网络表征学习的超参数优化方法和装置
CN110414570B (zh) * 2019-07-04 2022-01-28 北京迈格威科技有限公司 图像分类模型生成方法、装置、设备和存储介质
CN110414570A (zh) * 2019-07-04 2019-11-05 北京迈格威科技有限公司 图像分类模型生成方法、装置、设备和存储介质
WO2021134350A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 神经网络模型的推理方法、装置、计算机设备和存储介质
CN112150605A (zh) * 2020-08-17 2020-12-29 北京化工大学 用于mri局部sar估计的膝关节模型构建方法
CN112150605B (zh) * 2020-08-17 2024-02-02 北京化工大学 用于mri局部sar估计的膝关节模型构建方法
CN113378777A (zh) * 2021-06-30 2021-09-10 沈阳康慧类脑智能协同创新中心有限公司 基于单目摄像机的视线检测的方法和装置
CN114492789A (zh) * 2022-01-25 2022-05-13 天津工业大学 一种数据样本的神经网络模型构建方法及装置
CN114492789B (zh) * 2022-01-25 2024-05-14 天津工业大学 一种数据样本的神经网络模型构建方法及装置

Also Published As

Publication number Publication date
EP3467723A1 (en) 2019-04-10
US11741361B2 (en) 2023-08-29
KR20180069877A (ko) 2018-06-25
EP3467723A4 (en) 2019-04-10
EP3467723B1 (en) 2021-02-24
WO2017206936A1 (zh) 2017-12-07
CN106096727B (zh) 2018-12-07
KR102173555B1 (ko) 2020-11-03
JP2018533153A (ja) 2018-11-08
JP6549332B2 (ja) 2019-07-24
US20180268296A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN106096727A (zh) 一种基于机器学习的网络模型构造方法及装置
CN106570873B (zh) 一种医学图像分割方法
CN101968853B (zh) 基于改进的免疫算法优化支持向量机参数的表情识别方法
CN103116766B (zh) 一种基于增量神经网络和子图编码的图像分类方法
CN106886569A (zh) 一种基于mpi的ml‑knn多标签中文文本分类方法
CN108154198A (zh) 知识库实体归一方法、系统、终端和计算机可读存储介质
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
WO2018134248A1 (en) Classifying data
CN105354593B (zh) 一种基于nmf的三维模型分类方法
CN101196905A (zh) 一种智能图形检索方法
CN111008693A (zh) 一种基于数据压缩的网络模型构建方法、系统和介质
CN108268526A (zh) 一种数据分类方法和装置
CN108280236A (zh) 一种基于LargeVis的随机森林可视化数据分析方法
CN112925710B (zh) 一种基于梯度下降优化的模糊测试方法
CN109344969B (zh) 神经网络系统及其训练方法以及计算机可读介质
CN116386899A (zh) 基于图学习的药物疾病关联关系预测方法及相关设备
CN112508181A (zh) 一种基于多通道机制的图池化方法
Wang et al. CWC-transformer: a visual transformer approach for compressed whole slide image classification
CN102521402B (zh) 文本过滤系统及方法
Chandra et al. Adapting modularity during learning in cooperative co-evolutionary recurrent neural networks
Li et al. Dual-stage hybrid learning particle swarm optimization algorithm for global optimization problems
Fatahi et al. An FPA and GA-based hybrid evolutionary algorithm for analyzing clusters
CN110309424A (zh) 一种基于粗糙聚类的社会化推荐方法
CN108717551A (zh) 一种基于最大隶属度的模糊层次聚类方法
CN108446740A (zh) 一种用于脑影像病历特征提取的多层一致协同方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210915

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.