CN106570565A - 一种面向大数据的深度学习方法及系统 - Google Patents

一种面向大数据的深度学习方法及系统 Download PDF

Info

Publication number
CN106570565A
CN106570565A CN201611020935.1A CN201611020935A CN106570565A CN 106570565 A CN106570565 A CN 106570565A CN 201611020935 A CN201611020935 A CN 201611020935A CN 106570565 A CN106570565 A CN 106570565A
Authority
CN
China
Prior art keywords
data
caffe
spark
deep learning
lmdb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611020935.1A
Other languages
English (en)
Inventor
李亮
沈志宏
周园春
黎建辉
张海明
杜园园
朱小杰
崔文娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer Network Information Center of CAS
Original Assignee
Computer Network Information Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Network Information Center of CAS filed Critical Computer Network Information Center of CAS
Priority to CN201611020935.1A priority Critical patent/CN106570565A/zh
Publication of CN106570565A publication Critical patent/CN106570565A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种面向大数据的深度学习方法及系统，该系统包括大数据引擎Spark、Protobuf工具、轻量级数据存储LMDB、Caffe深度学习Solver和MPI通信库；所述大数据引擎Spark将待处理数据进行数据处理；所述Protobuf工具将Spark处理后的数据序列化；所述轻量级数据存储LMDB将大数据引擎Spark和Caffe深度学习Solver以松散耦合的形式进行组织；所述Caffe深度学习Solver中每个节点的Caffe Solver通过LMDB访问该节点待训练的数据，并执行深度网络训练；所述MPI通信库聚合不同节点Caffe深度学习Solver的计算结果。

Description

一种面向大数据的深度学习方法及系统
技术领域
本发明涉及一种深度学习方法及系统，具体涉及一种面向大数据的深度学习方法及系统。
背景技术
深度学习是机器学习研究的新领域，通过建立可以模拟人脑进行分析学习的神经网络，模仿人脑机制来解释图像、声音和文本等数据，因而具有更强的分析能力。卷积神经网络(Convolutional Neural Net，CNN)是深度学习的一个重要分支。相比其他深度神经网络，CNN需要估计的参数更少，使之成为一种颇具吸引力的深度学习结构。当前深度学习分析能力的提升主要依赖大规模训练数据集和多层卷积神经网络模型，使得传统系统难以胜任新的深度学习应用需求。随着CNN等深度神经网络广泛应用于图像分类、语音识别、实时推荐等领域，其处理的数据种类和规模呈现爆发式增长趋势。因此，采用新架构提高深度学习系统的处理能力和运行效率，对提高深度学习的分析能力非常重要。基于大数据处理技术如Spark(一种大数据处理引擎)的深度学习框架，由于其出色的大规模数据处理能力，成为深度学习的新发展方向。
目前，面向Spark大数据框架的深度学习系统基于紧密耦合架构，如图1所示，将深度学习以算法库的形式集成到Spark框架中，采用可弹性扩展的分布式数据集如RDD/DataFrames存储大规模训练数据，采用GPU(Graphics ProcessingUnits，图形处理器)深度学习Solver(求解程序)和数据集分区一对一映射的方式训练深度神经网络模型，典型例子为SparkNet(一种基于Spark的深度神经网络架构)。通过JavaCPP-Caffe库调用Caffe(一种深度学习工具)深度学习Solver训练分区数据，返回训练模型；通过Spark MapReduce(一种用于大规模数据集并行运算的编程模型)计算和Broadcast(广播)通信在不同深度学习Solver之间同步深度网络模型。该架构的优点是将训练数据处理和深度网络训练融合到一个统一的Spark大数据框架中，支持大规模训练数据集和利用GPU众核处理器加速深度网络模型训练，简化了面向大数据深度学习应用的开发。
然而，基于紧密耦合架构的深度学习框架如SparkNet，每次迭代都需要依次运行数据处理和深度学习等差异较大的模块，导致面向大数据的深度学习系统面临如下问题：
1)数据处理执行现场和深度网络训练执行现场频繁切换。第一，在网络模型训练过程中，需要频繁地在Spark数据处理和深度学习Solver现场之间切换。第二，目前深度学习Solver主要采用GPU众核处理器，其执行现场包括大量训练数据，上千量级线程和大量寄存器，切换开销大。
2)Spark DataFrames和深度学习Solver之间频繁的重复数据转化。Spark和CaffeSolver(Caffe求解程序)处理数据的格式不同，需要在两者之间进行数据转化。然而，SparkNet未有效考虑数据转化计算结果的复用，每次迭代重新计算DataFrames分区数据并转化为Caffe Solver兼容格式。该执行导致大量的时间开销和空间开销，使得GPU众核处理器不能及时获得训练数据。
3)冗余的深度网络模型更新。每次迭代，SparkNet将深度网络模型从Caffe执行现场拷贝到Spark DataFrames，使用reduce将每个Solver求得的网络模型融合为一个网络模型，然后广播到每个Solver中，其过程复杂，涉及到不同的执行现场，时间开销和空间开销较大。
由于这些问题的存在，SparkNet很难有效兼顾Spark数据处理和GPU深度学习训练，其面向大规模数据的深度学习执行效率较低。
发明内容
针对大数据深度学习系统存在的缺陷，本发明的目的在于提供一种面向大数据的深度学习方法及系统，高效兼顾大规模数据处理和高性能深度网络模型训练。
为达到以上目的，本发明采用的技术方案为：
一种面向大数据的深度学习方法，其步骤包括：
1)将待处理的数据导入SparkDataFrames，并进行分布式数据处理；
2)用Protobuf对处理后的数据进行序列化，并存储到LMDB；
3)Caffe从LMDB读取上述数据到Blob，执行深度网络迭代训练，更新深度网络参数；
4)MPI聚合不同节点Solver的计算结果；
5)Spark异步监控计算结果并输出训练精度；
6)重复3)～5)直到训练过程被Spark终止。
进一步地，步骤1)中所述数据处理为排序、转化数据格式。
进一步地，启动Spark Streaming通过Log方式监控训练过程，在训练精度达到期望值或者迭代次数超过最大迭代次数时直接向Caffe发送终止训练信号。
进一步地，步骤5)中所述训练精度以Log的方式输出。
一种面向大数据的深度学习系统，包括大数据引擎Spark、Protobuf工具、轻量级数据存储LMDB、Caffe深度学习Solver和MPI通信库；
所述大数据引擎Spark用于将待处理数据进行数据处理，并增加LMDB接口和SparkStreaming监控Caffe训练日志的接口；
所述Protobuf工具位于Spark和LMDB之间，用于将Spark处理后的数据序列化；
所述轻量级数据存储LMDB作为中间件将大数据引擎Spark和Caffe深度学习Solver以松散耦合的形式进行组织；
所述Caffe深度学习Solver中每个节点的Caffe Solver通过LMDB访问该节点待训练的数据，并执行深度网络训练；
所述MPI通信库用于聚合不同节点Caffe深度学习Solver的计算结果。
进一步地，所述LMDB接口用于将每个节点DataFrames数据序列化后flush到该节点的LMDB。
进一步地，所述Spark Streaming监控Caffe训练日志的接口用于收集Accuracy和Loss Rate信息，并负责直接向Caffe发送终止训练信号。
更进一步地，在Accuracy达到预期值或者迭代次数超过最大迭代次数时直接向Caffe发送终止训练信号。
进一步地，所述松散耦合指Caffe深度学习Solver独立于Spark数据处理，Caffe和Spark通过LMDB中间件异步并行工作，隔离数据处理和深度网络训练。
本发明的有益效果在于：针对目前大数据深度学习的数据处理和深度模型训练频繁切换导致的问题，提出了一种面向大数据的深度学习方法及系统，该系统通过LMDB将独立运行的Spark和Caffe以松散耦合的形式进行组合，将数据处理和深度学习训练划分到不同的进程运行，以有效发挥各自引擎的计算能力。该系统解决了传统面向大数据深度学习的紧密耦合的局限性，一方面消除了基于Spark的JVM数据处理和基于GPU的Caffe深度学习之间的频繁现场切换，另一方面通过LMDB有效复用Spark转化后的训练数据，减少了深度学习执行过程中Spark重复进行的数据转化工作，能够以更短时间获得期望的训练精度。
附图说明
图1为目前基于紧密耦合的深度学习系统结构示意图。
图2为本发明中基于松散耦合的深度学习系统结构示意图。
图3为目前基于紧密耦合的深度学习系统执行的时空图。
图4为本发明中深度学习系统执行的时空图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。
如图2所示，面向大数据的深度学习系统由大数据引擎Spark、Protobuf工具、轻量级数据存储LMDB、Caffe深度学习Solver以及MPI通信库组成。本发明使用Protobuf工具对经过Spark DataFrames处理后的数据进行序列化，并存储到LMDB，使用LMDB将大数据引擎Spark和Caffe深度学习Solver以松散耦合的形式进行组织，使用MPI聚合不同节点Caffe深度学习Solver的计算结果。
如图1所示，目前面向大数据的深度学习系统架构采用紧密耦合的方式，深度学习Solver依赖于Spark数据处理任务，两者串行执行。本发明在每个Spark计算节点安装LMDB中间件，其Spark数据处理和深度学习Solver通过LMDB异步并行工作，两者相互独立。如此，本发明实现了数据处理和深度学习的松散耦合，隔离数据处理和深度学习等不同执行现场。
下面描述Spark和Caffe按如图2所示进行扩展来支持松散耦合：
Spark扩展：增加将DataFrames每个节点缓存的数据flush到该节点LMDB存储的接口，该接口通过Protobuf序列化DataFrames数据并以事务的方式分批flush到LMDB；增加Spark Streaming监控Caffe训练日志的接口，该接口收集Accuracy和Loss Rate信息，并在Accuracy达到预期值或者迭代次数超过最大迭代次数时直接向Caffe发送终止信号。
Caffe分布式扩展：每个节点的Caffe Solver通过LMDB访问该节点待训练的数据，通过MPI聚合其计算结果，其迭代过程与Spark相互独立。
本发明选取ilsvrc12的ImageNet测试集10％的图像分类训练数据和bvlc_reference_caffenet深度网络模型进行测试，给出使用发明中所提出的面向大数据的深度学习系统在1个Spark计算节点(配置一个K80GPU)中深度学习训练的一个具体实施过程，训练迭代次数设定为3000次。
一种面向大数据的深度学习系统，如图4所示其数据处理及网络训练过程为：
(1)Spark数据处理：
1)将待处理的ImageNet数据导入Spark DataFrames，将DataFrames数据依据标签进行shuffle操作(打乱数据的Label前后次序避免过拟合)。使用Protobuf对处理后的数据进行序列化，调用LMDB接口将序列化数据存储到LMDB；
2)启动Caffe，启动Spark Streaming通过Log方式不间断监控Caffe训练过程，在迭代到3000次发送终止Caffe训练信号。如图4所示，该过程Spark基本处于等待状态，其处理过程Tm与Caffe深度训练Tcaffe相互独立。
(2)Caffe网络训练：
1)Caffe从LMDB读取数据，执行深度网络训练，使用MPI聚合深度学习Solver计算结果；
2)以Log的方式输出Accuracy和Loss Rate等信息；
重复1)-2)直到收到Spark终止训练的消息。
其中，ope指具体的Spark或Caffe操作；Round0、Round1、Round2分别指第一轮迭代、第二轮迭代、第三轮迭代；TdftoLMDB指将DataFrame数据进行处理和转换并flush到LMDB的开销；Tcaffe指Caffe基于本地LMDB运行深度网络迭代训练的开销；Tm指Spark通过日志监控Caffe训练过程和获取训练精度的开销。
使用本发明系统得到的迭代运行时间如下：
对于每50次迭代，SparkNet需要Caffe训练时间为112.321s，同步时间为155.255s，而本发明每50次迭代训练用时(包括同步)为68s。
请参考图3，其中ope指具体的Spark或Caffe操作；Round0、Round1、Round2分别指第一轮迭代、第二轮迭代、第三轮迭代；Tdf指将DataFrame数据进行处理和转换的开销；Tcaffe指Caffe基于DataFrame训练数据运行深度网络迭代训练的开销；Tsyn指Spark同步训练结果的开销。相对图3所示的紧密耦合执行，本发明有效减少了每次迭代需要的SparkDataFrames数据转化，同时由于LMDB隔离了Spark和Caffe，不需要在Spark和Caffe训练现场之间切换，其Caffe时间相对于图3原始执行减少很多，深度网络训练可以在更短时间内完成。
以下为使用本发明系统与不使用本发明系统的3000次迭代运行情况如下：
不使用此系统时深度训练的运行时间为10340s，精度为37.09％。
使用此系统时深度训练的运行时间为3283s，精度为42.97％。
本发明使得运行时间减少了2/3，同时获得相对较高的训练精度。
上述为本发明系统部署在同一个计算节点上的具体实施过程，同样本发明系统也可以部署在多个计算节点上，例如将Spark部署在master节点上，Caffe和MPI部署在node1、node2、node3节点上，Spark Streaming监控Caffe在node1、node2和node3节点的训练日志，并决定是否终止训练过程，其实施过程是一样的，这里就不再详述。
根据本发明中提出的基于松散耦合架构的大数据深度学习系统，我们隔离Spark数据处理和Caffe深度网络训练，减少了训练现场切换开销，获得了较高的精度，同时这个过程相当快捷，很好地解决了目前面向大数据的深度学习系统深度网络训练的局限性。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种面向大数据的深度学习方法，其步骤包括：
1)将待处理的数据导入Spark DataFrames，并进行分布式数据处理；
2)用Protobuf对处理后的数据进行序列化，并存储到LMDB；
3)Caffe从LMDB读取上述数据到Blob，执行深度网络迭代训练，更新深度网络参数；
4)MPI聚合不同节点Solver的计算结果；
5)Spark异步监控计算结果并输出训练精度；
6)重复3)～5)直到训练过程被Spark终止。
2.如权利要求1所述的面向大数据的深度学习方法，其特征在于，步骤1)中所述数据处理为排序、转化数据格式。
3.如权利要求1所述的面向大数据的深度学习方法，其特征在于，启动SparkStreaming通过Log方式监控训练过程，在训练精度达到期望值或者迭代次数超过最大迭代次数时直接向Caffe发送终止训练信号。
4.如权利要求1所述的面向大数据的深度学习方法，其特征在于，步骤5)中所述训练精度以Log的方式输出。
5.一种面向大数据的深度学习系统，包括大数据引擎Spark、Protobuf工具、轻量级数据存储LMDB、Caffe深度学习Solver和MPI通信库；
所述大数据引擎Spark用于将待处理数据进行数据处理，并增加LMDB接口和SparkStreaming监控Caffe训练日志的接口；
所述Protobuf工具位于Spark和LMDB之间，用于将Spark处理后的数据序列化；
所述轻量级数据存储LMDB作为中间件将大数据引擎Spark和Caffe深度学习Solver以松散耦合的形式进行组织；
所述Caffe深度学习Solver中每个节点的Caffe Solver通过LMDB访问该节点待训练的数据，并执行深度网络训练；
所述MPI通信库用于聚合不同节点Caffe深度学习Solver的计算结果。
6.如权利要求5所述的面向大数据的深度学习系统，其特征在于，所述LMDB接口用于将每个节点DataFrames数据序列化后flush到该节点的LMDB。
7.如权利要求5所述的面向大数据的深度学习系统，其特征在于，所述SparkStreaming监控Caffe训练日志的接口用于收集Accuracy和Loss Rate信息，并负责直接向Caffe发送终止训练信号。
8.如权利要求7所述的面向大数据的深度学习系统，其特征在于，在Accuracy达到预期值或者迭代次数超过最大迭代次数时直接向Caffe发送终止训练信号。
9.如权利要求5所述的面向大数据的深度学习系统，其特征在于，所述松散耦合指Caffe深度学习Solver独立于Spark数据处理，Caffe和Spark通过LMDB中间件异步并行工作，隔离数据处理和深度网络训练。
CN201611020935.1A 2016-11-21 2016-11-21 一种面向大数据的深度学习方法及系统 Pending CN106570565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611020935.1A CN106570565A (zh) 2016-11-21 2016-11-21 一种面向大数据的深度学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611020935.1A CN106570565A (zh) 2016-11-21 2016-11-21 一种面向大数据的深度学习方法及系统

Publications (1)

Publication Number Publication Date
CN106570565A true CN106570565A (zh) 2017-04-19

Family

ID=58542385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611020935.1A Pending CN106570565A (zh) 2016-11-21 2016-11-21 一种面向大数据的深度学习方法及系统

Country Status (1)

Country Link
CN (1) CN106570565A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463448A (zh) * 2017-09-28 2017-12-12 郑州云海信息技术有限公司 一种深度学习权值更新方法和系统
CN108197633A (zh) * 2017-11-24 2018-06-22 百年金海科技有限公司 基于TensorFlow的深度学习图像分类与应用部署方法
CN108268638A (zh) * 2018-01-18 2018-07-10 浙江工业大学 一种基于Spark框架的生成对抗网络分布式实现方法
CN108564164A (zh) * 2018-01-08 2018-09-21 中山大学 一种基于spark平台的并行化深度学习方法
CN109032671A (zh) * 2018-06-25 2018-12-18 电子科技大学 一种基于数据并行策略的分布式深度学习方法及系统
CN111667061A (zh) * 2020-04-17 2020-09-15 中国海洋大学 一种基于目标众核的深度学习框架移植与优化方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615701A (zh) * 2015-01-27 2015-05-13 深圳市融创天下科技有限公司 基于视频云平台的智慧城市嵌入式大数据可视化引擎集群
US20150278680A1 (en) * 2014-03-26 2015-10-01 Qualcomm Incorporated Training, recognition, and generation in a spiking deep belief network (dbn)
CN105260773A (zh) * 2015-09-18 2016-01-20 华为技术有限公司 一种图像处理装置以及图像处理方法
CN105630882A (zh) * 2015-12-18 2016-06-01 哈尔滨工业大学深圳研究生院 基于遥感数据深度学习的近海污染物识别与跟踪方法
US20160259857A1 (en) * 2015-03-06 2016-09-08 Microsoft Technology Licensing, Llc User recommendation using a multi-view deep learning framework
CN106096602A (zh) * 2016-06-21 2016-11-09 苏州大学 一种基于卷积神经网络的中文车牌识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150278680A1 (en) * 2014-03-26 2015-10-01 Qualcomm Incorporated Training, recognition, and generation in a spiking deep belief network (dbn)
CN104615701A (zh) * 2015-01-27 2015-05-13 深圳市融创天下科技有限公司 基于视频云平台的智慧城市嵌入式大数据可视化引擎集群
US20160259857A1 (en) * 2015-03-06 2016-09-08 Microsoft Technology Licensing, Llc User recommendation using a multi-view deep learning framework
CN105260773A (zh) * 2015-09-18 2016-01-20 华为技术有限公司 一种图像处理装置以及图像处理方法
CN105630882A (zh) * 2015-12-18 2016-06-01 哈尔滨工业大学深圳研究生院 基于遥感数据深度学习的近海污染物识别与跟踪方法
CN106096602A (zh) * 2016-06-21 2016-11-09 苏州大学 一种基于卷积神经网络的中文车牌识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463448A (zh) * 2017-09-28 2017-12-12 郑州云海信息技术有限公司 一种深度学习权值更新方法和系统
CN108197633A (zh) * 2017-11-24 2018-06-22 百年金海科技有限公司 基于TensorFlow的深度学习图像分类与应用部署方法
CN108564164A (zh) * 2018-01-08 2018-09-21 中山大学 一种基于spark平台的并行化深度学习方法
CN108564164B (zh) * 2018-01-08 2022-04-29 中山大学 一种基于spark平台的并行化深度学习方法
CN108268638A (zh) * 2018-01-18 2018-07-10 浙江工业大学 一种基于Spark框架的生成对抗网络分布式实现方法
CN109032671A (zh) * 2018-06-25 2018-12-18 电子科技大学 一种基于数据并行策略的分布式深度学习方法及系统
CN109032671B (zh) * 2018-06-25 2022-05-03 电子科技大学 一种基于数据并行策略的分布式深度学习方法及系统
CN111667061A (zh) * 2020-04-17 2020-09-15 中国海洋大学 一种基于目标众核的深度学习框架移植与优化方法及系统
CN111667061B (zh) * 2020-04-17 2023-04-18 中国海洋大学 一种基于目标众核的深度学习框架移植与优化方法及系统

Similar Documents

Publication Publication Date Title
CN106570565A (zh) 一种面向大数据的深度学习方法及系统
CN107563498B (zh) 基于视觉与语义注意力相结合策略的图像描述方法及系统
CN109376843B (zh) 基于fpga的脑电信号快速分类方法、实现方法及装置
CN111429885B (zh) 一种将音频片段映射为人脸嘴型关键点的方法
CN107341544A (zh) 一种基于可分割阵列的可重构加速器及其实现方法
JP2022502762A (ja) ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム
CN108922513A (zh) 语音区分方法、装置、计算机设备及存储介质
CN108766434A (zh) 一种手语识别翻译系统及方法
CN107729995A (zh) 用于加速神经网络处理器的方法和系统及神经网络处理器
Zhan et al. Pipe-torch: Pipeline-based distributed deep learning in a gpu cluster with heterogeneous networking
CN114429210B (zh) 基于云原生的强化学习流水线方法、系统、设备及存储介质
CN106776455B (zh) 一种单机多gpu通信的方法及装置
CN110109543A (zh) 基于被试迁移的c-VEP识别方法
CN109657197A (zh) 一种叠前深度偏移计算方法及系统
CN109730656A (zh) 用于脉搏波信号分类的神经网络系统、计算机设备
CN104699695B (zh) 一种基于多特征语义树核的关系抽取方法和信息检索方法
CN112199154A (zh) 一种基于分布式协同采样中心式优化的强化学习训练系统及方法
JP2022013579A (ja) 画像処理方法、装置、電子機器および記憶媒体
Guo et al. AccUDNN: A GPU memory efficient accelerator for training ultra-deep neural networks
CN117494812A (zh) 模型推理方法、装置、电子设备及存储介质
CN107395456A (zh) 分布式文件系统流直存测试方法及平台
CN108509426B (zh) 一种深度多维度流量语义分析方法
CN103530369A (zh) 一种去重方法及系统
CN109508785A (zh) 一种用于神经网络训练的异步并行优化方法
KR102182619B1 (ko) 온톨로지 기반의 프레임을 이용한 지식 추출 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419

WD01 Invention patent application deemed withdrawn after publication