CN110033089A - 基于分布式估计算法的深度神经网络参数优化方法及系统 - Google Patents

基于分布式估计算法的深度神经网络参数优化方法及系统 Download PDF

Info

Publication number
CN110033089A
CN110033089A CN201910309944.XA CN201910309944A CN110033089A CN 110033089 A CN110033089 A CN 110033089A CN 201910309944 A CN201910309944 A CN 201910309944A CN 110033089 A CN110033089 A CN 110033089A
Authority
CN
China
Prior art keywords
individual
neural network
deep neural
variable
fusion algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910309944.XA
Other languages
English (en)
Other versions
CN110033089B (zh
Inventor
许庆阳
刘安邦
张承进
宋勇
张立
袁宪锋
杨润涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910309944.XA priority Critical patent/CN110033089B/zh
Publication of CN110033089A publication Critical patent/CN110033089A/zh
Application granted granted Critical
Publication of CN110033089B publication Critical patent/CN110033089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分布式估计算法的深度神经网络参数优化方法及系统，包括：初始化种群，将种群中每一个个体解码为深度神经网络；对上述深度神经网络的分类能力进行评价；对种群中的个体优劣进行排序；随机产生掩码向量，根据掩码向量及统计学参数确定待求解变量本次迭代的概率分布模型；依据掩码向量与概率分布模型采样，生成新的种群个体；获得最优分布式估计算法个体；利用梯度优化算法，对分布式估计算法获得的深度神经网络模型进行微调，获得最优深度神经网络参数。本发明将分布式估计算法和深度神经网络的优化相结合，利用分布式估计算法的全局搜索能力，减少神经网络优化过程中对梯度信息的依赖。

Description

基于分布式估计算法的深度神经网络参数优化方法及系统
技术领域
本发明属于信息处理技术领域，具体涉及一种基于分布式估计算法的深度神经网络参数优化方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
近年来，深度神经网络作为人工智能领域的一个重要分支，获得了快速的发展。深度神经网络参数优化是一个大规模参数优化问题，神经网络依靠训练修正连接参数，当前的深度神经网络参数优化方法主要是基于梯度信息的反向传播算法，梯度算法具有一定的局限性，易陷入局部极小、梯度消失或爆炸等问题。
分布式估计算法是一种基于群体进化的优化算法。通过估计问题解的概率模型，然后经过采样生成新的解的种群，经过反复迭代最终搜索到问题的最优解。发明人发现，分布式估计算法具有很好的全局收敛性，有利于搜索问题全局最优解；但分布式估计算法对于大规模参数优化问题不理想。
发明内容
为了解决上述问题，本发明提出一种基于分布式估计算法的深度神经网络参数优化方法及系统，能够克服基于梯度的神经网络优化方法及传统分布式估计算法处理大规模参数优化问题不理想的缺点。
在一些实施方式中，采用如下技术方案：
一种基于分布式估计算法的深度神经网络参数优化方法，包括：
初始化种群，将种群中每一个个体解码为深度神经网络；
对上述深度神经网络的分类能力进行评价，将分类误差作为种群中个体优劣的评价指标；
对种群中的个体优劣进行排序，选取最优的前t个个体构建优势群体，并计算每个变量的统计学参数；
随机产生掩码向量，根据掩码向量及统计学参数确定待求解变量本次迭代的概率分布模型；
依据掩码向量与概率分布模型采样，生成新的种群个体；
迭代终止，获得最优分布式估计算法个体，解码为深度神经网络模型；
利用梯度优化算法，对分布式估计算法获得的深度神经网络模型进行微调，获得最优深度神经网络参数。
进一步地，对上述深度神经网络的分类能力进行评价，具体为：利用输入样本数据集对深度神经网络的分类能力进行评价，将分类误差作为种群个体的优劣评价指标：
其中，I为输入样本，T为标签信息，E为分类误差，n为样本数量。
进一步地，计算每个变量的统计学参数，具体为：
其中，(ui，σi)为根据所选优势个体计算的第i个变量的均值与方差，BN为优势个体数量，n为所选优势个体中的某一个体，xi为个体的第i个变量。
进一步地，根据掩码向量确定待求解变量的更新模式，具体为：
其中，xi为个体的第i个变量，P为个体中所有变量的整体概率分布模型，Pi(k-1)为个体的第i个变量上一次迭代构建的概率分布模型，Pi(k-1)为上次迭代获得的待求解变量概率模型，Pi(k)为个体的第i个变量本次迭代构建的概率分布模型，M为需要更新概率模型的变量集合，为采用优势群体均值进行更新的变量集合；在待求解变量数量范围内随机产生规定数量的整数值，如果所述整数值与待求解变量的编号相对应，则此整数集合为M，集合M外的其它待求解变量集合为
进一步地，依据集合M与及概率分布模型采样，生成新的种群个体，具体为：
其中，为当前个体n的第i个变量值，μi为个体的第i个变量的优势个体的均值，Pi(k)为个体的第i个变量本次迭代构建的概率分布模型，Sam()为概率采样函数。
在另一些实施方式中，采用如下技术方案：
一种基于分布式估计算法的深度神经网络参数优化系统，包括服务器，所述服务器包括图形加速器GPU、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。
在另一些实施方式中，采用如下技术方案：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述的方法。
与现有技术相比，本发明的有益效果是：
本发明将分布式估计算法和深度神经网络的优化相结合，利用分布式估计算法的全局搜索能力，减少神经网络优化过程中对梯度信息的依赖。
本发明对分布式估计算法进行了改进，加入随机策略，待求解变量采样了不同的更新策略，降低组合爆炸的风险，实现深度神经网络大规模参数的搜索，并且避免了采用梯度优化方法出现的梯度消失、梯度爆炸等问题，提高算法的大规模参数优化能力。
本发明算法符合科技发展趋势，有利于深度神经网络最优参数的搜索。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是基于分布式估计算法的深度神经网络参数优化方法示意图；
图2是分布式估计算法流程示意图；
图3是深度神经网络手写体数字图像识别示意图；
图4是改进的分布式估计算法个体生成策略示意图；
图5是基于分布式估计算法与SGD的深度神经网络优化结果对比；
图6是基于分布式估计算法的深度神经网络权值搜索误差收敛过程示意图；
图7是基于不同的掩码比例的分布式估计算法6层深度神经网络参数搜索对比示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了一种基于分布式估计算法的深度神经网络参数优化方法，如图1所示，具体包括以下步骤：
(1)初始化种群；
(2)将种群中每一个个体解码为深度神经网络；
(3)对上述深度神经网络的分类能力进行评价，将分类误差作为种群中个体优劣的评价指标；
(4)对种群中的个体优劣进行排序，选取最优的前t个个体构建优势群体，并计算每个变量的统计学参数；
(6)随机产生掩码向量，根据掩码向量确定不同更新策略对应的个体集合M与
(7)根据集合M与更新待求解变量本次迭代的概率分布模型；
(8)依据集合M与与概率分布模型采样，生成新的种群个体；
(9)判断终止条件是否满足，若满足，转步骤(10)；否则转步骤(2)。
(10)利用梯度优化算法，对分布式估计算法获得的深度神经网络模型进行微调，获得最优深度神经网络参数。
本实施例中，深度神经网络为前向神经网络包括：神经元具有阈值参数b、神经元之间具有连接权值w，深度神经网络连接权值及阈值经过编码构成分布式估计算法的种群个体，分布式估计算法经过迭代搜索获得最优深度神经网络参数。
深度神经网络包括输入层、多隐含层及输出层，输入层神经元与隐含层神经元互相连接，隐含层神经元与后续的输出层神经元互相连接，隐含与输出层神经元具有阈值，输出采用softmax进行分类。
神经网络参数编码将神经网络中神经元之间的连接权值及阈值进行十进制编码为向量，所述的向量作为分布式估计算法的种群个体。
在本实施例中，初始化设定种群大小N与优势个体数量BN，[Li，Hi]分别为待求解变量的高低限，分布式估计算法随机优化变量数量。
根据随机变量zi∈[ai，bi]，生成位于[Li，Hi]区间的变量，构建分布式估计算法种群。
其中，为第n个个体第i个变量，zi为随机变量，ai与bi为第i个随机量的上下限，Li与Hi为第i个待优化变量的上下限。
该优化方法可以直接对神经网络连接参数等进行优化，具有一定的通用性，本实施例中以针对手写体数字图像识别进行深度神经网络优化为例进行说明。
传统分布式估计算法，在构建待求解变量的概率模型后，利用概率采样，产生新的种群，从而不断迭代优化，搜索到最优参数。而对于大规模参数优化问题，产生组合爆炸问题。通过改进的分布式估计算法，加入随机策略，待求解变量采样了不同的更新策略，降低组合爆炸的风险，实现深度神经网络大规模参数的搜索，并且避免了采用梯度优化方法出现的梯度消失、梯度爆炸等问题。
本实施例公开的分布式估计算法优化过程如图2所示，具体包括如下步骤：
(1)算法初始化，设置分布式估计算法种群大小为100，优势个体数量设置为60％；深度神经网络采样了784-300-100-10及784-1000-500-250-30-10的结构，即输入层784个神经元，输出层10个神经元，中间为隐含层神经元数量；分布式估计算法个体内包含神经网络参数数量由深度神经网络连接权值即阈值组成。
(2)首次运行，利用随机函数产生分布式估计算法种群个体，创建初始种群。
(3)参照图3，分布式估计算法将种群每个个体解码为一个深度神经网络，利用手写体数字图像数据集对深度神经网络的分类能力进行评价，将分类误差作为种群个体的优劣评价指标。
I为输入样本，T为标签信息，E为分类误差，n为样本数量。
(4)本专利中分布式估计算法采样单变量模型，假设所有待求解变量独立同分布，且服从正太分布，分布式估计算法个体的概率分布模型P(x1，x2，…xD)为，
(x1，x2，…xD)为待求解变量，ui与σi为第i个变量的均值与标准差，N(xi|ui，σi)为概率分布模型，因此
因此概率分布模型P(x1，x2，…xD)可表达为
对种群中个体优劣进行排序，选取较优的个体构建优势群体，本实施例中，选取前60％的个体；并计算优势群体的统计信息。其计算方式如下：
(ui，σi)为根据所选优势个体计算的第i个变量的均值与方差，BN为优势个体数量，n为所选优势个体中的某一个体。
(5)通过引入随机策略，对待优化变量采样了不同的优化策略，降低组合爆炸造成的影响。首先，随机产生由变量编号组成的掩码向量，根据掩码向量确定不同更新策略对应的个体集合M与通过在待求解变量数量范围内随机产生规定数量的整数值，其整数值与待求解变量的编号相对应，则此整数集合为M，集合M外的其它待求解变量集合如待优化变量个数为100维，并且每一个变量按照1～100的顺序进行排列，以5％掩码比例为例，随机产生5个位于1～100范围内的整数值，此时集合M为随机产生的5个整数值，并且其值对应于变量1～100的编号。
然后，根据集合M与确定待求解变量的更新模式，如下式：
其中xi为个体的第i个变量，P为个体中所有变量的整体概率分布模型，Pi(k-1)为个体的第i个变量上一次迭代构建的概率分布模型，Pi(k)为个体的第i个变量本次迭代构建的概率分布模型，M为需要更新概率模型的变量集合(比例为变量总数的5％)，为采用优势个体均值进行更新的变量集合(比例为变量总数的95％)。
(6)如图4所示，依据掩码向量与概率模型采样，生成新的种群个体：
为当前个体n的第i个变量值，μi为个体的第i个变量的优势个体的均值，Sam()为概率采样函数。
(7)判断是否结束迭代，如果继续迭代返回步骤(3)；否则进迭代结束，获得最优分布式估计算法个体，解码为深度神经网络。
最后利用梯度优化算法，对分布式估计算法获得的深度神经网络模型进行微调，获得最优深度神经网络参数。
最优深度神经网络参数确定以后，输入待识别的手写体数字图像，经过深度神经网络的识别，得到最终的手写体图像识别结果。
图5为网络结构在784-300-100-10情况下，基于分布式估计算法与SGD的深度神经网络优化结果对比图，可以看出，分布式估计算法的测试准确率较高。
图6为基于分布式估计算法的深度神经网络权值搜索方式对比示意图，可以看出，网络在采用逐层搜索的方式与直接多层进行搜索，效果相近，因此采用分布式估计算法无需采用逐层预训练方式对深度神经网络进行权值搜索。
图7为在网络架构为784-1000-500-250-30-10下，采用不同的个体概率模型更新比例，系统优化效果对比。尽管不同的更新比例搜索结果具有一定的类似性，但其时间损耗是不同的，100％更新待求解变量概率模型时，其时间损耗较大，而限制待求解变量概率模型的更新比例，通过优势个体的均值取代概率采样获得变量的更新值，有效地降低了计算量以及组合爆炸造成的风险。
需要说明的是，上述实施例仅以将基于分布式估计算法的深度神经网络参数优化方法应用于深度神经网络手写体数字图像识别中为例进行说明的，该方法同样可应用于深度卷积神经网络、循环神经网络等神经网络架构的参数搜索，实现图像识别等。
实施例二
在一个或多个实施方式中，公开了一种基于分布式估计算法的深度神经网络参数优化系统，包括服务器，所述服务器包括图形加速器GPU、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图形加速器GPU采用英伟达图形处理器或是并行计算加速卡，进行程序的并行加速。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
结合实施例一中的方法步骤可以直接体现为硬件处理器或、硬件处理器与图形加速器共同执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于分布式估计算法的深度神经网络参数优化方法，其特征在于，包括：
初始化种群，将种群中每一个个体解码为深度神经网络；
对上述深度神经网络的分类能力进行评价，将分类误差作为种群中个体优劣的评价指标；
对种群中的个体优劣进行排序，选取最优的前t个个体构建优势群体，并计算每个变量的统计学参数；
随机产生掩码向量，根据掩码向量及统计学参数确定待求解变量本次迭代的概率分布模型；
依据掩码向量与概率分布模型采样，生成新的种群个体；
迭代终止，获得最优分布式估计算法个体，解码为深度神经网络模型；
利用梯度优化算法，对分布式估计算法获得的深度神经网络模型进行微调，获得最优深度神经网络参数。
2.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法，其特征在于，对上述深度神经网络的分类能力进行评价，具体为：利用输入样本数据集对深度神经网络的分类能力进行评价，将分类误差作为种群个体的优劣评价指标：
其中，I为输入样本，T为标签信息，E为分类误差，n为样本数量。
3.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法，其特征在于，计算每个变量的统计学参数，具体为：
其中，(ui,σi)为根据所选优势个体计算的第i个变量的均值与方差，BN为优势个体数量，n为所选优势个体中的某一个体，xi为个体的第i个变量。
4.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法，其特征在于，根据掩码向量确定待求解变量的更新模式，具体为：
其中，xi为个体的第i个变量，P为个体中所有变量的整体概率分布模型，Pi(k-1)为个体的第i个变量上一次迭代构建的概率分布模型，Pi(k-1)为上次迭代获得的待求解变量概率模型，Pi(k)为个体的第i个变量本次迭代构建的概率分布模型，M为需要更新概率模型的变量集合，为采用优势群体均值进行更新的变量集合；在待求解变量数量范围内随机产生规定数量的整数值，如果所述整数值与待求解变量的编号相对应，则此整数集合为M，集合M外的其它待求解变量集合为
5.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法，其特征在于，依据集合M与及概率分布模型采样，生成新的种群个体，具体为：
其中，为当前个体n的第i个变量值，μi为个体的第i个变量的优势个体的均值，Pi(k)为个体的第i个变量本次迭代构建的概率分布模型，Sam()为概率采样函数。
6.一种基于分布式估计算法的深度神经网络参数优化系统，其特征在于，包括服务器，所述服务器包括图形加速器GPU、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5任一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行权利要求1-5任一项所述的方法。
CN201910309944.XA 2019-04-17 2019-04-17 基于分布式估计算法的手写体数字图像识别深度神经网络参数优化方法及系统 Active CN110033089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910309944.XA CN110033089B (zh) 2019-04-17 2019-04-17 基于分布式估计算法的手写体数字图像识别深度神经网络参数优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910309944.XA CN110033089B (zh) 2019-04-17 2019-04-17 基于分布式估计算法的手写体数字图像识别深度神经网络参数优化方法及系统

Publications (2)

Publication Number Publication Date
CN110033089A true CN110033089A (zh) 2019-07-19
CN110033089B CN110033089B (zh) 2021-03-26

Family

ID=67239004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910309944.XA Active CN110033089B (zh) 2019-04-17 2019-04-17 基于分布式估计算法的手写体数字图像识别深度神经网络参数优化方法及系统

Country Status (1)

Country Link
CN (1) CN110033089B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104215A (zh) * 2019-11-15 2020-05-05 河海大学 一种基于分布式编码的随机梯度下降优化方法
CN111142378A (zh) * 2020-01-07 2020-05-12 四川省桑瑞光辉标识系统股份有限公司 一种双足机器人神经网络控制器的神经网络优化方法
CN111404731A (zh) * 2020-03-05 2020-07-10 山东工商学院 一种基于双启发式算法的sdn网络控制器部署方法及系统
CN111831901A (zh) * 2020-03-26 2020-10-27 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、设备和存储介质
CN112113572A (zh) * 2020-09-18 2020-12-22 桂林电子科技大学 一种解决分布式标签融合的多目标跟踪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138717A (zh) * 2015-07-09 2015-12-09 上海电力学院 一种动态变异粒子群优化神经网络的变压器状态评估方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572993A (zh) * 2015-01-06 2015-04-29 浪潮电子信息产业股份有限公司 一种基于遗传算法的分类算法参数优化方法
KR102399535B1 (ko) * 2017-03-23 2022-05-19 삼성전자주식회사 음성 인식을 위한 학습 방법 및 장치
CN108920812B (zh) * 2018-06-28 2023-04-18 江苏大学 一种机械加工表面粗糙度预测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138717A (zh) * 2015-07-09 2015-12-09 上海电力学院 一种动态变异粒子群优化神经网络的变压器状态评估方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104215A (zh) * 2019-11-15 2020-05-05 河海大学 一种基于分布式编码的随机梯度下降优化方法
CN111142378A (zh) * 2020-01-07 2020-05-12 四川省桑瑞光辉标识系统股份有限公司 一种双足机器人神经网络控制器的神经网络优化方法
CN111404731A (zh) * 2020-03-05 2020-07-10 山东工商学院 一种基于双启发式算法的sdn网络控制器部署方法及系统
CN111404731B (zh) * 2020-03-05 2022-08-19 山东工商学院 一种基于双启发式算法的sdn网络控制器部署方法及系统
CN111831901A (zh) * 2020-03-26 2020-10-27 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、设备和存储介质
CN112113572A (zh) * 2020-09-18 2020-12-22 桂林电子科技大学 一种解决分布式标签融合的多目标跟踪方法

Also Published As

Publication number Publication date
CN110033089B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN110033089A (zh) 基于分布式估计算法的深度神经网络参数优化方法及系统
CN112784092B (zh) 一种混合融合模型的跨模态图像文本检索方法
CN109002845B (zh) 基于深度卷积神经网络的细粒度图像分类方法
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
CN111898689B (zh) 一种基于神经网络架构搜索的图像分类方法
CN109034034A (zh) 一种基于强化学习算法优化卷积神经网络的静脉识别方法
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN111126488A (zh) 一种基于双重注意力的图像识别方法
CN111860783B (zh) 图节点低维表征学习方法、装置、终端设备及存储介质
CN109214502B (zh) 神经网络权重离散化方法和系统
Xu et al. GoodFloorplan: Graph convolutional network and reinforcement learning-based floorplanning
CN113128432B (zh) 基于演化计算的机器视觉多任务神经网络架构搜索方法
WO2023124342A1 (zh) 一种针对图像分类的神经网络结构低成本自动搜索方法
CN111027672A (zh) 一种基于交互式多尺度循环神经网络的时间序列预测方法
CN112529069A (zh) 一种半监督节点分类方法、系统、计算机设备和存储介质
CN111489803B (zh) 基于自回归模型的报告单编码模型生成方法、系统和设备
CN111310918B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN115660135A (zh) 基于贝叶斯方法和图卷积的交通流预测方法及系统
CN107240100B (zh) 一种基于遗传算法的图像分割方法和系统
CN112086144A (zh) 分子生成方法、装置、电子设备及存储介质
CN117094451A (zh) 一种耗电量的预测方法、装置及终端
CN111783688A (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN115348182A (zh) 一种基于深度堆栈自编码器的长期频谱预测方法
Goel et al. CompactNet: High accuracy deep neural network optimized for on-chip implementation
CN114595641A (zh) 组合优化问题的求解方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant