CN109472359B - 深度神经网络的网络结构处理方法及相关产品 - Google Patents
深度神经网络的网络结构处理方法及相关产品 Download PDFInfo
- Publication number
- CN109472359B CN109472359B CN201811238441.XA CN201811238441A CN109472359B CN 109472359 B CN109472359 B CN 109472359B CN 201811238441 A CN201811238441 A CN 201811238441A CN 109472359 B CN109472359 B CN 109472359B
- Authority
- CN
- China
- Prior art keywords
- neural network
- candidate
- deep neural
- module
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明实施例提供一种深度神经网络的网络结构处理方法、设备及介质，其中处理设备包括神经网络编码计算模块和进化算法模块；所述方法包括：所述进化算法模块按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块；所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码；所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构。本发明实施例可以构造针对特定应用场景的目标深度神经网络。
Description
技术领域
本发明涉及神经网络技术领域，具体涉及神经网络结构处理技术领域，尤其涉及一种深度神经网络的网络结构处理方法、一种处理设备以及一种计算机存储介质。
背景技术
目前，在常规应用领域(如图像识别、语音识别等)已有非常多较佳的深度神经网络的网络结构可供参考使用，因此，在这些常规应用领域可以调用这些已有的深度神经网络的网络结构作为初始深度神经网络，再采用常用工具包(例如TensorFlow(一种人工智能编程工具)、PyTorch(一种人工智能编程工具)等)来承载其运算与训练，从而得到满足实际需求的目标深度神经网络的网络结构。然而，上述的网络结构处理方案仅适用于常规应用领域，该常规应用领域已存在可复现和可供参考使用的深度神经网络的网络结构；如果针对一个非常规的新的领域(如农业数据分析等探索性场景的领域)，由于没有合适的深度神经网络的网络结构可以直接使用，因此上述的网络结构处理方案则不太适用。因此，针对非常规的应用领域如何设计适合新场景的深度神经网络的网络结构是一项关键事项；一般情况下，工程师会根据自身个人经验，用人工的方式设计深度神经网络构架，然而采用该方式设计的深度神经网络的可解析性差；深度神经网络的训练消耗大量的计算资源和计算时间，如果网络构建优化的方向不明确，则会导致造成时间和资源上的严重浪费。
发明内容
本发明实施例提供一种深度神经网络的网络结构处理方法、一种处理设备以及一种计算机存储介质，可设计出适用于非常规应用领域的深度神经网络的网络结构，且该深度神经网络的网络结构具备较佳的网络性能，具备较强的适应性。
第一方面，本发明实施例提供一种深度神经网络的网络结构处理方法，应用于处理设备，所述处理设备包括神经网络编码计算模块和进化算法模块；所述方法包括：
所述进化算法模块按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；
所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块；
所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码；
所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构。
第二方面，本发明实施例提供一种处理设备，所述处理设备处理器、存储器和输入输出接口，所述处理器和所述存储器、所述输入输出接口通过线路互联；其中，所述存储器存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行如第一方面所述的相应的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机或处理器执行时，使所述计算机或所述处理器执行第一方面所述的方法。
第四方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得所述计算机或所述处理器执行第一方面所述的方法。
本发明实施例可采用处理设备实现深度神经网络的网络结构处理，该处理设备包括进化算法模块和神经网络编码计算模块；所述进化算法模块按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块；所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码；所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构；可见，通过所述神经网络编码计算模块与所述进化算法模块之间的不断交互，能够构建得到满足要求的目标深度神经网络的网络结构，构建效率较高，由于网络结构处理过程通过进化算法不断进行进化循环，网络优化方向明确，这使得目标深度神经网络的网络结构具备较佳的网络性能，能够适用于非常规应用领域，且具备新场景、新问题的自适应能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种处理设备的一种结构示意图；
图2为本发明实施例提供的一种深度神经网络的网络结构处理方法的一种实施例的流程示意图；
图3为本发明实施例提供的一种深度神经网络的网络结构处理方法的另一种实施例的流程示意图；
图4为本发明实施例提供的一种处理设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种处理设备，请参见图1，所述处理设备包括进化算法模块101和神经网络编码计算模块102；其中，
所述进化算法模块的核心功能包括按需生成网络结构编码，并将该网络结构编码提供给所述神经网络编码计算模块。所述神经网络编码计算模块的核心功能包括：根据网络结构编码构建并训练对应结构的神经网络。实际应用中，所述神经网络编码计算模块和所述进化算法模块均可以是处理设备中的一个硬件装置，例如芯片、微处理器等；也可以是设置于处理设备的存储空间中的一段计算机程序代码。
具体地：所述进化算法模块用于按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；将所述候选结构编码发送至所述神经网络编码计算模块。所述神经网络编码计算模块用于接收所述进化算法模块发送的所述候选结构编码；按照所述候选结构编码构建所述候选深度神经网络的网络结构。当所述处理设备执行完成所述深度神经网络的网络结构处理方法后，所述神经网络编码计算模块输出所述目标深度神经网络。通过进化算法模块101和神经网络编码计算模块102之间的交互，可以得到适用于非常规应用领域的目标深度神经网络的网络结构。
再请参见图1，可选的，该处理设备还可包括：业务处理模块103；其中，
所述业务处理模块用于当接收到业务请求时，所述业务处理模块调用所述目标深度神经网络对所述业务请求进行处理得到业务处理结果，并输出所述业务处理结果；所述业务处理模块将所述目标深度神经网络应用于实际的业务处理场景(如农业数据分析、农业质量检测、日常用品质量检测、食品安全检测等)中，用于处理实际的业务需求，包括：植物健康管理，植物生长指标检测，食品添加剂含量检测等。
本发明实施例的处理设备包括神经网络编码计算模块和进化算法模块；通过所述神经网络编码计算模块与所述进化算法模块之间的交互，能够构建得到满足要求的目标深度神经网络的网络结构，由于无需人工设计构建，因此本发明实施例构建效率较高；又由于网络结构处理过程通过进化算法不断进行进化循环，网络优化方向明确，这使得目标深度神经网络的网络结构具备较佳的网络性能，能够适用于非常规应用领域，且具备新场景、新问题的自适应能力，进一步，调用目标深度神经网络可以执行特定应用场景下的业务处理，提高业务处理的效率和质量。
下面将结合附图2所示的深度神经网络的网络结构处理方法的一种实施例，对图1所示的处理设备的工作原理进行详细介绍；图2所示的深度神经网络的网络结构处理方法可由图1所示的处理设备所执行，具体是由图1所示的处理设备中的进化算法模块101与神经网络编码计算模块102之间的交互执行；请参见图2，该方法包括以下步骤s201-s204：
s201，按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性。
所述预设目标性能用于衡量所述候选深度神经网络的性能指标，所述预设目标性能参数的类型可以根据实际需要确定，本实施例中所述性能参数可包括但不限于计算速率、计算精度。所述候选结构编码采用向量集表示，所述向量集包含至少一个向量；所述向量集中的任一向量包括所述候选深度神经网络任一个神经网络层的属性；所述神经网络层的属性包括以下任一种或多种：深度、宽度、幅度及维度。例如，在一种向量表示方式中，一个向量包括对应的一个神经网络层的属性，设神经网络层的网络结构为卷积网络结构，则神经网络层可称作卷积层；设一个向量为[x1,x2,x3,...,xn]T，该向量对应候选深度神经网络的第一个卷积层，则x1表示第一个卷积层的网络结构的深度，x2表示第一个卷积层的网络结构的宽度，x3表示第一个卷积层的网络结构的幅度，x4表示第一个卷积层的网络结构的维度…以此类推，其中，n对应的数值根据所述非常规应用领域的实际设计需求包括的卷积层的属性的数量来设置。所述进化算法模块根据所述预设目标性能参数计算候选结构编码，则对应得到每一个卷积层对应的向量所描述的属性。
s202，所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块。
所述进化算法模块将计算完成的候选结构编码发送至所述神经网络编码计算模块，用于根据所述候选结构编码构建所述候选深度神经网络的网络结构。
s203，所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码。
所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码，包括两种可能的情况；其中一种情况是：所述神经网络编码计算模块首次接收所述进化算法模块发送的候选结构编码；此处的候选结构编码可以是由所述进化算法模块按照非常规应用领域的实际设计需求随机生成的一个初始结构编码；另一种情况是：所述神经网络编码计算模块非首次(即首次之后的任一次)接收所述进化算法模块发送的候选结构编码，此处的候选结构编码由所述进化算法模块对初始结构编码执行若干次(一次或多次)改进后得到的结构编码。
s204，所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构。
所述候选深度神经网络包括多个神经网络层，所述神经网络层的网络结构根据所述神经网络层的属性来构建。根据步骤s201的，所述神经网络层的属性根据所述候选结构编码对应的向量获得，则所述神经网络编码计算模块按照所述第一个卷积层对应的向量所描述的属性构建所述候选深度神经网络的第一个卷积层的网络结构。采用相同方法，所述神经网络编码计算模块可以按照向量集中各向量描述的属性构建所述候选深度神经网络的每一个神经网络层的网络结构，从而得到候选深度神经网络的网络结构。
本发明实施例可采用处理设备实现深度神经网络的网络结构处理，该处理设备包括进化算法模块和神经网络编码计算模块；所述进化算法模块按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块；所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码；所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构；可见，通过所述神经网络编码计算模块与所述进化算法模块之间的不断交互，能够构建得到满足要求的目标深度神经网络的网络结构，由于无需人工设计构建，因此本发明实施例构建效率较高；又由于网络结构处理过程通过进化算法不断进行进化循环，网络优化方向明确，这使得目标深度神经网络的网络结构具备较佳的网络性能，能够适用于非常规应用领域，且具备新场景、新问题的自适应能力。
下面将结合附图3所示的深度神经网络的网络结构处理方法的另一种实施例，对图1所示的处理设备的工作原理进行详细介绍，请参见图3，该实施例具体包括以下步骤s301-s306：
s301，所述进化算法模块按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性。本实施例的步骤s301可参看图2所示的步骤s201，在此不赘述。
s302，所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块。本实施例的步骤s302可参看图2所示的步骤s202，在此不赘述。
s303，所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码。本实施例的步骤s303可参看图2所示的步骤s203，在此不赘述。
s304，所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构。
具体实现中，所述步骤s304可以采用以下步骤b1-b4实现：
b1，所述神经网络编码计算模块解析所述候选结构编码对应的向量集得到至少一个向量，根据所述向量获取所述向量所包括的神经网络层的属性；
b2，所述神经网络编码计算模块按照得到的所述向量所包括的神经网络层的属性构建所述候选深度神经网络的对应神经网络层的网络结构；
b3，合并全部所述候选深度神经网络的对应神经网络层的网络结构，构成所述候选深度神经网络。
s305，所述神经网络编码计算模块计算所述候选深度神经网络的性能参数，并将所述候选深度神经网络的性能参数反馈至所述进化算法模块。
所述神经网络编码计算模块按照深度神经网络的训练算法(如梯度下降算法法，自适应矩阵估计算法等)训练所述候选深度神经网络，获得所述候选深度神经网络的性能参数，并将所述候选深度神经网络的性能参数反馈至所述进化算法模块。
s306，所述进化算法模块根据所述神经网络编码计算模块反馈的所述候选深度神经网络的性能参数判断所述候选深度神经网络的网络结构是否需要进化。
所述候选深度神经网络的性能参数包括所述候选深度神经网络的计算速率及计算精度；所述根据所述候选深度神经网络的性能参数判断所述候选深度神经网络的网络结构是否需要进化，具体包括以下步骤a1-a4：
a1，所述进化算法模块获取预设目标性能要求，所述预设目标性能要求包括目标计算速率要求和/或目标计算精度要求；
a2，所述进化算法模块判断所述候选深度神经网络的计算速率是否满足所述目标计算速率要求；和/或，所述进化算法模块判断所述候选深度神经网络的计算精度是否满足所述目标计算精度要求；
a3，若所述候选深度神经网络的计算速率不满足所述目标计算速率要求和/或所述候选深度神经网络的计算精度不满足所述目标计算精度要求，则确定所述候选深度神经网络的网络结构需要进化；
a4，若所述候选深度神经网络的计算速率满足所述目标计算速率要求且所述候选深度神经网络的计算精度满足所述目标计算精度要求，则确定所述候选深度神经网络的网络结构无需进化。
s307，若所述候选深度神经网络的网络结构需要进化，所述进化算法模块对所述候选结构编码进行改进，并将改进后的候选结构编码发送至所述神经网络编码计算模块以对所述候选深度神经网络进行进化，直至得到无需进化的目标深度神经网络为止。若所述候选深度神经网络的网络结构需要进化，所述进化算法模块采用所述CMA-ES(CovarianceMatrix Adaptation Evolutionary Strategies，共轭矩阵/协方差自适应)算法对所述候选结构编码进行改进具体包括以下步骤c1-c4：
c1，所述进化算法模块对CMA-ES算法所需的算法参数进行初始化处理，所述算法参数至少包括终止标准或演化次数阈值；
c2，所述进化算法模块按照初始化后的算法参数对所述候选结构编码执行进化循环；
c3，当所述进化循环的次数达到所述演化次数阈值时，或当所述进化循环得到的目标值达到所述终止标准时，获取所述进化循环在终止时得到的目标值；
c4，根据所述目标值生成改进后的候选结构编码；
在一种可行的实施方式中，所述进化算法模块对CMA-ES算法所需的参数进行初始化处理，具体包括以下步骤d1-d4：
d1，初始化基本参数，包括：编码向量X，所述编码向量为候选结构编码对应的向量；分布方差σ，建议σ＝0.5；终止标准sf，如拟合度sf＝10-5；演化次数阈值se；
d2，初始化选择参数，包括：种群规模λ，设λ＝4+floor(3×log(n))，μ＝λ/2，其中，floor()表示向下圆整；重构权重向量weights＝log(μ+1/2)-log([1:μ])，其中，[1:μ]表示生成从1到μ，步长为1的向量；对μ进行圆整，μ＝floor(μ)；归一化重构权重，weights＝weights/∑(weights)，其中∑()表示元素求和；计算μeff＝(∑weights)2/(∑weights2)；
d3，初始化自适应参数，包括：
cc＝(4+μeff/n)/(n+4+2*μeff/n)，
cs＝(μeff+2)/(n+μeff+5)，
c1＝2/((n+1.3)2+μeff)，
cμ＝2*(μeff-2+1/μeff)/((n+2)2+2*μeff/2)，
d4，初始化动态策略参数，包括：
pc＝zeros(n,1)，ps＝zeros(n,1)，其中，zeros(n,1)表示生成n×1的零向量；
B＝eye(n)，D＝eye(n)，其中，eye(n)表示生成n×n的单位对角阵；
C＝B*D*(B*D)T；
在另一种可行的实施方式中，所述进化算法模块按照初始化后的算法参数对所述候选结构编码执行进化循环，具体包括以下步骤e1-e8：
e1，对于k∈1,2,...,λ，计算：
arz(:,k)＝randn(n,1)，arx(:,k)＝x+σ*(B*D*arz(:,k))；
根据arx(:,k)计算目标函数的值arfit(k)，其中randn(n,1)表示根据标准正态分布生成n×1的随机向量；
演化次数count加1；
e2，根据目标函数的值arfit的优劣对arz、arx进行排序，选取前μ个最优向量进行加权平均得到新的x和z：
x＝arx(:,1:μ)*weights，z＝arz(:,1:μ)*weights；
e3，更新进化路径参数，包括：
其中，|| ||表示求Frobenius模；
e4，更新共相关矩阵，包括：
e5，更新步长σ：σ＝σ*exp((cs/damps)*(||ps||/χn-1))；
e6，更新B、D和C矩阵，包括：
强制对称化矩阵C，即将C矩阵的上三角阵对称复制到下三角；
对C进行特征分解，得到以特征值组成的对角矩阵D，以及对应的归一化特征向量组成的矩阵B；
e7，检查是否处于平坦空间，或者，寻找更好的目标值，包括：
如果最佳目标与排位在0.7*λ的目标值相等，则执行以下修正：
σ＝σ*exp(0.2+cs/damps)；
e8，将当前最佳目标函数值以及对应的arx返回；
再一种可行的实施方式中，若所述候选深度神经网络的网络结构需要进化，所述神经网络编码计算模块对所述候选深度神经网络进行进化，具体实现包括以下步骤f1-f3：
f1，所述神经网络编码计算模块按照所述改进后的候选结构编码重新构建所述候选深度神经网络的网络结构；
f2，所述神经网络编码计算模块对所述候选深度神经网络进行重新训练以获得所述候选深度神经网络的新的性能参数；
f3，所述神经网络编码计算模块将所述候选深度神经网络的新的性能参数重新反馈至所述进化算法模块。
s308，若所述候选深度神经网络的网络结构无需进化，所述神经网络编码计算模块将所述候选深度神经网络确定为目标深度神经网络，输出所述目标深度神经网络的网络结构。
若所述候选深度神经网络的计算精度满足所述目标计算精度要求，则确定所述候选深度神经网络的网络结构无需进化；所述神经网络编码计算模块将输出所述目标深度神经网络的网络结构。
根据上述步骤s301-s308的描述，所述神经网络编码计算模块及进化算法模块共同执行所述候选深度神经网络进化循环，所述进化循环的终止条件为所述神经网络编码计算模块得到无需进化的目标深度神经网络。可以理解的是，目标深度神经网络的性能参数能够满足目标性能要求，从而具备较佳的网络性能。
s309，所述业务处理模块接收到业务请求时，调用所述目标深度神经网络对所述业务请求进行处理得到业务处理结果，并输出所述业务处理结果；所述业务请求包括农业数据分析或农业质量检测。
采用所述深度神经网络的结构处理方法得到所述目标深度神经网络之后，所述业务处理模块可以调用所述目标深度神经网络应用于实际的业务场景中，例如，应用于农业数据分析场景，所述业务处理过程具体包括以下步骤g1-g3：
g1，所述业务处理模块接收业务请求，所述业务请求包括植物生长指标检测；所述植物生长指标包括以下至少一种：水分含量，淀粉含量，糖分含量；
g2，所述业务处理模块调用所述目标深度神经网络对所述植物生长指标进行检测，得到所述植物生长指标对应的含量值；
g3，所述业务处理模块输出所述植物生长指标对应的含量值。
本发明实施例可采用处理设备实现深度神经网络的网络结构处理，该处理设备包括进化算法模块和神经网络编码计算模块；所述进化算法模块按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块；所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码；所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构；可见，通过所述神经网络编码计算模块与所述进化算法模块之间的不断交互，能够构建得到满足要求的目标深度神经网络的网络结构，由于无需人工设计构建，因此本发明实施例构建效率较高；又由于网络结构处理过程通过进化算法不断进行进化循环，网络优化方向明确，这使得目标深度神经网络的网络结构具备较佳的网络性能，能够适用于非常规应用领域，且具备新场景、新问题的自适应能力。进一步，调用目标深度神经网络可以执行特定应用场景下的业务处理，提高业务处理的效率和质量。
基于上述深度神经网络的网络结构处理的实施例的描述，本发明实施例提供所述处理设备的另一种结构，本实施例中，处理设备可以是服务器或者终端设备，此处的终端设备可包括但不限于：智能手机、PC(Personal Computer，个人计算机)等等。其中，所述神经网络编码计算模块，进化算法模块及业务处理模块可以是设置于所述处理设备的存储空间中的计算机程序代码，如图4所示。所述处理设备被应用于上述图2和图3所示的深度神经网络的网络结构处理方法中，以用于执行所述深度神经网络的网络结构处理中的相应步骤。请参见图4，该处理设备的内部结构可包括处理器、通信接口及计算机存储介质，该处理器、网络接口及计算机存储介质可通过总线或其他方式连接，在本发明实施例所示图4中以通过总线连接为例。
通信接口是实现服务器与外部设备之间进行交互和信息交换的媒介。处理器(或称CPU(Central Processing Unit，中央处理器))是处理设备的计算核心以及控制核心，其适于实现一条或一条以上计算机程序代码，具体适于加载并执行一条或一条以上计算机程序代码从而实现相应方法流程或相应功能；计算机存储介质(Memory)是服务器中的记忆设备，其提供存储空间用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括服务器的内置存储，当然也可以包括服务器所支持的扩展存储；该计算机存储介质中存放了适于被处理器加载并执行的一条或一条以上的计算机程序代码。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一种实施例中，所述计算机存储介质中存储的计算机程序代码包括神经网络编码计算模块对应的神经网络编码计算代码、进化算法模块对应的进化算法代码及业务处理模块对应的业务处理代码；所述处理器，适于加载所述计算机存储介质中的神经网络编码计算代码、进化算法代码及业务处理代码，执行如图2和图3所示方法流程中的相应步骤；具体实现中，处理器加载所述进化算法代码执行如下步骤：
按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；将所述候选结构编码发送至所述神经网络编码计算模块；
处理器加载所述神经网络编码计算代码执行如下步骤：
接收所述进化算法模块发送的所述候选结构编码；
按照所述候选结构编码构建所述候选深度神经网络的网络结构。
在另一种实施例中，处理器加载所述神经网络编码计算代码执行如下步骤：
计算所述候选深度神经网络的性能参数，并将所述候选深度神经网络的性能参数反馈至所述进化算法模块；
再一种实施例中，处理器加载所述进化算法代码执行如下步骤：
根据所述神经网络编码计算模块反馈的所述候选深度神经网络的性能参数判断所述候选深度神经网络的网络结构是否需要进化；
再一种实施例中，处理器加载所述进化算法代码执行如下步骤：
若所述候选深度神经网络的网络结构需要进化，所述进化算法模块对所述候选结构编码进行改进，并将改进后的候选结构编码发送至所述神经网络编码计算模块以对所述候选深度神经网络进行进化，直至得到无需进化的目标深度神经网络为止；
再一种实施例中，处理器加载所述神经网络编码计算代码执行如下步骤：
解析所述候选结构编码对应的向量集得到至少一个向量；
按照得到的所述向量所包括的神经网络层的属性构建所述候选深度神经网络的对应神经网络层的网络结构。
再一种实施例中，处理器加载所述进化算法代码执行如下步骤：
获取预设目标性能要求；
判断所述候选深度神经网络的性能参数是否满足所述目标性能要求；
若不满足，则确定所述候选深度神经网络的网络结构需要进化；
若满足，则确定所述候选深度神经网络的网络结构无需进化。
再一种实施例中，处理器加载所述进化算法代码执行如下步骤：
对进化所需的算法参数进行初始化处理，所述算法参数至少包括终止标准或演化次数阈值；
按照初始化后的算法参数对所述候选结构编码执行进化循环；
当所述进化循环的次数达到所述演化次数阈值时，或当所述进化循环得到的目标值达到所述终止标准时，获取所述进化循环在终止时得到的目标值；
根据所述目标值生成改进后的候选结构编码。
再一种实施例中，处理器加载所述神经网络编码计算代码执行如下步骤：
按照所述改进后的候选结构编码重新构建所述候选深度神经网络的网络结构，并对所述候选深度神经网络进行重新训练以获得所述候选深度神经网络的新的性能参数；
将所述候选深度神经网络的新的性能参数重新反馈至所述进化算法模块。
再一种实施例中，处理器加载所述神经网络编码计算代码执行如下步骤：
若所述候选深度神经网络的网络结构无需进化，将所述候选深度神经网络确定为目标深度神经网络；
输出所述目标深度神经网络的网络结构。
再一种实施例中，处理器加载所述业务处理代码执行如下步骤：
在接收到业务请求时，调用所述目标深度神经网络对所述业务请求进行处理得到业务处理结果，并输出所述业务处理结果；所述业务请求包括农业数据分析请求、农业质量检测请求、日常用品质量检测请求或食品安全检测请求。
本发明实施例可采用处理设备实现深度神经网络的网络结构处理，该处理设备包括进化算法模块和神经网络编码计算模块；所述进化算法模块按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块；所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码；所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构；可见，通过所述神经网络编码计算模块与所述进化算法模块之间的不断交互，能够构建得到满足要求的目标深度神经网络的网络结构，由于无需人工设计构建，因此本发明实施例构建效率较高；又由于网络结构处理过程通过进化算法不断进行进化循环，网络优化方向明确，这使得目标深度神经网络的网络结构具备较佳的网络性能，能够适用于非常规应用领域，且具备新场景、新问题的自适应能力。进一步，调用目标深度神经网络可以执行特定应用场景下的业务处理，提高业务处理的效率和质量。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (9)
1.一种深度神经网络的网络结构处理方法，应用于处理设备，其特征在于，所述处理设备包括神经网络编码计算模块、进化算法模块和业务处理模块；所述方法包括：
所述业务处理模块接收业务请求，所述业务请求包括植物生长指标；
所述业务处理模块调用目标深度神经网络对所述植物生长指标进行检测，得到所述植物生长指标对应的含量值；
所述业务处理模块输出所述植物生长指标对应的含量值；
其中，所述目标深度神经网络是由所述神经网络编码计算模块及所述进化算法模块共同执行进化循环而得到的，所述进化循环的过程包括：
所述进化算法模块按照预设目标性能要求计算候选结构编码，所述候选结构编码包括候选深度神经网络包括的多个神经网络层的属性；所述预设目标性能要求是根据植物生长指标检测业务的实际需要确定的；所述神经网络层为卷积层，所述神经网络层的属性是根据植物生长指标检测业务的设计需求包括的卷积层的属性的数量来设置的；
所述进化算法模块将所述候选结构编码发送至所述神经网络编码计算模块；
所述神经网络编码计算模块接收所述进化算法模块发送的所述候选结构编码；所述候选结构编码包括首次接收到的候选结构编码和非首次接收到的候选结构编码，所述首次接收到的候选结构编码是由所述进化算法模块按照植物生长指标检测业务场景的实际设计需求生成的一个初始结构编码，所述非首次接收到的候选结构编码是由所述进化算法模块对所述初始结构编码执行一次或多次改进后得到的结构编码；
所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构；
所述神经网络编码计算模块计算所述候选深度神经网络的性能参数，并将所述候选深度神经网络的性能参数反馈至所述进化算法模块；
所述进化算法模块判断所述候选深度神经网络的性能参数是否满足所述预设目标性能要求；
若不满足，则确定所述候选深度神经网络的网络结构需要进化；
若满足，则确定所述候选深度神经网络的网络结构无需进化；
若所述候选深度神经网络的网络结构需要进化，则所述进化算法模块对所述候选结构编码进行改进，并将改进后的所述候选结构编码发送至所述神经网络编码计算模块以对所述候选深度神经网络进行进化，直至得到无需进化的目标深度神经网络为止。
2.根据权利要求1所述的方法，其特征在于，所述候选结构编码采用向量集表示，所述向量集包含至少一个向量；
所述向量集中的任一向量包括所述候选深度神经网络中任一个神经网络层的属性；所述神经网络层的属性包括以下任一种或多种：深度、宽度、幅度及维度；
所述性能参数包括计算速率和/或计算精度。
3.根据权利要求2所述的方法，其特征在于，所述神经网络编码计算模块按照所述候选结构编码构建所述候选深度神经网络的网络结构，包括：
所述神经网络编码计算模块解析所述候选结构编码对应的向量集得到至少一个向量；
所述神经网络编码计算模块按照所述至少一个向量所包括的神经网络层的属性构建所述候选深度神经网络的网络结构。
4.根据权利要求1所述的方法，其特征在于，还包括：
若所述候选深度神经网络的网络结构无需进化，则所述神经网络编码计算模块将所述候选深度神经网络确定为目标深度神经网络。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述进化算法模块对所述候选结构编码进行改进，包括：
所述进化算法模块对进化所需的算法参数进行初始化处理，所述算法参数至少包括终止标准或演化次数阈值；
所述进化算法模块按照初始化后的算法参数利用进化算法对所述候选结构编码执行进化循环；
当所述进化循环的次数达到所述演化次数阈值时，或当所述进化循环得到的目标值达到所述终止标准时，所述进化算法模块获取所述进化循环在终止时得到的目标值；
所述进化算法模块根据所述目标值生成改进后的候选结构编码。
6.根据权利要求5所述的方法，其特征在于，所述进化算法为共轭矩阵/协方差自适应进化算法。
7.根据权利要求5所述的方法，其特征在于，还包括：
所述神经网络编码计算模块输出所述目标深度神经网络的网络结构。
8.一种处理设备，其特征在于，所述处理设备包括处理器和存储器，所述存储器和所述处理器通过线路互联，所述存储器中存储有程序指令，所述处理器调用所述存储器中的程序指令，使权利要求1至7任意一项所述的深度神经网络的网络结构处理方法得以实现。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行如权利要求1-7任一项所述的深度神经网络的网络结构处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811238441.XA CN109472359B (zh) | 2018-10-23 | 2018-10-23 | 深度神经网络的网络结构处理方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811238441.XA CN109472359B (zh) | 2018-10-23 | 2018-10-23 | 深度神经网络的网络结构处理方法及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109472359A CN109472359A (zh) | 2019-03-15 |
| CN109472359B true CN109472359B (zh) | 2021-06-04 |
Family
ID=65664282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811238441.XA Active CN109472359B (zh) | 2018-10-23 | 2018-10-23 | 深度神经网络的网络结构处理方法及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109472359B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101681394A (zh) * | 2006-09-28 | 2010-03-24 | 埃克森美孚上游研究公司 | 来自并发地球物理源的数据的迭代反演 |
| CN104517122A (zh) * | 2014-12-12 | 2015-04-15 | 浙江大学 | 一种基于优化卷积架构的图像目标识别方法 |
| CN104850890A (zh) * | 2015-04-14 | 2015-08-19 | 西安电子科技大学 | 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法 |
| CN106203628A (zh) * | 2016-07-11 | 2016-12-07 | 深圳先进技术研究院 | 一种增强深度学习算法鲁棒性的优化方法和系统 |
| CN106650928A (zh) * | 2016-10-11 | 2017-05-10 | 广州视源电子科技股份有限公司 | 一种神经网络的优化方法及装置 |
| CN106846269A (zh) * | 2017-01-05 | 2017-06-13 | 南京信息工程大学 | 基于dna萤火虫优化的盲均衡与图像盲恢复方法 |
| CN107818575A (zh) * | 2017-10-27 | 2018-03-20 | 深圳市唯特视科技有限公司 | 一种基于分层卷积的视觉对象跟踪方法 |
| CN108133186A (zh) * | 2017-12-21 | 2018-06-08 | 东北林业大学 | 一种基于深度学习的植物叶片识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180174062A1 (en) * | 2016-12-21 | 2018-06-21 | Ca, Inc. | Root cause analysis for sequences of datacenter states |
-
2018
- 2018-10-23 CN CN201811238441.XA patent/CN109472359B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101681394A (zh) * | 2006-09-28 | 2010-03-24 | 埃克森美孚上游研究公司 | 来自并发地球物理源的数据的迭代反演 |
| CN104517122A (zh) * | 2014-12-12 | 2015-04-15 | 浙江大学 | 一种基于优化卷积架构的图像目标识别方法 |
| CN104850890A (zh) * | 2015-04-14 | 2015-08-19 | 西安电子科技大学 | 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法 |
| CN106203628A (zh) * | 2016-07-11 | 2016-12-07 | 深圳先进技术研究院 | 一种增强深度学习算法鲁棒性的优化方法和系统 |
| CN106650928A (zh) * | 2016-10-11 | 2017-05-10 | 广州视源电子科技股份有限公司 | 一种神经网络的优化方法及装置 |
| CN106846269A (zh) * | 2017-01-05 | 2017-06-13 | 南京信息工程大学 | 基于dna萤火虫优化的盲均衡与图像盲恢复方法 |
| CN107818575A (zh) * | 2017-10-27 | 2018-03-20 | 深圳市唯特视科技有限公司 | 一种基于分层卷积的视觉对象跟踪方法 |
| CN108133186A (zh) * | 2017-12-21 | 2018-06-08 | 东北林业大学 | 一种基于深度学习的植物叶片识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Automated structure discovery and parameter tuning of neural network language model based on evolution strategy;Tomohiro Tanaka et al;《2016 IEEE Spoken Language Technology Workshop (SLT)》;20170209;全文 * |
| Structure discovery of deep neural network based on evolutionary algorithms;Takahiro Shinozaki et al;《2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20150806;全文 * |
| 人工神经网络优化算法研究与应用;董志玮;《中国优秀硕士学位论文全文数据库信息科技辑》;20131215;第2013年卷(第12期);I140-41 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109472359A (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Modified discrete grey wolf optimizer algorithm for multilevel image thresholding | |
| US10474827B2 (en) | Application recommendation method and application recommendation apparatus | |
| CN110647921B (zh) | 一种用户行为预测方法、装置、设备及存储介质 | |
| US8965814B1 (en) | Selection of most effective machine learning kernel from a training set of documents | |
| US11004026B2 (en) | Method and apparatus for determining risk management decision-making critical values | |
| CN111352965A (zh) | 序列挖掘模型的训练方法、序列数据的处理方法及设备 | |
| WO2021068563A1 (zh) | 样本数据处理方法、装置、计算机设备及存储介质 | |
| CN110750658A (zh) | 一种媒体资源的推荐方法、服务器及计算机可读存储介质 | |
| WO2014176056A2 (en) | Data classification | |
| CN110647974A (zh) | 深度神经网络中的网络层运算方法及装置 | |
| CN113570497A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113301017B (zh) | 基于联邦学习的攻击检测与防御方法、装置及存储介质 | |
| US6789070B1 (en) | Automatic feature selection system for data containing missing values | |
| CN109472359B (zh) | 深度神经网络的网络结构处理方法及相关产品 | |
| CN109508087A (zh) | 脑纹信号识别方法及终端设备 | |
| CN113033689A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN112801231A (zh) | 用于业务对象分类的决策模型训练方法和装置 | |
| CN112037174A (zh) | 染色体异常检测方法、装置、设备及计算机可读存储介质 | |
| Ting et al. | Exploiting randomness in stochastic computing | |
| Wang et al. | The upper and lower bounds of the prediction accuracies of ensemble methods for binary classification | |
| CN116204624A (zh) | 应答方法、装置、电子设备及存储介质 | |
| JP2020027604A (ja) | 情報処理方法、及び情報処理システム | |
| CN113536252B (zh) | 账号识别方法和计算机可读存储介质 | |
| US20220092176A1 (en) | Apparatuses and methods for detecting malware | |
| CN110705593B (zh) | 训练关系网络嵌入模型和确定使用概率的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518000 Guangdong science and technology innovation and Research Institute, Shenzhen, Shenzhen, Nanshan District No. 6, science and technology innovation and Research Institute, Shenzhen, D 10, 1004, 10 Patentee after: Shenzhen Hetai intelligent home appliance controller Co.,Ltd. Address before: 518000 Guangdong science and technology innovation and Research Institute, Shenzhen, Shenzhen, Nanshan District No. 6, science and technology innovation and Research Institute, Shenzhen, D 10, 1004, 10 Patentee before: SHENZHEN H&T DATA RESOURCES AND CLOUD TECHNOLOGY Ltd. |
|
| CP01 | Change in the name or title of a patent holder |