CN113449459B - 一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法 - Google Patents

Abstract

本发明公开了一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，该方法的步骤包括：首先，构建分布式数据测试集和训练集，将训练集进行预处理；其次，训练和整合多个通用神经网络推理的子模型和输出，计算分布式系统的所需新特征向量或特征矩阵；然后，根据计算容器通信机制，计算每个子模型的推理结果；最后，根据简单的神经网络构建的决策单元，利用RandomShut方法对决策单元进行模型的训练，得到最终的模型。本发明利用通用的多模型分布式计算系统和训练方案提升推理结果的精度，降低单一神经网络的尺寸压力，减少系统的计算时间，使得训练更具针对性，广泛适用于各种应用场景。

Description

一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法

技术领域

本发明属于深度学习以及分布式学习领域，具体设计一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法。

背景技术

深度学习神经网络，作为目前非常流行的人工智能算法解决方案，方便了人们很多的工作、生活场景，已经产生了巨大的商业价值。比如，智能客服，图像识别，信用评估等。在这些成功的应用背后，作为支撑的是一些强大的，专用的神经网络。以图像识别任务为例，图像识别与检测已经衍生出了大量的神经网络，如：VGG，ResNet,DenseNet,Yolo等。这些神经网络都可以实现优异的推理。然而，由于当前的深度学习和机器学习的技术局限性，单一的网络仍然会做出一些相对低端，且人们不能理解的错误。如果希望通过一个神经网络获得准确的结果，从目前的网络设计上来说，有两个局限：1.网络尺寸在变化趋势上将越来越大，所消耗的算力也将越来越大。2.需要的数据多样性和复杂性上也将持续的上升。而即满足了这两个方向的需求，网络也可能只能提高不足1％的准确率。这成为使用单一网络实现更准确的机器学习推理的障碍。同时，说明在实际应用场景，继续使用单一网络对有更高准确性要求的应用是不可靠的。企业目前很难部署一个特别大的网络作为实际应用，而且大网络的准确性也并不能一定表现出优出色的性能。此外，传统的分布式系统机器学习网络，主要采用手动、或者简单的统计学方法，收集分布式节点的输出，来实现整合。这种方法并不合理，产生的结果也不好。本发明将采取一个新的设计思路，通过分布式的网络方案，采用多个网络(或者子模型)对同一个目标进行推理，再通过一个深度神经网络对推理结果的置信判断，得到最终的结果。该设计一方面减小了单一网络的尺寸压力；另一个方面，通过分布式的方法，在大幅提升精度的同时，没有明显的增加实际网络的推理时间。最后，着重介绍对这个系统的训练方法，同时兼顾实际应用场景的挑战，使得训练更加具有针对性。

本方案会结合目标检测的例子，具体说明本项设计。特别地，所描述的目标检测的算法模型，在实际的应用场景下是可以替换的。本文借助实际的例子，来说明该结构设计的可靠性，具体的目标检测任务是文字范围识别。

发明内容

本发明提供了一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，通过分布式的方案，采用多个神经网络子模型对同一目标进行推理实现精度的大幅提升，再利用一个简单的深度神经网络对推理结果的置信判断和提供的一种分布式多个子模型的系统训练方法，兼顾实际应用场景的挑战，使得训练更加具有针对性，适用于实际的应用场景。

本发明提供了一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，其特征在于，包括以下步骤：

S1：选择多个算法模型，构建分布式算法所需数据的测试集和训练集；

S2：根据步骤S1的训练集和确定的预处理方案，构建预处理训练数据集；

S3：构建一种提升神经网络推理准确性的子模型训练方法，并利用Sequeeze4激活函数和SharpLoss损失函数进行子模型的训练；

S4：针对分布式的运算结构，根据计算容器通信机制整合子模型的输出，创建一种通用的保持运算速度的分布式训练方法，构建分布式计算整体系统的新特征；

S5：根据深度神经网络，构建系统的决策单元，整理步骤S4的返回值作为决策单元的输入，根据RandomShut方法对决策单元进行训练，得到最终的通用的分布式计算系统；

S6：构建异常情况下系统的输出文件的格式，将最终的分布式模型在测试集上进行验证，得到预测结果。

根据上述的一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，所构建的一种通用的提升神经网络推理准确性的分布式计算系统方案是指根据预处理训练数据集，采用通用的神经网络模型创建面向多个推理子模型的分布式计算系统设计方法。

根据上述的通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，在步骤S3中的所述的激活函数定义如下：

其中，x表示输入的待激活的向量或者矩阵中的元素。

根据上述的一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，在步骤S3中的所述的损失函数定义如下：

根据上述的一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，在步骤S4所述的构建的计算容器通信机制指的是将每个算法容器的计算，包装成WebService并且能利用默认参数兼容超时请求的计算容器通信机制。

根据上述的一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，在步骤S4所述的一种通用的保持运算速度的分布式训练方法是指根据分布结构化设计采样方案和预处理方案，构建多模型的样本对和可用于输入深度神经网络的监督学习“特征-目标”数据对；所使用的多模型中的每一种子模型也可以是不同的，提高了方案的通用性。

根据上述的一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，在步骤S4所述的分布式计算整体系统的新特征指的是根据整合之前的每一个模型的输出结果，通过One-Hot编码得到不同指标的最高索引，作为分布式系统的新特征。

根据上述的一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，在步骤S5所述的决策单元的构建指的是以整合得到的最新属性为输入，以最终的判定结果为输出的深度神经网络。

与现有技术相比，本发明的优点：

与单模型部署

·在相同的计算量，或计算时间下，本方案可以提供更高的准确率和召回率。

·在同等的准确性和召回率情况下，本方案的效率更高。

·本方案在实际的部署时，更具部署可行性，也更加经济。

数据考虑通常的模型不一致导致，对模型进行了Finetune的操作；为了保证结果的准确性，采用Nvidia TITAN X GPU作为参考基准。所有的模型也都运行在TITAN X GPU(一共7台分布式节点+1台Decision Maker节点)环境下。为了得到公正可信的对比结果，实验设置如下：利用基准网络，在数据集上进行验证，具体结果如下：

Distributed network实际上采用的比较简单的网络模型，每个分布节点的模型执行时间都进行了规定。在实际的应用场景下，每个模型实际执行时间都被要求不超过18ms.需要达到的模型精确度为90％以上。网络传输两个来回，共计8ms。最后DecisionMaker执行时间为8ms,因此得到最终时间为32ms.其他的模型也增加了4ms(只做单次)的数据传输时间。可以看到，该方案在同等计算时间内，得到的结果最佳；但在整理性能上，模型更具有部署的优势。使用8台机器可以保证处理帧数在30fps，保证模型的实时性；性能相近的单网络，8台机器不计其他的因素情况下，只能理论上分别做到16fps(Faster RCNN Resnet v2 101，和4fps(Faster RCNN Nas)，并没有对模型的并发、及分布式系统进行优化以提升算法性能，相信完成这些工作后，该方案可以使性能进一步提升。

相对于普通分布式模型

本方案提供了一个基于深度神经网络(DNN)的训练方法，显著提升了模型的准确率。

相比普通的通过投票(vote)、均值的方法，本方案更具科学性。

投票，均值的方案，从数学上可以理解为，所有分布式模型都具有同样的权重，或者通过某种规则手动选择权重，这种选择是不合理的。

本方案提供了，不同的模型，不同的情况，权重的倾斜行，也就是说，不仅仅提供一种权重的选择，而是多种权重配合，保证了整个系统的准确率。

对于投票模型，并没有直接可以对照的公开模型进行比较，因此，手动指定了一些模型规则，来进行对比，具体如下表所示。由于使用本方案的模型和分布式系统，因此，推理时间基本一致。

这里简要描述一下各个方案：

均值方案比较简单，选择准确性超过一定数值置信值得模型，做平均。因此该方案无法为模型提供更准确的信息提升的。因此结果也围绕在每个节点准确性附近。

Adaptive方案与均值方案类似，无法更好的提高模型的准确性，简要来说，是对通过置信值筛选的目标进行挑选，以置信值最大的目标作为基础，其他的目标，根据置信值的差距确定权重。然后叠加权重来获得最终的输出。

通常的方案，由于权重给出的一般是手动、或者根据置信值，参考的依据比较少，很难使模型性能得到大幅提升。同时，通过置信值来进行目标筛选的方案，本身也存在不合理性——分类的置信度和回归位置的好坏并没有直接的联系。二者存在关联，但不是决定、或者主要的关联。因此，会导致性能无法提升的问题。

附图说明

图1是模型计算流程图；

图2是通用的卷积操作实例图；

图3是Sigmoid和Softmax激活函数对比图；

图4是L1Smooth和SharpLoss损失函数对比图；

图5是分布式节点示意图；

图6是系统部署图；

图7是特征融合流程图；

图8是系统整体训练框架图。

具体实施方式

参考图1所示，本发明提供了一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，包括以下步骤：

S1：选择多个算法模型，构建分布式算法所需数据的测试集和训练集；

确定使用的分布式算法的数量N,算法模型记作M,对每个特定的算法，记作M_n，n∈N。将可用的数据集D复制N份，将会得到所有的数据集D_N。对每一个数据集，应用到特定的算法n∈N,记作D_n.定义一个清洗采样方案集合F,每个方案f定义不同的随机函数，采样频率，采样分布，采样策略，使得f∈F，将一份数据集分成2个部分，训练集

和测试集

即

S2：根据步骤S1的训练集和确定的预处理方案，构建预处理训练数据集；

对每个算法，设计预处理方案集合P,对于应用到特定算法n的预处理方案P_n；n∈N,分别对数据集进行预处理,得到最终用于训练的数据集

具体公式如下:

对特定的预处理方案P_n其方案是在线的数据预处理方案(即在模型训练时实时产生训练数据)，亦可是离线的数据预处理方案。(即在模型训练前预先准备好，形成定量的数据集)。

S3：构建一种提升神经网络推理准确性的单一模型训练方法，并利用Sequeeze4激活函数和SharpLoss损失函数进行子模型的训练；

分别针对数据集

及算法M_n进行模型训练。对于本例，实际取得的结果为一个结果集合S_n,对这个集合采用NMS算法进行筛选，该操作实际上是针对一个目标检测过程所进行检测结果的一种整理。比如一个模型对图像在不同尺度上都做出了有效的判断，一般会选择其中最优的目标作为这个模型的输出。但是当出现不同层都给出结果的情况那么，就需要做出通过NMS选择一个最优作为输出结果。因此，该操作能够兼容不同模型的输出，提高了模型的通用性，并且确保每一个模型对一个图像特征区域只有一个判断。在筛选后，得到最终的结果集合

由于采用了多个模型，且本身算法模型并非本发明的重点，因此，参考图2所示，这里仅介绍一个其中一个模型的设计思路，在应用中，设计了7个不同输入，不同特性的网络：首先将P_n定义为一下操作的集合{Random Crop，Resize，RandomColor Revert},P_n被设计为一个在线数据预处理的方案。

Random Crop定义为随机裁剪，将设定一个平均分布的操作

p将对目标所在区域进行[0.8，1.0]的面积范围，宽高缩放比例在[0.9，1.1]的范围内进行随机的裁剪。

Resize:裁剪后，将裁减的图片，采用双线性采样的方式缩放至224×112的尺寸。

Random Color Revert:将图像数据进行一个反色的操作。即对一个像素R,G,B的通道的数值减去255，即(255-R,255-G,255-B),得到反色图像，执行该操作的概率是50％。

对模型采用通用的卷积操作，得到的模型结构见附图1：由于本例中的目标检测比较直接，每个输入图像中仅有一个或没有目标，因此模型最终只有一对输出，FC2:目标是否存在的推理FC4:目标的位置的推理。

如果在图像区域内存在一个文字区域，首先将定义该模型的置信标签Y＝0,不存在目标。Y＝1,存在目标。然后定义目标框表示为B^gt＝{xmin，ymin，xmax，ymax}，分别对应左上角的横纵坐标数值和右下角的横纵坐标数值。首先将数值相对于图片输入的范围进行归一化，使得xmin，ymin，xmax，ymax∈[0，1],接下来将数据转化为

{xcenter，ycenter，width，height}的形式，最后对框的位置相对于图片中心点(0.5,0.5)进行编码，并对编码结果进行了缩放操作，缩放参数在本例中设置为scale_pos＝1，scale_length＝0.2。编码方式为：

xcenter_encode＝(xcenter-0.5)/scale_posycenter_encode

＝(ycenter-0.5)/scale_poswidth_encode

＝log(width)/scale_lengthheight_encode

＝log(height)/scale_length

神经网络的激活函数，在本例中选择了ELU作为激活函数，参数α＝1，来保证迭代中产生负数的信号，从而保证在FC阶段，信号整体以0为中心。便于函数的拟合和收敛。在最后的FC2采用了设计的Squeeze4函数作为激活函数。对FC4并没有设置激活函数。

对于神经网络的FC2模块的损失函数，选择了通用的二值分类损失函数sigmoidcross entropy loss.之所以选择sigmoid cross entropy loss,而不是softmax crossentropy,其根本原因在于希望计算出来的置信值可以更加分散。这一点非常有用，将对实施分布式计算提供有利的支持。

参考图3所示，可以看到Softmax函数比Sigmoid函数在[-4,4]的定义域里，更容易产生过饱和的数值，所获得的结果，有明确的倾向性。这样可以方便在后续的DecisionMaker网络提供的信息中，捕捉更有价值的特征。之所以这样设计，是为了能够在后期更好的利用分布式方法来选择最优解。

对于神经网络FC4模块的损失函数，选择使用自定义的SharpLoss.这个函数相比常用的L1Smooth损失函数，具有目标x∈[0，1]时，导数更加平缓，x∈[1，∞]时，导数更加陡峭，所以使用该函数进行训练时，模型会在前期快速收敛，而后期可能产生震荡，不会快速收敛到一个局部最优值的特点。设计的目的是为了能够在后期更好的利用分布式方法来选择最优解，具体参考图4所示。

接下来对模型进行训练，采用SGD的方法，Mini-Batch设置为128，在最后输出层设置dropout，drop比率0.3，初始化学习率为1e^-3，学习率减少按照每2000次缩减为前一次的0.95倍。执行训练2e⁵次。

定义对推理数据的解码如下，由于对输入框进行了编码操作(编码方式见步骤三，编码部分)，对其进行反函数操作，获得解码数值，解码方法为

然后将得到的结果整理为推理的目标框

B_pred＝{xmin，ymin，xmax，ymax}；

xmin＝xcenter_decode-width_decode/2xmax

＝xcenter_decode+width_decode/2ymin

＝ycenter_decode-height_decode/2ymax

＝ycenter_decode+height_decode/2

训练完毕后，会通过

对模型进行验证，当模型的评价函数

达到某一个阈值δ，认为模型具有进行下一步操作的可行性，则停止训练和调整，将模型作为备选。本例中，δ＝0.93.对评价函数E作如下的定义：

-目标检测框B_pred(x)

-实际目标框B_gt(x)

-检测包含目标概率U(x)

-本例中置信阈值Yφ＝0.8

-本例中包围框阈值B_φ＝0.6

其中IOU的操作定义为:

最终得到评价函数E相对于数据集D的定义

即E(D)为判断正确的目标在所有参与判断目标的比率。

S4：针对分布式的运算结构，根据计算容器通信机制整合子模型的输出，创建一种通用的保持运算速度的分布式训练方法，构建分布式计算整体系统的新特征；

在所有的N个神经网络子模型完成训练后，将会将这N个神经网络子模型分别部署到N个算法容器中。这里强调的是算法的容器，因为并不局限该部署一定是实体的计算机硬件，对整个结构而言，只要计算节点可以实现并发，虚拟机、容器都可以作为一个载体，参考图5所示。在分布式的运算结构中，需要对计算容器进行通信。再此选择了WebService，将每一个子模型容器的计算，包装成一个WebService。在通信方式中，选择了实现较为方便的Restful API来实现通信及数据的输入、输出，参考图6所示。从实际部署的情况上来说，采用RPC的方式实现WebService，除Webservice的构建、传输有所不同以外，与本设计结构没有冲突，本设计结构兼容GRPC及其他可能的WebService的形式。设计针对分布结构化所设计的采样方案F_s,和在线预处理方案P_s,构建基于M个模型的样本对，并设计新的特征FE_s.构建可用于输入DNN网络的监督学习的“特征-目标”数据对。

一种可行的采样方案F_s可以描述为:

·对样本添加号索引，索引号可以根据文件名的先后进行指定；

·设置采样频率，比如10％的样本作为验证样本，那么将可以被10整除的索引选择，做为验证样本。记作

剩下的作为训练样本，记作

将训练样本，按照每个子模型M_n的预处理需求P_n进行转化，然后送入子模型M_n进行推理，得到推理置信结果U_n和方框位置所在的区域B_n。对得到的推理结果，进行整理。组合出新的特征：对整合之前每个子模型的输出结果，参考图7所示。

·结果计算均U_maxn，B_mean值和方差U_Var，B_Var；

·新增一个属性，得到推理结果置信U_n最高的模型的索引，并将其进行One-Hot处理。

–One-Hot方案的定义，假设有7个子模型，其中第3个子模型的在包含目标的置信值的判断中,置信值最大。所以可以将这个数据转化为one-hot编码，得到如下数据{0，0，1，0，0，0，0}

–记作U_h

·新增一个属性，得到推理结果包围框B_n与实际包围框B^gt，IoU运算分值最高的模型的索引，并将其进行One-Hot处理，记作B_h。这样，将会得到如下的输入和输出关系对:

输入:

·

给出定义

-

-

同时又有，U_mean，U_var，B_mean，B_Var，U_h，B_h。

输出:

·当存在目标时，定义置信目标Y＝1，当不存在目标时，定义置信目标Y＝0.

·定义输出目标:

-给定目标图像的目标框位置

-B^gt＝{xmin^gt，ymin^gt，xmax^gt，ymax^gt}

-输入参数

-B_mean＝{xmin^mean，ymin^mean，xmax^mean，ymax^mean}

-将定义数据进行如下转化：

·

·

·

·

-最终得到的xmin^scale，xmax^scale，ymin^scale，ymax^scale4个参数作为输出目标,记作B^scale

S5：根据深度神经网络，构建系统的决策单元，整理步骤S7的返回值作为决策单元的输入，根据RandomShut方法对决策单元进行训练，得到通用的分布式计算系统；

步骤S5中，得到了所有的需要的输入、输出，可以通过以下方式计算出输入和输出的神经元个数。

输入:

·

的个数:N

·

的个数:4×N

·U_mean，U_var，B_mean，B_Var，总数1+4+1+4＝10

·U_h，B_h＝N+N

所以，得到输入神经元个数

N+4×N+1+4+1+4+N+N＝7×N+10

输出：

·对Y_pred推理U_s的神经元的个数:1

·对B^scale推理B_s的神经元的元素个数:4

于是，可以设计一个简单的DNN网络,来整合所有的输入，得到结果的判定。这个DNN网络在系统中被叫做DecisionMaker。网络设计非常简单，在本例中只有简单的两个隐藏层的DNN网络，即神经网络的连接方式为FC(Fully Connected)方式。特别地，将两个隐藏层的神经元数目特意的设置得比较大，是为了充分让特征进行组合。HN1表示隐藏层(Hidden Network layer 1)的神经元数量，为1024；HN2则为512。

之所以认为该模型结构可以通过DNN的深度神经网络来实现，主要是建立在这样的假设上：模型的输出U_N和B_N，子模型之间是独立同分布的。为保证该假设成立，在之前子模型筛选中，选择了一个较高的δ(比如δ＝0.93)。这个阈值越高，则子模型越趋近于独立同分布的形态，越低则模型与模型的表现上越无法满足独立同分布的条件。之所以认定独立同分布是实施这个模型的关键，也是由于深度神经网络，依赖在输入数据是满足独立同分布的条件上的。因此，若确定了模型的所有输出为遵循某种分布，那么从原理上认为，该方案可行。模型的训练可以在一台机器上进行，也可以在一个分布式的环境下进行。为了实现简单，将整个训练过程安排在一台计算机上完成。这种方式，相比分布式的训练方法，主要是训练速度比较慢。

在DeicisonMaker的训练中，之前所有的模型是不进行训练的。DeicisonMaker训练中，引入了一种新的训练技巧，叫做RandomShut，它的功能描述是，关闭来自某一个子模型M的所有输入，来实现训练。这个训练技巧，能起到两个方面的重要作用：

该训练技巧提升了整个DecisionMaker网络的泛化能力。

该训练技巧保证了在应用时，一些分布式节点无法准确送达信息时(比如某个分布式节点故障，不再有效)，整个分布式系统仍能够提供准确的推理。增强的整个系统的鲁棒性，降低了系统组件之间的耦合性，提升了内聚度。

具体流程如附图8，详细步骤如下：

·将会在训练中，按照50％的概率，决定是否使用RandomShuto

·当确定使用RandomShut之后，有会使用一次随机数，以平均分布随机数，决定多少RandomShut的强度，即关闭的模型输入的个数T。在本例中，随机数的上限是

也就是说，RandomShut的取值范围为

不建议将随机数设置得非常大，这会对整个模型训练产生不利的影响。一般训练过程中，开放的模型数目应大于实际系统所支持的模型数目。在本例中，测试结果表示，为保证最佳的效果，这个数值应该为

·当选择了需要关闭的模型数量，再次采用平均分布的随机函数，对N个模型进行采样，选择T个模型进行关闭操作。这些模型记作M_T,可以明确，

·对于每一个被选中的模型M_t；t∈T,将这个模型的输出结果清除。方法为

·U_t＝-1，B_t＝{xmin＝0，ymin＝0，xmax＝1，ymax＝1}。同时，在计算U_mean，B_mean，U_var，B_var时，不将U_t，B_t引入计算。

执行训练的时候，采用SGD的方法，Mini-Batch设置为128，初始化学习率为1e^-3,学习率减少按照每1个epoch缩减为前一次的0.75倍。执行训练10个epoch。

S6：构建异常情况下系统的输出文件的格式，将最终的分布式模型在测试集上进行验证，得到预测结果；

采用以下方法整理最终的返回结果并且对特殊情况进行处理:

·对于图像，可以采用了Base64的编码进行传输。即，请求发出时，图片会通过Base64编码，在传输到模型M所部署的WebService后，有对其进行解码。该过程，经过本地环境的测试，大约增加4ms(编码2ms,解码2ms)

·将M所推理出来的结果，包装成一个JSON文件。并通过RestAPI将JSON文件返回。

·JSON的文件格式定义请查阅效果数据文档。

·请求端会设置一个请求超时时间，在的环境中，设置为2s，即向一个模型M发出请求后，2s内得不到服务器的反馈，则视请求超时，在本地直接将默认失败的参数填入返回参数列表。默认的参数为

U_t＝-1，B_t＝{xmin＝0，ymin＝0，xmax＝1，ymax＝1}

如果请求失败，(不限于获得404,410,500等错误)，也将在本地直接将默认失败的参数填入返回参数列表。默认的参数为

U_t＝-1，B_t＝{xmin＝0，ymin＝0，xmax＝1，ymax＝1}。

最终，将整理后的JSON返回值，组织成DecisionMaker网络的输入，包装成JSON文件，发送到DecisionMaker运算节点进行处理，最终得到推理结果。该结果作为最终的推理结果。

需要明确的是，会对分布式计算中返回失败、超时的节点进行统计，即模型M的返回值进行统计。在本例中，定义，如果返回失败的模型计算容器节点超过

将不会执行最终计算，而直接返回执行错误消息。

模型训练完毕后，对模型放在验证数据集

上进行测试,不出意外，会得到一个准确度超过单模型准确率E(D)＝0.93的结果，在本例中，初次得到的结果为E_s(D)＝0.95,经过对模型进行调试和反复训练，最终得到了的结果为E_s(D)＝0.972。

Claims (2)

1.一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，其特征在于，包括以下步骤：

S1：选择多个算法模型，构建分布式算法所需数据的测试集和训练集；

具体是：确定使用的分布式算法的数量N,算法模型记作M,对每个特定的算法，记作M_n，n∈N；将可用的数据集D复制N份，得到所有的数据集D_N；对每一个数据集，应用到特定的算法n∈N,记作D_n；定义一个清洗采样方案集合F,每个方案f定义不同的随机函数，采样频率，采样分布，采样策略，使得f∈F，将一份数据集分成2个部分，训练集

和测试集

即

S2：根据步骤S1的训练集和确定的预处理方案，构建预处理训练数据集；

具体的，对每个算法，设计预处理方案集合P,对于应用到特定算法n的预处理方案P_n，n∈N,分别对数据集进行预处理,得到最终用于训练的数据集

具体公式如下:

对特定的预处理方案P_n其方案是在线的数据预处理方案或离线的数据预处理方案；

S3：构建一种提升神经网络推理准确性的子模型训练方法，具体是指根据预处理训练数据集，采用通用的神经网络模型创建面向多神经网络推理模型的分布式计算系统设计方法，并利用Sequeeze4激活函数和SharpLoss损失函数进行子模型的训练；

所述的激活函数定义如下：

其中，x表示输入的待激活的向量或者矩阵中的元素；

损失函数定义如下：

S4：针对分布式的运算结构，根据计算容器通信机制整合子模型的输出，创建一种通用的保持运算速度的分布式训练方法，构建分布式计算整体系统的新特征；

其中计算容器通信机制的构建指的是将每个算法容器的计算，包装成WebService并且能利用默认参数兼容超时请求的计算容器通信机制；

一种通用的保持运算速度的分布式训练方法是指根据分布结构化设计采样方案和预处理方案，构建多模型的样本对和可用于输入深度神经网络的监督学习“特征-目标”数据对；

分布式计算整体系统的新特征指的是根据整合之前的每一个子模型的输出结果，通过One-Hot编码得到不同指标的最高索引，作为分布式系统的新特征；

S5：根据深度神经网络，构建系统的决策单元，整理步骤S4的返回值作为决策单元的输入，根据RandomShut方法对决策单元进行训练，最终得到通用的分布式计算系统；

根据RandomShut方法对决策单元进行训练，其过程为：

在训练中，按照50％的概率，决定是否使用RandomShut；

当确定使用RandomShut之后，使用一次随机数，以平均分布随机数，决定多少RandomShut的强度，即关闭的模型输入的个数T；即随机数的上限是

也就是说，RandomShut的取值范围为

当选择了需要关闭的模型数量，再次采用平均分布的随机函数，对N个模型进行采样，选择T个模型进行关闭操作；这些模型记作

对于每一个被选中的模型M_t；t∈T,将这个模型的输出结果清除； 方法为U_t＝-1，B_t＝{xmin＝0，ymin＝0，xmax＝1，ymax＝1}； 同时，在计算U_mean，B_mean，U_var，B_var时，不将U_t，B_t引入计算；

S6：构建异常情况下系统的输出文件的格式，在测试集上进行分布式模型的验证，得到预测结果。

2.根据权利要求1所述的一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法，其特征在于：在S5所述的决策单元的构建指的是以整合得到的最新属性为输入，以最终的判定结果为输出的深度神经网络。

Images