CN112862068A - 面向复杂卷积神经网络的容错架构及方法 - Google Patents

Abstract

本发明涉及网络数据通信容错技术领域，公开了面向复杂卷积神经网络的容错架构及方法，包括AET的类脑容错架构和卷积神经网络，所述AET的类脑容错架构包括AET簇，所述AET簇包括若干连接在一起的节点，所述卷积神经网络的卷基层、池化层和全连接层以链状的结构映射到不同的所述节点上，构成链状映射节点，无映射关系的节点作为空闲节点，在有映射关系节点出错时，由与其距离接近的空闲节点接替进行运算以及通信任务；该架构在出现错误节点的时候，由旁边的空闲节点进行替补，避免寻找空闲节点进行数据传输过多导致的数据延迟，可以快速完成空闲节点到映射节点的替补，形成新的连接架构，保证网络的时序稳定，以更高效率完成数据通讯通信。

Description

面向复杂卷积神经网络的容错架构及方法

技术领域

本发明涉及网络数据通信容错技术领域，具体涉及面向复杂卷积神经网络的容错架构及方法。

背景技术

AET(Autonomous Error Tolerant，自主容错)结构，是通过相互通信来模拟人脑神经元间的连接，构成类脑的结构，从而获得一种在性能方面更为有效的容错方案和以及在考虑功耗和芯片面积的较低的成本，但是AET结构在容错时，系统的规模受到限制，因为当AET处理单元簇的规模不断增大时，这种结构便会出现关键的AET处理单元，一旦这个处理单元出错，会使全局布线产生长线的通信，从而导致通信阻塞、延迟、通信效率降低等问题。

发明内容

针对现有技术存在的不足，本发明的目的在于提供面向复杂卷积神经网络的容错架构及方法。

为了实现上述目的，本发明提供如下技术方案：

面向复杂卷积神经网络的容错架构，包括AET的类脑容错架构和卷积神经网络，所述AET的类脑容错架构包括AET簇，所述AET簇包括若干连接在一起的节点，所述卷积神经网络的卷基层、池化层和全连接层以链状的结构映射到不同的所述节点上，构成链状映射节点，无映射关系的节点作为空闲节点，在有映射关系节点出错时，由与其距离接近的空闲节点接替进行运算以及通信任务。

在本发明中，优选的，所述节点依据状态分为三类，第一节点为处于运算状态并发生错误的节点，第二节点为处于运算状态没发生错误的节点，以及第三节点为处于空闲状态的空闲节点。

在本发明中，优选的，所述节点包括运算器，所述运算器用来完成数据的并行计算或神经形态计算。

在本发明中，优选的，所述节点包括四组通讯端口，所述通讯端口与运算器连接，其中三组为与周围连接的三个节点进行通讯，另一组作为备用通讯端口，所述通讯端口都包括bcin输入口以及bcout输出口。

在本发明中，优选的，所述通讯端口采用报文交换方式进行通信。

在本发明中，优选的，每个所述通讯端口内还包括容错数据模块，容错数据模块用于生成容错数据包，所述容错数据包包括节点地址和距错误节点的步长。

在本发明中，优选的，所述运算器还连接有出错感知器，所述出错感知器还连接有任务分配器，任务分配器通过交叉开关判断节点之间连接关系是否需要切换。

面向复杂卷积神经网络的容错方法，包括如下步骤：

S1：激活AET类脑容错架构；

S2：数据进入映射节点，出错感知器寻址运算器的标志位和错误位数值；

S3：当标志位为1，错误位为1，执行第一节点处理模式；当标志位为1，错误位为0，执行第二节点处理模式。

在本发明中，优选的，在步骤S3中，执行第一节点处理模式时，还包括如下步骤：

S301：第一节点中的出错感知器向任务分配器、通讯端口和电源切换器发送信号；

S302：运算器通过bcout输出口向与周围连接的三个节点进行通讯，发送容错数据包；

S303：与第一节点同一簇内并与第一节点连接的第三节点接收信号后保存，并向第一节点的任务分配器发送应答反馈信息；

S304：任务分配器通过对比接收到的应答反馈信息中的步长值，选择步长值最小的第三节点作为代替错误节点，形成新的连接架构，继续进行数据传输。

在本发明中，优选的，在步骤S3中，执行第二节点处理模式时，还包括如下步骤：

S311：第二节点的运算器对收到的多个数据包中的步长进行比较；

S312：运算器在比较后选择步长最小的数据包作为数据的输入通讯端口；

S313：将选择的对应数据包中的步长参数加1后形成新的数据包通过其他未选中的通讯端口的bcout输出口输出给其他节点，完成数据通信。

与现有技术相比，本发明的有益效果是：

本发明的架构通过将卷积神经网络与AET的类脑容错架构进行结合，将卷基层、池化层和全连接层以链状的结构映射到不同的节点上，构成链状映射节点，在出现错误节点的时候，由旁边的空闲节点进行替补，避免寻找空闲节点进行数据传输过多导致的数据延迟，可以快速完成空闲节点到映射节点的替补，形成新的连接架构，保证网络的时序稳定，以更高效率完成数据通讯通信。

附图说明

图1为本发明所述的面向复杂卷积神经网络的容错架构的结构示意图。

图2为AET的类脑容错架构的自动交叉切换策略示意图。

图3为本发明所述的面向复杂卷积神经网络的容错架构的通讯端口部分结构框图。

图4为本发明所述的面向复杂卷积神经网络的容错方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请同时参见图1至图2，本发明一较佳实施方式提供面向复杂卷积神经网络的容错架构，基于AET的类脑容错架构主要要根据适用于节点间和簇间互连的自动交叉切换策略动态、自动地重建网络结构，通过将复杂的卷积神经网路，以链状的结构映射到已有的基于AET的类脑容错架构上，从而实现复杂卷积神经网路的容错，避免节点中心化问题，包括AET的类脑容错架构和卷积神经网络，AET的类脑容错架构包括AET簇，AET簇包括若干连接在一起的节点，卷积神经网络的卷基层、池化层和全连接层以链状的结构映射到不同的节点上，构成链状映射节点，无映射关系的节点作为空闲节点，在有映射关系节点出错时，由与其距离接近的空闲节点接替进行运算以及通信任务。

具体的，VGG16卷积神经网络映射到8*8的AET的类脑容错架构上，其中VGG16卷积神经网络的每个卷基层(C1、C2、C3、C4、C5、C6、C7、C8、C9、C10、C11、C12、C13)、池化层(M1、M2、M3、M4、M5)和全连接层(F1、F2、F3)都分别映射到AET的类脑容错架构的不同节点上，即将该层对应的运算转给该节点，其他无映射关系的为空闲节点，用于在映射节点出错时进行就近替补，空闲节点替补后形成新的映射节点，不再作为空闲节点进行容错，错误节点进行标记和剔除，其中对于运算量较大的的卷积层可适当将运算分别映射到多个节点上，从而平衡节点的负载能力，通过将卷积神经网络与AET的类脑容错架构结合，形成以链状映射节点为主，两侧辅助连接有空闲节点的复杂卷积神经网络的容错架构，利用卷积神经网络的局部连接以及池化特性，避免了AET的类脑容错架构在不断增加AET簇时规模增大带来的节点中心化，从而进一步避免了节点中心化带来的全局通信拉长，通讯延迟以及效率降低的问题。

在本实施方式中，节点依据状态分为三类，第一节点为处于运算状态并发生错误的节点，第二节点为处于运算状态没发生错误的节点，以及第三节点为处于空闲状态的空闲节点。

进一步的，当复杂卷积神经网络映射到AET类脑容错架构上，如果网络处于激活状态，此时的节点依据状态总共有三种类型，其中第一节点为处于运算状态并发生错误的节点，此时其对应的标志位status＝1，错误位error＝1，第一节点在检测到自身出现错误时，会将数据转交给另一个空闲节点；第二节点为处于运算状态没发生错误的节点，此时其对应的标志位status＝1，错误位error＝0，主要是对收到的信息在其步长参数加1后转发给连接的后续节点；第三节点为处于空闲状态的空闲节点，此时其对应的标志位status＝0，错误位error＝0，主要是接收信息解码保存，并且在接收信息后作出应答反馈信息给传输信息的第一节点，其中应答反馈信息为第三节点的地址数据和信息传输所用的步长。

在本实施方式中，节点包括运算器，运算器用来完成数据的并行计算或神经形态计算，其中映射节点的运算器主要进行神经形态计算，空闲节点进行数据的并行计算。

请参见图3，在本实施方式中，节点包括四组通讯端口，通讯端口与运算器连接，其中三组为与周围连接的三个节点进行通讯，另一组作为备用通讯端口，通讯端口都包括bcin输入口以及bcout输出口。

进一步的，三组通讯端口在二维平面上的方向分别为-30°，90°和210°，其中90°方向的为1号通信端口，210°方向的为2号通信端口，-30°方向的为3号通信端口，备用通讯端口为4号通信端口，每个通讯端口都包括有bcin输入口以及bcout输出口，当网络状态稳定时，既没有出现错误或出现错误完成切换后，每一组通讯端口的bcin输入口以及bcout输出口的输入输出信号是相同的；当出现错误节点时，bcout输出口输出的信号是输入信号经过运算器解码再编码形成的数据；即使网络中出现连续错误时，错误节点的信号也可连续到达连接的无错误的空闲节点，从而保证网络数据传输的时序稳定。

在本实施方式中，通讯端口采用报文交换方式进行通信，AET类脑容错架构的本质是一个具有二维折叠环结构的片上网络，数据的传输主要集中在网络发生错误到网络恢复这段时间里，通信量相对较小，在节点间的数据通信上采用现有的报文交换技术，从而减小了网络的复杂度。

在本实施方式中，每个通讯端口内还包括容错数据模块，容错数据模块用于生成容错数据包，容错数据包包括节点地址和距错误节点的步长，其中错误数据包的0-7位数值为节点地址，8-11位数值为步长。

在本实施方式中，运算器还连接有出错感知器，出错感知器还连接有任务分配器，任务分配器通过交叉开关判断节点之间连接关系是否需要切换。

进一步的，任务分配器采用现有的交叉开关(Crossbar Switch)，交叉开关依据出错感知器发送的信号通过bcout输出口向其他空闲节点发送数据包，并通过bcin输入口接收的返回的应答反馈信息中的步长确定要切换的空闲节点，用确定的空闲节点代替原来的错误节点，从而保证其他节点都能正常通信。

请参见图4，本发明另一较佳实施方式提供面向复杂卷积神经网络的容错方法，包括如下步骤：

S1：激活AET类脑容错架构；

S2：数据进入映射节点，出错感知器寻址运算器的标志位和错误位数值；

S3：当标志位为1，错误位为1，执行第一节点处理模式；当标志位为1，错误位为0，执行第二节点处理模式。

具体的，在步骤S3中，执行第一节点处理模式时，还包括如下步骤：

S301：第一节点中的出错感知器向任务分配器、通讯端口发送信号；

S302：运算器通过bcout输出口向与周围连接的三个节点进行通讯，发送容错数据包；

S303：与第一节点同一簇内并与第一节点连接的第三节点接收信号后保存，并向第一节点的任务分配器发送应答反馈信息；

S304：任务分配器通过对比接收到的应答反馈信息中的步长值，选择步长值最小的第三节点作为代替错误节点，形成新的连接架构，继续进行数据传输。

具体的，在步骤S3中，执行第二节点处理模式时，还包括如下步骤：

S311：第二节点的运算器对收到的多个数据包中的步长进行比较；

S312：运算器在比较后选择步长最小的数据包作为数据的输入通讯端口；

S313：将选择的对应数据包中的步长参数加1后形成新的数据包通过其他未选中的通讯端口的bcout输出口输出给其他节点；

工作原理：

由节点组成的数据传输网络中，节点会因为各种原因出现错误，导致数据传输错误、延迟或失败，基于AET的类脑容错架构检测出不可修复的错误后，网络就要根据适用于节点间和簇间互连的自动交叉切换策略动态、自动地重建网络结构，但随着簇的规模不断增大，会使得节点中心化，该中心化节点的出错会导致全局通讯产生长线通信，从而导致通信阻塞、延迟、通信效率降低等问题，故将卷积神经网络与AET的类脑容错架构进行结合，将卷基层、池化层和全连接层以链状的结构映射到不同的节点上，构成链状映射节点，在网路处于激活状态，此时网络中的节点可以分为第一节点、第二节点和第三节点(空闲节点)，第一节点在检测到自身出现错误时，会将数据转交给另一个空闲节点；第二节点主要是对收到的信息在其步长参数加1后转发给连接的后续节点；第三节点主要是接收信息解码保存，并且在接收信息后作出应答反馈信息给传输信息的第一节点，其中应答反馈信息为第三节点的地址数据和信息传输所用的步长，第一节点依据接收的返回的应答反馈信息中最小步长值确定切换的空闲节点，并用其代替原来的错误节点，形成新的连接架构，继续进行数据传输从而保证其他节点都能正常通信，不影响通信效率。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (10)

1.面向复杂卷积神经网络的容错架构，其特征在于，包括AET的类脑容错架构和卷积神经网络，所述AET的类脑容错架构包括AET簇，所述AET簇包括若干连接在一起的节点，所述卷积神经网络的卷基层、池化层和全连接层以链状的结构映射到不同的所述节点上，构成链状映射节点，无映射关系的节点作为空闲节点，在有映射关系节点出错时，由与其距离接近的空闲节点接替进行运算以及通信任务。

2.根据权利要求1所述的面向复杂卷积神经网络的容错架构，其特征在于，所述节点依据状态分为三类，第一节点为处于运算状态并发生错误的节点，第二节点为处于运算状态没发生错误的节点，以及第三节点为处于空闲状态的空闲节点。

3.根据权利要求1所述的面向复杂卷积神经网络的容错架构，其特征在于，所述节点包括运算器，所述运算器用来完成数据的并行计算或神经形态计算。

4.根据权利要求3所述的面向复杂卷积神经网络的容错架构，其特征在于，所述节点包括四组通讯端口，所述通讯端口与运算器连接，其中三组为与周围连接的三个节点进行通讯，另一组作为备用通讯端口，所述通讯端口都包括bcin输入口以及bcout输出口。

5.根据权利要求4所述的面向复杂卷积神经网络的容错架构，其特征在于，所述通讯端口采用报文交换方式进行通信。

6.根据权利要求5所述的面向复杂卷积神经网络的容错架构，其特征在于，每个所述通讯端口内还包括容错数据模块，容错数据模块用于生成容错数据包，所述容错数据包包括节点地址和距错误节点的步长。

7.根据权利要求6所述的面向复杂卷积神经网络的容错架构，其特征在于，所述运算器还连接有出错感知器，所述出错感知器还连接有任务分配器，任务分配器通过交叉开关判断节点之间连接关系是否需要切换。

8.面向复杂卷积神经网络的容错方法，基于权利要求7所述的面向复杂卷积神经网络的容错架构，其特征在于，包括如下步骤：

S1：激活AET类脑容错架构；

S2：数据进入映射节点，出错感知器寻址运算器的标志位和错误位数值；

S3：当标志位为1，错误位为1，执行第一节点处理模式；当标志位为1，错误位为0，执行第二节点处理模式。

9.根据权利要求8所述的面向复杂卷积神经网络的容错方法，其特征在于，在步骤S3中，执行第一节点处理模式时，还包括如下步骤：

S301：第一节点中的出错感知器向任务分配器、通讯端口和电源切换器发送信号；

S302：运算器通过bcout输出口向与周围连接的三个节点进行通讯，发送容错数据包；

S303：与第一节点同一簇内并与第一节点连接的第三节点接收信号后保存，并向第一节点的任务分配器发送应答反馈信息；

S304：任务分配器通过对比接收到的应答反馈信息中的步长值，选择步长值最小的第三节点作为代替错误节点，形成新的连接架构，继续进行数据传输。

10.根据权利要求8所述的面向复杂卷积神经网络的容错方法，其特征在于，在步骤S3中，执行第二节点处理模式时，还包括如下步骤：

S311：第二节点的运算器对收到的多个数据包中的步长进行比较；

S312：运算器在比较后选择步长最小的数据包作为数据的输入通讯端口；

S313：将选择的对应数据包中的步长参数加1后形成新的数据包通过其他未选中的通讯端口的bcout输出口输出给其他节点，完成数据通信。

Images