CN112416856A - 一种面向多核技术的分布式可重构机载容错系统 - Google Patents

Abstract

本发明提出一种面向多核技术的分布式可重构机载容错系统，包括：CPU模块；CPU模块包括八个核和ROM存储器；八个核划分为四个内核集，每个内核集中包括两个子核；ROM存储器固化有系统程序；CPU模块上运行有重构控制单元；每个内核集同步运行系统程序；每个内核集中的两个子核串行运行系统程序；各子核均链接在同一个内部总线上，每个内核集中的两个子核之间设置有共享内存；重构控制单元用于，接收每个内核集根据交叉传输数据进行表决监控的表决结果，根据表决结果进行重构。硬件资源空间占比小、功耗低、重量轻，比传统的机载容错系统冗余设计方案更加优化便捷。

Description

一种面向多核技术的分布式可重构机载容错系统

技术领域

本发明涉及多核片上系统、分布式可重构和具有容错体系结构的机载计算机嵌入式技术，具体涉及一种面向多核技术的分布式可重构机载容错系统。

背景技术

随着飞行控制、飞行管理、任务系统等多功能应用的快速发展，航空机载计算机对其电子产品的安全性和可靠性提出了更高的要求。为了提高机载计算机的安全性和可靠性，传统的设计方法一般采用多计算机或多模块的硬件冗余设计，构建容错系统，利用余度技术为系统增加多重资源，通过余度管理软件对多重资源进行管理和分配，实现异常情况下的故障监测，提高系统的故障恢复能力，从而提高产品和系统的安全性和可靠性。

使用该方法设计的机载计算机与没有余度的单通道机载计算机相比，容错能力有了显著的提高，但其仅是对硬件与软件资源的重复配置，通过对重复设备的合理管理和调度，使其执行相同的指令，完成同一任务而设计的软硬件系统。

其不足之处首先在于硬件资源需求庞大，为了添加多重余度资源，需要设计具有相同功能的余度计算机或者通道，余度管理软件通过自监控与故障处理对系统资源进行统一的分配与调度，一旦发生故障该余度计算机或通道整个切除，复用率低且造成硬件资源浪费。其次，系统软件在控制调度、故障处理、余度管理、系统重构过程中，大量的计算机指令在同一处理器上运行，造成时间片开销巨大，周期任务执行时间长。

发明内容

本发明提供一种面向多核技术的分布式可重构机载容错系统，硬件资源空间占比小、功耗低、重量轻，比传统的机载容错系统冗余设计方案更加优化便捷。

本发明提供一种面向多核技术的分布式可重构机载容错系统，包括：CPU模块；CPU模块包括八个核和ROM存储器；所述八个核划分为四个内核集，每个内核集中包括两个子核；所述ROM存储器固化有系统程序；所述CPU模块上运行有重构控制单元；

每个内核集同步运行所述系统程序；每个内核集中的两个子核串行运行所述系统程序；

各所述子核均链接在同一个内部总线上，每个内核集中的两个子核之间设置有共享内存；

重构控制单元用于，接收每个内核集根据交叉传输数据进行表决监控的表决结果，根据表决结果进行重构。

可选的，所述系统程序包括两个子程序；所述两个子程序以可执行文件的形式分段固化在ROM存储器中；

所述两个子程序分别由内核集中的一个子核运行。

可选的，所述两个子程序包括第一子程序和第二子程序；

所述第一子程序用于执行：同步、信号采集、数据通信、输入数据表决监控、应用计算；

所述第二子程序用于执行：同步、数据通信、输出数据表决监控、余度管理。

可选的，在每个周期任务的开始时，所有内核集中的运行第一子程序的子核之间、运行第二子程序的子核之间采用“双握手”法同步。

可选的，各内核集之间采用内部总线通信；

内核集中两个子核通过共享内存进行通信。

可选的，所有内核集中的运行第一子程序的子核之间通过内部总线进行输入数据的交叉传输；

所有内核集中的运行第二子程序的子核之间通过内部总线进行输出数据的交叉传输。

可选的，内核集中的运行第一子程序的子核向共享内存中写入数据，内核集中的运行第二子程序的子核从共享内存中读取数据。

可选的，在内核集中的运行第一子程序的子核故障时，运行第二子程序的子核从系统的剩余内核集中的共享内存中读取数据。

本发明提出一种面向多核技术的分布式可重构机载容错系统，该系统基于对多核处理器的容错结构进行分析研究，采用串并结合的具有分布式结构的系统设计。基本思想是在多核片上系统中模拟余度通道划分多个内核集，在内核集上同时执行系统程序的两份拷贝，通过比较这两份拷贝的输出来判断程序运行过程中是否发生了硬件故障，从而实现系统的容错处理；在内核集中将系统主任务分解成一个主线程和另一个冗余线程，分别在两个核上独立运行，核间通过共享内存实现数据通信。本发明提供的容错系统不仅提升了系统的运行速度与性能，而且所需硬件余度资源空间占比小、功耗低、重量轻、节省了机上空间，另外其信息交互与数据处理能力有了很大提高，满足基于系统降级的可重构容错要求，提高了系统的安全性和可靠性。

附图说明

图1为本发明提供的多核容错系统机构图；

图2为本发明提供的分段固化图；

图3为本发明提供的核间同步图；

图4为本发明提供的重构容错状态转换图。

具体实施方式

为进一步明确本发明的实施方式，结合附图对具体实施方式进行进一步举例说明。

本发明提供一种面向多核技术的分布式可重构机载容错系统，容错系统包括：CPU模块和IO控制模块；CPU模块包括八个核和ROM存储器，CPU与IO控制模块通过内部总线通信；CPU包括四个内核集，每个内核集中包括两个子核。上述容错系统进行多余度的系统程序的运行时，每个内核集均运行一份系统程序。进一步的，在将系统程序划分为两个子程序后，内核集内的每一个子核上运行一个子程序，同时，每个子核上均运行引导程序和操作系统。

本发明提供的一种面向多核技术的分布式可重构机载容错系统包括：分段固化、任务调度、核间同步、数据通信、表决监控和系统重构六个方面。

分段固化：将系统程序拆分，拆分后按照可执行文件的形式固化在不同段的ROM存储器中。

示例性的，按照功能需求将系统程序分解为任务周期时间相同的process1和process2两个子程序。process1完成：同步、读取内总线上IO控制模块采集的信号数据、数据通信、输入数据表决监控、应用计算。process2完成：同步、数据通信、输出数据表决监控、故障处理。将process1和process2以可执行文件的形式分段固化在CPU模块的ROM存储器中，ROM存储器可选用Flash存储器类型。

Flash存储器分为SYSTEM FLASH和USER FLASH，process1和process2存储在USERFLASH中，SYSTEM FLASH用于存储引导程序、操作系统，如图2所示。

示例性的，固化的方式可以选用串口固化或者网口固化，固化的片选地址要连续，有足够的空间存储目标程序，不能造成地址越界。

任务调度：采用内核集间并行、内核集内串行的运行方式，对运行在不同子核上的子程序进行启动调度。

不同内核集间工作在同步模式，同时执行相同的指令，在每个时钟周期都要比较内核集的计算结果是否一致，如果不一致，就认为某个内核集中的子核发生了故障，此时，可通过复位、重构等技术恢复系统状态。

在以内核集中子核为单位的串行结构中，子核间通过缓冲队列进行耦合，子核之间不要求同步，process2可以利用process1的访存结果和分支结果提高性能。在串行结构中，基于多核的容错结构在一个核上运行主线程，在另一个核上执行子线程，既平衡了负载，又减小了一个故障同时影响两个线程的问题。

具体在本发明中，可将子核1和子核2、子核3和子核4、子核5和子核6、子核7和子核8逻辑划分为四个内核集，奇数号子核运行process1程序，偶数号子核运行process2程序。因为process2需要将process1应用计算后的结果进行输出，在process1和process2执行周期时间设置相同的情况下，内核集中偶数号子核启动后，在等待一个执行时间片周期后，再执行周期任务。

上述任务调度方式解决多核处理器并行容错结构故障恢复延时长、资源利用率不高，串行容错结构核间大量通信会导致延时和宽带的问题。

核间同步：各个子核之间通过内部总线完成“握手”消息的发送与接收，完成每一个核间的系统同步。

同步是容错系统的重要部分。只有在每个周期任务的开始，各个内核集与内核集中的子核开始步调一致的工作，后面的表决监控数据才有意义。本发明使用的是基于内部总线实现的“双握手”法，也即所有的奇数子核之间通过“双握手”法同步，所有的偶数子核之间通过“双握手”法同步。示例性的，“双握手”法的同步具体包括：每个子核先通过发送口输出逻辑“真”，等待其他子核通过接收口响应逻辑“真”，第1次握手结束后，每个子核输出逻辑“假”，等待第1次握手中响应正确的子核也输出逻辑“假”，“双握手”正常的子核才参与后续的任务。

多核下的任务同步使用封装的核间同步消息接口来实现。

示例性的，子核X与其他子核进行同步的过程如图3所示。首先由子核X向子核Y1、Y2、Y3发送逻辑“真”同步信号，等待子核Y1、Y2、Y3返回逻辑“真”消息，如果在等待时间内未返回，则逻辑“真”同步失败，进入同步恢复程序，否则逻辑“真”同步成功。接着再次由子核X向子核Y1、Y2、Y3发送逻辑“假”同步信号，等待子核Y1、Y2、Y3返回逻辑“假”消息，如果在等待时间内未返回，则逻辑“假”同步失败，进入同步恢复程序，否则逻辑“假”同步成功。

同步恢复程序是指，当同步失败后，同步失败的子核不在进行周期任务，等待一个周期时间，在下次周期任务开始在进行同步。同时，此次同步失败记录瞬态故障信息，待故障次数大于设定故障门限值后，瞬态故障转永久故障，同步失败的子核设置失效，不再执行周期任务。

数据通信：内核集之间通过内部总线实现交叉传输，内核集内子核之间通过共享内存实现信息传递。

内核集之间与内核集中双核之间的数据通信使用内部总线和共享内存实现。内核集之间的数据通信包括输入数据交叉传输和输出数据交叉传输。其中，输入数据交叉传输在单数核号之间进行，输出数据交叉传输在偶数核号之间进行。内核集之间双核数据通信使用共享内存来完成。

输入数据交叉传输：输入数据的交叉传输在所有奇数号子核之间进行。在每一个任务周期子核将各自的数据封存在自己的CCDL(交叉传输)数据包中，通过内部总线发送出自己的数据包，同时通过内部总线接收另外3个奇数子核的CCDL数据包。这样，每个子核就能有一份完整的多核数据用于多余度输入数据的表决监控；

输出数据交叉传输：输出数据的交叉传输在所有偶数号子核之间进行。在每一个任务周期子核将各自的数据封存在自己的CCDL(交叉传输)数据包中，通过内部总线发送出自己的数据包，同时通过内部总线接收另外3个偶数核的CCDL数据包。这样，每个子核就能有一份完整的多核数据用于多余度输出数据的表决监控；

双核数据通信：内核集内奇偶子核间的数据通信是单向的，由奇数号子核将应用计算的结果发送给偶数号子核，由偶数号子核对外发送。使用共享内存实现时，首先需要内核集中奇数号子核在共享内存区申请一块共用内存，偶数号子核需要注册与该块内存的挂接关系。在数据接口中分别封装读、写锁，实现对共享内存的保护。奇数号子核将通信数据填入共享内存，偶数号子核从共享内存中获取数据；当一个内核集中奇数号子核发生故障，偶数号子核所需要的数据通过共享内存从其他内核集中奇数号子核处获取。

表决监控：在执行相同子系统任务的子核集之间完成数据的表决与监控，分为输入数据表决监控和输出数据的表决监控。

在内核集之间完成输入数据表决监控和输出数据表决监控。在内核集中奇数号子核完成输入数据的表决监控，在无故障的情况下完成四余度表决，在有故障的情况下完成基于系统降级(三余度、两余度)的余度表决，并且将自监控信息通过内部总线发送给重构控制单元；偶数号子核完成输出数据的表决监控；在无故障的情况下完成四余度表决，在有故障的情况下完成基于系统降级(三余度、两余度)的余度表决；并且将自监控信息通过内部总线发送给重构控制单元。当系统降级为单余度时，不进行表决监控。

系统重构：完成系统资源的重新配置，在系统降级使用过程中保证系统的运行安全。

系统初始状态工作在四余度容错模式下，在某一时刻某子核发生故障时，系统将该故障子核隔离，系统降级为三余度容错工作模式，待该故障子核修复完成后恢复到上一级四核容错模式工作。同理当系统工作在三余度容错模式，若有子核故障，则系统降级为双余度容错模式继续工作。系统在双余度容错模式下数据对比不一致，则系统无法辨别正确的子核结果，系统进入全局重构状态，需要对系统进行修复(复位或重配置)，重新回到初始四余度容错模式下继续工作。该容错方案可以保证系统在连续工作状态下高可靠性的要求。

本发明提供一种面向多核技术的分布式可重构机载容错系统，包括以下步骤：

步骤1、分段固化：

首先根据图1所示，以八核片上系统为列，将核1和核2、核3和核4、核5和核6、核7和核8逻辑划分为四个内核集，并将系统程序按照软件需求划分为process1和process2，其中奇数号核运行process1程序段，偶数号核运行process2程序段。process1完成：同步、信号采集、数据通信、输入数据表决监控、应用计算。process2完成：同步、数据通信、输出数据表决监控、故障处理。在系统上电启动之前，需要将process1和process2以可执行文件的形式分段固化在ROM存储器中。ROM存储器可选用Flash存储器类型，分为SYSTEMFLASH和USERFLASH，SYSTEM FLASH用于存储引导程序、操作系统，USERFLASH用于存储process1和process2，如图2所示。分段固化完成后，进入步骤2；

步骤2、任务调度：

机载计算机的实时性要求非常高，这就要求采用非抢占式任务调度来实现。因为process2需要将process1应用计算后的结果进行输出，在process1和process2执行周期时间设置相同的情况下，内核集中偶数号核启动后在等待一个执行时间片周期后再执行周期任务。完成任务调度后，进入步骤3；

步骤3、核间同步：

单核在任务调度完成后进入周期任务前需要完成核间同步功能。只有在每个周期任务的开始，各个内核集与内核集中的单核开始步调一致的工作，后面的表决监控数据才有意义。本发明使用的是基于内部总线实现的“双握手”法，多核下的任务同步使用封装的核间同步消息接口来实现。每个核遍历除了自己外的所有它核，发送逻辑“真”信号，等待收到消息的核返回逻辑“真”后，再继续发送逻辑“假”信号，具体流程请参见图3。考虑到系统的实时性要求，核间同步消息的同步等待时间一般不应超过毫秒级。完成核间同步后，进入步骤4；若握手失败，进入步骤6。

步骤4、数据通信：

内核集之间与内核集中双核之间的数据通信使用内部总线和共享内存实现。内核集之间的数据通信主要是余度管理任务中通道之间的交叉传输，其主要包括输入数据交叉传输和输出数据交叉传输。其中，输入数据交叉传输在单数核号之间进行，输出数据交叉传输在偶数核号之间进行。内核集之间双核数据通信使用共享内存来完成。完成数据通信后，进入步骤5；

步骤5、表决监控：

在内核集之间完成输入数据表决监控和输出数据表决监控。完成表决监控后，进入步骤6；

步骤6系统重构：进入系统重构状态，当系统发生故障时，通过系统重构保证系统运行安全，更新余度资源配置状态，并对故障进行申报、告警和记录。

上述步骤4包括以下步骤：

401、输入数据交叉传输：

输入数据的交叉传输在所有奇数号子核之间进行。在每一个任务周期通道核将各自的数据封存在自己的CCDL(交叉传输)数据包中，通过内部总线发送出自己的数据包，同时通过内部总线接收另外3个奇数核的CCDL数据包。这样，每个核就能有一份完整的多核数据用于多余度输入数据的表决监控；

402、输出数据交叉传输：

输出数据的交叉传输在所有偶数号子核之间进行。在每一个任务周期子核将各自的数据封存在自己的CCDL(交叉传输)数据包中，通过内部总线发送出自己的数据包，同时通过内部总线接收另外3个偶数子核的CCDL数据包。这样，每个子核就能有一份完整的多核数据用于多余度输出数据的表决监控；

403、双核数据通信：

内核集内奇偶子核间的数据通信是单向的，由奇数号子核将应用计算的结果发送给偶数号子核，由偶数号子核对外发送。在奇数号子核无故障情况下可由核间共享内存实现，奇数号子核将数据填入共享内存，偶数号子核从共享内存中取出数据；当一个内核集中奇数号子核发生故障，偶数号子核所需要的数据通过共享内存从其他内核集中奇数号子核处获取。

上述步骤6包括以下步骤：

当某个核通过自监控、硬件通道故障逻辑或其处理结果与其他处理器核不一致时，在重构控制单元模块的控制下，对故障子核进行隔离、修复(复位或重构)以及同步处理，然后在操作系统的调度下重新开始新的处理过程。本发明提供的多核体系结构能够实现基于系统降级的可重构容错，重构容错过程状态转移如图4所示。

系统初始状态工作在四余度工作模式下，在某一时刻某核发生故障时，系统将该故障核隔离，系统降级为三余度冗余工作模式，待该故障核修复完成后恢复到上一级四核容错模式工作。同理当系统工作在三余度容错模式，若有核故障，则系统降级为双机工作模式继续工作。系统在双机模式下数据对比不一致，则系统无法辨别正确的核结果，系统进入全局错误状态，需要对系统进行修复(复位或重配置)，重新回到初始四余度工作模式下继续工作。

Claims (8)

1.一种面向多核技术的分布式可重构机载容错系统，其特征在于，包括：CPU模块；CPU模块包括八个核和ROM存储器；所述八个核划分为四个内核集，每个内核集中包括两个子核；所述ROM存储器固化有系统程序；所述CPU模块上运行有重构控制单元；

每个内核集同步运行所述系统程序；每个内核集中的两个子核串行运行所述系统程序；

各所述子核均链接在同一个内部总线上，每个内核集中的两个子核之间设置有共享内存；

重构控制单元用于，接收每个内核集根据交叉传输数据进行表决监控的表决结果，根据表决结果进行重构。

2.根据权利要求1所述的系统，其特征在于，所述系统程序包括两个子程序；所述两个子程序以可执行文件的形式分段固化在ROM存储器中；

所述两个子程序分别由内核集中的一个子核运行。

3.根据权利要求2所述的系统，其特征在于，所述两个子程序包括第一子程序和第二子程序；

所述第一子程序用于执行：同步、信号采集、数据通信、输入数据表决监控、应用计算；

所述第二子程序用于执行：同步、数据通信、输出数据表决监控、余度管理。

4.根据权利要求3所述的系统，其特征在于，在每个周期任务的开始时，所有内核集中的运行第一子程序的子核之间、运行第二子程序的子核之间采用“双握手”法同步。

5.根据权利要求4所述的系统，其特征在于，各内核集之间采用内部总线通信；

内核集中两个子核通过共享内存进行通信。

6.根据权利要求5所述的系统，其特征在于，所有内核集中的运行第一子程序的子核之间通过内部总线进行输入数据的交叉传输；

所有内核集中的运行第二子程序的子核之间通过内部总线进行输出数据的交叉传输。

7.根据权利要求6所述的系统，其特征在于，内核集中的运行第一子程序的子核向共享内存中写入数据，内核集中的运行第二子程序的子核从共享内存中读取数据。

8.根据权利要求7所述的系统，其特征在于，在内核集中的运行第一子程序的子核故障时，运行第二子程序的子核从系统的剩余内核集中的共享内存中读取数据。

Images