CN117591298A - 一种具有大容量高算力的算存系统及方法 - Google Patents

Abstract

本发明提供一种具有大容量高算力的算存系统及方法，属于运算存储技术领域，系统包括管理单元、交换单元和多个算存子系统；管理单元连接交换单元，交换单元连接多个算存子系统；交换单元用于提供系统的对外接口，并通过对外接口完成多个算存子系统与外部设备的数据交互；每个算存子系统用于存储来自外部设备的数据，同时仅完成自身已存储数据的运算任务；管理单元用于通过所述交换单元，在外部设备中将多个算存子系统整合为一个算存空间，同时将每个算存子系统的运算任务配置为分布式运算任务或集群式运算任务；本发明提高了系统整体算力，在进行运算任务时效能提升，同时便于用户针对运算任务需求而对系统的数据存储容量进行灵活扩充。

Description

一种具有大容量高算力的算存系统及方法

技术领域

本发明属于高算力运算与存储技术领域，具体为一种具有大容量高算力的算存系统及方法。

背景技术

在现有运算机信息技术的架构中，无论是舰载、车载还是地面设备，通常使用一颗CPU处理器，以桥片方式挂接多块存储硬盘，来实现数据的运算与存储。随着信息技术的发展以及国内外中此架构存在的技术突破瓶颈，现阶段的处理器存在性能落后、存储硬盘容量不足的缺陷，因此无法满足大容量存储与高算力运算的需求。

大容量高算力运算是超级运算机产品化的一个分支，研究并行运算模式、并行算力匹配模型、并行自适应架构和并行通信架构，同时开发相关软件，可致力于并行运算存储、高性能网络、分布式运算存储、集群式运算存储和大数据分析等领域的理论和应用发展。通过连接高速网络，将多台服务器与存储设备聚合至一个系统平台中，再以集群或分布的形式协同作业，即可完成短时间内的海量存储和运算分选。

随着数据智能技术的飞速发展，人类对数据的存储容量和运算性能需求逐步提高，不仅在航空航天国防、科学研究等领域需要高性能大容量的存储系统，在政府数字化、教育教学及生活娱乐等领域也需要相关系统设备的广泛应用。现有技术中，高算力的运算存储原理局限于分离式架构，其运算部分采用一个或多个运算子系统或模块，而存储部分采用磁盘阵列进行存储；多个运算子系统实质上没有与磁盘阵列进行对应，数据无法直接高效运算，而是仍需要通过网络先进行两类系统的交互后才可进行运算处理，这导致了此类架构整体上的灵活性和效率较差，网络通信的瓶颈严重制约了其运算性能。此外，这一现有架构的系统复杂度过高，故障的出现相对频繁。

发明内容

针对背景技术中的现状，本发明提出一种新架构下大容量高算力的算存系统，以及该系统的对应算存方法，以提高运算存储过程的协作效率和灵活方便的扩展存储容量为目的进行架构设计。本发明通过多个算存子系统的分布，每个算存子系统拥有只属于自身的运算单元和磁盘阵列单元，二者呈严格对应关系；通过这一架构，本发明提高了系统的整体算力，在进行运算任务时的效能得以提升，同时便于用户针对运算任务需求而对系统的数据存储容量进行灵活扩充。

本发明采用了以下技术方案来实现目的：

一种具有大容量高算力的算存系统，所述系统包括管理单元、交换单元和多个算存子系统，所述管理单元连接所述交换单元，所述交换单元连接多个所述算存子系统；所述交换单元用于提供所述系统的对外接口，并通过所述对外接口完成多个所述算存子系统与外部设备的数据交互；每个所述算存子系统用于存储来自所述外部设备的数据，同时仅完成自身已存储数据的运算任务；所述管理单元用于通过所述交换单元，在所述外部设备中将多个所述算存子系统整合为一个算存空间，同时将每个所述算存子系统的运算任务配置为分布式运算任务或集群式运算任务。

进一步的，每个所述算存子系统均包括通讯单元、运算单元和磁盘阵列单元；所述通讯单元采用网络通讯方式与所述交换单元相连接，所述通讯单元同时分别电连接所述运算单元和所述磁盘阵列单元，所述运算单元与所述磁盘阵列单元电连接；所述通讯单元用于完成数据在与之相连的其余单元之间的通讯传输过程；所述运算单元用于获取所述磁盘阵列单元中存储的数据并进行运算，将运算结果通过所述通讯单元传输至所述交换单元中。

进一步的，所述磁盘阵列单元还包括多个磁盘接口，每个所述磁盘接口对应连接一个存储单元；所述存储单元用于存储经所述通讯单元传输的数据，所述数据包括配置信息和运算数据，其中配置信息由所述管理单元转发，运算数据来自于所述外部设备。

优选的，所述管理单元用于依据所述磁盘阵列单元中连接的所述存储单元数量，将所述磁盘阵列单元配置为RAID0、RAID1、RAID5或RAID10中的任意一种模式。

进一步的，所述管理单元用于在所述交换单元的数据交互支持下，接收来自所述外部设备的运算任务指令，并依据运算任务指令中包含的运算数据与配置信息，确定每个所述算存子系统的运算任务配置方式，将其配置为分布式运算任务或集群式运算任务；所述管理单元还用于依据可用的所述算存子系统数量，将所述运算数据进行拆分或复制，并控制所述交换单元完成运算任务向所述算存子系统的分配与传输过程；所述管理单元还用于在所有所述算存子系统均完成运算操作后，对运算结果进行后处理操作，随后将运算结果通过所述交换单元发送至所述外部设备。

本发明同时提供一种具有大容量高算力的算存方法，所述方法的硬件基础为前述的算存系统；所述方法包括如下步骤：

S1、管理单元通过交换单元获取来自外部设备的运算任务指令；

S2、依据运算任务指令，将算存子系统的运算任务配置为分布式运算任务或集群式运算任务；

S3、管理单元将运算任务指令中的运算数据通过交换单元传输至算存子系统；

S4、每个算存子系统分别运算自身所接收的运算数据，并得出各自的运算结果；

S5、在所有算存子系统完成运算并得出运算结果后，管理单元进行运算结果后处理过程，再通过交换单元将运算结果输出至外部设备。

综上所述，由于采用了本技术方案，本发明的有益效果如下：

本发明中，由于运算单元与自身对应的磁盘阵列单元直接连接，需进行运算任务的原始数据直接被运算单元获取而展开运算过程，无需像传统架构中需以通信方式传递涉及复杂运算过程的大量原始数据；本发明因此只需通信传递每个算存子系统的运算结果，从而顺利提高了大容量高算力运算任务的运算效率。

现有技术的数据运算方式，会加重数据在存储位置与运算位置间的传输负担，进一步影响系统的运算效率，导致系统架构不便于灵活配置和扩展，需考虑处理器运算单元与不断增加的硬盘数量之间的兼容平衡。但本发明中，由于算存子系统的分布式独立布置，在存储数据容量需要扩容的场景下，用户可按需选择对应的磁盘阵列单元，对其进行针对式的硬盘容量扩充，而不会对整个系统的运算负荷造成统一影响，在一定程度上缓解了现有数据运算方式存在的问题，系统架构因此可针对不同运算任务做出灵活更改，例如将具体的各个算存子系统的运算任务进行分工明确并对应不同性能的运算单元和不同容量大小的磁盘阵列单元。

本发明的系统架构支持系统分别完成数据的集群式运算和分布式运算，二者具有不同的执行过程和优势特点，既能满足对高实时性数据的效率运算需求，也能满足对高安全性数据的冗余运算需求，保证高安全性数据一定能完成运算任务并得出数据运算结果的最低要求。

附图说明

图1为本发明算存系统的结构连接示意框图；

图2为本发明算存方法的整体流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以按各种不同的配置来布置和设计。

实施例1

一种具有大容量高算力的算存系统，图1示出了该系统的结构连接，系统包括管理单元、交换单元和多个算存子系统；管理单元连接交换单元，交换单元连接多个算存子系统；交换单元用于提供系统的对外接口，并通过对外接口完成多个算存子系统与外部设备的数据交互；每个算存子系统用于存储来自外部设备的数据，同时仅完成自身已存储数据的运算任务。

管理单元用于通过交换单元，在外部设备中将多个算存子系统整合为一个算存空间，同时将每个算存子系统的运算任务配置为分布式运算任务或集群式运算任务。

作为本实施例的优选结构形式，入图1所示，每个算存子系统均包括通讯单元、运算单元和磁盘阵列单元；通讯单元采用网络通讯方式与交换单元相连接，通讯单元同时分别电连接运算单元和磁盘阵列单元，运算单元与磁盘阵列单元电连接；通讯单元用于完成数据在与之相连的其余单元之间的通讯传输过程；运算单元用于获取磁盘阵列单元中存储的数据并进行运算，将运算结果通过通讯单元传输至交换单元中。

以下为本实施例系统各组成部分的详细介绍。

本实施例中，管理单元可以由内部集成EEPROM、NVRAM或者FLASH的MCU、ARM、FPGA等架构进行设计，实现系统内的温度、电压和功率等信息的监控。

管理单元在交换单元的数据交互支持下，接收来自外部设备的运算任务指令，依据运算单元的当前工作状态，对需进行的运算任务进行排队操作。同时依据运算任务指令中包含的运算数据与配置信息，确定每个算存子系统的运算任务配置方式，将其配置为分布式运算任务或集群式运算任务。

管理单元还用于对算存子系统中的磁盘阵列单元进行虚拟化操作，将多个磁盘阵列单元虚拟为一个存储空间，结合对应的多个运算单元的虚拟化，形成一个统一的算存空间。再依据可用的算存子系统数量，将运算数据进行拆分或复制，并控制交换单元完成运算任务向算存子系统的分配与传输。

管理单元还用于在所有算存子系统均完成运算操作后，对运算结果进行后处理操作，随后将运算结果通过交换单元发送至外部设备。

对于来自外部设备的运算任务指令，可对系统的IP地址、MAC地址、VLAN、风扇温度控制等信息进行配置，可以通过网页、通讯协议等方式进行配置。在管理单元对系统的统一管控下，外部设备可监控系统的实时运行状态，读取各个测试点的温度、存储容量、处理器性能占用等信息，同样可以通过网页、通讯协议等方式进行读取。

本实施例中，交换单元与外部设备连接，其中涉及的对外接口为光纤接口或VPX架构接口，光纤接口采用MT连接形式或LC连接形式；对外接口采用的协议为标准TCP/IP协议，并采用万兆网络进行通讯，万兆网络采用serdes方式搭建；此交换架构保证了整个系统的通用性。

在此基础上，外部设备可以通过万兆网络、千兆网络或USB接口来与系统进行数据通信。交换单元也可以由处理器、交换芯片或者PCIE芯片进行设计，根据数据包的交换地址进行数据转发。

本实施例中，通讯单元具有ARM处理器或CPU处理器，并通过扩展网卡芯片或PCIE芯片实现与交换单元、运算单元及磁盘阵列单元的通讯连接；通讯单元通过扩展网卡芯或PCIE芯片，实现数据的千兆或万兆级实时通讯传输过程。

本实施例中，运算单元的处理器采用ARM处理器、CPU处理器、NPU处理器或GPU处理器中的任意一种处理器，用于完成数据的运算操作，可实现分布式或集群式运算过程，提升系统的整体算力。

本实施例中，磁盘阵列单元具有ARM处理器或CPU处理器，还包括多个磁盘接口，每个磁盘接口对应连接一个存储单元；存储单元用于存储经通讯单元传输的数据，数据包括配置信息和运算数据，其中配置信息由管理单元转发，运算数据来自于外部设备。此存储架构便于用户有针对性的对部分算存子系统进行容量的增减调整，直接增减连接的存储单元即可；因此可以加强系统在面对不同运算任务时的灵活性。

在此基础上，管理单元依据磁盘阵列单元中连接的存储单元数量，将磁盘阵列单元配置为RAID0、RAID1、RAID5或RAID10中的任意一种模式，可进一步提升系统的存储能力与安全可靠性。实际应用时，磁盘接口可采用SATA接口、M.2接口或U.2接口。得益于本系统中管理单元的虚拟化功能，无论最终系统连接了多少个磁盘阵列单元，形成多少个算存子系统，在外部设备中为用户呈现的都是一个整体的算存空间，便于用户操作使用。

实施例2

在实施例1的基础上，本实施例提供一种具有大容量高算力的算存方法，该方法以实施例1的算存系统为硬件基础，其整体流程可参看图2的示意，方法中的步骤可总述如下：

S1、管理单元通过交换单元获取来自外部设备的运算任务指令；

S2、依据运算任务指令，将算存子系统的运算任务配置为分布式运算任务或集群式运算任务；

S3、管理单元将运算任务指令中的运算数据通过交换单元传输至算存子系统；

S4、每个算存子系统分别运算自身所接收的运算数据，并得出各自的运算结果；

S5、在所有算存子系统完成运算并得出运算结果后，管理单元进行运算结果后处理过程，再通过交换单元将运算结果输出至外部设备。

本实施例中，在步骤S1之前，管理单元首先采用虚拟存储技术，对于已连接于系统的多个磁盘阵列单元，将其挂接至外部设备的本地文件系统上；进而将所有算存子系统中的磁盘阵列单元虚拟整合为一个算存空间并显示于外部设备中。

在将磁盘阵列单元进行虚拟整合的同时，依据用户的任务需求，管理单元为每个磁盘阵列单元连接的多个存储单元进行RAID配置及管理。

步骤S1中，外部设备将运算任务指令交互式放置于算存空间，从而进行后续运算、存储与结果输出过程。

当需要对系统管理时，外部设备在网络通信下，基于交换单元及管理单元的功能，可通过应用APP或网页的方式查看系统工作状态，并设置系统进行运算任务时的相关门限及参数。

本实施例中，分布式运算任务的处理过程如下：

当步骤S2的算存子系统运算任务配置为分布式运算任务时，管理单元依据可用算存子系统的数量，将运算任务指令中的运算数据拆分为对应份数的子任务，再通过交换单元传输至算存子系统，算存子系统进而实现每个子任务的运算，得出子任务运算结果；管理单元此时在步骤S5的运算结果后处理过程中，将多个子任务运算结果进行整合汇总后，输出至外部设备。

本实施例中，集群式运算任务的处理过程如下：

当步骤S2的算存子系统运算任务配置为集群式运算任务时，管理单元依据可用算存子系统的数量，将运算任务指令中的运算数据复制为对应份数的子任务，再通过交换单元传输至算存子系统，算存子系统进而实现每个子任务的运算，得出子任务运算结果；管理单元此时在步骤S5的运算结果后处理过程中，比对每一个子任务运算结果，去除其中运算异常的结果，并从多个相同的子任务运算结果中选出一个子任务运算结果，或是至少一个完成运算的子任务运算结果，作为最终的运算结果并输出至外部设备。

分布式运算任务的主要优点在于运算效率极高，运算速度快，实时性优异；而集群式运算任务的主要优点在于运算安全性和运算可靠性极高，能保证重要数据一定得出运算结果并反馈应用。

尽管已描述了本发明的优选实施例，但本领域内的技术人员可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种具有大容量高算力的算存系统，其特征在于：所述系统包括管理单元、交换单元和多个算存子系统，所述管理单元连接所述交换单元，所述交换单元连接多个所述算存子系统；所述交换单元用于提供所述系统的对外接口，并通过所述对外接口完成多个所述算存子系统与外部设备的数据交互；每个所述算存子系统用于存储来自所述外部设备的数据，同时仅完成自身已存储数据的运算任务；所述管理单元用于通过所述交换单元，在所述外部设备中将多个所述算存子系统整合为一个算存空间，同时将每个所述算存子系统的运算任务配置为分布式运算任务或集群式运算任务。

2.根据权利要求1所述的一种具有大容量高算力的算存系统，其特征在于：每个所述算存子系统均包括通讯单元、运算单元和磁盘阵列单元；所述通讯单元采用网络通讯方式与所述交换单元相连接，所述通讯单元同时分别电连接所述运算单元和所述磁盘阵列单元，所述运算单元与所述磁盘阵列单元电连接；所述通讯单元用于完成数据在与之相连的其余单元之间的通讯传输过程；所述运算单元用于获取所述磁盘阵列单元中存储的数据并进行运算，将运算结果通过所述通讯单元传输至所述交换单元中。

3.根据权利要求2所述的一种具有大容量高算力的算存系统，其特征在于：所述通讯单元具有ARM处理器或CPU处理器，并通过扩展网卡芯片或PCIE芯片实现与所述交换单元、所述运算单元及所述磁盘阵列单元的通讯连接；所述通讯单元通过所述扩展网卡芯或所述PCIE芯片，实现数据的千兆或万兆级实时通讯传输过程。

4.根据权利要求2所述的一种具有大容量高算力的算存系统，其特征在于：所述运算单元的处理器采用ARM处理器、CPU处理器、NPU处理器或GPU处理器中的任意一种处理器，用于完成数据的运算操作。

5.根据权利要求2所述的一种具有大容量高算力的算存系统，其特征在于：所述磁盘阵列单元具有ARM处理器或CPU处理器，还包括多个磁盘接口，每个所述磁盘接口对应连接一个存储单元；所述存储单元用于存储经所述通讯单元传输的数据，所述数据包括配置信息和运算数据，其中配置信息由所述管理单元转发，运算数据来自于所述外部设备。

6.根据权利要求5所述的一种具有大容量高算力的算存系统，其特征在于：所述管理单元用于依据所述磁盘阵列单元中连接的所述存储单元数量，将所述磁盘阵列单元配置为RAID0、RAID1、RAID5或RAID10中的任意一种模式；所述磁盘接口采用SATA接口、M.2接口或U.2接口。

7.根据权利要求1所述的一种具有大容量高算力的算存系统，其特征在于：所述对外接口为光纤接口或VPX架构接口，所述光纤接口采用MT连接形式或LC连接形式；所述对外接口采用的协议为标准TCP/IP协议，并采用万兆网络进行通讯，所述万兆网络采用serdes方式搭建。

8.根据权利要求2所述的一种具有大容量高算力的算存系统，其特征在于：所述管理单元用于在所述交换单元的数据交互支持下，接收来自所述外部设备的运算任务指令，并依据运算任务指令中包含的运算数据与配置信息，确定每个所述算存子系统的运算任务配置方式，将其配置为分布式运算任务或集群式运算任务；所述管理单元还用于依据可用的所述算存子系统数量，将所述运算数据进行拆分或复制，并控制所述交换单元完成运算任务向所述算存子系统的分配与传输过程；所述管理单元还用于在所有所述算存子系统均完成运算操作后，对运算结果进行后处理操作，随后将运算结果通过所述交换单元发送至所述外部设备。

9.一种具有大容量高算力的算存方法，其特征在于：所述方法的硬件基础为权利要求1至8任一项所述的算存系统；所述方法包括如下步骤：

S1、管理单元通过交换单元获取来自外部设备的运算任务指令；

S2、依据运算任务指令，将算存子系统的运算任务配置为分布式运算任务或集群式运算任务；

S3、管理单元将运算任务指令中的运算数据通过交换单元传输至算存子系统；

S4、每个算存子系统分别运算自身所接收的运算数据，并得出各自的运算结果；

S5、在所有算存子系统完成运算并得出运算结果后，管理单元进行运算结果后处理过程，再通过交换单元将运算结果输出至外部设备。

10.根据权利要求9所述的一种具有大容量高算力的算存方法，其特征在于：在所述步骤S1之前，管理单元首先采用虚拟存储技术，将所有算存子系统中的磁盘阵列单元虚拟整合为一个算存空间并显示于外部设备中；在将磁盘阵列单元进行虚拟整合的同时，管理单元为每个磁盘阵列单元连接的多个存储单元进行RAID配置及管理；步骤S1中，外部设备将运算任务指令交互式放置于算存空间，从而进行后续运算、存储与结果输出过程；

当步骤S2的算存子系统运算任务配置为分布式运算任务时，管理单元依据可用算存子系统的数量，将运算任务指令中的运算数据拆分为对应份数的子任务，再通过交换单元传输至算存子系统，算存子系统进而实现每个子任务的运算，得出子任务运算结果；管理单元此时在步骤S5的运算结果后处理过程中，将多个子任务运算结果进行整合汇总后，输出至外部设备；

当步骤S2的算存子系统运算任务配置为集群式运算任务时，管理单元依据可用算存子系统的数量，将运算任务指令中的运算数据复制为对应份数的子任务，再通过交换单元传输至算存子系统，算存子系统进而实现每个子任务的运算，得出子任务运算结果；管理单元此时在步骤S5的运算结果后处理过程中，比对每一个子任务运算结果，去除其中运算异常的结果，并从多个相同的子任务运算结果中选出一个子任务运算结果，或是至少一个完成运算的子任务运算结果，作为最终的运算结果并输出至外部设备。