CN115827701B - 一种多层异构数据的管理系统、方法及电子设备 - Google Patents

Abstract

本申请提供了一种多层异构数据的管理系统、方法及电子设备，多层异构数据的管理系统包括结构化缓存层、结构化持久层以及非结构化持久层；结构化缓存层，用于将外部数据系统发送的当前任务数据以缓存在数据库中的方式实现对当前任务数据的实时结构化存储；结构化持久层，用于将外部数据系统发送的当前标准任务数据以存储在系统节点数据库中的方式实现对当前标准任务数据的实时结构化存储；非结构化持久层，用于将外部数据系统发送的当前任务数据和历史任务数据以文件的方式进行数据源码的存储。本申请能够通过实现数据的持久化，来实现构建兼容不同结构数据的数据缓存模式。

Description

一种多层异构数据的管理系统、方法及电子设备

技术领域

本申请涉及数据管理技术领域，尤其是涉及一种多层异构数据的管理系统、方法及电子设备。

背景技术

随着社会的发展和科技的进步，越来越多的数据在数据的管理系统上以源码数据的形式进行存储，然后在显示终端上进行显示。

而随着大数据时代的到来，用户对数据管理系统的要求也越来越高，如何解决异构业务系统接口带来的处理后数据的持久化及利用问题是亟待解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种多层异构数据的管理系统、方法及电子设备，能够通过实现数据的持久化，来实现构建兼容不同结构数据的数据缓存模式。

第一方面，本申请实施例提供了一种多层异构数据的管理系统，所述多层异构数据的管理系统包括至少一个数据处理工作台，每个所述工作台包括一个数据处理引擎模块和数据显示模块，所述数据处理引擎模块包块结构化缓存层、结构化持久层以及非结构化持久层；

所述结构化缓存层，用于将外部数据系统发送的当前任务数据以缓存在数据库中的方式实现对所述当前任务数据的实时结构化存储；

所述结构化持久层，用于将外部数据系统发送的当前标准任务数据以存储在系统节点数据库中的方式实现对所述当前标准任务数据的实时结构化存储，以及将外部数据系统发送的历史标准任务数据以存储在系统节点数据库中的方式实现对所述历史标准任务数据的结构化存储，其中，所述当前标准任务数据和所述历史标准任务数据均用于表征将任务数据按照预设数据识别参数进行解析后生成的标准任务数据；

所述非结构化持久层，用于将外部数据系统发送的所述当前任务数据和所述历史任务数据以文件的方式进行数据源码的存储，以便在任务结束后进行复盘；

所述数据显示模块，用于显示对应的所述当前任务数据、所述历史任务数据以及数据源码。

进一步的，所述结构化缓存层包括节点结构化缓存层和本地结构化缓存层；

所述本地结构化缓存层，用于将外部数据系统发送的当前任务数据以缓存在本地内存数据库中的方式实现对所述当前任务数据的实时结构化存储；

所述节点结构化缓存层，用于将外部数据系统发送的当前任务数据以缓存在节点数据库中的方式实现对所述当前任务数据的实时结构化存储。

进一步的，所述预设数据识别参数包括任务数据的数据标识、数据接收时间、数据类型、数据展示类型以及确定数据是否异常的标识。

进一步的，所述任务数据的数据标识包括任务的代号、任务的主题以及任务的序列号。

进一步的，所述结构化缓存层中的本地内存数据库包括支持单键多值模式的数据库和不支持单键多值的数据库。

进一步的，所述结构化持久层中的系统节点数据库包括时序数据库、嵌入式数据库以及k-v数据库。

第二方面，本申请实施例提供了一种多层异构数据的管理方法，应用于如发第一方面所述的一种多层异构数据的管理系统，所述多层异构数据的管理方法包括：

接收外部数据系统发送的目标任务数据调取请求；

若所述目标任务数据调取请求为获取所述目标任务当前目标任务数据的调取请求，则根据所述目标任务数据调取请求，在结构化缓存层中获取对应的目标任务数据；

若所述目标任务数据调取请求为获取所述目标任务历史任务数据的调取请求，则根据所述目标任务数据调取请求，在结构化持久层中获取对应的目标任务数据。

进一步的，所述多层异构数据的管理方法还包括：

接收外部数据系统发送的目标任务复盘请求；

根据所述目标任务复盘查询请求，在非结构化持久层中获取所述目标任务复盘查询请求对应的目标源码数据，以便完成对所述目标任务的复盘查询。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的多层异构数据的管理方法的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的多层异构数据的管理方法的步骤。

本申请实施例提供的多层异构数据的管理系统、方法及电子设备，x与现有技术中相比，本申请提供的实施例是通过通过在多层异构数据的管理系统构建结构化缓存层、结构化持久层以及非结构化持久层，能够与外部的数据系统相关联，实现查看任务过程中查看历史任务数据，能够通过实现数据的持久化，来实现构建兼容不同结构数据的数据缓存模式，实现了根据不同场景、不同需要将任务数据存储在多个层级，同时实现了任务数据的冗余备份，防止了某个本地缓存节点故障而导致的本地缓存内的大量任务数据不可用额情况，有效地提高了多层异构数据的管理系统处理任务数据的响应速度和吞吐量，保证了任务过程中任务数据的可用性、可利用性和完整性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种多层异构数据的管理系统的流程图；

图2示出了本申请实施例所提供的一种多层异构数据的管理方法之一的流程图；

图3示出了本申请实施例所提供的一种多层异构数据的管理方法之二的流程图；

图4示出了本申请实施例所提供的一种电子设备的结构示意图。

图中：

10-多层异构数据的管理系统；100-数据处理工作台；110-数据处理引擎模块；120-数据显示模块；121-结构化缓存层；1211-本地结构化缓存层；1212-节点结构化缓存层；122-结构化持久层；123-非结构化持久层；400-电子设备；410-处理器；420-存储器；430-总线。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

首先，对本申请可适用的应用场景进行介绍。本申请可应用于数据管理技术领域。

经研究发现，而随着大数据时代的到来，用户对数据管理系统的要求也越来越高，如何解决异构业务系统接口带来的处理后数据的持久化及利用问题是亟待解决的技术问题。

然而，现有技术中的数据管理系统对数据的管理和利用较为简单，通常仅对源码数据进行记盘操作，便于复核问题时不依赖于外部数据系统业务的配合；对处理后的数据仅实时使用，随着任务的关闭而释放；部分数据管理系统尝试进行数据持久化，但通常由于性能问题仅保留了部分关键数据，同时由于存储的逻辑并不能有效的被外部系统利用，且现有技术中的数据管理系统，无法实时的展示任务过程中的数据，且无法与外部的数据系统相关联，无法实现查看在任务过程中查看历史数据，无法实现对数据的持久化。

且现有技术在进行任务数据的处理过程中，任务数据的数据量按照单个参数计算，可达到十万条/秒，即整个任务过程中，数据量约亿条，参数的个数约五万个，虽然采用传统的关系型数据库也可以实现数据的存储，但需要自行引入分库分表策略才能支持指挥显示数据的写入和查询效率，效率低下，且只能对部分的关键数据进行备份，无法根据不同的任务去求调取任务数据。

基于此，本申请实施例提供了一种多层异构数据的管理系统，能够通过实现数据的持久化，来实现构建兼容不同结构数据的数据缓存模式。

请参阅图1，图1为本申请实施例所提供的一种多层异构数据的管理系统的结构框图。图1中所示，本申请实施例提供的多层异构数据的管理系统10，所述多层异构数据的管理系统10包括至少一个数据处理工作台100，每个所述工作台包括一个数据处理引擎模块110和数据显示模块120，所述数据处理引擎模块110包块结构化缓存层121、结构化持久层122以及非结构化持久层123。

本申请提供的实施例提供的多层异构数据的管理系统10可以根据实际情况应用于不同的应用场所，例如本申请提供的实施例选用航天试验任务的应用场景，而本申请提供的实施例中的数据显示模块120即为航天试验任务中适用的指挥显示终端，且指挥显示终端是航天试验任务中的指挥中枢，主要是通过网络接收各外部数据系统推送过来的任务数据，并将其转换为曲线、文字、图形以及动画等方式的信息提供给指挥和技术岗位人员等，使其能够快速、准确以及直观地了解任务过程的全面情况，并为各级人员的决策提供依据。

任务过程中，指挥显示网从多层异构数据的管理系统10接收的人物数据量通常在4-10兆比特每秒左右，为了能够及时的为岗位人员提供各类数据以及网络的负载压力，多层异构数据的管理系统10中的每个数据处理工作台100中的数据显示模块120通常采用被动接收模式，独立的接收各类任务数据。

由于航天任务的不断增多，对于航天任务数据的管理要求也不断提高，航天任务数据的管理需要体现以下几点：1）实时性，随着航天任务数据的不断完善和显示内容的不断丰富，多层异构数据的管理系统10接收处理的数据也在不断增多，多层异构数据的管理系统10需要在有限的软硬件资源条件下保障数据展示的实时性；2）可靠性，随着航天任务频率越来越高，需要保障在任务过程中多层异构数据的管理系统10的可靠性，在多层异构数据的管理系统10偶发性异常的情况下，需要保障显示的寒天任务的任务数据的完整性和一致性，保障多层异构数据的管理系统10的连续性；3）数据可利用性，为了更好的支撑航天任务的指挥决策，不仅需要全面的展示各个航天任务的在当前航天任务下的参数状态数据，还需要能够和相关型号的历史航天任务的任务数据进行对比展示。

所述结构化缓存层121，用于将外部数据系统发送的当前任务数据以缓存在数据库中的方式实现对所述当前任务数据的实时结构化存储。

这里，结构化缓存层121主要为在当前任务过程中为数据显示模块120提供更好的当前任务数据的实时访问性能，且结构化缓存层121仅保留软件运行过程的当前任务数据，当软件重启后，所缓存的当前任务数据会被释放。

其中，结构化缓存层121实现了数据显示和数据存储的分离，结构化缓存层121在保障多层异构数据的管理系统10中数据显示模块120可以进行不同页面显示以及不同方式的数据共享的同时，也提供了外部数据系统的实时性查询，且本申请提供的实施例中的结构化缓存层121可以创建和支持更多的使用模式。

可选的，所述结构化缓存层121包括节点结构化缓存层1212和本地结构化缓存层1211。

所述本地结构化缓存层1211，用于将外部数据系统发送的当前任务数据以缓存在本地内存数据库中的方式实现对所述当前任务数据的实时结构化存储。

这里，当需要存储的任务数据的内存资源较为丰富时，可以通过部署的本地结构化缓存层1211进行任务数据的存储，或将任务数据进行采自定义数据结构的规范和转化，然后存储在对应的本地内存数据库中。

其中，当当前的任务数据（外部数据系统发送任务数据的或多层异构数据的管理系统10被动接收的任务数据）存储任务达到预设数据量时（如10GB的量级），此时，本地内存数据库可以采用高性能的嵌入式数据库实现对任务数据的实时结构化缓存。

且由于本地结构化缓层存不需要考虑高并发的问题，即便是在考虑线程安全的情况下，速度依然是高于集中节点结构化缓存层1212的，由于本地结构化缓层能够减少和集中节点的远程缓存间的数据交互，减少网络I/O开销，降低这一过程中在网络通信上的耗时，尤其是当上百台终端同时运行时，本地结构化缓层将发挥更好的作用。

可选的，所述结构化缓存层121中的本地内存数据库包括支持单键多值模式的数据库和不支持单键多值的数据库。

这里，多层异构数据的管理系统10所接收和处理的任务数据主要包括地面设备状态数据、航天器状态参数数据、飞行弹道数据、指挥数据以及测试发射流程数据等，这些任务数据都是典型的时序类数据，具备如下特点：数据总是新增的；数据按照时间达到/排序的；数据量大，单次任务数据以单参数数据为单位能达到亿条以上；基本不对数据进行修改和删除；事后的数据分析与时间是强相关的。

此时，多层异构数据的管理系统10从网络接收到的任务数据也即数据源码，从整体上看属于非结构化数据，因为每个接口收到的数据帧长度和内容都是变化的，这些非结构的任务数据经过解析处理后形成结构化数据，而本申请提供的多层异构数据的管理系统10在接收到这些外部数据的同时还需要维护一些静态数据，比如单个参数的名称、代号以及阈值范围等信息，这些静态数据也属于典型的结构化数据，上述不同结构和类型的任务数据一般会存储到不同结构的数据中，进而实现数据的备份。

所述节点结构化缓存层1212，用于将外部数据系统发送的当前任务数据以缓存在节点数据库中的方式实现对所述当前任务数据的实时结构化存储。

这里，节点结构化缓存层1212外部数据系统发送的当前任务数据缓存在部署的节点数据库中进行对当前任务数据的实时结构化存储，并设置主备和虚拟IP，使得多层异构数据的管理系统10中的所有节点都可以按需访问。

其中，节点结构化缓存层1212实现主要通过键值的模式进行存储，根据所采用的缓存方式不同，数据的组织有三种模式：

1）自定义内存数据库：参数标识作为键，其他属性封装的json格式的数据链表作为值。

2）内存数据库：对于支持单键多值模式的数据库，参数标识作为键，其他属性封装的json格式的数据作为值。

上述中，内存数据库是一种将全部数据存储在内存中，无需进行磁盘I/O即可对数据进行增删查改，具备高读写性能的数据库。

2）嵌入式数据库：对于不支持单键多值的数据库，使用参数标识和参数序号组合为键，其他属性封装的json格式的数据作为值。

上述中，嵌入式数据库用于表征将数据库嵌入到了应用程序进程中，消除了与外部服务器配置相关的开销，嵌入式数据库实际上是轻量级的，在运行时，它们需要较少的内存。

可选的，所述结构化持久层122中的系统节点数据库包括时序数据库、嵌入式数据库以及k-v数据库。

上述中，时序数据库(Time Series Database，TSDB) 是优化用于摄取、处理和存储时间戳数据的数据库。

k-v数据库用于表征带有内置的K-V存储功能。比如C++中STL的map，Python的dictionary。

其中，时序数据库、嵌入式数据库以及k-v数据库均为非关系数据库。

这里，在数据显示模块120突然关机重启、任务数据接收启动服务晚于外部任务数据分发的时候，在本地结构化缓存层1211无法提供数据支持的情况下，多层异构数据的管理系统10则在节点结构化缓存层1212进行的历史标准任务数据的访问，此过程虽然有一定的网络开销，但在速度上依然优于对结构化持久层122的访问。

所述结构化持久层122，用于将外部数据系统发送的当前标准任务数据以存储在系统节点数据库中的方式实现对所述当前标准任务数据的实时结构化存储，以及将外部数据系统发送的历史标准任务数据以存储在系统节点数据库中的方式实现对所述历史标准任务数据的结构化存储，其中，所述当前标准任务数据和所述历史标准任务数据均用于表征将任务数据按照预设数据识别参数进行解析后生成的标准任务数据。

上述中，结构化持久层122为多层异构数据的管理系统10提供低频和稳定可靠的数据查询和利用支持。

这里，当用户或外部系统无法在结构化缓存层121中访问到当前标准任务数据后，用户或外部系统会进一步到结构化持久层122查询当前标准任务数据，以及当前任务的历史标准任务数据，结构化持久层122主要为数据显示模块120和外部数据系统的交互提供历史标准任务数据的查询、分析以及利用等支持。

可选的，所述预设数据识别参数包括任务数据的数据标识、数据接收时间、数据类型、数据展示类型以及确定数据是否异常的标识。

上述中，结构化持久层122实时接收和处理的任务数据通常是时序的，结构化持久层122的数据具备以下预设数据识别参数：数据标识、数据接收时间、数据飞行时间、解析数据值、数据类型、数据展示类型以及确定数据是否异常的标识。

这里，数据标识用于表征可以唯一标识在多层异构数据的管理系统10中的数据，由任务代号、主题以及主题参数序号构成。

数据接收时间用于表征数据帧中的数据标识（如有）的北京时间或接收到数据的北京时间。

数据飞行时间用于表征在飞机起飞后接收到的数据通常用飞行时间标识，对于起飞前的数据，采用倒计时进行时间标识，也可不进行时间标识。

数据展示类型用于表征标识数据的类型，如布尔型、整数型、浮点型以及字符型等。

解析数据值用于表征多层异构数据的管理系统10对于任务数据进行解析后得到的处理结果值，通常数据值为数值型和字符型，在存储时统一转换为字符型进行存储。

其中，结构化持久层122选用支持SQL语法的时序数据库作为数据存储介质，且为了保证数据存储的效率和稳定性，本申请提供的实施例中的结构化持久层122会通过构建缓冲存储队列，定时批量的写入实时数据。

可选的，所述任务数据的数据标识包括任务的代号、任务的主题以及任务的序列号。

所述非结构化持久层123，用于将外部数据系统发送的所述当前任务数据和所述历史任务数据以文件的方式进行数据源码的存储，以便在任务结束后进行复盘。

这里，非结构化持久层123接收到的当前任务数据和所述历史任务数据通常是二进制数据（非明文数据），同时任务数据的频率、长度均是动态变化的，在非结构化持久层123存储任务数据的过程中，通常需要标记任务数据接收的时间和单包任务数据的长度，在确定接收的任务数据的时间的基础上，保证在任务复盘时，一方面可以快速的定位到所需要复盘的任务数据的时间，另一方面，可以通过时间实现更为精准的回放频率控制。

上述中，非结构化持久层123由于存储着数据源码，数据的空间占用最小，通常用于任务后复盘时，回放任务过程中的任务数据。

其中，由于非结构化持久层123采用的是文件进行存储的存储方式，且文件存储不依赖于较为复杂的环境，使用自定义应用程序即可实现，便于部署，同时非结构化持久层123方便和复制文件来供不同系统需求的使用。

这样，非结构化持久层123同样也可以采用数据库进行存储非结构化数据，因为非结构化持久层123不关注任务数据本身，因此，只需要在根据时间进行索引的同时，维护好单包任务数据的长度即可，非结构化持久层123支持文件类型的数据库或时序数据库进行任务数据的存储。

所述数据显示模块120，用于显示对应的所述当前任务数据、所述历史任务数据以及数据源码。

这里，数据显示模块120可根据不同的应用场景设置为不同的显示终端。

上述中，多层异构数据的管理系统10的不同层级的特点和优势如下表1所示：

表1

	本地结构化缓存层	节点结构化缓存层	结构化持久层	非结构化持久层
					数据访问 速度	快	较快	较慢	--
网络IO开销	无	大	大	--
					磁盘 空间 占用	无	小	大	中
线程安全	有 风险	无风险	无风险	无风险
					内存 要求	高	较高	低	低
稳定性	低	较高	高	高

本申请实施例提供的多层异构数据的管理系统10，与现有技术相比，本申请提供的实施例通过在多层异构数据的管理系统10构建结构化缓存层121、结构化持久层122以及非结构化持久层123，能够与外部的数据系统相关联，实现查看任务过程中查看历史任务数据，能够通过实现数据的持久化，来实现构建兼容不同结构数据的数据缓存模式，实现了根据不同场景、不同需要将任务数据存储在多个层级，同时实现了任务数据的冗余备份，防止了某个本地缓存节点故障而导致的本地缓存内的大量任务数据不可用额情况，有效地提高了多层异构数据的管理系统10处理任务数据的响应速度和吞吐量，保证了任务过程中任务数据的可用性、可利用性和完整性。

且本申请中的结构化缓存层121即可以被动的接收数据，也可以在任务过程中，直接向外部数据系统过其他终端服务器请求对应的历史任务数据，解决了现有技术中的数据管理系统只能单向推送实时数据，能向其主动请求数据的弊端，且任务数据进行异构处理和备份能够降低网络连接时延高的问题。

且本申请解决了现有技术中的数据管理系统在指挥过程中需要进行格式化显示的问题，且解决了现有数据管理系统无法实现全部结构化数据存储和利用效率低的问题。

请参阅图2和图3，图2为本申请实施例所提供的一种多层异构数据的管理方法的流程图之一，图3为本申请实施例所提供的一种多层异构数据的管理方法的流程图之二。如图2中所示，所述多层异构数据的管理方法包括：

如图2所示，图2示出的多层异构数据的管理方法应用于如图1所示的一种多层异构数据的管理系统，所述多层异构数据的管理方法包括以下步骤：

S201、接收外部数据系统发送的目标任务数据调取请求。

S202、若所述目标任务数据调取请求为获取所述目标任务当前目标任务数据的调取请求，则根据所述目标任务数据调取请求，在结构化缓存层中获取对应的目标任务数据。

S203、若所述目标任务数据调取请求为获取所述目标任务历史任务数据的调取请求，则根据所述目标任务数据调取请求，在结构化持久层中获取对应的目标任务数据。

本申请实施例提供的多层异构数据的管理方法，与现有技术中相比，本申请提供的实施例通过在多层异构数据的管理系统构建结构化缓存层、结构化持久层以及非结构化持久层，能够与外部的数据系统相关联，实现查看任务过程中查看历史任务数据，能够通过实现数据的持久化，来实现构建兼容不同结构数据的数据缓存模式，实现了根据不同场景、不同需要将任务数据存储在多个层级，同时实现了任务数据的冗余备份，防止了某个本地缓存节点故障而导致的本地缓存内的大量任务数据不可用额情况，有效地提高了多层异构数据的管理系统处理任务数据的响应速度和吞吐量，保证了任务过程中任务数据的可用性、可利用性和完整性。

且本申请中的结构化缓存层即可以被动的接收数据，也可以在任务过程中，直接向外部数据系统过其他终端服务器请求对应的历史任务数据，解决了现有技术中的数据管理系统只能单向推送实时数据，能向其主动请求数据的弊端，且任务数据进行异构处理和备份能够降低网络连接时延高的问题。

且本申请解决了现有技术中的数据管理系统在指挥过程中需要进行格式化显示的问题，且解决了现有数据管理系统无法实现全部结构化数据存储和利用效率低的问题。

进一步的，如图3所示，图3示出的多层异构数据的管理方法应用于如图1所示的一种多层异构数据的管理系统，所述多层异构数据的管理方法包括以下步骤：

S301、接收外部数据系统发送的目标任务数据调取请求。

S302、若所述目标任务数据调取请求为获取所述目标任务当前目标任务数据的调取请求，则根据所述目标任务数据调取请求，在结构化缓存层中获取对应的目标任务数据。

S303、若所述目标任务数据调取请求为获取所述目标任务历史任务数据的调取请求，则根据所述目标任务数据调取请求，在结构化持久层中获取对应的目标任务数据。

S304、接收外部数据系统发送的目标任务复盘请求。

S305、根据所述目标任务复盘查询请求，在非结构化持久层中获取所述目标任务复盘查询请求对应的目标源码数据，以便完成对所述目标任务的复盘查询。

下面以一实施例具体说明本申请对于多层异构数据的管理过程：

当多层异构数据的管理系统中有来自外部数据系统发送的任务数据接入时，在当前任务下，多层异构数据的管理系统一方面被动收当前任务数据，另一方面可通过集中数据管理节点主动进行任务数据的请求，多层异构数据的管理系统首先会对在本地结构化缓存层中进行查找，如果存在，就获取；若因为终端在任务开始后启动或者关机等原因造成了当前任务数据丢失或不完整，则对集中数据管理节点的节点结构化缓存层中存储的数据进行数据请求；当需要请求历史标准任务数据或非当前阶段的任务数据时，则对结构化持久层进行历史标准任务数据的请求；当需要复盘任务过程时，多层异构数据的管理系统使用非结构化持久层数据独立进行任务数据回放，进而实现任务过程中出现的数据和现象进行复盘分析。

本申请实施例提供的多层异构数据的管理系统，与现有技术相比，本申请提供的实施例通过在多层异构数据的管理系统构建结构化缓存层、结构化持久层以及非结构化持久层，能够与外部的数据系统相关联，实现查看任务过程中查看历史任务数据，能够通过实现数据的持久化，来实现构建兼容不同结构数据的数据缓存模式，实现了根据不同场景、不同需要将任务数据存储在多个层级，同时实现了任务数据的冗余备份，防止了某个本地缓存节点故障而导致的本地缓存内的大量任务数据不可用额情况，有效地提高了多层异构数据的管理系统处理任务数据的响应速度和吞吐量，保证了任务过程中任务数据的可用性、可利用性和完整性。

且本申请中的结构化缓存层即可以被动的接收数据，也可以在任务过程中，直接向外部数据系统过其他终端服务器请求对应的历史任务数据，解决了现有技术中的数据管理系统只能单向推送实时数据，能向其主动请求数据的弊端，且任务数据进行异构处理和备份能够降低网络连接时延高的问题。

且本申请解决了现有技术中的数据管理系统在指挥过程中需要进行格式化显示的问题，且解决了现有数据管理系统无法实现全部结构化数据存储和利用效率低的问题。

请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。

所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图2以及图3所示方法实施例中的多层异构数据的管理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图2以及图3所示方法实施例中的多层异构数据的管理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种多层异构数据的管理系统，其特征在于，所述多层异构数据的管理系统包括至少一个数据处理工作台，每个所述工作台包括一个数据处理引擎模块和数据显示模块，所述数据处理引擎模块包括结构化缓存层、结构化持久层以及非结构化持久层；

所述结构化缓存层，用于将外部数据系统发送的当前任务数据以缓存在数据库中的方式实现对所述当前任务数据的实时结构化存储；

所述结构化持久层，用于将外部数据系统发送的当前标准任务数据以存储在系统节点数据库中的方式实现对所述当前标准任务数据的实时结构化存储，以及将外部数据系统发送的历史标准任务数据以存储在系统节点数据库中的方式实现对所述历史标准任务数据的结构化存储，其中，所述当前标准任务数据和所述历史标准任务数据均用于表征将任务数据按照预设数据识别参数进行解析后生成的标准任务数据；

所述非结构化持久层，用于将外部数据系统发送的所述当前任务数据和历史任务数据以文件的方式进行数据源码的存储，以便在任务结束后进行复盘；

所述数据显示模块，用于显示对应的所述当前任务数据、所述历史任务数据以及数据源码。

2.根据权利要求1所述的多层异构数据的管理系统，其特征在于，所述结构化缓存层包括节点结构化缓存层和本地结构化缓存层；

所述本地结构化缓存层，用于将外部数据系统发送的当前任务数据以缓存在本地内存数据库中的方式实现对所述当前任务数据的实时结构化存储；

所述节点结构化缓存层，用于将外部数据系统发送的当前任务数据以缓存在节点数据库中的方式实现对所述当前任务数据的实时结构化存储。

3.根据权利要求1所述的多层异构数据的管理系统，其特征在于，所述预设数据识别参数包括任务数据的数据标识、数据接收时间、数据类型、数据展示类型以及确定数据是否异常的标识。

4.根据权利要求3所述的多层异构数据的管理系统，其特征在于，所述任务数据的数据标识包括任务的代号、任务的主题以及任务的序列号。

5.根据权利要求2所述的多层异构数据的管理系统，其特征在于，所述结构化缓存层中的本地内存数据库包括支持单键多值模式的数据库和不支持单键多值的数据库。

6.根据权利要求1所述的多层异构数据的管理系统，其特征在于，所述结构化持久层中的系统节点数据库包括时序数据库、嵌入式数据库以及k-v数据库。

7.一种多层异构数据的管理方法，其特征在于，应用于如权利要求1-6任一所述的一种多层异构数据的管理系统，所述多层异构数据的管理方法包括：

接收外部数据系统发送的目标任务数据调取请求；

若所述目标任务数据调取请求为获取所述目标任务当前目标任务数据的调取请求，则根据所述目标任务数据的调取请求，在结构化缓存层中获取对应的目标任务数据；

若所述目标任务数据调取请求为获取所述目标任务的历史任务数据的调取请求，则根据所述目标任务数据调取请求，在结构化持久层中获取对应的目标任务数据。

8.根据权利要求7所述的多层异构数据的管理方法，其特征在于，所述多层异构数据的管理方法还包括：

接收外部数据系统发送的目标任务复盘请求；

根据所述目标任务复盘查询请求，在非结构化持久层中获取所述目标任务复盘查询请求对应的目标源码数据，以便完成对所述目标任务的复盘查询。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求7所述的多层异构数据的管理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求7所述的多层异构数据的管理方法的步骤。

Images