CN112000644B

CN112000644B - 一种数据处理方法、系统及电子设备和存储介质

Info

Publication number: CN112000644B
Application number: CN202010851735.0A
Authority: CN
Inventors: 陈鸽
Original assignee: Beijing Inspur Data Technology Co Ltd
Current assignee: Beijing Inspur Data Technology Co Ltd
Priority date: 2020-08-21
Filing date: 2020-08-21
Publication date: 2022-08-02
Anticipated expiration: 2040-08-21
Also published as: CN112000644A

Abstract

本申请公开了一种数据处理方法、系统及设备和介质，该方法包括：获取预先配置需要进行报表统计的资源数据和数据返回类型的数据库脚本；根据数据库脚本通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据；对资源列表数据中的主体资源数据进行读取，并确定数据库脚本中当前资源数据类型对应的格式化参数；基于格式化参数对主体资源数据进行格式化处理，实现主体资源数据的封装并填充至目标报表进行显示。本申请预先将需要进行报表统计的数据配置到数据库脚本中，可自动根据该脚本读取所需的资源数据并对其进行格式化处理，从而将封装后的数据填充至报表中进行显示，实现资源数据的自动化统计、筛选和展示，提高了数据管理的效率。

Description

一种数据处理方法、系统及电子设备和存储介质

技术领域

本申请涉及云计算技术领域，更具体地说，涉及一种数据处理方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

在云计算时代，随着云服务的应用领域越来越广，对于公有云计算平台来说，只有计算、网络和存储这三大服务往往是不太够的。在目前互联网应用百花齐放的背景下，云资源信息资源用量、资源监控量、监控分布统计等也是云计算平台的关键技术之一，在云计算平台中发挥着至关重要的作用。此外，在大数据分析越来越盛行的背景下，对云资源进行统计和筛选、展示的可靠便捷管理也变得更为重要。

发明内容

本申请的目的在于提供一种数据处理方法、系统及一种电子设备和一种计算机可读存储介质，提高了数据管理的效率。

为实现上述目的，本申请提供了一种数据处理方法，包括：

获取预先配置的数据库脚本，所述数据库脚本用于配置需要进行报表统计的资源数据和数据返回类型；

根据所述数据库脚本，通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据；

对所述资源列表数据中的主体资源数据进行读取，并确定所述数据库脚本中当前资源数据类型对应的格式化参数；

基于所述格式化参数对所述主体资源数据进行格式化处理，实现主体资源数据的封装并填充至目标报表中进行显示。

可选的，所述数据库脚本中包括资源类型、资源小类、资源小类对应的接口、资源小类对应的查询参数、资源小类返回参数、资源小类返回参数显隐参数以及资源小类返回参数格式化参数。

可选的，所述根据所述数据库脚本，通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据之后，还包括：

通过对所述数据库脚本进行解析，判断是否存在多个资源小类对应的接口和/或多个资源小类对应的查询参数；

如果是，则筛选出附加资源小类接口和/或附加资源小类查询参数；

根据所述附加资源小类接口和/或所述附加资源小类查询参数读取附加资源数据，并在完成所述主体资源数据的封装后与格式化后附加资源数据进行组合。

可选的，所述根据所述附加资源小类接口和/或所述附加资源小类查询参数读取附加资源数据，并在完成所述主体资源数据的封装后与格式化后附加资源数据进行组合，包括：

根据所述附加资源小类接口和/或所述附加资源小类查询参数，通过反射调用方法读取附加资源数据；

基于当前附加资源数据类型对应的格式化参数对所述附加资源进行格式化处理，得到格式化后附加资源数据；

对封装后的所述主体资源数据进行遍历，将所述格式化后附加资源数据填充至所述主体资源数据对应的附加列表中。

可选的，所述数据库脚本还包括用于配置显示内容和显示方式的显示配置信息，所述显示配置信息包括报表自定义图标、自定义列表表头和自定义列表内容格式；

相应的，所述基于所述格式化参数对所述主体资源数据进行格式化处理，实现主体资源数据的封装并填充至目标报表中进行显示，包括：

基于所述格式化参数对所述主体资源数据进行格式化处理，实现主体资源数据的封装并填充至所述目标报表中；

基于所述数据库脚本中的显示配置信息对所述目标报表进行显示。

可选的，还包括：

接收针对所述数据库脚本的配置指令，根据所述配置指令对所述数据库脚本进行更新，以便利用更新后数据库脚本进行数据获取和封装。

为实现上述目的，本申请提供了一种数据处理系统，包括：

脚本获取模块，用于获取预先配置的数据库脚本，所述数据库脚本用于配置需要进行报表统计的资源数据和数据返回类型；

列表获取模块，用于根据所述数据库脚本，通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据；

数据读取模块，用于对所述资源列表数据中的主体资源数据进行读取，并确定所述数据库脚本中当前资源数据类型对应的格式化参数；

数据封装模块，用于基于所述格式化参数对所述主体资源数据进行格式化处理，实现主体资源数据的封装并填充至目标报表中进行显示。

相应的，所述数据封装模块，包括：

格式化单元，用于基于所述格式化参数对所述主体资源数据进行格式化处理，实现主体资源数据的封装并填充至所述目标报表中；

显示单元，用于基于所述数据库脚本中的显示配置信息对所述目标报表进行显示。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现前述公开的任一种数据处理方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述公开的任一种数据处理方法的步骤。

通过以上方案可知，本申请提供的一种数据处理方法，包括：获取预先配置的数据库脚本，所述数据库脚本用于配置需要进行报表统计的资源数据和数据返回类型；根据所述数据库脚本，通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据；对所述资源列表数据中的主体资源数据进行读取，并确定所述数据库脚本中当前资源数据类型对应的格式化参数；基于所述格式化参数对所述主体资源数据进行格式化处理，实现主体资源数据的封装并填充至目标报表中进行显示。由上可知，本申请可以预先将需要进行报表统计的资源数据和数据返回类型配置到数据库脚本中，进而可自动根据该脚本读取所需的资源数据，并按照数据库脚本中配置的格式化参数进行格式化处理，从而可将封装后的数据填充至报表中进行显示，实现资源数据的自动化统计、筛选和展示，提高了数据管理的效率。后续用户即可根据报表资源数据对资源进行有效管理，为资源的扩容和缩减提供数据支持，有利于实现物理资源的有效利用。

本申请还公开了一种数据处理系统及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种数据处理方法的流程图；

图2为本申请实施例公开的一种数据处理系统的结构图；

图3为本申请实施例公开的一种电子设备的结构图；

图4为本申请实施例公开的另一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种数据处理方法，提高了数据管理的效率。

参见图1所示，本申请实施例公开的一种数据处理方法具体包括：

S101：获取预先配置的数据库脚本，所述数据库脚本用于配置需要进行报表统计的资源数据和数据返回类型；

本申请实施例中，可以预先配置数据库脚本，该脚本为用于配置需要进行报表统计的资源数据和数据返回类型的脚本。具体地，上述数据库脚本可以包括但不限于资源类型、资源小类、资源小类对应的接口、资源小类对应的查询参数、资源小类返回参数、资源小类返回参数显隐参数以及资源小类返回参数格式化参数。

可以理解的是，上述获取数据库脚本的过程可以具体为通过预设文件传输接口导入数据库脚本，或者通过可视化界面等方式实时编写配置数据库脚本。

S102：根据所述数据库脚本，通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据；

在具体实施中，可根据上述配置好的数据库脚本获取资源数据。在获取过程中，可以通过反射调用方法，根据数据库脚本中的资源类型、资源小类、资源小类对应的接口以及资源小类对应的查询参数，从包含所需资源数据的模块中获取对应的资源列表数据。

S103：对所述资源列表数据中的主体资源数据进行读取，并确定所述数据库脚本中当前资源数据类型对应的格式化参数；

本步骤中，在获取到资源列表数据之后，可根据数据库脚本中的资源小类对应的查询参数读取资源列表数据中所需的主体资源数据。

进一步地，本申请实施例还通过解析数据库脚本，获取其中配置的当前资源数据类型所对应的格式化参数。

S104：基于所述格式化参数对所述主体资源数据进行格式化处理，实现主体资源数据的封装并填充至目标报表中进行显示。

可以理解的是，本步骤即可利用获取到的格式化参数对主体资源数据进行格式化处理，从而封装主体资源数据，进而将其填充至对应的目标报表中显示，即实现资源数据报表的展示。

作为一种优选的实施方式，本申请实施例还可以在数据库脚本中添加显示配置信息，显示配置信息即为用于配置显示内容和显示方式的配置信息。具体地，上述显示配置信息可以包括但不限于报表自定义图标、自定义列表表头和自定义列表内容格式。由此，在实现主体资源数据的封装并填充至目标报表中进行显示时，即可基于数据库脚本中的显示配置信息，按照自定义设置的显示方式和显示内容对目标报表进行显示，实现定制化显示。

在一种具体的实施方式中，本申请实施例在根据数据库脚本，通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据之后，还将进一步包括：通过对数据库脚本进行解析，判断是否存在多个资源小类对应的接口和/或多个资源小类对应的查询参数；如果是，则筛选出附加资源小类接口和/或附加资源小类查询参数；根据所述附加资源小类接口和/或所述附加资源小类查询参数读取附加资源数据，并在完成所述主体资源数据的封装后与格式化后附加资源数据进行组合。

也即，本申请中若资源小类对应的接口和/或资源小类对应的查询参数为多个，即其中一个资源小类对应的接口为主接口，剩余资源小类对应的接口为需要填充的附加数据接口，或其中一个资源小类对应的查询参数为主查询参数，剩余资源小类对应的查询参数为需要填充的附加查询参数。由此，可以在读取主体资源数据之后，进一步根据附加资源小类接口和/或附加资源小类查询参数读取附加资源数据。具体地，可以根据附加资源小类接口和/或所述附加资源小类查询参数，通过反射调用方法读取附加资源数据；基于当前附加资源数据类型对应的格式化参数对附加资源进行格式化处理，得到格式化后附加资源数据；对封装后的主体资源数据进行遍历，将格式化后附加资源数据填充至主体资源数据对应的附加列表中。通过上述方式，实现附加资源数据填充至对应主体资源数据，最终统一呈现所需的主体资源数据和附加资源数据。

需要说明的是，本申请实施例中数据库脚本用于配置需要进行报表统计的资源数据和数据返回类型，在一种可行的实施方式中，本申请实施例还提供了数据库脚本的编辑功能，即用户可根据实际的业务需求修改数据库脚本。具体地，可接收针对数据库脚本的配置指令，根据配置指令对数据库脚本进行更新，以便利用更新后数据库脚本进行数据获取和封装。通过对数据库脚本进行配置，无需修改底层代码，降低了使用难度和开发时间。例如，若需要增加获取一种新的资源类型数据，只需要相应的配置数据库脚本即可实现。

下面对本申请实施例公开的数据处理方法的实现过程进行介绍。具体的，该方法基于K8s的多架构云数据中心管理平台实现，K8s是一个基于容器技术的分布式架构方案，是一个开放的开发平台；云数据中心管理平台可支持多种架构，如x86、mips、arm64等，并可支持虚拟化、OpenStack、容器等平台。

首先，本申请实施例需要搭建K8s的云数据中心管理平台，本实施例具体可采用浪潮云海环境，并确保环境中各个模块运行正常。进而可初始化报表模块中每种报表需要的资源类型、资源小类、资源小类的接口、资源小类的查询参数、资源小类返回参数、资源小类返回参数显隐参数、资源小类返回参数格式化参数等，即可在云海环境中查询云平台资源的报表信息。

具体地，用户可在云海环境中查看界面选择云平台报表的类别、资源、及资源的其他条件信息等查询条件，数据采集模块即可按照初始化脚本配置的查询对应报表资源的资源类型、资源小类、资源小类的接口、资源小类查询参数等信息，通过反射调用到相对应模块的方法获取到资源列表数据。数据转换模块可按照初始化脚本中配置的查询对应报表资源的资源类型、资源小类获取到资源小类对应的格式化参数，进而可按照格式化参数对返回列表的数据进行逐一格式化，完成主体数据的封装。

需要说明的是，若数据采集模块解析到初始化脚本配置的查询对应报表资源的资源类型、资源小类、资源小类的接口、资源小类查询参数等信息中存在多个资源小类接口、则需要进行附加数据的封装。具体地，该处理过程可参考上述主体数据的处理过程，即数据采集模块按照初始化脚本配置的查询对应报表资源的资源类型、资源小类、资源小类的接口、资源小类查询参数等信息，筛选出附加资源小类接口、附加资源小类查询参数等，通过反射调用到相对应模块的方法获取到资源列表数据，进而数据转换模块获取初始化脚本中配置的查询对应报表资源的资源类型、资源小类获取到资源小类的格式化参数，筛选出附加资源小类对应的格式化参数，基于该格式化参数对返回列表的数据进行逐一格式化，完成附加数据的封装。

在分布完成主体数据的封装和附加数据的封装之后，数据转换模块可按照既定的规则，以主体数据列表数据为基础，对附加数据列表进行遍历，为每一条主体数据填充附加列表数据，完成报表资源数据的封装，最终完成当前资源的报表数据的展示。

下面对本申请实施例提供的一种数据处理系统进行介绍，下文描述的一种数据处理系统与上文描述的一种数据处理方法可以相互参照。

参见图2所示，本申请实施例提供的一种数据处理系统包括：

脚本获取模块201，用于获取预先配置的数据库脚本，所述数据库脚本用于配置需要进行报表统计的资源数据和数据返回类型；

列表获取模块202，用于根据所述数据库脚本，通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据；

数据读取模块203，用于对所述资源列表数据中的主体资源数据进行读取，并确定所述数据库脚本中当前资源数据类型对应的格式化参数；

数据封装模块204，用于基于所述格式化参数对所述主体资源数据进行格式化处理，实现主体资源数据的封装并填充至目标报表中进行显示。

关于上述模块201至204的具体实施过程可参考前述实施例公开的相应内容，在此不再进行赘述。

在上述实施例的基础上，作为一种优选实施方式，所述数据封装模块可以具体包括：

本申请还提供了一种电子设备，参见图3所示，本申请实施例提供的一种电子设备包括：

存储器100，用于存储计算机程序；

处理器200，用于执行所述计算机程序时可以实现上述实施例所提供的步骤。

具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，为电子设备提供计算和控制能力，执行所述存储器100中保存的计算机程序时，可以实现前述任一实施例公开的数据处理方法。

在上述实施例的基础上，作为优选实施方式，参见图4所示，所述电子设备还包括：

输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。

显示单元400，与处理器200相连，用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。

网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。

图4仅示出了具有组件100-500的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本申请还提供了一种计算机可读存储介质，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一实施例公开的数据处理方法。

本申请可以预先将需要进行报表统计的资源数据和数据返回类型配置到数据库脚本中，进而可自动根据该脚本读取所需的资源数据，并按照数据库脚本中配置的格式化参数进行格式化处理，从而可将封装后的数据填充至报表中进行显示，实现资源数据的自动化统计、筛选和展示，提高了数据管理的效率。后续用户即可根据报表资源数据对资源进行有效管理，为资源的扩容和缩减提供数据支持，有利于实现物理资源的有效利用。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述数据库脚本中包括资源类型、资源小类、资源小类对应的接口、资源小类对应的查询参数、资源小类返回参数、资源小类返回参数显隐参数以及资源小类返回参数格式化参数。

3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述数据库脚本，通过反射调用方法从包含所需资源数据的模块中获取对应的资源列表数据之后，还包括：

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述附加资源小类接口和/或所述附加资源小类查询参数读取附加资源数据，并在完成所述主体资源数据的封装后与格式化后附加资源数据进行组合，包括：

5.根据权利要求1至4任一项所述的数据处理方法，其特征在于，所述数据库脚本还包括用于配置显示内容和显示方式的显示配置信息，所述显示配置信息包括报表自定义图标、自定义列表表头和自定义列表内容格式；

6.根据权利要求5所述的数据处理方法，其特征在于，还包括：

7.一种数据处理系统，其特征在于，包括：

8.根据权利要求7所述的数据处理系统，其特征在于，所述数据库脚本还包括用于配置显示内容和显示方式的显示配置信息，所述显示配置信息包括报表自定义图标、自定义列表表头和自定义列表内容格式；

相应的，所述数据封装模块，包括：

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据处理方法的步骤。