CN115640300A - 一种大数据管理方法、系统、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种大数据管理方法、系统、电子设备和存储介质，其中，该方法包括：根据数据存储管理模块获取至少一个数据源的业务数据进行存储；根据计算引擎模块在数据分析模块确定所述业务数据的预设分析规则；在所述计算引擎模块按照所述预设分析规则确定所述业务数据的数据处理结果。本发明实施例实现了统一的数据管理，可提高数据的利用率，降低大数据的分析难度，可提高业务数据特性确定的准确性。

Description

一种大数据管理方法、系统、电子设备和存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种大数据管理方法、系统、电子设备和存储介质。

背景技术

大数据是信息技术又一次颠覆性变革，随着大数据技术在各领域获得应用，在数据数量、数据管理、数据分析等方面将会成为影响竞争优势的关键性特征。在不远的将来，数据的积累和运用将会成为业务管理和整体实力提升的重要指标。因此，大数据拓展了业务管理内涵，具有现实的重要价值。如何进行合理的大数据管理将成为业务管理的重要问题。

大数据管理通常存在零散多综合少、局部多全局少、信息管理系统种类繁多且相互独立等问题，数据在各信息系统内以不同的形式不同的存储方式存在，在进行大数据管理时，缺乏统一的入口，导致数据的利用率较低，无法在数据中找到规律，从而实现对大数据的管理。因此，如何对不同来源不同格式的大数据进行统一管理成为当前亟待解决的问题。

发明内容

本发明提供了一种大数据管理方法、系统、电子设备和存储介质，以实现统一的数据管理，提高数据的利用率，降低业务大数据的分析难度。

根据本发明的一方面，提供了一种大数据管理方法，其中，该方法包括：

根据数据存储管理模块获取至少一个数据源的业务数据进行存储；

根据计算引擎模块在数据分析模块确定所述业务数据的预设分析规则；

在所述计算引擎模块按照所述预设分析规则确定所述业务数据的数据处理结果。

根据本发明的另一方面，提供了一种大数据管理系统，其中，该大数据管理系统包括：

数据存储模块，用于获取至少一个数据源的业务数据进行存储；

计算引擎模块，用于在数据分析模块确定所述业务数据的预设分析规则；

所述计算引擎模块，还用于按照所述预设分析规则确定所述业务数据的数据处理结果。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的大数据管理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的大数据管理方法。

本发明实施例的技术方案，通过数据存储管理模块获取不同数据源的业务数据进行存储，根据计算引擎模块在数据分析模块确定业务数据的预设分析规则，并按照该预设分析规则确定业务数据的数据处理结果，实现了不同数据源的数据统一处理，可提高数据的利用率，从而降低业务大数据的分析难度，提高用户的使用体验。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种大数据管理方法的流程图；

图2是根据本发明实施例二提供的另一种大数据管理方法的流程图；

图3是根据本发明实施例三提供的一种大数据管理系统的结构示意图；

图4是实现本发明实施例的大数据管理方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种大数据管理方法的流程图，本实施例可适用于业务大数据管理的情况，该方法可以由大数据管理系统来执行，该大数据管理系统可以采用硬件和/或软件的形式实现，该大数据管理系统可配置于服务器中。如图1所示，该方法包括：

步骤110、根据数据存储管理模块获取至少一个数据源的业务数据进行存储。

其中，数据存储管理模块可以是为业务数据存储管理提供支持的软硬件模块，数据存储管理模块可以包括关系型数据库、分布式文件系统、分布式数据库、分布式数据仓库、内存数据库、全文检索引擎等，数据源可以是数据存储管理模块获取业务数据的来源，数据源可以是不同的业务系统，数据源内业务数据的格式可以不同，可以包括结构化数据或非结构化数据。

在本发明实施例中，可以通过数据存储管理模块连接到一个或多个数据源，可以在相应的数据源内获取业务数据，可以将业务数据存储到关系型数据库、分布式文件系统、分布式数据库、分布式数据仓库、内存数据库、全文检索引擎中至少之一。

在一个示例性的实施方式中，数据存储管理模块可以包括关系型数据库，该关系型数据库能够提供海量结构化的业务数据的存储能耐，支持标准的结构化查询语言(Structured Query Language，SQL)查询，其中，关系型数据库可以具体为国产自主可控关系型数据库，能够提供完整的关系型数据库事务，支持集群模式、提供容灾备份能力，能够支持数据库多租户管理，提供按需申请部署数据库的能力，支持按用户数、申请类型、申请时间、申请容量等参数自动部署数据库资源。

在另一个示例性的实施方式中，数据存储模块可以包括分布式文件系统，该分布式文件系统能够提供标准的文件访问协议，可以通过JAVA、C++、Python开发语言类型的访问接口，可支持机架感知、支持多副本存储，从而保证数据库存储模块的数据高可靠分布，该分布式文件系统还支持负载均衡，具备存储容量以及性能线性可拓展、控制节点和数据节点的高可用性特性，支持国产自主可控关键软硬件设备的安装部署。

在另一个实施例中，数据存储模块还可以包括分布式数据库，该分布式数据库支持分布式存储架构，能够通过计算节点的增加或删除实现存储容量的线性伸缩；还可以支持列式存储模式，可以通过在分布式列式数据库存储上建立二级索引来提高列值数据的检索效率；还提供了对分布式数据库的运维管理能力，提供日志记录、服务状态监控告警，能够对数据库的资源、使用情况进行监控。

在另一个实施例中，数据存储模块还包括分布式数据仓库，该分布式数据仓库可提供分布式大规模并行分析(Analytical Massively Parallel Processing，MPP)数据库服务能力，支撑交互式数据报表和数据多维分析服务；支持高效的列式存储引擎，支持常用索引，支持数据分级存储；支持数据分区存储和数据压缩；支持分布式消息队列、分布式文件系统等数据导入方式。

在另一个实施例中，数据存储模块可以基于分布式文件系统、分布式数据库、分布式数据仓库等实现融合存储管理，能够对分布式文件系统、分布式数据库、分布式数据仓库等存储方式的安装部署、配置管理和容量管理进行统一运维监控和管理，支持按照数据关系对结构化和非结构化数据进行打包和部署。还可以实现对集群状态、服务状态、存储容量、CPU使用率、读写速率等关键指标进行可视化展示和监控功能；支持关系型数据库的多租户管理。支持统一的数据管理工具对分布式文件系统进行文件管理、对分布式数据库进行数据管理和表管理，对关系型数据库和分布式数据仓库进行数据查询管理：提供对训练管理，数据备份功能，支持全量备份、增量备份等备份方式。

步骤120、根据计算引擎模块在数据分析模块确定业务数据的预设分析规则。

其中，计算引擎模块可以是提供大规模数据处理的处理框架，可支持离线计算以及实时计算等时效计算架构，可面向不同存储服务提供统一的异构计算调度框架，支持大数据分析与高性能计算混合调度。数据分析模块可包括数据分析模块的构建、训练、评估和发布的管理工具，可以提供通用算法以及算法库管理工具，能够通过拓扑链接设置流程化建模。在一些实施例中，数据分析模块还可以包括数据的可视化分析展现。预设分析规则可以是对业务数据进行分析的规则，预设分析规则可以由用户手动输入或者由预设模型确定，预设分析规则可以包括对业务数据的预设处理规则、统计规则以及统计结果显示规则等。

在本发明实施例中，可以通过计算引擎模块对数据分析模块进行调用，可以在数据分析模块内通过用户自主选择或者计算机自动选择的方式确定出用于分析业务数据的预设分析规则。在一些实施例中，用户可以通过数据分析模块中的模型库选择出适配于业务数据的神经网络模型作为预设分析规则。

在一些实施例中，计算引擎模块可以包括离线计算引擎，该离线计算引擎可以采用分布式计算框架，可提供海里数据离线批量处理能力。该离线计算框架可以包括SQL、MapReduce、Spark等常用离线计算框架。该离线计算框架还可以提供任务运维功能，支持任务运行状态监控与控制，支持并行作业模式。在一个实施例中，该离线计算引擎还可以具备拓展能力，支持在线平滑升级，采用冗余架构，防止单点故障出现，保证计算任务的高可用性。

在另一些实施例中，计算引擎模块还可以包括实时计算引擎，采用分布式计算框架，支持通过SQL对海量数掘进行即时多维分析、数据透视、数据筛选。支持离线通道、在线通道双模式并行数据导入，导入性能随集群规模线性扩展。支持高并发查询，通过多副本数据存储计算技术保证系统的高可用性。支持数据流窗口计算，支持从外部接入消息队列、关系型数据库、NoSQL、实时日志等数据源，提供实时任务的管理和监控能力。

在另一些实施例中，计算引擎模块还可以包括即席查询引擎，该即席chax引擎可提供统一查询引擎，支持类SQL查询，支持对分布式文件系统以及分布式数据库的查询能力，支持单存储引擎的简单SQL查询，以及多数据源、乱搞存储的关联运算、分组运算以及聚合运算等复杂SQL查询。

步骤130、在计算引擎模块按照预设分析规则确定业务数据的数据处理结果。

在本发明实施例中，计算引擎模块还可以按照预设分析规则对业务数据进行数据处理，可以采集该业务数据的数据处理结果。例如，预设分析规则可以包括神经网络模型，可以将业务数据输入到神经网络模型内以获取数据处理结果。可以理解的是，业务数据的类型可以为多种，在预设分析规则内可以针对不同类型的业务数据设置不同的神经网络模型，可以按照业务数据的类型输入各自对应的神经网络模型以获取到数据处理结果。

本发明实施例，通过数据存储管理模块获取不同数据源的业务数据进行存储，根据计算引擎模块在数据分析模块确定业务数据的预设分析规则，并按照该预设分析规则确定业务数据的数据处理结果，实现了不同数据源的数据统一处理，可提高数据的利用率，从而降低业务大数据的分析难度，提高用户的使用体验。

实施例二

图2为本发明实施例二提供的一种大数据管理方法的流程图，本实施例是在上述发明实施例基础上的具体化，参加图2，本发明实施例提供的方法具体包括如下步骤：

步骤210、根据数据存储管理模块调用数据采集整编模块的训练数据采报单元采集专业领域数据作为业务数据。

其中，数据采集整编模块可以是提供数据的采报汇总和整编处理功能功能，可以用于采集业务数据以及对业务数据进行预处理。数据采集整编模块可以包括训练数据采报单元以及训练数据整编单元。

在本发明实施例中，数据存储管理模块可以通过调用数据采集整编模块内的训练数据采报单元对专业领域数据进行采集，可以将采集到的专业领域数据作为业务数据，可以理解的是，训练数据采报单元可配置有一种或多种数据源的对接规则，可以在关系型数据库、分布式文件系统、分布式数据库、分布式数据仓库、内存数据库、全文检索引擎等数据存储内获取专业领域数据，其中，该专业领域数据可以用于训练数据分析模型以及确定数据处理结果。

在一些实施例中，训练数据采报单元可以用于数据采报任务管理、采报表单管理、在线报、离线采报以及汇总更新等功能，为通用的训练管理数据来报汇总提供支撑。在一些实施例中，数据采报单元提供训练管理数据采报任务编辑录入、采报任务审核规则定义、采报任务审核、采报人员权限管理等管理功能，以及历史采报任务的查询检索、打印输出、数据备份等功能。还可以提供采集表单的定制、生成、发布和更新等管理功能，支持对于手工填报和自动录入两种表单进行归档、查询和编目。可提供数据项定制、采报页面生成、数据技术校验和分级分发汇总等在线采报功能，支持对通用的基础数据和动态数据进行在线实时采报更新。提供数据项定制、采报页面生成、数据技术校验等离线采报功能，支持对通用基础数据和动态数据进行离线采集。提供对各部门、各系统上报数据进行汇总管理的功能，在数据汇总更新过程中支持数据技术检查，支持按单位、活动、任务、用户或数据表等方式进行汇总和更新。预留与指挥信息系统之间的数据交换接口，支持与指挥信息系统之间流转数据的共享交换和汇聚入库功能。

步骤220、根据数据存储管理模块调用数据采集整编模块的训练数据整编单元将专业领域数据切分整理后作为业务数据。

其中，数据采集整编模块可以是对专业领域数据进行预处理的模块，数据采集整编模块配置的规则可以包括对专业领域数据进行数据整编处理、可以按照不同粒度对专业领域数据进行切分处理，数据采集整编模块可以对结构化数据以及非结构化数据进行处理。

在本发明实施例中，可以由数据存储管理模块对数据采集整编模块的训练数据整编单元进行调用，可以由训练数据整编单元内配置的一个或多个规则对接结构化和非结构化的专业领域数据，可以对上述对接的专业领域数据进行切分处理以及数据整编数据。

在一些实施例中，数据采集整编单元可提供对专业领域数据进行数据切分、数据模拟、数据集成、整编定制等数据整编处理功能。可提供按照数据分类、单位、地域、活动、专题等粒度切分专业领域数据的功能，还可以支持对切分后的数据进行编辑、修改和删除。数据采集整编单元提供专业领域数据的模拟生成功能，可支持成建制批量模拟生成、数据表批量模拟生成、数据表字段模拟生成、数据内容和规则模拟生成。例如，可提供训练、管理数据资源池中主键级联编辑、修改与删除，实现识别码统一管理与自动生成，以及组织机构、训练场所设施等序列数据的灵活定制与快速生成。数据采集整编单元可支持多种数据引接方式，支持多渠道数据源的引接汇聚，支持离线数据批量导入和在线数据实时接入。支持关系型数据库、NoSQL数据库、大数据数据库、文本存储等数据类型，支持在线、离线数据的全量、增量同步。数据采集整编单元可支持数据引接汇聚工作流监控和日志管理。

步骤230、根据计算引擎模块在数据分析模块的算法模型库确定至少一个业务数据处理模型。

其中，算法模型库可提供数据分析挖掘算法以及模型，在一些实施例中，算法模型库可以包括分类、聚类、回归、关联分析等常用算法，可以对数据分析挖掘算法进行注册、管理和发表，可以支持对模型的评估、调优。具体的，算法模块可以支持C/C++、Python、Java等多种语言开发的模型。

在本发明实施例中，可以通过计算引擎模块在算法模块库内对数据分析挖掘算法以及模型进行确定，可以将确定出的数据分析挖掘算法以及模型作为业务数据处理模型。可以理解的是，业务数据处理模型的确定国产可以通过用户手动选择或者由计算机根据业务数据的属性自动选择。

在一些实施例中，算法模型库可以对算法模型进行管理，可以提供算法模型基本信息、版本信息、参数信息、评价信息、示例信息、帮助信息的管理功能，支持算法调用信息的提取。算法模型库支持基于知识图谱的常用推理分析算法模型，用户或者计算机可以按照业务数据的类型匹配山上述信息中的一种或者多种从而实现业务数据处理模型的确定。

步骤240、根据计算引擎模块调用数据分析模块的数据探索单元检查业务数据处理模型与业务数据的适配性后将业务数据处理模型作为预设分析规则。

其中，适配性可以是描述业务数据与业务数据处理模型匹配程度的信息，适配性可以由神经网络模型确定或者由预设规则计算确定。在一些实施例中，适配性可以包括业务数据处理模型针对业务数据的处理结果的正确性，该正确性越高则适配性越高。数据探索单元可提供业务数据与算法的适配性检查功能，可以支持不同来源不同类型的算法的统一调度。

在本发明实施例中，可以在计算引擎内调用数据探索单元对业务数据处理模型与业务数据进行适配性检查，可以在适配性检查通过后，将该业务数据处理模型作为业务数据的预设处理规则。可以理解的是，适配性检查可以通过预设规则确定出业务数据处理模型与业务数据的适配性指标，在该适配性指标大于或等于适配阈值的情况下，确定业务数据处理模型与业务数据适配。其中，适配性指标可以包括模型处理结果的正确性，业务数据与业务数据处理模型的类别相似度等。

在一些实施例中，数据探索单元可以提供面向用户工作流的、可拖拽式的数据分析探索功能，能够以可视化方式展示分析探索的全过程。提供算法与数据的适配性检查功能，支持数据分析探索结果的导出、复用和集成。支持对不同来源、不同类型的算法进行统一调度，支持任务提交至分布式计算框架运行调度。支持以服务方式调用分析模型，支持自定义分析模型的共享。提供对机器学习和深度学习算法模型的评估与训练，支持在统一界面中进行模型训练和调参。

步骤250、在计算引擎模块按照预设分析规则确定业务数据的数据处理结果。

步骤260、在计算引擎模块在数据分析模块的数据可视化单元确定至少一个数据展示方式，并按照数据展示方式显示数据处理结果。

其中，数据可视化单元可以提供数据结果可视化展示形式的软硬件模型，数据可视化单元可以基于预先配置的数据展示方式对数据处理结果进行可视化显示，数据展示方式可以通过配置文件或者配置脚本的形式存在，可以理解的是，数据可视化单元内可以按照数据处理结果的业务、类型、数据结构等信息设置不同的数据展示样式。

在本发明实施例中，可以在计算引擎模块调用可视化单元，可以在可视化单元内按照数据处理结果的业务、类型、数据结构等信息选择对应的数据展示样式，可以按照该数据展示样式对数据处理结果进行显示，以辅助用户获取业务数据的特性。

在一些实施例中，数据展示方式包括以下至少之一：仪表盘显示样式、地图分析样式、电子表格。

在本发明实施例中，可视化单元内可以包括仪表盘显示样式、地图分析样式、电子表格等显示样式。

在另一些实施例中，可视化单元可以提供仪表盘、地图分析、电子表格等数据可视化分析展现方式。支持数据上卷、下钻、旋转、切片、切块等多维数据分析与展现，支持对数据进行透视、筛选等。可视化单元还提供了TB级数据的多维度统计分析和查询，支持通过API接口进行二次开发。TB级提供面向多种场景的大屏模板定制功能，支持设置多种数据可视化图表分析数据，支持组合数据分析维度和指标、自定义表达式与过滤筛选条件，支持通过拖拽组合分析图表形成主题面板，支持可视化图表之间联动。

本发明实施例，通过数据存储管理模块调用训练数据采报单元对业务数据进行采集，使用训练数据整编单元对业务数据进行切分整理，在数据分析模块的算法模型库确定业务数据处理模型，并在数据探索单元确定业务数据处理模型与业务数据的适配性，在确定适配后将业务数据处理模型作为预设分析规则，在计算引擎模块按照预设分析规则处理业务数据的数据处理结果，数据可视化单元确定数据展示方式，并按照数据展示方式显示数据处理结果，实现了不同数据源的数据统一处理，可提高数据的利用率，从而降低业务大数据的分析难度，提高用户的使用体验。

进一步的，在上述发明实施例的基础上，本发明实施例提供的方法还包括：根据数据综合管理模块对所述业务数据进行元数据管理、数据质量管理、数据资产管理、数据维护管理、数据安全管理中至少之一。

在本发明实施例中，数据综合管理模块以元数据管理为核心，实现数据全生命周期端到端管控，主要提供元数据管理、数据质量管理、数据资产管理、数据维护管理、数据安全管理等功能。

其中，元数据管理包括支持导入专用的基础代码、数据应用字典和数据元定义；提供元数据目录管理功能，提供端到端的元数据服务；提供数据模型定义、自动生成数据库模式定义语言，物化数据模型、发布数据模型、导入导出数据模型、数据模型版本管理、数据模型部署情况监控等功能；支持事务处理型与多维分析型两种数据建模；提供血缘关系分析和影响分析等数据血统分析功能，支持通过数据地图的方式展现数据加工处理的过程。

数据质量管理包括：提供数据质量分析指标管理、检测与审核、分析评估、改进提升功能，支持数据质量管理流程与方法，支持数据全生命周期的质量监控与质量审核，保证数据的完整性、准确性、一致性、规范性和及时性等主要质量指标；提供数据质量分析指标录入、查询、修改、删除、存储、导入、导出等数据质量分析指标管理功能；提供空值、重复值、格式、参考值、波动性等常用质量检测规则，支持数据质量问题汇总审核；提供数据质量情况综合分析功能，支持自动生成专题数据和综合数据质量分析报告；按照训练管理数据质量校验需求，提供基于训练、管理业务管理逻辑的数据质量检测规则；支持生成数据质量校验记录，支持按照业务领域数据库等不同维度，对数据质量进行评价，生成可视化分析结果。

数据资产管理包括：支持数据资产登记注册、维护和状态盘点。支持以资产视角统一规划数据的元数据管理和逻辑组织；提供全局统一的数据视图，提升数据管控能力，支撑数据集成整合和统一管理；支持数据资产注册、分类管理和可视化展示；支持数据全生命周期管理，支持在线数据和归档数据的查询；提供数据资产使用情况和占用空间情况等统计信息展现。支持对数据资产历史变化情况的统计和对比评估，支持以数据地图的方式查看数据资产分布情况。

数据维护管理包括：提供数据导入导出、数据备份恢复、数据归档和数据销毁等功能；支持数据批量和单项数据导入导出，支持全量和增量数据导入导出；支持数据冷备份和热备份，支持全量和基于条件的数据恢复；支持定时和手动两种数据归档模式，提供归档数据索引生成功能；提供数据销毁审核功能，支持基于用户权限和时限约束的销毁数据回收站；支持对分布式文件系统、分布式数据库、分布式数据仓库的数据维护管理，支持设置导入导出、备份恢复、归档和销毁数据的过滤条件。

数据安全管理包括：提供数据安全策略管理、数据授权、数据审计日志等功能；提供数据加密、数据脱敏等数据安全功能，支持数据分类、分密、分级策略的定义、管理和维护；提供数据应用安全策略管理功能，提供用户登录情况、异常访问情况、数据加密情况等数据安全态势管理功能；提供针对数据集、数据项的数据授权功能，支持基于角色和属性授权，支持基于时域和地域进行授权；提供数据产生、处理、应用等流程的数据审计功能，支持审计日志的浏览、查询和分析。

进一步的，在上述发明实施例的基础上，本发明实施例提供的方法还包括：根据数据融合共享模块对业务数据进行融合共享处理，其中，所述融合共享处理包括以下至少之一：数据目录、数据集成、数据同步、数据订阅分发、数据访问。

其中，数据融合共享模块可用于提供大数据融合共享支持服务，可以实现不同业务系统单元之间的数据融合对接，支持用户对数据资源池中的数据进行访问，可提供跨地域开平台的数据共享访问能力。

在本发明实施例中，数据融合共享模块可以通过数据目录、数据集成、数据同步、数据订阅分发、数据访问等功能对业务数据实现融合共享处理。

具体的，数据目录可以用于提供数据产品和数据对象服务的统一注册、编目组织、搜索和展现功能，为数据产品共享提供支撑。提供数据信息资源的注册、编目组织、关联关系分析和导航浏览检索功能，为搜索查询和按需获取信息资源提供支撑。数据目录包括本地目录、全局目录和条件共享目录。

数据集成可以用于提供对传统关系型数据库、文件系统、网络报文、分布式消息队列、分布式数据库、分布式文件系统的数据集成服务功能。提供统一数据引接模板的在线管理和辅助生成、数据集成任务在线管理和运行状态监控功能。支持数据清洗、转换等常用ETL操作，支持数据集成服务分布式部署运行。

数据同步可用于提供多中心数据之间的同步和交换功能，支持跨中心数据近实时一致。支持关系型数据库数据的变化捕获，实现对目标数据的增量更新，提供分布式数据同步服务。提供网络资源受限环境下数据的同步交换功能，支持对同步队列的断点续传、同步内容压缩等功能。支持分布式文件系统之间的数据同步，可以按文件或文件夹异步复制文件。提供数据同步运维管理功能，支持查看数据同步列表、数据同步状态等信息。

数据订阅分发可用于提供共享数据订阅功能，支持数据库资源、文件资源和服务资源等订阅方式，支持订阅审核。提供订阅分发引擎功能，支持分发调度和可靠分发。提供订阅分发任务管理功能，支持订单关系浏览、任务控制和订单部署等，支持订阅数据管理。

数据访问可用于支持对关系数据库、内存数据及大数据平台等存储类型的统一访问，通过数据对象的形式进行服务化封装，屏蔽数据源物理位置、存储形态的差异，提供对异构数据源的统一对象化询问服务。提供统一的对象化数据民间接口，屏蔽底层关系型数据库、分布式文件系统和分布式数据库的差异。提供数据对象缓存功能，支持数据对象的服务端分布式缓存和客户端本地缓存。支持按数据对象负载情况、业务对象特征、用户优先级设置数据对象动态路由策略。支持数据对象寻址，提供基于数据内容的全域数据动态路由机制。提供数据对象服务运行状态的监控和自动运维管理功能。支持数据对象服务运行状态、访问情况、使用情况的统计。提供数据产品的权限统一控制功能，保障用户在共享环境数据的访问安全性。支持数据目录权限控制，能够控制数据产品元数据的可见性。支持数据访问权限控制，能够按IP地址、用户，以及操作类型进行控制。提供目录权限策略、数据对象权限策略的统一管理机制，实现权限策略的新增、删除、修改。

实施例三

图3是根据本发明实施例三提供的一种大数据管理系统的结构示意图。如图3所示，该系统包括：

数据存储模块301，用于获取至少一个数据源的业务数据进行存储；

计算引擎模块302，用于在数据分析模块确定所述业务数据的预设分析规则；计算引擎模块302，还用于按照所述预设分析规则确定所述业务数据的数据处理结果。

本发明实施例，通过数据存储管理模块301获取不同数据源的业务数据进行存储，根据计算引擎模块302在数据分析模块确定业务数据的预设分析规则，并按照该预设分析规则确定业务数据的数据处理结果，实现了不同数据源的数据统一处理，可提高数据的利用率，从而降低业务大数据的分析难度，提高用户的使用体验。

进一步的，在上述发明实施例的基础上，数据管理系统还包括数据采集整编模块，相应的，数据存储模块301具体用于：调用所述数据采集整编模块的训练数据采报单元采集专业领域数据作为所述业务数据；调用所述数据采集整编模块的训练数据整编单元将所述专业领域数据切分整理后作为所述业务数据。

进一步的，在上述发明实施例的基础上，还包括：数据综合管理模块，所述数据综合管理模块，用于对所述业务数据进行元数据管理、数据质量管理、数据资产管理、数据维护管理、数据安全管理中至少之一。

进一步的，在上述发明实施例的基础上，计算引擎模块302还用于：在所述数据分析模块的算法模型库确定至少一个业务数据处理模型；调用所述数据分析模块的数据探索单元检查所述业务数据处理模型与所述业务数据的适配性后将所述业务数据处理模型作为所述预设分析规则。

进一步的，在上述发明实施例的基础上，计算引擎模块302还用于：在所述数据分析模块的数据可视化单元确定至少一个数据展示方式，并按照所述数据展示方式显示所述数据处理结果。

进一步的，在上述发明实施例的基础上，数据展示方式包括以下至少之一：仪表盘显示样式、地图分析样式、电子表格。

进一步的，在上述发明实施例的基础上，系统还包括数据融合共享模块，数据融合共享模块用于对所述业务数据进行融合共享处理，其中，所述融合共享处理包括以下至少之一：数据目录、数据集成、数据同步、数据订阅分发、数据访问。

本发明实施例所提供的大数据管理系统可执行本发明任意实施例所提供的大数据管理方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4是实现本发明实施例的大数据管理方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如大数据管理方法。

在一些实施例中，大数据管理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的大数据管理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行大数据管理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种大数据管理方法，其特征在于，应用于数据管理系统，所述方法包括：

根据数据存储管理模块获取至少一个数据源的业务数据进行存储；

根据计算引擎模块在数据分析模块确定所述业务数据的预设分析规则；

在所述计算引擎模块按照所述预设分析规则确定所述业务数据的数据处理结果。

2.根据权利要求1所述方法，其特征在于，所述数据管理系统还包括数据采集整编模块，所述根据数据存储管理模块获取至少一个数据源的业务数据进行存储，包括以下至少之一：

根据所述数据存储管理模块调用所述数据采集整编模块的训练数据采报单元采集业务训练数据作为所述业务数据；

根据所述数据存储管理模块调用所述数据采集整编模块的训练数据整编单元将所述业务训练数据切分整理后作为所述业务数据。

3.根据权利要求1所述方法，其特征在于，还包括：

根据数据综合管理模块对所述业务数据进行元数据管理、数据质量管理、数据资产管理、数据维护管理、数据安全管理中至少之一。

4.根据权利要求1所述方法，其特征在于，所述根据计算引擎模块在数据分析模块确定所述业务数据的预设分析规则，包括：

根据所述计算引擎模块在所述数据分析模块的算法模型库确定至少一个业务数据处理模型；

根据所述计算引擎模块调用所述数据分析模块的数据探索单元检查所述业务数据处理模型与所述业务数据的适配性后将所述业务数据处理模型作为所述预设分析规则。

5.根据权利要求4所述方法，其特征在于，还包括：

在所述计算引擎模块在所述数据分析模块的数据可视化单元确定至少一个数据展示方式，并按照所述数据展示方式显示所述数据处理结果。

6.根据权利要求1所述方法，其特征在于，所述数据展示方式包括以下至少之一：仪表盘显示样式、地图分析样式、电子表格。

7.根据权利要求1所述方法，其特征在于，还包括：

根据数据融合共享模块对所述业务数据进行融合共享处理，其中，所述融合共享处理包括以下至少之一：数据目录、数据集成、数据同步、数据订阅分发、数据访问。

8.一种大数据管理系统，其特征在于，所述系统包括：

数据存储模块，用于获取至少一个数据源的业务数据进行存储；

计算引擎模块，用于在数据分析模块确定所述业务数据的预设分析规则；

所述计算引擎模块，还用于按照所述预设分析规则确定所述业务数据的数据处理结果。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的大数据管理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的大数据管理方法。

Images