CN111625616B - 一种能够海量存储的企业级的数据管理系统 - Google Patents

Abstract

本发明提出的一种能够海量存储的企业级的数据管理系统，包括数据源和数据管理中心，所述数据源可以为企业人员设计的业务管理路线中的数据站点的非结构化的数据，也可以为第三方应用系统；其中，数据站点为由企业人员设计的具有特定属性的数据单元，且同一数据单元可以同时作为多条业务管理路线的数据站点，提高了数据的复用率，降低了数据采集和存储的压力；所述数据管理中心能够接收数据源的数据，以非结构化的形式进行存储，解决了存储容量的限制，降低了企业的数据存储压力；同时还能够提供多种信息展示方式，便于用户查看。

Description

一种能够海量存储的企业级的数据管理系统

技术领域

本发明涉及工业管理领域，特别是涉及一种能够海量存储的企业级的数据管理系统。

背景技术

目前信息技术已经在企业管理中广泛应用，现有企业往往都采用包括财务软件、ERP软件、OA软件和生产管理(MOM)等多种管理软件。一家大型工业企业，同时使用几十种或数百种软件都是很常见的场景。各个软件之间的数据定义不统一、数据整合以及数据共享欠缺，形成多个数据孤岛，管理效率不高。

无论采用财务软件、ERP软件、OA软件还是生产管理软件(MOM)等，其开发方式均为由用户给出需求，由专门的软件开发公司完成软件的开发，在投入使用时，软件开发公司配置相应的人员对企业不同的用户进行使用培训；但是企业内的用户仅提出需求，各类变量的定义均由软件开发公司设计，企业用户需要按照设定进行数据结构的构建，当有多个软件时，则需要分别学习不同的构建方式；同时，在用户需求收集阶段，企业用户无法完全提出其所有的需求且存在无法准确表达其需求的问题，而软件开发公司需要将企业用户的需求转换为软件语言，可能存在需求理解不正确、不透彻的问题，导致在实际使用时，会出现较多的维护问题，无法满足用户的实际需求。而无论何种领域，对其需求最了解的应当是使用该数据变量的人员，故将数据变量的定义发放至企业人员应该是充分理解其需求更好的做法。

同时，现有企业内部产生的大量数据被存储到关系型数据库，用于分析时会花费过多时间和金钱，且在数据大量的增长的情况下，基于这些传统的关系型数据库的数据处理和查询速度越来越慢，已经不能适应当前大数据处理的需求。

发明内容

为解决上述问题，本发明提出了一种能够海量存储的企业级的数据管理系统。

本发明的主要内容包括：

一种能够海量存储的企业级的数据管理系统，包括数据管理中心以及数据源，所述数据源包括企业内多条业务管理路线中的数据站点，所述数据管理中心包括：

数据接收模块，用于接收数据站点上传的非结构化的数据；

数据存储模块，将所述数据接收模块接收到的数据以非结构化的方式存储；

数据处理模块，根据用户的命令，将所述数据存储模块内的非结构化的数据转换为数据项，以创建临时的用于展示的数据库；

数据展示模块，根据命令，将所述数据处理模块创建的临时的用于展示的数据库以文本型或者图表型展示出来；

其中，每个所述数据站点与一个或者多个业务管理路线关联，所述数据站点包括企业人员根据业务需要由站点信息集内选取的数据单元，所述数据单元为包含若干基础属性的数据变量；所述数据单元包含的基础属性由企业人员根据业务需要定义，所述数据单元的集合称为站点信息库；

非结构化的数据是指具有非结构化的数据格式的数据；所述非结构化的数据格式由企业人员根据自身的业务需要自定义。

优选的，所述非结构化的数据格式由若干标准字段和若干动态字段构成，所述标准字段用于连接所述动态字段；所述标准字段为固定的字段，所述动态字段为变化的字段。

优选的，所述标准字段和所述动态字段来源于字段集，所述字段集由企业人员根据自身需要设计。

优选的，所述动态字段包括操作对象、被操作对象、时间对象、动作对象以及数据对象；所述字段集包括操作对象集以及被操作对象集，所述操作对象来源于所述操作对象集，所述被操作对象来源于所述被操作对象集。

优选的，所述操作对象集和所述被操作对象集由企业人员根据需要设计，或者所述操作对象集和所述被操作对象集来源于第三方应用系统。

优选的，所述数据源还包括第三方应用系统，第三方应用系统通过标准接口与所述数据接收模块连接，所述数据接收模块能够将第三方应用系统传输的数据转换为非结构化的数据。

优选的，所述数据接收模块通过数据提取第三方应用系统传输的数据获取对应的动态字段，同时根据业务类型由所述字段集中获取标准字段，组合成为非结构化的数据。

优选的，所述数据处理模块根据用户的命令将所述数据存储模块内的非结构化的数据通过自然语言处理转换为数据项，用以创建临时的用于展示的数据库。

优选的，所述数据处理模块根据所述字段集，将所述数据存储模块存储的非结构化的数据划分为动态字段和标准字段，所述动态字段构成临时的用于展示的数据库的数据项。

优选的，所述数据处理模块通过所述数据展示模块按照预设的展示形式向用户自动展示或者接收用户的命令按照所需的展示形式向用户展示所需的信息。

与现有技术相比，本发明提出的一种能够海量存储的企业级的数据管理系统的有益效果在于：

(1)同一数据单元可以同时作为多条业务管理路线的数据站点，提高了数据的复用率，降低了数据采集和存储的压力；

(2)各个数据站点向数据接收模块发送非结构化的数据，还能够对接第三方应用系统，将其数据转换为设定的非结构化的数据，非结构化的数据为由企业人员根据自身需要设计，与自然语言高度接近，实现非结构化的存储方式，解决了存储容量的限制，降低了企业的数据存储压力；

(3)实现多种信息展示方式，不仅能够按照预设的展示形式向用户自动展示，还能够根据用户的选择进行信息的展示。

附图说明

图1为本发明数据管理系统的功能示意图。

具体实施方式

以下结合附图对本发明所保护的技术方案做具体说明。

请参照图1。本发明提出了一种能够海量存储的企业级的数据管理系统，包括数据管理中心以及数据源，所述数据管理中心为企业内部产生的所有数据的处理中心，企业内部的数据既包括多种应用软件产生的数据，如财务软件、ERP以及OA软件，对于生产型企业来说，生产前后以及生产过程中产生的大量数据更是需要进行存储和利用的，且不仅仅只需要存储某一时刻的生产数据，所以随着生产的进行，产生的数据越来越多，对企业的存储带来较大的压力，若采用现有的关系数据库的存储方式，不仅速度慢，且企业花费的成本大。

本发明中，所述数据管理中心将企业内的所有数据以非结构化的形式存储，形成类似于一种超级文本的形式，数据源产生的数据直接按顺序写入到本超级文本内即可，降低了读取时在大量数据库内查找的时间，提高数据处理的速度，降低复杂度。

在其中一个实施例中，所述数据源可以为企业内多条业务管理路线中的数据站点，其中，每个所述数据站点与一个或者多个业务管理路线关联，所述数据站点包括企业人员根据业务需要由站点信息集内选取的数据单元，所述数据单元为包含若干基础属性的数据变量；所述数据单元包含的基础属性由企业人员根据业务需要定义，所述数据单元的集合称为站点信息库。

本发明针对的数据是属于企业级的，此处的“企业级”是指企业内流通的数据不是为单一的应用而构建的，是为企业实际发生的、且与业务相关的数据；为了更好的理解本发明，现介绍如下几个概念：

数据单元，相当于现有某个业务数据变量，其具有多个基础属性，如对于设备运维业务中的某个设备的“温度”这一数据单元，可以根据运维数据的需要，按照不同的设备、不同的工序定义这一数据单元可能包含的基础属性，如其可以包括编号、状态信息类别、信息名称、用途/说明采集方法、收集频次、责任人等基础属性；且数据单元的定义应当由对企业内特定的人员完成，其可以为企业的相关负责人也可以为行业的专家和数据架构专家共同参与完成，定义能够成为数据站点的数据单元应当具有的基础属性。

业务管理线路，是针对某个业务而言，由该业务领域的专家或者熟悉该业务领域数据分析的人员根据业务需要，选取与其业务有重要关联的数据单元，使其成为自身业务管理集内的一个点，当将某个业务相关的所有数据单元连接起来后，呈现出类似于地铁线路图的样子，故将这些数据单元称为数据站点，而将该业务涉及到所有数据站点及其相互关联称为业务管理线路。

每个业务均具有一条属于其的业务管理线路，每个所述业务管理线路包括若干数据站点，其中，所述数据站点本质为一个数据单元，该数据单元为包含若干基础属性的数据变量，所述数据单元包含的基础属性由企业人员定义，这是基于企业人员最理解某个数据单元应当包含的基础属性而做的考虑；本发明内的数据单元是非单个应用而构建的，而是业务实际产生的数据，如某个设备在加工单个工件时的电流数据，其非单一为了生产该工件而需要采集的数据，其仅单纯为实际产生的数据，其可以被加入工件生产业务的业务管理线路中作为其一个数据站点，其同样也可能是成本核算部门在核算某个设备整体使用成本时的考量，在本发明中，对于某个业务管理路线中数据站点的选择同样由熟悉业务需要的企业人员完成；即企业人员由所有数据单元构成的站点信息集内选取其所需要的数据单元作为相应业务管理路线的数据站点，从而构建出企业内所有的业务管理路线。

若将企业看做一座城市，各条业务管理路线相当于运行在城市内的地铁线路，而各条地铁线路中的各个站点，相当于本发明中的数据站点，各个站点内产生的数据一方面会影响与其关联的数据站点，另一方面上传至数据管理中心，进行统一的存储和分析，同时向用户提供多种的展示形式，此时，数据管理中心类似于一个大型的没有边界的数据池，不同业务人员可以根据自身的需要由该数据池内获取数据，为了符合不同业务的需求，数据管理中心可以根据用户的需求，为用户由大量数据中筛选并创建临时的数据库，以满足用户的个性化需求，同时能够为用户提供多种不同的展示形式，包括文本型或者图表型的展示方式。

在其他实施例中，所述数据源还可以为第三方应用系统，即所述数据管理中心通过标准的接口接收来自于第三方应用系统的数据，为了保证数据存储的统一性，将来自第三方应用系统的数据转换为统一的非结构化的数据，然后统一提供给用户查看和使用。

具体地，本发明内的数据管理中心包括数据接收模块、数据存储模块、数据处理模块以及数据展示模块，下面将详细阐述各模块的作用。

所述数据接收模块用于接收数据站点或者第三方应用系统上传的非结构化的数据，其中数据站点的数据采用自动报备的方式上传，在其中一个实施例中，所述数据站点能够以定时上传和/或触发上传的方式将数据上传至所述数据接收模块，或者具有实时属性的数据站点能够以定时上传和/或触发上传的方式将数据上传至与其关联的所有业务处理中心，其中，触发上传是指当某个数据站点发生异常时能够自动上传数据。

而对于来自于第三方应用系统的数据，所述数据接收模块能够获取不同应用系统的不同数据格式的数据，将其统一转换为非结构化的数据，以便于实现统一的存储，故所述数据接收模块还能够实现数据格式的转换。

在其中一个实施例中，本发明采用的非结构化的数据是指具有非结构化的数据格式的数据；所述非结构化的数据格式由企业人员根据自身的业务需要自定义，即由最熟悉自身业务和人员习惯的企业人员来设定其数据格式，为后续培训本企业员工和维护带来较大的便利。具体地，所述非结构化的数据格式由若干标准字段和若干动态字段构成，所述标准字段用于连接所述动态字段；所述标准字段为固定的字段，所述动态字段为变化的字段；即对于某一数据站点不同时刻上传的字符串，所述标准字段为相同的字段，而动态字段则存在不同；如企业人员可以将非结构化的数据定义为如下格式：

第一字符串于第二字符串对第三字符串进行了第四字符串；

其中，第一字符串、第二字符串、第三字符串和第四字符串属于动态字段，而其中的“于”、“对”和“进行了”等为标准字段，可以为不同的业务提供不同的定义格式，即定义不同的标准字段以及组合方式，上述的数据定义格式仅为一种示例。

更进一步地，所述标准字段和所述动态字段来源于字段集，所述字段集由企业人员根据自身需要设计，企业人员可以根据不同的业务类型定义其使用的标准字段，可以自定义其动态字段的格式，可以由第三方应用系统来获取动态字段。

在其中一个实施例中，所述动态字段包括操作对象、被操作对象、时间对象、动作对象以及数据对象；所述字段集包括操作对象集以及被操作对象集，所述操作对象来源于所述操作对象集，所述被操作对象来源于所述被操作对象集；同样地，所述字段集还包括多个标准字段的集合，可以有不同的业务人员自行定义，使得表达更准确，更符合对应业务人员的使用习惯，也可以有企业统一定义，形成一个统一的表达方式，例如上述的数据定义格式的一个具体表示可以是：张三于2020年4月10日22:30对TB200进行了开机操作；其中，张三为操作对象，即实施动作的人，操作对象也可以为某个设备，2020年4月10日22:30为时间对象，TB200为被操作对象，开机操作为动作对象；动态字段的分类也由企业人员完成，将动态字段分为其他对象集也在本发明的保护范围内。

更进一步地，所述操作对象集和所述被操作对象集由企业人员根据需要设计，或者所述操作对象集和所述被操作对象集来源于第三方应用系统，即操作对象可以来源于人事系统，也可以来自于设备管理系统，同样的，被操作对象可以自行设计，也可以来源于设备管理系统或者其他应用系统。

对于来自于第三方应用系统的数据，所述数据接收模块可以采用自然语言的处理将其转换为设定的非结构化的数据，即所述数据接收模块通过对来自于第三方应用系统的分类解析，将相应的字段与所述字段集内对应的动态字段和标准字段匹配，从而输出统一的非结构化的数据，随后传输至所述数据存储模块进行存储。

所述数据存储模块能够将所述数据接收模块接收到的数据以非结构化的方式存储，从而降低企业的存储压力。

所述数据管理中心的数据可以自动的展示给用户，也可以根据用户的需求进行展示，当由展示需求时，所述数据处理模块，根据命令，将所述数据存储模块内的非结构化的数据转换为数据项，以创建临时的用于展示的数据库；此处的命令，可以为预先设定的展示命令，也可以为用户提出的展示命令。即所述数据处理模块根据用户的命令或者设定的展示命令将所述数据存储模块内的非结构化的数据通过自然语言处理转换为数据项，用以创建临时的用于展示的数据库。

具体地，所述数据处理模块根据所述字段集，将所述数据存储模块存储的非结构化的数据划分为动态字段和标准字段，所述动态字段构成临时的用于展示的数据库的数据项。

而所述数据展示模块能够将所述数据处理模块创建的临时的用于展示的数据库以文本型或者图表型展示出来，从而为用户提供多种的展示形式。所述数据处理模块通过所述数据展示模块按照预设的展示形式向用户自动展示或者接收用户的命令按照所需的展示形式向用户展示所需的信息。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种能够海量存储的企业级的数据管理系统，其特征在于，包括数据管理中心以及数据源，所述数据源包括企业内多条业务管理路线中的数据站点，所述数据管理中心包括：

数据接收模块，用于接收数据站点上传的非结构化的数据；

数据存储模块，将所述数据接收模块接收到的数据以非结构化的方式存储；

数据处理模块，根据用户的命令，将所述数据存储模块内的非结构化的数据转换为数据项，以创建临时的用于展示的数据库；

数据展示模块，根据命令，将所述数据处理模块创建的临时的用于展示的数据库以文本型或者图表型展示出来；

其中，每个所述数据站点与一个或者多个业务管理路线关联，所述数据站点包括企业人员根据业务需要由站点信息集内选取的数据单元，所述数据单元为包含若干基础属性的数据变量；所述数据单元包含的基础属性由企业人员根据业务需要定义，所述数据单元的集合称为站点信息库；每个业务均具有一条属于其的业务管理线路，每个所述业务管理线路包括若干数据站点；

非结构化的数据是指具有非结构化的数据格式的数据；所述非结构化的数据格式由企业人员根据自身的业务需要自定义；

所述非结构化的数据格式由若干标准字段和若干动态字段构成，所述标准字段用于连接所述动态字段；所述标准字段为固定的字段，所述动态字段为变化的字段；

所述标准字段和所述动态字段来源于字段集，所述字段集由企业人员根据自身需要设计；

所述动态字段包括操作对象、被操作对象、时间对象、动作对象以及数据对象；所述字段集包括操作对象集以及被操作对象集，所述操作对象来源于所述操作对象集，所述被操作对象来源于所述被操作对象集。

2.根据权利要求1所述的一种能够海量存储的企业级的数据管理系统，其特征在于，所述操作对象集和所述被操作对象集由企业人员根据需要设计，或者所述操作对象集和所述被操作对象集来源于第三方应用系统。

3.根据权利要求1所述的一种能够海量存储的企业级的数据管理系统，其特征在于，所述数据源还包括第三方应用系统，第三方应用系统通过标准接口与所述数据接收模块连接，所述数据接收模块能够将第三方应用系统传输的数据转换为非结构化的数据。

4.根据权利要求3所述的一种能够海量存储的企业级的数据管理系统，其特征在于，所述数据接收模块通过数据提取第三方应用系统传输的数据获取对应的动态字段，同时根据业务类型由所述字段集中获取标准字段，组合成为非结构化的数据。

5.根据权利要求1所述的一种能够海量存储的企业级的数据管理系统，其特征在于，所述数据处理模块根据用户的命令将所述数据存储模块内的非结构化的数据通过自然语言处理转换为数据项，用以创建临时的用于展示的数据库。

6.根据权利要求5所述的一种能够海量存储的企业级的数据管理系统，其特征在于，所述数据处理模块根据所述字段集，将所述数据存储模块存储的非结构化的数据划分为动态字段和标准字段，所述动态字段构成临时的用于展示的数据库的数据项。

7.根据权利要求1所述的一种能够海量存储的企业级的数据管理系统，其特征在于，所述数据处理模块通过所述数据展示模块按照预设的展示形式向用户自动展示或者接收用户的命令按照所需的展示形式向用户展示所需的信息。