CN114281877A - 一种数据管理系统及方法 - Google Patents
一种数据管理系统及方法 Download PDFInfo
- Publication number
- CN114281877A CN114281877A CN202111598361.7A CN202111598361A CN114281877A CN 114281877 A CN114281877 A CN 114281877A CN 202111598361 A CN202111598361 A CN 202111598361A CN 114281877 A CN114281877 A CN 114281877A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- standard
- initial
- enterprise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种数据管理系统及方法。所述系统包括:数据接入模块、数据中台模块和数据应用模块;所述数据接入模块,用于所述系统与外接终端设备之间的数据通信,以获取初始数据;所述数据中台模块,用于存储所述初始数据,并对所述初始数据进行处理以形成标准数据,存储所述标准数据;所述数据应用模块,用于根据所述标准数据提供相应的网络应用服务。利用上述技术方案,能够提高数据管理的准确性和处理效率。
Description
技术领域
本发明实施例涉及数据管理技术领域,尤其涉及一种数据管理系统及方法。
背景技术
数据管理主要指数据质量管理,数据质量管理,是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
现有的数据质量管理平台,由于企业管理的数据系统内的数据在不断的增大,数据类型在不断的增多,使得企业管理的数据系统在对数据进行处理时,处理速度较慢,且无法做到对数据的快速处理与分类,目前主要使用数据抽取、转换和加载(Extraction-Transformation-Loading,ETL)对数据进行处理,但是在处理的过程中,无法快速的对初始数据进行补充,影响系统数据管理的处理效率。
发明内容
本发明实施例提供了一种数据管理系统及方法,以提高数据管理的准确性和处理效率。
第一方面,本发明实施例提供了一种数据管理系统,包括:数据接入模块、数据中台模块和数据应用模块;
所述数据接入模块,用于所述系统与外接终端设备之间的数据通信,以获取初始数据;
所述数据中台模块,用于存储所述初始数据,并对所述初始数据进行处理以形成标准数据,存储所述标准数据;
所述数据应用模块,用于根据所述标准数据提供相应的网络应用服务。
第二方面,本发明实施例还提供了一种数据管理方法,包括:
通过数据接入模块进行数据管理系统与外接终端设备之间的数据通信,以获取初始数据,并将所述初始数据传输至数据中台模块存储;
通过所述数据中台模块对所述初始数据进行处理以形成标准数据,存储所述标准数据,并将所述标准数据传输至数据应用模块;
通过所述数据应用模块,根据所述标准数据提供相应的网络应用服务。
本发明实施例提供了一种数据管理系统及方法,首先通过数据接入模块,用于系统与外接终端设备之间的数据通信,以获取初始数据;然后通过数据中台模块,用于存储所述初始数据,并对初始数据进行处理以形成标准数据,存储标准数据;最后通过数据应用模块,用于根据标准数据提供相应的网络应用服务。利用上述技术方案,能够提高数据管理的准确性和处理效率。
附图说明
图1为本发明实施例一提供的一种数据管理系统的结构示意图;
图2为本发明实施例二提供的一种数据管理方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
需要注意,本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分,并非用于限定顺序或者相互依存关系。
需要注意,本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
数据质量管理,是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。由于数据清洗工具通常简单地被称为数据质量工具,因此很多人认为数据质量管理,就是修改数据中的错误、是对错误数据和垃圾数据进行清理。这个理解是片面的,其实数据清洗只是数据质量管理中的一步。数据质量管理,不仅包含了对数据质量的改善,同时还包含了对组织的改善。针对数据的改善和管理,主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容;针对组织的改善和管理,主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。
现有的数据质量管理平台,由于企业管理的数据系统内的数据在不断的增大,数据类型在不断的增多,使得系统在对数据进行处理时,处理速度较慢,且无法做到对数据的快速处理与分类,目前主要使用ETL对数据进行处理,但是在处理的过程中,无法快速的对初始数据进行补充,影响系统的处理效率,为此本申请实施例提出一种基于数据中台的数据质量管理系统和方法。
实施例一
图1为本发明实施例一提供的一种数据管理系统的结构示意图。如图1所示,所述数据管理系统包括:数据接入模块110、数据中台模块120和数据应用模块130;
其中,数据接入模块110,用于所述系统与外接终端设备之间的数据通信,以获取初始数据;
数据中台模块120,用于存储所述初始数据,并对所述初始数据进行处理以形成标准数据,存储所述标准数据;
数据应用模块130,用于根据所述标准数据提供相应的网络应用服务。
在本实施例中,数据接入模块110可以用于本实施例的数据管理系统与外接终端设备之间的数据通信,也可以理解为通过数据接入模块110可以将终端设备连接到网络并控制允许网络上的设备进行通信,以实现相应初始数据的获取。初始数据可以指通过数据接入模块110所获取的与企业各个业务系统相关联的应用数据,如可以包括用户数据、企业数据、用户行为信息数据等;因此初始数据可以认为是不同来源不同类型的大量业务数据,可能包括不完整的数据、错误的数据或者重复的数据等,需要进行数据的有效管理。
数据中台模块120可以用于暂时存储所获取的初始数据以用于后续对初始数据的处理,在此基础上,对所获取的初始数据进行相应的处理以形成标准数据,且在形成标准数据之后还可按照数据属性或数据类型等存储标准数据,此处对此不作限定,可根据实际需求进行灵活设置。数据中台模块120可以理解为一种可用于提供数据仓库和数据处理服务的中间件,可用于数据的分析挖掘,即可通过数据仓库提供相应的数据存储服务,也可对所存储的数据(即初始数据)进行相应的处理。标准数据可理解为将所获取的初始数据经过相应的数据抽取和整合处理后所得到的规则统一的数据,如将初始数据按照数据定义、数据规范、数据含义等相应的规则进行统一,此处对此不作具体限定。
数据应用模块130可用于根据标准数据提供相应的网络应用服务。网络应用服务可以理解为为用户端应用程序所提供的相应服务,如可包括标准数据的可视化展示服务、数据可视化展示中的标签展示服务、网络通信的用户数据同步服务以及企业数据的管理服务等。用户端应用程序可以指用于网络通信的软件程序。
可选的,初始数据包括用户数据、企业数据、用户行为信息数据和运行信息数据;数据接入模块110包括用户数据获取单元、企业数据获取单元、埋点数据处理单元和日志文件记录单元;用户数据获取单元,用于基于用户数据模型获取用户数据;企业数据获取单元,用于基于企业数据模型获取企业数据;埋点数据处理单元,用于收集用户行为信息数据;日志文件记录单元,用于记录业务系统的运行信息数据。
在本实施例中,初始数据可以包括用户数据、企业数据、用户行为信息数据和运行信息数据等。其中,用户数据获取单元可以用于基于用户数据模型获取用户数据。数据模型可以理解为用于描述数据特征、组织数据和对数据进行操作的模型,也可理解为是数据库中用来对现实世界的数据进行抽象的工具,是数据库中用于提供信息表示和操作手段的形式构架;利用数据模型可以定义、操纵数据库中的数据等。在此基础上,用户数据模型可以理解为用于提供用户信息表示和操作手段的形式构架。用户数据可以理解为企业各业务系统的客户数据。
企业数据获取单元可以用于基于企业数据模型获取企业数据。企业数据模型可以理解为用于提供企业信息表示和操作手段的形式构架。企业数据可以理解为企业自身业务系统运作的数据。此处对用户数据和企业数据的具体内容不作限定。
埋点数据处理单元可以用于收集用户行为信息数据。具体的,通过埋点技术在企业各业务系统的指定流程中收集与用户行为信息相关联的数据,该与用户行为信息相关联的数据也可称之为埋点数据。其中,埋点数据(即用户行为信息数据)可用于跟踪用户对某些业务的使用状况,例如跟踪页面路径,可能会出现用户频繁跳出某业务应用页面等情况,还可以通过埋点数据获取用户访问次数、访问用户数、内容跳出率、转化率等。
日志文件记录单元可以用于记录企业中各业务系统的运行信息数据,运行信息可以理解为企业中各个业务系统的运行状况。通过日志文件可以记录企业中各业务系统的操作系统或其他软件应用运行中发生的事件或消息以形成的文件。通过日志文件记录单元记录相应的运行信息数据,可以便于定位和了解各业务系统的运行状况。
可选的,数据中台模块120包括:数据抽取单元、数据转换单元、数据装载单元、元数据管理单元和数据仓库单元;数据抽取单元,用于根据设定数据定义对初始数据进行抽取,得到抽取数据;数据转换单元,用于对抽取数据进行整合,得到标准数据;数据装载单元,用于将标准数据装载至数据仓库单元中;元数据管理单元,用于指导数据抽取、数据转换和数据装载的过程;数据仓库单元,用于存储初始数据和标准数据。
在本实施例中,数据中台模块120可以包括:数据抽取单元、数据转换单元、数据装载单元、元数据管理单元和数据仓库单元,以用于对初始数据的处理和存储。其中,数据抽取单元可以用于根据设定数据定义对初始数据进行抽取,得到抽取数据。示例性的,随着企业运行的不断发展,数据量不断增大,对于来自于不同业务系统、不同来源、不同结构的初始数据,需要进行数据的处理;首先需要对初始数据进行数据抽取,也就是说,需要从初始数据中抽取实际情况所需要的数据,如数据抽取单元可以用于针对各个业务系统及不同网点的分散数据,充分理解数据定义后,规划需要的数据源及数据定义,制定可操作的数据源,制定增量抽取或全量抽取的定义。数据定义可以指用于定义数据的特征或属性结构。增量抽取和全量抽取可以指数据抽取单元对初始数据的抽取方式。
可选的,数据抽取单元对初始数据的抽取方式包括:全量抽取和增量抽取。
在本实施例中,全量抽取可以理解为将初始数据进行同步处理后,直接从承载初始数据的数据表或视图中读取整个初始数据以作为抽取到的数据,也就是说相当于初始数据的整体迁移或复制。全量抽取可以用于主要处理较为重要的数据表,直接获取数据表中的全部数据以免丢失重要的数据。
增量抽取可以指抽取自上次抽取以来初始数据中要抽取的表中新增、修改、删除的数据。增量抽取可适用于捕获与上一次相比发生变化的数据,其中通过增量抽取方式对变化数据的捕获方法一般有两点要求:准确性,即能够将业务系统中的变化数据准确地捕获到;性能,即能够尽量减少对业务系统造成太大的压力,影响现有业务。通过增量抽取方式对变化数据的捕获方法可以包括:触发器、时间戳、全表对比和日志对比等。其中,常采用时间戳方式增量抽取数据。示例性的,业务系统在源表上新增一个时间戳字段,创建、修改表记录时,同时修改时间戳字段的值;当增量抽取的任务运行时,进行全表扫描,通过比较增量抽取任务的业务时间、时间戳字段来决定抽取哪些数据。如对交易数据、资金明细这些流水数据,可以根据数据表中的流水号字段或时间字段来进行采集,同时对于这样的数据表,在实时采集阶段,也可以记录每次抽取后所记录的最大标识号(Identification,ID),即可表示为MaxID,下一次采集时可以获得ID>MaxID的记录作为抽取到的记录集。
需要说明的是,本实施例对数据抽取单元对所述初始数据的抽取方式不作限定,可根据实际需求进行灵活设置。
在本实施例中,数据转换单元可以用于对抽取数据进行整合,得到标准数据。对抽取数据进行整合可以包括对所抽取的数据进行数据清洗和数据集成,发现抽取数据中的错误数据、重复数据等并进行相应的修正,并修正后的数据中不同规则的数据整理集成为统一的规则。在此基础上,在对抽取数据进行整合之后,可以得到规则统一的标准数据。
可选的,数据转换单元整合具体用于:对抽取数据进行数据清洗和数据集成,得到标准数据。
在本实施例中,数据转换单元整合可以具体用于对抽取数据进行数据清洗、数据整理和数据集成,得到标准数据。其中数据清洗可以理解为对数据进行重新审查和校验的过程,目的在于删除重复数据、纠正数据中存在的错误,并提供数据一致性,如可以包括检查数据一致性,处理无效值和缺失值等。也就是说,数据清洗可以是用于过滤掉不合符要求的数据,其中不符合要求的数据主要指有不完整的数据、错误的数据、重复的数据三大类。可以理解的是,基于准确的数据(或者高质量的数据)进行数据分析能够得到可靠可信的分析结果,基于准确可靠的分析结果才可能做出正确的决策,否则,在不准确的数据上进行数据分析,有可能导致错误的分析结果和决策,因此需要对所抽取的数据进行一定的数据清洗,以保证后续数据分析的准确性和可靠性。
数据集成可理解为是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。也就是说,目前在企业中,由于开发时间或开发部门的不同,往往有多个异构的、运行在不同的软硬件平台上的业务系统同时运行,这些业务系统的数据源彼此独立、相互封闭,使得数据难以在系统之间交流、共享和融合,因此经过数据清洗后的抽取数据也是存在各个数据源间的异构性(也可称为差异性)的,因此为解决各个数据源之间的异构性的问题,可以对经过数据清洗后的抽取数据进行数据集成,即把多个不同规则的数据源整合在一起形成统一规则的数据源,以提供一个观察这些数据的统一视图。例如,数据集成的方式可以是在每对数据源之间创建映射和转换的机制以实现相关联数据的集成,此处对数据集成的具体方式不作限定,可根据实际需求进行灵活设定。
对抽取数据进行数据清洗和数据集成之后,可以得到标准数据。其中,在对抽取数据进行处理计算的过程中,面对大规模流动的数据,可以采用流计算方式实时的对数据进行分析,捕捉到可能有用的信息,并把结果发送到下一计算节点。
在一实施例中,具体的,对抽取数据的整合处理可以包括企业关键码标准化处理、企业基础数据整合处理、企业许可数据整合处理、企业监管数据整合处理、其他部门数据整合处理、电子统计报表数据导入处理、历史数据整合处理等,此处仅为示例性说明。
在本实施例中,数据装载单元可以用于将标准数据装载至数据仓库单元中,将标准数据装载至数据仓库单元中可以理解为将标准数据保存至数据仓库单元中。例如,可以按照预先设定的装载的目标表(目标表可以设置在数据仓库单元中),将标准数据输入到目标表中去,若目标表中已有数据,装载时可以先删除这些数据,再装入新数据;也可以在原有数据的基础上添加新的数据,此处对此不作限定,可根据实际需求进行灵活设置。数据仓库单元可以用于存储初始数据和标准数据。数据仓库单元可理解为包括数据仓库的单元结构。数据仓库,是为给企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,可被认为是商业智能的核心组件,数据仓库是信息的中央存储库,出于分析性报告和决策支持目的而创建,为需要业务智能的企业提供指导。在进行数据管理时,可以将所获取的初始数据暂时存储在数据仓库单元的数据仓库中,以为后续对初始数据的整合处理作准备,且对初始数据处理后得到的标准数据也可存储在数据仓库中,数据仓库可理解为一个中间件,用于存储初始数据和标准数据。
本实施例中,元数据管理单元可以用于指导数据抽取单元的数据抽取、数据转换单元的数据转换和数据装载单元的数据装载的过程。元数据可以指描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件纪录等功能,元数据也可是指一种关于数据仓库的数据,指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据,包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述。在本实施例中部元数据可以认为是“关于数据的数据”,即对初始数据中的数据本身及其运行环境的描述与定义,元数据管理单元可以基于元数据指导数据抽取、数据转化和数据装载的全过程。
可选的,数据应用模块130包括:数据可视化单元、数据标签构建单元、数据同步单元和数据管理单元;数据可视化单元,用于对标准数据进行数据可视化展示;数据标签构建单元,用于基于标准数据构建数据展示标签;数据同步单元,用于提供标准数据中的用户数据同步服务;数据管理单元,用于提供企业数据管理服务。
在本实施例中,数据应用模块130可以包括数据可视化单元、数据标签构建单元、数据同步单元和数据管理单元。
其中,数据可视化单元可以用于对标准数据进行数据可视化展示。数据可视化展示可以理解为借助图形化手段,清晰有效地传达与沟通信息,即数据可视化展示的本质可以理解为数据空间到图形空间的映射,是抽象数据的具象表达;也就是说,把大量的标准数据通过图形化形式表现出来,达到一种更加精准和高效的数据分析和表达,使得标准数据的呈现效果更加直观,便于用户查看和分析,也可以便于用户挖掘到数据中的隐藏价值。
数据标签构建单元可以用于基于标准数据构建数据展示标签。标签可以是指一种用来描述业务实体特征的数据形式;通过标签可以有效扩充业务实体的分析角度,且通过对不同标签的简单操作,便可进行数据筛选和分析。基于标准数据所构建的数据展示标签,可以用于将标准数据的信息通过对应的标签展示,清晰的传达标准数据的具体信息。
数据同步单元可以用于提供标准数据中的用户数据同步服务。标准数据中的用户数据同步服务可以理解为用于对用户的数据同步与信息的共享,使用户的数据保持完整性和统一性。数据管理单元可以用于提供企业数据管理服务。企业数据管理服务可以为企业提供清晰的管理依据,便于企业相应业务的管理。此处不对数据应用模块130中所包含的网络应用服务进行限定,可根据实际需求灵活添加或修改相应的应用服务,以便于数据的管理。
本发明实施例一提供了一种数据管理系统,首先通过数据接入模块110,用于系统与外接终端设备之间的数据通信,以获取初始数据;然后通过数据中台模块120,用于存储初始数据,并对初始数据进行处理以形成标准数据,存储标准数据;最后通过数据应用模块130,用于根据标准数据提供相应的网络应用服务。利用上述技术方案,能够提高数据管理的准确性和处理效率。
本发明实施例通过整体数据管理系统的构建,能够对初始数据进行有效的管理,并且能够解决不同数据带来的一致性、准确性、复杂性和时效性的问题,使得整个数据管理系统能够对数据进行快速有效的处理,保证了数据管理的速度和质量,实现对数据信息的交互,从而可以便于企业对员工最新的动态进行记录与查询,便于企业对各个部门的日常数据和历史数据进行记录与查询,使得企业能够更好的管理相应的数据。此外,还通过对不同数据采用不同的数据抽取方式,能够实现对数据的快速管理与分类,能够清晰的了解哪些数据为重要数据,并且能够有效的减少抽取的数据量,进而减少网络流量,从而提高了对数据处理的效率与质量。
实施例二
图2为本发明实施例二提供的一种数据管理方法的流程示意图,该方法可适用于对数据进行有效管理的情况,该方法可以由本发明实施例中的数据管理系统来执行,其中该系统可由软件和/或硬件实现。
如图2所示,本发明实施例二提供的一种数据管理方法,该方法包括如下步骤:
S210、通过数据接入模块110进行数据管理系统与外接终端设备之间的数据通信,以获取初始数据,并将初始数据传输至数据中台模块120存储。
在本实施例中,通过数据接入模块110可以进行本实施例的数据管理系统与各个外接终端设备之间的数据通信,以用于获取初始数据,并可将初始数据传输至数据中台模块暂时存储。
可选的,初始数据可以包括用户数据、企业数据、用户行为信息数据和运行信息数据;数据接入模块110可以包括用户数据获取单元、企业数据获取单元、埋点数据处理单元和日志文件记录单元;通过用户数据获取单元,基于用户数据模型获取用户数据;通过企业数据获取单元,基于企业数据模型获取企业数据;通过埋点数据处理单元收集用户行为信息数据;通过日志文件记录单元记录业务系统的运行信息数据。
S220、通过数据中台模块120对初始数据进行处理以形成标准数据,存储标准数据,并将标准数据传输至数据应用模块130。
在本实施例中,通过数据中台模块120可以对初始数据进行处理以形成标准数据,并存储标准数据;在数据应用模块130需要提供网络应用服务时将对应的标准数据传输至数据应用模块130。
可选的,数据中台模块120可以包括:数据抽取单元、数据转换单元、数据装载单元、元数据管理单元和数据仓库单元;通过数据抽取单元,根据设定数据定义对初始数据进行抽取,得到抽取数据;通过数据转换单元对所述抽取数据进行整合,得到所述标准数据;通过数据装载单元将所述标准数据装载至所述数据仓库单元中;通过元数据管理单元指导数据抽取、数据转换和数据装载的过程;通过数据仓库单元存储初始数据和标准数据。
可选的,数据转换单元整合具体可用于对抽取数据进行数据清洗和数据集成,得到标准数据。
可选的,数据抽取单元对初始数据的抽取方式可以包括全量抽取和增量抽取。
S230、通过数据应用模块130,根据标准数据提供相应的网络应用服务。
在本实施例中,可以通过数据应用模块130,根据标准数据提供相应的网络应用服务。
可选的,数据应用模块130可以包括:数据可视化单元、数据标签构建单元、数据同步单元和数据管理单元;通过数据可视化单元对标准数据进行数据可视化展示;通过数据标签构建单元,基于标准数据构建数据展示标签;通过数据同步单元提供标准数据中的用户数据同步服务;通过数据管理单元提供企业数据管理服务。
本发明实施例二提供的一种数据管理方法,首先通过数据接入模块110进行数据管理系统与外接终端设备之间的数据通信,以获取初始数据,并将初始数据传输至数据中台模块存储;然后通过数据中台模块120对初始数据进行处理以形成标准数据,存储标准数据,并将标准数据传输至数据应用模块;最后通过数据应用模块130,根据标准数据提供相应的网络应用服务。利用上述方法,能够提高数据管理的准确性和处理效率。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据管理系统,其特征在于,所述系统包括:数据接入模块、数据中台模块和数据应用模块;
所述数据接入模块,用于所述系统与外接终端设备之间的数据通信,以获取初始数据;
所述数据中台模块,用于存储所述初始数据,并对所述初始数据进行处理以形成标准数据,存储所述标准数据;
所述数据应用模块,用于根据所述标准数据提供相应的网络应用服务。
2.根据权利要求1所述的系统,其特征在于,所述初始数据包括用户数据、企业数据、用户行为信息数据和运行信息数据;
所述数据接入模块包括用户数据获取单元、企业数据获取单元、埋点数据处理单元和日志文件记录单元;
所述用户数据获取单元,用于基于用户数据模型获取用户数据;
所述企业数据获取单元,用于基于企业数据模型获取企业数据;
所述埋点数据处理单元,用于收集用户行为信息数据;
所述日志文件记录单元,用于记录业务系统的运行信息数据。
3.根据权利要求1所述的系统,其特征在于,所述数据中台模块包括:数据抽取单元、数据转换单元、数据装载单元、元数据管理单元和数据仓库单元;
所述数据抽取单元,用于根据设定数据定义对所述初始数据进行抽取,得到抽取数据;
所述数据转换单元,用于对所述抽取数据进行整合,得到所述标准数据;
所述数据装载单元,用于将所述标准数据装载至所述数据仓库单元中;
所述元数据管理单元,用于指导数据抽取、数据转换和数据装载的过程;
所述数据仓库单元,用于存储所述初始数据和所述标准数据。
4.根据权利要求3所述的系统,其特征在于,所述数据转换单元整合具体用于:
对所述抽取数据进行数据清洗和数据集成,得到所述标准数据。
5.根据权利要求3所述的系统,其特征在于,所述数据应用模块包括:数据可视化单元、数据标签构建单元、数据同步单元和数据管理单元;
所述数据可视化单元,用于对所述标准数据进行数据可视化展示;
所述数据标签构建单元,用于基于所述标准数据构建数据展示标签;
所述数据同步单元,用于提供所述标准数据中的用户数据同步服务;
所述数据管理单元,用于提供企业数据管理服务。
6.根据权利要求3所述的系统,其特征在于,所述数据抽取单元对所述初始数据的抽取方式包括:全量抽取和增量抽取。
7.一种数据管理方法,其特征在于,包括:
通过数据接入模块进行数据管理系统与外接终端设备之间的数据通信,以获取初始数据,并将所述初始数据传输至数据中台模块存储;
通过所述数据中台模块对所述初始数据进行处理以形成标准数据,存储所述标准数据,并将所述标准数据传输至数据应用模块;
通过所述数据应用模块,根据所述标准数据提供相应的网络应用服务。
8.根据权利要求7所述的方法,其特征在于,所述初始数据包括用户数据、企业数据、用户行为信息数据和运行信息数据;
所述数据接入模块包括用户数据获取单元、企业数据获取单元、埋点数据处理单元和日志文件记录单元;
通过所述用户数据获取单元,基于用户数据模型获取用户数据;
通过所述企业数据获取单元,基于企业数据模型获取企业数据;
通过所述埋点数据处理单元收集用户行为信息数据;
通过所述日志文件记录单元记录业务系统的运行信息数据。
9.根据权利要求7所述的方法,其特征在于,所述数据中台模块包括:数据抽取单元、数据转换单元、数据装载单元、元数据管理单元和数据仓库单元;
通过所述数据抽取单元,根据设定数据定义对所述初始数据进行抽取,得到抽取数据;
通过所述数据转换单元对所述抽取数据进行整合,得到所述标准数据;
通过所述数据装载单元将所述标准数据装载至所述数据仓库单元中;
通过所述元数据管理单元指导数据抽取、数据转换和数据装载的过程;
通过所述数据仓库单元存储所述初始数据和所述标准数据。
10.根据权利要求7所述的方法,其特征在于,所述数据应用模块包括:数据可视化单元、数据标签构建单元、数据同步单元和数据管理单元;
通过所述数据可视化单元对所述标准数据进行数据可视化展示;
通过所述数据标签构建单元,基于所述标准数据构建数据展示标签;
通过所述数据同步单元提供所述标准数据中的用户数据同步服务;
通过所述数据管理单元提供企业数据管理服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111598361.7A CN114281877A (zh) | 2021-12-24 | 2021-12-24 | 一种数据管理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111598361.7A CN114281877A (zh) | 2021-12-24 | 2021-12-24 | 一种数据管理系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114281877A true CN114281877A (zh) | 2022-04-05 |
Family
ID=80874890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111598361.7A Pending CN114281877A (zh) | 2021-12-24 | 2021-12-24 | 一种数据管理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114281877A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115374100A (zh) * | 2022-10-25 | 2022-11-22 | 山东恒远智能科技有限公司 | 基于数据中台技术的智慧生产数据管理系统与方法 |
CN116226894A (zh) * | 2023-05-10 | 2023-06-06 | 杭州比智科技有限公司 | 一种基于元仓的数据安全治理系统及方法 |
CN116578754A (zh) * | 2023-07-13 | 2023-08-11 | 杭州之数科技有限公司 | 一种企业数据精确查询方法及系统 |
-
2021
- 2021-12-24 CN CN202111598361.7A patent/CN114281877A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115374100A (zh) * | 2022-10-25 | 2022-11-22 | 山东恒远智能科技有限公司 | 基于数据中台技术的智慧生产数据管理系统与方法 |
CN116226894A (zh) * | 2023-05-10 | 2023-06-06 | 杭州比智科技有限公司 | 一种基于元仓的数据安全治理系统及方法 |
CN116578754A (zh) * | 2023-07-13 | 2023-08-11 | 杭州之数科技有限公司 | 一种企业数据精确查询方法及系统 |
CN116578754B (zh) * | 2023-07-13 | 2023-11-03 | 杭州之数科技有限公司 | 一种企业数据精确查询方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
González López de Murillas et al. | Connecting databases with process mining: a meta model and toolset | |
CN114281877A (zh) | 一种数据管理系统及方法 | |
US11829365B2 (en) | Systems and methods for data quality monitoring | |
Engel et al. | Evaluation of microservice architectures: A metric and tool-based approach | |
US9268674B1 (en) | System, method, and computer program for monitoring testing progress of a software testing project utilizing a data warehouse architecture | |
US20170109636A1 (en) | Crowd-Based Model for Identifying Executions of a Business Process | |
CN112181955B (zh) | 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法 | |
US20180046956A1 (en) | Warning About Steps That Lead to an Unsuccessful Execution of a Business Process | |
CN112181960B (zh) | 一种基于AIOps的智能运维框架系统 | |
CN104392297A (zh) | 大数据环境下实现非业务流程违规行为检测的方法及系统 | |
CN114880405A (zh) | 一种基于数据湖的数据处理方法及系统 | |
CN112000656A (zh) | 基于元数据的智能化数据清洗方法及装置 | |
CN117194919A (zh) | 一种生产数据分析系统 | |
CN113779261B (zh) | 知识图谱的质量评价方法、装置、计算机设备及存储介质 | |
CN114971710A (zh) | 基于事件日志的多维度流程变体差异分析方法与系统 | |
US20170109637A1 (en) | Crowd-Based Model for Identifying Nonconsecutive Executions of a Business Process | |
CN116991931A (zh) | 一种元数据管理方法和系统 | |
Yasser et al. | Implementing business intelligence system-Case study | |
Korzeniowski et al. | Discovering interactions between applications with log analysis | |
Grambau et al. | Reference Architecture framework for enhanced social media data analytics for Predictive Maintenance models | |
Fonseca et al. | Integration of Software Measurement Supporting Tools: A Mapping Study. | |
Yang et al. | A multi-components approach to monitoring process structure and customer behaviour concept drift | |
Abdallah et al. | A Data Collection Quality Model for Big Data Systems | |
US9459939B2 (en) | In-memory approach to extend semantic event processing with domain insights | |
Ma et al. | Data management of salt cavern gas storage based on data model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |