CN112580914A - 汇集多源数据的企业级数据中台系统的实现方法及装置 - Google Patents
汇集多源数据的企业级数据中台系统的实现方法及装置 Download PDFInfo
- Publication number
- CN112580914A CN112580914A CN201910942541.9A CN201910942541A CN112580914A CN 112580914 A CN112580914 A CN 112580914A CN 201910942541 A CN201910942541 A CN 201910942541A CN 112580914 A CN112580914 A CN 112580914A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- data processing
- calculation
- enterprise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000004364 calculation method Methods 0.000 claims abstract description 88
- 238000013523 data management Methods 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 49
- 238000007726 management method Methods 0.000 claims description 41
- 238000003860 storage Methods 0.000 claims description 34
- 238000012544 monitoring process Methods 0.000 claims description 33
- 238000005516 engineering process Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 24
- 238000013500 data storage Methods 0.000 claims description 18
- 230000004931 aggregating effect Effects 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 11
- 238000006116 polymerization reaction Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000012423 maintenance Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012558 master data management Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000009740 moulding (composite fabrication) Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Abstract
本发明公开了一种汇集多源数据的企业级数据中台系统的实现方法及装置，涉及数据处理技术领域，预先构建企业级数据中台系统，对海量数据形成统一标准和口径的数据服务系统，同时平台保障提供数据服务时效性和高效率。本发明的主要技术方案为：构建数据资产，数据资产包含多种不同类型的具有数据管理能力的功能模块，功能模块用于提供前端数据服务；接收业务场景的数据处理需求，数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理；通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行所述数据处理需求的功能模块；控制功能模块调用计算模式，执行计算操作，将输出数据处理结果并进行存储。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种汇集多源数据的企业级数据中台系统的实现方法及装置。
背景技术
企业在过去信息化的历程中形成了大量生产经营数据及专业领域的应用数据，伴随着近几年物联网、移动技术、传感器技术的发展，企业也积累了大量物联网(TheInternet ofThings，IoT)数据、图像数据、音视频数据等。
然而，所有这些海量的数据散落在企业各类系统中，彼此间无法连接和流通。同时限于传统的技术手段，企业很难对这些散落的数据进行全局的数据价值挖掘，虽然数据价值驱动经营决策、企业创新、市场洞察，但现在也只能流于宣传，企业无法真正从数据资产中获得价值红利。
发明内容
有鉴于此，本发明提供一种汇集多源数据的企业级数据中台系统的实现方法及装置，主要目的在于预先构建企业级数据中台系统，从而依托大数据技术和数据治理体系，对海量数据进行采集、计算、存储、建模、分析、挖掘后形成统一标准和口径的数据服务系统，同时平台保障提供数据服务时效性和高效率。
为了达到上述目的，本发明主要提供如下技术方案：
一方面，本发明提供了一种汇集多源数据的企业级数据中台系统的实现方法，该方法包括：
构建数据资产，所述数据资产包含多种不同类型的具有数据管理能力的功能模块，所述功能模块用于提供前端数据服务；
接收业务场景的数据处理需求，所述数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理；
通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行所述数据处理需求的功能模块；
通过控制所述功能模块调用计算模式，执行计算并存储数据处理结果。
可选的，所述控制所述功能模块调用对应的计算模式，输出数据处理结果并进行存储，包括：
从所述数据处理需求中解析待处理的数据量和数据类型，所述数据类型至少为结构化数据、半结构化数据或非结构化数据；
获取所述数据处理需求包含的时效性需求；
根据所述数据量、所述数据类型以及所述时效性需求，选择匹配的计算模式，所述计算模式至少包括：内存计算、数据预聚合、离线计算以及流式计算；
根据所述计算模式，利用模型执行计算操作，输出数据处理结果；
解析所述数据处理结果中包含的数据量和数据类型；
根据所述数据量和数据类型，选择匹配的数据存储模式，所述存储模式至少包括：Mpp数据存储、对象存储、分布式数据存储以及非关系型数据库存储；
根据所述数据存储模式，对所述数据处理结果进行存储。
可选的，在所述构建数据资产之后，所述方法还包括：
对每个功能模块添加功能概述；
预先定制多个业务场景；
通过将每个所述业务场景对应的数据处理需求与每个所述功能模块对应的功能概述进行匹配，得到所述业务场景匹配的一个或多个功能模块；
建立所述业务场景与一个功能模块或多个功能模块组合之间的映射关系。
可选的，所述方法还包括：
在系统运行过程中，监控组件运行是否正常；和/或
监控所述系统的运行日志；和/或
监控所述系统的消息预警；和/或
监控所述系统的服务网关。
可选的，所述功能模块至少为以下：数据治理标准模块、数据质量管理模块、数据仓库技术模块、数据资产目录模块、元数据管理模块、主数据管理模块、数据安全管理模块、数据全生命周期管理模块、企业知识图谱构建模块以及企业搜索引擎模块。
可选的，所述数据服务至少为以下：数据报表服务、商务智能服务、企业大屏服务、API服务、消息总线服务以及移动应用服务。
另一方面，本发明还提供了一种汇集多源数据的企业级数据中台系统的实现装置，该装置包括：
构建单元，用于构建数据资产，所述数据资产包含多种不同类型的具有数据管理能力的功能模块，所述功能模块用于提供前端数据服务；
接收单元，用于接收业务场景的数据处理需求，所述数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理；
获取单元，用于通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行所述接收单元接收到的数据处理需求的功能模块；
执行单元，用于通过控制所述功能模块调用计算模式，执行计算并存储数据处理结果。
可选的，所述执行单元包括：
解析模块，用于从所述数据处理需求中解析待处理的数据量和数据类型，所述数据类型至少为结构化数据、半结构化数据或非结构化数据；
获取模块，用于获取所述数据处理需求包含的时效性需求；
选择模块，用于根据所述解析模块解析的数据量、所述数据类型以及所述获取模块获取到的时效性需求，选择匹配的计算模式，所述计算模式至少包括：内存计算、数据预聚合、离线计算以及流式计算；
执行模块，用于根据所述计算模式，利用模型执行计算操作并输出数据处理结果；
所述解析模块，还用于解析所述数据处理结果中包含的数据量和数据类型；
所述选择模块，还用于根据所述数据量和数据类型，选择匹配的数据存储模式，所述存储模式至少包括：Mpp数据存储、对象存储、分布式数据存储以及非关系型数据库存储；
存储模块，用于根据所述选择模块选择的数据存储模式，对所述数据处理结果进行存储。
可选的，所述装置还包括：
添加单元，用于在所述构建数据资产之后，对每个功能模块添加功能概述；
定制单元，用于预先定制多个业务场景；
匹配单元，用于通过将每个所述定制单元定制的业务场景对应的数据处理需求与每个所述添加单元添加的功能模块对应的功能概述进行匹配，得到所述业务场景匹配的一个或多个功能模块；
建立单元，用于建立所述业务场景与一个功能模块或多个功能模块组合之间的映射关系。
可选的，所述装置还包括：
监控单元，用于在系统运行过程中，监控组件运行是否正常；
所述监控单元，还用于监控所述系统的运行日志；
所述监控单元，还用于监控所述系统的消息预警；
所述监控单元，还用于监控所述系统的服务网关。
可选的，所述功能模块至少为以下：数据治理标准模块、数据质量管理模块、数据仓库技术模块、数据资产目录模块、元数据管理模块、主数据管理模块、数据安全管理模块、数据全生命周期管理模块、企业知识图谱构建模块以及企业搜索引擎模块。
可选的，所述数据服务至少为以下：数据报表服务、商务智能服务、企业大屏服务、API服务、消息总线服务以及移动应用服务。
再一方面，本发明还提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如上述的汇集多源数据的企业级数据中台系统的实现方法。
又一方面，本发明还提供一种电子设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行如上述的汇集多源数据的企业级数据中台系统的实现方法。
借由上述技术方案，本发明提供的技术方案至少具有下列优点：
本发明提供一种汇集多源数据的企业级数据中台系统的实现方法及装置，本发明是预先构建构建数据资产，该数据资产包含多种不同类型的具有数据管理能力的功能模块，当接收到接收业务场景的数据处理需求，就查找到满足需求的功能模块，并调用对应的计算模式，从而执行计算操作并输出数据处理结果，利用这些数据处理结果就可以向前端提供多样性的数据服务。相较于现有技术，解决无法将散落在企业各类系统海量数据进行连通和流通的问题，本发明利用构建的构建企业级数据中台系统，从而依托大数据技术和数据治理体系，对海量数据进行采集、计算、存储、建模、分析、挖掘后形成统一标准和口径的数据服务系统，同时平台保障提供数据服务时效性和高效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种汇集多源数据的企业级数据中台系统的实现方法流程图；
图2为本发明实施例提供的另一种汇集多源数据的企业级数据中台系统的实现方法流程图；
图3为本发明实施例提供的企业级数据中台系统的体系架构图；
图4为本发明实施例提供的一种汇集多源数据的企业级数据中台系统的实现装置的组成框图；
图5为本发明实施例提供的另一种汇集多源数据的企业级数据中台系统的实现装置的组成框图；
图6为本发明实施例提供的汇集多源数据的企业级数据中台系统的实现的电子设备。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种汇集多源数据的企业级数据中台系统的实现方法，如图1所示，该方法是预先构建企业级数据中台系统，从而依托大数据技术和数据治理体系，对海量数据进行采集、计算、存储、建模、分析、挖掘后形成统一标准和口径的数据服务系统，对此本发明实施例提供以下具体步骤：
101、构建数据资产，数据资产包含多种不同类型的具有数据管理能力的功能模块，功能模块用于提供前端数据服务。
需要说明的是，在本发明实施例中是预先构建了一个汇集多源数据的企业级数据中台系统，在这个系统中预先构建数据资产，用于实现：融合元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产目录、数据生命周期管理、企业知识图谱、企业搜索引擎，打通数据资产治理各个环节，快速满足企业各类业务场景及上下游供应链的数据资产应用场景。
所以，相应的，构建数据资产包含多种不同类型的具有数据管理能力的功能模块，这些功能模块至少为以下：数据治理标准模块、数据质量管理模块、数据仓库技术模块、数据资产目录模块、元数据管理模块、主数据管理模块、数据安全管理模块、数据全生命周期管理模块、企业知识图谱构建模块以及企业搜索引擎模块。下面对以上这些功能模块具体的解释，可以包括如下：
数据治理标准模块：数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程，在这个过程中预先会制定标准，从而依据这个标准完成数据治理，该数据治理标准模块就是提供这个编辑制定这个治理标准的。比如：制定对于某些数据，应该遵循什么时间送到、以什么形式送到、不同需求处理流程应该对应什么数据样式等等。
数据质量管理模块：数据质量管理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高，该数据质量管理模块用于实现数据质量管理功能。比如：记录数据是什么样的(比如：数据是单调递增数据)。
数据仓库技术模块：数据仓库技术(Extract-Transform-Load、ETL)用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。比如：为实现财务指标的计算，比如计算企业利润，收集到数据源是企业每个项目的收入，经过利用多张表对数据源进行执行层层逻辑关系处理过程，最终得到企业利润。
数据资产目录模块：数据资产目录相当于是数据资产的摘要，数据资产可以这种目录的形式开放，通过查询这个数据资产目录，方便于查询/调用对应的数据资产。
元数据管理模块：元数据管理包括业务词汇表的发展，数据元素和实体的定义，业务规则和算法以及数据特征，最基础的管理是管理业务元数据的收集、组织和维持，对技术型元数据的应用对主数据管理和数据治理项目的成功至关重要。简而言之，元数据就相当于是数据的数据，用于解释数据的数据，比如：对于数据报表，它的元数据至少包括：报表中字段名称、对每个字段名称的解释、每个字段存储数据的格式要求等等。
主数据管理模块：主数据管理描述了一组规程、技术和解决方案，这些规程、技术和解决方案用于为所有利益相关方(如用户、应用程序、数据仓库、流程以及贸易伙伴)创建并维护业务数据的一致性、完整性、相关性和精确性。比如：对于企业而言，管理客户数据、供应商数据、自主生产产品数据、企业对外交易数据等等。
数据安全管理模块：对数据执行加密处理、脱敏处理，限定对不同用户使用权限等等。
数据全生命周期管理模块：数据生命周期管理(data life cycle management，DLM)是一种基于策略的方法，用于管理信息系统的数据在整个生命周期内的流动：从创建和初始存储，到它过时被删除。
企业知识图谱构建模块：该模块用于提供构建知识图谱的功能应用。
企业搜索引擎模块：该模块用于提供企业搜索引擎的功能应用。
需要说明的是，该数据资产就相当于是阐述了企业级数据中台系统具有的功能，根据这些功能，相应的可以向前端输出数据服务。
102、接收业务场景的数据处理需求，数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理。
在本发明实施例中，对于业务场景的数据处理需求，可以实现对汇集多源数据的处理需求，多源数据具体可以为：结构化数据、半结构化数据、非结构化数据。
103、通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行数据处理需求的功能模块。
在本发明实施例中，不同业务场景的数据处理需求是不同的，对于不同数据处理需求，可以选择数据资产中包含的不同功能模块实现数据处理。
104、通过控制功能模块调用计算模式，执行计算并存储数据处理结果。
在确定数据处理需求对应调用的计算模式之后，执行计算，输出数据处理结果，并存储这些数据处理结果。利用本发明实施例，对应不同的业务场景，都可以选择匹配的功能模块进行数据处理，对于输出的数据处理结果，就相当于是可以提供匹配的数据服务，从而相当于是对海量数据进行采集、计算、存储、建模、分析、挖掘后形成统一标准和口径的数据服务系统。
本发明实施例提供一种汇集多源数据的企业级数据中台系统的实现方法，本发明实施例是预先构建构建数据资产，该数据资产包含多种不同类型的具有数据管理能力的功能模块，当接收到接收业务场景的数据处理需求，就查找到满足需求的功能模块，并调用对应的计算模式，从而执行计算操作并输出数据处理结果，利用这些数据处理结果就可以向前端提供多样性的数据服务。相较于现有技术，解决无法将散落在企业各类系统海量数据进行连通和流通的问题，本发明实施例利用构建的构建企业级数据中台系统，从而依托大数据技术和数据治理体系，对海量数据进行采集、计算、存储、建模、分析、挖掘后形成统一标准和口径的数据服务系统，同时平台保障提供数据服务时效性和高效率。
为了对上述实施例做出更加详细的说明，本发明实施例还提供了另一种汇集多源数据的企业级数据中台系统的实现方法，如图2所示，该方法是对上述实施例进行的细化和补充陈述，对此本发明实施例提供以下具体步骤：
需要说明的是，在本发明实施例中，企业级数据中台体系架构可以如图3所示，企业数据中台体系系统主要包含四部分：数据技术、数据资产、数据服务、中台运维。另外中台还包括向下与多源异构数据建立连接，向上支持用户通过统一门户对数据中台进行访问。在此企业级数据中台系统基础之上，具体的陈述如下步骤201-208。
201、构建数据资产，数据资产包含多种不同类型的具有数据管理能力的功能模块，功能模块用于提供前端数据服务。
在本发明实施例中，对于功能模块的具体解释，如步骤101陈述，此外，结合图3进行说明，数据服务至少为以下：数据报表服务、商务智能服务、企业大屏服务、API服务、消息总线服务以及移动应用服务。这些数据服务是指企业级数据中台系统具有的向外服务的能力，从而让授权访问企业级数据中台系统的用户享受/体验到这些数据服务，下面对这些数据服务进行具体解释，可以包括如下：
数据报表服务：将计算机技术与会计报表编制方法相结合设计出专门用于报表数据处理。比如：输出数据报表。
商务智能服务：商业智能(Business Intelligence，简称：BI)，又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。比如：图表分析。
企业大屏服务：相当于给出数据的多维度展示方式，比如：以图表、报表形式，并且提供可视化的展示，具体的，根据业务场景不同，可以多种展示方式。
API服务：直接通过应用程序接口(Application Programming Interface，API)，向外输出数据服务，比如，让授权访问企业级数据中台系统的用户直接查询并获取到数据。
消息总线服务：经消息总线，将企业级数据中台系统处理的数据结果直接推送至企业客户。
移动应用服务：支持移动终端，使用企业级数据中台系统。
进一步的，在本发明实施例中，下面步骤202-203详细给出建立不同业务场景与功能模块之间映射关系的具体实施步骤：
202、对每个功能模块添加功能概述。
在本发明实施例中，根据步骤101对每个功能模块进行的详细解释，可以了解到每个功能模块具有的数据处理能力是不同的，单一模块或结合多个模块都可以对数据进行处理，在此，可以对每个功能模块添加功能概述，这相当于是功能模块的标识信息，从而方便于根据不同业务场景的数据处理需求，而通过标识信息就可以获知需要调用哪个或哪几个功能模块完成数据处理操作。
203、预先定制多个业务场景。
在本发明实施例中，可以预先定制不同的业务场景，根据这个业务场景进行预先配置，从而当接收到与预先定制的业务场景匹配的数据处理需求，就可以直接获取这个预先配置，并根据这个预先配置达到加快处理效率的技术效果。
204、通过将每个业务场景对应的数据处理需求与每个功能模块对应的功能概述进行匹配，得到业务场景匹配的一个或多个功能模块。
205、建立业务场景与一个功能模块或多个功能模块组合之间的映射关系。
在本发明实施例中，结合图3所示，数据资产包含多个功能模块，单一功能模块或结合多个功能模块协助可以完成对数据处理，所以对于本发明实施例，就可以对预先定制的多个业务场景，分别匹配不同的功能模块或功能模块组合，实现建立映射关系的预处理，从而在接收到不同业务场景的数据处理需求时，就可以直接调用匹配的功能模块实现数据处理。
206、接收业务场景的数据处理需求，数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理。
207、通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行数据处理需求的功能模块。
在本发明实施例中，对于本步骤陈述，参见步骤103，此处不再赘述。
208、通过控制功能模块调用计算模式，执行计算并存储数据处理结果。
在本发明实施例中，对于本步骤进行细化，具体的，可以包括如下：
第一步，从数据处理需求中解析待处理的数据量和数据类型，数据类型至少为结构化数据、半结构化数据或非结构化数据。
结合图3进行说明，企业级数据中台系统可以对多源异构数据进行处理，多源异构数据至少包括：结构化数据、半结构化数据或非结构化数据。
第二步，获取数据处理需求包含的时效性需求。
第三步，根据数据量、数据类型以及时效性需求，选择匹配的计算模式，计算模式至少包括：内存计算、数据预聚合、离线计算以及流式计算
在本发明实施例中，结合图3所示，企业级数据中台系统包含：数据技术，用于对海量数据进行采集、计算、存储、建模、分析、挖掘，支持HDFS分布式存储、MPP数据存储、对象存储、NoSql数据库，RDMS存储，支持内存计算、流式计算、离线计算和数据预聚合处理，集成机器学习和深度学习模型，依托数据资产体现形成统一标准和口径的数据。
具体的，对内存计算、数据预聚合、离线计算以及流式计算进行解释：
内存计算：数据量相对少，对时效性要求比较高，此种情形，可以选择内存计算执行计算操作。
数据预聚合：聚合是指对有关的数据进行内容挑选、分析、归类，最后分析得到人们想要的结果，更倾向于是计算方法，从而是根据数据处理需求，结合其他计算模式，实现计算操作。
离线计算：对于数据量特别大、时效要求不太高，由于离线计算成本是最低的，所以此种情形，可以选择离线计算执行计算操作。
流式计算：对于订单量、交易额等等，比内存计算的数据要求的实时性更高，通常选择流式计算执行计算操作。
需要说明的是，对于在数据处理过程中，不是仅限于选择单一的计算模式，而是根据数据处理需求，选择匹配的一个或多个计算模式都可。
此外，结合图3所示，在计算过程中可以采用机器学习或深度学习，达到优化计算过程，提高计算效率。
第四步，根据计算模式，利用模型执行计算操作，输出数据处理结果，解析数据处理结果中包含的数据量和数据类型，根据数据量和数据类型，选择匹配的数据存储模式，存储模式至少包括：Mpp数据存储、对象存储、分布式数据存储以及非关系型数据库存储，根据数据存储模式，对数据处理结果进行存储。
结合图3所示，企业级数据中台系统在数据技术方面还给出多种数据存储方式，具体的，是根据数据处理结果中包含的数据量和数据类型，直接匹配存储模式，并直接执行存储操作。
进一步的，结合图3所示，企业级数据中台系统还包括中台运维，用于对数据中台各个组件集中注册、部署、管理、调度、监控、预警，面向研发人员DevOps功能，提供对数据共享服务统一配置与控制。具体的，可以包括：组件运维功能、日志监控功能、消息预警功能、服务注册功能、服务网关功能、DevOps功能。
下面，中台运维具有的功能进行详细解释，可以包括如下：
组件运维功能：在系统运行过程中对组件进行维护，比如：数据技术中组件，确保每个组件有效运行，避免出现宕机、无法执行计算。
日志监控功能：在系统运行过程中获取运行日志数据，通过监控日志数据得到对系统运行状况的分析，等等。
消息预警功能：分析日志数据得到消息预警，比如：磁盘存储文件达到阈值、快被写满、未写成功，直接执行消息预警，等等。
服务注册功能：对用户访问权限的管理，该用户包括后台研发、运维用户，也包括向前端提供数据服务的客户。
服务网关功能：在企业级数据中台向外提供数据服务过程中，监控服务网关，比如：据资产功能的调用用量、访问量，监控避免出现高并发或阻塞，等等。
DevOps功能：DevOps(Development和Operations的组合词)是一组过程、方法与系统的统称，用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。
在本发明实施例中，还可以实现：在系统运行过程中，监控组件运行是否正常，监控系统的运行日志，监控系统的消息预警，监控系统的服务网关等操作。
进一步的，作为对上述图1、图2所示方法的实现，本发明实施例提供了一种汇集多源数据的企业级数据中台系统的实现装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于利用企业级数据中台系统对多源数据进行处理，具体如图4所示，该装置包括：
构建单元31，用于构建数据资产，所述数据资产包含多种不同类型的具有数据管理能力的功能模块，所述功能模块用于提供前端数据服务；
接收单元32，用于接收业务场景的数据处理需求，所述数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理；
获取单元33，用于通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行所述接收单元32接收到的数据处理需求的功能模块；
执行单元34，用于通过控制所述功能模块调用计算模式，执行计算并存储数据处理结果。
进一步的，如图5所示，所述执行单元34包括：
解析模块341，用于从所述数据处理需求中解析待处理的数据量和数据类型，所述数据类型至少为结构化数据、半结构化数据或非结构化数据；
获取模块342，用于获取所述数据处理需求包含的时效性需求；
选择模块343，用于根据所述解析模块341解析的数据量、所述数据类型以及所述获取模块342获取到的时效性需求，选择匹配的计算模式，所述计算模式至少包括：内存计算、数据预聚合、离线计算以及流式计算；
执行模块344，用于根据所述计算模式，利用模型执行计算操作并输出数据处理结果；
所述解析模块341，还用于解析所述数据处理结果中包含的数据量和数据类型；
所述选择模块343，还用于根据所述数据量和数据类型，选择匹配的数据存储模式，所述存储模式至少包括：Mpp数据存储、对象存储、分布式数据存储以及非关系型数据库存储；
存储模块345，用于根据所述选择模块343选择的数据存储模式，对所述数据处理结果进行存储。
进一步的，如图5所示，所述装置还包括：
添加单元35，用于在所述构建数据资产之后，对每个功能模块添加功能概述；
定制单元36，用于预先定制多个业务场景；
匹配单元37，用于通过将每个所述定制单元36定制的业务场景对应的数据处理需求与每个所述添加单元35添加的功能模块对应的功能概述进行匹配，得到所述业务场景匹配的一个或多个功能模块；
建立单元38，用于建立所述业务场景与一个功能模块或多个功能模块组合之间的映射关系。
进一步的，如图5所示，所述装置还包括：
监控单元39，用于在系统运行过程中，监控组件运行是否正常；
所述监控单元39，还用于监控所述系统的运行日志；
所述监控单元39，还用于监控所述系统的消息预警；
所述监控单元39，还用于监控所述系统的服务网关。
进一步的，如图5所示，所述功能模块至少为以下：数据治理标准模块、数据质量管理模块、数据仓库技术模块、数据资产目录模块、元数据管理模块、主数据管理模块、数据安全管理模块、数据全生命周期管理模块、企业知识图谱构建模块以及企业搜索引擎模块。
进一步的，如图5所示，所述数据服务至少为以下：数据报表服务、商务智能服务、企业大屏服务、API服务、消息总线服务以及移动应用服务。
所述汇集多源数据的企业级数据中台系统的实现装置包括处理器和存储器，上述构建单元、接收单元、获取单元和执行单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来既确保检测设备是否存在异常的及时性，也避免误报警，提高检测准确性。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述基于实时获取传感数据进行设备异常分析的方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述基于实时获取传感数据进行设备异常分析的方法。
本发明实施例提供了一种电子设备40，如图6所示，设备包括至少一个处理器401、以及与处理器401连接的至少一个存储器402、总线403；其中，处理器401、存储器402通过总线403完成相互间的通信；处理器401用于调用存储器402中的程序指令，以执行上述的基于实时获取传感数据进行设备异常分析的方法。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
一种汇集多源数据的企业级数据中台系统的实现方法，所述方法包括：构建数据资产，所述数据资产包含多种不同类型的具有数据管理能力的功能模块，所述功能模块用于提供前端数据服务；接收业务场景的数据处理需求，所述数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理；通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行所述数据处理需求的功能模块；通过控制所述功能模块调用计算模式，执行计算并存储数据处理结果。
进一步的，所述控制所述功能模块调用对应的计算模式，输出数据处理结果并进行存储，包括：从所述数据处理需求中解析待处理的数据量和数据类型，所述数据类型至少为结构化数据、半结构化数据或非结构化数据；获取所述数据处理需求包含的时效性需求；根据所述数据量、所述数据类型以及所述时效性需求，选择匹配的计算模式，所述计算模式至少包括：内存计算、数据预聚合、离线计算以及流式计算；根据所述计算模式，利用模型执行计算操作，输出数据处理结果；解析所述数据处理结果中包含的数据量和数据类型；根据所述数据量和数据类型，选择匹配的数据存储模式，所述存储模式至少包括：Mpp数据存储、对象存储、分布式数据存储以及非关系型数据库存储；根据所述数据存储模式，对所述数据处理结果进行存储。
进一步的，在所述构建数据资产之后，所述方法还包括：对每个功能模块添加功能概述；预先定制多个业务场景；通过将每个所述业务场景对应的数据处理需求与每个所述功能模块对应的功能概述进行匹配，得到所述业务场景匹配的一个或多个功能模块；建立所述业务场景与一个功能模块或多个功能模块组合之间的映射关系。
进一步的，所述方法还包括：在系统运行过程中，监控组件运行是否正常；和/或，监控所述系统的运行日志；和/或，监控所述系统的消息预警；和/或，监控所述系统的服务网关。
进一步的，所述功能模块至少为以下：数据治理标准模块、数据质量管理模块、数据仓库技术模块、数据资产目录模块、元数据管理模块、主数据管理模块、数据安全管理模块、数据全生命周期管理模块、企业知识图谱构建模块以及企业搜索引擎模块。
进一步的，所述数据服务至少为以下：数据报表服务、商务智能服务、企业大屏服务、API服务、消息总线服务以及移动应用服务。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种汇集多源数据的企业级数据中台系统的实现方法，其特征在于，所述方法包括：
构建数据资产，所述数据资产包含多种不同类型的具有数据管理能力的功能模块，所述功能模块用于提供前端数据服务；
接收业务场景的数据处理需求，所述数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理；
通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行所述数据处理需求的功能模块；
通过控制所述功能模块调用计算模式，执行计算并存储数据处理结果。
2.根据权利要求1所述的方法，其特征在于，所述控制所述功能模块调用对应的计算模式，输出数据处理结果并进行存储，包括：
从所述数据处理需求中解析待处理的数据量和数据类型，所述数据类型至少为结构化数据、半结构化数据或非结构化数据；
获取所述数据处理需求包含的时效性需求；
根据所述数据量、所述数据类型以及所述时效性需求，选择匹配的计算模式，所述计算模式至少包括：内存计算、数据预聚合、离线计算以及流式计算；
根据所述计算模式，利用模型执行计算操作，输出数据处理结果；
解析所述数据处理结果中包含的数据量和数据类型；
根据所述数据量和数据类型，选择匹配的数据存储模式，所述存储模式至少包括：Mpp数据存储、对象存储、分布式数据存储以及非关系型数据库存储；
根据所述数据存储模式，对所述数据处理结果进行存储。
3.根据权利要求1所述的方法，其特征在于，在所述构建数据资产之后，所述方法还包括：
对每个功能模块添加功能概述；
预先定制多个业务场景；
通过将每个所述业务场景对应的数据处理需求与每个所述功能模块对应的功能概述进行匹配，得到所述业务场景匹配的一个或多个功能模块；
建立所述业务场景与一个功能模块或多个功能模块组合之间的映射关系。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在系统运行过程中，监控组件运行是否正常；和/或
监控所述系统的运行日志；和/或
监控所述系统的消息预警；和/或
监控所述系统的服务网关。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述功能模块至少为以下：数据治理标准模块、数据质量管理模块、数据仓库技术模块、数据资产目录模块、元数据管理模块、主数据管理模块、数据安全管理模块、数据全生命周期管理模块、企业知识图谱构建模块以及企业搜索引擎模块。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述数据服务至少为以下：数据报表服务、商务智能服务、企业大屏服务、API服务、消息总线服务以及移动应用服务。
7.一种汇集多源数据的企业级数据中台系统的实现装置，其特征在于，所述装置包括：
构建单元，用于构建数据资产，所述数据资产包含多种不同类型的具有数据管理能力的功能模块，所述功能模块用于提供前端数据服务；
接收单元，用于接收业务场景的数据处理需求，所述数据处理需求包括对结构化数据、半结构化数据以及非结构化数据进行处理；
获取单元，用于通过查找预先设定的业务场景与功能模块之间的映射关系，获取对应的用于执行所述接收单元接收到的数据处理需求的功能模块；
执行单元，用于通过控制所述功能模块调用计算模式，执行计算并存储数据处理结果。
8.根据权利要求7所述的装置，其特征在于，所述执行单元包括：
解析模块，用于从所述数据处理需求中解析待处理的数据量和数据类型，所述数据类型至少为结构化数据、半结构化数据或非结构化数据；
获取模块，用于获取所述数据处理需求包含的时效性需求；
选择模块，用于根据所述解析模块解析的数据量、所述数据类型以及所述获取模块获取到的时效性需求，选择匹配的计算模式，所述计算模式至少包括：内存计算、数据预聚合、离线计算以及流式计算；
执行模块，用于根据所述计算模式，利用模型执行计算操作并输出数据处理结果；
所述解析模块，还用于解析所述数据处理结果中包含的数据量和数据类型；
所述选择模块，还用于根据所述数据量和数据类型，选择匹配的数据存储模式，所述存储模式至少包括：Mpp数据存储、对象存储、分布式数据存储以及非关系型数据库存储；
存储模块，用于根据所述选择模块选择的数据存储模式，对所述数据处理结果进行存储。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-6中任一项所述的汇集多源数据的企业级数据中台系统的实现方法。
10.一种电子设备，其特征在于，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-6中任一项所述的汇集多源数据的企业级数据中台系统的实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910942541.9A CN112580914A (zh) | 2019-09-30 | 2019-09-30 | 汇集多源数据的企业级数据中台系统的实现方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910942541.9A CN112580914A (zh) | 2019-09-30 | 2019-09-30 | 汇集多源数据的企业级数据中台系统的实现方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112580914A true CN112580914A (zh) | 2021-03-30 |
Family
ID=75116449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910942541.9A Pending CN112580914A (zh) | 2019-09-30 | 2019-09-30 | 汇集多源数据的企业级数据中台系统的实现方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580914A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113094361A (zh) * | 2021-04-20 | 2021-07-09 | 上海数禾信息科技有限公司 | 用于海量数据治理的数据处理方法和装置 |
| CN113393357A (zh) * | 2021-06-03 | 2021-09-14 | 八维通科技有限公司 | 适用于城市交通出行数据服务的数据中台系统 |
| CN113609393A (zh) * | 2021-08-06 | 2021-11-05 | 上海牵翼网络科技有限公司 | 一种基于数据服务和数据管理的数字化平台 |
| CN113723945A (zh) * | 2021-09-15 | 2021-11-30 | 中国银行股份有限公司 | 银行用户数据处理方法及装置 |
| CN113791586A (zh) * | 2021-07-27 | 2021-12-14 | 贵州元数通科技有限公司 | 一种新型的工业app与标识注册解析集成方法 |
| CN113849503A (zh) * | 2021-09-10 | 2021-12-28 | 杭州未名信科科技有限公司 | 一种开放式大数据处理系统、方法及介质 |
| CN115550236A (zh) * | 2022-08-31 | 2022-12-30 | 国网江西省电力有限公司信息通信分公司 | 一种面向安全中台资源池路由优化的数据保护方法 |
| CN115587087A (zh) * | 2022-12-13 | 2023-01-10 | 四川华西集采电子商务有限公司 | 一种基于数据抽取和系统建模的高效数据共享平台 |
| CN115757572A (zh) * | 2022-11-04 | 2023-03-07 | 厦门微亚智能科技有限公司 | 基于redis的数据处理方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询系统 |
| US20180349772A1 (en) * | 2015-10-29 | 2018-12-06 | Preferred Networks, Inc. | Information processing device and information processing method |
| CN109408548A (zh) * | 2018-09-19 | 2019-03-01 | 中国电力科学研究院有限公司 | 一种城市电力大数据应用系统及方法 |
| CN109582667A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种基于电力调控大数据的多数据库混合存储方法及系统 |
| CN110032591A (zh) * | 2018-12-28 | 2019-07-19 | 国网浙江省电力有限公司信息通信分公司 | 一种资产大数据智能分析方法 |
-
2019
- 2019-09-30 CN CN201910942541.9A patent/CN112580914A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180349772A1 (en) * | 2015-10-29 | 2018-12-06 | Preferred Networks, Inc. | Information processing device and information processing method |
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询系统 |
| CN109408548A (zh) * | 2018-09-19 | 2019-03-01 | 中国电力科学研究院有限公司 | 一种城市电力大数据应用系统及方法 |
| CN109582667A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种基于电力调控大数据的多数据库混合存储方法及系统 |
| CN110032591A (zh) * | 2018-12-28 | 2019-07-19 | 国网浙江省电力有限公司信息通信分公司 | 一种资产大数据智能分析方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113094361A (zh) * | 2021-04-20 | 2021-07-09 | 上海数禾信息科技有限公司 | 用于海量数据治理的数据处理方法和装置 |
| CN113393357A (zh) * | 2021-06-03 | 2021-09-14 | 八维通科技有限公司 | 适用于城市交通出行数据服务的数据中台系统 |
| CN113791586A (zh) * | 2021-07-27 | 2021-12-14 | 贵州元数通科技有限公司 | 一种新型的工业app与标识注册解析集成方法 |
| CN113609393A (zh) * | 2021-08-06 | 2021-11-05 | 上海牵翼网络科技有限公司 | 一种基于数据服务和数据管理的数字化平台 |
| CN113849503A (zh) * | 2021-09-10 | 2021-12-28 | 杭州未名信科科技有限公司 | 一种开放式大数据处理系统、方法及介质 |
| CN113849503B (zh) * | 2021-09-10 | 2023-10-20 | 杭州未名信科科技有限公司 | 一种开放式大数据处理系统、方法及介质 |
| CN113723945A (zh) * | 2021-09-15 | 2021-11-30 | 中国银行股份有限公司 | 银行用户数据处理方法及装置 |
| CN115550236A (zh) * | 2022-08-31 | 2022-12-30 | 国网江西省电力有限公司信息通信分公司 | 一种面向安全中台资源池路由优化的数据保护方法 |
| CN115550236B (zh) * | 2022-08-31 | 2024-04-30 | 国网江西省电力有限公司信息通信分公司 | 一种面向安全中台资源池路由优化的数据保护方法 |
| CN115757572A (zh) * | 2022-11-04 | 2023-03-07 | 厦门微亚智能科技有限公司 | 基于redis的数据处理方法、装置、设备及存储介质 |
| CN115587087A (zh) * | 2022-12-13 | 2023-01-10 | 四川华西集采电子商务有限公司 | 一种基于数据抽取和系统建模的高效数据共享平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580914A (zh) | 汇集多源数据的企业级数据中台系统的实现方法及装置 | |
| Wang et al. | Industrial big data analytics: challenges, methodologies, and applications | |
| US11627053B2 (en) | Continuous data sensing of functional states of networked computing devices to determine efficiency metrics for servicing electronic messages asynchronously | |
| Ferguson | Architecting a big data platform for analytics | |
| US10235430B2 (en) | Systems, methods, and apparatuses for detecting activity patterns | |
| US7574379B2 (en) | Method and system of using artifacts to identify elements of a component business model | |
| US11915195B2 (en) | Systems and methods for intelligent field matching and anomaly detection | |
| Schintler et al. | Encyclopedia of big data | |
| US20210136122A1 (en) | Crowdsourced innovation laboratory and process implementation system | |
| US10636086B2 (en) | XBRL comparative reporting | |
| US20210117889A1 (en) | Co-operative resource pooling system | |
| CN113157947A (zh) | 知识图谱的构建方法、工具、装置和服务器 | |
| US10176003B2 (en) | Integrated framework for monitoring business activities | |
| US10248733B2 (en) | Integration of a catalog application with a monitoring application | |
| CN110019440B (zh) | 数据的处理方法及装置 | |
| US11461697B2 (en) | Contextual modeling using application metadata | |
| US20170109637A1 (en) | Crowd-Based Model for Identifying Nonconsecutive Executions of a Business Process | |
| CN114385121B (zh) | 一种基于业务分层的软件设计建模方法及系统 | |
| US20140149186A1 (en) | Method and system of using artifacts to identify elements of a component business model | |
| Weber | Business Analytics and Intelligence | |
| Hogan | Data center | |
| CN114757546A (zh) | 风险预警方法、装置、设备及介质 | |
| Kabakchieva et al. | Latest Trends in Business Intelligence System Development | |
| Kumar | Software Engineering for Big Data Systems | |
| Zhang | Data Synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |