CN112199430A - 一种基于数据中台的业务数据处理系统及方法 - Google Patents
一种基于数据中台的业务数据处理系统及方法 Download PDFInfo
- Publication number
- CN112199430A CN112199430A CN202011102381.6A CN202011102381A CN112199430A CN 112199430 A CN112199430 A CN 112199430A CN 202011102381 A CN202011102381 A CN 202011102381A CN 112199430 A CN112199430 A CN 112199430A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- layer
- source
- business
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 34
- 238000007405 data analysis Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000002547 anomalous effect Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 238000010223 real-time analysis Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于数据中台的业务数据处理系统及方法，包括数据中台和数据采集装置；所述数据采集装置用于采集至少一个服务平台的数据源信息；所述数据中台对采集的数据源信息进行分析处理，生成同一业务场景下的数据源；将同一业务场景下的数据源作为供前台使用的业务数据，响应前台的业务需求。上述方案将多源海量数据进行逻辑封装，形成数据中台，实现业务数据的标准化；利用数据中台技术打破数据孤岛，整合数据结构，统一数据出口，形成数据闭环，将客户获取、媒介渠道管理、营销链路、运营状况、财务管理等各种数据串联，有助于形成数据驱动业务发展的局面。
Description
技术领域
本发明属于计算机技术领域的数据处理系统及方法，具体涉及一种基于数据中台的业务数据处理系统及方法。
背景技术
随着企业信息化落地，从生产经营到各种业务场景中积累了大量的数据资产，然而这些资产散乱复杂，阻碍了我们的使用以及对其价值的深度挖掘。
传统的业务系统表现出技术架构落后、重复建设过程繁多等问题，早已不能满足企业的发展需求。系统在建设的过程中，每上线一个新功能，都会出现大量重复建设内容。其缺点在于缺乏数据统一性、标准性和扩展性，这使得后期数据的抽取和同步困难，原数据在各个业务线中独立存在，系统间数据集成差，造成数据孤岛。
因此在当前信息化时代背景下，企业需亟待解决整合数据资产、提升数字化能力的进程。
发明内容
为了实现现有技术中的需求，本发明提供一种基于数据中台的业务数据处理系统及方法，整合了数据结构，统一数据出口，形成数据闭环，将客户获取、媒介渠道管理、营销链路、运营状况、财务管理等各种数据串联，有助于形成数据驱动业务发展的局面。利用数据中台技术打破数据孤岛，解决了原数据在各个业务线中独立存在的问题。
本发明通过以下技术手段解决上述技术问题：
一种基于数据中台的业务数据处理系统，包括数据中台和数据采集装置；
所述数据采集装置用于采集至少一个服务平台的数据源信息；
所述数据中台对采集的数据源信息进行分析处理，生成同一业务场景下的数据源；
将所述同一业务场景下的数据源作为供前台使用的业务数据，响应前台的业务需求。
优选的，所述数据采集装置包括：与服务平台连接的数据采集层，以及设置于服务平台与数据采集层之间的通用接口；
所述数据采集层采用通用接口通过多类型通信介质与所述服务平台相互通信，根据预先定义的通信协议自动辨识连接的服务平台，采集来自所述服务平台的数据源信息。
进一步地，所述数据采集层包括：
连接模块，用于向目标服务平台发送异步请求，与所述服务平台的源数据库建立同步连接；
第一获取模块，用于采用开源框架工具，读取源数据库二进制日志文件列表中的结构化数据；
第二获取模块，用于采用flume+kafka读取源数据库中的非结构化数据；
构建模块，用于建立包含结构化/非结构化数据的数据源列表；
处理模块，用于基于flink开源技术，处理所述数据源列表的增量数据。
进一步地，所述服务平台包括多个独立运行的服务中心，所述服务中心包括多个提供不同业务类型的微服务。
优选的，所述数据中台包括：自下而上依次连接的预处理层、数据操作层、数据字典层、数据明细层、汇总数据层和数据应用层；
其中，所述预处理层，用于实时自动同步数据采集装置的增量数据，对所述增量数据进行逻辑封装并储存；
数据操作层，用于将预处理层存储的数据按照不同的业务类型生成业务库，并将业务库的原始数据进行结构化处理后存储到对应的目录；
数据字典层，用于构建各业务库所需的字典表数据；所述字典表数据包括：媒体资源数据、客户列表数据、供应商列表数据和各角色人员信息数据；
数据明细层，用于使用数据操作层和数据字典层两部分，建立各业务库和字典表数据之间的映射关系；
汇总数据层，用于基于数据明细层定义相应的全局分析指标，形成业务流形式的全量数据；
数据应用层，用于获取业务流形式的全量数据，基于业务需求在全局分析指标中调用个体分析指标，对全量数据进行预测，生成同一业务场景下的数据源。
进一步地，所述汇总数据层包括：
分析模块，用于从所述业务库中解析出所述增量数据。
进一步地，所述数据应用层包括：
标准化处理模块，对所述业务流形式的全量数据的初始数字化信息进行标准化处理，滤掉不符合个体分析指标的数据，得到无噪声的数据；
部署模块，用于部署所述增量数据相应的数据分析应用场景；所述数据分析应用场景，包括业务状况分析、决策分析、财务状况、人效模型和风险预测；
预测模块，用于基于业务需求从全量数据中选取查询字段，建立多个查询字段之间的数据血缘关系模型和相关预测模型；其中，所述相关预测模型用于预测媒体消耗和订单销售情况；
所述查询字段包括：噪声信息、异常行为、数据源类型和数据源来源信息字段。
一种基于数据中台的业务数据处理方法，所述方法包括：
采集至少一个服务平台的数据源信息；
对采集的数据源信息进行分析处理，生成同一业务场景下的数据源；
将所述同一业务场景下的数据源作为供前台使用的业务数据，响应前台的业务需求。
本发明的有益效果体现在：
本发明提出的一种基于数据中台的业务数据处理系统及方法，由数据仓库和数据中台两个阶段的演变，能够清晰的获取数据分析清晰的转变路径；从统计分析转向预测分析，从单领域分析转向跨领域综合分析，从非实时转向实时分析、从结构化数据转向多元化。通过使用数据中台的方式，实时获取原始数据、处理增量数据，有效避免了数据延迟，保障新增数据从产生到最终在应用层展示的实时性；同时可随时根据需求抽取想要的数据进行建模分析，有效得提升了业务实践的效率。
基于数据中台的业务数据处理系统的提出打破了业务的割裂现状，打通了各业务部门“烟囱式”IT系统建造的信息孤岛和数据壁垒，实现了跨平台的数据整合，发挥了多平台的数据协同作用。将分散各处的共性业务抽取汇聚成各个中心，围绕各业务能力中心打造数据中台。可以实现服务复用，保证业务的灵活性，解决业务调度问题，也便于数据中台的持续沉淀、迭代升级。
本发明提出的一种基于数据中台的业务数据处理系统及方法，可广泛应用于互联网广告行业(整合营销、链路营销、流量方向)方向上，通过构建数据中台灵活实现数据服务，快速响应业务需求，通过数据驱动业务，指导业务发展；通过深度挖掘数据价值，实现了媒体消耗预测、订单销售预测、逾期风控、客户信用评级等算法模型的建立，从而持续为业务创造价值，成为赋能业务、驱动指导的利器。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明提供的基于数据中台的业务数据处理系统结构示意图；
图2为本发明提供的数据采集装置结构示意图；
图3为本发明提供的数据应用层的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的详细说明。
为了具体了解本发明提供的技术方案，将在下面的实施例中对本发明的技术方案做出详细的描述和说明。显然，本发明提供的实施例并不限定于本领域的技术人员所熟习的特殊细节。本发明的较佳实施例详细描述如下，除这些描述外，本发明还可以具有其他实施方式。
本发明实施例中针对企业整合数据资产、提升数字化能力的进程的迫切需求，提供以下具体实施方案，分为两个阶段：
1)数据仓库，即第一代的ETL模式，数据经历抽取、清洗和加载到达数据仓库，最终完成数据的统计分析。它为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
2)数据中台，由阿里提出，要在不同多场景、多业务群间实现数据互联，对数据价值做最大化挖掘，整合集团层面的数据中台，统一管理和应用数据。它通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。
通过以上两个阶段的演变可以清晰的发现数据分析清晰的转变路径，从统计分析转向预测分析，从单领域分析转向跨领域综合分析，从非实时转向实时分析、从结构化数据转向多元化。使用数据中台的方式可随时根据需求抽取想要的原始数据进行建模分析，有效得提升了业务实践的效率。
实施例1：
如图1和2所示，本发明提供一种基于数据中台的业务数据处理系统，该系统主要包括相互通信的数据中台和数据采集装置；
其中，数据采集装置，用于采集至少一个服务平台的数据源信息；服务平台包括多个独立运行的服务中心，所述服务中心包括多个提供不同业务类型的微服务。因此，数据采集装置可以获取来自多个服务平台的数据源。如图1所示，与数据采集装置的服务平台例如CRM(主要存储客户关系数据)、ERP(主要存储媒介关系数据和整合营销、链路营销的流程数据)、聚投(存储相关运营消耗数据)、用友NC等等。
图1中的数据中台，用于对采集的数据源信息进行分析处理，对采集的数据源信息进行分析处理，生成同一业务场景下的数据源；响应前台的业务需求。
将所述同一业务场景下的数据源作为供前台使用的业务数据，响应前台的业务需求
本发明具体实施方式通过数据中台建立可以标准化各个独立存在的业务数据。
如图2所示，数据采集装置进一步包括：与服务平台连接的数据采集层，以及设置于服务平台与数据采集层之间的通用接口；数据采集层采用通用接口通过多类型通信介质与所述服务平台相互通信，根据预先定义的通信协议自动辨识连接的服务平台，采集来自服务平台的数据源信息；
数据采集层包括：
连接模块，用于向目标服务平台发送同步请求，与所述服务平台的源数据库建立同步连接；
第一获取模块，用于采用开源框架工具，读取源数据库二进制日志文件列表中的结构化数据；
第二获取模块，用于采用flume+kafka读取源数据库中的非结构化数据；
构建模块，用于建立包含结构化/非结构化数据的数据源列表；
处理模块，用于基于flink开源技术，处理所述数据源列表的增量数据。
包含上述数据采集层和数据处理层的数据采集装置保障了数据获取的实时性。当获取的数据存在延迟，就可能导致我们当前的决策并不充分，不能依据现实情况作出准确的分析判断，从而产生决断不明确的影响。而本发明具体实施方式中，采用阿里的开源框架canel读取Mysql的binlog数据，实时获取结构化数据；采用flume+kafka实时获取非结构化数据，利用flink等相关开源技术实时处理增量数据，保障新增数据从产生到最终在应用层展示的时间间隔小于2分钟。
如图1所示，数据中台包括自下而上依次连接的预处理层、数据操作层、数据字典层、数据明细层、汇总数据层和数据应用层，整体分为如下6层：
(1)预处理层(Stage)：该层主要存储每天的增量原始数据，表与各个平台的数据保持一致。
(2)数据操作层(ODS)：该层存储所有的基础数据，做数据化清晰以及结构化原始数据。
(3)数据字典层(DIM)：该层主要存储构建各业务库所需的字典表数据，字典表数据包括媒体资源数据、客户列表数据、供应商列表数据和各角色人员信息数据等等；
(4)数据明细层(DWD)：该层主要拉宽明细表，提高明细表的易用性，具备反向提供各平台数据支撑的能力，与各个平台形成协同作用。
(5)汇总数据层(DWS)：该层广泛采用宽表化处理手段，构建共同指标数据层，整合各个业务库的关键维度，形成以业务流为主体的全量数据。
(6)数据应用层(ADS)如图3所示：该层存放各个业务个性化统计分析指标数据，面向业务前台数据支撑，应用tableau等相关BI工具构建标准化、流程化的日常分析任务。
整个流程的数据源分别来自CRM(主要存储客户关系数据)、ERP(主要存储媒介关系数据和整合营销、链路营销的流程数据)、聚投(存储相关运营消耗数据)、用友NC(存储收付款、收付发票数据)，数据中台通过以上6层的分层操作，整合以上数据源，提供依托数据驱动企业决策、模型风控、提升人效管理等相关能力。
各层级的具体功能如下：
其中，预处理层，用于实时自动同步数据采集装置的增量数据，对所述增量数据进行逻辑封装并储存；
数据操作层，用于将预处理层存储的数据按照不同的业务类型生成业务库，并将业务库的原始数据进行结构化处理后存储到对应的目录；
数据字典层，用于构建各业务库所需的字典表数据；所述字典表数据包括：媒体资源数据、客户列表数据、供应商列表数据和各角色人员信息数据等等。
数据明细层，用于使用数据操作层和数据字典层的数据建立各业务库和字典表数据之间的映射关系，确定对应于所述业务库的业务数据、业务逻辑模型和算法模型，为各服务平台提供反向的数据支撑；
汇总数据层，用于基于各业务库的维度，定义相应的全局分析指标，形成业务流形式的全量数据；
数据应用层，用于获取业务流形式的全量数据，基于业务需求在全局分析指标中调用个体分析指标，对采集的数据源信息进行预测、预警，从而反应业务现状，描述各类现实情况场景和展示多种内容，比如现有的资金流向、客户投放情况、资源渠道情况等等。最终生成同一业务场景下的数据源。
进一步地，所述汇总数据层又包括：
分析模块，用于从所述业务库中解析出所述增量数据，为经营现状和业务做指导；数据应用层又包括：
标准化处理模块，对所述业务流形式的全量数据的初始数字化信息进行标准化处理，滤掉不符合个体分析指标的数据，得到无噪声的数据；
预测模块，用于基于业务需求从全量数据中选取查询字段，建立多个查询字段之间的数据血缘关系模型和相关预测模型；其中，所述相关预测模型用于预测媒体消耗和订单销售情况；
所述查询字段包括：噪声信息、异常行为、数据源类型和数据源来源信息字段；
部署模块，用于部署所述增量数据相应的数据分析应用场景；所述数据分析应用场景，包括业务状况分析、决策分析、财务状况、人效模型和风险预测。
数据血缘关系模型的建立可知晓数据的血缘关系：在预测中，我们经常会依托各个数据源去做综合预测，可在预测的过程中，可能存在相关噪声数据，我们要明确的找到产生某些不合理预测或者人为难以理解的情况时，依据的数据有哪些，又是从哪些平台中获得的，这些关系图极为重要。因此构建数据的血缘关系，可以快速的定位相关数据，调整预测模块的能力。
实施例2：
基于同一技术构思，本发明还提供一种基于数据中台的业务数据处理方法，所述方法的执行主体主要包括：
S1采集至少一个服务平台的数据源信息；
S2对采集的数据源信息进行分析处理，生成同一业务场景下的数据源；
S3将同一业务场景下的数据源作为供前台使用的业务数据，响应前台的业务需求。
实施例3：
本发明具体实施方式提供了构建数据中台的一种方案，该方案可应用于关于互联网广告行业(整合营销、链路营销、流量方向)，从而有效解决以下几个问题：
1)该数据中台保障了数据一致性，并通过完善的系统化管理，形成从客户获取、媒介渠道管理、营销链路、运营状况、财务管理等一系列完善的一致性数据。
2)该数据中台具备快速多维分析的响应能力，可以实时提供多维数据分析能力。
3)该数据中台对决策支持，尤其是战略决策提供的数据分析的应用场景，包括业务状况分析、决策分析、财务状况、人效模型、风险预测等。
4)该数据中台提升时间维度敏感能力，可追溯任一时间点的数据情况，使得对未来情况的预测存在了可能。
在本实施例中，数据中台可以具有数据引入功能(如数据采集、清洗、结构化与集成等)，以使得数据中台从相关联的业务平台获取对象数据。其中，数据中台相关联的业务平台可以涉及各种业务类型本说明书并不对此进行限制。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本申请的技术方案而非对其保护范围的限制，尽管参照上述实施例对本申请进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，这些变更、修改或者等同替换，其均在其申请待批的权利要求范围之内。
Claims (8)
1.一种基于数据中台的业务数据处理系统，其特征在于，包括数据中台和数据采集装置；
所述数据采集装置用于采集至少一个服务平台的数据源信息；
所述数据中台对采集的数据源信息进行分析处理，生成同一业务场景下的数据源；
将所述同一业务场景下的数据源作为供前台使用的业务数据，响应前台的业务需求。
2.如权利要求1所述的一种基于数据中台的业务数据处理系统，其特征在于，所述数据采集装置包括：与服务平台连接的数据采集层，以及设置于服务平台与数据采集层之间的通用接口；
所述数据采集层采用通用接口通过多类型通信介质与所述服务平台相互通信，根据预先定义的通信协议自动辨识连接的服务平台，采集来自所述服务平台的数据源信息。
3.如权利要求2所述的一种基于数据中台的业务数据处理系统，其特征在于，所述数据采集层包括：
连接模块，用于向目标服务平台发送异步请求，与所述服务平台的源数据库建立同步连接；
第一获取模块，用于采用开源框架工具，读取源数据库二进制日志文件列表中的结构化数据；
第二获取模块，用于采用flume+kafka读取源数据库中的非结构化数据；
构建模块，用于建立包含结构化/非结构化数据的数据源列表；
处理模块，用于基于flink开源技术，处理所述数据源列表的增量数据。
4.如权利要求2所述的一种基于数据中台的业务数据处理系统，其特征在于，所述服务平台包括多个独立运行的服务中心，所述服务中心包括多个提供不同业务类型的微服务。
5.如权利要求1所述的一种基于数据中台的业务数据处理系统，其特征在于，所述数据中台包括：自下而上依次连接的预处理层、数据操作层、数据字典层、数据明细层、汇总数据层和数据应用层；
其中，所述预处理层，用于实时自动同步数据采集装置的增量数据，对所述增量数据进行逻辑封装并储存；
数据操作层，用于将预处理层存储的数据按照不同的业务类型生成业务库，并将业务库的原始数据进行结构化处理后存储到对应的目录；
数据字典层，用于构建各业务库所需的字典表数据；所述字典表数据包括：媒体资源数据、客户列表数据、供应商列表数据和各角色人员信息数据；
数据明细层，用于使用数据操作层和数据字典层两部分，建立各业务库和字典表数据之间的映射关系，
汇总数据层，用于基于数据明细层定义相应的全局分析指标，形成业务流形式的全量数据；
数据应用层，用于获取业务流形式的全量数据，基于业务需求在全局分析指标中调用个体分析指标，对全量数据进行预测，生成同一业务场景下的数据源。
6.如权利要求5所述的一种基于数据中台的业务数据处理系统，其特征在于，所述汇总数据层包括：
分析模块，用于从所述业务库中解析出所述增量数据。
7.如权利要求6所述的一种基于数据中台的业务数据处理系统，其特征在于，所述数据应用层包括：
标准化处理模块，对所述业务流形式的全量数据的初始数字化信息进行标准化处理，滤掉不符合个体分析指标的数据，得到无噪声的数据；
部署模块，用于部署所述增量数据相应的数据分析应用场景；所述数据分析应用场景，包括业务状况分析、决策分析、财务状况、人效模型和风险预测；
预测模块，用于基于业务需求从全量数据中选取查询字段，建立多个查询字段之间的数据血缘关系模型和相关预测模型；其中，所述相关预测模型用于预测媒体消耗和订单销售情况；
所述查询字段包括：噪声信息、异常行为、数据源类型和数据源来源信息字段。
8.一种基于数据中台的业务数据处理方法，其特征在于，所述方法包括：
采集至少一个服务平台的数据源信息；
对采集的数据源信息进行分析处理，生成同一业务场景下的数据源；
将所述同一业务场景下的数据源作为供前台使用的业务数据，响应前台的业务需求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011102381.6A CN112199430A (zh) | 2020-10-15 | 2020-10-15 | 一种基于数据中台的业务数据处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011102381.6A CN112199430A (zh) | 2020-10-15 | 2020-10-15 | 一种基于数据中台的业务数据处理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112199430A true CN112199430A (zh) | 2021-01-08 |
Family
ID=74010137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011102381.6A Pending CN112199430A (zh) | 2020-10-15 | 2020-10-15 | 一种基于数据中台的业务数据处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112199430A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112817938A (zh) * | 2021-01-28 | 2021-05-18 | 北京易莱信科技有限公司 | 一种基于数据产品化的通用数据服务构建方法及系统 |
| CN112883001A (zh) * | 2021-01-28 | 2021-06-01 | 国网冀北电力有限公司智能配电网中心 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
| CN112989413A (zh) * | 2021-03-19 | 2021-06-18 | 北京思特奇信息技术股份有限公司 | 嵌入式数据安全保护方法及系统 |
| CN113204374A (zh) * | 2021-05-28 | 2021-08-03 | 中国工商银行股份有限公司 | 流水线任务组件输入参数配置方法及装置 |
| CN113393216A (zh) * | 2021-07-01 | 2021-09-14 | 上海牵翼网络科技有限公司 | 一种实验室数字化平台 |
| CN113487170A (zh) * | 2021-07-01 | 2021-10-08 | 广州信安数据有限公司 | 一种具有分层技术架构的全链路监控系统 |
| CN113609393A (zh) * | 2021-08-06 | 2021-11-05 | 上海牵翼网络科技有限公司 | 一种基于数据服务和数据管理的数字化平台 |
| CN113641768A (zh) * | 2021-07-30 | 2021-11-12 | 国网江苏省电力有限公司南通供电分公司 | 一种基于电网多源数据的处理方法、系统和设备 |
| CN113791586A (zh) * | 2021-07-27 | 2021-12-14 | 贵州元数通科技有限公司 | 一种新型的工业app与标识注册解析集成方法 |
| CN113915484A (zh) * | 2021-10-20 | 2022-01-11 | 广东莱盈建设科技有限公司 | 一种鱼眼式班牌多媒体发布机 |
| CN114020444A (zh) * | 2022-01-05 | 2022-02-08 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调用系统和方法 |
| CN114036031A (zh) * | 2022-01-05 | 2022-02-11 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调度系统和方法 |
| CN114066629A (zh) * | 2021-11-15 | 2022-02-18 | 深圳华云信息系统有限公司 | 模型管理ai平台及模型管理方法 |
| CN115221245A (zh) * | 2022-07-14 | 2022-10-21 | 广州纳指数据智能科技有限公司 | 智能数据采集同步方法、系统及设备 |
| CN115858193A (zh) * | 2022-11-24 | 2023-03-28 | 广州市易鸿智能装备有限公司 | 一种数据传输方法和实现业务类bussiness功能对接的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070239587A1 (en) * | 2006-04-07 | 2007-10-11 | Axiom Software Laboratories, Inc. | System and Method For Dynamically Utilizing and Managing Financial, Operational, and Compliance Data |
| US20170053288A1 (en) * | 2015-08-18 | 2017-02-23 | LandNExpand, LLC | Cloud Based Customer Relationship Mapping |
| CN110991883A (zh) * | 2019-12-03 | 2020-04-10 | 中国民用航空总局第二研究所 | 一种基于航班风险前置的运行控制系统及方法 |
| CN111008197A (zh) * | 2019-11-20 | 2020-04-14 | 王锦志 | 一种电力营销服务系统数据中台设计方法 |
-
2020
- 2020-10-15 CN CN202011102381.6A patent/CN112199430A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070239587A1 (en) * | 2006-04-07 | 2007-10-11 | Axiom Software Laboratories, Inc. | System and Method For Dynamically Utilizing and Managing Financial, Operational, and Compliance Data |
| US20170053288A1 (en) * | 2015-08-18 | 2017-02-23 | LandNExpand, LLC | Cloud Based Customer Relationship Mapping |
| CN111008197A (zh) * | 2019-11-20 | 2020-04-14 | 王锦志 | 一种电力营销服务系统数据中台设计方法 |
| CN110991883A (zh) * | 2019-12-03 | 2020-04-10 | 中国民用航空总局第二研究所 | 一种基于航班风险前置的运行控制系统及方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112817938A (zh) * | 2021-01-28 | 2021-05-18 | 北京易莱信科技有限公司 | 一种基于数据产品化的通用数据服务构建方法及系统 |
| CN112883001A (zh) * | 2021-01-28 | 2021-06-01 | 国网冀北电力有限公司智能配电网中心 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
| CN112989413A (zh) * | 2021-03-19 | 2021-06-18 | 北京思特奇信息技术股份有限公司 | 嵌入式数据安全保护方法及系统 |
| CN112989413B (zh) * | 2021-03-19 | 2024-01-30 | 北京思特奇信息技术股份有限公司 | 嵌入式数据安全保护方法及系统 |
| CN113204374A (zh) * | 2021-05-28 | 2021-08-03 | 中国工商银行股份有限公司 | 流水线任务组件输入参数配置方法及装置 |
| CN113393216A (zh) * | 2021-07-01 | 2021-09-14 | 上海牵翼网络科技有限公司 | 一种实验室数字化平台 |
| CN113487170A (zh) * | 2021-07-01 | 2021-10-08 | 广州信安数据有限公司 | 一种具有分层技术架构的全链路监控系统 |
| CN113791586A (zh) * | 2021-07-27 | 2021-12-14 | 贵州元数通科技有限公司 | 一种新型的工业app与标识注册解析集成方法 |
| CN113641768A (zh) * | 2021-07-30 | 2021-11-12 | 国网江苏省电力有限公司南通供电分公司 | 一种基于电网多源数据的处理方法、系统和设备 |
| CN113609393A (zh) * | 2021-08-06 | 2021-11-05 | 上海牵翼网络科技有限公司 | 一种基于数据服务和数据管理的数字化平台 |
| CN113915484A (zh) * | 2021-10-20 | 2022-01-11 | 广东莱盈建设科技有限公司 | 一种鱼眼式班牌多媒体发布机 |
| CN114066629A (zh) * | 2021-11-15 | 2022-02-18 | 深圳华云信息系统有限公司 | 模型管理ai平台及模型管理方法 |
| CN114020444A (zh) * | 2022-01-05 | 2022-02-08 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调用系统和方法 |
| CN114036031A (zh) * | 2022-01-05 | 2022-02-11 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调度系统和方法 |
| CN115221245A (zh) * | 2022-07-14 | 2022-10-21 | 广州纳指数据智能科技有限公司 | 智能数据采集同步方法、系统及设备 |
| CN115858193A (zh) * | 2022-11-24 | 2023-03-28 | 广州市易鸿智能装备有限公司 | 一种数据传输方法和实现业务类bussiness功能对接的方法 |
| CN115858193B (zh) * | 2022-11-24 | 2023-08-25 | 广州市易鸿智能装备有限公司 | 一种数据传输方法和实现业务类bussiness功能对接的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112199430A (zh) | 一种基于数据中台的业务数据处理系统及方法 | |
| CN110825801B (zh) | 基于分布式架构的列车信号系统车载日志分析系统和方法 | |
| Gärtner et al. | Issues with big data | |
| Hompes et al. | Discovering causal factors explaining business process performance variation | |
| US20230162051A1 (en) | Method, device and apparatus for execution of automated machine learning process | |
| CN112182077B (zh) | 一种基于数据中台技术的智能运维系统 | |
| CN112181960B (zh) | 一种基于AIOps的智能运维框架系统 | |
| CN104123592B (zh) | 银行后台tps交易事件趋势预测方法及系统 | |
| CN110334274A (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
| EP1866851A2 (en) | Constrained tree structure method and system | |
| CN106776984B (zh) | 一种分布式系统挖掘数据的清洗方法 | |
| CN109543925A (zh) | 基于机器学习的风险预测方法、装置、计算机设备和存储介质 | |
| CN102902752A (zh) | 一种日志监控方法及系统 | |
| CN111144938A (zh) | 适用于汽车行业的销售线索评级的方法和系统 | |
| Schuh et al. | Creation of digital production twins for the optimization of value creation in single and small batch production | |
| CN117076521A (zh) | 基于大数据的运营数据分析方法及系统 | |
| CN115983809A (zh) | 一种基于智能门户平台的企业办公管理方法及系统 | |
| CN104123326A (zh) | 业务组织评估分析专家系统 | |
| Islam et al. | A framework for effective big data analytics for decision support systems | |
| CN104123317A (zh) | 基于知识库的业务组织评估分析方法 | |
| CN116956994A (zh) | 业务平台扩容预测方法及装置 | |
| CN113176873B (zh) | 用于信息管理的方法和装置、电子设备、及介质 | |
| CN114265891A (zh) | 基于多源数据融合的智慧车间系统、方法及存储介质 | |
| CN114925674A (zh) | 文件合规性检查方法、装置、电子设备及存储介质 | |
| CN113379529A (zh) | 一种协同决策引擎应用框架 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |