CN113935602A - 数据中台系统、数据处理方法及装置 - Google Patents
数据中台系统、数据处理方法及装置 Download PDFInfo
- Publication number
- CN113935602A CN113935602A CN202111153267.0A CN202111153267A CN113935602A CN 113935602 A CN113935602 A CN 113935602A CN 202111153267 A CN202111153267 A CN 202111153267A CN 113935602 A CN113935602 A CN 113935602A
- Authority
- CN
- China
- Prior art keywords
- data
- edge
- data center
- station
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000013523 data management Methods 0.000 claims abstract description 38
- 238000007726 management method Methods 0.000 claims description 145
- 230000008520 organization Effects 0.000 claims description 115
- 238000000034 method Methods 0.000 claims description 35
- 230000006854 communication Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 abstract description 24
- 230000005540 biological transmission Effects 0.000 abstract description 12
- 238000004519 manufacturing process Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 28
- 238000012423 maintenance Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010276 construction Methods 0.000 description 8
- 230000008054 signal transmission Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000004568 cement Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 238000012827 research and development Methods 0.000 description 5
- 238000013475 authorization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000002910 solid waste Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供了一种数据中台系统、数据处理方法及装置，其中系统包括：中央数据中台和多个边缘数据中台；多个边缘数据中台设置在不同区域，用于对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台；中央数据中台用于对各个边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。通过设置在各个区域的边缘数据中台，可以实现对各区域进行数据治理，具有启动成本低、实施周期短的特点；各个边缘数据中台将数据治理结果发送至中央数据中台，由于各个边缘数据中台上传的是数据治理结果，其数据量相较于原始数据少，因此，可以减少数据传输、存储和加工成本。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及数据中台系统、数据处理方法及装置。
背景技术
目前，数据中台已经成为传统制造业数字化转型，拥抱大数据技术的必经之路，数据中台给制造业带来诸多好处，但是其复杂度和建设成本也限制了很多制造业企业进行尝试，尤其是厂区众多的流程制造企业，例如水泥、固废、钢铁等。这些企业厂区分布在全国，数据分散，信息化水平差，却有着强烈的集团中心数据管理需求。在建设数据中台的时候，传统的方式是在集团中央构建数据中台，从每个厂区收集数据做统计分析，但是由于各厂数据总量非常巨大，造成带宽、存储、计算成本极高；且由于各厂信息化建设有所差异，导致数据标准化也非常困难。
发明内容
本申请实施例提供了一种数据中台系统、数据处理方法及装置，以降低制造业数据中台系统的构建成本。
为了解决上述问题，本申请实施例公开了一种数据中台系统，所述数据中台系统包括：中央数据中台和多个边缘数据中台；
多个所述边缘数据中台设置在不同区域，各个所述边缘数据中台用于对其对应的区域进行数据治理，并将对应的数据治理结果发送至所述中央数据中台；
所述中央数据中台用于对各个所述边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
可选地，所述各个所述边缘数据中台用于对其对应的区域进行数据治理，并将对应的数据治理结果发送至所述中央数据中台，包括：
各个所述边缘数据中台用于对其对应的区域进行数据治理，并将对应的数据治理结果按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
可选地，所述中央数据中台与各个所述边缘数据中台之间设置有用于传输管理信号的管理网络、和用于传输数据信号的数据网络。
可选地，多个所述边缘数据中台划分为第一边缘数据中台和第二边缘数据中台，所述第一边缘数据中台设置在具有组织管理职责的区域，所述第二边缘数据中台设置在不具有组织管理职责的区域；一个组织由一个具有组织管理职责的区域和至少一个不具有组织管理职责的区域组成；
所述第一边缘数据中台和其所属同一个组织的第二边缘数据中台之间设置有所述管理网络和所述数据网络。
可选地，所述数据网络为单向通信网络；
设置在所述第一边缘数据中台和所述第二边缘数据中台之间的数据网络，用于将所述第二边缘数据中台的数据治理结果传输到其对应的第一边缘数据中台；
设置在所述中央数据中台和所述第一边缘数据中台，以及所述中央数据中台和所述第二边缘数据中台之间的数据网络，用于将所述第一边缘数据中台和/或所述第二边缘数据中台的数据治理结果传输到所述中央数据中台。
可选地，所述第二边缘数据中台用于将其对应的区域的数据治理结果，按照其对应的第一边缘数据中台对应的数据接口规范，发送至其对应的第一边缘数据中台。
可选地，所述管理网络为千兆网络，所述数据网络为万兆网络。
本申请实施例还公开了一种数据处理方法，所述方法包括：
通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台；
通过所述中央数据平台对各个所述边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
可选地，多个所述边缘数据中台划分为第一边缘数据中台和第二边缘数据中台，所述第一边缘数据中台设置在具有组织管理职责的区域，所述第二边缘数据中台设置在不具有组织管理职责的区域；一个组织由一个具有组织管理职责的区域和至少一个不具有组织管理职责的区域组成；所述通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台，包括：
通过所述第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至与其所属同一个组织的第一边缘数据中台；
通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，发送至所述中央数据中台。
可选地，所述通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台，包括：
通过各个边缘数据中台对其对应的区域进行数据治理，并将对应的数据治理结果按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
可选地，所述通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，发送至所述中央数据中台，包括：
通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，按照中央数据中台对应的数据接口规范发送至所述中央数据中台。。
本申请实施例还公开了一种数据处理装置，所述装置包括：
数据处理模块，用于通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台；
数据应用模块，用于通过所述中央数据平台对各个所述边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
可选地，所述数据处理模块具体用于通过各个边缘数据中台对其对应的区域进行数据治理，并将对应的数据治理结果按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
可选地，所述数据处理模块，包括：
组织数据处理模块，用于通过设置在不具有组织管理职责的区域的第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至与其所属同一组织、设置在具有组织管理职责的区域的第一边缘数据中台；一个组织由一个具有组织管理职责的区域和至少一个不具有组织管理职责的区域组成；
集团数据处理模块，用于通过设置在具有组织管理职责的区域的第一边缘数据中台，对对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，发送至所述中央数据中台。
可选地，所述组织数据处理模块具体用于通过设置在不具有组织管理职责的区域的第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果，按照与其所属同一个组织、设置在具有组织管理职责的区域的第一边缘数据中台对应的数据接口规范，发送至第一边缘数据中台。
可选地，所述集团数据处理模块具体用于通过设置在具有组织管理职责的区域的第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的数据处理方法。
本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的数据处理方法
与现有技术相比，本申请实施例包括以下优点：
在本申请实施例中，数据中台系统包括：中央数据中台和多个边缘数据中台；多个边缘数据中台设置在不同区域，各个边缘数据中台用于对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台；中央数据中台用于对各个边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。当数据中台系统用于对制造业企业进行数据资产管理时，一个区域对应一个厂区，中央数据中台设置在制造业集团中央，通过设置在各个厂区的边缘数据中台，利用边缘数据中台的数据汇聚和数据加工能力，汇聚单厂的业务系统和设备数据，构建厂级的数据应用，对各厂区进行数据治理，具有启动成本低、实施周期短的特点；各个边缘数据中台将数据治理结果按照设置在集团中央的中央数据中台的要求，发送至中央数据中台，为集团的数据汇总统计提供基础的汇总数据；由于各个边缘数据中台上传的数据治理结果是轻度汇总后的数据，其数据量相较于原始数据少，因此，可以减少数据传输、存储和加工成本。
附图说明
图1为本申请实施例的一种数据中台系统的结构框图；
图2为本申请一实施例的边缘数据中台的功能架构示意图；
图3为本申请一实施例的边缘数据中台的硬件架构示意图；
图4为本申请一实施例的边缘数据中台的数据架构示意图；
图5为本申请一实施例的中央数据中台的功能架构示意图；
图6为本申请一实施例的中央数据中台的硬件架构示意图；
图7为本申请一实施例的中央数据中台的数据架构示意图；
图8为本申请一示例数据中台系统组建的网络示意图；
图9为本申请一实施例数据中台系统的数据交换架构示意图；
图10为本申请实施例的一种数据处理方法的步骤流程图；
图11为本申请实施例的一种数据处理装置的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
数据中台是在政企数字化转型过程中，对各业务单元业务与数据的沉淀，构建包括数据技术、数据治理、数据运营等数据建设、管理、使用的体系，以实现数据赋能。
目前的制造业数据中台，都是在集团中央建设大规模集群，从各个工厂走专线拉取原始数据进行加工，并且在集团中央集中存储；这样的方案存在以下几个问题：
(1)当工厂分布在全国各地且数量众多的时候，数据的移动给企业带宽带来极大的压力，甚至有时候带宽无法满足需求，导致数据无法纳入数据中台管控和使用，进而导致业务效果打折扣。
(2)把每个工厂的原始数据汇聚到集团中央集中存储和计算，存储成本和计算成本极高，且因为各厂数据结构的差异，导致统一标准的推进成本高昂，且数据的维护成本高昂。
(3)建设成本很高，而且需要一次性投入。
因此，现有的数据中台并不适用于制造业，即现有的数据中台并不适用于数据多且分布分散的企业。
鉴于此，本申请实施例提出了一种数据中台系统，以适用于包含制造业企业的数据管理。
本申请实施例的核心思想之一是在企业的各区域设置边缘数据中台，利用边缘数据中台的数据汇聚和数据加工能力，汇聚单个区域的业务系统和设备数据，构建初级的数据应用，对各区域进行数据治理；在企业的集团中央设置中央数据中台，各个边缘数据中台将数据治理结果发送至中央数据中台，为集团的数据汇总统计提供基础的汇总数据。从而减少数据传输、存储和加工成本。
参照图1，示出了本申请一实施例提供的一种数据中台系统的结构框图，本申请实施例提供的数据中台系统用于对企业进行数据资产管理。本申请实施例中的数据中台系统包括中央数据中台和多个边缘数据中台；其中：
多个边缘数据中台设置在不同区域，各个边缘数据中台用于对其对应的区域进行数据治理，并将对应的数据治理结发送至中央数据中台；
中央数据中台用于对各个边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
本申请实施例中，针对涉及多个区域的企业，在不同区域设置边缘数据中台，在企业的中央集团设置中央数据中台，通过各个边缘数据中台对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台，由中央数据中台对各个边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
当应用于多厂区的制造业企业时，一个区域对应一个厂区，各个边缘数据用于支撑厂级数据需求，以构建符合各厂需求的数据场景；中央数据中台用于支撑集团的数据需求，通过边缘数据中台和中央数据中台之间的数据交互，可以实现集团对各厂的管控。为了方便理解，下面实施例将以数据中台系统应用于制造业企业为例进行示例性说明。
各个边缘数据中台用于对其对应的厂区进行数据治理。数据治理是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。本申请实施例中，边缘数据中台能够实现对其对应的厂区进行数据治理，具体可以结合实际需求，确定边缘数据中台的功能架构、硬件架构和数据架构。下面将对本申请实施例中的边缘数据中台的功能架构、硬件架构和数据架构进行示例性地说明。
如图2所示，图2示出了本申请一实施例的边缘数据中台的功能架构示意图。边缘数据中台的功能架构按照从下到上的顺序，依次包括IaaS(Infrastructure as aService，基础设施即服务)层、存储&计算层、调度层、PaaS(Platform as a Service，平台即服务)层以及SaaS(Software as a Service，软件即服务)层。可以理解，功能架构中的下层是上层的基础设施，上层实现的服务需要依赖下层来实现，具体地：
(1)IaaS层和存储&计算层一起支撑边缘数据平台的正常运转。
IaaS层包括宿主机管理、云主机管理、网络管理、运维、监控报警、负载均衡等服务接口，以实现相应的服务。
存储&计算层包括云原生数据仓库(如AnalyticDB PostgreSQL)，云原生数据仓库可以包括行/列混存、Level(等级)1～9压缩级别、分区表、HTAP(Hybrid Transaction andAnalytical Process，混合事务和分析处理)数据库、多副本、分布策略等模块，以提供相应的服务。可选地，存储&计算层还可以包括开源分布式时序、事件和指标数据库(如InfluxDB)，以提供时序数据高频读写、高效查询等服务。
(2)调度层和PaaS层支持日常的开发和运维工作。
调度层包括数栈(一种做数据研发任务调度和运维的产品)调度资源池和模式部署集群(如Flink Standalone)资源池；具体可以包括离线数据同步、实时数据同步、ADBSQL JOB(数据库表同步)、调度监控、调度任务重试机制、调度任务监控告警机制等模块，以提供相应的服务。
PaaS层包括移动物联终端(如IData)轻量版和数栈轻量版，移动物联终端轻量版具体可以包括数据服务模块和模型导入模块，数栈轻量版具体可以包括数据研发工作台、数据地图、任务运维、权限管理等模块。可选地，PssS层还可以进一步包括其他产品。
(3)SaaS层提供面向用户的功能界面。
SaaS层包括AI(Artificial Intelligence，人工智能)应用、BI(BusinessIntelligence，商业智能)应用和CI(Customer Intelligence，客户智能)应用。
以水泥制造业为例，AI应用可以包括控制优化、碳排管理、设备管理等模块，以实现相应的控制优化服务、碳排管理服务以及设备管理服务等。BI应用可以包括生成日报/月报、电耗日报/月报、厂级大屏等模块，以实现相应的生成日报/月报服务、电耗日报/月报服务、厂级大屏交互服务等。CI应用可以包括生产看板、营销看板、设备看板等模块，以实现相应的可视化显示生产、营销、设备等信息的服务。
如图3所示，图3示出了本申请一实施例的边缘数据中台的硬件架构示意图。边缘数据中台的硬件架构包括物理机集群层、虚拟化层、数据库层、数栈平台与运行环境层、应用层。具体地：
物理机集群层是最底层硬件，由多台物理机组成。具体可以由4台、5台或者其他数量的物理机组成，本申请对此不作限制。
虚拟化层用于将物理机虚拟化成若干虚拟机。示例性地，虚拟化层可以是ZStack虚拟化层。
数据库层作为边缘数据平台的存储和计算引擎，用于存储和加工业务数据。示例性地，数据库层可以包括Adb PostgreSQL(一种数据库)、DbStack(一种数据库平台)。
数栈平台与运行环境层用于为数据库层提供数据加工和数据任务的运行环境。示例性地，数栈平台与运行环境层可以包括Flink Standalone、数栈、k8s(kubernetes，一个可移植容器的编排管理工具)。
应用层用于面向客户端，实现与用户的交互；具体用于根据客户端的业务需求从数据库层中获取对应的数据，并将数据反馈至客户端。示例性地，应用层可以包括IData.Edge(边缘数据中台的应用)和其他SaaS应用。
如图4所示，图4示出了本申请一实施例的边缘数据中台的数据架构示意图。边缘数据中台的数据架构按照从下到上的顺序，依次包括ODS(原始数据)层、DWD(中间明细)层、DWS(中间汇总)层、TDM(标签数据)层。其中：
ODS层用于接收原始数据，可以包括产品表、设备表、人员表、入库明细、生产明细、销售明细、DSC(监控)原始数据等模块，用于接收相应的原始数据。
DWD层用于对ODS层接收的原始数据进行分析，得到相应的分析结果。例如，对产品表中的数据进行分析，可以得到对应的产品维表；对设备表中的数据进行分析，可以得到对应的设备维表；对人员表中的数据进行分析，可以得到对应的人员维表；对物料相关的入库明细、生产明细、销售明细、DSC原始数据等进行分析，可以得到对应的物料维表。
DWS层用于根据业务种类将数据划分不同主题，以减少数据的冗余。可以包括：厂级别营销数据主题、厂级别生产数据主题、厂级别设备数据主题等。
TDM层用于对数据打标签，即通过打通各个业务板块，形成对象的全域标签。可以包括：生产/能耗/营销报表、带有交互功能的H5应用、设备/员工管理小看板、第三方CI、服务表等标签。
本申请实施例中，边缘数据中台的数据架构在数据存储和计算方面，利用ADB(一种用来做边缘数据中台存储和计算的数据库产品)的行列融合特性，对作为维表的表和需要提供数据服务的表，使用行存储(Heap表)；对作为实时表和需要做OLAP(On-LineAnalytical Processing，联机分析处理)分析的表，使用列存储(Appendonly表)。在数据加工过程中，由于ADB没有类似插入或覆写数据的语法，也没有动态分区的设置，所以使用非分区表+插入冲突覆盖写入的方式来处理每个调度周期的增量数据，使用分区表来处理静态分区数据。
而传统的数据中台，在数据存储和计算方面，使用Hadoop(一种分布式系统基础架构)，往往需要多个大数据组件协同完成，数据开发的复杂度高，并且硬件成本和部署运维成本高昂。本申请实施例中，边缘数据中台的数据架构可以减少硬件和部署运维成本，降低数据开发的复杂度。
本申请实施例中，中央数据中台用于对各个边缘数据中台发送的数据治理结果进行管理和应用；具体可以结合实际需求，确定中央数据中台的功能架构、硬件架构和数据架构。下面将对本申请实施例中的中央数据中台的功能架构、硬件架构和数据架构进行示例性说明。
如图5所示，图5示出了本申请一实施例的中央数据中台的功能架构示意图。中央数据中台的功能架构按照从下到上的顺序，依次包括研发工作台层、行业模型层、数据资产层、数据服务层以及数据应用层。可以理解，功能架构中的下层是上层的基础设施，上层实现的服务需要依赖下层来实现。具体地：
(1)研发工作台层用于负责数据的汇聚和加工，实现数据上云治理，即数据传输到云端进行数据治理。
研发工作台层包括数据汇聚模块和数据加工模块，数据汇聚模块用于接收数据，数据加工模块用于对数据汇聚模块汇聚的数据进行加工处理。其中，数据汇聚模块包括数据模板管理、元数据资产、任务管理、监控运维等模块，以实现相应的服务；数据加工模块包括标准管理、模型管理、智能ETL(Extract-transform-load，抽取-转换-加载)、数据质量评估等模块，以实现相应的服务。
(2)行业模型层用于定义和管理工业细分行业数据模型，以及管理模型之间的血缘关系等。
行业模型层包括数据模型管理模块、数据视图模块以及模型服务模块。其中，数据模型管理模块可以包括模型存储模块、模型类别管理模块；数据视图模块可以包括模型结构模块、模型质量模块、血缘关系模型；模型服务模块可以包括服务封装模块、输入窗口模块；通过各个模型实现相应服务。
(3)数据资产层用于定义和管理数据资产，包括数据标签和数据场景构建，以及数据资产的管理和授权等。
数据资产层包括资产市场模块、资产管理模块、资产加工模块、数据应用模块、数据权限管理模块、业务场景模块。其中：
资产市场模块包括资产视图模块、标签使用模块、标签活动度模块。
资产管理模块包括标签管理模块、数据在线化模块、数据指标模块。
资产加工模块包括策略标签模块、算法标签模块、统计分类模块。
数据应用模块包括数据可视化模块、智能报表模块、数据集群模块。
数据权限管理模块包括标签申请模块、标签授权模块、业务场景关联模块。
业务场景模块包括服务权限模块、标签权限模块、项目属性模块。
(4)数据服务层用于定义和管理数据服务，包括提供API服务和授权等。
数据服务层包括服务市场模块、服务管理模块、服务应用模块。其中：
服务市场模块包括接口视图模块、服务使用模块、服务测试模块。
服务管理模块包括服务申请模块、服务授权模块、服务生成模块。
服务应用模块包括服务申请模块、接口测试模块、服务调用模块。
(5)数据应用层是最上层贴近客户的应用和界面。
数据应用层包括集团级数字化运营分析模块、工厂级智能制造应用模块、数据可视化大屏模块、系统集成模块，以实现相应的数据资产应用的功能。
如图6所示，图6示出了本申请一实施例的中央数据中台的硬件架构示意图。本实施例中，中央数据中台采用公有云VPC(Virtual Private Cloud，虚拟私有云)部署，即在公有云购买一个ECS(Elastic Compute Service，云服务器)集群，可以提高数据平台系统的稳定性和扩容能力，同时也有利于运维支持。
当确定ECS集群后，在ECS集群部署敏捷标准底座，并部署上层应用。该上层应用包括：
数据资源平台(DataQ)或数据工厂(Dataworks)应用，用于负责数据的调度和开发。
间接寻址(IData)应用，用于负责工业数据资产和数据服务。
其他SaaS应用，用于面向各个行业用户。
如图7所示，图7示出了本申请一实施例的中央数据中台的数据架构示意图。中央数据中台的数据架构按照从下到上的顺序，依次包括ODS层、DWD层、DWS层、TDM层。为了与边缘数据中台的数据架构进行区分，中央数据中台的数据架构的ODS层、DWD层、DWS层、TDM层，分别记为中央ODS层、中央DWD层、中央DWS层、中央TDM层。
(1)中央ODS层用于数据接入，即数据源头的数据接入。
本申请实施例中，中央数据中台的ODS层接入的数据源头是边缘数据中台发送的数据治理结果；具体地，该数据治理结果可以基于中央数据中台发送的管理指令进行数据治理后得到的。
中央ODS层可以包括业务数据模块和生产数据模块；其中，业务数据模块可以包括ERP(Enterprise Resource Planning，企业资源计划)、SIS(Supervisory InformationSystem in Plant Level，厂级监控信息系统)、PLM((Product Lifecycle Management，产品生命周期管理)、SCM(Supply Chain Management，供应链管理)、MES(ManufacturingExecution System，制造执行管理系统)、MIS(Management InforITlati’on System，管理信息系统)、CRM(Customer Relationship Management，客户关系管理)、WMS(WarehouseManagement System，仓库管理系统)等模块，以获取相应的业务数据。生产数据模块包括设备、工具、产线、摄像头、机械设备、机器人、汽车、火车等模块，以获取相应的生产数据。
(2)中央DWD层用于对数据进行数据融合。
中央DWD层包括数据汇聚、数据清洗、数据服务、数据建模、数据标准、主数据管理、数据质量、元数据管理等模块，通过上述各模块实现对应的数据融合服务。
(3)中央DWS层用于提供数据资产服务。
中央DWS层将集团的全域数据资产划分成订单、原料、供应商、设备、生产、产品、客户和公共中心八大域，并基于各个域提供相应的数据资产服务。
(4)中央TDM层用于负责数据资产管理运营。
中央TDM层对数据打标签，包括数据资产门户、数据资产评估、数据资产管理、数据资产共享、数据服务管理、数据接口服务等模块，以通过各个模块确定数据的标签，可以满足行业各应用的需求。例如水泥制造业中，行业应用包括钢铁、水务、化工、店里、水泥、离散制造等应用，根据不同应用的数据需求，从对应的标签中获取数据，并反馈至应用。可以理解，中央TDM层的表结构和表数据内容，可以根据上层应用需要单独定制。
在本申请一实施例中，所述各个所述边缘数据中台用于对其对应的厂区进行数据治理，并将对应的数据治理结果发送至所述中央数据中台，包括：
各个所述边缘数据中台用于对其对应的厂区进行数据治理，并将对应的数据治理结果按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
本实施例中，各个边缘数据中台均是按照中央数据中台的要求将数据传输至中央数据中台，因此，可以减少各厂原始数据结构不一致带来的问题，进而可以提高中央数据中台数据处理的效率。
在本申请一实施例中，所述中央数据中台和各个所述边缘数据中台之间设置有管理网络和数据网络；
所述管理网络用于传输管理信号；
所述数据网络用于传输数据信号。
本实施例中，通过在中央数据中台与各个边缘数据中台之间设置用于传输管理信号的管理网络和用于传输数据信号的数据网络，即将管理信号和数据信号分别采用不同的网络传输，可以方便管理和后期维护。
进一步地，在本申请一实施例中，多个所述边缘数据中台划分为第一边缘数据中台和第二边缘数据中台，所述第一边缘数据中台设置在具有组织管理职责的区域，所述第二边缘数据中台设置在不具有组织管理职责的区域；一个组织由一个具有组织管理职责的区域和至少一个不具有组织管理职责的区域组成；设置在具有组织管理职责的区域的第一边缘数据中台，可以汇总管理其所属组织的其他不具有组织管理职责的区域对应的数据资产。可以理解，在制造业企业中，上述区域对应厂区，组织对应由一个具有组织管理职责的厂区和至少一个不具有组织管理职责的厂区组成的区域。
所述第一边缘数据中台和其所属同一个组织的第二边缘数据中台之间设置有所述管理网络和所述数据网络。
如图8所示，图8示出了本申请一示例数据中台系统组建的网络示意图。图中的中央数据中台和边缘数据中台的云边协同架构，包括集团管理运营中心(即集团中央)、每个组织内有组织管理职责的第一区域(如图8中华东区域A厂和西南区域D厂)，每个组织内无组织管理职责的第二区域(如图8中华东区域B厂、华东区域C厂、西南区域E厂)。集团中央设置有中央数据中台(如图8中的IData)，各个区域设置有边缘数据中台(如图8中的Idata.Edge)。
例如，在华东组织(即图中的华东区域)中，具有组织管理职责的是华东区域A厂，不具有组织管理职责的是华东区域B厂和C厂；因此，设置在华东区域A厂的边缘数据中台是第一边缘数据中台，设置在华东区域B厂区和C厂区的边缘数据中台均是第二边缘数据中台。
鉴于管理运维信号量和数据信号量大小的考虑，以及建设成本考虑，本申请实施例中，管理网络使用千兆交换机，即管理网络为千兆网络；数据网络使用万兆交换机，即数据网络为万兆网络；实现在满足需求前提下，减少建设成本。
管理网络主要负责管理信号的上传和下发，本实施例中，管理网络对于网络的隔离策略如下：
(1)同一组织内的第二边缘数据中台间网络不能互通；即同一组织内的各个第二边缘数据中台之间不设置管理网络；同一个组织内的各个第二边缘数据中台不能互相暴露IP和通信。
(2)同一组织内的第一边缘数据中台与各个第二边缘数据中台网络互通；即同一组织内的第一边缘数据中台和各个第二边缘数据中台之间设置管理网络；同一组织内的第一边缘数据中台和各个第二边缘数据中台互相暴露IP并互相通信。
(3)中央数据中台与各个组织的各个边缘数据中台(包括第一边缘数据中台和第二边缘数据中台)网络互通；即中央数据中台和各个边缘数据中台之间设置有管理网络；中央数据中台和各个边缘数据中台互相暴露IP并互相通信。
通过管理网络的隔离策略，中央数据中台可以对各组织各厂区的硬件和虚拟机进行管控和运维。同时，各个组织也可以通过第一边缘数据中台，对组织内各个厂区的硬件和虚拟机进行管控和运维。而不同组织之间的边缘数据中台不能进行网络互通，同一组织内不同第二边缘数据中台之间不能进行网络互通，实现了各组织、各厂区独立自治，以构建符合各组织、各厂需求的数据场景。
数据网络主要负责集群中的数据流动和数据交换，本实施例中，数据网络对于网络的隔离策略如下：
(1)同一组织内的第二边缘数据中台间网络不能互通；即同一组织内的各个第二边缘数据中台之间不设置数据网络；同一组织内的各个第二边缘数据中台的数据不互通。
(2)同一组织内的各个第二边缘数据中台的数据可以单向传输至第一边缘数据中台；即设置在第一边缘数据中台和其所属同一组织内的各个第二边缘数据中台之间的数据网络是单向通信网络，且数据传输方向是从第二边缘数据中台传输至第一边缘数据中台；可以理解，对数据网络而言，同一组织内的第一边缘数据中台向各个第二边缘数据中台暴露IP，使得各个第二边缘数据中台可以根据第一边缘数据中台的IP获取需要上报数据的表结构，并按照该表结构向第一边缘数据中台上报数据。
(3)各个组织的各个边缘数据中台(包括第一边缘数据中台和第二边缘数据中台)的数据可以单向传输至中央数据中台；即设置在中央数据中台和各个边缘数据中台之间的数据网络是单向通信网络，且数据传输方式是从边缘数据中台传输至中央数据中台；可以理解，对数据网络而言，中央数据中台向各个组织的各个边缘数据中台暴露IP，使得各个边缘数据中台可以根据中央数据中台的IP获取需要上报数据的表结构，并按照该表结构向中央数据中台上报数据。
通过数据网络的隔离策略，可以实现各个第二边缘数据中台将数据治理结果上报到所属组织的第一边缘数据中台或中央数据中台；各个第一边缘数据中台可以将其对应区域的数据治理结果和接收到的第二边缘数据中台的数据治理结果，上报至中央数据中台；通过单向数据网络，可以提高数据传输的准确性及传输效率，便于数据管理和优化。
需要说明的是，上报至第一边缘数据中台的数据，需要按照第一边缘数据中台对应的数据接口规范进行标准化处理后才能上报至第一边缘数据中台；上报至中央数据中台的数据，需要按照中央数据中台对应的数据接口规范进行标准化处理后才能上报至中央数据中台。
如图9所示，示出了本申请一实施例数据中台系统的数据交换架构示意图。由设置在中央集团的中央数据中台(如图9中设置在水泥集团的Idata集团数据中台)、设置在各个厂区的边缘数据中台(如图9中设置在华东区域A厂和华东区域B厂的Idata.Edge边缘数据中台)和厂区端(如图9中各厂区的设备、业务系统等)组成。边缘数据中台与厂区端具有一一对应的关系。
边缘数据中台主要围绕工厂销售、生产和设备维护三个方面进行，利用边缘数据中台的的数据汇聚和数据加工能力，汇聚单厂的业务系统和设备数据，构建厂级的数据应用。具体地，边缘数据中台用于采集对应厂区端的设备数据、业务系统数据等数据，通过数据汇聚，可以得到厂级生成明细、库存明细、销售明细等数据；并进一步对数据进行加工，可以确定厂级别主题的数据，例如，厂级别生产管理数据主题、厂级别营销管理数据主题、厂级别库存管理数据主题、厂级别设备管理数据主题等数据。
对于第一边缘数据中台而言，其还可以接收所属组织的各个第二边缘数据中台按照第一边缘数据中台的规范口径上报的厂级别主题数据，结合第一边缘数据中台自身的厂级别主题数据，进行加工处理，可以得到组织管理数据主题的数据。在制造业企业中，组织管理数据主题即为区域管理数据主题。
各个边缘数据中台基于其厂级别主题的数据，可以提供对应的面向用户的厂级别应用，实现厂级别的数据治理。
对于第一边缘数据中台，还可以基于其组织管理数据主题的数据，提供对应的面向用户的组织级别应用，实现组织级别的数据治理。在制造业企业中，组织级别应用即为区域级别应用。
中央数据中台可以接收各个边缘数据中台(包括第一边缘中台和第二边缘中台)，按照中央数据中台的规范口径上报厂级别主题的数据，以及接收各个第一边缘数据中台，按照中央数据中台的规范口径上报区域级别主题的数据，并进行加工处理，以提供对应的面向用户的集团级别应用，实现集团级别的数据治理。
本申请实施例提供的数据中台系统应用于制造业企业时，包括：设置在制造业集团中央的中央数据中台和设置在制造业各厂区的多个边缘数据中台；各个边缘数据中台用于对其对应的厂区进行数据治理，并将对应的数据治理结果按照中央数据中台对应的数据接口规范发送至中央数据中台；中央数据中台用于对各个边缘数据中台发送的数据治理结果进行管理和应用。通过设置在各个厂区的边缘数据中台，利用边缘数据中台的数据汇聚和数据加工能力，汇聚单厂的业务系统和设备数据，构建厂级的数据应用，对各厂区进行数据治理，具有启动成本低、实施周期短的特点；各个边缘数据中台将数据治理结果按照设置在集团中央的中央数据中台的要求，发送至中央数据中台，为集团的数据汇总统计提供基础的汇总数据；由于各个边缘数据中台上传的数据治理结果是轻度汇总后的数据，其数据量相较于原始数据少，因此，可以减少数据传输、存储和加工成本；此外，由于各个边缘数据中台均是按照中央数据中台的要求将数据传输至中央数据中台，因此，还可以减少各厂原始数据结构不一致带来的问题。
参照图10，示出了本申请的一种数据处理方法的步骤流程图，该方法可以由上述数据中台系统执行；具体可以包括如下步骤：
步骤1001，通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台；
步骤1002，通过所述中央数据平台对各个所述边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
在本申请一实施例中，所述通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台，包括：
通过各个边缘数据中台对其对应的区域进行数据治理，并将对应的数据治理结果按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
在本申请一实施例中，多个所述边缘数据中台划分为第一边缘数据中台和第二边缘数据中台，所述第一边缘数据中台设置在具有组织管理职责的区域，所述第二边缘数据中台设置在不具有组织管理职责的区域；一个组织由一个具有组织管理职责的区域和至少一个不具有组织管理职责的区域组成；所述通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台，包括：
通过所述第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至与其所属同一个组织的第一边缘数据中台；
通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，发送至所述中央数据中台。
在本申请一实施例中，上述通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，发送至所述中央数据中台，包括：
通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，按照中央数据中台对应的数据接口规范发送至所述中央数据中台。
在本申请一实施例中，上述方法还包括：
通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，进行汇总处理，得到符合客户需求的组织数据。
在本申请一实施例中，上述通过所述第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至与其所属同一个组织的第一边缘数据中台，包括：
通过第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果按照同属于一个组织的第一边缘数据中台对应的数据接口规范发送至第一边缘数据中台。
在本申请一实施例中，通过设置在中央数据中台和各个边缘数据中台之间的管理网络进行管理信号传输；通过设置在中央数据中台和各个边缘数据中台之间的数据网络进行数据信号传输。
其中，管理网络是千兆网络，数据网络是万兆网络，且管理网络是双向通信网络，数据网络是单向通信网络。
可以理解，中央数据中台可以与各个边缘数据中台进行双向的管理信号传输，中央数据中台与各个边缘数据中台进行单向的数据信号传输，即数据信号只能由边缘数据中台传输至中央数据中台。
在本申请一实施例中，不同组织的边缘数据中台之间没有设置管理网络和数据网络，不能进行管理信号和数据信号的传输。同一组织的第二边缘数据中台之间没有设置管理网络和数据网络，不能进行管理信号和数据信号的传输。同一组织的第一边缘数据中台和各个第二边缘数据中台之间设置有管理网络和数据网络，为便于描述，将同一组织的第一边缘数据中台和各个第二边缘数据中台之间的管理网络记为边缘管理网络，将同一组织的第一边缘数据中台和各个第二边缘数据中台之间的数据网络记为边缘数据网络。同一组织的第一边缘数据中台通过边缘管理网络与各个第二边缘数据中台进行管理信号传输；同一组织的第一边缘数据中台通过边缘数据网络与各个第二边缘数据中台进行数据信号传输。
可以理解，同一组织的第一边缘数据中台可以与各个第二边缘数据中台进行双向的管理信号传输，而数据信号只能由第二边缘数据中台传输至第一边缘数据中台。
本申请实施例中，当应用于制造业企业时，通过设置在各个厂区的边缘数据中台，利用边缘数据中台的数据汇聚和数据加工能力，汇聚单厂的业务系统和设备数据，构建厂级的数据应用，对各厂区进行数据治理，具有启动成本低、实施周期短的特点；各个边缘数据中台将数据治理结果按照设置在集团中央的中央数据中台的要求，发送至中央数据中台，为集团的数据汇总统计提供基础的汇总数据；由于各个边缘数据中台上传的数据治理结果是轻度汇总后的数据，其数据量相较于原始数据少，因此，可以减少数据传输、存储和加工成本；此外，由于各个边缘数据中台均是按照中央数据中台的要求将数据传输至中央数据中台，因此，还可以减少各厂原始数据结构不一致带来的问题。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图11，示出了本申请的一种数据处理装置实施例的结构框图，该装置与上述数据处理方法实施例相对应，具体可以包括如下模块：
数据处理模块1101，用于通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台；
数据应用模块1102，用于通过所述中央数据平台对各个所述边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
在本申请一实施例中，所述数据处理模块1101具体用于通过各个边缘数据中台对其对应的区域进行数据治理，并将对应的数据治理结果按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
在本申请一实施例中，所述数据处理模块1101，包括：
组织数据处理模块，用于通过设置在不具有组织管理职责的区域的第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至与其所属同一组织、设置在具有组织管理职责的区域的第一边缘数据中台；一个组织由一个具有组织管理职责的区域和至少一个不具有组织管理职责的区域组成；
集团数据处理模块，用于通过设置在具有组织管理职责的区域的第一边缘数据中台，对对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，发送至所述中央数据中台。
在本申请一实施例中，所述组织数据处理模块具体用于通过设置在不具有组织管理职责的区域的第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果，按照与其所属同一个组织、设置在具有组织管理职责的区域的第一边缘数据中台对应的数据接口规范，发送至第一边缘数据中台。
在本申请一实施例中，所述集团数据处理模块具体用于通过设置在具有组织管理职责的区域的第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
在本申请一实施例中，所述组织数据处理模块还用于通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，进行汇总处理，得到符合客户需求的组织数据。在本申请一实施例中，所述装置还包括管理网络模块和数据网络模块，所述管理网络模块用于传输中央数据中台和各个边缘数据中台之间的管理信号；所述数据网络模块用于传输中央数据中台和各个边缘数据中台之间的数据信号。
所述管理网络模块用于提供千兆网络，所述数据网络模块用于提供万兆网络。
所述管理网络模块用于提供双向通信网络，所述数据网络模块用于提供单向通信网络，具体地，数据网络模块用于将各个边缘数据中台的数据信号传输至中央数据中台；以及，用于将各个第二边缘数据中台的数据信号传输至其同一组织的第一边缘数据中台。
本申请实施例中，当应用于制造业企业时，通过数据处理模块汇聚单厂的业务系统和设备数据，构建厂级的数据应用，对各厂区进行数据治理，具有启动成本低、实施周期短的特点；通过数据应用模块按照设置在集团中央的中央数据中台的要求，汇总各个边缘数据中台的数据治理结果，为集团的数据汇总统计提供基础的汇总数据；由于各个边缘数据中台上传的数据治理结果是轻度汇总后的数据，其数据量相较于原始数据少，因此，可以减少数据传输、存储和加工成本；此外，由于各个边缘数据中台均是按照中央数据中台的要求将数据传输至中央数据中台，因此，还可以减少各厂原始数据结构不一致带来的问题。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例还公开了电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理方法的步骤。
本申请实施例还公开了计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据中台系统、数据处理方法及装置、设备和存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据中台系统，其特征在于，所述数据中台系统包括：中央数据中台和多个边缘数据中台；
多个所述边缘数据中台设置在不同区域，各个所述边缘数据中台用于对其对应的区域进行数据治理，并将对应的数据治理结果发送至所述中央数据中台；
所述中央数据中台用于对各个所述边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
2.根据权利要求1所述的数据中台系统，其特征在于，所述各个所述边缘数据中台用于对其对应的区域进行数据治理，并将对应的数据治理结果发送至所述中央数据中台，包括：
各个所述边缘数据中台用于对其对应的区域进行数据治理，并将对应的数据治理结果按照所述中央数据中台对应的数据接口规范发送至所述中央数据中台。
3.根据权利要求2所述的数据中台系统，其特征在于，所述中央数据中台与各个所述边缘数据中台之间设置有用于传输管理信号的管理网络、和用于传输数据信号的数据网络。
4.根据权利要求3所述的数据中台系统，其特征在于，多个所述边缘数据中台划分为第一边缘数据中台和第二边缘数据中台，所述第一边缘数据中台设置在具有组织管理职责的区域，所述第二边缘数据中台设置在不具有组织管理职责的区域；一个组织由一个具有组织管理职责的区域和至少一个不具有组织管理职责的区域组成；
所述第一边缘数据中台和其所属同一个组织的第二边缘数据中台之间设置有所述管理网络和所述数据网络。
5.根据权利要求4所述的数据中台系统，其特征在于，所述数据网络为单向通信网络；
设置在所述第一边缘数据中台和所述第二边缘数据中台之间的数据网络，用于将所述第二边缘数据中台的数据治理结果传输到其对应的第一边缘数据中台；
设置在所述中央数据中台和所述第一边缘数据中台，以及所述中央数据中台和所述第二边缘数据中台之间的数据网络，用于将所述第一边缘数据中台和/或所述第二边缘数据中台的数据治理结果传输到所述中央数据中台。
6.根据权利要求4所述的数据中台系统，其特征在于，
所述第二边缘数据中台用于将其对应的区域的数据治理结果，按照其对应的第一边缘数据中台对应的数据接口规范，发送至其对应的第一边缘数据中台。
7.根据权利要求3-6任一项所述的数据中台系统，所述管理网络为千兆网络，所述数据网络为万兆网络。
8.一种数据处理方法，其特征在于，所述方法包括：
通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台；
通过所述中央数据平台对各个所述边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
9.根据权利要求8所述的方法，其特征在于，多个所述边缘数据中台划分为第一边缘数据中台和第二边缘数据中台，所述第一边缘数据中台设置在具有组织管理职责的区域，所述第二边缘数据中台设置在不具有组织管理职责的区域；一个组织由一个具有组织管理职责的区域和至少一个不具有组织管理职责的区域组成；所述通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台，包括：
通过所述第二边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至与其所属同一个组织的第一边缘数据中台；
通过所述第一边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果和接收的第二边缘数据中台发送的数据治理结果，发送至所述中央数据中台。
10.一种数据处理装置，其特征在于，所述装置包括：
数据处理模块，用于通过设置在不同区域的多个边缘数据中台，对其对应的区域进行数据治理，并将对应的数据治理结果发送至中央数据中台；
数据应用模块，用于通过所述中央数据平台对各个所述边缘数据中台发送的数据治理结果进行加工处理，得到符合用户需求的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111153267.0A CN113935602A (zh) | 2021-09-29 | 2021-09-29 | 数据中台系统、数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111153267.0A CN113935602A (zh) | 2021-09-29 | 2021-09-29 | 数据中台系统、数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113935602A true CN113935602A (zh) | 2022-01-14 |
Family
ID=79277440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111153267.0A Pending CN113935602A (zh) | 2021-09-29 | 2021-09-29 | 数据中台系统、数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935602A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115357581A (zh) * | 2022-08-19 | 2022-11-18 | 筑智建科技(重庆)有限公司 | 一种海量bim数据的分布式存储方法 |
| CN116107849A (zh) * | 2022-08-25 | 2023-05-12 | 北京东华博泰科技有限公司 | 一种基于人工智能的数据中台能耗管理系统 |
-
2021
- 2021-09-29 CN CN202111153267.0A patent/CN113935602A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115357581A (zh) * | 2022-08-19 | 2022-11-18 | 筑智建科技(重庆)有限公司 | 一种海量bim数据的分布式存储方法 |
| CN116107849A (zh) * | 2022-08-25 | 2023-05-12 | 北京东华博泰科技有限公司 | 一种基于人工智能的数据中台能耗管理系统 |
| CN116107849B (zh) * | 2022-08-25 | 2023-09-05 | 北京东华博泰科技有限公司 | 一种基于人工智能的数据中台能耗管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sinha et al. | Reviewing cyber-physical system as a part of smart factory in industry 4.0 | |
| García-Melón et al. | Using the strategic relative alignment index for the selection of portfolio projects application to a public Venezuelan Power Corporation | |
| CN110796570A (zh) | 一种智慧文旅系统 | |
| CN104504543A (zh) | 一种工程投资控制管理系统及其使用方法 | |
| CN113935602A (zh) | 数据中台系统、数据处理方法及装置 | |
| Guo et al. | A cloud-based intelligent decision-making system for order tracking and allocation in apparel manufacturing | |
| CN111639889A (zh) | 一种基于云计算的物流信息管理系统 | |
| CN115423289B (zh) | 智能板材加工车间数据处理方法及终端 | |
| CN103268531A (zh) | 一种用于能源中心的能源二级管理平台 | |
| Backman et al. | IoT-based interoperability framework for asset and fleet management | |
| Sahara et al. | Real-time data integration of an internet-of-things-based smart warehouse: a case study | |
| CN103390218A (zh) | 突发事件“三链耦合”一体化应急保障系统及方法 | |
| Pessot et al. | Unboxing the hyper-connected supply chain: a case study in the furniture industry | |
| CN112990886B (zh) | 基于手机终端的航空行业数据管理显示系统 | |
| Dikhanbayeva et al. | Analysis of textile manufacturing SMEs in Kazakhstan for industry 4.0 | |
| CN108681888B (zh) | 一种面向再制造全工艺流程的制造执行系统 | |
| Adhikari et al. | Use of big data analytics in WASH sector | |
| CN114385369A (zh) | 基于大数据分析和云计算的交通运输从业人员教育平台 | |
| Aksyonov et al. | Development of an automated system for analysis, modeling, and decision-making for metallurgical enterprise | |
| KR20220159802A (ko) | 빅데이터 기반 건설사업 정보관리시스템 이용방법 | |
| Sousa et al. | The contribution of Obeya for business intelligence | |
| CN103034930A (zh) | 自动化软件生存周期模型部署系统 | |
| CN113448693B (zh) | 一种数字化工厂saas云平台 | |
| Schoech et al. | Optimising plant layout decisions based on emulation models–technical framework and practical insights | |
| KR20210053563A (ko) | 빅데이터 기반 건설사업 정보관리시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40066367 Country of ref document: HK |