CN117194382A - 中台数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及大数据分析应用技术领域，提供了一种中台数据处理方法、装置、电子设备及存储介质。本申请通过分析企业业务数据之间的上下游关系，创建企业上下游业务流程模型，并根据业务需求定义数据结构模型，基于上下游业务流程模型对企业业务数据进行清洗、分析和修正生成目标业务数据，选择合适的数据存储架构，按照所述数据结构模型进行存储，以支持实际应用场景中的业务需求和决策过程。本申请通过对数据进行上下游关系的分析，建立起数据之间的联系，从而更好地保证存储数据的一致性和数据质量。

Description

中台数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及大数据分析技术领域，尤其是涉及一种基于大数据的中台数据处理方法、装置、电子设备及存储介质。

背景技术

随着企业数字化转型的不断发展，企业数据量呈现出爆炸性的增长。为了更好地管理和利用这些数据，许多企业开始构建自己的数据中台。数据中台是一种集数据采集、数据处理、数据分析、数据可视化于一体的数据处理平台，它对海量数据进行采集、计算、存储、加工，同时统一标准和口径，形成标准数据后再进行存储，形成大数据资产层，可以为企业提供全方位的数据支持，帮助企业更好地了解市场、优化业务流程、提升决策效率等。

然而，传统的数据处理方法往往只关注数据处理的过程，而忽略了数据之间的上下游关系。这种处理方式会导致数据的不一致性和数据质量的下降，给企业的业务决策带来一定的风险。

发明内容

有鉴于此，本申请提供一种中台数据处理方法、装置、电子设备及存储介质，用以解决企业数据的不一致性和数据质量较差的技术问题。

本申请的第一方面提供一种中台数据处理方法，所述方法包括：

基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型；

获取企业业务系统中各个业务环节中的原始业务数据；

对所述原始业务数据进行清洗处理，得到清洗业务数据；

基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据；

根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据。

在一个可选的实施方式中，所述基于企业业务流程创建上下游业务流程模型包括：

获取并分析所述企业业务系统的系统架构，得到所述企业业务系统中各个业务环节之间的上下游关系；

基于所述上下游关系创建所述上下游业务流程模型。

在一个可选的实施方式中，所述根据业务需求定义数据结构模型包括：

根据业务需求定义数据类型、数据关系、数据模式和数据维度。

在一个可选的实施方式中，所述对所述原始业务数据进行清洗处理，得到清洗业务数据包括：

对所述原始业务数据进行数据清洗、数据转换、数据标准化以及去除冗余项，得到清洗业务数据。

在一个可选的实施方式中，所述基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据包括：

基于所述上下游业务流程模型及所述数据结构模型生成关联规则；

基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据。

在一个可选的实施方式中，所述基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据包括：

使用预设的聚类算法对清洗业务数据进行聚类分析，得到多个聚类数据；

基于所述关联规则判断每个所述聚类数据中的数据是否具有一致性；

若所述聚类数据中的数据不具有一致性，则对所述聚类数据进行修正，得到所述目标业务数据。

在一个可选的实施方式中，所述方法还包括：

使用数据挖掘技术，基于所述目标业务数据的趋势、模式、关联性和异常情况，获取业务决策数据；

对所述业务决策数据进行可视化界面展示。

本申请的第二方面提供一种中台数据处理装置，所述装置包括：

模型构建模块，用于基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型；

数据获取模块，用于获取企业业务系统中各个业务环节中的原始业务数据；

数据清洗模块，用于对所述原始业务数据进行清洗处理，得到清洗业务数据；

数据修正模块，用于基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据；

数据存储模块，用于根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据。

本申请的第三方面提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的中台数据处理方法的步骤。

本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的中台数据处理方法的步骤。

本申请实施例提供的中台数据处理方法、装置、电子设备及存储介质，通过分析企业业务数据之间的上下游关系，创建企业上下游业务流程模型，并根据业务需求定义数据结构模型，基于上下游业务流程模型对企业业务数据进行清洗、分析和修正生成目标业务数据，选择合适的数据存储架构，按照所述数据结构模型进行存储，以支持实际应用场景中的业务需求和决策过程。本申请通过对数据进行上下游关系的分析，建立起数据之间的联系，从而更好地保证存储数据的一致性和数据质量。

附图说明

图1是本申请实施例示出的中台数据处理方法的流程图；

图2是本申请实施例示出的中台数据处理装置的功能模块图；

图3是本申请实施例示出的电子设备的结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

本发明实施例提供的中台数据处理方法由电子设备执行，相应地，中台数据处理装置运行于电子设备中。

图1是本发明实施例一提供的中台数据处理方法的流程图。所述中台数据处理方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。

S11，基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型。

企业业务流程是指为了完成特定业务目标而设计和执行的一系列活动和步骤，这些业务流程通常是相互关联和交互作用的，构成了一个完整的企业运营体系。上游业务流程是位于当前业务流程之前的流程，而下游业务流程是位于当前业务流程之后的流程。通过基于企业业务流程创建上下游业务流程模型，可以整体把握业务流程关系，确保业务流程的顺畅进行和数据的正确流转，理解不同步骤之间的依赖关系和交互方式。

数据结构模型描述了业务流程中涉及的数据实体、属性以及它们之间的关系。通过定义数据结构模型，可以明确业务流程需要使用的数据类型、数据格式、数据对象之间的关联关系，以及在不同步骤之间如何传递和共享数据，方便后续对数据进行统一化处理。

上述实施方式中，对企业业务流程进行全面分析以建立上下游模型，并根据业务需求和数据特点建立合适的数据模型，可以深入理解和优化业务流程，并确保数据的有效管理和利用，有助于企业提高效率、降低风险，并适应不断变化的业务环境。

在一个可选的实施方式中，所述基于企业业务流程创建上下游业务流程模型包括：

获取并分析所述企业业务系统的系统架构，得到所述企业业务系统中各个业务环节之间的上下游关系；

基于所述上下游关系创建所述上下游业务流程模型。

获取并分析企业的业务文档、业务流程和系统架构，了解企业业务系统的整体结构和组成部分，明确企业各个业务环节之间的顺序和依赖关系，并确定上游的业务环节与下游的业务环节，建立企业的上下游业务流程模型。

上述实施方式中，通过获取企业业务系统架构，分析上下游关系，然后将这些关系转化为可视化的业务流程模型，有助于企业更好地理解业务流程，识别依赖关系，并支持决策和优化业务流程的相关活动。

在一个可选的实施方式中，所述根据业务需求定义数据结构模型包括：

根据业务需求定义数据类型、数据关系、数据模式和数据维度。

数据模型是描述数据结构和关系的抽象表示，包括数据项的定义、数据类型的确定以及数据之间的关系。根据企业的业务需求和特点选择合适的数据模型，并定义数据模型中的数据类型、数据关系、数据模式和数据维度。

示例性的，通过研究企业的各种业务过程，包括从订单接收、生产、发货到收款等各个环节，明确这些环节之间的顺序和依赖关系。使用业务流程建模标记法（BusinessProcess Modeling Notation，BPMN）作为业务流程建模的标准语言，通过图形符号和符号之间的连接来描述业务流程的各个环节，这些符号包括任务、决策、网关、事件等。根据具体的业务流程，结合标准的BPMN元素，创建流程图来表示业务流程的各个步骤、决策点和流程分支。同时，通过分析企业的业务需求和数据特点，定义各种数据项，包括与各个业务环节相关的各种数据元素，如订单号、产品名称、数量、价格等；确定数据项的数据类型，以确保数据的准确性和一致性；定义数据之间的关系，包括父子关系、关联关系等，以更好地反映业务数据的内在联系。

上述实施方式中，通过根据业务需求定义合适的数据结构模型，可以确保数据的一致性、可靠性和可管理性，为企业的业务流程提供支持和便利。

S12，获取企业业务系统中各个业务环节中的原始业务数据。

根据企业的业务流程和需求进行分析，了解企业的各个业务环节、工作流程和业务规则，确定企业业务系统的各个业务环节以及对应的数据源，所述数据源即数据产生的位置或系统，并从数据源中提取原始业务数据，以便后续的数据处理、分析和决策。

示例性的，获取到的企业业务环节包括销售、采购、生产、物流、财务等环节，并针对每个确定的业务环节，确定数据源为企业内部的数据库、应用程序、软件系统或第三方服务提供商的数据接口等。使用数据库查询语言、应用程序接口等技术手段从确定的数据源中取得原始业务数据。

上述实施方式中，根据企业的业务流程和需求进行分析，确定业务环节以及对应的数据源，即数据产生的位置或系统，从数据源中提取原始业务数据，可以深入分析和理解企业业务，确保获取到准确、完整的原始业务数据，以支持企业的数据驱动决策和业务优化。

S13，对所述原始业务数据进行清洗处理，得到清洗业务数据。

原始业务数据可能包含错误、缺失或不一致的情况。因此在使用原始业务数据之前，需要进行数据清洗和转换。

在一个可选的实施方式中，所述对所述原始业务数据进行清洗处理，得到清洗业务数据包括：

对所述原始业务数据进行数据清洗、数据转换、数据标准化以及去除冗余项，得到清洗业务数据。

对所述原始业务数据进行数据清洗，检测和纠正数据中的错误、缺失或不一致性，并对所述原始业务数据格式进行数据转换与数据标准化，将数据按照统一的标准进行命名、分类和格式化，以使其符合数据结构模型的标准。

原始业务数据中可能包含重复或冗余的信息，不仅增加数据的存储成本，还可能导致数据分析的偏差。通过识别并去除原始业务数据中的重复或冗余项，可以减少数据冗余，确保数据的一致性和精确性。

上述实施方式中，通过对原始业务数据进行清洗处理，可以获得更加准确、一致和可靠的清洗业务数据。这些清洗后的业务数据可以用于后续的数据分析、建模和决策制定，帮助企业获得更准确的业务洞察和优化机会。

S14，基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据。

上游业务流程模型描述了数据的来源和产生过程，以及与其他相关业务流程之间的关联。通过分析上游业务流程模型，可以确定数据的经过和处理过程，了解数据的来源、质量和可靠性，有助于识别潜在的数据问题和异常，并在修正过程中考虑到这些因素。

下游业务流程模型描述了数据的使用和下一步的处理方式。通过分析下游业务流程模型，可以确定数据的目标和下游处理需求，有助于确定修正业务数据的目标和标准，并确保修正后的数据符合下游业务流程的需求和要求。

数据结构模型描述了数据的组织和关系，例如数据的字段、表格、关联关系等。通过分析数据结构模型，可以了解数据之间的关联和依赖关系，有助于理解业务数据的结构和约束条件，并在修正过程中保持数据的一致性和完整性。

上述实施方式中，基于对上下游业务流程模型和数据结构模型的分析，可以识别企业业务数据的问题、缺陷或不一致性，并进行修正。修正的目标是使得业务数据符合业务需求，具有准确性、完整性、一致性和可靠性。通过这种分析修正过程，可以获得目标业务数据，为后续的业务决策和数据分析提供可靠的基础。

在一个可选的实施方式中，所述基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据包括：

基于所述上下游业务流程模型及所述数据结构模型生成关联规则；

基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据。

上游业务流程模型指明了数据的来源和产生过程，下游业务流程模型指示了数据的使用和下一步处理方式。通过分析两者之间的关系和依赖，可以找到企业业务数据之间的关联规则，即哪些数据项经常一起出现，或者在某个流程中一个数据项的改变会导致其他数据项的变化。基于生成的关联规则和预设的聚类算法对清洗后的业务数据进行进一步分析和修正，发现业务数据中潜在的数据问题和异常，并根据关联规则对异常数据进行修正，得到修正后的目标业务数据，所述目标业务数据具有更高的准确性、完整性和一致性，符合业务需求和上下游业务流程模型。

上述实施方式中，目标业务数据可以用于后续的业务决策、数据分析和其他相关任务，为组织提供可靠的数据基础。

在一个可选的实施方式中，所述基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据包括：

使用预设的聚类算法对清洗业务数据进行聚类分析，得到多个聚类数据；

基于所述关联规则判断每个所述聚类数据中的数据是否具有一致性；

若所述聚类数据中的数据不具有一致性，则对所述聚类数据进行修正，得到所述目标业务数据。

通过选择适当的聚类算法和定义相似性度量指标，可以将清洗业务数据划分为多个聚类，每个聚类代表具有相似特征和属性的数据项的集合。针对每个聚类数据，应用关联规则来检查其中的数据之间的一致性。关联规则描述了数据项之间的关联性和依赖性，通过分析关联规则并验证聚类中的数据项是否符合预定义的关联规则，可以发现潜在的数据问题和异常，检测是否存在数据不一致的情况。如果发现聚类数据存在不一致，就需要对聚类数据进行修正，最终生成目标业务数据。

所述修正方式可以包括更新数据、删除数据、插入缺失的数据或者进行数据合并，具体的修正策略取决于业务需求和数据之间的关系。例如，如果某个聚类中的数据项出现了错误值，则根据关联规则和相邻数据项的值进行修正，将错误值替换为合理的值。如果缺少某个数据项，可以根据关联规则和其他相关数据项进行插入操作。如果发现多个聚类之间存在一致性问题，可以通过数据合并将它们合并为一个更准确和一致的聚类。这些数据经过清洗、分析和修正，具有更高的准确性、完整性和一致性。生成的目标业务数据可以供后续的业务决策、数据分析和其他相关任务使用，从而支持组织的运营和决策需求。

上述实施方式中，基于关联规则和预设的聚类算法对清洗业务数据进行分析修正，通过聚类分析和关联规则的应用，发现数据之间的一致性问题，并进行修正以生成目标业务数据。这一过程有助于提高数据质量和可靠性，为组织提供更好的决策基础。

S15，根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据。

根据所述业务需求对应的实际应用场景确定目标存储架构是为了将所述目标业务数据有效地存储和管理。目标存储架构的选择基于多个因素，包括但不限于：根据目标业务数据的规模和复杂度，或者目标业务数据的访问模式和频率，或者目标业务数据的安全性，或者数据增长和未来业务扩展的需求，确定适合存储和处理这些数据的存储架构。如果数据量很大或者包含多种类型的数据，需要选择具有高扩展性和灵活性的存储架构。如果数据需要频繁地读取和写入，可能需要选择具有高性能、低延迟和高可用性的存储架构。如果数据的读取和写入模式更加复杂或者需要支持复杂查询和分析操作，可能需要选择支持强大查询功能的存储架构。根据业务需求中的数据安全和隐私要求，选择能够提供足够保护和授权控制的存储架构，包括数据加密、访问控制、身份认证和审计功能等。考虑数据增长和未来业务扩展的需求，选择具有良好扩展性和灵活性的存储架构，可以方便地进行系统升级和扩容，以应对未来数据规模和业务变化。

综合考虑存储架构的成本和性能之间的平衡，选择能够满足业务需求同时又具有合理成本的存储架构，以确保有效利用资源并达到经济效益。根据以上因素，确定适合目标业务数据的存储架构，具体选择何种存储架构取决于业务需求的特点和组织的技术架构。确定目标存储架构后，采用所述目标存储架构存储目标业务数据。

上述实施方式中，通过采用目标存储架构存储目标业务数据，可以有效地存储、管理和访问目标业务数据，并满足实际应用场景中的要求。

在一个可选的实施方式中，所述方法还包括：

使用数据挖掘技术，基于所述目标业务数据的趋势、模式、关联性和异常情况，获取业务决策数据；

对所述业务决策数据进行可视化界面展示。

根据数据挖掘的目标，将所述目标业务数据转换为可用于数据挖掘的特征，并根据具体的业务问题和数据特点，选择匹配的数据挖掘算法。将特征数据输入基于所述匹配的数据挖掘算法模型中并进行模型训练和分析，所述模型会根据数据的趋势、模式、关联性和异常情况，生成业务决策数据。最后通过可视化界面对获取的业务决策数据进行展示，所述可视化界面包括但不限于图表、仪表盘、报告等形式。

上述实施方式中，使用数据挖掘技术是为了从所述目标业务数据中提取有用的信息，包括趋势、模式、关联性和异常情况，以支持业务决策过程。通过可视化界面，用户可以即时地获取业务决策数据，能够更直观地理解和分析数据，并通过交互操作进行进一步的探索和分析。这有助于支持用户在各种业务场景下做出准确、及时的决策，并提高决策的可信度和效果。

图2是本发明实施例二提供的中台数据处理装置的结构图。

在一些实施例中，所述中台数据处理装置20可以包括多个由计算机程序段所组成的功能模块。所述中台数据处理装置20中的各个程序段的计算机程序可以存储于电子设备的存储器中，并由至少一个处理器所执行，以执行（详见图1描述）中台数据处理的功能。

本实施例中，所述中台数据处理装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：模型构建模块201、数据获取模块202、数据清洗模块203、数据修正模块204以及数据存储模块205。

本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

模型构建模块201，用于基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型。

企业业务流程是指为了完成特定业务目标而设计和执行的一系列活动和步骤，这些业务流程通常是相互关联和交互作用的，构成了一个完整的企业运营体系。上游业务流程是位于当前业务流程之前的流程，而下游业务流程是位于当前业务流程之后的流程。通过基于企业业务流程创建上下游业务流程模型，可以整体把握业务流程关系，确保业务流程的顺畅进行和数据的正确流转，理解不同步骤之间的依赖关系和交互方式。

数据结构模型描述了业务流程中涉及的数据实体、属性以及它们之间的关系。通过定义数据结构模型，可以明确业务流程需要使用的数据类型、数据格式、数据对象之间的关联关系，以及在不同步骤之间如何传递和共享数据，方便后续对数据进行统一化处理。

上述实施方式中，对企业业务流程进行全面分析以建立上下游模型，并根据业务需求和数据特点建立合适的数据模型，可以深入理解和优化业务流程，并确保数据的有效管理和利用，有助于企业提高效率、降低风险，并适应不断变化的业务环境。

在一个可选的实施方式中，所述基于企业业务流程创建上下游业务流程模型包括：

获取并分析所述企业业务系统的系统架构，得到所述企业业务系统中各个业务环节之间的上下游关系；

基于所述上下游关系创建所述上下游业务流程模型。

获取并分析企业的业务文档、业务流程和系统架构，了解企业业务系统的整体结构和组成部分，明确企业各个业务环节之间的顺序和依赖关系，并确定上游的业务环节与下游的业务环节，建立企业的上下游业务流程模型。

上述实施方式中，通过获取企业业务系统架构，分析上下游关系，然后将这些关系转化为可视化的业务流程模型，有助于企业更好地理解业务流程，识别依赖关系，并支持决策和优化业务流程的相关活动。

在一个可选的实施方式中，所述根据业务需求定义数据结构模型包括：

根据业务需求定义数据类型、数据关系、数据模式和数据维度。

数据模型是描述数据结构和关系的抽象表示，包括数据项的定义、数据类型的确定以及数据之间的关系。根据企业的业务需求和特点选择合适的数据模型，并定义数据模型中的数据类型、数据关系、数据模式和数据维度。

示例性的，通过研究企业的各种业务过程，包括从订单接收、生产、发货到收款等各个环节，明确这些环节之间的顺序和依赖关系。使用业务流程建模标记法（BusinessProcess Modeling Notation，BPMN）作为业务流程建模的标准语言，通过图形符号和符号之间的连接来描述业务流程的各个环节，这些符号包括任务、决策、网关、事件等。根据具体的业务流程，结合标准的BPMN元素，创建流程图来表示业务流程的各个步骤、决策点和流程分支。同时，通过分析企业的业务需求和数据特点，定义各种数据项，包括与各个业务环节相关的各种数据元素，如订单号、产品名称、数量、价格等；确定数据项的数据类型，以确保数据的准确性和一致性；定义数据之间的关系，包括父子关系、关联关系等，以更好地反映业务数据的内在联系。

上述实施方式中，通过根据业务需求定义合适的数据结构模型，可以确保数据的一致性、可靠性和可管理性，为企业的业务流程提供支持和便利。

数据获取模块202，用于获取企业业务系统中各个业务环节中的原始业务数据。

根据企业的业务流程和需求进行分析，了解企业的各个业务环节、工作流程和业务规则，确定企业业务系统的各个业务环节以及对应的数据源，所述数据源即数据产生的位置或系统，并从数据源中提取原始业务数据，以便后续的数据处理、分析和决策。

示例性的，获取到的企业业务环节包括销售、采购、生产、物流、财务等环节，并针对每个确定的业务环节，确定数据源为企业内部的数据库、应用程序、软件系统或第三方服务提供商的数据接口等。使用数据库查询语言、应用程序接口等技术手段从确定的数据源中取得原始业务数据。

上述实施方式中，根据企业的业务流程和需求进行分析，确定业务环节以及对应的数据源，即数据产生的位置或系统，从数据源中提取原始业务数据，可以深入分析和理解企业业务，确保获取到准确、完整的原始业务数据，以支持企业的数据驱动决策和业务优化。

数据清洗模块203，用于对所述原始业务数据进行清洗处理，得到清洗业务数据。

原始业务数据可能包含错误、缺失或不一致的情况。因此在使用原始业务数据之前，需要进行数据清洗和转换。

在一个可选的实施方式中，所述对所述原始业务数据进行清洗处理，得到清洗业务数据包括：

对所述原始业务数据进行数据清洗、数据转换、数据标准化以及去除冗余项，得到清洗业务数据。

对所述原始业务数据进行数据清洗，检测和纠正数据中的错误、缺失或不一致性，并对所述原始业务数据格式进行数据转换与数据标准化，将数据按照统一的标准进行命名、分类和格式化，以使其符合数据结构模型的标准。

原始业务数据中可能包含重复或冗余的信息，不仅增加数据的存储成本，还可能导致数据分析的偏差。通过识别并去除原始业务数据中的重复或冗余项，可以减少数据冗余，确保数据的一致性和精确性。

上述实施方式中，通过对原始业务数据进行清洗处理，可以获得更加准确、一致和可靠的清洗业务数据。这些清洗后的业务数据可以用于后续的数据分析、建模和决策制定，帮助企业获得更准确的业务洞察和优化机会。

数据修正模块204，用于基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据。

上游业务流程模型描述了数据的来源和产生过程，以及与其他相关业务流程之间的关联。通过分析上游业务流程模型，可以确定数据的经过和处理过程，了解数据的来源、质量和可靠性，有助于识别潜在的数据问题和异常，并在修正过程中考虑到这些因素。

下游业务流程模型描述了数据的使用和下一步的处理方式。通过分析下游业务流程模型，可以确定数据的目标和下游处理需求，有助于确定修正业务数据的目标和标准，并确保修正后的数据符合下游业务流程的需求和要求。

数据结构模型描述了数据的组织和关系，例如数据的字段、表格、关联关系等。通过分析数据结构模型，可以了解数据之间的关联和依赖关系，有助于理解业务数据的结构和约束条件，并在修正过程中保持数据的一致性和完整性。

上述实施方式中，基于对上下游业务流程模型和数据结构模型的分析，可以识别企业业务数据的问题、缺陷或不一致性，并进行修正。修正的目标是使得业务数据符合业务需求，具有准确性、完整性、一致性和可靠性。通过这种分析修正过程，可以获得目标业务数据，为后续的业务决策和数据分析提供可靠的基础。

在一个可选的实施方式中，所述基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据包括：

基于所述上下游业务流程模型及所述数据结构模型生成关联规则；

基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据。

上游业务流程模型指明了数据的来源和产生过程，下游业务流程模型指示了数据的使用和下一步处理方式。通过分析两者之间的关系和依赖，可以找到企业业务数据之间的关联规则，即哪些数据项经常一起出现，或者在某个流程中一个数据项的改变会导致其他数据项的变化。基于生成的关联规则和预设的聚类算法对清洗后的业务数据进行进一步分析和修正，发现业务数据中潜在的数据问题和异常，并根据关联规则对异常数据进行修正，得到修正后的目标业务数据，所述目标业务数据具有更高的准确性、完整性和一致性，符合业务需求和上下游业务流程模型。

上述实施方式中，目标业务数据可以用于后续的业务决策、数据分析和其他相关任务，为组织提供可靠的数据基础。

在一个可选的实施方式中，所述基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据包括：

使用预设的聚类算法对清洗业务数据进行聚类分析，得到多个聚类数据；

基于所述关联规则判断每个所述聚类数据中的数据是否具有一致性；

若所述聚类数据中的数据不具有一致性，则对所述聚类数据进行修正，得到所述目标业务数据。

通过选择适当的聚类算法和定义相似性度量指标，可以将清洗业务数据划分为多个聚类，每个聚类代表具有相似特征和属性的数据项的集合。针对每个聚类数据，应用关联规则来检查其中的数据之间的一致性。关联规则描述了数据项之间的关联性和依赖性，通过分析关联规则并验证聚类中的数据项是否符合预定义的关联规则，可以发现潜在的数据问题和异常，检测是否存在数据不一致的情况。如果发现聚类数据存在不一致，就需要对聚类数据进行修正，最终生成目标业务数据。

所述修正方式可以包括更新数据、删除数据、插入缺失的数据或者进行数据合并，具体的修正策略取决于业务需求和数据之间的关系。例如，如果某个聚类中的数据项出现了错误值，则根据关联规则和相邻数据项的值进行修正，将错误值替换为合理的值。如果缺少某个数据项，可以根据关联规则和其他相关数据项进行插入操作。如果发现多个聚类之间存在一致性问题，可以通过数据合并将它们合并为一个更准确和一致的聚类。这些数据经过清洗、分析和修正，具有更高的准确性、完整性和一致性。生成的目标业务数据可以供后续的业务决策、数据分析和其他相关任务使用，从而支持组织的运营和决策需求。

上述实施方式中，基于关联规则和预设的聚类算法对清洗业务数据进行分析修正，通过聚类分析和关联规则的应用，发现数据之间的一致性问题，并进行修正以生成目标业务数据。这一过程有助于提高数据质量和可靠性，为组织提供更好的决策基础。

数据存储模块205，用于根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据。

根据所述业务需求对应的实际应用场景确定目标存储架构是为了将所述目标业务数据有效地存储和管理。目标存储架构的选择基于多个因素，包括但不限于：根据目标业务数据的规模和复杂度，或者目标业务数据的访问模式和频率，或者目标业务数据的安全性，或者数据增长和未来业务扩展的需求，确定适合存储和处理这些数据的存储架构。如果数据量很大或者包含多种类型的数据，需要选择具有高扩展性和灵活性的存储架构。如果数据需要频繁地读取和写入，可能需要选择具有高性能、低延迟和高可用性的存储架构。如果数据的读取和写入模式更加复杂或者需要支持复杂查询和分析操作，可能需要选择支持强大查询功能的存储架构。根据业务需求中的数据安全和隐私要求，选择能够提供足够保护和授权控制的存储架构，包括数据加密、访问控制、身份认证和审计功能等。考虑数据增长和未来业务扩展的需求，选择具有良好扩展性和灵活性的存储架构，可以方便地进行系统升级和扩容，以应对未来数据规模和业务变化。

综合考虑存储架构的成本和性能之间的平衡，选择能够满足业务需求同时又具有合理成本的存储架构，以确保有效利用资源并达到经济效益。根据以上因素，确定适合目标业务数据的存储架构，具体选择何种存储架构取决于业务需求的特点和组织的技术架构。确定目标存储架构后，采用所述目标存储架构存储目标业务数据。

上述实施方式中，通过采用目标存储架构存储目标业务数据，可以有效地存储、管理和访问目标业务数据，并满足实际应用场景中的要求。

在一个可选的实施方式中，所述方法还包括：

使用数据挖掘技术，基于所述目标业务数据的趋势、模式、关联性和异常情况，获取业务决策数据；

对所述业务决策数据进行可视化界面展示。

根据数据挖掘的目标，将所述目标业务数据转换为可用于数据挖掘的特征，并根据具体的业务问题和数据特点，选择匹配的数据挖掘算法。将特征数据输入基于所述匹配的数据挖掘算法模型中并进行模型训练和分析，所述模型会根据数据的趋势、模式、关联性和异常情况，生成业务决策数据。最后通过可视化界面对获取的业务决策数据进行展示，所述可视化界面包括但不限于图表、仪表盘、报告等形式。

上述实施方式中，使用数据挖掘技术是为了从所述目标业务数据中提取有用的信息，包括趋势、模式、关联性和异常情况，以支持业务决策过程。通过可视化界面，用户可以即时地获取业务决策数据，能够更直观地理解和分析数据，并通过交互操作进行进一步的探索和分析。这有助于支持用户在各种业务场景下做出准确、及时的决策，并提高决策的可信度和效果。

参阅图3所示，为本申请实施例提供的电子设备的结构示意图。在本申请较佳实施例中，所述电子设备3包括存储器31、至少一个处理器32、至少一条通信总线33。

本领域技术人员应该了解，图3示出的电子设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备3还可包括其他电子设备，所述其他电子设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述电子设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31中存储有计算机程序，所述计算机程序被所述至少一个处理器32执行时实现如所述的中台数据处理方法中的全部或者部分步骤。所述存储器31包括只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read-OnlyMemory，EPROM）、一次可编程只读存储器（One-time Programmable Read-Only Memory，OTPROM）、电子擦除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

在一些实施例中，所述至少一个处理器32是所述计算机设备3的控制核心（Control Unit），利用各种接口和线路连接整个电子设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行电子设备3的各种功能和处理数据。例如，所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本申请实施例中所述的中台数据处理方法的全部或者部分步骤；或者实现中台数据处理装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。

在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。尽管未示出，所述电子设备3还可以包括给各个部件供电的电源（比如电池），优选的，电源可以通过电源管理系统与所述至少一个处理器32逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备（可以是个人计算机，电子设备，或者网络设备等）或处理器（processor）执行本申请各个实施例所述方法的部分。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本申请中的实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指包含一个或多个所列出项目的任何或所有可能组合。术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种中台数据处理方法，其特征在于，所述方法包括：

基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型；

获取企业业务系统中各个业务环节中的原始业务数据；

对所述原始业务数据进行清洗处理，得到清洗业务数据；

基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据；

根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据。

2.根据权利要求1所述的中台数据处理方法，其特征在于，所述基于企业业务流程创建上下游业务流程模型包括：

获取并分析所述企业业务系统的系统架构，得到所述企业业务系统中各个业务环节之间的上下游关系；

基于所述上下游关系创建所述上下游业务流程模型。

3.根据权利要求1所述的中台数据处理方法，其特征在于，所述根据业务需求定义数据结构模型包括：

根据业务需求定义数据类型、数据关系、数据模式和数据维度。

4.根据权利要求1所述的中台数据处理方法，其特征在于，所述对所述原始业务数据进行清洗处理，得到清洗业务数据包括：

对所述原始业务数据进行数据清洗、数据转换、数据标准化以及去除冗余项，得到清洗业务数据。

5.根据权利要求1所述的中台数据处理方法，其特征在于，所述基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据包括：

基于所述上下游业务流程模型及所述数据结构模型生成关联规则；

基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据。

6.根据权利要求5所述的中台数据处理方法，其特征在于，所述基于所述关联规则与预设的聚类算法对所述清洗业务数据进行分析修正，得到所述目标业务数据包括：

使用预设的聚类算法对清洗业务数据进行聚类分析，得到多个聚类数据；

基于所述关联规则判断每个所述聚类数据中的数据是否具有一致性；

若所述聚类数据中的数据不具有一致性，则对所述聚类数据进行修正，得到所述目标业务数据。

7.根据权利要求5所述的中台数据处理方法，其特征在于，所述方法还包括：

使用数据挖掘技术，基于所述目标业务数据的趋势、模式、关联性和异常情况，获取业务决策数据；

对所述业务决策数据进行可视化界面展示。

8.一种中台数据处理装置，其特征在于，所述装置包括：

模型构建模块，用于基于企业业务流程创建上下游业务流程模型及根据业务需求定义数据结构模型；

数据获取模块，用于获取企业业务系统中各个业务环节中的原始业务数据；

数据清洗模块，用于对所述原始业务数据进行清洗处理，得到清洗业务数据；

数据修正模块，用于基于所述上下游业务流程模型及所述数据结构模型对所述清洗业务数据进行分析修正，得到目标业务数据；

数据存储模块，用于根据所述业务需求对应的实际应用场景确定目标存储架构，采用所述目标存储架构存储所述目标业务数据。

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的中台数据处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的中台数据处理方法的步骤。