CN117235062A - 基于数据中台的业务系统数据建模方法 - Google Patents

Abstract

本发明涉及业务数据分析技术领域，具体涉及基于数据中台的业务系统数据建模方法。包括包括采集业务数据，判定异常数据；提取异常数据并整合成异常数据队列；异常数据队列核对确定是否有误，以判定是否进行进行矫正及生成矫正数据队列；基于矫正数据队列确定存在与之相同的业务数据，并重复执行上述步骤；对业务数据进行分析预测，评估后续时间下业务系统中的业务数据，并绘制成数据状态模型。通过对业务数据进行矫正处理以形成更为准确的建模数据，解决当前对海量业务数据核对导致后续分析建模效率低的问题。

Description

基于数据中台的业务系统数据建模方法

技术领域

本发明涉及业务数据分析技术领域，具体涉及基于数据中台的业务系统数据建模方法。

背景技术

数据中台是一种数据管理和分析平台，旨在帮助企业更好地管理和利用数据，其中，数据中台中的业务数据通过建模能够使用户或企业全面、清晰的了解当前时间下业务数据的情况及后续的发展状况，但是业务数据实际进行建模的过程中，依旧还是会存在一定的问题，如：

对于海量的业务数据来说，在系统录入业务数据的过程中，可能会因人员的误操作、系统的故障等多类因素导致所录入的业务数据出现异常，当存在异常有误的业务数据，且后续通过此业务数据进行建模后，会导致建模形成的业务数据中，其对业务数据所进行的分析及评估便会存在较大的误差影响，因此，目前的数据建模分析系统无法在此情况下给用户或企业提供更为精确的业务系统数据的建模分析评估。

发明内容

针对现有技术所存在的上述缺点，本发明提供了基于数据中台的业务系统数据建模方法，能够有效解决现有技术中因业务数据异常导致目前的数据建模分析系统无法在此情况下给出更为精确、合理的数据分析、评估的问题。

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供基于数据中台的业务系统数据建模方法，包括如下方法步骤：

S1、采集既定时间下业务系统中的业务数据，判定该业务数据中是否存在相同数据，当存在时，将其标记为异常数据；

S2、提取业务数据中存在的多个异常数据，并将多个异常数据整合成异常数据队列；

S3、将异常数据队列输入至终端控制中心内进行核对确定，当核对确定有误时，终端控制中心对异常数据队列内的异常数据进行矫正，并使矫正后的异常数据生成矫正数据，基于矫正数据生成矫正数据队列，通过将矫正数据队列输入至业务数据中，以重新生成业务数据；

S4、依据基于矫正数据队列确定存在与之相同的业务数据，并将其标记为异常数据，并使其重复执行上述S2-S3步骤；

S5、当异常数据队列通过终端控制中心核对无误时，以既定时间下业务系统中的业务数据进行分析预测，评估后续时间下业务系统中的业务数据，并由此绘制成数据状态模型。

进一步地，所述采集业务系统中的业务数据时，设置采集的既定时间，所述既定时间包括多种时间状态，分别为：

周期、月期、季期及年期。

进一步地，所述采集既定时间下业务系统中的业务数据时，判定该业务数据中是否存在缺失数据，当存在缺失数据时，采集缺失数据随对应的数据列表，并由此生成缺失数据队列，以缺失数据队列与终端控制中心进行数据核对，并于核对后生成补充数据队列，将补充数据队列输入至初始业务系统中的业务数据中。

进一步地，依据补充数据队列重新生成业务数据，并由此判定该业务数据中是否存在相同数据，当存在相同数据时，将其标记为异常数据。

进一步地，所述异常数据队列输入至终端控制中心时，终端控制中心以异常数据队列中异常数据来执行对应数据项目列的调取操作，通过数据项目列与异常数据队列中的异常数据进行核对，并判定异常数据是否有误，以此确定是否对其执行矫正操作及生成矫正数据。

进一步地，在重复执行S2-S3步骤，且多次形成矫正数据队列时：

将多个矫正数据队列设为安全数据队列，基于安全数据队列重新划定业务数据的核对范围，并由此生成业务核对队列，使后续依据最近所生成的矫正数据队列于业务核对队列下判定是否存在异常数据。

进一步地，所述异常数据队列核对无误时，以当前矫正处理后的业务数据预测后续业务系统中的业务数据。

进一步地，所述预测后续业务系统中的业务数据时，通过均值算法来预测后续业务系统中的业务数据，其中均值算法的计算公式如下：

式一：；

式二：；

式三：；

式中：均为既定时间下每天的业务数据，n为既定时间的总天数，/>为多个既定时间下每天业务数据均值总和的均值，/>均为既定时间下每天业务数据的均值，j为既定时间下每天业务数据均值的总天数，p为预测的业务数据，/>为业务时间总天数，/>为业务持续天数。

本发明提供的技术方案，与已知的现有技术相比，具有如下有益效果：

1、通过预判定出业务数据的异常数据，基于异常数据在业务数据中进行核对，以确定该异常数据是否需要矫正，并根据矫正后的矫正数据改变初始的业务数据，且依据矫正数据来重新于业务数据中判定异常数据，以形成便捷、快速的业务数据核对，解决当前逐次对海量业务数据核对导致后续分析建模效率低的问题。

2、结合每次所形成的矫正数据，在业务数据剔除矫正数据以生成业务核对队列，后续通过矫正数据队列于业务核对队列中判定异常数据，使本方案可借助每次生成的矫正数据提升后续确定异常数据的效率性。

3、根据业务数据中的缺失状况产生缺失数据队列，并由此生成与之对应的补充数据队列，基于补充数据队列判定异常数据及异常数据队列，因其基于补充数据队列和相同数据形成双项条件来缩小业务数据中的提取数据，使此方式所提取异常数据的效率更加快速，以给用户或企业提供便捷、快速的数据建模。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的整体方法流程图；

图2为本发明的异常数据队列的核对矫正流程图；

图3为本发明的业务数据中缺失数据分析判定流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合实施例对本发明作进一步的描述。

实施例1（参阅图1-2）：基于数据中台的业务系统数据建模方法，包括如下方法步骤：

S1、采集既定时间下业务系统中的业务数据，判定该业务数据中是否存在相同数据，当存在时，将其标记为异常数据；

S2、提取业务数据中存在的多个异常数据，并将多个异常数据整合成异常数据队列；通过设置既定时间（既定时间包括多种时间状态，分别为：周期、月期、季期及年期，用户或企业可根据自身的需求条件来生成采集的既定时间，以便于给用户或企业提供适配当前业务系统、业务数据的数据状态模型，便于用户或企业后续对业务系统做出合理、精确的势态分析、管控），便可采集既定时间下业务系统中的业务数据（本案中业务系统是指业务项目，如售卖电子产品、加工设备等，业务数据是指业务项目的订单量、单价、销售额），对于业务数据来说，其通常会在当前的业务形成时，通过系统录入至数据终端（数据中台）的列表内，如excel表格中，但是业务数据在实际录入的过程中，可能会因人员的操作、数据终端（数据中台）系统的故障导致所录入的业务数据存在差异，即数据出现差错（如录入了相同的数据），便可判定业务数据中是否存在相同数据，当存在相同数据时，将相同数据标记为异常数据，并将多个异常数据整合成异常数据队列，以此对业务数据中存在可疑、有误数据进行初步的确定，以便于后续进行核对；

S3、将异常数据队列输入至终端控制中心内进行核对确定，当核对确定有误时，终端控制中心对异常数据队列内的异常数据进行矫正，并使矫正后的异常数据生成矫正数据，基于矫正数据生成矫正数据队列，通过将矫正数据队列输入至业务数据中，以重新生成业务数据；通过将所确定异常数据队列中的异常数据输入至终端控制中心（终端控制中心是指后台管制端），通过终端控制中心来将异常数据与实际的业务数据进行核对，以确定该异常数据是否正确，就能够快速的对异常数据做出核对分析，并在异常数据有误时，便可基于实际业务数据对其进行矫正，从而来对于错误的异常数据在矫正后形成矫正数据（形成正确的业务数据），并由此生成矫正数据队列，通过将矫正数据队列内的矫正数据重新输入至业务系统中的业务数据中，便可优化初始存在误差的业务数据，以提高当前业务数据的准确度；

S4、依据基于矫正数据队列确定存在与之相同的业务数据，并将其标记为异常数据，并使其重复执行上述S2-S3步骤；在矫正数据队列生成并将其还原至业务数据中后，在此大量的业务数据中通过确定与矫正数据队列内矫正数据相同的数据（指的是业务数据，本案中业务数据中否存在相同数据含义是指，因相同导致其存在错误风险的业务数据），将其重新设置为异常数据（因对于矫正数据来说，其当前是矫正后形成的正确数据，但对于初始总体的业务数据来说，经过异常数据队列的核对（此为初始生成的异常数据队列）无法判定其内内部是否还会存在有误的数据，因此以当前矫正数据队列内的矫正数据来与初始总体的业务数据再次核对，以提取出与矫正数据相同的数据来预判定出存在异常、可疑的数据），并基于上述S2-S3步骤便可重新生成异常数据队列，对其内部的数据进行二次核对，以判定是否有误并重新生成总体的业务数据，实现对当前业务数据的准确性核对处理，同时免去了对海量业务数据逐次核对产生的效率性影响；

值得说明的是，以矫正数据队列在业务数据中确定异常数据是一个持续重复的过程，直至异常数据所形成的异常数据队列核对无误时方不再执行确定异常数据的操作，由此便可对业务数据形成多次分析核对，以提升业务数据的准确性。

S5、当异常数据队列通过终端控制中心核对无误时，以既定时间下业务系统中的业务数据进行分析预测，评估后续时间下业务系统中的业务数据，并由此绘制成数据状态模型；基于上述，业务数据在核对无误时，通过最终所形成的业务数据进行分析预测，并在分析预测后绘制成数据状态模型，以给用户或企业提供更为便捷、精确的业务系统数据展示模型，利于用户或企业后续对业务系统做出合理、精确的势态分析、管控。

综上，示出了本发明业务系统数据建模方法的基础方法步骤，针对上述方法，如下对其做出一定的补充阐述：

S310、异常数据队列输入至终端控制中心时，终端控制中心以异常数据队列中异常数据来执行对应数据项目列的调取操作，通过数据项目列与异常数据队列中的异常数据进行核对，并判定异常数据是否有误，以此确定是否对其执行矫正操作及生成矫正数据，以实现对异常数据的核对矫正操作。

S320、在重复执行S2-S3步骤，且多次形成矫正数据队列时：

将多个矫正数据队列设为安全数据队列，基于安全数据队列重新划定业务数据的核对范围，并由此生成业务核对队列，使后续依据最近所生成的矫正数据队列于业务核对队列下判定是否存在异常数据，也就是说，在每一次的矫正数据队列形成后，所形成的矫正数据队列组成安全数据队列，由业务数据剔除安全数据队列以生成业务核对队列，后续通过矫正数据队列于业务核对队列中判定相同数据，使本方案可借助每次生成的矫正数据队列提升后续确定相同数据的效率性。

异常数据队列核对无误时，以当前矫正处理后的业务数据预测后续业务系统中的业务数据，其中，预测后续业务系统中的业务数据时，通过均值算法来预测后续业务系统中的业务数据，其中均值算法的计算公式如下：

式一：；

式二：；

式三：；

式中：均为既定时间下每天的业务数据，n为既定时间的总天数，/>为多个既定时间下每天业务数据均值总和的均值，/>均为既定时间下每天业务数据的均值，j为既定时间下每天业务数据均值的总天数，p为预测的业务数据，/>为业务时间总天数，/>为业务持续天数，根据上述，通过确定多次既定时间下的业务数据，并求取每次既定时间下的业务均值，再来求取多个均值之间的平均值，以实现当日业务数据的分析评估，以此可预测出后续业务系统持续时间下所形成的业务数据（示例，/>为多个既定时间下总体均值销售额之间的平均销售额（单日），p为后续业务系统持续时间下预测的销售额）。

实施例2

参阅图3，与上述实施例不同的是，本实施例对会出现异常状况的业务数据做出关联分析：

S1100、采集既定时间下业务系统中的业务数据时，判定该业务数据中是否存在缺失数据；

S1200、当存在缺失数据时，采集缺失数据随对应的数据列表，并由此生成缺失数据队列，以缺失数据队列与终端控制中心进行数据核对，并于核对后生成补充数据队列，将补充数据队列输入至初始业务系统中的业务数据中；通过在采集业务数据的过程中，便可即时判定业务数据中是否存在缺失数据，例如在某一个列表表格中存在未填写的数据，将其标记为缺失数据，便可将采集该缺失数据所对应的数据列表，如在9.12日中，订单量为100、单价为60，但销售额处于未填的状态，此时就提取9.12日下订单量为100或单价为60的整体列表（可为一个纵列或横列，如下文中的项目数据列，在此不做限定），其中包括销售额，并将所提取的多个缺失数据整合生成缺失数据队列，将其输入至终端控制中心，由终端控制中心执行对应数据项目列调取操作，然后再进核对，就能判定出该缺失数据队列中的缺失数据是否需要进行补充，以将缺失数据队列生成补充数据队列且还原输入至业务数据中，进而，通过上述方式就能再次提高当前业务数据的准确性，更便于后续对业务数据进行建模。

值得说明的是，异常数据的提取是建立在补充数据队列生成，并通过其所调整业务数据后的基础上，以确保能够提取到更为精确的异常数据，且提取异常数据时，需要摒弃本实施例中预先所形成补充数据队列（也就是说当存在与补充数据队列相同的数据时，不提取补充数据队列内的数据，仅提取与之相同的数据），从而进一步缩小提取异常数据的范围，以提高在业务数据中提取异常数据及进行核对的整体效率。

实施例3

参阅图3，在实施例2的基础上，对业务数据中存在的异常数据做出进一步的分析判定：

S1300、依据补充数据队列重新生成业务数据，并由此判定该业务数据中是否存在相同数据，当存在相同数据时，将其标记为异常数据，通过补充数据队列可重新生成业务数据，且本实施例中，可通过补充数据队列来确定存在与其相同的数据（即相同数据），同样将其标记为异常数据，并重复S2-S5步骤（S1400），以重新生成业务数据，值得说明的是，本实施例采用补充数据队列判定相同数据的方式后，后续便可基于每次矫正后的矫正数据（本实施例中的矫正数据是基于缺失数据队列确定的相同数据，并由相同数据生成异常数据，根据异常数据生成异常数据队列才形成的矫正数据（可重复执行S2-S5步骤），因此，与初始直接在业务数据中判定异常数据及其后续的步骤是不同的，因初始的预选条件不同，相对于S1步骤来说，因其基于补充数据队列和相同数据形成双项条件（缩小业务数据中的提取数据）重新调整业务数据，使得此方式所提取相同数据的效率更加快速，进而，此方式更加适用于迫切对业务数据分析建模的情况，以给用户或企业提供便捷、快速的数据建模。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (8)

1.基于数据中台的业务系统数据建模方法，其特征在于，包括如下方法步骤：

S1、采集既定时间下业务系统中的业务数据，判定该业务数据中是否存在相同数据，当存在时，将其标记为异常数据；

S2、提取业务数据中存在的多个异常数据，并将多个异常数据整合成异常数据队列；

S3、将异常数据队列输入至终端控制中心内进行核对确定，当核对确定有误时，终端控制中心对异常数据队列内的异常数据进行矫正，并使矫正后的异常数据生成矫正数据，基于矫正数据生成矫正数据队列，通过将矫正数据队列输入至业务数据中，以重新生成业务数据；

S4、依据基于矫正数据队列确定存在与之相同的业务数据，并将其标记为异常数据，并使其重复执行上述S2-S3步骤；

S5、当异常数据队列通过终端控制中心核对无误时，以既定时间下业务系统中的业务数据进行分析预测，评估后续时间下业务系统中的业务数据，并由此绘制成数据状态模型。

2.根据权利要求1所述的基于数据中台的业务系统数据建模方法，其特征在于，所述采集业务系统中的业务数据时，设置采集的既定时间，所述既定时间包括多种时间状态，分别为：

周期、月期、季期及年期。

3.根据权利要求2所述的基于数据中台的业务系统数据建模方法，其特征在于，所述采集既定时间下业务系统中的业务数据时，判定该业务数据中是否存在缺失数据，当存在缺失数据时，采集缺失数据随对应的数据列表，并由此生成缺失数据队列，以缺失数据队列与终端控制中心进行数据核对，并于核对后生成补充数据队列，将补充数据队列输入至初始业务系统中的业务数据中。

4.根据权利要求3所述的基于数据中台的业务系统数据建模方法，其特征在于，依据补充数据队列重新生成业务数据，并由此判定该业务数据中是否存在相同数据，当存在相同数据时，将其标记为异常数据。

5.根据权利要求1所述的基于数据中台的业务系统数据建模方法，其特征在于，所述异常数据队列输入至终端控制中心时，终端控制中心以异常数据队列中异常数据来执行对应数据项目列的调取操作，通过数据项目列与异常数据队列中的异常数据进行核对，并判定异常数据是否有误，以此确定是否对其执行矫正操作及生成矫正数据。

6.根据权利要求1所述的基于数据中台的业务系统数据建模方法，其特征在于，在重复执行S2-S3步骤，且多次形成矫正数据队列时：

将多个矫正数据队列设为安全数据队列，基于安全数据队列重新划定业务数据的核对范围，并由此生成业务核对队列，使后续依据最近所生成的矫正数据队列于业务核对队列下判定是否存在异常数据。

7.根据权利要求1所述的基于数据中台的业务系统数据建模方法，其特征在于，所述异常数据队列核对无误时，以当前矫正处理后的业务数据预测后续业务系统中的业务数据。

8.根据权利要求7所述的基于数据中台的业务系统数据建模方法，其特征在于，所述预测后续业务系统中的业务数据时，通过均值算法来预测后续业务系统中的业务数据，其中均值算法的计算公式如下：

式一：；

式二：；

式三：；

式中：均为既定时间下每天的业务数据，n为既定时间的总天数，/>为多个既定时间下每天业务数据均值总和的均值，/>均为既定时间下每天业务数据的均值，j为既定时间下每天业务数据均值的总天数，p为预测的业务数据，/>为业务时间总天数，/>为业务持续天数。