CN109815109B - 数据模式变更检测方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种数据模式变更检测方法、装置、设备及可读存储介质，涉及数据处理技术领域，可以根据该业务系统的数据模式规则，检测业务系统中的目标数据流的数据模式是否发生变更，使得可以自动对目标数据流的数据模式进行检测，减少开发人员工作量，降低了后续进行数据处理所发生错误的风险的。所述方法包括：当检测到业务系统启动时，提取业务系统的数据模式规则；在业务系统中获取目标数据流，按照至少一个未知数的指示，将目标数据流填入数据模式规则中；如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，生成目标数据流的错误信息。

Description

数据模式变更检测方法、装置、设备及可读存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据模式变更检测方法、装置、设备及可读存储介质。

背景技术

随着互联网技术的飞速发展，数据处理技术日益改进，在一般的实时数据处理场景下，业务系统会打印出用户的摘要日志，比如操作日期、订单类型、下单金额、优惠金额以及实付金额等，随后，根据数据报表所关注的内容书写一段实时计算逻辑，比如如果关注的内容为下单金额，则书写的实时计算逻辑可为分钟级别下单金额累计逻辑，这样，后续便可以基于该实时计算逻辑对下单金额进行数据处理，从而生成数据报表。在实际应用的过程中，业务系统打印得到的摘要日志的格式与实时计算逻辑的代码是一一对应的，如果摘要日志中的数据模式发生了变更，比如原先的下单金额字段与实付金额字段位置发生了变化，则实时计算逻辑根据摘要日志生成的数据报表就是错误的。为了避免上述情况的发生，需要对摘要日志的数据模式是否发生变更进行检测，以便及时调整实时计算逻辑，保证生成的数据报表的正确性。

相关技术中，在对摘要日志的数据模式是否发生变更进行检测时，通常是需要开发人员肉眼观察摘要日志的数据模式，并及时按照变更后的数据模式对实时计算逻辑进行调整。但是有些情况下，开发人员的肉眼可能很难发现数据模式的变更，比如摘要日志包括操作日期、订单类型、下单金额、红包金额、平台补贴金额、优惠金额以及实付金额时，其中红包金额与平台补贴金额的数据很相似，如果红包金额与平台补贴金额的数据模式发生了变更，则开发人员就很难肉眼检测出来，在增加了开发人员工作量的同时，还提高了后续进行数据处理所发生错误的风险。

发明内容

有鉴于此，本发明提供了一种数据模式变更检测方法、装置、设备及可读存储介质，主要目的在于解决目前增加了开发人员工作量的同时，还提高了后续进行数据处理所发生错误的风险的问题。

依据本发明第一方面，提供了一种数据模式变更检测方法，该方法包括：

当检测到业务系统启动时，提取所述业务系统的数据模式规则，所述数据模式规则中的至少一个未知数规定了所述业务系统的数据流中数据列之间的关联关系；

在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中；

如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则不成立，则确定所述目标数据流的数据模式发生变更，生成所述目标数据流的错误信息。

在另一个实施例中，所述当检测到业务系统启动时，提取所述业务系统的数据模式规则之前，包括：

在所述业务系统中获取历史数据，对所述历史数据进行预处理，生成样本数据，所述预处理至少为数值化处理或聚类处理；

确定预设算法，获取所述预设算法的序列式，所述预设算法至少为逻辑回归算法，所述序列式包括至少一个系数以及至少一个未知数；

在所述样本数据中提取至少一个样本数据列，将所述至少一个样本数据列带入所述至少一个未知数在所述序列式中指示的位置，计算所述序列式中至少一个系数的系数取值，所述至少一个系数的系数取值使带入所述至少一个样本数据列的序列式成立；

将所述至少一个系数的系数取值填入所述序列式，基于所述至少一个未知数和所述至少一个系数的系数取值，生成所述数据模式规则。

在另一个实施例中，所述在所述业务系统中获取历史数据，对所述历史数据进行预处理，生成样本数据之后，所述方法还包括：

对所述样本数据的至少一个样本数据列进行特征提取，获取所述至少一个样本数据列的至少一个样本特征；

采用所述至少一个样本特征对所述至少一个样本数据列进行标记。

在另一个实施例中，所述在所述样本数据中提取至少一个样本数据列，将所述至少一个样本数据列带入所述至少一个未知数在所述序列式中指示的位置，计算所述序列式中至少一个系数的系数取值，包括：

对所述样本数据进行数据提取，在所述样本数据中提取所述至少一个样本数据列；

按照所述至少一个样本数据列在所述样本数据中的排列顺序以及所述至少一个未知数在所述序列式中的排列顺序，将所述至少一个样本数据填入所述至少一个未知数在所述序列式中指示的位置，生成计算序列式；

对所述计算序列式进行计算，得到所述至少一个系数的系数取值。

在另一个实施例中，所述在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中，包括：

在所述业务系统中获取所述目标数据流，在所述目标数据流中提取至少一个待检测数据列；

按照所述至少一个待检测数据列在所述目标数据流中的排列顺序以及所述至少一个未知数在所述数据模式规则中的排列顺序，将所述至少一个待检测数据列填入所述至少一个未知数在所述数据模式规则中指示的位置。

在另一个实施例中，所述在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中之后，所述方法还包括：

如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则成立，则确定所述目标数据流的数据模式未发生变更，生成所述目标数据流的数据报表，并继续获取其他数据流。

在另一个实施例中，所述如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则不成立，则确定所述目标数据流的数据模式发生变更，生成所述目标数据流的错误信息之后，所述方法还包括：

持续对获取到的数据流进行数据模式变更检测，并统计生成的所述错误信息的信息个数；

当单位时间内所述信息个数达到个数阈值时，生成预警信息，展示所述预警信息。

依据本发明第二方面，提供了一种数据模式变更检测装置，该装置包括：

第一提取模块，用于当检测到业务系统启动时，提取所述业务系统的数据模式规则，所述数据模式规则中的至少一个未知数规定了所述业务系统的数据流中数据列之间的关联关系；

填入模块，用于在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中；

第一生成模块，用于如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则不成立，则确定所述目标数据流的数据模式发生变更，生成所述目标数据流的错误信息。

在另一个实施例中，所述装置还包括：

处理模块，用于在所述业务系统中获取历史数据，对所述历史数据进行预处理，生成样本数据，所述预处理至少为数值化处理或聚类处理；

确定模块，用于确定预设算法，获取所述预设算法的序列式，所述预设算法至少为逻辑回归算法，所述序列式包括至少一个系数以及至少一个未知数；

计算模块，用于在所述样本数据中提取至少一个样本数据列，将所述至少一个样本数据列带入所述至少一个未知数在所述序列式中指示的位置，计算所述序列式中至少一个系数的系数取值，所述至少一个系数的系数取值使带入所述至少一个样本数据列的序列式成立；

第二生成模块，用于将所述至少一个系数的系数取值填入所述序列式，基于所述至少一个未知数和所述至少一个系数的系数取值，生成所述数据模式规则。

在另一个实施例中，所述装置还包括：

第二提取模块，用于对所述样本数据的至少一个样本数据列进行特征提取，获取所述至少一个样本数据列的至少一个样本特征；

标记模块，用于采用所述至少一个样本特征对所述至少一个样本数据列进行标记。

在另一个实施例中，所述计算模块，包括：

提取单元，用于对所述样本数据进行数据提取，在所述样本数据中提取所述至少一个样本数据列；

生成单元，用于按照所述至少一个样本数据列在所述样本数据中的排列顺序以及所述至少一个未知数在所述序列式中的排列顺序，将所述至少一个样本数据填入所述至少一个未知数在所述序列式中指示的位置，生成计算序列式；

计算单元，用于对所述计算序列式进行计算，得到所述至少一个系数的系数取值。

在另一个实施例中，所述填入模块，包括：

提取单元，用于在所述业务系统中获取所述目标数据流，在所述目标数据流中提取至少一个待检测数据列；

填入单元，用于按照所述至少一个待检测数据列在所述目标数据流中的排列顺序以及所述至少一个未知数在所述数据模式规则中的排列顺序，将所述至少一个待检测数据列填入所述至少一个未知数在所述数据模式规则中指示的位置。

在另一个实施例中，所述装置还包括：

第三生成模块，用于如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则成立，则确定所述目标数据流的数据模式未发生变更，生成所述目标数据流的数据报表，并继续获取其他数据流。

在另一个实施例中，所述装置还包括：

统计模块，用于持续对获取到的数据流进行数据模式变更检测，并统计生成的所述错误信息的信息个数；

展示模块，用于当单位时间内所述信息个数达到个数阈值时，生成预警信息，展示所述预警信息。

依据本发明第三方面，提供了一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

依据本发明第四方面，提供了一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

借由上述技术方案，本发明提供的一种数据模式变更检测方法、装置、设备及可读存储介质，与目前开发人员肉眼观察摘要日志的数据模式的方式相比，本发明当检测到业务系统启动时，提取业务系统的数据模式规则，按照数据模式规则中未知数的指示，将获取到的目标数据流填入数据模式规则中，如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，达到了可以根据该业务系统的数据模式规则，检测业务系统中的目标数据流的数据模式是否发生变更的目的，使得可以自动对目标数据流的数据模式进行检测，减少开发人员工作量，降低了后续进行数据处理所发生错误的风险的。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据模式变更检测方法流程示意图；

图2A示出了本发明实施例提供的一种数据模式变更检测方法流程示意图；

图2B示出了本发明实施例提供的一种数据模式变更检测方法流程示意图；

图3A示出了本发明实施例提供的一种数据模式变更检测装置的结构示意图；

图3B示出了本发明实施例提供的一种数据模式变更检测装置的结构示意图；

图3C示出了本发明实施例提供的一种数据模式变更检测装置的结构示意图；

图3D示出了本发明实施例提供的一种数据模式变更检测装置的结构示意图；

图3E示出了本发明实施例提供的一种数据模式变更检测装置的结构示意图；

图3F示出了本发明实施例提供的一种数据模式变更检测装置的结构示意图；

图3G示出了本发明实施例提供的一种数据模式变更检测装置的结构示意图；

图4示出了本发明实施例提供的一种设备的装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种数据模式变更检测方法，可以当检测到业务系统启动时，根据该业务系统的数据模式规则，检测业务系统中的目标数据流的数据模式是否发生变更，达到了自动对目标数据流的数据模式进行检测，减少开发人员工作量，降低了后续进行数据处理所发生错误的风险的目的，如图1所示，该方法包括：

101、当检测到业务系统启动时，提取业务系统的数据模式规则，数据模式规则中的至少一个未知数规定了业务系统的数据流中数据列之间的关联关系。

在本发明实施例中，由于每个业务系统均存在对应的数据模式规则，因此，为了基于该数据模式规则实现对业务系统中数据流的数据模式是否变更的监测，当检测到业务系统启动时，直接提取该业务系统的数据模式规则，并在后续基于数据模式规则中的至少一个未知数对数据流的数据模式进行检测。

102、在业务系统中获取目标数据流，按照至少一个未知数的指示，将目标数据流填入数据模式规则中。

在本发明实施例中，由于数据模式规则中包括了至少一个未知数，且至少一个未知数是规定了业务系统的数据流中数据列之间的关联关系，因此，当获取到业务系统中的目标数据流时，便可以按照数据模式规则中至少一个未知数的指示，将目标数据流填入该数据模式规则中，以便根据填入目标数据流的数据模式规则是否成立来确定目标数据流的数据模式是否变更。

103、如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，生成目标数据流的错误信息。

在本发明实施例中，由于数据模式规则的本质是只有数据流的数据模式没有发生变更才会成立，因此，如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则可以直接确定目标数据流的数据模式发生变更，并生成目标数据流的错误信息，以便后续开发人员可以知晓有目标数据流的数据模式发生了变更。

本发明实施例提供的方法，当检测到业务系统启动时，提取业务系统的数据模式规则，按照数据模式规则中未知数的指示，将获取到的目标数据流填入数据模式规则中，如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，达到了可以根据该业务系统的数据模式规则，检测业务系统中的目标数据流的数据模式是否发生变更的目的，使得可以自动对目标数据流的数据模式进行检测，减少开发人员工作量，降低了后续进行数据处理所发生错误的风险的。

本发明实施例提供了一种数据模式变更检测方法，可以当检测到业务系统启动时，根据该业务系统的数据模式规则，检测业务系统中的目标数据流的数据模式是否发生变更，达到了自动对目标数据流的数据模式进行检测，减少开发人员工作量，降低了后续进行数据处理所发生错误的风险的目的，如图2A所示，该方法包括：

201、在业务系统中获取历史数据，对历史数据进行预处理，生成样本数据。

在本发明实施例中，发明人认识到，每个业务系统中会包括大量的日志，日志的数据模式基本都是固定的，也即日志中数据的schema(模式)通常情况下是不会更改的，因此，为了实现对日志中数据流的数据模式的检测，可以根据业务系统在历史中成功处理的日志中的历史数据的数据模式，为业务系统生成其自身的数据模式规则，以便在后续基于该数据模式规则对业务系统中日志的数据流进行检测，从而确定日志中数据流的数据模式是否发生了更改。

由于业务系统在历史中成功处理的日志中的历史数据是可以代表业务系统中数据流的数据模式的，因此，可以获取该业务系统日志中的历史数据，将历史数据作为后续生成该业务系统日志的数据模式规则的依据。考虑到数据流中可能会存在一些明显不具有意义的数据以及一些干扰数据，因此，为了避免这些明显不具有意义的数据以及干扰数据对生成数据模式规则的过程造成影响，在获取到历史数据后，可先对历史数据进行预处理，生成样本数据，并在随后基于该样本数据为业务系统生成数据模式规则。

其中，在对历史数据进行预处理时，可以采用数值化处理或聚类处理的方式。具体地，如果对历史数据进行数值化处理的预处理，则可将历史数据中的离散值型文本进行数值化处理，例如，设历史数据中包括的离散值型文本的数据列分别为A、B和C，则可采用数值0代替A，采用数值1代替B，采用数值2代替C，并生成包括数值“0、1和2”的样本数据。需要说明的是，在判断数据列是否为离散值型文本时，可以由终端进行统计得到，也可以由人工筛选得出。如果对历史数据进行聚类处理的预处理，则可以使用聚类算法，识别区历史数据中明显出现异常的数据列，将这些出现异常的数据列标记出来，并进行人工的干预，将人工干预后的历史数据作为样本数据。本发明实施例对历史数据进行预处理采用的方式以及方式的执行过程不进行具体限定。

202、对样本数据的至少一个样本数据列进行特征提取，获取至少一个样本数据列的至少一个样本特征，采用至少一个样本特征对至少一个样本数据列进行标记。

在本发明实施例中，当确定了样本数据后，为了使后续针对业务系统生成的数据模式规则更加的准确，且可以依赖多元化的数据生成多元化的数据模式规则，还可以对样本数据中每一样本数据列进行特征的挖掘，得到每一样本数据列的样本特征，使得后续还可以针对每一样本数据列的样本特征生成数据模式规则。具体地，在确定每一样本数据列的样本特征时，首先，对样本数据的至少一个样本数据列进行特征提取，获取至少一个样本数据列的至少一个样本特征。其中，样本特征可为均值特征、中位数值特征、最大值特征、最小值特征、分布区间特征以及信息熵特征等。随后，为了使后续在生成数据模式规则时，可以明确每一样本数据列的样本特征，采用获取到的至少一个样本特征，分别对至少一个样本数据列进行标记，实现将至少一个样本特征与至少一个样本数据列之间关联关系的绑定。

在实际应用的过程中，为了简化给业务系统生成数据模式规则的过程，还可以省略为每一样本数据列提取样本特征的过程，也即无需执行步骤202中的过程，在完成了步骤201中的内容后，直接执行下述步骤203即可，从而缩短生成业务系统的数据模式规则的过程。

203、确定预设算法，获取预设算法的序列式。

在本发明实施例中，预设算法至少为逻辑回归算法，序列式包括至少一个系数以及至少一个未知数。为了明确样本数据中每一样本数据列之间的关联关系，并采用数值的形式将关联关系展示出来，在确定了样本数据后，便可以确定可预设算法，获取该预设算法的序列式，以便在后续基于该预设算法的序列式，并根据样本数据，为该业务系统生成规则数据。其中，预设算法实质可为机器学习算法，具体可为LR(Logistic Regression，逻辑回归)算法，并基于该LR算法挖掘各个样本数据列之间的关联关系。以预设算法为LR算法为例进行说明，获取的算法序列式可为aX+bY+cZ+d＝0，其中，a、b、c和d为系数，X、Y和Z为未知数。

需要说明的是，X、Y和Z仅仅代表每一样本数据列的取值，不具有真正的业务含义，且aX+bY+cZ+d＝0仅是一种形式的表达，实际的序列式的表达可能更加复杂，并且与选取的预设算法的具体类型是强相关的，例如，预设算法为树回归模型时的序列算法与上述序列算法就是不相同的。本发明实施例对预设算法为哪一种算法序列式为哪一种形式不进行具体限定。在实际应用的过程中，预设算法还可能并不存在对应的序列式，根据预设算法仅能获取到参数之间关系的描述，这样，在后续便可能生成文字样式的数据模式规则，而非数字字符样式的，因此，是否可以获取到序列式取决于使用的算法，本发明实例对后续生成的数据模式规则的样式以及是否存在序列式不进行具体限定。

204、对样本数据进行数据提取，在样本数据中提取至少一个样本数据列，按照至少一个样本数据列在样本数据中的排列顺序以及至少一个未知数在序列式中的排列顺序，将至少一个样本数据填入至少一个未知数在序列式中指示的位置，生成计算序列式，对计算序列式进行计算，得到至少一个系数的系数取值。

在本发明实施例中，当获取到序列式后，便可以基于该序列式以及样本数据，为该业务系统生成数据模式规则。其中，由于序列式中的未知数是用于指示样本数据中每一样本数据列之间的关联关系的，因此，对样本数据进行数据提取，在样本数据中提取得到至少一个样本数据列；随后，按照至少一个样本数据列在样本数据中的排列顺序以及至少一个未知数在序列式中的排列顺序，将至少一个样本数据填入到至少一个未知数在序列式中指示的位置，从而生成计算序列式。例如，继续以序列式为aX+bY+cZ+d＝0为例进行说明，设样本数据为<X₀，X₁，X₂>，每一样本数据列分别为<X₀>，<X₁>，<X₂>，则将样本数据列按照样本数据列在样本数据中的排列顺序以及未知数在序列式中的排列顺序，将<X₀>，<X₁>，<X₂>填入未知数在序列式中指示的位置，生成的计算序列式便为a X₀+b X₁+c X₂+d＝0。其中，由于生成的计算序列式是一个等式，且已经带入了具体的数值，因此，可以对计算序列式进行计算，从而得到使带入至少一个样本数据列的序列式成立的至少一个系数的系数取值，也即得到上述序列式中a、b和c的取值。

205、将至少一个系数的系数取值填入序列式，基于至少一个未知数和至少一个系数的系数取值，生成数据模式规则。

在本发明实施例中，当确定了至少一个系数的系数取值后，便可以将得到的至少一个系数取值填入至序列式中，并基于至少一个未知数和至少一个系数的系数取值，生成数据模式规则。例如，继续以序列式为aX+bY+cZ+d＝0为例进行说明，设确定的至少一个系数的系数值分别为a等于3，b等于4，c等于5，d等于6，则分别将a、b、c和d的取值带入至序列式中后，便可以得到3X+4Y+5Z+6＝0的等式，此时，便可以将该等式作为数据模式规则，并在后续基于该数据模式规则对后续输入至业务系统中的数据流的数据模式进行检测。

考虑到每一个业务系统均会生成与其对应的数据模式规则，且业务系统的数量巨大，因此，在生成了数据模式规则后，可以提取该业务模式的业务标识，采用业务标识对生成的数据模式规则进行标记，或者将业务标识与数据模式规则对应存储，建立业务系统与数据模式规则之间的对应关系，以便在后续需要对业务系统的数据流进行检测时，可以直接获取到该业务系统的数据模式规则。具体地，业务标识可为业务系统的系统名称、系统编号等信息，本发明实施例对存储数据模式规则的方式不进行具体限定。

需要说明的是，通过上述步骤201至步骤205为业务系统生成的数据模式规则是具有持久化的，可以长期针对该业务系统进行使用，但是考虑到业务系统中的数据流的数据模式很可能会整体变化，因此，可以设置挖掘周期，并且每隔挖掘周期，便为业务系统执行上述步骤201至步骤205的过程，生成一个新的数据模式规则，并在后续基于最新的数据模式规则对业务系统中的数据流进行检测。另外，为了对在不同时期针对业务系统生成的数据模式规则进行区分，还可以为不同时期生成的数据模式规则标注版本信息，将标注版本信息后的数据模式规则进行存储，从而实现持久化的数据模式规则的存储，使得后续在某一个环节出现问题时有据可依。

在实际应用的过程中，采用上述步骤201至步骤205中所示的过程即可为每一个业务系统生成一个与其对应的数据模式规则。这样，在后续便可对业务系统中数据流的数据模式是否变更进行检测，从而在根源上避免数据发生错误。其中，在基于数据模式规则对业务系统中的数据流的数据模式进行检测时，参见图2B，该方法包括：

206、当检测到业务系统启动时，提取业务系统的数据模式规则。

在本发明实施例中，由于每一个业务系统均可以通过上述步骤201至步骤205所示的过程生成与其自身所匹配的数据模式规则，因此，当检测到业务系统启动时，便可以提取该业务系统的数据模式规则，基于该数据模式规则中的至少一个未知数规定的业务系统的数据流中数据列之间的关联关系，实现对业务系统中数据列的数据模式是否变更的检测。

由于业务系统与其数据模式规则之间是存在对应关系的，因此，在提取业务系统的数据模式规则时，首先，可以获取该业务系统的业务标识；随后，采用该业务标识进行查询，获取该业务标识标记的数据模式规则，或者该业务标识对应存储的数据模式规则，并提取该数据模式规则，以便后续基于该数据模式规则对业务系统中的数据流进行是否变更数据模式的检测。

207、在业务系统中获取目标数据流，按照至少一个未知数的指示，将目标数据流填入数据模式规则中，如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则执行下述步骤208至步骤209；如果将目标数据流输入至数据模式规则后，数据模式规则成立，则执行下述步骤210。

在本发明实施例中，当获取的到业务系统的数据模式规则后，便可以基于该数据模式规则对业务系统中的数据流进行是否变更数据模式的检测。为了实现对业务系统中数据流的检测，需要在业务系统中提取目标数据流。需要说明的是，由于业务系统中的数据流是巨大的，如果对全部的数据流进行数据模式的变更检测会造成大量的工作量，浪费大量的计算资源，因此，可以在业务系统的实时计算流中进行数据流的提取，从而获取到目标数据流，针对目标数据流进行数据模式变更的检测。其中，在提取目标数据流时，可以设置预设策略，并按照预设策略在实时计算流中提取目标数据流。具体地，预设策略可为抽检，例如，随即在实时计算流中抽检1％的数据流作为目标数据流。在实际应用的过程中，如果业务系统中的数据流并不多，则为了保证生成的数据模式规则的准确性，也可将全部的数据流作为目标数据流。本发明实施例对提取目标数据流的方式不进行具体限定。

当获取到目标数据流后，便可以按照数据模式规则中至少一个未知数的指示，将目标数据流填入至数据模式规则中。具体地，首先，在目标数据流中提取至少一个待检测数据列；随后，按照至少一个待检测数据列在目标数据流中的排列顺序以及至少一个未知数在数据模式规则中的排列顺序，将至少一个待检测数据列填入至少一个未知数在数据模式规则中指示的位置。其中，将目标数据流填入数据模式规则中的过程与上述步骤204中所示的将至少一个样本数据填入至少一个未知数在序列式中指示的位置的过程一致，此处不再进行赘述。

其中，由于目标数据流的数据模式没有发生变更的话，将目标数据流填入数据模式规则中便会是成立的，因此，可以基于填入目标数据流的数据模式规则是否成立来确定目标数据流的数据模式是否发生了变更。具体地，如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则表示目标数据流的数据模式发生了变更，数据模式变更后的目标数据流是不满足数据模式规则要求的，此时，便需要执行下述步骤208至步骤209中所示的过程；如果将目标数据流输入至数据模式规则后，数据模式规则成立，则表示目标数据流的数据模式没有发生变更，目标数据流的数据模式是满足数据模式规则要求的，此时，便需要执行下述步骤210。

208、如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，生成目标数据流的错误信息。

在本发明实施例中，如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则表示目标数据流的数据模式发生了变更，数据模式变更后的目标数据流是不满足数据模式规则要求的。例如，继续以数据模式规则为3X+4Y+5Z+6＝0为例进行说明，由于该数据模式规则是针对数据流<X₀，X₁，X₂>生成的，也即只有数据流中数据列的排列顺序为<X₀>，<X₁>，<X₂>才可以使数据模式规则成立，因此，假设目标数据流的数据模式发生了变更，目标数据流为<X₀，X₁`，X<sub>2</sub>`>，其中，X₁`＝X<sub>2</sub>，X<sub>2</sub>`＝X₁，则此时将目标数据流带入至数据模式规则后得到的序列式即为3X₀+4X₁`+5X<sub>2</sub>`+6，该序列式是不会等于0的，因此，带入该目标数据流的数据模式规则便是不成立的，此时，便可与确定目标数据流的数据模式发生了变更，便可以生成目标数据流的错误信息，以便提示开发人员该业务系统中的目标数据流的数据模式发生了变更。

209、持续对获取到的数据流进行数据模式变更检测，并统计生成的错误信息的信息个数，当单位时间内信息个数达到个数阈值时，生成预警信息，展示预警信息。

在本发明实施例中，考虑到目标数据流的数据模式发生变化可能是个例，业务系统中绝大多数的数据流的数据模式是没有发生变化的，这些误差是可以忽略的，因此，当确定目标数据流的数据模式发生了更改，并生成了错误信息后，可以设置个数阈值，并持续对其他获取到的数据流进行数据模式的变更检测，统计生成的错误信息的信息个数，当单位时间内信息个数达到个数阈值时，触发预警，生成预警信息，并展示预警信息，使得开发人员知晓业务系统中大部分的数据流的数据模式都发生了变更，需要人工介入进行错误的排查，从而避免对后续的数据处理造成更加严重的后果。

210、如果将目标数据流输入至数据模式规则后，数据模式规则成立，则确定目标数据流的数据模式未发生变更，生成目标数据流的数据报表，并继续获取其他数据流。

在本发明实施例中，如果将目标数据流输入至数据模式规则后，数据模式规则成立，则表示目标数据流的数据模式没有发生变更，目标数据流的数据模式是满足数据模式规则要求的，这时，便可以针对该目标数据流生成数据报表，并继续获取其他的数据流，对其他的数据流进行数据模式的变更检测。

在实际应用的过程中，由于在生成业务系统的数据模式规则时，还会挖掘样本数据中每一样本数据列的样本特征，因此，在对目标数据流进行检测时，还可以基于样本特征，在离线的情况下对目标数据流中每一数据列进行回归预警，从而实现基于样本特征对目标数据流的数据模式是否变更进行检测，使得对目标数据流的数据模式进行检测的方法更加的多元化，对目标数据流的检测更加准确。其中，在基于样本特征对目标数据流进行数据模式的检测过程与上述步骤206至步骤201中所示的过程一致，此处不再进行赘述。

需要说明的是，数据模式的变更并不仅限制于业务系统的实施计算逻辑中，实际上，在离线数据库中也存在数据模式变更的问题，因此，本发明还可以应用在离线的数据库中。

本发明实施例提供的方法，当检测到业务系统启动时，提取业务系统的数据模式规则，按照数据模式规则中未知数的指示，将获取到的目标数据流填入数据模式规则中，如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，达到了可以根据该业务系统的数据模式规则，检测业务系统中的目标数据流的数据模式是否发生变更的目的，使得可以自动对目标数据流的数据模式进行检测，减少开发人员工作量，降低了后续进行数据处理所发生错误的风险的。

进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种数据模式变更检测装置，如图3A所示，所述装置包括：第一提取模块301，填入模块302和第一生成模块303。

该第一提取模块301，用于当检测到业务系统启动时，提取业务系统的数据模式规则，数据模式规则中的至少一个未知数规定了业务系统的数据流中数据列之间的关联关系；

该填入模块302，用于在业务系统中获取目标数据流，按照至少一个未知数的指示，将目标数据流填入数据模式规则中；

该第一生成模块303，用于如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，生成目标数据流的错误信息。

在具体的应用场景中，如图3B所示，该装置还包括处理模块304，确定模块305，计算模块306和第二生成模块307。

该处理模块304，用于在业务系统中获取历史数据，对历史数据进行预处理，生成样本数据，预处理至少为数值化处理或聚类处理；

该确定模块305，用于确定预设算法，获取预设算法的序列式，预设算法至少为逻辑回归算法，序列式包括至少一个系数以及至少一个未知数；

该计算模块306，用于在样本数据中提取至少一个样本数据列，将至少一个样本数据列带入至少一个未知数在序列式中指示的位置，计算序列式中至少一个系数的系数取值，至少一个系数的系数取值使带入至少一个样本数据列的序列式成立；

该第二生成模块307，用于将至少一个系数的系数取值填入序列式，基于至少一个未知数和至少一个系数的系数取值，生成数据模式规则。

在具体的应用场景中，如图3C所示，该装置还包括第二提取模块308和标记模块309。

该第二提取模块308，用于对样本数据的至少一个样本数据列进行特征提取，获取至少一个样本数据列的至少一个样本特征；

该标记模块309，用于采用至少一个样本特征对至少一个样本数据列进行标记。

在具体的应用场景中，如图3D所示，该计算模块306，包括提取单元3061，生成单元3062和计算单元3063。

该提取单元3061，用于对样本数据进行数据提取，在样本数据中提取至少一个样本数据列；

该生成单元3062，用于按照至少一个样本数据列在样本数据中的排列顺序以及至少一个未知数在序列式中的排列顺序，将至少一个样本数据填入至少一个未知数在序列式中指示的位置，生成计算序列式；

该计算单元3063，用于对计算序列式进行计算，得到至少一个系数的系数取值。

在具体的应用场景中，如图3E所示，该填入模块302，包括提取单元3021和填入单元3022。

该提取单元3021，用于在业务系统中获取目标数据流，在目标数据流中提取至少一个待检测数据列；

该填入单元3022，用于按照至少一个待检测数据列在目标数据流中的排列顺序以及至少一个未知数在数据模式规则中的排列顺序，将至少一个待检测数据列填入至少一个未知数在数据模式规则中指示的位置。

在具体的应用场景中，如图3F所示，该装置还包括第三生成模块310。

该第三生成模块310，用于如果将目标数据流输入至数据模式规则后，数据模式规则成立，则确定目标数据流的数据模式未发生变更，生成目标数据流的数据报表，并继续获取其他数据流。

在具体的应用场景中，如图3G所示，该装置还包括统计模块311和展示模块312。

该统计模块311，用于持续对获取到的数据流进行数据模式变更检测，并统计生成的错误信息的信息个数；

该展示模块312，用于当单位时间内信息个数达到个数阈值时，生成预警信息，展示预警信息。

本发明实施例提供的装置，当检测到业务系统启动时，提取业务系统的数据模式规则，按照数据模式规则中未知数的指示，将获取到的目标数据流填入数据模式规则中，如果将目标数据流输入至数据模式规则后，数据模式规则不成立，则确定目标数据流的数据模式发生变更，达到了可以根据该业务系统的数据模式规则，检测业务系统中的目标数据流的数据模式是否发生变更的目的，使得可以自动对目标数据流的数据模式进行检测，减少开发人员工作量，降低了后续进行数据处理所发生错误的风险的。

需要说明的是，本发明实施例提供的一种数据模式变更检测装置所涉及各功能单元的其他相应描述，可以参考图1和图2A至图2B中的对应描述，在此不再赘述。

在示例性实施例中，参见图4，还提供了一种设备，该设备400包括通信总线、处理器、存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的数据模式变更检测方法。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数据模式变更检测方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (16)

1.一种数据模式变更检测方法，其特征在于，包括：

当检测到业务系统启动时，提取所述业务系统的数据模式规则，所述数据模式规则中的至少一个未知数规定了所述业务系统的数据流中数据列之间的关联关系，所述数据模式规则根据所述业务系统在历史中成功处理的日志中的历史数据的数据模式生成，所述数据模式规则基于预设算法计算得到，所述预设算法至少为逻辑回归算法；

在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中；

如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则不成立，则确定所述目标数据流的数据模式发生变更，生成所述目标数据流的错误信息。

2.根据权利要求1所述的方法，其特征在于，所述当检测到业务系统启动时，提取所述业务系统的数据模式规则之前，包括：

在所述业务系统中获取历史数据，对所述历史数据进行预处理，生成样本数据，所述预处理至少为数值化处理或聚类处理；

确定所述预设算法，获取所述预设算法的序列式，所述序列式包括至少一个系数以及至少一个未知数；

在所述样本数据中提取至少一个样本数据列，将所述至少一个样本数据列带入所述至少一个未知数在所述序列式中指示的位置，计算所述序列式中至少一个系数的系数取值，所述至少一个系数的系数取值使带入所述至少一个样本数据列的序列式成立；

将所述至少一个系数的系数取值填入所述序列式，基于所述至少一个未知数和所述至少一个系数的系数取值，生成所述数据模式规则。

3.根据权利要求2所述的方法，其特征在于，所述在所述业务系统中获取历史数据，对所述历史数据进行预处理，生成样本数据之后，所述方法还包括：

对所述样本数据的至少一个样本数据列进行特征提取，获取所述至少一个样本数据列的至少一个样本特征；

采用所述至少一个样本特征对所述至少一个样本数据列进行标记。

4.根据权利要求2所述的方法，其特征在于，所述在所述样本数据中提取至少一个样本数据列，将所述至少一个样本数据列带入所述至少一个未知数在所述序列式中指示的位置，计算所述序列式中至少一个系数的系数取值，包括：

对所述样本数据进行数据提取，在所述样本数据中提取所述至少一个样本数据列；

按照所述至少一个样本数据列在所述样本数据中的排列顺序以及所述至少一个未知数在所述序列式中的排列顺序，将所述至少一个样本数据填入所述至少一个未知数在所述序列式中指示的位置，生成计算序列式；

对所述计算序列式进行计算，得到所述至少一个系数的系数取值。

5.根据权利要求1所述的方法，其特征在于，所述在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中，包括：

在所述业务系统中获取所述目标数据流，在所述目标数据流中提取至少一个待检测数据列；

按照所述至少一个待检测数据列在所述目标数据流中的排列顺序以及所述至少一个未知数在所述数据模式规则中的排列顺序，将所述至少一个待检测数据列填入所述至少一个未知数在所述数据模式规则中指示的位置。

6.根据权利要求1所述的方法，其特征在于，所述在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中之后，所述方法还包括：

如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则成立，则确定所述目标数据流的数据模式未发生变更，生成所述目标数据流的数据报表，并继续获取其他数据流。

7.根据权利要求1所述的方法，其特征在于，所述如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则不成立，则确定所述目标数据流的数据模式发生变更，生成所述目标数据流的错误信息之后，所述方法还包括：

持续对获取到的数据流进行数据模式变更检测，并统计生成的所述错误信息的信息个数；

当单位时间内所述信息个数达到个数阈值时，生成预警信息，展示所述预警信息。

8.一种数据模式变更检测装置，其特征在于，包括：

第一提取模块，用于当检测到业务系统启动时，提取所述业务系统的数据模式规则，所述数据模式规则中的至少一个未知数规定了所述业务系统的数据流中数据列之间的关联关系，所述数据模式规则根据所述业务系统在历史中成功处理的日志中的历史数据的数据模式生成，所述数据模式规则基于预设算法计算得到，所述预设算法至少为逻辑回归算法；

填入模块，用于在所述业务系统中获取目标数据流，按照所述至少一个未知数的指示，将所述目标数据流填入所述数据模式规则中；

第一生成模块，用于如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则不成立，则确定所述目标数据流的数据模式发生变更，生成所述目标数据流的错误信息。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

处理模块，用于在所述业务系统中获取历史数据，对所述历史数据进行预处理，生成样本数据，所述预处理至少为数值化处理或聚类处理；

确定模块，用于确定所述预设算法，获取所述预设算法的序列式，所述序列式包括至少一个系数以及至少一个未知数；

计算模块，用于在所述样本数据中提取至少一个样本数据列，将所述至少一个样本数据列带入所述至少一个未知数在所述序列式中指示的位置，计算所述序列式中至少一个系数的系数取值，所述至少一个系数的系数取值使带入所述至少一个样本数据列的序列式成立；

第二生成模块，用于将所述至少一个系数的系数取值填入所述序列式，基于所述至少一个未知数和所述至少一个系数的系数取值，生成所述数据模式规则。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第二提取模块，用于对所述样本数据的至少一个样本数据列进行特征提取，获取所述至少一个样本数据列的至少一个样本特征；

标记模块，用于采用所述至少一个样本特征对所述至少一个样本数据列进行标记。

11.根据权利要求9所述的装置，其特征在于，所述计算模块，包括：

提取单元，用于对所述样本数据进行数据提取，在所述样本数据中提取所述至少一个样本数据列；

生成单元，用于按照所述至少一个样本数据列在所述样本数据中的排列顺序以及所述至少一个未知数在所述序列式中的排列顺序，将所述至少一个样本数据填入所述至少一个未知数在所述序列式中指示的位置，生成计算序列式；

计算单元，用于对所述计算序列式进行计算，得到所述至少一个系数的系数取值。

12.根据权利要求8所述的装置，其特征在于，所述填入模块，包括：

提取单元，用于在所述业务系统中获取所述目标数据流，在所述目标数据流中提取至少一个待检测数据列；

填入单元，用于按照所述至少一个待检测数据列在所述目标数据流中的排列顺序以及所述至少一个未知数在所述数据模式规则中的排列顺序，将所述至少一个待检测数据列填入所述至少一个未知数在所述数据模式规则中指示的位置。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第三生成模块，用于如果将所述目标数据流输入至所述数据模式规则后，所述数据模式规则成立，则确定所述目标数据流的数据模式未发生变更，生成所述目标数据流的数据报表，并继续获取其他数据流。

14.根据权利要求8所述的装置，其特征在于，所述装置还包括：

统计模块，用于持续对获取到的数据流进行数据模式变更检测，并统计生成的所述错误信息的信息个数；

展示模块，用于当单位时间内所述信息个数达到个数阈值时，生成预警信息，展示所述预警信息。

15.一种设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

16.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images