CN115080653A - 一种数据处理用通用模型 - Google Patents

Abstract

本发明公开一种数据处理用通用模型，包括如下步骤：对外部输入数据进行解析，确认外部输入数据是否附带有与数据处理规则存在对应关系的规则id，生成包含有规则id信息的解析报告；S200）对于附带有规则id的外部输入数据按照规则id对应的数据处理规则对外部输入数据进行处理，未附带有规则id的外部输入数据的数据处理规则通过数据处理规则判断模型进行确定，然后根据判断结果进行相应的处理操作。本发明通过利用数据处理规则判断模型对未附带有规则id的外部输入数据的数据处理规则进行确定，形成具有统一口径的数据格式的数据，在一定程度上满足各种业务场景的需要。

Description

一种数据处理用通用模型

技术领域

本发明涉及数据处理技术领域。具体地说是一种数据处理用通用模型。

背景技术

随着大数据技术在社会各行业和各方面不断深入和发展的前提下，其总体趋势表现为数据数量庞大且呈指数级增长发展趋势，所面临的数据类型种类繁多且仍在不断增加中、业务类型复杂多变且变化速度越来越快。对数据的统一接入、处理和使用，一直以来都是大数据的先决条件。而大数据的技术和体系架构决定了在数据统一接入的大部分场景下，都需要对接入的数据进行统一处理，为后续业务系统能够建立在一个具有统一口径的基础上直接使用多源异构数据提供前提条件。

常见的数据处理手段主要有以下几种：

（1）直接跳过数据处理过程，不进行数据处理，比较常见于较早时期数据单一且不易变动的情况下使用；

（2）每接入一种类型的数据源都需要专门进行定制化开发，比较常见于需要逐个接入数据来源的场景；

（3）内置数据处理规则，该规则不依赖于接入的数据情况，而做固定化的数据处理过程，比较常见于较早时期的可以动态接入几种数据类型比较固定的数据来源的情况下的常用方式；

（4）有限定条件的定制化规则处理，该规则支持的种类比较固定，仅能支持少量应用场景，比较常见于接入数据来源较多，但是数据种类比较单一的场景。

现有技术由于发展较早，在大数据发展初期，完全可以满足当时的发展需要，但是随着大数据规模的不断扩大，数据类型的多样化发展，业务复杂度的不断攀升，以及对及时性和响应能力的要求不断提升的前提下，传统技术就开始呈现出捉襟见肘的态势，主要表现为：

（1）要接入的业务系统不断增加，数据格式和业务要求层出不穷，难以通过一个统一的数据处理过程实现对这些新业务系统的支撑，基本上表现为有一个新的业务系统接入进来，就需要重新设计和实现对应的数据处理规则以提供对应的支撑，实效性严重滞后。

（2）随着新业务系统的接入，在对原有数据处理规则进行完善的同时，其复杂度也急剧升高，因此不稳定性提升，容易出错。

（3）由于数据处理规则没有一定的标准规范或行为准则，因此，数据规则的处理，会出现重复设计、重复开发，久而久之，代码凌乱，难以维护。

（4）对于无法区分来源的数据，即无法明确数据的业务含义的情况下，数据规则的局限性就更加明显。

（5）由于数据复杂度的提升，数据处理的灵活性不足以支撑更加复杂的业务场景要求，如数据分支，数据告警等。

（6）规则处理不统一，对于复杂且有较多规则的数据处理无法复用，无法形成经验沉淀，针对类型相同的不同数据来源可能因为一些细微的差别而无法复用同类型的处理规则。

（7）对于新接入的数据来源，可能因为数据规则的延后处理，无法识别，从而造成数据丢弃，或者数据误报。

（8）传统的数据处理过程只关注结果，将结果存储起来，而对于原始数据、日志记录、元数据、过程信息等要么丢弃，要么和结果数据集中存放，造成无法查看过程信息，不清楚数据处理过程，无法确认数据处理进度，结果集由于包含了太多内容，从而影响使用效率，降低性能。无法灵活进行数据处理过程的变更和定制，在业务系统变更后，由于需要做对应的个性化调整，大部分情况下，都需要重新设计、重新开发和重新部署，响应严重滞后，也是数据处理的痛点之一。

发明内容

为此，本发明所要解决的技术问题在于提供一种数据处理用通用模型，通过利用数据处理规则判断模型对未附带有规则id的外部输入数据的数据处理规则进行确定，形成具有统一口径的数据格式的数据，在一定程度上满足各种业务场景的需要。

为解决上述技术问题，本发明提供如下技术方案：

一种数据处理用通用模型，包括如下步骤：

S100）对外部输入数据进行解析，确认外部输入数据是否附带有与数据处理规则存在对应关系的规则id，生成包含有规则id信息的解析报告；

S200）对于附带有规则id的外部输入数据按照规则id对应的数据处理规则对外部输入数据进行处理，未附带有规则id的外部输入数据的数据处理规则通过数据处理规则判断模型进行确定，然后根据判断结果进行相应的处理操作；其中，所述数据处理规则判断模型包括条件模块和操作模块，条件模块包括大于或等于一个判断子模块，每个判断子模块内设有大于或等于一个判断规则，条件模块用于对外部输入数据进行必要性检查或前提判断，操作模块用于根据条件模块判断结果对外部输入数据进行相应操作。

上述数据处理用通用模型，在步骤S200）中，当判断子模块数量大于1时，条件模块利用判断子模块对外部输入数据进行必要性检查或前提判断时选用判断子模块的策略为与或非策略。

上述数据处理用通用模型，在步骤S200）中，当每个判断子模块中的判断规则数量大于1时，条件模块利用判断子模块对外部输入数据进行必要性检查或前提判断时判断子模块选用判断规则的策略为与或非策略。

上述数据处理用通用模型，当每个判断子模块中的判断规则数量大于1时，判断子模块对外部输入数据进行必要性检查或前提判断时按照判断规则组成的判断规则组的序号进行选取判断规则组。

上述数据处理用通用模型，在步骤S200）中，当所述数据处理规则判断模型数量大于1时，每个所述数据处理规则判断模型设有唯一ID，所述唯一ID为所述数据处理规则判断模型在外部输入数据处理过程中的唯一标识。

上述数据处理用通用模型，当外部输入数据处理失败后，对该外部输入数据进行临时存储。

上述数据处理用通用模型，在对外部输入数据进行解析前对外部输入数据进行数据格式统一化处理；统一格式后的数据信息包括：

原始数据，要处理的目标数据；

编码，通过目标数据的编码值验证数据的一致性，且编码值不会在数据处理过程中被篡改；

存储id，数据存储时使用的唯一性id；

数据来源。

上述数据处理用通用模型，在对原始数据、日志数据和结果数据分别进行存储时使用统一的存储id，通过该存储id在原始数据、日志数据和结果数据之间查找或关联相互对应的数据。

上述数据处理用通用模型，在步骤S200）中，对附带有规则id的外部输入数据进行的处理包括存储、日志记录、数据处理和丢弃。

上述数据处理用通用模型，在步骤S200）中，对外部输入数据进行的处理包括将处理后的外部输入数据转入下一步操作的数据处理操作。

本发明的技术方案取得了如下有益的技术效果：

1.不限制要处理数据类型，支持多种不同格式的处理，可以应对绝大部分基于规则的数据处理场景；

2.条件模块内多个判断规则可以进行自由组合，形成比较复杂的条件判断；

3.支持一条数据执行多个不同的操作，不同的操作可以形成比较复杂的数据处理操作；

4.支持数据分流处理，即一条数据可以形成多个不同的数据处理结果；

5.条件模块内的判断规则组和判断规则组内的判断都具备先后顺序，如果能提前确定结果，后续的条件判断和组都不会执行，从而节省不必要的计算过程；

6.灵活性较高，可以通过判断规则与操作的不同组合方式实现复杂的规则判断和操作过程。

附图说明

图1为本发明中数据处理用通用模型外部输入数据处理流程图；

图2为本发明中数据处理用通用模型外部输入数据处理在统一数据格式情况下的流程图；

图3为本发明中数据处理规则判断模型的工作原理示意图；

图4为本发明中条件模块的工作原理示意图。

具体实施方式

下面结合示例，针对本发明进行进一步说明。

如图1所示，本发明数据处理用通用模型，包括如下步骤：

S100）对外部输入数据进行解析，确认外部输入数据是否附带有与数据处理规则存在对应关系的规则id，生成包含有规则id信息的解析报告；

S200）对于附带有规则id的外部输入数据按照规则id对应的数据处理规则对外部输入数据进行处理，未附带有规则id的外部输入数据的数据处理规则通过数据处理规则判断模型进行确定，然后根据判断结果进行相应的处理操作；其中，如图3和图4所示，所述数据处理规则判断模型包括条件模块和操作模块，条件模块包括大于或等于一个判断子模块，每个判断子模块内设有大于或等于一个判断规则，条件模块用于对外部输入数据进行必要性检查或前提判断，操作模块用于根据条件模块判断结果对外部输入数据进行相应操作。对附带有规则id的外部输入数据进行的处理包括存储、日志记录、数据处理和丢弃；对外部输入数据进行的处理包括将处理后的外部输入数据转入下一步操作的数据处理操作。

其中，在步骤S200）中，当判断子模块数量大于1时，条件模块利用判断子模块对外部输入数据进行必要性检查或前提判断时选用判断子模块的策略为与或非策略。当判断子模块数量为N个时，可以从这些判断子模块中选取几个判断子模块按照与或非策略进行组合，构成一个判断子模块组，然后利用这个判断子模块组来对外部输入数据进行判断。

在步骤S200）中，当每个判断子模块中的判断规则数量大于1时，条件模块利用判断子模块对外部输入数据进行必要性检查或前提判断时判断子模块选用判断规则的策略为与或非策略。当每个判断子模块中的判断规则数量大于1时，判断子模块对外部输入数据进行必要性检查或前提判断时按照判断规则组成的判断规则组的序号进行选取判断规则组。对由判断规则组成的判断规则组进行排序，并在判断子模块对外部输入数据进行必要性检查或前提判断时按照判断规则组成的判断规则组的序号进行选取判断规则组，序号小的先执行。如果先执行的组可以直接得出最终结果，那么后续的组都可以被忽略。比如判断规则必须全部通过，则如果第一个判断规则检查结果为未通过，那么最终结果必然是检查未通过，不需要全部判断规则都进行判断，其它判断规则同样有适用的场景，这样可以节省资源，减少不必要的计算过程，因此，需要将简单的判断、耗时较低或消耗资源较低的判断规则排在前面。

在步骤S200）中，当所述数据处理规则判断模型数量大于1时，每个所述数据处理规则判断模型设有唯一ID，所述唯一ID为所述数据处理规则判断模型在外部输入数据处理过程中的唯一标识。

在数据处理的环境中，可能会因为网络中断、配置错误、不支持的数据等会造成数据处理失败，但是这并不能证明数据是无效的，因此，在面临这一情况时，需要单独的过程对外部输入数据进行临时存储，在系统恢复或优化调整之后，可以再次处理，防止数据丢失。

在对外部输入数据进行解析前对外部输入数据进行数据格式统一化处理；统一格式后的数据信息包括原始数据、编码、存储id和数据来源，其中，原始数据为要处理的目标数据，通过目标数据的编码值验证数据的一致性，且编码值不会在数据处理过程中被篡改，存储id为数据存储时使用的唯一性id。在对原始数据、日志数据和结果数据分别进行存储时使用统一的存储id，通过该存储id在原始数据、日志数据和结果数据之间查找或关联相互对应的数据。

下面以实际数据处理操作流程对本发明数据处理用通用模型进行说明。

如图2所示，利用本发明数据处理用通用模型进行数据处理的步骤如下：

S101）采集外部输入数据；外部输入数据生成时可以附带一个规则id，以明确数据处理过程中需要使用的规则，在不能够明确数据处理过程中所需要使用的规则的情况下，外部输入数据生成时可以不赋予规则id；

S102）对外部输入数据进行数据格式统一化处理，将外部输入数据处理成具有统一数据格式的数据，统一格式后的数据信息包括原始数据、编码、存储id和数据来源以及其他信息，可以以json格式呈现，其中，可以通过编码值验证外部输入数据处理后的数据中心的原始数据的一致性，且不会在数据处理过程中被篡改；

S103）对经过数据格式统一化处理的外部输入数据进行解析，获得一个解析报告，解析报告中载明外部输入数据附带规则id的情况；对于附带有规则id的外部输入数据按规则id产生解析数据，反之则需要按预先设定的默认规则产生解析数据；

S200）对附带有规则id的外部输入数据按照与规则id相对应的数据处理规则对外部输入数据进行处理；未附带有规则id的外部输入数据的数据处理规则通过数据处理规则判断模型进行确定，具体流程为：

S201）条件模块中的判断子模块对未附带有规则id的外部输入数据进行必要性检查或前提判断并生成判断结果，判断子模块所依据的判断规则为判断子模块中预设的判断规则以及由这些判断规则按照“与或非”的策略组合而成的判断规则组；其中，对未附带有规则id的外部输入数据进行的每一个必要性检查或前提判断后都会得到一个结果，这个结果有三种类型：

通过：判断规则执行成功，目标数据满足判断规则要求；

未通过：判断规则执行成功，目标数据不满足判断规则要求；

发生错误：判断规则执行失败。由于一些运行时状况，比如网络不通、配置错误等，在对目标数据判断的过程中出现不可预知的错误。此种情况下，无法证明目标数据是否有效，因此，需要专门处理。

S202）根据判断结果对未附带有规则id的外部输入数据进行下一步处理。

而在根据判断结果对未附带有规则id的外部输入数据进行下一步处理之前，可以对同一个未附带有规则id的外部输入数据的判断结果进行合并处理，该合并处理包括：

（I）将同一个组内多个判断子模块的判断结果合并为一个结果，作为组的最终判断结果，支持与或非判断。如果有其中一个发生错误，则当前组的判断结果一律视为发生错误。

（II）将多个组的多个不同的结果合并为一个结果，作为整个模型的最终判断结果，同样支持与或非判断。如果有其中一个发生错误，则最终结果一律视为发生错误。

其中，判断子模块中内置有一个以上的判断规则，不同的判断规则之间关系为与、非、或的关系，其中，与：所有判断规则判断结果全部必须是通过，或：至少满足一个判断结果是通过，非：所有判断结果必须全部是未通过。

在本数据处理用通用模型中，在对外部输入数据进行处理时，先对外部输入数据进行数据格式统一化处理，然后对外部输入数据进行解析，确认是否附带有规则id，对附带有规则id的外部输入数据按照规则id对应的数据处理规则进行处理，未附带有规则id的外部输入数据的数据处理规则通过数据处理规则判断模型进行确定。在数据处理规则判断模型中，条件模块对未附带有规则id的外部输入数据进行条件判断，当得出一个结果或者多个结果合并成一个结果后，由操作模块对未附带有规则id 的外部输入数据进行一个操作，然后再对未附带有规则id 的外部输入数据进行条件判断，直至确定出一个适用的数据处理规则，并将与该数据处理规则对应的规则id赋予该外部输入数据，然后利用该数据处理规则对该外部输入数据进行处理。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。

Claims (10)

1.一种数据处理用通用模型，其特征在于，包括如下步骤：

S100）对外部输入数据进行解析，确认外部输入数据是否附带有与数据处理规则存在对应关系的规则id，生成包含有规则id信息的解析报告；

S200）对于附带有规则id的外部输入数据按照规则id对应的数据处理规则对外部输入数据进行处理，未附带有规则id的外部输入数据的数据处理规则通过数据处理规则判断模型进行确定，然后根据判断结果进行相应的处理操作；其中，所述数据处理规则判断模型包括条件模块和操作模块，条件模块包括大于或等于一个判断子模块，每个判断子模块内设有大于或等于一个判断规则，条件模块用于对外部输入数据进行必要性检查或前提判断，操作模块用于根据条件模块判断结果对外部输入数据进行相应操作。

2.根据权利要求1所述的数据处理用通用模型，其特征在于，在步骤S200）中，当判断子模块数量大于1时，条件模块利用判断子模块对外部输入数据进行必要性检查或前提判断时选用判断子模块的策略为与或非策略。

3.根据权利要求1所述的数据处理用通用模型，其特征在于，在步骤S200）中，当每个判断子模块中的判断规则数量大于1时，条件模块利用判断子模块对外部输入数据进行必要性检查或前提判断时判断子模块选用判断规则的策略为与或非策略。

4.根据权利要求3所述的数据处理用通用模型，其特征在于，当每个判断子模块中的判断规则数量大于1时，判断子模块对外部输入数据进行必要性检查或前提判断时按照判断规则组成的判断规则组的序号进行选取判断规则组。

5.根据权利要求1所述的数据处理用通用模型，其特征在于，在步骤S200）中，当所述数据处理规则判断模型数量大于1时，每个所述数据处理规则判断模型设有唯一ID，所述唯一ID为所述数据处理规则判断模型在外部输入数据处理过程中的唯一标识。

6.根据权利要求1所述的数据处理用通用模型，其特征在于，当外部输入数据处理失败后，对该外部输入数据进行临时存储。

7.根据权利要求1所述的数据处理用通用模型，其特征在于，在对外部输入数据进行解析前对外部输入数据进行数据格式统一化处理；统一格式后的数据信息包括：

原始数据，要处理的目标数据；

编码，通过目标数据的编码值验证数据的一致性，且编码值不会在数据处理过程中被篡改；

存储id，数据存储时使用的唯一性id；

数据来源。

8.根据权利要求6所述的数据处理用通用模型，其特征在于，在对原始数据、日志数据和结果数据分别进行存储时使用统一的存储id，通过该存储id在原始数据、日志数据和结果数据之间查找或关联相互对应的数据。

9.根据权利要求1～8任一所述的数据处理用通用模型，其特征在于，在步骤S200）中，对附带有规则id的外部输入数据进行的处理包括存储、日志记录、数据处理和丢弃。

10.根据权利要求9所述的数据处理用通用模型，其特征在于，在步骤S200）中，对外部输入数据进行的处理包括将处理后的外部输入数据转入下一步操作的数据处理操作。

Images