CN116795426B

CN116795426B - 一种数据处理方法及系统

Info

Publication number: CN116795426B
Application number: CN202311048599.1A
Authority: CN
Inventors: 廖振伟; 李国庆; 左勇
Original assignee: Athena Eyes Co Ltd
Current assignee: Athena Eyes Co Ltd
Priority date: 2023-08-21
Filing date: 2023-08-21
Publication date: 2023-11-10
Anticipated expiration: 2043-08-21
Also published as: CN116795426A

Abstract

本方法所提供的数据处理方法及系统，采用了程序语言结合分布式系统，设计了同一的数据处理方式，通过提前的配置，即可实现对数据的处理，减少了数据处理的使用复杂性，由于设计了相应的数据处理注解类、数据处理规则注解类、数据处理拦截类和数据处理实现类，即便在数据不完整、数据不规范以及数据不满足要求时，能依照所相应的方法有效的对数据处理，降低了数据处理的复杂性，提高工作效率。

Description

一种数据处理方法及系统

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种数据处理方法及系统。

背景技术

随着互联网技术的发展，各类基础技术迭代也在不断更新，系统的业务数据量也是逐渐变多，系统对于业务数据的要求也在逐渐规范。

在现有系统中通过业务功能运行中产生的数据，通常会出现部分数据不完整，数据不规范，数据不满足的要求情况，这些情况的产生会导致数据的使用和分析造成问题。所以需要对业务数据进行完整性，规范化的校检来保证数据的使用和分析操作的最大化。

现有技术中的分布式系统无法解决上述问题，且在面临数据不完整，数据不规范，数据不满足要求等实际问题时，会显著降低工作效率以及造成系统业务的故障率升高。

因此，提供一种针对上述问题，可以有效降低数据处理的复杂性，提高工作效率的数据处理方法及系统是本领域技术人员亟待解决的问题。

发明内容

本发明的目的在于提供一种数据处理方法及系统，该方法逻辑清晰，安全、有效、可靠且操作简便，能在数据不完整，数据不规范，数据不满足要求等情况下，仍然能有效的对数据处理，降低数据处理的复杂性，提高工作效率。

基于以上目的，本发明提供的技术方案如下：

一种数据处理方法，包括如下步骤：

创建数据处理注解类，并根据所述数据处理注解类与待注解方法以获取已注解方法；

创建数据处理规则注解类，定义规则类型字段；

根据所述处理规则注解类和所述已注解方法中的特定字段，获取配置后的数据处理规则字段；

在分布式系统中创建数据处理拦截类和数据处理实现类；

根据所述数据处理拦截类拦截所述已注解方法，以获取方法参数；

根据所述数据处理实现类处理所述方法参数以获取数据字段集合；

循环所述数据字段集合后，判断是否存在所述数据处理规则字段；

若存在，则获取所述数据字段集合中的所述数据处理规则字段；

在所述数据处理规则字段中根据所述规则类型字段，调用与所述已注解方法相对应的数据处理实现规则，以实现数据处理。

优选地，所述根据所述处理规则注解类和所述已注解方法中的特定字段，获取配置后的数据处理规则字段，包括如下步骤：

根据所述处理规则注解类和所述已注解方法中的参数实体类字段，获取数据处理规则字段；

配置所述数据处理规则字段，以获取所述配置后的数据处理规则字段；

所述特定字段具体为：所述参数实体类字段。

优选地，所述根据所述数据处理拦截类拦截所述已注解方法，以获取方法参数，包括如下步骤：

通过数据处理拦截类拦截所述已注解方法；

从所述已注解方法中读取所述方法参数；

将所述方法参数传入所述数据处理实现类中。

优选地，所述根据所述数据处理实现类处理所述方法参数以获取数据字段集合，包括如下步骤：

通过所述数据处理实现类将所述方法参数反射，以获取方法参数数据类型；

解析所述方法参数数据类型，以获取所述数据字段集合。

优选地，所述循环所述数据字段集合后，判断是否存在所述数据处理规则字段，还包括如下步骤：

若不存在，则继续循环直至循环结束。

优选地，所述在所述数据处理规则字段中根据所述规则类型字段，调用与所述已注解方法相对应的数据处理实现规则，以实现数据处理，包括如下步骤：

循环过程中，在数据处理规则字段中根据所述规则类型字段，确定对应的所述数据处理实现类；

在对应的所述数据处理时限类中调用与所述已注解方法相对应的数据处理实现规则；

根据数据处理实现规则判断所述数据处理规则字段是否符合预设规则；

若是，则实现数据处理。

优选地，所述根据数据处理实现规则判断所述数据处理规则字段是否符合预设规则，还包括如下步骤：

若否，则停止循环；

并清除所述数据处理规则字段。

一种数据处理系统，包括第一创建模块、第二创建模块、第一获取模块、第三创建模块、第二获取模块、第三获取模块、循环判断模块和数据处理模块；

所述第一创建模块，用于创建数据处理注解类，并根据所述数据处理注解类与待注解方法以获取已注解方法；

所述第二创建模块，用于创建数据处理规则注解类，定义规则类型字段；

所述第一获取模块，用于根据所述处理规则注解类和所述已注解方法中的特定字段，获取配置后的数据处理规则字段；

所述第三创建模块，用于在分布式系统中创建数据处理拦截类和数据处理实现类；

所述第二获取模块，用于根据所述数据处理拦截类拦截所述已注解方法，以获取方法参数；

所述第三获取模块，用于根据所述数据处理实现类处理所述方法参数以获取数据字段集合；

循环判断模块，用于循环所述数据字段集合后，判断是否存在所述数据处理规则字段；

数据处理模块，用于在所述数据处理规则字段中根据所述规则类型字段，调用与所述已注解方法相对应的数据处理实现规则，以实现数据处理。

本发明所提供的数据处理方法，是通过预先创建数据处理注解类、创建数据处理规则注解类；通过数据处理注解类与待注解方法得到已注解方法；通过数据处理规则注解类定义规则类型字段；通过处理规则注解类和已注解方法中的特定字段，获取数据处理规则字段并对数据处理规则字段进行配置，得到已配置后的数据处理规则字段；在分布式系统中创建数据处理拦截类和数据处理实现类；通过数据处理拦截类对已注解方法进行拦截，得到方法参数；通过数据处理实现类处理方法参数，从而获取数据字段集合；多次循环数据字段集合后，判断是否存在数据处理规则字段；若存在，则获取数据字段集合中的数据处理规则字段；在数据处理规则字段中根据已定义的规则类型字段，调用与已注解方法相对应的数据实现规则，从而实现数据处理。

相比于现有技术，本方法采用了程序语言结合分布式系统，设计了同一的数据处理方式，通过提前的配置，即可实现对数据的处理，减少了数据处理的使用复杂性，由于设计了相应的数据处理注解类、数据处理规则注解类、数据处理拦截类和数据处理实现类，即便在数据不完整、数据不规范以及数据不满足要求时，能依照所相应的方法有效的对数据处理，降低了数据处理的复杂性，提高工作效率。

本发明还提供了一种数据处理系统，由于该系统与数据处理方法解决相同的技术问题，属于相同的技术构思，因此理应具有相同的有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法流程图；

图2为本发明实施例提供的步骤S5的流程图；

图3为本发明实施例提供的步骤S6的流程图；

图4为本发明实施例提供的步骤S8的流程图；

图5为本发明实施例提供的一种数据处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例采用递进的方式撰写。

本发明实施例提供了一种数据处理方法及系统。主要解决现有技术中，在面临数据不完整，数据不规范，数据不满足要求时，会显著降低工作效率以及造成系统业务的故障率升高的技术问题。

如图1所示，一种数据处理方法，包括如下步骤：

S1.创建数据处理注解类，并根据数据处理注解类与待注解方法以获取已注解方法；

S2.创建数据处理规则注解类，定义规则类型字段；

S3.根据处理规则注解类和已注解方法中的特定字段，获取配置后的数据处理规则字段；

S4.在分布式系统中创建数据处理拦截类和数据处理实现类；

S5.根据数据处理拦截类拦截已注解方法，以获取方法参数；

S6.根据数据处理实现类处理方法参数以获取数据字段集合；

S7.循环数据字段集合后，判断是否存在数据处理规则字段；

若存在，则获取数据字段集合中的数据处理规则字段；

S8.在数据处理规则字段中根据规则类型字段，调用与已注解方法相对应的数据处理实现规则，以实现数据处理。

需要说明的是，在实际运用过程中，根据不同的使用需求或所需的效果，各方法步骤有具体的使用细节，各步骤所采用的具体设备或检测部件可以根据实际需要进行选择，具体的程序语言为java、c、Python等，而分布式系统可选择现有技术中的Xxl-job。在本实施例中，选择程序语言java为例，说明本方法的具体实施过程。

还需要说明的是，Annotation(注解)是JDK1.5及以后版本引入的。它可以用于创建文档，跟踪代码中的依赖性，甚至执行基本编译时检查。注解是以‘@注解名’在代码中存在的，根据注解参数的个数，可以将注解分为：标记注解、单值注解、完整注解三类。它们都不会直接影响到程序的语义，只是作为注解（标识）存在，可以通过反射机制编程实现对这些元数据（用来描述数据的数据）的访问。另外，可以在编译时选择代码里的注解是否只存在于源代码级，或者它也能在class文件、或者运行时中出现（SOURCE/CLASS/RUNTIME）；

常见的自定义注解有四种：注解用在类上面、注解用在方法上面、注解用在属性上面、注解用在参数上面；

步骤S1中，通过使用java的注解模式来定义一个数据处理注解类【A】，并将【A】使用到需要数据处理的java类方法（即待注解方法）上，得到已注解方法；其中，【A】具有以下字段属性：任务名称，时间表达式，运行模式等；

步骤S2中，通过使用java的注解模式来定义一个数据处理规则注解类【@B】，用于定义规则类型等字段；

优选地，步骤S3，包括如下步骤：

根据处理规则注解类【@B】和已注解方法中的参数实体类字段，获取数据处理规则字段；

配置数据处理规则字段，以获取配置后的数据处理规则字段；

特定字段具体为：参数实体类字段。

步骤S3中，通过将注解【@B】标记在已注解方法中的参数实体类的字段上，并配置数据处理规则字段数据；

步骤S4中，使用分布式系统（Xxl-job），并在分布式系统中创建数据处理拦截类【C】和数据处理实现类【E】；

步骤S5中，通过数据处理拦截类【C】拦截已注解方法，从中提取方法参数；

步骤S6中，通过数据处理实现类【E】对方法参数进行处理，从而获取对应的数据字段集合；

步骤S7中，得到对应的数据字段集合后，循环数据字段集合，判断循环结果中是否存在数据处理规则字段；若存在，则获取数据字段集合中的数据处理规则字段；

步骤S8中，根据数据处理规则注解类【@B】中规定的规则类型字段，调用与已注解方法相对应的数据处理实现规则，从而实现数据处理。

如图2所示，优选地，步骤S5，包括如下步骤：

A1.通过数据处理拦截类拦截已注解方法；

A2.从已注解方法中读取方法参数；

A3.将方法参数传入数据处理实现类中。

步骤A1至A3中，具体是通过数据处理拦截类【C】的拦截方法对标记了注解类【@A】的已注解方法进行拦截，并获取方法参数数据（方法信息数据），调用数据处理实现类【E】的数据处理方法，传入上述数据。

如图3所示，优选地，步骤S6，包括如下步骤：

B1.通过数据处理实现类将方法参数反射，以获取方法参数数据类型；

B2.解析方法参数数据类型，以获取数据字段集合。

步骤B1至B2中，执行数据处理实现类【E】的数据处理方法，获取数据处理拦截类【C】传入的方法信息数据，方法参数数据等数据，通过反射的方式获取方法参数数据类型，解析数据类型，获取数据字段集合。

优选地，步骤S7，还包括如下步骤：

若不存在，则继续循环直至循环结束。

实际运用过程中，判断是否存在数据处理规则注解类【@B】，如果‘不存在’则继续循环直到循环结束，如果‘存在’则记录该字段到数据处理字段集合里。

如图4所示，优选地，步骤S8，包括如下步骤：

C1.循环过程中，在数据处理规则字段中根据规则类型字段，确定对应的数据处理实现类；

C2.在对应的数据处理时限类中调用与已注解方法相对应的数据处理实现规则；

C3.根据数据处理实现规则判断数据处理规则字段是否符合预设规则；

C4.若是，则实现数据处理。

步骤C1至C4中，循环数据处理字段集合，获取数据处理字段的数据处理规则注解类【@B】数据，根据定义规则类型字段数据找到具体的数据规则实现类【D1】，调用数据规则方法，传入数据处理字段数据值，数据规则方法内实现，对传入的数据值，进行规则判断，判断数据是否符合规则，如果符合规则则返回‘true’，从而实现数据处理。

优选地，步骤C3，还包括如下步骤：

若否，则停止循环；

并清除数据处理规则字段。

实际运用过程中，如果不符合规范则返回‘false’,数据处理字段集合循环过程中如果出现‘false’返回值则直接停止循环，并对该条数据在方法参数中进行清除

如图5所示，一种数据处理系统，包括第一创建模块、第二创建模块、第一获取模块、第三创建模块、第二获取模块、第三获取模块、循环判断模块和数据处理模块；

第一创建模块，用于创建数据处理注解类，并根据数据处理注解类与待注解方法以获取已注解方法；

第二创建模块，用于创建数据处理规则注解类，定义规则类型字段；

第一获取模块，用于根据处理规则注解类和已注解方法中的特定字段，获取配置后的数据处理规则字段；

第三创建模块，用于在分布式系统中创建数据处理拦截类和数据处理实现类；

第二获取模块，用于根据数据处理拦截类拦截已注解方法，以获取方法参数；

第三获取模块，用于根据数据处理实现类处理方法参数以获取数据字段集合；

循环判断模块，用于循环数据字段集合后，判断是否存在数据处理规则字段；

若存在，则获取数据字段集合中的数据处理规则字段；

数据处理模块，用于在数据处理规则字段中根据规则类型字段，调用与已注解方法相对应的数据处理实现规则，以实现数据处理。

实际运用过程中，本发明还公开了一种数据处理系统，通过第一创建模块创建数据处理注解类，并根据数据处理注解类与待注解方法得到已注解方法，并将已注解方法发送至第二创建模块和第一获取模块中；通过第二创建模块创建数据处理规则注解类并发送至第一获取模块，通过数据处理规则注解类定义规则类型字段，并将已定义的规则类型字段发送至数据处理模块；第一获取模块根据根据处理规则注解类和已注解方法中的特定字段，得到配置后的数据处理规则字段，并将数据处理规则字段发送至循环判断模块；第三创建模块在分布式系统中创建数据处理拦截类和数据处理实现类，并分别发送至第二获取模块和第三获取模块；通过第二获取模块根据数据处理拦截类拦截已注解方法，从而获得方法参数，并将方法参数发送至第三获取模块；第三获取模块根据数据处理实现类处理方法参数，从而获得数据字段集合，并将数据字段集合发送至循环判断模块；通过循环判断模块，循环数据字段集合后，判断是否存在数据处理规则字段，若存在，则获取数据字段集合中的数据处理规则字段，并发送至数据处理模块；通过数据处理模块，在数据处理规则字段中根据规则类型字段，调用与已注解方法相对应的数据处理实现规则，从而实现数据处理。

在本申请所提供的实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

另外，在本发明各实施例中的各功能模块可以全部集成在一个处理器中，也可以是各模块分别单独作为一个器件，也可以两个或两个以上模块集成在一个器件中；本发明各实施例中的各功能模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成，前述的程序指令可以存储于计算机可读取存储介质中，该程序指令在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

应当理解，本申请中如若使用了“系统”、“装置”、“单元”和/或“模块”，仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

本申请中如若使用了流程图，则该流程图是用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

以上对本发明所提供的一种数据处理方法及系统进行了详细介绍。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据处理方法，其特征在于，包括如下步骤：

创建数据处理规则注解类，定义规则类型字段；

在分布式系统中创建数据处理拦截类和数据处理实现类；

在所述数据处理规则字段中根据所述规则类型字段，调用与所述已注解方法相对应的数据处理实现规则，以实现数据处理；

所述根据所述处理规则注解类和所述已注解方法中的特定字段，获取配置后的数据处理规则字段，包括如下步骤：

所述特定字段具体为：所述参数实体类字段。

2.如权利要求1所述的数据处理方法，其特征在于，所述根据所述数据处理拦截类拦截所述已注解方法，以获取方法参数，包括如下步骤：

通过数据处理拦截类拦截所述已注解方法；

从所述已注解方法中读取所述方法参数；

将所述方法参数传入所述数据处理实现类中。

3.如权利要求2所述的数据处理方法，其特征在于，所述根据所述数据处理实现类处理所述方法参数以获取数据字段集合，包括如下步骤：

解析所述方法参数数据类型，以获取所述数据字段集合。

4.如权利要求1所述的数据处理方法，其特征在于，所述循环所述数据字段集合后，判断是否存在所述数据处理规则字段，还包括如下步骤：

若不存在，则继续循环直至循环结束。

5.如权利要求1所述的数据处理方法，其特征在于，所述在所述数据处理规则字段中根据所述规则类型字段，调用与所述已注解方法相对应的数据处理实现规则，以实现数据处理，包括如下步骤：

在对应的所述数据处理实现类中调用与所述已注解方法相对应的数据处理实现规则；

若是，则实现数据处理。

6.如权利要求5所述的数据处理方法，其特征在于，所述根据数据处理实现规则判断所述数据处理规则字段是否符合预设规则，还包括如下步骤：

若否，则停止循环；

并清除所述数据处理规则字段。

7.一种数据处理系统，其特征在于，包括第一创建模块、第二创建模块、第一获取模块、第三创建模块、第二获取模块、第三获取模块、循环判断模块和数据处理模块；

数据处理模块，用于在所述数据处理规则字段中根据所述规则类型字段，调用与所述已注解方法相对应的数据处理实现规则，以实现数据处理；

所述第一获取模块，具体用于根据所述处理规则注解类和所述已注解方法中的参数实体类字段，获取数据处理规则字段；配置所述数据处理规则字段，以获取所述配置后的数据处理规则字段；所述特定字段具体为：所述参数实体类字段。