CN111984684A - 数据处理方法及装置 - Google Patents

Abstract

本公开涉及种数据处理方法及装置，所述方法包括：对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据以对系统中的数据进行更新，其中，应用数据为关系型数据；将预处理后的应用数据转换为目标类型的数据；接收数据查询消息，根据数据查询消息确定数据查询指令，并对数据查询指令进行校验，得到校验结果；在校验结果符合预设条件时，根据设定的调度策略调度数据查询指令，以从系统中获得并存储查询结果。本公开实施例的数据处理方法能够根据不同需求灵活地定义数据类型，将系统业务逻辑与业务数据进行解耦，并支持来自不同关系型数据的自动化联合校验，从而厘清系统中的不一致数据和无效数据，能够显著提高系统数据的可靠性。

Description

数据处理方法及装置

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着信息技术的不断发展，企业系统的业务逻辑功能日益繁杂，在系统集成过程中，存放于不同系统、不同数据源的海量数据之间不可避免地会出现数据重复、数据错误等问题，为了防止系统业务过程受到脏数据的影响，有必要进行定期的数据校验工作。现有的数据校验技术大多数局限于单一系统、单一数据源中的数据纠错，也缺乏面向业务人员的数据校验方法。然而，企业系统中同一组数据可能应用于多个业务流程，同一个业务系统也需要处理多个数据源的数据，业务人员并不了解这些庞杂的数据内容，也难以手工编写各种关系数据库的查询语句来进行数据校验工作。

发明内容

有鉴于此，本公开提出了一种数据处理方法，应用于数据处理系统，所述方法包括：

对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据以对所述系统中的数据进行更新，其中，所述应用数据为关系型数据；

将所述预处理后的应用数据转换为目标类型的数据；

接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果；

在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果。

在一种可能的实施方式中，所述应用数据包括基础数据表，所述获取自多个数据源的应用数据进行预处理，包括：

获取目标应用的基础数据表集合，所述基础数据表集合包括所述目标应用的应用数据的字段及字段数据值；

将所述目标应用的基础数据表与所述系统中已存储的数据表集合进行对比，根据比较结果对所述目标应用的基础数据表进行预处理。

在一种可能的实施方式中，所述根据比较结果对所述目标应用的基础数据表进行预处理，包括：

当已存储的数据表集合中包括所述目标应用的基础数据表时，利用所述目标应用的基础数据表的时间戳更新已存储的数据表，并更新系统中已存储的数据表的版本标识；或

当已存储的数据表集合中包括所述目标应用的基础数据表的部分字段时，将所述目标应用的基础数据表导入所述系统中，并将所述目标应用的基础数据表及已存储的数据表集合中与所述目标应用的基础数据表部分字段相同的数据表进行关联；或

当已存储的数据表集合中不包括所述目标应用的基础数据表时，将所述目标应用的基础数据表导入所述系统中，并将所述目标应用的基础数据表的版本标识初始化。

在一种可能的实施方式中，所述对获取自多个数据源的应用数据进行预处理，还包括：

获取多个数据源中所述目标应用的基础数据表；

根据不同的数据源对所述目标应用的基础数据表进行分类；

在各个类别下，根据最新的时间戳对所述目标应用的基础数据进行排序。

在一种可能的实施方式中，所述将所述预处理后的应用数据转换为目标类型的数据，包括：

获取所述目标类型模板，所述目标类型模板包括字段类型、字段名、字段最大长度、字段备注及结束符；

根据所述目标类型模板，将所述预处理后的应用数据转换为所述目标类型的数据。

在一种可能的实施方式中，所述数据查询指令包括第一查询条件、第二查询条件、指令执行序号，所述根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果，包括：

确定待查询任务的多个数据查询指令；

根据指令执行序号的先后顺序对所述多个数据查询指令进行排序，生成数据查询指令组，其中，所述数据查询指令组为有向无环序列，所述数据查询指令组中的数据查询指令用于按照指令执行序号被依次被执行，以获得查询数据；

对所述数据查询指令组中的数据查询指令进行校验，得到校验结果，

其中，所述校验结果包括指令状态及操作类型，

其中，所述指令状态包括可编辑状态、测试通过状态、待执行状态、正在执行状态和禁用状态的任意一种或多种，所述操作类型包括启用操作、更新操作、删除操作、禁用操作和调度操作的一种或多种。

在一种可能的实施方式中，所述根据设定的调度策略调度所述数据查询指令，包括：

在指定的起始时间、结束时间及调度周期下，根据每个查询任务的优先级顺序，调度所述查询任务，其中，查询任务包括一个或多个查询指令。

在一种可能的实施方式中，所述根据设定的调度策略调度所述数据查询指令，包括：

在查询任务包括多个查询指令时，根据查询任务中每个查询指令的指令执行序号的先后顺序，调度所述查询指令。

在一种可能的实施方式中，所述根据设定的调度策略调度所述数据查询指令，包括：

当系统资源不足时，在第一时间段，对查询任务中高优先级的查询指令进行调度；

若在第一时间段，当前查询指令未被调度，则在第二时间段对当前查询指令进行有限调度。

在一种可能的实施方式中，所述根据设定的调度策略调度所述数据查询指令，包括：

利用定时任务调度框架根据设定的调度策略调度所述数据查询指令。

在一种可能的实施方式中，所述应用数据包括考勤数据、人力资源数据、企业经营数据、应用程序运行数据、产品销售数据的一种或多种。

根据本公开的另一方面，提出了一种数据处理装置，应用于数据处理系统，所述装置包括：

预处理模块，用于对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据，其中，所述应用数据为关系型数据；

转换模块，连接于所述预处理模块，用于将所述预处理后的应用数据转换为目标类型的数据；

校验模块，连接于所述转换模块，用于接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果；

调度模块，连接于所述校验模块，用于在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果。

根据本公开的另一方面，提出了一种数据处理装置，包括：处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

执行所述的数据处理方法。

根据本公开的另一方面，提出了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现所述的数据处理方法。

通过以上方法，本公开实施例通过对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据以对所述系统中的数据进行更新，将所述预处理后的应用数据转换为目标类型的数据，可以将存放在不同数据源的不同类型的数据进行标准化处理，提高对多源异构数据的处理效率，通过接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果，在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果，可以对数据查询指令进行校验，以确定数据查询指令是否满足预设条件，在满足预设条件时，利用指令对数据进行调度验证。本公开实施例的数据处理方法能够根据不同需求灵活地定义数据类型，将系统业务逻辑与业务数据进行解耦，并支持来自不同关系型数据的自动化联合校验，从而厘清系统中的不一致数据和无效数据，能够显著提高系统数据的可靠性。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出了根据本公开一实施方式的数据处理方法的流程图。

图2示出了根据本公开一实施方式的数据处理方法的步骤S11的示意图。

图3示出了根据本公开一实施方式的数据处理方法的步骤S12的示意图。

图4示出了根据本公开一实施方式的数据处理方法的步骤S13的示意图。

图5示出了根据本公开一实施方式的数据处理方法的步骤S14的示意图。

图6示出了根据本公开一实施方式的数据处理方法的示意图。

图7示出了根据本公开一实施方式的数据处理装置的框图。

图8示出了根据本公开一实施方式的数据处理装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

请参阅图1，图1示出了根据本公开一实施方式的数据处理方法的流程图。

所述方法可以应用于数据处理系统中，如图1所示，所述方法包括：

步骤S11，对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据以对所述系统中的数据进行更新，其中，所述应用数据为关系型数据；

步骤S12，将所述预处理后的应用数据转换为目标类型的数据；

步骤S13，接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果；

步骤S14，在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果。

通过以上方法，本公开实施例通过对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据以对所述系统中的数据进行更新，将所述预处理后的应用数据转换为目标类型的数据，可以将存放在不同数据源的不同类型的数据进行标准化处理，提高对多源异构数据的处理效率，通过接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果，在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果，可以对数据查询指令进行校验，以确定数据查询指令是否满足预设条件，在满足预设条件时，利用指令对数据进行调度验证。本公开实施例的数据处理方法能够根据不同需求灵活地定义数据类型，将系统业务逻辑与业务数据进行解耦，并支持来自不同关系型数据的自动化联合校验，从而厘清系统中的不一致数据和无效数据，能够显著提高系统数据的可靠性。

在一种可能的实施方式中，所述数据源可以包括Mysql数据库，Oracle数据库，微软SQLServer数据库等多种关系型数据库。

在一种可能的实施方式中，所述应用数据包括考勤数据、人力资源数据、企业经营数据、应用程序运行数据、产品销售数据的一种或多种。

当然，应用数据还可以包括其他的具有物理意义的数据，对此本公开实施例不做限定。

下面对所述方法中各个步骤的可能实现方式进行示例性介绍。

请参阅图2，图2示出了根据本公开一实施方式的数据处理方法的步骤S11的示意图。

在一种可能的实施方式中，应用数据可以包括基础数据表。举例而言，在企业或其他组织的系统中，核心系统可以包括基础数据表，而一些应用软件或一般的应用系统，比如考勤系统，也需要获取员工基本信息或其他信息，这些信息通常不允许从核心系统获取，而是复制表、数据接口、视图等等，那么当系统非常庞大之后，各个系统都存在巨大的冗余和不一，因此，通过获取基础数据表，可以减少冗余，节约处理资源，加快处理速度。

在一种可能的实施方式中，如图2所示，步骤S11获取自多个数据源的应用数据进行预处理，包括：

步骤S110，获取目标应用的基础数据表集合，所述基础数据表集合包括所述目标应用的应用数据的字段及字段数据值；

步骤S111，将所述目标应用的基础数据表与所述系统中已存储的数据表集合进行对比，根据比较结果对所述目标应用的基础数据表进行预处理。

通过以上方法，本公开实施例可以获取目标应用的基础数据表集合，将所述目标应用的基础数据表与所述系统中已存储的数据表集合进行对比，可以根据比较结果对所述目标应用的基础数据表进行预处理，以更新所关联的数据版本，保持数据的一致性，便于后续进行数据处理。

在一种可能的实施方式中，可以在系统中设置多个数据接口，以获取多个数据源的应用数据，例如，可以通过网络服务Webservice技术提供数据访问接口，将不同系统、不同应用于的应用数据进行统一管理，并提供数据接入功能，在一个示例中，可以通过JDBC实现以上功能。

在一个示例中，可以通过以上方法获取各个系统的基础数据表，得到基础数据表集合。

在一个示例中，应用数据的字段可以包括多种，例如，可以包括人的姓名字段、年龄字段，也可以包括衣服的材料字段、尺寸字段等，字段数据值是该字段对应的值，例如，姓名字段对应的是某人的姓名(例如张三)，年龄字段对应的是某人的年龄(例如18岁)。

应该说明的是，本公开实施例的数据处理方法可以应用于多种系统中，以对任意类型的数据进行处理，在不同情况下，基础数据表可以包括对应的字段、字段数据值，对此，本公开实施例不做限定。

应该说明的是，获取基础数据表也可以采用本公开实施例未披露的其他方法，对此，本公开实施例不做限定。

在一个示例中，本公开实施例可以将获得的基础数据表与系统中已存储的数据表集合进行逐条对比，从而确定该基础数据表是否已经存在于系统中。对于不同的对比结果，本公开实施例提供了多种可能的实施方式，以更新存储的数据。

在一种可能的实施方式中，如图2所示，步骤S111根据比较结果对所述目标应用的基础数据表进行预处理，可以包括：

步骤S1110，当已存储的数据表集合中包括所述目标应用的基础数据表时，利用所述目标应用的基础数据表的时间戳更新已存储的数据表，并更新系统中已存储的数据表的版本标识。

在一个示例中，版本标识可以为版本号，例如V1、V2等，当然，版本标识也可以有其他表示方法，对此，本公开实施例不做限定。

在一种可能的实施方式中，如图2所示，步骤S111根据比较结果对所述目标应用的基础数据表进行预处理，可以包括：

步骤S1111，当已存储的数据表集合中包括所述目标应用的基础数据表的部分字段时，将所述目标应用的基础数据表导入所述系统中，并将所述目标应用的基础数据表及已存储的数据表集合中与所述目标应用的基础数据表部分字段相同的数据表进行关联。

在一个示例中，将所述目标应用的基础数据表及已存储的数据表集合中与所述目标应用的基础数据表部分字段相同的数据表进行关联，可以包括，将该基础数据表与已存储的数据表的表标识信息进行关联，其中，表标识信息可以包括罗马数字、英文字母、阿拉伯数字、拼音等组成的可以唯一标识该基础数据表或基础数据表集合的字符串。

在一个示例中，当两个基础数据表或多个基础数据表具有关联关系时，用户可以根据该关联关系查询到与某个基础数据表具有关联性的其他基础数据表，从而提高查询效率。

在一种可能的实施方式中，如图2所示，步骤S111根据比较结果对所述目标应用的基础数据表进行预处理，可以包括：

步骤S1112，当已存储的数据表集合中不包括所述目标应用的基础数据表时，将所述目标应用的基础数据表导入所述系统中，并将所述目标应用的基础数据表的版本标识初始化。

在一个示例中，所述将所述目标应用的基础数据表的版本标识初始化，可以包括：

所述目标应用的基础数据表的版本标识设置为初始的版本号，例如V0。

通过以上方法，本公开实施例可以实现对获取的基础数据表的数据清洗，消除数据冗余，提高数据处理的效率。

当然，步骤S111还可以包括其他的预处理方式，例如，在一种可能的实施方式中，步骤S111对获取自多个数据源的应用数据进行预处理，还可以包括：

获取多个数据源中所述目标应用的基础数据表；

根据不同的数据源对所述目标应用的基础数据表进行分类；

在各个类别下，根据最新的时间戳对所述目标应用的基础数据进行排序。

通过以上方法，本公开实施例通过对获取的基础数据表进行分类，并按时间戳进行排序，可以便于后续的数据处理，提高数据处理的效率，并且，在显示预处理结果时，便于用于查看。

请参阅图3，图3示出了根据本公开一实施方式的数据处理方法的步骤S12的示意图。

在一种可能的实施方式中，如图2所示，步骤S12将所述预处理后的应用数据转换为目标类型的数据，可以包括：

步骤S120，获取所述目标类型模板，所述目标类型模板包括字段类型、字段名、字段最大长度、字段备注及结束符；

步骤S121，根据所述目标类型模板，将所述预处理后的应用数据转换为所述目标类型的数据。

通过以上方法，本公开实施例可以获取目标类型模板，并根据所述目标类型模板，将所述预处理后的应用数据转换为所述目标类型的数据，从而将多种不同类型的应用数据转换为同一类型的数据，实现数据的标准化处理，便于后续的数据处理，提高了数据处理的效率。

当然，目标类型模板可以根据需要进行设定，目标类型模板包括的内容可以根据需要增加、减少、替换，对此，本公开实施例不做限定。

在一个示例中，目标类型模板可以提前准备好，存储在存储器中，当系统需要进行数据处理时，直接进行调用。

在一个示例中，目标类型模板也可以由用户在客户端实时配置，并在配置好时，通过网络发送到服务器进行类型转换，例如，用户可以根据drools语法规则，使用关键字declare声明自定义的新类型，其每个字段的信息包含以下4种信息：字段类型、字段名、字段最大长度和字段备注，并以关键字end作为结束符。

表1

表1示出了一种目标类型模板的示意，如表1所示，目标类型可以包括字段类型、字段名、字段最大长度和字段备注，其中，int表示整数类型数据，varchar表示字符或字符串类型数据，enum表示枚举类型数据，date表示时间类型数据。

当然，以上描述是示例性的，目标类型模板也可以包括其他类型的关系数据，在目标类型模板中，也可以包括其他字段或其他信息，对此，本公开实施例不做限定。

通过以上方式，本公开实施例可以将来自于多种数据源的多种数据类型转换为目标数据类型，以实现数据标准化，便于后续数据处理，提高了数据处理的效率，提升了用户体验。

在一种可能的实施方式中，所述数据查询指令包括第一查询条件、第二查询条件、指令执行序号。

在一个示例中，数据查询指令可以是预先配置好并存储在存储器中的，根据设置的查询时间，系统可以从存储器中调取数据查询指令，以进行数据查询。

在一个示例中，数据查询指令也可以是用户在客户端配置好后，发送到系统(服务器)，系统可以对接收到的数据查询指令消息进行解析，以得到数据查询指令，并进行数据查询。例如，用户可以利用iview的前端UI库组件，对不同字段进行增加或删除设置，进行指令编写、调用以得到数据查询指令，在得到数据查询指令时，可以利用json格式进行编码，得到数据查询消息，并将数据查询消息发送到系统端，系统可以对数据查询消息进行解析，以得到所述数据查询指令。

在一个示例中，数据查询指令可以为三元组形式，例如可以为<第一查询条件、第二查询条件、指令执行序号>。

在一个示例中，第一查询条件可以为属性条件，例如，可以包括用户的年龄、性别、姓名等；第二查询条件可以为操作符，例如可以包括大于、小于、包括、包含、排除等关系操作符，可以包括加减乘除求和求平均等运算操作符等，牙可以包括其他类型的操作符；指令执行序号可以为当前数据查询指令的执行顺序的序号。

作为一个示例，<年龄--20岁，大于，1>、<姓名—文字结尾，endwith，2>可以为两条数据查询指令，其中，<年龄--20岁，大于，1>中，第一查询条件为年龄20岁，第二查询条件的关系操作符为大于，指令执行序号为1，该数据查询指令表示首先查询年龄大于20岁的数据；<姓名—“文”字结尾，endwith，2>中，第一查询条件为姓名以“文”结尾，第二查询条件为结尾endwith，指令执行序号为2，该数据查询指令表示在第二个查询周期查询姓名以“文”结尾的用户，<年龄--20岁，大于，1>、<姓名—文字结尾，endwith，2>两个数据查询指令联合，可以表示先查询年龄20岁以上的，再筛选出以“文”结尾的用户。

在一个示例中，假设业务员需要筛选出用户A曾经购买过的特定产品，为此，需要DBA类开发人员进行编码查询。当此类业务场景不断增多，业务员难以编写代码，开发人员难以对这些硬编码代码进行维护，这种场景下，就可以设置数据查询指令以自动查询数据。

当然，应该明白的是，以上描述是示例性的，数据查询指令还可以包括其他的查询条件，第一查询条件、第二查询条件也可以是其他的形式，对此，本公开实施例不做限定。

请参阅图4，图4示出了根据本公开一实施方式的数据处理方法的步骤S13的示意图。

在一种可能的实施方式中，如图4所所示，步骤S13根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果，可以包括：

步骤S130，确定待查询任务的多个数据查询指令；

步骤S131，根据指令执行序号的先后顺序对所述多个数据查询指令进行排序，生成数据查询指令组，其中，所述数据查询指令组为有向无环序列，所述数据查询指令组中的数据查询指令用于按照指令执行序号被依次被执行，以获得查询数据；

步骤S132，对所述数据查询指令组中的数据查询指令进行校验，得到校验结果，

其中，所述校验结果包括指令状态及操作类型，

其中，所述指令状态包括可编辑状态、测试通过状态、待执行状态、正在执行状态和禁用状态的任意一种或多种，所述操作类型包括启用操作、更新操作、删除操作、禁用操作和调度操作的一种或多种。

在一个示例中，步骤S130确定的数据查询消息可以包括一条或多条数据查询指令，各个数据查询指令可以根据指令中的指令序列确定执行的顺序。

本公开实施例对数据查询消息的具体形式不做限定，本领域技术人员可以根据需要及实际情况实现。

在一个示例中，步骤S131在对多个数据查询指令进行排序时，可以以第二查询条件(操作符)为界，使得前一个数据查询指令指向下一个数据查询指令，以得到数据查询指令组，该数据查询指令组可以视为有向无环序列。

在一个示例中，步骤S132对所述数据查询指令中的数据查询指令进行校验，可以包括：

对数据查询指令的进行校验，以检查该数据查询指令是否错误。

例如，可以查询该数据查询指令是否存在明显的或隐藏的错误。

在一个示例中，明显的错误可以包括语法错误、格式错误等，可以对数据查询指令进行语法检查、格式检查，以查询数据查询指令是否存在语法错误、格式错误。

在一个示例中，隐藏的错误可以包括逻辑错误等，可以对数据查询指令进行逻辑检车，以查询数据查询指令是否存在逻辑错误，例如指令为“找到适合50岁以上30岁以下的员工”，那么该指令存在逻辑错误。

例如，银行系统(或其他)中多个数据域的字段校验(存在缺失字段描述，数值校验)，条件校验(符合X条件的用户筛选)。

例如，当指令由业务人员编码的时候，需要有简洁易用的前端操作，支持不同的自定义查询业务组合，而且为了避免业务人员在指令制定时出现明显的或潜在的冲突和错误，例如，查询不满10岁人群喜爱的老年类书籍，可以设置一定的判断和限制，以进行校验，从而避免查询到错误的数据、结果。

例如，当数据查询指令包括多条形成组合时，组合条件本质上是构建一组多条件数据SQL查询，那么组合的条件通常包括选取的数据表、数据字段、判断条件(大于小于等于等等)、组合查询条件(外联查询、带条件查询、嵌套循环等等)，因此，可以对组合的条件进行校验，以得到校验结果。

当然，以上对指令存在错误的类型、举例等描述为示例性的，在其他实施方式中，还可以包括其他类型的错误，以上描述并不用于限定本公开。

请参阅图5，图5示出了根据本公开一实施方式的数据处理方法的步骤S14的示意图。

在一种可能的实施方式中，如图5所示，步骤S14根据设定的调度策略调度所述数据查询指令，可以包括：

步骤S140，在指定的起始时间、结束时间及调度周期下，根据每个查询任务的优先级顺序，调度所述查询任务，其中，查询任务包括一个或多个查询指令。

在一个示例中，任务的调度可以是在定时任务调度框架下，例如在Quartz框架下。

本公开实施例通过将Quartz调度框架整合到Drools工具中，支持任务调度使用优先级和周期调度的方式，采用竞争时间窗调度机制，能够合理配置系统资源，更加符合业务需求，适应性强。Quartz框架，本公开实施例可以定时、并发、安全地实现对数据查询指令的调度。

在一个示例中，可以预先对起始时间、结束时间、调度周期进行配置，系统直接调用存储的配置信息；也可以由用户在客户端配置好后发送到系统，直接进行参数的配置。

在一个示例中，优先级顺序可以是提前配置的，也可以是用户直接配置的，也可以是根据数据查询指令中的指令执行序号得到的。

在一个示例中，当数据查询质量数目较大(例如千万级)，有些数据查询指令可能不需要即时调度，有的需要即时调度，因此可以设置起始时间、结束时间、调度周期以实现对各个查询任务的调度。

在一种可能的实施方式中，如图5所示，S14根据设定的调度策略调度所述数据查询指令，可以包括：

步骤S141，在查询任务包括多个查询指令时，根据查询任务中每个查询指令的指令执行序号的先后顺序，调度所述查询指令。

在一个示例中，可以按照指令执行序号递增的顺序排列。

通过以上方式，本公开可以提高指令调度的效率。

在一种可能的实施方式中，S14根据设定的调度策略调度所述数据查询指令，可以包括：

步骤S142，当系统资源不足时，在第一时间段，对查询任务中高优先级的查询指令进行调度；

若在第一时间段，当前查询指令未被调度，则在第二时间段对当前查询指令进行有限调度。

本公开实施例中，Quartz任务调度框架通过指定优先级，在系统资源紧张时(例如线程池线程不够用、内存不够等)，优先对同一时间优先级高的指令进行调度，对优先级低的任务向后顺延，可以适应资源变化，环境适应性较高。

在一个示例中，第二时间段可以是与第一时间段相邻的时间段，也可以是非相邻的任意时间段，第一时间段、第二时间段也可以被描述为第一时间窗、第二时间窗，比如一轮窗口50个任务分5组调度，首次调度执行10个(第一时间段)，失败了3个任务，则推迟3个任务直到下一轮调度时间窗口(第二时间段)到来，将13个任务在第二时间段作为一组调度，这三个任务依然可能成功或者失败，如果失败，则继续推后到下一个时间段。

本公开对第一时间段、第二时间段的时长不做限定，本领域技术人员可以需要设置，在一个示例中，第一时间段、第二时间段可以为指令调度的周期时长。

在一个示例中，数据查询指令的优先级可以根据其包含的指令执行序号确定，例如，指令需要越小，优先级越高。

在一种可能的实施方式中，如图5所示，S14根据设定的调度策略调度所述数据查询指令，可以包括：

步骤S143，利用Quartz调度框架根据设定的调度策略调度所述数据查询指令。

在一个示例中，可以提前将调度策略写入存储器中，系统可以直接读取存储器中的调度策略以进行调度；当然，用户也可以实时配置调度策略，通过网络将配置的调度策略发送到系统，以实现数据查询指令的调度。

当调度所述数据查询指令后，得到查询结果，可以将查询结果存储到存储器中，在一个示例中，查询结果可以为查询到对应的数据，在这种情况下，可以将查询到的数据存储到存储器(数据库中)；在一个示例中，查询结果可以为未查询到对应的数据，在这种情况下，可以将该结果存储，并发送给用户。

本公开实施例提供的上述方法，在过程中充分考虑关系型数据校验工作的特性，对Drools工具进行了开发扩展，支持跨数据源的数据接入、按需业务规则设定和自动化数据校验调度，增强了系统可靠性。

请参阅图6，图6示出了根据本公开一实施方式的数据处理方法的示意图。

在一个示例中，如图6所示，用户可以创建数据查询任务或数据查询指令，创建的任务或指令为可编辑状态，发送到系统后，系统对数据查询指令进行校验测试，当校验失败时，用户可以继续对该指令进行编辑，以对任务或指令进行更新，也可以删除任务或指令；当校验通过时，系统可以启动调度，对待执行的校验过的数据查询指令执行调度。

本公开实施例通过对存放在不同数据源中的关系型数据，进行自动校验过程，确保系统所保存的所有数据符合数据治理的有效性和一致性要求。本公开实施例所提出的方法能够根据不同需求灵活地定义数据查询指令，将系统业务逻辑与业务数据进行解耦，并支持来自不同关系型数据的自动化联合校验，从而厘清系统中的不一致数据和无效数据，能够显著提高系统数据的可靠性。

请参阅图7，图7示出了根据本公开一实施方式的数据处理装置的框图。

所述数据处理装置用于数据处理系统，如图7所示，所述装置包括：

预处理模块10，用于对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据，其中，所述应用数据为关系型数据；

转换模块20，连接于所述预处理模块10，用于将所述预处理后的应用数据转换为目标类型的数据；

校验模块30，连接于所述转换模块20，用于接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果；

调度模块40，连接于所述校验模块30，用于在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果。

通过以上装置，本公开实施例通过对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据以对所述系统中的数据进行更新，将所述预处理后的应用数据转换为目标类型的数据，可以将存放在不同数据源的不同类型的数据进行标准化处理，提高对多源异构数据的处理效率，通过接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果，在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果，可以对数据查询指令进行校验，以确定数据查询指令是否满足预设条件，在满足预设条件时，利用指令对数据进行调度验证。本公开实施例的数据处理装置能够根据不同需求灵活地定义数据类型，将系统业务逻辑与业务数据进行解耦，并支持来自不同关系型数据的自动化联合校验，从而厘清系统中的不一致数据和无效数据，能够显著提高系统数据的可靠性。

在一种可能的实施方式中，所述应用数据包括基础数据表，所述获取自多个数据源的应用数据进行预处理，可以包括：

获取目标应用的基础数据表集合，所述基础数据表集合包括所述目标应用的应用数据的字段及字段数据值；

将所述目标应用的基础数据表与所述系统中已存储的数据表集合进行对比，根据比较结果对所述目标应用的基础数据表进行预处理。

在一种可能的实施方式中，所述根据比较结果对所述目标应用的基础数据表进行预处理，可以包括：

当已存储的数据表集合中包括所述目标应用的基础数据表时，利用所述目标应用的基础数据表的时间戳更新已存储的数据表，并更新系统中已存储的数据表的版本标识；或

当已存储的数据表集合中包括所述目标应用的基础数据表的部分字段时，将所述目标应用的基础数据表导入所述系统中，并将所述目标应用的基础数据表及已存储的数据表集合中与所述目标应用的基础数据表部分字段相同的数据表进行关联；或

当已存储的数据表集合中不包括所述目标应用的基础数据表时，将所述目标应用的基础数据表导入所述系统中，并将所述目标应用的基础数据表的版本标识初始化。

在一种可能的实施方式中，所述对获取自多个数据源的应用数据进行预处理，还可以包括：

获取多个数据源中所述目标应用的基础数据表；

根据不同的数据源对所述目标应用的基础数据表进行分类；

在各个类别下，根据最新的时间戳对所述目标应用的基础数据进行排序。

在一种可能的实施方式中，所述将所述预处理后的应用数据转换为目标类型的数据，可以包括：

获取所述目标类型模板，所述目标类型模板包括字段类型、字段名、字段最大长度、字段备注及结束符；

根据所述目标类型模板，将所述预处理后的应用数据转换为所述目标类型的数据。

在一种可能的实施方式中，所述数据查询指令包括第一查询条件、第二查询条件、指令执行序号，所述根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果，可以包括：

确定待查询任务的多个数据查询指令；

根据指令执行序号的先后顺序对所述多个数据查询指令进行排序，生成数据查询指令组，其中，所述数据查询指令组为有向无环序列，所述数据查询指令组中的数据查询指令用于按照指令执行序号被依次被执行，以获得查询数据；

对所述数据查询指令组中的数据查询指令进行校验，得到校验结果，

其中，所述校验结果包括指令状态及操作类型，

其中，所述指令状态包括可编辑状态、测试通过状态、待执行状态、正在执行状态和禁用状态的任意一种或多种，所述操作类型包括启用操作、更新操作、删除操作、禁用操作和调度操作的一种或多种。

在一种可能的实施方式中，所述根据设定的调度策略调度所述数据查询指令，可以包括：

在指定的起始时间、结束时间及调度周期下，根据每个查询任务的优先级顺序，调度所述查询任务，其中，查询任务包括一个或多个查询指令。

在一种可能的实施方式中，所述根据设定的调度策略调度所述数据查询指令，可以包括：

在查询任务包括多个查询指令时，根据查询任务中每个查询指令的指令执行序号的先后顺序，调度所述查询指令。

在一种可能的实施方式中，所述根据设定的调度策略调度所述数据查询指令，可以包括：

当系统资源不足时，在第一时间段，对查询任务中高优先级的查询指令进行调度；

若在第一时间段，当前查询指令未被调度，则在第二时间段对当前查询指令进行有限调度。

在一种可能的实施方式中，所述根据设定的调度策略调度所述数据查询指令，包括：

利用Quartz调度框架根据设定的调度策略调度所述数据查询指令。

在一种可能的实施方式中，所述应用数据包括考勤数据、人力资源数据、企业经营数据、应用程序运行数据、产品销售数据的一种或多种。

应该说明的是，所述数据处理装置为前述的数据处理方法对应的装置，其具体介绍请参考之前对数据处理方法的描述，在此不再赘述。

总体而言，通过本公开所构思的以上技术方案与相关技术相比，能够取得下列有益效果：

(1)本发明提供了跨系统、跨数据域的关系型数据接入功能，具有普适性，并且可以方便动态扩展其他类型的关系数据库；

(2)本发明提供便捷的设计工具相比于基于drl文件格式的设计器更加简单，查看指令结构更加清晰，通过自定义组合节点的遍历算法迭代计算生成指令规则，极大地降低指令设定难度。

(3)本发明将Quartz调度框架整合到Drools工具中，支持任务调度使用优先级和周期调度的方式，采用竞争时间窗调度机制，能够合理配置系统资源，更加符合业务需求，适应性强。

请参阅图8，图8示出了根据本公开一实施方式的数据处理装置的框图。例如，装置1900可以被提供为一服务器。参照图8，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (12)

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：

对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据以对所述系统中的数据进行更新，其中，所述应用数据为关系型数据；

将所述预处理后的应用数据转换为目标类型的数据；

接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果；

在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果。

2.根据权利要求1所述的方法，其特征在于，所述应用数据包括基础数据表，所述获取自多个数据源的应用数据进行预处理，包括：

获取目标应用的基础数据表集合，所述基础数据表集合包括所述目标应用的应用数据的字段及字段数据值；

将所述目标应用的基础数据表与所述系统中已存储的数据表集合进行对比，根据比较结果对所述目标应用的基础数据表进行预处理。

3.根据权利要求2所述的方法，其特征在于，所述根据比较结果对所述目标应用的基础数据表进行预处理，包括：

当已存储的数据表集合中包括所述目标应用的基础数据表时，利用所述目标应用的基础数据表的时间戳更新已存储的数据表，并更新系统中已存储的数据表的版本标识；或

当已存储的数据表集合中包括所述目标应用的基础数据表的部分字段时，将所述目标应用的基础数据表导入所述系统中，并将所述目标应用的基础数据表及已存储的数据表集合中与所述目标应用的基础数据表部分字段相同的数据表进行关联；或

当已存储的数据表集合中不包括所述目标应用的基础数据表时，将所述目标应用的基础数据表导入所述系统中，并将所述目标应用的基础数据表的版本标识初始化。

4.根据权利要求2或3所述的方法，其特征在于，所述对获取自多个数据源的应用数据进行预处理，还包括：

获取多个数据源中所述目标应用的基础数据表；

根据不同的数据源对所述目标应用的基础数据表进行分类；

在各个类别下，根据最新的时间戳对所述目标应用的基础数据进行排序。

5.根据权利要求1所述的方法，其特征在于，所述将所述预处理后的应用数据转换为目标类型的数据，包括：

获取所述目标类型模板，所述目标类型模板包括字段类型、字段名、字段最大长度、字段备注及结束符；

根据所述目标类型模板，将所述预处理后的应用数据转换为所述目标类型的数据。

6.根据权利要求1所述的方法，其特征在于，所述数据查询指令包括第一查询条件、第二查询条件、指令执行序号，所述根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果，包括：

确定待查询任务的多个数据查询指令；

根据指令执行序号的先后顺序对所述多个数据查询指令进行排序，生成数据查询指令组，其中，所述数据查询指令组为有向无环序列，所述数据查询指令组中的数据查询指令用于按照指令执行序号被依次被执行，以获得查询数据；

对所述数据查询指令组中的数据查询指令进行校验，得到校验结果，

其中，所述校验结果包括指令状态及操作类型，

其中，所述指令状态包括可编辑状态、测试通过状态、待执行状态、正在执行状态和禁用状态的任意一种或多种，所述操作类型包括启用操作、更新操作、删除操作、禁用操作和调度操作的一种或多种。

7.根据权利要求1所述的方法，其特征在于，所述根据设定的调度策略调度所述数据查询指令，包括：

在指定的起始时间、结束时间及调度周期下，根据每个查询任务的优先级顺序，调度所述查询任务，其中，查询任务包括一个或多个查询指令。

8.根据权利要求1所述的方法，其特征在于，所述根据设定的调度策略调度所述数据查询指令，包括：

在查询任务包括多个查询指令时，根据查询任务中每个查询指令的指令执行序号的先后顺序，调度所述查询指令。

9.根据权利要求1所述的方法，其特征在于，所述根据设定的调度策略调度所述数据查询指令，包括：

当系统资源不足时，在第一时间段，对查询任务中高优先级的查询指令进行调度；若在第一时间段，当前查询指令未被调度，则在第二时间段对当前查询指令进行有限调度。

10.根据权利要求1所述的方法，其特征在于，所述根据设定的调度策略调度所述数据查询指令，包括：

利用定时任务调度框架根据设定的调度策略调度所述数据查询指令。

11.根据权利要求1所述的方法，其特征在于，所述应用数据包括考勤数据、人力资源数据、企业经营数据、应用程序运行数据、产品销售数据的一种或多种。

12.一种数据处理装置，其特征在于，应用于数据处理系统，所述装置包括：

预处理模块，用于对获取自多个数据源的应用数据进行预处理，得到预处理后的应用数据，其中，所述应用数据为关系型数据；

转换模块，连接于所述预处理模块，用于将所述预处理后的应用数据转换为目标类型的数据；

校验模块，连接于所述转换模块，用于接收数据查询消息，根据数据查询消息确定数据查询指令，并对所述数据查询指令进行校验，得到校验结果；

调度模块，连接于所述校验模块，用于在所述校验结果符合预设条件时，根据设定的调度策略调度所述数据查询指令，以从所述系统中获得并存储查询结果。

Images