CN112988692B - 数据处理方法及装置 - Google Patents

Abstract

本申请涉及一种数据处理方法及装置，包括：响应于针对触发源的选择操作，确定第一触发源，其中，所述触发源中所存储的数据用于触发实时任务；在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息；根据针对所述第一触发源的创建信息，从目标数据源中得到特征数据，以根据所述特征数据创建所述第一触发源。根据本申请实施例提供的数据处理方法及装置，可以节省人力资源，提高数据利用率。

Description

数据处理方法及装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

对于不同业务的数据处理过程中，可能涉及到访问相同的数据，这就使得会执行多次对日志文件进行解析，以获得同一数据的情况，数据利用率低，且浪费人力资源。

发明内容

根据本申请的一方面，提供了一种数据处理方法，包括：

响应于针对触发源的选择操作，确定第一触发源，其中，所述触发源中所存储的数据用于触发实时任务；

在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息；

根据针对所述第一触发源的创建信息，从目标数据源中得到特征数据，以根据所述特征数据创建所述第一触发源。

在一种可能的实现方式中，所述创建信息中包括目标数据源及第一触发源中的第一字段，所述根据针对所述第一触发源的创建信息，从目标数据源中得到特征数据，以根据所述特征数据创建所述第一触发源，包括：

实时从所述目数据源中获取第一触发数据；

根据所述第一字段对所述第一触发数据进行字段解析处理，得到第一字段对应的特征数据；

将所述第一字段对应的特征数据写入所述第一触发源。

在一种可能的实现方式中，所述方法还包括：

根据所述第一触发源的所述特征数据，创建第二触发源。

在一种可能的实现方式中，所述根据所述第一触发源的所述特征数据，创建第二触发源，包括：

响应于针对所述第一触发源的扩展操作，得到所述第二触发源的第二字段；

从与所述第一触发源具有相同主键的第三触发源中获取所述第二字段对应的特征数据；

响应于针对所述第二触发源的创建操作，创建所述第二触发源；

将所述第一字段对应的特征数据及所述第二字段对应的特征数据，写入所述第二触发源。

在一种可能的实现方式中，所述方法还包括：

响应于针对所述第一触发源或者第二触发源的特征数据的选择操作，确定第一目标字段；

实时从所述第一触发源或第二触发源中获取所述第一目标字段对应的目标特征数据；

根据所述第一目标字段对应的目标特征数据，创建第四触发源。

在一种可能的实现方式中，触发源包括实体类型信息，对应同一实体类型的触发源具有关联关系。

在一种可能的实现方式中，所述方法还包括：

在存在所述第一触发源的情况下，根据所述第一触发源中的特征数据，创建实时任务。

在一种可能的实现方式中，所述根据所述第一触发源中的特征数据，创建实时任务，包括：

响应于针对实时子任务的选择操作，确定至少一个目标实时子任务，所述实时子任务包括第二目标字段及对所述第二目标字段对应的特征数据进行处理的处理模块，其中，所述第二目标字段为所述第一触发源中的字段和/或与所述第一触发源对应同一实体类型的触发源中的字段；

将所述至少一个目标实时子任务进行封装，得到实时任务。

在一种可能的实现方式中，所述方法还包括：

针对各个目标实时子任务，从所述第一触发源和/或与所述第一触发源对应同一实体类型的触发源中获取所述第二目标字段对应的特征数据；

针对各个目标实时子任务，调用所述处理模块对所述第二目标字段对应的特征数据进行处理，得到实时任务结果。

根据本申请的另一方面，提供了一种数据处理方法，包括：

对实时任务对应的第一触发源进行监听；

在监听到所述第一触发源中写入特征数据时，根据所述特征数据运行所述实时任务；

其中，所述第一触发源采用前述任一项所述的方法进行创建。

根据本申请的另一方面，提供了一种数据处理装置，包括：

第一确定模块，用于响应于针对触发源的选择操作，确定第一触发源，其中，所述触发源中所存储的数据用于触发实时任务；

第一获取模块，用于在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息；

第一创建模块，用于根据针对所述第一触发源的创建信息，从目标数据源中得到特征数据，以根据所述特征数据创建所述第一触发源。

在一种可能的实现方式中，所述创建信息中包括目标数据源及第一触发源中的第一字段，所述第一创建模块，还用于：

实时从所述目标数据源中获取第一触发数据；

根据所述第一字段对所述第一触发数据进行字段解析处理，得到第一字段对应的特征数据；

将所述第一字段对应的特征数据写入所述第一触发源。

在一种可能的实现方式中，所述装置还包括：

第二创建模块，用于根据所述第一触发源的所述特征数据，创建第二触发源。

在一种可能的实现方式中，所述第二创建模块，还用于：

响应于针对所述第一触发源的扩展操作，得到所述第二触发源的第二字段；

从与所述第一触发源具有相同主键的第三触发源中获取所述第二字段对应的特征数据；

响应于针对所述第二触发源的创建操作，创建所述第二触发源；

将所述第一字段对应的特征数据及所述第二字段对应的特征数据，写入所述第二触发源。

在一种可能的实现方式中，所述装置还包括：

第二确定模块，用于响应于针对所述第一触发源或者第二触发源的特征数据的选择操作，确定第一目标字段；

第二获取模块，用于实时从所述第一触发源或第二触发源中获取所述第一目标字段对应的目标特征数据；

第三创建模块，用于根据所述第一目标字段对应的目标特征数据，创建第四触发源。

在一种可能的实现方式中，触发源包括实体类型信息，对应同一实体类型的触发源具有关联关系。

在一种可能的实现方式中，所述装置还包括：

第四创建模块，用于在存在所述第一触发源的情况下，根据所述第一触发源中的特征数据，创建实时任务。

在一种可能的实现方式中，所述第四创建模块，还用于：

响应于针对实时子任务的选择操作，确定至少一个目标实时子任务，所述实时子任务包括第二目标字段及对所述第二目标字段对应的特征数据进行处理的处理模块，其中，所述第二目标字段为所述第一触发源中的字段和/或与所述第一触发源对应同一实体类型的触发源中的字段；

将所述至少一个目标实时子任务进行封装，得到实时任务。

在一种可能的实现方式中，所述装置还包括：

运行模块，用于针对各个目标实时子任务，从所述第一触发源和/或与所述第一触发源对应同一实体类型的触发源中获取所述第二目标字段对应的特征数据；

针对各个目标实时子任务，调用所述处理模块对所述第二目标字段对应的特征数据进行处理，得到实时任务结果。

根据本申请的另一方面，提供了一种数据处理装置，包括：

监控模块，用于对实时任务对应的第一触发源进行监听；

运行模块，用于在监听到所述第一触发源中写入特征数据时，根据所述特征数据运行所述实时任务；

其中，所述第一触发源采用权利要求1至9中任一项所述的方法进行创建。

根据本申请的另一方面，提供了一种数据处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述数据处理方法。

根据本申请的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述数据处理方法。

这样一来，可以响应于针对触发源的选择操作，确定第一触发源，并在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息，根据针对所述第一触发源的创建信息，可以实时从所述目标数据源中获取特征数据，并根据所述特征数据创建所述第一触发源。这样，根据本申请提供的数据处理方法及装置，在系统中不存在第一触发源时，可以在系统中创建该第一触发源，以供其它实时任务使用，这样一来，可以避免重复建立触发源的情况，节省人力资源，提高数据利用率。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1是本申请提供的一个具体的应用场景的实施流程图；

图2示出本申请一示例性提供的数据处理系统的示意图；

图3示出本申请一实施例提供的数据处理方法的流程图；

图4示出本申请一示例性的触发源的创建过程的示意图；

图5示出本申请一示例性的触发源的使用过程的示意图；

图6是本申请提供的一种数据处理方法的流程图；

图7是本申请提供的一种数据处理装置的结构框图；

图8是本申请提供的一种数据处理装置的结构框图；

图9是根据一示例性实施例示出的一种终端设备1500的框图；

图10是根据一示例性实施例示出的一种用于数据处理的装置1900的框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了方便本领域技术人员理解本申请实施例提供的技术方案，下面先对技术方案实现的技术环境进行说明。

图1是本申请提供的一个具体的应用场景的实施流程图。如图1所示，两个部门创建的两个实时任务(实时任务1和实时任务2)均涉及商家当日的交易额，均需开发人员开发功能代码从当日的下单日志中实时统计数据作为实时任务1和实时任务2的触发源，该触发源的具体数据格式可以为：商家名称、商品品类、订单量、交易额，这样导致数据利用率低且浪费人力资源。

基于类似于上文所述的实际技术需求，本申请提供的数据处理方法可以通过一系列的流程方法，用户可以在创建实时任务时，从系统提供的平台中选择可以触发该实时任务的触发源，在系统中存在触发该实时任务的触发源时，可以直接通过该触发源创建实时任务，在系统中不存在触发该实时任务的触发源时，可以在系统中创建该触发源，以供其它实时任务使用，这样一来，可以避免重复建立触发源的情况，节省人力资源，提高数据利用率。

下面通过一个具体的应用场景说明本申请各个实施例提供的数据方法。

图2示出本申请一示例性提供的数据处理系统的示意图，该系统包括终端设备100、服务器200、终端设备300，其中，服务器200用于存储触发源。

如图2所示，在用户甲欲创建实时任务1时，可以通过终端设备100向服务器200发送查询触发该实时任务1的触发源1的查询请求，在服务器端不存在该触发源1时，终端设备可以创建该触发源1，并在创建该触发源1后，向服务器注册该触发源1，在完成触发源1的注册后，可以根据该触发源1创建实时任务1。

在用户乙欲创建实时任务2时，可以通过终端设备300向服务器200发送查询触发该实时任务2的触发源1的查询请求。此时，终端设备100已创建并在服务器200注册该触发源1，则终端设备300可以从服务器200查询到触发源1，则可以直接根据该触发源2创建实时任务2。

下面结合附图对本申请所述的数据处理方法进行详细的说明。图3是本申请提供的数据处理方法的一种实施例的方法流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的数据处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

图3示出本申请一实施例提供的数据处理方法的流程图。

具体的，本申请提供的数据处理方法的一种实施例如图3所示，可以包括：

步骤301、响应于针对触发源的选择操作，确定第一触发源，其中，所述触发源中所存储的数据用于触发实时任务；

步骤302、在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息；

步骤303、根据针对所述第一触发源的创建信息，从目标数据源中获取特征数据，以根据所述特征数据创建所述第一触发源。

举例来说，触发源中存储的数据可以用于触发实时任务，触发源中存储实时产生的数据，在触发源中写入新的数据时，将触发实时任务进行计算，该触发源可以是通过终端设备在服务端创建的公共平台，也可以是在云端创建的公共平台。例如：计算商家营业额的实时任务，对应的触发源中存储有下单数据，在触发源中下单数据更新时，可以触发实时任务进行营业额的运算。其中，触发源可以包括所属业务、所属数据域、名称、描述、类型等信息，可以基于触发源的上述信息查询选择触发源。

需要说明的是，可以在用于创建触发源的系统中创建触发源，例如：在商家需要创建一个实时任务时，可以在该系统中创建触发该实时任务的触发源独用或者供其他采用该触发源进行任务触发的实时任务(可以是不同商家)公用。

上述针对第一触发源的选择操作，可以为用于查找第一触发源的操作。根据该选择操作可以确定第一触发源，进而查找该第一触发源。例如：用户在创建实时任务时，可以在查询界面上直接输入第一触发源的名称进行搜索，也可以根据第一触发源的所述业务、数据域、类型等信息进行逐层筛选，还可以根据描述信息进行模糊搜索，从搜索结果中查找第一触发源，本申请对于查找第一触发源的方式不做具体限定。

在未查找到第一触发源的情况下，可以认为不存在该第一触发源，则可以创建第一触发源。用户可以在用于创建触发源的系统中创建第一触发源，该系统可以为用户提供用于创建第一触发源的创建界面，用户可以在该界面中创建触发源。示例性的，用户可以在创建界面上输入第一触发源的创建信息，可以包括：第一触发源的名称、所属业务、所属数据域、描述、类型、第一字段及目标数据源等信息，其中目标数据源可以用于存储原始数据，例如：用于存储日志数据。在完成创建信息的输入后，可以触发显示界面中的创建控件，以触发终端设备获取用户输入的第一触发源的创建信息，根据该第一触发源的创建信息创建相应的第一触发源，并在服务器端注册该第一触发源。

可以将目标数据源中的目标数据提取出来，直接写入第一触发源中作为触发上述实时任务的特征数据，或者可以对目标数据进行处理后，将处理结果写入第一触发源中作为触发上述实时任务的特征数据。

这样，可以响应于针对触发源的选择操作，确定第一触发源，并在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息，根据针对所述第一触发源的创建信息，可以实时从所述目标数据源中获取特征数据，并根据所述特征数据创建所述第一触发源。这样，根据本申请提供的数据处理方法，在系统中不存在第一触发源时，可以在系统中创建该第一触发源，以供其它实时任务使用，这样一来，可以避免重复建立触发源的情况，节省人力资源，提高数据利用率。

在一种可能的实现方式中，所述创建信息中包括目标数据源及第一触发源中的第一字段，所述根据针对所述第一触发源的创建信息，从目标数据源中得到特征数据，以根据所述特征数据创建所述第一触发源，可以包括：

实时从所述目标数据源中获取第一触发数据；

根据所述第一字段对所述第一触发数据进行字段解析处理，得到第一字段对应的特征数据；

将所述第一字段对应的特征数据写入所述第一触发源。

举例来说，创建信息中可以包括描述信息，该述描述信息可以用于对第一触发源中的特征数据进行描述，例如：该第一触发源中存储的特征数据为与退款相关的数据，则该描述信息可以为退款，根据该描述信息可以实时从目标数据源中获取第一触发数据，该第一触发数据可以为与退款相关的数据。

在获取第一触发数据后，可以根据第一字段对第一触发数据进行解析处理，得到第一字段对相应的特征数据，例如：上述第一字段包括：商家名称、商品品类、订单量、交易额，则可以对第一触发数据进行解析处理，得到第一触发数据中的商家名称、商品品类、订单量及交易额做为第一字段对应的特征数据，并在得到第一字段对应的特征数据后，将特征数据实时写入第一触发源。

在一种可能的实现方式中，上述方法还可以包括：

根据所述第一触发源的所述特征数据，创建第二触发源。

举例来说，可以对第一触发源中的特征数据进行拆分，将常用的特征数据从第一触发源中拆分出来，并根据拆分出的特征数据创建第二触发源；或者，可以对第一触发源进行特征丰富，将不属于第一触发源但常用的数据与第一触发源中的特征数据合并，根据合并得到的特征数据创建第二触发源。

在一种可能的实现方式中，触发源可以包括实体类型信息，对应同一实体类型的触发源具有关联关系。

举例来说，触发源中的特征数据均是对应某一类实体的数据，例如：对应商品、对应商家、对应用户等，触发源可以包括实体类型信息，对应同一实体类型信息的触发源具有关联关系，例如：具有同一实体类型信息的触发源具有相同的主键。示例性的，第一触发源及第二触发源均对应商品实体，则第一触发源及第二触发源可以均以商品id作为主键，以建立第一触发源与第二触发源的关联关系。

在一种可能的实现方式中，上述根据所述第一触发源的所述特征数据，创建第二触发源，可以包括：

响应于针对所述第一触发源的扩展操作，得到所述第二触发源的第二字段；

从与所述第一触发源具有相同主键的第三触发源中获取所述第二字段对应的特征数据；

响应于针对所述第二触发源的创建操作，创建所述第二触发源；

将所述第一字段对应的特征数据及所述第二字段对应的特征数据，写入所述第二触发源。

举例来说，上述针对第一触发源的扩展操作，可以为针对扩展控件的触发操作，该扩展控件用于触发显示第二字段编辑框。用户可以在第二字段编辑框中手动输入第二字段，或者该第二字段编辑框为一个下拉框，用户可以在下拉框中选择第二字段，下拉框中显示的第二字段可以为与第一触发源具有相同主键的第三触发源中的所有字段。在确定第二触发源的第二字段后，可以从第三触发源中获取该第二字段对应的特征数据，第一触发源中的所有字段对应的特征数据及第二字段对应的特征数据可以作为第二触发源中的特征数据。

可以响应于针对第二触发源的创建操作，显示第二触发源创建信息的编辑界面，该创建操作可以为针对创建控件的触发操作，该创建控件可以为用于触发显示编辑界面的控件。用户可以在第二触发源创建信息的编辑界面中输入针对第二触发源的创建信息，第二触发源的创建信息可以包括：第二触发源的名称、所属业务、所属数据域、描述、类型、字段及目标触发源等信息，其中，所属业务、所属数据域、类型可以与第一触发源相同，无需用户手动输入，但用户可以对其进行编辑修改，字段可以包括第一字段与第二字段，目标触发源可以为第一触发源及第三触发源，字段及目标触发源无需用户手动输入。

这样，可以在第一触发源的基础上，对第一触发源进行特征丰富，生成第二触发源，供实时任务使用，可以避免重复建立触发源的情况，节省人力资源，提高数据利用率，并且使得用户不必关注底层物理表即可获得所需的特征数据，可以简化用户操作。

在一种可能的实现方式中，上述方法还可以包括：

响应于针对所述第一触发源或者第二触发源的特征数据的选择操作，确定第一目标字段；

实时从所述第一触发源或第二触发源中获取所述第一目标字段对应的目标特征数据；

根据所述第一目标字段对应的目标特征数据，创建第四触发源。

举例来说，可以对第一触发源或者第二触发源进行拆分，进而根据拆分出的特征数据，创建第四触发源。以对第一触发源进行拆分为例，上述针对特征数据的选择操作，可以为用于确定第一目标字段的操作，例如：可以在第一目标字段的输入框内手动输入至少一个第一目标字段，或者可以从下拉框显示的第一触发源的字段中选择至少一个字段作为第一目标字段，可以实时从第一触发源中获取第一目标字段对应的目标特征数据作为第四触发源中的特征数据。

可以响应于针对第四触发源的创建操作，显示第四触发源创建信息的编辑界面，该创建操作可以为针对创建控件的触发操作，该创建控件可以为用于触发显示编辑界面的控件。用户可以在第四触发源创建信息的编辑界面中输入针对第四触发源的创建信息，第四触发源的创建信息可以包括：第四触发源的名称、所属业务、所属数据域、描述、类型、字段及目标触发源等信息，其中，所属业务、所属数据域、类型可以与第一触发源相同，无需用户手动输入，但用户可以对其进行编辑修改，字段可以包括第一目标字段，目标触发源可以为第一触发源，字段及目标触发源无需用户手动输入。可以根据第四触发源的创建信息在服务器端创建第四触发源，并将目标特征数据写入第四触发源。

同理，针对第三触发源的拆分同上述第一触发源的拆分过程，本申请在此不再赘述，参照第一触发源的拆分过程即可。

这样，可以在第一触发源或者第二触发源的基础上，对第一触发源或者第二触发源进行特征拆分，生成第四触发源，供实时任务使用，可以避免重复建立触发源的情况，节省人力资源，提高数据利用率。

在一种可能的实现方式中，所述方法还可以包括：

在存在所述第一触发源的情况下，根据所述第一触发源中的特征数据，创建实时任务。

举例来说，在查找到第一触发源的情况下，可以针对第一触发源创建实时任务，该第一触发源中写入新的数据时可以触发实时任务进行运算，例如：第一触发源为下单数据，实时任务为计算当天交易额，则当第一触发源中写入一个新的下单数据时，可以触发实时任务根据该新的下单数据进行交易额的计算。

在一种可能的实现方式中，上述根据所述第一触发源中的特征数据，创建实时任务，可以包括：

响应于针对实时子任务的选择操作，确定至少一个目标实时子任务，所述实时子任务包括第二目标字段及对所述第二目标字段对应的特征数据进行处理的处理模块，其中，所述第二目标字段为所述第一触发源中的字段和/或与所述第一触发源对应同一实体类型的触发源中的字段；

将所述至少一个目标实时子任务进行封装，得到实时任务。

举例来说，上述针对实时子任务的选择操作，可以为针对至少一个第二目标字段及至少一个处理模块的选择操作。例如：可以从第一触发源及与第一触发源具有关联关系触发源对应的多个字段中确定至少一个第二目标字段，并从系统提供的处理模块中确定一个处理模块对至少一个第二目标字段进行处理，其中，处理模块可以为对第二目标字段进行简单运算处理的模块，也可以是根据第二目标字段进行模型训练或者进行预测的算法模型。

示例性的，用户可以选择至少两个字段作为第二目标字段，并选择加、减、乘、除等简单操作符对应的处理模块对第二目标字段进行处理，得到对至少两个第二目标字段进行加、减、乘、除等运算操作的目标实时子任务。

或者，用户可以选择至少一个字段作为第二目标字段，并在完成第二目标字段的选择后，手动填写表达式，该表达式作为对至少一个第二目标字段进行处理的处理模块，以得到对至少一个第二目标字段进行处理操作的目标实时子任务。

或者，用户可以选择至少一个字段作为第二目标字段，并在完成第二目标字段的选择后，从系统提供的多个算法(预先打包上传至系统中)中选择对至少一个第二目标字段进行处理的算法，以得到对至少一个第二目标字段进行处理操作的目标实时子任务。

需要说明的是，在确定多个目标实时子任务时，可以根据需求确定任一目标实时子任务的实时运算结果为另一目标实时子任务的第二目标字段，即，任一目标实时子任务的输出可以作为另一目标实时子任务的输入，本申请对此不做限定。

在确定多个目标实时子任务后，可以响应于针对实时任务的确认操作，将该多个目标实时子任务进行封装，得到实时任务。

这样一来，用户无需手动进行编码，无需关注底层物理表，即可直接在系统上通过简单的操作即可生成实时任务，简化了实时任务的创建过程，节省了人力成本，提高了实时任务的创建效率。

在一种可能的实现方式中，上述方法在创建实时任务后，还可以包括：

运行所述实时任务；

其中，运行实时任务可以包括：

针对各个目标实时子任务，从所述第一触发源和/或与所述第一触发源对应同一实体类型的触发源中获取所述第二目标字段对应的特征数据；

针对各个目标实时子任务，调用所述处理模块对所述第二目标字段对应的特征数据进行处理，得到实时任务结果。

在实时任务创建成功后，即可以运行该实时任务并展示该实时任务的运维连接。在实时任务的运行过程中，可以同步或按照目标实时子任务的调用关系运行目标实时子任务。针对目标实时子任务的运行过程可以包括：在第一触发源或者与从第一触发源对应同一实体类型的触发源中写入新的数据时，目标实时子任务可以从第一触发源或者与第一触发源对应同一实体类型的触发源中获取各第二目标字段对应的特征数据，通过该目标实时子任务对应的处理模块对第二目标字段对应的特征数据进行处理，即可得到实时任务结果。

这样，在创建实时任务时，可以无需关注底层物理表，通过底层数据即可自动路由到需要的表，对用户简单透明，操作方便。

为了使本领域技术人员更好的理解本申请实施例，以下通过具体示例对本申请加以说明。

图4示出本申请一示例性的触发源的创建过程的示意图，图5示出本申请一示例性的触发源的使用过程的示意图。

如图4所示，用户在创建第一触发源时，可以根据第一触发源的创建信息注册该第一触发源，并对目标触发源中的第一触发数据进行解析，得到各第一字段对应的特征数据写入第一触发源，还可以对第一触发源的特征数据进行特征丰富或者特征拆分后，注册得到第二触发源。

如图5所示，用户在创建实时任务时，可以选择触发源，并在选择触发源后，可以将该触发源与其他触发源合并。可以对第一触发源中的特征进行特征丰富(可以显示与第一触发源具有相同主键的触发源中的字段，可以从显示的字段中选择字段对第一触发源进行特征丰富)，也可以对第一触发源进行特征拆分(显示第一触发源中的字段，可以从显示的字段中选择待拆分出的字段，以对第一触发源进行拆分)。可以从第一触发源或者与第一触发源具有相同主键的触发源中确定实时任务的第二目标字段，调用算法对第二目标字段的特征数据进行处理，得到实时任务，将实时任务的运算结果写入指定位置。

图6是本申请提供的一种数据处理方法的流程图，如图6所示，该方法可以包括：

步骤601、对实时任务对应的触发源进行监听；

步骤602、在监听到所述第一触发源中写入特征数据时，根据所述特征数据运行所述实时任务；

其中，所述第一触发源采用任一实施例进行创建。

举例来说，在根据第一触发源创建对应的实时任务后(实时任务及第一触发源的创建过程可以参照前述实施例，本申请在此不再赘述)，该实时任务可以对该第一触发源进行监控。在监控到该第一触发源中有新的特征数据写入时，从第一触发源中读取该新的特征数据进行处理，即实时任务根据新的特征数据进行相应运算，得到处理结果。

这样，可以响应于针对触发源的选择操作，确定第一触发源，并在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息，根据针对所述第一触发源的创建信息，可以实时从所述目标数据源中获取特征数据，并根据所述特征数据创建所述第一触发源。对实时任务对应的第一触发源进行监控，在第一触发源中写入数据时，可以根据该写入数据运行所述实时任务。这样，根据本申请提供的数据处理方法，在系统中不存在第一触发源时，可以在系统中创建该第一触发源，以供其它实时任务使用，这样一来，可以避免重复建立触发源的情况，节省人力资源，提高数据利用率。

图7是本申请提供的一种数据处理装置的结构框图，如图7所示，该装置可以包括：

第一确定模块701，可以用于响应于针对触发源的选择操作，确定第一触发源，其中，所述触发源用于触发实时任务；

第一获取模块702，可以用于在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息；

第一创建模块703，可以用于根据针对所述第一触发源的创建信息，创建所述第一触发源，所述创建信息中至少包括目标触发源及所述第一触发源的第一字段；

第二获取模块604，可以用于实时从所述目标触发源中获取第一触发数据；

解析模块605，可以用于根据所述第一字段对所述第一触发数据进行字段解析处理，得到第一字段对应的特征数据；

写入模块606，可以用于将所述第一字段对应的特征数据写入所述第一触发源。

这样一来，可以响应于针对触发源的选择操作，确定第一触发源，并在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息，根据针对所述第一触发源的创建信息，创建所述第一触发源，所述创建信息中至少包括目标触发源及所述第一触发源的第一字段。可以实时从所述目标触发源中获取第一触发数据，并根据所述第一字段对所述第一触发数据进行字段解析处理，得到第一字段对应的特征数据，将所述第一字段对应的特征数据写入所述第一触发源。这样，根据本申请提供的数据处理装置，在系统中不存在第一触发源时，可以在系统中创建该第一触发源，以供其它实时任务使用，这样一来，可以避免重复建立触发源的情况，节省人力资源，提高数据利用率。

在一种可能的实现方式中，所述装置还可以包括：

第二创建模块，可以用于根据所述第一触发源的所述特征数据，创建第二触发源。

在一种可能的实现方式中，所述第二创建模块，还可以用于：

响应于针对所述第一触发源的扩展操作，得到所述第二触发源的第二字段；

从与所述第一触发源具有相同主键的第三触发源中获取所述第二字段对应的特征数据；

响应于针对所述第二触发源的创建操作，创建所述第二触发源；

将所述第一字段对应的特征数据及所述第二字段对应的特征数据，写入所述第二触发源。

在一种可能的实现方式中，所述装置还可以包括：

第二确定模块，用于响应于针对所述第一触发源或者第二触发源的特征数据的选择操作，确定第一目标字段；

第三获取模块，用于实时从所述第一触发源或第二触发源中获取所述第一目标字段对应的目标特征数据；

第三创建模块，用于根据所述目标特征数据，创建第四触发源。

在一种可能的实现方式中，触发源可以包括实体类型信息，对应同一实体类型的触发源具有关联关系。

在一种可能的实现方式中，所述装置还可以包括：

第四创建模块，可以用于在存在所述第一触发源的情况下，根据所述第一触发源中的特征数据，创建实时任务。

在一种可能的实现方式中，所述第四创建模块，还可以用于：

响应于针对实时子任务的选择操作，确定至少一个目标实时子任务，所述实时子任务包括第二目标字段及对所述第二目标字段对应的特征数据进行处理的处理模块，其中，所述第二目标字段为所述第一触发源中的字段和/或与所述第一触发源对应同一实体类型的触发源中的字段；

将所述至少一个目标实时子任务进行封装，得到实时任务。

在一种可能的实现方式中，所述装置还可以包括：

运行模块，可以用于针对各个目标实时子任务，从所述第一触发源和/或与所述第一触发源对应同一实体类型的触发源中获取所述第二目标字段对应的特征数据；

针对各个目标实时子任务，调用所述处理模块对所述第二目标字段对应的特征数据进行处理，得到实时任务结果。

图8是本申请提供的一种数据处理装置的结构框图，如图7所示，该装置可以包括：

监控模块801，可以用于对实时任务对应的第一触发源进行监听；

运行模块802，可以用于在监听到所述第一触发源中写入特征数据时，根据所述特征数据运行所述实时任务；

其中，所述第一触发源采用权利要求1至9中任一项所述的方法进行创建。

这样，可以响应于针对触发源的选择操作，确定第一触发源，并在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息，根据针对所述第一触发源的创建信息，可以实时从所述目标数据源中获取特征数据，并根据所述特征数据创建所述第一触发源。对实时任务对应的第一触发源进行监控，在第一触发源中写入数据时，可以根据该写入数据运行所述实时任务。这样，根据本申请提供的数据处理装置，在系统中不存在第一触发源时，可以在系统中创建该第一触发源，以供其它实时任务使用，这样一来，可以避免重复建立触发源的情况，节省人力资源，提高数据利用率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

图9是根据一示例性实施例示出的一种终端设备1500的框图。例如，装置1500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，装置1500可以包括以下一个或多个组件：处理组件1502，存储器1504，电源组件1506，多媒体组件1508，音频组件1510，输入/输出(I/O)的接口1512，传感器组件1514，以及通信组件1516。

处理组件1502通常控制装置1500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1502可以包括一个或多个处理器1520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1502可以包括一个或多个模块，便于处理组件1502和其他组件之间的交互。例如，处理组件1502可以包括多媒体模块，以方便多媒体组件1508和处理组件1502之间的交互。

存储器1504被配置为存储各种类型的数据以支持在装置1500的操作。这些数据的示例包括用于在装置1500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1506为装置1500的各种组件提供电力。电源组件1506可以包括电源管理系统，一个或多个电源，及其他与为装置1500生成、管理和分配电力相关联的组件。

多媒体组件1508包括在所述装置1500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1508包括一个前置摄像头和/或后置摄像头。当装置1500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1510被配置为输出和/或输入音频信号。例如，音频组件1510包括一个麦克风(MIC)，当装置1500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1504或经由通信组件1516发送。在一些实施例中，音频组件1510还包括一个扬声器，用于输出音频信号。

I/O接口1512为处理组件1502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1514包括一个或多个传感器，用于为装置1500提供各个方面的状态评估。例如，传感器组件1514可以检测到装置1500的打开/关闭状态，组件的相对定位，例如所述组件为装置1500的显示器和小键盘，传感器组件1514还可以检测装置1500或装置1500一个组件的位置改变，用户与装置1500接触的存在或不存在，装置1500方位或加速/减速和装置1500的温度变化。传感器组件1514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1516被配置为便于装置1500和其他设备之间有线或无线方式的通信。装置1500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1504，上述计算机程序指令可由装置1500的处理器1520执行以完成上述方法。

图10是根据一示例性实施例示出的一种用于数据处理的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图10，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (24)

1.一种数据处理方法，其特征在于，包括：

响应于针对触发源的选择操作，确定用于触发第一实时任务的第一触发源，其中，所述触发源中存储从数据源得到的特征数据，且所述触发源中新的数据的写入将触发通过所述触发源创建的实时任务；

在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息；

根据针对所述第一触发源的创建信息，从目标数据源中得到特征数据，以根据所述特征数据创建所述第一触发源；

其中，已经存在的所述第一触发源既供所述第一实时任务使用，又供其它实时任务使用。

2.根据权利要求1所述的方法，其特征在于，所述创建信息中包括目标数据源及第一触发源中的第一字段，所述根据针对所述第一触发源的创建信息，从目标数据源中得到特征数据，以根据所述特征数据创建所述第一触发源，包括：

实时从所述目标数据源中获取第一触发数据；

根据所述第一字段对所述第一触发数据进行字段解析处理，得到第一字段对应的特征数据；

将所述第一字段对应的特征数据写入所述第一触发源。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述第一触发源的所述特征数据，创建第二触发源。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一触发源的所述特征数据，创建第二触发源，包括：

响应于针对所述第一触发源的扩展操作，得到所述第二触发源的第二字段；

从与所述第一触发源具有相同主键的第三触发源中获取所述第二字段对应的特征数据；

响应于针对所述第二触发源的创建操作，创建所述第二触发源；

将所述第一字段对应的特征数据及所述第二字段对应的特征数据，写入所述第二触发源。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

响应于针对所述第一触发源或者第二触发源的特征数据的选择操作，确定第一目标字段；

实时从所述第一触发源或第二触发源中获取所述第一目标字段对应的目标特征数据；

根据所述第一目标字段对应的目标特征数据，创建第四触发源。

6.根据权利要求1至5中任一项所述的方法，其特征在于，触发源包括实体类型信息，对应同一实体类型的触发源具有关联关系。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在存在所述第一触发源的情况下，根据所述第一触发源中的特征数据，创建所述第一实时任务。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第一触发源中的特征数据，创建所述第一实时任务，包括：

响应于针对实时子任务的选择操作，确定至少一个目标实时子任务，所述实时子任务包括第二目标字段及对所述第二目标字段对应的特征数据进行处理的处理模块，其中，所述第二目标字段为所述第一触发源中的字段和/或与所述第一触发源对应同一实体类型的触发源中的字段；

将所述至少一个目标实时子任务进行封装，得到所述第一实时任务。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

针对各个目标实时子任务，从所述第一触发源和/或与所述第一触发源对应同一实体类型的触发源中获取所述第二目标字段对应的特征数据；

针对各个目标实时子任务，调用所述处理模块对所述第二目标字段对应的特征数据进行处理，得到实时任务结果。

10.一种数据处理方法，其特征在于，包括：

对实时任务对应的第一触发源进行监听；

在监听到所述第一触发源中写入特征数据时，根据所述特征数据运行所述实时任务；

其中，所述第一触发源采用权利要求1至9中任一项所述的方法进行创建。

11.一种数据处理装置，其特征在于，包括：

第一确定模块，用于响应于针对触发源的选择操作，确定用于触发第一实时任务的第一触发源，其中，所述触发源中存储从数据源得到的特征数据，且所述触发源中新的数据的写入将触发通过所述触发源创建的实时任务；

第一获取模块，用于在不存在所述第一触发源的情况下，获取针对第一触发源的创建信息；

第一创建模块，用于根据针对所述第一触发源的创建信息，从目标数据源中得到特征数据，以根据所述特征数据；

其中，已经存在的所述第一触发源既供所述第一实时任务使用，又供其它实时任务使用。

12.根据权利要求11所述的装置，其特征在于，所述创建信息中包括目标数据源及第一触发源中的第一字段，所述第一创建模块，还用于：

实时从所述目标数据源中获取第一触发数据；

根据所述第一字段对所述第一触发数据进行字段解析处理，得到第一字段对应的特征数据；

将所述第一字段对应的特征数据写入所述第一触发源。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

第二创建模块，用于根据所述第一触发源的所述特征数据，创建第二触发源。

14.根据权利要求13所述的装置，其特征在于，所述第二创建模块，还用于：

响应于针对所述第一触发源的扩展操作，得到所述第二触发源的第二字段；

从与所述第一触发源具有相同主键的第三触发源中获取所述第二字段对应的特征数据；

响应于针对所述第二触发源的创建操作，创建所述第二触发源；

将所述第一字段对应的特征数据及所述第二字段对应的特征数据，写入所述第二触发源。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

第二确定模块，用于响应于针对所述第一触发源或者第二触发源的特征数据的选择操作，确定第一目标字段；

第二获取模块，用于实时从所述第一触发源或第二触发源中获取所述第一目标字段对应的目标特征数据；

第三创建模块，用于根据所述第一目标字段对应的目标特征数据，创建第四触发源。

16.根据权利要求12至15中任一项所述的装置，其特征在于，触发源包括实体类型信息，对应同一实体类型的触发源具有关联关系。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括：

第四创建模块，用于在存在所述第一触发源的情况下，根据所述第一触发源中的特征数据，创建所述第一实时任务。

18.根据权利要求17所述的装置，其特征在于，所述第四创建模块，还用于：

响应于针对实时子任务的选择操作，确定至少一个目标实时子任务，所述实时子任务包括第二目标字段及对所述第二目标字段对应的特征数据进行处理的处理模块，其中，所述第二目标字段为所述第一触发源中的字段和/或与所述第一触发源对应同一实体类型的触发源中的字段；

将所述至少一个目标实时子任务进行封装，得到所述第一实时任务。

19.根据权利要求18所述的装置，其特征在于，所述装置还包括：

运行模块，用于针对各个目标实时子任务，从所述第一触发源和/或与所述第一触发源对应同一实体类型的触发源中获取所述第二目标字段对应的特征数据；

针对各个目标实时子任务，调用所述处理模块对所述第二目标字段对应的特征数据进行处理，得到实时任务结果。

20.一种数据处理装置，其特征在于，包括：

监控模块，用于对实时任务对应的第一触发源进行监听；

运行模块，用于在监听到所述第一触发源中写入特征数据时，根据所述特征数据运行所述实时任务；

其中，所述第一触发源采用权利要求1至9中任一项所述的方法进行创建。

21.一种数据处理装置，其特征在于，包括：

处理器；

用于存储处理器可执行计算机指令的存储器；

其中，所述处理器运行所述计算机指令时执行权利要求1至9任一项所述数据处理方法的步骤。

22.一种数据处理装置，其特征在于，包括：

处理器；

用于存储处理器可执行计算机指令的存储器；

其中，所述处理器运行所述计算机指令时执行权利要求10所述数据处理方法的步骤。

23.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。

24.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求10所述的方法。