CN110119406B - 实时任务记录的核对方法及装置 - Google Patents

Abstract

本发明公开一种实时任务记录的核对方法及装置，该方法包括：从离线任务数据库中提取离线任务记录，得到离线任务记录集合；按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将离线任务记录集合中的离线任务记录处理为离线任务聚合记录；确定与离线任务聚合记录相对应的记录查询参数，从实时任务数据库中获取与记录查询参数相匹配的实时任务记录；根据离线任务聚合记录，对获取到的实时任务记录核对。由此可见，本发明能避免比对全量数据所导致的存储空间不足的问题，又能避免因对实时任务记录抽样所导致的数据缺失问题。

Description

实时任务记录的核对方法及装置

技术领域

本发明涉及电子信息领域，具体涉及一种实时任务记录的核对方法及装置。

背景技术

目前，为了便于针对任务记录进行维护，通常会根据任务日志分别生成实时任务记录以及离线任务记录。其中，实时任务记录的实时性更好，便于针对实时性较强的业务提供服务；离线任务记录的稳定性更好，便于存档和维护。由于实时任务具有偶然性，因此，实时任务记录可能会因各种原因而出现错误，为了确保业务的正常运行，需要定期针对实时任务记录进行核对，以确保实时任务记录的准确性。

在一种现有技术中，采用以下方式进行核对：首先，将实时任务数据库中存储的实时任务记录全部导出到第一预设存储空间，并将离线任务数据库中存储的离线任务记录全部导出到第二预设存储空间。然后，针对第一预设存储空间以及第二预设存储空间中的记录进行比对，以确认实时任务记录是否正确。该方式需要较多的存储空间，在实时任务数据库和/或离线任务数据库的数据量庞大时，往往因为存储空间受限而无法应用。为了解决存储空间受限的问题，在另一种现有技术中，针对实时任务数据库中存储的实时任务记录进行抽样，根据抽样结果，从离线任务数据库中获取对应的任务记录进行比对。该方式通过抽样能够减少存储空间的占用，但是，抽样过程会损失部分数据，导致针对特定用户或特定行为的任务记录缺失，从而影响结果的准确性。

由此可见，现有技术在确定实时任务数据库中待核对的实时任务记录时，无法兼顾存储空间以及准确性。另外，上述两种方式还至少具有如下局限性：当离线任务数据库中的离线任务记录以及实时任务数据库中的实时任务记录的存储方式不同，且离线任务记录以及实时任务记录之间缺乏能够唯一关联的主键时，无法实现离线任务记录以及实时任务记录之间的比对过程，从而导致上述两种方式的应用场景受限。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实时任务记录的核对方法及装置。

根据本发明的一个方面，提供了一种实时任务记录的核对方法，包括：

从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合；

按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录；

确定与离线任务聚合记录相对应的记录查询参数，从实时任务数据库中获取与记录查询参数相匹配的实时任务记录；

根据离线任务聚合记录，对获取到的与记录查询参数相匹配的实时任务记录进行核对。

可选地，实时记录生成方式根据实时任务记录的主键中包含的各个字段的字段类型确定，则将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录包括：

分别针对实时任务记录的主键中包含的各个字段的字段类型，从离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；

根据筛选结果得到与实时记录生成方式相匹配的离线任务聚合记录。

可选地，实时任务记录的主键为复合主键，且复合主键中包含的各个字段的字段类型包括：用户类型、时间类型、和/或行为类型；

则分别针对实时任务记录的主键中包含的各个字段的字段类型，从离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；根据筛选结果得到与实时记录生成方式相匹配的离线任务聚合记录包括：

按照用户类型和/或行为类型对离线任务记录集合中包含的离线任务记录进行筛选，得到筛选集合；

针对筛选集合，按照与时间类型相匹配的时间分片方式进行聚合处理，以得到与实时记录生成方式相匹配的离线任务聚合记录。

可选地，与时间类型相匹配的时间分片方式包括：多种时间粒度的时间分片方式；

则按照与时间类型相匹配的时间分片方式进行聚合处理，以得到与实时记录生成方式相匹配的离线任务聚合记录包括：

分别按照每种时间粒度的时间分片方式进行聚合处理，以得到与该种时间粒度相匹配的离线任务聚合记录。

可选地，当实时任务记录的主键为复合主键时，记录查询参数的数量为多个分别对应于复合主键中的各个字段的参数；且确定与离线任务聚合记录相对应的记录查询参数包括：

根据实时任务记录的主键中包含的各个字段的字段类型，分别确定与各个字段类型相对应的各个记录查询参数。

可选地，从实时任务数据库中获取与记录查询参数相匹配的实时任务记录包括：

通过预设服务接口，确定与记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；

根据实时任务记录的主键所包含的各个字段的字段值，获取与记录查询参数相匹配的实时任务记录。

可选地，确定与记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值包括：

根据预设的主键字段生成规则，确定与各个记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；其中，主键字段生成规则用于定义主键所包含的各个字段的字段位置、字段格式、和/或字段长度。

可选地，从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合包括：

每隔预设周期，从离线任务数据库中提取预设时段内的离线任务记录；

针对提取出的离线任务记录，筛选与活跃用户相对应的离线任务记录，根据筛选结果得到离线任务记录集合。

根据本发明的另一个方面，提供了一种实时任务记录的核对装置，包括：

离线任务记录集合获取模块，适于从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合；

离线任务记录处理模块，适于按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录；

实时任务记录获取模块，适于确定与离线任务聚合记录相对应的记录查询参数，从实时任务数据库中获取与记录查询参数相匹配的实时任务记录；

实时任务记录核对模块，适于根据离线任务聚合记录，对获取到的与记录查询参数相匹配的实时任务记录进行核对。

可选地，实时记录生成方式根据实时任务记录的主键中包含的各个字段的字段类型确定，则离线任务记录处理模块适于：

分别针对实时任务记录的主键中包含的各个字段的字段类型，从离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；

根据筛选结果得到与实时记录生成方式相匹配的离线任务聚合记录。

可选地，实时任务记录的主键为复合主键，且复合主键中包含的各个字段的字段类型包括：用户类型、时间类型、和/或行为类型；

则离线任务记录处理模块适于：

按照用户类型和/或行为类型对离线任务记录集合中包含的离线任务记录进行筛选，得到筛选集合；

针对筛选集合，按照与时间类型相匹配的时间分片方式进行聚合处理，以得到与实时记录生成方式相匹配的离线任务聚合记录。

可选地，与时间类型相匹配的时间分片方式包括：多种时间粒度的时间分片方式；

则离线任务记录处理模块适于：

分别按照每种时间粒度的时间分片方式进行聚合处理，以得到与该种时间粒度相匹配的离线任务聚合记录。

可选地，当实时任务记录的主键为复合主键时，记录查询参数的数量为多个分别对应于复合主键中的各个字段的参数；且实时任务记录获取模块适于：

根据实时任务记录的主键中包含的各个字段的字段类型，分别确定与各个字段类型相对应的各个记录查询参数。

可选地，实时任务记录获取模块适于：

通过预设服务接口，确定与记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；

根据实时任务记录的主键所包含的各个字段的字段值，获取与记录查询参数相匹配的实时任务记录。

可选地，实时任务记录获取模块适于：

根据预设的主键字段生成规则，确定与各个记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；其中，主键字段生成规则用于定义主键所包含的各个字段的字段位置、字段格式、和/或字段长度。

可选地，离线任务记录集合获取模块适于：

每隔预设周期，从离线任务数据库中提取预设时段内的离线任务记录；

针对提取出的离线任务记录，筛选与活跃用户相对应的离线任务记录，根据筛选结果得到离线任务记录集合。

依据本发明的再一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的实时任务记录的核对方法对应的操作。

依据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述的实时任务记录的核对方法对应的操作。

在本发明提供的实时任务记录的核对方法及装置中，能够根据离线任务数据库得到离线任务记录集合，并将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录；进而根据与离线任务聚合记录相对应的记录查询参数，从实时任务数据库中获取与该记录查询参数相匹配的实时任务记录，从而进行核对。由此可见，在该方式中，一方面，根据离线任务数据库得到离线任务记录集合，并根据离线任务记录集合获取对应的实时任务记录，由于离线任务记录集合中的数据记录是一段时间内的完整数据，因而既能够避免比对全量数据所导致的存储空间不足的问题，又能够避免因对实时任务记录进行抽样所导致的数据缺失问题，从而兼顾了存储空间以及准确性。另一方面，该方式通过将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录的方式，能够实现离线任务记录与实时任务记录之间的匹配，从而使处理后的离线任务聚合记录与实时任务记录的存储方式相同，进而能够应用于缺乏能够唯一关联的主键的应用场景中，拓宽了该方式的应用范围。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例一提供的一种实时任务记录的核对方法的流程图；

图2示出了本发明实施例二提供的一种实时任务记录的核对方法的流程图；

图3示出了本发明实施例三提供的一种实时任务记录的核对装置的结构图；

图4示出了本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

图1示出了本发明实施例一提供的一种实时任务记录的核对方法的流程图。如图1所示，该方法包括：

步骤S110：从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合。

其中，离线任务数据库用于存储与任务日志相对应的离线任务记录，具体可通过数仓等各类方式实现，本发明不限定离线任务数据库以及离线任务记录的具体实现方式。

具体地，按照预设的比对周期，从离线任务数据库中提取预设时段内的离线任务记录。该预设时段可以以月、天、甚至小时为单位，例如，可提取前一天的离线任务记录，从而得到离线任务记录集合。该离线任务记录集合用于存储作为比对基准的各个离线任务记录。

步骤S120：按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录。

其中，与实时任务数据库中的实时任务记录相对应的实时记录生成方式用于表示实时任务记录的生成规则和/或实时任务记录的主键等信息。实际情况中，实时记录生成方式可以通过实时任务记录的主键确定，也可以通过实时任务记录中的各个字段的生成方式确定。总之，本步骤的目的在于：使离线任务记录集合中包含的离线任务记录与实时任务数据库中的实时任务记录之间在存储方式和/或主键设置方式等方面存在关联，以便于比较。

例如，当实时任务记录所对应的实时记录生成方式通过预设的时间分片方式实现时，可根据该预设的时间分片方式对离线任务记录集合中包含的离线任务记录进行汇总，以使汇总后得到的离线任务聚合记录的时间分片方式与实时记录生成方式相匹配，从而便于比较。

步骤S130：确定与离线任务聚合记录相对应的记录查询参数，从实时任务数据库中获取与该记录查询参数相匹配的实时任务记录。

其中，与离线任务聚合记录相对应的记录查询参数是指：与离线任务聚合记录中包含的主键和/或特征字段相对应的参数，通过该记录查询参数，能够唯一确定与该条离线任务聚合记录相对应的实时任务记录。

通常情况下，记录查询参数与实时任务记录中包含的主键存在固定的对应关系，例如，当实时任务记录中包含的主键为复合主键时，记录查询参数的数量以及参数类型与该复合主键中包含的字段数量以及字段类型分别对应。总之，通过记录查询参数，能够使离线任务聚合记录与实时任务记录之间建立关联，从而便于比较。

步骤S140：根据离线任务聚合记录，对获取到的与记录查询参数相匹配的实时任务记录进行核对。

由于获取到的与记录查询参数相匹配的实时任务记录与离线任务聚合记录之间是相互对应的，例如，是针对于同一用户、同一类行为和/或同一时间分片的数据，因此，离线任务聚合记录与对应的实时任务记录的记录内容应当一致，通过比对二者是否一致即可实现针对实时任务记录的核对。

由此可见，在上述实施例中，一方面，根据离线任务数据库得到离线任务记录集合，并根据离线任务记录集合获取对应的实时任务记录，由于离线任务记录集合中的数据记录是一段时间内的完整数据，因而既能够避免比对全量数据所导致的存储空间不足的问题，又能够避免因对实时任务记录进行抽样所导致的数据缺失问题，从而兼顾了存储空间以及准确性。另一方面，该方式通过将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录的方式，能够实现离线任务记录与实时任务记录之间的匹配，从而使处理后的离线任务聚合记录与实时任务记录的存储方式相同，进而能够应用于缺乏能够唯一关联的主键的应用场景中，拓宽了该方式的应用范围。

实施例二

图2示出了本发明实施例二提供的一种实时任务记录的核对方法的流程图。如图2所示，该方法包括：

步骤S210：每隔预设周期，从离线任务数据库中提取预设时段内的离线任务记录；针对提取出的离线任务记录，筛选与活跃用户相对应的离线任务记录，根据筛选结果得到离线任务记录集合。

其中，离线任务数据库用于存储与线上的任务日志相对应的离线任务记录，具体通过离线数仓实现。离线任务数据库可以按照预设的更新周期进行更新，例如，第N天将线上于第N-1天产生的任务日志转换为对应的离线任务记录添加到离线任务数据库中，N为大于1的自然数。具体实施时，每隔预设的比对周期，从离线任务数据库中提取预设时段内的离线任务记录。该预设时段可与比对周期一致，从而使比对过程覆盖各个时间的数据。例如，比对周期以及预设时段均以天为单位，相应地，每隔一天提取前一天的离线任务记录。

另外，为了提升比对的效率，针对提取出的离线任务记录，进一步筛选与活跃用户相对应的离线任务记录，根据筛选结果得到离线任务记录集合。例如，假设提取出的离线任务记录共有一万条，从中筛选与活跃用户相对应的6000条离线任务记录，从而得到包含6000条离线任务记录的离线任务记录集合。发明人在实现本发明的过程中发现：离线任务记录中的部分用户为非活跃用户，该部分用户在预设时段内的用户行为数据为空(例如可能未上线或未产生实际行为)，因此，针对非活跃用户进行核对难以发现存在问题的数据。为了解决上述问题，在本实施例中，从提取出的离线任务记录中进一步筛选与活跃用户相对应的离线任务记录，该活跃用户是指：在预设时段内所对应的用户行为数据非空的用户，因此，活跃用户在预设时段内至少处于上线状态且发生了网络行为。具体实施时，可以按照预设的活跃用户筛选策略进行筛选，例如，根据各个用户在预设时段内的有效行为的行为类型、行为数量、和/或行为频率进行筛选，以筛选出活跃度较高的用户所对应的任务记录，进而提升离线任务记录集合的质量。另外，也可以将离线任务记录集合中包含的各个离线任务记录作为用例集，其汇集了典型用户的实例信息。

步骤S220：确定与实时任务数据库中的实时任务记录相对应的实时记录生成方式。

其中，实时记录生成方式用于反映实时任务数据库中的实时任务记录的主键信息、记录格式、记录内容、和/或记录生成规则等信息。在本实施例中，实时记录生成方式根据实时任务记录的主键中包含的各个字段的字段类型确定。具体地，在本实施例中，为了避免重复，该实时任务记录的主键为复合主键，该复合主键中包含多个字段。在一个具体的示例中，复合主键中的多个字段的字段类型分别用户类型、时间类型、以及行为类型。其中，用户类型的字段用于描述用户的名称、ID等标识信息，以区分各个用户。时间类型的字段用于反应该条任务记录所对应的时间段，具体地，可以按照预设的时间分片方式确定该时间类型的字段的具体取值。例如，可以按照分钟为时间分片方式，从而该时间类型的字段用于表示具体的分钟信息；又如，可以按照小时为时间分片方式，从而该时间类型的字段用于表示具体的小时信息；再如，可以按照天为时间分片方式，从而该时间类型的字段用于表示具体的天信息。行为类型用于表示行为的种类，以区分不同的用户行为，例如，包括点击行为类型、滑动行为类型、打开页面行为类型、关闭页面行为类型等多种，本发明不限定行为类型的具体实现方式。

在本实施例中，时间分片方式包括三种，相应地，针对用户A在某一天之内产生的点击行为，将生成如下三种类型的实时任务记录：第一种类型的实时任务记录的复合主键中包含的时间字段为天信息，用户字段为用户A，行为字段为点击行为，上述时间字段、用户字段以及行为字段的组合共同作为该条实时任务记录的复合主键，且记录值可以为用户A在一天之内的点击总次数、点击对象等具体信息。第二种类型的实时任务记录的复合主键中包含的时间字段为小时信息，用户字段为用户A，行为字段为点击行为，上述时间字段、用户字段以及行为字段的组合共同作为该条实时任务记录的复合主键，且记录值可以为用户A在一小时之内的点击总次数。第三种类型的实时任务记录的复合主键中包含的时间字段为分钟信息，用户字段为用户A，行为字段为点击行为，上述时间字段、用户字段以及行为字段的组合共同作为该条实时任务记录的复合主键，且记录值可以为用户A在一分钟之内的点击总次数。

步骤S230：将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录。

由于本实施例中的离线任务记录与实时任务记录的存储方式不同，二者之间缺乏能够唯一关联的主键，因此，为了进行比对，需要先将离线任务记录集合中包含的离线任务记录处理为与实时任务记录的实时记录生成方式相匹配的形式。其中，离线任务聚合记录是指经处理后的离线任务记录，其存储内容与处理前的离线任务记录相同，但存储形式发生了改变，以便于与实时任务记录进行匹配。

具体地，根据实时记录生成方式所对应的实时任务记录的主键中包含的各个字段，分别针对实时任务记录的主键中包含的各个字段的字段类型，从离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；根据筛选结果得到与实时记录生成方式相匹配的离线任务聚合记录。

为了便于理解，首先针对离线任务记录的存储方式进行介绍：离线任务记录中包括多个字段，并且，本实施例中的离线任务记录可以不具有唯一的主键。例如，离线任务记录包括以下字段：用户名、时间点、行为类型、行为对象，具体可包括以下两条离线任务记录：

用户A，time1(时间点1)，click(点击)、Page A(点击对象为页面A)；

用户A，time2(时间点2)，click(点击)、Page B(点击对象为页面B)。

由此可见，在离线任务记录中，针对每一次点击行为设置有一条任务记录，每条任务记录的时间精确到具体的点击时间点，相应地，点击类任务记录的数量与点击行为的数量相同。然而，在实时任务记录中，主键中包含的时间字段所对应的时间分片方式则可以按照天、小时、分钟等单位进行分片。相应地，在以天为时间分片的任务记录中，针对同一用户在同一天发生的点击类行为，无论点击次数如何，只需生成一条实时任务记录即可；在以小时为时间分片的任务记录中，针对同一用户在同一天发生的点击类行为，无论点击次数如何，只需生成24条实时任务记录即可。由此可见，在实时任务记录中，由于时间分片方式灵活多样，因此，点击类任务记录的数量与点击行为的数量不同。相应地，为了实现比对，需要按照实时任务记录的主键对离线任务记录进行处理，以使处理后的离线任务记录转化为与实时任务记录相匹配的方式。

首先，按照用户类型和/或行为类型对离线任务记录集合中包含的离线任务记录进行筛选，得到筛选集合。具体地，需要根据实时任务记录的主键中包含的各个字段进行筛选，以使筛选后得到的筛选集合与实时任务记录的主键相匹配。在本例中，由于实时任务记录的复合主键包含用户字段、行为字段以及时间字段，因此，需要分别针对这三个字段进行筛选，首先针对用户字段和行为字段进行筛选，以筛选出预设用户针对预设行为的离线任务记录。比如，将筛选条件设置为用户＝用户A且行为＝点击，则可以将用户A所对应的全部点击行为筛选出来。

然后，针对上述筛选集合，按照与时间类型相匹配的时间分片方式进行聚合处理，以得到与实时记录生成方式相匹配的离线任务聚合记录。具体地，当与时间类型相匹配的时间分片方式包括多种时间粒度的时间分片方式时，为了确保核对的全面性，需要分别按照每种时间粒度的时间分片方式进行聚合处理，以得到与该种时间粒度相匹配的离线任务聚合记录。例如，为了便于核对时间分片方式以天为时间粒度的实时任务记录，需要以天为单位对筛选集合中的离线任务记录进行聚合处理，以得到预设用户在某一天针对预设行为的离线任务记录，即离线任务聚合记录。同理，针对时间分片方式以小时或分钟为时间粒度的实时任务记录，也分别按照小时或分钟为单位对筛选集合中的离线任务记录进行聚合处理，以得到预设用户在某一小时或某一分钟针对预设行为的离线任务记录，即离线任务聚合记录。由此可见，离线任务聚合记录中包含的各个字段与实时任务记录的复合主键中的各个字段分别对应，从而便于比较。

另外，虽然本实施例以聚合处理为例进行描述，但是，在本发明其他的实施例中，该聚合处理还可以为其他形式，如拆分处理等。比如，可以将离线任务记录拆分为时间粒度更细的多个记录，具体取决于实时任务记录的具体形式。

步骤S240：确定与离线任务聚合记录相对应的记录查询参数。

其中，与离线任务聚合记录相对应的记录查询参数是指：与离线任务聚合记录中包含的主键和/或特征字段相对应的参数，通过该记录查询参数，能够唯一确定与该条离线任务聚合记录相对应的实时任务记录。在本实施例中，当实时任务记录的主键为复合主键时，记录查询参数的数量为多个分别对应于复合主键中的各个字段的参数。相应地，在本步骤中，根据实时任务记录的主键中包含的各个字段的字段类型，分别确定与各个字段类型相对应的各个记录查询参数。

实质上，确定与离线任务聚合记录相对应的记录查询参数的过程相当于针对离线任务聚合记录进行参数封装的过程。记录查询参数的参数名称以及参数数量与复合主键中的字段名称和字段数量一一对应。例如，在上例中，由于主键包含用户、时间、行为三个字段，相应地，记录查询参数也包括用户参数、时间参数、以及行为参数这三个参数。每个参数的参数值取决于对应的离线任务聚合记录的内容。例如，针对用户A在3月1日产生的点击行为所对应的离线任务聚合记录而言，用户参数的参数值为用户A所对应的数值，时间参数所对应的参数值为3月1日所对应的数值，表示该记录是以天为时间粒度进行聚合的，行为参数的参数值为点击行为所对应的数值。

具体地，进行参数封装时，可以根据预设的参数封装规则生成与离线任务聚合记录相对应的记录查询参数。该参数封装规则用于定义参数的格式、字段、长度、编码方式等，用于将离线任务聚合记录中的各个字段的内容转化为符合参数封装规则的形式。通过设置参数封装规则，一方面，能够使参数的表示方式更加规范化，便于实现同质内容的统一，从而为后续的比对提供基础；另一方面，只有预设有参数封装规则的设备才能实现后续的比对，从而能够提升访问的安全性，防止非法设备的访问。

步骤S250：从实时任务数据库中获取与该记录查询参数相匹配的实时任务记录。

在本实施例中，为了便于实现实时任务数据库与离线任务数据库之间的通信，设置有预设服务接口，通过该预设服务接口确定与记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；从而根据实时任务记录的主键所包含的各个字段的字段值，获取与记录查询参数相匹配的实时任务记录。由此可见，该预设服务接口首先根据预设的参数封装规则确定各个记录查询参数的参数值及其具体含义，然后，根据预设的主键字段生成规则，确定与各个记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；其中，该主键字段生成规则用于定义主键所包含的各个字段的字段位置、字段格式、和/或字段长度。其中，主键字段生成规则也可以理解为主键编码规则，通常，为了提升数据安全性，实时任务记录中的主键的各个字段是按照预设的主键编码规则生成的，该主键编码规则定义了主键的各种类型的字段在主键中所占的长度、位置、字节数、编码方式等信息。相应地，预设服务接口根据该主键字段生成规则即可将记录查询参数转换为与主键字段生成规则相匹配的形式，从而根据转换结果确定与各个记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值，进而从实时任务数据库中获取到与该记录查询参数相匹配的实时任务记录。

由此可见，具体实施时，将记录查询参数传输给该预设服务接口，由该预设服务接口对记录查询参数进行解析，以获取参数的具体数值，然后，通过预设服务接口能够将记录查询参数转化为与实时任务记录的主键相匹配的方式，从而便于查询。

步骤S260：根据离线任务聚合记录，对获取到的与记录查询参数相匹配的实时任务记录进行核对。

由于获取到的与记录查询参数相匹配的实时任务记录与离线任务聚合记录之间是相互对应的，例如，是针对于同一用户、同一类行为和/或同一时间分片的数据，因此，离线任务聚合记录与对应的实时任务记录的记录内容应当一致，通过比对二者是否一致即可实现针对实时任务记录的核对。

具体地，在本实施例中，分别针对每一条离线任务聚合记录，获取与该条离线任务聚合记录的记录查询参数相匹配的实时任务记录，并进行二者之间的核对。由于实时任务记录包括各种时间粒度的任务记录，相应地，离线任务聚合记录也包括各种时间粒度的聚合记录，需要分别针对各个时间粒度的任务记录进行核对，以确保全部任务记录的准确性。其中，当核对结果为匹配时，生成核对成功的提示消息；当核对结果为不匹配时，针对不匹配的任务记录生成修改提示消息，以便通过修改实现二者之间的匹配。

综上可知，通过上述方式，至少具备如下优势：

首先，该方式从离线任务数据库中抽取部分活跃用户的任务记录作为用例集，确保抽取的用例集中的数据都是有效的，从而避免了从实时任务数据库中进行抽样所导致的数据缺失和/或因抽取到非活跃用户而降低核对效果的弊端。并且，该方式还能够避免因比较离线任务数据库以及实时任务数据库中的全量数据所导致的存储空间不足的缺陷。

其次，该方式能够将离线任务记录处理为与实时任务记录相匹配的离线任务聚合记录，从而能够在两个数据库之间缺乏唯一关联的主键的情况下，实现数据内容的比较，拓宽了应用场景，能够广泛应用于离线任务记录缺乏主键的各类场景中。

另外，该方式通过预设服务接口实现了跨平台、跨数据源感知实时任务健康度的效果。其中，实时任务数据库对应于实时任务平台，离线任务数据库对应于离线任务平台，在现有技术中，这两个平台以及两个平台中的两类数据源之间是完全独立、无法互相访问的，只有将两个平台中的数据源导出到第三方存储空间才能实现二者之间的匹配，操作繁琐，本发明通过预设服务接口实现了实时任务平台与离线任务平台之间的相互访问，为匹配过程提供了便利。

实施例三

图3示出了本发明实施例三提供的一种实时任务记录的核对装置的结构示意图，该装置包括：

离线任务记录集合获取模块31，适于从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合；

离线任务记录处理模块32，适于按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录；

实时任务记录获取模块33，适于确定与离线任务聚合记录相对应的记录查询参数，从实时任务数据库中获取与记录查询参数相匹配的实时任务记录；

实时任务记录核对模块34，适于根据离线任务聚合记录，对获取到的与记录查询参数相匹配的实时任务记录进行核对。

可选地，实时记录生成方式根据实时任务记录的主键中包含的各个字段的字段类型确定，则离线任务记录处理模块32适于：

分别针对实时任务记录的主键中包含的各个字段的字段类型，从离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；

根据筛选结果得到与实时记录生成方式相匹配的离线任务聚合记录。

可选地，实时任务记录的主键为复合主键，且复合主键中包含的各个字段的字段类型包括：用户类型、时间类型、和/或行为类型；

则离线任务记录处理模块32适于：

按照用户类型和/或行为类型对离线任务记录集合中包含的离线任务记录进行筛选，得到筛选集合；

针对筛选集合，按照与时间类型相匹配的时间分片方式进行聚合处理，以得到与实时记录生成方式相匹配的离线任务聚合记录。

可选地，与时间类型相匹配的时间分片方式包括：多种时间粒度的时间分片方式；

则离线任务记录处理模块32适于：

分别按照每种时间粒度的时间分片方式进行聚合处理，以得到与该种时间粒度相匹配的离线任务聚合记录。

可选地，当实时任务记录的主键为复合主键时，记录查询参数的数量为多个分别对应于复合主键中的各个字段的参数；且实时任务记录获取模块33适于：

根据实时任务记录的主键中包含的各个字段的字段类型，分别确定与各个字段类型相对应的各个记录查询参数。

可选地，实时任务记录获取模块33适于：

通过预设服务接口，确定与记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；

根据实时任务记录的主键所包含的各个字段的字段值，获取与记录查询参数相匹配的实时任务记录。

可选地，实时任务记录获取模块33适于：

根据预设的主键字段生成规则，确定与各个记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；其中，主键字段生成规则用于定义主键所包含的各个字段的字段位置、字段格式、和/或字段长度。

可选地，离线任务记录集合获取模块31适于：

每隔预设周期，从离线任务数据库中提取预设时段内的离线任务记录；

针对提取出的离线任务记录，筛选与活跃用户相对应的离线任务记录，根据筛选结果得到离线任务记录集合。

关于上述各个模块的具体结构和工作原理可参照方法实施例中相应部分的描述，此处不再赘述。

实施例四

本申请实施例四提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的实时任务记录的核对方法。可执行指令具体可以用于使得处理器执行上述方法实施例中对应的各个操作。

实施例五

图4示出了根据本发明实施例五的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述实时任务记录的核对方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行上述方法实施例中对应的各个操作。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于语音输入信息的抽奖系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (18)

1.一种实时任务记录的核对方法，包括：

从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合；

按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将所述离线任务记录集合中包含的离线任务记录处理为与所述实时记录生成方式相匹配的离线任务聚合记录；

确定与所述离线任务聚合记录相对应的记录查询参数，从所述实时任务数据库中获取与所述记录查询参数相匹配的实时任务记录；

根据所述离线任务聚合记录，对获取到的与所述记录查询参数相匹配的实时任务记录进行核对。

2.根据权利要求1所述的方法，其中，所述实时记录生成方式根据实时任务记录的主键中包含的各个字段的字段类型确定，则所述将所述离线任务记录集合中包含的离线任务记录处理为与所述实时记录生成方式相匹配的离线任务聚合记录包括：

分别针对实时任务记录的主键中包含的各个字段的字段类型，从所述离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；

根据筛选结果得到与所述实时记录生成方式相匹配的离线任务聚合记录。

3.根据权利要求2所述的方法，其中，所述实时任务记录的主键为复合主键，且所述复合主键中包含的各个字段的字段类型包括：用户类型、时间类型、和/或行为类型；

则所述分别针对实时任务记录的主键中包含的各个字段的字段类型，从所述离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；根据筛选结果得到与所述实时记录生成方式相匹配的离线任务聚合记录包括：

按照用户类型和/或行为类型对所述离线任务记录集合中包含的离线任务记录进行筛选，得到筛选集合；

针对所述筛选集合，按照与所述时间类型相匹配的时间分片方式进行聚合处理，以得到与所述实时记录生成方式相匹配的离线任务聚合记录。

4.根据权利要求3所述的方法，其中，所述与所述时间类型相匹配的时间分片方式包括：多种时间粒度的时间分片方式；

则所述按照与所述时间类型相匹配的时间分片方式进行聚合处理，以得到与所述实时记录生成方式相匹配的离线任务聚合记录包括：

分别按照每种时间粒度的时间分片方式进行聚合处理，以得到与该种时间粒度相匹配的离线任务聚合记录。

5.根据权利要求2-4任一所述的方法，其中，当所述实时任务记录的主键为复合主键时，所述记录查询参数的数量为多个分别对应于复合主键中的各个字段的参数；且所述确定与所述离线任务聚合记录相对应的记录查询参数包括：

根据所述实时任务记录的主键中包含的各个字段的字段类型，分别确定与各个字段类型相对应的各个记录查询参数。

6.根据权利要求2-4任一所述的方法，其中，所述从所述实时任务数据库中获取与所述记录查询参数相匹配的实时任务记录包括：

通过预设服务接口，确定与所述记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；

根据所述实时任务记录的主键所包含的各个字段的字段值，获取与所述记录查询参数相匹配的实时任务记录。

7.根据权利要求6所述的方法，其中，所述确定与所述记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值包括：

根据预设的主键字段生成规则，确定与各个记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；其中，所述主键字段生成规则用于定义主键所包含的各个字段的字段位置、字段格式、和/或字段长度。

8.根据权利要求1-4任一所述的方法，其中，所述从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合包括：

每隔预设周期，从离线任务数据库中提取预设时段内的离线任务记录；

针对提取出的离线任务记录，筛选与活跃用户相对应的离线任务记录，根据筛选结果得到所述离线任务记录集合。

9.一种实时任务记录的核对装置，包括：

离线任务记录集合获取模块，适于从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合；

离线任务记录处理模块，适于按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将所述离线任务记录集合中包含的离线任务记录处理为与所述实时记录生成方式相匹配的离线任务聚合记录；

实时任务记录获取模块，适于确定与所述离线任务聚合记录相对应的记录查询参数，从所述实时任务数据库中获取与所述记录查询参数相匹配的实时任务记录；

实时任务记录核对模块，适于根据所述离线任务聚合记录，对获取到的与所述记录查询参数相匹配的实时任务记录进行核对。

10.根据权利要求9所述的装置，其中，所述实时记录生成方式根据实时任务记录的主键中包含的各个字段的字段类型确定，则所述离线任务记录处理模块适于：

分别针对实时任务记录的主键中包含的各个字段的字段类型，从所述离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；

根据筛选结果得到与所述实时记录生成方式相匹配的离线任务聚合记录。

11.根据权利要求10所述的装置，其中，所述实时任务记录的主键为复合主键，且所述复合主键中包含的各个字段的字段类型包括：用户类型、时间类型、和/或行为类型；

则所述离线任务记录处理模块适于：

按照用户类型和/或行为类型对所述离线任务记录集合中包含的离线任务记录进行筛选，得到筛选集合；

针对所述筛选集合，按照与所述时间类型相匹配的时间分片方式进行聚合处理，以得到与所述实时记录生成方式相匹配的离线任务聚合记录。

12.根据权利要求11所述的装置，其中，所述与所述时间类型相匹配的时间分片方式包括：多种时间粒度的时间分片方式；

则所述离线任务记录处理模块适于：

分别按照每种时间粒度的时间分片方式进行聚合处理，以得到与该种时间粒度相匹配的离线任务聚合记录。

13.根据权利要求10-12任一所述的装置，其中，当所述实时任务记录的主键为复合主键时，所述记录查询参数的数量为多个分别对应于复合主键中的各个字段的参数；且所述实时任务记录获取模块适于：

根据所述实时任务记录的主键中包含的各个字段的字段类型，分别确定与各个字段类型相对应的各个记录查询参数。

14.根据权利要求10-12任一所述的装置，其中，所述实时任务记录获取模块适于：

通过预设服务接口，确定与所述记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；

根据所述实时任务记录的主键所包含的各个字段的字段值，获取与所述记录查询参数相匹配的实时任务记录。

15.根据权利要求14所述的装置，其中，所述实时任务记录获取模块适于：

根据预设的主键字段生成规则，确定与各个记录查询参数相对应的实时任务记录的主键所包含的各个字段的字段值；其中，所述主键字段生成规则用于定义主键所包含的各个字段的字段位置、字段格式、和/或字段长度。

16.根据权利要求9-12任一所述的装置，其中，所述离线任务记录集合获取模块适于：

每隔预设周期，从离线任务数据库中提取预设时段内的离线任务记录；

针对提取出的离线任务记录，筛选与活跃用户相对应的离线任务记录，根据筛选结果得到所述离线任务记录集合。

17.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的实时任务记录的核对方法对应的操作。

18.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-8中任一项所述的实时任务记录的核对方法对应的操作。

Images