CN108920256A - 检核任务执行方法及装置 - Google Patents
检核任务执行方法及装置 Download PDFInfo
- Publication number
- CN108920256A CN108920256A CN201810653070.5A CN201810653070A CN108920256A CN 108920256 A CN108920256 A CN 108920256A CN 201810653070 A CN201810653070 A CN 201810653070A CN 108920256 A CN108920256 A CN 108920256A
- Authority
- CN
- China
- Prior art keywords
- task
- check
- checks
- pending
- checking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/461—Saving or restoring of program or task context
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开涉及一种检核任务执行方法及装置，所述方法包括：获取所述待执行的检核任务对应检核信息；根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务；及确定在所述已完成的检核任务中存在所述目标检核任务，则将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。通过以上方法，本公开可以快速获取本次检核任务的检核结果，显著提升了大数据量下的检核任务的执行效率，并且可显著节约数据源数据库计算资源和本地用户计算机存储资源。
Description
技术领域
本公开涉及数据处理领域，尤其涉及一种检核任务执行方法及装置。
背景技术
在信息化应用不断深入的背景下，数据资源优势挖掘，基于数据治理提升业务响应能力等问题已经成为各行业关注的焦点。作为数据治理中的重要一环，保证大数据平台的数据质量的重要性日益凸显。
发明内容
有鉴于此，本公开提出了一种检核任务执行方法及装置，以避免检核任务的重复执行，从而提高检核效率，节约检核资源。
根据本公开的一方面，提供了一种检核任务执行方法，其特征在于，所述方法包括：
获取待执行的检核任务对应的检核信息；
根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务；
确定在所述已完成的检核任务中存在所述目标检核任务，则将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
在一种可能的实现方式中，所述方法还包括：
确定在已完成的检核任务中不存在所述目标检核任务，则根据所述检核信息执行所述待执行的检核任务。
在一种可能的实现方式中，所述检核信息包括：作为检核任务的检核对象的目标数据表的更新时间、所述目标数据表所属的数据库的连接信息以及检核规则。
在一种可能的实现方式中，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，包括：
若在已完成的检核任务中存在检核信息与所述待执行的检核任务的检核信息完全相同的检核任务，则确定在已完成的检核任务中存在所述目标检核任务。
在一种可能的实现方式中，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，包括：
将所述目标数据表的更新时间与已完成的检核任务中各个检核任务对应的数据表的更新时间分别进行对比，获取所述已完成的检核任务中与所述目标数据表的更新时间相同的检核任务，并形成第一任务集合；
若所述第一任务集合不为空，则将所述目标数据表所属的数据库的连接信息与所述第一任务集合中的各个检核任务对应的连接信息分别进行对比，获取所述第一任务集合中与所述目标数据表所属的数据库的连接信息相同的检核任务，并形成第二任务集合；
若所述第二任务集合不为空，则将所述待执行的检核任务对应的检核规则与所述第二任务集合中的各个检核任务对应的检核规则分别进行对比，获取所述第二任务集合中与所述待执行的检核任务对应的检核规则相同的检核任务作为所述目标检核任务。
在一种可能的实现方式中，所述已完成的检核任务中的检核任务各不相同，所述方法还包括：
记录所述目标检核任务与所述待执行的检核任务的关联关系。
本公开通过获取待执行的检核任务对应的检核信息，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果，利用已经执行过的相同的检核任务，可以快速获取本次检核任务的检核结果，显著提升了大数据量下的检核任务的执行效率，并且可显著节约数据源数据库计算资源和本地用户计算机存储资源。
根据本公开的另一方面，提供了一种检核任务执行装置，所述装置包括：
获取模块，用于获取待执行的检核任务对应的检核信息；
判断模块，用于根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务；
赋值模块，用于确定在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
在一种可能的实现方式中，所述装置还包括：
检核模块，用于确定在已完成的检核任务中不存在所述目标检核任务时，根据所述检核信息执行所述待执行的检核任务。
在一种可能的实现方式中，所述检核信息包括：作为检核任务的检核对象的目标数据表的更新时间、所述目标数据表所属的数据库的连接信息以及检核规则。
在一种可能的实现方式中，所述判断模块包括：
判断子模块，用于在已完成的检核任务中存在检核信息与所述待执行的检核任务的检核信息完全相同的检核任务时，判断在已完成的检核任务中存在所述目标检核任务。
在一种可能的实现方式中，所述判断模块包括：
第一比较子模块，用于将所述目标数据表的更新时间与已完成的检核任务中各个检核任务对应的数据表的更新时间分别进行对比，获取所述已完成的检核任务中与所述数据表的更新时间相同的检核任务，并形成第一任务集合；
第二比较子模块，用于在所述第一任务集合不为空时，将所述目标数据表所属的数据库的连接信息与所述第一任务集合中的各个检核任务对应的连接信息分别进行对比，获取所述第一任务集合中与所述目标数据表所属的数据库的连接信息相同的检核任务，并形成第二任务集合；及
第三比较子模块，用于在所述第二任务集合不为空时，将所述待执行的检核任务对应的检核规则与所述第二任务集合中的各个检核任务对应的检核规则分别进行对比，获取所述第二任务集合中与所述待执行的检核任务对应的检核规则相同的检核任务作为所述目标检核任务。
在一种可能的实现方式中，所述已完成的检核任务中的检核任务各不相同，所述装置还包括：
记录模块，用于记录所述目标检核任务与所述待执行的检核任务的关联关系。
根据检核任务执行装置中各个模块的配合，本公开通过获取待执行的检核任务对应的检核信息，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果，利用已经执行过的相同的检核任务，可以快速获取本次检核任务的检核结果，显著提升了大数据量下的检核任务的执行效率，并且可显著节约数据源数据库计算资源和本地用户计算机存储资源。
根据本公开的另一方面，提供了一种检核任务执行装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行所述的检核任务执行方法。
根据下面参考附图对示例性实施方式的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施方式、特征和方面，并且用于解释本公开的原理。
图1示出了根据本公开一实施方式的检核任务执行方法的流程图。
图2示出了根据本公开一实施方式的检核任务执行方法的流程图。
图3示出了根据本公开一实施方式的检核任务执行方法的流程图。
图4示出了根据本公开一实施方式的检核任务执行装置的框图。
图5示出了根据本公开一实施方式的检核任务执行装置的框图。
图6示出了根据本公开一实施方式的检核任务执行装置的框图。
图7示出了根据本公开一实施方式的检核任务执行装置的框图。
图8示出了根据本公开一实施方式的检核任务执行装置900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施方式、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施方式的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施方式或说明性”。这里作为“示例性”所说明的任何实施方式不必解释为优于或好于其它实施方式。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
数据质量提升的技术流程主要包括创建检核规则、执行检核任务、问题数据汇总分析以及问题数据处理这四大步骤。其中，执行检核任务是数据质量提升的关键步骤，然而，随着数据量的激增，检核任务执行效率降低的问题逐渐凸显。
当检核任务的检核对象和检核规则相同并且数据量非常大的时候，如果遇到数据源数据不变的情况，比如数据来源系统异常，或者检核任务执行周期设置远小于数据更新周期的时候，就会出现大量的重复检核任务。这些检核任务的重复执行会随着数据量的递增极大地耗费数据库资源和浪费存储空间，进而降低检核任务的执行效率。
针对在数据质量管理过程中重复执行检核任务的情况，本公开提出了一种检核任务执行方法，显著提升大数据量下检核任务的执行效率。
请参阅图1，图1示出了根据本公开一实施方式的检核任务执行方法的流程图。
如图1所示，本公开用于对与所述检核任务对应的目标数据表进行检核，所述方法包括：
步骤S110，获取所述待执行的检核任务对应的检核信息。
其中，所述检核信息包括对所述目标数据表进行检核需要的信息。
在一种可能的实施方式中，所述检核信息可以包括：作为检核任务的检核对象的目标数据表的更新时间、作为检核任务的检核对象的目标数据表所在数据库的连接信息以及检核规则等。
所述目标数据表可以是数据库中的表，例如，可以是MPP(Massively ParallelProcessing，大规模并行处理)框架数据源下dataset数据库中的credit_ha数据表。其中，MPP是一种基于传统关系型数据库的分布式计算框架，它具有任务并行执行、数据分布式存储(本地存储)、分布式计算、资源私有、横向扩展等特点，MPP适用于数据量在TB到PB级别的数据分析系统，查询复杂度和数据规模能很好地适应中大型企业。应该明白的是，数据源的种类繁多，除了MPP框架数据源，还包括传统的关系型数据源，如PostgresSQL、Oracle、Mysql、SQLServer等，以及hive数据源。
所述更新时间可为所述目标数据表的最新更新时间。应该说明的是，当数据库中数据表有更新时，数据库自身是不会主动记录更新时间的，此时，系统可以在数据库建立日志表，利用数据库触发器监听数据库中一个或者几个表的插入、删除和修改操作(这三个操作会改动内容)，对于这些操作进行监听并确定时间点，并将监听到的时间点记录在日志表中以获取一个或者多个表的最新更新时间。
所述检核规则可包括对所述目标数据表进行检核的规则信息。举例而言，所述检核规则可以包括空值校验、类型校验、值域校验、长度校验、格式校验，及其他校验规则。其中，所述的类型校验可用于对目标数据表中的数据进行类型的校验，例如，可以进行字符类型校验、数值类型校验等等；所述值域校验可以包括对所述目标数据表中的数值的大小、范围进行的校验；所述长度校验可为对所述目标数据表中的数据(例如字符型数据)进行长度校验，比如，校验字符型数据的长度是否小于10等；所述格式校验可为对所述目标数据表中的数据进行格式校验，以判断是否符合特定格式，例如邮箱格式、身份证号码格式等等。以上对个校验规则及其说明都是为了举例以便其更加清楚，并不用于限定本公开，在其他实施方式中，所述校验规则可以包括其他，本公开提到的校验规则也可以具有其他校验功能。
所述连接信息可包括连接所述目标数据表所在数据库的地址信息，通过所述地址信息可以连接到与所述检核任务对应的所述目标数据表所在的数据库。
步骤S120，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务。
在一种可能的实施方式中，所述已经完成的检核任务可以包括一个或者多个各不相同的检核任务，这些检核任务可用于对数据库中的数据表进行检核，并且这些检核任务都已经完成了检核。
在一种可能的实施方式中，若在所述已完成的检核任务中存在检核信息与所述待执行的检核任务对应检核信息完全相同的检核任务，则判断在所述已完成的检核任务中是否存在所述目标检核任务。其中，可以分别将所述目标数据表的更新时间、连接信息及检核规则与已经完成的检核任务中各个检核任务的更新时间、连接信息及检核规则进行对比，以判断在完成的检核任务中是否存在所述目标检核任务。
在一种可能的实施方式中，根据所述检核信息判断在所述已完成的检核任务中是否存在与所述待执行的检核任务相同的检核任务，包括：
将所述目标数据表的更新时间与所述已完成的检核任务中各个检核任务对应的更新时间分别进行对比，获取所述已完成的检核任务中与所述目标数据表的更新时间相同的检核任务，并形成第一任务集合；
若所述第一任务集合不为空，则将所述连接信息与所述第一任务集合中的各个检核任务对应的连接信息分别进行对比，获取所述第一任务集合中与所述连接信息相同的检核任务，并形成第二任务集合；及
若所述第二任务集合不为空，则将所述检核规则与所述第二任务集合中的各个检核任务对应的检核规则分别进行对比，获取所述第二任务集合中与所述检核规则相同的检核任务作为所述目标检核任务。
步骤S130，确定在所述已完成的检核任务中存在所述目标检核任务，则将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
下面将对以上过程进行举例说明，应该明白的是，以下说明仅为示例性的，并非用于限制本公开。
以对MPP框架数据源下dataset数据库中credit_ha数据表执行空值校验为例，所述空值校验为检核一个表中某个字段不为空，如果这个字段中的某个单元格为空值，则返回检核结果，该检核结果可包括存在空值的字段；如果这个字段中不包括空值，则返回检核结果，该检核结果可包括该字段无空值。
所述更新时间可为：2018.03.02 15:30.26；
所述连接信息可为：jdbc:MPP://101.10.36.123:5258/dataset？useUnicode＝true&；characterEncoding＝utf-8；
所述检核规则为对dataset数据库中的credit_ha数据表进行空值校验。
假设数据库存在以下已完成的检核任务(检核任务1，检核任务2，检核任务3，检核任务4，检核任务5，……检核任务N)。
本次检核任务执行的流程实例可以包括：
将所述更新时间与已完成的检核任务(检核任务1，检核任务2，检核任务3，检核任务4，检核任务5，……检核任务N)的数据表更新时间一一进行比较，如果相同，筛选出相同的检核任务(检核任务1，检核任务3，检核任务5，检核任务14，检核任务16)。
将所述连接信息与上一步筛选出的检核任务(检核任务1，检核任务3，检核任务5，检核任务14，检核任务36)的数据库连接信息一一进行对比，如果相同，进一步筛选出相同的检核任务(检核任务1，检核任务3，检核任务36)。
将所述检核规则与上一步筛选的检核任务(检核任务1，检核任务3，检核任务36)的检核规则信息进行对比，如果遇到相同的，则停止筛选，记录第一次遇到的相同信息的检核任务(检核任务1)，将本次检核任务的执行结果直接指向已成功的检核任务(检核任务1)的执行结果，则本次检核任务执行结束。
这样，本公开通过获取所述待执行的检核任务对应检核信息，其中所述检核信息包括对所述目标数据表进行检核需要的信息，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果，利用已经执行过的相同的检核任务，可以快速获取本次检核任务的检核结果，显著提升了大数据量下的检核任务的执行效率，并且可显著节约数据源数据库计算资源和本地用户计算机存储资源。
请参阅图2，图2示出了根据本公开一实施方式的检核任务执行方法的流程图。
如图2所示，所述方法包括：
步骤S110，获取所述待执行的检核任务对应的检核信息。
步骤S120，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务。
步骤S130，确定在所述已完成的检核任务中存在所述目标检核任务，则将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
步骤S140，确定在已完成的检核任务中不存在所述目标检核任务，则根据所述检核信息执行所述检核任务。
其中，根据检核信息对目标数据表进行检核的具体过程可以参见相关的现有技术。
在一种可能的实施方式中，当在已完成的检核任务中不存在所述检核任务时，可在本次检核任务执行完成后，将本次检核任务添加到已完成的检核任务中，这样，在下一次出现与本次检核任务相同的检核任务时，可以通过本公开快速获取检核任务的执行结果，大大提高大数据量下检核任务的执行效率，并且可显著节约数据源数据库计算资源和本地用户计算机存储资源。
步骤S110～步骤S130的具体描述请参照前述检核任务执行方法的描述，此处不再赘述。
请参阅图3，图3示出了根据本公开一实施方式的检核任务执行方法的流程图。
如图3所示，所述方法包括：
步骤S110，获取所述待执行的检核任务对应的检核信息。
步骤S120，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务。
步骤S130，确定在所述已完成的检核任务中存在所述目标检核任务，则将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
步骤S150，记录所述目标检核任务与所述待执行检核任务的关联关系。
在一种可能的实施方式中，若存在多个相同的检核任务，需要保存相同检核任务中其中一个的检核任务执行信息在已完成的检核任务列表中，为了提高检索效率，需要将具有相同检核任务执行信息的任务进行去重，只保留其中一个检核任务到已完成的检核任务列表中，其他相同检核任务不放在检索表(可为已完成的检核任务列表)中，而是存放到其他表中，并且保留检索表中对应相同检核任务(所述目标检核任务)的索引即可。
通过将所述目标检核任务的索引添加到其他相同的检核任务(包括本次执行的检核任务)，可以建立所述目标检核任务与所述检核任务的关联关系，方便用户监控检核任务的情况。
步骤S110～步骤S130的具体描述请参照前述检核任务执行方法的描述，此处不再赘述。
这样，本公开通过获取所述待执行的检核任务对应检核信息，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果，记录所述目标检核任务与所述检核任务的关联关系，可以快速获取针对目标数据表进行检核的检核结果，显著提升大数据量下检核任务的执行效率，并将本次检核任务与相同的已经完成的检核任务进行关联，可提供任务的监控。
请参阅图4，图4示出了根据本公开一实施方式的检核任务执行装置的框图。
如图4所示，所述装置用于对与所述检核任务对应的目标数据表进行检核，所述装置包括获取模块10、判断模块20及赋值模块30，获取模块10连接于判断模块20，判断模块20连接于赋值模块30。
获取模块10，用于获取待执行的检核任务对应的检核信息。
判断模块20，用于根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务。
赋值模块30，用于确定在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
应该说明的是，检核任务执行装置为前述的检核任务执行方法对应的装置项，检核任务执行装置的各个模块的具体介绍请参阅之前对检核任务执行方法的描述，此处不再赘述。
这样，根据检核任务执行装置中各个模块的配合，本公开通过获取所述待执行的检核任务对应的检核信息，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果，利用已经执行过的相同的检核任务，可以快速获取本次检核任务的检核结果，显著提升了大数据量下的检核任务的执行效率，并且可显著节约数据源数据库计算资源和本地用户计算机存储资源。
请参阅图5，图5示出了根据本公开一实施方式的检核任务执行装置的框图。
如图5所示，所述装置用于对目标数据表进行检核，所述装置包括获取模块10、判断模块20及赋值模块30，获取模块10连接于判断模块20，判断模块20连接于赋值模块30。
获取模块10，用于获取所述待执行的检核任务对应的检核信息。
判断模块20，用于根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务。
在一种可能的实施方式中，判断模块10可以包括判断子模块200，用于在所述已完成的检核任务中存在检核信息与所述待执行的检核任务对应检核信息完全相同的检核任务时，判断在所述已完成的检核任务中存在所述目标检核任务。
在一种可能的实施方式中，判断模块10可以包括第一比较子模块210，用于将所述目标数据表更新时间与所述已完成的检核任务中各个检核任务对应的更新时间分别进行对比，获取所述已完成的检核任务中与所述目标数据表更新时间相同的检核任务，并形成第一任务集合；
在一种可能的实施方式中，判断模块10可以包括第二比较子模块220，第二比较子模块220连接于第一比较子模块210，用于在所述第一任务集合不为空时，将所述连接信息与所述第一任务集合中的各个检核任务对应的连接信息分别进行对比，获取所述第一任务集合中与所述连接信息相同的检核任务，并形成第二任务集合；及
在一种可能的实施方式中，判断模块10可以包括第三比较子模块230，第三比较子模块230连接于第二比较子模块220，用于在所述第二任务集合不为空时，将所述检核规则与所述第二任务集合中的各个检核任务对应的检核规则分别进行对比，获取所述第二任务集合中与所述检核规则相同的检核任务作为所述目标检核任务。
赋值模块30，用于在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
应该说明的是，检核任务执行装置为前述的检核任务执行方法对应的装置项，检核任务执行装置的各个模块的具体介绍请参阅之前对检核任务执行方法的描述，此处不再赘述。
请参阅图6，图6示出了根据本公开一实施方式的检核任务执行装置的框图。
如图6所示，所述装置用于对目标数据表进行检核，所述装置包括获取模块10、判断模块20、赋值模块30及检核模块40，获取模块10连接于判断模块20，判断模块20连接于赋值模块30，检核模块40连接于赋值模块30。
获取模块10，用于获取所述待执行的检核任务对应的检核信息。
判断模块20，用于根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务。
赋值模块30，用于在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
检核模块40，用于确定在已完成的检核任务中不存在所述目标检核任务时，根据所述检核信息对目标数据表进行检核，以执行所述检核任务。
应该说明的是，检核任务执行装置为前述的检核任务执行方法对应的装置项，检核任务执行装置的各个模块的具体介绍请参阅之前对检核任务执行方法的描述，此处不再赘述。
请参阅图7，图7示出了根据本公开一实施方式的检核任务执行装置的框图。
如图7所示，所述装置用于对目标数据表进行检核，所述装置包括获取模块10、判断模块20、赋值模块30及检核模块40，获取模块10连接于判断模块20，判断模块20连接于赋值模块30，检核模块40连接于记录模块50。
获取模块10，用于获取所述待执行的检核任务对应的检核信息。
判断模块20，用于根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务。
赋值模块30，用于确定在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
记录模块50，用于记录所述目标检核任务与所述检核任务的关联关系。
应该说明的是，检核任务执行装置为前述的检核任务执行方法对应的装置项，检核任务执行装置的各个模块的具体介绍请参阅之前对检核任务执行方法的描述，此处不再赘述。
这样，根据检核任务执行装置中各个模块的配合，本公开通过获取所述待执行的检核任务对应的检核信息，根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果，记录所述目标检核任务与所述检核任务的关联关系，可以快速获取针对目标数据表进行检核的检核结果，显著提升大数据量下检核任务的执行效率，并将本次检核任务与相同的已经完成的检核任务进行关联，可提供检核任务的监控。
请参阅图8，图8示出了根据本公开一实施方式的检核任务执行装置900的框图。
参照图8，该装置900可包括处理器901、存储有机器可执行指令的机器可读存储介质902。处理器901与机器可读存储介质902可经由系统总线903通信。并且，处理器901通过读取机器可读存储介质902中与检核任务执行逻辑对应的机器可执行指令以执行上文所述的检核任务执行方法。
本文中提到的机器可读存储介质902可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施方式。
Claims (13)
1.一种检核任务执行方法，其特征在于，所述方法包括：
获取待执行的检核任务对应的检核信息；
根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务；
确定在所述已完成的检核任务中存在所述目标检核任务，则将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
2.根据权利要求1所述的检核任务执行方法，其特征在于，所述方法还包括：
确定在已完成的检核任务中不存在所述目标检核任务，则根据所述检核信息执行所述待执行的检核任务。
3.根据权利要求1或2所述的检核任务执行方法，其特征在于，
所述检核信息包括：作为检核任务的检核对象的目标数据表的更新时间、所述目标数据表所属的数据库的连接信息以及检核规则。
4.根据权利要求3所述的检核任务执行方法，其特征在于，
根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，包括：
若在已完成的检核任务中存在检核信息与所述待执行的检核任务的检核信息完全相同的检核任务，则确定在已完成的检核任务中存在所述目标检核任务。
5.根据权利要求3所述的检核任务执行方法，其特征在于，
根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务，包括：
将所述目标数据表的更新时间与已完成的检核任务中各个检核任务对应的数据表的更新时间分别进行对比，获取所述已完成的检核任务中与所述目标数据表的更新时间相同的检核任务，并形成第一任务集合；
若所述第一任务集合不为空，则将所述目标数据表所属的数据库的连接信息与所述第一任务集合中的各个检核任务对应的连接信息分别进行对比，获取所述第一任务集合中与所述目标数据表所属的数据库的连接信息相同的检核任务，并形成第二任务集合；
若所述第二任务集合不为空，则将所述待执行的检核任务对应的检核规则与所述第二任务集合中的各个检核任务对应的检核规则分别进行对比，获取所述第二任务集合中与所述待执行的检核任务对应的检核规则相同的检核任务作为所述目标检核任务。
6.根据权利要求1所述检核任务执行方法，其特征在于，所述已完成的检核任务中的检核任务各不相同，所述方法还包括：
记录所述目标检核任务与所述待执行的检核任务的关联关系。
7.一种检核任务执行装置，其特征在于，所述装置包括：
获取模块，用于获取待执行的检核任务对应的检核信息；
判断模块，用于根据所述检核信息判断在已完成的检核任务中是否存在与所述待执行的检核任务相同的目标检核任务；
赋值模块，用于确定在所述已完成的检核任务中存在所述目标检核任务时，将目标检核任务对应的执行结果作为所述待执行的检核任务的执行结果。
8.根据权利要求7所述的检核任务执行装置，其特征在于，所述装置还包括：
检核模块，用于确定在已完成的检核任务中不存在所述目标检核任务时，根据所述检核信息执行所述待执行的检核任务。
9.根据权利要求7或8所述的检核任务执行装置，其特征在于，所述检核信息包括：作为检核任务的检核对象的目标数据表的更新时间、所述目标数据表所属的数据库的连接信息以及检核规则。
10.根据权利要求9所述的检核任务执行装置，其特征在于，所述判断模块包括：
判断子模块，用于在已完成的检核任务中存在检核信息与所述待执行的检核任务的检核信息完全相同的检核任务时，判断在已完成的检核任务中存在所述目标检核任务。
11.根据权利要求9所述的检核任务执行装置，其特征在于，所述判断模块包括：
第一比较子模块，用于将所述目标数据表的更新时间与已完成的检核任务中各个检核任务对应的数据表的更新时间分别进行对比，获取所述已完成的检核任务中与所述目标数据表的更新时间相同的检核任务，并形成第一任务集合；
第二比较子模块，用于在所述第一任务集合不为空时，将所述目标数据表所属的数据库的连接信息与所述第一任务集合中的各个检核任务对应的连接信息分别进行对比，获取所述第一任务集合中与所述目标数据表所属的数据库的连接信息相同的检核任务，并形成第二任务集合；及
第三比较子模块，用于在所述第二任务集合不为空时，将所述待执行的检核任务对应的检核规则与所述第二任务集合中的各个检核任务对应的检核规则分别进行对比，获取所述第二任务集合中与所述待执行的检核任务对应的检核规则相同的检核任务作为所述目标检核任务。
12.根据权利要求7所述检核任务执行装置，其特征在于，所述已完成的检核任务中的检核任务各不相同，所述装置还包括：
记录模块，用于记录所述目标检核任务与所述待执行的检核任务的关联关系。
13.一种检核任务执行装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810653070.5A CN108920256A (zh) | 2018-06-22 | 2018-06-22 | 检核任务执行方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810653070.5A CN108920256A (zh) | 2018-06-22 | 2018-06-22 | 检核任务执行方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108920256A true CN108920256A (zh) | 2018-11-30 |
Family
ID=64421812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810653070.5A Pending CN108920256A (zh) | 2018-06-22 | 2018-06-22 | 检核任务执行方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108920256A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111061718A (zh) * | 2019-12-19 | 2020-04-24 | 中国建设银行股份有限公司 | 一种数据检核方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101882161A (zh) * | 2010-06-23 | 2010-11-10 | 中国工商银行股份有限公司 | 应用级异步任务调度系统和方法 |
| CN103744854A (zh) * | 2013-11-15 | 2014-04-23 | 北京正图数创信息技术有限公司 | 一种基于大数据仓储、挖掘技术的地址数据匹配挖掘平台 |
| CN105574037A (zh) * | 2014-10-16 | 2016-05-11 | 腾讯科技（深圳）有限公司 | 一种信息处理方法及装置 |
-
2018
- 2018-06-22 CN CN201810653070.5A patent/CN108920256A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101882161A (zh) * | 2010-06-23 | 2010-11-10 | 中国工商银行股份有限公司 | 应用级异步任务调度系统和方法 |
| CN103744854A (zh) * | 2013-11-15 | 2014-04-23 | 北京正图数创信息技术有限公司 | 一种基于大数据仓储、挖掘技术的地址数据匹配挖掘平台 |
| CN105574037A (zh) * | 2014-10-16 | 2016-05-11 | 腾讯科技（深圳）有限公司 | 一种信息处理方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111061718A (zh) * | 2019-12-19 | 2020-04-24 | 中国建设银行股份有限公司 | 一种数据检核方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10311105B2 (en) | Filtering queried data on data stores | |
| US20150205885A1 (en) | CREATING NoSQL DATABASE INDEX FOR SEMI-STRUCTURED DATA | |
| CN104036029B (zh) | 大数据一致性对比方法和系统 | |
| CN107003935A (zh) | 优化数据库去重 | |
| US10037355B2 (en) | Mechanisms for merging index structures in MOLAP while preserving query consistency | |
| TWI475411B (zh) | Large data checking system and its method in cloud platform | |
| US20140101167A1 (en) | Creation of Inverted Index System, and Data Processing Method and Apparatus | |
| CN109033365B (zh) | 一种数据处理方法及相关设备 | |
| US11726970B2 (en) | Incremental transfer of database segments | |
| US11797487B2 (en) | Maintaining stable record identifiers in the presence of updated data records | |
| CN111708895B (zh) | 一种知识图谱系统的构建方法及装置 | |
| CN103136244A (zh) | 基于云计算平台的并行数据挖掘方法及系统 | |
| CN110019017B (zh) | 一种基于访问特征的高能物理文件存储方法 | |
| CN108920256A (zh) | 检核任务执行方法及装置 | |
| CN106503260B (zh) | 一种提高数据库的有效存储空间的方法和装置 | |
| CN104539449A (zh) | 一种故障信息处理方法与相关装置 | |
| CN116089518A (zh) | 一种数据模型抽取方法及系统、终端、介质 | |
| CN106326400A (zh) | 基于多维数据集的数据处理系统 | |
| CN110851437A (zh) | 一种存储方法、装置及设备 | |
| CN112131291B (zh) | 基于json数据的结构化解析方法、装置、设备及存储介质 | |
| US8296336B2 (en) | Techniques for efficient dataloads into partitioned tables using swap tables | |
| CN106649444B (zh) | 一种cae数据库系统获取cad数据的方法及装置 | |
| US20160232187A1 (en) | Dump analysis method, apparatus and non-transitory computer readable storage medium | |
| Aydin et al. | Data modelling for large-scale social media analytics: design challenges and lessons learned | |
| CN111984470B (zh) | 一种存储集群系统故障恢复自动化检测方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181130 |