CN113946626A - 数据同步检测方法、装置、计算机设备及存储介质 - Google Patents

数据同步检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113946626A
CN113946626A CN202111248178.4A CN202111248178A CN113946626A CN 113946626 A CN113946626 A CN 113946626A CN 202111248178 A CN202111248178 A CN 202111248178A CN 113946626 A CN113946626 A CN 113946626A
Authority
CN
China
Prior art keywords
source table
name
task
target source
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111248178.4A
Other languages
English (en)
Inventor
雷志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111248178.4A priority Critical patent/CN113946626A/zh
Publication of CN113946626A publication Critical patent/CN113946626A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations

Abstract

本申请实施例属于计算机技术领域，应用于智慧物流领域中，涉及一种数据同步检测方法、装置、计算机设备及存储介质，包括获取任务时序控制表，其中，所述任务时序控制表包括任务名称和初始源表名称，所述任务名称与所述初始源表为一对一或者一对多的关联关系；在接收到任务指示信号时，获取任务指示信号携带的任务名称，从任务时序控制表中查找与任务指示信号携带的任务名称关联的初始源表名称，作为目标源表名称；基于目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步，若目标源表完成同步，则运行所述目标任务名称对应的任务。任务时序控制表可存储于区块链中。本申请保证任务运行结果的正确性。

Description

数据同步检测方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及数据同步检测方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的不断革新发展，计算机技术已经广泛应用于各行各业中，用于任务的线上执行。在任务执行前，计算机需要读取关系或非关系型数据库中表的数据，以用于在任务执行中的使用。
但是，在任务执行过程，往往会由于一些表中的数据记录没有及时更新，导致运算结果错误。而对于这种情况，即使是用户或者研发人员也无法立刻发现，直到得到任务运行的中间结果或者最终结果，并进行验证后才能够发现中间结果或者最终结果是错误的，造成了许多损失。
发明内容
本申请实施例的目的在于提出一种数据同步检测方法、装置、计算机设备及存储介质，保证任务运行结果的正确性。
为了解决上述技术问题，本申请实施例提供一种数据同步检测方法，采用了如下所述的技术方案：
一种数据同步检测方法，包括下述步骤：
获取任务时序控制表，其中，所述任务时序控制表包括任务名称和初始源表名称，所述任务名称与所述初始源表为一对一或者一对多的关联关系；
在接收到任务指示信号时，获取所述任务指示信号携带的任务名称，从所述任务时序控制表中查找与所述任务指示信号携带的任务名称关联的初始源表名称，作为目标源表名称；
基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步，若所述目标源表完成同步，则运行所述目标任务名称对应的任务；
若否，将未完成同步的目标源表的源表名称发送至前端页面。
进一步的，基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步的步骤包括：
接收查询记录值，调取预设的SQL语句模板，并基于所述SQL语句模板、所述目标源表名称和所述查询记录值生成查询SQL语句；
与关系型数据库建立连接，执行所述查询SQL语句，以查询在所述关系型数据库中存储的目标源表中是否存在所述查询记录值；
在存在所述查询记录值时，确定所述目标源表完成同步；
在不存在所述查询记录值时，确定所述目标源表未完成同步。
进一步的，所述查询记录值为源表时间参数，所述基于所述SQL语句模板、所述目标源表名称和所述查询记录值生成查询SQL语句的步骤包括：
将所述目标源表名称和所述源表时间参数填入所述SQL语句模板的对应的字段空缺处，生成所述查询SQL语句。
进一步的，所述基于所述目标源表名称查找到对应的目标源表的步骤包括：
与关系型数据库建立连接，获取所述关系型数据库中存储的所有源表以及所述源表的源表名称；
确定所述源表名称中是否存在所述目标源表名称，在所述源表名称中存在所述目标源表名称时，将所述目标源表名称对应的源表作为所述目标源表。
进一步的，在所述确定所述源表名称中是否存在所述目标源表名称的步骤之后，还包括：
在源表名称中不存在目标源表名称时，向用户终端发送报错信号，其中，所述报错信号携带有所述目标源表名称；
接收所述用户终端返回的响应信号，获取所述响应信号携带的替换源表名称，其中，所述响应信号与所述报错信号相对应；
查询所述源表名称中是否存在所述替换源表名称，在所述源表名称中存在所述替换页面名称时，将所述替换源表名称对应的源表作为所述目标源表。
进一步的，在所述确定所述源表名称中是否存在所述目标源表名称的步骤之后，还包括：
在源表名称中不存在目标源表名称时，分别计算每个源表名称和所述目标源表名称的相似度；
将与所述目标源表名称相似度最高的源表名称作为待确认源表名称，并向用户终端发送请求确认信号，其中，所述请求确认信号携带所述待确认源表名称；
在接收到所述用户终端返回的确认信号时，将所述待确认源表名称所对应的源表作为所述目标源表，其中，所述确认信号与所述请求确认信号相对应。
进一步的，在所述基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步的步骤之前，还包括：
在接收到数据同步信号时，获取数据同步信号携带的同步表名称和关系型数据库中源表以及所述源表名称；
确定是否存在与所述同步表名称相同的所述源表名称，在存在时，将所述源表名称对应的源表标记为同步中；
所述确定所述目标源表是否完成同步的步骤包括：
确定所述目标源表是否具有所述同步中的标记，若否，则确定所述目标源表是否完成同步，若是，则根据预设时间周期循环检测所述目标源表是否具有所述同步中的标记，直至所述目标源表不具有所述同步中的标记时，确定所述目标源表是否完成同步。
为了解决上述技术问题，本申请实施例还提供一种数据同步检测装置，采用了如下所述的技术方案：
一种数据同步检测装置，包括：
获取模块，用于获取任务时序控制表，其中，所述任务时序控制表包括任务名称和初始源表名称，所述任务名称与所述初始源表为一对一或者一对多的关联关系；
查找模块，用于在接收到任务指示信号时，获取所述任务指示信号携带的任务名称，从所述任务时序控制表中查找与所述任务指示信号携带的任务名称关联的初始源表名称，作为目标源表名称；
运行模块，用于基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步，若所述目标源表完成同步，则运行所述目标任务名称对应的任务。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的数据同步检测方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的数据同步检测方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请在任务时序控制表中配置任务名称、初始源表名称以及其对应关系。在任务执行前，通过在任务时序控制表中查找，确定出目标源表名称，进而检测目标源表是否完成同步，在确定目标源表完成同步后，才运行任务。保证了任务运行过程中，从目标源表中调取的数据是完成同步的最新数据，进而保证任务运行结果的正确性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的数据同步检测方法的一个实施例的流程图；
图3是根据本申请的数据同步检测装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
附图标记：200、计算机设备；201、存储器；202、处理器；203、网络接口；300、数据同步检测装置；301、获取模块；302、查找模块；303、运行模块。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的数据同步检测方法一般由服务器/终端设备执行，相应地，数据同步检测装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的数据同步检测方法的一个实施例的流程图。所述的数据同步检测方法，包括以下步骤：
S1：获取任务时序控制表，其中，所述任务时序控制表包括任务名称和初始源表名称，所述任务名称与所述初始源表为一对一或者一对多的关联关系。
在本实施例中，当创建一个新任务时，获取运行的任务时序控制表，研发人员在所述任务时序控制表中添加一列源表字段，其中，所述源表字段下记录有任务中需要读取的初始源表名称，初始源表名称之间用预设的标识符，例如，逗号，相隔开。如某一任务需要用到表1，表2的数据。那么时序表中对应任务的源表字段的值(即初始源表名称)就写为：“表1名,表2名”。
S2：在接收到任务指示信号时，获取所述任务指示信号携带的任务名称，从所述任务时序控制表中查找与所述任务指示信号携带的任务名称关联的初始源表名称，作为目标源表名称。
在本实施例中，在接收到任务指示信号时，基于目标任务名称查找到目标源表名称，进而执行目标源表中数据是否同步更新的判定。其中，在识别到有任务加入到预设的流程控制表中时，确定接收到所述任务指示信号，需要进行后续的目标源表是否完成同步的判定操作，以便运行该任务。
在本实施例中，数据同步检测方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收任务指示信号。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
S3：基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步，若所述目标源表完成同步，则运行所述目标任务名称对应的任务。
在本实施例中，从时序控制表中获取到任务所需的初始源表名称作为目标源表名称。在月结任务(即每个月运行一次的任务)的场景中，所需要的源表数据是按照proce_date来分区的。例如，该任务7月1号运行时，所需源表中的数据都是包括proc_date＝’20210630’字段的数据。如果计算机没有在与任务名称相关联的源表中查到有20210630的数据，则认为没有同步，如果查到则认为同步成功。若目标源表未完成同步，则将未完成同步的目标源表的源表名称发送至前端页面。将没有完成同步的源表名称返回到任务调度模块界面，以供用户及时了解情况，用户看到未同步源表名称，即可以在获知任务没有被执行的同时，了解到未同步的源表，进而能够及时通知相关人员进行源表同步。
具体的，基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步：
接收查询记录值，调取预设的SQL语句模板，并基于所述SQL语句模板、所述目标源表名称和所述查询记录值生成查询SQL语句；
与关系型数据库建立连接，执行所述查询SQL语句，以查询在所述关系型数据库中存储的目标源表中是否存在所述查询记录值；
在存在所述查询记录值时，确定所述目标源表完成同步；
在不存在所述查询记录值时，确定所述目标源表未完成同步。
在本实施例中，使用的SQL语言能够使得操作关系型数据库非常方便。查询记录值是指源表中的数据。例如，源表1中有如下字段：字段1，字段2，…,字段n,proc_date，其中，这些表中必有proc_date这个字段，则在查询语句中，若配置的查询记录值为字段1，那么就需要确定目标源表中是否存在字段1。
其中，所述查询记录值为源表时间参数，所述基于所述SQL语句模板、所述目标源表名称和所述查询记录值生成查询SQL语句的步骤包括：
将所述目标源表名称和所述源表时间参数填入所述SQL语句模板的对应的字段空缺处，生成所述查询SQL语句。
在本实施例中，本申请使用的查询语句(即查询SQL语句)如下：
Select count(1)from${源表名称}where
Proc_date＝${源表时间参数}。源表时间参数在月结任务(即每个月运行一次的任务)的场景中的具体值为每个月的月末。
此外，所述基于所述目标源表名称，确定出所述目标源表名称对应的目标源表的步骤包括：
与关系型数据库建立连接，获取所述关系型数据库中存储的所有源表以及所述源表的源表名称；
确定所述源表名称中是否存在所述目标源表名称，在所述源表名称中存在所述目标源表名称时，将所述目标源表名称对应的源表作为所述目标源表。
在本实施例中，关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。简单说，关系型数据库是由多张能互相联接的二维行列表格组成的数据库。例如，MySQL数据库就是一种关系型数据库。在步骤之后，即确定出目标源表后，基于接收的查询记录值生成同步查询SQL语句，通过同步查询SQL语句确定所述目标源表是否完成同步。
其中，在所述确定所述源表名称中是否存在所述目标源表名称的步骤之后，还包括：
在源表名称中不存在目标源表名称时，向用户终端发送报错信号，其中，所述报错信号携带有所述目标源表名称；
接收所述用户终端返回的响应信号，获取所述响应信号携带的替换源表名称，其中，所述响应信号与所述报错信号相对应。
在本实施例中，查询所述源表名称中是否存在所述替换源表名称，在所述源表名称中存在所述替换页面名称时，将所述替换源表名称对应的源表作为所述目标源表。通过前端页面与用户进行通信，以获取用户通过前端页面返回的替换源表名称，进而通过替换源表名称确定出目标源表。本申请在源表名称中不存在目标源表名称时，并不结束执行，而是与用户进行通信操作，保证了计算机的执行效率，提升用户体验。
此外，在所述确定所述源表名称中是否存在所述目标源表名称的步骤之后，还包括：
在源表名称中不存在目标源表名称时，分别计算每个源表名称和所述目标源表名称的相似度；
将与所述目标源表名称相似度最高的源表名称作为待确认源表名称，并向用户终端发送请求确认信号，其中，所述请求确认信号携带所述待确认源表名称；
在接收到所述用户终端返回的确认信号时，将所述待确认源表名称所对应的源表作为所述目标源表，其中，所述确认信号与所述请求确认信号相对应。
在本实施例中，本申请的相似度计算为将源表名称和目标源表名称转换为源表向量和目标源表向量，计算源表向量和目标源表向量之间的余弦相似度。通过余弦相似度的计算，确定出待确认源表名称供用户确认，避免用户还需要重新去查找新的源表名称，费时费力，同时造成计算机资源的浪费。
作为本申请可选的实施例，在所述基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步的步骤之前，还包括：
在接收到数据同步信号时，获取数据同步信号携带的同步表名称和关系型数据库中源表以及所述源表名称；
确定是否存在与所述同步表名称相同的所述源表名称，在存在时，将所述源表名称对应的源表标记为同步中；
所述确定所述目标源表是否完成同步的步骤包括：
确定所述目标源表是否具有所述同步中的标记，若否，则确定所述目标源表是否完成同步，若是，则根据预设时间周期循环检测所述目标源表是否具有所述同步中的标记，直至所述目标源表不具有所述同步中的标记时，确定所述目标源表是否完成同步。
在本实施例中，步骤S3之前还包括：在接收到数据同步信号时，获取数据同步信号携带的同步表名称，确定是否存在与所述同步表名称相同的源表名称，在存在时，将与所述同步表名称相同的源表名称所对应的源表标记为同步中。在执行后续步骤S3时，不对被标记为同步中的目标源表进行是否完成同步的确认操作，以避免造成数据混乱，直至接收到数据表同步完成信号或检测到目标源表不具有同步中的标记时，重新执行步骤S3。需要说明的是，本申请对于目标源表的是否完成同步的确定操作，与接收到数据表同步完成信号不相同，即使接收到数据表同步完成信号，也依然需要执行所述确定所述目标源表是否完成同步的步骤，以保证任务的顺利进行，处理的数据正确，避免任务的计算结果错误。
本申请能够自动检测源表数据是否完成同步，无需人员手动检测源表是否同步完成，减轻了人员的工作量，节约了运维成本。同时本申请在源表数据没有完成同步时，相关的任务无法被调起，从而保证了任务运行时，数据的正确性的要求，避免了因为源表数据没有同步，而导致的任务运行结果不正确，后续运行任务过程中也得不到正确的值，以致于人员排查问题需要从后往前倒推，才能发现问题。从而极大的节省了运维资源。
需要强调的是，为进一步保证上述任务时序控制表的私密和安全性，上述任务时序控制表还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可应用于智慧物流领域中，具体的，在其计算类的任务运行之前，对任务计算需要用到的源表进行数据是否完成同步的判断操作，避免任务运行结果错误，从而推动智慧城市的建设。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种数据同步检测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的数据同步检测装置300包括：获取模块301、查找模块302以及运行模块303。其中：获取模块301，用于获取任务时序控制表，其中，所述任务时序控制表包括任务名称和初始源表名称，所述任务名称与所述初始源表为一对一或者一对多的关联关系；查找模块302，用于在接收到任务指示信号时，获取所述任务指示信号携带的任务名称，从所述任务时序控制表中查找与所述任务指示信号携带的任务名称关联的初始源表名称，作为目标源表名称；运行模块303，用于基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步，若所述目标源表完成同步，则运行所述目标任务名称对应的任务。
在本实施例中，本申请在任务时序控制表中配置任务名称、初始源表名称以及其对应关系。在任务执行前，通过在任务时序控制表中查找，确定出目标源表名称，进而检测目标源表是否完成同步，在确定目标源表完成同步后，才运行任务。保证了任务运行过程中，从目标源表中调取的数据是完成同步的最新数据，进而保证任务运行结果的正确性。
运行模块303包括接收子模块、执行子模块、第一确定子模块和第二确定子模块，其中，接收子模块，用于接收查询记录值，调取预设的SQL语句模板，并基于所述SQL语句模板、所述目标源表名称和所述查询记录值生成查询SQL语句；执行子模块，用于与关系型数据库建立连接，执行所述查询SQL语句，以查询在所述关系型数据库中存储的目标源表中是否存在所述查询记录值；第一确定子模块，用于在存在所述查询记录值时，确定所述目标源表完成同步；第二确定子模块，用于在不存在所述查询记录值时，确定所述目标源表未完成同步。
在本实施例的一些可选的实现方式中，所述查询记录值为源表时间参数，上述接收子模块进一步用于：将所述目标源表名称和所述源表时间参数填入所述SQL语句模板的对应的字段空缺处，生成所述查询SQL语句。
运行模块303包括获取子模块和查询子模块，其中，获取子模块与关系型数据库建立连接，获取所述关系型数据库中存储的所有源表以及所述源表的源表名称；查询子模块确定所述源表名称中是否存在所述目标源表名称，在所述源表名称中存在所述目标源表名称时，将所述目标源表名称对应的源表作为所述目标源表。
运行模块303还包括第一信号发送子模块和第一信号接收子模块，其中，发送子模块用于在源表名称中不存在目标源表名称时，向用户终端发送报错信号，其中，所述报错信号携带有所述目标源表名称；信号接收子模块用于接收所述用户终端返回的响应信号，获取所述响应信号携带的替换源表名称，其中，所述响应信号与所述报错信号相对应。
运行模块303还包括计算子模块、第二信号发送子模块和第二信号接收子模块，其中，计算子模块，用于在源表名称中不存在目标源表名称时，分别计算每个源表名称和所述目标源表名称的相似度；第二信号发送子模块用于将与所述目标源表名称相似度最高的源表名称作为待确认源表名称，并向用户终端发送请求确认信号，其中，所述请求确认信号携带所述待确认源表名称；第二信号接收子模块用于在接收到所述用户终端返回的确认信号时，将所述待确认源表名称所对应的源表作为所述目标源表，其中，所述确认信号与所述请求确认信号相对应。
在本实施例的一些可选的实现方式中，所述数据同步检测装置300还包括接收模块和标记模块，其中，接收模块用于在接收到数据同步信号时，获取数据同步信号携带的同步表名称和关系型数据库中源表以及所述源表名称；标记模块用于确定是否存在与所述同步表名称相同的所述源表名称，在存在时，将所述源表名称对应的源表标记为同步中。
所述运行模块303还用于确定所述目标源表是否具有所述同步中的标记，若否，则确定所述目标源表是否完成同步，若是，则根据预设时间周期循环检测所述目标源表是否具有所述同步中的标记，直至所述目标源表不具有所述同步中的标记时，确定所述目标源表是否完成同步。
本申请在任务时序控制表中配置任务名称、初始源表名称以及其对应关系。在任务执行前，通过在任务时序控制表中查找，确定出目标源表名称，进而检测目标源表是否完成同步，在确定目标源表完成同步后，才运行任务。保证了任务运行过程中，从目标源表中调取的数据是完成同步的最新数据，进而保证任务运行结果的正确性。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备200包括通过系统总线相互通信连接存储器201、处理器202、网络接口203。需要指出的是，图中仅示出了具有组件201-203的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器201至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器201可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器201也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器201还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器201通常用于存储安装于所述计算机设备200的操作系统和各类应用软件，例如数据同步检测方法的计算机可读指令等。此外，所述存储器201还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器202在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器202通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器202用于运行所述存储器201中存储的计算机可读指令或者处理数据，例如运行所述数据同步检测方法的计算机可读指令。
所述网络接口203可包括无线网络接口或有线网络接口，该网络接口203通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
在本实施例中，保证了任务运行过程中，从目标源表中调取的数据是完成同步的最新数据，进而保证任务运行结果的正确性。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据同步检测方法的步骤。
在本实施例中，保证了任务运行过程中，从目标源表中调取的数据是完成同步的最新数据，进而保证任务运行结果的正确性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种数据同步检测方法，其特征在于，包括下述步骤：
获取任务时序控制表，其中，所述任务时序控制表包括任务名称和初始源表名称，所述任务名称与所述初始源表为一对一或者一对多的关联关系；
在接收到任务指示信号时，获取所述任务指示信号携带的任务名称，从所述任务时序控制表中查找与所述任务指示信号携带的任务名称关联的初始源表名称，作为目标源表名称；
基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步，若所述目标源表完成同步，则运行所述目标任务名称对应的任务。
2.根据权利要求1所述的数据同步检测方法，其特征在于，基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步的步骤包括：
接收查询记录值，调取预设的SQL语句模板，并基于所述SQL语句模板、所述目标源表名称和所述查询记录值生成查询SQL语句；
与关系型数据库建立连接，执行所述查询SQL语句，以查询在所述关系型数据库中存储的目标源表中是否存在所述查询记录值；
在存在所述查询记录值时，确定所述目标源表完成同步；
在不存在所述查询记录值时，确定所述目标源表未完成同步。
3.根据权利要求2所述的数据同步检测方法，其特征在于，所述查询记录值为源表时间参数，所述基于所述SQL语句模板、所述目标源表名称和所述查询记录值生成查询SQL语句的步骤包括：
将所述目标源表名称和所述源表时间参数填入所述SQL语句模板的对应的字段空缺处，生成所述查询SQL语句。
4.根据权利要求1所述的数据同步检测方法，其特征在于，所述基于所述目标源表名称查找到对应的目标源表的步骤包括：
与关系型数据库建立连接，获取所述关系型数据库中存储的所有源表以及所述源表的源表名称；
确定所述源表名称中是否存在所述目标源表名称，在所述源表名称中存在所述目标源表名称时，将所述目标源表名称对应的源表作为所述目标源表。
5.根据权利要求4所述的数据同步检测方法，其特征在于，在所述确定所述源表名称中是否存在所述目标源表名称的步骤之后，还包括：
在源表名称中不存在目标源表名称时，向用户终端发送报错信号，其中，所述报错信号携带有所述目标源表名称；
接收所述用户终端返回的响应信号，获取所述响应信号携带的替换源表名称，其中，所述响应信号与所述报错信号相对应；
查询所述源表名称中是否存在所述替换源表名称，在所述源表名称中存在所述替换页面名称时，将所述替换源表名称对应的源表作为所述目标源表。
6.根据权利要求4所述的数据同步检测方法，其特征在于，在所述确定所述源表名称中是否存在所述目标源表名称的步骤之后，还包括：
在源表名称中不存在目标源表名称时，分别计算每个源表名称和所述目标源表名称的相似度；
将与所述目标源表名称相似度最高的源表名称作为待确认源表名称，并向用户终端发送请求确认信号，其中，所述请求确认信号携带所述待确认源表名称；
在接收到所述用户终端返回的确认信号时，将所述待确认源表名称所对应的源表作为所述目标源表，其中，所述确认信号与所述请求确认信号相对应。
7.根据权利要求1所述的数据同步检测方法，其特征在于，在所述基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步的步骤之前，还包括：
在接收到数据同步信号时，获取数据同步信号携带的同步表名称和关系型数据库中源表以及所述源表名称；
确定是否存在与所述同步表名称相同的所述源表名称，在存在时，将所述源表名称对应的源表标记为同步中；
所述确定所述目标源表是否完成同步的步骤包括：
确定所述目标源表是否具有所述同步中的标记，若否，则确定所述目标源表是否完成同步，若是，则根据预设时间周期循环检测所述目标源表是否具有所述同步中的标记，直至所述目标源表不具有所述同步中的标记时，确定所述目标源表是否完成同步。
8.一种数据同步检测装置，其特征在于，包括：
获取模块，用于获取任务时序控制表，其中，所述任务时序控制表包括任务名称和初始源表名称，所述任务名称与所述初始源表为一对一或者一对多的关联关系；
查找模块，用于在接收到任务指示信号时，获取所述任务指示信号携带的任务名称，从所述任务时序控制表中查找与所述任务指示信号携带的任务名称关联的初始源表名称，作为目标源表名称；
运行模块，用于基于所述目标源表名称查找到对应的目标源表，并确定所述目标源表是否完成同步，若所述目标源表完成同步，则运行所述目标任务名称对应的任务。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据同步检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据同步检测方法的步骤。
CN202111248178.4A 2021-10-26 2021-10-26 数据同步检测方法、装置、计算机设备及存储介质 Pending CN113946626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111248178.4A CN113946626A (zh) 2021-10-26 2021-10-26 数据同步检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111248178.4A CN113946626A (zh) 2021-10-26 2021-10-26 数据同步检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113946626A true CN113946626A (zh) 2022-01-18

Family

ID=79332395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111248178.4A Pending CN113946626A (zh) 2021-10-26 2021-10-26 数据同步检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113946626A (zh)

Similar Documents

Publication Publication Date Title
US20190166216A1 (en) Information pushing method and device
CN112380227B (zh) 基于消息队列的数据同步方法、装置、设备及存储介质
CN110928950A (zh) 区块链交易信息管理方法、装置、计算机设备及存储介质
CN106911554B (zh) 一种历史信息展示方法及装置
CN112631751A (zh) 任务调度方法、装置、计算机设备及存储介质
CN112631924A (zh) 自动化测试方法、装置、计算机设备及存储介质
CN112631884A (zh) 基于数据同步的压测方法、装置、计算机设备及存储介质
CN114564294A (zh) 智能服务编排方法、装置、计算机设备及存储介质
CN112860662B (zh) 自动化生产数据血缘关系建立方法、装置、计算机设备及存储介质
CN113010542A (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN112685115A (zh) 国际提示语生成方法、系统、计算机设备及存储介质
CN112507141A (zh) 调查任务生成方法、装置、计算机设备及存储介质
CN116956326A (zh) 权限数据的处理方法、装置、计算机设备及存储介质
CN111311374A (zh) 基于大学生的闲置物品交换方法、装置、设备及存储介质
CN113946626A (zh) 数据同步检测方法、装置、计算机设备及存储介质
CN113626438B (zh) 一种数据表管理的方法、装置、计算机设备及存储介质
CN114615325A (zh) 消息推送方法、装置、计算机设备及存储介质
CN114968822A (zh) 接口测试方法、装置、计算机设备及存储介质
CN113283759A (zh) 账户风险画像更新方法、装置、设备及存储介质
US20150169776A1 (en) System and method for displaying contextual data respective of events
CN115577867B (zh) 一种抽检任务创建方法、系统、计算机设备及存储介质
CN109547290B (zh) 云平台垃圾数据检测处理方法、装置、设备及存储介质
CN108037981B (zh) 一种附件管理方法及装置
CN115731057A (zh) 信息生成方法、装置、计算机设备及存储介质
CN115080045A (zh) 链路生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination