CN102982133A - 一种数据审核方法、装置及系统 - Google Patents
一种数据审核方法、装置及系统 Download PDFInfo
- Publication number
- CN102982133A CN102982133A CN2012104620682A CN201210462068A CN102982133A CN 102982133 A CN102982133 A CN 102982133A CN 2012104620682 A CN2012104620682 A CN 2012104620682A CN 201210462068 A CN201210462068 A CN 201210462068A CN 102982133 A CN102982133 A CN 102982133A
- Authority
- CN
- China
- Prior art keywords
- data
- tables
- identification information
- database
- source database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据审核方法、装置及系统，所述方法包括分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。进一步的，若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
Description
技术领域
本申请涉及集成中间件技术领域，特别涉及一种数据审核方法、装置及系统。
背景技术
企业服务总线ESB为传统中间件技术与XML、web服务等技术结合的产物。ESB系统提供了网络中最基本的连接中枢，是构筑企业神经系统的必要元素。
在企业中，由于开发时间或开发部分的不同，在整个企业信息系统中往往存在多个异构的、运行在不同的软硬件平台上的ESB信息系统同时运行，这些ESB信息系统的数据库彼此独立、相互封闭，使得各个ESB信息系统中的数据难以在整个企业信息系统中交流、共享和融合，从而形成了“信息孤岛”。目前，随着信息化应用的不断进步，通常通过数据集成联通“信息孤岛”，实现数据共享。其中，数据集成是指：对多个ESB信息系统的数据库之间的数据进行数据传输交换，从而达到数据集成。
由于ESB信息系统的数据之间的分布性及异构行的问题，实现数据集成一般通过公开各个ESB信息系统数据库的数据结构，即公开表结构、表间关系及编码含义等的方式实现。
由于各个ESB信息系统的数据库所处网络的差异性、抖动性等因素，导致数据在进行传输交换过程中发生数据丢失或数据错误的几率较大，但目前没有一种有效的数据审核方案，对目的端数据库接收到的源端数据库发送的数据的准确性进行判定。
发明内容
有鉴于此，本申请提供了一种数据审核方法、装置及系统，用以解决现有技术中无法有效对目的端数据库接收到的源端数据库发送的数据的准确性判断的技术问题。
本申请提供了一种数据审核方法，所述方法包括：
分别获取源端数据库的第一数据表及目的端数据库的第二数据表；
其中，所述第一数据表包括所述源端数据库中输出数据的标识信息，所述第二数据表包括所述目的端数据库中接收数据的标识信息；
将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果；
若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。
上述方法，优选的，所述方法还包括：
若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。
上述方法，优选的，在所述生成数据传输失败的审核结果之后，所述方法还包括：
分别将所述第一数据表与所述第二数据表中一一对应的标识信息进行标记；
将所述第一数据表中未标记的标识信息发送至所述源端数据库，并删除所述目的端数据库中与所述第二数据表中未标记的标识信息相对应的数据；
触发所述源端数据库向所述目的端数据库发送与其接收到的未标记的标识信息相对应的数据。
上述方法，优选的，所述分别获取源端数据库的第一数据表及目的端数据库的第二数据表包括：
获取源端数据库在第一预设时长内输出数据的标识信息，生成第一数据表；
并获取所述目的端数据库在所述第一预设时长内接收数据的标识信息，生成第二数据表。
上述方法，优选的，所述分别获取源端数据库的第一数据表及目的端数据库的第二数据表包括：
获取源端数据库在其数据输出量达到预设第一数据量时输出数据的标识信息，生成第一数据表；
并获取所述源端数据库输出所述第一数据量的数据的输出时长，获取所述目的端数据库在所述输出时长内接收数据的标识信息，生成第二数据表。
本申请还提供了一种数据审核装置，所述装置包括：
数据表获取单元，用于分别获取源端数据库的第一数据表及目的端数据库的第二数据表；
其中，所述第一数据表包括所述源端数据库中输出数据的标识信息，所述第二数据表包括所述目的端数据库中接收数据的标识信息；
数据表对比单元，用于将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果；
第一结果生成单元，用于若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。
上述装置，优选的，所述装置还包括：
第二结果生成单元，用于若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。
上述装置，优选的，所述装置还包括：
数据重传单元，用于在所述第二结果生成单元生成数据传输失败的审核结果之后，分别将所述第一数据表与所述第二数据表中一一对应的标识信息进行标记，将所述第一数据表中未标记的标识信息发送至所述源端数据库，并删除所述目的端数据库中与所述第二数据表中未标记的标识信息相对应的数据，触发所述源端数据库向所述目的端数据库发送与其接收到的未标记的标识信息相对应的数据。
上述装置，优选的，所述数据表获取单元包括：
第一获取子单元，用于获取源端数据库在第一预设时长内输出数据的标识信息，生成第一数据表；
第二获取子单元，用于获取所述目的端数据库在所述第一预设时长内接收数据的标识信息，生成第二数据表。
本申请还提供了一种数据审核系统，包括源端数据库、目的端数据库及如上述任意一项所述的数据审核装置。
由上述方案可知，本申请提供的一种数据审核方法、装置及系统，通过分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。并进一步的，若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种数据审核方法实施例一的流程图；
图2为本申请提供的一种数据审核方法实施例二的流程图；
图3为本申请提供的一种数据审核方法实施例三的流程图；
图4为本申请提供的一种数据审核装置实施例四的结构示意图；
图5为本申请提供的一种数据审核装置实施例五的结构示意图；
图6为本申请提供的一种数据审核装置实施例五的另一结构示意图；
图7为本申请提供的一种数据审核装置实施例六的部分结构示意图；
图8为本申请提供的一种数据审核装置实施例六的另一部分结构示意图；
图9为本申请提供的一种数据审核系统实施例七的结构示意图；
图10为本申请实施例七中基于规则的ESB服务安全控制的系统架构示意图；
图11为本申请实施例七中在企业服务总线里内嵌存储过程的构件示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1，其示出了本申请提供的一种数据审核方法实施例一的流程图，所述方法可以包括以下步骤：
步骤101：分别获取源端数据库的第一数据表及目的端数据库的第二数据表；
其中，所述第一数据表包括所述源端数据库中输出数据的标识信息，所述第二数据表包括所述目的端数据库中接收数据的标识信息。
优选的，所述步骤101可以通过以下方式具体实现：
触发源端数据库对其输出数据的标识信息进行获取生成第一数据表，并将所述第一数据表发送至目的端数据库；
触发所述目的端数据库对其接收数据的标识信息进行获取生成第二数据表；
分别获取所述第一数据表和所述第二数据表。
其中，所述源端数据库包括ESB数据集成的源端，所述目的端数据库包括ESB数据集成的目的端。
步骤102：将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果。
步骤103：判断所述对比结果是否满足预设的一一对应规则，执行步骤104。
其中，所述一一对应规则是指：所述第一数据表中的标识信息与所述第二数据表中的标识信息一一对应。若所述对比结果满足所述一一对应规则，说明所述源端数据库中输出的数据与所述目的端数据库接收的数据一一对应，即为数据传输成功，由此执行所述步骤104。
步骤104：生成数据传输成功的审核结果。
由上述方案可知，本申请提供的一种数据审核方法实施例一，通过分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
参考图2，其示出了本申请提供的一种数据审核方法实施例二的流程图，其中，若所述对比结果不满足所述一一对应规则，所述方法还包括：
步骤105：生成数据传输失败的审核结果。
需要说明的是，所述一一对应规则是指：所述第一数据表中的标识信息与所述第二数据表中的标识信息一一对应。若所述对比结果不满足所述一一对应规则，说明所述源端数据库中输出的数据与所述目的端数据库接收的数据并非一一对应，而是存在一定的差异性，即为数据在其传输过程中发生数据丢失、非法数据叠加或数据错误等状况，由此执行所述步骤105，生成数据传输失败的审核结果。
由上述方案可知，本申请提供的一种数据审核方法实施例二，通过分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果，若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
参考图3，其示出了本申请提供的一种数据审核方法实施例三的流程图，在所述步骤105之后，所述方法还可以包括以下步骤：
步骤106：分别将所述第一数据表与所述第二数据表中一一对应的标识信息进行标记。
其中，在所述步骤103中若所述对比结果不满足所述一一对应规则，说明数据传输失败，由此生成数据传输失败的审核结果，在这种情况下，优选的，本申请实施例可以进行数据重传，即执行所述步骤106至所述步骤108。
步骤107：将所述第一数据表中未标记的标识信息发送至所述源端数据库，并删除所述目的端数据库中与所述第二数据表中未标记的标识信息相对应的数据。
步骤108：触发所述源端数据库向所述目的端数据库发送与其接收到的未标记的标识信息相对应的数据。
其中，所述未标记的标识信息对于的数据即为所述源端数据库中未传输成功的数据。
由上述方案可知，本申请提供的一种数据审核方法实施例三，通过分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果，若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果，并触发所述源端数据库将传输发生错误的数据重新向所述目的端数据库进行发送。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
优选的，上述各个实施例中，所述步骤101可以通过以下方式具体实现：
获取源端数据库在第一预设时长内输出数据的标识信息，生成第一数据表；
并获取所述目的端数据库在所述第一预设时长内接收数据的标识信息，生成第二数据表。
需要说明的是，上述步骤101的具体实现方式中，优选的，可以通过建立第一触发器实现，在所述源端数据库输出数据的时间到达第一预设时长时，所述第一触发器触发获取源端数据库在第一预设时长内输出数据的标识信息，生成第一数据表；
并获取所述目的端数据库在所述第一预设时长内接收数据的标识信息，生成第二数据表。
例如：当源端数据库及目的端数据之间的数据传输到达某个时间点时，第一触发器触发对源端数据库数据进行汇总，汇总时依据某种预设规则，汇总的结果录入第一数据表中，并将该第一数据表发送至目的端数据库，触发对所述目的端数据库数据进行汇总，汇总的结果录入第二数据表，将第一数据表及第二数据进行对比，根据对比结果生成数据传输成功的审核结果，或进一步的，生成数据传输失败的审核结果。
另，优选的，上述各个实施例中，所述步骤101还可以通过以下方式具体实现：
获取源端数据库在其数据输出量达到预设第一数据量时输出数据的标识信息，生成第一数据表；
并获取所述源端数据库输出所述第一数据量的数据的输出时长，获取所述目的端数据库在所述输出时长内接收数据的标识信息，生成第二数据表。
需要说明的是，上述步骤101的具体实现方式中，优选的，可以通过建立第二触发器实现，在所述源端数据库的数据输出量达到预设第一数据量时，所述第二触发器触发获取源端数据库在其数据输出量达到预设第一数据量时输出数据的标识信息，生成第一数据表；
并获取所述源端数据库输出所述第一数据量的数据的输出时长，获取所述目的端数据库在所述输出时长内接收数据的标识信息，生成第二数据表。
例如：当源端数据库及目的端数据之间的数据传输到达某个数据量时，第二触发器触发对源端数据库数据进行汇总，汇总时依据某种预设规则，汇总的结果录入第一数据表中，并将该第一数据表发送至目的端数据库，触发对所述目的端数据库数据进行汇总，汇总的结果录入第二数据表，将第一数据表及第二数据进行对比，根据对比结果生成数据传输成功的审核结果，或进一步的，生成数据传输失败的审核结果。
参考图4，其示出了本申请提供的一种数据审核装置实施例四的结构示意图，所述装置包括：
数据表获取单元401，用于分别获取源端数据库的第一数据表及目的端数据库的第二数据表；
其中，所述第一数据表包括所述源端数据库中输出数据的标识信息，所述第二数据表包括所述目的端数据库中接收数据的标识信息。
优选的，所述数据表获取单元401可以通过以下方式具体实现：
触发源端数据库对其输出数据的标识信息进行获取生成第一数据表，并将所述第一数据表发送至目的端数据库；
触发所述目的端数据库对其接收数据的标识信息进行获取生成第二数据表；
分别获取所述第一数据表和所述第二数据表。
其中，所述源端数据库包括ESB数据集成的源端，所述目的端数据库包括ESB数据集成的目的端。
数据表对比单元402，用于将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果。
需要说明的是，所述数据表对比单元402与所述数据表获取单元401相连接。
第一结果生成单元403，用于若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。
其中，所述一一对应规则是指：所述第一数据表中的标识信息与所述第二数据表中的标识信息一一对应。若所述对比结果满足所述一一对应规则，说明所述源端数据库中输出的数据与所述目的端数据库接收的数据一一对应，即为数据传输成功，由此所述第一结果生成单元403生成数据传输成功的审核结果。
需要说明的是，所述第一结果生成单元403与所述数据表对比单元402相连接。
由上述方案可知，本申请提供的一种数据审核装置实施例四，通过分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
参考图5，其示出了本申请提供的一种数据审核装置实施例五的结构示意图，所述装置还包括：
第二结果生成单元404，用于若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。
需要说明的是，所述第二结果生成单元404与所述数据表对比单元402相连接。
需要说明的是，所述一一对应规则是指：所述第一数据表中的标识信息与所述第二数据表中的标识信息一一对应。若所述对比结果不满足所述一一对应规则，说明所述源端数据库中输出的数据与所述目的端数据库接收的数据并非一一对应，而是存在一定的差异性，即为数据在其传输过程中发生数据丢失、非法数据叠加或数据错误等状况，由此所述第二结果生成单元404生成数据传输失败的审核结果。
由上述方案可知，本申请提供的一种数据审核装置实施例五，通过分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果，若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
优选的，参考图6，其示出了本申请实施例五的另一结构示意图，所述装置还包括：
数据重传单元405，用于在所述第二结果生成单元404生成数据传输失败的审核结果之后，分别将所述第一数据表与所述第二数据表中一一对应的标识信息进行标记，将所述第一数据表中未标记的标识信息发送至所述源端数据库，并删除所述目的端数据库中与所述第二数据表中未标记的标识信息相对应的数据，触发所述源端数据库向所述目的端数据库发送与其接收到的未标记的标识信息相对应的数据。
需要说明的是，所述数据表对比单元402生成的对比结果不满足所述一一对应规则，说明所述源端数据库与所述目的端数据库之间的数据传输失败，由此，所述第二结果生成单元404生成数据传输失败的审核结果，这种情况下，优选的，本申请实施例可以进行数据重传，即触发所述数据重传单元405。
其中，所述未标记的标识信息对于的数据即为所述源端数据库中未传输成功的数据。
需要说明的是，所述数据重传单元405与所述第二结果生成单元404相连接。
由上述方案可知，本申请提供的一种数据审核装置实施例五，通过分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果，若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果，并触发所述源端数据库将传输发生错误的数据重新向所述目的端数据库进行发送。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
优选的，上述各个装置实施例中，如图7所示，为本申请实施例六的部分结构式示意图，所述数据表获取单元401可以包括：
第一获取子单元411，用于获取源端数据库在第一预设时长内输出数据的标识信息，生成第一数据表；
第二获取子单元412，用于获取所述目的端数据库在所述第一预设时长内接收数据的标识信息，生成第二数据表。
优选的，上述第一获取子单元411及所述第二获取子单元412可以通过建立第一触发器具体实现，即在所述源端数据库输出数据的时间到达第一预设时长时，所述第一触发器触发所述第一获取子单元411及所述第二获取子单元412。
另，优选的，上述各个装置实施例中，如图8所示为本申请实施例六的另一部分结构示意图，所述数据表获取单元401包括：
第三获取子单元413，用于获取源端数据库在其数据输出量达到预设第一数据量时输出数据的标识信息，生成第一数据表；
第四获取子单元414，用于获取所述源端数据库输出所述第一数据量的数据的输出时长，获取所述目的端数据库在所述输出时长内接收数据的标识信息，生成第二数据表。
优选的，所述第三获取子单元413及所述第四获取子单元414可以通过建立第二触发器具体实现，即在所述源端数据库的数据输出量达到预设第一数据量时，所述第二触发器触发所述第三获取子单元413和所述第四获取子单元414。
参考图9，其示出了本申请提供的一种数据审核系统实施例七的结构示意图，所述系统包括源端数据库901、目的端数据库902及如上述任意一个装置实施例所述的数据审核装置903。
其中，所述数据审核装置903，用于分别获取源端数据库901的第一数据表及目的端数据库902的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。
其中，所述第一数据表包括所述源端数据库901中输出数据的标识信息，所述第二数据表包括所述目的端数据库902中接收数据的标识信息。
优选的，若所述对比结果不满足所述一一对应规则，所述数据审核装置903还用于：
生成数据传输失败的审核结果。
优选的，所述数据审核装置901在生成数据传输失败的审核结果之后，还用于分别将所述第一数据表与所述第二数据表中一一对应的标识信息进行标记，将所述第一数据表中未标记的标识信息发送至所述源端数据库901，并删除所述目的端数据库902中与所述第二数据表中未标记的标识信息相对应的数据，触发所述源端数据库901向所述目的端数据库902发送与其接收到的未标记的标识信息相对应的数据。
其中，优选的，所述数据审核装置903在分别获取源端数据库901的第一数据表及目的端数据库902的第二数据表时，可以通过以下方式具体实现：
获取源端数据库901在第一预设时长内输出数据的标识信息，生成第一数据表；
并获取所述目的端数据库902在所述第一预设时长内接收数据的标识信息，生成第二数据表。
优选的，所述数据审核装置903在分别获取源端数据库901的第一数据表及目的端数据库902的第二数据表时，还可以通过以下方式具体实现：
获取源端数据库901在其数据输出量达到预设第一数据量时输出数据的标识信息，生成第一数据表；
并获取所述源端数据库901输出所述第一数据量的数据的输出时长，获取所述目的端数据库902在所述输出时长内接收数据的标识信息，生成第二数据表。
如图10所示，为基于规则的ESB服务安全控制的系统架构示意图，其中，所述源端数据库1001包括ESB数据集成的源端，所述目的端数据库1002包括ESB数据集成的目的端，而本申请系统实施例实现基于ESB增量数据审核的方法步骤如下：
S1：源端和目的端数据库定义汇总表。
S2：在源端数据库建立汇总源端信息的存储过程。
S3：在目的端数据库建立触发器。
S4：建立ESB模型，配置源端的存储过程调度策略（实时，定时，频率）。如图11所示，为在企业服务总线里内嵌存储过程的构件示意图。
S5：搭建源端汇总表消息传输的模型。
S6：搭建目的端汇总表消息反传的模型。
其中，上述存储过程的构件负责外部数据库存储过程的调度及管理，通过构件框架将整个存储过程构件和ESB容器联通；存储过程特供调度策略：实时、定时及频率。
优选的，存储过程的作用汇总各个实体表当天相关增量信息，以及根据完整的汇总信息触发增量数据的重传。
而上述汇总表结构的定义可以如以下代码实现：
又如：通过本申请实施例实现基于ESB数据审核的过程如下：
1、在源端和目的端数据库建立汇总消息表，此汇总信息表是数据审核的基础。
2、在源端根据需要数据集成的表的表名，建立存储过程；此存储过程的作用：填充当天的增量消息到汇总表。
3、在目的端建立触发器，用来汇总目的端汇总表相关信息。
4、在源端，搭建ESB的存储过程调度模型，它负责存储过程的调度，以及实现多次重传。
5、在ESB环境下，搭建汇总表信息传输的模型，此模型的作用使得目的端汇总出源端同步的数据信息。
6、为了使源端能够有目的端的汇总信息，搭建另一组传输模型。这样源端就有了目的端的信息。
7、源端的存储过程根据汇总信息，操作实体表的相关数据用来实现相关的数据审核以及重传。
由上述方案可知，本申请实施例通过分别获取源端数据库的第一数据表及目的端数据库的第二数据表，将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果，若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。在实际应用中，本申请实施例避免了由于多个数据库所处网络的差异性、抖动性等因素，导致数据传输丢失或错误的几率较大，使得数据审核的准确率较低的情况，实现了对目的端数据库接收到的源端数据库发送的数据的准确性进行判断，提高了数据审核的准确率。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据审核方法、装置及系统进行了详细介绍，对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据审核方法，其特征在于，所述方法包括：
分别获取源端数据库的第一数据表及目的端数据库的第二数据表；
其中，所述第一数据表包括所述源端数据库中输出数据的标识信息，所述第二数据表包括所述目的端数据库中接收数据的标识信息；
将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果；
若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。
3.根据权利要求2所述的方法，其特征在于，在所述生成数据传输失败的审核结果之后，所述方法还包括：
分别将所述第一数据表与所述第二数据表中一一对应的标识信息进行标记；
将所述第一数据表中未标记的标识信息发送至所述源端数据库，并删除所述目的端数据库中与所述第二数据表中未标记的标识信息相对应的数据；
触发所述源端数据库向所述目的端数据库发送与其接收到的未标记的标识信息相对应的数据。
4.根据权利要求1、2或3所述的方法，其特征在于，所述分别获取源端数据库的第一数据表及目的端数据库的第二数据表包括：
获取源端数据库在第一预设时长内输出数据的标识信息，生成第一数据表；
并获取所述目的端数据库在所述第一预设时长内接收数据的标识信息，生成第二数据表。
5.根据权利要求1、2或3所述的方法，其特征在于，所述分别获取源端数据库的第一数据表及目的端数据库的第二数据表包括：
获取源端数据库在其数据输出量达到预设第一数据量时输出数据的标识信息，生成第一数据表；
并获取所述源端数据库输出所述第一数据量的数据的输出时长，获取所述目的端数据库在所述输出时长内接收数据的标识信息，生成第二数据表。
6.一种数据审核装置，其特征在于，所述装置包括：
数据表获取单元，用于分别获取源端数据库的第一数据表及目的端数据库的第二数据表；
其中，所述第一数据表包括所述源端数据库中输出数据的标识信息，所述第二数据表包括所述目的端数据库中接收数据的标识信息；
数据表对比单元，用于将所述第一数据表中的标识信息与所述第二数据表中的标识信息进行一一对比，获取对比结果；
第一结果生成单元，用于若所述对比结果满足预设的一一对应规则，生成数据传输成功的审核结果。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二结果生成单元，用于若所述对比结果不满足所述一一对应规则，生成数据传输失败的审核结果。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
数据重传单元，用于在所述第二结果生成单元生成数据传输失败的审核结果之后，分别将所述第一数据表与所述第二数据表中一一对应的标识信息进行标记，将所述第一数据表中未标记的标识信息发送至所述源端数据库，并删除所述目的端数据库中与所述第二数据表中未标记的标识信息相对应的数据，触发所述源端数据库向所述目的端数据库发送与其接收到的未标记的标识信息相对应的数据。
9.根据权利要求6、7或8所述的装置，其特征在于，所述数据表获取单元包括：
第一获取子单元，用于获取源端数据库在第一预设时长内输出数据的标识信息，生成第一数据表；
第二获取子单元，用于获取所述目的端数据库在所述第一预设时长内接收数据的标识信息，生成第二数据表。
10.一种数据审核系统，其特征在于，包括源端数据库、目的端数据库及如上述权利要求6至9任意一项所述的数据审核装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012104620682A CN102982133A (zh) | 2012-11-15 | 2012-11-15 | 一种数据审核方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012104620682A CN102982133A (zh) | 2012-11-15 | 2012-11-15 | 一种数据审核方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102982133A true CN102982133A (zh) | 2013-03-20 |
Family
ID=47856150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012104620682A Pending CN102982133A (zh) | 2012-11-15 | 2012-11-15 | 一种数据审核方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102982133A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677645A (zh) * | 2014-11-17 | 2016-06-15 | 阿里巴巴集团控股有限公司 | 一种数据表比对方法和装置 |
| CN106446296A (zh) * | 2016-11-28 | 2017-02-22 | 泰康保险集团股份有限公司 | 用于处理交易消息的方法和交易系统 |
| CN108416678A (zh) * | 2017-05-05 | 2018-08-17 | 平安科技（深圳）有限公司 | 多维度数据对账方法及系统 |
| CN110750538A (zh) * | 2019-10-16 | 2020-02-04 | 美利林科技有限公司 | 一种铁膜覆砂稽核系统 |
| CN112102910A (zh) * | 2020-09-22 | 2020-12-18 | 零氪科技（北京）有限公司 | 一种用于私有化数据对接数据自动校验的方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110102A (zh) * | 2009-12-29 | 2011-06-29 | 北大方正集团有限公司 | 数据处理方法及装置、文件识别方法及工具 |
| CN102495906A (zh) * | 2011-12-23 | 2012-06-13 | 天津神舟通用数据技术有限公司 | 一种实现断点续传的增量式数据迁移方法 |
-
2012
- 2012-11-15 CN CN2012104620682A patent/CN102982133A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110102A (zh) * | 2009-12-29 | 2011-06-29 | 北大方正集团有限公司 | 数据处理方法及装置、文件识别方法及工具 |
| CN102495906A (zh) * | 2011-12-23 | 2012-06-13 | 天津神舟通用数据技术有限公司 | 一种实现断点续传的增量式数据迁移方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘理峰等: ""基于Smallworld平台的配电GIS系统数据迁移方法"", 《电力系统自动化》, vol. 29, no. 23, 10 December 2005 (2005-12-10), pages 97 - 99 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677645A (zh) * | 2014-11-17 | 2016-06-15 | 阿里巴巴集团控股有限公司 | 一种数据表比对方法和装置 |
| CN105677645B (zh) * | 2014-11-17 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 一种数据表比对方法和装置 |
| CN106446296A (zh) * | 2016-11-28 | 2017-02-22 | 泰康保险集团股份有限公司 | 用于处理交易消息的方法和交易系统 |
| CN106446296B (zh) * | 2016-11-28 | 2019-11-15 | 泰康保险集团股份有限公司 | 用于处理交易消息的方法和交易系统 |
| CN108416678A (zh) * | 2017-05-05 | 2018-08-17 | 平安科技（深圳）有限公司 | 多维度数据对账方法及系统 |
| WO2018202176A1 (zh) * | 2017-05-05 | 2018-11-08 | 平安科技（深圳）有限公司 | 多维度数据对账方法及系统 |
| CN110750538A (zh) * | 2019-10-16 | 2020-02-04 | 美利林科技有限公司 | 一种铁膜覆砂稽核系统 |
| CN112102910A (zh) * | 2020-09-22 | 2020-12-18 | 零氪科技（北京）有限公司 | 一种用于私有化数据对接数据自动校验的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102982133A (zh) | 一种数据审核方法、装置及系统 | |
| US8499204B2 (en) | Method and apparatus for maintaining the status of objects in computer networks using virtual state machines | |
| CN103442042B (zh) | 增量数据同步方法及系统 | |
| US7069480B1 (en) | Method and apparatus for identifying problems in computer networks | |
| CN104660483A (zh) | 群组通讯方法、服务端及系统 | |
| CN104506886A (zh) | 一种故障处理方法及云端服务器 | |
| CN102857838B (zh) | Olt端对onu端参数配置失败的再配置处理方法 | |
| CN102263680A (zh) | 一种智能家居系统 | |
| US20100118736A1 (en) | Routing method and wireless network system | |
| CN103731870B (zh) | 监控任务的管理方法及装置 | |
| CN109992433A (zh) | 一种分布式tgt通信优化方法、装置、设备及存储介质 | |
| CN107332866A (zh) | 一种输变电状态监测方法、设备及系统 | |
| CN108347347A (zh) | 一种信息处理方法、装置和系统 | |
| CN101778004A (zh) | 用于执行基于门限值调度的设备管理的终端和方法 | |
| CN103796343B (zh) | M2m网关设备及其应用方法 | |
| CN106713428A (zh) | 应用于物联网自管理平台的业务运营支撑系统 | |
| CN109842517A (zh) | 统一物联网设备管理平台 | |
| CN101668014A (zh) | 制造网格服务中心与资源节点的通信方法 | |
| CN103902429B (zh) | 在自动化测试中进行预警的方法、服务器和系统 | |
| CN107257292B (zh) | 一种跨域分布式大数据通讯系统设计规划方法 | |
| CN110351107A (zh) | 配置管理方法及装置 | |
| CN102594788A (zh) | 一种面向对象的数据通信协议结构的实现方法 | |
| CN208079095U (zh) | 一种电梯远程信息集成系统 | |
| Ren et al. | The packing problem of uncertain multicasts | |
| CN106254122A (zh) | 一种基于eoc设备的简单网络管理协议代理实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130320 |