CN103345383B - 一种多线程数据比对方法和装置 - Google Patents

Abstract

本发明公开了一种多线程数据比对方法和装置，其中该方法包括：将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；建立比对业务主线程和多个相互独立的比对子线程，并为各比对业务主线程分别建立其对应的待比对队列；比对业务主线程调取第二数据源中的待比对对象的数据，加入到各比对线程对应的待比对队列中；各比对子线程从其对应的待比对队列中获取待比对对象的数据，逐一向第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在第二数据源中待比对数据标志位上做相应标记。

Description

一种多线程数据比对方法和装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种多线程数据比对方法和装置。

背景技术

社会信息采集平台中有很多社会面上的鲜活的数据信息，其中包含人、物、地、组织、事件等对象。现有技术将将各类信息与待比对信息进行比对处理，与问题业务对象等等进行比对碰撞，并根据各业务信息将比对中的信息推送给情报分析人员。

社会信息采集平台中涉及到的信息量面广量大，所以要求比对处理系统必须具备高性能；也不得因为一次异常导致整个比对业务停止运行。

发明内容

本发明提供一种多线程数据比对方法和装置，用以克服现有技术中存在的至少一个问题。

为达到上述目的，本发明提供了一种多线程数据比对方法，该方法包括以下步骤：

将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；

为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，并为每个比对业务主线程建立对应的待比对队列；

比对业务主线程调取第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将待比对队列中的数据分配给比对业务主线程对应的多个比对子线程；

各比对子线程逐一向第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在第二数据源中对应的待比对数据的标志位上做相应标记。

可选的，各比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各比对业务主线程设定时效优先顺序级别。

可选的，为各比对业务主线程对应的比对队列设定对象数量限定值。

可选的，还设定有一个检查线程，当检查线程检测到比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。

可选的，通过ETL方式对业务数据库中的原始数据进行数据提取、清洗和转换后转存至第二数据源以实现待比对对象数据的增量更新；

第二数据源中带比对数据设置有多个比对业务标志位，多个业务比对主线程通过查找对应比对业务标志位同时或分别进行相应的比对业务。

为达到上述目的，本发明还提供了一种多线程数据比对装置，其包括：

数据源模块，用于将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；

线程管理模块，用于为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，为每个比对业务主线程建立对应的待比对队列；

数据调取模块，用于通过主线程调取第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将待比对队列中的数据分配给比对业务主线程对应的多个比对子线程；

比对模块，用于通过各比对子线程逐一向第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在第二数据源中对应的待比对数据的标志位上做相应标记。

可选的，线程管理模块还用于为各比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各比对业务主线程设定时效优先顺序级别。

可选的，数据调取模块还用于为各比对线程对应的比对队列设定对象数量限定值。

可选的，线程管理模块还用于设定一个检查线程，当检查线程检测到比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。

可选的，数据源模块通过ETL方式对业务数据库中的原始数据进行数据提取、清洗和转换后转存至第二数据源以实现待比对对象数据的增量更新；

比对模块还用于在通过各比对子线程逐一向第一数据源发起数据查询比对请求之前，先与第二数据源快照表中数据进行逐一比对，若无比对结果，再向第一数据源发起数据查询比对请求，其中，第二数据源快照表用于保存第一数据源中查询共享数据。

在上述实施例中，通过多线程的比对方式将各业务数据与待比对信息进行比对，提高了数据比对的效率；同时通过对各业务数据采用并行处理，不必让各类数据在一起排队，提高了计算机的运行性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明一实施例的多线程数据比对方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中所要处理是将待比对对象（人对象）数据与各业务管理中获取的业务对象数据进行比对分析，它是情报信息的重要来源。

社会信息管理平台存在很多公安要监管的社会面的信息，其中涉及大量的人信息、物信息；另外，在公安内网，有大量的业务对象（如可能包含罪犯或被盗抢财物）的数据源需要与之比对，因此，必须考虑一个通用、快速的比对办法，为此，提出了本发明的多线程数据比对方法和装置。

图1为根据本发明一实施例的多线程数据比对方法流程图。如图所示，该方法包括以下步骤：

S102，获取业将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；

通过建立第一数据源和第二数据源，为以后加入业务对象数据以及待比对对象数据提供方便。由于社会信息管理平台存在大量相关对象，基于要解决上述的问题，本发明采用集中比对的原则。人对象存在于社会信息管理平台业务中，如旅馆业中入住旅客、娱乐场所的从业人员、典当物品的典当人等等，要实现数据源集中的设计，需要使用ETL数据增量提取功能，可以采用ETL工具或自行编写程序实现，能够增量提取指定业务中指定对象。

数据源形成时，需约定形成数据源的相关属性。考虑到数据源的通用性，可以只记录对象的相关属性以及来源，不得记录业务上的其它属性。例如，人对象提取内容可包括：姓名、身份证号、业务表名称、业务表主键1、业务表主键2、提取时间。

S104，为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，并为每个比对业务主线程建立对应的待比对队列；

其中，在具体实施本步骤时，可以将各比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各比对业务主线程设定时效优先顺序级别。对于时效性要求高的比对业务，例如全国在逃人员比对、违法犯罪人员比对，必须优先处理；对于时效性要求低的比对业务，比如工作对象比对，优先级可以设为低。

在本实施例的比对过程中，以多线程的方式进行比对。为什么要选用复杂的多线程方式呢？这里主要考虑到以下几点因素：一是数据源有很多种，比对的方式多种多样，数据存储的格式多种多样，这样比对起来的效率有快有慢，如果采用单个线程的方式，必然会造成排队现象，导致比对快的快不了，比对引擎的效率就成问题；二是比对过程中可能会存在某一类第二数据源不能访问的问题或访问处理过程中存在异常，会导致整个比对引擎停止工作；三是第二数据源存在很多种，比对规则与实现方式可能会有所区别，将各种比对分别封装到不同代码中，便于以后维护；四是方便以后增加新的比对规则。

S106，比对业务主线程调取第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将待比对队列中的数据分配给比对业务主线程对应的多个比对子线程；

其中，在具体实施本步骤时，第二数据源的对象数据由比对业务主线程来调度，对已经推送到各比对子线程队列中并比对成功的对象数据进行标记，不得再次将已经比对成功的对象重新推送；推送过程中，因机器异常、比对失败、数据源异常等原因导致未完全推送成功的需要重新推送。在推送到各比对业务主线程且待比对对象标志位为全部比对成功后，需要完成第二数据源中对象的清理工作，可以采用批量清理的功能，并设定清理的性能与频率的关系，同时在清理前将第二数据源转存到备份表中。

S108，各比对子线程逐一向第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在第二数据源中对应的待比对数据的标志位上做相应标记。

在具体实现本步骤时，各比对子线程在比对时从队列中取出对象，进行比对分析，并将比对结果写入相应表中，比对完成后需要将队列中的对象移出。

为提升比对效率，在与第一数据源比对之前，先与第二数据源快照表中数据进行逐一比对，若无比对结果，再将向第一数据源发起数据查询比对请求，并将第一数据源中查询共享数据保存在第二数据源快照表中供下一次比对。

例如，还可以通过为第二数据源中带比对数据设置多个比对业务标志位，可让多个业务比对主线程同时或分别进行相应的比对业务，通过查找对应比对业务标志位获取到还没进行某项比对业务的待比对数据。

此外，还可以为各比对线程对应的比对队列设定对象数量限定值，使得每个业务比对主线程分配给其对应子线程的比对数据能保证子线程有较为优秀的执行效率。

此外，还可以对比对线程的比对日志进行记载。

又例如，在对第一数据源进行清理前，可以先对其进行备份。

比对分析结果命中后，可以根据第一数据源表中的业务主键信息寻找数据源业务相关信息，并根据业务需求组织好情报概要信息，写入到情报信息表中，并形成每条情报信息的摘要信息。

摘要的描述规则为：对象属性（人对象：姓名，身份证号；物对象：物品名称、规格），发生时间，发生地点与位置，比对源描述，比对源关键字，情报分类。

此外，还可以设定一个检查线程，当某个比对业务主线程出现异常时，在被检查线程检测到后，终止该比对业务主线程，并重启已经终止的线程，比对队列重新加载待比对对象。

在上述实施例中，还可以对比对过程对如下因素进行监控：各线程的启用时间；各线程的运行时间；第二数据源的待处理记录数；已发送到比对队列的记录数（总数），本次比对线程启动后的发送数量；各比对线程的工作状态以及当前处理对象或异常情况；各线程异常次数以及重新启动次数。监控数据提取的时间间隔可设定，如默认值可以为1S。

与上述方法实施例相适应，以下为本发明多线程数据比对装置实施例，该装置包括：

数据源模块，用于将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；

线程管理模块，用于为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，为每个比对业务主线程建立对应的待比对队列；

数据调取模块，用于通过主线程调取第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将待比对队列中的数据分配给比对业务主线程对应的多个比对子线程；

比对模块，用于通过各比对子线程逐一向第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在第二数据源中对应的待比对数据的标志位上做相应标记。

例如，线程管理模块还用于为各比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各比对业务主线程设定时效优先顺序级别。

例如，数据调取模块还用于为各比对线程对应的比对队列设定对象数量限定值，使得每个业务比对主线程分配给其对应子线程的比对数据能保证子线程有较为优秀的执行效率。

例如，线程管理模块还用于设定一个检查线程，当检查线程检测到比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。

例如，数据源模块通过数据提取、转换和加载ETL方式对第二数据源进行对象数据的增量更新；和/或

比对模块还用于在通过各比对子线程逐一向第一数据源发起数据查询比对请求之前，先与第二数据源快照表中数据进行逐一比对，若无比对结果，再向第一数据源发起数据查询比对请求，其中，第二数据源快照表用于保存第一数据源中查询共享数据。

在上述实施例中，通过多线程的比对方式将各业务数据与待比对信息进行比对，提高了数据比对的效率；同时通过对各业务数据采用并行处理，不必让各类数据在一起排队，提高了计算机的运行性能。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种多线程数据比对方法，其特征在于，包括以下步骤：

将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；

为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，并为每个所述比对业务主线程建立对应的待比对队列；

所述比对业务主线程调取所述第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将所述待比对队列中的数据分配给所述比对业务主线程对应的多个比对子线程；

各所述比对子线程逐一向所述第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在所述第二数据源中对应的待比对数据的标志位上做相应标记。

2.根据权利要求1所述的方法，其特征在于，各所述比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各所述比对业务主线程设定时效优先顺序级别。

3.根据权利要求1所述的方法，其特征在于，为各所述比对业务主线程对应的比对队列设定对象数量限定值。

4.根据权利要求1所述的方法，其特征在于，还设定有一个检查线程，当所述检查线程检测到所述比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。

5.根据权利要求1所述的方法，其特征在于，通过ETL方式对所述业务数据库中的原始数据进行数据提取、清洗和转换后转存至所述第二数据源以实现待比对对象数据的增量更新；

所述第二数据源中带比对数据设置有多个比对业务标志位，多个业务比对主线程通过查找对应比对业务标志位同时或分别进行相应的比对业务。

6.一种多线程数据比对装置，其特征在于，包括：

数据源模块，用于将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；

线程管理模块，用于为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，为每个所述比对业务主线程建立对应的待比对队列；

数据调取模块，用于通过所述主线程调取所述第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将所述待比对队列中的数据分配给所述比对业务主线程对应的多个比对子线程；

比对模块，用于通过各所述比对子线程逐一向所述第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在所述第二数据源中对应的待比对数据的标志位上做相应标记。

7.根据权利要求6所述的装置，其特征在于，所述线程管理模块还用于为各所述比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各所述比对业务主线程设定时效优先顺序级别。

8.根据权利要求6所述的装置，其特征在于，所述数据调取模块还用于为各所述比对线程对应的比对队列设定对象数量限定值。

9.根据权利要求6所述的装置，其特征在于，所述线程管理模块还用于设定一个检查线程，当所述检查线程检测到所述比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述数据源模块通过ETL方式对所述业务数据库中的原始数据进行数据提取、清洗和转换后转存至所述第二数据源以实现待比对对象数据的增量更新；

所述比对模块还用于在通过各所述比对子线程逐一向所述第一数据源发起数据查询比对请求之前，先与第二数据源快照表中数据进行逐一比对，若无比对结果，再向所述第一数据源发起数据查询比对请求，其中，所述第二数据源快照表用于保存第一数据源中查询共享数据。