CN111797166B - 准实时简历数据同步方法和装置、电子设备及介质 - Google Patents

Abstract

本发明提供一种准实时简历数据同步方法和装置、电子设备及介质，该方法，包括：获取预设的简历同步方式，该简历同步方式包括：Kafka同步、批量同步；当该简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；当该简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理终端，通过采用上述技术方案，基于对账机制，充分挖掘Kafka在时效性和批量技术在准确率上的优势，将两者深度融合，扬长避短，实现多节点简历数据的快速汇总同步，有效保障同步数据的及时性和准确性，防止数据丢失。

Description

准实时简历数据同步方法和装置、电子设备及介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种准实时简历数据同步方法和装置、电子设备及介质。

背景技术

随着IT技术的不断发展，国内大型企业的信息化水平越来越高，在招聘系统的建设上投入也不断加强，系统架构逐步向分布式转型，采用数据分片、功能模块独立部署等方式，提高系统高可用，应对招聘季流量洪峰。但是，数据分片、功能模块独立部署后，普遍存在应聘者简历数据从多数据库节点往HR招聘管理模块同步汇总不及时、数据易丢失、简历历史版本无法追溯等难题，对HR简历查看、筛选产生较大影响，不利于招聘工作有效开展。

发明内容

针对现有技术中的问题，本发明提供一种准实时简历数据同步方法和装置、电子设备及介质，能够至少部分地解决现有技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，提供一种准实时简历数据同步方法，包括：

获取预设的简历同步方式，该简历同步方式包括：Kafka同步、批量同步；

当该简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；

当该简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理终端。

进一步地，准实时简历数据同步方法还包括：

间隔第一预设时间验证Kafka可用性；

若验证通过，根据历史对账数据计算对账信息丢失率；

判断该对账信息丢失率是否大于预设阈值；

若否，则将简历同步方式设置为Kafka同步；

若验证不通过或者对账信息丢失率大于预设阈值，则将简历同步方式设置为批量同步。

进一步地，该对账数据包括多条对账信息，该准实时简历数据同步方法还包括：

从Kafka获取该招聘管理服务器反馈的对账数据校验结果；

根据该对账数据校验结果逐一更新各条对账信息的同步状态。

第二方面，提供一种准实时简历数据同步装置，包括：

简历同步方式获取模块，获取预设的简历同步方式，该简历同步方式包括：Kafka同步、批量同步；

Kafka同步模块，当该简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；

批量同步模块，当该简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理服务器。

进一步地，准实时简历数据同步装置还包括：

可用性验证模块，间隔第一预设时间验证Kafka可用性；

丢失率计算模块，若验证通过，根据历史对账数据计算对账信息丢失率；

丢失率判断模块，判断该对账信息丢失率是否大于预设阈值；

Kafka同步设置模块，若否，则将简历同步方式设置为Kafka同步；

批量同步设置模块，若验证不通过或者对账信息丢失率大于预设阈值，则将简历同步方式设置为批量同步。

第三方面，提供一种准实时简历数据同步方法，包括：

间隔第二预设时间依次从Kafka获取简历数据和对账数据；

根据该简历数据按照招聘项目批次生成简历快照数据；

根据该对账数据进行对账数据校验处理并向Kafka发布对账数据校验结果。

进一步地，准实时简历数据同步方法还包括：

批量接收简历数据。

第四方面，提供一种准实时简历数据同步装置，包括：

数据消费模块，间隔第二预设时间依次从Kafka获取简历数据和对账数据；

快照生成模块，根据该简历数据按照招聘项目批次生成简历快照数据；

对账数据校验模块，根据该对账数据进行对账数据校验处理并向Kafka发布对账数据校验结果。

第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现上述的准实时简历数据同步方法的步骤。

第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的准实时简历数据同步方法的步骤。

本发明提供的准实时简历数据同步方法和装置、电子设备及介质，该方法，包括：获取预设的简历同步方式，该简历同步方式包括：Kafka同步、批量同步；当该简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；当该简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理终端，通过采用上述技术方案，基于对账机制，充分挖掘Kafka在时效性和批量技术在准确率上的优势，将两者深度融合，扬长避短，实现多节点简历数据的快速汇总同步，有效保障同步数据的及时性和准确性，防止数据丢失。

另外，本发明提供的准实时简历数据同步方法，基于数据快照，按招聘项目批次，生成简历数据快照，满足简历历史版本查看需求，有效协助HR简历筛选工作。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中的应用架构示意图；

图2为本发明实施例中的准实时简历数据同步方法的流程示意图一；

图3示出了本发明实施例中设置简历同步方式的具体流程；

图4为本发明实施例中的准实时简历数据同步方法的流程示意图二；

图5是本发明实施例中的准实时简历数据同步装置的结构框图一；

图6是本发明实施例中的准实时简历数据同步装置的结构框图二；

图7为本发明实施例中的另一种准实时简历数据同步方法的流程示意图；

图8是本发明实施例中的另一种准实时简历数据同步装置的结构框图；

图9为本发明的具体应用实例中的准实时简历数据同步处理系统结构框图；

图10示出了图9中数据同步存储装置的结构框图；

图11示出了图9中数据同步预处理装置的结构框图；

图12示出了图9中招聘官网Kafka数据同步装置的结构框图；

图13示出了图9中招聘官网批量数据同步装置的结构框图；

图14示出了图9中招聘管理Kafka数据同步装置的结构框图；

图15示出了图9中招聘管理批量数据同步装置的结构框图；

图16示出了本发明的具体应用实例中的利用Kafka和批量准实时简历数据同步处理的方法流程图；

图17示出了利用对账机制实现Kafka简历数据同步处理的方法步骤；

图18为本发明实施例电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

基于内外网资源独立、风险隔离的考虑，大型企业招聘系统，一般按用户划分为招聘官网(面向互联网的应聘者用户)和招聘管理(面向内网的HR用户)两个独立功能模块部署，实现数据库服务器和应用服务器的分离。同时，为了应对招聘季流量洪峰，对应聘者模块的数据库实施数据分片，降低数据库压力，即将简历数据分片存储到多个数据库中，比如，将应聘者工作经历存储在一个数据库中，将应聘者学习经历存储在一个数据库中，将应聘者的自我评价存储在一个数据库中，实现数据分片多库存储。在招聘官网和招聘管理两个模块间，通常存在数据同步需求，尤其是简历数据从招聘官网往招聘管理的同步。

本发明基于数据对账和快照机制，充分挖掘Kafka在时效性和批量技术在准确率上的优势，将两者深度融合，扬长避短，实现简历数据从招聘官网多数据库节点往招聘管理的及时汇总同步，有效保障同步数据的及时性和准确性，防止数据丢失，同时生成有序可追溯的简历数据快照。

在Kafka数据丢失时，通过数据对账，实现数据的再次自动同步；当Kafka系统异常不可用时，自动触发批量文件同步，降低同步对Kafka依赖。同时在日终，本发明通过批量，将当日增量简历数据全部同步到招聘管理模块，实现与Kafka准实时同步数据的对账，确保数据同步准确、无遗漏。

基于数据快照，按招聘项目批次，生成简历数据快照，满足简历历史版本查看需求，有效协助HR简历筛选工作。

图1为本发明实施例中的应用架构示意图；如图1所示，应聘者通过终端设备登录招聘官网A1(面向互联网的应聘者用户)，将简历数据通过招聘官网发送到对外服务器B1，分片存储在多个数据库S1～SN上，对外服务器B1通过两种渠道与内部服务器Q1交互，一种是作为消息生产者将简历数据和对账数据发送到消息中心(即Kafka)，内部服务器Q1作为消息消费者访问KafkaM1，消费简历数据和对账数据，以将简历数据同步到内部服务器Q1，供HR使用，同时，内部服务器Q1在同步简历数据时，校验对账数据，作为消息生产者将对账数据校验结果发送到Kafka，对外服务器B1作为消息消费者访问Kafka，消费账数据校验结果，实现对账。

另一种是通过批量同步技术将简历数据同步至内部服务器Q1。

图2为本发明实施例中的准实时简历数据同步方法的流程示意图一；如图2所示，该准实时简历数据同步方法在对外服务器上执行，即面向互联网的应聘者用户的服务器，该准实时简历数据同步方法可以包括以下内容：

步骤S100a：获取预设的简历同步方式，所述简历同步方式包括：Kafka同步、批量同步；

具体地，简历同步方式根据Kafka的状态预先设置，在Kafka正常时，优选通过Kafka同步。

步骤S200a：当所述简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；

具体地，可以实时进行Kafka同步或者按照预设时间间隔进行Kafka同步。

另外，在进行Kafka同步时，要根据预先设置的Kafka数据同步每批次数据量进行，Kafka数据同步每批次数据量作为数据上限值，每次同步的数据量必须小于该上限值，多出的部分下一批次再同步。即：

根据简历数据表同步配置信息，按照Kafka数据同步每批次数据量，采用同步表数据查询SQL，查询各表未同步数据的等量数据，并用同步批次号更新表对应记录批次号，锁定相关数据。之后，组织简历数据同步消息，发送到表对应的Kafka topic和分区中。

其中，同步批次号采用序号发生器生成，序号依次递增。

值得说明的是，待同步简历数据根据预先设置的同步表配置信息配置发送，同步表配置信息可以包括：表名、表主键或唯一索引、同步字段，同步表数据查询SQL、同步表数据再次发送更新SQL、同步使用的Kafka topic、同步使用的Kafka分区等。

对账数据根据预先设置的对账信息进行配置发送，对账信息至少包括：同步批次号、表名、表主键或唯一索引、表主键或唯一索引值、同步状态(已发布、成功、失败)等。

其中，将简历同步数据信息，按对账信息要求，记录相应对账数据，并组织对账数据消息，发送到相同的Kafka topic和分区中。相同的Kafka topic和分区，确保了先按简历数据，再按对账数据消费的顺序。

步骤S300a：当所述简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理终端。

具体地，根据预先设置的准实时批量数据同步时间间隔参数和日终批量数据同步时间参数，分别定期或定时完成批量数据同步。

通过采用上述技术方案，基于对账机制，充分挖掘Kafka在时效性和批量技术在准确率上的优势，将两者深度融合，扬长避短，实现多节点简历数据的快速汇总同步，有效保障同步数据的及时性和准确性，防止数据丢失。

在一个可选的实施例中，参见图3，该准实时简历数据同步方法还可以包括：

步骤S400a：间隔第一预设时间验证Kafka可用性；

若验证通过，执行步骤S500a：否则，执行步骤S800a；

值得说明的是，验证Kafka可用性可定时触发，也可以根据预设触发条件进行触发。

步骤S500a：根据历史对账数据计算对账信息丢失率；

具体地，统计单位时间内所有同步批次号内所有数据对账信息丢失率，丢失率＝单位时间内同步状态为已发布所有记录数/单位时间内总记录数。

步骤S600a：判断所述对账信息丢失率是否大于预设阈值；

若否，则执行步骤S700a；若是，则执行步骤S800a；

具体地，当丢失率大于预设阈值时，可能Kafka或者数据向Kafka发送或者访问Kafka时出现问题，此时，选择批量同步。

步骤S700a：将简历同步方式设置为Kafka同步；

步骤S800a：将简历同步方式设置为批量同步。

通过采用上述技术方案，在Kafka验证通过且对账信息丢失率不大于预设阈值时采用Kafka，否则采用批量同步，充分挖掘Kafka和批量技术优势，并将两者深度融合，克服了Kafka同步数据丢失、Kafka系统不可用、批量同步时效性低的问题，有效保障同步数据的时效性、准确性，防止数据丢失。

在一个可选的实施例中，对账数据包括多条对账信息，参见图4，该准实时简历数据同步方法还可以包括：

步骤S900a：从Kafka获取所述招聘管理服务器(即内部服务器，或者数据同步目标服务器)反馈的对账数据校验结果；

步骤S1000a：根据所述对账数据校验结果逐一更新各条对账信息的同步状态。

具体到，从Kafka中获取来自招聘管理服务器的对账数据校验结果消息，按记录，逐一更新各条对账信息的同步状态。

在一个进一步地实施例中，该准实时简历数据同步方法还可以包括：将当同步丢失数据按照同步表数据再次发送更新SQL，更新对应记录，以便同步丢失数据下次再自动同步。

基于同一发明构思，本申请实施例还提供了一种准实时简历数据同步装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于准实时简历数据同步装置解决问题的原理与上述方法相似，因此准实时简历数据同步装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是本发明实施例中的准实时简历数据同步装置的结构框图一；如图5所示，该准实时简历数据同步装置具体包括：简历同步方式获取模块10a、Kafka同步模块20a以及批量同步模块30a。

简历同步方式获取模块10a获取预设的简历同步方式，所述简历同步方式包括：Kafka同步、批量同步；

Kafka同步模块20a当所述简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；

批量同步模块30a当所述简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理服务器。

通过采用上述技术方案，基于对账机制，充分挖掘Kafka在时效性和批量技术在准确率上的优势，将两者深度融合，扬长避短，实现多节点简历数据的快速汇总同步，有效保障同步数据的及时性和准确性，防止数据丢失。

在一个可选的实施例中，参见图6，该准实时简历数据同步装置还可以包括：可用性验证模块40a、丢失率计算模块50a、丢失率判断模块60a、Kafka同步设置模块70a以及批量同步设置模块80a。

可用性验证模块40a间隔第一预设时间验证Kafka可用性；

丢失率计算模块50a若验证通过，根据历史对账数据计算对账信息丢失率；

丢失率判断模块60a判断所述对账信息丢失率是否大于预设阈值；

Kafka同步设置模块70a，若否，则将简历同步方式设置为Kafka同步；

批量同步设置模块80a若验证不通过或者对账信息丢失率大于预设阈值，则将简历同步方式设置为批量同步。

本发明实施例还提供了一种准实时简历数据同步方法，该准实时简历数据同步方法适于在招聘管理服务器(或称内部服务器)执行，该招聘管理服务器是数据同步的目标服务器，参见图7，该准实时简历数据同步方法还可以包括：

步骤S100b：间隔第二预设时间依次从Kafka获取简历数据和对账数据；

具体地，通过访问Kafka消费建立数据和对账数据，将简历数据同步更新至本地，对已存在记录，只对最后修改时间比当前消费记录最后修改时间小的做同步，以防止旧数据覆盖新数据。另外，根据对账数据进行对账，防止数据丢失。

步骤S200b：根据所述简历数据按照招聘项目批次生成简历快照数据；

具体地，基于数据快照，让简历数据历史修改版本可追溯，满足HR简历筛选查看需求，提高工作效率，保障招聘工作顺利完成。

步骤S300b：根据所述对账数据进行对账数据校验处理并向Kafka发布对账数据校验结果。

具体地，通过对账数据信息和已同步简历数据的比对，完成该同步批次号对账数据校验(对账数据信息中的记录在已同步简历数据存在即为校验成功，否则失败)，并逐一标识各记录同步状态(成功或失败)。

另外，将对账数据校验结果信息组织消息发布到Kafka中，进而同步到招聘官网。

通过采用上述技术方案，能够配合对外服务器侧的准实时简历数据同步技术，基于对账机制，充分挖掘Kafka在时效性和批量技术在准确率上的优势，将两者深度融合，扬长避短，实现多节点简历数据的快速汇总同步，有效保障同步数据的及时性和准确性，防止数据丢失。

在一个可选的实施例中，该准实时简历数据同步方法还可以包括：批量接收简历数据。

具体地，先将简历文件导入临时表，之后同步入正式表。对正式表已存在记录，只对最后修改时间比临时表记录最后修改时间小的做同步，以防止旧数据覆盖新数据。接着，根据同步的简历数据，依据应聘者简历投递的招聘岗位所属招聘批次，按招聘批次生成简历数据快照。

基于同一发明构思，本申请实施例还提供了一种准实时简历数据同步装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于准实时简历数据同步装置解决问题的原理与上述方法相似，因此准实时简历数据同步装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是本发明实施例中的另一种准实时简历数据同步装置的结构框图；如图8所示，该准实时简历数据同步装置包括：数据消费模块10b、快照生成模块20b以及对账数据校验模块30b。

数据消费模块10b间隔第二预设时间依次从Kafka获取简历数据和对账数据；

快照生成模块20b根据该简历数据按照招聘项目批次生成简历快照数据；

对账数据校验模块30b根据该对账数据进行对账数据校验处理并向Kafka发布对账数据校验结果。

通过采用上述技术方案，能够配合对外服务器侧的准实时简历数据同步技术，基于对账机制，充分挖掘Kafka在时效性和批量技术在准确率上的优势，将两者深度融合，扬长避短，实现多节点简历数据的快速汇总同步，有效保障同步数据的及时性和准确性，防止数据丢失。

为了使本领域技术人员更好地理解本发明，下面结合图9至图17，举例对本发明实施例的具体实现方式进行说明：

图9为本发明的具体应用实例中的准实时简历数据同步处理系统结构框图；如图9所示，该准实时简历数据同步处理系统包括：招聘官网1、内部网络6以及招聘管理7，招聘官网1包括数据同步存储装置2、数据同步预处理装置3、Kafka数据同步装置4以及批量数据同步装置5，招聘管理7包括Kafka数据同步装置8和批量数据同步装置9。

招聘官网1为应聘者功能模块，简历数据同步源系统；

内部网络6为企业内部互联网络；

招聘管理7为HR用户功能模块，简历数据同步目标系统。

其中，数据同步存储装置2存储简历数据同步参数、同步表配置信息和同步数据对账信息。数据同步预处理装置3通过Kafka可用性验证和访问数据同步存储装置2中的同步数据对账信息，处理更新简历同步方式参数。招聘官网1的Kafka数据同步装置4处理简历数据、对账数据消息的发布，以及对账数据校验结果消息的消费处理。招聘官网1的批量数据同步装置5处理简历数据批量文件的生产和发送。招聘管理7的Kafka数据同步装置8处理简历数据消息消费、简历数据快照生成、对账数据消息消费和对账数据校验处理，以及对账数据校验结果消息的发布。招聘管理7的批量数据同步装置9处理简历数据批量文件的导入、更新和简历快照数据生成。

图10示出了图9中数据同步存储装置的结构框图；如图10所示，数据同步存储装置2包括：同步参数装置11、同步表配置信息装置12和同步数据对账信息装置13。

同步参数装置11存储数据同步相关参数信息，至少包括简历同步方式(Kafka同步或批量同步)、数据同步预处理时间间隔、Kafka数据同步时间间隔、Kafka数据同步每批次数据量、准实时批量数据同步时间间隔、日终批量数据同步时间、数据对账信息丢失率计算单位时间、数据对账信息丢失率阈值等信息。相关参数可在数据库管理系统或文件系统中存储。

同步表配置信息装置12存储简历数据涉及表相关的同步配置信息，至少包括表名、表主键或唯一索引、同步字段，同步表数据查询SQL、同步表数据再次发送更新SQL、同步使用的Kafka topic、同步使用的Kafka分区等信息。

同步数据对账信息装置13存储简历数据同步的对账信息，至少包括同步批次号、表名、表主键或唯一索引、表主键或唯一索引值、同步状态(已发布、成功、失败)等信息。

图11示出了图9中数据同步预处理装置的结构框图；如图11所示，该数据同步预处理装置3至少包括：主处理单元20、Kafka可用性验证处理装置21、对账信息分析处理装置22和简历同步方式处理装置23。

主处理单元20是数据同步预处理装置的主控单元，它依据同步参数装置11的数据同步预处理时间间隔参数，定期调用其他单元完成数据同步预处理。它首先调用Kafka可用性验证处理装置21，验证Kafka系统的可用性。如果不可用，则调用简历同步方式处理装置23，置同步参数装置11的简历同步方式参数为批量同步；否则，调用对账信息分析处理装置22，分析同步数据对账信息装置13中的对账信息，按数据对账信息丢失率计算单位时间参数，统计该单位时间内所有同步批次号内所有数据对账信息丢失率(丢失率＝单位时间内同步状态为已发布所有记录数/单位时间内总记录数)，如果对账信息丢失率大于同步参数装置11中的数据对账信息丢失率阈值，则调用简历同步方式处理装置23，置同步参数装置11的简历同步方式参数为批量同步，否则，置为Kafka同步。

图12示出了图9中招聘官网Kafka数据同步装置的结构框图；参见图12，该招聘官网1的Kafka数据同步装置4至少包括：主处理单元30、生产者处理装置31以及消费者处理装置35。

主处理单元30是Kafka数据同步的主控单元，它获取同步参数装置11的Kafka数据同步时间间隔参数，定期分别调用生产者处理装置31和消费者处理装置35完成数据同步。

生产者处理装置31至少包括简历同步方式获取处理装置32、简历数据消息发布处理装置33和对账数据消息发布处理装置34。

生产者处理装置31先通过简历同步方式获取处理装置32获取同步参数装置11的简历同步方式参数，如果同步方式是批量同步，则停止继续执行。否则，继续调用简历数据消息发布处理装置33。简历数据消息发布处理装置33根据同步表配置信息装置12的简历数据表同步配置信息，按照参数Kafka数据同步每批次数据量，采用同步表数据查询SQL，查询各表未同步数据的等量数据，并用同步批次号更新表对应记录批次号，锁定相关数据。同步批次号采用序号发生器生成，序号依次递增。之后，组织简历数据同步消息，发送到表对应的Kafka topic和分区中。接着，调用对账数据消息发布处理装置34，它首先将简历同步数据信息，按同步数据对账信息装置13的对账信息要求，记录相应对账数据(其中同步状态为已发送)，并组织对账数据消息，发送到相同的Kafka topic和分区中。相同的Kafka topic和分区，确保了先按简历数据，再按对账数据消费的顺序。

消费者处理装置35至少包括对账数据校验结果消息消费处理装置36和对账数据校验结果更新处理装置37。对账数据校验结果消息消费处理装置36，从Kafka中获取来自招聘管理7的对账数据校验结果消息，按记录，逐一更新同步数据对账信息装置13各条对账信息的同步状态。接着，对账数据校验结果更新处理装置37，先将本同步批次号所有对账信息同步状态为已发送或失败的记录和同步批次号比本同步批次号小且同步状态为已发送的记录(即同步丢失数据，因为同步批次号由序号发生器递增生成，且Kafka发送时相同的Kafka topic和分区保证了大同步批次号必须后于小同步批次号消费，存在比本同步批次号小的已发送记录，证明未消费到其对账信息，同步数据可能已丢失)，按照同步表配置信息装置12中同步表数据再次发送更新SQL，更新对应记录，保证下次再自动同步。

图13示出了图9中招聘官网批量数据同步装置的结构框图；如图13所示，该招聘官网1批量数据同步装置5至少包括主处理单元40和文件生成处理装置41。

主处理单元40是批量数据同步的主控单元，它依据同步参数装置11的准实时批量数据同步时间间隔参数和日终批量数据同步时间参数，分别定期或定时调起文件生成处理装置41，完成批量数据同步。

文件生成处理装置41至少包括同步方式获取处理装置42、简历文件生成处理装置43和简历文件发送处理装置44。当为准实时批量数据同步时，文件生成处理装置41，其先通过同步方式获取处理装置42获取同步参数装置11的简历同步方式参数，如果同步方式是Kafka同步，则停止继续执行。否则，继续调用简历文件生成处理装置43，生成当日所有增量简历数据文件。之后，通过简历文件发送处理装置44，将文件下传到招聘管理7。当为日终批量数据同步时，直接通过简历文件生成处理装置43和简历文件发送处理装置44完成数据同步，两者具体处理形式与准实时批量数据同步一致。

图14示出了图9中招聘管理Kafka数据同步装置的结构框图；如图14所示，招聘管理7的Kafka数据同步装置8至少包括主处理单元50、消费者处理装置51和生产者处理装置56。

主处理单元50是Kafka数据同步的主控单元，参照同步参数装置11的Kafka数据同步时间间隔参数，定期分别调用消费者处理装置51和生产者处理装置56完成数据同步。

消费者处理装置51至少包括简历数据消息消费处理装置52、简历数据快照生成处理装置53、对账数据消息消费处理装置54和对账数据校验处理装置55。

消费者处理装置51先通过简历数据消息消费处理装置52，消费来自招聘官网1简历数据，完成简历数据同步。对已存在记录，只对最后修改时间比当前消费记录最后修改时间小的做同步，以防止旧数据覆盖新数据。接着，调用简历数据快照生成处理装置53，将简历数据消息消费处理装置52同步的简历数据，依据应聘者简历投递的招聘岗位所属招聘批次，按招聘批次生成简历数据快照。之后，调用对账数据消息消费处理装置54，消费来自招聘官网1的对账数据，完成对账数据导入。最后，调用对账数据校验处理装置55，通过对账数据信息和已同步简历数据的比对，完成该同步批次号对账数据校验(对账数据信息中的记录在已同步简历数据存在即为校验成功，否则失败)，并逐一标识各记录同步状态(成功或失败)。

生产者处理装置56至少包括对账数据校验结果消息发布装置57，对账数据校验结果消息发布装置57，获取对账数据校验处理装置55处理后的对账数据校验结果信息，组织消息发布到Kafka中，同步到招聘官网1。

图15示出了图9中招聘管理批量数据同步装置的结构框图；如图15所示，该招聘管理7的批量数据同步装置9至少包括主处理单元60和文件接收处理装置61。

主处理单元60是批量数据同步的主控单元，参照同步参数装置11的准实时批量数据同步时间间隔参数，定期调起文件接收处理装置61完成数据同步。

文件接收处理装置61至少包括简历文件接收处理装置62、简历数据更新处理装置63和简历数据快照生成处理装置64。简历文件接收处理装置62先将简历文件导入临时表，之后通过简历数据更新处理装置63同步入正式表。对正式表已存在记录，只对最后修改时间比临时表记录最后修改时间小的做同步，以防止旧数据覆盖新数据。接着，简历数据快照生成处理装置64，根据同步的简历数据，依据应聘者简历投递的招聘岗位所属招聘批次，按招聘批次生成简历数据快照。

图16示出了本发明的具体应用实例中的利用Kafka和批量准实时简历数据同步处理的方法流程图；如图16所示，该方法包括：

步骤S101：数据同步方式更新处理；

其中，数据同步预处理装置3完成对简历数据同步方式更新处理。

步骤S102：判断是Kafka同步还是批量同步；

其中，Kafka数据同步装置4和批量数据同步装置5分别判断简历同步方式是Kafka同步还是批量同步。如果是Kafka同步，则转步骤103；否则，批量同步则转步骤104。

步骤S103：简历数据Kafka同步处理；

其中，招聘官网1的Kafka数据同步装置4和招聘管理7的Kafka数据同步装置8，通过对账机制，完成简历数据的准实时同步，并生成简历数据快照。

步骤S104：简历数据批量同步处理；

其中，招聘官网1的批量数据同步装置5和招聘管理7的批量数据同步装置9，完成简历数据的批量同步，并生成简历数据快照。

图17示出了利用对账机制实现Kafka简历数据同步处理的方法步骤；如图17所示，该利用对账机制实现Kafka简历数据同步处理的方法可以包括以下步骤：

步骤S200：招聘官网生产者处理装置简历数据消息发布处理；

其中，招聘官网1生产者处理装置31的简历数据消息发布处理装置33，完成同步简历数据的消息发布处理。

步骤S201：招聘官网生产者处理装置对账数据消息发布处理；

其中，招聘官网1生产者处理装置31的对账数据消息发布处理装置34，根据步骤S200的同步简历数据，完成对账数据的记录及消息发布处理。

步骤S202：招聘管理消费者处理装置简历数据消息消费处理；

其中，招聘管理7消费者处理装置51的简历数据消息消费处理装置52，消费来自步骤S200的简历数据消息。

步骤S203：招聘管理消费者处理装置简历数据快照生成处理；

其中，招聘管理7消费者处理装置51的简历数据快照生成处理装置53，依据步骤S202的简历数据，按招聘项目批次生成简历快照数据。

步骤S204：招聘管理消费者处理装置对账数据消息消费处理；

其中，招聘管理7消费者处理装置51的对账数据消息消费处理装置54，消费来自步骤S201的对账数据消息。

步骤S205：招聘管理消费者处理装置对账数据校验处理；

其中，招聘管理7消费者处理装置51的对账数据校验处理装置55，根据步骤S202的简历数据和步骤S204的对账数据，完成对账数据校验处理。

步骤S206：招聘管理生产者处理装置对账数据校验结果消息发布处理；

其中，招聘管理7生产者处理装置56的对账数据校验结果消息发布装置57，获取步骤S205对账数据校验结果，完成对账数据校验结果消息发布处理。

步骤S207：招聘官网消费者处理装置对账数据校验结果消息消费处理；

其中，招聘官网1消费者处理装置35的对账数据校验结果消息消费处理装置36，消费来自步骤S206的对账数据校验结果消息。

步骤S208：招聘官网消费者处理装置对账数据校验结果更新处理；

其中，招聘官网1消费者处理装置35的对账数据校验结果更新处理装置37，根据步骤S207的对账数据校验结果，更新步骤S200各对账数据记录同步状态的更新。

步骤S209：是否存在丢失数据；

招聘官网1消费者处理装置35的对账数据校验结果更新处理装置37，根据步骤S208对账数据记录同步状态，对本同步批次号所有对账信息同步状态为已发送或失败的记录，以及同步批次号比本同步批次号小且同步状态为已发送的记录，均判定为同步丢失数据，并按照同步表配置信息装置12中同步表数据再次发送更新SQL，更新对应记录。相应记录处理流程自动流转到步骤200，进入下一次数据同步。

上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述准实时简历数据同步方法的步骤。

下面参考图18，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。

如图18所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述准实时简历数据同步方法的步骤。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种准实时简历数据同步方法，其特征在于，包括：

获取预设的简历同步方式，所述简历同步方式包括：Kafka同步、批量同步；

当所述简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；

当所述简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理服务器；

间隔第一预设时间验证Kafka可用性；

若验证通过，根据历史对账数据计算对账信息丢失率；

判断所述对账信息丢失率是否大于预设阈值；

若否，则将简历同步方式设置为Kafka同步；

若验证不通过或者对账信息丢失率大于预设阈值，则将简历同步方式设置为批量同步。

2.根据权利要求1所述的准实时简历数据同步方法，其特征在于，所述对账数据包括多条对账信息，所述准实时简历数据同步方法还包括：

从Kafka获取所述招聘管理服务器反馈的对账数据校验结果；

根据所述对账数据校验结果逐一更新各条对账信息的同步状态。

3.一种准实时简历数据同步装置，其特征在于，包括：

简历同步方式获取模块，获取预设的简历同步方式，所述简历同步方式包括：Kafka同步、批量同步；

Kafka同步模块，当所述简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；

批量同步模块，当所述简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理服务器；

可用性验证模块，间隔第一预设时间验证Kafka可用性；

丢失率计算模块，若验证通过，根据历史对账数据计算对账信息丢失率；

丢失率判断模块，判断所述对账信息丢失率是否大于预设阈值；

Kafka同步设置模块，若否，则将简历同步方式设置为Kafka同步；

批量同步设置模块，若验证不通过或者对账信息丢失率大于预设阈值，则将简历同步方式设置为批量同步。

4.一种准实时简历数据同步方法，其特征在于，包括：

获取预设的简历同步方式，所述简历同步方式包括：Kafka同步、批量同步；

当所述简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；

当所述简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理服务器；

间隔第一预设时间验证Kafka可用性；

若验证通过，根据历史对账数据计算对账信息丢失率；

判断所述对账信息丢失率是否大于预设阈值；

若否，则将简历同步方式设置为Kafka同步；

若验证不通过或者对账信息丢失率大于预设阈值，则将简历同步方式设置为批量同步；

间隔第二预设时间依次从Kafka获取简历数据和对账数据；

根据所述简历数据按照招聘项目批次生成简历快照数据；

根据所述对账数据进行对账数据校验处理并向Kafka发布对账数据校验结果。

5.根据权利要求4所述的准实时简历数据同步方法，其特征在于，还包括：

批量接收简历数据。

6.一种准实时简历数据同步装置，其特征在于，包括：

简历同步方式获取模块，获取预设的简历同步方式，所述简历同步方式包括：Kafka同步、批量同步；

Kafka同步模块，当所述简历同步方式为Kafka同步时，依次将待同步简历数据及对应的对账数据发送至Kafka；

批量同步模块，当所述简历同步方式为批量同步时，将待同步简历数据批量发送至招聘管理服务器；

可用性验证模块，间隔第一预设时间验证Kafka可用性；

丢失率计算模块，若验证通过，根据历史对账数据计算对账信息丢失率；

丢失率判断模块，判断所述对账信息丢失率是否大于预设阈值；

Kafka同步设置模块，若否，则将简历同步方式设置为Kafka同步；

批量同步设置模块，若验证不通过或者对账信息丢失率大于预设阈值，则将简历同步方式设置为批量同步；

数据消费模块，间隔第二预设时间依次从Kafka获取简历数据和对账数据；

快照生成模块，根据所述简历数据按照招聘项目批次生成简历快照数据；

对账数据校验模块，根据所述对账数据进行对账数据校验处理并向Kafka发布对账数据校验结果。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1、2、4以及5任一项所述的准实时简历数据同步方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1、2、4以及5任一项所述的准实时简历数据同步方法的步骤。