CN112598529A - 数据处理方法及装置、计算机可读存储介质、电子设备 - Google Patents

Abstract

本公开涉及数据处理技术领域，提供了一种数据处理方法、装置、计算机可读存储介质和电子设备，数据处理方法包括：获取保险文件，保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各保险子文件中的预设字段，并根据各预设字段生成与各保险子文件对应的保险数据；对各保单号进行哈希计算，以获得与各保单号对应的哈希值，根据各哈希值分别对各保险数据进行数据分割，以得到预设个数的目标文件；将目标文件中的各保险数据根据保单号进行数据合并，以获得与各保单号对应的目标数据，并将目标数据按照分发规则分发至一个或多个服务器中。本公开能够对保险数据进行数据分割，并在分割之后根据保单号进行合并，提高了数据处理的效率。

Description

数据处理方法及装置、计算机可读存储介质、电子设备

技术领域

本公开涉及数据处理技术领域，特别涉及一种数据处理方法、数据处理装置、计算机可读存储介质及电子设备。

背景技术

随着互联网技术的发展，很多资源转移平台推出购买保险业务，用户在资源转移平台购买保险后，平台会将用户购买保险的保险文件保存至约定地址中。保险公司服务器通过从约定地址获取保险文件，并对保险文件进行数据处理，最终完成保险任务。

现有技术中，保险公司服务器获取保险文件之后，对保险文件中的全量数据进行解析存入数据库中，并根据数据库中的全量数据进行承保操作。由于保险文件中存在无关数据，导致存储空间浪费，另外，将全量数据存储至一张数据表中，容易在保险任务处理过程中造成查询缓慢，效率低下。

鉴于此，本领域亟需开发一种新的数据处理方法及装置。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据处理方法、数据处理装置、计算机可读存储介质及电子设备，进而至少在一定程度上能够提高数据处理的处理效率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种数据处理方法，所述方法包括：获取保险文件，所述保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各所述保险子文件中的预设字段，并根据各所述预设字段生成与各所述保险子文件对应的保险数据，各所述保险数据中均包括保单号；对各所述保单号进行哈希计算，以获得与各所述保单号对应的哈希值，根据各所述哈希值分别对各所述保险数据进行数据分割，以得到预设个数的目标文件；将所述目标文件中的各所述保险数据根据所述保单号进行数据合并，以获得与各所述保单号对应的目标数据，并将所述目标数据按照分发规则分发至一个或多个服务器中，以使各所述服务器对所述目标数据进行处理。

在本公开的一些示例性实施例中，所述保险子文件包括保单子文件、账单子文件、联系人子文件；所述分别根据不同的获取规则获取各所述保险子文件中的预设字段，并根据所述预设字段生成与各所述保险子文件对应的保险数据，包括：根据第一获取规则在所述保单子文件中获取第一预设字段，并根据所述第一预设字段生成保单数据；根据第二获取规则在所述账单子文件中获取第二预设字段，并根据所述第二预设字段生成账单数据；根据第三获取规则在所述联系人子文件中获取第三预设字段，并根据所述第三预设字段生成联系人数据；其中，所述保单数据、所述账单数据和所述联系人数据中均包括保单号。

在本公开的一些示例性实施例中，所述根据各所述哈希值分别对各所述保险数据进行数据分割，以得到预设个数的目标文件，包括：根据所述预设个数对各所述哈希值进行取模，以得到与各所述哈希值对应的余数值；分别根据具有相同余数值的所述保单数据、所述账单数据和所述联系人数据配置目标保单文件、目标账单文件和目标联系人文件，以得到所述预设个数的所述目标保单文件、所述目标账单文件和所述目标联系人文件。

在本公开的一些示例性实施例中，所述将所述目标文件中的各保险数据根据所述保单号进行合并，以获得与各所述保单号对应的目标数据，包括：在所述目标保单文件和所述目标账单文件中获取所述保单号相同的保单数据和账单数据；将所述保单号相同的保单数据和账单数据进行合并，以得到与所述保单号对应的保单账单数据。

在本公开的一些示例性实施例中，在将所述目标数据按照分发规则分发至一个或多个服务器中之前，所述方法还包括：将各所述目标数据添加至任务队列，并对各所述目标数据添加第一任务锁；将所述一个或多个服务器添加至资源队列，并对所述一个或多个服务器添加第一资源锁。

在本公开的一些示例性实施例中，所述将所述目标数据按照分发规则分发至一个或多个服务器中，以使各所述服务器对所述目标数据进行处理，包括：在所述任务队列中获取所述第一任务锁，以及在所述资源队列中获取所述第一资源锁；通过所述第一资源锁对应的第一服务器对所述第一任务锁对应的第一目标数据进行数据入库操作；在所述第一目标数据完成所述数据入库操作之后，对所述第一服务器进行解锁操作，将所述第一服务器重新添加至所述资源队列中，并对所述第一服务器重新添加第一资源锁。

在本公开的一些示例性实施例中，在对所有的目标数据进行所述数据入库操作之后，所述方法还包括：将各所述目标数据添加至所述任务队列，并对所述目标数据添加第二任务锁；在所述任务队列中获取所述第二任务锁，以及在所述资源队列中获取第二资源锁；通过所述第二资源锁对应的服务器调用外部系统，以使所述外部系统对所述第二任务锁对应的目标数据进行承保操作。

根据本公开的一个方面，提供一种数据处理装置，所述数据处理装置包括：数据获取模块，用于获取保险文件，所述保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各所述保险子文件中的预设字段，并根据各所述预设字段生成与各所述保险子文件对应的保险数据，各所述保险数据中均包括保单号；数据分割模块，用于对各所述保单号进行哈希计算，以获得与各所述保单号对应的哈希值，根据各所述哈希值分别对各所述保险数据进行数据分割，以得到预设个数的目标文件；数据处理模块，用于将所述目标文件中的各所述保险数据根据所述保单号进行数据合并，以获得与各所述保单号对应的目标数据，并将所述目标数据按照分发规则分发至一个或多个服务器中，以使各所述服务器对所述目标数据进行处理。

根据本公开的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的数据处理方法。

根据本公开的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的数据处理方法。

由上述技术方案可知，本公开示例性实施例中的数据处理方法及装置、计算机可读存储介质、电子设备至少具备以下优点和积极效果：

本公开的数据处理方法通过获取保险文件，该保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各保险子文件中的预设字段，并根据各预设字段生成与各保险子文件对应的保险数据，各保险数据中均包括保单号；然后，对个保单号进行哈希计算，以获得与各保单号对应的哈希值，根据各哈希值分别对各保险数据进行数据分割，以得到预设个数的目标文件；最后，对目标文件中的各保险数据根据保单号进行数据合并，以获得与各保单号对应的目标数据，并将目标数据按照分发规则分发至一个或多个服务器中，以使各服务器对目标数据进行处理。本公开中的数据处理方法一方面通过计算保单号的哈希值，根据哈希值对保险数据进行数据分割，保证了将保险数据均匀地分割为多个目标文件，并且，不同类型的多个目标文件中的保险数据一一对应，提高了数据合并操作的效率；另一方面，将各保险数据根据保单号进行数据合并，对合并后的目标数据进行数据处理，提高了数据处理过程中查询获取保险数据的效率，进而提高了数据处理的效率；又一方面，通过不同的获取规则获取不同类型的保险子文件中的预设字段，去除了保险子文件中的无用字段，利用预设字段生成的保险数据进行数据处理，解决了数据处理时数据量过大导致的存储介质浪费的问题，节省了磁盘损耗。

本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了根据本公开的一实施例的数据处理方法的流程示意图；

图2示意性示出了根据本公开的一实施例的数据处理系统的系统架构示意图；

图3示意性示出了根据本公开的一实施例的进行数据入库的任务分发流示意图；

图4示意性示出了根据本公开的一实施例的控制中心进行任务分发的流程示意图；

图5示意性示出了根据本公开的一实施例的数据处理装置的框图；

图6示意性示出了根据本公开的一实施例的电子设备的模块示意图；

图7示意性示出了根据本公开的一实施例的程序产品示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本领域的相关技术中，获取资源转移平台放置的保险文件，将该保险文件全量解析入库。在对保险文件全量解析入库时，将全量数据存储至一张数据表中，根据数据表中的数据进行承保处理。在现有技术中，由于从资源转移平台获取的保险文件中存在无用数据，将保险文件全量解析入库，造成存储空间浪费，并且，将所有的数据均存储在一张数据表中，造成查询缓慢，只能串行处理，无法通过多台服务器协作处理，造成承保效率缓慢。

基于相关技术中存在的问题，在本公开的一个实施例中提出了一种数据处理方法，图1示出了数据处理方法的流程示意图，如图1所示，该数据处理方法至少包括以下步骤：

步骤S110：获取保险文件，保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各保险子文件中的预设字段，并根据各预设字段生成与各保险子文件对应的保险数据，各保险数据中均包括保单号；

步骤S120：对各保单号进行哈希计算，以获得与各保单号对应的哈希值，根据各哈希值分别对各保险数据进行数据分割，以得到预设个数的目标文件；

步骤S130：将目标文件中的各保险数据根据保单号进行数据合并，以获得与各保单号对应的目标数据，并将目标数据按照分发规则分发至一个或多个服务器中，以使各服务器对目标数据进行处理。

本公开实施例中的数据处理方法，一方面通过计算保单号的哈希值，根据哈希值对保险数据进行数据分割，保证了将保险数据均匀地分割为多个目标文件，并且，不同类型的多个目标文件中的保险数据一一对应，提高了数据合并操作的效率；另一方面，将各保险数据根据保单号进行数据合并，对合并后的目标数据进行数据处理，提高了数据处理过程中查询获取保险数据的效率，进而提高了数据处理的效率；又一方面，通过不同的获取规则获取不同类型的保险子文件中的预设字段，去除了保险子文件中的无用字段，利用预设字段生成的保险数据进行数据处理，解决了数据处理时数据量过大导致的存储介质浪费的问题，节省了磁盘损耗。

需要说明的是，本数据处理方法应用于数据处理系统，图2示出了该数据处理系统的系统架构示意图，如图2所示，该数据处理系统200包括控制中心210、中间件220、核心业务处理层230、配置模块240、监控模块250以及外部系统260。其中，核心业务处理层230包括数据落地单元231、核心系统对接单元232和其它单元233，该数据落地单元231包括下载解析子单元234和数据入库子单元235，该核心系统对接单元232包括承保子单元236和理赔子单元237，其它子单元233包括发票子单元238和对账子单元239。其中，该核心系统对接单元232还可以包括其它子单元，核心系统对接单元232中的每个子单元负责处理不同的业务。

其中，控制中心210与核心业务处理层230、中间件220相连接，中间件220除了接收控制中心210的指令，还可以与核心业务处理层230连接，核心业务处理层230还与配置模块240、监控模块250和外部系统260连接，外部系统260与监控模块连接250。

具体地，下载解析子单元234监听到资源转移平台在数据存储模块中放置保险文件，触发核心业务处理层230中的下载解析子单元234获取保险文件，并将保险文件下载至本地服务器中；将保险文件中的保险数据进行数据分割和数据合并以得到多个目标数据，触发控制中心210的任务调度，将多个目标数据分发至服务器中，以使服务器对目标数据进行数据入库操作、承保操作或理赔操作；触发数据入库子单元235对多个目标数据进行分布式数据入库操作，在对所有目标数据进行数据入库操作完成后，触发核心系统对接单元232中的承保子单元236，承保子单元236调用外部系统260的数据接口根据目标数据进行承保操作；在对所有目标数据的承保操作完成后，触发理赔子单元237根据目标数据进行理赔操作；在任务处理过程中，监控模块250监控各服务器的运行状况。

为了使本公开的技术方案更清晰，接下来对数据处理方法的各步骤进行说明。

在步骤S110中，获取保险文件，保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各保险子文件中的预设字段，并根据各预设字段生成与各保险子文件对应的保险数据，各保险数据中均包括保单号。

在本公开的示例性实施例中，控制中心210启动监控线程，通过下载解析子单元234监控资源转移平台中的数据存储模块，判断数据存储模块中是否存在保险文件，若数据存储模块中存在保险文件，则获取保险文件，并将保险文件下载至本地服务器中。其中，下载解析子单元234可以实时监控该数据存储模块，还可以每隔预设时间段监控一次，比如，可以每隔半个小时监控一次，本公开对此不作具体限定。本公开通过对数据存储模块进行监控，可以避免由于资源转移平台故障没有按时放置保险文件，而下载解析子单元234定时下载保险文件的情况。

在本公开的示例性实施例中，保险文件中包括不同类型的保险子文件，比如，保险子文件中可以包括保单子文件、账单子文件、联系人子文件、理赔子文件等，本公开对此不做具体限定。其中，不同类型的保险子文件中所包含的字段不同，但不同类型的保险子文件中均包括保单号这一字段。比如，在保单子文件中包括保单号、用户信息、保险类型等；账单子文件中包括保单号、用户信息、账单号等；联系人子文件中包括保单号、用户信息、联系人信息等；理赔子文件中包括保单号、用户信息、理赔信息等。该保险子文件中的所有字段逐列或逐行存储在子文件对应的数据表中，不同类型的保险子文件的数据表中每列或每行中存储的字段不同。

在本公开的示例性实施例中，根据第一获取规则在保单子文件中获取第一预设字段，并根据第一预设字段生成保单数据；根据第二获取规则在账单子文件中获取第二预设字段，并根据第二预设字段生成账单数据；根据第三获取规则在联系人子文件中获取第三预设字段，并根据第三预设字段生成联系人数据。

其中，第一获取规则可以是在保单子文件的数据表中获取第一预设列数或第一预设行数的字段，比如，可以是在保单子文件中获取第一列、第三列和第五列字段，则获取的第一预设字段就为第一列、第三列和第五列字段，根据第一列、第三列和第五列字段对应的数据生成保单数据。

同样，第二获取规则可以是在账单子文件的数据表中获取第二预设列数或第二预设行数的字段，比如，可以是在账单子文件中获取第二列、第四列和第六列字段，则获取的第二预设字段就为第二列、第四列和第六列字段，根据第二列、第四列和第六列字段对应的数据生成账单数据。

当然，第三获取规则可以是在联系人子文件的数据表中获取第三预设列数或第三预设行数的字段，比如，可以是在联系人子文件中获取第一列、第二列字段，则获取的第三预设字段就为第一列、第二列字段，根据第一列、第二列字段对应的数据生成联系人数据。

本公开可以通过第一获取规则、第二获取规则和第三获取规则生成保单数据、账单数据和联系人数据，从而在保险文件中去除无用字段，减少保险数据的大小，节省服务器的磁盘空间。

需要说明的是，第一获取规则、第二获取规则和第三获取规则可以根据实际情况进行配置，具体地，可以通过在配置模块240中配置与第一获取规则、第二获取规则和第三获取规则对应的第一预设字段、第二预设字段和第三预设字段，或配置第一预设列数(第一预设行数)、第二预设列数(第二预设行数)和第三预设列数(第三预设行数)来配置第一获取规则、第二获取规则和第三获取规则。

在步骤S120中，对各保单号进行哈希计算，以获得与各保单号对应的哈希值，根据各哈希值分别对各保险数据进行数据分割，以得到预设个数的目标文件。

在本公开的示例性实施例中，保险数据可以包括保单数据、账单数据、联系人数据。获取各保险数据中的保单号，对保单号进行哈希计算，以获得与各保单号对应的哈希值。具体地，本公开中可以使用哈希函数对保单号进行哈希计算，比如，采用的哈希函数可以是MD4、MD5函数，还可以是SHS函数，本公开对此不作具体限定。

在本公开的示例性实施例中，根据各哈希值分别对各保险数据进行数据分割，以得到预设个数的目标文件，包括：根据预设个数对各哈希值进行取模，以得到与各哈希值对应的余数值；分别根据具有相同余数值的保单数据、账单数据和联系人数据配置目标保单文件、目标账单文件和目标联系人文件，以得到预设个数的目标保单文件、目标账单文件和目标联系人文件。

具体地，根据具有相同余数值的保单数据配置目标保单文件，以得到预设个数的目标保单文件；根据具有相同余数值的账单数据配置目标账单文件，以得到预设个数的目标账单文件；根据具有相同余数值的联系人数据配置目标联系人文件，以得到预设个数的目标联系人文件。各目标保单文件、目标账单文件和目标联系人文件中的保单数据、账单数据和联系人数据一一对应，各目标保单文件、目标账单文件和目标联系人文件中的保单数据、账单数据和联系人数据的个数相同，且对应的余数值均相同。

比如，若预设个数为20个，用数字1-20分别对目标保单文件、目标账单文件和目标联系人文件进行编号，即配置编号为1-20的目标保单文件、目标账单文件和目标联系人文件。若保险文件为100个，即保单数据、账单数据和联系人数据均为100个。对保单号进行哈希计算得到哈希值，并根据20对各哈希值进行取模，得到各保单号对应的余数值，各余数值为1-20的数字；根据各保单号对应的余数值，将各保单号对应的保单数据、账单数据和联系人数据分别存储在与余数值具有相同编号的目标保单文件、目标账单文件和目标联系人文件中。也就是说，在编号为1的目标保单文件、目标账单文件和目标联系人文件中分别包括余数值为1的50个保单数据、账单数据和联系人数据。

其中，预设个数可以根据实际情况进行设定，比如，可以设定为30，还可以设定为50，还可以是其它正整数，本公开对此不作具体限定。

另外，在根据预设个数对各哈希值进行取模之前，可以对各哈希值进行移位处理，比如，可以对哈希值右移16位，提高了数据的分散度，保证了保险数据可以均匀的分割在多个目标文件中。

在步骤S130中，将目标保险数据根据保单号进行数据合并，以获得与各保单号对应的目标数据，并将目标数据按照分发规则分发至一个或多个服务器中，以使各服务器对目标数据进行处理。

在本公开的示例性实施例中，在目标保单文件和目标账单文件中获取保单号相同的保单数据和账单数据；将保单号相同的保单数据和账单数据进行合并，以得到与保单号对应的保单账单数据。即，将目标保单文件和目标账单文件进行合并，具体是通过将目标保单文件中的保单数据和目标账单文件中的账单数据根据保单号是否相同进行合并，将合并得到的保单账单数据存储在保单账单文件中。本公开将保单数据和账单数据进行合并，会大大提升后续数据处理过程中的查询效率，也会节省数据库的磁盘空间。

另外，还可以将目标保单文件、目标账单文件和目标联系人文件中的保单号相同的保单数据、账单数据和联系人数据进行合并，以得到与保单号对应的保单账单联系人数据，将保单账单联系人数据存储在保单账单联系人文件，即将目标保单文件、目标账单文件和目标联系人文件进行合并。

在本公开的示例性实施例中，在将目标数据按照分发规则分发至一个或多个服务器中之前，将各目标数据添加至任务队列，并对各目标数据添加第一任务锁；将一个或多个服务器添加至资源队列，并对一个或多个服务器添加第一资源锁。其中，分别对保单账单文件和目标联系人文件中的保单账单数据和联系人数据添加任务锁。

需要说明的是，本数据处理系统200可以采用分布式锁控制，比如可以是zookeeper，针对任务队列中的每一个任务在zookeeper上创建一个临时节点，创建成功则表明对该任务成功添加了任务锁，创建失败则表明对该任务添加任务锁不成功。比如，创建的临时节点的名称可以是“save_person_8”，表示8号目标联系人文件中的联系人数据的数据入库任务。基于上述添加任务锁的原理，用相同的方法添加资源锁，即在zookeeper上创建节点，添加资源锁与任务锁不同之处在于，创建的节点名称不同，比如就，节点名称可以是“ip:port--->127.0.0.1:8080”的形式。

在本公开的示例性实施例中，图3示出了进行数据入库的任务分发流示意图，如图3所示，该流程至少包括步骤S310至步骤S330，详细介绍如下：

在步骤S310中，在任务队列中获取第一任务锁，以及在资源队列中获取第一资源锁。

在本公开的示例性实施例中，控制中心210后台启动监控线程，在任务队列中获取第一任务锁，若未获取到第一任务锁，说明任务队列中的所有任务正在执行中，则返回监控线程；若获取到第一任务锁，则继续在资源队列中获取第一资源锁，若未获取到第一资源锁，则在资源队列中重新拉取资源，直到获取到第一资源锁。

在步骤S320中，通过第一资源锁对应的第一服务器对第一任务锁对应的第一目标数据进行数据入库操作。

在本公开的示例性实施例中，获取第一任务锁对应的第一目标数据和第一资源锁对应的第一服务器，通过该第一服务器读取第一目标数据，并将第一目标数据写入数据库中。其中，在将第一目标数据写入数据库中时，是将保单账单文件和目标联系人文件中的保单账单数据和联系人数据分别写入数据库中。

在本公开的示例性实施例中，在第一服务器对第一目标数据完成数据入库操作之后，向控制中心210返回任务完成标识，以使控制中心210进行下一任务的分发。

在本公开的示例性实施例中，在第一服务器对第一目标数据执行数据入库操作时，监控模块250同时对第一服务器的运行状态进行监控，若第一服务器发生异常情况，则释放任务锁和资源锁，将第一服务器和第一目标数据重新添加至资源队列和任务队列中；若针对该第一服务器连续发生预设次数的异常情况，则触发报警，并设置该第一服务器预设时间段内不可用。其中，该预设次数和预设时间段均可以根据实际情况进行设定，可以提前在配置模块240中进行设定，本公开对此不作具体限定。另外，异常情况可以是获取第一服务器的数据接口超时，还可以是第一服务器未按时反馈任务完成信息，本公开对此不作具体限定。

在本公开的示例性实施例中，在对第一目标数据进行数据入库操作的过程中，分批对第一目标数据进行数据入库操作，每处理完一个批次，即在对应的位置添加断点记录。若对第一目标数据进行数据入库操作的过程中，程序突然中断，首先读取第一目标数据对应的断点记录，从断点记录所在的位置开始进行数据入库操作。

在步骤S330中，在第一目标数据完成数据入库操作之后，对第一服务器进行解锁操作，将第一服务器重新添加至资源队列中，并对第一服务器重新添加第一资源锁。

在本公开的示例性实施例中，第一服务器一次只执行一个对目标数据进行数据入库操作的任务，在完成对第一目标数据进行数据入库之后，对第一服务器释放第一资源锁，并将第一服务器重新添加至资源队列中，继续执行对下一个目标数据的数据入库操作，直至将所有的目标数据均存储至数据库中。

在本公开的示例性实施例中，在对所有的目标数据进行数据入库操作之后，可以通过第一服务器对目标数据执行下一任务，下一任务可以是根据目标数据进行承保操作任务，还可以是根据目标数据进行理赔操作任务，本公开对此不作具体限定。

具体地，将各目标数据添加至任务队列，并对目标数据添加第二任务锁；在任务队列中获取第二任务锁，以及在资源队列中获取第二资源锁；通过第二资源锁对应的服务器调用外部系统260，以使外部系统260对第二任务锁对应的目标数据进行承保操作。其中，同一目标数据分别在添加第一任务锁和第二任务锁时，创建的节点名称不同，以节点名称可区分根据目标数据执行的任务。同一服务器分别在添加第一资源锁和第二资源锁时，创建的节点名称相同。

其中，通过外部系统260对目标数据进行承保操作时，外部系统260获取的目标数据包括保单账单数据和联系人数据，即外部系统260根据对同一保单号对应的保单账单数据和联系人数据进行承保操作。为了实现外部系统260对同一保单号对应的保单账单数据和联系人数据进行承保操作，可以在对目标数据添加第二任务锁之前，先将保单账单数据和联系人数据进行合并得到保单账单联系人数据，再对合并后的保单账单联系人数据添加第二任务锁。还可以通过第二资源锁对应的服务器同时获取具有相同保单号的保单账单数据和联系人数据，并将具有相同保单号的保单账单数据和联系人数据同时发送至外部系统260，以使该外部系统260根据接收的具有相同保单号的保单账单数据和联系人数据进行承保操作。

另外，在对目标数据进行数据入库操作时，服务器会将需要进行数据入库的目标数据存储在缓存中，因此，在进行承保操作时，可以直接从缓存中获取需要进行承保操作的目标数据，对该目标数据进行承保任务分发和承保操作。本公开的任务分发操作是基于内存的操作，相较于基于数据库等硬件磁盘介质，极大地提高了效率，能够支撑更大的任务并发量。

在本公开的示例性实施例中，监控模块250会实时监控和记录每个服务器处理数据总量和失败总量，当失败率达到阈值时，触发报警，停止该服务器的运行。其中，阈值可以根据实际情况进行设定，本公开对此不做具体限定。

在本公开的示例性实施例中，图4示出了控制中心210进行任务分发的流程示意图，如图4所示，该流程至少包括步骤S401至步骤S416，详细介绍如下：

在步骤S401中，控制中心210接收任务分发请求；

在步骤S402中，将目标数据封装成任务对象，添加至任务队列中；

在步骤S403中，对任务对象添加任务锁，和资源队列中的服务器添加资源锁；

在步骤S404中，后台启动监控线程；

在步骤S405中，判断任务队列是否存在任务锁；

在步骤S406中，若不存在任务锁，则直接返回监控线程；

在步骤S407中，若存在任务锁，则获取任务锁；

在步骤S408中，判断资源队列中是否存在资源锁；

在步骤S409中，若不存在资源锁，则在资源队列中重新拉取资源锁；

在步骤S410中，若存在任务锁，则获取资源锁；

在步骤S411中，通过资源锁对应的服务器解析任务锁对应的任务内容，并执行任务。

在步骤S412中，监控服务器的任务运行状况；

在步骤S413中，若服务器任务执行异常，并统计异常状况发生的次数；其中，任务执行异常包括调用服务器接口超时，服务器未按时反馈任务执行状况，或服务器返回结果失败等情况，本公开对此不作具体限定；

在步骤S414中，若该服务器连续超过三次均发生异常，则触发报警，并限制该服务器在10分钟之内不可用；

在步骤S415中，若该服务器连续发生异常的次数不超过三次，则释放任务锁和资源锁，将该任务锁和资源锁对应的目标数据和服务器重新添加至任务队列和资源队列，返回步骤S403；

在步骤S416中，若该服务器返回任务完成标识，则直接返回监控线程，并释放资源锁，并将该资源锁对应的服务器重新添加至资源队列，返回步骤S405。

本公开的实施例在本次接收到任务分发请求时，均会从缓存中获取最新的服务器资源，实现了服务器扩展的自动感知，同时，资源队列采用循环获取的方式，无论服务器是否正在使用均会获取，避免了由于程序问题导致的服务器资源未释放，是的服务器资源不可用的问题；另外，在通过服务器执行任务执行，对任务和服务器是否已在运行进行了校验，避免了同一个任务被多次执行、同一个服务器资源同时执行多个任务的风险；还有，本公开的任务分发操作是基于内存的操作，相较于基于数据库等硬件磁盘介质，极大地提高了效率，能够支撑更大的任务并发量。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

以下介绍本公开的装置实施例，可以用于执行本公开上述的数据处理方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的数据处理方法的实施例。

图5示意性示出了根据本公开的一个实施例的数据处理装置的框图。

参照图5所示，根据本公开的一个实施例的数据处理装置500，数据处理装置500包括：数据获取模块501、数据分割模块502和数据处理模块503。具体地：

数据获取模块501，用于获取保险文件，保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各保险子文件中的预设字段，并根据各预设字段生成与各保险子文件对应的保险数据，各保险数据中均包括保单号；

数据分割模块502，用于对各保单号进行哈希计算，以获得与各保单号对应的哈希值，根据各哈希值分别对各保险数据进行数据分割，以得到预设个数的目标文件；

数据处理模块503，用于将目标文件中的各保险数据根据保单号进行数据合并，以获得与各保单号对应的目标数据，并将目标数据按照分发规则分发至一个或多个服务器中，以使各服务器对目标数据进行处理。

在本公开的示例性实施例中，数据获取模块501还可以用于根据第一获取规则在保单子文件中获取第一预设字段，并根据第一预设字段生成保单数据；根据第二获取规则在账单子文件中获取第二预设字段，并根据第二预设字段生成账单数据；根据第三获取规则在联系人子文件中获取第三预设字段，并根据第三预设字段生成联系人数据；其中，保单数据、账单数据和联系人数据中均包括保单号。

在本公开的示例性实施例中，数据分割模块502还可以用于根据预设个数对各哈希值进行取模，以得到与各哈希值对应的余数值；分别根据具有相同余数值的保单数据、账单数据和联系人数据配置目标保单文件、目标账单文件和目标联系人文件，以得到预设个数的目标保单文件、目标账单文件和目标联系人文件。

在本公开的示例性实施例中，数据分割模块502还可以用于在目标保单文件和目标账单文件中获取保单号相同的保单数据和账单数据；将保单号相同的保单数据和账单数据进行合并，以得到与保单号对应的保单账单数据。

在本公开的示例性实施例中，数据处理模块503还可以用于将各目标数据添加至任务队列，并对各目标数据添加第一任务锁；将一个或多个服务器添加至资源队列，并对一个或多个服务器添加第一资源锁。

在本公开的示例性实施例中，数据处理模块503还可以用于在任务队列中获取第一任务锁，以及在资源队列中获取第一资源锁；通过第一资源锁对应的第一服务器对第一任务锁对应的第一目标数据进行数据入库操作；在第一目标数据数据入库操作完成完成数据入库操作之后，对第一服务器进行解锁操作，将第一服务器重新添加至资源队列中，并对第一服务器重新添加第一资源锁。

在本公开的示例性实施例中，数据处理模块503还可以用于将各目标数据添加至任务队列，并对目标数据添加第二任务锁；在任务队列中获取第二任务锁，以及在资源队列中获取第二资源锁；通过第二资源锁对应的服务器调用外部系统260，以使外部系统260对第二任务锁对应的目标数据进行承保操作。

上述各数据处理装置500的具体细节已经在对应的数据处理方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤S110：获取保险文件，保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各保险子文件中的预设字段，并根据各预设字段生成与各保险子文件对应的保险数据，各保险数据中均包括保单号；步骤S120：对各保单号进行哈希计算，以获得与各保单号对应的哈希值，根据各哈希值分别对各保险数据进行数据分割，以得到预设个数的目标文件；步骤S130：将目标文件中的各保险数据根据保单号进行数据合并，以获得与各保单号对应的目标数据，并将目标数据按照分发规则分发至一个或多个服务器中，以使各服务器对目标数据进行处理。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得观众能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取保险文件，所述保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各所述保险子文件中的预设字段，并根据各所述预设字段生成与各所述保险子文件对应的保险数据，各所述保险数据中均包括保单号；

对各所述保单号进行哈希计算，以获得与各所述保单号对应的哈希值，根据各所述哈希值分别对各所述保险数据进行数据分割，以得到预设个数的目标文件；

将所述目标文件中的各所述保险数据根据所述保单号进行数据合并，以获得与各所述保单号对应的目标数据，并将所述目标数据按照分发规则分发至一个或多个服务器中，以使各所述服务器对所述目标数据进行处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述保险子文件包括保单子文件、账单子文件、联系人子文件；

所述分别根据不同的获取规则获取各所述保险子文件中的预设字段，并根据所述预设字段生成与各所述保险子文件对应的保险数据，包括：

根据第一获取规则在所述保单子文件中获取第一预设字段，并根据所述第一预设字段生成保单数据；

根据第二获取规则在所述账单子文件中获取第二预设字段，并根据所述第二预设字段生成账单数据；

根据第三获取规则在所述联系人子文件中获取第三预设字段，并根据所述第三预设字段生成联系人数据；

其中，所述保单数据、所述账单数据和所述联系人数据中均包括保单号。

3.根据权利要求2所述的数据处理方法，其特征在于，所述根据各所述哈希值分别对各所述保险数据进行数据分割，以得到预设个数的目标文件，包括：

根据所述预设个数对各所述哈希值进行取模，以得到与各所述哈希值对应的余数值；

分别根据具有相同余数值的所述保单数据、所述账单数据和所述联系人数据配置目标保单文件、目标账单文件和目标联系人文件，以得到所述预设个数的所述目标保单文件、所述目标账单文件和所述目标联系人文件。

4.根据权利要求3所述的数据处理方法，其特征在于，所述将所述目标文件中的各保险数据根据所述保单号进行合并，以获得与各所述保单号对应的目标数据，包括：

在所述目标保单文件和所述目标账单文件中获取所述保单号相同的保单数据和账单数据；

将所述保单号相同的保单数据和账单数据进行合并，以得到与所述保单号对应的保单账单数据。

5.根据权利要求1所述的数据处理方法，其特征在于，在将所述目标数据按照分发规则分发至一个或多个服务器中之前，所述方法还包括：

将各所述目标数据添加至任务队列，并对各所述目标数据添加第一任务锁；

将所述一个或多个服务器添加至资源队列，并对所述一个或多个服务器添加第一资源锁。

6.根据权利要求5所述的数据处理方法，其特征在于，所述将所述目标数据按照分发规则分发至一个或多个服务器中，以使各所述服务器对所述目标数据进行处理，包括：

在所述任务队列中获取所述第一任务锁，以及在所述资源队列中获取所述第一资源锁；

通过所述第一资源锁对应的第一服务器对所述第一任务锁对应的第一目标数据进行数据入库操作；

在所述第一目标数据完成所述数据入库操作之后，对所述第一服务器进行解锁操作，将所述第一服务器重新添加至所述资源队列中，并对所述第一服务器重新添加所述第一资源锁。

7.根据权利要求6所述的数据处理方法，其特征在于，在对所有的目标数据进行所述数据入库操作之后，所述方法还包括：

将各所述目标数据添加至所述任务队列，并对所述目标数据添加第二任务锁；

在所述任务队列中获取所述第二任务锁，以及在所述资源队列中获取第二资源锁；

通过所述第二资源锁对应的服务器调用外部系统，以使所述外部系统对所述第二任务锁对应的目标数据进行承保操作。

8.一种数据处理装置，其特征在于，包括：

数据获取模块，用于获取保险文件，所述保险文件中包括多个类型的保险子文件，分别根据不同的获取规则获取各所述保险子文件中的预设字段，并根据各所述预设字段生成与各所述保险子文件对应的保险数据，各所述保险数据中均包括保单号；

数据分割模块，用于对各所述保单号进行哈希计算，以获得与各所述保单号对应的哈希值，根据各所述哈希值分别对各所述保险数据进行数据分割，以得到预设个数的目标文件；

数据处理模块，用于将所述目标文件中的各所述保险数据根据所述保单号进行数据合并，以获得与各所述保单号对应的目标数据，并将所述目标数据按照分发规则分发至一个或多个服务器中，以使各所述服务器对所述目标数据进行处理。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的数据处理方法。

Images