CN112364021B - 业务数据处理方法、装置及存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，尤其涉及一种业务数据处理方法、装置及存储介质。本发明的业务数据处理方法包括：分别创建多个数据宽表的标签计算任务；创建标签竖表，将所述标签计算任务所指向的标签汇总至标签竖表中，根据标签计算任务的计算结果对所述标签竖表进行更新；利用所述标签竖表，对数据宽表中的数据进行集中更新；通过上述方式，标签计算任务之间相互独立，并且采用并行的方式执行计算过程，降低了各标签计算任务之间的耦合性；并且，只需保存标签竖表这一个中间数据，减少了冗余数据的存储；同时，利用标签竖表对数据宽表进行集中更新，能够避免数据宽表长时间处于不稳定状态，降低数据出错率，保证及时反馈数据。

Description

业务数据处理方法、装置及存储介质

【技术领域】

本发明涉及数据处理技术领域，尤其涉及一种业务数据处理方法、装置及存储介质。

【背景技术】

现有技术中的数据宽表的更新方式主要是数据宽表拼接大量的中间表，不断形成一张新宽表，这样不仅会产生大量的中间表中间数据，浪费存储资源，并且随着宽表的变宽，计算时长也不断增加。进一步地，随着模型标签的修改，也会产生频繁删除和新增标签的场景，上述场景会带来繁琐及频繁的无意义上游和下游任务的更新修改，浪费时间修改上下链接任务；尤其在保险行业中，很多定性、定量的标签是不需要重复计算的，而一些计算标签是根据事件发生的时间不同重新计算，所以存在标签更新时间和频率不同的问题，上述数据宽表的更新方式计算任务之间的耦合性高，浪费了集群的计算资源，增加了集群的压力，由于数据宽表在更新的这段时间内处于不稳定状态，上层程序若在这段时间访问宽表，不能保证数据的及时性。

【发明内容】

本发明的目的在于提供一种业务数据处理方法、装置及存储介质，以解决现有技术中数据宽表更新时计算任务耦合性高、冗余数据多以及数据宽表查询时数据反馈不及时的技术问题。

本发明的技术方案如下：提供一种业务数据处理方法，包括：

分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务；

创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新；

将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

优选地，所述分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务之前，还包括：

分别对数据宽表中每个标签的计算过程进行解析，以获取每个标签的标签算法；

基于所述标签算法建立标签算法配置表，其中，所述标签算法配置表包括标签和与所述标签匹配的标签算法。

优选地，所述分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务，包括：

接收标签计算请求，其中，所述标签计算请求包括待计算的业务数据以及所请求的标签；

根据所述标签从预设的所述标签算法配置表中获取标签算法；

根据所述标签算法和所述业务数据创建所述标签计算任务，并将所述标签计算任务发送至消息中间件，所述消息中间件根据所述计算节点的计算请求将所述标签计算任务分发至所述计算节点，在不同的计算节点并行执行多个所述标签计算任务。

优选地，所述数据宽表为保单画像，所述标签为保单画像标签，所述将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据之后，还包括：

接收客户端发送的保单数据查询请求，其中，所述保单数据查询请求包括保单画像标签和保单信息；

根据所述保单画像标签和所述保单信息在所述标签竖表中查找与所述保单数据查询请求匹配的保单数据；

当所述标签竖表中不存在与所述保单数据查询请求匹配的保单数据时，根据所述保单画像标签和所述保单信息在所述保单画像宽表中查找与所述保单数据查询请求匹配的保单数据。

优选地，所述分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务之前，还包括：

获取数据宽表中每个标签的数据更新频率；

根据预设的第一更新频率阈值和第二更新频率阈值，从所述数据宽表中拆分出第一数据表分区、第二数据表分区和第三数据表分区，其中，所述第一数据表分区包含更新频率大于或等于第一更新频率阈值的标签，所述第二数据表分区包含更新频率大于第二更新频率阈值且小于第一更新频率阈值的标签，所述第三数据表分区包含更新频率小于或等于第二更新频率阈值的标签；

所述将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据，包括：

按照所述第一数据表分区、所述第二数据表分区以及所述第三数据表分区的顺序，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

优选地，所述分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务之前，还包括：

分别获取数据宽表中每个标签的数据更新频率和数据查询频率；

根据预设的第三更新频率阈值和查询频率阈值，将从所述数据宽表中拆分出第四数据表分区、第五数据表分区和第六数据表分区，其中，所述第四数据表分区包含更新频率大于或等于所述第三更新频率阈值且查询频率小于所述查询频率阈值的标签，所述第五数据表分区包含更新频率小于所述第三更新频率阈值且查询频率大于或等于所述查询频率阈值的标签，所述第六数据表分区包含剩余标签；

所述将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据，包括：

按照所述第四数据表分区、所述第六数据表分区以及所述第五数据表分区的顺序，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

优选地，所述将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据，包括：

针对所述标签竖表中的每个标签，判断所述标签是否存在于所述数据宽表中；

当判断结果为是时，根据所述标签和计算结果分别对所述数据宽表中待发生变更的数据进行更新；

当判断结果为否时，在所述数据宽表中增加所述标签，并分别写入计算结果，对所述数据宽表进行更新。

本发明的另一技术方案如下：提供一种业务数据处理装置，包括：

标签计算模块，用于分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务；

标签竖表模块，用于创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新；

画像更新模块，用于将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

本发明的另一技术方案如下：提供一种业务数据处理装置，所述装置包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有程序指令；所述处理器用于执行所述存储器存储的所述程序指令以执行上述的业务数据处理方法。

本发明的另一技术方案如下：提供一种存储介质，所述存储介质存储程序指令，所述程序指令被处理器执行时，实现上述的业务数据处理方法。

本发明的有益效果在于：本发明的业务数据处理方法、装置及存储介质，分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务；创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新；利用所述标签竖表，对数据宽表中的数据进行集中更新；通过上述方式，标签计算任务之间相互独立，并且采用并行的方式执行计算过程，降低了各标签计算任务之间的耦合性；并且，只需保存标签竖表这一个中间数据，减少了冗余数据的存储；同时，利用标签竖表对数据宽表进行集中更新，能够避免数据宽表长时间处于不稳定状态，降低数据出错率，保证及时反馈数据。

【附图说明】

图1为本发明第一实施例的业务数据处理方法的流程图；

图2为本发明第二实施例的业务数据处理方法的流程图；

图3为本发明第三实施例的业务数据处理方法的流程图；

图4为本发明第四实施例的业务数据处理装置的结构示意图；

图5为本发明第五实施例的业务数据处理装置的结构示意图；

图6为本发明第六实施例的存储介质的结构示意图。

【具体实施方式】

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明第一实施例的业务数据处理方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该业务数据处理方法包括步骤：

S101，分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务。

在本实施例中，多个标签计算任务的执行主体可以为服务器，该服务器采用分布式计算框架实现标签计算任务的并行执行，分布式计算框架包括多个计算节点，每个计算节点分发到一个标签计算任务，各个计算节点独立对自身分发到的标签计算任务进行计算，得到标签计算任务的计算结果。

为了便于理解，本实施例先对数据宽表进行说明，在本实施例中，数据宽表为字段比较多的数据库表，针对业务数据，将业务主题相关的指标、维度、属性关联在一起形成一张数据库表，宽表中的每个字段又称为标签。例如，数据宽表可以为保单画像，下面以保单画像为例对数据宽表进行详细说明，保单画像中，每一保单代表一条记录，一个字段(标签)代表一个属性，将字段按其属性划分，可以分为保单属性(保单号、保单类型、用户缴费方式、保险期限、当期缴费期限、当期缴费额度等)、用户属性(用户姓名、用户年龄、用户职业、电话营销接受率等)、业务交易属性(保险代理人、购买渠道、所属地区等)、各项指标属性(保单当期续保率、保单当期赔付率、准时缴纳保费率等)，确定保单号和属性即可获知其在宽表中的准确位置。保单画像中的数据并非直接来源于数据源，而是根据数据源中的各项数据进行统计或计算所得，上述对各项数据进行统计或计算即为本实施例中标签计算任务所完成的，标签计算任务所得的计算结果对应数据宽表中相关标签的多个数据，例如，标签为准时缴纳保费率，则对应的标签计算任务的计算结果为多个保单的准时缴纳保费率；标签为保单当期续保率，则对应的标签计算任务的计算结果为多个保单的保单当期续保率。并且随着业务标签池中标签的增加，保单画像不断新增标签对应的字段。为了保证保单画像中数据的及时性和准确性，通常需要根据标签的增加任务和删除任务以及已有标签的重新计算任务来更新保单画像模型宽表中的数据。

进一步地，上述数据宽表也可以是数据仓库系统中的宽表，数据仓库系统包括数据源、数据仓库、分析处理系统和前端工具，其中，数据源为整个数据仓库系统的基础，数据源包括企业内部的多种保单业务数据和多种保单文档数据以及外部的竞争对手信息、市场信息及法律法规信息等。数据仓库是以数据表的结构存储数据源的数据，每个数据源可以对应多个数据对象，每个数据表对应一个数据对象；数据仓库中通常设定一宽表，用于尽可能地保存各种数据记录，以便用户通过访问该宽表就能直接得到想要的数据，该宽表即为本发明的数据宽表。分析处理系统基于数据宽表对待分析数据进行集成，按分析模型进行组织并进行分析。前端工具基于分析处理系统的分析结果以及数据宽表中的数据进行各项应用。

与现有技术中逐一拼接新增特征或迭代特征形成数据宽表更新方式不同，本步骤中的标签计算任务之间可以相互独立，并且采用并行的方式执行计算过程，降低了各标签计算任务之间的耦合性。

在本实施例中，当需要对数据宽表中某个标签所在行或列的一个或多个数据进行更新时，创建该标签的标签计算任务。

S102，创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新。

在本实施例中，标签竖表可以理解为窄表，为严格按照数据库设计三范式形成的数据表。在本步骤中，当独立的标签计算任务执行完毕得到计算结果后，无需单独创建计算结果中间表并立即在数据宽表中更新，而是先汇总至标签竖表中，标签竖表可以用于临时存储一定时间阈值内的所有的标签计算任务的计算结果，该时间阈值可以是一天，也可以是设定的任何一个时间段。并且，上述标签计算任务指向的标签(竖表标签)可以为数据宽表中已经存在的字段，标签计算任务对其数值进行重新迭代计算；上述标签计算任务指向的标签(竖表标签)也可以为数据宽表中上不存在的字段，需要在数据宽表中增加该标签。当数据宽表为保单画像时，上述标签计算任务可以对应保单画像中保存的所有保单，可以对应其中一种类型的所有保单，或对应其中任意的多个保单，每个标签对应一个保单特征。

在一个可选的实施方式中，多个保单特征的标签计算任务均涉及保单画像宽表中所有的保单号，如表1所示，在标签竖表中，将所有保单号以行的形式汇总至所述标签竖表中，当任一标签计算任务执行完毕后，根据保单画像标签在标签竖表中的位置，将每个保单的计算结果添加至该标签所在的行。

表1标签竖表示例1

	保单202001	保单202002	保单202003	保单202004	保单202005
						标签A	15％	10％	5％	10％	3％
标签B	1	1	1	1	0
						标签C	3	3	2	2	5
标签D	x	y	z-x	x-y	x-y

在另一个可选的实施方式中，多个保单画像的标签计算任务均涉及保单画像宽表中不同的保单号，在表2中，指向标签A的标签计算任务只涉及保单202001、保单202002和保单202005,指向标签B的标签计算任务只涉及保单202008和保单202009。当任一标签计算任务执行完毕后，根据保单画像标签在标签竖表中的位置，将保单号及对应的计算结果添加至该标签所在的行，当保单号已经在标签竖表中存在时，直接在标签所在行、保单号所在列添加对应的计算结果；当保单号在标签竖表中不存在时，先在标签竖表中以列的形式添加保单号，再在标签所在行、保单号所在列添加对应的计算结果，将没有进行过该标签计算的保单号的计算结果记为空，在后续数据宽表更新过程中，计算结果记为空的数据项不进行更新。

表2标签竖表示例2

	保单202001	保单202002	保单202003	保单202005	保单202008
						标签A	15％	10％	5％	-	-
标签B	-	-	-	1	0
						标签C	3	3	2	2	5
标签D	x	-	-	-	-

S103，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。在本步骤中，可以通过HQL(查询语言，Hive QueryLanguage)语句完成标签竖表和数据宽表之间的合表操作，得到更新后的数据宽表。具体地，在本步骤中，针对所述标签竖表中的每个标签，判断所述标签是否存在于所述数据宽表中；当判断结果为是时，根据所述保单画像标签和计算结果分别对所述保单画像宽表中待发生变更的数据进行更新；当判断结果为否时，在所述数据宽表中增加所述标签，并分别写入计算结果，以对所述数据宽表进行更新。

下面以数据宽表为保单画像为例进行具体说明，在标签竖表以及数据宽表中，标签均以列的形式排列，保单号以列的形式排列，并且，在标签竖表中，每个标签的计算结果包括排成一列的多个数据，于是，在步骤S103中，首先，将标签竖表中的每个标签与所述数据宽表的字段进行匹配，确定数据宽表中与所述标签匹配的字段所在列；然后，根据计算结果中每个数据对应的保单号确定所述数据在数据宽表中所在行；最后，将所述数据更新至数据宽表中所确定的列和所确定的行对应的位置。当然，本领域技术人员应当理解，在标签竖表以及数据宽表中，标签可以以行的形式排列，保单号可以以列的形式排列。

在第一个可选的实施方式中，在步骤S101之前还包括如下步骤：

S001，分别对数据宽表中每个标签的计算过程进行解析，以获取每个标签的标签算法。

S002，基于所述标签算法建立标签算法配置表，其中，所述标签算法配置表包括标签和与所述标签匹配的标签算法。

在本实施方式中，每个标签的标签算法为一个小程序，当需要对数据宽表中的标签进行删除时，只需删除对应的标签算法小程序以及标签算法配置表中的对应标签算法；当需要修改数据宽表中标签的算法时，只需修改标签算法小程序，以及修改标签算法配置表中的对应标签算法；当需要增加数据宽表中的标签时，只需增加对应的标签算法，并将新增的标签算法添加至标签算法配置表中即可，保证了数据宽表的可扩展性，标签计算任务之间相互独立，实现了标签计算任务的解耦。

下面以保单画像为例对算法配置表进行具体说明：

在本实施方式中，算法配置表用于记录所述保单画像标签以及对应的所述标签算法之间关系，在算法配置表的建立过程中，可以根据所述标签算法的命名规则生成算法标识，建立所述标签算法和所述算法标识之间的对应关系。具体地，可以直接将保单画像标签的名称作为算法标识，如表3所示。

表3算法配置表示例

算法标识	项目算法
		保单画像标签A	标签算法1
保单画像标签B	标签算法2
		保单画像标签C	标签算法3

于是，步骤S101具体包括如下步骤：

S1011，接收标签计算请求，其中，所述标签计算请求包括待计算的业务数据以及所请求的标签。

S1012，根据所述标签从预设的所述标签算法配置表中获取标签算法。

S1013，根据所述标签算法和所述业务数据创建所述标签计算任务，并将所述标签计算任务发送至消息中间件，所述消息中间件根据所述计算节点的计算请求将所述标签计算任务分发至所述计算节点，在不同的计算节点并行执行多个所述标签计算任务。

在第二个可选的实施方式中，所述数据宽表为保单画像，所述标签为保单画像标签，在步骤S103之后进一步包括如下步骤：

S104，接收客户端发送的保单数据查询请求，其中，所述保单数据查询请求包括保单画像标签和保单信息。

S105，根据所述保单画像标签和所述保单信息在所述标签竖表中查找与所述保单数据查询请求匹配的保单数据。

S106，当所述标签竖表中不存在与所述保单数据查询请求匹配的保单数据时，根据所述保单画像标签和所述保单信息在所述保单画像宽表中查找与所述保单数据查询请求匹配的保单数据。

在本实施方式中，在标签计算任务的执行过程中用户端发起对保单画像宽表的查询请求时，由于保单画像宽表还未更新，先在标签竖表中查询，当标签竖表中不存在目标数据时再在保单画像宽表中查询，由于标签竖表中的标签字段比保单画像宽表中的标签字段少，提高了保单数据查询的速度。

在第三个可选的实施方式中，所述数据宽表为保单画像，所述标签为保单画像标签，该保单画像为四层架构，依次为定性标签层、定量标签层、计算标签层和业务标签层，其中，定性标签包括保单号、被保险人姓名、保单类型、缴费方式、被保险人职业等，定量标签包括用户年龄、用户生日、保费缴纳日期、保险期限、缴费年度、保单生效日等，业务标签包括所属地区、所属代理人、保单状态、当期缴费期限、当期缴费额度等，计算标签为事件发生时需要重新计算的标签，包括保单当期续保率、保单当期赔付率、准时缴纳保费率等。对于定性标签和定量标签，一般不会重新计算，业务标签会定期进行更新，计算标签根据计算事件进行更新。

于是，将保单画像宽表的所有字段按照所属标签层分成若干份，当进行保单画像更新时，在步骤S102中，按照标签层为每一份字段设置一个标签竖表子表；将所述标签层中的待更新保单画像标签汇总至该标签层对应的标签竖表子表中，并根据所述标签层的各标签的标签计算任务的计算结果对所述标签竖表子表进行更新；将各个标签竖表子表合并为标签竖表。在步骤S103中，利用所述标签竖表，对保单画像对应的模型宽表中的数据进行集中更新。更具体地，在本实施方式中，四个标签竖表子表分别对应定性标签层、定量标签层、计算标签层和业务标签层。

更进一步地，在将新增保单数据添加至保单画像宽表中时，在步骤S102中，分别创建定性标签层、定量标签层、计算标签层和业务标签层的标签竖表子表，将所述标签层中的各标签汇总至该标签层对应的标签竖表子表中；对于定性标签层、定量标签层和业务标签层对应的标签竖表子表，根据保单数据中所述标签层的各标签的对应的数据对所述标签竖表子表进行更新；对于计算标签中的各标签，在步骤S101中，分别创建对应的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务，并根据所述标签计算任务的计算结果对所述计算标签层对应的标签竖表进行更新；将各个标签竖表子表合并为标签竖表，利用所述标签竖表，对保单画像宽表中的数据进行集中更新。无需一个标签一个标签逐个地写入，增加了更新速度。

进一步地，针对保单画像宽表中的每个保单画像标签(字段)进行可视化标签配置，每个标签的配置信息包括标签名称、所属标签层、标签默认值、标签类型、标签更新时间以及标签生成规则。

保单画像宽表作为最重要的基础表，以每次更新一个字段的方式不断形成新完表，更新时间长，在更新的这段时间内宽表处于不稳定状态，上层程序若在这段时间访问宽表，容易造成数据出错，或者造成宽表的数据错误。本提案的更新方式，能够避免保单画像长时间处于不稳定状态，降低数据出错率。本实施例的这种保单画像宽表的处理方式，通过软件实现时，先分标签计算任务用小程序对每个标签计算任务进行计算，然后将小程序的数据汇集至标签竖表，再统一对保单画像进行更新，为保单画像的宽表构建奠定了一个可以扩展的基础，当对宽表需要增设字段以及删除字段时，只需要对程序中相应的小程序进行更新即可，不需要重新编写更新程序。

本实施例的这种数据宽表的更新方式，标签计算任务之间可以相互独立，并且采用并行的方式执行计算过程，降低了各标签计算任务之间的耦合性；并且，只需保存标签竖表这一个中间数据，减少了冗余数据的存储。

图2是本发明第二实施例的业务数据处理方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该业务数据处理方法包括步骤：

S201，获取数据宽表中每个标签的数据更新频率。

S202，根据预设的第一更新频率阈值和第二更新频率阈值，从所述数据宽表中拆分出第一数据表分区、第二数据表分区和第三数据表分区，其中，所述第一数据表分区包含更新频率大于或等于第一更新频率阈值的标签，所述第二数据表分区包含更新频率大于第二更新频率阈值且小于第一更新频率阈值的标签，所述第三数据表分区包含更新频率小于或等于第二更新频率阈值的标签。

S203，分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务。

S204，创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新。

步骤S203和步骤S204分别对应第一实施例的步骤S101和步骤S102，具体参见第一实施例的描述。

S205，按照所述第一数据表分区、所述第二数据表分区以及所述第三数据表分区的顺序，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

本实施例与第一实施例的区别在于，在本实施例中，按照数据更新频率对数据宽表中的标签(字段)进行分区，在标签竖表汇总完成后，先更新第一数据表分区中的高频更新字段，再依次更新第二数据表分区中的中频更新字段和第三数据表分区中的低频更新字段，减少了更新时对字段查找比对的时间，提升了更新效率。

图3是本发明第三实施例的业务数据处理方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图3所示的流程顺序为限。如图3所示，该业务数据处理方法包括步骤：

S301，分别获取数据宽表中每个标签的数据更新频率和数据查询频率。

S302，根据预设的第三更新频率阈值和查询频率阈值，将从所述数据宽表中拆分出第四数据表分区、第五数据表分区和第六数据表分区，其中，所述第四数据表分区包含更新频率大于或等于所述第三更新频率阈值且查询频率小于所述查询频率阈值的标签，所述第五数据表分区包含更新频率小于所述第三更新频率阈值且查询频率大于或等于所述查询频率阈值的标签，所述第六数据表分区包含剩余标签。

S303，分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务。

S304，创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新。

步骤S303和步骤S304分别对应第一实施例的步骤S101和步骤S102，具体参见第一实施例的描述。

S305，按照所述第四数据表分区、所述第六数据表分区以及所述第五数据表分区的顺序，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

本实施例与第一实施例的区别在于，在本实施例中，按照数据更新频率和数据查询频率对数据宽表中的标签(字段)进行分区，在标签竖表汇总完成后，利用标签竖表对数据宽表进行更新时，首先对高频更新且低频查询字段进行更新，最后对低频更新且高频查询字段进行更新，能够减少保单画像更新时对数据查询的影响，减少数据出错，并且，减少了更新时对字段查找比对的时间，提升了更新效率。

在一个可选的实施方式中，在步骤S305之后还进一步包括如下步骤：

S306，将所述标签竖表以及所述数据宽表上传至区块链中，以使得所述区块链对所述标签竖表以及所述数据宽表进行加密存储。

在步骤S306中，基于所述标签竖表以及所述数据宽表分别得到对应的摘要信息，具体来说，摘要信息由所述标签竖表以及所述数据宽表进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息，以便查证所述标签竖表以及所述数据宽表是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

图4为本发明第四实施例的业务数据处理装置的结构示意图。如图5所示，该业务数据处理装置40包括标签计算模块41、标签竖表模块42和画像更新模块43，其中，标签计算模块41，用于分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务；标签竖表模块42，用于创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新；画像更新模块43，用于将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

进一步地，本实施例的业务数据处理装置40还包括算法配置模块，用于分别对数据宽表中每个标签的计算过程进行解析，以获取每个标签的标签算法；基于所述标签算法建立标签算法配置表，其中，所述标签算法配置表包括标签和与所述标签匹配的标签算法。标签计算模块41进一步用于接收标签计算请求，其中，所述标签计算请求包括待计算的业务数据以及所请求的标签；根据所述标签从预设的所述标签算法配置表中获取标签算法；根据所述标签算法和所述业务数据创建所述标签计算任务，并将所述标签计算任务发送至消息中间件，所述消息中间件根据所述计算节点的计算请求将所述标签计算任务分发至所述计算节点，在不同的计算节点并行执行多个所述标签计算任务。

进一步地，所述数据宽表为保单画像，所述标签为保单画像标签，本实施例的业务数据处理装置40还包括查询模块，用于接收客户端发送的保单数据查询请求，其中，所述保单数据查询请求包括保单画像标签和保单信息；根据所述保单画像标签和所述保单信息在所述标签竖表中查找与所述保单数据查询请求匹配的保单数据；当所述标签竖表中不存在与所述保单数据查询请求匹配的保单数据时，根据所述保单画像标签和所述保单信息在所述保单画像宽表中查找与所述保单数据查询请求匹配的保单数据。

进一步地，本实施例的业务数据处理装置40还包括第一划分模块，用于获取数据宽表中每个标签的数据更新频率；根据预设的第一更新频率阈值和第二更新频率阈值，从所述数据宽表中拆分出第一数据表分区、第二数据表分区和第三数据表分区，其中，所述第一数据表分区包含更新频率大于或等于第一更新频率阈值的标签，所述第二数据表分区包含更新频率大于第二更新频率阈值且小于第一更新频率阈值的标签，所述第三数据表分区包含更新频率小于或等于第二更新频率阈值的标签。所述画像更新模块43进一步用于按照所述第一数据表分区、所述第二数据表分区以及所述第三数据表分区的顺序，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

进一步地，本实施例的业务数据处理装置40还包括第二划分模块，用于分别获取数据宽表中每个标签的数据更新频率和数据查询频率；根据预设的第三更新频率阈值和查询频率阈值，将从所述数据宽表中拆分出第四数据表分区、第五数据表分区和第六数据表分区，其中，所述第四数据表分区包含更新频率大于或等于所述第三更新频率阈值且查询频率小于所述查询频率阈值的标签，所述第五数据表分区包含更新频率小于所述第三更新频率阈值且查询频率大于或等于所述查询频率阈值的标签，所述第六数据表分区包含剩余标签。所述画像更新模块43进一步用于按照所述第四数据表分区、所述第六数据表分区以及所述第五数据表分区的顺序，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

进一步地，所述画像更新模块43进一步用于针对所述标签竖表中的每个标签，判断所述标签是否存在于所述数据宽表中；当判断结果为是时，根据所述标签和计算结果分别对所述数据宽表中待发生变更的数据进行更新；当判断结果为否时，在所述数据宽表中增加所述标签，并分别写入计算结果，以对所述数据宽表进行更新。

图5为本发明第五实施例的业务数据处理装置的结构示意图。如图5所示，该业务数据处理装置50包括处理器51及和处理器51耦接的存储器52。

存储器52存储有用于实现上述任一实施例的业务数据处理方法的程序指令。

处理器51用于执行存储器52存储的程序指令以进行业务数据处理。

其中，处理器51还可以称为CPU(Central Process ing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图6，图6为本发明第六实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有业务数据处理方法的程序指令61，其中，该程序指令61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。

以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

Claims (7)

1.一种业务数据处理方法，其特征在于，包括：

分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务；

创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新；

将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据；

其中，所述分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务之前，还包括：

分别对数据宽表中每个标签的计算过程进行解析，以获取每个标签的标签算法；

基于所述标签算法建立标签算法配置表，其中，所述标签算法配置表包括标签和与所述标签匹配的标签算法；

所述分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务，包括：

接收标签计算请求，其中，所述标签计算请求包括待计算的业务数据以及所请求的标签；

根据所述标签从预设的所述标签算法配置表中获取标签算法；

根据所述标签算法和所述业务数据创建所述标签计算任务，并将所述标签计算任务发送至消息中间件，所述消息中间件根据所述计算节点的计算请求将所述标签计算任务分发至所述计算节点，在不同的计算节点并行执行多个所述标签计算任务；

所述将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据，包括：

针对所述标签竖表中的每个标签，判断所述标签是否存在于所述数据宽表中；

当判断结果为是时，根据所述标签和计算结果分别对所述数据宽表中待发生变更的数据进行更新；

当判断结果为否时，在所述数据宽表中增加所述标签，并分别写入计算结果，对所述数据宽表进行更新。

2.根据权利要求1所述的业务数据处理方法，其特征在于，所述数据宽表为保单画像，所述标签为保单画像标签，所述将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据之后，还包括：

接收客户端发送的保单数据查询请求，其中，所述保单数据查询请求包括保单画像标签和保单信息；

根据所述保单画像标签和所述保单信息在所述标签竖表中查找与所述保单数据查询请求匹配的保单数据；

当所述标签竖表中不存在与所述保单数据查询请求匹配的保单数据时，根据所述保单画像标签和所述保单信息在所述保单画像宽表中查找与所述保单数据查询请求匹配的保单数据。

3.根据权利要求1所述的业务数据处理方法，其特征在于，所述分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务之前，还包括：

获取数据宽表中每个标签的数据更新频率；

根据预设的第一更新频率阈值和第二更新频率阈值，从所述数据宽表中拆分出第一数据表分区、第二数据表分区和第三数据表分区，其中，所述第一数据表分区包含更新频率大于或等于第一更新频率阈值的标签，所述第二数据表分区包含更新频率大于第二更新频率阈值且小于第一更新频率阈值的标签，所述第三数据表分区包含更新频率小于或等于第二更新频率阈值的标签；

所述将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据，包括：

按照所述第一数据表分区、所述第二数据表分区以及所述第三数据表分区的顺序，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

4.根据权利要求1所述的业务数据处理方法，其特征在于，所述分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务之前，还包括：

分别获取数据宽表中每个标签的数据更新频率和数据查询频率；

根据预设的第三更新频率阈值和查询频率阈值，将从所述数据宽表中拆分出第四数据表分区、第五数据表分区和第六数据表分区，其中，所述第四数据表分区包含更新频率大于或等于所述第三更新频率阈值且查询频率小于所述查询频率阈值的标签，所述第五数据表分区包含更新频率小于所述第三更新频率阈值且查询频率大于或等于所述查询频率阈值的标签，所述第六数据表分区包含剩余标签；

所述将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据，包括：

按照所述第四数据表分区、所述第六数据表分区以及所述第五数据表分区的顺序，将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

5.一种业务数据处理装置，用于实现如权利要求1至4任一项所述的业务数据处理方法，其特征在于，所述业务数据处理装置包括：

标签计算模块，用于分别创建多个数据宽表的标签计算任务，并在不同的计算节点并行执行多个所述标签计算任务；

标签竖表模块，用于创建标签竖表，将所述标签计算任务所指向的标签作为字段以行或列的形式汇总至所述标签竖表中，并根据所述标签计算任务的计算结果对所述标签竖表进行更新；

画像更新模块，用于将所述标签竖表中每个所述标签的计算结果更新至所述数据宽表中与所述标签匹配的字段所在行或列的对应数据。

6.一种业务数据处理装置，其特征在于，所述装置包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有程序指令；所述处理器用于执行所述存储器存储的所述程序指令以执行权利要求1至4中任一项所述的业务数据处理方法。

7.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被处理器执行时，实现权利要求1至4中任一项所述的业务数据处理方法。