CN113986932B - 数据处理方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本发明提供的数据处理方法、装置、计算机设备及可读存储介质，方法包括：根据预设的多个取值线程，从数据库中提取多条业务记录；其中，业务记录中至少包含业务统计对象、业务统计对象对应的至少一个业务指标的指标值；任意一个取值线程与至少一个业务指标对应；根据全部业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存；其中，相同的业务统计对象对应同一个统一标识符；第一对应关系表征统一标识符与至少一个指标值对应；根据内存中的多个第一对应关系，生成全部业务统计对象对应的业务数据表。本发明避免了现有技术通过临时表关联的方式产生很多数据库日志信息的问题，可以快速生成业务数据表。

Description

数据处理方法、装置、计算机设备及可读存储介质

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据处理方法、装置、计算机设备及可读存储介质。

背景技术

业务数据表，通常是指业务主题相关的指标、维度、属性关联在一起的一张数据库表，通过数据归并转换可以将业务记录按照一定规则进行组织生成一张业务数据表。业务数据表的存在价值是避免在后续数据分析过程中频繁去大表关联，从而加重了数据库的负担和压力。

目前，在生成业务数据表的过程中，通常采用存储过程的方式，即先生成多个临时表，然后将多个临时表插入业务数据表里面去，一旦后期出现新的业务逻辑，会使得业务数据表的插入与更新的次数较多，从而产生很多数据库日志信息，提高了数据库的维护成本。

发明内容

本发明的目的包括，例如，提供了一种数据处理方法、装置、计算机设备和可读存储介质，其能够解决上述技术问题。

本发明的实施例可以这样实现：

第一方面，本发明提供一种数据处理方法，所述方法包括：根据预设的多个取值线程，从数据库中提取多条业务记录；其中，每条业务记录中至少包含业务统计对象、所述业务统计对象对应的至少一个业务指标的指标值；任意一个所述取值线程与至少一个所述业务指标对应；根据全部所述业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存；其中，相同的所述业务统计对象对应同一个统一标识符；所述第一对应关系表征所述统一标识符与至少一个指标值对应；根据所述内存中的所述多个第一对应关系，生成全部所述业务统计对象对应的业务数据表。

第二方面，本发明提供一种数据处理装置，包括：提取模块，用于根据预设的多个取值线程，从数据库中提取多条业务记录；其中，每条业务记录中至少包含业务统计对象、所述业务统计对象对应的至少一个业务指标的指标值；任意一个所述取值线程与至少一个所述业务指标对应；写入模块，用于根据全部所述业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存；其中，相同的所述业务统计对象对应同一个统一标识符；所述第一对应关系表征所述统一标识符与至少一个指标值对应；生成模块，用于根据所述内存中的所述多个第一对应关系，生成全部所述业务统计对象对应的业务数据表。

第三方面，本发明提供一种计算机设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面所述的方法。

第四方面，本发明提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

本发明提供的一种数据处理方法、装置、计算机设备及可读存储介质，方法包括：根据预设的多个取值线程，从数据库中提取多条业务记录；其中，每条业务记录中至少包含业务统计对象、所述业务统计对象对应的至少一个业务指标的指标值；任意一个所述取值线程与至少一个所述业务指标对应；根据全部所述业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存；其中，相同的所述业务统计对象对应同一个统一标识符；所述第一对应关系表征所述统一标识符与至少一个指标值对应；根据所述内存中的所述多个第一对应关系，生成全部所述业务统计对象对应的业务数据表。本发明将各个业务统计对象对应的全部指标值以第一对应关系的形式进行了汇总，方便后续在业务数据表中写入每个业务统计对象对应的业务指标值，这样一来，在后续生成业务数据表的过程中可以快速定位每个业务统计对象的指标值对应的业务指标度量列中，快速生成业务数据表，避免了现有技术中通过临时表关联的方式生成业务数据表的方式，产生很多数据库日志信息的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的数据处理方法的应用环境；

图2为本发明实施例提供的一种数据处理方法的示意性流程图；

图3为本发明实施例提供的另一种数据处理方法的示意性流程图；

图4为本发明实施例提供的步骤S204的示意性流程图；

图5为本发明实施例提供的步骤S204-2的示意性流程图；

图6为本发明实施例提供的数据处理装置的功能模块图；

图7为本发明实施例提供的一种计算机设备的方框示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

下面对本发明实施例中涉及的相关术语进行解释。

业务数据表：即基于某个维度来按照一定业务规则将业务记录组织成一张表，这张表就叫做业务数据表。例如，基于客户维度将后续业务过程中需要使用到的客户年龄、职业、持仓金额、客户资产等相关业务信息组织到客户宽表中，业务数据表的存在价值是避免在后续数据分析过程中频繁去大表关联，从而加重了数据库的负担和压力。

为了方便理解，请参见表1，表1为本发明实施例提供的一种用户维度的业务数据表，可以看出，业务数据表中包含了不同编号的用户的投资业务记录，方便后续快速准确地进行业务分析。

表1

对象维度列：业务数据表中第一类列，用来维护不同业务统计对象的属性值，业务统计对象可以但不限于是客户维度、公司维度以及证券类型维度等等。如表1所示，表1展示的是客户维度的一张业务数据表，其中，营业部编号和客户编号均为该业务数据表的对象维度列，可以通过营业部编号和客户编号作为该用户的统一标识符。

业务指标度量列：业务数据表中第二类列，用来度量对象维度列包含的统计对象所对应的业务指标所在列，例如，请继续参见表1，其中，当日累计成交金额和当日累计委托金额均为业务数据表的业务指标度量列，其中，业务指标度量列中的每个数值为指标值。

取值线程：用来从数据库中提取业务记录的取值逻辑，通常采用SQL语句进行表示，业务数据表的不同业务指标度量列对应的指标值均可以通过一个取值线程得到，一个取值线程可以提取多个业务指标度量列对应的指标值。一个取值线程包括的信息可以有：取值线程的标识、取数逻辑名称和取数逻辑SQL语句，其中，取数逻辑名称即业务指标。

例如，继续以上述表1为例，假设一个取值线程的取值线程的标识为CLIENT_TRADE_SUMMARY_01、取数逻辑名称：当日累计委托金额，取数逻辑SQL语句可以形如：

Select branch_no,client_id,sum(entrust_balance) as sum_entrust_balance

from r_trd_entrust

group by branch_no,client_id

通过上述取值线程就可以获得某个营业部编号和客户编号对应的当日累计委托金额的指标值。

本实施例中，用户可以根据实际需求确定是否启用某个取值线程，若不启用，在生成业务数据表的时，会将该取值线程对应的业务指标所在列写入默认值，通过上述方式，实现取数逻辑的可插拔。

请参见图1，图1为本发明实施例提供的数据处理方法的应用环境，该应用环境可以包括：包括计算机设备110、终端120和数据库130。其中，终端120与计算机设备110通过网络进行通信。终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，计算机设备110可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

其中，终端120上安装有任意一种类型业务的应用程序APP，可以但不限于是银行业务、消费业务、娱乐业务等，此处不做限定。用户可以通过终端120上的各种业务APP与计算机设备110进行业务交互，在业务交互的过程中产生的业务记录会被存储在数据库130中。其中，业务记录可以但不限于包括：用户年龄、职业、投资数据、资产信息、公司、证券类型等等。

需要说明的是，上述用于存储业务记录的数据库设置位置符合与上述记录相关行为的发生地所在国家/地区的法律法规要求，相关行为包括但不限于：授权、产生、使用、存储等。

还需要说明的是，计算机设备110在从数据库获取业务记录过程中，均以公开形式向相关用户提供收集、使用及存储的说明，并获得用户授权。获得业务记录不包含与本实施例提供的数据处理方法的服务无关的个人信息数据。

请继续参见图1，目前在传统的数据库应用中，对数据的归并转换的通用解决方案为：

（1）将数据库中有关联关系的表数据按照一定的维度和特定的过滤逻辑进行汇总聚合分析得到度量信息，将上述分组信息和度量信息存储在临时表里面；

（2）重复步骤（1），可得到多张汇总逻辑各异的临时表；

（3）多张临时表可按照维度字段进行关联得到一张业务数据表所需的所有列字段信息，最终批量落地到数据库的业务数据表里面去；或者先将临时表插入业务数据表里面去，后面的临时表采用合并插入的方式进行归并最终得到业务数据表。

也就是说，在目前生成业务数据表的过程中，通常先将生成多个临时表，然后将多个临时表插入业务数据表里面去，一旦后期出现新的业务逻辑，会使得业务数据表的插入与更新的次数较多，从而产生很多数据库日志信息，提高了数据库的维护成本。

为了解决上述技术问题，本发明实施例提供的一种数据处理方法，可以降低数据库存储过程因为新的统计逻辑加入而导致运维成本升高的风险，用于减少同数据库的交互次数，从而避免数据库产生无效日志.

请参见图2，图2为本发明实施例提供的一种数据处理方法的示意性流程图，该方法可以应用与图1所示的计算机设备110，该方法可以包括以下步骤：

S201，根据预设的多个取值线程，从数据库中提取多条业务记录。

可以理解的是，本实施例可以启动多个取值线程执行取数SQL逻辑，使用流式分批去获取对应业务逻辑下的业务记录集，这样可以提高数据获取的速度，提高数据处理效率。

本实施例中的取值线程的数量小于或等于业务指标的数量，每个取值线程可以与至少一个业务指标对应，也就是说，一个取值线程可以提取一个或多个业务指标对应的指标值，这样一来，提取出来的指标值与取值线程的标识之间也存在对应关系，方便后续生成业务数据表的过程中将指标值写入对应的业务指标度量列中，避免出错。

本实施例中，业务统计对象指得是在生成某类型业务数据表的业务场景中需要汇总统计的对象，例如用户、公司、证券类型等等，业务记录（RECORD）中至少包含业务统计对象、业务统计对象对应的至少一个业务指标的指标值。例如，以生成表1所示的业务数据表为例，提取的业务记录可以形如：

{"branch_no":"70","client_id":"701001","sum_entrust_balance":"30000","sum_business_balance":"40000"}；

{"branch_no":"70","client_id":"701002","sum_entrust_balance":"25000","sum_business_balance":"50000"}；

{"branch_no":"140","client_id":"1402002","sum_entrust_balance":"45000","sum_business_balance":"35000"}。

其中，branch_no表征营业部编号，client_id表征客户编号，营业部编号和客户编号可以作为用来表征一个用户的业务统计对象；sum_entrust_balance表征当日累计成交金额，sum_business_balance表征当日累计委托金额。

从上述每条业务记录中可以看出，每个取值线程可以对两个业务指标的指标值进程提取，在实际的实施过程中，取值线程具体可以对应多少个业务指标，用户可以根据需求自行定义，此处不做限定。

S203，根据全部业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存。

本实施例中，统一标识符（以下简称DIM_KEY）可以通过每个业务统计对象的属性值生成，相同的业务统计对象对应同一个统一标识符；不同用户对应的统一标识符不同，基于上述统一标识符，可以将同一个用户对应的全部指标值进行归并汇总，方便后续归并统计。

本实施例中，由于每个业务统计对象对应的业务记录数量较多，因此，通过一个统一标识符，可以将每个业务统计对象对应的全部业务指标的指标值进行汇总，方便后续生成业务数据表。

例如，以表1为例，其中营业部编号和客户编号是业务统计对象，统一标识符可以通过营业部编号和客户编号生成，形如：DIM_KEY= BRANCH_NO+“_”+ CLIENT_ID。则表1中可以生成的统一标识符为：70_701001，70_701002和140_1402002。

继续以上述表1为例，假设存在两个业务记录为：

{"branch_no":"70","client_id":"701001","sum_entrust_balance":"30000"}；

{"branch_no":"70","client_id":"701001","sum_business_balance":"40000"}。

那么上述两条业务记录的业务统计对象均为70和701001，则这两条业务记录对应同一个DIM_KEY为70_701001，存在的第一对应关系可以为：70_701001与30000、40000对应，同理可知，还存在的第一对应关系有：70_701002与25000、50000对应, 140_1402002与45000、35000对应。

S205，根据内存中的多个第一对应关系，生成全部业务统计对象对应的业务数据表。

可以看出，本发明实施例提供步骤S203将各个用户对应的全部指标值以第一对应关系的形式进行了汇总，方便后续在业务数据表中写入每个用户对应的业务指标值，这样一来，在后续生成业务数据表的过程中可以快速定位每个用户的指标值对应的业务指标度量列中，快速生成业务数据表。

可选地，考虑到实际实施过程中数据量级别可能较大，占用内存较多，影响数据处理效率，因此，本实施例提供的两种写入内存的方式适用于不同数据量级的场景中，请参见图3，图3为本发明实施例提供的另一种数据处理方法的示意性流程图，在步骤S203之前可以包括：

S202，确定多条业务记录的数量是否大于预设数量。

若数量小于或等于预设数量，则执行步骤S203。

若数量大于预设数量，则执行步骤S204。

S204，将多条业务记录按照预设规则写入多个预设文件后，从多个预设文件中读取第一对应关系和第二对应关系，并将第一对应关系和第二对应关系写入内存。

其中，第二对应关系表征：统一标识符与取值线程的标识对应；每个取值线程的标识对应至少一个指标值。

例如，继续以表1为例，假设当日累计成交金额对应的取值线程的标识为01，当日累计委托金额对应的取值线程的标识为02，那么存在的第二对应关系为：70_701001与01、02对应，140_1402002与01、02对应。

可以看出，假设当前数据量超过了预设数据量，则可以将业务记录分开存储在多个预设文件中，这种采用分治方式存储数据的方式，可以提高后续数据处理的速度和效率。

还可以看出，为了避免因数据庞大导致生成业务数据表的过程中出现错误，本实施例还存储有第二对应关系，可以认为，第一对应关系可以确定每个用户对应的指标值应该属于哪一个业务指标，第二对应关系用于维护有统一标识符与取值线程的标识的对应关系，而从上述内容可以看出，每个取值线程实际上与业务指标（或者是指标值）对应，这样一来，可以基于第二对应关系进一步确保业务数据表中用户对应的指标值是正确的，避免出现错误。

在本实施中，预设数量可以是10⁴，也就是说，当步骤S201获得的全部业务记录的数量小于或等于10⁴，则可以采用纯内存的方式去处理归并数据，因此会直接在内存中去维护一个DIM_KEY与指标值之间的第一对应关系。如果业务记录的数量大于10⁴，则会先将业务记录通过分治算法落地到各个文件中，本实施例中的文件个数可以为多个，然后可以从文件中读取第一对应关系和第二对应关系，存储到内存，避免了纯内存的方式带来的处理速度慢的问题。

需要说明的是，本实施例中之所以将业务记录分为两种不同的存储方式存储在内存中，是考虑到业务记录的数据量问题，若数据量小于预设数据量级，说明数据量级别小，可以直接在内存中去维护一个DIM_KEY与度量列属性值之间的关联映射关系。若数据量大于预设数据量级，说明当前获得是业务记录数据量较大，直接在内存中维护势必会出现内存占用较大的现象，因此，本申请会先将业务记录通过分治算法落地到各个文件中，然后通过多个文件读取线程读取第一对应关系和第二对应关系并写入内存，这样一来，可以提高数据处理的效率。

可选地，下面针对上述步骤S204给出一种可能的处理方式，请参见图4，图4为本发明实施例提供的步骤S204的示意性流程图：

S204-1，从多条业务记录中，确定每个统一标识符对应的多条第一业务记录。

本实施例中，通过每个业务记录中的业务统计对象，可以确定每个统一标识符对应的对个第一业务记录。例如，继续以表1为例，在统一标识符70_701001的每个第一业务记录中，具有相同的营业部编号和客户编号。

S204-2，将每个统一标识符对应的多条第一业务记录，按照预设规则写入统一标识符对应的预设文件中。

通过上述实施方式，可以将全部业务记录分别存储在多个预设文件中，这将提高后续获得第一对应关系和第二对应关系的速度和效率。

S204-3，通过多个文件读取线程，从每个统一标识符对应的预设文件读取第一对应关系和第二对应关系，并将第一对应关系和第二对应关系写入内存中。

本实施例中，系统会启动多个文件读取线程去读取文件里面的内容，每一个文件读取线程会分配几个文件，一般会先按照文件大小排序，确保每个文件读取线程所处理的数据量大约一致。

例如，假设存在2个取值线程，各自的标识为01和02，其中，01与当日累计成交金额对应，02与当日累计委托金额对应，那么统一标识符70_701001对应的第一业务记录可以为：

{"branch_no":"70","client_id":"701001","sum_entrust_balance":"30000"}；

{"branch_no":"70","client_id":"701001","sum_business_balance":"50000"}。

那么第一对应关系则为70_701001和30000、50000对应，第二对应关系为70_701001与01和02对应，以此类推，可以获得统一标识符70_701002、140_1402002各自的第一对应关系和第二对应关系。

可以理解是，在将第一对应关系写入内存的过程中，将后续其他取值线程提取出来数据的统一标识符DIM_KEY会去内存中已经存在的第一对应关系中的DIM_KEY进行匹配，若匹配成功，则将该取值线程取出的指标值信息添加到DIM_KEY的第一对应关系里面去；若匹配失败，则将该取值线程的DIM_KEY和与之对应的指标值之间的第一对应关系维护进内存里面去。当所有取值线程结束后，系统认为映射关系的维护已结束，可推送到消息队列里面，并记录推送消息数量，供后续存储线程落地使用。

可选地，下面针对上述步骤S204-2给出一种可能的处理方式，请参见图5，图5为本发明实施例提供的步骤S204-2的示意性流程图：

S204-2-1，确定每个统一标识符对应的文件标识以及文件标识对应的预设文件。

本实施例中，预设文件的数量（FNUMBER）可以预先设定，在已知了统一标识符的基础上，每个统一标识符对应的预设文件的文件标识可以通过以下关系式得到：

FKEY = hash(DIM_KEY)%FNUMBER

其中，FKEY表征文件标识，hash（）表征哈希计算；DIM_KEY表征统一标识符；FNUMBER表征文件的数量。

例如，假设DIM_KEY为70_701001，则FKEY = hash(70_701001)%100=10，则70_701001对应的全部第一业务记录可以存储在文件标识为10的文件中。

S204-2-2，将每个统一标识符对应的多条第一业务记录，转换成预设形式的字符串，并将字符串写入文件标识的预设文件中。

其中，字符串的排列顺序依次为统一标识符、取值线程的标识和统一标识符对应的指标值。

本实施例中，在将多条第一业务记录写入文件的过程中，需要将第一业务记录按照一定的顺序写入文件中，即会将每一条业务记录采用DIM_KEY，取值线程ID，指标值以固定分隔符生成一行字符串的方式写入DIM_KEY对应的文件中。

例如，继续以表1为例，对于统一标识符140_1402002、70_701001、70_701002各自对应的字符串如下：

140_1402002\tCLIENT_TRADE_SUMMARY_01\t45000；

140_1402002\tCLIENT_TRADE_SUMMARY_02\t35000；

70_701001\tCLIENT_TRADE_SUMMARY_01\t30000；

70_701001\tCLIENT_TRADE_SUMMARY_02\t40000；

70_701002\tCLIENT_TRADE_SUMMARY_01\t25000；

70_701002\tCLIENT_TRADE_SUMMARY_02\t50000。

进而，根据FKEY = hash(DIM_KEY)%FNUMBER分别获得140_1402002、70_701001和70_701002各自对应的文件标识，然后从上述字符串中读取第一对应关系和第二对应关系，并将第一对应关系和第二对应关系写入各自对应的文件中，

例如，以DIM_KEY为140_1402002为例，假设根据上述关系式计算得到的文件标识为24，那么从字符串中可以读取140_1402002对应的第一对应关系为：140_1402002与45000、35000对应，第二对应关系为：140_1402002与01、02对应。以此类推，可以获得70_701001和70_701002各自的第一对应关系和第二对应关系。

可选地，下面给出一种根据内存中的第一对应关系，生成全部业务统计对象对应的业务数据表的实施方式，即步骤S206可以包括以下步骤：

步骤1，根据全部业务统计对象确定对象维度列，根据至少一个业务指标确定业务指标度量列，并基于对象维度列和业务指标度量列生成初始的业务数据表，

步骤2，根据第一对应关系，生成每个业务统计对象对应的消息记录；其中，消息记录中包含业务统计对象和业务统计对象对应的全部指标值。

步骤3，依次将每个消息记录中的业务统计对象写入对象维度列，将业务统计对象对应的每个指标值依次写入业务指标度量列，生成业务数据表。

例如，继续以表1为例，统一标识符70_701001对应的消息记录可以形如：

{"branch_no":"70","client_id":"701001","sum_entrust_balance":"30000"，"sum_ business _balance":"40000"}。

基于上述消息记录，可以将"branch_no":"70","client_id":"701001"写入对象维度列，将"sum_entrust_balance":"30000"，"sum_ business _balance":"40000"写入业务指标度量列。

在具体的实施过程中，当所有取数线程结束后，系统认为全部第一对应关系的维护已结束，则可将每个业务统计对象对应的消息记录推送到消息队列中，并记录推送消息数量，供后续存储线程生成业务数据表使用。

在生成业务数据表的过程中，系统启动时会启动多个存储线程去消费消息队列里面的消息记录，然后批量落地到对应的业务数据表里面，并记录已经处理的消息记录的数量。当已经处理的消息记录数量等于总的消息记录的数量时，则认为本轮归并转换任务结束。

可选地，本实施例还会根据处理过的业务记录的总数量去校正预设数量，由前述内容可知，预设数量是用来确定判断采用何种存储方式存储业务记录的数量，从而保证下一轮运行时业务记录集的大小预估量级是准确的，即在一种可能的实施方式中，统计处理过的消息记录的总数量，根据总数量，校正预设数量。

可选地，为了确定待生成的业务数据表的属性，在步骤S201之前，还可以包括：

从预设的业务文件中加载待生成的业务数据表的属性信息、预设文件的个数、取值线程的标识与业务指标的对应关系，其中，属性信息包括：业务数据表的名称信息、至少一个业务指标和至少一个业务统计对象。

本实施例中，预设的业务文件是用来定义业务规则的加载逻辑的文件，对于一张业务数据表来说，其对象维度列是有限的，那么取值线程也是有限的，一个业务规则（Business Rule）往往由若干个相同维度列字段列表信息的取数逻辑组成。

例如，从预定义的xml文件中获得业务规则的加载逻辑，可以获取得到待生成业务数据表的属性信息：包括名称，X个业务指标，M个用户度量信息，N个取值线程(M>=N)，以及文件个数（FILE_NUMBER）。

例如，假设表1的场景如下：投资者在证券市场进行股票的委托和成交，需要统计所有投资者（投资者的唯一标识符可以按照营业部编号和客户编号去标识）在某日关于所有证券的累计成交金额和累计委托金额。在统计过程中，累计成交金额需要基于证券成交表去统计，累计委托金额需要基于证券委托表去统计。

那么在本申请实施例中，可以首先获得表1的属性信息包括：名称，客户交易信息统计表 (CLIENT_TRADE_SUMMARY)；用户度量信息：营业部编号，客户编号；业务指标：当日累计成交金额、当日累计委托金额；每个业务指标的英文名称、中文名称，度量列数据类型，默任指标值；例如：当日累计成交金额，英文名称为sum_entrust_balance；度量列数据类型为 number(19,2), 默任指标值为0；文件个数为100；取值线程ID为01,02；每个取值线程对应的业务指标，例如，ID为01的对应当日累计委托金额，ID为01的对应当日累计成交金额。

本实施例中，还可以确定取值线程是否启用，取数逻辑是否启用决定了该取值线程对应的取数逻辑SQL语句是否执行，若不启用，在业务数据表中将该取值线程对应的业务指标的指标值设置为默认值，通过这种方式，实现取数逻辑的可插拔。

通过上述属性信息可以建立一个空的业务数据表，进而可以将取值线程提取的业务记录中，从而完成业务数据表的建立。

为了实现上述实施例中的各个步骤以实现相应的技术效果，本发明实施例提供的数据处理方法可以在硬件设备或者以软件模块的形式实现中执行，当数据处理方法以软件模块的形式实现时，本发明实施例还提供一种数据处理装置，请参见图6，图6为本发明实施例提供的数据处理装置的功能模块图，该数据处理装置300可以包括：

提取模块310，用于根据预设的多个取值线程，从数据库中提取多条业务记录；其中，每条业务记录中至少包含业务统计对象、业务统计对象对应的至少一个业务指标的指标值；任意一个取值线程与至少一个业务指标对应；

写入模块320，用于根据全部业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存；其中，相同的业务统计对象对应同一个统一标识符；第一对应关系表征统一标识符与至少一个指标值对应；

生成模块330，用于根据内存中的多个第一对应关系，生成全部业务统计对象对应的业务数据表。

可以理解的是，上述提取模块310、写入模块320以及生成模块330可以协同地执行图2中的各个步骤以实现相应的技术效果。

在一些可能的实施方式中，该数据处理装置300还可以包括：确定模块，用于确定多条业务记录的数量是否大于预设数量；若数量小于或等于预设数量，则写入模块320，用于根据全部业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存的步骤；若数量大于预设数量，则写入模块320，用于将多条业务记录按照预设规则写入多个预设文件后，从多个预设文件中读取第一对应关系和第二对应关系，并将第一对应关系和第二对应关系写入内存；其中，第二对应关系表征：统一标识符与取值线程的标识对应。

在一些可能的实施方式中，写入模块320，具体用于：从多条业务记录中，确定每个统一标识符对应的多条第一业务记录；将每个统一标识符对应的多条第一业务记录，按照预设规则写入每个统一标识符对应的预设文件中；通过多个文件读取线程，从每个统一标识符对应的预设文件读取第一对应关系和第二对应关系，并将第一对应关系和第二对应关系写入内存中。

在一些可能的实施方式中，写入模块320，还具体用于：确定每个统一标识符对应的文件标识以及文件标识对应的预设文件；将每个统一标识符对应的多条第一业务记录，转换成预设形式的字符串，并将字符串写入文件标识对应的预设文件中；其中，字符串的排列顺序依次为统一标识符、取值线程的标识和统一标识符对应的指标值。

在一些可能的实施方式中，生成模块330，具体用于：根据全部业务统计对象确定对象维度列，根据至少一个业务指标确定业务指标度量列，并基于对象维度列和业务指标度量列生成初始的业务数据表；根据第一对应关系，生成每个业务统计对象对应的消息记录；其中，消息记录中包含业务统计对象和业务统计对象对应的全部指标值；依次将每个消息记录中的业务统计对象写入对象维度列，将业务统计对象对应的每个指标值依次写入业务指标度量列，生成业务数据表。

在一些可能的实施方式中，该数据处理装置300还可以包括：校正模块，用于统计处理过的消息记录的总数量，并根据总数量，校正预设数量。

在一些可能的实施方式中，该数据处理装置300还可以包括：加载模块，用于从预设的业务文件中加载待生成的业务数据表的属性信息、预设文件的个数、取值线程的标识与业务指标的对应关系，其中，属性信息包括：业务数据表的名称信息、至少一个业务指标和至少一个业务统计对象。

需要说明的是，本发明实施例提供的数据处理装置300中的各个功能模块可以软件或固件（Firmware）的形式存储于存储器中或固化于计算机设备110的操作系统（Operating System，OS）中，并可由计算机设备110中的处理器执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器中。

因此，本发明实施例还提供一种计算机设备，该计算机设备可以是图1所示的计算机设备110，或者是其他具有数据处理功能的计算机设备，本发明不作限定。

如图7，图7为本发明实施例提供的一种计算机设备的方框示意图。该计算机设备110包括通信接口111、处理器112和存储器113。该处理器112、存储器113和通信接口111相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器113可用于存储软件程序及模块，如本发明实施例所提供的数据处理方法对应的程序指令/模块，处理器112通过执行存储在存储器113内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口111可用于与其他节点设备进行信令或数据的通信。在本发明中该计算机设备110可以具有多个通信接口111。

其中，存储器113可以是但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。

处理器112可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

本发明实施例还提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的数据处理方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种数据处理方法，其特征在于，所述方法包括：

根据预设的多个取值线程，从数据库中提取多条业务记录；其中，每条业务记录中至少包含业务统计对象、所述业务统计对象对应的至少一个业务指标的指标值；任意一个所述取值线程与至少一个所述业务指标对应；

根据全部所述业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存；其中，相同的所述业务统计对象对应同一个统一标识符；所述第一对应关系表征所述统一标识符与至少一个指标值对应；

根据所述内存中的多个第一对应关系，生成全部所述业务统计对象对应的业务数据表；

根据全部所述业务统计对象，确定多个统一标识符，并将所述每个统一标识符具有的第一对应关系写入内存之前，所述方法还包括：

确定所述多条业务记录的数量是否大于预设数量；

若所述数量小于或等于所述预设数量，则执行根据全部所述业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存的步骤；

若所述数量大于所述预设数量，则将所述多条业务记录按照预设规则写入多个预设文件后，从所述多个预设文件中读取所述第一对应关系和第二对应关系，并将所述第一对应关系和所述第二对应关系写入所述内存；

其中，所述第二对应关系表征：所述统一标识符与取值线程的标识对应；每个所述取值线程的标识对应至少一个所述指标值。

2.根据权利要求1所述的数据处理方法，其特征在于，若所述数量大于所述预设数量，则将所述多条业务记录按照预设规则写入多个预设文件后，从所述多个预设文件中读取所述第一对应关系和第二对应关系，并将所述第一对应关系和所述第二对应关系写入所述内存，包括：

从所述多条业务记录中，确定所述每个统一标识符对应的多条第一业务记录；

将所述每个统一标识符对应的所述多条第一业务记录，按照所述预设规则写入所述每个统一标识符对应的预设文件中；

通过多个文件读取线程，从所述每个统一标识符对应的预设文件读取所述第一对应关系和所述第二对应关系，并将所述第一对应关系和所述第二对应关系写入所述内存中。

3.根据权利要求2所述的数据处理方法，其特征在于，将所述每个统一标识符对应的所述多条第一业务记录，按照所述预设规则写入所述每个统一标识符对应的预设文件中，包括：

确定所述每个统一标识符对应的文件标识以及所述文件标识对应的预设文件；

将所述每个统一标识符对应的所述多条第一业务记录转换成预设形式的字符串，并将所述字符串写入所述文件标识对应的预设文件中；

其中，所述字符串的排列顺序依次为所述统一标识符、所述取值线程的标识和所述统一标识符对应的所述指标值。

4.根据权利要求1所述的数据处理方法，其特征在于，根据所述内存中的多个第一对应关系，生成全部所述业务统计对象对应的业务数据表，包括：

根据所述全部所述业务统计对象确定对象维度列，根据所述至少一个业务指标确定业务指标度量列，并基于所述对象维度列和所述业务指标度量列生成初始的所述业务数据表；

根据所述第一对应关系，生成每个所述业务统计对象对应的消息记录；其中，所述消息记录中包含所述业务统计对象和所述业务统计对象对应的全部所述指标值；

依次将每个所述消息记录中的所述业务统计对象写入所述对象维度列，将所述业务统计对象对应的每个所述指标值依次写入所述业务指标度量列，生成所述业务数据表。

5.根据权利要求4所述的数据处理方法，其特征在于，所述方法包括：

统计处理过的消息记录的总数量，并根据所述总数量，校正预设数量。

6.根据权利要求1所述的数据处理方法，其特征在于，在根据预设的多个取值线程，从数据库中提取多条业务记录的步骤之前，所述方法还包括：

从预设的业务文件中加载待生成的所述业务数据表的属性信息、所述预设文件的个数、所述取值线程的标识与所述业务指标的对应关系，其中，所述属性信息包括：所述业务数据表的名称信息、所述至少一个业务指标和至少一个业务统计对象。

7.一种数据处理装置，其特征在于，包括：

提取模块，用于根据预设的多个取值线程，从数据库中提取多条业务记录；其中，每条业务记录中至少包含业务统计对象、所述业务统计对象对应的至少一个业务指标的指标值；任意一个所述取值线程与至少一个所述业务指标对应；

写入模块，用于根据全部所述业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存；其中，相同的所述业务统计对象对应同一个统一标识符；所述第一对应关系表征所述统一标识符与至少一个指标值对应；

生成模块，用于根据所述内存中的多个第一对应关系，生成全部所述业务统计对象对应的业务数据表；

确定模块，用于确定所述多条业务记录的数量是否大于预设数量；若所述数量小于或等于所述预设数量，则写入模块用于根据全部所述业务统计对象，确定多个统一标识符，并将每个统一标识符具有的第一对应关系写入内存；若所述数量大于所述预设数量，则写入模块用于将所述多条业务记录按照预设规则写入多个预设文件后，从所述多个预设文件中读取所述第一对应关系和所述第二对应关系，并将所述第一对应关系和所述第二对应关系写入内存；其中，所述第二对应关系表征：所述统一标识符与取值线程的标识对应；每个所述取值线程的标识对应至少一个所述指标值。

8.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现权利要求1-6任一项所述的方法。

9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法。

Images