CN103853714A

CN103853714A - 一种数据处理方法和装置

Info

Publication number: CN103853714A
Application number: CN201210495547.4A
Authority: CN
Inventors: 杜怀忠; 李明; 崔刚; 高啸颖; 杨晓博; 李�远
Original assignee: China Mobile Group Henan Co Ltd
Current assignee: China Mobile Group Henan Co Ltd
Priority date: 2012-11-28
Filing date: 2012-11-28
Publication date: 2014-06-11
Anticipated expiration: 2032-11-28
Also published as: CN103853714B

Abstract

本发明实施例提供一种数据处理方法和装置，周期性地将数据仓库中的每个客户信息表，转换成携带该表的结构信息的元数据文件和携带该表中的客户信息的客户数据文件，通过将元数据文件和客户数据文件加载到分布式缓存系统，实现将全量客户属性数据周期性主动加载到分布式缓存系统。由于采用分布式缓存系统来缓存海量的客户属性数据，可以有效保证提供客户属性数据的响应速度、吞吐量和稳定性。

Description

一种数据处理方法和装置

技术领域

本发明涉及移动通信技术领域，尤其涉及一种数据处理方法和装置。

背景技术

在经营分析系统中，通过客户属性服务将分散在各个系统中的各种客户级数据重新组织、合理分类，构成客户属性数据集，业务运营支撑系统（BOSS）、客户服务系统、外呼管理系统、营销管理系统、掌上经营分析系统等应用系统需要通过客户属性服务实现对不同客户属性数据的高效、可靠访问。

现有的客户属性服务为了满足应用系统的访问需求，针对每一应用系统的需求，开发相应的客户属性汇总程序，周期性地对相应的客户信息表进行汇总，将汇总完成的客户属性数据存储到相应的关系型数据库表中，并可以通过索引、分区等技术进行查询优化，将客户属性数据提供给相应的应用程序。现有的客户属性服务提供客户属性数据的方法示意图可以如图1所示。

现有的客户属性服务提供客户属性数据的方法至少存在以下问题：

1．由于移动通信行业客户规模庞大，基于关系型数据库存储的海量客户属性数据虽然经过查询优化，但是性能仍然不够理想，并且易受到关系数据库负荷的影响，客户属性服务的响应速度、吞吐量和稳定性需要进一步提升。

2．针对每种应用程序需要开发一套客户属性汇总程序、生成一套客户属性数据表，扩展性和灵活性较差，且存在数据冗余。

发明内容

本发明实施例提供一种数据处理方法和装置，用于提高提供客户属性数据的响应速度、吞吐量和稳定性。

一种数据处理方法，所述方法包括：

针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件，所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据；

将所述元数据文件和所述客户数据文件加载到分布式缓存系统。

一种数据处理装置，所述装置包括：

转换模块，用于针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件，所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据；

加载模块，用于将转换模块转换出的所述元数据文件和所述客户数据文件加载到分布式缓存系统。

根据本发明实施例提供的方案，周期性地将数据仓库中的每个客户信息表，转换成携带该表的结构信息的元数据文件和携带该表中的客户信息的客户数据文件，通过将元数据文件和客户数据文件加载到分布式缓存系统，实现将全量客户属性数据周期性主动加载到分布式缓存系统。由于采用分布式缓存系统来缓存海量的客户属性数据，可以有效保证提供客户属性数据的响应速度、吞吐量和稳定性。

附图说明

图1为现有技术提供的客户属性服务提供客户属性数据的方法示意图；

图2为本发明实施例一提供的数据处理方法的步骤流程图；

图3为本发明实施例一提供的键值对的示意图；

图4为本发明实施例二提供的数据处理装置的结构示意图；

图5为本发明实施例三提供的客户属性数据加载方法的流程示意图；

图6为本发明实施例三提供的客户属性数据加载方法的步骤流程图；

图7为本发明实施例四提供的客户属性数据加载方法的步骤流程图；

图8为本发明实施例五提供的客户属性数据提供方法的流程示意图；

图9为本发明实施例五提供的客户属性数据提供方法的步骤流程图；

图10为本发明实施例六提供的客户属性数据提供方法的步骤流程图。

具体实施方式

在本发明实施例中，通过采用分布式缓存系统来缓存海量的客户属性数据，从而有效保证提供客户属性数据的实时性和可靠性，解决基于关系型数据库存储的海量客户属性数据虽然经过查询优化，但是性能仍然不够理想，并且易受到关系数据库负荷的影响的问题。

而为了避免为了满足各应用程序的要求，需要针对每一应用程序开发一套客户属性汇总程序、生成一套客户属性数据表，导致扩展性和灵活性较差，且存在数据冗余的问题，本发明实施例提出，可以将全量客户属性数据周期性地主动加载到分布式缓存系统，根据配置的应用程序和客户属性的对应关系，针对各应用程序，分别从全量客户属性数据提取对应的客户属性数据。

下面结合说明书附图和各实施例对本发明方案进行说明。

实施例一、

本发明实施例一提供一种数据处理方法，该方法的步骤流程可以如图2所示，包括：

步骤101、进行数据转换。

为了将全量客户属性数据写入内存，在本步骤中，可以针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件。所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据。

步骤102、进行数据加载。

在本步骤中，可以将所述元数据文件和所述客户数据文件加载到分布式缓存系统，如内存缓存集群（memcached）、完全分布式集群（Hbase）等。从而可以将数据仓库中的每个客户信息表周期性地加载到分布式缓存系统，实现全量客户属性数据周期性主动加载到分布式缓存系统。分布式缓存系统，可以将多个节点（可以理解为内存缓存装置）的空闲内存利用起来组成统一的数据缓存系统，数据按照一定的算法分散存储在多个节点上。在数据查询时，再按照一定的算法到数据存储节点上读取数据。由于分布式缓存系统具有数据查询的处理时间稳定在数十毫秒级，响应速度可以达到数万每秒处理事务数（TPS），能够达到高实时、高并发向外系统提供数据的优异特性，可以保证后续提供客户属性数据的响应速度、吞吐量和稳定性。

具体的，在本步骤中，可以以键值对（Key-Value-Pair）形式，将所述元数据文件加载到分布式缓存系统；以键值对形式，将所述客户数据文件加载到分布式缓存系统。

较优的，键值对的示意图可以如图3所示。将为所述元数据文件生成的通用唯一标识码（UUID，Universally Unique Identifier）作为所述元数据文件的键（Key），将所述元数据文件中包括的客户信息表的表结构信息作为所述元数据文件的值（Value）；

将转换出所述客户数据文件的客户信息表的表标识，以及一条客户信息对应的客户标识作为所述客户数据文件中该条客户信息的键，将该条客户信息以及为所述元数据文件生成的UUID作为所述客户数据文件中该条客户信息的值。

步骤103、进行数据提供。

将所述元数据文件和所述客户数据文件加载到分布式缓存系统之后，可以通过以下方式向应用程序提供客户属性数据：

接收客户属性数据查询请求，该客户属性数据查询请求携带发送该客户属性数据查询请求的应用程序标识。根据预先配置的应用程序与客户属性的对应关系，确定所述应用程序标识表示的应用程序对应的客户属性。根据确定出的客户属性所对应的元数据文件和客户数据文件，确定该客户属性对应的客户属性数据。

当然，确定该客户属性对应的客户属性数据后，可以将确定出的客户属性数据提供给应用程序，使得无需针对每种应用程序开发一套客户属性汇总程序、生成一套客户属性数据表，也能满足各应用程序的需要。

同时，可以接收任一应用程序的客户属性数据查询请求，通过预先配置该应用程序与客户属性的对应关系，向该应用程序提供相应的客户属性数据，提高客户属性数据提供的扩展性和灵活性。而由于针对每一应用程序均从全量客户属性数据中获取数据，无需针对每一应用程序，分别对相应的客户信息表进行汇总，可以有效避免数据冗余。

具体的，客户属性数据查询请求中还可以携带客户标识；

根据确定出的客户属性所对应的元数据文件和客户数据文件，确定客户属性数据，具体包括以下内容，从而实现数据适配：

针对所述应用程序对应的每个客户属性，确定该客户属性所分布在的客户信息表；

将确定出的客户信息表的表标识，以及客户属性数据查询请求携带的客户标识作为第一键，确定对应的第一值；

根据确定出的第一值中的UUID作为第二键，确定对应的第二值；

根据第二值，从第一值中的客户信息中，提取该客户属性对应的客户属性数据。

与本发明实施例一基于同一发明构思，提供以下的装置。

实施例二、

本发明实施例二提供一种数据处理装置，该装置的结构可以如图4所示，包括：

转换模块11用于针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件，所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据；

加载模块12用于将转换模块转换出的所述元数据文件和所述客户数据文件加载到分布式缓存系统。

加载模块12具体用于以键值对形式，将所述元数据文件加载到分布式缓存系统；以键值对形式，将所述客户数据文件加载到分布式缓存系统。

加载模块12具体用于将为所述元数据文件生成的通用唯一标识码UUID作为所述元数据文件的键，将所述元数据文件中包括的客户信息表的表结构信息作为所述元数据文件的值；将转换出所述客户数据文件的客户信息表的表标识，以及一条客户信息对应的客户标识作为所述客户数据文件中该条客户信息的键，将该条客户信息以及为所述元数据文件生成的UUID作为所述客户数据文件中该条客户信息的值。

所述装置还包括提供模块13：

提供模块13用于接收客户属性数据查询请求，该客户属性数据查询请求携带发送该客户属性数据查询请求的应用程序标识；根据预先配置的应用程序与客户属性的对应关系，确定所述应用程序标识表示的应用程序对应的客户属性；根据确定出的客户属性所对应的元数据文件和客户数据文件，确定该客户属性对应的客户属性数据。

所述提供模块13在客户属性数据查询请求中还携带客户标识时，用于根据确定出的客户属性所对应的元数据文件和客户数据文件，确定客户属性数据，具体为，针对所述应用程序对应的每个客户属性，确定该客户属性所分布在的客户信息表；将确定出的客户信息表的表标识，以及客户属性数据查询请求携带的客户标识作为第一键，确定对应的第一值；根据确定出的第一值中的UUID作为第二键，确定对应的第二值；根据第二值，从第一值中的客户信息中，提取该客户属性对应的客户属性数据。

下面结合实施例二，通过实施例三对本发明实施例一中的客户属性数据加载方法（即实施例一中的步骤101~102）进行说明。

实施例三、

本发明实施例三提供一种客户属性数据加载方法，该方法的流程示意图可以如图5所示，数据处理装置中的转换模块可以周期性地从数据仓库中抽取出客户信息表，并将客户信息表转换为缓存文件，加载模块可以读取转换模块转换出的缓存文件，并将该缓存文件加载到分布式缓存系统。

该方法具体可以包括以下步骤，如图6所示：

步骤201、进行数据转换。

可以针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件。所述待缓存文件中包括元数据文件和客户数据文件。元数据文件中可以包括一条元数据，该元数据表示该客户信息表的表结构信息。所述客户数据文件可以包括N条（N为正整数）客户信息。

步骤202、进行数据加载。

所有元数据文件和客户数据文件均以键值对形式存放在分布式缓存系统中，使得后续通过键可以直接获取对应的值。在本实施例中，可以设置仅保留距离当前时刻最近一个周期，进行转换得到的元数据文件和客户数据文件。即，在存放数据时，如果键已经在分布式缓存系统中存在，则其对应的值将会被更新。如果键在分布式缓存系统中不存在，则将该键，以及该键对应的值写入分布式缓存系统。

具体的，可以针对每个元数据，生成一个UUID作为键，元数据（表结构信息）作为值。

对于每条客户信息（对应一个客户信息表中的一行记录），可以以该条客户信息所在的客户信息表的表名和该条客户信息对应的客户标识（如该客户的移动终端号码）作为键，以该条客户信息和所述UUID作为值。

通过每条客户信息中存储对应的元数据UUID，根据UUID可以获知与每条客户信息对应的数据结构，使得存储数据时，能够兼容客户信息表的结构变化，实现客户属性数据的多版本缓存。

当然，在本实施例中，还可以设置分布式缓存系统中保存的数据的有效期，如果长期不进行数据更新，可以认为分布式缓存系统中保存的数据无效。例如，可以设定有效期为数据更新周期+N天（N为不小于的正整数），具体的，N可以根据数据更新的可靠性进行设定。

下面通过一个具体的实例对本发明实施例三的方案进行说明。

实施例四、

本发明实施例四提供一种客户属性数据加载方法，假设有客户信息表（用户家庭属性表（TB_MK_FM_DAY））需要加载到分布式缓存系统中，该方法的步骤流程可以如图7所示，具体包括以下步骤：

步骤301、转换模块从数据仓库中确定TB_MK_FM_DAY最新的记录数据，以及表结构信息，将两类信息分析转换为待缓存文件。

元数据文件的内容可以如下：

格式：UUID+表结构信息

C2B7B7D672FD0447E040830AF56316EB|TB_MK_FM_DAY(STATIS_DATE DATE,USER_ID VARCHAR2(16)，SERV_NUMBER VARCHAR2(11),FM_SCORE NUMBER,RM_MEMBER_CNT NUMBER(1))

客户数据文件的内容可以如下：

格式：表名+手机号码+数据值+UUID

TB_MK_FM_DAY，139XXXXXXXX|2012-8-31|53244323443|139XXXXXXXX|3534.00|3|C2B7B7D672FD0447E040830AF56316EB

步骤302、转换模块将元数据文件和数据文件放至文件传输协议（FTP）的特定目录后，加载模块将检测到文件的变化，将最新的元数据文件和客户数据文件逐条插入/更新到分布式缓存系统中。即，如果相同的Key在分布式缓存系统中已经存在，则在分布式缓存系统中更新其对应的Value。如果在分布式缓存系统中不存在相同的Key，则将该Key和对应的Value插入分布式缓存系统相应的位置。

在插入或更新时，对于元数据文件，将UUID作为数据的Key，表结构信息作为Value。

在插入或更新时，对于客户数据文件，将表名与手机号码的组合字符串作为数据的Key，数据值和UUID的组合字符串作为Value。

下面结合实施例二，通过实施例五对本发明实施例一中的客户属性数据提供方法（即实施例一中的步骤103）进行说明。

实施例五、

本发明实施例五提供一种客户属性数据提供方法，该方法的流程示意图可以如图8所示，应用系统（如BOSS系统、客服系统、掌上经分系统、外呼系统等）向数据处理装置发送客户属性数据查询请求，数据处理装置可以进行配置刷新（更新预先配置的应用程序与客户属性的对应关系），进行数据分析（确定发送查询请求的应用程序对应的客户属性，并确定客户属性分布在的客户信息表），进行缓存查询（在分布式缓存系统中，根据键值对，查询元数据文件和客户数据文件），并进行数据适配（确定应用程序需要查询的客户属性数据），然后可以将得到的数据提供给应用系统。

具体的，该方法可以包括以下步骤，如图9所示：

步骤401、接收客户属性数据查询请求。

客户属性数据查询请求中可以携带发送该客户属性数据查询请求的应用程序标识，如应用程序名称，和客户标识，如手机号码。

步骤402、确定客户属性及客户信息表。

在本实施例中，可以周期性地将各应用程序的客户属性需求配置数据，加载到分布式缓存系统中。或者，在每次应用程序的客户属性需求配置数据更新时，或者在每次需要确定应用程序对应的客户属性时，将该应用程序的客户属性需求配置数据加载到分布式缓存系统中。因此，实施例二中的数据处理装置还可以包括配置模块，用于接收用户配置的应用程序与客户属性的对应关系，并可以将接收到的对应关系加载到分布式缓存系统，实现配置数据的更新。

在本步骤中，可以根据最近一次配置的应用程序与客户属性的对应关系，确定所述应用程序标识表示的应用程序对应的客户属性。

进一步的，针对所述应用程序对应的每个客户属性，可以确定该客户属性所分布在的客户信息表。

步骤403、确定客户信息。

在本步骤中，可以调用数据访问API，进行键-值的对应查询。根据客户标识和确定出的的客户信息表的表标识确定客户信息。

步骤404、确定表结构。

在本步骤中，可以针对确定出的每条客户信息，根据该客户信息中携带的UUID，调用数据访问API，确定对应的表结构信息。

步骤405、确定客户属性数据。

在本步骤中，可以根据确定出的表结构信息，从确定出的客户信息中，获取客户属性（应用程序对应的客户属性）所对应的客户属性数据。

步骤406、发送客户属性数据。

在本步骤中，可以将获取的客户属性数据反馈给发送查询请求的应用程序。

下面通过一个具体的实例对本发明实施例五的方案进行说明。

实施例六、

本发明实施例六提供一种客户属性数据提供方法，假设BOSS系统需要使用用户家庭属性表（TB_MK_FM_DAY）中的家庭积分属性（FM_SCORE）和用户终端属性表（TB_MK_TERMINAL_INFO）的手机型号属性（TERMINAL_MODEL），该方法的步骤流程可以如图10所示，具体包括以下步骤：

步骤501、接收客户属性数据查询请求。

当收到客户属性数据查询请求时，可以从查询请求中获取应用程序名称为BOSS，以及手机号码。

步骤502、获取BOSS对应的客户属性。

在本步骤之前，可以根据配置的BOSS系统对应的客户属性为用户家庭属性表（TB_MK_FM_DAY）中的家庭积分属性（FM_SCORE）和用户终端属性表（TB_MK_TERMINAL_INFO）的手机型号属性（TERMINAL_MODEL），更新配置数据。

则在本步骤中，可以将更新后的配置数据中，配置的BOSS系统对应的客户属性，确定为BOSS系统对应的客户属性。

步骤503、确定客户信息表。

结合配置数据，可以得到BOSS所对应的客户属性分别分布在TB_MK_FM_DAY、TB_MK_TERMINAL_INFO两张表中。

步骤504、调用数据访问API，分别用TB_MK_FM_DAY和手机号码的组合字符串、TB_MK_TERMINAL_INFO和手机号码的组合字符串作为数据查询的Key，得到两条客户信息。

步骤505、针对两条客户信息，分别截取最后一段的UUID，得到两个元数据的Key。

步骤506、根据两个元数据的Key，再调用数据访问API，得到两个表结构信息。

步骤507、分别将两条客户信息与两个表结构信息进行拆分与对应，得到FM_SCORE、TERMINAL_MODEL两个目标字段的值和数据类型。

步骤508、将目标字段的值和数据类型封装为回复消息返回给BOSS系统。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种数据处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，将所述元数据文件和所述客户数据文件加载到分布式缓存系统，具体包括：

以键值对形式，将所述元数据文件加载到分布式缓存系统；以键值对形式，将所述客户数据文件加载到分布式缓存系统。

3.如权利要求2所述的方法，其特征在于，将为所述元数据文件生成的通用唯一标识码UUID作为所述元数据文件的键，将所述元数据文件中包括的客户信息表的表结构信息作为所述元数据文件的值；

4.如权利要求3所述的方法，其特征在于，将所述元数据文件和所述客户数据文件加载到分布式缓存系统之后，所述方法还包括：

接收客户属性数据查询请求，该客户属性数据查询请求携带发送该客户属性数据查询请求的应用程序标识；

根据预先配置的应用程序与客户属性的对应关系，确定所述应用程序标识表示的应用程序对应的客户属性；

根据确定出的客户属性所对应的元数据文件和客户数据文件，确定该客户属性对应的客户属性数据。

5.如权利要求4所述的方法，其特征在于，客户属性数据查询请求中还携带客户标识；

根据确定出的客户属性所对应的元数据文件和客户数据文件，确定客户属性数据，具体包括：

6.一种数据处理装置，其特征在于，所述装置包括：

7.如权利要求6所述的装置，其特征在于，加载模块，具体用于以键值对形式，将所述元数据文件加载到分布式缓存系统；以键值对形式，将所述客户数据文件加载到分布式缓存系统。

8.如权利要求7所述的装置，其特征在于，加载模块，具体用于将为所述元数据文件生成的通用唯一标识码UUID作为所述元数据文件的键，将所述元数据文件中包括的客户信息表的表结构信息作为所述元数据文件的值；将转换出所述客户数据文件的客户信息表的表标识，以及一条客户信息对应的客户标识作为所述客户数据文件中该条客户信息的键，将该条客户信息以及为所述元数据文件生成的UUID作为所述客户数据文件中该条客户信息的值。

9.如权利要求8所述的装置，其特征在于，所述装置还包括提供模块：

提供模块，用于接收客户属性数据查询请求，该客户属性数据查询请求携带发送该客户属性数据查询请求的应用程序标识；根据预先配置的应用程序与客户属性的对应关系，确定所述应用程序标识表示的应用程序对应的客户属性；根据确定出的客户属性所对应的元数据文件和客户数据文件，确定该客户属性对应的客户属性数据。

10.如权利要求9所述的装置，其特征在于，所述提供模块，在客户属性数据查询请求中还携带客户标识时，用于根据确定出的客户属性所对应的元数据文件和客户数据文件，确定客户属性数据，具体为，针对所述应用程序对应的每个客户属性，确定该客户属性所分布在的客户信息表；将确定出的客户信息表的表标识，以及客户属性数据查询请求携带的客户标识作为第一键，确定对应的第一值；根据确定出的第一值中的UUID作为第二键，确定对应的第二值；根据第二值，从第一值中的客户信息中，提取该客户属性对应的客户属性数据。