CN109918442A - 一种数据的处理方法及装置 - Google Patents

Abstract

本申请公开了一种数据的处理方法及装置，涉及数据库领域，用于解决现有的数据处理瓶颈问题。包括：获取业务类型及所述业务类型对应的多个业务数据，其中，所述多个业务数据以表格的形式储存于数据库，所述表格包括多项业务及所述多项业务中每项业务对应的数据；根据所述业务类型将所述多个业务数据划分到多个子库；如果每个子库的表格中数据的总量大于或等于预设阈值，则将所述表格的所述多项业务按照预设规则划分成多个子表格，其中，每个子表格对应一项业务。本申请实施例应用于数据的分库分表。

Description

一种数据的处理方法及装置

技术领域

本发明涉及数据库领域，尤其涉及一种数据的处理方法及装置。

背景技术

目前通信运行商采用cBSS支撑系统处理各类数据和业务，并通过单台服务器储存，随着2I2C用户量日益增长,对原有数据库造成了相当大的负载，同时对于系统的稳定性和扩展性提出很高的要求。随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作的开销也会越来越大；另外，无论怎样升级硬件资源，单台服务器的资源，例如中央处理器(Central Processing Unit，CPU)、磁盘、内存、网络输入/输出(input/output，I/O)、事务数、连接数是有限的，因此数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。

发明内容

本申请的实施例提供一种数据的处理方法及装置方法及装置，用于将单一数据库的大量数据进行分库分表，解决了现有的数据处理的瓶颈的问题。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种数据的处理方法，该方法包括：获取业务类型及所述业务类型对应的多个业务数据，其中，所述多个业务数据以表格的形式储存于数据库，所述表格包括多项业务及所述多项业务中每项业务对应的数据；根据所述业务类型将所述多个业务数据划分到多个子库；如果每个子库的表格中数据的总量大于或等于预设阈值，则将所述表格的所述多项业务按照预设规则划分成多个子表格，其中，每个子表格对应一项业务。

第二方面，提供了一种数据的处理装置，该装置包括获取单元及处理单元；

所述获取单元，用于获取业务类型及所述业务类型对应的多个业务数据，其中，所述多个业务数据以表格的形式储存于数据库，所述表格包括多项业务及所述多项业务中每项业务对应的数据；所述处理单元，用于根据所述业务类型将所述多个业务数据划分到多个子库；所述处理单元，还用于如果每个子库的表格中数据的总量大于或等于预设阈值，则将所述表格的所述多项业务按照预设规则划分成多个子表格，其中，每个子表格对应一项业务。

第三方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如第一方面所述的数据的处理方法。

第四方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行如第一方面所述的数据的处理方法。

第五方面，提供一种数据的处理装置，包括：处理器和存储器，存储器用于存储程序，处理器调用存储器存储的程序，以执行上述第一方面所述的数据的处理方法。

本申请的实施例提供的数据的处理方法及装置，基于分布式数据库进行分库分表，相比于现有技术中由单一数据库存储所有的数据，分库分表的设计,使业务数据统一且数据存储统一，解决一直以来数据同步差异问题。通过数据的分库分表，使数据水平均匀分布，同时降低了成本。

附图说明

图1为本申请的实施例提供的一种通信运营商的业务支撑系统架构示意图；

图2为本申请的实施例提供的一种数据的处理方法流程示意图一；

图3为本申请的实施例提供的一种数据的处理方法流程示意图二；

图4为本申请的实施例提供的一种数据的处理装置结构示意图一；

图5为本申请的实施例提供的一种数据的处理装置结构示意图二。

具体实施方式

下面先对本申请实施例涉及的一些概念进行简单介绍。

分布式关系型数据库服务(Distributed Relational Database Service，DRDS)：

DRDS：专注于解决单机关系型数据库扩展性问题，具备轻量(无状态)、灵活、稳定、高效等特性。DRDS兼容关系型数据库管理系统MySQL协议和语法，支持平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。DRDS主要应用场景在大规模在线数据操作上，通过贴合业务的拆分方式，将操作效率提升到极致，有效满足用户在线业务对关系性数据库要求。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

参照图1中所示，本申请实施例提供了一种通信运营商的业务支撑系统，该系统包括接入层100、业务层200及平台数据层300。

接入层100用于获取业务数据，包括数据接入平台和能力开放平台，其中，数据接入平台可以包括：手机营业厅、电信企业计费系统及客户关系管理(billing–crm，CB)系统前台、网上营业厅、客服，能力开放平台可以包括行销系统、受理系统及其他系统。

业务层200用于处理业务数据，包括分布式服务框架、分布式组件、基础服务，其中，分布式服务框架可以包括微服务、开源应用容器引擎docker，分布式组件可以包括REDIS、Kafka、开源消息中间件RokectMQ、elastic、计算引擎Spark等，基础服务可以包括：客户服务、账户服务、用户服务、订单服务、产品服务、规则服务、账管服务、计费服务、信控服务、积分服务、通知服务等。

平台数据层300用于储存业务数据，包括数据层、存储层，其中，数据层包括用户域、账户域、客户域、订单域、账务域等，储存层包括分布式关系储存库及开源数据库，示例性的，分布式关系储存库可以为DRDS数据库、分布式内存库等，开源数据库可以为Hadoop、mongoDB、ORACLE、MySQL等。

需要说明的，数据层的的数据通过数据卸载得到实时账单、报表、详单、分摊及其他信息。其中，可以通过OGG+KAFKA方式将原架构下ORACLE中的数据卸载到DRDS；DRDS中数据通过DTS+消息中间件方式同步到ORACLE、分布式的全文检索数据库(ElasticSearch，ES)、MONGODB。

本申请实施例通过数据的业务类型将多个数据从单一数据库分到多个数据子库中，并根据数据量的大小将数据子库中的表格划分成多个子表格。

参照图2中所示，本申请实施例提供了一种数据的处理方法，该方法可以包括S101-S103：

S101、获取业务类型及业务类型对应的多个业务数据，其中，多个业务数据以表格的形式储存于单一数据库，表格包括多项业务及多项业务中每项业务对应的数据。

需要说明。全网用户的业务数据可以包括订单域、客户域、用户域、账户域、帐务域等多个域的数据，其中，每个域包括多个不同的数据类型，订单域的数据可以包括：订单主表、用户台账表、产品台账信息、订单历史表，客户域的数据可以包括客户资料表、个人客户资料表、集团客户资料表，用户与的数据可以包括用户资料表、用户服务状态、用户属性表、押金表，账户域的数据可以包括账户信息表、付费关系表、托收信息表，账务域的数据可以包括欠费账单信息表、发票信息表、销账日志信息表。现有的技术中，一般通信运营商将上述数据储存于单一的数据库中，数据冗杂且由于数据的不断更新且更新频率不断增加，给现有的单一数据库带来了较大的压力，同时也给业务的办理带来了一定的影响，从而影响运营系统稳定性。

S102、根据业务类型将多个业务数据划分到多个子库。

需要说明的，通过将全网用户的大量的业务数据从单一的数据库拆分到多个数据库中，可以使数据水平均匀分布，从而减轻了原有数据库的压力。

为了解决CBSS原架构下CRM、BILLING之间数据同步差异、时延、对系统压力问题，新分库分表设计要考虑兼容CRM、BILLING业务，使用同一套分布式数据库进行数据存储。进一步的，可以创建主库、备库、只读库进行读写分离，其中，单一关系型数据库服务(relational database service，RDS)的读操作需要缓存到redis或本地内存中，以尽量减少物理库压力。

可选的，业务类型包括交易类和非交易类，示例性的，交易业务数据可以为开户使用的业务数；非交易业务数据可以为如查询用户历史等业务。

可选的，参照图3中所示，S102具体可以包括S201-S202：

S201、如果业务数据的业务类型为交易类业务，则将本业务数据储存至分布式关系型数据库服务DRDS中的数据库。

交易业务数据通过相对稳定、经过验证的DRDS数据库进行存储。

具体的，DRDS中的数据库包括多个RDS数据库，DRDS可以将数据量较大的数据水平拆分到后端的每个RDS数据库中，拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加分库的数量，并且迁移相关数据，就可以提高DRDS系统的总体容量。

需要说明的，分库键选取要尽量保证单笔业务操作在一个单库上，减少跨库关联，避免通过DRDS进行聚合或大数据量整合操作，降低DRDS故障机率。

示例性的，DRDS中分库建可以为上述多个域的标识，订单域的分库建可以为订单标识Subscribe_id，用户域的分库键可以为用户标识User_id，客户域的分库键可以为客户标识Cust_id，账户域的分库建可以为账户表示Acct_id，帐务域可以根据不同业务表群选取账务标识Acct_id、缴费流水、User_id中任一个作为分库键。

S202、如果业务数据的业务类型为非交易类业务，则将本业务数据储存至开源数据库。

由于使用开源数据库可以进一步降低成本，对于非交易业务数据可以根据业务自身特性选择适应的开源数据库。

示例性的，开源数据库可以为Hbase、Redis、Mongodb等。

S103、如果每个子库的表格中数据的总量大于或等于预设阈值，则将表格的多项业务按照预设规则划分成多个子表格，其中，每个子表格对应一项业务。

业务数据以表格的形式储存在子库中，其中，每项业务的表格可以包括核心表，根据核心表的数据量级可以判断是否有分表必要，，核心表可以为纵表形式，每个表包括多个属性，当核心表中的属性数量可控的情况下，可以将纵表变成横表，便于筛选与查询；如果核心表中的属性数量非常大，例如service_id的服务类型有几万条，则需要通过调整业务结构或分表方式将核心表划分为多个子表。

需要说明的，分表的一种实现方式可以为通过业务维度分表，如：在用、历史；宽带、固话、移网等维度；分表的另一种实现方式可以为通过DRDS自带的分表把单一核心表的量级降下来；分表的又一种实现方式可以为单库分表，通过业务数据时间属性进行分表。

可选的，该方法还可以包括：如果表格中业务对应的数据对其他业务无影响的业务，则将本业务对应的数据按照预设策略转移至预设表格中。

需要说明的，该数据可以为历史数据，由于历史数据一般对在线业务无影响或影响较小，且只需查询，因此可以把历史数据卸载到非交易业务库，并采用预设策略从核心表清理到历史表，保证业务表数据有效性。

示例性的，预设策略可以为定时、业务触发等。

可选的，该方法还可以包括：根据预设途径按照建立索引列，以便于每个子库中业务数据的查询。

建立索引列的一种实现方式可以为建立DRDS异构索引，具体的，根据主要业务的字段或服务序号service_number建立DRDS异构索引表，每个表建立一个索引表，索引表包括用户表全字段。

建立索引列的另一种实现方式可以为ES异构索引，ES异构索引为多查询维度，全文检索。示例性的，对于客户域中的证件信息表，可以按照cust_id分库，把此表全量信息通过数据转换服务(data transformation service，DTS)同步到ES数据库中，进而可以按照姓名、证件ID等多维度进行查询。

需要说明的，通过DRDS自带异构索引、ES、MONGODB等途径创建非分库键索引列，可以供billing、crm共用，解决了多维度查询检索问题。

本申请实施例提供一种数据的处理方法，通过基于分布式数据库将单一数据库中业务数据进行分库分表，从而可以使数据水平均匀分布，解决了现有技术中数据同步差异的问题，实现了全网用户同域统一管理，也减轻了系统的压力。

本申请实施例可以根据上述方法示例对数据的处理装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

参照图4中所示，本申请实施例提供了一种数据的处理装置，该装置400可以包括包括获取单元410及处理单元420。

获取单元410，用于获取业务类型及业务类型对应的多个业务数据，其中，多个业务数据以表格的形式储存于数据库，表格包括多项业务及多项业务中每项业务对应的数据。

处理单元420，用于根据业务类型将多个业务数据划分到多个子库。

处理单元420，还用于如果每个子库的表格中数据的总量大于或等于预设阈值，则将表格的多项业务按照预设规则划分成多个子表格，其中，每个子表格对应一项业务。

可选的，处理单元420，具体可以用于：如果业务数据的业务类型为交易类业务，则将本业务数据储存至分布式关系型数据库服务DRDS中的数据库；如果业务数据的业务类型为非交易类业务，则将本业务数据储存至开源数据库。

可选的，处理单元420，还用于：如果表格中业务对应的数据对其他业务无影响的业务，则将本业务对应的数据按照预设策略转移至预设表格中。

可选的，该装置400还可以包括建立单元，建立单元用于根据预设途径按照建立索引列，以便于每个子库中业务数据的查询。

图5示出了上述实施例中所涉及数据的处理装置的又一种可能的结构示意图。该装置包括：处理器402和通信接口403。处理器402用于对装置的动作进行控制管理，例如，执行上述获取单元410执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口403用于支持该装置与其他网络实体的通信。终端还可以包括存储器401和总线404，存储器401用于存储装置的程序代码和数据。

其中，上述处理器402可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

存储器401可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

总线404可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线404可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述方法实施例所示的方法流程中的各个步骤。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘。随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的人以合适的组合、或者本领域数值的任何其他形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本发明的实施例提供一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行如图2-3中所述的数据的处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

由于本发明的实施例中的数据的处理装置、计算机可读存储介质、计算机程序产品可以应用于上述方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明实施例在此不再赘述。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据的处理方法，其特征在于，包括：

获取业务类型及所述业务类型对应的多个业务数据，其中，所述多个业务数据以表格的形式储存于数据库，所述表格包括多项业务及所述多项业务中每项业务对应的数据；

根据所述业务类型将所述多个业务数据划分到多个子库；

如果每个子库的表格中数据的总量大于或等于预设阈值，则将所述表格的所述多项业务按照预设规则划分成多个子表格，其中，每个子表格对应一项业务。

2.根据权利要求1所述的数据的处理方法，其特征在于，所述业务类型包括交易类和非交易类，所述根据所述业务类型将所述多个业务数据划分到多个子库，包括：

如果业务数据的业务类型为交易类业务，则将本业务数据储存至分布式关系型数据库服务DRDS中的数据库；

如果业务数据的业务类型为非交易类业务，则将本业务数据储存至开源数据库。

3.根据权利要求1所述的数据的处理方法，其特征在于，所述方法还包括：

如果所述表格中业务对应的数据对其他业务无影响的业务，则将本业务对应的数据按照预设策略转移至预设表格中。

4.根据权利要求1所述的数据的处理方法，其特征在于，所述方法还包括：

根据预设途径按照建立索引列，以便于每个子库中业务数据的查询。

5.一种数据的处理装置，其特征在于，所述装置包括获取单元及处理单元；

所述获取单元，用于获取业务类型及所述业务类型对应的多个业务数据，其中，所述多个业务数据以表格的形式储存于数据库，所述表格包括多项业务及所述多项业务中每项业务对应的数据；

所述处理单元，用于根据所述业务类型将所述多个业务数据划分到多个子库；

所述处理单元，还用于如果每个子库的表格中数据的总量大于或等于预设阈值，则将所述表格的所述多项业务按照预设规则划分成多个子表格，其中，每个子表格对应一项业务。

6.根据权利要求5所述的数据的处理装置，其特征在于，所述处理单元，具体用于：

如果业务数据的业务类型为交易类业务，则将本业务数据储存至分布式关系型数据库服务DRDS中的数据库；

如果业务数据的业务类型为非交易类业务，则将本业务数据储存至开源数据库。

7.根据权利要求5所述的数据的处理装置，其特征在于，所述处理单元，还用于：

如果所述表格中业务对应的数据对其他业务无影响的业务，则将本业务对应的数据按照预设策略转移至预设表格中。

8.根据权利要求6所述的数据的处理装置，其特征在于，所述装置还包括建立单元；

所述建立单元，用于：根据预设途径按照建立索引列，以便于每个子库中业务数据的查询。

9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如权利要求1-4任一项所述的数据的处理方法。

10.一种数据的处理装置，其特征在于，包括：处理器、存储器和通信接口；其中，通信接口用于所述数据的处理装置和其他设备或网络通信；所述存储器用于存储一个或多个程序，该一个或多个程序包括计算机执行指令，当该数据的处理装置运行时，处理器执行该存储器存储的该计算机执行指令，以使该网络优先级评估装置执行权利要求1至4中任一项所述的数据的处理方法。