CN103136315A - 话单数据的入库处理方法及装置 - Google Patents

Abstract

本发明提供一种话单数据的入库处理方法及装置，该方法包括：按照系统时间将话单数据入库至对应话单数据表；定期扫描系统当前时间点之前的时间点的话单数据表，若判断尚未对该时间点的话单数据表创建索引，且该时间点的话单数据表有话单数据，则为该时间点的话单数据表创建索引。根据本发明可以实现在话单数据入库后再创建数据库索引，使得话单数据入库时，无需对数据库索引进行维护，避免了数据库索引维护开销对入库性能造成的影响，同时可以减轻了数据库负担，提高了入库效率。

Description

话单数据的入库处理方法及装置

技术领域

本发明涉及通讯领域，尤其涉及一种话单数据的入库处理方法及装置。

背景技术

在电信业务领域中，随着服务供应商和使用手机上网用户的不断增长，使得业务系统产生的话单也不断增长，在话单量较多的业务系统中，业务量TPS(Tip-Per-Second，每秒请求数)甚至已达到5000条/秒，半年数据量就达到T级别。同时，供应商对话单数据的查询、分析也愈加关注。

现有技术的话单数据入库过程如图1所示，具体流程为：

步骤S101，创建话单数据库表；

步骤S102，创建话单数据库表索引；

步骤S103，入库程序将话单文件批量入库。

对于业务量不大的情况，上述方案话单能及时入库，但是在大业务量情况下，上述技术方案存在以下缺陷：

1、话单数据量巨大，随着入库数据增长，由于话单数据表建立了索引，数据库需定时对索引进行整理，造成入库性随之降低。

2、入库性能的下降，导致入库进程需长时间占用数据库资源，对数据库造成性能影响，具体表现为资源争抢、锁表，严重时还会导致数据库崩溃。

3、入库性能的下降，导致话单大量积压，无法及时入库，话单数据实时性无法保证。

综上所述，可知现有技术中的话单入库方案存在上述缺陷，因此有必要提出改进的技术手段，来解决此问题。

发明内容

本发明要解决的技术问题是提供一种话单数据的入库处理方法及装置，以避免数据库索引维护开销对入库性能造成影响。

为了解决上述技术问题，本发明提供了一种话单数据的入库处理方法，包括：

按照系统时间将话单数据入库至对应话单数据表；

定期扫描系统当前时间点之前的时间点的话单数据表，若判断尚未对该时间点的话单数据表创建索引，且该时间点的话单数据表有话单数据，则为该时间点的话单数据表创建索引。

进一步地，上述方法还具有下面特点：所述话单数据表是以预定的时间粒度创建的。

进一步地，上述方法还具有下面特点：

所述话单数据表的表名以表示该话单数据表对应的时间点的时间戳格式命名。

进一步地，上述方法还具有下面特点：所述定期扫描系统当前时间点之前的时间点的话单数据表的过程中，还包括：

获取系统当前时间点之前的时间点的话单数据表的表名信息；

所述为该时间点的话单数据表创建索引之后，在扫描日志表中记录所述表名信息。

进一步地，上述方法还具有下面特点：在所述扫描日志表还记录下面信息中的一种或多种：

所述索引的创建时间、所述索引创建过程的耗时和索引创建结果。

为了解决上述问题，本发明还提供了一种话单数据的入库处理装置，包括：

入库模块，用于按照系统时间将话单数据入库至对应话单数据表；

扫描模块，用于定期扫描系统当前时间点之前的时间点的话单数据表，判断是否已对该时间点的话单数据表创建索引，该时间点的话单数据表是否有话单数据；

创建模块，用于在所述扫描模块判断尚未对该时间点的话单数据表创建索引，且该时间点的话单数据表有话单数据的情况下，为该时间点的话单数据表创建索引。

进一步地，上述装置还具有下面特点：

所述话单数据表是以预定的时间粒度创建的，所述话单数据表的表名是以表示该话单数据表对应的时间点的时间戳格式命名的。

进一步地，上述装置还具有下面特点：还包括：

获取模块，用于在所述扫描模块定期扫描系统当前时间点之前的时间点的话单数据表的过程中，获取系统当前时间点之前的时间点的话单数据表的表名信息；

记录模块，用于在所述创建模块为该时间点的话单数据表创建索引之后，在扫描日志表中记录所述获取模块获取的表名信息。

进一步地，上述装置还具有下面特点：

所述记录模块，在所述扫描日志表中还记录下面信息中的一种或多种：

所述索引的创建时间、所述索引创建过程的耗时和索引创建结果。

进一步地，上述装置还具有下面特点：还包括：

定时模块，用于设置所述扫描模块定期扫描的间隔时间。

与现有技术相比，根据本发明的话单数据的入库处理方法及装置，在话单数据入库后再创建数据库索引，使得话单数据入库时，无需对数据库索引进行维护，避免了数据库索引维护开销对入库性能造成的影响，同时可以减轻了数据库负担，提高了入库效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据现有技术的话单入库过程的流程图；

图2是本发明实施例的话单数据的入库处理方法的流程图；

图3是本发明应用示例的话单数据的入库处理方法的流程示意图；

图4是根据本发明实施例的话单数据的入库处理装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图2是根据本发明实施例的话单数据的入库处理方法的流程图，如图2所示，该方法包括：

步骤S202，按照系统时间将话单数据入库至对应话单数据表；

这样可保证当前系统时间点之前的各话单数据表已入库完毕，不会再有新话单数据。

步骤S204，定期扫描系统当前时间点之前的时间点的话单数据表，若判断尚未对该时间点的话单数据表创建索引，且该时间点的话单数据表有话单数据，则为该时间点的话单数据表创建索引。

通过上述处理，在话单数据入库后再创建数据库索引，使得话单数据入库时，无需对数据库索引进行维护，避免了数据库索引维护开销对入库性能造成的影响，同时减轻了数据库负担，提高了入库效率。

在具体描述本发明实施例之前，首先对本文中出现的一些名词进行说明：

话单数据表，用于存储业务话单数据。话单数据表名按时间戳格式命名，话单数据表是以预定的时间粒度创建的，即各表间以相同时间粒度间隔划分，时间粒度的划分可根据实际话单业务量决定，业务量大的情况下，粒度则相应较细。例如，时间粒度设定为小时粒度，则话单数据表按照小时表存储话单数据，即同一小时内的话单数据保存至同一张数据表中。若当前系统时间为2011年10月25日13点，则入库程序将该小时内所有话单数据入至log_2011102513这张话单数据表，下一个时间点14点的数据则入至log_2011102514这张话单数据表。

扫描日志表，用于记录扫描过程执行信息。优选地，扫描日志表记录信息包括但不限于：话单表名信息(时间戳信息)、索引创建时间、索引创建过程耗时、索引创建结果。其中，话单表名信息供下次扫描启动时，根据已扫描表名获取下个时间粒度的表名信息。

扫描过程完成包括获取话单表名信息、对话单数据表创建索引、记录扫描过程操作日志的所有工作。

扫描定时作业，按照设定的时间频率定时调用扫描过程。

下面结合图3详细描述本发明应用示例。图3是根据本发明应用示例的话单数据的入库处理方法的流程示意图，如图3所示，该方法包括以下步骤：

步骤S302，扫描作业定时调用扫描过程。

步骤S304，扫描过程由扫描日志表获得上次扫描时间点。

例如扫描日志表的内容信息可以如表1所示。

表1

由于扫描日志表记录编号列为自增列，扫描过程找到编号最大的行，即为上次扫描日志记录，该行中的扫描时间点列即为上次扫描时间点。取出该行时间点值加上时间粒度，本例为小时粒度，则加上1小时，作为此次扫描时间点。

步骤S306，取得本次扫描时间点后，扫描过程判断本次扫描时间点是否小于当前系统时间对应的时间点，若该时间点小于当前系统时间对应的时间点，则执行步骤S308，否则执行步骤S314。

步骤S308，由步骤306得到的时间点查询对应话单表数据，判断该表是否为空表，若表为空，可能是当前系统时间对应的话单表正在入库话单数据，故本次扫描无需进行索引创建，转到步骤S314；否则转到步骤S310。

步骤S310，对本次扫描操作的话单数据表进行索引创建。

步骤S312，扫描过程将本次扫描信息包括本次扫描时间点、索引创建结果(表1中的索引创建结果为0表示索引创建成功，若为1表示索引创建失败)等信息写入扫描日志表。

步骤S314，扫描过程结束扫描。

图4是根据本发明实施例的话单数据的入库处理装置的结构框图，如图4所示，该装置包括：入库模块、扫描模块和创建模块，其中：

入库模块，用于按照系统时间将话单数据入库至对应话单数据表。

扫描模块，用于定期扫描系统当前时间点之前的时间点的话单数据表，判断是否已对该时间点的话单数据表创建索引，该时间点的话单数据表是否有话单数据；

创建模块，用于在所述扫描模块判断尚未对该时间点的话单数据表创建索引，且该时间点的话单数据表有话单数据的情况下，为该时间点的话单数据表创建索引。

其中，所述话单数据表用于将产生的业务话单数据按系统时间划分存储。所述话单数据表是以预定的时间粒度创建的，话单数据表的表名是以表示该话单数据表对应的时间点的时间戳格式命名的。

本实施例的装置还可以包括：

获取模块，用于在所述扫描模块定期扫描系统当前时间点之前的时间点的话单数据表的过程中，获取系统当前时间点之前的时间点的话单数据表的表名信息；

记录模块，用于在所述创建模块为该时间点的话单数据表创建索引之后，在扫描日志表中记录所述获取模块获取的表名信息。

所述记录模块在所述扫描日志表中还记录下面信息中的一种或多种：

所述索引的创建时间、所述索引创建过程的耗时和索引创建结果。

本实施例的装置还可以包括：

定时模块，用于设置所述扫描模块定期扫描的间隔时间。

综上所示，在话单数据入库后再创建数据库索引，使得话单数据入库时，无需对数据库索引进行维护，避免了数据库索引维护开销对入库性能造成的影响，同时减轻了数据库负担，提高了入库效率。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上仅为本发明的优选实施例，当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种话单数据的入库处理方法，包括：

按照系统时间将话单数据入库至对应话单数据表；

定期扫描系统当前时间点之前的时间点的话单数据表，若判断尚未对该时间点的话单数据表创建索引，且该时间点的话单数据表有话单数据，则为该时间点的话单数据表创建索引。

2.如权利要求1所述的方法，其特征在于：

所述话单数据表是以预定的时间粒度创建的。

3.如权利要求1或2所述的方法，其特征在于：

所述话单数据表的表名以表示该话单数据表对应的时间点的时间戳格式命名。

4.如权利要求3所述的方法，其特征在于：所述定期扫描系统当前时间点之前的时间点的话单数据表的过程中，还包括：

获取系统当前时间点之前的时间点的话单数据表的表名信息；

所述为该时间点的话单数据表创建索引之后，在扫描日志表中记录所述表名信息。

5.如权利要求4所述的方法，其特征在于：在所述扫描日志表还记录下面信息中的一种或多种：

所述索引的创建时间、所述索引创建过程的耗时和索引创建结果。

6.一种话单数据的入库处理装置，包括：

入库模块，用于按照系统时间将话单数据入库至对应话单数据表；

扫描模块，用于定期扫描系统当前时间点之前的时间点的话单数据表，判断是否已对该时间点的话单数据表创建索引，该时间点的话单数据表是否有话单数据；

创建模块，用于在所述扫描模块判断尚未对该时间点的话单数据表创建索引，且该时间点的话单数据表有话单数据的情况下，为该时间点的话单数据表创建索引。

7.如权利要求6所述的装置，其特征在于：

所述话单数据表是以预定的时间粒度创建的，所述话单数据表的表名是以表示该话单数据表对应的时间点的时间戳格式命名的。

8.如权利要求7所述的装置，其特征在于：还包括：

获取模块，用于在所述扫描模块定期扫描系统当前时间点之前的时间点的话单数据表的过程中，获取系统当前时间点之前的时间点的话单数据表的表名信息；

记录模块，用于在所述创建模块为该时间点的话单数据表创建索引之后，在扫描日志表中记录所述获取模块获取的表名信息。

9.如权利要求8所述的装置，其特征在于：

所述记录模块，在所述扫描日志表中还记录下面信息中的一种或多种：

所述索引的创建时间、所述索引创建过程的耗时和索引创建结果。

10.如权利要求6-9任一项所述的装置，其特征在于：还包括：

定时模块，用于设置所述扫描模块定期扫描的间隔时间。

Images