CN108241717B - 一种数据处理方法、装置及系统 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法、装置及系统，所述方法包括：将采集到的数据实时存储到实时数据库中，并每隔第一周期将实时数据库中满足预设条件的数据进行处理后发送到只读数据库；将实时数据库中在第一存储时刻之前的数据删除，其中第一存储时刻是当前时刻之前第一存储时间段对应的时刻；每隔第二周期将只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将只读数据库中在所述第二存储时刻之前的数据删除，第一存储时间段小于第二存储时间段。所述装置用于执行上述方法，所述系统包括所述装置以及所述实时数据库、只读数据库和报表数据库，用于执行上述方法。本发明实施例提高了数据存储以及数据查询的效率。

Description

一种数据处理方法、装置及系统

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种数据处理方法、装置及系统。

背景技术

随着LTE网络的建设和发展，运营商已形成4G、3G、2G和WLAN四张网络的运行和维护，每个基站及其包含的小区均需纳入指标监控，实时呈现给维护优化人员，由运营商对网络进行维护和监控。

根据传统的性能指标，统计时间粒度为15分钟，数据处理要求相对较低，但随着信令监测等用户感知类指标的涌现，统计时间粒度缩短至毫秒级，而在前台呈现的时间也大大缩短，部分指标的数据更新不大于20秒，存储延迟不超过120秒。假设一个省的4G小区数量为10W，统计指标为100个，统计粒度为50毫秒，则每分钟的数据条目为2亿条，对存储和读取都将是重大的考验。现有技术中，通常将采集到的数据经过服务器处理后统一存放在一个数据库中，在数据存储时建立索引，以便用户查询，但是，由于数据量的增加，数据存储以及查询的时间会相应的延长。作为运营商，主要处理性能报表，其相对单一，而瓶颈在于中心节点的处理能力有限。现有的技术方案中，数据存储的方法主要通过模块化处理、增加中心节点的缓存、压缩数据等方式，来提高中心节点的处理能力。这样虽然能够提高中心节点的处理能力，但是增加了数据处理资源，由于数据量的增加，并不能有效的提高数据存储和查询的效率。

因此，如何提出一种方法，能够提高数据的存储和查询的效率，成为亟待解决的问题。

发明内容

针对现有技术中的缺陷，本发明实施例提供一种数据处理方法、装置及系统。

一方面，本发明实施例提供一种数据处理方法，包括：

将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；

将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；

每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

另一方面，本发明实施例提供一种数据处理装置，包括：

第一处理单元，用于将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；

第二处理单元，用于将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；

第三处理单元，用于每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

又一方面，本发明实施例提供数据处理系统，包括：上述数据处理装置、实时数据库、只读数据库以及报表数据库。

本发明实施例提供的种数据处理方法、装置及系统，将采集到的数据分级存储在三个不同的数据库中，三个数据库存储不同时间段内的数据，并且不断更新存储数据的内容，提高了数据存储的效率，查询数据时可以分时间段到对应的数据库中查询，提高了数据查询的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中数据处理方法流程示意图；

图2为本发明实施例中数据处理装置的结构示意图；

图3为本发明实施例中数据处理系统的结构示意图；

图4为本发明实施例中又一数据处理系统的结构示意图；

图5为本发明实施例中又一数据处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例中数据处理方法流程示意图，如图1所示，本发明实施例提供的数据处理方法包括：

S1、将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；

具体地，本发明实施例中设置有数据采集装置，所采集到的数据被实时存储到实时数据库中。随着数据的采集，每隔第一周期将实时数据库中满足预设条件的数据处理后发送到只读数据库中。其中第一周期可以根据需要设置不同的时间，本发明实施例中每隔1分钟将实时数据库中满足预设条件的数据进行处理后发送至只读数据库。

S2、将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；

具体地，随着数据的采集，对实时数据库中存储的数据进行实时更新，将实时数据库中在第一存储时刻之前的数据删除，其中第一存储时刻为当前时刻起向前第一存储时间段对应的时刻。例如：第一存储时间段为1小时，实时数据库内存储当前时刻起向前1个小时内的数据，将实时数据库中的数据不断更新，不仅将新采集的数据进行存储，并且将当前时刻起向前超过一个小时的数据删除，若当前时刻为上午9点，则将实时数据库中上午8点之前的数据删除。其中第一存储时间段可以根据需要进行设置，本发明实施例不作具体限定。

S3、每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

具体地，每隔第二周期将只读数据库在第二存储时刻之前的数据根据需要进行处理后发送到报表数据库，随着数据的采集，对只读数据库中存储的数据进行实时更新，将新发送到只读数据库的数据进行存储，并将在第二存储时刻之前的数据删除，其中第二存储时刻为当前时刻起向前的第二存储时间段对应的时刻，且第一存储时间段小于第二存储时间段，即实时数据库的数据存储量小于只读数据库的数据存储量。如：第二存储时间段为一周，将只读数据库内的数据不断更新，不仅将新发送到的只读数据库的数据进行存储，并且将当前时刻起向前超过一周的数据删除，若当前时刻为周五上午9点，则将只读数据库中上周五上午9点之前的数据删除。其中第二周期以及第二存储时间段可以根据需要进行设置，本发明实施例不作具体限定。

由于数据量比较大，数据处理需要时间，通常在将实时数据库的数据处理后发送至只读数据库和将只读数据库的数据处理后发送至报表数据时，优先处理时间比较靠前的数据。实际上实时数据库存储的是当前时刻起向前第一存储时间段的数据，只读数据库存储的是第一存储时刻到第二存储时刻这段时间范围内的数据，报表数据库存储的第二存储时刻之前的数据。其中第一存储时刻和第二存储时刻是由当前时刻以及对应的第一存储时间段和第二存储时间段推算所得。如：若当前时刻为周五上午9点，第一存储时间段为1小时，第二存储时间段为1周，则实时数据库存储的是周五上午8点到9点的数据，只读数据库存储的是上周五上午9点至这周五上午8点的数据，报表数据库存储的是上周五9点之前的数据。且为了提高数据存储的效率，通常实时数据库存储的数据量比较小，只读数据库和报表数据库的数据存储量依次增加，即相当于将实时数据库、只读数据库和报表数据库分为三个等级，每个数据库存储不同时间段内的数据，存储的数据量也不相同。

当用户需要查询数据时，输入所要查询的数据对应的时间，若所要查询的数据处于当前时刻到第一存储时刻的时间范围内，则可以在实时数据库中查询，若所要查询的数据处于第一存储时刻到第二存储时刻的时间范围内，则可以在只读数据库中查询，若所要查询的数据处于第二存储时刻之前的时间范围内，则可以在报表数据库中查询。

例如：数据采集装置对多个基站进行信息采集后，将采集到的数据发送至数据处理装置，数据处理装置将采集到的数据实时存储到实时数据库中，并且每隔1分钟即每隔第一周期将实时数据库中满足预设条件的数据进行处理后发送至只读数据库中，每隔15分钟即每隔第二周期将只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库。同时，将实时数据库和只读数据库超过各自存储时间范围内的数据进行删除。假设当前时刻为2016年11月30日上午9点，将实时数据库在2016年11月30日上午8点之前的数据删除，其中第一存储时间段为1小时，第一存储时刻为2016年11月30日上午8点；将只读数据库在2016年11月23日上午9点之前的数据删除，其中第二存储时间段为1周，第二存储时刻为2016年11月23日上午9点，即当前时刻起向前一周对应的时刻为第二存储时刻。此外，实际应用时，由于数据量太大，数据处理的延时，实时数据库存储的通常是2016年11月30日上午8点到2016年11月30日上午9点时间范围内的数据，只读数据库存储的通常是2016年11月23日上午9点到2016年11月30日上午8点时间范围内的数据，报表数据存储的通常是2016年11月23日上午9点之前的数据。当用户需要查询数据时，输入所要查询的数据对应的时间，即可在对应的数据库内查询，如：当用户要查询2016年11月25号上午10点的数据，则可以在只读数据库内查询。

本发明实施例提供的数据处理方法，将采集到的数据分级存储在三个不同的数据库中，三个数据库存储不同时间段内的数据，并且不断更新存储数据的内容，提高了数据存储的效率，查询数据时可以分时间段到对应的数据库中查询，提高了数据查询的效率。

在上述实施例的基础上，所述将所述实时数据库中在第一存储时刻之前的数据删除包括：

在所述实时数据库的第一缓存区缓存第一缓存数据，将除第一缓存数据外且在所述第一存储时刻之前的数据删除，所述第一缓存数据包括所述第一存储时刻之前第一缓存时间段内的数据，其中所述第一缓存时间段小于所述第一存储时间段；

相应地，所述将所述只读数据库中在所述第二存储时刻之前的数据删除包括：在所述只读数据库的第二缓存区缓存第二缓存数据，将除第二缓存数据外且在所述第二存储时刻之前的数据删除，所述第二缓存数据包括所述第二存储时刻之前第二缓存时间段内的数据，其中所述第二缓存时间段小于所述二存储时间段。

具体地，因为实际应用时，实时数据库、只读数据库以及报表数据存储的是不同时间范围内的数据，用户在查询数据时，根据所查询的数据所处的时间范围不同，在不同的数据库中查询。为了避免数据量太大，数据处理延时，用户查询的数据若处于三个数据库存储数据对应的时间交点处即处于第一存储时刻或第二存储时刻时，导致查询不到所要查询的数据。本发明实施例在实时数据库中设置第一缓存区缓存区，在只读数据库中设置第二缓存区缓存区，第一缓存区和第二缓存区分别用于缓存第一缓存数据和第二缓存数据。将实时数据库中除第一缓存数据外的在第一存储时刻前对应的数据删除，将只读数据库中将除第二缓存数据外的第二存储时刻前对应的数据删除。其中，第一缓存数据是第一存储时刻之前第一缓存时间段内的数据，第二缓存数据是第二存储时刻之前第二缓存时间段内的数据，且第一缓存时间段小于第一存储时间段，第二缓存时间段小于第二存储时间段。其中第一缓存时间段以及第二缓存时间段可以根据实际需要进行设置，本发明实施例不作具体限定。其中第一缓存区与只读数据库的数据存储关联，第二缓存区与报表数据库的数据存储关联。当用户查询的数据处于第一缓存区缓存的数据所在的时间范围内时，可以在实时数据库和/或只读数据库中查询。当用户查询的数据处于第二缓存区缓存的数据所在的时间范围时，可以在只读数据库和/或报表数据库查询。

例如：假设当前时间为2016年11月30日上午9点，在实时数据库中设置第一缓存区，在只读数据库中设置第二缓存区，第一缓存区缓存2016年11月30日上午7点50分到2016年11月30日上午8点的数据，在实时数据库中将2016年11月30日上午7点50分之前的数据删除。当用户查询2016年11月30日上午7点55分到2016年11月30日上午8点之间的数据时，可以优先在实时数据库查询，若在实时数据库没有查到所要查询的数据，则可以转到只读数据库查询。当用户查询2016年11月30日上午7点50分到2016年11月30日上午7点55分之间的数据时，可以优先查询只读数据库，若只读数据库没有查到所要查询的数据，则可以转到实时数据库查询。同样的，在只读数据库中建立第二缓存区，第二缓存区缓存2016年11月23日上午8点到2016年11月23日上午9点时间范围内的数据，在只读数据库中将2016年11月23日上午8点之前的数据删除。当用户查询2016年11月23日上午8点30分到2016年11月23日上午9点之间的数据，可以优先在只读数据库查询，若在只读数据库没有查询到所要查询的数据，则可以转到报表数据库查询，若用户查询的数据在2016年11月23日上午8点到2016年11月23日上午8点30分时间范围内，则可以优先查询报表数据库，若在报表数据库没有查询到所要查询的数据，则可以转到只读数据库查询。

当然，根据实际应用的需要，可以改变用户数据查询的规则，本发明实施例不作具体限定。

本发明实施例提供的数据处理方法，通过设置第一缓存区和第二缓存区来缓存数据，降低了用户查询数据时出现查询不到的情况的发生，提高了数据查询效率。

在上述实施例的基础上，所述将采集到的数据实时存储到实时数据库中包括：按照监控内容建立多个数据存储表，将所述采集到的数据存储到对应的所述数据存储表中。

具体地，现有技术在数据存储时通常先建立索引，以方便用户的查询，但是建立索引需要时间，尤其在数据量比较大时，建立索引消耗的时间相应的增加，降低了数据存储的效率，若用户需要查询实时的数据，可能会导致数据还未存储，查询不到或查询时间较长。本发明实施例提供的数据处理方法，因为实时数据库存储的数据量比较小，数据处理装置在实时数据库中按照监控内容建立多个数据存储表，当数据采集装置将采集到的数据发送至数据处理装置时，数据处理装置将采集到的数据存储到对应的数据存储表中，即将所采集的数据进行分类存储，以方便查询。其中监控内容可以是通话数据和上网数据，按照监控内容建立的数据存储表可以分为：2G语音信令表，2G数据信令表，3G语音信令表，3G数据信令表，4G语音信令表，4G数据信令表，当然根据需要还可以建立其他类型的数据存储表，即将采集的数据分为其他种类。当用户需要查询数据时，输入需要查询的数据对应的时间，若所要查询数据的时间位于实时数据库存储时间范围内，判断所要查询数据的类型，在相应的数据存储表内进行查询，同样可以方便用户的查询。例如：若用户所要查询的数据处于当前时刻到第一存储时刻时间范围的数据，且数据类型为2G语音信令，则可以在实时数据库中的2G语音信令表中查询。

本发明实施例提供的数据处理方法，将采集到的数据实时存储到实时数据库中，并将数据分别存储到预先建立的对应的数据存储表中，与现有技术中在数据存储时建立索引，以方便查询的方式不同，因为实时数据库的数据存储量较小，通过分类建立数据存储表的方式，提升存储和查询效率的同时，保存了实时数据的完整性。

在上述实施例的基础上，所述每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库，包括：

每隔第一周期将所述实时数据库中没有添加索引的数据添加索引，并发送至所述只读数据库，其中所述索引包括：数据内容标识、基站编号、以及数据采集的时间。

具体地，因为只读数据库的数据存储量比实时数据库的数据存储量大，简单的通过分类建数据存储表的方式存储数据，在用户查询数据时，查询的时间会比较大，查询效率比较低，并且只读数据库中存储的数据实时性要求相对于实时数据库已经降低，因此可以通过添加索引的方式对数据进行存储。本发明实施例提供的数据处理方法，每隔第一周期将实时数据库中没有添加索引的数据添加索引并发送至只读数据库，其中索引的内容可以是：数据内容标识、基站编号、以及数据采集的时间，当然还可以根据需要添加其他的索引，本发明实施例不作具体限定。其中第一周期同上述实施例一致，可以根据需要进行设置，本发明实时例不作限定。

本发明实施例提供的数据处理方法，在数据存储到只读数据库时，对实时数据库中为添加索引的数据添加索引，并发送至只读数据里，以方便用户的查询，提高了数据查询效率。

在上述实施例的基础上，所述每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，包括：

为所述只读数据库中在所述第二存储时刻之前的数据建立报表，并对所述在所述第二存储时刻之前的数据进行抽样，获取抽样数据，并将所述报表以及所述抽样数据存储到所述报表数据库，所述报表包括：掉话次数及对应的时间，接通次数及失败次数。

具体地，因为报表数据库存储的数据量很大，若通过分类建表或者建立索引的方式，会导致大量数据冗余，且降低了数据查询效率。本发明实施例每隔第二周期，将只读数据库中在所述第二存储时刻之前的数据进行一次报表统计，并对只读数据库中的在所述第二存储时刻之前的数据进行抽样，获得抽样数据，将建立的报表以及获取的抽样数据存储到只读数据库中。其中报表的内容可以包括：掉话次数及对应的时间，接通次数及失败次数，当然还可以是其他的数据内容，本发明实施例不作具体限定。具体的抽样方法可以根据需要进行设置，本发明实施例不作具体限定。

例如：假设报表数据库存储的是当前时刻起向前1周至1个月的数据，只读数据库中的对当前时刻起向前一周以上的原始数据进行抽样，以1S为周期，以10MS为单位，这样将1S划分为100(1000/10)个单位，即将1S划分为100个时间段，每个时间段为10MS，在这100个时间段中随机抽选两个时间段内的信令予以保留存储。其中10MS为用户面的时延，以10MS为抽样单位相对合理，对于抽样数据，可以以天为单位，建立索引存储。同时，对当前时刻起向前一周以上的原始数据将以15分钟为粒度做一次报表统计，并将统计的报表和抽样数据发送至报表数据库，存储在报表数据库中。

本发明实施例提供的数据处理方法，将超过只读数据库存储范围的数据进行抽样和报表统计，并将抽样数据和统计的报表发送至报表数据库，减少了报表数据库的存储量，提高了数据存储效率和数据查询效率。

图2为本发明实施例中数据处理装置的结构示意图，如图2所示，本发明实施例提供的数据处理装置包括：第一处理单元21，第二处理单元22和第三处理单元23，其中：

第一处理单元21用于将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；第二处理单元22用于将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；第三处理单元23用于将所述只读数据库中在第二存储时刻之前的数据进行处理后每隔第二周期发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

具体地，本发明实施例中设置有数据采集装置，所采集到的数据被实时存储到实时数据库中。随着数据的采集，第一处理单元21将采集到的数据实时存储到实时数据库中，并每隔第一周期将实时数据库中满足预设条件的数据处理后发送到只读数据库中。第二处理单元22对实时数据库中存储的数据进行实时更新，将实时数据库中在第一存储时刻之前的数据删除，其中第一存储时刻为当前时刻起向前第一存储时间段对应的时刻。第三处理单元23将只读数据库在第二存储时刻之前的数据根据需要进行处理后每隔第二周期发送到报表数据库，随着数据的采集，对只读数据库中存储的数据进行更新，将新发送到只读数据库的数据进行存储，并将在第二存储时刻之前的数据删除，其中第二存储时刻为当前时刻起向前的第二存储时间段对应的时刻，且第一存储时间段小于第二存储时间段。

其中第一存储时刻、第二存储时刻、第一存储时间段、第二存储时间段、第一周期以及第二周期与上述实施例一致，且每个数据库存储数据的方式以及用户查询数据的方法也和上述实施例一致，此处不再赘述。

本发明实施例提供的数据处理装置，通过第一处理单元、第二处理单元以及第三处理单元，将采集到的数据分级存储在三个不同的数据库中，三个数据库存储不同时间段内的数据，并且不断更新存储数据的内容，提高了数据存储的效率，查询数据时可以分时间段到对应的数据库中查询，提高了数据查询的效率。

在上述实施例的基础上，所述第二处理单元具体用于：在所述实时数据库的第一缓存区缓存第一缓存数据，将除第一缓存数据外且在所述第一存储时刻之前的数据删除，所述第一缓存数据包括所述第一存储时刻之前第一缓存时间段内的数据，其中所述第一缓存时间段小于所述第一存储时间段；

相应地，所述第三处理单元具体用于：在所述只读数据库的第二缓存区缓存第二缓存数据，将除第二缓存数据外且在所述第二存储时刻之前的数据删除，所述第二缓存数据包括所述第二存储时刻之前第二缓存时间段内的数据，其中所述第二缓存时间段小于所述二存储时间段。

具体地，因为实际应用时，实时数据库、只读数据库以及报表数据存储的是不同时间范围内的数据，用户在查询数据时，根据所查询的数据所处的时间范围不同，在不同的数据库中查询。为了避免用户查询的数据处于三个数据库存储数据对应的时间交点处即处于第一存储时刻或第二存储时刻时，导致查询不到所要查询的数据。本发明实施例在实时数据库中设置第一缓存区，在只读数据库中设置第二缓存区，第二处理单元将实时数据库中的第一缓存数据存储在第一缓存区，将实时数据库中除第一缓存数据外的在第一存储时刻前对应的数据删除。第三处理单元将只读数据库中的第二缓存数据存储在第二缓存区，将只读数据库中将除第二缓存数据外的第二存储时刻前对应的数据删除。其中，第一缓存数据是第一存储时刻之前第一缓存时间段内的数据，第二缓存数据是第二存储时刻之前第二缓存时间段内的数据，且第一缓存时间段小于第一存储时间段，第二缓存时间段小于第二存储时间段。

其中第一缓存区与只读数据库的数据存储关联，第二缓存区与报表数据库的数据存储关联。当用户查询的数据处于第一缓存区缓存的数据所在的时间范围内时，可以在实时数据库和/或只读数据库中查询。当用户查询的数据处于第二缓存区缓存的数据所在的时间范围时，可以在只读数据库和/或报表数据库查询。其中第一缓存时间段以及第二缓存时间段以及用户的查询数据的规则与上述实施例一致，此处不再赘述。

本发明实施例提供的数据处理装置，通过在实时数据库中设置第一缓存区，在只读数据库中设置第二缓存区来缓存数据，降低了用户查询数据时出现查询不到的情况的发生，提高了数据查询效率。

在上述实施例的基础上，所述第一处理单元具体用于：按照监控内容建立多个数据存储表，将所述采集到的数据存储到对应的所述数据存储表中。

具体地，现有技术在数据存储时通常先建立索引，以方便用户的查询，但是建立索引需要时间，尤其在数据量比较大时，建立索引消耗的时间相应的增加，降低了数据存储的效率，若用户需要查询实时的数据，可能会导致数据还未存储，查询不到或查询延时时间较长。本发明实施例中因为实时数据库存储的数据量比较小，通过第一处理单元在实时数据库中按照监控内容建立多个数据存储表，当数据采集装置将采集到的数据发送至第一处理单元时，将采集到的数据存储到对应的数据存储表中，即将所采集的数据进行分类存储，以方便查询。其中数据存储表的具体内容以及建立方法同上述实施例一致。当用户需要查询数据时，输入需要查询的数据对应的时间，若所要查询数据的时间位于实时数据库存储时间范围内，判断所要查询数据的类型，在相应的数据存储表内进行查询，可以提高用户的查询效率。

本发明实施例提供的数据处理装置，第一处理单元将采集到的数据实时存储到实时数据库中，并将数据分别存储到预先建立的对应的数据存储表中，与现有技术中在数据存储时建立索引，以方便查询的方式不同，因为实时数据库的数据存储量较小，通过分类建立数据存储表的方式，提升存储和查询效率的同时，保存了实时数据的完整性。

在上述实施例的基础上，所述第三处理单元具体用于：每隔第二周期为所述只读数据库中在所述第二存储时刻之前的数据建立报表，并对所述在所述第二存储时刻之前的数据进行抽样，获取抽样数据，并将所述报表以及所述抽样数据存储到所述报表数据库，所述报表包括：掉话次数及对应的时间，接通次数及失败次数。

具体地，因为报表数据库存储的数据量很大，若通过分类建表或者建立索引的方式，会导致大量数据冗余，且降低数据查询效率。本发明实施例中的第三处理单元每隔第二周期，将只读数据库中在所述第二存储时刻之前的数据进行一次报表统计，并对只读数据库中的在所述第二存储时刻之前的数据进行抽样，获得抽样数据，将建立的报表以及获取的抽样数据存储到只读数据库中。其中报表的内容可以包括：掉话次数及对应的时间，接通次数及失败次数，当然还可以是其他的数据内容，本发明实施例不作具体限定。其中数据抽样的方法同上述实施例一致，此处不再赘述。

本发明提供的装置用于执行上述方法，其具体的实施方式与方法的实施方式一致，此处不再赘述。

本发明实施例提供的数据处理装置，将超过只读数据库存储范围的数据进行抽样和报表统计，并将抽样数据和统计的报表发送至报表数据库，减少了报表数据库的存储量，提高了数据存储效率和数据查询效率。

图3为本发明实施例中数据处理系统的结构示意图，如图3所示，本发明实施例提供的数据处理系统，包括上述实施例中的数据处理装置31和上述实施例中的实时数据库32、只读数据库33以及报表数据库34。

具体地，其中数据处理装置31用于数据的采集以及数据的处理，实时数据库32、只读数据库33以及报表数据库34用于存储不同时间段内的数据，以提高数据的存储效率，并方便用户的查询，提高数据查询效率。

图4为本发明实施例中又一数据处理系统的结构示意图，如图4所示，本发明实施例提供的数据处理系统还包括采集服务器41、集中采集服务器42、集中采集服务器43、集中采集服务器44、实时数据库45、只读数据库46和报表数据库47，其中采集服务器41、集中采集服务器42、集中采集服务器43、集中采集服务器44属于数据处理装置，用于数据的采集和处理。下面介绍本发明实施例中数据处理系统的具体工作方法：

采集服务器41对各LTE基站进行信息采集，各地的采集服务器41将采集的数据统一发往集中采集服务器42，采集服务器42为直接处理的第一级，数据库的存储及读取为实时数据库，其以监控内容为单位建立表；采集服务器42将定期向集中采集服务器43发送数据，数据按照索引模式建立链接，集中采集服务器43将定期向集中采集服务器44发送数据，并对数据进行抽样以及报表统计后进行存储。在实时数据库和只读数据库中分别设置第一缓存区和第二缓存区，负责部分数据的缓存和下一级数据库的数据处理，并且第一缓存区与只读数据库的数据存储关联，第二缓存区与报表数据库的数据存储关联。当用户查询的数据处于第一缓存区缓存的数据所在的时间范围内时，可以在实时数据库和/或只读数据库中查询。当用户查询的数据处于第二缓存区缓存的数据所在的时间范围时，可以在只读数据库和/或报表数据库查询。

只读数据库存储的数据为当前时刻起一个小时外到一个周的数据，其数据量已相对较大，但仍需满足用户的查询，仅仅监控内容分表已不能满足短时间的查询，同时，一个小时外的数据，对实时性的要求已经较低，对实时数据库中超过1个小时的数据建立数据库索引，其中索引项包含“内容ID、基站编号、时间节点”，缩短查询时间。报表数据库存储的数据为当前时刻起一个周以上的数据，依靠表和索引进行存储则会导致海量数据的冗余，缓存区将只读数据库中1周以上的数据采用抽样和建立报表的方式，压缩存储数据，对压缩完成的数据，分别建立表和索引查询。对于抽样数据，将以天为单位，建立索引存储，同时，对只读数据库中1周以上的原始数据以15分钟为粒度做一次报表统计，方便用户进行统计查询。其中建立索引、报表和进行数据抽样的方法和上述实施例一致，此处不再赘述。

本发明实施例提供的数据处理方法、装置以及系统，针对运营商大量基站小区下产生的用户感知类指标，采用分时段、分手段的处理方案，避免大量数据的实时涌入，索引建立过程将耗费大量的处理资源和时间，本方法在进入数据库前将不建立索引，由各采集服务器直接存入集中采集服务器。同时，为减少查询时间，提出的三级数据库存储和读取方式，分为实时数据库、只读数据库和报表数据库，将分时段、分手段对数据进行处理，真正实现数据的实时、快速查询。

图5为本发明实施例中又一数据处理装置的结构示意图，如图5所示，所述装置可以包括：处理器(processor)50、存储器(memory)51和通信总线52，其中，处理器50，存储器51通过通信总线52完成相互间的通信。处理器50可以调用存储器51中的逻辑指令，以执行如下方法：将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

此外，上述的存储器51中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段。

以上所描述的装置以及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据处理方法，其特征在于，包括：

将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；

将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；

每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段；

其中，所述将所述实时数据库中在第一存储时刻之前的数据删除包括：

在所述实时数据库的第一缓存区缓存第一缓存数据，将除第一缓存数据外且在所述第一存储时刻之前的数据删除，所述第一缓存数据包括所述第一存储时刻之前第一缓存时间段内的数据，其中所述第一缓存时间段小于所述第一存储时间段；

相应地，所述将所述只读数据库中在所述第二存储时刻之前的数据删除包括：在所述只读数据库的第二缓存区缓存第二缓存数据，将除第二缓存数据外且在所述第二存储时刻之前的数据删除，所述第二缓存数据包括所述第二存储时刻之前第二缓存时间段内的数据，其中所述第二缓存时间段小于所述第二存储时间段。

2.根据权利要求1所述的方法，其特征在于，所述将采集到的数据实时存储到实时数据库中包括：按照监控内容建立多个数据存储表，将所述采集到的数据存储到对应的所述数据存储表中。

3.根据权利要求1所述的方法，其特征在于，所述每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库，包括：

每隔第一周期将所述实时数据库中没有添加索引的数据添加索引，并发送至所述只读数据库，其中所述索引包括：数据内容标识、基站编号、以及数据采集的时间。

4.根据权利要求1所述的方法，其特征在于，所述每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，包括：

每隔第二周期为所述只读数据库中在所述第二存储时刻之前的数据建立报表，并对所述在所述第二存储时刻之前的数据进行抽样，获取抽样数据，并将所述报表以及所述抽样数据存储到所述报表数据库，所述报表包括：掉话次数及对应的时间，接通次数及失败次数。

5.一种数据处理装置，其特征在于，包括：

第一处理单元，用于将采集到的数据实时存储到实时数据库中，并每隔第一周期将所述实时数据库中满足预设条件的数据进行处理后发送到只读数据库；

第二处理单元，用于将所述实时数据库中在第一存储时刻之前的数据删除，其中所述第一存储时刻是当前时刻之前第一存储时间段对应的时刻；

第三处理单元，用于每隔第二周期将所述只读数据库中在第二存储时刻之前的数据进行处理后发送至报表数据库，并将所述只读数据库中在所述第二存储时刻之前的数据删除，其中所述第二存储时刻是所述当前时刻之前第二存储时间段对应的时刻，且所述第一存储时间段小于所述第二存储时间段；

其中，所述第二处理单元具体用于：在所述实时数据库的第一缓存区缓存第一缓存数据，将除第一缓存数据外且在所述第一存储时刻之前的数据删除，所述第一缓存数据包括所述第一存储时刻之前第一缓存时间段内的数据，其中所述第一缓存时间段小于所述第一存储时间段；

相应地，所述第三处理单元具体用于：在所述只读数据库的第二缓存区缓存第二缓存数据，将除第二缓存数据外且在所述第二存储时刻之前的数据删除，所述第二缓存数据包括所述第二存储时刻之前第二缓存时间段内的数据，其中所述第二缓存时间段小于所述第二存储时间段。

6.根据权利要求5所述的装置，其特征在于，所述第一处理单元具体用于：按照监控内容建立多个数据存储表，将所述采集到的数据存储到对应的所述数据存储表中。

7.根据权利要求5所述的装置，其特征在于，所述第三处理单元具体用于：每隔第二周期为所述只读数据库中在所述第二存储时刻之前的数据建立报表，并对所述在所述第二存储时刻之前的数据进行抽样，获取抽样数据，并将所述报表以及所述抽样数据存储到所述报表数据库，所述报表包括：掉话次数及对应的时间，接通次数及失败次数。

8.一种数据处理系统，其特征在于，包括上述权利要求5-7任一项所述的装置和上述权利要求1-4任一项所述的实时数据库、只读数据库和报表数据库。

Images