CN108924007A - 通信运营信息的大数据采集及存储系统和方法 - Google Patents

Abstract

本发明提供了一种通信运营信息的大数据采集及存储系统，在全网中采集和存储运营信息，包括：采集机组，设置于所述通信网络的接入网络端或汇聚网络端，按采集周期向所述通信网络下达采集命令，并对采集到的指标数据进行处理；处理存储集群，设置于所述通信网络的汇聚层和核心网络中；与所述采集机组进行SSL认证；根据采集规则和所述采集规则的变更范围配置管理所述采集机组；接收、处理以及保存所述采集机组处理过的指标数据。本发明提高运营商运维能力，加强上下游的沟通联系，能够使数据分析工作更加精确。

Description

通信运营信息的大数据采集及存储系统和方法

技术领域

本发明涉及通信网络数据采集领域，尤其涉及一种通信运营信息的大数据采集及存储系统和方法。

背景技术

电信运营商对现网运行状态需进行监控，按专业不同，现网分为交换网、数据网和移动网三种不同专业的网络。可是运营数据的采集渠道、汇总方式和上报渠道一直因厂家不同存在较大差异。故现阶段各大运营商，均只能通过多个厂商提供的多个专业网络管理系统，分别获取不同专业不同设备的运营情况数据，这不利于网络资源的高效利用，阻碍了运营商自身的发展。

同时，各运营商的网络运营信息的数据量级巨大，现有的专业网管系统只能基于单一文件系统对运营数据进行存储和采集，不具备通用性和对海量数据的处理能力。

发明内容

为解决上述问题，本发明针对电信运营商全网内全专业的不同厂家不同型号的设备提出了一种通信运营信息的大数据采集及存储系统，在通信网络中采集和存储与通信运营相关的指标数据，包括：

采集机组，设置于所述通信网络的接入网络端或汇聚网络端，按采集周期向所述通信网络下达采集命令，并对采集到的指标数据进行处理；

处理存储集群，设置于所述通信网络的汇聚层和核心网络中；与所述采集机组进行SSL认证；根据采集规则和所述采集规则的变更范围配置管理所述采集机组；接收、处理以及保存所述采集机组处理过的指标数据。

上述的通信运营信息的大数据采集及存储系统，其中，所述处理存储集群包括页面服务器、通讯机、处理机组和存储机组；

所述页面服务器接受所述采集规则和所述采集规则的变更范围并下发至所述通讯机；

所述通讯机根据所述采集规则和所述采集规则的变更范围，结合所述通信网络中各设备的基础信息和原有的采集规则生成采集命令、采集周期和压缩算法；所述通讯机将所述采集命令、采集周期和压缩算法下发至所述处理机；所述通讯机与所述采集机组进行SSL认证；

所述处理机组按数据类型分别向对应的采集机下发所述采集命令和采集周期，并根据所述压缩算法对经所述采集机组处理的指标数据进行压缩和再处理；

所述存储机分类存储经所述处理机压缩和再处理的指标数据；

所述采集机组按数据类型分别向对应的处理机发送所述指标数据。

上述的通信运营信息的大数据采集及存储系统，其中，所述指标数据包括至少41种。

上述的通信运营信息的大数据采集及存储系统，其中，所述指标数据具体包括：局点资源利用数、局点资源分配数、局点状态、当前业务量、当前用户数、设备上行流量、设备下行流量、在线用户数、设备状态、线路上行流量、线路下行流量、线路状态、用户名、当前流量信息、用户类型、带宽类型、用户总数、用户数量占比、带宽速率占比、话务量、DO数据总量、1x数据总量、当日VLR开机用户数、A口语音话务量、HLR用户数、集群话务量、集群组呼业务、集群单呼业务、1x当前用户数、DO当前用户数、4G本地在线用户数、4G放号用户数、LTE数据总流量、DO数据总流量、1x数据总流量、MME附着用户数、4G本地在线用户数、4G漫入在线用户数、4G漫出在线用户数、PDCP层上行用户面流量字节数和PDCP层下行用户面流量字节数。

上述的通信运营信息的大数据采集及存储系统，其中，所述采集机组对所述指标数据的处理包括根据数据类型的不同分别归整和清洗所述指标数据。

上述的通信运营信息的大数据采集及存储系统，其中，所述采集机组对所述指标数据的处理包括在本地保存副本以及将所述指标数据上传至所述处理机组。

本发明还提出了一种通信运营信息的大数据实时采集及存储方法，应用于上述的系统中，包括如下步骤：

S1、处理存储集群根据采集规则和所述采集规则的变更范围生成采集命令和采集周期，以对采集机组进行配置；

S2、所述采集机组根据所述采集命令和采集周期从电信网络中采集指标数据；

S3、所述采集机组对所述指标数据进行归整和清洗后发送至所述处理存储集群；

其中，所述步骤S2和S3按所述采集周期循环进行，所述步骤S1随机发生，新生成的采集命令和/或采集周期在下一采集周期中生效。

上述的通信运营信息的大数据实时采集及存储方法，其中，所述处理存储集群包括页面服务器、通讯机和处理机组，所述步骤S1具体包括：

S11、所述页面服务器接受所述采集规则和所述采集规则的变更范围，下发至所述通讯机；

S12、所述通讯机与所述采集机组进行SSL认证，通过则执行S13，未通过则将该信息反馈至所述页面服务器，由所述页面服务器进行错误提示；

S13、所述通讯机判断所述采集规则和所述采集规则的变更范围是否有变更，有变更则执行S14，无变更则按现有采集规则和采集周期下发任务至所述处理机组并与所述采集机组建立通信通道；

S14、若所述采集规则变更了欲采集的数据类型，则所述通讯机下发采集命令给相应变更范围内的处理机，所述处理机将所述采集命令下发至相应采集机，使采集机更新采集命令；若所述采集规则变更了采集周期，则所述通讯机下发采集周期给相应变更范围内的处理机，所述处理机将所述采集周期下发至相应采集机，使采集机更新采集周期和线程。

上述的通信运营信息的大数据实时采集及存储方法，其中，所述处理存储集群包括页面服务器、通讯机和处理机组，所述步骤S2具体包括：

S21、所述采集机组判断当前的采集任务是否结束，是则执行S22，否则等待当前任务结束；

S22、所述采集机组更新采集命令、采集周期及相关线程；

S23、所述采集组按所述采集周期定期向所述通信网络下发所述采集命令，并接受所述通信网络上传的指标数据；

S24、如所述指标数据为文本格式则执行S25，如所述指标数据为非文本格式则执行S28；

S25、所述采集机组将所述指标数据存入本地作为副本；

S26、所述采集机组将所述指标数据中的废数据删除；

S27、所述采集机组对所述指标数据进行格式归整，剔除无用内容，并将归整后的指标数据导入内存数据库，执行S210；

S28、所述采集机组剔除所述指标数据中的无用内容，并导入内存数据库；

S29、所述采集机组删除所述指标数据中的废数据，并以数据文件格式存入本地作为副本；

S210、所述采集机组将所述指标数据上传至相应的处理机。

上述的通信运营信息的大数据实时采集及存储方法，其中，所述处理存储集群包括处理机组和存储机组，所述步骤S3具体包括：

S31、所述处理机组对所述指标数据进行压缩和再处理；

S32、所述处理机组将经S31处理的所述指标数据下发至所述存储机组，由所述存储机组保存。

与现有技术相比，本发明的技术方案具有以下有益效果：

1、全网统一的运营信息采集和存储方法，使得运营商的运维能力大大提升，可以降低工作成本，简化工作流程，增加工作效率，节约工作时间。

2、全网统一的运营信息采集和存储系统，留出了拓展空间，使运营商具备了继续发展其他业务的物理基础。

3、全网数据通用化、规范化可以支撑更加深入的数据挖掘技术，能够使得数据分析工作更加的精确到位，更准确地反应出市场需求，可以为企业发展决策提供更多的科学依据。

附图说明

图1是本发明一实施例的网络连接关系示意图；

图2是本发明一实施例的数据流向示意图；

图3是本发明一实施例的流程示意图；

图4是本发明又一实施例的流程示意图；

图5是本发明一实施例的网络部署结构图。

具体实施方式

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明，然而，本发明可以用不同的形式实现，不应只是局限在所述的实施例。结合以下的说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

长期以来，由于缺乏一套统一的监控系统，在各种重大活动、突发事件中，运营商及各监管部门对相关网络、设备的状态监控和维修保障都相对较慢。同时，由于各大运营数据的采集渠道、汇总方式和上报渠道的存在差异，一方面不利于网络资源的高效利用，阻碍了运营商自身的发展，另一方面使得监管部门的监管和分析工作更加复杂，带来了很多不必要的工作量，也制约了监管部门和运营商之间的交流沟通。社会发展带来了对个人生产力提升的诉求，一边是日益复杂的市场需求，一边是政府部门人员的不断精简，如何利用更少的人做更多的事，是目前亟待解决的一个问题。而运营方式的升级换代和监管方式的与时俱进是必由之路。

本发明实现了自定义配置采集时间和数据指标，建立采集规则和设备类型、底层命令的转换库，能够对城市电信网络内的设备产生的运营数据进行定时采集、清洗、处理和存储。本发明的物理基础是采集机组和处理存储集群，处理存储集群按功能可分为页面服务器、通讯机、处理机组和存储机组四类设备。各设备之间通过socket技术通信，由用户在页面服务器的交互界面进行采集配置，配置存储集群中其他设备(如通讯机、处理机和采集机等)，将新的配置翻译成机器可识别的命令下达至全网或部分指定的设备，采集机组按指定周期采集数据，最终以文本或数据的形式存储于存储机中。

本发明首先公开了一种通信运营信息的大数据采集及存储系统，其能同时在现有的通信网络(包括交换网、数据网和移动网)中进行现网运行(与通信运营相关的)指标数据采集和存储工作。具体包括采集机组和处理存储集群。

所述采集机组设置于所述通信网络的接入网络端或汇聚网络端，按采集周期向所述通信网络下达采集命令，并对采集到的指标数据进行处理。所述采集机组根据预设的采集周期及运营指标采集命令定期从各种网络设备中采集数据以及根据更新过的采集命令和采集周期更新相关线程，刷新工作内容。所述的的各种网络设备包括BRAS(BroadbandRemote Access Server宽带远程接入服务器)、BAS(Broadband Access Server宽带接入服务器)、IMS(IP Multimedia Subsystem IP多媒体子系统)、BBS(Base Station Subsystem基站子系统)。

所述处理存储集群，设置于所述通信网络的汇聚层和核心网络中，主要部署于运营商网络的汇聚层，一部分在运营商核心网络和因特网之间。其功能有三：与所述采集机组进行SSL认证；根据采集规则和所述采集规则的变更范围配置管理所述采集机组；接收、处理以及保存所述采集机组处理过的指标数据。其中，所述处理存储集群对所述指标数据的处理包括数据清洗、格式归整、数据压缩和存储。

具体的，如图1所示，处理存储集群包括页面服务器、通讯机、处理机组和存储机组。

所述页面服务器接受所述采集规则和所述采集规则的变更范围并下发至所述通讯机。所述页面服务器通过服务页面获取用户对不同设备的配置，主要包括对不同设备的采集命令(命令行)和采集周期，采集过程中的通讯规则和压缩算法等的配置。

所述通讯机根据所述采集规则和所述采集规则的变更范围，结合所述通信网络中各设备的基础信息和原有的采集规则生成采集命令、采集周期和压缩算法；所述通讯机将所述采集命令、采集周期和压缩算法下发至所述处理机；所述通讯机与所述采集机组进行SSL认证。同时，所述通讯机还能监测采集机的工作状态，确保所述采集机组正常工作。为了提高通讯效率，同一通讯机对应同一专业内的同一类设备厂商对应的采集机。不同厂商、不同型号的设备的底层命令与采集指标、采集时间、指标清理规则之间存在不同，需一一建立对应关系，所述对应关系由所述通讯机生成，在配置系统时，这一对应关系也将通过所述处理机组下发至所述采集机组。

所述处理机组将针对不同设备的运营指标数据的所述采集命令和采集周期下发至所述采集机组，并根据所述压缩算法对经所述采集机组处理的指标数据进行压缩和再处理。处理机针对不同指标选择不同的数据压缩算法，具体地，可进行单位换算、去除极限值、去除特定值、补正等计算。

所述存储机分类存储经所述处理机压缩和再处理的指标数据。

进一步地，所述采集机组与通讯机、处理机组之间的对应关系由所述存储于页面服务器内的通讯规则规定。所述通信规则由用户在页面服务器的交互界面进行更改。

进一步地，所述处理机组按数据类型分别向对应的采集机下发所述采集命令和采集周期；所述采集机组按数据类型分别向对应的处理机发送所述指标数据。

进一步地，所述指标数据来自全网，包括至少41种。按交换网业务数据，固网宽带业务数据和移动网络业务数据进行归类后，所述的至少41种的指标数据的具体内容分别如下：

所述交换网业务数据指端局定时上报的业务数据，上报的时间间隔可以提前约定。数据中，涉及时间的信息采用标准时间格式：YYYY/MM/DD以及hh:mm:ss。所述交换网业务数据包括局点业务数据和走向动态信息。

所述局点业务数据规定了长途局、市话端局、汇接局、关口局、软交换、模块局、接入网和关口局走向动态信息的业务数据格式，其中包括了局点资源利用数、局点资源分配数、局点状态、当前业务量和当前用户数。所述局点资源利用数和局点资源分配数的字长不定，数据类型为整数。所述局点状态的字长为20个字节，数据类型为文本型。所述当前业务量和当前用户数的字长均不定，数据类型为整数型。

为了帮助理解，下列的表1以表格的形式对所述局点业务数据和走向动态信息进行了说明。

表1局点业务数据

所述固网宽带业务数据指端局及线路定时上报的业务数据，上报时间也可提前约定，其中包括设备动态信息、线路动态信息、用户数据动态信息和用户发展动态信息。所述设备动态信息是指宽带接入服务器(BAS)、骨干路由器(BR)、核心路由器(CR)、接入点和全业务路由器(SR)等设备的业务数据。

所述设备动态信息包括设备上行流量、设备下行流量、在线用户数和设备状态。其中，所述设备上行流量和设备下行流量字长不定，数据类型为浮点数；所述在线用户数字长不定，数据类型为整数；所述设备状态字长为20字节，数据类型为文本型。

所述线路动态信息指上联中继电路和出省中继电路的动态信息，具体包括线路上行流量、线路下行流量和线路状态。其中，所述线路上行流量、线路下行流量的字长不定，数据类型为浮点数；所述线路状态的字长为50字节，数据类型为文本型。

所述用户数据动态信息指商业用户、政府用户和事业单位用户等大用户以及光网用户、高带宽用户信息和光网用户及高带宽用户等各类用户的发展情况，该用户数据动态信息根据管局的要求提供，若管局无要求，则将本部分认为是备用接口。所述用户数据动态信息包括用户名、当前流量信息、用户类型、带宽类型、用户总数、用户数量占比和带宽速率占比。其中，所述用户名字长为100字节，数据类型为文本型；所述当前流量信息的字长不定，数据类型为浮点数。所述用户类型和带宽类型的字长为100字节，数据类型为文本型；所述用户总数的字长不定，数据类型为整数；所述用户数量占比和带宽速率占比的字长不定，数据类型为浮点数。

为了帮助理解，下列的表2～表4分别以表格的形式对所述设备动态信息、线路动态信息和用户数据动态信息进行了说明。

表2设备动态信息

表3线路动态信息

表4用户数据动态信息

所述移动网络业务数据指基站定时上报的业务数据，上报时间间隔可提前约定，其中包括了话务量、DO数据总量、1x数据总量、当日VLR开机用户数、A口语音话务量、HLR用户数、集群话务量、集群组呼业务、集群单呼业务、1x当前用户数、DO当前用户数、4G本地在线用户数、4G放号用户数、LTE数据总流量、DO数据总流量、1x数据总流量、MME附着用户数、4G本地在线用户数、4G漫入在线用户数、4G漫出在线用户数、PDCP层上行用户面流量字节数和PDCP层下行用户面流量字节数。为了帮助理解，下列的表5以表格的形式对所述移动网络业务数据进行了数据类型的说明。

表5移动网络业务数据

业务名	数据类型
		话务量(非全量)	浮点数
DO数据总流量	浮点数
		1x数据总流量	浮点数
当日VLR开机用户数	整数
		A口语音话务量	浮点数
HLR用户数	整数
		集群话务量	浮点数
集群组呼业务	浮点数
		集群单呼业务	浮点数
1X当前用户数	整数
		DO当前用户数	整数
4G本地在线用户数	整数
		4G放号用户数	整数
LTE数据总流量	浮点数
		DO数据总流量	浮点数
1x数据总流量	浮点数
		MME附着用户数	整数
4G本地在线用户数	整数
		4G漫入在线用户数	整数
4G漫出在线用户数	整数
		PDCP层上行用户面流量字节数(MB)	浮点数
PDCP层下行用户面流量字节数(MB)	浮点数

进一步地，如图2所示，所述数据类型包括公众网络设备基础信息、关键业务数据和告警数据。此3种数据在存储机组中分类存储，以保证数据的独立性。所谓的分类存储，可以是在同一存储器(如硬盘)中分区存储，也可以是在不同存储器中分别存储。所述公众网络建设数据包括来自铁塔公司、中国电信、中国移动和中国联通的移动网络设备基础信息、传输网络设备基础信息和交换网络设备基础信息。所述关键业务数据包括来自中国电信、中国移动和中国联通的移动网络业务数据、传输网络业务数据和交换网络业务数据。所述告警数据包括来自铁塔公司的机房环境告警数据以及来自中国电信、中国移动和中国联通的移动网络告警数据、传输网络告警数据和交换网络告警数据。公众网络设备基础信息、关键业务数据和告警数据在处理集群中分开存储，保证数据的独立性。通讯机内的通讯服务和采集机内的采集服务以服务的形式长期运行，定时进行设备心跳监测和数据采集操作。

进一步地，所述采集机组对所述指标数据的处理包括根据数据类型的不同分别归整和清洗所述指标数据。所谓的清洗是指，删除存在重复或乱码废数据和/或剔除内容无意义的无效数据。

进一步地，所述采集机组对所述指标数据的处理还包括在本地保存副本以及将所述指标数据上传至所述处理机组。

如图3所示，为了使图2所示的多种数据以统一的格式流转于图1所示的系统中，本发明又提出了一种通信运营信息的大数据实时采集及存储方法，具体包括如下步骤：

S1、处理存储集群根据采集规则和所述采集规则的变更范围生成采集命令和采集周期，以对采集机组进行配置。

S2、所述采集机组根据所述采集命令和采集周期从电信网络中采集指标数据。

S3、所述采集机组对所述指标数据进行归整和清洗后发送至所述处理存储集群。

在上述的步骤中，所述步骤S2和S3按所述采集周期循环进行，所述步骤S1随机发生，新生成的采集命令和/或采集周期在下一采集周期中生效。优选的，在每个循环开始中，由所述采集机组查询配置是否发生改变。具体的，可采用查询的方法，例如间隔30秒查询一次该采集任务是否结束。更进一步的，为了保证上一次采集任务能够按上一次配置顺利完成，可以等到上一次采集任务结束后采集机才更新根据新的采集命令更新配置。

进一步地，为了对本系统的工作进行配置，所述处理存储集群包括页面服务器、通讯机和处理机组，所述步骤S1具体包括：

S11、所述页面服务器接受所述采集规则和所述采集规则的变更范围，下发至所述通讯机。

S12、所述通讯机与所述采集机组进行SSL认证。优选地，通过则执行S13，未通过则将该信息反馈至所述页面服务器，由所述页面服务器进行错误提示，要求人工干预。

S13、所述通讯机判断所述采集规则和所述采集规则的变更范围是否有变更，有变更则执行S14，无变更则按现有采集规则和采集周期下发任务至所述处理机组并与所述采集机组建立通信通道。优选的，所述通信通道为socket通道。

S14、若所述采集规则变更了欲采集的数据类型，则所述通讯机下发采集命令给相应变更范围内的处理机，所述处理机将所述采集命令下发至相应采集机，使采集机更新采集命令；若所述采集规则变更了采集周期，则所述通讯机下发采集周期给相应变更范围内的处理机，所述处理机将所述采集周期下发至相应采集机，使采集机更新采集周期和线程。

在上述的过程中，如系统初次运行或重启时，所述页面控制器首先根据系统中留存的原有配置建立所述采集组与所述处理存储集群之间的连接。

进一步地，所述处理存储集群包括页面服务器、通讯机和处理机组，所述步骤S2具体包括：

S21、所述采集机组判断当前的采集任务是否结束，是则执行S22，否则等待当前任务结束。

S22、所述采集机组更新采集命令、采集周期及相关线程。

S23、所述采集组按所述采集周期定期向所述通信网络下发所述采集命令，并接受所述通信网络上传的指标数据。

S24、如所述指标数据为文本格式则执行S25，如所述指标数据为非文本格式则执行S28。

S25、所述采集机组将所述指标数据存入本地作为副本。

S26、所述采集机组将所述指标数据中的废数据删除。

S27、所述采集机组对所述指标数据进行格式归整，剔除无用内容，并将归整后的指标数据导入内存数据库，执行S210。

S28、所述采集机组剔除所述指标数据中的无用内容，并导入内存数据库。

S29、所述采集机组删除所述指标数据中的废数据，并以数据文件格式存入本地作为副本。通常地，数据文件格式包括RCFile和ORCFile格式。

S210、所述采集机组将所述指标数据上传至相应的处理机。

进一步地，所述处理存储集群包括处理机组和存储机组，所述步骤S3具体包括：

S31、所述处理机组对所述指标数据进行压缩和再处理。

S32、所述处理机组将经S31处理的所述指标数据下发至所述存储机组，由所述存储机组保存。优选的，所述存储机组内包括Hadoop系统，所述指标数据存储于所述Hadoop系统中。

图4所示为一个细化了步骤S11和步骤S12的实施例流程示意图。页面服务器通过交互界面向用户展示通用易懂的采集规则和可采集指标列表，用户通过下拉菜单更改采集规则，页面服务器获取采集规则，通过通讯机转译得出采集命令和采集周期，并将其下发至采集机组和处理机组。其中，采集机组是通过处理机组的转发来获得采集规则的。通讯机根据已有的设备基础信息和刚获取的采集规则合成本次的采集命令，与采集周期一起下发至所述采集机组和处理机组，处理机组内更新对应的采集命令和压缩算法，采集机组内更新相应线程配置，开启新的采集线程，并根据采集机组内部的计时器定期下达采集命令并获取指标数据，从而获得通信网络内的运营数据。采集机组根据用户选择的配置，可获得现网A口语音话务量、HLR用户数、话务量、VLR开机用户数、上行流量、下行流量等运营数据。

进一步地，如图4所示，所述页面服务器的处理步骤如下：

页面服务器获取需变更的设备或区域信息，确认变更范围；

页面服务器获取采集规则；

页面服务器根据所述变更范围将所述采集规则下发至相应通讯机。

进一步地，如图4中S11部分所示，所述通讯机根据所述页面服务器下发采集规则的范围不同，进行不同的处理：

若采集规则发往全网所有设备，则所述通讯机先将采集规则转译为底层命令，再在底层命令中添加相应的设备类型，形成命令列表。具体的，通讯机根据采集规则和设备类型，在比对库内查找对应命令，将采集规则拼接为底层命令，将其与设备类型、采集时间放入特定对象，形成命令列表。

若采集规则发往部分网络设备，则所述通讯机先获得部分所述设备的类型信息，再根据设备类型转译所述采集规则，形成命令列表。

进一步地，如图4中S12部分所示，所述通讯机形成命令列表后，与相应的采集机进行SSL认证，若认证成功则所述通讯机将命令列表下发至相应采集机，若失败则返回错误信息至页面服务器，提醒用户设备出现故障，需要人工干预。

图5是一个用于实施的部署方案，操作系统是CentOS 7.2，java开发工具包版本为jdk 1.8.0_151，Hadoop系统的版本为Hadoop-2.7.2。多个采集机分别布设在运营商接入网络端，通过连接已有的接入交换机、BAS或对应的厂家专业网管系统获取数据，通讯机组、处理机组和存储机组部署于运营商的核心网络端，保证支撑海量数据通讯。页面服务器部署于因特网内，通过VPN与通讯机联通。

本发明主要应用于电信运营商对现网运行状态的监控，利用Hadoop技术存储，建设一套统一的全网运营信息采集存储系统，从而业务指标信息、告警信息和设备基础信息三个方面的数据可以统一化，运营商可以通过制定统一的数据规范、传输规则和保障机制等手段，将现有的资源和渠道更有效地利用起来。一方面可以加强上下游的联系沟通，提升管理力度，使得运营和维护更加实时到位，带给公众更好更及时的服务体验。另一方面，通用的，规范化的数据支撑了更加深入的数据挖掘技术，能够使得数据分析工作更加的精确到位，更准确地反应出市场需求，可以为企业发展决策提供更多的科学依据。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种通信运营信息的大数据采集及存储系统，其特征在于，在通信网络中采集和存储与通信运营相关的指标数据，包括：

采集机组，设置于所述通信网络的接入网络端或汇聚网络端，按采集周期向所述通信网络下达采集命令，并对采集到的指标数据进行处理；

处理存储集群，设置于所述通信网络的汇聚层和核心网络中；与所述采集机组进行SSL认证；根据采集规则和所述采集规则的变更范围配置管理所述采集机组；接收、处理以及保存所述采集机组处理过的指标数据。

2.如权利要求1所述的通信运营信息的大数据采集及存储系统，其特征在于，所述处理存储集群包括页面服务器、通讯机、处理机组和存储机组；

所述页面服务器接受所述采集规则和所述采集规则的变更范围并下发至所述通讯机；

所述通讯机根据所述采集规则和所述采集规则的变更范围，结合所述通信网络中各设备的基础信息和原有的采集规则生成采集命令、采集周期和压缩算法；所述通讯机将所述采集命令、采集周期和压缩算法下发至所述处理机；所述通讯机与所述采集机组进行SSL认证；

所述处理机组按数据类型分别向对应的采集机下发所述采集命令和采集周期，并根据所述压缩算法对经所述采集机组处理的指标数据进行压缩和再处理；

所述存储机分类存储经所述处理机压缩和再处理的指标数据；

所述采集机组按数据类型分别向对应的处理机发送所述指标数据。

3.如权利要求1所述的通信运营信息的大数据采集及存储系统，其特征在于，所述指标数据包括至少41种。

4.如权利要求3所述的通信运营信息的大数据采集及存储系统，其特征在于，所述指标数据具体包括：局点资源利用数、局点资源分配数、局点状态、当前业务量、当前用户数、设备上行流量、设备下行流量、在线用户数、设备状态、线路上行流量、线路下行流量、线路状态、用户名、当前流量信息、用户类型、带宽类型、用户总数、用户数量占比、带宽速率占比、话务量、DO数据总量、1x数据总量、当日VLR开机用户数、A口语音话务量、HLR用户数、集群话务量、集群组呼业务、集群单呼业务、1x当前用户数、DO当前用户数、4G本地在线用户数、4G放号用户数、LTE数据总流量、DO数据总流量、1x数据总流量、MME附着用户数、4G本地在线用户数、4G漫入在线用户数、4G漫出在线用户数、PDCP层上行用户面流量字节数和PDCP层下行用户面流量字节数。

5.如权利要求1所述的通信运营信息的大数据采集及存储系统，其特征在于，所述采集机组对所述指标数据的处理包括根据数据类型的不同分别归整和清洗所述指标数据。

6.如权利要求5所述的通信运营信息的大数据采集及存储系统，其特征在于，所述采集机组对所述指标数据的处理还包括在本地保存副本以及将所述指标数据上传至所述处理机组。

7.一种通信运营信息的大数据实时采集及存储方法，其特征在于，应用于如权利要求1-6任一项所述的系统，包括如下步骤：

S1、处理存储集群根据采集规则和所述采集规则的变更范围生成采集命令和采集周期，以对采集机组进行配置；

S2、所述采集机组根据所述采集命令和采集周期从电信网络中采集指标数据；

S3、所述采集机组对所述指标数据进行归整和清洗后发送至所述处理存储集群；

其中，所述步骤S2和S3按所述采集周期循环进行，所述步骤S1随机发生，新生成的采集命令和/或采集周期在下一采集周期中生效。

8.如权利要求7所述的通信运营信息的大数据实时采集及存储方法，其特征在于，所述处理存储集群包括页面服务器、通讯机和处理机组，所述步骤S1具体包括：

S11、所述页面服务器接受所述采集规则和所述采集规则的变更范围，下发至所述通讯机；

S12、所述通讯机与所述采集机组进行SSL认证，通过则执行S13，未通过则将该信息反馈至所述页面服务器，由所述页面服务器进行错误提示，要求人工干预；

S13、所述通讯机判断所述采集规则和所述采集规则的变更范围是否有变更，有变更则执行S14，无变更则按现有采集规则和采集周期下发任务至所述处理机组并与所述采集机组建立通信通道；

S14、若所述采集规则变更了欲采集的数据类型，则所述通讯机下发采集命令给相应变更范围内的处理机，所述处理机将所述采集命令下发至相应采集机，使采集机更新采集命令；若所述采集规则变更了采集周期，则所述通讯机下发采集周期给相应变更范围内的处理机，所述处理机将所述采集周期下发至相应采集机，使采集机更新采集周期和线程。

9.如权利要求7所述的通信运营信息的大数据实时采集及存储方法，其特征在于，所述处理存储集群包括页面服务器、通讯机和处理机组，所述步骤S2具体包括：

S21、所述采集机组判断当前的采集任务是否结束，是则执行S22，否则等待当前任务结束；

S22、所述采集机组更新采集命令、采集周期及相关线程；

S23、所述采集组按所述采集周期定期向所述通信网络下发所述采集命令，并接受所述通信网络上传的指标数据；

S24、如所述指标数据为文本格式则执行S25，如所述指标数据为非文本格式则执行S28；

S25、所述采集机组将所述指标数据存入本地作为副本；

S26、所述采集机组将所述指标数据中的废数据删除；

S27、所述采集机组对所述指标数据进行格式归整，剔除无用内容，并将归整后的指标数据导入内存数据库，执行S210；

S28、所述采集机组剔除所述指标数据中的无用内容，并导入内存数据库；

S29、所述采集机组删除所述指标数据中的废数据，并以数据文件格式存入本地作为副本；

S210、所述采集机组将所述指标数据上传至相应的处理机。

10.如权利要求7所述的通信运营信息的大数据实时采集及存储方法，其特征在于，所述处理存储集群包括处理机组和存储机组，所述步骤S3具体包括：

S31、所述处理机组对所述指标数据进行压缩和再处理；

S32、所述处理机组将经S31处理的所述指标数据下发至所述存储机组，由所述存储机组保存。