CN112448840B - 一种通信数据质量监控方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种通信数据质量监控方法、装置、服务器及存储介质。该方法包括：获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；根据所述数据质量进行预警。本发明的技术方案实现了提高数据质量问题处理的及时性的效果。

Description

一种通信数据质量监控方法、装置、服务器及存储介质

技术领域

本发明实施例涉及通信领域，尤其涉及一种通信数据质量监控方法、装置、服务器及存储介质。

背景技术

随着电信技术的快速发展，尤其4G的普及和5G的崛起，以及人们对互联网的依赖，运营商的业务变得更加复杂，运维变得更加艰难。运营商传统运维需要相当大的一支队伍，运维工作只能通过巡查或投诉来触发，这种低效高成本运维方式必将拖累运营商的经营成本和消费者的体验感受。

发明内容

本发明提供一种通信数据质量监控方法、装置、服务器及存储介质，以实现提高数据质量问题处理的及时性的效果。

第一方面，本发明实施例提供了一种通信数据质量监控方法，包括：

获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；

根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；

根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；

根据所述数据质量进行预警。

第二方面，本发明实施例还提供了一种通信数据质量监控装置，包括：

属性文件提取模块，用于获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；

指标数据统计模块，用于根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；数据质量评价模块，用于根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；

数据质量预警模块，用于根据所述数据质量进行预警。

第三方面，本发明实施例还提供了一种服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的通信数据质量监控方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的通信数据质量监控方法。

本发明实施例的技术方案，通过获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；根据所述数据质量进行预警。本发明实施例的技术方案解决了数据链路复杂和数据量庞大，易造成数据丢失并且处理不及时的问题，达到了提高数据质量问题处理的及时性的效果。

附图说明

图1是本发明实施例一中的一种通信数据质量监控方法的流程图。

图2是本发明实施例二中的一种通信数据质量监控方法的流程图。

图3是本发明实施例三中的一种通信数据质量监控装置的结构示意图。

图4是本发明实施例四中的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一数据质量为第二数据质量，且类似地，可将第二数据质量称为第一数据质量。第一数据质量和第二数据质量两者都是数据质量，但其不是同一数据质量。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

实施例一

图1为本发明实施例一提供的通信数据质量监控的流程图，本实施例可适用于通信数据质量监控情况，该方法具体包括如下步骤：

S110、获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取。

本实施例中，通信数据不同于互联网数据，互联网公司面向消费者，产品是依赖互联网的软件，可以对数据进行规划设计，灵活可操作性高；通信数据是由设备产生，设备稳定性不能与面向消费者产品相比，况且设备由不同设备厂商生产，不同厂商的数据格式和质量具有一定的复杂性。数据源为厂商提取的关于通信数据的参数信息。本实施例采用前置机对数据源进行获取得到数据源的副本处理生成数据文件存于HIVE表中。前置机是通信数据中承上启下的一环，由于各主机系统间的通信协议差别较大，网络结构复杂，所以异型主机之间通常不能通过网络相互识别。通过综合前置机作为中介，可以很容易地将各主机系统连接起来，实现跨系统主机间的数据交换。前置机基于边缘计算，职责为数据初步处理和价值赋能。属性文件可以为文件的生成时间和系统通过多个节点埋点收集的各节点信息得到的文件的处理时间，服务器将数据同步到hdfs，通过一个采集器采集datom的日志文件和HDFS的元数据信息，用于后续的指标分析。Datom是前置机的数据接入模块，前置机监控datom的日志文件和采集HDFS的元数据信息。进一步的，所述属性文件包括数据来源、数据处理时间、数据信息、数据操作路径。

本实施例中，采集器会采集文件或数据的一些信息，用于指标分析，示例性的，数据来源可以为各家设备商的MR、CDR数据，统一DPI数据，固网数据，机器上传CM、PM数据和手机APP数据等等。数据源丰富多变，既有专业的通信数据，也有运营数据，通过前置机的处理，达到数据的统一化；数据处理时间可以为数据属于前置机处理的哪个阶段、数据记录到文件中的时间、文件生成时间、文件被操作(下载，上传，扫描)时的时间等，此处不作限制，方便统计数据处理时长；数据信息可以为发送该数据的设备所对应的设备商代号、数据所在服务器的ip、数据记录到文件后文件的大小和文件的名称等，此处不作限制；数据操作路径可以为操作前文件路径和操作后文件路径等，此处不作限制。

S120、根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成。

本实施例中，指标数据是具体的通信内容，也就是实际的表的字段，属于被前置机处理后的存于数据文件的业务统计信息，里面包含了比如通用的rsrp，rsrq等专业通信数据，代表无线信号强度的关键参数以及物理层测量需求之一和表示LTE参考信号接收质量，也可以是一些业务数据，再基于这些指标数据还可以进行补充统计、数据计算、数据关联以及人工智能等附加价值。示例性的，本实施例中指标数据是可以直接提取数据的某些时间字段，可以通过一定计算方式计算rsrp的空值率等，此处不作限制。

S130、根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种。

本实施例中，环境评价可以包括评价sftp下载数据吞吐量和评价数据推送hdfs时吞吐量，此处不作限定。时延评价可以包括数据到达延迟和数据处理延迟，例如检测数据源侧数据生成时间，计算延迟时间和统计数据在系统各个流程处理时间。质量评价可以包括数据完整性、数据一致性和数据准确性。数据完整性可以对文件数、数据量(大小和条数)、数据内容和数据文件在系统中传输评估数据完整性；数据一致性可以对数据源数据、hdfs数据评价一致性；数据准确性可以对不同数据源的关系、字段空值率、字段专业指标性评价准确性。

S140、根据所述数据质量进行预警。

本实施例中，预警为在通信数据出现问题向工作人员提醒的手段。服务器可以将统计数据进行页面展示，供运维人员分析，可以通过上述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种，对统计结果进行不同等级的预警划分，通过不同方式对问题进行报警。示例性的，可以通过经验数据评估系统的稳定性。比如系统物理指标IO的吞吐量，数据量，关联率等指标，在一个成熟的算法模型里，这些指标的变化正常来说是比较稳定的，但如果出现大的波动，可能是数据质量问题,需要预警以提醒工作人员。也可以经过横向对比，分析数据的趋势。对于大部分数据来说，横向上的趋势是平缓的，对于累加数据来说，数据质量会呈现出某种线性指标，但如果基于横向历史模型，数据趋势发生了突变，那么数据上可能出现数据质量问题,需要预警以提醒工作人员。又或者通过异常检测，通信数据的质量会发现各种异常，比如文件质量，数据内容，服务或系统瘫痪，杂质文件等等，评价系统会基于异常字典，去分析故障模型，进行问题分类、等级判断和评估得出其所出现的数据质量问题,需要预警以提醒工作人员。

本发明实施例的技术方案，通过获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；根据所述数据质量进行预警。本发明实施例的技术方案解决了数据链路复杂和数据量庞大，易造成数据丢失并且处理不及时的问题，达到了提高数据质量问题处理的及时性的效果。

实施例二

图2为本发明实施例二提供的通信数据质量监控方法的流程图，本实施例在上述实施例的基础上进一步优化，该方法具体包括：

S210、获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取。

本实施例中，属性文件为系统通过多个节点埋点收集的各节点信息，服务器将数据同步到hdfs，通过一个采集器采集datom的日志文件和HDFS的元数据信息，用于后续的指标分析。

S220、根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成。

本实施例中，本实施例中，指标数据是具体的通信内容，也就是实际的表的字段，属于被前置机处理后存于数据文件的业务统计信息，里面包含了比如通用的rsrp，rsrq等专业通信数据，代表无线信号强度的关键参数以及物理层测量需求之一和表示LTE参考信号接收质量，也可以是一些业务数据。

S230、将所述指标数据和所述属性文件存储在HIVE表中。

本实施例中，HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。HIVE定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。

S240、根据环境评价处理所述属性文件和所述指标数据以获取第一数据质量。

本实施例中，对于环境评价，主要是数据环境的指标会影响其他指标的评价，了解数据环境实时状态的波动，更容易把控后续的一些问题的分析。如果环境评价指标一直是满负荷状态，但是后续的处理都出现了积压，那就表明服务器或者网络状态出现了瓶颈，需要考虑升级事宜。

S250、根据时延评价处理所述属性文件和所述指标数据以获取第二数据质量。

时延评价可以体现数据源的数据到达(生成)情况，也可以表征系统处理数据的性能。数据文件都有记录文件内容所需的生成时间，如果该生成时间过去很久，数据还未生成或者晚生成，则可能是上游系统出现问题，需要及时监控预警处理。评估各个阶段或者整体的处理时延，可以准确定位到系统的问题环节，及时优化系统的性能问题。

S260、根据质量评价处理所述属性文件和所述指标数据以获取第三数据质量。

本实施例中，质量评价可以为对数据进行体检进而识别和理解数据质量问题，代表数据的一组固有属性满足数据消费者要求的程度。有评价体系作为参照，需要进行数据的采集、分析和监控，示例性的，可以评价数据是否正常并可以直接解读。

进一步的，所述环境评价包括数据吞吐量评级。

对于交互式应用来说，吞吐量指标反映的是服务器承受的压力，在容量规划的测试中，吞吐量是一个重点关注的指标，因为它能够说明系统级别的负载能力，另外，在性能调优过程中，吞吐量指标也有重要的价值。数据吞吐量评级则是在单位时间内对数据吞吐量进行统计，并进行相应的级别区分以便判断是否需要进行处理以及所需处理的程度。

所述时延评价包括数据到达或处理的延迟时长评级。

数据从产生到可以查看的时间间隔，也叫数据的延时时长。某些实时分析和决策需要用到小时或者分钟级的数据，这些需求对数据的时效性要求极高。例如定义某张表在每月最晚达到的日期是几号。延迟时长评级则可以是对数据从产生到可以查看的时间间隔的分级。

所述质量评价包括数据完整性、一致性和准确性的质量评级。

数据完整性可以是数据的记录和信息是否完整，是否存在缺失的情况，示例性的，可以包括：1)从文件数来看数据接入是否完整。从通信数据特性分析，每段时间产生的数据文件数比较稳定，根据每日各时间段的文件数趋势，判断当日该时间段的文件数是否有异常。2)从数据量评估完整性。通信数据量与人们的作息时间有关，呈现夜间数据少，白天数据量多的一些特征。可以监控到各时段数据文件大小和统计各时段数据条目，来判断该时段是否异常。节假日或者大型活动导致某地某时段数据量暴增的情况为另外处理。还可以横向对比每天同一时段的数据量，查看波动范围，也可看出数据的完整性情况。3)从数据内容评价内容完整性。数据完整性不仅表现在数据量或文件上，有时候当前两者不变的情况下，数据质量也会出现很大问题。当出现HIVE表最后几个字段没有数值的时候，很有可能文件出现截断，导致数据内容不完整，可以通过统计信息检测到。4)评价数据文件在系统中传输完整性。数据文件经过datom，datom会对文件进行一些处理和检测。当文件无效时，则不会进入系统进行处理分析。可以对比数据各个阶段是否存在，确保数据文件在系统中的完整性。

数据一致性可以是数据记录是否符合规范，是否与前后即其他数据集合保持统一，示例性的，可以包括：1)评价数据源数据一致性。一般数据源数据文件生成后不会改变，但当数据文件生成出现问题或者文件本身被修改，出现了文件不一致，系统可以记录到文件不同时刻的状态，利于排错。2)评价hdfs数据一致性。前置机平台具有任务重跑和补采机制，当触发了这部分操作，数据访问或统计结果会前后不一致。监控系统记录各个HIVE表的数据时间，明确记录了数据操作的时间点。

数据准确性可以是数据记录的信息和数据是否准确，是否存在异常或者错误的信息，示例性的，可以包括：1)评价不同数据源的关系。通信数据的数据源复杂多类，但很多都是由用户触发的，所以很多数据源存在一些联系，这些联系也是评价数据质量的一种指标，可以统计两种数据源的关联率来表征数据的可用程度。2)评价字段空值率。数据字段的重要程度不同，对于重要的字段，统计信息可以获取这些字段的空值比例，来判断该时段数据是否正常或准确。3)评价字段专业指标性。通信数据的专业性明确了一些指标字段具有值的范围，可以统计不正常指标值的占比，进一步评估数据准确性。

本实施例可以通过对数据完整性、一致性和准确性进行综合评级，多个层级表明数据问题所需处理程度。

进一步的，所述环境评价包括根据预设吞吐量计算方式计算数据吞吐量，所述预设吞吐量计算方式为

本实施例中，对于数据SFTP-I/O(输入IO)：记录一批文件n，操作为下载，操作时间t1，查找这批文件对应操作上传，文件生成时间t2，文件大小s1，这批文件在这段时间表征的SFTP的I/O约为

对于HDFS-I/O(输出IO)：记录一批文件n，操作为上传，操作时间为t1，查找这批文件对应操作扫描，文件生成时间t2，文件大小s1，这批文件在这段时间表征的HDFS的I/O的公式为

进一步的，所述预警包括第一预警、第二预警和第三预警，

所述第一预警包括异常情况跟踪和邮件预警；

所述第二预警包括向对应的运维人员发送提醒信息，所述运维人员与预设评价方式对应；

所述第三预警包括向上级发送语音通知。

本实施例中，针对每项评价方式都有其对应的多项预警方式，具体预警还包括预警升级机制。示例性的，针对环境评价，当检测到数据的吞吐量出现短时间波动，这就需要启动第一预警，在系统界面显示关于吞吐量波动的预警信息，例如时间，数据量等，还可以通过邮件提醒工作人员；如果数据吞吐量波动进一步恶化，出现一定持续时间的低吞吐量，或者发现新的更严重的问题，则启动第二预警，向处理数据吞吐量波动的运维人员发送提醒处理的信息，该信息可以包括在哪段时间，数据吞吐量缺失程度，并提醒运维人员在处理完该问题后及时在短信和系统进行处理反馈；如果长时间没有得到运维人员的处理反馈，或者数据吞吐量出现一段时间的缺失，也就是没有数据，则启动第三预警，向运维人员的上级负责人发送语音电话，提醒负责人督促运维人员处理，若与负责人的电话无法接通，将会按职位继续递增向上级通知。

针对时延评价，示例性的，文件a记录9点录入的数据，计划在10点发送到预计地点，如果晚了计划1个小时以上，则启动第一预警，在系统界面显示该文件信息和晚到时长，还可以通过邮件提醒工作人员；如果晚了计划2个小时以上，或者发现新的更严重的问题，则启动第二预警，短信通知维护数据时延的运维人员处理，并及时在短信和系统进行处理反馈；如果长时间没有得到运维人员的处理反馈，或者晚了计划3小时以上，则启动第三预警，向运维人员的上级负责人发送语音电话，提醒负责人督促运维人员处理，若与负责人的电话无法接通，将会按职位继续递增向上级通知。

针对质量评价，示例性的，针对数据空值率，rsrp空值率一般在20％，而波动程度在5％是可以认为正常波动，如果rsrp空值率在25％-45％，则启动第一预警，在系统界面显示rsrp的空值率，还可以通过邮件提醒工作人员；如果rsrp空值率进一步恶化，rsrp空值率在45％-70％，或者发现新的更严重的问题，则启动第二预警，短信通知处理质量评价的运维人员前往处理rsrp空值率，并及时在短信和系统进行处理反馈；如果时间没有得到运维人员的处理反馈，或者rsrp空值率大于70％，则启动第三预警，向运维人员的上级负责人发送语音电话，提醒负责人督促运维人员处理，若与负责人的电话无法接通，将会按职位继续递增向上级通知。对于关联率指标，比如一个厂家的数据在75％上下5％波动为正常波动，如果关联率为60-70％则启动第一预警，50-60％启动第二预警，50％以下则启动第三预警，但是不同厂家的波动预警程度不同，具体可以根据各个厂家的历史经验数据自行调节，比如华为的在某个省的关联一直在40％波动需要另定细则。

从数据源获取的参数指标可以是通用的指标评价，也可以是与当地厂家的长久工作情况来得出，可以根据各个厂商的产品质量不同，和各个省的运营状况不同自行调整。

S270、根据所述数据质量进行预警。

本实施例中，数据质量监控将统计数据进行页面展示，供运维人员分析，服务器通过上述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种，对统计结果进行不同等级的预警划分，通过不同方式对第一数据质量、第二数据质量和第三数据质量分别进行预警。

本实施例的技术方案，通过获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；将所述指标数据和所述属性文件存储在HIVE表中；根据环境评价处理所述属性文件和所述指标数据以获取第一数据质量；根据时延评价处理所述属性文件和所述指标数据以获取第二数据质量；根据质量评价处理所述属性文件和所述指标数据以获取第三数据质量；根据所述数据质量进行预警。本发明实施例的技术方案解决了HDFS上的文件查询麻烦的问题，达到了提高数据质量问题处理的及时性的效果。

实施例三

图3所示为本发明实施例三提供的通信数据质量监控装置300的结构示意图，本实施例可适用于通信数据质量监控情况，具体结构如下：

属性文件提取模块310，用于获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；

指标数据统计模块320，用于根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；

数据质量评价模块330，用于根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；

数据质量预警模块340，用于根据所述数据质量进行预警。

进一步的，所述属性文件包括数据来源、数据处理时间、数据信息、数据操作路径。

进一步的，数据质量评价模块340包括环境评价单元、时延评价单元和质量评价单元，

环境评价单元用于根据环境评价处理所述属性文件和所述指标数据以获取第一数据质量；

时延评价单元用于根据时延评价处理所述属性文件和所述指标数据以获取第二数据质量；

质量评价单元用于根据质量评价处理所述属性文件和所述指标数据以获取第三数据质量。

进一步的，所述预警包括第一预警、第二预警和第三预警，

所述第一预警包括异常情况跟踪和邮件预警；

所述第二预警包括向对应的运维人员发送提醒信息，所述运维人员与预设评价方式对应；

所述第三预警包括向上级发送语音通知。

进一步的，所述环境评价包括数据吞吐量评级；

所述时延评价包括数据到达或处理的延迟时长评级；

所述质量评价包括数据完整性、一致性和准确性的质量评级。

进一步的，所述环境评价包括根据预设吞吐量计算方式计算数据吞吐量，所述预设吞吐量计算方式为

进一步的，还包括存储模块，用于将所述指标数据和所述属性文件存储在HIVE表中。

本发明实施例所提供的通信数据质量监控装置300可执行前述实施例所提供的通信数据质量监控方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4是本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器412的框图。图4显示的服务器412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，服务器412以通用服务器的形式表现。服务器412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。

服务器412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。终端412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

服务器412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该服务器412交互的终端通信，和/或与使得该服务器412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，服务器412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide AreaNetwork，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器420通过总线418与服务器412的其它模块通信。应当明白，尽管图中未示出，可以结合服务器412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。

处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种通信数据质量监控方法，该方法可以包括：

获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；

根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；

根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；

根据所述数据质量进行预警。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种通信数据质量监控方法，该方法可以包括：

获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；

根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；

根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；

根据所述数据质量进行预警。

本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种通信数据质量监控方法，其特征在于，包括：

获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；

所述数据源为厂商提取的关于通信数据的参数信息；

所述数据文件包括前置机对数据源进行获取得到数据源的副本处理；

根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；

所述指标数据包括具体的通信内容或业务数据，属于被前置机处理后的存于数据文件的业务统计信息，包括：rsrp和rsrq专业通信数据；

根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；

根据所述数据质量进行预警；

所述属性文件包括数据来源、数据处理时间、数据信息、数据操作路径；

所述环境评价包括数据吞吐量评级；

所述时延评价包括数据到达或处理的延迟时长评级；

所述质量评价包括数据完整性、一致性和准确性的质量评级；

所述根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成之后，还包括：

将所述指标数据和所述属性文件存储在HIVE表中。

2.根据权利要求1所述的通信数据质量监控方法，其特征在于，所述根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量包括：

根据环境评价处理所述属性文件和所述指标数据以获取第一数据质量；

根据时延评价处理所述属性文件和所述指标数据以获取第二数据质量；

根据质量评价处理所述属性文件和所述指标数据以获取第三数据质量。

3.根据权利要求2所述的通信数据质量监控方法，其特征在于，所述预警包括第一预警、第二预警和第三预警，

所述第一预警包括异常情况跟踪和邮件预警；

所述第二预警包括向对应的运维人员发送提醒信息，所述运维人员与预设评价方式对应；

所述第三预警包括向上级发送语音通知。

4.一种通信数据质量监控装置，其特征在于，包括：

属性文件提取模块，用于获取前置机从数据源和数据文件提取的属性文件，所述数据源基于通信数据提取，所述数据文件由前置机从所述数据源获取；

所述数据源为厂商提取的关于通信数据的参数信息；

所述数据文件包括前置机对数据源进行获取得到数据源的副本处理；

指标数据统计模块，用于根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成；

所述指标数据包括具体的通信内容或业务数据，属于被前置机处理后的存于数据文件的业务统计信息，包括：rsrp和rsrq专业通信数据；

数据质量评价模块，用于根据所述属性文件、所述指标数据和预设评价方式评价通信数据的数据质量，所述预设评价方式包括环境评价、时延评价和质量评价中的一种或多种；

数据质量预警模块，用于根据所述数据质量进行预警；

所述属性文件包括数据来源、数据处理时间、数据信息、数据操作路径；

所述环境评价包括数据吞吐量评级；

所述时延评价包括数据到达或处理的延迟时长评级；

所述质量评价包括数据完整性、一致性和准确性的质量评级；

所述根据业务信息统计指标数据，所述业务信息由所述前置机根据所述数据文件生成之后，还包括：

将所述指标数据和所述属性文件存储在HIVE表中。

5.一种服务器，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的通信数据质量监控方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一项所述的通信数据质量监控方法。

Images