CN109617734A - 网络运营能力分析方法及装置 - Google Patents
网络运营能力分析方法及装置 Download PDFInfo
- Publication number
- CN109617734A CN109617734A CN201811594709.3A CN201811594709A CN109617734A CN 109617734 A CN109617734 A CN 109617734A CN 201811594709 A CN201811594709 A CN 201811594709A CN 109617734 A CN109617734 A CN 109617734A
- Authority
- CN
- China
- Prior art keywords
- analysis
- slice data
- data
- slice
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 256
- 238000000034 method Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 9
- 238000007619 statistical method Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000010835 comparative analysis Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 description 10
- 238000013439 planning Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010223 real-time analysis Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 201000004569 Blindness Diseases 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种网络运营能力分析方法及装置,所述方法包括:将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。本发明实施例分析范围广,计算效率高,能对网络运营能力资源数据进行动态分析,提高了网络运营能力分析的速度和精度。
Description
技术领域
本发明实施例属于大数据处理技术领域,更具体地,涉及一种网络运营能力分析方法及装置。
背景技术
目前,针对通讯运营商的网络运营能力分析都是基于某一时间现存网络能力的总体统计结果。随着通信网络的快速发展,运营商的管理更加强调精细化、溯源化,而不单单只是笼统的进行全量数据统计。
以FTTH(Fiber To The Home,光纤到户)光网络建设规划为例,网络建设部门需要跟踪近年来某些项目建设的分光器OBD、OLT设备的业务发展情况,从而更好地指导网络规划建设,此时需要细致了解设备入网时间、统计开始时间设备的占用情况、统计结束时间设备的占用情况,而且还要考虑统计周期内设备退网的情况,通过这样细分统计最终得出准确的设备占用率提升情况。
在通讯运营商的网络接入能力指标分析中,目前是具备OBD端子、OLT设备端口资源占用情况统计分析的,但是属于全量的数据统计,只能进行两个选择的时间点总体容量和实占容量的差异比较。而这个全量统计数据掺杂了干扰数据,无法真正直观地体现网络建设发展动态情况。例如,2018年1月建设了一批分光器OBD设备,在2018年12月需要了解这批设备现在的端子占用情况,从而反映出市场发展情况,进而追溯到当初网络规划建设投入的合理性。此时,按照原有的分析方法,只能获取到2018年1月总体OBD设备端子统计结果和2018年12月总体OBD设备端子统计结果,通过两者OBD端子占用的数值差分析业务发展。但实际上,在这一年之中1月份新建的设备有一些已经拆机,还有一些已经扩容新增的设备,整体的统计根本无法区分具体哪些是1月份建设入网,到现在还在网并且发展了用户业务的设备。
无法准确统计网络资源动态变化情况问题的根源有两方面主要原因。一个方面是因为难以留存运营商网络资源各个时刻的资源数据。因为运营商的设备资源数据是一个庞大的数据,设备厂商种类众多,端子、端口数量众多,导致要留存每一时刻具体的数据需要巨大的存储。即使存储了这些数据,也难以实现在此之上的分析计算,这在原有关系型数据库管理模式下很难实现。另一方面是因为网络接入能力的计算方法较为复杂,即使留存了两个时刻的资源数据库,也难以快速实现随机指定两个时刻的网络接入能力的比较分析结果,通常要执行较为复杂的统计分析过程才能得出结果。
综上所述,现有的网络运营能力分析方法中仅存留两个时刻的网络资源数据,对大量的网络资源进行存储困难,从而导致分析范围有限,且网络运营能力计算方法复杂,分析结果不精确。
发明内容
为克服上述现有的网络运营能力分析方法分析范围小,计算复杂和分析结果不精确的问题或者至少部分地解决上述问题,本发明实施例提供一种网络运营能力分析方法及装置。
根据本发明实施例的第一方面,提供一种网络运营能力分析方法,包括:
将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;
在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;
根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。
根据本发明实施例第二方面提供一种网络运营能力分析装置,包括:
存储模块,用于将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;
转储模块,用于在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;
分析模块,用于根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。
根据本发明实施例的第三个方面,还提供一种电子设备,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的网络运营能力分析方法。
根据本发明实施例的第四个方面,还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的网络运营能力分析方法。
本发明实施例提供一种网络运营能力分析方法及装置,该方法通过、将运营商关注的网络运营能力分析指标的历史资源数据以切片化方式存储到Hadoop HBase中,并在Hadoop HBase中进行转储,存取数据多,且提取效率高;应用层基于Spark中的RDD方法完成面向业务应用的复杂运算,通过大数据计算能力快速实现任意两个切片数据的比较分析,分析范围广,计算效率高,能对网络运营能力资源数据进行动态分析,提高了网络运营能力分析的速度和精度,为后续网络规划提供参考。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络运营能力分析方法整体流程示意图;
图2为本发明实施例提供的网络运营能力分析装置整体结构示意图;
图3为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的一个实施例中提供一种网络运营能力分析方法,图1为本发明实施例提供的网络运营能力分析方法整体流程示意图,该方法包括:S101,将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;
其中,预设周期为预先设定的数据采集周期,如以一周或一个月为一个周期。目标网络为需要进行运营能力分析的网络。对网络的运营能力进行分析涉及到一个或多个分析指标,如OBD设备端子占用情况。根据实际需要和预设周期,如每周一次或每月一次,将目标网络运营能力各分析指标的历史资源数据进行采集和留存,将各分析指标的历史资源数据加载到Hadoop HBase数据库中,并向应用层开放详单实时查询接口。在时间维度,将各分析指标每个周期的历史资源数据作为一个切片数据,将历史资源数据以切片方式存储到HBase数据库中是指按照各分析指标的切片数据的采集时间,将每个周期的切片数据存储到大数据底层HBase之中,从而确保提取数据的效率。
S102,在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;
在HBase数据库中由于要存储大量的、不同时间的切片数据,所以需要对原有统计分析和明细进行数据转储,增加必要的维度定义,便于后续计算时的数据提取。在HBase数据库中对于多个切片数据进行数据转储,支持抽象网络基础数据,将原始切片数据转化成设备关键信息进行数据转储。根据留存数据明细的转储数据进行抽象,将可以进行分析的维度进行定义,便于灵活选取分析。
S103,根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。
应用层提供基于Spark计算资源与能力,实现对于选定的两个切片化网络资源存量数据,基于RDD(Resilient Distributed Datesets,弹性分布式数据集)方法完成面向业务应用的复杂运算,通过大数据计算能力快速实现两个切片源数据的比较分析。RDD用于实现对数据的底层处理,进而实现应用层的数据比对功能。RDD是一个抽象的数据集,提供对数据并行和容错的处理。同时,RDD还提供了一组丰富的操作来操作这些数据。在这些操作中,诸如map、flatMap、filter等转换操作实现了monad模式,很好地契合了Scala的集合操作。除此之外,RDD还提供了诸如join、groupBy、reduceByKey等更为方便的操作,以支持常见的数据运算。
通过Spark大数据平台架构实现了原有关系型数据库难以实现的对大量分析数据进行快速分析,直接提供分析结果,充分利用,Spark大数据平台内存计算的优点,将原始的切片化网络运营能力分析的切片数据通过数据抽取、转储、读取、内存计算、加载等步骤实现。Spark的内存计算方式提升分析脚本的执行效率。
此外,在应用展示层面可以提供切片数据的比对分析、趋势分析、意外分析等功能,采取实时分析方式直接提取选择的历史切片数据,由于比对分析的范围和对象是支持多种复杂组合变化的,分析结果只用来当次展示,可以在展示库进行结果展示,并不在底层数据存储层留存比较分析的历史结果,避免数据库几何级增长。充分利用大数据内存计算和实时分析的优势,根据使用者随机选择的任意两个切片化数据进行比对分析,实时提供分析结果。
本实施例使得网络规划更加有目的性,通过对重点网络运营能力资源数据进行动态分析,可以准确地掌握前期规划的网络业务发展情况,为后续光网络规划提供重要参考;避免网络规划投资的盲目性,通过多个时间段对各个区域光网络发展比对分析,发现网络建设周期与市场发展周期的变化规律,合理预估后续网络投资,避免原有拍脑袋投资的盲目性;提升网络资源入库的及时率和准确性,避免数据造假。通过切片化明细数据的保留,使得数据真实性一目了然,如果有作假的情况则通过数据异常波动很直观的可以快速发现,促进了资源入库的及时率和准确性。
本实施例通过将运营商关注的网络运营能力分析指标的历史资源数据以切片化方式存储到Hadoop HBase中,并在Hadoop HBase中进行转储,存取数据多,且提取效率高;应用层基于Spark中的RDD方法完成面向业务应用的复杂运算,通过大数据计算能力快速实现任意两个切片数据的比较分析,分析范围广,计算效率高,能对网络运营能力资源数据进行动态分析,提高了网络运营能力分析的速度和精度,为后续网络规划提供参考。
在上述实施例的基础上,本实施例中所述历史资源数据包括静态分析统计结果和明细数据。
具体地,静态分析是相对于动态分析而言的,静态分析的结果为原有的分析报表,这类报表的特点是周期性从生产系统采集分析用的关键主数据,通过复杂的相关算法形成网络分析的初步数据。本实施例中对各分析指标的历史明细数据进行静态分析,获取静态分析统计结果。历史资源数据包括静态分析统计结果和各分析指标的历史明细数据。而动态分析是根据静态分析中产生的统计结果和历史明细数据进行二次加工,形成对网络能力动态变化的分析结果。相应地,切片存储结果可以理解为某一时间点的静态分析结果和历史明细数据。例如,对于OBD设备端子占用情况,切片化存储的结果为每周期提取的一次统计结果,每周期提取的静态统计结果和采集的历史明细数据为切片数据。
在上述实施例的基础上,本实施例中将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中的步骤具体包括:将预先存储在关系型数据库中的历史资源数据抽取到HBase数据库中进行存储。
具体地,将原有存储在关系型数据库中的静态分析统计结果及明细数据抽取到HBase大数据平台。例如,将OBD设备端子统计分析结果和明显数据抽取到HBase数据库中进行存储。
在上述实施例的基础上,本实施例中根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果的步骤具体包括:根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行底层处理;基于Spark SQL中的内存计算方法,将预设网络运营能力分析算法转换成Spark SQL脚本;基于所述Spark SQL脚本对底层处理后的所述两个切片数据进行分析,获取所述两个切片数据所属分析指标的分析结果。
具体地,基于Spark计算资源与能力进行内存计算,利用大数据技术实现对切片化数据的快速检索和实时分析,将复杂的网络运营能力分析算法转换成Spark SQL脚本,通过大数据RDD技术实现快速计算。利用Spark SQL提供的内存计算,将预设网络能力分析算法转换成Spark SQL脚本,实现大数据场景下网络运营能力分析结果的快速计算。本实施例不限于预设网络能力分析算法的种类。对Spark SQL的分析结果提供临时存储。
在上述实施例的基础上,本实施例中基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果的步骤具体包括:基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述目标网络中的新增设备、删除设备、扩容设备和减容设备;根据所述目标网络中的新增设备、删除设备、扩容设备和减容设备对所述两个切片数据进行统计分析,获取所述两个切片数据所属分析指标的分析结果。
具体地,针对网络运营设备入网、退网、扩容和减容进行对应分析,从而为通讯运营商的网络规划、市场发展方向提供准确的参考数据,避免投资的盲目性,从而提升企业内部管理水平。为了细分统计分类,将比较分析结果按照新增、删除、扩容、减容四大分类细化统计分析,从而对设备入网、退网、扩容和减容的细化分类分析,实现对网络运营能力的精准分类统计和网络资源动态变化情况的细分展现例如,仍然以前面2018年1月OBD设备端子和2018年12月OBD设备端子比较案例来分析,如果我留存了2018年1月OBD设备明细数据和2018年12月OBD设备明细数据,在进行比较分析时,就会形成两个切片数据的差异分析,包含新增、删除、扩容、减容四类情况。此时,扩容+减容两部分数据之和为2018年1月入网,到2018年12月仍然在网的设备端子变化情况,可以据此统计出这批设备建设后业务发展情况,从而判断出网络规划的合理性,为运营商网络建设提供指导意见。
在上述实施例的基础上,本实施例中基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果的步骤具体包括:根据用户选择的分析条件,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果;其中所述分析条件包括地市、区县、对比项、是否代理、起始批次、终止批次和接入方式中的一种或多种。
具体地,用户可以选择地市、区县等不同数据范围维度进行分析;可以选择OBD设备应用的接入方式为FTTH或FTTB维度进行分析;可以选择针对OBD设备总容量、实占容量等属性维度进行分析;还可以按照OBD设备产权归属是代理商或非代理商进行分析。比对分析条件选择,支持使用者按照所需要的分析维度,选择地市、区域、比对项、是否代理、起始批次、终止批次和接入方式等条件,通过条件组合形成不同的分析结果,满足不同层面用户的分析需求。
其中,地市选项支持用户选择全部地市、各省份和各具体地市,多种范围维度满足省级、市级范围的分析展现。区域选项支持用户在选择具体地市后,具体确定选中区域进行区域级范围的分析展现。比对项针对设备的关键属性,支持对于一种设备可以按照多个比对项分别生成比对结果,包括设备的容量和实占容量。是否代理选项为了便于使用者进行筛选过滤,可以通过该选项过滤是否是代理商管理的设备,形成代理商和非代理商的不同分析结果。起始批次选项为需要分享的两个切片数据中采集较早的切片数据,通过批次的概念便于使用者了解该切片数据的采集时间。终止批次选项为需要分享的两个切片数据中采集较晚的切片数据,通过使用者人工选择确定分析针对的具体对象。接入方式选项是针对设备的使用场景划分,通过对于所接入的具体用户的分类确定,从而针对性的对设备进行细化分类。
在选择好比对分析条件之后,点击分析按钮,通过应用界面即可实时查看比对分析结果,包括哪些是新增设备、哪些是删除设备、哪些设备容量增加、哪些设备容量减少,直观地给出比对明细,并提供相应的统计结果。
在本发明的另一个实施例中提供一种网络运营能力分析装置,该装置用于实现前述各实施例中的方法。因此,在前述网络运营能力分析方法的各实施例中的描述和定义,可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的网络运营能力分析装置整体结构示意图,该装置包括存储模块201、转储模块202和分析模块203;其中:
存储模块201用于将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;
其中,预设周期为预先设定的数据采集周期。目标网络为需要进行运营能力分析的网络。对网络的运营能力进行分析涉及到一个或多个分析指标。存储模块201根据实际需要和预设周期,将目标网络运营能力各分析指标的历史资源数据进行采集和留存,将各分析指标的历史资源数据加载到Hadoop HBase数据库中,并向应用层开放详单实时查询接口。在时间维度,将各分析指标每个周期的历史资源数据作为一个切片数据,将历史资源数据以切片方式存储到HBase数据库中是指按照各分析指标的切片数据的采集时间,将每个周期的切片数据存储到大数据底层HBase之中,从而确保提取数据的效率。
转储模块202用于在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;
在HBase数据库中由于要存储大量的、不同时间的切片数据,所以需要对原有统计分析和明细进行数据转储,增加必要的维度定义,便于后续计算时的数据提取。转储模块202在HBase数据库中对于多个切片数据进行数据转储,支持抽象网络基础数据,将原始切片数据转化成设备关键信息进行数据转储。根据留存数据明细的转储数据进行抽象,将可以进行分析的维度进行定义,便于灵活选取分析。
分析模块203用于根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。
应用层提供基于Spark计算资源与能力,实现对于选定的两个切片化网络资源存量数据。分析模块203基于RDD方法完成面向业务应用的复杂运算,通过大数据计算能力快速实现两个切片源数据的比较分析。RDD用于实现对数据的底层处理,进而实现应用层的数据比对功能。RDD是一个抽象的数据集,提供对数据并行和容错的处理。同时,RDD还提供了一组丰富的操作来操作这些数据。在这些操作中,诸如map、flatMap、filter等转换操作实现了monad模式,很好地契合了Scala的集合操作。除此之外,RDD还提供了诸如join、groupBy、reduceByKey等更为方便的操作,以支持常见的数据运算。Spark的内存计算方式提升分析脚本的执行效率。
此外,在应用展示层面可以提供切片数据的比对分析、趋势分析、意外分析等功能,采取实时分析方式直接提取选择的历史切片数据,由于比对分析的范围和对象是支持多种复杂组合变化的,分析结果只用来当次展示,可以在展示库进行结果展示,并不在底层数据存储层留存比较分析的历史结果,避免数据库几何级增长。充分利用大数据内存计算和实时分析的优势,根据使用者随机选择的任意两个切片化数据进行比对分析,实时提供分析结果。
本实施例通过将运营商关注的网络运营能力分析指标的历史资源数据以切片化方式存储到Hadoop HBase中,并在Hadoop HBase中进行转储,存取数据多,且提取效率高;应用层基于Spark中的RDD方法完成面向业务应用的复杂运算,通过大数据计算能力快速实现任意两个切片数据的比较分析,分析范围广,计算效率高,能对网络运营能力资源数据进行动态分析,提高了网络运营能力分析的速度和精度,为后续网络规划提供参考。
在上述实施例的基础上,本实施例中所述历史资源数据包括静态分析统计结果和明细数据。
在上述实施例的基础上,本实施例中存储模块具体用于:将预先存储在关系型数据库中的历史资源数据抽取到HBase数据库中进行存储。
在上述实施例的基础上,本实施例中分析模块具体用于:根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行底层处理;基于Spark SQL中的内存计算方法,将预设网络运营能力分析算法转换成Spark SQL脚本;基于所述Spark SQL脚本对底层处理后的所述两个切片数据进行分析,获取所述两个切片数据所属分析指标的分析结果。
在上述实施例的基础上,本实施例中分析模块具体用于:基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述目标网络中的新增设备、删除设备、扩容设备和减容设备;根据所述目标网络中的新增设备、删除设备、扩容设备和减容设备对所述两个切片数据进行统计分析,获取所述两个切片数据所属分析指标的分析结果。
在上述实施例的基础上,本实施例中分析模块具体用于:根据用户选择的分析条件,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果;其中所述分析条件包括地市、区县、对比项、是否代理、起始批次、终止批次和接入方式中的一种或多种。
本实施例提供一种电子设备,图3为本发明实施例提供的电子设备整体结构示意图,该设备包括:至少一个处理器301、至少一个存储器302和总线303;其中,
处理器301和存储器302通过总线303完成相互间的通信;
存储器302存储有可被处理器301执行的程序指令,处理器调用程序指令能够执行上述各方法实施例所提供的方法,例如包括:将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。
本实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的方法,例如包括:将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种网络运营能力分析方法,其特征在于,包括:
将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;
在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;
根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。
2.根据权利要求1所述的方法,其特征在于,所述历史资源数据包括静态分析统计结果和明细数据。
3.根据权利要求1所述的方法,其特征在于,将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中的步骤具体包括:
将预先存储在关系型数据库中的历史资源数据抽取到HBase数据库中进行存储。
4.根据权利要求1所述的方法,其特征在于,根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果的步骤具体包括:
根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行底层处理;
基于Spark SQL中的内存计算方法,将预设网络运营能力分析算法转换成Spark SQL脚本;
基于所述Spark SQL脚本对底层处理后的所述两个切片数据进行分析,获取所述两个切片数据所属分析指标的分析结果。
5.根据权利要求1所述的方法,其特征在于,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果的步骤具体包括:
基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述目标网络中的新增设备、删除设备、扩容设备和减容设备;
根据所述目标网络中的新增设备、删除设备、扩容设备和减容设备对所述两个切片数据进行统计分析,获取所述两个切片数据所属分析指标的分析结果。
6.根据权利要求1所述的方法,其特征在于,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果的步骤具体包括:
根据用户选择的分析条件,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果;
其中所述分析条件包括地市、区县、对比项、是否代理、起始批次、终止批次和接入方式中的一种或多种。
7.一种网络运营能力分析装置,其特征在于,包括:
存储模块,用于将按照预设周期采集的目标网络运营能力各分析指标的历史资源数据以切片方式存储到HBase数据库中;其中,将各所述分析指标每个周期的历史资源数据作为一个切片数据;
转储模块,用于在所述HBase数据库中对各所述分析指标的切片数据进行转储,定义各所述切片数据的分析维度;
分析模块,用于根据用户选择的任一分析指标中两个切片数据的分析维度,基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述两个切片数据所属分析指标的分析结果。
8.根据权利要求7所述的装置,其特征在于,分析模块具体用于:
基于Spark平台中的RDD对所述两个切片数据进行比较分析,获取所述目标网络中的新增设备、删除设备、扩容设备和减容设备;
根据所述目标网络中的新增设备、删除设备、扩容设备和减容设备对所述两个切片数据进行统计分析,获取所述两个切片数据所属分析指标的分析结果。
9.一种电子设备,其特征在于,包括:
至少一个处理器、至少一个存储器和总线;其中,
所述处理器和存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811594709.3A CN109617734B (zh) | 2018-12-25 | 2018-12-25 | 网络运营能力分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811594709.3A CN109617734B (zh) | 2018-12-25 | 2018-12-25 | 网络运营能力分析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109617734A true CN109617734A (zh) | 2019-04-12 |
CN109617734B CN109617734B (zh) | 2021-12-07 |
Family
ID=66011306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811594709.3A Active CN109617734B (zh) | 2018-12-25 | 2018-12-25 | 网络运营能力分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109617734B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125440A (zh) * | 2019-12-09 | 2020-05-08 | 重庆邮电大学 | 一种基于Monad的持久层复合条件查询方法与存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105139281A (zh) * | 2015-08-20 | 2015-12-09 | 北京中电普华信息技术有限公司 | 一种电力营销大数据的处理方法及系统 |
CN105205085A (zh) * | 2014-06-30 | 2015-12-30 | 中兴通讯股份有限公司 | 一种海量数据的多维分析方法及装置 |
CN105243155A (zh) * | 2015-10-29 | 2016-01-13 | 贵州电网有限责任公司电力调度控制中心 | 一种大数据抽取和交换系统 |
CN105376110A (zh) * | 2015-10-26 | 2016-03-02 | 上海华讯网络系统有限公司 | 以大数据流式技术实现网络数据包的分析方法及系统 |
CN106375323A (zh) * | 2016-09-09 | 2017-02-01 | 浪潮软件股份有限公司 | 一种多租户模式下kerberos身份认证的方法 |
CN106547882A (zh) * | 2016-11-03 | 2017-03-29 | 国网重庆市电力公司电力科学研究院 | 一种智能电网中营销大数据的实时处理方法及系统 |
CN107229676A (zh) * | 2017-05-02 | 2017-10-03 | 国网山东省电力公司 | 基于大数据的分布式视频切割模型及应用 |
CN107864222A (zh) * | 2017-12-14 | 2018-03-30 | 北京航天测控技术有限公司 | 一种基于PaaS平台的工业大数据计算架构 |
CN107918600A (zh) * | 2017-11-15 | 2018-04-17 | 泰康保险集团股份有限公司 | 报表开发系统及方法、存储介质和电子设备 |
CN108536808A (zh) * | 2018-04-04 | 2018-09-14 | 国家计算机网络与信息安全管理中心 | 一种基于Spark计算框架的数据获取方法和装置 |
CN108768741A (zh) * | 2018-06-08 | 2018-11-06 | 上海新炬网络技术有限公司 | 一种基于大数据的网管数据互联系统 |
-
2018
- 2018-12-25 CN CN201811594709.3A patent/CN109617734B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205085A (zh) * | 2014-06-30 | 2015-12-30 | 中兴通讯股份有限公司 | 一种海量数据的多维分析方法及装置 |
CN105139281A (zh) * | 2015-08-20 | 2015-12-09 | 北京中电普华信息技术有限公司 | 一种电力营销大数据的处理方法及系统 |
CN105376110A (zh) * | 2015-10-26 | 2016-03-02 | 上海华讯网络系统有限公司 | 以大数据流式技术实现网络数据包的分析方法及系统 |
CN105243155A (zh) * | 2015-10-29 | 2016-01-13 | 贵州电网有限责任公司电力调度控制中心 | 一种大数据抽取和交换系统 |
CN106375323A (zh) * | 2016-09-09 | 2017-02-01 | 浪潮软件股份有限公司 | 一种多租户模式下kerberos身份认证的方法 |
CN106547882A (zh) * | 2016-11-03 | 2017-03-29 | 国网重庆市电力公司电力科学研究院 | 一种智能电网中营销大数据的实时处理方法及系统 |
CN107229676A (zh) * | 2017-05-02 | 2017-10-03 | 国网山东省电力公司 | 基于大数据的分布式视频切割模型及应用 |
CN107918600A (zh) * | 2017-11-15 | 2018-04-17 | 泰康保险集团股份有限公司 | 报表开发系统及方法、存储介质和电子设备 |
CN107864222A (zh) * | 2017-12-14 | 2018-03-30 | 北京航天测控技术有限公司 | 一种基于PaaS平台的工业大数据计算架构 |
CN108536808A (zh) * | 2018-04-04 | 2018-09-14 | 国家计算机网络与信息安全管理中心 | 一种基于Spark计算框架的数据获取方法和装置 |
CN108768741A (zh) * | 2018-06-08 | 2018-11-06 | 上海新炬网络技术有限公司 | 一种基于大数据的网管数据互联系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125440A (zh) * | 2019-12-09 | 2020-05-08 | 重庆邮电大学 | 一种基于Monad的持久层复合条件查询方法与存储介质 |
CN111125440B (zh) * | 2019-12-09 | 2022-08-23 | 重庆邮电大学 | 一种基于Monad的持久层复合条件查询方法与存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109617734B (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11250250B2 (en) | Pedestrian retrieval method and apparatus | |
CN113849702B (zh) | 一种确定目标数据的方法、装置、电子设备及存储介质 | |
CN113099475B (zh) | 网络质量检测方法、装置、电子设备及可读存储介质 | |
CN116308824A (zh) | 基于知识图谱的团伙欺诈风险识别方法及相关设备 | |
US20170053206A1 (en) | Methods and systems for identifying and prioritizing insights from hidden patterns | |
CN112463859B (zh) | 基于大数据和业务分析的用户数据处理方法及服务器 | |
CN115269677A (zh) | 一种多维度数据分析方法、装置、设备及计算机程序产品 | |
CN109617734B (zh) | 网络运营能力分析方法及装置 | |
CN108243046A (zh) | 一种基于数据稽核的业务质量评估方法及装置 | |
CN117150138B (zh) | 一种基于高维空间映射的科技资源组织方法及系统 | |
CN110502529B (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN117633249A (zh) | 面向SDGs空间型监测指标的基本变量构建方法及装置 | |
CN117437001A (zh) | 目标对象的指标数据处理方法、装置及计算机设备 | |
CN117033181A (zh) | 一种测试用例生成的方法、装置及设备 | |
CN114547406A (zh) | 数据监控方法、系统、存储介质及电子装置 | |
CN110955760A (zh) | 判决结果的评价方法和相关装置 | |
CN113868141A (zh) | 数据测试方法、装置、电子设备及存储介质 | |
CN113760863A (zh) | 数据库的配置方法、装置、计算机设备和可读存储介质 | |
CN112100294A (zh) | 一种面向网络平台的用户关系分析方法、装置及相关设备 | |
CN114169004B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
Brešić | Knowledge acquisition in databases | |
CN117421297B (zh) | 一种分布式数据库动态分区表统计信息收集方法 | |
CN115878439B (zh) | 系统性能瓶颈定位方法、装置、电子设备及存储介质 | |
CN111752984B (zh) | 一种信息处理方法、装置和存储介质 | |
CN116257658A (zh) | 用户行为链路图显示方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |