CN111459944B - 一种mr数据存储方法、装置、服务器及存储介质 - Google Patents

一种mr数据存储方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111459944B
CN111459944B CN202010263537.2A CN202010263537A CN111459944B CN 111459944 B CN111459944 B CN 111459944B CN 202010263537 A CN202010263537 A CN 202010263537A CN 111459944 B CN111459944 B CN 111459944B
Authority
CN
China
Prior art keywords
data
tables
generate
unified
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010263537.2A
Other languages
English (en)
Other versions
CN111459944A (zh
Inventor
林昀
刘亮
向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hongshan Information Technology Research Institute Co Ltd
Original Assignee
Beijing Hongshan Information Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hongshan Information Technology Research Institute Co Ltd filed Critical Beijing Hongshan Information Technology Research Institute Co Ltd
Priority to CN202010263537.2A priority Critical patent/CN111459944B/zh
Publication of CN111459944A publication Critical patent/CN111459944A/zh
Application granted granted Critical
Publication of CN111459944B publication Critical patent/CN111459944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种MR数据存储方法、装置、服务器及存储介质，该方法包括:获取基站的MR数据；对所述MR数据进行解压及解析生成多个入库表；对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。本发明的技术方案实现计算结果复用，极大地降低存储和计算成本效果。

Description

一种MR数据存储方法、装置、服务器及存储介质
技术领域
本发明实施例涉及MR数据存储技术，尤其涉及一种MR数据存储方法、装置、服务器及存储介质。
背景技术
随着运营商优化支出的急剧减少，网络规模的日渐增大，网络结构的日趋复杂，用户服务及维权意识的逐步回归，传统的网络优化及评估、用户投诉定位及处理的方法及思路已经无法满足现实需求，而现有技术中MR数据存储存在不必要的数据冗余，占用存储空间和计算资源。
发明内容
本发明提供一种MR数据存储方法、装置、服务器及存储介质，以实现计算结果复用，极大地降低存储和计算成本效果。
第一方面，本发明实施例提供了一种MR数据存储方法，包括：
获取基站的MR数据；
对所述MR数据进行解压及解析生成多个入库表；
对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；
基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；
根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；
基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。
第二方面，本发明实施例还提供了一种MR数据存储装置，包括：
MR数据获取模块，用于获取基站的MR数据；
入库表生成模块，用于对所述MR数据进行解压及解析生成多个入库表；
统一表生成模块，用于对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；
宽表生成模块，用于基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；
维度表查看模块，用于根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；
业务表存储模块，用于基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。
第三方面，本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的MR数据存储方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的MR数据存储方法。
本发明的技术方案通过获取基站的MR数据；对所述MR数据进行解压及解析生成多个入库表；对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群，解决了现有MR数据存储存在数据冗余的问题，达到了实现计算结果复用，极大地降低存储和计算成本效果。
附图说明
图1是本发明实施例一中的MR数据存储方法的流程图。
图2是本发明实施例二中的MR数据存储方法的流程图。
图3是本发明实施例三中的MR数据存储装置的结构示意图。
图4是本发明实施例四中的服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一速度差值为第二速度差值，且类似地，可将第二速度差值称为第一速度差值。第一速度差值和第二速度差值两者都是速度差值，但其不是同一速度差值。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的MR数据存储方法的流程图，本实施例可适用于MR数据存储情况，该方法具体包括如下步骤：
S110、获取基站的MR数据。
本实施例中，MR数据是指信息在业务信道上每480ms(信令信道上470ms)发送一次数据，其来源于真实用户的感知，通过全网大量用户上报的MR数据分析，不仅可以分析网络质量，解决网络深度覆盖等问题，还能分析用户感知，对用户体验进行优化。本实施例的无线MR数据采集根据中国电信自有采集系统相关规范，各个厂家通过MR采集服务器从各自厂商的基站采集MR周期测量报告数据，通过OMC厂商的交换机按照对应厂商的格式输出无线MR数据至省统一采集平台网关，数据通过防火墙，以FTP方式传送到建设方机房的运营商数据处理系统。本实施例的数据以带标签的XML文件格式压缩包方式提供，压缩包命名规则为：
厂商英文缩写_省份英文缩写_对应服务器ID-mr-服务器IP-开始时间-结束时间-文件生成时间-编号.压缩后缀。
示例如下：
ZX_SC_OMC1-mr-133.38.4.58-20190417100000-20190417102408-20190417102417-001.gz
HW_SC_OMC1-mr-133.38.4.94-201904171000-20190417101523-20190417101540-001.gz
NK_SC_OMC1-mr-133.38.16.89-201904171000-20190417102306-20190417102308-001.gz
ER_SC_OMC1-mr-133.38.23.10-20190417100000-20190417103318-20190417103322-MRS.gz
解压后，每个基站应包括3个文件：MRO、MRE、MRS。不同数据源厂商提供的MR数据文件命名格式有所不同。
S120、对所述MR数据进行解压及解析生成多个入库表。
本实施例将MR数据通过HADOOP平台，利用大数据平台的分布式文件系统、任务调度管理进程，极大的提高了MR数据分析的效率，实现MR数据点和线层面的覆盖及干扰情况分析。HADOOP是一个分布式系统基础架构，实现了一个分布式文件系统(HadoopDistributed File System，HDFS)。因为不同设备商，即使是同一类型的MR数据，其字段数量和类型也有差异，为了在数据缓冲层最大限度的保留原始数据，除了对原始上报数据解压解析进行xml文件转csv或txt格式结构化外，暂不对各个设备商上报的数据内容做任何处理。本实施例可以将采集转换的XML文件使用HDFS分布存储，解决海量MR数据存储的问题。在MR网络质量分析、MR干扰分析、MR黑点分析等过程中，使用HADOOP的分布式调度管理进程，实现MR分析算法的分布式处理，达到快速完成MR指标分析的目标。在数据入库时，为不同OMC厂商不同业务类型数据设计一一对应的入库表，最大限度的保留了原始数据的内容，也方便后续数据的处理。本实施例中，XML文件的命名规范为：采集后的命名规范为：
制式-LTE_MR类型_厂商名_对应服务器ID_基站id.压缩后缀。
示例如下：
FDD-LTE_MRO_HUAWEI_179706_20190602051500.xml
FDD-LTE_MRE_HUAWEI_179706_20190602051500.xml
FDD-LTE_MRS_HUAWEI_179706_20190602051500.xml
S130、对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段。
本实施例中，关键字段可以为MR数据预设标签中的基站ID、小区ID、MR上报时间、生成MR记录的开始时刻时间戳或生成MR记录的结束时刻时间戳等。MR数据为各个基站的厂商根据各自的格式规范生成的数据，因此有必要将各个基站厂商上报的数据格式统一，同一数据源异厂商融合为一张统一表，以分区进行异厂商区分，目的是为了后续数据统一处理做相应的适配。示例性的，将文件名称带有MRO、MRS、MRE的数据分别由一张表划分。
S140、基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签。
本实施例中，将不同数据源，不同DWD统一表通过关键字段进行关联整合，形成业务宽表，目的是为了简化后续业务统一处理。示例性的，关键字段可以为基站ID，即基于相同的基站ID将MRO、MRS、MRE三张统一表联合起来形成一张宽表。不同业务需求只需要从固定少数的DWI宽表中获取数据即可。
S150、根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看。
本实施例可以根据用户选择的维度要求，选择宽表中数据携带的预设标签中相应维度要求的数据进行汇集统计生成维度表，将该维度表存储至spark大数据集群中，用户可以随时查看，随时获取所需信息。本实施也可以针对一些常用的业务单元汇聚维度，例如基站级维度，小区级维度，领区级维度，prb资源块级维度的数据进行汇集统计，沉淀积累了一些业务上的公共数据模型，为方便后续业务数据处理。
S160、基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。
本实施例中，业务表为直接面向业务进行高度的汇总统计业务计算，其中包括rsrp、rsrq、pci、enode邻区信息等业务计算。本实施例可以将上述的维度表根据预设计算规则进行业务计算，示例性的，可以计算数据量的变化、数据的准确性等，将计算结果汇总成业务表存储到spark大数据集群。
本发明实施例的技术方案通过获取基站的MR数据；对所述MR数据进行解压及解析生成多个入库表；对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群，解决了现有MR数据存储存在数据冗余的问题，达到了实现计算结果复用，极大地降低存储和计算成本效果。
实施例二
图2为本发明实施例二提供的MR数据存储方法的流程图，本实施例在上述实施例的基础上进一步优化，该方法具体包括：
S210、获取基站的MR数据。
本实施例的无线MR数据采集根据中国电信自有采集系统相关规范，各个厂家通过MR采集服务器从各自厂商的基站采集MR周期测量报告数据，通过OMC厂商的交换机按照对应厂商的格式输出无线MR数据至省统一采集平台网关，数据通过防火墙，以FTP方式传送到建设方机房的运营商数据处理系统。
S220、对所述MR数据进行解压及解析生成多个入库表。
本实施例中，因为不同设备商，即使是同一类型的MR数据，其字段数量和类型也有差异，为了在数据缓冲层最大限度的保留原始数据，除了对原始上报数据解压解析进行xml文件转csv或txt格式结构化外，暂不对各个设备商上报的数据内容做任何处理。进一步的，所述对所述MR数据进行解压及解析生成多个入库表包括：将所述MR数据解压生成多个XML文件；对所述多个XML文件进行解析生成多个入库表并存储在spark大数据集群。
本实施例将原始格式为zip\tar的MR数据文件解压缩为原始的XML文件，可以调用JAVA算法将XML文件解析成csv或txt文件，以方便将数据统计成入库表存储在spark大数据集群中。进一步的，所述对所述MR数据进行解压及解析生成多个入库表包括：基于所述MR数据的文件名对预设时间段内的所述MR数据进行粒度数据推送，所述文件名包括时间标识；基于下一个所述粒度数据推送的开始信号对上一个所述粒度数据推送的所述MR数据进行解压及解析生成多个入库表。
本实施例中，预设时间段为数据的批量处理周期,示例性的,数据批量处理的每次处理周期为15min，将原始的压缩文件根据文件名时间标识推送到Hadoop集群对应的时间粒度目录中，以15min为一个时间粒度建立对应的文件夹，当下一个粒度数据开始推送时，认为上一个粒度的数据推送完毕，以此信号作为任务启动条件，开始对上一个粒度的文件进行处理，利用大数据集群计算资源对文件进行解压解析并入库。
如果仅仅是以文件名标识的时间作为数据时间的依据进行对应时间粒度目录推送是有问题的，因为厂商在生成数据包的时候会将非粒度下的数据混入到本粒度数据包中。为了将这部分数据筛选并放入到正确的时间目录中，可以通过动态分区的方式进行数据时间校正，具体方法如下：先用文件名标识的时间把数据包分发到对应时间粒度的文件夹中进行入库，此时对应时间粒度的文件夹中存放的数据并非都是本粒度的数据时间。入库后通过数据中时间字段进行第二次分发，将每条数据按时间字段进行逐条处理分发到对应的时间粒度的文件夹中。
S230、对所述多个入库表进行基于无效字段的数据清洗和基于有效字段的含义统一。
S240、对所述数据清洗和所述含义统一后的所述多个入库表进行格式统一以生成所述多个统一表。
本实施例中，无效字段为数据仓库的外部数据源所提供的数据内容并不完美，存在“脏数据”，及数据有空缺或噪音等缺陷。含义统一是为了使数据的记录实例匹配和合并变得更方便，需要把属性值转换成一个一致和统一的格式。为了使数据仓库中的记录更准确、一致，消除重复和异常记录就变得很重要，数据清洗作为数据处理的一个环节，在数据仓库创建过程中占据重要位置。进一步的，所述统一表与数据类型一一对应，所述统一表中的数据根据厂商类型分区存储，所述数据类型为所述MR数据的文件类型。
本实施例中，入库表的数据根据数据类型划分为文件名称带有MRO、MRS、MRE的统一表，在统一表中以分区的形式对不同OMC设备厂商的数据进行区分存储，方便数据溯源。
S250、根据预设业务要求从所述多个统一表中挑选出所述关键字段。
本实施例中，业务要求为MR数据处理常用的查询需要，基于该查询需要查询统一表的数据中统一的字段，确定为关键字段。
S260、根据所述关键字段对所述多个统一表进行关联整合生成所述宽表。
本实施例中，将不同数据源，不同DWD统一表通过关键字段进行关联整合，形成业务宽表，目的是为了简化后续业务统一处理。
S270、根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看。
本实施例可以根据用户选择的维度要求，选择宽表中数据携带的预设标签中相应维度要求的数据进行汇集统计生成维度表，将该维度表存储至spark大数据集群中，用户可以随时查看，随时获取所需信息。进一步的，所述根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看包括：根据用户对配置维度字段的操作生成相应算法；基于所述预设标签和所述相应算法对所述宽表进行汇集统计生成所述维度表以供用户查看。
本实施例中，MR数据上传时携带关于MR数据来源的预设标签，示例性的，预设标签包括基站ID、小区ID、MR上报时间、生成MR记录的开始时刻时间戳或生成MR记录的结束时刻时间戳等。配置维度字段为操作页面上的一些选择控件，用户可以拖动或者选择任意数量控件作为业务需求，根据用户需求例如查询单独针对基站维度或者针对基站和MR上报时间，此处不作限制，生成相应算法，再基于预设标签构造维度表给用户查看。
S280、基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。
本实施例可以将上述的维度表根据预设计算规则进行业务计算，示例性的，可以计算数据量的变化、数据的准确性等，将计算结果汇总成业务表存储到spark大数据集群。
本发明实施例的技术方案，通过获取基站的MR数据；对所述MR数据进行解压及解析生成多个入库表；对所述多个入库表进行基于无效字段的数据清洗和基于有效字段的含义统一；对所述数据清洗和所述含义统一后的所述多个入库表进行格式统一以生成所述多个统一表；根据预设业务要求从所述多个统一表中挑选出所述关键字段；根据所述关键字段对所述多个统一表进行关联整合生成所述宽表；根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群，达到了规范数据分层和减少极大的重复计算效果。
实施例三
图3所示为本发明实施例三提供的MR数据存储装置300的结构示意图，本实施例可适用于MR数据存储情况，具体结构如下：
MR数据获取模块310，用于获取基站的MR数据；
入库表生成模块320，用于对所述MR数据进行解压及解析生成多个入库表；
统一表生成模块330，用于对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；
宽表生成模块340，用于基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；
维度表查看模块350，用于根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；
业务表存储模块360，用于基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。
进一步的，入库表生成模块320包括解压单元和解析单元，
解压单元用于将所述MR数据解压生成多个XML文件；
解析单元用于对所述多个XML文件进行解析生成多个入库表并存储在spark大数据集群。
进一步的，统一表生成模块330包括数据清洗单元和格式统一单元，
数据清洗单元用于对所述多个入库表进行基于无效字段的数据清洗和基于有效字段的含义统一；
格式统一单元用于对所述数据清洗和所述含义统一后的所述多个入库表进行格式统一以生成所述多个统一表。
进一步的，所述统一表与数据类型一一对应，所述统一表中的数据根据厂商类型分区存储，所述数据类型为所述MR数据的文件类型。
进一步的，宽表生成模块340包括关键字段挑选单元和宽表生成单元，
关键字段挑选单元用于根据预设业务要求从所述多个统一表中挑选出所述关键字段；
宽表生成单元用于根据所述关键字段对所述多个统一表进行关联整合生成所述宽表。
进一步的，维度表查看模块350包括算法生成单元和维度表生成单元，
算法生成单元用于根据用户对配置维度字段的操作生成相应算法；
维度表生成单元用于基于所述预设标签和所述相应算法对所述宽表进行汇集统计生成所述维度表以供用户查看。
进一步的，入库表生成模块320还包括粒度推送单元和解压解析单元，
粒度推送单元用于基于所述MR数据的文件名对预设时间段内的所述MR数据进行粒度数据推送，所述文件名包括时间标识；
解压解析单元用于基于下一个所述粒度数据推送的开始信号对上一个所述粒度数据推送的所述MR数据进行解压及解析生成多个入库表。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器412的框图。图4显示的服务器412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，服务器412以通用服务器的形式表现。服务器412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
服务器412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。终端412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
服务器412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该服务器412交互的终端通信，和/或与使得该服务器412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，服务器412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide AreaNetwork，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器420通过总线418与服务器412的其它模块通信。应当明白，尽管图中未示出，可以结合服务器412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种MR数据存储方法，该方法可以包括：
获取基站的MR数据；
对所述MR数据进行解压及解析生成多个入库表；
对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；
基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；
根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；
基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种MR数据存储方法，该方法可以包括：
获取基站的MR数据；
对所述MR数据进行解压及解析生成多个入库表；
对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；
基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；
根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；
基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种MR数据存储方法，其特征在于，包括：
获取基站的MR数据；
对所述MR数据进行解压及解析生成多个入库表；
对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；
根据预设业务要求从所述多个统一表中挑选出所述关键字段；
基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；
根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看，包括：
根据用户对配置维度字段的操作生成相应算法；
基于所述预设标签和所述相应算法对所述宽表进行汇集统计生成所述维度表以供用户查看；
基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群。
2.根据权利要求1所述的MR数据存储方法，其特征在于，所述对所述MR数据进行解压及解析生成多个入库表包括：
将所述MR数据解压生成多个XML文件；
对所述多个XML文件进行解析生成多个入库表并存储在spark大数据集群。
3.根据权利要求1所述的MR数据存储方法，其特征在于，所述对所述多个入库表进行格式统一生成多个统一表包括：
对所述多个入库表进行基于无效字段的数据清洗和基于有效字段的含义统一；
对所述数据清洗和所述含义统一后的所述多个入库表进行格式统一以生成所述多个统一表。
4.根据权利要求1所述的MR数据存储方法，其特征在于，所述统一表与数据类型一一对应，所述统一表中的数据根据厂商类型分区存储，所述数据类型为所述MR数据的文件类型。
5.根据权利要求1所述的MR数据存储方法，其特征在于，所述对所述MR数据进行解压及解析生成多个入库表包括：
基于所述MR数据的文件名对预设时间段内的所述MR数据进行粒度数据推送，所述文件名包括时间标识；
基于下一个所述粒度数据推送的开始信号对上一个所述粒度数据推送的所述MR数据进行解压及解析生成多个入库表。
6.一种MR数据存储装置，其特征在于，包括：
MR数据获取模块，用于获取基站的MR数据；
入库表生成模块，用于对所述MR数据进行解压及解析生成多个入库表；
统一表生成模块，用于对所述多个入库表进行格式统一生成多个统一表，所述统一表包括至少一个关键字段；
宽表生成模块，用于基于所述关键字段对所述多个统一表进行关联整合生成宽表，所述宽表包括预设标签；
维度表查看模块，用于根据用户需求对所述宽表进行基于预设标签的汇集统计生成维度表以供用户查看；
业务表存储模块，用于基于预设计算规则对所述维度表进行汇总统计生成业务表并存储至spark大数据集群；
其中，所述宽表生成模块包括关键字段挑选单元和宽表生成单元；
所述关键字段挑选单元，用于根据预设业务要求从所述多个统一表中挑选出所述关键字段；
所述宽表生成单元，用于根据所述关键字段对所述多个统一表进行关联整合生成所述宽表；
其中，所述维度表查看模块包括算法生成单元和维度表生成单元；
所述算法生成单元，用于根据用户对配置维度字段的操作生成相应算法；
所述维度表生成单元，用于基于所述预设标签和所述相应算法对所述宽表进行汇集统计生成所述维度表以供用户查看。
7.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一项所述的MR数据存储方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的MR数据存储方法。
CN202010263537.2A 2020-04-07 2020-04-07 一种mr数据存储方法、装置、服务器及存储介质 Active CN111459944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010263537.2A CN111459944B (zh) 2020-04-07 2020-04-07 一种mr数据存储方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010263537.2A CN111459944B (zh) 2020-04-07 2020-04-07 一种mr数据存储方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111459944A CN111459944A (zh) 2020-07-28
CN111459944B true CN111459944B (zh) 2023-09-01

Family

ID=71680500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263537.2A Active CN111459944B (zh) 2020-04-07 2020-04-07 一种mr数据存储方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111459944B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069021B (zh) * 2020-08-21 2024-02-20 北京五八信息技术有限公司 流量数据的存储方法、装置、电子设备和存储介质
CN111985194A (zh) * 2020-09-03 2020-11-24 深圳壹账通智能科技有限公司 数据存储方法、装置、电子设备及存储介质
CN112199351A (zh) * 2020-09-30 2021-01-08 澳优乳业（中国）有限公司 一种动销数据存储方法、系统及电子设备和存储介质
CN112860711A (zh) * 2021-03-18 2021-05-28 杭州云灵科技有限公司 数据储存方法及系统、数据查询方法及系统
CN113127413B (zh) * 2021-05-12 2024-03-01 北京红山信息科技研究院有限公司 一种运营商数据处理方法、装置、服务器及存储介质
CN114513553A (zh) * 2022-02-16 2022-05-17 北京恒安嘉新安全技术有限公司 一种数据处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684352A (zh) * 2018-12-29 2019-04-26 江苏满运软件科技有限公司 数据分析系统、方法、存储介质及电子设备
CN110019087A (zh) * 2017-11-09 2019-07-16 北京京东尚科信息技术有限公司 数据处理方法及其系统
CN110019397A (zh) * 2017-12-06 2019-07-16 北京京东尚科信息技术有限公司 用于进行数据处理的方法及装置
CN110275920A (zh) * 2019-06-27 2019-09-24 中国石油集团东方地球物理勘探有限责任公司 数据查询方法、装置、电子设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11243933B2 (en) * 2018-06-29 2022-02-08 Opendoor Labs Inc. Time sensitive data store

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019087A (zh) * 2017-11-09 2019-07-16 北京京东尚科信息技术有限公司 数据处理方法及其系统
CN110019397A (zh) * 2017-12-06 2019-07-16 北京京东尚科信息技术有限公司 用于进行数据处理的方法及装置
CN109684352A (zh) * 2018-12-29 2019-04-26 江苏满运软件科技有限公司 数据分析系统、方法、存储介质及电子设备
CN110275920A (zh) * 2019-06-27 2019-09-24 中国石油集团东方地球物理勘探有限责任公司 数据查询方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111459944A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111459944B (zh) 一种mr数据存储方法、装置、服务器及存储介质
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN107370806B (zh) Http状态码监控方法、装置、存储介质和电子设备
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN110928934A (zh) 一种用于业务分析的数据处理方法和装置
CN113886485A (zh) 数据处理方法、装置、电子设备、系统和存储介质
CN113642300A (zh) 一种报表生成方法、装置、电子设备及计算机可读介质
CN114266235A (zh) 数据的处理方法及装置、存储介质、电子装置
CN107656999B (zh) 呼叫历史追溯方法、装置、电子设备、存储介质
US20210342240A1 (en) Method, electronic device, and computer program product for monitoring storage system
CN111698109A (zh) 监控日志的方法和装置
CN114265904A (zh) 一种数据处理方法及云计算平台
CN111752916B (zh) 数据采集方法及装置、计算机可读存储介质、电子设备
CN115033646A (zh) 一种基于Flink&Doris构建实时数仓系统的方法
CN111143310A (zh) 日志记录方法及装置、可读存储介质
CN110955709B (zh) 一种数据的处理方法、装置及电子设备
CN109062797B (zh) 生成信息的方法和装置
CN113515425A (zh) 数据动态上报的方法和装置
CN115114316A (zh) 一种高并发数据的处理方法、装置、集群和存储介质
CN112286918A (zh) 数据快速接入转换的方法、装置、电子设备及存储介质
CN111178014A (zh) 一种处理业务流程的方法和装置
CN111414161A (zh) 一种生成idl文件的方法、装置、介质和电子设备
CN111124365A (zh) Rpa需求收集的方法和装置
CN110928898A (zh) 数据采集方法、数据采集装置、存储介质及电子设备
CN117707905A (zh) 一种页面数据的管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant