CN104767795A - 一种基于hadoop的lte mro数据统计方法及系统 - Google Patents
一种基于hadoop的lte mro数据统计方法及系统 Download PDFInfo
- Publication number
- CN104767795A CN104767795A CN201510113891.6A CN201510113891A CN104767795A CN 104767795 A CN104767795 A CN 104767795A CN 201510113891 A CN201510113891 A CN 201510113891A CN 104767795 A CN104767795 A CN 104767795A
- Authority
- CN
- China
- Prior art keywords
- hadoop
- data
- file
- lte
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title abstract 4
- 238000013459 approach Methods 0.000 claims description 12
- 230000001960 triggered effect Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 238000012827 research and development Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000009412 basement excavation Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Telephonic Communication Services (AREA)
Abstract
本发明涉及一种LTE网络数据统计方法技术领域，特别涉及一种基于HADOOP的LTE MRO数据统计方法及系统。本发明一种基于HADOOP的LTE MRO数据统计系统，包括Hadoop集群，在集群各datanode节点部署实时调度模块和定时调度模块，所述的实时调度模块会实时扫描基站服务器上的LTE MRO文件，并多线程ftp下载，解析，在集群各datanode节点，通过Fuse-DFS模块将Hdfs挂在到系统，定时调度模块会定时按照指定数量合并解析后文件，并写入Hdfs，合并后文件采用厂商+时间+线程号命名，便于任务失败时，产出重做。本发明实现了类似LTE MRO文件的海量小文件，解决了海量数据给电信运营商带来的处理压力，提供了高效智能统计和数据挖掘的途径。
Description
技术领域
本发明涉及一种LTE网络数据统计方法技术领域，特别涉及一种基于HADOOP的LTE MRO数据统计方法及系统。
背景技术
随着4G牌照的发放中国正式进入4G时代，与此同时运营商也紧锣密鼓的开始了基础网络建设。中国移动集团计划2014年要完成近50万个TD-LTE站点的建设。当前移动互联网的飞速发展，要求LTE网络从起步阶段就要成为精品网络。
而以往2/3G网，络运营的经验表明，站点完成建设后网络结构就基本确定。如何在LTE网络起步阶段就确保其结构合理性成为运营者亟待解决的重要课题。LTE MRO数据是指基站周期性收集手机终端所处无线环境信息的测量报告（measurement result）采样数据，客观的反映了无线网络的真实情况，对于诊断网络结构问题具有重要意义。
MRO（Mobility Robustness Optimization移动鲁棒性优化）是对切换的相关参数进行自动优化的一个功能，是SON（Self-Organization Network自组织网络）的组成部分之一。切换参数设置的不合理，会导致切换过早、过晚或乒乓切换的情况，这样将会影响用户体验以及浪费网络资源。MRO通过对不同切换场景的识别，并对它们进行统计，根据统计结果对切换的相关参数进行优化，使得网路中的切换失败、掉话以及不必要的切换降到最少。
随着无线网络中网元与厂商的增加，网络维护的复杂度、技术要求和成本等也在大幅上升。为了降低网络维护的复杂度与成本，LTE系统要求无线网络支持自组织行为，即E-UTRAN支持SON。SON需要支持自配置与自优化功能。MRO为自优化功能之一，通过识别异常切换的场景，自动优化切换的相关参数，以提高网络的切换成功率以及资源利用率。
MRO通过对不同切换情况的识别，并对它们进行统计，根据统计结果对切换的相关参数进行优化，使得网络中的切换失败、掉话和不必要的切换降到最少。
然而MRO文件为小文件，但数据庞大，传统的数据分析处理手段对此望而却步。分析人员只能针对重点保障区域提取对应数据做小范围的局部分析，无法开展全网的整体性网络结构分析。
Hadoop的出现为解决上述问题提供了技术手段。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop框架中最核心设计是Map/Reduce和HDFS(Hadoop Distributed File System)。Map/Reduce是Google的一项核心的技术，它是对并行计算的编程模型的一种简化，它可以让那些并行计算经验不足的开发人员也可以开发这些并行应用。分布式文件系统HDFS的来源是受Google文件系统GFS（Google File System）的启发， 一个建立在大型集群上并且可靠存储大数据集的文件系统。HDFS与Map/Reduce相辅相成，构成了Hadoop分布式计算的坚实的存储基石。
Hive是Apache基金会下的一个在Hadoop上构建数据仓库的开源软件，它支持通过类SQL的HQL语言操作结构化数据。Hive的主要功能是将类SQL的HQL语言翻译成Map/Reduce代码并在Hadoop上运行。Hive的出现使Hadoop做大数据分析变的简单，节省了数据分析人员编译和调试Map/Reduce代码的繁琐工作。
Sqoop是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
而LTE MRO文件本身的特点是其为海量小文件，为Hadoop的处理带来难度，而本发明基于Hadoop和Hive构建了一种统计LTE MRO等大数据的一种方法，能很好的满足电信等行业的大数据量统计需求。
发明内容
为了解决现有技术的问题，本发明提供了一种基于HADOOP的LTE MRO数据统计方法及系统，其实现了类似LTE MRO文件的海量小文件，解决了海量数据给电信运营商带来的处理压力，提供了高效智能统计和数据挖掘的途径。
本发明所采用的技术方案如下：
一种基于HADOOP的LTE MRO数据统计方法，包括以下步骤：
A、集群所有节点部署并开启自开发的多线程ftp下载工具，此工具实时扫描基站文件服务器；
B、集群所有节点部署并开发自研发多线程LTE MRO文件解析程序，此程序将文件进行了格式化，将格式化文件写入本地磁盘；
C、Hadoop分布式文件系统挂载通过使用Hadoop的Fuse-DFS模块，将Hadoop文件系统作为一个标准文件系统进行挂载在linux系统上；
D、根据业务需求，在Hive数据仓库中建源数据层，中间层和应用层，并在不同的层中建响应分区表，这些表根据日期和厂商进行分区，便于数据导出和修复；
E、同时根据业务需求，开发Hql语句并写入文本文件，由调度程序统一调度；
F、调度程序统一调度执行Hql，从Hive源数据层表中抽取数据，依次生成中间层表和应用表数据；
G、应用层数据生成后，调度程序会调用Sqoop，将Hive新生成数据导入Oracle；
H、监控程序后台运行，实时接收实时调度程序和定时调度程序的执行结果，并实时扫描Hadoop和Hive日志，如有失败任务，则重新执行。
步骤A中，若存在LTE MRO新文件，则启动线程，采用ftp服务实时下载文件，单文件下载完成后，对本地远程的此文件进行md5校验，若不成功重新下载。
步骤F中，Hive通过入口函数收到Hql，首先根据关键字用语法解析器和词法解析器将Hql转换成抽象语法树，然后对此语法树进行优化生成新的语法树，最后生成执行计划plan.xml，根据plan.xml启动Hadoop的Map/Reduce程序得到hql的执行结果。
一种基于HADOOP的LTE MRO数据统计系统，包括Hadoop集群，在集群各datanode节点部署实时调度模块和定时调度模块，所述的实时调度模块会实时扫描基站服务器上的LTE MRO文件，并多线程ftp下载，解析，在集群各datanode节点，通过Fuse-DFS模块将Hdfs挂在到系统，定时调度模块会定时按照指定数量合并解析后文件，并写入Hdfs，合并后文件采用厂商+时间+线程号命名，便于任务失败时，产出重做。
在所述集群namenode节点部署Hadoop Sqoop模块，统计完成后，调用shell 命令通过Sqoop将应用层新生成数据写入Oracle数据库供展现给用户。
在所述集群namenode服务器部署监控模块，监控模块后台执行，实时接收各模块执行结果，并且实时扫描Hadoop，Hive日志，若有错误产生，报警并重新执行任务。
根据业务人员撰写的业务需求和数据模型的涉及文档（包含LTE MRO原始文件格式，字段说明及应用层表结构，说明等），设计LTE MRO源文件下载方式，设计数据仓库hive中源数据层，中间层，应用层表结构及个字段对应关系及etl逻辑等；在服务器上部署Hadoop集群和Oracle数据库。
在集群各datanode节点部署实时调度模块和定时调度模块。实时调度模块会实时扫描基站服务器上的LTE MRO文件，并多线程ftp下载，解析。在集群各datanode节点，通过Fuse-DFS模块将Hdfs挂在到系统，定时调度模块会定时按照指定数量合并解析后文件，并写入Hdfs。合并后文件采用厂商+时间+线程号命名，便于任务失败时，产出重做。
根据业务文档开发Hive各层Hql语句，并将Hql语句形成文本文件放入指定路径。定时调度模块会定时执行相应日期的Hql，将统计结果写入响应表。
集群namenode节点部署Hadoop Sqoop模块，统计完成后，调用shell 命令通过Sqoop将应用层新生成数据写入Oracle数据库供展现给用户。
集群namenode服务器部署监控模块。监控模块后台执行，实时接收各模块执行结果，并且实时扫描Hadoop，Hive日志，若有错误产生，报警并重新执行任务。
本发明提供的技术方案带来的有益效果是：
本发明给出了处理类似LTE MRO等海量小文件的方法，极大的提高了处理效率，大大减少了统计时间。入Hdfs（Hadoop分布式文件系统）前对文件进行并行解析合并，减少了namenode（名字节点）压力，通过Hive进行数据统计，既满足了效率需求，又降低了开发门槛，同时保持了良好的扩展性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于HADOOP的LTE MRO数据统计方法及系统的系统架构图。
图2为本发明的一种基于HADOOP的LTE MRO数据统计方法及系统的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本实施例的基于Hadoop的LTE MRO数据统计方法及系统采用以下步骤：
1、集群所有节点部署并开启自开发的多线程ftp下载工具，此工具实时扫描基站文件服务器，若存在LTE MRO新文件，则启动线程，采用ftp服务实时下载文件，单文件下载完成后，对本地远程的此文件进行md5校验，若不成功重新下载，从而保证了数据的准确性。此工具保证了，将远程原始文件下载到本地服务器。
2、集群所有节点部署并开发自研发多线程LTE MRO文件解析程序，此程序将文件进行了格式化，将格式化文件写入本地磁盘。
3、hdfs挂载通过使用Hadoop的Fuse-DFS模块，将Hadoop文件系统作为一个标准文件系统进行挂载在linux系统上，可以使用Lnix的工具与这个文件系统交互，也可以通过任意一种编程语言使用POSIX库来访问此文件系统。
任何一个文件，目录和block，在HDFS中都会被表示为一个object存储在namenode的内存中，每一个object占用150 bytes的内存空间，同时也为访问带来效率问题。大量的小文件会超出计算机硬件所能满足的极限。HAR files方式和Sequence Files方式也不能全部解决内存和效率问题。LTE MRO数据为大小为几百k到几M的小文件，所以对解析后数据，采用汇聚方式，按指定数量进行合并，并将合并后文件写入Hdfs。Hdfs外汇聚方式则大大减少了namenode的内存压力和访问压力，提高了文件访问效率。
4、根据业务需求，在Hive数据仓库中建源数据层，中间层和应用层，并在不同的层中建响应分区表，这些表根据日期和厂商进行分区，便于数据导出和修复。源数据层即临时数据层，数据由库外文件加载，此层数据不需要长期保存；中间层由源数据层根据各过滤规则统计得到；应用层由中间层数据统计得到。
同时根据业务需求，开发Hql语句并写入文本文件，由调度程序统一调度。如有新业务需求，业务人员开发新Hql语句，写入文本文件放入指定位置即可。
5、调度程序统一调度执行Hql，从Hive源数据层表中抽取数据，依次生成中间层表和应用表数据。Hive通过入口函数收到Hql，首先根据关键字用语法解析器和词法解析器将Hql转换成抽象语法树，然后对此语法树进行优化生成新的语法树，最后生成执行计划plan.xml，根据plan.xml启动Hadoop的Map/Reduce程序得到hql的执行结果。
Hive不仅可以编写Hql语句统计数据，而且可以编写函数等调用Map/Reduce进行更复杂的挖掘，所以此系统具有良好的扩展性。
6、应用层数据生成后，调度程序会调用Sqoop，将Hive新生成数据导入Oracle。由于 Hive中表按天和厂商分区，将日期分期中数据导出即可。
7、监控程序后台运行，实时接收实时调度程序和定时调度程序的执行结果，并实时扫描Hadoop和Hive日志，如有失败任务，则重新执行。
以本系统在某省移动实施为例，LTE MRO源数据产生于基站服务器，全省有21176个基站服务器，每个基站服务器每15分钟产生一个压缩文件（大小几百K到几M），压缩文件总数据量大约86G（压缩比例大约1:26）。采用的hadoop集群包括6台服务器，1台namenode，5台datanode。服务器操作系统版本，Red Hat Enterprise Linux Server release 6.5，Hadoop 版本为2.4，Hive版本为0.13.1，sqoop版本为1.4.5。服务器的硬件配置为：Cpu:Intel(R) Xeon(R) CPU E5-2430 0 2.20GHz (6 core)*4；Disk : 8* 900GB SATA；128G内存；万兆网卡。
全省MRO一天的数据加载入hdfs大约需32分钟，Hive统计大约需55分钟。而如此大量的数据传统关系型数据库是无法处理的。由此可见基于hadoop平台的此发明大大缩短了处理时间，从而及时向用户及时提供统计报告。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于HADOOP的LTE MRO数据统计方法，包括以下步骤：
A、集群所有节点部署并开启自开发的多线程ftp下载工具，此工具实时扫描基站文件服务器；
B、集群所有节点部署并开发自研发多线程LTE MRO文件解析程序，此程序将文件进行了格式化，将格式化文件写入本地磁盘；
C、Hadoop分布式文件系统挂载通过使用Hadoop的Fuse-DFS模块，将Hadoop文件系统作为一个标准文件系统进行挂载在linux系统上；
D、根据业务需求，在Hive数据仓库中建源数据层，中间层和应用层，并在不同的层中建响应分区表，这些表根据日期和厂商进行分区，便于数据导出和修复；
E、同时根据业务需求，开发Hql语句并写入文本文件，由调度程序统一调度；
F、调度程序统一调度执行Hql，从Hive源数据层表中抽取数据，依次生成中间层表和应用表数据；
G、应用层数据生成后，调度程序会调用Sqoop，将Hive新生成数据导入Oracle；
H、监控程序后台运行，实时接收实时调度程序和定时调度程序的执行结果，并实时扫描Hadoop和Hive日志，如有失败任务，则重新执行。
2.根据权利要求1所述的一种基于HADOOP的LTE MRO数据统计方法，其特征在于，所述的步骤A中，若存在LTE MRO新文件，则启动线程，采用ftp服务实时下载文件，单文件下载完成后，对本地远程的此文件进行md5校验，若不成功重新下载。
3.根据权利要求1所述的一种基于HADOOP的LTE MRO数据统计方法，其特征在于，所述的步骤F中，Hive通过入口函数收到Hql，首先根据关键字用语法解析器和词法解析器将Hql转换成抽象语法树，然后对此语法树进行优化生成新的语法树，最后生成执行计划plan.xml，根据plan.xml启动Hadoop的Map/Reduce程序得到hql的执行结果。
4.一种基于HADOOP的LTE MRO数据统计系统，包括Hadoop集群，在集群各datanode节点部署实时调度模块和定时调度模块，所述的实时调度模块会实时扫描基站服务器上的LTE MRO文件，并多线程ftp下载，解析，在集群各datanode节点，通过Fuse-DFS模块将Hdfs挂在到系统，定时调度模块会定时按照指定数量合并解析后文件，并写入Hdfs，合并后文件采用厂商+时间+线程号命名，便于任务失败时，产出重做。
5.根据权利要求4所述的一种基于HADOOP的LTE MRO数据统计系统，其特征在于，在所述集群namenode节点部署Hadoop Sqoop模块，统计完成后，调用shell 命令通过Sqoop将应用层新生成数据写入Oracle数据库供展现给用户。
6.根据权利要求4所述的一种基于HADOOP的LTE MRO数据统计系统，其特征在于，在所述集群namenode服务器部署监控模块，监控模块后台执行，实时接收各模块执行结果，并且实时扫描Hadoop，Hive日志，若有错误产生，报警并重新执行任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510113891.6A CN104767795A (zh) | 2015-03-17 | 2015-03-17 | 一种基于hadoop的lte mro数据统计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510113891.6A CN104767795A (zh) | 2015-03-17 | 2015-03-17 | 一种基于hadoop的lte mro数据统计方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104767795A true CN104767795A (zh) | 2015-07-08 |
Family
ID=53649394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510113891.6A Pending CN104767795A (zh) | 2015-03-17 | 2015-03-17 | 一种基于hadoop的lte mro数据统计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104767795A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469217A (zh) * | 2016-09-08 | 2017-03-01 | 浪潮软件集团有限公司 | 一种基于MR大数据处理的Hadoop集群分析方法 |
| CN106547883A (zh) * | 2016-11-03 | 2017-03-29 | 北京集奥聚合科技有限公司 | 一种用户定义函数udf运行情况的处理方法及系统 |
| WO2017096941A1 (zh) * | 2015-12-11 | 2017-06-15 | 深圳市华讯方舟软件技术有限公司 | 一种基于Spark-SQL大数据处理平台的后台刷新方法 |
| CN107071821A (zh) * | 2017-03-24 | 2017-08-18 | 广州逸信电子科技有限公司 | 移动通信网络测量分析系统及方法 |
| CN107484189A (zh) * | 2017-07-27 | 2017-12-15 | 北京市天元网络技术股份有限公司 | Lte数据处理系统 |
| CN107577809A (zh) * | 2017-09-27 | 2018-01-12 | 北京锐安科技有限公司 | 离线小文件处理方法及装置 |
| CN108509658A (zh) * | 2018-04-28 | 2018-09-07 | 中国联合网络通信集团有限公司 | 一种xml文件的解析方法和装置 |
| CN111555926A (zh) * | 2019-02-12 | 2020-08-18 | 大唐移动通信设备有限公司 | 一种无线网络测量报告处理系统、方法及装置 |
| CN111930495A (zh) * | 2020-06-17 | 2020-11-13 | 广州博依特智能信息科技有限公司 | 一种SaaS模式下大数据平台存储隔离和计算隔离方法 |
| CN112395094A (zh) * | 2021-01-19 | 2021-02-23 | 成都四方伟业软件股份有限公司 | 一种基于tpl资源初始化下载方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020049759A1 (en) * | 2000-09-18 | 2002-04-25 | Loren Christensen | High performance relational database management system |
| CN103425762A (zh) * | 2013-08-05 | 2013-12-04 | 南京邮电大学 | 基于Hadoop平台的电信运营商海量数据处理方法 |
| CN103678665A (zh) * | 2013-12-24 | 2014-03-26 | 焦点科技股份有限公司 | 一种基于数据仓库的异构大数据整合方法和系统 |
-
2015
- 2015-03-17 CN CN201510113891.6A patent/CN104767795A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020049759A1 (en) * | 2000-09-18 | 2002-04-25 | Loren Christensen | High performance relational database management system |
| CN103425762A (zh) * | 2013-08-05 | 2013-12-04 | 南京邮电大学 | 基于Hadoop平台的电信运营商海量数据处理方法 |
| CN103678665A (zh) * | 2013-12-24 | 2014-03-26 | 焦点科技股份有限公司 | 一种基于数据仓库的异构大数据整合方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 费仕忆: "Hadoop大数据平台与传统数据仓库的协作研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017096941A1 (zh) * | 2015-12-11 | 2017-06-15 | 深圳市华讯方舟软件技术有限公司 | 一种基于Spark-SQL大数据处理平台的后台刷新方法 |
| CN106469217A (zh) * | 2016-09-08 | 2017-03-01 | 浪潮软件集团有限公司 | 一种基于MR大数据处理的Hadoop集群分析方法 |
| CN106547883A (zh) * | 2016-11-03 | 2017-03-29 | 北京集奥聚合科技有限公司 | 一种用户定义函数udf运行情况的处理方法及系统 |
| CN107071821A (zh) * | 2017-03-24 | 2017-08-18 | 广州逸信电子科技有限公司 | 移动通信网络测量分析系统及方法 |
| CN107484189A (zh) * | 2017-07-27 | 2017-12-15 | 北京市天元网络技术股份有限公司 | Lte数据处理系统 |
| CN107484189B (zh) * | 2017-07-27 | 2020-10-16 | 北京市天元网络技术股份有限公司 | Lte数据处理系统 |
| CN107577809A (zh) * | 2017-09-27 | 2018-01-12 | 北京锐安科技有限公司 | 离线小文件处理方法及装置 |
| CN108509658A (zh) * | 2018-04-28 | 2018-09-07 | 中国联合网络通信集团有限公司 | 一种xml文件的解析方法和装置 |
| CN111555926A (zh) * | 2019-02-12 | 2020-08-18 | 大唐移动通信设备有限公司 | 一种无线网络测量报告处理系统、方法及装置 |
| CN111555926B (zh) * | 2019-02-12 | 2022-02-25 | 大唐移动通信设备有限公司 | 一种无线网络测量报告处理系统、方法及装置 |
| CN111930495A (zh) * | 2020-06-17 | 2020-11-13 | 广州博依特智能信息科技有限公司 | 一种SaaS模式下大数据平台存储隔离和计算隔离方法 |
| CN112395094A (zh) * | 2021-01-19 | 2021-02-23 | 成都四方伟业软件股份有限公司 | 一种基于tpl资源初始化下载方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104767795A (zh) | 一种基于hadoop的lte mro数据统计方法及系统 | |
| CN109739894B (zh) | 补充元数据描述的方法、装置、设备及存储介质 | |
| US10353913B2 (en) | Automating extract, transform, and load job testing | |
| US9489189B2 (en) | Dynamically generate and execute a context-specific patch installation procedure on a computing system | |
| CN114662159A (zh) | 一种数据的处理方法、装置及设备 | |
| CN110069572A (zh) | 基于大数据平台的hive任务调度方法、装置、设备及存储介质 | |
| US20160171505A1 (en) | Extract, transform, and load (etl) processing | |
| CN102508919B (zh) | 数据处理方法及系统 | |
| CN103514223A (zh) | 一种数据仓库数据同步方法和系统 | |
| CN104063425A (zh) | 通过数据库中间件查询数据的方法和数据库中间件 | |
| CN111241182A (zh) | 数据处理方法和装置、存储介质和电子装置 | |
| CN115374102A (zh) | 数据处理方法及系统 | |
| CN104424018A (zh) | 分布式计算事务处理方法及装置 | |
| CN108763323B (zh) | 基于资源集和大数据技术的气象格点文件应用方法 | |
| CN106156047A (zh) | 一种快照信息处理方法及装置 | |
| CN106777265B (zh) | 一种业务数据的处理方法及装置 | |
| CN105338107A (zh) | 一种据点运营同步管理系统及方法 | |
| CN111782618B (zh) | 一种数据同步系统 | |
| CN116048817B (zh) | 数据处理控制方法、装置、计算机设备和存储介质 | |
| Tseng et al. | A successful application of big data storage techniques implemented to criminal investigation for telecom | |
| CN110750582A (zh) | 数据处理方法、装置和系统 | |
| CN111078769A (zh) | 一种元数据的抓取方法和系统 | |
| CN112667632A (zh) | 一种元数据处理方法及装置 | |
| CN112835932A (zh) | 业务表的批量处理方法及装置、非易失性存储介质 | |
| CN110555077A (zh) | 自动题库同步方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150708 |