CN113127413A - 一种运营商数据处理方法、装置、服务器及存储介质 - Google Patents

一种运营商数据处理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN113127413A
CN113127413A CN202110518135.7A CN202110518135A CN113127413A CN 113127413 A CN113127413 A CN 113127413A CN 202110518135 A CN202110518135 A CN 202110518135A CN 113127413 A CN113127413 A CN 113127413A
Authority
CN
China
Prior art keywords
files
data
file
variance
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110518135.7A
Other languages
English (en)
Other versions
CN113127413B (zh
Inventor
向阳
刘亮
林昀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hongshan Information Technology Research Institute Co Ltd
Original Assignee
Beijing Hongshan Information Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hongshan Information Technology Research Institute Co Ltd filed Critical Beijing Hongshan Information Technology Research Institute Co Ltd
Priority to CN202110518135.7A priority Critical patent/CN113127413B/zh
Publication of CN113127413A publication Critical patent/CN113127413A/zh
Application granted granted Critical
Publication of CN113127413B publication Critical patent/CN113127413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例公开了一种运营商数据处理方法、装置、服务器及存储介质。该方法包括：通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。本发明实施例的技术方案，通过对运营商数据进行接入、到达检测、处理分发、解压解析，提高数据处理的效率和准确性。

Description

一种运营商数据处理方法、装置、服务器及存储介质
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种运营商数据处理方法、装置、服务器及存储介质。
背景技术
目前，在运营商数据处理领域，设备商繁多，不同厂商不同数据文件的压缩、打包、文件格式标准不一致，存在以下痛点：a压缩标准：分别有gz zip tar.gz等；b打包标准：打包层级不固定，嵌套层级有1层到3层不等；c文件格式：有结构化的csv txt以及半结构化的xml；d文件大小：文件大小不均匀，一个文件从几M到几G不等，容易造成数据倾斜；e不同设备厂商上报字段名称不一致；f不同设备厂商上报字段单位格式不一致；g不同设备厂商上报字段含义不一致；h同步设备厂商数据到达延迟不一致；i数据源目录夹杂着异常数据文件。
因此，数据处理需要以下能力需求：a需支持压缩文件自适应识别解压；b需支持打包文件自适应识别递归解压；c需支持文件格式自适应识别解析；d需支持针对数据倾斜的性能优化；e需支持数据字段名称统一化，统一标准输出；f需支持字段内容单位格式归一化，统一标准输出；g需支持字段数值换算，统一标准输出；h需支持不同厂商数据到达检测并事件行驱动入库任务；i需支持无效文件过滤。
发明内容
本发明实施例提供一种运营商数据处理方法、装置、服务器及存储介质，以实现提高数据处理的效率和准确性。
第一方面，本发明实施例提供了一种运营商数据处理方法，包括：
通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；
遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；
若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；
处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。
可选的，在每隔一个周期获取不同设备厂商的不同数据文件之前，还包括：
根据周期性扫描获取到文件名信息与用户写的正则表达式进行匹配。
可选的，在遍历当前周期的所有文件的存储大小之前，还包括：
启动周期扫描任务扫描hdfs目录下的文件名，判别当前周期的数据是否存在，如果存在，再判别下个周期的数据是否存在，如果下个周期的数据已存在，则遍历当前周期的所有文件的存储大小。
可选的，所述对所有文件本地解压解析，包括：
判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压，判断解压后的文件格式是否为xml，若是，则执行下一步骤。
可选的，在判断解压后的文件格式是否为xml之后，还包括：
若否，则递归循环判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压两个步骤，直至文件解压到最后一层。
可选的，所述对所有文件本地解压解析，包括：
获取解压后的数据流，判断文件格式，匹配文件对应格式进行文件解析，将解析的字段作为内存表进行存储。
可选的，所述转换完毕后入库hive表，包括：
转换完毕后入库到同一张hive表，不同厂商数据以不同分区作为区分。
第二方面，本发明实施例还提供了一种运营商数据处理装置，包括：
接入单元，用于通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；
方差单元，用于遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；
处理单元，用于若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；
转换单元，用于处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。
第三方面，本发明实施例还提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中任一所述的运营商数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述实施例中任一所述的运营商数据处理方法。
本发明实施例的技术方案，通过对运营商数据进行接入、到达检测、处理分发、解压解析，提高数据处理的效率和准确性。
附图说明
图1是本发明实施例一中的一种运营商数据处理方法的流程示意图；
图2是本发明实施例二中的一种运营商数据处理装置的结构示意图；
图3是本发明实施例三中的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一速度差值称为第二速度差值，且类似地，可将第二速度差值称为第一速度差值。第一速度差值和第二速度差值两者都是速度差值，但其不是同一速度差值。术语“第一”、“第二”等不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种运营商数据处理方法的流程示意图，本发明实施例可适用于运营商数据处理的情况。本发明实施例的方法可以由一种运营商数据处理装置来执行，该装置可以由软件和/或硬件的方式实现，并一般可集成于服务器或终端设备中。参照图1，本发明实施例的运营商数据处理方法，具体包括如下步骤：
步骤S110、通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中。
具体的，首先进行数据源接入，通过FTP或SFTP协议链接数据源服务器；根据周期性扫描获取到文件名信息与用户写的正则表达式进行匹配；每隔一个周期获取各个厂家要下载的文件，以数据流的形式下载到接口机内存中；链接集群，将文件按厂家分门别类写入到hdfs目录中依次循环，重复扫描下载上传这个过程。
进一步的，进行数据到达检测，启动周期扫描任务扫描hdfs目录下的文件名，判别当前周期的数据是否存在，如果存在，再判别下个周期的数据是否存在，如果下个周期的数据已存在，则遍历当前周期的所有文件的存储大小。
步骤S120、遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值。
具体的，进行数据处理分发，遍历当前周期所有文件的存储大小，计算各个文件存储大小所有值的方差，如果方差大于设定阈值证明数据文件倾斜严重，如果方差小于等于设定阈值证明数据文件倾斜不严重。
步骤S130、若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析。
具体的，如果方差大于设定阈值证明数据文件倾斜严重，则按照入口的size大小分发，确保每个核处理差数据量一致，如果方差小于等于设定阈值证明数据文件倾斜不严重，则采用foreachpartition本地解压解析。
其中，所述对所有文件本地解压解析，包括：判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压，判断解压后的文件格式是否为xml，若是，则执行下一步骤。在判断解压后的文件格式是否为xml之后，还包括：若否，则递归循环判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压两个步骤，直至文件解压到最后一层。
所述对所有文件本地解压解析，包括：获取解压后的数据流，判断文件格式，匹配文件对应格式进行文件解析，将解析的字段作为内存表进行存储。
步骤S140、处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。
具体的，由于各个厂家数据是独立单独任务处理，处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库HIVE表，所有厂商的数据由于标准化后字段名称和字段类型、字段个数一致，所以均入库到同一张表，不同厂商数据以不同分区作为区分。
本发明实施例的技术方案，通过对运营商数据进行接入、到达检测、处理分发、解压解析，提高数据处理的效率和准确性。
实施例二
本发明实施例所提供的一种运营商数据处理装置可执行本发明任意实施例所提供的运营商数据处理方法，具备执行方法相应的功能模块和有益效果，该装置可以由软件和/或硬件(集成电路)的方式实现，并一般可集成于服务器或终端设备中。图2是本发明实施例二中的一种运营商数据处理装置200的结构示意图。参照图2，本发明实施例的运营商数据处理装置200具体可以包括：
接入单元210，用于通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中。
方差单元220，用于遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值。
处理单元230，用于若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析。
转换单元240，用于处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。
可选的，所述接入单元210，还用于：
根据周期性扫描获取到文件名信息与用户写的正则表达式进行匹配。
可选的，所述方差单元220，还用于：
启动周期扫描任务扫描hdfs目录下的文件名，判别当前周期的数据是否存在，如果存在，再判别下个周期的数据是否存在，如果下个周期的数据已存在，则遍历当前周期的所有文件的存储大小。
可选的，所述处理单元230，还用于：
判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压，判断解压后的文件格式是否为xml，若是，则执行下一步骤。
可选的，在判断解压后的文件格式是否为xml之后，还包括：
若否，则递归循环判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压两个步骤，直至文件解压到最后一层。
可选的，所述处理单元230，还用于：
获取解压后的数据流，判断文件格式，匹配文件对应格式进行文件解析，将解析的字段作为内存表进行存储。
可选的，所述转换单元240，还用于：
转换完毕后入库到同一张hive表，不同厂商数据以不同分区作为区分。
本发明实施例的技术方案，通过对运营商数据进行接入、到达检测、处理分发、解压解析，提高数据处理的效率和准确性。
实施例三
图3为本发明实施例三提供的一种服务器的结构示意图，如图3所示，该服务器包括处理器310、存储器320、输入装置330和输出装置340；服务器中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；服务器中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的运营商数据处理方法对应的程序指令/模块(例如，运营商数据处理装置中的接入单元210、方差单元220、处理单元230和转换单元240)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的运营商数据处理方法。
也即：
通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；
遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；
若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；
处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。
当然，本发明实施例所提供的服务器，其处理器不限于执行如上所述的方法操作，还可以执行本发明任意实施例所提供的运营商数据处理方法中的相关操作。
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
本发明实施例的技术方案，通过对运营商数据进行接入、到达检测、处理分发、解压解析，提高数据处理的效率和准确性。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种运营商数据处理方法，该方法包括：
通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；
遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；
若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；
处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的运营商数据处理方法中的相关操作。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例的技术方案，通过对运营商数据进行接入、到达检测、处理分发、解压解析，提高数据处理的效率和准确性。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种运营商数据处理方法，其特征在于，包括：
通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；
遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；
若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；
处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。
2.根据权利要求1所述的运营商数据处理方法，其特征在于，在每隔一个周期获取不同设备厂商的不同数据文件之前，还包括：
根据周期性扫描获取到文件名信息与用户写的正则表达式进行匹配。
3.根据权利要求1所述的运营商数据处理方法，其特征在于，在遍历当前周期的所有文件的存储大小之前，还包括：
启动周期扫描任务扫描hdfs目录下的文件名，判别当前周期的数据是否存在，如果存在，再判别下个周期的数据是否存在，如果下个周期的数据已存在，则遍历当前周期的所有文件的存储大小。
4.根据权利要求1所述的运营商数据处理方法，其特征在于，所述对所有文件本地解压解析，包括：
判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压，判断解压后的文件格式是否为xml，若是，则执行下一步骤。
5.根据权利要求4所述的运营商数据处理方法，其特征在于，在判断解压后的文件格式是否为xml之后，还包括：
若否，则递归循环判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压两个步骤，直至文件解压到最后一层。
6.根据权利要求1所述的运营商数据处理方法，其特征在于，所述对所有文件本地解压解析，包括：
获取解压后的数据流，判断文件格式，匹配文件对应格式进行文件解析，将解析的字段作为内存表进行存储。
7.根据权利要求1所述的运营商数据处理方法，其特征在于，所述转换完毕后入库hive表，包括：
转换完毕后入库到同一张hive表，不同厂商数据以不同分区作为区分。
8.一种运营商数据处理装置，其特征在于，包括：
接入单元，用于通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；
方差单元，用于遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；
处理单元，用于若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；
转换单元，用于处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。
9.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1-7中任一所述的运营商数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-7中任一所述的运营商数据处理方法。
CN202110518135.7A 2021-05-12 2021-05-12 一种运营商数据处理方法、装置、服务器及存储介质 Active CN113127413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110518135.7A CN113127413B (zh) 2021-05-12 2021-05-12 一种运营商数据处理方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110518135.7A CN113127413B (zh) 2021-05-12 2021-05-12 一种运营商数据处理方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN113127413A true CN113127413A (zh) 2021-07-16
CN113127413B CN113127413B (zh) 2024-03-01

Family

ID=76781903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110518135.7A Active CN113127413B (zh) 2021-05-12 2021-05-12 一种运营商数据处理方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN113127413B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009998A (zh) * 2023-08-29 2023-11-07 上海倍通医药科技咨询有限公司 一种数据检验方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6516326B1 (en) * 2000-10-30 2003-02-04 Stone And Webster Consultants, Inc. System and method for integrating electrical power grid and related data from various proprietary raw data formats into a single maintainable electrically connected database
DE102007006659A1 (de) * 2007-02-10 2008-08-14 Walter Keller Mobiles Echtzeit Bezahlverfahren
WO2013116806A1 (en) * 2012-02-02 2013-08-08 Visa International Service Association Multi-source, multi-dimensional, cross-entity, multimedia database platform apparatuses, methods and systems
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
US20140278730A1 (en) * 2013-03-14 2014-09-18 Memorial Healthcare System Vendor management system and method for vendor risk profile and risk relationship generation
CN104135387A (zh) * 2014-08-12 2014-11-05 浪潮通信信息系统有限公司 一种基于元模型拓扑的网管数据处理可视化监控方法
CN104394008A (zh) * 2014-10-10 2015-03-04 广东电网有限责任公司电力科学研究院 一种统一配置不同类型交换机的方法及其系统
CN106127657A (zh) * 2016-07-06 2016-11-16 成都丰窝科技有限公司 一种城市政府热线数据整合平台
US20170115964A1 (en) * 2015-10-27 2017-04-27 Oracle Financial Services Software Limited Uniform interface specification for interacting with and executing models in a variety of runtime environments
CN106817419A (zh) * 2017-01-19 2017-06-09 四川奥诚科技有限责任公司 基于VoLTE AS网元的数据提取解析方法、装置及服务终端
CN109725167A (zh) * 2018-12-29 2019-05-07 安徽易商数码科技有限公司 粮油质检实验室仪器设备对接系统
US20190243865A1 (en) * 2018-02-07 2019-08-08 Sas Institute Inc. Identification and visualization of data set relationships in online library systems
CN110197424A (zh) * 2019-05-31 2019-09-03 上海银行股份有限公司 基于Redis的对账平台系统
CN111259006A (zh) * 2019-11-19 2020-06-09 中国科学院计算机网络信息中心 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及系统
CN111459944A (zh) * 2020-04-07 2020-07-28 北京红山信息科技研究院有限公司 一种mr数据存储方法、装置、服务器及存储介质
CN111984436A (zh) * 2020-08-25 2020-11-24 中央广播电视总台 一种数据采集系统
CN112102111A (zh) * 2020-09-27 2020-12-18 华电福新广州能源有限公司 一种发电厂数据智能处理系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6516326B1 (en) * 2000-10-30 2003-02-04 Stone And Webster Consultants, Inc. System and method for integrating electrical power grid and related data from various proprietary raw data formats into a single maintainable electrically connected database
DE102007006659A1 (de) * 2007-02-10 2008-08-14 Walter Keller Mobiles Echtzeit Bezahlverfahren
WO2013116806A1 (en) * 2012-02-02 2013-08-08 Visa International Service Association Multi-source, multi-dimensional, cross-entity, multimedia database platform apparatuses, methods and systems
US20140278730A1 (en) * 2013-03-14 2014-09-18 Memorial Healthcare System Vendor management system and method for vendor risk profile and risk relationship generation
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN104135387A (zh) * 2014-08-12 2014-11-05 浪潮通信信息系统有限公司 一种基于元模型拓扑的网管数据处理可视化监控方法
CN104394008A (zh) * 2014-10-10 2015-03-04 广东电网有限责任公司电力科学研究院 一种统一配置不同类型交换机的方法及其系统
US20170115964A1 (en) * 2015-10-27 2017-04-27 Oracle Financial Services Software Limited Uniform interface specification for interacting with and executing models in a variety of runtime environments
CN106127657A (zh) * 2016-07-06 2016-11-16 成都丰窝科技有限公司 一种城市政府热线数据整合平台
CN106817419A (zh) * 2017-01-19 2017-06-09 四川奥诚科技有限责任公司 基于VoLTE AS网元的数据提取解析方法、装置及服务终端
US20190243865A1 (en) * 2018-02-07 2019-08-08 Sas Institute Inc. Identification and visualization of data set relationships in online library systems
CN109725167A (zh) * 2018-12-29 2019-05-07 安徽易商数码科技有限公司 粮油质检实验室仪器设备对接系统
CN110197424A (zh) * 2019-05-31 2019-09-03 上海银行股份有限公司 基于Redis的对账平台系统
CN111259006A (zh) * 2019-11-19 2020-06-09 中国科学院计算机网络信息中心 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及系统
CN111459944A (zh) * 2020-04-07 2020-07-28 北京红山信息科技研究院有限公司 一种mr数据存储方法、装置、服务器及存储介质
CN111984436A (zh) * 2020-08-25 2020-11-24 中央广播电视总台 一种数据采集系统
CN112102111A (zh) * 2020-09-27 2020-12-18 华电福新广州能源有限公司 一种发电厂数据智能处理系统

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
DANIEL SLAMANIG 等: "On cloud storage and the cloud of clouds approach", 2012 INTERNATIONAL CONFERENCE FOR INTERNET TECHNOLOGY AND SECURED TRANSACTIONS, pages 649 - 654 *
余飞;: "电信运营商大数据应用典型案例分析", 信息通信技术, no. 06, pages 63 - 69 *
刘斌 等: "基于远程医疗背景的服务接口集成设计", 福建电脑, no. 10, pages 8 - 9 *
化柏林 等: "公共文化服务大数据集成架构设计研究", 图书情报工作, no. 10, pages 3 - 11 *
徐强: "大数据存算分离加速企业数字化转型", 软件和集成电路, pages 98 - 99 *
朱奕健: "基于通信运营商数据的大数据实时流处理系统", 新技术, no. 2, pages 100 - 102 *
殷华杰 等: "基于大数据的航空数据采集与处理系统研究与设计", 航空电子技术, no. 02, pages 11 - 15 *
王铮: "随机森林在运营商大数据补全中的应用", 电信科学, no. 12, pages 7 - 12 *
班瑞 等: "运营商新型大数据感知分析系统研究与应用", 江苏通信, pages 47 - 50 *
豪华手抓饼: "大数据 09 Hadoop 实战 用户行为日志分析", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/lihaogn/article/details/82078489> *
靳丹 等: "基于Hadoop的大数据清洗框架设计与应用", 网络新媒体技术, no. 05, pages 33 - 38 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009998A (zh) * 2023-08-29 2023-11-07 上海倍通医药科技咨询有限公司 一种数据检验方法及系统

Also Published As

Publication number Publication date
CN113127413B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN111083225B (zh) 在物联网平台中的数据处理方法、装置及物联网平台
CN108829560B (zh) 数据监控方法、装置、计算机设备及存储介质
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN111291103B (zh) 接口数据的解析方法、装置、电子设备及存储介质
CN111935622B (zh) 带数字功放电子设备的调试方法、装置、设备及存储介质
CN109801677B (zh) 测序数据自动化分析方法、装置和电子设备
US20150227566A1 (en) Content Display Device, Content Display System, Data Structure, Content Display Method, and Content Display Program
CN109828859B (zh) 移动终端内存分析方法、装置、存储介质及电子设备
CN111124480A (zh) 应用程序包的生成方法、装置、电子设备及存储介质
CN107341141B (zh) 表单管理方法、装置、介质和计算设备
CN111552521A (zh) 应用数据上报方法、装置、服务器及存储介质
CN112084179A (zh) 一种数据处理的方法、装置、设备及存储介质
CN113127413B (zh) 一种运营商数据处理方法、装置、服务器及存储介质
CN110648126A (zh) 支付类型配置方法、装置、服务器及存储介质
CN112054934B (zh) 一种协议检测方法、装置及电子设备
CN110188308B (zh) 客户端自动打点上报方法、存储介质、设备及系统
CN111143310B (zh) 日志记录方法及装置、可读存储介质
CN111752916A (zh) 数据采集方法及装置、计算机可读存储介质、电子设备
CN116450511A (zh) 信息更新方法、装置、电子设备和计算机可读介质
CN116204428A (zh) 一种测试用例生成方法和装置
CN113590985B (zh) 页面跳转配置方法、装置、电子设备和计算机可读介质
CN115291793A (zh) 属性数据的转换方法和装置、存储介质及电子装置
CN114374745A (zh) 一种协议格式的处理方法及系统
CN114491171A (zh) 基于工业物联网的数据处理方法、系统、介质及电子设备
CN111143355B (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant