CN111147664B - 移动终端大数据处理方法、装置及存储介质 - Google Patents
移动终端大数据处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111147664B CN111147664B CN201911307902.9A CN201911307902A CN111147664B CN 111147664 B CN111147664 B CN 111147664B CN 201911307902 A CN201911307902 A CN 201911307902A CN 111147664 B CN111147664 B CN 111147664B
- Authority
- CN
- China
- Prior art keywords
- data
- mobile terminal
- processing
- layer
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 102
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000036541 health Effects 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000005338 heat storage Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Abstract
本发明公开了一种移动终端大数据处理方法、装置、大数据架构及存储介质，所述架构包括传输层、存储层、处理层和展示层，所述传输层、存储层、处理层和展示层依次相连；所述传输层，用于收集移动终端数据，并通过流处理平台上传；所述存储层，用于接收流处理平台上传的移动终端数据；根据应用需求，选择存储系统存储移动终端数据；所述处理层，用于获取移动终端数据；利用计算引擎和处理框架对移动终端数据进行处理，所述计算引擎用于对数据进行流处理，所述处理框架用于对数据进行批量处理；所述展示层，用于展示处理后的移动终端数据。本发明可以收集、存储、处理、展示和管理移动终端数据，可以给用户和运营者提供一个安全、稳定和有效的环境。
Description
技术领域
本发明涉及一种移动终端大数据处理方法、装置、大数据架构及存储介质，属于大数据处理及管理领域。
背景技术
大数据(big data)是近年来非常热门的词汇，又称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产，主要用于数据的整合，便于及时对数据信息进行分析。
目前，传统分析IP流数据局限于流量汇总视角，随着无线网络中移动终端(如手机等)的数据增长，需要更加细致的大数据系统来监测无线网络，以便对移动终端的大量数据流量进行收集、存储、处理、分析以及管理。
发明内容
有鉴于此，本发明提供了一种移动终端大数据处理方法、装置、大数据架构及存储介质，其可以收集、存储、处理、展示和管理移动终端数据，可以给用户和运营者提供一个安全、稳定和有效的环境。
本发明的第一个目的在于提供一种移动终端大数据处理方法。
本发明的第二个目的在于提供一种移动终端大数据处理装置。
本发明的第三个目的在于提供一种移动终端大数据架构。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种移动终端大数据处理方法，所述方法包括：
获取移动终端数据；
利用计算引擎和处理框架对移动终端数据进行处理；其中，所述计算引擎用于对数据进行流处理，所述处理框架用于对数据进行批量处理。
进一步的，所述利用计算引擎和处理框架对移动终端数据进行处理，具体包括：
根据流的数量、持续时间、字节、用户数量以及时间/空间动态包，对流量数据进行分析；
从移动数据流量用户的角度，对移动终端应用完成各个子任务的相关数据进行采集和分析；
对移动终端用户的行为进行分析。
进一步的，所述获取移动终端数据之前，还包括：
接收流处理平台上传的移动终端数据；
根据应用需求，选择存储系统存储移动终端数据。
进一步的，所述根据应用需求，选择存储系统存储移动终端数据，具体包括：
针对移动终端数据，若存在访问频率大于或等于第一频率阈值的数据，则选择热存储系统存储；
针对移动终端数据，若存在访问频率小于第一频率阈值，且大于或等于第二频率阈值的数据，则选择温存储系统存储；
针对移动终端数据，若存在访问频率小于第二频率阈值的数据，则选择冷存储系统存储。
本发明的第二个目的可以通过采取如下技术方案达到：
一种移动终端大数据处理装置，所述装置包括：
获取单元，用于获取移动终端数据；
处理单元，用于利用计算引擎和处理框架对移动终端数据进行处理；其中，所述计算引擎用于对数据进行流处理，所述处理框架用于对数据进行批量处理。
进一步的，所述获取单元之前，还包括：
接收单元，用于接收流处理平台上传的移动终端数据；
选择单元，用于根据应用需求，选择存储系统存储移动终端数据。
本发明的第三个目的可以通过采取如下技术方案达到：
一种移动终端大数据架构，所述架构包括传输层、存储层、处理层和展示层，所述传输层、存储层、处理层和展示层依次相连；
所述传输层，用于收集移动终端数据，并通过流处理平台上传；
所述存储层，用于接收流处理平台上传的移动终端数据；根据应用需求，选择存储系统存储移动终端数据；
所述处理层，用于获取移动终端数据；利用计算引擎和处理框架对移动终端数据进行处理；其中，所述计算引擎用于对数据进行流处理，所述处理框架用于对数据进行批量处理；
所述展示层，用于展示处理后的移动终端数据。
进一步的，所述架构还包括数据管理中心、权限管理中心和集群管理中心；
所述数据管理中心，用于通过得到文件的使用率，从而保证数据的安全和集群的健康；
所述权限管理中心，用于对不同的用户组提供了多种权限以保障架构安全。
进一步的，所述集群管理中心包括收集模块、警示模块和调试模块；
所述收集模块，用于收集性能信息和警示数据；
所述警示模块，用于若存在性能信息超过管理员预设的阈值，则将警示消息发送给管理员；
所述调试模块，用于管理和调试机器、服务和软件。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的移动终端大数据处理方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明对大量数据流量的收集、存储、处理、分析以及管理，同时对应数据增长的需求。具体而言，通过分析手机大数据的流、应用、以及用户行为的具体特征(如数据的体积大、应用的多样、时间空间信息)来提供基于实际数据分析的建议，从而解决无线网络中由数据增长带来的新难题。
2、本发明计算引擎和处理框架对移动终端数据进行处理，其中计算引擎可以对数据进行流处理，处理框架可以对数据进行批量处理；同时也支持周期性的分析工作，计算资源是按照处理任务的重要性来分配的。
3、本发明可以根据上层应用将数据存储在不同的存储系统中，数据存储系统有三种：热存储、温存储和冷存储，不活跃的数据(如不经常访问的数据、不会被访问的数据等)被存放在冷存储系统中，这类数据通常是用户希望保存(例如日志和非常老的数据)，而频繁被访问的数据就被存放在热存储系统中，温存储系统就是取二者之间的。
4、本发明可以实现跨场景，应用于不同的业务分析场景；具有较好的延展性，存储和计算可以通过增加计算机或计算资源的数量来轻易地拓展，通过集群管理中心可以有效地监控资源的消耗和最大地利用聚集资源，集群管理中心提供了各聚集的性能分析，从而可获知各聚集的使用情况；具有较好的稳定性，通过集群管理中心还可以监控机器、设备、软件等的状态，如果遇到了异常的情况，警示消息会发送至管理员。
5、本发明能够使开发者以相关语言(如Java)编写任务，并在命令行里向集群管理中心提交，数据管理中心提供了一个基于网页地交互接口用于提交和管理任务，该接口同时提供了常规分析任务的代码包，只要有编程基础的用户即可选择输入数据及其分析代码，从而启动一个任务。
6、本发明的安全性较高，通过权限管理中心可给予不同的用户组不同的权限角色，提供了识别、认证、授权以及权限控制功能，可以保障架构的安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的移动终端大数据架构的结构框图。
图2为本发明实施例1的移动终端大数据架构各个管理中心的示意图。
图3为本发明实施例1的移动终端大数据处理方法的流程图。
图4为本发明实施例2的移动终端大数据处理装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种移动终端大数据架构，该架构包括传输层、存储层、处理层和展示层，传输层、存储层、处理层和展示层依次相连，移动终端可以是手机、平板电脑等，具体说明如下：
1)传输层：采用Flume作为收集器，以及采用Kafka作为传输器，其中Flume是分布式的海量日志采集、聚合和传输的系统，Kafka为开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，传输层通过Flume收集移动终端数据，并通过Kafka流处理平台上传。
2)存储层：接收Kafka上传的移动终端数据，这些数据可以通过处理层的Spark 进行实时处理，也可以根据应用需求，选择存储系统存储移动终端数据，具体如下：
A、热存储系统：若存在访问频率大于或等于第一频率阈值的数据，即这类数据是频繁访问的数据，则选择热存储系统存储，这类数据会直接从原始数据中处理或者提取，而且通常可以在网页接口中访问，基于热存储，开发者可以开发上层应用，如分析用户行为、业务市场等，由于热存储系统消耗最多的计算资源，只允许一小部分数据被热存储系统存储。
B、温存储系统：若存在访问频率小于第一频率阈值，且大于或等于第二频率阈值的数据，即这类数据是不太频繁被访问的数据，则选择温存储系统存储，这类数据主要是通过Hadoop分布式文件系统HDFS实现的，所以运行、处理速度会慢一点。
C、冷存储系统：若存在访问频率小于第二频率阈值的数据，则选择冷存储系统存储，即这类数据是不活跃的数据，该存储使得不活跃的数据的存放更经济。
3)处理层：在收集和存储移动终端数据后，使用Apache Hadoop和Spark来处理移动终端数据，Hadoop提供了分布式数据存储HDFS和处理框架MapReduce，Spark 为大规模数据处理而设计的快速通用的计算引擎，可以对数据进行流处理(stream processing)，处理框架MapReduce可以对数据进行批量处理(batch processing)，可以有效地避免了内存资源不足的异常。
利用MapReduce/Spark程序可从以下三个角度分析移动终端数据：
A、流层统计：根据流的数量、持续时间、字节、用户数量以及时间/空间动态包，对流量数据进行分析，常规模式、具体指纹或者异常流量都可以被识别用于后期分析。
B、应用层统计：移动终端应用的持续增长驱动全球4G的部署和使用，也会即将迈入5G，从移动数据流量用户的角度，对移动终端应用完成各个子任务的相关数据进行采集和分析，本实施例的移动终端应用为本地网络下的基于HTTP的移动终端应用，各个子任务的相关数据可以包括时间数据，除了时间数据，其他的数据与应用、场景有关，不同的应用和场景有不同的数据。
C、用户层分析：提升用户体验是运营者的最终目标。但是，由于QoE包括多数难以测量的主观因素(成本、可靠性、效率、隐私、安全、接口对用户的友好程度、用户置信度等)，现有的无线网络生态系统缺乏对于QoE(体验质量)的考虑；为了解决这个问题，提供了对移动终端用户的行为进行分析(包括网上浏览行为和线下移动行为，如用户搜索过的关键字、使用应用时的地理位置等数据)。从而针对移动终端用户需求可以被更好地理解甚至预测。
通过流层、应用层和用户层这三个角度进行分析之后，得到的数据会更立体，多维化，结合之后的分析解决不同的需求。
4)展示层：可以展示处理层处理后的移动终端数据。
当集群越变越大，如何管理集群和保证其健康就成为了一个重要的问题，集群管理员可能会在安装、调试、修复节点上花费大量时间；同时，提升效率和确保数据安全也是至关重要，如图2所示，本实施例架构还包括数据管理中心、权限管理中心和集群管理中心，展示了数据管理、权限管理以及集群管理的功能，从传输层、存储层和处理层中采集原数据，通过发送给每个节点命令来控制整个集群；数据管理中心、权限管理中心和集群管理中心的具体说明如下：
1)集群管理中心
集群管理中心从传输层、存储层和处理层中采集原数据，其包括收集模块、警示模块和调试模块，各个模块的说明如下：
A、收集模块
使用Flume来收集性能信息和警示数据，Flume的Exec Source从集群中收集信息手段为：Hadoop/Spark/Storm/Hive/GreenPlum等信息通过其日志，API以及Java管理拓展API收集的；性能信息(CPU、内存、磁盘I/O、网络I/O)是由位于/proc目录下的文件内获取的；机器/服务/软件状态信息是通过周期性地发送PING，从监控其对应心跳而获取的；这些收集的数据通过Flume的JDBC通道存储在其数据库中。
B、警示模块
若存在性能信息超过管理员预设的阈值，则将警示消息发送给管理员，警示消息可以为警示短信、警示邮件、警示通知等，常见警示包括主要节点宕机(一级警示)，节点宕机(中级警示)，CPU过载(低级警示)等。
C、调试模块
通过zookeeper发送Linux命令来管理和调试机器、服务和软件，管理者一个基于生产者/消费者模型的队列和其他运行命令的机器的daemon，网页接口传输用户数据和更新zookeeper的命名空间；同时，zookeeper还负责将用户指令从服务端发送到客户端；最后，每个机器的daemon修改/删除/添加指标、启动/停止服务和软件以及根据用户指令来配置。
2)数据管理中心
数据管理中心从传输层、存储层和处理层中采集原数据，在通过得到文件的使用率从而保证数据的安全和集群的健康，通过跟踪HDFS内数据的生命周期，将不常访问的文件存储/移动到冷存储系统中、平衡频繁访问的使用数据，删除或者合并文件，锁定集群里用户异常行为，从而提升集群的性能和避免资源的浪费，但是HDFS将原始文件分成多块存储在集群中不同的奴隶节点上；因此，该数据管理中心可以同时从文件层面(用户视角)、任务层面(MapReduce视角)和块层面(HDFS/机器视角)监控数据的上传、存储、使用、移动、改变和删除。
A、追访功能：可以在网页接口上通过关键字找到相关文件。
B、统计功能：可以对于每一个文件持有者、目录、文件类型统计文件数量、大小和使用情况；同时也提供了文件分布情况，以发现并减少存储和I/O热点。
C、监控功能：可以监控任何用户对任何文件做了任何操作，同时也可以记录数据文件块的改变和移动。
3)权限管理中心
权限管理中心从存储层和处理层中采集原数据，可以对不同的用户组提供了多种权限，以保障架构安全，各种用户组的权限说明如下：
A、普通用户：不允许访问除与自己相关的数据及文件目录。
B、学生用户：可以访问公共信息，但是不能下载公共信息；密码必须定期更新。
C、超级用户：可以不使用密码来访问公共信息，但是不能下载公共信息。
C、管理员：可以增删查改位于HDFS任意目录下的数据。
权限功能还可以通过LDAP协议来管理用户账户和执行权限，所有用户的所有行为都被跟踪和记录。
如图3所示，本实施例提供了一种移动终端大数据处理方法，该方法包括以下步骤：
S301、接收流处理平台上传的移动终端数据。
S302、根据应用需求，选择存储系统存储移动终端数据。
S303、获取移动终端数据。
S304、利用计算引擎和处理框架对移动终端数据进行处理。
其中步骤S301～S302通过上述的存储层实现，步骤S303～S304通过上述的处理层实现，在此不再一一赘述。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图4所示，本实施例提供了一种移动终端大数据处理装置，该装置包括接收单元401、选择单元402、获取单元403和处理单元404，各个单元的具体功能如下：
所述接收单元401，用于接收流处理平台上传的移动终端数据。
所述选择单元402，用于根据应用需求，选择存储系统存储移动终端数据。
所述获取单元403，用于获取移动终端数据。
所述处理单元404，用于利用计算引擎和处理框架对移动终端数据进行处理；其中，所述计算引擎用于对数据进行流处理，所述处理框架用于对数据进行批量处理。
进一步地，所述选择单元402中，根据应用需求，选择存储系统存储移动终端数据，具体包括：
针对移动终端数据，若存在访问频率大于或等于第一频率阈值的数据，则选择热存储系统存储。
针对移动终端数据，若存在访问频率小于第一频率阈值，且大于或等于第二频率阈值的数据，则选择温存储系统存储。
针对移动终端数据，若存在访问频率小于第二频率阈值的数据，则选择冷存储系统存储。
进一步地，所述处理单元404中，利用计算引擎和处理框架对移动终端数据进行处理，具体包括：
根据流的数量、持续时间、字节、用户数量以及时间/空间动态包，对流量数据进行分析。
从移动数据流量用户的角度，对移动终端应用完成各个子任务的相关数据进行采集和分析。
对移动终端用户的行为进行分析。
本实施例中各个模块的具体实现可以参见上述实施例1的移动终端大数据处理方法，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的移动终端大数据处理方法，如下：
接收流处理平台上传的移动终端数据；
根据应用需求，选择存储系统存储移动终端数据；
获取移动终端数据；
利用计算引擎和处理框架对移动终端数据进行处理；其中，所述计算引擎用于对数据进行流处理，所述处理框架用于对数据进行批量处理。
进一步地，所述利用计算引擎和处理框架对移动终端数据进行处理，具体包括：
根据流的数量、持续时间、字节、用户数量以及时间/空间动态包，对流量数据进行分析；
从移动数据流量用户的角度，对移动终端应用完成各个子任务的相关数据进行采集和分析；
对移动终端用户的行为进行分析。
进一步地，所述根据应用需求，选择存储系统存储移动终端数据，具体包括：
针对移动终端数据，若存在访问频率大于或等于第一频率阈值的数据，则选择热存储系统存储；
针对移动终端数据，若存在访问频率小于第一频率阈值，且大于或等于第二频率阈值的数据，则选择温存储系统存储；
针对移动终端数据，若存在访问频率小于第二频率阈值的数据，则选择冷存储系统存储。
本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
综上所述，本发明对大量数据流量的收集、存储、处理、分析以及管理，同时对应数据增长的需求。具体而言，通过分析手机大数据的流、应用、以及用户行为的具体特征(如数据的体积大、应用的多样、时间空间信息)来提供基于实际数据分析的建议，从而解决无线网络中由数据增长带来的新难题。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (5)
1.一种移动终端大数据处理方法，其特征在于，基于移动终端大数据架构实现，所述架构包括传输层、存储层、处理层和展示层，所述传输层、存储层、处理层和展示层依次相连；
所述传输层，采用Flume作为收集器，以及采用Kafka作为传输器，其中Flume是分布式的海量日志采集、聚合和传输的系统，Kafka为开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统，能够处理消费者规模的网站中的所有动作流数据，通过Flume收集移动终端数据，并通过Kafka流处理平台上传；
所述存储层，接收Kafka上传的移动终端数据，这些数据能够通过处理层的Spark进行实时处理，也能够根据应用需求，选择存储系统存储移动终端数据，具体如下：
热存储系统：若存在访问频率大于或等于第一频率阈值的数据，即这类数据是频繁访问的数据，则选择热存储系统存储，这类数据会直接从原始数据中处理或者提取，而且能够在网页接口中访问；
温存储系统：若存在访问频率小于第一频率阈值，且大于或等于第二频率阈值的数据，即这类数据是不太频繁被访问的数据，则选择温存储系统存储，这类数据主要通过Hadoop分布式文件系统HDFS实现；
冷存储系统：若存在访问频率小于第二频率阈值的数据，即这类数据是不活跃的数据，则选择冷存储系统存储；
所述处理层，在收集和存储移动终端数据后，使用Apache Hadoop 和 Spark来处理移动终端数据，Hadoop提供了分布式数据存储HDFS和处理框架MapReduce，Spark为大规模数据处理而设计的快速通用的计算引擎，能够对数据进行流处理，处理框架MapReduce能够对数据进行批量处理；
所述展示层，用于展示处理后的移动终端数据；
所述方法包括：
通过存储层接收流处理平台上传的移动终端数据，并根据应用需求，选择存储系统存储移动终端数据；
通过处理层获取移动终端数据，并利用计算引擎和处理框架对移动终端数据进行处理；
所述利用计算引擎和处理框架对移动终端数据进行处理，具体包括：
流层统计：根据流的数量、持续时间、字节、用户数量以及时间/空间动态包，对流量数据进行分析；
应用层统计：从移动数据流量用户的角度，对移动终端应用完成各个子任务的相关数据进行采集和分析，所述移动终端应用为本地网络下的基于HTTP的移动终端应用，各个子任务的相关数据包括时间数据以及与应用、场景有关的数据；
用户层分析：对移动终端用户的行为进行分析，所述用户的行为包括网上浏览行为和线下移动行为。
2.根据权利要求1所述的移动终端大数据处理方法，其特征在于，所述架构还包括数据管理中心、权限管理中心和集群管理中心；
所述数据管理中心，用于通过得到文件的使用率，从而保证数据的安全和集群的健康；
所述权限管理中心，用于对不同的用户组提供了多种权限以保障架构安全；
所述集群管理中心包括收集模块、警示模块和调试模块；
所述收集模块，用于收集性能信息和警示数据；
所述警示模块，用于若存在性能信息超过管理员预设的阈值，则将警示消息发送给管理员；
所述调试模块，用于管理和调试机器、服务和软件。
3.一种移动终端大数据处理装置，其特征在于，基于移动终端大数据架构实现，所述架构包括传输层、存储层、处理层和展示层，所述传输层、存储层、处理层和展示层依次相连；
所述传输层，采用Flume作为收集器，以及采用Kafka作为传输器，其中Flume是分布式的海量日志采集、聚合和传输的系统，Kafka为开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统，能够处理消费者规模的网站中的所有动作流数据，通过Flume收集移动终端数据，并通过Kafka流处理平台上传；
所述存储层，接收Kafka上传的移动终端数据，这些数据能够通过处理层的Spark进行实时处理，也能够根据应用需求，选择存储系统存储移动终端数据，具体如下：
热存储系统：若存在访问频率大于或等于第一频率阈值的数据，即这类数据是频繁访问的数据，则选择热存储系统存储，这类数据会直接从原始数据中处理或者提取，而且能够在网页接口中访问；
温存储系统：若存在访问频率小于第一频率阈值，且大于或等于第二频率阈值的数据，即这类数据是不太频繁被访问的数据，则选择温存储系统存储，这类数据主要通过Hadoop分布式文件系统HDFS实现；
冷存储系统：若存在访问频率小于第二频率阈值的数据，即这类数据是不活跃的数据，则选择冷存储系统存储；
所述处理层，在收集和存储移动终端数据后，使用Apache Hadoop 和 Spark来处理移动终端数据，Hadoop提供了分布式数据存储HDFS和处理框架MapReduce，Spark为大规模数据处理而设计的快速通用的计算引擎，能够对数据进行流处理，处理框架MapReduce能够对数据进行批量处理；
所述展示层，用于展示处理后的移动终端数据；
所述装置包括：
接收单元，用于接收流处理平台上传的移动终端数据；
选择单元，用于根据应用需求，选择存储系统存储移动终端数据；
获取单元，用于获取移动终端数据；
处理单元，用于利用计算引擎和处理框架对移动终端数据进行处理；
所述接收单元和选择单元通过存储层实现，所述获取单元和处理单元通过处理层实现；
所述利用计算引擎和处理框架对移动终端数据进行处理，具体包括：
流层统计：根据流的数量、持续时间、字节、用户数量以及时间/空间动态包，对流量数据进行分析；
应用层统计：从移动数据流量用户的角度，对移动终端应用完成各个子任务的相关数据进行采集和分析，所述移动终端应用为本地网络下的基于HTTP的移动终端应用，各个子任务的相关数据包括时间数据以及与应用、场景有关的数据；
用户层分析：对移动终端用户的行为进行分析，所述用户的行为包括网上浏览行为和线下移动行为。
4.根据权利要求3所述的移动终端大数据处理装置，其特征在于，所述架构还包括数据管理中心、权限管理中心和集群管理中心；
所述数据管理中心，用于通过得到文件的使用率，从而保证数据的安全和集群的健康；
所述权限管理中心，用于对不同的用户组提供了多种权限以保障架构安全；
所述集群管理中心包括收集模块、警示模块和调试模块；
所述收集模块，用于收集性能信息和警示数据；
所述警示模块，用于若存在性能信息超过管理员预设的阈值，则将警示消息发送给管理员；
所述调试模块，用于管理和调试机器、服务和软件。
5.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-2任一项所述的移动终端大数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911307902.9A CN111147664B (zh) | 2019-12-18 | 2019-12-18 | 移动终端大数据处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911307902.9A CN111147664B (zh) | 2019-12-18 | 2019-12-18 | 移动终端大数据处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111147664A CN111147664A (zh) | 2020-05-12 |
| CN111147664B true CN111147664B (zh) | 2021-11-12 |
Family
ID=70518725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911307902.9A Active CN111147664B (zh) | 2019-12-18 | 2019-12-18 | 移动终端大数据处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111147664B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205620984U (zh) * | 2016-04-01 | 2016-10-05 | 南京紫光云信息科技有限公司 | 一种数据分层存储设备 |
| CN107391719A (zh) * | 2017-07-31 | 2017-11-24 | 南京邮电大学 | 一种云环境中分布式流数据处理方法及系统 |
| CN108021929A (zh) * | 2017-11-16 | 2018-05-11 | 华南理工大学 | 基于大数据的移动端电商用户画像建立与分析方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10348810B1 (en) * | 2015-04-06 | 2019-07-09 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct clouds |
| CN105468735A (zh) * | 2015-11-23 | 2016-04-06 | 武汉虹旭信息技术有限责任公司 | 基于移动互联网海量信息的流式预处理系统及其方法 |
-
2019
- 2019-12-18 CN CN201911307902.9A patent/CN111147664B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205620984U (zh) * | 2016-04-01 | 2016-10-05 | 南京紫光云信息科技有限公司 | 一种数据分层存储设备 |
| CN107391719A (zh) * | 2017-07-31 | 2017-11-24 | 南京邮电大学 | 一种云环境中分布式流数据处理方法及系统 |
| CN108021929A (zh) * | 2017-11-16 | 2018-05-11 | 华南理工大学 | 基于大数据的移动端电商用户画像建立与分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111147664A (zh) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10515000B2 (en) | Systems and methods for performance testing cloud applications from multiple different geographic locations | |
| US11429627B2 (en) | System monitoring driven by automatically determined operational parameters of dependency graph model with user interface | |
| US11700303B1 (en) | Distributed data analysis for streaming data sources | |
| Calzarossa et al. | Workload characterization: A survey revisited | |
| Liu et al. | Monitoring and analyzing big traffic data of a large-scale cellular network with Hadoop | |
| US11249874B2 (en) | Content-sensitive container scheduling on clusters | |
| US20200104401A1 (en) | Real-Time Measurement And System Monitoring Based On Generated Dependency Graph Models Of System Components | |
| US10904112B2 (en) | Automatic capture of detailed analysis information based on remote server analysis | |
| US9811445B2 (en) | Methods and systems for the use of synthetic users to performance test cloud applications | |
| CN115344548B (zh) | 预测存储服务 | |
| CN103532780A (zh) | 用于it领域的运维监控一体化系统及一体化监控方法 | |
| EP2719153A1 (en) | Model-based method for managing information derived from network traffic | |
| CN111740860A (zh) | 日志数据传输链路监控方法及装置 | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN111654321B (zh) | 卫星网络的管理方法、装置及电子设备 | |
| CN103310087A (zh) | 业务数据统计分析方法和装置 | |
| WO2014153359A1 (en) | Systems and methods for scalable network monitoring | |
| Palanivel | Modern network analytics architecture stack to enterprise networks | |
| CN113259493B (zh) | 基于Ukey机柜的Ukey信息获取方法、装置、设备和存储介质 | |
| CN102200943B (zh) | 一种基于后台自动检测cpu使用率的方法和设备 | |
| CN108337100B (zh) | 一种云平台监测的方法和装置 | |
| Martinez-Mosquera et al. | Development and evaluation of a big data framework for performance management in mobile networks | |
| CN111147664B (zh) | 移动终端大数据处理方法、装置及存储介质 | |
| CN117389830A (zh) | 集群日志采集方法、装置、计算机设备及存储介质 | |
| CN112685270A (zh) | 一种系统监控日志的采集方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240403 Address after: No.23 Nanxiang 2nd Road, Science City, Guangzhou hi tech Industrial Development Zone, Guangdong 510000 Patentee after: HAIHUA ELECTRONICS ENTERPRISE (CHINA) Corp. Country or region after: China Address before: 510235 floor 3, Haitian building, No. 28, Binjiang West Road, Haizhu District, Guangzhou City, Guangdong Province Patentee before: GUANGDONG SOUTHERN COAST TECHNOLOGY SERVICES CO.,LTD. Country or region before: China |