CN106982150A - 一种基于Hadoop的移动互联网用户行为分析方法 - Google Patents

一种基于Hadoop的移动互联网用户行为分析方法 Download PDF

Info

Publication number
CN106982150A
CN106982150A CN201710189942.2A CN201710189942A CN106982150A CN 106982150 A CN106982150 A CN 106982150A CN 201710189942 A CN201710189942 A CN 201710189942A CN 106982150 A CN106982150 A CN 106982150A
Authority
CN
China
Prior art keywords
data
business
dpi
information
hadoop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710189942.2A
Other languages
English (en)
Other versions
CN106982150B (zh
Inventor
侯静
陈敏俊
温亮生
张治中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
Chongqing University of Post and Telecommunications
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications, China Mobile Hangzhou Information Technology Co Ltd filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710189942.2A priority Critical patent/CN106982150B/zh
Publication of CN106982150A publication Critical patent/CN106982150A/zh
Application granted granted Critical
Publication of CN106982150B publication Critical patent/CN106982150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于Hadoop的移动互联网用户行为分析方法，所述方法包括：2G/3G/LTE网络数据采集步骤；协议栈解析步骤；实时DPI业务识别步骤；网络爬虫步骤；二次DPI业务识别步骤；以及数据挖掘步骤。本发明提供的一种基于Hadoop的移动互联网用户行为分析方法，能够解决当前电信运营商的流量经营方案单一、数据处理效率低下的问题。

Description

一种基于Hadoop的移动互联网用户行为分析方法
技术领域
本发明属于通信技术领域，尤其涉及一种基于Hadoop的移动互联网用户行为分析方法。
背景技术
随着4G网络的商用和广泛部署，为了给用户提供全面、优质的个性化服务，运营商有必要对用户的业务和流量进行全面系统的研究和分析，因此建立一套高效综合的移动互联网用户行为分析系统不仅是运营商拓展业务需要解决的问题，对内容提供商和用户来说都非常有益。移动互联网用户行为分析系统采用模块化的设计思想，将协议栈解码、DPI(deep packet inspection，深度包检测)业务识别封装成DLL(dynamic link library，动态链接库)，从而实现各个模块之间的松耦合。在移动互联网用户行为分析过程中，随着时间周期逐渐增大，移动互联网用户产生和应用的数据量日益增大，海量用户数据的出现和数据结构的多样化，传统的基于关系型数据库的处理方法已无法满足现有业务数据存储和处理需求，Hadoop分布式技术的发展为移动互联网用户行为分析提供了解决方案。
Hadoop是Apache组织管理的一个开源项目，目前得到了大量的应用，Hadoop已经成长为包括Hadoop common，HDFS，MapReduce，ZooKeeper，Avro，Chukwa，HBase，Hive，Mahout，Pig在内的10个子项目，Hadoop的核心是由HadoopCommon、HDFS(HadoopDistributed File System)以及Map Reduce三个子系统组成。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。
Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Mahout是Apache Software Foundation(ASF)旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用ApacheHadoop库，Mahout可以有效地扩展到云中。
目前还没有一种用于大数据环境下移动互联网用户行为分析方法，特别是能够适应运营商大数据发展的流量经营方法，从而导致电信运营商的流量经营方案单一、数据处理效率低下。
发明内容
有鉴于此，本发明的目的在于提供一种基于Hadoop的移动互联网用户行为分析方法，能够解决当前电信运营商的流量经营方案单一、数据处理效率低下的问题。
为达到上述目的，本发明提供如下技术方案：
一种基于Hadoop的移动互联网用户行为分析方法，所述方法包括：
2G/3G/LTE网络数据采集：通过采集卡从2G/3G/LTE网络接口采集移动互联网用户在网络中从事活动的原始信令数据与业务数据，并将所述原始信令数据与所述业务数据导入到分布式文件系统HDFS，以通过HDFS提供数据访问业务；
协议栈解析：将所述原始信令数据与所述业务数据翻译为具有逻辑意义的数据结构的业务流，为深度包检测DPI业务识别提供上下文；
实时DPI业务识别：对所述业务流中的指定报文数据进行信息检测，以识别所述业务流所承载的应用类型；
网络爬虫：通过爬虫程序定向抓取互联网中的信息，所述信息包括视频业务的名称、类型，并将抓取的信息保存到DPI特征库中；
二次DPI业务识别：基于爬虫所建立的DPI特征库，通过正则表达式从URL中获取关键值，并与所述DPI特征库进行匹配，以获取移动互联网用户的详细信息，并将所述用户的详细信息导入到Hive；
数据挖掘：在Hive中进行数据分析及预处理，并通过Mahout/Spark组件对所述用户的详细信息进行聚类分析、分类预测、推荐以及关联分析，并导出结果数据，以实现电信运营商的客户关系管理及市场推广应用。
进一步地，所述2G/3G/LTE网络接口包括A接口、Mc接口、S1接口、S6a接口中的至少一个；导入至HDFS的原始信令数据与业务数据按照年、月、天进行数据分区。
进一步地，将所述原始信令数据与所述业务数据翻译为具有逻辑意义的数据结构的业务流包括：
从接口协议栈中从底到顶逐层解析，提取本层协议关键字段信息后，根据上层协议标识调用对应的协议解码器，递交协议数据单元PDU至上层协议解码接口，并以此递归，直至没有上层协议为止。
进一步地，对所述业务流中的指定报文数据进行信息检测包括：
通过特征要素识别业务流中业务的主类型与子类型；其中，所述特征要素包括Host特征、Refer特征、URL特征、IP地址以及端口中的至少一个，并建立特征要素识别表。
进一步地，通过爬虫程序定向抓取互联网中的信息包括：
爬虫程序从配置文件读取一个起始的URL，下载页面内容并对页面进行解析，以获取有用的URL信息，并将解析出的信息保存到DPI特征库中。
进一步地，所述DPI特征库可根据配置情况每天进行更新。
进一步地，所述数据挖掘的步骤包括数据清洗、数据分析、建模分析、结果验证中的至少一个流程；根据不同的用户行为及市场需求，制定不同的数据挖掘方案。
本发明的有益效果在于：
(1)本发明基于Hadoop云平台，将海量移动互联网用户行为的原始数据存储在HDFS上，为原始信令数据和业务数据提供具备高容错、高吞吐、低成本的存储空间，支持以流的形式访问文件系统中的数据；将二次DPI识别后的用户信息保存到Hive中，通过类SQL语句快速实现简单的MapReduce统计；运用Mahout/Spark等数据挖掘组件，实现移动互联网用户行为快速、全方位的挖掘与分析。
(2)本发明融合DPI技术、网络爬虫技术、数据分析与挖掘技术、大数据存储与处理技术，为大数据环境下电信运营商流量经营提供了一套完善的解决方案。
(3)本发明所述的基于Hadoop的移动互联网用户行为分析方法，相对于传统用户行为分析系统而言，通过一次DPI、二次DPI有效提升了用户行为提取的准确性，同时通过数据挖掘相关技术，使市场推广及运用更具科学依据。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的一种基于Hadoop的移动互联网用户行为分析方法的流程图；
图2为本发明中的DPI业务识别流程图；
图3为本发明中的特征要素识别表；
图4为本发明中网络爬虫流程图；
图5为本发明中的DPI特征库；
图6为本发明中二次DPI业务识别的流程；
图7为本发明中二次DPI业务识别结果；
图8为本发明中聚类法分析的结果。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
如图1所示，本发明提供了一种基于Hadoop的移动互联网用户行为分析方法，所述方法包括以下步骤：
S1：2G/3G/LTE网络数据采集：通过采集卡从2G/3G/LTE网络接口采集移动互联网用户在网络中从事活动的原始信令数据与业务数据，并将所述原始信令数据与所述业务数据导入到分布式文件系统HDFS，以通过HDFS提供数据访问业务；
S2：协议栈解析：将所述原始信令数据与所述业务数据翻译为具有逻辑意义的数据结构的业务流，为深度包检测DPI业务识别提供上下文；
S3：实时DPI业务识别：对所述业务流中的指定报文数据进行信息检测，以识别所述业务流所承载的应用类型；
S4：网络爬虫：通过爬虫程序定向抓取互联网中的信息，所述信息包括视频业务的名称、类型，并将抓取的信息保存到DPI特征库中；
S5：二次DPI业务识别：基于爬虫所建立的DPI特征库，通过正则表达式从URL中获取关键值，并与所述DPI特征库进行匹配，以获取移动互联网用户的详细信息，并将所述用户的详细信息导入到Hive；
S6：数据挖掘：在Hive中进行数据分析及预处理，并通过Mahout/Spark组件对所述用户的详细信息进行聚类分析、分类预测、推荐以及关联分析，并导出结果数据，以实现电信运营商的客户关系管理及市场推广应用。
在本实施方式中，所述2G/3G/LTE网络接口包括A接口、Mc接口、S1接口、S6a接口中的至少一个；导入至HDFS的原始信令数据与业务数据按照年、月、天进行数据分区。
在本实施方式中，将所述原始信令数据与所述业务数据翻译为具有逻辑意义的数据结构的业务流包括：
从接口协议栈中从底到顶逐层解析，提取本层协议关键字段信息后，根据上层协议标识调用对应的协议解码器，递交协议数据单元PDU至上层协议解码接口，并以此递归，直至没有上层协议为止。
在本实施方式中，对所述业务流中的指定报文数据进行信息检测包括：
通过特征要素识别业务流中业务的主类型与子类型；其中，所述特征要素包括Host特征、Refer特征、URL特征、IP地址以及端口中的至少一个，并建立特征要素识别表。
在本实施方式中，通过爬虫程序定向抓取互联网中的信息包括：
爬虫程序从配置文件读取一个起始的URL，下载页面内容并对页面进行解析，以获取有用的URL信息，并将解析出的信息保存到DPI特征库中。
在本实施方式中，所述DPI特征库可根据配置情况每天进行更新。
在本实施方式中，所述数据挖掘的步骤包括数据清洗、数据分析、建模分析、结果验证中的至少一个流程；根据不同的用户行为及市场需求，制定不同的数据挖掘方案。
具体地，以腾讯视频用户偏好聚类分析为例，该方法包括如下步骤：
步骤1：通过采集卡从2G/3G/LTE网络接口采集移动互联网用户在网络中进行所有活动的原始信令数据与业务数据，并将原始数据导入到分布式文件系统HDFS，由HDFS提供高吞吐量的数据访问能力，并按照年、月、天的进行数据分区。
步骤2：协议栈解析，将网络中采集的原始数据翻译为具有逻辑意义的数据结构，为DPI业务识别提供上下文。
步骤3：实时DPI业务识别，采用基于“特征要素”的识别技术，对业务流中特定报文数据进行信息检测从而识别业务流所承载的应用类型。特征要素主要分为HOST、URL、Refer、IP地址以及端口。实时DPI业务识别流程如图2所示，首先可以对数据进行预处理，然后可以提取预处理后的数据中的特征字段信息。该特征字段信息中可以包括HOST字段信息。然后可以对HOST字段信息进行分析，并判断是否在HOST字段信息中查找到内容。如果查到了，可以进一步判断是否得到业务类型。如果没有查找到内容或者并没有得到业务类型，可以进一步分析URL字段信息。同样地，可以针对URL字段信息进行上述的查找内容和分析业务类型的步骤，以此类推，对后续的字段信息也用同样的方式进行处理，直至分析完特征字段信息中的每个信息。以音乐、视频、微博、及时通信、邮箱五大类为例，所具备的特征要素识别表如图3所示。
步骤4：网络爬虫，通过爬虫程序定向抓取互联网中的信息，如视频业务的名称、类型等详细信息，并将获取的信息保存到DPI特征库中。网络爬虫的流程可以参阅图4。具体地，爬虫程序可以读取特征库中已经存在的信息，并将已经存在的信息存储到哈希表(hashtable)中。然后可以读取配置文件，以获取URL。在获取了URL之后，可以将获取的URL加入到URLlist队列中，从而可以逐条对URL进行分析。具体地，可以从中取一条URL，然后下载该URL的页面，并解析页面信息。如果在哈希表中不存在解析出的页面信息，则可以将该页面信息加入至哈希表中，并将该页面信息插入DPI特征库中。接着可以对下一条URL进行同样的分析。网络爬虫流程以腾讯视频为例，其特征库如图5所示。
步骤5：二次DPI业务识别，基于爬虫所建立的DPI特征库，通过正则表达式从URL中获取关键值(key)，并与DPI特征库进行匹配，并将用户信息导入到Hive，进行相关统计分析。二次DPI业务识别的流程如图6所示。具体地，首先可以加载匹配规则并建立域名字典。然后可以加载第一次DPI业务识别后得到的DPI特征库，并基于该DPI特征库建立DPI集合字典。接着，可以读取CSV文件，并基于所述CSV文件获取HOST信息，并进行域名匹配。匹配成功之后可以继续匹配关键值，关键值匹配成功之后，可以进行DPI集合字典匹配，如果匹配成功，则可以将信息插入DPI特征库中，以更新所述DPI特征库。腾讯视频用户二次DPI业务识别结果如图7所示。
步骤6：数据挖掘，在Hive中对数据进行相关预处理，通过Mahout/Spark组件中进行用户偏好聚类分析，ID为用户IMSI号，聚类分析维度包括本月浏览时常和本月浏览次数，得到的用户聚类分析结果如图8所示。
本发明的有益效果在于：
(1)本发明基于Hadoop云平台，将海量移动互联网用户行为的原始数据存储在HDFS上，为原始信令数据和业务数据提供具备高容错、高吞吐、低成本的存储空间，支持以流的形式访问文件系统中的数据；将二次DPI识别后的用户信息保存到Hive中，通过类SQL语句快速实现简单的MapReduce统计；运用Mahout/Spark等数据挖掘组件，实现移动互联网用户行为快速、全方位的挖掘与分析。
(2)本发明融合DPI技术、网络爬虫技术、数据分析与挖掘技术、大数据存储与处理技术，为大数据环境下电信运营商流量经营提供了一套完善的解决方案。
(3)本发明所述的基于Hadoop的移动互联网用户行为分析方法，相对于传统用户行为分析系统而言，通过一次DPI、二次DPI有效提升了用户行为提取的准确性，同时通过数据挖掘相关技术，使市场推广及运用更具科学依据。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种基于Hadoop的移动互联网用户行为分析方法，其特征在于，所述方法包括：
2G/3G/LTE网络数据采集：通过采集卡从2G/3G/LTE网络接口采集移动互联网用户在网络中从事活动的原始信令数据与业务数据，并将所述原始信令数据与所述业务数据导入到分布式文件系统HDFS，以通过HDFS提供数据访问业务；
协议栈解析：将所述原始信令数据与所述业务数据翻译为具有逻辑意义的数据结构的业务流，为深度包检测DPI业务识别提供上下文；
实时DPI业务识别：对所述业务流中的指定报文数据进行信息检测，以识别所述业务流所承载的应用类型；
网络爬虫：通过爬虫程序定向抓取互联网中的信息，所述信息包括视频业务的名称、类型，并将抓取的信息保存到DPI特征库中；
二次DPI业务识别：基于爬虫所建立的DPI特征库，通过正则表达式从URL中获取关键值，并与所述DPI特征库进行匹配，以获取移动互联网用户的详细信息，并将所述用户的详细信息导入到Hive；
数据挖掘：在Hive中进行数据分析及预处理，并通过Mahout/Spark组件对所述用户的详细信息进行聚类分析、分类预测、推荐以及关联分析，并导出结果数据，以实现电信运营商的客户关系管理及市场推广应用。
2.如权利要求1所述的方法，其特征在于，所述2G/3G/LTE网络接口包括A接口、Mc接口、S1接口、S6a接口中的至少一个；导入至HDFS的原始信令数据与业务数据按照年、月、天进行数据分区。
3.如权利要求1所述的方法，其特征在于，将所述原始信令数据与所述业务数据翻译为具有逻辑意义的数据结构的业务流包括：
从接口协议栈中从底到顶逐层解析，提取本层协议关键字段信息后，根据上层协议标识调用对应的协议解码器，递交协议数据单元PDU至上层协议解码接口，并以此递归，直至没有上层协议为止。
4.如权利要求1所述的方法，其特征在于，对所述业务流中的指定报文数据进行信息检测包括：
通过特征要素识别业务流中业务的主类型与子类型；其中，所述特征要素包括Host特征、Refer特征、URL特征、IP地址以及端口中的至少一个，并建立特征要素识别表。
5.如权利要求1所述的方法，其特征在于，通过爬虫程序定向抓取互联网中的信息包括：
爬虫程序从配置文件读取一个起始的URL，下载页面内容并对页面进行解析，以获取有用的URL信息，并将解析出的信息保存到DPI特征库中。
6.如权利要求1或5所述的方法，其特征在于，所述DPI特征库可根据配置情况每天进行更新。
7.如权利要求1所述的方法，其特征在于，所述数据挖掘的步骤包括数据清洗、数据分析、建模分析、结果验证中的至少一个流程；根据不同的用户行为及市场需求，制定不同的数据挖掘方案。
CN201710189942.2A 2017-03-27 2017-03-27 一种基于Hadoop的移动互联网用户行为分析方法 Active CN106982150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710189942.2A CN106982150B (zh) 2017-03-27 2017-03-27 一种基于Hadoop的移动互联网用户行为分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710189942.2A CN106982150B (zh) 2017-03-27 2017-03-27 一种基于Hadoop的移动互联网用户行为分析方法

Publications (2)

Publication Number Publication Date
CN106982150A true CN106982150A (zh) 2017-07-25
CN106982150B CN106982150B (zh) 2020-05-26

Family

ID=59338974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710189942.2A Active CN106982150B (zh) 2017-03-27 2017-03-27 一种基于Hadoop的移动互联网用户行为分析方法

Country Status (1)

Country Link
CN (1) CN106982150B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481143A (zh) * 2017-07-28 2017-12-15 武汉楚鼎信息技术有限公司 一种智能股票推荐系统以及实现方法
CN107566163A (zh) * 2017-08-10 2018-01-09 北京奇安信科技有限公司 一种用户行为分析关联的告警方法及装置
CN108024220A (zh) * 2017-12-15 2018-05-11 南京邮电大学盐城大数据研究院有限公司 一种基于dpi的营销短信定向发送方法及系统
CN108846708A (zh) * 2018-06-29 2018-11-20 中国联合网络通信集团有限公司 用户购买行为预测方法、装置、设备及存储介质
CN109257352A (zh) * 2018-09-25 2019-01-22 广州虎牙信息科技有限公司 数据包解析方法、装置、电子设备和存储介质
CN109492655A (zh) * 2017-09-11 2019-03-19 中国移动通信有限公司研究院 一种特征提取方法、装置及终端
CN109672586A (zh) * 2018-12-13 2019-04-23 宜通世纪科技股份有限公司 一种dpi业务流量识别方法、装置与计算机可读存储介质
CN109963285A (zh) * 2017-12-14 2019-07-02 中国移动通信集团广东有限公司 确定小区覆盖范围的方法、装置、电子设备和存储介质
CN110381094A (zh) * 2019-09-11 2019-10-25 南京华飞数据技术有限公司 一种基于dpi技术的用户画像与行为分析的方法及系统
CN110809282A (zh) * 2019-11-13 2020-02-18 山东易路方舟信息科技有限公司 一种流量信息识别和反馈方法、系统、设备及存储介质
CN110971476A (zh) * 2018-09-29 2020-04-07 珠海格力电器股份有限公司 一种文件下载行为的分析方法、系统及智能终端
WO2020237898A1 (zh) * 2019-05-29 2020-12-03 深圳技术大学 在线教育系统的个性化推荐方法、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394211A (zh) * 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于Hadoop用户行为分析系统设计与实现方法
CN104506394A (zh) * 2015-01-08 2015-04-08 中国联合网络通信集团有限公司 一种移动互联网流量统计方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394211A (zh) * 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于Hadoop用户行为分析系统设计与实现方法
CN104506394A (zh) * 2015-01-08 2015-04-08 中国联合网络通信集团有限公司 一种移动互联网流量统计方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
罗海艳: ""移动用户网络行为分析与预测方法研究"", 《中国博士学位论文全文数据库 信息科技辑》 *
许闻秋 等: ""基于Hadoop的校园网视频流量访问偏好分析"", 《重庆邮电大学学报(自然科学版)》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481143A (zh) * 2017-07-28 2017-12-15 武汉楚鼎信息技术有限公司 一种智能股票推荐系统以及实现方法
CN107566163A (zh) * 2017-08-10 2018-01-09 北京奇安信科技有限公司 一种用户行为分析关联的告警方法及装置
CN107566163B (zh) * 2017-08-10 2020-11-06 奇安信科技集团股份有限公司 一种用户行为分析关联的告警方法及装置
CN109492655A (zh) * 2017-09-11 2019-03-19 中国移动通信有限公司研究院 一种特征提取方法、装置及终端
CN109492655B (zh) * 2017-09-11 2021-08-06 中国移动通信有限公司研究院 一种特征提取方法、装置及终端
CN109963285A (zh) * 2017-12-14 2019-07-02 中国移动通信集团广东有限公司 确定小区覆盖范围的方法、装置、电子设备和存储介质
CN109963285B (zh) * 2017-12-14 2022-06-10 中国移动通信集团广东有限公司 确定小区覆盖范围的方法、装置、电子设备和存储介质
CN108024220A (zh) * 2017-12-15 2018-05-11 南京邮电大学盐城大数据研究院有限公司 一种基于dpi的营销短信定向发送方法及系统
CN108846708A (zh) * 2018-06-29 2018-11-20 中国联合网络通信集团有限公司 用户购买行为预测方法、装置、设备及存储介质
CN109257352A (zh) * 2018-09-25 2019-01-22 广州虎牙信息科技有限公司 数据包解析方法、装置、电子设备和存储介质
CN110971476A (zh) * 2018-09-29 2020-04-07 珠海格力电器股份有限公司 一种文件下载行为的分析方法、系统及智能终端
CN109672586A (zh) * 2018-12-13 2019-04-23 宜通世纪科技股份有限公司 一种dpi业务流量识别方法、装置与计算机可读存储介质
WO2020237898A1 (zh) * 2019-05-29 2020-12-03 深圳技术大学 在线教育系统的个性化推荐方法、终端及存储介质
CN110381094A (zh) * 2019-09-11 2019-10-25 南京华飞数据技术有限公司 一种基于dpi技术的用户画像与行为分析的方法及系统
CN110809282A (zh) * 2019-11-13 2020-02-18 山东易路方舟信息科技有限公司 一种流量信息识别和反馈方法、系统、设备及存储介质
CN110809282B (zh) * 2019-11-13 2023-06-09 山东易路方舟信息科技有限公司 一种流量信息识别和反馈方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN106982150B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN106982150A (zh) 一种基于Hadoop的移动互联网用户行为分析方法
CN105138592B (zh) 一种基于分布式架构的日志数据存储和检索方法
WO2020135048A1 (zh) 知识图谱的数据融合方法和装置
US11775767B1 (en) Systems and methods for automated iterative population of responses using artificial intelligence
Cheng et al. Overlapping community change-point detection in an evolving network
Prakash et al. Geo-identification of web users through logs using ELK stack
CN104394211A (zh) 一种基于Hadoop用户行为分析系统设计与实现方法
US11500871B1 (en) Systems and methods for decoupling search processing language and machine learning analytics from storage of accessed data
CN110019267A (zh) 一种元数据更新方法、装置、系统、电子设备及存储介质
CN104298771A (zh) 一种海量web日志数据查询与分析方法
CN110362544A (zh) 日志处理系统、日志处理方法、终端及存储介质
CN103491089B (zh) 一种基于http的数据还原中的转码方法及系统
CN114338746B (zh) 一种用于物联网设备数据收集的分析预警方法及系统
CN114218472A (zh) 基于知识图谱的智能搜索系统
CN111368097B (zh) 一种知识图谱抽取方法及装置
CN107103064A (zh) 数据统计方法及装置
US11567735B1 (en) Systems and methods for integration of multiple programming languages within a pipelined search query
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
CN113254630A (zh) 一种面向全球综合观测成果的领域知识图谱推荐方法
CN104102701A (zh) 一种基于hive的历史数据存档与查询方法
Sangeetha et al. No Science No Humans, No New Technologies No changes" Big Data a Great Revolution
CN108345658A (zh) 算法计算轨迹的分解处理方法、服务器及存储介质
CN104735104A (zh) 微信智能公众平台系统
CN107330079A (zh) 基于人工智能呈现辟谣信息的方法和装置
CN109857952A (zh) 一种具有分类显示的搜索引擎及快速检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant