CN111859230B - 一种用于监控互联网信息的热点趋势的控制方法 - Google Patents
一种用于监控互联网信息的热点趋势的控制方法 Download PDFInfo
- Publication number
- CN111859230B CN111859230B CN201910360307.5A CN201910360307A CN111859230B CN 111859230 B CN111859230 B CN 111859230B CN 201910360307 A CN201910360307 A CN 201910360307A CN 111859230 B CN111859230 B CN 111859230B
- Authority
- CN
- China
- Prior art keywords
- internet information
- media
- server
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 title claims abstract description 14
- 238000012546 transfer Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 6
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种用于监控互联网信息的热点趋势的控制方法，包括：服务端将监控的互联网信息采集到并发送到消息队列中，并将消息队列中的数据落地到HDFS系统上后，从互联网信息获取相应的基础数据以及新闻转载数据；服务端计算当前热度值Pc及当前时间的设定周期之前的热度值Pb；服务端将计算得到的Pc和Pb，通过Pd＝(Pc‑Pb)/Pb*100％计算显示热度率Pd；服务端将得到的显示热度率Pd以及相关信息落地到ElasticSearch服务器中；服务端根据数据源的网络地址在ElasticSearch服务器中查询当前时间的设定周期之前的显示热度率Pd，若查询到相应的结果，则显示该结果，完成热点趋势的控制。本发明解决了当前需要一种可以根据用户自定义站点的互联网信息进行热点排行与热点预测的问题。
Description
技术领域
本申请涉及计算机信息技术领域，特别涉及一种用于监控互联网信息的热点趋势的控制方法。
背景技术
近年来随着信息技术的大力发展，网上的信息越来越多，信息的传播速度越来越块，信息传播的渠道越来越广，随着数据量的暴增，以及层出不穷的网络站点。导致人们无法从中快速直观的感知自己所关注的事物动态发展状况。
当前各大知名网站虽然都有热点排行或者搜索排行，但他们这一功能都是完全面对所有用户。然而，不同的人群所关注的信息是截然不同的，并且对于信息的传播趋势，也是无法预估的。因此，当前需要一种可以根据用户自定义站点的互联网信息进行热点排行与热点预测的技术方案，可以依据相同的时间切片，以及互联网信息的转载数，将当前时间下，互联网信息与同一时间切片的互联网信息进行对比，获取当前时间的互联网信息所发生的变化。
发明内容
本申请实施例提供一种用于监控互联网信息的热点趋势的控制方法，以解决当前需要一种可以根据用户自定义站点的互联网信息进行热点排行与热点预测的技术问题。
本发明提供了一种用于监控互联网信息的热点趋势的控制方法，包括：
服务端将需要监控的互联网信息采集到并发送到消息队列中，并将消息队列中的数据落地到HDFS系统上后，从HDFS系统上所述互联网信息获取相应的基础数据以及新闻转载数据；
服务端通过Spark方式计算所述互联网信息的当前热度值Pc，以及所述互联网信息当前时间的设定周期之前的热度值Pb；
服务端将计算得到的Pc和Pb，通过公式Pd＝(Pc-Pb)/Pb*100％计算得到所述互联网信息的显示热度率Pd；
服务端将计算得到的所述互联网信息的显示热度率Pd以及所述互联网信息的相关信息落地到ElasticSearch服务器中；
服务端根据预先设定的需要监控互联网信息的数据源的网络地址，在所述ElasticSearch服务器中查询当前时间的设定周期之前的互联网信息的显示热度率Pd，若查询到相应的结果，则显示该结果，完成监控所述互联网信息的热点趋势的控制。
与现有技术相比，应用本发明，可以对用户自定义站点的互联网信息进行热点排行与热点预测，可以依据相同的时间切片，以及互联网信息的转载数，将当前时间下，互联网信息与同一时间切片的互联网信息进行对比，获取当前时间的互联网信息所发生的变化。
附图说明
此处所说明的附图用于提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种用于监控互联网信息的热点趋势的控制方法的一种具体实施方式的流程示意图；
图2为本申请实施例提供的一种本申请中用于监控互联网信息的热点趋势的控制方法的具体实施方式的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中主要涉及通过具有中央处理功能的设备(例如计算机或智能终端等设备)进行互联网信息的处理。
为了方便描述，在本申请实施例中，主要通过服务端(可以是计算机系统)操作为例进行介绍。
请参考图1，如图1所示，本申请实施例提供的一种用于监控互联网信息的热点趋势的控制方法，包括如下步骤：
步骤110、服务端将需要监控的互联网信息采集到并发送到消息队列中，并将消息队列中的数据落地到HDFS系统上后，从HDFS系统上所述互联网信息获取相应的基础数据以及新闻转载数据；
其中，互联网信息可以是某新闻的信息或者某文章的内容信息等，只要是具有传播特性的互联网信息内容都可以是本申请所指的互联网信息，本申请对此不作任何限定。
HDFS系统(Hadoop分布式文件系统)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。HDFS系统是一个高度容错性的系统，适合部署在廉价的机器上。HDFS系统能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS系统放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS系统在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS系统是Apache Hadoop Core项目的一部分。应用HDFS系统可以大规模的降低使用成本。HDFS系统有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS系统放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。
ElasticSearch是一个基于Lucene的搜索服务器。ElasticSearch提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark与Hadoop不同，Spark和Scala(Scala是类似java的编程语言)能够紧密集成，其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建Spark是为了支持分布式数据集上的迭代作业，但是实际上它是对Hadoop的补充，可以在Hadoop文件系统中并行运行。通过名为Mesos的第三方集群框架可以支持此行为。Spark可用来构建大型的、低延迟的数据分析应用程序。
步骤120、服务端通过Spark方式计算所述互联网信息的当前热度值Pc，以及所述互联网信息当前时间的设定周期之前的热度值Pb；
设定周期b可以是30分钟、45分钟、50分钟或60分钟等，只要是可以在该周期b中，所述互联网信息的传播会发生变化都适用于本申请的方法，本申请对此不作任何限定。
在实际操作中，设定周期b为30分钟在操作上比较方便，对于服务端的负荷压力适中，既可以及时反映互联网信息传播的变化，又能减轻服务端的计算压力。
例如：服务端通过Spark方式计算所述互联网信息的当前热度值，以及所述互联网信息当前时间的30分钟前的热度值。
步骤130、服务端将计算得到的Pc和Pb，通过公式Pd＝(Pc-Pb)/Pb*100％计算得到所述互联网信息的显示热度率Pd；
例如：服务端将计算得到的所述互联网信息的当前热度值，以及所述互联网信息当前时间的30分钟前的热度值，通过以下公式计算得到所述互联网信息的显示热度率；
步骤140、服务端将计算得到的所述互联网信息的显示热度率Pd以及所述互联网信息的相关信息落地到ElasticSearch服务器中；
进一步包括计算互联网信息的媒体上升情况：
以所述设定周期b的两倍时间作为时间切片(例如设定周期b为30分钟，那么时间切片为60分钟)，只要是可以在该时间切片中，所述互联网信息的传播会发生变化都适用于本申请的方法，本申请对此不作任何限定；在实际操作中，以所述设定周期b的两倍时间作为时间切片，可以明显反映互联网信息的媒体传播的变化，提高了用户了解所监控的互联网信息的传播情况的精确度。本方法依据强大的数据集，以及Spark大数据处理框架对数据进行计算。结合多角度的研究公式和多渠道的媒体级别划分。对不同时间切片的数据进行计算对比。
例如可以通过60分钟为时间切片。将当前时间用户所关注的网站新闻信息与当前时间的60分钟之前用户关注的新闻信息进行对比，获取转载媒体上升的网站新闻信息，按照信息的转载时间来排序，具体如下：
步骤1401、服务端从HDFS系统上获取所述互联网信息的基础数据、媒体级别数据，以及新闻转载数据；
对于互联网信息的预测，本系统是根据所述互联网信息转载媒体所发生的变化来计算。检测低级媒体发布新闻被高级媒体转载状况，从而预测用户对自己所关注数据源网络地址(即站点)的发展状况，并对所述互联网信息做出热点预测。还包括：所述媒体级别包括：一级媒体、二级媒体、三级媒体和四级媒体；其中一级媒体包括央级媒体和/或门户网站；二级媒体包括全国重点媒体；三级媒体包括专业媒体、政府组织和/或企业网站；四级媒体包括自媒体。这样的设定可以有效的根据媒体的影响力确定所述互联网信息转载的热度情况，更加真实地反映所述互联网信息传播的情况，便于用户预测所述互联网信息的热度，提高了用户的体验度。
步骤1402、服务端通过Spark方式计算当前时间的所述互联网信息的媒体状况信息Mc与时间切片中所述互联网信息的媒体状况信息M2*b，获得所述互联网信息的媒体级别上升的数据；
步骤1403、服务端将获得的媒体级别上升的数据落地到ElasticSearch服务器中。
步骤150、服务端根据预先设定的需要监控的互联网信息的数据源网络地址，在所述ElasticSearch服务器中查询当前时间的设定周期之前的互联网信息的显示热度率Pd，若查询到相应的结果，则显示该结果，否则提示当前未检测到数据完成监控所述互联网信息的热点趋势的控制。
所述需要监控互联网信息的数据源包括：需要监控互联网信息的网站、论坛、微博、APP或者微信公众号。本申请并不对此限定，上述数据源基本涵盖了信息传播的主要渠道，可以反映用户监控信息的有效性和真实性。
例如：需要监控互联网信息的数据源是网易、新浪、搜狐或者新华网等门户网站。这里只是设定需要监控的互联网信息数据在某个数据源的传播情况。
在本步骤的实际操作的过程中，用户可以在自定义站点(即预先设定的需要监控的互联网信息的数据源网络地址)中，任意勾选想要展示的新闻信息。并根据新闻热度上升率进行排行。用户点击标题，跳到新闻详情页，展示新闻内容、发布时间、新闻来源以及原文链接跳转。
图2示出了是本申请实施例提供的一种电子设备的结构示意图。请参考图2，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成网络覆盖性能表征装置。处理器，执行存储器所存放的程序。
如图2所示的一种电子设备，上述如本申请图1所示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中的控制方法，并具体用于执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，本申请中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种用于监控互联网信息的热点趋势的控制方法，其特征在于，包括：
服务端将需要监控的互联网信息采集到并发送到消息队列中，并将消息队列中的数据落地到HDFS系统上后，从HDFS系统上所述互联网信息获取相应的基础数据以及新闻转载数据；
服务端通过Spark方式计算所述互联网信息的当前热度值Pc，以及所述互联网信息当前时间的设定周期之前的热度值Pb；
服务端将计算得到的Pc和Pb，通过公式Pd＝(Pc-Pb)/Pb*100％计算得到所述互联网信息的显示热度率Pd；
服务端将计算得到的所述互联网信息的显示热度率Pd以及所述互联网信息的相关信息落地到ElasticSearch服务器中；其中，所述服务端从HDFS系统上获取所述互联网信息的基础数据、媒体级别数据，以及新闻转载数据；所述服务端通过Spark方式计算当前时间的所述互联网信息的媒体状况信息与时间切片中所述互联网信息的媒体状况信息，获得所述互联网信息的媒体级别上升的数据；所述服务端将获得的媒体级别上升的数据落地到ElasticSearch服务器中；
服务端根据预先设定的需要监控互联网信息的数据源的网络地址，在所述ElasticSearch服务器中查询当前时间的设定周期之前的互联网信息的显示热度率Pd，若查询到相应的结果，则显示该结果，完成监控所述互联网信息的热点趋势的控制。
2.根据权利要求1所述的方法，其特征在于，
还包括：所述设定周期是30分钟、45分钟、50分钟或60分钟。
3.根据权利要求2所述的方法，其特征在于，
还包括：所述时间切片的周期为所述设定周期的两倍时间。
4.根据权利要求2所述的方法，其特征在于，
还包括：所述媒体级别包括：一级媒体、二级媒体、三级媒体和四级媒体；其中一级媒体包括央级媒体和/或门户网站；二级媒体包括全国重点媒体；三级媒体包括专业媒体、政府组织和/或企业网站；四级媒体包括自媒体。
5.根据权利要求1至4任一所述的方法，其特征在于，
所述需要监控互联网信息的数据源包括：需要监控互联网信息的网站、论坛、微博、APP或者微信公众号。
6.根据权利要求1所述的方法，其特征在于，
还包括：所述ElasticSearch是一个基于Lucene的搜索服务器，ElasticSearch提供了一个分布式多用户能力的全文搜索引擎，ElasticSearch基于RESTful web接口。
7.根据权利要求1所述的方法，其特征在于，
还包括：所述HDFS系统是适合运行在通用硬件上的分布式文件系统。
8.根据权利要求1所述的方法，其特征在于，
还包括：所述Spark是为大规模数据处理而设计的快速通用的计算引擎。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910360307.5A CN111859230B (zh) | 2019-04-30 | 2019-04-30 | 一种用于监控互联网信息的热点趋势的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910360307.5A CN111859230B (zh) | 2019-04-30 | 2019-04-30 | 一种用于监控互联网信息的热点趋势的控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111859230A CN111859230A (zh) | 2020-10-30 |
| CN111859230B true CN111859230B (zh) | 2024-02-06 |
Family
ID=72965550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910360307.5A Active CN111859230B (zh) | 2019-04-30 | 2019-04-30 | 一种用于监控互联网信息的热点趋势的控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111859230B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617169A (zh) * | 2013-10-23 | 2014-03-05 | 杭州电子科技大学 | 一种基于Hadoop的微博热点话题提取方法 |
| CN104504150A (zh) * | 2015-01-09 | 2015-04-08 | 成都布林特信息技术有限公司 | 新闻舆情监测系统 |
| CN104537097A (zh) * | 2015-01-09 | 2015-04-22 | 成都布林特信息技术有限公司 | 微博舆情监测系统 |
| CN105068991A (zh) * | 2015-07-30 | 2015-11-18 | 成都鼎智汇科技有限公司 | 一种基于大数据的舆情发现方法 |
| CN107193797A (zh) * | 2017-04-26 | 2017-09-22 | 天津大学 | 中文微博的热点话题检测及趋势预测方法 |
| CN108255963A (zh) * | 2017-12-22 | 2018-07-06 | 北京智慧星光信息技术有限公司 | 一种基于互联网的新闻信息检索的控制方法及装置 |
| CN108549957A (zh) * | 2018-04-11 | 2018-09-18 | 中译语通科技股份有限公司 | 互联网话题趋势辅助预测方法及系统、信息数据处理终端 |
| CN109376231A (zh) * | 2018-09-29 | 2019-02-22 | 杭州凡闻科技有限公司 | 一种媒体热点跟踪方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070061334A1 (en) * | 2005-09-14 | 2007-03-15 | Jorey Ramer | Search query address redirection on a mobile communication facility |
| US9430498B2 (en) * | 2014-12-13 | 2016-08-30 | Velvet Ropes, Inc. | Methods and systems for generating a digital celebrity map tour guide |
-
2019
- 2019-04-30 CN CN201910360307.5A patent/CN111859230B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617169A (zh) * | 2013-10-23 | 2014-03-05 | 杭州电子科技大学 | 一种基于Hadoop的微博热点话题提取方法 |
| CN104504150A (zh) * | 2015-01-09 | 2015-04-08 | 成都布林特信息技术有限公司 | 新闻舆情监测系统 |
| CN104537097A (zh) * | 2015-01-09 | 2015-04-22 | 成都布林特信息技术有限公司 | 微博舆情监测系统 |
| CN105068991A (zh) * | 2015-07-30 | 2015-11-18 | 成都鼎智汇科技有限公司 | 一种基于大数据的舆情发现方法 |
| CN107193797A (zh) * | 2017-04-26 | 2017-09-22 | 天津大学 | 中文微博的热点话题检测及趋势预测方法 |
| CN108255963A (zh) * | 2017-12-22 | 2018-07-06 | 北京智慧星光信息技术有限公司 | 一种基于互联网的新闻信息检索的控制方法及装置 |
| CN108549957A (zh) * | 2018-04-11 | 2018-09-18 | 中译语通科技股份有限公司 | 互联网话题趋势辅助预测方法及系统、信息数据处理终端 |
| CN109376231A (zh) * | 2018-09-29 | 2019-02-22 | 杭州凡闻科技有限公司 | 一种媒体热点跟踪方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| "The structure and measurement of entrepreneurial team’s heterogeneity dimension";Chuanhao Fan;《2017经济商业与管理国际会议》;第1-14页 * |
| "网络舆情热点新闻发现技术研究";黄克敏 等;《网络安全技术与应用》;第151-153页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111859230A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111782330B (zh) | 一种基于Web应用的页面数据获取方法、装置及设备 | |
| EP3814939A1 (en) | Identification and application of hyperparameters for machine learning | |
| US10592399B2 (en) | Testing web applications using clusters | |
| CN109871311B (zh) | 一种推荐测试用例的方法和装置 | |
| CN106776917B (zh) | 一种获取资源文件的方法和装置 | |
| CN107276842B (zh) | 接口测试方法、装置及电子设备 | |
| US9514184B2 (en) | Systems and methods for a high speed query infrastructure | |
| CN110515795B (zh) | 一种大数据组件的监控方法、装置、电子设备 | |
| WO2015000383A1 (en) | Method, apparatus and system for information recommending | |
| US11360973B2 (en) | Generating multilingual queries | |
| CN111782692A (zh) | 一种频率控制方法及装置 | |
| CN113536174A (zh) | 一种界面加载方法、装置及设备 | |
| US9348932B2 (en) | Method and apparatus for redirecting webpage requests to appropriate equivalents | |
| CN110515631B (zh) | 应用安装数据包的生成方法、服务器及计算机存储介质 | |
| CN107526748B (zh) | 一种识别用户点击行为的方法和设备 | |
| US9946712B2 (en) | Techniques for user identification of and translation of media | |
| CN111859077A (zh) | 数据处理方法、装置、系统、计算机可读存储介质 | |
| JP2014186719A (ja) | モバイル検索環境でモバイルｕｒｌを提供するシステムおよびその方法 | |
| CN106796587B (zh) | 用于验证分析结果的方法和系统 | |
| US10013398B2 (en) | Web-based distributed computing with browser-executed code | |
| CN115221033A (zh) | 接口协议测试方法、装置、计算机可读介质及电子设备 | |
| CN111859230B (zh) | 一种用于监控互联网信息的热点趋势的控制方法 | |
| CN105045664A (zh) | 信息处理设备和信息处理方法 | |
| US10541890B1 (en) | Windowed approach to analytics processing | |
| EP4359932A1 (en) | In-app failure intelligent data collection and analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |