CN117633326A - 一种用于互联网海量数据的数据监测方法 - Google Patents

Abstract

本发明适用于数据管理技术领域，提供了一种用于互联网海量数据的数据监测方法，通过采集不同网站的数据、分析数据结构，爬取数据信息、对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析以及获取数据的来源和相关信息的步骤，不仅能够在爬取用户数据的同时确保数据的安全稳定，还能够预测数据的变化趋势、稿件的排名和获取数据的地理位置信息，并且还能够获取数据的点赞量、评论数等深层信息，具备安全稳定、信息监测全面精确的特点。

Description

一种用于互联网海量数据的数据监测方法

技术领域

本发明涉及数据管理技术领域，具体是涉及一种用于互联网海量数据的数据监测方法。

背景技术

随着互联网的快速发展，小视频以及稿件的上传、发行、转载、评论、点赞等数量越来越多，为了便于监控用户小视频和稿件等数据的信息，现有技术中通过对抓取的数据进行分析和处理。Java提供了许多数据处理和分析的工具和库，如Apache Spark和Hadoop，用于处理大规模的数据集。使用这些工具来对新闻稿件数据进行清洗、过滤和转换，以便后续的排名和分析。例如，技术人员使用正则表达式来清洗数据，并使用关键字匹配和标签化技术来对新闻稿件进行分类和归类。一旦数据清洗和转换完成，技术人员使用机器学习和自然语言处理技术来进行新闻稿件的排名。

但是，现有技术在使用时还存在以下缺陷：通过JAVA爬取数据过程中，一方面许多APP会采取加密、验证码、限制IP访问频率等反爬虫措施来防止数据被非法获取，另一方面在爬取数据成功后，仍然存在被其它系统二次爬取数据的风险。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种用于互联网海量数据的数据监测方法，以解决上述背景技术中存在的问题。

本发明是这样实现的，一种用于互联网海量数据的数据监测方法，所述方法包括以下步骤：

采集不同网站的数据；

分析数据结构，爬取数据信息；

对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析，输出分析结果。

作为本发明进一步的方案：所述采集不同网站的数据的步骤，具体包括：

基于大数据技术，周期性地监测数据变化，并实时获取互联网数据。

作为本发明进一步的方案：所述分析数据来结构，爬取数据信息的步骤，具体包括：

分析数据是否加密；

向用户发送申请授权信息；

接收用户发出的同意授权信息，利用脱密算法读取加密的数据；

输出可读取的数据，爬取数据信息；

根据爬取的数据信息，制定反爬机制。

作为本发明进一步的方案：根据爬取的数据信息，制定反爬机制的步骤，具体包括：

向用户发送申请加密信息；

接收用户发出的同意加密信息，利用加密算法对爬取的数据进行加密；

向用户发出密钥信息。

作为本发明进一步的方案：所述对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析，输出分析结果的步骤，具体包括：

当数据为短视频时，分析每个短视频的下降趋势和增长趋势，输出数据变化趋势信息；分析视频的IP归属地，IP归属地具体包括位置、所属省份和城市信息，输出IP归属地信息。

当数据为稿件时，分析判断稿件内容是传播正能量报道还是负能量报道，并输出稿件排名信息。

作为本发明进一步的方案：所述方法还包括：获取数据的来源和相关信息。

作为本发明进一步的方案：所述获取数据的来源和相关信息的步骤，具体包括：

当数据为短视频时，通过大数据分析技术对短视频数据进行逐层分解，获取其中的来源平台、视频的浏览量、点赞量、评论量和转发量信息。

作为本发明进一步的方案：所述分析视频的IP归属地，输出IP归属地信息的步骤，具体包括：

当短视频的IP归属地信息同时包含位置、所属省份和城市信息时，只输出位置信息；

当短视频的IP归属地信息只有所属省份和城市信息时，同时输出所属省份和城市信息。

作为本发明进一步的方案：所述分析判断稿件内容是传播正能量报道还是负能量报道，并输出稿件排名信息的步骤，具体包括：

将稿件内容输入至数据库计算偏移属性；

根据偏移属性进行正能量报道的命中率分析；

根据正能量报道的命中率分析结果，输出稿件进行排名信息。

与现有技术相比，本发明的有益效果是：本申请通过采集不同网站的数据、分析数据结构，爬取数据信息、对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析以及获取数据的来源和相关信息的步骤，不仅能够在爬取用户数据的同时确保数据的安全稳定，还能够预测数据的变化趋势、稿件的排名和获取数据的地理位置信息，并且还能够获取数据的点赞量、评论数等深层信息，具备安全稳定、信息监测全面精确的特点。

附图说明

图1为一种用于互联网海量数据的数据监测方法的流程图。

图2为一种用于互联网海量数据的数据监测方法中分析数据来结构，爬取数据信息的流程图。

图3为一种用于互联网海量数据的数据监测方法中据爬取的数据信息，制定反爬机制的流程图。

图4为一种用于互联网海量数据的数据监测方法中对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析，输出分析结果的流程图。

图5为一种用于互联网海量数据的数据监测方法中分析视频的IP归属地，输出IP归属地信息的流程图。

图6为一种用于互联网海量数据的数据监测方法中分析判断稿件内容是传播正能量报道还是负能量报道，并输出稿件排名信息的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

如图1所示，本发明实施例提供了一种用于互联网海量数据的数据监测方法，所述方法包括以下步骤：

S100，采集不同网站的数据；

S200，分析数据结构，爬取数据信息；

S300，对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析，输出分析结果；

S400，获取数据的来源和相关信息。

本发明实施例中，所述采集不同网站的数据的步骤，具体包括：S110，基于大数据技术，周期性地监测数据变化，并实时获取互联网数据，大数据技术包括预测分析、NoSQL数据库、分布式存储系统和数据可视化，本申请通过采集不同网站的数据、分析数据结构，爬取数据信息、对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析以及获取数据的来源和相关信息的步骤，不仅能够在爬取用户数据的同时确保数据的安全稳定，还能够预测数据的变化趋势、稿件的排名和获取数据的地理位置信息，并且还能够获取数据的点赞量、评论数等深层信息，具备安全稳定、信息监测全面精确的特点。

如图2所示，作为本发明一个优选的实施例，所述分析数据来结构，爬取数据信息的步骤，具体包括：

S210，分析数据是否加密；

S220，向用户发送申请授权信息；

S230，接收用户发出的同意授权信息，利用脱密算法读取加密的数据；

S240，输出可读取的数据，爬取数据信息；

S250，根据爬取的数据信息，制定反爬机制。

本发明实施例中，如果数据未加密时，系统则不需要向用户发送申请授权信息，加密数据通常是由APP开发者有意进行加密处理的，以保护数据的完整性和安全性。而通过脱密算法破解数据后，无法保证该数据的一致性和准确性。可能会遇到数据解析错误、数据损坏或部分数据丢失的问题；

脱密算法的有效性通常是建立在加密数据的固定格式和算法上的。然而，APP开发者可能会在更新或升级中更改加密算法或数据格式，这就需要技术人员不断维护和更新脱密算法以适应变化，并可能会面临一定程度的技术难度；

使用脱密算法来破解加密数据存在法律风险。在很多国家，未经授权的数据解密和取用被认为是非法行为。根据当地法律，使用这种脱密技术可能会涉及侵犯隐私、盗窃知识产权等法律纠纷。技术人员在进行数据获取时，应始终尊重法律、道德和数据隐私的原则，并寻找合法和合规的抓取途径。

如图3所示，作为本发明一个优选的实施例，根据爬取的数据信息，制定反爬机制的步骤，具体包括：

S2501，向用户发送申请加密信息；

S2502，接收用户发出的同意加密信息，利用加密算法对爬取的数据进行加密；

S2503，向用户发出密钥信息。

本发明实施例中，当系统获取某一个短视频的数据后，首先向向用户发送申请加密信息，系统接收用户同意加密后的信息后，会自动利用加密算法对爬取的数据进行加密，最后还会将该视频的密钥信息发送给用户，一方面能够防止外界爬取本系统内获取的用户视频，另一方面用户还可以通过秘钥随时查看本系统内的视频信息，具备安全稳定的特点。

如图4所示，作为本发明一个优选的实施例，所述对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析，输出分析结果的步骤，具体包括：

S310，当数据为短视频时，分析每个短视频的下降趋势和增长趋势，输出数据变化趋势信息；分析视频的IP归属地，IP归属地具体包括位置、所属省份和城市信息，输出IP归属地信息。

S320，当数据为稿件时，分析判断稿件内容是传播正能量报道还是负能量报道，并输出稿件排名信息。

本发明实施例中，本申请能够自动分析每个短视频播放量的下降和上升趋势，并能够将下降和上升趋势数据输出，下降和上升趋势数据会显示在短视频播放页面，并且还会将短视频数据的位置、所属省份和城市信息显示出来；

本申请还具备自动对稿件排名的功能，从而便于实时监测互联网数据的变化趋势、位置信息以及排名信息等。

作为本发明一个优选的实施例，所述获取数据的来源和相关信息的步骤，具体包括：

S410，当数据为短视频时，通过大数据分析技术对短视频数据进行逐层分解，获取其中的来源平台、视频的浏览量、点赞量、评论量和转发量信息。

本发明实施例中，大数据技术在现有技术中应用比较广泛，此处便不再进行赘述，本申请获取短视频数据的同时，还能够将其进行逐层分解，确定其中的来源平台、视频的浏览量、点赞量、评论量和转发量等。通过这个过程，技术人员能够精确抓取近期需要监测的数据，并且不给对方服务器造成过大压力，保证不影响其性能和访问量压力的情况下，通过低频访问的方式获取数据，并进行逐层确认，最终将精确数据归集到业务端，通过这种方式，可以减小对方服务器的压力，保证数据获取的准确性和稳定性。

如图5所示，作为本发明一个优选的实施例，所述分析视频的IP归属地，输出IP归属地信息的步骤，具体包括：

S3101，当短视频的IP归属地信息同时包含位置、所属省份和城市信息时，只输出位置信息；

S3102，当短视频的IP归属地信息只有所属省份和城市信息时，同时输出所属省份和城市信息。

本发明实施例中，当短视频的IP归属地信息同时包含位置、所属省份和城市信息时，只输出位置信息时，因为位置信息就是该视频发布时的具体位置，在导航APP上直接可以定位到该位置，便不需要将所属省份和城市信息显示出来，这样一来，互联网显示液面会比较简洁。

如图6所示，作为本发明一个优选的实施例，所述分析判断稿件内容是传播正能量报道还是负能量报道，并输出稿件排名信息的步骤，具体包括：

S3201，将稿件内容输入至数据库计算偏移属性；

S3202，根据偏移属性进行正能量报道的命中率分析；

S3203，根据正能量报道的命中率分析结果，输出稿件进行排名信息。

本发明实施例中，偏移属性的大小与稿件中负能量词汇的数量成正比，当稿件中负能量词汇的数量超过某一阈值时，即可判断为负能量稿件，偏移属性的大小与正能量报道的命中率大小成反比，当负能量词汇的数量越多时，偏移属性越大，正能量报道的命中率越小，通过正能量报道的命中率对稿件进行排名。

综上所述，本申请通过采集不同网站的数据、分析数据结构，爬取数据信息、对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析以及获取数据的来源和相关信息的步骤，不仅能够在爬取用户数据的同时确保数据的安全稳定，还能够预测数据的变化趋势、稿件的排名和获取数据的地理位置信息，并且还能够获取数据的点赞量、评论数等深层信息，具备安全稳定、信息监测全面精确的特点。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (9)

1.一种用于互联网海量数据的数据监测方法，其特征在于，所述方法包括以下步骤：

采集不同网站的数据；

分析数据结构，爬取数据信息；

对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析，输出分析结果。

2.根据权利要求1所述的一种用于互联网海量数据的数据监测方法，其特征在于，所述采集不同网站的数据的步骤，具体包括：

基于大数据技术，周期性地监测数据变化，并实时获取互联网数据。

3.根据权利要求2所述的一种用于互联网海量数据的数据监测方法，其特征在于，所述分析数据来结构，爬取数据信息的步骤，具体包括：

分析数据是否加密；

向用户发送申请授权信息；

接收用户发出的同意授权信息，利用脱密算法读取加密的数据；

输出可读取的数据，爬取数据信息；

根据爬取的数据信息，制定反爬机制。

4.根据权利要求3所述的一种用于互联网海量数据的数据监测方法，其特征在于，根据爬取的数据信息，制定反爬机制的步骤，具体包括：

向用户发送申请加密信息；

接收用户发出的同意加密信息，利用加密算法对爬取的数据进行加密；

向用户发出密钥信息。

5.根据权利要求5所述的一种用于互联网海量数据的数据监测方法，其特征在于，所述对数据信息进行数据变化分析、趋势命中率分析和基于地域的数据采集分析，输出分析结果的步骤，具体包括：

当数据为短视频时，分析每个短视频的下降趋势和增长趋势，输出数据变化趋势信息；分析视频的IP归属地，IP归属地具体包括位置、所属省份和城市信息，输出IP归属地信息。

当数据为稿件时，分析判断稿件内容是传播正能量报道还是负能量报道，并输出稿件排名信息。

6.根据权利要求1所述的一种用于互联网海量数据的数据监测方法，其特征在于，所述方法还包括：获取数据的来源和相关信息。

7.根据权利要求6所述的一种用于互联网海量数据的数据监测方法，其特征在于，所述获取数据的来源和相关信息的步骤，具体包括：

当数据为短视频时，通过大数据分析技术对短视频数据进行逐层分解，获取其中的来源平台、视频的浏览量、点赞量、评论量和转发量信息。

8.根据权利要求5所述的一种用于互联网海量数据的数据监测方法，其特征在于，所述分析视频的IP归属地，输出IP归属地信息的步骤，具体包括：

当短视频的IP归属地信息同时包含位置、所属省份和城市信息时，只输出位置信息；

当短视频的IP归属地信息只有所属省份和城市信息时，同时输出所属省份和城市信息。

9.根据权利要求5所述的一种用于互联网海量数据的数据监测方法，其特征在于，所述分析判断稿件内容是传播正能量报道还是负能量报道，并输出稿件排名信息的步骤，具体包括：

将稿件内容输入至数据库计算偏移属性；

根据偏移属性进行正能量报道的命中率分析；

根据正能量报道的命中率分析结果，输出稿件进行排名信息。