CN113542070A - 一种基于使用频次的热数据提取方法 - Google Patents
一种基于使用频次的热数据提取方法 Download PDFInfo
- Publication number
- CN113542070A CN113542070A CN202110803622.8A CN202110803622A CN113542070A CN 113542070 A CN113542070 A CN 113542070A CN 202110803622 A CN202110803622 A CN 202110803622A CN 113542070 A CN113542070 A CN 113542070A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- frequency
- information
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于使用频次的热数据提取方法，针对依附的信息热度排行往往要比其他数据主要获取渠道慢，热度信息无法及时掌握，从而造成营销等手段的被动的问题，现提出以下方案，包括S1：本数据处理系统通过5G互联网络与网络云端相连接；S2：数据处理系统运行过程中，系统中的监控模块实时监控网络上的流量分布，设定流量值阈值信息和预警配套单元；S3：建立上网时间t与每个时间点数据使用频次的坐标系；S4：利用算力系统将流量反应在每个时间点t的使用频次记录下来，同时记录坐标点集合。本发明获取到的信息数据具有时效性，通过数据抓取模块将高频次热度信息抓取后，有效的保证获取信息的高价值。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于使用频次的热数据提取方法。
背景技术
目前，数据(Data)是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程。数据处理离不开软件的支持，数据处理软件包括：用以书写处理程序的各种程序设计语言及其编译程序，管理数据的文件系统和数据库系统，以及各种数据处理方法的应用软件包。为了保证数据安全可靠，还有一整套数据安全保密的技术。现今社会的网络数据复杂冗余，对企业来说，如果想要做到先人一步的营销策略，就必须及时掌握信息数据的大众走向。数据处理对数据(包括数值的和非数值的)进行分析和加工的技术过程；包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。比数据分析含义广，随着计算机的日益普及，在计算机应用领域中，数值计算所占比重很小，通过计算机数据处理进行信息管理已成为主要的应用。
现有的热数据提取方法存在以下问题：提取的热数据信息是从现有市场上已有的热搜捆绑搜索的，依附的信息热度排行往往要比其他数据主要获取渠道慢，热度信息无法及时掌握，从而造成营销等手段的被动，而现有专利不易解决此类问题，因此，亟需一种基于使用频次的热数据提取方法来解决上述问题。
发明内容
基于现有基于使用频次的热数据提取方法，依附的信息热度排行往往要比其他数据主要获取渠道慢，热度信息无法及时掌握，从而造成营销等手段的被动的技术问题，本发明提出了一种基于使用频次的热数据提取方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于使用频次的热数据提取方法，利用5G网络将数据处理系统与网络云端数据相连，包括以下步骤：
S1：本数据处理系统通过5G互联网络与网络云端相连接；
S2：数据处理系统运行过程中，系统中的监控模块实时监控网络上的流量分布，设定流量值阈值信息和预警配套单元；
S3：建立上网时间t与每个时间点数据使用频次的坐标系；
S4：利用算力系统将流量反应在每个时间点t的使用频次记录下来，同时记录坐标点集合，将坐标信息反映在建立好的坐标系中；
S5：再利用处理模块对网络信息进行处理，针对流量阈值时间段通过频次监控模块和搜索引擎进行搜索；
S6：获取某时刻或者某时间段内高频次热数据信息。
作为本发明再进一步的方案：所述数据处理系统包括控制模块、第二通讯模块、监控模块、数据运营模块、处理模块和数据抓取模块，且监控模块与处理模块相连，处理模块与数据抓取模块相连，数据抓取模块与数据运营模块相连。
作为本发明再进一步的方案：所述S1，数据处理系统通过5G网络连接在云端数据库上。
作为本发明再进一步的方案：所述S2，监控模块包括流量监控模块和频次监控模块，流量监控模块用于无选择性检测当前时段的热度数据，频次监控模块用于筛选出高流量时间段内的高热度信息。
作为本发明再进一步的方案：所述S3，建立的时间t与当前频次的函数关系可以在坐标系中显示。
作为本发明再进一步的方案：所述S4，流量监控模块筛选出当前时间段的热度数据，频次监控模块从云端获取到每个时间段的热点数据的频次，该频次数据与时间的数值构成坐标点集合。
作为本发明再进一步的方案：所述S5，处理模块中包括分布储存引擎、大数据计算引擎、通用数据引擎、IOT数据引擎和结构化数据引擎，分布储存引擎、大数据计算引擎、通用数据引擎、IOT数据引擎和结构化数据引擎分别对数据进行处理。
作为本发明再进一步的方案：所述S6，数据抓取模块从频次较高的数据段筛选出高热度信息，将获取信息反馈到数据运营模块。
本发明的有益效果为：
1.通过设置监控模块，监控模块包括流量监控模块和频次监控模块，流量监控模块用于无选择性检测当前时段的热度数据，频次监控模块用于筛选出高流量时间段内的高热度信息，监控的信息都是通过5G网络从云端获取的，筛选处理后的数据可以显示到坐标系中，在坐标系中设置阈值顶点，达到阈值的数据将及时被监控和获取，获取的信息数据具有时效性，通过数据抓取模块将高频次热度信息抓取后，有效的保证获取信息的高价值；
2.通过设置处理模块，处理模块中的分布储存引擎、大数据计算引擎、通用数据引擎、IOT数据引擎和结构化数据引擎分别对数据进行处理，热点数据的信息被有效的反馈到数据抓取模块中，精准的对高频次热度信息进行筛选，高速的数据处理有效辅助了重点信息的获取；
3.通过设置数据运营模块，获得的及时高热度数据信息具有很高的价值，传输到数据运营模块中，无论是面向个人、面向企业还是面向政府，大量的信息都会被关注，高效成熟的数据运营模块可以将数据进行营销，从而有效的换取资金，在资金的支撑下逐步完善更新该数据处理系统。
附图说明
图1为本发明提出的一种基于使用频次的热数据提取方法的系统结构框图；
图2为本发明提出的一种基于使用频次的热数据提取方法的处理模块结构示意图；
图3为本发明提出的一种基于使用频次的热数据提取方法的时段频次分布曲线图；
图4为本发明提出的一种基于使用频次的热数据提取方法的流程图。
具体实施方式
下面将结合附图对本发明专利的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明专利一部分实施例，而不是全部的实施例。
通常在此处附图中描述和显示出的本发明专利实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明专利的实施例的详细描述并非旨在限制要求保护的本发明专利的范围，而是仅仅表示本发明专利的选定实施例。
基于本发明专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明专利保护的范围。
在本发明专利的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明专利的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明专利中的具体含义。
涉及到电路、电子元器件和控制模块均为现有技术，本领域技术人员完全可以实现，无需赘言，本发明专利保护的内容也不涉及对于软件和方法的改进。
参照图1-4，一种基于使用频次的热数据提取方法，利用5G网络将数据处理系统与网络云端数据相连，包括以下步骤：
S1：本数据处理系统通过5G互联网络与网络云端相连接；
S2：数据处理系统运行过程中，系统中的监控模块实时监控网络上的流量分布，设定流量值阈值信息和预警配套单元；
S3：建立上网时间t与每个时间点数据使用频次的坐标系；
S4：利用算力系统将流量反应在每个时间点t的使用频次记录下来，同时记录坐标点集合，将坐标信息反映在建立好的坐标系中；
S5：再利用处理模块对网络信息进行处理，针对流量阈值时间段通过频次监控模块和搜索引擎进行搜索；
S6：获取某时刻或者某时间段内高频次热数据信息。
本发明中，数据处理系统包括控制模块、第二通讯模块、监控模块、数据运营模块、处理模块和数据抓取模块，且监控模块与处理模块相连，处理模块与数据抓取模块相连，数据抓取模块与数据运营模块相连。
本发明中，S1，数据处理系统通过5G网络连接在云端数据库上，通过访问和调用可以有条不紊的实现数据传输。
本发明中，S2，监控模块包括流量监控模块和频次监控模块，流量监控模块用于无选择性检测当前时段的热度数据，频次监控模块用于筛选出高流量时间段内的高热度信息。
本发明中，S3，建立的时间t与当前频次的函数关系可以在坐标系中显示，更加直观明显。
本发明中，S4，流量监控模块筛选出当前时间段的热度数据，频次监控模块从云端获取到每个时间段的热点数据的频次，该频次数据与时间的数值构成坐标点集合，依次将收集到的坐标集合在坐标系中按照对应时间进行标点，最后连线成分布曲线。
本发明中，S5，处理模块中包括分布储存引擎、大数据计算引擎、通用数据引擎、IOT数据引擎和结构化数据引擎，分布储存引擎、大数据计算引擎、通用数据引擎、IOT数据引擎和结构化数据引擎分别对数据进行处理，筛选处理后的数据可以显示到坐标系中，在坐标系中设置阈值顶点，达到阈值的数据将及时被监控和获取。
本发明中，S6，数据抓取模块从频次较高的数据段筛选出高热度信息，将获取信息反馈到数据运营模块，高效成熟的数据运营模块可以将数据进行营销，从而有效的换取资金。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于使用频次的热数据提取方法，利用5G网络将数据处理系统与网络云端数据相连，其特征在于，包括以下步骤：
S1：本数据处理系统通过5G互联网络与网络云端相连接；
S2：数据处理系统运行过程中，系统中的监控模块实时监控网络上的流量分布，设定流量值阈值信息和预警配套单元；
S3：建立上网时间t与每个时间点数据使用频次的坐标系；
S4：利用算力系统将流量反应在每个时间点t的使用频次记录下来，同时记录坐标点集合，将坐标信息反映在建立好的坐标系中；
S5：再利用处理模块对网络信息进行处理，针对流量阈值时间段通过频次监控模块和搜索引擎进行搜索；
S6：获取某时刻或者某时间段内高频次热数据信息。
2.根据权利要求1所述的一种基于使用频次的热数据提取方法，其特征在于，所述数据处理系统包括控制模块、第二通讯模块、监控模块、数据运营模块、处理模块和数据抓取模块，且监控模块与处理模块相连，处理模块与数据抓取模块相连，数据抓取模块与数据运营模块相连。
3.根据权利要求1所述的一种基于使用频次的热数据提取方法，其特征在于，所述S1，数据处理系统通过5G网络连接在云端数据库上。
4.根据权利要求1所述的一种基于使用频次的热数据提取方法，其特征在于，所述S2，监控模块包括流量监控模块和频次监控模块，流量监控模块用于无选择性检测当前时段的热度数据，频次监控模块用于筛选出高流量时间段内的高热度信息。
5.根据权利要求1所述的一种基于使用频次的热数据提取方法，其特征在于，所述S3，建立的时间t与当前频次的函数关系可以在坐标系中显示。
6.根据权利要求1所述的一种基于使用频次的热数据提取方法，其特征在于，所述S4，流量监控模块筛选出当前时间段的热度数据，频次监控模块从云端获取到每个时间段的热点数据的频次，该频次数据与时间的数值构成坐标点集合。
7.根据权利要求1所述的一种基于使用频次的热数据提取方法，其特征在于，所述S5，处理模块中包括分布储存引擎、大数据计算引擎、通用数据引擎、IOT数据引擎和结构化数据引擎，分布储存引擎、大数据计算引擎、通用数据引擎、IOT数据引擎和结构化数据引擎分别对数据进行处理。
8.根据权利要求1所述的一种基于使用频次的热数据提取方法，其特征在于，所述S6，数据抓取模块从频次较高的数据段筛选出高热度信息，将获取信息反馈到数据运营模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110803622.8A CN113542070A (zh) | 2021-07-15 | 2021-07-15 | 一种基于使用频次的热数据提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110803622.8A CN113542070A (zh) | 2021-07-15 | 2021-07-15 | 一种基于使用频次的热数据提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113542070A true CN113542070A (zh) | 2021-10-22 |
Family
ID=78128265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110803622.8A Withdrawn CN113542070A (zh) | 2021-07-15 | 2021-07-15 | 一种基于使用频次的热数据提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113542070A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114143234A (zh) * | 2021-11-30 | 2022-03-04 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种数据处理方法及系统 |
-
2021
- 2021-07-15 CN CN202110803622.8A patent/CN113542070A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114143234A (zh) * | 2021-11-30 | 2022-03-04 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105427193B (zh) | 一种基于分布式时序数据服务的大数据分析装置及方法 | |
| CN204631867U (zh) | 一种国境口岸入境人员信息自动采集系统 | |
| CN107943668A (zh) | 计算机服务器集群日志监控方法及监控平台 | |
| CN104966172A (zh) | 一种用于企业经营数据分析的大数据可视化分析处理系统 | |
| CN104794204A (zh) | 一种数据库敏感数据自动识别方法 | |
| CN109992569A (zh) | 集群日志特征提取方法、装置及存储介质 | |
| CN105956125A (zh) | 专利监控系统及其方法 | |
| CN113542070A (zh) | 一种基于使用频次的热数据提取方法 | |
| CN102571424A (zh) | 一种工程事件处理方法、装置和系统 | |
| CN114116872A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109284341A (zh) | 一种能效监测大数据分析系统及方法 | |
| CN117033501A (zh) | 大数据采集分析系统 | |
| CN103390035A (zh) | 一种基于正则表达式的智能告警信号类型匹配方法 | |
| CN110837593A (zh) | 一种基于聚焦爬虫技术的旅游跟踪系统 | |
| CN102193859B (zh) | 一种代码分析方法及系统 | |
| CN104850484A (zh) | 一种基于位图分析的字符终端交互状态自动判定方法 | |
| CN104426708A (zh) | 一种安全检测服务执行方法及系统 | |
| CN115687406A (zh) | 一种调用链数据的采样方法、装置、设备及存储介质 | |
| CN108873781A (zh) | 一种全自动数字化设备 | |
| CN104516916A (zh) | 网络报表关联关系的分析方法和装置 | |
| CN104636372A (zh) | 基于表格实现大数据量处理的方法及装置 | |
| CN112685376A (zh) | 海量日志数据分析方法及系统 | |
| CN110278281A (zh) | 一种电子信息的发布方法以及装置 | |
| CN109684159A (zh) | 分布式消息系统的状态监控方法、装置、设备及存储介质 | |
| CN113590597B (zh) | 网络异常行为重点人员分析层级划分的识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211022 |
|
| WW01 | Invention patent application withdrawn after publication |