CN114996207A - 一种基于5g云计算的大数据分析方法及系统 - Google Patents

一种基于5g云计算的大数据分析方法及系统 Download PDF

Info

Publication number
CN114996207A
CN114996207A CN202210497936.4A CN202210497936A CN114996207A CN 114996207 A CN114996207 A CN 114996207A CN 202210497936 A CN202210497936 A CN 202210497936A CN 114996207 A CN114996207 A CN 114996207A
Authority
CN
China
Prior art keywords
module
data
screening
keyword
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210497936.4A
Other languages
English (en)
Inventor
陈明瞳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Information Consulting and Designing Institute Co Ltd
Original Assignee
China Information Consulting and Designing Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Information Consulting and Designing Institute Co Ltd filed Critical China Information Consulting and Designing Institute Co Ltd
Priority to CN202210497936.4A priority Critical patent/CN114996207A/zh
Publication of CN114996207A publication Critical patent/CN114996207A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于5G云计算的大数据分析方法及系统，属于大数据分析技术领域，包括用户终端、任务生成器、5G传输模块、数据整理模块、云加密模块、云端大数据存储模块、本地数据库、数据筛选模块、数据采集模块和AI人工智能模块，本发明设置数据筛选模块，任务文件标题含有多组关键词时，多关键词筛选模块对任务文件标题含有多组关键词的分析筛选，关键词顺序筛选模块对任务文件标题含有多组关键词的顺序分析筛选，所述关键词错序筛选模块用于任务文件标题含有多组关键词的错序分析筛选，任务文件标题含有单一组关键词时，单关键词筛选模块对任务文件标题含有单一关键词的分析筛选，分析筛选方式多样，提高分析效率。

Description

一种基于5G云计算的大数据分析方法及系统
技术领域
本发明属于大数据分析技术领域，具体涉及一种基于5G云计算的大数据分析方法及系统。
背景技术
数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
现有技术存在以下问题：现有的云计算的大数据分析方法及系统在使用时存在数据筛选处理方式单一，影响效率低，同时数据分析方式单一，流程麻烦，影响用户体验。
发明内容
为解决上述背景技术中提出的问题。本发明提供了一种基于5G云计算的大数据分析方法及系统，具有筛选效率高，分析方式多样的特点。
为实现上述目的，本发明提供如下技术方案：一种基于5G云计算的大数据分析系统，包括用户终端、任务生成器、5G传输模块、数据整理模块、云加密模块、云端大数据存储模块、本地数据库、数据筛选模块、数据采集模块和AI人工智能模块，
所述用户终端用于发出数据分析的需求以及接收数据分析的结果；
所述任务生成器用于将用户终端发出的数据分析需求生成任务文件，并将任务文件发出数据整理模块；
所述5G传输模块用于将任务生成器生成的任务文件传输至云端大数据存储模块；
所述数据整理模块用于实现任务文件中数据的整理；
所述数据采集模块用于将数据整理模块整理后的文件分类传递至数据筛选模块；
所述数据筛选模块用于对整理后的文件进行分类筛分，并将筛分结果归类汇总；
所述云端大数据存储模块用于将数据筛选模块的数据分析结果储存；
所述本地数据库用于将数据筛选模块的数据分析结果本地服务器储存；
所述云加密模块用于保证数据分析结果发送至用户终端时的安全；
所述数据筛选模块包括多关键词筛选模块和单关键词筛选模块，所述多关键词筛选模块用于任务文件标题含有多组关键词的分析筛选，所述单关键词筛选模块进行任务文件标题含有单一关键词的分析筛选。
进一步的，所述多关键词筛选模块包括关键词顺序筛选模块和关键词错序筛选模块，所述关键词顺序筛选模块用于任务文件标题含有多组关键词的顺序分析筛选，所述关键词错序筛选模块用于任务文件标题含有多组关键词的错序分析筛选。
进一步的，所述用户终端包括手机、平板电脑和个人计算机等具有5G通讯功能的终端设备。
进一步的，所述数据采集模块包括5G通信和电缆通信。
进一步的，所述AI人工智能模块根据用户喜好进行AI人工智能筛选，提供预分析处理。
进一步的，所述基于5G云计算的大数据分析系统的分析方法包括以下步骤：
S1：用户通过身份验证后登录用户终端，并通过用户终端发出数据分析需求，任务生成器将用户终端发出的数据分析需求生成任务文件后，将该任务文件发出至数据整理模块；
S2：数据整理模块对任务文件中的数据进行整理，整理好的数据传递至数据采集模块；
S3：数据采集模块将数据整理模块整理后的文件分类传递至数据筛选模块后，数据筛选模块进行筛选分析，任务文件标题含有多组关键词时，多关键词筛选模块对任务文件标题含有多组关键词的分析筛选，关键词顺序筛选模块对任务文件标题含有多组关键词的顺序分析筛选，所述关键词错序筛选模块用于任务文件标题含有多组关键词的错序分析筛选，任务文件标题含有单一组关键词时，单关键词筛选模块对任务文件标题含有单一关键词的分析筛选，分析后的数据储存在云端大数据存储模块内，并通过云加密模块加密发送至用户终端；
S4：任务生成器将用户终端发出的数据分析需求生成任务文件后，AI人工智能模块进行数据分析需求的识别，然后通过数据筛选模块进行筛选分析，分析后的数据储存在本地数据库内，并通过云加密模块加密发送至用户终端与现有技术相比，本发明的有益效果是：
1、本发明设置数据筛选模块，任务文件标题含有多组关键词时，多关键词筛选模块对任务文件标题含有多组关键词的分析筛选，关键词顺序筛选模块对任务文件标题含有多组关键词的顺序分析筛选，所述关键词错序筛选模块用于任务文件标题含有多组关键词的错序分析筛选，任务文件标题含有单一组关键词时，单关键词筛选模块对任务文件标题含有单一关键词的分析筛选，分析筛选方式多样，提高分析效率；
2、本发明设置5G传输模块和AI人工智能模块，5G传输模块用于将任务生成器生成的任务文件传输，提高传输稳定性和效率；AI人工智能模块根据用户喜好进行AI人工智能筛选，提供预分析处理，提高分析效率，节省分析时间。
附图说明
图1为本发明的结构示意图；
图2为本发明的数据筛选模块结构示意图；
图中：1、用户终端；2、任务生成器；3、5G传输模块；4、数据整理模块；5、云加密模块；6、云端大数据存储模块；7、本地数据库；8、数据筛选模块；81、多关键词筛选模块；811、关键词顺序筛选模块；812、关键词错序筛选模块；82、单关键词筛选模块；9、数据采集模块；10、AI人工智能模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-2，本发明提供以下技术方案：一种基于5G云计算的大数据分析系统，包括用户终端1、任务生成器2、5G传输模块3、数据整理模块4、云加密模块5、云端大数据存储模块6、本地数据库7、数据筛选模块8、数据采集模块9和AI人工智能模块10，
用户终端1用于发出数据分析的需求以及接收数据分析的结果；
任务生成器2用于将用户终端1发出的数据分析需求生成任务文件，并将任务文件发出数据整理模块4；
5G传输模块3用于将任务生成器2生成的任务文件传输至云端大数据存储模块6；
数据整理模块4用于实现任务文件中数据的整理；
数据采集模块9用于将数据整理模块4整理后的文件分类传递至数据筛选模块8；
数据筛选模块8用于对整理后的文件进行分类筛分，并将筛分结果归类汇总；
云端大数据存储模块6用于将数据筛选模块8的数据分析结果储存；
本地数据库7用于将数据筛选模块8的数据分析结果本地服务器储存；
云加密模块5用于保证数据分析结果发送至用户终端1时的安全；
数据筛选模块8包括多关键词筛选模块81和单关键词筛选模块82，多关键词筛选模块81用于任务文件标题含有多组关键词的分析筛选，单关键词筛选模块82进行任务文件标题含有单一关键词的分析筛选。
本发明中进一步的，多关键词筛选模块81包括关键词顺序筛选模块811和关键词错序筛选模块812，关键词顺序筛选模块811用于任务文件标题含有多组关键词的顺序分析筛选，关键词错序筛选模块812用于任务文件标题含有多组关键词的错序分析筛选，
通过采用上述技术方案，方便进行分类，满足不同情况使用。
本发明中进一步的，用户终端1包括手机、平板电脑和个人计算机等具有5G通讯功能的终端设备，
通过采用上述技术方案，保证终端多样性，满足不同使用需求。
本发明中进一步的，数据采集模块9包括5G通信和电缆通信，
通过采用上述技术方案，方便不同通信状态下的数据分析。
实施例2
本实施例与实施例1不同之处在于：5G传输模块3用于将任务生成器2生成的任务文件传输至云端大数据存储模块6；
AI人工智能模块10根据用户喜好进行AI人工智能筛选，提供预分析处理，
本发明中进一步的，基于5G云计算的大数据分析系统的分析方法包括以下步骤：
S1：用户通过身份验证后登录用户终端1，并通过用户终端1发出数据分析需求，任务生成器2将用户终端1发出的数据分析需求生成任务文件后，将该任务文件发出至数据整理模块4；
S2：数据整理模块4对任务文件中的数据进行整理，整理好的数据传递至数据采集模块9；
S3：数据采集模块9将数据整理模块4整理后的文件分类传递至数据筛选模块8后，数据筛选模块8进行筛选分析，任务文件标题含有多组关键词时，多关键词筛选模块81对任务文件标题含有多组关键词的分析筛选，关键词顺序筛选模块811对任务文件标题含有多组关键词的顺序分析筛选，关键词错序筛选模块812用于任务文件标题含有多组关键词的错序分析筛选，任务文件标题含有单一组关键词时，单关键词筛选模块82对任务文件标题含有单一关键词的分析筛选，分析后的数据储存在云端大数据存储模块6内，并通过云加密模块5加密发送至用户终端1；
S4：任务生成器2将用户终端1发出的数据分析需求生成任务文件后，AI人工智能模块10进行数据分析需求的识别，然后通过数据筛选模块8进行筛选分析，分析后的数据储存在本地数据库7内，并通过云加密模块5加密发送至用户终端1。
本发明中用户终端1、任务生成器2、数据整理模块4、云加密模块5、云端大数据存储模块6和数据采集模块9的结构和使用原理在中国专利申请号为201911160061.3公开的一种基于云计算的大数据分析系统及其方法中已经公开。
本发明的工作原理及使用流程：本发明使用时，用户通过身份验证后登录用户终端1，并通过用户终端1发出数据分析需求，任务生成器2将用户终端1发出的数据分析需求生成任务文件后，将该任务文件发出至数据整理模块4；数据整理模块4对任务文件中的数据进行整理，整理好的数据传递至数据采集模块9；数据采集模块9将数据整理模块4整理后的文件分类传递至数据筛选模块8后，数据筛选模块8进行筛选分析，任务文件标题含有多组关键词时，多关键词筛选模块81对任务文件标题含有多组关键词的分析筛选，关键词顺序筛选模块811对任务文件标题含有多组关键词的顺序分析筛选，关键词错序筛选模块812用于任务文件标题含有多组关键词的错序分析筛选，任务文件标题含有单一组关键词时，单关键词筛选模块82对任务文件标题含有单一关键词的分析筛选，分析后的数据储存在云端大数据存储模块6内，并通过云加密模块5加密发送至用户终端1；任务生成器2将用户终端1发出的数据分析需求生成任务文件后，AI人工智能模块10进行数据分析需求的识别，然后通过数据筛选模块8进行筛选分析，分析后的数据储存在本地数据库7内，并通过云加密模块5加密发送至用户终端1。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于5G云计算的大数据分析系统，包括用户终端(1)、任务生成器(2)、5G传输模块(3)、数据整理模块(4)、云加密模块(5)、云端大数据存储模块(6)、本地数据库(7)、数据筛选模块(8)、数据采集模块(9)和AI人工智能模块(10)，其特征在于：
所述用户终端(1)用于发出数据分析的需求以及接收数据分析的结果；
所述任务生成器(2)用于将用户终端(1)发出的数据分析需求生成任务文件，并将任务文件发出数据整理模块(4)；
所述5G传输模块(3)用于将任务生成器(2)生成的任务文件传输至云端大数据存储模块(6)；
所述数据整理模块(4)用于实现任务文件中数据的整理；
所述数据采集模块(9)用于将数据整理模块(4)整理后的文件分类传递至数据筛选模块(8)；
所述数据筛选模块(8)用于对整理后的文件进行分类筛分，并将筛分结果归类汇总；
所述云端大数据存储模块(6)用于将数据筛选模块(8)的数据分析结果储存；
所述本地数据库(7)用于将数据筛选模块(8)的数据分析结果本地服务器储存；
所述云加密模块(5)用于保证数据分析结果发送至用户终端(1)时的安全；
所述数据筛选模块(8)包括多关键词筛选模块(81)和单关键词筛选模块(82)，所述多关键词筛选模块(81)用于任务文件标题含有多组关键词的分析筛选，所述单关键词筛选模块(82)进行任务文件标题含有单一关键词的分析筛选。
2.根据权利要求1所述的一种基于5G云计算的大数据分析系统，其特征在于：所述多关键词筛选模块(81)包括关键词顺序筛选模块(811)和关键词错序筛选模块(812)，所述关键词顺序筛选模块(811)用于任务文件标题含有多组关键词的顺序分析筛选，所述关键词错序筛选模块(812)用于任务文件标题含有多组关键词的错序分析筛选。
3.根据权利要求1所述的一种基于5G云计算的大数据分析系统，其特征在于：所述用户终端(1)包括手机、平板电脑和个人计算机等具有5G通讯功能的终端设备。
4.根据权利要求1所述的一种基于5G云计算的大数据分析方法及系统，其特征在于：所述数据采集模块(9)包括5G通信和电缆通信。
5.根据权利要求1所述的一种基于5G云计算的大数据分析系统，其特征在于：所述AI人工智能模块(10)根据用户喜好进行AI人工智能筛选，提供预分析处理。
6.根据权利要求1-5任意所述的一种基于5G云计算的大数据分析系统，其特征在于：所述基于5G云计算的大数据分析系统的分析方法包括以下步骤：
S1：用户通过身份验证后登录用户终端(1)，并通过用户终端(1)发出数据分析需求，任务生成器(2)将用户终端(1)发出的数据分析需求生成任务文件后，将该任务文件发出至数据整理模块(4)；
S2：数据整理模块(4)对任务文件中的数据进行整理，整理好的数据传递至数据采集模块(9)；
S3：数据采集模块(9)将数据整理模块(4)整理后的文件分类传递至数据筛选模块(8)后，数据筛选模块(8)进行筛选分析，任务文件标题含有多组关键词时，多关键词筛选模块(81)对任务文件标题含有多组关键词的分析筛选，关键词顺序筛选模块(811)对任务文件标题含有多组关键词的顺序分析筛选，所述关键词错序筛选模块(812)用于任务文件标题含有多组关键词的错序分析筛选，任务文件标题含有单一组关键词时，单关键词筛选模块(82)对任务文件标题含有单一关键词的分析筛选，分析后的数据储存在云端大数据存储模块(6)内，并通过云加密模块(5)加密发送至用户终端(1)；
S4：任务生成器(2)将用户终端(1)发出的数据分析需求生成任务文件后，AI人工智能模块(10)进行数据分析需求的识别，然后通过数据筛选模块(8)进行筛选分析，分析后的数据储存在本地数据库(7)内，并通过云加密模块(5)加密发送至用户终端(1)。
CN202210497936.4A 2022-05-09 2022-05-09 一种基于5g云计算的大数据分析方法及系统 Pending CN114996207A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210497936.4A CN114996207A (zh) 2022-05-09 2022-05-09 一种基于5g云计算的大数据分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210497936.4A CN114996207A (zh) 2022-05-09 2022-05-09 一种基于5g云计算的大数据分析方法及系统

Publications (1)

Publication Number Publication Date
CN114996207A true CN114996207A (zh) 2022-09-02

Family

ID=83026084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210497936.4A Pending CN114996207A (zh) 2022-05-09 2022-05-09 一种基于5g云计算的大数据分析方法及系统

Country Status (1)

Country Link
CN (1) CN114996207A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116455861A (zh) * 2023-04-17 2023-07-18 江苏鑫翊翔智能化工程有限公司 一种基于大数据的计算机网络安全监测系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116455861A (zh) * 2023-04-17 2023-07-18 江苏鑫翊翔智能化工程有限公司 一种基于大数据的计算机网络安全监测系统及方法
CN116455861B (zh) * 2023-04-17 2023-11-24 福建数智闽政科技有限公司 一种基于大数据的计算机网络安全监测系统及方法

Similar Documents

Publication Publication Date Title
Jiang et al. Sketchml: Accelerating distributed machine learning with data sketches
CN107180192B (zh) 基于多特征融合的安卓恶意应用程序检测方法和系统
CN101477542A (zh) 一种抽样分析方法、系统和设备
CN111177360B (zh) 一种基于云上用户日志的自适应过滤方法及装置
CN112019500B (zh) 一种基于深度学习的加密流量识别方法及电子装置
Sun et al. Efficient method for feature selection in text classification
CN106681980B (zh) 一种垃圾短信分析方法和装置
CN114996207A (zh) 一种基于5g云计算的大数据分析方法及系统
CN113688490A (zh) 网络共建共享处理方法、装置、设备及存储介质
CN110908957A (zh) 电力行业网络安全日志审计分析方法
CN102567405A (zh) 一种基于改进的文本空间向量表示的热点发现方法
CN115022038A (zh) 一种电网网络异常检测方法、装置、设备及存储介质
CN106919566A (zh) 一种基于海量数据的查询统计方法及系统
CN112507348A (zh) 一种基于大数据平台的智能网络安全实施方法
CN112988829A (zh) 一种大数据分析处理系统
CN110941836A (zh) 一种分布式垂直爬虫方法及终端设备
CN110597993A (zh) 一种微博热点话题数据挖掘方法
CN104572767B (zh) 一种站点语种分类的方法和系统
CN114519343A (zh) 基于95598的重复来电预处理方法、装置、设备及存储介质
CN115114805A (zh) 自主式交通系统架构的信息交互对离散仿真方法
Luo et al. Research on the anonymous customer segmentation model of telecom
CN114218569A (zh) 数据分析方法、装置、设备、介质和产品
KR20220095654A (ko) 소셜 데이터 수집 분석 시스템
CN110895541A (zh) 一种Timing云数据统计智能化平台
CN111917600A (zh) 一种基于Spark性能优化的网络流量分类装置及分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination