CN110109973A - 一种云计算系统数据处理方法 - Google Patents

一种云计算系统数据处理方法 Download PDF

Info

Publication number
CN110109973A
CN110109973A CN201910357726.3A CN201910357726A CN110109973A CN 110109973 A CN110109973 A CN 110109973A CN 201910357726 A CN201910357726 A CN 201910357726A CN 110109973 A CN110109973 A CN 110109973A
Authority
CN
China
Prior art keywords
data
information
cloud computing
computing system
information data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910357726.3A
Other languages
English (en)
Inventor
张雅洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Polytechnic
Original Assignee
Wenzhou Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Polytechnic filed Critical Wenzhou Polytechnic
Priority to CN201910357726.3A priority Critical patent/CN110109973A/zh
Publication of CN110109973A publication Critical patent/CN110109973A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及互联网技术领域,尤其是一种云计算系统数据处理方法,包括如下步骤:电脑或者是手机中的数据采集系统将采集到的信息数据传送到云计算系统中,云计算系统能够通过分布式处理及分析为用户提供高效服务;在云计算系统中,会有对信息数据业务对象分类的要求。本发明通过虚拟化技术、联机分析技术和可视化技术对信息数据做多级的处理,不仅能够提高信息数据处理的准确性和全面性,还能够提高云计算系统数据处理的数据,还在信息数据处理后对信息数据进行过滤处理,对网络上传播的敏感信息进行处理,避免网络上敏感信息数据的传播,给网民提供更为和谐的网络环境。

Description

一种云计算系统数据处理方法
技术领域
本发明涉及互联网技术领域,尤其涉及一种云计算系统数据处理方法。
背景技术
在信息技术、计算机网络技术、通信技术不断发展的今天,人们获取信息资源的渠道更多,信息传播的形式也更加多元化、便捷化,将现阶段称之为信息大爆炸时代也不为过。各类信息泛滥,人们每天的生活、工作都会接触到海量数据,已然进入了大数据时代。
对于海量数据信息,如果采用传统的数据处理办法,很难保证数据信息传输的安全性、快速性。此外,在信息传播过程中,对数据处理体系提出了更高的要求。据预测,到2020年,世界数据量会超过35亿GB,而针对大数据随机性、庞大性、离散性、爆发性的特点,还需要选择更加强大的数据处理技术。云计算的出现为数据处理革新提供了基础,基于此,加强对云计算背景下大数据处理技术的研究具有十分现实的意义,因此需要一种云计算系统数据处理方法来满足需求。
发明内容
本发明的目的是为了解决现有技术中存在的缺点,而提出的一种云计算系统数据处理方法。
为了实现上述目的,本发明采用了如下技术方案:
设计一种云计算系统数据处理方法,包括如下步骤:
S1、电脑或者是手机中的数据采集系统将采集到的信息数据传送到云计算系统中,云计算系统能够通过分布式处理及分析为用户提供高效服务;
S2、在云计算系统中,会有对信息数据业务对象分类的要求,而这些被传送到云计算系统中的信息数据会按照业务对象分类的要求被划分到各自的区域中进行数据处理;
S3、信息数据被划分到各自的区域后,在云计算系统中会利用虚拟化技术对信息数据做处理,信息数据存储以列式存储为主,这种方式主要根据信息数据的属性存储,与按行存储相反,将每一个属性按照一列进行存放,联机分析处理技术是云计算系统中的关键内容,采用联机分析手段,从综合数据出发,建立多维模型,利用大数据挖掘技术对信息数据进行再次的处理,大数据挖掘技术主要为并行模式,采用分布式并行信息数据挖掘技术,利用分别式系统,采用集群、拆分等多种方式,提升数据计算的效率,通过数据挖掘技术科实现对大数据多维度、深层次的分析,便于获取更多的有效数据;
S4、再利用可视化技术能够对信息数据具体化,使其更加形象的展示处理,在云计算系统中存在敏感信息数据库,在云计算系统中对信息数据处理好以后,通过自动检索对比的手段,将信息数据和敏感信息数据库中的内容作对比,进而对信息数据中的敏感信息做过滤处理;
S5、经过云计算系统数据处理后的信息数据再发送给访问网络的用户。
优选的,在步骤S1中,在数据采集系统进行数据采集时,根据采集形式的不同,可将数据采集系统分为两类,即集中式采集与分布式采集,这两种采集方式各具优劣,我们以优点为例进行说明,集中式采集能够掌控全局数据,而在灵活性方面,采用分布式采集模式的优势更为明显,在大数据采集过程中,既包括对企业内部数据的采集,也包括采集企业之间的信息数据,通过分布式并行计算模式,将几种采集模式混合使用,提升数据采集的整体效率;根据结构类型的不同,可将大数据分为结构化数据、半结构大数据以及非结构化数据。
优选的,在步骤S2中,信息数据业务对象分别为文字信息数据、静态图片信息数据、动态图片信息数据和视屏信息数据。
优选的,在步骤S3中,虚拟化技术是云计算系统中存储,计算的基础,主要通过相关的方式将真实环境中的计算机系统、组件等转移到虚拟环境中,然后结合操作系统、硬件资源、软件应用程序等组成虚拟化层结构。
优选的,在步骤S4中,可视化技术是指信息数据存储空间中,用图形、图像的方式将数据库以及数据库中的相关数据表示出来,同时,在展示过程中,将图像中蕴藏的相关隐藏信息挖掘处理,借助可视化技术,不仅能够实现对非空间数据多维度图像的显示,同时还能在图形显示过程中实现直接的检索过程,帮助用户更好的挖掘数据信息化、理解数据信息,提升信息检索效率。
优选的,在步骤S4中,敏感信息数据库中包含敏感文字信息、敏感图片信息和敏感视频信息。
优选的,在步骤S4中,过滤处理包括用特殊符号来代替一些敏感词汇,针对一些敏感图片或者是视屏,直接将图片或者是视屏模糊化。
本发明提出的一种云计算系统数据处理方法,有益效果在于:
1、本发明通过虚拟化技术、联机分析技术和可视化技术对信息数据做多级的处理,不仅能够提高信息数据处理的准确性和全面性,还能够提高云计算系统数据处理的数据。
2、本发明还在信息数据处理后对信息数据进行过滤处理,对网络上传播的敏感信息进行处理,避免网络上敏感信息数据的传播,给网民提供更为和谐的网络环境。
具体实施方式
下面结合具体实施例来对本发明做进一步说明。
一种云计算系统数据处理方法,包括如下步骤:
S1、电脑或者是手机中的数据采集系统将采集到的信息数据传送到云计算系统中,云计算系统能够通过分布式处理及分析为用户提供高效服务;其中,开源数据管理模块HBase以及BigTable数据管理技术是现阶段主要的数据管理技术;
S2、在云计算系统中,会有对信息数据业务对象分类的要求,而这些被传送到云计算系统中的信息数据会按照业务对象分类的要求被划分到各自的区域中进行数据处理;
S3、信息数据被划分到各自的区域后,在云计算系统中会利用虚拟化技术对信息数据做处理,信息数据存储以列式存储为主,这种方式主要根据信息数据的属性存储,与按行存储相反,将每一个属性按照一列进行存放,在数据投影过程中,只能对涉及到的属性列进行访问,能够大大提升系统输入或者是输出的效率,因此采用这种存储模式能够提升信息数据的压缩率,压缩后更能减少信息数据传输的成本,联机分析处理技术是云计算系统中的关键内容,针对复杂的信息数据分析过程,其重点在决策性分析,为客户提供实际结果,采用联机分析手段,从综合数据出发,建立多维模型,得到全面数据分析结果,为决策者提供参考依据,联机分析处理的一个特点就是数据分析,将数据仓库与联机分析技术相结合,不仅能够计算海量数据,还能够分析数据,采用联机分析技术,往往只能够获取表层的知识信息,但是对于信息数据潜在的联系却知之甚少,利用大数据挖掘技术对信息数据进行再次的处理,大数据挖掘技术主要为并行模式,采用分布式并行信息数据挖掘技术,利用分别式系统,采用集群、拆分等多种方式,提升数据计算的效率,与其他串行方式相比,并行挖掘技术能够通过机器集群拆分分布式系统中的并行任务,将任务进行拆分后再处理,由更多的机器进行分任务处理,提升数据处理效率,可在一定程度上节约数据处理的成本,通过数据挖掘技术科实现对大数据多维度、深层次的分析,便于获取更多的有效数据;
S4、再利用可视化技术能够对信息数据具体化,使其更加形象的展示处理,将信息数据之间的关系更直观的展示给用户,便于用户的理解,在云计算系统中存在敏感信息数据库,在云计算系统中对信息数据处理好以后,通过自动检索对比的手段,将信息数据和敏感信息数据库中的内容作对比,进而对信息数据中的敏感信息做过滤处理;
S5、经过云计算系统数据处理后的信息数据再发送给访问网络的用户。
在步骤S1中,在数据采集系统进行数据采集时,根据采集形式的不同,可将数据采集系统分为两类,即集中式采集与分布式采集,这两种采集方式各具优劣,我们以优点为例进行说明,集中式采集能够掌控全局数据,而在灵活性方面,采用分布式采集模式的优势更为明显,在大数据采集过程中,既包括对企业内部数据的采集,也包括采集企业之间的信息数据,通过分布式并行计算模式,将几种采集模式混合使用,提升数据采集的整体效率,即在大数据采集过程中,对于企业内部采用集中采集模式,而在企业之间采用分布式采集模式,在每一个企业内部都设置多个中心服务器,将企业共享的信息数据进行存储,对于中心服务器间的组织则采用分布式数据采集模式,根据结构类型的不同,可将大数据分为结构化数据、半结构大数据以及非结构化数据,在数据采集过程中,应该先对数据类型进行分析,根据不同类型,通过云计算的扩展、容错等优势,实现对数据的同构化,实现各结构数据之间的对接。
在步骤S2中,信息数据业务对象分别为文字信息数据、静态图片信息数据、动态图片信息数据和视屏信息数据。
在步骤S3中,虚拟化技术是云计算系统中存储,计算的基础,主要通过相关的方式将真实环境中的计算机系统、组件等转移到虚拟环境中,然后结合操作系统、硬件资源、软件应用程序等组成虚拟化层结构,一般虚拟层可以分为上中下三层,通过中间层连接上下两层结构,为其提供类似的功能,保证其运行在虚拟化环境中,虚拟化技术的运用能够实现对相关系统功能的整合,保证资源利用的最大化。
在步骤S4中,可视化技术是指信息数据存储空间中,用图形、图像的方式将数据库以及数据库中的相关数据表示出来,同时,在展示过程中,将图像中蕴藏的相关隐藏信息挖掘处理,传统的数据处理过程仅仅基于数据本身,对数据中蕴含的信息进行观察和分析,借助可视化技术,不仅能够实现对非空间数据多维度图像的显示,同时还能在图形显示过程中实现直接的检索过程,帮助用户更好的挖掘数据信息化、理解数据信息,提升信息检索效率。在步骤S4中,敏感信息数据库中包含敏感文字信息、敏感图片信息和敏感视频信息。在步骤S4中,过滤处理包括用特殊符号来代替一些敏感词汇,针对一些敏感图片或者是视屏,直接将图片或者是视屏模糊化。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种云计算系统数据处理方法,其特征在于,包括如下步骤:
S1、电脑或者是手机中的数据采集系统将采集到的信息数据传送到云计算系统中,云计算系统能够通过分布式处理及分析为用户提供高效服务;
S2、在云计算系统中,会有对信息数据业务对象分类的要求,而这些被传送到云计算系统中的信息数据会按照业务对象分类的要求被划分到各自的区域中进行数据处理;
S3、信息数据被划分到各自的区域后,在云计算系统中会利用虚拟化技术对信息数据做处理,信息数据存储以列式存储为主,这种方式主要根据信息数据的属性存储,与按行存储相反,将每一个属性按照一列进行存放,联机分析处理技术是云计算系统中的关键内容,采用联机分析手段,从综合数据出发,建立多维模型,利用大数据挖掘技术对信息数据进行再次的处理,大数据挖掘技术主要为并行模式,采用分布式并行信息数据挖掘技术,利用分别式系统,采用集群、拆分等多种方式,提升数据计算的效率,通过数据挖掘技术科实现对大数据多维度、深层次的分析,便于获取更多的有效数据;
S4、再利用可视化技术能够对信息数据具体化,使其更加形象的展示处理,在云计算系统中存在敏感信息数据库,在云计算系统中对信息数据处理好以后,通过自动检索对比的手段,将信息数据和敏感信息数据库中的内容作对比,进而对信息数据中的敏感信息做过滤处理;
S5、经过云计算系统数据处理后的信息数据再发送给访问网络的用户。
2.根据权利要求1所述的一种云计算系统数据处理方法,其特征在于,在步骤S1中,在数据采集系统进行数据采集时,根据采集形式的不同,可将数据采集系统分为两类,即集中式采集与分布式采集,这两种采集方式各具优劣,我们以优点为例进行说明,集中式采集能够掌控全局数据,而在灵活性方面,采用分布式采集模式的优势更为明显,在大数据采集过程中,既包括对企业内部数据的采集,也包括采集企业之间的信息数据,通过分布式并行计算模式,将几种采集模式混合使用,提升数据采集的整体效率;根据结构类型的不同,可将大数据分为结构化数据、半结构大数据以及非结构化数据。
3.根据权利要求1所述的一种云计算系统数据处理方法,其特征在于,在步骤S2中,信息数据业务对象分别为文字信息数据、静态图片信息数据、动态图片信息数据和视屏信息数据。
4.根据权利要求1所述的一种云计算系统数据处理方法,其特征在于,在步骤S3中,虚拟化技术是云计算系统中存储,计算的基础,主要通过相关的方式将真实环境中的计算机系统、组件等转移到虚拟环境中,然后结合操作系统、硬件资源、软件应用程序等组成虚拟化层结构。
5.根据权利要求1所述的一种云计算系统数据处理方法,其特征在于,在步骤S4中,可视化技术是指信息数据存储空间中,用图形、图像的方式将数据库以及数据库中的相关数据表示出来,同时,在展示过程中,将图像中蕴藏的相关隐藏信息挖掘处理,借助可视化技术,不仅能够实现对非空间数据多维度图像的显示,同时还能在图形显示过程中实现直接的检索过程,帮助用户更好的挖掘数据信息化、理解数据信息,提升信息检索效率。
6.根据权利要求1所述的一种云计算系统数据处理方法,其特征在于,在步骤S4中,敏感信息数据库中包含敏感文字信息、敏感图片信息和敏感视频信息。
7.根据权利要求1所述的一种云计算系统数据处理方法,其特征在于,在步骤S4中,过滤处理包括用特殊符号来代替一些敏感词汇,针对一些敏感图片或者是视屏,直接将图片或者是视屏模糊化。
CN201910357726.3A 2019-04-30 2019-04-30 一种云计算系统数据处理方法 Pending CN110109973A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910357726.3A CN110109973A (zh) 2019-04-30 2019-04-30 一种云计算系统数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910357726.3A CN110109973A (zh) 2019-04-30 2019-04-30 一种云计算系统数据处理方法

Publications (1)

Publication Number Publication Date
CN110109973A true CN110109973A (zh) 2019-08-09

Family

ID=67487544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910357726.3A Pending CN110109973A (zh) 2019-04-30 2019-04-30 一种云计算系统数据处理方法

Country Status (1)

Country Link
CN (1) CN110109973A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554923A (zh) * 2019-09-09 2019-12-10 吕春燕 一种用于云计算的分布链式计算资源的优化方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160357739A1 (en) * 2015-06-02 2016-12-08 Oracle International Corporation Techniques for tenant controlled visualizations and management of files in cloud storage systems
CN106850249A (zh) * 2016-10-26 2017-06-13 中国电力技术装备有限公司郑州电力设计院 基于大数据分析的通信网络预警分析系统
CN108228683A (zh) * 2016-12-21 2018-06-29 广东工业大学 一种基于云计算的分布式智能电网数据分析平台
CN108446306A (zh) * 2018-01-31 2018-08-24 佛山市聚成知识产权服务有限公司 一种大数据的处理设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160357739A1 (en) * 2015-06-02 2016-12-08 Oracle International Corporation Techniques for tenant controlled visualizations and management of files in cloud storage systems
CN106850249A (zh) * 2016-10-26 2017-06-13 中国电力技术装备有限公司郑州电力设计院 基于大数据分析的通信网络预警分析系统
CN108228683A (zh) * 2016-12-21 2018-06-29 广东工业大学 一种基于云计算的分布式智能电网数据分析平台
CN108446306A (zh) * 2018-01-31 2018-08-24 佛山市聚成知识产权服务有限公司 一种大数据的处理设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
朱扬勇: "《大数据资源》", 31 January 2018 *
解大: "《城市固废综合利用基地与能源互联网》", 31 August 2018 *
韩伟光: "云计算模式下大数据处理技术研究", 《科学中国人》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554923A (zh) * 2019-09-09 2019-12-10 吕春燕 一种用于云计算的分布链式计算资源的优化方法及系统
CN110554923B (zh) * 2019-09-09 2020-05-22 北京人民在线网络有限公司 一种用于云计算的分布链式计算资源的优化方法及系统

Similar Documents

Publication Publication Date Title
CN104933095B (zh) 异构信息通用性关联分析系统及其分析方法
CN104331477B (zh) 基于联邦式检索的云平台并发性能测试方法
CN109522357A (zh) 一种数据处理方法、装置、服务器及存储介质
US20110283242A1 (en) Report or application screen searching
CN104820708B (zh) 一种基于云计算平台的大数据聚类方法和装置
CN109215037A (zh) 目标图像分割方法、装置及终端设备
Vecchio et al. Cloud computing and augmented reality for cultural heritage
CN111368153A (zh) 搜索方法及装置
CN110020273A (zh) 用于生成热力图的方法、装置以及系统
US11669530B2 (en) Information push method and apparatus, device, and storage medium
CN110109973A (zh) 一种云计算系统数据处理方法
CN106257447A (zh) 云存储服务器的视频存储及检索方法、视频云存储系统
CN113177088A (zh) 一种材料辐照损伤多尺度模拟大数据管理系统
US11615061B1 (en) Evaluating workload for database migration recommendations
Jiugen et al. Cloud computing-based big data mining connotation and solution
Babu et al. DESH: Database evaluation system with hibernate ORM framework
CN116450827A (zh) 一种基于大规模语言模型的事件模板归纳方法和系统
US20210248486A1 (en) Method, apparatus, device and storage medium for customizing personalized rules for entities
CN114969188A (zh) 一种流域边缘端多源异构生态环境大数据集成方法及系统
Dawei et al. Exploration on big data oriented data analyzing and processing technology
Jiang Research and practice of big data analysis process based on hadoop framework
CN111143328A (zh) 一种敏捷商业智能数据构建方法、系统、设备、存储介质
Yong-Peng et al. Design and implementation of geological environment survey big data platform for Danjiangkou reservoir water source area based on WebGIS
Chen et al. Design and Implementation of COVID-19 Data Analysis and Visualization System
CN109300023A (zh) 一种土地增值税大数据抽取和应用的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809