CN109408536A - 一种云平台数据管理方法 - Google Patents
一种云平台数据管理方法 Download PDFInfo
- Publication number
- CN109408536A CN109408536A CN201811185065.2A CN201811185065A CN109408536A CN 109408536 A CN109408536 A CN 109408536A CN 201811185065 A CN201811185065 A CN 201811185065A CN 109408536 A CN109408536 A CN 109408536A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- cloud platform
- collection
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Abstract
本发明涉及云计算技术领域,尤其是一种云平台数据管理方法,云平台通过收集模块对输入的信息进行收集,云平台的终端与外部管理系统连接,便于管理云平台和方便对云平台内的数据进行提取与备份,收集模块设有多个,与不同地区的网络连接端口相连,处理模块对收集的信息进行数据处理,存储模块对处理的信息进行储存,回执模块对外部的查询请求做出回复。本发明通过设置主数据库和子数据库,保留了数据的原始性,采集模块设置多个网络接入点,使得云端的收据收集范围更广,收集的数据更加全面,通过搜索模块,可快速的搜索所需要的数据资料,结构简单,存储的数据更加全面,收集信息范围更广,收集信息处理效果更好。
Description
技术领域
本发明涉及云计算技术领域,尤其涉及一种云平台数据管理方法。
背景技术
数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织。随着计算机技术的发展,数据管理经历了人工管理、文件系统、数据库系统三个发展阶段。在数据库系统中所建立的数据结构,更充分地描述了数据间的内在联系,便于数据修改、更新与扩充,同时保证了数据的独立性、可靠、安全性与完整性,减少了数据冗余,故提高了数据共享程度及数据管理效率。前面讲到数据管理经历了人工管理、文件管理、数据库管理等三个阶段,主要是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。数据管理随着管理对象--数据的增加,管理的方式也会随之提升。通常的大型管理信息系统,其整个项目分为总集成、分项目、子项目、每个子项目又有若干内部项目组等等管理层级;在每个管理层级中都涉及直接服务于业务的业务功能和非直接服务于业务的非业务功能,每个业务和非业务性质的功能又分别由若干数据集合为对象所构成的。
随着信息技术的进步,管理信息系统将面向大规模的组织提供业务支持,不仅要覆盖整个组织的各类业务,而且要覆盖整个组织。为此,作为管理信息系统的核心功能,数据管理将要进入一个新的阶段,即面向数据应用的数据管理。数据管理,即对数据资源的管理。传统的数据管理,而维基百科的定义更高一层,针对的是企业数据全生命周期所涉及应用过程数据的管理,即对数据变化的管理,或者说是针对描述数据的管理,在此我们称之为面向应用的数据管理。现有的数据管理存对收集的信息处理不全面,收集的信息范围窄。
发明内容
本发明的目的是为了解决现有技术中存在信息处理不全面,收集的信息范围窄的缺点,而提出的一种云平台数据管理方法。
为了实现上述目的,本发明采用了如下技术方案:
设计一种云平台数据管理方法,包括如下步骤:
S1:云平台通过收集模块对输入的信息进行收集;
S2:处理模块对收集的信息进行数据处理;
S3:存储模块对处理的信息进行储存;
S4:回执模块对外部的查询请求做出回复。
优选的,所述收集模块包括app数据输入和web数据输入,所述app数据接入提供了API和SDK两种方式,所述web数据接入提供了JS接入和API上报的方式,JS接入由base code和event code两部分组成,输入接口多种,使得不同的网络软件均可与云平台实现网络对接,扩大了信息收集范围,所述云平台通过网络连接若干个网络输入端口,与不同地区的用户连接,扩大信息收集的范围,云端覆盖面积广,采集的信息更加全面,收集的数据信息包括数据内容、数据的类别和数据收入的时间,在用户通过app或者web向云端发送信息时,数据信息通过网络传输至云平台的数据收集中心,所述云平台的收集系统会对收集的信息进行集中整合。
优选的,所述处理模块包括对收集的原始数据属性剖析与定义,方便将收集的信息进行整合,所述处理模块对收集的数据进行精简,提取数据中的重要信息,所述收集模块收集来自不同端口输入的各类数据,这些数据分别有其本身的特性,所述处理模块根据数据本身的特性辨别数据地域属性、数据的真实性和数据使用的实际应用性,通过查询资料和与资料库内的存储数据进行比对,对于输入数据的真实性进行判别,对于不真实的数据信息进行删除处理,同时删除一些无效数据和没用的数据,完成对收集数据的中重要信息的提取,保证了数据的真实性和实际应用性,然后依据这些数据不同的特性,将数据进行分类整合。
优选的,所述处理模块连接去重模块,将提取的数据信息输入到所述去重模块内,所述去重模块对数据信息中重复的信息和相似的信息进行勾选,对所述去重模块所勾选的重复信息和相似信息进行选择,选出内容更全面的数据信息,将与其相似和重复的信息删除,保证信息的唯一性和真实性。
优选的,所述存储模块包括主数据库和子数据库,所述主数据库网络连接所述子数据库,所述主数据库和所述子数据库均与所述云平台网络连接,所述云平台通过数据传输通道将数据存储在所述主数据库和所述子数据库内,所述主数据库是对所述收集模块收集的原始数据进行储存,保存数据的原始性,便于之后对数据进行查询,所述子数据库是对经过所述处理模块的处理的信息进行储存。
优选的,所述回执模块包括查询系统,所述查询系统提供搜索引擎模块,通过搜索关键词或关键字,与所述云平台内的数据库数据比对,显示窗口显示与关键词或关键字相关的信息,信息读取操作由数据读取线程并发执行,合成线程将其数据复制到当前显示窗口,通过触碰窗口,对显示的信息进行预览,在所述云平台上下载数据需要进行验证,所述云平台会记录从云端下载数据的个人数据信息,确保信息使用的安全性。
优选的,所述云平台的终端与外部管理系统连接,便于管理所述云平台和方便对所述云平台内的数据进行提取与备份。
优选的,所述收集模块设有多个,与不同地区的网络连接端口相连。
本发明提出的一种云平台数据管理方法,有益效果在于:本发明通过设置主数据库和子数据库,保留了数据的原始性,采集模块设置多个网络接入点,使得云端的收据收集范围更广,收集的数据更加全面,通过搜索模块,可快速的搜索所需要的数据资料,结构简单,存储的数据更加全面,收集信息范围更广,收集信息处理效果更好。
附图说明
图1为本发明提出的一种云平台数据管理方法的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
一种云平台数据管理方法,包括如下步骤;
S1:云平台通过收集模块对输入的信息进行收集,云平台的终端与外部管理系统连接,便于管理云平台和方便对云平台内的数据进行提取与备份,收集模块设有多个,与不同地区的网络连接端口相连,收集模块包括app数据输入和web数据输入,app数据接入提供了API和SDK两种方式,web数据接入提供了JS接入和API上报的方式,JS接入由base code和event code两部分组成,输入接口多种,使得不同的网络软件均可与云平台实现网络对接,扩大了信息收集范围,云平台通过网络连接若干个网络输入端口,与不同地区的用户连接,扩大信息收集的范围,云端覆盖面积广,采集的信息更加全面,收集的数据信息包括数据内容、数据的类别和数据收入的时间,在用户通过app或者web向云端发送信息时,数据信息通过网络传输至云平台的数据收集中心,云平台的收集系统会对收集的信息进行集中整合;
S2:处理模块对收集的信息进行数据处理,处理模块包括对收集的原始数据属性剖析与定义,方便将收集的信息进行整合,处理模块对收集的数据进行精简,提取数据中的重要信息,收集模块收集来自不同端口输入的各类数据,这些数据分别有其本身的特性,处理模块根据数据本身的特性辨别数据地域属性、数据的真实性和数据使用的实际应用性,通过查询资料和与资料库内的存储数据进行比对,对于输入数据的真实性进行判别,对于不真实的数据信息删除处理,同时删除一些无效数据和没用的数据,完成对收集数据的中重要信息的提取,保证了数据的真实性和实际应用性,然后依据这些数据不同的特性,将数据进行分类整合处理模块连接去重模块,将提取的数据信息输入到去重模块内,去重模块对数据信息中重复的信息和相似的信息进行勾选,对去重模块所勾选的重复信息和相似信息进行选择,选出内容更全面的数据信息,将与其相似和重复的信息删除,保证信息的唯一性和真实性;
S3:存储模块对处理的信息进行储存,存储模块包括主数据库和子数据库,主数据库网络连接子数据库,主数据库和子数据库均与云平台网络连接,云平台通过数据传输通道将数据存储在主数据库和子数据库内,主数据库是对收集模块收集的原始数据进行储存,保存数据的原始性,便于之后对数据进行查询,子数据库是对经过处理模块的处理的信息进行储存;
S4:回执模块对外部的查询请求做出回复,回执模块包括查询系统,查询系统提供搜索引擎模块,通过搜索关键词或关键字,与云平台内的数据库数据比对,显示窗口显示与关键词或关键字相关的信息,信息读取操作由数据读取线程并发执行,合成线程将其数据复制到当前显示窗口,通过触碰窗口,对显示的信息进行预览,在云平台上下载数据需要进行验证,云平台会记录从云端下载数据的个人数据信息,确保信息使用的安全性。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种云平台数据管理方法,其特征在于,包括如下步骤;
S1:云平台通过收集模块对输入的信息进行收集;
S2:处理模块对收集的信息进行数据处理;
S3:存储模块对处理的信息进行储存;
S4:回执模块对外部的查询请求做出回复。
2.根据权利要求1所述的一种云平台数据管理方法,其特征在于,所述收集模块包括app数据输入和web数据输入,所述app数据接入提供了API和SDK两种方式,所述web数据接入提供了JS接入和API上报的方式,JS接入由base code和event code两部分组成,输入接口多种,使得不同的网络软件均可与云平台实现网络对接,扩大了信息收集范围,所述云平台通过网络连接若干个网络输入端口,与不同地区的用户连接,扩大信息收集的范围,云端覆盖面积广,采集的信息更加全面,收集的数据信息包括数据内容、数据的类别和数据收入的时间,在用户通过app或者web向云端发送信息时,数据信息通过网络传输至云平台的数据收集中心,所述云平台的收集系统会对收集的信息进行集中整合。
3.根据权利要求1所述的一种云平台数据管理方法,其特征在于,所述处理模块包括对收集的原始数据属性剖析与定义,方便将收集的信息进行整合,所述处理模块对收集的数据进行精简,提取数据中的重要信息,所述收集模块收集来自不同端口输入的各类数据,这些数据分别有其本身的特性,所述处理模块根据数据本身的特性辨别数据地域属性、数据的真实性和数据使用的实际应用性,通过查询资料和与资料库内的存储数据进行比对,对于输入数据的真实性进行判别,对于不真实的数据信息进行删除处理,同时删除一些无效数据和没用的数据,完成对收集数据的中重要信息的提取,保证了数据的真实性和实际应用性,然后依据这些数据不同的特性,将数据进行分类整合。
4.根据权利要求1、3所述的一种云平台数据管理方法,其特征在于,所述处理模块连接去重模块,将提取的数据信息输入到所述去重模块内,所述去重模块对数据信息中重复的信息和相似的信息进行勾选,对所述去重模块所勾选的重复信息和相似信息进行选择,选出内容更全面的数据信息,将与其相似和重复的信息删除,保证信息的唯一性和真实性。
5.根据权利要求1所述的一种云平台数据管理方法,其特征在于,所述存储模块包括主数据库和子数据库,所述主数据库网络连接所述子数据库,所述主数据库和所述子数据库均与所述云平台网络连接,所述云平台通过数据传输通道将数据存储在所述主数据库和所述子数据库内,所述主数据库是对所述收集模块收集的原始数据进行储存,保存数据的原始性,便于之后对数据进行查询,所述子数据库是对经过所述处理模块的处理的信息进行储存。
6.根据权利要求1所述的一种云平台数据管理方法,其特征在于,所述回执模块包括查询系统,所述查询系统提供搜索引擎模块,通过搜索关键词或关键字,与所述云平台内的数据库数据比对,显示窗口显示与关键词或关键字相关的信息,信息读取操作由数据读取线程并发执行,合成线程将其数据复制到当前显示窗口,通过触碰窗口,对显示的信息进行预览,在所述云平台上下载数据需要进行验证,所述云平台会记录从云端下载数据的个人数据信息,确保信息使用的安全性。
7.根据权利要求1所述的一种云平台数据管理方法,其特征在于,所述云平台的终端与外部管理系统连接,便于管理所述云平台和方便对所述云平台内的数据进行提取与备份。
8.根据权利要求1所述的一种云平台数据管理方法,其特征在于,所述收集模块设有多个,与不同地区的网络连接端口相连。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811185065.2A CN109408536A (zh) | 2018-10-11 | 2018-10-11 | 一种云平台数据管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811185065.2A CN109408536A (zh) | 2018-10-11 | 2018-10-11 | 一种云平台数据管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109408536A true CN109408536A (zh) | 2019-03-01 |
Family
ID=65467610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811185065.2A Pending CN109408536A (zh) | 2018-10-11 | 2018-10-11 | 一种云平台数据管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109408536A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020966A (zh) * | 2019-04-11 | 2019-07-16 | 北京百度网讯科技有限公司 | 应用于智能电网的数据处理方法和装置 |
CN110096586A (zh) * | 2019-04-15 | 2019-08-06 | 广州市友达电子科技有限公司 | 云平台数据管理系统 |
CN111311450A (zh) * | 2020-02-28 | 2020-06-19 | 重庆百事得大牛机器人有限公司 | 用于法律咨询服务的大数据管理平台及方法 |
CN112258084A (zh) * | 2020-11-11 | 2021-01-22 | 上海凌伊企业管理咨询有限公司 | 一种模具质量的监控汇总平台 |
CN112804348A (zh) * | 2021-02-07 | 2021-05-14 | 浙江御安信息技术有限公司 | 云监测中心对边缘计算节点上报数据的重复性判定方法 |
CN116089517A (zh) * | 2023-03-09 | 2023-05-09 | 钛信(上海)信息科技有限公司 | 一种用于云平台的api接口自动构建方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202679418U (zh) * | 2012-04-06 | 2013-01-16 | 江西中传科技有限责任公司 | 多链路新闻云加工设备 |
CN105912950A (zh) * | 2016-04-13 | 2016-08-31 | 国信优易数据有限公司 | 一种数据共享发布系统及方法 |
CN106096067A (zh) * | 2016-08-23 | 2016-11-09 | 成都卡莱博尔信息技术股份有限公司 | 具有数据监控功能的海量数据平台 |
-
2018
- 2018-10-11 CN CN201811185065.2A patent/CN109408536A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202679418U (zh) * | 2012-04-06 | 2013-01-16 | 江西中传科技有限责任公司 | 多链路新闻云加工设备 |
CN105912950A (zh) * | 2016-04-13 | 2016-08-31 | 国信优易数据有限公司 | 一种数据共享发布系统及方法 |
CN106096067A (zh) * | 2016-08-23 | 2016-11-09 | 成都卡莱博尔信息技术股份有限公司 | 具有数据监控功能的海量数据平台 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020966A (zh) * | 2019-04-11 | 2019-07-16 | 北京百度网讯科技有限公司 | 应用于智能电网的数据处理方法和装置 |
CN110096586A (zh) * | 2019-04-15 | 2019-08-06 | 广州市友达电子科技有限公司 | 云平台数据管理系统 |
CN111311450A (zh) * | 2020-02-28 | 2020-06-19 | 重庆百事得大牛机器人有限公司 | 用于法律咨询服务的大数据管理平台及方法 |
CN111311450B (zh) * | 2020-02-28 | 2024-03-29 | 重庆百事得大牛机器人有限公司 | 用于法律咨询服务的大数据管理平台及方法 |
CN112258084A (zh) * | 2020-11-11 | 2021-01-22 | 上海凌伊企业管理咨询有限公司 | 一种模具质量的监控汇总平台 |
CN112804348A (zh) * | 2021-02-07 | 2021-05-14 | 浙江御安信息技术有限公司 | 云监测中心对边缘计算节点上报数据的重复性判定方法 |
CN112804348B (zh) * | 2021-02-07 | 2022-07-12 | 浙江御安信息技术有限公司 | 云监测中心对边缘计算节点上报数据的重复性判定方法 |
CN116089517A (zh) * | 2023-03-09 | 2023-05-09 | 钛信(上海)信息科技有限公司 | 一种用于云平台的api接口自动构建方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109408536A (zh) | 一种云平台数据管理方法 | |
CN104301360B (zh) | 一种日志数据记录的方法、日志服务器及系统 | |
CN104881424B (zh) | 一种基于正则表达式的电力大数据采集、存储及分析方法 | |
US5519855A (en) | Summary catalogs | |
CN106021031B (zh) | 一种btrfs文件系统的删除数据恢复方法和装置 | |
CN103116661B (zh) | 一种数据库的数据处理方法 | |
CN103559231B (zh) | 一种文件系统配额管理方法、装置及系统 | |
CN103955530B (zh) | 一种在线重复数据删除系统的数据重建优化方法 | |
CN104408163B (zh) | 一种数据分级存储方法和装置 | |
CN107122410A (zh) | 一种缓存更新方法及装置 | |
CN106254466B (zh) | 基于局域网的hdfs分布式文件共享方法 | |
WO2013070185A1 (en) | Cache based key-value store mapping and replication | |
CN106354805A (zh) | 一种分布式存储系统NoSQL搜索缓存的优化方法和系统 | |
CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
CN106294772A (zh) | 分布式内存列式数据库的缓存管理方法 | |
CN110505495A (zh) | 多媒体资源抽帧方法、装置、服务器及存储介质 | |
CN106407355A (zh) | 一种数据存储方法及装置 | |
CN103258017B (zh) | 一种并行的垂直交叉网络数据采集方法及系统 | |
CN110263225A (zh) | 一种千亿级知识图库的数据加载、管理、检索系统 | |
CN107704203A (zh) | 聚合大文件的删除方法、装置、设备及计算机存储介质 | |
CN108153804A (zh) | 一种对称分布式文件系统的元数据日志更新方法 | |
CN106203631A (zh) | 描述型多维度事件序列的并行频繁情节挖掘方法与系统 | |
CN109150585A (zh) | 一种网络运维故障解决方法、系统、装置和存储介质 | |
CN104298669A (zh) | 一种基于社交网络的人员地理信息挖掘模型 | |
CN107368545B (zh) | 一种基于Merkle Tree变形算法的去重方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |