CN110990745A - 一种自动同步同类公共云资源的方法 - Google Patents

一种自动同步同类公共云资源的方法 Download PDF

Info

Publication number
CN110990745A
CN110990745A CN201911230327.7A CN201911230327A CN110990745A CN 110990745 A CN110990745 A CN 110990745A CN 201911230327 A CN201911230327 A CN 201911230327A CN 110990745 A CN110990745 A CN 110990745A
Authority
CN
China
Prior art keywords
information
materials
user
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911230327.7A
Other languages
English (en)
Inventor
贾朝心
韩野
李广袤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ec Founder Co ltd
Original Assignee
Beijing Ec Founder Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ec Founder Co ltd filed Critical Beijing Ec Founder Co ltd
Priority to CN201911230327.7A priority Critical patent/CN110990745A/zh
Publication of CN110990745A publication Critical patent/CN110990745A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明提供一种自动同步同类公共云资源的方法，包括：对分类后的云资源进行信息采集；对采集后的信息进行处理和分析；根据处理和分析后的信息构建模型；根据模型同步资源，与现有技术相比，本发明具有如下的有益效果：在云服务器的基础上，通过对用户需要同步的材料机械能特征提取，然后通过数据库进行采集处理，然后通过构建模型达到处理和分析的目的，最终进行展示，这种支持基于系统级或个体级用户组策略的信息共享方式，实现了云存储信息共享的多粒度控制。

Description

一种自动同步同类公共云资源的方法
技术领域
本发明是一种自动同步同类公共云资源的方法，属于信息技术领域。
背景技术
近年来，许多云存储服务相继出现，并且提供了不同级别的存储对象。云存储服务允许用户在任何地方都能存储数据到远程磁盘中，并从远程磁盘中访问数据。常用的云存储类型主要有公共云存储和私有云存储。
(1)公共云存储
诸如Amazon公司的简单存储服务(Simple Storage Service，S3)和Nutanix公司的网络存储服务，都可以低成本地向用户提供大量的文件存储空间。云存储服务提供商可以保证每个用户的存储空间和业务应用都是独立的。其中，以Dropbox为代表的个人云存储服务是公共云存储发展较为突出的代表，而国内比较突出的代表有搜狐企业网盘、百度云盘、360云盘、金山快盘等。
(2)私有云存储
与公共云存储相比，私有云存储通常服务于某个企业，企业拥有或控制私有云存储的基础架构以及业务应用。私有云存储通常部署于企业的数据中心或相同地点的基础设施上，既可以由公司自己的IT部门管理，也可以由私有云存储服务提供商管理。可以提供私有云存储服务的平台有Eucalyptus、3A Cloud、minicloud安全办公私有云以及联想网盘等。
为了给用户更好的体验，云存储应具备几项严格要求，包括数据高一致性、服务高可用性等。现有技术中的云资源，用户在使用的时候，只能简单的将信息输入或输出，无法查看同类型的云资源，这无疑是对云资源的一种浪费。
发明内容
针对现有技术存在的不足，本发明目的是提供一种自动同步同类公共云资源的方法，以解决上述背景技术中提出的问题。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种自动同步同类公共云资源的方法，包括：
对分类后的云资源进行信息采集；
对采集后的信息进行处理和分析；
根据处理和分析后的信息构建模型；
根据模型同步资源。
进一步地，对分类后的云资源进行信息采集包括：用户将需要同步的材料进行输入，云服务器接收到用户输入的材料，进行分类，然后通过多个小型数据库采集用户输入材料中的特征信息，该特征信息包括该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息。
进一步地，所有特征信息均以云服务器上的用户初始输入的文件或材料内容为主，当云服务器特征提取的操作规则与上述规则违背，或是无法完成时，则进行特征修改，然后记录，然后直至能满足上述规则时，或是重新对用户输入的材料，进行分类，然后通过多个小型数据库采集用户输入材料中的特征信息。
进一步地，对采集后的信息进行处理和分析的具体步骤为：云服务器通过多个小型数据库将采集的信息导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做清洗和预处理工作，将分析后的数据进行修剪，得到需要记录和储存的数据，通过数据清洗、数据转换、数据整合及数据加载中一种或者多种操作将基础数据转换为预处理后的数据，并对预处理后的数据进行分析，提取该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息之间的对应关系。
进一步地，根据处理和分析后的信息构建模型的具体步骤为：根据该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息之间的对应关系，构成材料信息训练样本，根据该材料信息训练样本在互联网中进行搜索排查，若符合某一特征，则进行进一步搜索，直至满足所有特征，若不符合某一特征，则根据该特征和其他信息之间的对应关系搭建回归模型，然后进一步的搜索，通过回归模型搜索到的信息，根据相似度进行排序，构成该材料特征的展示模型。
进一步地，根据模型同步资源的具体步骤为，云服务器通过一个集中的大型分布式数据库，或者分布式存储集群，根据该展示模型，获取用户初始输入的文件或材料内容的同类公共资源，然后进行排序展示。
本发明的有益效果：本发明的一种自动同步同类公共云资源的方法，在云服务器的基础上，通过对用户需要同步的材料机械能特征提取，然后通过数据库进行采集处理，然后通过构建模型达到处理和分析的目的，最终进行展示，这种支持基于系统级或个体级用户组策略的信息共享方式，实现了云存储信息共享的多粒度控制。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
本发明提供一种技术方案：一种自动同步同类公共云资源的方法，包括：
对分类后的云资源进行信息采集；
对采集后的信息进行处理和分析；
根据处理和分析后的信息构建模型；
根据模型同步资源。
对分类后的云资源进行信息采集包括：用户将需要同步的材料进行输入，云服务器接收到用户输入的材料，进行分类，然后通过多个小型数据库采集用户输入材料中的特征信息，该特征信息包括该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息。
所有特征信息均以云服务器上的用户初始输入的文件或材料内容为主，当云服务器特征提取的操作规则与上述规则违背，或是无法完成时，则进行特征修改，然后记录，然后直至能满足上述规则时，或是重新对用户输入的材料，进行分类，然后通过多个小型数据库采集用户输入材料中的特征信息。
对采集后的信息进行处理和分析的具体步骤为：云服务器通过多个小型数据库将采集的信息导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做清洗和预处理工作，将分析后的数据进行修剪，得到需要记录和储存的数据，通过数据清洗、数据转换、数据整合及数据加载中一种或者多种操作将基础数据转换为预处理后的数据，并对预处理后的数据进行分析，提取该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息之间的对应关系。
根据处理和分析后的信息构建模型的具体步骤为：根据该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息之间的对应关系，构成材料信息训练样本，根据该材料信息训练样本在互联网中进行搜索排查，若符合某一特征，则进行进一步搜索，直至满足所有特征，若不符合某一特征，则根据该特征和其他信息之间的对应关系搭建回归模型，然后进一步的搜索，通过回归模型搜索到的信息，根据相似度进行排序，构成该材料特征的展示模型。
根据模型同步资源的具体步骤为，云服务器通过一个集中的大型分布式数据库，或者分布式存储集群，根据该展示模型，获取用户初始输入的文件或材料内容的同类公共资源，然后进行排序展示。
作为本发明的一个实施例：本发明的一种自动同步同类公共云资源的方法，在云服务器的基础上，通过对用户需要同步的材料机械能特征提取，然后通过数据库进行采集处理，然后通过构建模型达到处理和分析的目的，最终进行展示，这种支持基于系统级或个体级用户组策略的信息共享方式，实现了云存储信息共享的多粒度控制。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种自动同步同类公共云资源的方法，其特征在于：包括：
对分类后的云资源进行信息采集；
对采集后的信息进行处理和分析；
根据处理和分析后的信息构建模型；
根据模型同步资源。
2.根据权利要求1所述的一种自动同步同类公共云资源的方法，其特征在于：对分类后的云资源进行信息采集包括：用户将需要同步的材料进行输入，云服务器接收到用户输入的材料，进行分类，然后通过多个小型数据库采集用户输入材料中的特征信息，该特征信息包括该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息。
3.根据权利要求2所述的一种自动同步同类公共云资源的方法，其特征在于：所有特征信息均以云服务器上的用户初始输入的文件或材料内容为主，当云服务器特征提取的操作规则与上述规则违背，或是无法完成时，则进行特征修改，然后记录，然后直至能满足上述规则时，或是重新对用户输入的材料，进行分类，然后通过多个小型数据库采集用户输入材料中的特征信息。
4.根据权利要求1所述的一种自动同步同类公共云资源的方法，其特征在于：对采集后的信息进行处理和分析的具体步骤为：云服务器通过多个小型数据库将采集的信息导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做清洗和预处理工作，将分析后的数据进行修剪，得到需要记录和储存的数据，通过数据清洗、数据转换、数据整合及数据加载中一种或者多种操作将基础数据转换为预处理后的数据，并对预处理后的数据进行分析，提取该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息之间的对应关系。
5.根据权利要求1所述的一种自动同步同类公共云资源的方法，其特征在于：根据处理和分析后的信息构建模型的具体步骤为：根据该材料的类别、该材料所处的网站信息、该材料的关键词、该材料的关键浏览信息之间的对应关系，构成材料信息训练样本，根据该材料信息训练样本在互联网中进行搜索排查，若符合某一特征，则进行进一步搜索，直至满足所有特征，若不符合某一特征，则根据该特征和其他信息之间的对应关系搭建回归模型，然后进一步的搜索，通过回归模型搜索到的信息，根据相似度进行排序，构成该材料特征的展示模型。
6.根据权利要求1所述的一种自动同步同类公共云资源的方法，其特征在于：根据模型同步资源的具体步骤为，云服务器通过一个集中的大型分布式数据库，或者分布式存储集群，根据该展示模型，获取用户初始输入的文件或材料内容的同类公共资源，然后进行排序展示。
CN201911230327.7A 2019-12-04 2019-12-04 一种自动同步同类公共云资源的方法 Pending CN110990745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911230327.7A CN110990745A (zh) 2019-12-04 2019-12-04 一种自动同步同类公共云资源的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911230327.7A CN110990745A (zh) 2019-12-04 2019-12-04 一种自动同步同类公共云资源的方法

Publications (1)

Publication Number Publication Date
CN110990745A true CN110990745A (zh) 2020-04-10

Family

ID=70090253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911230327.7A Pending CN110990745A (zh) 2019-12-04 2019-12-04 一种自动同步同类公共云资源的方法

Country Status (1)

Country Link
CN (1) CN110990745A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032646A (zh) * 2021-03-30 2021-06-25 同济大学 基于多粒度资源统一模型的资源分类搜索方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750184A (zh) * 2012-06-25 2012-10-24 广东轩辕网络科技股份有限公司 云资源分类与标识系统及方法
CN105025084A (zh) * 2015-06-10 2015-11-04 国网智能电网研究院 一种基于同步代理和混合存储的云存储系统
CN108491457A (zh) * 2018-03-02 2018-09-04 上海云轴信息科技有限公司 一种用于同步公共云资源的方法及设备
CN108959663A (zh) * 2018-09-17 2018-12-07 贵州微讯云信息技术服务有限公司 一种基于移动互联网的微搜索平台
CN110163000A (zh) * 2019-05-15 2019-08-23 青岛黄海学院 一种基于云计算系统的智能数据采集系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750184A (zh) * 2012-06-25 2012-10-24 广东轩辕网络科技股份有限公司 云资源分类与标识系统及方法
CN105025084A (zh) * 2015-06-10 2015-11-04 国网智能电网研究院 一种基于同步代理和混合存储的云存储系统
CN108491457A (zh) * 2018-03-02 2018-09-04 上海云轴信息科技有限公司 一种用于同步公共云资源的方法及设备
CN108959663A (zh) * 2018-09-17 2018-12-07 贵州微讯云信息技术服务有限公司 一种基于移动互联网的微搜索平台
CN110163000A (zh) * 2019-05-15 2019-08-23 青岛黄海学院 一种基于云计算系统的智能数据采集系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032646A (zh) * 2021-03-30 2021-06-25 同济大学 基于多粒度资源统一模型的资源分类搜索方法

Similar Documents

Publication Publication Date Title
CN107315776B (zh) 一种基于云计算的数据管理系统
US11941016B2 (en) Using specified performance attributes to configure machine learning pipepline stages for an ETL job
JP2021108183A (ja) 意図推薦方法、装置、機器及び記憶媒体
CN106156127B (zh) 选择数据内容向终端推送的方法及装置
CN107391502B (zh) 时间间隔的数据查询方法、装置及索引构建方法、装置
CN104835014A (zh) 一种企业科研信息服务平台
CN109753502B (zh) 一种基于NiFi的数据采集方法
US9069880B2 (en) Prediction and isolation of patterns across datasets
CN112364223A (zh) 一种数字档案馆系统
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
CN111198969A (zh) 一种基于网络大数据的经济信息咨询系统和方法
CN113282623A (zh) 数据处理方法及装置
CN114218291A (zh) 基于目标对象的画像生成方法、装置、设备及存储介质
CN110990745A (zh) 一种自动同步同类公共云资源的方法
CN105872731A (zh) 数据处理的方法和装置
Lian Implementation of computer network user behavior forensic analysis system based on speech data system log
CN113918533B (zh) 一种基于大数据方向的rcs统一消息云服务系统的使用方法
CN111382155A (zh) 一种数据仓库的数据处理方法、电子设备及介质
US10833964B2 (en) Visual analytical method and system for network system structure and network communication mode
Lu et al. Genderpredictor: a method to predict gender of customers from e-commerce website
KR20210037488A (ko) 빅데이터 분석 기반 광고 마케팅 시스템
Mateo A Knowledge extraction framework for call center analytics
CN113515494B (zh) 基于分布式文件系统的数据库处理方法和电子设备
US10997129B1 (en) Data set virtual neighborhood characterization, provisioning and access
Palit et al. Exploratory Research on Developing Hadoop-based Data Analytics Tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination