CN113792111A - 一种基于分布式存储的非结构化数据管理系统及其方法 - Google Patents
一种基于分布式存储的非结构化数据管理系统及其方法 Download PDFInfo
- Publication number
- CN113792111A CN113792111A CN202111041709.2A CN202111041709A CN113792111A CN 113792111 A CN113792111 A CN 113792111A CN 202111041709 A CN202111041709 A CN 202111041709A CN 113792111 A CN113792111 A CN 113792111A
- Authority
- CN
- China
- Prior art keywords
- data
- unstructured
- unstructured data
- distributed
- distributed storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Abstract
本发明属于数据管理技术领域，公开了一种基于分布式存储的非结构化数据管理系统及其方法，所述的方法包括如下步骤：云管理中心实时采集非结构化数据，并将非结构化数据存储至分布式存储子系统；云管理中心实时采集管理终端的数据查询信息和数据操作信息；根据数据查询信息进行搜索并向管理终端返回对应的非结构化数据；根据数据操作信息对目标非结构化数据进行操作并返回操作记录，根据操作记录更新预设的表单。本发明解决了现有技术存在的系统的实用性低、存储空间不足、进行存储、查询、操作的步骤繁琐、效率低下、数据运行安全性低以及无法满足管理需求的问题。
Description
技术领域
本发明属于数据管理技术领域，具体涉及一种基于分布式存储的非结构化数据管理系统及其方法。
背景技术
非结构化数据本质上是结构化数据之外的一切数据，不符合任何预定义的模型，因此存储在非关系数据库中，可能是文本的或非文本的，也可能是人为的或机器生成的。综上所述，非结构化数据就是字段可变的的数据。
非结构化数据的组织或格式化十分困难，并且非结构化数据的收集、处理和分析也是一项重大挑战。非结构化数据构成了网络上绝大多数可用数据，并且每年都在增长。随着更多信息在网络上可用，并且大部分信息都是非结构化的，合理存储利用非结构化数据的的方法已成为许多企业的重要战略。
现有技术存在以下的问题：
1)随着互联网的飞速发展，企业产生了大量的非结构化数据，传统的关系数据库已经无法处理和分析如此大规模的数据，系统的实用性低，海量的非结构化数据规模大、数据类型丰富、结构复杂，使得非结构化数据的管理面临巨大的挑战。
2)现有的管理系统的存储服务器内存无法满足海量非结构化数据的存储要求，并且对于非结构化数据进行存储、查询、操作往往基于本地服务器对本地数据库的连接，其步骤繁琐，效率低下，大量数据运行的时候容易引起本地服务器的崩溃，严重是引发数据丢失，数据的安全性低，导致现有的管理系统无法满足管理需求。
发明内容
为了解决现有技术存在的系统的实用性低、存储空间不足、进行存储、查询、操作的步骤繁琐、效率低下、数据运行安全性低以及无法满足管理需求的问题，本发明目的在于提供一种基于分布式存储的非结构化数据管理系统及其方法。
本发明所采用的技术方案为：
一种基于分布式存储的非结构化数据管理系统，包括云管理中心和分布式存储子系统，云管理中心与分布式存储子系统数据连接，且云管理中心数据连接有若干外部的管理终端和若干非结构化数据的数据采集终端。
进一步地，云管理中心包括管理服务器和通信单元，管理服务器通过通信单元分别与若干外部的管理终端、分布式存储子系统以及数据采集终端数据连接，云管理中心预设有用户数据库和缓存数据库。
进一步地，管理服务器包括MCU、分布式消息模块、数据存储模块、查询信息分析模块以及特征提取模块，数据存储模块预设有用户数据库和缓存数据库，MCU分别与通信单元、分布式消息模块、数据存储模块、信息分析模块以及特征提取模块数据连接。
进一步地，分布式存储子系统包括若干相互数据连接的分布式服务器，每个分布式服务器均与管理中心数据连接。
进一步地，分布式服务器包括源数据服务器、更新服务器以及搜索服务器。
一种基于分布式存储的非结构化数据管理方法，基于非结构化数据管理系统，包括如下步骤：
云管理中心实时采集非结构化数据，并将非结构化数据存储至分布式存储子系统；
云管理中心实时采集管理终端的数据查询信息和数据操作信息；
根据数据查询信息进行搜索并向管理终端返回对应的非结构化数据；
根据数据操作信息对目标非结构化数据进行操作并返回操作记录，根据操作记录更新预设的表单。
进一步地，云管理中心实时采集非结构化数据，并将非结构化数据存储至分布式存储子系统，包括如下步骤：
初始化分布式存储子系统，在云管理中心建立特征数据搜索表单和操作记录表单，将每个分布式服务器分配一个私有的时间片；
云管理中心采集非结构化数据，提取非结构化数据的特征数据；
在当前时间片向分布式存储子系统中所有的分布式服务器广播存储指令；
当前的分布式服务器在私有的时间片内收到存储指令，返回当前的源数据地址；
云管理中心根据源数据地址将非结构化数据存储至对应的分布式服务器；
根据当前的特征数据和源数据地址更新特征数据搜索表单。
进一步地，数据查询信息包括进行查询的目标非结构化数据的源数据地址和特征数据，数据操作信息包括进行操作的目标非结构化数据的源数据地址、特征数据以及操作指令。
进一步地，根据数据查询信息进行查询并向管理终端返回对应的非结构化数据，包括如下步骤：
若数据查询信息中仅包括查询的源数据地址，根据源数据地址搜索到对应的分布式服务器，提取所有的非结构化数据；
若数据查询信息中仅包括查询的特征数据，根据当前的特征数据使用K均值聚类方法与特征数据搜索表单中的所有特征数据进行查询和匹配，得到目标非结构化数据的源数据地址，根据源数据地址搜索到对应的分布式服务器，提取目标非结构化数据；
若数据查询信息中包括查询的源数据地址和特征数据，根据源数据地址得到所有的非结构化数据，根据查询的特征数据与所有的非结构化数据的特征数据进行匹配，得到目标非结构化数据。
进一步地，根据数据操作信息对目标非结构化数据进行操作并返回操作记录，根据操作记录更新预设的表单，包括如下步骤：
若数据操作信息中仅包括操作的源数据地址，根据源数据地址搜索到对应的分布式服务器，定位所有的非结构化数据；
若数据操作信息中仅包括操作的特征数据，根据当前的特征数据使用K均值聚类方法与特征数据搜索表单中的所有特征数据进行查询和匹配，得到目标非结构化数据的源数据地址，根据源数据地址搜索到对应的分布式服务器，定位目标非结构化数据；
若数据操作信息中包括查询的源数据地址和特征数据，根据源数据地址定位对应的分布式服务器，根据操作的特征数据与所有的非结构化数据的特征数据进行匹配，定位目标非结构化数据；
根据数据操作信息中的操作指令对目标非结构化数据进行对应的修改操作、添加操作以及删除操作，并向云管理中心返回操作记录；
云管理中心根据操作记录更新非结构化数据管理系统预设的表单。
本发明的有益效果为：
1)本发明提供的基于分布式存储的非结构化数据管理系统，基于分布式存储子系统对海量的非结构化数据进行存储，同时通过对不同类型的非结构化数据进行特征提取，实现了不同类型的非结构化数据的存储工作，提高了系统的实用性和对海量数据的适用性。
2)本发明提供的基于分布式存储的非结构化数据管理方法，管理终端和云管理中心实现了对非结构化数据进行远程管理，同时实现在线的非结构化数据的分布式存储、查询以及操作，提高了存储、查询以及操作的效率以及数据运行中的安全性，满足了对海量非结构化数据的管理需求。
本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
图1是本发明中基于分布式存储的非结构化数据管理系统的结构框图。
图2是本发明中基于分布式存储的非结构化数据管理方法的流程框图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步阐释。
实施例1：
如图1所示，本实施例提供一种基于分布式存储的非结构化数据管理系统，包括云管理中心和分布式存储子系统，云管理中心与分布式存储子系统数据连接，且云管理中心数据连接有若干外部的管理终端和若干非结构化数据的数据采集终端；
云管理中心根据管理终端发送的信息进行对应的查询和操作，对数据采集终端发送的非结构化数据进行处理并存储至分布式存储子系统；详细的，云管理中心接收管理终端的数据查询信息和数据操作信息，根据数据查询信息对分布式存储子系统进行搜索，提取并向管理终端返回目标非结构化数据；根据数据操作信息对分布式存储子系统进行搜索，对目标非结构化数据进行对应的修改、添加和删除操作，存储并向管理终端返回操作记录；接收数据采集终端发送的非结构化数据，对接收的非结构化数据进行预处理得到非结构化数据的特征数据，根据特征数据建立特征数据搜索表单，将非结构化数据存储至分布式存储子系统并更新对应的源数据搜索表单；分布式存储子系统分布式存储非结构化数据；数据采集终端实时采集非结构化数据，并将非结构化数据发送至云管理中心进行处理；管理终端采集工作人员的数据查询信息和数据操作信息，并将数据查询信息和数据操作信息发送至云管理中心进行处理和分析。
本发明提供的基于分布式存储的非结构化数据管理系统，基于分布式存储子系统对海量的非结构化数据进行存储，同时通过对不同类型的非结构化数据进行特征提取，实现了不同类型的非结构化数据的存储工作，提高了系统的实用性和对海量数据的适用性。
作为优选，云管理中心包括管理服务器和通信单元，管理服务器通过通信单元分别与若干外部的管理终端、分布式存储子系统以及数据采集终端数据连接，云管理中心预设有用户数据库和缓存数据库；
用户数据库存储工作人员的用户信息，对管理终端的访问进行用户验证，提高了云管理中心访问的安全性；缓存数据库临时存储非结构化数据、数据查询信息以及数据操作信息，提高了数据运行的效率。
作为优选，管理服务器包括MCU、分布式消息模块、数据存储模块、查询信息分析模块以及特征提取模块，数据存储模块预设有用户数据库和缓存数据库，MCU分别与通信单元、分布式消息模块、数据存储模块、信息分析模块以及特征提取模块数据连接；
MCU接收的管理终端的数据查询信息和数据操作信息进行分析和处理，并控制各模块的正常工作；信息分析模块提取数据查询信息中的目标非结构化数据的源数据地址和特征数据；提取数据操作信息中目标非结构化数据的源数据地址、特征数据以及进行的修改操作指令、添加操作指令和删除操作指令；特征提取模块提取当前的非结构化数据的特征数据；分布式消息模块在当前时间片向分布式存储子系统广播存储、查询以及操作指令，返回进行存储、查询以及操作的源数据服务器的地址；数据存储模块根据进行存储的源数据服务器的地址，将当前的非结构化数据存储至对应的源数据服务器。
作为优选，分布式存储子系统包括若干相互数据连接的分布式服务器，每个分布式服务器均与管理中心数据连接；分布式的服务器设置提高了非结构化数据的存储空间，同时采用地址指向性查询和操作，提高了非结构化数据的管理效率。
作为优选，分布式服务器包括源数据服务器、更新服务器以及搜索服务器；
分布式服务器在私有的时间片内接收到存储、查询以及操作指令转化为对应的源数据服务器、更新服务器以及搜索服务器，源数据服务器存储非结构化数据；更新服务器进行非结构化数据管理系统的内部查询，在系统内部查询源数据服务器的地址并更新非结构化数据的修改操作记录、添加操作记录以及删除操作记录；搜索服务器根据管理终端的数据查询信息和数据操作信息对非结构化数据管理系统内的所有源数据服务器进行搜索。
实施例2：
如图2所示，本实施例在实施例1的基础上，提供一种基于分布式存储的非结构化数据管理方法，基于非结构化数据管理系统，包括如下步骤：
云管理中心实时采集非结构化数据，并将非结构化数据存储至分布式存储子系统，包括如下步骤：
初始化分布式存储子系统，在云管理中心建立特征数据搜索表单和操作记录表单，将每个分布式服务器分配一个私有的时间片；便于非结构化数据的存储、查询以及操作；
云管理中心采集非结构化数据，提取非结构化数据的特征数据；非结构化数据包括文本数据和非文本数据，采用特征数据的分类方式，提高了各种类型的非结构化数据的识别与存储；
在当前时间片向分布式存储子系统中所有的分布式服务器广播存储指令；
当前的分布式服务器在私有的时间片内收到存储指令，当前的分布式服务器转化为源数据服务器，并返回当前的源数据地址；
云管理中心根据源数据地址将非结构化数据存储至对应的分布式服务器；
根据当前的特征数据和源数据地址更新特征数据搜索表单；
云管理中心实时采集管理终端的数据查询信息和数据操作信息，包括如下步骤：
管理终端访问云管理中心，云管理中心根据用户数据库的用户信息对管理终端的访问记录进行用户验证；
验证通过后连接管理终端和云管理中心；
云管理中心接收管理终端发送的数据查询信息和数据操作信息；
数据查询信息包括进行查询的目标非结构化数据的源数据地址和特征数据，数据操作信息包括进行操作的目标非结构化数据的源数据地址、特征数据以及操作指令；
根据数据查询信息进行搜索并向管理终端返回对应的非结构化数据，包括如下步骤：
在当前时间片向分布式存储子系统中所有的分布式服务器广播搜索指令；
分布式服务器在私有的时间片内收到搜索指令，当前的分布式服务器转化为搜索服务器；
若数据查询信息中仅包括查询的源数据地址，根据源数据地址搜索到对应的分布式服务器(此时分布式服务器转化为源数据服务器)，提取所有的非结构化数据；
若数据查询信息中仅包括查询的特征数据，根据当前的特征数据使用K均值聚类方法与特征数据搜索表单中的所有特征数据进行查询和匹配，得到目标非结构化数据的源数据地址，根据源数据地址搜索到对应的分布式服务器，提取目标非结构化数据；
若数据查询信息中包括查询的源数据地址和特征数据，根据源数据地址得到所有的非结构化数据，根据查询的特征数据与所有的非结构化数据的特征数据进行匹配，得到目标非结构化数据；
根据数据操作信息对目标非结构化数据进行操作并返回操作记录，根据操作记录更新预设的表单，包括如下步骤：
若数据操作信息中仅包括操作的源数据地址，根据源数据地址搜索到对应的分布式服务器，定位所有的非结构化数据；
若数据操作信息中仅包括操作的特征数据，根据当前的特征数据使用K均值聚类方法与特征数据搜索表单中的所有特征数据进行查询和匹配，得到目标非结构化数据的源数据地址，根据源数据地址搜索到对应的分布式服务器，定位目标非结构化数据；
若数据操作信息中包括查询的源数据地址和特征数据，根据源数据地址定位对应的分布式服务器，根据操作的特征数据与所有的非结构化数据的特征数据进行匹配，定位目标非结构化数据；
根据数据操作信息中的操作指令对目标非结构化数据进行对应的修改操作、添加操作以及删除操作，并向云管理中心返回操作记录；
云管理中心根据操作记录更新非结构化数据管理系统预设的表单，包括如下步骤：
在当前时间片向分布式存储子系统中所有的分布式服务器广播更新指令；
当前的分布式服务器在私有的时间片内收到更新指令，当前的分布式服务器转化为更新服务器，更新服务器根据操作记录对目标源数据服务器进行反查，反查操作记录为真时向云管理中心返回更新指令；
云管理中心收到更新指令，根据操作记录更新特征数据搜索表单的源数据地址和对应的操作记录表单
本发明提供的基于分布式存储的非结构化数据管理方法，管理终端和云管理中心实现了对非结构化数据进行远程管理，同时实现在线的非结构化数据的分布式存储、查询以及操作，提高了存储、查询以及操作的效率以及数据运行中的安全性，满足了对海量非结构化数据的管理需求。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
Claims (10)
1.一种基于分布式存储的非结构化数据管理系统，其特征在于：包括云管理中心和分布式存储子系统，所述的云管理中心与分布式存储子系统数据连接，且云管理中心数据连接有若干外部的管理终端和若干非结构化数据的数据采集终端。
2.根据权利要求1所述的基于分布式存储的非结构化数据管理系统，其特征在于：所述的云管理中心包括管理服务器和通信单元，所述的管理服务器通过通信单元分别与若干外部的管理终端、分布式存储子系统以及数据采集终端数据连接，所述的云管理中心预设有用户数据库和缓存数据库。
3.根据权利要求2所述的基于分布式存储的非结构化数据管理系统，其特征在于：所述的管理服务器包括MCU、分布式消息模块、数据存储模块、查询信息分析模块以及特征提取模块，所述的数据存储模块预设有用户数据库和缓存数据库，所述的MCU分别与通信单元、分布式消息模块、数据存储模块、信息分析模块以及特征提取模块数据连接。
4.根据权利要求1所述的基于分布式存储的非结构化数据管理系统，其特征在于：所述的分布式存储子系统包括若干相互数据连接的分布式服务器，每个分布式服务器均与管理中心数据连接。
5.根据权利要求4所述的基于分布式存储的非结构化数据管理系统，其特征在于：所述的分布式服务器包括源数据服务器、更新服务器以及搜索服务器。
6.一种基于分布式存储的非结构化数据管理方法，基于如权利要求1-5所述的非结构化数据管理系统，其特征在于，包括如下步骤：
云管理中心实时采集非结构化数据，并将非结构化数据存储至分布式存储子系统；
云管理中心实时采集管理终端的数据查询信息和数据操作信息；
根据数据查询信息进行搜索并向管理终端返回对应的非结构化数据；
根据数据操作信息对目标非结构化数据进行操作并返回操作记录，根据操作记录更新预设的表单。
7.根据权利要求6所述的基于分布式存储的非结构化数据管理方法，其特征在于：所述的云管理中心实时采集非结构化数据，并将非结构化数据存储至分布式存储子系统，包括如下步骤：
初始化分布式存储子系统，在云管理中心建立特征数据搜索表单和操作记录表单，将每个分布式服务器分配一个私有的时间片；
云管理中心采集非结构化数据，提取非结构化数据的特征数据；
在当前时间片向分布式存储子系统中所有的分布式服务器广播存储指令；
当前的分布式服务器在私有的时间片内收到存储指令，返回当前的源数据地址；
云管理中心根据源数据地址将非结构化数据存储至对应的分布式服务器；
根据当前的特征数据和源数据地址更新特征数据搜索表单。
8.根据权利要求7所述的基于分布式存储的非结构化数据管理方法，其特征在于：所述的数据查询信息包括进行查询的目标非结构化数据的源数据地址和特征数据，所述的数据操作信息包括进行操作的目标非结构化数据的源数据地址、特征数据以及操作指令。
9.根据权利要求8所述的基于分布式存储的非结构化数据管理方法，其特征在于：所述的根据数据查询信息进行查询并向管理终端返回对应的非结构化数据，包括如下步骤：
若数据查询信息中仅包括查询的源数据地址，根据源数据地址搜索到对应的分布式服务器，提取所有的非结构化数据；
若数据查询信息中仅包括查询的特征数据，根据当前的特征数据使用K均值聚类方法与特征数据搜索表单中的所有特征数据进行查询和匹配，得到目标非结构化数据的源数据地址，根据源数据地址搜索到对应的分布式服务器，提取目标非结构化数据；
若数据查询信息中包括查询的源数据地址和特征数据，根据源数据地址得到所有的非结构化数据，根据查询的特征数据与所有的非结构化数据的特征数据进行匹配，得到目标非结构化数据。
10.根据权利要求8所述的基于分布式存储的非结构化数据管理方法，其特征在于：所述的根据数据操作信息对目标非结构化数据进行操作并返回操作记录，根据操作记录更新预设的表单，包括如下步骤：
若数据操作信息中仅包括操作的源数据地址，根据源数据地址搜索到对应的分布式服务器，定位所有的非结构化数据；
若数据操作信息中仅包括操作的特征数据，根据当前的特征数据使用K均值聚类方法与特征数据搜索表单中的所有特征数据进行查询和匹配，得到目标非结构化数据的源数据地址，根据源数据地址搜索到对应的分布式服务器，定位目标非结构化数据；
若数据操作信息中包括查询的源数据地址和特征数据，根据源数据地址定位对应的分布式服务器，根据操作的特征数据与所有的非结构化数据的特征数据进行匹配，定位目标非结构化数据；
根据数据操作信息中的操作指令对目标非结构化数据进行对应的修改操作、添加操作以及删除操作，并向云管理中心返回操作记录；
云管理中心根据操作记录更新非结构化数据管理系统预设的表单。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111041709.2A CN113792111B (zh) | 2021-09-07 | 2021-09-07 | 一种基于分布式存储的非结构化数据管理系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111041709.2A CN113792111B (zh) | 2021-09-07 | 2021-09-07 | 一种基于分布式存储的非结构化数据管理系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113792111A true CN113792111A (zh) | 2021-12-14 |
| CN113792111B CN113792111B (zh) | 2023-10-13 |
Family
ID=78879594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111041709.2A Active CN113792111B (zh) | 2021-09-07 | 2021-09-07 | 一种基于分布式存储的非结构化数据管理系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792111B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116701563A (zh) * | 2023-08-08 | 2023-09-05 | 佳瑛科技有限公司 | 基于分布式服务器的非结构化数据处理方法及相关装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012912A (zh) * | 2010-11-19 | 2011-04-13 | 清华大学 | 一种基于云计算环境的非结构化数据的管理方法 |
| CN105426442A (zh) * | 2015-11-06 | 2016-03-23 | 努比亚技术有限公司 | 一种基于分布式数据库消息数据管理方法及系统 |
| CN105488191A (zh) * | 2015-12-03 | 2016-04-13 | 南京联成科技发展有限公司 | 一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置 |
| CN107704475A (zh) * | 2016-08-10 | 2018-02-16 | 泰康保险集团股份有限公司 | 多层分布式非结构化数据存储方法、查询方法及装置 |
| CN109144783A (zh) * | 2018-08-22 | 2019-01-04 | 南京壹进制信息技术股份有限公司 | 一种分布式海量非结构化数据备份方法及系统 |
| CN109800271A (zh) * | 2019-02-23 | 2019-05-24 | 湖北理工学院 | 一种基于大数据的信息采集方法 |
| US20190340011A1 (en) * | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Resource-governed protocol and runtime for distributed databases with consistency models |
| CN110851407A (zh) * | 2019-11-15 | 2020-02-28 | 南京邮电大学 | 一种数据分布式存储系统及方法 |
| US20200192865A1 (en) * | 2018-12-13 | 2020-06-18 | Verizon Patent And Licensing Inc. | Method and system for historical call lookup in distributed file systems |
-
2021
- 2021-09-07 CN CN202111041709.2A patent/CN113792111B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012912A (zh) * | 2010-11-19 | 2011-04-13 | 清华大学 | 一种基于云计算环境的非结构化数据的管理方法 |
| CN105426442A (zh) * | 2015-11-06 | 2016-03-23 | 努比亚技术有限公司 | 一种基于分布式数据库消息数据管理方法及系统 |
| CN105488191A (zh) * | 2015-12-03 | 2016-04-13 | 南京联成科技发展有限公司 | 一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置 |
| CN107704475A (zh) * | 2016-08-10 | 2018-02-16 | 泰康保险集团股份有限公司 | 多层分布式非结构化数据存储方法、查询方法及装置 |
| US20190340011A1 (en) * | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Resource-governed protocol and runtime for distributed databases with consistency models |
| CN109144783A (zh) * | 2018-08-22 | 2019-01-04 | 南京壹进制信息技术股份有限公司 | 一种分布式海量非结构化数据备份方法及系统 |
| US20200192865A1 (en) * | 2018-12-13 | 2020-06-18 | Verizon Patent And Licensing Inc. | Method and system for historical call lookup in distributed file systems |
| CN109800271A (zh) * | 2019-02-23 | 2019-05-24 | 湖北理工学院 | 一种基于大数据的信息采集方法 |
| CN110851407A (zh) * | 2019-11-15 | 2020-02-28 | 南京邮电大学 | 一种数据分布式存储系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 宋伟;: "基于OPENSTACK私有云平台上的HADOOP完全分布式环境应用研究", 电脑知识与技术, no. 11, pages 240 - 242 * |
| 崔聪祎: "分布式块文件系统元数据管理子系统的设计与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 09, pages 138 - 102 * |
| 张孝;周宁南;: "非结构化数据存储管理研究", 科研信息化技术与应用, no. 01, pages 32 - 42 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116701563A (zh) * | 2023-08-08 | 2023-09-05 | 佳瑛科技有限公司 | 基于分布式服务器的非结构化数据处理方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113792111B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105138652B (zh) | 一种企业关联关系识别方法及系统 | |
| CN100478962C (zh) | 搜索网页的方法、装置及系统和建立索引数据库的装置 | |
| CN102693299A (zh) | 一种并行视频拷贝检测系统和方法 | |
| CN108416034B (zh) | 基于金融异构大数据的信息采集系统及其控制方法 | |
| CN102710795A (zh) | 热点聚合方法及装置 | |
| CN110457346B (zh) | 数据查询方法、装置及计算机可读存储介质 | |
| CN114911830B (zh) | 基于时序数据库的索引缓存方法、装置、设备及存储介质 | |
| CN102207946A (zh) | 一种知识网络的半自动生成方法 | |
| CN102508901A (zh) | 基于内容的海量图像检索方法和系统 | |
| CN103530429A (zh) | 一种网页正文抽取的方法 | |
| CN112749266A (zh) | 一种工业问答方法、装置、系统、设备及存储介质 | |
| CN109033281A (zh) | 一种知识资源库的智能推送系统 | |
| CN112052270A (zh) | 一种通过大数据进行用户画像深度分析的方法及系统 | |
| CN113792111B (zh) | 一种基于分布式存储的非结构化数据管理系统及其方法 | |
| CN110750599A (zh) | 一种基于实体建模的关联信息抽取和显示方法 | |
| CN110263021B (zh) | 一种基于个性化标签体系的主题库生成方法 | |
| CN116842142B (zh) | 一种医疗器械智能化检索系统 | |
| CN110442614B (zh) | 元数据的搜索方法及装置、电子设备、存储介质 | |
| CN112003884B (zh) | 一种网络资产的采集和自然语言检索方法 | |
| CN105005619A (zh) | 一种海量网站基础信息的快速检索方法和系统 | |
| CN102831174B (zh) | 结构化信息快速检索方法及系统 | |
| CN111581482A (zh) | 一种基于seo数据多维度关联的数据共享和分析方法及系统 | |
| CN116361367A (zh) | 一种高效发布招聘信息的内容识别系统及方法 | |
| CN107679908A (zh) | 销售人员话题辅助查询方法、电子装置及存储介质 | |
| CN111045987B (zh) | 一种基于Ceph分布式文件系统加速元数据访问的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100000 Room 405, 4th floor, building 1, yard 13, Deshengmenwai street, Xicheng District, Beijing Applicant after: Zhongke Xingyun Wulian Technology (Beijing) Co.,Ltd. Address before: 100000 Room 405, 4th floor, building 1, yard 13, Deshengmenwai street, Xicheng District, Beijing Applicant before: DAWN NEBULA INFORMATION TECHNOLOGY (BEIJING) CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |