CN116701563A - 基于分布式服务器的非结构化数据处理方法及相关装置 - Google Patents

基于分布式服务器的非结构化数据处理方法及相关装置 Download PDF

Info

Publication number
CN116701563A
CN116701563A CN202310988297.6A CN202310988297A CN116701563A CN 116701563 A CN116701563 A CN 116701563A CN 202310988297 A CN202310988297 A CN 202310988297A CN 116701563 A CN116701563 A CN 116701563A
Authority
CN
China
Prior art keywords
data
unstructured data
unstructured
item name
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310988297.6A
Other languages
English (en)
Inventor
杨胜
赵保国
曾海波
袁平
唐必成
黄瑛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaying Technology Co ltd
Original Assignee
Jiaying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaying Technology Co ltd filed Critical Jiaying Technology Co ltd
Priority to CN202310988297.6A priority Critical patent/CN116701563A/zh
Publication of CN116701563A publication Critical patent/CN116701563A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于分布式服务器的非结构化数据处理方法及相关装置，涉及数据处理技术领域，所述方法包括：分布式服务器基于数据引擎接口接收客户端上传的非结构化数据；对所述非结构化数据按照数据类型进行分类处理；基于非结构化数据中标注的客户端的MAC地址确定在分布式服务器的存储位置；进行映射关系建立处理，获得关联映射关系；基于关联映射关系将若干个数据项目名称ID与分类后的非结构化数据在存储位置中的对应的多个数据存储节点中进行关联存储处理。在本发明实施例中，实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。

Description

基于分布式服务器的非结构化数据处理方法及相关装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于分布式服务器的非结构化数据处理方法及相关装置。
背景技术
计算机信息技术以及大数据技术的发展，使得相关的项目数据越来越多，并且为非结构化数据，而对于这些非结构化数据采用传统的数据库集中存储的方式进无法满足存储需求，并且可能降低储存效率；同时传统的存储方式对同属于相同项目名称的非结构化数据之间无法具有相应的关联关系，在对同一个项目名称的非结构化数据进行查询时，将无法快速在数据库中查询多完整的非结构化数据，查询效率较低，无法满足用户的需求。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于分布式服务器的非结构化数据处理方法及相关装置，实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。
为了解决上述技术问题，本发明提供了一种基于分布式服务器的非结构化数据处理方法，所述方法包括：
分布式服务器基于数据引擎接口接收客户端上传的非结构化数据，所述非结构化数据中标注有所述客户端的MAC地址及所属的数据项目名称ID，且所述数据项目名称ID具有唯一性；
对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据；
基于所述非结构化数据中标注的所述客户端的MAC地址确定在所述分布式服务器的存储位置；
基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，获得若干个数据项目名称ID与分类后的非结构化数据之间的关联映射关系；
基于所述关联映射关系将所述若干个数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，所述多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称ID，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。
可选的，所述方法还包括：
所述分布式服务器接收请求端基于分配权限生成的数据查询请求，所述数据查询请求中包括查询数据项目名称ID；
所述分布式服务器基于所述数据查询请求中的查询数据项目名称ID利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，并形成非结构化数据查询列表；
所述分布式服务器将所述非结构化数据查询列表加载至所述请求端。
可选的，所述分布式服务器基于所述数据查询请求中的查询数据项目名称ID利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，包括：
所述分布式服务器利用所述数据查询请求中的查询数据项目名称ID在所有存储位置的所有用于存储所述数据项目名称ID的数据存储节点中进行检索匹配处理，获得检索匹配的匹配数据项目名称ID；
基于所述匹配数据项目名称ID所对应的关联映射关系在对应的数据存储节点中索引获得对应的查询非结构化数据。
可选的，所述形成非结构化数据查询列表，包括：
基于对应的查询非结构化数据的数据类型进行列表构建处理，获得构建列表；
将对应的查询非结构化数据在若干个数据存储节点中的存储索引路径按照所述的数据类型对应填写至所述构建列表中，形成非结构化数据查询列表。
可选的，所述对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据，包括：
获得所述非结构化数据中所标记的数据类型；
基于所述非结构化数据中所标记的数据类型按照所属的数据类型进行分类处理，获得分类后的非结构化数据。
可选的，所述基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，包括：
获得所述非结构化数据中标注的所属的若干个数据项目名称ID及分类后的非结构化数据所对应的数据项目名称ID；
利用所述非结构化数据中标注的所属的若干个数据项目名称ID中与分类后的非结构化数据所对应的数据项目名称ID中相同的数据项目名称ID所对应的分类后的非结构化数据建立关联映射关系，获得数据项目名称ID与分类后的非结构化数据之间的关联映射关系。
可选的，所述基于所述关联映射关系将所述数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，包括：
基于分类后的非结构化数据的分类数量在所述存储位置中的分配出在所述分类数量上曾加一个的多个数据存储节点；
基于所述关联映射关系将所述数据项目名称ID与分类后的非结构化数据分别关联存储到对应的多个数据存储节点中。
另外，本发明还提供了一种基于分布式服务器的非结构化数据处理装置，所述装置包括：
数据接收模块：用于分布式服务器基于数据引擎接口接收客户端上传的非结构化数据，所述非结构化数据中标注有所述客户端的MAC地址及所属的数据项目名称ID，且所述数据项目名称ID具有唯一性；
数据分类模块：用于对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据；
存储位置确定模块：用于基于所述非结构化数据中标注的所述客户端的MAC地址确定在所述分布式服务器的存储位置；
映射关系建立模块：用于基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，获得若干个数据项目名称ID与分类后的非结构化数据之间的关联映射关系；
数据存储模块：用于基于所述关联映射关系将所述若干个数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，所述多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称ID，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。
另外，本发明还提供了一种分布式服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述中任一所述方法的步骤。
另外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一所述方法的步骤。
在本发明实施例中，通过对非结构化数据按照数据类型进行分类，然后使用非结构化数据所标注的数据项目名称ID与非结构化数据建立关联映射关系，并存储在分布式服务器中的若干个数据存储节点；实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于分布式服务器的非结构化数据处理方法的流程示意图；
图2是本发明实施例中的基于分布式服务器的非结构化数据处理装置的结构组成示意图；
图3是本发明实施例中的分布式服务器的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一，请参阅图1，图1是本发明实施例中的基于分布式服务器的非结构化数据处理方法的流程示意图。
如图1所示，一种基于分布式服务器的非结构化数据处理方法，所述方法包括：
S11：分布式服务器基于数据引擎接口接收客户端上传的非结构化数据，所述非结构化数据中标注有所述客户端的MAC地址及所属的数据项目名称ID，且所述数据项目名称ID具有唯一性；
在本发明具体实施过程中，分布式服务器上设置有数据引擎接口，通过该数据引擎接口与相关的客户端建立连接关系，用于接收客户端上发送的非结构化数据，其中，这些非结构化数据中标注有客户端的MAC地址及所属的数据项目名称ID，且数据项目名称ID具有唯一性；通过客户端的MAC地址确定这些非结构化数据存储在分布式服务器中的位置。
S12：对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据；
在本发明具体实施过程中，所述对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据，包括：获得所述非结构化数据中所标记的数据类型；基于所述非结构化数据中所标记的数据类型按照所属的数据类型进行分类处理，获得分类后的非结构化数据。
具体的，首先是获得非结构化数据中的所标记的数据类型，一般在非结构化数据的数据后缀名中标记有数据类型；再通过非结构化数据中所标记的数据类型按照所属的数据类型来进行分类处理，即可获得分类后的非结构化数据；通过该方式，可以将非结构化数据按照其所属的数据类型进行分类，后续可以实现同属于一个数据类型的数据存储在同一个数据存储节点中；这样可以有效的提高存储效率，同时在后续用户对数据查询时，可以提高数据查询的速度，提高数据查询效率。
S13：基于所述非结构化数据中标注的所述客户端的MAC地址确定在所述分布式服务器的存储位置；
在本发明具体实施过程，通过非结构化数据中标注的客户端的MAC地址，确定该客户端所在的位置，为了提高数据存储的效率，减少数据传输的时间，在确定客户端所在的位置之后，匹配出与该位置最相近的分布式服务器中存储位置，即可将该最相近的分布式服务器中的存储为作为该客户端的所上传的非结构化数据的存储位置。
S14：基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，获得若干个数据项目名称ID与分类后的非结构化数据之间的关联映射关系；
在本发明具体实施过程，所述基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，包括：获得所述非结构化数据中标注的所属的若干个数据项目名称ID及分类后的非结构化数据所对应的数据项目名称ID；利用所述非结构化数据中标注的所属的若干个数据项目名称ID中与分类后的非结构化数据所对应的数据项目名称ID中相同的数据项目名称ID所对应的分类后的非结构化数据建立关联映射关系，获得数据项目名称ID与分类后的非结构化数据之间的关联映射关系。
具体的，通过获得非结构化数据中标注的所属的若干个数据项目名称ID及分类后的非结构化数据所对应的数据项目名称ID；然后利用非结构化数据中标注的所属的若干个数据项目名称ID中与分类后的非结构化数据所对应的数据项目名称ID中相同的数据项目名称ID所对应的分类后的非结构化数据建立关联映射关系，从而获得数据项目名称ID与分类后的非结构化数据之间的关联映射关系；即，所建立的关联映射关系为每一个项目数据名称ID与该项目数据名称ID所对应的分结构化数据建立关联的索引映射关系，后续通过检索到该项目数据名称ID，即可索引到对应的与该项目数据名称ID所相关联的非结构化数据。
S15：基于所述关联映射关系将所述若干个数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，所述多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称ID，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。
在本发明具体实施过程中，所述基于所述关联映射关系将所述数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，包括：基于分类后的非结构化数据的分类数量在所述存储位置中的分配出在所述分类数量上曾加一个的多个数据存储节点；基于所述关联映射关系将所述数据项目名称ID与分类后的非结构化数据分别关联存储到对应的多个数据存储节点中。
具体的，通过分类后的非结构化数据的分类数量来在存储位置中匹配出多个数据存储节点，即为多个数据存储节点的具体数量为分类数量的基础上增加一个节点，分类数量所对应的节点用于分别存储对应分类后的非结构化数据，多出的一个节点，用于存储该关联映射关系；即根据关联映射关系将数据项目名称ID与分类后的非结构化数据分别关联存储到对应的多个数据存储节点中；多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称ID及关联映射关系，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。
在本发明具体实施过程中，所述方法还包括：所述分布式服务器接收请求端基于分配权限生成的数据查询请求，所述数据查询请求中包括查询数据项目名称ID；所述分布式服务器基于所述数据查询请求中的查询数据项目名称ID利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，并形成非结构化数据查询列表；所述分布式服务器将所述非结构化数据查询列表加载至所述请求端。
进一步的，所述分布式服务器基于所述数据查询请求中的查询数据项目名称ID利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，包括：所述分布式服务器利用所述数据查询请求中的查询数据项目名称ID在所有存储位置的所有用于存储所述数据项目名称ID的数据存储节点中进行检索匹配处理，获得检索匹配的匹配数据项目名称ID；基于所述匹配数据项目名称ID所对应的关联映射关系在对应的数据存储节点中索引获得对应的查询非结构化数据。
进一步的，所述形成非结构化数据查询列表，包括：基于对应的查询非结构化数据的数据类型进行列表构建处理，获得构建列表；将对应的查询非结构化数据在若干个数据存储节点中的存储索引路径按照所述的数据类型对应填写至所述构建列表中，形成非结构化数据查询列表。
具体的，该分布式服务器通过接收请求端根据分配权限生成的数据查询请求，该数据查询请求中包括查询数据项目名称ID；该分布式服务器根据数据查询请求中的查询数据项目名称ID利用关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，然后形成非结构化数据查询列表；同时该分布式服务器将非结构化数据查询列表加载至所述请求端。
即，该分布式服务器利用数据查询请求中的查询数据项目名称ID在所有存储位置的用于存储数据项目名称ID的数据存储节点中进行检索匹配处理，获得检索匹配的匹配数据项目名称ID；再根据匹配数据项目名称ID所对应的关联映射关系在对应的数据存储节点中索引获得对应的查询非结构化数据。
该非结构化数据查询列表是根据对应的查询非结构化数据的数据类型进行列表构建处理，从而获得构建列表；然后将对应的查询非结构化数据在若干个数据存储节点中的存储索引路径按照数据类型对应填写至构建列表中，形成非结构化数据查询列表。
在本发明实施例中，通过对非结构化数据按照数据类型进行分类，然后使用非结构化数据所标注的数据项目名称ID与非结构化数据建立关联映射关系，并存储在分布式服务器中的若干个数据存储节点；实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。
实施例二，请参阅图2，图2是本发明实施例中的基于分布式服务器的非结构化数据处理装置的结构组成示意图。
如图2所示，一种基于分布式服务器的非结构化数据处理装置，所述装置包括：
数据接收模块21：用于分布式服务器基于数据引擎接口接收客户端上传的非结构化数据，所述非结构化数据中标注有所述客户端的MAC地址及所属的数据项目名称ID，且所述数据项目名称ID具有唯一性；
在本发明具体实施过程中，分布式服务器上设置有数据引擎接口，通过该数据引擎接口与相关的客户端建立连接关系，用于接收客户端上发送的非结构化数据，其中，这些非结构化数据中标注有客户端的MAC地址及所属的数据项目名称ID，且数据项目名称ID具有唯一性；通过客户端的MAC地址确定这些非结构化数据存储在分布式服务器中的位置。
数据分类模块22：用于对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据；
在本发明具体实施过程中，所述对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据，包括：获得所述非结构化数据中所标记的数据类型；基于所述非结构化数据中所标记的数据类型按照所属的数据类型进行分类处理，获得分类后的非结构化数据。
具体的，首先是获得非结构化数据中的所标记的数据类型，一般在非结构化数据的数据后缀名中标记有数据类型；再通过非结构化数据中所标记的数据类型按照所属的数据类型来进行分类处理，即可获得分类后的非结构化数据；通过该方式，可以将非结构化数据按照其所属的数据类型进行分类，后续可以实现同属于一个数据类型的数据存储在同一个数据存储节点中；这样可以有效的提高存储效率，同时在后续用户对数据查询时，可以提高数据查询的速度，提高数据查询效率。
存储位置确定模块23：用于基于所述非结构化数据中标注的所述客户端的MAC地址确定在所述分布式服务器的存储位置；
在本发明具体实施过程，通过非结构化数据中标注的客户端的MAC地址，确定该客户端所在的位置，为了提高数据存储的效率，减少数据传输的时间，在确定客户端所在的位置之后，匹配出与该位置最相近的分布式服务器中存储位置，即可将该最相近的分布式服务器中的存储为作为该客户端的所上传的非结构化数据的存储位置。
映射关系建立模块24：用于基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，获得若干个数据项目名称ID与分类后的非结构化数据之间的关联映射关系；
在本发明具体实施过程，所述基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，包括：获得所述非结构化数据中标注的所属的若干个数据项目名称ID及分类后的非结构化数据所对应的数据项目名称ID；利用所述非结构化数据中标注的所属的若干个数据项目名称ID中与分类后的非结构化数据所对应的数据项目名称ID中相同的数据项目名称ID所对应的分类后的非结构化数据建立关联映射关系，获得数据项目名称ID与分类后的非结构化数据之间的关联映射关系。
具体的，通过获得非结构化数据中标注的所属的若干个数据项目名称ID及分类后的非结构化数据所对应的数据项目名称ID；然后利用非结构化数据中标注的所属的若干个数据项目名称ID中与分类后的非结构化数据所对应的数据项目名称ID中相同的数据项目名称ID所对应的分类后的非结构化数据建立关联映射关系，从而获得数据项目名称ID与分类后的非结构化数据之间的关联映射关系；即，所建立的关联映射关系为每一个项目数据名称ID与该项目数据名称ID所对应的分结构化数据建立关联的索引映射关系，后续通过检索到该项目数据名称ID，即可索引到对应的与该项目数据名称ID所相关联的非结构化数据。
数据存储模块25：用于基于所述关联映射关系将所述若干个数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，所述多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称ID，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。
在本发明具体实施过程中，所述基于所述关联映射关系将所述数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，包括：基于分类后的非结构化数据的分类数量在所述存储位置中的分配出在所述分类数量上曾加一个的多个数据存储节点；基于所述关联映射关系将所述数据项目名称ID与分类后的非结构化数据分别关联存储到对应的多个数据存储节点中。
具体的，通过分类后的非结构化数据的分类数量来在存储位置中匹配出多个数据存储节点，即为多个数据存储节点的具体数量为分类数量的基础上增加一个节点，分类数量所对应的节点用于分别存储对应分类后的非结构化数据，多出的一个节点，用于存储该关联映射关系；即根据关联映射关系将数据项目名称ID与分类后的非结构化数据分别关联存储到对应的多个数据存储节点中；多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称ID及关联映射关系，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。
在本发明具体实施过程中，所述方法还包括：所述分布式服务器接收请求端基于分配权限生成的数据查询请求，所述数据查询请求中包括查询数据项目名称ID；所述分布式服务器基于所述数据查询请求中的查询数据项目名称ID利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，并形成非结构化数据查询列表；所述分布式服务器将所述非结构化数据查询列表加载至所述请求端。
进一步的，所述分布式服务器基于所述数据查询请求中的查询数据项目名称ID利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，包括：所述分布式服务器利用所述数据查询请求中的查询数据项目名称ID在所有存储位置的所有用于存储所述数据项目名称ID的数据存储节点中进行检索匹配处理，获得检索匹配的匹配数据项目名称ID；基于所述匹配数据项目名称ID所对应的关联映射关系在对应的数据存储节点中索引获得对应的查询非结构化数据。
进一步的，所述形成非结构化数据查询列表，包括：基于对应的查询非结构化数据的数据类型进行列表构建处理，获得构建列表；将对应的查询非结构化数据在若干个数据存储节点中的存储索引路径按照所述的数据类型对应填写至所述构建列表中，形成非结构化数据查询列表。
具体的，该分布式服务器通过接收请求端根据分配权限生成的数据查询请求，该数据查询请求中包括查询数据项目名称ID；该分布式服务器根据数据查询请求中的查询数据项目名称ID利用关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，然后形成非结构化数据查询列表；同时该分布式服务器将非结构化数据查询列表加载至所述请求端。
即，该分布式服务器利用数据查询请求中的查询数据项目名称ID在所有存储位置的用于存储数据项目名称ID的数据存储节点中进行检索匹配处理，获得检索匹配的匹配数据项目名称ID；再根据匹配数据项目名称ID所对应的关联映射关系在对应的数据存储节点中索引获得对应的查询非结构化数据。
该非结构化数据查询列表是根据对应的查询非结构化数据的数据类型进行列表构建处理，从而获得构建列表；然后将对应的查询非结构化数据在若干个数据存储节点中的存储索引路径按照数据类型对应填写至构建列表中，形成非结构化数据查询列表。
在本发明实施例中，通过对非结构化数据按照数据类型进行分类，然后使用非结构化数据所标注的数据项目名称ID与非结构化数据建立关联映射关系，并存储在分布式服务器中的若干个数据存储节点；实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有应用程序，该程序被处理器执行时实现上述实施例中任意一个实施例的非结构化数据处理方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘（包括软盘、硬盘、光盘、CD-ROM、和磁光盘）、ROM（Read-Only Memory，只读存储器）、RAM（Random AcceSSMemory，随即存储器）、EPROM（EraSable Programmable Read-Only Memory，可擦写可编程只读存储器）、EEPROM（Electrically EraSable ProgrammableRead-Only Memory，电可擦可编程只读存储器）、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备（例如，计算机、手机）以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明实施例还提供了一种计算机应用程序，其运行在计算机上，该计算机应用程序用于执行上述中任意一个实施例的非结构化数据处理方法。
此外，图3是本发明实施例中的分布式服务器的结构组成示意图。
本发明实施例还提供了一种分布式服务器，如图3所示。所述分布式服务器包括处理器302、存储器303、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图3示出的分布式服务器结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器303可用于存储应用程序301以及各功能模块，处理器302运行存储在存储器303的应用程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作），并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键（比如播放控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器303内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述计算机设备包括：一个或多个处理器302，存储器303，一个或多个应用程序301，其中所述一个或多个应用程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个应用程序301配置用于执行上述实施例中的任意一实施例中的非结构化数据处理方法。
在本发明实施例中，通过对非结构化数据按照数据类型进行分类，然后使用非结构化数据所标注的数据项目名称ID与非结构化数据建立关联映射关系，并存储在分布式服务器中的若干个数据存储节点；实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。
另外，以上对本发明实施例所提供的一种基于分布式服务器的非结构化数据处理方法及相关装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于分布式服务器的非结构化数据处理方法，其特征在于，所述方法包括：
分布式服务器基于数据引擎接口接收客户端上传的非结构化数据，所述非结构化数据中标注有所述客户端的MAC地址及所属的数据项目名称ID，且所述数据项目名称ID具有唯一性；
对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据；
基于所述非结构化数据中标注的所述客户端的MAC地址确定在所述分布式服务器的存储位置；
基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，获得若干个数据项目名称ID与分类后的非结构化数据之间的关联映射关系；
基于所述关联映射关系将所述若干个数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，所述多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称ID，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。
2.根据权利要求1所述的非结构化数据处理方法，其特征在于，所述方法还包括：
所述分布式服务器接收请求端基于分配权限生成的数据查询请求，所述数据查询请求中包括查询数据项目名称ID；
所述分布式服务器基于所述数据查询请求中的查询数据项目名称ID利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，并形成非结构化数据查询列表；
所述分布式服务器将所述非结构化数据查询列表加载至所述请求端。
3.根据权利要求2所述的非结构化数据处理方法，其特征在于，所述分布式服务器基于所述数据查询请求中的查询数据项目名称ID利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，包括：
所述分布式服务器利用所述数据查询请求中的查询数据项目名称ID在所有存储位置的用于存储所述数据项目名称ID的数据存储节点中进行检索匹配处理，获得检索匹配的匹配数据项目名称ID；
基于所述匹配数据项目名称ID所对应的关联映射关系在对应的数据存储节点中索引获得对应的查询非结构化数据。
4.根据权利要求2所述的非结构化数据处理方法，其特征在于，所述形成非结构化数据查询列表，包括：
基于对应的查询非结构化数据的数据类型进行列表构建处理，获得构建列表；
将对应的查询非结构化数据在若干个数据存储节点中的存储索引路径按照数据类型对应填写至所述构建列表中，形成非结构化数据查询列表。
5.根据权利要求1所述的非结构化数据处理方法，其特征在于，所述对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据，包括：
获得所述非结构化数据中所标记的数据类型；
基于所述非结构化数据中所标记的数据类型按照所属的数据类型进行分类处理，获得分类后的非结构化数据。
6.根据权利要求1所述的非结构化数据处理方法，其特征在于，所述基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，包括：
获得所述非结构化数据中标注的所属的若干个数据项目名称ID及分类后的非结构化数据所对应的数据项目名称ID；
利用所述非结构化数据中标注的所属的若干个数据项目名称ID中与分类后的非结构化数据所对应的数据项目名称ID中相同的数据项目名称ID所对应的分类后的非结构化数据建立关联映射关系，获得数据项目名称ID与分类后的非结构化数据之间的关联映射关系。
7.根据权利要求1所述的非结构化数据处理方法，其特征在于，所述基于所述关联映射关系将所述数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，包括：
基于分类后的非结构化数据的分类数量在所述存储位置中的分配出在所述分类数量上曾加一个的多个数据存储节点；
基于所述关联映射关系将所述数据项目名称ID与分类后的非结构化数据分别关联存储到对应的多个数据存储节点中。
8.一种基于分布式服务器的非结构化数据处理装置，其特征在于，所述装置包括：
数据接收模块：用于分布式服务器基于数据引擎接口接收客户端上传的非结构化数据，所述非结构化数据中标注有所述客户端的MAC地址及所属的数据项目名称ID，且所述数据项目名称ID具有唯一性；
数据分类模块：用于对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据；
存储位置确定模块：用于基于所述非结构化数据中标注的所述客户端的MAC地址确定在所述分布式服务器的存储位置；
映射关系建立模块：用于基于所述非结构化数据中标注的所属的若干个数据项目名称ID与分类后的非结构化数据进行映射关系建立处理，获得若干个数据项目名称ID与分类后的非结构化数据之间的关联映射关系；
数据存储模块：用于基于所述关联映射关系将所述若干个数据项目名称ID与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，所述多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称ID，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。
9.一种分布式服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202310988297.6A 2023-08-08 2023-08-08 基于分布式服务器的非结构化数据处理方法及相关装置 Pending CN116701563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310988297.6A CN116701563A (zh) 2023-08-08 2023-08-08 基于分布式服务器的非结构化数据处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310988297.6A CN116701563A (zh) 2023-08-08 2023-08-08 基于分布式服务器的非结构化数据处理方法及相关装置

Publications (1)

Publication Number Publication Date
CN116701563A true CN116701563A (zh) 2023-09-05

Family

ID=87839711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310988297.6A Pending CN116701563A (zh) 2023-08-08 2023-08-08 基于分布式服务器的非结构化数据处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN116701563A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140096936A (ko) * 2013-01-29 2014-08-06 (주)소만사 Ｄｌｐ 시스템의 빅데이터 처리 시스템 및 방법
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN104143006A (zh) * 2014-08-05 2014-11-12 东北农业大学 一种城市数据处理方法及装置
US20150169656A1 (en) * 2012-08-23 2015-06-18 Digital Works, Inc. Distributed database system
CN107239479A (zh) * 2017-03-28 2017-10-10 阿里巴巴集团控股有限公司 一种基于区块链的数据存储以及查询的方法及装置
US20180329935A1 (en) * 2017-05-11 2018-11-15 Oracle International Corporation Distributed storage and processing of hierarchical data structures
CN109271449A (zh) * 2018-09-30 2019-01-25 山东超越数控电子股份有限公司 一种基于文件的分布式存储查询系统及查询方法
CN113792111A (zh) * 2021-09-07 2021-12-14 曙光星云信息技术（北京）有限公司 一种基于分布式存储的非结构化数据管理系统及其方法
CN114356851A (zh) * 2022-01-12 2022-04-15 北京字节跳动网络技术有限公司 数据文件的存储方法、装置、电子设备及存储介质
CN114490641A (zh) * 2021-12-31 2022-05-13 山东浪潮工业互联网产业股份有限公司 一种工业互联网数据的共享方法、设备及介质
CN115794806A (zh) * 2021-09-09 2023-03-14 上海牛掌网络技术有限公司 金融数据的网格化处理系统及方法、装置、计算设备
CN116303608A (zh) * 2023-03-16 2023-06-23 中国建设银行股份有限公司 一种应用服务的数据处理方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
US20150169656A1 (en) * 2012-08-23 2015-06-18 Digital Works, Inc. Distributed database system
KR20140096936A (ko) * 2013-01-29 2014-08-06 (주)소만사 Ｄｌｐ 시스템의 빅데이터 처리 시스템 및 방법
CN104143006A (zh) * 2014-08-05 2014-11-12 东北农业大学 一种城市数据处理方法及装置
CN107239479A (zh) * 2017-03-28 2017-10-10 阿里巴巴集团控股有限公司 一种基于区块链的数据存储以及查询的方法及装置
US20180329935A1 (en) * 2017-05-11 2018-11-15 Oracle International Corporation Distributed storage and processing of hierarchical data structures
CN109271449A (zh) * 2018-09-30 2019-01-25 山东超越数控电子股份有限公司 一种基于文件的分布式存储查询系统及查询方法
CN113792111A (zh) * 2021-09-07 2021-12-14 曙光星云信息技术（北京）有限公司 一种基于分布式存储的非结构化数据管理系统及其方法
CN115794806A (zh) * 2021-09-09 2023-03-14 上海牛掌网络技术有限公司 金融数据的网格化处理系统及方法、装置、计算设备
CN114490641A (zh) * 2021-12-31 2022-05-13 山东浪潮工业互联网产业股份有限公司 一种工业互联网数据的共享方法、设备及介质
CN114356851A (zh) * 2022-01-12 2022-04-15 北京字节跳动网络技术有限公司 数据文件的存储方法、装置、电子设备及存储介质
CN116303608A (zh) * 2023-03-16 2023-06-23 中国建设银行股份有限公司 一种应用服务的数据处理方法和装置

Similar Documents

Publication Publication Date Title
CN107480198B (zh) 一种分布式NewSQL数据库系统和全文检索方法
US11030247B2 (en) Layered graph data structure
US7865476B2 (en) File sharing system in cooperation with a search engine
US7512595B1 (en) Methods and systems for utilizing configuration information
US9251179B2 (en) Managing record location lookup caching in a relational database
CN111125269A (zh) 一种数据管理方法、血缘关系显示方法和相关装置
US7634486B2 (en) Systems management navigation and focus collection
US11847145B2 (en) Aliased data retrieval for key-value stores
US20180260190A1 (en) Split and merge graphs
CN106484694B (zh) 基于分布式数据库的全文搜索方法及系统
CN113434482A (zh) 数据迁移方法、装置、计算机设备及存储介质
CN107341221B (zh) 索引结构的建立、关联检索方法、装置、设备及存储介质
US7689584B2 (en) Hybrid groups
CN108763524A (zh) 电子装置、聊天数据处理方法和计算机可读存储介质
US11575645B2 (en) LDAP query optimization with smart index selection
CN111666302A (zh) 用户排名的查询方法、装置、设备及存储介质
CN116701563A (zh) 基于分布式服务器的非结构化数据处理方法及相关装置
US7720881B2 (en) Role based groups
US11720630B2 (en) Generating new and unique distributed graph ID
US7725500B2 (en) Role based groups
CN104750709A (zh) 一种语义检索方法及系统
US11436230B1 (en) Cross-tenant people search in a multi-tenant computing system
US11836141B2 (en) Ranking database queries
US11874829B2 (en) Query execution across multiple graphs
CN116991852A (zh) 分布式数据库的样本索引树构建及近似计算方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination