CN112052219A - 文件的存储与检索方法、装置、电子设备及可读存储介质 - Google Patents
文件的存储与检索方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112052219A CN112052219A CN202010780147.2A CN202010780147A CN112052219A CN 112052219 A CN112052219 A CN 112052219A CN 202010780147 A CN202010780147 A CN 202010780147A CN 112052219 A CN112052219 A CN 112052219A
- Authority
- CN
- China
- Prior art keywords
- file
- storage
- stored
- inverted index
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种文件的存储与检索方法、装置、电子设备及可读存储介质。该方法包括：当接收到待存储文件的存储请求时，确定待存储文件的文件类型；基于存储请求中携带的待存储文件的标签信息对各文件类型的待存储文件分别建立倒排索引；将倒排索引以及存储请求发送给元数据节点，以使元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，并以使存储节点存储待存储文件以及倒排索引。基于本方案，通过根据标签信息构建文件的倒排索引，并将倒排索引与文件关联存储于分布式文件系统中的数据节点，为在对文件进行检索时通过倒排索引检索文件提供了基础，有利于提升分布式文件系统的文件检索效率，满足了用户的使用需求。
Description
技术领域
本申请涉及计算机技术领域，具体而言，本申请涉及一种文件的存储与检索方法、装置、电子设备及可读存储介质。
背景技术
随着信息技术的快速发展，人们可以获取的数据呈指数倍的增长，分布式文件系统可以有效解决数据的存储和管理难题。
目前，分布式文件系统采用文件目录结构组织管理文件，并且大多采用基于文件路径实现文件的访问，在获取目标文件时，需要预知该文件的绝对路径。
现有的分布式文件系统中，仅能通过单一的目录结构进行文件的检索，检索效率较低，无法满足用户的使用需求。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：
第一方面，本申请实施例提供了一种文件的存储方法，该方法包括：
当接收到待存储文件的存储请求时，确定待存储文件的文件类型；
基于存储请求中携带的待存储文件的标签信息对各文件类型的待存储文件分别建立倒排索引；
将倒排索引以及存储请求发送给元数据节点，以使元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，并以使存储节点存储待存储文件以及倒排索引。
第二方面，本申请实施例提供了另一种文件的存储方法，该方法包括：
接收服务器转发的倒排索引以及待存储文件的存储请求，倒排索引是服务器在接收到存储请求时，基于存储请求携带的待存储文件的标签信息，针对将各文件类型的待存储文件分别建立的；
确定存储节点，并将倒排索引以及存储请求转发给存储节点，以使存储节点存储待存储文件以及倒排索引。
第三方面，本申请实施例提供了一种文件的检索方法，该方法包括：
当接收到终端设备发送的对目标文件的检索请求时，获取检索请求中携带的关键字；
确定关键字是否存在于元数据节点中存储的倒排索引中；
若存在，则确定存储目标文件的存储节点，并将存储节点返回至终端设备以使终端设备向存储节点调用目标文件。
可选地，上述检索方法还包括：
若关键字不存在于元数据节点中存储的倒排索引中，则向终端设备返回对应的提示信息。
可选地，终端设备向存储节点调用目标文件是通过以下方式实现的：
终端设备向存储节点发送目标文件的调用请求；
存储节点获取调用请求中携带的关键字，并基于关键字以及存储节点存储的倒排索引，确定目标文件并向终端设备返回目标文件。
第四方面，本申请实施例提供了一种文件的存储装置，该装置包括：
文件类型确定模块，用于在接收到待存储文件的存储请求时，确定待存储文件的文件类型；
倒排索引建立模块，用于基于存储请求中携带的待存储文件的标签信息对各文件类型的待存储文件分别建立倒排索引；
请求发送模块，用于将倒排索引以及存储请求发送给元数据节点，以使元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，并以使存储节点存储待存储文件以及倒排索引。
第五方面，本申请实施例提供了另一种文件的存储装置，该装置包括：
存储请求接收模块，用于在接收服务器转发的倒排索引以及待存储文件的存储请求，倒排索引是服务器在接收到存储请求时，基于存储请求携带的待存储文件的标签信息，针对将各文件类型的待存储文件分别建立的；
请求转发模块，用于确定存储节点，并将倒排索引以及存储请求转发给存储节点，以使存储节点存储待存储文件以及倒排索引。
第六方面，本申请实施例提供了一种文件的检索装置，该装置包括：
关键字获取模块，用于在接收到终端设备发送的对目标文件的检索请求时，获取检索请求中携带的关键字；
倒排索引查询模块，用于确定关键字是否存在于元数据节点中存储的倒排索引中；
检索信息返回模块，用于在关键字存在于元数据节点中存储的倒排索引中时，确定存储目标文件的存储节点，并将存储节点返回至终端设备以使终端设备向存储节点调用目标文件。
可选地，上述装置还包括：
提示模块，用于在关键字不存在于元数据节点中存储的倒排索引中时，向终端设备返回对应的提示信息。
可选地，终端设备向存储节点调用目标文件是通过以下方式实现的：
终端设备向存储节点发送目标文件的调用请求；
存储节点获取调用请求中携带的关键字，并基于关键字以及存储节点存储的倒排索引，确定目标文件并向终端设备返回目标文件。
第七方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行如本申请的第一至第三方面的任一实施方式中所示的方法。
第八方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请的第一至第三方面的任一实施方式中所示的方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例提供的方案，通过当接收到待存储文件的存储请求时，基于存储请求中携带的待存储文件的标签信息对待存储文件的各文件类型分别建立倒排索引，将倒排索引以及存储请求发送给元数据节点，元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，存储节点存储待存储文件以及倒排索引。本方案中，根据标签信息构建了文件的倒排索引，并将倒排索引与文件关联存储于分布式文件系统中的数据节点，为在对文件进行检索时通过倒排索引检索文件提供了基础，有利于提升分布式文件系统的文件检索效率，满足了用户的使用需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种文件的存储方法的流程示意图；
图2为本申请实施例提供的另一种文件的存储方法的流程示意图；
图3为本申请实施例提供的一种文件的检索方法的流程示意图；
图4为本申请实施例提供的一种文件的存储装置的结构示意图；
图5为本申请实施例提供的另一种文件的存储装置的结构示意图；
图6为本申请实施例提供的一种文件的检索装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
分布式文件系统大多基于文件目录结构管理文件元数据。当用户通过文件目录结构浏览文件时，文件系统能够对外提供较好的检索速度。随着数据集的发展，用户的检索需求也随之发生变化。按照文件目录结构处理非目录维度文件检索请求，会造成非目录维度检索速度缓慢。例如，用户通常会指定关键字，通过关键字检索相关的文件。
Hadoop分布式文件管理系统(Hadoop Distributed File System，HDFS)虽然提供了命令行浏览和网页Rest查询接口，但面对海量文件查询时，通过单一的目录结构检索文件会变得十分复杂。
为了使分布式文件系统支持基于关键字的文件检索，可以在数据库的文件系统上层构建索引，但是这会增大应用系统的开发难度和系统的额外维护成本，并且针对特定数据类型(如图片、音语音、短视频)而开发出的特定的检索方案会使系统缺乏通用性，当系统存储其它类型的数据文件时，往往需要对优化方案进行重新设计。
本申请实施例提供的文件的存储与检索方法、装置、电子设备及可读存储介质，旨在解决现有技术的如上技术问题中的至少一个。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1示出了本申请实施例提供的一种文件的存储方法的流程示意图，该方法应用于服务器，如图1所示，该方法主要可以包括：
步骤S110：当接收到待存储文件的存储请求时，确定待存储文件的文件类型；
步骤S120：基于存储请求中携带的待存储文件的标签信息对各文件类型的待存储文件分别建立倒排索引；
步骤S130：将倒排索引以及存储请求发送给元数据节点，以使元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，并以使存储节点存储待存储文件以及倒排索引。
本申请实施例中，服务器可以为分布式文件系统中用于对文件系统进行管理的设备。服务器可以用户的终端设备交互，接收用户的文件存储请求(即文件写入请求)。
本申请实施例中，可以根据文件类型对待存储文件进行分类，文件类型可以包括图片、音频、视频等。可以针对各文件类型的分别建立倒排索引，以便于分别针对各文件类型的分别进行检索。
本申请实施例中，标签信息可以为用户对待存储文件添加的，也可以为根据待存储文件的文件相关信息自动生成的，如时间、地点等。
在实际使用中，标签信息可能具有多种数据类型，可以针对不同的数据类型的标签信息建立多级的倒排索引。
作为一个示例，数据类型可以为整形、长整形以及字符串类型。
在实际使用中，倒排索引可以采用B树的形式构建。
本申请实施例中，在对待存储文件构建倒排索引后，可以将倒排索引的索引信息与存储请求一同发送给元数据节点。存储请求可以携带有可写入的文件块起始位置以及文件有效性等文件写入相关信息。
元数据节点可以存储倒排索引，并在确定出用于存储待存储文件的存储节点后，将倒排索引以及存储请求转发给存储节点。
存储节点可以将待存储文件以及倒排索引关联存储。具体而言，存储节点会首先会将数据写入到本地硬盘中，然后创建数据管道流，将数据部分保存到其它数据节点的磁盘中，完成相应数据复本的建立。
在实际使用中，用户可以通过远程过程调用协议(Remote Procedure CallProtocol，RPC)批量的将文件元数据以及文件数据提交到分布式文件系统。
本申请实施例中，由于根据标签信息建立了文件的倒排索引，并将文件与倒排索引关联存储，为在对文件进行检索时通过倒排索引查询文件提供了基础，从而有利于提升查询效率。
本申请实施例提供的存储方法，通过当接收到待存储文件的存储请求时，基于存储请求中携带的待存储文件的标签信息对待存储文件的各文件类型分别建立倒排索引，将倒排索引以及存储请求发送给元数据节点，元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，存储节点存储待存储文件以及倒排索引。本方案中，根据标签信息构建了文件的倒排索引，并将倒排索引与文件关联存储于分布式文件系统中的数据节点，为在对文件进行检索时通过倒排索引检索文件提供了基础，有利于提升分布式文件系统的文件检索效率，满足了用户的使用需求。
本申请实施例提供的文件存储方法，能够支持对文件的关键字检索，避免了在数据库的文件系统上层进行开发，降低了开发和维护成本，并且由于是针对不同的文件类型分别建立倒排索引，具有较强的通用性。
图2示出了本申请实施例提供的另一种文件的存储方法的流程示意图，该方法应用于元数据节点，如图2所示，该方法主要可以包括：
步骤S210：接收服务器转发的倒排索引以及待存储文件的存储请求，倒排索引是服务器在接收到存储请求时，基于存储请求携带的待存储文件的标签信息，针对将各文件类型的待存储文件分别建立的；
步骤S220：确定存储节点，并将倒排索引以及存储请求转发给存储节点，以使存储节点存储待存储文件以及倒排索引。
本申请实施例中，服务器在对待存储文件构建倒排索引后，可以将倒排索引的索引信息与存储请求一同发送给元数据节点。存储请求可以携带有可写入的文件块起始位置等文件有效性等文件写入相关信息。
元数据节点可以存储倒排索引，并在确定出用于存储待存储文件的存储节点后，将倒排索引以及存储请求转发给存储节点。
数据节点可以存储倒排索引，并在确定出用于存储待存储文件的存储节点后，将倒排索引以及存储请求转发给存储节点。存储节点可以将待存储文件以及倒排索引关联存储。
本申请实施例提供的存储方法，通过接收服务器转发的倒排索引以及待存储文件的存储请求，确定存储节点，并将倒排索引以及存储请求转发给存储节点，使存储节点存储待存储文件以及倒排索引。本方案中，根据标签信息构建了文件的倒排索引，并将倒排索引与文件关联存储于分布式文件系统中的数据节点，为在对文件进行检索时通过倒排索引检索文件提供了基础，有利于提升分布式文件系统的文件检索效率，满足了用户的使用需求。
图3示出了本申请实施例提供的一种文件的检索方法的流程示意图，该方法应用于元数据节点，如图3所示，该方法主要可以包括：
步骤S310：当接收到终端设备发送的对目标文件的检索请求时，获取检索请求中携带的关键字；
步骤S320：确定关键字是否存在于元数据节点中存储的倒排索引中；
步骤S330：若存在，则确定存储目标文件的存储节点，并将存储节点返回至终端设备以使终端设备向存储节点调用目标文件。
本申请实施例中，用户可以在进行文件检索时指定用于检索的关键字。终端设备可以向元数据节点发送检索请求，检索请求中携带有关键字。
本申请实施例中，元数据节点在接收到检索请求后，可以在倒排索引中查找关键字，若未查找到关键字，则可以认为文件系统中未存储对应的文件。若查找到关键字，则可以根据倒排索引确定目标文件所在的存储节点，将存储节点的地址信息返回给终端设备。在实际使用中，存储节点可能存在有多个，这时可以将存储节点的集合发送给终端设备。
终端设备可以向存储有目标文件的存储节点调用建立远程调用，从而获取到目标文件。
本申请实施例提供的检索方法，在接收到终端设备发送的对目标文件的检索请求时，确定检索请求中携带的关键字是否存在于元数据节点中存储的倒排索引中，若存在，则确定存储目标文件的存储节点，则将存储节点返回至终端设备以使终端设备向存储节点调用目标文件。本方案中，由于元数据节点中存储有根据标签信息构建的倒排索引，可以通过在倒排索引中查找用户指定的关键字的方式确定存储有米目标文件的存储节点，从而向存储节点调用目标文件，实现了基于关键字的文件检索，提升了分布式文件系统的文件检索效率，满足了用户的使用需求。
本申请实施例的一种可选方式中，上述方法还包括：
若关键字不存在于元数据节点中存储的倒排索引中，则向终端设备返回对应的提示信息。
本申请实施例中，若未在倒排索引中查找到关键字，可以认为文件系统中不存在与关键字相关的文件，可以将检索结果返回给终端设备。
本申请实施例的一种可选方式中，终端设备向存储节点调用目标文件是通过以下方式实现的：
终端设备向存储节点发送目标文件的调用请求；
存储节点获取调用请求中携带的关键字，并基于关键字以及存储节点存储的倒排索引，确定目标文件并向终端设备返回目标文件。
本申请实施例中，存储节点中存储有倒排索引，终端设备可以向存储节点发送携带有关键字的调用请求，存储节点可以根据关键字在倒排索引中查找目标文件，并将查找到的目标文件返回给终端设备，以实现对目标文件的调用。
基于与图1中所示的方法相同的原理，图4示出了本申请实施例提供的一种文件的存储装置的结构示意图，如图4所示，该文件的存储装置40可以包括：
文件类型确定模块410，用于在接收到待存储文件的存储请求时，确定待存储文件的文件类型；
倒排索引建立模块420，用于基于存储请求中携带的待存储文件的标签信息对各文件类型的待存储文件分别建立倒排索引；
请求发送模块430，用于将倒排索引以及存储请求发送给元数据节点，以使元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，并以使存储节点存储待存储文件以及倒排索引。
本申请实施例提供的存储装置，通过当接收到待存储文件的存储请求时，基于存储请求中携带的待存储文件的标签信息对待存储文件的各文件类型分别建立倒排索引，将倒排索引以及存储请求发送给元数据节点，元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，存储节点存储待存储文件以及倒排索引。本方案中，根据标签信息构建了文件的倒排索引，并将倒排索引与文件关联存储于分布式文件系统中的数据节点，为在对文件进行检索时通过倒排索引检索文件提供了基础，有利于提升分布式文件系统的文件检索效率，满足了用户的使用需求。
可以理解的是，本实施例中的文件的存储装置的上述各模块具有实现图1中所示的实施例中的文件的存储方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述文件的存储装置的各模块的功能描述具体可以参见图1中所示实施例中的文件的存储方法的对应描述，在此不再赘述。
基于与图2中所示的方法相同的原理，图5示出了本申请实施例提供的另一种文件的存储装置的结构示意图，如图5所示，该文件的存储装置50可以包括：
存储请求接收模块510，用于在接收服务器转发的倒排索引以及待存储文件的存储请求，倒排索引是服务器在接收到存储请求时，基于存储请求携带的待存储文件的标签信息，针对将各文件类型的待存储文件分别建立的；
请求转发模块520，用于确定存储节点，并将倒排索引以及存储请求转发给存储节点，以使存储节点存储待存储文件以及倒排索引。
本申请实施例提供的存储装置，通过接收服务器转发的倒排索引以及待存储文件的存储请求，确定存储节点，并将倒排索引以及存储请求转发给存储节点，使存储节点存储待存储文件以及倒排索引。本方案中，根据标签信息构建了文件的倒排索引，并将倒排索引与文件关联存储于分布式文件系统中的数据节点，为在对文件进行检索时通过倒排索引检索文件提供了基础，有利于提升分布式文件系统的文件检索效率，满足了用户的使用需求。
可以理解的是，本实施例中的文件的存储装置的上述各模块具有实现图2中所示的实施例中的文件的存储方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述文件的存储装置的各模块的功能描述具体可以参见图2中所示实施例中的文件的存储方法的对应描述，在此不再赘述。
基于与图3中所示的方法相同的原理，图6示出了本申请实施例提供的一种文件的检索装置的结构示意图，如图6所示，该文件的检索装置60可以包括：
关键字获取模块610，用于在接收到终端设备发送的对目标文件的检索请求时，获取检索请求中携带的关键字；
倒排索引查询模块620，用于确定关键字是否存在于元数据节点中存储的倒排索引中；
检索信息返回模块630，用于在关键字存在于元数据节点中存储的倒排索引中时，确定存储目标文件的存储节点，并将存储节点返回至终端设备以使终端设备向存储节点调用目标文件。
本申请实施例提供的检索装置，在接收到终端设备发送的对目标文件的检索请求时，确定检索请求中携带的关键字是否存在于元数据节点中存储的倒排索引中，若存在，则确定存储目标文件的存储节点，则将存储节点返回至终端设备以使终端设备向存储节点调用目标文件。本方案中，由于元数据节点中存储有根据标签信息构建的倒排索引，可以通过在倒排索引中查找用户指定的关键字的方式确定存储有米目标文件的存储节点，从而向存储节点调用目标文件，实现了基于关键字的文件检索，提升了分布式文件系统的文件检索效率，满足了用户的使用需求。
可选地，上述装置还包括：
提示模块，用于在关键字不存在于元数据节点中存储的倒排索引中时，向终端设备返回对应的提示信息。
可选地，终端设备向存储节点调用目标文件是通过以下方式实现的：
终端设备向存储节点发送目标文件的调用请求；
存储节点获取调用请求中携带的关键字，并基于关键字以及存储节点存储的倒排索引，确定目标文件并向终端设备返回目标文件。
可以理解的是，本实施例中的文件的检索装置的上述各模块具有实现图3中所示的实施例中的文件的检索方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述文件的检索装置的各模块的功能描述具体可以参见图3中所示实施例中的文件的检索方法的对应描述，在此不再赘述。
本申请实施例提供了一种电子设备，包括处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行本申请任一实施方式中所提供的文件的存储方法或者文件的检索方法。
作为一个示例，图7示出了本申请实施例所适用的一种电子设备的结构示意图，如图7所示，该电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选的，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。
其中，处理器2001应用于本申请实施例中，用于实现上述方法实施例所示的方法。收发器2004可以包括接收机和发射机，收发器2004应用于本申请实施例中，用于执行时实现本申请实施例的电子设备与其他设备通信的功能。
处理器2001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现本申请任一实施方式中所提供的文件的存储方法或者文件的检索方法。
本申请实施例提供的电子设备，适用于上述方法任一实施例，在此不再赘述。
本申请实施例提供了一种电子设备，与现有技术相比，通过当接收到待存储文件的存储请求时，基于存储请求中携带的待存储文件的标签信息对待存储文件的各文件类型分别建立倒排索引，将倒排索引以及存储请求发送给元数据节点，元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，存储节点存储待存储文件以及倒排索引。本方案中，根据标签信息构建了文件的倒排索引，并将倒排索引与文件关联存储于分布式文件系统中的数据节点，为在对文件进行检索时通过倒排索引检索文件提供了基础，有利于提升分布式文件系统的文件检索效率，满足了用户的使用需求。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述方法实施例所示的文件的存储方法或者文件的检索方法。
本申请实施例提供的计算机可读存储介质，适用于上述方法任一实施例，在此不再赘述。
本申请实施例提供了一种计算机可读存储介质，与现有技术相比，通过当接收到待存储文件的存储请求时，基于存储请求中携带的待存储文件的标签信息对待存储文件的各文件类型分别建立倒排索引，将倒排索引以及存储请求发送给元数据节点，元数据节点确定存储节点，并将倒排索引以及存储请求转发给存储节点，存储节点存储待存储文件以及倒排索引。本方案中，根据标签信息构建了文件的倒排索引，并将倒排索引与文件关联存储于分布式文件系统中的数据节点，为在对文件进行检索时通过倒排索引检索文件提供了基础，有利于提升分布式文件系统的文件检索效率，满足了用户的使用需求。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种文件的存储方法，其特征在于，应用于服务器，所述方法包括：
当接收到待存储文件的存储请求时，确定所述待存储文件的文件类型；
基于所述存储请求中携带的所述待存储文件的标签信息对各所述文件类型的待存储文件分别建立倒排索引；
将所述倒排索引以及所述存储请求发送给元数据节点，以使所述元数据节点确定存储节点，并将所述倒排索引以及所述存储请求转发给所述存储节点，并以使所述存储节点存储所述待存储文件以及所述倒排索引。
2.一种文件的存储方法，其特征在于，应用于元数据节点，所述方法包括：
接收服务器转发的倒排索引以及待存储文件的存储请求，所述倒排索引是所述服务器在接收到所述存储请求时，基于所述存储请求携带的所述待存储文件的标签信息，针对将各文件类型的待存储文件分别建立的；
确定存储节点，并将所述倒排索引以及所述存储请求转发给所述存储节点，以使所述存储节点存储所述待存储文件以及所述倒排索引。
3.一种文件的检索方法，其特征在于，应用于元数据节点，所述方法包括：
当接收到终端设备发送的对目标文件的检索请求时，获取所述检索请求中携带的关键字；
确定所述关键字是否存在于所述元数据节点中存储的倒排索引中；
若存在，则确定存储所述目标文件的存储节点，并将所述存储节点返回至所述终端设备以使所述终端设备向所述存储节点调用所述目标文件。
4.根据权利要求3所述的方法，其特征在于，还包括：
若所述关键字不存在于所述元数据节点中存储的倒排索引中，则向所述终端设备返回对应的提示信息。
5.根据权利要求3所述的方法，其特征在于，所述终端设备向所述存储节点调用所述目标文件是通过以下方式实现的：
所述终端设备向所述存储节点发送所述目标文件的调用请求；
所述存储节点获取所述调用请求中携带的所述关键字，并基于所述关键字以及所述存储节点存储的倒排索引，确定所述目标文件并向所述终端设备返回所述目标文件。
6.一种文件的存储装置，其特征在于，包括：
文件类型确定模块，用于在接收到待存储文件的存储请求时，确定所述待存储文件的文件类型；
倒排索引建立模块，用于基于所述存储请求中携带的所述待存储文件的标签信息对各所述文件类型的待存储文件分别建立倒排索引；
请求发送模块，用于将所述倒排索引以及所述存储请求发送给元数据节点，以使所述元数据节点确定存储节点，并将所述倒排索引以及所述存储请求转发给所述存储节点，并以使所述存储节点存储所述待存储文件以及所述倒排索引。
7.一种文件的存储装置，其特征在于，包括：
存储请求接收模块，用于在接收服务器转发的倒排索引以及待存储文件的存储请求，所述倒排索引是所述服务器在接收到所述存储请求时，基于所述存储请求携带的所述待存储文件的标签信息，针对将各文件类型的待存储文件分别建立的；
请求转发模块，用于确定存储节点，并将所述倒排索引以及所述存储请求转发给所述存储节点，以使所述存储节点存储所述待存储文件以及所述倒排索引。
8.一种文件的检索装置，其特征在于，包括：
关键字获取模块，用于在接收到终端设备发送的对目标文件的检索请求时，获取所述检索请求中携带的关键字；
倒排索引查询模块，用于确定所述关键字是否存在于所述元数据节点中存储的倒排索引中；
检索信息返回模块，用于在所述关键字存在于所述元数据节点中存储的倒排索引中时，确定存储所述目标文件的存储节点，并将所述存储节点返回至所述终端设备以使所述终端设备向所述存储节点调用所述目标文件。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010780147.2A CN112052219A (zh) | 2020-08-05 | 2020-08-05 | 文件的存储与检索方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010780147.2A CN112052219A (zh) | 2020-08-05 | 2020-08-05 | 文件的存储与检索方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112052219A true CN112052219A (zh) | 2020-12-08 |
Family
ID=73601861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010780147.2A Pending CN112052219A (zh) | 2020-08-05 | 2020-08-05 | 文件的存储与检索方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052219A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516809A (zh) * | 2013-10-22 | 2014-01-15 | 浪潮电子信息产业股份有限公司 | 一种高扩展、高性能的分布式存储体系结构 |
| CN105678189A (zh) * | 2016-01-15 | 2016-06-15 | 上海海事大学 | 加密数据文件存储和检索系统及方法 |
| CN107273519A (zh) * | 2017-06-22 | 2017-10-20 | 睿视智联科技（香港）有限公司 | 数据分析方法、装置、终端及存储介质 |
| CN110399535A (zh) * | 2019-02-26 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 一种数据查询方法、装置及设备 |
| CN111400323A (zh) * | 2020-04-13 | 2020-07-10 | 上海东普信息科技有限公司 | 数据检索方法、系统、设备及存储介质 |
-
2020
- 2020-08-05 CN CN202010780147.2A patent/CN112052219A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516809A (zh) * | 2013-10-22 | 2014-01-15 | 浪潮电子信息产业股份有限公司 | 一种高扩展、高性能的分布式存储体系结构 |
| CN105678189A (zh) * | 2016-01-15 | 2016-06-15 | 上海海事大学 | 加密数据文件存储和检索系统及方法 |
| CN107273519A (zh) * | 2017-06-22 | 2017-10-20 | 睿视智联科技（香港）有限公司 | 数据分析方法、装置、终端及存储介质 |
| CN110399535A (zh) * | 2019-02-26 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 一种数据查询方法、装置及设备 |
| CN111400323A (zh) * | 2020-04-13 | 2020-07-10 | 上海东普信息科技有限公司 | 数据检索方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102542052B (zh) | 优先散列索引 | |
| CN107784044B (zh) | 表数据查询方法及装置 | |
| RU2471227C2 (ru) | Содействуемая обслуживающим узлом и одноранговая синхронизация | |
| CN102725755B (zh) | 文件访问方法及系统 | |
| US20100306234A1 (en) | Cache synchronization | |
| CN104536959A (zh) | 一种Hadoop存取海量小文件的优化方法 | |
| CN106844374B (zh) | 一种存储、检索照片的方法及装置 | |
| CN101271410A (zh) | 一种数据共享的方法、系统和装置 | |
| CN116186133A (zh) | 一种融合正排与倒排索引的电子文档管理方法 | |
| CN105468644A (zh) | 一种用于在数据库中进行查询的方法与设备 | |
| CN116108150A (zh) | 一种智能问答方法、装置、系统及电子设备 | |
| CN112860802B (zh) | 数据库操作语句的处理方法、装置及电子设备 | |
| CN105589910A (zh) | 基于HBase的海量交易数据检索及系统 | |
| CN114297145A (zh) | 一种ipfs节点本地基于关键词搜索文件的方法、介质及系统 | |
| CN102970380A (zh) | 获取云存储文件的媒体数据的方法以及云存储服务器 | |
| CN111125156B (zh) | 数据的查询方法、装置和电子设备 | |
| US11409790B2 (en) | Multi-image information retrieval system | |
| KR20110025647A (ko) | 수집을 이용한 다수의 콘텐츠 제공자에 대한 증분식 크롤링 방법 | |
| CN112052219A (zh) | 文件的存储与检索方法、装置、电子设备及可读存储介质 | |
| CN110837499B (zh) | 数据访问处理方法、装置、电子设备和存储介质 | |
| US20110029587A1 (en) | Updating Retrieval Codes In Response To File Transfers | |
| US10114864B1 (en) | List element query support and processing | |
| CN114490727A (zh) | 目标数据库的高维向量搜索方法及相关设备 | |
| JPH08235040A (ja) | データファイル管理システム | |
| CN112685557A (zh) | 可视化信息资源管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220915 Address after: 12 / F, 15 / F, 99 Yincheng Road, Pudong New Area pilot Free Trade Zone, Shanghai, 200120 Applicant after: Jianxin Financial Science and Technology Co.,Ltd. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201208 |
|
| RJ01 | Rejection of invention patent application after publication |