CN114090512A - 一种关键字的检索方法及装置、电子设备、存储介质 - Google Patents

Abstract

本申请提供一种关键字的检索方法及装置、电子设备、存储介质。关键字的检索方法，包括：获取检索请求；所述检索请求中包括：检索关键字和所述检索关键字对应的分布式文件的信息；根据所述分布式文件的信息确定所述分布式文件对应的多个数据分片的名称；基于各个数据分片的名称依次读取各个数据分片的数据，并判断当前读取的数据中是否包括所述检索关键字；若当前读取的数据中包括所述检索关键字，根据所述检索关键字在所述当前读取的数据中的位置输出所述检索关键字的检索结果。该检索方法用以降低关键字检索带来的集群消耗，提高关键字检索的效率。

Description

一种关键字的检索方法及装置、电子设备、存储介质

技术领域

本申请涉及分布式存储技术领域，具体而言，涉及一种关键字的检索方法及装置、电子设备、存储介质。

背景技术

现有的分布式文件系统，兼容posix(可移植操作系统接口(英语：PortableOperating System Interface，缩写为POSIX))标准，提供用户检索文件中关键字的功能，使用户能够基于关键字搜索文件中是否存在自身感兴趣的信息。

现有技术中，当用户检索文件关键字时，分布式文件系统需要确定文件所散落的数据分片，之后把文件所属的数据分片聚合成完整文件，之后开始做过滤关键字操作。

这种检索方式的问题为：用户检索延时大，影响用户体验；客户端集群网卡宽带波动大，宽带有限，对集群负载也有波动影响。

发明内容

本申请实施例的目的在于提供一种关键字的检索方法及装置、电子设备、存储介质，用以降低关键字检索带来的集群消耗，提高关键字检索的效率。

第一方面，本申请实施例提供一种关键字的检索方法，包括：获取检索请求；所述检索请求中包括：检索关键字和所述检索关键字对应的分布式文件的信息；根据所述分布式文件的信息确定所述分布式文件对应的多个数据分片的名称；基于各个数据分片的名称依次读取各个数据分片的数据，并判断当前读取的数据中是否包括所述检索关键字；若当前读取的数据中包括所述检索关键字，根据所述检索关键字在所述当前读取的数据中的位置输出所述检索关键字的检索结果。

在本申请实施例中，与现有技术相比，根据分布式文件的信息确定分布式文件对应的多个数据分片的名称，然后基于多个数据分片的名称依次读取各个数据分片的数据，并进行检索关键字的检索；在整个检索过程中，不需要将数据分片聚合成完整文件，减少因读取所有文件分片并聚合所造成的集群消耗，降低关键字检索带来的集群消耗；减少大文件检索关键字的时间，提高关键字检索的效率。

作为一种可能的实现方式，所述分布式文件的信息包括：所述分布式文件的名称；所述根据所述分布式文件的信息确定所述分布式文件对应的多个数据分片的名称，包括：根据所述分布式文件的名称获取所述分布式文件的属性信息；获取所述多个数据分片分别对应的切片号；根据所述属性信息和所述多个数据分片分别对应的切片号确定所述分布式文件对应的多个数据分片的名称。

在本申请实施例中，通过分布式文件的名称，获取分布式文件的属性信息；并获取多个数据分别对应的切片号；进而，根据属性信息和各个切片号实现分布式文件对应的多个数据分片的名称的有效且准确的确定。

作为一种可能的实现方式，所述获取所述多个数据分片分别对应的切片号，包括：获取所述分布式文件的分片规则；根据所述分片规则确定所述多个数据分片分别对应的切片号。

在本申请实施例中，通过获取分布式文件的分片规则，然后根据分片规则实现多个数据分片分别对应的切片号的有效确定。

作为一种可能的实现方式，所述基于各个数据分片的名称依次读取各个数据分片的数据，包括：将所述各个数据分片的名称组成分片名称集合；每次从所述分片名称集合中取出一个分片名称，读取该分片名称对应的数据分片的数据。

在本申请实施例中，通过将各个数据分片的名称组成分片名称集合，可以按照该分片集合，依次读取各个分片名称对应的数据分片的数据，提供关键字检索的效率。

作为一种可能的实现方式，所述读取该分片名称对应的数据分片的数据，包括：基于cursh算法确定该分片名称对应的数据分片所属的对象存储设备；读取所述对象存储设备中存储的数据。

在本申请实施例中，数据分片对应有对象存储设备，通过cursh算法，可确定分片名称对应的数据分片所属的对象存储设备，进而可以实现对象存储设备中存储的数据的有效读取，以实现关键字的高效检索。

作为一种可能的实现方式，所述根据所述检索关键字在所述当前读取的数据中的位置输出所述检索关键字的检索结果，包括：确定所述检索关键字在所述当前读取的数据中的行信息；根据所述行信息生成所述检索关键字的检索结果并输出。

在本申请实施例中，检索关键字的位置，可以通过检索关键字在当前读取的数据中的行信息表征，进而，基于行信息实现检索结果的有效生成以及输出。

第二方面，本申请实施例提供一种关键字的检索装置，包括：用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的关键字的检索方法的各个功能模块。

第三方面，本申请实施例提供一种电子设备，包括：处理器；以及与所述处理器通信连接的存储器和显示器；所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行第一方面以及第一方面的任意一种可能的实现方式中所述的关键字的检索方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行如第一方面以及第一方面的任意一种可能的实现方式中所述的关键字的检索方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的关键字的检索方法的流程图；

图2为本申请实施例提供的关键字的检索装置的结构示意图；

图3为本申请实施例提供的电子设备的结构示意图。

图标：200-关键字的检索装置；210-获取模块；220-处理模块；300-电子设备；310-处理器；320-存储器；330-显示器。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

本申请实施例提供的技术方案可以应用于分布式文件系统中的关键字的检索。在分布式文件系统中，包括：多个分布式节点，每个分布式节点都可以独立地管理对应的文件(用户文件)，包括文件的读取、文件的写入、文件关键字的检索等。

对于关键字检索来说，可以理解为从文件系统中检索特定的关键字，并输出关键字所在行的信息。

基于上述的应用场景，本申请实施例提供的技术方案的硬件环境可以是分布式文件系统中的任意一个分布式节点。

基于上述应用场景的介绍，接下来请参照图1，为本申请实施例提供的关键字的检索方法的流程图，该检索方法包括：

步骤110：获取检索请求。检索请求中包括：检索关键字和检索关键字对应的分布式文件的信息。

步骤120：根据分布式文件的信息确定分布式文件对应的多个数据分片的名称。

步骤130：基于各个数据分片的名称依次读取各个数据分片的数据，并判断当前读取的数据中是否包括检索关键字。

步骤140：若当前读取的数据中包括检索关键字，根据检索关键字在当前读取的数据中的位置输出检索关键字的检索结果。

在本申请实施例中，与现有技术相比，根据分布式文件的信息确定分布式文件对应的多个数据分片的名称，然后基于多个数据分片的名称依次读取各个数据分片的数据，并进行检索关键字的检索；在整个检索过程中，不需要将数据分片聚合成完整文件，减少因读取所有文件分片并聚合所造成的集群消耗，降低关键字检索带来的集群消耗；减少大文件检索关键字的时间，提高关键字检索的效率。

接下来对该关键字的检索方法的详细实施方式进行介绍。

在步骤110中，获取检索请求。该检索请求可以是其他节点发起的检索请求，也可以是用户发起的检索请求，还可以是在数据处理的过程中，由于数据的需求，自动发起的检索请求。

对应的，步骤110中，可以获取其他节点发送的检索请求；或者，获取用户输入的检索请求；再或者，基于数据的处理需求生成检索请求。

当然，步骤110中的检索请求的发起还可以是其他的情况，对应的获取方式也可以是其他的实施方式，在本申请实施例中不作限定。

在检索请求中，包括检索关键字和检索关键字对应的分布式文件的信息。其中，检索关键字可以是一个字符，也可以是多个字符，在本申请实施例中不作限定。

检索关键字对应的分布式文件的信息，可以是分布式文件的名称，通过分布式文件的名称，可以对分布式文件的位置，或者其他信息进行确定。

在步骤120中，根据分布式文件的信息确定分布式文件对应的多个数据分片的名称。

结合前述的分布式文件的信息的实施方式，作为一种可选的实施方式，步骤120包括：根据分布式文件的名称获取分布式文件的属性信息；获取多个数据分片分别对应的切片号；根据属性信息和多个数据分片分别对应的切片号确定分布式文件对应的多个数据分片的名称。

在这种实施方式中，先根据分布式文件的名称获取分布式文件的属性信息，属性信息可以包括：文件的扩展名(分布式文件系统中通常为ino)和size(可以理解为文件的大小)。

然后再获取多个数据分片分别对应的切片号。作为一种可选的实施方式，切片号的获取过程包括：获取分布式文件的分片规则；根据分片规则确定多个数据分片分别对应的切片号。

在这种实施方式中，分布式文件的分片规则存储在分布式文件系统中，可以直接根据分布式文件的名称找到对应的分片规则。在获取到分片规则之后，按照该分片规则中所限定的分片方式，便可以确定该分布式文件能被划分为多少个数据分片，以及每个划分的切片的切片号。

在本申请实施例中，通过获取分布式文件的分片规则，然后根据分片规则实现多个数据分片分别对应的切片号的有效确定。

作为另一种可选的实施方式，多个数据分别对应的切片号，也可以直接与分布式文件的信息对应存储在分布式文件系统中。在这种实施方式下，基于分布式文件的信息和预先存储的切片号信息便可以直接从分布式文件系统中获取到分布式文件对应的多个数据分片的切片号。

在获取到分布式文件的属性信息，以及获取到多个数据分片对应的切片号之后，便可以根据属性信息和多个数据分片分别对应的切片号确定分布式文件对应的多个数据分片的名称。

作为一种可选的实施方式，多个数据分片的名称的确定过程包括：按照属性信息(ino和size)和多个数据分片分别对应的切片号，查找分布式文件对应的各个数据分片的名称，类似于，基于上级文件夹的信息，查找下级文件列表，此处的属性信息相当于上级文件夹的信息，下级文件列表相当于各个数据分片。相当于，将分布式文件展开之后，便可以获得其下一级的各个数据分片的名称。

需要注意的是，在这个过程中，仅确定分布式文件的多个数据分片的名称，并不会对多个数据分片的内容进行确定，因此，效率较高。

在本申请实施例中，通过分布式文件的名称，获取分布式文件的属性信息；并获取多个数据分别对应的切片号；进而，根据属性信息和各个切片号实现分布式文件对应的多个数据分片的名称的有效且准确的确定。

在步骤120中确定分布式文件对应的多个数据分片的名称之后，在步骤130中，基于各个数据分片的名称依次读取各个数据分片的数据，并判断当前读取的数据中是否包括检索关键字。

在步骤130中，相当于将各个数据分片的名称作为数据分片的内容的查找标识，然后依次利用各个查找标识进行关键字的检索。

作为一种可选的实施方式，步骤130包括：将各个数据分片的名称组成分片名称集合；每次从分片名称集合中取出一个分片名称，读取该分片名称对应的数据分片的数据。

在这种实施方式中，先将各个数据分片的名称组成一个分片名称集合，然后每次从中取出一个分片名称，并读取每次取出的分片名称对应的数据分片的数据中是否有检索关键字，如果有，则说明检索到该检索关键字；如果没有，则继续取出下一个分片名称，并按照相同的方式进行检索。

其中，作为一种可选的实施方式，读取该分片名称对应的数据分片的数据，包括：基于cursh算法确定该分片名称对应的数据分片所属的对象存储设备；读取对象存储设备中存储的数据。

可以理解，分布式文件系统中的各个数据分片实际上存储在各个对象存储设备(可以理解为一种存储介质)中，基于各个数据分片的分片名称，可确定出各个数据分片所对应的对象存储设备，进而可以读取对象存储设备中存储的内容，以实现各个数据分片的数据的读取。

其中，cursh算法是分布式文件系统中一种常用的算法，在本申请实施例中不作详细介绍，以及，基于cursh算法和分片名称如何确定数据分片所属的对象存储设备，也属于本领域成熟的技术，在此不作详细介绍。

在确定分片名称对应的数据分片所属的对象存储设备之后，直接读取对应的对象存储设备中存储的数据。

在本申请实施例中，数据分片对应有对象存储设备，通过cursh算法，可确定分片名称对应的数据分片所属的对象存储设备，进而可以实现对象存储设备中存储的数据的有效读取，以实现关键字的高效检索。

在步骤130中除了对各个数据分片的数据进行读取，还需要将每次读取的数据与检索关键字进行匹配，如果匹配到与检索关键字对应的内容，则确定当前读取的数据中包括检索关键字。如果没有匹配到与检索关键字对应的内容，则确定当前读取的数据中不包括检索关键字。

进一步的，在步骤140中，若当前的读取的数据中包括检索关键字，则根据检索关键字在当前读取的数据中的位置输出检索关键字的检索结果。

作为一种可选的实施方式，步骤140包括：确定检索关键字在当前读取的数据中的行信息；根据行信息生成检索关键字的检索结果并输出。

在这种实施方式中，先确定检索关键字在当前读取的数据中的行信息，该行信息可用于对检索关键字的位置进行确定。基于该行信息，可以将其直接作为检索结果输出；也可以将行信息、数据分片信息、对象存储设备信息等均作为检索结果输出，在本申请实施例中不作限定。

在本申请实施例中，检索关键字的位置，可以通过检索关键字在当前读取的数据中的行信息表示，进而，基于行信息实现检索结果的有效生成以及输出。

在步骤130中，若当前读取的数据中不包括检索关键字，则继续读取下一个数据，并进行对应的检索，直至检索到检索关键字。

如果在所有的数据分片均检索完成之后，仍然没有检索到检索关键字，则可输出用于指示检索失败的提示信息，以便于用户或者其他节点基于提示信息作后续的处理。

在步骤140中输出检索结果之后，其他节点或者用户可能会对检索结果进行应用，例如：基于关键字的检索信息查找相关的数据等。在用户或者其他节点对检索结果进行应用时，如果应用失败，例如：根据检索关键字的行信息并未查找到检索关键字，则代表应用失败，此时，用户或者其他节点可以对该检索关键字的检索信息进行更正，以便于后续的应用者能够成功的应用该检索信息。

基于同一发明构思，请参照图2，本申请实施例中还提供一种关键字的检索装置200，包括：获取模块210和处理模块220。

获取模块210用于：获取检索请求；所述检索请求中包括：检索关键字和所述检索关键字对应的分布式文件的信息。处理模块220用于：根据所述分布式文件的信息确定所述分布式文件对应的多个数据分片的名称；基于各个数据分片的名称依次读取各个数据分片的数据，并判断当前读取的数据中是否包括所述检索关键字；若当前读取的数据中包括所述检索关键字，根据所述检索关键字在所述当前读取的数据中的位置输出所述检索关键字的检索结果。

在本申请实施例中，处理模块220具体用于：根据所述分布式文件的名称获取所述分布式文件的属性信息；获取所述多个数据分片分别对应的切片号；根据所述属性信息和所述多个数据分片分别对应的切片号确定所述分布式文件对应的多个数据分片的名称。

在本申请实施例中，获取模块210具体用于：获取所述分布式文件的分片规则；根据所述分片规则确定所述多个数据分片分别对应的切片号。

在本申请实施例中，处理模块220具体用于：将所述各个数据分片的名称组成分片名称集合；每次从所述分片名称集合中取出一个分片名称，读取该分片名称对应的数据分片的数据。

在本申请实施例中，处理模块220具体用于：基于cursh算法确定该分片名称对应的数据分片所属的对象存储设备；读取所述对象存储设备中存储的数据。

在本申请实施例中，处理模块220具体用于：确定所述检索关键字在所述当前读取的数据中的行信息；根据所述行信息生成所述检索关键字的检索结果并输出。

关键字的检索装置200与前述的关键字的检索方法对应，各个功能模块与关键字的检索方法的各个步骤也对应，因此，各个功能模块的实施方式参照前述实施例中检索方法的实施方式，在此不再重复介绍。

基于同一发明构思，请参照图3，本申请实施例提供一种电子设备300，该电子设备300可作为前述的关键字的检索方法的硬件运行环境。

电子设备300包括：处理器310、存储器320和显示器330。

处理器310、存储器320和显示器330可以设置在设备本体内，设备本体，在不同的应用场景中，可以对应有不同的实施方式，比如：不同的形状、不同的大小、不同的材质等，在本申请实施例中不作限定。

处理器310、存储器320和显示器330之间直接或间接地电连接，以实现数据的传输或交互。例如，可以通过一条或多条通讯总线或信号总线实现电连接。前述的关键字的检索方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器320中的软件功能模块，例如关键字的检索装置200包括的软件功能模块或计算机程序。

处理器310可以是一种集成电路芯片，具有信号处理能力。处理器310可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器320，可以存储各种软件程序以及模块，如本申请实施例提供的关键字的检索方法及装置对应的程序指令/模块。处理器310通过运行存储在存储器320中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的方法。

存储器320，可以包括但不限于RAM(Random Access Memory，随机存取存储器)，ROM(Read Only Memory，只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，EPROM(Erasable Programmable Read-Only Memory，可擦除只读存储器)，EEPROM(Electric Erasable Programmable Read-Only Memory，电可擦除只读存储器)等。

显示器330，可以用于展示处理器310所确定的检索结果。还可以作为人机交互的介质，例如：通过显示器330展示各个可供选择的指令(包括页面导航信息)，用户基于展示的指令，进行选择以及下发指令等。

在一些实施例中，显示器330可以是触摸式显示器，也可以是非触摸式显示器，在此不作限定。

在一些实施例中，电子设备300还可以包括输入输出模块。输入输出模块，可理解为用户实现人机交互的工具。通过输入输出模块，用户可以对电子设备进行操作，以下发指令、上传数据、下载数据等。

在一些实施例中，输入输出模块可以是：鼠标、键盘等，在此不作限定。

需要说明的是，图3中示出的电子设备300的结构并不构成对该电子设备300的限定，实际的电子设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

此外，电子设备300的技术效果可以参考前述页面跳转方法的技术效果，此处不再赘述。

基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行前述实施例中所述的关键字的检索方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种关键字的检索方法，其特征在于，所述检索方法包括：

获取检索请求；所述检索请求中包括：检索关键字和所述检索关键字对应的分布式文件的信息；

根据所述分布式文件的信息确定所述分布式文件对应的多个数据分片的名称；

基于各个数据分片的名称依次读取各个数据分片的数据，并判断当前读取的数据中是否包括所述检索关键字；

若当前读取的数据中包括所述检索关键字，根据所述检索关键字在所述当前读取的数据中的位置输出所述检索关键字的检索结果。

2.根据权利要求1所述的检索方法，其特征在于，所述分布式文件的信息包括：所述分布式文件的名称；所述根据所述分布式文件的信息确定所述分布式文件对应的多个数据分片的名称，包括：

根据所述分布式文件的名称获取所述分布式文件的属性信息；

获取所述多个数据分片分别对应的切片号；

根据所述属性信息和所述多个数据分片分别对应的切片号确定所述分布式文件对应的多个数据分片的名称。

3.根据权利要求2所述的检索方法，其特征在于，所述获取所述多个数据分片分别对应的切片号，包括：

获取所述分布式文件的分片规则；

根据所述分片规则确定所述多个数据分片分别对应的切片号。

4.根据权利要求1所述的检索方法，其特征在于，所述基于各个数据分片的名称依次读取各个数据分片的数据，包括：

将所述各个数据分片的名称组成分片名称集合；

每次从所述分片名称集合中取出一个分片名称，读取该分片名称对应的数据分片的数据。

5.根据权利要求4所述的检索方法，其特征在于，所述读取该分片名称对应的数据分片的数据，包括：

基于cursh算法确定该分片名称对应的数据分片所属的对象存储设备；

读取所述对象存储设备中存储的数据。

6.根据权利要求1所述的检索方法，其特征在于，所述根据所述检索关键字在所述当前读取的数据中的位置输出所述检索关键字的检索结果，包括：

确定所述检索关键字在所述当前读取的数据中的行信息；

根据所述行信息生成所述检索关键字的检索结果并输出。

7.一种关键字的检索装置，其特征在于，所述检索装置包括：

获取模块，用于获取检索请求；所述检索请求中包括：检索关键字和所述检索关键字对应的分布式文件的信息；

处理模块，用于：

根据所述分布式文件的信息确定所述分布式文件对应的多个数据分片的名称；

基于各个数据分片的名称依次读取各个数据分片的数据，并判断当前读取的数据中是否包括所述检索关键字；

若当前读取的数据中包括所述检索关键字，根据所述检索关键字在所述当前读取的数据中的位置输出所述检索关键字的检索结果。

8.根据权利要求7所述的检索装置，其特征在于，所述分布式文件的信息包括：所述分布式文件的名称；所述处理模块具体用于：

根据所述分布式文件的名称获取所述分布式文件的属性信息；获取所述多个数据分片分别对应的切片号；根据所述属性信息和所述多个数据分片分别对应的切片号确定所述分布式文件对应的多个数据分片的名称。

9.一种电子设备，其特征在于，包括：

处理器；以及与所述处理器通信连接的存储器和显示器；

所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如权利要求1-6任一项所述的关键字的检索方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1-6任一项所述的关键字的检索方法。

Images