CN107436923A - 一种在大数据集群中查询索引的方法和装置 - Google Patents

一种在大数据集群中查询索引的方法和装置 Download PDF

Info

Publication number
CN107436923A
CN107436923A CN201710549552.1A CN201710549552A CN107436923A CN 107436923 A CN107436923 A CN 107436923A CN 201710549552 A CN201710549552 A CN 201710549552A CN 107436923 A CN107436923 A CN 107436923A
Authority
CN
China
Prior art keywords
index
task
search index
physical node
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710549552.1A
Other languages
English (en)
Inventor
李远策
李振炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201710549552.1A priority Critical patent/CN107436923A/zh
Publication of CN107436923A publication Critical patent/CN107436923A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种在大数据集群中查询索引的方法和装置，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务。所述方法包括：接收查询索引任务；确定该查询索引任务对应的索引文件所在的物理节点；将所述查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。该技术方案的优点在于，不需要对提交的大数据计算任务进行较多改进，也不再需要执行大数据计算任务的节点来执行索引查询任务，节约了计算资源；同时只通过网络传输查询索引任务和查询结果，减小了网络开销；由统一的索引服务执行索引查询任务，效率更高。

Description

一种在大数据集群中查询索引的方法和装置
技术领域
本发明涉及大数据技术领域，具体涉及一种在大数据集群中查询索引的方法和装置。
背景技术
大数据集群是在分布式集群中部署大数据计算框架形成的。为了提高数据检索的效率，往往会在集群的多个节点中存储索引文件。现有技术中，当提交的大数据计算任务需要用到索引文件时，需要由执行大数据计算任务的节点从存储索引文件的节点中获取索引文件。然而，执行大数据计算任务的节点与存储索引文件的节点往往并不是同一个物理节点，这就使得在获取索引文件时需要通过网络资源传输索引文件，其流程可以参考图1。而在大数据集群环境下，网络资源十分珍贵，在执行大数据计算任务的节点繁多的情况下，网络开销很大，并且查询效率不高。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的在大数据集群中查询索引的方法和装置。
依据本发明的一个方面，提供了一种在大数据集群中查询索引的方法，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务，该方法包括：
接收查询索引任务；
确定该查询索引任务对应的索引文件所在的物理节点；
将所述查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。
可选地，各索引文件在大数据集群中的第一预设数量的物理节点中存储，每个物理节点中存储有该索引文件的一份副本。
可选地，所述大数据集群中部署有分布式文件系统，在所述分布式文件系统的名称节点中，对应记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址；
所述确定该查询索引任务对应的索引文件所在的物理节点包括：向所述名称节点发送包含索引文件的URL地址的查询请求，接收所述名称节点返回的存储该索引文件的各副本的各物理节点。
可选地，所述将所述查询索引任务转发给该物理节点上的查询索引服务包括：当所述名称节点返回的物理节点有多个时，从接收到的一个或多个物理节点中，随机选择第二预设数量的物理节点，向选择的物理节点上的查询索引服务转发查询索引任务；其中，第二预设数量不大于第一预设数量。
可选地，该方法还包括：
当第二预设数量大于一时，将首个接收到的查询结果作为最终查询结果。
可选地，所述查询索引任务是提交到大数据集群中的任务的子任务，所述查询索引任务中包括索引文件的URL地址。
依据本发明的另一方面，提供了一种在大数据集群中查询索引的装置，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务，该装置包括：
任务接收单元，适于接收查询索引任务；
索引文件定位单元，适于确定该查询索引任务对应的索引文件所在的物理节点；
查询单元，适于将所述查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。
可选地，各索引文件在大数据集群中的第一预设数量的物理节点中存储，每个物理节点中存储有该索引文件的一份副本。
可选地，所述大数据集群中部署有分布式文件系统，在所述分布式文件系统的名称节点中，对应记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址；
所述索引文件定位单元，适于向所述名称节点发送包含索引文件的URL地址的查询请求，接收所述名称节点返回的存储该索引文件的各副本的各物理节点。
可选地，所述索引文件定位单元，适于当所述名称节点返回的物理节点有多个时，从接收到的一个或多个物理节点中，随机选择第二预设数量的物理节点，向选择的物理节点上的查询索引服务转发查询索引任务；其中，第二预设数量不大于第一预设数量。
可选地，所述查询单元，适于当第二预设数量大于一时，将首个接收到的查询结果作为最终查询结果。
可选地，其中，所述查询索引任务是提交到大数据集群中的任务的子任务，所述查询索引任务中包括索引文件的URL地址。
由上述可知，本发明的技术方案，采用在存储索引文件的物理节点上配置查询索引服务的方式，从而在接收到查询索引任务时，只需要知道在哪些物理节点上存储有所需的索引文件，就可以将查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。该技术方案的优点在于，不需要对提交的大数据计算任务进行较多改进，也不再需要执行大数据计算任务的节点来执行索引查询任务，节约了计算资源；同时只通过网络传输查询索引任务和查询结果，减小了网络开销；由统一的索引服务执行索引查询任务，效率更高。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了现有技术下在大数据集群中查询索引的流程示意图；
图2示出了根据本发明一个实施例的一种在大数据集群中查询索引的方法的流程示意图；
图3示出了根据本发明一个实施例的一种在大数据集群中查询索引的装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
针对现有技术中存在的问题，本申请的发明人从系统架构的角度进行了再设计，将原本由执行大数据计算任务(也就是提交到大数据集群中的任务)的节点完成的索引查询任务改为由统一部署的查询索引服务来完成，并考虑到索引文件的存储方式，将查询索引服务配置在存储索引文件的物理节点上。
图2示出了根据本发明一个实施例的一种在大数据集群中查询索引的方法的流程示意图，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务，如图1所示，该方法包括：
步骤S210，接收查询索引任务。
其中，查询索引任务是提交到大数据集群中的任务的子任务，查询索引任务中可以包括索引文件的URL地址。
步骤S220，确定该查询索引任务对应的索引文件所在的物理节点。
步骤S230，将查询索引任务转发给该物理节点上的查询索引服务，接收查询索引服务完成查询索引任务并返回的查询结果。
可见，图2所示的方法，采用在存储索引文件的物理节点上配置查询索引服务的方式，从而在接收到查询索引任务时，只需要知道在哪些物理节点上存储有所需的索引文件，就可以将查询索引任务转发给该物理节点上的查询索引服务，接收查询索引服务完成查询索引任务并返回的查询结果。该技术方案的优点在于，不需要对提交的大数据计算任务进行较多改进，也不再需要执行大数据计算任务的节点来执行索引查询任务，节约了计算资源；同时只通过网络传输查询索引任务和查询结果，减小了网络开销；由统一的索引服务执行索引查询任务，效率更高。
在本发明的一个实施例中，上述方法中，各索引文件在大数据集群中的第一预设数量的物理节点中存储，每个物理节点中存储有该索引文件的一份副本。
索引文件可以保存在大数据集群中的一个或多个物理节点上。具体地，可以采用HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)来进行存储，在三个物理节点中分别存储该索引文件的一份副本。也就是在本发明的一个实施例中，上述方法中，大数据集群中部署有分布式文件系统，在分布式文件系统的名称节点中，对应记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址；确定该查询索引任务对应的索引文件所在的物理节点包括：向名称节点发送包含索引文件的URL地址的查询请求，接收名称节点返回的存储该索引文件的各副本的各物理节点。
以HDFS为例，数据(例如索引文件)存储在Data Node(数据节点)中，并在NameNode(名称节点)中进行管理。由于查询索引任务需要依赖于索引文件(例如lucene文件)，因此首先需要知道索引文件的存储位置。前面的实施例中指出，查询索引任务中可以包括索引文件的URL地址，因此可以利用索引文件的URL地址确定索引文件的存储位置。而在Name Node中就记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址，所以向Name Node发送包含索引文件的URL地址的查询请求，就可以获知存储该索引文件的各副本的各物理节点了。
由于存储索引文件的物理节点可能有多个，那么如何确定使用哪个物理节点也是需要考虑的问题。因此在本发明的一个实施例中，上述方法中，将查询索引任务转发给该物理节点上的查询索引服务包括：当名称节点返回的物理节点有多个时，从接收到的一个或多个物理节点中，随机选择第二预设数量的物理节点，向选择的物理节点上的查询索引服务转发查询索引任务；其中，第二预设数量不大于第一预设数量。
例如，当返回了三个物理节点时，从中选择两个物理节点，向这两个物理节点上部署的查询索引服务转发查询索引任务。那么显然，每个查询索引服务之间是相对独立的，每个查询索引服务都会返回一个查询结果——当然，由于各物理节点上存储的索引文件的副本应该是相同的，所以，返回的查询结果也应该是相同的，那么我们实际上只需要第一个接收到的查询结果。因此在本发明的一个实施例中，上述方法中，当第二预设数量大于一时，将首个接收到的查询结果作为最终查询结果。
这样，也不需要考虑部署了查询索引服务的物理节点的资源利用状态，哪个节点更空闲，就会先完成查询，返回一个查询结果，只需要利用这个查询结果即可。
图3示出了根据本发明一个实施例的一种在大数据集群中查询索引的装置的结构示意图，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务，如图3所示，在大数据集群中查询索引的装置300包括：
任务接收单元310，适于接收查询索引任务。
其中，查询索引任务是提交到大数据集群中的任务的子任务，查询索引任务中可以包括索引文件的URL地址。
索引文件定位单元320，适于确定该查询索引任务对应的索引文件所在的物理节点。
查询单元330，适于将查询索引任务转发给该物理节点上的查询索引服务，接收查询索引服务完成查询索引任务并返回的查询结果。
可见，图3所示的装置，采用在存储索引文件的物理节点上配置查询索引服务的方式，从而在接收到查询索引任务时，只需要知道在哪些物理节点上存储有所需的索引文件，就可以将查询索引任务转发给该物理节点上的查询索引服务，接收查询索引服务完成查询索引任务并返回的查询结果。该技术方案的优点在于，不需要对提交的大数据计算任务进行较多改进，也不再需要执行大数据计算任务的节点来执行索引查询任务，节约了计算资源；同时只通过网络传输查询索引任务和查询结果，减小了网络开销；由统一的索引服务执行索引查询任务，效率更高。
在本发明的一个实施例中，上述装置中，各索引文件在大数据集群中的第一预设数量的物理节点中存储，每个物理节点中存储有该索引文件的一份副本。
索引文件可以保存在大数据集群中的一个或多个物理节点上。具体地，可以采用HDFS来进行存储，在三个物理节点中分别存储该索引文件的一份副本。也就是在本发明的一个实施例中，上述装置中，大数据集群中部署有分布式文件系统，在分布式文件系统的名称节点中，对应记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址；索引文件定位单元320，适于向名称节点发送包含索引文件的URL地址的查询请求，接收名称节点返回的存储该索引文件的各副本的各物理节点。
以HDFS为例，数据(例如索引文件)存储在Data Node(数据节点)中，并在NameNode(名称节点)中进行管理。由于查询索引任务需要依赖于索引文件(例如lucene文件)，因此首先需要知道索引文件的存储位置。前面的实施例中指出，查询索引任务中可以包括索引文件的URL地址，因此可以利用索引文件的URL地址确定索引文件的存储位置。而在Name Node中就记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址，所以向Name Node发送包含索引文件的URL地址的查询请求，就可以获知存储该索引文件的各副本的各物理节点了。
由于存储索引文件的物理节点可能有多个，那么如何确定使用哪个物理节点也是需要考虑的问题。因此在本发明的一个实施例中，上述装置中，索引文件定位单元320，适于当名称节点返回的物理节点有多个时，从接收到的一个或多个物理节点中，随机选择第二预设数量的物理节点，向选择的物理节点上的查询索引服务转发查询索引任务；其中，第二预设数量不大于第一预设数量。
例如，当返回了三个物理节点时，从中选择两个物理节点，向这两个物理节点上部署的查询索引服务转发查询索引任务。那么显然，每个查询索引服务之间是相对独立的，每个查询索引服务都会返回一个查询结果——当然，由于各物理节点上存储的索引文件的副本应该是相同的，所以，返回的查询结果也应该是相同的，那么我们实际上只需要第一个接收到的查询结果。因此在本发明的一个实施例中，上述装置中，查询单元330，适于当第二预设数量大于一时，将首个接收到的查询结果作为最终查询结果。
这样，也不需要考虑部署了查询索引服务的物理节点的资源利用状态，哪个节点更空闲，就会先完成查询，返回一个查询结果，只需要利用这个查询结果即可。
综上所述，本发明的技术方案，采用在存储索引文件的物理节点上配置查询索引服务的方式，从而在接收到查询索引任务时，只需要知道在哪些物理节点上存储有所需的索引文件，就可以将查询索引任务转发给该物理节点上的查询索引服务，接收查询索引服务完成查询索引任务并返回的查询结果。该技术方案的优点在于，不需要对提交的大数据计算任务进行较多改进，也不再需要执行大数据计算任务的节点来执行索引查询任务，节约了计算资源；同时只通过网络传输查询索引任务和查询结果，减小了网络开销；由统一的索引服务执行索引查询任务，效率更高。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的在大数据集群中查询索引的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明的实施例公开了A1、一种在大数据集群中查询索引的方法，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务，该方法包括：
接收查询索引任务；
确定该查询索引任务对应的索引文件所在的物理节点；
将所述查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。
A2、如A1所述的方法，其中，
各索引文件在大数据集群中的第一预设数量的物理节点中存储，每个物理节点中存储有该索引文件的一份副本。
A3、如A2所述的方法，其中，
所述大数据集群中部署有分布式文件系统，在所述分布式文件系统的名称节点中，对应记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址；
所述确定该查询索引任务对应的索引文件所在的物理节点包括：向所述名称节点发送包含索引文件的URL地址的查询请求，接收所述名称节点返回的存储该索引文件的各副本的各物理节点。
A4、如A3所述的方法，其中，所述将所述查询索引任务转发给该物理节点上的查询索引服务包括：当所述名称节点返回的物理节点有多个时，从接收到的一个或多个物理节点中，随机选择第二预设数量的物理节点，向选择的物理节点上的查询索引服务转发查询索引任务；其中，第二预设数量不大于第一预设数量。
A5、如A4所述的方法，其中，该方法还包括：
当第二预设数量大于一时，将首个接收到的查询结果作为最终查询结果。
A6、如A1-A5中任一项所述的方法，其中，
所述查询索引任务是提交到大数据集群中的任务的子任务，所述查询索引任务中包括索引文件的URL地址。
本发明的实施例还公开了B7、一种在大数据集群中查询索引的装置，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务，该装置包括：
任务接收单元，适于接收查询索引任务；
索引文件定位单元，适于确定该查询索引任务对应的索引文件所在的物理节点；
查询单元，适于将所述查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。
B8、如B7所述的装置，其中，各索引文件在大数据集群中的第一预设数量的物理节点中存储，每个物理节点中存储有该索引文件的一份副本。
B9、如B8所述的装置，其中，所述大数据集群中部署有分布式文件系统，在所述分布式文件系统的名称节点中，对应记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址；
所述索引文件定位单元，适于向所述名称节点发送包含索引文件的URL地址的查询请求，接收所述名称节点返回的存储该索引文件的各副本的各物理节点。
B10、如B9所述的装置，其中，所述索引文件定位单元，适于当所述名称节点返回的物理节点有多个时，从接收到的一个或多个物理节点中，随机选择第二预设数量的物理节点，向选择的物理节点上的查询索引服务转发查询索引任务；其中，第二预设数量不大于第一预设数量。
B11、如B10所述的装置，其中，
所述查询单元，适于当第二预设数量大于一时，将首个接收到的查询结果作为最终查询结果。
B12、如B7-B11中任一项所述的装置，其中，所述查询索引任务是提交到大数据集群中的任务的子任务，所述查询索引任务中包括索引文件的URL地址。

Claims (10)

1.一种在大数据集群中查询索引的方法，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务，该方法包括：
接收查询索引任务；
确定该查询索引任务对应的索引文件所在的物理节点；
将所述查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。
2.如权利要求1所述的方法，其中，
各索引文件在大数据集群中的第一预设数量的物理节点中存储，每个物理节点中存储有该索引文件的一份副本。
3.如权利要求2所述的方法，其中，
所述大数据集群中部署有分布式文件系统，在所述分布式文件系统的名称节点中，对应记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址；
所述确定该查询索引任务对应的索引文件所在的物理节点包括：向所述名称节点发送包含索引文件的URL地址的查询请求，接收所述名称节点返回的存储该索引文件的各副本的各物理节点。
4.如权利要求3所述的方法，其中，所述将所述查询索引任务转发给该物理节点上的查询索引服务包括：当所述名称节点返回的物理节点有多个时，从接收到的一个或多个物理节点中，随机选择第二预设数量的物理节点，向选择的物理节点上的查询索引服务转发查询索引任务；其中，第二预设数量不大于第一预设数量。
5.如权利要求4所述的方法，其中，该方法还包括：
当第二预设数量大于一时，将首个接收到的查询结果作为最终查询结果。
6.如权利要求1-5中任一项所述的方法，其中，
所述查询索引任务是提交到大数据集群中的任务的子任务，所述查询索引任务中包括索引文件的URL地址。
7.一种在大数据集群中查询索引的装置，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务，该装置包括：
任务接收单元，适于接收查询索引任务；
索引文件定位单元，适于确定该查询索引任务对应的索引文件所在的物理节点；
查询单元，适于将所述查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。
8.如权利要求7所述的装置，其中，各索引文件在大数据集群中的第一预设数量的物理节点中存储，每个物理节点中存储有该索引文件的一份副本。
9.如权利要求8所述的装置，其中，所述大数据集群中部署有分布式文件系统，在所述分布式文件系统的名称节点中，对应记录了各索引文件的各副本所在的物理节点与该索引文件的URL地址；
所述索引文件定位单元，适于向所述名称节点发送包含索引文件的URL地址的查询请求，接收所述名称节点返回的存储该索引文件的各副本的各物理节点。
10.如权利要求9所述的装置，其中，所述索引文件定位单元，适于当所述名称节点返回的物理节点有多个时，从接收到的一个或多个物理节点中，随机选择第二预设数量的物理节点，向选择的物理节点上的查询索引服务转发查询索引任务；其中，第二预设数量不大于第一预设数量。
CN201710549552.1A 2017-07-07 2017-07-07 一种在大数据集群中查询索引的方法和装置 Pending CN107436923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710549552.1A CN107436923A (zh) 2017-07-07 2017-07-07 一种在大数据集群中查询索引的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710549552.1A CN107436923A (zh) 2017-07-07 2017-07-07 一种在大数据集群中查询索引的方法和装置

Publications (1)

Publication Number Publication Date
CN107436923A true CN107436923A (zh) 2017-12-05

Family

ID=60460849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710549552.1A Pending CN107436923A (zh) 2017-07-07 2017-07-07 一种在大数据集群中查询索引的方法和装置

Country Status (1)

Country Link
CN (1) CN107436923A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169507A (zh) * 2011-05-26 2011-08-31 厦门雅迅网络股份有限公司 一种分布式实时搜索引擎
CN102591970A (zh) * 2011-12-31 2012-07-18 北京奇虎科技有限公司 一种分布式键-值查询方法和查询引擎系统
CN103678609A (zh) * 2013-12-16 2014-03-26 中国科学院计算机网络信息中心 一种基于分布式关系-对象映射处理的大数据查询的方法
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN106649847A (zh) * 2016-12-30 2017-05-10 南威软件股份有限公司 一种基于Hadoop的大数据实时处理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169507A (zh) * 2011-05-26 2011-08-31 厦门雅迅网络股份有限公司 一种分布式实时搜索引擎
CN102591970A (zh) * 2011-12-31 2012-07-18 北京奇虎科技有限公司 一种分布式键-值查询方法和查询引擎系统
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN103678609A (zh) * 2013-12-16 2014-03-26 中国科学院计算机网络信息中心 一种基于分布式关系-对象映射处理的大数据查询的方法
CN106649847A (zh) * 2016-12-30 2017-05-10 南威软件股份有限公司 一种基于Hadoop的大数据实时处理系统

Similar Documents

Publication Publication Date Title
US11886429B2 (en) Persistent metadata catalog
CN106412137B (zh) 一种文件下载系统及文件下载方法
US10157205B2 (en) Parallel preparation of a query execution plan in a massively parallel processing environment based on global and low-level statistics
CN107515878B (zh) 一种数据索引的管理方法及装置
CN106357738B (zh) 一种服务器集群的自动化部署方法、装置和系统
US10826993B2 (en) Cloud resource provisioning using blueprint chaining
CN109901987B (zh) 一种生成测试数据的方法和装置
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
US20210073219A1 (en) Database query data redundancy nullification
US10831716B2 (en) Method and apparatus for configuring relevant parameters of MapReduce applications
US11126503B2 (en) Pre-filtering of join execution over multi-column range summaries and other synopses
CN103324713B (zh) 多级服务器中的数据处理方法、装置和数据处理系统
CN105528454A (zh) 日志处理方法及分布式集群的计算设备
CN110019310A (zh) 数据处理方法及系统、计算机系统、计算机可读存储介质
CN106168963A (zh) 实时流数据的处理方法、装置及服务器
CN105045789A (zh) 一种游戏服务器数据库缓存方法及系统
CA3094727C (en) Transaction processing method and system, and server
CN104580428A (zh) 一种数据路由方法、数据管理装置和分布式存储系统
CN111444148B (zh) 基于MapReduce的数据传输方法和装置
CN108804451B (zh) 生成主键的方法、装置、电子设备和可读存储介质
CN105389394A (zh) 基于多个数据库集群的数据请求处理方法及装置
US20210311945A1 (en) Optimizing a join operation
US11194805B2 (en) Optimization of database execution planning
CN107169115A (zh) 添加自定义分词的方法及装置
CN106844415A (zh) 一种SparkSQL系统中的数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171205

RJ01 Rejection of invention patent application after publication