CN108959640B - Es索引快速构建方法及装置 - Google Patents

Abstract

本发明提供了一种ES索引快速构建方法及装置，所述ES索引快速构建方法包括：判断是否需要进行表配置，在不需要进行表配置时，进行构建索引信息的配置；根据预设的配置内容构建索引字段的配置；根据预先设定的配置内容信息构建ES环境配置；根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引。根据有无数据表进行不同的配置方式，按照预设的配置内容进行配置信息，简化操作，可以适配多种数据库，简化了ES索引的构建过程，简便快捷地搭建ES索引。

Description

ES索引快速构建方法及装置

技术领域

本发明涉及搜索技术领域，具体而言，涉及一种ES索引快速构建方法及装置。

背景技术

Elasticsearch有非常好的查询性能，以及非常强大查询语法，Elasticsearch已占领了数据库搜索引擎的榜首，已被各个大公司所应用，Elasticsearch的社区也很活跃，对各个语言也有很好的支持。Elasticsearch采用独创的DSL语法，DSL理解起来也是比较繁琐的，因此不利于快速构建Elasticsearch索引。

发明内容

有鉴于此，本发明实施例的目的在于提供一种ES索引快速构建方法及装置，以改善Elasticsearch索引构建复杂，上手慢等问题。

本发明采用的技术方案如下：

本发明实施例提供了一种ES索引快速构建方法，所述ES索引快速构建方法包括：判断是否需要进行表配置，在不需要进行表配置时，进行构建索引信息的配置；根据预设的配置内容构建索引字段的配置；根据预先设定的配置内容信息构建ES环境配置；根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引。

进一步地，所述方法还包括：在需要进行表配置时，按照用户需求进行数据表的配置；根据预先设定的配置内容信息构建ES环境配置；根据配置好的数据表以及ES环境配置构建索引。

进一步地，所述进行数据表的配置的步骤包括：配置数据源；根据数据源配置数据表。

进一步地，配置数据表之后，所述方法还包括：判断是否需要构建宽表，若是则重新配置数据表。

进一步地，所述方法还包括：判断是否需要构建JOIN查询，若是则重新配置数据表。

进一步地，所述方法还包括：在需要导入数据时，将数据导入。

本发明实施例还提供了一种ES索引快速构建装置，所述ES索引快速构建装置用于执行所述ES索引快速构建方法，所述ES索引快速构建装置包括：第一判断模块，用于判断是否需要进行表配置；索引信息配置模块，用于在不需要进行表配置时，进行构建索引信息的配置；索引字段配置模块，根据预设的配置内容构建索引字段的配置；ES环境配置模块，用于根据预先设定的配置内容信息构建ES环境配置；索引构建模块，用于根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引。

进一步地，所述ES索引快速构建装置还包括：数据表配置模块，用于根据用户需求进行数据表的配置；所述索引构建模块还用于根据配置好的数据表及构建的ES环境配置构建索引。

进一步地，所述数据表配置模块包括：数据源配置单元，用于配置数据源；数据表配置单元，用于根据配置的数据源配置数据表。

进一步地，所述ES索引快速构建装置还包括数据导入模块，用于在需要导入数据时，将数据导入。

相对现有技术，本发明具有以下有益效果：

本发明提供了一种ES索引快速构建方法及装置，所述ES索引快速构建方法包括：判断是否需要进行表配置，在不需要进行表配置时，进行构建索引信息的配置；根据预设的配置内容构建索引字段的配置；根据预先设定的配置内容信息构建ES环境配置；根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引。根据有无数据表进行不同的配置方式，按照预设的配置内容进行配置信息，简化操作，可以适配多种数据库，简化了ES索引的构建过程。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明所提供的一种电子设备的示意图。

图2示出了本发明提供的ES索引快速构建方法的流程图。

图3示出了步骤S60的子步骤流程图。

图4示出了ES索引快速构建装置的功能模块示意图。

图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-显示单元；106-输入输出单元；200-ES索引快速构建装置；210-第一判断模块；220-索引信息配置模块；230-数据表配置模块；240-索引字段配置模块；250-ES环境配置模块；260-索引构建模块；270-数据导入模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1示出本发明较佳实施例提供的电子设备100的方框示意图。所述电子设备100可以是台式计算机、笔记本电脑、平板电脑、智能手机、个人数字助理(personal digitalassistant，PDA)等。所述电子设备100包括ES索引快速构建装置200、存储器101、存储控制器102、处理器103、外设接口104、显示单元105、输入输出单元106。

所述存储器101、存储控制器102、处理器103、外设接口104、显示单元105、输入输出单元106各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述ES索引快速构建装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述ES索引快速构建装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，本发明任一实施例揭示的由过程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可能是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器103等。

所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

显示单元105在所述电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元105可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器103进行计算和处理。

输入输出单元106用于提供给用户输入数据实现用户与所述电子设备100的交互。例如，可以用于用户输入选择选择类型，例如选择是否进行某一项数据配置等等。所述输入输出单元106可以是，但不限于，鼠标和键盘等，所述键盘可以是虚拟键盘。

第一实施例

请参阅图2，本实施例提供了一种ES索引快速构建方法，所述ES索引快速构建方法包括以下步骤：

步骤S10：判断是否需要进行表配置。

在构建索引时，首先根据是否有数据源判断进行不同的配置方式。一般地，有数据源的需要进行数据表配置，若是没有数据源，则无须进行数据表的配置。于本实施例中，判断进行有数据源配置和无数据源配置可以按照预设的数据库情况，也可以是用户的选择，例如，通过鼠标、键盘等输入输出单元106106作出的选择命令。

于本实施例中，在无数据源即不需要进行表配置时，需要把索引字段进行存储，然后通过配置构建索引，新增数据和修改数据通过调用http接口方式进行，支持SQL语句和JSON两种形式，执行步骤S20；当有数据源时配置数据表，执行步骤S60。

步骤S20：进行构建索引信息的配置。

ElasticSearch是文档型数据库，索引(Index)定义了文档的逻辑存储和字段类型，每个索引可以包含多个文档类型，文档类型是文档的集合，文档以索引定义的逻辑存储模型，比如，指定分片和副本的数量，配置刷新频率，分配分析器等，存储在索引中的海量文档分布式存储在ElasticSearch集群中。在无数据源配置的情况下，进行构建索引信息配置。

步骤S30：根据预设的配置内容构建索引字段的配置。

一个索引对象可以存储多个不同用途的对象，在索引对象存储的主要实体叫做文档(document)，一个索引对象可以存储多个不同用途的对象，通过索引类型(index_type)可以区分单个索引中的不同对象，可以理解为关系型数据库中的表。每个文档由多个字段构成，es是一个非结构化的数据库，每个文档可以有不同的字段，并且有一个唯一的标识符。配置索引字段时，可以根据文档的关键字、词频、预设的字段属性等信息进行索引字段的设置，还可以由用户指定。

步骤S40：根据预先设定的配置内容信息构建ES环境配置。

在完成索引信息及字段配置之后，需要进行环境配置。包括master节点、data节点及river节点。于本实施例中，可以按照预先设定的配置内容信息，例如，预先存储配置文件的路径，根据用户的的命令，设置配置文件，在配置时将设置好的配置文件直接写入预设的配置文件路径，从而完成环境的配置。

步骤S50：根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引。

根据构件的索引信息的配置、索引字段的配置以及ES环境配置构建索引，完成索引的搭建。

于本实施例中，当有数据库时，需要先进性数据表的配置。

步骤S60：在需要进行表配置时，按照用户需求进行数据表的配置。

在有数据库时，对数据表进行配置，使已有的数据表与ES对应。

步骤S601：配置数据源。

有数据源时，选定对应的数据库地址，用户名，密码，表名，获取表结构，对结构进行转换，使数据库的数据表与ES相对应并存储。

步骤S602：根据数据源配置数据表。

步骤S603：判断是否需要构建宽表，若是则重新配置数据表。

宽表是指字段比较多的数据库表，若需要构建宽表存储更多的字段数据，则需要重新执行步骤S601进行数据源的重新配置追加存储，然后根据配置转换为ES索引。

步骤S604：判断是否需要构建JOIN查询，若是则重新配置数据表。

JOIN查询用于根据两个或多个表中的列之间的关系，从这些表中查询数据。通过JOIN查询可以拓展数据查询的广度深度。JOIN的查询通过先做一次查询，把查询结果再次分发到每个分布式节点上做分布式聚合。于本实施例中，若设定需要JOIN查询，则需要重新执行步骤S601对数据源进行重新配置。

步骤S70：根据预先设定的配置内容信息构建ES环境配置。

在完成数据表配置之后，需要进行环境配置。包括master节点、data节点及river节点。于本实施例中，可以按照预先设定的配置内容信息，例如，预先存储配置文件的路径，根据用户的的命令，设置配置文件，在配置时将设置好的配置文件直接写入预设的配置文件路径，从而完成环境的配置。

还可以直接选择预存储的ES环境地址，快速完成ES环境配置。

步骤S80：根据配置好的数据表以及ES环境配置构建索引。

步骤S90：判断是否进行数据库的数据导入，在需要导入数据时，执行步骤S901，将数据库的数据导入所述ES索引。

配置完成后，选择是否需要将数据库的数据导入ES索引，若需要，则进行数据导入，索引构建结束。

若不需要，则直接结束索引构建。

第二实施例

本实施例提供一种ES索引快速构建装置200，所述ES索引快速构建装置200用于执行第一实施例提供的ES索引快速构建方法。需要说明的是，本实施例提供的ES索引快速构建装置200，其基本原理与技术效果与第一实施例提供的ES索引快速构建方法基本相同，为简要描述，本实施例不再进行详细说明，本实施例未介绍详尽之处，请参阅第一实施例中的相关内容。

请参阅图4，所述ES索引快速构建装置200包括：第一判断模块210、索引信息配置模块220、数据表配置模块230、索引字段配置模块240、ES环境配置模块250、索引构建模块260及数据导入模块270。

其中，第一判断模块210，用于判断是否需要进行表配置。

可以理解地，在本发明的一种优选实施例中，第一判断模块210可以用于执行步骤S10。

索引信息配置模块220，用于在不需要进行表配置时，进行构建索引信息的配置。

可以理解地，在本发明的一种优选实施例中，索引信息配置模块220可以用于执行步骤S20。

数据表配置模块230，用于根据用户需求进行数据表的配置。

可以理解地，在本发明的一种优选实施例中，数据表配置模块230可以用于执行步骤S60。

索引字段配置模块240，根据预设的配置内容构建索引字段的配置。

可以理解地，在本发明的一种优选实施例中，索引字段配置模块240可以用于执行步骤S30。

ES环境配置模块250，用于根据预先设定的配置内容信息构建ES环境配置。

可以理解地，在本发明的一种优选实施例中，ES环境配置模块250可以用于执行步骤S40及步骤S70。

索引构建模块260，用于根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引。

可以理解地，索引构建模块260可以用于执行步骤S50及步骤S80。

数据导入模块270，用于在需要导入数据时，将数据导入。

可以理解地，数据导入模块270可以用于执行步骤S901。

综上所述，本发明提供了一种ES索引快速构建方法及装置，所述ES索引快速构建方法包括：判断是否需要进行表配置，在不需要进行表配置时，进行构建索引信息的配置；根据预设的配置内容构建索引字段的配置；根据预先设定的配置内容信息构建ES环境配置；根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引。根据有无数据表进行不同的配置方式，按照预设的配置内容进行配置信息，简化操作，可以适配多种数据库，简化了ES索引的构建过程。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种ES索引快速构建方法，其特征在于，所述ES索引快速构建方法包括：

判断是否需要进行表配置；

在不需要进行表配置时，进行构建索引信息的配置；根据预设的配置内容构建索引字段的配置；根据预先设定的配置内容信息构建ES环境配置；根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引；

在需要进行表配置时，按照用户需求进行数据表的配置；根据预先设定的配置内容信息构建ES环境配置；根据配置好的数据表以及ES环境配置构建索引。

2.如权利要求1所述的ES索引快速构建方法，其特征在于，所述进行数据表的配置的步骤包括：

配置数据源；

根据数据源配置数据表。

3.如权利要求2所述的ES索引快速构建方法，其特征在于，配置数据表之后，所述方法还包括：

判断是否需要构建宽表，若是则重新配置数据表。

4.如权利要求3所述的ES索引快速构建方法，其特征在于，所述方法还包括：

判断是否需要构建JOIN查询，若是则重新配置数据表。

5.如权利要求1所述的ES索引快速构建方法，其特征在于，所述方法还包括：

在需要导入数据时，将数据导入。

6.一种ES索引快速构建装置，其特征在于，所述ES索引快速构建装置用于执行如权利要求1～5任意一项所述的ES索引快速构建方法，所述ES索引快速构建装置包括：

第一判断模块，用于判断是否需要进行表配置；

索引信息配置模块，用于在不需要进行表配置时，进行构建索引信息的配置；

索引字段配置模块，根据预设的配置内容构建索引字段的配置；

ES环境配置模块，用于根据预先设定的配置内容信息构建ES环境配置；

索引构建模块，用于根据构建的索引信息的配置、索引字段的配置以及ES环境配置构建索引；

所述ES索引快速构建装置还包括：

数据表配置模块，用于根据用户需求进行数据表的配置；

所述索引构建模块还用于根据配置好的数据表及构建的ES环境配置构建索引。

7.如权利要求6所述的ES索引快速构建装置，其特征在于，所述数据表配置模块包括：

数据源配置单元，用于配置数据源；

数据表配置单元，用于根据配置的数据源配置数据表。

8.如权利要求7所述的ES索引快速构建装置，其特征在于，所述ES索引快速构建装置还包括数据导入模块，用于在需要导入数据时，将数据导入。

Images