CN110287192A - 搜索应用数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及数据检索技术领域，特别涉及一种搜索应用数据处理方法、装置、计算机设备和存储介质。所述方法包括：对数据库日志进行监控，当监测到新增数据流插入至数据库日志时，从新增数据流中读取数据表标识信息和数据操作类型；查找数据表标识信息对应的元数据结构，获取元数据结构的第一应用标识，并从元数据结构中提取表层级信息；当数据操作类型为数据插入操作时，根据元数据结构对新增数据流的数据字段进行处理生成应用元字段；根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中。采用本方法能够提高提高数据查询性能。

Description

搜索应用数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种搜索应用数据处理方法、装置、计算机设备和存储介质。

背景技术

互联网公司产品更新较快，产品的各个业务方在产品的业务处理过程中，每日均会产出大量的产品业务数据，因此，大部分产品都需要查询数据库或者其他数据检索功能的支持。

现有的数据搜索引擎大多基于关系型数据库，而关系型数据库中存储了各种业务的高数量级的数据，然而互联网公司业务需求变化大，不同的业务方具有不同的数据查询需求，在许多业务场景下均需要使用多张数据表的数据关联查询来完成需求。但是，在进行关联查询时，由于数据库中的数据表非常多，数据表之间的关联关系也是异常复杂，导致关联查询的性能较低，给数据库带来较大的查询压力。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据查询性能且能减少数据查询压力的搜索应用数据处理方法、装置、计算机设备和存储介质。

一种搜索应用数据处理方法，所述方法包括：

对数据库日志进行监控，当监测到新增数据流插入至所述数据库日志时，从所述新增数据流中读取数据表标识信息和数据操作类型；

查找所述数据表标识信息对应的元数据结构，获取所述元数据结构的第一应用标识，并从所述元数据结构中提取表层级信息；

当所述数据操作类型为数据插入操作时，根据所述元数据结构对所述新增数据流的数据字段进行处理生成应用元字段；

根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中。

在其中一个实施例中，所述根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用引用表，将所述应用元字段添加至所述应用引用表中。

在其中一个实施例中，所述根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中，包括，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识及所述表层级类型对应的应用表，从所述应用表中查找与所述新增数据流对应的应用记录；

将所述应用元字段与所述应用记录进行拼接生成应用搜索记录，将所述应用搜索记录添加至所述搜索存储引擎中。

在其中一个实施例中，方法还包括：

当所述数据操作类型为数据更改操作时，从所述新增数据流中提取更改数据；

根据所述表层级信息从所述搜索存储引擎中查找与所述第一应用标识对应的应用表；对所述应用表中与所述更改数据对应的应用数据进行更改操作。

在其中一个实施例中，对所述应用表中与所述更改数据对应的应用数据进行更改操作，包括：

从所述更改数据中提取出更新字段和记录标识数据；

从所述应用表中查找与所述记录标识数据对应的应用记录；

根据所述更新字段对所述应用记录中相应的应用字段进行数据更新。

在其中一个实施例中，对所述应用表中与所述更改数据对应的应用数据进行更改操作，包括：

从所述更改数据中提取出记录标识数据；

从所述应用表中查找与所述记录标识数据对应的应用记录并删除。

在其中一个实施例中，根据所述表层级信息从所述搜索存储引擎中查找与所述第一应用标识对应的应用表；对所述应用表中与所述更改数据对应的应用数据进行更改操作，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用搜索表，从所述应用搜索表中查找与所述新增数据流对应的应用搜索记录，对所述应用搜索记录中与所述更改数据对应的应用数据进行更改操作。

在其中一个实施例中，根据所述表层级信息从所述搜索存储引擎中查找与所述第一应用标识对应的应用表；对所述应用表中与所述更改数据对应的应用数据进行更改操作，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用搜索表和应用引用表；

从所述应用引用表中查找与所述新增数据流对应的应用引用记录，对所述应用引用记录中与所述更改数据对应的应用数据进行更改操作；

从所述应用搜索表中查找与所述新增数据流对应的应用搜索记录，对所述应用搜索记录中与所述更改数据对应的应用数据进行更改操作。

在其中一个实施例中，方法还包括：

接收终端发送的数据查询指令，所述数据查询指令中携带第二应用标识和检索逻辑式；

从所述搜索存储引擎中查找所述第二应用标识对应的应用搜索表；

根据所述检索逻辑式，对所述第二应用标识对应的应用搜索表进行数据检索得到目标数据，将所述目标数据返回给所述终端。

一种搜索应用数据处理装置，所述装置包括：

日志监控模块，用于对数据库日志进行监控，当监测到新增数据流插入至所述数据库日志时，从所述新增数据流中读取数据表标识信息和数据操作类型；

结构信息获取模块，用于查找所述数据表标识信息对应的元数据结构，获取所述元数据结构的第一应用标识，并从所述元数据结构中提取表层级信息；

字段处理模块，用于当所述数据操作类型为数据插入操作时，根据所述元数据结构对所述新增数据流的数据字段进行处理生成应用元字段；

数据添加模块，用于根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中。

在其中一个实施例中，数据添加模块包括：

数据类型判断单元，用于从所述表层级信息中提取与所述数据表标识信息的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

字段添加单元，用于当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用引用表，将所述应用元字段添加至所述应用引用表中。

在其中一个实施例中，数据添加模块包括：

数据类型判断单元，用于从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

应用记录查找单元，用于当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识及所述表层级类型对应的应用表，从所述应用表中查找与所述新增数据流对应的应用记录；

记录拼接单元，用于将所述应用元字段与所述应用记录进行拼接生成应用搜索记录，将所述应用搜索记录添加至所述搜索存储引擎中。

在其中一个实施例中，装置还包括：

更改数据提取模块，用于当所述数据操作类型为数据更改操作时，从所述新增数据流中提取更改数据；

更改操作模块，用于根据所述表层级信息从所述搜索存储引擎中查找与所述第一应用标识对应的应用表；对所述应用表中与所述更改数据对应的应用数据进行更改操作。

在其中一个实施例中，更改操作模块包括：

更新数据提取单元，用于从所述更改数据中提取出更新字段和记录标识数据；

记录查找单元，用于从所述应用表中查找与所述记录标识数据对应的应用记录；

字段更新单元，用于根据所述更新字段对所述应用记录中相应的应用字段进行数据更新。

在其中一个实施例中，更改操作模块包括：

标识数据提取单元，用于从所述更改数据中提取出记录标识数据；

记录删除单元，用于从所述应用表中查找与所述记录标识数据对应的应用记录并删除。

在其中一个实施例中，更改操作模块包括：

数据类型判断单元，用于从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

应用数据更改单元，用于当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用搜索表，从所述应用搜索表中查找与所述新增数据流对应的应用搜索记录，对所述应用搜索记录中与所述更改数据对应的应用数据进行更改操作。

在其中一个实施例中，更改操作模块包括：

数据类型判断单元，用于从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

应用表查找单元，用于当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用搜索表和应用引用表；

引用记录更改单元，用于从所述应用引用表中查找与所述新增数据流对应的应用引用记录，对所述应用引用记录中与所述更改数据对应的应用数据进行更改操作；

搜索记录更改单元，用于从所述应用搜索表中查找与所述新增数据流对应的应用搜索记录，对所述应用搜索记录中与所述更改数据对应的应用数据进行更改操作。

在其中一个实施例中，装置还包括：

查询指令接收模块，用于接收终端发送的数据查询指令，所述数据查询指令中携带第二应用标识和检索逻辑式；

数据表搜索模块，用于从所述搜索存储引擎中查找所述第二应用标识对应的应用搜索表；

数据检索模块，用于根据所述检索逻辑式，对所述第二应用标识对应的应用搜索表进行数据检索得到目标数据，将所述目标数据返回给所述终端。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

上述搜索应用数据处理方法、装置、计算机设备和存储介质，对数据库日志进行监控，当检测出有新增数据流插入数据库中时，读取新增数据流要插入的数据表信息及对应的搜索应用的应用标识，并查找与数据表信息对应的元数据结构，将新增数据流根据元数据结构进行字段处理，根据该新增数据流对应的表层级信息，从搜索存储引擎中查找与应用标识对应的应用表，将处理完成的字段数据添加至应用表中，由于搜索存储引擎中的应用记录根据应用标识进行划分，从而业务方在进行数据搜索时，可以通过选择搜索应用锁定搜索存储引擎中相应的应用表，再基于应用表进行搜索，从而将多个表的关联查询转化为对应用表数据的单表查询，提高数据检索效率。

附图说明

图1为一个实施例中搜索应用数据处理方法的应用场景图；

图2为一个实施例中搜索应用数据处理方法的流程示意图；

图3为一个实施例中的数据关系映射图；

图4为另一个实施例中搜索应用数据处理方法的流程示意图；

图5为一个实施例中搜索应用数据处理装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一服务器称为第二服务器，且类似地，可将第二服务器称为第一服务器。

本申请提供的搜索应用数据处理方法，可以应用于如图1所示的应用环境中。其中，业务终端102通过网络与服务器104进行通信。用户可以在业务终端102上进行新增搜索应用的元数据结构的可视化构建操作，具体地，用户可以选取已有的数据表，并选择数据表中的字段，对字段的数据格式、关联关系、是否建立索引等属性进行编辑，编辑确认后生成新增元数据结构，业务终端102将新增元数据结构发送至服务器104，服务器104将新增元数据结构与选择的数据表的数据表标识信息及所属数据库的数据库标识进行关联存储。服务器104对数据库中新插入的新增数据流进行监控，当监控到新增数据流时，查找数据表标识信息对应的元数据结构，获取元数据结构的第一应用标识，并从元数据结构中提取表层级信息；当数据操作类型为数据插入操作时，根据元数据结构对新增数据流的数据字段进行处理生成应用元字段；根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中。

其中业务终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。当服务器104为独立的服务器时，服务器104中可以部署多个数据库，每个数据库中可以存储特定业务的业务数据表；当服务器104为多个服务器组成的服务器集群时，每个服务器中部署的数据库中可以存储特定业务的业务数据表。

在一个实施例中，如图2所示，提供了一种搜索应用数据处理方法，以该方法应用于图1中的服务器104为例进行说明，在其他实施例中，该方法也可以应用于终端，方法包括以下步骤：

步骤210，对数据库日志进行监控，当监测到新增数据流插入至数据库日志时，从新增数据流中读取数据表标识信息和数据操作类型。

服务器对部署的各个数据库的数据库日志进行监控，监控数据库日志中是否插入新的数据流。当对数据库中的数据表中的数据有插入、删除、更新等操作时，会将相应的操作以数据流的形式记录于数据库日志中，服务器对数据库中的操作行为进行监听。如当在数据表中新增数据时，会通过insert指令将数据流插入至数据库日志中，插入数据库中的数据流中包括操作的数据表信息数据操作类型及具体的数据内容。

当服务器监测到数据库日志中插入了新增数据流时，服务器从新增数据流中读取数据表标识信息和数据操作类型。其中，数据表标识信息中可以包括数据表标识和数据表所属的数据库标识。服务器中可能部署有多个数据库，每个数据库中又会存储有多张数据表，这些数据表面向多个业务方，多个业务方的数据均可存储于数据库中，各数据表中存储的数据可以以业务类型进行分类。数据表标识用于对每张数据表进行唯一标识，数据库标识用于对数据表所存储的数据库进行唯一标识。数据操作类型指的是新增数据流对数据表中数据的具体操作方式，可以从新增数据流中提取出操作类型字段，如操作类型字段为“insert”代表向数据表中插入数据，操作类型字段为“update”代表更新数据表中的数据，操作类型字段为“delete”代表删除数据表中的数据。

步骤220，查找数据表标识信息对应的元数据结构，获取元数据结构的第一应用标识，并从元数据结构中提取表层级信息。

各业务方的用户为了方便自己进行数据搜索，会根据自己的需要创建搜索应用，设置搜索应用需要的元数据结构。元数据结构中设定了搜索应用中涉及的数据表中的数据字段，各数据字段的数据格式，字段是否添加索引及与其他字段的关联关系、字段运算逻辑等信息。元数据结构与结构中各数据字段所引用的数据表的标识信息进行关联存储。搜索应用所引用的数据表可以为多个，因此，元数据结构所对应的数据表也可以为多个。此外，一张数据表也可以被多个业务方的搜索应用所引用。业务方、搜索应用、数据表之间的数据关系映射图请参照图3。一个业务方可以设定多个搜索应用，在图3中业务方1设定了搜索应用a和搜索应用b，每个搜索应用所引用的数据表的数量可以为一个或多个，搜索应用a引用了两张数据表，包括数据表a和数据表b，搜索应用b引用了一张数据表c。

服务器查找数据表标识对应的元数据结构，服务器查找到的元数据结构的数量可以为多个。元数据结构以搜索应用的应用标识进行标识，服务器获取元数据结构的应用标识。

此外，元数据结构中还存储了表层级信息，服务器从元数据结构中提取表层级信息。其中，表层级信息中包括该搜索应用元数据结构所对应的各个数据表的表层级、及各数据表相互之间的层级关系。表层级可以包括主表层级和从表层级，表层级关系表示主表与各从表之间的对应关系，从表可以包括一对一从表、一对多从表、多对一从表、多对多从表、多对多关联表、多对多关联表的中间表。其中，一对一、多对一等是指主表与从表之间的对应关系，一对一是指一条主表数据对应一条从表数据，如用户信息表和用户收益表，用户信息表中每个用户的身份信息和用户收益表中每个用户的收益信息是一一对应的。多对一是指多条主表数据对应一条从表数据，如学生表是主表，班级表为从表，多条学生数据对应一条班级数据，如班级表中有多个班级编号，一条班级编号分别对应一张学生表。而多对多关联表的情况例如，老师表是主表，班级表是从表，还有一张老师到班级的中间关联表，一条老师数据可能对应多条班级数据，一条班级数据也对应多条老师数据。老师到班级的中间关联表的每条数据代表了一条老师数据与一条班级数据进行关联。

进一步地，可以将各种表层级类型的数据表划分为基础引用数据类型和非基础引用数据类型，其中，当对基础引用数据类型的数据表中的数据进行操作处理时，还需将处理操作内容在搜索存储引擎上备份存储，以备在处理其他类型的数据表生成搜索应用数据时被调用，而非基础引用数据则不需要在搜索存储引擎上备份存储。其中，多对一从表、多对多从表中的数据属于基础引用数据，需要在搜索存储引擎上进行数据备份。

相应地，搜索存储引擎中也存储了两种类型的应用表，可以包括应用搜索表和应用引用表，应用搜索表中用于存储可以直接用于应用搜索查询的数据，而应用引用表中存储基础引用数据以用于数据调用。

步骤230，当数据操作类型为数据插入操作时，根据元数据结构对新增数据流的数据字段进行处理生成应用元字段。

当服务器判定出读取的数据操作类型为数据插入操作时，服务器获取元数据结构中各数据字段的数据格式，字段运算逻辑，是否在该字段上建立索引等字段信息，并从新增数据流中读取出写入数据表中的数据流字段，根据字段信息对对应的数据流字段进行处理生成应用元字段，如将数据格式进行调整，根据字段运算逻辑将字段数值进行运算生成新的字段、对有些数据流字段建立索引等。

在一个实施例中，根据元数据结构对新增数据流中的数据字段进行处理生成应用元字段的步骤可以包括：获取元数据结构对应的业务类型，查找并启用业务类型对应的数据处理线程；在数据处理线程中，获取元数据结构中各数据元的预设处理逻辑；从新增数据流中查找各数据元对应的数据字段，根据预设处理逻辑对数据字段进行处理并生成应用元字段。

在本实施例中，服务器设定了多个数据处理线程，多个数据处理线程根据待处理数据所属的业务类型进行划分。如业务类型可以包括对私业务、对公业务等等，在构建搜索应用时，将搜索应用对应的查询数据的业务类型也添加至元数据结构中。

服务器从元数据结构中提取出业务类型信息，业务类型信息可以为业务类型标识、业务名称等。服务器查找与业务类型对应的数据处理线程，并通知该数据处理线程对新增数据流中的数据字段进行数据处理。

在一个实施例中，服务器可以直接将新增数据流分发至数据处理线程中，数据处理线程接收到新增数据流后，从元数据结构中获取各数据元的预设处理逻辑，数据元即为应用元字段处理之前对应的应用结构的结构字段。数据处理线程从新增数据流中查找各数据元对应的数据字段，根据预设处理逻辑对数据字段进行处理并生成应用元字段，预设处理逻辑可以为上一实施例中描述的字段格式处理、字段值运算等逻辑。

步骤240，根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中。

服务器从表层级信息中获取新增数据流要插入的数据表的表层级关系，并根据表层级关系判断新增数据流的数据类型，如是否为基础引用数据，根据新增数据流的数据类型确定要存储至搜索引擎中的应用表的表类型，从搜索存储引擎中查找与第一应用标识及表类型对应的应用表，将应用元字段添加至应用表中，具体地，可以在应用表中新创建记录行，并将应用元字段添加至应用新建记录行中的对应字段列中。需要说明的是，本申请中的应用表以及应用搜索表、应用引用表不限定于实体存在的表，也可以是搜索存储引擎中的一块数据存储区域，可以根据应用标识进行划分。业务方的用户在进行数据检索查询时，可以选择需要使用的搜索应用和检索式，搜索引擎根据检索式从搜索应用对应的数据中进行数据检索，从而能够将检索数据的范围有效缩小，提高数据查询检索效率。

在本实施例中，服务器对数据库日志进行监控，当检测出有新增数据流插入数据库中时，读取新增数据流要插入的数据表信息及对应的搜索应用的应用标识，并查找与数据表信息对应的元数据结构，将新增数据流根据元数据结构进行字段处理，根据该新增数据流对应的表层级信息，从搜索存储引擎中查找与应用标识对应的应用表，将处理完成的字段数据添加至应用表中，由于搜索存储引擎中的应用记录根据应用标识进行划分，从而业务方在进行数据搜索时，可以通过选择搜索应用锁定搜索存储引擎中相应的应用表，再基于应用表进行搜索，从而将多个表的关联查询转化为对应用表数据的单表查询，提高数据检索效率。

在一个实施例中，根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中的步骤可以包括：从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用引用表，将应用元字段添加至应用引用表中。

服务器从表层级信息中查找与数据表标识信息对应的表层级类型，表层级信息中存储了该搜索应用所关联的数据表的表层级类型和层级关系，将数据表的数据表标识信息与表层级类型对应存储，数据表标识信息可以如数据表标识、所属的数据库标识等，根据数据标识信息可以查找到对应的表层级类型。服务器事先对各种表层级类型的数据进行划分分类，分为基础引用数据和非基础引用数据，根据查找到的表层级类型可以判断出新增数据流所操作的数据表中的数据是否为数据基础引用数据。

基础引用数据为在对该类型的数据流进行操作处理时，需将处理操作的内容在搜索存储引擎上备份存储，以备在处理其他类型的数据表生成搜索应用数据时被调用。其中，多对一从表、多对多从表中的数据均属于基础引用数据。

在监控到基础引用数据类型的新增数据流要插入至相应的数据表中时，服务器从搜索引擎中查找与第一应用标识对应的应用引用表，即该基础引用数据需要在搜索存储引擎上备份的应用表。服务器在查找到的应用引用表上创建新的应用引用记录行，将对新增数据流处理后生成的各应用元字段，添加至新增应用引用记录行中的相应字段列中。例如，表层级类型为多对一从表和多对多从表的数据表对应的数据流均采用上述方式进行处理。需要说明的是，一般情况下，基础引用数据类型的从表数据，先于同一搜索应用对应的其他表层级类型的数据被插入至数据库。

在一个实施例中，根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中的步骤可以包括：从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流不属于基础引用数据时，从搜索存储引擎中查找与第一应用标识及表层级类型对应的应用表，从应用表中查找与新增数据流对应的应用记录；将应用元字段与应用记录进行拼接生成应用搜索记录，将应用搜索记录添加至搜索存储引擎中。

本实施例是对非基础引用数据的新增数据流的处理方案，判断新增数据流是否为基础引用数据的方法可以参考上一实施例，在此不再赘述。非基础引用数据为不需要在搜索存储引擎上备份存储，在对该数据类型的数据流处理后直接添加至应用搜索表中以直接供搜索应用查询使用的数据。

当服务器判定出新增数据流不属于基础引用数据时，服务器从搜索存储引擎中查找与第一应用标识对应的应用引用表和/或应用搜索表。其中，应用搜索表中存储的数据既包含基础引用数据、又包含非基础引用数据。

服务器可以根据新增数据流中的表关联标识数据，从应用表中查找相应的应用记录，将查找到的应用记录中的字段，与对新增数据流处理得到的应用元字段拼接起来，其中字段的拼接方式可以按照应用搜索表中记录的记载形式设定，拼接后生成应用搜索记录，将生成的应用搜索记录添加至应用搜索表中。

当根据表层级类型判定出新增数据流为主表数据时，服务器从搜索存储引擎中查找与第一应用标识对应的应用引用表和应用搜索表，表关联标识数据为主表的外键，即主表与基础引用数据类型的从表的关联字段，服务器从新增数据流中提取出外键字段，并从应用引用表中查找与外键字段对应的应用引用记录，将该应用引用记录与应用元字段进行拼接生成应用搜索记录，将应用搜索记录添加至应用搜索表中。

当根据表层级类型判定出新增数据流为一对一从表或者一对多从表时，服务器从搜索存储引擎中查找与第一应用标识对应的应用搜索表，表关联标识数据为从表的外键，即从表与主表的关联字段，服务器从新增数据流中提取出外键字段，并从应用搜索表中提取与外键字段对应的应用搜索记录，将该应用搜索记录与应用元字段进行拼接，即对原来的应用搜索记录进行字段补充，将字段补充后的应用搜索记录替换掉原来的应用搜索记录。其中，查找到的应用搜索记录可能包括主表数据，也可能既包括主表数据，又包括基础引用数据类型的从表数据。

需要注意的是，在本实施例中，若新增数据流中存在关联计算字段时，在根据元数据结构对新增数据流中的关联计算字段进行处理时，可能会使用主表中的字段或其他从表中的字段共同进行处理，这时，在从应用搜索表中提取关联字段对应的应用搜索记录之后，从应用搜索记录中查找计算需要关联的字段，再根据该字段和元数据结构对关联计算字段进行处理。

当根据表层级类型判定出新增数据流为中间表时，服务器从搜索存储引擎中查找与第一应用标识对应的应用搜索表和应用引用表，服务器从新增数据流中读取中间表与多对多从表的从表关联字段，及中间表与主表的主表关联字段，服务器从应用引用表中查找与从表关联字段对应的应用引用记录，并从应用搜索表中查找与主表关联字段对应的应用搜索记录，将应用引用记录拼接入应用搜索记录中。在将应用引用记录与应用搜索记录进行拼接的过程中，也可能需要进行关联计算字段的处理。

在一个实施例中，如图4所示，当数据操作类型为数据更改操作时，搜索应用数据处理方法还可以包括以下步骤：

步骤250，从新增数据流中提取更改数据。

数据更改操作包括数据更新操作和数据删除操作。其中，数据更新操作为对已存入数据库中的数据记录的某个或某些字段进行数据更改，或者在数据记录中添加新的字段的操作。数据删除操作是指将数据中的某条或某些数据记录删除。服务器从新增数据流中提取出要进行更新操作或删除操作的更改数据。

步骤260，根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作。

服务器从表层级信息中获取新增数据流要更新的数据表的表层级关系，并根据表层级关系判断新增数据流的数据类型，如是否为基础引用数据，根据新增数据流的数据类型确定要存储至搜索引擎中的应用表的表类型，从搜索存储引擎中查找与第一应用标识及表类型对应的应用表，包括应用引用表和/或应用搜索表，根据更改数据对应用表中相应的应用数据进行更新或删除操作。

在一个实施例中，对应用表中与更改数据对应的应用数据进行更改操作的步骤可以包括：从更改数据中提取出更新字段和记录标识数据；从应用表中查找与记录标识数据对应的应用记录；根据更新字段对应用记录中相应的应用字段进行数据更新。

本实施例为更改操作为更新操作时的操作方法。服务器从更改数据中提取出更新字段和记录标识数据，记录标识数据为用于进行记录查找的标识字段，可以为数据表的主键字段，也可以为设定的某些外键字段。服务器从应用表中查找出与记录标识数据对应的应用记录，将更新字段替换掉应用记录中相应的应用字段。

在一个实施例中，对应用表中与更改数据对应的应用数据进行更改操作的步骤可以包括：从更改数据中提取出记录标识数据；从应用表中查找与记录标识数据对应的应用记录并删除。

本实施例为更改操作为删除操作时的操作方法。此时，更改数据为要删除的数据表中的数据记录，服务器从更改数据中提取出记录标识数据，记录标识数据为用于进行记录查找的标识字段，可以为数据表的主键字段，也可以为设定的某些外键字段。服务器从应用表中查找与记录标识数据对应的应用记录，并将查找到的应用记录从搜索存储引擎中删除。

在本实施例中，监控到对数据库中数据的更改操作时，可以实时对搜索引擎中存储的各搜索应用的应用数据进行同步更新，从而保证查询数据的准确性。

在一个实施例中，根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作的步骤可以包括：从表层级信息中提取与数据表标识信息的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流不属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用搜索表，从应用搜索表中查找与新增数据流对应的应用搜索记录，对应用搜索记录中与更改数据对应的应用数据进行更改操作。

当服务器判定出新增数据流为非基础引用数据时，服务器从搜索存储引擎中查找与第一应用标识对应的应用搜索表，从新增数据流中提取记录标识数据，从应用搜索表中提取与记录标识数据对应的应用搜索记录。当数据更改操作为数据更新操作时，服务器从新增数据流中提取出更新字段，用更新字段替换掉应用搜索记录中相应的应用字段；当数据更改操作为数据删除操作时，服务器获取新增数据流中待删除字段，并将应用搜索记录中与待删除字段对应的字段删除。

具体地，当根据表层级类型判定出新增数据流对应的数据为主表数据时，若数据操作类型为数据更新操作，服务器从新增数据流中提取出主表的主键字段和更新字段，根据主键字段查找对应的应用搜索记录，判断更新字段是否为关联计算字段，若不是关联计算字段，则根据更新字段对应用搜索记录中的相应字段进行字段替换更新；若是关联计算字段，则获取该字段关联的字段名，从应用搜索记录获取与该字段名对应的关联字段，根据元数据结构和关联字段对关联计算字段进行处理后得到计算字段，根据计算字段和其他非关联计算字段的更新字段，对应用搜索记录中的相应字段进行字段替换更新。当数据操作类型为数据删除操作时，服务器根据主键字段查找对应的应用搜索记录，并将该应用搜索记录删除即可。

当根据表层级类型判定出新增数据流对应的数据为一对一从表或一对多从表数据时，若数据操作类型为数据更新操作，服务器从新增数据流中提取出从表的外键字段和更新字段，根据外键字段查找对应的应用搜索记录，判断更新字段是否为关联计算字段，若不是关联计算字段，则根据更新字段对应用搜索记录中的相应字段进行字段替换更新；若是关联计算字段，则获取该字段关联的字段名，从应用搜索记录获取与该字段名对应的关联字段，根据元数据结构和关联字段对关联计算字段进行处理后得到计算字段，根据计算字段和其他非关联计算字段的更新字段，对应用搜索记录中的相应字段进行字段替换更新。

当根据表层级类型判定出新增数据流对应的数据为一对一从表或一对多从表数据时，若数据操作类型为数据删除操作，服务器从新增数据流中提取出从表的外键字段和待删除字段，根据外键字段查找对应的应用搜索记录，判断更新字段是否为关联计算字段，若不是关联计算字段，则将应用搜索记录中与待删除字段对应的字段删除；若是关联计算字段，则获取该字段关联的字段名，从应用搜索记录获取与该字段名对应的关联字段，根据元数据结构和关联字段对关联计算字段进行处理后得到计算字段，将应用搜索记录中与待删除字段的数据删除，并根据计算字段对应用搜索记录中其他未删除字段进行字段更新。

在一个实施例中，根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作的步骤可以包括：从表层级信息中提取与数据表标识信息的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用搜索表和应用引用表；从应用引用表中查找与新增数据流对应的应用引用记录，对应用引用记录中与更改数据对应的应用数据进行更改操作；从应用搜索表中查找与新增数据流对应的应用搜索记录，对应用搜索记录中与更改数据对应的应用数据进行更改操作。

判断新增数据流是否为基础引用数据的方法可以参考上述实施例，在此不再赘述。当服务器判定出新增数据流属于基础引用数据，服务器从搜索存储引擎中查找与第一应用标识对应的应用引用表和应用搜索表，并从新增数据流中提取出记录标识数据，从应用引用表中查找与记录标识数据对应的应用引用记录，从应用搜索表中查找与记录标识数据对应的应用搜索记录。当数据更改操作为数据更新操作时，服务器从新增数据流中提取出更新字段，用更新字段替换掉应用引用记录和应用搜索记录中相应的应用字段；当数据更改操作为数据删除操作时，服务器将查找到的应用搜索记录和应用引用记录删除。

具体地，当根据表层级类型判定出新增数据流对应的数据为多对一从表数据或多对多从表数据时，若数据操作类型为数据更新操作，服务器从新增数据流中提取出从表的主键字段，根据主键字段查找对应的应用搜索记录和应用引用记录，则根据更新字段对应用搜索记录中及应用引用记录中的相应字段进行字段替换更新。当数据操作类型为数据删除操作时，服务器根据主键字段查找对应的应用搜索记录和应用引用记录，并将该应用搜索记录和应用引用记录删除即可。

当根据表层级类型判定出新增数据流对应的数据为中间表时，服务器从搜索存储引擎中查找与第一应用标识对应的应用搜索表和应用引用表，服务器从新增数据流中读取中间表与多对多从表的从表关联字段，及中间表与主表的主表关联字段，服务器从应用引用表中查找与从表关联字段对应的应用引用记录，并从应用搜索表中查找与主表关联字段对应的应用搜索记录，服务器将应用搜索记录中与应用引用记录对应的字段进行删除。在从应用搜索记录中删除数据时，也可能需要进行关联计算字段的处理，当应用引用记录中存在关联计算字段时，先根据应用搜索记录中的数据和元数据结构对关联计算字段进行处理得到计算字段，再将应用搜索记录中与应用引用记录对应的字段进行删除，并根据计算字段对应用搜索记录中的未删除字段进行更新。

在一个实施例中，搜索应用数据处理方法还可以包括以下步骤：接收终端发送的数据查询指令，数据查询指令中携带第二应用标识和检索逻辑式；从搜索存储引擎中查找第二应用标识对应的应用搜索表；根据检索逻辑式，对第二应用标识对应的应用搜索表进行数据检索得到目标数据，将目标数据返回给终端

用户需要进行数据查询时，可以在终端的数据检索页面选择需要使用的目标搜索应用的第二应用标识，并输入检索逻辑式，检索逻辑式可以为简单的关键字段，也可以为关键字段与搜索条件的组合等。当用户确认检索时，终端获取用户选择的第二应用标识及输入的检索逻辑式，并根据第二应用标识和检索逻辑式生成数据查询指令发送至服务器。

服务器接收终端发送的数据查询指令，并从数据查询指令中提取第二应用标识和检索逻辑式，服务器从搜索存储引擎中查找与第二应用标识对应的应用数据表，再根据检索逻辑式对应用数据表中的数据进行检索查询，获取符合检索逻辑式的目标数据，服务器对目标数据按照预设的检索结果输入格式进行字段排序等处理，将处理后的目标数据返回给终端。通过构建搜索应用能将海量的业务数据缩小至应用数据表的数据量，从而能够达到搜索速度量级的提高。

在一个实施例中，搜索应用数据处理方法还可以包括以下应用元数据结构的创建步骤：接收终端发送的数据表选取指令，数据表选取指令中携带新建应用标识和新建数据表标识信息，查找数据表标识信息对应的数据表，获取数据表的表结构信息并返回给终端。接收终端发送的数据元信息，所述数据元信息为对所述表结构信息进行逻辑处理编辑形成的，根据数据元信息和新建应用标识生成新建元数据结构。将新建元数据结构与新建数据表标识信息进行关联存储。

在本实施例中，终端接收到表结构信息后，将表结构信息进行可视化展示，如可以以列表的形式列出字段名称，字段数据格式，并为每个字段提供编辑操作选项。其中，编辑操作选项可以包括删除、字段类型编辑、添加外链接、设置与其他表中字段的关联关系、设置分词器、设置索引等操作选项。其中，分词器为预先设定的字段数值处理逻辑，将处理逻辑进行代码化封装，使得对于各字段能够通用。例如，字段数值处理逻辑可以为将汉字转换为拼音，将字段数值中的数字和汉字分离等逻辑。设置索引为在之后根据元数据结构生成的数据表中为该字段添加索引。

用户对展示的表结构信息进行编辑操作，编辑完成并确认后，终端获取用户最终选择的表结构中的字段的编辑信息即数据元信息，用户选择编辑的每个字段称为一个数据元。服务器将数据元信息进行组装生成新建元数据结构。

在一个实施例中，服务器将新建元数据结构与新建数据表标识信息进行关联存储的步骤之后，还可以包括：从数据元信息中解析出各数据元的字段信息和索引信息，根据字段信息生成应用数据模板；在搜索存储引擎中根据应用数据模板创建与新建应用标识对应的应用数据表；根据索引信息为应用数据表创建索引。

服务器从新建元数据结构的数据元信息中解析出各数据元的字段信息和索引信息，字段信息可以包括字段名称、字段类型如整型、数值型等、字段是否为主键等信息，索引信息为是否为该数据元建立索引，此外，服务器根据获取的各数据元的字段信息创建应用数据模板，应用数据模板为数据元的字段信息集合，如可以以key-value字符串的形式进行存储。服务器根据应用数据模板中各字段的信息设定应用数据表的字段结构，应用数据表可以为excel、csv等格式的文件，若服务器使用elasticsearch搜索引擎，应用数据表可以为elasticsearch文件格式的数据表，并根据各数据元的索引信息为应用数据表中相应的字段所在的列设置索引。服务器根据第二应用标识对生成的应用数据表进行标识。

下面以一个具体的应用场景来进一步描述上述搜索应用数据处理方法：

用户设置的搜索应用的场景为查询A班级成绩大于80的学生及班主任名字，学生成绩、学生班级编号、学生姓名之间的对应信息存储在student表(学生表)中，班级编号和班主任名字的对应信息存储在class表(班级表)中，因此，构造该搜索应用的原数据结构时需要关联使用student表和class表两张表，由于student表与class表为多对一的关系，即一个班级表可以对应多张学生表，因此，设置student表为主表，class表为多对一从表，多对一从表需要在搜索存储引擎上进行备份操作，存储至该搜索应用对应的应用引用表中。

在监控到class表的数据流插入操作时，如新插入的数据流为{id:1,name:A,head_teacher:tom}时，将该数据流直接添加至搜索存储引擎的该搜索应用对应的应用引用表中。

在监控到student表的数据流插入操作时，如新插入的数据流为{id:1,name:jack,classId:1}，根据classId＝1去该搜索应用对应的应用引用表中查找class数据{id:1,name:A,head_teacher:tom}，将查找到的数据与student表新增数据流进行拼接得到应用搜索记录{id:1,name:jack,classId:1,class:{id:1,name:A,head_teacher:tom}}，根据元数据结构对拼接的数据进行计算处理(一般包括分词，计算新字段等)得到处理后的应用搜索记录{id:1,name:jack,classId:1,class:{id:1,name:A,head_teacher:tom},new_field:new_value}，其中，new_field和new_value字段根据计算处理得到的新字段。将处理后的应用搜索记录添加至该搜索应用对应的应用搜索表中。

在监控到student表的数据流更新操作时，如将学生姓名从jack更新至jackey，更新操作的数据流为{id:1,name:jackey,classId:1}，根据id＝1从搜索存储引擎中查找到应用搜索记录{id:1,name:jack,classId:1,class:{id:1,name:A,head_teacher:tom},new_field:new_value}，将姓名字段进行更新后得到{id:1,name:jackey,classId:1,class:{id:1,name:A,head_teacher:tom},new_field:new_value}。

在监控到class表的数据流更新操作时，如将班主任姓名从tom更新为tomey，更新操作的数据流为{id:1,name:head_teacher:tomey}，从搜索存储引擎中查找class.id＝1对应的应用引用记录和应用搜索记录，将{id:1,name:A,head_teacher:tom}更新为{id:1,name:A,head_teacher:tomey}，将{id:1,name:jackey,classId:1,class:{id:1,name:A,head_teacher:tom},new_field:new_value}更新为{id:1,name:jackey,classId:1,class:{id:1,name:A,head_teacher:tomey},new_field:new_value}。

当主表student表和从表class表有数据的更新操作时，及时对两张表对应的应用搜索表进行更新，应用搜索表中包含了student表及class表的关联信息，从而再对两个表中的任意字段数据查询时，直接从应用搜索表中进行索引筛选查询即可获得目标信息，无需再将两张表对照关联查询，从而提高了数据检索效率。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种搜索应用数据处理装置，包括：日志监控模,510、结构信息获取模块520、字段处理模块530和数据添加模块540，其中：

日志监控模块510，用于对数据库日志进行监控，当监测到新增数据流插入至数据库日志时，从新增数据流中读取数据表标识信息和数据操作类型。

结构信息获取模块520，用于查找数据表标识信息对应的元数据结构，获取元数据结构的第一应用标识，并从元数据结构中提取表层级信息。

字段处理模块530，用于当数据操作类型为数据插入操作时，根据元数据结构对新增数据流的数据字段进行处理生成应用元字段。

数据添加模块540，根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中。

在一个实施例中，数据添加模块540可以包括：

数据类型判断单元，用于从表层级信息中提取与数据表标识信息的对应表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据。

字段添加单元，用于当新增数据流属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用引用表，将应用元字段添加至应用引用表中。

在一个实施例中，数据添加模块540可以包括：

数据类型判断单元，用于从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据。

应用记录查找单元，用于当新增数据流不属于基础引用数据时，从搜索存储引擎中查找与第一应用标识及表层级类型对应的应用表，从应用表中查找与新增数据流对应的应用记录。

记录拼接单元，用于将应用元字段与应用记录进行拼接生成应用搜索记录，将应用搜索记录添加至搜索存储引擎中。

在一个实施例中，搜索应用数据处理装置还可以包括。

更改数据提取模块，用于当数据操作类型为数据更改操作时，从新增数据流中提取更改数据。

更改操作模块，用于根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作。

在一个实施例中，更改操作模块可以包括：

更新数据提取单元，用于从更改数据中提取出更新字段和记录标识数据。

记录查找单元，用于从应用表中查找与记录标识数据对应的应用记录。

字段更新单元，用于根据更新字段对应用记录中相应的应用字段进行数据更新。

在一个实施例中，更改操作模块可以包括：

标识数据提取单元，用于从更改数据中提取出记录标识数据。

记录删除单元，用于从应用表中查找与记录标识数据对应的应用记录并删除。

在一个实施例中，更改操作模块可以包括：

数据类型判断单元，用于从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据。

应用数据更改单元，用于当新增数据流不属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用搜索表，从应用搜索表中查找与新增数据流对应的应用搜索记录，对应用搜索记录中与更改数据对应的应用数据进行更改操作。

在一个实施例中，更改操作模块可以包括：

数据类型判断单元，用于从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据。

应用表查找单元，用于当新增数据流属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用搜索表和应用引用表。

引用记录更改单元，用于从应用引用表中查找与新增数据流对应的应用引用记录，对应用引用记录中与更改数据对应的应用数据进行更改操作。

搜索记录更改单元，用于从应用搜索表中查找与新增数据流对应的应用搜索记录，对应用搜索记录中与更改数据对应的应用数据进行更改操作。

在一个实施例中，装置还可以包括：

查询指令接收模块，用于接收终端发送的数据查询指令，数据查询指令中携带第二应用标识和检索逻辑式。

数据表搜索模块，用于从搜索存储引擎中查找第二应用标识对应的应用搜索表。

数据检索模块，用于根据检索逻辑式，对第二应用标识对应的应用搜索表进行数据检索得到目标数据，将目标数据返回给终端。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于搜索应用数据处理相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种搜索应用数据处理方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：对数据库日志进行监控，当监测到新增数据流插入至数据库日志时，从新增数据流中读取数据表标识信息和数据操作类型；查找数据表标识信息对应的元数据结构，获取元数据结构的第一应用标识，并从元数据结构中提取表层级信息；当数据操作类型为数据插入操作时，根据元数据结构对新增数据流的数据字段进行处理生成应用元字段；根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中。

在一个实施例中，处理器执行计算机程序时实现根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中的步骤时还用于：从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用引用表，将应用元字段添加至应用引用表中。

在一个实施例中，处理器执行计算机程序时实现根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中的步骤时还用于：从表层级信息中提取与数据表标识信息的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流不属于基础引用数据时，从搜索存储引擎中查找与第一应用标识及表层级类型对应的应用表，从应用表中查找与新增数据流对应的应用记录；将应用元字段与应用记录进行拼接生成应用搜索记录，将应用搜索记录添加至搜索存储引擎中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当数据操作类型为数据更改操作时，从新增数据流中提取更改数据；根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作。

在一个实施例中，处理器执行计算机程序时实现对应用表中与更改数据对应的应用数据进行更改操作的步骤时还用于：从更改数据中提取出更新字段和记录标识数据；从应用表中查找与记录标识数据对应的应用记录；根据更新字段对应用记录中相应的应用字段进行数据更新。

在一个实施例中，处理器执行计算机程序时实现对应用表中与更改数据对应的应用数据进行更改操作的步骤时还用于：从更改数据中提取出记录标识数据；从应用表中查找与记录标识数据对应的应用记录并删除。

在一个实施例中，处理器执行计算机程序时实现根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作的步骤时还用于：从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流不属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用搜索表，从应用搜索表中查找与新增数据流对应的应用搜索记录，对应用搜索记录中与更改数据对应的应用数据进行更改操作。

在一个实施例中，处理器执行计算机程序时实现根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作的步骤时还用于：从表层级信息中提取与数据表标识信息的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用搜索表和应用引用表；从应用引用表中查找与新增数据流对应的应用引用记录，对应用引用记录中与更改数据对应的应用数据进行更改操作；从应用搜索表中查找与新增数据流对应的应用搜索记录，对应用搜索记录中与更改数据对应的应用数据进行更改操作。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收终端发送的数据查询指令，数据查询指令中携带第二应用标识和检索逻辑式；从搜索存储引擎中查找第二应用标识对应的应用搜索表；根据检索逻辑式，对第二应用标识对应的应用搜索表进行数据检索得到目标数据，将目标数据返回给终端。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：对数据库日志进行监控，当监测到新增数据流插入至数据库日志时，从新增数据流中读取数据表标识信息和数据操作类型；查找数据表标识信息对应的元数据结构，获取元数据结构的第一应用标识，并从元数据结构中提取表层级信息；当数据操作类型为数据插入操作时，根据元数据结构对新增数据流的数据字段进行处理生成应用元字段；根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中。

在一个实施例中，计算机程序被处理器执行时实现根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中的步骤时还用于：从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用引用表，将应用元字段添加至应用引用表中。

在一个实施例中，计算机程序被处理器执行时实现根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中的步骤时还用于：从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流不属于基础引用数据时，从搜索存储引擎中查找与第一应用标识及表层级类型对应的应用表，从应用表中查找与新增数据流对应的应用记录；将应用元字段与应用记录进行拼接生成应用搜索记录，将应用搜索记录添加至搜索存储引擎中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当数据操作类型为数据更改操作时，从新增数据流中提取更改数据；根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作。

在一个实施例中，计算机程序被处理器执行时实现对应用表中与更改数据对应的应用数据进行更改操作的步骤时还用于：从更改数据中提取出更新字段和记录标识数据；从应用表中查找与记录标识数据对应的应用记录；根据更新字段对应用记录中相应的应用字段进行数据更新。

在一个实施例中，计算机程序被处理器执行时实现对应用表中与更改数据对应的应用数据进行更改操作的步骤时还用于：从更改数据中提取出记录标识数据；从应用表中查找与记录标识数据对应的应用记录并删除。

在一个实施例中，计算机程序被处理器执行时实现根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作的步骤时还用于：从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流不属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用搜索表，从应用搜索表中查找与新增数据流对应的应用搜索记录，对应用搜索记录中与更改数据对应的应用数据进行更改操作。

在一个实施例中，计算机程序被处理器执行时实现根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表；对应用表中与更改数据对应的应用数据进行更改操作的步骤时还用于：从表层级信息中提取与数据表标识信息对应的表层级类型，根据表层级类型判断新增数据流是否属于基础引用数据；当新增数据流属于基础引用数据时，从搜索存储引擎中查找与第一应用标识对应的应用搜索表和应用引用表；从应用引用表中查找与新增数据流对应的应用引用记录，对应用引用记录中与更改数据对应的应用数据进行更改操作；从应用搜索表中查找与新增数据流对应的应用搜索记录，对应用搜索记录中与更改数据对应的应用数据进行更改操作。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：接收终端发送的数据查询指令，数据查询指令中携带第二应用标识和检索逻辑式；从搜索存储引擎中查找第二应用标识对应的应用搜索表；根据检索逻辑式，对第二应用标识对应的应用搜索表进行数据检索得到目标数据，将目标数据返回给终端。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种搜索应用数据处理方法，所述方法包括：

对数据库日志进行监控，当监测到新增数据流插入至所述数据库日志时，从所述新增数据流中读取数据表标识信息和数据操作类型；

查找所述数据表标识信息对应的元数据结构，获取所述元数据结构的第一应用标识，并从所述元数据结构中提取表层级信息；

当所述数据操作类型为数据插入操作时，根据所述元数据结构对所述新增数据流的数据字段进行处理生成应用元字段；

根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用引用表，将所述应用元字段添加至所述应用引用表中。

3.根据权利要求1所述的方法，其特征在于，所述根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识及所述表层级类型对应的应用表，从所述应用表中查找与所述新增数据流对应的应用记录；

将所述应用元字段与所述应用记录进行拼接生成应用搜索记录，将所述应用搜索记录添加至所述搜索存储引擎中。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述数据操作类型为数据更改操作时，从所述新增数据流中提取更改数据；

根据所述表层级信息从所述搜索存储引擎中查找与所述第一应用标识对应的应用表；对所述应用表中与所述更改数据对应的应用数据进行更改操作。

5.根据权利要求4所述的方法，其特征在于，所述对所述应用表中与所述更改数据对应的应用数据进行更改操作，包括：

从所述更改数据中提取出更新字段和记录标识数据；

从所述应用表中查找与所述记录标识数据对应的应用记录；

根据所述更新字段对所述应用记录中相应的应用字段进行数据更新。

6.根据权利要求4所述的方法，其特征在于，所述对所述应用表中与所述更改数据对应的应用数据进行更改操作，包括：

从所述更改数据中提取出记录标识数据；

从所述应用表中查找与所述记录标识数据对应的应用记录并删除。

7.根据权利要求4所述的方法，其特征在于，所述根据所述表层级信息从所述搜索存储引擎中查找与所述第一应用标识对应的应用表；对所述应用表中与所述更改数据对应的应用数据进行更改操作，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用搜索表，从所述应用搜索表中查找与所述新增数据流对应的应用搜索记录，对所述应用搜索记录中与所述更改数据对应的应用数据进行更改操作。

8.根据权利要求4所述的方法，其特征在于，所述根据所述表层级信息从所述搜索存储引擎中查找与所述第一应用标识对应的应用表；对所述应用表中与所述更改数据对应的应用数据进行更改操作，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用搜索表和应用引用表；

从所述应用引用表中查找与所述新增数据流对应的应用引用记录，对所述应用引用记录中与所述更改数据对应的应用数据进行更改操作；

从所述应用搜索表中查找与所述新增数据流对应的应用搜索记录，对所述应用搜索记录中与所述更改数据对应的应用数据进行更改操作。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收终端发送的数据查询指令，所述数据查询指令中携带第二应用标识和检索逻辑式；

从所述搜索存储引擎中查找所述第二应用标识对应的应用搜索表；

根据所述检索逻辑式，对所述第二应用标识对应的应用搜索表进行数据检索得到目标数据，将所述目标数据返回给所述终端。

10.一种搜索应用数据处理装置，其特征在于，所述装置包括：

日志监控模块，用于对数据库日志进行监控，当监测到新增数据流插入至所述数据库日志时，从所述新增数据流中读取数据表标识信息和数据操作类型；

结构信息获取模块，用于查找所述数据表标识信息对应的元数据结构，获取所述元数据结构的第一应用标识，并从所述元数据结构中提取表层级信息；

字段处理模块，用于当所述数据操作类型为数据插入操作时，根据所述元数据结构对所述新增数据流的数据字段进行处理生成应用元字段；

数据添加模块，用于根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中。

11.根据权利要求10所述的装置，所述数据添加模块包括：

数据类型判断单元，用于从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

字段添加单元，用于当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用引用表，将所述应用元字段添加至所述应用引用表中。

12.根据权利要求10所述的装置，所述数据添加模块包括：

数据类型判断单元，用于从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

应用记录查找单元，用于当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识及所述表层级类型对应的应用表，从所述应用表中查找与所述新增数据流对应的应用记录；

记录拼接单元，用于将所述应用元字段与所述应用记录进行拼接生成应用搜索记录，将所述应用搜索记录添加至所述搜索存储引擎中。

13.根据权利要求10所述的装置，所述装置还包括：

更改数据提取模块，用于当所述数据操作类型为数据更改操作时，从所述新增数据流中提取更改数据；

更改操作模块，用于根据所述表层级信息从所述搜索存储引擎中查找与所述第一应用标识对应的应用表；对所述应用表中与所述更改数据对应的应用数据进行更改操作。

14.根据权利要求13所述的装置，所述更改操作模块包括：

更新数据提取单元，用于从所述更改数据中提取出更新字段和记录标识数据；

记录查找单元，用于从所述应用表中查找与所述记录标识数据对应的应用记录；

字段更新单元，用于根据所述更新字段对所述应用记录中相应的应用字段进行数据更新。

15.根据权利要求13所述的装置，所述更改操作模块包括：

标识数据提取单元，用于从所述更改数据中提取出记录标识数据；

记录删除单元，用于从所述应用表中查找与所述记录标识数据对应的应用记录并删除。

16.根据权利要求13所述的装置，所述更改操作模块包括：

数据类型判断单元，用于从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

应用数据更改单元，用于当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用搜索表，从所述应用搜索表中查找与所述新增数据流对应的应用搜索记录，对所述应用搜索记录中与所述更改数据对应的应用数据进行更改操作。

17.根据权利要求13所述的装置，所述更改操作模块包括：

数据类型判断单元，用于从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

应用表查找单元，用于当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用搜索表和应用引用表；

引用记录更改单元，用于从所述应用引用表中查找与所述新增数据流对应的应用引用记录，对所述应用引用记录中与所述更改数据对应的应用数据进行更改操作；

搜索记录更改单元，用于从所述应用搜索表中查找与所述新增数据流对应的应用搜索记录，对所述应用搜索记录中与所述更改数据对应的应用数据进行更改操作。

18.根据权利要求10所述的装置，所述装置还包括：

查询指令接收模块，用于接收终端发送的数据查询指令，所述数据查询指令中携带第二应用标识和检索逻辑式；

数据表搜索模块，用于从所述搜索存储引擎中查找所述第二应用标识对应的应用搜索表；

数据检索模块，用于根据所述检索逻辑式，对所述第二应用标识对应的应用搜索表进行数据检索得到目标数据，将所述目标数据返回给所述终端。

19.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。