CN110188113B - 一种利用复杂表达式进行数据比对的方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种利用复杂表达式进行数据比对的方法，包括以下步骤：S1：获取包括结构化数据和非结构化数据的基础数据；S2：选择结构化数据和非结构化数据中的数据作为子表达式，并通过逻辑运算符构造成复杂表达式，其中子表达式包括取自结构化数据的第一子表达式以及取自非结构化数据的第二子表达式，第一子表达式被用于精确匹配，第二子表达式被用于关键词匹配；S3：将子表达式分别进行比对获得比对情况；以及S4：根据比对情况通过表达式引擎对复杂表达式进行计算，得到数据的比对结果。在数据种类繁多、格式多样化的情况下实现复杂表达式实时、快速比对。既可以做到精确匹配，也可以非结构化的关键词匹配，为将来应用提供更精确有效的信息。

Description

一种利用复杂表达式进行数据比对的方法、装置及存储介质

技术领域

本发明涉及数据筛选领域，具体涉及一种利用复杂表达式进行数据比对的方法、装置及存储介质。

背景技术

在大数据时代的今天，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。以往的单一数据比对非常具有局限性，对于复杂的数据比对已经无法适用。客户需要更精准的定位，提高精确度，既能满足多种数据筛选也能进行对非结构化数据的比对，从而将数据范围缩小到一定范围，能够得到更精准的定位，为今后的智能应用提供强有力的支持。

而且随着科学技术发展，数据种类繁多数据量大，数据格式越发变得更多样化，实时数据比对在实战中显得越发重要，单一的结构化或非结构化数据比对已不能满足客户的实战需要。

目前数据清洗领域里面都只是对于数据的单一化比对，结构化数据采用精确比，非结构化数据采用关键词匹配。对于复杂多样化数据就需要复杂化比对来进行对数据的处理提取，因此，提出一种通过复杂表达式来达到更精确比对提取更有效的信息是非常具有意义的。

发明内容

针对上述单一化数据比对的不足，本文提出了一种利用复杂表达式进行数据比对的方法，包括以下步骤：

S1：获取包括结构化数据和非结构化数据的基础数据；

S2：选择结构化数据和非结构化数据中的数据作为子表达式，并通过逻辑运算符构造成复杂表达式，其中子表达式包括取自结构化数据的第一子表达式以及取自非结构化数据的第二子表达式，第一子表达式被用于精确匹配，第二子表达式被用于关键词匹配；

S3：将子表达式分别进行比对获得比对情况；以及

S4：根据比对情况通过表达式引擎对复杂表达式进行计算，得到数据的比对结果。

进一步地，步骤S2与步骤S3之间还包括：S5：将子表达式以键值的方式缓存到第一数据库；以及S6：将第二子表达式中的所有关键词缓存到第二数据库，以用于构造查询器。

通过构造好所有关键词的查询器，可以大大提高后继使用查询器算法进行关键词匹配的效率。

进一步地，步骤S5中的子表达式的缓存方式包括：S51：将子表达式作为key，子表达式对应的复杂表达式作为value形成第一键值对进行缓存；或S52：将子表达式作为key，子表达式的运算符作为value形成第二键值对，再将子表达式的键值作为key，第二键值对作为value形成第三键值对进行缓存。

因此方便对子表达式进行调取，并对实时数据进行子表达式比对，运算符缓存也可以提高比对效率。

更进一步地，步骤S3包括：S31：将第一子表达式的key与缓存的键值进行遍历比对，并判断是否获得比对结果，是则返回True并将比对结果存储到第三数据库，否则返回False；以及S32：通过查询器对第二子表达式中相应的关键词进行比对，并判断是否获得比对结果，是则返回True并将比对结果存储到第三数据库，否则返回False。

因此，将缓存后的子表达式使用查询器比对，便于数据实时比对使用。

更进一步地，步骤S4包括：

S41：初始化将复杂表达式中的子表达式赋值为False；S42：对步骤S41处理后的复杂表达式根据步骤S3中的比对情况返回将相应的子表达式设置为True或False；以及S43：利用表达式引擎对步骤S42处理后的复杂表达式进行验证，判断复杂表达式中的所有子表达式是否逻辑运算符所建立的条件，是则将第三数据库中的比对结果进行提取，否则返回False。

子表达式加载与缓存之后可对子表达式进行实时比对，由于关键词、子表达式和逻辑运算符缓存过后，可以通过查询器进行多模式快速匹配。再通过表达式引擎对满足逻辑运算符所建立的条件进行比对，以判断子表达式之间是否存在一定的逻辑关系，进而在应用中进行更有效的信息提取。

更进一步地，表达式引擎包括MVEL、JSEL、Aviator或FEL表达式引擎。根据不同的系统或应用环境可选择不同的表达式引擎，应用性广，灵活性高。

更进一步地，构造查询器采用包括KMP算法、WM算法或AC算法。同样根据不同的应用环境选择不同的查询器算法，灵活性好，应用范围广。

本发明还提出了一种利用复杂表达式进行数据比对的装置，包括：

获取模块，用于获取包括结构化数据和非结构化数据的基础数据；

构造表达式模块，用于选择结构化数据和非结构化数据中的数据作为子表达式，并通过逻辑运算符构造成复杂表达式，其中子表达式包括取自结构化数据的第一子表达式以及取自非结构化数据的第二子表达式，第一子表达式被用于精确匹配，第二子表达式被用于关键词匹配；

子表达式比对模块，用于将子表达式分别进行比对获得比对情况；

复杂表达式验证模块，用于根据比对情况通过表达式引擎对复杂表达式进行计算，得到数据的比对结果。

进一步地，还包括：

缓存模块，用于将子表达式以及第二子表达式中的所有关键词进行缓存；

构造查询器模块，用于将第二子表达式中的所有关键词缓存到第二数据库，以用于构造查询器。

更进一步地，表达式引擎包括MVEL、JSEL、Aviator或FEL表达式引擎。

更进一步地，构造查询器采用包括KMP算法、WM算法或AC算法。

本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述的方法。

本发明公开了一种利用复杂表达式进行数据比对的方法，通过构建由结构化数据和非结构化数据中的数据作为子表达式以及逻辑运算符构造成复杂表达式，通过表达式引擎对复杂表达式进行比对，可以解决传统的单一比对方式，在大数据情况下既能做到更精确的比对定位，又可做到快速的实时比对，使用逻辑表达式更可灵活配置比对线索。在数据量巨大、数据种类繁多、数据格式多样化的情况下实现复杂的表达式实时、快速比对。既可以做到精确匹配，也可以并行非结构化的关键词匹配，为将来应用提供更精确有效的信息。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2为本发明的实施例的利用复杂表达式进行数据比对的方法的流程示意图；

图3为本发明的实施例的步骤S2与步骤S3之间的流程示意图；

图4为本发明的实施例的步骤S5的流程示意图；

图5为本发明的实施例的步骤S3的流程示意图；

图6为本发明的实施例的步骤S4的流程示意图；

图7为本发明的实施例的利用复杂表达式进行数据比对的装置的示意图；

图8是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示出了可以应用本申请实施例的利用复杂表达式进行数据比对的方法或利用复杂表达式进行数据比对的装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果(例如包含标准标题行和对应的分段包含的数据的标准文件)。

需要说明的是，本申请实施例所提供的利用复杂表达式进行数据比对的方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，利用复杂表达式进行数据比对的装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述系统架构可以不包括网络，而只需服务器或终端设备。

本文提出了一种利用复杂表达式进行数据比对的方法，如图2所示，包括以下步骤：

S1：获取包括结构化数据和非结构化数据的基础数据。基础数据可以来自于各种设备提取的结构化数据和非结构化数据。结构化数据就是存储在数据库里可以用二维表结构来逻辑表达实现的数据。非结构化数据包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等，在本实施例中，非结构化数据优选为可以用关键词匹配的数据。实时基础数据通过map存储。

S2：选择结构化数据和非结构化数据中的数据作为子表达式，并通过逻辑运算符构造成复杂表达式，其中子表达式包括取自结构化数据的第一子表达式以及取自非结构化数据的第二子表达式，第一子表达式被用于精确匹配，第二子表达式被用于关键词匹配。

复杂表达式由逻辑表达式组成，复杂表达式支持与(&&)、或(||)、非(！)，例如复杂表达式为：exp＝((v1＝1||v1＝2)&&k！＝c)，其中复杂表达式可以分为v和k两大部分组成，v为结构化数据的精确匹配的表达式，k为非结构化数据的关键词匹配的。其中v1＝1、v1＝2为第一子表达式，k！＝c为第二子表达式。＝、！＝则为子表达式对应的运算符；||、&&为复杂表达式内部的逻辑运算符。v1、v2、k则为子表达式对应的键值，1、2、c则为子表达式对应的值。下面以此为例进行描述。

在具体的实施例中，如图3所示，步骤S2与步骤S3之间还包括：

S5：将子表达式以键值的方式缓存到第一数据库；

具体地，如图4所示，步骤S5中的子表达式的缓存方式具体包括：

S51：将子表达式作为key，子表达式对应的复杂表达式作为value形成第一键值对进行缓存；即示例中第一键值对为{{v1＝1、v1＝2、k！＝c},{(v1＝1||v1＝2)&&k！＝c}}。

或者S52：将子表达式作为key，子表达式的运算符作为value形成第二键值对，再将子表达式的键值作为key，第二键值对作为value形成第三键值对进行缓存。即示例中第二键值对可以设为{v1＝1,＝}、{v1＝2,＝}、{k！＝c,！＝}，第三键值对可以设为{v1,{{v1＝1,＝},{v1＝2,＝}}}。

因此这样可以有效对子表达式进行调取和加载，并对实时数据进行子表达式比对，将逻辑运算符缓存也可以提高比对效率。

S6：将第二子表达式中的所有关键词缓存到第二数据库，以用于构造查询器。在可选的实施例中，构造查询器采用包括KMP算法、WM算法或AC算法。在优选的实施例中，构造查询器优选采用AC算法。

子表达式和关键词缓存后可以对子表达式和关键词进行实时调取，通过构造好所有关键词的查询器，可以大大提高后继使用查询器算法进行关键词匹配的效率。

S3：将子表达式分别进行比对获得比对情况。

如图5所示，步骤S3具体包括以下步骤：

S31：将第一子表达式的key与缓存的键值进行遍历比对，并判断是否获得比对结果，是则返回True并将比对结果存储到第三数据库，否则返回False；即假设示例中第一子表达式v1＝1的比对结果为True，v1＝2的比对结果为False。

以及S32：通过查询器对第二子表达式中相应的关键词进行比对，并判断是否获得比对结果，是则返回True并将比对结果存储到第三数据库，否则返回False。即假设示例中第二子表达式k！＝c的关键词比对结果为True。

因此，将缓存后的子表达式使用查询器比对，便于数据实时比对使用。

S4：根据比对情况通过表达式引擎对复杂表达式进行验证，验证子表达式是否满足逻辑运算符所建立的条件。

如图6所示，步骤S4具体包括以下步骤：

S41：初始化将复杂表达式中的子表达式赋值为False；即示例中复杂表达式{(v1＝1||v1＝2)&&k！＝c}赋值为{(False||False)&&False}。

S42：对步骤S41处理后的复杂表达式根据步骤S3中的比对情况返回将相应的子表达式设置为True或False；即示例中设置为{(True||False)&&True}。

S43：利用表达式引擎对步骤S42处理后的复杂表达式进行计算，得到数据的比对结果。计算结果为True则将第三数据库中的比对结果进行提取，否则返回False。在可选的实施例中，表达式引擎包括MVEL、JSEL、Aviator或FEL表达式引擎。在优选的实施例中，表达式引擎优选为FEL表达式引擎。假设采用FEL表达式引擎进行计算该复杂表达式的结果为True，则复杂表达式中的所有子表达式所包含的数据的比对结果就得出来，因此将子表达式v1＝1、v1＝2以及k！＝c的值以及它们之间的关系建立起来，获得结构化数据和非结构化数据之间的比对结果，。

子表达式加载与缓存之后可对子表达式进行实时比对，由于关键词、子表达式和逻辑运算符缓存过后，可以通过查询器进行多模式快速匹配。再通过表达式引擎对以此建立的复杂表达式进行计算，以判断复杂表达式所包含的子表达式之间的比对结果，进而在应用中进行更有效的信息提取。

本发明还提出了一种利用复杂表达式进行数据比对的装置200，如图7所示，包括：

获取模块201，配置用于获取包括结构化数据和非结构化数据的基础数据；

构造表达式模块202，配置用于选择结构化数据和非结构化数据中的数据作为子表达式，并通过逻辑运算符构造成复杂表达式，其中子表达式包括取自结构化数据的第一子表达式以及取自非结构化数据的第二子表达式，第一子表达式被用于精确匹配，第二子表达式被用于关键词匹配；

子表达式比对模块203，配置用于将子表达式分别进行比对获得比对情况；

复杂表达式验证模块204，配置用于根据比对情况通过表达式引擎对复杂表达式进行计算，得到数据的比对结果。

在具体的实施例中，装置200还包括：

缓存模块205，用于将子表达式以及第二子表达式中的所有关键词进行缓存；

构造查询器模块206，用于将第二子表达式中的所有关键词缓存到第二数据库，以用于构造查询器。

在具体的实施例中，表达式引擎包括MVEL、JSEL、Aviator或FEL表达式引擎。在优选的实施例中，表达式引擎选择FEL表达式引擎。

在具体的实施例中，构造查询器采用包括KMP算法、WM算法或AC算法。在优选的实施例中，构造查询器优选采用AC算法。

下面参考图8，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机系统800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也可以根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、确定模块和确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取包括多个行和多个列的目标文件的模块”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取包括多个行和多个列的目标文件；基于多个行，确定至少一个标题行，其中，标题行对应于目标文件包括的分段，标题行包括至少一个标题项目；对于至少一个标题行中的每个标题行，基于该标题行包括的标题项目，确定该标题行对应的分段的数据类型；获取预设的、与所确定的数据类型对应的标题库；将该标题行与所获取的标题库比对；基于比对结果，生成该标题行对应的、包含标准标题行和对应的分段包含的数据的标准文件。

本发明公开了一种利用复杂表达式进行数据比对的方法，本发明主要结合查询器算法及表达式引擎，在大数据场景下实现结构化及非结构化数据的快速实时比对，并且使用逻辑表达式实现复杂表达式的灵活配置。既可以解决传统的单一比对方式，能在实战应用中进行更有效数据信息提取，使用复杂逻辑表达式可更加灵活配置比对线索，挖掘出更有价值的数据。使用者可以根据所需内容自行设置各个简易程度的表达式，既能满足单一化条件，又能设置复杂、多元化条件的复杂表达式，从数据体量大、数据类型繁多、价值密度低的大数据中实时、快速挖掘出更有使用价值的数据，在将来各个领域实战中具有重大意义。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种利用复杂表达式进行数据比对的方法，其特征在于，包括以下步骤：

S1：获取包括结构化数据和非结构化数据的基础数据；

S2：选择所述结构化数据和所述非结构化数据中的数据作为子表达式，并通过逻辑运算符构造成复杂表达式，其中所述子表达式包括取自所述结构化数据的第一子表达式以及取自所述非结构化数据的第二子表达式，所述第一子表达式被用于精确匹配，所述第二子表达式被用于关键词匹配；

S3：将所述子表达式分别进行比对获得比对情况；

所述步骤S2与步骤S3之间还包括：

S5：将所述子表达式以键值的方式缓存到第一数据库；以及

S6：将所述第二子表达式中的所有关键词缓存到第二数据库，以进行构造查询器；

其中，所述步骤S3包括：

S31：将待比对的所述第一子表达式的key与缓存的所述键值进行遍历比对，并判断是否获得比对结果，是则返回True并将比对结果存储到第三数据库，否则返回False；以及

S32：通过所述查询器对所述第二子表达式中相应的关键词进行比对，并判断是否获得比对结果，是则返回True并将比对结果存储到第三数据库，否则返回False；以及

S4：根据所述比对情况通过表达式引擎对所述复杂表达式进行计算，得到所述数据的比对结果。

2.根据权利要求1所述的利用复杂表达式进行数据比对的方法，其特征在于，所述步骤S5中的所述子表达式的缓存方式包括：

S51：将所述子表达式作为key，所述子表达式对应的所述复杂表达式作为value形成第一键值对进行缓存；或

S52：将所述子表达式作为key，所述子表达式的运算符作为value形成第二键值，再将所述子表达式的键值作为key，所述第二键值对作为value形成第三键值对进行缓存。

3.根据权利要求1所述的利用复杂表达式进行数据比对的方法，其特征在于，所述步骤S4包括：

S41：初始化将所述复杂表达式中的所述子表达式赋值为False；

S42：对步骤S41处理后的复杂表达式根据所述步骤S3中的比对情况返回将相应的所述子表达式设置为True或False；以及

S43：利用表达式引擎对所述步骤S42处理后的复杂表达式进行验证，判断所述复杂表达式中的所有子表达式是否符合所述逻辑运算符所建立的条件，是则将所述第三数据库中的所述比对结果进行提取，否则返回False。

4.根据权利要求1所述的利用复杂表达式进行数据比对的方法，所述表达式引擎包括MVEL、JSEL、Aviator或FEL表达式引擎。

5.根据权利要求1所述的利用复杂表达式进行数据比对的方法，其特征在于，构造所述查询器采用包括KMP算法、WM算法或AC算法。

6.一种利用复杂表达式进行数据比对的装置，其特征在于，包括：

获取模块，用于获取包括结构化数据和非结构化数据的基础数据；

构造表达式模块，用于选择所述结构化数据和所述非结构化数据中的数据作为子表达式，并通过逻辑运算符构造成复杂表达式，其中所述子表达式包括取自所述结构化数据的第一子表达式以及取自所述非结构化数据的第二子表达式，所述第一子表达式被用于精确匹配，所述第二子表达式被用于关键词匹配；子表达式比对模块，用于将所述子表达式分别进行比对获得比对情况；

第一缓存模块，用于将所述子表达式以键值的方式缓存到第一数据库；

以及构造查询器模块，用于将所述第二子表达式中的所有关键词缓存到第二数据库，以进行构造查询器；

将待比对的所述第一子表达式的key与缓存的所述键值进行遍历比对，并判断是否获得比对结果，是则返回True并将比对结果存储到第三数据库，否则返回False；以及通过所述查询器对所述第二子表达式中相应的关键词进行比对，并判断是否获得比对结果，是则返回True并将比对结果存储到第三数据库，否则返回False；和

复杂表达式验证模块，用于根据所述比对情况通过表达式引擎对所述复杂表达式进行计算，得到所述数据的比对结果。

7.根据权利要求6所述的利用复杂表达式进行数据比对的装置，其特征在于，所述表达式引擎包括MVEL、JSEL、Aviator或FEL表达式引擎。

8.根据权利要求6所述的利用复杂表达式进行数据比对的装置，其特征在于，构造所述查询器采用包括KMP算法、WM算法或AC算法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images