CN117033454A - 数据处理方法、装置、设备及介质 - Google Patents

Abstract

本发明提供了一种数据处理方法、装置、设备及介质。通过在接收到用于在业务数据库中查询数据的数据查询请求时，获取数据查询请求所携带的数据查询信息，从而从元信息数据库中获取与数据查询信息所指示的目标业务字段具有关联关系的关联业务字段，将目标业务字段和关联业务字段作为待查询业务字段，进而从业务数据库中获取待查询业务字段所对应的业务数据，作为候选业务数据，以基于数据查询信息所包括的查询参数对候选业务数据进行筛选，以得到目标业务数据。通过上述方案，每次查询数据时均可以基于元信息数据库实现关联业务字段的获取，从而可以基于目标业务字段和关联业务字段实现数据查询，使得数据查询逻辑可以标准化，提高数据查询效率。

Description

数据处理方法、装置、设备及介质

技术领域

本发明的实施方式涉及数据处理技术领域，更具体地，本发明的实施方式涉及一种数据处理方法、装置、设备及介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着数字化时代的到来，互联网数据量呈指数级增长，传统的文件系统已经无法满足庞大的数据存储需求，在这种情况下，数据库作为一种能够有效地存储和管理大规模结构化数据的数据存储结构，其应用日益广泛。

一般情况下，数据库中所存储的数据量较大，而数据库查询作为一种允许用户从大量数据中提取和检索特定数据的手段，有助于定位和检索实际需要的数据，可以有效提高数据获取效率。因此，亟需一种数据处理方法，以在数据库中方便快捷地实现数据查询，提高数据查询效率。

发明内容

在本上下文中，本发明的实施方式期望提供一种数据处理方法、装置、设备及介质，以提供一种可以在数据库中方便快捷地实现数据查询的方式，提高数据查询效率。

在本发明实施方式的第一方面中，提供了一种数据处理方法，该方法包括：

响应于接收到用于在业务数据库中查询数据的数据查询请求，获取数据查询请求所携带的数据查询信息，数据查询信息包括待查询的目标业务字段以及用于对业务数据库中的业务数据进行数据筛选的查询参数；

从用于记录业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与目标业务字段具有关联关系的关联业务字段，将目标业务字段和关联业务字段作为待查询业务字段；

从业务数据库中获取待查询业务字段所对应的业务数据，作为候选业务数据；

基于查询参数对候选业务数据进行筛选，以得到目标业务数据。

在本发明的一个实施例中，业务数据库中包括多个业务数据表，元信息数据库中包括多个信息集，不同信息集由来自不同业务数据表的业务字段组成，对于任一信息集，信息集中还记录有与组成信息集的业务字段具有引用关系的引用业务字段，每个信息集对应于一个主业务数据表；

从用于记录业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与目标业务字段具有关联关系的关联业务字段，包括：

从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表；

从元信息数据库中获取来自目标信息集所对应的主业务数据表的候选业务字段，并获取与候选业务字段具有引用关系的候选业务字段，将所获取到的候选业务字段作为与目标业务字段具有关联关系的关联业务字段。

在本发明的一个实施例中，该方法还包括：

预先对元信息数据库中的多个信息集进行缓存；

从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表之前，该方法还包括：

检测缓存中是否存储有目标信息集；

若缓存中存储有目标信息集，则从缓存中获取目标信息集，并获取目标信息集所对应的主业务数据表；

若缓存中未存储有目标信息集，则执行从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表的步骤。

在本发明的一个实施例中，元信息数据库为预先构建好的，元信息数据库的构建过程包括：

基于业务查询需求，将业务数据库中对应于同一业务查询需求的业务数据表整合成一个信息集；

对于任一信息集，基于业务数据库中各个业务字段之间的引用关系，获取信息集中的每个业务字段对应的引用业务字段。

在本发明的一个实施例中，该方法还包括：

响应于在业务数据库中的更新操作，基于更新操作所指示的目标业务数据表，从元信息数据库中确定目标业务数据表所属的待更新信息集，并获取待更新信息集所对应的主业务数据表；

从主业务数据表中，获取发生更新操作的待更新业务字段以及待更新业务字段的业务数据；

按照更新操作的指示，对待更新业务字段的业务数据进行更新。

在本发明的一个实施例中，按照更新操作的指示，对待更新业务字段的业务数据进行更新之后，该方法还包括：

按照元信息数据库中更新后的业务数据，对已缓存的信息集进行更新。

在本发明的一个实施例中，该方法还包括：

预先将业务数据库中的全量业务数据缓存到业务数据库中的每个数据库节点上；

从业务数据库中获取待查询业务字段所对应的业务数据之前，该方法还包括：

在接收到数据查询请求的数据库节点的缓存中进行查询；

若缓存中存储有待查询业务字段所对应的业务数据，则从缓存中获取待查询业务字段所对应的业务数据；

若缓存中未存储有待查询业务字段所对应的业务数据，则执行从业务数据库中获取待查询业务字段所对应的业务数据的步骤。

在本发明实施方式的第二方面中，提供了一种数据处理装置，该装置包括：

信息获取模块，用于响应于接收到用于在业务数据库中查询数据的数据查询请求，获取数据查询请求所携带的数据查询信息，数据查询信息包括待查询的目标业务字段以及用于对业务数据库中的业务数据进行数据筛选的查询参数；

字段获取模块，用于从用于记录业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与目标业务字段具有关联关系的关联业务字段，将目标业务字段和关联业务字段作为待查询业务字段；

数据获取模块，用于从业务数据库中获取待查询业务字段所对应的业务数据，作为候选业务数据；

筛选模块，用于基于查询参数对候选业务数据进行筛选，以得到目标业务数据。

在本发明实施方式的第三方面中，提供了一种计算设备，计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述第一方面以及第一方面中任一项所描述的数据处理方法所执行的操作。

在本发明实施方式的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有程序，程序被处理器执行如上述第一方面以及第一方面中任一项所描述的数据处理方法所执行的操作。

通过本发明所提供的方案，每次查询数据时均可以基于元信息数据库实现关联业务字段的获取，从而可以基于目标业务字段和关联业务字段实现数据查询，使得数据查询/更新逻辑可以标准化，以提高数据查询效率，而且，数据查询/更新逻辑的标准化可以避免与某一类型数据库的强绑定，从而可以兼容多种数据结构定义的动态调整，不仅可以适配不同数据源的数据持久化实现，同时还有利于业务系统在未来可以快速迭代升级数据处理能力。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是本发明根据一示例性实施例示出的一种数据处理方法的流程图。

图2是本发明根据一示例性实施例示出的一种候选业务数据的获取过程的流程示意图。

图3是本发明根据一示例性实施例示出的一种元信息数据库的更新过程的流程图。

图4是本发明根据一示例性实施例示出的一种元信息数据库的更新过程的流程示意图。

图5是本发明根据一示例性实施例示出的一种数据处理装置的框图。

图6是本发明根据一示例性实施例示出的一种计算机可读存储介质的示意图。

图7是本发明根据一示例性实施例示出的一种计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种数据处理方法、装置、设备及介质。

发明概述

本发明人发现，相关技术中，如果要完成在数据库中的数据查询操作，往往需要预先对待查询的数据库进行实体-关系(Entity-Relationship，ER)建模，以明确数据库中不同实体之间的关系，以便可以基于实体之间的关系生成用于查询不同数据的代码，从而可以通过运行代码实现对数据的查询。其中，实体是数据信息的逻辑结合体，可以由多个实体字段(Field)组成，在关系型数据库中，一个数据表即可作为一个实体，实体字段基本等价于关系数据库中的表字段。

但是，上述方案中用于实现数据查询的代码与数据库设计是强绑定的，需要根据数据库的ER建模结果定制化地进行代码的生成，从而使得上述查询过程只能静态化处理数据，一旦数据库的数据结构发生调整，则依据原有数据结构定制化生成的代码就无法顺利运行，从而导致数据查询失败。

有鉴于此，本发明期望提供一种数据处理方法，用于实现在数据库中的数据查询操作，并保证在数据库的数据结构发生调整的情况下，仍能保障数据查询过程的顺利实现。

应用场景概述

本发明所提供的数据处理方法，可以用于在多种类型的数据库中实现数据查询，例如，可以通过本发明所提供的数据处理方法，在层次数据库、网状数据库、面向对象数据库、文档数据库、列式存储数据库等多种类型的数据库中实现数据查询，本发明对具体应用于哪种数据库不加以限定。

上述数据处理方法可以由计算设备执行，计算设备可以为服务器，如一台服务器、多台服务器、服务器集群、云计算平台，等等，本发明对计算设备的设备类型不加以限定。

需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制，相反，本发明的实施方式可以应用于适用的任何场景。

示例性方法

下面结合上述有关应用场景的介绍，来对本发明所提供的数据处理方法进行详细介绍。

参见图1，图1是本发明根据一示例性实施例示出的一种数据处理方法的流程图，如图1所示，该方法包括：

S101、响应于接收到用于在业务数据库中查询数据的数据查询请求，获取数据查询请求所携带的数据查询信息，数据查询信息包括待查询的目标业务字段以及用于对业务数据库中的业务数据进行数据筛选的查询参数。

需要说明的是，数据查询请求可以由用户通过终端设备触发，例如，用户可以在有数据查询需求时，通过终端设备触发数据查询请求，并由终端设备将该数据查询请求发送给计算设备，以便计算设备可以接收到数据查询请求，从而基于所接收到的数据查询请求在业务数据库中进行查询。

其中，业务数据库在对业务数据进行存储时，可以根据数据的含义确定其所对应的业务字段(或称实体字段)，从而可以通过不同的业务字段实现对不同含义的数据的存储。例如，对于用于描述产品产量的数据，可以在业务数据库中维护一个产量字段，从而通过产量字段实现对用于描述产品产量的数据的存储。

基于此，在触发数据查询请求时，可以根据需要查询的数据的含义，设置需要查询的目标业务字段，以基于所指定的目标业务字段生成用于获取目标业务字段所对应的业务数据的数据查询请求，以便计算设备可以基于所接收到的数据查询请求，在业务数据的目标业务字段所对应的数据中进行查询。

然而，业务数据库中所存储的数据较多，即使指定了目标业务字段，也并非目标业务字段所对应的业务数据都是查询所需的，因此，在触发数据查询请求时，还可以根据需要查询的数据的属性特性，确定用于对业务数据库中的业务数据进行数据筛选的查询参数。例如，对于数值型数据，可以根据需要查询的业务数据的取值范围，以实现查询参数的确定；对于字符型数据，可以根据需要查询的业务数据中所包括的指定字符，以实现查询参数的确定，等等。

其中，查询参数可以对应于至少一个业务字段。由于数据之间的相关性或层级关系，从而使得某些业务字段之间可能是相关联的，因而，在确定查询参数时，所确定的查询参数所对应的业务字段可以为目标业务字段，或者，所确定的查询参数所对应的业务字段可以为目标业务字段的关联业务字段。

通过设置查询参数，以便可以基于所设置的查询参数实现数据查询请求的生成，从而使得计算设备可以基于所接收到的数据查询请求，从业务数据库的业务数据中筛选出需要获取的那部分数据。

S102、从用于记录业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与目标业务字段具有关联关系的关联业务字段，将目标业务字段和关联业务字段作为待查询业务字段。

需要说明的是，可以预先构建一个元信息数据库，以通过元信息数据库记录业务数据所包括的业务字段之间的关联关系，以便在获取到数据查询请求所携带的数据查询信息后，基于数据查询信息所包括的目标业务字段，实现目标业务字段所对应的关联业务字段的获取，以便可以将目标业务字段和其所对应的关联业务字段共同作为待查询业务字段。

S103、从业务数据库中获取待查询业务字段所对应的业务数据，作为候选业务数据。

S104、基于查询参数对候选业务数据进行筛选，以得到目标业务数据。

通过上述方案，每次查询数据时均可以基于元信息数据库实现关联业务字段的获取，从而可以基于目标业务字段和关联业务字段实现数据查询，使得数据查询/更新逻辑可以标准化，以提高数据处理能力，而且，而且，数据查询/更新逻辑的标准化可以避免与某一类型数据库的强绑定，从而可以兼容多种数据结构定义的动态调整，不仅可以适配不同数据源的数据持久化实现，同时还有利于业务系统在未来可以快速迭代升级数据处理能力。

在介绍了本发明的基本实现过程之后，下面对本发明的各个可选实施方式进行介绍。

其中，元信息数据库可以是预先构建好的，以为数据查询过程的顺利实现提供有效的保障。下面先对元信息数据库的构建过程进行介绍。

在一些实施例中，可以基于业务数据库中存储的业务数据所对应的业务字段定义数据元信息。元信息是用于描述数据特征和属性的数据，可以提供关于数据的上下文信息和属性信息的描述。例如，元信息可以用于指示业务字段的数据类型，数据类型包括但不限于值类型和引用类型，若某

个业务字段的数据类型为值类型，则表明该业务字段与其他业务字段之间没有引用关系，若某个业务字段的数据类型为引用类型，则表明该业务字段会引用其他业务字段。

其中，值类型可以直接通过数据库内容呈现，用于表示数据库内容的数据表现形式，数据被存储到数据库后，即可根据所存储的数据的数据表现形式实现数据值类型的获取。可选地，值类型可以包括文本、数字、日期等，本发明对值类型的具体内容不加以限定。

引用类型用于指示不同业务字段之间的引用关系。例如，对于任一业务字段，在定义该业务字段的引用类型时，可以通过保存该业务字段所引用的业务字段(或称被引用业务字段)的标识信息，以实现对该业务字段的引用类型的定义。可选地，标识信息可以为被引用业务字段的标识(如主键ID)，或者，标识信息可以为被引用业务字段的编码，等等。

在定义了业务数据库中各个业务字段的元信息之后，可以通过如下步骤实现元信息数据库的构建：

步骤一、基于业务查询需求，将业务数据库中对应于同一业务查询需求的业务数据表整合成一个信息集。

需要说明的是，业务数据库中可以包括多个业务数据表，这多个业务数据表可以用于记录同一主体在不同方面的业务数据，和/或，这多个业务数据表可以用于记录不同主体的业务数据。一般而言，业务查询需求可以用于获取业务场景中某个主体的相关数据，不同业务查询需求可以用于获取不同主体的相关数据，因而，在将业务数据库中对应于同一业务查询需求的业务数据整合成一个信息集时，可以将用于存储该业务查询请求所对应的主体的相关数据的业务数据表整合成一个信息集。

以用于存储公司人事数据的业务数据库为例，一般而言，这类业务数据库中会存储有员工基础数据、员工教育经历数据、员工联系人数据、部门划分情况数据等，其中，员工基础数据可以包括员工标识(也即是员工ID)、员工姓名、员工工号、员工所在部门标识(也即是员工所在部门ID)等，员工教育经历数据可以包括员工标识、毕业学校(或称教育机构)、入学时间(或称开始时间)、毕业时间(或称结束时间)等，员工

联系人数据可以包括联系人标识、联系人姓名、联系方式、与员工之间的关系等，部分划分情况数据可以包括部门标识(或称部门ID)、部门名称、部分负责人等。对于用于存储公司人事数据的业务数据库，其所包括的数据主要对应于两个主体，一个是员工，另一个是部门，则可以将用于存储公司人事数据的业务数据库中用于存储员工基础数据、员工教育经历数据、员工联系人数据的业务数据表整合成一个信息集，而将用于存储部门划分情况数据的业务数据表整合成一个信息集。

可选地，可以将每个业务数据表作为待创建的元信息数据库中的一个实体，并为每个业务数据表生成相应的标识，另外，可以为每个业务数据表中的业务字段生成相应的标识，以便可以基于所生成的标识实现业务字段及其所属的业务数据表之间的关联。

例如，为业务数据表生成的标识可以包括实体标识(也即是实体ID)和实体编码，为业务字段生成的标识可以包括字段标识(也即是字段ID)和字段编码。在记录各个业务字段所属的业务数据表时，可以将业务字段及其所属的业务数据表的实体标识关联存储，以便可以每个业务字段所关联的实体标识，实现其所属的业务数据表的确定。

在一种可能的实现方式中，在将业务数据库中对应于同一业务查询需求的业务数据表整合成一个信息集，可以确定每个业务数据表中所记录的业务数据对应的主体，从而将对应于同一主体的业务数据表整合成一个信息集。或者，可以基于业务查询需求的实际情况，将对应于同一主体的业务数据表中的部分内容整合成一个信息集。

其中，信息集是由一个或多个实体(也即是业务数据表)的部分或全部数据组成的可供用户处理的数据单元，在一个信息集中如果有多个实体，则只会有一个实体是主实体，其他实体是引用实体。也可以说，每个信息集中可以由来自多个业务数据表的数据组成，在组成该信息集的多个业务数据表中，会存在一个主业务数据表。

可选地，可以为每个信息集生成一个信息集标识(也即是信息集ID)，并且，可以记录每个信息集所对应的主业务数据表的实体ID。

步骤二、对于任一信息集，基于业务数据库中各个业务字段之间的引

用关系，获取信息集中的每个业务字段对应的引用业务字段。

需要说明的是，由于已经预先定义了业务数据库中各个业务字段的引用类型，也即是预先定义了业务数据库中各个业务字段之间的引用关系，因而，可以基于预先定义好的引用关系，获取信息集中的各个业务字段对应的引用业务字段。

在一种可能的实现方式中，可以通过表格来对多个信息集所包括的字段进行整合，例如，可以通过表格记录信息集所包括的业务数据表中的业务字段、每个业务字段所属的信息集及每个业务字段所属的业务数据表，另外，还可以在表格中记录信息集中业务字段之间的引用关系。

可选地，可以通过字段表达式来记录信息集中业务字段之间的引用关系。也即是，对于任一信息集中的任一业务字段，可以通过为该业务字段生成字段表达式，以达到记录该业务字段所对应的引用业务字段的目的。

其中，字段表达式可以有以下类型：

(1)直接引用：例如，直接在某个业务字段中指明其所引用的业务字段(也即是被引用业务字段)的字段标识；

(2)层级引用：通过分隔符(如英文小数点)实现层级引用的表达，例如，某个业务字段所对应的字段表达式为A.B.C，则表明要获取该业务字段的引用业务字段所对应的数据的话，要先获取业务字段A所对应的数据，再获取业务字段B所对应的数据，最后获取业务字段C所对应的数据，其中，业务字段A和业务字段B必须是引用类型。

(3)对象整体引用：以.*结尾，表示这里引用了整个对象，并且，需要定义下级引用，下级引用的定义也可以为直接引用、层级引用或对象整体引用，对于信息集中作为其他业务字段的父节点的业务字段，需要将该业务字段设置为对象整体引用。

通过元信息数据库，可以实现对业务数据库中多个业务数据表的整合，元信息数据库中可以包括多个信息集，不同信息集可以由来自不同业务数据表的业务字段组成，对于任一信息集，该信息集中还可以记录有与组成该信息集的业务字段具有引用关系的引用业务字段。

为便于理解，下面以一个具体的示例来对构建元信息数据库的过程进行介绍。

以用于存储公司人事数据的业务数据库为例，其中，该业务数据库中包括如下表1至表4所示的业务数据表：

表1

表2

表3

表4

如上表1至表4的业务数据表中定义了4个员工、这4个员工的一个相关信息及这4个员工所属的2个部门，其中，表1展示出了这4个员工的基本信息，表2展示出了这4个员工所属的2个部门及部门负责人，表3展示出了员工“王五”的教育经历，表4展示出了员工“王五”的联系人信息，基于如上所示的业务数据表，可以构建出如下表5至表所示的元信息数据库：

表5

表6

表7

表8

如上表5至表8所示，表5中展示出了业务数据库中所包括的业务数据表以及各个业务数据表的标识，表6中展示出了每个业务数据表所包括的业务字段及各个业务字段的相关信息，表7中展示出了元信息数据库中所包括的信息集以及各个信息集的标识，表8中展示出了每个信息集所包括的业务字段以及各个业务字段的相关信息。

通过预先构建元信息数据库，以便后续可以基于构建好的元信息数据库实现数据查询。

在一些实施例中，对于步骤S102，在从用于记录业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与目标业务字段具有关联关系的关联业务字段时，可以通过如下步骤实现：

S1021、从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表。

在一种可能的实现方式中，可以从元信息数据库中获取目标业务字段所属的目标信息集的信息集标识，以根据信息集标识实现目标信息集的确定，而在元信息数据库中，每个信息集都关联记录有其所对应的主业务数据表的实体标识，因而，在确定出目标信息集之后，即可获取目标信息集所对应的主业务数据表的实体标识，以实现目标信息集所对应的主业务数据表的获取。

S1022、从元信息数据库中获取来自目标信息集所对应的主业务数据表的候选业务字段，并获取与候选业务字段具有引用关系的候选业务字段，将所获取到的候选业务字段作为与目标业务字段具有关联关系的关联业务字段。

在确定出目标信息集所对应的主业务数据表之后，即可获取主业务数据表中的业务字段，作为候选业务字段，并且，可以获取各个候选业务字段所引用的候选业务字段，从而将所获取到的这两种候选业务字段作为关联业务字段。

在通过上述实施例获取到目标业务字段的关联业务字段之后，即可将所获取到的关联业务字段以及目标业务字段共同作为需要查询的待查询业务字段，以实现待查询业务字段的获取。

为便于理解，下面以基于如上示例的元信息数据库进行数据查询为例，来对获取待查询业务字段的过程进行介绍。

以数据查询请求为用于获取员工所属部门领导姓名中有“六”字的员工详情的请求为例，则根据如上表7所示的信息集定义，确定名称为“员工详情”的信息集的信息集ID为3000，则可以将信息集ID为3000的信息集确定为目标信息集，根据如上表7所示的信息集定义，可以知道目标信息集所对应的主业务数据表的实体ID为1000，则可以根据如上表6所示的实体字段定义，获取实体ID为1000的数据表所包括的业务字段，也即是员工工号(emp_no)、员工姓名(emp_name)、所在部门标识(dept_id)和紧急联系人(contact_ids)。其中，emp_no和emp_name的数据类型均为值类型，直接将emp_no和emp_name作为待查询业务字段即可，而dept_id的数据类型为引用类型，其所引用的业务数据表的实体ID为1001，因而，需要获取实体ID为1001的业务数据表所包括的业务字段，也即是部门名称(dept_name)和部门负责人姓名(dept_leader_name)，此外，contact_ids的数据类型也是引用类型，其所引用的业务数据表的实体ID为1003，因而，需要获取实体ID为1003的业务数据表所包括的业务字段，也即是联系人姓名(name)和联系方式(phone)。至此，即可获取到所有的待查询业务字段，所获取到的待查询业务字段包括员工工号(emp_no)、员工姓名(emp_name)、部门名称(dept_name)、部门负责人姓名(dept_leader_name)、联系人姓名(name)和联系方式(phone)。

上述实施例是以直接从元信息数据库中进行目标信息集以及候选业务字段的查询为例来进行说明的，在更多可能的实现方式中，还可以预先对元信息数据库中的多个信息集进行缓存。

在一些实施例中，可以采用将元信息数据库中的多个信息集放入内存中进行缓存的方式，以实现对元信息数据库中的多个信息集的缓存。

因而，在从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表之前，还可以先检测缓存中是否存储有目标信息集，若缓存中存储有目标信息集，则直接从缓存中获取目标信息集，并获取目标信息集所对应的主业务数据表即可；而在缓存中未存储有目标信息集的情况下，再从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表。

另外，需要说明的是，在缓存中未存储有目标信息集的情况下，还可以先从元信息数据库中获取到多个信息集，然后对多个信息集进行缓存，从而可以直接从缓存中进行查询，后续需要进行查询操作时，也可以直接从缓存中进行查询，而无需访问元信息数据库。

通过这种预先对元信息数据库中的信息集进行缓存的方式，使得不是每次查询操作都需要使用元信息数据库进行查询，而仅在缓存无法满足查询需求时再访问元信息数据库即可，从而可以减少对元信息数据库的访问操作，降低元信息数据库的处理压力。

可选地，对于分布式数据库，可以采用多节点同步复制(Infinispan Replicated)的方式实现对元信息数据库中多个信息集的缓存，也即是，可以将多个信息集缓存到分布式数据库的每个数据库节点上，以使分布式数据库中的每个数据库节点中均缓存有全量的信息集，使得各个数据库节点无需通过复杂的远程调用即可实现待查询业务字段的获取，提高数据查询速度和数据查询效率。

在通过上述实施例获取到待查询业务字段后，即可通过步骤S103，从业务数据库中获取待查询业务字段所对应的业务数据，作为候选业务数据。

仍以数据查询请求为用于获取员工所属部门领导姓名中有“六”字的员工详情的请求为例，在获取到员工工号(emp_no)、员工姓名(emp_name)、部门名称(dept_name)、部门负责人姓名(dept_leader_name)、联系人姓名(name)和联系方式(phone)这些待查询业务字段之后，即可基于所获取到待查询业务字段来进行候选业务数据的获取。

其中，emp_no字段和emp_name字段的数据类型为值类型，可以直接从目标信息集的主业务数据表中获取到emp_no字段和emp_name字段所对应的候选业务数据。在获取到emp_no字段和emp_name字段所对应的候选业务数据之后，多个待查询业务字段的候选业务数据可以组装成如下表9所示的情况：

表9

emp_no	emp_name	dept_name	dept_leader_name	contacts
					GH001	张三
GH002	李四
					GH003	王五
GH004	赵六

dept_name字段是通过dept_id字段从实体ID为1002的业务数据表中获取到的，在实体ID为1001的业务数据表中，dept_name字段的数据类型为值类型，因而可以直接从实体ID为1001的业务数据表中获取dept_name字段所对应的候选业务数据。在获取到dept_name字段所对应的候选业务数据之后，多个待查询业务字段的候选业务数据可以组装成如下表10所示的情况：

表10

dept_leader_name字段的字段表达式为F006.F002，表明该字段为层级引用，在获取dept_leader_name字段所对应的候选业务数据时，需要先获取编码为F006的字段，编码为F006的字段来自于实体ID为1001的业务数据表，其所引用的实体ID为1000，从而从实体ID为1000的业务数据表中取出编码为F002的业务字段所对应的数据，作为dept_leader_name字段所对应的候选业务数据。在获取到dept_leader_name字段所对应的候选业务数据之后，多个待查询业务字段的候选业务数据可以组装成如下表11所示的情况：

表11

emp_no	emp_name	dept_name	dept_leader_name	contacts
					GH001	张三	开发部	张三
GH002	李四	开发部	张三
					GH003	王五	销售部	赵六
GH004	赵六	销售部	赵六

contacts字段的字段表达式为F004.*，表明该字段为对象整体引用，contacts字段的ID为4004，其子节点有两个，分别为编码为F010的name字段和编码为F011的phone字段，从而可以通过获取编码为F010的name字段和编码为F011的phone字段所对应的业务数据，以实现contacts字段所对应的候选业务数据的获取。在获取到contacts字段所对应的候选业务数据之后，多个待查询业务字段的候选业务数据可以组装成如下表12所示的情况：

表12

至此，即可获取到各个待查询业务字段所对应的候选业务数据。

上述实施例所提供的候选业务数据的获取过程可以参见图2，图2是本发明根据一示例性实施例示出的一种候选业务数据的获取过程的流程示意图，如图2所示，用户可以指定需要查询的信息集和查询条件(也即是查询参数)，以便可以基于元信息数据库查询相应信息集的定义，以从业务数据库(也即是预先定义的数据源)中获取要查询的信息集的主实体数据(也即是主业务数据表)，从而基于元信息数据库中的实体定义确定主实体是否关联有其他实体，若没有，则直接组装候选业务数据即可，否则，需要收集关联实体，并从业务数据库中获取关联实体的实体数据，以实现候选业务数据的组装。

上述实施例是以直接从业务数据库中进行候选业务数据的获取为例来进行说明的，在更多可能的实现方式中，还可以预先对业务数据库中的业务数据进行缓存。

在一些实施例中，可以采用将业务数据库中的全量业务数据放入内存中进行缓存的方式，以实现对业务数据中的业务数据的缓存。例如，可以将业务数据库中的全量业务数据缓存到业务数据库中的每个数据库节点上。

因而，在从业务数据库中获取待查询业务字段所对应的业务数据之前，还可以在接收到数据查询请求的数据库节点的缓存中进行查询，若缓存中存储有待查询业务字段所对应的业务数据，则从缓存中获取述待查询业务字段所对应的业务数据即可；若缓存中未存储有待查询业务字段所对应的业务数据，再从业务数据库中获取待查询业务字段所对应的业务数据。

另外，需要说明的是，在缓存中未存储有所需业务数据的情况下，还可以先从业务数据库中获取到全量业务数据，然后对所获取到的全量业务数据进行缓存，从而可以直接从缓存中进行查询，后续需要进行查询操作时，也可以直接从缓存中进行查询，而无需访问业务数据库。

通过这种预先对业务数据库中的业务数据进行缓存的方式，使得不是每次查询操作都需要使用业务数据库进行查询，而仅在缓存无法满足查询需求时再访问业务数据库即可，从而可以减少对业务数据库的访问操作，降低业务数据库的处理压力。

另外，通过将业务数据库中的全量业务数据缓存到业务数据库中的每个数据库节点上，可以达到多节点同步复制(Infinispan Replicated)的效果，以使数据库中的每个数据库节点中均缓存有全量的业务数据，使得各个数据库节点无需通过复杂的远程调用即可实现候选业务数据的获取，提高数据查询速度和数据查询效率。

在获取到候选业务数据之后，即可通过步骤S104，基于查询参数对候选业务数据进行筛选，以得到目标业务数据。

仍以数据查询请求为用于获取员工所属部门领导姓名中有“六”字的员工详情的请求为例，在获取到如上表12所示的候选业务数据之后，即可根据数据查询请求所指示的查询条件对应的查询参数，也即是dept_leader_name字段中包含“六”，来对候选业务数据进行筛选，以得到目标业务数据，过滤得到的目标业务数据可以参见下表13：

表13

至此，即可实现目标业务数据的获取。

通过本发明所提供的实施方案，可以实现对业务数据的运行期元信息建模，以得到可以实现不同业务字段之间的关联关系获取的元信息数据库，使得后续需要进行查询操作时，仅需根据查询需求从元信息数据库中获取到相应的业务字段，从而根据所获取到的业务字段即可实现数据查询，无需预先根据数据库结构定义查询代码，提高数据查询过程的灵活性。并且，正是通过对业务数据的元信息进行建模这种操作抽象，建模出的信息集无需设定固定的结构，可以适配任意类型的数据库，可移植性强，可以很好地支持对数据源的切换工作，适配不同数据库的持久化实现。

在更多可能的实现方式中，还可以根据实际技术需求对已构建的元信息数据库进行更新。

参见图3，图3是本发明根据一示例性实施例示出的一种元信息数据库的更新过程的流程图，如图3所示，该过程可以包括如下步骤：

S301、响应于在业务数据库中的更新操作，基于更新操作所指示的目标业务数据表，从元信息数据库中确定目标业务数据表所属的待更新信息集，并获取待更新信息集所对应的主业务数据表。

S302、从主业务数据表中，获取发生更新操作的待更新业务字段以及待更新业务字段的业务数据。

S303、按照更新操作的指示，对待更新业务字段的业务数据进行更新。

为便于理解，下面以更新一个员工的员工姓名及其联系人为例，来对更新元信息数据库的过程进行说明。

例如，更新工号GH003的员工姓名为王小五，并且增加一个联系人王小小(133000000)。

更新后的信息集内容为：

通过查询，可以确定待更新信息集的信息集ID为3000，信息集ID为3000的待更新信息集的主业务数据表为ID为1000的实体，则可以在对应实体ID为1000的业务数据表中emp_no＝GH003的员工所对应的emp_name字段的数据进行修改，修改结果如下表14所示：

表14

通过在元信息数据库中进行查询，可以发现contacts字段为引用类型，其关联有实体联系人400和401的数据，具体数据如下表14所示：

表14

通过对比上表14与更新后的信息集内容，可以发现，需要增加一条联系人信息，则可以根据更新后的信息集内容来进行数据的增加，以得到如下表15所示的更新后的信息集：

表15

至此，即可完成对元信息数据库中的信息集的更新。

上述实施例所提供的更新元信息数据库的过程可以参见图4，图4是本发明根据一示例性实施例示出的一种元信息数据库的更新过程的流程示意图，如图4所示，根据用户指定需要更新的信息集和更新内容，同时基于元信息数据库查询相应信息集的定义，从业务数据库(也即是预先定义的数据源)中获取要更新的信息集的主实体数据(也即是主业务数据表)，以便对主实体数据进行更新，进一步地，基于元信息数据库中的实体定义确定主实体是否关联有其他实体，若没有，则直接退出更新过程即可，否则，需要收集关联实体，并从业务数据库中获取关联实体的实体数据，以对关联实体的业务数据进行更新。

可选地，在对元信息数据库中的信息集进行更新之后，还可以按照元信息数据库中更新后的业务数据，对已缓存的信息集进行更新。

通过本发明所提供的方案，可以在不修改代码的前提下调整业务数据处理的相关逻辑，做到实时动态调整，加速信息系统底层数据能力的迭代更新，进一步提高代码的复用性。

示例性装置

另外，本发明还提供了一种数据处理装置，参见图5，图5是本发明根据一示例性实施例示出的一种数据处理装置的框图，如图5所示，该装置包括：

信息获取模块501，用于响应于接收到用于在业务数据库中查询数据的数据查询请求，获取数据查询请求所携带的数据查询信息，数据查询信息包括待查询的目标业务字段以及用于对业务数据库中的业务数据进行数据筛选的查询参数；

字段获取模块502，用于从用于记录业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与目标业务字段具有关联关系的关联业务字段，将目标业务字段和关联业务字段作为待查询业务字段；

数据获取模块503，用于从业务数据库中获取待查询业务字段所对应的业务数据，作为候选业务数据；

筛选模块504，用于基于查询参数对候选业务数据进行筛选，以得到目标业务数据。

在一些实施例中，业务数据库中包括多个业务数据表，元信息数据库中包括多个信息集，不同信息集由来自不同业务数据表的业务字段组成，对于任一信息集，信息集中还记录有与组成信息集的业务字段具有引用关系的引用业务字段，每个信息集对应于一个主业务数据表；

字段获取模块502，在用于从用于记录业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与目标业务字段具有关联关系的关联业务字段时，用于：

从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表；

从元信息数据库中获取来自目标信息集所对应的主业务数据表的候选业务字段，并获取与候选业务字段具有引用关系的候选业务字段，将所获取到的候选业务字段作为与目标业务字段具有关联关系的关联业务字段。

在一些实施例中，该装置还包括：

第一缓存模块，用于预先对元信息数据库中的多个信息集进行缓存；

检测模块，用于在从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表之前，检测缓存中是否存储有目标信息集；

字段获取模块502，还用于若缓存中存储有目标信息集，则从缓存中获取目标信息集，并获取目标信息集所对应的主业务数据表；

字段获取模块502，还用于若缓存中未存储有目标信息集，则执行从元信息数据库中确定目标业务字段所属的目标信息集，并获取目标信息集所对应的主业务数据表的步骤。

在一些实施例中，该装置还包括：

构建模块，用于预先构建元信息数据库；

构建模块，在用于预先构建元信息数据库时，用于：

基于业务查询需求，将业务数据库中对应于同一业务查询需求的业务数据表整合成一个信息集；

对于任一信息集，基于业务数据库中各个业务字段之间的引用关系，获取信息集中的每个业务字段对应的引用业务字段。

在一些实施例中，该装置还包括更新模块，更新模块，用于：

响应于在业务数据库中的更新操作，基于更新操作所指示的目标业务数据表，从元信息数据库中确定目标业务数据表所属的待更新信息集，并获取待更新信息集所对应的主业务数据表；

从主业务数据表中，获取发生更新操作的待更新业务字段以及待更新业务字段的业务数据；

按照更新操作的指示，对待更新业务字段的业务数据进行更新。

在一些实施例中，更新模块，还用于：

按照元信息数据库中更新后的业务数据，对已缓存的信息集进行更新。

在一些实施例中，该装置还包括：

第二缓存模块，用于预先将业务数据库中的全量业务数据缓存到业务数据库中的每个数据库节点上；

查询模块，用于在从业务数据库中获取待查询业务字段所对应的业务数据之前，在接收到数据查询请求的数据库节点的缓存中进行查询；

数据获取模块503，还用于若缓存中存储有待查询业务字段所对应的业务数据，则从缓存中获取待查询业务字段所对应的业务数据；

数据获取模块503，还用于若缓存中未存储有待查询业务字段所对应的业务数据，则执行从业务数据库中获取待查询业务字段所对应的业务数据的步骤。

应当注意，尽管在上文详细描述中提及了邮件回复装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

示例性介质

本发明实施例还提供了一种计算机可读存储介质。图6是本发明根据一示例性实施例示出的一种计算机可读存储介质的示意图，如图6所示，该存储介质上存储有计算机程序601，该计算机程序601被处理器执行时可以执行本发明任一实施例所提供的数据处理方法。

示例性设备

本发明实施例还提供了一种计算设备，该计算设备可以包括存储器、处理器，该存储器用于存储可在处理器上运行的计算机指令，该处理器用于在执行该计算机指令时实现本发明任一实施例所提供的数据处理方法。参见图7，图7是本发明根据一示例性实施例示出的一种计算设备的结构示意图，该计算设备700可以包括但不限于：处理器710、存储器720、连接不同系统组件(包括存储器720和处理器710)的总线730。

其中，存储器720存储有计算机指令，该计算机指令可以被处理器710执行，使得处理器710能够执行本发明任一实施例所提供的数据处理方法。存储器720可以包括随机存取存储单元RAM721、高速缓存存储单元722和/或只读存储单元ROM723。该存储器720还可以包括：具有一组程序模块724的程序工具725，该程序模块724包括但不限于：操作系统、一个或多个应用程序、其他程序模块和程序数据，这些程序模块一种或多种组合可以包含网络环境的实现。

总线730例如可以包括数据总线、地址总线和控制总线等。该计算设备700还可以通过I/O接口740与外部设备750通信，该外部设备750例如可以是键盘、蓝牙设备等。该计算设备700还可以通过网络适配器770与一个或多个网络通信，例如，该网络可以是局域网、广域网、公共网络等。如图7所示，该网络适配器760还可以通过总线730与计算设备700的其他模块进行通信。

示例性产品

本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，程序被计算设备700的处理器710执行时，可以实现本发明任一实施例所提供的数据处理方法。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

响应于接收到用于在业务数据库中查询数据的数据查询请求，获取所述数据查询请求所携带的数据查询信息，所述数据查询信息包括待查询的目标业务字段以及用于对所述业务数据库中的业务数据进行数据筛选的查询参数；

从用于记录所述业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与所述目标业务字段具有关联关系的关联业务字段，将所述目标业务字段和所述关联业务字段作为待查询业务字段；

从所述业务数据库中获取所述待查询业务字段所对应的业务数据，作为候选业务数据；

基于所述查询参数对所述候选业务数据进行筛选，以得到所述目标业务数据。

2.根据权利要求1所述的方法，其特征在于，所述业务数据库中包括多个业务数据表，所述元信息数据库中包括多个信息集，不同信息集由来自不同业务数据表的业务字段组成，对于任一信息集，所述信息集中还记录有与组成所述信息集的业务字段具有引用关系的引用业务字段，每个信息集对应于一个主业务数据表；

所述从用于记录所述业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与所述目标业务字段具有关联关系的关联业务字段，包括：

从所述元信息数据库中确定所述目标业务字段所属的目标信息集，并获取所述目标信息集所对应的主业务数据表；

从所述元信息数据库中获取来自所述目标信息集所对应的主业务数据表的候选业务字段，并获取与所述候选业务字段具有引用关系的候选业务字段，将所获取到的候选业务字段作为与所述目标业务字段具有关联关系的关联业务字段。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

预先对所述元信息数据库中的多个信息集进行缓存；

所述从所述元信息数据库中确定所述目标业务字段所属的目标信息集，并获取所述目标信息集所对应的主业务数据表之前，所述方法还包括：

检测缓存中是否存储有所述目标信息集；

若缓存中存储有所述目标信息集，则从缓存中获取所述目标信息集，并获取所述目标信息集所对应的主业务数据表；

若缓存中未存储有所述目标信息集，则执行从所述元信息数据库中确定所述目标业务字段所属的目标信息集，并获取所述目标信息集所对应的主业务数据表的步骤。

4.根据权利要求2所述的方法，其特征在于，所述元信息数据库为预先构建好的，所述元信息数据库的构建过程包括：

基于业务查询需求，将所述业务数据库中对应于同一业务查询需求的业务数据表整合成一个信息集；

对于任一信息集，基于所述业务数据库中各个业务字段之间的引用关系，获取所述信息集中的每个业务字段对应的引用业务字段。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

响应于在所述业务数据库中的更新操作，基于所述更新操作所指示的目标业务数据表，从所述元信息数据库中确定所述目标业务数据表所属的待更新信息集，并获取所述待更新信息集所对应的主业务数据表；

从所述主业务数据表中，获取发生更新操作的待更新业务字段以及待更新业务字段的业务数据；

按照所述更新操作的指示，对所述待更新业务字段的业务数据进行更新。

6.根据权利要求5所述的方法，其特征在于，所述按照所述更新操作的指示，对所述待更新业务字段的业务数据进行更新之后，所述方法还包括：

按照元信息数据库中更新后的业务数据，对已缓存的信息集进行更新。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

预先将所述业务数据库中的全量业务数据缓存到所述业务数据库中的每个数据库节点上；

所述从所述业务数据库中获取所述待查询业务字段所对应的业务数据之前，所述方法还包括：

在接收到所述数据查询请求的数据库节点的缓存中进行查询；

若缓存中存储有所述待查询业务字段所对应的业务数据，则从缓存中获取所述待查询业务字段所对应的业务数据；

若缓存中未存储有所述待查询业务字段所对应的业务数据，则执行从所述业务数据库中获取所述待查询业务字段所对应的业务数据的步骤。

8.一种数据处理装置，其特征在于，所述装置包括：

信息获取模块，用于响应于接收到用于在业务数据库中查询数据的数据查询请求，获取所述数据查询请求所携带的数据查询信息，所述数据查询信息包括待查询的目标业务字段以及用于对所述业务数据库中的业务数据进行数据筛选的查询参数；

字段获取模块，用于从用于记录所述业务数据库所包括的业务字段之间的关联关系的元信息数据库中，获取与所述目标业务字段具有关联关系的关联业务字段，将所述目标业务字段和所述关联业务字段作为待查询业务字段；

数据获取模块，用于从所述业务数据库中获取所述待查询业务字段所对应的业务数据，作为候选业务数据；

筛选模块，用于基于所述查询参数对所述候选业务数据进行筛选，以得到所述目标业务数据。

9.一种计算设备，其特征在于，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的数据处理方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，所述程序被处理器执行如权利要求1至7中任一项所述的数据处理方法所执行的操作。