CN112131016A

CN112131016A - 应用程序内部数据处理方法、装置及设备

Info

Publication number: CN112131016A
Application number: CN202010970475.9A
Authority: CN
Inventors: 武振杰; 郭嘉炯
Original assignee: Beijing Zhidemai Technology Co ltd
Current assignee: Beijing Zhidemai Technology Co ltd
Priority date: 2020-09-15
Filing date: 2020-09-15
Publication date: 2020-12-25

Abstract

本发明公开了一种应用程序内部数据处理方法、装置及设备。本发明的构思在于通过自定义语法与函数对数据库命令进行扩展，使功能更加丰富，实现了在应用程序中进行跨服务器、跨数据库、跨表的数据关联、筛选、聚合等操作，具体是以特定的语法解析自定义命令，将跨库跨表的数据以指定的形式进行组装输出，例如通过解析自定义的SQL命令字符串，把跨库跨表的SQL命令解析成单库单表，然后在应用程序内存中计算组装数据最后输出，不再依赖数据库端进行复杂的数据处理。

Description

应用程序内部数据处理方法、装置及设备

技术领域

本发明涉及数据处理领域，尤其涉及一种应用程序内部数据处理方法、装置及设备。

背景技术

近年来，随着计算机技术的发展，计算机对于人类生活的影响越来越大，其制造出的数据量也越来越大，可用于计算与处理的数据也越来越多。作为开发者，往往会使用数据库开发商所提供的SQL语法与操作函数在数据库端进行数据处理。但在某些情况下，比如开发商提供的命令、函数本身存在缺陷，使得数据处理较为不便。

例如，目前的数据处理方式大多是直接使用数据库开发商提供的SQL命令，或先使用自定义的命令后转换成数据库开发商的SQL命令，然后在数据库端进行数据处理(如数据的筛选、聚合等)，最终将处理好的数据返回。然而，受限于数据库开发商提供的SQL命令与函数，在开发商没有提供特定的处理方法时，则无法处理数据，尤其在处理跨服务器、跨数据库、跨表的数据操作时，这种限制带来的不便更为凸显。

发明内容

鉴于上述，本发明旨在提供一种应用程序内部数据处理方法、装置及设备，还相应地提供了一种计算机程序产品，主要解决仅能在数据库端对当前数据库表进行处理，无法跨服务器、跨数据库、跨表进行数据处理的问题。

本发明采用的技术方案如下：

第一方面，本发明提供了一种应用程序内部数据处理方法，包括：

通过预设语法解析自定义的命令语句，得到若干数据库表；

在相应于每个数据库表的数据库中进行查询，并将取出的数据存至应用程序内存；

在内存中对数据库表进行关联，并将关联的数据合并后得到结果列表；

对结果列表中的字段基于预设的函数进行处理，得到最终结果。

在其中至少一种可能的实现方式中，通过预设语法解析自定义的命令语句，还得到相应于每个数据库表的查询字段列表以及筛选条件；

所述在相应于每个数据库表的数据库中进行查询包括：

根据查询字段列表与筛选条件，在相应的数据库中查询得到每个数据库表的结果，并取出存放在应用程序内存中。

在其中至少一种可能的实现方式中，所述在相应的数据库中查询得到每个数据库表的结果包括：

获取数据库表的ID；

分批次并依据预设的数据量上限值，从数据库中取出对应于当前数据库表ID的结果集。

在其中至少一种可能的实现方式中，通过预设语法解析自定义的命令语句，还得到多个数据库表之间的关联关系；

所述在内存中对数据库表进行关联，并将关联的数据合并后得到结果列表包括：

通过解析出的关联关系，从数据库中取出与当前数据库表相关联的若干关联表的结果集：

将所有关联表的结果集中的预设字段合并到对应的数据库表的结果集上，得到准输出结果列表。

在其中至少一种可能的实现方式中，所述对结果列表中的字段基于预设的函数进行处理，得到最终结果包括：

将准输出结果列表中的每个字段的值代入到相应的预设函数中进行处理；

将函数处理后的结果作为最终结果。

第二方面，本发明提供了一种应用程序内部数据处理装置，包括

解析模块，用于通过预设语法解析自定义的命令语句，得到若干数据库表；

查询模块，用于在相应于每个数据库表的数据库中进行查询，并将取出的数据存至应用程序内存；

关联模块，用于在内存中对数据库表进行关联，并将关联的数据合并后得到结果列表；

函数处理模块，用于对结果列表中的字段基于预设的函数进行处理，得到最终结果。

在其中至少一种可能的实现方式中，所述解析模块还用于通过预设语法解析自定义的命令语句，得到相应于每个数据库表的查询字段列表以及筛选条件；

所述查询模块还用于根据查询字段列表与筛选条件，在相应的数据库中查询得到每个数据库表的结果，并取出存放在应用程序内存中。

在其中至少一种可能的实现方式中，所述查询模块具体包括：

单表ID获取单元，用于获取数据库表的ID；

单表数据取出单元，用于分批次并依据预设的数据量上限值，从数据库中取出对应于当前数据库表ID的结果集。

在其中至少一种可能的实现方式中，所述解析模块还用于通过预设语法解析自定义的命令语句，得到多个数据库表之间的关联关系；

所述关联模块具体包括：

关联数据获取单元，用于通过解析出的关联关系，从数据库中取出与当前数据库表相关联的若干关联表的结果集；

合并单元，用于将所有关联表的结果集中的预设字段合并到对应的数据库表的结果集上，得到准输出结果列表。

在其中至少一种可能的实现方式中，所述函数处理模块具体包括：

函数处理单元，用于将准输出结果列表中的每个字段的值代入到相应的预设函数中进行处理；

输出结果确定单元，用于将函数处理后的结果作为最终结果。

第三方面，本发明提供了一种应用程序内部数据处理设备，包括：

一个或多个处理器、一个或多个存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备运行上述应用程序内部数据处理方法。

第四方面，本发明提供了一种计算机程序产品，该计算机程序产品在计算机设备上运行时，使计算机设备加载并运行上述应用程序内部数据处理方法。

本发明的构思在于，通过自定义语法与函数对数据库命令进行扩展，使功能更加丰富，实现了在应用程序中进行跨服务器、跨数据库、跨表的数据关联、筛选、聚合等操作，具体是以特定的语法解析自定义命令，并将跨库跨表的数据以指定的形式进行组装输出，例如通过解析自定义的SQL命令字符串，把跨库跨表的SQL命令解析成单库单表，然后在应用程序内存中计算组装数据最后输出，不再依赖数据库端进行复杂的数据处理。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的应用程序内部数据处理方法实施例的流程图；

图2为本发明提供的数据库命令语句实施例的示意图；

图3为本发明提供的执行指定数据处理环节的实施例的示意图；

图4为本发明提供的应用程序内部数据处理装置实施例的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，本发明提供了至少一种应用程序内部数据处理方法的实施例，其可以包括如下步骤：

步骤S1、通过预设语法解析自定义的命令语句，得到若干数据库表。

在实际操作中，本发明可以但不限于使用antlr4来定义语法，之后通过它来识别命令语言，antlr4是一款强大的语法生成器工具，可用于读取、处理、执行和翻译结构化的文本或二进制文件，关于antlr4的使用方法这里不作赘述。

本发明还可以使用JAVA来开发特定的数据处理函数，当从命令中解析到特定的语法时，则调用指定的函数来处理数据。另外，可以通过开发或插件的方式，可以不断地扩充函数的数量与功能，对此后文将作具体说明。

步骤S2、在相应于每个数据库表的数据库中进行查询，并将取出的数据存至应用程序内存。

在实际操作中，还可以通过预设语法解析自定义的命令语句，得到相应于每个数据库表的查询字段列表以及筛选条件，这样，所述在相应于每个数据库表的数据库中进行查询可以具体实现为：根据解析到的查询字段列表与筛选条件，在相应的数据库中查询得到每个数据库表的结果，并取出存放在应用程序内存中。

此外，更为优选地，所述具体从数据库中取出数据结果的过程可以通过表ID指定，即先获取到数据库表的ID，基于ID取出相应数据库中的结果集(或称数据记录集、结果列表等)。

进一步地，考虑到应用程序的内存容量有限，可以分批次并依据预设的数据量上限值(即不超过该数据量上限值)，从数据库中取出对应于当前数据库表ID的结果集。

步骤S3、在内存中对数据库表进行关联，并将关联的数据合并后得到结果列表。

在实际操作中，还可以通过预设语法解析自定义的命令语句，得到多个数据库表之间的关联关系，这样，所述在内存中对数据库表进行关联，并将关联的数据合并后得到结果列表可以具体实现为：通过解析出的关联关系，从数据库中取出与当前数据库表相关联的若干关联表的结果集，然后将所有关联表的结果集中的预设字段合并到对应的数据库表的结果集上，得到准输出结果列表。

步骤S4、对结果列表中的字段基于预设的函数进行处理，得到最终结果。

在实际操作中，可以基于前文提及的“准输出结果列表”进行函数处理，具体可以是，在本发明至少一种可能的实现方式中，对结果列表中的字段基于相应解析结果的指定函数进行处理，得到最终结果可实现为：将准输出结果列表中的每个字段的值代入到相应的预设函数中进行处理，最后，将函数处理后的结果作为最终结果。

汇总上述各实施例及其优选实现方式，本发明可以包括如下具体环节：

第一环节、解析命令：可通过antlr4识别命令语句，从中解析出数据库表、每个表的查询字段与筛选条件、多个表之间的关联关系、最终结果字段的特殊处理函数等。

第二环节、获得单表数据：对于解析得到的单个数据库表，可以到指定的数据库中，根据解析得到的查询字段列表与筛选条件，查询得到每个单表的结果，并存放在应用程序内存中。

如果数据较多，则可以分批取出数据进行处理，并且每次取出数据可不超过上限阈值20条。如若要处理全表数据，则可分批每次至多取出20条数据后执行第三环节的处理，循环直到全表数据取完。

第三环节、对多个表数据进行联合处理：对于第二环节步分批单次取出的数据，可通过解析命令得到的多个表之间的关联关系与指定字段的特殊函数进行处理，即在内存中对已经得到的单表数据进行关联计算以及函数处理。

为便于理解，结合图2及图3所示，对上述第二环节及第三环节可做具体展开：

一、首先说明图2部分代码的含义。

在图2示例的自定义命令语句中，可通过json与antlr4解析出多个部分，如下：

1)单表youhui，它在youhuiDB数据库中，

需要查询的字段为id，pubdate，yh_status，channel，content；

查询的筛选条件是idin${_pk_}，其中${_pk_}为允许时输入的参数。

2)单表black_article，它在searchDB数据库中，

需要查询的字段为article_id；

查询的筛选条件是article_id in${youhui.id}and article_type＝′xx′。

且与youhui表的关联关系为youhui.id＝black_info.article_id。

3)最终输出结果的字段为：

pick(youhui.id)as article_id

html_to_text(youhui.content)as article_content

if_null(black_info.article_id，’0′，′1’)as black_flag

其中，pick，html_to_text，if_null为相应配置的处理函数，他们分别对应应用程序中的处理方法，可通过开发自由增加、扩展。

二、基于图2，图3示出本发明提出的按指定的数据处理形式进行组装输出的示例。

(1)从队列中取出若干个主数据表ID(主数据表即图2中定义的main：true的table)；

(2)从主数据表中取出ID对应的数据记录集；

(3)通过设定的关联关系，拼接出SQL语句，从数据库中取出与(2)相互关联的关联表的结果集(未定义main：true的sub数组中的项目即为关联表定义，关联关系定义在on字段上)，有多个关联表则相应取出多个关联表结果集；

(4)将所有取出的关联表结果集中指定的字段，合并到对应主表结果集的数据上，作为准输出结果(需要输出的字段定义在fieldLine上)。

(5)为(4)得到的准结果集的每个字段进行函数处理，即把每个准记录集字段的值作为参数代入对应的函数进行处理，将函数处理的结果作为字段最终值输出(函数与最终输出字段可定义在fieldList上)。其中，每个函数对应到相应的处理程序上，这些程序可以自由增加扩展以满足不同的需求。

(6)继续到队列中取主表数据ID，若能取出则循环重复上述过程，否则结束该处理流程。

基于上述，简而言之：

1)分别根据筛选条件去查询youhui与black_article表；

2)在得到两个表的查询结果后，将结果保存在内存中；

3)在内存中将black_article表与youhui表进行关联，将关联的内容合并到一条记录中，得到结果列表；

4)对结果列表中的字段根据设定的函数及逆行处理，得到最终结果。

最后，在本发明其他较佳的实施例中，第三环节后还可以包括第四环节、将最终处理完成的数据结果输出到特定媒介，如文本、数据库、redis、ElasticSearch等，对此本发明不作限定。

综上所述，本发明的构思在于通过自定义语法与函数对数据库命令进行扩展，使功能更加丰富，实现了在应用程序中进行跨服务器、跨数据库、跨表的数据关联、筛选、聚合等操作，具体是以特定的语法解析自定义命令，将跨库跨表的数据以指定的形式进行组装输出，例如通过解析自定义的SQL命令字符串，把跨库跨表的SQL命令解析成单库单表，然后在应用程序内存中计算组装数据最后输出，不再依赖数据库端进行复杂的数据处理。

相应于上述各实施例及优选方案，本发明还提供了一种应用程序内部数据处理装置的实施例，如图4所示，具体可以包括如下部件：

解析模块1，用于通过预设语法解析自定义的命令语句，得到若干数据库表；

查询模块2，用于在相应于每个数据库表的数据库中进行查询，并将取出的数据存至应用程序内存；

关联模块3，用于在内存中对数据库表进行关联，并将关联的数据合并后得到结果列表；

函数处理模块4，用于对结果列表中的字段基于预设的函数进行处理，得到最终结果。

单表ID获取单元，用于获取数据库表的ID；

所述关联模块具体包括：

应理解以上图4所示的应用程序内部数据处理装置可中各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于多种实施方式，本发明以下述载体作为示意性说明：

(1)一种应用程序内部数据处理设备，其可以包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行前述实施例或等效实施方式的步骤/功能。

该设备可以是电子设备也可以是内置于上述电子设备的电路设备。上述电子设备可以为PC、服务器、智能终端(手机、平板等)等。

(2)一种可读存储介质，在可读存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。

(3)一种计算机程序产品(该产品可以包括上述装置)，该计算机程序产品在终端设备上运行时，使终端设备执行前述实施例或等效实施方式的应用程序内部数据处理方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；接续前文，上述设备/终端可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等)。并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(lmage Signal Processing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)等。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims

1.一种应用程序内部数据处理方法，其特征在于，包括：

通过预设语法解析自定义的命令语句，得到若干数据库表；

2.根据权利要求1所述的应用程序内部数据处理方法，其特征在于，通过预设语法解析自定义的命令语句，还得到相应于每个数据库表的查询字段列表以及筛选条件；

所述在相应于每个数据库表的数据库中进行查询包括：

3.根据权利要求2所述的应用程序内部数据处理方法，其特征在于，所述在相应的数据库中查询得到每个数据库表的结果包括：

获取数据库表的ID；

4.根据权利要求1～3任一项所述的应用程序内部数据处理方法，其特征在于，通过预设语法解析自定义的命令语句，还得到多个数据库表之间的关联关系；

通过解析出的关联关系，从数据库中取出与当前数据库表相关联的若干关联表的结果集；

5.根据权利要求4所述的应用程序内部数据处理方法，其特征在于，所述对结果列表中的字段基于预设的函数进行处理，得到最终结果包括：

将函数处理后的结果作为最终结果。

6.一种应用程序内部数据处理装置，其特征在于，包括：

7.根据权利要求6所述的应用程序内部数据处理装置，其特征在于，所述解析模块还用于通过预设语法解析自定义的命令语句，得到相应于每个数据库表的查询字段列表以及筛选条件；

8.根据权利要求6或7所述的应用程序内部数据处理，其特征在于，所述解析模块还用于通过预设语法解析自定义的命令语句，得到多个数据库表之间的关联关系：

所述关联模块具体包括：

关联数据获取单元，用于通过解析出的关联关系，从数据库中取出与当前数据库表相关联的若干关联表的结果集：

9.根据权利要求8所述的应用程序内部数据处理装置，其特征在于，所述函数处理模块具体包括：

10.一种应用程序内部数据处理设备，其特征在于，所述设备包括：

一个或多个处理器、一个或多个存储器以及一个或多个计算机程序，所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如权利要求1～5任一项所述的应用程序内部数据处理方法。