CN110825736A

CN110825736A - 数据异步调用的方法、装置及系统

Info

Publication number: CN110825736A
Application number: CN201910991016.6A
Authority: CN
Inventors: 梁涌; 吴峰; 郭伟
Original assignee: Shanghai Yidianshikong Network Co Ltd
Current assignee: Shanghai Yidianshikong Network Co Ltd
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2020-02-21

Abstract

本申请公开了一种数据异步调用的方法、装置及系统。该申请的方法包括服务端向客户端提供查询页面，以通过查询页面获取查询参数，所述查询页面嵌入到客户端页面中；服务端获取查询参数后根据查询参数进行数据的查询，得到查询结果；将查询结果进行保存并向客户端发送查询成功通知，使客户端在接收到查询成功通知后执行根据查询成功通知获取查询结果的任务。本申请解决从分布式架构系统的海量数据中调用数据信息效率较低的问题。

Description

数据异步调用的方法、装置及系统

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据异步调用的方法、装置及系统。

背景技术

现有海量的数据信息通常保存于分布式架构系统hadoop中，根据业务需求当需要调用其中的数据信息时，一般可以使用Hue等可视化查询工具，编写sql查询语句进行数据信息的查询和统计，其底层是服务端利用数据仓库工具Hive进行查询。由于数据量很大，一般查询需要数分钟时间。为了提高查询的速度，现有的改进方式是利用presto等查询引擎快速的查询数据，然后通过接口返回。presto查询相比于Hive查询速度快了很多，但是发明人在根据presto进行查询时发现，当查询关联比较多的大的数据表时，或者需要返回的数据量很大时，presto查询的速度会降低并且出错率会增加，影响查询结果返回的速率以及准确率。综上，从分布式架构系统的海量数据中调用数据信息效率较低。

发明内容

本申请的主要目的在于提供一种数据异步调用的方法、装置及系统，以解决从分布式架构系统的海量数据中调用数据信息效率较低的问题。

为了实现上述目的，根据本申请的第一方面，提供了一种数据异步调用的方法。

根据本申请的数据异步调用的方法包括：

服务端向客户端提供查询页面，以通过查询页面获取查询参数，所述查询页面嵌入到客户端页面中；

服务端获取查询参数后根据查询参数进行数据的查询，得到查询结果；

将查询结果进行保存并向客户端发送查询成功通知，使客户端在接收到查询成功通知后执行根据查询成功通知获取查询结果的任务。

进一步的，所述服务端获取查询参数后根据查询参数进行数据的查询，得到查询结果包括：

服务端将接收到的查询参数保存到查询任务表中，所述查询任务表中一组查询参数对应一个查询任务；

服务端按照预设规则从查询任务表中获取查询任务；

根据查询任务中的查询参数并调用查询接口进行数据的查询，得到查询结果。

进一步的，所述将查询结果进行保存并向客户端发送查询成功通知包括：

将查询结果保存到存储系统Redis中，并为查询结果配置对应的标识信息；

向客户端发送包含标识信息的查询成功通知，使客户端根据查询成功通知中的标识信息从Redis中获取查询结果。

进一步的，服务端按照预设规则从查询任务表中获取查询任务包括：

每隔预设时段从查询任务表中获取查询任务；

所述将查询结果保存到存储系统Redis中，并为查询结果配置对应的标识信息，包括

将查询结果分批次写入到存储系统Redis中；

为不同批次的查询结果配置不同的关键字key，同一批次的查询结果对应相同的key。

进一步的，所述根据查询任务中的查询参数并调用查询接口进行数据的查询，得到查询结果包括：

将查询参数自动拼接成查询语句；

根据查询语句调用数据仓库工具Hive查询接口进行数据的查询。

为了实现上述目的，根据本申请的第二方面，提供了一种数据异步调用的方法。

根据本申请的数据异步调用的方法包括：

客户端接收服务端提供的查询页面，以通过查询页面获取外部输入的查询参数；

将查询参数通过查询页面返回给服务端，以使服务端根据查询参数进行数据的查询，得到查询结果；

接收服务端发送的查询成功通知，所述查询成功通知是服务端在根据查询参数查询得到查询结果后生成的通知；

根据查询成功通知执行获取与查询参数对应的查询结果的任务，得到查询结果。

为了实现上述目的，根据本申请的第三方面，提供了一种数据异步调用的装置。

根据本申请的数据异步调用的装置包括：

提供单元，用于服务端向客户端提供查询页面，以通过查询页面获取查询参数，所述查询页面嵌入到客户端页面中；

查询单元，用于服务端获取查询参数后根据查询参数进行数据的查询，得到查询结果；

发送单元，用于将查询结果进行保存并向客户端发送查询成功通知，使客户端在接收到查询成功通知后执行根据查询成功通知获取查询结果的任务。

进一步的，所述查询单元包括：

保存模块，用于服务端将接收到的查询参数保存到查询任务表中，所述查询任务表中一组查询参数对应一个查询任务；

获取模块，用于服务端按照预设规则从查询任务表中获取查询任务；

查询模块，用于根据查询任务中的查询参数并调用查询接口进行数据的查询，得到查询结果。

进一步的，所述发送单元包括：

配置模块，用于将查询结果保存到存储系统Redis中，并为查询结果配置对应的标识信息；

发送模块，用于向客户端发送包含标识信息的查询成功通知，使客户端根据查询成功通知中的标识信息从Redis中获取查询结果。

进一步的，所述获取模块，用于：

每隔预设时段从查询任务表中获取查询任务；

所述配置模块，用于

将查询结果分批次写入到存储系统Redis中；

进一步的，所述查询模块，用于：

将查询参数自动拼接成查询语句；

为了实现上述目的，根据本申请的第四方面，提供了一种数据异步调用的装置。

根据本申请的数据异步调用的装置包括：

第一接收单元，用于客户端接收服务端提供的查询页面，以通过查询页面获取外部输入的查询参数；

返回单元，用于将查询参数通过查询页面返回给服务端，以使服务端根据查询参数进行数据的查询，得到查询结果；

第二接收单元，用于接收服务端发送的查询成功通知，所述查询成功通知是服务端在根据查询参数查询得到查询结果后生成的通知；

执行单元，用于根据查询成功通知执行获取与查询参数对应的查询结果的任务，得到查询结果。

为了实现上述目的，根据本申请的第五方面，提供了一种数据异步调用的系统，所述系统包括服务端和客户端：

所述服务端，用于向客户端提供查询页面，以通过查询页面获取查询参数，所述查询页面嵌入到客户端页面中；获取查询参数后根据查询参数进行数据的查询，得到查询结果；将查询结果进行保存并向客户端发送查询成功通知；

所述客户端，用于接收服务端提供的查询页面，以通过查询页面获取外部输入的查询参数；将查询参数通过查询页面返回给服务端；接收服务端发送的查询成功通知，所述查询成功通知是服务端在根据查询参数查询得到查询结果后生成的通知；根据查询成功通知执行获取与查询参数对应的查询结果的任务，得到查询结果。

为了实现上述目的，根据本申请的第六方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述第一方面和第二方面中任一项所述的数据异步调用的方法。

在本申请实施例中，数据异步调用的方法、装置及系统中，首先可以使用户通过由客户端中的查询页面输入查询参数，该查询页面是服务端提供的嵌入在客户端中的页面，当输入查询参数后，服务端可以通过查询页面获取查询参数并根据查询参数进行数据的查询，得到查询结果后，向客户端发送查询成功通知，使客户端在确定查询成功后再执行查询结果的获取，不需要客户端持续等待查询结果，可以在等待的期间执行其他的任务，实现服务端查询和客户端等待的分离，实现了业务上的解耦，主观上减少了查询等待时间，提高了查询的效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种数据异步调用的方法流程图；

图2是根据本申请实施例提供的另一种数据异步调用的方法流程图；

图3是根据本申请实施例提供的又一种数据异步调用的方法流程图；

图4是根据本申请实施例提供的一种数据异步调用的装置的组成框图；

图5是根据本申请实施例提供的另一种数据异步调用的装置的组成框图；

图6是根据本申请实施例提供的又一种数据异步调用的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请实施例，提供了一种数据异步调用的方法，如图1所示，该方法包括如下的步骤：

S101.服务端向客户端提供查询页面，以通过查询页面获取查询参数。

具体的查询页面是由服务端提供并嵌入到客户端系统中，在客户端页面展示的同时展示查询页面。采用服务端提供查询页面并嵌入客户端中的方式是为了由服务端单独掌控，实现前后端参数一致。

查询参数是通过客户端查询获取服务端中数据所需的参数。本实施例中，主要是根据业务需求从分布式架构系统的海量数据中查询调用业务相关数据。查询参数可以由用户直接输入到查询页面，也可以通过在查询页面中设置多个查询条件，使用户通过选择查询条件后根据查询条件提取或生成查询参数。当在查询页面中输入或者生成查询参数后，服务端可以通过查询页面中携带的回调地址，获取查询参数。

S102.服务端获取查询参数后根据查询参数进行数据的查询，得到查询结果。

服务端根据获取的查询参数生成查询语句，然后根据生成的查询语句在服务端中进行数据的查询，得到查询结果。数据的查询过程就是执行查询语句的过程。查询语句是根据查询参数以及查询语句的语法规则等拼接形成的。

S103.将查询结果进行保存并向客户端发送查询成功通知，使客户端在接收到查询成功通知后执行根据查询成功通知获取查询结果。

将步骤S102中得到的查询结果保存在对应的数据存储系统中，本实施例中数据的存储系统可以是服务端侧的系统，也可以是独立于服务端侧的数据存储系统。服务端在获取到查询结果后，再发送查询成功通知给客户端，使客户端在确定查询成功后，执行从数据存储系统中获取查询结果的任务。

本实施例中用户在通过客户端向服务端查询(或调用)数据时，在输入查询参数后不需要客户端持续等待查询结果，可以在等待的期间执行其他的任务，实现异步查询或调用数据的效果，将客户端等待和服务端查询进行分离。

从以上的描述中，可以看出，本申请实施例的数据异步调用的方法中，首先可以使用户通过由客户端中的查询页面输入查询参数，该查询页面是服务端提供的嵌入在客户端中的页面，当输入查询参数后，服务端可以通过查询页面获取查询参数并根据查询参数进行数据的查询，得到查询结果后，向客户端发送查询成功通知，使客户端在确定查询成功后再执行查询结果的获取，不需要客户端持续等待查询结果，可以在等待的期间执行其他的任务，实现服务端查询和客户端等待的分离，实现了业务上的解耦，主观上减少了查询等待时间，提高了查询的效率。

作为上述实施例的进一步的补充和细化，根据本申请实施例，提供了另一种数据异步调用的方法，如图2所示，该方法包括如下的步骤：

S201.服务端向客户端提供查询页面。

服务端提供查询页面，并将查询页面嵌入到客户端系统中，在客户端页面展示的同时展示查询页面。

S202.客户端接收服务端提供的查询页面，以通过查询页面获取外部输入的查询参数。

客户端将接收到的查询页面展示，使用户直接将查询参数输入到查询页面，或者使用户通过选择查询页面中设置的多个查询条件，根据查询条件提取或生成查询参数。

S203.服务端通过查询页面获取查询参数并将接收到的查询参数保存到查询任务表中。

在查询页面中输入或者生成查询参数后，服务端可以通过查询页面中携带的回调地址，获取查询参数。获取到查询参数后将将其保存到查询任务表中，使执行查询任务时从中调取。查询任务表是服务端对应的数据库的查询任务表，查询任务表中一组查询参数对应一个查询任务。

S204.服务端按照预设规则从查询任务表中获取查询任务。

预设规则为每隔预设时段或者定时从查询任务表中获取查询任务。服务端将接收到的查询参数保存到查询任务表中，然后再定时调取查询任务去执行，是为了避免客户端同时并发过多请求时，影响服务端查询响应效率。另外，在实际应用中，也可以通过多进程执行查询任务来应对客户端同时并发过多请求的情况。

S205.服务端根据查询任务中的查询参数并调用查询接口进行数据的查询，得到查询结果。

具体的，根据查询任务中的查询参数并调用查询接口进行数据的查询，得到查询结果的实现过程包括：

1)将查询参数自动拼接成查询语句；

将查询参数根据查询语句的语法规则进行转化，并根据构造查询语句的构造规则将转化后的查询参数自动拼接成查询语句。

2)根据查询语句调用数据仓库工具Hive查询接口进行数据的查询。

为了保证查询结果的准确率，具体的本实施例调用Hive查询接口进行数据的查询，与Hive查询接口对应的查询语句为结构化查询语句(Structured Query Language，SQL)。因此上述步骤1)中拼接成的查询语句为SQL查询语句。

S206.服务端将查询结果进行保存并向客户端发送查询成功通知。

具体的，本实施例中是将查询结果保存到存储系统Redis中，Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。为了后续客户端获取查询结果的方便性，需要为查询结果配置对应的标识信息。给出一种具体的配置标识信息的方式：将查询结果分批次写入到存储系统Redis中；为不同批次的查询结果配置不同的关键字key，同一批次的查询结果对应相同的key。批次的划分可以根据查询的时间进行划分，即同一时刻获取的查询任务对应的查询结果划分为同一批次。

为了让客户端及时获取查询结果，需要服务端向客户端发送包含标识信息(key)的查询成功通知，使客户端根据查询成功通知中的标识信息(key)从Redis中获取与key对应批次的查询结果。

S207.客户端接收服务端发送的查询成功通知。

客户端接收服务端发送的包含标识信息(key)的查询成功通知，以确定服务端已经得到了之前输入的查询参数对应的查询结果，可以直接获取查询结果了。

S208.根据查询成功通知执行获取与查询参数对应的查询结果的任务，得到查询结果。

根据查询成功通知中的标识信息(key)从Redis中获取与key对应的批次的查询结果。

进一步的，以服务端为数据中心，数据中心中存储有海量的用户画像信息，后台人员需要从向数据中心中获取与某业务相关的用户画像信息为例进行数据异步调用方法的说明，具体的实现流程如图3所示：

S301.数据中心向客户端提供查询页面，该查询页面嵌入到客户端中。

S302.用户在查询页面中输入查询参数，提交保存。

S303.数据中心将查询参数保存到数据库的“查询任务表”中。

S304.数据中心定时从“查询任务表”中获取查询任务，将查询任务中的查询参数转化、拼接成可执行的SQL查询语句。

S305.数据中心调用Hive查询接口执行SQL查询语句得到查询结果；并将查询结果分批写入到Redis中，用唯一值作为每个批次写入Redis的查询结果的key。

S306.数据中心调用客户端回调方法，将包含key的查询成功通知发送给客户端，在发送成功后返回发送成功标记。

S307.客户端利用key，从Redis中获取与查询参数对应的用户画像信息。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图1至图3所述方法的数据异步调用的装置，如图4所示，该装置包括：

提供单元41，用于服务端向客户端提供查询页面，以通过查询页面获取查询参数，所述查询页面嵌入到客户端页面中；

查询单元42，用于服务端获取查询参数后根据查询参数进行数据的查询，得到查询结果；

发送单元43，用于将查询结果进行保存并向客户端发送查询成功通知，使客户端在接收到查询成功通知后执行根据查询成功通知获取查询结果的任务。

从以上的描述中，可以看出，本申请实施例的数据异步调用的装置中，首先可以使用户通过由客户端中的查询页面输入查询参数，该查询页面是服务端提供的嵌入在客户端中的页面，当输入查询参数后，服务端可以通过查询页面获取查询参数并根据查询参数进行数据的查询，得到查询结果后，向客户端发送查询成功通知，使客户端在确定查询成功后再执行查询结果的获取，不需要客户端持续等待查询结果，可以在等待的期间执行其他的任务，实现服务端查询和客户端等待的分离，实现了业务上的解耦，主观上减少了查询等待时间，提高了查询的效率。

进一步的，如图5所示，所述查询单元42包括：

保存模块421，用于服务端将接收到的查询参数保存到查询任务表中，所述查询任务表中一组查询参数对应一个查询任务；

获取模块422，用于服务端按照预设规则从查询任务表中获取查询任务；

查询模块423，用于根据查询任务中的查询参数并调用查询接口进行数据的查询，得到查询结果。

进一步的，如图5所示，所述发送单元43包括：

配置模块431，用于将查询结果保存到存储系统Redis中，并为查询结果配置对应的标识信息；

发送模块432，用于向客户端发送包含标识信息的查询成功通知，使客户端根据查询成功通知中的标识信息从Redis中获取查询结果。

进一步的，如图5所示，所述获取模块422，用于：

每隔预设时段从查询任务表中获取查询任务；

所述配置模块431，用于

将查询结果分批次写入到存储系统Redis中；

进一步的，所述查询模块423，用于：

将查询参数自动拼接成查询语句；

具体的，本申请实施例的装置中各单元、模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请实施例，还提供了一种用于实施上述图1至图3所述方法的数据异步调用的装置，如图6所示，该装置包括：

第一接收单元51，用于客户端接收服务端提供的查询页面，以通过查询页面获取外部输入的查询参数；

返回单元52，用于将查询参数通过查询页面返回给服务端，以使服务端根据查询参数进行数据的查询，得到查询结果；

第二接收单元53，用于接收服务端发送的查询成功通知，所述查询成功通知是服务端在根据查询参数查询得到查询结果后生成的通知；

执行单元54，用于根据查询成功通知执行获取与查询参数对应的查询结果的任务，得到查询结果。

根据本申请实施例，还提供了一种用于实施上述图1至图3所述方法的数据异步调用的系统，该系统包括服务端和客户端：

具体的，本申请实施例的服务端与客户端实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

从以上的描述中，可以看出，本申请实施例的数据异步调用的系统中，首先可以使用户通过由客户端中的查询页面输入查询参数，该查询页面是服务端提供的嵌入在客户端中的页面，当输入查询参数后，服务端可以通过查询页面获取查询参数并根据查询参数进行数据的查询，得到查询结果后，向客户端发送查询成功通知，使客户端在确定查询成功后再执行查询结果的获取，不需要客户端持续等待查询结果，可以在等待的期间执行其他的任务，实现服务端查询和客户端等待的分离，实现了业务上的解耦，主观上减少了查询等待时间，提高了查询的效率。

根据本申请实施例，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行图1至图3中任一所述的数据异步调用的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种数据异步调用的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的数据异步调用的方法，其特征在于，所述服务端获取查询参数后根据查询参数进行数据的查询，得到查询结果包括：

服务端按照预设规则从查询任务表中获取查询任务；

3.根据权利要求2所述的数据异步调用的方法，其特征在于，所述将查询结果进行保存并向客户端发送查询成功通知包括：

4.根据权利要求3所述的数据异步调用的方法，其特征在于，服务端按照预设规则从查询任务表中获取查询任务包括：

每隔预设时段从查询任务表中获取查询任务；

将查询结果分批次写入到存储系统Redis中；

5.根据权利要求2所述的数据异步调用的方法，其特征在于，所述根据查询任务中的查询参数并调用查询接口进行数据的查询，得到查询结果包括：

将查询参数自动拼接成查询语句；

6.一种数据异步调用的方法，其特征在于，所述方法包括：

7.一种数据异步调用的装置，其特征在于，所述装置包括：

8.一种数据异步调用的装置，其特征在于，所述装置包括：

9.一种数据异步调用的系统，其特征在于，所述系统包括服务端和客户端：

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至权利要求6中任一项所述的数据异步调用的方法。