CN110177127B - 基于grpc框架的数据传输方法、装置及设备 - Google Patents

Abstract

本说明书实施例提供一种基于grpc框架的数据传输方法、装置及设备，在基于grpc框架的数据传输方法中，接收客户端发送的数据采集请求，该数据采集请求用于请求采集多种数据类型的数据。响应于该数据采集请求，采集多种数据类型的数据，并向客户端返回数据获取指示。响应于客户端发起的通道开通请求，开通与多种数据类型中各种数据类型相应的多条流式通道。接收客户端并行地通过多条流式通道发送的数据读取请求。响应于数据读取请求，并行地通过多条流式通道发送各自对应的数据类型的数据。

Description

基于grpc框架的数据传输方法、装置及设备

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种基于grpc框架的数据传输方法、装置及设备。

背景技术

为了实现目标信息的精准推送，客户端通常需要请求服务端采集多种不同数据类型的数据。服务端在采集到不同数据类型的数据之后，将其返回给客户端。

在传统技术中，客户端与服务端之间的数据传输通常基于消息中间件metaq或远程过程调用(Remote Procedure Call，RPC)进行。然而在基于metaq或者RPC进行数据传输时，其传输的数据量通常会有大小限制。如，在客户端与服务端建立连接后，所传输的数据量通常不能超过128Kb。如果想要传输更大数据量的数据，就需要在客户端和服务端之间建立多次连接，然后分多次进行传输。由于上述多种数据类型数据的数据量通常会比较大，因此，为保证传输效率，客户端通常只向服务端请求一种数据类型的数据。

发明内容

本说明书一个或多个实施例描述了一种基于grpc框架的数据传输方法、装置及设备，可以在保证传输效率的前提下，在客户端与服务端之间传输大数据量数据。

第一方面，提供了一种基于grpc框架的数据传输方法，包括：

接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

响应于所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；

响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；

接收所述客户端并行地通过所述多条流式通道发送的数据读取请求；

响应于所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。

第二方面，提供了一种基于grpc框架的数据传输方法，包括：

向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

接收所述服务端返回的数据获取指示；

响应于所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；

在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；

接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据。

第三方面，提供了一种基于grpc框架的数据传输装置，包括：

接收单元，用于接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

采集单元，用于响应于所述接收单元接收的所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；

开通单元，用于响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；

所述接收单元，还用于接收所述客户端并行地通过所述开通单元开通的所述多条流式通道发送的数据读取请求；

发送单元，用于响应于所述接收单元接收的所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。

第四方面，提供了一种基于grpc框架的数据传输装置，包括：

发送单元，用于向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

接收单元，用于接收所述服务端返回的数据获取指示；

所述发送单元，还用于响应于所述接收单元接收的所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；

所述发送单元，还用于在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；

所述接收单元，还用于接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据。

第五方面，提供了一种基于grpc框架的数据传输设备，包括：

存储器；

一个或多个处理器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：

接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

响应于所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；

响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；

接收所述客户端并行地通过所述多条流式通道发送的数据读取请求；

响应于所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据。

第六方面，提供了一种基于grpc框架的数据传输设备，包括：

存储器；

一个或多个处理器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：

向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

接收所述服务端返回的数据获取指示；

响应于所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；

在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；

接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据。

本说明书一个或多个实施例提供的基于grpc框架的数据传输方法、装置及设备，接收客户端发送的数据采集请求，该数据采集请求用于请求采集多种数据类型的数据。响应于该数据采集请求，采集多种数据类型的数据，并向客户端返回数据获取指示。响应于客户端发起的通道开通请求，开通与多种数据类型中各种数据类型相应的多条流式通道。接收客户端并行地通过多条流式通道发送的数据读取请求。响应于数据读取请求，并行地通过多条流式通道发送各自对应的数据类型的数据。由此可以看出，本说明书提供的方案中，客户端可以向服务端请求多种数据类型的数据。且对于采集到的不同数据类型的数据，可以建立不同的流式通道进行传输。由此实现了在保证传输效率的前提下，在客户端与服务端之间传输大数据量数据。

附图说明

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本说明书提供的基于grpc框架的数据传输方法的应用场景示意图；

图2为本说明书一个实施例提供的基于grpc框架的数据传输方法流程图；

图3为本说明书另一个实施例提供的基于grpc框架的数据传输方法流程图；

图4为本说明书提供的基于grpc框架的数据传输方法信息交互图；

图5为本说明书一个实施例提供的基于grpc框架的数据传输装置示意图；

图6为本说明书另一个实施例提供的基于grpc框架的数据传输装置示意图；

图7为本说明书一个实施例提供的基于grpc框架的数据传输设备示意图；

图8为本说明书另一个实施例提供的基于grpc框架的数据传输设备示意图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

在描述本说明书提供的方案之前，先对本方案的发明构思作以下说明。

如背景技术的内容所述，在基于metaq或者RPC进行数据传输时，为保证传输效率，客户端通常只能向服务端请求一种数据类型的数据。为获取更多数据类型的数据，本说明书将基于谷歌开发的grpc框架来进行数据传输。grpc是一个高性能、开源和通用的RPC框架，面向移动和HTTP/2设计。在grpc框架下，客户端与服务端之间可以通过数据流的方式交互数据。数据流是一组有序，有起点和终点的字节的数据序列。

在grpc框架下，客户端与服务端之间的数据传输过程具体可以为：服务端将待传输的数据拆分成数据块。为保证数据块能准确传输，这里的数据块的大小可以不超过数据包的大小。之后依次发送所拆分得到的数据块。需要说明的是，这里一次发送的数据块的个数可以为一个也可以为多个，其具体数量基于数据包的大小和数据块的大小来确定。举例来说，假设数据包的大小为1Kb，且数据块的大小为1Kb，那么一次只能发送一个数据块。而当数据块的大小为0.5Kb的时候，一次可以发送两个数据块，以此类推。客户端按照接收次序拼接所接收的数据块，从而得到上述待传输的数据。

由此可以看出，在grpc框架下，由于待传输的数据是被拆分成数据块来发送的，从而对待传输的数据可以没有大小限制，只要求单次发送的数据块大小不超过数据包的大小即可。因此，在grpc框架下，可以传输大数据量数据。

在保证可以传输大数据量数据的前提下，本方案可以通过如下思路来提升数据传输效率。

对于待传输的数据，可以按照数据类型分别传输。具体地，客户端在接收到服务端发送的可以获取数据的指示时，针对每种数据类型，可以在服务端和客户端之间开通相应的流式通道。之后，客户端可以并行地通过与多种数据类型对应的多条流式通道向服务端发送数据获取请求。服务端在接收到数据获取请求之后，可以并行地通过多条流式通道发送各自对应的数据类型的数据。由此，可以大大提升数据的传输效率。

以上就是本说明书提供的发明构思，基于该发明构思就可以得到本说明书提供的方案，以下对本方案进行详细描述。

图1为本说明书提供的数据传输方法的应用场景示意图。图1中，客户端可以向服务端发送数据采集请求。该数据采集请求用于请求采集多种数据类型的数据。响应于该数据采集请求，服务端可以采集多种数据类型的数据。之后，服务端可以向客户端发送数据获取指示。客户端在接收到数据获取指示之后，发起通道开通请求。响应于该开通请求，服务端开通与多种数据类型中各种数据类型相应的多条流式通道。在多条流式通道开通之后，客户端并行地通过多条流式通道向服务端发送数据读取请求。响应于该数据读取请求，服务端并行地通过多条流式通道发送各自对应的数据类型的数据。

图2为本说明书一个实施例提供的基于grpc框架的数据传输方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置，如，可以为图1中的服务端。如图2所示，所述方法具体可以包括：

步骤202，接收客户端发送的数据采集请求。

这里的数据采集请求可以用于请求采集多种数据类型的数据。

可选地，在服务端接收上述数据采集请求之前，可以先接收客户端发送的长连接请求，并基于该长连接请求建立与客户端之间的长连接。

上述长连接请求还可以包括通道创建指示。当还包括通道创建指示时，可以根据通道创建指示，基于上述建立的长连接创建与多种数据类型中各种数据类型相应的多条流式通道(stream)，并使其处于未激活状态。需要说明的是，这里的数据类型可以是携带在上述通道创建指示中的，也可以是预先在服务端配置好的。再者，本说明书所述的多条流式通道之间所发送的数据相互不影响。

结合会员推送场景来说，在用户通过客户端注册会员后，获取与当前用户具有代表关系的组织机构(如，企业等)的相关类型数据的授权指令。这里的相关类型数据至少可以包括工商数据、新闻负面数据以及公示数据等。在获取到上述授权指令之后，客户端可以向服务端发送数据采集请求。该数据采集请求可以是用于指示服务端采集工商数据、新闻负面数据以及公示数据中的若干种。可以理解的是，客户端在获取到上述若干种数据之后，可以基于该若干种数据判断该组织机构是否满足会员注册条件，并在满足会员注册条件时，可以向用户推送该组织结构，以便于用户将该组织机构也注册为会员，由此可以大大提升会员转化率。

步骤204，响应于数据采集请求，采集多种数据类型的数据，并向客户端返回数据获取指示。

以上述会员推送场景为例来说，这里的数据类型可以包括但不限于工商数据类型、新闻负面数据类型以及公示数据类型等。

为了提升数据采集效率，本说明书可以启动多线程进行采集。具体地，可以获取对应于每种数据类型的重要性参数。之后对于每种数据类型，根据对应的重要性参数，从已创建的数据采集线程中选取相应数量的数据采集线程。启动所选取的数据采集线程，以采集上述多种数据类型的数据。

需要说明的是，上述重要性参数可以是建立上述长连接的过程中，由客户端发送给服务端的；也可以是由服务端自己设置的，本说明书对此不作限定。

此外，在实际应用中，也可以是按固定比例为每种数据类型的数据启动相应的数据采集线程。举例来说，假设已创建的数据采集线程的个数为10个，且固定比例为1:1，则当待采集数据的数据类型为两种时，可以为每种数据类型的数据各启动5个数据采集线程。

本说明书基于多线程来采集多种数据类型的数据时，可以大大提升数据采集的效率。

还需要说明的是，当服务端启动多线程进行数据的采集时，步骤204中可以是在任意一个数据采集线程采集到数据时，即向客户端返回数据获取指示。这里的数据获取指示可以携带服务端已创建好的流式通道所对应的数据类型。

步骤206，响应于客户端发起的通道开通请求，开通与多种数据类型中各种数据类型相应的多条流式通道。

这里分两种情况进行说明。

第一种，当服务端已创建了处于未激活状态的多条流式通道时，上述通道开通请求即为激活请求，且开通与多种数据类型中各种数据类型相应的多条流式通道的过程可以为：激活已创建的、处于未激活状态的多条流式通道。

第二中，当服务端未预先创建多条流式通道时，上述通道开通请求可以用于请求服务端创建多条流式通道，且开通与多种数据类型中各种数据类型相应的多条流式通道的过程可以为：基于已建立的长连接创建与多种数据类型中各种数据类型相应的多条流式通道，并激活多条流式通道。

以上述会员推送场景为例来说，所创建的流式通道可以包括但不限于如下几种：与工商数据类型相应的流式通道、与新闻负面数据类型相应的流式通道以及与公示数据类型相应的流式通道等。

步骤208，接收客户端并行地通过多条流式通道发送的数据读取请求。

以上述会员推送场景为例来说，可以通过与工商数据类型相应的流式通道，接收客户端发送的工商数据的数据读取请求。可以通过与新闻负面数据类型相应的流式通道，接收客户端发送的新闻负面数据的数据读取请求等等。

步骤210，响应于数据读取请求，并行地通过多条流式通道发送各自对应的数据类型的数据。

需要说明的是，本说明书中的多种数据类型可以包括第一类型，所创建的多条流式通道可以包括与第一类型对应的第一通道。此外，上述长连接请求还可以包括针对第一类型的数据设置的第一数据块大小。

以上述第一类型和第一通道为例来说，步骤210中并行地通过多条流式通道发送各自对应的数据类型的数据可以包括：按照第一数据块大小，对第一类型的数据进行拆分，以得到至少一个数据块。通过第一通道依次发送至少一个数据块。

以上述会员推送场景为例来说，可以通过与工商数据类型相应的流式通道，向客户端发送工商数据对应的至少一个数据块。可以通过与新闻负面数据类型相应的流式通道，向客户端发送新闻负面数据对应的至少一个数据块等等。

需要说明的是，在本说明书中，上述第一数据块大小可以是由客户端根据自身的资源量来设置。具体地，若客户端资源充足，则可以将第一数据块设置大一些，如，可以将第一数据块大小设置为数据包大小，从而加快数据处理速度。若客户端资源不足，则可以将第一数据块设置小一些。当第一数据块大小比较小时，虽然会延长传输时间，但由于所占用的资源较少，从而可以节约客户端资源。

还需要说明的是，当长连接请求不包括上述第一数据块大小时，可以按照数据包的大小来拆分各个数据类型的数据，本说明对此不作限定。

综上，本说明书基于grpc框架传输数据时，可以传输大数据量数据。此外，在任意一个数据采集线程采集到数据时，即向客户端返回数据获取指示，从而客户端根据该数据获取指示从服务端读取数据的方式，可以达到边生产边消费的目的，相比于传统的先生产后消费的方式，可以大大提升数据的获取效率。最后，客户端并行地通过多条流式通道发送不同数据类型的数据读取请求，以及服务端并行地通过多条流式通道发送各自对应的数据类型的数据，可以大大提升数据的传输效率。

此外，当客户端在接收完成任一种数据类型的数据时，可以按照与该种数据类型的数据相应的至少一个数据块的接收次序，对该至少一个数据块进行拼接，以得到该种数据类型的数据。之后，可以针对该种数据类型的数据，执行相应的处理操作，而不用等到多种数据类型的数据全部接收完成，才执行相应的处理操作，这可以大大提升数据的处理效率。

以上述会员推送场景为例来说，可以通过与工商数据类型相应的流式通道，向客户端发送工商数据。可以通过与新闻负面数据类型相应的流式通道，向客户端发送新闻负面数据等等。之后，客户端如果先接收到工商数据，则可以基于工商数据的评估规则，对工商数据进行评估，如果评估不通过，则直接结束当前推送流程；如果评估通过，则进一步对新闻负面数据等进行评估，直至所有数据类型的数据评估通过，则判断对应的组织结构满足会员注册条件，从而向用户推送该组织结构。需要说明的是，上述在工商数据接收完成时，就基于对应的评估规则对其进行评估，且在评估不通过时结束推送流程的方式，可以大大节约计算机资源。此外，基于多种数据类型的数据来向用户推送组织机构的方式，可以实现组织机构的精准推送。

图3为本说明书另一个实施例提供的基于grpc框架的数据传输方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置，如，可以为图1中的客户端。如图3所示，所述方法具体可以包括：

步骤302，向服务端发送数据采集请求。

这里的数据采集请求可以用于请求采集多种数据类型的数据。

可选地，在向服务端发送上述数据采集请求之前，可以先向服务端发送长连接请求。服务端在接收到该长连接请求之后，可以基于该长连接请求建立与客户端之间的长连接。

上述长连接请求还可以包括通道创建指示。当还包括通道创建指示时，服务端可以根据通道创建指示，基于上述建立的长连接创建与多种数据类型中各种数据类型相应的多条流式通道，并使其处于未激活状态。需要说明的是，这里的数据类型可以是携带在上述通道创建指示中的，也可以是预先在服务端配置好的。再者，本说明书所述的多条流式通道之间所发送的数据相互不影响。

结合会员推送场景来说，当用户通过客户端注册会员时，获取与当前用户具有代表关系的组织机构(如，企业)的相关类型数据的授权指令。这里的相关类型数据至少可以包括工商数据、新闻负面数据以及公示数据等。在获取到上述授权指令之后，客户端可以向服务端发送数据采集请求。该数据采集请求可以是用于指示服务端采集工商数据、新闻负面数据以及公示数据等。也即所采集的数据类型可以包括但不限于工商数据类型、新闻负面数据类型以及公示数据类型等。

还需要说明的是，为了提升数据采集效率，本说明书可以启动多线程进行采集。具体地，可以获取对应于每种数据类型的重要性参数。之后对于每种数据类型，根据对应的重要性参数，从已创建的数据采集线程中选取相应数据量的数据采集线程。启动所选取的数据采集线程，以采集上述多种数据类型的数据。

需要说明的是，上述重要性参数可以是建立上述有效连接的过程中，由客户端发送给服务端的；也可以是由服务端自己设置的，本说明书对此不作限定。

此外，在实际应用中，也可以是按固定比例为每种数据类型的数据启动相应的数据采集线程。

本说明书基于多线程来采集多种数据类型的数据时，可以大大提升数据采集的效率。

步骤304，接收服务端返回的数据获取指示。

在本说明书中，当服务端启动多线程进行数据的采集时，可以是在任意一个数据采集线程采集到数据时，即向客户端返回数据获取指示。这里的数据获取指示可以携带服务端已创建好的流式通道所对应的数据类型。

步骤306，响应于数据获取指示，向服务端发起通道开通请求。

该通道开通请求可以用于请求开通与多种数据类型中各数据类型相应的多条流式通道。

服务端在接收到通道开通请求后的处理过程可以分为以下两种情况：

第一种，当服务端已创建了处于未激活状态的多条流式通道时，上述通道开通请求即为激活请求，因此服务端只需激活已创建的、处于未激活状态的多条流式通道即可。

第二中，当服务端未预先创建多条流式通道时，上述通道开通请求可以用于请求服务端创建多条流式通道，即服务端根据通道开通请求，基于已建立的长连接创建与多种数据类型中各种数据类型相应的多条流式通道，并激活多条流式通道。

以上述会员推送场景为例来说，所创建的流式通道可以包括但不限于如下几种：与工商数据类型相应的流式通道、与新闻负面数据类型相应的流式通道以及与公示数据类型相应的流式通道等。

步骤308，在多条流式通道创建之后，并行地通过多条流式通道向服务端发送数据读取请求。

以上述会员推送场景为例来说，可以通过与工商数据类型相应的流式通道，向服务端发送工商数据的数据读取请求。可以通过与新闻负面数据类型相应的流式通道，向服务端发送新闻负面数据的数据读取请求等等。且不同数据类型的数据读取请求可以并行发送。

步骤310，接收服务端并行地通过多条流式通道发送的各自对应的数据类型的数据。

需要说明的是，本说明书中的多种数据类型可以包括第一类型，所创建的多条流式通道可以包括与第一类型对应的第一通道。此外，上述长连接请求还可以包括针对第一类型的数据设置的第一数据块大小。

以上述第一类型和第一通道为例来说，步骤310中接收服务端并行地通过多条流式通道发送的各自对应的数据类型的数据可以包括：依次接收服务端通过第一通道发送的至少一个数据块。其中，至少一个数据块是由服务端根据客户端预设的第一数据块大小，对第一类型的数据进行拆分后得到的。按照所述至少一个数据块的接收顺序，对至少一个数据块进行拼接，以得到第一类型的数据。

以上述会员推送场景为例来说，可以通过与工商数据类型相应的流式通道，向客户端发送工商数据对应的至少一个数据块。可以通过与新闻负面数据类型相应的流式通道，向客户端发送新闻负面数据对应的至少一个数据块等等。

还需要说明的是，当客户端不向服务端发送上述第一数据块大小时，可以按照数据包的大小来拆分各个数据类型的数据，本说明对此不作限定。

此外，当客户端在接收完成任一种数据类型的数据时，可以按照与该种数据类型的数据相应的多个数据块的接收次序，对该多个数据块进行拼接，以得到该种数据类型的数据。之后，可以针对该种数据类型的数据，执行相应的处理操作，而不用等到多种数据类型的数据全部接收完成，才执行相应的处理操作，这可以大大提升数据的处理效率。

以上述会员推送场景为例来说，可以通过与工商数据类型相应的流式通道，向客户端发送工商数据。可以通过与新闻负面数据类型相应的流式通道，向客户端发送新闻负面数据等等。之后，客户端如果先接收到工商数据，则可以基于工商数据的评估规则，对工商数据进行评估，如果评估不通过，则直接结束当前推送流程；如果评估通过，则进一步对新闻负面数据等进行评估，直至所有数据类型的数据评估通过，则判断对应的组织结构满足会员注册条件，从而向用户推送该组织结构。需要说明的是，上述在工商数据接收完成时，就基于对应的评估规则对其进行评估，且在评估不通过时结束推送流程的方式，可以大大节约计算机资源。此外，基于多种数据类型的数据来向用户推送组织机构的方式，可以实现组织机构的精准推送。

图4为本说明书提供的基于grpc框架的数据传输方法信息交互图。如图4所示，该方法可以包括如下步骤：

步骤402，在用户通过客户端注册会员后，客户端获取与当前用户具有代表关系的组织机构的相关类型数据的授权指令。

步骤404，客户端请求建立与服务端之间的长连接。

步骤406，客户端向服务端发送数据采集请求。

这里的数据采集请求可以用于指示服务端采集多种数据类型的数据。这里的数据类型可以包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。

步骤408，服务端启动多线程采集数据。

步骤410，服务端向客户端返回数据获取指示。

这里的数据获取指示可以是在服务端的任一数据采集线程采集到数据时发送的。

步骤412，客户端向服务端发送通道开通请求。

该通道开通请求用于请求开通与每种数据类型相应的流式通道。如，请求开通与工商数据类型相应的流式通道、与新闻负面数据类型相应的流式通道以及与公示数据类型相应的流式通道等。

步骤414，客户端并行地通过多条流式通道向服务端发送数据读取请求。

如，可以通过与工商数据类型相应的流式通道，向服务端发送工商数据的数据读取请求。可以通过与新闻负面数据类型相应的流式通道，向服务端发送新闻负面数据的数据读取请求等等。且不同数据类型的数据读取请求可以并行发送。

步骤416，服务端并行地通过多条流式通道发送各自对应的数据类型的数据。

如，可以通过与工商数据类型相应的流式通道，向客户端发送工商数据。可以通过与新闻负面数据类型相应的流式通道，向客户端发送新闻负面数据等等。

步骤418，当任意的第一种数据类型的数据接收完成时，客户端对第一种数据类型的数据执行相应的处理操作。

这里的处理操作可以包括但不限于评估某一种数据类型的数据是否满足相应的评估规则。如，在工商数据接收完成时，评估工商数据是否满足工商数据评估规则。需要说明的是，当任一种数据类型的数据评估不通过，则结束推送流程。否则，当所有数据类型的数据评估通过时，向用户推送该组织结构，以便于用户将该组织机构也注册为会员，由此可以大大提升会员转化率。

步骤420，客户端释放长连接。

综上，通过该数据传输方法，可以及时而有效地向用户推送与其具有代表关系的、满足会员注册条件的组织结构，这可以大大提升用户体验。

与上述基于grpc框架的数据传输方法对应地，本说明书一个实施例还提供的一种基于grpc框架的数据传输装置，如图5所示，该装置可以包括：

接收单元502，用于接收客户端发送的数据采集请求，该数据采集请求用于请求采集多种数据类型的数据。

这里的数据类型可以包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。

采集单元504，用于响应于接收单元502接收的数据采集请求，采集多种数据类型的数据，并向客户端返回数据获取指示。

采集单元504具体可以用于：

获取对应于每种数据类型的重要性参数。

对于每种数据类型，根据对应的重要性参数，从已创建的数据采集线程中选取相应数量的数据采集线程。

启动所选取的数据采集线程，以采集多种数据类型的数据。

开通单元506，用于响应于客户端发起的通道开通请求，开通与多种数据类型中各种数据类型相应的多条流式通道。

接收单元502，还用于接收客户端并行地通过开通单元506开通的多条流式通道发送的数据读取请求。

发送单元508，用于响应于接收单元502接收的数据读取请求，并行地通过多条流式通道发送各自对应的数据类型的数据。

可选地，该装置还可以包括：建立单元510。

接收单元502，还用于接收客户端发送的长连接请求。

建立单元510，用于根据接收单元502接收的长连接请求，建立与客户端之间的长连接。

多条流式通道基于所建立的长连接而创建。

可选地，长连接请求可以包括通道创建指示。

建立单元510具体可以用于:

根据通道创建指示，基于长连接创建多条流式通道，并使其处于未激活状态。

通道开通请求为激活请求。

开通单元506具体可以用于：

激活已创建的、处于未激活状态的多条流式通道。

可选地，通道开通请求用于请求创建多条流式通道。

开通单元506具体可以用于：

基于长连接创建与多种数据类型中各种数据类型相应的多条流式通道，并激活多条流式通道。

可选地，上述多种数据类型可以包括第一类型，多条流式通道可以包括与第一类型对应的第一通道，长连接请求可以包括针对第一类型的数据设置的第一数据块大小。

发送单元508具体可以用于：

按照第一数据块大小，对第一类型的数据进行拆分，以得到至少一个数据块。

通过第一通道依次发送至少一个数据块。

本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。

本说明书一个实施例提供的基于grpc框架的数据传输装置，可以大大提升数据传输效率。

本说明书一个实施例提供的基于grpc框架的数据传输装置可以为图1中服务端的一个模块或者单元。

与上述基于grpc框架的数据传输方法对应地，本说明书一个实施例还提供的基于grpc框架的数据传输装置，如图6所示，该装置可以包括：

发送单元602，用于向服务端发送数据采集请求，该数据采集请求用于请求采集多种数据类型的数据。

该数据采集请求是在接收到当前用户的授权指令后发送的。该授权指令用于授权获取与当前用户具有代表关系的组织机构的相关类型数据。这里的相关类型数据至少包括工商数据、新闻负面数据以及公示数据。

上述数据类型可以包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。

接收单元604，用于接收服务端返回的数据获取指示。

发送单元602，还用于响应于接收单元604接收的数据获取指示，向服务端发起通道开通请求，该通道开通请求用于请求开通与多种数据类型中各数据类型相应的多条流式通道。

发送单元602，还用于在多条流式通道开通之后，并行地通过多条流式通道向服务端发送数据读取请求。

接收单元604，还用于接收服务端并行地通过多条流式通道发送的各自对应的数据类型的数据。

可选地，上述多种数据类型包括第一类型，多条流式通道包括与第一类型对应的第一通道，接收单元604具体可以用于：

依次接收服务端通过第一通道发送的至少一个数据块。其中，至少一个数据块是由服务端根据预设的第一数据块大小，对第一类型的数据进行拆分后得到的。

按照至少一个数据块的接收顺序，对至少一个数据块进行拼接，以得到第一类型的数据。

本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。

本说明书一个实施例提供的基于grpc框架的数据传输装置，可以大大提升数据的传输效率。

本说明书一个实施例提供的基于grpc框架的数据传输装置可以为图1中客户端的一个模块或者单元。

与上述基于grpc框架的数据传输方法对应地，本说明书实施例还提供了一种基于grpc框架的数据传输设备，如图7所示，该设备可以包括：存储器702、一个或多个处理器704以及一个或多个程序。其中，该一个或多个程序存储在存储器702中，并且被配置成由一个或多个处理器704执行，该程序被处理器704执行时实现以下步骤：

接收客户端发送的数据采集请求，该数据采集请求用于请求采集多种数据类型的数据。

响应于数据采集请求，采集多种数据类型的数据，并向客户端返回数据获取指示。

响应于客户端发起的通道开通请求，开通与多种数据类型中各种数据类型相应的多条流式通道。

接收客户端并行地通过多条流式通道发送的数据读取请求。

响应于数据读取请求，并行地通过多条流式通道发送各自对应的数据类型的数据。

本说明书一个实施例提供的基于grpc框架的数据传输设备，可以大大提升数据的传输效率。

与上述基于grpc框架的数据传输方法对应地，本说明书实施例还提供了一种基于grpc框架的数据传输设备，如图8所示，该设备可以包括：存储器802、一个或多个处理器804以及一个或多个程序。其中，该一个或多个程序存储在存储器802中，并且被配置成由一个或多个处理器804执行，该程序被处理器804执行时实现以下步骤：

向服务端发送数据采集请求，该数据采集请求用于请求采集多种数据类型的数据。

接收服务端返回的数据获取指示。

响应于数据获取指示，向服务端发起通道开通请求，该通道开通请求用于请求开通与多种数据类型中各数据类型相应的多条流式通道。

在多条流式通道开通之后，并行地通过多条流式通道向服务端发送数据读取请求。

接收服务端并行地通过多条流式通道发送的各自对应的数据类型的数据。

本说明书一个实施例提供的基于grpc框架的数据传输设备，可以大大提升数据的传输效率。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (24)

1.一种基于grpc框架的数据传输方法，通过服务端执行，所述方法包括：

接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

响应于所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；

响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；

接收所述客户端并行地通过所述多条流式通道发送的数据读取请求；

响应于所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据，其中，每种数据类型的数据是在被拆分为数据块后发送的，所述数据块的大小不超过数据包的大小。

2.根据权利要求1所述的方法，在所述开通与所述多种数据类型中各种数据类型相应的多条流式通道之前，还包括：

接收所述客户端发送的长连接请求；

根据所述长连接请求，建立与所述客户端之间的长连接；

所述多条流式通道基于所述长连接而创建。

3.根据权利要求2所述的方法，所述长连接请求包括通道创建指示；

所述建立与所述客户端之间的长连接,包括:

根据所述通道创建指示，基于所述长连接创建所述多条流式通道，并使其处于未激活状态；

所述通道开通请求为激活请求；

所述开通与所述多种数据类型中各种数据类型相应的多条流式通道，包括：

激活已创建的、处于未激活状态的所述多条流式通道。

4.根据权利要求2所述的方法，所述通道开通请求用于请求所述服务端创建所述多条流式通道；

所述开通与所述多种数据类型中各种数据类型相应的多条流式通道，包括：

基于所述长连接创建与所述多种数据类型中各种数据类型相应的多条流式通道，并激活所述多条流式通道。

5.根据权利要求2所述的方法，所述多种数据类型包括第一类型，所述多条流式通道包括与所述第一类型对应的第一通道，所述长连接请求包括针对所述第一类型的数据设置的第一数据块大小；

所述并行地通过所述多条流式通道发送各自对应的数据类型的数据，包括：

按照所述第一数据块大小，对所述第一类型的数据进行拆分，以得到至少一个数据块；

通过所述第一通道依次发送所述至少一个数据块。

6.根据权利要求1所述的方法，所述采集多种数据类型的数据，包括：

获取对应于每种数据类型的重要性参数；

对于所述每种数据类型，根据对应的重要性参数，从已创建的数据采集线程中选取相应数量的数据采集线程；

启动所选取的数据采集线程，以采集所述多种数据类型的数据。

7.根据权利要求1所述的方法，所述数据类型包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。

8.一种基于grpc框架的数据传输方法，通过客户端执行，所述方法包括：

向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

接收所述服务端返回的数据获取指示；

响应于所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；

在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；

接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据，其中，每种数据类型的数据是在被拆分为数据块后发送的，所述数据块的大小不超过数据包的大小。

9.根据权利要求8所述的方法，所述多种数据类型包括第一类型，所述多条流式通道包括与所述第一类型对应的第一通道，所述接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据，包括：

依次接收所述服务端通过所述第一通道发送的至少一个数据块；其中，所述至少一个数据块是由所述服务端根据所述客户端预设的第一数据块大小，对所述第一类型的数据进行拆分后得到的；

按照所述至少一个数据块的接收顺序，对所述至少一个数据块进行拼接，以得到所述第一类型的数据。

10.根据权利要求8所述的方法，所述数据采集请求是由所述客户端在接收到当前用户的授权指令后发送的；所述授权指令用于授权获取与所述当前用户具有代表关系的组织机构的相关类型数据；所述相关类型数据至少包括工商数据、新闻负面数据以及公示数据。

11.根据权利要求8所述的方法，所述数据类型包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。

12.一种基于grpc框架的数据传输装置，包括：

接收单元，用于接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

采集单元，用于响应于所述接收单元接收的所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；

开通单元，用于响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；

所述接收单元，还用于接收所述客户端并行地通过所述开通单元开通的所述多条流式通道发送的数据读取请求；

发送单元，用于响应于所述接收单元接收的所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据，其中，每种数据类型的数据是在被拆分为数据块后发送的，所述数据块的大小不超过数据包的大小。

13.根据权利要求12所述的装置，还包括：建立单元；

所述接收单元，还用于接收所述客户端发送的长连接请求；

所述建立单元，用于根据所述接收单元接收的所述长连接请求，建立与所述客户端之间的长连接；

所述多条流式通道基于所述长连接而创建。

14.根据权利要求13所述的装置，所述长连接请求包括通道创建指示；

所述建立单元具体用于:

根据所述通道创建指示，基于所述长连接创建所述多条流式通道，并使其处于未激活状态；

所述通道开通请求为激活请求；

所述开通单元具体用于：

激活已创建的、处于未激活状态的所述多条流式通道。

15.根据权利要求13所述的装置，所述通道开通请求用于请求创建所述多条流式通道；

所述开通单元具体用于：

基于所述长连接创建与所述多种数据类型中各种数据类型相应的多条流式通道，并激活所述多条流式通道。

16.根据权利要求13所述的装置，所述多种数据类型包括第一类型，所述多条流式通道包括与所述第一类型对应的第一通道，所述长连接请求包括针对所述第一类型的数据设置的第一数据块大小；

所述发送单元具体用于：

按照所述第一数据块大小，对所述第一类型的数据进行拆分，以得到至少一个数据块；

通过所述第一通道依次发送所述至少一个数据块。

17.根据权利要求12所述的装置，所述采集单元具体用于：

获取对应于每种数据类型的重要性参数；

对于所述每种数据类型，根据对应的重要性参数，从已创建的数据采集线程中选取相应数量的数据采集线程；

启动所选取的数据采集线程，以采集所述多种数据类型的数据。

18.根据权利要求12所述的装置，所述数据类型包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。

19.一种基于grpc框架的数据传输装置，包括：

发送单元，用于向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

接收单元，用于接收所述服务端返回的数据获取指示；

所述发送单元，还用于响应于所述接收单元接收的所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；

所述发送单元，还用于在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；

所述接收单元，还用于接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据，其中，每种数据类型的数据是在被拆分为数据块后发送的，所述数据块的大小不超过数据包的大小。

20.根据权利要求19所述的装置，所述多种数据类型包括第一类型，所述多条流式通道包括与所述第一类型对应的第一通道，所述接收单元具体用于：

依次接收所述服务端通过所述第一通道发送的至少一个数据块；其中，所述至少一个数据块是由所述服务端根据预设的第一数据块大小，对所述第一类型的数据进行拆分后得到的；

按照所述至少一个数据块的接收顺序，对所述至少一个数据块进行拼接，以得到所述第一类型的数据。

21.根据权利要求19所述的装置，所述数据采集请求是在接收到当前用户的授权指令后发送的；所述授权指令用于授权获取与所述当前用户具有代表关系的组织机构的相关类型数据；所述相关类型数据至少包括工商数据、新闻负面数据以及公示数据。

22.根据权利要求19所述的装置，所述数据类型包括工商数据类型、新闻负面数据类型以及公示数据类型中的若干种。

23.一种基于grpc框架的数据传输设备，包括：

存储器；

一个或多个处理器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：

接收客户端发送的数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

响应于所述数据采集请求，采集所述多种数据类型的数据，并向所述客户端返回数据获取指示；

响应于所述客户端发起的通道开通请求，开通与所述多种数据类型中各种数据类型相应的多条流式通道；

接收所述客户端并行地通过所述多条流式通道发送的数据读取请求；

响应于所述数据读取请求，并行地通过所述多条流式通道发送各自对应的数据类型的数据，其中，每种数据类型的数据是在被拆分为数据块后发送的，所述数据块的大小不超过数据包的大小。

24.一种基于grpc框架的数据传输设备，包括：

存储器；

一个或多个处理器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：

向服务端发送数据采集请求，所述数据采集请求用于请求采集多种数据类型的数据；

接收所述服务端返回的数据获取指示；

响应于所述数据获取指示，向所述服务端发起通道开通请求，所述通道开通请求用于请求开通与所述多种数据类型中各数据类型相应的多条流式通道；

在所述多条流式通道开通之后，并行地通过所述多条流式通道向所述服务端发送数据读取请求；

接收所述服务端并行地通过所述多条流式通道发送的各自对应的数据类型的数据，其中，每种数据类型的数据是在被拆分为数据块后发送的，所述数据块的大小不超过数据包的大小。

Images