CN115801787B - 路端数据传输方法、装置及电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种路端数据传输方法、装置及电子设备、存储介质，该方法包括：获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个路口对应一个或多个路端；根据各个路口对应的单位时间数据量确定路口之间的相对顺序；根据路口之间的相对顺序和路口数量，以及消息中间件的分区数量，确定路口与分区的映射关系；根据路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中。本申请实施例的路端数据传输方法针对路端与云端数据传输的场景，一方面能够实现同一路口的数据存储在同一个消息中间件的分区中，另一方面能够提高各个分区存储的路口数据的均衡性。

Description

路端数据传输方法、装置及电子设备、存储介质

技术领域

本申请涉及数据传输技术领域，尤其涉及一种路端数据传输方法、装置及电子设备、存储介质。

背景技术

在“车路云一体化”的建设中，需要将路端数据传输到云端进一步进行数据汇总、数据融合等处理，从而实现一些场景能力的衍生，因此路端数据传输到云端这一步骤至关重要。

路端数据传输到云端，就需要云端相关的子系统接收数据才可进一步加工出衍生能力，云端多个系统想要接收这些数据就需要用到消息中间件来桥接，例如消息中间件RocketMQ、Kafka等均支持处理海量数据，支持水平扩展。由于业务需要，同一路口的数据必须被下游系统的同一台服务器消费到，才能实现同一路口的数据融合以及数据扩展等操作，这就需要同一路口的数据必须写入到消息中间件的同一分区队列中。

然而，由于现实道路场景中，繁华的路口路段与郊区路口路段的车流量差异极大，导致各路口区域的终端上报的数据量差异也极大，进而导致数据落在消息中间件的各分区数量差异也很大，这种不平衡就导致了消费数据的下游系统的服务器资源会出现部分服务器资源利用不高，部分服务器资源利用率极高但仍旧处理不完数据的问题出现。

发明内容

本申请实施例提供了一种路端数据传输方法、装置及电子设备、存储介质，以提高路端与云端交互场景下数据传输的均衡性。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种路端数据传输方法，其中，所述方法包括：

获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个所述路口对应一个或多个路端；

根据各个路口对应的单位时间数据量确定路口之间的相对顺序；

根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系；

根据所述路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中。

可选地，所述获取路口数量和各个路口对应的单位时间数据量包括：

获取各个路端上报的路端数据，所述路端数据中携带有路端标识；

根据各个路端的路端标识确定各个路端对应的路口，并根据各个路端对应的路口确定所述路口数量；

根据各个路端上报的路端数据以及各个路端对应的路口确定各个路口在单位时间内的总数据量，作为各个路口对应的单位时间数据量。

可选地，所述根据各个路口对应的单位时间数据量确定路口之间的相对顺序包括：

将各个路口对应的单位时间数据量按照从小到大的顺序依次排序，得到所述路口之间的相对顺序；和/或，

将各个路口对应的单位时间数据量按照从大到小的顺序依次排序，得到所述路口之间的相对顺序。

可选地，所述根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系包括：

将所述路口数量与所述消息中间件的分区数量取模，得到取模结果；

根据所述取模结果和所述路口之间的相对顺序对多个路口进行分段，得到一个或多个分段的路口；

根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略；

根据各个分段的路口对应的分区分配策略对各个分段中的各个路口进行分区分配，得到所述路口与分区的映射关系。

可选地，所述根据所述取模结果和所述路口之间的相对顺序对多个路口进行分段，得到一个或多个分段的路口包括：

若所述取模结果为0，则确定所述路口之间的相对顺序为各个路口对应的单位时间数据量从小到大的顺序，并根据各个路口对应的单位时间数据量从小到大的顺序对多个路口按照所述消息中间件的分区数量依次进行分段，得到一个或多个分段的路口；

若所述取模结果不为0，则确定所述路口之间的相对顺序为各个路口对应的单位时间数据量从大到小的顺序，并根据各个路口对应的单位时间数据量从大到小的顺序对多个路口按照所述消息中间件的分区数量依次进行分段，得到一个或多个分段的路口。

可选地，所述分区分配策略包括各个分段的分区分配顺序以及各个分段中的各个路口的分区分配顺序，所述根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略包括：

根据所述路口之间的相对顺序确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序。

可选地，所述路口之间的相对顺序为各个路口对应的单位时间数据量从小到大的顺序，所述分区分配策略包括各个分段的分区分配顺序以及各个分段中的各个路口的分区分配顺序，所述根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略包括：

根据所述取模结果和所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略；

若所述取模结果为0，则确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序；

若所述取模结果不为0，则确定各个分段的分区分配顺序为从后向前的分配顺序，且各个分段中的各个路口的分区分配顺序为倒序分配顺序和正序分配顺序依次交替的分配顺序。

第二方面，本申请实施例还提供一种路端数据传输装置，其中，所述装置包括：

获取单元，用于获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个所述路口对应一个或多个路端；

第一确定单元，用于根据各个路口对应的单位时间数据量确定路口之间的相对顺序；

第二确定单元，用于根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系；

存储单元，用于根据所述路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的路端数据传输方法，先获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个路口对应一个或多个路端；然后根据各个路口对应的单位时间数据量确定路口之间的相对顺序；之后根据路口之间的相对顺序和路口数量，以及消息中间件的分区数量，确定路口与分区的映射关系；最后根据路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中。本申请实施例的路端数据传输方法针对路端与云端数据传输的场景，一方面能够实现同一路口的数据存储在同一个消息中间件的分区中，另一方面能够提高各个分区存储的路口数据的均衡性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为现有技术中简单轮询策略的一种原理示意图；

图2为现有技术中一致性哈希策略的一种原理示意图；

图3为本申请实施例中一种路端数据传输方法的流程示意图；

图4为本申请实施例中一种分区分配策略的示意图；

图5为本申请实施例中另一种分区分配策略的示意图；

图6本申请实施例中一种路端数据传输装置的结构示意图；

图7为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

现有技术中提供了一些用于数据传输的均衡策略，例如简单随机、加权随机、简单轮询、简单加权轮询、一致性哈希以及最少活跃数等，目前成熟的主流的消息中间件的分区策略也大致都是基于以上几种策略来实现。

为了便于对本申请各实施例的理解，如图1所示，提供了现有技术中简单轮询策略的一种原理示意图，可以看出，简单轮询策略是依次轮询每个路口的每一条数据，并按照分区的顺序依次分配分区，同一路口的数据被轮询到了不同的分区中。此种策略对于单条数据之间没有关联，且没有特别业务要求的场景，能够保证数据均衡，但对于路云数据交互同一路口的数据有关联计算的这种特殊业务需要，显然无法满足要求。

如图2所示，提供了现有技术中一致性哈希策略的一种原理示意图，可以看出，一致性哈希策略能够将同一路口数据通过哈希取模的方式写入同一分区，但可能会出现各分区的数据十分不均衡的情况，例如，有的分区写入了很多的路口数据，有的分区写入了很少的路口数据，因此存在分区数据不均衡的问题。同样，其他几种策略也存在上述问题。

针对同一路口数据要写入同一分区，从而进行同路口数据关联计算等处理的这种特殊场景需求以及在该场景下尽可能提高分区数据均衡性的需求，本申请实施例提供了一种路端数据传输方法，如图3所示，提供了本申请实施例中一种路端数据传输方法的流程示意图，所述方法至少包括如下的步骤S310至步骤S340：

步骤S310，获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个所述路口对应一个或多个路端。

本申请实施例的路端数据传输方法主要是建立在路端与云端交互的场景下，基于路端与云端的通信连接，将路端产生的数据传输至云端，以便于进行后续的关联计算、融合处理等。

本申请实施例的路端数据传输方法可以由云端来执行，先获取路口数量和各个路口对应的单位时间数据量，路口数量可以基于各个路端在上传数据时携带的标识信息来确定，即通过标识信息能够区分出各个路端对应的路口，从而得到各个路口维度的总数据量，进而可以计算出各个路口在单位时间内的数据量，路口的单位时间数据量反映了路口在一般情况下能够产生的数据量多少，例如繁华路口产生的数据量通常比郊区等车流量较少的路口产生的数据量大的多。

此外，由于路端向云端传输的数据一般需要通过消息中间件来桥接，即将路端产生的数据写入到消息中间件的各个分区中，因此还需要进一步获取消息中间件的分区数量，消息中间件的分区数量可以从消息中间件的Dashboard的配置信息中得到，也可以通过消息中间件的API接口得到，具体如何获取分区数量，本领域技术人员可以根据实际需求灵活选择，在此不作具体限定。

步骤S320，根据各个路口对应的单位时间数据量确定路口之间的相对顺序。

各个路口在单位时间内的数据量多少反映了各个路口在一般情况下所产生的数据量的情况，因此可以根据各个路口对应的单位时间数据量的多少对多个路口进行排序，例如可以按照单位时间数据量的多少从小到大进行排序或者从大到小进行排序。

步骤S330，根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系。

根据路口之间的相对顺序以及总的路口数量、总的分区数量就可以为各个路口分配对应的分区，也即确定出各个路口与各个分区之间的映射关系。由于路口之间的相对顺序反映了各个路口的单位时间数据量的排序情况，因此在分配分区时，就可以参考数据量的排序尽可能实现各个分区的数据总量的趋于平均。

步骤S340，根据所述路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中。

在得到路口与分区的映射关系之后，也就确定出了各个路口对应的路端数据需要写入到哪个分区中，进而在接收到这些路口后续产生的路端数据时就可以根据路口与分区的映射关系将数据分别写入对应的分区中。

本申请实施例的路端数据传输方法针对路端与云端数据传输的场景，一方面能够实现同一路口的数据存储在同一个消息中间件的分区中，另一方面能够提高各个分区存储的路口数据的均衡性。

在本申请的一些实施例中，所述获取路口数量和各个路口对应的单位时间数据量包括：获取各个路端上报的路端数据，所述路端数据中携带有路端标识；

根据各个路端的路端标识确定各个路端对应的路口，并根据各个路端对应的路口确定所述路口数量；根据各个路端上报的路端数据以及各个路端对应的路口确定各个路口在单位时间内的总数据量，作为各个路口对应的单位时间数据量。

在获取路口数量和各个路口对应的单位时间数据量时，可以先获取各个路端上报的路端数据，路端数据中一般会携带有路端标识，路端标识具有唯一性，一般可以采用IP地址或者编号的形式来定义，例如针对同一个路口定义一个IP段范围，然后在该IP段范围内定义该路口中的各个路端的唯一IP地址。

因此，基于各个路端的路端标识可以确定出各个路端对应的路口，进而可以统计出总的路口数量，在单个路口的维度，对每个路口产生的所有路端数据进行汇总，即可得到各个路口的总数据量，为了能够准确反映各个路口的数据量的一般情况，可以对一段时间内的各个路口的总数据量进行统计，再除以总时间，即可得到各个路口在单位时间内的数据量，单位时间可以根据实际需求灵活定义，例如可以定义为每分钟或者每秒。

在本申请的一些实施例中，所述根据各个路口对应的单位时间数据量确定路口之间的相对顺序包括：将各个路口对应的单位时间数据量按照从小到大的顺序依次排序，得到所述路口之间的相对顺序；和/或，将各个路口对应的单位时间数据量按照从大到小的顺序依次排序，得到所述路口之间的相对顺序。

在根据各个路口对应的单位时间数据量对各个路口进行排序时，可以根据各个路口对应的单位时间数据量按照从小到大的顺序依次排序，或者也可以按照从大到小的顺序依次排序，当然，排序的方式不同，对于后续采取的分区分配策略也不同，本领域技术人员可以根据实际需求灵活选择相应的排序方式。

在本申请的一些实施例中，所述根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系包括：将所述路口数量与所述消息中间件的分区数量取模，得到取模结果；根据所述取模结果和所述路口之间的相对顺序对多个路口进行分段，得到一个或多个分段的路口；根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略；根据各个分段的路口对应的分区分配策略对各个分段中的各个路口进行分区分配，得到所述路口与分区的映射关系。

在根据路口之间的相对顺序和路口数量、分区数量确定路口与分区的映射关系时，可以先将路口数量与分区数量取模，即计算路口数量除以分区数量的余数，如果取模结果为0，说明路口数量是分区数量的整数倍，如果取模结果不为0，说明说明路口数量不是分区数量的整数倍，那么对应这两种不同的情况，可以进一步结合路口之间的相对顺序对多个路口进行分段或者分组，针对不同分段的路口采取不同的分区分配策略进行分区分配，从而得到路口与分区的映射关系。

在本申请的一些实施例中，所述根据所述取模结果和所述路口之间的相对顺序对多个路口进行分段，得到一个或多个分段的路口包括：若所述取模结果为0，则确定所述路口之间的相对顺序为各个路口对应的单位时间数据量从小到大的顺序，并根据各个路口对应的单位时间数据量从小到大的顺序对多个路口按照所述消息中间件的分区数量依次进行分段，得到一个或多个分段的路口；若所述取模结果不为0，则确定所述路口之间的相对顺序为各个路口对应的单位时间数据量从大到小的顺序，并根据各个路口对应的单位时间数据量从大到小的顺序对多个路口按照所述消息中间件的分区数量依次进行分段，得到一个或多个分段的路口。

举例说明，假设有12个路口，6个分区，能够确定路口数量与分区数量的取模结果为0，那么在对多个路口进行分段时，对应的路口之间的相对顺序就可以是按照各个路口对应的单位时间数据量从小到大的顺序，并基于这个顺序按照消息中间件的分区数量依次对路口进行分段。

为了便于理解，如图4所示，提供了本申请实施例中一种分区分配策略的示意图。从图4中可以看出，对各个路口对应的单位时间数据量按照从小到大的顺序排序之后，按照消息中间件的分区数量将7号路口、8号路口、2号路口、9号路口、19号路口、20号路口划分到第一个分段，将50号路口、67号路口、43号路口、6号路口、10号路口、11号路口划分到第二个分段。

进一步举例说明，假设有15个路口，6个分区，能够确定路口数量与分区数量的取模结果不为0，那么在对多个路口进行分段时，对应的路口之间的相对顺序就可以是按照各个路口对应的单位时间数据量从大到小的顺序，并基于这个顺序按照消息中间件的分区数量依次对路口进行分段。

为了便于理解，如图5所示，提供了本申请实施例中另一种分区分配策略的示意图。从图5中可以看出，对各个路口对应的单位时间数据量按照从大到小的顺序排序之后，按照消息中间件的分区数量将9号路口、34号路口、29号路口、12号路口、17号路口、5号路口划分到第一个分段，将3号路口、2号路口、49号路口、8号路口、11号路口、26号路口划分到第二个分段，将33号路口、13号路口、24号路口划分到第三个分段。

当然，需要说明的是，前述实施例在对路端进行分段时基于取模结果的不同选择了两种相反的路口之间的相对顺序，即一个是从小到大的排序，另一个是从大到小的排序，实际应用时，也可以统一采用一种排序方式，例如都采用从小到大的排序，此时对于取模结果不为0的情况则需要从后向前来对多个路口划分分段，最终得到的分段结果与上述图5的分段结果是一致的。

这样设置的最终目的是为了优先将单位时间数据量较大的路口进行分区的分配，剩下的不能够平均分配到各个分区的路口通常是单位时间数据量较小的路口，因此在对这些剩余的路口进行分配时也就相对更容易实现各分区数据量的相对均衡。

在本申请的一些实施例中，所述分区分配策略包括各个分段的分区分配顺序以及各个分段中的各个路口的分区分配顺序，所述根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略包括：根据所述路口之间的相对顺序确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序。

在将多个路口进行分段划分之后，可以进一步确定分区分配策略，分区分配策略主要包括各个分段的分区分配顺序和各个分段内的各个路口的分区分配顺序，也即分段之间的分区分配的先后顺序，以及每个分段中的路口之间的分区分配的先后顺序。本申请实施例采取的分区分配策略可以不考虑取模结果，不论取模结果如何，对各个分段的分区分配顺序都可以统一设置为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为先正序分配一个分段，再倒序分配一个分段，再正序分配一段，……依次交替进行。

进一步结合图4和图5说明，图4展示了取模结果为0的情况下的分区分配策略，即各个分段的分区分配顺序为，先对从前向后划分的第一个分段进行分区分配，该分段中的各个路口的分区分配顺序是正序分配，即将7号路口分配给分区0，8号路口分配给分区1、2号路口分配给分区2、19号路口分配给分区3、20号路口分配给分区4、50号路口分配给分区5。再对从前向后划分的第二个分段进行分区分配，该分段中的各个路口的分区分配顺序是倒序分配，11号路口分配给分区0、10号路口分配给分区1、6号路口分配给分区2、43号路口分配给分区3、67号路口分配给分区4、50号路口分配给分区5。最终各分区对应的单位时间总数据量即为下表1所示。

表1

图5展示了取模结果不为0的情况下的分区分配策略，即各个分段的分区分配顺序同样为，先对从前向后划分的第一个分段进行分区分配，该分段中的各个路口的分区分配顺序是正序分配，即将9号路口分配给分区0、34号路口分配给分区1、29号路口分配给分区2、12号路口分配给分区3、17号路口分配给分区4、5号路口分配给分区5。再对从前向后划分的第二个分段进行分区分配，该分段中的各个路口的分区分配顺序是倒序分配，26号路口分配给分区0、11号路口分配给分区1、8号路口分配给分区2、49号路口分配给分区3、2号路口分配给分区4、3号路口分配给分区5。最后对从前向后划分的第三个分段进行分区分配，该分段中的各个路口的分区分配顺序是正序分配，33号路口分配给分区0、13号路口分配给分区1、24号路口分配给分区2。最终各分区对应的单位时间总数据量即为下表2所示。

表2

需要需要说明的是，由于实际场景下的各个路口之间的数据量差异往往各不相同，因此本申请实施例的上述分区分配策略也并不是实现绝对意义上的分区数据量的均衡，而是针对路端与云端交互这一特殊场景需求，设计的一种改进的负载均衡方案，以尽可能实现各分区数据的相对均衡。

在本申请的一些实施例中，所述路口之间的相对顺序为各个路口对应的单位时间数据量从小到大的顺序，所述分区分配策略包括各个分段的分区分配顺序以及各个分段中的各个路口的分区分配顺序，所述根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略包括：根据所述取模结果和所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略；若所述取模结果为0，则确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序；若所述取模结果不为0，则确定各个分段的分区分配顺序为从后向前的分配顺序，且各个分段中的各个路口的分区分配顺序为倒序分配顺序和正序分配顺序依次交替的分配顺序。

如前所述，路口之间的相对顺序也可以统一设置为各个路口对应的单位时间数据量从小到大的顺序，或者统一设置为各个路口对应的单位时间数据量从大到小的顺序，只需要相应调整分区分配策略即可。以各个路口对应的单位时间数据量从小到大的顺序为例进行说明，如果路口之间的相对顺序统一设置为单位时间数据量从小到大的顺序，那么此时可以区分不同的取模结果采取不同的分区分配策略，如果取模结果为0，那么和前述实施例相同，即各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配一段，倒序分配一段，再正序分配一段，……依次交替进行。而如果取模结果不为0，这时采取的分段策略是按照从后向前的顺序进行分段，那么对应的各个分段的分区分配顺序则为对从后向前数的第一个分段进行分区分配，各个分段中的各个路口的分区分配顺序则为倒序分配一段，正序分配一段，再倒序分配一段，……依次交替进行。

需要说明的是，前述实施例中仅仅列举了几种实现分区分配策略的方案，其最终目的都是为了在满足同路口的数据分配在同一分区的前提下，尽可能使各分区数据量趋于平均，也即实现各分区数据量的相对均衡，实际应用时，本领域技术人员可以根据实际需求灵活选择，也可将其拓展到与本申请的应用场景相类似的场景中。

另外，本申请的路端数据传输方法还具有如下的技术效果：

1）安全性：本申请的路端数据传输逻辑可以与目前成熟的消息中间件如RocketMQ、Kafka等配套使用，并不改变消息中间件原有的内部分区逻辑，也不改变数据传输的原本流程，无安全问题；

2）稳定性：通过异步生成分区分配策略，不影响主流程，当业务功能点调用分区分配策略时，如果映射关系表中如果存在有效匹配，则可以根据匹配到的分区调用消息中间件的指定分区逻辑将数据写入对应的分区内，如果无有效匹配，则仍然执行消息中间件的默认分区策略；

3）可靠性：不改变数据写入消息中间件的方式，基于本申请实施例生成的分区策略的算法异常处理完备，如果策略生成过程出错，那么策略就会被抛弃，所以不会出现错误数据的干扰。

本申请实施例还提供了一种路端数据传输装置600，如图6所示，提供了本申请实施例中一种路端数据传输装置的结构示意图，所述装置600包括：获取单元610、第一确定单元620、第二确定单元630以及存储单元640，其中：

获取单元610，用于获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个所述路口对应一个或多个路端；

第一确定单元620，用于根据各个路口对应的单位时间数据量确定路口之间的相对顺序；

第二确定单元630，用于根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系；

存储单元640，用于根据所述路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中。

在本申请的一些实施例中，所述获取单元610具体用于：获取各个路端上报的路端数据，所述路端数据中携带有路端标识；根据各个路端的路端标识确定各个路端对应的路口，并根据各个路端对应的路口确定所述路口数量；根据各个路端上报的路端数据以及各个路端对应的路口确定各个路口在单位时间内的总数据量，作为各个路口对应的单位时间数据量。

在本申请的一些实施例中，所述第一确定单元620具体用于：将各个路口对应的单位时间数据量按照从小到大的顺序依次排序，得到所述路口之间的相对顺序；和/或，将各个路口对应的单位时间数据量按照从大到小的顺序依次排序，得到所述路口之间的相对顺序。

在本申请的一些实施例中，所述第二确定单元620具体用于：将所述路口数量与所述消息中间件的分区数量取模，得到取模结果；根据所述取模结果和所述路口之间的相对顺序对多个路口进行分段，得到一个或多个分段的路口；根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略；根据各个分段的路口对应的分区分配策略对各个分段中的各个路口进行分区分配，得到所述路口与分区的映射关系。

在本申请的一些实施例中，所述第二确定单元630具体用于：若所述取模结果为0，则确定所述路口之间的相对顺序为各个路口对应的单位时间数据量从小到大的顺序，并根据各个路口对应的单位时间数据量从小到大的顺序对多个路口按照所述消息中间件的分区数量依次进行分段，得到一个或多个分段的路口；若所述取模结果不为0，则确定所述路口之间的相对顺序为各个路口对应的单位时间数据量从大到小的顺序，并根据各个路口对应的单位时间数据量从大到小的顺序对多个路口按照所述消息中间件的分区数量依次进行分段，得到一个或多个分段的路口。

在本申请的一些实施例中，所述分区分配策略包括各个分段的分区分配顺序以及各个分段中的各个路口的分区分配顺序，所述第二确定单元630具体用于：若所述取模结果为0，则确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序；若所述取模结果不为0，则确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为倒序分配顺序和正序分配顺序依次交替的分配顺序。

在本申请的一些实施例中，所述路口之间的相对顺序为各个路口对应的单位时间数据量从小到大的顺序，所述分区分配策略包括各个分段的分区分配顺序以及各个分段中的各个路口的分区分配顺序，所述第二确定单元630具体用于：若所述取模结果为0，则确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序；若所述取模结果不为0，则确定各个分段的分区分配顺序为从后向前的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序。

能够理解，上述路端数据传输装置，能够实现前述实施例中提供的路端数据传输方法的各个步骤，关于路端数据传输方法的相关阐释均适用于路端数据传输装置，此处不再赘述。

图7是本申请的一个实施例电子设备的结构示意图。请参考图7，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成路端数据传输装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个所述路口对应一个或多个路端；

根据各个路口对应的单位时间数据量确定路口之间的相对顺序；

根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系；

根据所述路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中。

上述如本申请图1所示实施例揭示的路端数据传输装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中路端数据传输装置执行的方法，并实现路端数据传输装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中路端数据传输装置执行的方法，并具体用于执行：

获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个所述路口对应一个或多个路端；

根据各个路口对应的单位时间数据量确定路口之间的相对顺序；

根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系；

根据所述路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种路端数据传输方法，其中，所述方法包括：

获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个所述路口对应一个或多个路端；

根据各个路口对应的单位时间数据量确定路口之间的相对顺序；

根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系；

根据所述路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中；

所述根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系包括：

将所述路口数量与所述消息中间件的分区数量取模，得到取模结果；

根据所述取模结果和所述路口之间的相对顺序对多个路口进行分段，得到一个或多个分段的路口；

根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略；

根据各个分段的路口对应的分区分配策略对各个分段中的各个路口进行分区分配，得到所述路口与分区的映射关系。

2.如权利要求1所述方法，其中，所述获取路口数量和各个路口对应的单位时间数据量包括：

获取各个路端上报的路端数据，所述路端数据中携带有路端标识；

根据各个路端的路端标识确定各个路端对应的路口，并根据各个路端对应的路口确定所述路口数量；

根据各个路端上报的路端数据以及各个路端对应的路口确定各个路口在单位时间内的总数据量，作为各个路口对应的单位时间数据量。

3.如权利要求1所述方法，其中，所述根据各个路口对应的单位时间数据量确定路口之间的相对顺序包括：

将各个路口对应的单位时间数据量按照从小到大的顺序依次排序，得到所述路口之间的相对顺序；和/或，

将各个路口对应的单位时间数据量按照从大到小的顺序依次排序，得到所述路口之间的相对顺序。

4.如权利要求1所述方法，其中，所述根据所述取模结果和所述路口之间的相对顺序对多个路口进行分段，得到一个或多个分段的路口包括：

若所述取模结果为0，则确定所述路口之间的相对顺序为各个路口对应的单位时间数据量从小到大的顺序，并根据各个路口对应的单位时间数据量从小到大的顺序对多个路口按照所述消息中间件的分区数量依次进行分段，得到一个或多个分段的路口；

若所述取模结果不为0，则确定所述路口之间的相对顺序为各个路口对应的单位时间数据量从大到小的顺序，并根据各个路口对应的单位时间数据量从大到小的顺序对多个路口按照所述消息中间件的分区数量依次进行分段，得到一个或多个分段的路口。

5.如权利要求4所述方法，其中，所述分区分配策略包括各个分段的分区分配顺序以及各个分段中的各个路口的分区分配顺序，所述根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略包括：

根据所述路口之间的相对顺序确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序。

6.如权利要求1所述方法，其中，所述路口之间的相对顺序为各个路口对应的单位时间数据量从小到大的顺序，所述分区分配策略包括各个分段的分区分配顺序以及各个分段中的各个路口的分区分配顺序，所述根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略包括：

根据所述取模结果和所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略；

若所述取模结果为0，则确定各个分段的分区分配顺序为从前向后的分配顺序，且各个分段中的各个路口的分区分配顺序为正序分配顺序和倒序分配顺序依次交替的分配顺序；

若所述取模结果不为0，则确定各个分段的分区分配顺序为从后向前的分配顺序，且各个分段中的各个路口的分区分配顺序为倒序分配顺序和正序分配顺序依次交替的分配顺序。

7.一种路端数据传输装置，其中，所述装置包括：

获取单元，用于获取路口数量和各个路口对应的单位时间数据量，以及消息中间件的分区数量，其中，各个所述路口对应一个或多个路端；

第一确定单元，用于根据各个路口对应的单位时间数据量确定路口之间的相对顺序；

第二确定单元，用于根据所述路口之间的相对顺序和所述路口数量，以及所述消息中间件的分区数量，确定路口与分区的映射关系；

存储单元，用于根据所述路口与分区的映射关系，将各个路口对应的路端数据分别存储到对应的分区中；

所述第二确定单元具体用于：

将所述路口数量与所述消息中间件的分区数量取模，得到取模结果；

根据所述取模结果和所述路口之间的相对顺序对多个路口进行分段，得到一个或多个分段的路口；

根据所述路口之间的相对顺序确定各个分段的路口对应的分区分配策略；

根据各个分段的路口对应的分区分配策略对各个分段中的各个路口进行分区分配，得到所述路口与分区的映射关系。

8.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1~6之任一所述方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1~6之任一所述方法。

Images