CN117938787A - 一种消息批量传输的仿真系统及其实现方法 - Google Patents

Abstract

本申请涉及一种消息批量传输的仿真系统及其实现方法，所述系统包括：主线程、消息收集器以及发送线程。主线程用于创建批量消息，并将批量消息缓存至消息收集器。批量消息包括多组子批量消息。消息收集器用于根据预设的队列容量划分批量消息的缓存空间，得到多组缓存队列，缓存队列采用双端队列存储子批量消息。发送线程用于获取消息收集器中缓存队列的子批量消息，并转变子批量消息的保存形式，得到协议请求。协议请求通过请求连接模块与消息中心建立子批量消息的发送连接，并将子批量消息对应发送至多目标无人机客户端。采用本方法能够提高无人机集群多连接通信组网的消息传输效率，减少网络开销和延迟。

Description

一种消息批量传输的仿真系统及其实现方法

技术领域

本申请涉及无人机集群消息传输技术领域，特别是涉及一种消息批量传输的仿真系统及其实现方法。

背景技术

在无人机集群领域，无人机间的通信和数据传输是关键的技术挑战之一。随着无人机应用的不断拓展，需要高效、可靠地进行数据传输和通信，以实现任务协同和数据共享，随着无人机集群规模的增大，通信效率和数据处理能力的提升变得尤为关键。

传统的通信方法在面对无人机集群的复杂需求时可能显得不够高效。无人机之间需要传输大量的实时数据，例如位置信息、传感器数据等，同时还需要实现任务协同和指挥控制。然而，无人机的通信带宽有限，通信信道受限，可能导致通信延迟和数据丢失等问题，影响整个集群的性能。随着信息节点接入者增多，仿真数据量的不断增大，仿真系统将需要更多的时间来进行消息发送和接收，无法在短时间内发送和处理大批量消息，进而导致无人机集群之间批量消息的传输效率降低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高大批量消息处理时间的一种消息批量传输的仿真系统及其实现方法。

一种消息批量传输的仿真系统，装载在无人机集群组网架构中多个无人机客户端上，所述系统包括：主线程、消息收集器以及发送线程。

主线程用于创建批量消息，并将批量消息缓存至消息收集器。批量消息包括多组子批量消息。

消息收集器用于根据预设的队列容量划分批量消息的缓存空间，得到多组缓存队列，缓存队列采用双端队列存储所述子批量消息。

发送线程用于获取消息收集器中缓存队列的子批量消息，并转变子批量消息的保存形式，得到协议请求。协议请求通过请求连接模块与消息中心建立子批量消息的发送连接，并将子批量消息对应发送至多目标无人机客户端。

在其中一个实施例中，所述批量消息为多个无人机客户端在特定时间内发送的消息量。

在其中一个实施例中，主线程包括：生产者、序列化以及分发器，生产者创建的消息经所述序列化和分发器逐级处理后缓存至消息收集器。生产者为无人机集群组网架构中任意个无人机客户端组成的无人机集群。

在其中一个实施例中，消息收集器，还用于新批量消息写入缓存队列后，查找新批量消息对应的新缓存队列，若新缓存队列存在，则从新缓存队列的尾部获取一个子批量消息，若子批量消息不为空，则写入新批量消息至新缓存队列的尾部，若子批量消息为空，则新建一个新批量消息作为新缓存队列的子批量消息。若新缓存队列不存在，则新建一个新缓存队列。

在其中一个实施例中，发送线程，还用于获取消息收集器中缓存队列的子批量消息的保存形式＜Node，批量消息＞，将子批量消息的保存形式＜Node，批量消息＞转变为子批量消息的队列保存形式＜Node，list（批量消息）＞，封装子批量消息的队列保存形式＜Node，list（批量消息）＞，得到协议请求＜Node,Request>。

在其中一个实施例中，发送线程，还用于消息中心接收到协议请求分别发送至多个目标无人机客户端，同时回传响应信息至在请求中，通过比对在请求中缓存队列的响应信息的大小与预设的缓存请求数，获取目标无人机客户端未响应结果，若响应结果为过载，则减少发送线程获取缓存队列的请求数。

一种消息批量传输的仿真系统的实现方法，所述方法包括：

获取无人机集群组网中若干个无人机发送的消息，得到集群批量消息。

集群批量消息根据预设的缓存区大小划分为多组子批量消息，将每一组子批量消息写入消息收集器中双端缓存队列的尾部进行消息聚合，得到多个批次消息。每一个批次消息包括多个子批量消息。

多个批次消息采用异步发送方式发送至消息中心。

在其中一个实施例中，还包括：无人机将批次消息发送至消息中心的缓冲区后，消息中心从缓冲区将调取的批次消息写入磁盘中，并发送确认消息至无人机。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取无人机集群组网中若干个无人机发送的消息，得到集群批量消息。

集群批量消息根据预设的缓存区大小划分为多组子批量消息，将每一组子批量消息写入消息收集器中双端缓存队列的尾部进行消息聚合，得到多个批次消息。每一个批次消息包括多个子批量消息。

多个批次消息采用异步发送方式发送至消息中心。

相对于现有技术，本发明能够获得以下技术效果：

通过将消息批量传输，系统能够在一次传输中发送多个子批量消息，从而减少通信开销和传输延迟，提升传输效率。另外，通过消息收集器的缓存机制，能够合理划分和管理消息的传输，减轻了通信的负载，降低了系统的通信压力。其次，协议请求和连接模块有助于优化通信连接的管理，确保稳定的数据传输，从而提升通信的可靠性和效率，主线程和发送线程的设计将消息的处理和传输过程分离，简化了数据处理流程，使系统更容易维护和管理。利用消息的批量聚合和异步发送来提高消息传输效率和吞吐量，这种方式在消息中心的处理层面进行优化，由此降低了网络开销和传输延迟。

附图说明

图1为一个实施例中一种消息批量传输的仿真系统的结构图；

图2为一个实施例中一种消息批量传输的仿真系统的实现方法的流程示意图；

图3为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种消息批量传输的仿真系统，装载在无人机集群组网架构中多个无人机客户端上，所述系统包括：主线程、消息收集器以及发送线程。其中，消息收集器中包括若干组队列（队列1，队列2，队列n），每一个队列根据预设的消息缓存大小，将批量消息按照双端队列进行存取排列。另外，发送线程包括创建请求、在请求中和选择器，对于每一个批量消息的提取，发送线程先为其创建请求，将该调用请求发送至选择器，由选择器发送至对应的运行节点。当大批的批量消息同时被调用时，根据调用时间先后创建请求，并将每个批量消息的请求暂存至在请求中的对应链路中。在请求中用于缓存着待提交批量消息对应的请求，根据选择器对于请求处理后的反馈，在请求中按序调取对应链路的请求，并将该请求所提取的消息收集器中的批量消息进行清理，及时挪出缓存批量消息的空间。

主线程用于创建批量消息，并将批量消息缓存至消息收集器。批量消息包括多组子批量消息。

消息收集器用于根据预设的队列容量划分批量消息的缓存空间，得到多组缓存队列，缓存队列采用双端队列存储所述子批量消息。

发送线程用于获取消息收集器中缓存队列的子批量消息，并转变子批量消息的保存形式，得到协议请求。协议请求通过请求连接模块与消息中心建立子批量消息的发送连接，并将子批量消息对应发送至多目标无人机客户端。

上述一种消息批量传输的仿真系统，通过将消息批量传输，系统能够在一次传输中发送多个子批量消息，从而减少通信开销和传输延迟，提升传输效率。另外，通过消息收集器的缓存机制，能够合理划分和管理消息的传输，减轻了通信的负载，降低了系统的通信压力。其次，协议请求和连接模块有助于优化通信连接的管理，确保稳定的数据传输，从而提升通信的可靠性和效率，主线程和发送线程的设计将消息的处理和传输过程分离，简化了数据处理流程，使系统更容易维护和管理。利用消息的批量聚合和异步发送来提高消息传输效率和吞吐量，这种方式在消息中心的处理层面进行优化，由此降低了网络开销和传输延迟。

在其中一个实施例中，批量消息为多个无人机客户端在特定时间内发送的消息量。

在其中一个实施例中，主线程包括：生产者、序列化以及分发器，生产者创建的消息经序列化和分发器逐级处理后缓存至消息收集器。生产者为无人机集群组网架构中任意个无人机客户端组成的无人机集群。

在其中一个实施例中，消息收集器，还用于新批量消息写入缓存队列后，查找新批量消息对应的新缓存队列，若新缓存队列存在，则从新缓存队列的尾部获取一个子批量消息，若子批量消息不为空，则写入新批量消息至新缓存队列的尾部，若子批量消息为空，则新建一个新批量消息作为新缓存队列的子批量消息。若新缓存队列不存在，则新建一个新缓存队列。

在其中一个实施例中，发送线程，还用于获取消息收集器中缓存队列的子批量消息的保存形式＜Node，批量消息＞，将子批量消息的保存形式＜Node，批量消息＞转变为子批量消息的队列保存形式＜Node，list（批量消息）＞，封装子批量消息的队列保存形式＜Node，list（批量消息）＞，得到协议请求＜Node,Request>。

在其中一个实施例中，发送线程，还用于消息中心接收到协议请求分别发送至多个目标无人机客户端，同时回传响应信息至在请求中，通过比对在请求中缓存队列的响应信息的大小与预设的缓存请求数，获取目标无人机客户端未响应结果，若响应结果为过载，则减少发送线程获取缓存队列的请求数。

在一个实施例中，如图2所示，一种消息批量传输的仿真系统的实现方法，所述方法包括：

获取无人机集群组网中若干个无人机发送的消息，得到集群批量消息。

集群批量消息根据预设的缓存区大小划分为多组子批量消息，将每一组子批量消息写入消息收集器中双端缓存队列的尾部进行消息聚合，得到多个批次消息。每一个批次消息包括多个子批量消息。

多个批次消息采用异步发送方式发送至消息中心。

在其中一个实施例中，无人机将批次消息发送至消息中心的缓冲区后，消息中心从缓冲区将调取的批次消息写入磁盘中，并发送确认消息至无人机。

在其中一个实施例中，整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和发送线程。在主线程中由生产者创建消息，然后通过序列化和分发器的作用之后缓存到消息累加器（也称为消息收集器〉中。发送线程负责从消息收集器中获取消息并将其发送到消息中心。

具体的，消息收集器主要用来缓存消息，发送线程可以批量发送，进而减少网络传输的资源消耗以提升性能，消息收集器缓存的大小可以通过生产者客户端参数配置，默认32M，如果生产者发送消息的速度超过发送到服务器的速度，则会导致生产者空间不足，这个时候发送方法调用要么被阻塞，要么抛出异常，这个取决于超时参数的配置，此参数的默认值为60秒。

进一步地，主线程中发送过来的消息都会被迫加到消息收集器的某个双端队列（Deque）中，消息收集器的内部为每个分区都维护了个双端队列，队列中的内容就是批量消息。消息写入缓存时，追加到双端队列的尾部：发送线程读取消息时，从双端队列的头部读取。批量消息中包含一个消息批次，这样可以使字节的使用更加紧凑。与此同时，将较小的消息凑成一个较大批量消息，也可以减少网络请求的次数以提升整体的吞吐量。如果生产者客户端需要向很多分区发送消息，则可以适当调大以增加整体的吞吐量。

值得说明的是，消息在网络上都是以字节的形式传输的，在发送之前需要创建一块内存区域来保存对应的消息。在生产者客户端中，在消息收集器的内部还有一个BufferPool（缓冲池），它主要用来实现ByteBuffer（字节缓冲区）的复用，以实现缓存的高效利用 。不过BufferPool（缓冲池）只针对特定大小的ByteBuffer（字节缓冲区）进行管理，而其他大小的ByteBuffer（字节缓冲区）不会缓存进BufferPool（缓冲池）中，这个特定的大小默认值为16KB，也可以适当地调大以便多缓存一些消息，提高消息批量传输的灵活性。

进一步地，批量消息大小和batchsize（批量大小）参数也有着密切的关系。当一条消息流入消息收集器时，会先查找与消息分区所对应的双端队列（如果没有则新建），再从这个双端队列的尾部获取一个批量消息（如果没有则新建），查看批量消息中是否还可以写入这个消息，如果可以则直接写入，如果不可以则需要建一个新批量消息。在新建批量消息评估这条消息的大小是否超过batchsize（批量大小）参数大小，如果不超过，那么就以batchsize（批量大小）参数的大小来创建批量消息，这样在使用完这段内存区域之后，可以通过BufferPool（缓冲池）的管理来进行复用；如果超过，那么就以评估的大小来创建批量消息，这段内存区域不会被复用。

进一步地，发送线程从消息收集器中获取缓存的消息之后，会进一步将原本＜Node，批量消息＞的保存形式转变成＜Node，list（批量消息）＞的形式。对于网络连接来说，生产者客户端是与具体节点建立的连接，也就是向具体的节点发送消息，在这里需要做一个应用逻辑层面到网络IO层面的转换。

进一步地，在转换成＜Node，list（批量消息）＞的形式之后，发送线程会进一步封装成＜Node,Request>的形式，这样就可以将协议请求发往各个节点了。

进一步地，请求在从发送线程发往消息中心之前还会保存到InRequests（在请求中）中，InRequests保存对象的具体形式为Map<NodeId, Deque<Request>＞，它的主要作用是缓存了已经发出去但还没有收到响应的请求（NodeId是一个String类型，表示节点的id编号）。与此同时，InRequests还提供了许多管理的方法，并且通过配置参数还可以限制每个连接（也就是客户端与Node之间的连接）最多缓存的请求数。超过该数值之后就不能再向这个连接发送更多的请求了，除非有缓存的请求收到了响应（Response）。通过比较Deque<Request>的size与这个参数的大小来判断对应的Node中是否己经堆积了很多未响应的消息。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种消息批量传输的仿真系统的实现方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取无人机集群组网中若干个无人机发送的消息，得到集群批量消息。

集群批量消息根据预设的缓存区大小划分为多组子批量消息，将每一组子批量消息写入消息收集器中双端缓存队列的尾部进行消息聚合，得到多个批次消息。每一个批次消息包括多个子批量消息。

多个批次消息采用异步发送方式发送至消息中心。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (9)

1.一种消息批量传输的仿真系统，其特征在于，装载在无人机集群组网架构中多个无人机客户端上，所述系统包括：主线程、消息收集器以及发送线程；

所述主线程用于创建批量消息，并将所述批量消息缓存至消息收集器；所述批量消息包括多组子批量消息；

所述消息收集器用于根据预设的队列容量划分所述批量消息的缓存空间，得到多组缓存队列，所述缓存队列采用双端队列存储所述子批量消息；

所述发送线程用于获取所述消息收集器中所述缓存队列的所述子批量消息，并转变所述子批量消息的保存形式，得到协议请求；所述协议请求通过请求连接模块与消息中心建立所述子批量消息的发送连接，并将所述子批量消息对应发送至多个目标无人机客户端。

2.根据权利要求1所述的一种消息批量传输的仿真系统，其特征在于，所述批量消息为多个无人机客户端在特定时间内发送的消息量。

3.根据权利要求1所述的一种消息批量传输的仿真系统，其特征在于，所述主线程包括：生产者、序列化以及分发器，所述生产者创建的消息经所述序列化和所述分发器逐级处理后缓存至所述消息收集器；

所述生产者为所述无人机集群组网架构中任意个无人机客户端组成的无人机集群。

4.根据权利要求1所述的一种消息批量传输的仿真系统，其特征在于，所述消息收集器，还用于新批量消息写入所述缓存队列后，查找所述新批量消息对应的新缓存队列，若所述新缓存队列存在，则从所述新缓存队列的尾部获取一个所述子批量消息，若所述子批量消息不为空，则写入所述新批量消息至所述新缓存队列的尾部，若所述子批量消息为空，则新建一个所述新批量消息作为所述新缓存队列的子批量消息；若所述新缓存队列不存在，则新建一个所述新缓存队列。

5.根据权利要求1所述的一种消息批量传输的仿真系统，其特征在于，所述发送线程，还用于获取所述消息收集器中所述缓存队列的所述子批量消息的保存形式＜Node，批量消息＞，将所述子批量消息的保存形式＜Node，批量消息＞转变为所述子批量消息的队列保存形式＜Node，list（批量消息）＞，封装所述子批量消息的队列保存形式＜Node，list（批量消息）＞，得到协议请求＜Node,Request>。

6.根据权利要求1所述的一种消息批量传输的仿真系统，其特征在于，所述发送线程，还用于所述消息中心接收到所述协议请求分别发送至多个目标无人机客户端，同时回传响应信息至在请求中，通过比对所述在请求中所述缓存队列的响应信息的大小与预设的缓存请求数，获取所述目标无人机客户端未响应结果，若所述响应结果为过载，则减少所述发送线程获取所述缓存队列的请求数。

7.一种消息批量传输的仿真系统的实现方法，其特征在于，所述方法包括：

获取无人机集群组网中若干个无人机发送的消息，得到集群批量消息；

所述集群批量消息根据预设的缓存区大小划分为多组子批量消息，将每一组所述子批量消息写入消息收集器中双端缓存队列的尾部进行消息聚合，得到多个批次消息；每一个所述批次消息包括多个所述子批量消息；

多个所述批次消息采用异步发送方式发送至消息中心。

8.根据权利要求7所述的方法，其特征在于，多个所述批次消息采用异步发送方式发送至消息中心，包括：

所述无人机将所述批次消息发送至消息中心的缓冲区后，所述消息中心从所述缓冲区将调取的所述批次消息写入磁盘中，并发送确认消息至所述无人机。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7至8中任一项所述方法的步骤。