CN117170889A - 异构非阻塞数据包同步处理系统 - Google Patents

Abstract

本发明涉及一种异构非阻塞数据包同步处理系统，第一缓冲器将接收到的数据包按顺序存储；处理模块按顺序从第一缓冲器中逐个读取，若为第一标识，则读取A_i发送至运算单元；若为第二标识，则读取A_i，生成第一事件信息，发送至运算单元；执行完成，生成第二事件信息；处理模块基第二事件信息记录执行完成状态；若为第三标识，则判断A_i所依赖的所有A_j是否均已执行完成，若是，则将读取A_i，发送至运算单元中；否则，将A_i从第一缓冲器中读取出来，存储至第二缓冲器中，当A_i所依赖的所有A_j均执行完成时，将A_i从第二缓冲器中读取出来发送至运算单元中执行。本发明提高了数据包的处理效率。

Description

异构非阻塞数据包同步处理系统

技术领域

本发明涉及芯片技术领域，尤其涉及一种异构非阻塞数据包同步处理系统。

背景技术

在数据包处理过程中，通常按照存入顺序逐个读取数据包来执行对应的运算任务，但是在当前需要读取数据包和已读取正在处理的数据包有依赖关系时，当前需要读取的数据包需要等待与其具有依赖关系的数据包处理完毕后，才可以读取，但该数据包之后的数据包可能与已读取的正在处理的数据包没有依赖关系，由于当前数据包无法读取出去，从而导致后续的无依赖关系的数据包也无法读取，造成了数据包堵塞，例如，在中央处理模块（Central Processing Unit，简称CPU）和图形处理模块(Graphics ProcessingUnit，简称GPU)通信过程中，CPU向GPU下发多个数据包，存储在GPU的先入先出的缓冲器中，GPU按照存入顺序逐个读取数据包来执行对应的运算任务。数据包堵塞会导致CPU与GPU通信的数据包处理效率低。由此可知，如何避免数据包堵塞，提高数据包的处理效率成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种异构非阻塞数据包同步处理系统，避免了数据包堵塞，提高了数据包的处理效率。

根据本发明一方面，提供了一种异构非阻塞数据包同步处理系统，

包括处理模块、第一缓冲器、第二缓冲器和运算单元，

其中，所述第一缓冲器为先入先出缓冲器，用于将接收到的数据包按照A₁,A₂,…,A_i,…的顺序存储，A_i为第i个接收到的数据包，i=1,2,…，A_i包括包头信息，所述包头信息包括依赖标识和依赖数据包标识列表，若所述依赖标识为第一标识或第二标识，则对应的依赖数据包标识列表为空，所述第一标识表示A_i为独立数据包，所述第二标识表示A_i被其他数据包依赖；若所述依赖标识为第三标识，则对应的依赖数据包标识列表中包括至少一个依赖数据包A_j的标识，所述第三标识表示A_i依赖于A_j，j=1,2,…，j<i；

所述处理模块用于按照A₁,A₂,…,A_i,…的顺序从所述第一缓冲器中逐个读取数据包，当读取到数据包A_i时，解析A_i的包头信息：

若A_i对应的依赖标识为第一标识，则将A_i从所述第一缓冲器中读取出来，并发送至所述运算单元中执行；

若A_i对应的依赖标识为第二标识，则将A_i从所述第一缓冲器中读取出来，生成A_i对应的第一事件信息，并将A_i和A_i对应的第一事件信息发送至所述运算单元；所述运算单元执行A_i，当执行完成时，生成A_i对应的第二事件信息，发送给所述处理模块；所述处理模块基于A_i对应的第二事件信息记录A_i的执行完成状态；

若A_i对应的依赖标识为第三标识，则基于A_i对应的依赖数据包标识列表，判断A_i所依赖的所有A_j是否均已执行完成，若是，则将A_i从所述第一缓冲器中读取出来，并发送至所述运算单元中执行；否则，将A_i从所述第一缓冲器中读取出来，存储至所述第二缓冲器中，当A_i所依赖的所有A_j均执行完成时，将A_i从所述第二缓冲器中读取出来，并发送至所述运算单元中执行。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种异构非阻塞数据包同步处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：

本发明所述系统，通过设置第二缓冲器，将具有依赖关系且需要等待所依赖的数据包执行完毕的数据包暂时缓存在第二缓冲器中，避免第一缓冲器造成堵塞，且通过事件机制记录被依赖的数据包的执行状态，基于被依赖数据包的执行状态决定依赖数据包的执行，避免了数据包堵塞，提高了数据包的处理效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的异构非阻塞数据包同步处理系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种异构非阻塞数据包同步处理系统，如图1所示，包括处理模块、第一缓冲器、第二缓冲器和运算单元。其中，所述第一缓冲器为先入先出缓冲器，用于将接收到的数据包按照A₁,A₂,…,A_i,…的顺序存储，A_i为第i个接收到的数据包，i=1,2,…，A_i包括包头信息A_i包括包头信息，也可包括包数据信息，所述包头信息包括依赖标识和依赖数据包标识列表，若所述依赖标识为第一标识或第二标识，则对应的依赖数据包标识列表为空，包数据信息即为数据包中存储的待处理的数据信息。所述第一标识表示A_i为独立数据包，独立数据包不需要以其他数据包的执行结果为基础，读取后直接执行即可。所述第二标识表示A_i被其他数据包依赖，需要说明的是，依赖标识为第二标识的A_i可以被一个数据包依赖，也可以被多个数据包依赖，多个数据包可以为多个连续的数据包，也可以为多个不连续的数据包，以A₂的依赖标识为第二标识为例，则A₂可以同时被A₃、A₄和A₅依赖，A₂也可以同时被A₃、A₅和A₇依赖，A₂还可以仅被A₃依赖。若所述依赖标识为第三标识，则对应的依赖数据包标识列表中包括至少一个依赖数据包A_j的标识，所述第三标识表示A_i依赖于A_j，j=1,2,…，j<i；即依赖标识为第三标识的A_i可以依赖于一个或多个数据包，需要说明的是，依赖多个数据包，多个数据包可以是连续的多个数据包，也可以为不连续的多个数据包，且被依赖标识为第三标识的A_i依赖的数据包一定在依赖标识为第三标识的A_i之前，以A₈的依赖标识为第三标识为例，A₈可以仅依赖于A₄，A₈也可以同时依赖于A₁和A₄，也可以同时依赖于A₁、A₂和A₃。

所述第一缓冲器为先入先出缓冲器，用于将接收到的数据包按照A₁,A₂,…,A_i,…的顺序存储；所述第一缓冲器具体可以为先入先出队列（First Input First Output，简称FIFO），也可以为环形缓冲器（Ring Buffer）。

所述处理模块用于按照A₁,A₂,…,A_i,…的顺序从所述第一缓冲器中逐个读取数据包，当读取到数据包A_i时，解析A_i的包头信息，需要说明的是，本发明实施例中所述的读取，是要将数据包从对应的存储单元中读取走，即A_i读取完之后，对应的存储单元中的A_i也删除，后续再按照A₁,A₂,…,A_i,…的顺序存储其他数据包。

若A_i对应的依赖标识为第一标识，则将A_i从所述第一缓冲器中读取出来，并发送至所述运算单元中执行，可以理解的是，当A_i对应的依赖标识为第一标识时，说明A_i为独立数据包，不需要依赖于其他数据包的执行结果，也不需要被其他数据包依赖，因此，直接发送至所述运算单元中执行即可。

若A_i对应的依赖标识为第二标识，则将A_i从所述第一缓冲器中读取出来，生成A_i对应的第一事件信息，并将A_i和A_i对应的第一事件信息发送至所述运算单元；所述运算单元执行A_i，当执行完成时，生成A_i对应的第二事件信息，发送给所述处理模块；所述处理模块基于A_i对应的第二事件信息记录A_i的执行完成状态。可以理解的是，当A_i对应的依赖标识为第二标识时，说明A_i需要被其他数据包所依赖，依赖A_i的数据包需要等待A_i的执行结果，本发明实施例通过设置A_i对应的第一事件信息来触发所述运算单元监控A_i的执行状态，并在执行完毕时，生成A_i对应的第二事件信息，来记录A_i的执行完成状态。

若A_i对应的依赖标识为第三标识，则基于A_i对应的依赖数据包标识列表，判断A_i所依赖的所有A_j是否均已执行完成，若是，则将A_i从所述第一缓冲器中读取出来，并发送至所述运算单元中执行；否则，将A_i从所述第一缓冲器中读取出来，存储至所述第二缓冲器中，当A_i所依赖的所有A_j均执行完成时，将A_i从所述第二缓冲器中读取出来，并发送至所述运算单元中执行。可以理解的是，若A_i对应的依赖标识为第三标识，则说明A_i需要依赖其他数据包的执行结果来执行，所述存储器基于A_i对应的依赖数据包标识列表和A_i对应的依赖数据包标识列表中A_j的执行状态，来判断A_i所依赖的所有A_j是否均已执行完成，若未执行完成，则将A_i暂存在第二缓冲器中，避免对第一缓冲器造成堵塞，提高了数据包的处理效率，且在A_i所依赖的所有A_j是否均已执行完成时，再及时将A_i从所述第二缓冲器中读取出来，并发送至所述运算单元中执行。

作为一种实施例，所述系统可以应用于异构系统中的CPU和GPU的通信过程，GPU包括处理模块、第一缓冲器、第二缓冲器和运算单元，CPU用于按照A₁,A₂,…,A_i,…的顺序向GPU发送数据包。通过本发明所述系统提高了CPU与GPU通信的数据包的处理效率。上述示例中，GPU还可以替换为还可以为嵌入式神经网络处理器（Neural-network Process Units，简称NPU）芯片，人工智能（Artificial Intelligence，简称AI）芯片等。

作为一种实施例，所述系统还包括地址映射表，用于存储所述第二缓冲器中存储地址和所存储的数据包标识的映射关系，地址映射表中存储的数据包标识，对应的数据包的依赖标识为第三标识。可以理解的是，所述第二缓冲器并非先入先出存储器，而是根据存储地址和数据包标识的映射关系来存取数据的存储器，因为第二缓冲器中所存储的数据包，并非一定按照春存入的顺序来读取，而是要基于数据包所依赖的数据包的执行状况来读取。当所述处理模块需要将A_i存储至所述第二缓冲器中时，确定A_i的存储地址，将A_i存储至所述第二缓冲器中A_i的存储地址，并将A_i标识和A_i的存储地址的映射关系添加至所述地址映射表中。当所述处理模块判断A_i所依赖的所有A_j均执行完成时，基于所述地址映射表确定A_i对应的存储地址，从所述第二缓冲器中A_i对应的存储地址中将A_i读取出来，并发送至所述运算单元中执行，将A_i标识和A_i的存储地址的映射关系从所述地址映射表中删除。

作为一种实施例，所述地址映射表具体可以设置为哈希表，数据包标识为哈希键，数据包标识对应的存储地址为哈希值。

作为一种实施例，所述系统还包括执行状态信息表，用于存储依赖标识为第二标识的A_i标识和对应的执行状态，当所述处理模块所述运算单元发送A_i对应的第一事件信息时，将A_i标识存储至所述执行状态信息表中，并将A_i对应的执行状态设置为未完成状态，当所述处理模块接收到所述运算单元发送的A_i对应的第二事件信息时，将所述执行状态信息表中A_i对应的执行状态设置为完成状态。通过设置执行状态信息表能够准确记录存储依赖标识为第二标识的A_i的执行状态。

基于执行状态信息表中数据包的执行状态能够判断依赖标识为第三标识的A_i是否可以执行。作为一种实施例，所述处理模块具体用于，将所述执行状态信息表与依赖标识为第三标识的A_i依赖数据包标识列表对比，判断依赖标识为第三标识的A_i依赖数据包标识列表中的A_j在所述执行状态信息表中是否为完成状态，若A_i所依赖的所有A_j均为完成状态，则确定A_i所依赖的所有A_j均执行完成。

作为一种实施例，所述处理模块将A_i发送至所述运算单元中执行之前，还用于：判断当前运算单元中是否存在符合A_i执行的运算资源，若存在，再将A_i发送至所述运算单元，否则，所述处理模块暂停当前操作，待运算单元中存在符合A_i执行的运算资源，再将A_i发送至所述运算单元。需要说明的是，GPU中的运算资源丰富，且可以并行执行多个数据包，因此，只要运算资源符合需求，即可将读取出的可执行的A_i发送至所述运算单元中执行，且本申请将需要依赖其他数据包的A_i暂存至第二缓冲器，使得第一缓冲器中当前能够执行的数据包及时在GPU中执行，提高了CPU与GPU通信的数据包的处理效率。

GPU的运算资源丰富，但也可能出现可用运算资源不能够当前所有运算需求的情况，若当前从第一缓冲器中读取出一个数据包，且该数据包可以执行，同时，第二缓冲器中的数据包所依赖的数据包全部执行完成，也可以执行，而此时当前GPU剩余的运算资源仅能满足一个数据包执行，出现冲突，针对该冲突，所述处理模块还用于，当同时需要将从第二缓冲器中读取出的数据包以及从第一缓存器中读取出的数据包发送至所述运算单元时，若当前运算单元的运算资源仅能接收其中一个数据包，则优先将从第二缓冲器中读取出的数据包发送至所述运算单元。

本发明实施例所述系统，通过设置第二缓冲器，将具有依赖关系且需要等待所依赖的数据包执行完毕的数据包暂时缓存在第二缓冲器中，避免第一缓冲器造成堵塞，且通过事件机制记录被依赖的数据包的执行状态，基于被依赖数据包的执行状态决定依赖数据包的执行，避免了数据包堵塞，提高了数据包的处理效率。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种异构非阻塞数据包同步处理系统，其特征在于，

包括处理模块、第一缓冲器、第二缓冲器和运算单元，

其中，所述第一缓冲器为先入先出缓冲器，用于将接收到的数据包按照A₁,A₂,…,A_i,…的顺序存储，A_i为第i个接收到的数据包，i=1,2,…，A_i包括包头信息，所述包头信息包括依赖标识和依赖数据包标识列表，若所述依赖标识为第一标识或第二标识，则对应的依赖数据包标识列表为空，所述第一标识表示A_i为独立数据包，所述第二标识表示A_i被其他数据包依赖；若所述依赖标识为第三标识，则对应的依赖数据包标识列表中包括至少一个依赖数据包A_j的标识，所述第三标识表示A_i依赖于A_j，j=1,2,…，j<i；

所述处理模块用于按照A₁,A₂,…,A_i,…的顺序从所述第一缓冲器中逐个读取数据包，当读取到数据包A_i时，解析A_i的包头信息：

若A_i对应的依赖标识为第一标识，则将A_i从所述第一缓冲器中读取出来，并发送至所述运算单元中执行；

若A_i对应的依赖标识为第二标识，则将A_i从所述第一缓冲器中读取出来，生成A_i对应的第一事件信息，并将A_i和A_i对应的第一事件信息发送至所述运算单元；所述运算单元执行A_i，当执行完成时，生成A_i对应的第二事件信息，发送给所述处理模块；所述处理模块基于A_i对应的第二事件信息记录A_i的执行完成状态；

若A_i对应的依赖标识为第三标识，则基于A_i对应的依赖数据包标识列表，判断A_i所依赖的所有A_j是否均已执行完成，若是，则将A_i从所述第一缓冲器中读取出来，并发送至所述运算单元中执行；否则，将A_i从所述第一缓冲器中读取出来，存储至所述第二缓冲器中，当A_i所依赖的所有A_j均执行完成时，将A_i从所述第二缓冲器中读取出来，并发送至所述运算单元中执行。

2.根据权利要求1所述的系统，其特征在于，

所述系统还包括地址映射表，用于存储所述第二缓冲器中存储地址和所存储的数据包标识的映射关系；

当所述处理模块需要将A_i存储至所述第二缓冲器中时，确定A_i的存储地址，将A_i存储至所述第二缓冲器中A_i的存储地址，并将A_i标识和A_i的存储地址的映射关系添加至所述地址映射表中；

当所述处理模块判断A_i所依赖的所有A_j均执行完成时，基于所述地址映射表确定A_i对应的存储地址，从所述第二缓冲器中A_i对应的存储地址中将A_i读取出来，并发送至所述运算单元中执行，将A_i标识和A_i的存储地址的映射关系从所述地址映射表中删除。

3.根据权利要求2所述的系统，其特征在于，

所述地址映射表为哈希表，数据包标识为哈希键，数据包标识对应的存储地址为哈希值。

4.根据权利要求1所述的系统，其特征在于，

所述系统还包括执行状态信息表，用于存储依赖标识为第二标识的A_i标识和对应的执行状态，当所述处理模块所述运算单元发送A_i对应的第一事件信息时，将A_i标识存储至所述执行状态信息表中，并将A_i对应的执行状态设置为未完成状态，当所述处理模块接收到所述运算单元发送的A_i对应的第二事件信息时，将所述执行状态信息表中A_i对应的执行状态设置为完成状态。

5.根据权利要求4所述的系统，其特征在于，

所述处理模块具体用于，将所述执行状态信息表与依赖标识为第三标识的A_i依赖数据包标识列表对比，判断依赖标识为第三标识的A_i依赖数据包标识列表中的A_j在所述执行状态信息表中是否为完成状态，若A_i所依赖的所有A_j均为完成状态，则确定A_i所依赖的所有A_j均执行完成。

6.根据权利要求1所述的系统，其特征在于，

所述处理模块将A_i发送至所述运算单元中执行之前，还用于：判断当前运算单元中是否存在符合A_i执行的运算资源，若存在，再将A_i发送至所述运算单元，否则，所述处理模块暂停当前操作，待运算单元中存在符合A_i执行的运算资源，再将A_i发送至所述运算单元。

7.根据权利要求6所述的系统，其特征在于，

所述处理模块还用于，当同时需要将从第二缓冲器中读取出的数据包以及从第一缓存器中读取出的数据包发送至所述运算单元时，若当前运算单元的运算资源仅能接收其中一个数据包，则优先将从第二缓冲器中读取出的数据包发送至所述运算单元。

8.根据权利要求1所述的系统，其特征在于，

所述第一缓冲器为环形缓冲器。