CN111857999B - 一种数据调度方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种数据调度方法，本申请不但可以同时从多个输入通道接收待处理数据，还可以同时通过多个输出通道将待处理数据发送各个输出通道对应的客户端，相当于同时实现了多个通道并行的数据调度，提高了数据调度的效率，而且在此过程中还可以通过存储器对待处理数据进行存储，即使某一时间由于数据接收速度的波动导致待处理数据的接收速度与发送速度不匹配(例如接收速度的骤增或骤减)，存储器的存在也会在一定时间内保证数据调度不会出错，提高了数据调度的稳定性。本发明还公开了一种数据调度装置及设备，具有如上数据调度方法相同的有益效果。

Description

一种数据调度方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及通信领域，特别是涉及一种数据调度方法，本发明还涉及一种数据调度装置、设备及计算机可读存储介质。

背景技术

在当下的信息时代，随着信息的数量快速增长，这就要求处理器能够实现更加高效稳定的数据调度，例如从存储设备中将数据转移到各个客户端就属于数据调度的一种具体形式，但是现有技术中缺乏一种多队列的并行调度方法，导致数据调度的效率较低，且数据调度过程容易出错，也即数据调度的稳定性较差。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种数据调度方法，实现了多个通道并行的数据调度，提高了数据调度效率，且提高了数据调度的稳定性；本发明的另一目的是提供一种数据调度装置、设备及计算机可读存储介质，实现了多个通道并行的数据调度，提高了数据调度效率，且提高了数据调度的稳定性。

为解决上述技术问题，本发明提供了一种数据调度方法，包括：

同时通过第一预设数目个输入通道接收待处理数据；

控制存储器存储所述待处理数据；

控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第一预设数目以及所述第二预设数目均大于1。

优选地，当所述第二预设数目小于所述第一预设数目时，所述控制存储器存储所述待处理数据具体为：

控制第三预设数目个简单双端口存储器同时存储所述待处理数据；

所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

控制所述第三预设数目个所述简单双端口存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第三预设数目大于1。

优选地，当所述第二预设数目大于所述第一预设数目且小于二倍的所述第一预设数目时，所述控制存储器存储所述待处理数据具体为：

控制第四预设数目个真正双端口存储器均仅通过自身的一个写端口，同时存储所述待处理数据；

所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

控制所述第四预设数目个所述真正双端口存储器均通过自身的两个读端口，同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第四预设数目大于1。

优选地，当所述第二预设数目大于二倍的所述第一预设数目时，所述控制存储器存储所述待处理数据具体为：

控制第五预设数目个真正双端口存储器均仅通过自身的一个写端口，同时存储所述待处理数据；

所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

控制所述第五预设数目个所述真正双端口存储器均通过自身的两个读端口，同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第五预设数目不小于所述第二预设数目的一半。

优选地，所述第三预设数目以及所述第四预设数目中的至少一者等于所述第一预设数目。

优选地，该数据调度方法还包括：

判断所述待处理数据的接收量减去所述待处理数据的发送量的差值是否大于预设阈值；

若是，则控制报警器报警。

优选地，所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

在每次发送数据前，根据预设分配机制以及所述存储器中的剩余数据量，确定出各个所述客户端是否能够被分配到有效的所述待处理数据；

根据所述预设分配机制，控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

向各个所述客户端提示其本次是否能够接收到有效的所述待处理数据。

为解决上述技术问题，本发明还提供了一种数据调度装置，包括：

接收模块，用于同时通过第一预设数目个输入通道接收待处理数据；

存储模块，用于控制存储器存储所述待处理数据；

控制模块，用于控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第一预设数目以及所述第二预设数目均大于1。

为解决上述技术问题，本发明还提供了一种数据调度设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述数据调度方法的步骤。

为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述数据调度方法的步骤。

本发明提供了一种数据调度方法，本申请不但可以同时从多个输入通道接收待处理数据，还可以同时通过多个输出通道将待处理数据发送各个输出通道对应的客户端，相当于同时实现了多个通道并行的数据调度，提高了数据调度的效率，而且在此过程中还可以通过存储器对待处理数据进行存储，即使某一时间由于数据接收速度的波动导致待处理数据的接收速度与发送速度不匹配(例如接收速度的骤增或骤减)，存储器的存在也会在一定时间内保证数据调度不会出错，提高了数据调度的稳定性。

本发明还提供了一种数据调度装置及设备，具有如上数据调度方法相同的有益效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种数据调度方法的流程示意图；

图2为本发明提供的一种数据调度装置的结构示意图；

图3为本发明提供的一种数据调度设备的结构示意图。

具体实施方式

本发明的核心是提供一种数据调度方法，实现了多个通道并行的数据调度，提高了数据调度效率，且提高了数据调度的稳定性；本发明的另一核心是提供一种数据调度装置、设备及计算机可读存储介质，实现了多个通道并行的数据调度，提高了数据调度效率，且提高了数据调度的稳定性。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明提供的一种数据调度方法的流程示意图，该数据调度方法包括：

步骤S1：同时通过第一预设数目个输入通道接收待处理数据；

具体的，为了提升数据调度的效率，考虑到数据调度中的数据接收以及数据发送为主要的两个环节，本步骤中首先从数据接收的角度出发，并行地从第一预设数目个输入通道中同时接收待处理数据，且该第一预设数目大于1，相当于并行地从多个输入通道中同时接收待处理数据，直接提高了单位时间内的数据接收量，也即数据接收速度，为高效的数据调度打好了基础。

其中，第一预设数目可以根据实际需求进行自主设定，本发明实施例在此不做限定。

步骤S2：控制存储器存储待处理数据；

具体的，考虑到输入通道端的数据生产者提供待处理数据的速度可能存在较大波动性，例如在某些数据内容使用高效压缩编码(例如FAST)的情况下，在解压过程中该数据内容的数据量会呈现突发性的增加，给后续的数据处理带来诸多不确定性，例如由于数据无法接收而导致的数据丢失，或者某些情况下数据生产量较少时，数据调度过程很可能发生中断，为了应对这种波动性，本发明实施例中设置了存储器，可以将待处理数据先存储在存储器中，相当于设置了一个具有一定容量的蓄水池，在旱季(也即接收待处理数据的速度较慢)时保证后端的供水，在雨季(也即接收待处理数据的速度快)时不至于发生洪灾，能够提升数据调度的稳定性。

步骤S3：控制存储器同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端；

其中，第一预设数目以及第二预设数目均大于1。

具体的，同样作为数据调度过程中的一个核心环节，本步骤中从数据发送的角度出发，可以同时通过第二预设数目(大于1)个输出通道将待处理数据发送至各个输出通道对应的客户端，相当于进行了多通道的数据并行发送，由上可见，本申请中的数据接收过程以及数据发送过程均可以进行多通道并行的数据处理，这两个过程的数据处理量可以实现更好地匹配，提高了数据调度的速度，也即提高了数据调度的效率。

其中，第二预设数据也可以根据实际情况进行自主设定，本发明实施例在此不做限定。

值得一提的是，本发明实施例中的数据调度方法可以通过FPGA(FieldProgrammable Gate Array，现场可编程逻辑门阵列)来实现，也可以通过其他的处理器实现，本发明实施例在此不做限定。

本发明提供了一种数据调度方法，本申请不但可以同时从多个输入通道接收待处理数据，还可以同时通过多个输出通道将待处理数据发送各个输出通道对应的客户端，相当于同时实现了多个通道并行的数据调度，提高了数据调度的效率，而且在此过程中还可以通过存储器对待处理数据进行存储，即使某一时间由于数据接收速度的波动导致待处理数据的接收速度与发送速度不匹配(例如接收速度的骤增或骤减)，存储器的存在也会在一定时间内保证数据调度不会出错，提高了数据调度的稳定性。

在上述实施例的基础上：

作为一种优选的实施例，当第二预设数目小于第一预设数目时，控制存储器存储待处理数据具体为：

控制第三预设数目个简单双端口存储器同时存储待处理数据；

控制存储器同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端具体为：

控制第三预设数目个简单双端口存储器同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端；

其中，第三预设数目大于1。

具体的，简单双端口存储器具有一个写端口以及一个读端口，通过多个简单双端口存储器可以方便对接多个输入通道以及多个输出通道，以实现多路并行的数据调度，且简单双端口存储器具有结构简单以及成本低等优点。

当然，除了多个简单双端口存储器外，存储器还可以为其他多种类型，本发明实施例在此不做限定。

其中，由于第二预设数目小于第一预设数目，采用简单双端口存储器这种最简单的存储器便可以实现多个输入通道以及多个输出通道的对接，可以有效降低成本。

其中，在将待处理数据写入多个存储器的时候，当电路复位结束后，写入地址从0开始，写入地址的低log2(n)位代表着存储器的序号，该地址对应的数据即写入此存储单元；在将待处理数据发送给第二预设数目个输出通道对应的客户端时，当电路复位结束后，读出地址从0开始，连续第二预设数目个地址对应着第二数目个存储器，随着每次调度操作，读地址连续增加，每个输出通道实现从第二预设数目路待处理数据中选择其一的操作。通过该种数据写入以及读出的方式可以保证数据的顺序不发生变化。

作为一种优选的实施例，当第二预设数目大于第一预设数目且小于二倍的第一预设数目时，控制存储器存储待处理数据具体为：

控制第四预设数目个真正双端口存储器均仅通过自身的一个写端口，同时存储待处理数据；

控制存储器同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端具体为：

控制第四预设数目个真正双端口存储器均通过自身的两个读端口，同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端；

其中，第四预设数目大于1。

具体的，真正双端口具有两个写端口以及两个读端口，但是由于本发明实施例中的场景是第二预设数目大于第一预设数目且小于二倍的第一预设数目，因此仅需要利用每个真正双端口存储器的其中一个写端口，而由于第二预设数目较大，因此利用了每个真正双端口存储器的两个读端口，以便实现多个输入通道以及多个输出通道的对接，实现高效稳定的数据调度。

其中，由于利用了真正双端口存储器的两个读端口，因此需要新增一组读地址接在原始的读地址后面，且依次递增，例如四个真正双端口存储器的一组读端口的读地址可以分别为0/4、1/5、2/6以及3/7。

作为一种优选的实施例，当第二预设数目大于二倍的第一预设数目时，控制存储器存储待处理数据具体为：

控制第五预设数目个真正双端口存储器均仅通过自身的一个写端口，同时存储待处理数据；

控制存储器同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端具体为：

控制第五预设数目个真正双端口存储器均通过自身的两个读端口，同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端；

其中，第五预设数目不小于第二预设数目的一半。

具体的，考虑到本发明实施例中的应用场景为第二预设数目大于二倍的第一预设数目，因此需要更加大量的真正双端口存储器来匹配多个输入通道以及多个输出通道，因此在本发明实施例中，第五预设数目至少为第二预设数目的一半。

其中，第五预设数目的具体数量可以进行自主设定，例如可以刚好设置为第二预设数目的一半等，本发明实施例在此不做限定。

作为一种优选的实施例，第三预设数目以及第四预设数目中的至少一者等于第一预设数目。

具体的，将第三预设数目以及第四预设数目设置为等于第一预设数目时，可以使得写端口的数量刚好等于输入通道的数量，这样一来在进行数据存储的时候便可以直接将一个周期内接收到的数据按照输入通道与写端口一一对应的关系进行存储，控制起来较为简单不易出错，进一步地提高了数据调度过程的稳定性。

当然，除了上述具体数值外，第三预设数目以及第四预设数目还可以设定为其他具体数值，本发明实施例在此不做限定。

作为一种优选的实施例，该数据调度方法还包括：

判断待处理数据的接收量减去待处理数据的发送量的差值是否大于预设阈值；

若是，则控制报警器报警。

具体的，考虑到虽然存储器具有抵消数据产生速度波动的能力，但是这个能力也是有一定限度的，若数据产生速度骤然增加的时间持续较长，存储器一旦被存满，那么便会发生无法再接收数据从而导致数据丢失的状况，为了防止这种情况的发生，本发明实施例中可以通过待处理数据的接收量减去发送量的差值是否大于预设阈值来判断是否有数据溢出的风险，并在具有数据溢出风险的时候进行报警，便于工作人员或者用户快速得知该情况并采取适当的应对措施，以便减小损失。

其中，预设阈值可以进行自主设定，本发明实施例在此不做限定。

其中，除了上述通过差值确定存储器中剩余数据量的方法外，还可以通过与存储器进行交互的方式获取存储器中的剩余数据量，本发明实施例在此不做限定。

具体的，报警器可以为多种类型，例如可以为蜂鸣器或者LED等，本发明实施例在此不做限定。

作为一种优选的实施例，控制存储器同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端具体为：

在每次发送数据前，根据预设分配机制以及存储器中的剩余数据量，确定出各个客户端是否能够被分配到有效的待处理数据；

根据预设分配机制，控制存储器同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端；

向各个客户端提示其本次是否能够接收到有效的待处理数据。

具体的，考虑到若存储器中的剩余的待处理数据量小于客户端的数量，那么便无法保证每个客户端均接收到有效的待处理数据，而为了便于客户端明确自身是否接收到有效的待处理数据，在每次发送数据前均可以根据数据分配机制以及存储器中的剩余数据量，确定出各个客户端是否能够被分配到有效的待处理数据，如此一来在发送数据的时候便可以同时向各个客户端提示其本次是否能够接收到有效地待处理数据。

其中，根据预设分配机制以及存储器中的剩余数据量，确定出各个客户端是否能够被分配到有效的待处理数据具体的可以为：

判断存储器中的剩余数据量是否小于第二预设数目(输出通道的数量通常对应客户端的数量)，如果不小于的话则证明每个客户端均可以接收到有效的待处理数据，如果小于的话则可以根据预设分配机制判断具体哪个客户端本次不会接收到有效的待处理数据。

其中，根据预设分配机制判断具体哪个客户端本次不会接收到有效的待处理数据具体可以为：当预设分配机制为“按照接收顺序，依次将待处理数据以输出通道序号由小到大的顺序进行一一分配”时，本次会接收到有效的待处理数据的客户端为：输出通道序号由小到大排序的前X个输出通道对应的客户端，X为剩余数据量，其余的输出通道对应的客户端为不会接收到有效地待处理数据的客户端。

当然，除了上述的分配机制外，预设分配机制还可以为其他多种类型，本发明实施例在此不做限定。

请参考图2，图2为本发明提供的一种数据调度装置的结构示意图，该数据调度装置包括：

接收模块1，用于同时通过第一预设数目个输入通道接收待处理数据；

存储模块2，用于控制存储器存储待处理数据；

控制模块3，用于控制存储器同时通过第二预设数目个输出通道将待处理数据发送至各个输出通道对应的客户端；

其中，第一预设数目以及第二预设数目均大于1。

对于本发明实施例提供的数据调度装置的介绍请参照前述的数据调度方法的实施例，本发明实施例在此不再赘述。

请参考图3，图3为本发明提供的一种数据调度设备的结构示意图，该数据调度设备包括：

存储器4，用于存储计算机程序；

处理器5，用于执行计算机程序时实现如前述实施例中数据调度方法的步骤。

对于本发明实施例提供的数据调度设备的介绍请参照前述的数据调度方法的实施例，本发明实施例在此不再赘述。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述实施例中数据调度方法的步骤。

对于本发明实施例提供的计算机可读存储介质的介绍请参照前述的数据调度方法的实施例，本发明实施例在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据调度方法，其特征在于，包括：

同时通过第一预设数目个输入通道接收待处理数据；

控制存储器存储所述待处理数据；

控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第一预设数目以及所述第二预设数目均大于1；

当所述第二预设数目大于所述第一预设数目且小于二倍的所述第一预设数目时，所述控制存储器存储所述待处理数据具体为：

控制第四预设数目个真正双端口存储器均仅通过自身的一个写端口，同时存储所述待处理数据；

所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

控制所述第四预设数目个所述真正双端口存储器均通过自身的两个读端口，同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第四预设数目大于1。

2.根据权利要求1所述的数据调度方法，其特征在于，当所述第二预设数目小于所述第一预设数目时，所述控制存储器存储所述待处理数据具体为：

控制第三预设数目个简单双端口存储器同时存储所述待处理数据；

所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

控制所述第三预设数目个所述简单双端口存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第三预设数目大于1。

3.根据权利要求2所述的数据调度方法，其特征在于，当所述第二预设数目大于二倍的所述第一预设数目时，所述控制存储器存储所述待处理数据具体为：

控制第五预设数目个真正双端口存储器均仅通过自身的一个写端口，同时存储所述待处理数据；

所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

控制所述第五预设数目个所述真正双端口存储器均通过自身的两个读端口，同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第五预设数目不小于所述第二预设数目的一半。

4.根据权利要求2所述的数据调度方法，其特征在于，所述第三预设数目以及所述第四预设数目中的至少一者等于所述第一预设数目。

5.根据权利要求1至4任一项所述的数据调度方法，其特征在于，该数据调度方法还包括：

判断所述待处理数据的接收量减去所述待处理数据的发送量的差值是否大于预设阈值；

若是，则控制报警器报警。

6.根据权利要求5所述的数据调度方法，其特征在于，所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

在每次发送数据前，根据预设分配机制以及所述存储器中的剩余数据量，确定出各个所述客户端是否能够被分配到有效的所述待处理数据；

根据所述预设分配机制，控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

向各个所述客户端提示其本次是否能够接收到有效的所述待处理数据。

7.一种数据调度装置，其特征在于，包括：

接收模块，用于同时通过第一预设数目个输入通道接收待处理数据；

存储模块，用于控制存储器存储所述待处理数据；

控制模块，用于控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第一预设数目以及所述第二预设数目均大于1；

当所述第二预设数目大于所述第一预设数目且小于二倍的所述第一预设数目时，所述控制存储器存储所述待处理数据具体为：

控制第四预设数目个真正双端口存储器均仅通过自身的一个写端口，同时存储所述待处理数据；

所述控制所述存储器同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端具体为：

控制所述第四预设数目个所述真正双端口存储器均通过自身的两个读端口，同时通过第二预设数目个输出通道将所述待处理数据发送至各个所述输出通道对应的客户端；

其中，所述第四预设数目大于1。

8.一种数据调度设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述数据调度方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据调度方法的步骤。

Images