CN110349076A

CN110349076A - 数据的处理方法及装置

Info

Publication number: CN110349076A
Application number: CN201910650782.6A
Authority: CN
Inventors: 景逸飞; 唐大闰
Original assignee: Miaozhen Systems Information Technology Co Ltd
Current assignee: Miaozhen Systems Information Technology Co Ltd
Priority date: 2019-07-18
Filing date: 2019-07-18
Publication date: 2019-10-18
Anticipated expiration: 2039-07-18
Also published as: CN110349076B

Abstract

本发明提供了一种数据的处理方法及装置，该方法包括：监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态，所述第一预定数量的CPU核用于向预先建立的队列中存入图片，以及所述队列用于接收所述中央处理器CPU中第二预定数量的CPU核的取出图片的操作，取出的图片由第三预定数量的图形处理器GPU执行运算处理，在所述第一预定数量的CPU核处于等待状态的情况下，已存储有图片的所述队列禁止所述第一预定数量的CPU核继续存入图片；在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配，其中，所述第四预定数量大于所述第二预定数量。

Description

数据的处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种数据的处理方法及装置。

背景技术

在图像处理领域中，为了缩短处理图片所需的时间，可以选择使用图形处理器GPU作为加速器，即使用GPU对图片进行处理。使用GPU处理图片，是由于GPU拥有强大的并行计算能力。对于同一个任务，使用GPU处理该任务可以比使用CPU处理相同的任务快几十倍甚至上百倍。在使用GPU处理图片时，需要先使用CPU从磁盘中读取图片，并将读取到的图片交给GPU去做计算。但是在相关技术中，对于多核CPU，无法实现用于读取图片的CPU核与GPU处理速度之间的匹配。

针对相关技术中，无法实现用于读取图片的CPU核与GPU处理速度之间的匹配的问题，尚未提出有效的技术方案。

发明内容

本发明实施例提供了一种数据的处理方法及装置，以至少解决相关技术中，无法实现用于读取图片的CPU核与GPU处理速度之间的匹配的问题。

根据本发明的一个实施例，提供了一种数据的处理方法，包括：

监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态，其中，所述第一预定数量的CPU核用于向预先建立的队列中存入图片，以及所述队列用于接收所述中央处理器CPU中第二预定数量的CPU核的取出图片的操作，取出的图片由第三预定数量的图形处理器GPU执行运算处理，在所述第一预定数量的CPU核处于等待状态的情况下，已存储有图片的所述队列禁止所述第一预定数量的CPU核继续存入图片；

在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配，其中，所述第四预定数量大于所述第二预定数量。

可选地，所述监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态包括：监控所述第一预定数量的CPU核的利用率；在所述利用率小于预设阈值的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；在所述利用率大于或等于所述预设阈值的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

可选地，所述监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态包括：监控所述队列的长度；在所述长度等于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；在所述长度小于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

可选地，在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配之后，所述方法还包括：使用所述第四预定数量的CPU核从所述队列中取出图片。

可选地，在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配之后，所述方法还包括：增大所述第三预定数量，以使增大后的第三预定数量的GPU的处理速度和所述第一预定数量的CPU核相匹配。

可选地，在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配之后，所述方法还包括：减小所述第一预定数量。

根据本发明的另一个实施例，提供了一种数据的处理装置，包括：

监控模块，用于监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态，其中，所述第一预定数量的CPU核用于向预先建立的队列中存入图片，以及所述队列用于接收所述中央处理器CPU中第二预定数量的CPU核的取出图片的操作，取出的图片由第三预定数量的图形处理器GPU执行运算处理，在所述第一预定数量的CPU核处于等待状态的情况下，已存储有图片的所述队列禁止所述第一预定数量的CPU核继续存入图片；

调整模块，用于在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配，其中，所述第四预定数量大于所述第二预定数量。

可选地，所述监控模块包括：第一监控单元，用于监控所述第一预定数量的CPU核的利用率；第一确定单元，用于在所述利用率小于预设阈值的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；以及用于在所述利用率大于或等于所述预设阈值的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

可选地，所述监控模块包括：第二监控单元，用于监控所述队列的长度；第二确定单元，用于在所述长度等于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；以及用于在所述长度小于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

可选地，所述装置还包括：第一处理模块，用于使用所述第四预定数量的CPU核从所述队列中取出图片。

可选地，所述装置还包括：第二调整模块，用于增大所述第三预定数量，以使增大后的第三预定数量的GPU的处理速度和所述第一预定数量的CPU核相匹配。

可选地，所述装置还包括：第三调整模块，用于减小所述第一预定数量。

通过本发明，由于监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态，其中，所述第一预定数量的CPU核用于向预先建立的队列中存入图片，以及所述队列用于接收所述中央处理器CPU中第二预定数量的CPU核的取出图片的操作，取出的图片由第三预定数量的图形处理器GPU执行运算处理，在所述第一预定数量的CPU核处于等待状态的情况下，已存储有图片的所述队列禁止所述第一预定数量的CPU核继续存入图片；在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配，其中，所述第四预定数量大于所述第二预定数量。因此，可以解决无法实现用于读取图片的CPU核与GPU处理速度之间的匹配的问题，达到了平衡用于读取图片的CPU核与GPU处理速度的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据的处理方法的流程图；

图2是根据本发明另一实施例的数据的处理方法的流程图；

图3是根据本发明实施例的数据的处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本发明实施例提供了一种数据的处理方法，图1为根据本发明实施例的数据的处理的流程图，如图1所示，包括：

步骤S102，监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态，其中，第一预定数量的CPU核用于向预先建立的队列中存入图片，以及队列用于接收中央处理器CPU中第二预定数量的CPU核的取出图片的操作，取出的图片由第三预定数量的图形处理器GPU执行运算处理，在第一预定数量的CPU核处于等待状态的情况下，已存储有图片的队列禁止第一预定数量的CPU核继续存入图片；

步骤S104，在确定第一预定数量的CPU核处于等待状态的情况下，按照指定规则将第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配，其中，第四预定数量大于第二预定数量。

在本发明实施例中，可以使用中央处理器CPU中第一预设数量的CPU核，从本地文件系统(例如，磁盘)中读取图片，并将读取的图片存入到预先建立的队列中。因此，用于读取图片的CPU核数即为上述用于向预先建立的队列中存入图片的CPU核数(例如，可以设置用于读取图片的CPU核数的初始值为上述第一预设数量)。通过对第一预定数量的CPU核是否处于等待状态的监控，调整中央处理器CPU中用于从队列中取出图片的CPU核的数量，以使GPU的处理速度与用于向队列存入图片的CPU核(即用于读取图片的CPU核)相匹配。

在本发明实施例中，按照指定规则将所述第二预定数量调整到第四预定数量。指定规则可以是指示增大第二预定数量的数值的规则，例如，将第二预定数量增大为第四预定数量。

在本发明的一可选实施例中，监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态包括：监控第一预定数量的CPU核的利用率；在利用率小于预设阈值的情况下，确定第一预定数量的CPU核的状态处于等待状态；在利用率大于或等于预设阈值的情况下，确定第一预定数量的CPU核的状态未处于所述等待状态。

在本发明实施例中，在第一预定数量的CPU核的利用率小于预设阈值的情况下，第一预定数量的CPU核未执行向队列存入图片的操作，即第一预定数量的CPU核的状态处在等待状态。

在本发明的一可选实施例中，监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态包括：监控队列的长度；在长度等于队列的容量的情况下，确定第一预定数量的CPU核的状态处于等待状态；在长度小于队列的容量的情况下，确定第一预定数量的CPU核的状态未处于等待状态。

在本发明实施例中，可以预先设置队列的容量，在监控到队列的长度等于队列的容量的情况下，第一预定数量的CPU核无法继续向队列存入图片，即第一预定数量的CPU核的状态处在等待状态。

在本发明的一可选实施例中，在确定第一预定数量的CPU核处于等待状态的情况下，按照指定规则将第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配之后，上述方法还包括：使用第四预定数量的CPU核从队列中取出图片。

在本发明实施例中，在第一预定数量的CPU核处于等待状态的情况下，增大第二预定数量，将第二预定数量调整到第四预定数量，即增加CPU中用于从队列中取出图片的CPU核的数量。由于从队列中取出的图片交由GPU处理，在增加用于从队列中取出图片的CPU核的数量之后，能够从队列中取出更多的图片交由GPU处理，从而GPU能够处理更多的图片，也即能够加快GPU处理图片的速度，从而实现了GPU的处理速度与用于读取图片的CPU核的匹配。

在本发明的一可选实施例中，在确定第一预定数量的CPU核处于等待状态的情况下，按照指定规则将第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配之后，上述方法还包括：增大第三预定数量，以使增大后的第三预定数量的GPU的处理速度和第一预定数量的CPU核相匹配。

在本发明实施例中，在增加了CPU中用于从队列中取出图片的CPU核的数量之后，还可以进一步增大GPU的数量，从而进一步加快GPU处理图片的速度，能够更进一步地实现GPU的处理速度与用于读取图片的CPU核相匹配。

在本发明的一可选实施例中，在确定第一预定数量的CPU核处于等待状态的情况下，按照指定规则将第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配之后，上述方法还包括：减小所述第一预定数量。

在本发明实施例中，在确定第一预定数量的CPU核处于等待状态的情况下，还可以减小第一预定数量，即减小CPU中用于向队列存入图片的CPU核的数量，从而减小CPU从本地文件系统中读取图片的速度，进一步地实现了GPU的处理速度与用于读取图片的CPU核的匹配，也即实现了GPU的处理速度与用于读取图片的CPU核的处理速度的匹配。

以下结合一示例对上述的数据的处理方法行解释说明，但不用于限定本发明实施例的技术方案。图2是根据本发明另一实施例的数据的处理方法的流程图，如图2所示，本发明示例的技术方案如下：

为了实现用于读取图片的CPU核(即从本地文件系统中读取图片的CPU核，也即用于向队列存入图片的CPU核)和GPU处理速度之间的平衡，在本发明实施例中，将CPU视为生产者，其读取图片的过程(即从本地文件系统读取图片的过程)看作是生产的过程；将GPU视为消费者，其对图片作计算的过程看作是消费的过程。并使用队列作为数据的存储容器，将CPU生产的图片存放到队列中，GPU消费图片时，从队列中直接取出即可。

在本发明实施例中，可调节的参数有以下四种：

队列容量，即队列可接收的图片数量，记作q_size；

从本地文件系统读取图片时所用的CPU核数,记作w_c_num；

从队列中取出图片时所用的CPU的核数，记作r_c_num；

每次从队列中取出图片的数量，记作batch；

对图片做计算时所用的GPU个数，记作g_num；

当需要平衡用于读取图片的CPU核和GPU处理速度时，首先给q_size、w_c_num、r_c_num、batch以及g_num设置初始值，之后通过监控用于向队列存入图片的CPU核是否处于等待状态，来平衡用于读取图片的CPU核和GPU处理图片的速度。例如，对于一具有64核CPU、128G内存、4个GPU的服务器，可以设置q_size＝10000、w_c_num＝16、r_c_num＝8、batch＝5000、g_num＝1。在整个数据处理中，在用于向队列存入图片的CPU核队列处于等待状态的情况下，此时可以加大参数r_c_num(由于增加了用于从队列中取出图片所用的CPU核的数量，从而从队列取出的图片增加了，也即加快了GPU处理图片的速度)，来实现用于读取图片的CPU核和GPU处理图片的速度之间的平衡。在本发明实施例中，还可以通过加大参数g_num，进一步实现用于读取图片的CPU核与GPU处理速度之间的平衡(即匹配)，也即实现了用于读取图片的CPU核的处理速度(即CPU读取图片的速度)与GPU处理速度之间的平衡。

通过本发明实施例，通过平衡CPU读取图片的速度和GPU处理图片的速度，可以达到CPU和GPU的负载均衡。由于能够确定CPU核数和GPU处理速度上的一种对应关系，即解决了需要使用CPU多少个核去读取图片才能够跟得上GPU处理图片的速度的问题，从而使CPU和GPU的利用率都达到峰值。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种数据的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的数据的处理装置的结构框图，如图3所示，该装置包括：

监控模块202，用于监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态，其中，所述第一预定数量的CPU核用于向预先建立的队列中存入图片，以及所述队列用于接收所述中央处理器CPU中第二预定数量的CPU核的取出图片的操作，取出的图片由第三预定数量的图形处理器GPU执行运算处理，在所述第一预定数量的CPU核处于等待状态的情况下，已存储有图片的所述队列禁止所述第一预定数量的CPU核继续存入图片；

在本发明一可选实施例中，所述监控模块包括：第一监控单元，用于监控所述第一预定数量的CPU核的利用率；第一确定单元，用于在所述利用率小于预设阈值的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；以及用于在所述利用率大于或等于所述预设阈值的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

在本发明一可选实施例中，所述监控模块包括：第二监控单元，用于监控所述队列的长度；第二确定单元，用于在所述长度等于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；以及用于在所述长度小于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

在本发明一可选实施例中，所述装置还包括：第一处理模块，用于使用所述第四预定数量的CPU核从所述队列中取出图片。

在本发明一可选实施例中，所述装置还包括：第二调整模块，用于增大所述第三预定数量，以使增大后的第三预定数量的GPU的处理速度和所述第一预定数量的CPU核相匹配。

在本发明一可选实施例中，所述装置还包括：第三调整模块，用于减小所述第一预定数量。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

S1，监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态，其中，第一预定数量的CPU核用于向预先建立的队列中存入图片，以及队列用于接收中央处理器CPU中第二预定数量的CPU核的取出图片的操作，取出的图片由第三预定数量的图形处理器GPU执行运算处理，在第一预定数量的CPU核处于等待状态的情况下，已存储有图片的队列禁止第一预定数量的CPU核继续存入图片；

S2，在确定第一预定数量的CPU核处于等待状态的情况下，按照指定规则将第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配，其中，第四预定数量大于第二预定数量。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态包括：

监控所述第一预定数量的CPU核的利用率；

在所述利用率小于预设阈值的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；

在所述利用率大于或等于所述预设阈值的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

3.根据权利要求1所述的方法，其特征在于，所述监控中央处理器CPU中第一预定数量的CPU核是否处于等待状态包括：

监控所述队列的长度；

在所述长度等于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；

在所述长度小于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

4.根据权利要求1所述的方法，其特征在于，在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配之后，所述方法还包括：

使用所述第四预定数量的CPU核从所述队列中取出图片。

5.根据权利要求4所述的方法，其特征在于，在确定所述第一预定数量的CPU核处于所述等待状态的情况下，按照指定规则将所述第二预定数量调整到第四预定数量，以使所述第一预定数量的CPU核与所述GPU的处理速度相匹配之后，所述方法还包括：增大所述第三预定数量，以使增大后的第三预定数量的GPU的处理速度和所述第一预定数量的CPU核相匹配。

6.一种数据的处理装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述监控模块包括：

第一监控单元，用于监控所述第一预定数量的CPU核的利用率；

第一确定单元，用于在所述利用率小于预设阈值的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；以及用于在所述利用率大于或等于所述预设阈值的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

8.根据权利要求6所述的装置，其特征在于，所述监控模块包括：

第二监控单元，用于监控所述队列的长度；

第二确定单元，用于在所述长度等于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态处于所述等待状态；以及用于在所述长度小于所述队列的容量的情况下，确定所述第一预定数量的CPU核的状态未处于所述等待状态。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：第一处理模块，用于使用所述第四预定数量的CPU核从所述队列中取出图片。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：第二调整模块，用于增大所述第三预定数量，以使增大后的第三预定数量的GPU的处理速度和所述第一预定数量的CPU核相匹配。