CN114217955A - 一种数据处理方法、设备及计算机可读存储介质 - Google Patents
一种数据处理方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114217955A CN114217955A CN202111389098.0A CN202111389098A CN114217955A CN 114217955 A CN114217955 A CN 114217955A CN 202111389098 A CN202111389098 A CN 202111389098A CN 114217955 A CN114217955 A CN 114217955A
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- processing
- available heterogeneous
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 157
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims description 24
- 241000613130 Tima Species 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 244000287680 Garcinia dulcis Species 0.000 description 8
- 101100300893 Escherichia coli (strain K12) ratB gene Proteins 0.000 description 6
- 101100518975 Escherichia coli O6:H1 (strain CFT073 / ATCC 700928 / UPEC) pasI gene Proteins 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000010977 unit operation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种数据处理方法、设备及计算机可读存储介质,该数据处理方法包括:获取所有可用异构单元及各可用异构单元的计算能力,计算能力为可用异构单元处理工作任务的能力,可用异构单元至少为两个,可用异构单元的计算能力是分别利用可用异构单元处理同一目标数据计算得到的;按可用异构单元的计算能力将待处理任务数据划分为至少两个待处理子数据,待处理子数据与可用异构单元的数量相同;利用可用异构单元处理对应的待处理子数据,其中,计算能力强的可用异构单元对应计算量大的待处理子数据。通过上述方式,本发明能够充分利用可用异构单元,提高数据处理效率。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据处理方法、设备及计算机可读存储介质。
背景技术
伴随着计算向多元化发展,越来越多的场景开始使用CPU(central processingunit,中央处理器)、DSP(Digital Signal Process,图像信号处理)、GPU(graphicsprocessing unit,图形处理器)、ASIC(Application Specific Integrated Circuit,特殊应用集成电路)、FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)等多种不同计算单元来进行加速计算,由此,异构计算应运而生。异构计算的核心点在于“异构”二字,用不同架构、不同指令集、不同功能的硬件组合起来解决问题。而目前异构单元的串行计算无法满足性能需求,处理效率低。
发明内容
本发明主要解决的技术问题是提供一种数据处理方法、设备及计算机可读存储介质,能够充分利用可用异构单元,提高数据处理效率。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种数据处理方法,该数据处理方法包括:获取所有可用异构单元及各可用异构单元的计算能力,计算能力为可用异构单元处理工作任务的能力,可用异构单元至少为两个,可用异构单元的计算能力是分别利用各可用异构单元处理同一目标数据计算得到的;按可用异构单元的计算能力将待处理任务数据划分为至少两个待处理子数据,待处理子数据与可用异构单元的数量相同;利用可用异构单元处理对应的待处理子数据,其中,计算能力强的可用异构单元对应计算量大的待处理子数据。
其中,可用异构单元的计算能力为处理能力占比,所有可用异构单元的处理能力占比的和为1;按可用异构单元的计算能力将待处理数据划分为至少两个待处理子数据包括:利用处理能力占比将待处理数据划分为对应比例的至少两个待处理子数据。
其中,待处理任务数据为待处理图像,利用可用异构单元的处理能力占比将待处理任务数据划分为对应比例的至少两个待处理子数据包括:利用处理能力占比将待处理图像按面积划分为对应比例的待处理子图像。
其中,利用处理能力占比将待处理图像按面积分割为对应比例的待处理子图像包括:利用处理能力占比将待处理图像的宽/高按对应比例进行划分,得到对应比例的待处理子图像。
其中,获取可用异构单元的计算能力包括:分别利用可用异构单元处理同一个目标数据;计算各个可用异构单元的处理效率和所有可用异构单元的处理效率和;计算处理效率的占比,得到各个可用异构单元的计算能力。
其中,目标数据为指定的某一数据;或目标数据为前一次工作所处理的任务数据。
其中,该数据处理方法还包括:分别利用可用异构单元处理指定数据,计算得到可用异构单元的初始计算能力;按照初始计算能力分配处理任务数据;利用各可用异构单元处理任务数据的实际耗时,计算可用异构单元的工作计算能力。
其中,该数据处理方法还包括:利用所述工作计算能力更新替换所述初始计算能力,更新后的所述计算能力为所述可用异构单元的初始计算能力与所述可用异构单元的工作计算能力的平均值。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种数据处理设备,该数据处理设备包括处理器,处理器用于执行以实现上述的数据处理方法。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种计算机可读存储介质,计算机可读存储介质用于存储指令/程序数据,指令/程序数据能够被执行以实现上述的数据处理方法。
本发明的有益效果是:区别于现有技术的情况,本发明通过自动计算获取当前设备中的所有可用异构单元的计算能力,并根据计算能力对待处理数据进行划分,计算能力强的可用异构单元处理数据量大的数据,各个可用异构单元并行计算,使得异构单元的利用率更高,充分地挖掘当前设备中所有的计算性能,进一步提高数据处理效率。
附图说明
图1是本申请实施方式中一数据处理方法的流程示意图;
图2是本申请实施方式中另一数据处理方法的流程示意图;
图3是本申请实施方式中又一数据处理方法的流程示意图;
图4是本申请实施方式中一待处理图像划分图;
图5是本申请实施方式中数据处理装置的结构示意图;
图6是本申请实施方式中数据处理设备的结构示意图;
图7是本申请实施方式中计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。
本申请提供一种数据处理方法,使用当前设备的中的所有可用异构单元进行并行计算,其中,异构是指多个不同类型的物体参与完成某一件事情,异构系统的各个组成部分具有自身的自治性,实现数据共享的前提下,仍保留有自己的应用特性,完整特性,安全特性。而本申请中使用的并行计算也可以称作平行计算,其是相对于串行计算而言的,并行计算是一种一次可执行多个指令的算法,目的是提高计算速度,及通过扩大问题求解规模,解决大型而复杂的计算问题。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术,而空间上的并行则是指用多个处理器并发的执行计算。
本申请通过自动计算获取当前设备中的所有可用异构单元的计算能力,并根据计算能力对待处理数据进行划分,计算能力强的可用异构单元处理数据量大的数据,各个可用异构单元并行计算,使得异构单元的利用率更高,充分地挖掘当前设备中所有的计算性能,进一步提高数据处理效率。
请参阅图1,图1是本申请实施方式中一数据处理方法的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施方式包括:
S110:获取所有可用异构单元及各可用异构单元的计算能力。
对当前设备中的异构单元进行检测,获取所有可用异构单元。其中,当前设备可以为计算平台、服务器、异构芯片等,异构单元包括CPU、GPU、DSP、ASIC、FPGA等。异构单元计算能力为异构单元处理工作任务的能力,在该实施方式中,可用异构单元至少为两个,分别利用可用异构单元处理同一目标数据计算得到可用异构单元的计算能力,处理同一目标数据效率越高,计算能力越强。
S130:按可用异构单元的计算能力将待处理任务数据划分为至少两个待处理子数据。
获取待处理任务数据,该任务数据可以为图像处理任务数据、视频处理任务数据、语音处理任务数据等可以使用异构单元进行处理的工作任务。按照可用异构单元的数量对待处理数据进行划分,划分成与可用异构单元的数量相同的待处理子数据。在划分过程中,参考可用异构单元的计算能力,若可用异构单元的计算能力不同,将待处理数据划分为数据量不同的待处理子数据。具体划分方式在此不进行限定,如对图像处理任务数据可以按图像分块划分,对视频处理任务数据可以按帧数划分等。
S150:利用可用异构单元处理对应的待处理子数据。
为每个可用异构单元匹配一个待处理子数据,其中,计算能力强的可用异构单元对应计算量大的待处理子数据。利用可用异构单元处理对应的待处理子数据。
该实施方式中,通过自动计算获取当前设备中的所有可用异构单元的计算能力,并根据计算能力对待处理数据进行划分,计算能力强的可用异构单元处理数据量大的数据,各个可用异构单元并行计算,使得异构单元的利用率更高,充分地挖掘当前设备中所有的计算性能,进一步提高数据处理效率。
请参阅图2,图2是本申请实施方式中另一数据处理方法的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。如图2所示,本实施方式包括:
S210:获取所有可用异构单元及各可用异构单元的计算能力。
对当前设备中的异构单元进行检测,获取所有可用异构单元。确定一个处理任务作为目标数据,对所有可用单元的性能进行实测评估,获取并记录可用异构单元运算能力表。其中,目标数据的数据量不能太小,异构单元处理目标数据的时间要远大于输入和输出处理时间(IO处理时间)。
在一实施方式中,目标数据为指定的某一数据。分别利用可用异构单元处理该同一个目标数据,获取所有可用异构单元处理该同一个目标数据的时间,并计算各个可用异构单元的处理效率。对所有可用异构单元的处理效率求和,计算各处理效率的占比,得到各个可用异构单元的计算能力。该计算能力就是异构单元处理工作任务的能力,即处理能力占比。可用异构单元的处理能力占比的和为1。
在一具体实施方式中,当前设备中的可用异构单元有CPU,DSP和GPU,利用三个可用异构单元分别处理一个预设的目标数据,计算处理耗时,三个可用异构单元的耗时分别为timA,timB,timC,计算处理效率,三个可用异构单元的处理效率分别为1/timA,1/timB,1/timC,对处理效率求和,得到sum0=1/timA+1/timB+1/timC,最终计算各处理效率的占比,CPU的处理性能占比为ratA=1/timA/sum0*100%,DSP的处理性能占比为ratB=1/timB/sum0*100%,GPU的处理性能占比为ratC=1/timC/sum0*100%。将各异构单元的处理性能占比作为其计算能力,记录到对应的可用异构单元运算能力表中。
在另一实施方式中,目标数据为前一次工作所处理的任务数据。分别利用可用异构单元处理指定数据,通过计算工作效率计算得到可用异构单元的初始计算能力,按照初始计算能力分配处理任务数据;利用各可用异构单元处理任务数据的实际耗时,计算可用异构单元的处理能力占比,得到各可用异构单元的工作计算能力,可用异构单元的处理能力占比的和为1。使用工作计算能力更新替换初始计算能力。
S230:利用处理能力占比将待处理数据划分为对应比例的至少两个待处理子数据。
获取待处理任务数据,该任务数据可以为图像处理任务数据、视频处理任务数据、语音处理任务数据等可以使用异构单元进行处理的工作任务。按照可用异构单元的数量对待处理数据进行划分,划分成与可用异构单元的数量相同的待处理子数据。在划分过程中,获取可用异构单元的计算能力,即获取各可用异构单元的处理性能占比,将待处理数据划分为对应比例的待处理子数据。
在一实施方式中,当前设备中的可用异构单元有CPU,DSP和GPU,三个可用异构单元的处理性能占比分别为ratA,ratB,ratC,当用于处理图像处理任务数据时,可以按图像分块划分,将图像分为三部分,每个部分占全部图像的比例分别为ratA,ratB,ratC,当用于处理视频处理任务数据时,可以按帧数划分,将视频分为三部分,每个部分中帧数占全部视频的比例分别为ratA,ratB,ratC。当处理其他任务数据时,使用相同方法将数据分为占比分别为ratA,ratB,ratC的三个部分。
在另一实施方式中,当前设备中的可用异构单元有CPU,DSP和GPU,三个可用异构单元的初始处理性能占比分别为ratA,ratB,ratC,对待处理任务数据进行分析,利用数据处理算法预测各异构单元处理该待处理任务数据的处理性能占比,三个可用异构单元的更新处理性能占比分别为ratA*,ratB*,ratC*,预先设定误差阈值m,若三个可用异构单元两次计算能力的误差均小于或等于误差阈值,即|ratA-ratA*|≤m,|ratB-ratB*|≤m,|ratC-ratC*|≤m时,使用初始处理性能占比作为处理性能占比,对待处理任务进行划分,若存在一个可用异构单元两次计算能力的误差大于误差阈值,则使用更新处理性能占比作为处理性能占比,对待处理任务进行划分。
S250:利用可用异构单元处理对应的待处理子数据。
为每个可用异构单元匹配一个待处理子数据,其中,计算能力强的可用异构单元对应计算量大的待处理子数据。在该实施方式中,将与处理性能占比相同比例的待处理子数据与对应的可用异构单元匹配,利用可用异构单元处理对应的待处理子数据。
在一实施方式中,当前设备实时监测各可用异构单元的处理情况,当检测到存在可用异构单元的处理进程存在较大的不合理性时,计算各可用异构单元处理当前已完成部分待处理数据的处理效率,重新计算各可用异构单元的处理能力,按更新后的处理性能占比对剩余待处理数据重新进行比例分配,划分成新的待处理子数据,利用可用异构单元对重新划分后的待处理子数据进行处理。
在该实施方式中,在各异构单元进行计算处理之前利用处理数据自动计算其性能,减少大量人工调试获取其性能的时间,并且相较人工计算更加准确,并根据计算能力对待处理数据进行相同比例的划分,可用异构单元处理对应的数据任务,各个可用异构单元并行计算,使得异构单元的利用率更高,充分地挖掘当前设备中所有的计算性能,进一步提高数据处理效率。在计算工程中也可以实时监测计算进程,以便对工作任务进行重新调配,以提高性能计算。
在一具体实施方式中,待处理任务数据为待处理图像,利用可用异构单元处理待处理图像。在该实施方式中,以当前设备中的可用异构单元有CPU,DSP和GPU为例进行说明。请参阅图3,图3是本申请实施方式中又一数据处理方法的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图3所示的流程顺序为限。如图3所示,本实施方式包括:
S310:获取当前设备中的所有可用异构单元。
对当前设备中的异构单元进行检测,获取所有可用异构单元。其中,当前设备可以为计算平台、服务器、异构芯片等,异构单元包括CPU、GPU、DSP等。
S320:对各可用异构单元进行实测评估,获取各可用异构单元的计算能力。
对所有可用单元的性能进行实测评估,获取并记录可用异构单元运算能力表。在该实施方式中,利用三个可用异构单元分别处理一个预设的目标数据,计算处理耗时,三个可用异构单元的耗时分别为timA,timB,timC,计算处理效率,三个可用异构单元的处理效率分别为1/timA,1/timB,1/timC,对处理效率求和,得到sum0=1/timA+1/timB+1/timC,最终计算各处理效率的占比,CPU的处理性能占比为ratA=1/timA/sum0*100%=a%,DSP的处理性能占比为ratB=1/timB/sum0*100%=b%,GPU的处理性能占比为ratC=1/timC/sum0*100%=c%。将各异构单元的处理性能占比作为其计算能力,记录到对应的可用异构单元运算能力表中。
S330:获取待处理图像。
S340:利用处理能力占比将待处理图像划分为待处理子图像。
按照可用异构单元的数量对待处理图像进行划分,划分成与可用异构单元的数量相同的待处理子图像。在划分过程中,获取可用异构单元的计算能力,即获取各可用异构单元的处理性能占比,将待处理图像划分为对应比例的待处理子图像。在该实施方式中,可以利用处理能力占比将待处理图像按面积分割为对应比例的待处理子图像。
按面积划分时,可以划分为边缘不规则的待处理子图像,也可以划分为边缘规则的待处理子图像。如可以利用处理能力占比将待处理图像的宽/高按对应比例进行划分,得到对应比例的待处理子图像。
在一具体实施方式中,利用处理能力占比将待处理图像的高按对应比例进行划分,得到对应比例的待处理子图像。请参阅图4,图4是本申请实施方式中一待处理图像划分图。在该实施方式中,待处理图像的宽度为w,高度为h,预先计算出的三个异构单元CPU,DSP和GPU的处理能力占比分别为a%、b%和c%,其中a%+b%+c%=100%,将待处理图像的高度按比例a%、b%和c%进行划分成三个待处理子图像,则三个异构单元CPU,DSP和GPU分别处理的待处理子图像的高度为a%*h、b%*h和c%*h。
在另一具体实施方式中,利用处理能力占比将待处理图像的宽按对应比例进行划分,得到对应比例的待处理子图像。预先计算出的三个异构单元CPU,DSP和GPU的处理能力占比分别为a%、b%和c%,将待处理图像的宽度按比例a%、b%和c%进行划分成三个待处理子图像,则三个异构单元CPU,DSP和GPU分别处理的待处理子图像的宽度为a%*w、b%*w和c%*w。
S350:利用可用异构单元处理对应的待处理子图像。
利用可用异构单元的数量开启相同数量的线程,在该实施方式中,开启三个线程,每个线程运行一个可用异构单元,该线程获取该可用异构单元相对应的待处理子图像的图像地址,图像宽度,图像高度和待处理子图像需要进行处理的算法,在该线程内,可用异构单元对待处理子图像进行处理。
S360:利用可用异构单元处理待处理子图像的实际耗时,更新计算可用异构单元的工作计算能力。
当三个线程内的图像均处理完成之后,获取每个线程运算的实际耗时,三个可用异构单元CPU,DSP和GPU的耗时分别为timA1,timB1,timC1,计算三个可用异构单元处理整个图像的耗时分别为timA2=timA/(a%),timB2=timB/(b%),timC2=timC/(c%),计算耗时总和sum=timA2+timB2+timC2,再计算耗时占总和的比值的倒数为ratA1=sum/timA2,ratB1=sum/timB2,ratC1=sum/timC2,计算最终的处理性能占比分别为a1%=ratA1/(ratA1+ratB1+ratC1)*100%,b1%=ratB1/(ratA1+ratB1+ratC1)*100%,c1%=ratC1/(ratA1+ratB1+ratC1)*100%。在一具体实施方式中,三个可用异构单元CPU,DSP和GPU的初始处理性能占比为50%:30%:20%,因此,在划分待处理图像时,三个可用异构单元分别对应的待处理子图像的占比也为50%:30%:20%。而当利用三个可用异构单元分别在三个线程处理工作时,得到的实际耗时分别为timA1=23毫秒,timB1=23毫秒,timC1=24毫秒,则三个可用异构单元分别处理整个待处理图像的实际耗时分别为timA2=23/50%=46.0毫秒,timB2=23/30%=76.7毫秒,timC2=24/20%=120.0毫秒,计算耗时总和sum=46.0+76.7+120.0=242.7毫秒,再计算耗时占总和的比值的倒数为ratA1=242.7/46.0=5.28,ratB1=242.7/76.7=3.6,ratC1=242.7/120.0=2.02,计算最终的处理性能占比分别为a1%=5.28/(5.28+3.6+2.02)*100%=50.5%,b1%=ratB1/(5.28+3.6+2.02)*100%=30.2%,c1%=ratC1/(5.28+3.6+2.02)=19.3%。
在一实施方式中,将利用三个可用异构单元计算得到的处理性能占比作为更新后的可用异构单元的工作计算能力,即三个可用异构单元CPU,DSP和GPU的工作计算能力分别为a1%,b1%,c1%。在另一实施方式中,利用工作计算能力更新替换初始计算能力,更新后的计算能力为可用异构单元的初始计算能力与可用异构单元的工作计算能力的平均值,即三个可用异构单元CPU,DSP和GPU的工作计算能力分别为(a%+a1%)/2,(b%+b1%)/2,(c%+c1%)/2。
S370:获取新的待处理图像。
完成上述步骤之后,等待获取新的待处理图像,当接收到新的待处理图像任务之后,继续进行步骤S340~S360。
在该实施方式中,在各异构单元进行计算处理之前利用处理数据自动计算其性能,减少大量人工调试获取其性能的时间,并且相较人工计算更加准确,并根据计算能力对待处理图像进行相同比例的划分,可用异构单元处理对应的图像数据任务,各个可用异构单元并行计算,使得异构单元的利用率更高,充分地挖掘当前设备中所有的计算性能,进一步提高数据处理效率。同时,在每次计算完成之后自动调整性能占比,以提高性能计算。
请参阅图5,图5是本申请实施方式中数据处理装置的结构示意图。该实施方式中,数据处理装置包括获取模块51、划分模块52和处理模块53。
其中获取模块51用于获取所有可用异构单元及各可用异构单元的计算能力;划分模块52用于按可用异构单元的计算能力将待处理任务数据划分为至少两个待处理子数据;处理模块53用于利用可用异构单元处理对应的待处理子数据。该数据处理装置用于自动计算获取当前设备中的所有可用异构单元的计算能力,并根据计算能力对待处理数据进行划分,计算能力强的可用异构单元处理数据量大的数据,各个可用异构单元并行计算,使得异构单元的利用率更高,充分地挖掘当前设备中所有的计算性能,进一步提高数据处理效率。
请参阅图6,图6是本申请实施方式中数据处理设备的结构示意图。该实施方式中,数据处理设备61包括处理器62。
处理器62还可以称为CPU(Central Processing Unit,中央处理单元)。处理器62可能是一种集成电路芯片,具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器62也可以是任何常规的处理器等。
数据处理设备61可以进一步包括存储器(图中未示出),用于存储处理器62运行所需的指令和数据。
处理器62用于执行指令以实现上述本申请数据处理方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图7,图7是本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质71存储有指令/程序数据72,该指令/程序数据72被执行时实现本申请数据处理方法任一实施例以及任意不冲突的组合所提供的方法。其中,该指令/程序数据72可以形成程序文件以软件产品的形式存储在上述存储介质71中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质71包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
获取所有可用异构单元及各所述可用异构单元的计算能力,所述计算能力为所述可用异构单元处理工作任务的能力,所述可用异构单元至少为两个,所述可用异构单元的计算能力是分别利用各所述可用异构单元处理同一目标数据计算得到的;
按所述可用异构单元的计算能力将待处理任务数据划分为至少两个待处理子数据,所述待处理子数据与所述可用异构单元的数量相同;
利用所述可用异构单元处理对应的所述待处理子数据,其中,计算能力强的所述可用异构单元对应计算量大的所述待处理子数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述可用异构单元的计算能力为处理能力占比,所有所述可用异构单元的处理能力占比的和为1;
所述按所述可用异构单元的计算能力将所述待处理数据划分为至少两个待处理子数据包括:
利用所述处理能力占比将所述待处理数据划分为对应比例的至少两个所述待处理子数据。
3.根据权利要求2所述的数据处理方法,其特征在于,所述待处理任务数据为待处理图像,所述利用所述可用异构单元的处理能力占比将所述待处理任务数据划分为对应比例的至少两个所述待处理子数据包括:
利用所述处理能力占比将所述待处理图像按面积划分为对应比例的待处理子图像。
4.根据权利要求3所述的数据处理方法,其特征在于,所述利用所述处理能力占比将所述待处理图像按面积分割为对应比例的待处理子图像包括:
利用所述处理能力占比将所述待处理图像的宽/高按对应比例进行划分,得到对应比例的所述待处理子图像。
5.根据权利要求1所述的数据处理方法,其特征在于,所述获取可用异构单元的计算能力包括:
分别利用所述可用异构单元处理同一个目标数据;
计算各个所述可用异构单元的处理效率和所有所述可用异构单元的处理效率和;
计算所述处理效率的占比,得到各个所述可用异构单元的计算能力。
6.根据权利要求5所述的数据处理方法,其特征在于,
所述目标数据为指定的某一数据;或
所述目标数据为前一次工作所处理的任务数据。
7.根据权利要求5或6所述的数据处理方法,其特征在于,所述方法还包括:
分别利用所述可用异构单元处理指定数据,计算得到所述可用异构单元的初始计算能力;
按照所述初始计算能力分配处理任务数据;
利用各所述可用异构单元处理所述任务数据的实际耗时,计算所述可用异构单元的工作计算能力。
8.根据权利要求7所述的数据处理方法,其特征在于,所述方法还包括:
利用所述工作计算能力更新替换所述初始计算能力,更新后的所述计算能力为所述可用异构单元的初始计算能力与所述可用异构单元的工作计算能力的平均值。
9.一种数据处理设备,其特征在于,包括处理器,所述处理器用于执行指令以实现如权利要求1-8任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储指令/程序数据,所述指令/程序数据能够被执行以实现如权利要求1-8任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111389098.0A CN114217955A (zh) | 2021-11-22 | 2021-11-22 | 一种数据处理方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111389098.0A CN114217955A (zh) | 2021-11-22 | 2021-11-22 | 一种数据处理方法、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114217955A true CN114217955A (zh) | 2022-03-22 |
Family
ID=80697781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111389098.0A Pending CN114217955A (zh) | 2021-11-22 | 2021-11-22 | 一种数据处理方法、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114217955A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116048742A (zh) * | 2022-05-30 | 2023-05-02 | 荣耀终端有限公司 | 一种数据处理方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108549583A (zh) * | 2018-04-17 | 2018-09-18 | 成都致云科技有限公司 | 大数据处理方法、装置、服务器及可读存储介质 |
CN109871352A (zh) * | 2017-12-01 | 2019-06-11 | 北京搜狗科技发展有限公司 | 一种协同计算方法及装置 |
CN110334049A (zh) * | 2019-07-02 | 2019-10-15 | 上海联影医疗科技有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN112165572A (zh) * | 2020-09-10 | 2021-01-01 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、终端及存储介质 |
-
2021
- 2021-11-22 CN CN202111389098.0A patent/CN114217955A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871352A (zh) * | 2017-12-01 | 2019-06-11 | 北京搜狗科技发展有限公司 | 一种协同计算方法及装置 |
CN108549583A (zh) * | 2018-04-17 | 2018-09-18 | 成都致云科技有限公司 | 大数据处理方法、装置、服务器及可读存储介质 |
CN110334049A (zh) * | 2019-07-02 | 2019-10-15 | 上海联影医疗科技有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN112165572A (zh) * | 2020-09-10 | 2021-01-01 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、终端及存储介质 |
Non-Patent Citations (1)
Title |
---|
方娟等: ""基于负载均衡的CPU- GPU异构计算平台任务调度策略"", 《北京工业大学学报》, 10 July 2020 (2020-07-10), pages 2 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116048742A (zh) * | 2022-05-30 | 2023-05-02 | 荣耀终端有限公司 | 一种数据处理方法及电子设备 |
CN116048742B (zh) * | 2022-05-30 | 2023-11-07 | 荣耀终端有限公司 | 一种数据处理方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103605500B (zh) | 利用一个或多个约束计算设备的设置的系统、方法 | |
CN111506434B (zh) | 一种任务处理方法、装置及计算机可读存储介质 | |
CN114819084B (zh) | 模型推理方法、装置、设备及存储介质 | |
CN114217955A (zh) | 一种数据处理方法、设备及计算机可读存储介质 | |
WO2023160236A1 (zh) | 多输出神经网络的切片方法、装置、芯片及存储介质 | |
CN116227599A (zh) | 一种推理模型的优化方法、装置、电子设备及存储介质 | |
CN113377295B (zh) | 多生产者单消费者的数据存储和读取方法、装置、设备 | |
CN115346099A (zh) | 基于加速器芯片的图像卷积方法、芯片、设备及介质 | |
CN115861510A (zh) | 对象渲染方法、装置、电子设备、存储介质及程序产品 | |
CN115775199A (zh) | 数据处理方法和装置、电子设备和计算机可读存储介质 | |
CN115269131A (zh) | 一种任务调度方法及装置 | |
US20240135495A1 (en) | Optimized image processing filter | |
US20240320896A1 (en) | Multi-gpu-based image rendering method and apparatus, and readable storage medium | |
CN116468597B (zh) | 基于多gpu的图像渲染方法、装置及可读存储介质 | |
CN115292662B (zh) | 一种卷积加速运算方法、装置、电子设备及存储介质 | |
CN116243984A (zh) | 数据处理装置、方法、电子设备和存储介质 | |
CN117971501B (zh) | 一种数据访问方法、设备、存储介质及程序产品 | |
CN115759260B (zh) | 深度学习模型的推理方法、装置、电子设备和存储介质 | |
CN109544653B (zh) | 一种基于教育操作系统的WebGL独立进程渲染方法及电子设备 | |
CN115118989B (zh) | 一种图像压缩方法及装置 | |
CN117992715A (zh) | 一种基于异构众核的对界融合批量浮点精度转换方法 | |
CN116974752A (zh) | 硬件资源的分配方法、设备及存储介质 | |
CN116954922A (zh) | 一种分布式存储方法、装置、设备和介质 | |
CN117635602A (zh) | 一种用于屏幕检测的图像分配方法、装置及设备 | |
CN117610623A (zh) | 一种数据处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |