CN114924866A - 数据处理方法和相关设备 - Google Patents

数据处理方法和相关设备 Download PDF

Info

Publication number
CN114924866A
CN114924866A CN202110484209.XA CN202110484209A CN114924866A CN 114924866 A CN114924866 A CN 114924866A CN 202110484209 A CN202110484209 A CN 202110484209A CN 114924866 A CN114924866 A CN 114924866A
Authority
CN
China
Prior art keywords
processing
processing element
service
request
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110484209.XA
Other languages
English (en)
Inventor
田行辉
黄全充
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110484209.XA priority Critical patent/CN114924866A/zh
Publication of CN114924866A publication Critical patent/CN114924866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种数据处理方法,包括:先获取业务处理请求,该业务处理请求为多媒体处理框架中任意一个处理元件待处理的请求;在处理元件集合中选择第一处理元件执行获取的业务处理请求,并利用该第一处理元件执行该业务处理请求。其中,处理元件集合包括多个用于执行相同类型的业务数据的处理元件,第一处理元件为多个处理元件中负载最低的处理元件。由于是从处理元件集合中选择负载最低的第一处理元件来执行业务处理请求,这样,处理元件集合中的多个处理元件的负载能够相对较为均衡,可以尽可能避免该处理元件集合中的部分处理元件因为负载较低而出现算力浪费,同时其它处理元件因为负载较高而出现处理效率低的问题。

Description

数据处理方法和相关设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置、计算设备和计算机可读存储介质。
背景技术
随着深度学习技术的兴起,人工智能技术(artificial intelligence,AI)已经渗透到各行各业的应用中,例如,多媒体处理。通常地,多媒体处理由多媒体处理框架完成,多媒体处理框架是一种利用软硬件资源对音视频等流媒体进行处理的软件框架,如Gstreamer流媒体处理框架、英伟达
Figure BDA0003049668320000011
的deepstream流媒体处理框架、英特尔的DLstreamer流媒体处理框架等,此类框架均可以对外提供模块化的元件或流媒体处理应用编程接口(application programming interface,API),并且,框架内的各功能模块通常被封装成元件(Element,即模块化封装的具备一定功能的处理单元),从而各元件可以按需串联成一个完整的管道(pipeline)。其中,每个元件可以具有作为输入/输出端口的衬垫(pad),用于不同元件之间的数据传递。通常情况下,多媒体处理框架中处理一个业务所包含的所有元件和/或API的集合可以称为业务流。
实际应用场景中,多媒体处理框架可以为用户当前正在执行的一个业务生成多个相同的业务流,以此及时实现该业务所产生的较大数据量的业务处理请求的处理过程,并且,多媒体处理框架通常会同时运行该多个相同的业务流,以保证处理业务处理请求的及时性以及可靠性。但是,在业务所产生的业务处理请求的数据量不断变化的情况下,多媒体处理框架中可能同时存在算力浪费以及业务处理请求处理效率低的问题。比如,部分业务流因为处理的业务处理请求的数据量较少而存在算力浪费,同时,另一部分业务流因为处理的业务处理请求的数据量较多而出现业务处理请求的处理时延增加、处理效率较低的问题。因此,如何缓解多媒体处理框架中存在的算力浪费以及业务处理请求处理效率低,成为亟待解决的技术问题。
发明内容
本申请提供了一种数据处理方法、装置、计算设备、计算机可读存储介质及计算机程序产品,用以在多媒体处理框架中实现负载均衡,从而缓解多媒体处理框架中存在的算力浪费以及业务处理请求处理效率低等问题。
第一方面,本申请提供一种数据处理方法。具体的,先获取业务处理请求,该业务处理请求为多媒体处理框架中任意一个处理元件待处理的请求,然后,在处理元件集合中选择第一处理元件执行获取的业务处理请求,从而利用该第一处理元件执行该业务处理请求。其中,该处理元件集合包括多个用于处理相同类型的业务数据的处理元件,而所选择的第一处理元件为多个处理元件中负载最低的处理元件。
由于在执行业务处理请求时,是从处理元件集合中选择负载最低的第一处理元件来执行该业务处理请求,这样,处理元件集合中的多个处理元件的负载能够相对较为均衡,可以尽可能避免该处理元件集合中的部分处理元件因为处理的业务处理请求的数量较少而出现算力浪费,同时该处理元件集合中的其它处理元件因为处理的业务处理请求的数量较多而出现处理效率低的问题。如此,可以在多媒体处理框架内实现处理元件的负载均衡,从而有效缓解多媒体处理框架中存在的算力浪费以及业务处理请求处理效率低等问题。
在一种可能的实施方式中,在确定执行业务处理请求的第一处理元件时,可以根据第一规则计算处理元件集合中各个处理元件的负载,从而可以对各个处理元件的负载进行排序,并选择负载最低的处理元件作为执行业务处理请求的第一处理元件。
在另一种可能的实施方式中,该第一规则可以包括第一处理元件的队列长度、处理待处理的业务数据的时延以及平均利用率中的至少一种。其中,该第一处理元件的队列长度用于指示当前时刻第一处理元件待处理的业务处理请求的数量,该平均利用率为第一处理元件的资源利用率在预设时长内的平均值。如此,可以根据第一处理元件的队列队列、处理时延以及平均利用率等信息确定第一处理元件的负载高低。
在另一种可能的实施方式中,所述第一处理元件的负载根据所述第一处理元件的队列长度进行确定,则在选择执行业务处理请求的第一处理元件时,具体可以是当该第一处理元件的队列长度在处理元件集合包括的多个处理元件中队列长度中最小,且第一处理元件的队列长度与原始队列长度之间的差值大于长度阈值时,确定利用该第一处理元件对获取的业务处理请求进行处理,其中,该原始队列长度为第一处理元件在接收业务处理请求之前的队列长度。
在另一种可能的实施方式中,第一处理元件的负载根据第一处理元件处理待处理的业务数据的时延以及平均利用率进行确定,则在选择执行业务处理请求的第一处理元件时,具体可以是根据第一处理元件处理待处理的业务数据的时延以及第一处理元件的平均利用率,计算出第一处理元件的当前利用率;并且,当第一处理元件的当前利用率在处理元件集合包括的多个处理元件的当前利用率中最小,且第一处理元件的当前利用率与原始利用率之间的差值大于利用率阈值时,确定利用该第一处理元件对获取的业务处理请求进行处理,其中,该原始利用率为第一处理元件在上一次处理业务处理请求之前所计算出的利用率。
在另一种可能的实施方式中,在计算第一处理元件的当前利用率时,具体可以是根据所第一处理元件执行业务处理请求的最大时延以及最小时延,对第一处理元件处理业务数据的时延进行归一化处理,得到归一化取值;然后,计算出该归一化取值与预设权重值的乘积,得到补偿值,从而可以将补偿值与第一处理元件的平均利用率的和值,作为第一处理元件的当前利用率。
在另一种可能的实施方式中,第一处理元件还用于处理其它业务对应的业务处理请求,即第一处理元件可以同时或者分时段的处理不同业务对应的不同的业务处理请求。
在另一种可能的实施方式中,第一处理元件包括加速处理器APU、深度学习处理器DPU、浮点计算单元FPU、图形处理器GPU、全息图像处理器HPU、神经网络处理器NPU、张量处理器TPU、矢量处理器VPU中的任意一种或多种。
第二方面,本申请还提供了一种数据处理装置,所述数据处理调整装置包括用于执行第一方面或第一方面任一种可能实现方式中的数据处理方法的各个模块。
第三方面,本申请还提供了一种计算设备,包括:处理器和存储器;该存储器用于存储指令,当该数据处理系统运行时,该处理器执行该存储器存储的该指令,以使该数据处理系统执行上述第一方面或第一方面的任一实现方法中数据处理方法。需要说明的是,该存储器可以集成于处理器中,也可以是独立于处理器之外。数据处理系统还可以包括总线。其中,处理器通过总线连接存储器。其中,存储器可以包括可读存储器以及随机存取存储器。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面以及第一方面中任意一种实施方式所述方法的操作步骤。
第五方面,本申请提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面以及第一方面中任意一种实施方式所述方法的操作步骤。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
图1为本申请实施例提供的一种业务流示意图;
图2为本申请实施例提供的一种基于Gstreamer开发的系统架构示意图;
图3为本申请实施例提供的一种应用场景示意图;
图4为本申请实施例提供的一种业务处理请求处理方法的流程示意图;
图5为用于识别视频中车辆的业务流的示意图;
图6为用于识别视频中车辆并且新增负载均衡元件的业务流的示意图;
图7为本申请提供的一种业务需求调整装置的结构示意图;
图8为本申请提供的一种计算设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请中的技术方案进行描述。
在安防、制造、医疗等应用场景中,用户所执行业务可能会产生较大数据量的业务处理请求,为此,多媒体处理框架通常会采用多个相同的业务流并行处理业务处理请求,其中,业务流是指媒体处理框架中处理一个业务所包含的所有元件和/或API的集合。多个相同的业务流则是指处理业务处理请求的处理逻辑以及所采用的元件/API相同的业务流。业务处理请求,也可以是称为媒体数据流,是指包括被多媒体处理框架处理的图像、音视频等形式的媒体数据的集合,该媒体数据流可以由多媒体应用/人工智能(artificialintelligence,AI)应用等按需生成。但是,在业务所产生的业务处理请求的数据量不断变化的情况下,多媒体处理框架中可能同时存在算力浪费以及业务处理请求处理效率低的问题。
基于此,本申请提供了一种数据处理方法,以实现在多媒体处理框架中实现负载均衡。具体实现时,可以获取多媒体处理框架中任意一个处理元件待处理的业务处理请求,并在处理元件集合中选择负载最低的第一处理元件执行该业务处理请求,并进一步利用所选择的第一处理元件执行该业务处理请求。其中,处理元件集合中包括多个处理元件,并且处理元件集合中的多个处理元件用于执行相同类型的业务数据,也即该处理元件集合中的不同处理元件在业务流中处理业务的时序相同。由于在执行获取的业务处理请求时,是从处理元件集合中选择负载最低的第一处理元件来执行该业务处理请求,这样,处理元件集合中的多个处理元件的负载能够相对较为均衡,从而可以尽可能避免该处理元件集合中的部分处理元件因为处理的业务处理请求的数量较少而出现算力浪费,同时该处理元件集合中的其它处理元件因为处理的业务处理请求的数量较多而出现处理效率低的问题。如此,可以在多媒体处理框架内实现处理元件的负载均衡,从而有效缓解多媒体处理框架中存在的算力浪费以及业务处理请求处理效率低等问题。
作为一些示例,第一处理元件(以及元件处理集合中的其它处理元件),具体可以是用于处理业务处理请求的处理器,例如可以是加速处理器(accelerated processingunit,APU)、深度学习处理器(deep learning processing unit,DPU)、浮点计算单元(floating processing unit,FPU)、图形处理器(graphics processing unit,GPU)、全息图像处理器(holographics processing unit,HPU)、神经网络处理器(neural-networkprocessing unit,NPU)、张量处理器(tensor processing unit,TPU)、矢量处理器(vectorprocessing unit,VPU)中的任意一种或多种。当然,第一处理元件(以及元件处理集合中的其它处理元件)也可以是其它可适用的处理器,或者可以是其它可能的处理插件等,本实施例对此并不进行限定。
其中,上述数据处理方法可以由数据处理系统实现。示例性的,该数据处理系统可以是云平台所提供的云服务,或者,作为功能模块应用于应用平台(如多媒体应用平台、AI应用平台等)、某个应用(application,app)中,或者也可以是应用于终端、本地服务器等设备。
示例地,数据处理系统可以应用于Gstreamer系统架构,参见图2所示Gstreamer系统架构,该Gstreamer系统架构包括应用层100、Gstreamer层200、硬件层300。进一步的,应用平台还可以包括扩展层400。
其中,应用层100可以提供应用平台110,或者,应用层100可以包括多媒体应用120以及AI应用130等。则数据处理系统可以应用于应用平台110、多媒体应用120以及AI应用130中,并对该应用平台或者应用中的业务流进行负载均衡。
Gstreamer层200可以包括Gstreamer处理框架210以及一些适用于Gstreamer处理框架的插件(即图2所示的Gstreamer插件220,可以用于实现相应的功能,比如数据编码、解码、目标检测、对象识别、格式转换等功能)。其中,Gstreamer层210可以用于支持应用层100的应用/应用平台实现、对应用平台或者应用中的业务流的处理。
硬件层300,是指运行多媒体框架的硬件平台,为一种底层硬件实现方式,具体可以通过包括处理器的硬件架构进行构建。其中,该处理器例如可以是支持X86或者ARM等指令集的处理器;或者,该处理器可以是基于现场可编程门阵列(field-programmable gatearray,FPGA)、Ascend芯片实现的处理器等,本实施例对此并不进行限定。实际应用中,该硬件层300还包括其它硬件设备或者器件,如存储器、网卡等。
可选地,在图2所示的Gstreamer系统架构的基础上,还可以包括扩展层(图2中未示出)。其中,扩展层可以包括摄像头、硬盘、传感器以及显示器等设备中的一种或多种,当然也可以是包括其它设备,本实施例对此并不进行限定。示例性的,扩展层,可以为应用层100提供相应的输入或存储能力等。举例来说,当扩展层包括摄像头时,该摄像头可以为应用层100中的应用平台或者应用提供视频流,并由应用平台或者应用中的业务流对该视频流进行相应的处理。
应当理解,上述各系统架构仅作为一种示例性说明,并不用于对本实施例所适用的系统架构进行限定。实际应用中,可以对该系统架构中的部分设备或者功能模块、单元进行适应性增加、删减及替换等,本实施例对此并不进行限定。
作为一种可能的实施例,数据处理系统可以通过软件实现。例如,数据处理系统可以是嵌入在应用平台110、多媒体应用120或AI应用130中的应用程序,如软件开发工具包(software development kit,SDK)等,用于实现上述业务处理请求的处理,其对于业务处理请求的具体处理过程,可以由Gstreamer层200中的Gstreamer处理框架210以及Gstreamer插件220实现,其处理的数据流可以由扩展层400中的设备提供。可选地,为了提升数据处理系统的运算能力,也可以利用单独的硬件实现上述数据处理系统的功能,例如,利用专用集成电路(application-specific integrated circuit,ASIC)实现,或可编程逻辑器件(programmable logic device,PLD)实现,上述PLD可以是复杂程序逻辑器件(complex programmable logical device,CPLD)、FPGA、通用阵列逻辑(generic arraylogic,GAL)或其任意组合实现上述数据处理系统的功能。
此外,无论数据处理系统以软件还是硬件形式实现,具体实施过程中,数据处理系统还可以向用户或开发者提供可视化操作界面,以便于用户或开发者更好的使用该平台。如图3所示,数据处理系统可以对外向用户500提供输入端510以及服务端520。其中,输入端510例如可以是提供给用户500的客户端(client)、Web页面或者命令行(command)输入界面等,而用户500可以通过输入端510对处理业务处理请求的业务流进行编排等,或者通过输入端510。服务端520,例如可以是上述应用平台或者应用等,用于根据用户编排或者选择的业务流对业务处理请求进行处理。
下面,结合图4进一步介绍本申请提供的数据处理方法,图4为本申请实施例提供的一种数据处理方法的流程示意图,该方法可以应用于上述由软件或者硬件实现的数据处理系统中。该方法具体可以包括:
S401:数据处理系统获取业务处理请求,该业务处理请求为多媒体处理框架中任意一个处理元件待处理的请求。
数据处理系统在执行业务时,可以通过多媒体处理框架为该任务创建相应的业务流,该任务可以是图2中应用平台或者应用所运行的业务,如车辆识别任务、AI计算任务等。通常情况下,在多媒体处理框架中创建的业务流中包括多个处理元件,并且,业务流中各个处理元件可以按照预先设定的时序关系依次对该任务的业务数据进行处理,每个元件用于对业务数据执行相应的处理功能,而多个处理元件对业务数据的依次处理构成了该业务流的处理逻辑。其中,数据处理系统可以通过扩展中的设备获取业务数据,或者也可以从应用层100获取业务数据,或者该业务数据也可以是由用户提供等,本实施例中对于数据处理系统获取业务数据的具体实现方式并不进行限定。
举例来说,当数据处理系统所执行的业务为车辆识别任务时,数据处理系统可以通过扩展层中的摄像头获取针对车辆的拍摄视频,从而数据处理系统可以通过多媒体处理框架为该车辆识别任务创建如图5所示的用于识别视频中车辆的业务流,其是由数据源提供元件、解码元件、目标检测元件、车辆识别元件以及显示元件进行串联而成。其中,数据源提供元件可以是基于实时流传输协议(Real Time Streaming Protocol,RTSP)提供在业务流中传输的视频流(即业务处理请求)。解码元件用于对接收到的视频流进行解码。目标检测元件用于根据解码得到的视频流对视频中包含的对象进行检测,并且,可以利用目标检测元件1根据经过解码处理的视频流进行对象检测,或者可以利用目标检测元件2根据经过解码处理的视频流进行对象检测。车辆识别元件用于对检测到的对象中的车辆进行识别。显示元件用于显示视频流对应的视频内容以及车辆识别结果。其中每个元件可以通过源衬垫(src pad)向下一元件传输数据流(也即业务数据),并通过接收衬垫(sink pad)接收前一个元件传输的数据流。
在业务流中的多个处理元件按照时序关系依次处理业务数据的过程中,当上一个处理元件完成对业务数据的处理后,可以生成包括处理后的业务数据的业务处理请求,然后将该业务处理请求发送给下一个处理元件,以便下一个处理元件对该业务处理请求中的业务数据继续进行处理。而业务流中第一个处理元件所处理的业务处理请求,可以来源于运行业务的应用平台或者应用,或者来源于提供业务数据的扩展层中的设备等。
实际应用时,存在部分多媒体处理框架创建的业务流,如图5所示的用于识别图像中车辆的业务流,在该业务流中,对于业务流接收到的业务处理请求或者上一个处理元件所生成的业务处理请求,可以由用于处理相同类型的业务数据的多个处理元件中的任意一个处理元件处理该业务处理请求,并且该业务处理请求通常仅由该多个处理元件中的一个处理元件进行处理。其中,具有相同类型的业务处理能力,是指该多个处理元件在处理上一个处理元件提供的业务数据后能够可以得到相同类型的处理结果,如图5所示的针对车辆识别任务的业务流中,目标检测元件1以及目标检测元件2中的任意处理元件均可以根据解码元件提供的图像解码数据(即前述上一个处理元件提供的业务数据)检测出拍摄图像中的各个目标(包括车辆),得到相同或者相似的目标检测结果。通常情况下,用于处理相同类型的业务数据的多个处理元件在业务流中处理业务的时序也相同。
本实施例中,用于处理相同类型的业务数据的多个处理元件可以构成处理元件集合。
S402:数据处理系统在处理元件集合中选择第一处理元件执行获取的业务处理请求,其中,该处理元件集合包括多个用于处理相同类型的业务数据的处理元件,而所选择的第一处理元件为多个处理元件中负载最低的处理元件。
S403:数据处理系统利用第一处理元件执行该业务处理请求。
对于获取的业务处理请求,可以交由处理元件集合中的任意一个处理元件进行处理。此时,若从处理元件集合中随机选择一个处理元件来执行该业务处理请求,可能会导致该处理元件集合中的部分处理元件的因为待处理的业务处理请求的数量较少而出现算力浪费,同时该处理元件集合中的其它处理元件因为待处理的业务处理请求的数量较多而出现处理效率低的问题。
为此,本实施例中,数据处理系统根据处理元件集合中各个处理元件的负载,选择负载最低的处理元件(以下称之为第一处理元件)执行该业务处理请求。
具体实现时,多媒体处理框架为业务创建的业务流中可以包括负载均衡(loadbalance)元件,用于在多媒体处理框架中为该业务流实现处理元件的负载均衡。在该业务流中,负载均衡元件的时序位于处理元件集合之前。实际应用时,若获取的业务处理请求为上一个处理元件在处理完业务数据后根据处理得到的业务数据而生成的请求,则该负载均衡元件的时序还位于上一个处理元件的时序之后。
为便于理解,以下以获取的业务处理请求为上一个处理元件生成的请求为例进行说明。负载均衡元件在通过接收衬垫接收到上一个处理元件发送的业务处理请求后,可以根据第一规则计算处理元件集合中多个处理元件的负载,并通过比较各个处理元件的负载,从该多个处理元件中确定出负载最低的第一处理元件,然后,负载均衡元件可以对各个处理元件的负载进行排序,选择负载最低的处理元件作为第一处理元件,并通过源衬垫将业务处理请求发送给该第一处理元件。例如,仍以车辆识别场景为例,在图5所示的业务流中可以新增负载均衡元件,得到如图6所示的业务流,并且,在图6所示的业务流中,当目标检测元件1的负载低于目标检测元件2的负载时,负载均衡元件可以将解码元件输出的业务处理请求转发至负载更小的目标检测元件1。如此,可以避免处理元件集合中其它处理元件的负载继续增加而导致该处理元件的负载过大,从而可以均衡处理元件集合中多个处理元件的负载。
在一种可能的实施方式中,第一处理元件的负载,具体可以采用以下方式中至少一种进行计算:
方式1,第一规则可以是第一处理元件的队列长度,即负载均衡元件具体可以根据第一处理元件的队列长度计算第一处理元件的负载。
其中,第一处理元件的队列长度,可以用于指示当前时刻等待被第一处理元件处理的业务处理请求的数量。具体实现时,第一处理元件可以配置有缓存队列,并且,若第一处理元件当前正在处理其它业务处理请求无法处理新的业务处理请求,则负载均衡元件可以将业务处理请求存储至该缓存队列。相应的,第一处理元件在完成对当前业务处理请求的处理后,可以从缓存队列中读取新的业务处理请求并对该新的业务处理请求进行处理。
可以理解,当第一处理元件的负载小于第一阈值(如第一处理元件的负载小于最大负载的30%)时,新的业务处理请求可以直接被送入第一处理元件中并被第一处理元件进行处理;而当第一处理元件的负载大于该第一阈值时,由于第一处理元件的数据处理能力有限,其处理业务处理请求的速率可能小于负载均衡元件发送业务处理请求的速率,从而负载均衡元件所发送的业务处理请求可以在缓存队列中进行缓存。因此,缓存队列的长度越长,表征等待被第一处理元件处理的业务处理请求的数据量越大,也即第一处理元件的负载越大;反之,缓存队列的长度越短,表征等待被第一处理元件处理的业务处理请求的数据量越小,也即第一处理元件的负载越小。因此,负载均衡元件可以通过采集第一处理元件的缓存队列当前的队列长度,确定第一处理元件的负载大小。实际应用时,第一处理元件的缓存队列可以通过硬件或者软件实现,本实施例对此并不进行限定。
方式2,第一规则包括第一处理元件处理待处理的业务数据的时延,即负载均衡元件具体可以根据第一处理元件处理待处理的业务数据的时延计算第一处理元件的负载。
其中,第一处理元件处理待处理的业务数据的时延,例如可以是业务数据从被发送给第一处理元件的时刻至该第一处理元件处理完该业务数据的时刻之间的时长。通常情况下,当第一处理元件的负载较小时,业务处理请求(包括待处理的业务数据)被发送给第一处理元件后,可以直接被第一处理元件进行处理,从而第一处理元件处理该业务处理请求的时延较小;而当第一处理元件的负载较大时,业务处理请求被发送给第一处理元件后,该业务处理请求需要等待第一处理元件优先处理完其它业务处理请求后才能开始被第一处理元件进行处理,这使得第一处理元件处理该业务处理请求的时长较长,时延较大。因此,负载均衡元件可以通过采集第一处理元件处理业务处理请求的时延确定第一处理元件的负载大小,并且,时延越大,表征第一处理元件的负载越大;反之,时延越小,表征第一处理元件的负载越小。
方式3,第一规则包括第一处理元件的平均利用率,即负载均衡元件具体可以根据第一处理元件的平均利用率计算第一元件的负载。
其中,第一处理元件的平均利用率,是指第一处理元件的资源利用率在预设时长内的平均值。示例性地,该预设时长例如可以是30秒、1分钟等。通常情况下,第一处理元件的平均利用率可以与第一处理元件的负载呈正相关,即第一处理元件的平均利用率越大,可以表征第一处理元件的负载越大,而第一处理元件的平均利用率越小,可以表征第一处理元件的负载越小。因此,负载均衡元件可以通过采集第一处理元件的平均利用率确定第一处理元件的负载大小。并且,第一处理元件的资源利用率在不同时刻的波动可能较大,因此,根据第一处理元件在一段时间段内的资源利用率的平均值确定出的第一处理元件的负载,比根据第一处理元件在某个时刻的资源利用率所确定的第一处理元件的负载更加贴合第一处理元件的实际负载。
实际应用时,第一规则可以包括第一处理元件的队列长度、时延、平均利用率中的至少一种,从而负载均衡元件可以根据第一处理元件的队列长度、时延、平均利用率中的任意一种信息确定第一处理元件的负载,也可以是根据其任意组合确定第一处理元件的负载,如可以将队列长度、时延以及平均利用率与各自对应的权重值的乘积进行求和运算,从而可以利用计算出的和值评估第一处理处理元件的负载等。或者,负载均衡元件也可以是通过第二规则确定第一处理元件的负载,该第二规则例如可以是第一处理元件的剩余内存等,本实施例中对于如何确定第一处理元件的负载的具体实现并不进行限定。
另外,处理元件集合中其它处理元件的负载的实施方式,与第一处理元件的负载的实施方式类似,具体可参见上述关于第一处理元件的负载的实施方式的相关之处描述,在此不做赘述。
为便于理解,本实施例中提供了以下几种关于负载均衡元件确定执行业务处理请求的第一处理元件的具体实现示例:
示例一,第一处理元件的负载具体根据第一处理元件的队列长度进行确定,则负载均衡元件在确定将第一待处理业务的业务处理请求发送至哪个处理元件时,可以获取处理元件集合中各个处理元件的缓存队列的长度,并且,当确定第一处理元件的队列长度最小时,负载均衡元件进一步获取上一次发送业务处理请求时第一处理元件的缓存队列的长度(为便于区分,以下称之为原始队列长度)。当第一处理元件的队列长度与原始队列长度之间的差值大于长度阈值时,则负载均衡元件将业务处理请求发送给第一处理元件;而当第一处理元件的队列长度与原始队列长度之间的差值小于长度阈值时,负载均衡元件可以确定上一次接收业务处理请求的第二处理元件,并将业务处理请求发送给该第二处理元件。其中,负载均衡元件每次在发送业务处理请求后,可以记录接收该业务处理请求的处理元件,以便可以在第一处理元件的队列长度与原始队列长度之间的差值小于长度阈值时根据该记录确定下一次接收业务处理请求的处理元件。
示例二,第一处理元件的负载根据第一处理元件的平均利用率以及处理待处理的业务数据的时延进行确定,则负载均衡元件在接收到业务处理请求后,可以通过访问处理元件集合中各个处理元件对外提供的调用接口,获取各个处理元件的平均利用率以及该处理处理待处理的业务数据的时延。然后,负载均衡元件可以根据各个处理元件对应的平均利用率以及时延,分别计算出各个处理元件的当前利用率,可以将当前利用率最小的处理元件确定为第一处理元件。然后,负载均衡元件可以进一步获取第一处理元件上一次接收其它业务处理请求时所计算出的利用率(为便于区分,以下称之为原始利用率)。这样,当确定第一处理元件的当前利用率与原始利用率之间的差值大于利用率阈值时,负载均衡元件将业务处理请求发送给该第一处理元件,以便利用第一处理元件对该业务处理请求进行处理;而当第一处理元件的当前利用率与原始利用率之间的差值小于利用率阈值时,负载均衡元件可以确定上一次接收业务处理请求的第二处理元件,并将第一待处理业务的业务处理请求发送给该第二处理元件。其中,负载均衡元件每次在发送业务处理请求后,可以记录接收该业务处理请求的处理元件。
作为一种示例,负载均衡元件在计算第一处理元件的当前利用率时,可以获取第一处理元件处理业务处理请求的最大时延Tmax以及最小时延Tmin。例如,第一处理元件可以统计在距离当前时刻的预设时间段内处理每个业务处理请求的最大时延Tmax以及最小时延Tmin,并将其提供给负载均衡元件。然后,负载均衡元件可以根据该最大时延以及最小时延,按照下述公式(1)对第一处理元件处理业务处理请求的时延T进行归一化处理,得到归一化取值W0
Figure BDA0003049668320000091
然后,负载均衡元件可以计算出该归一化取值与预设权重值的乘积,得到补偿值,并将该补偿值与第一处理元件的平均利用率W1的和值,作为该第一处理元件的当前利用率W。其具体计算公式如下述公式(2)所示:
W=W0*α+W1 (2)
当然,在其它可能的实施方式中,负载均衡元件也可以是采用其它方式计算出第一处理元件的当前利用率,本实施例对此并不进行限定。
需要说明的是,上述关于负载均衡元件确定接收业务处理请求的第一处理元件的具体实现仅作为一种示例,在其它可能的实施方式中,也可以是结合上述实施方式确定第一处理元件。实际应用中,处理元件集合包括多个与第一处理元件具有相同处理时序的处理元件,则负载均衡元件可以采用遍历的方式确定第一处理元件。
具体的,对于负载均衡元件接收到的第一个业务处理请求,由于位于负载均衡元件时序之后的处理元件集合中多个处理元件通常处于低负载(或者无负载)的状态,因此,负载均衡元件可以将该第一个业务处理请求发送给任意一个处理元件,并对接收该第一个业务处理请求的处理元件进行记录。而对于负载均衡元件后续接收到的第二个业务处理请求,负载均衡元件可以先获取各个处理元件分别对应的队列长度,并对各个处理元件的队列长度按照从小到大的顺序进行排序。其中,当存在至少两个处理元件在当前时刻的队列长度相同时,负载均衡元件可以进一步获取该至少两个处理元件的平均利用率,并根据平均利用率对该至少两个处理元件按照从小到大的顺序进行排序。如此,可以通过处理元件的队列长度以及平均利用率实现对处理元件集合中的多个处理元件进行排序。
然后,负载均衡元件优先遍历处理元件集合中队列长度最小的处理元件,并进一步确定该处理元件的队列长度与原始队列长度的差值是否大于长度阈值,或者确定该处理元件的当前利用率与原始利用率的差值是否大于长度阈值(以下简称是否满足条件)。若大于,则将第二个业务处理请求发送给该处理元件并记录;而若小于,则根据排序遍历第二个处理元件,并判断该第二个处理元件的队列长度或当前利用率是否满足条件。若满足,则负载均衡元件将第二个业务处理请求发送给该处理元件并记录,而若不满足,则负载均衡元件继续遍历剩余的处理元件。当遍历至最后一个处理元件并且确认该处理元件仍然不满足条件时,则负载均衡元件可以将第二个业务处理请求发送给接收上一个业务处理请求的处理元件。
需要说明的是,本实施例中是以负载均衡元件将业务处理请求发送给负载较小的处理元件为例进行示例性说明。实际应用时,针对每个业务处理请求,负载均衡元件均可以采用上述过程发送至相应的处理元件中进行处理,以实现该负载均衡元件后端的多个处理元件的负载均衡。并且,第一处理元件(以及处理元件集合中的其它处理元件)可以用于处理多个不同业务的业务处理请求,即第一处理元件(以及处理元件集合中的其它处理元件)可以同时或者分时段处理多个不同业务的业务数据等。
本实施例中,由于负载均衡元件利用处理元件集合的多个处理元件中负载较小的第一处理元件处理业务处理请求,这样,处理元件集合中的多个处理元件的负载能够相对较为均衡,从而可以尽可能避免处理元件集合中部分处理元件因为处理的业务处理请求的数量较少而出现算力浪费,同时处理元件集合中其它处理元件因为处理的业务处理请求的数量较多而出现处理效率低的问题。如此,可以有效缓解多媒体处理框架中存在的算力浪费以及业务处理请求处理效率低等问题。
值得注意的是,本领域的技术人员根据以上描述的内容,能够想到的其他合理的步骤组合,也属于本申请的保护范围内。其次,本领域技术人员也应该熟悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请所必须的。
上文中结合图1至图6,详细描述了本申请所提供的数据处理方法,下面将结合图7至图8,描述根据本申请所提供的数据处理装置和计算设备。
图7为本申请提供的一种数据处理装置的结构示意图。如图7所示,数据处理装置700可以包括:
获取模块701,用于获取业务处理请求,所述业务处理请求为多媒体处理框架中任意一个处理元件待处理的请求;
选择模块702,用于在处理元件集合中选择第一处理元件执行所述业务处理请求,所述处理元件集合包括多个处理元件,所述第一处理元件为所述多个处理元件中负载最低的处理元件,所述多个处理元件用于处理相同类型的业务数据;
执行模块703,用于利用所述第一处理元件执行所述业务处理请求。
在一种可能的实施方式中,所述选择模块702,具体用于:
根据第一规则计算所述处理元件集合中各个处理元件的负载;
对所述各个处理元件的负载进行排序,选择负载最低的处理元件为所述第一处理元件。
在一种可能的实施方式中,所述第一规则包括所述第一处理元件的队列长度、处理待处理的业务数据的时延以及平均利用率中的至少一种,其中,所述第一处理元件的队列长度用于指示当前时刻所述第一处理元件待处理的业务处理请求的数量,所述平均利用率为所述第一处理元件的资源利用率在预设时长内的平均值。
在一种可能的实施方式中,所述第一处理元件还用于处理其它业务对应的业务处理请求。
在一种可能的实施方式中,所述第一处理元件包括加速处理器APU、深度学习处理器DPU、浮点计算单元FPU、图形处理器GPU、全息图像处理器HPU、神经网络处理器NPU、张量处理器TPU、矢量处理器VPU中的任意一种或多种。
在一种可能的实施方式中,第一处理元件的负载根据第一处理元件的队列长度进行确定,则所述执行模块703,具体用于:
当所述多个处理元件中所述第一处理元件的队列长度最小,且所述第一处理元件的队列长度与原始队列长度之间的差值大于长度阈值时,利用所述第一处理元件对所述业务处理请求进行处理,所述原始队列长度为所述第一处理元件在接收所述业务处理请求之前的队列长度。
在一种可能的实施方式中,所述第一处理元件的负载根据所述第一处理元件处理待处理的业务数据的时延以及平均利用率进行确定,所述执行模块703,具体用于:
根据所述第一处理元件处理待处理的业务数据的时延以及所述第一处理元件的平均利用率,计算出所述第一处理元件的当前利用率;
当所述多个处理元件中所述第一处理元件的当前利用率最小,且所述第一处理元件的当前利用率与原始利用率之间的差值大于利用率阈值时,利用所述第一处理元件对所述业务处理请求进行处理,所述原始利用率为所述第一处理元件在上一次处理业务处理请求之前所计算出的利用率。
在一种可能的实施方式中,所述执行模块703,具体用于:
根据所述第一处理元件处理业务处理请求的最大时延以及最小时延,对所述第一处理元件处理业务处理请求的时延进行归一化处理,得到归一化取值;
计算出所述归一化取值与预设权重值的乘积,得到补偿值;
将所述补偿值与所述第一处理元件的平均利用率的和值,作为所述第一处理元件的当前利用率。
本实施例中,数据处理装置利用处理元件集合的多个处理元件中负载较小的第一处理元件处理业务处理请求,这样,处理元件集合中的多个处理元件的负载能够相对较为均衡,从而可以尽可能避免处理元件集合中部分处理元件因为处理的业务处理请求的数量较少而出现算力浪费,同时处理元件集合中其它处理元件因为处理的业务处理请求的数量较多而出现处理效率低的问题。如此,可以有效缓解多媒体处理框架中存在的算力浪费以及业务处理请求处理效率低等问题。
根据本申请实施例的数据处理装置700可对应于执行本申请实施例中描述的方法,并且数据处理装置700的各个模块的上述和其它操作和/或功能分别为了实现图4中的各个方法的相应流程,为了简洁,在此不再赘述。
图8为本申请提供的一种计算设备800的示意图,如图所示,所述计算设备800包括处理器801、存储器802、通信接口803。其中,处理器801、存储器802、通信接口803通过总线804进行通信,也可以通过无线传输等其他手段实现通信。该存储器802用于存储指令,该处理器801用于执行该存储器802存储的指令。进一步的,数据处理系统800还可以包括内存单元805,还内存单元805可以通过总线804与处理器801、存储介质802以及通信接口803连接。其中,该存储器802存储程序代码,且处理器801可以调用存储器802中存储的程序代码执行以下操作:
获取业务处理请求,所述业务处理请求为多媒体处理框架中任意一个处理元件待处理的请求;
在处理元件集合中选择第一处理元件执行所述业务处理请求,所述处理元件集合包括多个处理元件,所述第一处理元件为所述多个处理元件中负载最低的处理元件,所述多个处理元件用于执行相同类型的业务数据;
利用所述第一处理元件执行所述业务处理请求。
应理解,在本申请实施例中,该处理器801可以是CPU,该处理器801还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立器件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
该存储器802可以包括只读存储器和随机存取存储器,并向处理器801提供指令和数据。存储器802还可以包括非易失性随机存取存储器。例如,存储器802还可以存储设备类型的信息。
该存储器802可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
该通信接口803用于与计算设备800连接的其它设备进行通信。该总线804除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线804。
应理解,根据本申请实施例的计算设备800可对应于本申请实施例中的数据处理装置700,并可以对应于执行根据本申请实施例中图4所示方法中的相应主体,并且计算设备800所实现的上述和其它操作和/或功能分别为了实现图4中的各个方法的相应流程,为了简洁,在此不再赘述。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive,SSD)
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种数据处理方法,其特征在于,所示方法包括:
获取业务处理请求,所述业务处理请求为多媒体处理框架中任意一个处理元件待处理的请求;
在处理元件集合中选择第一处理元件执行所述业务处理请求,所述处理元件集合包括多个处理元件,所述第一处理元件为所述多个处理元件中负载最低的处理元件,所述多个处理元件用于处理相同类型的业务数据;
利用所述第一处理元件执行所述业务处理请求。
2.根据权利要求1所述的方法,其特征在于,所述在处理元件集合中选择第一处理元件执行所述业务处理请求,包括:
根据第一规则计算所述处理元件集合中各个处理元件的负载;
对所述各个处理元件的负载进行排序,选择负载最低的处理元件为所述第一处理元件。
3.根据权利要求2所述的方法,其特征在于,所述第一规则包括所述第一处理元件的队列长度、处理待处理的业务数据的时延以及平均利用率中的至少一种,其中,所述第一处理元件的队列长度用于指示当前时刻所述第一处理元件待处理的业务处理请求的数量,所述平均利用率为所述第一处理元件的资源利用率在预设时长内的平均值。
4.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一处理元件还用于处理其它业务对应的业务处理请求。
5.根据权利要求1至5中任一项所述的方法,其特征在于,所述第一处理元件包括加速处理器APU、深度学习处理器DPU、浮点计算单元FPU、图形处理器GPU、全息图像处理器HPU、神经网络处理器NPU、张量处理器TPU、矢量处理器VPU中的任意一种或多种。
6.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取业务处理请求,所述业务处理请求为多媒体处理框架中任意一个处理元件待处理的请求;
选择模块,用于在处理元件集合中选择第一处理元件执行所述业务处理请求,所述处理元件集合包括多个处理元件,所述第一处理元件为所述多个处理元件中负载最低的处理元件,所述多个处理元件用于处理相同类型的业务数据;
执行模块,用于利用所述第一处理元件执行所述业务处理请求。
7.根据权利要求6所述的装置,其特征在于,所述选择模块,具体用于:
根据第一规则计算所述处理元件集合中各个处理元件的负载;
对所述各个处理元件的负载进行排序,选择负载最低的处理元件为所述第一处理元件。
8.根据权利要求7所述的装置,其特征在于,所述第一规则包括所述第一处理元件的队列长度、处理待处理的业务数据的时延以及平均利用率中的至少一种,其中,所述第一处理元件的队列长度用于指示当前时刻所述第一处理元件待处理的业务处理请求的数量,所述平均利用率为所述第一处理元件的资源利用率在预设时长内的平均值。
9.根据权利要求6至8中任一项所述的装置,其特征在于,所述第一处理元件还用于处理其它业务对应的业务处理请求。
10.根据权利要求6至9中任一项所述的装置,其特征在于,所述第一处理元件包括加速处理器APU、深度学习处理器DPU、浮点计算单元FPU、图形处理器GPU、全息图像处理器HPU、神经网络处理器NPU、张量处理器TPU、矢量处理器VPU中的任意一种或多种。
11.一种计算设备,其特征在于,包括处理器和存储器;所述存储器,用于存储计算机指令;所述处理器,用于根据所述计算机指令执行如权利要求1至5任一项所述方法的操作步骤。
12.一种计算机可读存储介质,其特征在于,包括指令,所述指令用于实现如权利要求1至5中任一项所述方法的操作步骤。
CN202110484209.XA 2021-04-30 2021-04-30 数据处理方法和相关设备 Pending CN114924866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110484209.XA CN114924866A (zh) 2021-04-30 2021-04-30 数据处理方法和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110484209.XA CN114924866A (zh) 2021-04-30 2021-04-30 数据处理方法和相关设备

Publications (1)

Publication Number Publication Date
CN114924866A true CN114924866A (zh) 2022-08-19

Family

ID=82804088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110484209.XA Pending CN114924866A (zh) 2021-04-30 2021-04-30 数据处理方法和相关设备

Country Status (1)

Country Link
CN (1) CN114924866A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551489A (zh) * 2018-05-07 2018-09-18 广东电网有限责任公司 一种应用服务器负载均衡方法、系统、装置及存储介质
CN110178119A (zh) * 2018-08-02 2019-08-27 华为技术有限公司 处理业务请求的方法、装置与存储系统
CN111176843A (zh) * 2019-12-23 2020-05-19 中国平安财产保险股份有限公司 基于多维度的负载均衡方法、装置及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551489A (zh) * 2018-05-07 2018-09-18 广东电网有限责任公司 一种应用服务器负载均衡方法、系统、装置及存储介质
CN110178119A (zh) * 2018-08-02 2019-08-27 华为技术有限公司 处理业务请求的方法、装置与存储系统
CN111176843A (zh) * 2019-12-23 2020-05-19 中国平安财产保险股份有限公司 基于多维度的负载均衡方法、装置及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈志刚等编著, 湖南科学技术出版社 *

Similar Documents

Publication Publication Date Title
CN110582785B (zh) 配置用于执行层描述符列表的具有功率效率的深度神经网络模块
US10348815B2 (en) Command process load balancing system
CN110955535A (zh) 一种多业务请求进程调用fpga设备的方法及相关装置
US10613992B2 (en) Systems and methods for remote procedure call
US11044209B2 (en) Asymmetric co-operative queue management for messages
US20140244846A1 (en) Information processing apparatus, resource control method, and program
US8775767B2 (en) Method and system for allocating memory to a pipeline
CN105068875A (zh) 一种智能数据处理方法及装置
US11290602B2 (en) Information processing device, information processing system, and information processing method
WO2016208260A1 (ja) 画像認識装置および画像認識方法
CN107634978B (zh) 一种资源调度方法及装置
CN114924866A (zh) 数据处理方法和相关设备
CN105204945B (zh) 一种在大数据背景下的负载平衡装置
WO2023071566A1 (zh) 数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN116737373A (zh) 负载均衡方法、装置、计算机设备、存储介质
CN115499513A (zh) 数据请求的处理方法、装置、计算机设备和存储介质
WO2015035901A1 (zh) 程序性能干扰模型的确定方法及设备
US11579781B2 (en) Pooling distributed storage nodes that have specialized hardware
CN113779021B (zh) 数据处理方法、装置、计算机系统及可读存储介质
CN113761416A (zh) 一种请求处理方法、装置、服务器和存储介质
WO2023122899A1 (zh) 一种基于向量计算的处理方法及装置
CN116680081A (zh) 任务处理方法、装置、电子设备及存储介质
CN112671918B (zh) 基于二进制的分布式数据下载方法、装置、设备及介质
US20240069965A1 (en) Systems and methods for executing compute functions
EP3985507A1 (en) Electronic device and method with scheduling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220819