CN113076181A - 一种数据处理流程优化方法、系统及存储介质 - Google Patents

一种数据处理流程优化方法、系统及存储介质 Download PDF

Info

Publication number
CN113076181A
CN113076181A CN202110239785.8A CN202110239785A CN113076181A CN 113076181 A CN113076181 A CN 113076181A CN 202110239785 A CN202110239785 A CN 202110239785A CN 113076181 A CN113076181 A CN 113076181A
Authority
CN
China
Prior art keywords
task
post
reasoning
preprocessing
running time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110239785.8A
Other languages
English (en)
Other versions
CN113076181B (zh
Inventor
王鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110239785.8A priority Critical patent/CN113076181B/zh
Publication of CN113076181A publication Critical patent/CN113076181A/zh
Application granted granted Critical
Publication of CN113076181B publication Critical patent/CN113076181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种数据处理流程优化方法，包括如下步骤：第一步，为预处理任务、推理任务和后处理任务分别添加标识；第二步，根据标识分别确定预处理任务、推理任务和后处理任务的运行时长；根据运行时长分别估算预处理任务、推理任务和后处理任务所需的线程数量；第三步，根据线程数量分别将预处理任务、推理任务和后处理任务划分为若干线程；通过若干线程执行数据处理操作，无需等待；通过上述方式，本发明实现了对数据处理流程的优化，提高了计算效率和硬件资源利用率。

Description

一种数据处理流程优化方法、系统及存储介质
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据处理流程优化方法、系统及存储介质。
背景技术
数据处理任务包括预处理任务、推理任务和后处理任务；在实际应用中，现有技术的处理设备是CPU+GPU的异构服务器；其中，预处理任务由CPU完成，推理任务由GPU完成，后处理任务由CPU或 GPU完成；而现有的处理流程为串行处理，按照预处理任务、推理任务和后处理任务的顺序依次调用设备进行处理；现有技术的缺陷在于处理时需要等待前一个任务完成，导致处理效率低、处理时间长。
发明内容
本发明主要解决的技术问题是提供一种数据处理流程优化方法、系统及存储介质，能够解决数据处理流程计算效率低，计算时间长的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种数据处理流程优化方法，所述方法包括如下步骤：
为预处理任务、推理任务和后处理任务分别添加标识；
根据所述标识分别确定所述预处理任务、所述推理任务和所述后处理任务的运行时长；
根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量；
根据所述线程数量分别将所述预处理任务、所述推理任务和所述后处理任务划分为若干线程；
通过所述线程执行数据处理操作。
作为一种改进方案，所述运行时长包括第一运行时长、第二运行时长和第三运行时长；所述第一运行时长是所述预处理任务的运行时长，第三运行时长是所述后处理任务的运行时长；
所述推理任务包括至少一个推理子任务，获取每个所述推理子任务的子任务运行时长，根据所述子任务运行时长降序排列，将排序第一的所述子任务运行时长作为所述第二运行时长。
进一步具体地，所述根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量步骤进一步包括：
根据所述运行时长计算运行时长比率；
根据所述运行时长比率计算冗余系数；
根据所述运行时长比率和所述冗余系数分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量。
进一步具体地，所述根据所述运行时长计算运行时长比率步骤进一步包括：
根据所述第一运行时长和所述第二运行时长计算所述预处理任务对应的第一运行时长比率；
根据所述第三运行时长和所述第二运行时长计算所述后处理任务对应的第三运行时长比率。
进一步具体地，所述根据所述运行时长比率计算冗余系数步骤进一步包括：
根据所述第一运行时长比率计算所述预处理任务对应的第一冗余系数；
根据所述第三运行时长比率计算所述后处理任务对应的第三冗余系数。
进一步具体地，所述根据所述运行时长比率和所述冗余系数分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量步骤进一步包括：
根据所述第一运行时长比率和所述第一冗余系数估算所述预处理任务所需的线程数量；
根据预设规则估算所述推理任务所需的线程数量；
根据所述第三运行时长比率和所述第三冗余系数估算所述后处理任务所需的线程数量。
作为一种改进方案，所述根据所述线程数量分别将所述预处理任务、所述推理任务和所述后处理任务划分为若干线程步骤还包括：
在所述预处理任务和所述推理任务之间设置第一队列，使所述预处理任务和所述推理任务通过所述第一队列进行数据通信；
在所述后处理任务和所述推理任务之间设置第二队列，使所述后处理任务和所述推理任务通过所述第二队列进行数据通信。
本发明还提供一种数据处理流程优化系统，所述数据处理流程优化系统包括：
任务标识单元：用于分别为所述数据处理任务中的预处理任务、推理任务和后处理任务添加标识；
线程估算单元：用于根据所述标识分别确定所述预处理任务、所述推理任务和所述后处理任务的运行时长；根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量；
并发执行单元：用于设置队列和划分若干线程，通过所述线程执行数据处理操作。
作为一种改进方案，所述并发执行单元包括队列设置单元和线程划分单元；
所述队列设置单元用于设置队列保存所述预处理任务、所述推理任务和所述后处理任务的数据，使所述预处理任务、所述推理任务和所述后处理任务通过所述队列进行数据通信；
所述线程划分单元用于根据所述线程数量将所述预处理任务、所述推理任务和所述后处理任务分别划分为若干线程。
本发明还提供一种计算机存储介质，用于储存为上述数据处理流程优化方法所用的计算机软件指令，其包含用于执行上述为数据处理流程优化方法所设计的程序。
本发明的有益效果是：
1、本发明所述的数据处理流程优化方法，通过将各任务划分为多个线程，多个线程并发执行，提高了计算效率和硬件利用率。
2、本发明所述的数据处理流程优化系统，通过线程估算单元和并发执行单元对各任务处理过程进行分线程优化，节约了计算时间。
3、本发明所述的数据传输存储介质，通过执行上述数据处理流程优化方法，实现了数据处理流程的优化，降低了总运行时长。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将具体实施方式或现有技术描述中所需要使用的附图作简单地介绍；在所有附图中，类似的元件或部分一般由类似的附图标记标识；附图中，各元件或部分并不一定根据实际比例绘制。
图1是本发明实施例1所述的数据处理流程优化方法流程图；
图2是本发明实施例2所述的数据处理流程优化系统示意图；
图3是本发明实施例2所述的并发执行单元示意图。
附图中各部件的标记如下：
1-任务标识单元，2-线程估算单元，3-并发执行单元，4-队列设置单元，5-线程划分单元，100-数据处理流程优化系统。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，如C++/Python是编程语言， TensorFlow/TensorRT/PyTorch是深度学习框架。
在本发明的描述中，需要说明的是，如第一运行时长至第三运行时长，第一运行时长比率至第三运行时长比率，第一冗余系数至第三冗余系数等只表示顺序标识，不表示优劣和是否是相同的模块。
实施例1
本实施例1提供一种数据处理流程优化方法，如图1所示，包括如下步骤：
在S100步骤中，数据处理任务包括预处理任务、推理任务和后处理任务；为数据处理任务按预处理任务、推理任务和后处理任务在数据处理任务中的开始时间点分别添加标识；预处理任务一般是系统代码的初始化部分，如在C++/Python中一般是main()函数的初始化部分；推理任务是根据深度学习推理框架进行推理，该任务运行时为 TensorFlow/TensorRT/PyTorch等推理框架，在程序中有明显的识别语句，如TensorFlow是Session.run(data)，TensorRT是doinference(data)， PyTorch是net(data)；后处理任务一般是推理任务之后的运行代码。
进一步具体地，本实施例中以工厂零部件缺陷检测系统为例，该应用场景中输入是工业摄像机拍摄的高分辨率图片，经过CPU预处理、GPU推理、CPU后处理，最终得到图片中是否存在待检测部件，以及部件是否存在缺陷；本实施例使用TensorFlow框架作为推理框架；将缺陷检测系统代码进行划分，根据预处理、推理、后处理的处理特点分为三个任务。
在S200步骤中，根据标识分别确定预处理任务、推理任务和后处理任务的运行时长，分别作为第一运行时长、第二运行时长和第三运行时长；如果推理任务存在多个推理子任务，根据子任务运行时长最长的推理子任务来确定第二运行时长；根据运行时长比率和冗余系数分别估算各任务所需要的线程数量；运行时长比率为当前任务运行时长与第二运行时长的比值，冗余系数与运行时长比率的平方成正比。
进一步具体地，预处理任务所需的线程数量表示为：
ceil(T0/T+0.1*(T0/T)^2)
其中，T0表示第一运行时长，T表示第二运行时长；ceil()为返回大于或者等于指定表达式的最小整数的函数；
由于推理任务主要是GPU负责处理，所以CPU只需划分一个线程负责调度GPU进行推理任务的处理，其中估算推理任务所需的线程数量的预设规则为：线程数量等于推理子任务数量；
后处理任务所需的线程数量表示为：
ceil(T1/T+0.1*(T1/T)^2)
其中，T1表示第三运行时长。
进一步具体地，本实施例中预处理任务的T0＝0.037s，推理任务的T＝0.060s，后处理任务的T1＝0.011s，得到预处理任务需要 ceil(0.037/0.060+0.1*(0.037/0.060)^2))＝1个线程，推理任务需要1个线程，后处理任务也需要ceil(0.011/0.060+0.1*(0.011/0.060)^2))＝1个线程。
在S300步骤中，设置若干队列保存预处理任务、推理任务和后处理任务的数据；预处理任务、推理任务和后处理任务通过队列进行数据通信，根据线程数量将预处理任务、推理任务和后处理任务分别划分为若干线程；通过若干线程异步进行数据处理。
进一步具体地，本实施例中分别在预处理任务与推理任务之间和推理任务与后处理任务之间设置队列；根据线程数量分别将预处理任务、推理任务和后处理任务划分为一个线程，三个线程并发执行；优化后系统的总运行时长为0.062s，大大提高了数据处理任务的处理速度。
本实施例还提供一个视频图片检测跟踪系统为例，该应用场景与所述流程基本一致；其输入为视频流，需对视频流做解码、预处理，此任务在CPU中运行；然后送入检测模型做推理，此任务在GPU运行使用TensorRT作为推理运行时；最后将检测结果送入跟踪网络输出跟踪框和跟踪ID，此任务在CPU中运行。
该系统是典型的图像数据处理应用，使用TensroRT框架作为推理的推理框架；将其按照上述流程在应用程序中添加标识，根据标识多次运行求取平均值分别得到预处理任务、推理任务和后处理任务的运行时长，T0＝0.010，T＝0.011，T1＝0.040；计算得到预处理任务需要 ceil(0.010/0.011+0.1*(0.010/0.011)^2))＝1个线程，推理任务需要1个线程，后处理任务也需要ceil(0.040/0.011+0.1*(0.040/0.011)^2))＝5个线程；此时预处理任务、推理任务和后处理任务是由不同数量的进程来异步并行处理；该系统前后处理及推理之间的数据依赖使用队列进行衔接，这样可以保证三个过程进行拆分、并行；该计算方法得到的进程数可最大限度的减少三个步骤中进程运行的等待时间；根据上述方法将系统改为7个线程进行处理，平均消耗时间总时长为0.026s， GPU和CPU的平均利用效率相应提高。
实施例2
本实施例2提供一种数据处理流程优化系统，如图2所示，所述数据处理流程优化系统100包括：
任务标识单元1：用于为数据处理应用中的预处理任务、推理任务和后处理任务分别添加标识，使得各任务界限分明，便于确定各任务运行时长和设置队列；
线程估算单元2：用于根据标识分别确定所述预处理任务、所述推理任务和所述后处理任务的运行时长，根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量；其中，由于推理任务主要是GPU负责处理，所以CPU只需划分一个线程负责调度GPU进行推理任务的处理，其中估算推理任务所需的线程数量的预设规则为：线程数量等于推理子任务数量；
并发执行单元3：用于设置队列和划分若干线程，通过所述线程执行数据处理操作。
具体地，所述并发执行单元3包括队列设置单元4和线程划分单元5；
所述队列设置单元4用于设置队列保存所述预处理任务、所述推理任务和所述后处理任务的数据，使所述预处理任务、所述推理任务和所述后处理任务通过所述队列进行数据通信；
所述线程划分单元5用于根据所述线程数量将所述预处理任务、所述推理任务和所述后处理任务分别划分为若干线程，无需等待。
实施例3
本实施例3提供一种计算机可读存储介质，所述存储介质用于储存将上述实施例1所述数据处理流程优化方法实现所用的计算机软件指令，其包含用于执行上述为数据处理流程优化方法所设计的程序；具体地，该可执行程序可以内置在数据处理流程优化系统100中，这样，数据处理流程优化系统100就可以通过执行内置的可执行程序实现所述实施例1的数据处理流程优化方法。
此外，本实施例提供的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合，其中，可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件，或者以上任意组合。
上述实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理流程优化方法，其特征在于，所述方法包括如下步骤：
为预处理任务、推理任务和后处理任务分别添加标识；
根据所述标识分别确定所述预处理任务、所述推理任务和所述后处理任务的运行时长；
根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量；
根据所述线程数量分别将所述预处理任务、所述推理任务和所述后处理任务划分为若干线程；
通过所述线程执行数据处理操作。
2.根据权利要求1所述的数据处理流程优化方法，其特征在于，所述运行时长包括第一运行时长、第二运行时长和第三运行时长；所述第一运行时长是所述预处理任务的运行时长，第三运行时长是所述后处理任务的运行时长；
所述推理任务包括至少一个推理子任务，获取每个所述推理子任务的子任务运行时长，根据所述子任务运行时长降序排列，将排序第一的所述子任务运行时长作为所述第二运行时长。
3.根据权利要求2所述的数据处理流程优化方法，其特征在于，所述根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量步骤进一步包括：
根据所述运行时长计算运行时长比率；
根据所述运行时长比率计算冗余系数；
根据所述运行时长比率和所述冗余系数分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量。
4.根据权利要求3所述的数据处理流程优化方法，其特征在于，所述根据所述运行时长计算运行时长比率步骤进一步包括：
根据所述第一运行时长和所述第二运行时长计算所述预处理任务对应的第一运行时长比率；
根据所述第三运行时长和所述第二运行时长计算所述后处理任务对应的第三运行时长比率。
5.根据权利要求4所述的数据处理流程优化方法，其特征在于，所述根据所述运行时长比率计算冗余系数步骤进一步包括：
根据所述第一运行时长比率计算所述预处理任务对应的第一冗余系数；
根据所述第三运行时长比率计算所述后处理任务对应的第三冗余系数。
6.根据权利要求5所述的数据处理流程优化方法，其特征在于，所述根据所述运行时长比率和所述冗余系数分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量步骤进一步包括：
根据所述第一运行时长比率和所述第一冗余系数估算所述预处理任务所需的线程数量；
根据预设规则估算所述推理任务所需的线程数量；
根据所述第三运行时长比率和所述第三冗余系数估算所述后处理任务所需的线程数量。
7.根据权利要求1所述的数据处理流程优化方法，其特征在于，所述根据所述线程数量分别将所述预处理任务、所述推理任务和所述后处理任务划分为若干线程步骤还包括：
在所述预处理任务和所述推理任务之间设置第一队列，使所述预处理任务和所述推理任务通过所述第一队列进行数据通信；
在所述后处理任务和所述推理任务之间设置第二队列，使所述后处理任务和所述推理任务通过所述第二队列进行数据通信。
8.一种数据处理流程优化系统，其特征在于，所述数据处理流程优化系统包括：
任务标识单元：用于分别为所述数据处理任务中的预处理任务、推理任务和后处理任务添加标识；
线程估算单元：用于根据所述标识分别确定所述预处理任务、所述推理任务和所述后处理任务的运行时长，根据所述运行时长分别估算所述预处理任务、所述推理任务和所述后处理任务所需的线程数量；
并发执行单元：用于设置队列和划分若干线程，通过所述线程执行数据处理操作。
9.根据权利要求8所述的数据处理流程优化系统，其特征在于，所述并发执行单元包括队列设置单元和线程划分单元；
所述队列设置单元用于设置队列保存所述预处理任务、所述推理任务和所述后处理任务的数据，使所述预处理任务、所述推理任务和所述后处理任务通过所述队列进行数据通信；
所述线程划分单元用于根据所述线程数量将所述预处理任务、所述推理任务和所述后处理任务分别划分为若干线程。
10.一种计算机存储介质，其特征在于，用于储存为上述权利要求1-7中任一项所述的数据处理流程优化方法所用的计算机软件指令，其包含用于执行上述为数据处理流程优化方法所设计的程序。
CN202110239785.8A 2021-03-04 2021-03-04 一种数据处理流程优化方法、系统及存储介质 Active CN113076181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110239785.8A CN113076181B (zh) 2021-03-04 2021-03-04 一种数据处理流程优化方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110239785.8A CN113076181B (zh) 2021-03-04 2021-03-04 一种数据处理流程优化方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113076181A true CN113076181A (zh) 2021-07-06
CN113076181B CN113076181B (zh) 2023-09-26

Family

ID=76609896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110239785.8A Active CN113076181B (zh) 2021-03-04 2021-03-04 一种数据处理流程优化方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113076181B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113905273A (zh) * 2021-09-29 2022-01-07 上海阵量智能科技有限公司 任务执行方法和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089935A1 (en) * 2011-05-19 2014-03-27 Nec Corporation Parallel processing device, parallel processing method, optimization device, optimization method and computer program
CN104778074A (zh) * 2014-01-14 2015-07-15 腾讯科技（深圳）有限公司 一种计算任务处理方法及装置
CN109492024A (zh) * 2018-10-26 2019-03-19 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备以及存储介质
CN109582455A (zh) * 2018-12-03 2019-04-05 恒生电子股份有限公司 多线程任务处理方法、装置及存储介质
CN110297711A (zh) * 2019-05-16 2019-10-01 平安科技（深圳）有限公司 批量数据处理方法、装置、计算机设备及存储介质
CN111338695A (zh) * 2018-12-19 2020-06-26 中科寒武纪科技股份有限公司 基于流水线技术的数据处理方法及相关产品
CN112162854A (zh) * 2020-09-21 2021-01-01 南开大学 一种cpu-gpu间计算任务调度方法、系统及介质
CN112218117A (zh) * 2020-09-29 2021-01-12 北京字跳网络技术有限公司 视频处理方法及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089935A1 (en) * 2011-05-19 2014-03-27 Nec Corporation Parallel processing device, parallel processing method, optimization device, optimization method and computer program
CN104778074A (zh) * 2014-01-14 2015-07-15 腾讯科技（深圳）有限公司 一种计算任务处理方法及装置
CN109492024A (zh) * 2018-10-26 2019-03-19 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备以及存储介质
CN109582455A (zh) * 2018-12-03 2019-04-05 恒生电子股份有限公司 多线程任务处理方法、装置及存储介质
CN111338695A (zh) * 2018-12-19 2020-06-26 中科寒武纪科技股份有限公司 基于流水线技术的数据处理方法及相关产品
CN110297711A (zh) * 2019-05-16 2019-10-01 平安科技（深圳）有限公司 批量数据处理方法、装置、计算机设备及存储介质
CN112162854A (zh) * 2020-09-21 2021-01-01 南开大学 一种cpu-gpu间计算任务调度方法、系统及介质
CN112218117A (zh) * 2020-09-29 2021-01-12 北京字跳网络技术有限公司 视频处理方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113905273A (zh) * 2021-09-29 2022-01-07 上海阵量智能科技有限公司 任务执行方法和设备
CN113905273B (zh) * 2021-09-29 2024-05-17 上海阵量智能科技有限公司 任务执行方法和设备

Also Published As

Publication number Publication date
CN113076181B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN111738446B (zh) 深度学习推理引擎的调度方法、装置、设备和介质
US20190163524A1 (en) Method and apparatus for processing task in smart device
CN112948079B (zh) 任务调度方法、装置、设备和计算机存储介质
US20200401913A1 (en) Resource configuration method and apparatus forheterogeneous cloud services
CN111190741B (zh) 基于深度学习节点计算的调度方法、设备及存储介质
CN116702907B (zh) 一种服务器无感知的大语言模型推理系统、方法和设备
CN108958789A (zh) 一种并行流式计算方法、电子设备、存储介质及系统
CN112508768A (zh) 单算子多模型流水线推理方法、系统、电子设备及介质
CN113076181A (zh) 一种数据处理流程优化方法、系统及存储介质
CN114490048A (zh) 任务执行方法、装置、电子设备及计算机存储介质
CN110766341A (zh) 优化作业调度的控制方法、装置、计算机设备及存储介质
US20210334128A1 (en) Asynchronous quantum information processing
CN116643844B (zh) 面向电力超算云资源自动扩展的智能化管理系统及方法
CN116627621B (zh) 服务器无感知计算中键值张量的传输方法、系统和装置
CN111694648B (zh) 一种任务调度方法、装置以及电子设备
CN112948081A (zh) 延时处理任务的方法、装置、设备以及存储介质
CN116627615A (zh) 一种任务处理方法、装置、电子设备和存储介质
CN116204282A (zh) 一种深度学习算法模型推理调度引擎架构及方法
CN113760494B (zh) 任务调度方法和装置
CN113254200B (zh) 资源编排方法及智能体
CN115174535A (zh) 基于Kubernetes实现文件转码POD调度方法、系统、设备及存储介质
CN114036250A (zh) 高精地图任务处理方法、装置、电子设备和介质
CN114265692A (zh) 服务调度方法、装置、设备以及存储介质
CN113807397A (zh) 语义表示模型的训练方法、装置、设备和存储介质
CN116382925B (zh) 一种任务队列的动态调整方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant