CN113807539A - 机器学习与图形算力的高复用方法、系统、介质及终端 - Google Patents
机器学习与图形算力的高复用方法、系统、介质及终端 Download PDFInfo
- Publication number
- CN113807539A CN113807539A CN202111037422.2A CN202111037422A CN113807539A CN 113807539 A CN113807539 A CN 113807539A CN 202111037422 A CN202111037422 A CN 202111037422A CN 113807539 A CN113807539 A CN 113807539A
- Authority
- CN
- China
- Prior art keywords
- data processing
- video stream
- power
- task
- multiplexing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000010801 machine learning Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 119
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 72
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 14
- 230000007774 longterm Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Sources (AREA)
Abstract
本发明提供一种机器学习与图形算力的高复用方法、系统、介质及终端，其方法包括获取视频流数据处理任务，并通过系统资源对所述视频流数据处理任务进行相应的数据处理，包括，第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法；本发明可以在非实时需求情况下，使用少于视频源数量的算力同样提供多套算法的机器学习能力，极大的降低了图形算力硬件的投入，极大降低单位视频结构化的成本，尤其适用于长尾算法场景，例如需要7X24不间断的进行计算分析的车辆违章等监控场景。
Description
技术领域
本发明涉及计算机应用领域，尤其涉及一种机器学习与图形算力的高复用方法、系统、介质及终端。
背景技术
深度学习由多层的神经网络组成，这些神经网络包含很多权重和偏置，需要进行大量的浮点运算，是一个计算需求非常强烈的领域，GPU可以执行并行计算，拥有更多的运算单元和浮点计算能力，另外，图形显卡往往拥有更大带宽的显存，在大吞吐量的应用中也会有很好的性能。
目前，在视频机器学习领域算法程序与图形显卡算力之间存在耦合关系，导致N各视频如果需要进行1种算法计算就需要N个算力支持，如果再需要应用M种算法就需要N×M个算力支撑，图形显卡算力成本昂贵，遇到大范围视频机器学习分析领域就会导致整体投入过于庞大的问题。在现有视频分析算法中一些算法使用场景需要7X24不间断的进行计算分析，比如车辆违章，关键人员布控等，而一些算法属于长尾算法，并不需要长期占用算力进行分析计算，这就会造成资源利用率不高，进而导致成本过高的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种机器学习与图形算力的高复用方法、系统、介质及终端，以解决上述技术问题。
本发明提供的机器学习与图形算力的高复用方法，包括：
获取视频流数据处理任务，并通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。
与本发明的一实施例中，所述第一维度解耦处理包括，将多项视频流数据处理任务，按时间顺序依次由一路算力轮流执行数据处理。
与本发明的一实施例中，预先创建数据处理算法的任务接口，所述任务接口包括：
第一接口，用于增加视频流的算法计算任务；
第二接口，用于移除视频流的算法计算任务；
通过间隔调用所述第一接口和第二接口，使一路算力处理多项视频流数据处理任务。
与本发明的一实施例中，所述第二维度解耦处理包括，将数据处理算法装载于容器镜像中，通过调度容器的加载运行，使同一算力在不同时间提供不同的数据处理算法。
与本发明的一实施例中，采用部署容器方式进行应用部署，各容器之间互相隔离，并通过应用程序接口创建所述容器镜像；
检测容器运行的状态，并获取数据处理算法供给需求，根据所述容器运行的状态和供给需求选择容器创建的算力节点。
与本发明的一实施例中，获取视频流数据处理任务的目标轮询时长参数，根据预先设定的负载均衡策略，调度数据处理算法在算力上加载。
与本发明的一实施例中，获取视频流数据处理任务，判断所述视频流数据处理任务的类型，所述类型包括需要长期占用算力进行分析计算的普通类型和不需要长期占用算力进行分析计算的长尾类型，根据所述任务类型和预先设定的负载均衡策略，调度数据处理算法在算力上加载。
本发明还提供一种机器学习与图形算力的高复用系统，包括：数据采集模块和数据处理模块，
通过所述数据采集模块获取视频流数据处理任务；
数据处理模块通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述方法。
本发明的有益效果：本发明中的机器学习与图形算力的高复用方法、系统、介质及终端，可以在非实时需求情况下，使用少于视频源数量的算力同样提供多套算法的机器学习能力，极大的降低了图形算力硬件的投入，极大降低单位视频结构化的成本，尤其适用于长尾算法场景，例如需要7X24不间断的进行计算分析的违章停车等监控场景。
另外，本发明可以通过检测容器运行的状态以及算法供给的需求，自动调度算法在算力上加载，以尽量满足系统的需求，通过这种方式可以让算力与算法之间更松散，提高了分布式海量访问系统的稳定性。
附图说明
图1是本发明实施例中机器学习与图形算力的高复用方法的流程示意图。
图2是本发明实施例中机器学习与图形算力的高复用方法的算法-算力调用示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图1所示，本实施例中的本实施例中的机器学习与图形算力的高复用方法，包括：
S1.获取视频流数据处理任务，并通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
S2.第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
S3.第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。
由于CPU遵循冯诺依曼架构，主要通过存储程序，顺序执行的方式进行工作，而GPU的构成相对简单，有数量众多的计算单元和超长的流水线，特别适合处理大量的类型统一的数据。通过GPU可以进行复杂的并行计算。例如，目前主流的深度学习框架都是基于CUDA进行GPU并行加速，又例如cudnn，是针对深度卷积神经网络的加速库。
在本实施例中，在现有视频分析算法中一些算法使用场景需要7X24不间断的进行计算分析，比如车辆违章，关键人员布控等，而一些算法属于长尾算法，不需要长期占用算力进行分析计算，在算力成本较高的情况下，本实施例通过采用相同算法-算力对应的情况下，通过第一维度解耦处理，通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务，以达到节约算力的目的。
在本实施例中，以图形显卡Nvidia Telsa T4为例，假如其当前成本的市场价格约为7万元，可以支持20路左右的摄像头分析，那么一路算力的成本为大概为3500元左右，再结合区域配套的软硬件的成本，其一路算力成本大概为7000元左右，价格非常昂贵，如果以车辆违章监控场景为例，需要进行7X24不间断的进行计算分析，因此，需要长期占用日历。但由于其属于长尾算法，并不需要长期占用算力进行分析计算，这就会造成图形显卡算力资源的利用不充分，成本较高。在海量视频需要长尾算法分析的情况下，本发明通过一路算力处理多项视频流数据处理任务。在本实施例中，可以将N路摄像头设置成摄像头组，将多项视频流数据处理任务，按时间顺序依次由一路算力轮流执行数据处理，利用这种轮询的方式仅通过一路算力可以实现1/N的成本达到覆盖N路视频。
在本实施例中，通过预先创建数据处理算法的任务接口进行轮询，任务接口包括：第一接口，用于增加视频流的算法计算任务；第二接口，用于移除视频流的算法计算任务；通过间隔调用第一接口和第二接口，使一路算力处理多项视频流数据处理任务。可选的，本实施例中第一接口采用addTask(videoAddr)，增加videoAddr视频流的算法计算任务；第二接口采用removeTask(videoAddr)，移除videoAddr视频流的算法计算任务。这样通过间隔调用addTask与removeTask，增加和移除视频流的计算任务，实现算法的视频流轮询，通过第一维度解耦处理的这种方式，实现了视频流数据与算力之间的解耦合。
在本实施例中，同样以上述N路摄像头和图形显卡为例，在传统方式中，为了部署20种算法至少需要20个算力匹配，但是同一时间并用不到这么多算法，尤其是长尾算法。在本实施例中，第二维度解耦处理包括，将数据处理算法装载于容器镜像中，通过调度容器的加载运行，使同一算力在不同时间提供不同的数据处理算法。本实施例采用部署容器方式进行应用部署，各容器之间互相隔离，并通过应用程序接口创建所述容器镜像；检测容器运行的状态，并获取数据处理算法供给需求，根据容器运行的状态和供给需求选择容器创建的算力节点。在第一维度解耦处理的基础上，可以进一步采用第二维度解耦处理，进一步实现算法与算力之间的解耦合。
在本实施例中，将算法装载在容器镜像中，再通过调度容器的加载运行实现在同一算力上不同时间提供不同的算法，例如，在一块图形显卡Nvidia Telsa T4上，在不同时间调度加载M个算法，可以实现1/M的成本覆盖M种算法服务。
可选的，本实施例中可以将算法程序包装成容器镜像文件，例如Docker或者Podman，Docker是一个容器化平台，在平台中，可以将应用程序与容器中的库和环境绑定在一起。与Docker相比，Podman是一个无守护进程的容器引擎，通过Podman可以直接与镜像注册表、容器和镜像存储进行交互。将算法程序包装成容器镜像文件后，再通过Docker或者Podman的API(Application Programming Interface，应用程序接口)实现创建指定容器镜像完成容器创建。执行算法启动指令，例如(Docker参数-run，按时间顺序依次由一路算力轮流执行数据处理，通过这种方式对摄像头轮询，在需要时可以使用容器的(Stop)指令停止容器运行，然后使用容器的删除指令(rm)删除运行容器，通过创建不同的容器镜像文件创建容器实现不同的算法加载，然后重新执行算法启动指令，通过这样的方式，实现利用1/N×1/M算力成本覆盖N路摄像头使用M种算法服务。本实施例通过将视频按调度计划间隔数据轮询算力上加载的算法，在调度计划需要时可以重新编排算力上的算法，使得物理算力上的算法按需更换，如图2所示。
在本实施例中，可以加入算法自动注册与目标轮询时长参数，根据预先设定的负载均衡策略，调度数据处理算法在算力上加载。通过这种方式可以在不指定容器创建在那个算力节点上的前提下，通过检测容器运行的状态以及算法供给的需求，自动调度算法在算力上加载，以尽量满足系统的需求，可以让算力与算法之间更松散，从而使得分布式海量访问系统的稳定性得到提升。
可选的，在一实施例中，可以设置控制节点，管理和控制图形显卡的整个算力节点，本实施例中的图形显卡的数量可以为一个或多个，通过控制节点按预定的调度策略，对所有算力资源进行统一调度。每个算力节点可以被控制节点分配工作负载，如果当算力节点出现异常，例如负载过高等情况，可以通过控制节点，将当前算力节点上的工作负载自动转移到其它算力节点上。通过这种方式，可以无需指定容器创建在那个算力节点上，就可以自动调度算法在算力上加载。当图形显卡数量为多个时，也可以通过这种方式，搭建、部署和运营生产级别的集群。
在一实施例中，在获取视频流数据处理任务后，可以先判断所述视频流数据处理任务的类型，本实施例中的类型包括需要长期占用算力进行分析计算的普通类型和不需要长期占用算力进行分析计算的长尾类型，可以将同一图形显卡的算力进行划分，分别执行不同的任务类型，也可以采用多个图形显卡，分别处理不同的任务类型，通过对不同类型的任务设置处理优先级，如果任务类型为长尾类型，则优先通过上述的高复用方法进行处理，当然也可以结合目标轮询时长参数、容器运行的状态以及算法供给的需求进行综合判断，决定如何自动调度算法在算力上加载，以满足系统的需求。
相应的，本实施例还提供一种机器学习与图形算力的高复用系统，包括：数据采集模块和数据处理模块，
通过所述数据采集模块获取视频流数据处理任务；
数据处理模块通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。
本实施例中的机器学习与图形算力的高复用系统，可以通过上述方法实现机器学习与图形算力的高复用。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种机器学习与图形算力的高复用方法，其特征在于，包括：
获取视频流数据处理任务，并通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。
2.根据权利要求1所述的机器学习与图形算力的高复用方法，其特征在于，所述第一维度解耦处理包括，将多项视频流数据处理任务，按时间顺序依次由一路算力轮流执行数据处理。
3.根据权利要求2所述的机器学习与图形算力的高复用方法，其特征在于，预先创建数据处理算法的任务接口，所述任务接口包括：
第一接口，用于增加视频流的算法计算任务；
第二接口，用于移除视频流的算法计算任务；
通过间隔调用所述第一接口和第二接口，使一路算力处理多项视频流数据处理任务。
4.根据权利要求1所述的机器学习与图形算力的高复用方法，其特征在于，所述第二维度解耦处理包括，将数据处理算法装载于容器镜像中，通过调度容器的加载运行，使同一算力在不同时间提供不同的数据处理算法。
5.根据权利要求4所述的机器学习与图形算力的高复用方法，其特征在于，
采用部署容器方式进行应用部署，各容器之间互相隔离，并通过应用程序接口创建所述容器镜像；
检测容器运行的状态，并获取数据处理算法供给需求，根据所述容器运行的状态和供给需求选择容器创建的算力节点。
6.根据权利要求5所述的机器学习与图形算力的高复用方法，其特征在于，获取视频流数据处理任务的目标轮询时长参数，根据预先设定的负载均衡策略，调度数据处理算法在算力上加载。
7.根据权利要求6所述的机器学习与图形算力的高复用方法，其特征在于，获取视频流数据处理任务，判断所述视频流数据处理任务的类型，所述类型包括需要长期占用算力进行分析计算的普通类型和不需要长期占用算力进行分析计算的长尾类型，根据所述任务类型和预先设定的负载均衡策略，调度数据处理算法在算力上加载。
8.一种机器学习与图形算力的高复用系统，其特征在于，包括：数据采集模块和数据处理模块，
通过所述数据采集模块获取视频流数据处理任务；
数据处理模块通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111037422.2A CN113807539B (zh) | 2021-09-06 | 2021-09-06 | 机器学习与图形算力的高复用方法、系统、介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111037422.2A CN113807539B (zh) | 2021-09-06 | 2021-09-06 | 机器学习与图形算力的高复用方法、系统、介质及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113807539A true CN113807539A (zh) | 2021-12-17 |
| CN113807539B CN113807539B (zh) | 2024-05-14 |
Family
ID=78894791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111037422.2A Active CN113807539B (zh) | 2021-09-06 | 2021-09-06 | 机器学习与图形算力的高复用方法、系统、介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807539B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117539594A (zh) * | 2024-01-10 | 2024-02-09 | 中国电子科技集团公司信息科学研究院 | 一种面向像素流程序并发渲染的负载均衡方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180276044A1 (en) * | 2017-03-27 | 2018-09-27 | International Business Machines Corporation | Coordinated, topology-aware cpu-gpu-memory scheduling for containerized workloads |
| CN110933447A (zh) * | 2020-02-18 | 2020-03-27 | 浙江清鹤科技有限公司 | 基于小前端环的分布式视频服务架构 |
| US20200174840A1 (en) * | 2018-11-30 | 2020-06-04 | EMC IP Holding Company LLC | Dynamic composition of data pipeline in accelerator-as-a-service computing environment |
| CN111367679A (zh) * | 2020-03-31 | 2020-07-03 | 中国建设银行股份有限公司 | 人工智能算力资源复用方法及装置 |
| CN111641777A (zh) * | 2020-02-28 | 2020-09-08 | 北京爱芯科技有限公司 | 图像处理方法、装置、图像处理器、电子设备及存储介质 |
| US20210089362A1 (en) * | 2018-02-19 | 2021-03-25 | Nippon Telegraph And Telephone Corporation | Virtual resource management device, virtual resource allocation method, and virtual resource allocation program |
| CN112817753A (zh) * | 2021-01-21 | 2021-05-18 | 浙江大华技术股份有限公司 | 任务的处理方法及装置、存储介质、电子装置 |
| CN112905333A (zh) * | 2021-01-23 | 2021-06-04 | 招商新智科技有限公司 | 用于分布式视频智能分析平台的算力负载调度方法及装置 |
| CN113198175A (zh) * | 2021-04-13 | 2021-08-03 | 西安万像电子科技有限公司 | 一种云游戏的实现方法及云游戏系统 |
| CN113313098A (zh) * | 2021-07-30 | 2021-08-27 | 阿里云计算有限公司 | 视频处理方法、设备、系统及存储介质 |
| CN113342538A (zh) * | 2021-08-05 | 2021-09-03 | 浩鲸云计算科技股份有限公司 | 脚本与模型分离提升gpu计算吞吐的推理引擎设计方法 |
-
2021
- 2021-09-06 CN CN202111037422.2A patent/CN113807539B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180276044A1 (en) * | 2017-03-27 | 2018-09-27 | International Business Machines Corporation | Coordinated, topology-aware cpu-gpu-memory scheduling for containerized workloads |
| US20210089362A1 (en) * | 2018-02-19 | 2021-03-25 | Nippon Telegraph And Telephone Corporation | Virtual resource management device, virtual resource allocation method, and virtual resource allocation program |
| US20200174840A1 (en) * | 2018-11-30 | 2020-06-04 | EMC IP Holding Company LLC | Dynamic composition of data pipeline in accelerator-as-a-service computing environment |
| CN110933447A (zh) * | 2020-02-18 | 2020-03-27 | 浙江清鹤科技有限公司 | 基于小前端环的分布式视频服务架构 |
| CN111641777A (zh) * | 2020-02-28 | 2020-09-08 | 北京爱芯科技有限公司 | 图像处理方法、装置、图像处理器、电子设备及存储介质 |
| CN111367679A (zh) * | 2020-03-31 | 2020-07-03 | 中国建设银行股份有限公司 | 人工智能算力资源复用方法及装置 |
| CN112817753A (zh) * | 2021-01-21 | 2021-05-18 | 浙江大华技术股份有限公司 | 任务的处理方法及装置、存储介质、电子装置 |
| CN112905333A (zh) * | 2021-01-23 | 2021-06-04 | 招商新智科技有限公司 | 用于分布式视频智能分析平台的算力负载调度方法及装置 |
| CN113198175A (zh) * | 2021-04-13 | 2021-08-03 | 西安万像电子科技有限公司 | 一种云游戏的实现方法及云游戏系统 |
| CN113313098A (zh) * | 2021-07-30 | 2021-08-27 | 阿里云计算有限公司 | 视频处理方法、设备、系统及存储介质 |
| CN113342538A (zh) * | 2021-08-05 | 2021-09-03 | 浩鲸云计算科技股份有限公司 | 脚本与模型分离提升gpu计算吞吐的推理引擎设计方法 |
Non-Patent Citations (2)
| Title |
|---|
| J. BRITTO PARI 等: "An Optimized FPGA Implementation of DCT Architecture for Image and Video Processing Applications", 《2019 INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS SIGNAL PROCESSING AND NETWORKING (WISPNET)》 * |
| 李鼎基 等: "基于跨虚拟机零下陷通信的加速器虚拟化框架", 《软件学报》, vol. 31, no. 10 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117539594A (zh) * | 2024-01-10 | 2024-02-09 | 中国电子科技集团公司信息科学研究院 | 一种面向像素流程序并发渲染的负载均衡方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113807539B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109144699A (zh) | 分布式任务调度方法、装置及系统 | |
| CN110546654A (zh) | 通过构造接口的带宽控制来增强dnn模块的处理性能 | |
| CN110650347B (zh) | 多媒体数据的处理方法及装置 | |
| CN106251392A (zh) | 用于执行交织的方法和设备 | |
| CN107040578A (zh) | 数据同步方法、装置和系统 | |
| CN112799726B (zh) | 数据处理装置、方法及相关产品 | |
| CN112416368B (zh) | 缓存部署与任务调度方法、终端和计算机可读存储介质 | |
| CN108108248A (zh) | 一种实现目标检测的cpu+gpu集群管理方法、装置及设备 | |
| CN106020976A (zh) | 将内存耗尽处理流程卸载到用户空间的方法和装置 | |
| CN113807539B (zh) | 机器学习与图形算力的高复用方法、系统、介质及终端 | |
| CN107798064A (zh) | 页面处理方法、电子设备及计算机可读存储介质 | |
| CN112148481B (zh) | 一种执行仿真测试任务的方法、系统、设备及介质 | |
| CN104281587B (zh) | 一种建立连接的方法及装置 | |
| EP2856323B1 (fr) | Procédé, dispositif et programme d'ordinateur de contrôle dynamique de distances d'accès mémoire dans un système de type numa | |
| CN111813541A (zh) | 一种任务调度方法、装置、介质和设备 | |
| CN110349076A (zh) | 数据的处理方法及装置 | |
| CN114003238B (zh) | 一种基于转码卡的容器部署方法、装置、设备及存储介质 | |
| CN113176937B (zh) | 任务处理方法、装置和电子设备 | |
| CN109862089A (zh) | 数据处理方法、装置、系统、计算机可读存储介质 | |
| CN107656702A (zh) | 加速硬盘读写的方法及其系统、以及电子设备 | |
| CN114625479A (zh) | 边缘计算中云边协同应用管理方法及对应的装置 | |
| CN110083469B (zh) | 一种异构硬件组织运行统一内核方法及系统 | |
| CN113055892A (zh) | 载波调度方法、装置、计算设备及计算机存储介质 | |
| CN111767999A (zh) | 数据处理方法、装置及相关产品 | |
| CN109933413A (zh) | 业务实现方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |