CN117196930A - 基于gpu集群的高性能图像处理系统及方法 - Google Patents

Abstract

本发明涉及图像数据处理领域，公开了基于GPU集群的高性能图像处理系统及方法，云端数据服务器中的分布式任务调度模块基于各个分布式GPU集群的基础数据，分别建立对应分布式GPU集群的任务执行容器，得到分布式GPU集群运行状态；分布式任务调度模块根据图像处理任务类型，若为本地图像处理任务，则分别获取分布式GPU集群列表中各个分布式GPU集群的延迟，根据延迟选择分布式GPU集群，进行图像处理；若为云端图像处理任务，分布式任务调度模块根据终端上传的图像处理任务中的图像信息，调取图像数据，与图像处理任务发送到匹配的分布式GPU集群，进行图像处理；直到图像处理任务完成。通过本发明可以实现对大规模图像数据的高效处理和高精度计算。

Description

基于GPU集群的高性能图像处理系统及方法

技术领域

本发明涉及图像数据处理领域，具体是基于GPU集群的高性能图像处理系统及方法。

背景技术

在传统的图像处理系统中，通常使用中央处理器(CPU)进行图像数据的处理和计算。然而，随着图像数据规模的不断扩大，CPU处理图像的速度和效率已经无法满足实际需求。此外，对于一些复杂的图像处理任务，如特征提取、目标检测、图像生成等，CPU的计算能力和内存容量也受到限制，无法满足高精度、高质量和高效率的处理要求。

随着图形处理器(GPU)技术的发展，GPU在并行计算能力上的优势逐渐被发掘出来。GPU具有大量的核心和高效的内存带宽，可以同时处理多个数据，提供更高的计算速度和效率。因此，基于GPU的图像处理系统逐渐成为研究的热点。

因此，如何利用多个GPU构建的分布式GPU集群进行图像数据处理，是当下亟待解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供基于GPU集群的高性能图像处理方法，包括如下步骤：

步骤一，云端数据服务器中的分布式任务调度模块基于各个分布式GPU集群的基础数据，分别建立对应分布式GPU集群的任务执行容器，并与分布式GPU集群连接，获取分布式GPU集群运行数据，得到分布式GPU集群运行状态；

步骤二，分布式任务调度模块根据终端上传的图像处理任务，获取图像处理任务类型，若为本地图像处理任务，则进入步骤三；若为云端图像处理任务，分布式任务调度模块根据终端上传的图像处理任务中的图像信息，调取图像数据，与图像处理任务发送到匹配的分布式GPU集群，进行图像处理；

步骤三，分布式任务调度模块根据终端上传的图像处理任务，得到图像处理任务的算力需求数据，根据算力需求数据匹配得到分布式GPU集群列表，分别获取分布式GPU集群列表中各个分布式GPU集群的第一延迟和第二延迟；

步骤四，分别获取第一延迟中的最小值和第二延迟中的最小值，若第一延迟中的最小值不大于第二延迟中的最小值，则进入步骤五，否则，进入步骤六；

步骤五，第一延迟中的最小值对应的分布式GPU集群为匹配的分布式GPU集群，分布式任务调度模块将图像处理任务和终端上传的图像数据发送到匹配的分布式GPU集群，分布式GPU集群进行图像处理任务，直到图像处理任务完成；

步骤六，第二延迟中的最小值对应的分布式GPU集群为匹配的分布式GPU集群，分布式任务调度模块将图像处理任务发送到匹配的分布式GPU集群，并建立临时图像数据传输容器，终端通过临时图像数据传输容器将图像数据传输到匹配的分布式GPU集群，分布式GPU集群进行图像处理任务，直到图像处理任务完成。

进一步的，所述的获取分布式GPU集群运行数据，得到分布式GPU集群运行状态，包括：获取分布式GPU集群的总算力、已使用的总算力，得到分布式GPU集群剩余可用算力。

进一步的，所述的若为云端图像处理任务，分布式任务调度模块根据终端上传的图像处理任务中的图像信息，调取图像数据，与图像处理任务发送到匹配的分布式GPU集群，进行图像处理，包括：

分布式任务调度模块根据图像处理任务中图像信息的获取地址，获取图像数据，将图像数据和图像处理任务，发送到与分布式任务调度模块网络延迟最小的匹配的分布式GPU集群，进行图像处理；其中所述的与分布式任务调度模块网络延迟最小的匹配的分布式GPU集群为：剩余算力不小于图像处理任务需求算力的分布式GPU集群。

进一步的，所述的根据算力需求数据匹配得到分布式GPU集群列表，分别获取分布式GPU集群列表中各个分布式GPU集群的第一延迟和第二延迟，包括：

剩余算力不小于图像处理任务需求算力的分布式GPU集群为匹配的分布式GPU集群，所有的匹配的分布式GPU集群构成分布式GPU集群列表；

所述的第一延迟为：终端传输图像数据到云端数据服务器的时长，与云端数据服务器传输到分布式GPU集群的时长的和；

所述的第二延迟为：终端传输图像数据到分布式GPU集群的时长。

进一步的，所述的终端通过临时图像数据传输容器将图像数据传输到匹配的分布式GPU集群，还包括：图像数据传输完成后，关闭临时图像数据传输容器。

基于GPU集群的高性能图像处理系统，应用所述的基于GPU集群的高性能图像处理方法，包括云端数据服务器、分布式GPU集群和终端；

所述的分布式GPU集群和终端分别与所述的云端数据服务器通信连接。

本发明的有益效果是：通过本发明所提供的技术方案，可以根据图像处理任务进行灵活的图像数据处理任务分配，实现对大规模图像数据的高效处理和高精度计算。

附图说明

图1为基于GPU集群的高性能图像处理方法的流程示意图；

图2为基于GPU集群的高性能图像处理系统的原理示意图。

实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和算力作进一步的详细描述。

如图1所示，基于GPU集群的高性能图像处理方法，包括如下步骤：

步骤一，云端数据服务器中的分布式任务调度模块基于各个分布式GPU集群的基础数据，分别建立对应分布式GPU集群的任务执行容器，并与分布式GPU集群连接，获取分布式GPU集群运行数据，得到分布式GPU集群运行状态；

步骤二，分布式任务调度模块根据终端上传的图像处理任务，获取图像处理任务类型，若为本地图像处理任务，则进入步骤三；若为云端图像处理任务，分布式任务调度模块根据终端上传的图像处理任务中的图像信息，调取图像数据，与图像处理任务发送到匹配的分布式GPU集群，进行图像处理；

步骤三，分布式任务调度模块根据终端上传的图像处理任务，得到图像处理任务的算力需求数据，根据算力需求数据匹配得到分布式GPU集群列表，分别获取分布式GPU集群列表中各个分布式GPU集群的第一延迟和第二延迟；

步骤四，分别获取第一延迟中的最小值和第二延迟中的最小值，若第一延迟中的最小值不大于第二延迟中的最小值，则进入步骤五，否则，进入步骤六；

步骤五，第一延迟中的最小值对应的分布式GPU集群为匹配的分布式GPU集群，分布式任务调度模块将图像处理任务和终端上传的图像数据发送到匹配的分布式GPU集群，分布式GPU集群进行图像处理任务，直到图像处理任务完成；

步骤六，第二延迟中的最小值对应的分布式GPU集群为匹配的分布式GPU集群，分布式任务调度模块将图像处理任务发送到匹配的分布式GPU集群，并建立临时图像数据传输容器，终端通过临时图像数据传输容器将图像数据传输到匹配的分布式GPU集群，分布式GPU集群进行图像处理任务，直到图像处理任务完成。

所述的获取分布式GPU集群运行数据，得到分布式GPU集群运行状态，包括：获取分布式GPU集群的总算力、已使用的总算力，得到分布式GPU集群剩余可用算力。

所述的若为云端图像处理任务，分布式任务调度模块根据终端上传的图像处理任务中的图像信息，调取图像数据，与图像处理任务发送到匹配的分布式GPU集群，进行图像处理，包括：

分布式任务调度模块根据图像处理任务中图像信息的获取地址，获取图像数据，将图像数据和图像处理任务，发送到与分布式任务调度模块网络延迟最小的匹配的分布式GPU集群，进行图像处理；其中所述的与分布式任务调度模块网络延迟最小的匹配的分布式GPU集群为：剩余算力不小于图像处理任务需求算力的分布式GPU集群。

所述的根据算力需求数据匹配得到分布式GPU集群列表，分别获取分布式GPU集群列表中各个分布式GPU集群的第一延迟和第二延迟，包括：

剩余算力不小于图像处理任务需求算力的分布式GPU集群为匹配的分布式GPU集群，所有的匹配的分布式GPU集群构成分布式GPU集群列表；

所述的第一延迟为：终端传输图像数据到云端数据服务器的时长，与云端数据服务器传输到分布式GPU集群的时长的和；

所述的第二延迟为：终端传输图像数据到分布式GPU集群的时长。

所述的终端通过临时图像数据传输容器将图像数据传输到匹配的分布式GPU集群，还包括：图像数据传输完成后，关闭临时图像数据传输容器。

如图2所示，基于GPU集群的高性能图像处理系统，应用所述的基于GPU集群的高性能图像处理方法，包括云端数据服务器、分布式GPU集群和终端；

所述的分布式GPU集群和终端分别与所述的云端数据服务器通信连接。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.基于GPU集群的高性能图像处理方法，其特征在于，包括如下步骤：

步骤一，云端数据服务器中的分布式任务调度模块基于各个分布式GPU集群的基础数据，分别建立对应分布式GPU集群的任务执行容器，并与分布式GPU集群连接，获取分布式GPU集群运行数据，得到分布式GPU集群运行状态；

步骤二，分布式任务调度模块根据终端上传的图像处理任务，获取图像处理任务类型，若为本地图像处理任务，则进入步骤三；若为云端图像处理任务，分布式任务调度模块根据终端上传的图像处理任务中的图像信息，调取图像数据，与图像处理任务发送到匹配的分布式GPU集群，进行图像处理；

步骤三，分布式任务调度模块根据终端上传的图像处理任务，得到图像处理任务的算力需求数据，根据算力需求数据匹配得到分布式GPU集群列表，分别获取分布式GPU集群列表中各个分布式GPU集群的第一延迟和第二延迟；

步骤四，分别获取第一延迟中的最小值和第二延迟中的最小值，若第一延迟中的最小值不大于第二延迟中的最小值，则进入步骤五，否则，进入步骤六；

步骤五，第一延迟中的最小值对应的分布式GPU集群为匹配的分布式GPU集群，分布式任务调度模块将图像处理任务和终端上传的图像数据发送到匹配的分布式GPU集群，分布式GPU集群进行图像处理任务，直到图像处理任务完成；

步骤六，第二延迟中的最小值对应的分布式GPU集群为匹配的分布式GPU集群，分布式任务调度模块将图像处理任务发送到匹配的分布式GPU集群，并建立临时图像数据传输容器，终端通过临时图像数据传输容器将图像数据传输到匹配的分布式GPU集群，分布式GPU集群进行图像处理任务，直到图像处理任务完成。

2.根据权利要求1所述的基于GPU集群的高性能图像处理方法，其特征在于，所述的获取分布式GPU集群运行数据，得到分布式GPU集群运行状态，包括：获取分布式GPU集群的总算力、已使用的总算力，得到分布式GPU集群剩余可用算力。

3.根据权利要求2所述的基于GPU集群的高性能图像处理方法，其特征在于，所述的若为云端图像处理任务，分布式任务调度模块根据终端上传的图像处理任务中的图像信息，调取图像数据，与图像处理任务发送到匹配的分布式GPU集群，进行图像处理，包括：

分布式任务调度模块根据图像处理任务中图像信息的获取地址，获取图像数据，将图像数据和图像处理任务，发送到与分布式任务调度模块网络延迟最小的匹配的分布式GPU集群，进行图像处理；其中所述的与分布式任务调度模块网络延迟最小的匹配的分布式GPU集群为：剩余算力不小于图像处理任务需求算力的分布式GPU集群。

4.根据权利要求1所述的基于GPU集群的高性能图像处理方法，其特征在于，所述的根据算力需求数据匹配得到分布式GPU集群列表，分别获取分布式GPU集群列表中各个分布式GPU集群的第一延迟和第二延迟，包括：

剩余算力不小于图像处理任务需求算力的分布式GPU集群为匹配的分布式GPU集群，所有的匹配的分布式GPU集群构成分布式GPU集群列表；

所述的第一延迟为：终端传输图像数据到云端数据服务器的时长，与云端数据服务器传输到分布式GPU集群的时长的和；

所述的第二延迟为：终端传输图像数据到分布式GPU集群的时长。

5.根据权利要求1所述的基于GPU集群的高性能图像处理方法，其特征在于，所述的终端通过临时图像数据传输容器将图像数据传输到匹配的分布式GPU集群，还包括：图像数据传输完成后，关闭临时图像数据传输容器。

6.基于GPU集群的高性能图像处理系统，其特征在于，应用权利要求1-5任一所述的基于GPU集群的高性能图像处理方法，包括云端数据服务器、分布式GPU集群和终端；

所述的分布式GPU集群和终端分别与所述的云端数据服务器通信连接。