CN107067365A - 基于深度学习的分布嵌入式实时视频流处理系统及方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的分布嵌入式实时视频流处理系统及方法，视频数据采集层通过ARM板采集视频数据并预处理；视频处理层根据指定的视频处理任务在嵌入式GPU处理器集群上根据深度学习算法进行视频处理；GPU资源调度层实时监控嵌入式GPU处理器中的GPU使用情况并根据调度策略进行调度，存储层将处理结果上传到云存储服务器，服务层将结果可视化反馈给客户端。本发明的一种基于深度学习的分布嵌入式实时视频流处理框架，将视频处理、深度学习相结合，把视频处理利用分布嵌入式技术并行化，以达到实时视频处理的效果；把深度学习应用到视频处理中，提高视频处理的准确率。

Description

基于深度学习的分布嵌入式实时视频流处理系统及方法

技术领域

本发明属于视频处理的技术领域，尤其涉及一种基于深度学习的分布嵌入式实时视频流处理系统及方法。

背景技术

目前，随着半导体工艺以及芯片设计水平的不断进步，电子设备的性能取得了极大提高；其中，尤其是嵌入式应用终端得到了空前的发展。现有技术中的嵌入式应用终端能够处理的数据量更大，覆盖的领域更为广泛，一些原本只能在PC机上实现的应用，也已出现在嵌入式设备中，如视频处理。另一方面，人们对于嵌入式设备的应用提出的更高的要求也在推动嵌入式应用终端快速发展，如在视频处理等方面的要求。原本PC机中由图形处理器(GPU)完成的应用不仅需要强大的计算能力以及大数据的处理，更需要低功耗、低成本以适应不断发展的嵌入式系统需求。嵌入式GPU正是为了满足这些功能而设计的，是专用于嵌入式终端或者手持设备上的图形处理器。与PC机的GPU相比，嵌入式GPU需要同时兼顾高性能、低功耗、低成本等特点。例如，Jetson TX1是NVIDIA推出的首款TX系列的嵌入式超级视觉计算系统，也是全球首款模块化超级计算机。

在人工智能领域，出现了对嵌入式设备的连续视频数据的快速处理的需求，例如无人机航拍、自动驾驶等。

深度学习，是目前机器学习发展中一类最热门的算法，卷积神经网络(Convolutional Neural Networks，CNN)作为深度学习的一种方法，在物体识别、图像处理等领域有着较好的效果。然而，大规模的深度神经网络需要高性能、高功耗、高成本的硬件支持。一方面，大规模的深度神经网络需要高性能的设备。另一方面，移动设备的计算能力是受限于自身的重量和电池容量性。虽然移动云计算可以讲一部分计算转移到后端云服务器，但是当解决高流量和实时流数据时，带宽，延迟和可用性仍是具有挑战性的，因此，有必要设计一个分布式平台，实现高效的嵌入式计算。

综上所述，如何解决对嵌入式设备的连续视频数据的快速处理的需求的实现，如何解决处理高流量和实时流数据时带宽、延迟和可用性的问题，尚缺乏有效的解决方案。

发明内容

本发明为了解决上述问题，克服现有技术中嵌入式设备无法对连续视频数据进行快速处理，以及在处理高流量和实时流数据时带宽、延迟和可用性中存在的问题，提供一种基于深度学习的分布嵌入式实时视频流处理系统及方法，该系统及方法大幅度地提高了视频流处理的效率，减少了嵌入式设备的功耗。

为了实现上述目的，本发明采用如下一种技术方案：

一种基于深度学习的分布嵌入式实时视频流处理系统，该系统包括：

视频数据采集层，所述视频数据采集层采集视频数据并进行预处理；

和

视频数据处理层，所述视频数据处理层包括嵌入式GPU分布集群，根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；

和

GPU资源调度层，所述GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；

和

存储层，所述存储层包括云存储服务器，将视频处理结果上传到云存储服务器进行存储；

和

服务层，所述服务层与客户端连接，将视频处理结果可视化反馈给客户端。

进一步的，所述视频数据采集层包括摄像装置和嵌入式微处理器，所述嵌入式微处理器包括视频采集模块和视频预处理模块；

所述视频数据采集层通过嵌入式微处理器的视频采集模块连接摄像装置采集视频数据，采集的视频数据传输至视频预处理模块进行视频数据的预处理，所述视频预处理模块与视频数据处理层连接，将预处理后的视频数据传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。

进一步的，所述视频数据处理层的嵌入式GPU分布集群包括至少两个的GPU进行视频处理，所述GPU分别与所述GPU资源调度层连接。

进一步的，所述视频数据处理层包括深度学习模块，所述深度学习模块包括数据采集模块、训练模块和测试模块；

所述数据采集模块采集不同种类的视频数据集，并根据比例分为训练数据集和测试数据集；

所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；

所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。

本发明为了解决上述问题，克服现有技术中嵌入式设备无法对连续视频数据进行快速处理，以及在处理高流量和实时流数据时带宽、延迟和可用性中存在的问题，提供一种基于深度学习的分布嵌入式实时视频流处理系统及方法，该系统及方法大幅度地提高了视频流处理的效率，减少了嵌入式设备的功耗。

为了实现上述目的，本发明采用如下一种技术方案：

一种基于深度学习的分布嵌入式实时视频流处理方法，该方法基于上述一种基于深度学习的分布嵌入式实时视频流处理系统，该方法的具体步骤包括：

(1)视频数据采集：视频数据采集层采集视频数据并进行预处理；

(2)视频数据处理和GPU资源调度：将深度学习算法部署在GPU嵌入式分布集群上；视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；

GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；

(3)视频数据存储：存储层将视频处理结果上传到云存储服务器进行存储；

(4)视频处理结果显示：服务层将视频处理结果可视化反馈给与其连接的客户端。

进一步的，所述步骤(1)中的视频数据采集的预处理的具体步骤为：

在视频预处理模块中，将接收的视频数据进行解码，解码为帧图像传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。

进一步的，所述步骤(2)中将深度学习算法部署在GPU嵌入式分布集群上的具体步骤为：

(2-1a)所述数据采集模块采集不同种类的视频数据集，并根据比例分为训练数据集和测试数据集；

(2-2a)所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；

(2-3a)所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。

进一步的，所述步骤(2)中视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理的具体步骤为：

将从视频预处理模块中得到的帧图像作为视频数据处理层中的分布式计算框架的输入源，将每一帧图像分别传入分布式计算框架中进行处理，利用分布式计算框架的并行能力在视频数据处理层的各个GPU中进行视频的并行处理。

进一步的，所述步骤(2)中GPU资源调度层通过基于GPU的资源调度方法实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；

基于GPU的资源调度方法的具体步骤为：

实时监控分布式计算框架中各个数据处理组件的GPU使用状况，将GPU消耗过大的进程分配到有较强GPU的数据处理组件上。

进一步的，所述步骤(3)中存储层将视频处理结果上传到云存储服务器的具体步骤为：

聚合视频处理后的视频处理结果，并将聚合视频处理后的视频处理结果存储到存储服务器中。

进一步的，所述步骤(4)中服务层将视频处理结果可视化反馈给与其连接的客户端的具体步骤为：

针对客户端不同的业务需求与数据集，通过个性化的交互性强的数据可视化组件将服务层的视频处理结果反馈给与其连接的客户端。

本发明的有益效果：

1.本发明的一种基于深度学习的分布嵌入式实时视频流处理系统，在视频数据处理层中采用嵌入式GPU分布集群，进行视频数据的GPU并行处理，有效提高了视频流的处理效率，且降低了嵌入式系统的功耗。

2.本发明的一种基于深度学习的分布嵌入式实时视频流处理系统，将深度学习算法在嵌入式GPU处理器集群上运行，提高资源利用率、算法准确率和效率。

3.本发明的一种基于深度学习的分布嵌入式实时视频流处理方法中的基于GPU的资源调度方法，将分布式计算框架中的GPU资源调度与视频处理技术结合，有效提高了视频处理的效率；且通过实时监控分布式计算框架中国各个数据处理组件的GPU使用状况，将GPU消耗过大的进程分配到有较强GPU的数据处理组件上，解决视频处理会消耗大量的GPU资源的问题，从而避免由于计算量过大达不到实际应用场景中实时效果的问题，实现实时效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的系统结构示意图；

图2是本发明的方法流程图；

图3是本发明的基于GPU的资源调度方法流程图。

具体实施方式：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面结合附图与实施例对本发明作进一步说明。

实施例1：

正如背景技术所介绍的，现有技术中存在嵌入式设备无法对连续视频数据进行快速处理，以及在处理高流量和实时流数据时带宽、延迟和可用性中存在的问题，提供一种基于深度学习的分布嵌入式实时视频流处理系统及方法，该系统及方法大幅度地提高了视频流处理的效率，减少了嵌入式设备的功耗。

为了实现上述目的，本实施例采用如下一种技术方案：

一种基于深度学习的分布嵌入式实时视频流处理系统，如图1所示，该系统包括：

视频数据采集层，所述视频数据采集层采集视频数据并进行预处理；

和

视频数据处理层，所述视频数据处理层包括嵌入式GPU分布集群，根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；

和

GPU资源调度层，所述GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；

和

存储层，所述存储层包括云存储服务器，将视频处理结果上传到云存储服务器进行存储；

和

服务层，所述服务层与客户端连接，将视频处理结果可视化反馈给客户端。

所述视频数据采集层包括摄像装置和嵌入式微处理器，所述嵌入式微处理器包括视频采集模块和视频预处理模块；

所述视频数据采集层通过嵌入式微处理器的视频采集模块连接摄像装置采集视频数据，采集的视频数据传输至视频预处理模块进行视频数据的预处理，所述视频预处理模块与视频数据处理层连接，将预处理后的视频数据传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。

在本实施例中，摄像装置选用高清摄像头，嵌入式微处理器选用ARM板。

在本实施例中，如图1所示，所述视频数据处理层的嵌入式GPU分布集群包括三个GPU进行视频处理，三个GPU分别与所述GPU资源调度层连接。

所述视频数据处理层包括深度学习模块，所述深度学习模块包括数据采集模块、训练模块和测试模块；

所述数据采集模块采集不同种类的视频数据集，并将视频数据集70％的视频数据作为训练数据集，剩余30％的视频数据作为测试数据集；

所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；

所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。

实施例2：

正如背景技术所介绍的，现有技术中存在嵌入式设备无法对连续视频数据进行快速处理，以及在处理高流量和实时流数据时带宽、延迟和可用性中存在的问题，提供一种基于深度学习的分布嵌入式实时视频流处理系统及方法，该系统及方法大幅度地提高了视频流处理的效率，减少了嵌入式设备的功耗。

为了实现上述目的，本实施例采用如下另一种技术方案：

一种基于深度学习的分布嵌入式实时视频流处理方法，如图2所示，该方法基于上述实施例一种基于深度学习的分布嵌入式实时视频流处理系统，该方法的具体步骤包括：

(S1)视频数据采集：视频数据采集层采集视频数据并进行预处理；

(S2)视频数据处理和GPU资源调度：将深度学习算法部署在GPU嵌入式分布集群上；视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；

GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；

(S3)视频数据存储：存储层将视频处理结果上传到云存储服务器进行存储；

(S4)视频处理结果显示：服务层将视频处理结果可视化反馈给与其连接的客户端。

所述步骤(S1)中的视频数据采集的预处理的具体步骤为：

在视频预处理模块中，将接收的视频数据进行解码，解码为帧图像传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。

可选的，在视频预处理模块中，获取来自流媒体服务器的实时视频流，将实时视频流解码为帧图像，传输每一帧图像至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。

所述步骤(S2)中将深度学习算法部署在GPU嵌入式分布集群上的具体步骤为：

(2-1a)所述数据采集模块采集不同种类的视频数据集，并根据比例分为训练数据集和测试数据集；

(2-2a)所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；

(2-3a)所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。

所述步骤(S2)中视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理的具体步骤为：

将从视频预处理模块中得到的帧图像作为视频数据处理层中的分布式计算框架的输入源，将每一帧图像分别传入分布式计算框架中进行处理，利用分布式计算框架的并行能力在视频数据处理层的各个GPU中根据深度学习网络模型进行视频的并行处理。

在本实施例中，分布式计算框架选用Storm框架，Storm框架为实时或接近实时地处理大数据流的分布式计算框架。将从视频预处理模块中得到的帧图像作为Storm框架的输入源，将每一帧图像分别传入Storm框架中进行处理，利用Storm框架的并行能力在视频数据处理层的各个GPU中进行视频的并行处理。

所述步骤(S2)中，由于视频处理会消耗大量的GPU资源，GPU资源调度层通过基于GPU的资源调度方法实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；解决视频处理会消耗大量的GPU资源的问题，从而避免由于计算量过大达不到实际应用场景中实时效果的问题，实现实时效果。

如图3所示，基于GPU的资源调度方法的具体步骤为：

(2-1b)实时监控分布式计算框架中各个数据处理组件的GPU使用状况，即实时监控各个任务队列；

(2-2b)判断当前视频处理任务是否GPU消耗过大，若是，进入步骤(2-3b)，若否，在当前GPU执行视频处理任务；

(2-3b)根据GPU使用情况列表和GPU计算能力列表，重新选择计算能力大的GPU，将GPU消耗过大的进程分配到有较强GPU的数据处理组件上。

所述步骤(S3)中存储层将视频处理结果上传到云存储服务器的具体步骤为：

聚合视频处理后的视频处理结果，并将聚合视频处理后的视频处理结果存储到HDFS存储服务器中。

HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

所述步骤(S4)中服务层将视频处理结果可视化反馈给与其连接的客户端的具体步骤为：

针对客户端不同的业务需求与数据集，通过个性化的交互性强的数据可视化组件将服务层的视频处理结果反馈给与其连接的客户端。

本发明的有益效果：

1.本发明的一种基于深度学习的分布嵌入式实时视频流处理系统，在视频数据处理层中采用嵌入式GPU分布集群，进行视频数据的GPU并行处理，有效提高了视频流的处理效率，且降低了嵌入式系统的功耗。

2.本发明的一种基于深度学习的分布嵌入式实时视频流处理系统，将深度学习算法在嵌入式GPU处理器集群上运行，提高资源利用率、算法准确率和效率。

3.本发明的一种基于深度学习的分布嵌入式实时视频流处理方法中的基于GPU的资源调度方法，将分布式计算框架中的GPU资源调度与视频处理技术结合，有效提高了视频处理的效率；且通过实时监控分布式计算框架中国各个数据处理组件的GPU使用状况，将GPU消耗过大的进程分配到有较强GPU的数据处理组件上，解决视频处理会消耗大量的GPU资源的问题，从而避免由于计算量过大达不到实际应用场景中实时效果的问题，实现实时效果。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：该系统包括：

视频数据采集层，所述视频数据采集层采集视频数据并进行预处理；

视频数据处理层，所述视频数据处理层包括嵌入式GPU分布集群，根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；

GPU资源调度层，所述GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；

存储层，所述存储层包括云存储服务器，将视频处理结果上传到云存储服务器进行存储；

服务层，所述服务层与客户端连接，将视频处理结果可视化反馈给客户端。

2.如权利要求1所述的一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：所述视频数据采集层包括摄像装置和嵌入式微处理器，所述嵌入式微处理器包括视频采集模块和视频预处理模块；

所述视频数据采集层通过嵌入式微处理器的视频采集模块连接摄像装置采集视频数据，采集的视频数据传输至视频预处理模块进行视频数据的预处理，所述视频预处理模块与视频数据处理层连接，将预处理后的视频数据传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。

3.如权利要求1所述的一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：所述视频数据处理层的嵌入式GPU分布集群包括至少两个的GPU进行视频处理，所述GPU分别与所述GPU资源调度层连接。

4.如权利要求1所述的一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：所述视频数据处理层包括深度学习模块，所述深度学习模块包括数据采集模块、训练模块和测试模块；

所述数据采集模块采集不同种类的视频数据集，并根据比例分为训练数据集和测试数据集；

所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；

所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。

5.一种基于深度学习的分布嵌入式实时视频流处理方法，该方法基于如权利要求1-4任一所述的一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：该方法的具体步骤包括：

(1)视频数据采集：视频数据采集层采集视频数据并进行预处理；

(2)视频数据处理和GPU资源调度：将深度学习算法部署在GPU嵌入式分布集群上；视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；

GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；

(3)视频数据存储：存储层将视频处理结果上传到云存储服务器进行存储；

(4)视频处理结果显示：服务层将视频处理结果可视化反馈给与其连接的客户端。

6.如权利要求5所述的一种基于深度学习的分布嵌入式实时视频流处理方法，其特征是：所述步骤(1)中的视频数据采集的预处理的具体步骤为：

在视频预处理模块中，将接收的视频数据进行解码，解码为帧图像传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。

7.如权利要求5所述的一种基于深度学习的分布嵌入式实时视频流处理方法，其特征是：所述步骤(2)中将深度学习算法部署在GPU嵌入式分布集群上的具体步骤为：

(2-1a)所述数据采集模块采集不同种类的视频数据集，并根据比例分为训练数据集和测试数据集；

(2-2a)所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；

(2-3a)所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。

8.如权利要求6所述的一种基于深度学习的分布嵌入式实时视频流处理方法，其特征是：所述步骤(2)中视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理的具体步骤为：

将从视频预处理模块中得到的帧图像作为视频数据处理层中的分布式计算框架的输入源，将每一帧图像分别传入分布式计算框架中进行处理，利用分布式计算框架的并行能力在视频数据处理层的各个GPU中进行视频的并行处理。

9.如权利要求5所述的一种基于深度学习的分布嵌入式实时视频流处理方法，其特征是：所述步骤(2)中GPU资源调度层通过基于GPU的资源调度方法实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；

基于GPU的资源调度方法的具体步骤为：

实时监控分布式计算框架中各个数据处理组件的GPU使用状况，将GPU消耗过大的进程分配到有较强GPU的数据处理组件上。

10.如权利要求5所述的一种基于深度学习的分布嵌入式实时视频流处理方法，其特征是：所述步骤(3)中存储层将视频处理结果上传到云存储服务器的具体步骤为：

聚合视频处理后的视频处理结果，并将聚合视频处理后的视频处理结果存储到存储服务器中；

所述步骤(4)中服务层将视频处理结果可视化反馈给与其连接的客户端的具体步骤为：

针对客户端不同的业务需求与数据集，通过个性化的交互性强的数据可视化组件将服务层的视频处理结果反馈给与其连接的客户端。