CN105163127A - 视频分析方法及装置 - Google Patents

Abstract

本发明提供一种视频分析方法及装置，该方法可以包括：根据D3D实例支持的格式，对图形处理单元GPU接收到的视频流进行硬解码处理；将所述硬解码处理得到的解码图像数据存储至所述D3D实例对应的显存地址空间中；将所述D3D实例对应的显存地址空间告知GPU中已创建的OpenCL实例，并由所述OpenCL实例按照所述显存地址空间读取所述解码图像数据；所述OpenCL实例对所述解码图像数据进行分析，并将得到的分析结果发送至中央处理单元CPU。通过本发明的技术方案，可以由GPU直接完成对视频流的解码和分析处理，无需在GPU和CPU之间对解码图像数据进行拷贝，有助于提升视频分析效率、降低CPU使用率。

Description

视频分析方法及装置

技术领域

本发明涉及视频处理技术领域，尤其涉及视频分析方法及装置。

背景技术

在传统的视频处理过程中，往往通过CPU(CentralProcessingUnit，中央处理单元)进行视频解码和分析处理。然而，由于CPU的性能限制，在视频解码方面往往效率较低，尤其是当视频分辨率较高(高清视频)时，CPU往往显得力不从心，造成设备存在卡顿等情况。

随着CPU制造工艺的不断进步，CPU性能也越来越强。然而，虽然CPU能够单独实现对高分辨率视频的流畅解码，但在一些多任务场景下，CPU仍然可能存在卡顿；同时，高性能的CPU意味着更高的成本，使得使用低性能CPU的低成本设备仍然难以较好地实现视频处理。

发明内容

有鉴于此，本发明提供一种视频分析方法及装置，可以解决相关技术中存在的技术问题。

为实现上述目的，本发明提供技术方案如下：

根据本发明的第一方面，提出了一种视频分析方法，包括：

根据D3D实例支持的格式，对图形处理单元GPU接收到的视频流进行硬解码处理；

将所述硬解码处理得到的解码图像数据存储至所述D3D实例对应的显存地址空间中；

将所述D3D实例对应的显存地址空间告知GPU中已创建的OpenCL实例，并由所述OpenCL实例按照所述显存地址空间读取所述解码图像数据；

所述OpenCL实例对所述解码图像数据进行分析，并将得到的分析结果发送至中央处理单元CPU。

根据本发明的第二方面，提出了一种视频分析装置，包括：

解码单元，根据D3D实例支持的格式，对图形处理单元GPU接收到的视频流进行硬解码处理；

存储单元，将所述硬解码处理得到的解码图像数据存储至所述D3D实例对应的显存地址空间中；

读取单元，将所述D3D实例对应的显存地址空间告知GPU中已创建的OpenCL实例，并由所述OpenCL实例按照所述显存地址空间读取所述解码图像数据；

分析单元，所述OpenCL实例对所述解码图像数据进行分析，并将得到的分析结果发送至中央处理单元CPU。

由以上技术方案可见，本发明通过将视频流硬解码为D3D实例支持的格式的解码图像数据，使得OpenCL实例可以直接从显存中读取该解码图像数据，无需在GPU和CPU之间对解码图像数据进行拷贝，有助于提升视频分析效率、降低CPU使用率。

附图说明

图1是相关技术中的一种视频分析处理方式的示意图；

图2是相关技术中的另一种视频分析处理方式的示意图；

图3是本发明一示例性实施例中的一种视频分析方法的流程图；

图4是本发明一示例性实施例中的另一种视频分析方法的流程图；

图5是本发明一示例性实施例中的一种视频分析处理方式的示意图；

图6是本发明一示例性实施例中的一种视频分析装置的框图。

具体实施方式

为了解决背景技术部分提及的技术问题，降低CPU在视频解码方面的处理压力，相关技术中提出了由GPU(GraphicsProcessingUnit，图形处理单元)执行视频解码(即硬解码)，而由CPU执行解码后的视频图像数据的分析处理，从而通过任务分担而极大地减轻了CPU的运行负担。

具体地，如图1所示，GPU通过预配置的解码器对接收到的视频流进行硬解码，得到的解码图像数据存储于显存中。由于解码图像数据在显存中采用非线性方式进行存储，导致CPU无法直接从显存中读取该解码图像数据，需要首先将该非线性存储的解码图像数据拷贝至内存中，并在内存中以线性方式进行存储，然后由CPU对内存中线性存储的解码图像数据进行读取和智能分析，得到相应的分析结果。

然而，图1所示的技术方案中，由于需要CPU对解码图像数据进行智能分析处理，既导致了CPU资源的占用，又浪费了GPU的强大计算处理能力；同时，还需要将显存中非线性的解码图像数据转换为线性数据，进一步造成了对CPU资源的占用。

为了降低图1所示的技术方案对CPU资源的占用情况，相关技术中进一步提出了图2所示的处理方式。如图2所示，通过利用OpenCL技术，分别在内存和显存中创建OpenCL实例，即OpenCL内存实例和OpenCL显存实例，可以通过将解码图像数据从内存中拷贝至OpenCL内存实例中，以及将解码图像数据进一步从OpenCL内存实例拷贝至OpenCL显存实例中，使得可以利用GPU对解码图像数据进行智能分析，并将分析结果传回CPU。

然而，虽然图2所示的实施例利用了GPU的计算处理能力，对解码图像数据进行智能分析处理，但由于解码图像数据需要在显存、内存、OpenCL内存实例和OpenCL显存实例等之间进行多次、反复的拷贝处理，仍然造成了对CPU资源的浪费。

因此，本发明通过对视频分析过程的改进，在充分利用GPU计算处理能力的同时，避免数据拷贝造成对CPU资源的浪费，以解决相关技术中存在的上述技术问题。为对本发明进行进一步说明，提供下列实施例：

图3是本发明一示例性实施例中的一种视频分析方法的流程图，如图3所示，该方法可以包括以下步骤：

步骤302，根据D3D实例支持的格式，对图形处理单元GPU接收到的视频流进行硬解码处理。

在本实施例中，“D3D”全称为“Direct3D”，是微软公司在MicrosoftWindows操作系统上所开发的一套基于微软的通用对象模式COM(CommonObjectMode)的3D图形编程接口。

步骤304，将该硬解码处理得到的解码图像数据存储至该D3D实例对应的显存地址空间中。

步骤306，将该D3D实例对应的显存地址空间告知GPU中已创建的OpenCL实例，并由该OpenCL实例按照该显存地址空间读取该解码图像数据。

在本实施例中，OpenCL(OpenComputingLanguage，开放运算语言)是一个为异构平台编写程序的框架；其中，异构平台可由CPU、GPU或其他类型的处理单元组成。而在本发明的技术方案中，OpenCL被应用于CPU和GPU形成的异构平台，使得GPU被应用于对视频流的解码和分析处理，以降低对CPU资源的占用，提升所属电子设备的运行流畅度。

在本实施例中，基于D3D实例的图像共享功能，使得OpenCL实例可以获得D3D实例对应的显存地址空间，从而无需在GPU和CPU之间的反复拷贝，即可直接从该显存地址空间读取相应的解码图像数据，实现分析处理，有助于提升视频分析效率、降低CPU占用。

步骤308，该OpenCL实例对该解码图像数据进行分析，并将得到的分析结果发送至中央处理单元CPU。

由以上技术方案可见，本发明通过将视频流硬解码为D3D实例支持的格式的解码图像数据，使得OpenCL实例可以直接从显存中读取该解码图像数据，无需在GPU和CPU之间对解码图像数据进行拷贝，有助于提升视频分析效率、降低CPU使用率。

图4是本发明一示例性实施例中的另一种视频分析方法的流程图，如图4所示，该方法可以包括以下步骤：

步骤402，GPU接收视频流。

在本实施例中，对于视频流的来源并不进行限制。举例而言，GPU所属的电子设备为视频监控系统中的视频播放设备，则视频流可以为该视频监控系统采集到的监控视频流，且该监控视频流可以为实时视频流数据，也可以为存储后再次播放的视频流数据。

步骤404，确定视频流的码流类型。

步骤406，选取对应于上述码流类型的解码器，对视频流进行硬解码处理。

在本实施例中，GPU中预配置了对应于多种码流类型的解码器，比如码流类型可以为H264、MPEG4等，本发明并不对此进行限制。因此，GPU可以通过解析确定当前接收到的视频流的码流类型，从而选取GPU中对应于该码流类型的解码器，以用于执行该硬解码处理。

举例而言，GPU可以利用Intel公司开发的核显(IntelQuickSyncVideo)技术，对视频流进行硬件码。比如当视频流的码流类型为H264时，假定电子设备中使用的是Intel公司生产的Corei7-3770型号的处理芯片时，其中的GPU可以解码四十多路1080P(分辨率为1920x1080)的H264码流，不会由于硬解码性能低而导致成为后续的智能分析(如步骤420)的瓶颈。

在本实施例中，GPU对视频流进行硬解码后，得到的解码图像数据可以为YUV格式，Y表示明亮度(Luminance或Luma)，也就是灰阶值；而U和V表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。其中，YUV是欧洲电视系统所采用的一种颜色编码方法，主要用于优化彩色视频信号的传输；对于采用YUV格式的图像信号，相比于RGB信号而言只需占用极少的带宽，有助于实现更为流畅的实时视频监控。

步骤408，将硬解码处理得到的解码图像数据存储至缓存池中。

在本实施例中，如图4所示，在步骤408之前，需要在GPU中建立D3D实例，并在该D3D实例对应的显存地址空间创建缓存池；因此，在步骤408中，正是将解码图像数据存储至该缓存池中。

在本实施例中，正是利用了D3D技术与OpenCL技术之间的关联性，可以实现GPU内部的直接数据传递，即D3D实例与下文描述的OpenCL实例之间直接传递上述的解码图像数据，从而避免了CPU与GPU之间的反复数据拷贝。因此，在步骤406中，除了在数据入口需要考虑解码器对于码流类型的支持情况，还需要在数据出口考虑D3D实例对解码图像数据的支持情况，因而应当确保解码图像数据的格式被D3D实例所支持，然后将得到的该格式的解码图像数据存储至缓存池中。

举例而言，解码图像数据可以采用NV12格式，属于YUV数据的一种存储格式，其特点在于：Y分量单独存放于一个位面(plane)中，而U和V交错排布在另一个位面中。当然，解码图像数据也可以采用其他D3D实例所支持的格式，本发明并不对此进行限制。

在本实施例中，解码图像数据存储于GPU显存时，可以采用瓦片状的数据排列方式，使得相邻的物理字节之间已经不再一一对应视频帧图片上的前后逻辑关系，但这种数据形式排列读写效率要大大高于线性方式，很适合GPU的并行计算，有助于减少访问冲突、提升数据读取效率，并进而提升视频分析效率。当然，由于解码图像数据在GPU中的存储方式为非线性方式，导致CPU不能简单直接访问该数据。

步骤410，从缓存池中读取解码图像数据的头部。

步骤412，解析头部。

步骤414，获取存储解码图像数据的显存地址空间。

步骤416，将显存地址空间告知OpenCL实例。

步骤418，OpenCL实例按照获得的显存地址空间，读取解码图像数据。

在本实施例中，OpenCL作为异构编程语言，可以用于使用EU(ExecutionUnit，执行单元；EU为运行OpenCL的电子设备上的并行计算核)的并行计算资源，使得OpenCL被用于实现智能分析算法时，该算法运行在GPU时可以增加处理路数。

在本实施例中，基于D3D实例所支持的扩展机制，可以对自身的图像数据进行共享，使得OpenCL实例能够通过读取和解析D3D实例的缓存池中的头部，确定D3D实例对应的显存地址空间，并读取其中存储的解码图像数据，而无需将解码图像数据在GPU与CPU等之间反复拷贝。

一方面，将基于本发明的技术方案的图5与相关技术中的图1相比，可知：本发明可以由GPU完全实现对视频流的解码和智能分析处理，充分利用了GPU的运算资源和处理能力，显著降低了对CPU资源的占用，有助于提升系统流畅度。

另一方面，将基于本发明的技术方案的图5与相关技术中的图2相比，可知：本发明通过D3D实例与OpenCL实例之间的直接数据交互，使得OpenCL实例可以直接从GPU的显存中读取解码图像数据，无需在显存、内存、OpenCL内存实例、OpenCL显存实例等之间反复拷贝解码图像数据，也不需要CPU将显存中非线性存储的解码图像数据转换为内存中线性存储的解码图像数据，进一步显著降低了对CPU资源的占用。

步骤420，OpenCL实例对解码图像数据进行智能分析。

步骤422，GPU将分析结构输至CPU。

在本实施例中，基于用户实际所需的分析目的，可以通过对智能分析的逻辑配置，实现任意形式的智能分析，本发明并不对此进行限制。

举例而言，当GPU接收到的视频流为监控视频流时，可以该OpenCL实例可以按照预定义的监控策略对该解码图像数据进行分析，并得到与该预设监控区域的监控状况相关的该分析结果。其中，预定义的监控策略包括以下至少之一：绊线检测、入侵检测、运动量检测等；同样地，可以根据实际情况对该监控策略进行配置，本发明并不对此进行限制。

此外，OpenCL实例可以将该解码图像数据转换至预设图像规格，以用于分析并得到该分析结果。比如GPU最初接收到的视频流为1080P(分辨率为1920x1080)视频流，并硬解码为1080P的NV12格式的解码图像数据，存储至D3D实例对应的显存地址空间；由于D3D实例的图像共享功能(基于IntelDirectX9提供的扩展机制)，使得OpenCL实例可以直接访问该显存地址空间内存储的解码图像数据，则OpenCL实例直接读取显存内的1080P的解码图像数据，并将其缩放至D1(分辨率为720x576)大小，以便于减少智能分析的数据量、提升智能分析效率；最后，将得到的智能分析结果输出至CPU，使CPU根据业务配置做相应的处理。

实际上，申请人通过实验证明得知：通过采用本发明的技术方案，使得相同的电子设备在执行同样的视频分析操作时，相比于相关技术而言，可以使视频分析性能提升至少25％，验证了本发明技术方案的有效性。

与上述的视频分析方法相对应的，本发明还提出了一种视频分析装置。请参考图6，在软件实施方式中，该视频分析装置可以包括：解码单元、存储单元、读取单元和分析单元。

其中，解码单元，根据D3D实例支持的格式，对图形处理单元GPU接收到的视频流进行硬解码处理；

存储单元，将所述硬解码处理得到的解码图像数据存储至所述D3D实例对应的显存地址空间中；

读取单元，将所述D3D实例对应的显存地址空间告知GPU中已创建的OpenCL实例，并由所述OpenCL实例按照所述显存地址空间读取所述解码图像数据；

分析单元，所述OpenCL实例对所述解码图像数据进行分析，并将得到的分析结果发送至中央处理单元CPU。

可选的，所述解码单元具体用于：

解析确定所述视频流的码流类型；

选取GPU中对应于所述码流类型的解码器，执行所述硬解码处理。

可选的，所述分析单元具体用于：

当所述视频流为预设监控区域的监控视频流时，所述OpenCL实例按照预定义的监控策略对所述解码图像数据进行分析，并得到与所述预设监控区域的监控状况相关的所述分析结果。

可选的，所述预定义的监控策略包括以下至少之一：

绊线检测、入侵检测、运动量检测。

可选的，还包括：

创建单元，在所述D3D实例对应的显存地址空间创建缓存池，以存储所述解码图像数据；

获取单元，从所述缓存池中获取所述解码图像数据的头部；

解析单元，解析所述头部，得到所述缓存池对应的显存地址空间，以告知所述OpenCL实例。

可选的，还包括：

转换单元，所述OpenCL实例将所述解码图像数据转换至预设图像规格，以用于分析并得到所述分析结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种视频分析方法，其特征在于，包括：

根据D3D实例支持的格式，对图形处理单元GPU接收到的视频流进行硬解码处理；

将所述硬解码处理得到的解码图像数据存储至所述D3D实例对应的显存地址空间中；

将所述D3D实例对应的显存地址空间告知GPU中已创建的OpenCL实例，并由所述OpenCL实例按照所述显存地址空间读取所述解码图像数据；

所述OpenCL实例对所述解码图像数据进行分析，并将得到的分析结果发送至中央处理单元CPU。

2.根据权利要求1所述的方法，其特征在于，所述对图形处理单元GPU接收到的视频流进行硬解码处理，包括：

解析确定所述视频流的码流类型；

选取GPU中对应于所述码流类型的解码器，执行所述硬解码处理。

3.根据权利要求1所述的方法，其特征在于，所述OpenCL实例对所述解码图像数据进行分析，包括：

当所述视频流为预设监控区域的监控视频流时，所述OpenCL实例按照预定义的监控策略对所述解码图像数据进行分析，并得到与所述预设监控区域的监控状况相关的所述分析结果。

4.根据权利要求3所述的方法，其特征在于，所述预定义的监控策略包括以下至少之一：

绊线检测、入侵检测、运动量检测。

5.根据权利要求1所述的方法，其特征在于，还包括：

在所述D3D实例对应的显存地址空间创建缓存池，以存储所述解码图像数据；

从所述缓存池中获取所述解码图像数据的头部；

解析所述头部，得到所述缓存池对应的显存地址空间，以告知所述OpenCL实例。

6.根据权利要求1所述的方法，其特征在于，还包括：

所述OpenCL实例将所述解码图像数据转换至预设图像规格，以用于分析并得到所述分析结果。

7.一种视频分析装置，其特征在于，包括：

解码单元，根据D3D实例支持的格式，对图形处理单元GPU接收到的视频流进行硬解码处理；

存储单元，将所述硬解码处理得到的解码图像数据存储至所述D3D实例对应的显存地址空间中；

读取单元，将所述D3D实例对应的显存地址空间告知GPU中已创建的OpenCL实例，并由所述OpenCL实例按照所述显存地址空间读取所述解码图像数据；

分析单元，所述OpenCL实例对所述解码图像数据进行分析，并将得到的分析结果发送至中央处理单元CPU。

8.根据权利要求7所述的装置，其特征在于，所述解码单元具体用于：

解析确定所述视频流的码流类型；

选取GPU中对应于所述码流类型的解码器，执行所述硬解码处理。

9.根据权利要求7所述的装置，其特征在于，所述分析单元具体用于：

当所述视频流为预设监控区域的监控视频流时，所述OpenCL实例按照预定义的监控策略对所述解码图像数据进行分析，并得到与所述预设监控区域的监控状况相关的所述分析结果。

10.根据权利要求9所述的装置，其特征在于，所述预定义的监控策略包括以下至少之一：

绊线检测、入侵检测、运动量检测。

11.根据权利要求7所述的装置，其特征在于，还包括：

创建单元，在所述D3D实例对应的显存地址空间创建缓存池，以存储所述解码图像数据；

获取单元，从所述缓存池中获取所述解码图像数据的头部；

解析单元，解析所述头部，得到所述缓存池对应的显存地址空间，以告知所述OpenCL实例。

12.根据权利要求7所述的装置，其特征在于，还包括：

转换单元，所述OpenCL实例将所述解码图像数据转换至预设图像规格，以用于分析并得到所述分析结果。