CN113674188A - 视频分析方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本发明提出了一种视频分析方法、装置、电子设备和可读存储介质，视频分析方法包括：解封装视频流，得到第一视频数据，其中第一视频数据包括N个图像信息，其中N为正整数；分别解码N个图像信息，得到N个图像信息对应的N个图片帧；拼接N个图片帧，得到对应的第二视频数据；根据预设的推理模型和第二视频数据，生成视频流对应的分析结果。本发明提出的方法解决了相关技术中视频分析效率低的问题。

Description

视频分析方法、装置、电子设备和可读存储介质

技术领域

本发明涉及视频分析领域，具体而言，涉及一种视频分析方法、装置、电子设备和可读存储介质。

背景技术

在相关技术中，一般的做法是将视频流拉取、视频流解封装、视频解码由一台服务器执行，模型推理、颜色格式转换、可视化展示及将结果返回给业务系统由另一台服务器执行。解码部分调用ffmpeg进行CPU(central processing unit，中央处理器)解码，不调用GPU(graphics processing unit，图形处理器)进行硬件解码加速，为获得较佳的推理性能会使用多进程进行模型推理，这种视频分析方法的效率很低。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的第一方面提出了一种视频分析方法。

本发明的第二方面提出了一种视频分析装置。

本发明的第三方面提出了一种电子设备。

本发明的第四方面提出了一种可读存储介质。

有鉴于此，根据本发明的第一方面，提出了一种视频分析方法，视频分析方法用于服务器，视频分析方法包括：解封装视频流，得到第一视频数据，其中第一视频数据包括N个图像信息，其中N为正整数；分别解码N个图像信息，得到N个图像信息对应的N个图片帧；拼接N个图片帧，得到对应的第二视频数据；根据预设的推理模型和第二视频数据，生成视频流对应的分析结果。

本发明提出的视频分析方法，在读取要分析的视频流后，解析读取到的视频流，解除视频流的封装，将视频流分离为音频、视频等信息，以得到第一视频数据，其中，第一视频数据包括N个图像信息。在解封装视频流后，解码得到的N个图像信息，得到与N个图像信息相对应的N个图片帧。然后将得到的图片帧拼接起来，得到与之对应的第二视频数据。最后利用预设的推理模型来推理第二视频数据，得到与视频流对应的分析结果。

本发明在得到N个图片帧之后，将多个图片帧拼接起来，拼接成为一张图片再推理，利用推理模型进行一次推理就能够得到分析结果。而不需要如现有的分析方法那样，推理完一个图片帧之后再推理下一个。因此，有效提高了视频分析的效率。

进一步地，可以利用DeepStream工具包所包含的插件来执行视频分析方法的步骤。例如，可以利用h264parse插件来解除视频流的封装，解析H264格式的视频流，得到解封装后的第一视频数据。还可以利用nvstreammux插件来对视频流进行批处理操作，将N个图片帧拼接成为一张图片。

具体地，GStreamer是一个用于开发流式多媒体应用的开源框架，它用于创建流媒体应用程序。插件是在运行时动态加载的共享库，可以独立扩展和升级。当把插件链接在一起时，插件形成处理流水线，该流水线定义了流媒体应用程序的数据流。DeepStream是一个数据流处理工具包，它基于GStreamer框架，可以很方便的实现对视频流的拉取、视频的解码、模型推理等工作，可高效的完成图像分类、目标检测、识别和跟踪等任务。DeepStream应用程序是一组模块化插件，这些插件相连接以形成处理管道，每个插件代表一个功能块。DeepStream应用程序框架具有硬件加速构建块，可将深层神经网络和其他复杂处理任务带入流处理管道。利用基于GStreamer框架的DeepStream工具包所包含的插件来执行视频分析方法的步骤，能够进行并行解码加速和并行模型推理，最佳的内存管理以及插件之间的零内存复制以及各种加速应用的使用可极大化利用服务器CPU和GPU资源，使得实时支持的视频分析路数大大提升，极大提高了实际工程的投入产出比，可解决现有的智能视频分析方法在经济效益投入产出比低等方面存在不足的问题。

更进一步地，在解封装视频流之前，还可以利用source插件来读取要分析的视频流，其中视频流可以包含视频数据或图像数据。

另外，根据本发明上述技术方案提出的视频分析方法，还可以具有以下技术特征：

在一种可能的设计中，服务器包括硬件解码器和解码加速软件，解码N个图像信息，具体包括：通过硬件解码器和解码加速软件解码N个图像信息。

在该设计中，服务器包括硬件解码器和解码加速软件。在硬件解码器分别解码N个图像信息时，解码加速软件能够提高硬件解码器的解码速度。本发明在解码时利用解码加速软件提高解码速度，有效提高了视频分析效率。进一步地，硬件解码器和解码加速软件配合使用，能够支持多个视频流并行解码，提高了同时支持的实时视频分析路数，突破了相关技术对同时实时视频分析路数的限制。

进一步地，硬件解码器可以利用nvv4l2decoder插件来解码第一视频数据。

在一种可能的设计中，服务器包括硬件推理器和推理加速软件，根据预设的推理模型和第二视频数据，生成视频流对应的分析结果，具体包括：通过硬件推理器和推理加速软件，根据推理模型推理第二视频数据。

在该设计中，服务器包括硬件推理器和推理加速软件。在硬件推理器根据预设的推理模型来推理第二视频数据时，推理加速软件能够提高硬件推理器的推理速度，以更快生成视频流对应的分析结果。在服务器上就能直接进行推理操作，而不需要专门的推理服务器，也就是说，在同一台服务器上执行视频分析的所有步骤，不需要在两台服务器之间由内存调入或调出，提高了视频分析的效率。

进一步地，硬件推理器和推理加速软件可以利用nvinfer插件进行推理。

在一种可能的设计中，在生成视频流对应的分析结果之后，还包括：将分析结果的颜色编码格式由I420格式转换为RGBA格式。

在该设计中，将生成的分析结果由I420格式转换为能够可视化展示的RGBA格式，能够使展示的分析结果更加直观。

进一步地，可以利用nvvideoconvert插件进行格式转换。

进一步地，在对分析结果可视化展示时，可以利用Gst-nvdsosd插件绘制展示的边界框、分割蒙版、添加标签、添加文本和多边形的关注区，还可以对图像进行注释和渲染。

更进一步地，在生成分析结果后，还能够将视频分析结果传送给业务平台进行业务软件，以在业务平台进行进一步的分析或者长期归档。

根据本发明的第二方面，提出了一种视频分析装置，用于服务器，具体包括：解封装单元，用于解封装视频流，得到第一视频数据，其中第一视频数据包括N个图像信息，其中N为正整数；解码单元，用于分别解码N个图像信息，得到N个图像信息对应的N个图片帧；批处理单元，用于拼接N个图片帧，得到对应的第二视频数据；推理单元，用于根据预设的推理模型和第二视频数据，生成视频流对应的分析结果。

具体地，本发明提出的视频分析装置用于服务器，包括解封装单元、解码单元、批处理单元和推理单元。在读取要分析的视频流后，解封装单元能够解析读取到的视频流，解除视频流的封装，将视频流分离为音频、视频等信息，得到第一视频数据，其中，第一视频数据包括N个图像信息。在解封装视频流后，通过解码单元解码得到的N个图像信息，得到与N个图像信息相对应的N个图片帧。然后批处理单元将得到的图片帧拼接起来，得到与之对应的第二视频数据。最后推理单元利用预设的推理模型来推理第二视频数据，得到与视频流对应的分析结果。

本发明在得到N个图片帧之后，批处理单元将多个图片帧拼接起来，拼接成为一张图片再推理，之后推理单元利用推理模型进行一次推理就能够得到分析结果。而不需要如现有的分析方法那样，推理完一个图片帧之后再推理下一个。因此，有效提高了视频分析的效率。

进一步地，可以利用DeepStream工具包所包含的插件来执行视频分析方法的步骤。例如，可以利用h264parse插件来解除视频流的封装，解析H264格式的视频流，得到解封装后的第一视频数据。还可以利用nvstreammux插件来对视频流进行批处理操作，将N个图片帧拼接成为一张图片。

具体地，GStreamer是一个用于开发流式多媒体应用的开源框架，它用于创建流媒体应用程序。插件是在运行时动态加载的共享库，可以独立扩展和升级。当把插件链接在一起时，插件形成处理流水线，该流水线定义了流媒体应用程序的数据流。DeepStream是一个数据流处理工具包，它基于GStreamer框架，可以很方便的实现对视频流的拉取、视频的解码、模型推理等工作，可高效的完成图像分类、目标检测、识别和跟踪等任务。DeepStream应用程序是一组模块化插件，这些插件相连接以形成处理管道，每个插件代表一个功能块。DeepStream应用程序框架具有硬件加速构建块，可将深层神经网络和其他复杂处理任务带入流处理管道。利用基于GStreamer框架的DeepStream工具包所包含的插件来执行视频分析方法的步骤，能够进行并行解码加速和并行模型推理，最佳的内存管理以及插件之间的零内存复制以及各种加速应用的使用可极大化利用服务器CPU和GPU资源，使得实时支持的视频分析路数大大提升，极大提高了实际工程的投入产出比，可解决现有的智能视频分析方法在经济效益投入产出比低等方面存在不足的问题。

更进一步地，在解封装视频流之前，还可以利用source插件来读取要分析的视频流，其中视频流可以包含视频数据或图像数据。

另外，根据本发明上述技术方案提出的视频分析装置，还可以具有以下技术特征：

在一种可能的设计中，服务器包括硬件解码器和解码加速软件，视频分析装置还包括：解码加速单元，用于通过硬件解码器和解码加速软件解码N个图像信息。

在该设计中，服务器包括硬件解码器和解码加速软件，视频分析装置还包括解码加速单元。在硬件解码器解码N个图像信息时，解码加速单元能够利用解码加速软件来提高硬件解码器的解码速度。本发明在解码时，解码加速单元利用解码加速软件提高解码速度，有效提高了视频分析效率。进一步地，使硬件解码器和解码加速软件配合使用，能够支持多个视频流并行解码，提高了同时支持的实时视频分析路数，突破了相关技术对同时实时视频分析路数的限制。

进一步地，硬件解码器可以利用nvv4l2decoder插件来解码第一视频数据。

在一种可能的设计中，服务器包括硬件推理器和推理加速软件，视频分析装置还包括：推理加速单元，用于通过硬件推理器和推理加速软件，根据推理模型推理第二视频数。

在该设计中，服务器包括硬件推理器和推理加速软件。在硬件推理器根据预设的推理模型来推理第二视频数据时，推理加速单元能够利用推理加速软件来提高硬件推理器的推理速度，以更快生成视频流对应的分析结果。通过硬件推理器和推理加速软件在服务器上进行推理操作，而不需要专门的推理服务器，也就是说，在同一台服务器上执行视频分析的所有步骤，不需要在两台服务器之间由内存调入或调出，提高了视频分析的效率。

进一步地，硬件推理器和推理加速软件可以利用nvinfer插件进行推理。

在一种可能的设计中，视频分析装置包括：转换单元，用于将分析结果的颜色编码格式由I420格式转换为RGBA格式。

在该设计中，视频分析装置还包括转换单元，转换单元能够将生成的分析结果由I420格式转换为能够可视化展示的RGBA格式，能够使展示的分析结果更加直观。

进一步地，可以利用nvvideoconvert插件进行格式转换。

进一步地，在对分析结果可视化展示时，可以利用Gst-nvdsosd插件绘

进一步地，视频分析装置还包括展示单元，在对分析结果可视化展示时，展示单元还可以利用Gst-nvdsosd插件绘制展示的边界框、分割蒙版、添加标签、添加文本和多边形的关注区，也可以通过展示单元对图像进行注释和渲染。

更进一步地，在生成分析结果后，还能够将视频分析结果传送给业务平台进行业务应用，以在业务平台进行进一步的分析或者长期归档。

根据本发明的第三方面，提供了一种电子设备，包括存储器，存储有程序或指令；控制器，控制器执行程序或指令时实现如上述第一方面的任一设计的视频分析方法的步骤，因而具备该视频分析方法的全部有益效果，在此不再赘述。

根据本发明的第四方面，提供了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述第一方面的任一设计的视频分析方法的步骤，因而具备该视频分析方法的全部有益效果，在此不再赘述。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本发明第一方面的一个实施例的视频分析方法的流程示意图；

图2示出了本发明第一方面的另一个实施例的视频分析方法的插件示意图；

图3示出了本发明第一方面的另一个实施例的视频分析方法的流程示意图；

图4示出了本发明第二方面的一个实施例的视频分析装置的结构框图；

图5示出了本发明第三方面的一个实施例的电子设备的结构框图。

其中，图4和图5中附图标记与部件名称之间的对应关系为：

400视频分析装置，402解封装单元，404解码单元，406批处理单元，408推理单元，410解码加速单元，412推理加速单元，414转换单元，500电子设备，510存储器，520控制器。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明第一方面的实施例，提出一种视频分析方法，用于服务器。如图1所示，该方法包括：

S102，解封装视频流，得到第一视频数据，其中第一视频数据包括N个图像信息，其中N为正整数；

S104，分别解码N个图像信息，得到N个图像信息对应的N个图片帧；

S106，拼接N个图片帧，得到对应的第二视频数据；

S108，根据预设的推理模型和第二视频数据，生成视频流对应的分析结果。

本发明实施例提出的视频分析方法，在读取要分析的视频流后，解析读取到的视频流，解除视频流的封装，将视频流分离为音频、视频等信息，以得到第一视频数据，其中，第一视频数据包括N个图像信息。在解封装视频流后，解码得到的N个图像信息，得到与N个图像信息相对应的N个图片帧。然后将得到的图片帧拼接起来，得到与之对应的第二视频数据。最后利用预设的推理模型来推理第二视频数据，得到与视频流对应的分析结果。

本发明在得到N个图片帧之后，将多个图片帧拼接起来，拼接成为一张图片再推理，利用推理模型进行一次推理就能够得到分析结果。而不需要如现有的分析方法那样，推理完一个图片帧之后再推理下一个。因此，有效提高了视频分析的效率。

进一步地，可以利用DeepStream工具包所包含的插件来执行视频分析方法的步骤。例如，可以利用h264parse插件来解除视频流的封装，解析H264格式的视频流，得到解封装后的第一视频数据。还可以利用nvstreammux插件来对视频流进行批处理操作，将N个图片帧拼接成为一张图片。

具体地，GStreamer是一个用于开发流式多媒体应用的开源框架，它用于创建流媒体应用程序。插件是在运行时动态加载的共享库，可以独立扩展和升级。当把插件链接在一起时，插件形成处理流水线，该流水线定义了流媒体应用程序的数据流。DeepStream是一个数据流处理工具包，它基于GStreamer框架，可以很方便的实现对视频流的拉取、视频的解码、模型推理等工作，可高效的完成图像分类、目标检测、识别和跟踪等任务。DeepStream应用程序是一组模块化插件，这些插件相连接以形成处理管道，每个插件代表一个功能块。DeepStream应用程序框架具有硬件加速构建块，可将深层神经网络和其他复杂处理任务带入流处理管道。利用基于GStreamer框架的DeepStream工具包所包含的插件来执行视频分析方法的步骤，能够进行并行解码加速和并行模型推理，最佳的内存管理以及插件之间的零内存复制以及各种加速应用的使用可极大化利用服务器CPU和GPU资源，使得实时支持的视频分析路数大大提升，极大提高了实际工程的投入产出比，可解决现有的智能视频分析方法在经济效益投入产出比低等方面存在不足的问题。

更进一步地，在解封装视频流之前，还可以利用source插件来读取要分析的视频流，其中视频流可以包含视频数据或图像数据。

在一些实施例中，服务器包括硬件解码器和解码加速软件，解码第一视频数据，具体包括：通过硬件解码器和解码加速软件解码N个图像信息。

在该实施例中，服务器包括硬件解码器和解码加速软件。在硬件解码器解码N个图像信息时，解码加速软件能够提高硬件解码器的解码速度。本发明在解码时利用解码加速软件提高解码速度，有效提高了视频分析效率。进一步地，硬件解码器和解码加速软件配合使用，能够支持多个视频流并行解码，提高了同时支持的实时视频分析路数，突破了相关技术对同时实时视频分析路数的限制。

进一步地，硬件解码器可以利用nvv4l2decoder插件来解码第一视频数据。

在一些实施例中，服务器包括硬件推理器和推理加速软件，根据预设的推理模型和第二视频数据，生成视频流对应的分析结果，具体包括：通过硬件推理器和推理加速软件，根据推理模型推理第二视频数据。

在该实施例中，服务器包括硬件推理器和推理加速软件。在硬件推理器根据预设的推理模型来推理第二视频数据时，推理加速软件能够提高硬件推理器的推理速度，以更快生成视频流对应的分析结果。在服务器上就能直接进行推理操作，而不需要专门的推理服务器，也就是说，在同一台服务器上执行视频分析的所有步骤，不需要在两台服务器之间由内存调入或调出，提高了视频分析的效率。

进一步地，硬件推理器和推理加速软件可以利用nvinfer插件进行推理。

在一些实施例中，在生成视频流对应的分析结果之后，还包括：将分析结果的颜色编码格式由I420格式转换为RGBA格式。

在该实施例中，将生成的分析结果由I420格式转换为能够可视化展示的RGBA格式，能够使展示的分析结果更加直观。

进一步地，可以利用nvvideoconvert插件进行格式转换。

进一步地，在对分析结果可视化展示时，还可以利用Gst-nvdsosd插件绘制展示的边界框、分割蒙版、添加标签、添加文本和多边形的关注区，还可以对图像进行注释和渲染。

更进一步地，在生成分析结果后，还能够将视频的分析结果传送给业务平台进行业务应用，以在业务平台进行进一步的分析或者长期归档。

图2示出了本发明第一方面的另一个实施例的视频分析方法的插件示意图，在该实施例中，首先利用source插件读取视频流(也即拉取视频流)，然后利用h264parser插件解封装读取到的视频流，得到第一视频数据。接着利用nvv4l2decoder插件来解码第一视频数据所包括的N个图像信息，以得到N个图像信息对应的N个图片帧，然后利用nvstreammux插件来对视频流进行批处理操作，将N个图片帧拼接成为一张图片，得到对应的第二视频数据。在拼接图片之后，利用nvinfer插件进行推理，得到分析结果，再利用nvvidconv插件对分析结果进行格式转换，转换成为能够被可视化展示的格式，最后是利用nvosd插件对分析结果进行可视化展示，并发送至业务平台，以使业务平台能够读取并使用分析结果进行业务应用。

图3示出了本发明第一方面的另一个实施例的视频分析方法的流程示意图，该方法包括：

S302，支持多种视频格式数据接入；

S304，去除视频流的封装格式；

S306，将视频流解码成图片；

S308，将解码后的多个视频帧(图片)沿着指定维度拼接在一起；

S310，利用预训练的模型在GPU上进行推理；

S312：将视频流数据格式从I420转换为RGBA；

S314：将分析结果可视化展示；

S316：将分析结果传送给业务平台进行业务应用。

在该实施例中，首先读取视频流，也就是执行视频流拉取操作，接着解除视频流的封装，将视频流分离为音频、视频等信息。在解封装视频流后，对解封装后的视频流执行解码操作，将解封装后的视频流解码成多个图片。然后通过批处理操作将解码后的多个图片也就是多个视频帧沿指定维度拼接起来，得到第二视频数据。再利用预先训练好的推理模型在GPU(图像处理服务器)上对第二视频数据进行推理。在得到分析结果后，将视频流数据对应的分析结果的颜色编码格式由I420格式转换为RGBA格式，以实现分析结果的可视化展示。最后将视频的分析结果传送至业务平台，以使业务平台能够利用分析结果进行业务应用。

如图4所示，本发明的第二方面提出了一种视频分析装置400，用于服务器，具体包括：解封装单元402，用于解封装视频流，得到第一视频数据，其中第一视频数据包括N个图像信息，其中N为正整数；解码单元404，用于解码N个图像信息，得到N个图像信息对应的N个图片帧；批处理单元406，用于拼接N个图片帧，得到对应的第二视频数据；推理单元408，用于根据预设的推理模型和第二视频数据，生成视频流对应的分析结果。

具体地，在读取要分析的视频流后，解封装单元402能够解析读取到的视频流，解除视频流的封装，将视频流分离为音频、视频等信息，得到第一视频数据，其中，第一视频数据包括N个图像信息。在解封装视频流后，通过解码单元404解码得到的N个图像信息，得到与N个图像信息相对应的N个图片帧。然后批处理单元406将得到的图片帧拼接起来，得到与之对应的第二视频数据。最后推理单元408利用预设的推理模型来推理第二视频数据，得到与视频流对应的分析结果。

本发明在得到N个图片帧之后，批处理单元406将多个图片帧拼接起来，拼接成为一张图片再推理，之后推理单元408利用推理模型进行一次推理就能够得到分析结果。而不需要如现有的分析方法那样，推理完一个图片帧之后再推理下一个。因此，有效提高了视频分析的效率。

进一步地，可以利用DeepStream工具包所包含的插件来执行视频分析方法的步骤。例如，可以利用h264parse插件来解除视频流的封装，解析H264格式的视频流，得到解封装后的第一视频数据。还可以利用nvstreammux插件来对视频流进行批处理操作，将N个图片帧拼接成为一张图片。

具体地，GStreamer是一个用于开发流式多媒体应用的开源框架，它用于创建流媒体应用程序。插件是在运行时动态加载的共享库，可以独立扩展和升级。当把插件链接在一起时，插件形成处理流水线，该流水线定义了流媒体应用程序的数据流。DeepStream是一个数据流处理工具包，它基于GStreamer框架，可以很方便的实现对视频流的拉取、视频的解码、模型推理等工作，可高效的完成图像分类、目标检测、识别和跟踪等任务。DeepStream应用程序是一组模块化插件，这些插件相连接以形成处理管道，每个插件代表一个功能块。DeepStream应用程序框架具有硬件加速构建块，可将深层神经网络和其他复杂处理任务带入流处理管道。利用基于GStreamer框架的DeepStream工具包所包含的插件来执行视频分析方法的步骤，能够进行并行解码加速和并行模型推理，最佳的内存管理以及插件之间的零内存复制以及各种加速应用的使用可极大化利用服务器CPU和GPU资源，使得实时支持的视频分析路数大大提升，极大提高了实际工程的投入产出比，可解决现有的智能视频分析方法在经济效益投入产出比低等方面存在不足的问题。

更进一步地，在解封装视频流之前，还可以利用source插件来读取要分析的视频流，其中视频流可以包含视频数据或图像数据。

另外，根据本发明上述技术方案提出的视频分析装置400，还可以具有以下技术特征：

在一些实施例中，服务器包括硬件解码器和解码加速软件，视频分析装置400还包括：解码加速单元410，用于通过硬件解码器和解码加速软件解码N个图像信息。

在该实施例中，服务器包括硬件解码器和解码加速软件，视频分析装置400还包括解码加速单元410。在硬件解码器解码第一视频数据时，解码加速单元410能够利用解码加速软件来提高硬件解码器的解码速度。本发明在解码时，解码加速单元410利用解码加速软件提高解码速度，有效提高了视频分析效率。进一步地，使硬件解码器和解码加速软件配合使用，能够支持多个视频流并行解码，提高了同时支持的实时视频分析路数，突破了相关技术对同时实时视频分析路数的限制。

进一步地，硬件解码器可以利用nvv4l2decoder插件来解码第一视频数据。

在一些实施例中，服务器包括硬件推理器和推理加速软件，视频分析装置400还包括：推理加速单元412，用于通过硬件推理器和推理加速软件解码，根据推理模型推理第二视频数。

在该实施例中，服务器包括硬件推理器和推理加速软件。在硬件推理器根据预设的推理模型来推理第二视频数据时，推理加速单元412能够利用推理加速用于来提高硬件推理器的推理速度，以更快生成视频流对应的分析结果。通过硬件推理器和推理加速用于在服务器上进行推理操作，而不需要专门的推理服务器，也就是说，在同一台服务器上执行视频分析的所有步骤，不需要在两台服务器之间由内存调入或调出，提高了视频分析的效率。

进一步地，硬件推理器和推理加速软件可以利用nvinfer插件进行推理。

如图4所示，在一些实施例中，视频分析装置400包括：转换单元414，用于将分析结果的颜色编码格式由I420格式转换为RGBA格式。

在该实施例中，视频分析装置400还包括转换单元414，转换单元414能够将生成的分析结果由I420格式转换为能够可视化展示的RGBA格式，能够使展示的分析结果更加直观。

一步地，可以利用nvvideoconvert插件进行格式转换。

进一步地，视频分析装置400还包括展示单元，在对分析结果可视化展示时，展示单元还可以利用Gst-nvdsosd插件绘制展示的边界框、分割蒙版、添加标签、添加文本和多边形的关注区，也可以通过展示单元对图像进行注释和渲染。

更进一步地，在生成分析结果后，还能够将视频分析结果传送给业务平台进行业务应用，以在业务平台进行进一步的分析或者长期归档。

如图5所示，根据本发明的第三方面，提供了一种电子设备500，包括存储器510，存储有程序或指令；控制器520，控制器520执行程序或指令时实现如上述第一方面的任一设计的视频分析方法的步骤，因而具备该视频分析方法的全部有益效果，在此不再赘述。

根据本发明的第四方面，提供了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述第一方面的任一设计的视频分析方法的步骤，因而具备该视频分析方法的全部有益效果，在此不再赘述。

可读存储介质可以包括能够存储或传输信息的任何介质。可读存储介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的网络被下载。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者计算机设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者计算机设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者计算机设备中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和计算机设备的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频分析方法，其特征在于，所述视频分析方法基于服务器，所述视频分析方法包括：

解封装视频流，得到第一视频数据，其中所述第一视频数据包括N个图像信息，其中N为正整数；

分别解码所述N个图像信息，得到所述N个图像信息对应的N个图片帧；

拼接所述N个图片帧，得到对应的第二视频数据；

根据预设的推理模型和所述第二视频数据，生成所述视频流对应的分析结果。

2.根据权利要求1所述的视频分析方法，其特征在于，所述服务器包括硬件解码器，所述服务器上部署解码加速软件，所述分别解码所述N个图像信息，具体包括：

通过所述硬件解码器和所述解码加速软件解码所述第一视频数据。

3.根据权利要求1所述的视频分析方法，其特征在于，所述服务器包括硬件推理器，所述服务器上部署推理加速应用，所述根据预设的推理模型和所述第二视频数据，生成所述视频流对应的分析结果，具体包括：

通过所述硬件推理器和所述推理加速软件，根据所述推理模型推理所述第二视频数据。

4.根据权利要求1所述的视频分析方法，其特征在于，在所述生成所述视频流对应的分析结果之后，还包括：

将所述分析结果的颜色编码格式由I420格式转换为RGBA格式。

5.一种视频分析装置，其特征在于，所述视频分析装置用于服务器，所述视频分析装置包括：

解封装单元，用于解封装视频流，得到第一视频数据，其中所述第一视频数据包括N个图像信息，其中N为正整数；

解码单元，用于分别解码所述N个图像信息，得到所述N个图像信息对应的N个图片帧；

批处理单元，用于拼接所述N个图片帧，得到对应的第二视频数据；

推理单元，用于根据预设的推理模型和所述第二视频数据，生成所述视频流对应的分析结果。

6.根据权利要求5所述的视频分析装置，其特征在于，所述服务器包括硬件解码器，所述服务器上部署解码加速软件，所述视频分析装置还包括：

解码加速单元，用于通过所述硬件解码器和所述解码加速软件解码所述第一视频数据。

7.根据权利要求5所述的视频分析装置，其特征在于，所述服务器包括硬件推理器，所述服务器上部署推理加速软件，所述视频分析装置还包括：

推理加速单元，用于通过所述硬件推理器和所述推理加速软件，根据所述推理模型推理所述第二视频数据。

8.根据权利要求5所述的视频分析装置，其特征在于，所述视频分析装置包括：

转换单元，用于将所述分析结果的颜色编码格式由I420格式转换为RGBA格式。

9.一种电子设备，其特征在于，包括：

存储器，存储有程序或指令；

控制器，所述控制器执行所述程序或指令时实现如权利要求1至4中任一项所述的视频分析方法。

10.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至4中任一项所述的视频分析方法的步骤。

Images