CN110493626A - 视频数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种视频数据处理的方法及装置，属于计算机技术领域。在本申请中，终端可以创建GStreamer进程，在GStreamer进程中构建用于处理视频数据的管道，管道可以包括解码容器和推理元件。由于解码容器中有多个解码元件，每个解码元件可以获取一路视频数据并进行解码，因此通过解码容器可以获取多路视频数据，并对多路视频数据进行解码。由于本申请在一个GStreamer进程的一条管道中可以同时获取并处理多路视频数据，因此，相较于相关技术中在多个GStreamer进程的多条管道中分别获取并处理一路视频数据，减少了需要创建的GStreamer进程数，减少了对终端的处理器和内存的资源的占用。

Description

视频数据处理方法及装置

技术领域

本申请涉及计算机技术领域，特别涉及一种视频数据处理方法及装置。

背景技术

GStreamer是一个基于插件的开源多媒体框架库，利用GStreamer可以构建一系列流媒体应用。GStreamer框架下提供有多种元件，终端可以通过连接这些元件来构建管道，通过构建的管道来获取并处理RTSP(Real Time Streaming Protocol，实时流传输协议)视频数据。

相关技术中，在某些场景中，终端可能需要同时获取多路RTSP视频数据，例如：在多人进行视频通话的时候。在这种情况下，由于每条GStreamer进程中最多可以构建两条管道，因此，终端可以创建多个GStreamer进程，通过在多个GStreamer进程中构建的多条管道来获取并处理多路RTSP视频数据。

由此可见，相关技术中，终端需要同时构建多个GStreamer进程，在多个GStreamer进程中构建多条管道来获取并处理多路RTSP视频数据。当终端要获取的RTSP视频数据有较多路时，需要创建的GStreamer进程数也较多，这将占用较多的终端的处理器和内存的资源。

发明内容

本申请实施例提供了一种视频数据处理方法及装置，解决了在获取多路视频数据时，创建多个GStreamer进程从而占用较多的终端的处理器和内存的资源的问题。所述技术方案如下：

一方面，提供了一种视频数据处理方法，所述方法包括：

创建GStreamer进程，在所述GStreamer进程中构建用于处理视频数据的管道，所述管道包括解码容器和推理元件，所述解码容器包括多个解码元件，每个解码元件用于对一路视频数据进行解码；

通过所述解码容器获取多路视频数据，对所述多路视频数据进行解码，得到多路解码视频数据；

通过所述推理元件对所述多路解码视频数据中的每路解码视频数据进行处理，得到每路解码视频数据对应的处理结果。

可选地，每个解码元件的属性信息中均包括统一资源标识符URI；

所述通过所述解码容器获取多路视频数据，包括：

通过所述解码容器包括的多个解码元件中的每个解码元件，从每个解码元件对应的URI所指示的视频源获取视频数据。

可选地，所述解码容器包括多个第一衬垫，所述多个第一衬垫与所述多个解码元件一一对应，每个衬垫用于输出对应的解码元件解码得到的解码视频数据。

可选地，所述管道还包括汇流元件，所述汇流元件包括多个第二衬垫，所述多个第二衬垫与所述多个第一衬垫一一对应，所述解码容器和所述汇流元件通过所述多个第一衬垫和所述多个第二衬垫连接；

所述通过所述解码容器获取多路视频数据，对所述多路视频数据进行解码，得到多路解码视频数据之后，还包括：

通过所述汇流元件将所述多路解码视频数据转换为串行数据，所述串行数据包括所述多路解码视频数据。

可选地，所述通过所述汇流元件将所述多路解码视频数据转换为串行数据，包括：

通过所述汇流元件为每路解码视频数据添加流标识，所述流标识用于唯一标识一路解码视频数据；

根据添加流标识后的多路解码视频数据生成所述串行数据。

可选地，所述通过所述推理元件对所述多路解码视频数据中的每路解码视频数据进行处理，得到每路解码视频数据对应的处理结果之后，还包括：

根据每路解码视频数据的流标识，确定每路解码视频数据在当前设备的显示屏中对应的显示区域；

将每路解码视频数据和对应的处理结果显示在对应的显示区域内。

另一方面，提供了一种视频数据处理装置，所述装置包括：

创建模块，用于创建GStreamer进程，在所述GStreamer进程中构建用于处理视频数据的管道，所述管道包括解码容器和推理元件，所述解码容器包括多个解码元件，每个解码元件用于对一路视频数据进行解码；

解码模块，用于通过所述解码容器获取多路视频数据，对所述多路视频数据进行解码，得到多路解码视频数据；

处理模块，用于通过所述推理元件对所述多路解码视频数据中的每路解码视频数据进行处理，得到每路解码视频数据对应的处理结果。

可选地，每个解码元件的属性信息中均包括统一资源标识符URI；

所述解码模块具体用于：

通过所述解码容器包括的多个解码元件中的每个解码元件，从每个解码元件对应的URI所指示的视频源获取视频数据。

可选地，所述解码容器包括多个第一衬垫，所述多个第一衬垫与所述多个解码元件一一对应，每个衬垫用于输出对应的解码元件解码得到的解码视频数据。

可选地，所述管道还包括汇流元件，所述汇流元件包括多个第二衬垫，所述多个第二衬垫与所述多个第一衬垫一一对应，所述解码容器和所述汇流元件通过所述多个第一衬垫和所述多个第二衬垫连接；

所述装置还包括：

汇流模块，用于通过所述汇流元件将所述多路解码视频数据转换为串行数据，所述串行数据包括所述多路解码视频数据。

可选地，所述汇流模块包括：

添加子模块，用于通过所述汇流元件为每路解码视频数据添加流标识，所述流标识用于唯一标识一路解码视频数据；

生成子模块，用于根据添加流标识后的多路解码视频数据生成所述串行数据。

可选地，所述装置还包括：

确定模块，用于根据每路解码视频数据的流标识，确定每路解码视频数据在当前设备的显示屏中对应的显示区域；

显示模块，用于将每路解码视频数据和对应的处理结果显示在对应的显示区域内。

另一方面，提供了一种视频数据处理装置，所述装置包括处理器、通信接口、存储器和通信总线；

其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；

所述存储器用于存放计算机程序；

所述处理器用于执行所述存储器上所存放的程序，以实现前述提供视频数据处理方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现前述提供的视频数据处理方法的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，终端可以创建GStreamer进程，在GStreamer进程中构建用于处理视频数据的管道，该管道可以包括解码容器和推理元件。由于解码容器中有多个解码元件，每个解码元件可以获取一路视频数据并进行解码，因此通过该管道的解码容器可以同时获取多路视频数据，并对这多路视频数据进行解码。由于本申请在一个GStreamer进程的一条管道中可以同时获取并处理多路视频数据，因此，相较于相关技术中在多个GStreamer进程的多条管道中分别获取并处理一路视频数据，减少了需要创建的GStreamer进程数，减少了对终端的处理器和内存的资源的占用。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种多人视频通话场景下的视频数据处理的系统架构图；

图2是本申请实施例提供的一种视频数据处理方法的流程图；

图3是本申请实施例提供的一种显示方法的示意图；

图4是本申请实施例提供的一种视频数据处理装置的结构示意图；

图5是本申请实施例提供的另一种视频数据处理装置的结构示意图；

图6是本申请实施例提供的又一种视频数据处理装置的结构示意图；

图7是本申请实施例提供的一种视频数据处理终端的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的应用场景予以介绍。

当前，在很多场景下，终端需要同时获取并处理多路视频数据，以进行显示。例如，在多人进行视频通话的时候，当前用户的终端需要获取参与视频通话的每个用户的RTSP视频数据，也即终端需要同时获取并处理多路RTSP视频数据，进而进行显示。再例如，在监控场景中，用于显示监控画面的终端可以同时获取多个摄像头采集的多路视频数据，并对多路视频数据进行目标检测，进而将检测结果和多路视频数据分区显示在终端的显示屏的各个区域。本申请实施例提供的视频数据处理方法，即可以用于在上述场景中，同时获取多路RTSP视频数据，并对视频流数据进行处理。

接下来对本申请实施例提供的视频数据处理方法所涉及的系统架构进行介绍。

图1是本申请实施例提供的一种多人视频通话场景下的视频数据处理的系统架构图。如图1所示，该视频数据处理系统100包括服务器101和多个终端102。服务器101和多个终端102之间通过无线或有线方式连接以进行通信。

其中，服务器101可以接收多个终端102实时上传的多路视频数据，之后，对于每个终端102，服务器可以将接收到的多路视频数据除该终端102之外的其他终端102发送的视频数据，通过流式协议发送至其他终端102，以供其他终端的用户在线同时观看。

多个终端102中的每个终端102可以接收服务器101传输的多路视频数据并进行播放。在进行播放前，终端102可以通过连接多个元件形成管道，之后，通过该管道对多路视频数据进行解码，并对经过解码的视频数据进行处理，之后，终端102可以对经过处理的多路视频数据进行显示。

在本申请实施例中，服务器101可以是用于上述视频流传输的一台服务器或者一个服务器集群。终端102可以为智能手机、平板电脑、台式电脑等设备，本申请实施例对此不做限定。

上述系统架构仅是本申请实施例给出的一种可能场景下的系统架构。在某些场景中，例如在监控场景下，该视频处理系统架构中可以包括多个摄像头和终端。在这种情况下，多个摄像头可以实时采集多路视频数据，并将实时采集的多路视频数据发送至终端，终端可以通过本申请实施例提供的视频数据处理方法对采集到的多路视频数据进行处理。当然，在另外一些场景中，该视频处理架构还可以为其他，本申请实施例对此不做限定。

接下来对本申请实施例提供的视频数据处理方法进行介绍。

图2是本申请实施例提供的一种视频数据处理的方法流程图。该方法可以应用于终端中，该终端可以是指图1中的终端102。如图2所示，该方法包括以下步骤：

步骤201：创建GStreamer进程，在GStreamer进程中构建用于处理视频数据的管道，该管道包括解码容器和推理元件，解码容器包括多个解码元件，每个解码元件用于对一路视频数据进行解码。

在本申请实施例中，终端可以创建一个GStreamer进程，在该GStreamer进程中可以通过调用工厂函数创建多个元件，其中，多个元件中包括解码容器和推理元件。在创建多个元件之后，终端可以对该多个元件进行连接，以形成管道，以便后续通过该管道来获取视频数据。

其中，解码容器为一个容器元件，解码容器中包括多个解码元件。每个解码元件中包括一个源元件和一个解析元件，每个解码元件可以对获取一路视频数据并对该路视频数据进行解码。

在创建一个GStreamer进程后，终端可以调用元件创建函数创建一个解码容器、多个解码元件和一个推理元件，将多个解码元件装载到解码容器中，之后，将该解码容器和推理元件进行连接，从而得到一个管道。

其中，在创建解码元件时，终端可以调用装载函数将源元件和解析元件封装到解码元件中，之后，终端可以调用连接函数将封装在解码元件中的源元件和解析元件连接起来。当然，终端也可以先调用连接函数将源元件和解析元件连接起来，之后，在将连接好的源元件和解析元件封装到解码元件中。

由于一个解码元件中装载有一个源元件和一个解析元件，因此，解码元件可以通过源元件获取视频数据，将该视频数据发送给解析元件，进而通过解析元件对该视频数据进行解码。

示例性地，该元件创建函数可以为gst_element_factory_make()函数，gst_element_factory_make()函数的第一个参数为需要创建的元件的类型，第二个参数为需要创建的元件的标识。假设解析元件的类型为ffmpegcolorspace，该类型用于指示该元件可以将视频数据的色彩空间的格式进行转换，解析元件的标识为parser。终端可以将ffmpegcolorspace和parser作为gst_element_factory_make()函数的第一个参数和第二个参数，调用gst_element_factory_make(ffmpegcolorspace，parser)函数，从而创建一个解析元件parser。

可选地，终端也可以直接使用GStreamer框架中现有的解码元件。在GStreamer框架下提供有一个uridecodebin元件，该元件可以获取视频数据，并将该视频数据进行解码。基于此，本申请实施例中可以直接从GStreamer库中获取uridecodebin元件作为解码元件。

需要说明的是，在GStreamer框架中解码容器是一个箱柜，箱柜是一种容器元件，箱柜中可以装载多个元件。由于箱柜本身也是一种元件，因此可以像操作普通元件一样的操作箱柜。解码容器可以将一组解码元件组合成一个大的逻辑元件，这样，就不用对单个解码元件进行操作，而仅仅操作解码容器即可。

由于解码容器是一个箱柜，因此，在创建解码容器时，终端可以采用前述的元件创建函数，参考前述的元件创建方法来创建一个解码容器，也可以使用箱柜创建函数来创建得到一个解码容器。其中，该箱柜创建函数可以为gst_bin_new()。

在创建多个解码元件和解码容器后，终端可以调用装载函数，将该多个解码元件装载到解码容器中，该解码容器即可以作为管道中的一个元件。由于一个解码元件可以获取一路视频数据，并将该一路视频数据进行解码，而解码容器中包括多个解码元件，因此，解码容器可以同时获取多路视频数据，并对该多路视频数据进行解码。

示例性地，该装载函数可以为gst_bin_add()函数，在这种情况下，终端每调用一次该装载函数，可以将一个解码元件装载到该解码容器中。具体地，终端可以将待装载的解码元件的标识parser以及解码容器的标识bin作为该装载函数的参数，调用gst_bin_add(GST_BIN(bin),parser)，从而将解码元件parser装载到解码容器bin中。

可选地，该装载函数也可以为gst_bin_add_many()，在这种情况下，终端可以通过gst_bin_add_many()函数同时将装载多个解码元件parser封装到解码容器中。具体地，终端可以将多个解码元件的标识以及解码容器的标识作为该装载函数的参数，调用gst_bin_add_many(GST_BIN(bin),parser1,parser2,NULL)，从而将多个解码元件parser装载进入解码容器bin中。

在将多个解码元件装载到解码容器之后，终端可以调用连接函数，将解码容器和推理元件进行连接，从而形成管道，之后，终端即可以通过该管道来获取并处理视频数据。

示例性地，该连接函数可以为gst_element_link()函数，该函数的第一个参数是视频数据的输出元件的标识，第二个参数是视频数据的接收元件的标识。终端可以获取待连接的两个元件中输出视频数据的元件的标识和接收视频数据的元件的标识，将这两个参数作为连接函数的参数，调用gst_element_link()函数，从而将两个元件连接起来，连接后的两个元件之间即可以进行视频数据的传输。

可选地，在本申请实施例中，管道中还可以包括汇流元件。在这种情况下，在创建元件时，该终端还可以参考前述的元件创建方法创建一个汇流元件。之后，终端可以调用连接函数，将解码容器、汇流元件和推理元件依次连接起来。

需要说明的是，在GStreamer框架中元件间是通过衬垫连接的，并且连接的元件通过衬垫传输视频数据。该衬垫可以限制传输的视频数据的类型，只有当两个衬垫允许通过的视频数据的类型匹配时，才可以通过衬垫连接两个元件，并在元件间传输视频数据。

其中，由于解码容器中包括多个解码元件，每个解码元件都可以获取一路视频数据并解码，然后将经过解码得到的视频数据输出，因此，每个解码元件在解码容器中都有一个用于输出该解码元件解码后的视频数据的第一衬垫。也即，解码容器包括多个第一衬垫，多个第一衬垫与多个解码元件一一对应，每个衬垫用于传输对应的解码元件经过解码得到的视频数据。

相应的，汇流元件包括多个第二衬垫，多个第二衬垫与多个第一衬垫一一对应，解码容器和汇流元件通过多个第一衬垫和多个第二衬垫连接。

解码容器通过多个第一衬垫将解码视频数据传输给汇流元件，相应的，汇流元件可以通过多个第二衬垫接收解码视频数据。由于只有当两个衬垫允许通过的视频数据的类型匹配时，才可以进行视频数据的传输，因此，汇流元件中的每个第二衬垫均对应有一个与其允许通过的视频数据的类型匹配的第一衬垫，该第二衬垫可以接收对应的第一衬垫传输的解码视频数据。

步骤202：通过解码容器获取多路视频数据，对多路视频数据进行解码，得到多路解码视频数据。

由于在网络上传输视频数据时，是以RTSP流的形式通过RTSP协议传输，因此每一个视频源都会有一个地址。基于此，终端在创建多个解码元件后，还可以在每个解码元件的属性信息设置URI，该URI用于指示该解码元件所要获取一路视频数据的视频源的地址。基于此，在构建得到管道之后，终端可以通过解码容器包括的多个解码元件中的每个解码元件，从每个解码元件对应的URI所指示的视频源获取视频数据。其中，每个解码元件的属性信息中的URI不同。

示例性地，终端可以根据每个解码元件的URI，向服务器请求获取该URI指示的视频源的视频数据，并接收服务器传输的该视频数据源的视频数据。获得视频数据后，解码元件对该视频数据进行解码。由于解码容器中包括多个解码元件，因此，解码容器可以同时获取多个视频源的视频数据，并对该多路视频数据进行解码，也即，解码容器可以同时获取多路视频数据，并对该多路视频数据进行解码。

在通过解码容器获取多路视频数据并解码后，终端可以通过该解码容器将经过解码的多路视频数据输出，由于经过解码的多路视频数据是通过多个解码元件分别进行解码得到的，因此多个解码元件中的每个解码元件可以输出一路解码后的视频数据。

在一种可能的实现方式中，当解码容器直接和推理元件连接时，在该GStreamer中还可以包括一个数据池，在这种情况下，该解码容器可以将多路解码视频数据输出至数据池。后续，推理元件可以从该数据池获取各路解码视频数据，进而对各路解码视频数据进行推理处理。

可选地，当解码容器、汇流元件和推理元件依次连接时，解码容器包括的多个解码元件可以通过各自对应的第一衬垫输出自身解码得到的一路解码视频数据。相应地，汇流元件可以通过多个第二衬垫接收对应的第一衬垫输出的解码视频数据。

在通过解码容器将多路解码视频数据传输至汇流元件之后，终端可以通过汇流元件将多路解码视频数据转换为串行数据，串行数据包括多路解码视频数据。其中，汇流元件通过多个第二衬垫接收多路解码视频数据时，多路解码视频数据时并行的，为了便于后续推理元件能够依次对各路视频数据进行推理运算，在本申请实施例中，终端可以通过汇流元件将多路并行的解码视频数据转换为一路串行数据。

示例性地，终端可以通过汇流元件为每路解码视频数据添加流标识，流标识用于唯一标识一路解码视频数据；根据添加流标识后的多路解码视频数据生成串行数据。

其中，汇流元件可以对不同第二衬垫接收的解码视频数据添加不同的流标识，以对从不同视频源获得视频数据进行区分。之后，汇流元件可以将该带有标识的多路并行的解码视频数据转换为连续成一路串行数据。

需要说明的是，汇流元件可以对不同第二衬垫接收的解码视频数据进行编号，从同一个第二衬垫接收的一路解码视频数据编号相同，从不同第二衬垫接收的解码视频数据编号不同。可选地，可以按照第二衬垫的排列顺序进行编号，或者其他的编号方式，在此不做限定。

对多个解码视频数据进行编号后，可以根据多个解码视频数据的编号，将该多个解码视频数据按编号的顺序转换成一路串行数据，例如，将编号为1的解码视频数据放在首部作为该串行数据的数据头，编号为2的解码视频数据放在编号为1的解码视频数据之后，以此类推。

步骤203：通过推理元件对多路解码视频数据中的每路解码视频数据进行处理，得到每路解码视频数据对应的处理结果。

通过汇流元件对每路解码视频数据添加流标识，并将添加流标识后的多路解码视频数据转换成一路串行数据后，将该一路串行数据传输到推理元件。

在通过解码容器输出多路解码视频数据，或者是通过汇流元件输出包含有多路解码视频数据的串行数据之后，推理元件可以对接收到的每路解码视频数据进行处理，从而得到每路解码视频数据对应的处理结果。

示例性地，当通过解码容器输出多路解码视频数据时，该多路解码视频数据可以进入到数据池，之后，推理元件可以依次获取数据池中的每路解码视频数据，并对每路解码视频数据进行处理。

可选地，当通过汇流元件输出包含有多路解码视频数据的串行数据时，推理元件可以直接接收该串行数据，并根据串行数据中的流标识来区分各路解码视频数据，进而对各路解码视频数据进行处理。

其中，推理元件可以是将处理算法的引擎封装后得到插件。通过配置该推理元件的属性可以设置该推理元件加载算法模型、标签、动态库的路径。其中，该算法模型可以是指用于进行目标检测的且训练好的深度学习模型。

对于每路视频数据，终端通过推理元件将该路视频数据中包括的每帧图像作为算法模型的输入，进而通过该算法模型对每帧图像进行目标检测，从而得到每帧图像的目标检测结果。其中，该目标检测结果包括在该帧图像中检测到目标物体所在的区域的位置。之后，该推理元件可以输出每帧图像对应的目标检测结果。此时，每路解码视频数据对应的处理结果即为该路视频数据中每帧图像的目标检测结果。

在得到每路视频数据对应的处理结果之后，推理元件可以将每路解码视频数据和对应的处理结果输出至该终端的显示单元，以便该终端的显示单元对该解码视频数据和处理结果进行显示。

其中，当每路解码视频数据均对应有一个流标识时，该终端可以根据每路解码视频数据的流标识，确定每路解码视频数据在当前设备的显示屏中对应的显示区域；将每路解码视频数据和对应的处理结果显示在对应的显示区域内。

示例性地，终端可以根据不同流标识的个数将显示屏划分为多个显示区域，不同的流标识对应的显示区域不同。终端在接收到经过算法推理的带有流标识的视频数据后，可以根据每一路解码视频数据的流标识，在对应的显示区域内显示该路解码视频数据，并根据该路解码视频数据包含的每帧图像的目标检测结果，在相应帧图像中标识出检测到的目标物体。

可选地，当每路解码视频数据没有对应的流标识时，该终端可以随机为各路解码视频数据分配对应的显示区域，并将相应地解码视频数据和对应的处理结果显示在对应的显示区域内。

需要说明的是，由于从不同视频源获得的视频数据的分辨率可能不同，因此，在进行显示的时候，可以根据解码视频数据的分辨率和该解码视频数据对应的显示区域的大小，对解码视频数据进行缩放。

示例性地，参见图3，终端从四个视频源处获得了视频数据，通过解码容器对该四路视频数据进行解码，得到四路解码视频数据。汇流元件根据视频源的不同为四路解码视频数据添加不同的流标识，并将该添加流标识的四路解码视频数据转换成一路串行数据。将该串行数据传输至推理元件，推理元件对四路解码视频数据进行算法推理，并输出经过算法推理的带有流标识的解码视频数据。终端获得经过算法推理的带有流标识的解码视频数据之后，可以将四路数据显示在终端显示屏的四个大小相等的显示区域中，每个显示区域内显示一路视频源的解码视频数据。

在本申请实施例中，终端可以创建GStreamer进程，在GStreamer进程中构建用于处理视频数据的管道，该管道可以包括解码容器和推理元件。由于解码容器中有多个解码元件，每个解码元件可以获取一路视频数据并进行解码，因此通过该管道的解码容器可以同时获取多路视频数据，并对这多路视频数据进行解码。由于本申请在一个GStreamer进程的一条管道中可以同时获取并处理多路视频数据，因此，相较于相关技术中在多个GStreamer进程的多条管道中分别获取并处理一路视频数据，减少了需要创建的GStreamer进程数，减少了对终端的处理器和内存的资源的占用。

接下来对本申请实施例提供的视频数据处理装置进行介绍。

参见图4，本申请实施例提供了一种视频数据处理装置400，该视频数据处理装置可以应用于客户端中，该装置400包括：

创建模块401，用于创建GStreamer进程，在GStreamer进程中构建用于处理视频数据的管道，管道包括解码容器和推理元件，解码容器包括多个解码元件，每个解码元件用于对一路视频数据进行解码；

解码模块402，用于通过解码容器获取多路视频数据，对多路视频数据进行解码，得到多路解码视频数据；

处理模块403，用于通过推理元件对多路解码视频数据中的每路解码视频数据进行处理，得到每路解码视频数据对应的处理结果。

可选地，每个解码元件的属性信息中均包括统一资源标识符URI；

该解码模块402具体用于：

通过解码容器包括的多个解码元件中的每个解码元件，从每个解码元件对应的URI所指示的视频源获取视频数据。

可选地，该解码容器包括多个第一衬垫，多个第一衬垫与多个解码元件一一对应，每个衬垫用于输出对应的解码元件解码得到的解码视频数据。。

可选地，该管道还包括汇流元件，汇流元件包括多个第二衬垫，多个第二衬垫与多个第一衬垫一一对应，解码容器和汇流元件通过多个第一衬垫和多个第二衬垫连接；

参见图5，该装置还包括：

汇流模块404，用于通过汇流元件将多路解码视频数据转换为串行数据，串行数据包括多路解码视频数据。

可选地，该汇流模块404包括：

添加子模块，用于通过汇流元件为每路解码视频数据添加流标识，流标识用于唯一标识一路解码视频数据；

生成子模块，用于根据添加流标识后的多路解码视频数据生成串行数据。

可选地，参见图6，该装置还包括：

确定模块405，用于根据每路解码视频数据的流标识，确定每路解码视频数据在当前设备的显示屏中对应的显示区域；

显示模块406，用于将每路解码视频数据和对应的处理结果显示在对应的显示区域内。

在本申请实施例中，终端可以创建GStreamer进程，在GStreamer进程中构建用于处理视频数据的管道，该管道可以包括解码容器和推理元件。由于解码容器中有多个解码元件，每个解码元件可以获取一路视频数据并进行解码，因此通过该管道的解码容器可以同时获取多路视频数据，并对这多路视频数据进行解码。由于本申请在一个GStreamer进程的一条管道中可以同时获取并处理多路视频数据，因此，相较于相关技术中在多个GStreamer进程的多条管道中分别获取并处理一路视频数据，减少了需要创建的GStreamer进程数，减少了对终端的处理器和内存的资源的占用。

需要说明的是：上述实施例提供的视频数据处理装置在视频数据处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是根据一示例性实施例示出的一种视频数据处理终端700的结构框图。其中，该终端700可以是笔记本电脑、台式电脑等。

通常，终端700包括有：处理器701和存储器702。

处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，其中，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的视频数据处理的方法。

在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。

外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。需要说明的是，在本申请实施例中，当该终端700为横屏终端时，该终端700的显示屏的宽高比大于1，例如，该终端700的显示屏的宽高比可以为16:9或4:3。当该终端700为竖屏终端时，则该终端700的显示屏的宽高比小于1，例如，该终端700的显示屏的宽高比可以为9:18或3:4等。

摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。

定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或欧盟的伽利略系统的定位组件。

电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。

加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。

光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。

接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。

也即是，本申请实施例不仅提供了一种终端，包括处理器和用于存储处理器可执行指令的存储器，其中，处理器被配置为执行图2所示的视频数据处理方法，而且，本申请实施例还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时可以实现图2所示的视频数据处理方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图2所示实施例提供的视频数据处理方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种视频数据处理方法，其特征在于，所述方法包括：

创建GStreamer进程，在所述GStreamer进程中构建用于处理视频数据的管道，所述管道包括解码容器和推理元件，所述解码容器包括多个解码元件，每个解码元件用于对一路视频数据进行解码；

通过所述解码容器获取多路视频数据，对所述多路视频数据进行解码，得到多路解码视频数据；

通过所述推理元件对所述多路解码视频数据中的每路解码视频数据进行处理，得到每路解码视频数据对应的处理结果。

2.根据权利要求1所述的方法，其特征在于，每个解码元件的属性信息中均包括统一资源标识符URI；

所述通过所述解码容器获取多路视频数据，包括：

通过所述解码容器包括的多个解码元件中的每个解码元件，从每个解码元件对应的URI所指示的视频源获取视频数据。

3.根据权利要求1或2所述的方法，其特征在于，所述解码容器包括多个第一衬垫，所述多个第一衬垫与所述多个解码元件一一对应，每个衬垫用于输出对应的解码元件解码得到的解码视频数据。

4.根据权利要求3所述的方法，其特征在于，所述管道还包括汇流元件，所述汇流元件包括多个第二衬垫，所述多个第二衬垫与所述多个第一衬垫一一对应，所述解码容器和所述汇流元件通过所述多个第一衬垫和所述多个第二衬垫连接；

所述通过所述解码容器获取多路视频数据，对所述多路视频数据进行解码，得到多路解码视频数据之后，还包括：

通过所述汇流元件将所述多路解码视频数据转换为串行数据，所述串行数据包括所述多路解码视频数据。

5.根据权利要求4所述的方法，其特征在于，所述通过所述汇流元件将所述多路解码视频数据转换为串行数据，包括：

通过所述汇流元件为每路解码视频数据添加流标识，所述流标识用于唯一标识一路解码视频数据；

根据添加流标识后的多路解码视频数据生成所述串行数据。

6.根据权利要求5所述的方法，其特征在于，所述通过所述推理元件对所述多路解码视频数据中的每路解码视频数据进行处理，得到每路解码视频数据对应的处理结果之后，还包括：

根据每路解码视频数据的流标识，确定每路解码视频数据在当前设备的显示屏中对应的显示区域；

将每路解码视频数据和对应的处理结果显示在对应的显示区域内。

7.一种视频数据处理装置，其特征在于，所述装置包括：

创建模块，用于创建GStreamer进程，在所述GStreamer进程中构建用于处理视频数据的管道，所述管道包括解码容器和推理元件，所述解码容器包括多个解码元件，每个解码元件用于对一路视频数据进行解码；

解码模块，用于通过所述解码容器获取多路视频数据，对所述多路视频数据进行解码，得到多路解码视频数据；

处理模块，用于通过所述推理元件对所述多路解码视频数据中的每路解码视频数据进行处理，得到每路解码视频数据对应的处理结果。

8.根据权利要求7所述的装置，其特征在于，每个解码元件的属性信息中均包括统一资源标识符URI；

所述解码模块具体用于：

通过所述解码容器包括的多个解码元件中的每个解码元件，从每个解码元件对应的URI所指示的视频源获取视频数据。

9.根据权利要求7或8所述的装置，其特征在于，所述解码容器包括多个第一衬垫，所述多个第一衬垫与所述多个解码元件一一对应，每个衬垫用于输出对应的解码元件解码得到的解码视频数据。

10.根据权利要求9所述的装置，其特征在于，所述管道还包括汇流元件，所述汇流元件包括多个第二衬垫，所述多个第二衬垫与所述多个第一衬垫一一对应，所述解码容器和所述汇流元件通过所述多个第一衬垫和所述多个第二衬垫连接；

所述装置还包括：

汇流模块，用于通过所述汇流元件将所述多路解码视频数据转换为串行数据，所述串行数据包括所述多路解码视频数据。

11.根据权利要求10所述的装置，其特征在于，所述汇流模块包括：

添加子模块，用于通过所述汇流元件为每路解码视频数据添加流标识，所述流标识用于唯一标识一路解码视频数据；

生成子模块，用于根据添加流标识后的多路解码视频数据生成所述串行数据。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

确定模块，用于根据每路解码视频数据的流标识，确定每路解码视频数据在当前设备的显示屏中对应的显示区域；

显示模块，用于将每路解码视频数据和对应的处理结果显示在对应的显示区域内。