CN113301290A - 视频数据处理方法及视频会议终端 - Google Patents

Abstract

本发明公开了一种视频数据处理方法及视频会议终端。其中视频数据处理方法包括：摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到显卡的内部存储器中。以及显卡的GPU根据显示帧率从内部存储器读取采集到的原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至显卡的帧缓冲器中并输出至显示设备；同时GPU根据应用软件设置的编码参数从显卡的内部存储器读取采集到的原始图像帧，利用GPU或者显卡内的硬件加速器进行编码并得到压缩码流，此码流可以经由显卡与CPU的接口传到CPU，并且由CPU发送到网络远端或者后台。借此，本发明的视频数据处理方法，显卡提供基于压缩流的视频输入和输出接口，减少了开发工作量，缩短了开发周期。

Description

视频数据处理方法及视频会议终端

技术领域

本发明是关于网络视频会议技术领域，特别是关于一种视频数据处理方法及视频会议终端。

背景技术

随着网络技术的快速发展和线上视频沟通需求的持续增长，网络视频会议被越来越多的用户所接触和接受。使用更高视频分辨率和帧率来获得更加清晰和流畅的视频体验效果，也成为重要的视频会议功能和性能指标。

一般网络视频会议终端包括视频采集、编码、传输、解码、显示等主要模块；音频采集、前端处理、编码、传输、解码、后端处理、播放等主要功能模块。其中视频采集一般通过USB接口或HDMI接口来读取摄像头的原始图像帧，使用CPU或者GPU(或者专用编解码卡)对采集的图像进行编码，然后经过网络和后台服务器传输到指定的与会用户；同时该终端经过网络从后台服务器获取远端某用户的视频码流，使用CPU或者GPU(或者专用编解码卡)把视频码流解码成无压缩图像(YUV/RGB格式)，然后送到GPU进行渲染显示。

随着视频分辨率提高到4K和8K，视频会议终端需要处理的数据量也成倍增长：例如相同帧率下，4K视频比1080P视频的数据量扩大4倍，8K视频比1080P视频的数据量扩大16倍。视频数据量增大以后，视频会议终端的软件和硬件的设计与开发都将面临着新的问题和挑战，并且在ARM架构的芯片和主板上更为明显。这种情况下，支持4K/8K分辨率的视频会议只能在专用的终端设备上，普通办公电脑将不能方便的支持超高分辨率的视频处理。

目前市场上常见的显卡，除了图像渲染和图像输出功能外，很多都支持视频的编码和解码功能，例如英伟达/AMD的独立显卡，Intel集成显卡等，都支持视频编解码功能，但是一般都不具备视频采集功能。而视频采集一般通过主板的USB接口或者外接专用视频采集卡来实现。

现有技术存在以下问题或者不足：

1、x86/ARM架构的个人办公电脑支持4K/8K分辨率的视频会议技术难度较大或者较为复杂：

(1)、x86/ARM个人办公电脑一般不具备4K/8K分辨率视频的采集接口。普通个人办公电脑配置的USB2.0/3.0最高只能采集到1080P的视频分辨率。所以需要安装独立的专用视频采集卡实现4K/8K视频的采集。4K@30帧视频最低需要HDMI1.4接口，4K@60则最低需要HDMI2.0接口。8K视频需要更高速率的硬件输入接口。

(2)、x86/ARM个人办公电脑的CPU难以完成4K/8K视频的编码和解码功能，一般也不支持较高压缩率、较高复杂度的视频压缩算法，例如HEVC、AVS-2，VP9等。常见的解决办法是使用显卡的GPU或者独立的视频加速卡辅助进行编码和解码，但是未压缩的4K/8K原始视频数据量远远大于1080P，4K@30帧达到5Gbps以上，而4K@60帧超过了10Gbps，所以原始视频图像在采集卡、CPU、GPU之间传输需要较高的带宽。这将成为很多硬件设计方案的一个技术瓶颈或方案难点。

(3)、x86/ARM视频会议终端的视频解码和显示模块的接口独立，在二者之间传输未压缩的视频图像需要较高的传输带宽。4K/8K视频的压缩码流将使用GPU或者专用的硬件加速卡解码成原始图像帧，然后通过内部存储器接口或者PCI-E接口传输到显卡的GPU完成渲染和显示。4K/8K视频图像的高数据量将占用内部存储器或者PCI-E接口的较大吞吐量，进而可能影响其他模块或者程序的执行效率。

(4)、个人办公电脑一般为整机结构，安装独立的视频采集卡、编解码卡等，需要额外的物理空间，并且会改变该电脑的功耗、供电和物理结构，如果安装不当则会影响其稳定性和使用寿命。另外，有的个人电脑由于空间限制而无法安装这些功能板卡。

2、从应用软件开发角度来看，现在常用的视频渲染工具(例如D3D/OpenGL等)没有提供基于视频压缩码流的通用渲染接口。对于4K/8K超高分辨率的压缩码流，从效率角度考虑解码和渲染需要共模块，以尽量减少原始图像的搬移或传输。如果没有基于视频码流的渲染接口，软件设计需要考虑图像数据搬移的负载。

3、从设备成本角度考虑，使用多块板卡(采集卡、编解码卡和显卡)协同完成视频处理功能比使用单块板卡的成本要高很多。

4K/8K超高分辨率的原始图像数据量远远超过1080P，虽然面临的设备和技术难题较多，但是却为用户提高了更加清晰的视频体验，也将是视频会议技术发展和体验提升的方向之一。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种视频数据处理方法及视频会议终端，其显卡提供基于压缩流的视频输入和输出接口，应用软件只需要调用此接口便可以获取视频压缩流和显示视频图像，不再需要额外开发视频编码和解码功能；同时减少了主板和总线上传输原始图像所占用的带宽和CPU负载，降低了开发难度，减少了开发工作量，缩短了开发周期。

为实现上述目的，本发明一方面提供了一种视频数据处理方法及视频会议终端。其中视频数据处理方法包括：摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到显卡的内部存储器中。以及显卡的GPU根据显示帧率从内部存储器读取采集到的原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至显卡的帧缓冲器中并输出至显示设备。其中，GPU还能够根据应用软件设置的编码参数从显卡的内部存储器中读取采集到的原始图像的视频帧，并利用GPU或显卡内的硬件加速器进行编码并得到压缩码流，压缩码流能够经由显卡与CPU的接口传输到CPU，并且由CPU发送到网络远端或后台。

在本发明的一实施方式中，采集模块与GPU之间为异步处理，且使用FIFO队列或环形BUFFER机制存储接收到的视频帧。

在本发明的一实施方式中，当采集的视频规格与渲染显示的视频规格不一致时，则GPU完成规格转换。

基于同样的发明构思，本发明一实施方式中还提供了一种视频数据处理方法，其包括：摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到所述显卡的内部存储器中。所述显卡的GPU根据显示帧率从所述内部存储器中读取采集到的的所述原始图像的视频帧并完成多层SVC编码，且将所述SVC编码传输给CPU。所述CPU将所述SVC编码打包成RTP数据包，并将所述RTP数据包发送至远端服务器。所述远端服务器将所述RTP数据包发送至用户终端设备。

基于同样的发明构思，本发明一实施方式中还提供了一种视频数据处理方法，其包括：CPU根据视频显示分屏数量，创建相同数量的视频解码器，并把各个所述视频显示分屏与所述解码器建立本地索引表。所述CPU接收到远程终端的视频码流后，根据所述远程终端在视频布局中的分屏位置，在所述本地索引表中找到对应的视频解码器索引，并通过PCI-E接口把所述视频码流和所述解码器索引的值拷贝至显卡的GPU中。所述GPU根据所述解码器索引的值找到对应的视频解码器对所述视频码流进行解码，并把解码后的YUV数据拷贝至所述显卡的内部存储器中，存入FIFO队列或环形BUFFER。所述GPU根据显示设备的输出帧率，从所述FIFO队列或环形BUFFER中读取一帧所述YUV数据进行渲染，且把渲染后的RGB数据存储至所述显卡的帧缓冲器中并输出至显示设备。

本发明另一方面提供了一种视频会议终端，与摄像头和显示设备通信连接。视频会议终端包括：显卡，显卡内集成有采集模块、内部存储器、帧缓冲器和GPU。其中，所述摄像头与所述采集模块通信连接。其中，所述显示设备与所述帧缓冲器通信连接。其中，所述采集模块与所述内部存储器通信连接，所述内部存储器与所述GPU通信连接，所述GPU与所述帧缓冲器通信连接。其中，所述采集模块通过HDMI接口接收所述摄像头采集到的原始图像，并将所述原始图像发送给所述内部存储器进行存储。其中，所述GPU根据显示帧率从所述内部存储器读取采集到的所述原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至所述帧缓冲器中并输出至所述显示设备。

基于同样的发明构思，本发明一实施方式中还提供了一种视频会议终端，与摄像头和远端服务器通信连接。视频会议终端包括：显卡以及CPU。显卡内集成有采集模块、内部存储器、帧缓冲器和GPU，且所述GPU具有视频编码和视频解码功能。以及CPU与所述显卡通信连接。其中，所述摄像头与所述采集模块通信连接。其中，所述远端服务器与所述CPU通信连接，且所述远端服务器还与用户终端设备通信连接。其中，所述采集模块与所述内部存储器通信连接，所述内部存储器与所述GPU通信连接，所述GPU与所述帧缓冲器通信连接。其中，所述采集模块通过HDMI接口接收所述摄像头采集到的原始图像，并将所述原始图像发送给所述内部存储器进行存储。其中，所述GPU根据显示帧率从所述内部存储器读取采集到的所述原始图像的视频帧并完成多层SVC编码，且将所述SVC编码传输给所述CPU。其中，所述CPU将所述SVC编码打包成RTP数据包，并将所述RTP数据包发送至所述远端服务器。其中，所述远端服务器将所述RTP数据包发送至所述用户终端设备。

基于同样的发明构思，本发明一实施方式中还提供了一种视频会议终端，与显示设备和远程终端通信连接。视频会议终端包括：CPU以及显卡。CPU用以根据视频显示分屏数量，创建相同数量的视频解码器，并把各个所述视频显示分屏与所述解码器建立本地索引表。显卡内集成有采集模块、内部存储器、帧缓冲器和GPU，所述GPU具有视频编码和视频解码功能，且所述显卡与所述CPU通信连接。其中，所述CPU接收到所述远程终端的视频码流后，根据所述远程终端在视频布局中的分屏位置，在所述本地索引表中找到对应的视频解码器索引，并通过PCI-E接口把所述视频码流和所述解码器索引的值拷贝至所述GPU中。其中，所述GPU根据所述解码器索引的值找到对应的所述视频解码器对所述视频码流进行解码，并把解码后的YUV数据拷贝至所述内部存储器中，存入FIFO队列或环形BUFFER。其中，所述GPU根据所述显示设备的输出帧率，从所述FIFO队列或环形BUFFER中读取一帧所述YUV数据进行渲染，且把渲染后的RGB数据存储至所述帧缓冲器中并输出至所述显示设备。

与现有技术相比，根据本发明的视频数据处理方法及视频会议终端，其显卡提供基于压缩流的视频输入和输出接口，应用软件只需要调用此接口便可以获取视频压缩流和显示视频图像，不再需要额外开发视频编码和解码功能；同时减少了主板和总线上传输原始图像所占用的带宽和CPU负载，降低了开发难度，减少了开发工作量，缩短了开发周期。

附图说明

图1是根据本发明一实施方式的视频数据处理方法的本地视频显示的流程示意图；

图2是根据本发明一实施方式的视频数据处理方法的上行视频流发送的流程示意图；

图3是根据本发明一实施方式的视频数据处理方法的下行视频流发送的流程示意图；

图4是根据本发明一实施方式的视频会议终端的线框结构示意图；

图5是根据本发明一实施方式的视频数据处理方法及视频会议终端的一具体实施例的线框结构示意图。

图6是根据本发明一实施方式的用于执行视频数据处理方法的电子设备的结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

图1是根据本发明一实施方式的视频数据处理方法的本地视频显示的流程示意图。如图1所示，第一方面，根据本发明优选实施方式的本发明一方面提供了一种视频数据处理方法及视频会议终端。其中视频数据处理方法包括：摄像头1的原始图像通过HDMI接口传输到显卡的采集模块2中，并存储到显卡的内部存储器3中。以及显卡的GPU4根据采集帧率从内部存储器3读取采集到的原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至显卡的帧缓冲器7中并输出至显示设备8。其中，GPU4还能够根据应用软件设置的编码参数从显卡的内部存储器3中读取采集到的原始图像的视频帧，并利用GPU4或显卡内的硬件加速器进行编码并得到压缩码流，压缩码流能够经由显卡与CPU的接口传输到CPU，并且由CPU发送到网络远端或后台。

在本发明的一实施方式中，采集模块2与GPU4之间为异步处理，且使用FIFO队列或环形BUFFER机制存储接收到的视频帧。当采集的视频规格与渲染显示的视频规格不一致时，则GPU4完成规格转换。

图2是根据本发明一实施方式的视频数据处理方法的上行视频流发送的流程示意图。如图2所示，基于同样的发明构思，本发明一实施方式中还提供了一种视频数据处理方法，其包括：摄像头1的原始图像通过HDMI接口传输到显卡的采集模块2中，并存储到显卡的内部存储器3中。显卡的GPU4根据采集帧率从内部存储器3中读取采集到的的原始图像的视频帧并完成多层SVC编码，且将SVC编码传输给CPU9。CPU9将SVC编码打包成RTP数据包，并将RTP数据包发送至远端服务器。远端服务器将RTP数据包发送至用户终端设备。

图3是根据本发明一实施方式的视频数据处理方法的下行视频流发送的流程示意图。如图3所示，基于同样的发明构思，本发明一实施方式中还提供了一种视频数据处理方法，其包括：CPU9根据视频显示分屏数量，创建相同数量的视频解码6器，并把各个视频显示分屏与解码器建立本地索引表。CPU9接收到远程终端的视频码流后，根据远程终端在视频布局中的分屏位置，在本地索引表中找到对应的视频解码6器索引，并通过PCI-E接口把视频码流和解码器索引的值拷贝至显卡的GPU4中。GPU4根据解码器索引的值找到对应的视频解码6器对视频码流进行解码，并把解码后的YUV数据拷贝至显卡的内部存储器3中，存入FIFO队列或环形BUFFER。GPU4根据显示设备8的输出帧率，从FIFO队列或环形BUFFER中读取一帧YUV数据进行渲染，且把渲染后的RGB数据存储至显卡的帧缓冲器7中并输出至显示设备8。

图4是根据本发明一实施方式的视频会议终端的线框结构示意图。如图4所示，第二方面，本发明另一方面提供了一种视频会议终端，与摄像头1和显示设备8通信连接。视频会议终端包括：显卡，显卡内集成有采集模块2、内部存储器3、帧缓冲器7和GPU4。其中，摄像头1与采集模块2通信连接。其中，显示设备8与帧缓冲器7通信连接。其中，采集模块2与内部存储器3通信连接，内部存储器3与GPU4通信连接，GPU4与帧缓冲器7通信连接。其中，采集模块2通过HDMI接口接收摄像头1采集到的原始图像，并将原始图像发送给内部存储器3进行存储。其中，GPU4根据采集帧率从内部存储器3读取采集到的原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至帧缓冲器7中并输出至显示设备8。

基于同样的发明构思，本发明一实施方式中还提供了一种视频会议终端，与摄像头1和远端服务器通信连接。视频会议终端包括：显卡以及CPU9。显卡内集成有采集模块2、内部存储器3、帧缓冲器7和GPU4，且GPU4具有视频编码5和视频解码6功能。以及CPU9与显卡通信连接。其中，摄像头1与采集模块2通信连接。其中，远端服务器与CPU9通信连接，且远端服务器还与用户终端设备通信连接。其中，采集模块2与内部存储器3通信连接，内部存储器3与GPU4通信连接，GPU4与帧缓冲器7通信连接。其中，采集模块2通过HDMI接口接收摄像头1采集到的原始图像，并将原始图像发送给内部存储器3进行存储。其中，GPU4根据采集帧率从内部存储器3读取采集到的原始图像的视频帧并完成多层SVC编码，且将SVC编码传输给CPU9。其中，CPU9将SVC编码打包成RTP数据包，并将RTP数据包发送至远端服务器。其中，远端服务器将RTP数据包发送至用户终端设备。

基于同样的发明构思，本发明一实施方式中还提供了一种视频会议终端，与显示设备8和远程终端通信连接。视频会议终端包括：CPU9以及显卡。CPU9用以根据视频显示分屏数量，创建相同数量的视频解码6器，并把各个视频显示分屏与解码器建立本地索引表。显卡内集成有采集模块2、内部存储器3、帧缓冲器7和GPU4，GPU4具有视频编码5和视频解码6功能，且显卡与CPU9通信连接。其中，CPU9接收到远程终端的视频码流后，根据远程终端在视频布局中的分屏位置，在本地索引表中找到对应的视频解码6器索引，并通过PCI-E接口把视频码流和解码器索引的值拷贝至GPU4中。其中，GPU4根据解码器索引的值找到对应的视频解码6器对视频码流进行解码，并把解码后的YUV数据拷贝至内部存储器3中，存入FIFO队列或环形BUFFER。其中，GPU4根据显示设备8的输出帧率，从FIFO队列或环形BUFFER中读取一帧YUV数据进行渲染，且把渲染后的RGB数据存储至帧缓冲器7中并输出至显示设备8。

第三方面，本发明实施例还提供了一种存储介质，存储介质存储有计算机可执行指令，计算机可执行指令用于执行上述的视频数据处理方法。

其中，存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

图6是根据本发明一实施方式的用于执行浏览器自动登录的方法的电子设备的结构示意图。如图6所示，第四方面，本发明的另一个实施例的一种电子设备。电子设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对电子设备的具体实现做限定。

该电子设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。

通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。

处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU9，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行，以使处理器1110能够执行上述任意方法实施例中的视频数据处理方法。

在实际应用中，本发明的视频数据处理方法及视频会议终端，采集卡或采集模块2集成到显卡内，使显卡具有HDMI视频采集接口；同时使用显卡的GPU4完成视频编码5功能，取代了第三方的编码卡，这样从硬件结构上把视频采集模块2、编码卡和显卡整合成一块具有HDMI接口的显卡；同时保留一般显卡的HDMI/DP输出接口。从软件结构和功能模块划分来看，把视频采集、视频编码5和解码、视频渲染全部整合到显卡内部实现，在CPU9和GPU4之间不再传输原始未压缩的视频图像，大大降低了CPU9负载和图像传输带宽。该硬件结构方案和数据处理算法可以部分或者全部应用于产品中。详细来说：

对于本地视频的显示，本发明的数据处理方法如下：

1、摄像头1(超高清摄像机)的4K/8K的原始图像通过HDMI接口传输到显卡的视频采集器，然后存储到显卡的内部存储器3。视频采集器和GPU4之间为异步处理，可以使用FIFO队列或者环形BUFFER机制存储接收到的视频帧；

2、GPU4根据采集帧率(例如30帧/秒，或者60帧/秒)从内部存储器3读取采集到的视频帧，立即进行渲染。然后把渲染后的RGB数据存储到显卡内部的帧缓冲器7，并通过HDMI接口输出到显示设备8(电视机或者显示器)；

3、如果采集的视频规格和渲染显示的视频规格不一致，例如分辨率或者帧率不一致，则GPU4完成规格转换，既分辨率缩放和帧率跟随；

4、视频图像的传输路径为：摄像头1->视频采集器->内部存储器3->GPU4->帧缓冲器7->显示设备8。

对于上行视频流的发送，本发明的数据处理方法如下：

1、摄像头1(超高清摄像机)的4K/8K的原始图像通过HDMI接口传输到显卡的视频采集器，然后存储到显卡的内部存储器3。视频采集器和GPU4之间为异步处理，可以使用FIFO队列或者环形BUFFER机制存储接收到的视频帧；

2、GPU4根据采集帧率(例如30帧/秒，或者60帧/秒)从内部存储器3读取采集到的视频帧，使用GPU4或者内部的codec加速器完成多层SVC编码。然后把SVC码流经过PCI-E接口传给CPU9；

3、CPU9收到编码数据后，把该数据打包成RTP包，通过网口发送到远端服务器；

4、远端服务器转发该RTP数据包到用户终端设备。

对于下行视频流的发送，本发明的数据处理方法如下：

1、CPU9根据视频显示分屏数量，创建相同数量的视频解码6器，并把各个视频分屏与解码器建立索引表；

2、CPU9接收到远端某个终端的视频码流后，根据该终端在视频布局中的分屏位置，在本地索引表中找到对应的视频解码6器索引，然后通过PCI-E接口把接收的码流和解码器索引值拷贝到显卡内部的GPU4；

3、GPU4收到视频码流和对应的解码器索引后，根据索引找到对应的解码器或者解码加速器，对该码流进行解码。然后把解码后的YUV数据拷贝到显卡的内部存储器3，存入FIFO队列或者环形BUFFER；

4、根据显示设备8的输出帧率，当GPU4判断应该输出视频帧时，GPU4从FIFO队列或者环形BUFFER中读取一帧YUV进行渲染，然后把渲染后的RGB数据存储到显卡内部的帧缓冲器7，并通过HDMI接口输出到显示设备8(电视机或者显示器)；

5、视频图像的传输路径为：远端设备->后台服务器->本地终端的CPU9->显卡GPU4->显卡视频解码6器->显卡GPU4->显卡帧缓冲器7->显示设备8。

作为本发明的一个实施例，下面描述在国产化超高清4K视频会议终端的应用。

国产化超高清4K视频会议终端在硬件上使用一块FT2000主板，搭配一块本发明的带有视频采集接口的显卡，使用银河麒麟操作系统。图5是根据本发明一实施方式的视频数据处理方法及视频会议终端的一具体实施例的线框结构示意图。如图5所示：

该4K视频会议终端外接两个4K显示器，其中4K显示器1显示本地视频，4K显示器2显示会议中远端的各个终端(用户)视频。

1、开始会议前：

4K显示器1和4K显示器2全部显示本地摄像头采集的视频数据。其中本地图像处理流程见发明算法中的本地视频显示算法部分。

2、会议进行中：

4K显示器1按照发明算法中的本地视频显示算法显示本地摄像头视频；4K显示器2按照发明算法中的远端视频显示算法显示会议中的其他终端的视频。

3、结束会议后：

4K显示器1和4K显示器2全部显示本地4K摄像头采集的视频数据。其中本地图像处理流程见发明算法中的本地视频显示算法部分。

总之，本发明的视频数据处理方法及视频会议终端，把采集卡或采集模块集成到显卡内，使显卡具有HDMI视频采集接口；同时保留一般显卡的HDMI/DP输出接口。这样从硬件结构上把视频采集卡、编码卡、显卡整合成一块具有HDMI接口的显卡。这样做有如下技术优势：

1、单一显卡代替多块板卡，简化了终端硬件结构，降低了产品成本；

2、视频采集，编解码，渲染和显示功能都集中在显卡内部，包含了视频处理运算量最大的几乎所有模块；

3、主板的各个应用模块之间不再传输视频原始YUV数据，代替为压缩码流，大大减少了数据传输量，降低了技术开发难度；

4、显卡实现了视频输入和输出接口和编解码功能，大大降低了主板的CPU9处理能力要求，可以使个人计算机方便的支持4K/8K超高清视频会议功能；如发明实施例，基于国产化ARM架构的主板设计和生产4K/8K超高清视频会议终端的技术难度大大降低，成本也降低很多，且在普通的ARM架构的个人计算机上使用本发明的显卡，并使用本发明所描述的视频数据处理方法开发应用软件，将使其方便的支持4K/8K等超高清视频会议。

5、显卡提供基于压缩流的视频输入和输出接口。应用软件只需要调用此接口便可以获取视频压缩流和显示视频图像，不再需要额外开发视频编码和解码功能，减少了开发工作量，缩短了开发周期。

6、减少了主板和总线上传输原始图像所占用的带宽和CPU负载，降低了开发难度。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种视频数据处理方法，其特征在于，包括：

摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到所述显卡的内部存储器中；以及

所述显卡的GPU根据显示帧率从所述内部存储器读取采集到的所述原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至所述显卡的帧缓冲器中并输出至显示设备；

其中，所述GPU还能够根据应用软件设置的编码参数从所述显卡的所述内部存储器中读取采集到的所述原始图像的所述视频帧，并利用所述GPU或所述显卡内的硬件加速器进行编码并得到压缩码流，所述压缩码流能够经由所述显卡与CPU的接口传输到所述CPU，并且由所述CPU发送到网络远端或后台。

2.如权利要求1所述的视频数据处理方法，其特征在于，所述采集模块与所述GPU之间为异步处理，且使用FIFO队列或环形BUFFER机制存储接收到的视频帧。

3.如权利要求1所述的视频数据处理方法，其特征在于，当采集的视频规格与渲染显示的视频规格不一致时，则所述GPU完成规格转换。

4.一种视频数据处理方法，其特征在于，包括：

摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到所述显卡的内部存储器中；

所述显卡的GPU根据显示帧率从所述内部存储器中读取采集到的的所述原始图像的视频帧并完成多层SVC编码，且将所述SVC编码传输给CPU；

所述CPU将所述SVC编码打包成RTP数据包，并将所述RTP数据包发送至远端服务器；

所述远端服务器将所述RTP数据包发送至用户终端设备。

5.一种视频数据处理方法，其特征在于，包括：

CPU根据视频显示分屏数量，创建相同数量的视频解码器，并把各个所述视频显示分屏与所述解码器建立本地索引表；

所述CPU接收到远程终端的视频码流后，根据所述远程终端在视频布局中的分屏位置，在所述本地索引表中找到对应的视频解码器索引，并通过PCI-E接口把所述视频码流和所述解码器索引的值拷贝至显卡的GPU中；

所述GPU根据所述解码器索引的值找到对应的视频解码器对所述视频码流进行解码，并把解码后的YUV数据拷贝至所述显卡的内部存储器中，存入FIFO队列或环形BUFFER；

所述GPU根据显示设备的输出帧率，从所述FIFO队列或环形BUFFER中读取一帧所述YUV数据进行渲染，且把渲染后的RGB数据存储至所述显卡的帧缓冲器中并输出至显示设备。

6.一种视频会议终端，与摄像头和显示设备通信连接，其特征在于，所述视频会议终端包括：

显卡，所述显卡内集成有采集模块、内部存储器、帧缓冲器和GPU；

其中，所述摄像头与所述采集模块通信连接；

其中，所述显示设备与所述帧缓冲器通信连接；

其中，所述采集模块与所述内部存储器通信连接，所述内部存储器与所述GPU通信连接，所述GPU与所述帧缓冲器通信连接；

其中，所述采集模块通过HDMI接口接收所述摄像头采集到的原始图像，并将所述原始图像发送给所述内部存储器进行存储；

其中，所述GPU根据显示帧率从所述内部存储器读取采集到的所述原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至所述帧缓冲器中并输出至所述显示设备。

7.一种视频会议终端，与摄像头和远端服务器通信连接，其特征在于，所述视频会议终端包括：

显卡，所述显卡内集成有采集模块、内部存储器、帧缓冲器和GPU，且所述GPU具有视频编码和视频解码功能；以及

CPU，与所述显卡通信连接；

其中，所述摄像头与所述采集模块通信连接；

其中，所述远端服务器与所述CPU通信连接，且所述远端服务器还与用户终端设备通信连接；

其中，所述采集模块与所述内部存储器通信连接，所述内部存储器与所述GPU通信连接，所述GPU与所述帧缓冲器通信连接；

其中，所述采集模块通过HDMI接口接收所述摄像头采集到的原始图像，并将所述原始图像发送给所述内部存储器进行存储；

其中，所述GPU根据显示帧率从所述内部存储器读取采集到的所述原始图像的视频帧并完成多层SVC编码，且将所述SVC编码传输给所述CPU；

其中，所述CPU将所述SVC编码打包成RTP数据包，并将所述RTP数据包发送至所述远端服务器；

其中，所述远端服务器将所述RTP数据包发送至所述用户终端设备。

8.一种视频会议终端，与显示设备和远程终端通信连接，其特征在于，所述视频会议终端包括：

CPU，用以根据视频显示分屏数量，创建相同数量的视频解码器，并把各个所述视频显示分屏与所述解码器建立本地索引表；以及

显卡，所述显卡内集成有采集模块、内部存储器、帧缓冲器和GPU，所述GPU具有视频编码和视频解码功能，且所述显卡与所述CPU通信连接；

其中，所述CPU接收到所述远程终端的视频码流后，根据所述远程终端在视频布局中的分屏位置，在所述本地索引表中找到对应的视频解码器索引，并通过PCI-E接口把所述视频码流和所述解码器索引的值拷贝至所述GPU中；

其中，所述GPU根据所述解码器索引的值找到对应的所述视频解码器对所述视频码流进行解码，并把解码后的YUV数据拷贝至所述内部存储器中，存入FIFO队列或环形BUFFER；

其中，所述GPU根据所述显示设备的输出帧率，从所述FIFO队列或环形BUFFER中读取一帧所述YUV数据进行渲染，且把渲染后的RGB数据存储至所述帧缓冲器中并输出至所述显示设备。

9.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-5任意一项所述的视频数据处理方法。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5任意一项所述的视频数据处理方法。

Images