CN108881916A - 远程桌面的视频优化处理方法及装置 - Google Patents
远程桌面的视频优化处理方法及装置 Download PDFInfo
- Publication number
- CN108881916A CN108881916A CN201810648092.2A CN201810648092A CN108881916A CN 108881916 A CN108881916 A CN 108881916A CN 201810648092 A CN201810648092 A CN 201810648092A CN 108881916 A CN108881916 A CN 108881916A
- Authority
- CN
- China
- Prior art keywords
- video
- bitmap
- decoded
- format
- remote desktop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种远程桌面的视频优化处理方法，包括：在预设的多媒体视频处理工具启动初始化时，注册与视频处理单元支持的视频解码格式对应的编解码器；判断已注册编解码器对应的视频解码格式是否匹配编码格式；若匹配，则调用视频处理单元对视频帧数据进行解码；以及返回对应的文件描述符；将文件描述符传递至位图硬件加速模块的处理接口，以使位图硬件加速模块对视频解码数据进行图像变换处理。本发明还提供了一种远程桌面的视频优化处理装置。本发明解决了现有ARM‑SOC架构的嵌入式平台使用软件处理的方式进行解码及图像变换处理导致视频播放体验差的技术问题。
Description
技术领域
本发明涉及计算机视频处理技术领域，尤其涉及一种远程桌面的视频优化处理方法及装置。
背景技术
在计算机桌面虚拟化领域，RDP协议(Remote Desktop Protocol，远程桌面协议)应用非常广泛，各种云计算终端都提供支持RDP协议的远程桌面客户端。对云计算终端而言，为了降低成本，终端的硬件大多采用基于ARM架构(ARM为一种处理器架构)的SOC(System On Chip，片上系统)处理器；在软件方面，一般采用Linux系统加上开源的FreeRDP协议栈来实现RDP客户端程序。
而开源的FreeRDP协议栈实现的RDP客户端程序，存在操作延时大、视频播放卡顿、不流畅等播放体验差的问题。其中，视频播放卡顿、不流畅、视音频不同步最影响用户体验。其主要原因在于：
构成RDP客户端的软件主要包括开源的FreeRDP协议栈、以及许多支持软件开发库，如支持视音频编解码的FFmpeg库、USB设备的开发库libusb、支持加解密的OpenSSL库等。由于开源的RDP协议栈的实现以及视音频解码库FFmpeg通过软件算法进行视频解码、图形格式变换等操作，所以对于处理器CPU进行相关操作的处理能力要求很高。
对于低成本、低功耗的ARM-SOC架构的嵌入式平台而言，其完全采用软件解码方式来处理视频播放，具体包括：客户端接收到服务端传送过来的数据，分析并组合成已压缩的视频帧数据(如H264帧数据)，然后对该视频帧数据进行软件解码，生成视频解码数据(YUV格式)。由于客户端显示系统采用的是RGB格式的显示图形系统，所以需要对视频解码数据(YUV格式)进行软件计算并转换成RGB格式的数据，以便于在显示系统中显示。整个过程占用大量的CPU资源和内存资源，数据类型变换过程中还存在多次内存数据拷贝，同时加上低成本的CPU处理能力比普通计算机要弱，最终导致处理器CPU占用率高，进而造成视频播放卡顿、不流畅、视音频不同步等问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种远程桌面的视频优化处理方法及装置，旨在解决现有ARM-SOC架构的嵌入式平台使用软件处理的方式进行解码及图像变换处理导致视频播放体验差的技术问题。
为实现上述目的，本发明提供一种远程桌面的视频优化处理方法，应用于嵌入式终端，所述嵌入式终端设置有片上系统处理器，所述片上系统处理器集成有视频处理单元、位图硬件加速模块；所述方法包括以下步骤：
在预设的多媒体视频处理工具启动初始化时，注册与所述视频处理单元支持的视频解码格式对应的编解码器；
识别已接收的视频帧数据的编码格式，并判断已注册编解码器对应的视频解码格式是否匹配所述编码格式；
若匹配，则基于预设的多媒体视频处理工具的预设解码接口，调用所述视频处理单元对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回对应的文件描述符；
将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
优选地，所述将所述文件描述符传递至所述位图硬件加速模块的处理接口的步骤之前，还包括：
为预设内核添加与所述位图硬件加速模块对应的驱动支持，并添加输入输出通道管理接口。
优选地，所述将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理的步骤，具体包括：
通过所述输入输出通道管理接口调用预设变换命令；
基于所述预设变换命令，将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
优选地，所述判断已注册编解码器对应的视频解码格式是否匹配所述编码格式的步骤之后，还包括：
若已注册编解码器对应的视频解码格式不匹配所述编码格式，则调用预设的解码软件对所述视频帧数据进行解码，生成对应的视频解码数据；
以及在解码完成后，返回存储视频解码数据的缓冲区的地址。
优选地，所述返回存储视频解码数据的缓冲区的地址的步骤之后，还包括：
通过输入输出通道管理接口调用预设变换命令；
基于所述预设变换命令，将所述缓冲区的地址传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
优选地，所述位图硬件加速模块对视频解码数据进行图像变换处理的步骤，具体包括：
对视频解码数据进行图像格式变换处理，以使所述视频解码数据从第一图像格式变换为第二图像格式。
优选地，所述对视频解码数据进行图像格式变换处理的步骤的同时，还包括：
获取视频解码数据对应的原始视频尺寸、嵌入式终端上的待显示视频区域的实际显示尺寸，并进行比较；
若所述原始视频尺寸不等于所述实际显示尺寸，则对视频解码数据进行尺寸变换处理，以使处理后的视频尺寸等于实际显示尺寸。
优选地，已接收的所述视频帧数据具体包括：支持图形管道扩展协议的位图流、支持视频优化远程虚拟通道扩展的视频帧数据、支持视频重定向虚拟通道协议的视频帧数据。
此外，为实现上述目的，本发明还提供一种远程桌面的视频优化处理装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的远程桌面的视频优化处理程序，其中：
所述远程桌面的视频优化处理程序被所述处理器执行时实现如上所述的远程桌面的视频优化处理方法的步骤。
本发明提供一种远程桌面的视频优化处理方法及装置，通过在视频解码时调用视频处理单元(VPU)，以及在图像变换处理将文件描述符传递至位图硬件加速模块(RGA)并由位图硬件加速模块进行图像变换处理，充分利用嵌入式终端的SOC处理器集成的硬件功能，避免了占用大量系统资源的视频解码、图形格式变换、中间环节数据内存拷贝的软件运算过程，从而减轻CPU的处理压力、提高系统性能，并使得嵌入式终端的视频流畅播放，降低出现视频播放卡顿、不流畅、视音频不同步的可能性，从而改善视频播放体验。
附图说明
图1为本发明远程桌面的视频优化处理装置各组成部分框图；
图2为本发明远程桌面的视频优化处理方法第一实施例的流程图；
图3为本发明远程桌面的视频优化处理方法第二实施例的流程图；
图4为嵌入式终端基于远程桌面协议接收的视频帧数据进行优化处理的流程图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
首先，针对本发明中涉及的一些术语，给出如下的定义或者说明。
嵌入式终端：采用以Linux内核为基础的嵌入式作业系统的终端设备，例如移动电话、个人数字助理(PDA)、媒体播放器、消费性电子产品等。
FreeRDP：免费的RDP协议的一种开源执行版本，它支持多个操作系统平台，如Windows、Linux和Android。
视频处理单元：即VPU(Video Process Unit)，一种支持多种格式的视频编码、解码物理处理模块。
位图硬件加速模块：即RGA(Raster Graphic Acceleration)，用于进行二维图形的绘图、图像缩放、旋转、透明度、锐化、虚化、格式变换等操作。在本发明中，主要用于将视频帧从YUV格式变换成RGB格式，以及视频帧的图形尺寸缩放。
软件解码：传统的视频帧数据的解码方式，其基于软件程序运行及算法运算，需要占用大量系统资源。
硬件解码：与软解码相对，通过调用视频处理单元进行视频帧数据的解码，可以充分利用了视频处理单元的硬件处理能力。
YUV格式：一种视频信号的图像格式，具体包括亮度信号Y和色度信号U、V。采用YUV格式可以优化彩色视频信号的传输；与RGB视频信号传输相比，它最大的优点在于只需占用极少的频宽(RGB要求三个独立的视频信号同时传输)
RGB格式：一种视频信号的图像格式，具体包括红色分量R、绿色分量G、蓝色分量B。
ioctl接口：其中ioctl是设备驱动程序中对设备的I/O通道进行管理的函数。所谓对I/O通道进行管理，就是对设备的一些特性进行控制，例如串口的传输波特率、马达的转速等等。它的参数个数如下：int ioctl(int fd,int cmd,…)；其中fd就是用户程序打开设备时使用open函数返回的文件描述符(file descriptor)，cmd就是用户程序对设备的控制命令。而设备驱动程序利用ioctl函数为用户应用程序提供管理和控制设备的接口即为ioctl接口。
本发明实施例涉及的远程桌面的视频优化处理装置可以是各类计算机、单片机、MCU(Microcontroller Unit，即微控制单元)、智能手机、平板电脑、笔记本电脑。可理解地，远程桌面的视频优化处理装置可以安装在嵌入式终端。如图1所示，图1是本发明实施例方案涉及的远程桌面的视频优化处理装置运行环境的结构示意图，运行环境的结构具体可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的运行环境的结构并不构成对远程桌面的视频优化处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及远程桌面的视频优化处理程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的远程桌面的视频优化处理程序，并执行以下操作：
在FFmpeg库启动初始化时，注册与所述视频处理单元支持的视频解码格式对应的编解码器；
识别已接收的视频帧数据的编码格式，并判断已注册编解码器对应的视频解码格式是否匹配所述编码格式；
若匹配，则基于FFmpeg库的预设解码接口，调用所述视频处理单元对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回对应的文件描述符；
将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理；
将经过图像变换处理后得到的视频解码数据存入目标显存缓冲区中。
进一步地，处理器1001可以调用存储器1005中存储的视频优化处理程序，还执行以下操作：
为预设内核添加与所述位图硬件加速模块对应的驱动支持，并添加输入输出通道管理接口。
进一步地，处理器1001可以调用存储器1005中存储的视频优化处理程序，还执行以下操作：
通过所述输入输出通道管理接口调用预设变换命令；
基于所述预设变换命令，将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
进一步地，处理器1001可以调用存储器1005中存储的视频优化处理程序，还执行以下操作：
若已注册编解码器对应的视频解码格式不匹配所述编码格式，则调用预设的解码软件对所述视频帧数据进行解码，生成对应的视频解码数据；
以及在解码完成后，返回存储视频解码数据的缓冲区的地址。
进一步地，处理器1001可以调用存储器1005中存储的视频优化处理程序，还执行以下操作：
通过输入输出通道管理接口调用预设变换命令；
基于所述预设变换命令，将所述缓冲区的地址传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
对视频解码数据进行图像格式变换处理，以使所述视频解码数据从第一图像格式变换为第二图像格式。
进一步地，处理器1001可以调用存储器1005中存储的视频优化处理程序，还执行以下操作：
获取视频解码数据对应的原始视频尺寸、嵌入式终端上的待显示视频区域的实际显示尺寸，并进行比较；
若所述原始视频尺寸不等于所述实际显示尺寸，则对视频解码数据进行尺寸变换处理，以使处理后的视频尺寸等于实际显示尺寸。
请参照图2，图2为本发明远程桌面的视频优化处理方法第一实施例的流程图。在本实施例中，应用于嵌入式终端，所述嵌入式终端设置有SOC处理器，所述SOC处理器集成有视频处理单元、位图硬件加速模块；所述方法包括以下步骤：
步骤S10，在预设的多媒体视频处理工具启动初始化时，注册与所述视频处理单元支持的视频解码格式对应的编解码器；
其中，预设的多媒体视频处理工具尤其是指FFmpeg库，嵌入式终端的SOC处理器默认设置使用FFmpeg库进行视频帧数据解码。视频处理单元(VPU)支持的视频解码格式包括但不限于：MPEG1、MPEG2、MPEG4、H263、H264、HEVC(H265)、VP8、VP9、AVS、VC1等视频解码格式。
具体的，通过修改函数avcodec_register_all，注册不同视频解码格式对应的编解码器(AV_Codec)，从而实现添加FFmpeg库对不同视频解码格式的支持。
这里需要说明的是，FFmpeg库存在以下特性：在进行视频帧数据解码时，FFmpeg库会优先选择最早注册、且支持视频帧数据的编码格式的编解码器。
因此，为了实现FFmpeg库优先调用视频处理单元(VPU)对视频帧数据进行解码，这里使用函数REGISTER_DECODER将不同的编解码器添加到其它解码器的前面。从而，保证优先使用硬解码。注册后得到不同编解码器的识别号(AV_CODEC_ID)如下所示(仅列举部分)：
AV_CODEC_ID_MPEG1VIDEO
AV_CODEC_ID_MPEG2VIDEO
AV_CODEC_ID_MPEG4
AV_CODEC_ID_H263
AV_CODEC_ID_H264
AV_CODEC_ID_HEVC
AV_CODEC_ID_VP8
AV_CODEC_ID_VP9
AV_CODEC_ID_AVS
AV_CODEC_ID_VC1
步骤S20，识别已接收的视频帧数据的编码格式，并判断已注册编解码器对应的视频解码格式是否匹配所述编码格式；
所述视频帧数据为服务端传送过来的视频帧数据。识别已接收的视频帧数据的编码格式，可以调取视频帧数据的编码参数，以此提取出编码格式。
判断已注册视频解码格式是否匹配所述编码格式的一种具体实施为：遍寻已注册的所有视频解码格式，若存与所述编码格式相同的视频解码格式，则判定已注册视频解码格式匹配所述编码格式；否则，判定已注册视频解码格式不匹配所述编码格式。
步骤S30，若匹配，则基于预设的多媒体视频处理工具的预设解码接口，调用所述视频处理单元对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回对应的文件描述符；
其中，FFmpeg库的预设解码接口调用视频处理单元(VPU)，可以通过函数avcodec_decode_video2()实现；FFmpeg库中的函数avcodec_decode_video2()主要作用是解码一帧视频数据。已注册视频解码格式匹配已接收视频帧数据的编码格式，表明视频处理单元(VPU)可以对视频帧数据进行硬解码。由于FFmpeg库已经添加了对视频处理单元(VPU)硬件解码的支持，并且优先使用支持的解码格式的硬件解码，所以视频帧解码由软件解码变成了硬件解码，使得解码速度加快、CPU的使用率降低。
在视频数据解码后，相应输出对应的结构体AVFrame；视频解码数据存放在结构体AVFrame中。在解码完成后，结合Linux内核的dma-buf接口技术，结构体AVFrame的相关参数携带对应的文件描述符(即dma-buf文件描述符)返回。其中，所述文件描述符(filedescriptor/fd)将直接传递给下一步的图形格式变换模块，在整个视频解码数据的处理过程中，只有该文件描述符进行传递，原始的视频解码数据不需要进行传递拷贝等操作，从而实现中间过程数据的零拷贝，实现了对解码内存缓冲区的管理。
步骤S40，将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理；
压缩的视频帧解码后，是原始的YUV格式的视频图像，由于Linux系统下X11等图形系统使用的是RGB格式的图像，所以解码后的视频图像，FreeRDP要对其进行图像格式变换，由YUV格式转换成RGB格式，这个变换过程要用到浮点矩阵运算，运算量巨大，FreeRDP采用的软件算法进行变换，这一块所耗的CPU资源也是非常大。另外，由于视频分辨率大小和在终端上待显示的区域分辨率大小不一定相同，所以尺寸不同时还得进行视频尺寸缩放处理，这部分的运算量也不小。
具体地，步骤S40之前还包括：为预设内核添加与所述位图硬件加速模块对应的驱动支持，并添加输入输出通道管理接口。这里所指的预设内核优选为Linux内核，输入输出通道管理接口是指ioctl接口。
步骤S40中的图像变换处理主要是指图像格式变换处理，还可以包括视频尺寸变换处理；步骤S40的一种具体实施包括：
步骤A1，通过所述输入输出通道管理接口调用预设变换命令；
步骤A2，基于所述预设变换命令，将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
也即，预先为Linux内核添加位图硬件加速模块(RGA)驱动支持，添加ioctl接口。然后，通过ioctl内核接口调用变换命令，将与待进行图像变化处理的视频解码数据对应的dma-buf文件描述符作为变换源，目标显存缓冲区作为目的地址；通过内核的dma-buf接口，将视频解码后的dmb-buf文件描述符传递到位图硬件加速模块(RGA)的处理接口。
一、图像格式变换处理
对视频解码数据进行图像格式变换处理，以使所述视频解码数据从第一图像格式变换为第二图像格式(其它图像格式的变换也同样处于本发明的保护范围之内)。
具体地，第一图像格式优选为YUV格式，第二图像格式优选为RGB格式。在实施时，先为FreeRDP的图形变换模块增加位图硬件加速模块(RGA)，使用变换函数rga2_convert_to_rgb进行图形变换处理。解码后的YUV格式的视频解码数据变换成RGB格式的视频解码数据，并存入到目标显存缓冲区中。在此过程中，只需修改FreeRDP中原来的图形变换处理流程，视频帧数据解码后通过调用rga2_convert_to_rgb进行变换，同时不使用中间XImage(X11/Xlib编程接口中的图形图像操作结构)，而是直接找到显存缓冲区位置作为转换目的地址，这样从帧解码到变换的过程只需要传递dma-buf文件描述符，不需要进行内存拷贝。这样，从视频帧数据解码到图像数据变换的过程中，数据不需要进行内存拷贝，最终需要显示的视频解码数据直接存入了目标显存缓冲区中。
二、视频尺寸变换处理
所述对视频解码数据进行图像格式变换处理的步骤的同时，还包括：
步骤B1，获取视频解码数据对应的原始视频尺寸、嵌入式终端上的待显示视频区域的实际显示尺寸，并进行比较；
原始视频尺寸可以通过解码后的帧信息得到；嵌入式终端上的待显示视频区域的实际显示尺寸从RDP协议中相关的展示区域矩形信息得到。
步骤B2，若所述原始视频尺寸不等于所述实际显示尺寸，则对视频解码数据进行尺寸变换处理，以使处理后的视频尺寸等于实际显示尺寸。
也即，当视频图像的原始视频尺寸与嵌入式终端上的待显示视频区域的实际显示尺寸不同时，对视频解码数据进行尺寸变换处理，从而使得处理后的视频尺寸等于实际显示尺寸，进而优化视频显示效果。
需要说明的是，图像格式变换处理与视频尺寸变换处理同时进行，以提高效率。
经过图像变换处理后的视频解码数据会直接存入目标显存缓冲区中。
这里需要强调的是，应用于平板、OTT盒子、机顶盒等嵌入式终端的SOC处理器大多集成了视频处理单元(VPU)、位图硬件加速模块(RGA)等功能模块。本实施例在视频解码时调用视频处理单元(VPU)，以及在图像变换处理将文件描述符传递至位图硬件加速模块(RGA)并由位图硬件加速模块进行图像变换处理，充分利用嵌入式终端的SOC处理器集成的硬件功能，避免了占用大量系统资源的视频解码、图形格式变换、中间环节数据内存拷贝的软件运算过程，从而减轻CPU的处理压力、提高系统性能，并使得嵌入式终端的视频流畅播放，降低出现视频播放卡顿、不流畅、视音频不同步的可能性，从而改善视频播放体验。
进一步地，如图3所示，图3为本发明远程桌面的视频优化处理方法的第二实施例。在本实施例中，所述判断已注册编解码器对应的视频解码格式是否匹配所述编码格式的步骤之后，还包括：
步骤S50，若已注册编解码器对应的视频解码格式不匹配所述编码格式，则调用预设的解码软件对所述视频帧数据进行解码，生成对应的视频解码数据；
步骤S51，以及在解码完成后，返回存储视频解码数据的缓冲区的地址；
也即，对于视频处理单元(VPU)不支持的视频解码格式，无法采用硬件解码的方式，只能采用软件解码的方式进行视频解码，调用的预设的解码软件不作限制。对于FFmpeg库执行软件解码后，返回的是视频解码数据(YUV数据)的缓冲区的地址，更具体是缓冲区的三维地址。
为了继续使用位图硬件加速模块(RGA)进行后续的图像变换处理，在内核ioctl接口中也包含缓冲区地址的传递方式，这样解码后的视频解码数据都采用位图硬件加速模块(RGA)进行格式变换。
步骤S62，通过所述输入输出通道管理接口调用预设变换命令；
所述输入输出通道管理接口是指ioctl接口。
步骤S63，基于所述预设变换命令，将所述缓冲区的地址传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。图像变化处理的具体实施与第一实施例相同，这里不再赘述。
下面，结合图4所示的嵌入式终端基于远程桌面协议(FreeRDP)接收的视频帧数据的优化处理流程图，进行本发明远程桌面的视频优化处理方法的举例说明。
一般而言，嵌入式终端从服务器端(远程电脑)接收到的视频帧数据具体包括：支持图形管道扩展协议的位图流(MS-RDPEGFX)、支持视频优化远程虚拟通道扩展的视频帧数据(MS-RDPEVOR)、支持视频重定向虚拟通道协议的视频帧数据(MS-RDPEV)。
(1)对于支持图形管道扩展协议的位图流(MS-RDPEGFX)、支持视频优化远程虚拟通道扩展的视频帧数据(MS-RDPEVOR)
位图流并不一定是播放视频时才有，终端屏幕上的部分位图在刷新时也会采用位图流的形式。位图流和视频帧数据(MS-RDPEVOR)均采用固定的H264编码(解码)格式，帧数据的尺寸大小也和实际显示尺寸一致，所以在图像格式变换时不需要进行图像尺寸变换处理。
位图流(MS-RDPEGFX)和支持视频优化远程虚拟通道扩展的视频帧数据视频帧数据(MS-RDPEVOR)调用FFmpeg库的解码接口avcodec_decode_video2，由于FFmpeg部分已经添加了对视频处理单元(VPU)硬件解码的支持，并且优先使用支持格式的硬件解码，所以，视频帧数据的解码由软件解码变成了硬件解码，使得解码速度加快、CPU的使用率降低。
在解码后传回视频解码数据(YUV格式)对应的dma-buf文件描述符。
为FreeRDP的图形变换模块增加位图硬件加速模块(RGA)，使用变换函数rga2_convert_to_rgb进行图形变换处理。解码后的YUV格式的视频解码数据变换成RGB格式的视频解码数据，并存入到目标显存缓冲区中。在此过程中，只需修改FreeRDP中原来的图形变换处理流程，视频帧数据解码后通过调用rga2_convert_to_rgb进行变换，同时不使用中间XImage，而是直接找到显存缓冲区位置作为转换目的地址，这样从帧解码到变换的过程只需要传递dma-buf文件描述符，不需要进行内存拷贝。这样，从视频帧数据解码到图像数据变换的过程中，数据不需要进行内存拷贝，最终需要显示的视频解码数据直接存入了目标显存缓冲区中。
最后，将经过图像变换处理后得到的视频解码数据存入目标显存缓冲区中。
(2)支持视频重定向虚拟通道协议的视频帧数据(MS-RDPEV)
对于视频重定向虚拟通道(RDPEV)而言，由于RDP服务器端(远程电脑)只是把原始的视频帧数据传送到嵌入式客户端，所以存在视频编码格式多样、视频尺寸与显示尺寸不一致等问题，处理要比位图流和视频帧数据(MS-RDPEVOR)的方式要复杂。
首先通过修改FreeRDP的tsmf模块(在RDP协议中的视频重定向虚拟通道扩展(MS-RDPEV)中，该动态虚拟通道名称定义为"TSMF"。在和RDP服务器端通讯时使用该名称进行注册、标识视频重定向虚拟通道)，增加对大部分主流FourCC标识符(FOURCC，全称Four-Character Codes，在编程中常用作标识符)的识别，以增加视频格式的支持率。
然后对于视频处理单元(VPU)支持的视频编码格式，FFmpeg解码接口自动采用硬件解码的方式进行解码；其它不支持的视频编码格式仍然采用FFmpeg的软件解码算法进行解码。
对于硬件解码的部分，返回的仍然是dma-buf文件描述符。
对于软件解码的部分，返回的是视频解码数据(YUV格式)的缓冲区三维地址。为了继续使用位图硬件加速模块(RGA)进行后续的图像变换处理，在内核ioctl接口中也包含缓冲区地址的传递方式，这样解码后的视频解码数据都采用位图硬件加速模块(RGA)进行图像格式变换。
另外，在进行图像格式变换的同时，还可以进行图像尺寸变换处理。这部分也通过修改FreeRDP，不再使用中间XImage，而是变换后直接到显存缓冲区的方式，减少内存拷贝过程。
最后，将经过图像变换处理后得到的视频解码数据存入目标显存缓冲区中。
此外，如上所述的远程桌面的视频优化处理装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。所述可读存储介质具体是计算机可读取存储介质。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过所述远程桌面的视频优化处理程序来指令相关的硬件来完成，所述远程桌面的视频优化处理程序可存储于一计算机可读存储介质中，所述远程桌面的视频优化处理程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述远程桌面的视频优化处理程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，可读存储介质不包括电载波信号和电信信号。
所述远程桌面的视频优化处理程序被处理器执行时实现如上所述的远程桌面的视频优化处理方法的步骤。
所述远程桌面的视频优化处理程序被处理器执行时实现如下操作：
在预设的多媒体视频处理工具启动初始化时，注册与所述视频处理单元支持的视频解码格式对应的编解码器；
识别已接收的视频帧数据的编码格式，并判断已注册编解码器对应的视频解码格式是否匹配所述编码格式；
若匹配，则基于预设的多媒体视频处理工具的预设解码接口，调用所述视频处理单元对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回对应的文件描述符；
将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
进一步地，所述远程桌面的视频优化处理程序被处理器执行时还实现如下操作：
为预设内核添加与所述位图硬件加速模块对应的驱动支持，并添加输入输出通道管理接口。
进一步地，所述远程桌面的视频优化处理程序被处理器执行时还实现如下操作：
通过所述输入输出通道管理接口调用预设变换命令；
基于所述预设变换命令，将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
进一步地，所述远程桌面的视频优化处理程序被处理器执行时还实现如下操作：
若已注册编解码器对应的视频解码格式不匹配所述编码格式，则调用预设的解码软件对所述视频帧数据进行解码，生成对应的视频解码数据；
以及在解码完成后，返回存储视频解码数据的缓冲区的地址。
进一步地，所述远程桌面的视频优化处理程序被处理器执行时还实现如下操作：
通过输入输出通道管理接口调用预设变换命令；
基于所述预设变换命令，将所述缓冲区的地址传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
进一步地，所述远程桌面的视频优化处理程序被处理器执行时还实现如下操作：
对视频解码数据进行图像格式变换处理，以使所述视频解码数据从第一图像格式变换为第二图像格式。
进一步地，所述远程桌面的视频优化处理程序被处理器执行时还实现如下操作：
获取视频解码数据对应的原始视频尺寸、嵌入式终端上的待显示视频区域的实际显示尺寸，并进行比较；
若所述原始视频尺寸不等于所述实际显示尺寸，则对视频解码数据进行尺寸变换处理，以使处理后的视频尺寸等于实际显示尺寸。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种远程桌面的视频优化处理方法，应用于嵌入式终端，所述嵌入式终端设置有片上系统处理器，所述片上系统处理器集成有视频处理单元、位图硬件加速模块；其特征在于，所述方法包括以下步骤：
在预设的多媒体视频处理工具启动初始化时，注册与所述视频处理单元支持的视频解码格式对应的编解码器；
识别已接收的视频帧数据的编码格式，并判断已注册编解码器对应的视频解码格式是否匹配所述编码格式；
若匹配，则基于预设的多媒体视频处理工具的预设解码接口，调用所述视频处理单元对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回对应的文件描述符；
将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
2.如权利要求1所述的远程桌面的视频优化处理方法，其特征在于，所述将所述文件描述符传递至所述位图硬件加速模块的处理接口的步骤之前，还包括：
为预设内核添加与所述位图硬件加速模块对应的驱动支持，并添加输入输出通道管理接口。
3.如权利要求2所述的远程桌面的视频优化处理方法，其特征在于，所述将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理的步骤，具体包括：
通过所述输入输出通道管理接口调用预设变换命令；
基于所述预设变换命令，将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
4.如权利要求1所述的远程桌面的视频优化处理方法，其特征在于，所述判断已注册编解码器对应的视频解码格式是否匹配所述编码格式的步骤之后，还包括：
若已注册编解码器对应的视频解码格式不匹配所述编码格式，则调用预设的解码软件对所述视频帧数据进行解码，生成对应的视频解码数据；
以及在解码完成后，返回存储视频解码数据的缓冲区的地址。
5.如权利要求4所述的远程桌面的视频优化处理方法，其特征在于，所述返回存储视频解码数据的缓冲区的地址的步骤之后，还包括：
通过所述输入输出通道管理接口调用预设变换命令；
基于所述预设变换命令，将所述缓冲区的地址传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。
6.如权利要求1、3或5任一所述的远程桌面的视频优化处理方法，其特征在于，所述位图硬件加速模块对视频解码数据进行图像变换处理的步骤，具体包括：
对视频解码数据进行图像格式变换处理，以使所述视频解码数据从第一图像格式变换为第二图像格式。
7.如权利要求6所述的远程桌面的视频优化处理方法，其特征在于，所述对视频解码数据进行图像格式变换处理的步骤的同时，还包括：
获取视频解码数据对应的原始视频尺寸、嵌入式终端上的待显示视频区域的实际显示尺寸，并进行比较；
若所述原始视频尺寸不等于所述实际显示尺寸，则对视频解码数据进行尺寸变换处理，以使处理后的视频尺寸等于实际显示尺寸。
8.如权利要求1所述的远程桌面的视频优化处理方法，其特征在于，已接收的所述视频帧数据具体包括：支持图形管道扩展协议的位图流、支持视频优化远程虚拟通道扩展的视频帧数据、支持视频重定向虚拟通道协议的视频帧数据。
9.一种远程桌面的视频优化处理装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的远程桌面的视频优化处理程序，其中：
所述远程桌面的视频优化处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的远程桌面的视频优化处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810648092.2A CN108881916A (zh) | 2018-06-21 | 2018-06-21 | 远程桌面的视频优化处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810648092.2A CN108881916A (zh) | 2018-06-21 | 2018-06-21 | 远程桌面的视频优化处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108881916A true CN108881916A (zh) | 2018-11-23 |
Family
ID=64340826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810648092.2A Pending CN108881916A (zh) | 2018-06-21 | 2018-06-21 | 远程桌面的视频优化处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108881916A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109640162A (zh) * | 2018-12-25 | 2019-04-16 | 北京数码视讯软件技术发展有限公司 | 码流转换方法及系统 |
| CN109656476A (zh) * | 2018-12-05 | 2019-04-19 | 青岛镕铭半导体有限公司 | 一种硬件加速模块及视频处理设备 |
| CN110430383A (zh) * | 2019-08-06 | 2019-11-08 | 聚好看科技股份有限公司 | 终端、信令服务器、音视频通信方法及计算机存储介质 |
| CN110719510A (zh) * | 2019-09-20 | 2020-01-21 | 中国第一汽车股份有限公司 | 一种车机音视频同步播放方法 |
| CN110855619A (zh) * | 2019-10-12 | 2020-02-28 | 安徽文香信息技术有限公司 | 播放音视频数据的处理方法、装置、存储介质及终端设备 |
| CN110933495A (zh) * | 2019-12-06 | 2020-03-27 | 深圳市斯迈龙科技有限公司 | 基于嵌入式系统的视频播放方法及装置 |
| CN111445381A (zh) * | 2020-03-20 | 2020-07-24 | 福州瑞芯微电子股份有限公司 | 一种基于exa的rga图形加速方法和存储设备 |
| CN113473126A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 视频流的处理方法、装置、电子设备及计算机可读介质 |
| CN114125432A (zh) * | 2021-11-22 | 2022-03-01 | 北京天融信网络安全技术有限公司 | 视频数据处理方法、装置、设备及存储介质 |
| CN114125558A (zh) * | 2022-01-26 | 2022-03-01 | 麒麟软件有限公司 | 基于Linux桌面显卡的安卓视频解码硬件加速方法 |
| CN114222073A (zh) * | 2021-12-13 | 2022-03-22 | 北京百度网讯科技有限公司 | 视频输出方法、装置、电子设备和存储介质 |
| CN114257867A (zh) * | 2021-12-22 | 2022-03-29 | 统信软件技术有限公司 | 视频图像显示方法和装置，计算设备和可读存储介质 |
| CN114938470A (zh) * | 2022-06-16 | 2022-08-23 | 深圳市泛联信息科技有限公司 | 多路画面同步播放方法及相关装置 |
| US11662953B2 (en) * | 2020-10-26 | 2023-05-30 | Hitachi, Ltd. | Data compression/decompression system, and data compression/decompression method |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1868211A (zh) * | 2003-03-28 | 2006-11-22 | 微软公司 | 使用图形处理单元加速视频解码 |
| CN101986708A (zh) * | 2010-10-29 | 2011-03-16 | 北京中星微电子有限公司 | 一种视频解码方法及解码器 |
| CN103260021A (zh) * | 2012-02-21 | 2013-08-21 | 腾讯科技（深圳）有限公司 | 一种视频解码方法和装置 |
| CN103677792A (zh) * | 2013-06-15 | 2014-03-26 | 重庆绿色智能技术研究院 | 一种基于龙芯平台Linux操作系统下rdesktop的优化方法 |
| CN104837052A (zh) * | 2014-06-10 | 2015-08-12 | 腾讯科技（北京）有限公司 | 播放多媒体数据的方法及装置 |
| CN105163127A (zh) * | 2015-09-07 | 2015-12-16 | 浙江宇视科技有限公司 | 视频分析方法及装置 |
| CN106210036A (zh) * | 2016-07-08 | 2016-12-07 | 中霆云计算科技（上海）有限公司 | 虚拟桌面呈现设备中的视频显示加速方法 |
| CN106210883A (zh) * | 2016-08-11 | 2016-12-07 | 浙江大华技术股份有限公司 | 一种视频渲染的方法、设备 |
| US20170132163A1 (en) * | 2015-11-10 | 2017-05-11 | International Business Machines Corporation | Enabling poll/select style interfaces with coherent accelerators |
| CN106796535A (zh) * | 2016-12-27 | 2017-05-31 | 深圳前海达闼云端智能科技有限公司 | 视频显示方法、装置、电子设备和计算机程序产品 |
-
2018
- 2018-06-21 CN CN201810648092.2A patent/CN108881916A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1868211A (zh) * | 2003-03-28 | 2006-11-22 | 微软公司 | 使用图形处理单元加速视频解码 |
| CN101986708A (zh) * | 2010-10-29 | 2011-03-16 | 北京中星微电子有限公司 | 一种视频解码方法及解码器 |
| CN103260021A (zh) * | 2012-02-21 | 2013-08-21 | 腾讯科技（深圳）有限公司 | 一种视频解码方法和装置 |
| CN103677792A (zh) * | 2013-06-15 | 2014-03-26 | 重庆绿色智能技术研究院 | 一种基于龙芯平台Linux操作系统下rdesktop的优化方法 |
| CN104837052A (zh) * | 2014-06-10 | 2015-08-12 | 腾讯科技（北京）有限公司 | 播放多媒体数据的方法及装置 |
| CN105163127A (zh) * | 2015-09-07 | 2015-12-16 | 浙江宇视科技有限公司 | 视频分析方法及装置 |
| US20170132163A1 (en) * | 2015-11-10 | 2017-05-11 | International Business Machines Corporation | Enabling poll/select style interfaces with coherent accelerators |
| CN106210036A (zh) * | 2016-07-08 | 2016-12-07 | 中霆云计算科技（上海）有限公司 | 虚拟桌面呈现设备中的视频显示加速方法 |
| CN106210883A (zh) * | 2016-08-11 | 2016-12-07 | 浙江大华技术股份有限公司 | 一种视频渲染的方法、设备 |
| CN106796535A (zh) * | 2016-12-27 | 2017-05-31 | 深圳前海达闼云端智能科技有限公司 | 视频显示方法、装置、电子设备和计算机程序产品 |
Non-Patent Citations (1)
| Title |
|---|
| JIA SONG等: "Performance Review of Zero Copy Techniques", 《 INTERNATIONAL JOURNAL OF COMPUTER SCIENCE AND SECURITY (IJCSS)》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109656476A (zh) * | 2018-12-05 | 2019-04-19 | 青岛镕铭半导体有限公司 | 一种硬件加速模块及视频处理设备 |
| CN109640162A (zh) * | 2018-12-25 | 2019-04-16 | 北京数码视讯软件技术发展有限公司 | 码流转换方法及系统 |
| CN109640162B (zh) * | 2018-12-25 | 2021-05-14 | 北京数码视讯软件技术发展有限公司 | 码流转换方法及系统 |
| CN110430383A (zh) * | 2019-08-06 | 2019-11-08 | 聚好看科技股份有限公司 | 终端、信令服务器、音视频通信方法及计算机存储介质 |
| CN110719510A (zh) * | 2019-09-20 | 2020-01-21 | 中国第一汽车股份有限公司 | 一种车机音视频同步播放方法 |
| CN110855619A (zh) * | 2019-10-12 | 2020-02-28 | 安徽文香信息技术有限公司 | 播放音视频数据的处理方法、装置、存储介质及终端设备 |
| CN110855619B (zh) * | 2019-10-12 | 2021-03-23 | 安徽文香信息技术有限公司 | 播放音视频数据的处理方法、装置、存储介质及终端设备 |
| CN110933495A (zh) * | 2019-12-06 | 2020-03-27 | 深圳市斯迈龙科技有限公司 | 基于嵌入式系统的视频播放方法及装置 |
| CN111445381A (zh) * | 2020-03-20 | 2020-07-24 | 福州瑞芯微电子股份有限公司 | 一种基于exa的rga图形加速方法和存储设备 |
| WO2021197157A1 (zh) * | 2020-03-31 | 2021-10-07 | 阿里巴巴集团控股有限公司 | 视频流的处理方法、装置、电子设备及计算机可读介质 |
| CN113473126A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 视频流的处理方法、装置、电子设备及计算机可读介质 |
| US11997314B2 (en) | 2020-03-31 | 2024-05-28 | Alibaba Group Holding Limited | Video stream processing method and apparatus, and electronic device and computer-readable medium |
| US11662953B2 (en) * | 2020-10-26 | 2023-05-30 | Hitachi, Ltd. | Data compression/decompression system, and data compression/decompression method |
| CN114125432A (zh) * | 2021-11-22 | 2022-03-01 | 北京天融信网络安全技术有限公司 | 视频数据处理方法、装置、设备及存储介质 |
| CN114222073A (zh) * | 2021-12-13 | 2022-03-22 | 北京百度网讯科技有限公司 | 视频输出方法、装置、电子设备和存储介质 |
| CN114222073B (zh) * | 2021-12-13 | 2023-02-17 | 北京百度网讯科技有限公司 | 视频输出方法、装置、电子设备和存储介质 |
| CN114257867A (zh) * | 2021-12-22 | 2022-03-29 | 统信软件技术有限公司 | 视频图像显示方法和装置，计算设备和可读存储介质 |
| CN114125558A (zh) * | 2022-01-26 | 2022-03-01 | 麒麟软件有限公司 | 基于Linux桌面显卡的安卓视频解码硬件加速方法 |
| CN114125558B (zh) * | 2022-01-26 | 2022-04-22 | 麒麟软件有限公司 | 基于Linux桌面显卡的安卓视频解码硬件加速方法 |
| CN114938470A (zh) * | 2022-06-16 | 2022-08-23 | 深圳市泛联信息科技有限公司 | 多路画面同步播放方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108881916A (zh) | 远程桌面的视频优化处理方法及装置 | |
| CN104159150B (zh) | 云终端、云服务器、媒体数据流播放系统及方法 | |
| CN105262825A (zh) | 基于h.265的spice云桌面传输和展现方法及系统 | |
| US11882297B2 (en) | Image rendering and coding method and related apparatus | |
| US10791160B2 (en) | Method and apparatus for cloud streaming service | |
| US20160029079A1 (en) | Method and Device for Playing and Processing a Video Based on a Virtual Desktop | |
| CN104144349A (zh) | 基于h264的spice视频编解码扩展方法及系统 | |
| EP2721816A1 (en) | Method and device for encoding and decoding an image | |
| US8620096B2 (en) | Virtualization server for presentation virtualization and image data encoding method | |
| KR20140006778A (ko) | 이미지 압축을 위한 엔트로피 코더 | |
| CN111901414A (zh) | 基于虚拟化环境的安全桌面传输协议的实现方法及实现系统 | |
| WO2022242358A1 (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN110933495A (zh) | 基于嵌入式系统的视频播放方法及装置 | |
| WO2021223577A1 (zh) | 一种视频处理的方法、相关装置、存储介质及程序产品 | |
| WO2023011033A1 (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN114567784B (zh) | 一种用于飞腾显卡的vpu视频解码输出方法及系统 | |
| CN116400998A (zh) | 一种适用于虚拟显卡的视频硬件加速装置和方法 | |
| CN115695857A (zh) | 云应用的视频编码方法及装置 | |
| Chen et al. | Optimized viewport‐adaptive 360‐degree video streaming | |
| US20200359030A1 (en) | Video compression for video games | |
| WO2023216798A1 (zh) | 音视频的转码装置、方法、设备、介质及产品 | |
| TW202326616A (zh) | 渲染流水線中的色度最佳化 | |
| US9167272B2 (en) | Method, apparatus and system for exchanging video data in parallel | |
| CN116700943A (zh) | 一种视频播放系统、方法以及电子设备 | |
| WO2016107174A1 (zh) | 多媒体文件数据的处理方法及系统、播放器和客户端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |