CN115988214A - 视频帧编码方法、视频帧显示方法和装置 - Google Patents
视频帧编码方法、视频帧显示方法和装置 Download PDFInfo
- Publication number
- CN115988214A CN115988214A CN202211533559.1A CN202211533559A CN115988214A CN 115988214 A CN115988214 A CN 115988214A CN 202211533559 A CN202211533559 A CN 202211533559A CN 115988214 A CN115988214 A CN 115988214A
- Authority
- CN
- China
- Prior art keywords
- video frame
- target area
- client
- remote desktop
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000004590 computer program Methods 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 abstract description 22
- 230000002829 reductive effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供了一种视频帧编码方法、视频帧显示方法和装置,依据本申请实施例,可以在远程桌面视频传输时,首先确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域,然后对待展示至客户端的视频帧进行编码。在编码时,视频帧对应的画面区域划分为目标区域和非目标区域,其中目标区域对应的视频帧的质量参数优于目标区域之外的非目标区域对应的视频帧的质量参数,以降低编码后的所需要传输视频帧的数据量。最后将编码后的视频帧提供至远程桌面对应的客户端进行展示,完成远程桌面的视频传输。由此,在保证用户所感兴趣的目标区域内的视频画面质量的同时,节省了网络带宽,减少了延迟,从而为用户提供更流畅的使用体验。
Description
技术领域
本申请涉及远程桌面技术领域,尤其涉及一种视频帧编码方法、视频帧显示方法和装置、电子设备及存储介质。
背景技术
在远程桌面技术的应用背景下,用户所使用的客户端通过网络与远程服务器相连接,软件和操作系统在远程服务器运行,并通过视频传输的方式将软件和操作系统所对应的桌面视频显示在与远程服务器所对应的客户端上。远程桌面技术使用户可以在任何有网络连接的地方访问部署于远程服务器的软件或是操作系统,为用户提供了极大地便利性。
在实际应用中,远程桌面的桌面视频传输会由于网络带宽不足而产生视频画面延迟,从而导致使用感不流畅。因此,如何降低视频画面延迟,为用户提供流畅的远程桌面成为有待解决的问题之一。
发明内容
本申请实施例提供一种视频帧编码方法、视频帧显示方法和装置,以解决网络带宽不足时由于远程桌面的视频画面延迟,桌面视频不流畅导致用户体验降低的问题。
第一方面,本申请实施例提供了一种视频帧编码方法,应用于远程服务器,所述方法包括:
确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域;
对待展示至客户端的视频帧进行编码,所述视频帧对应的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
将编码后的视频帧提供至远程桌面对应的客户端进行展示。
第二方面,本申请实施例提供了一种视频帧显示方法,应用于远程桌面对应的客户端,所述方法包括:
接收远程服务器提供的视频帧;所述视频帧的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
解码所述视频帧;
将解码后的视频帧渲染至所述客户端。
第三方面,本申请实施例提供了一种视频帧编码装置,应用于远程服务器,包括:
区域确定模块,用于确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域;
视频帧编码模块,用于对待展示至客户端的视频帧进行编码,所述视频帧对应的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
视频帧提供模块,用于将编码后的视频帧提供至远程桌面对应的客户端进行展示。
第四方面,本申请实施例提供了一种视频帧显示装置,应用于远程桌面对应的客户端,包括:
视频帧接收模块,用于接收远程服务器提供的视频帧;所述视频帧的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
视频帧解码模块,用于解码所述视频帧;
视频帧渲染模块,用于将解码后的视频帧渲染至所述客户端。
第五方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器在执行所述计算机程序时实现上述任一项所述的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法。
与相关技术相比,本申请具有如下优点:
依据本申请实施例,可以在远程桌面视频传输时,首先确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域,然后对待展示至客户端的视频帧进行编码。在编码时,视频帧对应的画面区域划分为目标区域和非目标区域,其中目标区域对应的视频帧的质量参数优于目标区域之外的非目标区域对应的视频帧的质量参数,以降低编码后的所需要传输视频帧的数据量。最后将编码后的视频帧提供至远程桌面对应的客户端进行展示,完成远程桌面的视频传输。由此,在保证用户所感兴趣的目标区域内的视频画面质量的同时,节省了网络带宽,减少了延迟,从而为用户提供更流畅的使用体验。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,可依照说明书的内容予以实施,并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请的一些实施方式,而不应将其视为是对本申请范围的限制。
图1是相关有技术实现远程桌面的桌面视频传输的一种方案的示意图;
图2是本申请提供的远程桌面的桌面视频传输方案的示意图;
图3是本申请一实施例的视频帧编码方法的流程图;
图4是本申请一实施例的视频帧显示方法的流程图;
图5是本申请一实施例的视频帧编码装置的结构框图;
图6是本申请一实施例的视频帧显示装置的结构框图;以及
图7是用来实现本申请实施例的电子设备的框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的构思或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的,而非限制性的。
为便于理解本申请实施例的技术方案,以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合,其均属于本申请实施例的保护范围。
本申请实施例涉及到一种应用于远程服务器的视频帧编码方法和一种应用于与远程服务器对应的客户端的视频帧显示方法。
图1是相关技术实现远程桌面的桌面视频传输的一个示例的示意图。在这种相关技术中,远程服务器与客户端通过网络相连接,在实现远程桌面的视频编码传输时,首先从远程服务器采集桌面视频,然后对视频帧进行编码。将编码后的视频帧通过网络传输至于远程服务器对应的客户端。客户端在接收视频帧后,对视频帧进行解码,最后将解码后的视频帧渲染至客户端的桌面。在实际应用中,在网络带宽不足的情况下,应用上述远程桌面视频传输方案,桌面视频会出现延迟,从而导致用户在使用远程桌面时感到不流畅,影响了用户的使用体验。
图2是本申请提供的远程桌面的桌面视频传输方案的示意图。应用本申请所提供的远程桌面的桌面视频传输方案,在从远程服务器采集桌面视频后,对视频帧的区域进行画面区域划分,确定视频帧中用户感兴趣的至少一个目标区域,然后按区域进行不同质量的视频帧编码,也即是按照对视频帧所划分的区域,对不同区域的视频帧使用相应的质量参数进行编码。其中,目标区域可以是由远程桌面对应的客户端的用户所指定的区域,也可以是通过远程桌面所使用的操作系统的应用程序接口(Application ProgrammingInterface,API)所获取到的,由用户在客户端打开的多个应用窗口中,在桌面上所显示的最顶层的窗口区域,或是由远程桌面所使用的操作系统的应用程序接口所获取到的,应用窗口中用于展示视频流的区域。在对不同区域的视频帧使用相应的质量参数进行编码时,对于用户所感兴趣的目标区域,可以使用较优的质量参数,对于目标区域之外的非目标区域,可以使用较差的质量参数。由此,相比于上述由相关技术提供的方案,本申请提供的视频传输方案可以减少桌面视频传输内容,从而节省了网络带宽,减少了桌面视频的延迟,进而可以在保证用户所感兴趣的目标区域内的视频画面质量的同时,为用户提供更流畅的使用体验。在上述对视频帧编码后,将视频帧通过网络发送至与远程服务器对应的客户端。客户端在接受视频帧后,对视频帧进行解码,最后将解码后的视频帧渲染至客户端桌面,完成桌面视频的传输。
本申请实施例提供了一种视频帧编码方法,该方法应用于远程服务器。如图3所示是本申请一实施例的视频帧编码方法300的流程图,该方法300包括:
在步骤S301中,确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域。
本申请实施例在对远程桌面的视频帧进行编码时,首先确定远程桌面对应的客户端中用户感兴趣的一个或多个目标区域。为了对远程桌面上不同区域进行划分,将用户感兴趣的区域记为目标区域,将远程桌面上区别于目标区域的其他区域记为非目标区域。涉及到的目标区域是指在远程桌面上,相比于非目标区域来说用户更感兴趣的区域,也即是说目标区域中所展示的内容相比于非目标区域中所展示的内容来说是更为重要的。因此,在网络带宽有限的情况下,在进行桌面视频传输时,可以优先保证对目标区域中的所展示的内容的画面质量。例如,目标区域可以是通过远程桌面所使用的操作系统的应用程序接口所获取到的,由用户在客户端打开的多个应用程序(Application,APP)的窗口中,在桌面上所显示的最顶层的窗口区域。如在应用远程桌面办公的场景下,用户开启了多个文档编辑窗口,最顶层的文档编辑窗口部分覆盖于其他文档编辑窗口之上,此时可以确定最顶层窗口所在的区域为目标区域。
可以理解的是,在确定远程桌面对应的客户端中用户所感兴趣的至少一个目标区域之前,可以先采集远程桌面的桌面视频,随后基于采集到的桌面视频应用由本申请实施例所提供的视频帧编码方法的相关步骤。具体而言,在采集远程桌面的桌面视频时,可以通过远程桌面所对应使用操作系统的应用程序接口,抓取部署于远程服务器的桌面视频中的视频帧。
在一种实现方式中,在确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域时,可以从远程桌面对应的客户端获取用户提交的感兴趣的至少一个目标区域。也即是说,目标区域可以是由远程桌面对应的客户端的用户所指定的一个区域。远程服务器可以解析用户通过与远程桌面的交互操作所提交的用于指定感兴趣的区域的请求,从而确定用户感兴趣的至少一个目标区域。其中,涉及到的交互操作可以包括用户通过使用鼠标、键盘、语音等方式与远程桌面进行交互的操作。例如,在应用数字孪生技术对建筑进行远程检查的场景下,用户通过鼠标点击选定的方式将桌面上用于展示建筑的数字孪生模型的区域提交为感兴趣的区域,此时即可确定用于展示数字孪生模型的区域为目标区域。
在一种实现方式中,从所述远程桌面对应的客户端获取用户提交的感兴趣的至少一个目标区域可以包括调用操作系统的应用程序接口,获取远程桌面加载的应用程序的程序标识。也即是说,在远程桌面加载有一个或多个应用程序的情况下,可以根据用户所提交的用于从上述应用程序中指定感兴趣的区域的请求,确定上述感兴趣的区域所对应的应用程序的程序标识,进一步通过上述程序标识确定远程桌面上的目标区域。例如,远程桌面加载有多个应用程序,在提交感兴趣的区域时,用户使用语音交互的方式,通过语音输入了一个应用程序的名称。远程服务器可以解析用户通过语音输入的应用程序名称,并结合所获取的应用程序名称调用远程桌面所对应的操作系统的应用程序接口,进一步通过上述应用程序接口获取上述应用程序的程序标识。在获取到应用程序的程序标识后,可以将由程序标识对应指示的应用程序的显示窗口确定为用户感兴趣的目标区域。
在一种实现方式中,在确定远程桌面对应的客户端的显示窗口中用户感兴趣的至少一个目标区域时,可以从配置文件中读取针对所述客户端预先配置的至少一个目标区域。涉及到的配置文件是指加载于远程桌面的应用程序的配置文件,用于记录应用程序的配置信息,其中包括用于指定目标区域的信息。例如,远程服务器开始加载某一应用程序时,在通过配置文件读取到针对客户端预先配置的目标区域是用于展示视频流的区域后,即可在远程桌面加载该应用程序时,确定用于展示该应用程序中视频流的区域为目标区域。在应用远程桌面浏览流媒体网页的场景下,浏览器页面中包括用于展示视频流的区域,以及用于展示相关视频流推荐的区域以及视频流的评论区域。此时可以将远程桌面上流媒体网页中用于展示视频流的区域确定为目标区域。在远程桌面的游戏场景下,可以从游戏的配置文件中读取用于展示游戏画面视频流所对应的区域为目标区域。
在步骤S302中,对待展示至客户端的视频帧进行编码,所述视频帧对应的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数。
对待展示至客户端的视频帧进行编码是对视频帧进行压缩的过程,包括对视频帧的内容通过一定的编码格式进行编码处理。涉及到的编码格式可以包括H264、Xvid、MPEG1和MPEG2等,本申请实施例对具体的编码格式的选取不做限制。通过对视频帧的内容进行编码处理,可以将视频帧压缩成更小的数据包以便传输。其中,视频帧的内容可以包括视频帧所对应的显示参数,例如视频帧所对应的画面的大小、RGB颜色空间的像素矩阵、YUV颜色空间的像素矩阵等。
其中,目标区域对应的视频帧的质量参数优于目标区域之外的非目标区域对应的视频帧的质量参数,是指在按照与目标区域相对应的质量参数,对目标区域对应的视频帧进行编码后,目标区域的画面质量优于非目标区域的画面质量。例如,涉及到的质量参数可以是QP值(Quantizer Parameter,量化参数)。在使用QP值对视频帧进行编码时,QP值越小,对应的画面质量越高。由于目标区域对应的视频帧的质量参数优于目标区域之外的非目标区域对应的视频帧的质量参数,因此,在确定目标区域和非目标区域分别对应的QP值时,所确定的目标区域所对应的QP值低于非目标区域的QP值。
可以理解的是,对质量参数的具体数值的选取需要结合实际应用情况进行调整,本申请实施例对质量参数的具体数值的选取不做限制。在将视频帧划分为目标区域和非目标区域后,相比于对视频帧整体使用同一质量参数进行编码的方案,在为非目标区域使用不优于目标区域的质量参数,或是为非目标区域选取用于舍弃非目标区域的质量参数的情况下,可以减少编码后的视频帧的数据量。
在一种实现方式中,对待展示至客户端的视频帧进行编码可以包括确定所述目标区域和非目标区域分别对应的质量参数。在确定相应的质量参数后,按照目标区域对应的质量参数对目标区域对应的部分视频帧进行编码,并按照非目标区域对应的质量参数对非目标区域对应的部分视频帧进行编码。进行编码时,可以通过视频帧的宏块对目标区域进行判断,确定宏块所对应的区域是目标区域,则使用更优的质量参数对目标区域进行编码。
在一种实现方式中,按照目标区域对应的质量参数对目标区域对应的部分视频帧进行编码可以包括首先通过操作系统的应用程序接口,获取所述目标区域的显示参数,然后按照所述目标区域的显示参数和质量参数对所述目标区域对应的部分视频帧进行编码。
在步骤S303中,将编码后的视频帧提供至远程桌面对应的客户端进行展示。
在远程服务器对远程桌面的视频帧进行编码后,将视频帧提供至远程桌面对应的客户端进行展示。可以通过网络传输的方式,将编码后的视频帧通过网络发送至对应的客户端。在一种可能的实施方式中,可以将编码后的视频帧通过例如RTP(Real-timeTransport Protocol,实时传输协议)从服务器发出,然后通过UDP(User DatagramProtocol,用户数据报协议)或TCP(Transmission Control Protocol,传输控制协议)等传输协议传输至远程桌面对应的客户端。
本申请实施例还提供一种视频帧显示方法,如图4所示是本申请一实施例的视频帧显示方法400的流程图,应用于与远程桌面对应的客户端,该方法400包括:
在步骤S401中,接收远程服务器提供的视频帧;所述视频帧的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数。
在向在与远程桌面对应的客户端用户提供远程桌面服务时,为了在客户端展示远程桌面的桌面视频,上述客户端首先需要接收由远程服务器所提供的视频帧。客户端所接收的视频帧可以是由应用上述方法300所提供的视频帧,具体的对视频帧的编码过程可参见上述方法300所提供的实施例,在此不做赘述。其中,视频帧的接收与发送具有一一对应的关系,后续对接收到的视频帧进行解码时,解码方式也与其编码格式相对应。
在步骤S402中,解码所述视频帧。
在接收到由远程服务器提供的视频帧后,对所接收到的视频帧进行解码。其中,视频帧解码是视频帧编码的逆向过程,通过对接收到的视频帧进行解码可以将编码压缩后的视频帧还原为视频帧所对应的视频画面。因此在解码时,可以根据所接收到的视频帧,使用对应于视频帧编码格式的解码方法,对视频帧进行解码。
在一种实施方式中,对视频帧进行解码前,还可以首先对接收到的视频帧进行纠错、重传、组帧等操作,提高视频传输的准确性。
在步骤S403中,将解码后的视频帧渲染至所述客户端。
在对所接收到的视频帧解码后,将解码后的视频帧渲染至与远程桌面对应的客户端,完成对远程桌面的桌面视频的传输。在渲染时,可以根据客户端对应设备的屏幕大小,对桌面视频画面的尺寸做适应性调整。由于在编码时目标区域对应的视频帧的质量参数优于目标区域之外的非目标区域对应的视频帧的质量参数,因此解码后,渲染至客户端的远程视频中,目标区域的画面质量优于非目标区域的画面质量。
由于视频帧的画面区域划分为目标区域和非目标区域,且目标区域对应的视频帧的质量参数优于非目标区域对应的视频帧的质量参数,因此相比于所接收的视频帧在编码时整体使用同一质量参数进行编码的方案,应用本申请实施例所提供的视频显示方案,在保证目标区域对应的画面质量的同时,接收到的视频帧所对应的数据量更少,因此客户端用于接收视频帧对网络带宽的占用更小,从而降低了桌面视频的延迟,进而为用户带来更流畅的远程桌面的使用体验。
与本申请实施例提供的方法的应用场景以及方法相对应地,本申请实施例还提供一种视频帧编码装置。如图5所示为本申请一实施例的视频帧编码装置500的结构框图,该视频帧编码装置500可以包括:
区域确定模块501,用于确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域;
视频帧编码模块502,用于对待展示至客户端的视频帧进行编码,所述视频帧对应的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
视频帧提供模块503,用于将编码后的视频帧提供至远程桌面对应的客户端进行展示。
在一种实施方式中,区域确定模块501可以包括:
区域获取子模块,用于从所述远程桌面对应的客户端获取用户提交的感兴趣的至少一个目标区域。
在一种实施方式中,所述区域获取子模块可以具体用于:调用操作系统的应用程序接口,获取所述远程桌面加载的应用程序的程序标识;将所述程序标识对应的应用程序的显示窗口确定为所述用户感兴趣的目标区域。
在一种实施方式中,所述区域确定模块501可以包括:
文件读取子模块,用于从配置文件中读取针对所述客户端预先配置的至少一个目标区域。
在一种实施方式中,视频帧编码模块502可以包括:
参数确定子模块,用于确定所述目标区域和非目标区域分别对应的质量参数;
第一编码子模块,用于按照目标区域对应的质量参数对目标区域对应的部分视频帧进行编码;
第二编码子模块,用于按照非目标区域对应的质量参数对非目标区域对应的部分视频帧进行编码。
在一种实施方式中,所述第一编子模块可以具体用于通过操作系统的应用程序接口,获取所述目标区域的显示参数;按照所述目标区域的显示参数和质量参数对所述目标区域对应的部分视频帧进行编码。
与本申请实施例提供的方法的应用场景以及方法相对应地,本申请实施例还提供一种视频帧显示装置。如图6所示为本申请一实施例的视频帧显示装置600的结构框图,该视频帧显示装置600可以包括:
视频帧接收模块601,用于接收远程服务器提供的视频帧;所述视频帧的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
视频帧解码模块602,用于解码所述视频帧;
视频帧渲染模块603,用于将解码后的视频帧渲染至所述客户端。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述,并具备相应的有益效果,在此不再赘述。
图7为用来实现本申请实施例的电子设备的框图。如图7所示,该电子设备包括:存储器701和处理器702,存储器701内存储有可在处理器702上运行的计算机程序。处理器702执行该计算机程序时实现上述实施例中的方法。存储器701和处理器702的数量可以为一个或多个。
该电子设备还包括:
通信接口703,用于与外界设备进行通信,进行数据交互传输。
如果存储器701、处理器702和通信接口703独立实现,则存储器701、处理器702和通信接口703可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器701、处理器702及通信接口703集成在一块芯片上,则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片,该芯片包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,处理器用于执行申请实施例提供的方法。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(Advanced RISC Machines,ARM)架构的处理器。
进一步地,可选的,上述存储器可以包括只读存储器和随机访问存储器。该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以包括随机访问存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM均可用。例如,静态随机访问存储器(Static RAM,SRAM)、动态随机访问存储器(Dynamic Random Access Memory,DRAM)、同步动态随机访问存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机访问存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机访问存储器(Enhanced SDRAM,ESDRAM)、同步链接动态随机访问存储器(Sync link DRAM,SLDRAM)和直接内存总线随机访问存储器(DirectRambus RAM,DR RAM)。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生依照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中描述的或在此以其他方式描述的任何过程或方法可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
在流程图中描述的或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本申请的示例性实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请记载的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种视频帧编码方法,应用于远程服务器,所述方法包括:
确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域;
对待展示至客户端的视频帧进行编码,所述视频帧对应的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
将编码后的视频帧提供至远程桌面对应的客户端进行展示。
2.根据权利要求1所述的方法,所述确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域包括:
从所述远程桌面对应的客户端获取用户提交的感兴趣的至少一个目标区域。
3.根据权利要求2所述的方法,所述从所述远程桌面对应的客户端获取用户提交的感兴趣的至少一个目标区域包括:
调用操作系统的应用程序接口,获取所述远程桌面加载的应用程序的程序标识;
将所述程序标识对应的应用程序的显示窗口确定为所述用户感兴趣的目标区域。
4.根据权利要求1所述的方法,所述确定远程桌面对应的客户端的显示窗口中用户感兴趣的至少一个目标区域包括:
从配置文件中读取针对所述客户端预先配置的至少一个目标区域。
5.根据权利要求1所述的方法,所述对待展示至客户端的视频帧进行编码包括:
确定所述目标区域和非目标区域分别对应的质量参数;
按照目标区域对应的质量参数对目标区域对应的部分视频帧进行编码;
按照非目标区域对应的质量参数对非目标区域对应的部分视频帧进行编码。
6.根据权利要求5所述的方法,所述按照目标区域对应的质量参数对目标区域对应的部分视频帧进行编码包括:
通过操作系统的应用程序接口,获取所述目标区域的显示参数;
按照所述目标区域的显示参数和质量参数对所述目标区域对应的部分视频帧进行编码。
7.一种视频帧显示方法,应用于远程桌面对应的客户端,所述方法包括;
接收远程服务器提供的视频帧;所述视频帧的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
解码所述视频帧;
将解码后的视频帧渲染至所述客户端。
8.一种视频帧编码装置,应用于远程服务器,包括:
区域确定模块,用于确定远程桌面对应的客户端中用户感兴趣的至少一个目标区域;
视频帧编码模块,用于对待展示至客户端的视频帧进行编码,所述视频帧对应的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
视频帧提供模块,用于将编码后的视频帧提供至远程桌面对应的客户端进行展示。
9.一种视频帧显示装置,应用于远程桌面对应的客户端,包括:
视频帧接收模块,用于接收远程服务器提供的视频帧;所述视频帧的画面区域划分为目标区域和非目标区域,所述目标区域对应的视频帧的质量参数优于所述目标区域之外的非目标区域对应的视频帧的质量参数;
视频帧解码模块,用于解码所述视频帧;
视频帧渲染模块,用于将解码后的视频帧渲染至所述客户端。
10.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器在执行所述计算机程序时实现权利要求1-7中任一项所述的方法。
11.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211533559.1A CN115988214A (zh) | 2022-12-01 | 2022-12-01 | 视频帧编码方法、视频帧显示方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211533559.1A CN115988214A (zh) | 2022-12-01 | 2022-12-01 | 视频帧编码方法、视频帧显示方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115988214A true CN115988214A (zh) | 2023-04-18 |
Family
ID=85961935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211533559.1A Pending CN115988214A (zh) | 2022-12-01 | 2022-12-01 | 视频帧编码方法、视频帧显示方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115988214A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117440190A (zh) * | 2023-11-23 | 2024-01-23 | 北京视睿讯科技有限公司 | 一种分布式视频同步方法、系统、设备和介质 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
CN105049949A (zh) * | 2015-06-19 | 2015-11-11 | 美国掌赢信息科技有限公司 | 一种即时视频的编码方法和电子设备 |
CN106681679A (zh) * | 2017-01-19 | 2017-05-17 | 深圳市云点科技有限公司 | 远程桌面画面的传输方法和装置 |
US9819937B1 (en) * | 2015-04-14 | 2017-11-14 | Teradici Corporation | Resource-aware desktop image decimation method and apparatus |
CN107885512A (zh) * | 2017-11-14 | 2018-04-06 | 维沃移动通信有限公司 | 一种应用程序安装方法、移动终端 |
CN108737724A (zh) * | 2017-04-17 | 2018-11-02 | 英特尔公司 | 用于360视频捕获和显示的系统和方法 |
CN110087081A (zh) * | 2019-05-05 | 2019-08-02 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、服务器及存储介质 |
CN110267037A (zh) * | 2019-06-21 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、电子设备及计算机可读存储介质 |
CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技(深圳)有限公司 | 一种视频编码方法、装置、设备和存储介质 |
CN111787398A (zh) * | 2020-06-24 | 2020-10-16 | 浙江大华技术股份有限公司 | 视频压缩方法、装置、设备及存储装置 |
CN111836092A (zh) * | 2019-04-15 | 2020-10-27 | 深信服科技股份有限公司 | 一种虚拟桌面的数据处理方法、装置及相关组件 |
CN111918066A (zh) * | 2020-09-08 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 视频编码方法、装置、设备及存储介质 |
CN112291587A (zh) * | 2019-07-25 | 2021-01-29 | 上海达龙信息科技有限公司 | 远程桌面的动态视频帧处理方法、系统、介质及服务器 |
CN114007137A (zh) * | 2021-10-29 | 2022-02-01 | 杭州雾联科技有限公司 | 一种基于roi的视频分级编码的方法、装置及介质 |
WO2022022700A1 (zh) * | 2020-07-30 | 2022-02-03 | 维沃移动通信有限公司 | 应用图标显示方法、装置及电子设备 |
CN115134603A (zh) * | 2021-03-24 | 2022-09-30 | 阿里巴巴新加坡控股有限公司 | 一种图像编码、解码方法、装置、电子设备及存储介质 |
-
2022
- 2022-12-01 CN CN202211533559.1A patent/CN115988214A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
US9819937B1 (en) * | 2015-04-14 | 2017-11-14 | Teradici Corporation | Resource-aware desktop image decimation method and apparatus |
CN105049949A (zh) * | 2015-06-19 | 2015-11-11 | 美国掌赢信息科技有限公司 | 一种即时视频的编码方法和电子设备 |
CN106681679A (zh) * | 2017-01-19 | 2017-05-17 | 深圳市云点科技有限公司 | 远程桌面画面的传输方法和装置 |
CN108737724A (zh) * | 2017-04-17 | 2018-11-02 | 英特尔公司 | 用于360视频捕获和显示的系统和方法 |
CN107885512A (zh) * | 2017-11-14 | 2018-04-06 | 维沃移动通信有限公司 | 一种应用程序安装方法、移动终端 |
CN111836092A (zh) * | 2019-04-15 | 2020-10-27 | 深信服科技股份有限公司 | 一种虚拟桌面的数据处理方法、装置及相关组件 |
CN110087081A (zh) * | 2019-05-05 | 2019-08-02 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、服务器及存储介质 |
CN110267037A (zh) * | 2019-06-21 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、电子设备及计算机可读存储介质 |
CN112291587A (zh) * | 2019-07-25 | 2021-01-29 | 上海达龙信息科技有限公司 | 远程桌面的动态视频帧处理方法、系统、介质及服务器 |
CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技(深圳)有限公司 | 一种视频编码方法、装置、设备和存储介质 |
CN111787398A (zh) * | 2020-06-24 | 2020-10-16 | 浙江大华技术股份有限公司 | 视频压缩方法、装置、设备及存储装置 |
WO2022022700A1 (zh) * | 2020-07-30 | 2022-02-03 | 维沃移动通信有限公司 | 应用图标显示方法、装置及电子设备 |
CN111918066A (zh) * | 2020-09-08 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 视频编码方法、装置、设备及存储介质 |
CN115134603A (zh) * | 2021-03-24 | 2022-09-30 | 阿里巴巴新加坡控股有限公司 | 一种图像编码、解码方法、装置、电子设备及存储介质 |
CN114007137A (zh) * | 2021-10-29 | 2022-02-01 | 杭州雾联科技有限公司 | 一种基于roi的视频分级编码的方法、装置及介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117440190A (zh) * | 2023-11-23 | 2024-01-23 | 北京视睿讯科技有限公司 | 一种分布式视频同步方法、系统、设备和介质 |
CN117440190B (zh) * | 2023-11-23 | 2024-06-11 | 北京视睿讯科技有限公司 | 一种分布式视频同步方法、系统、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230393802A1 (en) | Real-time screen sharing | |
CN111263208B (zh) | 一种画面合成方法、装置、电子设备及存储介质 | |
CN109040792B (zh) | 一种视频重定向的处理方法、云终端和云桌面服务器 | |
US11381816B2 (en) | Method and system for real-time content-adaptive transcoding of video content on mobile devices to save network bandwidth during video sharing | |
CN110784718B (zh) | 视频数据编码方法、装置、设备和存储介质 | |
TW200845764A (en) | Method and apparatus for providing improved residual prediction for spatial scalability in video coding | |
US11438645B2 (en) | Media information processing method, related device, and computer storage medium | |
WO2021057697A1 (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
US10819951B2 (en) | Recording video from a bitstream | |
WO2023125078A1 (zh) | 一种视频转码及视频显示方法、装置及电子设备 | |
CN115988214A (zh) | 视频帧编码方法、视频帧显示方法和装置 | |
CN112261377A (zh) | web版监控视频播放方法、电子设备及存储介质 | |
WO2023226915A1 (zh) | 视频传输方法、系统、设备及存储介质 | |
CN114979755A (zh) | 投屏方法、装置、终端设备及计算机可读存储介质 | |
US11943473B2 (en) | Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device | |
US20170134454A1 (en) | System for cloud streaming service, method for still image-based cloud streaming service and apparatus therefor | |
WO2023142665A1 (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
WO2023193524A1 (zh) | 直播视频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
US12034944B2 (en) | Video encoding method and apparatus, video decoding method and apparatus, electronic device and readable storage medium | |
WO2021057464A1 (zh) | 视频处理方法和装置、存储介质和电子装置 | |
US20050286803A1 (en) | Image processing apparatus, display device, image processing method, and image processing program | |
CN105812922A (zh) | 多媒体文件数据的处理方法及系统、播放器和客户端 | |
CN114125550B (zh) | 一种视频处理方法、装置、设备及可读存储介质 | |
EP4391554A1 (en) | Video processing collaboration method, apparatus, device, and storage medium | |
CN109495793B (zh) | 一种弹幕写入方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230418 |