CN115529300A - 自动调整关键帧量化参数和帧率的系统和方法 - Google Patents

Abstract

本发明提供了一种新的实时视频通信系统和方法，该方法通过自动调整关键帧的量化参数值来提高屏幕共享的清晰度。这种调整是基于网络带宽的状况进行的。当网络带宽情况变差时，关键帧的量化参数值会从H.264编码器计算的值的基础上进一步减小，以获得更合适的量化参数值，从而实现理想的屏幕共享的用户体验。并且新的实时视频通信系统和方法也会基于当前的量化参数值来调整屏幕共享的帧率，以实现更理想的屏幕共享用户体验。

Description

自动调整关键帧量化参数和帧率的系统和方法

相关申请的交叉引用

无

技术领域

本发明总体上涉及实时视频通信领域，具体而言，本发明涉及用于屏幕共享的实时视频通信的系统和方法。更具体而言，本发明涉及一种自动调整量化参数和帧率的实时屏幕共享系统。

背景技术

在实时视频通信系统中，参与通信的电子设备(如笔记本电脑、台式电脑、平板电脑、智能手机等)之间进行音频和视频数据的交换。实时视频通信系统通常遵循工业标准，如H.264。H.264(又称为高级视频编码，或MPEG-4第10部分：高级视频编码)是基于预测、变换、量化和熵编码的视频压缩标准，由国际电信联盟(ITU)和国际标准化组织(ISO)/国际电工委员会(IEC)的运动图像专家组(MPEG)联合开发。同时第16研究组的ITU-T视频编码专家组(VCEG)和ISO/IEC JTC1运动图像专家组也将其进一步标准化。

在实时视频通信会话(如视频会议)期间，每个参与通信的电子设备使用麦克风设备捕获音频数据，并使用照相机设备或者屏幕捕获程序捕获视频数据。接收到的音频数据通过扬声器设备播放，而接收到的视频数据会在显示设备上播放。人们希望实时视频通信系统可以实时地交换数据，并且其中的延时可以忽略不计，从而获得理想的用户体验。实时视频通信系统的实时性对于用户而言是至关重要的。

在实时视频通信会话期间，参与者经常需要共享某位参与者的计算机屏幕。例如，将第一台设备的显示屏上显示的内容发送到并显示在其他参与设备的显示屏。屏幕共享是实时视频通信中的常用功能。屏幕共享有其独特的特征。屏幕显示通常包含文本、图画线条和其他图形元素，因此对于观看者(即，除了共享其计算机屏幕的人之外的其它参与者)而言，需要比照相机所捕获的视频帧具有更高的清晰度。比如说，我们不希望在接收设备上显示的共享内容是断断续续的。又如，我们也不希望看到显示字体是模糊的。此外，共享屏幕的内容通常不会经常发生变动，这与相机视图有所不同。因此，共享屏幕向其他参与设备发送的视频数据量一般来说少于同等分辨率和帧率的相机视频通话。

因此，需要一种新的系统和方法，根据屏幕共享的特性来提高屏幕共享中屏幕内容的清晰度和锐利度。另外，实时视频通信系统的基础通信网络(如Wi-Fi连接和互联网)的状况也会实时地改变。网络带宽都在不断变化。因此，需要一种全新的系统和方法根据网络状况自动重新配置共享的屏幕编码组件，从而获得高屏幕清晰度。另外该技术也应能满足屏幕共享中低延迟和带宽的需求。

发明内容

总体而言，本发明基于各个实施方案，提供了一种在实时视频通信系统中，用于根据网络带宽状况在屏幕共享中自动调整量化参数的方法。该方法通过实时视频通信系统的电子设备执行。该方法包括：通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享关键帧量化参数设置初始值。实时视频通信系统电子设备包括处理器；可有效耦合至该处理器的存储器；可有效耦合至该处理器的输入接口；可有效耦合至该处理器的音频输出接口；可有效耦合至该处理器的的网络接口；可有效耦合至该处理器的视频输出接口；可有效耦合至该处理器的视频输入接口；可有效耦合至该处理器的音频输入接口；以及可由该处理器运行的专用实时视频通信软件应用程序。该方法还包括：确定网络连接的当前带宽量。实时视频通信系统电子设备可通过网络连接与实时视频通信系统中的一组电子设备在视频输出接口上共享显示屏幕。该方法还包括：从视频编码器处获取屏幕共享的关键帧的量化参数；采用专用实时视频通信软件应用程序，调整上述获得的量化参数值，从而获得调整后的量化参数值；使用调整后的量化参数值对屏幕共享的关键帧进行编码；将该关键帧设置为其他非关键帧的长期参考帧；通过网络连接将该编码后的关键帧发送至该组电子设备。例如在一个实施方案中，屏幕共享的关键帧是瞬时解码器刷新帧；关键帧量化参数为瞬时解码器刷新帧的量化参数；视频编码器是H.264编码器。在一个实施方案中，当带宽量大于800kbps时，专用软件应用程序会通过将已知的量化参数值减2来调整已知的量化参数值，以创建调整后的量化参数值。当带宽量在800kbps至400kbps之间时，将已知的量化参数值减4；当带宽量在400kbps和200kbps之间时，将已知的量化参数值减6；当带宽量低于200kbps时，将已知的量化参数值减8。

此外，根据本发明还提供了，一种用于在实时视频通信系统中根据量化参数在屏幕共享中自动调整帧率的方法。该方法通过实时视频通信系统的电子设备执行。该方法包括：通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享的编码设置初始帧率值。实时视频通信系统电子设备包括处理器；可有效耦合至该处理器的存储器；可有效耦合至该处理器的输入接口；可有效耦合至该处理器的音频输出接口；可有效耦合至该处理器的网络接口；可有效耦合至该处理器的视频输出接口；可有效耦合至该处理器的视频输入接口；可有效耦合至该处理器的音频输入接口；以及可由该处理器运行的专用实时视频通信软件应用程序。该方法还包括：获取屏幕共享最近发送的一帧的量化参数值；为量化参数值划分一组区间；根据量化参数值的区间确定其对应的一组帧率调整值；根据当前量化参数值，在该组帧率调整值中选取对应的一个帧率调整值；根据当前帧率和帧率调整值确定新的帧率；根据新的帧率决定下一帧的发送时间；将新的帧率设置为当前帧率；对下一帧进行编码；然后将下一帧发送到实时视频通信系统中的一组电子设备中。例如在一个实施方案中，当前的量化参数值从视频编码器获取。另外，所述视频编码器是H.264编码器。在一个实施方案中，该组量化参数值的区间包括从零到二十、二十到二十五、二十五到三十、三十到三十五以及三十五到五十的区间；而与该组量化参数值的区间相对应的一组帧率调整数值包括，帧率调整值1、帧率调整值1/2、帧率调整值0、帧率调整值-1/2，以及帧率调整值-1。

附图说明

本发明或申请文件包含至少一个彩色附图。专利局将根据需求并在支付相关费用的情况下，提供带有彩色附图的本发明或专利申请的副本。

在权利要求书中将会特别指出本发明的功能特征，同时也可通过参考以下附图及其相关描述来更好地理解本发明本身以及本发明的构成和使用方式。构成本发明一部分的全部附图中，其中相同的附图标记表示相同的部件：

图1是根据本发明实施例所绘制的实时视频通信系统的说明性框图。

图2是根据本发明实施例所绘制的实时视频通信设备的说明性框图。

图3是根据本发明实施例所绘制的在实时视频通信会话中，进行屏幕共享的一系列显示屏数据帧的说明性框图。

图4是根据本发明实施例所绘制的实时视频通信设备根据通信网络的状况自动调整屏幕共享的关键帧的QP值(量化参数值)这一过程的流程图。

图5是根据本发明实施例所绘制的，实时视频通信设备根据当前网络状况自动调整屏幕共享帧率的OP值这一过程的流程图。

本领域的普通技术人员应当可以理解，为了简单明了地展示以上附图中的各个元件，附图并不一定是按比例绘制的。附图中的一些元件的尺寸可能相对于其他元件被放大了，以便帮助理解本发明。此外，本文描述或说明的某些元件、零件、组件、模块、步骤、操作、事件和/或过程的特定顺序在实际应用中也许并非是必需的。本领域普通技术人员应当理解，为简单明了地阐述，在一些实施方案中，对于市售可得、众所周知且易于理解的有用和/或必需的元件可能在本文中并未进行描述，以便能清晰地呈现本发明的各种实施方案。

具体实施方式

现在来看附图，图1是一个实时视频通信系统的说明性框图，其整体表示为100。实时视频通信系统100包括一组参与的电子设备，例如102、104、106和108所示。实时视频通信系统电子设备102-108通过互联网110进行彼此之间通信。这些实时视频通信系统电子设备通过例如Wi-Fi、公共移动电话网、以太网等局域网连接到互联网110。图2对电子设备102-108各自进行了更详细的说明。

图2是一套实时视频通信设备的简化框图，所述视频通信设备例如设备102。设备102包含处理器(如中央处理器(CPU))202，可有效耦合至处理器202的具有一定容量的存储器204，可有效耦合至处理器202的一个或多个输入接口(如鼠标接口、键盘接口、触摸屏界面等)206，可有效耦合至处理器202的音频输出接口208，可有效耦合至处理器202的网络接口210，可有效耦合至处理器202的视频输出接口212(如显示屏)，可有效耦合至处理器202的视频输入接口214(如相机)，以及可有效耦合至处理器202的音频输入接口216(如麦克风)。设备102还包括操作系统220和可由处理单元202运行的专用实时视频通信软件应用程序222，该应用程序222使用例如C、C++、C#、Java等一种或多种计算机编程语言进行编程。该应用程序222包括或使用视频编码器、音频编码器、视频解码器和音频解码器。在本发明中，所述编码器和解码器均为专用实时视频通信软件应用程序222的一部分。

专用实时视频通信软件应用程序222发送视频数据(如由视频输入设备214捕获的帧)、音频数据(如由音频输入设备216捕获的音频数据)和屏幕数据(如监视器屏幕212上显示的视频输出)等至其他参与通信的设备，从其他设备处接收视频数据、音频数据和屏幕数据，并在其运行设备上输出接收到的数据。屏幕数据是指共享显示屏幕的数据，如设备102的数据。所述屏幕数据可以包括文本和图形等数据。屏幕数据以帧的形式发送到其他设备处，详见图3。接收设备(如设备104-108)接收数据帧并在相应的本地视频输出设备212上显示。

图3是一个一系列显示屏数据帧的简化框图，其整体表示为300。在设备102-108参与的实时视频通信会话中，如果设备102的屏幕212是共享屏幕，则设备102将生成帧300并将其发送至设备104-108处。帧302、304和306是关键帧，例如在H.264中定义的瞬时解码器刷新(IDR)帧。每一个关键帧302-306都是完全编码的帧和完整的图像，由软件应用程序222的编码器执行编码。两个连续关键帧302-304之间的帧312-320是帧间帧，例如在H.264中定义的P帧。每个帧间帧都与一个或多个其他帧有差异。关键帧302和帧间帧312-320也被统称为图片组(GOP)，以322表示。另一个GOP以324表示。

此外，两个连续的帧间帧中的第一个帧间帧是另一个帧间帧的前一个参考帧。关键帧在直接编码不需要参考帧。而帧间帧需要参考其他帧进行编码。例如，每个帧间帧参考其关键帧和前一帧进行编码。在这种情况下，帧间帧316参考关键帧302和其帧314进行编码。因此，帧302和314在本发明中被称为帧间帧316的参考帧。在本发明中，帧302也作为帧间帧312-320中的每一帧的长期参考帧，帧间帧314则作为帧间帧316的短期参考帧。

在本发明中，将两个连续关键帧之间的时间段称为关键帧间隔，如200ms(指每200毫秒发送一个新的关键帧)。本发明中，专用软件应用程序在1秒内发送到其他参与设备的帧数称为帧率，如15。

在接收设备104-108的显示屏212上显示共享屏幕时，共享屏幕的质量取决于H.264标准下的量化参数(QP)的值。例如，关键帧(如H.264标准下的IDR帧)的清晰度取决于该关键帧的QP值。QP值越低则清晰度越高。在H.264中，通过近似于离散余弦变换的整数变换，将残差变换到频域。通过QP值确定量化步长，所述量化步长将变换后的系数进行量化。越大的QP值代表量化步长越大，因此大部分信息被量化去掉了。小的QP可以使得量化去掉的信息更少，但是会消耗更多的网络带宽。

当设备102和其他设备104-108之间的网络连接的带宽下降时，则需要降低关键帧的视频帧质量。清晰度较低的关键帧消耗的网络带宽较少。通过减少网络宽带的消耗，可以使得关键帧被接收设备及时接收。但是，H.264标准编码器为关键帧输出的QP值往往过高，导致的直接结果就是IDR帧的清晰度太低，以至于用户无法接受。此外，H.264标准编码器在为IDR帧输出QP值时，无法充分考虑通信网络吞吐量的比特率。图4将对本发明的改进方法做进一步阐述，使用更合适的QP值为关键帧编码，从而使得设备104-108上的共享屏幕呈现更令人满意的清晰度。

图4是一个流程图，显示了专用软件应用程序222根据网络连接的状况，自动调节关键帧的QP值的过程，该过程整体以400表示。在402处，专用软件应用程序222为关键帧的QP参数(如H.264标准下的IDR帧QP参数)设置一个初始值(如24)，以共享设备102的显示屏幕。只要设置了初始值，关键帧就可以使用编码器(如H.264标准编码器)进行编码。将编码后的关键帧从设备102发送至接收设备104-108处。此后，帧间帧被编码并发送至接收设备104-108。

但是，设备102-108之间的网络连接状况是不断变化的。因此，需要让关键帧QP参数适应实际的网络带宽条件。在404处，通过专用软件应用程序222确定网络连接的当前带宽量。已知的带宽量是比特率的一个估算值，所述比特率可以用于使专用软件应用程序222将共享的屏幕数据、视频数据和其他数据发送到其他设备。在带宽估算中考虑了各种因素，如网络丢包率和数据包往返时间(RTT)等。

在406处，专用软件应用程序222获得当前关键帧(如IDR帧)的QP值。在一个实施方案中，由H.264标准编码器输出该QP值。在408处，专用软件应用程序222基于带宽量来调整已知的QP值，得出调整后的QP值。在一个实施方案中，当带宽大于800kbps时，将已知的QP值减2得出调整后的QP值；当带宽在800kbps和400kbps之间时，将已知的QP值减4得出调整后的QP值；当带宽在400kbps和200kbps之间时，将已知的QP值减6得出调整后的QP值；当带宽低于200kbps时，将已知的QP值减8得出调整后的QP值。调整量(如上文提到的2、4、6、8)在本发明中称为关键帧QP调整值。

在410处，专用软件应用程序222使用调整后的QP值对当前关键帧(例如IDR帧)进行编码。在一个实施方案中，在410处，专用软件应用程序222调用H.264编码器对IDR帧进行编码。在412处，专用软件应用程序222将当前关键帧设置为其他非关键帧的长期参考帧。在414处，在一个实时视频通信会话中，专用软件应用程序222将已编码的关键帧发送至其他参与通信的设备。

专用软件应用程序222还会根据当前QP值调整帧率，用以提高共享屏幕在接收设备104-108上显示时的清晰度。关于专用软件应用程序222如何根据当前QP值调整帧率的过程详见图5相关描述。

图5是一个流程图，显示了专用软件应用程序222根据当前QP值自动调整帧率的过程，该过程整体表示为500。在502处，专用软件应用程序222为设备102的共享屏幕的编码帧设置一个初始帧率值，如15。当帧率为15时，专用软件应用程序222将设备102的显示屏幕212的15帧进行编码并发送至其他参与设备104-108。在504处，专用软件应用程序222获取当前的QP值，如设备102的共享屏幕212最近发送的一帧的QP值。在一个实施方案中，由H.264标准编码器输出该QP值。在506处，通过专用软件应用程序222确定一组QP值的区间范围。在一个实施方案中，所述的一组QP值的区间集合包括五个区间：零到二十；二十到二十五；二十五到三十；三十到三十五；以及三十五到五十。在508处，通过专用软件应用程序222得出与一组QP值区间相对应的一组帧率调整值。例如，针对上述五个区间的调整值分别为一(1)、二分之一(0.5)、零(0)、负二分之一(-0.5)和负一(-1)。

在510处，专用软件应用程序222根据当前QP值确定帧率调整值。例如，如果当前QP值为二十三(23)，则选择的帧率调整值为0.5。又如，如果当前QP值为四十(40)，则选择的帧率调整值为-1。在512处，专用软件应用程序222得出新的帧率，该新的帧率是当前帧率与在510处确定的帧率调整值之和。在514处，专用软件应用程序222根据新的帧率确定何时发送下一帧。例如，当帧率从15更改为16时，下一帧的发送时间是从上一帧发出后大约62.5毫秒，而不再是66.67毫秒。在516处，专用软件应用程序222将调整后的帧率设置为当前帧率。在518处，专用软件应用程序222对下一帧进行编码。在520处，专用软件应用程序222将编码的下一帧发送至接收设备。

根据以上描述，本发明显然可以存在许多其他的修改和变化。因此，请注意的是，在所附权利要求的范围内，本发明可以采用不同于以上具体描述的方式来实现。

关于本发明的上述描述是为了更好地说明和描述，而并非有排他性意图或将本发明限定在上述的特定实施方式。以上的描述是为了更好地解释本发明的原理和这些原理的实际应用，以使本领域的相关技术人员能够最好地利用本发明在所设想的特定用途中实现各种实施方式和进行各种修改。应该认识到的是，本文中“一”或“一个”等词同时包括单数和复数形式。而与此相反，在适当情况下，本文所提到的多个元素的情况也应包括其单数形式。

本发明内容的范围并不仅限于说明书的内容，而是由权利要求书来定义。此外，尽管权利要求可能范围较窄，但是应该认识到，本发明的范围比权利要求所提出的范围要广。我们将在要求本申请优先权的一个或多个申请中提出范围更广的权利要求。在说明书和附图中所公开的其它发明主题，如果没有包含在本发明权利要求的范围内，所述发明主题也并不属于公众，申请人保留就所述发明主题后续提交一个或多个申请的权利。

Claims (9)

1.一种在实时视频通信中根据网络带宽状况在屏幕共享中自动调整量化参数的方法，所述方法通过实时视频通信系统的电子设备执行，包括：

1)通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享序列的关键帧的量化参数设置一个初始值，所述实时视频通信系统电子设备包括：

i)处理器；

ii)可有效耦合至所述处理器的存储器；

iii)可有效耦合至所述处理器的输入接口；

iv)可有效耦合至所述处理器的音频输出接口；

v)可有效耦合至所述处理器的网络接口；

vi)可有效耦合至所述处理器的视频输出接口；

vii)可有效耦合至所述处理器的视频输入接口；

viii)可有效耦合至所述处理器的音频输入接口；以及

ix)可由所述处理器运行的所述专用实时视频通信软件的应用程序；

2)确定网络连接的当前带宽量，使所述专用实时视频通信系统电子设备通过网络连接，与实时视频通信系统中的一组电子设备在视频输出接口处进行屏幕共享；

3)从视频编码器获取关键帧的量化参数值；

4)根据下列条件调整所述已知量化参数值，从而获得调整后的量化参数值：

i)当带宽量大于800kbps时，将已知的量化参数值减2；

ii)当带宽量在800kbps至400kbps之间时，将已知的量化参数值减4；

iii)当带宽量在400kbps和200kbps之间时，将已知的量化参数值减6；以及

iv)当带宽量低于200kbps时，将已知的量化参数值减8；

5)使用调整后的量化参数值对所述屏幕共享的关键帧进行编码；以及

6)通过网络连接将编码后的所述屏幕共享的关键帧发送至所述的一组电子设备。

2.根据权利要求1所述的方法，其中：

1)所述屏幕共享的关键帧是瞬时解码器刷新帧；

2)所述关键帧量化参数是瞬时解码器刷新帧的量化参数；或

3)所述视频编码器是H.264编码器。

3.一种在实时视频通信中根据网络带宽状况在屏幕共享中自动调整量化参数的方法，所述方法通过实时视频通信系统的电子设备执行，包括：

1)通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享的关键帧的量化参数设置一个初始值，所述实时视频通信系统电子设备包括：

i)处理器；

ii)可有效耦合至所述处理器的存储器；

iii)可有效耦合至所述处理器的输入接口；

iv)可有效耦合至所述处理器的音频输出接口；

v)可有效耦合至所述处理器的网络接口；

vi)可有效耦合至所述处理器的视频输出接口；

vii)可有效耦合至所述处理器的视频输入接口；

viii)可有效耦合至所述处理器的音频输入接口；以及

ix)可由上述处理器执行的上述专用实时视频通信软件应用程序；

2)确定网络连接的当前带宽量，使所述专用实时视频通信系统电子设备通过网络连接，与实时视频通信系统中的一组电子设备在视频输出接口处进行屏幕共享；

3)从视频编码器获取所述屏幕共享关键帧的量化参数值；

4)通过所述专用实时视频通信软件应用程序，调整所述已知量化参数值，从而获得调整后的量化参数值：

5)使用所述调整后的量化参数值对所述屏幕共享的关键帧进行编码；

6)将所述关键帧设置为其他非关键帧的长期参考帧；以及

7)通过所述网络连接将所述编码后的屏幕共享关键帧发送至所述的一组电子设备。

4.根据权利要求3所述的方法，其中：

1)所述屏幕共享的关键帧是瞬时解码器刷新帧；

2)所述关键帧量化参数是瞬时解码器刷新帧的量化参数；或

3)所述视频编码器是H.264编码器。

5.根据权利要求3所述的方法，其中根据下列条件调整已知量化参数值，从而获得调整后的量化参数值：

1)当带宽量大于800kbps时，将已知的量化参数值减2；

2)当带宽量在800kbps至400kbps之间时，将已知的量化参数值减4；

3)当带宽量在400kbps和200kbps之间时，将已知的量化参数值减6；

4)当带宽量低于200kbps时，将已知的量化参数值减8。

6.一种在实时视频通信系统中根据量化参数在屏幕共享中自动调整帧率的方法，所述方法通过实时视频通信系统的电子设备执行，包括：

1)通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享的编码设置初始帧率值，所述实时视频通信系统电子设备包括：

i)处理器；

ii)可有效耦合至所述处理器的存储器；

iii)可有效耦合至所述处理器的输入接口；

iv)可有效耦合至所述处理器的音频输出接口；

v)可有效耦合至所述处理器的网络接口；

vi)可有效耦合至所述处理器的视频输出接口；

vii)可有效耦合至所述处理器的视频输入接口；

viii)可有效耦合至所述处理器的音频输入接口；以及

ix)可由上述处理器执行的上述专用实时视频通信软件应用程序；

2)获取屏幕共享最近发送的一帧当前量化参数值；

3)确定一组量化参数值区间；

4)根据所述的一组量化参数值区间，确定其对应的一组帧率调整值；

5)根据所述的当前量化参数值，在所述的一组帧率调整值中选取一个帧率调整值；

6)根据当前帧率和帧率调整值确定新的帧率；

7)根据所述新的帧率确定下一帧的发送时间；

8)将新的帧率设置为当前帧率；

9)对所述下一帧进行编码；以及

10)同时，将所述下一帧发送到所述的实时视频通信系统中的一组电子设备中。

7.根据权利要求6所述的方法，其中所述的当前量化参数值是从视频编码器获取的。

8.根据权利要求7所述的方法，其中所述视频编码器是H.264编码器。

9.根据权利要求6所述的方法，其中：

1)所述的一组量化参数值的区间包括从零到二十、二十到二十五、二十五到三十、三十到三十五以及三十五到五十的区间；以及

2)与所述的一组量化参数值的区间相对应的一组帧率调整数值包括帧率调整值1、帧率调整值1/2、帧率调整值0、帧率调整值-1/2，以及帧率调整值-1。

Images