CN103347165A - 一种视频数据处理方法及终端 - Google Patents

Abstract

本发明实施例公开了一种视频数据处理方法及终端。本发明实施例方法包括：终端按照第一视频采集帧率采集本端会议视频；终端确认是否满足启用第二视频采集帧率采集本端会议视频的条件，第二视频采集帧率小于第一视频采集帧率；若满足，则终端启用第二视频采集帧率采集本端会议视频；终端将采集的本地会议视频编码后发送给服务器。本发明实施例还提供了一种终端。本发明实施例能够节省带宽资源。

Description

一种视频数据处理方法及终端

技术领域

本发明实施例涉及多媒体通信技术领域，尤其涉及一种视频数据处理方法及终端。

背景技术

在多方视频会议系统中，各与会终端按照统一的视频采集帧率采集各自的会议视频，然后各与会终端将各自采集的会议视频进行编码后发送给服务器，再由服务器分别将与会的每一方的视频转发给与会的其他方。

例如，与会方有终端A、终端B、终端C三方，三方均以固定的视频采集帧率x采集各自的会议视频。终端A以视频采集帧率x采集本端会议视频后，将会议视频进行编码，假设编码后以码率a将视频传送给服务器，由服务器将终端A采集的会议视频转发给终端B与终端C，此时，服务器转发视频所需的带宽为2a。若会议中有N个与会终端，则服务器将终端A的视频转发给N个与会终端所需的带宽为（N-1）*a。由此可见，视频采集帧率x越大，编码后的传输码率a越大，对应地，服务器转发每一路会议视频到其他方所需的带宽也就越大。可以理解的是，若服务器同时将N路会议视频转发到其他方，则需要更大的带宽。

但是，在实际应用中，经常会出现这样的情况，有些与会终端的视频画面里在一段时间内没有人物，或者有人物，但是视频画面的变化幅度较小，此时，采集的视频只需要能反应画面的动静效果即可，如果仍以固定的高视频采集帧率采集会议视频，将会造成极大的带宽资源浪费。

发明内容

本发明实施例提供了一种视频数据处理方法及终端，能够使得终端根据本端的实时状况调整视频采集帧率，进而减少所占用的带宽。

本发明实施例提供的视频数据处理方法，包括：终端按照第一视频采集帧率采集本端会议视频；所述终端确认是否满足启用第二视频采集帧率采集本端会议视频的条件，所述第二视频采集帧率小于所述第一视频采集帧率；若满足，则所述终端启用第二视频采集帧率采集本端会议视频；所述终端将采集的本地会议视频编码后发送给服务器。

本发明实施例提供的终端，包括：第一视频采集单元，用于按照第一视频采集帧率采集本端会议视频；确认单元，用于确认是否满足启用第二视频采集帧率采集本端会议视频的条件，所述第二视频采集帧率小于所述第一视频采集帧率；第二视频采集单元，用于当满足启用第二视频采集帧率采集本端会议视频的条件时，启用第二视频采集帧率采集本端会议视频；编码单元，用于将采集的本地会议视频进行编码；发送单元，用于将编码后的视频发送给服务器。

从以上技术方案可以看出，本发明实施例具有以下优点：

在本发明实施例中，终端按照第一视频采集帧率采集本端会议视频；终端确认是否满足启用第二视频采集帧率采集本端会议视频的条件，第二视频采集帧率小于第一视频采集帧率；若满足，则终端启用第二视频采集帧率采集本端会议视频；终端将采集的本地会议视频编码后发送给服务器。相较于现有技术，本发明实施例中，终端可根据当前的状况调整视频采集帧率，当终端确认当前的状况满足启用较低的视频采集帧率采集视频时，终端启用较低的视频采集帧率采集会议视频，对应地，终端将所采集的会议视频编码后发送给服务器的码率也随之降低，相应地，终端将会议视频发送给服务器占用的带宽也就随之减小，从而节省了带宽资源。

附图说明

图1为本发明实施例中视频数据处理方法一个实施例示意图；

图2为本发明实施例中视频数据处理方法另一实施例示意图；

图3为本发明实施例中终端一个实施例示意图。

具体实施方式

本发明实施例提供了一种视频数据处理方法及终端，能够节省带宽资源。

请参阅图1，本发明实施例中视频数据处理方法一个实施例包括：

101、终端按照第一视频采集帧率采集本端会议视频；

通常情况下，视频采集帧率越大，视频画面就越流畅，相应地，传输视频数据所需的码率就越高，码率越高，占用的带宽也就越大。为了兼顾视频画面的流畅度与传输视频数据所占用的带宽，终端会按照一个相对合适的视频采集帧率采集会议视频，本实施例中，用第一视频采集帧率表示这个相对合适的视频数据采集帧率。现有技术中的视频数据处理方法，在整个视频会议过程中，终端将始终按照固定的第一视频采集帧率采集会议视频，不会做任何调整。

102、终端判断是否满足启用第二视频采集帧率采集本端会议视频的条件，若满足，则执行步骤103，若不满足，则返回步骤101；

前面提到现有技术中，终端始终按照固定的第一视频采集帧率采集会议视频，不做任何调整。但是，在实际会议过程中，由于不同时刻会议的状态不同，视频采集帧率往往存在调整的空间。因此，本实施例中，终端可以判断当前是否满足启用第二视频采集帧率采集本端会议视频的条件，第二视频采集帧率小于第一视频采集帧率。

103、终端启用第二视频采集帧率采集本端会议视频；

当视频会议当前的状态满足启用较小的视频采集帧率采集会议视频时，终端启用第二视频采集帧率采集本端会议视频。

104、终端将采集的本地会议视频编码后发送给服务器。

终端将采集的本地会议视频进行编码后发送给服务器。当终端启用较小的第二视频采集帧率采集会议视频时，将采集的视频传送给服务器的码率也会随之减低，对应的，终端将编码后的视频数据传送给服务器所需的带宽也就随之减少。

本实施例中，终端可根据当前的会议状态调整视频采集帧率，当终端确认当前的会议状态满足启用较低的视频采集帧率采集视频时，终端启用较低的视频采集帧率采集会议视频，对应地，终端将所采集的会议视频编码后发送给服务器的码率也随之降低，相应地，终端占用的带宽也就随之减小，从而节省了带宽资源。

为便于理解，下面以一具体实施例对本发明实施例中视频数据处理方法进行描述，请参阅图2，本发明实施例中视频数据处理方法另一实施例包括：

201、终端按照第一视频采集帧率采集本端会议视频；

在视频会议开始时，终端首先按照预设的第一视频采集帧率采集本端会议视频。

202、终端判断本端是否为其他端当前关注的会场，若是，则执行步骤203，若否，则执行步骤204；

假设与会端有A、B、C三方，本端为终端A，终端A判断自身是否为B端及C端当前关注的会场，具体的判断方式例如：终端A获取本端屏幕上视频会议画面的当前显示方式，如果当前本端的视频画面显示在屏幕居中的位置，或者本端视频画面占用屏幕的篇幅最大，则终端A认为本端为B端及C端当前关注的会场。需要说明的是，此处仅以判断视频会议的画面显示方式为例说明如何判断本端是否为其他端当前关注的会场，在实际应用中，还可以通过其他方式判断，例如通过计算不同与会端的与会成员的活跃度来判断，具体此处不做限定。

203、终端启用第三视频采集帧率采集本端会议视频，随后执行步骤208；

当终端确定本端为视频会议的其他端当前关注的会场时，就必须保证本端视频画面的流畅度较好且失真较小。而视频采集帧率越大，画面就越流畅；视频传输码率越高，画面就越清晰，失真越小；如果码率为变量，则帧率越高，每秒钟经过的画面越多，对应需要的码率也越高。因此，终端将启用第三视频采集帧率采集本端会议视频，第三视频采集帧率大于第一视频采集帧率。

具体地，终端在启用第三视频采集帧率采集本端会议视频之前，需先判断当前所采用的第一视频采集帧率是否已经是最大的视频采集帧率，如果不是，则提高当前的视频采集帧率，即启用第三视频采集帧率，如果是，则维持原来的第一视频采集帧率不变。

204、终端分析所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度；

当本端不是与会的其他端当前关注的会场时，终端继续分析所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度，以确定是否调整视频采集帧率。本实施例中，采用视频分析技术分析所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度。

本实施例的视频分析技术，可以对视频内容进行分析，检测与跟踪视频中的运动物体，对运动物体进行分类以判断运动物体是人还是物，并给出运动物体的大小、运动方向、运动速度，运动轨迹等各种信息。终端利用视频分析技术获取运动物体的相关信息，并根据运动物体的相关信息计算视频的每一帧内容与上一帧内容之间的变化幅度。

205、终端判断变化幅度是否超过预设的阈值，若是，则执行步骤203，若否，则执行步骤206；

终端可预先设置一个变化幅度阈值，当终端获取视频的每一帧内容与上一帧内容之间的变化幅度后，将该变化幅度与预设的阈值进行比较，以判断当前的变化幅度是否满足调整视频采集帧率。通常情况下，当有人进入或离开视频区域，或者视频中人物活动较为活跃时，视频的每一帧内容与上一帧内容之间的变化幅度较大，容易超过预设的阈值。

206、终端确认满足启用第二视频采集帧率采集本端会议视频的条件；

其中，第二视频采集帧率小于第一视频采集帧率。当本端不是与会的其他端当前关注的会场，且本端会议视频的每一帧内容与上一帧内容之间的变化幅度未超过预设的阈值时，说明本端当前的状况满足采用较低的视频采集帧率采集视频的条件，此时终端所采集的视频只需反应视频画面的动静效果即可。

207、终端启用第二视频采集帧率采集本端会议视频；

当本端当前的状况满足启用第二视频采集帧率采集本端会议视频的条件时，终端启用第二视频采集帧率采集本端会议视频。具体地，终端在启用第二视频采集帧率采集本端会议视频之前，也需先判断当前所采用的第一视频采集帧率是否已经是最小的视频采集帧率，如果不是，则降低当前的视频采集帧率，即启用第二视频采集帧率，如果是，则维持原来的第一视频采集帧率。

另外，当本端不是视频会议的其他端当前关注的会场，但是终端所采集的本端的视频的每一帧内容与上一帧内容之间的变化幅度超过了预设的阈值时，此时，仍需保证本端视频画面的流畅性及失真最小，终端执行步骤203，启用大于第一视频采集帧率的第三视频采集帧率采集本端会议视频。

其中，视频采集帧率的调整幅度可预设为固定值，也可预设为根据视频内容变化幅度调整的值，即第二视频采集帧率与第一视频采集帧率之间的差值可设为固定值，也可以设为根据视频内容变化幅度进行调整的值；对应地，第三视频采集帧率与第一视频采集帧率之间的差值也可设为固定值，或者设为根据视频内容变化幅度进行调整的值。

208、终端将采集的本地会议视频编码后发送给服务器。

本实施例中，终端可根据当前的会议状态调整视频采集帧率，当终端确认当前的会议状态满足启用较低的视频采集帧率采集视频时，终端启用较低的视频采集帧率采集会议视频，减少了带宽资源的占用；当终端确认当前的会议状态满足启用较高的视频采集帧率采集视频时，终端启用较高的视频采集帧率采集会议视频，保证了会议效果最佳，本实施例在保证会议效果的前提下实现了带宽资源的均衡使用。

下面对本发明实施例中的终端进行描述，请参阅图3，本发明实施例中的终端一个实施例包括：

第一视频采集单元301，用于按照第一视频采集帧率采集本端会议视频；

确认单元302，用于确认是否满足启用第二视频采集帧率采集本端会议视频的条件，第二视频采集帧率小于第一视频采集帧率；

第二视频采集单元303，用于当满足启用第二视频采集帧率采集本端会议视频的条件时，启用第二视频采集帧率采集本端会议视频；

编码单元304，用于将采集的本地会议视频进行编码；

发送单元305，用于将编码后的视频发送给服务器。

具体地，确认单元302包括：

第一判断单元3021，用于判断本端是否为视频会议的其他端当前关注的会场；

分析单元3022，用于当本端不是视频会议的其他端当前关注的会场时，分析所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度；

第二判断单元3023，用于判断变化幅度是否超过预设的阈值；

确认子单元3024，用于当变化幅度未超过预设的阈值时，确认满足启用所述第二视频采集帧率采集本端会议视频的条件。

为了保证视频会议效果更佳，本实施例的终端还包括：

第三视频采集单元306，用于当本端是视频会议的其他端当前关注的会场，或者当本端不是视频会议的其他端当前关注的会场，但是本端会议视频的每一帧内容与上一帧内容之间的变化幅度超过了预设的阈值时，启用第三视频采集帧率采集本端会议视频，第三视频采集帧率大于第一视频采集帧率。

为便于理解，下面以一个实际应用场景对本实施例中的终端的各单元之间的交互方式进行描述：

在视频会议开始时，第一视频采集单元301首先按照预设的第一视频采集帧率采集本端会议视频。确认单元302确认当前的视频采集帧率是否需要调整，即确认单元判断是否满足启用第二视频采集帧率采集本端会议视频的条件，第二视频采集帧率小于第一视频采集帧率。具体的确认过程如下：

第一判断单元3021判断本端是否为视频会议的其他端当前关注的会场，以确认是否调整视频采集帧率。假设与会端有A、B、C三方，本端为终端A，终端A判断自身是否为B端及C端当前关注的会场。具体的判断方式例如：终端A获取本端屏幕上视频会议画面的当前显示方式，如果当前本端的视频画面显示在屏幕居中的位置，或者本端视频画面占用屏幕的篇幅最大，则终端A认为本端为B端及C端当前关注的会场。需要说明的是，此处仅以判断视频会议的画面显示方式为例说明如何判断本端是否为其他端当前关注的会场，在实际应用中，还可以通过其他方式判断，例如通过计算不同与会端的与会成员的活跃度来判断，具体此处不做限定。

当第一判断单元3021的判断结果为本端不是当前视频会议的其他端关注的会场时，就需要分析单元3022分析第一视频采集单元301所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度，以进一步确认是否调整视频采集帧率。本实施例中，采用视频分析技术分析所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度。

本实施例的视频分析技术，可以对视频内容进行分析，检测与跟踪视频中的运动物体，对运动物体进行分类以判断运动物体是人还是物，并给出运动物体的大小、运动方向、运动速度，运动轨迹等各种信息。终端利用视频分析技术获取运动物体的相关信息，并根据运动物体的相关信息计算视频的每一帧内容与上一帧内容之间的变化幅度。

第二判断单元3023判断分析单元3022分析得到的本端会议视频的每一帧内容与上一帧内容之间的变化幅度是否超过预设的阈值。通常情况下，当有人进入或离开视频区域，或者视频中人物活动较为活跃时，视频的每一帧内容与上一帧内容之间的变化幅度较大，容易超过预设的阈值，反之，则变化幅度较小。

当第一判断单元3021的判断结果为本端不是当前视频会议的其他端关注的会场，且第二判断单元3023的判断结果为本端会议视频的每一帧内容与上一帧内容之间的变化幅度未超过预设的阈值时，确认子单元3024确认本端当前的状况满足采用较低的视频采集帧率采集视频的条件，此时采集的视频只需反应视频画面的动静效果即可。

第二视频采集单元303在确认子单元3024确认本端当前的状况满足采用较低的视频采集帧率采集视频的条件，启用第二视频采集帧率采集本端会议视频。具体地，终端在启用第二视频采集帧率采集本端会议视频之前，需先判断当前所采用的第一视频采集帧率是否已经是最小的视频采集帧率，如果不是，则降低当前的视频采集帧率，即启用第二视频采集帧率，如果是，则维持原来的第一视频采集帧率。

另外，当第一判断单元3021的判断结果为本端是当前视频会议的其他端关注的会场，或者第一判断单元3021的判断结果为本端不是当前视频会议的其他端关注的会场，但是第二判断单元3023的判断结果为本端会议视频的每一帧内容与上一帧内容之间的变化幅度超过了预设的阈值时，此时，就需要保证本端视频画面的流畅度较好且失真较小。而视频采集帧率越大，画面越就流畅；视频传输码率越高，画面就越清晰，失真越小；如果码率为变量，则帧率越高，每秒钟经过的画面越多，对应需要的码率也越高。因此，第三视频采集单元306将启用第三视频采集帧率采集本端会议视频，第三视频采集帧率大于第一视频采集帧率。

具体地，第三视频采集单元306在启用第三视频采集帧率采集本端会议视频之前，还需先判断当前所采用的第一视频采集帧率是否已经是最大的视频采集帧率，如果不是，则提高当前的视频采集帧率，即启用第三视频采集帧率，如果是，则维持原来的第一视频采集帧率不变。

其中，视频采集帧率的调整幅度可预设为固定值，也可预设为根据视频内容变化幅度调整的值，即第二视频采集帧率与第一视频采集帧率之间的差值可设为固定值，也可以设为根据视频内容变化幅度进行调整的值，该差值的取值范围在1与最大视频采集帧率之间；对应地，第三视频采集帧率与第一视频采集帧率之间的差值也可设为固定值，或者设为根据视频内容变化幅度进行调整的值，该差值的取值范围也是在1与最大视频采集帧率之间。

编码单元304将第二视频采集单元303或第三视频采集单元306采集的视频进行编码，发送单元305将编码单元304编码后的视频数据发送给服务器，以使服务器将本端的视频数据转发给与会的与其他端。

本实施例中，终端可根据当前的会议状态调整视频采集帧率，当确认单元确认当前的会议状态满足启用较低的视频采集帧率采集视频时，第二视频采集单元启用较低的视频采集帧率采集会议视频，对应地，发送单元将所采集的会议视频编码后发送给服务器的码率也随之降低，相应地，终端占用的带宽也就随之减小，从而节省了带宽资源；

另外，确认单元确认当前的会议状态满足启用较高的视频采集帧率采集视频时，第三视频采集单元启用较高的视频采集帧率采集会议视频，保证了会议效果最佳，本实施例在保证会议效果的前提下实现了带宽资源的均衡使用。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明实施例所提供的视频数据处理方法及终端进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，因此，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频数据处理方法，其特征在于，包括：

终端按照第一视频采集帧率采集本端会议视频；

所述终端确认是否满足启用第二视频采集帧率采集本端会议视频的条件，所述第二视频采集帧率小于所述第一视频采集帧率；

若满足，则所述终端启用第二视频采集帧率采集本端会议视频；

所述终端将采集的本地会议视频编码后发送给服务器。

2.如权利要求1所述的方法，其特征在于，所述终端确认是否满足启用第二视频采集帧率采集本端会议视频的条件具体为：

所述终端判断本端是否为所述视频会议的其他端当前关注的会场；

若不是，则所述终端分析所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度；

所述终端判断所述变化幅度是否超过预设的阈值；

若不超过，则所述终端确认满足启用所述第二视频采集帧率采集本端会议视频的条件。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

若本端是所述视频会议的其他端当前关注的会场，或者本端不是所述视频会议的其他端当前关注的会场，但是本端会议视频的每一帧内容与上一帧内容之间的变化幅度超过了预设的阈值，则所述终端启用第三视频采集帧率采集本端会议视频，所述第三视频采集帧率大于所述第一视频采集帧率。

4.如权利要求3所述的方法，其特征在于，所述第二视频采集帧率与所述第一视频采集帧率之间的差值设为固定值，或者设为根据所述变化幅度进行调整的值；

所述第三视频采集帧率与所述第一视频采集帧率之间的差值设为固定值，或者设为根据所述变化幅度进行调整的值。

5.如权利要求2所述的方法，其特征在于，所述终端采用视频分析技术获取所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度。

6.一种终端，其特征在于，包括：

第一视频采集单元，用于按照第一视频采集帧率采集本端会议视频；

确认单元，用于确认是否满足启用第二视频采集帧率采集本端会议视频的条件，所述第二视频采集帧率小于所述第一视频采集帧率；

第二视频采集单元，用于当满足启用第二视频采集帧率采集本端会议视频的条件时，启用第二视频采集帧率采集本端会议视频；

编码单元，用于将采集的本地会议视频进行编码；

发送单元，用于将编码后的视频发送给服务器。

7.如权利要求6所述的终端，其特征在于，所述确认单元包括：

第一判断单元，用于判断本端是否为所述视频会议的其他端当前关注的会场；

分析单元，用于当本端不是所述视频会议的其他端当前关注的会场时，分析所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度；

第二判断单元，用于判断所述变化幅度是否超过预设的阈值；

确认子单元，用于当所述变化幅度未超过预设的阈值时，确认满足启用所述第二视频采集帧率采集本端会议视频的条件。

8.如权利要求7所述的终端，其特征在于，还包括：

第三视频采集单元，用于当本端是所述视频会议的其他端当前关注的会场，或者当本端不是所述视频会议的其他端当前关注的会场，但是本端会议视频的每一帧内容与上一帧内容之间的变化幅度超过了预设的阈值时，启用第三视频采集帧率采集本端会议视频，所述第三视频采集帧率大于所述第一视频采集帧率。

9.如权利要求8所述的终端，其特征在于，所述第二视频采集帧率与所述第一视频采集帧率之间的差值设为固定值，或者设为根据所述变化幅度进行调整的值；

所述第三视频采集帧率与所述第一视频采集帧率之间的差值设为固定值，或者设为根据所述变化幅度进行调整的值。

10.如权利要求7所述的终端，其特征在于，所述分析单元采用视频分析技术获取所采集的本端会议视频的每一帧内容与上一帧内容之间的变化幅度。

Images