CN102033707A - 多窗口显示中音视频数据处理系统和方法 - Google Patents

Abstract

本发明公开一种多窗口显示中音视频数据处理系统和方法。该系统包括终端和会议服务器多点控制单元，以及音频编码器和视频编码器；所述会议服务器多点控制单元，包括变化因子计算模块，用于根据音频编码器输出音频和/或视频编码器输出视频的变化计算其音频和/或视频的变化率，得到音频和/或视频变化因子；变化因子发送模块，用于将变化因子计算模块计算得到的音频和/或视频变化因子发送给终端；所述终端，包括音视频窗口管理器，用于根据接收到的变化因子，控制相应于所述音频和视频输出的画面窗口进行抖动。其在多个窗口显示中能够快速引起用户的注意，提高多显示窗口的感知度。

Description

多窗口显示中音视频数据处理系统和方法

技术领域

本发明涉及计算机数据处理技术领域，特别是涉及一种多窗口显示中音视频数据处理系统和方法。

背景技术

目前的视频会议多有支持一个屏幕上显示多个窗口的能力。

这种方式下每个窗口都会显示一路视频画面，而整个窗口的布局在无人工干预的情况下基本是固定位置和固定尺寸的显示方式。

例如，一个会议由九个会场组成，那么通常的显示界面会被人为的设置为九宫格的方式显示，当然也有其它的摆放方式，但他们的位置和尺寸都是固定的，会议期间一般是不会动态的根据需要发生变化。

但是，现有技术中的这种显示方式，存在让屏幕前的人难于迅速发现众多窗口中，哪个窗口上的视频有变化，哪个窗口中的人正在大声发言等变化的缺陷。

发明内容

本发明的目的在于提供一种多窗口显示中音视频数据处理系统和方法，其在多个窗口显示中能够快速引起用户的注意，提高多显示窗口的感知度。

为实现本发明目的而提供的一种多窗口显示中音视频数据处理系统，包括终端和会议服务器多点控制单元，以及在会议服务器多点控制单元与终端之间传输音视频数据的音视频处理的音频编码器和视频编码器；

所述会议服务器多点控制单元，包括变化因子计算模块和变化因子发送模块；

所述变化因子计算模块，用于根据音频编码器输出音频和/或视频编码器输出视频的变化计算其音频和/或视频的变化率，得到音频和/或视频变化因子；

所述变化因子发送模块，用于将变化因子计算模块计算得到的音频和/或视频变化因子发送给终端；

所述终端，包括音视频窗口管理器，用于根据接收到的变化因子，控制相应于所述音频和视频输出的画面窗口进行抖动。

较优地，所述变化因子计算模块，包括音频变化因子计算模块和视频变化因子计算模块；

其中：

所述音频变化因子计算模块，用于根据音频编码器的音频输出，以连续的预设时长的音频分贝值与前一时长的平均分贝值作比较来计算音频变化率，得到音频变化因子；

所述视频变化因子计算模块，用于根据视频编码器的视频输出，以视频的帧与帧之间的比较，计算出视频变化率，得到视频变化因子。

为实现本发明目的还提供一种多窗口显示中音视频数据处理方法，包括如下步骤：

步骤S100，会议服务器多点控制单元根据音频编码器输出音频和/或视频编码器输出视频的变化计算其音频和/或视频的变化率，得到音频和/或视频变化因子；

步骤S200，会议服务器多点控制单元将计算得到的音频和/或视频变化因子发送给终端；

步骤S300，终端根据接收到的变化因子，控制相应于所述音频和视频输出的画面进行抖动。

较优地，所述步骤S100包括如下步骤：

步骤S110，根据音频编码器的音频输出，以连续的预设时长的音频分贝值与前一时长的平均分贝值作比较来计算音频变化率，得到音频变化因子；

步骤S120，根据视频编码器的视频输出，以视频的帧与帧之间的比较，计算出视频变化率，得到视频变化因子。

较优地，所述步骤S300，包括下列步骤：

步骤S310，所述画面显示窗口的抖动的时长，由变化因子的值的大小控制，变化因子越大，抖动时长越长。

较优地，所述步骤S310包括如下步骤：

步骤S311，所述抖动时长为变化因子乘于800毫秒，即抖动时长＝变化因子*800毫秒；

步骤S312，当连续两次抖动的等级相同，或后续的变化因子比前一次的变化因子小时，抖动的最小时间间隔为15秒；

步骤S313，如果变化因子是在15秒以内收到的，则不作抖动处理。。

本发明的有益效果：本发明的多窗口显示中音视频数据处理系统和方法，其根据音视频的变化率激励因素，使窗口发生一系列的抖动，从而快速引起观看者的注意，提高多显示窗口的感知度。

附图说明

图1是本发明实施例多窗口显示中音视频数据处理系统结构示意图；

图2是本发明实施例多窗口显示中正常画面显示示意图；

图3是本发明实施例多窗口显示中抖动画面显示示意图；

图4是本发明实施例多窗口显示中音视频数据处理方法流程图；

图5是本发明实施例抖动的等级示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的多窗口显示中音视频数据处理系统和方法进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

视频会议系统由终端(简称EP)和会议服务器多点控制单元(简称MCU)组成，在MCU与EP间的通信主要包括信令和视频音频数据。

EP通过音视频采集设备采集本地的音视频，然后通过音视频编码器编码，最后发送给MCU，MCU把音频混音然后发给各个接收方；MCU对视频的处理也类似，但有两种方式：一种方式是，MCU把各方的视频直接互相转发；另一种方式是把各方的视频在MCU上合成一张画面后编码再发给各方。

当EP收到MCU发过来的音频后，通过音频解码器解码然后播放，EP收到视频编解码器后，解码然后播放。

由于MCU对视频有转发和合成两种不同的处理，对于转发方式的视频流，作为一种可实施方式，本发明实施例中，其直接解码后就显示到不同窗口上，对于MCU以合成方式处理的视频本方案的EP在解码后，进行分割才能在不同的窗口上显示和作后期处理。

本发明通过同时利用音频、视频的变化率这两种因素并根据变化率驱动屏幕抖动的变化。

如图1所示，本发明实施例的多窗口显示中音视频数据处理系统，包括终端(EP)2和会议服务器多点控制单元(MCU)1，以及在MCU与EP之间传输音视频数据的音视频处理的音频编码器(未示出)和视频编码器(未示出)；

所述会议服务器多点控制单元1，包括变化因子计算模块11和变化因子发送模块12；

所述变化因子计算模块11，用于根据音频编码器输出音频和/或视频编码器输出视频的变化计算其音频和/或视频的变化率，得到音频和/或视频变化因子。

较佳地，所述变化因子计算模块11，包括音频变化因子计算模块111和视频变化因子计算模块112；其中：

所述音频变化因子计算模块111，用于根据音频编码器的音频输出，以连续的预设时长(例如1秒钟)的音频分贝值与前一时长的平均分贝值作比较来计算音频变化率，得到音频变化因子；

所述视频变化因子计算模块112，用于根据视频编码器的视频输出，以视频的帧与帧之间的比较，计算出视频变化率，得到视频变化因子。

所述变化因子发送模块12，用于将变化因子计算模块计算得到的音频和/或视频变化因子发送给终端(EP)；

所述终端2，包括音视频窗口管理器21，用于根据接收到的变化因子，控制相应于所述音频和视频输出的画面窗口进行抖动。

本发明实施例中，变化因子计算模块11根据两个输入信息产生控制视频窗口抖动的变化因子，其中一个是声音的变化率，它由音频编码器输出音频得到；另一个是视频画面的变化率，它由视频编码器输出的视频得到。

在观看会议的终端EP，正常时收到视频后显示的画面如图2所示.当一被观看的会场终端(EP)视频或音频发生变化时，产生的变化因子，会跟随音视频数据同时被MCU通过变化因子发送模块21转发到各个正在观看它的客户端EP上。

此时，EP会在收到变化因子后通过音视频窗口管理器，连续重复地改变一正在发生变化的窗口的显示角度，使窗口产生抖动效果，如图3所示。

音视频窗口管理器21控制相应于所述音频和视频输出的画面窗口进行抖动，使画面显示窗口产生抖动效果，作为一种可实施方式，较佳地，采用DirectX 3D技术实现，抖动产生时DirectX 3D按定时改变显示窗口纹理的矩阵得到显示窗口抖动效果。

相应地，本发明实施例还提供一种多窗口显示中音视频数据处理方法，如图4所示，包括如下步骤：

步骤S100，会议服务器多点控制单元1根据音频编码器输出音频和/或视频编码器输出视频的变化计算其音频和/或视频的变化率，得到音频和/或视频变化因子；

较佳地，所述步骤S100，具体包括如下步骤：

步骤S110，根据音频编码器的音频输出，以连续的预设时长的音频分贝值与前一时长的平均分贝值作比较来计算音频变化率，得到音频变化因子；

作为一种可实施方式，本发明实施例中，从音频编码器的输出音频中，以音频采样率为8k/s，采样精度是8位进行采样，也就是每秒钟产生8000个值范围在0-256之间的采样数据。把这些数据求和并除以8000得到这一秒的平均音频值a，前后两秒的2个平均音频值相减，得到变化量c，把c除以256得到音频变化率。

对音频数据进行采样是一种现有技术，本领域技术人员根据本发明实施例的描述，能够实现本发明实施例的采样过程，因此，在本发明实施例中，不再一一详细描述。

步骤S120，根据视频编码器的视频输出，以视频的帧与帧之间的比较，计算出视频变化率，得到视频变化因子。

作为一种可实施方式，本发明实施例从视频编码器的输出视频中，以动态图像的视频编码器前后帧图像的比较模块(例如开源的x.264编码器的比较模块)在视频编码器的前后帧画面变化率超过预先设置的一阀值时，编码输出的关键帧的画面变化率作为视频变化率。

作为另一种可实施方式，本发明实施例中，在视频编码器的输出视频，设视频图像以YUV方式表示，其中人眼最敏感的是Y分量.Y分量的取值范围是0-256；

本发明实施例中，对Y分量进行SAD(Sun of Absolute Difference，求和绝对误差)计算，也就是所有对应像素点相减后取绝对值，然后所有的绝对值再求和，得到一个代价值cost；用cost除以Y分量的总个数n，得到画面的平均代价值(平均cost值)C，C值范围在0-256之间，把C除以256再乘上100％，得到画面的其变化百分比L，即得到视频变化率。

实现如下：

float L＝0；

float C＝0；

int  cost＝0；

  for(int i＝0；i＜n；i++)

{

    cost+＝abs(y2[i]-y1[i])；

}

C＝cost/n；

L＝C*100/256；

步骤S200，会议服务器多点控制单元1将计算得到的音频和/或视频变化因子发送给终端2；

步骤S300，终端2根据接收到的变化因子，控制相应于所述音频和视频输出的画面进行抖动。

较佳地，所述步骤S300，包括下列步骤：

步骤S310，所述画面显示窗口的抖动的时长(即抖动的时间长度)，由变化因子的值的大小控制，变化因子越大，抖动时长越长。

本发明实施例中，抖动的时长由变化因子的值的大小控制，如图5所示，其中的0、1、2、3为表示根据变化因子而抖动的等级，即抖动频率。

作为一种可实施方式，较佳地，所述步骤S310包括如下步骤：

步骤S311，所述抖动时长为变化因子乘于800毫秒，即抖动时长＝变化因子*800毫秒；

步骤S312，当连续两次抖动的等级相同，或后续的变化因子比前一次的变化因子小时，抖动的最小时间间隔为15秒；

步骤S313，如果变化因子是在15秒以内收到的，则不作抖动处理。

本发明实施例的多窗口显示中音视频数据处理系统和方法，其根据音视频的变化率激励因素，使窗口发生一系列的抖动，从而快速引起观看者的注意，提高多显示窗口的感知度。

最后应当说明的是，很显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型。

Claims (9)

1.一种多窗口显示中音视频数据处理系统，包括终端和会议服务器多点控制单元，以及在会议服务器多点控制单元与终端之间传输音视频数据的音视频处理的音频编码器和视频编码器；

其特征在于：

所述会议服务器多点控制单元，包括变化因子计算模块和变化因子发送模块；

所述变化因子计算模块，用于根据音频编码器输出音频和/或视频编码器输出视频的变化计算其音频和/或视频的变化率，得到音频和/或视频变化因子；

所述变化因子发送模块，用于将变化因子计算模块计算得到的音频和/或视频变化因子发送给终端；

所述终端，包括音视频窗口管理器，用于根据接收到的变化因子，控制相应于所述音频和视频输出的画面窗口进行抖动。

2.根据权利要求1所述的多窗口显示中音视频数据处理系统，其特征在于，所述变化因子计算模块，包括音频变化因子计算模块和视频变化因子计算模块；

其中：

所述音频变化因子计算模块，用于根据音频编码器的音频输出，以连续的预设时长的音频分贝值与前一时长的平均分贝值作比较来计算音频变化率，得到音频变化因子；

所述视频变化因子计算模块，用于根据视频编码器的视频输出，以视频的帧与帧之间的比较，计算出视频变化率，得到视频变化因子。

3.根据权利要求1或2所述的多窗口显示中音视频数据处理系统，其特征在于，所述音视频窗口管理器进行抖动，采用DirectX 3D技术实现，抖动产生时DirectX 3D按定时改变显示窗口纹理的矩阵得到显示窗口抖动效果。

4.一种多窗口显示中音视频数据处理方法，其特征在于，包括如下步骤：

步骤S100，会议服务器多点控制单元根据音频编码器输出音频和/或视频编码器输出视频的变化计算其音频和/或视频的变化率，得到音频和/或视频变化因子；

步骤S200，会议服务器多点控制单元将计算得到的音频和/或视频变化因子发送给终端；

步骤S300，终端根据接收到的变化因子，控制相应于所述音频和视频输出的画面进行抖动。

5.根据权利要求4所述的多窗口显示中音视频数据处理方法，其特征在于，所述步骤S100包括如下步骤：

步骤S110，根据音频编码器的音频输出，以连续的预设时长的音频分贝值与前一时长的平均分贝值作比较来计算音频变化率，得到音频变化因子；

步骤S120，根据视频编码器的视频输出，以视频的帧与帧之间的比较，计算出视频变化率，得到视频变化因子。

6.根据权利要求5所述的多窗口显示中音视频数据处理方法，其特征在于，所述步骤S110包括如下步骤：

从音频编码器的输出音频中，以音频采样率为8k/s，采样精度是8位进行采样，也就是每秒钟产生8000个值范围在0-256之间的采样数据；把这些数据求和并除以8000得到这一秒的平均音频值a，前后两秒的2个平均音频值相减，得到变化量c，把c除以256即得到音频变化率。

7.根据权利要求6所述的多窗口显示中音视频数据处理方法，其特征在于，所述步骤S120包括如下步骤：

在视频编码器的输出视频，设视频图像以YUV方式表示，其中人眼最敏感的是Y分量.Y分量的取值范围是0-256；

对Y分量进行求和绝对误差计算，也就是所有对应像素点相减后取绝对值，然后所有的绝对值再求和，得到一个代价值cost；

用代价值cost除以Y分量的总个数n，得到画面的平均代价值C，C值范围在0-256之间，把C除以256再乘上100％，得到画面的其变化百分比L，即得到视频变化率。

8.根据权利要求4或5所述的多窗口显示中音视频数据处理方法，其特征在于，所述步骤S300，包括下列步骤：

步骤S310，所述画面显示窗口的抖动的时长，由变化因子的值的大小控制，变化因子越大，抖动时长越长。

9.根据权利要求8所述的多窗口显示中音视频数据处理方法，其特征在于，所述步骤S310包括如下步骤：

步骤S311，所述抖动时长为变化因子乘于800毫秒，即抖动时长＝变化因子*800毫秒；

步骤S312，当连续两次抖动的等级相同，或后续的变化因子比前一次的变化因子小时，抖动的最小时间间隔为15秒；

步骤S313，如果变化因子是在15秒以内收到的，则不作抖动处理。

Images