CN103780864B - 视频通话界面显示方法及装置 - Google Patents

Abstract

本发明涉及一种视频通话界面显示方法，包括：分别在第一窗口与第二窗口中显示第一通话方与第二通话方的影像，所述第二窗口叠加于所述第一窗口上；获取所述第一窗口中人脸的面积与所述第一窗口面积的比例k；若k小于第一阈值K1则增加所述第二窗口的面积；以及若k大于第二阈值K2则减小所述第二窗口的面积，所述第二阈值K2大于所述第一阈值K1。上述的视频通话界面显示方法可有效利用屏幕显示空间，且可避免叠加显示的窗口隐藏下层窗口的细节。此外，本发明还提供一种视频通话界面显示装置。

Description

视频通话界面显示方法及装置

技术领域

本发明涉及视频通话技术，尤其涉及一种视频通话界面显示方法及装置。

背景技术

在视频通话过程中，至少会需要显示两个窗口(如果是多方视频，会存在多个窗口)。其中，一个窗口是自己摄像头捕捉到的本地影像，另一个窗口是网络实时传输过来的对方影像。通常对这两个窗口的显示方法有三种：

1.窗口分开显示。这种方法通常用于个人电脑上，对于手机和电视等固定屏幕的设备，这种显示方法会在显示屏上造成大量的无效区域。

2.只显示对方窗口。只显示对方窗口，可以完整展现对方的影像，可以满足大多数情况下多数人会只关注对方的视频头像的需求。但是也带来很大的弊端，就是用户无法看到自己的影像。

3.画中画。为了解决第2种方法的弊端，可以将自己的影像窗口缩小，并固定叠加在对方窗口的角落中，形成画中画的效果。

现在大多数视频通话程序都采用的是第3种显示方法，但是在实际使用过程中，由于视频通话环境的复杂性，仍然存在以下问题：

无法处理人与摄像头的相对位置。在实际使用过程中，尤其是在电视前的视频通话中，由于对方与摄像头的前后距离会造成对方的头像偏大和偏小，对方与摄像头在水平轴上的偏差也会造成对方的头像偏左和偏右，这样还固定显示小窗口就会遮盖住对方的有效区域，比如脸部。

发明内容

有鉴于此，有必要提供一种视频通话界面显示方法及装置，其可有效利用屏幕显示空间，且可避免叠加显示的窗口隐藏下层窗口的细节。

一种视频通话界面显示方法，包括：分别在第一窗口与第二窗口中显示第一通话方与第二通话方的影像，所述第二窗口叠加于所述第一窗口上；获取所述第一窗口中人脸的面积与所述第一窗口面积的比例k；若k小于第一阈值K1则增加所述第二窗口的面积；以及若k大于第二阈值K2则减小所述第二窗口的面积，所述第二阈值K2大于所述第一阈值K1。

一种视频通话界面显示装置，包括：显示模块，用于分别在第一窗口与第二窗口中显示第一通话方与第二通话方的影像，所述第二窗口叠加于所述第一窗口上；人脸比例获取模块，用于获取所述第一窗口中人脸的面积与所述第一窗口面积的比例k；以及面积调整模块，用于若k小于第一阈值K1则增加所述第二窗口的面积；以及若k大于第二阈值K2则减小所述第二窗口的面积，所述第二阈值K2大于所述第一阈值K1。

上述的视频通话界面显示方法及装置中，通过检测第一窗口中人脸所占面积的比例，动态调整第二窗口面积的大小，可避免第二窗口过大占用第一窗口的有效显示空间，同时可充分利用第一窗口无效显示空间。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

图1为第一实施例提供的视频通话界面显示方法流程图。

图2为第一实施例提供的视频通话界面显示方法显示的界面示意图。

图3为第二实施例提供的视频通话界面显示方法流程图。

图4为第二实施例提供的视频通话界面显示方法部分步骤流程图。

图5为第三实施例提供的视频通话界面显示装置结构框图。

图6为第四实施例提供的视频通话界面显示装置结构框图。

图7为第四实施例提供的视频通话界面显示装置窗口移动模块的结构框图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。

第一实施例提供一种视频通话界面显示方法，如图1所示，其包括以下步骤：

步骤S110、分别在第一窗口与第二窗口中显示第一通话方与第二通话方的影像。

参阅图2，第一窗口101可用于显示第一通话方的影像，第一通话方例如可为远程用户。第二窗口102可用于显示第二通话方的影像，第二通话方例如可为本机用户。第二窗口102例如是叠加于第一窗口101上。

步骤S120、获取第一窗口中人脸的面积与第一窗口总面积的比例k。

根据凸透镜成像原理，1/f=1/u+1/v，其中f是焦距，u是物距，v是像距。人越靠近摄像头，即物距减少，会造成像距增大，即人的头像就越大。亦即，远程用户离镜头越近，则第一窗口101中人脸所占据的空间就越大，为了避免遮盖到对方的脸部，第二窗口102应该适当地缩小。反之，远程用户越远离摄像头，特别是在电视机前的视频通话，人脸占据的空间就越小，第二窗口102应该相应地放大来填充空白区域以有效利用屏幕显示空间。

现用的人脸识别技术可以通过一张图像来识别出图像中所有人脸的大小，比如使用android操作系统中的android.media.FaceDetector接口，可以识别出人脸的脸中心点O和两眼间的距离R。近似地，以人脸中心为圆心，两眼间的距离为半径做一个圆，其面积S1为R²。摄像头的分辨率为a*b，则其面积S2为a*b。所以人脸占整个显示窗口的比例k为S1/S2。

可以理解，视频通话时的画面中可能出现多个人物，此时，采用所有人的人脸的总面积取代上述的S1。而中心点O取所有人的人脸中心的几何中心代替。

步骤S130、若k小于第一阈值K1则增加第二窗口的面积；以及

步骤S140、若k大于第二阈值K2则减小第二窗口的面积。

根据实际的实验统计，存在着两个容忍阈值K1和K2，当K1<k<K2时，第二窗口102可以正常显示面积S，即在面积S下，两个窗口面积比例合适，用户体验最好。

当k<K1时，即对方人脸过小，可以适当放大第二窗口102的面积，比如放大一倍，显示为2S。

当k>K2时，即对方人脸过大，可以适当缩小第二窗口102面积，比如缩小一半，显示为1/2S。

其中面积放大和缩小的比例可以根据k与K1、K2的比例来确定。

如图2所示，S1是第一窗口101中人脸面积，S2是第一窗口101的面积，S为第二窗口102面积。K1可以取1/10，K2可以取1/5。当S1/S2在1/10和1/5之间时，我们不调整第二窗口102面积，即不调整S。当S1/S2小于1/10时，我们需要放大S；当S1/S2大于1/5时，我们需要缩小S。

本实施例的视频通话界面显示方法中，通过检测第一窗口中人脸所占面积的比例，动态调整第二窗口面积的大小，可避免第二窗口过大占用第一窗口的有效显示空间，同时可充分利用第一窗口无效显示空间。

第二实施例提供一种视频通话界面显示方法，其与第一实施例相似，参阅图3，不同之处在于还包括：

步骤S210、比较第一窗口的多个顶点与人脸的中心点的距离。

如图2所示，人脸中心坐标为O(x,y)，第一窗口101呈矩形，其四个顶点P1、P2、P3、P4的坐标分别为(0,0)、(0,b)、(a,0)、(a,b)。而在同一坐标系内的两点（x1,y1）与（x2,y2）之间的距离可以采用公式d=(x1-x2)²+(y1-y2)²,计算。根据上述公式，可以分别计算四个顶点与人脸中心之间的距离d1、d2、d3及d4，然后对其进行排序，此处设大小关系为d1<=d2<=d3<=d4。

步骤S220、移动第二窗口至多个顶点中距离人脸中心点较远的顶点处。

基于上述的大小关系，可以选择距离为d3和d4的顶点，即顶点P3、P4，可以将第二窗口102移动至上述两个顶点中的任何一个处，还可以是将第二窗口102移动至距离最远的顶点处，即顶点P4处。

然而，可以理解，本实施例并不限于上述方式，还可以进一步根据第一窗口101显示的内容决定将第二窗口102移动至哪个顶点处。

如图4所示，步骤S220可具体包括：

步骤S221，选取多个顶点中距离人脸中心点较远的多个顶点。例如，选择如上述的顶点P3、P4。

步骤S222、对于选取的多个顶点进一步判断其是否属于画面静止区域。

以顶点P3为例，通过计算当前帧与上一帧在区域103间的RGB变化差值来确定此区域103是否静止。区域103为若将第二窗口102移动至顶点P3，第二窗口102所在的区域，因此其面积、形状与第二窗口102相同。

RGB变化差值计算方法如下：以区域103中的某个像素点s为例，其在上一帧中的RGB值为(r1,g1,b1)，在当前帧的RGB值为(r2,g2,b2)，那么点s的RGB变化差值为。对区域103内所有像素点计算RGB变化差值并取平均值n。n越趋近0，表示这个区域103越趋近于静止区域。取n的倒数1/n可以作为表示画面静止程度的画面静止指数，画面静止指数越高，表示画面越趋近于静止。此外，可以理解，画面静止指数并不限于采用上述的1/n，还可以采用任意本领域中常见的表示方法及指数。

步骤S223、若所选取的多个顶点处均非画面静止区域则移动第二窗口102至距离人脸中心点最远的顶点处。本实施例中，第二窗口102已经位于顶点P4处，且距离d4最大，因此无须移动。

步骤S224、若具有附近为画面静止区域的顶点则选取该顶点。

步骤S225、分别判断选取的附近为画面静止区域的顶点处是否为空白区域。

具体地，参区域103为例，例如可定义其内某个像素点(r,g,b)的RGB值为(r+g+b)/3。假设区域103内所有点的RGB值分别为x1,x2,x3......xn，所有点的RGB值的平均数为m，则区域103内RGB值的方差为s^2=1/n[(x1-m)^2+(x2-m)^2+.......+(xn-m)^2]。s^2越小，表示这个区域越趋近于空白区域，换言之，s^2越小，表示这个区域的画面空白指数越高。

步骤S226、对于所有附近为画面静止区域的顶点处，若均非画面空白区域则可将第二窗口102移动至画面静止指数最高的顶点处。

步骤S227、若具有附近为画面空白区域的顶点，则可将第二窗口102移动至此顶点。可以理解，若此顶点具有多个，可将第二窗口102移动至画面空白指数最高的顶点处。

本实施例的视频通话界面显示方法中，通过将第二窗口移动至距离人脸中心最远的顶点处，可最大程度的避免对于第一窗口画面结构的破坏，提升视频通话显示效果；进一步地，通过判断顶点附近是否为画面静止区域，可以将第二窗口移动至画面静止区域，可以防止占用人物或者动态物体的显示空间；再进一步地，通过判断顶点附件是否为空白区域，可以最大程度避免占用第一窗口的有效显示空间。

第三实施例提供一种视频通话界面显示装置，如图5所示，其包括显示模块310、人脸比例获取模块320、以及面积调整模块330。

显示模块310用于分别在第一窗口与第二窗口中显示第一通话方与第二通话方的影像。参阅图2，第一窗口101可用于显示第一通话方的影像，第一通话方例如可为远程用户。第二窗口102可用于显示第二通话方的影像，第二通话方例如可为本机用户。第二窗口102例如是叠加于第一窗口101上。

人脸比例获取模块320用于获取所述第一窗口中人脸的面积与所述第一窗口面积的比例k。

现用的人脸识别技术可以通过一张图像来识别出图像中所有人脸的大小，比如使用android操作系统中的android.media.FaceDetector接口，可以识别出人脸的脸中心点O和两眼间的距离R。近似地，以人脸中心为圆心，两眼间的距离为半径做一个圆，其面积S1为R²。摄像头的分辨率为a*b，则其面积S2为a*b。所以人脸占整个显示窗口的比例k为S1/S2。

可以理解，视频通话时的画面中可能出现多个人物，此时，采用所有人的人脸的总面积取代上述的S1。而中心点O取所有人的人脸中心的几何中心代替。

面积调整模块330用于若k小于第一阈值K1则增加所述第二窗口的面积；以及若k大于第二阈值K2则减小所述第二窗口的面积，所述第二阈值K2大于所述第一阈值K1。

如图2所示，S1是第一窗口101中人脸面积，S2是第一窗口101的面积，S为第二窗口102面积。K1可以取1/10，K2可以取1/5。当S1/S2在1/10和1/5之间时，我们不调整第二窗口102面积，即不调整S。当S1/S2小于1/10时，我们需要放大S；当S1/S2大于1/5时，我们需要缩小S。

本实施例的视频通话界面显示装置中，通过检测第一窗口中人脸所占面积的比例，动态调整第二窗口面积的大小，可避免第二窗口过大占用第一窗口的有效显示空间，同时可充分利用第一窗口无效显示空间。

第四实施例提供一种视频通话界面显示装置，其与第三实施例相似，如图6所示，不同之处在于还包括距离比较模块410以及窗口移动模块420。

距离比较模块410用于比较所述第一窗口的多个顶点与所述人脸的中心点的距离。

如图2所示，人脸中心坐标为O(x,y)，第一窗口101呈矩形，其四个顶点P1、P2、P3、P4的坐标分别为(0,0)、(0,b)、(a,0)、(a,b)。而在同一坐标系内的两点（x1,y1）与（x2,y2）之间的距离可以采用公式d=(x1-x2)²+(y1-y2)²,计算。根据上述公式，可以分别计算四个顶点与人脸中心之间的距离d1、d2、d3及d4，然后对其进行排序，此处设大小关系为d1<=d2<=d3<=d4。

窗口移动模块420用于移动所述第二窗口至所述多个顶点中距离所述人脸中心点较远的顶点处。

基于上述的大小关系，可以选择距离为d3和d4的顶点，即顶点P3、P4，窗口移动模块420可以将第二窗口102移动至上述两个顶点中的任何一个处，还可以是将第二窗口102移动至距离最远的顶点处，即顶点P4处。

然而，可以理解，窗口移动模块420并不限于上述方式，还可以进一步根据第一窗口101显示的内容决定将第二窗口102移动至哪个顶点处。

具体地，参阅图7，窗口移动模块420可包括第一选取单元421、第一判断单元422、第二选取单元423、第二判断单元424、以及窗口移动单元425。

第一选取单元421用于选取多个顶点中距离所述人脸中心点较远的多个顶点。

第一判断单元422用于分别判断选取的多个顶点处是否为画面静止区域.

窗口移动单元425用于若所选取的多个顶点处均非画面静止区域则移动所述第二窗口至距离所述人脸中心点最远的顶点处。

第二选取单元423用于若具有附近为画面静止区域的顶点则选取附近为画面静止区域的顶点。

第二判断单元424用于分别判断选取的附近为画面静止区域的顶点处是否为空白区域。

窗口移动单元425还用于若选取的附近为画面静止区域的顶点均非画面空白区域则调用所述窗口移动模块移动所述第二窗口至画面静止指数最高的顶点处。此外，窗口移动单元42还用于若具有附近为画面空白区域的顶点，则移动所述第二窗口至画面空白指数最高的顶点处。

本实施例的视频通话界面显示装置中，通过将第二窗口移动至距离人脸中心最远的顶点处，可最大程度的避免对于第一窗口画面结构的破坏，提升视频通话显示效果；进一步地，通过判断顶点附近是否为画面静止区域，可以将第二窗口移动至画面静止区域，可以防止占用人物或者动态物体的显示空间；再进一步地，通过判断顶点附件是否为空白区域，可以最大程度避免占用第一窗口的有效显示空间。

此外，本发明实施例还提供一种计算机可读存储介质，其内存储有计算机可执行指令，上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算机或者类似的运算装置完成上述的视频通话界面显示方法中的各种操作。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种视频通话界面显示方法，包括：

分别在第一窗口与第二窗口中显示第一通话方与第二通话方的影像，所述第二窗口叠加于所述第一窗口上；

获取所述第一窗口中人脸的面积与所述第一窗口面积的比例k；

若k小于第一阈值K1则增加所述第二窗口的面积；

若k大于第二阈值K2则减小所述第二窗口的面积，所述第二阈值K2大于所述第一阈值K1；

比较所述第一窗口的多个顶点与所述人脸的中心点的距离；以及

移动所述第二窗口至所述多个顶点中距离所述人脸中心点较远的一个顶点处；

其中，距离所述人脸中心点较远的一个顶点是指多个顶点中距离所述人脸的中心点最远的两个顶点中的一个。

2.如权利要求1所述的视频通话界面显示方法，其特征在于，移动所述第二窗口至所述多个顶点中距离所述人脸中心点较远的一个顶点处包括：选取所述多个顶点中距离所述人脸中心点较远的多个顶点；

分别判断选取的多个顶点处是否为画面静止区域；以及

若所选取的多个顶点处均非画面静止区域则移动所述第二窗口至距离所述人脸中心点最远的顶点处；

其中，距离所述人脸中心点较远的多个顶点是指多个顶点中距离所述人脸的中心点最远的两个顶点。

3.如权利要求2所述的视频通话界面显示方法，其特征在于，若具有附近为画面静止区域的顶点，则还包括：

选取附近为画面静止区域的顶点；

分别判断选取的附近为画面静止区域的顶点处是否为空白区域；以及

若选取的附近为画面静止区域的顶点均非画面空白区域则移动所述第二窗口至画面静止指数最高的顶点处。

4.如权利要求3所述的视频通话界面显示方法，其特征在于，若具有附近为画面空白区域的顶点，则还包括：

移动所述第二窗口至画面空白指数最高的顶点处。

5.一种视频通话界面显示装置，包括：

显示模块，用于分别在第一窗口与第二窗口中显示第一通话方与第二通话方的影像，所述第二窗口叠加于所述第一窗口上；

人脸比例获取模块，用于获取所述第一窗口中人脸的面积与所述第一窗口面积的比例k；

面积调整模块，用于若k小于第一阈值K1则增加所述第二窗口的面积；以及若k大于第二阈值K2则减小所述第二窗口的面积，所述第二阈值K2大于所述第一阈值K1；

距离比较模块，用于比较所述第一窗口的多个顶点与所述人脸的中心点的距离；以及

窗口移动模块，用于移动所述第二窗口至所述多个顶点中距离所述人脸中心点较远的一个顶点处；

其中，距离所述人脸中心点较远的一个顶点是指多个顶点中距离所述人脸的中心点最远的两个顶点中的一个。

6.如权利要求5所述的视频通话界面显示装置，其特征在于，所述窗口移动模块包括：

第一选取单元，用于选取所述多个顶点中距离所述人脸中心点较远的多个顶点，其中，距离所述人脸中心点较远的多个顶点是指距离所述人脸的中心点最远的两个顶点；

第一判断单元，用于分别判断选取的多个顶点处是否为画面静止区域；以及

窗口移动单元，用于若所选取的多个顶点处均非画面静止区域则移动所述第二窗口至距离所述人脸中心点最远的顶点处。

7.如权利要求6所述的视频通话界面显示装置，其特征在于，所述窗口移动模块还包括：

第二选取单元，用于若具有附近为画面静止区域的顶点则选取附近为画面静止区域的顶点；

第二判断单元，用于分别判断选取的附近为画面静止区域的顶点处是否为空白区域；

所述窗口移动单元还用于若选取的附近为画面静止区域的顶点均非画面空白区域则调用所述窗口移动模块移动所述第二窗口至画面静止指数最高的顶点处。

8.如权利要求7所述的视频通话界面显示装置，其特征在于，所述窗口移动单元还用于：若具有附近为画面空白区域的顶点，则移动所述第二窗口至画面空白指数最高的顶点处。