CN101415103B - 视讯画面的调整方法 - Google Patents

Abstract

一种视讯画面的调整方法，此方法用以调整摄像头所撷取的视讯画面中的使用者脸部区域画面。首先，侦测视讯画面的图像边缘，并根据图像边缘提取数个使用者的脸部特征。接着根据上述脸部特征，查询脸部特征数据库以判断摄像头与使用者的脸部平面之间的倾斜角度。其中，脸部特征数据库记录由大量统计所得到的多组脸部特征数据。最后，依据倾斜角度动态调整脸部区域的画面比例。据此产生具有正面且不倾斜的脸部区域的视讯画面。

Description

视讯画面的调整方法

技术领域

本发明是有关于一种视讯画面的调整方法，且特别是有关于一种对视讯画面中的使用者脸部区域来进行调整的方法。

背景技术

随着通讯及网络技术的结合，视讯通话也跟着日趋普及化，甚至已成为一股新兴的通话潮流。使用者仅需在通话时搭配具有摄像头的网络摄影机，便能轻易的将视讯影像传送至受话方。如此一来，在视讯通话的过程中不但能听见对方的声音，更能实时看见对方的影像。正因如此，当现代人要与身处远方的家人朋友联络时，便显得更加轻松便利。除了以计算机搭配网络摄影机以进行视讯通话之外，越来越多的移动通讯产品制造商在设计产品之时，也不忘将视讯通话列为必备功能，以提升产品竞争力。

图1是使用者进行视讯通话时，摄像头与使用者位置的示意图。请参阅图1，以手机120进行视讯通话为例，在移动通讯产品的外观设计中，摄像头130经常是固定设置在屏幕140的上方，而使用者110多半习惯以平视屏幕140的方式来进行视讯通话。也就是说，由使用者鼻子顶端与地面相互垂直所构成的脸部平面150，其与摄像头130之间便会产生一个倾斜角度θ。因此当使用者110注视屏幕140进行通话时，摄像头130所撷取到的使用者影像便不是正面朝向镜头的影像，反而会如图2所示，是一个脸部比例失调(即靠近摄像头130的脸部区域其比例过大，而离摄像头130较远的部位却比例过小)的视讯画面200。

以现有的视讯通话技术来说，在摄像头撷取视讯画面后，视讯画面便会直接被传送至受话方。也就是说，这些带有倾斜角度的使用者画面将不会经过任何的调整而直接被传送出去。因此，受话方往往会因为接收到的是脸部比例失调的视讯画面而无法看清楚对方的影像，进而对视讯通话的质量造成负面影响。

发明内容

本发明的主要目的在于提供一种视讯画面的调整方法，能根据使用者脸部平面与摄像头之间的倾斜角度，线性调整视讯画面的脸部区域，使得调整后的视讯画面具有一个正面而不倾斜的脸部区域画面。

为了实现上述目的，本发明的视讯画面的调整方法，用以调整一摄像头所撷取的一视讯画面中一使用者的一脸部区域的画面，该方法包括下列步骤：

侦测该视讯画面的一图像边缘；

根据该图像边缘提取该使用者的脸部特征；

根据该些脸部特征，查询一脸部特征数据库以判断该摄像头与该使用者的一脸部平面间的一倾斜角度，其中该脸部特征数据库记录由统计所得到的多组脸部特征数据；以及

依据该倾斜角度动态调整该脸部区域的画面的比例。

侦测该视讯画面的该图像边缘的步骤包括：透过一边缘检测方法侦测该图像边缘。

该图像边缘包括脸部轮廓或五官轮廓。

根据该图像边缘取得该脸部特征的步骤包括：

透过一曲线拟合(curve fitting)方法计算趋近于该图像边缘的多条曲线；以及

根据该些曲线之间的关联性，提取该些脸部特征。

提取该些脸部特征的步骤包括：依据该些曲线判断该些脸部特征的位置。

该些脸部特征包括眼睛及鼻子。

根据该些脸部特征，查询该脸部特征数据库以判断该倾斜角度的步骤包括：

计算该使用者的眼睛与鼻子之间的一水平距离；以及

比较该水平距离及该脸部特征数据库中的脸部特征数据，以判断水平的倾斜角度。

根据该些脸部特征，查询该脸部特征数据库以判断该倾斜角度的步骤包括：

计算该使用者的眼睛与鼻子之间的一垂直距离；以及

比较该垂直距离及该脸部特征数据库中的脸部特征数据，以判断垂直的倾斜角度。

依据该倾斜角度动态调整该脸部区域的画面的比例的步骤包括：依照该倾斜角度，线性缩放该脸部区域的画面，以将该脸部区域的画面调整回正常比例。

依据该倾斜角度动态调整该脸部区域的比例的步骤包括：

取得最接近该脸部区域的每一画素的多个辅助画素的颜色；

根据该些辅助画素的颜色，利用一二维线性插值方法计算每一上述画素的一修正颜色；以及

以每一该些画素的该修正颜色，更新该脸部区域的画面。

该画素的该些辅助画素包括最接近该画素的一左上角画素、一左下角画素、一右上角画素及一右下角画素。

所述的视讯画面的调整方法还包括：

侦测该脸部区域与该视讯画面的中心点之间的一偏移距离；以及

根据该偏移距离调整该脸部区域的位置至该视讯画面的正中央。

本发明在取得视讯画面中，脸部区域的脸部特征位置后，便藉由和脸部特征数据库进行比较以判断摄像头与使用者的脸部平面间的倾斜角度，并根据倾斜角度来调整脸部区域的画面。据此产生具有正面且不倾斜的脸部区域的视讯画面。

附图说明

为使本发明的上述特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

图1是使用者进行视讯通话时，摄像头与使用者位置的示意图。

图2是习知视讯通话方法所撷取的视讯画面的示意图。

图3是依照本发明的一实施例所绘示的视讯画面的调整方法的流程图。

图4是依照本发明的一实施例所绘示的视讯画面在调整前的示意图。

图5是依照本发明另一实施例所绘示的视讯画面在调整前的示意图。

图6是依照本发明的一实施例所绘示的视讯画面在调整后的示意图。

具体实施方式

清晰、正面，且不偏斜的视讯画面对于经常使用视讯通话的使用者来说相当重要，本发明便是为了更进一步地提升视讯通话质量，进而发展出的一种视讯画面的调整方法。为了使本发明的内容更为明了，以下特举实施例做为本发明确实能够据以实施的范例。

图3是依照本发明的一实施例所绘示的视讯画面的调整方法的流程图。本实施例是以使用者利用手机来进行视讯通话为例，但并不用以限定本发明的范围，也就是说其它可支持视讯通话的通讯装置均可套用本方法来对视讯画面进行调整。

请参阅图3，在进行视讯通话时，置于手机屏幕上方的摄像头会撷取包括使用者脸部区域的视讯画面。而在将视讯画面传送至受话方之前，首先如步骤310所示，对视讯画面进行图像边缘的侦测动作，图像边缘例如可以是使用者的脸部轮廓及/或五官轮廓，在此不限制其范围。在一实施例中，可以透过例如Laplace边缘检测方法对视讯画面进行处理。Laplace边缘检测方法是一种各向同性的边缘检测方法，即在此方法中，边缘增强的程度与方向无关。以下是Laplace边缘检测方法所使用的3乘3矩阵的范例：

接着如步骤320所示，根据图像边缘提取使用者的脸部特征。举例来说，先透过曲线拟合(curve fitting)方法计算趋近于图像边缘的多条曲线。接着再根据上述曲线之间的关联性来提取脸部特征，并根据曲线判断脸部特征的位置。详细地说，在取得趋近于图像边缘的多条曲线后，尚未得知哪条曲线是代表哪个脸部特征，因此需藉由这些曲线的大小、形状及相对位置等关系，以判断出脸部特征。举例来说，两个眼睛的位置为对称，且两者与鼻子之间的距离相等，因此经过上述步骤便可从视讯画面中取得好比像是眼睛或鼻子等使用者的脸部特征，同时也能取得眼睛或鼻子的位置。

在本实施例中，提供了一个记录多组脸部特征数据的脸部特征数据库。上述脸部特征数据是以透过任何方式所取得的脸部图片作为统计母群，并利用大量统计方法所得到的多组五官之间的垂直或水平距离数据。因此在提取脸部特征并取得其位置后，在步骤330中，根据脸部特征查询脸部特征数据库，据以判断摄像头与使用者的脸部平面之间的倾斜角度。本实施例是以与地面相互垂直并包括使用者鼻子顶端的平面来作为脸部平面，而根据所提取的脸部特征以及脸部特征数据库中的脸部特征数据，透过几何关系得到摄像头与使用者鼻子顶端所构成的脸部平面间的倾斜角度。

举例来说，图4是依照本发明的一实施例所绘示的视讯画面在调整前的示意图。请参阅图4的视讯画面400，根据步骤320所得到的眼睛及鼻子位置，步骤330首先根据其位置计算使用者两眼与鼻子之间的水平距离d1及水平距离d2。接着将水平距离d1及水平距离d2与记录在脸部特征数据库中的脸部特征数据进行比较，据以计算出对应的水平倾斜角度。

图5是依照本发明另一实施例所绘示的视讯画面在调整前的示意图。请参阅图5，在此实施例中同样是根据使用者眼睛及鼻子的位置，计算出眼睛与鼻子之间的垂直距离d。接下来，比较垂直距离d以及脸部特征数据库中的脸部特征数据，据以判断摄像头与使用者鼻子顶端之间的垂直倾斜角度。

值得注意的是，虽然脸部五官的位置因人而异，因此五官之间的距离长短并无绝对标准，但透过与记录有大量脸部特征数据的数据库进行比较，应当可利用统计学的方式计算出各种脸部特征对应的倾斜角度。

最后如图3的步骤340所示，依据倾斜角度对脸部区域的画面进行线性调整以修正其比例。在一实施例中，是依照倾斜角度线性缩放脸部区域的画面，据以将脸部区域的画面调整回正常比例。假设(u，v)是脸部区域中某个画素的坐标位置，为了便于将空间的平移、缩放或旋转等动作以矩阵形式来记录，在此假设齐次坐标(homogeneouscoordinate)(w，w’)的值为(1，1)。那么经过调整之后此画素的坐标(x，y)便可以下列算式来计算之：

$[x,y,1]=[u,v,1]*\left[\begin{array}{ccc}{S}_u& 0& 0\\ 0& S_v& 0\\ 0& 0& 1\end{array}\right]$

其中，S_u及S_v分别表示对应倾斜角度而必须在水平及垂直方向上进行调整的缩放比例。当S_u或S_v大于1时表示放大画面，而当S_u或S_v小于1时则表示要进行缩小画面的动作。

在另一实施例中，将取得最接近脸部区域的每个画素的多个辅助画素的颜色，并根据辅助画素的颜色，利用二维线性插值方法计算每个画素的修正颜色，再以每个画素的修正颜色来更新脸部区域的画面。延续上述实施例，画素(u，v)的修正颜色P则如下所示：

P＝n*b*Pa+n*(1-b)*Pb+(1-n)*b*Pc+(1-n)*(1-b)*Pd

其中，假设视讯画面的原点位于左下角，那么n表示由视讯画面的下方开始算起，最接近v的Y轴坐标与v之间的差值；而b则是由视讯画面的左方开始算起，最接近u的X轴坐标与u之间的差值。而上述辅助画素则例如是最接近此画素的左上角画素、左下角画素、右上角画素以及右下角画素，Pa、Pb、Pc与Pd则分别表示辅助画素的颜色。透过上述的二维线性插值方法，便可根据每个画素的辅助画素的颜色来对脸部区域的画面进行调整。

透过图3所示的各步骤，便可将视讯画面中的脸部区域调整为正面且不具倾斜角度的画面(如图6的视讯画面600所示)。以达到摄像头是从正面方向来撷取使用者脸部画面的效果。

在本发明的另一实施例中，在摄像头撷取视讯画面之后，将侦测视讯画面中的脸部区域以及视讯画面中心点之间的偏移距离，并根据偏移距离将脸部区域的位置调整至视讯画面的正中央。据此，受话方便可接收到使用者影像位于画面中央的视讯画面，避免因位置偏移而无法顺利看到对方影像的情况产生。

综上所述，在本发明所述视讯画面的调整方法的实施例中，可提取脸部特征并根据脸部特征与脸部特征数据库之间的比较，计算出摄像头与使用者的脸部平面间的倾斜角度，并依据倾斜角度来修正视讯画面中脸部区域画面的比例。据此修正因脸部平面倾斜所造成的脸部比例失调，确保受话方接收到的是具有正面且并无倾斜的脸部区域的视讯画面，进而让受话方有较佳的通话感受以提升视讯通话的质量。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视所附的申请专利范围所界定为准。

Claims (12)

1.一种视讯画面的调整方法，用以调整一摄像头所撷取的一视讯画面中一使用者的一脸部区域的画面，其特征在于，该方法包括下列步骤：

侦测该视讯画面的一图像边缘；

根据该图像边缘提取该使用者的脸部特征；

根据该些脸部特征，查询一脸部特征数据库以判断该摄像头与该使用者的一脸部平面间的一倾斜角度，其中该脸部特征数据库记录由统计所得到的多组脸部特征数据；以及

依据该倾斜角度动态调整该脸部区域的画面的比例。

2.如权利要求1所述的视讯画面的调整方法，其特征在于，侦测该视讯画面的该图像边缘的步骤包括：

透过一边缘检测方法侦测该图像边缘。

3.如权利要求1所述的视讯画面的调整方法，其特征在于，该图像边缘包括脸部轮廓或五官轮廓。

4.如权利要求1所述的视讯画面的调整方法，其特征在于，根据该图像边缘取得该脸部特征的步骤包括：

透过一曲线拟合(curve fitting)方法计算趋近于该图像边缘的多条曲线；以及

根据该些曲线之间的关联性，提取该些脸部特征。

5.如权利要求4所述的视讯画面的调整方法，其特征在于，提取该些脸部特征的步骤包括：

依据该些曲线判断该些脸部特征的位置。

6.如权利要求1所述的视讯画面的调整方法，其特征在于，该些脸部特征包括眼睛及鼻子。

7.如权利要求6所述的视讯画面的调整方法，其特征在于，根据该些脸部特征，查询该脸部特征数据库以判断该倾斜角度的步骤包括：

计算该使用者的眼睛与鼻子之间的一水平距离；以及

比较该水平距离及该脸部特征数据库中的脸部特征数据，以判断水平的倾斜角度。

8.如权利要求6所述的视讯画面的调整方法，其特征在于，根据该些脸部特征，查询该脸部特征数据库以判断该倾斜角度的步骤包括：

计算该使用者的眼睛与鼻子之间的一垂直距离；以及

比较该垂直距离及该脸部特征数据库中的脸部特征数据，以判断垂直的倾斜角度。

9.如权利要求1所述的视讯画面的调整方法，其特征在于，依据该倾斜角度动态调整该脸部区域的画面的比例的步骤包括：

依照该倾斜角度，线性缩放该脸部区域的画面，以将该脸部区域的画面调整回正常比例。

10.如权利要求1所述的视讯画面的调整方法，其特征在于，依据该倾斜角度动态调整该脸部区域的比例的步骤包括：

取得最接近该脸部区域的每一画素的多个辅助画素的颜色；

根据该些辅助画素的颜色，利用一二维线性插值方法计算每一上述画素的一修正颜色；以及

以每一该些画素的该修正颜色，更新该脸部区域的画面。

11.如权利要求10所述的视讯画面的调整方法，其特征在于，该画素的该些辅助画素包括最接近该画素的一左上角画素、一左下角画素、一右上角画素及一右下角画素。

12.如权利要求1所述的视讯画面的调整方法，其特征在于，还包括：

侦测该脸部区域与该视讯画面的中心点之间的一偏移距离；以及

根据该偏移距离调整该脸部区域的位置至该视讯画面的正中央。

Images