CN103051859B - 一种显示脸部影像的系统和方法 - Google Patents

Abstract

本发明提供一种显示脸部影像的系统和方法，显示脸部影像的系统包括视频采集装置、视频处理装置和视频显示装置，视频采集装置用于采集脸部影像并发送到视频处理装置；视频处理装置用于选取待截取影像的边框，并根据脸部影像的特征对边框进行调整，根据边框对脸部影像进行截取，然后将截取影像发送到视频显示装置；视频显示装置用于对截取影像进行显示。本发明显示脸部影像的系统和方法通过调整截取影像的边框使用户脸部表情能稳定地显示，不会因用户与视频采集装置之间距离的变动、不同的位置或倾侧而受影响。

Description

一种显示脸部影像的系统和方法

技术领域

本发明涉及图像显示技术领域，具体涉及一种显示脸部影像的系统和方法。

背景技术

通过控制远程的替身机器人(又名临场感机器人或网真机器人)用户能与在远端的受访者进行交流互动，用户的影像一般会在远端的替身机器人上显示。最普遍的显示方法是直接把用户端的摄像机所拍摄到的影像直接在远端的机器人的显示器上显示，而显示器一般会安装在远端机器人的头部位置。然而，多数受访者认为此方法与一般的视频会议的感觉分别不大，不能增加使用者在场的真实感。为了让交流更有真实感，美国专利US20040170300公开了一种经过处理的影像显示方法，该影像显示方法把用户的头部检测出来并以1:1的比例在平面的显示器上置中显示，但真实感效果不大。

发明内容

本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为解决现有技术的问题，本发明提出了一种显示脸部影像的系统和方法，本发明技术方案使用户脸部表情能稳定地在显示器上显示，不会因用户与视频采集装置之间距离的变动、不同的位置或倾侧而受影响。同时本发明提出的技术方案亦能有效地减少影像数据传输量，从而降低系统对带宽的要求。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，本发明提供一种显示脸部影像的系统，包括视频采集装置、视频处理装置和视频显示装置，

该视频采集装置用于采集脸部影像并发送到该视频处理装置；

该视频处理装置用于选取待截取影像的边框，并根据该脸部影像的特征对该边框进行调整，根据该边框对该脸部影像进行截取，然后将截取影像发送到该视频显示装置；

该视频显示装置用于对该截取影像进行显示。

优选地，该视频处理装置根据该视频显示装置的显示轮廓选取该边框。

优选地，该视频处理装置根据该脸部影像的双眼位置和倾侧角度对该边框进行调整。

根据本发明的一个实施例，该视频处理装置根据下列公式对该截取影像的边框范围进行调整：

$\hat{E}=\left(\begin{array}{cc}r& 0\\ 0& r\end{array}\right)E;$

其中为计算后边框坐标数据，E为原边框坐标数据，E=(E₁,E₂,...,E_i,...,E_n) $E_i=\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)$ 为该截取影像的边框点坐标， $r=\frac{\sqrt{{(X_L-X_R)}^2-{(Y_L-Y_R)}^2}+2h}{w},$ h为该截取影像的边框到左眼中心位置或者右眼中心位置距离的设定值，w为该截取影像的边框宽度，(X_L,Y_L)为该脸部影像的左眼中心坐标，(X_R,Y_R)为该脸部影像的右眼中心坐标。

根据本发明的一个实施例，该视频处理装置根据下列公式计算该脸部影像的倾侧角度：

$\mathrm{\θ}=\arctan \frac{Y_L-Y_R}{X_L-X_R};$

该视频处理装置根据下列公式计算该脸部影像的双眼中间位置坐标(X_C,Y_C)：

$X_C=\frac{X_L+X_R}{2},$ $Y_C=\frac{Y_L+Y_R}{2};$

其中(X_L,Y_L)为该脸部影像的左眼中心坐标，(X_R,Y_R)为该脸部影像的右眼中心坐标。

根据本发明的一个实施例，该视频处理装置根据下列公式对该边框坐标数据以该双眼中间位置坐标(X_C,Y_C)为中心进行旋转：

$\hat{\hat{E}}=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\hat{E};$

其中θ为该脸部影像的倾侧角度。

根据本发明的一个实施例，该视频处理装置根据的覆盖范围对该脸部影像进行截取，该截取影像的坐标数据设为I，该视频处理装置根据下列公式以该双眼中间位置坐标(X_C,Y_C)为中心对该截取影像的坐标数据I进行旋转：

$\hat{I}=\left(\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)I;$

其中θ为该脸部影像的倾侧角度。

根据本发明的一个实施例，该视频显示装置根据下列公式对该截取影像的坐标数据进行缩放和显示：

$\hat{\hat{I}}=\left(\begin{array}{cc}\frac{w}{u}& 0\\ 0& \frac{w}{u}\end{array}\right)\hat{I};$

其中u为坐标数据为的截取影像的宽度，w为该截取影像的原边框宽度。

根据本发明的一个实施例，该视频显示装置包括模仿颈部运动的三自由度运动装置，该三自由度运动装置根据远端用户的头部姿态控制显示影像的俯仰、倾侧或者横摆动作。

根据本发明的另一个方面，本发明提供一种显示脸部影像的方法，包括步骤：

采集脸部影像；

选取待截取影像的边框；

根据该脸部影像的特征对该边框进行调整；

根据该边框对该脸部影像进行截取；

对该截取影像进行显示。

优选地，显示脸部影像的方法包括步骤：根据显示轮廓选取该边框。

优选地，显示脸部影像的方法包括步骤：根据该脸部影像的双眼位置和倾侧角度对该边框进行调整。

本发明显示脸部影像的系统和方法通过调整截取影像的边框使用户脸部表情能稳定地显示，不会因用户与视频采集装置之间距离的变动、不同的位置或倾侧而受影响，同时本发明技术方案也有效地减少了影像数据传输量，从而降低了系统对带宽的要求。

通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为本发明实施例显示脸部影像的系统示意图；

图2为本发明实施例脸部影像示意图；

图3为本发明实施例截取影像的边框示意图；

图4为本发明实施例截取影像的边框宽度w示意图；

图5为本发明实施例截取影像的边框到眼睛的距离h示意图；

图6为本发明实施例截取影像过程示意图；

图7为本发明实施例视频显示装置示意图；

图8为本发明实施例俯仰、倾侧和横摆动作示意图；

图9为本发明实施例显示脸部影像的方法流程图；

图10为本发明实施例显示脸部影像的方法流程图之二。

具体实施方式

如图1所示，本发明显示脸部影像的系统包括视频采集装置101、视频处理装置102和视频显示装置103，视频采集装置101用于采集脸部影像并发送到视频处理装置102；视频处理装置102用于选取待截取影像的边框，并根据脸部影像的特征对边框进行调整，根据边框对脸部影像进行截取，然后将截取影像发送到视频显示装置103；视频显示装置103用于对截取影像进行显示。视频采集装置101可由一个或以上的摄像机构成，摄像机可以是手提装置(如平板计算机、手提电脑、智能手机等)上的摄像机、网络摄像机等。摄像脸部在摄像机的视线范围内并以正面朝向摄像机，视频采集装置101所采集到的影像信息利用但不限于如USB、Ethernet、IEEE1394、HDMI等方式传送到视频处理装置102进行处理，视频处理装置102可以是本地的处理系统或网络服务器。

如图2所示，优选地，视频处理装置102根据视频显示装置103的显示轮廓选取边框。视频处理装置102从脸部影像201中找出左眼中心位置203和右眼中心位置204，根据脸部影像201的双眼位置(包括左眼中心位置203和右眼中心位置204)和倾侧角度202对边框进行调整。

如图3、图4和图5所示，视频处理装置102根据下列公式对截取影像边框205范围进行调整：

$\hat{E}=\left(\begin{array}{cc}r& 0\\ 0& r\end{array}\right)E;$

其中为计算后边框坐标数据，E为原边框坐标数据，E=(E₁,E₂,...,E_i,...,E_n) $E_i=\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)$ 为该截取影像的边框点坐标， $r=\frac{\sqrt{{(X_L-X_R)}^2-{(Y_L-Y_R)}^2}+2h}{w},$ h为该截取影像边框205到左眼中心位置203或者右眼中心位置204距离的设定值，w为边框205的宽度，(X_L,Y_L)为左眼中心位置203的坐标，(X_R,Y_R)为右眼中心位置204的坐标。

视频处理装置102根据下列公式计算脸部影像的倾侧角度：

$\mathrm{\θ}=\arctan \frac{Y_L-Y_R}{X_L-X_R};$

视频处理装置102根据下列公式计算脸部影像的双眼中间位置206的坐标(X_C,Y_C)：

$X_C=\frac{X_L+X_R}{2},$ $Y_C=\frac{Y_L+Y_R}{2};$

在本实施例中，视频处理装置102根据下列公式对边框205坐标数据以双眼中间位置206坐标(X_C,Y_C)为中心进行旋转：

$\hat{\hat{E}}=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\hat{E};$

其中θ为脸部影像的倾侧角度。

如图6所示，在本实施例中，视频处理装置102根据边框205坐标数据的覆盖范围对脸部影像进行截取，截取影像的坐标数据设为I，视频处理装置102根据下列公式以双眼中间位置206坐标(X_C,Y_C)为中心对截取影像的坐标数据I进行旋转：

$\hat{I}=\left(\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)I;$

其中θ为脸部影像的倾侧角度。

在本实施例中，视频显示装置103根据下列公式对截取影像的坐标数据进行缩放和显示：

$\hat{\hat{I}}=\left(\begin{array}{cc}\frac{w}{u}& 0\\ 0& \frac{w}{u}\end{array}\right)\hat{I};$

其中u为坐标数据为的截取影像的宽度，w为截取影像的原边框宽度。

如图7和图8所示，本实施例的视频显示装置103包括模仿颈部运动的三自由度运动装置1033，三自由度运动装置1033根据远端用户的头部姿态控制显示影像1032的俯仰、倾侧或者横摆动作，图8揭示了俯仰动作301、倾侧动作302和横摆动作303。

如图9所示，本实施例显示脸部影像的方法包括步骤：

S110、采集脸部影像；

S120、选取待截取影像的边框；

S130、根据脸部影像的特征对边框进行调整；

S140、根据边框对脸部影像进行截取；

S150、对所述截取影像进行显示。

优选地，显示脸部影像的方法包括步骤：根据显示轮廓选取该边框；根据脸部影像的双眼位置和倾侧角度对边框进行调整。

如图10所示，本发明具体实施例包括步骤：

S200、采集脸部影像；

S210、选取待截取影像的边框；

S220、检测双眼位置并确定双眼之间的中心位置和脸部影像的倾侧角度，视频处理装置102首先从影像中找出左眼中心位置203的坐标(X_L,Y_L)以及右眼中心位置的坐标(X_R,Y_R)，通过以下算法确定脸部影像的倾侧角度θ:

$\mathrm{\θ}=\arctan \frac{Y_L-Y_R}{X_L-X_R};$

并通过以下算法确定双眼之间的中心位置206的坐标(X_C,Y_C):

$X_C=\frac{X_L+X_R}{2},$

$Y_C=\frac{Y_L+Y_R}{2};$

S230、根据脸部影像的双眼位置和倾侧角度调整边框的大小、位置和角度，边框205的大小会根据双眼的距离作出调整，使边框205与眼睛的距离与设定值h相同。边框205的数据结构如下:E=(E₁,E₂,...,E_i,...,E_n)，其中 $E_i=\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)$ 是边框205上的点坐标，w为边框205的原宽度。

$\hat{E}=\left(\begin{array}{cc}r& 0\\ 0& r\end{array}\right)E;$

$r=\frac{\sqrt{{(X_L-X_R)}^2-{(Y_L-Y_R)}^2}+2h}{w},$

边框205坐标数据根据脸部影像的倾侧角度θ进行旋转：

$\hat{\hat{E}}=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\hat{E};$

而边框205的中心点会与(X_C,Y_C)重迭。

S240、根据已调整的边框进行脸部影像截取，根据边框205坐标数据的覆盖范围对脸部影像进行截取得到截取影像坐标数据I。

S250、截取影像正立处理，截取影像坐标数据I以(X_C,Y_C)为中心进行-θ旋转,得到正立的截取影像坐标数据

$\hat{I}=\left(\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)I;$

S260、判断截取影像是否大于设定值，判定截取影像的大小或分辨率是否大于设定值(该设定值等于或低于显示器能显示的最大值)；

S270、如果截取影像大于设定值，则调整截取影像至设定值，如果截取影像的大小或分辨率高于设定值，将截取影像坐标数据进行缩小或降低分辨率处理，以使图像的分辨率与设定值相等，减少不必要的数据量。

S280、如果截取影像小于设定值，输出截取影像，截取影像的大小或分辨率比设定值小则不进行任何处理，截取影像坐标数据经过压缩编码，传送到视频显示装置103。由于脸部以外的其它影像信息不会被传送，影像的大小和分辨率不会大于显示器的有效显示大小及分辨率，数据传输量因此大大减少。视频显示装置103把视频处理装置102传送过来的截取影像坐标数据进行解码和缩放处理生成影像坐标数据并在显示器1031上显示：

$\hat{\hat{I}}=\left(\begin{array}{cc}\frac{w}{u}& 0\\ 0& \frac{w}{u}\end{array}\right)\hat{I};$

其中u为坐标数据为的截取影像的宽度，w为截取影像的原边框宽度。

本发明显示脸部影像的系统不会因用户与视频采集装置101之间距离的变动、不同的位置或倾侧而有所影响，经处理的脸部影像1032可以通过网络传送到视频显示装置103进行显示。显示的方式包括利用背面投射的方式在仿照一般人面部大小的曲面上或平面显示器1031上显示。视频显示装置103包括模仿使用者颈部运动的三自由度(俯仰、倾侧、横摆)运动装置1033，而三自由度运动装置另一端连接固定或移动平台1034，令使用者的面部表情及头部动作能更立体、更真实地呈现在受访者的眼前。用户的头部姿态通过分析视频采集装置101所收集到的影像获得。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (7)

1.一种显示脸部影像的系统，其特征在于：包括视频采集装置、视频处理装置和视频显示装置，

所述视频采集装置用于采集脸部影像并发送到所述视频处理装置；

所述视频处理装置用于选取待截取影像的边框，并根据所述脸部影像的特征对所述边框进行调整，根据所述边框对所述脸部影像进行截取，然后将截取影像发送到所述视频显示装置；

所述视频显示装置用于对所述截取影像进行显示；

其中，所述视频处理装置根据所述脸部影像的双眼位置和倾侧角度对所述边框进行调整；

所述视频处理装置根据下列公式对所述截取影像的边框范围进行调整：

$\hat{E}=\left(\begin{array}{cc}r& 0\\ 0& r\end{array}\right)E;$

其中为计算后边框坐标数据，E为原边框坐标数据，

E＝(E₁，E₂，...，E_i，...，E_n)， $E_i=\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)$ 为所述截取影像的边框点坐标，h为所述截取影像的边框到左眼中心位置或者右眼中心位置距离的设定值，w为所述截取影像的边框宽度，(X_L,Y_L)为所述脸部影像的左眼中心坐标，(X_R,Y_R)为所述脸部影像的右眼中心坐标。

2.根据权利要求1所述的显示脸部影像的系统，其特征在于：所述视频处理装置根据所述视频显示装置的显示轮廓选取所述边框。

3.根据权利要求1所述的显示脸部影像的系统，其特征在于：所述视频处理装置根据下列公式计算所述脸部影像的倾侧角度：

$\mathrm{\θ=arctan}\frac{Y_L-Y_R}{X_L-X_R};$

所述视频处理装置根据下列公式计算所述脸部影像的双眼中间位置坐标(X_C,Y_C)：

$X_C=\frac{X_L+X_R}{2},Y_C=\frac{Y_L+Y_R}{2};$

其中(X_L,Y_L)为所述脸部影像的左眼中心坐标，(X_R,Y_R)为所述脸部影像的右眼中心坐标；

所述视频处理装置根据下列公式对所述边框坐标数据以所述双眼中间位置坐标(X_C,Y_C)为中心进行旋转：

$\stackrel{\widehat{^}}{E}=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\hat{E};$

其中θ为所述脸部影像的倾侧角度；

所述视频处理装置根据的覆盖范围对所述脸部影像进行截取，所述截取影像的坐标数据设为I，所述视频处理装置根据下列公式以所述双眼中间位置坐标(X_C,Y_C)为中心对所述截取影像的坐标数据I进行旋转：

$\hat{I}=\left(\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)I;$

其中θ为所述脸部影像的倾侧角度。

4.根据权利要求3所述的显示脸部影像的系统，其特征在于：所述视频显示装置根据下列公式对所述截取影像的坐标数据进行缩放和显示：

$\stackrel{\widehat{^}}{I}=\left(\begin{array}{cc}\frac{w}{u}& 0\\ 0& \frac{w}{u}\end{array}\right)\hat{I};$

其中u为坐标数据为的截取影像的宽度，w为所述截取影像的原边框宽度。

5.根据权利要求1所述的显示脸部影像的系统，其特征在于：所述视频显示装置包括模仿颈部运动的三自由度运动装置，所述三自由度运动装置根据远端用户的头部姿态控制显示影像的俯仰、倾侧或者横摆动作。

6.一种显示脸部影像的方法，其特征在于，包括步骤：

采集脸部影像；

选取待截取影像的边框；

根据所述脸部影像的特征对所述边框进行调整；

根据所述边框对所述脸部影像进行截取；

对所述截取影像进行显示；

其中，所述根据所述脸部影像的特征对所述边框进行调整，是根据所述脸部影像的双眼位置和倾侧角度对所述边框进行调整；

所述根据所述脸部影像的双眼位置对所述边框进行调整，是根据下列公式对所述截取影像的边框范围进行调整：

$\hat{E}=\left(\begin{array}{cc}r& 0\\ 0& r\end{array}\right)E;$

其中为计算后边框坐标数据，E为原边框坐标数据，E＝(E₁,E₂,...,E_i,...,E_n)， $E_i=\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)$ 为所述截取影像的边框点坐标，h为所述截取影像的边框到左眼中心位置或者右眼中心位置距离的设定值，w为所述截取影像的边框宽度，(X_L,Y_L)为所述脸部影像的左眼中心坐标，(X_R,Y_R)为所述脸部影像的右眼中心坐标。

7.根据权利要求6所述的显示脸部影像的方法，其特征在于：根据显示轮廓选取所述边框。