CN102385692B - 人脸偏转图像获取系统及方法 - Google Patents

Abstract

一种人脸偏转图像获取系统，至少包括：工作站，用于采集偏转指令，并对被摄人脸初始化；偏转装置，用于根据所述偏转指令控制并执行被摄人脸角度的偏转；成像装置，用于拍摄偏转的被摄人脸，得到人脸偏转图像。上述人脸偏转图像获取系统及方法通过偏转指令在偏转装置的作用下精确控制被摄人脸的偏转角度，从而可以获取各个角度的人脸图像，为未来的多姿态人脸识别奠定基础。

Description

人脸偏转图像获取系统及方法

【技术领域】

本发明涉及人脸识别技术，特别是涉及一种人脸偏转图像获取系统及方法。

【背景技术】

传统的人脸识别多是针对正面、限定条件下的人脸图像，当所输入的人脸图像姿态发生变化时，其识别率都会下降，因此提高人脸识别率的瓶颈问题是人脸图像的多姿态性。姿态变化给人脸图像带来的变化往往比不同的人的人脸图像之间的差异要大得多，多姿态人脸图像识别是当前人脸识别技术所面临的重要挑战之一。为实现人脸识别的广泛应用就实现多角度侧脸的识别，因此侧脸位置的确定是人脸侧脸识别中至关重要的问题。

然而，在传统的人脸数据库中没有包含精确的人脸位置的数据，更没有人脸偏转不同角度的数据。

【发明内容】

基于此，有必要提供一种精确的人脸偏转图像获取系统。

此外，还有必要提供一种精确的人脸偏转图像获取方法。

一种人脸偏转图像获取系统，至少包括：工作站，用于采集偏转指令，并对被摄人脸初始化；偏转装置，用于根据所述偏转指令控制并执行被摄人脸角度的偏转；成像装置，用于拍摄偏转的被摄人脸，得到人脸偏转图像。

优选地，所述工作站接收的偏转指令记录了已设置的被摄人脸偏转角和俯仰角。

优选地，所述偏转装置包括：云台控制器，用于根据所述偏转指令控制云台的角度；抓手，用于固定被摄人脸；云台，用于调整所述抓手的偏转角和俯仰角。

优选地，所述抓手是弹性橡胶材质。

优选地，所述成像装置包括至少两台摄像机。

优选地，所述摄像机与被摄人脸处于同一高度，相邻摄像机之间的距离为1～100厘米，摄像机的焦距为10～200厘米。

优选地，所述摄像机参数标定后，经工作站在成像装置坐标系进行人脸位置的初始化后在偏转装置的辅助下拍照，所述成像装置坐标系是以摄像机光心连线的中点为原点，X轴与光心连线重合，Z轴与原点的光轴所在方向重合，并根据右手坐标系得到Y轴方向。

优选地，所述摄像机的参数标定是通过棋盘格标定方式拍摄5～40幅图像，得到标定参数，或采用默认的标定参数。

优选地，所述摄像机人脸位置的初始化是标记特征点后由两台摄像机拍摄同一时刻视野中同一人脸。

优选地，所述工作站包括：采集模块，用于接收偏转指令；分割模块，用于通过颜色分割得到所述人脸图像中的特征点；初始化模块，用于计算得到所述特征点在成像装置坐标系统下的空间位置及法向向量，并计算所述法向向量与成像装置坐标系Z轴的偏转角，将偏转角分解为左右偏转角以及上下俯仰角，使法向向量与Z轴平行，以建立人脸坐标系。

优选地，所述标记特征点是指用三个直径小于2mm的红斑分别标记左眉根、右眉根以及鼻子与上唇连接线中点。

一种人脸偏转图像获取方法，包括如下步骤：参数标定；标记特征点，由拍摄同一时刻视野中同一人脸，分别分割出人脸图像中的特征点，计算得到所述特征点在成像装置坐标系下的空间位置及法向向量，并计算所述法向向量与成像装置坐标系Z轴的偏转角，将偏转角分解为左右偏转角以及上下俯仰角，使法向向量与Z轴平行，以建立人脸坐标系；拍摄偏转的被摄人脸，得到人脸偏转图像。

优选地，所述参数标定的过程是：通过棋盘格标定方式拍摄5～40幅图像，得到标定参数，或采用默认的标定参数。

优选地，所述成像装置坐标系是以摄像机光心连线的中点为原点，X轴与光心连线重合，Z轴与原点的光轴所在方向重合，并根据右手坐标系得到Y轴方向。

优选地，所述标记特征点的过程是：用三个直径小于2mm的红斑分别标记左眉根、右眉根以及鼻子与上唇连接线中点，并通过颜色分割出所标记的红斑。

上述人脸偏转图像获取系统及方法通过偏转指令在偏转装置的作用下精确控制被摄人脸的偏转角度，从而可以获取各个角度的人脸图像，为未来的多姿态人脸识别奠定基础。

上述人脸偏转图像获取系统及方法通过弹性橡胶材质的抓手来固定被摄人脸，从而实现被摄人脸的精确偏转，且不影响拍摄。

上述人脸偏转图像获取系统及方法中设置相邻摄像机之间的距离为1～100厘米，从而使得调整拍摄视野更为方便，使得被摄人脸在多个摄像机内都能够清晰并完整成像。

【附图说明】

图1为一实施例中人脸偏转图像获取系统的详细模块图；

图2为一实施例中人脸偏转图像获取方法的流程图。

图3为一实施例中人脸偏转图像获取系统的示意图。

【具体实施方式】

图1示出了一实施例中人脸偏转图像获取系统的详细模块，该人脸偏转图像获取系统包括工作站10、偏转装置20以及成像装置30，其中：

工作站10用于采集偏转指令，并对被摄人脸初始化。一实施方式中，工作站10采集用户所输入的偏转指令，进行被摄人脸偏转角和俯仰角的设置。用户通过工作站10提供的人机交互界面设定被摄人脸的偏转角和俯仰角。

一实施例中，工作站10包括：

采集模块102用于接收偏转指令。该采集模块102通过用户在人机交互界面所设置的被摄人脸偏转角和俯仰角得到偏转指令，该偏转指令记录了已设置的被摄人脸偏转角和俯仰角。

分割模块104用于通过颜色分割得到人脸图像中的特征点。该特征点必须能够代表被摄人脸所在的平面，且其鲁棒性必须是非常强的，不会受到被摄人脸表情的影响，此外，该特征点必须容易识别。满足以上条件的点都可以作为特征点，并在被摄人脸中标记出来。在优选的实施方式中，特征点是标记于左眉根、右眉根以及鼻子与上唇连线中点上的三个直径小于2mm的红斑，该红斑优选为小于2mm的红斑。为防止红斑在视野中变形为椭圆，从而导致红斑的圆心寻找困难，因此对于直径小于2mm的红斑，其大小非常小，可以做为点来处理，不易发生变形。颜色分割的过程具体是：首先通过“肤色模型”将图像变换到YC_bC_r空间，由于人脸在该YC_bC_r空间满足预设的范围，则根据该预设范围探测出被摄人脸；然后将探测出的被摄人脸变换到RGB空间中，R空间数值不大于240且G、B空间数值均小于10，此时特征点均被标记出来。

初始化模块106用于计算得到特征点在成像装置坐标系下的空间位置及法向向量，并计算法向向量与成像装置坐标系Z轴的偏转角，将偏转角分解为左右方向上的偏转角以及上下方向上的俯仰角，使法向向量与Z轴平行，以建立人脸坐标系。具体地，成像装置坐标系是以摄像机302光心连线的中点为原点，X轴与光心连线重合，Z轴与原点的光轴所在方向重合，并根据右手坐标系得到Y轴方向。在优选的实施方式中，分割模块104所选取的特征点位于左眉根、右眉根以及鼻子与上唇连线的中点上，则初始化模块106所建立的人脸坐标系中，坐标原点O为左眉根和右眉根连线的中点，该人脸坐标系X轴为左眉根、右眉根两点连线，X轴正方向由左眉根指向右眉根，Y轴正方向由原点O指向鼻子与上唇交界中点。人脸坐标系为右手坐标系。初始化得到的人脸坐标系Z轴与成像装置坐标系的Z轴平行，X轴与成像装置坐标系的X轴平行。而左右方向上的偏转角是以人脸坐标系中Y轴为旋转轴，在X轴和Z轴所在的平面内旋转，顺时针方向为正，逆时针方向为负；上下方向上的俯仰角是以X轴为旋转轴，在Y轴和Z轴所在的平面内偏转，被摄人脸仰视为正，俯视为负。

偏转装置20用于根据偏转指令控制并执行被摄人脸角度的偏转。一实施方式中，该偏转装置20根据工作站10中的偏转指令控制被摄人脸偏转用户设定的偏转角和俯仰角。

一实施例中，偏转装置20包括云台控制器202、抓手204以及云台206，具体地：

云台控制器202用于根据偏转指令控制云台206的角度。在云台控制器202的作用下，云台206精确偏转预设的角度。

抓手204用于固定被摄人脸。抓手204的材质优选为弹性橡胶材质，可由多根弹性橡胶条组成，以分别固定于被摄人脑顶部、后部和侧部，以紧密固定被摄人脑，而不影响被摄人脸的拍摄。该弹性橡胶条的长度优选为5～15cm，可伸缩。

云台206用于调整抓手204的偏转角和俯仰角。云台206是抓手204的支撑装置，可以完成水平方向上-90°～+90°的偏转以及俯仰方向上-45°～+45°的偏转，其精度可达0.02°以内，旋转速度为1°/s～5°/s。

成像装置30用于拍摄偏转的被摄人脸，得到人脸偏转图像。一实施方式中，成像装置30包括至少两台摄像机302，其数量至少2台，要完成拍摄至少需要2台摄像机，摄像机如果更多的话可能有如下好处：降低误差；拍摄视野变得更为宽阔，为后续的人脸识别提供帮助。摄像机302与被摄人脸处于同一高度，为方便调整拍摄视野，相邻摄像机302之间的距离为1～100厘米，摄像机302的焦距为10～200厘米。具体地，多台摄像机302与被摄人脸处于同一高度，相邻摄像机302之间的距离相等并可以调整，相邻摄像机302之间的夹角相等并可以在0～90°的范围内进行调整，且多台摄像机302的光轴交汇于一点上。在人脸偏转图像的拍摄过程中，需要标定成像装置30，即摄像机302通过棋盘格标定方式拍摄5～40幅图像完成标定得到精确的标定参数，在另一实施例中，为减化拍摄过程，可采用默认的标定参数。在初始化模块106建立人脸坐标系的过程中，若成像装置30的摄像机302数量为奇数，则成像装置坐标系的Z轴是摆放在最中间位置摄像机302的光轴，若成像装置30的摄像机302数量为偶数，则成像装置坐标系的Z轴是摆放在最中间位置两台摄像机302光轴的角平分线。

图2示出了一实施例中人脸偏转图像获取的方法流程，包括如下步骤：

在步骤S10中，参数标定。一实施例中，通过棋盘格标定方式拍摄5～40幅图像，得到标定参数，或采用默认的标定参数。

在步骤S20中，标记特征点，由拍摄同一时刻视野中同一人脸，分别分割出人脸图像中的特征点，计算得到特征点在成像装置坐标系下的空间位置及法向向量，并计算法向向量与成像装置坐标系统Z轴的偏转角，将偏转角分解为左右偏转角以及上下俯仰角，使法向向量与Z轴平行，以建立人脸坐标系。一实施例中，通过两台摄像机在同一时刻拍摄视野中的被摄人脸，从而分别从两幅人脸图像中分割出特征点。成像装置坐标系是以摄像机光心连线的中点为原点，X轴与光心连线重合，Z轴与原点的光轴所在方向重合，并根据右手坐标系得到Y轴方向。所标记的特征点必须能够代表被摄人脸所在的平面，而不能受到人脸表情的影响，且易于识别。在优选的实施例中，特征点是手工标记于左眉根、右眉根以及鼻子与上唇连线中点上的三个直径小于2mm的红斑。分割人脸图像中的特征点的步骤具体是：首先通过“肤色模型”将图像变换到YC_bC_r空间，由于人脸图像在该YC_bC_r空间满足预设的范围，则根据该范围探测出被摄人脸的图像；然后将探测出的被摄人脸的图像变换到RGB空间中，R空间数值不大于240且G、B空间数值均小于10，此时特征点被标记出来。

在步骤S30中，拍摄偏转的被摄人脸，得到人脸偏转图像。一实施例中，拍摄偏转预设角度的被摄人脸，以得到各个偏转角度的人脸偏转图像。

如图3所示，下面结合一个实施例详细阐述人脸偏转图像获取系统及方法的应用过程，该实施例中，通过棋盘格标定方式来标定成像装置30，对摄像机302进行参数标定，即拍摄5～40幅人脸图像完成摄像机302的标定或者直接采用默认的标定参数。摄像机302标定后进入初始化阶段。在被摄人脸上标记出特征点，工作站10中的分割模块通过颜色分割出人脸图像中的特征点，初始化模块计算得到特征点在成像装置坐标系下的空间位置及法向向量，并计算该法向向量与成像装置坐标系Z轴的偏转角，将偏转角分解为左右方向上的偏转角以及上下方向上的俯仰角，使法向向量与Z轴平行，以建立人脸坐标系。工作站10接收外界输入的偏转指令，即设置被摄人脸的偏转角和俯仰角，采集模块接收到偏转指令后传送至云台控制器202中，云台控制器202根据偏转指令控制云台206偏转到相应的角度，抓手204固定于云台206上，随云台206转动，此时固定于抓手204中的被摄人脸通过云台206的偏转动作在人脸坐标系中也偏转了相应的角度，摄像机302拍摄得到相应偏转角度的人脸图像。

上述人脸偏转图像获取系统及方法通过偏转指令在偏转装置的作用下精确控制被摄人脸的偏转角度，从而可以获取各个角度的人脸图像，为未来的多姿态人脸识别奠定基础。

上述人脸偏转图像获取系统及方法通过弹性橡胶材质的抓手来固定被摄人脸，从而实现被摄人脸的精确偏转，且不影响拍摄。

上述人脸偏转图像获取系统及方法中设置相邻摄像机之间的距离为1～100CM，从而使得调整拍摄视野更为方便，使得被摄人脸在多个摄像机内都能够清晰并完整成像。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种人脸偏转图像获取系统，其特征在于，至少包括：

工作站，用于采集记录了已设置的被摄人脸偏转角和俯仰角的偏转指令，并对被摄人脸初始化以建立人脸坐标系；

所述工作站包括：

采集模块，用于接收偏转指令，该采集模块通过用户在人机交互界面所设置的被摄人脸偏转角和俯仰角得到偏转指令；

分割模块，用于通过颜色分割得到所述人脸图像中的特征点；

初始化模块，用于计算得到所述特征点在成像装置坐标系统下的空间位置及法向向量，并计算所述法向向量与成像装置坐标系Z轴的偏转角，将偏转角分解为左右偏转角以及上下俯仰角，使法向向量与Z轴平行，以建立人脸坐标系；

偏转装置，用于根据所述偏转指令控制并在所述人脸坐标系执行被摄人脸角度的偏转，使被摄人脸偏转设置的偏转角和俯仰角；

成像装置，用于拍摄偏转的被摄人脸，得到相应偏转角度的人脸偏转图像；

所述偏转装置包括：

云台控制器，用于根据所述偏转指令控制云台的角度；

抓手，用于固定被摄人脸；

云台，用于调整所述抓手的偏转角和俯仰角；

固定于所述抓手中的被摄人脸通过所述云台的偏转动作在人脸坐标系中偏转相应的角度；

所述成像装置包括至少两台摄像机，以通过至少两台摄像机建立人脸坐标系，所述摄像机与被摄人脸处于同一高度，若所述成像装置的摄像机数量为奇数，则所述成像装置坐标系的Z轴是摆放在最中间位置摄像机的光轴，若所述成像装置的摄像机数量为偶数，则所述成像装置坐标系的Z轴是摆放在最中间位置两台摄像机光轴的角平分线。

2.根据权利要求1所述的人脸偏转图像获取系统，其特征在于，所述工作站接收的偏转指令记录了已设置的被摄人脸偏转角和俯仰角。

3.根据权利要求1所述的人脸偏转图像获取系统，其特征在于，所述抓手是弹性橡胶材质。

4.根据权利要求1所述的人脸偏转图像获取系统，其特征在于，所述摄像机与被摄人脸处于同一高度，相邻摄像机之间的距离为1～100厘米，摄像机的焦距为10～200厘米。

5.根据权利要求1所述的人脸偏转图像获取系统，其特征在于，所述摄像机参数标定后，经工作站在成像装置坐标系进行人脸位置的初始化后在偏转装置的辅助下拍照，所述成像装置坐标系是以摄像机光心连线的中点为原点，X轴与光心连线重合，Z轴与原点的光轴所在方向重合，并根据右手坐标系得到Y轴方向。

6.根据权利要求5所述的人脸偏转图像获取系统，其特征在于，所述摄像机的参数标定是通过棋盘格标定方式拍摄5～40幅图像，得到标定参数，或采用默认的标定参数。

7.根据权利要求5所述的人脸偏转图像获取系统，其特征在于，所述摄像机人脸位置的初始化是标记特征点后由两台摄像机拍摄同一时刻视野中同一人脸。

8.根据权利要求7所述的人脸偏转图像获取系统，其特征在于，所述标记特征点是指用三个直径小于2mm的红斑分别标记左眉根、右眉根以及鼻子与上唇连接线中点。

9.一种人脸偏转图像获取方法，包括如下步骤：

参数标定；

标记特征点，由拍摄同一时刻视野中同一人脸，分别分割出人脸图像中的特征点，计算得到所述特征点在成像装置坐标系下的空间位置及法向向量，并计算所述法向向量与成像装置坐标系Z轴的偏转角，将偏转角分解为左右偏转角以及上下俯仰角，使法向向量与Z轴平行，以建立人脸坐标系；

接收外界输入的偏转指令，即设置被摄人脸的偏转角和俯仰角；

根据偏转指令使被摄人脸通过偏转动作在人脸坐标系中也偏转相应的角度，使被摄人脸偏转设置的偏转角和俯仰角；

云台控制器根据所述偏转指令控制云台的角度；抓手固定被摄人脸调整所述抓手的偏转角和俯仰角，使固定于抓手中的被摄人脸通过云台的偏转动作在人脸坐标系中偏转了相应的角度；

拍摄偏转的被摄人脸，得到相应偏转角度的人脸偏转图像；

通过至少两台摄像机建立人脸坐标，所述摄像机与被摄人脸处于同一高度，若所述成像装置的摄像机数量为奇数，则所述成像装置坐标系的Z轴是摆放在最中间位置摄像机的光轴，若所述成像装置的摄像机数量为偶数，则所述成像装置坐标系的Z轴是摆放在最中间位置两台摄像机光轴的角平分线。

10.根据权利要求9所述的人脸偏转图像获取方法，其特征在于，所述参数标定的过程是：

通过棋盘格标定方式拍摄5～40幅图像，得到标定参数，或采用默认的标定参数。

11.根据权利要求9所述的人脸偏转图像获取方法，其特征在于，所述成像装置坐标系是以摄像机光心连线的中点为原点，X轴与光心连线重合，Z轴与原点的光轴所在方向重合，并根据右手坐标系得到Y轴方向。

12.根据权利要求9所述的人脸偏转图像获取方法，其特征在于，所述标记特征点的过程是：

用三个直径小于2mm的红斑分别标记左眉根、右眉根以及鼻子与上唇连接线中点，并通过颜色分割出所标记的红斑。