CN104794728A - 由多幅图像重构人脸实时三维数据的方法 - Google Patents

Abstract

本发明公开了一种由多幅图像重构人脸实时三维数据的方法，包括以下步骤：搭建包括8个相机的拍照系统；多相机标定；图像匹配，包括：图像分组，计算第i组图像的全局匹配点，计算第i组图像的精确匹配点；由匹配点及相机的投影矩阵计算人脸三维坐标：物点在第i组的3幅图像上成像，3条投影线的交点即为该物点，以此完成人脸实时三维数据的重构。本发明所得到的人脸数据是全局的，稠密的、实时的，可直接使用，可广泛应用于动画产业、计算机3D游戏、人机交互、身份识别、医学虚拟手术、可视电话、人脸识别、人脸表情、年龄模拟、影视广告制作、计算机认知等领域。

Description

由多幅图像重构人脸实时三维数据的方法

技术领域

本发明涉及一种人脸三维重构方法，具体涉及一种由多幅图像重构人脸实时三维数据的方法。

背景技术

现有的人脸三维重构方法主要有弹性网格变形法和结构光扫描方法，这两种传统方法的技术方案和缺陷在于：

(1)弹性网格变形法：将从连续的视频图像序列中提取的信息作为动画系统的控制输入，跟踪表演者面部的各个特征点并将纹理映射到多边形模型上；具体做法为将反光球粘贴在人脸上跟踪人脸的运动，由脸部的几个关键点，通过数学建模的方法得到人脸的三维数据。这种方法的缺陷在于：缺乏脸部肌肉连续变化的真实感和纹理特征；在人脸上做标记，会让人产生不适，对标记的依赖性限制了从标记位置获取几何信息的范围；而且这种方法属于数学建模的方式，得到的三维数据并不是人脸真实的三维数据。

(2)光学扫描方法：采用光学扫描的方法获取人脸数据，扫描方法包括结构光扫描和激光扫描，这种方法建模精度高，可以获得和真实人脸数据。这种方法的缺陷在于：需要特殊的设备，且不管是结构光扫描还是激光扫描，获取某时刻人脸数据都需要一个过程，具体为向空间投射用于将视场划分的编码结构光需要一定的时间，也就是说，当人脸表情变化过快时，比如快速说话或者脸部肌肉快速运动时，扫描方式无法获得实时的人脸数据，所以，从原理上讲，该方法无法实现人脸表情的动态实时重构。

(3)从人脸图像或者人脸视频流中获取人脸数据：图像或视频流建模，其本质是以双目立体视觉为代表重建人脸三维。这种方法的缺陷在于：其最大难点为立体匹配，目前尚不成熟，从而导致建模精度无法得到保证。

发明内容

本发明的目的就在于为了解决上述问题而提供一种可以获得全局、实时、稠密的人脸数据的由多幅图像重构人脸实时三维数据的方法。

本发明通过以下技术方案来实现上述目的：

一种由多幅图像重构人脸实时三维数据的方法，包括以下步骤：

(1)搭建拍照系统：将8个编号依次为1、2、3、4、5、6、7、8的相机分布于人脸周围，其中，1、2号相机用于拍摄左边脸部；3号相机用于拍摄左边脸部和正面脸部的过渡部位；4、5号相机用于拍摄正面脸部；6号相机用于拍摄正面脸部和右边脸部的过渡部位；7、8号相机用于拍摄右边脸部；8个相机的信号输出端与处理器的信号输入端对应连接，处理器用于对获取的图像进行数据处理；

(2)多相机标定：即对8个相机的内外参数进行标定，包括以下步骤：

①相机分组：1、2、3号相机为一组，记为C1，4、5、6号相机为一组，记为C2，7、8号相机为一组，记为C3；

②定义8个相机视场范围为有效视场；

③在1、2、3号相机前随机位置放置标定板，1、2、3号相机同时采集视场中标定板图像；

④步骤③重复7次，得到7组图像，根据平板标定算法，计算1、2、3号相机的内外参数，由内外参数求得投影矩阵分别为P₁、P₂、P₃，外参数所在的世界坐标系为O₁x₁y₁z₁；

⑤在4、5、6号相机前随机位置摆放标定板，按照步骤③、④的方法，得到4、5、6号相机的内外参数，外参数所在的世界坐标系为O₂x₂y₂z₂；

⑥在7、8号相机前随机位置摆放标定板，按照步骤③、④的方法，得到7、8号相机的内外参数，外参数所在的世界坐标系为O₃x₃y₃z₃；

⑦在有效视场内，放置若干同心圆标记圆，通过三个以上的公共同心圆，将坐标系O₁x₁y₁z₁、O₂x₂y₂z₂、O₃x₃y₃z₃转换到统一的一个坐标系Oxyz下，完成相机标定；

(3)图像匹配：包括以下步骤：

A、图像分组：将由8个相机获取的8幅图像分为4组，每组包含三幅图像，具体为：1、2、3号相机对应图像为第1组图像；3、4、5号相机对应图像为第2组图像；5、6、7号相机对应图像为第3组图像；6、7、8号相机对应图像为第4组图像；下面对每一组图像中的三幅图像进行匹配；

B、计算第i组图像的全局匹配点，其中i＝1～4，第i组图像共包含三幅图像，分别定义为左、中、右图像，左、中图像组合为一组Clo1；中、右图像组合为一组Clo2；对Clo1、Clo2分别计算全局匹配点，包括以下步骤：

a、计算Clo1中两幅图像的光流；

b、将光流值转化为匹配值，即完成对Clo1中两幅图像的全局匹配点计算；

c、按步骤a、b计算Clo2中两幅图像的光流；

C、计算第i组图像的精确匹配点；

(4)由匹配点及相机的投影矩阵计算人脸三维坐标：物点在第i组的3幅图像上成像，3条投影线的交点即为该物点，以此完成人脸实时三维数据的重构。

优选地，所述步骤a包括以下步骤：

I、计算两幅图像的初始匹配点：

定义变量如下：假定两幅图像I₁,I₂，空间某点P在两幅图像上的成像点分别为p₁，q₁，其中p₁点的坐标为(i,j)，灰度值为I₁(i,j)，q₁点的坐标为(i+u,j+v)，灰度值为I₂(i+u,j+v)，(u,v)称为p₁点的光流值，假定空间同一点在不同像面上的灰度值相等，即满足如下的等式：

E＝λE_data(u,v)+E_smooth(u,v)

其中，

E_data(u,v)＝r(u,v)²＝||I₁(i,j)-I₂(i+u,j+v)||²，

E_smooth(u,v)＝||▽u||+||▽v||，

通过求解，便可以得到所有的光流值；

II、用可信的匹配点修正初匹配中误差较大的匹配点，包括以下步骤：

(I)确定离散的种子点：方法如下：在小阈值下，计算两幅图像的SIFT匹配点Q1；由所计算的SIFT匹配点，计算两幅图像的基本矩阵F；在大阈值下，计算两幅图像的SIFT匹配点Q2；由基本矩阵所提供的极线约束，去除Q2中误差较大的点，剩余的点即为可信的离散匹配点；

(II)由离散可信光流点确定误差较大的光流区域：令在金字塔的第n层，存在t个sift匹配点，即有t个可信光流，记为由第n-1层估计的所有像素光流值记为w，w中并非每个像素的光流值都需要校正，仅对光流误差较大的像素点进行校正；对于第j个匹配点p，由第n-1层估计的光流值为w_pj，可信光流值为如果T为设定的阈值，可取1，则表明由第n-1层图像估计的光流和真实光流值接近，为可信光流，此时，对p点光流不做校正，即不作为光流校正的种子点，如果则表明由上层图像估计的光流值误差已超过一个像素，似为不可信光流，需要进行校正，保存为校正种子点；经过如上的筛选后，确定了有用的m(m<＝t)个可信光流，将其对应的像素作为区域增长校正的初始种子点，每个可信光流对应的图像分割区域即为需要校正的光流区域；

(III)由可信光流指导的区域增长光流校正：

首先，确定邻域像素的光流增长量：设种子点对为p和q；p和q所在的图像子区域为Ω_p和Ω_q，找出Ω_p和Ω_q最小内接四边形，记为Ω′_p，Ω′_q，Ω′_p，Ω′_q确定方法为：p和q为种子点，计算Ω_p中边界元素距离p的距离，并找出最短的距离，记为d₁，同理计算Ω_q中边界元素距离q的距离，并找出最短的距离，记为d₂，令d＝d₁，如果d₂＜d₁，则d＝d₂，以p和q为中心点，取d×d大小的窗口，记为Ω′_p，Ω′_q；计算Ω′_p，Ω′_q对应的光流，其方法为：将Ω′_p，Ω′_q视为两幅子图像，仍采用变分光流计算方法，在计算时，不再对图像进行金字塔分层，直接按最高分辨率进行计算，光流初始值为0，所计算的光流值记为w_s＝(u_s,v_s)，w_s＝(u_s,v_s)中每个点光流减去种子点所在光流即为δu和δv；

然后，确定区域增长停止条件：由p点开始，在Ω′_p范围内，对其8邻域的光流进行校正，p的周边8个邻域记为p_i,i＝1...8，通过w_s判断p_i是否为运动的边界，如果Δw_si＝w_si-w_p，Δw_si≤ε，则认为p_i和p是属于同一平滑区域，对p_i进行校正，w_pi′＝w_p+Δw_si，其中w_p为种子光流；反之，可能处于运动的边界，运动边界即为区域增长停止的条件。

优选地，所述步骤C的方法为：用第i组图像的三幅图像之间的几何约束关系，去除误差较大的匹配点，得到精确匹配点，两幅图像之间存在一对对极几何关系，三幅图像时，存在3组两两对极几何关系，设三幅图像对应光心分别为C₁，C₂，C₃，空间点X在三幅图像上的投影分别为x₁，x₂，x₃，x₁在第二幅图像上对应的极线为l₁，在第三幅图像上对应的极线为l₂；假定x₃和x₁是真实的匹配点，如果x₂和x₁也是真实的匹配点，则x₁在第三幅图像上的极线l₃与l₂的交点必为x₃；反之，如果交点不是x₃，则x₂不是x₁的匹配点。

本发明的有益效果在于：

本发明与传统人脸数据重建相比，其优点在于：

1、同弹性网格变形法相比：本发明所得到的人脸数据是全局的，稠密的，可直接使用，无需再进行建模；

2、同光学扫描技术相比，本发明所提出的方法可以采集到实时的人脸图像，进而得到人脸实时的三维数据；理论上，可以达到视频流的帧率，即每秒24帧，这是光学扫描无法获得的；

3、同采用双目立体视觉的人脸重建技术相比，本发明采用8个相机阵列，可以覆盖360度人脸范围，不会有数据的遗漏；同时，由于有更多的图像信息，可以获得比双目立体人脸重建更稠密的人脸三维数据，人脸表情细节更加丰富。

本发明可广泛应用于动画产业、计算机3D游戏、人机交互、身份识别、医学虚拟手术、可视电话、人脸识别、人脸表情、年龄模拟、影视广告制作、计算机认知等领域。

附图说明

图1是本发明所述由多幅图像重构人脸实时三维数据的方法采用的拍照系统的示意图；

图2是本发明所述拍照系统中每个相机在各自局部坐标系下示意图；

图3是本发明所述拍照系统中8个相机坐标系统一示意图；

图4为本发明所述种子点p和其所在的图像子区域Ω_p的示意图；

图5为本发明所述种子点q和其所在的图像子区域Ω_q的示意图；

图6为本发明所述种子点p、其所在的图像子区域Ω_p和Ω_p的最小内接四边形Ω′_p的示意图；

图7为本发明所述种子点q、其所在的图像子区域Ω_q和Ω_q的最小内接四边形Ω′_q的示意图；

图8为本发明所述p点的邻域方格图；

图9为本发明所述种子点p、其所在的图像子区域Ω_p、Ω_p的最小内接四边形Ω′_p及校正的区域Ω″_p的示意图；

图10为本发明所述物点P在各自对应三幅图像上成像的几何网络图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，本发明所述由多幅图像重构人脸实时三维数据的方法，包括以下步骤：

(1)搭建拍照系统：如图1所示，将8个编号依次为1、2、3、4、5、6、7、8的相机分布于人脸周围，其中，1、2号相机用于拍摄左边脸部；3号相机用于拍摄左边脸部和正面脸部的过渡部位；4、5号相机用于拍摄正面脸部；6号相机用于拍摄正面脸部和右边脸部的过渡部位；7、8号相机用于拍摄右边脸部；8个相机的信号输出端与处理器的信号输入端对应连接，处理器用于对获取的图像进行数据处理；

(2)多相机标定：即对8个相机的内外参数进行标定，包括以下步骤：

①相机分组：1、2、3号相机为一组，记为C1，4、5、6号相机为一组，记为C2，7、8号相机为一组，记为C3；

②定义8个相机视场范围为有效视场；

③在1、2、3号相机前随机位置放置标定板，1、2、3号相机同时采集视场中标定板图像；

④步骤③重复7次，得到7组图像，根据平板标定算法，计算1、2、3号相机的内外参数，由内外参数求得投影矩阵分别为P₁、P₂、P₃，外参数所在的世界坐标系为O₁x₁y₁z₁，如图2所示；

⑤在4、5、6号相机前随机位置摆放标定板，按照步骤③、④的方法，得到4、5、6号相机的内外参数，外参数所在的世界坐标系为O₂x₂y₂z₂，如图2所示；

⑥在7、8号相机前随机位置摆放标定板，按照步骤③、④的方法，得到7、8号相机的内外参数，外参数所在的世界坐标系为O₃x₃y₃z₃，如图2所示；

⑦在有效视场内，放置若干同心圆标记圆，通过三个以上的公共同心圆，将坐标系O₁x₁y₁z₁、O₂x₂y₂z₂、O₃x₃y₃z₃转换到统一的一个坐标系Oxyz下，如图3所示，完成相机标定；

(3)图像匹配：包括以下步骤：

A、图像分组：将由8个相机获取的8幅图像分为4组，每组包含三幅图像，具体为：1、2、3号相机对应图像为第1组图像；3、4、5号相机对应图像为第2组图像；5、6、7号相机对应图像为第3组图像；6、7、8号相机对应图像为第4组图像；下面对每一组图像中的三幅图像进行匹配；

B、计算第i组图像的全局匹配点，其中i＝1～4，第i组图像共包含三幅图像，分别定义为左、中、右图像，左、中图像组合为一组Clo1；中、右图像组合为一组Clo2；对Clo1、Clo2分别计算全局匹配点，包括以下步骤：

a、计算Clo1中两幅图像的光流，步骤a包括以下步骤：

I、计算两幅图像的初始匹配点：

定义变量如下：假定两幅图像I₁,I₂，空间某点P在两幅图像上的成像点分别为p₁，q₁，其中p₁点的坐标为(i,j)，灰度值为I₁(i,j)，q₁点的坐标为(i+u,j+v)，灰度值为I₂(i+u,j+v)，(u,v)称为p₁点的光流值，假定空间同一点在不同像面上的灰度值相等，即满足如下的等式：

E＝λE_data(u,v)+E_smooth(u,v)

其中，

E_data(u,v)＝r(u,v)²＝||I₁(i,j)-I₂(i+u,j+v)||²，

E_smooth(u,v)＝||▽u||+||▽v||，

通过求解，便可以得到所有的光流值；

II、用可信的匹配点修正初匹配中误差较大的匹配点，包括以下步骤：

(I)确定离散的种子点：方法如下：在小阈值下，计算两幅图像的SIFT匹配点Q1；由所计算的SIFT匹配点，计算两幅图像的基本矩阵F；在大阈值下，计算两幅图像的SIFT匹配点Q2；由基本矩阵所提供的极线约束，去除Q2中误差较大的点，剩余的点即为可信的离散匹配点；

(II)由离散可信光流点确定误差较大的光流区域：令在金字塔的第n层，存在t个sift匹配点，即有t个可信光流，记为由第n-1层估计的所有像素光流值记为w，w中并非每个像素的光流值都需要校正，仅对光流误差较大的像素点进行校正；对于第j个匹配点p，由第n-1层估计的光流值为w_pj，可信光流值为如果T为设定的阈值，可取1，则表明由第n-1层图像估计的光流和真实光流值接近，为可信光流，此时，对p点光流不做校正，即不作为光流校正的种子点，如果则表明由上层图像估计的光流值误差已超过一个像素，似为不可信光流，需要进行校正，保存为校正种子点；经过如上的筛选后，确定了有用的m(m<＝t)个可信光流，将其对应的像素作为区域增长校正的初始种子点，每个可信光流对应的图像分割区域即为需要校正的光流区域；

(III)由可信光流指导的区域增长光流校正：

如图4-图9所示，首先，确定邻域像素的光流增长量：设种子点对为p和q；p和q所在的图像子区域为Ω_p和Ω_q，找出Ω_p和Ω_q最小内接四边形，记为Ω′_p，Ω′_q，Ω′_p，Ω′_q确定方法为：p和q为种子点，计算Ω_p中边界元素距离p的距离，并找出最短的距离，记为d₁，同理计算Ω_q中边界元素距离q的距离，并找出最短的距离，记为d₂，令d＝d₁，如果d₂＜d₁，则d＝d₂，以p和q为中心点，取d×d大小的窗口，记为Ω′_p，Ω′_q；计算Ω′_p，Ω′_q对应的光流，其方法为：将Ω′_p，Ω′_q视为两幅子图像，仍采用变分光流计算方法，在计算时，不再对图像进行金字塔分层，直接按最高分辨率进行计算，光流初始值为0，所计算的光流值记为w_s＝(u_s,v_s)_，w_s＝(u_s,v_s)中每个点光流减去种子点所在光流即为δu和δv；

然后，确定区域增长停止条件：由p点开始，在Ω′_p范围内，对其8邻域的光流进行校正，p的周边8个邻域记为p_i,i＝1...8，通过w_s判断p_i是否为运动的边界，如果Δw_si＝w_si-w_p，Δw_si≤ε，则认为p_i和p是属于同一平滑区域，对p_i进行校正，w_pi′＝w_p+Δw_si，其中w_p为种子光流；反之，可能处于运动的边界，运动边界即为区域增长停止的条件，图9中的Ω″_p即为进行校正的区域；

b、将光流值转化为匹配值，即完成对Clo1中两幅图像的全局匹配点计算；

c、按步骤a、b计算Clo2中两幅图像的光流；

C、计算第i组图像的精确匹配点，其方法为：

用第i组图像的三幅图像之间的几何约束关系，去除误差较大的匹配点，得到精确匹配点，两幅图像之间存在一对对极几何关系，三幅图像时，存在3组两两对极几何关系，设三幅图像对应光心分别为C₁，C₂，C₃，空间点X在三幅图像上的投影分别为x₁，x₂，x₃，x₁在第二幅图像上对应的极线为l₁，在第三幅图像上对应的极线为l₂；假定x₃和x₁是真实的匹配点，如果x₂和x₁也是真实的匹配点，则x₁在第三幅图像上的极线l₃与l₂的交点必为x₃；反之，如果交点不是x₃，则x₂不是x₁的匹配点；

(4)由匹配点及相机的投影矩阵计算人脸三维坐标：如图10所示，物点在第i组的3幅图像上成像，3条投影线的交点即为该物点，以此完成人脸实时三维数据的重构。

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

Claims (3)

1.一种由多幅图像重构人脸实时三维数据的方法，其特征在于：包括以下步骤：

(1)搭建拍照系统：将8个编号依次为1、2、3、4、5、6、7、8的相机分布于人脸周围，其中，1、2号相机用于拍摄左边脸部；3号相机用于拍摄左边脸部和正面脸部的过渡部位；4、5号相机用于拍摄正面脸部；6号相机用于拍摄正面脸部和右边脸部的过渡部位；7、8号相机用于拍摄右边脸部；8个相机的信号输出端与处理器的信号输入端对应连接，处理器用于对获取的图像进行数据处理；

(2)多相机标定：即对8个相机的内外参数进行标定，包括以下步骤：

①相机分组：1、2、3号相机为一组，记为C1，4、5、6号相机为一组，记为C2，7、8号相机为一组，记为C3；

②定义8个相机视场范围为有效视场；

③在1、2、3号相机前随机位置放置标定板，1、2、3号相机同时采集视场中标定板图像；

④步骤③重复7次，得到7组图像，根据平板标定算法，计算1、2、3号相机的内外参数，由内外参数求得投影矩阵分别为P₁、P₂、P₃，外参数所在的世界坐标系为O₁x₁y₁z₁；

⑤在4、5、6号相机前随机位置摆放标定板，按照步骤③、④的方法，得到4、5、6号相机的内外参数，外参数所在的世界坐标系为O₂x₂y₂z₂；

⑥在7、8号相机前随机位置摆放标定板，按照步骤③、④的方法，得到7、8号相机的内外参数，外参数所在的世界坐标系为O₃x₃y₃z₃；

⑦在有效视场内，放置若干同心圆标记圆，通过三个以上的公共同心圆，将坐标系O₁x₁y₁z₁、O₂x₂y₂z₂、O₃x₃y₃z₃转换到统一的一个坐标系Oxyz下，完成相机标定；

(3)图像匹配：包括以下步骤：

A、图像分组：将由8个相机获取的8幅图像分为4组，每组包含三幅图像，具体为：1、2、3号相机对应图像为第1组图像；3、4、5号相机对应图像为第2组图像；5、6、7号相机对应图像为第3组图像；6、7、8号相机对应图像为第4组图像；下面对每一组图像中的三幅图像进行匹配；

B、计算第i组图像的全局匹配点，其中i＝1～4，第i组图像共包含三幅图像，分别定义为左、中、右图像，左、中图像组合为一组Clo1；中、右图像组合为一组Clo2；对Clo1、Clo2分别计算全局匹配点，包括以下步骤：

a、计算Clo1中两幅图像的光流；

b、将光流值转化为匹配值，即完成对Clo1中两幅图像的全局匹配点计算；

c、按步骤a、b计算Clo2中两幅图像的光流；

C、计算第i组图像的精确匹配点；

(4)由匹配点及相机的投影矩阵计算人脸三维坐标：物点在第i组的3幅图像上成像，3条投影线的交点即为该物点，以此完成人脸实时三维数据的重构。

2.根据权利要求1所述的由多幅图像重构人脸实时三维数据的方法，其特征在于：所述步骤a包括以下步骤：

I、计算两幅图像的初始匹配点：

定义变量如下：假定两幅图像I₁,I₂，空间某点P在两幅图像上的成像点分别为p₁，q₁，其中p₁点的坐标为(i,j)，灰度值为I₁(i,j)，q₁点的坐标为(i+u,j+v)，灰度值为I₂(i+u,j+v)，(u,v)称为p₁点的光流值，假定空间同一点在不同像面上的灰度值相等，即满足如下的等式：

E＝λE_data(u,v)+E_smooth(u,v)

其中，

E_data(u,v)＝r(u,v)²＝||I₁(i,j)-I₂(i+u,j+v)||²，

E_smooth(u,v)＝||▽u||+||▽v||，

通过求解，便可以得到所有的光流值；

II、用可信的匹配点修正初匹配中误差较大的匹配点，包括以下步骤：

(I)确定离散的种子点：方法如下：在小阈值下，计算两幅图像的SIFT匹配点Q1；由所计算的SIFT匹配点，计算两幅图像的基本矩阵F；在大阈值下，计算两幅图像的SIFT匹配点Q2；由基本矩阵所提供的极线约束，去除Q2中误差较大的点，剩余的点即为可信的离散匹配点；

(II)由离散可信光流点确定误差较大的光流区域：令在金字塔的第n层，存在t个sift匹配点，即有t个可信光流，记为由第n-1层估计的所有像素光流值记为w，w中并非每个像素的光流值都需要校正，仅对光流误差较大的像素点进行校正；对于第j个匹配点p，由第n-1层估计的光流值为w_pj，可信光流值为如果T为设定的阈值，可取1，则表明由第n-1层图像估计的光流和真实光流值接近，为可信光流，此时，对p点光流不做校正，即不作为光流校正的种子点，如果则表明由上层图像估计的光流值误差已超过一个像素，似为不可信光流，需要进行校正，保存为校正种子点；经过如上的筛选后，确定了有用的m(m<＝t)个可信光流，将其对应的像素作为区域增长校正的初始种子点，每个可信光流对应的图像分割区域即为需要校正的光流区域；

(III)由可信光流指导的区域增长光流校正：

首先，确定邻域像素的光流增长量：设种子点对为p和q；p和q所在的图像子区域为Ω_p和Ω_q，找出Ω_p和Ω_q最小内接四边形，记为Ω′_p，Ω′_q，Ω′_p，Ω′_q确定方法为：p和q为种子点，计算Ω_p中边界元素距离p的距离，并找出最短的距离，记为d₁，同理计算Ω_q中边界元素距离q的距离，并找出最短的距离，记为d₂，令d＝d₁，如果d₂＜d₁，则d＝d₂，以p和q为中心点，取d×d大小的窗口，记为Ω′_p，Ω′_q；计算Ω′_p，Ω′_q对应的光流，其方法为：将Ω′_p，Ω′_q视为两幅子图像，仍采用变分光流计算方法，在计算时，不再对图像进行金字塔分层，直接按最高分辨率进行计算，光流初始值为0，所计算的光流值记为w_s＝(u_s,v_s)，w_s＝(u_s,v_s)中每个点光流减去种子点所在光流即为δu和δv；

然后，确定区域增长停止条件：由p点开始，在Ω′_p范围内，对其8邻域的光流进行校正，p的周边8个邻域记为p_i,i＝1...8，通过w_s判断p_i是否为运动的边界，如果Δw_si＝w_si-w_p，Δw_si≤ε，则认为p_i和p是属于同一平滑区域，对p_i进行校正，w_pi′＝w_p+Δw_si，其中w_p为种子光流；反之，可能处于运动的边界，运动边界即为区域增长停止的条件。

3.根据权利要求1或2所述的由多幅图像重构人脸实时三维数据的方法，其特征在于：所述步骤C的方法为：用第i组图像的三幅图像之间的几何约束关系，去除误差较大的匹配点，得到精确匹配点，两幅图像之间存在一对对极几何关系，三幅图像时，存在3组两两对极几何关系，设三幅图像对应光心分别为C₁，C₂，C₃，空间点X在三幅图像上的投影分别为x₁，x₂，x₃，x₁在第二幅图像上对应的极线为l₁，在第三幅图像上对应的极线为l₂；假定x₃和x₁是真实的匹配点，如果x₂和x₁也是真实的匹配点，则x₁在第三幅图像上的极线l₃与l₂的交点必为x₃；反之，如果交点不是x₃，则x₂不是x₁的匹配点。