CN104794728A - 由多幅图像重构人脸实时三维数据的方法 - Google Patents
由多幅图像重构人脸实时三维数据的方法 Download PDFInfo
- Publication number
- CN104794728A CN104794728A CN201510223894.5A CN201510223894A CN104794728A CN 104794728 A CN104794728 A CN 104794728A CN 201510223894 A CN201510223894 A CN 201510223894A CN 104794728 A CN104794728 A CN 104794728A
- Authority
- CN
- China
- Prior art keywords
- image
- light stream
- point
- cameras
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种由多幅图像重构人脸实时三维数据的方法,包括以下步骤:搭建包括8个相机的拍照系统;多相机标定;图像匹配,包括:图像分组,计算第i组图像的全局匹配点,计算第i组图像的精确匹配点;由匹配点及相机的投影矩阵计算人脸三维坐标:物点在第i组的3幅图像上成像,3条投影线的交点即为该物点,以此完成人脸实时三维数据的重构。本发明所得到的人脸数据是全局的,稠密的、实时的,可直接使用,可广泛应用于动画产业、计算机3D游戏、人机交互、身份识别、医学虚拟手术、可视电话、人脸识别、人脸表情、年龄模拟、影视广告制作、计算机认知等领域。
Description
技术领域
本发明涉及一种人脸三维重构方法,具体涉及一种由多幅图像重构人脸实时三维数据的方法。
背景技术
现有的人脸三维重构方法主要有弹性网格变形法和结构光扫描方法,这两种传统方法的技术方案和缺陷在于:
(1)弹性网格变形法:将从连续的视频图像序列中提取的信息作为动画系统的控制输入,跟踪表演者面部的各个特征点并将纹理映射到多边形模型上;具体做法为将反光球粘贴在人脸上跟踪人脸的运动,由脸部的几个关键点,通过数学建模的方法得到人脸的三维数据。这种方法的缺陷在于:缺乏脸部肌肉连续变化的真实感和纹理特征;在人脸上做标记,会让人产生不适,对标记的依赖性限制了从标记位置获取几何信息的范围;而且这种方法属于数学建模的方式,得到的三维数据并不是人脸真实的三维数据。
(2)光学扫描方法:采用光学扫描的方法获取人脸数据,扫描方法包括结构光扫描和激光扫描,这种方法建模精度高,可以获得和真实人脸数据。这种方法的缺陷在于:需要特殊的设备,且不管是结构光扫描还是激光扫描,获取某时刻人脸数据都需要一个过程,具体为向空间投射用于将视场划分的编码结构光需要一定的时间,也就是说,当人脸表情变化过快时,比如快速说话或者脸部肌肉快速运动时,扫描方式无法获得实时的人脸数据,所以,从原理上讲,该方法无法实现人脸表情的动态实时重构。
(3)从人脸图像或者人脸视频流中获取人脸数据:图像或视频流建模,其本质是以双目立体视觉为代表重建人脸三维。这种方法的缺陷在于:其最大难点为立体匹配,目前尚不成熟,从而导致建模精度无法得到保证。
发明内容
本发明的目的就在于为了解决上述问题而提供一种可以获得全局、实时、稠密的人脸数据的由多幅图像重构人脸实时三维数据的方法。
本发明通过以下技术方案来实现上述目的:
一种由多幅图像重构人脸实时三维数据的方法,包括以下步骤:
(1)搭建拍照系统:将8个编号依次为1、2、3、4、5、6、7、8的相机分布于人脸周围,其中,1、2号相机用于拍摄左边脸部;3号相机用于拍摄左边脸部和正面脸部的过渡部位;4、5号相机用于拍摄正面脸部;6号相机用于拍摄正面脸部和右边脸部的过渡部位;7、8号相机用于拍摄右边脸部;8个相机的信号输出端与处理器的信号输入端对应连接,处理器用于对获取的图像进行数据处理;
(2)多相机标定:即对8个相机的内外参数进行标定,包括以下步骤:
①相机分组:1、2、3号相机为一组,记为C1,4、5、6号相机为一组,记为C2,7、8号相机为一组,记为C3;
②定义8个相机视场范围为有效视场;
③在1、2、3号相机前随机位置放置标定板,1、2、3号相机同时采集视场中标定板图像;
④步骤③重复7次,得到7组图像,根据平板标定算法,计算1、2、3号相机的内外参数,由内外参数求得投影矩阵分别为P1、P2、P3,外参数所在的世界坐标系为O1x1y1z1;
⑤在4、5、6号相机前随机位置摆放标定板,按照步骤③、④的方法,得到4、5、6号相机的内外参数,外参数所在的世界坐标系为O2x2y2z2;
⑥在7、8号相机前随机位置摆放标定板,按照步骤③、④的方法,得到7、8号相机的内外参数,外参数所在的世界坐标系为O3x3y3z3;
⑦在有效视场内,放置若干同心圆标记圆,通过三个以上的公共同心圆,将坐标系O1x1y1z1、O2x2y2z2、O3x3y3z3转换到统一的一个坐标系Oxyz下,完成相机标定;
(3)图像匹配:包括以下步骤:
A、图像分组:将由8个相机获取的8幅图像分为4组,每组包含三幅图像,具体为:1、2、3号相机对应图像为第1组图像;3、4、5号相机对应图像为第2组图像;5、6、7号相机对应图像为第3组图像;6、7、8号相机对应图像为第4组图像;下面对每一组图像中的三幅图像进行匹配;
B、计算第i组图像的全局匹配点,其中i=1~4,第i组图像共包含三幅图像,分别定义为左、中、右图像,左、中图像组合为一组Clo1;中、右图像组合为一组Clo2;对Clo1、Clo2分别计算全局匹配点,包括以下步骤:
a、计算Clo1中两幅图像的光流;
b、将光流值转化为匹配值,即完成对Clo1中两幅图像的全局匹配点计算;
c、按步骤a、b计算Clo2中两幅图像的光流;
C、计算第i组图像的精确匹配点;
(4)由匹配点及相机的投影矩阵计算人脸三维坐标:物点在第i组的3幅图像上成像,3条投影线的交点即为该物点,以此完成人脸实时三维数据的重构。
优选地,所述步骤a包括以下步骤:
I、计算两幅图像的初始匹配点:
定义变量如下:假定两幅图像I1,I2,空间某点P在两幅图像上的成像点分别为p1,q1,其中p1点的坐标为(i,j),灰度值为I1(i,j),q1点的坐标为(i+u,j+v),灰度值为I2(i+u,j+v),(u,v)称为p1点的光流值,假定空间同一点在不同像面上的灰度值相等,即满足如下的等式:
E=λEdata(u,v)+Esmooth(u,v)
其中,
Edata(u,v)=r(u,v)2=||I1(i,j)-I2(i+u,j+v)||2,
Esmooth(u,v)=||▽u||+||▽v||,
通过求解,便可以得到所有的光流值;
II、用可信的匹配点修正初匹配中误差较大的匹配点,包括以下步骤:
(I)确定离散的种子点:方法如下:在小阈值下,计算两幅图像的SIFT匹配点Q1;由所计算的SIFT匹配点,计算两幅图像的基本矩阵F;在大阈值下,计算两幅图像的SIFT匹配点Q2;由基本矩阵所提供的极线约束,去除Q2中误差较大的点,剩余的点即为可信的离散匹配点;
(II)由离散可信光流点确定误差较大的光流区域:令在金字塔的第n层,存在t个sift匹配点,即有t个可信光流,记为由第n-1层估计的所有像素光流值记为w,w中并非每个像素的光流值都需要校正,仅对光流误差较大的像素点进行校正;对于第j个匹配点p,由第n-1层估计的光流值为wpj,可信光流值为如果T为设定的阈值,可取1,则表明由第n-1层图像估计的光流和真实光流值接近,为可信光流,此时,对p点光流不做校正,即不作为光流校正的种子点,如果则表明由上层图像估计的光流值误差已超过一个像素,似为不可信光流,需要进行校正,保存为校正种子点;经过如上的筛选后,确定了有用的m(m<=t)个可信光流,将其对应的像素作为区域增长校正的初始种子点,每个可信光流对应的图像分割区域即为需要校正的光流区域;
(III)由可信光流指导的区域增长光流校正:
首先,确定邻域像素的光流增长量:设种子点对为p和q;p和q所在的图像子区域为Ωp和Ωq,找出Ωp和Ωq最小内接四边形,记为Ω′p,Ω′q,Ω′p,Ω′q确定方法为:p和q为种子点,计算Ωp中边界元素距离p的距离,并找出最短的距离,记为d1,同理计算Ωq中边界元素距离q的距离,并找出最短的距离,记为d2,令d=d1,如果d2<d1,则d=d2,以p和q为中心点,取d×d大小的窗口,记为Ω′p,Ω′q;计算Ω′p,Ω′q对应的光流,其方法为:将Ω′p,Ω′q视为两幅子图像,仍采用变分光流计算方法,在计算时,不再对图像进行金字塔分层,直接按最高分辨率进行计算,光流初始值为0,所计算的光流值记为ws=(us,vs),ws=(us,vs)中每个点光流减去种子点所在光流即为δu和δv;
然后,确定区域增长停止条件:由p点开始,在Ω′p范围内,对其8邻域的光流进行校正,p的周边8个邻域记为pi,i=1...8,通过ws判断pi是否为运动的边界,如果Δwsi=wsi-wp,Δwsi≤ε,则认为pi和p是属于同一平滑区域,对pi进行校正,wpi′=wp+Δwsi,其中wp为种子光流;反之,可能处于运动的边界,运动边界即为区域增长停止的条件。
优选地,所述步骤C的方法为:用第i组图像的三幅图像之间的几何约束关系,去除误差较大的匹配点,得到精确匹配点,两幅图像之间存在一对对极几何关系,三幅图像时,存在3组两两对极几何关系,设三幅图像对应光心分别为C1,C2,C3,空间点X在三幅图像上的投影分别为x1,x2,x3,x1在第二幅图像上对应的极线为l1,在第三幅图像上对应的极线为l2;假定x3和x1是真实的匹配点,如果x2和x1也是真实的匹配点,则x1在第三幅图像上的极线l3与l2的交点必为x3;反之,如果交点不是x3,则x2不是x1的匹配点。
本发明的有益效果在于:
本发明与传统人脸数据重建相比,其优点在于:
1、同弹性网格变形法相比:本发明所得到的人脸数据是全局的,稠密的,可直接使用,无需再进行建模;
2、同光学扫描技术相比,本发明所提出的方法可以采集到实时的人脸图像,进而得到人脸实时的三维数据;理论上,可以达到视频流的帧率,即每秒24帧,这是光学扫描无法获得的;
3、同采用双目立体视觉的人脸重建技术相比,本发明采用8个相机阵列,可以覆盖360度人脸范围,不会有数据的遗漏;同时,由于有更多的图像信息,可以获得比双目立体人脸重建更稠密的人脸三维数据,人脸表情细节更加丰富。
本发明可广泛应用于动画产业、计算机3D游戏、人机交互、身份识别、医学虚拟手术、可视电话、人脸识别、人脸表情、年龄模拟、影视广告制作、计算机认知等领域。
附图说明
图1是本发明所述由多幅图像重构人脸实时三维数据的方法采用的拍照系统的示意图;
图2是本发明所述拍照系统中每个相机在各自局部坐标系下示意图;
图3是本发明所述拍照系统中8个相机坐标系统一示意图;
图4为本发明所述种子点p和其所在的图像子区域Ωp的示意图;
图5为本发明所述种子点q和其所在的图像子区域Ωq的示意图;
图6为本发明所述种子点p、其所在的图像子区域Ωp和Ωp的最小内接四边形Ω′p的示意图;
图7为本发明所述种子点q、其所在的图像子区域Ωq和Ωq的最小内接四边形Ω′q的示意图;
图8为本发明所述p点的邻域方格图;
图9为本发明所述种子点p、其所在的图像子区域Ωp、Ωp的最小内接四边形Ω′p及校正的区域Ω″p的示意图;
图10为本发明所述物点P在各自对应三幅图像上成像的几何网络图。
具体实施方式
下面结合附图对本发明作进一步说明:
如图1所示,本发明所述由多幅图像重构人脸实时三维数据的方法,包括以下步骤:
(1)搭建拍照系统:如图1所示,将8个编号依次为1、2、3、4、5、6、7、8的相机分布于人脸周围,其中,1、2号相机用于拍摄左边脸部;3号相机用于拍摄左边脸部和正面脸部的过渡部位;4、5号相机用于拍摄正面脸部;6号相机用于拍摄正面脸部和右边脸部的过渡部位;7、8号相机用于拍摄右边脸部;8个相机的信号输出端与处理器的信号输入端对应连接,处理器用于对获取的图像进行数据处理;
(2)多相机标定:即对8个相机的内外参数进行标定,包括以下步骤:
①相机分组:1、2、3号相机为一组,记为C1,4、5、6号相机为一组,记为C2,7、8号相机为一组,记为C3;
②定义8个相机视场范围为有效视场;
③在1、2、3号相机前随机位置放置标定板,1、2、3号相机同时采集视场中标定板图像;
④步骤③重复7次,得到7组图像,根据平板标定算法,计算1、2、3号相机的内外参数,由内外参数求得投影矩阵分别为P1、P2、P3,外参数所在的世界坐标系为O1x1y1z1,如图2所示;
⑤在4、5、6号相机前随机位置摆放标定板,按照步骤③、④的方法,得到4、5、6号相机的内外参数,外参数所在的世界坐标系为O2x2y2z2,如图2所示;
⑥在7、8号相机前随机位置摆放标定板,按照步骤③、④的方法,得到7、8号相机的内外参数,外参数所在的世界坐标系为O3x3y3z3,如图2所示;
⑦在有效视场内,放置若干同心圆标记圆,通过三个以上的公共同心圆,将坐标系O1x1y1z1、O2x2y2z2、O3x3y3z3转换到统一的一个坐标系Oxyz下,如图3所示,完成相机标定;
(3)图像匹配:包括以下步骤:
A、图像分组:将由8个相机获取的8幅图像分为4组,每组包含三幅图像,具体为:1、2、3号相机对应图像为第1组图像;3、4、5号相机对应图像为第2组图像;5、6、7号相机对应图像为第3组图像;6、7、8号相机对应图像为第4组图像;下面对每一组图像中的三幅图像进行匹配;
B、计算第i组图像的全局匹配点,其中i=1~4,第i组图像共包含三幅图像,分别定义为左、中、右图像,左、中图像组合为一组Clo1;中、右图像组合为一组Clo2;对Clo1、Clo2分别计算全局匹配点,包括以下步骤:
a、计算Clo1中两幅图像的光流,步骤a包括以下步骤:
I、计算两幅图像的初始匹配点:
定义变量如下:假定两幅图像I1,I2,空间某点P在两幅图像上的成像点分别为p1,q1,其中p1点的坐标为(i,j),灰度值为I1(i,j),q1点的坐标为(i+u,j+v),灰度值为I2(i+u,j+v),(u,v)称为p1点的光流值,假定空间同一点在不同像面上的灰度值相等,即满足如下的等式:
E=λEdata(u,v)+Esmooth(u,v)
其中,
Edata(u,v)=r(u,v)2=||I1(i,j)-I2(i+u,j+v)||2,
Esmooth(u,v)=||▽u||+||▽v||,
通过求解,便可以得到所有的光流值;
II、用可信的匹配点修正初匹配中误差较大的匹配点,包括以下步骤:
(I)确定离散的种子点:方法如下:在小阈值下,计算两幅图像的SIFT匹配点Q1;由所计算的SIFT匹配点,计算两幅图像的基本矩阵F;在大阈值下,计算两幅图像的SIFT匹配点Q2;由基本矩阵所提供的极线约束,去除Q2中误差较大的点,剩余的点即为可信的离散匹配点;
(II)由离散可信光流点确定误差较大的光流区域:令在金字塔的第n层,存在t个sift匹配点,即有t个可信光流,记为由第n-1层估计的所有像素光流值记为w,w中并非每个像素的光流值都需要校正,仅对光流误差较大的像素点进行校正;对于第j个匹配点p,由第n-1层估计的光流值为wpj,可信光流值为如果T为设定的阈值,可取1,则表明由第n-1层图像估计的光流和真实光流值接近,为可信光流,此时,对p点光流不做校正,即不作为光流校正的种子点,如果则表明由上层图像估计的光流值误差已超过一个像素,似为不可信光流,需要进行校正,保存为校正种子点;经过如上的筛选后,确定了有用的m(m<=t)个可信光流,将其对应的像素作为区域增长校正的初始种子点,每个可信光流对应的图像分割区域即为需要校正的光流区域;
(III)由可信光流指导的区域增长光流校正:
如图4-图9所示,首先,确定邻域像素的光流增长量:设种子点对为p和q;p和q所在的图像子区域为Ωp和Ωq,找出Ωp和Ωq最小内接四边形,记为Ω′p,Ω′q,Ω′p,Ω′q确定方法为:p和q为种子点,计算Ωp中边界元素距离p的距离,并找出最短的距离,记为d1,同理计算Ωq中边界元素距离q的距离,并找出最短的距离,记为d2,令d=d1,如果d2<d1,则d=d2,以p和q为中心点,取d×d大小的窗口,记为Ω′p,Ω′q;计算Ω′p,Ω′q对应的光流,其方法为:将Ω′p,Ω′q视为两幅子图像,仍采用变分光流计算方法,在计算时,不再对图像进行金字塔分层,直接按最高分辨率进行计算,光流初始值为0,所计算的光流值记为ws=(us,vs),ws=(us,vs)中每个点光流减去种子点所在光流即为δu和δv;
然后,确定区域增长停止条件:由p点开始,在Ω′p范围内,对其8邻域的光流进行校正,p的周边8个邻域记为pi,i=1...8,通过ws判断pi是否为运动的边界,如果Δwsi=wsi-wp,Δwsi≤ε,则认为pi和p是属于同一平滑区域,对pi进行校正,wpi′=wp+Δwsi,其中wp为种子光流;反之,可能处于运动的边界,运动边界即为区域增长停止的条件,图9中的Ω″p即为进行校正的区域;
b、将光流值转化为匹配值,即完成对Clo1中两幅图像的全局匹配点计算;
c、按步骤a、b计算Clo2中两幅图像的光流;
C、计算第i组图像的精确匹配点,其方法为:
用第i组图像的三幅图像之间的几何约束关系,去除误差较大的匹配点,得到精确匹配点,两幅图像之间存在一对对极几何关系,三幅图像时,存在3组两两对极几何关系,设三幅图像对应光心分别为C1,C2,C3,空间点X在三幅图像上的投影分别为x1,x2,x3,x1在第二幅图像上对应的极线为l1,在第三幅图像上对应的极线为l2;假定x3和x1是真实的匹配点,如果x2和x1也是真实的匹配点,则x1在第三幅图像上的极线l3与l2的交点必为x3;反之,如果交点不是x3,则x2不是x1的匹配点;
(4)由匹配点及相机的投影矩阵计算人脸三维坐标:如图10所示,物点在第i组的3幅图像上成像,3条投影线的交点即为该物点,以此完成人脸实时三维数据的重构。
上述实施例只是本发明的较佳实施例,并不是对本发明技术方案的限制,只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案,均应视为落入本发明专利的权利保护范围内。
Claims (3)
1.一种由多幅图像重构人脸实时三维数据的方法,其特征在于:包括以下步骤:
(1)搭建拍照系统:将8个编号依次为1、2、3、4、5、6、7、8的相机分布于人脸周围,其中,1、2号相机用于拍摄左边脸部;3号相机用于拍摄左边脸部和正面脸部的过渡部位;4、5号相机用于拍摄正面脸部;6号相机用于拍摄正面脸部和右边脸部的过渡部位;7、8号相机用于拍摄右边脸部;8个相机的信号输出端与处理器的信号输入端对应连接,处理器用于对获取的图像进行数据处理;
(2)多相机标定:即对8个相机的内外参数进行标定,包括以下步骤:
①相机分组:1、2、3号相机为一组,记为C1,4、5、6号相机为一组,记为C2,7、8号相机为一组,记为C3;
②定义8个相机视场范围为有效视场;
③在1、2、3号相机前随机位置放置标定板,1、2、3号相机同时采集视场中标定板图像;
④步骤③重复7次,得到7组图像,根据平板标定算法,计算1、2、3号相机的内外参数,由内外参数求得投影矩阵分别为P1、P2、P3,外参数所在的世界坐标系为O1x1y1z1;
⑤在4、5、6号相机前随机位置摆放标定板,按照步骤③、④的方法,得到4、5、6号相机的内外参数,外参数所在的世界坐标系为O2x2y2z2;
⑥在7、8号相机前随机位置摆放标定板,按照步骤③、④的方法,得到7、8号相机的内外参数,外参数所在的世界坐标系为O3x3y3z3;
⑦在有效视场内,放置若干同心圆标记圆,通过三个以上的公共同心圆,将坐标系O1x1y1z1、O2x2y2z2、O3x3y3z3转换到统一的一个坐标系Oxyz下,完成相机标定;
(3)图像匹配:包括以下步骤:
A、图像分组:将由8个相机获取的8幅图像分为4组,每组包含三幅图像,具体为:1、2、3号相机对应图像为第1组图像;3、4、5号相机对应图像为第2组图像;5、6、7号相机对应图像为第3组图像;6、7、8号相机对应图像为第4组图像;下面对每一组图像中的三幅图像进行匹配;
B、计算第i组图像的全局匹配点,其中i=1~4,第i组图像共包含三幅图像,分别定义为左、中、右图像,左、中图像组合为一组Clo1;中、右图像组合为一组Clo2;对Clo1、Clo2分别计算全局匹配点,包括以下步骤:
a、计算Clo1中两幅图像的光流;
b、将光流值转化为匹配值,即完成对Clo1中两幅图像的全局匹配点计算;
c、按步骤a、b计算Clo2中两幅图像的光流;
C、计算第i组图像的精确匹配点;
(4)由匹配点及相机的投影矩阵计算人脸三维坐标:物点在第i组的3幅图像上成像,3条投影线的交点即为该物点,以此完成人脸实时三维数据的重构。
2.根据权利要求1所述的由多幅图像重构人脸实时三维数据的方法,其特征在于:所述步骤a包括以下步骤:
I、计算两幅图像的初始匹配点:
定义变量如下:假定两幅图像I1,I2,空间某点P在两幅图像上的成像点分别为p1,q1,其中p1点的坐标为(i,j),灰度值为I1(i,j),q1点的坐标为(i+u,j+v),灰度值为I2(i+u,j+v),(u,v)称为p1点的光流值,假定空间同一点在不同像面上的灰度值相等,即满足如下的等式:
E=λEdata(u,v)+Esmooth(u,v)
其中,
Edata(u,v)=r(u,v)2=||I1(i,j)-I2(i+u,j+v)||2,
Esmooth(u,v)=||▽u||+||▽v||,
通过求解,便可以得到所有的光流值;
II、用可信的匹配点修正初匹配中误差较大的匹配点,包括以下步骤:
(I)确定离散的种子点:方法如下:在小阈值下,计算两幅图像的SIFT匹配点Q1;由所计算的SIFT匹配点,计算两幅图像的基本矩阵F;在大阈值下,计算两幅图像的SIFT匹配点Q2;由基本矩阵所提供的极线约束,去除Q2中误差较大的点,剩余的点即为可信的离散匹配点;
(II)由离散可信光流点确定误差较大的光流区域:令在金字塔的第n层,存在t个sift匹配点,即有t个可信光流,记为由第n-1层估计的所有像素光流值记为w,w中并非每个像素的光流值都需要校正,仅对光流误差较大的像素点进行校正;对于第j个匹配点p,由第n-1层估计的光流值为wpj,可信光流值为如果T为设定的阈值,可取1,则表明由第n-1层图像估计的光流和真实光流值接近,为可信光流,此时,对p点光流不做校正,即不作为光流校正的种子点,如果则表明由上层图像估计的光流值误差已超过一个像素,似为不可信光流,需要进行校正,保存为校正种子点;经过如上的筛选后,确定了有用的m(m<=t)个可信光流,将其对应的像素作为区域增长校正的初始种子点,每个可信光流对应的图像分割区域即为需要校正的光流区域;
(III)由可信光流指导的区域增长光流校正:
首先,确定邻域像素的光流增长量:设种子点对为p和q;p和q所在的图像子区域为Ωp和Ωq,找出Ωp和Ωq最小内接四边形,记为Ω′p,Ω′q,Ω′p,Ω′q确定方法为:p和q为种子点,计算Ωp中边界元素距离p的距离,并找出最短的距离,记为d1,同理计算Ωq中边界元素距离q的距离,并找出最短的距离,记为d2,令d=d1,如果d2<d1,则d=d2,以p和q为中心点,取d×d大小的窗口,记为Ω′p,Ω′q;计算Ω′p,Ω′q对应的光流,其方法为:将Ω′p,Ω′q视为两幅子图像,仍采用变分光流计算方法,在计算时,不再对图像进行金字塔分层,直接按最高分辨率进行计算,光流初始值为0,所计算的光流值记为ws=(us,vs),ws=(us,vs)中每个点光流减去种子点所在光流即为δu和δv;
然后,确定区域增长停止条件:由p点开始,在Ω′p范围内,对其8邻域的光流进行校正,p的周边8个邻域记为pi,i=1...8,通过ws判断pi是否为运动的边界,如果Δwsi=wsi-wp,Δwsi≤ε,则认为pi和p是属于同一平滑区域,对pi进行校正,wpi′=wp+Δwsi,其中wp为种子光流;反之,可能处于运动的边界,运动边界即为区域增长停止的条件。
3.根据权利要求1或2所述的由多幅图像重构人脸实时三维数据的方法,其特征在于:所述步骤C的方法为:用第i组图像的三幅图像之间的几何约束关系,去除误差较大的匹配点,得到精确匹配点,两幅图像之间存在一对对极几何关系,三幅图像时,存在3组两两对极几何关系,设三幅图像对应光心分别为C1,C2,C3,空间点X在三幅图像上的投影分别为x1,x2,x3,x1在第二幅图像上对应的极线为l1,在第三幅图像上对应的极线为l2;假定x3和x1是真实的匹配点,如果x2和x1也是真实的匹配点,则x1在第三幅图像上的极线l3与l2的交点必为x3;反之,如果交点不是x3,则x2不是x1的匹配点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510223894.5A CN104794728B (zh) | 2015-05-05 | 2015-05-05 | 由多幅图像重构人脸实时三维数据的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510223894.5A CN104794728B (zh) | 2015-05-05 | 2015-05-05 | 由多幅图像重构人脸实时三维数据的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104794728A true CN104794728A (zh) | 2015-07-22 |
CN104794728B CN104794728B (zh) | 2017-09-19 |
Family
ID=53559508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510223894.5A Expired - Fee Related CN104794728B (zh) | 2015-05-05 | 2015-05-05 | 由多幅图像重构人脸实时三维数据的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104794728B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105389573A (zh) * | 2015-12-23 | 2016-03-09 | 山东大学 | 一种基于局部三值模式分层重构的人脸识别方法 |
CN107845096A (zh) * | 2018-01-24 | 2018-03-27 | 西安平原网络科技有限公司 | 基于图像的行星三维信息测定方法 |
CN108446596A (zh) * | 2018-02-14 | 2018-08-24 | 天目爱视(北京)科技有限公司 | 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法 |
CN108446597A (zh) * | 2018-02-14 | 2018-08-24 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征3d数据采集方法及装置 |
CN108470150A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征四维数据采集方法及装置 |
CN108470186A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种图像特征点的匹配方法及装置 |
CN108490642A (zh) * | 2018-02-14 | 2018-09-04 | 天目爱视(北京)科技有限公司 | 基于3d头部数据的眼镜自动设计方法 |
CN108537236A (zh) * | 2018-04-04 | 2018-09-14 | 天目爱视(北京)科技有限公司 | 一种多相机数据识别控制系统 |
CN108564017A (zh) * | 2018-04-04 | 2018-09-21 | 北京天目智联科技有限公司 | 一种基于光栅相机的生物特征3d四维数据识别方法及系统 |
CN108717714A (zh) * | 2018-05-23 | 2018-10-30 | 曜科智能科技(上海)有限公司 | 多相机标定方法、标定系统、存储介质、及电子设备 |
CN109285109A (zh) * | 2018-09-05 | 2019-01-29 | 天目爱视(北京)科技有限公司 | 一种多区域3d测量及信息获取装置 |
CN110689580A (zh) * | 2018-07-05 | 2020-01-14 | 杭州海康机器人技术有限公司 | 多相机标定方法及装置 |
CN112308963A (zh) * | 2020-11-13 | 2021-02-02 | 四川川大智胜软件股份有限公司 | 一种无感三维人脸重建方法及采集重建系统 |
CN112437680A (zh) * | 2018-08-07 | 2021-03-02 | 宝洁公司 | 评估和可视化施用装置贴合性的方法 |
CN113158908A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
CN115409953A (zh) * | 2022-11-02 | 2022-11-29 | 汉斯夫(杭州)医学科技有限公司 | 基于多相机颜色一致性的颌面重建方法、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050057569A1 (en) * | 2003-08-26 | 2005-03-17 | Berger Michael A. | Static and dynamic 3-D human face reconstruction |
US20080279446A1 (en) * | 2002-05-21 | 2008-11-13 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
CN101404091A (zh) * | 2008-11-07 | 2009-04-08 | 重庆邮电大学 | 基于两步形状建模的三维人脸重建方法和系统 |
CN101625768A (zh) * | 2009-07-23 | 2010-01-13 | 东南大学 | 一种基于立体视觉的三维人脸重建方法 |
CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
CN101814192A (zh) * | 2009-02-20 | 2010-08-25 | 三星电子株式会社 | 真实感3d人脸重建的方法 |
-
2015
- 2015-05-05 CN CN201510223894.5A patent/CN104794728B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080279446A1 (en) * | 2002-05-21 | 2008-11-13 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
US20050057569A1 (en) * | 2003-08-26 | 2005-03-17 | Berger Michael A. | Static and dynamic 3-D human face reconstruction |
CN101404091A (zh) * | 2008-11-07 | 2009-04-08 | 重庆邮电大学 | 基于两步形状建模的三维人脸重建方法和系统 |
CN101814192A (zh) * | 2009-02-20 | 2010-08-25 | 三星电子株式会社 | 真实感3d人脸重建的方法 |
CN101625768A (zh) * | 2009-07-23 | 2010-01-13 | 东南大学 | 一种基于立体视觉的三维人脸重建方法 |
CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
Non-Patent Citations (5)
Title |
---|
FURUKAWA Y等: "Accurate,dense,and robust multi-view stereopsis", 《IEEE TRANS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
ZHANG L等: "Spacetime faces: high resolution capture for modeling and animation", 《ACM TRANS ON GRAPHICS》 * |
丁宾等: "从多张非定标图像重建三维人脸", 《计算机辅助设计与图形学学报》 * |
袁建英等: "一种基于全部和局部平滑光流的分步人脸重建算法", 《计算机应用研究》 * |
袁建英等: "一种非定标图像高精度三维重建算法", 《计算机应用研究》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105389573B (zh) * | 2015-12-23 | 2019-03-26 | 山东大学 | 一种基于局部三值模式分层重构的人脸识别方法 |
CN105389573A (zh) * | 2015-12-23 | 2016-03-09 | 山东大学 | 一种基于局部三值模式分层重构的人脸识别方法 |
CN107845096A (zh) * | 2018-01-24 | 2018-03-27 | 西安平原网络科技有限公司 | 基于图像的行星三维信息测定方法 |
CN107845096B (zh) * | 2018-01-24 | 2021-07-27 | 西安平原网络科技有限公司 | 基于图像的行星三维信息测定方法 |
CN108446597B (zh) * | 2018-02-14 | 2019-06-25 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征3d数据采集方法及装置 |
CN108470186A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种图像特征点的匹配方法及装置 |
CN108490642A (zh) * | 2018-02-14 | 2018-09-04 | 天目爱视(北京)科技有限公司 | 基于3d头部数据的眼镜自动设计方法 |
CN108470150A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征四维数据采集方法及装置 |
CN108446597A (zh) * | 2018-02-14 | 2018-08-24 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征3d数据采集方法及装置 |
CN108446596A (zh) * | 2018-02-14 | 2018-08-24 | 天目爱视(北京)科技有限公司 | 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法 |
CN108537236A (zh) * | 2018-04-04 | 2018-09-14 | 天目爱视(北京)科技有限公司 | 一种多相机数据识别控制系统 |
CN108564017A (zh) * | 2018-04-04 | 2018-09-21 | 北京天目智联科技有限公司 | 一种基于光栅相机的生物特征3d四维数据识别方法及系统 |
CN108717714A (zh) * | 2018-05-23 | 2018-10-30 | 曜科智能科技(上海)有限公司 | 多相机标定方法、标定系统、存储介质、及电子设备 |
CN108717714B (zh) * | 2018-05-23 | 2021-06-11 | 曜科智能科技(上海)有限公司 | 多相机标定方法、标定系统、存储介质、及电子设备 |
CN110689580B (zh) * | 2018-07-05 | 2022-04-15 | 杭州海康机器人技术有限公司 | 多相机标定方法及装置 |
CN110689580A (zh) * | 2018-07-05 | 2020-01-14 | 杭州海康机器人技术有限公司 | 多相机标定方法及装置 |
CN112437680A (zh) * | 2018-08-07 | 2021-03-02 | 宝洁公司 | 评估和可视化施用装置贴合性的方法 |
CN109285109A (zh) * | 2018-09-05 | 2019-01-29 | 天目爱视(北京)科技有限公司 | 一种多区域3d测量及信息获取装置 |
CN112308963A (zh) * | 2020-11-13 | 2021-02-02 | 四川川大智胜软件股份有限公司 | 一种无感三维人脸重建方法及采集重建系统 |
CN112308963B (zh) * | 2020-11-13 | 2022-11-08 | 四川川大智胜软件股份有限公司 | 一种无感三维人脸重建方法及采集重建系统 |
CN113158908A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
CN115409953A (zh) * | 2022-11-02 | 2022-11-29 | 汉斯夫(杭州)医学科技有限公司 | 基于多相机颜色一致性的颌面重建方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104794728B (zh) | 2017-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104794728A (zh) | 由多幅图像重构人脸实时三维数据的方法 | |
CN110599540B (zh) | 多视点相机下的实时三维人体体型与姿态重建方法及装置 | |
CN104778694B (zh) | 一种面向多投影拼接显示的参数化自动几何校正方法 | |
CN106485207B (zh) | 一种基于双目视觉图像的指尖检测方法及系统 | |
CN108256504A (zh) | 一种基于深度学习的三维动态手势识别方法 | |
CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
CN108053469A (zh) | 多视角相机下的复杂动态场景人体三维重建方法及装置 | |
CN106780592A (zh) | 基于相机运动和图像明暗的Kinect深度重建算法 | |
CN102697508A (zh) | 采用单目视觉的三维重建来进行步态识别的方法 | |
CN102801994B (zh) | 一种信息物理图像融合装置与方法 | |
CN102129708A (zh) | 增强现实环境中快速多层次虚实遮挡处理方法 | |
CN107145224B (zh) | 基于三维球面泰勒展开的人眼视线跟踪方法和装置 | |
CN107341844A (zh) | 一种基于多Kinect的实时三维人体绘制方法 | |
CN102521586A (zh) | 一种用于拍照手机的高分辨率三维人脸扫描方法 | |
CN113284249A (zh) | 一种基于图神经网络的多视角三维人体重建方法及系统 | |
CN111915739A (zh) | 一种实时三维全景信息互动影息系统 | |
CN111914790A (zh) | 基于双摄像头的不同场景下实时人体转动角度识别方法 | |
CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
CN107270875B (zh) | 运动模糊效应下的视觉特征三维重建方法 | |
CN115841539A (zh) | 一种基于可视外壳的三维光场生成方法和装置 | |
CN107103620B (zh) | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 | |
CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
CN109658326A (zh) | 一种图像显示方法及装置、计算机可读存储介质 | |
CN111915740A (zh) | 一种快速的三维图像获取方法 | |
CN115457220B (zh) | 基于动态视点的模拟器多屏幕视景模拟方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170919 Termination date: 20190505 |