CN1482580A

CN1482580A - 利用一组二维照片与三维模型库生成新的三维模型的方法

Info

Publication number: CN1482580A
Application number: CNA021347565A
Authority: CN
Inventors: ̩; 陆泰玮; 汤毅
Original assignee: SHENZHEN FANYOU TECHNOLOGIES Co Ltd
Current assignee: SHENZHEN FANYOU TECHNOLOGIES Co Ltd
Priority date: 2002-09-15
Filing date: 2002-09-15
Publication date: 2004-03-17
Anticipated expiration: 2022-09-15
Also published as: CN1308897C

Abstract

一种利用一组二维照片与三维模型库生成新的三维模型的方，涉及三维摄影技术领域中三维模型的生成方法。包括以下步骤：A.照相，用照相机或摄影机围绕被照物体照一组照片，将被照物转一角度，这一角度越小，照片张数越多，结果越精确，每一角度照一张照片。B.特征点识别，在每张照片上寻找特征点。C.特征点匹配，在物体三维模型库中寻找与照片上被照物最接近的一组模型；调整此组模型上特征点的空间坐标，使其逼近相对应的照片上空间特征点。本发明技术进步在于，方法简单，适用范围广，在没有三维摄影亭的地方，以二维照片可制作出精确的三维模型。

Description

利用一组二维照片与三维模型库生成新的三维模型的方法

技术领域

本发明涉及三维摄影技术领域，特别涉及三维摄影技术领域中三维模型的生成方法。

背景技术

由于三维摄影技术的发展，目前已经能够实现利用三维摄影技术制造精确的三维模型。但由于进行拍摄的摄影仪器属于专业设备，比较昂贵；因此三维造模的方法造价较高。

微软公司曾经完成一个实验，将一个小孩的二维照片合成三维模型，采用的是双眼视差法；是通过寻找二维照片上的特征点建立三维模型。但此法的局限性是在寻找特征点时需要此人的脸部有许多利于定位的特征点，如痣、斑等。

也有利用剪影的方法，即在不同的角度拍摄多张照片，利用剪影建立三维模型。这需要选择很小的角度拍摄多张照片，且在凹陷的部分不能取得精确的特征点。

也有利用手工操作方法，即利用两张照片，手动的寻找特征点。但特殊的点，如嘴角、眼角、鼻翼，可以自动寻找，再经过匹配，建立三维模型。此法的缺点是，精度较低，仅能满足视觉的要求，不适合制作雕塑产品。目前可以看到，在网上出现的利用二维相片制作三维模型均采用此法。

技术内容

本发明目的是提供一种利用一组二维照片与三维模型库生成新的三维模型的方法，以实现在没有三维摄影亭的地方，以二维照片制作出精确的三维模型。

本发明目的可以通过以下技术方案实现：

一种利用一组二维照片与三维模型库生成新的三维模型的方法，包括以下步骤：

A、照相

a、用照相机或摄影机围绕被照物体照一组照片。

b、将被照物转一角度，这一角度越小，照片张数越多，结果越

精确，每一角度照一张照片。

B、特征点识别

a、在每张照片上寻找特征点。

b、在一组照片的每一张相应的照片上用模式识别方法自动寻找特征点，并根据部分特征点的坐标计算被照物体的动画参数标准中的主要特征距离；如果两张照片的夹角很小，在两张照片上物体变化不大，则可以用特征点对比方式从M张照片的特征点位置推算出第M+1张照片上的特征点位置。

c、在两张相关照片上找到相对应的一组特征点，从而计算出照相机的相对位置。

d、在照片上找出相对应的特征点组合，从而计算出每一个特征点在三维空间中相对坐标。也可以在每一张照片上找出被照物体的边界，从而计算出此边界上的点在空间的投影位置，通过两张照片上的边界投影相交线，即可以计算出相交线上的点在空间的位置。

C、特征点匹配

a、在物体三维模型库中寻找与照片上被照物最接近的一组模型；

b、调整此组模型上特征点的空间坐标，使其逼近相对应的照片上空间特征点，采用区域微调的方法，在调整特征点坐标时，以移动一个围绕特征点的面逼近此特征点；

c、比较模型上的特征点与照片上空间特征点以及二维效果图与照片的灰度分布的差异，重点步骤6，直到误差最小；二维效果图的对比进行整体比较，再局部精确定位；

d、将新的模型放入模型库中，标注此新的被照物模型的特征长度和特征点。

利用一组二维照片与三维模型库生成新的三维模型的方法，在所述照相步骤中，对被照物在不同角度照相至少照两张以上。最好在相机与被照物的距离不变，光照条件不变的条件下，照被照物，相邻照片之间的夹角越小，照片越多，精确度也越高。

利用一组二维照片与三维模型库生成新的三维模型的方法，在特点识别步骤中，特征点的识别，部分特征点用模式识别方法自动寻找，部分特征点用插值方法得到，也可使用手动方式确定。

本发明技术进步在于，方法简单，适用范围广，在没有三维摄影亭的地方，以二维照片可制作出精确的三维模型。

附图说明

图1为建立三维模型库流程图；

具体实施方法：

以人为被照物，我们所提出的利用一组二维照片与三维模型库生成新的三维模型的方法能够实现在没有三维摄影亭的地方，以二维照片制作出精确的三维模型。一般情况下，必须寻找到面部足够的特征点，以保证能够只通过三维模型可辨识出人脸(无需参照二维贴图)，我们在二维照片上自动加上手动辅助寻找这些特征点，在经过与三维模型上匹配，调整，使三维模型上每个特征点更贴近二维照片的特征，故它可以准确的描述人体的脸部特征。除此之外，我们还有一个建立好的并在不断的动态添加的人头模型库，在此模型库中会按照不同的分类方式区别不同特征的人头模型，例如，针对不同的肤色分类有黄种人、白种人、黑种人、印第安人等等，或是按照不同的脸型特征分类，如圆脸、方脸、国字脸、鹅蛋脸等等。所以在匹配特征点时能够比较快速的找到最接近的头模，从而减少了匹配的时间和工作的难度。同时此三维模型库是处在不断的增长过程中，经过匹配、调整、修改最终生成的一个新的个性化人头模型将被放入此模型库中。因此，它是一个动态的、增长的库。

此方法比现有的利用二维照片生成三维模型的方法更精确，更具优越性。因为在寻找特征点时，参考MPEG-4标准，并在此基础上添加更多的特征点，如描述轮廓的特征点，采用自动寻找(统计算法、模式识别等)和手动寻找结合的方式获取人脸部精确的特征点数据。在客户无法亲自去三维摄影棚拍摄像片时，可以采用此方法，利用一组二维照片和已经建立的三维模型人头库生成新的三维模型，同时添加进三维人头模型库。在此三维模型库上会标注特征点的资料，以便进行特征点的匹配。

一、照相

1、用照相机照一个人的正面。

2、让此人转一定角度，每一角度照一张照片。

3、夹角选的越小，照片张数越多，则结果越精确。

4、相机与人的距离基本不变，光照条件基本不变

5、原则上至少照两张照片(正面和侧面)，在不同角度照相张数越多越好相机可以采用普通相机或是数码相机，最好是已知的相机，因为如果已知相机的照像参数，如镜头焦距指数等，可以精确计算出相机的位置，从而得出准确的特征点数据。

二、特征点识别

1、在每一张照片上寻找特征点。

2、基本特征点可接MPEG-4定义的FAPU人脸特征点，适当增加特征点(如表现脸部或器官的轮廓的特征点)，或另选一组特征点以便更好描述人脸以及人头三维空间特征小的空心点和实心点均为标准特征点。

3、但在人脸的关键部位需增加特征点数目，以达到人脸三维曲线的逼真。特征点数目的多少取决于精度要求，精度赵高则要法语的特征点数目越多。

4、部分特征点需用模式识别方法自动寻找，部分特征点可以用插值方法得到，一些少量的特征点可用手动方式确定，但原则上要求手动寻找的点越少越好。例如，嘴角、眼角、眉毛等具有显著特征的部位采用模式识别方法自动寻找；唇线或眉毛边缘位置可以用插值法获取特征点数据；脸颊等没有明显特征的点需要用手动方式确定。不论采用何种方式，都需要进行手动调整，自动逼近，以达到人脸三维曲线的逼真效果。

5、在模型相应的正面照片上用模式识别方法自动寻找特征点，并根据部分特征点的坐标自动计算FAPU(Facial Animator ParameterUnit)--脸部动画参数标准中的ESO，IRISDO(可忽略)，ENSO和MWO的长度。可以增加使用可靠的特征点作为FAPU。

6、在两张相关照片上找到相对应的一组特征点，从而计算出照相机的相对位置(Photogrammetry方法—由已知照片的特征点数据反推出相机的位置)。

7、在照片上找出相对应的特征点组合，从而计算出每一个特征点三维空间中相对坐标。

8、在特征点寻找过程中尽量用软件自动寻找，但可以在超始时手动定一到二个关键特征点可以缩小搜索的范围，减少计算量。特征点自动寻找的算法有许多，如：模板匹配，Snake算法，ASM(ActiveShape Model)，AAM(Active Appearance Model)，等。

如果两张照片的夹角很小，在两张照片上物体变化不大，则可以用特征点对比方式从M张照片上的特征点位置推算出第M+1张照片上的特征点位置。

9、在特征点寻找过程中，会有部分的偏移和不准确，所以允许少量手动调整特征点。

三、特征点匹配

1、在人头模型库中首先寻找与照片上FAPU最接近的一组头模型。在已经建好的人头模型库中的头模型具备基本的特征长度的标示，可以缩小特征点搜索的范围。

2、在此组人头模型中寻找与照片上空间特征点最接近的人头模型。

3、调整此人头模型上特征点的空间坐标，使其逼近相对应的照片上空间特征点，使得人头模型更加像照片上的人脸结构。采用区域微调的方法，在调整特征点坐标时，以移动一个面来逼近此特征点。

4、比较人头模型上特征点与照片上空间特征点以及二维效果图与照片的灰度分布的差异，重复步骤三(3)，直到误差最小。二维效果图的对比进行整体比较，再局部精确定位。通过模型拟灯源，制造与像片相同的光照效果，可以实现灰度分布差异的比较，但如果原像片的光源较多，出现漫射光，将无法完全模拟，就不可能在灰度上实现完全的比较。

5、将新的人头模型放入模型库中，其中会标注此新的人头模型的特征长度和特征点。

Claims

1、一种利用一组二维照片与三维模型库生成新的三维模型的方法，其特征在于，所述方法包括以下步骤：

A、照相

用照相机或摄影机围绕被照物体照一组照片；

B、特征点识别

a、在每张照片上寻找特征点；

b、在一组照片的每一张相应的正面照片上用模式识别方法自动寻找特征点，并根据部分特征点的坐标计算被照物体的动画参数标准中的主要特征距离；

c、在两张相关照片上找到相对应的一组特征点，从而计算出照相机的相对位置；

d、在照片上找出相对应的特征点组合，从而计算出每一个特征点在三维空间中相对坐标。

C、特征点匹配

a、在物体三维模型库中寻找与照片上被照物最接近的一组模型；可以先用特征距离参数先找出一组接近的模型，再用特征点空间位置找到一个最接近的三维模型；也可以直接用特征点空间位置找到一个最接近的三维模型；

b、调整此三维模型上特征点的空间坐标，使其逼近相对应的照片上空间特征点，采用区域微调的方法，在调整特征点坐标时，以移动一个围绕特征点的面逼近此特征点；

2、根据权利要求1所述的利用一组二维照片与三维模型库生成新的三维模型的方法，其特征在于，所述照相步骤中，对被照物在不同角度照相至少照两张以上。

3、根据权利要求1或2所述的利用一组二维照片与三维模型库生成新的三维模型的方法，其特征在于：所述特点识别步骤中，特征点的识别，部分特征点用模式识别方法自动寻找，部分特征点用插值方法得到，也可使用手动方式确定。

4、根据权利要求1所述的利用一组三维照片与三维模型库生成新的三维模型的方法，其特征在于，所述照相步骤中，照相时相机与被照物的距离不变，光照条件不变的条件下照被照物；相邻照片之间所选的夹角越小，照片越多，建立的三维模型越精确。