CN1308897C - 利用一组二维照片与三维模型库生成新的三维模型的方法 - Google Patents
利用一组二维照片与三维模型库生成新的三维模型的方法 Download PDFInfo
- Publication number
- CN1308897C CN1308897C CNB021347565A CN02134756A CN1308897C CN 1308897 C CN1308897 C CN 1308897C CN B021347565 A CNB021347565 A CN B021347565A CN 02134756 A CN02134756 A CN 02134756A CN 1308897 C CN1308897 C CN 1308897C
- Authority
- CN
- China
- Prior art keywords
- unique point
- dimensional
- photo
- model
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种利用一组二维照片与三维模型库生成新的三维模型的方,涉及三维摄影技术领域中三维模型的生成方法。包括以下步骤:A.照相,用照相机或摄影机围绕被照物体照一组照片,将被照物转一角度,这一角度越小,照片张数越多,结果越精确,每一角度照一张照片。B.特征点识别,在每张照片上寻找特征点。C.特征点匹配,在物体三维模型库中寻找与照片上被照物最接近的一组模型;调整此组模型上特征点的空间坐标,使其逼近相对应的照片上空间特征点。本发明技术进步在于,方法简单,适用范围广,在没有三维摄影亭的地方,以二维照片可制作出精确的三维模型。
Description
技术领域
本发明涉及三维摄影技术领域,特别涉及三维摄影技术领域中三维模型的生成方法。
背景技术
由于三维摄影技术的发展,目前已经能够实现利用三维摄影技术制造精确的三维模型。但由于进行拍摄的摄影仪器属于专业设备,比较昂贵;因此三维造模的方法造价较高。
微软公司曾经完成一个实验,将一个小孩的二维照片合成三维模型,采用的是双眼视差法;是通过寻找二维照片上的特征点建立三维模型。但此法的局限性是在寻找特征点时需要此人的脸部有许多利于定位的特征点,如痣、斑等。
也有利用剪影的方法,即在不同的角度拍摄多张照片,利用剪影建立三维模型。这需要选择很小的角度拍摄多张照片,且在凹陷的部分不能取得精确的特征点。
也有利用手工操作方法,即利用两张照片,手动的寻找特征点。但特殊的点,如嘴角、眼角、鼻翼,可以自动寻找,再经过匹配,建立三维模型。此法的缺点是,精度较低,仅能满足视觉的要求,不适合制作雕塑产品。目前可以看到,在网上出现的利用二维相片制作三维模型均采用此法。
技术内容
本发明目的是提供一种利用一组二维照片与三维模型库生成新的三维模型的方法,以实现在没有三维摄影亭的地方,以二维照片制作出精确的三维模型。
本发明目的可以通过以下技术方案实现:
一种利用一组二维照片与三维模型库生成新的三维模型的方法,包括以下步骤:
A、照相
a、用照相机或摄影机围绕被照物体照一组照片。
b、将被照物转一角度,这一角度越小,照片张数越多,结果越精确,每一角度照一张照片。
B、特征点识别
a、在每张照片上寻找特征点。
b、在一组照片的每一张相应的照片上用模式识别方法自动寻找特征点,并根据部分特征点的坐标计算被照物体的动画参数标准中的主要特征距离;如果两张照片的夹角很小,在两张照片上物体变化不大,则可以用特征点对比方式从M张照片的特征点位置推算出第M+1张照片上的特征点位置。
c、在两张相关照片上找到相对应的一组特征点,从而计算出照相机的相对位置。
d、在照片上找出相对应的特征点组合,从而计算出每一个特征点在三维空间中相对坐标。也可以在每一张照片上找出被照物体的边界,从而计算出此边界上的点在空间的投影位置,通过两张照片上的边界投影相交线,即可以计算出相交线上的点在空间的位置。
C、特征点匹配
a、在物体三维模型库中寻找与照片上被照物最接近的一组模型;
b、调整此组模型上特征点的空间坐标,使其逼近相对应的照片上空间特征点,采用区域微调的方法,在调整特征点坐标时,以移动个围绕特征点的面逼近此特征点;
c.比较模型上的特征点与照片上空间特征点以及二维效果图与照片的灰度分布的差异,重复步骤C中的步骤b,直到误差最小;二维效果图的对比进行整体比较,再局部精确定位;
d.将新的模型放入模型库中,标注此新的被照人头模型的特征长度和特征点。
利用一组二维照片与三维模型库生成新的三维模型的方法,其特征在于,所述照相步骤中,照相时相机与被照人头的距离不变,光照条件不变的条件下照被照人头。
利用一组二维照片与三维模型库生成新的三维模型的方法,在所述特征点识别步骤中,特征点的识别,部分特征点用模式识别方法自动寻找,部分特征点用插值方法得到,也可以使用手动方式确定。
本发明技术进步在于,方法简单,适用范围广,在没有三维摄影亭的地方,以二维照片可制作出精确的三维模型。
附图说明
图1为建立三维模型库流程图。
具体实施方法:
以人为被照人头,我们所提出的利用一组二维照片与三维模型库生成新的三维模型的方法能够实现在没有三维摄影亭的地方,以二维照片可制作出精确的三维模型。一般情况下,必须寻找到面部足够的特征点,以保证能够通过三维模型可辨识出人脸(无需参照二维贴图),我们在二维照片上自动加上手动辅助寻找这些特征点,在经过与三维模型上匹配,调整,使三维模型上每个特征点更贴近二维照片的特征,故它可以准确的描述人体的脸部特征。除此之外,我们还有一个建立好的并在不断的动态添加的人头模型库,在此模型库中会按照不同的分类方式区别不同特征的人头模型,例如,针对不同的肤色分类有黄种人、白种人、黑种人、印第安人等等,或是按照不同的脸型特征分类,如圆脸、方脸、国字脸、鹅蛋脸等等。所以在匹配特征点时能够比较快速的找到最接近的头模,从而减少了匹配的时间和工作的难度。同时此三维模型库是处在不断的增长过程中,经过匹配、调整、修改最终生成的一个新的个性化人头模型将被放入此模型库中。因此,它是一个动态的、增长的库。
此方法比现有的利用二维照片生成三维模型的方法更精确,更具优越性。因为在寻找特征点时,参考MPEG-4标准,并在此基础上添加更多的特征点,如描述轮廓的特征点,采用自动寻找(统计算法、模式识别等)和手动寻找结合的方式获取人脸部精确的特征点数据。在客户无法亲自去三维摄影棚拍摄像片时,可以采用此方法,利用一组二维照片和已经建立的三维模型人头库生成新的三维模型,同时添加进三维人头模型库。在此三维模型库上会标注特征点的资料,以便进行特征点的匹配。
一、照相
1、用照相机照一个人的正面。
2、让此人转一定角度,每一角度照一张照片。
3、夹角选的越小,照片张数越多,则结果越精确。
4、相机与人的距离基本不变,光照条件基本不变
5、原则上至少照两张照片(正面和侧面),在不同角度照相张数越多越好相机可以采用普通相机或数码相机,最好是已知的相机,因为如果已知相机的照像参数,如镜头焦距指数等,可以精确计算出相机的位置,从而得出准确的自动数据。
二、特征点识别
1、在每一张照片上寻找特征点;
2、基本特征点可接MPEG-4定义的FAPU人脸特征点,适当增加特征点(如表现脸部或器官的轮廓的特征点),或另选一组特征点以便更好描述人脸以及人头三维空间特征小的空心点和实心点均为标准特征点。
3、但在人脸的关键部位需增加特征点数目,以达到人脸三维曲线的逼真。特征点数目的多少取决于精度要求,精度要求越高则要增加的特征点数目越多。
4、部分特征点需要用模式识别方法自动寻找,部分特征点可以用插值方法得到,一些少量的特征点可用手动方式确定,但原则上要求手动寻找的点越少越好。例如,嘴角、眼角、眉毛等具有显著特征的部位采用模式识别方法自动寻找;唇线或眉毛边缘位置可以用插值方法获取特征点数据;脸颊等没有明显特征的点需要用手动方式确定。不论采用何种方式,都需要进行手动调整,自动逼近,以达到人脸三维曲线的逼真效果。
5、在模型相应的正面照片上用模式识别方法自动寻找特征点,并根据部分特征点的坐标自动计算FAPU(Facial Animator ParameterUnit)一脸部动画参数标准中的ESO,IRISDO(可忽略),ENSO和MWO的长度。可以增加使用可靠的特征点作为FAPU。
6、在两张相关照片上找到相对应的一组特征点,从而计算出照相机的相对位置(Photogrammetry方法——由已知照片的特征点数据反推出相机的位置)。
7.在照片上找出相对应的特征点组合,从而计算出每一个特征点在三维空间中相对坐标。
8.在特征点寻找过程中尽量用软件自动寻找,但可以在起始时收到定一到二个关键特征点,可以缩小搜索的范围,减少计算量。特征点自动寻找的算法有许多,如:模板匹配,Snake算法,ASM(ActiveShape Model),AAM(Active Appearance Model),等。
9.在特征点寻找过程中,会有部分的偏移和不准确,所以允许少量手动调整特征点。
三.特征点匹配
1、在人头模型库中首先寻找与照片上FAPU最接近的一组头模型;在已经建好的人头模型库中的头模型具备基本的特征长度的标示,可以缩小特征点搜索的范围。
2、在此组人头模型中寻找与照片上空间特征点最接近的人头模型。
3、调整此人头模型上特征点的空间坐标,使其逼近相对应的照片上空间特征点,使得人头模型更加橡照片上的人脸结构。采用区域微调的方法,在调整特征点坐标时,以移动一个围绕特征点的面逼近此特征点。
4、比较人头模型上特征点与照片上空间特征点以及二维效果图与照片的灰度分布的差异,重复步骤三(3),直到误差最小。二维效果图的对比进行整体比较,再局部精确定位。通过模型模拟灯源,制造与像片相同的光照效果,可以实现灰度分布差异的比较,但如果原像片的光源较多,出现漫射光,将无法完全模拟,就不可能在灰度上实现完全的比较。
5、将新的人头模型放入模型库中,其中会标注此新的人头模型的特征长度和特征点。
Claims (4)
1.一种利用一组二维照片与三维模型库生成新的三维模型的方法,其特征在于,所述方法包括以下步骤:
A.照相
用照相机或摄像机围绕被照人头照一组照片;
B.特征点识别
a.在每张照片上寻找特征点;
b.根据部分特征点的坐标计算被照人头的动画参数标准中的主要特征距离;
c.在两张相关照片上找到相对应的一组特征点,从而计算出照相机的相对位置;
d.在照片上找出相对应的特征点组合,从而计算出每一个特征点在三维空间中相对坐标;
C.特征点匹配
a.在人头三维模型库中寻找与照片上被照人头最接近的一组模型;可以先用特征距离参数先找出一组接近的模型,再用特征点空间位置找到一个最接近的三维模型;也可以直接用特征点空间位置找到一个最接近的三维模型;
b.调整此三维模型上特征点的空间坐标,使其逼近相对应的照片上空间特征点,采用区域微调的方法,在调整特征点坐标时,以移动一个围绕特征点的面逼近此特征点;
c.比较模型上的特征点与照片上空间特征点以及二维效果图与照片的灰度分布的差异,重复步骤C中的步骤b,直到误差最小;二维效果图的对比进行整体比较,再局部精确定位;
d.将新的模型放入模型库中,标注此新的被照人头模型的特征长度和特征点。
2.根据权利要求1所述的利用一组二维照片与三维模型库生成新的三维模型的方法,其特征在于,所述照相步骤中,对被照人头在不同角度照相至少照两张以上。
3.根据权利要求1或2所述的利用一组二维照片与三维模型库生成新的三维模型的方法,其特征在于,所述特征点识别步骤中,部分特征点可用模式识别方法自动寻找,或者用插值方法得到,也可以使用手动方式确定。
4.根据权利要求1所述的利用一组二维照片与三维模型库生成新的三维模型的方法,其特征在于,所述照相步骤中,照相时相机与被照人头的距离不变,光照条件不变的条件下照被照人头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB021347565A CN1308897C (zh) | 2002-09-15 | 2002-09-15 | 利用一组二维照片与三维模型库生成新的三维模型的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB021347565A CN1308897C (zh) | 2002-09-15 | 2002-09-15 | 利用一组二维照片与三维模型库生成新的三维模型的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1482580A CN1482580A (zh) | 2004-03-17 |
CN1308897C true CN1308897C (zh) | 2007-04-04 |
Family
ID=34145940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB021347565A Expired - Fee Related CN1308897C (zh) | 2002-09-15 | 2002-09-15 | 利用一组二维照片与三维模型库生成新的三维模型的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1308897C (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101000296B (zh) * | 2006-12-20 | 2011-02-02 | 西北师范大学 | 基于数字图像技术三维重构金相组织微观浮凸的方法 |
US7844105B2 (en) * | 2007-04-23 | 2010-11-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining objects poses from range images |
CN103546739A (zh) * | 2012-07-10 | 2014-01-29 | 联想(北京)有限公司 | 电子设备及物体识别方法 |
US9208606B2 (en) * | 2012-08-22 | 2015-12-08 | Nvidia Corporation | System, method, and computer program product for extruding a model through a two-dimensional scene |
CN103985153B (zh) * | 2014-04-16 | 2018-10-19 | 北京农业信息技术研究中心 | 模拟植株生长的方法和系统 |
CN104268930B (zh) * | 2014-09-10 | 2018-05-01 | 芜湖林一电子科技有限公司 | 一种坐标对比三维扫描方法 |
CN106504285A (zh) * | 2016-11-09 | 2017-03-15 | 湖南御泥坊化妆品有限公司 | 贴片式面膜模板构建方法与系统 |
CN107507269A (zh) * | 2017-07-31 | 2017-12-22 | 广东欧珀移动通信有限公司 | 个性化三维模型生成方法、装置和终端设备 |
CN107578468A (zh) * | 2017-09-07 | 2018-01-12 | 云南建能科技有限公司 | 一种将二维图像转化成三维模型的方法 |
CN108717730B (zh) * | 2018-04-10 | 2023-01-10 | 福建天泉教育科技有限公司 | 一种3d人物重建的方法及终端 |
CN110826045B (zh) * | 2018-08-13 | 2022-04-05 | 深圳市商汤科技有限公司 | 认证方法及装置、电子设备和存储介质 |
CN113538708B (zh) * | 2021-06-17 | 2023-10-31 | 上海建工四建集团有限公司 | 二维视图中对三维bim模型进行展示和交互的方法 |
CN115534567B (zh) * | 2022-10-14 | 2024-08-20 | 南阳理工学院 | 一种高精度仿真人物雕塑的制备方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1188948A (zh) * | 1996-12-27 | 1998-07-29 | 大宇电子株式会社 | 用于对脸部运动编码的方法和装置 |
WO1999059106A1 (en) * | 1998-05-13 | 1999-11-18 | Acuscape International, Inc. | Method and apparatus for generating 3d models from medical images |
US6175648B1 (en) * | 1997-08-12 | 2001-01-16 | Matra Systems Et Information | Process for producing cartographic data by stereo vision |
-
2002
- 2002-09-15 CN CNB021347565A patent/CN1308897C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1188948A (zh) * | 1996-12-27 | 1998-07-29 | 大宇电子株式会社 | 用于对脸部运动编码的方法和装置 |
US6175648B1 (en) * | 1997-08-12 | 2001-01-16 | Matra Systems Et Information | Process for producing cartographic data by stereo vision |
WO1999059106A1 (en) * | 1998-05-13 | 1999-11-18 | Acuscape International, Inc. | Method and apparatus for generating 3d models from medical images |
Also Published As
Publication number | Publication date |
---|---|
CN1482580A (zh) | 2004-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1308897C (zh) | 利用一组二维照片与三维模型库生成新的三维模型的方法 | |
CN101452582B (zh) | 一种实现三维视频特效的方法和装置 | |
US11037355B2 (en) | Apparatus and method for performing motion capture using a random pattern on capture surfaces | |
CN102419868B (zh) | 基于3d头发模板进行3d头发建模的设备和方法 | |
CN103366400B (zh) | 一种三维头像自动生成方法 | |
CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
KR101555347B1 (ko) | 비디오 기반 얼굴 애니메이션 생성 장치 및 방법 | |
US20020106114A1 (en) | System and method for face recognition using synthesized training images | |
CN107067429A (zh) | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 | |
US20120062719A1 (en) | Head-Mounted Photometric Facial Performance Capture | |
CN112258387A (zh) | 一种基于人脸照片生成漫画人像的图像转换系统及方法 | |
WO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
CN1920886A (zh) | 基于视频流的三维动态人脸表情建模方法 | |
CN101853523A (zh) | 一种采用草图创建三维人脸模型的方法 | |
CN106447763A (zh) | 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法 | |
CN108564120A (zh) | 基于深度神经网络的特征点提取方法 | |
CN101694691A (zh) | 一种人脸图像合成方法及装置 | |
CN109087340A (zh) | 一种包含尺度信息的人脸三维重建方法及系统 | |
CN109325994B (zh) | 一种基于三维人脸数据增强的方法 | |
KR101116838B1 (ko) | 개인성향을 반영한 과장표정 생성방법 | |
CN109448098A (zh) | 一种基于建筑物单张夜景图像重建虚拟场景光源的方法 | |
CN108257210A (zh) | 一种通过单张照片生成人脸三维模型的方法 | |
CN102509345B (zh) | 一种基于画家知识的肖像艺术光影效果生成方法 | |
Shan et al. | Individual 3d face synthesis based on orthogonal photos and speech-driven facial animation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070404 Termination date: 20160915 |
|
CF01 | Termination of patent right due to non-payment of annual fee |