CN109844818A - 用于建立元素的可变形3d模型的方法和相关联系统 - Google Patents
用于建立元素的可变形3d模型的方法和相关联系统 Download PDFInfo
- Publication number
- CN109844818A CN109844818A CN201780032523.6A CN201780032523A CN109844818A CN 109844818 A CN109844818 A CN 109844818A CN 201780032523 A CN201780032523 A CN 201780032523A CN 109844818 A CN109844818 A CN 109844818A
- Authority
- CN
- China
- Prior art keywords
- point
- curvature
- shape
- data base
- initial data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 210000005069 ears Anatomy 0.000 claims description 16
- 240000006409 Acacia auriculiformis Species 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 241000270295 Serpentes Species 0.000 claims description 3
- 238000001218 confocal laser scanning microscopy Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 10
- 238000000513 principal component analysis Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012880 independent component analysis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 102100023170 Nuclear receptor subfamily 1 group D member 1 Human genes 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- IYLGZMTXKJYONK-ACLXAEORSA-N (12s,15r)-15-hydroxy-11,16-dioxo-15,20-dihydrosenecionan-12-yl acetate Chemical compound O1C(=O)[C@](CC)(O)C[C@@H](C)[C@](C)(OC(C)=O)C(=O)OCC2=CCN3[C@H]2[C@H]1CC3 IYLGZMTXKJYONK-ACLXAEORSA-N 0.000 description 1
- 241000746998 Tragus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- IYLGZMTXKJYONK-UHFFFAOYSA-N ruwenine Natural products O1C(=O)C(CC)(O)CC(C)C(C)(OC(C)=O)C(=O)OCC2=CCN3C2C1CC3 IYLGZMTXKJYONK-UHFFFAOYSA-N 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/021—Flattening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
方法(1)，用于从元素的示例的初始数据库(2)生成这样的元素的三维形变模型，所述元素提供数据，所述数据允许对于所述初始数据库的所述元素中的每个元素，确定基于点和连接所述点的三角网络的三维网格化表面。
Description
技术领域
本发明涉及一种用于生成元素的三维形变模型的方法和系统。
背景技术
由Blanz和Vetter于1999年首次介绍(“A morphable model for the synthesisof 3d faces”，作者Volker Blanz和Thomas Vetter，发表于Proceedings of the 26thAnnual Conference on Computer Graphics and Interactive Techniques，SIGGRAPH’99，第187-194页，New York，NY，USA，1999，ACM Press/Addison-Wesley Publishing Co.)，形变模型的流行度从此不断增加。
这些形变模型用于三维或3D动画(“Mpeg-4compatible 3D facial animationbased on morphable model”，作者Bao-Cai Yin，Cheng-Zhang Wang，Qin Shi和Yan-FengSun，发表于Machine Learning and Cybernetics，2005，Proceedings of2005International Conference，卷8，第4936–4941页，卷8，2005年8月；以及“Statisticalgeneration of 3D facial animation models”作者Rudomin，A.Bojorquez和H.Cuevas，发表于Shape Modeling International，2002，Proceedings，第219–226页，2002.)以及用于身份验证或识别的目的(“Face recognition based on fitting a 3D morphable model”作者Volker Blanz和Thomas Vetter，Pattern Analysis and Machine Intelligence，IEEE Transactions，25(9):1063–1074，2003；“Automatic 3D face verification fromrange data”作者Gang Pan，Zhaohui Wu和Yunhe Pan发表于Acoustics，Speech，andSignal Processing，2003，Proceedings.(ICASSP’03).2003IEEE InternationalConference，卷3，第III–193–6页卷3，2003年4月；“Audio-and Video-Based BiometricPerson Authentication”作者Alexander M.Bronstein，Michael M.Bronstein和RonKimmel，4th International Conference，AVBPA 2003Guildford，UK，June 9–11，2003Proceedings，章节Expression-Invariant 3D Face Recognition，第62–70页，Springer Berlin Heidelberg，Berlin，Heidelberg 2003；“3d shape-based facerecognition using automatically registered facial surfaces”作者M.O.Irfanoglu，B.Gokberk和L.Akarun，发表于Pattern Recognition，2004，ICPR 2004，Proceedings ofthe17th International Conference，卷4，第183–186页卷4，2004年8月。
最初应用于人脸建模，这些模型已经逐渐被转换为许多其他元素，如耳朵(“Anovel 3D ear reconstruction method using a single image”作者Chen Li，ZhichunMu，Feng Zhang和Shuai Wang，发表于Intelligent Control and Automation(WCICA)，2012 10th World Congress，第4891–4896页，IEEE，2012；“3D morphable modelconstruction for robust ear and face recognition”作者John D Bustard和Mark SNixon，发表于Computer Vision and Pattern Recognition(CVPR)，2010IEEEConference，第2582–2589页.IEEE，2010.)，整个人体(“The space of human bodyshapes:reconstruction and parameterization from range scans”作者Brett Allen，Brian Curless和Zoran Popovic，发表于ACM transactions on graphics(TOG)，卷22，第587–594页.ACM，2003.)或者甚至是动物骨架(“Morphable model of quadrupedsskeletons for animating 3D animals”作者Lionel Reveret，Laurent Favreau，Christine Depraz和Marie-Paule Cani，发表于Proceedings of the 2005ACM SIGGRAPH/Eurographics Symposium on Computer Animation，SCA ’05，第135–142页，New York，NY，USA，2005.ACM.)。
然而，无论研究对象如何，构造步骤仍然基本相同，即：
1)获取用作统计训练示例的3D数据。
2)所述训练示例的密集配准(registration)。
3)使用诸如主成分分析(PCA)、独立成分分析(ICA)或其衍生物的统计分析方法创建特定于研究对象的向量空间。
这个过程的最后一步，步骤3)，特别产生了所谓的平均向量和变形模式，其线性组合随后不仅允许训练示例被改造而且还允许生成新元素(例如在面部的形变模型的情况下的新面部)。
然而，尽管这种方法明显简单，但其应用必须解决两个主要问题：确定哪些点可以在每个训练示例中配准的问题，以及在足够数量的点(通常为几千个)上执行该关联的问题。
为此，Blanz和Vetter提出使用光流算法(“Hierarchical motion-based framerate conversion”，作者James R Bergen和R Hingorani，技术报告，David Sarno研究中心，1990)。
在这个阶段，将注意到用于扫描采集的激光器提供了圆柱形表示(也称为2.5D表示)。因此，纹理的二维或2D图像立即可用并且被资本化以实现上述算法。
然而，除了对其初始化非常敏感之外，该算法还要求从一个示例到下一个示例的变形很小(以视频的连续图像的方式)，在一般情况下没有理由这样做。此外，圆柱形表示具有产生遮挡的主要缺点。虽然后者在面部的情况下相对较少，使Blanz和Vetter的方法可用，但同样的情况不适用于更复杂形状的情况，例如耳朵的形状，对其而言，信息的丢失可能被证明是不可接受的。
由此，Chen Li等他们利用所研究的对象(即耳朵)的特定形状以及位置数据，即在轮廓中看到的耳朵的照片和深度图，来构建三角网格分层生长算法(“A novel 3D earreconstruction method using a single image”，作者Chen Li，Zhichun Mu，Feng Zhang和Shuai Wang，发表于Intelligent Control and Automation(WCICA)，2012 10th WorldCongress，第4891-4896页，IEEE，2012)。深度图也称为2.5D图像或“z图”，是通常使用3D相机创建的z坐标的基于像素的图像。深度图中的灰度级表示高度值。
在照片上进行轮廓检测，并由操作者放置两个初始标记。将这两个点连接的段的垂直平分线与耳朵的外部轮廓的交点产生第三点。通过使用新点和前面的点迭代此方法，作者创建了17个点，这些点描述了耳朵的外部轮廓。经由类似的过程，他们还创建了其他一系列描述内部轮廓的点。
接下来，一系列三角测量允许其获得使耳朵成为23552个三角形和13601个点的确定性分割。假设用于拍照的静止相机和用于产生深度图的3D相机位于相同位置，3D坐标可以与执行的分割相关联，从而实现配准。
然而，数据的本质使得对耳朵的卷积不可达，并且最终不允许获得简化的模型，因此限制了该方法的潜在应用范围。
此外，由于匹配方法是基于全局而非局部几何考虑因素，例如从图像的一端开始的直线与另一端存在的曲线的交点，它导致稀释甚至完全丧失图像传达的语义信息。
因此，耳朵的特征点，例如耳屏或对耳屏，不能可靠地与一个或多个构造的描述点相关联。
最后，如其作者所提到的，该方法的主要缺点是仅对凸形状给出正确的结果，例如，对于简单的星形或新月形几何形状，返回对比度的混沌结果。
Kaneko等的(“Ear shape modeling for 3D audio and acoustic virtualreality:The shapebased average hrtf”，作者Shoken Kaneko，Tsukasa Suenaga，MaiFujiwara，Kazuya Kumehara，Futoshi Shirakihara和SaSatoshi Sekine，AudioEngineering Society Conference:61st International Conference:Audio for Games，Audio Engineering Society，2016.)，他们使用志愿者耳朵的模具的X射线扫描，以及特权使用非刚性3D配准方法(“A new point matching algorithm for non-rigidregistration”)，作者Haili Chui和Anand Rangarajan，Computer Vision and ImageUnderstanding，89(2)：114-141，2003；“Robust point set registration usinggaussian mixture models”，作者Bing Jian和Baba C Vemuri，Pattern Analysis andMachine Intelligence，IEEE Transactions，33(8)：1633-1645，2011.)。网格由大约3000个峰组成，并且使用高斯混合物寻找将参考网格转换成数据库的其他网格的变形向量。
发明内容
根据本发明的一个方面，提出了一种方法，用于从元素的示例的初始数据库生成这样的元素的三维形变模型，所述元素提供数据，所述数据允许对于初始数据库的所述元素中的每个元素，确定基于点和连接所述点的三角网络的三维网格化表面，其中：
-对于所述初始数据库的每个示例元素，在其网格化表面的每个点处，(通过测量或计算)确定表示在该点处的元素的表面的形状的至少一个参数的值，以便获得示例元素的改进的数据库；
-对于与所述初始数据库的元素相对应的所述改进的数据库的每个示例元素，在所述三维网格化表面上执行平坦化，以便获得所述网格化表面的二维表示；
-在所述元素的网格化表面的所有二维表示中，使用表示在所述点处的元素的表面的形状的一个或多个参数的所述确定值和用于分析所述网格化表面的所述二维表示的方法，使多个相应点配准；
-基于所述配准点，对所述初始数据库的所述三维网格化表面进行下采样；
-基于所述初始数据库的三维网格化表面，确定包括元素的平均形状和变形模式的元素的模型；以及
-所述元素的所述平均形状被重新网格化。
因此，本发明不依赖于纹理信息的存在，并且可以处理没有纹理信息的数据集，例如MRI结果。
根据一种实施方式，表示在初始数据库的示例的网格化表面的点处的元素的表面的形状的所述一个或多个参数包括在所述点处的局部曲率和/或在所述点处的形状描述符。
因此，可以使表示在表面上的点处的元素表面的形状的一个或多个参数的复杂性根据要求和/或外部约束而变化。
在一个实施方式中，所述局部曲率包括最小曲率和/或最大曲率和/或高斯曲率和/或平均曲率。
因此，曲率类型的选择是用于根据要求调整方法以适应所研究对象的特性的杠杆。
根据一种实施方式，形状描述符包括索引形状的表面斑块(patch)直方图。
因此，该方法可以被配置为检测一种或多种类型的形状的或多或少的显着存在，而不是通过曲率的测量来进行。
例如，所述平坦化使用ABF、LSCM、ABF++或HLSCM方法。
因此，该方法不限于使用一种特定的平坦化方法，而是可以根据所获得的优点和该时刻的要求，选择这样的方法或这样的其他方法。
根据一种实施方式，所述配准使用使所述二维表示成为NC个曲率水平的分割，所述NC个曲率水平均匀地分布在表示所述元素的表面的形状的一个或多个参数的值所取的值的范围上。
因此，可以根据客观和可再现的标准来分割二维表示。
作为变型，所述配准使用使所述二维表示成为NC个曲率水平的分割，所述分割考虑表示所述元素的表面的形状的一个或多个参数的值所取的值的统计分布。
因此，可以使前述变体独立于极值的存在，但也考虑值的某些范围的过度表示或欠表示。
在一个实现方式中，所述配准使用数量为的手动配准点。
因此，操作者精确地控制其定位。这在构建小型模型(用于测试目的或通过缺乏训练示例)时特别有用。
例如，该方法是半自动的，并且在所述配准期间，为当前元素手动配准的点的数量随着处理元素的数量而减少。
因此，在添加新示例期间，模型的构建时间及其在人力资源方面的成本变得微小。
作为变型，该方法是自动的并且基于snake，手动配准的点的数量是零。
因此，模型的构建时间及其在人力资源方面的成本被最小化，使得其他构造参数的优化(曲率计算的参数、训练示例的点数、平坦化算法的选择等)更简单。后两种变体在大型训练数据库的背景下特别有利。
在一个实施方式中，所述元素是右耳和/或左耳，和/或头部，和/或个体的躯干。
根据本发明的另一方面，还提出了一种系统，用于从元素的示例的初始数据库生成这样的元素的三维形变模型，所述元素提供数据，所述数据允许对于初始数据库的所述元素中的每个元素，确定基于点和连接所述点的三角网络的三维网格化表面，包括配置成实现如上所述的方法的计算机。
附图说明
通过研究一些实施例将更好地理解本发明，这些实施例通过完全非限制性示例描述并由附图示出，其中：
图1至7示意性地示出了根据本发明的一个方面的方法，所述方法应用于人耳；并且
图8至10示意性地示出了根据本发明的一个方面的方法，所述方法应用于人脸。
具体实施方式
本发明是上述方法的替代方案，并且允许基于其形态学的研究来创建任何类型的对象或元素的形变模型。
在说明书的其余部分中，所描述的示例元素将是人耳或人脸，但是本发明可以应用于任何其他元素。
特别地，本发明不需要纹理信息，因此避免了影响光学流算法(例如SFM(来自运动的结构)或SFS(来自阴影的结构)算法)的姿势和照明问题。另外，本发明使得可以自然地适应三维或3D数据，就像2.5D数据一样。最后，本发明允许保留语义信息，或者换句话说，保留由区域、一组峰或甚至单个峰传达的物理意义。因此，在人脸的例子中，构成平均形状的鼻子的峰也将构成变形后模型的任何面部的鼻子。这种观察对于子结构也是有效的，例如在当前情况下：鼻子的末端、右鼻孔和左鼻孔或脊。
图1显示了根据本发明一个方面的方法的主要步骤。
换句话说，图1示出了用于从示例的初始数据库生成元素的三维形变模型的方法1，该数据库被加载2到实现该方法的计算单元中，这些元素提供数据，所述数据允许对于初始数据库的所述元素中的每个元素，确定基于点和连接所述点的三角网络的三维网格化表面，其中：
-对于所述初始数据库的每个示例元素，在其网格化表面的每个点处，(通过测量或计算)确定表示在该点处的元素的表面的形状的至少一个参数的值3，以便获得示例元素的改进的数据库；
-对于与所述初始数据库的元素相对应的所述改进的数据库的每个示例元素，在所述三维网格化表面上执行平坦化或展开(unwrapping)4，以便获得所述网格化表面的二维表示；
-在所述元素的网格化表面的所有二维表示中，使用表示在所述点处的元素的表面的形状的一个或多个参数的所述确定值和用于分析所述网格化表面的所述二维表示的方法，使多个相应点配准5；
-基于所述配准点，对所述初始数据库的所述三维网格化表面进行下采样6；
-基于所述初始数据库的三维网格化表面，确定包括元素的平均形状和变形模式的元素的模型7；以及
-所述元素的所述平均形状被重新网格化8。
可以对初始数据库的每个示例元素进行下采样。
因此，当可用计算能力有限时，可以相应地调整数据。
作为变型，除了被视为参考的所述示例之一外，可以对初始数据库的每个示例元素进行下采样。
因此，可以提高后续自动配准步骤的效率，而不需要显著更高的计算能力。
图2a和2b示出了使用耳数据库获得的模型的示例。图2a示出了未网格化的平均耳朵，图2b示出了在第三变形模式下变形的同一耳朵。在目前的情况下，这是右耳的问题。
更确切地说，通过主成分分析(PCA)获得的模型采用平均和变形模式的形式或按重要性顺序分层的特征值/特征向量对的形式，或者以降低特征值顺序的其他项的形式。因此可以说第一变形模式、第二变形模式等。
在本发明中，在3D全域中，每个变形模式表示由点云的元素经历的一组移动类型。可以将这些类型的移动视为每个点的方向和移动速度的数据。乘法系数的数据可以比作前面类比中的持续时间，允许计算其精确移动。
图2a显示了没有变形的平均耳朵，前面的图是具有变形的同一耳朵。在两种情况下，灰度级表示点相对于它们在平均耳朵内的位置的移动。在图2a中，看到没有移动，灰色阴影是均匀的。
在图2b中，使用了第三变形模式。具有最高灰度级的峰是那些移动最多的峰，反之亦然。
因此，本模型允许显现出具有一致变化的趋势(或者如果采用互补方法则是分开地变化的趋势)的耳朵的物理子结构。
每个点的灰度级与其相对于其在平均形状中的位置的偏差相关联(灰度级越高，偏差越大)。
根据本发明的一个方面的方法实现如下：
1)假设训练示例的数据库可用，每个示例允许直接或在处理之后在R3中重建网格化表面。
2)对于每个示例：
-测量每个示例的每个点的局部几何特征。每次测量的结果与为其实现所服务的点相关联。
该测量可以是针对局部曲率，如图3所示，例如在所讨论的点处的最小、最大、高斯或平均曲率，是针对更复杂的形状描述符，诸如索引形状的表面斑块直方图(SPHIS)，或是针对等同物或以上的组合。图3的3D耳朵具有取决于局部平均曲率的灰度级-局部平均曲率越高，灰度越暗。
-表面被展开，这因此允许获得采取2D图像(表示为im2D)形式的每个网格的表示，如图4a和4b所示(其分别对应于在曲率计算和平坦化之后的对象9的左耳和右耳)，并且获得连通图(该图通常表示为Gc但未示出)。在图4a和4b中，灰度级使得局部平均曲率越高，灰度越暗。
此展开可以以多种方式，诸如借助ABF(基于角度的平坦化)算法、LSCM(最小二乘保角映射)算法或它们的衍生物(ABF++算法、HSLCM(分层最小二乘保角映射)算法等)来进行。
3)使用在点2)中测量的特征和与2D图像处理相关的分析方法，基于2D图像执行最大点的配准，如图5所示。图5在左侧以2D示出以及在右侧以3D示出在等值曲线(isocurve)9上手动配准88个点之后的同一耳朵，其在左侧的2D图像中示出。在图5中，灰度级使得局部平均曲率越高，灰度越暗。
4)然后使用在配准期间保留的点10来对初始3D网格进行下采样。然后使用常规构造工具(诸如主成分分析(PCA)或中间成分分析(ICA)等)将得到的点云用于形成实际模型。
然后获得称为平均形状和变形模式的形状，如图2b所示。
5)重新网格化平均形状以允许将表面赋予模型。
下面是本发明方法的示例实施例，涉及3D形变耳朵模型。
使用的数据库包括可从SYMARE数据库免费访问的十个示例，SYMARE是“悉尼-约克形态和耳朵记录”的首字母缩写。
另外，这10对耳朵的所有左耳相对于矢状平面对称，以便产生20个右耳(10个初始右耳和通过10个左耳的对称化获得的10个右耳)。
这些右耳的索引集合将表示为并且作为参考右耳的右耳索引将表示为i＝1。
出于一致性的原因，将如此获得的耳朵的网格下采样至约6900个峰。存在这个纯粹的可选步骤，以便优化数字处理时间并促进任何其他训练示例的后续集成。
最后，在右耳对称化之后，选择数据库的第一个对象的左耳作为参考耳朵。在文档的其余部分中，由ref索引的所有符号自然与此引用相关(特别是，iref＝1)。
然后进行本发明说明书的第2)点。局部平均曲率用作几何特征并作为纹理应用于3D网格，如图3所示。
通过LSCM(最小二乘保角映射)算法进行展开，如图4a和4b所示。
如第3点所述，可以采用其他算法。没有特别的先决条件。连通图的峰的配准需要执行以下步骤：
1)将2D图像分割成NC＝10个曲率水平的步骤，所述曲率水平在曲率测量所取的值的范围上均匀分布，如图5所示。
2)选择参考连通图的个峰的步骤。
该选择在nC等值曲率(isocurvature)上进行，如图6的示例所示，其中所述线本身被选择以确保峰的均匀分布。
3)在每个对应的连通图(未示出)i∈I{iref}中选择对应峰的步骤i∈I{iref}。
4)对从索引为iref的参考耳朵的连通图发出的个峰执行三角测量(在当前情况下，Delaunay三角测量)的步骤，其中连通图或由此产生的连通图被转移到预先分离的其他峰组。
这创建了有限集的三角形，索引为在本案中，
如图7所示，由此为第i个耳朵创建的集合表示为图7示出了在顶部索引为1的耳朵以及在底部索引为9的耳朵，分别在左边以2D和在右边以3D展开。在耳朵1上进行个选定峰的三角测量并转移到耳朵9。以示例的方式，对于耳朵1和9都指示该三角测量的三角形数字116。
5)对于每个j∈J，被认为是第j个三角形的集合的步骤。每个元素j可能包含图形的峰，其图心坐标是在特定于三角形的坐标系中计算的。
6)解析包括在中的一组峰的步骤，并且对于其中每一个，在每个其他三角形中，寻求以图心坐标方式最接近的峰。这产生了新的配准。
然而，由于图形的峰需要不与另一个图形的多个峰相关联，因此从图心距离的观点来看最不感兴趣的冲突配准被删除。因此，从Tj，j∈J的元素获得一组自动配准。
这是针对所有j∈J完成的，并且最终，针对所有耳朵获得个自动配准。在本示例中，个点。
在可能的变体和改进中，可能列出以下内容：
-使用其他标准来表征局部几何形状而不仅仅是曲率，并且实际上联合其中多个的使用。
-所有耳朵或除了参考耳朵之外的所有耳朵的上采样。这允许增加自动配准的效率，并因此增加模型的最终分辨率。
这个额外的步骤使得其可以从1460个点传递到5076个点，被置为面向初始网格中的6900个峰。例如，该上采样可以使用初始三角形的图心。
-参数Nc和当然可以设置为其他值。
-曲率水平可能不是在可用范围内均匀分布，而是考虑曲率值的统计分布。
-可以自动或半自动选择在配准步骤2)中选择的个点，例如：
-可以用第一耳朵进行选择过程的逐步训练，从而允许在随后的耳朵上进行预选。
-基于snake的方法可用于建立一个图像的等值线(isoline)到另一个图像的对应等值线的变换的细节。
在另一示例实施例中，如下，将该方法应用于人脸。
本示例中使用的面部数据库包括西澳大利亚大学的面部“UWA面部数据库”的3D数据库的示例2，5，6和14，其可在以下地址获得：
“http://staffhome.ecm.uwa.edu.au/～00053650/databases.html”。
对于应用于人耳的上述示例，选择网格作为参考。在本案中，这是数据库的第2号主题。
同样，局部平均曲率也用作几何特征，并通过纹理的方式应用于3D网格，如图8所示，其中灰度级代表局部平均曲率-灰度级越高或越暗，局部平均曲率越高。
相反，与前面的情况相反，可用的网格没有被下采样。初始峰的数量在16655和25951之间变化。
然后使用与基于耳朵的所述示例相同的方法来执行本发明的描述的步骤2。
唯一值得注意的差异是训练示例的数量(4个面部)和手动注释点的数量如图9所示，其显示了在位于等值曲线上的37个点的手动配准后的给定面部的2D和3D表示的示例，类似于图5中应用于耳朵的示例。
获得的结果是包括6846个峰并形成平均面部的形变面部模型，如图10中灰度级所示，伴随有3种变形模式。
在本申请中，已经描述了构建形变模型的创新方法。该方法相对于现有技术具有许多优点，特别是：
-可以应用于任何类型的3D形状，而不会丢失信息。
-通过所考虑的特征的局部特征来保留附加到所研究对象的语义方面。
-完全可自动化。
-相对于训练示例的纹理不受限制，因此相对于数据采集期间的照明条件不受限制。
-能够结合2D图像分析算法，这些算法比3D世界的那些更加多样和成熟。
上述方法的步骤可以由执行计算机程序的一个或多个可编程处理器执行，以便通过对输入数据执行操作并生成输出数据来执行本发明的功能。
计算机程序可以用任何形式的编程语言编写，包括编译或解释语言，并且计算机程序可以以任何形式部署，包括作为自主程序或子程序、元素或适用于计算环境的其他单元。可以部署计算机程序以在单个站点处的一个计算机上或多个计算机上执行，或者分布在多个站点上并通过通信网络连接在一起。
已经描述了本发明的优选实施例。在不脱离本发明的精神和范围的情况下，可以进行各种修改。因此，其他实施方式落入以下权利要求的范围内。
Claims (12)
1.一种方法(1)，用于从元素的示例的初始数据库生成这样的元素的三维形变模型(2)，所述元素提供数据，所述数据允许对于所述初始数据库的所述元素中的每个元素，确定基于点和连接所述点的三角网络的三维网格化表面，其中：
-对于所述初始数据库的每个示例元素，在其网格化表面的每个点处，确定表示在该点处的所述元素的表面的形状的至少一个参数的值(3)，以便获得示例元素的改进的数据库；
-对于与所述初始数据库的元素相对应的所述改进的数据库的每个示例元素，在所述三维网格化表面上执行平坦化(4)，以便获得所述网格化表面的二维表示；
-在所述元素的所述网格化表面的所有所述二维表示中，使用表示在所述点处的所述元素的表面的形状的一个或多个参数的所确定的值和用于分析所述网格化表面的所述二维表示的方法，使多个相应点配准(5)；
-基于所述配准点，对所述初始数据库的所述三维网格化表面进行下采样(6)；
-基于所述初始数据库的所述三维网格化表面，确定包括所述元素的平均形状和变形模式的所述元素的模型(7)；以及
-所述元素的所述平均形状被重新网格化(8)。
2.如权利要求1所述的方法，其中，表示在所述初始数据库的示例的所述网格化表面的点处的所述元素的表面的形状的所述一个或多个参数包括在所述点处的局部曲率和/或在所述点处的形状描述符。
3.如权利要求2所述的方法，其中，所述局部曲率包括最小曲率和/或最大曲率和/或高斯曲率和/或平均曲率。
4.如权利要求2或3所述的方法，其中，所述形状描述符包括索引形状的表面斑块直方图(SPHIS)。
5.如前述权利要求中的一项所述的方法，其中，所述平坦化(4)使用ABF、LSCM、ABF++或HLSCM方法。
6.如权利要求1至5中的一项所述的方法，其中，所述配准(5)使用使所述二维表示成为NC个曲率水平的分割，所述NC个曲率水平均匀地分布在表示所述元素的表面的形状的所述一个或多个参数的值所取的值的范围上。
7.如权利要求1至5中的一项所述的方法，其中，所述配准(5)使用使所述二维表示成为NC个曲率水平的分割，所述分割考虑表示所述元素的表面的形状的所述一个或多个参数的值所取的值的统计分布。
8.如前述权利要求中的一项所述的方法，其中，所述配准(5)使用数量为的手动配准点。
9.如权利要求8所述的方法，所述方法是半自动的，其中，在所述配准(5)期间，为当前元素手动配准的点的所述数量随着处理元素的数量而减少。
10.如权利要求8所述的方法，所述方法是自动的并且基于snake，其中，手动配准的点的所述数量是零。
11.如前述权利要求中的一项所述的方法，其中，所述元素是右耳和/或左耳和/或头部，和/或个体的躯干。
12.一种用于从元素的示例的初始数据库生成这样的元素的三维形变模型的系统，所述元素提供数据，所述数据允许对于所述初始数据库的所述元素中的每个元素，确定基于点和连接所述点的三角网络的三维网格化表面，包括配置成实现根据前述权利要求中的一项所述的方法的计算机。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1654765 | 2016-05-27 | ||
| FR1654765A FR3051951B1 (fr) | 2016-05-27 | 2016-05-27 | Procede d'elaboration d'un modele deformable en trois dimensions d'un element, et systeme associe |
| PCT/EP2017/061607 WO2017202634A1 (fr) | 2016-05-27 | 2017-05-15 | Procédé d'élaboration d'un modèle déformable en trois dimensions d'un élément, et système associé |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109844818A true CN109844818A (zh) | 2019-06-04 |
| CN109844818B CN109844818B (zh) | 2023-11-03 |
Family
ID=56411768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780032523.6A Active CN109844818B (zh) | 2016-05-27 | 2017-05-15 | 用于建立元素的可变形3d模型的方法和相关联系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10489977B2 (zh) |
| EP (1) | EP3465629A1 (zh) |
| CN (1) | CN109844818B (zh) |
| FR (1) | FR3051951B1 (zh) |
| WO (1) | WO2017202634A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284243A (zh) * | 2021-03-02 | 2021-08-20 | 上海交通大学 | 三维表面模型的统计形状模型建立方法、系统、存储介质、终端 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG10201800147XA (en) | 2018-01-05 | 2019-08-27 | Creative Tech Ltd | A system and a processing method for customizing audio experience |
| SG10201510822YA (en) | 2015-12-31 | 2017-07-28 | Creative Tech Ltd | A method for generating a customized/personalized head related transfer function |
| US10805757B2 (en) | 2015-12-31 | 2020-10-13 | Creative Technology Ltd | Method for generating a customized/personalized head related transfer function |
| US10390171B2 (en) | 2018-01-07 | 2019-08-20 | Creative Technology Ltd | Method for generating customized spatial audio with head tracking |
| US11503423B2 (en) | 2018-10-25 | 2022-11-15 | Creative Technology Ltd | Systems and methods for modifying room characteristics for spatial audio rendering over headphones |
| US10966046B2 (en) | 2018-12-07 | 2021-03-30 | Creative Technology Ltd | Spatial repositioning of multiple audio streams |
| US11418903B2 (en) | 2018-12-07 | 2022-08-16 | Creative Technology Ltd | Spatial repositioning of multiple audio streams |
| US11221820B2 (en) | 2019-03-20 | 2022-01-11 | Creative Technology Ltd | System and method for processing audio between multiple audio spaces |
| CN112200024B (zh) * | 2020-09-24 | 2022-10-11 | 复旦大学 | 一种通过三维可形变模型学习的二维人脸表情识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070031028A1 (en) * | 2005-06-20 | 2007-02-08 | Thomas Vetter | Estimating 3d shape and texture of a 3d object based on a 2d image of the 3d object |
| CN103093498A (zh) * | 2013-01-25 | 2013-05-08 | 西南交通大学 | 一种基于平面三角网格模板的三维人脸自动标准化方法 |
| US20130271451A1 (en) * | 2011-08-09 | 2013-10-17 | Xiaofeng Tong | Parameterized 3d face generation |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102285376B1 (ko) * | 2015-12-01 | 2021-08-03 | 삼성전자주식회사 | 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치 |
| FI20165211A (fi) * | 2016-03-15 | 2017-09-16 | Ownsurround Ltd | Järjestely HRTF-suodattimien valmistamiseksi |
| US10474883B2 (en) * | 2016-11-08 | 2019-11-12 | Nec Corporation | Siamese reconstruction convolutional neural network for pose-invariant face recognition |
| US10600238B2 (en) * | 2017-03-09 | 2020-03-24 | Institute Of Automation, Chinese Academy Of Sciences | Image tampering forensics method and apparatus |
-
2016
- 2016-05-27 FR FR1654765A patent/FR3051951B1/fr active Active
-
2017
- 2017-05-15 CN CN201780032523.6A patent/CN109844818B/zh active Active
- 2017-05-15 EP EP17723989.4A patent/EP3465629A1/fr active Pending
- 2017-05-15 WO PCT/EP2017/061607 patent/WO2017202634A1/fr unknown
- 2017-05-15 US US16/300,044 patent/US10489977B2/en active Active
-
2019
- 2019-10-18 US US16/656,993 patent/US10762704B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070031028A1 (en) * | 2005-06-20 | 2007-02-08 | Thomas Vetter | Estimating 3d shape and texture of a 3d object based on a 2d image of the 3d object |
| US20130271451A1 (en) * | 2011-08-09 | 2013-10-17 | Xiaofeng Tong | Parameterized 3d face generation |
| CN103093498A (zh) * | 2013-01-25 | 2013-05-08 | 西南交通大学 | 一种基于平面三角网格模板的三维人脸自动标准化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 乔学军等: "基于参数化的三维颅面配准", 《计算机应用》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284243A (zh) * | 2021-03-02 | 2021-08-20 | 上海交通大学 | 三维表面模型的统计形状模型建立方法、系统、存储介质、终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3051951A1 (fr) | 2017-12-01 |
| US20200118332A1 (en) | 2020-04-16 |
| FR3051951B1 (fr) | 2018-06-15 |
| US10489977B2 (en) | 2019-11-26 |
| EP3465629A1 (fr) | 2019-04-10 |
| US10762704B2 (en) | 2020-09-01 |
| WO2017202634A1 (fr) | 2017-11-30 |
| CN109844818B (zh) | 2023-11-03 |
| US20190147650A1 (en) | 2019-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109844818A (zh) | 用于建立元素的可变形3d模型的方法和相关联系统 | |
| CN110009727A (zh) | 一种具有结构语义的室内三维模型自动重构方法及系统 | |
| JP4793698B2 (ja) | 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム | |
| GB2543893A (en) | Methods of generating personalized 3D head models or 3D body models | |
| CN107067473A (zh) | 对3d建模对象进行重构 | |
| Li et al. | Shape completion from a single rgbd image | |
| US11508107B2 (en) | Additional developments to the automatic rig creation process | |
| KR20140142470A (ko) | 나무 모델과 숲 모델 생성 방법 및 장치 | |
| CN116310143B (zh) | 一种三维模型构建方法、装置、设备和存储介质 | |
| CN116310219A (zh) | 一种基于条件扩散模型的三维脚型生成方法 | |
| CN106933976B (zh) | 建立人体3d净模型的方法及其在3d试衣中的应用 | |
| CN113168729B (zh) | 一种基于局部参考坐标系的3d形状匹配方法及装置 | |
| CN111862278A (zh) | 一种动画获得方法、装置、电子设备及存储介质 | |
| CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
| Kok et al. | FootNet: An efficient convolutional network for multiview 3D foot reconstruction | |
| CN106952333A (zh) | 一种创建人体参数化模型的方法及系统 | |
| Sienz et al. | Computational modelling of 3D objects by using fitting techniques and subsequent mesh generation | |
| CN109064547B (zh) | 一种基于数据驱动的单幅图像头发重建方法 | |
| JP2017122993A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN109684656A (zh) | 一种基于SolidWorks的装配约束继承方法 | |
| US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
| CN116912433B (zh) | 三维模型骨骼绑定方法、装置、设备及存储介质 | |
| CN117218300B (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
| CN117523152B (zh) | 一种三维人脸重建方法、装置、计算机设备和存储介质 | |
| Liu et al. | 3D face reconstruction via landmark depth estimation and shape deformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Berlin Applicant after: Mimi Hearing Technologies GmbH Address before: Berlin Applicant before: Mimi Hearing Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |