CN104318615A - 一种发音器官三维建模方法 - Google Patents
一种发音器官三维建模方法 Download PDFInfo
- Publication number
- CN104318615A CN104318615A CN201410597249.5A CN201410597249A CN104318615A CN 104318615 A CN104318615 A CN 104318615A CN 201410597249 A CN201410597249 A CN 201410597249A CN 104318615 A CN104318615 A CN 104318615A
- Authority
- CN
- China
- Prior art keywords
- vocal organs
- model
- dimensional
- general
- vocal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 167
- 230000001755 vocal effect Effects 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 24
- 210000003205 muscle Anatomy 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 15
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000001766 physiological effect Effects 0.000 claims description 4
- 206010053238 Amimia Diseases 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004091 panning Methods 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 abstract 3
- 230000008569 process Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 230000003387 muscular Effects 0.000 description 2
- 210000005070 sphincter Anatomy 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000003643 water by type Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种发音器官三维建模方法，该方法包括：从可见光图像中提取外部表观发音器官轮廓，并将该轮廓与发音器官通用三维几何模型进行匹配，获得重建后的外部表观发音器官三维模型；从X光图像中提取口腔内部发音器官轮廓，并将该轮廓与所述发音器官通用三维几何模型进行匹配，获得重建后的口腔内部发音器官三维模型；利用可见光图像和X光图像的匹配关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型，从而得到完整的发音器官三维模型。本发明公开的方法，可以准确、快速的获得一种能从内到外地反映发音器官在发音时真实形状的发音器官模型。
Description
技术领域
本发明涉及语音可视化、智能人机交互等技术领域，尤其涉及一种发音器官三维建模方法。
背景技术
视素(Viseme)是与音素相对应的、从内到外的所有发音器官的形状信息。随着对人体无伤害的核磁共振成像技术的进步，采集发音器官，尤其是口腔内部的发音器官的三维形状数据成为可能。
然而，由于采集设备过于昂贵和采集过程代价较大且采集过程难以达到实时，想快速精确地获取特定人的发音器官三维模型仍然是极为困难的。另外，特定人的可见光图像可以较为便捷和低廉地获取，但其只能获取发音器官的外部表观信息。
总而言之，现有技术中无法准确获得一种能从内到外地反映发音器官在发音时真实形状的发音器官模型。
发明内容
本发明的目的是提供一种发音器官三维建模方法，可以准确、快速获得一种能从内到外地反映发音器官在发音时真实形状的发音器官模型。
本发明的目的是通过以下技术方案实现的：
一种发音器官三维建模方法，该方法包括：
从可见光图像中提取外部表观发音器官轮廓，并将该轮廓与发音器官通用三维几何模型进行匹配，获得重建后的外部表观发音器官三维模型；
从X光图像中提取口腔内部发音器官轮廓，并将该轮廓与所述发音器官通用三维几何模型进行匹配，获得重建后的口腔内部发音器官三维模型；
利用可见光图像和X光图像的匹配关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型，从而得到完整的发音器官三维模型。
进一步的，建立所述发音器官通用三维几何模型的步骤包括：
利用核磁共振成像技术采集得到的一精细化的口腔内部发音器官通用几何三维模型；
将FaceGen软件中的皮肤模型作为描述外部表观发音器官的通用三维几何模型；
将所述精细化的口腔内部发音器官通用几何三维模型与所述描述外部表观发音器官的通用三维几何模型经过旋转、缩放和平移操作后，组合成为一发音器官通用三维几何模型。
进一步的，从可见光图像中提取外部表观发音器官轮廓及从X光图像中提取口腔内部发音器官轮廓包括：
采用三个分量的混合高斯模型来建模可见光图像和X光图像中发音器官区域中像素的颜色值，并采用二阶自回归方程来在线更新混合高斯模型中个各个分量的均值、方差和权重；
由可见光图像中像素的颜色值与该图像对应的混合高斯模型匹配获得外部表观发音器官轮廓；由X光图像中像素的颜色值与该图像对应的混合高斯模型匹配获得口腔内部发音器官轮廓。
进一步的，获得重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型包括：
在所述发音器官通用三维几何模型上根据发音器官的生理特性建立生理动画模型；
基于发音器官通用三维模型，以生理动画模型为约束，分别对从可见光图像和X光图像中提取的轮廓进行匹配来估计人脸动画参数：
其中，C＝(α1,α2,...,αm)为肌肉激励参数向量，为对应于第i条肌肉的激励参数，Xd为提取得到的轮廓，ρ为常量，D(αi)为对应于第i条肌肉的惩罚函数；
由估计出的人脸动画参数驱动所述生理动画模型来完成三维重建，从而分别得到外部表观发音器官三维模型与口腔内部发音器官三维模型。
进一步的，所述利用可见光图像和X光图像的匹配关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型包括：
选择正面垂直、无表情和无发音状态下的可见光图像和X光图像作为参考图像，在参考图像上标记若干个特征点，并在所述发音器官通用三维几何模型的对应位置进行特征点标记；
在所述参考图像和所述发音器官通用三维几何模型上定义能够描述人头形状特性的距离参数；
根据所述距离参数将所述参考图像和所述发音器官通用三维几何模型划分为多个区间，并计算所述参考图像和所述发音器官通用三维几何模型的对应区间的分段线性仿射变换，进而计算所述参考图像上特征点与所述发音器官通用三维几何模型上对应特征点的仿射变换矩阵；
以所述发音器官通用三维几何模型为中介，得到可见光图像和X光图像之间的仿射变换关系，并根据获得的仿射变换关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型。
进一步的，所述从可见光图像中提取外部表观发音器官轮廓包括：
从可见光正侧面图像中提取外部表观发音器官正侧面轮廓。
由上述本发明提供的技术方案可以看出，基于真实捕捉的发音器官形状数据，由此合成的发音器官三维模型稠密且能够满足高精度的要求，同时，结合可见光图像和X光图像的特点，各取所长进行相互补充，从而能够有效克服现有的、单一采用其中一种所面临的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种发音器官三维建模方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行完整描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
实施例
图1为本发明实施例一提供的一种发音器官三维建模方法的流程图。如图1所示，该方法主要包括如下步骤：
步骤11、从可见光图像中提取外部表观发音器官轮廓，并将该轮廓与发音器官通用三维几何模型进行匹配，获得重建后的外部表观发音器官三维模型；
本发明实施例中，从可见光图像中提取外部表观发音器官轮廓可以具体为从可见光正侧面图像中提取外部表观发音器官正侧面轮廓。
本发明实施例中，基于核磁共振成像技术预先建立发音器官通用三维几何模型，其具体步骤如下：1)利用核磁共振成像技术采集得到的一精细化的口腔内部发音器官通用几何三维模型；2)将FaceGen软件(一种头像生成器软件)中的皮肤模型作为描述外部表观发音器官的通用三维几何模型；3)将所述精细化的口腔内部发音器官通用几何三维模型与所述描述外部表观发音器官的通用三维几何模型经过旋转、缩放和平移操作后，组合成为一发音器官通用三维几何模型。
本发明实施例中，从可见光图像中提取外部表观发音器官轮廓的步骤包括：采用三个分量的混合高斯模型来建模可见光图像中发音器官区域中像素的颜色值，并采用二阶自回归方程在线更新混合高斯模型中各个分量的均值、方差和权重；由可见光图像中像素的颜色值与对应的混合高斯模型匹配获得外部表观发音器官轮廓。
本发明实施例中，将该轮廓与发音器官通用三维几何模型进行匹配，获得重建后的外部表观发音器官三维模型的步骤包括：1)在所述发音器官通用三维几何模型上根据发音器官的生理特性建立生理动画模型；发音器官的运动是由肌肉纤维来驱动的，生理动画模型将肌肉分成3类分别模拟：线形肌、括约肌和片状肌，根据脸部肌肉的运动特性和方向性特性，建立与底层骨骼相互独立的Waters向量肌肉模型。每个肌肉向量都有各自的影响域，并通过它们的运动来产生发音器官动画。2)基于发音器官通用三维模型，以生理动画模型为约束，对从可见光图像提取的轮廓(外部表观发音器官轮廓)进行匹配来估计人脸动画参数：
其中，C＝(α1,α2,...,αm)为肌肉激励参数向量，为对应于第i条肌肉的激励参数，Xd为提取得到的轮廓，ρ为常量，D(αi)为对应于第i条肌肉的惩罚函数：(min(0,αi,1-αi))2；
3)由估计出的人脸动画参数驱动所述生理动画模型来完成三维重建，从而得到外部表观发音器官三维模型。
步骤12、从X光图像中提取口腔内部发音器官轮廓，并将该轮廓与所述发音器官通用三维几何模型进行匹配，获得重建后的口腔内部发音器官三维模型。
X光成像能够获取口腔内部发音器官的二维图像，采集过程能够达到实时且成像结果是稠密的。但是，由于此采集方案对人体危害较大，目前已禁止采用。然而，对于几种主要语言(比如中英文)而言，历史上采集的音素X光成像数据库是可以获取并以利用的。故本发明利用其来合成视素。
本步骤中，器官轮廓的提取以及三维模型的重建方式均与步骤11类似。
即，从X光图像中提取口腔内部发音器官轮廓包括：采用三个分量的混合高斯模型来建模X光图像中发音器官区域中像素的颜色值，并采用二阶自回归方程来在线更新混合高斯模型中个各个分量的均值、方差和权重；由X光图像中像素的颜色值与该图像对应的混合高斯模型匹配获得口腔内部发音器官轮廓。
将该轮廓与所述发音器官通用三维几何模型进行匹配，获得重建后的口腔内部发音器官三维模型包括：1)在所述发音器官通用三维几何模型上根据发音器官的生理特性建立生理动画模型；发音器官的运动是由肌肉纤维来驱动的，生理动画模型将肌肉分成3类分别模拟：线形肌、括约肌和片状肌，根据脸部肌肉的运动特性和方向性特性，建立与底层骨骼相互独立的Waters向量肌肉模型。每个肌肉向量都有各自的影响域，并通过它们的运动来产生发音器官动画。2)基于发音器官通用三维模型，以生理动画模型为约束，对从X光图像中提取的轮廓(口腔内部发音器官轮廓)进行匹配来估计人脸动画参数：
其中，C＝(α1,α2,...,αm)为肌肉激励参数向量，为对应于第i条肌肉的激励参数，Xd为提取得到的轮廓，ρ为常量，D(αi)为对应于第i条肌肉的惩罚函数：(min(0,αi,1-αi))2；
3)由估计出的人脸动画参数驱动所述生理动画模型来完成三维重建，从而得到口腔内部发音器官三维模型。
步骤13、利用可见光图像和X光图像的匹配关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型，从而得到完整的发音器官三维模型。
本发明实施例中，由于可见光图像和X光图像是从不同来源得到的，而为了建立从内到外的完整发音器官模型，需要建立这两种不同源数据的匹配关系；本发明实施例中，以发音器官通用三维几何模型为中介来得到可见光图像和X光图像之间的匹配关系，具体步骤如下：
1)选择正面垂直、无表情和无发音状态下的可见光图像和X光图像作为参考图像，在参考图像上标记若干个特征点，并在所述发音器官通用三维几何模型的对应位置进行特征点标记；
2)在所述参考图像和所述发音器官通用三维几何模型上定义能够描述人头主要形状特性的距离参数；例如，对于可见光图像，定义人头高度，人头宽度，人头深度，嘴巴宽度，鼻尖到嘴角的深度等。
3)根据所述距离参数将所述参考图像和所述发音器官通用三维几何模型划分为多个区间，并计算所述参考图像和所述发音器官通用三维几何模型的对应区间的分段线性仿射变换，进而计算所述参考图像上特征点与所述发音器官通用三维几何模型上对应特征点的仿射变换矩阵；
4)以所述发音器官通用三维几何模型为中介，得到可见光图像和X光图像之间的仿射变换关系，并根据获得的仿射变换关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型。
通过本发明实施例的上述方案可以获得一种能从内到外地反映发音器官在发音时真实形状的发音器官三维模型。
本发明与现有技术的优点在于：
(1)本发明基于真实捕捉的发音器官形状数据，所以其合成的发音器官三维模型是稠密的且能够满足高精度的要求；
(2)本发明是根据核磁共振成像、可见光图像和X光图像的特点，各取所长进行相互补充。从而能够有效克服现有的、单一采用其中一种所面临的问题。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种发音器官三维建模方法，其特征在于，该方法包括：
从可见光图像中提取外部表观发音器官轮廓，并将该轮廓与发音器官通用三维几何模型进行匹配，获得重建后的外部表观发音器官三维模型；
从X光图像中提取口腔内部发音器官轮廓，并将该轮廓与所述发音器官通用三维几何模型进行匹配，获得重建后的口腔内部发音器官三维模型；
利用可见光图像和X光图像的匹配关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型，从而得到完整的发音器官三维模型。
2.根据权利要求1所述的方法，其特征在于，建立所述发音器官通用三维几何模型的步骤包括：
利用核磁共振成像技术采集得到的一精细化的口腔内部发音器官通用几何三维模型；
将FaceGen软件中的皮肤模型作为描述外部表观发音器官的通用三维几何模型；
将所述精细化的口腔内部发音器官通用几何三维模型与所述描述外部表观发音器官的通用三维几何模型经过旋转、缩放和平移操作后，组合成为一发音器官通用三维几何模型。
3.根据权利要求1所述的方法，其特征在于，从可见光图像中提取外部表观发音器官轮廓及从X光图像中提取口腔内部发音器官轮廓包括：
采用三个分量的混合高斯模型来建模可见光图像和X光图像中发音器官区域中像素的颜色值，并采用二阶自回归方程来在线更新混合高斯模型中个各个分量的均值、方差和权重；
由可见光图像中像素的颜色值与该图像对应的混合高斯模型匹配获得外部表观发音器官轮廓；由X光图像中像素的颜色值与该图像对应的混合高斯模型匹配获得口腔内部发音器官轮廓。
4.根据权利要求1所述的方法，其特征在于，获得重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型包括：
在所述发音器官通用三维几何模型上根据发音器官的生理特性建立生理动画模型；
基于发音器官通用三维模型，以生理动画模型为约束，分别对从可见光图像和X光图像中提取的轮廓进行匹配来估计人脸动画参数：
其中，C＝(α1,α2,...,αm)为肌肉激励参数向量，为对应于第i条肌肉的激励参数，Xd为提取得到的轮廓，ρ为常量，D(αi)为对应于第i条肌肉的惩罚函数；
由估计出的人脸动画参数驱动所述生理动画模型来完成三维重建，从而分别得到外部表观发音器官三维模型与口腔内部发音器官三维模型。
5.根据权利要求1或4所述的方法，其特征在于，所述利用可见光图像和X光图像的匹配关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型包括：
选择正面垂直、无表情和无发音状态下的可见光图像和X光图像作为参考图像，在参考图像上标记若干个特征点，并在所述发音器官通用三维几何模型的对应位置进行特征点标记；
在所述参考图像和所述发音器官通用三维几何模型上定义能够描述人头形状特性的距离参数；
根据所述距离参数将所述参考图像和所述发音器官通用三维几何模型划分为多个区间，并计算所述参考图像和所述发音器官通用三维几何模型的对应区间的分段线性仿射变换，进而计算所述参考图像上特征点与所述发音器官通用三维几何模型上对应特征点的仿射变换矩阵；
以所述发音器官通用三维几何模型为中介，得到可见光图像和X光图像之间的仿射变换关系，并根据获得的仿射变换关系来融合重建后的外部表观发音器官三维模型与口腔内部发音器官三维模型。
6.根据权利要求1所述的方法，其特征在于，所述从可见光图像中提取外部表观发音器官轮廓包括：
从可见光正侧面图像中提取外部表观发音器官正侧面轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410597249.5A CN104318615B (zh) | 2014-10-29 | 2014-10-29 | 一种发音器官三维建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410597249.5A CN104318615B (zh) | 2014-10-29 | 2014-10-29 | 一种发音器官三维建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104318615A true CN104318615A (zh) | 2015-01-28 |
| CN104318615B CN104318615B (zh) | 2017-04-19 |
Family
ID=52373841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410597249.5A Expired - Fee Related CN104318615B (zh) | 2014-10-29 | 2014-10-29 | 一种发音器官三维建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104318615B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019201027A1 (zh) * | 2018-04-18 | 2019-10-24 | 腾讯科技（深圳）有限公司 | 一种人脸模型处理方法、装置、非易失性计算机可读存储介质和电子设备 |
| CN112381913A (zh) * | 2020-10-20 | 2021-02-19 | 北京语言大学 | 基于3d建模与口腔解剖的动态发音教学模型构建方法 |
| CN112967362A (zh) * | 2021-03-19 | 2021-06-15 | 北京有竹居网络技术有限公司 | 动画生成方法和装置、存储介质和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030069494A1 (en) * | 2001-10-04 | 2003-04-10 | Marie-Pierre Jolly | System and method for segmenting the left ventricle in a cardiac MR image |
| EP1847968A1 (en) * | 2004-12-08 | 2007-10-24 | Sony Corporation | Generating a three dimensional model of a face from a single two-dimensional image: adaption of a generic hair model |
| CN101101672A (zh) * | 2007-07-13 | 2008-01-09 | 中国科学技术大学 | 基于虚拟图像对应的立体视觉三维人脸建模方法 |
| CN101582172A (zh) * | 2009-06-22 | 2009-11-18 | 中国海洋大学 | 一种具有生理功能的人体肾脏计算机三维模型构建方法 |
| CN101853523A (zh) * | 2010-05-18 | 2010-10-06 | 南京大学 | 一种采用草图创建三维人脸模型的方法 |
| CN103218841A (zh) * | 2013-04-26 | 2013-07-24 | 中国科学技术大学 | 结合生理模型和数据驱动模型的三维发音器官动画方法 |
| CN103279969A (zh) * | 2013-05-08 | 2013-09-04 | 中国科学技术大学 | 一种建立富有情感表达能力的三维虚拟眼睛运动模型的方法 |
-
2014
- 2014-10-29 CN CN201410597249.5A patent/CN104318615B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030069494A1 (en) * | 2001-10-04 | 2003-04-10 | Marie-Pierre Jolly | System and method for segmenting the left ventricle in a cardiac MR image |
| EP1847968A1 (en) * | 2004-12-08 | 2007-10-24 | Sony Corporation | Generating a three dimensional model of a face from a single two-dimensional image: adaption of a generic hair model |
| CN101101672A (zh) * | 2007-07-13 | 2008-01-09 | 中国科学技术大学 | 基于虚拟图像对应的立体视觉三维人脸建模方法 |
| CN101582172A (zh) * | 2009-06-22 | 2009-11-18 | 中国海洋大学 | 一种具有生理功能的人体肾脏计算机三维模型构建方法 |
| CN101853523A (zh) * | 2010-05-18 | 2010-10-06 | 南京大学 | 一种采用草图创建三维人脸模型的方法 |
| CN103218841A (zh) * | 2013-04-26 | 2013-07-24 | 中国科学技术大学 | 结合生理模型和数据驱动模型的三维发音器官动画方法 |
| CN103279969A (zh) * | 2013-05-08 | 2013-09-04 | 中国科学技术大学 | 一种建立富有情感表达能力的三维虚拟眼睛运动模型的方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHEN JIANG 等: "MODELING A REALISTIC 3D PHYSIOLOGICAL TONGUE FOR VISUAL SPEECH SYNTHESIS", 《MULTIMEDIA AND EXPO WORKSHOPS》 * |
| SIMON ALEXANDERSON，JONAS BESKOW: "Animated Lombard speech: Motion capture, facial animation and visual intelligibility of speech produced in adverse conditions", 《COMPUTER SPEECH AND LANGUAGE》 * |
| 於俊，汪增福: "一种基于MPEG-4的三维人脸表情动画算法", 《中国科学技术大学学报》 * |
| 於俊，汪增福: "一种鲁棒高精度的人脸三维运动跟踪算法", 《计算机研究与发展》 * |
| 王志明 等: "视觉语音参数的自动估计", 《计算机研究与发展》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019201027A1 (zh) * | 2018-04-18 | 2019-10-24 | 腾讯科技（深圳）有限公司 | 一种人脸模型处理方法、装置、非易失性计算机可读存储介质和电子设备 |
| US11257299B2 (en) | 2018-04-18 | 2022-02-22 | Tencent Technology (Shenzhen) Company Limited | Face model processing for facial expression method and apparatus, non-volatile computer-readable storage-medium, and electronic device |
| CN112381913A (zh) * | 2020-10-20 | 2021-02-19 | 北京语言大学 | 基于3d建模与口腔解剖的动态发音教学模型构建方法 |
| CN112381913B (zh) * | 2020-10-20 | 2021-06-04 | 北京语言大学 | 基于3d建模与口腔解剖的动态发音教学模型构建方法 |
| CN112967362A (zh) * | 2021-03-19 | 2021-06-15 | 北京有竹居网络技术有限公司 | 动画生成方法和装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104318615B (zh) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
| CN108140105A (zh) | 具有脸部表情检测能力的头戴式显示器 | |
| US20130172904A1 (en) | Interactive CSG Subtraction | |
| CN109377557A (zh) | 基于单帧人脸图像的实时三维人脸重建方法 | |
| CN101882326A (zh) | 基于中国人全面部结构形数据的三维颅面复原方法 | |
| CN107067398A (zh) | 用于三维医学模型中缺失血管的补全方法及装置 | |
| Dicko et al. | Anatomy transfer | |
| CN104318615A (zh) | 一种发音器官三维建模方法 | |
| CN115331783A (zh) | 一种基于vr交互技术的视觉刺激儿童孤独症的训练方法 | |
| CN110179192A (zh) | 一种人体三维模型的测量系统及其测量方法 | |
| Chen et al. | Direct, near real time animation of a 3D tongue model using non-invasive ultrasound images | |
| CN100588370C (zh) | 小儿漏斗胸三维建模方法 | |
| CN102750549A (zh) | 基于核磁共振图像的舌头轮廓自动提取方法 | |
| KR101146796B1 (ko) | 두개안면 모델링 장치와 그 방법 및 두개안면 성형 시뮬레이션 장치 | |
| Kirmizibayrak et al. | Digital analysis and visualization of swimming motion | |
| WO2018030015A1 (ja) | 切離プロセス推定装置及び切離プロセスナビゲーションシステム | |
| CN104077798B (zh) | 一种可形变物体的高真实感动画合成方法 | |
| Kawai et al. | Data-driven speech animation synthesis focusing on realistic inside of the mouth | |
| Yu et al. | 3D visual pronunciation of Mandarine Chinese for language learning | |
| Li et al. | Haptics-equiped interactive PCI simulation for patient-specific surgery training and rehearsing. | |
| Li et al. | An audio-visual 3D virtual articulation system for visual speech synthesis | |
| Lu et al. | Modelling the tongue movement of Chinese Shaanxi Xi'an dialect speech | |
| Van Wyk | Virtual human modelling and animation for real-time sign language visualisation | |
| Tolba et al. | Facial action coding system for the tongue | |
| Yu | Speech Synchronized Tongue Animation by Combining Physiology Modeling and X-ray Image Fitting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170419 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |