CN108492350A - 基于唇读技术的角色口型动画制作方法 - Google Patents
基于唇读技术的角色口型动画制作方法 Download PDFInfo
- Publication number
- CN108492350A CN108492350A CN201810281323.0A CN201810281323A CN108492350A CN 108492350 A CN108492350 A CN 108492350A CN 201810281323 A CN201810281323 A CN 201810281323A CN 108492350 A CN108492350 A CN 108492350A
- Authority
- CN
- China
- Prior art keywords
- lip
- role
- reading
- formula
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 241000228740 Procrustes Species 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000002592 echocardiography Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 206010048865 Hypoacusis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于唇读技术的角色口型动画制作方法，属于计算机智能识别技术领域。利用唇读技术，解决角色口型动画中口型、表情、声音不一致的问题。本发明主要包括唇部检测与定位、唇动特征提取、唇语识别、角色交互控制。对于唇部检测与定位，采用ASM算法标定出人脸面部的68个关键点；对于唇动特征提取，使用鲁棒性较好的灰度能量图；对于唇语识别，运用动态时间规整算法。采用本发明的角色口型动画方法，可以使动画创作人员在角色动画制作过程中，通过唇读技术实现对角色口型的控制，这种口型动画制作方法能够减少口型动画制作复杂度与工作量，提高动画制作效率。
Description
技术领域
本发明涉及计算机智能识别技术领域，特别涉及一种图像处理与角色口型动画制作相结合的基于唇读技术的角色口型动画制作方法。根据识别人物的唇动变化，完成角色口型动画制作。
背景技术
唇读(lip-reading/speech-reading)，是指通过观察说话者的口型变化，“读出”或“部分读出”其所说的内容，唇读技术源于听力弱者和听力障碍者学习、了解正常人语言表达的一种技巧。唇读技术研究涉及多个领域，包括人工智能、知识工程、模式识别、图像处理、自然语言理解等。随着自动语音识别、人机自然交互和计算机视觉技术的迅速发展，唇读技术不在仅仅是改善语音识别率的辅助手段，唇读作为新的人体生物特征、新的人机接口、新的编码方式、新的反恐手段，在人们生活中发挥着越来越重要的作用。
在三维角色动画制作中，面部动画最为关键，只有当表情、口型、声音三者一致时，角色动画看起来才会更加真实自然。在欧美的动画中，为了做到表情、口型、声音的对应，传统的方法先请配音演员录音，然后让动画师捕捉配音演员说话时的表情神采与口型，并以此设定角色形象。后来随着计算机图形图像技术的快速发展，欧美开始使用建立标准英文口型发音系统的方法来创作口型动画。而在国内，则基本上采用关键帧制作法，只把台词中夸张的口型部分做出来，其他部分则含糊带过，这使得国内动画中的角色口型与台词的契合度很低，角色面部动画生。计算机智能识别技术的日渐成熟，使得动画制作技术不断向智能化、便捷化发展，因此，对于角色口型动画而言，也需要智能化的制作方法来减轻动画制作人员繁重的、重复的工作，减少对制作人员专业与经验的高要求，简单易操作的动画制作工具成为动画生产的必然需求。
发明内容
本发明的目的在于提供一种基于唇读技术的角色口型动画制作方法，解决了现有技术存在的角色口型动画中口型、表情、声音不一致的问题。本发明能够让动画制作人员快捷、轻松的制作出高品质的口型动画，实现口型、配音、表情的一致。制作人员在口型动画制作过程中，通过唇读技术，实现与角色的实时交互，实现口型与配音的一致。
本发明的上述目的通过以下技术方案实现：
基于唇读技术的角色口型动画制作方法，包括以下步骤：
S1：通过摄像头拾取人脸视频信号，获取人脸图像序列；
S2：从人脸图像中检测与定位出唇部位置，唇部检测与定位采用主动形状模型法ASM，步骤如下：
S21：训练：构建形状模型，首先手动标记训练样本的脸部特征点，然后对特征进行归一化、对齐、PCA处理，最后为每个特征点构建局部特征，选取梯度特征为局部特征；
S22：搜索：首先计算嘴部的位置，对齐人脸，然后根据马氏距离匹配局部特征点；
S3：从标定出的唇部位置，提取包含唇动特征的特征值序列，唇动特征提取步骤如下：
S31：求取唇动图像序列的灰度图像；
S32：求取灰度能量图；
S33：对灰度能量图进行小波离散变换，分解尺度为3，采用db4小波；
S34：选取低频近似分量作为候选特征值，对候选特征值进行重采样处理，得到特征序列值；
S4：根据唇动特征值进行唇语识别，唇语识别采用动态时间规整方法，步骤如下：
S41：比较待比较模板的长度，如果长度差别大于阈值，则返回匹配失败；
S42：根据待比较模板的长度，将匹配区域划分为两段或三段；
S43：分别对每一段区域进行匹配；
S44：计算总累计距离；
S5：根据唇语识别结果，控制角色口型动画。
进一步，步骤S21所述的训练的过程包括以下步骤：
S211：搜集N个训练样本；
S212：手动记录下每个训练样本中的k个关键特征点，本方法k值为18，为唇部轮廓的关键点；
S213：构建训练集的形状向量，将一幅图中标定的k个关键特征点组成一个形状向量，
式中，表示第i个训练样本上第j个特征点的坐标，n表示训练样本的个数；
S214：形状归一化，采用Procrustes方法进行点分布模型对齐操作；
S215：将对齐后的形状向量进行PCA处理；
S216：为每个特征点构建局部特征。
进一步：步骤S22所述的搜索的过程包括以下步骤：
S221：计算每个特征点的新位置，初始模型为：
X＝M(s,θ)[ai]+Xc
式中，M为旋转缩放矩阵，s表示缩放、θ表示旋转、Xc表示位移，选取马氏距离最小的特征点作为新位置；
S222：更新参数，直至迭代次数达到指点阈值；
Xc＝Xc+wtdXc，Yc＝Yc+wtdYc，θ＝θ+wθdθ，s＝s(1+wsds)，b＝b+wbdb
式中，wt，wθ，ws，wb为控制参数变化的权值。
进一步，步骤S32所述的求取灰度能量图的步骤如下：
S321：根据步骤S2标定的唇部位置，从人脸图像序列中截取唇部图像，得到唇动序列图像，然后求取灰度唇动图像序列，计算公式为：
Gray＝(R*77+G*151+B*28)/256
式中，R、G、B分别表示红、绿、蓝通道的像素值；
S322：计算灰度能量，方法为计算灰度唇部序列的平均灰度图，公式为：
式中I(x,y,i)为第i帧图像像素点(x,y)的灰度值，N为图像帧数。
进一步，步骤S214所述的采用Procrustes方法进行点分布模型对齐操作，其中，分布模型对齐包括以下步骤：
S2141：将训练集中的所有唇部模型对齐到第一个唇部模型；
S2142：计算平均唇部模型
S2143：将所有唇部模型对齐到平均唇部模型
S2143：重复步骤S2142与步骤S2143直至收敛。
进一步，步骤S215所述的将对齐后的形状向量进行PCA处理，其中，PCA处理包括以下步骤：
S2151：计算平均形状向量，计算公式为：
式中，n表示特征点总数，ai为第i个特征点的形状向量
S2152：计算协方差矩阵，计算公式为：
式中，n表示特征点总数，ai为第i个特征点的形状向量，为平局形状向量
S2153：计算协方差矩阵的特征值，并将其按从大到小排列，训练向量使用线性模型表示，为：
式中，Ps为投影矩阵，bs为参数向量，
进一步，步骤S216所述的为每个特征点构建局部特征，其中，局部特征构建包括以下步骤：
S2161：计算特征点的局部纹理，取其平均值，公式为：
式中，n表示特征点总数，，gij表示第i个特征点的局部纹理
S2162：计算方差，公式为：
式中，n表示特征点总数，gij表示第i个特征点的局部纹理，为第i个特征点的局部纹理均值。
本发明的有益效果在于：
1.本发明采用基于唇读技术的角色口型动画制作方法，可以是动画师通过自然语言实现对角色口型动画的制作，这种方法不需要昂贵的动作捕捉设备，直接使用自然语言，控制角色口型动画。
2.本发明使用主动形状模型法ASM确定唇部轮廓，从唇部灰度能量图中提取唇动特征值向量，并使用动态时间规整方法DTW来识别唇语，最终实现对角色口型动画的控制。该方法是一种高效的、鲁棒的唇语识别方法，ASM算法能够准确提取唇部区域，灰度能量图能够有效平滑去噪，以多尺度小波变换后的低频近似分量作为特征值在降低特征向量纬度的同时能够获得更好的识别效果。
3.本发明具有完备的口型--发音库，并通过嵌入式脚本与Maya软件相连，降低了口型动画制作的难度与复杂度，将动画师从繁杂重复的口型调试工作中解放出来，将更多的精力投入到动画影视作品的创意中。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的口型动画制作系统；
图2为本发明的基于唇读技术的角色口型动画制作方法流程图；
图3为本发明的唇部区域获取过程；
图4为本发明的唇部轮廓标定结果；
图5为本发明的唇动灰度能量图。
具体实施方式
下面结合附图进一步说明本发明的详细内容及其具体实施方式。
参见图1至图5所示，本发明的基于唇读技术的角色口型动画制作方法，是一种唇语识别算法与利用唇读技术的角色口型动画制作方法。本发明利用唇读技术，解决角色口型动画中口型、表情、声音不一致的问题。本发明主要包括唇部检测与定位、唇动特征提取、唇语识别、角色交互控制。对于唇部检测与定位，采用ASM算法标定出人脸面部的68个关键点；对于唇动特征提取，使用鲁棒性较好的灰度能量图；对于唇语识别，运用动态时间规整算法。采用本发明的角色口型动画方法，可以使动画创作人员在角色动画制作过程中，通过唇读技术实现对角色口型的控制，这种口型动画制作方法能够减少口型动画制作复杂度与工作量，提高动画制作效率。
参见图1所示，为口型动画制作系统，包括通过摄像头获取人脸图像序列、智能识别算法和角色模型，本发明的智能识别算法通过嵌入式脚本语言开发完成，通过唇读识别结果，直接控制Maya中的角色口型动画制作。
参见图2所示，本发明的基于唇读技术的角色口型动画制作方法流程图，包括以下步骤：
S1：通过摄像头拾取人脸视频信号，获取人脸图像序列；
S2：从人脸图像中检测与定位出唇部位置，唇部检测与定位采用主动形状模型法ASM，步骤如下：
S21：训练：构建形状模型，首先手动标记训练样本的脸部特征点，然后对特征进行归一化、对齐、PCA处理，最后为每个特征点构建局部特征，局部特征选取梯度特征；
S22：搜索：首先计算嘴部的位置，对齐人脸，然后根据马氏距离匹配局部特征点；
S3：从标定出的唇部位置，提取包含唇动特征的特征值序列，唇动特征提取步骤如下：
S31：求取唇动图像序列的灰度图像；
S32：求取灰度能量图；
S33：对灰度能量图进行小波离散变换，分解尺度为3，采用db4小波；
S34：选取低频近似分量作为候选特征值，对候选特征值进行重采样处理，得到特征序列值；
S4：根据唇动特征值进行唇语识别，唇语识别采用动态时间规整方法，步骤如下：
S41：比较待比较模板的长度，如果长度差别大于阈值，则返回匹配失败；
S42：根据待比较模板的长度，将匹配区域划分为两段或三段；
S43：分别对每一段区域进行匹配；
S44：计算总累计距离；
S5：根据唇语识别结果，控制角色口型动画。
参见图3及图4所示，唇部区域获取过程、唇部轮廓标定结果，包括以下步骤：
进一步，步骤S21所述的训练的过程包括以下步骤：
S211：搜集N个训练样本；
S212：手动记录下每个训练样本中的k个关键特征点，本方法k值为18，为唇部轮廓的关键点；
S213：构建训练集的形状向量，将一幅图中标定的k个关键特征点组成一个形状向量，
式中，表示第i个训练样本上第j个特征点的坐标，n表示训练样本的个数；
S214：形状归一化，采用Procrustes方法进行点分布模型对齐操作；
S215：将对齐后的形状向量进行PCA处理；
S216：为每个特征点构建局部特征。
进一步：步骤S22所述的搜索的过程包括以下步骤：
S221：计算每个特征点的新位置，初始模型为：
X＝M(s,θ)[ai]+Xc
式中，M为旋转缩放矩阵，s表示缩放、θ表示旋转、Xc表示位移，选取马氏距离最小的特征点作为新位置；
S222：更新参数，直至迭代次数达到指点阈值；
Xc＝Xc+wtdXc，Yc＝Yc+wtdYc，θ＝θ+wθdθ，s＝s(1+wsds)，b＝b+wbdb
式中，wt，wθ，ws，wb为控制参数变化的权值。
进一步，步骤S32所述的求取灰度能量图的步骤如下：
S321：根据步骤S2标定的唇部位置，从人脸图像序列中截取唇部图像，得到唇动序列图像，然后求取灰度唇动图像序列，计算公式为：
Gray＝(R*77+G*151+B*28)/256
式中，R、G、B分别表示红、绿、蓝通道的像素值；
S322：计算灰度能量，方法为计算灰度唇部序列的平均灰度图，公式为：
式中，I(x,y,i)为第i帧图像像素点(x,y)的灰度值，N为图像帧数。
进一步，步骤S214所述的采用Procrustes方法进行点分布模型对齐操作，其中，分布模型对齐包括以下步骤：
S2141：将训练集中的所有唇部模型对齐到第一个唇部模型；
S2142：计算平均唇部模型
S2143：将所有唇部模型对齐到平均唇部模型
S2143：重复步骤S2142与步骤S2143直至收敛。
进一步，步骤S215所述的将对齐后的形状向量进行PCA处理，其中，PCA处理包括以下步骤：
S2151：计算平均形状向量，计算公式为：
式中，n表示特征点总数，ai为第i个特征点的形状向量
S2152：计算协方差矩阵，计算公式为：
式中，n表示特征点总数，ai为第i个特征点的形状向量，为平局形状向量
S2153：计算协方差矩阵的特征值，并将其按从大到小排列，训练向量使用线性模型表示，为：
式中，Ps为投影矩阵，bs为参数向量，
进一步，步骤S216所述的为每个特征点构建局部特征，其中，局部特征构建包括以下步骤：
S2161：计算特征点的局部纹理，取其平均值，公式为：
式中n表示特征点总数，，gij表示第i个特征点的局部纹理
S2162：计算方差，公式为：
式中n表示特征点总数，gij表示第i个特征点的局部纹理，为第i个特征点的局部纹理均值。
以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于唇读技术的角色口型动画制作方法，其特征在于：包括以下步骤：
S1：通过摄像头拾取人脸视频信号，获取人脸图像序列；
S2：从人脸图像中检测与定位出唇部位置，唇部检测与定位采用主动形状模型法ASM，步骤如下：
S21：训练：构建形状模型，首先手动标记训练样本的脸部特征点，然后对特征进行归一化、对齐、PCA处理，最后为每个特征点构建局部特征，局部特征选取梯度特征；
S22：搜索：首先计算嘴部的位置，对齐人脸，然后根据马氏距离匹配局部特征点；
S3：从标定出的唇部位置，提取包含唇动特征的特征值序列，唇动特征提取步骤如下：
S31：求取唇动图像序列的灰度图像；
S32：求取灰度能量图；
S33：对灰度能量图进行小波离散变换，分解尺度为3，采用db4小波；
S34：选取低频近似分量作为候选特征值，对候选特征值进行重采样处理，得到特征序列值；
S4：根据唇动特征值进行唇语识别，唇语识别采用动态时间规整方法，步骤如下：
S41：比较待比较模板的长度，如果长度差别大于阈值，则返回匹配失败；
S42：根据待比较模板的长度，将匹配区域划分为两段或三段；
S43：分别对每一段区域进行匹配；
S44：计算总累计距离；
S5：根据唇语识别结果，控制角色口型动画。
2.根据权利要求1所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S21所述的训练的过程包括以下步骤：
S211：搜集N个训练样本；
S212：手动记录下每个训练样本中的k个关键特征点，本方法k值为18，为唇部轮廓的关键点；
S213：构建训练集的形状向量，将一幅图中标定的k个关键特征点组成一个形状向量，
式中，表示第i个训练样本上第j个特征点的坐标，n表示训练样本的个数；
S214：形状归一化，采用Procrustes方法进行点分布模型对齐操作；
S215：将对齐后的形状向量进行PCA处理；
S216：为每个特征点构建局部特征。
3.根据权利要求1所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S22所述的搜索的过程包括以下步骤：
S221：计算每个特征点的新位置，初始模型为：
X＝M(s,θ)[ai]+Xc
式中，s表示缩放、θ表示旋转、Xc表示位移，选取马氏距离最小的特征点作为新位置；
S222：更新参数，直至迭代次数达到指点阈值；
Xc＝Xc+wtdXc，Yc＝Yc+wtdYc，θ＝θ+wθdθ，s＝s(1+wsds)，b＝b+wbdb
式中wt，wθ，ws，wb为控制参数变化的权值。
4.根据权利要求1所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S32所述的求取灰度能量图的步骤如下：
S321：根据步骤S2标定的唇部位置，从人脸图像序列中截取唇部图像，得到唇动序列图像，然后求取灰度唇动图像序列，计算公式为：
Gray＝(R*77+G*151+B*28)/256
式中，R、G、B分别表示红、绿、蓝通道的像素值；
S322：计算灰度能量，方法为计算灰度唇部序列的平均灰度图，公式为：
式中I(x,y,i)为第i帧图像像素点(x,y)的灰度值，N为图像帧数。
5.根据权利要求2所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S214所述的采用Procrustes方法进行点分布模型对齐操作，其中，分布模型对齐包括以下步骤：
S2141：将训练集中的所有唇部模型对齐到第一个唇部模型；
S2142：计算平均唇部模型
S2143：将所有唇部模型对齐到平均唇部模型
S2143：重复步骤S2142与步骤S2143直至收敛。
6.根据权利要求2所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S215所述的将对齐后的形状向量进行PCA处理，其中，PCA处理包括以下步骤：
S2151：计算平均形状向量，计算公式为：
S2152：计算协方差矩阵，计算公式为：
S2153：计算协方差矩阵的特征值，并将其按从大到小排列，训练向量表示为：
式中，P为特征值构成的特征向量，b为参数向量，
7.根据权利要求2所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S216所述的为每个特征点构建局部特征，其中，局部特征构建包括以下步骤：
S2161：计算特征点的局部纹理，取其平均值，公式为：
式中gij表示第i个特征点的局部纹理；
S2162：计算方差，公式为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810281323.0A CN108492350A (zh) | 2018-04-02 | 2018-04-02 | 基于唇读技术的角色口型动画制作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810281323.0A CN108492350A (zh) | 2018-04-02 | 2018-04-02 | 基于唇读技术的角色口型动画制作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108492350A true CN108492350A (zh) | 2018-09-04 |
Family
ID=63317895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810281323.0A Pending CN108492350A (zh) | 2018-04-02 | 2018-04-02 | 基于唇读技术的角色口型动画制作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108492350A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582195A (zh) * | 2020-05-12 | 2020-08-25 | 中国矿业大学(北京) | 一种汉语唇语单音节识别分类器构建方法 |
| JP2022531055A (ja) * | 2020-03-31 | 2022-07-06 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020135618A1 (en) * | 2001-02-05 | 2002-09-26 | International Business Machines Corporation | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input |
| CN103902958A (zh) * | 2012-12-28 | 2014-07-02 | 重庆凯泽科技有限公司 | 人脸识别的方法 |
-
2018
- 2018-04-02 CN CN201810281323.0A patent/CN108492350A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020135618A1 (en) * | 2001-02-05 | 2002-09-26 | International Business Machines Corporation | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input |
| CN103902958A (zh) * | 2012-12-28 | 2014-07-02 | 重庆凯泽科技有限公司 | 人脸识别的方法 |
Non-Patent Citations (6)
| Title |
|---|
| 冯振华等: "改进的用于ASM 的归一化方法", 《计算机工程应用》 * |
| 朱妹丽等: "唇读技术在角色动画交互中的研究与应用", 《科研信息化技术与应用》 * |
| 梁亚玲等: "基于单视觉通道唇读系统的研究", 《中国博士学位论文全文数据库信息科技辑》 * |
| 梁亚玲等: "基于唇部灰度能量图的唇读方法", 《华南理工大学学报(自然科学版)》 * |
| 胡阳明等: "基于改进ASM的三维人脸自动对齐算法", 《计算机工程》 * |
| 荣传振等: "唇语识别关键技术研究进展", 《数据采集与处理》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022531055A (ja) * | 2020-03-31 | 2022-07-06 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体 |
| CN111582195A (zh) * | 2020-05-12 | 2020-08-25 | 中国矿业大学(北京) | 一种汉语唇语单音节识别分类器构建方法 |
| CN111582195B (zh) * | 2020-05-12 | 2024-01-26 | 中国矿业大学(北京) | 一种汉语唇语单音节识别分类器构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
| CN109508669B (zh) | 一种基于生成式对抗网络的人脸表情识别方法 | |
| CN112887698B (zh) | 基于神经辐射场的高质量人脸语音驱动方法 | |
| CN110443231A (zh) | 一种基于人工智能的单手手指点读文字识别方法和系统 | |
| Hong et al. | Real-time speech-driven face animation with expressions using neural networks | |
| CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| CN111028319A (zh) | 一种基于面部运动单元的三维非真实感表情生成方法 | |
| Zhao et al. | Real-time sign language recognition based on video stream | |
| Jachimski et al. | A comparative study of English viseme recognition methods and algorithms | |
| CN110210399A (zh) | 一种基于不确定性量化概率卷积神经网络的人脸识别方法 | |
| CN108492350A (zh) | 基于唇读技术的角色口型动画制作方法 | |
| CN110598719A (zh) | 一种依据视觉属性描述自动生成人脸图像的方法 | |
| CN104156708A (zh) | 一种基于动态人脸表情序列和k阶情感强度模型的特征表示方法 | |
| Wen et al. | 3D Face Processing: Modeling, Analysis and Synthesis | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN111626197A (zh) | 一种人体行为识别网络模型及识别方法 | |
| Reveret et al. | Visual coding and tracking of speech related facial motion | |
| Yu | Computer-aided english pronunciation accuracy detection based on lip action recognition algorithm | |
| Odisio et al. | Tracking talking faces with shape and appearance models | |
| Zhiming et al. | A dynamic viseme model for personalizing a talking head | |
| CN112784800A (zh) | 一种基于神经网络和形状约束的人脸关键点检测方法 | |
| Achmad et al. | Lip Motion Pattern Recognition for Indonesian Syllable Pronunciation Utilizing Hidden Markov Model Method | |
| Yi et al. | Intelligent wheelchair multi-modal human-machine interfaces in lip contour extraction based on PMM | |
| Bregler et al. | Probabilistic models of verbal and body gestures | |
| Shang et al. | Speaker Recognition Based on Lip-reading: An Overview |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180904 |
|
| WD01 | Invention patent application deemed withdrawn after publication |