CN101482976B - 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置 - Google Patents

语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置 Download PDF

Info

Publication number
CN101482976B
CN101482976B CN2009100030839A CN200910003083A CN101482976B CN 101482976 B CN101482976 B CN 101482976B CN 2009100030839 A CN2009100030839 A CN 2009100030839A CN 200910003083 A CN200910003083 A CN 200910003083A CN 101482976 B CN101482976 B CN 101482976B
Authority
CN
China
Prior art keywords
lip shape
lip
model
motion amplitude
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009100030839A
Other languages
English (en)
Other versions
CN101482976A (zh
Inventor
路依莎
王建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40880071&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101482976(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to CN2009100030839A priority Critical patent/CN101482976B/zh
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN101482976A publication Critical patent/CN101482976A/zh
Priority to CA2744347A priority patent/CA2744347C/en
Priority to MX2011006703A priority patent/MX2011006703A/es
Priority to RU2011124736/08A priority patent/RU2487411C2/ru
Priority to PCT/CN2010/070026 priority patent/WO2010081395A1/zh
Priority to BRPI1006026A priority patent/BRPI1006026B1/pt
Publication of CN101482976B publication Critical patent/CN101482976B/zh
Application granted granted Critical
Priority to US13/117,244 priority patent/US8350859B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置，属于计算机技术领域。该语音驱动嘴唇形状变化的方法包括：获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；获取初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值；根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合。该语音驱动嘴唇形状变化的装置包括：获取模块、第一生成模块和第二生成模块。本发明还提供了一种获取嘴唇动画的方法和装置。本发明提供的技术方案算法简单，且成本低。

Description

语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置
技术领域
本发明涉及计算机技术领域，特别涉及一种语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置。
背景技术
互动式语音应答(IVR，Interactive Voice Response)是基于声音传播的一种产品类型。而互联网用户的主流受众喜欢展示自我，张扬个性，以引起周围人的关注和重视。在这样的背景下，IVR有必要进行技术及理念上的革新：给予声音更好的表现力，而视频动画技术可以满足这种需求。视频动画技术通过使用手机或网页为平台，辅助声音以自定义个性的视频动画，赋予了声音更加生动的表现力。
视频动画技术中一个重要组成是语音驱动嘴唇形状变化的实现技术，关于语音驱动嘴唇形状变化的实现，现有技术提供了一种利用机器学习的方式将音频信号映射到人脸动画参数中的嘴唇形状上的解决方案，但该方案算法复杂，运算成本高。
发明内容
为了运算降低成本，本发明实施例提供了一种语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置。所述技术方案如下：
本发明实施例提供了一种语音驱动嘴唇形状变化的方法，包括：
获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；；
获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例，生成嘴唇形状的运动幅度值；
根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
所述根据所述音频信号的特征得到嘴唇形状的运动幅度比例包括：
遍历所述音频信号，获取最大的采样数据值；
对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
根据当前窗口对应的嘴唇形状最大运动幅度值获取当前窗口对应的当前视频帧的嘴唇形状运动幅度比例；
所述根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合包括：
从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
本发明实施例提供了一种语音驱动嘴唇形状变化的装置，包括：
获取模块，用于获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；第一生成模块，用于获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述得到的嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值；
第二生成模块，用于根据所述得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
所述获取模块包括：
第一获取模块，用于遍历所述音频信号，获取最大的采样数据值；
第二获取模块，用于对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
第三获取模块，用于根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
第四获取模块，用于根据当前窗口对应的嘴唇形状最大运动幅度值获取当前窗口对应的当前帧视频的嘴唇形状运动幅度比例；
所述第二生成模块包括：
选择模块，用于从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
第九获取模块，用于获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
第十获取模块，用于将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
第十一获取模块，用于在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
第三生成模块，用于将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
在本发明实施例中，利用嘴唇发音模型库，通过语音驱动实现了嘴唇形状变化，相对于现有技术，本发明实施例提供的技术方案算法简单，且成本低。
本发明实施例提供了一种获取嘴唇动画的方法，包括：
获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；
获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述得到的嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值；
根据所述得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
根据所述变化的嘴唇形状网格模型集合生成嘴唇动画；
所述根据所述音频信号的特征得到嘴唇形状的运动幅度比例包括：
遍历所述音频信号，获取最大的采样数据值；
对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
根据当前窗口对应的嘴唇形状最大运动幅度获取当前窗口对应的当前视频帧的嘴唇形状运动幅度比例；
所述根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合包括：
从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
本发明实施例提供了一种获取嘴唇动画的装置，包括：
获取模块，用于获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；
第一生成模块，用于获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述得到的嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值；
第二生成模块，用于根据所述得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
第三生成模块，用于根据所述变化的嘴唇形状网格模型集合生成嘴唇动画；
第二生成模块，用于根据所述得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
第三生成模块，用于根据所述变化的嘴唇形状网格模型集合生成嘴唇动画；
所述获取模块包括：
第一获取模块，用于遍历所述音频信号，获取最大的采样数据值；
第二获取模块，用于对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
第三获取模块，用于根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
第四获取模块，用于根据当前窗口对应的嘴唇形状最大运动幅度获取当前窗口对应的当前帧视频的嘴唇形状运动幅度比例；
所述第二生成模块包括：
选择模块，用于从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
第九获取模块，用于获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
第十获取模块，用于将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
第十一获取模块，用于在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
第三生成模块，用于将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
在本发明实施例中，利用嘴唇发音模型库，通过语音驱动实现了嘴唇形状变化，进而得到嘴唇动画，相对于现有技术，本发明实施例提供的技术方案算法简单，且成本低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1提供的一种语音驱动嘴唇形状变化的方法流程图；
图2是本发明实施例1提供的frameNumber与嘴唇形状的运动幅度比例的示意图；
图3是本发明实施例1提供的嘴唇发音模型库的示意图；
图4是本发明实施例2提供的一种获取嘴唇动画的方法流程图；
图5是本发明实施例3提供的一种语音驱动嘴唇形状变化的装置的结构图；
图6是本发明实施例3提供的另一种语音驱动嘴唇形状变化的装置的结构图；
图7是本发明实施例3提供的第三种语音驱动嘴唇形状变化的装置的结构图；
图8是本发明实施例4提供的一种获取嘴唇动画的装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提供了一种语音驱动嘴唇变化的方法，如图1所示，包括：
步骤101，获取音频信号，根据音频信号的特征得到嘴唇形状的运动幅度比例。
具体地，根据音频信号的特征获取嘴唇形状的运动幅度比例的步骤包括：
步骤101A，遍历音频信号，得到音频信号的最大的采样数据值maxSampleValue。
步骤101B，对音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值，以及获取每个窗口内所有小组的采样数据值的平均值中的最大值。
音节是自然的语音单位，具体地，在汉语里，每一个音节对应一种嘴唇形状，匀速时，完成一个音节读音大约需要200至300毫秒。在每个音节发音时间段内也会有语音变化，所以需要将音节再进行划分，细分出音素。依据上述原理，可以将获取的音频信号按照一定长度进行窗口划分，一个窗口对应一个音节；在每个窗口内再按照一定长度进行小组划分，一个小组对应一个音素。假设音节占用x秒时间，窗口长度为WindowLen，则WindowLen＝x*音频采样率；假设定义音素占用y秒时间，小组长度为GroupLen，GroupLen＝y*音频采样率。
具体地，获取的每个小组内采样数据值的平均值为组内所有采样数据值的总和除以windowLen，将该平均值放在avgGroup数组；获取每个窗口内所有小组采样数据值的平均值avgGroup中的最大值，放在windowPeak数组。
可选地，为了避免嘴唇形状不必要的运动及在必要运动时显得更加得流畅，可以在获取音频信号时对音频信号进行去噪处理。
步骤101C，根据获取的数组windowPeak获取每个窗口对应的嘴唇形状的最大运动幅度值。
具体地，获取第i窗口内(i＞＝0)所有小组采样数据值的平均值；获取采样数据值的平均值中的最大值windowPeak[i]；计算最大值windowPeak[i]与最大的采样数据值的maxSampleValue的比值scale[i]。对于scale数组中的每个数组值scale[i]，当前窗口i对应的嘴唇形状的最大运动幅度extent[i]＝scale[i]*maxLen，其中，maxLen为所有窗口的嘴唇形状的最大运动幅度值。
步骤101D，获取每个窗口对应的每一帧嘴唇形状的运动幅度比例。
具体地，当前窗口i对应的第j帧视频中的嘴唇形状运动幅度比例scaleForFrame[k]＝j*(scale[i]/(frameNumber/2))，其中，k＝frameNumber*i+j，0＝＜k＜视频总帧数，frameNumber为每个窗口对应的动画视频帧的个数，frameNumber＝x*视频采样率，x为每个音节占用时间长度，本实施例中，视频采样率默认为30帧/秒，用户也可以根据需要进行修改；j取值范围为从0依次递增到frameNumber/2，再从frameNumber/2依次递减到0，如图2所示。
步骤102，获取用户输入的初始的嘴唇形状模型，根据初始的嘴唇形状模型和得到的嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值。
具体地，嘴唇形状的运动幅度值分为：垂直方向和水平方向的嘴唇形状运动幅度值；计算水平方向的嘴唇形状的运动幅度值为length*scaleForFrame[k]，垂直方向的嘴唇形状的运动幅度值为width*scaleForFrame[k]，其中，0＝＜k＜视频总帧数，length和width分别为初始的嘴唇形状模型的长度和宽度。
需要说明的是，用户输入的初始的嘴唇形状模型根据实际情况不同会发生变化。
步骤103，根据得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合。
在本步骤中，嘴唇发音模型库是依据汉语的发音特点建立的。在汉语中，词由声母和韵母组成，嘴唇形状的重点会放在韵母的发音上。韵母又分单韵母、复韵母和鼻韵母。单韵母的发音由一个元音组成，从始至终嘴唇形状不变；复韵母由两个或三个元音组成，声音是渐变的，嘴唇形状也是渐变的；而鼻韵母对嘴唇形状的影响不大。因此，在对嘴唇形状建立发音模型时，主要依照单韵母的发音的发音特点。单韵母的发音是：“啊，哦，鹅，衣，屋，于”，其中“屋”和“于”的嘴唇形状比较相似，所以合成一种；“鹅”和“衣”的嘴唇形状比较相似，所以合成一种；最后得到用四种嘴唇发音模型组成嘴唇发音模型库来表示单韵母的嘴唇形状，如图3所示，嘴唇发音模型库必须包括：一个原始嘴唇模型和在此模型基础上按以上原理建立起来的各种嘴唇形状模型。需要说明的是，嘴唇发音模型库中不限于以上四种单韵母的嘴唇形状模型，依据语言的发音特点不同，嘴唇发音模型库中的嘴唇形状模型也可以不同，例如，根据英语的发音特定，嘴唇发音模型库中可以有模拟英语元音“a e i o u”发音特点的嘴唇形状模型。
具体地，根据预先建立的嘴唇发音模型库和嘴唇形状的运动幅度值生成变化的嘴唇形状网格模型集合的步骤包括：
步骤103A，从嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型。
步骤103B，获取原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例，计算方法为：原始发音模型顶点z相对嘴唇发音模型库中原始嘴唇模型的顶点z的偏移量在水平方向为x_hor，在垂直方向为y_ver，那么顶点z在水平方向的偏移量比例为(x_hor/modelLength，顶点z在垂直方向的偏移量比例为y_ver/modelWidth，其中modelLength和modelWidth为发音模型库中原始嘴唇模型的长度和宽度，0＝＜z＜原始发音模型顶点个数。
步骤103C，将原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量。
步骤103D，在用户输入的初始的嘴唇形状模型，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型。
步骤103E，将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
在本发明实施例中，利用嘴唇发音模型库，通过语音驱动实现了嘴唇形状变化，相对于现有技术，本发明实施例提供的技术方案算法简单，且成本低。
本发明实施例2提供了一种获取嘴唇动画的方法，如图4所示，包括：
步骤201，获取音频信号，根据音频信号的特征得到嘴唇形状的运动幅度比例。
步骤201与步骤101相同，在此不再赘述。
步骤202，获取初始的嘴唇形状模型，根据初始的嘴唇形状模型和得到的嘴唇形状的运动幅度比例，得到嘴唇形状的运动幅度值。
步骤202与步骤102相同，在此不再赘述。
步骤203，根据得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合。
步骤203与步骤103相同，在此不再赘述。
步骤204，根据该变化的嘴唇形状网格模型集合生成嘴唇动画。
具体地，根据该变化的嘴唇形状网格模型集合，结合原始的嘴唇形状图像，利用普通的插值技术即可得到嘴唇动画。
在本发明实施例中，利用嘴唇发音模型库，通过语音驱动实现了嘴唇形状变化，进而得到嘴唇动画，相对于现有技术，本发明实施例提供的技术方案算法简单，且成本低。
本发明实施例3提供了一种语音驱动嘴唇形状变化的装置，如图5所示，包括：
获取模块501，用于获取音频信号，根据该音频信号的特征得到嘴唇形状的运动幅度比例；
第一生成模块502，用于获取用户输入的初始的嘴唇形状模型，根据该初始的嘴唇形状模型和该得到的嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值；
第二生成模块503，用于根据该得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合。
进一步地，如图6所示，获取模块501包括：
第一获取模块，用于遍历音频信号，获取最大的采样数据值；
第二获取模块，用于对该音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
第三获取模块，用于根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
第四获取模块，用于根据当前窗口对应的嘴唇形状最大运动幅度获取当前窗口对应的当前帧视频的嘴唇形状运动幅度比例。
进一步地，第二获取模块，包括：
第五获取模块，用于获取当前窗口i内所有小组采样数据值的平均值；
第六获取模块，用于获取采样数据值的平均值的最大值windowPeak[i]；
第七获取模块，用于计算windowPeak[i]和最大的音频采样数据值maxSampleValue的比值scale[i]；
第八获取模块，用于计算当前窗口i对应的嘴唇形状的最大运动幅度extent[i]＝scale[i]*maxLen；
其中，i＞＝0，maxLen为所有窗口的嘴唇形状的最大运动幅度值。
进一步地，第四获取模块，具体用于获取当前窗口i对应的第j帧视频中的嘴唇形状运动幅度比例scaleForFrame[k]＝j*(scale[i]/(frameNumber/2))，其中，k＝frameNumber*i+j，0＝＜k＜视频总帧数，frameNumber为每个窗口对应的动画视频帧的个数，frameNumber＝x*视频采样率，x为每音节占用的时间，j取值范围为从0依次递增到frameNumber/2，再从frameNumber/2依次递减到0。
进一步地，该第一生成模块502根据该初始的嘴唇形状模型和该嘴唇形状的运动幅度比例，生成嘴唇形状的运动幅度值，包括：
计算嘴唇形状的水平方向的运动幅度值为length*scaleForFrame[k]，垂直方向的嘴唇形状的运动幅度值为width*scaleForFrame[k]，其中，length和width分别为初始的嘴唇形状模型的长度和宽度。
进一步地，如图7所示，第二生成模块503，包括：
选择模块，用于从该预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
第九获取模块，用于获取该原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
第十获取模块，用于将该原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
第十一获取模块，用于在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
第三生成模块，用于将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
进一步地，第九获取模块计算原始发音模型各个顶点的偏移量比例，包括：
计算原始发音模型顶点z在水平方向的偏移量比例为x_hor/modelLength，在垂直方向的偏移量比例为y_ver/modelWidth，其中modelLength和modelWidth为发音模型库中原始嘴唇模型的长度和宽度，x_hor、y_ver分别为原始发音模型顶点z相对嘴唇发音模型库中原始嘴唇模型的顶点z在水平方向和垂直方向的偏移量，其中，0＝＜z＜原始发音模型顶点个数。
进一步地，获取模块501，还用于对该音频信号进行去噪处理。
需要说明的是，获取模块501获取音频信号，根据该音频信号的特征得到嘴唇形状的运动幅度比例的详细过程可以参见实施例1中的步骤101。
需要说明的是，第一生成模块502获取初始的嘴唇形状模型，根据该初始的嘴唇形状模型和该得到的嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值的详细过程可以参见实施例1中的步骤102。
需要说明的是，第二生成模块503根据该得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合的详细过程可以参见实施例1中的步骤103。
在本发明实施例中，利用嘴唇发音模型库，通过语音驱动实现了嘴唇形状变化，相对于现有技术，本发明实施例提供的技术方案算法简单，且成本低。
本发明实施例4提供了一种获取嘴唇动画的装置，如图8所示，包括：
获取模块601，用于获取音频信号，根据该音频信号的特征得到嘴唇形状的运动幅度比例；
第一生成模块602，用于获取用户输入的初始的嘴唇形状模型，根据该初始的嘴唇形状模型和该得到的嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值；
第二生成模块603，用于根据该得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
第三生成模块604，用于根据该变化的嘴唇形状网格模型集合生成嘴唇动画。
获取模块601、第一生成模块602和第二生成模块603分别等同于实施例3中的获取模块、第一生成模块和第二生成模块，具体不再赘述。
需要说明的是，获取模块601获取音频信号，根据该音频信号的特征得到嘴唇形状的运动幅度比例的详细过程可以参见实施例1中的步骤101。
需要说明的是，第一生成模块602获取初始的嘴唇形状模型，根据该初始的嘴唇形状模型和该得到的嘴唇形状的运动幅度比例，生成嘴唇形状的运动幅度值的详细过程可以参见实施例1中的步骤102。
需要说明的是，第二生成模块603根据该得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合的详细过程可以参见实施例1中的步骤103。
在本发明实施例中，利用嘴唇发音模型库，通过语音驱动实现了嘴唇形状变化，进而得到嘴唇动画，相对于现有技术，本发明实施例提供的技术方案算法简单，且成本低。
本发明实施例1-4的技术方案可以应用于但不限于终端视频动画或娱乐性的网页视频动画领域，不仅适用于汉语，还可以适用于英语、法语或其他语种，为了叙述简便，本发明实施例1-4的技术方案仅以汉语为例，其他语种的处理类似，不再赘述。其中，用户输入的初始的嘴唇形状模型可能是来自于人脸、动物脸、卡通图像等；音频信号也是用户自定义的，例如是正常说话、唱歌，或特效处理过的音频信号等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述程序可以存储于一计算机可读取存储介质中，所述存储介质为计算机的软盘、硬盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种语音驱动嘴唇形状变化的方法，其特征在于，包括：
获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；
获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例，生成嘴唇形状的运动幅度值；
根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
所述根据所述音频信号的特征得到嘴唇形状的运动幅度比例包括：
遍历所述音频信号，获取最大的采样数据值；
对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
根据当前窗口对应的嘴唇形状最大运动幅度值获取当前窗口对应的当前视频帧的嘴唇形状运动幅度比例；
所述根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合包括：
从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
2.如权利要求1所述的语音驱动嘴唇形状变化的方法，其特征在于，所述根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值，包括：
获取当前窗口i内所有小组采样数据值的平均值；
获取采样数据值的平均值的最大值windowPeak[i]；
计算windowPeak[i]和最大采样数据值maxSampleValue的比值scale[i]；
计算当前窗口i对应的嘴唇形状的最大运动幅度值extent[i]＝scale[i]*maxLen；
其中，i＞＝0，maxLen为所有窗口的嘴唇形状的最大运动幅度值。
3.如权利要求1所述的语音驱动嘴唇形状变化的方法，其特征在于，所述根据当前窗口对应的嘴唇形状最大运动幅度值获取当前窗口对应的当前视频帧的嘴唇形状运动幅度比例，包括：
获取当前窗口i对应的第j帧视频中的嘴唇形状运动幅度比例scaleForFrame[k]＝j*(scale[i]/(frameNumber/2))，其中，k＝frameNumber*i+j，0＝＜k＜视频总帧数，frameNumber为每个窗口对应的动画视频帧的个数，frameNumber＝x*视频采样率，x为每音节占用的时间，j取值范围为从0依次递增到frameNumber/2，再从frameNumber/2依次递减到0。
4.如权利要求3所述的语音驱动嘴唇形状变化的方法，其特征在于，所述根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值，包括：
计算嘴唇形状的水平方向的运动幅度值为length*scaleForFrame[k]，垂直方向的嘴唇形状的运动幅度值为width*scaleForFrame[k]，其中，length和width分别为初始的嘴唇形状模型的长度和宽度。
5.如权利要求1所述的语音驱动嘴唇形状变化的方法，其特征在于，所述计算原始发音模型各个顶点的偏移量比例，包括：
计算原始发音模型顶点z在水平方向的偏移量比例为x_hor/modelLength，在垂直方向的偏移量比例为y_ver/modelWidth，其中modelLength和modelWidth为发音模型库中原始嘴唇模型的长度和宽度，x_hor、y_ver分别为原始发音模型顶点z相对嘴唇发音模型库中原始嘴唇模型的顶点z在水平方向和垂直方向的偏移量，其中，0＝＜z＜原始发音模型顶点个数。
6.如权利要求1-5任意一项所述的语音驱动嘴唇形状变化的方法，其特征在于，所述获取音频信号，还包括：
对所述音频信号进行去噪处理。
7.一种获取嘴唇动画的方法，其特征在于，包括：
获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；
获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例，生成嘴唇形状的运动幅度值；
根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
根据所述变化的嘴唇形状网格模型集合生成嘴唇动画；
所述根据所述音频信号的特征得到嘴唇形状的运动幅度比例包括：
遍历所述音频信号，获取最大的采样数据值；
对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
根据当前窗口对应的嘴唇形状最大运动幅度获取当前窗口对应的当前视频帧的嘴唇形状运动幅度比例；
所述根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合包括：
从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
8.一种语音驱动嘴唇形状变化的装置，其特征在于，包括：
获取模块，用于获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；第一生成模块，用于获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例，生成嘴唇形状的运动幅度值；
第二生成模块，用于根据所述得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
所述获取模块包括：
第一获取模块，用于遍历所述音频信号，获取最大的采样数据值；
第二获取模块，用于对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
第三获取模块，用于根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
第四获取模块，用于根据当前窗口对应的嘴唇形状最大运动幅度值获取当前窗口对应的当前帧视频的嘴唇形状运动幅度比例；
所述第二生成模块包括：
选择模块，用于从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
第九获取模块，用于获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
第十获取模块，用于将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
第十一获取模块，用于在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
第三生成模块，用于将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
9.如权利要求8所述的语音驱动嘴唇形状变化的装置，其特征在于，所述第二获取模块，包括：
第五获取模块，用于获取当前窗口i内所有小组采样数据值的平均值；
第六获取模块，用于获取采样数据值的平均值的最大值windowPeak[i]；
第七获取模块，用于计算windowPeak[i]和最大采样数据值maxSampleValue的比值scale[i]；
第八获取模块，用于计算当前窗口i对应的嘴唇形状的最大运动幅度值extent[i]＝scale[i]*maxLen；
其中，i＞＝0，maxLen为所有窗口的嘴唇形状的最大运动幅度值。
10.如权利要求8所述的语音驱动嘴唇形状变化的装置，其特征在于，所述第四获取模块，具体用于获取当前窗口i对应的第j帧视频中的嘴唇形状运动幅度比例scaleForFrame[k]＝j*(scale[i]/(frameNumber/2))，其中，k＝frameNumber*i+j，0＝＜k＜视频总帧数，frameNumber为每个窗口对应的动画视频帧的个数，frameNumber＝x*视频采样率，x为每音节占用的时间，j取值范围为从0依次递增到frameNumber/2，再从frameNumber/2依次递减到0。
11.如权利要求10所述的语音驱动嘴唇形状变化的装置，其特征在于，所述第一生成模块根据，根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例，生成嘴唇形状的运动幅度值，包括：
计算嘴唇形状的水平方向的运动幅度值为length*scaleForFrame[k]，垂直方向的嘴唇形状的运动幅度值为width*scaleForFrame[k]，其中，length和width分别为初始的嘴唇形状模型的长度和宽度。
12.如权利要求8所述的语音驱动嘴唇形状变化的装置，其特征在于，第九获取模块计算原始发音模型各个顶点的偏移量比例，包括：
计算原始发音模型顶点z在水平方向的偏移量比例为x_hor/modelLength，在垂直方向的偏移量比例为y_ver/modelWidth，其中modelLength和modelWidth为发音模型库中原始嘴唇模型的长度和宽度，x_hor、y_ver分别为原始发音模型顶点z相对嘴唇发音模型库中原始嘴唇模型的顶点z在水平方向和垂直方向的偏移量，其中，0＝＜z＜原始发音模型顶点个数。
13.如权利要求12所述的语音驱动嘴唇形状变化的装置，其特征在于，所述获取模块，还用于对所述音频信号进行去噪处理。
14.一种获取嘴唇动画的装置，其特征在于，包括：
获取模块，用于获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；
第一生成模块，用于获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述得到的嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值；
第二生成模块，用于根据所述得到的嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；
第三生成模块，用于根据所述变化的嘴唇形状网格模型集合生成嘴唇动画；
所述获取模块包括：
第一获取模块，用于遍历所述音频信号，获取最大的采样数据值；
第二获取模块，用于对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；
第三获取模块，用于根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；
第四获取模块，用于根据当前窗口对应的嘴唇形状最大运动幅度获取当前窗口对应的当前帧视频的嘴唇形状运动幅度比例；
所述第二生成模块包括：
选择模块，用于从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；
第九获取模块，用于获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；
第十获取模块，用于将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；
第十一获取模块，用于在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；
第三生成模块，用于将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。
CN2009100030839A 2009-01-19 2009-01-19 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置 Active CN101482976B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN2009100030839A CN101482976B (zh) 2009-01-19 2009-01-19 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置
CA2744347A CA2744347C (en) 2009-01-19 2010-01-05 Method and apparatus for changing lip shape and obtaining lip animation in voice-driven animation
BRPI1006026A BRPI1006026B1 (pt) 2009-01-19 2010-01-05 método e aparelho para alteração do formato de lábio e obtenção de animação de lábio em animação acionada por voz
MX2011006703A MX2011006703A (es) 2009-01-19 2010-01-05 Metodo y aparato para cambiar la forma de los labios y obtener animacion de los labios en animacion estimulada por voz.
RU2011124736/08A RU2487411C2 (ru) 2009-01-19 2010-01-05 Способ и устройство для изменения формы губ и получения анимации губ в управляемой голосом анимации
PCT/CN2010/070026 WO2010081395A1 (zh) 2009-01-19 2010-01-05 语音驱动动画中嘴唇形状变化、获取嘴唇动画的方法及装置
US13/117,244 US8350859B2 (en) 2009-01-19 2011-05-27 Method and apparatus for changing lip shape and obtaining lip animation in voice-driven animation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100030839A CN101482976B (zh) 2009-01-19 2009-01-19 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置

Publications (2)

Publication Number Publication Date
CN101482976A CN101482976A (zh) 2009-07-15
CN101482976B true CN101482976B (zh) 2010-10-27

Family

ID=40880071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100030839A Active CN101482976B (zh) 2009-01-19 2009-01-19 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置

Country Status (7)

Country Link
US (1) US8350859B2 (zh)
CN (1) CN101482976B (zh)
BR (1) BRPI1006026B1 (zh)
CA (1) CA2744347C (zh)
MX (1) MX2011006703A (zh)
RU (1) RU2487411C2 (zh)
WO (1) WO2010081395A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482976B (zh) * 2009-01-19 2010-10-27 腾讯科技（深圳）有限公司 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置
CN102054287B (zh) * 2009-11-09 2015-05-06 腾讯科技（深圳）有限公司 面部动画视频生成的方法及装置
CN102368198A (zh) * 2011-10-04 2012-03-07 上海量明科技发展有限公司 通过嘴唇图像进行信息提示的方法及系统
CN110164437B (zh) * 2012-03-02 2021-04-16 腾讯科技（深圳）有限公司 一种即时通信的语音识别方法和终端
CN104392729B (zh) * 2013-11-04 2018-10-12 贵阳朗玛信息技术股份有限公司 一种动画内容的提供方法及装置
CN103705218B (zh) * 2013-12-20 2015-11-18 中国科学院深圳先进技术研究院 构音障碍识别的方法、系统和装置
CN104298961B (zh) * 2014-06-30 2018-02-16 中国传媒大学 基于口型识别的视频编排方法
CN106203235B (zh) * 2015-04-30 2020-06-30 腾讯科技（深圳）有限公司 活体鉴别方法和装置
CN104869326B (zh) * 2015-05-27 2018-09-11 网易（杭州）网络有限公司 一种配合音频的图像显示方法和设备
CN105405160B (zh) * 2015-10-14 2018-05-01 佛山精鹰传媒股份有限公司 一种简单规则模型变化效果的实现方法
CN105632497A (zh) * 2016-01-06 2016-06-01 昆山龙腾光电有限公司 一种语音输出方法、语音输出系统
CN107808191A (zh) * 2017-09-13 2018-03-16 北京光年无限科技有限公司 虚拟人多模态交互的输出方法和系统
US10586368B2 (en) * 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10635893B2 (en) * 2017-10-31 2020-04-28 Baidu Usa Llc Identity authentication method, terminal device, and computer-readable storage medium
CN108538308B (zh) * 2018-01-09 2020-09-29 网易（杭州）网络有限公司 基于语音的口型和/或表情模拟方法及装置
US10657972B2 (en) * 2018-02-02 2020-05-19 Max T. Hall Method of translating and synthesizing a foreign language
CN108538282B (zh) * 2018-03-15 2021-10-08 上海电力学院 一种由唇部视频直接生成语音的方法
US11386900B2 (en) * 2018-05-18 2022-07-12 Deepmind Technologies Limited Visual speech recognition by phoneme prediction
CN108847234B (zh) * 2018-06-28 2020-10-30 广州华多网络科技有限公司 唇语合成方法、装置、电子设备及存储介质
CN108986191B (zh) * 2018-07-03 2023-06-27 百度在线网络技术（北京）有限公司 人物动作的生成方法、装置及终端设备
US11568864B2 (en) * 2018-08-13 2023-01-31 Carnegie Mellon University Processing speech signals of a user to generate a visual representation of the user
CN111953922B (zh) * 2019-05-16 2022-05-27 南宁富联富桂精密工业有限公司 视频会议的人脸辨识方法、服务器及计算机可读存储介质
CN110277099A (zh) * 2019-06-13 2019-09-24 北京百度网讯科技有限公司 基于语音的嘴型生成方法和装置
CN111415677B (zh) * 2020-03-16 2020-12-25 北京字节跳动网络技术有限公司 用于生成视频的方法、装置、设备和介质
CN113240781A (zh) * 2021-05-20 2021-08-10 东营友帮建安有限公司 基于语音驱动及图像识别的影视动画制作方法、系统
CN113506563A (zh) * 2021-07-06 2021-10-15 北京一起教育科技有限责任公司 一种发音识别的方法、装置及电子设备
CN115222856B (zh) * 2022-05-20 2023-09-26 一点灵犀信息技术(广州)有限公司 表情动画生成方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657426A (en) * 1994-06-10 1997-08-12 Digital Equipment Corporation Method and apparatus for producing audio-visual synthetic speech
US6654018B1 (en) * 2001-03-29 2003-11-25 At&T Corp. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
CN1466104A (zh) * 2002-07-03 2004-01-07 中国科学院计算技术研究所 基于统计与规则结合的语音驱动人脸动画方法
CN1731833A (zh) * 2005-08-23 2006-02-08 孙丹 语音驱动头部图像合成影音文件的方法
CN1971621A (zh) * 2006-11-10 2007-05-30 中国科学院计算技术研究所 语音和文本联合驱动的卡通人脸动画生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426460A (en) * 1993-12-17 1995-06-20 At&T Corp. Virtual multimedia service for mass market connectivity
US6737572B1 (en) * 1999-05-20 2004-05-18 Alto Research, Llc Voice controlled electronic musical instrument
EP1510973A3 (en) * 2003-08-29 2006-08-16 Samsung Electronics Co., Ltd. Method and apparatus for image-based photorealistic 3D face modeling
JP2006162760A (ja) * 2004-12-03 2006-06-22 Yamaha Corp 語学学習装置
CN100386760C (zh) * 2005-09-20 2008-05-07 文化传信科技（澳门）有限公司 动画生成系统以及方法
CN101482976B (zh) * 2009-01-19 2010-10-27 腾讯科技（深圳）有限公司 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657426A (en) * 1994-06-10 1997-08-12 Digital Equipment Corporation Method and apparatus for producing audio-visual synthetic speech
US6654018B1 (en) * 2001-03-29 2003-11-25 At&T Corp. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
CN1466104A (zh) * 2002-07-03 2004-01-07 中国科学院计算技术研究所 基于统计与规则结合的语音驱动人脸动画方法
CN1731833A (zh) * 2005-08-23 2006-02-08 孙丹 语音驱动头部图像合成影音文件的方法
CN1971621A (zh) * 2006-11-10 2007-05-30 中国科学院计算技术研究所 语音和文本联合驱动的卡通人脸动画生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张青山等.具有真实感的三维人脸动画.软件学报.2003,14(3),643-650. *
王志明等.汉语语音视位的研究.应用声学.2002,21(3),29-34. *

Also Published As

Publication number Publication date
MX2011006703A (es) 2011-07-28
RU2011124736A (ru) 2013-02-27
BRPI1006026A8 (pt) 2017-10-10
US8350859B2 (en) 2013-01-08
CA2744347A1 (en) 2010-07-22
BRPI1006026B1 (pt) 2020-04-07
CN101482976A (zh) 2009-07-15
WO2010081395A1 (zh) 2010-07-22
US20110227931A1 (en) 2011-09-22
CA2744347C (en) 2014-02-25
BRPI1006026A2 (pt) 2016-05-10
RU2487411C2 (ru) 2013-07-10

Similar Documents

Publication Publication Date Title
CN101482976B (zh) 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置
US9361722B2 (en) Synthetic audiovisual storyteller
US20080259085A1 (en) Method for Animating an Image Using Speech Data
KR102116309B1 (ko) 가상 캐릭터와 텍스트의 동기화 애니메이션 출력 시스템
CN104361620A (zh) 一种基于综合加权算法的口型动画合成方法
CN115222856B (zh) 表情动画生成方法及电子设备
CN113744755A (zh) 一种从音频信号生成语音动画的装置及方法
KR102489498B1 (ko) 음성 합성 및 영상 합성 기술을 통해 고인을 모사하는 가상 인물과 커뮤니케이션을 수행하는 방법 및 시스템
CN113609255A (zh) 一种面部动画的生成方法、系统及存储介质
CN116363268A (zh) 一种口型动画的生成方法、装置、电子设备和存储介质
CN112331184B (zh) 语音口型同步方法、装置、电子设备及存储介质
CN110956859A (zh) 基于深度学习的vr智能语音交互英语方法
Li et al. A novel speech-driven lip-sync model with CNN and LSTM
CN115083371A (zh) 驱动虚拟数字形象唱歌的方法及其装置
Weerathunga et al. Lip synchronization modeling for sinhala speech
Yu et al. A realistic 3D articulatory animation system for emotional visual pronunciation
Muzahidin et al. Text-driven talking head using dynamic viseme and DFFD for SIBI
JP3298076B2 (ja) 画像作成装置
Faruquie et al. Translingual visual speech synthesis
Leone et al. Lucia: An open source 3d expressive avatar for multimodal hmi
Safabakhsh et al. AUT-Talk: a farsi talking head
Chen et al. Real-time lip synchronization using wavelet network
Wei et al. Speech animation based on Chinese mandarin triphone model
Brkic et al. Towards natural head movement of autonomous speaker agent
Hao Design of English Speech Comprehensive Training System for Smart Phone

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160104

Address after: The South Road in Guangdong province Shenzhen city Fiyta building 518057 floor 5-10 Nanshan District high tech Zone

Patentee after: Shenzhen Tencent Computer System Co., Ltd.

Address before: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.