CN104574474A - 一种通过字幕生成动画角色语言口型的匹配方法 - Google Patents
一种通过字幕生成动画角色语言口型的匹配方法 Download PDFInfo
- Publication number
- CN104574474A CN104574474A CN201510009506.3A CN201510009506A CN104574474A CN 104574474 A CN104574474 A CN 104574474A CN 201510009506 A CN201510009506 A CN 201510009506A CN 104574474 A CN104574474 A CN 104574474A
- Authority
- CN
- China
- Prior art keywords
- mouth
- shape
- speaks
- pronunciation
- consonant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Document Processing Apparatus (AREA)
Abstract
本发明提供一种通过字幕生成的动画角色语言口型的匹配方法，所要解决的问题是：在制作有大量发声的动画时，动画角色的口型动画量很大，在制作过程中费时费力，浪费了大量的人力物力资源；本发明的技术要点是：利用正则表达式或SDK解析字幕文件，把字幕中的文字转化为发音编码；在预设的7种发音口型组合中选取每一个单字所用到的口型，并根据已经统计完毕的发音编码的发音时间和发音顺序在时间轨上融合挑选出的发音口型。本发明的有益效果是：本发明只依赖于字幕文件，无需对音频中的人声进行解析，对系统资源消耗较少，对硬件配置要求低，可实现实时显示口型。
Description
技术领域
本发明涉及动画口型匹配技术领域，尤其是一种通过字幕生成的动画角色语言口型的匹配方法。
背景技术
一个完整发声动画包括动画部分和发声部分，发声部分一般存在相应的字幕文件，该字幕文件中含有发声文字以及与发声文字相对应的匹配时间轨。在制作有大量发声的动画时，动画角色的口型动画量很大，在制作过程中费时费力，浪费了大量的人力物力资源。
为了完成口型动画与发声的准确匹配，其外界环境要求极为苛刻，如：授权公告号：CN 101826216 B需要借助解析音频达到匹配口型的目的，动画的音频文件中时常存在较多所需人声以外的杂音，此时就无法达到令人满意的精确度，所以通常需要一个相对安静的环境进行匹配，并且对音频进行解析需要消耗较多的系统资源，不适合在现有移动终端上使用；而授权公告号：CN
101520903 B需要手动指定口型出现的时间，自动化程度不足，尤其是人工操作中容易因为大量的重复性劳动，使操作者精神麻木，而出现人为的误差。
因此对口型要求较为精确的动画中，一种既能满足精确度，又能达到电脑自动识别的方法是极为必要的。
发明内容
本发明的目的是提供一种通过字幕生成的动画角色语言口型的匹配方法。
本发明的技术方案是：利用正则表达式或SDK解析字幕文件，把字幕中的文字转化为发音编码；在预设的7种发音口型组合中选取每一个单字所用到的口型，并根据已经统计完毕的发音编码的发音时间和发音顺序在时间轨上融合挑选出的发音口型。
所述7种发音口型组合分别为：A，I，U，E，O，D，X；
其中汉语发音与口型对应关系如下：
声母b，p，m用X口型表示；
声母f，d，t，n，l，g，k，h用D口型表示；
声母j，q，x，zh，ch，sh，r，z，c，s用I口型表示；
韵母对应关系表如下：
| i:I | u:U | ü:U | |
| a:A | ia:A | ua:UA | |
| o:O | uo:UO | ||
| e:D | ie:E | üe:UD | |
| ai:E | uai:UE | ||
| ei:E | uei:UE | ||
| ao:AO | iao:AO | ||
| ou:OU | iou:OU | ||
| an:E | ian:E | uan:UE | üan:UE |
| en:D | in:I | uen:UD | ün:UD |
| ang:A | iang:A | uang:UA | |
| eng:D | ing:I | ueng:UD | |
| ong:U | iong:U |
声母为y的拼音按照公知规则转换为相应韵母，如果转换后位于i列，则在前面添加I口型；
声母为w的拼音按照公知规则转换为相应韵母；
u，ü列前出现非X口型的声母，则忽略该声母；
iu用U口型表示，ui和un用D口型表示；
罗马音发声与口型对应关系如下：
元音a，i，u，e，o分别用A，I，U，E，O口型表示；
辅音m，b，p用X口型表示；
辅音k，t，n，h，r，g，d用D口型表示；
辅音s，z，y用I口型表示；
辅音w用U口型表示；
拗音忽略中间的I口型，n不做口型匹配；
英语音标与口型对应关系如下：
元音[i]，[ə]，[ɒ]，[u]，[Λ]及其对应长音分别用I，D，O，U，A口型表示；
元音[e]，[æ]用E口型表示；
双元音对应关系：[ai]：E，[ei]：E，[ɔi]：O，[au]：O，[əu]：O，[iə]：ID，[eə]：ED，[uə]：UD；
辅音[b]，[p]，[m]用X口型表示；
辅音[t]，[k]，[f]，[d]，[g]，[v]，[h]，[n]，[ŋ]，[l]，[j]用D口型表示；
辅音[ϑ]，[s]，[ts]，[∫]，[t∫]，[ð]，[z]，[dz]，[ʒ]，[dʒ]用I口型表示；
辅音[w]，[r]，[tr]，[dr]用U口型表示。
所述在时间轨上融合挑选出的发音口型步骤包括：通过简化后的预设发音符号，调用对应的预设发音口型作为关键帧，使用字幕文件中存在对每个文字的时间标记，按照该时间标记设定发音口型的持续时间，或计算该段中每个文字的平均时间，按照平均时间设定发音口型的持续时间；
通过公式Math.sin(
(time / 1000.0) * 2 * Math.PI)根据时间time输出-1到1之间的数作为计算当前过渡帧的参数，根据前后的关键帧的发音口型，自动生成过渡帧；最后根据发音口型在人物上的位置坐标，将发音口型与人物组合。
本发明的有益效果是：本发明只依赖于字幕文件，无需对音频中的人声进行解析，对系统资源消耗较少，对硬件配置要求低，可实现实时显示口型。字幕文件是一种现有的通用的文件格式，其中作为本发明音画同步关键的文字出现时间由第三方编写，并经过公众多次校验，是一种可靠的公共资源。因为字幕文件是一种通用的文件格式，所以即使仍然存在偏差，也可由用户在例如音乐播放器之类的客户端上进行调节，达到与现有技术的良好兼容。
目前对字幕文件的利用仅限于显示文字，本发明通过解析字幕文件生成口型并实现自动音画同步，是对字幕文件的一种新的利用。
附图说明
图1是本发明的流程图。
具体实施方式
实施例
1
参见图1，利用正则表达式或SDK解析字幕文件，把字幕中的文字转化为发音编码；在预设的7种发音口型组合中选取每一个单字所用到的口型，并根据已经统计完毕的发音编码的发音时间和发音顺序在时间轨上融合挑选出的发音口型。
所述7种发音口型组合分别为：A，I，U，E，O，D，X；
其中汉语发音与口型对应关系如下：
声母b，p，m用X口型表示；
声母f，d，t，n，l，g，k，h用D口型表示；
声母j，q，x，zh，ch，sh，r，z，c，s用I口型表示；
韵母对应关系表如下：
| i:I | u:U | ü:U | |
| a:A | ia:A | ua:UA | |
| o:O | uo:UO | ||
| e:D | ie:E | üe:UD | |
| ai:E | uai:UE | ||
| ei:E | uei:UE | ||
| ao:AO | iao:AO | ||
| ou:OU | iou:OU | ||
| an:E | ian:E | uan:UE | üan:UE |
| en:D | in:I | uen:UD | ün:UD |
| ang:A | iang:A | uang:UA | |
| eng:D | ing:I | ueng:UD | |
| ong:U | iong:U |
声母为y的拼音按照公知规则转换为相应韵母，如果转换后位于i列，则在前面添加I口型；
声母为w的拼音按照公知规则转换为相应韵母；
u，ü列前出现非X口型的声母，则忽略该声母；
iu用U口型表示，ui和un用D口型表示；
罗马音发声与口型对应关系如下：
元音a，i，u，e，o分别用A，I，U，E，O口型表示；
辅音m，b，p用X口型表示；
辅音k，t，n，h，r，g，d用D口型表示；
辅音s，z，y用I口型表示；
辅音w用U口型表示；
拗音忽略中间的I口型，n不做口型匹配；
英语音标与口型对应关系如下：
元音[i]，[ə]，[ɒ]，[u]，[Λ]及其对应长音分别用I，D，O，U，A口型表示；
元音[e]，[æ]用E口型表示；
双元音对应关系：[ai]：E，[ei]：E，[ɔi]：O，[au]：O，[əu]：O，[iə]：ID，[eə]：ED，[uə]：UD；
辅音[b]，[p]，[m]用X口型表示；
辅音[t]，[k]，[f]，[d]，[g]，[v]，[h]，[n]，[ŋ]，[l]，[j]用D口型表示；
辅音[ϑ]，[s]，[ts]，[∫]，[t∫]，[ð]，[z]，[dz]，[ʒ]，[dʒ]用I口型表示；
辅音[w]，[r]，[tr]，[dr]用U口型表示。
所述在时间轨上融合挑选出的发音口型步骤包括：通过简化后的预设发音符号，调用对应的预设发音口型作为关键帧，使用字幕文件中存在对每个文字的时间标记，按照该时间标记设定发音口型的持续时间，或计算该段中每个文字的平均时间，按照平均时间设定发音口型的持续时间；
通过公式Math.sin(
(time / 1000.0) * 2 * Math.PI)根据时间time输出-1到1之间的数作为计算当前过渡帧的参数，根据前后的关键帧的发音口型，自动生成过渡帧；最后根据发音口型在人物上的位置坐标，将发音口型与人物组合。
Claims (3)
1.一种通过字幕生成的动画角色语言口型的匹配方法，其特征在于：利用正则表达式或SDK解析字幕文件，把字幕中的文字转化为发音编码；在预设的7种发音口型组合中选取每一个单字所用到的口型，并根据已经统计完毕的发音编码的发音时间和发音顺序在时间轨上融合挑选出的发音口型。
2.根据权利要求1所述一种通过字幕生成的动画角色语言口型的匹配方法，其特征是：所述7种发音口型组合分别为：A，I，U，E，O，D，X；
其中汉语发音与口型对应关系如下：
声母b，p，m用X口型表示；
声母f，d，t，n，l，g，k，h用D口型表示；
声母j，q，x，zh，ch，sh，r，z，c，s用I口型表示；
韵母对应关系如下表：
声母为y的拼音按照公知规则转换为相应韵母，如果转换后位于i列，则在前面添加I口型；
声母为w的拼音按照公知规则转换为相应韵母；
u，ü列前出现非X口型的声母，则忽略该声母；
iu用U口型表示，ui和un用D口型表示；
罗马音发声与口型对应关系如下：
元音a，i，u，e，o分别用A，I，U，E，O口型表示；
辅音m，b，p用X口型表示；
辅音k，t，n，h，r，g，d用D口型表示；
辅音s，z，y用I口型表示；
辅音w用U口型表示；
拗音忽略中间的I口型，n不做口型匹配；
英语音标与口型对应关系如下：
元音[i]，[ə]，[ɒ]，[u]，[Λ]及其对应长音分别用I，D，O，U，A口型表示；
元音[e]，[æ]用E口型表示；
双元音对应关系：[ai]：E，[ei]：E，[ɔi]：O，[au]：O，[əu]：O，[iə]：ID，[eə]：ED，[uə]：UD；
辅音[b]，[p]，[m]用X口型表示；
辅音[t]，[k]，[f]，[d]，[g]，[v]，[h]，[n]，[ŋ]，[l]，[j]用D口型表示；
辅音[ϑ]，[s]，[ts]，[∫]，[t∫]，[ð]，[z]，[dz]，[ʒ]，[dʒ]用I口型表示；
辅音[w]，[r]，[tr]，[dr]用U口型表示。
3.根据权利要求1所述一种通过字幕生成的动画角色语言口型的匹配方法，其特征是：所述在时间轨上融合挑选出的发音口型步骤包括：通过简化后的预设发音符号，调用对应的预设发音口型作为关键帧，使用字幕文件中存在对每个文字的时间标记，按照该时间标记设定发音口型的持续时间，或计算该段中每个文字的平均时间，按照平均时间设定发音口型的持续时间；
通过公式Math.sin( (time / 1000.0) * 2 * Math.PI)根据时间time输出-1到1之间的数作为计算当前过渡帧的参数，根据前后的关键帧的发音口型，自动生成过渡帧；最后根据发音口型在人物上的位置坐标，将发音口型与人物组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510009506.3A CN104574474A (zh) | 2015-01-09 | 2015-01-09 | 一种通过字幕生成动画角色语言口型的匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510009506.3A CN104574474A (zh) | 2015-01-09 | 2015-01-09 | 一种通过字幕生成动画角色语言口型的匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104574474A true CN104574474A (zh) | 2015-04-29 |
Family
ID=53090440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510009506.3A Pending CN104574474A (zh) | 2015-01-09 | 2015-01-09 | 一种通过字幕生成动画角色语言口型的匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104574474A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883584A (zh) * | 2015-05-19 | 2015-09-02 | 福建宏天信息产业有限公司 | 一种远程解析字幕的方法及系统 |
| CN106297792A (zh) * | 2016-09-14 | 2017-01-04 | 厦门幻世网络科技有限公司 | 一种语音口型动画的识别方法及装置 |
| CN113284506A (zh) * | 2021-05-20 | 2021-08-20 | 北京沃东天骏信息技术有限公司 | 信息映射方法、装置及存储介质和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100754430B1 (ko) * | 2004-10-08 | 2007-08-31 | 비쥬텍쓰리디(주) | 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체 |
| CN101482975A (zh) * | 2008-01-07 | 2009-07-15 | 丰达软件（苏州）有限公司 | 一种文字转换动画的方法和装置 |
| CN101520903A (zh) * | 2009-04-23 | 2009-09-02 | 北京水晶石数字科技有限公司 | 一种动画角色汉语口型匹配的方法 |
| JP4439740B2 (ja) * | 1999-02-16 | 2010-03-24 | 有限会社ジーエムアンドエム | 音声変換装置及び方法 |
| CN101930747A (zh) * | 2010-07-30 | 2010-12-29 | 四川微迪数字技术有限公司 | 一种将语音转换成口型图像的方法和装置 |
| CN104574477A (zh) * | 2014-12-22 | 2015-04-29 | 北京像素软件科技股份有限公司 | 动画角色汉语口型生成的方法及装置 |
-
2015
- 2015-01-09 CN CN201510009506.3A patent/CN104574474A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4439740B2 (ja) * | 1999-02-16 | 2010-03-24 | 有限会社ジーエムアンドエム | 音声変換装置及び方法 |
| KR100754430B1 (ko) * | 2004-10-08 | 2007-08-31 | 비쥬텍쓰리디(주) | 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체 |
| CN101482975A (zh) * | 2008-01-07 | 2009-07-15 | 丰达软件（苏州）有限公司 | 一种文字转换动画的方法和装置 |
| CN101520903A (zh) * | 2009-04-23 | 2009-09-02 | 北京水晶石数字科技有限公司 | 一种动画角色汉语口型匹配的方法 |
| CN101930747A (zh) * | 2010-07-30 | 2010-12-29 | 四川微迪数字技术有限公司 | 一种将语音转换成口型图像的方法和装置 |
| CN104574477A (zh) * | 2014-12-22 | 2015-04-29 | 北京像素软件科技股份有限公司 | 动画角色汉语口型生成的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 杜鹏 等: "基于汉语文本驱动的人脸语音同步动画系统", 《计算机工程》 * |
| 王跃: "基于汉语协同发音模型的文本驱动三维口型动画合成研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 陈盈科: "真实感三维人脸表情动画的设计与实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883584A (zh) * | 2015-05-19 | 2015-09-02 | 福建宏天信息产业有限公司 | 一种远程解析字幕的方法及系统 |
| CN106297792A (zh) * | 2016-09-14 | 2017-01-04 | 厦门幻世网络科技有限公司 | 一种语音口型动画的识别方法及装置 |
| CN113284506A (zh) * | 2021-05-20 | 2021-08-20 | 北京沃东天骏信息技术有限公司 | 信息映射方法、装置及存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104574477B (zh) | 动画角色汉语口型生成的方法及装置 | |
| US10360716B1 (en) | Enhanced avatar animation | |
| US8924216B2 (en) | System and method for synchronizing sound and manually transcribed text | |
| CN111667816A (zh) | 模型训练方法、语音合成方法、装置、设备和存储介质 | |
| CN105426362A (zh) | 语音翻译装置、方法及程序 | |
| US20140358516A1 (en) | Real-time, bi-directional translation | |
| WO2016037440A1 (zh) | 视频语音转换方法、装置和服务器 | |
| CN110415680B (zh) | 一种同声传译方法、同声传译装置以及一种电子设备 | |
| WO2004021148A3 (en) | Translation system | |
| US20200211565A1 (en) | System and method for simultaneous multilingual dubbing of video-audio programs | |
| JP2011182125A (ja) | 会議システム、情報処理装置、会議支援方法、情報処理方法、及びコンピュータプログラム | |
| JP2004355630A (ja) | 音声アプリケーション言語タグとともに実装される理解同期意味オブジェクト | |
| JP2004355629A (ja) | 高度対話型インターフェースに対する理解同期意味オブジェクト | |
| US10699712B2 (en) | Processing method and electronic device for determining logic boundaries between speech information using information input in a different collection manner | |
| CN101482975A (zh) | 一种文字转换动画的方法和装置 | |
| KR101597286B1 (ko) | 아바타 영상 메시지를 생성하는 장치 및 방법 | |
| CN104574474A (zh) | 一种通过字幕生成动画角色语言口型的匹配方法 | |
| EP3509062A1 (en) | Information processing device, information processing method, and program | |
| CN105913845A (zh) | 一种移动终端识别语音生成字幕的方法、系统及移动终端 | |
| TW201327214A (zh) | 電子設備及其自然語言分析方法 | |
| CN108628859A (zh) | 一种实时语音翻译系统 | |
| CN104834750A (zh) | 一种文字曲线生成方法 | |
| US11600279B2 (en) | Transcription of communications | |
| WO2016026379A1 (zh) | 界面显示方法及系统 | |
| Graham et al. | Evaluating OpenAI's Whisper ASR: Performance analysis across diverse accents and speaker traits |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150429 |