CN101968894A - 根据汉字自动实现音唇同步的方法 - Google Patents
根据汉字自动实现音唇同步的方法 Download PDFInfo
- Publication number
- CN101968894A CN101968894A CN200910055531XA CN200910055531A CN101968894A CN 101968894 A CN101968894 A CN 101968894A CN 200910055531X A CN200910055531X A CN 200910055531XA CN 200910055531 A CN200910055531 A CN 200910055531A CN 101968894 A CN101968894 A CN 101968894A
- Authority
- CN
- China
- Prior art keywords
- chinese character
- sequence information
- phonetic
- animation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
一种根据汉字自动实现音唇同步的方法，该方法至少包括以下步骤：用户输入文本的步骤，对输入的文本进行解析，将输入统一成标准的数据序列信息的步骤，根据《汉字-拼音对应表格》进行数据转换，生成标准的数据序列信息的步骤，根据《拼音-动画序列对应表格》进行数据转换，生成标准的数据序列信息，根据动画序列中的信息及整个汉字的发音时间长短进行数据转换，生成标准的最终数据结构的步骤，将最终数据序列信息应用到具体的渲染引擎中。本发明能通过说话的内容，直接由汉字自动实时的实现音唇同步，实时性强，使用简单，调整方便，是目前市场上唯一一款能够通过汉字自动生成音唇同步的软件。
Description
技术领域
本发明涉及一种音唇同步的方法，具体涉及一种根据汉字自动实现音唇同步的方法。
背景技术
传统的口形动画是先获取到说话的内容，然后由专业的美术制作人员使用三维建模软件，如3ds max或者Maya等。
目前，一种现有技术的源虚拟角色上的口形动画生成方法，包括下列步骤：1)接收文本，将文本切分为单个字，将所述字拆分为文本的音素；2)根据音素口形对应库将音素转化为对应的口形命令，其中所述音素口形对应库设定了音素对应的起始口形和终止口形；3)根据音素时长表，缩放所述口形命令中的文本的音素对应口形，其中所述音素时长表包含口形幅度的标识；4)根据所述音素时长表，计算文本的音素对应的起始口形和终止口形分别对应的起始帧和结束帧，设置所述口形命令的执行时间，其中，所述音素时长表包括音素对应口形的时长；5)执行所述口形命令，生成所述源虚拟角色上的口形动画。
这些现有技术的缺点是：
1、这些现有技术由于在获取说话内容后制作动画，不能确保动画的实时性。
2、这些现有技术制作时间周期较长，难度较大。
3、这些现有技术成本高，精确度较低，不易于普及应用。
发明内容
本发明的目的是提供一种根据汉字自动实现音唇同步的方法，能通过简单的输入所要表达的内容，生成完美的口型动画，具有使用简单，调整方便，实时性强的特性。
本发明根据汉字自动实现音唇同步的方法的目的是通过以下技术方案实现的：一种根据汉字自动实现音唇同步的方法，应用于由输入模块、解析处理模块、汉字转成拼音模块、拼音转成动画序列信息模块、动画序列信息解析模块及动画应用模块组成的系统中；该方法至少包括以下步骤：
步骤1，用户输入文本。
步骤2，解析处理模块对输入的文本进行解析，将输入统一格式的单个汉字及汉字发音时间长短的数据序列信息；判断文本解析是否成功：
步骤2.1，解析处理模块对输入的文本进行解析，解析成功，则继续执行步骤3；
步骤2.2，解析失败，则返回执行步骤1。
步骤3，汉字转成拼音模块根据《汉字-拼音对应表格》进行数据转换，生成统一格式的汉字拼音及汉字发音时间长短的数据序列信息；判断汉字转成拼音是否成功：
步骤3.1，汉字转成拼音模块根据《汉字-拼音对应表格》进行数据转换，转换成功，则继续执行步骤4；
步骤3.1，转换失败，则返回执行步骤1。
步骤4，拼音转成动画序列信息模块根据《拼音-动画序列对应表格》进行数据转换，生成统一格式的动画序列信息及汉字发音时间长短的数据序列信息；判断拼音转成动画序列结构是否成功：
步骤4.1，拼音转成动画序列信息模块根据《拼音-动画序列对应表格》进行数据转换，转换成功，则继续执行步骤5；
步骤4.2，转换失败，则返回执行步骤1。
步骤5，动画序列信息解析模块根据动画序列中的信息及整个汉字的发音时间长短进行数据转换，生成统一格式的单个动画序列信息及动画播放时间，单个动画序列信息及动画播放时间，和下一个单个动画序列信息的融合时间的最终数据序列信息；判断最终数据序列信息转换是否成功；
步骤5.1，动画序列信息解析模块根据动画序列中的信息及整个汉字的发音时间长短进行数据转换，转换成功，则继续执行步骤6；
步骤5.2，转换失败，则返回执行步骤1。
步骤6，动画应用模块将最终数据序列信息应用到渲染引擎中。
上述的根据汉字自动实现音唇同步的方法，其中，所述的步骤1中用户直接输入的文本是汉字或使用工具编辑的音乐电视字幕。
上述的根据汉字自动实现音唇同步的方法，其中，所述的步骤4中还包括：所述的统一格式的动画序列信息及汉字发音时间长短的数据序列信息是每个音节的动画唇形及其相对应的播放时间。
上述的根据汉字自动实现音唇同步的方法，其中，所述的步骤5中还包括：所述的融合时间是汉字与汉字之间的间隔停顿时间。
本发明根据汉字自动实现音唇同步的方法由于采用了上述方案，使之与现有技术相比，具有以下的优点和积极效果：
1、本发明根据汉字自动实现音唇同步的方法能够通过说话的内容，直接由汉字自动实时的实现音唇同步。
2、本发明根据汉字自动实现音唇同步的方法实时性强，使用简单，调整方便。
3、本发明根据汉字自动实现音唇同步的方法是目前市场上唯一一款能够通过汉字自动生成音唇同步的软件。
附图说明
图1是本发明根据汉字自动实现音唇同步的方法的流程图。
图2是本发明根据汉字自动实现音唇同步的方法的一个实施例。
具体实施方式
请参见附图1所示，本发明根据汉字自动实现音唇同步的方法应用于由由输入模块、解析处理模块、汉字转成拼音模块、拼音转成动画序列信息模块、动画序列信息解析模块及动画应用模块组成的系统中，该方法的具体步骤如下：
步骤1，用户直接输入文本，直接输入的文本可以是汉字或使用工具编辑的音乐电视(MTV)字幕。
步骤2，解析处理模块对输入的文本进行解析，将输入归一化为统一格式的单个汉字及汉字发音时间长短的数据序列信息；判断文本解析是否成功；解析成功，继续执行步骤3；解析失败，则返回执行步骤1；因为中文是单字节发音的语言，输入文本的格式分为匀速发音及变速发音，普通说话时匀速发音，唱歌等是变速发音。
步骤3，汉字转成拼音模块根据《汉字-拼音对应表格》进行数据转换，生成统一格式的汉字拼音及汉字发音时间长短的数据序列信息；判断汉字转成拼音是否成功；转换成功，继续执行步骤4；转换失败，则返回执行步骤1。
步骤4，拼音转成动画序列信息模块根据《拼音-动画序列对应表格》进行数据转换，生成统一格式的动画序列信息及汉字发音时间长短的数据序列信息；判断拼音转成动画序列结构是否成功；转换成功，继续执行步骤5；转换失败，则返回执行步骤1；统一格式的动画序列信息及汉字发音时间长短的数据序列信息是每个音节的动画唇形及其相对应的播放时间。
步骤5，动画序列信息解析模块根据动画序列中的信息及整个汉字的发音时间长短进行数据转换，生成统一格式的单个动画序列信息及动画播放时间，单个动画序列信息及动画播放时间，和下一个单个动画序列信息的融合时间的最终数据序列信息；判断最终数据序列信息转换是否成功；转换成功，继续执行步骤6；转换失败，则返回执行步骤1；根据上一模块的结果，计算出单个动画播放时间的长短，在汉字与汉字之间加入融合时间blend_time。
步骤6，动画应用模块将最终数据序列信息应用到渲染引擎中。
本发明根据汉字自动实现音唇同步的方法包括《汉字-拼音对应表格》：
{
啊a
阿a e
埃ai
挨ai
哎ai
唉ai
哀ai
……
}
及《拼音-动画序列对应表格》：
{
a lips_a[0.1]lips_a[0.9]
ai lips_a[0.1]lips_i[0.9]
an lips_a[0.1]lips_n[0.9]
ang lips_a[0.1]lips_ng[0.9]
ao lips_a[0.1]lips_o[0.9]
……
}
根据上述表格，请参见附图2所示，本发明根据汉字自动实现音唇同步的方法根据《汉字-拼音对应表格》将输入的文本内容“冰冻娱乐”转换成拼音及播放时间：
{
“bing，0.3”
“dong，0.3”
“yu，0.3”
“le，0.3”}
进而根据《拼音-动画序列对应表格》转化为口形动画：
{
“0.3(lips_b，0.1)，(lips_ing，0.9)”
“0.3(lips_d，0.1)，(lips_ong，0.9)”
“0.3(lips_y，0.1)，(lips_u，0.9)”
“0.3(lips_l，0.1)，(lips_e，0.9)”
}
再在汉字与汉字之间加上融合时间，输出：
{
“0.3(lips_b，0.1)，(lips_ing，0.9)blend_time”
“0.3(lips_d，0.1)，(lips_ong，0.9)blend_time”
“0.3(lips_y，0.1)，(lips_u，0.9)blend_time”
“0.3(lips_l，0.1)，(lips_e，0.9)blend_time”
}
最后在渲染引擎中渲染出三维效果。
综上所述，本发明根据汉字自动实现音唇同步的方法能够通过说话的内容，直接由汉字自动实时的实现音唇同步；本发明根据汉字自动实现音唇同步的方法实时性强，使用简单，调整方便；本发明根据汉字自动实现音唇同步的方法是目前市场上唯一一款能够通过汉字自动生成音唇同步的软件。
Claims (8)
1.一种根据汉字自动实现音唇同步的方法，应用于由输入模块、解析处理模块、汉字转成拼音模块、拼音转成动画序列信息模块、动画序列信息解析模块及动画应用模块组成的系统中；其特征在于：该方法至少包括以下步骤：
步骤1，用户输入文本；
步骤2，解析处理模块对输入的文本进行解析，将输入统一格式的单个汉字及汉字发音时间长短的数据序列信息；判断文本解析是否成功；
步骤3，汉字转成拼音模块根据《汉字-拼音对应表格》进行数据转换，生成统一格式的汉字拼音及汉字发音时间长短的数据序列信息；判断汉字转成拼音是否成功；
步骤4，拼音转成动画序列信息模块根据《拼音-动画序列对应表格》进行数据转换，生成统一格式的动画序列信息及汉字发音时间长短的数据序列信息；判断拼音转成动画序列结构是否成功；
步骤5，动画序列信息解析模块根据动画序列中的信息及整个汉字的发音时间长短进行数据转换，生成统一格式的单个动画序列信息及动画播放时间，单个动画序列信息及动画播放时间，和下一个单个动画序列信息的融合时间的最终数据序列信息；判断最终数据序列信息转换是否成功；
步骤6，动画应用模块将最终数据序列信息应用到渲染引擎中。
2.根据权利要求1所述的根据汉字自动实现音唇同步的方法，其特征在于：所述的步骤1中用户直接输入的文本是汉字或使用工具编辑的音乐电视字幕。
3.根据权利要求1所述的根据汉字自动实现音唇同步的方法，其特征在于：所述的步骤4中还包括：所述的统一格式的动画序列信息及汉字发音时间长短的数据序列信息是每个音节的动画唇形及其相对应的播放时间。
4.根据权利要求1所述的根据汉字自动实现音唇同步的方法，其特征在于：所述的步骤5中还包括：所述的融合时间是汉字与汉字之间的间隔停顿时间。
5.根据权利要求1所述的根据汉字自动实现音唇同步的方法，其特征在于：所述的步骤2中还包括：
步骤2.1，解析处理模块对输入的文本进行解析，解析成功，则继续执行步骤3；
步骤2.2，解析失败，则返回执行步骤1。
6.根据权利要求1所述的根据汉字自动实现音唇同步的方法，其特征在于：所述的步骤3中还包括：
步骤3.1，汉字转成拼音模块根据《汉字-拼音对应表格》进行数据转换，转换成功，则继续执行步骤4；
步骤3.1，转换失败，则返回执行步骤1。
7.根据权利要求1所述的根据汉字自动实现音唇同步的方法，其特征在于：所述的步骤4中还包括：
步骤4.1，拼音转成动画序列信息模块根据《拼音-动画序列对应表格》进行数据转换，转换成功，则继续执行步骤5；
步骤4.2，转换失败，则返回执行步骤1。
8.根据权利要求1所述的根据汉字自动实现音唇同步的方法，其特征在于：所述的步骤5中还包括：
步骤5.1，动画序列信息解析模块根据动画序列中的信息及整个汉字的发音时间长短进行数据转换，转换成功，则继续执行步骤6；
步骤5.2，转换失败，则返回执行步骤1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910055531XA CN101968894A (zh) | 2009-07-28 | 2009-07-28 | 根据汉字自动实现音唇同步的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910055531XA CN101968894A (zh) | 2009-07-28 | 2009-07-28 | 根据汉字自动实现音唇同步的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101968894A true CN101968894A (zh) | 2011-02-09 |
Family
ID=43548044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910055531XA Pending CN101968894A (zh) | 2009-07-28 | 2009-07-28 | 根据汉字自动实现音唇同步的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101968894A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819856A (zh) * | 2012-07-10 | 2012-12-12 | 广东工业大学 | 一种根据中文对白生成连贯嘴型动画的方法 |
| CN106471572A (zh) * | 2016-07-07 | 2017-03-01 | 深圳狗尾草智能科技有限公司 | 一种同步语音及虚拟动作的方法、系统及机器人 |
| US10249291B2 (en) | 2016-05-27 | 2019-04-02 | Asustek Computer Inc. | Animation synthesis system and lip animation synthesis method |
| CN110691204A (zh) * | 2019-09-09 | 2020-01-14 | 苏州臻迪智能科技有限公司 | 一种音视频处理方法、装置、电子设备及存储介质 |
-
2009
- 2009-07-28 CN CN200910055531XA patent/CN101968894A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819856A (zh) * | 2012-07-10 | 2012-12-12 | 广东工业大学 | 一种根据中文对白生成连贯嘴型动画的方法 |
| US10249291B2 (en) | 2016-05-27 | 2019-04-02 | Asustek Computer Inc. | Animation synthesis system and lip animation synthesis method |
| CN106471572A (zh) * | 2016-07-07 | 2017-03-01 | 深圳狗尾草智能科技有限公司 | 一种同步语音及虚拟动作的方法、系统及机器人 |
| WO2018006369A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 一种同步语音及虚拟动作的方法、系统及机器人 |
| CN106471572B (zh) * | 2016-07-07 | 2019-09-03 | 深圳狗尾草智能科技有限公司 | 一种同步语音及虚拟动作的方法、系统及机器人 |
| CN110691204A (zh) * | 2019-09-09 | 2020-01-14 | 苏州臻迪智能科技有限公司 | 一种音视频处理方法、装置、电子设备及存储介质 |
| CN110691204B (zh) * | 2019-09-09 | 2021-04-02 | 苏州臻迪智能科技有限公司 | 一种音视频处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108831437B (zh) | 一种歌声生成方法、装置、终端和存储介质 | |
| CN103366731B (zh) | 语音合成方法及系统 | |
| KR102035596B1 (ko) | 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법 | |
| CN101482975A (zh) | 一种文字转换动画的方法和装置 | |
| EP0860811A2 (en) | Automated speech alignment for image synthesis | |
| CN101174448B (zh) | 有声图片播放方法、装置和有声图片索引文件生成方法 | |
| US11942093B2 (en) | System and method for simultaneous multilingual dubbing of video-audio programs | |
| CN110675886A (zh) | 音频信号处理方法、装置、电子设备及存储介质 | |
| CN103309855A (zh) | 汉语与外语自动实时语音翻译并标注字幕的音像录播设备 | |
| CN103503015A (zh) | 利用客户端终端机的音乐内容制作系统 | |
| CN102609969A (zh) | 基于汉语文本驱动的人脸语音同步动画的处理方法 | |
| CN110740275B (zh) | 一种非线性编辑系统 | |
| CN110769167A (zh) | 一种基于文字转语音技术进行视频配音的方法 | |
| CN101901598A (zh) | 一种哼唱合成方法和系统 | |
| KR20150076126A (ko) | 동적 발음 지원 시각화 수단을 포함하는 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 | |
| CN101968894A (zh) | 根据汉字自动实现音唇同步的方法 | |
| KR20190005103A (ko) | 전자기기의 웨이크업 방법, 장치, 디바이스 및 컴퓨터 가독 기억매체 | |
| CN101123089A (zh) | 汉语语音码语音合成方法 | |
| CN200962258Y (zh) | 一种多功能数码学习笔 | |
| TWI574254B (zh) | 用於電子系統的語音合成方法及裝置 | |
| CN103854648A (zh) | 汉语外语有声影像资料双向可逆语音转换并加注字幕方法 | |
| CN101968893A (zh) | 游戏音唇同步系统 | |
| KR20050018883A (ko) | 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치 | |
| CN104574474A (zh) | 一种通过字幕生成动画角色语言口型的匹配方法 | |
| CN201780773U (zh) | Led歌词显示智能点歌系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110209 |