CN104574477A - 动画角色汉语口型生成的方法及装置 - Google Patents

Abstract

本发明公开了动画角色汉语口型生成的方法及装置，其中，该方法包括：接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息；根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型；确定获取的语音汉字所对应的声母所占比例和韵母所占比例；根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示，其显示时间满足从汉字口型对照表中查找到的时间长度。本发明方案能够提高动画角色汉语口型生成的准确性。

Description

动画角色汉语口型生成的方法及装置

技术领域

本发明涉及动画生成技术，尤其涉及动画角色汉语口型生成的方法及装置。

背景技术

在动画角色中，常需要根据输入的对话展示面部表情，包括口型。

然而，在实际应用中，多支持针对英文对话的口型生成，而不支持汉语口型的生成，导致汉语口型的生成准确率较低。

例如，游戏中经常会有与非玩家控制角色(NPC，Non-Player Character)对话的情景，尤其在3D游戏中更加常见。和NPC对话，往往需要展现其面部表情；而在面部表情中口型是否与对话内容一致，直接影响体验效果，因此如何实现游戏中口型动画，特别是汉语口型动画就显得至关重要。但目前方案只支持英文的自动生成口型动画；却不支持中文口型动画，导致汉语口型生成准确率很低。

发明内容

本发明提供了一种动画角色汉语口型生成的方法，该方法能够提高动画角色汉语口型生成的准确性。

本发明提供了一种动画角色汉语口型生成的装置，该装置能够提高动画角色汉语口型生成的准确性。

一种动画角色汉语口型生成的方法，将汉语拼音发音口型划分为声母类口型和韵母类口型，其中声母类口型包含的个数为第一设定个数，韵母类口型包含的个数为第二设定个数；按照划分的声母类口型和韵母类口型将常用汉字转换为各自对应的声母口型和韵母口型，将各常用汉字及对应的声母口型和韵母口型存储到汉字口型对照表中；

对语音信息进行识别，得到语音汉字以及对应的时间长度；在语音信息记录库中对应各条语音信息标识存储其汉字信息，所述汉字信息包括语音信息所含的语音汉字及相应的时间长度；

该方法包括：

接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息；

根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型；

确定获取的语音汉字所对应的声母所占比例和韵母所占比例；

根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示，其显示时间满足从汉字口型对照表中查找到的时间长度。

一种动画角色汉语口型生成的装置，该装置包括汉字口型对照表设置单元、语音信息记录单元、汉字信息确定单元和口型生成单元；

所述汉字口型对照表设置单元，将汉语拼音发音口型划分为声母类口型和韵母类口型，其中声母类口型包含的个数为第一设定个数，韵母类口型包含的个数为第二设定个数；按照划分的声母类口型和韵母类口型将常用汉字转换为各自对应的声母口型和韵母口型，将各常用汉字及对应的声母口型和韵母口型存储到汉字口型对照表中；

所述语音信息记录单元，对语音信息进行识别，得到语音汉字以及对应的时间长度；在语音信息记录库中对应各条语音信息标识存储其汉字信息，所述汉字信息包括语音信息所含的语音汉字及相应的时间长度；

所述汉字信息确定单元，接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息；根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型；确定获取的语音汉字所对应的声母所占比例和韵母所占比例；将查找出的声母口型和韵母口型以及确定的声母所占比例和韵母所占比例发送给所述口型生成单元；

所述口型生成单元，根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示，其显示时间满足从汉字口型对照表中查找到的时间长度。

从上述方案可以看出，本发明中，预先生成汉字口型对照表和语音信息记录库，当需要进行动画角色汉语口型生成时，该方法包括：接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息；根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型；确定获取的语音汉字所对应的声母所占比例和韵母所占比例；根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示。这样，实现了针对汉语实时生成口型动画，提高了动画角色汉语口型生成的准确性，进一步满足了需求。

附图说明

图1为本发明动画角色汉语口型生成的方法示意性流程图；

图2为本发明动画角色汉语口型生成的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

本发明预先生成汉字口型对照表和语音信息记录库，而后基于汉字口型对照表和语音信息记录库将汉语语音转换为对应的动画口型；从而，实现了针对汉语实时生成口型动画，提高了动画角色汉语口型生成的准确性。

参见图1，为本发明动画角色汉语口型生成的方法示意性流程图，该方法预先生成汉字口型对照表和语音信息记录库，具体地：

1)汉字口型对照表的生成。

将汉语拼音发音口型划分为声母类口型和韵母类口型，其中声母类口型包含的个数为第一设定个数，韵母类口型包含的个数为第二设定个数；按照划分的声母类口型和韵母类口型将常用汉字转换为各自对应的声母口型和韵母口型，将各常用汉字及对应的声母口型和韵母口型存储到汉字口型对照表中。

第一设定个数和第二设定个数，可根据需要确定。例如：所述第一设定个数为2，声母类口型包括b和d两种口型，所述第二设定个数为4，韵母类口型包含a、o、e和u四种口型。

具体实践时，可以将口型类似的声母或韵母划分为一类，下述为一个划分的实例：

b类口型对应的声母包含：b、p、m、l；

d类口型对应的声母包含：d、t、n、l、g、k、h、j、q、x、zh、ch、sh、r、z、c、s；

a类口型对应的韵母包含：a、ia、ua、ai、uai、ao、iao、an、ian、uan、ang、iang、uang；

o类口型对应的韵母包含：o、uo、ou、ang、iong；

e类口型对应的韵母包含：e、i、ie、er、ei、uei、en、in、uen、eng、ing、ueng、y；

u类口型对应的韵母包含：u、ue、un、ui、w。

2)语音信息记录库的生成。

对语音信息进行识别，得到语音汉字以及对应的时间长度；在语音信息记录库中对应各条语音信息标识存储其汉字信息，所述汉字信息包括语音信息所含的语音汉字及相应的时间长度。

对动画角色涉及到的每条语音信息进行识别，识别出语音信息中包含的所有语音汉字，以及每个语音汉字对应的时间长度，得到关于各条语音信息的汉字信息。

图1的流程包括以下步骤：

步骤101，接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息。

根据用户操作，请求对相应的语音信息进行播放。

步骤102，根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型。

查找出的声母口型和韵母口型，体现了口型的形状、张合度大小等信息。

步骤103，确定获取的语音汉字所对应的声母所占比例和韵母所占比例。

声母所占比例和韵母所占比例，即声母和韵母在相应汉字语音中所占的时间比例。

步骤104，根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示，其显示时间满足从汉字口型对照表中查找到的时间长度。

显示时，可按照帧频率，进行逐帧混合后显示。对每帧进行混合中，声母口型在该帧中所占时间比例依照声母所占比例，韵母口型在该帧中所占时间比例依照韵母所占比例；从声母口型到韵母口型，可进行过度处理。针对某一语音汉字，其显示的总时间为查找到的时间长度；口型显示与相应语音汉字的语音播放同时进行。

本发明中，预先生成汉字口型对照表和语音信息记录库，当需要进行动画角色汉语口型生成时，该方法包括：接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息；根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型；确定获取的语音汉字所对应的声母所占比例和韵母所占比例；根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示。这样，实现了针对汉语实时生成口型动画，提高了动画角色汉语口型生成的准确性，进一步满足了需求。

图1流程中，步骤103确定获取的语音汉字所对应的声母所占比例和韵母所占比例，可采用多种方式实现，如为预设的统一比例；还可以，进行每帧口型显示时，实时进行计算，具体如：

所述语音信息记录库中还记录各语音汉字的声母所占时间和韵母所占时间；所述确定获取的语音汉字所对应的声母所占比例和韵母所占比例，采用如下公式计算得到：

main_per＝main_max_per*|sin(past_time*3.14/(2.0*main_time))|；

sub_per＝sub_max_per*|sin(past_time*3.14/(2.0*sub_time))|；

其中，main_per为声母所占比例，main_time为声母所占时间，main_max_per为声母口型最大时的缩放比例；sub_per为韵母所占比例，sub_time为韵母所占时间，sub_max_per为韵母口型最大时的缩放比例；past_time为流逝时间；main_max_per、main_time、sub_max_per和sub_time为预先设定的参数。

其中，声母所占时间和韵母所占时间的总和即为相应语音汉字的时间长度。流逝时间为：针对某语音汉字，按照帧频率逐帧进行口型显示，流逝时间即为该语音汉字已显示的时间。

较佳地，所述声母口型最大时的缩放比例(main_max_per)取值为0.618，所述韵母口型最大时的缩放比例(sub_max_per)取值为0.372。

本发明可应用于各种动画角色汉语口型展示的场景，例如应用于3D游戏中的人物中文对话过程，采用本发明方案，可以真实的表现人物口型与对话内容的同步，同时简化口型动画制作流程，提高制作效率。

参见图2，为本发明动画角色汉语口型生成的装置结构示意图，该装置包括汉字口型对照表设置单元、语音信息记录单元、汉字信息确定单元和口型生成单元；

所述汉字口型对照表设置单元，将汉语拼音发音口型划分为声母类口型和韵母类口型，其中声母类口型包含的个数为第一设定个数，韵母类口型包含的个数为第二设定个数；按照划分的声母类口型和韵母类口型将常用汉字转换为各自对应的声母口型和韵母口型，将各常用汉字及对应的声母口型和韵母口型存储到汉字口型对照表中；

所述语音信息记录单元，对语音信息进行识别，得到语音汉字以及对应的时间长度；在语音信息记录库中对应各条语音信息标识存储其汉字信息，所述汉字信息包括语音信息所含的语音汉字及相应的时间长度；

所述汉字信息确定单元，接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息；根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型；确定获取的语音汉字所对应的声母所占比例和韵母所占比例；将查找出的声母口型和韵母口型以及确定的声母所占比例和韵母所占比例发送给所述口型生成单元；

所述口型生成单元，根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示，其显示时间满足从汉字口型对照表中查找到的时间长度。

较佳地，所述语音信息记录单元，还在语音信息记录库中记录各语音汉字的声母所占时间和韵母所占时间；

所述汉字信息确定单元包括声韵母所占比例确定子单元，确定获取的语音汉字所对应的声母所占比例和韵母所占比例，采用如下公式计算得到：

main_per＝main_max_per*|sin(past_time*3.14/(2.0*main_time))|；

sub_per＝sub_max_per*|sin(past_time*3.14/(2.0*sub_time))|；

其中，main_per为声母所占比例，main_time为声母所占时间，main_max_per为声母口型最大时的缩放比例；sub_per为韵母所占比例，sub_time为韵母所占时间，sub_max_per为韵母口型最大时的缩放比例；past_time为流逝时间；main_max_per、main_time、sub_max_per和sub_time为预先设定的参数。

较佳地，所述第一设定个数为2，声母类口型包括b和d两种口型，所述第二设定个数为4，韵母类口型包含a、o、e和u四种口型。

较佳地，汉字口型对照表中还包括对应默言的闭嘴口型；

所述汉字信息确定单元，还在动画角色未说话时从汉字口型对照表中查找默言对应的闭嘴口型，发送给所述口型生成单元；

所述口型生成单元，显示闭嘴口型。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种动画角色汉语口型生成的方法，其特征在于，预先地：

将汉语拼音发音口型划分为声母类口型和韵母类口型，其中声母类口型包含的个数为第一设定个数，韵母类口型包含的个数为第二设定个数；按照划分的声母类口型和韵母类口型将常用汉字转换为各自对应的声母口型和韵母口型，将各常用汉字及对应的声母口型和韵母口型存储到汉字口型对照表中；

对语音信息进行识别，得到语音汉字以及对应的时间长度；在语音信息记录库中对应各条语音信息标识存储其汉字信息，所述汉字信息包括语音信息所含的语音汉字及相应的时间长度；

该方法包括：

接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息；

根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型；

确定获取的语音汉字所对应的声母所占比例和韵母所占比例；

根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示，其显示时间满足从汉字口型对照表中查找到的时间长度。

2.如权利要求1所述的方法，其特征在于，所述语音信息记录库中还记录各语音汉字的声母所占时间和韵母所占时间；所述确定获取的语音汉字所对应的声母所占比例和韵母所占比例，采用如下公式计算得到：

main_per＝main_max_per*|sin(past_time*3.14/(2.0*main_time))|；

sub_per＝sub_max_per*|sin(past_time*3.14/(2.0*sub_time))|；

其中，main_per为声母所占比例，main_time为声母所占时间，main_max_per为声母口型最大时的缩放比例；sub_per为韵母所占比例，sub_time为韵母所占时间，sub_max_per为韵母口型最大时的缩放比例；past_time为流逝时间；main_max_per、main_time、sub_max_per和sub_time为预先设定的参数。

3.如权利要求2所述的方法，其特征在于，所述声母口型最大时的缩放比例(main_max_per)取值为0.618，所述韵母口型最大时的缩放比例(sub_max_per)取值为0.372。

4.如权利要求1所述的方法，其特征在于，所述第一设定个数为2，声母类口型包括b和d两种口型，所述第二设定个数为4，韵母类口型包含a、o、e和u四种口型。

5.如权利要求4所述的方法，其特征在于，

b类口型对应的声母包含：b、p、m、l；

d类口型对应的声母包含：d、t、n、l、g、k、h、j、q、x、zh、ch、sh、r、z、c、s；

a类口型对应的韵母包含：a、ia、ua、ai、uai、ao、iao、an、ian、uan、ang、iang、uang；

o类口型对应的韵母包含：o、uo、ou、ang、iong；

e类口型对应的韵母包含：e、i、ie、er、ei、uei、en、in、uen、eng、ing、ueng、y；

u类口型对应的韵母包含：u、ue、un、ui、w。

6.如权利要求1至5中任一项所述的方法，其特征在于，汉字口型对照表中还包括对应默言的闭嘴口型；该方法还包括：

当动画角色未说话时，从汉字口型对照表中查找默言对应的闭嘴口型；

显示闭嘴口型。

7.一种动画角色汉语口型生成的装置，其特征在于，该装置包括汉字口型对照表设置单元、语音信息记录单元、汉字信息确定单元和口型生成单元；

所述汉字口型对照表设置单元，将汉语拼音发音口型划分为声母类口型和韵母类口型，其中声母类口型包含的个数为第一设定个数，韵母类口型包含的个数为第二设定个数；按照划分的声母类口型和韵母类口型将常用汉字转换为各自对应的声母口型和韵母口型，将各常用汉字及对应的声母口型和韵母口型存储到汉字口型对照表中；

所述语音信息记录单元，对语音信息进行识别，得到语音汉字以及对应的时间长度；在语音信息记录库中对应各条语音信息标识存储其汉字信息，所述汉字信息包括语音信息所含的语音汉字及相应的时间长度；

所述汉字信息确定单元，接收包含语音信息标识的播放请求，从语音信息记录库中获取对应的汉字信息；根据获取的汉字信息中的语音汉字，从汉字口型对照表中查找对应的声母口型和韵母口型；确定获取的语音汉字所对应的声母所占比例和韵母所占比例；将查找出的声母口型和韵母口型以及确定的声母所占比例和韵母所占比例发送给所述口型生成单元；

所述口型生成单元，根据声母所占比例和韵母所占比例，对查找出到的声母口型和韵母口型进行混合显示，其显示时间满足从汉字口型对照表中查找到的时间长度。

8.如权利要求7所述的装置，其特征在于，所述语音信息记录单元，还在语音信息记录库中记录各语音汉字的声母所占时间和韵母所占时间；

所述汉字信息确定单元包括声韵母所占比例确定子单元，确定获取的语音汉字所对应的声母所占比例和韵母所占比例，采用如下公式计算得到：

main_per＝main_max_per*|sin(past_time*3.14/(2.0*main_time))|；

sub_per＝sub_max_per*|sin(past_time*3.14/(2.0*sub_time))|；

其中，main_per为声母所占比例，main_time为声母所占时间，main_max_per为声母口型最大时的缩放比例；sub_per为韵母所占比例，sub_time为韵母所占时间，sub_max_per为韵母口型最大时的缩放比例；past_time为流逝时间；main_max_per、main_time、sub_max_per和sub_time为预先设定的参数。

9.如权利要求7所述的装置，其特征在于，所述第一设定个数为2，声母类口型包括b和d两种口型，所述第二设定个数为4，韵母类口型包含a、o、e和u四种口型。

10.如权利要求7至9中任一项所述的装置，其特征在于，汉字口型对照表中还包括对应默言的闭嘴口型；

所述汉字信息确定单元，还在动画角色未说话时从汉字口型对照表中查找默言对应的闭嘴口型，发送给所述口型生成单元；

所述口型生成单元，显示闭嘴口型。