CN113706669A - 动画合成方法、装置、电子设备及存储介质 - Google Patents
动画合成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113706669A CN113706669A CN202110925368.9A CN202110925368A CN113706669A CN 113706669 A CN113706669 A CN 113706669A CN 202110925368 A CN202110925368 A CN 202110925368A CN 113706669 A CN113706669 A CN 113706669A
- Authority
- CN
- China
- Prior art keywords
- syllable
- sequence
- phoneme
- animation
- audio stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 13
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 31
- 230000003595 spectral effect Effects 0.000 claims description 25
- 238000001228 spectrum Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 230000008921 facial expression Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000002864 sequence alignment Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/027—Syllables being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了动画合成方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及自然语言处理、语音技术、计算机视觉和虚拟/增强现实技术领域。具体实现方案为：获取待处理的音频流以及音节序列；对音频流进行音素检测，获取音频流的音素信息序列，其中，音素信息序列中的音素信息包括：音素类别以及对应的发音时间段；根据音节序列、音素信息序列中的音素类别以及对应的发音时间段，确定音节序列中音节对应的发音时间段；根据音节序列中音节对应的发音时间段以及音节对应的动画帧序列，生成音频流对应的动画视频。由此，可使动画视频和音频流具有很强的一致性，不存在帧间抖动问题，进而提高了动画视频的真实性和泛化能力。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及自然语言处理、语音技术、计算机视觉和虚拟/增强现实技术领域，具体涉及动画合成方法、装置、电子设备及存储介质。
背景技术
目前，随着计算机动画技术的不断进步，音频驱动的虚拟形象人脸表情动画得到了发展，其中，虚拟形象人脸表情动画，即输入音频生成与音频流相符的虚拟主播人脸表情动画。
发明内容
本公开提供了一种用于动画合成方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种动画合成方法，包括：获取待处理的音频流以及音节序列，其中，所述音频流和所述音节序列对应相同的文本；对所述音频流进行音素检测，获取所述音频流的音素信息序列，其中，所述音素信息序列中的音素信息包括：音素类别以及对应的发音时间段；根据所述音节序列、所述音素信息序列中的音素类别以及对应的发音时间段，确定所述音节序列中音节对应的发音时间段；根据所述音节序列中所述音节对应的发音时间段以及所述音节对应的动画帧序列，生成所述音频流对应的动画视频。
根据本公开的另一方面，提供了一种动画合成装置，包括：获取模块，用于获取待处理的音频流以及音节序列，其中，所述音频流和所述音节序列对应相同的文本；检测模块，用于对所述音频流进行音素检测，获取所述音频流的音素信息序列，其中，所述音素信息序列中的音素信息包括：音素类别以及对应的发音时间段；第一确定模块，用于根据所述音节序列、所述音素信息序列中的音素类别以及对应的发音时间段，确定所述音节序列中音节对应的发音时间段；生成模块，用于根据所述音节序列中音节对应的发音时间段以及所述音节对应的动画帧序列，生成所述音频流对应的动画视频。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开第一方面实施例所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，所述计算机程序在被处理器执行时实现本公开第一方面实施例所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是根据本公开第三实施例的示意图；
图4是根据本公开第四实施例示意图；
图5是根据本公开第五实施例的示意图；
图6是根据本公开第六实施例的示意图；
图7是根据本公开实施例的动画合成流程示意图；
图8是根据本公开第七实施例的示意图；
图9是可以实现本公开实施例的动画合成场景图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，随着计算机动画技术的不断进步，音频驱动的虚拟形象人脸表情动画得到了发展，其中，虚拟形象人脸表情动画，即输入音频生成与音频流相符的虚拟主播人脸表情动画。
相关技术中，对音频序列和人脸表情序列进行序列到序列建模，然后基于循环神经网络的方法学习从音频到人脸表情空间的一个映射关系。但是上述方法存在以下问题，一是生成的人脸表情帧间抖动比较明显，二是生成的人脸表情比较虚假，三是音频和口型不同步，四是由于音频和表情两个空间存在非确定性映射关系，模型比较难收敛，五是在训练集之外的测试集上效果表现很差，泛化能力比较弱。
针对上述问题，本公开提出一种动画合成方法、装置、电子设备及存储介质。
图1是根据本公开第一实施例的示意图，需要说明的是，本公开实施例的动画合成方法可应用于本公开实施例的动画合成装置，该装置可被配置于电子设备中。其中，该电子设备可以是移动终端，例如，手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备。
如图1所示，该动画合成方法可包括如下步骤：
步骤101，获取待处理的音频流以及音节序列，其中，音频流和音节序列对应相同的文本。
在本公开实施例中，动画合成装置获取待处理的文本，对该文本进行语音合成处理，得到合成后的音频流，将该音频流作为待处理的音频流；获取该文本中各个字符对应的音节，对各个字符对应的音节进行拼接，得到该文本对应的音节序列。其中，字符对应的音节，具体为字符的拼音。
其中，在获取文本中各个字符对应的音节之前，为了避免漏掉文本中的特殊字符，确保文本与音节序列之间的一致性，可以对文本中的特殊字符进行规范化处理，即将文本中的特殊字符转化成汉字字符，得到处理后的文本；然后获取处理后的文本中各个字符对应的音节，生成音节序列。其中，特殊字符可以包括以下字符中的至少一种：阿拉伯数字、日期、金钱符号、单位符号等。其中，单位符号例如重量单位符号、长度单位符号等。
在本公开实施例中，文本可以为任意文本，例如短语、句子、段落等，可以根据实际需要进行设置。
步骤102，对音频流进行音素检测，获取音频流的音素信息序列，其中，音素信息序列中的音素信息包括：音素类别以及对应的发音时间段。
进一步地，为了实现音频流和音节序列的时序对齐，可先获取音频流的音素信息序列，在本公开实施例中，可对音频流进行音素检测，获取音频流的音素信息序列。其中，需要说明的是，音素信息序列中的音素信息可包括：音素类别以及对应的发音时间段。音素类别可包括多个音素，每个音素类别对应一个音节，发音时间段可为音素类别的发音开始时间和发音结束时间，比如，音素类别为“wo”，发音时间段可为：“0.1毫秒至0.3毫秒”。
为了更加准确地获取音频流的音素信息序列，可提取音频流的频谱特征，对音频流对应的频谱特征进行音素检测，以获取音频流的音素信息序列。
步骤103，根据音节序列、音素信息序列中的音素类别以及对应的发音时间段，确定音节序列中音节对应的发音时间段。
可以了解的是，音节序列中的音节与音素信息序列中音素类别具有对应关系，比如，音节序列中的音节“wo”与音素信息序列中的音素类别“wo”具有对应关系，因此，对于音节序列中的音节，可根据与该音节对应的音素类别的发音时间段，确定该音节对应的发音时间段。其中，需要说明的是，上述确定发音时间段的步骤，可以针对音节序列中的每个音节，可以分别执行上述确定发音时间段的步骤，得到音节序列中每个音节对应的发音时间段。
步骤104，根据音节序列中音节对应的发音时间段以及音节对应的动画帧序列，生成音频流对应的动画视频。
由于音节序列中发音时间段是根据音素序列中的音素类别的对应的发音时间段确定，因此，根据音节序列中音节对应的发音时间段可确定音节对应的发音时间段的时长，根据该时长可对该音节对应的动画帧序列进行处理，可生成与音频流对应的动画视频。
综上，通过对音频流进行音素检测，获取音频流的音素信息序列，进而根据音节序列以及音素序列的音素信息确定音节序列中音节对应的发音时间段，最后，根据音节序列中音节对应的发音时间段以及各个音节对应的动画帧序列，生成音频流对应的动画视频，由此，可使动画视频和音频流具有很强的一致性，不存在帧间抖动问题，进而提高了动画视频的真实性和泛化能力。
为了准确地获取音频流的音素信息序列，可对音频流进行音素检测，以获取音频流的音素信息序列。如图2所示，图2是根据本公开第二实施例的示意图，作为一种示例，可对音频流进行频谱特征提取处理，得到与音频流对应的频谱特征流，根据频谱特征流，获取音频流的音素信息序列，图2所示实施例可包括如下步骤：
步骤201，获取待处理的音频流以及音节序列，其中，音频流和音节序列对应相同的文本。
步骤202，对音频流进行频谱特征提取处理，得到音频流对应的频谱特征流。
也就是说，对于时长较短的音频流，可对该音频流进行傅里叶变换，转换为频谱图片，可对该频谱图片进行频谱特征提取，得到与该音频流对应的频谱特征流。
步骤203，对频谱特征流进行音素检测，获取音频流的音素信息序列。
进一步地，可通过视觉检测模型对频谱特征流进行音素检测，该视觉检测模型可输出检测结果，其中，检测结果中可包括每个音素类别以及每个音素类别的发音开始时间和发音结束时间，根据每个音素类别以及每个音素的开始时间和结束时间，可获取音频流的音素信息序列。其中，音素信息序列中的音素信息可包括音素类别以及对应的发音时间段。视觉检测模型可为经过训练的神经网络。
步骤204，根据音节序列、音素信息序列中的音素类别以及对应的发音时间段，确定音节序列中音节对应的发音时间段。
步骤205，根据音节序列中音节对应的发音时间段以及音节对应的动画帧序列，生成音频流对应的动画视频。
其中，需要说明的是，步骤201、204-205可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
综上，通过对音频流进行频谱特征提取处理，得到音频流对应的频谱特征流；对频谱特征流进行音素检测，获取音频流的音素信息序列。由此，可准确地获取音频流的音素信息序列。
如图3所示，图3是根据本公开第三实施例的示意图。作为另一种示例，可对音频流进行分段处理，得到多个音频段，对多个所述音频段分别进行频谱特征提取处理，得到多个频谱特征段，进而，根据频谱特征段，得到音素信息序列。图3所示实施例可包括如下步骤：
步骤301，获取待处理的音频流以及音节序列，其中，音频流和音节序列对应相同的文本。
步骤302，对音频流进行分段处理，得到多个音频段。
需要了解的是，直接对较长的音频流进行音素检测，获取音频流的音素信息序列，具有较高的复杂度，因此，为了降低对较长的音频流进行音素检测，获取音频流的音素信息序列的复杂度，可对音频流进行分段处理，得到多个音频段。
步骤303，对多个音频段分别进行频谱特征提取处理，得到多个频谱特征段。
进一步地，将多个音频段分别通过傅里叶变化转为多个频谱图片，对该多个频谱图片分别进行频谱特征提取，可得到对应的多个频谱特征段。
步骤304，对多个频谱特征段分别进行音素检测，获取多个音频段的音素信息子序列。
在本公开实施例中，可通过视觉检测模型对多个频谱特征段分别进行音素检测，该视觉检测模型可输出对应的多个音素检测结果，每个音素检测结果中可包括多个音素类别以及每个音素类别的发音开始时间和发音结束时间，根据每个音素类别以及每个音素的开始时间和结束时间，可获取对应的音频段的音素信息子序列。
步骤305，对多个音频段的音素信息子序列进行合并处理，得到音素信息序列。
可选地，根据多个音频段在音频流中的时间段信息，对多个音素信息子序列中的发音时间段进行调整，得到调整后的音素信息子序列；对多个调整后的音素信息子序列进行合并处理，得到音素信息序列。
也就是说，为了提高音素信息序列的准确性，根据多个音频时间段在音频流中的时间段信息，可将多个音素信息子序列中的发音时间段调整为音频流中的时间段信息，并将调整后的音素信息子序列进行拼接处理，得到音素信息序列。
步骤306，根据音节序列、音素信息序列中的音素类别以及对应的发音时间段，确定音节序列中音节对应的发音时间段。
步骤307，根据音节序列中音节对应的发音时间段以及音节对应的动画帧序列，生成音频流对应的动画视频。
其中，需要说明的是，步骤301、306-307可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
综上，通过对音频流进行分段处理，得到多个音频段；对多个音频段分别进行频谱特征提取处理，得到多个频谱特征段；对多个频谱特征段分别进行音素检测，获取多个音频段的音素信息子序列；对多个音频段的音素信息子序列进行合并处理，得到音素信息序列。由此，可准确地获取音频流的音素信息序列，且降低了获取音频流的音素信息序列的复杂度。
为了进一步提高音素信息序列的准确度，如图4所示，图4是根据本公开第四实施例示意图，在本公开实施例中，在对音频流进行音素检测，获取音频流的音素信息序列之后，可根据音节序列以及音节与音素类别之间的对应关系，确定音素信息序列中是否存在待纠错信息，在确定音素信息序列中存在待纠错信息时，对音素信息序列进行纠错处理。图4所示实施例可包括如下步骤：
步骤401，获取待处理的音频流以及音节序列，其中，音频流和音节序列对应相同的文本。
步骤402，对音频流进行音素检测，获取音频流的音素信息序列，其中，音素信息序列中的音素信息包括：音素类别以及对应的发音时间段。
步骤403，根据音节序列以及音节与音素类别之间的对应关系，确定音素信息序列中是否存在待纠错信息，其中，待纠错信息包括：待替换音素信息以及对应的目标音素信息，和/或，待添加音素信息。
在本公开实施例中，由于音节序列中音节与音素信息序列中音素类别之间具有对应关系(如，一一对应关系)，因此，若音素信息序列中某个音素类别没有与音节序列中的音节对应，可确定该音素类别存在误检或漏检，该音素信息序列中存在待纠错信息。
另外，为了提高音素信息序列的准确度，在音素信息序列中音素类别对应的发音时间段较长时，可对音素信息序列中音素类别对应的发音时间段较长的音素类别进行发音时间截断处理，以缩短音素类别对应的发音时间段。其中，根据音素类别在音素信息序列中的位置的不同，对音素类别对应的发音时间截断处理后的处理方式也不同，如，音素类别在音素信息序列的尾部，可直接对该音素类别对应的发音时间段进行发音时间截断处理；又比如，音素类别在音素信息序列的中部，对该音素类别对应的发音时间段进行发音时间截断处理后，可将该音素类别原来的发音时间段与发音时间截断处理后的发音时间段的差值，分配给该音素类别在音素信息序列的相邻的其他音素类别。
步骤404，根据待纠错信息，对音素信息序列进行纠错处理。
比如，在音素信息序列中存在误检的音素类别时，可将误检的音素类别(待替换音素信息)替换为正确的音素类别(对应的目标音素信息)；又比如，在音素信息序列中存在漏检的音素类别时，可对漏检的音素类别(待添加音素信息)根据对应的发音时间段进行添加；又比如，在音素信息序列中同时存在误检和漏检，可将误检的音素类别替换为正确的音素类别，同时，对漏检的音素类别根据该音素类别对应的发音时间段进行添加。其中，需要说明的是，待纠错信息包括：待替换音素信息以及对应的目标音素信息，和/或，待添加音素信息。
步骤405，根据音节序列、音素信息序列中的音素类别以及对应的发音时间段，确定音节序列中音节对应的发音时间段。
步骤406，根据音节序列中音节对应的发音时间段以及音节对应的动画帧序列，生成音频流对应的动画视频。
其中，需要说明的是，步骤401-402、405-406可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
综上，通过根据音节序列以及音节与音素类别之间的对应关系，确定音素信息序列中是否存在待纠错信息，其中，待纠错信息包括：待替换音素信息以及对应的目标音素信息，和/或，待添加音素信息；根据待纠错信息，对音素信息序列进行纠错处理。由此，可进一步提高音素信息序列的准确度。
为了准确地确定音节对应的发音时间段，如图5所示，图5是根据本公开第五实施例的示意图，在本公开实施例中，可根据音节序列以及音节与音素类别之间的对应关系，确定音节序列中音节与音素信息序列中音素信息之间的对应关系，进而根据与音节对应的音素信息中的发音时间段，确定音节对应的发音时间段，图5所示实施例可包括如下步骤：
步骤501，获取待处理的音频流以及音节序列，其中，音频流和音节序列对应相同的文本。
步骤502，对音频流进行音素检测，获取音频流的音素信息序列，其中，音素信息序列中的音素信息包括：音素类别以及对应的发音时间段。
步骤503，根据音节序列，以及音节与音素类别之间的对应关系，确定音节序列中音节与音素信息序列中音素信息之间的对应关系。
在本公开实施例中，由于音节序列中音节与音素信息序列中音素类别之间具有对应关系，因此，根据音节序列中音节与音素信息序列中音素类别之间的对应关系，可确定出音节序列中音节与音素信息序列中音素信息之间的对应关系。比如，音素信息序列中音素信息中的音素类别与音节序列中音节相对应，音节序列中的音节的发音时间段与该音节对应的音素信息中的发音时间段相对应。
步骤504，根据与音节对应的音素信息中的发音时间段，确定音节对应的发音时间段。
进一步地，由于音节序列中音节与音素信息序列中音素信息具有对应关系，可根据与音节对应的音素信息中的发音时间段，确定出音节序列中的音节对应的发音时间段。
步骤505，根据音节序列中音节对应的发音时间段以及音节对应的动画帧序列，生成音频流对应的动画视频。
其中，需要说明的是，步骤501-502、505可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
综上，通过根据音节序列，以及音节与音素类别之间的对应关系，确定音节序列中音节与音素信息序列中音素信息之间的对应关系，根据与音节对应的音素信息中的发音时间段，确定音节对应的发音时间段。由此，可准确地确定音节对应的发音时间段。
为了生成与音频流对应的动画视频，如图6所示，图6是根据本公开第六实施例的示意图，在本公开实施例中，可按照音节序列中的音节对应的发音时间段的时长对音节对应的动画帧序列进行处理，得到具有时长的处理后动画帧序列，并根据音节序列中音节对应的处理后动画帧序列，生成动画视频。图6所示实施例可包括如下步骤：
步骤601，获取待处理的音频流以及音节序列，其中，音频流和所述音节序列对应相同的文本。
步骤602，对音频流进行音素检测，获取音频流的音素信息序列，其中，音素信息序列中的音素信息包括：音素类别以及对应的发音时间段。
步骤603，根据音节序列、音素信息序列中的音素类别以及对应的发音时间段，确定音节序列中音节对应的发音时间段。
步骤604，按照音节对应的发音时间段的时长对音节对应的动画帧序列进行插值处理，得到具有时长的处理后动画帧序列。
也就是说，对于音节序列中的音节，可查询动画字典获取该音节对应的动画帧序列，按照音节对应的发音时间段的时长对该音节对应的动画帧序列进行插值处理(比如，压缩处理)，得到具有与该时长对应的动画帧序列。其中，需要说明的是，上述插值处理的步骤，可以针对音节序列中的每个音节或者部分音节。以每个音节为例，针对音节序列中的每个音节，可以分别执行上述插值处理的步骤，得到音节序列中每个音节对应的处理后动画序列。
步骤605，根据音节序列中音节对应的处理后动画帧序列，生成动画视频。
在本公开实施例中，为了避免帧间抖动问题，确保帧间的自然过渡，可以对相邻动画帧序列中的尾部动画帧和头部动画帧进行调整处理。
作为一种示例，针对音节序列中音节对应的处理后动画帧序列中的尾部动画帧，获取第一相邻音节对应的处理后动画帧序列中的头部动画帧；根据头部动画帧的动画系数对尾部动画帧的动画系数进行调整，得到音节对应的调整后动画帧序列；其中，第一相邻音节对应的发音时间段位于音节对应的发音时间段之后。针对音节序列中的每个音节或者部分音节，可以分别执行上述步骤。进而，根据音节序列中音节对应的调整后动画帧序列，可生成对应的动画视频。
其中，根据头部动画帧的动画系数对尾部动画帧的动画系数进行调整的具体实现方式例如可以为，对头部动画帧的动画系数和尾部动画帧的动画系数进行加和处理，得到加和处理后的动画系数；将加和处理后的动画系数，确定为尾部动画帧的调整后动画系数，进而确定调整后的尾部动画帧；进而结合音节对应的处理后动画帧序列中的非尾部动画帧以及调整后的尾部动画帧，生成音节对应的调整后动画帧序列。
作为另一种示例，针对音节序列中音节对应的处理后动画帧序列中的头部动画帧，获取第二相邻音节对应的处理后动画帧序列中的尾部动画帧；根据尾部动画帧的动画系数对所述头部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第二相邻音节对应的发音时间段位于所述音节对应的发音时间段之前。针对音节序列中的每个音节或者部分音节，可以分别执行上述步骤。进而，将根据音节序列中音节对应的调整后动画帧序列进行拼接，可生成对应的动画视频。
其中，根据尾部动画帧的动画系数对头部动画帧的动画系数进行调整的具体实现方式例如可以为，对尾部动画帧的动画系数和头部动画帧的动画系数进行加和处理，得到加和处理后的动画系数；将加和处理后的动画系数，确定为头部动画帧的调整后动画系数，进而确定调整后的头部动画帧；进而结合音节对应的处理后动画帧序列中的非头部动画帧以及调整后的头部动画帧，生成音节对应的调整后动画帧序列。
作为另一种示例，针对音节序列中音节对应的处理后动画帧序列中的尾部动画帧，获取第一相邻音节对应的处理后动画帧序列中的头部动画帧；根据头部动画帧的动画系数对尾部动画帧的动画系数进行调整，得到音节对应的调整后动画帧序列；其中，第一相邻音节对应的发音时间段位于所述音节对应的的发音时间段之后。针对音节序列中音节对应的处理后动画帧序列中的头部动画帧，获取第二相邻音节对应的处理后动画帧序列中的尾部动画帧；根据尾部动画帧的动画系数对头部动画帧的动画系数进行调整，得到音节对应的调整后动画帧序列；其中，第二相邻音节对应的发音时间段位于音节对应的发音时间段之前。针对音节序列中的每个音节或者部分音节，可以分别执行上述步骤，以部分音节为例，其他部分音节可以执行上述步骤中的一部分，或者不执行上述步骤。之后，根据音节序列中音节对应的调整后动画帧序列，生成动画视频。
在本公开实施例中，动画帧的动画系数，可以表征动画帧中的人脸表情。其中，在一种示例中，在动画系数表征人脸表情时，动画系数可以为动画帧中各个人脸部位的系数，比如双眼之间的距离、鼻子与双眼中心的距离等等，可以根据实际需要进行设定。
在本公开实施例中，在另一种示例中，在动画系数表征人脸表情时，动画系数可以为动画帧相对于基础动画帧的各个人脸部位的相对系数。也就是说，基础动画帧的动画系数，可以为基础动画帧中各个人脸部位的系数。其他动画帧的动画系数，可以为其他动画帧中各个人脸部位的系数相对于基础动画帧中相应人脸部位的系数的偏移值。其中，基础动画帧及其动画系数可以预先设置。
其中，动画系数的设置，可以方便终端设备基于动画系数进行渲染，得到对应的动画帧，减少动画帧传输时的数据量。
另外，为了使各个音节对应的处理后动画帧序列切换更加连续自然，把各个音节对应的处理后动画帧序列的边缘处进行横向拉伸和叠加，以及对各个音节对应的处理后动画帧序列进行滤波平滑处理，以降低动画视频的帧间抖动。
综上，通过针对音节序列中的音节，按照音节对应的发音时间段的时长对音节对应的动画帧序列进行插值处理，得到具有时长的处理后动画帧序列；根据音节序列中各个音节对应的处理后动画帧序列，生成动画视频。由此，可使动画视频和音频流具有一致性，不存在帧间抖动问题，进而提高了动画视频的真实性和泛化能力。
为了更加清楚地说明上述实施例，现举例进行说明。
举例而言，如图7所示，以合成口型动画为例，对输入的文本进行语音合成处理获取音频流；同时，对输入的文本进行文本规范化和汉字转音处理，获取音节序列，其中，文本规范化处理可包括对文本中的阿拉伯数字、符号、日期以及金钱等转换为汉字字符。进一步的，为了实现文本和音频的时序对齐，可进行长音频切割、音频段转频谱图、频谱图音素检测、音素上下文拼接、文本先验纠错和文本音频对齐。进而，根据文本和音频时序对齐关系，通过查询口型动画字典进行动态动画帧序列插值，为了使得口型动画在字切换之间更加连续自然，把口型动画帧在每个字边缘处进行横向拉伸和叠加，并对完整的口型动画帧序列进行时序上的滤波平滑处理，使其更加平滑流畅，进一步降低帧间抖动。
本公开实施例的动画合成方法，通过对音频流进行音素检测，获取音频流的音素信息序列，进而根据音节序列以及音素序列的音素信息确定音节序列中各个音节对应的发音时间段，最后，根据音节序列中各个音节对应的发音时间段以及各个音节对应的动画帧序列，生成音频流对应的动画视频，由此，可使动画视频和音频流具有很强的一致性，不存在帧间抖动问题，进而提高了动画视频的真实性和泛化能力。
为了实现上述实施例，本公开还提出一种动画合成装置。
如图8所示，图8是根据本公开第七实施例的示意图。该动画合成装置800包括：获取模块810、检测模块820、第一确定模块830和生成模块840。
其中，获取模块810，用于获取待处理的音频流以及音节序列，其中，音频流和音节序列对应相同的文本；检测模块820，用于对音频流进行音素检测，获取音频流的音素信息序列，其中，音素信息序列中的音素信息包括：音素类别以及对应的发音时间段；第一确定模块830，用于根据音节序列、音素信息序列中的音素类别以及对应的发音时间段，确定音节序列中各个音节对应的发音时间段；生成模块840，用于根据音节序列中音节对应的发音时间段以及音节对应的动画帧序列，生成音频流对应的动画视频。
作为本公开实施例的一种可能实现方式，检测模块820，具体用于：对音频流进行频谱特征提取处理，得到音频流对应的频谱特征流；对频谱特征流进行音素检测，获取音频流的音素信息序列。
作为本公开实施例的一种可能实现方式，检测模块820，还用于：对音频流进行分段处理，得到多个音频段；对多个音频段分别进行频谱特征提取处理，得到多个频谱特征段；对多个频谱特征段分别进行音素检测，获取多个音频段的音素信息子序列；对多个音频段的音素信息子序列进行合并处理，得到音素信息序列。
作为本公开实施例的一种可能实现方式，检测模块，还用于：根据多个所述音频段在所述音频流中的时间段信息，对多个所述音素信息子序列中的发音时间段进行调整，得到调整后的音素信息子序列；对多个调整后的音素信息子序列进行合并处理，得到音素信息序列。
作为本公开实施例的一种可能实现方式，动画合成装置还包括：第二确定模块和处理模块。
其中，第二确定模块，用于根据音节序列，以及音节与音素类别之间的对应关系，确定音素信息序列中是否存在待纠错信息，其中，待纠错信息包括：待替换音素信息以及对应的目标音素信息，和/或，待添加音素信息；处理模块，用于根据待纠错信息，对音素信息序列进行纠错处理。
作为本公开实施例的一种可能实现方式，第一确定模块，具体用于：根据音节序列，以及音节与音素类别之间的对应关系，确定音节序列中音节与音素信息序列中音素信息之间的对应关系；根据与音节对应的音素信息中的发音时间段，确定音节对应的发音时间段。
作为本公开实施例的一种可能实现方式，生成模块，具体用于：按照音节对应的发音时间段的时长对音节对应的动画帧序列进行插值处理，得到具有时长的处理后动画帧序列；根据音节序列中音节对应的处理后动画帧序列，生成动画视频。
作为本公开实施例的一种可能实现方式，生成模块840，还用于：针对所述音节序列中音节对应的处理后动画帧序列中的尾部动画帧，获取第一相邻音节对应的处理后动画帧序列中的头部动画帧；根据所述头部动画帧的动画系数对所述尾部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第一相邻音节对应的发音时间段位于所述音节对应的发音时间段之后；和/或，针对所述音节序列中音节对应的处理后动画帧序列中的头部动画帧，获取第二相邻音节对应的处理后动画帧序列中的尾部动画帧；根据所述尾部动画帧的动画系数对所述头部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第二相邻音节对应的发音时间段位于所述音节对应的发音时间段之前；根据音节序列中音节对应的调整后动画帧序列，生成动画视频。
本公开实施例的动画合成装置，通过对音频流进行音素检测，获取音频流的音素信息序列，进而根据音节序列以及音素序列的音素信息确定音节序列中音节对应的发音时间段，最后，根据音节序列中音节对应的发音时间段以及音节对应的动画帧序列，生成音频流对应的动画视频，由此，可使动画视频和音频流具有很强的一致性，不存在帧间抖动问题，进而提高了动画视频的真实性和泛化能力。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如动画合成方法。例如，在一些实施例中，动画合成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的动画合成方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行动画合成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (19)
1.一种动画合成方法，包括：
获取待处理的音频流以及音节序列，其中，所述音频流和所述音节序列对应相同的文本；
对所述音频流进行音素检测，获取所述音频流的音素信息序列，其中，所述音素信息序列中的音素信息包括：音素类别以及对应的发音时间段；
根据所述音节序列、所述音素信息序列中的音素类别以及对应的发音时间段，确定所述音节序列中音节对应的发音时间段；
根据所述音节序列中所述音节对应的发音时间段以及所述音节对应的动画帧序列，生成所述音频流对应的动画视频。
2.根据权利要求1所述的方法，其中，所述对所述音频流进行音素检测，获取所述音频流的音素信息序列，包括：
对所述音频流进行频谱特征提取处理，得到所述音频流对应的频谱特征流；
对所述频谱特征流进行音素检测，获取所述音频流的音素信息序列。
3.根据权利要求1所述的方法，其中，所述对所述音频流进行音素检测，获取所述音频流的音素信息序列，包括：
对所述音频流进行分段处理，得到多个音频段；
对多个所述音频段分别进行频谱特征提取处理，得到多个频谱特征段；
对多个所述频谱特征段分别进行音素检测，获取多个所述音频段的音素信息子序列；
对多个所述音频段的音素信息子序列进行合并处理，得到所述音素信息序列。
4.根据权利要求3所述的方法，其中，所述对多个所述音频段的音素信息子序列进行合并处理，得到所述音素信息序列，包括：
根据多个所述音频段在所述音频流中的时间段信息，对多个所述音素信息子序列中的发音时间段进行调整，得到调整后的音素信息子序列；
对多个调整后的音素信息子序列进行合并处理，得到所述音素信息序列。
5.根据权利要求1所述的方法，其中，在对所述音频流进行音素检测，获取所述音频流的音素信息序列之后，所述方法还包括：
根据所述音节序列，以及音节与音素类别之间的对应关系，确定所述音素信息序列中是否存在待纠错信息，其中，所述待纠错信息包括：待替换音素信息以及对应的目标音素信息，和/或，待添加音素信息；
根据所述待纠错信息，对所述音素信息序列进行纠错处理。
6.根据权利要求1所述的方法，其中，所述根据所述音节序列、所述音素信息序列中的音素类别以及对应的发音时间段，确定所述音节序列中音节对应的发音时间段，包括：
根据所述音节序列，以及音节与音素类别之间的对应关系，确定所述音节序列中音节与所述音素信息序列中音素信息之间的对应关系；
根据与所述音节对应的音素信息中的发音时间段，确定所述音节对应的发音时间段。
7.根据权利要求1所述的方法，其中，所述根据所述音节序列中所述音节对应的发音时间段以及所述音节对应的动画帧序列，生成所述音频流对应的动画视频，包括：
按照所述音节对应的发音时间段的时长对所述音节对应的动画帧序列进行插值处理，得到具有所述时长的处理后动画帧序列；
根据所述音节序列中所述音节对应的处理后动画帧序列，生成所述动画视频。
8.根据权利要求7所述的方法，其中，所述根据所述音节序列中所述音节对应的处理后动画帧序列，生成所述动画视频，包括：
针对所述音节序列中所述音节对应的处理后动画帧序列中的尾部动画帧，获取第一相邻音节对应的处理后动画帧序列中的头部动画帧；根据所述头部动画帧的动画系数对所述尾部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第一相邻音节对应的发音时间段位于所述音节对应的发音时间段之后；
和/或，
针对所述音节序列中所述音节对应的处理后动画帧序列中的头部动画帧，获取第二相邻音节对应的处理后动画帧序列中的尾部动画帧；根据所述尾部动画帧的动画系数对所述头部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第二相邻音节对应的发音时间段位于所述音节对应的发音时间段之前；
根据所述音节序列中所述音节对应的调整后动画帧序列，生成所述动画视频。
9.一种动画合成装置，包括：
获取模块，用于获取待处理的音频流以及音节序列，其中，所述音频流和所述音节序列对应相同的文本；
检测模块，用于对所述音频流进行音素检测，获取所述音频流的音素信息序列，其中，所述音素信息序列中的音素信息包括：音素类别以及对应的发音时间段；
第一确定模块，用于根据所述音节序列、所述音素信息序列中的音素类别以及对应的发音时间段，确定所述音节序列中音节对应的发音时间段；
生成模块，用于根据所述音节序列中所述音节对应的发音时间段以及所述音节对应的动画帧序列，生成所述音频流对应的动画视频。
10.根据权利要求9所述的装置，其中，所述检测模块，具体用于：
对所述音频流进行频谱特征提取处理，得到所述音频流对应的频谱特征流；
对所述频谱特征流进行音素检测，获取所述音频流的音素信息序列。
11.根据权利要求9所述的装置，其中，所述检测模块，还用于：
对所述音频流进行分段处理，得到多个音频段；
对多个所述音频段分别进行频谱特征提取处理，得到多个频谱特征段；
对多个所述频谱特征段分别进行音素检测，获取多个所述音频段的音素信息子序列；
对多个所述音频段的音素信息子序列进行合并处理，得到所述音素信息序列。
12.根据权利要求11所述的装置，其中，所述检测模块，还用于：
根据多个所述音频段在所述音频流中的时间段信息，对多个所述音素信息子序列中的发音时间段进行调整，得到调整后的音素信息子序列；
对多个调整后的音素信息子序列进行合并处理，得到所述音素信息序列。
13.根据权利要求9所述的装置，其中，所述装置还包括：
第二确定模块，用于根据所述音节序列，以及音节与音素类别之间的对应关系，确定所述音素信息序列中是否存在待纠错信息，其中，所述待纠错信息包括：待替换音素信息以及对应的目标音素信息，和/或，待添加音素信息；
处理模块，用于根据所述待纠错信息，对所述音素信息序列进行纠错处理。
14.根据权利要求9所述的装置，其中，所述第一确定模块，具体用于：
根据所述音节序列，以及音节与音素类别之间的对应关系，确定所述音节序列中音节与所述音素信息序列中音素信息之间的对应关系；
根据与所述音节对应的音素信息中的发音时间段，确定所述音节对应的发音时间段。
15.根据权利要求9所述的装置，其中，所述生成模块，具体用于：
按照所述音节对应的发音时间段的时长对所述音节对应的动画帧序列进行插值处理，得到具有所述时长的处理后动画帧序列；
根据所述音节序列中所述音节对应的处理后动画帧序列，生成所述动画视频。
16.根据权利要求15所述的装置，其中，所述生成模块，还用于：
针对所述音节序列中所述音节对应的处理后动画帧序列中的尾部动画帧，获取第一相邻音节对应的处理后动画帧序列中的头部动画帧；根据所述头部动画帧的动画系数对所述尾部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第一相邻音节对应的发音时间段位于所述音节对应的发音时间段之后；
和/或，
针对所述音节序列中所述音节对应的处理后动画帧序列中的头部动画帧，获取第二相邻音节对应的处理后动画帧序列中的尾部动画帧；根据所述尾部动画帧的动画系数对所述头部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第二相邻音节对应的发音时间段位于所述音节对应的发音时间段之前；
根据所述音节序列中所述音节对应的调整后动画帧序列，生成所述动画视频。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110925368.9A CN113706669B (zh) | 2021-08-12 | 2021-08-12 | 动画合成方法、装置、电子设备及存储介质 |
| US17/855,438 US20220375456A1 (en) | 2021-08-12 | 2022-06-30 | Method for animation synthesis, electronic device and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110925368.9A CN113706669B (zh) | 2021-08-12 | 2021-08-12 | 动画合成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706669A true CN113706669A (zh) | 2021-11-26 |
| CN113706669B CN113706669B (zh) | 2022-09-27 |
Family
ID=78652420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110925368.9A Active CN113706669B (zh) | 2021-08-12 | 2021-08-12 | 动画合成方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220375456A1 (zh) |
| CN (1) | CN113706669B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023200646A1 (en) * | 2022-04-11 | 2023-10-19 | Snap Inc. | Animated speech refinement using machine learning |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912376B (zh) * | 2023-09-14 | 2023-12-22 | 腾讯科技（深圳）有限公司 | 口型动画生成方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100082345A1 (en) * | 2008-09-26 | 2010-04-01 | Microsoft Corporation | Speech and text driven hmm-based body animation synthesis |
| US20180182151A1 (en) * | 2016-12-23 | 2018-06-28 | International Business Machines Corporation | Text-to-articulatory movement |
| CN109377540A (zh) * | 2018-09-30 | 2019-02-22 | 网易（杭州）网络有限公司 | 面部动画的合成方法、装置、存储介质、处理器及终端 |
| US20190392625A1 (en) * | 2018-11-06 | 2019-12-26 | Beijing Baidu Netcom Science and Technology Co., Ltd | Method and apparatus for generating animation |
| CN112017633A (zh) * | 2020-09-10 | 2020-12-01 | 北京地平线信息技术有限公司 | 语音识别方法、装置、存储介质及电子设备 |
| CN112541957A (zh) * | 2020-12-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 动画生成方法、装置、电子设备以及计算机可读介质 |
| CN112750187A (zh) * | 2021-01-19 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 一种动画生成方法、装置、设备及计算机可读存储介质 |
-
2021
- 2021-08-12 CN CN202110925368.9A patent/CN113706669B/zh active Active
-
2022
- 2022-06-30 US US17/855,438 patent/US20220375456A1/en not_active Abandoned
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100082345A1 (en) * | 2008-09-26 | 2010-04-01 | Microsoft Corporation | Speech and text driven hmm-based body animation synthesis |
| US20180182151A1 (en) * | 2016-12-23 | 2018-06-28 | International Business Machines Corporation | Text-to-articulatory movement |
| CN109377540A (zh) * | 2018-09-30 | 2019-02-22 | 网易（杭州）网络有限公司 | 面部动画的合成方法、装置、存储介质、处理器及终端 |
| US20190392625A1 (en) * | 2018-11-06 | 2019-12-26 | Beijing Baidu Netcom Science and Technology Co., Ltd | Method and apparatus for generating animation |
| CN112017633A (zh) * | 2020-09-10 | 2020-12-01 | 北京地平线信息技术有限公司 | 语音识别方法、装置、存储介质及电子设备 |
| CN112541957A (zh) * | 2020-12-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 动画生成方法、装置、电子设备以及计算机可读介质 |
| CN112750187A (zh) * | 2021-01-19 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 一种动画生成方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 杨茂巍等: "基于SAPI的语音驱动口型动画方法", 《现代计算机(专业版)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023200646A1 (en) * | 2022-04-11 | 2023-10-19 | Snap Inc. | Animated speech refinement using machine learning |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220375456A1 (en) | 2022-11-24 |
| CN113706669B (zh) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112286366B (zh) | 用于人机交互的方法、装置、设备和介质 | |
| CN113706669B (zh) | 动画合成方法、装置、电子设备及存储介质 | |
| CN112466288A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
| CN114895817B (zh) | 交互信息处理方法、网络模型的训练方法及装置 | |
| CN113450759A (zh) | 语音生成方法、装置、电子设备以及存储介质 | |
| CN113380239A (zh) | 语音识别模型的训练方法、语音识别方法、装置和设备 | |
| CN114141228A (zh) | 语音合成模型的训练方法、语音合成方法和装置 | |
| CN114663556A (zh) | 数据交互方法、装置、设备、存储介质以及程序产品 | |
| CN114495977B (zh) | 语音翻译和模型训练方法、装置、电子设备以及存储介质 | |
| KR20230026242A (ko) | 음성 합성 방법, 장치, 기기 및 컴퓨터 기록 매체 | |
| EP4152269A1 (en) | Method and apparatus of generating 3d video, method and apparatus of training model, device, and medium | |
| CN116778040B (zh) | 基于口型的人脸图像生成方法、模型的训练方法以及设备 | |
| CN113744368A (zh) | 动画合成方法、装置、电子设备及存储介质 | |
| CN114267375B (zh) | 音素检测方法及装置、训练方法及装置、设备和介质 | |
| CN114255737B (zh) | 语音生成方法、装置、电子设备 | |
| CN114882151A (zh) | 虚拟形象视频的生成方法及装置、设备、介质和产品 | |
| CN113808572B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN113744370B (zh) | 动画合成方法、装置、电子设备以及存储介质 | |
| CN115565186A (zh) | 文字识别模型的训练方法、装置、电子设备和存储介质 | |
| CN114549695A (zh) | 图像生成方法、装置、电子设备及可读存储介质 | |
| CN114898018A (zh) | 数字对象的动画生成方法、装置、电子设备及存储介质 | |
| CN114630190A (zh) | 关节姿态参数的确定方法、模型训练方法及装置 | |
| CN113920987A (zh) | 一种语音识别的方法、装置、设备及存储介质 | |
| CN114267376B (zh) | 音素检测方法及装置、训练方法及装置、设备和介质 | |
| CN116229214B (zh) | 模型训练方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |