CN111031386B - 基于语音合成的视频配音方法、装置、计算机设备及介质 - Google Patents
基于语音合成的视频配音方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN111031386B CN111031386B CN201911298062.4A CN201911298062A CN111031386B CN 111031386 B CN111031386 B CN 111031386B CN 201911298062 A CN201911298062 A CN 201911298062A CN 111031386 B CN111031386 B CN 111031386B
- Authority
- CN
- China
- Prior art keywords
- video
- information
- dubbing
- target
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 49
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 claims abstract description 20
- 230000008451 emotion Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 abstract description 16
- 238000013473 artificial intelligence Methods 0.000 abstract description 14
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 239000003086 colorant Substances 0.000 abstract description 4
- 230000001976 improved effect Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 238000010801 machine learning Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请公开了一种基于语音合成的视频配音方法、装置、计算机设备及存储介质，属于视频技术以及人工智能技术领域。本申请实施例提供的技术方案，通过获取不同配音的语音特征信息，并基于这些语音特征信息来进行语音合成，可以模拟不同配音的音色以及说话风格，从而可以按照自己设定的文字信息来生成具有指定配音的音色以及说话风格的第一配音音频，从而可以将其与视频进行合并，以达到基于用户个性化需求的视频配音，大大提高了视频制作的效率和质量。
Description
技术领域
本申请涉及视频技术以及人工智能技术领域，特别涉及一种基于语音合成的视频配音方法、装置、计算机设备及存储介质。
背景技术
随着视频技术的发展，越来越多的用户开始利用视频剪辑等方式来制作视频片段，以表达自己的创意，而在制作视频时，通常还可以添加一些配音，从而丰富视频的视听效果。
目前的视频配音方法通常是人工进行，例如自行配音或者聘请配音演员来进行配音，为了降低成本并得到更好的视听效果，很多用户还会从一些视频中截取其音频片段，将该音频片段合成至自制视频中，也能达到一些娱乐的效果。
然而，这种视频配音方法，其所能够使用的音频内容通常是一些视频中的原有内容，无法满足自制视频的一些个性化需求，且由于上述合成过程对视频作者的技能要求较高，因此，导致视频制作的效率低下，质量也不能有所保证。
发明内容
本申请实施例提供了一种基于语音合成的视频配音的视频配音方法、装置、计算机设备及存储介质，可以满足用户的个性化需求，提高视频制作的效率，保证视频质量。所述技术方案如下：
一方面，提供了一种基于语音合成的视频配音方法，所述方法包括：
接收配音选择指令，所述配音选择指令携带目标声音的标识信息；
根据所述目标声音的标识信息，获取所述目标声音的语音特征信息，所述语音特征信息包括所述目标声音的音色信息以及说话风格信息；
根据目标视频的文字信息以及所述目标声音的语音特征信息，进行语音合成，得到所述文字信息对应的第一配音音频；
将所述第一配音音频和所述目标视频合并，得到配音后的目标视频。
一方面，提供了一种基于语音合成的视频配音装置，所述装置包括：
接收模块，用于接收配音选择指令，所述配音选择指令携带目标声音的标识信息；
特征获取模块，用于根据所述目标声音的标识信息，获取对所述目标声音的视频进行学习得到的语音特征信息，所述语音特征信息包括所述目标声音的音色信息以及说话风格信息；
语音合成模块，用于根据目标视频的文字信息以及所述目标声音的语音特征信息，进行语音合成，得到所述目标视频对应的第一配音音频。
在一种可能实现方式中，语音合成模块包括：
音频获取单元，用于根据所述目标视频的文字信息，获取所述文字信息对应的多个音频；
调整单元，用于采用所述目标声音的语音特征信息对所述文字信息对应的多个音频进行调整，得到所述目标视频对应的第一配音音频。
在一种可能实现方式中，调整单元，用于按照所述目标声音的音色信息，将所述文字信息对应的多个音频的音色调整至与所述目标声音的音色信息相匹配；
按照所述目标声音的说话风格信息，将调整了音色的所述多个音频的播放速度和音调中至少一项调整至与所述目标声音的说话风格信息相匹配，得到所述目标视频对应的第一配音音频。
在一种可能实现方式中，该装置还包括：情绪调整模块，用于根据接收到的情绪调整指令，获取目标情绪信息；基于所述目标情绪信息，对所述多个音频的播放速度和音调中至少一项进行调整。
在一种可能实现方式中，该装置还包括：音量调整模块，用于根据接收到的音量调整指令，获取目标音量信息；
基于所述目标音量信息，对所述多个音频的播放音量进行调整。
在一种可能实现方式中，该装置还包括：发送模块，用于将所述目标视频和所述目标视频的第一配音音频发送至多媒体服务器；
所述接收模块还用于接收所述多媒体服务器基于所述目标视频的视频场景对所述目标视频的第一配音音频返回的第二配音音频。
在一种可能实现方式中，特征获取模块用于执行下述任一步骤：
根据所述目标声音的标识信息，从本地存储的语音特征信息中获取所述标识信息对应的语音特征信息，所述标识信息对应的语音特征信息通过对所述目标声音的视频进行学习得到；
向多媒体服务器发送获取请求，所述获取请求携带所述目标声音的标识信息；接收所述多媒体服务器返回的所述对所述目标声音的多个视频进行学习得到的语音特征信息。
一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述指令由所述一个或多个处理器加载并执行以实现所述基于语音合成的视频配音方法所执行的操作。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述基于语音合成的视频配音方法所执行的操作。
本申请实施例提供的技术方案，通过获取不同配音的语音特征信息，并基于这些语音特征信息来进行语音合成，可以模拟不同配音的音色以及说话风格，从而可以按照自己设定的文字信息来生成具有指定配音的音色以及说话风格的第一配音音频，从而可以将其与视频进行合并，以达到基于用户个性化需求的视频配音，大大提高了视频制作的效率和质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于语音合成的视频配音方法的实施环境的示意图；
图2是本申请实施例提供的一种基于语音合成的视频配音方法的流程图；
图3是本申请实施例提供的一种语音特征信息的提取和存储的流程示意图；
图4本申请实施例提供的一种视频配音界面的显示示意图；
图5本申请实施例提供的一种对配音的调整过程的流程图；
图6本申请实施例提供的一种视频配音流程的示意图；
图7是本申请实施例提供的一种基于语音合成的视频配音装置结构示意图；
图8是本申请实施例提供的一种计算机设备的结构示意图；
图9是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。基于语音合成的视频配音技术是语音处理技术中的一个重要分支，主要是一种充分利用了机器学习等技术来实现的产生人造语音的技术，本申请实施例通过对一些视频进行机器学习，提取到任一对象的说话音色和说话风格等语音特征信息，特别是在喜、怒、哀、乐等情绪下说话的语音、语调等。学习完成后，在给出任意一段文字，机器可以模拟某一位学习对象的语音来说话，能够高度还原视频中的配音效果。
图1是本申请实施例提供的一种基于语音合成的视频配音方法的实施环境的示意图，参见图1，该实施环境中包括终端110和服务器140。
终端110通过无线网络或有线网络与服务器110相连。终端110可以是智能手机、平板电脑、便携计算机等设备。终端110安装和运行有支持基于语音合成的视频配音技术的应用程序。该应用程序可以是社交应用类应用程序、摄影类应用程序、视频类应用程序等。示例性的，终端110是用户使用的终端，终端110中运行的应用程序内登录有用户账号。
终端110通过无线网络或有线网络与服务器140相连。
服务器140可以是云计算平台、虚拟化中心等。服务器140用于为支持视频配音技术的应用程序提供后台服务。可选地，服务器140承担主要视频配音工作，终端110承担次要视频配音工作；或者，服务器140承担次要视频配音工作，终端110承担主要视频配音工作；或者，服务器140或终端110分别可以单独承担视频配音工作。
在本申请实施例中，可以将该基于语音合成的视频配音方法应用于终端110上，尤其是移动终端上，由于本申请实施例提供的方法处理过程简单、配音效果好，因此可以应用于终端上来实现快捷的视频配音，不仅不会对终端的正常运行造成影响，还能够得到广泛的应用，当然，上述该基于语音合成的视频配音方法还可以由终端触发而由服务器侧完成配音过程，以降低终端的处理压力，还可以由终端完成一部分处理过程，而由服务器侧完成一部分处理过程，从而实现视频配音，本申请实施例对具体如何分担上述视频配音过程不做限定，可以基于使用场景进行个性化的分配。
可选地，服务器140包括：接入服务器、视频处理服务器和数据库。接入服务器用于为终端110提供接入服务。视频处理服务器用于提供视频处理有关的后台服务。该数据库可以包括视频数据以及素材等，基于服务器所提供的不同服务可以对应于不同数据库，视频处理服务器可以是一台或多台。当视频处理服务器是多台时，存在至少两台视频处理服务器用于提供不同的服务，和/或，存在至少两台视频处理服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。
终端110可以泛指多个终端中的一个，本实施例仅以终端110来举例说明。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述实施环境中还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
图2是本申请实施例提供的一种基于语音合成的视频配音的方法的流程图，参见图2，仅以终端以及服务器之间协同实现视频配音为例进行说明，具体可以包括下述步骤。
201、终端显示视频配音界面，该视频配音界面包括配音选择选项。
在本申请实施例中，终端上可以安装有支持视频制作功能的客户端，该客户端可以提供有视频配音界面，当用户确定要为某一段视频添加配音时，则可以在该视频配音界面上进行操作来实现配音流程。
该视频配音界面包括配音选择选项，该配音选择选项可以在被触发后显示可选配音菜单，该可选配音菜单中可以提供多种角色的配音功能，例如，该多种角色可以包括多个电视剧知名角色，“孙悟空”、“007”等。
在一种可能实施方式中，终端中还可以预先存储有可选配音菜单中所提供的多个角色的声音片段，以供用户进行试听，从而用户能有直观的听觉感受，在用户选中任一角色的配音时，根据被选中的角色，从预先存储的多个声音片段中，获取该角色的声音片段，对该角色的声音片段进行播放。
202、终端根据用户通过配音选择选项所确定的目标声音，向多媒体服务器发送获取请求，该获取请求携带该目标声音的标识信息。
基于上述提供的视频配音界面所提供的配音选择选项，用户可以选择自己本次配音想要的目标声音，并触发终端向多媒体服务器发送获取请求。
需要说明的是，在本申请实施例中是以终端实时向多媒体服务器请求目标声音的语音特征信息为例进行说明，在一种可能实现方式中，该终端还可以预先存储多媒体服务器所提供的各个配音的语音特征信息，以供用户选择，也即是，该步骤202至203所涉及的获取该目标声音的语音特征信息的过程还可以替换为：根据所述目标声音的标识信息，从本地存储的语音特征信息中获取所述标识信息对应的语音特征信息，所述标识信息对应的语音特征信息通过对所述目标声音的视频进行学习得到。这种预先存储的方式允许用户在网络较好时进行下载，而后续可以实现离线的配音。
203、该多媒体服务器接收到该获取请求后，根据该目标声音的标识信息，获取该目标声音的语音特征信息，该语音特征信息包括该目标声音的音色信息以及说话风格信息。
其中，所述目标声音的语音特征信息是通过对包括所述目标声音的视频进行机器学习得到，其具体机器学习过程可以包括：获取包括目标声音的多媒体数据，通过机器学习的方式从该多媒体数据的音频数据中提取各个角色的语音特征信息，将所得到的各个角色的语音特征信息和配音标识对应存储。
其中，该目标声音的说话风格信息可以是指语速、语调等个性化的语言习惯。可选地，该说话风格信息还可以包括惯用语，例如，角色在每句话的结束都喜欢增加“啦”作为结束语，也即是，该目标声音的说话风格信息包括以“啦”作为句子的结尾语。
其中，通过机器学习的方式从音频数据中提取各个角色的语音特征信息可以包括：对视频中的各个角色进行识别，分别确定各个角色的说话时间段，基于该各个角色的说话时间段，按照各个角色的说话时间段，截取各个角色的音频片段，并分别对各个角色的音频片段进行机器学习，得到各个角色的语音特征信息。
在上述机器学习过程中，还可以对各个角色进行情绪分析，例如，对于任一个角色的音频片段，获取该音频片段的语速、声音强度、声音质量以及清晰度等信息，将上述信息输入情感识别模型，以确定该音频片段的情感属性。对于一个角色的属于同一情感属性的至少一个音频片段，对该至少一个音频片段进行机器学习，以得到该角色在该情感属性下的语音特征信息。
在一种可能实现方式中，对于任一个角色来说，可以根据该角色的多个音频片段的时间长短，为学习到的各个音频片段内的语音特征信息设置权重，时间越长，权重越高，基于各个音频片段内的语音特征信息以及对应的权重进行加权求和，得到该角色的语音特征信息。
需要说明的是，上述获取语音特征信息的多种实现方式可以基于需求进行任意组合来实现，从而获取到角色的语音特征信息，本申请实施例对此不做限定。
参见图3，在获取包括目标声音的多媒体数据时，可以通过音频文件存储服务器或者视频文件存储服务器得到，当然，在获取时还可以既获取音频数据也获取视频数据，以达到全面学习的目的，而在通过机器学习的方式从该多媒体数据的音频数据中提取各个角色的语音特征信息，将所得到的各个角色的语音特征信息和配音标识对应存储为语音特征包，再将其存储至语音特征存储服务器，以便后续使用。
204、该多媒体服务器将该目标声音的语音特征信息发送至该终端。
205、终端接收该多媒体服务器返回的该目标声音的语音特征信息。
206、终端根据该目标视频的文字信息，获取该文字信息对应的多个音频。
在本申请实施例中，用户可以在视频配音界面输入想要定制的文字信息，当终端获取到该文字信息时，基于文字信息中的各个字符从语音数据库中获取各个字符所对应的多个音频。需要说明的是，对于语音合成来说，每个字符具有对应的发音，而在语音数据库中即是基于各个字符存储了对应的发音音频，因此，可以先获取到文字信息中各个字符的基础发音音频，后续再进行音频调整，以能够模拟目标声音。
在一些可能实现方式中，该语音特征信息还可以包括方言等信息，从而终端可以根据该方言，在从语音数据库中获取文字信息对应的多个音频时，选择语音数据库中与该方言对应的多个音频，以提高娱乐性，丰富配音所带来的听觉效果。例如，对于一个字符，在语音数据库中可以存储有多个音频，不同音频对应于不同方言标签，因此，在该语音特征信息还可以包括方言时，则可以对于一个字符，获取其与该方言标签对应的音频。
需要说明的是，上述过程的语音合成过程中，还可以基于文字信息中的情绪属性标签，来获取对应于该情绪属性标签的语音特征信息，使得所合成的配音能够在情绪上更加真实。例如，当检测到文字信息中的一句话标记有第一情绪属性标签，则根据该第一情绪属性标签获取该第一情绪属性标签的语音特征信息。
另外，上述文字信息的获取可以是当用户输入完成时获取，也即是基于用户对该文字信息的提交操作来获取，还可以是基于用户的输入，实时获取，并对获取到的字符进行语义检测，当检测到一个完整语义时，则触发对多个音频的获取，以实现实时的语音合成效果，提高用户体验。
207、终端采用该目标声音的语音特征信息对该文字信息对应的多个音频进行调整，得到该文字信息对应的第一配音音频。
对于步骤206中已获取到的多个音频来说，其当前虽然能够表达文字信息的语义，但是还无法模拟目标声音的声音特色，因此，还可以通过基于语音特征信息中的音色信息和说话风格信息来进行调整，以使得所得到的配音音频的听觉效果能够与目标声音相符。
在一种可能实现方式中，上述步骤207的调整过程可以包括下述步骤207A和207B：
207A、按照该目标声音的音色信息，将该文字信息对应的多个音频的音色调整至与该目标声音的音色信息相匹配。
基于音色信息的调整可以是对每个音频分别进行，以将各个音频的音色均调整为与该目标声音音色相同或相近的听觉效果。
207B、按照该目标声音的说话风格信息，将调整了音色的该多个音频的播放速度和音调中至少一项调整至与该目标声音的说话风格信息相匹配，得到该文字信息对应的第一配音音频。
说话风格信息可以是对一句话的表达风格，为了使得自动生成的配音音频能够符合目标声音的说话风格信息，可以采用文字信息中每句话所对应的多个音频为单位，对每句话所对应的多个音频进行调整，例如，当说话风格信息中的语速为匀速，则可以将每句话所对应的多个音频的播放速度调整为匀速播放，当说话风格信息中的语速为以第一规律变速，则可以将每句话所对应的多个音频的播放速度调整为以第一规律变速。又例如，当说话风格信息中的语调为平稳，则可以将每句话所对应的多个音频的语调调整为平稳，当说话风格信息中的语调为以第二规律变调，则可以将每句话所对应的多个音频的语调调整为以第二规律变调。再例如，当说话风格信息中的惯用词为第一目标词(如“啦”)，则可以在每句话所对应的多个音频后增加该目标词(如“啦”)对应的音频，当说话风格信息中的惯用词为将第二目标词替换为第三目标词(如将“再见”替换为“回见”)，则可以在检测到文字信息中包括第二目标词时，将该第二目标词的多个音频替换为第三目标词的多个音频(如将“再见”替换为“回见”)。
当然，该关于惯用词的调整还可以是在获取到文字信息时进行，先对文字信息进行检测，若文字信息中包括第二目标词，则将第二目标词替换为第三目标词，再进行后续的语音合成，以提高语音合成的效率。
上述步骤206至207为终端根据目标视频的文字信息以及该目标声音的语音特征信息，进行语音合成，得到该文字信息对应的第一配音音频的一种实现过程，在该过程中，还可以基于用户的一些定制化的需求来进行调整。例如，情绪上的调整、音量上的调整等，该调整均可以通过如图4所示视频配音界面上提供的调整选项进行。
对于情绪调整，可以有如下过程：终端根据接收到的情绪调整指令，获取目标情绪信息；基于所述目标情绪信息，对所述多个音频的播放速度和音调中至少一项进行调整。终端用户可以通过在视频配音界面上对控件的操作，来确定目标情绪信息，从而实现上述调整。而对于音量调整，可以有如下过程：根据接收到的音量调整指令，获取目标音量信息；基于所述目标音量信息，对所述多个音频的播放音量进行调整。终端用户可以通过在视频配音界面上对控件的操作，来确定目标音量信息，从而实现上述调整。
在另一可能实现方式中，为了达到更优质的配音效果，该终端还可以将第二配音音频和目标视频发送至多媒体服务器进行优化调整，具体可以参见下述步骤：终端将所述目标视频和所述目标视频的第一配音音频发送至多媒体服务器；多媒体服务器接收目标视频和所述目标视频的第一配音音频后，对该目标视频进行场景识别，得到该目标视频的视频场景，根据该目标视频的视频场景对该第一配音音频进行调整，得到第二配音音频，将第二配音音频发送至终端。
208、终端将该第一配音音频和该目标视频合并，得到配音后的目标视频。
当输出第一配音音频后，可以提供第一配音音频的试听功能，当用户确定配音效果符合预期，则可以通过操作来确认，终端在检测到确认操作后，可以将该第一配音音频和该目标视频合并，得到配音后的目标视频。
本申请实施例提供的技术方案，通过获取不同配音的语音特征信息，并基于这些语音特征信息来进行语音合成，可以模拟不同配音的音色以及说话风格，从而可以按照自己设定的文字信息来生成具有指定配音的音色以及说话风格的第一配音音频，从而可以将其与视频进行合并，以达到基于用户个性化需求的视频配音，大大提高了视频制作的效率和质量。
在另一可能实现方式中，为了达到更优质的配音效果，该终端还可以将配音后所得到的目标视频发送至多媒体服务器进行优化调整，具体可以参见下述步骤501至505。
501、该终端将所述配音后的目标视频发送至多媒体服务器。
502、该多媒体服务器接收到该配音后的目标视频后，根据该目标视频的视频场景对该配音后的目标视频的第一配音音频进行调整，得到第二配音音频。
503、多媒体服务器对第二配音音频和目标视频进行合并，得到新的目标视频。
504、该多媒体服务器向该终端发送该新的目标视频。
505、该终端接收该新的目标视频。
在上述步骤501至505中是通过多媒体服务器对终端所制作的目标视频进行调整后再返回给终端，终端在接收到新的目标视频后，可以进行预览，当终端用户对该视频的效果满意，则可以通过发布等操作来对视频进行发布。而在另一可能实现方式中，上述步骤501至505还可以为下述步骤所替代：该终端通过发布操作将该目标视频发送至多媒体服务器进行发布，当多媒体服务器接收到该目标视频时，根据该目标视频的视频场景对该目标视频的第一配音音频进行调整以及合并，并基于合并后的视频来响应该终端的发布操作，这种实现方式在用户无感知的情况下对视频的配音进行优化调整，能够减少数据交互的耗时，大大提高用户的视频发布的效率。
在上述实施例中，仅以终端和多媒体服务器之间的交互为例进行说明，而在一种可能实现方式中，多媒体服务器侧可以采用集群的方式来实现上述过程，例如，其集群中可以包括有视频配音服务器、CDN(content delivery network，内容分发网络)服务器以及语音特征存储服务器，基于这种集群架构，上述视频配音过程还可以采用图6所示过程实现：视频配音服务器可以从语音特征存储服务器中拉取各个角色的语音特征信息并存储在本地，再将拉取到的各个角色的语音特征信息同步至CDN服务器上，而CDN服务器可以将语音特征信息分发到各个终端上，以使得终端能够预先存储语音特征信息。而在视频配音过程中，终端可以基于本地已存储的语音特征信息进行视频的离线配音，再配音完成后向视频配音服务器上传配音，由视频配音服务器自动对配音音频的语音语调等进行调整，再将调整完成的配音音频或视频返回给终端，以实现效果更好的视频配音。当然，在上述过程中，是以终端预存各个角色的语音特征信息为例进行说明，在终端未预存的情况下，终端可以通过实时从CDN服务器或视频配音服务器或语音特征存储服务器进行拉取，本申请实施例对此不做限定。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图7是本申请实施例提供的一种基于语音合成的视频配音装置的结构示意图。参见图7，所述装置包括：
接收模块701，用于接收配音选择指令，所述配音选择指令携带目标声音的标识信息；
特征获取模块702，用于根据所述目标声音的标识信息，获取对所述目标声音的视频进行学习得到的语音特征信息，所述语音特征信息包括所述目标声音的音色信息以及说话风格信息；
语音合成模块703，用于根据目标视频的文字信息以及所述目标声音的语音特征信息，进行语音合成，得到所述目标视频对应的第一配音音频。
在一种可能实现方式中，语音合成模块703包括：
音频获取单元，用于根据所述目标视频的文字信息，获取所述文字信息对应的多个音频；
调整单元，用于采用所述目标声音的语音特征信息对所述文字信息对应的多个音频进行调整，得到所述目标视频对应的第一配音音频。
在一种可能实现方式中，调整单元，用于按照所述目标声音的音色信息，将所述文字信息对应的多个音频的音色调整至与所述目标声音的音色信息相匹配；
按照所述目标声音的说话风格信息，将调整了音色的所述多个音频的播放速度和音调中至少一项调整至与所述目标声音的说话风格信息相匹配，得到所述目标视频对应的第一配音音频。
在一种可能实现方式中，该装置还包括：情绪调整模块，用于根据接收到的情绪调整指令，获取目标情绪信息；基于所述目标情绪信息，对所述多个音频的播放速度和音调中至少一项进行调整。
在一种可能实现方式中，该装置还包括：音量调整模块，用于根据接收到的音量调整指令，获取目标音量信息；
基于所述目标音量信息，对所述多个音频的播放音量进行调整。
在一种可能实现方式中，该装置还包括：发送模块，用于将所述目标视频和所述目标视频的第一配音音频发送至多媒体服务器；
所述接收模块还用于接收所述多媒体服务器基于所述目标视频的视频场景对所述目标视频的第一配音音频返回的第二配音音频。
在一种可能实现方式中，特征获取模块用于执行下述任一步骤：
根据所述目标声音的标识信息，从本地存储的语音特征信息中获取所述标识信息对应的语音特征信息，所述标识信息对应的语音特征信息通过对所述目标声音的视频进行学习得到；
向多媒体服务器发送获取请求，所述获取请求携带所述目标声音的标识信息；接收所述多媒体服务器返回的所述对所述目标声音的多个视频进行学习得到的语音特征信息。
需要说明的是：上述实施例提供的基于语音合成的视频配音装置在基于语音合成的视频配音时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于语音合成的视频配音装置与基于语音合成的视频配音方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备800可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(central processingunits，CPU)801和一个或多个的存储器802，其中，所述一个或多个存储器802中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器801加载并执行以实现上述各个方法实施例提供的方法。当然，该计算机设备800还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备800还可以包括其他用于实现设备功能的部件，在此不做赘述。
图9是本申请实施例提供的一种终端的结构示意图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端900包括有：一个或多个处理器901和一个或多个存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的基于语音合成的视频配音方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成上述实施例中的基于语音合成的视频配音方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种基于语音合成的视频配音方法，其特征在于，所述方法应用于终端中，所述方法包括：
接收配音选择指令，所述配音选择指令携带目标声音的标识信息；
根据所述目标声音的标识信息，从多媒体服务器获取对所述目标声音的视频进行学习得到的语音特征信息，所述语音特征信息包括所述目标声音的音色信息以及说话风格信息；其中，所述多媒体服务器用于根据所述视频中多个音频片段的时间长度，为学习到的各个音频片段内的语音特征信息设置权重，且设置的权重与对应的音频片段的时间长度成正比，基于各个音频片段内的语音特征信息以及对应的权重进行加权求和，得到所述目标声音的语音特征信息；
根据目标视频的文字信息以及所述目标声音的语音特征信息，进行语音合成，得到所述目标视频对应的第一配音音频；其中，所述文字信息为输入的定制化文字；
将所述目标视频和所述第一配音音频发送至所述多媒体服务器；
接收所述多媒体服务器返回的第二配音音频，所述第二配音音频是所述多媒体服务器根据所述目标视频的视频场景对所述第一配音音频的语音和语调进行调整得到的，所述视频场景是所述多媒体服务器对所述目标视频进行场景识别得到的。
2.根据权利要求1所述的方法，其特征在于，所述根据目标视频的文字信息以及所述目标声音的语音特征信息，进行语音合成，得到所述目标视频对应的第一配音音频包括：
根据所述目标视频的文字信息，获取所述文字信息对应的多个音频；
采用所述目标声音的语音特征信息对所述文字信息对应的多个音频进行调整，得到所述目标视频对应的第一配音音频。
3.根据权利要求2所述的方法，其特征在于，所述采用所述目标声音的语音特征信息对所述文字信息对应的多个音频进行调整，得到所述目标视频对应的第一配音音频包括：
按照所述目标声音的音色信息，将所述文字信息对应的多个音频的音色调整至与所述目标声音的音色信息相匹配；
按照所述目标声音的说话风格信息，将调整了音色的所述多个音频的播放速度和音调中至少一项调整至与所述目标声音的说话风格信息相匹配，得到所述目标视频对应的第一配音音频。
4.根据权利要求1所述的方法，其特征在于，所述进行语音合成之前，所述方法还包括：
根据接收到的情绪调整指令，获取目标情绪信息；
基于所述目标情绪信息，对所述多个音频的播放速度和音调中至少一项进行调整。
5.根据权利要求1所述的方法，其特征在于，所述进行语音合成之前，所述方法还包括：
根据接收到的音量调整指令，获取目标音量信息；
基于所述目标音量信息，对所述多个音频的播放音量进行调整。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标声音的标识信息，从本地存储的语音特征信息中获取所述标识信息对应的语音特征信息，所述标识信息对应的语音特征信息通过对所述目标声音的视频进行学习得到。
7.一种基于语音合成的视频配音装置，其特征在于，所述装置为终端，所述装置包括：
接收模块，用于接收配音选择指令，所述配音选择指令携带目标声音的标识信息；
特征获取模块，用于根据所述目标声音的标识信息，从多媒体服务器获取对所述目标声音的视频进行学习得到的语音特征信息，所述语音特征信息包括所述目标声音的音色信息以及说话风格信息；其中，所述多媒体服务器用于根据所述视频中多个音频片段的时间长度，为学习到的各个音频片段内的语音特征信息设置权重，且设置的权重与对应的音频片段的时间长度成正比，基于各个音频片段内的语音特征信息以及对应的权重进行加权求和，得到所述目标声音的语音特征信息；
语音合成模块，用于根据目标视频的文字信息以及所述目标声音的语音特征信息，进行语音合成，得到所述目标视频对应的第一配音音频；其中，所述文字信息为输入的定制化文字；
发送模块，用于将所述目标视频和所述第一配音音频发送至所述多媒体服务器；
所述接收模块还用于接收所述多媒体服务器返回的第二配音音频，所述第二配音音频是所述多媒体服务器根据所述目标视频的视频场景对所述第一配音音频的语音和语调进行调整得到的，所述视频场景是所述多媒体服务器对所述目标视频进行场景识别得到的。
8.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求6任一项所述的基于语音合成的视频配音方法所执行的操作。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的基于语音合成的视频配音方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911298062.4A CN111031386B (zh) | 2019-12-17 | 2019-12-17 | 基于语音合成的视频配音方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911298062.4A CN111031386B (zh) | 2019-12-17 | 2019-12-17 | 基于语音合成的视频配音方法、装置、计算机设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111031386A CN111031386A (zh) | 2020-04-17 |
| CN111031386B true CN111031386B (zh) | 2021-07-30 |
Family
ID=70209620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911298062.4A Active CN111031386B (zh) | 2019-12-17 | 2019-12-17 | 基于语音合成的视频配音方法、装置、计算机设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111031386B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111653265B (zh) * | 2020-04-26 | 2023-08-18 | 北京大米科技有限公司 | 语音合成方法、装置、存储介质和电子设备 |
| CN111681678B (zh) * | 2020-06-09 | 2023-08-22 | 杭州星合尚世影视传媒有限公司 | 自动生成音效并匹配视频的方法、系统、装置及存储介质 |
| CN111831250B (zh) * | 2020-07-10 | 2023-05-30 | Oppo广东移动通信有限公司 | 音频处理方法、装置、存储介质及电子设备 |
| CN112954453B (zh) * | 2021-02-07 | 2023-04-28 | 北京有竹居网络技术有限公司 | 视频配音方法和装置、存储介质和电子设备 |
| CN114363691A (zh) * | 2021-04-22 | 2022-04-15 | 南京亿铭科技有限公司 | 语音字幕合成方法、装置、计算机设备及存储介质 |
| CN113838450B (zh) * | 2021-08-11 | 2022-11-25 | 北京百度网讯科技有限公司 | 音频合成及相应的模型训练方法、装置、设备及存储介质 |
| CN116110366A (zh) * | 2021-11-11 | 2023-05-12 | 北京字跳网络技术有限公司 | 音色选择方法、装置、电子设备、可读存储介质及程序产品 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869626A (zh) * | 2016-05-31 | 2016-08-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种语速自动调节的方法及终端 |
| CN107172449A (zh) * | 2017-06-19 | 2017-09-15 | 微鲸科技有限公司 | 多媒体播放方法、装置及多媒体存储方法 |
| CN107484016A (zh) * | 2017-09-05 | 2017-12-15 | 深圳Tcl新技术有限公司 | 视频的配音切换方法、电视机及计算机可读存储介质 |
| CN107705783A (zh) * | 2017-11-27 | 2018-02-16 | 北京搜狗科技发展有限公司 | 一种语音合成方法及装置 |
| CN107886950A (zh) * | 2017-12-06 | 2018-04-06 | 安徽省科普产品工程研究中心有限责任公司 | 一种基于语音识别的儿童视频教学方法 |
| WO2018090356A1 (en) * | 2016-11-21 | 2018-05-24 | Microsoft Technology Licensing, Llc | Automatic dubbing method and apparatus |
| CN108305636A (zh) * | 2017-11-06 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种音频文件处理方法及装置 |
| CN108615524A (zh) * | 2018-05-14 | 2018-10-02 | 平安科技（深圳）有限公司 | 一种语音合成方法、系统及终端设备 |
| CN108962219A (zh) * | 2018-06-29 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 用于处理文本的方法和装置 |
| CN109272984A (zh) * | 2018-10-17 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 用于语音交互的方法和装置 |
| CN109350961A (zh) * | 2018-10-26 | 2019-02-19 | 努比亚技术有限公司 | 一种内容处理方法、终端及计算机可读存储介质 |
| CN110312161A (zh) * | 2018-03-20 | 2019-10-08 | Tcl集团股份有限公司 | 一种视频配音方法、装置及终端设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105611404B (zh) * | 2015-12-31 | 2019-01-08 | 杭州雅乐互动科技有限公司 | 一种根据视频应用场景自动调节音频音量的方法及装置 |
| CN107068165B (zh) * | 2016-12-31 | 2020-07-24 | 南京邮电大学 | 一种语音转换方法 |
| CN107657017B (zh) * | 2017-09-26 | 2020-11-13 | 百度在线网络技术（北京）有限公司 | 用于提供语音服务的方法和装置 |
| CN108900886A (zh) * | 2018-07-18 | 2018-11-27 | 深圳市前海手绘科技文化有限公司 | 一种手绘视频智能配音生成以及同步方法 |
| CN108962217B (zh) * | 2018-07-28 | 2021-07-16 | 华为技术有限公司 | 语音合成方法及相关设备 |
-
2019
- 2019-12-17 CN CN201911298062.4A patent/CN111031386B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869626A (zh) * | 2016-05-31 | 2016-08-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种语速自动调节的方法及终端 |
| WO2018090356A1 (en) * | 2016-11-21 | 2018-05-24 | Microsoft Technology Licensing, Llc | Automatic dubbing method and apparatus |
| CN107172449A (zh) * | 2017-06-19 | 2017-09-15 | 微鲸科技有限公司 | 多媒体播放方法、装置及多媒体存储方法 |
| CN107484016A (zh) * | 2017-09-05 | 2017-12-15 | 深圳Tcl新技术有限公司 | 视频的配音切换方法、电视机及计算机可读存储介质 |
| CN108305636A (zh) * | 2017-11-06 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种音频文件处理方法及装置 |
| CN107705783A (zh) * | 2017-11-27 | 2018-02-16 | 北京搜狗科技发展有限公司 | 一种语音合成方法及装置 |
| CN107886950A (zh) * | 2017-12-06 | 2018-04-06 | 安徽省科普产品工程研究中心有限责任公司 | 一种基于语音识别的儿童视频教学方法 |
| CN110312161A (zh) * | 2018-03-20 | 2019-10-08 | Tcl集团股份有限公司 | 一种视频配音方法、装置及终端设备 |
| CN108615524A (zh) * | 2018-05-14 | 2018-10-02 | 平安科技（深圳）有限公司 | 一种语音合成方法、系统及终端设备 |
| CN108962219A (zh) * | 2018-06-29 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 用于处理文本的方法和装置 |
| CN109272984A (zh) * | 2018-10-17 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 用于语音交互的方法和装置 |
| CN109350961A (zh) * | 2018-10-26 | 2019-02-19 | 努比亚技术有限公司 | 一种内容处理方法、终端及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111031386A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111031386B (zh) | 基于语音合成的视频配音方法、装置、计算机设备及介质 | |
| CN110933330A (zh) | 视频配音方法、装置、计算机设备及计算机可读存储介质 | |
| CN108270794B (zh) | 内容发布方法、装置及可读介质 | |
| CN111564152B (zh) | 语音转换方法、装置、电子设备及存储介质 | |
| US20230252964A1 (en) | Method and apparatus for determining volume adjustment ratio information, device, and storage medium | |
| CN109327608B (zh) | 歌曲分享的方法、终端、服务器和系统 | |
| CN111339326A (zh) | 多媒体资源的展示方法、提供方法以及装置 | |
| CN109346111B (zh) | 数据处理方法、装置、终端及存储介质 | |
| CN110139143B (zh) | 虚拟物品显示方法、装置、计算机设备以及存储介质 | |
| CN109192218B (zh) | 音频处理的方法和装置 | |
| CN111524501A (zh) | 语音播放方法、装置、计算机设备及计算机可读存储介质 | |
| CN110996167A (zh) | 在视频中添加字幕的方法及装置 | |
| CN111539795A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113420177A (zh) | 音频数据处理方法、装置、计算机设备及存储介质 | |
| CN110493635B (zh) | 视频播放方法、装置及终端 | |
| CN111276122A (zh) | 音频生成方法及装置、存储介质 | |
| CN111081277B (zh) | 音频测评的方法、装置、设备及存储介质 | |
| CN113596516A (zh) | 进行连麦合唱的方法、系统、设备及存储介质 | |
| CN110337042B (zh) | 歌曲点播方法、点播订单处理方法、装置、终端及介质 | |
| CN111582862A (zh) | 信息处理方法、装置、系统、计算机设备及存储介质 | |
| CN111428079A (zh) | 文本内容处理方法、装置、计算机设备及存储介质 | |
| CN111368136A (zh) | 歌曲识别方法、装置、电子设备及存储介质 | |
| CN113963707A (zh) | 音频处理方法、装置、设备和存储介质 | |
| CN112100437A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112069350A (zh) | 歌曲推荐方法、装置、设备以及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40021060 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |