CN112752142B - 配音数据处理方法、装置及电子设备 - Google Patents

配音数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112752142B
CN112752142B CN202010873619.9A CN202010873619A CN112752142B CN 112752142 B CN112752142 B CN 112752142B CN 202010873619 A CN202010873619 A CN 202010873619A CN 112752142 B CN112752142 B CN 112752142B
Authority
CN
China
Prior art keywords
dubbing
video
main body
audio
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010873619.9A
Other languages
English (en)
Other versions
CN112752142A (zh
Inventor
陈姿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010873619.9A priority Critical patent/CN112752142B/zh
Publication of CN112752142A publication Critical patent/CN112752142A/zh
Application granted granted Critical
Publication of CN112752142B publication Critical patent/CN112752142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Abstract

本申请属于视频处理技术领域，具体涉及一种配音数据处理方法、配音数据处理装置、计算机可读介质以及电子设备。该方法包括：在终端设备的交互界面上展示待配音视频以及参与配音的配音主体；响应于配音开始指令，播放所述待配音视频，并获取所述待配音视频的播放进度；根据所述待配音视频的播放进度对所述配音主体进行语音采集以得到所述配音主体的配音数据；获取所述待配音视频的原始音频数据，并根据所述配音数据与所述原始音频数据的相似度确定所述配音主体的配音评价信息。该放可以降低视频配音难度、减少视频配音的资源消耗和计算成本。

Description

配音数据处理方法、装置及电子设备
技术领域
本申请属于视频处理技术领域，具体涉及一种配音数据处理方法、配音数据处理装置、计算机可读介质以及电子设备。
背景技术
随着计算机和网络技术的发展，视频或短视频的分享平台已经逐渐成为一种常用的应用程序，而且越来越多的人开始从视频内容的受众转变为视频内容的生产者。
在影视剧视频、综艺节目视频或者各种网络热门视频中，通常会出现很多有趣的对话或表情。在此基础上，对视频中的人物进行模仿配音逐渐成为一种新兴的娱乐方式，同时也能够产生大量的二次创作视频。然而，对视频进行配音往往需要依赖专业的音视频采集设备和音视频编辑工具，这也为普通用户带来了极大的技术障碍，难以获得理想的视频配音效果。而且在缺少专业配音知识的情况下，用户也很难对视频配音效果的好坏做出评价。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种配音数据处理方法、配音数据处理装置、计算机可读介质以及电子设备，至少在一定程度上克服相关技术中存在的视频配音难度大、配音成本高等技术问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种配音数据处理方法，该方法包括：
在终端设备的交互界面上展示待配音视频以及参与配音的配音主体；
响应于配音开始指令，播放所述待配音视频，并获取所述待配音视频的播放进度；
根据所述待配音视频的播放进度对所述配音主体进行语音采集以得到所述配音主体的配音数据；
获取所述待配音视频的原始音频数据，并根据所述配音数据与所述原始音频数据的相似度确定所述配音主体的配音评价信息。
根据本申请实施例的一个方面，提供一种配音数据处理装置，该装置包括：
视频展示模块，被配置为在终端设备的交互界面上展示待配音视频以及参与配音的配音主体；
视频播放模块，被配置为响应于配音开始指令，播放所述待配音视频，并获取所述待配音视频的播放进度；
语音采集模块，被配置为根据所述待配音视频的播放进度对所述配音主体进行语音采集以得到所述配音主体的配音数据；
配音评价模块，被配置为获取所述待配音视频的原始音频数据，并根据所述配音数据与所述原始音频数据的相似度确定所述配音主体的配音评价信息。
在本申请的一些实施例中，基于以上技术方案，所述视频展示模块包括：
主体数量选择单元，被配置为在终端设备的交互界面上展示主体数量选择页面，所述主体数量选择页面中包括多个主体数量选择控件；
候选视频获取单元，被配置为响应于针对所述主体数量选择控件的触发操作，确定参与配音的配音主体数量，并根据所述配音主体数量获取候选视频；
待配音视频选取单元，被配置为从所述候选视频中选取待配音视频，并创建用于对所述待配音视频进行配音的虚拟房间；
待配音视频展示单元，被配置为在所述交互界面上展示所述待配音视频，并在所述交互界面上展示加入所述虚拟房间的配音主体。
在本申请的一些实施例中，基于以上技术方案，所述待配音视频选取单元包括：
候选视频展示子单元，被配置为在所述交互界面上展示候选视频选取页面，所述候选视频选取页面中包括与所述候选视频相对应的候选视频选择控件；
待配音视频选取子单元，被配置为响应于针对所述候选视频选择控件的触发操作，从所述候选视频中选取待配音视频。
在本申请的一些实施例中，基于以上技术方案，所述待配音视频选取单元包括：
搜索页面展示子单元，被配置为在所述交互界面上展示候选视频搜索页面，所述候选视频搜索页面中包括候选视频搜索控件；
关键词获取子单元，被配置为响应于针对所述候选视频搜索控件的触发操作，获取视频搜索关键词；
待选视频搜索子单元，被配置为在所述候选视频中搜索与所述视频搜索关键词相对应的待选视频，并在所述交互界面上展示与所述待选视频相对应的待选视频选择控件；
待配音视频确定子单元，被配置为响应于针对所述待选视频选择控件的触发操作，将所述待选视频确定为待配音视频。
在本申请的一些实施例中，基于以上技术方案，所述待配音视频展示单元还包括：
待配音对象获取子单元，被配置为获取与所述待配音视频相关的待配音对象；
虚拟位置展示子单元，被配置为在所述交互界面上展示与所述待配音对象相对应的虚拟位置；
配音主体展示子单元，被配置为当配音主体加入所述虚拟房间时，在所述虚拟位置上展示所述配音主体。
在本申请的一些实施例中，基于以上技术方案，所述配音数据处理装置还包括：
虚拟位置触发子单元，被配置为响应于针对所述虚拟位置的触发操作，确定所述虚拟位置上是否存在配音主体；
虚拟主体移出子单元，被配置为若所述虚拟位置上存在配音主体，则将所述配音主体移出所述虚拟位置；
虚拟主体邀请子单元，被配置为若所述虚拟位置上不存在配音主体，则在所述交互界面上展示主体邀请页面，以通过所述主体邀请页面邀请配音主体加入所述虚拟房间。
在本申请的一些实施例中，基于以上技术方案，所述语音采集模块包括：
当前片段确定单元，被配置为根据所述待配音视频的播放进度确定与当前时间节点相对应的当前视频配音片段；
当前主体确定单元，被配置为将与所述当前视频配音片段相对应的配音主体确定为当前配音主体；
语音采集单元，被配置为对所述当前配音主体进行语音采集以得到所述当前配音主体的配音数据。
在本申请的一些实施例中，基于以上技术方案，所述当前主体确定单元包括：
对象信息获取子单元，被配置为获取与所述当前视频配音片段相对应的待配音对象的对象信息；
配音主体确定子单元，被配置为根据所述对象信息将与所述待配音对象相对应的配音主体确定为当前配音主体。
在本申请的一些实施例中，基于以上技术方案，所述配音数据处理装置还包括：
片段时长获取单元，被配置为获取所述当前视频配音片段的片段时长；
时长标识展示单元，被配置为在所述交互界面上注册与所述当前配音主体相对应的主体标识区域，并在所述主体标识区域内展示与所述片段时长相对应的时长标识。
在本申请的一些实施例中，基于以上技术方案，所述配音数据处理装置还包括：
配音文本获取单元，被配置为获取所述当前视频配音片段的配音文本，并获取所述配音文本与所述播放进度的时间对应关系；
配音文本展示单元，被配置为按照所述时间对应关系在所述交互界面上展示所述配音文本。
在本申请的一些实施例中，基于以上技术方案，所述配音文本获取单元包括：
时间信息获取子单元，被配置为获取当前视频配音片段的片段时间信息；
字幕文件获取子单元，被配置为获取所述待配音视频的字幕文件；
文本提取子单元，被配置为根据所述片段时间信息对所述字幕文件进行文本提取以得到所述当前视频配音片段的当前视频字幕；
第一文本确定子单元，被配置为根据所述当前视频字幕确定所述当前视频配音片段的配音文本。
在本申请的一些实施例中，基于以上技术方案，所述配音文本获取单元包括：
时间信息获取子单元，被配置为获取当前视频配音片段的片段时间信息；
原始音频获取子单元，被配置为获取所述待配音视频的原始音频数据；
音频提取子单元，被配置为根据所述片段时间信息对所述原始音频数据进行音频提取以得到所述当前视频配音片段的当前音频数据；
语音识别子单元，被配置为对所述当前音频数据进行语音识别以得到所述当前视频配音片段的配音文本。
在本申请的一些实施例中，基于以上技术方案，所述配音评价模块包括：
配音特征提取单元，被配置为对所述配音数据进行特征提取以得到所述配音数据的配音语音特征；
原始特征提取单元，被配置为对所述原始音频数据进行特征提取以得到所述原始音频数据的原始语音特征；
特征比较单元，被配置为比较所述配音语音特征和所述原始语音特征以得到所述配音数据与所述原始音频数据的相似度；
评价信息确定单元，被配置为根据所述相似度确定所述配音主体的配音评价信息。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的配音数据处理方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的配音数据处理方法。
根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的配音数据处理方法。
在本申请实施例提供的技术方案中，通过实时获取待配音视频的播放进度，可以根据播放进度对配音主体进行语音采集，有利于帮助配音主体准确把握配音时间，降低配音难度。在获得配音数据后，可以比较配音数据和原始音频数据以得到二者之间的相似度，从而根据相似度确定配音主体的配音评价信息，并进一步获得较好的配音效果，具有资源消耗少、计算成本低等优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性地示出了应用本申请技术方案的示例性系统架构框图。
图2示意性地示出了本申请技术方案在一应用场景中的配音游戏的游戏流程。
图3示意性地示出了本申请实施例在一应用场景中由一支配音队伍进行配音游戏的配音时序图。
图4示意性地示出了本申请一些实施例中配音数据处理方法的步骤流程图。
图5示意性地示出了一种主体数量选择页面在交互界面上的页面视图。
图6示意性地示出了一种候选视频选取页面在交互界面上的页面视图。
图7示意性地示出了一种候选视频搜索页面在交互界面上的页面视图。
图8示意性地示出了一种虚拟房间在交互界面上的视图页面。
图9示意性地示出了一种配音页面在交互界面上的页面视图。
图10示意性地示出了本申请实施例提供的配音数据处理装置的结构框图
图11示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在介绍本申请技术方案之前，先对本申请技术方案中涉及的人工智能技术做出说明。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的技术方案涉及人工智能的语音技术、自然语言处理以及机器学习等技术，具体在以下实施例中进行说明。
图1示意性地示出了应用本申请技术方案的示例性系统架构框图。
如图1所示，系统架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、台式电脑、智能电视、智能手表、智能眼镜等各种电子设备。终端设备110上可以安装客户端，如视频客户端、浏览器客户端、即时通信客户端以及教育客户端等等。
服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。
根据实现需要，本申请实施例中的系统架构可以具有任意数目的终端设备、网络和服务器。例如，服务器130可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于终端设备110，也可以应用于服务器130，或者可以由终端设备110和服务器130共同实施，本申请对此不做特殊限定。
举例而言，用户可以通过终端设备110上安装的客户端观看由服务器130提供的网络视频，该网络视频可以是通过网络120由服务器130向终端设备110实时传输的在线视频，也可以是保存在终端设备110本地的离线视频。与此同时，用户可以通过终端设备110对网络视频进行配音，在得到配音数据后，可以将配音数据上传至服务器130，由服务器130对配音数据进行分析处理后可以得到对配音效果的评价信息。
为了提高视频配音的互动性和娱乐性，本申请实施例可以在终端设备110上配置配音比赛游戏，根据精选的精彩短视频片段中人物角色的数量，分成不同人数的比赛专区(双人场、四人场、五人场等等)。以双人场为例，比赛分成两支队伍，通过配音的模仿匹配度对两支队伍的配音效果进行评价从而评出胜负。
图2示意性地示出了本申请技术方案在一应用场景中的配音游戏的游戏流程。如图2所示，该配音游戏的整体游戏流程可以包括如下的步骤S201～步骤S206。
步骤S201：选择视频并进入配音游戏。
步骤S202：等待两支配音队伍的队员进入游戏。
步骤S203：当队员到齐时，开始由两支队伍分别对所选视频进行配音。
步骤S204：第一队完成配音后得出第一队的配音分数。
步骤S205：第二队完成配音后得出第二队的配音分数。
步骤S206：配音分数较高的一方为胜利方，可以获得一定数量的积分；配音分数较低的一方为失败方，将失去一定数量的积分。
图3示意性地示出了本申请实施例在一应用场景中由一支配音队伍进行配音游戏的配音时序图。如图3所示，在该应用场景中，一支配音队伍中可以包括用户A和用户B两位配音队员，分别由两位配音队员进行配音游戏的配音流程可以包括如下的步骤S301～步骤S305。
步骤S301：终端设备向用户A或者用户B展示提示信息，提示对话时序和对话内容。
步骤S302：用户A或者用户B根据提示信息向终端设备输入语音，形成配音数据。
步骤S303：客户端将用户输入的配音数据上传至后台服务器。
步骤S304：服务器对配音数据进行匹配打分以得到配音分数。
步骤S305：服务器将配音分数返回至终端设备，以由终端设备向用户进行展示。
当用户A和用户B完成视频配音后，可以统计得到该支配音队伍的整体得分。基于同样的配音流程，可以得到另外一支配音队伍的得分。通过对两支配音队伍的评分进行对比即可分出胜负。通过配音的游戏可以让用户增强视频观影的趣味性和社交性，扩展了视频平台的业务范围。除此之外，在该应用场景的配音游戏中，通过对视频的播放进度进行监测并基于播放进度向用户展示提示信息，可以引导用户进行配音数据采集，并且采集得到的配音数据与待配音视频的原始音频数据具有时间一致性，因此可以提高配音数据的采集准确性，同时可以提高配音数据与原始音频数据进行相似度匹配的可靠性。
下面结合具体实施方式对本申请提供的配音数据处理方法、配音数据处理装置、计算机可读介质以及电子设备等技术方案做出详细说明。
图4示意性地示出了本申请一些实施例中配音数据处理方法的步骤流程图。该配音数据处理方法可以由终端设备执行，也可以由服务器执行，还可以由终端设备和服务器共同执行。本申请实施例以终端设备执行的数据处理方法作为示例，如图4所示，该数据处理方法主要可以包括如下的步骤S410～步骤S440。
步骤S410：在终端设备的交互界面上展示待配音视频以及参与配音的配音主体。
步骤S420：响应于配音开始指令，播放待配音视频，并获取待配音视频的播放进度。
步骤S430：根据待配音视频的播放进度对配音主体进行语音采集以得到配音主体的配音数据。
步骤S440：获取待配音视频的原始音频数据，并根据配音数据与原始音频数据的相似度确定配音主体的配音评价信息。
在本申请实施例提供的配音数据处理方法中，通过实时获取待配音视频的播放进度，可以根据播放进度对配音主体进行语音采集，有利于帮助配音主体准确把握配音时间，降低配音难度。在获得配音数据后，可以比较配音数据和原始音频数据以得到二者之间的相似度，从而根据相似度确定配音主体的配音评价信息，并进一步获得理想的配音效果，具有资源消耗少、计算成本低等优点。
下面分别对以上实施例中配音数据方法的各个方法步骤做详细说明。
在步骤S410中，在终端设备的交互界面上展示待配音视频以及参与配音的配音主体。
待配音视频是对电影、电视剧、综艺节目等各种网络视频或者其他自制视频经过预处理后得到的完整视频或视频片段。待配音视频中需要配音的部分一般可以是人物角色之间的对话或者独白，为了方便配音主体对其进行配音，可以对待配音视频中的涉及台词的音频部分进行消音处理。配音主体可以是如以上应用场景中所举例的参与配音比赛游戏的游戏用户。
在本申请的一些实施例中，展示配音视频及配音主体的方法可以包括如下的步骤S411～步骤S414。
步骤S411：在终端设备的交互界面上展示主体数量选择页面，主体数量选择页面中包括多个主体数量选择控件。
图5示意性地示出了一种主体数量选择页面在交互界面上的页面视图。如图5所示，在终端设备的交互界面上展示有“精选”、“配音游戏”、“爱看”等多种与视频业务相关的功能控件，当用户点击触发“配音游戏”控件时，便可以在交互界面上展示主体数量选择页面500。针对一款配音游戏，主体数量选择页面500主要用于选取参与配音游戏的玩家数量，例如可以包括双人场、三人场、四人场、五人场等等，其中每个主体数量可以对应显示为一个主体数量选择控件501。另外，在主体数量选择页面500中还展示有对应于不同视频类型的类型选择控件502，当用户触发类型选择控件502时，可以在“电影”、“电视剧”、“综艺”等各种不同的视频类型之间进行切换。
步骤S412：响应于针对主体数量选择控件的触发操作，确定参与配音的配音主体数量，并根据配音主体数量获取候选视频。
针对不同的主体数量，在图5所示的主体数量选择页面500中对应展示为不同的主体数量选择控件501。当用户触发某个主体数量选择控件501时，可以确定与该控件对应的参与配音的配音主体数量。例如，当用户点击“双人场”时，可以确定参与对一个视频进行配音的配音主体的数量为两人。当确定配音主体数量后，可以获取视频中配音对象数量与所确定的配音主体数量相匹配的候选视频。例如，当配音主体数量为二时，可以从视频数据库中选取涉及双人对话的视频片段作为候选视频。
步骤S413：从候选视频中选取待配音视频，并创建用于对待配音视频进行配音的虚拟房间。
在一些可选的实施方式中，当用户触发某一主体数量选择控件时，可通过弹窗显示或者跳转显示等各种页面显示方式展示与候选视频相关的二级页面。例如，可以在交互界面上展示候选视频选取页面，候选视频选取页面中包括与候选视频相对应的候选视频选择控件；响应于针对候选视频选择控件的触发操作，可以从候选视频中选取待配音视频。
图6示意性地示出了一种候选视频选取页面在交互界面上的页面视图。如图6所示，在候选视频选取页面600中展示有与各个候选视频相对应的候选视频选择控件601，当用户通过点击等方式触发某一候选视频选择控件时，可以将该控件对应的候选视频选择为待配音视频，并进一步创建用于对该待配音视频进行配音的虚拟房间。针对配音比赛游戏，该虚拟房间可以是创建后用于进行配音比赛的游戏房间，用户可以通过加入该游戏房间来参加配音比赛。
在另一些可选的实施方式中，当用户触发某一主体数量选择控件时，也可以在交互界面上展示候选视频搜索页面，候选视频搜索页面中包括候选视频搜索控件；响应于针对候选视频搜索控件的触发操作，获取视频搜索关键词；在候选视频中搜索与视频搜索关键词相对应的待选视频，并在交互界面上展示与待选视频相对应的待选视频选择控件；响应于针对待选视频选择控件的触发操作，将待选视频确定为待配音视频。
图7示意性地示出了一种候选视频搜索页面在交互界面上的页面视图。如图7所示，在候选视频搜索页面700中展示有候选视频搜索控件701，该候选视频搜索控件可以是一文本输入框控件，当用户触发该文本输入框控件时，可以向终端设备输入视频搜索关键词，视频搜索关键词例如可以是与视频名称、视频中的人物角色、演职人员等各种能够进行视频定位的相关关键词。基于视频搜索关键词，可以在候选视频中搜索得到与之相对应的待选视频，作为搜索结果的待选视频可以在候选视频搜索页面700中展示相应的待选视频选择控件702。当用户通过点击等方式触发某一待选视频选择控件702，可以将该控件对应的待选视频选择为待配音视频，并进一步创建用于对该待配音视频进行配音的虚拟房间。
另外，在一些可选的实施方式中，候选视频选取页面600和候选视频搜索页面700可以呈现为同一页面或者不同页面，本申请对此不做特殊限定。
步骤S414：在交互界面上展示待配音视频，并在交互界面上展示加入虚拟房间的配音主体。
在确定待配音视频后，可以在终端设备的交互界面上展示待配音视频以及用于对该待配音视频进行配音的虚拟房间。
在一些可选的实施方式中，可以首先获取与待配音视频相关的待配音对象；然后在交互界面上展示与待配音对象相对应的虚拟位置；当配音主体加入虚拟房间时，在虚拟位置上展示配音主体。其中，待配音对象例如可以是待配音视频中经过消声处理后的可以进行配音的各个人物角色。
图8示意性地示出了一种虚拟房间在交互界面上的视图页面。如图8所示，在虚拟房间800的页面上半部分为待配音视频801，而在页面的下半部分展示虚拟房间中与待配音对象相对应的各个虚拟位置802。当完成虚拟房间的创建后，其他用户可以主动加入该虚拟房间中成为参与配音的配音主体，另外也可以由创建虚拟房间的用户通过页面分享或者邀请加入等方式将其他用户加入至虚拟房间中成为参与配音的配音主体。
响应于针对虚拟位置802的触发操作，可以确定虚拟位置802上是否存在配音主体。若虚拟位置802上已存在一个配音主体，可以将该配音主体移出该虚拟位置，使得该虚拟位置重新成为空闲位置，等待其他配音主体的加入。若虚拟位置802上不存在配音主体，则可以在交互界面上展示主体邀请页面，以通过主体邀请页面邀请配音主体加入虚拟房间。举例而言，用户可以通过各种社交软件或者应用程序对该配音游戏的游戏房间进行分享，从而邀请其他业务平台上的用户好友加入至该配音游戏中，成为参与配音的配音主体。除此之外，拥有房间管理权限的用户也可以将已加入房间的其他用户移出房间，从而可以对参与配音游戏的人员做出调整。
在步骤S420中，响应于配音开始指令，播放待配音视频，并获取待配音视频的播放进度。
继续参考图8所示的虚拟房间，在展示该虚拟房间的页面中同时可以展示一个用于控制配音开始的配音开始控件803，如标识为“开始游戏”的虚拟按钮。当用户点击该虚拟按钮时，便可以触发配音开始指令，对待配音视频开始进行播放。在播放视频的同时，可以实时地获取待配音视频的播放进度，以便在后续的配音过程中向用户进行进度提示。
在步骤S430中，根据待配音视频的播放进度对配音主体进行语音采集以得到配音主体的配音数据。
针对一个待配音视频，可以根据是否需要配音分割成两种类型的片段，即需要配音的视频配音片段和不需要配音的其他片段。例如，一个视频中包含人物对话的部分即可作为视频配音片段。在一个待配音视频中可以包含一个或者多个视频配音片段。
在一些可选的实施方式中，本步骤可以首先根据待配音视频的播放进度确定与当前时间节点相对应的当前视频配音片段。例如，视频中某个人物角色在视频的2分5秒至2分7秒之间说了一句台词。那么当视频播放进度到达2分5秒时，可以将2分5秒至2分7秒这一时间段的视频确定为当前视频配音片段。与此同时，可以将与当前视频配音片段相对应的配音主体确定为当前配音主体，然后对当前配音主体进行语音采集以得到当前配音主体的配音数据。
在确定当前配音主体时，可以先获取与当前视频配音片段相对应的待配音对象的对象信息，然后根据对象信息将与待配音对象相对应的配音主体确定为当前配音主体。例如，在当前视频配音片段中说台词的是某一指定的人物角色(即待配音对象)，根据预先分配的配音主体与人物角色之间的对应关系，可以将负责为该人物角色进行配音的用户确定为当前配音主体。
为了更好地辅助用户确定配音时机，以便进一步提高配音效果，本申请实施例可以在确定当前视频配音片段之后，在终端设备的交互界面上向用户展示相应的提示信息。
在一些可选的实施方式中，本申请可以获取当前视频配音片段的片段时长，然后在交互界面上注册与当前配音主体相对应的主体标识区域，并在主体标识区域内展示与片段时长相对应的时长标识。除此之外，本申请还可以获取当前视频配音片段的配音文本，并获取配音文本与播放进度的时间对应关系，然后按照时间对应关系在交互界面上展示配音文本。
图9示意性地示出了一种配音页面在交互界面上的页面视图。如图9所示，在配音页面900的上方部分展示有待配音视频的视频播放画面901，同时在视频播放画面901上还可以同时以浮窗的形式展示参与配音的配音主体的主体视频画面902。根据视频播放画面901可以查看当前播放的视频内容，而根据主体视频画面902可以查看配音主体在进行配音时的实时状态，例如可以采集并呈现用户的面部表情等信息。
在配音页面900的中间部分展示有主体标识区域903，在该示例中，参与配音的配音主体包括用户A和用户B，相应的主体标识区域903也划分为上下两部分，相应的主体标识区域903中以不同长度的线条作为与片段时长相对应的时长标识，可以向相应的配音主体提示开始进行语音采集的时机以及语音采集的时间长短。基于线条状的时长标识，可以帮助用户直观感受一个配音片段的开始节点和结束节点，从而可以在配音过程中控制语速，提高配音匹配度。
在配音页面900的下方部分展示有配音文本904，用于向当前配音主体对需要配音的台词做出提示。其中，每个配音文本904均可以与相应的时长标识建立位置对应关系，以便降低配音难度，提高配音效果。
对于有些视频而言，在视频中自身带有字幕，而有些视频则不带字幕。针对不同类型的视频，本申请实施例可以采用两种不同的方式来获取需要在配音页面中显示的配音文本。
在一些可选的实施方式中，本申请实施例可以先获取当前视频配音片段的片段时间信息，然后获取待配音视频的字幕文件，根据片段时间信息对字幕文件进行文本提取以得到当前视频配音片段的当前视频字幕，再根据当前视频字幕确定当前视频配音片段的配音文本。待配音视频中的字幕文件可以包括内嵌字幕和外挂字幕两种类型，其中内嵌字幕是将字幕文件和视频流压制在同一组数据里，而外挂字幕是将字幕文件单独保存为ASS、SSA或SUB等格式的文件，在播放视频时再对其进行调用以同步显示字幕。
针对外挂字幕，本申请实施例可以直接根据当前视频配音片段的片段时间信息调用外挂字幕，查找对应时间点的当前视频字幕以得到配音文本。
针对内嵌字幕，本申请实施例可以根据当前视频配音片段的片段时间信息对当前视频配音片段的视频画面进行图像识别，基于图像识别结果得到当前视频字幕，从而得到配音文本。对视频画面进行图像识别的方法可以利用光学字符识别(Optical CharacterRecognition，OCR)技术，通过检测图像中的文本字符的形状，再进行字符识别得到当前视频字幕的文本内容。另外，本申请实施例也可以利用预先训练的图像识别模型对视频画面进行文本识别得到视频画面中内嵌的当前视频字幕，该图像识别模型例如可以采用基于卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent NeuralNetwork，RNN)、长短期记忆网络(Long Short-Term Memory，LSTM)等各种类型的机器学习模型。
在另一些可选的实施方式中，本申请实施例可以先获取当前视频配音片段的片段时间信息，然后获取待配音视频的原始音频数据，根据片段时间信息对原始音频数据进行音频提取以得到当前视频配音片段的当前音频数据，再对当前音频数据进行语音识别以得到当前视频配音片段的配音文本。
针对当前视频配音片段中没有通过内嵌或者外挂等方式携带字幕文件的情形，本申请实施例通过先获取原始音频数据，再从中提取对应当前时间节点的当前音频数据，然后再对当前音频数据进行语音识别可以得到相应的配音文本。其中，语音识别技术可以基于预先训练语音识别模型来实现。该语音识别模型例如可以是基于CNN、RNN、LSTM等各种类型的机器学习模型。
在步骤S440中，获取待配音视频的原始音频数据，并根据配音数据与原始音频数据的相似度确定配音主体的配音评价信息。
原始音频数据是待配音视频中原始人物角色的语音数据，本申请实施例对原始音频数据与用户模仿配音的配音数据进行相似度匹配，得到二者之间的相似度，并将相似度匹配结果确定为配音主体的配音评价信息。
在一些可选的实施中，本申请可以对配音数据进行特征提取以得到配音数据的配音语音特征，同时可以对原始音频数据进行特征提取以得到原始音频数据的原始语音特征。然后比较配音语音特征和原始语音特征以得到配音数据与原始音频数据的相似度，再根据相似度确定配音主体的配音评价信息。举例而言，本申请实施例可以利用大量的录音文件作为训练样本，预先训练一用于进行特征提取和比较的声学模型。基于该声学模型，可以对原始音频数据以及配音数据进行特征提取得到其各自的统计特征和规律，然后再对二者的特征相似度做出评价。评价的方式例如可以是打分，分数越高表明配音效果越好。在本申请实施例中使用的用于进行配音评价的声学模型涉及文本嵌入模型、句法解析、GOP算法(Goodness of Pronunciation)、句子边界检测等多种底层技术，可以从发音语音和语调等方面来进行模仿匹配度打分，具有较好的配音评价效果，可以进一步辅助用户提高配音效果。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的配音数据处理方法。图10示意性地示出了本申请实施例提供的配音数据处理装置的结构框图。如图10所示，配音数据处理装置1000主要可以包括：
视频展示模块1010，被配置为在终端设备的交互界面上展示待配音视频以及参与配音的配音主体；
视频播放模块1020，被配置为响应于配音开始指令，播放待配音视频，并获取待配音视频的播放进度；
语音采集模块1030，被配置为根据待配音视频的播放进度对配音主体进行语音采集以得到配音主体的配音数据；
配音评价模块1040，被配置为获取待配音视频的原始音频数据，并根据配音数据与原始音频数据的相似度确定配音主体的配音评价信息。
在本申请的一些实施例中，基于以上各实施例，视频展示模块包括：
主体数量选择单元，被配置为在终端设备的交互界面上展示主体数量选择页面，主体数量选择页面中包括多个主体数量选择控件；
候选视频获取单元，被配置为响应于针对主体数量选择控件的触发操作，确定参与配音的配音主体数量，并根据配音主体数量获取候选视频；
待配音视频选取单元，被配置为从候选视频中选取待配音视频，并创建用于对待配音视频进行配音的虚拟房间；
待配音视频展示单元，被配置为在交互界面上展示待配音视频，并在交互界面上展示加入虚拟房间的配音主体。
在本申请的一些实施例中，基于以上各实施例，待配音视频选取单元包括：
候选视频展示子单元，被配置为在交互界面上展示候选视频选取页面，候选视频选取页面中包括与候选视频相对应的候选视频选择控件；
待配音视频选取子单元，被配置为响应于针对候选视频选择控件的触发操作，从候选视频中选取待配音视频。
在本申请的一些实施例中，基于以上各实施例，待配音视频选取单元包括：
搜索页面展示子单元，被配置为在交互界面上展示候选视频搜索页面，候选视频搜索页面中包括候选视频搜索控件；
关键词获取子单元，被配置为响应于针对候选视频搜索控件的触发操作，获取视频搜索关键词；
待选视频搜索子单元，被配置为在候选视频中搜索与视频搜索关键词相对应的待选视频，并在交互界面上展示与待选视频相对应的待选视频选择控件；
待配音视频确定子单元，被配置为响应于针对待选视频选择控件的触发操作，将待选视频确定为待配音视频。
在本申请的一些实施例中，基于以上各实施例，待配音视频展示单元还包括：
待配音对象获取子单元，被配置为获取与待配音视频相关的待配音对象；
虚拟位置展示子单元，被配置为在交互界面上展示与待配音对象相对应的虚拟位置；
配音主体展示子单元，被配置为当配音主体加入虚拟房间时，在虚拟位置上展示配音主体。
在本申请的一些实施例中，基于以上各实施例，配音数据处理装置还包括：
虚拟位置触发子单元，被配置为响应于针对虚拟位置的触发操作，确定虚拟位置上是否存在配音主体；
虚拟主体移出子单元，被配置为若虚拟位置上存在配音主体，则将配音主体移出虚拟位置；
虚拟主体邀请子单元，被配置为若虚拟位置上不存在配音主体，则在交互界面上展示主体邀请页面，以通过主体邀请页面邀请配音主体加入虚拟房间。
在本申请的一些实施例中，基于以上各实施例，语音采集模块包括：
当前片段确定单元，被配置为根据待配音视频的播放进度确定与当前时间节点相对应的当前视频配音片段；
当前主体确定单元，被配置为将与当前视频配音片段相对应的配音主体确定为当前配音主体；
语音采集单元，被配置为对当前配音主体进行语音采集以得到当前配音主体的配音数据。
在本申请的一些实施例中，基于以上各实施例，当前主体确定单元包括：
对象信息获取子单元，被配置为获取与当前视频配音片段相对应的待配音对象的对象信息；
配音主体确定子单元，被配置为根据对象信息将与待配音对象相对应的配音主体确定为当前配音主体。
在本申请的一些实施例中，基于以上各实施例，配音数据处理装置还包括：
片段时长获取单元，被配置为获取当前视频配音片段的片段时长；
时长标识展示单元，被配置为在交互界面上注册与当前配音主体相对应的主体标识区域，并在主体标识区域内展示与片段时长相对应的时长标识。
在本申请的一些实施例中，基于以上各实施例，配音数据处理装置还包括：
配音文本获取单元，被配置为获取当前视频配音片段的配音文本，并获取配音文本与播放进度的时间对应关系；
配音文本展示单元，被配置为按照时间对应关系在交互界面上展示配音文本。
在本申请的一些实施例中，基于以上各实施例，配音文本获取单元包括：
时间信息获取子单元，被配置为获取当前视频配音片段的片段时间信息；
字幕文件获取子单元，被配置为获取待配音视频的字幕文件；
文本提取子单元，被配置为根据片段时间信息对字幕文件进行文本提取以得到当前视频配音片段的当前视频字幕；
第一文本确定子单元，被配置为根据当前视频字幕确定当前视频配音片段的配音文本。
在本申请的一些实施例中，基于以上各实施例，配音文本获取单元包括：
时间信息获取子单元，被配置为获取当前视频配音片段的片段时间信息；
原始音频获取子单元，被配置为获取待配音视频的原始音频数据；
音频提取子单元，被配置为根据片段时间信息对原始音频数据进行音频提取以得到当前视频配音片段的当前音频数据；
语音识别子单元，被配置为对当前音频数据进行语音识别以得到当前视频配音片段的配音文本。
在本申请的一些实施例中，基于以上各实施例，配音评价模块包括：
配音特征提取单元，被配置为对配音数据进行特征提取以得到配音数据的配音语音特征；
原始特征提取单元，被配置为对原始音频数据进行特征提取以得到原始音频数据的原始语音特征；
特征比较单元，被配置为比较配音语音特征和原始语音特征以得到配音数据与原始音频数据的相似度；
评价信息确定单元，被配置为根据相似度确定配音主体的配音评价信息。
在本申请实施例提供的配音数据处理装置中，通过实时获取待配音视频的播放进度，可以根据播放进度对配音主体进行语音采集，有利于帮助配音主体准确把握配音时间，降低配音难度。并且通过模仿者发音语音和语调来进行模仿匹配度打分。该技术方案一方面可以增加视频业务推广，另一方面也可以利用配音比赛游戏增加视频业务的互动性和趣味性。更为重要的是，本申请实施例提供的技术方案可以基于视频的播放进度引导用户进行配音数据采集，由此可以保证采集得到的配音数据与待配音视频的原始音频数据具有时间一致性，不仅可以提高配音数据的采集准确性以及对二者进行相似度匹配的可靠性，而且可以减少数据采集的资源消耗、降低数据分析和处理的计算成本。
本申请各实施例中提供的配音数据处理装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图11示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图，本申请实施例以作为终端设备的计算机系统作为示例进行说明。
需要说明的是，图11示出的电子设备的计算机系统1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括中央处理器1101(Central Processing Unit，CPU)，其可以根据存储在只读存储器1102(Read-Only Memory，ROM)中的程序或者从存储部分1108加载到随机访问存储器1103(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器1103中，还存储有系统操作所需的各种程序和数据。中央处理器1101、在只读存储器1102以及随机访问存储器1103通过总线1104彼此相连。输入/输出接口1105(Input/Output接口，即I/O接口)也连接至总线1104。
以下部件连接至输入/输出接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至输入/输出接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理器1101执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (13)

1.一种配音数据处理方法，其特征在于，包括：
在终端设备的交互界面上展示主体数量选择页面，所述主体数量选择页面中包括多个主体数量选择控件；
响应于针对所述主体数量选择控件的触发操作，确定参与配音的配音主体数量，并根据所述配音主体数量获取候选视频；
从所述候选视频中选取待配音视频，并创建用于对所述待配音视频进行配音的虚拟房间，所述虚拟房间是创建后用于进行配音比赛的游戏房间；
在所述交互界面上展示所述待配音视频，并在所述交互界面上展示加入所述虚拟房间的配音主体；
响应于配音开始指令，播放所述待配音视频，并获取所述待配音视频的播放进度；所述播放进度用于向所述配音主体展示提示信息，以引导所述配音主体进行配音数据采集；
根据所述待配音视频的播放进度确定与当前时间节点相对应的当前视频配音片段；
将与所述当前视频配音片段相对应的配音主体确定为当前配音主体；
获取所述当前视频配音片段的片段时长；
在所述交互界面上注册与所述当前配音主体相对应的主体标识区域，并在所述主体标识区域内展示与所述片段时长相对应的时长标识，所述时长标识用于向所述当前配音主体提示开始进行语音采集的时机以及语音采集的时间长短；
对所述当前配音主体进行语音采集以得到所述当前配音主体的配音数据；
获取所述待配音视频的原始音频数据，并根据所述配音数据与所述原始音频数据的相似度确定所述配音主体的配音评价信息。
2.根据权利要求1所述的配音数据处理方法，其特征在于，所述从所述候选视频中选取待配音视频，包括：
在所述交互界面上展示候选视频选取页面，所述候选视频选取页面中包括与所述候选视频相对应的候选视频选择控件；
响应于针对所述候选视频选择控件的触发操作，从所述候选视频中选取待配音视频。
3.根据权利要求1所述的配音数据处理方法，其特征在于，所述从所述候选视频中选取待配音视频，包括：
在所述交互界面上展示候选视频搜索页面，所述候选视频搜索页面中包括候选视频搜索控件；
响应于针对所述候选视频搜索控件的触发操作，获取视频搜索关键词；
在所述候选视频中搜索与所述视频搜索关键词相对应的待选视频，并在所述交互界面上展示与所述待选视频相对应的待选视频选择控件；
响应于针对所述待选视频选择控件的触发操作，将所述待选视频确定为待配音视频。
4.根据权利要求1所述的配音数据处理方法，其特征在于，所述在所述交互界面上展示加入所述虚拟房间的配音主体，包括：
获取与所述待配音视频相关的待配音对象；
在所述交互界面上展示与所述待配音对象相对应的虚拟位置；
当配音主体加入所述虚拟房间时，在所述虚拟位置上展示所述配音主体。
5.根据权利要求4所述的配音数据处理方法，其特征在于，所述方法还包括：
响应于针对所述虚拟位置的触发操作，确定所述虚拟位置上是否存在配音主体；
若所述虚拟位置上存在配音主体，则将所述配音主体移出所述虚拟位置；
若所述虚拟位置上不存在配音主体，则在所述交互界面上展示主体邀请页面，以通过所述主体邀请页面邀请配音主体加入所述虚拟房间。
6.根据权利要求1所述的配音数据处理方法，其特征在于，所述将与所述视频配音片段相对应的配音主体确定为当前配音主体，包括：
获取与所述当前视频配音片段相对应的待配音对象的对象信息；
根据所述对象信息将与所述待配音对象相对应的配音主体确定为当前配音主体。
7.根据权利要求1所述的配音数据处理方法，其特征在于，在根据所述待配音视频的播放进度确定与当前时间节点相对应的当前视频配音片段之后，所述方法还包括：
获取所述当前视频配音片段的配音文本，并获取所述配音文本与所述播放进度的时间对应关系；
按照所述时间对应关系在所述交互界面上展示所述配音文本。
8.根据权利要求7所述的配音数据处理方法，其特征在于，所述获取所述当前视频配音片段的配音文本，包括：
获取当前视频配音片段的片段时间信息；
获取所述待配音视频的字幕文件；
根据所述片段时间信息对所述字幕文件进行文本提取以得到所述当前视频配音片段的当前视频字幕；
根据所述当前视频字幕确定所述当前视频配音片段的配音文本。
9.根据权利要求7所述的配音数据处理方法，其特征在于，所述获取所述当前视频配音片段的配音文本，包括：
获取当前视频配音片段的片段时间信息；
获取所述待配音视频的原始音频数据；
根据所述片段时间信息对所述原始音频数据进行音频提取以得到所述当前视频配音片段的当前音频数据；
对所述当前音频数据进行语音识别以得到所述当前视频配音片段的配音文本。
10.根据权利要求1所述的配音数据处理方法，其特征在于，所述根据所述配音数据与所述原始音频数据的相似度确定所述配音主体的配音评价信息，包括：
对所述配音数据进行特征提取以得到所述配音数据的配音语音特征；
对所述原始音频数据进行特征提取以得到所述原始音频数据的原始语音特征；
比较所述配音语音特征和所述原始语音特征以得到所述配音数据与所述原始音频数据的相似度；
根据所述相似度确定所述配音主体的配音评价信息。
11.一种配音数据处理装置，其特征在于，包括：
视频展示模块，被配置为：在终端设备的交互界面上展示主体数量选择页面，所述主体数量选择页面中包括多个主体数量选择控件；响应于针对所述主体数量选择控件的触发操作，确定参与配音的配音主体数量，并根据所述配音主体数量获取候选视频；从所述候选视频中选取待配音视频，并创建用于对所述待配音视频进行配音的虚拟房间；在所述交互界面上展示所述待配音视频，并在所述交互界面上展示加入所述虚拟房间的配音主体；
视频播放模块，被配置为响应于配音开始指令，播放所述待配音视频，并获取所述待配音视频的播放进度；所述播放进度用于向所述配音主体展示提示信息，以引导所述配音主体进行配音数据采集；
语音采集模块，被配置为根据所述待配音视频的播放进度确定与当前时间节点相对应的当前视频配音片段；将与所述当前视频配音片段相对应的配音主体确定为当前配音主体；获取所述当前视频配音片段的片段时长；在所述交互界面上注册与所述当前配音主体相对应的主体标识区域，并在所述主体标识区域内展示与所述片段时长相对应的时长标识，所述时长标识用于向所述当前配音主体提示开始进行语音采集的时机以及语音采集的时间长短；对所述当前配音主体进行语音采集以得到所述当前配音主体的配音数据；
配音评价模块，被配置为获取所述待配音视频的原始音频数据，并根据所述配音数据与所述原始音频数据的相似度确定所述配音主体的配音评价信息。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任意一项所述的配音数据处理方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任意一项所述的配音数据处理方法。
CN202010873619.9A 2020-08-26 2020-08-26 配音数据处理方法、装置及电子设备 Active CN112752142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010873619.9A CN112752142B (zh) 2020-08-26 2020-08-26 配音数据处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010873619.9A CN112752142B (zh) 2020-08-26 2020-08-26 配音数据处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112752142A CN112752142A (zh) 2021-05-04
CN112752142B true CN112752142B (zh) 2022-07-29

Family

ID=75645361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010873619.9A Active CN112752142B (zh) 2020-08-26 2020-08-26 配音数据处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112752142B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103474082A (zh) * 2013-09-16 2013-12-25 无敌科技(西安)有限公司 多路麦克风伴唱评分系统及其方法
CN105788609A (zh) * 2014-12-25 2016-07-20 福建凯米网络科技有限公司 多路音源的关联方法和装置及评定方法和系统
CN106293347A (zh) * 2016-08-16 2017-01-04 广东小天才科技有限公司 一种人机交互的学习方法及装置、用户终端
CN107704230A (zh) * 2017-09-11 2018-02-16 上海与德科技有限公司 一种麦序控制方法及控制设备
CN109448680A (zh) * 2018-09-05 2019-03-08 厦门轻唱科技有限公司 K歌系统的交互控制方法、介质、装置及系统
CN110176221A (zh) * 2019-05-30 2019-08-27 广州酷狗计算机科技有限公司 演唱竞技方法、装置及存储介质
CN110650366A (zh) * 2019-10-29 2020-01-03 成都超有爱科技有限公司 互动配音方法、装置、电子设备及可读存储介质
CN110753263A (zh) * 2019-10-29 2020-02-04 腾讯科技（深圳）有限公司 视频配音方法、装置、终端及存储介质
CN111359209A (zh) * 2020-02-28 2020-07-03 腾讯科技（深圳）有限公司 视频播放方法、装置和终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780612B (zh) * 2014-01-21 2018-01-23 联想(北京)有限公司 数据处理方法和电子设备
CN104869427A (zh) * 2014-02-24 2015-08-26 唐大为 实现多人在线同唱同一首歌的方法、装置及系统
CN107396137B (zh) * 2017-07-14 2020-06-30 腾讯音乐娱乐（深圳）有限公司 在线互动的方法、装置及系统
CN107920269A (zh) * 2017-11-23 2018-04-17 乐蜜有限公司 视频生成方法、装置和电子设备
CN108600815B (zh) * 2018-05-09 2020-12-29 福建星网视易信息系统有限公司 一种在线实时合唱的方法及系统
CN110264986B (zh) * 2019-03-29 2023-06-27 深圳市即构科技有限公司 在线k歌装置、方法及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103474082A (zh) * 2013-09-16 2013-12-25 无敌科技(西安)有限公司 多路麦克风伴唱评分系统及其方法
CN105788609A (zh) * 2014-12-25 2016-07-20 福建凯米网络科技有限公司 多路音源的关联方法和装置及评定方法和系统
CN106293347A (zh) * 2016-08-16 2017-01-04 广东小天才科技有限公司 一种人机交互的学习方法及装置、用户终端
CN107704230A (zh) * 2017-09-11 2018-02-16 上海与德科技有限公司 一种麦序控制方法及控制设备
CN109448680A (zh) * 2018-09-05 2019-03-08 厦门轻唱科技有限公司 K歌系统的交互控制方法、介质、装置及系统
CN110176221A (zh) * 2019-05-30 2019-08-27 广州酷狗计算机科技有限公司 演唱竞技方法、装置及存储介质
CN110650366A (zh) * 2019-10-29 2020-01-03 成都超有爱科技有限公司 互动配音方法、装置、电子设备及可读存储介质
CN110753263A (zh) * 2019-10-29 2020-02-04 腾讯科技（深圳）有限公司 视频配音方法、装置、终端及存储介质
CN111359209A (zh) * 2020-02-28 2020-07-03 腾讯科技（深圳）有限公司 视频播放方法、装置和终端

Also Published As

Publication number Publication date
CN112752142A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
US11765439B2 (en) Intelligent commentary generation and playing methods, apparatuses, and devices, and computer storage medium
Duarte et al. How2sign: a large-scale multimodal dataset for continuous american sign language
Sanabria et al. How2: a large-scale dataset for multimodal language understanding
CN106548773B (zh) 基于人工智能的儿童用户搜索方法及装置
CN107203953B (zh) 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN109844741B (zh) 在自动聊天中生成响应
Stappen et al. The multimodal sentiment analysis in car reviews (muse-car) dataset: Collection, insights and improvements
CN107403011B (zh) 虚拟现实环境语言学习实现方法和自动录音控制方法
KR20020067590A (ko) 개인 상호작용을 시뮬레이팅하는 환경-응답 유저인터페이스/엔터테인먼트 장치
Song et al. Audiovisual analysis for recognising frustration during game-play: introducing the multimodal game frustration database
CN109256133A (zh) 一种语音交互方法、装置、设备及存储介质
CN113392273A (zh) 视频播放方法、装置、计算机设备及存储介质
CN109154948B (zh) 用于提供内容的方法和装置
CN116311456A (zh) 基于多模态交互信息的虚拟人表情个性化生成方法
CN113761156A (zh) 人机交互对话的数据处理方法、装置、介质及电子设备
CN115348458A (zh) 虚拟直播控制方法以及系统
Endrass et al. Culture-related topic selection in small talk conversations across Germany and Japan
CN112752142B (zh) 配音数据处理方法、装置及电子设备
CN111767386A (zh) 对话处理方法、装置、电子设备及计算机可读存储介质
CN116403583A (zh) 语音数据处理方法和装置、非易失性存储介质及车辆
CN116958342A (zh) 虚拟形象的动作生成方法、动作库的构建方法及装置
CN115442495A (zh) 一种ai演播室系统
Merkx et al. Inducing and measuring emotion through a multiplayer first-person shooter computer game
CN113301352A (zh) 在视频播放期间进行自动聊天
Knoppel et al. Trackside DEIRA: A Dynamic Engaging Intelligent Reporter Agent (Full paper)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044508

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant