CN111212323A - 音视频合成的方法、装置、电子设备及介质 - Google Patents

音视频合成的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111212323A
CN111212323A CN202010030868.1A CN202010030868A CN111212323A CN 111212323 A CN111212323 A CN 111212323A CN 202010030868 A CN202010030868 A CN 202010030868A CN 111212323 A CN111212323 A CN 111212323A
Authority
CN
China
Prior art keywords
video
voice data
segment
target
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010030868.1A
Other languages
English (en)
Inventor
骆曦
张特
王贺
张頔
徐放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Future Technology Co ltd
Original Assignee
Beijing Dami Future Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Future Technology Co ltd filed Critical Beijing Dami Future Technology Co ltd
Priority to CN202010030868.1A priority Critical patent/CN111212323A/zh
Publication of CN111212323A publication Critical patent/CN111212323A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种音视频合成的方法、装置、电子设备及介质。其中，本申请中，获取针对第一用户的第一视频以及第一用户在第一视频中的第一语音数据进行文本转换而得到的第一语音文本，且获取针对第二用户的第二视频以及第二用户针对第一语音文本而生成的第二语音数据之后，即可以基于第一视频以及第二语音数据，生成目标视频。通过应用本申请的技术方案，可以在获取到老师的视频数据以及根据老师在视频中生成的语音文本后，将学生根据该语音文本进行朗读得到的语音数据与老师的视频数据进行合成，以得到目标视频。这也避免了相关技术中存在的学生仅能观看授课视频进行复习所导致的学习效率不高的问题。

Description

音视频合成的方法、装置、电子设备及介质
技术领域
本申请中涉及图像数据处理技术，尤其是一种音视频合成的方法、装置、电子设备及介质
背景技术
随着社会的发展，越来越多的人会选择学习各种各样的知识来不断扩充自己。其中，由于传统的学生与教师面对面授课均需要双方在路上耗费大量的时间及精力。因此，随着通信时代的发展，网络授课已被广大的用户所接受。
进一步的，在一般的远程授课视频中，通常由教师端和各个学生端通过使用自身的智能设备进行视频通信，以完成授课过程。这样的授课方式不仅可以避免线下授课带来的额外耗费时间精力的问题，还可以在授课结束后，学生随时观看授课时的回放视频，以便巩固所学知识。
然而，相关技术中存在的在线授课方式比较单一，无法提高老师和学生的互动性，从而导致学生学习的效率不佳。
发明内容
本申请实施例提供一种音视频合成的方法、装置、电子设备及介质。
其中，根据本申请实施例的一个方面，提供的一种音视频合成的方法，其特征在于，包括：
获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；
获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；
基于所述第一视频以及所述第二语音数据，生成目标视频。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第一视频以及所述第二语音数据，生成目标视频，包括：
对所述第一语音数据中的至少一个第一片段与所述第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度；
当所述匹配度中存在低于预设阈值的目标匹配度时，确定所述目标匹配对对应的第一语音数据中的第一目标片段以及所述第二语音数据中的第二目标片段，基于所述第一目标片段与所述第二目标片段的差异，生成提示信息；
基于所述第一视频、所述第二语音数据以及所述提示信息，生成所述目标视频。
可选地，在基于本申请上述方法的另一个实施例中，在所述生成提示信息之后，还包括：
当检测到针对所述提示信息的查看指令时，显示差异内容，所述差异内容包括所述目标匹配度对应的第一目标片段和/或所述第二目标片段。
可选地，在基于本申请上述方法的另一个实施例中，所述对所述第一语音数据中的至少一个第一片段与所述第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度，包括：
计算所述第一片段所对应的第一音频特征与所述第二片段所对应的第二音频特征的音频特征相似度，和/或计算所述第一片段所对应的第一文本片段与所述第二片段所对应的第二文本片段的语义特征相似度；
基于所述音频特征相似度和/或所述语义特征相似度，计算所述匹配度。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第一视频以及所述第二语音数据，生成目标视频，包括：
将至少部分所述第二语音数据添加到所述第一视频中，覆盖至少部分所述第一语音数据，生成所述目标视频；或，
将所述第一视频和所述第二视频合成为所述目标视频，其中，所述目标视频播放时，以画中画的方式播放所述第一视频和/或所述第二视频。
可选地，在基于本申请上述方法的另一个实施例中，所述将至少部分所述第二语音数据添加到所述第一视频中，包括：
识别所述第一语音数据中的第三片段，所述第三片段为所述第一语音数据中首个达到预设时长的音频数据片段；
在所述第二语音数据查找与所述第三片段匹配的第四片段；
以所述第四片段作为起始基准点，将所述至少部分第二语音数据添加到所述第一视频中。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第一视频以及所述第二语音数据，生成目标视频，还包括：
识别所述第二语音数据中的至少一个特定音频特征；
得到与至少一个所述特定音频特征相匹配的至少一个图像标签；
基于所述第一视频、所述第二语音数据以及所述至少一个图像标签，生成所述目标视频。
另外的，根据本申请实施例的一个方面，提供的一种音视频合成的装置，其特征在于，包括：
第一获取模块，被设置为获取针对第一用户的第一视频以及第一语音文本，所述第一语音文本为将所述第一用户在所述第一视频中的第一语音进行文本转换而得到的；
第二获取模块，被设置为获取针对第二用户的第二视频以及对应的第二语音数据，所述第二语音为所述第二用户针对所述第一语音文本而生成的语音；
生成模块，被设置为基于所述第一视频以及所述第二语音数据，生成目标视频。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述音视频合成的方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述音视频合成的方法的操作。
本申请中，在获取针对第一用户的第一视频以及第一用户在第一视频中的第一语音数据进行文本转换而得到的第一语音文本，且获取针对第二用户的第二视频以及第二用户针对第一语音文本而生成的第二语音数据之后，即可以基于第一视频以及第二语音数据，生成目标视频。通过应用本申请的技术方案，可以在获取到老师的视频数据以及根据老师在视频中生成的语音文本后，将学生根据该语音文本进行朗读得到的语音数据与老师的视频数据进行合成，以得到目标视频。这也避免了相关技术中存在的学生仅能观看授课视频进行复习所导致的学习效率不高的问题。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的音视频合成的系统架构示意图；
图2为本申请提出的一种音视频合成的方法的示意图；
图3为本申请提出的一种音视频合成的方法的示意图；
图4为本申请音视频合成的装置的结构示意图；
图5为本申请显示电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图3来描述根据本申请示例性实施方式的用于进行音视频合成的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
图1示出了可以应用本申请实施例的视频处理方法或视频处理装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
本申请中的终端设备101、102、103可以为提供各种服务的终端设备。例如用户通过终端设备103(也可以是终端设备101或102)获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；基于所述第一视频以及所述第二语音数据，生成目标视频。
在此需要说明的是，本申请实施例所提供的视频处理方法可以由终端设备101、102、103中的一个或多个,和/或,服务器105执行，相应地，本申请实施例所提供的视频处理装置一般设置于对应终端设备中,和/或，服务器105中，但本申请不限于此。
本申请还提出一种音视频合成的方法、装置、目标终端及介质。
图2示意性地示出了根据本申请实施方式的一种音视频合成的方法的流程示意图。如图2所示，该方法包括：
S101，获取针对第一用户的第一视频以及第一语音文本，第一语音文本为将第一用户在第一视频中的第一语音数据进行文本转换而得到的。
需要说明的是，本申请中获取启第一视频以及第一语音文本的设备做具体限定，例如可以为智能设备，也可以为服务器。其中，智能设备可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture ExpertsGroup AudioLayer III，动态影像专家压缩标准音频层面3)音视频合成器、MP4(MovingPicture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)音视频合成器、便携计算机等具有显示功能的可移动式终端设备等等。
进一步的，随着时代的进步与发展,人们获得资讯和知识的渠道越来越多样化，互联网技术的发展，使人们能够通过互联网进行信息交流、知识传播和文化互通。近年来在线学习(E-Learning)发展趋势越来越快,也开始成为人们获取知识和信息的重要方式，主要是E-Learning这种学习方式不受时空地域和人数限制。基于此，本申请提出的视频合成方法可以应用在网络在线教育中，以提高师生之间的教学效率。
其中，在网络在线教育的多种教学模式中，在教学内容输出这一部分一般采用题库、录播视频、教师直播等方式，其中录播视频因其可以反复使用、成本较低、方便管理而被广泛使用。进一步的，本申请中的第一视频即可以为由老师(第一用户)提前录制好的教学视频所构成。可以理解的，该视频数据中可以包括图像数据以及音频数据。该音频数据即可以为老师在第一视频中的语音数据，且第一语音文本即为将老师生成的第一语音数据语音转换技术而得到的文本数据。
其中，语音转换技术即为利用不同的发音有不同的频谱线(或声纹)，并利用预先记录下的声音频谱线和文字的映射关系，以使在后续捕捉到新的声音频谱线后和预先记录的映射关系进行比对就可查出对应的文字。
另外，本申请不对第一语音数据做具体限定，例如其可以为教学视频中老师生成的音频数据，也可以为老师根据预设的文本进行朗读而生成的语音数据等等。
在一个实施例中，本申请不对第一用户的数量做具体限定，例如可以为一个，也可以为多个。
S102,获取第二用户的第二视频以及对应的第二语音数据，第二语音数据为第二用户针对第一语音文本而生成的语音数据。
进一步的，本申请中的第二视频即可以为由学生(第二用户)朗读老师的第一语音文本而生成的视频数据。可以理解的，该视频数据中可以包括图像数据以及音频数据。该第二音频数据即可以为学生在第二视频中的语音数据，且该第二音频数据为学生针对第一语音文本而生成的语音数据。
可以理解的，为了对学生的口语进行测试，本申请可以将老师生成的第一语音转换成第一语音文本后，由学生(第二用户)针对该语音文本进行朗读，进而生成对应的第二语音数据。
进一步的，对于在线教育系统中，通常需要老师对每个知识点向学生进行针对性的讲解。并在等学生完成相关练习任务以后，接着讲解下一个知识点。这种讲解模式可以显著的提升学生的学习效果，特别是对于包含大量实践操作的知识点的讲解，例如，计算机软件教学领域。但是，这种教学模式在现有的网络教学环境下，容易出现教学进度过长的问题。可以理解的，一方面一节课要讲解多个知识点，另一方面老师需要知道所有学生完成练习的进度，且每个学生完成的进度会有不同的差异。因此，本申请中，可以利用提前录制好的第一视频，由学生针对该第一视频中的语音文本数据进行朗读练习，以生成对应的语音数据，从而可以使学生更好的对老师讲解的知识点进行复习。
S103，基于第一视频以及第二语音数据，生成目标视频。
本申请中，在得到老师的第一视频以及学生生成的第二语音数据之后，即可以将该音视频合成为一个目标视频。可以理解的，针对该合成视频，可以检测学生的口语效果。
本申请中，在获取针对第一用户的第一视频以及第一用户在第一视频中的第一语音数据进行文本转换而得到的第一语音文本，且获取针对第二用户的第二视频以及第二用户针对第一语音文本而生成的第二语音数据之后，即可以基于第一视频以及第二语音数据，生成目标视频。通过应用本申请的技术方案，可以在获取到老师的视频数据以及根据老师在视频中生成的语音文本后，将学生根据该语音文本进行朗读得到的语音数据与老师的视频数据进行合成，以得到目标视频。这也避免了相关技术中存在的学生仅能观看授课视频进行复习所导致的学习效率不高的问题。
在本申请另外一种可能的实施方式中，在S103(基于第一视频以及第二语音数据，生成目标视频)中，可以通过以下步骤得到：
对第一语音数据中的至少一个第一片段与第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度；
当匹配度中存在低于预设阈值的目标匹配度时，确定目标匹配对对应的第一语音数据中的第一目标片段以及第二语音数据中的第二目标片段，基于第一目标片段与第二目标片段的差异，生成提示信息；
基于第一视频、第二语音数据以及提示信息，生成目标视频。
首先，本申请不对将语音数据进行分段匹配的方式做具体限定，例如可以为通过每隔预设时间进行分段的方式进行至少一个片段的匹配。也可以为对每个语音切片特征进行至少一个片段的匹配。
进一步可选的，在生成提示信息之后，还包括：
当检测到针对提示信息的查看指令时，显示差异内容，差异内容包括目标匹配度对应的第一目标片段和/或第二目标片段。
其中，本申请在当后续检测到用户针对该提示信息生成查看指令时，为了进一步的将该第一目标片段与第二目标片段的差异之处具体显示给用户。本申请即可以将该目标匹配度对应的第一片段以及第二片段(也即第一片段与第二片段中，语音数据存在差异的部分)以视频或音频播放的形式显示给用户。以方便用户更清楚的了解在第二用户根据第一视频生成第二语音的过程中出现的发音不标准的情况。
例如，本申请当检测到在第一片段中的第10:00分钟-10:30分钟的部分与第二片段中的10:00分钟-10:30分钟的部分进行匹配度计算时，发现对应于该时间段的目标匹配度低于预设阈值。则本申请可以据此生成基于该30秒语音数据存在差异的提示信息。进一步的，在后续检测到用户针对该提示信息后，本申请即可将该提示信息对应的第一片段中的该30秒语音数据(第一目标片段)以及第二片段对应的该30秒语音数据(第二目标片段)进行显示。以帮助用户更清楚的了解在第二用户根据第一视频生成第二语音的过程中出现的发音不标准的情况。
可以理解的，当检测到某一片段的第一语音数据以及第二语音数据的语音相似度匹配值低于预设的阈值时，即代表在第二用户(如学生)按照第一语音文本进行朗读的过程中，在某段发音过程中出现发音不标准的情况。因此，本申请可以将该目标匹配度对应的两个语音数据(发音不标准的第二语音数据以及对应的标准第一语音数据)作为提示信息的内容，将该差异提示显示在目标视频对应的时间段中。
可以理解的，本申请不对在目标视频中生成差异提示的时机做具体限定，例如本申请可以在目标视频的开始时段或者结束时段中显示该差异提示。又或，本申请也可以首先获取第三语音数据对应第一视频中的进度时刻，并在该第一进度时刻中显示该差异提示。
在一个实施例中，本申请不对预设阈值做具体限定，例如可以为70％，也可以为50％等等。
进一步可选的，本申请中对第一语音数据中的至少一个第一片段与第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度的过程中，可以通过以下方式实现：
计算第一片段所对应的第一音频特征与第二片段所对应的第二音频特征的音频特征相似度，和/或计算第一片段所对应的第一文本片段与第二片段所对应的第二文本片段的语义特征相似度；
基于音频特征相似度和/或语义特征相似度，计算匹配度。
进一步的，本申请在进行第一语音数据以及第二语音数据的匹配过程中，可以首先将两个语音数据进行解析，进而分别生成对应的第一音频特征以及第二音频特征。更进一步的，可以基于两个音频特征的音频特征相似度，确定两个语音数据中每个部分的匹配度。
其中，本申请在对语音数据进行特征提取(Feature Exaction)的过程中，可以基于音频信号参数、按时间分辨率参数、按局部或全局参数、持续时间长短参数等参数进行音频特征提取。本申请对此不作限定。
另外，本申请中的音频特征参数可以指代表语音数据中主要信息的参数，例如可以采用提取音频帧的方法得到。具体而言，本申请可以通过提取音频帧的质心、均方根以及12个Mel倒谱系数等参数来作为本申请中的音频特征参数。
进一步的，本申请在获取第一音频特征以及第二音频特征之后，可以从二者的一段连续的音频信息中搜索处是否存在指定的相同音频序列、指定的音频序列在该段连续的音频序列中的起始和结束位置，以及指定音频序列在该段连续的音频序列中的完整性是否达到一个基准相似度。进一步的，本申请还可以利用提取音频特征参数中的Haar小波变换非重构算法来进行音频相似度比对。或者，本申请也可以利用图形技术，将第一音频和第二音频同时转换为相同时间轴的波形，再利用图形识别技术实现音频比对。
进一步的，本申请在进行第一语音数据以及第二语音数据的匹配过程中，还可以首先获取两个语音数据对应的语音文本，进而根据两个语音文本进行语义特征匹配。得到对应的一个或多个匹配度。
更进一步的，本申请在将第一语音文本与第二语音文本进行语义特征匹配的过程中，可以通过多种方式实现。例如，可以利用结合SE与SI网络以及加权组合的方式进行语义匹配。又或，也可以利用词语的多粒度语义信息进行语义匹，其中可以在基础模型基础上分别对unigram、bigram、trigram进行建模，从而model文本的word、term、phrase层面的语义信息，融合的方式不唯一，在输入层、表示层、匹配层都可以尝试，通常来说越早融合越好提升效果，因为更早发挥了多粒度间的互补性。还或，也可以利用引入词语的多层次结构信息：即引入term weight、pos、word position、NER等层面的element-wise信息到语义信息中。
再进一步的，本申请也可以利用高频bigram和collocation片段进行语义匹配，以通过Ngram借助统计度量，挑选少量对匹配任务有很好信息量的高频共现term组合作为bigram加入词典。其中，Collocation即关注跨词的一些term组合，如借助依存分析或者频繁项集挖掘获得collocation片段。另外，也可以为利用CTR中FM进行语义匹配，或对两文本中的差异部分单独建模，即在基础模型基础上，再使用一个单独模型处理两文本差异部分，强化负样本的识别能力等等。
进一步可选的，本申请中在基于第一视频以及第二语音数据，生成目标视频的过程中，可以通过以下步骤得到：
将至少部分第二语音数据添加到第一视频中，覆盖至少部分第一语音数据，生成目标视频；或，
将第一视频和第二视频合成为目标视频，其中，目标视频播放时，以画中画的方式播放第一视频和/或第二视频。
进一步的，本申请中在生成目标视频时，可以首先将老师生成的第一视频中，老师的音频数据进行删除。并将第二用户(如学生)的第二语音数据对应添加到第一视频中，已生成学生针对老师的语音文本进行配音的视频。进而提高学生学习效率的积极性。
更进一步的，本申请在将第二用户(如学生)的第二语音数据对应添加到第一视频后，也可以同时将第二视频也加入至第一视频的预设区域中，从而生成包含画中画的目标视频。
在一个实施例中，本申请不对预设区域做具体限定，也即预设区域可以为第一视频中的任一位置以及任一大小的区域。
进一步的，本申请中在将第二语音数据添加到第一视频的过程中，可以通过以下方式实现：
识别第一语音数据中的第三片段，第三片段为第一语音数据中首个达到预设时长的音频数据片段；
在第二语音数据查找与第三片段匹配的第四片段；
以第四片段作为起始基准点，将至少部分第二语音数据添加到第一视频中。
其中，为了确保第二语音数据与第一视频中的图像内容相匹配，本申请可以首先确认好起始基准点，并以此为依据，将第二语音数据添加到第一视频中。进一步的，本申请中可以将第一语音数据中首个达到预设时长的音频特征作为第三片段，以使后续将第二语音数据中，可以与该第三片段相匹配的音频特征作为起始基准点的音频特征。
首先在一个实施例中，本申请不对预设时长做具体限定，例如可以为1s，也可以为5s等等。
可以理解的，在第二用户(如学生)生成的第二语音数据中，与老师(第一用户)生成的第一语音数据中的第三片段最为匹配的音频特征(第四片段)即为学生针对老师该段语音文本进行朗读的语音。那么本申请即可将该段语音作为目标视频的起始音频，以实现将第二语音数据添加到第一视频的过程。
进一步可选的，在本申请的一种实施方式中，在S103(基于第一视频以及第二语音数据，生成目标视频)中，还包括一种具体的实施方式，如图3所示，包括：
S201,获取针对第一用户的第一视频以及第一语音文本。
S202,获取针对第二用户的第二视频以及对应的第二语音数据。
S203,识别第二语音数据中的至少一个特定音频特征；
S204,得到与至少一个特定音频特征相匹配的至少一个图像标签；
S205,基于第一视频、第二语音数据以及至少一个图像标签，生成目标视频。
本申请中在生成目标视频的过程中，为了进一步的提高师生之间的互动性，本申请还可以在目标视频中添加对应的图像标签。其中，本申请不对该图像标签做具体限定，例如可以包括表情包，人脸图像，预设字段，预设视频片段等等。
其中，本申请中的图像标签可以为基于特定音频特征来确定，在一个实施例中，本申请不对特定音频特征做具体限定，例如其可以为人名对应的音频特征，也可以为地名对应的音频特征，还可以为鼓励类型语音对应的音频特征或者为批评类型语音对应的音频特征等等。
例如，以特定音频特征为鼓励类型语音对应的音频特征为例，本申请中当检测到学生(第二用户)在第二视频中出现有“DOG”的语音时，即可以获取该语音对应的特定音频特征。进一步的，将该音频特征与预设的图像数据库进行匹配，以得到该音频特征对应的小狗类图像标签。可以理解的，本申请中即可以根据第一视频、第二语音数据以及该小狗类的图像标签，生成目标视频。
更进一步的，本申请不对在目标视频中显示图像标签的时机做具体限定，例如本申请可以在目标视频的开始时段或者结束时段中显示该图像标签。又或，本申请也可以首先获取特定音频特征对应与第二视频中的进度时刻，并在该第二进度时刻中显示该图像标签。
本申请中，在获取针对第一用户的第一视频以及第一用户在第一视频中的第一语音数据进行文本转换而得到的第一语音文本，且获取针对第二用户的第二视频以及第二用户针对第一语音文本而生成的第二语音数据之后，即可以基于第一视频以及第二语音数据，生成目标视频。通过应用本申请的技术方案，可以在获取到老师的视频数据以及根据老师在视频中生成的语音文本后，将学生根据该语音文本进行朗读得到的语音数据与老师的视频数据进行合成，以得到目标视频。这也避免了相关技术中存在的学生仅能观看授课视频进行复习所导致的学习效率不高的问题。
在本申请的另外一种实施方式中，如图4所示，本申请还提供一种音视频合成的装置。其中，该装置包括第一获取模块301，第二获取模块302，生成模块303，其中：
第一获取模块301，被设置为获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；
第二获取模块302，被设置为获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；
生成模块303，被设置为基于所述第一视频以及所述第二语音数据，生成目标视频。
本申请中，在获取针对第一用户的第一视频以及第一用户在第一视频中的第一语音数据进行文本转换而得到的第一语音文本，且获取针对第二用户的第二视频以及第二用户针对第一语音文本而生成的第二语音数据之后，即可以基于第一视频以及第二语音数据，生成目标视频。通过应用本申请的技术方案，可以在获取到老师的视频数据以及根据老师在视频中生成的语音文本后，将学生根据该语音文本进行朗读得到的语音数据与老师的视频数据进行合成，以得到目标视频。这也避免了相关技术中存在的学生仅能观看授课视频进行复习所导致的学习效率不高的问题。
在本申请的另一种实施方式中，生成模块303，还包括：
生成模块303，被配置为对所述第一语音数据中的至少一个第一片段与所述第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度；
生成模块303，被配置为当所述匹配度中存在低于预设阈值的目标匹配度时，确定所述目标匹配对应的第一语音数据中的第一目标片段以及所述第二语音数据中的第二目标片段，基于所述第一目标片段与所述第二目标片段的差异，生成提示信息；
生成模块303，被配置为基于所述第一视频、所述第二语音数据以及所述提示信息，生成所述目标视频。
在本申请的另一种实施方式中，生成模块303，还包括：
生成模块303，被配置为当检测到针对所述提示信息的查看指令时，显示比对视频片段，所述比对视频片段包括目标匹配度对应的第一目标片段以及第二目标片段。
在本申请的另一种实施方式中，生成模块303，还包括：
生成模块303，被配置为计算所述第一片段所对应的第一音频特征与所述第二片段所对应的第二音频特征的音频特征相似度，和/或计算所述第一片段所对应的第一文本片段与所述第二片段所对应的第二文本片段的语义特征相似度；
生成模块303，被配置为基于所述音频特征相似度和/或所述语义特征相似度，计算所述匹配度。
在本申请的另一种实施方式中，生成模块303，还包括：
生成模块303，被配置为将至少部分所述第二语音数据添加到所述第一视频中，覆盖至少部分所述第一语音数据，生成所述目标视频；或，
生成模块303，被配置为将所述第一视频和所述第二视频合成为所述目标视频，其中，所述目标视频播放时，以画中画的方式播放所述第一视频和/或所述第二视频。
在本申请的另一种实施方式中，生成模块303，还包括：
生成模块303，被配置为识别所述第一语音数据中的第三片段，所述第三片段为所述第一语音数据中首个达到预设时长的音频数据片段；
生成模块303，被配置为在所述第二语音数据查找与所述第三片段匹配的第四片段；
生成模块303，被配置为以所述第四片段作为起始基准点，将所述至少部分第二语音数据添加到所述第一视频中。
在本申请的另一种实施方式中，还包括，添加模块304，其中：
添加模块304，被配置为识别所述第二语音数据中的至少一个特定音频特征；
添加模块304，被配置为得到与至少一个所述特定音频特征相匹配的至少一个图像标签；
添加模块304，被配置为基于所述第一视频、所述第二语音数据以及所述至少一个图像标签，生成所述目标视频。
图5是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，电子设备400可以包括以下一个或多个组件：处理器401和存储器402。
处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的互动特效标定方法。
在一些实施例中，电子设备400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地，外围设备包括：射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
外围设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置电子设备400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在电子设备400的不同表面或呈折叠设计；在再一些实施例中，显示屏405可以是柔性显示屏，设置在电子设备400的弯曲表面上或折叠面上。甚至，显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407还可以包括耳机插孔。
定位组件408用于定位电子设备400的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源409用于为电子设备400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以电子设备400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测电子设备400的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对电子设备400的3D动作。处理器401根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在电子设备400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在电子设备400的侧边框时，可以检测用户对电子设备400的握持信号，由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时，由处理器401根据用户对触摸显示屏405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹，由处理器401根据指纹传感器414采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置电子设备400的正面、背面或侧面。当电子设备400上设置有物理按键或厂商Logo时，指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器415采集的环境光强度，控制触摸显示屏405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏405的显示亮度；当环境光强度较低时，调低触摸显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件406的拍摄参数。
接近传感器416，也称距离传感器，通常设置在电子设备400的前面板。接近传感器416用于采集用户与电子设备400的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与电子设备400的正面之间的距离逐渐变小时，由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态；当接近传感器416检测到用户与电子设备400的正面之间的距离逐渐变大时，由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对电子设备400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由电子设备400的处理器420执行以完成上述音视频合成的方法，该方法包括：获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；基于所述第一视频以及所述第二语音数据，生成目标视频。可选地，上述指令还可以由电子设备400的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。可选地，上述指令还可以由电子设备400的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备400的处理器420执行，以完成上述音视频合成的方法，该方法包括：获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；基于所述第一视频以及所述第二语音数据，生成目标视频。可选地，上述指令还可以由电子设备400的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种音视频合成的方法，其特征在于，包括：
获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；
获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；
基于所述第一视频以及所述第二语音数据，生成目标视频。
2.如权利要求1所述的方法，其特征在于，所述基于所述第一视频以及所述第二语音数据，生成目标视频，包括：
对所述第一语音数据中的至少一个第一片段与所述第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度；
当所述匹配度中存在低于预设阈值的目标匹配度时，确定所述目标匹配对应的第一语音数据中的第一目标片段以及所述第二语音数据中的第二目标片段，基于所述第一目标片段与所述第二目标片段的差异，生成提示信息；
基于所述第一视频、所述第二语音数据以及所述提示信息，生成所述目标视频。
3.如权利要求2所述的方法，其特征在于，在所述生成提示信息之后，还包括：
当检测到针对所述提示信息的查看指令时，显示差异内容，所述差异内容包括所述目标匹配度对应的第一目标片段和/或所述第二目标片段。
4.如权利要求2或3所述的方法，其特征在于，所述对所述第一语音数据中的至少一个第一片段与所述第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度，包括：
计算所述第一片段所对应的第一音频特征与所述第二片段所对应的第二音频特征的音频特征相似度，和/或计算所述第一片段所对应的第一文本片段与所述第二片段所对应的第二文本片段的语义特征相似度；
基于所述音频特征相似度和/或所述语义特征相似度，计算所述匹配度。
5.如权利要求1所述的方法，其特征在于，所述基于所述第一视频以及所述第二语音数据，生成目标视频，包括：
将至少部分所述第二语音数据添加到所述第一视频中，覆盖至少部分所述第一语音数据，生成所述目标视频；或，
将所述第一视频和所述第二视频合成为所述目标视频，其中，所述目标视频播放时，以画中画的方式播放所述第一视频和/或所述第二视频。
6.如权利要求5所述的方法，其特征在于，所述将至少部分所述第二语音数据添加到所述第一视频中，包括：
识别所述第一语音数据中的第三片段，所述第三片段为所述第一语音数据中首个达到预设时长的音频数据片段；
在所述第二语音数据查找与所述第三片段匹配的第四片段；
以所述第四片段作为起始基准点，将所述至少部分第二语音数据添加到所述第一视频中。
7.如权利要求1所述的方法，其特征在于，所述基于所述第一视频以及所述第二语音数据，生成目标视频，还包括：
识别所述第二语音数据中的至少一个特定音频特征；
得到与至少一个所述特定音频特征相匹配的至少一个图像标签；
基于所述第一视频、所述第二语音数据以及所述至少一个图像标签，生成所述目标视频。
8.一种音视频合成的装置，其特征在于，包括：
第一获取模块，被设置为获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；
第二获取模块，被设置为获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；
生成模块，被设置为基于所述第一视频以及所述第二语音数据，生成目标视频。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-7中任一所述音视频合成的方法的操作。
10.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-7中任一所述音视频合成的方法的操作。
CN202010030868.1A 2020-01-13 2020-01-13 音视频合成的方法、装置、电子设备及介质 Pending CN111212323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030868.1A CN111212323A (zh) 2020-01-13 2020-01-13 音视频合成的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030868.1A CN111212323A (zh) 2020-01-13 2020-01-13 音视频合成的方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN111212323A true CN111212323A (zh) 2020-05-29

Family

ID=70786073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030868.1A Pending CN111212323A (zh) 2020-01-13 2020-01-13 音视频合成的方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111212323A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038053A (zh) * 2021-03-30 2021-06-25 北京乐学帮网络技术有限公司 一种数据合成方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120021389A1 (en) * 2004-12-23 2012-01-26 Carl Isamu Wakamoto Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
CN106293347A (zh) * 2016-08-16 2017-01-04 广东小天才科技有限公司 一种人机交互的学习方法及装置、用户终端
CN108337558A (zh) * 2017-12-26 2018-07-27 努比亚技术有限公司 音视频剪辑方法及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120021389A1 (en) * 2004-12-23 2012-01-26 Carl Isamu Wakamoto Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
CN106293347A (zh) * 2016-08-16 2017-01-04 广东小天才科技有限公司 一种人机交互的学习方法及装置、用户终端
CN108337558A (zh) * 2017-12-26 2018-07-27 努比亚技术有限公司 音视频剪辑方法及终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038053A (zh) * 2021-03-30 2021-06-25 北京乐学帮网络技术有限公司 一种数据合成方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN110379430B (zh) 基于语音的动画显示方法、装置、计算机设备及存储介质
CN111564152B (zh) 语音转换方法、装置、电子设备及存储介质
CN110322760B (zh) 语音数据生成方法、装置、终端及存储介质
CN111524501B (zh) 语音播放方法、装置、计算机设备及计算机可读存储介质
CN111031386B (zh) 基于语音合成的视频配音方法、装置、计算机设备及介质
CN110750992A (zh) 命名实体识别方法、装置、电子设备及介质
CN110572716B (zh) 多媒体数据播放方法、装置及存储介质
CN110992927B (zh) 音频生成方法、装置、计算机可读存储介质及计算设备
CN111105788B (zh) 敏感词分数检测方法、装置、电子设备及存储介质
CN112735429B (zh) 确定歌词时间戳信息的方法和声学模型的训练方法
CN110796005A (zh) 在线教学监控的方法、装置、电子设备及介质
CN111428079B (zh) 文本内容处理方法、装置、计算机设备及存储介质
CN111081277B (zh) 音频测评的方法、装置、设备及存储介质
CN113420177A (zh) 音频数据处理方法、装置、计算机设备及存储介质
CN110837557B (zh) 摘要生成方法、装置、设备及介质
CN113409770A (zh) 发音特征处理方法、装置、服务器及介质
CN115206305B (zh) 语义文本的生成方法、装置、电子设备及存储介质
CN111212323A (zh) 音视频合成的方法、装置、电子设备及介质
CN108763521B (zh) 存储歌词注音的方法和装置
CN113593521B (zh) 语音合成方法、装置、设备及可读存储介质
CN110110142A (zh) 视频处理方法、装置、电子设备及介质
CN111292773A (zh) 音视频合成的方法、装置、电子设备及介质
CN112786025B (zh) 确定歌词时间戳信息的方法和声学模型的训练方法
CN114360494A (zh) 韵律标注方法、装置、计算机设备及存储介质
CN114299935A (zh) 唤醒词识别方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529

RJ01 Rejection of invention patent application after publication