CN109327731A - 一种基于卡拉ok的diy视频实时合成方法及系统 - Google Patents

一种基于卡拉ok的diy视频实时合成方法及系统 Download PDF

Info

Publication number
CN109327731A
CN109327731A CN201811381319.8A CN201811381319A CN109327731A CN 109327731 A CN109327731 A CN 109327731A CN 201811381319 A CN201811381319 A CN 201811381319A CN 109327731 A CN109327731 A CN 109327731A
Authority
CN
China
Prior art keywords
audio
lyrics
window
video
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811381319.8A
Other languages
English (en)
Other versions
CN109327731B (zh
Inventor
林谋兰
吴焕祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUJIAN HAIMEI DIGITAL TECHNOLOGY Co Ltd
Original Assignee
FUJIAN HAIMEI DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUJIAN HAIMEI DIGITAL TECHNOLOGY Co Ltd filed Critical FUJIAN HAIMEI DIGITAL TECHNOLOGY Co Ltd
Priority to CN201811381319.8A priority Critical patent/CN109327731B/zh
Publication of CN109327731A publication Critical patent/CN109327731A/zh
Application granted granted Critical
Publication of CN109327731B publication Critical patent/CN109327731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本发明提供了一种基于卡拉OK的DIY视频实时合成方法及系统，包括：S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端。本发明解决了现有技术中，由于用户一人在卡拉OK唱歌时用户体验较差的问题。

Description

一种基于卡拉OK的DIY视频实时合成方法及系统
技术领域
本发明涉及卡拉OK技术领域，尤其涉及一种基于卡拉OK的DIY视频实时合成方法及系统。
背景技术
1.现在卡拉ok演唱系统
早期卡拉ok演唱系统，用户在演唱一首歌曲时，整首歌曲以伴奏的方式播放，没有原唱音乐。用户根据伴唱和字幕，进行全部歌曲的演唱。
2.现在卡拉ok演唱系统的缺点
技术服务于产品，产品服务于客户/用户。对于使用产品的用户来说，他们期待更丰富的、更有交互式的演唱体验。早期的卡拉ok演唱系统在演唱歌曲的体验上，存在的缺点有：用户在演唱歌曲的过程中，原唱歌星和用户没有任何互动。歌曲的MV画面与用户也没有任何关系。而且用户演唱的画面也没有体现。唱到后面时，用户感觉自己唱的不是歌，而是寂寞，故现有的卡拉OK演唱系统用户体验极差。
发明内容
本发明所要解决的技术问题是：本发明提供了一种基于卡拉OK的DIY视频实时合成方法及系统，提高了用户的体验。
为了解决上述技术问题，本发明提供了一种基于卡拉OK的DIY视频实时合成方法，包括以下步骤：
S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；
S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；
S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端。
本发明还提供了一种基于卡拉OK的DIY视频实时合成系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；
S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；
S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端。
本发明的有益效果为：
本发明提供的一种基于卡拉OK的DIY视频实时合成方法及系统，当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息，该演唱音视频信息可以为对应歌曲的明星演唱视频；创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频，以实现DIY视频的实时合成，并且能够将录制的用户对唱的第一音频信息和演唱音视频信息中的第二音频信息进行合成，并上传至云端，用户可以通过手机从云端中获取合成的音频，并对刚才演唱合成的音频进行回放欣赏；本发明创建多窗口播放任务，并通过其中第一窗口播放演唱音视频信息，通过第二窗口播放实时获取的用户对唱的音视频，能够实现明星的演唱视频和实时获取的用户对唱的音视频同时播放，即可实现用户与明星的对唱，从而解决了现有技术中，由于用户一人在卡拉OK唱歌时用户体验较差的问题。
附图说明
图1为根据本发明实施例的一种基于卡拉OK的DIY视频实时合成方法的主要步骤示意图；
图2为根据本发明实施例的一种基于卡拉OK的DIY视频实时合成系统的结构示意图；
标号说明：
1、存储器；2、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。
本发明最关键的构思为：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频，以实现DIY视频的实时合成。
请参照图1，本发明提供了一种基于卡拉OK的DIY视频实时合成方法，包括以下步骤：
S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；
S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；
S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端。
从上述描述可知，本发明提供的一种基于卡拉OK的DIY视频实时合成方法，当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息，该演唱音视频信息可以为对应歌曲的明星演唱视频；创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频，以实现DIY视频的实时合成，并且能够将录制的用户对唱的第一音频信息和演唱音视频信息中的第二音频信息进行合成，并上传至云端，用户可以通过手机从云端中获取合成的音频，并对刚才演唱合成的音频进行回放欣赏；本发明创建多窗口播放任务，并通过其中第一窗口播放演唱音视频信息，通过第二窗口播放实时获取的用户对唱的音视频，能够实现明星的演唱视频和实时获取的用户对唱的音视频同时播放，即可实现用户与明星的对唱，从而解决了现有技术中，由于用户一人在卡拉OK唱歌时用户体验较差的问题。
进一步的，所述S2和S3之间还包括：
所述歌词文件包括歌词时间轴和歌词，所述歌词包括第一歌唱者对应的第一子歌词和第二歌唱者对应的第二子歌词；
根据所述歌词时间轴播放歌词，当播放第一子歌词时，在第一窗口中暂停播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；当播放第二子歌词时，在第一窗口中恢复播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；所述演唱音视频信息中的音频与所述第二子歌词相对应。
从上述描述可知，通过上述方法，能够智能播放对应的音视频，其中用户对唱的音视频为实时播放，在使用操控过程中，当第一窗口播放时，也可暂停播放第二窗口内的音视频。
进一步的，当播放第一子歌词时，突出显示所述第二窗口；当播放第二子歌词时，突出显示所述第一窗口；所述第一窗口和第二窗口均在同一终端的显示屏上显示。
从上述描述可知，通过突出显示相应的窗口，能够提高用户的注意，从而提高整个K歌过程的用户体验。
进一步的，当歌曲播放时，根据歌词文件，实时绘制所述歌曲的歌词内容，并置顶显示所述歌词内容。
从上述描述可知，通过置顶显示的歌词内容，能够使用户实时注意到对应的歌词，防止其被第一窗口和第二窗口覆盖。
进一步的，所述的一种基于卡拉OK的DIY视频实时合成方法，还包括：
实时录制第一窗口和第二窗口中播放的内容，得到该歌曲对唱的合成音视频信息，上传所述合成音视频信息至云端。
从上述描述可知，通过实时录制第一窗口和第二窗口的屏幕内容，即可得到合成的音视频信息，并上传至云端保存。
进一步的，所述S2之前还包括：
删除演唱音视频信息中的文字信息。
从上述描述可知，通过删除演唱音视频信息中的文字信息，以保证整个K歌过程只显示系统实时绘制的歌词信息，以提高用户的体验。
请参照图2，本发明提供一种基于卡拉OK的DIY视频实时合成系统，包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现以下步骤：
S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；
S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；
S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端。
从上述描述可知，本发明提供的一种基于卡拉OK的DIY视频实时合成系统，当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息，该演唱音视频信息可以为对应歌曲的明星演唱视频；创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频，以实现DIY视频的实时合成，并且能够将录制的用户对唱的第一音频信息和演唱音视频信息中的第二音频信息进行合成，并上传至云端，用户可以通过手机从云端中获取合成的音频，并对刚才演唱合成的音频进行回放欣赏；本发明创建多窗口播放任务，并通过其中第一窗口播放演唱音视频信息，通过第二窗口播放实时获取的用户对唱的音视频，能够实现明星的演唱视频和实时获取的用户对唱的音视频同时播放，即可实现用户与明星的对唱，从而解决了现有技术中，由于用户一人在卡拉OK唱歌时用户体验较差的问题。
进一步的，所述的一种基于卡拉OK的DIY视频实时合成系统，所述S2和S3之间还包括：
所述歌词文件包括歌词时间轴和歌词，所述歌词包括第一歌唱者对应的第一子歌词和第二歌唱者对应的第二子歌词；
根据所述歌词时间轴播放歌词，当播放第一子歌词时，在第一窗口中暂停播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；当播放第二子歌词时，在第一窗口中恢复播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；所述演唱音视频信息中的音频与所述第二子歌词相对应。
从上述描述可知，通过上述系统，能够智能播放对应的音视频，其中用户对唱的音视频为实时播放，在使用操控过程中，当第一窗口播放时，也可暂停播放第二窗口内的音视频。
进一步的，所述的一种基于卡拉OK的DIY视频实时合成系统，当播放第一子歌词时，突出显示所述第二窗口；当播放第二子歌词时，突出显示所述第一窗口；所述第一窗口和第二窗口均在同一终端的显示屏上显示。
从上述描述可知，通过突出显示相应的窗口，能够提高用户的注意，从而提高整个K歌过程的用户体验。
进一步的，所述的一种基于卡拉OK的DIY视频实时合成系统，当歌曲播放时，根据歌词文件，实时绘制所述歌曲的歌词内容，并置顶显示所述歌词内容。
从上述描述可知，通过置顶显示的歌词内容，能够使用户实时注意到对应的歌词，防止其被第一窗口和第二窗口覆盖。
进一步的，所述的一种基于卡拉OK的DIY视频实时合成系统，所述处理器执行所述计算机程序时实现的步骤还包括：
实时录制第一窗口和第二窗口中播放的内容，得到该歌曲对唱的合成音视频信息，上传所述合成音视频信息至云端。
从上述描述可知，通过实时录制第一窗口和第二窗口的屏幕内容，即可得到合成的音视频信息，并上传至云端保存。
进一步的，所述的一种基于卡拉OK的DIY视频实时合成系统，所述S2之前还包括：
删除演唱音视频信息中的文字信息。
从上述描述可知，通过删除演唱音视频信息中的文字信息，以保证整个K歌过程只显示系统实时绘制的歌词信息，以提高用户的体验。
请参照图1，本发明的实施例一为：
本发明提供了一种基于卡拉OK的DIY视频实时合成方法，包括以下步骤：
S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；
S105：删除演唱音视频信息中的文字信息；
S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；
S205：所述歌词文件包括歌词时间轴和歌词，所述歌词包括第一歌唱者对应的第一子歌词和第二歌唱者对应的第二子歌词；根据所述歌词时间轴播放歌词，当播放第一子歌词时，在第一窗口中暂停播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；当播放第二子歌词时，在第一窗口中恢复播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；所述演唱音视频信息中的音频与所述第二子歌词相对应；
其中，当播放第一子歌词时，突出显示所述第二窗口；当播放第二子歌词时，突出显示所述第一窗口；所述第一窗口和第二窗口均在同一终端的显示屏上显示；当歌曲播放时，根据歌词文件，实时绘制所述歌曲的歌词内容，并置顶显示所述歌词内容；
突出显示所述第二窗口具体为：
扩大第二窗口所对应的区域为整个屏幕的2/3，缩小第一窗口所对应的区域为整个屏幕的1/3；所述第一窗口和第二窗口为左右显示，即两个窗口占据整个屏幕；
突出显示所述第一窗口具体为：
扩大第一窗口所对应的区域为整个屏幕的2/3，缩小第二窗口所对应的区域为整个屏幕的1/3；所述第一窗口和第二窗口为左右显示，即两个窗口占据整个屏幕。
S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端；
其中，录制第一音频信息是在开始播放歌曲时，并且当播放第一子歌词时，开始录制第一音频信息，当播放第二子歌词时，停止录制第一音频信息，如此循环，直至该歌曲播放结束。
S4：实时录制第一窗口和第二窗口中播放的内容，得到该歌曲对唱的合成音视频信息，上传所述合成音视频信息至云端。
请参照图2，本发明的实施例二为：
本发明提供了一种基于卡拉OK的DIY视频实时合成系统，包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；
S105：删除演唱音视频信息中的文字信息；
S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；
S205：所述歌词文件包括歌词时间轴和歌词，所述歌词包括第一歌唱者对应的第一子歌词和第二歌唱者对应的第二子歌词；根据所述歌词时间轴播放歌词，当播放第一子歌词时，在第一窗口中暂停播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；当播放第二子歌词时，在第一窗口中恢复播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；所述演唱音视频信息中的音频与所述第二子歌词相对应；
其中，当播放第一子歌词时，突出显示所述第二窗口；当播放第二子歌词时，突出显示所述第一窗口；所述第一窗口和第二窗口均在同一终端的显示屏上显示；当歌曲播放时，根据歌词文件，实时绘制所述歌曲的歌词内容，并置顶显示所述歌词内容；
突出显示所述第二窗口具体为：
扩大第二窗口所对应的区域为整个屏幕的2/3，缩小第一窗口所对应的区域为整个屏幕的1/3；所述第一窗口和第二窗口为左右显示，即两个窗口占据整个屏幕；
突出显示所述第一窗口具体为：
扩大第一窗口所对应的区域为整个屏幕的2/3，缩小第二窗口所对应的区域为整个屏幕的1/3；所述第一窗口和第二窗口为左右显示，即两个窗口占据整个屏幕。
S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端；
其中，录制第一音频信息是在开始播放歌曲时，并且当播放第一子歌词时，开始录制第一音频信息，当播放第二子歌词时，停止录制第一音频信息，如此循环，直至该歌曲播放结束。
S4：实时录制第一窗口和第二窗口中播放的内容，得到该歌曲对唱的合成音视频信息，上传所述合成音视频信息至云端。
本发明的实施例三为：
1)用户点击手机或触摸屏进入“和明星对唱”专辑，选择一首支持和明星对唱功能的歌曲，点击播放。
2)歌曲播放时，按照歌曲歌词资源文件的标识对电视端显示的音视频内容进行实时合成，电视端按照左右分屏来显示，左边显示歌星演唱视频，右边显示网络摄像头拍摄的用户实时演唱视频。同时实时绘制歌曲的歌词内容。
3)当歌曲播放到是明星演唱时，左边的明星视频突出显示，占据电视端的2/3区域，用户摄像视频缩小为1/3。
4)当歌曲播放到是用户演唱时，右边的用户摄像视频突出显示，占据电视端的2/3区域，明星演唱视频缩小为1/3。而且明星演唱视频中，明星还会做很多交互式的提醒：这句要高音、声音大一点等。
5)当歌曲播放到是明星和用户一起合唱时，明星视频和用户演唱视频各半显示。
6)用户演唱完整首歌曲后，系统对用户演唱的音频和明星演唱的音频进行合成，并上传云端。用户可以通过手机对刚才演唱合成的音频进行回放欣赏。
本专利至少有以下改进之处。
(1)定制了“和明星对唱”的歌曲MV
定制的歌曲MV视频画面，只有歌星本人在台上演唱的画面。而且MV画面中没有显示歌词。
(2)增加了“和明星对唱”歌曲MV的歌词资源文件
歌曲资源文件中包含了歌词开始时间、歌词中每个字的开始时间和持续时间、歌词由谁来演唱(歌星、用户、合唱)等信息。
(3)增加了歌曲MV视频和用户实时演唱视频的合成处理
系统对两组视频内容(明星演唱视频、用户演唱视频)，进行了合成及播放。
(4)增加了歌曲实时歌词生成处理
系统提取了歌词资源文件进行提取，根据歌词显示的时间点，实时的在电视上绘制歌曲信息。
综上所述，本发明提供的一种基于卡拉OK的DIY视频实时合成方法及系统，当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息，该演唱音视频信息可以为对应歌曲的明星演唱视频；创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频，以实现DIY视频的实时合成，并且能够将录制的用户对唱的第一音频信息和演唱音视频信息中的第二音频信息进行合成，并上传至云端，用户可以通过手机从云端中获取合成的音频，并对刚才演唱合成的音频进行回放欣赏；本发明创建多窗口播放任务，并通过其中第一窗口播放演唱音视频信息，通过第二窗口播放实时获取的用户对唱的音视频，能够实现明星的演唱视频和实时获取的用户对唱的音视频同时播放，即可实现用户与明星的对唱，从而解决了现有技术中，由于用户一人在卡拉OK唱歌时用户体验较差的问题。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于卡拉OK的DIY视频实时合成方法，其特征在于，包括以下步骤：
S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；
S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；
S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端。
2.根据权利要求1所述的一种基于卡拉OK的DIY视频实时合成方法，其特征在于，所述S2和S3之间还包括：
所述歌词文件包括歌词时间轴和歌词，所述歌词包括第一歌唱者对应的第一子歌词和第二歌唱者对应的第二子歌词；
根据所述歌词时间轴播放歌词，当播放第一子歌词时，在第一窗口中暂停播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；当播放第二子歌词时，在第一窗口中恢复播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；所述演唱音视频信息中的音频与所述第二子歌词相对应。
3.根据权利要求2所述的一种基于卡拉OK的DIY视频实时合成方法，其特征在于，当播放第一子歌词时，突出显示所述第二窗口；当播放第二子歌词时，突出显示所述第一窗口；所述第一窗口和第二窗口均在同一终端的显示屏上显示。
4.根据权利要求1所述的一种基于卡拉OK的DIY视频实时合成方法，其特征在于，当歌曲播放时，根据歌词文件，实时绘制所述歌曲的歌词内容，并置顶显示所述歌词内容。
5.根据权利要求1所述的一种基于卡拉OK的DIY视频实时合成方法，其特征在于，还包括：
实时录制第一窗口和第二窗口中播放的内容，得到该歌曲对唱的合成音视频信息，上传所述合成音视频信息至云端。
6.根据权利要求1所述的一种基于卡拉OK的DIY视频实时合成方法，其特征在于，所述S2之前还包括：
删除演唱音视频信息中的文字信息。
7.一种基于卡拉OK的DIY视频实时合成系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
S1：当接收到对唱指令时，获取对应的音频信息、歌词文件和演唱音视频信息；
S2：创建多窗口播放任务，通过创建的第一窗口播放所述演唱音视频信息，通过创建的第二窗口播放实时获取的用户对唱的音视频；
S3：获取该歌曲录制完成后用户对唱的第一音频信息，并解析得到演唱音视频信息中的第二音频信息，将所述第一音频信息和第二音频信息进行合成，并将合成后的音频信息上传至云端。
8.根据权利要求7所述的一种基于卡拉OK的DIY视频实时合成系统，其特征在于，所述S2和S3之间还包括：
所述歌词文件包括歌词时间轴和歌词，所述歌词包括第一歌唱者对应的第一子歌词和第二歌唱者对应的第二子歌词；
根据所述歌词时间轴播放歌词，当播放第一子歌词时，在第一窗口中暂停播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；当播放第二子歌词时，在第一窗口中恢复播放所述演唱音视频信息，并在第二窗口中播放实时获取的用户对唱的音视频；所述演唱音视频信息中的音频与所述第二子歌词相对应。
9.根据权利要求8所述的一种基于卡拉OK的DIY视频实时合成系统，其特征在于，当播放第一子歌词时，突出显示所述第二窗口；当播放第二子歌词时，突出显示所述第一窗口；所述第一窗口和第二窗口均在同一终端的显示屏上显示。
10.根据权利要求6所述的一种基于卡拉OK的DIY视频实时合成系统，其特征在于，当歌曲播放时，根据歌词文件，实时绘制所述歌曲的歌词内容，并置顶显示所述歌词内容。
CN201811381319.8A 2018-11-20 2018-11-20 一种基于卡拉ok的diy视频实时合成方法及系统 Active CN109327731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811381319.8A CN109327731B (zh) 2018-11-20 2018-11-20 一种基于卡拉ok的diy视频实时合成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811381319.8A CN109327731B (zh) 2018-11-20 2018-11-20 一种基于卡拉ok的diy视频实时合成方法及系统

Publications (2)

Publication Number Publication Date
CN109327731A true CN109327731A (zh) 2019-02-12
CN109327731B CN109327731B (zh) 2021-05-11

Family

ID=65258704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811381319.8A Active CN109327731B (zh) 2018-11-20 2018-11-20 一种基于卡拉ok的diy视频实时合成方法及系统

Country Status (1)

Country Link
CN (1) CN109327731B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492338A (zh) * 2020-11-27 2021-03-12 腾讯音乐娱乐科技（深圳）有限公司 线上歌房实现方法及电子设备和计算机可读存储介质
CN113691841A (zh) * 2020-05-18 2021-11-23 聚好看科技股份有限公司 一种演唱标签添加方法、快速试听方法及显示设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394860A (zh) * 2011-08-31 2012-03-28 无敌科技(西安)有限公司 信号传送系统、方法、电脑程序产品及电脑可读取储存媒体
US20130070093A1 (en) * 2007-09-24 2013-03-21 Touchtunes Music Corporation Digital jukebox device with karaoke and/or photo booth features, and associated methods
CN104966527A (zh) * 2015-05-27 2015-10-07 腾讯科技（深圳）有限公司 K歌处理方法、装置以及k歌处理系统
CN105094957A (zh) * 2015-06-10 2015-11-25 小米科技有限责任公司 视频会话窗口控制方法及装置
CN106162221A (zh) * 2015-03-23 2016-11-23 阿里巴巴集团控股有限公司 直播视频的合成方法、装置及系统
CN107396137A (zh) * 2017-07-14 2017-11-24 腾讯音乐娱乐（深圳）有限公司 在线互动的方法、装置及系统
CN107465959A (zh) * 2017-07-14 2017-12-12 腾讯音乐娱乐（深圳）有限公司 在线互动的方法、装置及系统
CN108269561A (zh) * 2017-01-04 2018-07-10 北京酷我科技有限公司 一种声音合成方法及系统
CN108449632A (zh) * 2018-05-09 2018-08-24 福建星网视易信息系统有限公司 一种演唱视频实时合成的方法及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130070093A1 (en) * 2007-09-24 2013-03-21 Touchtunes Music Corporation Digital jukebox device with karaoke and/or photo booth features, and associated methods
CN102394860A (zh) * 2011-08-31 2012-03-28 无敌科技(西安)有限公司 信号传送系统、方法、电脑程序产品及电脑可读取储存媒体
CN106162221A (zh) * 2015-03-23 2016-11-23 阿里巴巴集团控股有限公司 直播视频的合成方法、装置及系统
CN104966527A (zh) * 2015-05-27 2015-10-07 腾讯科技（深圳）有限公司 K歌处理方法、装置以及k歌处理系统
CN105094957A (zh) * 2015-06-10 2015-11-25 小米科技有限责任公司 视频会话窗口控制方法及装置
CN108269561A (zh) * 2017-01-04 2018-07-10 北京酷我科技有限公司 一种声音合成方法及系统
CN107396137A (zh) * 2017-07-14 2017-11-24 腾讯音乐娱乐（深圳）有限公司 在线互动的方法、装置及系统
CN107465959A (zh) * 2017-07-14 2017-12-12 腾讯音乐娱乐（深圳）有限公司 在线互动的方法、装置及系统
CN108449632A (zh) * 2018-05-09 2018-08-24 福建星网视易信息系统有限公司 一种演唱视频实时合成的方法及终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691841A (zh) * 2020-05-18 2021-11-23 聚好看科技股份有限公司 一种演唱标签添加方法、快速试听方法及显示设备
CN113691841B (zh) * 2020-05-18 2022-08-30 聚好看科技股份有限公司 一种演唱标签添加方法、快速试听方法及显示设备
CN112492338A (zh) * 2020-11-27 2021-03-12 腾讯音乐娱乐科技（深圳）有限公司 线上歌房实现方法及电子设备和计算机可读存储介质
CN112492338B (zh) * 2020-11-27 2023-10-13 腾讯音乐娱乐科技（深圳）有限公司 线上歌房实现方法及电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN109327731B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
KR100762585B1 (ko) 율동 기반 음악 동조화 장치 및 방법
CN106804005B (zh) 一种视频的制作方法及移动终端
CN108064406A (zh) 用于多媒体播放为音乐声频片段的交叉淡变的节奏性同步
WO2020113733A1 (zh) 动画生成方法、装置、电子设备及计算机可读存储介质
CN113365134B (zh) 音频分享方法、装置、设备及介质
KR20070070217A (ko) 미디어 콘텐트 아이템의 카테고리에 대하여 사용자에게통지하는 데이터 프로세싱 장치 및 방법
US10535330B2 (en) System and method for movie karaoke
JP2017513049A (ja) カラオケ曲の演奏に関するフィードバックをユーザに提供する方法
CN103886881A (zh) 一种扩展点歌曲库的方法及其系统
CN110324718A (zh) 音视频生成方法、装置、电子设备及可读介质
KR20050086942A (ko) 오디오 신호의 증대 방법 및 시스템
Müller et al. Interactive fundamental frequency estimation with applications to ethnomusicological research
CN109327731A (zh) 一种基于卡拉ok的diy视频实时合成方法及系统
CN113014477A (zh) 语音平台的礼物处理方法、装置、设备及存储介质
CN111787346A (zh) 基于直播的乐谱展示方法、装置、设备及存储介质
JP6641045B1 (ja) コンテンツ生成システム、及びコンテンツ生成方法
CN110324702B (zh) 视频播放过程中的信息推送方法和装置
JP5291031B2 (ja) カラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラム
CN108269561A (zh) 一种声音合成方法及系统
CN112233647A (zh) 信息处理设备和方法以及计算机可读存储介质
JP7117228B2 (ja) カラオケシステム、カラオケ装置
KR100462826B1 (ko) 독립된 둘 이상의 멀티미디어 데이터의 동기화 재생을 위한 휴대용 멀티미디어 데이터 재생 장치 및 그 재생 제어 방법과, 멀티미디어 데이터를 제공하는 시스템
JP2002197488A (ja) リップシンクデータ生成装置並びに方法、情報記憶媒体、及び情報記憶媒体の製造方法
JP4796466B2 (ja) コンテンツ管理サーバ、コンテンツ提示装置、コンテンツ管理プログラム、及びコンテンツ提示プログラム
JP2005250242A (ja) 情報処理装置、情報処理方法、情報処理用プログラム、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant