CN107948756B - 视频合成控制方法、装置及相应的终端 - Google Patents

视频合成控制方法、装置及相应的终端 Download PDF

Info

Publication number
CN107948756B
CN107948756B CN201711221566.7A CN201711221566A CN107948756B CN 107948756 B CN107948756 B CN 107948756B CN 201711221566 A CN201711221566 A CN 201711221566A CN 107948756 B CN107948756 B CN 107948756B
Authority
CN
China
Prior art keywords
video stream
source video
audio
synthesized
button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711221566.7A
Other languages
English (en)
Other versions
CN107948756A (zh
Inventor
王云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201711221566.7A priority Critical patent/CN107948756B/zh
Publication of CN107948756A publication Critical patent/CN107948756A/zh
Application granted granted Critical
Publication of CN107948756B publication Critical patent/CN107948756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及软件应用领域，具体涉及一种视频合成控制方法、装置及相应的终端，所述方法包括：获取多路源视频流；接收用户对每一路源视频流配置的图像及音频的控制按钮的选择指令，设置每一路源视频流的控制按钮；根据设置的控制按钮处理每一路源视频流，得到各待合成图像和待合成音频；对所述待合成图像和待合成音频进行处理，得到合成视频流。本发明通过对多路源视频流配置图像及音频的控制按钮，用户只需对各路视频流的控制按钮进行选择即可选择相应的源视频流的图像或音频，然后得到合成视频流，满足简单场景下音频跟随视频的切换需求及复杂场景下静音某源视频流或者强制输出某源视频流的声音，提高了操作便利性，节约了节目制作成本。

Description

视频合成控制方法、装置及相应的终端
技术领域
本发明涉及软件应用领域，具体涉及一种视频合成控制方法、装置及相应的终端。
背景技术
随着互联网技术的快速发展，各类视频直播越来越受观众的喜爱，传统的基于广电设备的节目直播，在现场布置有视频切换台和音频调音台，分别由不同的操作人员进行视频画面切换和音频信号合成，生成最终的节目信号，这种方案设备成本和使用门槛都比较高，难以在当下的网联网直播行业中推广使用；在互联网直播行业，目前主要是基于电脑的软件切换台/导播软件，一般都集成了视频切换和音频调音的功能，对视频切换和音频切换做简单的功能堆砌，其操作方式比较繁琐，例如导演在切换画面后，需要手动的选择新的音频信号，音频信号不能跟随视频信号进行联动，还需要单独的控制，切换时操作比较繁琐，对用户的使用有较高的要求，一旦用户操作不及时，就会出现视频和声音不匹配的情况。因而，对于互联网直播行业亟需一种更加简便操作的音视频处理解方案。
发明内容
本发明的目的在于提供一种视频合成控制方法、装置及相应的终端，解决目前视频合成控制操作繁琐、复杂的问题。
为实现该目的，本发明采用如下技术方案：
第一方面，本发明提供了一种视频合成控制方法，其特征在于，包括：
获取多路源视频流；
接收用户对每一路源视频流配置的图像及音频的控制按钮的选择指令，设置每一路源视频流的控制按钮，所述控制按钮包括静音按钮和全局音按钮；
根据设置的控制按钮处理每一路源视频流，其中，当选择静音按钮且不选择全局音按钮时，将对应的源视频流的图像作为待合成图像；当选择全局音按钮且不选择静音按钮时，将对应的源视频流的音频作为待合成音频；当不选择静音按钮和全局音按钮时，将对应的源视频流的图像作为待合成图像、音频作为待合成音频；当选择静音按钮和全局音按钮，将对应的源视频流不作合成处理；
对所述待合成图像和待合成音频进行处理，得到合成视频流。
进一步的，所述对所述待合成图像和待合成音频进行处理，得到合成视频流，包括：
获取各路源视频流的待合成图像，将所述待合成图像按照预设布局进行合成；
获取各路源视频流中的待合成音频，将所述待合成音频叠加合成；
输出合成视频流。
具体的，所述获取各路源视频流中的待合成音频，将所述待合成音频叠加合成，包括：
获取各路源视频流的待合成音频及各待合成音频的音量大小，将各待合成音频按照各自的音量大小叠加合成。
进一步的，所述获取多路源视频流之后，还包括：
检测源视频流是否出现异常；
当源视频流出现异常的持续时长大于预置值或当源视频流在预设时间段内出现异常的次数大于预置值时，将所述出现异常的源视频流暂时设置为选择静音按钮。
更进一步的，所述将所述出现异常的源视频流暂时设置为选择静音按钮之后，还包括：
检测出现异常的源视频流是否恢复正常；
当所述源视频流恢复正常的持续时长大于预置值时，还原所述源视频流的控制按钮选择。
进一步的，所述获取多路源视频流之后，还包括：
将其中一路源视频流作为主屏源视频流，并将所述主屏源视频流默认设置为不选择静音按钮和全局音按钮，将除主屏源视频流外的其它源视频流默认设置为选择静音按钮且不选择全局音按钮。
具体的，所述将其中一路源视频流作为主屏源视频流之后，还包括：
检测主屏源视频流是否出现异常；
当主屏源视频流出现异常时，根据除主屏源视频流外的其它源视频流的排序逐路检测所述其它源视频流是否正常；
获取排在最前面的检测正常的源视频流，将所述最前面的检测正常的源视频流作为主屏视频流；
把所述最前面的检测正常的源视频流暂时设置为不选择静音按钮。
进一步的，所述方法还包括：
检测原始主屏源视频流是否恢复正常；
当原始主屏源视频流恢复正常的持续时长大于预置值时，将恢复正常的原始主屏源视频流作为主屏源视频流；
将所述最前面的检测正常的源视频流设置为选择静音按钮。
第二方面，本发明提供一种视频合成控制装置，所述装置存储有多条指令，所述指令适于由处理器加载并执行：
获取多路源视频流；
接收用户对每一路源视频流配置的图像及音频的控制按钮的选择指令，设置每一路源视频流的控制按钮，所述控制按钮包括静音按钮和全局音按钮；
根据设置的控制按钮处理每一路源视频流，其中，当选择静音按钮且不选择全局音按钮时，将对应的源视频流的图像作为待合成图像；当选择全局音按钮且不选择静音按钮时，将对应的源视频流的音频作为待合成音频；当不选择静音按钮和全局音按钮时，将对应的源视频流的图像作为待合成图像、音频作为待合成音频；当选择静音按钮和全局音按钮，将对应的源视频流不作合成处理；
对所述待合成图像和待合成音频进行处理，得到合成视频流。
第三方面，本发明提供一种终端，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于实现第一方面所述的视频合成控制方法。
与现有技术相比，本发明具备如下优点：
本发明通过对多路源视频流配置图像及音频的控制按钮，用户只需对各路视频流的控制按钮进行选择即可选择相应的源视频流的图像或音频，然后合成相应的合成视频流，既能满足简单场景下音频跟随视频的切换需求，又能满足复杂场景下静音某些源视频流的声音或者强制输出某些源视频流的声音，即可在切换视频的同时，灵活高效的进行音频切换，无需额外的音频调音设备，无需额外的设备操纵人员，提高了操作便利性，节约了节目制作成本。
同时，本发明通过设置主屏源视频流及将各源视频流的图像按照预设布局进行合成，并且设置各源视频流的音频音量大小后将音频叠加合成，更好地表达各源视频流的主次，为用户提供更好的合成视频。
再者，本发明还实时检测源视频流的异常情况，当源视频流出现异常时，将该源视频流自动强制选择静音按钮，避免出现异常的源视频流杂音的干扰，若出现异常的为主屏源视频流，用其它正常的源视频流暂时替换为主屏源视频流，并主动打开声音，以免影响直播效果。
显然，上述有关本发明优点的描述是概括性的，更多的优点描述将体现在后续的实施例揭示中，以及，本领域技术人员也可以本发明所揭示的内容合理地发现本发明的其他诸多优点。
本发明附加的方面和优点将在下面的描述中给出，并且本发明的优点将在下面的描述中变得明显或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的视频合成控制方法的一实施例流程示意图；
图2为本发明执行视频合成控制方法的客户端的用户界面示例图；
图3为本发明视频合成控制方法的另一实施例流程示意图；
图4为本发明视频合成控制装置的一实施例示意图；
图5为本发明实施例的终端部分结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。
本领域技术人员应当理解，本发明所称的用户界面、显示界面泛指能够用于向智能终端发送所述控制指令的显示界面，例如，可以是Android/IOS/Windows Phone系统的设置页面中的一个选项(或按键，由所述应用程序添加其中，下同)，也可以是从桌面呼出的通知栏或者交互页面中的一个选项，还可以是所述应用程序的一个活动组件所构造的页面中的一个选项。
在一种实施例中，本发明提供一种视频合成控制法，如图1所示，包括：
本实施例的执行主体为终端，通过安装在终端上的视频编辑客户端执行所述视频合成控制方法。
S100：获取多路源视频流。
源视频流的来源包括摄像机采集的视频流、移动终端如手机、平板电脑采集的视频流及从网络上拉取的视频流，本实施例中，所述源视频流包含图像及音频数据，客户端获取该多路源视频流后等待处理指令以对其进行后续处理。
S200：接收用户对每一路源视频流配置的图像及音频的控制按钮的选择指令，设置每一路源视频流的控制按钮，所述控制按钮包括静音按钮和全局音按钮。
在客户端中，为每一路的源视频流配置了图像及音频的控制按钮，所述控制按钮包括静音按钮和全局音按钮，用户通过选择控制按钮便可以对各路源视频流的图像或音频进行选择，具体的，客户端接收用户对每一路源视频流的控制按钮的选择指令，例如用户对源视频流V1选择静音按钮，对源视频流V2选择静音按钮，对源视频流V3选择全局音按钮，对源视频流V4的控制按钮不作选择(按照默认状态)，如图2所示是本实施例客户端的用户界面的一种示意图，在图2中21区域内展示了4路源视频流V1、V2、V3、V4，每一路源视频流配置有静音按钮22与全局音的按钮23，当用户点击静音按钮22时，即表示选择静音按钮22，客户端随即接收用户对该路源视频流控制按钮的选择，设置该路源视频流的控制按钮，然后执行后续操作。
S300：根据设置的控制按钮处理每一路源视频流，其中，当选择静音按钮且不选择全局音按钮时，将对应的源视频流的图像作为待合成图像；当选择全局音按钮且不选择静音按钮时，将对应的源视频流的音频作为待合成音频；当不选择静音按钮和全局音按钮时，将对应的源视频流的图像作为待合成图像、音频作为待合成音频；当选择静音按钮和全局音按钮，将对应的源视频流不作合成处理。
本实施例客户端根据用户对每一路源视频流的控制按钮的选择作相应地处理，所述对源视频流的控制按钮的选择设置情况包括：
①选择静音按钮且不选择全局音按钮；
当用户只需要一路源视频流的画面而不需要其声音时，即可选择该路源视频流的静音按钮且不选择全局音按钮，在客户端的处理逻辑中，当选择一路源视频流的静音按钮且不选择其全局音按钮时，将该路源视频流的图像作为待合成图像，而音频则暂且不处理；
②选择全局音按钮且不选择静音按钮
当用户只需要一路源视频流的声音而不需要其画面时，即可选择该路源视频流的全局音按钮且不选择静音按钮，在客户端的处理逻辑中，当选择一路源视频流的全局音按钮且不选择静音按钮时，将该路源视频流的音频作为待合成音频，而图像则暂且不处理；
③不选择静音按钮和全局音按钮
当用户需要一路源视频流的画面及其声音时，即可不选择该路源视频流的全局音按钮和静音按钮，在客户端的处理逻辑中，当不选择一路源视频流的静音按钮和全局音按钮时，将该路源视频流的图像作为待合成图像、音频作为待合成音频；
④选择静音按钮和全局音按钮
当用户不需要某一路源视频流的画面及其声音时，即可同时选择该路源视频流的全局音按钮和静音按钮，在客户端的处理逻辑中，当同时选择一路源视频流的静音按钮和全局音按钮时，该路源视频流的图像和音频暂且不处理。
S400：对所述待合成图像和待合成音频进行处理，得到合成视频流。
客户端根据上述选定控制按钮后的待处理图像及音频，将待合成的图像及待合成的音频进行处理，处理后得到合成视频流，较佳地，本实施例应用于视频直播领域，所述得到的合成视频流为直播视频流，当得到合成视频流后便可推送到直播平台供用户观看，利用客户端实时对多路源视频流的图像及音频进行选择处理，控制直播视频流的合成，为用户提供更好的直播视频。图2中25区域表示合成视频流的图像画面。
本发明通过对多路源视频流配置图像及音频的控制按钮，用户只需对各路视频流的控制按钮进行选择即可选择相应的源视频流的图像或音频，然后合成相应的合成视频流，既能满足简单场景下音频跟随视频的切换需求，又能满足复杂场景下静音某些源视频流的声音或者强制输出某些源视频流的声音，即可在切换视频的同时，灵活高效的进行音频切换，无需额外的音频调音设备，无需额外的设备操纵人员，提高了操作便利性，节约了节目制作成本。。
本发明的实施例中，所述S400对所述待合成图像和待合成音频进行处理，得到合成视频流，包括：
S410：获取各路源视频流的待合成图像，将所述待合成图像按照预设布局进行合成；
S420：获取各路源视频流的待合成音频，将所述待合成音频叠加合成；
S430：输出合成视频流。
在客户端中，对于各路源视频流中的待合成图像，将所述待合成图像按照预设布局进行合成，所述预设布局包括待合成图像的显示位置及显示大小，如图2所示，对于源视频流V1，其图像为主要显示内容，为源视频流V1在布局中分配较大的显示面积，对于源视频流V2、V3，其图像为辅助表达的内容，在布局中为其分配较小的显示面积。较佳的，用户还可以根据需要调整布局中各源视频流的图像的显示位置及显示大小，以调整相应的显示布局，然后将所述待合成图像进行合成；对于各路源视频流中的待合成音频，将各路待合成音频进行叠加合成，然后调整图像及音频的同步效果，输出合成视频流。
进一步的，上述实施例中，所述S420获取各路源视频流中的待合成音频，将所述待合成音频叠加合成，包括：
S421：获取各路源视频流的待合成音频及各待合成音频的音量大小，将各待合成音频按照各自的音量大小叠加合成。
由于不同的源视频流的待合成音频需要不同程度的表达，用户可以对各待合成音频的音量大小进行控制，在本实施例中，为每一个源视频流配置一个音量大小控制控件，上滑该控制控件即增加该待合成音频的音量、下滑则减少该待合成音频的音量，然后将各待合成音频按照各自的音量大小叠加合成，以更好地表达各源视频流音频的主次。图2中24为所述音量大小控件，控制该控件上下滑动即可调整各源视频流的音量大小，较佳的，当得到合成视频流后，所述合成视频流亦配置有一个音量大小控制案件，整体控制合成视频流的音量大小。
本发明的一种实施例，在获取多路源视频流后，还包括：
检测源视频流是否出现异常；
当源视频流出现异常的持续时长大于预置值或当源视频流在预设时间段内出现异常的次数大于预置值时，将所述出现异常的源视频流暂时设置为选择静音按钮。
在客户端获取了多路源视频流后，实时检测源视频流是否出现异常，所述异常包括图像数据异常和音频数据异常，包括传输过程出现的异常和接收、解码、渲染过程出现的异常。例如当网络环境不好时，源视频流的数据传输不稳定，源视频流的声音发生断断续续的情形，确定源视频流出现异常，且当源视频流出现异常的持续时长大于预置值或当源视频流在预设时间段内出现异常的次数大于预置值时，将所述出现异常的源视频流暂时设置为选择静音按钮，自动、强制将该路源视频流设置为静音，避免出现异常的源视频流杂音的干扰。
进一步的，在上述实施例中，所述将所述出现异常的源视频流暂时设置为选择静音按钮之后，还包括：
检测出现异常的源视频流是否恢复正常；
当所述源视频流恢复正常的持续时长大于预置值时，还原所述源视频流的控制按钮选择。
在上述实施例中，当出现异常的源视频流恢复正常后，检测所述源视频流恢复正常的持续时长是否大于预置值，当源视频流恢复正常的持续时长大于预置值后，确认源视频流处于正常状态，然后还原将该源视频流的控制按钮选择，例如将选择静音按钮且不选择全局音按钮的源视频流还原为不选择静音按钮和全局音按钮。
较佳地，本实施例所实现的功能可以由用户开启/关闭，通过在客户端上配置一个开关按钮接收用户对该功能的开启或关闭。
进一步的，本发明的一种实施例，在所述S100之后，还包括：
将其中一路源视频流作为主屏源视频流，并将所述主屏源视频流默认设置为不选择静音按钮和全局音按钮，将除主屏源视频流外的其它源视频流默认设置为选择静音按钮且不选择全局音按钮。
本实施例中，客户端在获取了多路源视频流后，将其中的一路源视频流设定为主屏源视频流，在设定了主屏源视频流后，客户端默认设置主屏源视频流为不选择静音按钮和全局音按钮，并且将除主屏源视频流外的其它源视频流默认设置为选择静音按钮且不选择全局音按钮，即在默认状态，用户未做选择时，主屏源视频流有画面和声音，其它源视频流只保留图像而屏蔽声音，方便用户操作合成视频流。较佳的，在设定了主屏源视频流后，若该主屏源视频流是从外网拉取的，则为其分配更多的带宽用于获取所述主屏源视频流，最大程度地保证主屏源视频流的流畅。
进一步的，上述实施例中，还包括：
检测主屏源视频流是否出现异常；
当主屏源视频流出现异常时，根据除主屏源视频流外的其它源视频流的排序逐路检测所述其它源视频流是否正常；
获取排在最前面的检测正常的源视频流，将所述最前面的检测正常的源视频流作为主屏视频流；
把所述最前面的检测正常的源视频流暂时设置为不选择静音按钮。
本实施例中，在确定了主屏源视频流后，实时检测主屏源视频流是否出现异常，当主屏源视频流出现异常的持续时长大于预置值时，获取除主屏视频流外的其它源视频流的排序，并逐路检测所述其它源视频流是否正常，然后获取排在最前面的检测正常的源视频流，并将排在最前面的检测正常的源视频流作为主屏视频流，同时把所述最前面的检测正常的源视频流暂时设置为不选择静音按钮，当主屏源视频流出现异常，用其它正常的源视频流作为主屏源视频流，并主动打开新的主屏源视频流的声音，以免影响直播效果。
更进一步的，在上述实施例中，还包括：
检测原始主屏源视频流是否恢复正常；
当原始主屏源视频流恢复正常的持续时长大于预置值时，将恢复正常的原始主屏源视频流作为主屏源视频流；
将所述最前面的检测正常的源视频流设置为选择静音按钮。
在上述实施例中，进一步的，在更换了主屏源视频流后，检测原始主屏源视频流算法恢复正常，当原始主屏源视频流恢复正常的持续时长大于预置值时，将恢复正常的原始主屏源视频流作为主屏源视频流，并恢复原始主屏源视频流的控制按钮选择，例如将原始主屏源视频流的控制按钮恢复设置为不选择静音按钮和全局音按钮，同时将所述最前面的检测正常的源视频流设置为选择静音按钮。
在另一种实施例中，本发明提供一种视频合成控制装置，所述装置存储有多条指令，所述指令适于由处理器加载并执行上述视频合成控制方法，包括：
获取多路源视频流；
接收用户对每一路源视频流配置的图像及音频的控制按钮的选择指令，设置每一路源视频流的控制按钮，所述控制按钮包括静音按钮和全局音按钮；
根据设置的控制按钮处理每一路源视频流，其中，当选择静音按钮且不选择全局音按钮时，将对应的源视频流的图像作为待合成图像；当选择全局音按钮且不选择静音按钮时，将对应的源视频流的音频作为待合成音频；当不选择静音按钮和全局音按钮时，将对应的源视频流的图像作为待合成图像、音频作为待合成音频；当选择静音按钮和全局音按钮，将对应的源视频流不作合成处理；
对所述待合成图像和待合成音频进行处理，得到合成视频流。
为了便于描述，将所述视频合成控制装置拆分为功能模块架构，如图4所示，包括：
获取模块100：用于获取多路源视频流；
选择模块200：用于接收用户对每一路源视频流配置的图像及音频的控制按钮的选择指令，设置每一路源视频流的控制按钮，所述控制按钮包括静音按钮和全局音按钮；
处理模块300：用于根据设置的控制按钮处理每一路源视频流，其中，当选择静音按钮且不选择全局音按钮时，将对应的源视频流的图像作为待合成图像；当选择全局音按钮且不选择静音按钮时，将对应的源视频流的音频作为待合成音频；当不选择静音按钮和全局音按钮时，将对应的源视频流的图像作为待合成图像、音频作为待合成音频；当选择静音按钮和全局音按钮，将对应的源视频流不作合成处理；
合成模块400：用于对所述待合成图像和待合成音频进行处理，得到合成视频流。
获取模块100从摄像机采集的视频流、移动终端如手机、平板电脑采集的视频流及从网络上拉取的视频流等方式获取源视频流；选择模块200接收用户对每一路源视频流的控制按钮的选择指令，设置该路源视频流的控制按钮；处理模块300根据用户对每一路源视频流的控制按钮的选择作相应地处理；合成模块400根据上述选定控制按钮后的待处理图像及音频，将待合成的图像及待合成的音频进行处理，处理后得到合成视频流，所述得到的合成视频流为直播视频流，当得到合成视频流后便可推送到直播平台供用户观看。
在又一种实施例中，本发明还提供一种终端，用于实现视频合成控制方法，如图5所示是与本发明实施例提供的终端的部分结构的框图，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、PC(Personal computer，个人计算机)、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备。
参考图5，所述终端包括：基带处理模块510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity，WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解，图5中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
基带处理模块510可用于合成即将发射的基带信号，或对接收到的基带信号进行解码。具体地说，就是发射时把音频信号编译成用来发射的基带码；接收时，把收到的基带码解译为音频信号。同时，也负责地址信息(手机号、网站地址)、文字信息(短讯文字、网站文字)、图片信息(彩信)的编译。
存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。具体地，输入单元530可包括触控面板531以及其他输入设备532。触控面板531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531，输入单元530还可以包括其他输入设备532。具体地，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及终端的各种菜单。显示单元540可包括显示面板541，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板541。进一步的，触控面板531可覆盖显示面板541，当触控面板531检测到在其上或附近的触摸操作后，传送给处理器580以确定触摸事件的类型，随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图5中，触控面板531与显示面板541是作为两个独立的部件来实现终端的输入和输入功能，但是在某些实施例中，可以将触控面板531与显示面板541集成而实现终端的输入和输出功能。
终端还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在终端移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路560、扬声器561，传声器562可提供用户与终端之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，传声器562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出处理器580处理后，经RF电路510以发送给比如另一终端，或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术，终端通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块570，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器580可包括一个或多个处理单元；优选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。
终端还包括给各个部件供电的电源590(比如电池)，优选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本发明通过对多路源视频流配置图像及音频的控制按钮，用户只需对各路视频流的控制按钮进行选择即可选择相应的源视频流的图像或音频，然后合成相应的合成视频流，既能满足简单场景下音频跟随视频的切换需求，又能满足复杂场景下静音某些源视频流的声音或者强制输出某些源视频流的声音，即可在切换视频的同时，灵活高效的进行音频切换，无需额外的音频调音设备，无需额外的设备操纵人员，提高了操作便利性，节约了节目制作成本。
同时，本发明通过设置主屏源视频流及将各源视频流的图像按照预设布局进行合成，并且设置各源视频流的音频音量大小后将音频叠加合成，更好地表达各源视频流的主次，为用户提供更好的合成视频。
再者，本发明还实时检测源视频流的异常情况，当源视频流出现异常时，将该源视频流自动强制选择静音按钮，避免出现异常的源视频流杂音的干扰，若出现异常的为主屏源视频流，用其它正常的源视频流暂时替换为主屏源视频流，并主动打开声音，以免影响直播效果。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种视频合成控制方法，其特征在于，包括：
获取多路源视频流；
接收用户对每一路源视频流配置的图像及音频的控制按钮的选择指令，设置每一路源视频流的控制按钮，所述控制按钮包括静音按钮和全局音按钮；
根据设置的控制按钮处理每一路源视频流，其中，当选择静音按钮且不选择全局音按钮时，将对应的源视频流的图像作为待合成图像；当选择全局音按钮且不选择静音按钮时，将对应的源视频流的音频作为待合成音频；当不选择静音按钮和全局音按钮时，将对应的源视频流的图像作为待合成图像、音频作为待合成音频；当选择静音按钮和全局音按钮，将对应的源视频流不作合成处理；
检测源视频流是否出现异常；当源视频流出现异常的持续时长大于预置值或当源视频流在预设时间段内出现异常的次数大于预置值时，将所述出现异常的源视频流暂时设置为选择静音按钮；
检测出现异常的源视频流是否恢复正常；当所述源视频流恢复正常的持续时长大于预置值时，还原所述源视频流的控制按钮选择；
对所述待合成图像和待合成音频进行处理，得到合成视频流。
2.根据权利要求1所述的方法，其特征在于，所述对所述待合成图像和待合成音频进行处理，得到合成视频流，包括：
获取各路源视频流的待合成图像，将所述待合成图像按照预设布局进行合成；
获取各路源视频流中的待合成音频，将所述待合成音频叠加合成；
输出合成视频流。
3.根据权利要求2所述的方法，其特征在于，所述获取各路源视频流中的待合成音频，将所述待合成音频叠加合成，包括：
获取各路源视频流的待合成音频及各待合成音频的音量大小，将各待合成音频按照各自的音量大小叠加合成。
4.根据权利要求1所述的方法，其特征在于，所述获取多路源视频流之后，还包括：
将其中一路源视频流作为主屏源视频流，并将所述主屏源视频流默认设置为不选择静音按钮和全局音按钮，将除主屏源视频流外的其它源视频流默认设置为选择静音按钮且不选择全局音按钮。
5.根据权利要求4所述的方法，其特征在于，所述将其中一路源视频流作为主屏源视频流之后，还包括：
检测主屏源视频流是否出现异常；
当主屏源视频流出现异常时，根据除主屏源视频流外的其它源视频流的排序逐路检测所述其它源视频流是否正常；
获取排在最前面的检测正常的源视频流，将所述最前面的检测正常的源视频流作为主屏视频流；
把所述最前面的检测正常的源视频流暂时设置为不选择静音按钮。
6.根据权利要求5所述的方法，其特征在于，还包括：
检测原始主屏源视频流是否恢复正常；
当原始主屏源视频流恢复正常的持续时长大于预置值时，将恢复正常的原始主屏源视频流作为主屏源视频流；
将所述最前面的检测正常的源视频流设置为选择静音按钮。
7.一种视频合成控制装置，其特征在于，所述装置存储有多条指令，所述指令适于由处理器加载并执行：
获取多路源视频流；
接收用户对每一路源视频流配置的图像及音频的控制按钮的选择指令，设置每一路源视频流的控制按钮，所述控制按钮包括静音按钮和全局音按钮；
根据设置的控制按钮处理每一路源视频流，其中，当选择静音按钮且不选择全局音按钮时，将对应的源视频流的图像作为待合成图像；当选择全局音按钮且不选择静音按钮时，将对应的源视频流的音频作为待合成音频；当不选择静音按钮和全局音按钮时，将对应的源视频流的图像作为待合成图像、音频作为待合成音频；当选择静音按钮和全局音按钮，将对应的源视频流不作合成处理；
检测源视频流是否出现异常；当源视频流出现异常的持续时长大于预置值或当源视频流在预设时间段内出现异常的次数大于预置值时，将所述出现异常的源视频流暂时设置为选择静音按钮；
检测出现异常的源视频流是否恢复正常；当所述源视频流恢复正常的持续时长大于预置值时，还原所述源视频流的控制按钮选择；
对所述待合成图像和待合成音频进行处理，得到合成视频流。
8.一种终端，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行根据权利要求1～6任一项所述的视频合成控制方法。
CN201711221566.7A 2017-11-22 2017-11-22 视频合成控制方法、装置及相应的终端 Active CN107948756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711221566.7A CN107948756B (zh) 2017-11-22 2017-11-22 视频合成控制方法、装置及相应的终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711221566.7A CN107948756B (zh) 2017-11-22 2017-11-22 视频合成控制方法、装置及相应的终端

Publications (2)

Publication Number Publication Date
CN107948756A CN107948756A (zh) 2018-04-20
CN107948756B true CN107948756B (zh) 2020-07-24

Family

ID=61950523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711221566.7A Active CN107948756B (zh) 2017-11-22 2017-11-22 视频合成控制方法、装置及相应的终端

Country Status (1)

Country Link
CN (1) CN107948756B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788212A (zh) * 2018-12-27 2019-05-21 北京奇艺世纪科技有限公司 一种分段视频的处理方法、装置、终端和存储介质
CN112004100B (zh) * 2020-08-31 2022-02-11 上海竞达科技有限公司 将多路音视频源集合成单路音视频源的驱动方法
CN113259764A (zh) * 2021-07-06 2021-08-13 北京达佳互联信息技术有限公司 视频的播放方法、播放装置、电子设备及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139599A (zh) * 2011-11-29 2013-06-05 人民网股份有限公司 网络多画面直播系统
CN104618787A (zh) * 2015-01-22 2015-05-13 深圳创维数字技术有限公司 一种节目播放方法和相关装置及系统
CN105472443A (zh) * 2016-01-13 2016-04-06 杭州当贝网络科技有限公司 一种直播源控制方法及系统
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置
CN106254913A (zh) * 2016-08-22 2016-12-21 北京小米移动软件有限公司 多媒体数据的处理方法及装置
CN106303663A (zh) * 2016-09-27 2017-01-04 北京小米移动软件有限公司 直播处理方法和装置、直播服务器
CN106658205A (zh) * 2016-11-22 2017-05-10 广州华多网络科技有限公司 直播间视频流合成控制方法、装置及终端设备
CN106791902A (zh) * 2016-12-23 2017-05-31 北京多视角文化传播有限公司 对移动互联网设备的音视频切换方法及其切换台
CN106921866A (zh) * 2017-05-03 2017-07-04 广州华多网络科技有限公司 辅助直播的多视频导播方法和设备
CN107197172A (zh) * 2017-06-21 2017-09-22 北京小米移动软件有限公司 视频直播方法、装置和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139599A (zh) * 2011-11-29 2013-06-05 人民网股份有限公司 网络多画面直播系统
CN104618787A (zh) * 2015-01-22 2015-05-13 深圳创维数字技术有限公司 一种节目播放方法和相关装置及系统
CN105472443A (zh) * 2016-01-13 2016-04-06 杭州当贝网络科技有限公司 一种直播源控制方法及系统
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置
CN106254913A (zh) * 2016-08-22 2016-12-21 北京小米移动软件有限公司 多媒体数据的处理方法及装置
CN106303663A (zh) * 2016-09-27 2017-01-04 北京小米移动软件有限公司 直播处理方法和装置、直播服务器
CN106658205A (zh) * 2016-11-22 2017-05-10 广州华多网络科技有限公司 直播间视频流合成控制方法、装置及终端设备
CN106791902A (zh) * 2016-12-23 2017-05-31 北京多视角文化传播有限公司 对移动互联网设备的音视频切换方法及其切换台
CN106921866A (zh) * 2017-05-03 2017-07-04 广州华多网络科技有限公司 辅助直播的多视频导播方法和设备
CN107197172A (zh) * 2017-06-21 2017-09-22 北京小米移动软件有限公司 视频直播方法、装置和系统

Also Published As

Publication number Publication date
CN107948756A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN108235086B (zh) 视频播放控制方法、装置及相应的终端
CN108055569B (zh) 直播间弹幕发送方法、装置及相应的终端
CN108055552B (zh) 直播间弹幕展示方法、装置及相应的终端
CN104967900B (zh) 一种生成视频的方法和装置
US9720567B2 (en) Multitasking and full screen menu contexts
US9485449B2 (en) Method for providing GUI for selecting broadcast channel with keypad operated by pointer and broadcast receiving apparatus thereof
US20150373393A1 (en) Display device and operating method thereof
CN111314784B (zh) 一种视频播放方法及电子设备
CN110933511B (zh) 一种视频分享方法、电子设备及介质
CN111343489B (zh) 一种显示设备及播放终端中音乐的方法
CN108476339B (zh) 一种遥控方法和终端
CN107948756B (zh) 视频合成控制方法、装置及相应的终端
CN112399212A (zh) 显示设备、分享文件的方法和服务器
CN112073865A (zh) 蓝牙耳机的音量设置方法及装置、电子设备
CN110597478A (zh) 一种音频输出方法及电子设备
KR20160040770A (ko) 컨텐츠 탐색 방법 및 장치
EP3038374A1 (en) Display device and display method
CN110022445B (zh) 一种内容输出方法及终端设备
CN110908638A (zh) 一种操作流创建方法及电子设备
CN111049977B (zh) 一种闹钟提醒方法及电子设备
KR20140141026A (ko) 디스플레이 장치 및 검색 결과를 표시하는 방법.
US10073611B2 (en) Display apparatus to display a mirroring screen and controlling method thereof
CN107566471B (zh) 一种远程控制方法、装置及移动终端
KR20170063197A (ko) 전자 장치, 보조 장치 및 전자 장치의 동작 방법
CN112073812A (zh) 一种智能电视上的应用管理方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180420

Assignee: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2021980000151

Denomination of invention: Video synthesis control method, device and corresponding terminal

Granted publication date: 20200724

License type: Common License

Record date: 20210107

EE01 Entry into force of recordation of patent licensing contract