CN112533023A - 连麦合唱作品的生成方法和显示设备 - Google Patents

连麦合唱作品的生成方法和显示设备 Download PDF

Info

Publication number
CN112533023A
CN112533023A CN202010254078.1A CN202010254078A CN112533023A CN 112533023 A CN112533023 A CN 112533023A CN 202010254078 A CN202010254078 A CN 202010254078A CN 112533023 A CN112533023 A CN 112533023A
Authority
CN
China
Prior art keywords
data stream
display device
chorus
server
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010254078.1A
Other languages
English (en)
Other versions
CN112533023B (zh
Inventor
王光强
聂树豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Media Network Technology Co Ltd
Juhaokan Technology Co Ltd
Original Assignee
Qingdao Hisense Media Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Media Network Technology Co Ltd filed Critical Qingdao Hisense Media Network Technology Co Ltd
Priority to PCT/CN2020/110862 priority Critical patent/WO2021052115A1/zh
Publication of CN112533023A publication Critical patent/CN112533023A/zh
Application granted granted Critical
Publication of CN112533023B publication Critical patent/CN112533023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Abstract

本申请公开了连麦合唱作品的生成方法和显示设备，在第一显示设备与第二显示设备连麦合唱过程中，服务器接收并缓存第一显示设备发送的第一数据流和第二显示设备发送的第二数据流，并将第一数据流发送给第二显示设备，将第二数据流发送给第一显示设备；当接收到第一显示设备或者第二显示设备发送的合成指令时，根据缓存的第一数据流和第二数据流生成合唱作品。基于在连麦合唱过程中，需要服务器转发第一数据流和第二数据流，若服务器将接收到的第一数据流和第二数据流进行保存，并在接收到合成指令时，根据保存的数据流生成合唱作品，即可无需显示设备生成合唱作品和上传作品，因此可以避免显示设备上传合唱作品造成的用户等待。

Description

连麦合唱作品的生成方法和显示设备
技术领域
本申请涉及数据处理技术领域，尤其涉及一种连麦合唱作品的生成方法和显示设备。
背景技术
智能电视是显示设备的一种，可以为用户呈现诸如音频、视频、图片等媒体资源，进而为用户带来不同于寻常便携式移动终端设备的大屏视听体验。随着显示设备技术的发展和智能电视的普及，用户更加依赖于在智能电视上实现各类软件应用的功能，例如，在智能电视上安装K歌应用，以利用电视实现K歌。
K歌因其特有的娱乐性，广受用户欢迎。如今，K歌应用不仅可以提供单人录唱的业务，还可以提供至少两个用户间实时连麦合唱的业务。一种实时连麦合唱的具体实现方案中，参与合唱的客户端通过K歌服务器建立合唱连接，连接成功后，对于任意一端，实时地接收对端传输过来的实时音视频数据，同时采集本端音视频数据，实时传输给对端，并将对端音视频数据流、本端音视频数据和网络伴奏数据进行同步叠加播放。合唱结束后，根据用户指令对本端音视频数据、对端音视频数据以及网络伴奏数据进行编码，生成合唱作品，并上传到服务器。
从上述实时连麦合唱过程可以看出，合唱结束后生成合唱作品的数据编码过程，将使用户经历长时间等待，不利于用户体验，并且后续上传合唱作品所需要的时间，将造成用户等待时间的叠加。
发明内容
有鉴于此，本申请提供一种连麦合唱作品的生成方法和显示设备，以解决以往连麦合唱过程中合唱作品的合成过程及上传过程造成用户等待的问题。
第一方面，本申请提供一种连麦合唱作品的生成方法，应用于服务器，所述方法包括：
在第一显示设备与第二显示设备连麦合唱过程中，接收第一显示设备发送的第一数据流和第二显示设备发送的第二数据流，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成；
缓存所述第一数据流和所述第二数据流，并将所述第一数据流发送给所述第二显示设备，将所述第二数据流发送给所述第一显示设备；
接收所述第一显示设备或者第二显示设备发送的合成指令；
响应于所述合成指令，根据缓存的所述第一数据流和第二数据流生成合唱作品。
第二方面，本申请还提供一种连麦合唱作品的生成方法，应用于服务器，所述方法包括：
在第一显示设备与第二显示设备连麦合唱过程中，接收第一显示设备发送的第一数据流和第二显示设备发送的第二数据流，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成；
缓存所述第一数据流和所述第二数据流，并将所述第一数据流发送给所述第二显示设备，将所述第二数据流发送给所述第一显示设备；
在合唱结束后，若接收到第一显示设备或者第二显示设备发送的合成指令，则根据缓存的所述第一数据流和第二数据流生成合唱作品；若接收到第一显示设备和第二显示设备发送的不保存指令，则删除缓存的所述第一数据流和第二数据流。
第三方面，本申请还提供一种连麦合唱作品的生成方法，应用于第一显示设备，所述方法包括：
在与第二显示设备连麦合唱过程中，利用低延时网络通道发送第一数据流至服务器，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第一数据流用于使所述服务器缓存并发送给第二显示设备；
接收第二数据流，其中，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成，所述第二数据流通过所述服务器转发给所述第一显示设备，所述第二数据流缓存在所述服务器中；
接收用户输入的合成指令，并发送所述合成指令给所述服务器，所述合成指令用于指示所述服务器根据缓存的所述第一数据流和第二数据流生成合唱作品。
第四方面，本申请还提供一种连麦合唱作品的生成方法，应用于第一显示设备，所述方法包括：
在与第二显示设备连麦合唱过程中，利用低延时网络通道发送第一数据流至服务器，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第一数据流用于使所述服务器缓存并发送给第二显示设备；
接收第二数据流，其中，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成，所述第二数据流通过所述服务器转发给所述第一显示设备，所述第二数据流缓存在所述服务器中；
在合唱结束后，接收用户输入的合成指令或者不保存指令，并发送所述合成指令或者不保存指令给服务器，所述所述合成指令用于指示所述服务器根据缓存的所述第一数据流和第二数据流生成合唱作品，所述不保存指令用于指示所述服务器删除缓存的所述第一数据流和第二数据流。
第五方面，本申请还提供一种显示设备，包括：
显示器，用于显示用于连麦合唱的用户界面；
用户输入接口，用于接收用户输入的音视频数据；
控制器，用于：
在与第二显示设备连麦合唱过程中，利用低延时网络通道发送第一数据流至服务器，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第一数据流用于使所述服务器缓存并发送给第二显示设备；
接收第二数据流，其中，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成，所述第二数据流通过所述服务器转发给所述第一显示设备，所述第二数据流缓存在所述服务器中；
接收用户输入的合成指令，并发送所述合成指令给所述服务器，所述合成指令用于指示所述服务器根据缓存的所述第一数据流和第二数据流生成合唱作品。
第六方面，本申请还提供一种显示设备，包括：
显示器，用于显示用于连麦合唱的用户界面；
用户输入接口，用于接收用户输入的音视频数据；
控制器，用于：
在与第二显示设备连麦合唱过程中，利用低延时网络通道发送第一数据流至服务器，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第一数据流用于使所述服务器缓存并发送给第二显示设备；
接收第二数据流，其中，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成，所述第二数据流通过所述服务器转发给所述第一显示设备，所述第二数据流缓存在所述服务器中；
在合唱结束后，接收用户输入的合成指令或者不保存指令，并发送所述合成指令或者不保存指令给服务器，所述所述合成指令用于指示所述服务器根据缓存的所述第一数据流和第二数据流生成合唱作品，所述不保存指令用于指示所述服务器删除缓存的所述第一数据流和第二数据流。
由以上技术方案可知，在第一显示设备与第二显示设备连麦合唱过程中，服务器接收第一显示设备发送的第一数据流和第二显示设备发送的第二数据流，该第一数据流由第一显示设备根据采集到的第一音视频生成，该第二数据流由第二显示设备根据采集到的第二音视频生成；缓存第一数据流和第二数据流，并将第一数据流发送给第二显示设备，将第二数据流发送给第一显示设备；接收所述第一显示设备或者第二显示设备发送的合成指令；响应于该合唱指令，根据缓存的第一数据流和第二数据流生成合唱作品。
基于在连麦合唱过程中，需要服务器转发第一数据流和第二数据流，若服务器将接收到的第一数据流和第二数据流进行保存，并在接收到合成指令时，根据保存的数据流生成合唱作品，即可无需显示设备生成合唱作品，也无需显示设备上传作品，因此至少可以避免显示设备上传合唱作品造成的用户等待。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1中示例性示出了显示设备与控制装置之间操作场景的示意图；
图2中示例性示出了控制装置100的硬件配置框图；
图3中示例性示出了显示设备200的硬件配置框图；
图4中示例性示出了根据图3显示设备200的硬件架构框图；
图5中示例性示出了显示设备200的功能配置示意图；
图6a中示例性示出了显示设备200中软件配置示意图；
图6b中示例性示出了显示设备200中应用程序的配置示意图；
图7中示例性示出了显示设备200用户界面的示意图；
图8中示例性示出了显示设备200用户界面的示意图；
图9中示例性示出了显示设备200应用程序中心的用户界面的示意图；
图10中示例性示出了一种歌曲列表界面；
图11为在图10所示歌曲列表中选择一首歌曲后进入的用户界面；
图12为在图11所示用户界面中选择实时连麦演唱后进入的用户界面；
图13为在图12所述用户界面中邀请一个好友进行合唱的用户界面；
图14中示例性示出了显示设备200A和显示设备200B的交互过程；
图15a-图15e具体示出了连麦成功后合唱过程的5种可能的用户合唱界面；
图16示例性示出了显示设备示意图；
图17示例性示出了合成合唱作品后的提示界面；
图18为本申请根据示例性实施例示出的连麦合唱作品的生成方法流程图；
图19为本申请根据示例性实施例示出的服务器示意图；
图20为本申请根据示例性实施例示出的显示设备与服务器的交互过程。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请提供的显示设备，可以是具有多个芯片架构的显示设备，如本申请图3至图5示出的具有双芯片(双硬件系统)架构的显示设备，也可以是具有非双芯片架构的显示设备，本申请不予限定。
为便于用户使用，显示设备上通常会设置各种外部装置接口，以便于连接不同的外设设备或线缆以实现相应的功能。而在显示设备的接口上连接有高清晰度的摄像头时，如果显示设备的硬件系统没有接收源码的高像素摄像头的硬件接口，那么就会导致无法将摄像头接收到的数据呈现到显示设备的显示屏上。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。
本申请各实施例中使用的术语″模块″，可以是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
本申请各实施例中使用的术语″遥控器″，是指电子设备(如本申请中公开的显示设备)的一个组件，该组件通常可在较短的距离范围内无线控制电子设备。该组件一般可以使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请各实施例中使用的术语″手势″，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。
本申请各实施例中使用的术语″硬件系统″，可以是指由集成电路(IntegratedCircuit，IC)、印刷电路板(Printed circuit board，PCB)等机械、光、电、磁器件构成的具有计算、控制、存储、输入和输出功能的实体部件。在本申请各个实施例中，硬件系统通常也会被称为主板(motherboard)或芯片。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过控制装置100来操作显示设备200。
其中，控制装置100可以是遥控器100A，其可与显示设备200之间通过红外协议通信、蓝牙协议通信、紫蜂(ZigBee)协议通信或其他短距离通信方式进行通信，用于通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
控制装置100也可以是智能设备，如移动终端100B、平板电脑、计算机、笔记本电脑等，其可以通过本地网(LAN，Local Area Network)、广域网(WAN，Wide Area Network)、无线局域网((WLAN，Wireless Local Area Network)或其他网络与显示设备200之间通信，并通过与显示设备200相应的应用程序实现对显示设备200的控制。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(UI，User Interface)为用户提供各种控制。
″用户界面″，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphicuserinterface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
示例的，移动终端100B与显示设备200均可安装软件应用，从而可通过网络通信协议实现二者之间的连接通信，进而实现一对一控制操作的和数据通信的目的。如：可以使移动终端100B与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端100B上，通过控制移动终端100B上用户界面，实现控制显示设备200的功能；也可以将移动终端100B上显示的音视频内容传输到显示设备200上，实现同步显示功能。
如图1所示，显示设备200还可与服务器300通过多种通信方式进行数据通信。在本申请各个实施例中，可允许显示设备200通过局域网、无线局域网或其他网络与服务器300进行通信连接。服务器300可以向显示设备200提供各种内容和互动。
示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG，ElectronicProgram Guide)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器300可以是一组，也可以是多组，可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
显示设备200，可以是液晶显示器、OLED(Organic Light Emitting Diode)显示器、投影显示设备、智能电视。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上的一些改变。
显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。示例的包括，网络电视、智能电视、互联网协议电视(IPTV)等。
如图1所述，显示设备上可以连接或设置有摄像头，用于将摄像头拍摄到的画面呈现在本显示设备或其他显示设备的显示界面上，以实现用户之间的交互聊天。具体的，摄像头拍摄到的画面可在显示设备上全屏显示、半屏显示、或者显示任意可选区域。
作为一种可选的连接方式，摄像头通过连接板与显示器后壳连接，固定安装在显示器后壳的上侧中部，作为可安装的方式，可以固定安装在显示器后壳的任意位置，能保证其图像采集区域不被后壳遮挡即可，例如，图像采集区域与显示设备的显示朝向相同。
作为另一种可选的连接方式，摄像头通过连接板或者其他可想到的连接器可升降的与显示后壳连接，连接器上安装有升降马达，当用户要使用摄像头或者有应用程序要使用摄像头时，再升出显示器之上，当不需要使用摄像头时，其可内嵌到后壳之后，以达到保护摄像头免受损坏。
作为一种实施例，本申请所采用的摄像头可以为1600万像素，以达到超高清显示目的。在实际使用中，也可采用比1600万像素更高或更低的摄像头。
当显示设备上安装有摄像头以后，显示设备不同应用场景所显示的内容可得到多种不同方式的融合，从而达到传统显示设备无法实现的功能。
示例性的，用户可以在边观看视频节目的同时，与至少一位其他用户进行视频聊天。视频节目的呈现可作为背景画面，视频聊天的窗口显示在背景画面之上。形象的，可以称该功能为″边看边聊″。
可选的，在″边看边聊″的场景中，在观看直播视频或网络视频的同时，跨终端的进行至少一路的视频聊天。
另一些实施例中，用户可以在边进入教育应用学习的同时，与至少一位其他用户进行视频聊天。例如，学生在学习教育应用程序中内容的同时，可实现与老师的远程互动。形象的，可以称该功能为″边学边聊″。
另一些实施例中，用户在玩纸牌游戏时，与进入游戏的玩家进行视频聊天。例如，玩家在进入游戏应用参与游戏时，可实现与其他玩家的远程互动。形象的，可以称该功能为″边看边玩″。
可选的，游戏场景与视频画面进行融合，将视频画面中人像进行抠图，显示在游戏画面中，提升用户体验。
可选的，在体感类游戏中(如打球类、拳击类、跑步类、跳舞类等)，通过摄像头获取人体姿势和动作，肢体检测和追踪、人体骨骼关键点数据的检测，再与游戏中动画进行融合，实现如体育、舞蹈等场景的游戏。
另一些实施例中，用户可以在K歌应用中，与至少一位其他用户进行视频和语音的交互。形象的，可以称该功能为″边看边唱″。优选的，当至少一位用户在聊天场景进入该应用时，可多个用户共同完成一首歌的录制。
另一些实施例中，用户可在本地打开摄像头获取图片和视频，形象的，可以称该功能为″照镜子″。
在另一些示例中，还可以再增加更多功能或减少上述功能。本申请对该显示设备的功能不作具体限定。
图2中示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信器130、用户输入/输出接口140、存储器190、供电电源180。
控制装置100被配置为可控制所述显示设备200，以及可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起到用户与显示设备200之间交互中介作用。如：用户通过操作控制装置100上频道加减键，显示设备200响应频道加减的操作。
在一些实施例中，控制装置100可是一种智能设备。如：控制装置100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中，如图1所示，移动终端100B或其他智能电子设备，可在安装操控显示设备200的应用之后，起到控制装置100类似功能。如：用户可以通过安装应用，在移动终端100B或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮，以实现控制装置100实体按键的功能。
控制器110包括处理器112、RAM113和ROM114、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信器130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。如：将接收到的用户输入信号发送至显示设备200上。通信器130可包括WIFI模块131、蓝牙模块132、NFC模块133等通信模块中至少一种。
用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等输入接口中至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中，可以是红外接口，也可以是射频接口。如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。
在一些实施例中，控制装置100包括通信器130和输出接口中至少一者。控制装置100中配置通信器130，如：WIFI、蓝牙、NFC等模块，可将用户输入指令通过WIFI协议、或蓝牙协议、或NFC协议编码，发送至显示设备200。
存储器190，用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。
供电电源180，用于在控制器110的控制下为控制装置100各元件提供运行电力支持。可以电池及相关控制电路。
在一些实施例中，如图3-图5中所示，给出了采用双芯片的显示设备200中硬件系统的硬件配置框图。
在采用双硬件系统架构时，硬件系统的机构关系可以图3所示。为便于表述以下将双硬件系统架构中的一个硬件系统称为第一硬件系统或A系统、A芯片，并将另一个硬件系统称为第二硬件系统或N系统、N芯片。A芯片包含A芯片的控制器及各类接口，N芯片则包含N芯片的控制器及各类接口。A芯片及N芯片中可以各自安装有独立的操作系统，从而使显示设备200中存在两个在独立但又存在相互关联的子系统。
在一些实施例中，A芯片也可被称为第一芯片，第一控制器，B芯片也可以被称为第二芯片，第二控制器。
如图3所示，A芯片与N芯片之间可以通过多个不同类型的接口实现连接、通信及供电。A芯片与N芯片之间接口的接口类型可以包括通用输入输出接口(General-purposeinput/output，GPIO)、USB接口、HDMI接口、UART接口等。A芯片与N芯片之间可以使用这些接口中的一个或多个进行通信或电力传输。例如图3所示，在双硬件系统架构下，可以由外接的电源(power)为N芯片供电，而A芯片则可以不由外接电源，而由N芯片供电。
除用于与N芯片进行连接的接口之外，A芯片还可以包含用于连接其他设备或组件的接口，例如图3中所示的用于连接摄像头(Camera)的MIPI接口，蓝牙接口等。
类似的，除用于与N芯片进行连接的接口之外，N芯片还可以包含用于连接显示屏TCON(Timer Control Register)的VBY接口，用于连接功率放大器(Amplifier，AMP)及扬声器(Speaker)的i2S接口；以及IR/Key接口，USB接口，Wifi接口，蓝牙接口，HDMI接口，Tuner接口等。
下面结合图4对双芯片架构进行进一步的说明。需要说明的是图4仅仅是对本申请双硬件系统架构的一些示例性性说明，并不表示对本申请的限定。在实际应用中，两个硬件系统均可根据需要包含更多或更少的硬件或接口。
图4中示例性示出了根据图3显示设备200的硬件架构框图。如图4所示，显示设备200的硬件系统可以包括A芯片和N芯片，以及通过各类接口与A芯片或N芯片相连接的模块。
N芯片可以包括调谐解调器220、通信器230、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输出接口270、供电电源。在其他实施例中N芯片也可以包括更多或更少的模块。
其中，调谐解调器220，用于对通过有线或无线方式接收广播电视信号，进行放大、混频和谐振等调制解调处理，从而从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号，以及附加信息(例如EPG数据信号)。根据电视信号广播制式不同，调谐解调器220的信号途径可以有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，所述信号的调整方式可以数字调制方式，也可以模拟调制方式；以及根据接收电视信号种类不同，调谐解调器220可以解调模拟信号和/或数字信号。
调谐解调器220，还用于根据用户选择，以及由控制器210控制，响应用户选择的电视频道频率以及该频率所携带的电视信号。
在其他一些示例性实施例中，调谐解调器220也可在外置设备中，如外置机顶盒等。这样，机顶盒通过调制解调后输出电视音视频信号，经过外部装置接口250输入至显示设备200中。
通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器230可以包括WIFI模块231，蓝牙通信协议模块232，有线以太网通信协议模块233，及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。
显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如，通信器可根据控制器的控制接收遥控器100A的控制信号。
外部装置接口250，是提供N芯片控制器210和A芯片及外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中，外部装置接口250可以包括：高清多媒体接口(HDMI)端子251、复合视频消隐同步(CVBS)端子252、模拟或数字分量端子253、通用串行总线(USB)端子254、红绿蓝(RGB)端子(图中未示出)等任一个或多个。本申请不对外部装置接口的数量和类型进行限制。
控制器210，通过运行存储在存储器290上的各种软件控制程序(如操作系统和/或各种应用程序)，来控制显示设备200的工作和响应用户的操作。
如图4所示，控制器210包括只读存储器RAM214、随机存取存储器ROM213、图形处理器216、CPU处理器212、通信接口218、以及通信总线。其中，RAM214和ROM213以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。
ROM213，用于存储各种系统启动的指令。如在收到开机信号时，显示设备200电源开始启动，CPU处理器212运行ROM中系统启动指令，将存储在存储器290的操作系统拷贝至RAM214中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器212再将存储器290中各种应用程序拷贝至RAM214中，然后，开始运行启动各种应用程序。
图形处理器216，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。
CPU处理器212，用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
在一些示例性实施例中，CPU处理器212，可以包括多个处理器。所述多个处理器中可包括一个主处理器以及多个或一个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。多个或一个子处理器，用于执行在待机模式等状态下的一种操作。
通信接口，可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
控制器210可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示UI对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。
其中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与图标相对应程序的操作。用于选择UI对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器290，包括存储用于驱动和控制显示设备200的各种软件模块。如：存储器290中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
其中，基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
例如：语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块是用于控制显示器280进行显示图像内容的模块，可以用于播放多媒体图像内容和UI界面等信息。通信模块，是用于与外部设备之间进行控制和数据通信的模块。浏览器模块，是用于执行浏览服务器之间数据通信的模块。服务模块，是用于提供各种服务以及各类应用程序在内的模块。
同时，存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
用户输入接口，用于将用户的输入信号发送给控制器210，或者，将从控制器输出的信号传送给用户。示例性的，控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口，再由用户输入接口转送至控制器；或者，控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
在一些实施例中，用户可在显示器280上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
视频处理器260-1，用于接收视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器280上显示或播放的视频信号。
示例的，视频处理器260-1，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2，则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
帧率转换模块，用于对输入视频的帧率进行转换，如将输入的24Hz、25Hz、30Hz、60Hz视频的帧率转换为60Hz、120Hz或240Hz的帧率，其中，输入帧率可以与源视频流有关，输出帧率可以与显示器的更新率有关。输入有通常的格式采用如插帧方式实现。
显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。
显示器280，用于接收源自视频处理器260-1输入的图像信号，进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。显示视频内容，可以来自调谐解调器220接收的广播信号中的视频，也可以来自通信器或外部设备接口输入的视频内容。显示器220，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。
以及，根据显示器280类型不同，还包括用于驱动显示的驱动组件。或者，倘若显示器280为一种投影显示器，还可以包括一种投影装置和投影屏幕。
音频处理器260-2，用于接收音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器272中播放的音频信号。
音频输出接口270，用于在控制器210的控制下接收音频处理器260-2输出的音频信号，音频输出接口可包括扬声器272，或输出至外接设备的发生装置的外接音响输出端子274，如：外接音响端子或耳机输出端子等。
在其他一些示例性实施例中，视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2，也可以包括一个或多个芯片组成。
以及，在其他一些示例性实施例中，视频处理器260-1和音频处理器260-2，可以为单独的芯片，也可以与控制器210一起集成在一个或多个芯片中。
供电电源，用于在控制器210控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源，如在显示设备200中提供外接电源的电源接口。
与N芯片相类似，如图4所示，A芯片可以包括控制器310、通信器330、检测器340、存储器390。在某些实施例中还可以包括用户输入接口、视频处理器、音频处理器、显示器、音频输出接口。在某些实施例中，也可以存在独立为A芯片供电的供电电源。
通信器330是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器330可以包括WIFI模块331，蓝牙通信协议模块332，有线以太网通信协议模块333，及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。
A芯片的通信器330和N芯片的通信器230也有相互交互。例如，N芯片的WiFi模块231用于连接外部网络，与外部服务器等产生网络通信。A芯片的WiFi模块331用于连接至N芯片的WiFi模块231，而不与外界网络等产生直接连接。因此对于用户而言，一个如上述实施例中的显示设备至对外显示一个WiFi账号。
检测器340，是显示设备A芯片用于采集外部环境或与外部交互的信号的组件。检测器340可以包括光接收器342，用于采集环境光线强度的传感器，可以通过采集环境光来自适应显示参数变化等；还可以包括图像采集器341，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
外部装置接口350，提供控制器310与N芯片或外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接。
控制器310，通过运行存储在存储器390上的各种软件控制程序(如用安装的第三方应用等)，以及与N芯片的交互，来控制显示设备200的工作和响应用户的操作。
如图4所示，控制器310包括只读存储器ROM313、随机存取存储器RAM314、图形处理器316、CPU处理器312、通信接口318、以及通信总线。其中，ROM313和RAM314以及图形处理器316、CPU处理器312、通信接口318通过总线相连接。
ROM313，用于存储各种系统启动的指令。CPU处理器312运行ROM中系统启动指令，将存储在存储器390的操作系统拷贝至RAM314中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器312再将存储器390中各种应用程序拷贝至RAM314中，然后，开始运行启动各种应用程序。
CPU处理器312，用于执行存储在存储器390中操作系统和应用程序指令，和与N芯片进行通信、信号、数据、指令等传输与交互，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
通信接口，可包括第一接口318-1到第n接口318-n。这些接口可以是经由网络被连接到外部设备的网络接口，也可以是经由网络被连接到N芯片的网络接口。
控制器310可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示UI对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。
图形处理器316，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。
A芯片的图形处理器316与N芯片的图形处理器216均能产生各种图形对象。区别性的，若应用1安装于A芯片，应用2安装在N芯片，当用户在应用1的界面，且在应用1内进行用户输入的指令时，由A芯片图形处理器316产生图形对象。当用户在应用2的界面，且在应用2内进行用户输入的指令时，由N芯片的图形处理器216产生图形对象。
图5为本申请根据一些实施例示例性示出的显示设备的功能配置示意图。
如图5所示，A芯片的存储器390和N芯片的存储器290分别用于存储操作系统、应用程序、内容和用户数据等，在A芯片的控制器310和N芯片的控制器210的控制下，驱动显示设备200的系统运行以及响应用户的各种操作。A芯片的存储器390和N芯片的存储器290可以包括易失性和/或非易失性存储器。
对于N芯片，存储器290，具体用于存储驱动显示设备200中控制器210的运行程序，以及存储显示设备200内置各种应用程序，以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面，以及与图形用户界面相关的各种对象，用户数据信息，以及各种支持应用程序的内部数据。存储器290用于存储操作系统(OS)内核、中间件和应用等系统软件，以及存储输入的视频数据和音频数据、及其他用户数据。
存储器290，具体用于存储视频处理器260-1和音频处理器260-2、显示器280、通信接口230、调谐解调器220、输入/输出接口等驱动程序和相关数据。
在一些实施例中，存储器290可以存储软件和/或程序，用于表示操作系统(OS)的软件程序包括，例如：内核、中间件、应用编程接口(API)和/或应用程序。示例性的，内核可控制或管理系统资源，或其它程序所实施的功能(如所述中间件、API或应用程序)，以及内核可以提供接口，以允许中间件和API，或应用访问控制器，以实现控制或管理系统资源。
示例的，存储器290，包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、电力控制模块2910、操作系统2911、以及其他应用程序2912、界面布局管理模块2913、事件传输系统2914以及浏览器模块等等。控制器210通过运行存储器290中各种软件程序，来执行诸如：广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。存储器390，包括存储用于驱动和控制显示设备200的各种软件模块。如：存储器390中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。由于存储器390与存储器290的功能比较相似，相关之处参见存储器290即可，在此就不再赘述。
示例的，存储器390，包括图像控制模块3904、音频控制模块2906、外部指令识别模块3907、通信控制模块3908、光接收模块3909、操作系统3911、以及其他应用程序3912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序，来执行诸如：图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。区别性的，N芯片的外部指令识别模块2907和A芯片的外部指令识别模块3907可识别不同的指令。
示例性的，由于摄像头等图像接收设备与A芯片连接，因此，A芯片的外部指令识别模块3907可包括图形识别模块3907-1，图形识别模块3907-1内存储有图形数据库，摄像头接收到外界的图形指令时，与图形数据库中的指令进行对应关系，以对显示设备作出指令控制。而由于语音接收设备以及遥控器与N芯片连接，因此，N芯片的外部指令识别模块2907可包括语音识别模块2907-2，语音识别模块2907-2内存储有语音数据库，语音接收设备等接收到外界的语音指令或时，与语音数据库中的指令进行对应关系，以对显示设备作出指令控制。同样的，遥控器等控制装置100与N芯片连接，由按键指令识别模块与控制装置100进行指令交互。
在一些实施例中，可以没有第一芯片第二芯片之分，显示设备具有的控制器在软件层面为一个操作系统，内置的应用可与上述双芯片架构显示设备中的应用相同。同样设置上述所有接口。
图6a中示例性示出了一些实施例中显示设备200中软件系统的配置框图。
对N芯片，如图6a中所示，操作系统2911，包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件，充当应用程序和硬件组件之间完成数据处理的媒介。
一些实施例中，部分操作系统内核可以包含一系列软件，用以管理显示设备硬件资源，并为其他程序或软件代码提供服务。
其他一些实施例中，部分操作系统内核可包含一个或多个设备驱动器，设备驱动器可以是操作系统中的一组软件代码，帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的，包括显示器、摄像头、Flash、WiFi和音频驱动器。
如图6a所示，在一些实施例中，操作系统2911具体可以包括：可访问性模块2911-1、通信模块2911-2、用户界面模块2911-3和控制应用程序2911-4。
在一些实施例中，操作系统2911还可以包括：摄像头调度模块2911-5、摄像头驱动模块2911-6和摄像头开关模块2911-7。
其中，可访问性模块2911-1，用于修改或访问应用程序，以实现应用程序的可访问性和对其显示内容的可操作性。
通信模块2911-2，用于经由相关通信接口和通信网络与其他外设的连接。
用户界面模块2911-3，用于提供显示用户界面的对象，以供各应用程序访问，可实现用户可操作性。
控制应用程序2911-4，用于控制进程管理、切换前台应用，包括运行时间应用程序等。
摄像头调度模块2911-5，用于控制摄像头开启或者关闭，以及升起或者降落。
和摄像头驱动模块2911-6，用于在摄像头调度模块2911-5的控制下，驱动与摄像头机械连接的马达以使摄像头升起或者降落；
摄像头开关模块2911-7，用于在摄像头调度模块2911-5的控制下，开启摄像头，即使其进入开启状态，或者关闭摄像头，即使其进入关闭状态。
如图6a所示，在一些实施例中，事件传输系统2914，可在操作系统2911内或应用程序2912中实现。一些实施例中，一方面在在操作系统2911内实现，同时在应用程序2912中实现，用于监听各种用户输入事件，将根据各种事件指代响应各类事件或子事件的识别结果，而实施一组或多组预定义的操作的处理程序。
具体的，事件传输系统2914可以包括事件监听模块2914-1和事件识别模块2914-2。其中，事件监听模块2914-1，用于监听用户输入接口输入事件或子事件。
事件识别模块2914-2，用于对各种用户输入接口输入各类事件的定义，识别出各种事件或子事件，且将其传输给处理用以执行其相应一组或多组的处理程序。
需要说明的是，事件或子事件，是指显示设备200中一个或多个传感器检测的输入，以及外界控制设备(如控制装置100等)的输入。如：语音输入各种子事件，手势识别的手势输入子事件，以及控制装置的遥控按键指令输入的子事件等。示例的，遥控器中一个或多个子事件包括多种形式，包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作，如移动、按住、释放等操作。
界面布局管理模块2913，直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件，用于更新用户界面的布局，包括但不限于界面中各控件或子控件的位置，以及容器的大小或位置、层级等与界面布局相关各种执行操作。
由于A芯片的操作系统3911与N芯片的操作系统2911的功能比较相似，相关之处参见操作系统2911即可，在此就不再赘述。
如图6b中所示，显示设备的应用程序层包含可在显示设备200执行的各种应用程序。
N芯片的应用程序层2912可包含但不限于一个或多个应用程序，如：视频点播应用程序、应用程序中心、游戏应用等。A芯片的应用程序层3912可包含但不限于一个或多个应用程序，如：直播电视应用程序、媒体中心应用程序等。需要说明的是，A芯片和N芯片上分别包含什么应用程序是根据操作系统和其他设计确定的，本发明无需对A芯片和N芯片上所包含的应用程序做具体的限定和划分。
直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。
视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序，或某些和计算机系统或其他设备相关但可以在显示设备中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。
在一些实施例中，由于A芯片及N芯片中可能分别安装有独立的操作系统，从而使显示设备200中存在两个在独立但又存在相互关联的子系统。例如，A芯片和N均可以独立安装有安卓(Android)及各类APP，使得每个芯片均可以实现一定的功能，并且使A芯片和N芯片协同实现某项功能。
图7中示例性示出了根据示例性实施例中显示设备200中用户界面的示意图。如图7所示，用户界面包括多个视图显示区，示例的，第一视图显示区201和播放画面202，其中，播放画面包括布局一个或多个不同项目。以及用户界面中还包括指示项目被选择的选择器，可通过用户输入而移动选择器的位置，以改变选择不同的项目。
需要说明的是，多个视图显示区可以呈现不同层级的显示画面。如，第一视图显示区可呈现视频聊天项目内容，第二视图显示区可呈现应用层项目内容(如，网页视频、VOD展示、应用程序画面等)。
可选的，不同视图显示区的呈现存在优先级区别，优先级不同的视图显示区之间，视图显示区的显示优先级不同。如，系统层的优先级高于应用层的优先级，当用户在应用层使用获取选择器和画面切换时，不遮挡系统层的视图显示区的画面展示；以及，根据用户的选择使应用层的视图显示区的大小和位置发生变化时，系统层的视图显示区的大小和位置不受影响。
也可以呈现相同层级的显示画面，此时，选择器可以在第一视图显示区和第二视图显示区之间做切换，以及当第一视图显示区的大小和位置发生变化时，第二视图显示区的大小和位置可随及发生改变。
在一些实施例中，图7中的任意一个区域可以显示摄像头获取的画面。
在一些实施例中，控制器210通过运行存储在存储器290上的各种软件控制程序(如操作系统和/或各种应用程序)，来控制显示设备200的工作和响应与显示器280相关的用户操作。例如，控制在显示器上呈现用户界面，用户界面上包括若干UI对象；响应于接收到的对用户界面上UI对象的用户命令，控制器210便可以执行与用户命令选择的对象有关的操作。
在一些实施例中，存储器290上存储有应用程序2912，该应用程序包括用于实现连麦合唱的″K歌应用″，控制器通过运行该″K歌应用″来控制显示设备200的工作和响应与″K歌应用″相关的用户操作。例如，控制在显示器上呈现″K歌应用″的用户界面，″K歌应用″的用户界面上包括若干UI对象，如可操作或者不可操作的项目；响应于接收到的对用户界面上UI对象的用户命令，控制器便可以执行与用户命令选择的对象有关的操作，例如，响应于接收到的与选定的其他用户进行连麦合唱的用户命令，控制器执行与选定的其他用户(即选定的其他用户的终端)的连麦合唱操作。
需要说明的是，″K歌应用″不限于运行于如图1-7示出的显示设备，也可以运行于其他能够提供语音和数据连通功能、并具有无线连接功能的手持式设备，或可以连接到无线调制解调器的其他处理设备，如移动电话(或称为″蜂窝″电话)和具有移动终端的计算机，还可以是便携式、袖珍式、手持式、计算机内置的或车载的移动装置，它们与无线接入网交换数据。
以下结合显示设备，对连麦合唱过程予以详细说明。图8至图13示例性示出了连麦合唱过程中的用户界面变化。
当显示器显示如图8所示的用户界面时，用户可以通过操作控制装置100(如遥控器100A)进入到如图9所示的应用程序中心的界面。例如，用户可以通过控制控制装置的输入而移动选择器在视图显示区中的位置，当选择器选中用于进入应用程序中心的项目(如图8中的″我的应用″)并确定时，显示器显示如图9所示的应用程序中心界面。如图9所示，在应用程序中心界面中显示有各个应用程序对应的图标，如应用程序1、应用程序2......以及″K歌应用″等。
接着，在图9所示的用户界面中，当用户操作控制装置启动″K歌应用″，控制器可以响应于该用户指令，启动″K歌应用″，并在显示器上呈现如图10所示的″K歌应用″的应用界面。
在一些实施例中，K歌应用不作为单独的应用，而作为如图8所示的聚好看应用的一部分，在交互界面的TAB栏中，除去″影视″、″教育″、″游戏″、″应用″等标题外还包括″K歌″标题，用户可以通过移动焦点至不同的标题来进入对应的标题界面，例如，在焦点移动到″K歌″标题后，进入展示歌曲资源的K歌界面。
在一些实施例中，图10所示界面可以是应用界面或K歌界面的一种实施情形，在图10所示界面中呈现出一种可能的歌曲列表，用户可以通过操作控制装置从歌曲列表中选择要合唱的歌曲。
图11为在图10所示歌曲列表中选择一首歌曲后进入的用户界面。该用户界面中显示有所选择的合唱歌曲对应的项目(控件)，具体包括″普通模式演唱″、″实时连麦演唱″、″AR趣味演唱″和″我想听歌″。用户通过移动焦点，来选则不同的项目(控件)，例如，当显示器显示如图11所示的用户界面时，用户可以通过操作控制装置选择″实时连麦演唱″，以输入指示发起连麦合唱的指令。
图12为在图11所示用户界面中选择″实时连麦演唱″后进入的用户界面，具体为连麦合唱发起前的用户界面。该用户界面示例性示出了″实时连麦演唱″对应的多个项目(控件)，具体包括连麦合唱发起步骤说明、至少一种匹配方式对应的功能图标(示例性的，可以以控件的形式)，如″快速匹配″和″同城速配″，和包括至少一个在线好友的好友列表，以及用于邀请其中一个在线好友的项目。在显示器显示如图12所示的用户界面时，用户可以通过操作控制装置操作界面中的项目邀请好友列表中的一个在线好友进行连麦合唱。
在一些实施例中，用户可以选在在线的好友发起用于创建合唱房间业务的创建请求，请求中包含了好友的标识和歌曲的标识，以使的服务器创建好合唱房间业务后根据好友标识和歌曲标识和/或房间业务ID向好友标识对应的其他显示设备发送合唱邀请请求，在其他设备接收合唱邀请请求后加入合唱房间业务来完成歌曲的合唱。
在一些实施例中，用户可以不选择根据通讯录生成的好友列表控件，而是选择快速匹配控件，此时显示设备发起用于创建合唱房间业务的创建请求，请求中包含了要求快速匹配的标识和歌曲标识，以使的服务器创建好合唱房间业务后根据要求快速匹配的标识和歌曲标识和/或房间业务ID向在线的任意用户对应的其他显示设备发送合唱邀请请求，在其他设备接收合唱邀请请求后加入合唱房间业务来完成歌曲的合唱。
在一些实施例中，用户可以不选择根据通讯录生成的好友列表控件，而是选在同城匹配控件，此时显示设备发起用于创建合唱房间业务的创建请求，请求中包含了要求同城匹配的标识和歌曲标识，以使的服务器创建好合唱房间业务后根据要求同城匹配的标识和歌曲标识和/或房间的标识向在线的ip地址或地理位置属于同一城市区域的任意用户对应的其他显示设备发送合唱邀请请求，在其他设备接收合唱邀请请求后加入合唱房间业务来完成歌曲的合唱。
在一些实施例中，任意的用户是正在使用K歌应用或浏览K歌界面的用户。服务器会接收显示设备上传的状态标识，以区分正在使用K歌应用或浏览K歌界面的用户，以及其他用户，避免了同城匹配和快速匹配合唱对其他用户的打扰。
在一些实施例中，任意的用户是要求同城匹配和/或快速匹配，但是没有选中对应曲目的显示设备用户，服务器接收到同城匹配请求和/或快速匹配请求后如果没有携带歌曲标识，则可以作为任意用户去进行匹配。
在一些实施例中，任意用户的其他显示设备是设置了接收同城匹配和/或快速匹配权限的显示设备。
图13为在图12所述用户界面中邀请一个好友进行连麦合唱的用户界面。当显示器显示该用户界面时，显示设备等待服务器创建合唱房间业务以及等待被邀请好友加入合唱房间业务。如图13所示，在用户等待过程中，可以点击界面中用于取消邀请的项目，以取消邀请。
在一些实施例中，背景图可是预设的图片文件，也可以是加载的歌曲的音像文件。
参阅图14，以显示设备200A(或称第一显示设备)和显示设备200B(或称第二显示设备)的交互过程为例，对合唱房间业务的创建过程进行说明。
在一些实施例中，对于显示设备200A，当其显示器显示如图12所示的用户界面时，如果其控制器接收用户通过操作控制装置输入的指示与显示设备200B端用户进行连麦合唱的指令，响应于该指令，控制器发送用于创建合唱房间业务的创建请求至服务器，该创建请求包括显示设备200A的设备信息和显示设备200B的设备信息，其中，显示设备200A的设备信息宝库显示设备200A上″K歌应用″登录的用户信息，显示设备200B的设备信息包括在显示设备200B上″K歌应用″登录的用户信息，该合唱房间业务用于使显示设备200A与显示设备200B进行连麦合唱。
在服务器侧，服务器接收显示设备200A发送的用于创建合唱房间业务的创建请求，根据创建请求中的显示设备200A的设备信息，对显示设备200A进行鉴权；在对显示设备200A鉴权成功的情况下，生成房间业务ID；然后，发送该房间业务ID给显示设备200A，与此同时，根据显示设备200B的设备信息生成携带该房间业务ID的合唱邀请请求，并发送该合唱邀请请求给显示设备200B。
接着，在显示设备200A侧，其接收服务器返回的房间业务ID，根据该房间业务ID访问该房间业务ID对应的合唱房间业务，以与显示设备200B进行连麦合唱。
在显示设备200B侧，其接收服务器发送的合唱邀请请求，响应于对该合唱邀请请求的接收，呈现如图14中显示设备200B呈现的用户界面，接收用户在该界面输入的合唱指令，响应于该合唱指令，根据合唱房间业务ID访问合唱房间业务ID对应的合唱房间业务，以与显示设备200A进行连麦合唱。
在一些实施例中，合唱指令还可以是被邀请的显示设备接收邀请的指令。
在上述示例中，当显示设备200A和显示设备200B同时根据同一合唱房间业务ID访问同一合唱房间业务，显示设备200A与显示设备200B连麦成功。
在一些实施例中，服务器可以根据显示设备200A或者显示设备200B选择的合唱歌曲，向显示设备200A与显示设备200B同步发送媒体流，该媒体流中至少包括合唱歌曲的伴奏音频，当然，显示设备200A或者显示设备200B也可以预先下载该伴奏音频并保存在本地。
在一些实施例中，连麦合唱过程中，显示设备200A和显示设备200B同步播放合唱歌曲的伴奏音频。
在一些实施例中，显示设备200A(和/或显示设备200B)分别通过如麦克风141和摄像头的用户输入接口采集第一音视频(和/或第二音视频)，并通过软编码或者硬编码(例如通过音频处理器260-2和视频处理器260-1进行编码)方式对第一音视频(和/或第二音视频)进行编码，以分别生成第一数据流(和/或第二数据流)，再通过低延时网络通道向服务器发送第一数据流(和/或第二数据流)，服务器则通过低延时网络通道将接收到的第一数据流(和/或第二数据流)转发给相应的对端。
在一些实施例中，第一数据流和/或第二数据流中的图像数据为通过摄像头采集的视频图像数据，或者″K歌应用″为用户提供的虚拟形象数据。
在显示设备200A和显示设备200B任意一侧，将对采集的本端音频数据、接收到的对端数据流中的对端音频数据以及伴奏音频进行叠加播放。如果数据流中还包括视频图像数据或者虚拟形象数据，则可以在显示器上通过窗口排布的方式呈现实时视频合唱的效果。
图15a-图15e具体示出了连麦合唱过程的4种可能的连麦合唱界面。
在一些实施例中，连麦合唱界面包括用于展示本地视频的第一视频窗口、用于展示对端视频的第二视频窗口、歌词展示区及账户信息展示区中的至少一个。账户信息展示区可以展示参与合唱的双端用户的昵称、相互之间的距离以及标签中的至少一个。
如图15a所示，该合唱界面包括连麦成功的双端用户(如用户1和用户2)的视频画面区域(如用户1视频和用户2视频)、双端用户的账户信息(如好友1昵称和好友2昵称)区域和对应歌曲歌词显示区域(如是的我看见......)。
在一些实施例中，连麦合唱界面面包括用于展示本地视频的第一视频窗口、用于展示对端视频的第二视频窗口、用于展示歌曲视频数据的第三视频窗口、歌词展示区及账户信息展示区中的至少一个。账户信息展示区可以展示参与合唱的双端用户的昵称、相互之间的距离，以及标签中的至少一个。
如图15b所示，该用户合唱界面包括连麦成功的双端用户(用户1和用户2)视频画面区域(用户1视频和用户2视频)、双端用户的账户信息区域和对应歌曲视频播放区域(mv视频)。
在一些实施例中，在确定建立连麦合唱后，判断歌曲对应的资源是否包括视频图像资源，如果不包括视频图像资源，仅包含音频资源和歌词资源，则调用图15a所示的界面模板，并按照15a所示的界面进行展示，如果包括视频图像资源，则调用图15b所示的界面模板，并按照15b所示的界面进行展示.。
在一些实施例中，图15b所示界面中的三个视频窗口位于同一图层上。
在一些实施例中，响应于用户输入的预设操作指令，在第一图层中设置用于显示歌曲视频数据的第四视频窗口，在第一图层上方的第二图层中设置用于展示本地视频的第五视频窗口和用于展示对端视频的第六视频窗口，同时关闭第一视频窗口、第二视频窗口、第三视频窗口的显示，将歌曲视频数据在第四视频窗口上进行显示，将本地视频的在第五视频窗口显示，将对端视频在第六视频窗口进行显示。这样可以使用户更加关注歌曲视频。
图15c为在图15b所示界面中用户输入预设操作后进入的用户界面，该界面中包括歌曲视频区域(mv视频)和连麦成功的双端用户视频画面区域。
在一些实施例中，图15b所示界面中的三个视频窗口位于第一图层。
在一些实施例中，第四视频窗口所在的图层铺满整个显示屏的显示区域，第四视频窗口基本全屏显示。
在一些实施例中，在本地和对端均没有摄像头录制权限/或均没有摄像头时，两个显示设备显示图15d所示的界面，在创建合唱房间业务时，显示设备向服务器上传自身的摄像头信息，在服务器确定本地和对端均没有摄像头录制权限/或均没有摄像头时，向两个显示设备发送用于表示无摄像头的标识，以使显示设备加载15d所示的界面。
图15d中，该用户界面为包括连麦成功的双端用户(用户1和用户2)的账户信息区域和对应歌曲歌词显示区域，在图15d对应的连麦合唱过程中，客户端设备未展示连麦成功的双端用户的视频画面区域。
在一些实施例中，可以根据发起方选择的模式，在建立合唱后加载15d所示的界面。示例性的，如果发起方选择的是声音模式，合唱请求和邀请请求中均会包含声音模式的标识，这样两端的显示设备均不会驱动摄像头，显示上会加载15d所示的界面。
需要说明的是，在图15a-图15c所示用户界面中，任意一端用户或两端用户的视频画面区域可以显示用户的真实视频画面，也可以显示用户的虚拟形象画面。示例性地，另一种可能的用户合唱界面如图15e所示，在图15e中，左侧区域展示一端用户(用户A)的真人视频，右侧展示另一端用户(用户B)的虚拟形象。
参阅图16，在一些实施例中，通过音频采集模块(如麦克风141)采集音频数据(如上述示例中显示设备200A采集的第一音频)，并将采集的音频数据实时传输给控制器；通过图像采集模块(如摄像头)用户的视频图像数据，并将采集的视频图像数据实时传输给控制器；通过第一编解码模块(如音频处理器260-2或者视频处理器260-1)对采集的音频数据或者音频数据和视频图像数据进行编码，生成实时数据流；通过收发模块(如通信器)将实时数据流经低延时网络通道发送至对端设备；通过第二编解码模块(如音频处理器260-2或者视频处理器260-1)从接收到的数据流(如显示设备200B发发送的第二数据流)中解析出可播放的音频信号和可显示的图像信号；通过播放模块(如可以包括功放管理器和扬声器)对伴奏音频、本端音频以及对端音频进行叠加和增益处理，并播放；通过显示模块(如显示器)显示如图15a-15e所示的连麦合唱界面。
在一些实施例中，第一编解码模块采用软编解码，第二编解码模块采用硬编解码。
需要说明的是，低延时网络通道是指由网络运营商提供的具有低延时特点的网络通道，至少可以实现较小数据流的低延时传输。本实施例中，可以采用低延时网络通道传输音频数据流，以保证连麦合唱的即时性，对于客户端用户的虚拟形象数据，也可以采用该低延时网络通道传输。
在合唱的任意时刻，用户可以通过点击″K歌应用″的应用界面上的项目以结束合唱；当合唱歌曲的伴奏数据播放完成时，或者说，合唱时长达到合唱歌曲时长时，将自动结束合唱并在应用界面显示相应提示信息用以提示用户。
合唱结束后，用户可以通过操作控制装置输入指示合成合唱作品的合唱指令或者指示删除合唱数据(本端音视频数据、对端音视频数据和伴奏数据)的不保存指令。当控制器接收到合成指令时，响应于该合成指令，将保存在本地的合唱数据进行编码以生成合唱作品。
示例性地，图17示出了合成合唱作品后的提示界面，该界面包括连麦成功的双端用户的视频画面区域(用户1视频和用户2视频)、双端用户的账户信息(如用户1和用户2的昵称和头像)以及至少一个对合唱作品进行操作的提示。
在一些实施例中合唱作品是合唱结束后生成的音视频文件，可以只包括视频数据，也可以只包括音频数据，还可以音视频数据都包括。
在一些实施例中，生成合唱作品后，用户通过操作如图17所示界面中的提示输入指示发布作品的指令，响应于该指令，显示设备控制器将合唱作品上传至服务器以发布作品。
上述连麦合唱过程的缺点在于，生成合唱作品的数据编码过程，将使用户经历长时间等待，不利于用户体验，并且，后续上传合唱作品所需的时间，将造成用户等待时间的叠加。尤其，由于显示设备的硬件功能限制，通常显示设备的数据处理能力较差，因此用户的等待时间将更长。
为了解决上述问题，本申请提供一种连麦合唱作品的生成方法，该方法可以避免合唱结束后生成合唱作品的数据编码过程造成的等待，还可以避免客户端上传作品时造成的等待时间叠加，进而，使用户对连麦合唱的体验更友好。
图18为本申请根据一示例性实施例示出的连麦合唱作品的生成方法流程图，该方法可以应用在服务器，但不仅限于此。
参阅图19，在一些实施例中，服务器可以包括即时通信系统191、业务子系统192和消息子系统193，其中，即时通信系统191用于规范参与合唱的用户设备之间通信接口协议，实现用户设备之间的即时通信；业务子系统192用于处理业务逻辑，消息子系统183用于收发消息，包括向任意子系统或任意用户设备推送定向消息。
如图18所示，该方法可以包括：
步骤101，在第一显示设备与第二显示设备连麦合唱过程中，接收第一显示设备发送的第一数据流和第二显示设备发送的第二数据流，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成。
第一数据流为第一显示设备通过服务器转发给第二显示设备的数据流，第二数据流为第二显示设备通过服务器转发给第一显示设备的数据流。
在一些实施例中，第一数据流和/或第二数据流由第一编解码模块根据音频采集模块采集的音视频数据生成，如第一音频和/或第二音频。
在另一些实施例中，第一数据流和/或第二数据流由第一编解码模块根据音频采集模块采集的音频和图像采集模块采集的视频图像数据生成，如第一音视频和/或第二音视频。
图20示例性示出了第一显示设备与第二显示设备进行连麦合唱的具体过程，为了便于说明，在以下实施例中，将在第一显示设备上K歌应用登录的用户称为第一用户，将在第二显示设备上K歌应用登录的用户称为第二用户。
在图20所示示例中，第一显示设备发送用于创建合唱房间业务的创建请求至服务器，该创建请求中包括第一显示设备信息和第二显示设备信息，该合唱房间业务用于使第一显示设备和第二显示设备实现连麦合唱连接。
在一些实施例中，第二用户可以为第一用户好友列表中的用户，如图12示出的在线好友，也可以是通过″K歌应用″后台预置的匹配算法为第一用户匹配出的用户，如图12示出的如快速匹配或者同城匹配等等。在服务器接收到第一显示设备发送的上述创建请求后，根据第一显示设备信息对第一显示设备进行鉴权，如果鉴权通过，则生成房间业务ID并返回给第一显示设备，与此同时，服务器还需根据第二显示设备信息生成携带该房间业务ID的合唱邀请请求，将合唱邀请请求发送至第二显示设备。
在第一显示设备侧，第一显示设备接收到服务器返回的房间业务ID后，根据房间业务ID调用通信接口协议，访问对应的合唱房间业务，该通信接口协议为服务器规范的用于与第二显示设备实现即时通信的接口协议。
在第二显示设备侧，第二显示设备接收到合唱邀请请求后，呈现如图14中显示设备200B显示的应用界面，第二用户可以通过操作控制装置输入指示接受邀请的指令(即合唱指令)，也可以输入指示拒绝邀请的指令。当第二显示设备接收到指示接受邀请的指令时，第二显示设备根据房间业务ID调用通信接口协议，访问合唱房间业务，进而实现与第一显示设备的即时通信。当第一显示设备和第二显示设备同时访问同一合唱房间业务时，第一显示设备与第二显示设备之间的连麦合唱连接成功。
需要说明的是，本申请实施例中涉及的合唱过程不同于传统K歌应用中提供的合唱服务。具体的，传统的合唱服务是由参与合唱的第一用户先行录制好自己的演唱部分，并生成不完整作品后上传至网络，再由参与合唱的第二用户以该不完整作品作为伴奏录制自己的演唱部分，最终生成第一用户与第二用户的合唱作品。而在本申请实施例中，第一用户和第二用户实时参与合唱，对于任何一端，都需要实时接收对端数据流并进行实时解码并播放。
步骤102，缓存所述第一数据流和所述第二数据流，并将所述第一数据流发送给所述第二显示设备，将所述第二数据流发送给所述第一显示设备。
具体的，服务器将接收到的第一数据流和第二数据流实时保存在缓存中。
步骤103，接收第一显示设备或者第二显示设备发送的合成指令。
在合唱过程中或者合唱结束后，用户可以通过操作应用界面上的项目输入指示合成合唱作品的合成指令，显示设备接收到该合成指令后，将该合成指令发送给服务器。
步骤104，响应于所述合唱指令，根据缓存的所述第一数据流和第二数据流生成合唱作品。
当服务器接收到第一显示设备或者第二显示设备发送的合成指令时，即根据缓存中的第一数据流和第二数据流生成合唱作品。
在一些实施例中，当服务器接收到合成指令时，直接根据缓存中的第一数据流和第二数据流以及合唱歌曲的伴奏数据生成合唱作品并保存，进而，无需第一显示设备和第二显示设备合成及上传合唱作品，至少可以避免上传过程造成的用户等待。
在另一些实施例中，在合唱过程中，服务器对保存的第一数据流和第二数据流进行准实时编码，即，根据预设时长内缓存的所述第一数据流和第二数据流生成临时作品片段，当接收到第一显示设备或者第二显示设备合合成指令时，根据已生成的临时作品片段生成合唱作品。
具体的，每隔预设间隔，根据在预设时长内缓存的第一数据流、第二数据流，以及和对应预设时长的网络伴奏数据，生成与预设时长对应的临时作品片段；通过将最近一次生成的临时作品片段剪辑到上一次生成的临时作品片段生成新的临时作品片段；通过将最后一次生成的临时作品片段剪辑到上一次生成的临时作品片段，得到合成作品。
示例的，以20s为预设时长，以25s为预设间隔，合唱开始后，持续接收并保存第一数据流和第二数据流，当合唱进行到第25s时，根据在第1-20s内接收的数据流生成第一个临时作品片段，当合唱进行到第50s时，根据第21-40s内的数据流生成第二个临时作品片段，并将第二个临时作品片段剪辑到第一个临时作品片段中，形成新的长为40s的临时作品片段。
示例的，合唱过程在持续70s后结束，在合唱结束后，根据在41s-70s接收的数据流生成第三个临时作品片段，当接收到第一显示设备或者第二显示设备发送的合成指令时，将第三个临时作品片段剪辑到前述长为40s的临时作品片段中，形成长70s的合唱作品。
另一示例的，合唱过程在持续70s后结束，在合唱结束后，如果服务器接收到第一显示设备或者第二显示设备发送的合成指令，则根据在41s-70s接收的数据流生成第三个临时作品片段，将第三个临时作品片段剪辑到前述长为40s的临时作品片段中，形成长70s的合唱作品。
另一示例的，以20s为预设时长，以25s为预设间隔，合唱开始后，持续接收并保存第一合唱数据和第二合唱数据，当合唱进行到第25s时，根据在第1-20s内接收的合唱数据生成第一个临时作品片段，当合唱进行到第50s时，根据第21-40s内的合唱数据生成第二个临时作品片段；合唱过程在持续70s后结束，在合唱结束后，根据在41s-70s接收的合唱数据生成第三个临时作品片段；当接收到输入的合成指令时，将第一、第二和第三个临时作品片段剪辑成长为70s的合唱作品。
在上述示例中，服务器保存合唱过程中两端的数据流，并进行准实时编码，得到临时作品片段，当接收到第一显示设备或者第二显示设备发送的合成指令时，可以根据已生成的临时作品片段即可快速生成合唱作品。一方面，由于服务器生成合唱作品的过程大部分在合唱过程中进行，用户无感知且能避免生成过程造成的用户等待，另一方面，由于无需第一显示设备和第二显示设备上传合唱作品，进而也避免了作品上传过程造成的用户等待。
在一些实施例中，服务器根据其生成的合唱作品生成第一合唱记录和第二合唱记录，该第一合唱记录和第二合唱记录均关联到相应合唱作品的访问地址；服务器发送第一合唱记录给第一显示设备和/或发送第二合唱记录给第二显示设备。例如，如果服务器接收到第一显示设备发送的合成指令，则发送第一合唱记录给第一显示设备；如果服务器接收到第二显示设备发送的合成指令，则发送第二合唱记录给第二显示设备。
在一些实施例中，第一合唱记录用于第一显示设备生成第一合唱条目，第二合唱记录用于第二显示设备生成第二合唱条目。其中，第一合唱条目和第二合唱条目为可以在应用界面中显示的可操作项目，当用户操作第一合唱条目或者第二合唱条目，第一显示设备或者第二显示设备响应于用户操作，根据第一合唱条目和第二合唱条目关联的访问地址，访问合唱作品。
在一些实施例中，为了实现对参与合唱的用户的角色区分，在第一合唱条目中，记录第一用户为合唱发起者，记录第二用户为合唱参与者，在第二合唱条目中，记录第二用户为合唱发起者，记录第一用户为合唱参与者。例如，第一合唱条目在第一显示设备的应用界面上显示″我与第二用户发布了一首合唱″，当第一用户点击该合唱条目时，第一显示设备下载合唱作品并播放。
在一些实施例中，在合唱过程中或者在合唱结束后，用户可以通过操作应用界面中的项目，而输入指示服务器删除缓存的第一数据流和第二数据流的指令至显示设备，如果第一显示设备或者第二显示设备接收到该指令，则发送不保存指令给服务器。当服务器发分别接收到第一显示设备和第二显示设备发送的不保存指令时，删除缓存中保存的第一数据流和第二数据流，和/或，删除已生成的临时作品片段。
由以上实施例可知，本申请提供一种连麦合唱作品的生成方法，应用于提供连麦合唱业务的服务器，该方法中，在第一显示设备与第二显示设备连麦合唱过程中，接收第一显示设备发送的第一数据流和第二显示设备发送的第二数据流，该第一数据流由第一显示设备根据采集到的第一音视频生成，该第二数据流由第二显示设备根据采集到的第二音视频生成；缓存第一数据流和第二数据流，并将第一数据流发送给第二显示设备，将第二数据流发送给第一显示设备；接收所述第一显示设备或者第二显示设备发送的合成指令；响应于该合唱指令，根据缓存的第一数据流和第二数据流生成合唱作品。
基于在连麦合唱过程中，需要服务器转发第一数据流和第二数据流，若服务器将接收到的第一数据流和第二数据流进行保存，并在接收到合成指令时，根据保存的数据流生成合唱作品，即可无需显示设备生成合唱作品，也无需显示设备上传作品，因此至少可以避免显示设备上传合唱作品造成的用户等待。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置及设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种连麦合唱作品的生成方法，应用于服务器，其特征在于，所述方法包括：
在第一显示设备与第二显示设备连麦合唱过程中，接收第一显示设备发送的第一数据流和第二显示设备发送的第二数据流，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成；
缓存所述第一数据流和所述第二数据流，并将所述第一数据流发送给所述第二显示设备，将所述第二数据流发送给所述第一显示设备；
接收所述第一显示设备或者第二显示设备发送的合成指令；
响应于所述合成指令，根据缓存的所述第一数据流和第二数据流生成合唱作品。
2.根据权利要求1所述的方法，其特征在于，在所述接收第一显示设备或者第二显示设备发送的合成指令之前，所述方法还包括：
根据预设时长内缓存的所述第一数据流和第二数据流生成临时作品片段；
所述根据缓存的所述第一数据流和第二数据流生成合唱作品包括：
根据所述临时作品片段生成所述合唱作品。
3.根据权利要求2所述的方法，其特征在于，所述根据预设时长内缓存的所述第一数据流和第二数据流生成临时作品片段，包括：
每隔所述预设间隔，根据预设时长内缓存的第一数据流、第二数据流，以及和对应所述预设时长的网络伴奏数据，生成与所述预设时长对应的临时作品片段；
通过将最近一次生成的临时作品片段剪辑到上一次生成的临时作品片段，生成新的临时作品片段；
所述根据所述临时作品片段生成所述合唱作品，包括：
通过将最后一次生成的临时作品片段剪辑到上一次生成的临时作品片段，得到所述合成作品。
4.根据权利要求1所述的方法，其特征在于，在根据缓存的所述第一数据流和第二数据流生成合唱作品之后，所述方法还包括：
根据所述合唱作品生成第一合唱记录和第二合唱记录，所述第一合唱记录和所述第二合唱记录均关联到所述合唱作品的访问地址；
发送所述第一合唱记录给所述第一显示设备和/或发送所述第二合唱记录给所述第二显示设备。
5.根据权利要求1所述的方法，其特征在于，所述接收第一显示设备发送的第一数据流和第二显示设备发送的第二数据流之前，所述方法还包括：
接收第一显示设备发送的用于创建合唱房间业务的创建请求，所述创建请求包括第一显示设备信息和所述第二显示设备信息；
在根据所述第一显示设备信息对所述第一显示设备鉴权成功的情况下，生成房间业务ID；
发送所述房间业务ID给所述第一显示设备，以使所述第一显示设备根据所述房间业务ID访问所述房间业务ID对应的合唱房间业务；
以及，根据所述第二显示设备信息生成携带所述房间业务ID的合唱邀请请求，发送所述合唱邀请请求给所述第二显示设备，以使所述第二显示设备根据所述房间业务ID访问所述房间业务ID对应的合唱房间业务。
6.一种连麦合唱作品的生成方法，应用于服务器，其特征在于，所述方法包括：
在第一显示设备与第二显示设备连麦合唱过程中，接收第一显示设备发送的第一数据流和第二显示设备发送的第二数据流，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成；
缓存所述第一数据流和所述第二数据流，并将所述第一数据流发送给所述第二显示设备，将所述第二数据流发送给所述第一显示设备；
在合唱结束后，若接收到第一显示设备或者第二显示设备发送的合成指令，则根据缓存的所述第一数据流和第二数据流生成合唱作品；若接收到第一显示设备和第二显示设备发送的不保存指令，则删除缓存的所述第一数据流和第二数据流。
7.一种连麦合唱作品的生成方法，应用于第一显示设备，其特征在于，所述方法包括：
在与第二显示设备连麦合唱过程中，利用低延时网络通道发送第一数据流至服务器，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第一数据流用于使所述服务器缓存并发送给第二显示设备；
接收第二数据流，其中，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成，所述第二数据流通过所述服务器转发给所述第一显示设备，所述第二数据流缓存在所述服务器中；
接收用户输入的合成指令，并发送所述合成指令给所述服务器，所述合成指令用于指示所述服务器根据缓存的所述第一数据流和第二数据流生成合唱作品。
8.一种连麦合唱作品的生成方法，应用于第一显示设备，其特征在于，所述方法包括：
在与第二显示设备连麦合唱过程中，利用低延时网络通道发送第一数据流至服务器，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第一数据流用于使所述服务器缓存并发送给第二显示设备；
接收第二数据流，其中，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成，所述第二数据流通过所述服务器转发给所述第一显示设备，所述第二数据流缓存在所述服务器中；
在合唱结束后，接收用户输入的合成指令或者不保存指令，并发送所述合成指令或者不保存指令给服务器，所述所述合成指令用于指示所述服务器根据缓存的所述第一数据流和第二数据流生成合唱作品，所述不保存指令用于指示所述服务器删除缓存的所述第一数据流和第二数据流。
9.一种显示设备，其特征在于，包括：
显示器，用于显示用于连麦合唱的用户界面；
用户输入接口，用于接收用户输入的音视频数据；
控制器，用于：
在与第二显示设备连麦合唱过程中，利用低延时网络通道发送第一数据流至服务器，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第一数据流用于使所述服务器缓存并发送给第二显示设备；
接收第二数据流，其中，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成，所述第二数据流通过所述服务器转发给所述第一显示设备，所述第二数据流缓存在所述服务器中；
接收用户输入的合成指令，并发送所述合成指令给所述服务器，所述合成指令用于指示所述服务器根据缓存的所述第一数据流和第二数据流生成合唱作品。
10.一种显示设备，其特征在于，包括：
显示器，用于显示用于连麦合唱的用户界面；
用户输入接口，用于接收用户输入的音视频数据；
控制器，用于：
在与第二显示设备连麦合唱过程中，利用低延时网络通道发送第一数据流至服务器，所述第一数据流由所述第一显示设备根据采集到的第一音视频生成，所述第一数据流用于使所述服务器缓存并发送给第二显示设备；
接收第二数据流，其中，所述第二数据流由所述第二显示设备根据采集到的第二音视频生成，所述第二数据流通过所述服务器转发给所述第一显示设备，所述第二数据流缓存在所述服务器中；
在合唱结束后，接收用户输入的合成指令或者不保存指令，并发送所述合成指令或者不保存指令给服务器，所述所述合成指令用于指示所述服务器根据缓存的所述第一数据流和第二数据流生成合唱作品，所述不保存指令用于指示所述服务器删除缓存的所述第一数据流和第二数据流。
CN202010254078.1A 2019-09-19 2020-04-02 连麦合唱作品的生成方法和显示设备 Active CN112533023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/110862 WO2021052115A1 (zh) 2019-09-19 2020-08-24 演唱作品的生成方法、发布方法和显示设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910886378 2019-09-19
CN2019108863789 2019-09-19

Publications (2)

Publication Number Publication Date
CN112533023A true CN112533023A (zh) 2021-03-19
CN112533023B CN112533023B (zh) 2022-02-25

Family

ID=74978638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010254078.1A Active CN112533023B (zh) 2019-09-19 2020-04-02 连麦合唱作品的生成方法和显示设备

Country Status (1)

Country Link
CN (1) CN112533023B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114760520A (zh) * 2022-04-20 2022-07-15 广州方硅信息技术有限公司 直播中小视频拍摄互动方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5518408A (en) * 1993-04-06 1996-05-21 Yamaha Corporation Karaoke apparatus sounding instrumental accompaniment and back chorus
JP2014199373A (ja) * 2013-03-30 2014-10-23 株式会社第一興商 ネットワーク合唱における演奏開始同期システム
CN107665703A (zh) * 2017-09-11 2018-02-06 上海与德科技有限公司 一种多用户的音频合成方法和系统以及远程服务器
CN109862388A (zh) * 2019-04-02 2019-06-07 网宿科技股份有限公司 直播视频集锦的生成方法、装置、服务器及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5518408A (en) * 1993-04-06 1996-05-21 Yamaha Corporation Karaoke apparatus sounding instrumental accompaniment and back chorus
JP2014199373A (ja) * 2013-03-30 2014-10-23 株式会社第一興商 ネットワーク合唱における演奏開始同期システム
CN107665703A (zh) * 2017-09-11 2018-02-06 上海与德科技有限公司 一种多用户的音频合成方法和系统以及远程服务器
CN109862388A (zh) * 2019-04-02 2019-06-07 网宿科技股份有限公司 直播视频集锦的生成方法、装置、服务器及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114760520A (zh) * 2022-04-20 2022-07-15 广州方硅信息技术有限公司 直播中小视频拍摄互动方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112533023B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN112533037B (zh) 连麦合唱作品的生成方法和显示设备
CN112073797B (zh) 一种音量调节方法及显示设备
WO2021031623A1 (zh) 显示设备、分享文件的方法和服务器
CN112073798B (zh) 一种数据传输方法及设备
CN112399263A (zh) 一种互动方法、显示设备及移动终端
CN112073770B (zh) 显示设备及视频通讯数据处理方法
CN112399264B (zh) 一种放映厅业务管理方法及应用
CN112788378B (zh) 显示设备与内容显示方法
CN111385631B (zh) 一种显示设备、通信方法及存储介质
CN112528051B (zh) 一种演唱作品的发布方法、显示设备及服务器
WO2020248699A1 (zh) 一种声音处理法及显示设备
CN112995733B (zh) 一种显示设备、设备发现方法及存储介质
CN112533056B (zh) 一种显示设备及声音再现方法
CN112463267B (zh) 在显示设备屏幕上呈现屏保信息的方法及显示设备
CN112533023B (zh) 连麦合唱作品的生成方法和显示设备
CN112839254A (zh) 显示设备与内容显示方法
CN112399225B (zh) 放映厅业务管理方法及显示设备
CN112073812B (zh) 一种智能电视上的应用管理方法及显示设备
CN113448529A (zh) 显示设备和音量调节方法
CN112073777A (zh) 一种语音交互方法及显示设备
CN112073773A (zh) 一种屏幕互动方法、装置及显示设备
WO2021052115A1 (zh) 演唱作品的生成方法、发布方法和显示设备
CN112073826B (zh) 合录音视频作品状态显示方法、服务器及终端设备
CN112071312B (zh) 一种语音控制方法及显示设备
CN112073772B (zh) 基于双系统的按键无缝传递方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant