CN105763832A - 一种视频互动、控制方法及装置 - Google Patents

Abstract

本发明公开了一种视频互动、控制方法及装置，用以解决多人视频互动的场景需求，实现多人视频互动，增加与主客户端进行视频互动的互动客户端数量，且降低设备成本。所述视频互动控制方法，包括：互动服务器接入主客户端和至少一个从客户端后，在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端；所述互动服务器接收所述主客户端以及所述互动客户端的视频信息；所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至所述主客户端以及所述互动客户端。

Description

一种视频互动、控制方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种视频互动、控制方法及装置。

背景技术

网页实时通信(WebReal-TimeCommunication，WebRTC)，是一个支持网页浏览器进行实时语音对话或视频对话的技术。WebRTC是一个由谷歌(google)发起，众多公司支持的浏览器点对点通话的技术，目前谷歌浏览器(chrome)、火狐浏览器(firefox)、欧朋浏览器(opra)均支持WebRTC点对点通话。WebRTC技术能让开发者无需关注多媒体的数字信号处理过程，只需编写简单的编程描述语言(Javascript)程序即可实现两个浏览器之间的视频通话。WebRTC首先在两个浏览器之间建立实时通信端对端连接(RTCPeerConnection)的通道，然后在通道中传输音视频数据或者其他数据。

随着网络带宽的增长、终端处理能力的增强，越来越多的用户使用视频点播、视频通话、视频互动等业务。视频互动占有的比例越来越多。视频互动中一种典型场景是：一个主讲者进行演讲，若干个观众进行观看，其中部分观众可能会和演讲者进行视频互动。

这就需要多人视频互动，现有技术中主要有以下解决方案：

方案一：采用传统视频会议的方式。传统视频会议方案也能部分实现视频互动的需求，例如：在主讲者演讲前，建立一个视频会议，需要视频互动的参与者提前接入此视频会议，进行视频互动，有需要视频互动的地方，都需要安装专用的视频会议终端。这种方案，一方面视频会议终端设备比较昂贵，终端设备费用较高；另一方面传统视频会议的参与方比较少，2-4方较为常见，没法做到多人参与，如果参与方较多，费用会急剧增加。

方案二：直接采用WebRTC的方式。WebRTC技术本身只提供点对点的视频对话，这种方式只适合一对一的交流，没法满足多人视频交互的需求。

综上所述，现有技术中视频会议的视频互动方案中视频互动的参与方固定且支持的参与方较少，WebRTC的方案只能支持点对点的视频对话，无法进行多人视频互动。

发明内容

本发明实施例提供了一种视频互动、控制方法及装置，用以解决多人视频互动的场景需求，实现多人视频互动，增加与主客户端进行视频互动的互动客户端数量，且降低设备成本。

本发明实施例提供的一种视频互动控制方法，该方法包括：互动服务器接入主客户端和至少一个从客户端后，在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端；所述互动服务器接收所述主客户端以及所述互动客户端的视频信息；所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至所述主客户端以及所述互动客户端。

本发明实施例提供的上述方法中，通过在WebRTC方案中增加互动服务器，互动服务器确定当前与主客户端进行视频互动的至少一个互动客户端，接收主客户端和互动客户端的视频信息，并对主客户端和互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至主客户端和互动客户端，实现主客户端和至少一个互动客户端的视频互动，与现有技术中视频会议的方案相比，增加了与主客户端进行视频互动的互动客户端的数量，而且能够灵活的确定进行视频互动的互动客户端，且基于WebRTC实现多方视频互动，降低设备成本。

在一种可能的实施方式中，本发明实施例提供的上述方法中，所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至所述主客户端以及所述互动客户端，包括：所述互动服务器对所述互动客户端的视频信息进行混屏处理，得到第一混屏视频信息，并将所述第一混屏视频信息发送至所述主客户端；以及，所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理，得到第二混屏视频信息，并将所述第二混屏视频信息发送至所述互动客户端。

在一种可能的实施方式中，本发明实施例提供的上述方法中，该方法还包括：所述互动服务器将所述主客户端的视频信息或所述第二混屏视频信息发送至除主客户端和互动客户端之外的其它从客户端。

在一种可能的实施方式中，本发明实施例提供的上述方法中，所述互动服务器对所述互动客户端的视频信息进行混屏处理，包括：所述互动服务器接收所述主客户端确定的混屏策略信息；所述互动服务器根据所述混屏策略信息对所述互动客户端的视频信息进行混屏处理。

在一种可能的实施方式中，本发明实施例提供的上述方法中，所述互动服务器在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端，包括：所述互动服务器接收所述主客户端发送的用以指示开始视频互动的互动开始指令；所述互动服务器将所述互动开始指令转发至所述多个从客户端；所述互动服务器接收从客户端发送的标识信息和视频互动请求；所述互动服务器在发送视频互动请求的从客户端中确定至少一个互动客户端，将所述互动客户端的标识信息添加到预先存储的互动等待列表中，并向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息，向发送视频互动请求的从客户端中未被确定为互动客户端的从客户端发送用于指示拒绝视频互动的响应信息；所述互动服务器将所述互动等待列表发送至所述主客户端，以供所述主客户端确定当前进行视频互动的至少一个互动客户端；所述互动服务器接收所述主客户端确定的当前进行视频互动的互动客户端的标识信息；所述互动服务器向所述主客户端确定的当前进行视频互动的互动客户端发送用以指示立即进行视频互动的请求信息；当所述互动服务器接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，所述互动服务器确定该互动客户端为当前与所述主客户端进行视频互动的互动客户端。

本发明实施例提供的上述方法中，由主客户端确定当前进行视频互动的互动客户端的标识信息，也即由主客户端确定当前进行视频互动的互动客户端，主客户端可以和不同的互动客户端依次进行视频互动，主客户端可以和不同的互动客户端依次进行混屏，与现有技术中视频会议固定的混屏方式相比，增加了混屏方式的灵活性，使得视频互动的方式更加灵活。

在一种可能的实施方式中，本发明实施例提供的上述方法中，所述互动服务器向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息之后，该方法还包括：所述互动服务器接收所述互动客户端的视频信息；所述互动服务器将所述视频信息发送至该互动客户端；当所述互动服务器接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，所述互动服务器停止将该互动客户端的视频信息发送至该互动客户端。

在一种可能的实施方式中，本发明实施例提供的上述方法中，所述互动服务器接收所述主客户端以及所述互动客户端的视频信息为第一格式的视频信息；所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理为对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理；该方法还包括：所述互动服务器将所述第一格式的视频信息转换为第二格式的视频信息；所述互动服务器对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理，生成第二格式的混屏视频信息，并将所述第二格式的混屏视频信息转换为第一格式的混屏视频信息发送至所述主客户端以及所述互动客户端。

在一种可能的实施方式中，本发明实施例提供的上述方法中，该方法还包括：所述互动服务器接收所述主客户端以及所述互动客户端的视频码率请求信息，该视频码率请求信息中包括所述主客户端以及所述互动客户端请求的视频码率；所述互动服务器根据所述视频码率请求信息将所述第一格式的混屏视频信息转换为对应的视频码率，并分别发送至请求该视频码率的主客户端以及互动客户端。

本发明实施例提供的一种视频互动方法，该方法包括：主客户端向互动服务器发送用以指示开始视频互动的互动开始指令；所述主客户端接收所述互动服务器发送的包括至少一个互动客户端的标识信息的互动等待列表；所述主客户端在所述互动等待列表中确定当前进行视频互动的互动客户端的标识信息，并将确定的互动客户端的标识信息发送至所述互动服务器；所述主客户端接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的。

本发明实施例提供的上述方法中，由主客户端确定当前进行视频互动的互动客户端的标识信息，也即由主客户端确定当前进行视频互动的互动客户端，主客户端可以和不同的互动客户端依次进行视频互动，主客户端可以和不同的互动客户端依次进行混屏，与现有技术中视频会议固定的混屏方式相比，增加了混屏方式的灵活性，使得视频互动的方式更加灵活。

在一种可能的实施方式中，本发明实施例提供的上述方法中，该方法还包括：所述主客户端向所述互动服务器发送混屏策略信息，以指示所述互动服务器根据该混屏策略信息对所述互动客户端的视频信息进行混屏处理；所述主客户端接收所述互动服务器发送的混屏视频信息，具体为：所述主客户端接收所述互动服务器发送的根据所述混屏策略信息对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的混屏视频信息。

在一种可能的实施方式中，本发明实施例提供的上述方法中，该方法还包括：所述主客户端向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述主客户端请求的视频码率；所述主客户端接收所述互动服务器发送的混屏视频信息，具体为：所述主客户端接收所述互动服务器发送的所述视频码率的混屏视频信息。

本发明实施例提供的一种视频互动方法，该方法包括：从客户端接收互动服务器发送的用以指示开始视频互动的互动开始指令；所述从客户端向所述互动服务器发送自身的标识信息和视频互动请求；所述从客户端接收所述互动服务器发送的用以指示同意视频互动的响应信息；所述从客户端接收所述互动服务器发送的用以指示立即进行视频互动的请求信息；所述从客户端向所述互动服务器发送用以指示立即进行视频互动的确定信息；所述从客户端接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的。

本发明实施例提供的上述方法中，从客户端在接收到互动服务器发送的开始视频互动的互动开始指令时，均可以向互动服务器发送视频互动请求，在接收到互动服务器的发送的用意指示同意视频互动的响应消息后，即确定能够与主客户端进行视频互动，与现有技术中WebRTC只能支持点对点的视频对话相比，从客户端能够请求与主客户端进行视频互动，并接收互动服务器发送的混屏视频信息，实现了多方视频互动。

在一种可能的实施方式中，本发明实施例提供的上述方法中，该方法还包括：所述从客户端向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述互动客户端请求的视频码率；所述从客户端接收所述互动服务器发送的混屏视频信息，具体为：所述从客户端接收所述互动服务器发送的所述视频码率的混屏视频信息。

本发明实施例提供的一种视频互动控制装置，包括：控制模块，用于在所述控制模块所在的互动服务器接入主客户端和至少一个从客户端后，在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端；接收模块，用于接收所述主客户端以及所述互动客户端的视频信息；视频处理模块，连接至所述控制模块和所述接收模块，用于对所述主客户端以及所述互动客户端的视频信息进行混屏处理，生成混屏视频信息；发送模块，连接至所述视频处理模块，用于将所述混屏视频信息发送至所述主客户端以及所述互动客户端。

本发明实施例提供的上述装置中，通过在WebRTC方案中增加视频互动控制装置，视频互动控制装置确定当前与主客户端进行视频互动的至少一个互动客户端，接收主客户端和互动客户端的视频信息，并对主客户端和互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至主客户端和互动客户端，实现主客户端和至少一个互动客户端的视频互动，与现有技术中视频会议的方案相比，增加了与主客户端进行视频互动的互动客户端的数量，而且能够灵活的确定进行视频互动的互动客户端，且基于WebRTC实现多方视频互动，降低设备成本。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述视频处理模块具体用于：所述视频处理模块对所述互动客户端的视频信息进行混屏处理，得到第一混屏视频信息；以及，对所述主客户端以及所述互动客户端的视频信息进行混屏处理，得到第二混屏视频信息；所述发送模块具体用于：所述发送模块将所述第一混屏视频信息发送至所述主客户端；以及，将所述第二混屏视频信息发送至所述互动客户端。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述视频处理模块还用于将所述主客户端的视频信息或所述第二混屏视频信息发送至除主客户端和互动客户端之外的其它从客户端。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述视频处理模块对所述互动客户端的视频信息进行混屏处理，包括：所述控制模块接收所述主客户端确定的混屏策略信息；所述视频处理模块根据所述混屏策略信息对所述互动客户端的视频信息进行混屏处理。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述控制模块在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端，包括：所述控制模块接收所述主客户端发送的用以指示开始视频互动的互动开始指令；所述控制模块将所述互动开始指令转发至所述多个从客户端；所述控制模块接收从客户端发送的标识信息和视频互动请求；所述控制模块在发送视频互动请求的从客户端中确定至少一个互动客户端，将所述互动客户端的标识信息添加到预先存储的互动等待列表中，并向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息，向发送视频互动请求的从客户端中未被确定为互动客户端的从客户端发送用于指示拒绝视频互动的响应信息；所述控制模块将所述互动等待列表发送至所述主客户端，以供所述主客户端确定当前进行视频互动的至少一个互动客户端；所述控制模块接收所述主客户端确定的当前进行视频互动的互动客户端的标识信息；所述控制模块向所述主客户端确定的当前进行视频互动的互动客户端发送用以指示立即进行视频互动的请求信息；当所述控制模块接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，所述控制模块确定该互动客户端为当前与所述主客户端进行视频互动的互动客户端。

本发明实施例提供的上述装置中，由主客户端确定当前进行视频互动的互动客户端的标识信息，也即由主客户端确定当前进行视频互动的互动客户端，主客户端可以和不同的互动客户端依次进行视频互动，主客户端可以和不同的互动客户端依次进行混屏，与现有技术中视频会议固定的混屏方式相比，增加了混屏方式的灵活性，使得视频互动的方式更加灵活。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述控制模块向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息之后，所述控制模块还用于：所述控制模块接收所述互动客户端的视频信息；所述控制模块将所述视频信息发送至该互动客户端；当所述控制模块接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，所述控制模块停止将该互动客户端的视频信息发送至该互动客户端。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述接收模块接收所述主客户端以及所述互动客户端的视频信息为第一格式的视频信息；所述视频处理模块对所述主客户端以及所述互动客户端的视频信息进行混屏处理为对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理；该装置还包括：第一码流转换模块，连接在所述接收模块和所述视频处理模块之间，用于将所述第一格式的视频信息转换为第二格式的视频信息；第二码流转换模块，连接在所述发送模块和所述视频处理模块之间，用于将所述视频处理模块对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理，生成第二格式的混屏视频信息转换为第一格式的混屏视频信息发送至所述主客户端以及所述互动客户端。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述接收模块还用于接收所述主客户端以及所述互动客户端的视频码率请求信息，该视频码率请求信息中包括所述主客户端以及所述互动客户端请求的视频码率；所述视频处理模块还用于根据所述视频码率请求信息将所述第一格式的混屏视频信息转换为对应的视频码率，并分别发送至请求该视频码率的主客户端以及互动客户端。

本发明实施例提供的一种视频互动装置，包括：发送模块，用于向互动服务器发送用以指示开始视频互动的互动开始指令；接收模块，用于接收所述互动服务器发送的包括至少一个互动客户端的标识信息的互动等待列表；处理模块，连接至所述发送模块和所述接收模块，用于在所述互动等待列表中确定当前进行视频互动的互动客户端的标识信息，并将确定的互动客户端的标识信息发送至所述互动服务器；所述接收模块还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的。

本发明实施例提供的上述装置中，由该视频互动装置确定当前进行视频互动的互动客户端的标识信息，也即由该视频互动装置确定当前进行视频互动的互动客户端，该视频互动装置可以和不同的互动客户端依次进行视频互动，该视频互动装置可以和不同的互动客户端依次进行混屏，与现有技术中视频会议固定的混屏方式相比，增加了混屏方式的灵活性，使得视频互动的方式更加灵活。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述发送模块还用于向所述互动服务器发送混屏策略信息，以指示所述互动服务器根据该混屏策略信息对所述互动客户端的视频信息进行混屏处理；所述接收模块接收所述互动服务器发送的混屏视频信息，具体为：所述接收模块接收所述互动服务器发送的根据所述混屏策略信息对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的混屏视频信息。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述发送模块还用于向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述主客户端请求的视频码率；所述接收模块接收所述互动服务器发送的混屏视频信息，具体为：所述接收模块接收所述互动服务器发送的所述视频码率的混屏视频信息。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述接收模块还用于接收互动服务器发送的用以指示开始视频互动的互动开始指令；所述发送模块，还用于向所述互动服务器发送自身的标识信息和视频互动请求；所述接收模块还用于接收所述互动服务器发送的用以指示同意视频互动的响应信息；所述接收模块还用于接收所述互动服务器发送的用以指示立即进行视频互动的请求信息；所述发送模块还用于向所述互动服务器发送用以指示立即进行视频互动的确定信息；所述接收模块还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的。

本发明实施例提供的一种视频互动装置，包括：接收模块，用于接收互动服务器发送的用以指示开始视频互动的互动开始指令；发送模块，连接至所述接收模块，用于向所述互动服务器发送自身的标识信息和视频互动请求；所述接收模块还用于接收所述互动服务器发送的用以指示同意视频互动的响应信息；所述接收模块还用于接收所述互动服务器发送的用以指示立即进行视频互动的请求信息；所述发送模块还用于向所述互动服务器发送用以指示立即进行视频互动的确定信息；所述接收模块还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的，其中，所述从客户端包括所述接收模块所在的从客户端。

本发明实施例提供的上述方法中，该视频互动装置在接收到互动服务器发送的开始视频互动的互动开始指令时，可以向互动服务器发送视频互动请求，在接收到互动服务器的发送的用意指示同意视频互动的响应消息后，即确定能够与主客户端进行视频互动，与现有技术中WebRTC只能支持点对点的视频对话相比，该视频互动装置能够请求与主客户端进行视频互动，并接收互动服务器发送的混屏视频信息，实现了多方视频互动。

在一种可能的实施方式中，本发明实施例提供的上述装置中，所述发送模块还用于向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括该发送模块所在从客户端请求的视频码率；所述接收模块接收所述互动服务器发送的混屏视频信息，具体为：所述接收模块接收所述互动服务器发送的所述视频码率的混屏视频信息。

附图说明

图1为示出了本发明实施例提供的一种视频互动控制方法的流程示意图；

图2为示出了本发明实施例提供的视频互动控制方法的具体流程示意图；

图3示出了本发明实施例提供的互动参与者侧画面切换的流程示意图；

图4示出了本发明实施例提供的主客户端侧视频互动方法的流程示意图；

图5示出了本发明实施例提供的从客户端侧视频互动方法的流程示意图；

图6示出了本发明实施例提供的视频互动系统的结构示意图；

图7A-7B示出了本发明实施例提供的一种视频互动控制装置的结构示意图；

图8示出了本发明实施例提供的另一种视频互动控制装置的结构示意图；

图9示出了本发明实施例提供的主客户端侧视频互动装置的结构示意图；

图10示出了本发明实施例提供的从客户端侧视频互动装置的结构示意图。

具体实施方式

下面结合附图，对本发明实施例提供的一种视频互动、控制方法及装置的具体实施方式进行详细地说明。

需要说明的是，较佳地，本发明实施例中提到的主客户端和从客户端可以是基于WebRTC引擎的客户端，也可以是专用客户端，采用websocket协议的方式与互动服务器相连接；还可以是符合WebRTC标准的浏览器，采用用户数据报协议(UserDatagramProtocol，UDP)或者传输控制协议(TransferControlProtocol，TCP)方式与互动服务器相连接。

在网络侧，本发明实施例提供的一种视频互动控制方法，如图1所示，该方法包括：

步骤102，互动服务器接入主客户端和至少一个从客户端后，在从客户端中确定当前与主客户端进行视频互动的至少一个互动客户端；

步骤104，互动服务器接收主客户端以及互动客户端的视频信息；

步骤106，互动服务器对主客户端以及互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至主客户端以及互动客户端。

本发明实施例提供的方法中，通过在WebRTC方案中增加互动服务器，互动服务器确定当前与主客户端进行视频互动的至少一个互动客户端，接收主客户端和互动客户端的视频信息，并对主客户端和互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至主客户端和互动客户端，实现主客户端和至少一个互动客户端的视频互动，与现有技术中视频会议的方案相比，增加了与主客户端进行视频互动的互动客户端的数量，而且能够灵活的确定进行视频互动的互动客户端，且基于WebRTC实现多方视频互动，降低设备成本。

值得说明的是，互动服务器虚拟peerconnection，提供和客户端(包括主客户端和至少一个从客户端)的视频流的接口，向客户端发送或者从客户端接收视频流，对应于每一个客户端，虚拟一对peerconnection发送和接收端口。互动服务器负责视频互动的控制、视频流的接收、混屏、转发等。其中，对视频信息的混屏处理是指将多个视频图像同时在同一屏幕中进行显示。

在一种可能的实施方式中，本发明实施例提供的方法中，互动服务器对主客户端以及互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至主客户端以及互动客户端，包括：互动服务器对互动客户端的视频信息进行混屏处理，得到第一混屏视频信息，并将第一混屏视频信息发送至主客户端；以及，互动服务器对主客户端以及互动客户端的视频信息进行混屏处理，得到第二混屏视频信息，并将第二混屏视频信息发送至互动客户端。

具体实施时，在进行视频互动时，主客户端显示至少一个互动客户端的混屏视频信息，互动客户端显示主客户端和至少一个互动客户端的混屏视频信息。

作为较为具体的实施例，假设T1时间，主客户端和互动客户端A进行视频互动，则互动服务器将互动客户端A的视频信息发送至主客户端，主客户端显示互动客户端A的视频信息，互动服务器将主客户端和互动客户端A的视频信息进行混屏并发送至互动客户端A，互动客户端A显示主客户端和互动客户端A的混屏视频信息；随后在T2时间，主客户端和互动客户端B、互动客户端C进行视频互动，则互动服务器停止接收互动客户端A的视频信息，接收互动客户端B、互动客户端C的视频信息，将互动客户端B、互动客户端C的视频信息进行混屏处理并发送至主客户端，主客户端显示互动客户端B和互动客户端C的混屏视频信息，互动服务器将主客户端、互动客户端B和互动客户端C的视频信息进行混屏处理并发送至互动客户端B和互动客户端C，互动客户端B和互动客户端C显示主客户端、互动客户端B和互动客户端C的混屏视频信息，在视频互动结束，停止接收互动客户端B和互动客户端C的视频信息。

当然，本领域技术人员应当理解的是，在本发明的其它实施例中，主客户端也可以显示主客户端和互动客户端的混屏视频信息。

在一种可能的实施方式中，本发明实施例提供的方法中，该方法还包括：互动服务器将主客户端的视频信息或第二混屏视频信息发送至除主客户端和互动客户端之外的其它从客户端。

具体实施时，在进行视频互动时，除主客户端和互动客户端之外的其它从客户端可以显示主客户端的视频信息，也可以选择主客户端和互动客户端的混屏视频信息。作为较为具体的实施例，除主客户端和互动客户端之外的其它从客户端具体显示的视频信息可由从客户端进行选择。

需要说明的是，互动服务器还可以提供直播流格式的视频信息进行直播，以供未接入该互动服务器的其它观众进行观看，直播流格式可以是rtmp、HLS、rtsp或者WebRTC形式。

在一种可能的实施方式中，本发明实施例提供的方法中，互动服务器对互动客户端的视频信息进行混屏处理，包括：互动服务器接收主客户端确定的混屏策略信息；互动服务器根据混屏策略信息对互动客户端的视频信息进行混屏处理。

具体实施时，若当前与主客户端进行视频互动的互动客户端为一个时，则主客户端显示该互动客户端的视频信息，若当前与主客户端进行视频互动的客户端为多个时，则主客户端显示多个互动客户端的混屏视频信息，其中，多个互动客户端的混屏策略信息可以由主客户端选择，具体来说：混屏策略信息包括几路视频信息进行混屏，例如：2路、4路、9路、16路等，还可以包括多个互动客户端的画面模式，例如：等大小模式，即多个互动客户端的视频画面大小相同；某一互动客户端优先模式，即优先的互动客户端的视频画面为大画面，其他互动客户端为小画面，当然，此处并不用于具体限定，还可以是其它混屏组合方式。在本发明的其它实施例中，该混屏策略信息也可以采用互动服务器内置的混屏策略信息。

需要说明的是，互动服务器对主客户端和互动客户端的视频信息进行混屏处理，生成第二混屏视频信息发送至互动客户端，其中，对主客户端和互动客户端的视频信息进行混屏处理的混屏策略信息可以由主客户端确定，也可以由互动客户端确定，还可以采用互动服务器内置的混屏策略信息进行混屏处理。

在一种可能的实施方式中，本发明实施例提供的方法中，互动服务器在从客户端中确定当前与主客户端进行视频互动的至少一个互动客户端，包括：互动服务器接收主客户端发送的用以指示开始视频互动的互动开始指令；互动服务器将互动开始指令转发至多个从客户端；互动服务器接收从客户端发送的标识信息和视频互动请求；互动服务器在发送视频互动请求的从客户端中确定至少一个互动客户端，将互动客户端的标识信息添加到预先存储的互动等待列表中，并向互动等待列表中的从客户端发送用于指示同意视频互动的响应信息，向发送视频互动请求的从客户端中未被确定为互动客户端的从客户端发送用于指示拒绝视频互动的响应信息；互动服务器将互动等待列表发送至主客户端，以供主客户端确定当前进行视频互动的至少一个互动客户端；互动服务器接收主客户端确定的当前进行视频互动的互动客户端的标识信息；互动服务器向主客户端确定的当前进行视频互动的互动客户端发送用以指示立即进行视频互动的请求信息；当互动服务器接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，互动服务器确定该互动客户端为当前与主客户端进行视频互动的互动客户端。

本发明实施例提供的方法中，由主客户端确定当前进行视频互动的互动客户端的标识信息，也即由主客户端确定当前进行视频互动的互动客户端，主客户端可以和不同的互动客户端依次进行视频互动，主客户端可以和不同的互动客户端依次进行混屏，与现有技术中视频会议固定的混屏方式相比，增加了混屏方式的灵活性，使得视频互动的方式更加灵活。其中，客户端(包括主客户端和从客户端)通过会话启动协议(SessionInitiationProtocol，SIP)传输信息。

下面结合图2对本发明实施例提供的视频互动控制方法进行说明，其中，互动客户端23和从客户端24均属于从客户端，互动客户端23为与主客户端21进行视频互动的从客户端。

如图2所示，本发明实施例提供的视频互动控制方法，包括：

步骤202，主客户端21、互动客户端23和从客户端24注册到互动服务器22，即主客户端21、互动客户端23和从客户端24接入互动服务器。

步骤204，主客户端21发送视频信息至互动服务器22，则互动服务器22将主客户端21的视频信息发送至互动客户端23和从客户端24进行显示。

步骤206，主客户端21发送互动开始指令至互动服务器22，该互动开始指令用于指示开始进行视频互动。

步骤208，互动服务器22将互动开始指令转发至接入互动服务器22的从客户端24。

步骤210，从客户端24发送自身标识信息和视频互动请求至互动服务器22，请求与主客户端21进行视频互动。

步骤212，互动服务器22在所有发送视频互动请求的从客户端24中确定进行视频互动的互动客户端23，并将确定的互动客户端23的标识信息添加到互动等待列表，当然，互动服务器22向互动等待列表中的从客户端24回复用于指示同意视频互动的响应消息，向发送视频互动请求中未被确定为互动客户端23的从客户端24回复用于指示拒绝视频互动的响应信息，则被拒绝的从客户端24不能与主客户端21进行视频互动，其中，互动服务器22在发送视频互动请求的从客户端24中确定互动客户端23，可以根据系统容量确定，也可以随机选择，当然，此处并不用于具体限定，在本发明的其它实施例中还可以以其它方式确定，例如：根据申请时间顺序、从客户端的优先级顺序。

步骤214，互动客户端23发送视频信息至互动服务器22，则互动服务器22将互动客户端23的视频信息发送至互动客户端23，也即互动客户端23本地回放视频信息，以便互动客户端23调整视频采集设备的位置，调整视频的实现状态。

步骤216，互动服务器22将互动等待列表发送至主客户端21。

步骤218，主客户端21在互动等待列表中选择至少一个互动客户端23，并将选择的互动客户端23的标识信息发送至互动服务器22，开始本轮的视频互动，需要说明的是，当互动客户端较多时，为保证视频互动质量，可以分为多轮进行视频互动，作为较佳的实施例，可以逐一进行视频互动。

步骤220，互动服务器22向被选定的互动客户端23发送立即开始视频互动的请求信息。

步骤222，选定的互动客户端23进行二次确认是否立即开始视频互动，当选定的互动客户端23能够立即开始视频互动时，向互动服务器22发送用于指示立即开始视频互动的确定信息；当选定的互动客户端23不能立即开始视频互动时，向互动服务器22发送用于指示不能立即开始视频互动的响应信息，则互动服务器22终止与互动客户端23的视频互动，当然，若预设时间互动客户端23未回复用于指示立即开始视频互动的确定信息则认为互动客户端23不能立即进行视频互动，预设时间可以由主客户端设置或采取系统默认值，例如：30秒。

步骤224，当至少一个互动客户端23开始与主客户端21进行视频互动时，互动服务器22将互动客户端23的混屏视频信息发送至主客户端21，互动服务器22将主客户端21和互动客户端23的混屏视频信息发送至互动客户端23，互动服务器22将主客户端21的视频信息或者主客户端21与互动客户端23的混屏视频信息发送至从客户端24。

需要说明的是，在步骤214中互动服务器22将互动客户端23的视频信息发送至互动客户端23，也即互动客户端23本地回放视频信息，以便互动客户端23调整视频采集设备的位置，调整视频的实现状态，在互动客户端23向互动服务器22发送用于指示立即开始视频互动的确定信息时，停止将该互动客户端23的视频信息发送至该互动客户端23，避免显示多个互动客户端23的画面。

步骤226，本轮互动完成时，主客户端21结束本轮互动。

步骤228，互动服务器22向互动客户端23发送本轮互动结束信息。

步骤230，主客户端21选择至少一个互动客户端，开始新一轮互动，重复执行步骤218-230，直至与互动等待列表中每个互动客户端23视频互动完成。

下面结合图3，以主讲人演讲，互动参与者A和互动参与者B与主讲人互动为例，对互动参与者A(B)显示的视频画面进行说明，如图3所示，包括：

步骤302，主讲人演讲，画面为主讲人画面，也即视频互动未开始时，由主讲人演讲，则互动参与者A(B)看到的画面为主讲人画面。

步骤304，互动参与者A进入，画面为主讲人和互动参与者A混屏画面，开始视频互动之后，互动参与者A和互动参与者B请求视频互动，主讲人第一轮确定与互动参与者A进行视频互动，则互动参与者A(B)显示的画面为主讲人和互动参与者A的混屏画面。

步骤306，互动参与者A离开，画面为主讲人画面，互动参与者A与主讲人互动结束，主讲人结束与互动参与者A的视频互动，则互动参与者A(B)显示的画面为主讲人画面。

步骤308，互动参与者B进入，画面为主讲人和互动参与者B混屏画面，主讲人与互动参与者A视频互动结束之后，主讲人第二轮确定与互动参与者B进行视频互动，则互动参与者A(B)显示的画面为主讲人和互动参与者B的混屏画面。

步骤310，互动参与者B离开，画面为主讲人画面，互动参与者B与主讲人互动结束，主讲人结束与互动参与者B的视频互动，则互动参与者A(B)显示的画面为主讲人画面。

在一种可能的实施方式中，本发明实施例提供的方法中，互动服务器向互动等待列表中的从客户端发送用于指示同意视频互动的响应信息之后，该方法还包括：互动服务器接收互动客户端的视频信息；互动服务器将视频信息发送至该互动客户端；当互动服务器接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，互动服务器停止将该互动客户端的视频信息发送至该互动客户端。

具体实施时，在互动服务器向互动等待列表中的从客户端发送用于指示同意视频互动的响应消息之后，互动服务器接收互动客户端的视频信息并将视频信息发送至该互动客户端，也即互动客户端本地回放视频信息，以便互动客户端调整视频采集设备(例如：摄像头、麦克风等)的位置，调整视频信息的实现状态，而在互动服务器接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，互动服务器将主客户端和互动客户端的混屏视频信息发送至互动客户端，此时，互动服务器停止将该互动客户端的视频信息发送至该互动客户端，以避免显示多个该互动客户端的视频信息。

在一种可能的实施方式中，本发明实施例提供的方法中，互动服务器接收主客户端以及互动客户端的视频信息为第一格式的视频信息；互动服务器对主客户端以及互动客户端的视频信息进行混屏处理为对主客户端以及互动客户端的第二格式的视频信息进行混屏处理；该方法还包括：互动服务器将第一格式的视频信息转换为第二格式的视频信息；互动服务器对主客户端以及互动客户端的第二格式的视频信息进行混屏处理，生成第二格式的混屏视频信息，并将第二格式的混屏视频信息转换为第一格式的混屏视频信息发送至主客户端以及互动客户端。

作为较为具体的实施例，互动服务器接收主客户端和互动客户端发送的WebRTC格式视频信息，将WebRTC格式视频信息转换为互动服务器能够处理的视频信息，例如：TS格式、RTP音视频包等，对视频信息进行混屏处理之后转换为WebRTC格式视频信息发送给主客户端、互动客户端以及其它从客户端。当然，在本发明的其它实施例中，转换视频格式也可能在客户端中进行，互动服务器只需要将视频信息进行混屏处理，降低互动服务器的处理压力。

在一种可能的实施方式中，本发明实施例提供的方法中，该方法还包括：互动服务器接收主客户端以及互动客户端的视频码率请求信息，该视频码率请求信息中包括主客户端以及互动客户端请求的视频码率；互动服务器根据视频码率请求信息将第一格式的混屏视频信息转换为对应的视频码率，并分别发送至请求该视频码率的主客户端以及互动客户端。

具体实施时，互动服务器还能够根据主客户端以及互动客户端对视频码率的需求，对混屏视频信息的码率进行转换，使得混屏视频信息能在主客户端和互动客户端实时显示，以保证视频互动的质量。

在主客户端侧，本发明实施例提供的一种视频互动方法，如图4所示，该方法包括：

步骤402，主客户端向互动服务器发送用以指示开始视频互动的互动开始指令；

步骤404，主客户端接收互动服务器发送的包括至少一个互动客户端的标识信息的互动等待列表；

步骤406，主客户端在互动等待列表中确定当前进行视频互动的互动客户端的标识信息，并将确定的互动客户端的标识信息发送至互动服务器；

步骤408，主客户端接收互动服务器发送的混屏视频信息，该混屏视频信息为互动服务器对当前与主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的。

本发明实施例提供的方法中，由主客户端确定当前进行视频互动的互动客户端的标识信息，也即由主客户端确定当前进行视频互动的互动客户端，主客户端可以和不同的互动客户端依次进行视频互动，主客户端可以和不同的互动客户端依次进行混屏，与现有技术中视频会议固定的混屏方式相比，增加了混屏方式的灵活性，使得视频互动的方式更加灵活。

在一种可能的实施方式中，本发明实施例提供的方法中，该方法还包括：所述主客户端向所述互动服务器发送混屏策略信息，以指示所述互动服务器根据该混屏策略信息对所述互动客户端的视频信息进行混屏处理；所述主客户端接收所述互动服务器发送的混屏视频信息，具体为：所述主客户端接收所述互动服务器发送的根据所述混屏策略信息对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的混屏视频信息。

在一种可能的实施方式中，本发明实施例提供的方法中，该方法还包括：所述主客户端向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述主客户端请求的视频码率；所述主客户端接收所述互动服务器发送的混屏视频信息，具体为：所述主客户端接收所述互动服务器发送的所述视频码率的混屏视频信息。

在从客户端侧，本发明实施例提供的一种视频互动方法，如图5所示，该方法包括：

步骤502，从客户端接收互动服务器发送的用以指示开始视频互动的互动开始指令；

步骤504，从客户端向互动服务器发送自身的标识信息和视频互动请求；

步骤506，从客户端接收互动服务器发送的用以指示同意视频互动的响应信息；

步骤508，从客户端接收互动服务器发送的用以指示立即进行视频互动的请求信息；

步骤510，从客户端向互动服务器发送用以指示立即进行视频互动的确定信息；

步骤512，从客户端接收互动服务器发送的混屏视频信息，该混屏视频信息为互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的。

本发明实施例提供的方法中，从客户端在接收到互动服务器发送的开始视频互动的互动开始指令时，均可以向互动服务器发送视频互动请求，在接收到互动服务器的发送的用意指示同意视频互动的响应消息后，即确定能够与主客户端进行视频互动，与现有技术中WebRTC只能支持点对点的视频对话相比，从客户端能够请求与主客户端进行视频互动，并接收互动服务器发送的混屏视频信息，实现了多方视频互动。

在一种可能的实施方式中，本发明实施例提供的方法中，该方法还包括：所述从客户端向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述互动客户端请求的视频码率；所述从客户端接收所述互动服务器发送的混屏视频信息，具体为：所述从客户端接收所述互动服务器发送的所述视频码率的混屏视频信息。

具体实施时，以主讲者演讲者，参与者与主讲者视频互动，观众观看为例，视频互动时的系统架构如图6所示，主讲者602、多个参与者604以及观众608均可以与互动服务器606进行信令交互，包括：混屏策略信令、视频格式信令、视频码率信令等，主讲者602和参与者604在进行视频互动时，均需要将视频信息发送至互动服务器606，同时从互动服务器606接收混屏视频信息，观众608不需要向互动服务器606发送视频信息，但需要接收互动服务器606发送的视频信息或者混屏视频信息。

在网络侧，本发明实施例提供的一种视频互动控制装置，如图7A所示，包括：控制模块702，用于在所述控制模块所在的互动服务器接入主客户端和至少一个从客户端后，在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端；接收模块704，用于接收所述主客户端以及所述互动客户端的视频信息；视频处理模块706，连接至控制模块702和接收模块704，用于对所述主客户端以及所述互动客户端的视频信息进行混屏处理，生成混屏视频信息；发送模块708，连接至所述视频处理模块706，用于将所述混屏视频信息发送至所述主客户端以及所述互动客户端。

本发明实施例提供的装置中，通过在WebRTC方案中增加视频互动控制装置，视频互动控制装置确定当前与主客户端进行视频互动的至少一个互动客户端，接收主客户端和互动客户端的视频信息，并对主客户端和互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至主客户端和互动客户端，实现主客户端和至少一个互动客户端的视频互动，与现有技术中视频会议的方案相比，增加了与主客户端进行视频互动的互动客户端的数量，而且能够灵活的确定进行视频互动的互动客户端，且基于WebRTC实现多方视频互动，降低设备成本。

在一种可能的实施方式中，本发明实施例提供的装置中，视频处理模块706具体用于：视频处理模块706对所述互动客户端的视频信息进行混屏处理，得到第一混屏视频信息；以及，对所述主客户端以及所述互动客户端的视频信息进行混屏处理，得到第二混屏视频信息；发送模块708具体用于：发送模块708将所述第一混屏视频信息发送至所述主客户端；以及，将所述第二混屏视频信息发送至所述互动客户端。

在一种可能的实施方式中，本发明实施例提供的装置中，视频处理模块706还用于将所述主客户端的视频信息或所述第二混屏视频信息发送至除主客户端和互动客户端之外的其它从客户端。

在一种可能的实施方式中，本发明实施例提供的装置中，视频处理模块706对所述互动客户端的视频信息进行混屏处理，包括：控制模块702接收所述主客户端确定的混屏策略信息；视频处理模块706根据所述混屏策略信息对所述互动客户端的视频信息进行混屏处理。

在一种可能的实施方式中，本发明实施例提供的装置中，控制模块702在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端，包括：控制模块702接收所述主客户端发送的用以指示开始视频互动的互动开始指令；控制模块702将所述互动开始指令转发至所述多个从客户端；控制模块702接收从客户端发送的标识信息和视频互动请求；控制模块702在发送视频互动请求的从客户端中确定至少一个互动客户端，将所述互动客户端的标识信息添加到预先存储的互动等待列表中，并向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息，向发送视频互动请求的从客户端中未被确定为互动客户端的从客户端发送用于指示拒绝视频互动的响应信息；控制模块702将所述互动等待列表发送至所述主客户端，以供所述主客户端确定当前进行视频互动的至少一个互动客户端；控制模块702接收所述主客户端确定的当前进行视频互动的互动客户端的标识信息；控制模块702向所述主客户端确定的当前进行视频互动的互动客户端发送用以指示立即进行视频互动的请求信息；当控制模块702接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，控制模块702确定该互动客户端为当前与所述主客户端进行视频互动的互动客户端。

本发明实施例提供的装置中，由主客户端确定当前进行视频互动的互动客户端的标识信息，也即由主客户端确定当前进行视频互动的互动客户端，主客户端可以和不同的互动客户端依次进行视频互动，主客户端可以和不同的互动客户端依次进行混屏，与现有技术中视频会议固定的混屏方式相比，增加了混屏方式的灵活性，使得视频互动的方式更加灵活。

在一种可能的实施方式中，本发明实施例提供的装置中，控制模块702向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息之后，控制模块702还用于：控制模块702接收所述互动客户端的视频信息；控制模块702将所述视频信息发送至该互动客户端；当控制模块702接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，控制模块702停止将该互动客户端的视频信息发送至该互动客户端。

在一种可能的实施方式中，本发明实施例提供的装置中，接收模块704接收所述主客户端以及所述互动客户端的视频信息为第一格式的视频信息；视频处理模块706对所述主客户端以及所述互动客户端的视频信息进行混屏处理为对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理；如图7B所示，该装置还包括：第一码流转换模块710，第一码流转换模块710连接在接收模块704和视频处理模块706之间，用于将所述第一格式的视频信息转换为第二格式的视频信息；第二码流转换模块712，连接在发送模块708和视频处理模块706之间，用于将视频处理模块706对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理，生成第二格式的混屏视频信息转换为第一格式的混屏视频信息发送至所述主客户端以及所述互动客户端。

在一种可能的实施方式中，本发明实施例提供的装置中，接收模块704还用于接收所述主客户端以及所述互动客户端的视频码率请求信息，该视频码率请求信息中包括所述主客户端以及所述互动客户端请求的视频码率；视频处理模块706还用于根据所述视频码率请求信息将所述第一格式的混屏视频信息转换为对应的视频码率，并分别发送至请求该视频码率的主客户端以及互动客户端。

具体实施时，互动服务器的结构可以进一步细化为如图8所示的结构，包括：接收模块802、第一码流转换模块804、控制模块806，视频处理模块808、第二码流转换模块810以及发送模块812，其中，视频处理模块808包括：码流控制模块8082、策略模块8084、转码模块8086以及混屏模块8088，具体来说：

接收模块802，用于接收主客户端以及互动客户端的视频信息；

第一码流转换模块804，连接至接收模块802，用于将接收到的视频信息转换为互动服务器能够处理的视频格式的视频信息；

控制模块806，连接至视频处理模块808中的码流控制模块8082、策略模块8084和转码模块8086，用于接收主客户端、互动客户端以及从客户端的控制信令，并控制视频处理模块808对主客户端以及互动客户端的视频信息进行混屏处理；

码流控制模块8082，连接至第一码流转换模块804、控制模块806和混屏模块8088，用于在控制模块806的控制下，将接收到的第一码流转换模块804发送的视频信息发送至混屏模块进行混屏处理；

策略模块8084，连接至控制模块806和混屏模块8088，用于保存设置的混屏策略，该混屏策略可以是系统设置的，或者由控制模块806根据主客户端的选择确定，或者由控制模块806根据从客户端的选择确定；

转码模块8086，连接至控制模块806、混屏模块8088和第二码流转换模块810，用于根据控制模块806的控制，将混屏模块8088处理生成混屏视频信息转换为不同码率的混屏视频信息；

混屏模块8088，连接至码流控制模块8082、策略模块8084和转码模块8086，用于在码流控制模块8082和策略模块8084的控制下，对主客户端和互动客户端的视频信息进行混屏处理，将混屏后的混屏视频信息发送至转码模块8086转换为不同码率的混屏视频信息；

第二码流转换模块810，连接至转码模块8086和发送模块812，用于将转码模块发送的不同码率的混屏视频信息转换为主客户端、互动客户端和从客户端可以播放的直播格式的视频信息；

发送模块812，连接至第二码流转换模块810，用于将转换格式后的混屏视频信息发送至主客户端、互动客户端和从客户端。

本发明实施例提供的视频互动控制装置可以是单独的服务器，也可以集成在现有的服务器中，其中，接收模块802可以采用接收机或信号接收器等，第一码流转换模块804、控制模块806、视频处理模块808和第二码流转换模块810可以采用CPU处理器等，发送模块812可以采用发射机或信号发射器等。

在主客户端侧，本发明实施例提供的一种视频互动装置，如图9所示，包括：发送模块902，用于向互动服务器发送用以指示开始视频互动的互动开始指令；接收模块904，用于接收所述互动服务器发送的包括至少一个互动客户端的标识信息的互动等待列表；处理模块906，连接至发送模块902和接收模块904，用于在所述互动等待列表中确定当前进行视频互动的互动客户端的标识信息，并将确定的互动客户端的标识信息发送至所述互动服务器；接收模块904还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的。

本发明实施例提供的装置中，由该视频互动装置确定当前进行视频互动的互动客户端的标识信息，也即由该视频互动装置确定当前进行视频互动的互动客户端，该视频互动装置可以和不同的互动客户端依次进行视频互动，该视频互动装置可以和不同的互动客户端依次进行混屏，与现有技术中视频会议固定的混屏方式相比，增加了混屏方式的灵活性，使得视频互动的方式更加灵活。

在一种可能的实施方式中，本发明实施例提供的装置中，发送模块902还用于向所述互动服务器发送混屏策略信息，以指示所述互动服务器根据该混屏策略信息对所述互动客户端的视频信息进行混屏处理；接收模块904接收所述互动服务器发送的混屏视频信息，具体为：接收模块904接收所述互动服务器发送的根据所述混屏策略信息对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的混屏视频信息。

在一种可能的实施方式中，本发明实施例提供的装置中，发送模块902还用于向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述主客户端请求的视频码率；接收模块904接收所述互动服务器发送的混屏视频信息，具体为：接收模块904接收所述互动服务器发送的所述视频码率的混屏视频信息。

在一种可能的实施方式中，本发明实施例提供的装置中，接收模块904还用于接收互动服务器发送的用以指示开始视频互动的互动开始指令；发送模块902，还用于向所述互动服务器发送自身的标识信息和视频互动请求；接收模块904还用于接收所述互动服务器发送的用以指示同意视频互动的响应信息；接收模块904还用于接收所述互动服务器发送的用以指示立即进行视频互动的请求信息；发送模块902还用于向所述互动服务器发送用以指示立即进行视频互动的确定信息；接收模块904还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的。需要说明的是，本发明中提到的主客户端和从客户端仅仅是为了区分主讲者和参与者而使用的名称，在具体实施时，对于一个客户端来说，在一个实施例中可以作为主客户端使用，在另一实施例中也可以作为从客户端使用。

本发明实施例提供的视频互动装置可以集成在浏览器或客户端中，其中，发送模块902可以采用发射机或信号发射器等，接收模块904可以采用接收机或信号接收器等，处理模块906可以采用CPU处理器等。

在从客户端侧，本发明实施例提供的一种视频互动装置，如图10所示，包括：接收模块1002，用于接收互动服务器发送的用以指示开始视频互动的互动开始指令；发送模块1004，连接至接收模块1002，用于向所述互动服务器发送自身的标识信息和视频互动请求；接收模块1002还用于接收所述互动服务器发送的用以指示同意视频互动的响应信息；接收模块1002还用于接收所述互动服务器发送的用以指示立即进行视频互动的请求信息；发送模块1004还用于向所述互动服务器发送用以指示立即进行视频互动的确定信息；接收模块1002还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的，其中，所述从客户端包括所述接收模块所在的从客户端。

本发明实施例提供的方法中，该视频互动装置在接收到互动服务器发送的开始视频互动的互动开始指令时，可以向互动服务器发送视频互动请求，在接收到互动服务器的发送的用意指示同意视频互动的响应消息后，即确定能够与主客户端进行视频互动，与现有技术中WebRTC只能支持点对点的视频对话相比，该视频互动装置能够请求与主客户端进行视频互动，并接收互动服务器发送的混屏视频信息，实现了多方视频互动。

在一种可能的实施方式中，本发明实施例提供的装置中，发送模块1004还用于向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括该发送模块所在从客户端请求的视频码率；接收模块1002接收所述互动服务器发送的混屏视频信息，具体为：接收模块1002接收所述互动服务器发送的所述视频码率的混屏视频信息。

本发明实施例提供的视频互动装置可以集成在浏览器或客户端中，其中，接收模块1002可以采用接收机或信号接收器等，发送模块1004可以采用发射机或信号发射器等。

综上所述，本发明实施例提供的一种视频互动、控制方法及装置，通过在WebRTC方案中增加互动服务器，互动服务器确定当前与主客户端进行视频互动的至少一个互动客户端，接收主客户端和互动客户端的视频信息，并对主客户端和互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至主客户端和互动客户端，实现主客户端和至少一个互动客户端的视频互动，增加了与主客户端进行视频互动的互动客户端的数量，而且能够灵活的确定进行视频互动的互动客户端，且基于WebRTC实现多方视频互动，降低设备成本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (27)

1.一种视频互动控制方法，其特征在于，该方法包括：

互动服务器接入主客户端和至少一个从客户端后，在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端；

所述互动服务器接收所述主客户端以及所述互动客户端的视频信息；

所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至所述主客户端以及所述互动客户端。

2.根据权利要求1所述的方法，其特征在于，所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理，生成混屏视频信息并发送至所述主客户端以及所述互动客户端，包括：

所述互动服务器对所述互动客户端的视频信息进行混屏处理，得到第一混屏视频信息，并将所述第一混屏视频信息发送至所述主客户端；以及，所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理，得到第二混屏视频信息，并将所述第二混屏视频信息发送至所述互动客户端。

3.根据权利要求2所述的方法，其特征在于，该方法还包括：

所述互动服务器将所述主客户端的视频信息或所述第二混屏视频信息发送至除主客户端和互动客户端之外的其它从客户端。

4.根据权利要求2所述的方法，其特征在于，所述互动服务器对所述互动客户端的视频信息进行混屏处理，包括：

所述互动服务器接收所述主客户端确定的混屏策略信息；

所述互动服务器根据所述混屏策略信息对所述互动客户端的视频信息进行混屏处理。

5.根据权利要求1所述的方法，其特征在于，所述互动服务器在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端，包括：

所述互动服务器接收所述主客户端发送的用以指示开始视频互动的互动开始指令；

所述互动服务器将所述互动开始指令转发至所述多个从客户端；

所述互动服务器接收从客户端发送的标识信息和视频互动请求；

所述互动服务器在发送视频互动请求的从客户端中确定至少一个互动客户端，将所述互动客户端的标识信息添加到预先存储的互动等待列表中，并向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息，向发送视频互动请求的从客户端中未被确定为互动客户端的从客户端发送用于指示拒绝视频互动的响应信息；

所述互动服务器将所述互动等待列表发送至所述主客户端，以供所述主客户端确定当前进行视频互动的至少一个互动客户端；

所述互动服务器接收所述主客户端确定的当前进行视频互动的互动客户端的标识信息；

所述互动服务器向所述主客户端确定的当前进行视频互动的互动客户端发送用以指示立即进行视频互动的请求信息；

当所述互动服务器接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，所述互动服务器确定该互动客户端为当前与所述主客户端进行视频互动的互动客户端。

6.根据权利要求5所述的方法，其特征在于，所述互动服务器向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息之后，该方法还包括：

所述互动服务器接收所述互动客户端的视频信息；

所述互动服务器将所述视频信息发送至该互动客户端；

当所述互动服务器接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，所述互动服务器停止将该互动客户端的视频信息发送至该互动客户端。

7.根据权利要求1-6中任一项所述的方法，其特征在于，

所述互动服务器接收所述主客户端以及所述互动客户端的视频信息为第一格式的视频信息；

所述互动服务器对所述主客户端以及所述互动客户端的视频信息进行混屏处理为对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理；

该方法还包括：

所述互动服务器将所述第一格式的视频信息转换为第二格式的视频信息；

所述互动服务器对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理，生成第二格式的混屏视频信息，并将所述第二格式的混屏视频信息转换为第一格式的混屏视频信息发送至所述主客户端以及所述互动客户端。

8.根据权利要求7所述的方法，其特征在于，该方法还包括：

所述互动服务器接收所述主客户端以及所述互动客户端的视频码率请求信息，该视频码率请求信息中包括所述主客户端以及所述互动客户端请求的视频码率；

所述互动服务器根据所述视频码率请求信息将所述第一格式的混屏视频信息转换为对应的视频码率，并分别发送至请求该视频码率的主客户端以及互动客户端。

9.一种视频互动方法，其特征在于，该方法包括：

主客户端向互动服务器发送用以指示开始视频互动的互动开始指令；

所述主客户端接收所述互动服务器发送的包括至少一个互动客户端的标识信息的互动等待列表；

所述主客户端在所述互动等待列表中确定当前进行视频互动的互动客户端的标识信息，并将确定的互动客户端的标识信息发送至所述互动服务器；

所述主客户端接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的。

10.根据权利要求9所述的方法，其特征在于，该方法还包括：

所述主客户端向所述互动服务器发送混屏策略信息，以指示所述互动服务器根据该混屏策略信息对所述互动客户端的视频信息进行混屏处理；

所述主客户端接收所述互动服务器发送的混屏视频信息，具体为：

所述主客户端接收所述互动服务器发送的根据所述混屏策略信息对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的混屏视频信息。

11.根据权利要求9所述的方法，其特征在于，该方法还包括：

所述主客户端向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述主客户端请求的视频码率；

所述主客户端接收所述互动服务器发送的混屏视频信息，具体为：

所述主客户端接收所述互动服务器发送的所述视频码率的混屏视频信息。

12.一种视频互动方法，其特征在于，该方法包括：

从客户端接收互动服务器发送的用以指示开始视频互动的互动开始指令；

所述从客户端向所述互动服务器发送自身的标识信息和视频互动请求；

所述从客户端接收所述互动服务器发送的用以指示同意视频互动的响应信息；

所述从客户端接收所述互动服务器发送的用以指示立即进行视频互动的请求信息；

所述从客户端向所述互动服务器发送用以指示立即进行视频互动的确定信息；

所述从客户端接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的。

13.根据权利要求12所述的方法，其特征在于，该方法还包括：

所述从客户端向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述从客户端请求的视频码率；

所述从客户端接收所述互动服务器发送的混屏视频信息，具体为：

所述从客户端接收所述互动服务器发送的所述视频码率的混屏视频信息。

14.一种视频互动控制装置，其特征在于，包括：

控制模块，用于在所述控制模块所在的互动服务器接入主客户端和至少一个从客户端后，在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端；

接收模块，用于接收所述主客户端以及所述互动客户端的视频信息；

视频处理模块，连接至所述控制模块和所述接收模块，用于对所述主客户端以及所述互动客户端的视频信息进行混屏处理，生成混屏视频信息；

发送模块，连接至所述视频处理模块，用于将所述混屏视频信息发送至所述主客户端以及所述互动客户端。

15.根据权利要求14所述的装置，其特征在于，所述视频处理模块具体用于：

所述视频处理模块对所述互动客户端的视频信息进行混屏处理，得到第一混屏视频信息；以及，对所述主客户端以及所述互动客户端的视频信息进行混屏处理，得到第二混屏视频信息；

所述发送模块具体用于：所述发送模块将所述第一混屏视频信息发送至所述主客户端；以及，将所述第二混屏视频信息发送至所述互动客户端。

16.根据权利要求15所述的装置，其特征在于，

所述视频处理模块还用于将所述主客户端的视频信息或所述第二混屏视频信息发送至除主客户端和互动客户端之外的其它从客户端。

17.根据权利要求15所述的装置，其特征在于，所述视频处理模块对所述互动客户端的视频信息进行混屏处理，包括：

所述控制模块接收所述主客户端确定的混屏策略信息；

所述视频处理模块根据所述混屏策略信息对所述互动客户端的视频信息进行混屏处理。

18.根据权利要求14所述的装置，其特征在于，所述控制模块在所述从客户端中确定当前与所述主客户端进行视频互动的至少一个互动客户端，包括：

所述控制模块接收所述主客户端发送的用以指示开始视频互动的互动开始指令；

所述控制模块将所述互动开始指令转发至所述多个从客户端；

所述控制模块接收从客户端发送的标识信息和视频互动请求；

所述控制模块在发送视频互动请求的从客户端中确定至少一个互动客户端，将所述互动客户端的标识信息添加到预先存储的互动等待列表中，并向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息，向发送视频互动请求的从客户端中未被确定为互动客户端的从客户端发送用于指示拒绝视频互动的响应信息；

所述控制模块将所述互动等待列表发送至所述主客户端，以供所述主客户端确定当前进行视频互动的至少一个互动客户端；

所述控制模块接收所述主客户端确定的当前进行视频互动的互动客户端的标识信息；

所述控制模块向所述主客户端确定的当前进行视频互动的互动客户端发送用以指示立即进行视频互动的请求信息；

当所述控制模块接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，所述控制模块确定该互动客户端为当前与所述主客户端进行视频互动的互动客户端。

19.根据权利要求18所述的装置，其特征在于，所述控制模块向所述互动等待列表中的从客户端发送用于指示同意视频互动的响应信息之后，所述控制模块还用于：

所述控制模块接收所述互动客户端的视频信息；

所述控制模块将所述视频信息发送至该互动客户端；

当所述控制模块接收到互动客户端发送的用以指示立即进行视频互动的确定信息时，所述控制模块停止将该互动客户端的视频信息发送至该互动客户端。

20.根据权利要求14-19中任一项所述的装置，其特征在于，

所述接收模块接收所述主客户端以及所述互动客户端的视频信息为第一格式的视频信息；

所述视频处理模块对所述主客户端以及所述互动客户端的视频信息进行混屏处理为对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理；

该装置还包括：

第一码流转换模块，连接在所述接收模块和所述视频处理模块之间，用于将所述第一格式的视频信息转换为第二格式的视频信息；

第二码流转换模块，连接在所述发送模块和所述视频处理模块之间，用于将所述视频处理模块对所述主客户端以及所述互动客户端的第二格式的视频信息进行混屏处理，生成第二格式的混屏视频信息转换为第一格式的混屏视频信息发送至所述主客户端以及所述互动客户端。

21.根据权利要求20所述的装置，其特征在于，

所述接收模块还用于接收所述主客户端以及所述互动客户端的视频码率请求信息，该视频码率请求信息中包括所述主客户端以及所述互动客户端请求的视频码率；

所述视频处理模块还用于根据所述视频码率请求信息将所述第一格式的混屏视频信息转换为对应的视频码率，并分别发送至请求该视频码率的主客户端以及互动客户端。

22.一种视频互动装置，其特征在于，包括：

发送模块，用于向互动服务器发送用以指示开始视频互动的互动开始指令；

接收模块，用于接收所述互动服务器发送的包括至少一个互动客户端的标识信息的互动等待列表；

处理模块，连接至所述发送模块和所述接收模块，用于在所述互动等待列表中确定当前进行视频互动的互动客户端的标识信息，并将确定的互动客户端的标识信息发送至所述互动服务器；

所述接收模块还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的。

23.根据权利要求22所述的装置，其特征在于，

所述发送模块还用于向所述互动服务器发送混屏策略信息，以指示所述互动服务器根据该混屏策略信息对所述互动客户端的视频信息进行混屏处理；

所述接收模块接收所述互动服务器发送的混屏视频信息，具体为：

所述接收模块接收所述互动服务器发送的根据所述混屏策略信息对当前与所述主客户端进行视频互动的互动客户端的视频信息进行混屏处理生成的混屏视频信息。

24.根据权利要求22所述的装置，其特征在于，

所述发送模块还用于向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括所述主客户端请求的视频码率；

所述接收模块接收所述互动服务器发送的混屏视频信息，具体为：

所述接收模块接收所述互动服务器发送的所述视频码率的混屏视频信息。

25.根据权利要求22所述的装置，其特征在于，

所述接收模块还用于接收互动服务器发送的用以指示开始视频互动的互动开始指令；

所述发送模块，还用于向所述互动服务器发送自身的标识信息和视频互动请求；

所述接收模块还用于接收所述互动服务器发送的用以指示同意视频互动的响应信息；

所述接收模块还用于接收所述互动服务器发送的用以指示立即进行视频互动的请求信息；

所述发送模块还用于向所述互动服务器发送用以指示立即进行视频互动的确定信息；

所述接收模块还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的。

26.一种视频互动装置，其特征在于，包括：

接收模块，用于接收互动服务器发送的用以指示开始视频互动的互动开始指令；

发送模块，连接至所述接收模块，用于向所述互动服务器发送自身的标识信息和视频互动请求；

所述接收模块还用于接收所述互动服务器发送的用以指示同意视频互动的响应信息；

所述接收模块还用于接收所述互动服务器发送的用以指示立即进行视频互动的请求信息；

所述发送模块还用于向所述互动服务器发送用以指示立即进行视频互动的确定信息；

所述接收模块还用于接收所述互动服务器发送的混屏视频信息，该混屏视频信息为所述互动服务器对主客户端以及至少一个当前与主客户端进行视频互动的从客户端的视频信息进行混屏处理生成的，其中，所述从客户端包括所述接收模块所在的从客户端。

27.根据权利要求26所述的装置，其特征在于，

所述发送模块还用于向所述互动服务器发送视频码率请求信息，该视频码率请求信息中包括该发送模块所在从客户端请求的视频码率；

所述接收模块接收所述互动服务器发送的混屏视频信息，具体为：

所述接收模块接收所述互动服务器发送的所述视频码率的混屏视频信息。