CN103533292B - 手机视频直拍直播中的双向语音通话装置 - Google Patents

Abstract

本发明公开了一种手机视频直拍直播中的双向语音通话装置,包括手机视频直播端、流媒体服务器、控制服务器和视频播放端，手机视频直播端通过手机麦克风获取音频流，并将音频流和视频流一起通过流媒体服务器向感兴趣的一个或多个视频播放端传输单向语音；在同一个时刻，可以且只能有一个视频播放端通过建立一条反向的媒体流向手机视频直播端传输反向语音；由控制服务器维护一个与视频直播媒体流关联的反向语音传输状态集，实现反向语音传输的排他性。通过这种方式，本发明实现了手机视频播放端和手机视频直播端的反向语音通话，增强了系统的互动能力，可以应用在远程执法、远程医疗、远程设备巡检、远程定损等多个领域。

Description

手机视频直拍直播中的双向语音通话装置

技术领域

本发明涉及一种手机视频直拍直播中的双向语音通话，属于网络多媒体数据传输技术领域。

背景技术

随着富媒体社会和社交网络的出现，人们对现场实时视频信息的需求愈发突出。基于视频云平台的手机视频直拍直播系统能作为部署速度较慢、成本较高的专业拍摄直播的有效补充，通过3G/4G/Wi-Fi等网络接入将现场信息实时上传，在任何时间、任何地点对现场信息进行播报。为了增强系统的互动能力，单向的视频直拍直播是不够的，需要视频接收端能以某种便捷的方式提供实时的反馈信息，实现远程执法、远程医疗、远程设备巡检、远程定损等功能。

目前，手机视频直拍直播系统在业内刚刚兴起，一般的系统只具有单向视频和语音功能。在点对多点的手机视频直拍直播系统中，反向通话的实现需要有一种机制保障同一时刻只有一个视频直播客户端能成功建立反向通话，并且需要给予手机视频直播客户端以选择性接收的权利，现有的大部分产品均还不具备这一功能。

发明内容

为满足上述应用场景的需求，本发明提供一种手机视频直拍直播中支持双向语音通话的方法和装置，使得在直拍直播的过程中可以通过双向语音进行交互。

本发明的系统采用以下技术方案：

手机视频直拍直播中的双向语音通话装置,包括手机视频直播端、流媒体服务器、控制服务器和视频播放端，所述手机视频直播端通过手机麦克风获取音频流，并将音频流和视频流一起通过流媒体服务器向感兴趣的一个或多个视频播放端传输单向语音；在同一个时刻，可以且只能有一个视频播放端通过建立一条反向的媒体流向手机视频直播端传输反向语音；由控制服务器维护一个与视频直播媒体流关联的反向语音传输状态集，实现反向语音传输的排他性。

控制服务器可以通过建立一个哈希表维护一个与直播媒体流关联的反向语音传输状态集，以视频直播媒体流的标识作为键，如果存在关联的反向语音流，则键所对应的值为反向语音流标识，如果不存在关联的反向语音流，则键所对应的值为空。

当一个视频播放端希望建立反向语音通话时，其流程如下：

步骤1：用户在视频播放端的用户界面上触发反向语音传输事件，如按下某个按钮；

步骤2：视频播放端向控制服务器发送反向语音传输请求消息，其中至少包含媒体流标识和用户标识；

步骤3：控制服务器依据媒体流标识查看媒体流和反向语音关联状态集；

步骤3.1如果已经存在与媒体流标识关联的反向语音流，则：

步骤3.1.1向发起反向语音通话请求的发起者发送通道已占用消息；

步骤3.1.2发起反向语音通话请求的视频播放端显示通话建立失败消息，结束流程；

步骤3.2如果不存在与媒体流标识关联的反向语音流，则：

步骤3.2.1控制服务器向媒体流服务器发送反向语音流相关的信息，至少包括媒体流标识和请求用户的标识；

步骤3.2.2流媒体服务器收到该信息后预留流通道；

步骤3.2.3控制服务器向手机视频直播端发送反向语音流相关的信息，至少包含媒体流标识和请求用户的标识；

步骤3.2.4手机视频直播端显示反向语音流请求，如基于请求用户的标识显示用户信息及其发起反向语音流请求的动作，并提示手机视频直播端用户进行接受与否的决策；

步骤3.2.5如果手机视频直播端用户同意接受该用户发起的反向语音，则：

步骤3.2.5.1控制器向发起反向语音请求的视频播放端发送反向语音流建立成功的消息；

步骤3.2.5.2视频放端采集语音并通过新建立的媒体流由媒体流服务器将语音数据中转给手机视频直播端，流程结束；

步骤3.2.6如果手机视频直播端用户拒绝接受该用户发起的反向语音，则：

步骤3.2.6.1手机视频直播端向控制服务器发送拒绝接受该用户的反向语音消息；

步骤3.2.6.2控制服务器将媒体流标识对应的反向语音流关联状态标记为未关联；

步骤3.2.6.3控制服务器向媒体流服务器发送撤销相关反向语音流通道预留及状态信息；

步骤3.2.6.4控制服务器向发起反向语音通话请求的发起者发送视频直播端拒绝接受该反向语音请求的消息；

步骤3.2.6.5发起反向语音通话请求的视频播放端显示通话建立失败消息。

手机视频直播端和视频播放端均可以终止语音通话，终止反向语音通话的流程如下：

步骤1：手机视频直播端或视频播放端触发关闭反向语音流的事件；

步骤2：触发关闭事件的模块向控制服务器发送终止反向语音流的请求消息，至少包含关联媒体流标识和反向语音流标识；

步骤3：控制服务器向流媒体服务器发送终止反向语音流的消息；

步骤4：流媒体服务器终止反向语音流的转发，并撤销与反向语音流相关的通道和状态信息；

步骤5：控制服务器将与该媒体流关联的反向语音流关联状态设置为不存在。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

（1）在手机视频直播端进行视频直拍直播的过程中,可以进行双向的语音通话，通过实时地提供反馈信息，增强了系统的互动性，可应用在多个领域。

（2）在手机视频直播端进行视频直拍直播的过程中,如果存在多个播放端,则在同一时刻只能有一个播放端进行反向语音通话，从而避免多路语音干扰；同时，手机视频直播端可以选择性接收哪个播放端发起的反向语音通话请求，有利于应用控制。

附图说明

图1为视频播放端建立反向语音通话的流程图。

图2为反向语音通话结束的流程图。

具体实施方式

本发明手机视频直拍直播中的双向语音通话装置,包括手机视频直播端、流媒体服务器、控制服务器和视频播放端，手机视频直播端通过手机麦克风获取音频流，并将音频流和视频流一起通过流媒体服务器向感兴趣的手机视频播放端(可以是多个)中转，使得所有的手机视频播放端都可以听到手机视频直播端的单向语音；当某个手机视频播放端用户希望向手机视频直播端发起反向语音通话时，向控制服务器发出请求消息；当不存在其它手机视频播放端正在与手机视频直播端进行反向语音通话时，控制服务器接收该请求，为其分配媒体流资源，并告知手机视频直播端即将有手机视频播放端向其发起反向语音通话，使其可以做出是否接受该请求的决策，并做好接收准备。通过这种方式，实现了手机视频播放端和手机视频直播端的反向语音通话。在同一时刻，装置仅允许一个手机视频播放端和手机视频直播端建立反向语音通话通道。

具体流程如下：

当一个视频播放端希望建立反向语音通话时，其流程如图1所示,具体步骤包括：

步骤1：用户在视频播放端的用户界面上触发反向语音传输事件，如按下某个按钮；

步骤2：视频播放端向控制服务器发送反向语音传输请求消息，其中至少包含媒体流标识和用户标识；

步骤3：控制服务器依据媒体流标识查看媒体流和反向语音关联状态集，该状态集可以通过内存中的哈希表或数据库予以维护，每一条的键为媒体流标识，如果存在关联的反向语音流，则值为所关联的反向语音流标识，否则，对应的值为空；

步骤3.1如果已经存在与媒体流标识关联的反向语音流，则：

步骤3.1.1向发起反向语音通话请求的发起者发送通道已占用消息；

步骤3.1.2发起反向语音通话请求的视频播放端显示通话建立失败消息，结束流程；

步骤3.2如果不存在与媒体流标识关联的反向语音流，则：

步骤3.2.1控制服务器向媒体流服务器发送反向语音流相关的信息，至少包括媒体流标识和请求用户的标识；

步骤3.2.2流媒体服务器收到该信息后预留流通道，为此，需要登记流信息，至少包含媒体流标识；

步骤3.2.3控制服务器向手机视频直播端发送反向语音流相关的信息，至少包含媒体流标识和请求用户的标识；

步骤3.2.4手机视频直播端显示反向语音流请求，如基于请求用户的标识显示用户信息及其发起反向语音流请求的动作，并提示手机视频直播端用户进行接受与否的决策；

步骤3.2.5如果手机视频直播端用户同意接受该用户发起的反向语音，则：

步骤3.2.5.1控制器向发起反向语音请求的视频播放端发送反向语音流建立成功的消息，消息可以通过某种可视化方式（如弹出消息）呈现给视频播放端；

步骤3.2.5.2视频放端采集语音并通过新建立的媒体流由媒体流服务器将语音数据中转给手机视频直播端，流程结束；

步骤3.2.6如果手机视频直播端用户拒绝接受该用户发起的反向语音，则：

步骤3.2.6.1手机视频直播端向控制服务器发送拒绝接受该用户的反向语音消息；

步骤3.2.6.2控制服务器将媒体流标识对应的反向语音流关联状态标记为未关联；

步骤3.2.6.3控制服务器向媒体流服务器发送撤销相关反向语音流通道预留及状态信息；

步骤3.2.6.4控制服务器向发起反向语音通话请求的发起者发送视频直播端拒绝接受该反向语音请求的消息；

步骤3.2.6.5发起反向语音通话请求的视频播放端显示通话建立失败消息。

手机视频直播端和视频播放端均可以终止语音通话，终止反向语音通话的流程如图2所示,具体步骤如下：

步骤1：手机视频直播端或视频播放端触发关闭反向语音流的事件；

步骤2：触发关闭事件的模块向控制服务器发送终止反向语音流的请求消息，至少包含关联媒体流标识和反向语音流标识；

步骤3：控制服务器向流媒体服务器发送终止反向语音流的消息；

步骤4：流媒体服务器终止反向语音流的转发，并撤销与反向语音流相关的通道和状态信息；

步骤5：控制服务器将与该媒体流关联的反向语音流关联状态设置为不存在。

Claims (3)

1.手机视频直拍直播中的双向语音通话装置,包括手机视频直播端、流媒体服务器、控制服务器和视频播放端，其特征在于，所述手机视频直播端通过手机麦克风获取音频流，并将音频流和视频流一起通过流媒体服务器向感兴趣的一个或多个视频播放端传输单向语音；在同一个时刻，只有一个视频播放端通过建立一条反向的媒体流向手机视频直播端传输反向语音；由控制服务器维护一个与视频直播媒体流关联的反向语音传输状态集，实现反向语音传输的排他性；反向语音建立的流程如下：

步骤1：用户在视频播放端的用户界面上触发反向语音传输事件；

步骤2：视频播放端向控制服务器发送反向语音传输请求消息，其中至少包含媒体流标识和用户标识；

步骤3：控制服务器依据媒体流标识查看媒体流和反向语音关联状态集；

步骤3.1如果已经存在与媒体流标识关联的反向语音流，则：

步骤3.1.1向发起反向语音通话请求的发起者发送通道已占用消息；

步骤3.1.2发起反向语音通话请求的视频播放端显示通话建立失败消息，结束流程；

步骤3.2如果不存在与媒体流标识关联的反向语音流，则：

步骤3.2.1控制服务器向媒体流服务器发送反向语音流相关的信息，至少包括媒体流标识和请求用户的标识；

步骤3.2.2流媒体服务器收到该信息后预留流通道；

步骤3.2.3控制服务器向手机视频直播端发送反向语音流相关的信息，至少包含媒体流标识和请求用户的标识；

步骤3.2.4手机视频直播端显示反向语音流请求，并提示手机视频直播端用户进行接受与否的决策；

步骤3.2.5如果手机视频直播端用户同意接受该用户发起的反向语音，则：

步骤3.2.5.1控制器向发起反向语音请求的视频播放端发送反向语音流建立成功的消息；

步骤3.2.5.2视频放端采集语音并通过新建立的媒体流由媒体流服务器将语音数据中转给手机视频直播端，流程结束；

步骤3.2.6如果手机视频直播端用户拒绝接受该用户发起的反向语音，则：

步骤3.2.6.1手机视频直播端向控制服务器发送拒绝接受该用户的反向语音消息；

步骤3.2.6.2控制服务器将媒体流标识对应的反向语音流关联状态标记为未关联；

步骤3.2.6.3控制服务器向媒体流服务器发送撤销相关反向语音流通道预留及状态信息；

步骤3.2.6.4控制服务器向发起反向语音通话请求的发起者发送视频直播端拒绝接受该反向语音请求的消息；

步骤3.2.6.5发起反向语音通话请求的视频播放端显示通话建立失败消息。

2.根据权利要求1所述的手机视频直拍直播中的双向语音通话装置，其特征在于，所述控制服务器通过建立哈希表维护与直播媒体流关联的反向语音传输状态集，以视频直播媒体流的标识作为键，如果存在关联的反向语音流，则键所对应的值为反向语音流标识，如果不存在关联的反向语音流，则键所对应的值为空。

3.根据权利要求1或2所述的手机视频直拍直播中的双向语音通话装置，其特征在于，手机视频直播端和视频播放端均可以终止语音通话，终止反向语音通话的流程如下：

步骤1：手机视频直播端或视频播放端触发关闭反向语音流的事件；

步骤2：触发关闭事件的模块向控制服务器发送终止反向语音流的请求消息，至少包含关联媒体流标识和反向语音流标识；

步骤3：控制服务器向流媒体服务器发送终止反向语音流的消息；

步骤4：流媒体服务器终止反向语音流的转发，并撤销与反向语音流相关的通道和状态信息；

步骤5：控制服务器将与该媒体流关联的反向语音流关联状态设置为不存在。