CN109151371A - 一种音视频多端通信方法、服务器及系统 - Google Patents

Abstract

本发明实施例公开了一种音视频多端通信方法，包括：接收第一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求发送第一音频数据和视频数据到第二客户端；向N个第二客户端转发所述第一呼叫请求，所述N为等于或大于1的整数；若接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则构建第一流媒体数据通道，以使得所述第一客户端通过所述第一流媒体数据通道向M个所述第二客户端发送所述第一音频数据和所述视频数据，所述M为小于或等于N的正整数。通过上述方式，解决了巡视人员可能漏拍某些设备或部位，以至于未发现关键缺陷，存在延时，不能在第一时间发现可能的重大或紧急缺陷，不能在第一时间处理缺陷的技术问题。

Description

一种音视频多端通信方法、服务器及系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种音视频多端通信方法、服务 器及系统。

背景技术

无人机在电力系统中广泛应用，包括输配电线路的巡视、预试定检和消 缺维护等，无人机在输配电线路日常巡视中，能够对电力设备进行近距离无 死角地巡视和检查，并将现场情况传送给远程专家，开展专家诊断；在灾后 勘察中，应急抢险指挥中心可以通过无人机的全局视角，足不出户地掌握输 配电设备的损失情况；在灾后抢险中，监控中心可以通过无人机的全局视角 去掌握每一个抢险地点的进展和安全措施布置情况。

目前电力公司的无人机巡视，通过无人机飞行器，现场巡视人员操控无 人机，只能按照预先设定的路线或者按照现场巡视人员的理解巡视线路，将 拍摄的视频或者图像信息下载到本地存储卡，巡视结束后由巡视人员带回公 司由巡视人员和经验丰富的专家共同分析和诊断，查找和发现缺陷。该模式 存在两个问题，一是巡视人员可能漏拍某些设备或部位，以至于未发现关键 缺陷；二是存在延时，不能在第一时间发现可能的重大或紧急缺陷，不能在 第一时间处理缺陷。

发明内容

本发明实施例提供了一种音视频多端通信方法、客户端及系统，解决了 巡视人员可能漏拍某些设备或部位，以至于未发现关键缺陷，存在延时，不 能在第一时间发现可能的重大或紧急缺陷，不能在第一时间处理缺陷的技术 问题。

本发明的第一方面提供了一种音视频多端通信方法，包括：

接收第一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求发送 第一音频数据和视频数据到第二客户端；

向N个第二客户端转发所述第一呼叫请求，所述N为等于或大于1的整 数；

若接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则 构建第一流媒体数据通道，以使得所述第一客户端通过所述第一流媒体数据 通道向M个所述第二客户端发送所述第一音频数据和所述视频数据，所述M 为小于或等于N的正整数。

结合第一方面的一种可能设计中，所述若接收到N个所述第二客户端中 的M个第二客户端返回的连接应答，则构建第一流媒体数据通道之后还包括：

接收M个第二客户端中的O个第二客户端发送的第二呼叫请求，所述第 二呼叫请求用于请求发送第二音频数据到第一客户端，所述O为小于或等于 M的正整数；

构建第二流媒体数据通道，以使得所述O个第二客户端通过所述第二流 媒体数据通道向所述第一客户端发送所述第二音频数据。

结合第一方面的一种可能设计中，所述若接收到N个所述第二客户端中 的M个第二客户端返回的连接应答，则构建第一流媒体数据通道之后还包括：

接收目标第二客户端发送的第三呼叫请求，所述目标第二客户端属于所 述N个第二客户端，所述第三呼叫请求用于请求发送第三音频数据到N个所 述第二客户端中除所述目标第二客户端外的第二客户端；

构建第三流媒体数据通道，以使得所述目标第二客户端通过所述第三流 媒体数据通道向N个所述第二客户端中除所述目标第二客户端外的第二客户 端发送所述第三音频数据。

结合第一方面的一种可能设计中，所述第一呼叫请求携带有所述N个第 二客户端的客户端地址；

相应的，所述向N个第二客户端转发所述第一呼叫请求包括：

根据所述客户端地址向N个第二客户端转发所述第一呼叫请求。

本发明的第二方面提供了一种音视频多端通信方法，包括：

向服务器发送第一呼叫请求，所述第一呼叫请求用于请求发送第一音频 数据和视频数据到第二客户端，以使得所述服务器向N个第二客户端转发所 述第一呼叫请求，所述N为等于或大于1的整数；

若所述服务器接收到N个所述第二客户端中的M个第二客户端返回的连 接应答，则通过所述服务器构建的第一流媒体数据通道向M个所述第二客户 端发送所述第一音频数据和所述视频数据，所述M为小于或等于N的正整数。

本发明的第三方面提供了一种音视频多端通信方法，包括：

接收所述服务器转发的第一呼叫请求，所述第一呼叫请求用于第一客户 端向服务器请求发送第一音频数据和视频数据到第二客户端；

根据所述第一呼叫请求向所述服务器发送连接应答，以使得所述服务器 构建第一流媒体数据通道；

接收所述第一客户端通过所述第一流媒体数据通道发送的所述第一音频 数据和所述视频数据。

本发明的第四方面提供了一种服务器，包括：

第一接收模块，用于接收第一客户端发送的第一呼叫请求，所述第一呼 叫请求用于请求发送第一音频数据和视频数据到第二客户端；

发送模块，用于向N个第二客户端转发所述第一呼叫请求，所述N为等 于或大于1的整数；

第一处理模块，用于若接收到N个所述第二客户端中的M个第二客户端 返回的连接应答，则构建第一流媒体数据通道，以使得所述第一客户端通过 所述第一流媒体数据通道向M个所述第二客户端发送所述第一音频数据和所 述视频数据，所述M为小于或等于N的正整数。

结合第四方面的一种可能设计中，所述服务器还包括：

第二接收模块，用于接收M个第二客户端中的O个第二客户端发送的第 二呼叫请求，所述第二呼叫请求用于请求发送第二音频数据到第一客户端， 所述O为小于或等于M的正整数；

第二处理模块，用于构建第二流媒体数据通道，以使得所述O个第二客 户端通过所述第二流媒体数据通道向所述第一客户端发送所述第二音频数 据。

结合第四方面的一种可能设计中，所述服务器还包括：

第三接收模块，用于接收目标第二客户端发送的第三呼叫请求，所述目 标第二客户端属于所述N个第二客户端，所述第三呼叫请求用于请求发送第 三音频数据到N个所述第二客户端中除所述目标第二客户端外的第二客户 端；

第三处理模块，用于构建第三流媒体数据通道，以使得所述目标第二客 户端通过所述第三流媒体数据通道向N个所述第二客户端中除所述目标第二 客户端外的第二客户端发送所述第三音频数据。

本发明第五方面提供了一种服务器，包括：存储器、收发器、处理器以 及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

接收第一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求发送 第一音频数据和视频数据到第二客户端；

向N个第二客户端转发所述第一呼叫请求，所述N为等于或大于1的整 数；

若接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则 构建第一流媒体数据通道，以使得所述第一客户端通过所述第一流媒体数据 通道向M个所述第二客户端发送所述第一音频数据和所述视频数据，所述M 为小于或等于N的正整数。

本发明的第六方面提供了一种音视频多端通信系统，所述音视频多端通 信系统包括客户端、第一客户端和N个第二客户端；

所述客户端用于执行上述第一方面的方法；

所述第一客户端用于执行上述第二方面的方法；

每个所述第二客户端用于执行上述第三方面的方法。

本发明的第七方面提供了一种计算机可读存储介质，所述计算机可读存 储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面 所述的方法。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，提供了一种音视频多端通信方法，首先接收第一客户 端发送的第一呼叫请求，所述第一呼叫请求用于请求发送第一音频数据和视 频数据到第二客户端；向N个第二客户端转发所述第一呼叫请求，所述N为 等于或大于1的整数；若接收到N个所述第二客户端中的M个第二客户端返 回的连接应答，则构建第一流媒体数据通道，以使得所述第一客户端通过所 述第一流媒体数据通道向M个所述第二客户端发送所述第一音频数据和所述 视频数据，所述M为小于或等于N的正整数。通过上述方式，使得可以基于 流媒体通道将无人机(第一客户端)上的音视频数据传输到N个第二客户端， 解决了巡视人员可能漏拍某些设备或部位，以至于未发现关键缺陷，存在延 时，不能在第一时间发现可能的重大或紧急缺陷，不能在第一时间处理缺陷 的技术问题。

附图说明

图1为本发明实施例中用户现场展示系统的一个架构示意图；

图2为本发明实施例中音视频多端通信方法一个实施例的流程示意图；

图3为本发明实施例中音视频多端通信方法一个实施例的流程示意图；

图4为本发明实施例中音视频多端通信方法一个实施例的流程示意图；

图5为本发明实施例中服务器的一个实施例示意图；

图6为本发明实施例中服务器的另一个实施例示意图；

图7为本发明实施例中服务器的另一个实施例示意图；

图8为本发明实施例中服务器的另一个实施例示意图；

图9为本发明实施例中客户端的一个实施例示意图；

图10为本发明实施例中用户现场展示系统的一个实施例示意图。

具体实施方式

本发明实施例提供了一种用户现场展示的方法、相关装置及系统，无需 从大量的日志文件中查询目标用户的用户现场，可以基于用户特征信息快速 地定位到目标用户的用户现场，再对用户现场进行还原，一方面有利于提升 用户现场还原的实时性，另一方面降低了用户现场还原操作的难度。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第 二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必 用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可 以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述 的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变 形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、 方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包 括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或 单元。

应理解，本发明实施例提供的一种用户现场展示的方法可应用于用户现 场展示系统，请参阅图1，图1为本发明实施例中用户现场展示系统的一个架 构示意图，如图所示，第一客户端可以为无人机或作为巡视通信发起端的现 场巡视工作人员的工作终端，一线无人机巡视人员作业开始时,作为通信呼叫 方，即发起与监控辅助中心(第二客户端)的通信连接，发起的过程中通过 无人机飞行控制器上安装的本方案实现通讯软件模块同步调用无人机上的视 频采集软件功能模块与语音输入控件，采集音视频信息。多端协同巡视通信 管理模块可以部署在服务器上，服务器确定多端通信方式后若通信建立成功， 则进行音视频数据传输，传输过程中监控通信方式的切换并控制不同通信方 式，无人机发起端结束通信时，即结束通信；若建立失败，则不进行传输， 本次通信结束。

下面将从服务器的角度，对本发明中音视频多端通信方法进行介绍，请 参阅图2，本发明实施例中音视频多端通信方法一个实施例包括：

201、接收第一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求 发送第一音频数据和视频数据到第二客户端；

本申请实施例中，若第一客户端请求与N个第二客户端建立“一对多音 视频广播”的连接模式，则服务器接收第一客户端发送的第一呼叫请求，所 述第一呼叫请求用于请求发送第一音频数据和视频数据到第二客户端。第一 客户端可以为无人机，无人机发起一对多音视频广播通信请求时，服务器即 创建本次通信的Room。

202、向N个第二客户端转发所述第一呼叫请求，所述N为等于或大于1 的整数；

203、若接收到N个所述第二客户端中的M个第二客户端返回的连接应 答，则构建第一流媒体数据通道，以使得所述第一客户端通过所述第一流媒 体数据通道向M个所述第二客户端发送所述第一音频数据和所述视频数据， 所述M为小于或等于N的正整数。

本申请实施例中，接收端(第二客户端)如果在线，则调用accept方法 接收通话，只要有超过一个接收端应答通信，连接即建立成功，接收端能过 流媒体回调程序拿到呼叫方的流媒体；通信连接建立成功后，任意接收端可 接收无人机呼叫端的音视频数据，但不能进行音视频交互。

本发明实施例中，提供了一种音视频多端通信方法，首先由服务器接收 第一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求发送第一音频 数据和视频数据到第二客户端；向N个第二客户端转发所述第一呼叫请求， 所述N为等于或大于1的整数；若接收到N个所述第二客户端中的M个第二 客户端返回的连接应答，则构建第一流媒体数据通道，以使得所述第一客户 端通过所述第一流媒体数据通道向M个所述第二客户端发送所述第一音频数 据和所述视频数据，所述M为小于或等于N的正整数。通过上述方式，使得 可以基于流媒体通道将无人机(第一客户端)上的音视频数据传输到N个第 二客户端，解决了巡视人员可能漏拍某些设备或部位，以至于未发现关键缺 陷，存在延时，不能在第一时间发现可能的重大或紧急缺陷，不能在第一时 间处理缺陷的技术问题。

可选地，在上述图2对应的实施例的基础上，本发明实施例提供的音视 频多端通信方法第一个可选实施例中，所述若接收到N个所述第二客户端中 的M个第二客户端返回的连接应答，则构建第一流媒体数据通道之后还包括：

接收M个第二客户端中的O个第二客户端发送的第二呼叫请求，所述第 二呼叫请求用于请求发送第二音频数据到第一客户端，所述O为小于或等于 M的正整数；

构建第二流媒体数据通道，以使得所述O个第二客户端通过所述第二流 媒体数据通道向所述第一客户端发送所述第二音频数据。

本申请实施例中，在“一对多音视频广播”连接模式的基础上，接收端 需要同“无人机呼叫端”交互则向“多端协同巡视通信管理”发起音频交互 请求，发起端同意后，即可和“无人机呼叫端”和本Room中其他“交互通 信模式”peer进行音频交互。

本申请实施例中，无人机发起多对多语音交互通信请求时即创建本次通 信的Room，建立与流媒体服务器的通信连接，接收端如果在线，则调用accept 方法接听通话，只要有超过一个接收端应答通信，连接即建立成功，双方并 能过流媒体回调程序拿到对方流媒体数据；通信连接建立成功后，接收端(监 控辅助端)可接收无人机呼叫端和本次Room中其他“交互通信模式”peer 的音视频数据；无人机呼叫方可接收各接收端(监控辅助端)的音频数据。

可选地，在上述图2对应的第一个实施例的基础上，本发明实施例提供 的音视频多端通信方法第二个可选实施例中，所述若接收到N个所述第二客 户端中的M个第二客户端返回的连接应答，则构建第一流媒体数据通道之后 还包括：

接收目标第二客户端发送的第三呼叫请求，所述目标第二客户端属于所 述N个第二客户端，所述第三呼叫请求用于请求发送第三音频数据到N个所 述第二客户端中除所述目标第二客户端外的第二客户端；

构建第三流媒体数据通道，以使得所述目标第二客户端通过所述第三流 媒体数据通道向N个所述第二客户端中除所述目标第二客户端外的第二客户 端发送所述第三音频数据。

本申请实施例中，接收端(第二客户端)可接收无人机呼叫端和本次Room 中其他“交互通信模式”peer的音视频数据；无人机呼叫方可接收各接收端 (监控辅助端)的音频数据。

可选地，在上述图2对应的实施例、第一个可选实施例或第二个可选实 施例的基础上，本发明实施例提供的音视频多端通信方法第三个可选实施例 中，所述第一呼叫请求携带有所述N个第二客户端的客户端地址；

相应的，所述向N个第二客户端转发所述第一呼叫请求包括：

根据所述客户端地址向N个第二客户端转发所述第一呼叫请求。

可选的，协同通信多端建立传输连接以后，即开始进行音视频通信数据传 输，音视频数据传输模式分为三种：

a.无人机巡视呼叫方可以进行音视频数据采集并向接收端传输，可以同时 接收来自多接收端的监控指挥人员的音频数据，发起方和各接收端可进行多 向的实时音视频交互。

b.无人机巡视呼叫端仅进行音视频数据采集并向接收端人员传输，接收 端不输出语音数据；

c.综合a,b.

a,c两种方式下的音视频数据，“多端协同巡视通信管理”通过WebRTC 基于kurento媒体服务器的MCU流媒体传输方式进行音视频流媒体数据的合 流、转发。b方式下仅通过WebRTC基于kurento媒体服务器的MCU流媒体 传输方式进行音视频流媒体数据的转发。

无人机通信建立后，通信发起端与每一个通信接收端可以有两种通信模 式：“音频交互通信”和“广播通信”。每一个<发起方，接收端>对，如果一 开始是“广播通信”则可以向“音频交互通信”切换。

可选的，如果接收端发起“音频交互通信”请求，“通信传输管理”将该 请求发送给“发起方”，如果发起方拒绝请求，则<发起方，接收端>通信对类 型不变；如果发起方同意，则接收端调用MediaStream功能采集本地的音频， 并向“通信协同管理模块”请求建立流媒体数据通道，以向发起发发送本地 的音频数据；同步地发起方打开向该接收端的数据通道及音频数据播放器， 通信双方即可进行音频交互通信。通信传输管理模块中更新本<发起方，接收 端>通信类型信息。

以上为从服务器的角度对音视频多端通信方法进行的介绍，下面将从第 一客户端的角度，对本发明中音视频多端通信方法进行介绍，请参阅图3，本 发明实施例中音视频多端通信方法一个实施例包括：

301、向服务器发送第一呼叫请求，所述第一呼叫请求用于请求发送第一 音频数据和视频数据到第二客户端，以使得所述服务器向N个第二客户端转 发所述第一呼叫请求，所述N为等于或大于1的整数；

302、若所述服务器接收到N个所述第二客户端中的M个第二客户端返 回的连接应答，则通过所述服务器构建的第一流媒体数据通道向M个所述第 二客户端发送所述第一音频数据和所述视频数据，所述M为小于或等于N的 正整数。

本申请实施例中，无人机呼叫方发起通信请求后，“系统整体流程图”的 “多端协同巡视通信管理”模块接收到通信请求信息，判断发起方的呼叫类 型是音频交互通信、音视频广播通信还是混合通信，更新通信类型参数；查 找是否有接收端在线，如果有至少一个接收端在线，则调用“通信接收端应 答协商”模块调用OutgoingCall方法向接收端发送信息(具体见：接收端通信 应答协商流程图)，信息包含在线接收端地址、呼叫方式和流媒体数据，根据 “通信接收端应答协商”模块返回参数判断，如果接收端接收通信，则呼叫 与接收端状态都更新为calling状态，为每个<呼叫方，接收端>对建立一个状态 返回信息对象，包含<通信类型a/b/c，通信建立结果>，只要有至少一个接收 端接收，则通信建立成功；如果没有接收端在线或者所有接收端都拒绝呼叫 请求，则状态返回信息对象值为“通信建立失败”。

本申请实施例中，向服务器发送第一呼叫请求，所述第一呼叫请求用于 请求发送第一音频数据和视频数据到第二客户端，以使得所述服务器向N个 第二客户端转发所述第一呼叫请求，所述N为等于或大于1的整数；若所述 服务器接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则 通过所述服务器构建的第一流媒体数据通道向M个所述第二客户端发送所述 第一音频数据和所述视频数据，所述M为小于或等于N的正整数。通过上述 方式，使得可以基于流媒体通道将无人机(第一客户端)上的音视频数据传 输到N个第二客户端，解决了巡视人员可能漏拍某些设备或部位，以至于未 发现关键缺陷，存在延时，不能在第一时间发现可能的重大或紧急缺陷，不 能在第一时间处理缺陷的技术问题。

可选地，在上述图3对应的实施例的基础上，本发明实施例提供的音视 频多端通信方法第四个可选实施例中，若所述服务器接收到N个所述第二客 户端中的M个第二客户端返回的连接应答，则通过所述服务器构建的第一流 媒体数据通道向M个所述第二客户端发送所述第一音频数据和所述视频数据 之后还包括：

接收服务器转发的M个第二客户端中的O个第二客户端发送的第二呼叫 请求，所述第二呼叫请求用于请求发送第二音频数据到第一客户端，所述O 为小于或等于M的正整数；

接收所述O个第二客户端通过所述第二流媒体数据通道发送所述的第二 音频数据。

以上为从第一客户端的角度对音视频多端通信方法进行的介绍，下面将 从第二客户端的角度，对本发明中音视频多端通信方法进行介绍，请参阅图4， 本发明实施例中音视频多端通信方法一个实施例包括：

401、接收所述服务器转发的第一呼叫请求，所述第一呼叫请求用于第一 客户端向服务器请求发送第一音频数据和视频数据到第二客户端；

402、根据所述第一呼叫请求向所述服务器发送连接应答，以使得所述服 务器构建第一流媒体数据通道；

403、接收所述第一客户端通过所述第一流媒体数据通道发送的所述第一 音频数据和所述视频数据。

无人机呼叫方发起通信请求后，通信接收端应答流程如下：

1)若接收端拒绝通信，则状态信息对象值更新为“通信建立失败”。

2)若接收端同意通信，根据呼叫方传入参数，判断呼叫类型；对于每个 接收端，呼叫类型只有两种，音频交互通信和广播通信；如果是音频交互通 信，则接收端可以接收呼叫方和本Room中其他“交互通信模式”peer的音视 频数据，同时还可以向“多端协同巡视通信管理模块”发送音频数据，“多端 协同巡视通信管理模块”将多端音频数据合流成一路音视频成一后广播给发 起方和各接收端；如果是广播通信，则接收端只需要接收呼叫方的音视频数 据。如果传入为“音频交互通信”方式，接收端执行下4个动作1、调用基于 WebRTC的MediaStream获取本地音频，2、同时向“多端协同巡视通信管理模 块”请求建立流媒体数据通道；3、然后打开播放器准备接收呼叫方的音视频 数据信息；4、修正状态信息值为“通信建立成功”。如果传入为“广播通信” 方式，接收端执行下2个动作1、打开播放器准备接收呼叫方的音视频数据信 息；2、修正状态信息值为“通信建立成功”。最后向“通信协商流程图”的 “通信接收端应答协商”模块返回“状态信息”。

本申请实施例中，接收所述服务器转发的第一呼叫请求，所述第一呼叫 请求用于第一客户端向服务器请求发送第一音频数据和视频数据到第二客户 端；根据所述第一呼叫请求向所述服务器发送连接应答，以使得所述服务器 构建第一流媒体数据通道；接收所述第一客户端通过所述第一流媒体数据通 道发送的所述第一音频数据和所述视频数据。通过上述方式，使得可以基于 流媒体通道将无人机(第一客户端)上的音视频数据传输到N个第二客户端， 解决了巡视人员可能漏拍某些设备或部位，以至于未发现关键缺陷，存在延 时，不能在第一时间发现可能的重大或紧急缺陷，不能在第一时间处理缺陷 的技术问题。

下面对本发明中的服务器进行详细描述，请参阅图5，图5为本发明实施 例中服务器一个实施例示意图，服务器包括：

第一接收模块501，用于接收第一客户端发送的第一呼叫请求，所述第一 呼叫请求用于请求发送第一音频数据和视频数据到第二客户端；

发送模块502，用于向N个第二客户端转发所述第一呼叫请求，所述N 为等于或大于1的整数；

第一处理模块503，用于若接收到N个所述第二客户端中的M个第二客 户端返回的连接应答，则构建第一流媒体数据通道，以使得所述第一客户端 通过所述第一流媒体数据通道向M个所述第二客户端发送所述第一音频数据 和所述视频数据，所述M为小于或等于N的正整数。

本实施例中，第一接收模块，用于接收第一客户端发送的第一呼叫请求， 所述第一呼叫请求用于请求发送第一音频数据和视频数据到第二客户端；发 送模块，用于向N个第二客户端转发所述第一呼叫请求，所述N为等于或大 于1的整数；第一处理模块，用于若接收到N个所述第二客户端中的M个第 二客户端返回的连接应答，则构建第一流媒体数据通道，以使得所述第一客 户端通过所述第一流媒体数据通道向M个所述第二客户端发送所述第一音频 数据和所述视频数据，所述M为小于或等于N的正整数。

本发明实施例中，提供了一种服务器，首先第一接收模块，用于接收第 一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求发送第一音频数 据和视频数据到第二客户端；发送模块，用于向N个第二客户端转发所述第 一呼叫请求，所述N为等于或大于1的整数；第一处理模块，用于若接收到 N个所述第二客户端中的M个第二客户端返回的连接应答，则构建第一流媒 体数据通道，以使得所述第一客户端通过所述第一流媒体数据通道向M个所 述第二客户端发送所述第一音频数据和所述视频数据，所述M为小于或等于 N的正整数。通过上述方式，使得可以基于流媒体通道将无人机(第一客户 端)上的音视频数据传输到N个第二客户端，解决了巡视人员可能漏拍某些 设备或部位，以至于未发现关键缺陷，存在延时，不能在第一时间发现可能 的重大或紧急缺陷，不能在第一时间处理缺陷的技术问题。

可选地，在上述图5所对应的实施例的基础上，请参阅图6，本发明实施 例提供的服务器的另一实施例中，所述服务器还包括：

第二接收模块601，用于接收M个第二客户端中的O个第二客户端发送 的第二呼叫请求，所述第二呼叫请求用于请求发送第二音频数据到第一客户 端，所述O为小于或等于M的正整数；

第二处理模块602，用于构建第二流媒体数据通道，以使得所述O个第 二客户端通过所述第二流媒体数据通道向所述第一客户端发送所述第二音频 数据。

可选地，在上述图5所对应的实施例的基础上，参照图7本发明实施例 提供的服务器的另一实施例中，所述服务器还包括：

第三接收模块701，用于接收目标第二客户端发送的第三呼叫请求，所述 目标第二客户端属于所述N个第二客户端，所述第三呼叫请求用于请求发送 第三音频数据到N个所述第二客户端中除所述目标第二客户端外的第二客户 端；

第三处理模块702，用于构建第三流媒体数据通道，以使得所述目标第二 客户端通过所述第三流媒体数据通道向N个所述第二客户端中除所述目标第 二客户端外的第二客户端发送所述第三音频数据。

图8是本发明实施例提供的一种服务器结构示意图，该服务器500可因 配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，CPU)522(例如，一个或一个以上处理器)和存储 器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如 一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短 暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模 块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一 步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执 行存储介质530中的一系列指令操作。

服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或 无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以 上操作系统541，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM， FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器结构。

CPU522用于执行如下步骤：

接收第一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求发送 第一音频数据和视频数据到第二客户端；

向N个第二客户端转发所述第一呼叫请求，所述N为等于或大于1的整 数；

若接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则 构建第一流媒体数据通道，以使得所述第一客户端通过所述第一流媒体数据 通道向M个所述第二客户端发送所述第一音频数据和所述视频数据，所述M 为小于或等于N的正整数。

可选地，CPU522还用于执行如下步骤：

所述若接收到N个所述第二客户端中的M个第二客户端返回的连接应 答，则构建第一流媒体数据通道之后还包括：

接收M个第二客户端中的O个第二客户端发送的第二呼叫请求，所述第 二呼叫请求用于请求发送第二音频数据到第一客户端，所述O为小于或等于 M的正整数；

构建第二流媒体数据通道，以使得所述O个第二客户端通过所述第二流 媒体数据通道向所述第一客户端发送所述第二音频数据。

可选地，CPU522还用于执行如下步骤：

所述若接收到N个所述第二客户端中的M个第二客户端返回的连接应 答，则构建第一流媒体数据通道之后还包括：

接收目标第二客户端发送的第三呼叫请求，所述目标第二客户端属于所 述N个第二客户端，所述第三呼叫请求用于请求发送第三音频数据到N个所 述第二客户端中除所述目标第二客户端外的第二客户端；

构建第三流媒体数据通道，以使得所述目标第二客户端通过所述第三流 媒体数据通道向N个所述第二客户端中除所述目标第二客户端外的第二客户 端发送所述第三音频数据。

可选地，CPU522具体用于执行如下步骤：

所述第一呼叫请求携带有所述N个第二客户端的客户端地址；

相应的，所述向N个第二客户端转发所述第一呼叫请求包括：

根据所述客户端地址向N个第二客户端转发所述第一呼叫请求。

本发明实施例还提供了一种客户端，如图9所示，为了便于说明，仅示 出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实 施例方法部分。该客户端可以为包括手机、平板电脑、个人数字助理 (PersonalDigitalAssistant，PDA)、销售终端(PointofSales，POS)、车载电脑 等任意终端设备，以终端为手机为例：

图9示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。 参考图9，手机包括：射频(RadioFrequency，RF)电路610、存储器620、 输入单元630、显示单元640、传感器650、音频电路660、无线保真 (wirelessfidelity，WiFi)模块670、处理器680、以及电源690等部件。本领 域技术人员可以理解，图9中示出的手机结构并不构成对手机的限定，可以 包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图9对手机的各个构成部件进行具体的介绍：

RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地， 将基站的下行信息接收后，给处理器680处理；另外，将设计上行的数据发 送给基站。通常，RF电路610包括但不限于天线、至少一个放大器、收发信 机、耦合器、低噪声放大器(LowNoiseAmplifier，LNA)、双工器等。此外， RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以 使用任一通信标准或协议，包括但不限于全球移动通讯系统 (GlobalSystemofMobilecommunication，GSM)、通用分组无线服务(GeneralPacketRadioService，GPRS)、码分多址(CodeDivisionMultipleAccess，CDMA)、宽带码分多址(WidebandCodeDivisionMultipleAccess,WCDMA)、 长期演进(LongTermEvolution，LTE)、电子邮件、短消息服务 (ShortMessagingService，SMS)等。

存储器620可用于存储软件程序以及模块，处理器680通过运行存储在 存储器620的软件程序以及模块，从而执行手机的各种功能应用以及数据处 理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可 存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播 放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频 数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还 可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他 易失性固态存储器件。

输入单元630可用于接收输入的数字或字符信息，以及产生与手机的用 户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控 面板631以及其他输入设备632。触控面板631，也称为触摸屏，可收集用户 在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附 件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式 驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控 制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作 带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收 触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680 发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面 声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以 包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键 盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中 的一种或多种。

显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手 机的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显 示器(LiquidCrystalDisplay，LCD)、有机发光二极管 (OrganicLight-EmittingDiode，OLED)等形式来配置显示面板641。进一步 的，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近 的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680 根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图9中， 触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输 入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而 实现手机的输入和输出功能。

手机还可包括至少一种传感器650，比如光传感器、运动传感器以及其他 传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境 光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可 在手机移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种， 加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检 测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相 关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于 手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传 感器，在此不再赘述。

音频电路660、扬声器661，传声器662可提供用户与手机之间的音频接 口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661， 由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信 号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输 出处理器680处理后，经RF电路610以发送给比如另一手机，或者将音频数 据输出至存储器620以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块670可以帮助用户收 发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联 网访问。虽然图9示出了WiFi模块670，但是可以理解的是，其并不属于手 机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各 个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调 用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手 机进行整体监控。可选的，处理器680可包括一个或多个处理单元；可选的， 处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处 理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。 可以理解的是，上述调制解调处理器也可以不集成到处理器680中。

手机还包括给各个部件供电的电源690(比如电池)，可选的，电源可以 通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理 充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本发明实施例中，该终端所包括的处理器680还具有以下功能：

向服务器发送用户现场展示指令，以使所述服务器根据所述用户现场展 示指令中携带的目标用户特征信息，获取目标用户的目标用户现场，其中， 所述用户现场展示指令中携带目标用户的目标用户特征信息，所述目标用户 现场包含所述目标用户已经触发过的请求和响应；

接收所述服务器发送的所述目标用户现场；

展示所述目标用户现场。

可选地，处理器680还用于执行如下步骤：

向服务器发送第一呼叫请求，所述第一呼叫请求用于请求发送第一音频 数据和视频数据到第二客户端，以使得所述服务器向N个第二客户端转发所 述第一呼叫请求，所述N为等于或大于1的整数；

若所述服务器接收到N个所述第二客户端中的M个第二客户端返回的连 接应答，则通过所述服务器构建的第一流媒体数据通道向M个所述第二客户 端发送所述第一音频数据和所述视频数据，所述M为小于或等于N的正整数。

可选地，处理器680还用于执行如下步骤：

接收服务器转发的M个第二客户端中的O个第二客户端发送的第二呼叫 请求，所述第二呼叫请求用于请求发送第二音频数据到第一客户端，所述O 为小于或等于M的正整数；

接收所述O个第二客户端通过所述第二流媒体数据通道发送所述的第二 音频数据。

请参阅图10，图10为本发明实施例中用户现场展示系统的一个实施例示 意图，如图所示，用户现场展示系统包括服务器1001、第一客户端1002和N 个第二客户端1003；

所述服务器1001用于执行上述图2所描述的方法；

所述第一客户端1002用于执行上述图3所描述的方法；

每个所述第二客户端1003用于执行上述图4所描述的方法。

第一客户端即无人机电力巡视多端通信发起端，置于无人机飞行控制器 中，一线巡视工作小组启动无人机巡视工作同时，通过飞行控制器发起通信 请求，进行音视频数据的采集以及向流媒体信令服务器申请建立通信连接。

(1)音视频数据采集：基于WebRTC，通过MediaStream的API调用无人机 飞行控制器上的的音视频流媒体获取模块getUserMedia(),根据业务实际需 求，决定是否进行音频流和视频流的接收，接收来自无人机飞行器采集的视 频信息以及声音采集模块的音频信息，并在WebRTC对原始音视频数据信息 进行压缩编码，视频数据基于VP8编码技术进行编解码处理，音频数据基于 Opus进行编解码处理。

(2)图像采集模块：无人机的图像采集系统，无人机飞行巡视过程中，采 集图像信息，并传输给通信发起端。

(3)多端协同巡视通信协商管理：通信协商管理是通过信令进行，信令是 控制通信各端正常通信连接状态的数据；信令控制服务器是通信发起端、通 信接收各端进行正常通信的协调器；通信发起端、通信接收端与信令控制服 务器之间的连接通道，即是信令通道。

通过kurento媒体服务器，建立多端的通信信令交互，并进行媒体数据的 路由转发。信令交换的信息主要有各通信端的网络配置(包括IP地址和端 口)，媒体适配(包括各通信端能接受什么样的编码器和分辨率)。

(4)多端协同巡视通信管理流媒体传输：进行多路音视频流媒体数据的音 视频混合同步处理、多路混合处理后的音视频数据合流处理、多路音视频数 据转发。基于WebRTC的RTCDataChannelAPI()，为各通道端调用 PeerConnection建立DataChannel，进行流媒体数据通信。

对于“音频交互通信”和“混合通信”“多端协同巡视通信管理”，通过 WebRTC基于kurento媒体服务器的MCU流媒体传输方式进行音视频流媒体数 据的合流，并通过DataChannel传输。“广播通信”方式下仅通过WebRTC基 于kurento媒体服务器的MCU流媒体传输方式地音视频流媒体数据通过 DataChannel传输。

(5)协同巡视管理模块的通信管理：巡视通信发起端选择监控指挥通信 接收人员，即协同通信人员或者组织，形成多端通信小组。监控指挥接收端 即收到通信建立请求提示，同意建立通信连接后，即向流媒体服务器发送通 信连接信令，建立与通信发起者的通信连接,多端通信终端间形成信令通道， 通信的接入、断开、语音视频交互指令等的传输都通过信令通道传输。

通信过程中各通信端的音视频通信数据基于RTP进行流媒体数据传输， 除去通信各端网络本身的拥塞，网络延时是传统无人机视频直播延时的 1/10，如果不考虑网络传输本身延迟，通信延迟在100ms以内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和 方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示 意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可 以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个 系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合 或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一 个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功 能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本 发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个 存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器 (read-onlymemory，ROM)、随机存取存储器(randomaccessmemory， RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应 当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案 的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种音视频多端通信方法，其特征在于，包括：

接收第一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求发送第一音频数据和视频数据到第二客户端；

向N个第二客户端转发所述第一呼叫请求，所述N为等于或大于1的整数；

若接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则构建第一流媒体数据通道，以使得所述第一客户端通过所述第一流媒体数据通道向M个所述第二客户端发送所述第一音频数据和所述视频数据，所述M为小于或等于N的正整数。

2.根据权利要求1所述的方法，其特征在于，所述若接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则构建第一流媒体数据通道之后还包括：

接收M个第二客户端中的O个第二客户端发送的第二呼叫请求，所述第二呼叫请求用于请求发送第二音频数据到第一客户端，所述O为小于或等于M的正整数；

构建第二流媒体数据通道，以使得所述O个第二客户端通过所述第二流媒体数据通道向所述第一客户端发送所述第二音频数据。

3.根据权利要求1所述的方法，其特征在于，所述若接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则构建第一流媒体数据通道之后还包括：

接收目标第二客户端发送的第三呼叫请求，所述目标第二客户端属于所述N个第二客户端，所述第三呼叫请求用于请求发送第三音频数据到N个所述第二客户端中除所述目标第二客户端外的第二客户端；

构建第三流媒体数据通道，以使得所述目标第二客户端通过所述第三流媒体数据通道向N个所述第二客户端中除所述目标第二客户端外的第二客户端发送所述第三音频数据。

4.根据权利要求1至3任一所述的方法，其特征在于，所述第一呼叫请求携带有所述N个第二客户端的客户端地址；

相应的，所述向N个第二客户端转发所述第一呼叫请求包括：

根据所述客户端地址向N个第二客户端转发所述第一呼叫请求。

5.一种音视频多端通信方法，其特征在于，包括：

向服务器发送第一呼叫请求，所述第一呼叫请求用于请求发送第一音频数据和视频数据到第二客户端，以使得所述服务器向N个第二客户端转发所述第一呼叫请求，所述N为等于或大于1的整数；

若所述服务器接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则通过所述服务器构建的第一流媒体数据通道向M个所述第二客户端发送所述第一音频数据和所述视频数据，所述M为小于或等于N的正整数。

6.一种音视频多端通信方法，其特征在于，包括：

接收所述服务器转发的第一呼叫请求，所述第一呼叫请求用于第一客户端向服务器请求发送第一音频数据和视频数据到第二客户端；

根据所述第一呼叫请求向所述服务器发送连接应答，以使得所述服务器构建第一流媒体数据通道；

接收所述第一客户端通过所述第一流媒体数据通道发送的所述第一音频数据和所述视频数据。

7.一种服务器，其特征在于，包括：

第一接收模块，用于接收第一客户端发送的第一呼叫请求，所述第一呼叫请求用于请求发送第一音频数据和视频数据到第二客户端；

发送模块，用于向N个第二客户端转发所述第一呼叫请求，所述N为等于或大于1的整数；

第一处理模块，用于若接收到N个所述第二客户端中的M个第二客户端返回的连接应答，则构建第一流媒体数据通道，以使得所述第一客户端通过所述第一流媒体数据通道向M个所述第二客户端发送所述第一音频数据和所述视频数据，所述M为小于或等于N的正整数。

8.根据权利要求7所述的服务器，其特征在于，所述服务器还包括：

第二接收模块，用于接收M个第二客户端中的O个第二客户端发送的第二呼叫请求，所述第二呼叫请求用于请求发送第二音频数据到第一客户端，所述O为小于或等于M的正整数；

第二处理模块，用于构建第二流媒体数据通道，以使得所述O个第二客户端通过所述第二流媒体数据通道向所述第一客户端发送所述第二音频数据。

9.根据权利要求7所述的服务器，其特征在于，所述服务器还包括：

第三接收模块，用于接收目标第二客户端发送的第三呼叫请求，所述目标第二客户端属于所述N个第二客户端，所述第三呼叫请求用于请求发送第三音频数据到N个所述第二客户端中除所述目标第二客户端外的第二客户端；

第三处理模块，用于构建第三流媒体数据通道，以使得所述目标第二客户端通过所述第三流媒体数据通道向N个所述第二客户端中除所述目标第二客户端外的第二客户端发送所述第三音频数据。

10.一种音视频多端通信系统，其特征在于，所述系统包括：

服务器、第一客户端和N个第二客户端；

所述服务器用于执行上述权利要求1至4任一所述的方法；

所述第一客户端用于执行上述权利要求5所述的方法；

每个所述第二客户端用于执行上述权利要求6所述的方法。