CN115529298B - 一种密集视音频传输系统、方法和装置 - Google Patents

Abstract

本申请提供了一种密集视音频传输系统、方法和装置，涉及数据传输技术领域，系统包括：拍摄采集系统、边缘网传输分发系统和接收解码系统。边缘网传输分发系统预先搭建专用网络，该专用网络的带宽使得本申请能够对超过设定路数的视音频IP流进行同时传输，提高了传输效率；拍摄采集系统响应来自边缘网传输分发系统的第一拉流请求，将预先编码出的多路视音频IP流通过专用网络传输至边缘网传输分发系统，边缘网传输分发系统再响应来自接收解码系统的第二拉流请求，将多路视音频IP流中包含的待拉取视音频IP流发送至接收解码系统。由于视音频IP流的传输延时低于预设的延时阈值，降低了系统整体的传输延时。

Description

一种密集视音频传输系统、方法和装置

技术领域

本申请涉及数据传输技术领域，特别是涉及一种密集视音频传输系统、方法和装置。

背景技术

在目前存在的一种场景中，需要将多个视音频采集设备采集的视音频数据传输至接收设备，例如，在电视节目制作的场景中，需要将多达60路甚至更多路的移动机位采集的视音频数据无线传输到制作系统，以便制作系统基于接收到的视音频数据进行电视节目制作。

传统的视音频无线传输系统通过点到点的方式或者通过编码器对各视音频数据进行编码，然后再将编码后的视音频数据通过公网/wifi无线传输到目标设备，仅能够同时传输不超过设定路数的视音频数据，远远低于需要传输到接收设备的总路数；同时，各视音频数据的传输延时较高。

发明内容

有鉴于此，本申请提供了一种密集视音频传输系统、方法和装置，用于解决现有技术存在的能够同时传输的视音频数据的总路数低和传输延时高的问题，其技术方案如下：

一种密集视音频传输系统，包括：拍摄采集系统、边缘网传输分发系统和接收解码系统；

边缘网传输分发系统，用于预先搭建专用网络，专用网络具有使超过设定路数的视音频IP流同时传输的带宽；

拍摄采集系统，用于采集多路视音频数据，并将多路视音频数据分别编码为视音频IP流，其中，视音频IP流的码率低于对应视音频数据的码率；

边缘网传输分发系统，还用于生成第一拉流请求，并将第一拉流请求发送至拍摄采集系统；

拍摄采集系统，还用于响应第一拉流请求，将多路视音频IP流通过专用网络传输至边缘网传输分发系统，其中，视音频IP流的传输延时低于预设的延时阈值；

接收解码系统，用于根据用户的业务需求生成第二拉流请求，并将第二拉流请求发送至边缘网传输分发系统；

边缘网传输分发系统，还用于响应第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统。

可选的，边缘网传输分发系统包括：目标基站和流转发服务器；

目标基站，用于预先搭建专用网络；

流转发服务器，用于生成第一拉流请求，将第一拉流请求发送至拍摄采集系统，并接收拍摄采集系统通过专用网络发送来的多路视音频IP流，以及响应第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统。

可选的，流转发服务器生成第一拉流请求，包括：

流转发服务器建立流转发任务，并基于流转发任务生成第一拉流请求。

可选的，目标基站为具备移动部署能力的游牧式基站，专用网络为5G多接入边缘计算局域专网。

可选的，拍摄采集系统包括：多路采集设备和多路采集设备分别对应的编码器，编码器具备使视音频IP流的传输延时低于延时阈值的能力；

多路采集设备中的每路采集设备，用于采集一路视音频数据；

编码器，用于将对应采集设备采集的一路视音频数据编码为视音频IP流，并响应第一拉流请求，将编码得到的视音频IP流通过专用网络传输至流转发服务器。

可选的，编码器将编码得到的视音频IP流通过专用网络传输至流转发服务器，包括：

编码器通过专用网络包含的第一传输通道将编码得到的视音频IP流发送至目标基站；

目标基站通过专用网络包含的第二传输通道将编码得到的视音频IP流发送至流转发服务器；

其中，第一传输通道为无线传输通道，第二传输通道为有线传输通道。

可选的，接收解码系统包括：解码设备和显示设备；

解码设备，用于根据用户的业务需求生成第二拉流请求，将第二拉流请求发送至流转发服务器，并接收流转发服务器发送的待拉取视音频IP流，以及对待拉取视音频IP流进行解码，得到解码后视音频IP流；

显示设备，用于将解码后视音频IP流显示出来。

可选的，接收解码系统包括：云端制作设备；

云端制作设备，用于根据用户的业务需求生成第二拉流请求，将第二拉流请求发送至流转发服务器，并接收流转发服务器发送的待拉取视音频IP流，以及对待拉取视音频IP流进行处理和/或存储。

一种密集视音频传输方法，包括：

生成第一拉流请求，并将第一拉流请求发送至拍摄采集系统；

接收拍摄采集系统响应第一拉流请求，通过边缘网传输分发系统预先搭建的专用网络发送来的多路视音频IP流，其中，多路视音频IP流通过拍摄采集系统对采集的多路视音频数据分别进行编码得到，视音频IP流的码率低于对应视音频数据的码率，视音频IP流的传输延时低于预设的延时阈值，专用网络具有使超过设定路数的视音频IP流同时传输的带宽；

接收来自接收解码系统的第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统，其中，第二拉流请求是指基于用户的业务需求生成的用于拉取待拉取视音频IP流的请求。

一种密集视音频传输装置，包括：

第一拉流请求发送模块，用于生成第一拉流请求，并将第一拉流请求发送至拍摄采集系统；

IP流接收模块，用于接收拍摄采集系统响应第一拉流请求，通过边缘网传输分发系统预先搭建的专用网络发送来的多路视音频IP流，其中，多路视音频IP流通过拍摄采集系统对采集的多路视音频数据分别进行编码得到，视音频IP流的码率低于对应视音频数据的码率，视音频IP流的传输延时低于预设的延时阈值，专用网络具有使超过设定路数的视音频IP流同时传输的带宽；

IP流拉取模块，用于接收来自接收解码系统的第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统，其中，第二拉流请求是指基于用户的业务需求生成的用于拉取待拉取视音频IP流的请求。

经由上述的技术方案可知，本申请提供的密集视音频传输系统包括：拍摄采集系统、边缘网传输分发系统和接收解码系统，其中，边缘网传输分发系统用于预先搭建专用网络，拍摄采集系统用于采集多路视音频数据，并将多路视音频数据分别编码为视音频IP流，边缘网传输分发系统还用于生成第一拉流请求，并将第一拉流请求发送至拍摄采集系统，拍摄采集系统还用于响应第一拉流请求，将多路视音频IP流通过专用网络传输至边缘网传输分发系统，接收解码系统用于根据用户的业务需求生成第二拉流请求，并将第二拉流请求发送至边缘网传输分发系统，边缘网传输分发系统还用于响应第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统。本申请中，边缘网传输分发系统预先搭建的专用网络的带宽使得本申请能够对超过设定路数的视音频IP流进行同时传输，提高了传输效率，同时本申请使得视音频IP流的传输延时低于预设的延时阈值，降低了系统整体的传输延时。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种密集视音频传输系统的结构示意图；

图2为本申请实施例提供的一种边缘网传输分发系统的结构示意图；

图3为本申请实施例提供的一种拍摄采集系统的结构示意图；

图4为本申请实施例提供的一种接收解码系统的结构示意图；

图5为本申请实施例提供的另一种接收解码系统的结构示意图；

图6为本申请实施例提供的另一种密集视音频传输系统的结构示意图；

图7为本申请实施例提供的一种5G密集视音频传输示意图；

图8为本申请实施例提供的密集视音频传输方法的流程示意图；

图9为本申请实施例提供的密集视音频传输装置的结构示意图；

图10为本申请实施例提供的密集视音频传输设备的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供了一种密集视音频传输系统、方法和装置，可选的，该密集视音频传输系统、方法和装置可适用于媒体行业、应急救灾、教育、军民融合、矿业、建筑业等对5G网络有短期或临时性需求的业务场景。

接下来首先通过下述实施例对本申请提供的密集视音频传输系统进行介绍。

请参阅图1，示出了本申请实施例提供的一种密集视音频传输系统的结构示意图，该密集视音频传输系统可以包括：拍摄采集系统11、边缘网传输分发系统12和接收解码系统13。

边缘网传输分发系统12，用于预先搭建专用网络，专用网络具有使超过设定路数的视音频IP流同时传输的带宽。

拍摄采集系统11，用于采集多路视音频数据，并将多路视音频数据分别编码为视音频IP流，其中，视音频IP流的码率低于对应视音频数据的码率。

边缘网传输分发系统12，还用于生成第一拉流请求，并将第一拉流请求发送至拍摄采集系统。

拍摄采集系统11，还用于响应第一拉流请求，将多路视音频IP流通过专用网络传输至边缘网传输分发系统，其中，视音频IP流的传输延时低于预设的延时阈值。

接收解码系统13，用于根据用户的业务需求生成第二拉流请求，并将第二拉流请求发送至边缘网传输分发系统。

边缘网传输分发系统12，还用于响应第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统。

具体来说，鉴于现有技术用公网传输视音频数据，导致仅能够同时传输不超过设定路数的视音频数据，这里，设定路数是指目前的公网能够传输的视音频数据的最大路数。为了解决这一问题，本实施例在边缘网传输分发系统12预先搭建了专用网络，该专用网络为一种边缘网络，具有使超过设定路数的视音频IP流同时传输的带宽，该带宽使得本申请在同一时刻可以同时传输更多路的视音频IP流。这里，视音频IP流包括视频IP流和/或音频IP流。

在本实施例中，拍摄采集系统11可以采集多路视音频数据，并将多路视音频数据分别编码为视音频IP流。

可选的，视音频数据可以为高清或超高清视音频信号。拍摄采集系统11采集多路视音频数据后，可以对多路视音频数据分别进行高压缩编码，以实时输出对应的视音频IP流。这里，高压缩编码使得视音频IP流的码率远远低于对应视音频数据的码率。

在本实施例中，边缘网传输分发系统12可以生成第一拉流请求，以基于第一拉流请求从拍摄采集系统11中拉取视音频IP流。

可选的，可以由用户向边缘网传输分发系统12发送拉流指令，该拉流指令指示了边缘网传输分发系统12需要从拍摄采集系统11拉取哪几路的视音频IP流，边缘网传输分发系统12在接收到拉流指令后，可以建立流转发任务，并基于流转发任务生成用于拉取拉流指令指示的视音频IP流的第一拉流请求，并将第一拉流请求发送至拍摄采集系统11。

拍摄采集系统11在接收到第一拉流请求后，可以做出响应，将第一拉流请求所请求的多路视音频IP流通过专用网络传输至边缘网传输分发系统12，其中，在传输时，视音频IP流的传输延时低于预设的延时阈值。

需要说明的是，专用网络的带宽能够使超过设定路数的视音频IP流同时传输，若第一拉流请求所请求的视音频IP流的路数小于或等于专用网络的带宽能够承载的最大路数，则多路视音频IP流能够同时传输至边缘网传输分发系统12，若第一拉流请求所请求的视音频IP流的路数大于专用网络的带宽能够承载的最大路数，则可以依次传输专用网络的带宽能够承载的最大路数的视音频IP流，直至将多路视音频IP流均传输至边缘网传输分发系统12。

在用户需要基于视音频IP流进行业务处理时，接收解码系统13可以基于用户的业务需求生成第二拉流请求，该第二拉流请求用于请求从边缘网传输分发系统12中拉取业务处理所需的待拉取视音频IP流，边缘网传输分发系统12在接收到第二拉流请求后，可以作出响应，从多路视音频IP流中确定出待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统13。这里，待拉取视音频IP流为多路视音频IP流中的部分或全部IP流。

综上，本申请中，边缘网传输分发系统12预先搭建的专用网络的带宽使得本申请能够对超过设定路数的视音频IP流进行同时传输，提高了传输效率，同时本申请使得视音频IP流的传输延时低于预设的延时阈值，降低了系统整体的传输延时。

由于视音频IP流的传输延时低于预设的延时阈值，上述边缘网传输分发系统12可以实时从拍摄采集系统11中拉取多路视音频IP流，同样的，接收解码系统13可以实时地从边缘网传输分发系统12中拉取待拉取视音频IP流，提高了接收解码系统13获取待拉取视音频IP流的实时性。

在一可选实施例中，参见图2所示，为本申请实施例提供的边缘网传输分发系统的结构示意图。图2中，边缘网传输分发系统12可以包括目标基站121和流转发服务器122。

目标基站121，用于预先搭建上述的专用网络。

流转发服务器122，用于生成上述的第一拉流请求，将第一拉流请求发送至拍摄采集系统11，并接收拍摄采集系统11通过专用网络发送来的多路视音频IP流，以及响应第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统。

可选的，上述流转发服务器122生成第一拉流请求的过程可以包括：流转发服务器122建立流转发任务，并基于流转发任务生成第一拉流请求。

可选的，目标基站121可以为具备移动部署能力的基站，例如游牧式基站；可选的，专用网络可以为5G多接入边缘计算（Multi-access Edge Computing，MEC）局域专网，为便于后续描述，将其定义为5G-MEC边缘网络。

本申请开创性地利用游牧式基站组建5G-MEC网络，同时开拓运营商基站无线注册的运营流程，开放基站利用无线公网与运营商核心网进行信令通讯的能力，并完成CPE公网注册技术调试，实现了可即时移动的5G-MEC网络覆盖，并可进一步拓展卫星、微波等其他无线网络注册方式，提高5G游牧式基站的移动部署能力。

并且本申请可实现游牧式基站依据业务需求即时上线和下线的业务运营流程。

上述流转发服务器122可以为基于Lilux、iOS、和windows平台部署的RTSP（RealTime Streaming Protocol，实时流传输协议）流媒体转发服务平台。相应的，可选的，上述视音频IP流可以为RTSP IP流。

为了提供极致的低延时体验，流转发服务器122实现5G视音频接入转发时主要基于以下几个方面进行优化：

第一，优化RTSP协议交互，降低首屏延时。

具体来说，常规的RTSP连接建立完成，需要经过options、describe、setup和play4个步骤才能完成连接的建立；本实施例优化options和describe为1个请求，setup和play为1个请求，节省2个请求完成RTSP建连，首屏时间最大优化50%左右。针对单个流，缓存流对应的sdp信息，并生成sdp模板，在describe阶段，使用模板替换快速生成合适的sdp返回给播放器，节省建连时间。

第二，优化RTP包分发及内存拷贝。

具体来说，使用专用的协程来负责rtp包的接收和分发，通过类似智能指针引用计数的方式实现多协程多进程的数据分发，不管需要分发多少次，数据拷贝次数是固定的，不会随着播放连接数的增多而增加内存拷贝，保持极高的分发性能。

rtp包分发同时支持缓存和无缓存两种模式。缓存模式下，只缓存时间戳相同的RTP包，做为一个数据包发送出去，降低发送次数，减少系统内核调用次数。因为相同时间戳的RTP包表示为同一帧的数据，一次性发送完成可以方便接收解码系统13无需等待就可以一次性解码并完成播放。无缓存模式，选择直接透传RTP包的方式，只有数据拷贝带来的延时消耗。

第三，优化拉流失败重连方式。

具体来说，支持rtsp拉流分发，从5G编码器拉流再进行分发。支持tcp和udp两种传输方式分发rtp包。如果编码器支持udp传输方式，则优先走udp方式，采用tcp方式作为默认兜底传输方式。500ms重连判断阈值，如果500ms内未继续读到流数据，则启动拉流重连。快速的重连，可以保证5G视频流的低延时体验。

第四，优化抖动计算。

具体来说，rtp包的传输抖动计算，依赖rtp报文头部的timestamp字段，但是仅仅依赖timestamp计算是不精确的。因为每一帧的视频数据打包成多个rtp包之后，这些rtp包报文头部的timestamp是相同的，但是实际上每个rtp包发送时间不一样，到达时间也存在差异。扩展rtp报文头部，增加发送时间距离音视频帧timestamp的偏移量。接收端，根据rtp扩展报文头通过偏移量修正实际的抖动计算值。优化后的抖动计算，使服务器分发rtp包更加准确和实时。

综上，经由以上几个方面的优化，使得本申请中的流转发服务器122可以提供极致的低延时体验，部署方便快捷。

基于以下几个方面进行优化：优化RTSP协议交互，降低首屏延时；优化RTP包分发及内存拷贝；优化拉流失败重连方式；4优化抖动计算，提供极致的低延时体验，部署方便快捷。

在一种可能的实现方式中，参见图3所示，为本申请实施例提供的拍摄采集系统的结构示意图，拍摄采集系统11可以包括：多路采集设备111和多路采集设备分别对应的编码器112。

其中，多路采集设备中的每路采集设备111，用于采集一路视音频数据。

每路采集设备111对应的编码器112，用于将对应采集设备111采集的一路视音频数据编码为视音频IP流，并响应第一拉流请求，将编码得到的视音频IP流通过专用网络传输至流转发服务器122。

可选的，采集设备111例如可以为摄像机，本实施例可以通过摄像机SDI/HDMI接口输出一路视音频数据到编码器112，从而编码器112可以编码得到视音频IP流，并在接收到第一拉流请求时，将编码得到的视音频IP流通过专用网络传输至流转发服务器122。

可选的，上述专用网络包括第一传输通道和第二传输通道，其中，第一传输通道是指编码器112与目标基站121之间传输数据的通道，第二传输通道是指目标基站121与网内其他设备之间传输数据的通道，该网内其他设备例如包括流转发服务器122和接收解码系统13。

可选的，上述第一传输通道为无线传输通道，该第一传输通道的构建过程包括：编码器112内置的加载了SIM卡的通信模组（可选的，本实施例可以基于该通信模组进行数据上行转发）通过无线频段向目标基站121发出拨号无线连接申请，拨号成功后登录接入到专用网络，获得固定的IP地址，建立无线传输通道。例如，通信模组为5G模组，专用网络为5G-MEC边缘网络，则5G模组可以通过5G无线频段向目标基站121发出拨号无线连接申请，拨号成功后登录接入到5G-MEC边缘网络，获得固定的IP地址，建立无线传输通道。

可选的，上述第二传输通道为有线传输通道，网内其他设备通过有线接入到专用网络。

上述第一传输通道和上述第二传输通道实现了编码器112到网内其他设备之间的网络连通。

基于此，上述编码器112将编码得到的视音频IP流通过专用网络传输至流转发服务器的过程可以包括：编码器112通过专用网络包含的第一传输通道将编码得到的视音频IP流发送至目标基站121，目标基站121再通过专用网络包含的第二传输通道将编码得到的视音频IP流发送至流转发服务器122。

在本实施例中，编码器112具备使视音频IP流的传输延时低于延时阈值的能力。具体来说，采集设备111采集的每路视音频数据中的每帧数据均包括两场数据，分别为对应帧数据中的奇数行像素组成的一场数据和偶数行像素组成的另一场数据。对于每帧数据中的两场数据，编码器112可以先对奇数行像素组成的一场数据进行编码，再对偶数行像素组成的另一场数据进行编码。其中，在奇数行像素组成的一场数据编码完成后，可以不必等待偶数行像素组成的另一场数据编码完成，就将奇数行像素组成的一场数据的编码结果通过专用网络实时传输至流转发服务器122。编码器112的这种传输方式不仅降低了传输延时，还使得专用网络可以同时承载更多路视音频IP流，提高了传输效率。

可选的，上述第一传输通道的频段为4.9G。本实施例使用4.9G频段并可聚合其他5G频段作为系统的上下行传输通道，解决了移动拍摄视频传输线缆的限制，丰富了节目制作的场景。

本申请实施例选取4.9G商用频段，并采用3U1D的时隙配备方案，理论上可以实现总上行带宽750M及1000个以内终端的密集接入和数据传输，经由实验验证，目前的测试上行带宽可达650M。

本实施例在信号采集、视频分析、编解码压缩等全通路上设计采用了超低时延处理，编解码延时不超过2帧，5G空口延时与转发延时之和小于20ms；1080i高清视频信号传输系统延时不超过80ms，达到了目前行业IP视音频无线传输系统的低延时顶级指标。

同时，上述流转发服务器122是对视音频IP流进行复制分发来满足接收解码系统13的申请需求，在本申请包含编码器112的情况下，通过设置流转发服务器122可以避免服务申请并发导致编码器112中数据的堵塞及第一传输通道的带宽的浪费。

在另一种可能的实现方式中，用户可能会有播放显示采集设备采集的视音频数据的业务需求。参见图4所示，为本申请提供的一种接收解码系统的结构示意图，接收解码系统13可以包括：解码设备131和显示设备132。

其中，解码设备131，用于根据用户的业务需求生成第二拉流请求，将第二拉流请求发送至流转发服务器122，并接收流转发服务器122发送的待拉取视音频IP流，以及对待拉取视音频IP流进行解码，得到解码后视音频IP流。

显示设备132，用于将解码后视音频IP流显示出来。

可选的，解码设备131可以为硬解码器，或者能够对视音频IP流进行软解码的设备；可选的，显示设备132为安装了显示屏幕的移动终端设备，例如电脑、pad等等；可选的，若显示设备132能够对视音频IP流进行软解码，则本申请实施例提供的接收解码系统13可以仅包括显示设备132，而不包括解码设备131。

可选的，本实施例中的播放器可以为超低延时播放器；可选的，播放器可以自定义播放视图的布局样式，还可以组合多个视频源到一个视图进行播放，还可以同时选择多个音频源进行播放。

在又一种可能的实现方式中，用户可能不需要播放显示视音频数据，而是需要基于视音频数据进行节目制作。在本实施例中，参见图5所示，为本申请提供的另一种接收解码系统的结构示意图，接收解码系统13还可以包括：云端制作设备133。

云端制作设备133，用于根据用户的业务需求生成第二拉流请求，将第二拉流请求发送至流转发服务器122，并接收流转发服务器122发送的待拉取视音频IP流，以及对待拉取视音频IP流进行处理和/或存储。

可选的，在本实施例中，云端制作设备133通过VPN（Virtual Private Network，虚拟专用网络）专线与目标基站5G-MEC边缘网络连接。

上述接收解码系统13中还可以包含其他设备，例如现场制作设备等，本实施例对此不进行具体限定。

综上，上述接收解码系统13是服务应用系统，依据业务的需求进行视音频IP流数据的申请、接收和解码输出。

继上文描述，本申请中的接收解码系统13可以包含多种类型的设备，考虑到在实际应用中可能包含多个设备同时或先后发送第二拉流请求的情况，而游牧式基站中的传输接口有限，本实施例可以为游牧式基站配置边缘网交换机，本实施例基于边缘网交换机实现同时处理多个第二拉流请求。

为了使本领域技术人员更加理解本申请，结合图6对上述各实施例中的设备进行介绍。

如图6所示，为本申请实施例提供的另一种密集视音频传输系统的结构示意图。目标基站121，用于预先搭建专用网络，其中，专用网络具有使超过设定路数的视音频IP流同时传输的带宽。

多路采集设备111，用于分别采集多路视音频数据。

多路采集设备111分别对应的编码器112，用于将多路视音频数据分别编码为视音频IP流，其中，视音频IP流的码率低于对应视音频数据的码率。

流转发服务器122，用于生成第一拉流请求，并将第一拉流请求发送至请求数据对应的编码器112。这里，请求数据为第一拉流请求所请求的多路视音频IP流。

请求数据对应的编码器112，用于响应第一拉流请求，将多路视音频IP流通过专用网络发送至流转发服务器122。

解码设备131和/或云端制作设备133，用于根据用户的业务需求生成第二拉流请求，并将第二拉流请求发送至流转发服务器122。

流转发服务器122，还用于响应第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至解码设备131和/或云端制作设备133。

解码设备131，还用于对待拉取视音频IP流进行解码，得到解码后视音频IP流。

显示设备132，用于将解码后视音频IP流显示出来。

云端制作设备133，还用于对待拉取视音频IP流进行处理和/或存储。

综上，本申请采用可移动部署的5G游牧式基站，利用4.9G高带宽商用5G频段和全球领先的5G移动通信技术，基于开发的超低延时视频编/解码技术和超低延时的视音频流转发技术，搭建了密集视音频传输系统，能够实现低成本、高密度、超低延时和高带宽的高清视音频无线传输。

在一种可能的实现方式中，上述采集设备111可以为摄像机，该摄像机可以安装到遥控云台。

本申请实施例提供的密集视音频传输系统还可以包括遥控设备14（例如遥控面板），遥控设备14可以通过5G-MEC边缘网络发出基于TCP/IP协议的控制指令，经由编码器112输出连接到遥控云台上，以通过对遥控云台进行远程控制实现对摄像机拍摄角度的调整，或者通过对摄像机的控制实现摄像机拍摄焦距等的调整。

在另一种可能的实现方式中，本申请实施例提供的密集视音频传输系统还可以包括后台管理系统15，该后台管理系统15可以通过5G-MEC边缘网络获取目标基站121、遥控云台、5G编码器112、流转发服务器122、接收解码系统13的管理后台数据，集中建立和实时呈现工作任务和状态。

在本实施例中，用户可以基于登录信息登录后台管理系统，以通过后台管理系统查看上述实施例提及的各设备（例如采集设备111、编码器112等）的详情信息，例如设备基础信息、高级参数等，以及通过后台管理系统对上述实施例提及的各设备进行管理，例如添加设备、输入设备IP、设备名称添加设备、删除设备等，以及对设备进行批量控制，例如开始录制、暂停录制、流下线、流上线、重启等控制。

可选的，本实施例可以在后台管理系统添加或者停用用户账号并且设置账号密码，其中，每个用户账号指定一个用户角色，添加账号默认为普通用户，不同的用户角色对应不同的权限范围。

可选的，用户角色与权限范围的对应关系为：普通用户可登录播放器，管理员可登录播放器及web后台，超级管理员可登录播放机及web后台并使用所有功能。

参见图7所示，为本申请实施例提供的一种5G密集视音频传输示意图。

首先，目标基站121建立MEC边缘局域专网（即5G-MEC边缘网），之后各设备需要接入该专网，具体来说，5G编码器112内置加载了SIM卡的5G模组，通过5G无线频段向目标基站121发出拨号无线连接申请，拨号成功后登录接入到5G-MEC边缘网，获得固定的IP地址，建立数据无线网络传输通道（即第一传输通道）；流转发服务器122、接收解码系统13、后台管理系统15、遥控面板14等设备通过有线接入到5G-MEC边缘网，实现5G编码器112到网内其他设备之间的网络连通。

其中，5G编码器112传输视音频IP流包括RTSP IP流5G无线上行传输，流转发服务器122传输视音频IP流包括RTSP IP流网线下行传输和RTSP IP流转发上行传输，硬解码器131和/或显示设备132传输视音频IP流包括RTSP IP流网线下行传输，云端制作系统133传输视音频IP流包括RTSP IP流VPN专线上行传输。

在配置成功后，5G编码器112建立SDI/HDMI视音频的IP流编码服务，输出视音频IP流；流转发服务器122建立IP流转发任务，向5G编码器112发出第一拉流请求，5G编码器112输出视音频IP流，经过5G-MEC边缘网传输到流转发服务器122；硬解码器131或者显示设备132（例如制片导演观看的笔记本电脑）软解发出第二拉流请求，指向流转发服务器122，流转发服务器122依据第二拉流请求向请求方复制视音频IP流给请求方，实现视音频IP流的分发；此外，云端制作系统133可以通过VPN专线与目标基站121建立的5G-MEC边缘网络连接，向流转发服务器122发出第二拉流请求，视音频IP流传输到云端制作系统133存储；此外，遥控面板14通过5G-MEC边缘网络发出基于TCP/IP协议的控制指令，经过5G编码器112输出连接到摄像机111所在的遥控云台，实现远程遥控云台及摄像机111；后台管理系统通过5G-MEC边缘网络获取目标基站121、遥控云台、5G编码器112、流转发服务器122、接收解码系统13等的管理后台数据，集中建立和实时呈现工作任务和状态。

综上，本申请的主要改进点包括：编码器和解码器从编码和解码软件上进行了改进，实现了超低延时；增加5G模组，实现5G无线数据传输；5G传输采用目标基站，例如游牧式基站，整套系统可以移动应用；使用专用网络，例如5G专网，可以拓展总的无线传输带宽；添加了流转发服务器，可以拓展服务对象；实现各环节设备管理后台集中控制。

由此，本申请至少包括以下有益效果：第一，高密度接入：在有限的空间可同时稳定5G无线接入60个以上随摄像机随机移动的5G高清视音频编码器；第二，高低码率编码：编码器可以同时输出高低两路码率的IP视频流，分别满足低延时监看和高质量制作需求，码率1~40Mbps可调，H.264/265可选；第三，超低延时：系统传输延时控制在160ms以内，降低实时监控时延感知度；第四，超级上行：600M以上总上行带宽，实现60个以上终端高码率视音频数据上行；第五，灵活部署：根据节目拍摄地点变化，在1~2小时内完成网络搭建；可在需要增强覆盖的场景（地下室、结构复杂的室内、室内+室外联合组网甚至城域范围）下进行扩展部署， 实现5G MEC网络覆盖；第六，接入快捷：终端编码器无需根据网络环境进行特殊配置调优；第七，管理方便：管理后台全流程远程配置、监控，实时保障；第八，全IP信号传输：信号上传、下行、分发全为IP流处理，高效低成本；第九，使用方便：制作技术系统、导演团队信号调度方便，画面流畅。

与前述实施例相对应的，本申请还提供了一种密集视音频传输方法，该密集视音频传输方法可应用于上述边缘网传输分发系统12，接下来通过下述实施例对本申请提供的密集视音频传输方法进行详细介绍。

请参阅图8，示出了本申请实施例提供的密集视音频传输方法的流程示意图，该密集视音频传输方法可以包括：

步骤 S101、生成第一拉流请求，并将第一拉流请求发送至拍摄采集系统。

步骤 S102、接收拍摄采集系统响应第一拉流请求，通过边缘网传输分发系统预先搭建的专用网络发送来的多路视音频IP流。

其中，多路视音频IP流通过拍摄采集系统对采集的多路视音频数据分别进行编码得到，视音频IP流的码率低于对应视音频数据的码率，视音频IP流的传输延时低于预设的延时阈值，专用网络具有使超过设定路数的视音频IP流同时传输的带宽。

步骤 S103、接收来自接收解码系统的第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统。

其中，第二拉流请求是指基于用户的业务需求生成的用于拉取待拉取视音频IP流的请求。

本申请提供的密集视音频传输方法，能够预先搭建专用网络，该专用网络的带宽使得本申请能够对超过设定路数的视音频IP流进行同时传输，提高了传输效率，同时本申请使得视音频IP流的传输延时低于预设的延时阈值。

本申请实施例还提供了一种密集视音频传输装置，下面对本申请实施例提供的密集视音频传输装置进行描述，下文描述的密集视音频传输装置与上文描述的密集视音频传输方法可相互对应参照。

请参阅图9，示出了本申请实施例提供的密集视音频传输装置的结构示意图，如图9所示，该装置可以包括：第一拉流请求发送模块1101、IP流接收模块1102和IP流拉取模块1103。

第一拉流请求发送模块1101，用于生成第一拉流请求，并将所述第一拉流请求发送至拍摄采集系统。

IP流接收模块1102，用于接收所述拍摄采集系统响应所述第一拉流请求，通过边缘网传输分发系统预先搭建的专用网络发送来的多路视音频IP流，其中，所述多路视音频IP流通过所述拍摄采集系统对采集的多路视音频数据分别进行编码得到，所述视音频IP流的码率低于对应视音频数据的码率，所述视音频IP流的传输延时低于预设的延时阈值，所述专用网络具有使超过设定路数的视音频IP流同时传输的带宽。

IP流拉取模块1103，用于接收来自接收解码系统的第二拉流请求，从所述多路视音频IP流中确定待拉取视音频IP流，并将所述待拉取视音频IP流发送至所述接收解码系统，其中，所述第二拉流请求是指基于用户的业务需求生成的用于拉取所述待拉取视音频IP流的请求。

本申请提供的密集视音频传输装置的工作原理与前述密集视音频传输方法、系统的工作原理相同，详细可参照前述介绍，在此不再赘述。

本申请实施例还提供了一种密集视音频传输设备。可选的，图10示出了密集视音频传输设备的硬件结构框图，参照图10，该密集视音频传输设备的硬件结构可以包括：至少一个处理器1201，至少一个通信接口1202，至少一个存储器1203和至少一个通信总线1204；

在本申请实施例中，处理器1201、通信接口1202、存储器1203、通信总线1204的数量为至少一个，且处理器1201、通信接口1202、存储器1203通过通信总线1204完成相互间的通信；

处理器1201可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器1203可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory）等，例如至少一个磁盘存储器；

其中，存储器1203存储有程序，处理器1201可调用存储器1203存储的程序，所述程序用于：

生成第一拉流请求，并将第一拉流请求发送至拍摄采集系统；

接收拍摄采集系统响应第一拉流请求，通过边缘网传输分发系统预先搭建的专用网络发送来的多路视音频IP流，其中，多路视音频IP流通过拍摄采集系统对采集的多路视音频数据分别进行编码得到，视音频IP流的码率低于对应视音频数据的码率，视音频IP流的传输延时低于预设的延时阈值，专用网络具有使超过设定路数的视音频IP流同时传输的带宽；

接收来自接收解码系统的第二拉流请求，从多路视音频IP流中确定待拉取视音频IP流，并将待拉取视音频IP流发送至接收解码系统，其中，第二拉流请求是指基于用户的业务需求生成的用于拉取待拉取视音频IP流的请求。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述密集视音频传输方法。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种密集视音频传输系统，其特征在于，包括：拍摄采集系统、边缘网传输分发系统和接收解码系统；

所述边缘网传输分发系统，用于预先搭建无线专用网络，所述专用网络具有使超过设定路数的视音频IP流同时传输的带宽；所述专用网络为5G多接入边缘计算局域专网；

所述拍摄采集系统，用于采集多路视音频数据，并将所述多路视音频数据分别编码为视音频IP流，其中，所述视音频IP流的码率低于对应视音频数据的码率；

所述边缘网传输分发系统，还用于生成第一拉流请求，并将所述第一拉流请求发送至所述拍摄采集系统；

所述拍摄采集系统，还用于响应所述第一拉流请求，将多路所述视音频IP流通过所述专用网络传输至所述边缘网传输分发系统，其中，所述视音频IP流的传输延时低于预设的延时阈值；

所述接收解码系统，用于根据用户的业务需求生成第二拉流请求，并将所述第二拉流请求发送至所述边缘网传输分发系统；

所述边缘网传输分发系统，还用于响应所述第二拉流请求，从多路所述视音频IP流中确定待拉取视音频IP流，并将所述待拉取视音频IP流发送至所述接收解码系统；

所述拍摄采集系统包括：多路采集设备和所述多路采集设备分别对应的编码器，所述编码器具备使所述视音频IP流的传输延时低于所述延时阈值的能力；其中，采集设备采集的每路视音频数据中的每帧数据均包括两场数据，分别为对应帧数据中的奇数行像素组成的一场数据和偶数行像素组成的另一场数据；对于每帧数据中的两场数据，编码器先对奇数行像素组成的一场数据进行编码，再对偶数行像素组成的另一场数据进行编码，其中，在奇数行像素组成的一场数据编码完成后，不必等待偶数行像素组成的另一场数据编码完成，就将奇数行像素组成的一场数据的编码结果通过专用网络实时传输至流转发服务器；

所述多路采集设备中的每路采集设备，用于采集一路所述视音频数据；

所述编码器，用于将对应采集设备采集的一路所述视音频数据编码为所述视音频IP流，并响应所述第一拉流请求，将编码得到的所述视音频IP流通过所述专用网络传输至所述流转发服务器；

所述流转发服务器，用于生成第一拉流请求，将所述第一拉流请求发送至所述拍摄采集系统，并接收所述拍摄采集系统通过所述专用网络发送来的多路所述视音频IP流，以及响应所述第二拉流请求，从多路所述视音频IP流中确定所述待拉取视音频IP流，并将所述待拉取视音频IP流发送至所述接收解码系统；其中，通过所述流转发服务器实现视音频IP流接入转发的过程中，优化options和describe为1个请求，setup和play为1个请求，以完成RTSP建连，针对单个视音频IP流，缓存该视音频IP流对应的sdp信息，并生成sdp模板，在describe阶段，使用模板替换生成sdp返回给播放器；

其中，所述编码器将编码得到的所述视音频IP流通过所述专用网络传输至所述流转发服务器，包括：

所述编码器通过所述专用网络包含的第一传输通道将编码得到的所述视音频IP流发送至目标基站；所述第一传输通道的构建过程包括：编码器内置的加载了SIM卡的5G模组通过无线频段向目标基站发出拨号无线连接申请，拨号成功后登录接入到专用网络，获得固定的IP地址，建立无线传输通道；所述第一传输通道选用4.9G商用频段，并采用3U1D的时隙配备方案；

所述目标基站通过所述专用网络包含的第二传输通道将编码得到的所述视音频IP流发送至所述流转发服务器；

其中，所述第二传输通道为有线传输通道。

2.根据权利要求1所述的密集视音频传输系统，其特征在于，所述边缘网传输分发系统包括：目标基站和流转发服务器；

所述目标基站，用于预先搭建所述专用网络。

3.根据权利要求2所述的密集视音频传输系统，其特征在于，所述流转发服务器生成第一拉流请求，包括：

所述流转发服务器建立流转发任务，并基于所述流转发任务生成所述第一拉流请求。

4.根据权利要求2所述的密集视音频传输系统，其特征在于，所述目标基站为具备移动部署能力的游牧式基站。

5.根据权利要求4所述的密集视音频传输系统，其特征在于，所述接收解码系统包括：解码设备和显示设备；

所述解码设备，用于根据所述用户的业务需求生成所述第二拉流请求，将所述第二拉流请求发送至所述流转发服务器，并接收所述流转发服务器发送的所述待拉取视音频IP流，以及对所述待拉取视音频IP流进行解码，得到解码后视音频IP流；

所述显示设备，用于将所述解码后视音频IP流显示出来。

6.根据权利要求4所述的密集视音频传输系统，其特征在于，所述接收解码系统包括：本地解码器、本地播放显示终端及云端制作设备；

所述接收解码系统，用于根据所述用户的业务需求生成所述第二拉流请求，将所述第二拉流请求发送至所述流转发服务器，并接收所述流转发服务器发送的所述待拉取视音频IP流，以及对所述待拉取视音频IP流进行处理和/或存储。

7.一种密集视音频传输方法，其特征在于，包括：

生成第一拉流请求，并将所述第一拉流请求发送至拍摄采集系统；

接收所述拍摄采集系统响应所述第一拉流请求，通过边缘网传输分发系统预先搭建的无线专用网络发送来的多路视音频IP流，其中，所述多路视音频IP流通过所述拍摄采集系统对采集的多路视音频数据分别进行编码得到，所述视音频IP流的码率低于对应视音频数据的码率，所述视音频IP流的传输延时低于预设的延时阈值，所述专用网络具有使超过设定路数的视音频IP流同时传输的带宽；所述专用网络为5G多接入边缘计算局域专网；

接收来自接收解码系统的第二拉流请求，从所述多路视音频IP流中确定待拉取视音频IP流，并将所述待拉取视音频IP流发送至所述接收解码系统，其中，所述第二拉流请求是指基于用户的业务需求生成的用于拉取所述待拉取视音频IP流的请求；

所述拍摄采集系统包括：多路采集设备和所述多路采集设备分别对应的编码器，所述编码器具备使所述视音频IP流的传输延时低于所述延时阈值的能力；其中，采集设备采集的每路视音频数据中的每帧数据均包括两场数据，分别为对应帧数据中的奇数行像素组成的一场数据和偶数行像素组成的另一场数据；对于每帧数据中的两场数据，编码器先对奇数行像素组成的一场数据进行编码，再对偶数行像素组成的另一场数据进行编码，其中，在奇数行像素组成的一场数据编码完成后，不必等待偶数行像素组成的另一场数据编码完成，就将奇数行像素组成的一场数据的编码结果通过专用网络实时传输至流转发服务器；

所述多路采集设备中的每路采集设备，用于采集一路所述视音频数据；

所述编码器，用于将对应采集设备采集的一路所述视音频数据编码为所述视音频IP流，并响应所述第一拉流请求，将编码得到的所述视音频IP流通过所述专用网络传输至所述流转发服务器；

所述流转发服务器，用于生成第一拉流请求，将所述第一拉流请求发送至所述拍摄采集系统，并接收所述拍摄采集系统通过所述专用网络发送来的多路所述视音频IP流，以及响应所述第二拉流请求，从多路所述视音频IP流中确定所述待拉取视音频IP流，并将所述待拉取视音频IP流发送至所述接收解码系统；其中，通过所述流转发服务器实现视音频IP流接入转发的过程中，优化options和describe为1个请求，setup和play为1个请求，以完成RTSP建连，针对单个视音频IP流，缓存该视音频IP流对应的sdp信息，并生成sdp模板，在describe阶段，使用模板替换生成sdp返回给播放器；

其中，所述编码器将编码得到的所述视音频IP流通过所述专用网络传输至所述流转发服务器，包括：

所述编码器通过所述专用网络包含的第一传输通道将编码得到的所述视音频IP流发送至目标基站；所述第一传输通道的构建过程包括：编码器内置的加载了SIM卡的5G模组通过无线频段向目标基站发出拨号无线连接申请，拨号成功后登录接入到专用网络，获得固定的IP地址，建立无线传输通道；所述第一传输通道选用4.9G商用频段，并采用3U1D的时隙配备方案；

所述目标基站通过所述专用网络包含的第二传输通道将编码得到的所述视音频IP流发送至所述流转发服务器；

其中，所述第二传输通道为有线传输通道。

8.一种密集视音频传输装置，其特征在于，包括：

第一拉流请求发送模块，用于生成第一拉流请求，并将所述第一拉流请求发送至拍摄采集系统；

IP流接收模块，用于接收所述拍摄采集系统响应所述第一拉流请求，通过边缘网传输分发系统预先搭建的无线专用网络发送来的多路视音频IP流，其中，所述多路视音频IP流通过所述拍摄采集系统对采集的多路视音频数据分别进行编码得到，所述视音频IP流的码率低于对应视音频数据的码率，所述视音频IP流的传输延时低于预设的延时阈值，所述专用网络具有使超过设定路数的视音频IP流同时传输的带宽；所述专用网络为5G多接入边缘计算局域专网；

IP流拉取模块，用于接收来自接收解码系统的第二拉流请求，从所述多路视音频IP流中确定待拉取视音频IP流，并将所述待拉取视音频IP流发送至所述接收解码系统，其中，所述第二拉流请求是指基于用户的业务需求生成的用于拉取所述待拉取视音频IP流的请求；

所述拍摄采集系统包括：多路采集设备和所述多路采集设备分别对应的编码器，所述编码器具备使所述视音频IP流的传输延时低于所述延时阈值的能力；其中，采集设备采集的每路视音频数据中的每帧数据均包括两场数据，分别为对应帧数据中的奇数行像素组成的一场数据和偶数行像素组成的另一场数据；对于每帧数据中的两场数据，编码器先对奇数行像素组成的一场数据进行编码，再对偶数行像素组成的另一场数据进行编码，其中，在奇数行像素组成的一场数据编码完成后，不必等待偶数行像素组成的另一场数据编码完成，就将奇数行像素组成的一场数据的编码结果通过专用网络实时传输至流转发服务器；

所述多路采集设备中的每路采集设备，用于采集一路所述视音频数据；

所述编码器，用于将对应采集设备采集的一路所述视音频数据编码为所述视音频IP流，并响应所述第一拉流请求，将编码得到的所述视音频IP流通过所述专用网络传输至所述流转发服务器；

所述流转发服务器，用于生成第一拉流请求，将所述第一拉流请求发送至所述拍摄采集系统，并接收所述拍摄采集系统通过所述专用网络发送来的多路所述视音频IP流，以及响应所述第二拉流请求，从多路所述视音频IP流中确定所述待拉取视音频IP流，并将所述待拉取视音频IP流发送至所述接收解码系统；其中，通过所述流转发服务器实现视音频IP流接入转发的过程中，优化options和describe为1个请求，setup和play为1个请求，以完成RTSP建连，针对单个视音频IP流，缓存该视音频IP流对应的sdp信息，并生成sdp模板，在describe阶段，使用模板替换生成sdp返回给播放器；

其中，所述编码器将编码得到的所述视音频IP流通过所述专用网络传输至所述流转发服务器，包括：

所述编码器通过所述专用网络包含的第一传输通道将编码得到的所述视音频IP流发送至目标基站；所述第一传输通道的构建过程包括：编码器内置的加载了SIM卡的5G模组通过无线频段向目标基站发出拨号无线连接申请，拨号成功后登录接入到专用网络，获得固定的IP地址，建立无线传输通道；所述第一传输通道选用4.9G商用频段，并采用3U1D的时隙配备方案；

所述目标基站通过所述专用网络包含的第二传输通道将编码得到的所述视音频IP流发送至所述流转发服务器；

其中，所述第二传输通道为有线传输通道。