CN114785855A - 多画面系统及其调度方法和多画面调度系统 - Google Patents

Abstract

本发明公开了一种多画面系统及其调度方法和多画面调度系统，多画面系统，包括：输入模块，与外部的IP信号交换网络相连接，以接收多路IP信号；信号处理模块，对所述多路IP信号进行视音频内容的实时分析检测和画面处理；以及输出模块，与外部的显示系统相连接，以提供多路显示信号，所述多画面系统安装在云平台服务器的虚拟机上。实现多路输入多路输出，进一步的，多画面系统安装在云平台服务器的虚拟机上，能接收到交换网络中的IP信号，实现远程多画面输出，且方便统一管理。

Description

多画面系统及其调度方法和多画面调度系统

技术领域

本发明涉及广播电视技术领域，特别涉及多画面系统及其调度方法和多画面调度系统。

背景技术

在电视台内部的制作、播出系统环节，信号主要采用无压缩信号格式，这样保证视音频信号在多个系统或视音频专业设备间连接交互传递时，能以非常低的延迟和高质量进行交互。目前广播电视行业，正在经历一场4K/8K超高清化、网络化、IP化的变革，并且逐步向云计算平台方向在演化。在基于IP的环境中，SDI over IP信号正在成为主流的方式。

云计算技术发展迅速，计算能力大幅提高，原来需要借助硬件来承载的4K超高清无压缩IP信号的播出、信号调度、采集录制、编码、解码、格式转换等多个专业视音频处理环节，现在云计算平台都可以提供很好的支持。而且云计算带来的热迁移、高可靠性、故障迁移特色功能为系统维护和管理带来更多便利，另外基于云计算平台，尤其是具有一定规模的电视台总控、播出系统上，相比传统基于物理机构建的系统，在整个系统造价上具有优势，可以节约资金。在运营阶段，电费、机房空调因为设备和机房更加集中、节约空间，运营费用可较传统方式降低。

现有方案中4K超高清无压缩IP信号的监测方式，通常采用专有硬件的监测方案，即硬件的IP多画面设备，该类硬件设备提供IP信号输入接口、显示输出接口。显示输出接口包括HDMI、VGA、DP类型的接口，与机房的信号监测大屏连接，通过硬件IP多画面设备可实现将多路信号展示在大屏上，便于机房值班人员对信号进行跟踪和观测。

在一个云平台系统的机房中部署硬件IP多画面设备，存在以下几个缺点：专用设备不支持虚拟化，不利于统一管理，信号的输入输出灵活性差，基于硬件的IP多画面，造价较高。

发明内容

鉴于上述问题，本发明的目的在于提供一种多画面系统及其调度方法和多画面调度系统，从而解决现有技术中的弊端。

根据本发明的一方面，提供一种多画面系统，包括：输入模块，与外部的IP信号交换网络相连接，以接收多路IP信号；信号处理模块，对所述多路IP信号进行视音频内容的实时分析检测和画面处理；以及输出模块，与外部的显示系统相连接，以提供多路显示信号，所述多画面系统安装在云平台服务器的虚拟机上。

可选地，所述平台服务器包括网卡以及多个显卡，所述网卡被配置为多个虚拟网卡，其中，所述多个显卡与多个所述虚拟机一一对应。

可选地，信号处理模块包括：多画面拼接模块，用于对所述IP信号拼接；录制模块和编码模块，用于对所述IP信号录制编码。

可选地，检测模块，用于对所述多路IP信号的视频、音频部分进行实时的分析检测；报警过滤模块，用于对所述检测的结果中各项参数进行过滤，并针对超过预设阈值的IP信号产生警报。

根据本发明的另一方面，提供一种多画面系统的调度方法，用于上述任一项所述的多画面系统进行调度，所述调度方法包括：客户端将所述报警过滤模块发出的报警信息转发给信号调度模块；信号调度模块从信号注册中心获取匹配信息，并根据调度需求发送源信号给相应的多画面系统；多画面系统调取所述源信号并输出。

可选地，所述源信号为出现故障信号的备份信号或与出现故障的所述多画面系统对应的原信号。

可选地，所述匹配信息包括多个信号源的发送能力以及信号格式和多个所述接收设备的接收能力以及信号格式。

所述报警信息包括视频黑场、静帧、彩条、彩场，音频部分的静音、音频反相、音频丢失、音频过高、音频过低中的一种或多种。

根据本发明的另一方面，提供一种多画面调度系统，包括：客户端，用于接收报警过滤模块发出的报警信息并转发给信号调度模块；信号注册中心，用于登记匹配信息；信号调度模块，用于从所述信号注册中心获取匹配信息，并根据调度需求发送源信号给相应的多画面系统。

本发明提供的多画面系统安装在云平台服务器的虚拟机上，输入模块接收多路IP信号；信号处理模块，对所述多路IP信号进行视音频内容的实时分析检测和画面处理；输出模块，与外部的显示系统相连接提供多路显示信号，实现多路输入多路输出，进一步的，多画面系统安装在云平台服务器的虚拟机上，能接收到交换网络中的IP信号，实现远程多画面输出。

在优选的实施例中，所述输出模块通过所述显卡的硬件接口或所述虚拟网卡输出所述多路显示信号，支持无压缩IP信号和压缩信号的网络接口、HDMI、Display port接口，适应场景广泛。

本发明提供的多画面系统的调度方法，报警信息转发给信号调度模块；信号调度模块从信号注册中心获取匹配信息，并根据调度需求发送源信号给相应的多画面系统；多画面系统调取所述源信号并输出。实现了多画面系统出现故障的动态调度。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示出了根据本发明实施例的云平台服务器的物理主机示意图；

图2示出了根据本发明实施例的云平台服务器中IP多画面系统结构图；

图3示出了多画面系统与信号调度模块示意图；

图4a示出了多画面系统调度实现框图；

图4b示出了多画面系统中显示信号调度方法的流程图。

具体实施方式

以下将参照附图更详细地描述本发明的各种实施例。在各个附图中，相同的元件或者模块采用相同或类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。

在本专利说明书及权利要求当中使用了某些词汇来指称特定的组件。本领域普通技术人员应当可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本专利说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。

此外，还需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1示出了根据本发明实施例的云平台服务器中物理主机的结构示意图。

物理主机20例如是x86服务器。物理主机20的网卡支持SR-IOV(Single Root I/OVirtualization)虚拟化，因而可以将网卡配置成多个虚拟网卡。进一步地，将物理主机20配置成多个虚拟机201，每个虚拟机201直通相应一个虚拟网卡。每个虚拟机201的虚拟硬件系统包括CPU、内存、硬盘、网卡、以及显卡，虚拟软件系统包括操作系统、媒体应用程序、时钟同步程序、网卡驱动程序、显卡驱动程序。时钟同步程序按照PTP协议(高精度时间同步协议)同步整个云平台服务器中的虚拟机201的系统时钟。

物理主机20中的多个虚拟机201分别提供各自的视频输出信号，因而，即使使用单个物理主机，也可以提供多画面输出。物理主机20的多画面输出的画面数量与输出的信号类型相关。对于经由显卡端口输出的视频信号的情形，物理主机20提供的多画面输出的画面数量同时受到物理主机上安装的显卡数量及端口数量的限制。对于经由网卡端口输出的IP流信号的情形，物理主机20可以配置成系统硬件能力允许的任意数量的虚拟机201，且每个虚拟机201可以配置成提供系统硬件能力允许的任意数量的多个IP流信号，因而提供任意数量的多画面输出。

在本实施例中，物理主机20的物理尺寸为2U服务器，在2U服务器安装的显卡数量最多为4块，物理主机20中的每块显卡包括4个视频端口。因此，单个物理主机20经由显卡端口的多画面输出的画面数量最多为16。

在本实施例中，物理主机20的多画面输出功能兼容经由显卡端口的视频信号输出和经由网络端口的IP流信号输出，因此，将物理主机20配置成提供16个画面的多画面输出。

在每个虚拟机201上安装媒体应用程序。

媒体应用程序是安装在虚拟机201上的IP多画面软件。媒体应用程序通过虚拟网卡接收4K、高清无压缩IP信号，然后将画面缩放、拼接、渲染处理后，通过显卡的视频端口输出视频信号，或者经由网卡端子输出IP流信号。

图2示出了根据本发明实施例的云平台服务器中多画面系统结构图；

如图2所示，本发明实施例提供的多画面系统安装在前述虚拟机201之上，在该多画面系统中包括：

输入模块，通过云平台服务器21(云平台服务器搭载在物理主机上)中的网卡与外部的IP信号交换网络50相连接，以接收多路IP信号，在优选地，实施例中输入模块还能与本地TS流信号源通过物理接口的方式接收TS流信号。

信号处理模块，对所述多路IP信号进行视音频内容的实时分析检测和画面处理。

其中信号处理模块包括多画面拼接模块、录制模块、编码模块等模块。对接收到的IP信号进行缩放、拼接、渲染、录制编码等一系列操作，各操作可以在系统配置中进行有选择的设置，可以根据实际需求作出调整，本发明对此不做限制。

此外，上述多画面系统还包括：

检测模块，多上述多路IP信号的视频、音频部分进行实时的分析检测，例如对视音频内容进行分析，对存在的视频如黑场、静帧、彩条、彩场，音频部分的静音、音频反相、音频丢失、音频过高、音频过低进行监测，并将检测结果发送至报警过滤模块，此外还会输出检测码流稳定性和丢包情况，并于界面显示包抖动、平均包延时、每秒平均流量。对所有事件生成日志条目，为系统码流稳定性分析、排查、决策提供依据。

报警过滤模块，根据上述检测结果中的各项参数进行过滤，其中过滤条件为各项参数的固定阈值，超过该阈值的情况会产生警报并通过API接口向客户端上报，这些报警信息同时也会通过输出模块在外部的显示系统中显示。

输出模块，与外部的显示系统40相连接，以提供多路显示信号。

输入模块中输入的信号流可以来自视频服务器、摄像机、专业图像处理设备、卫星和其他来源的流，支持SMPTE ST 2110-10、20、22、30、40和ST 2022-6无压缩码流以及短延时回放TS over IP，NDI的信号流，能够实现UHD(4K和8K)，HDR素材监看。

输出模块支撑流输出或实时输出压缩(JPEG-XS)或未压缩码流，其中码流封装为SMPTE2110标准，是一种实时的、基于RTP格式的非压缩的视频传输方式，能够支持4K,8K分辨率、HDR、50fps画面输出，输出可以通过虚拟机显卡的硬件接口(HDMI接口，提供的显示信号HDMI信号)，或物理主机的虚拟接口(IP流接口，提供的信号是IP流，本地转换器进行HDMI转换)输出信号。

此外，在云平台服务器中还包括与多画面系统连接的TALLY系统，TALLY系统是一个辅助功能性系统。其中，TALLY的内容以字符或指示灯的形式出现在摄像机头、摄像机寻像器和电视墙等系统节点上，分别给主持人、摄像和演播室制作人员予以提示，告之当前多画面系统中所切出的PGM和PST信号是什么，通过视觉提示、协调各个各个岗位的工作人员，及时了解节目的进展状态。UMD功能即为台标跟随功能，通过串口读取矩阵或多画面系统信息，并将交叉点信息与“源名跟随列表”进行比对，最后把对应结果告知UMD驱动器使对应地址的UMD显示单元改名。并主要由切换主机和UMD显示设备组成，它通过切换主机与矩阵控制器或切换台通信，实时响应矩阵的交叉点切换，同时驱动UMD显示设备动态显示当前输入信号的源名，并且以不同颜色的提示灯来表示TALLY的状态，通过视觉提示来协调各个岗位的工作人员，及时了解节目的进展状态连接。

在附图中还包括外部的多画面调度系统30，在后续描述中会提及。

图3示出了多画面系统与信号调度模块示意图；

如图3所示，云平台服务器20中，可以设置同一配置的多台物理服务器作为IP多画面系统的物理主机，构成一个IP多画面集群，多个物理主机，接受云管平台统一管理，可以按需加电开启，作为冷备或热备份资源。

每个虚拟机的IP多画面系统最多输出4个HDMI信号，或4路无压缩IP流信号。每个输出信号的布局可以在调度模块进行设置。

图4a示出了多画面系统调度实现框图；图4b示出了多画面系统中显示信号调度方法的流程图。

如图4a所示，在多画面系统调度实现框图中，无压缩IP信号交换网络为高带宽交换机，支持IGMP协议，信号源为制作、播出网络中的其他专业设备或软件，附图中的多个接收器即对上述多个多画面系统210的输入模块。

多画面调度系统30包括：

客户端，用于接收报警过滤模块发出的报警信息并转发给信号调度模块；

信号调度模块，为客户端中的管理软件，可以通过信号注册中心查询到网络中的匹配信息(信号源、信号接收设备及其相关信息)，然后在有信号调度需求时，会将信号源的相关信息发送到信号接收设备，信号接收端设备会通过IGMP协议拉取无压缩IP信号组播流，实现信号的调度。

多画面调度系统30还包括：信号注册中心，信号注册中心为后台服务软件，各信号源、信号接收设备会向该中心服务进行注册，登记自身的接收或发送能力、信号格式、IP信号组播地址、端口、设备名称等匹配信息。

图4a与图4b结合来看，云平台服务器中显示信号调度方法包括以下步骤：

在步骤S1中，多画面监控系统发出信号报警信息；

当多画面系统210接收出现了黑场、静帧、彩条、彩场，音频部分的静音、音频反相、音频丢失、音频过高、音频过低的信号源时，该多画面系统会发出信号警报信息给客户端30。

在步骤S2中，客户端将报警信息转发给信号调度模块，

信号调度模块为客户端30中的管理软件，在客户端30将报警信息转发给信号调度模块后，信号调度模块通过报警信息获取信号源。

在步骤S3中，信号调度模块获取所述源信号信息；

信号调度模块通过信号注册中心查询到网络中的源信号、信号接收设备及其相关信息，所述源信号为出现故障信号的备份信号或与出现故障的所述接收设备对应的原信号，例如当信号源过多而多画面系统中的接收设备不足时，系统对后台信号进行实时的监测，当有信号出现异常时，会动态将备份信号切换显示到显示输出屏幕当中，反之当接收设备过多时，当接收设备出现异常时，会动态将原信号切换显示到另一接收设备中。

在步骤S4中，信号调度模块根据调度需求发送匹配信息给多画面系统；

信号调度模块会根据实际情况将源信号信息发送给相适配的接收设备，该接收设备例如是多画面系统中的虚拟网卡或物理接口，匹配信息包括多个信号源和接收设备自身的接收或发送能力、信号格式、IP信号组播地址、端口、设备名称等参数。

在步骤S5中，多画面系统拉取源信号组播流并输出；

多画面系统中的信号接收端设备会通过IGMP协议拉取无压缩IP信号组播流，实现信号的调度，实现动态将信号切换显示到显示输出屏幕当中。

在虚拟化机中，如果采用HDMI输出的方式，因为HDMI方式与显示屏幕属于物理连接方式，是静态的连接方式。本方案可以通过改变各虚拟机IP多画面软件的信号源，实现对各个屏幕信号的动态调配。

应当说明，本领域普通技术人员可以理解，本文中使用的与电路运行相关的词语“期间”、“当”和“当……时”不是表示在启动动作开始时立即发生的动作的严格术语，而是在其与启动动作所发起的反应动作(reaction)之间可能存在一些小的但是合理的一个或多个延迟，例如各种传输延迟等。本文中使用词语“大约”或者“基本上”意指要素值(element)具有预期接近所声明的值或位置的参数。然而，如本领域所周知的，总是存在微小的偏差使得该值或位置难以严格为所声明的值。本领域已恰当的确定了，至少百分之十(10％)(对于半导体掺杂浓度，至少百分之二十(20％))的偏差是偏离所描述的准确的理想目标的合理偏差。当结合信号状态使用时，信号的实际电压值或逻辑状态(例如“1”或“0”)取决于使用正逻辑还是负逻辑。

依照本发明的实施例如上文，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明的保护范围应当以本发明权利要求及其等效物所界定的范围为准。

Claims (10)

1.一种多画面系统，包括：

输入模块，与外部的IP信号交换网络相连接，以接收多路IP信号；

信号处理模块，对所述多路IP信号进行视音频内容的实时分析检测和画面处理；以及

输出模块，与外部的显示系统相连接，以提供多路显示信号，

所述多画面系统安装在云平台服务器的虚拟机上。

2.根据权利要求1所述的多画面系统，其中，所述平台服务器包括网卡以及多个显卡，所述网卡被配置为多个虚拟网卡，其中，所述多个显卡与多个所述虚拟机一一对应。

3.根据权利要求2所述的多画面系统，其中，所述虚拟机与所述显卡直通和所述虚拟网卡直通，所述输出模块通过所述显卡的硬件接口或所述虚拟网卡输出所述多路显示信号。

4.根据权利要求1所述的多画面系统，其中，信号处理模块包括：

多画面拼接模块，用于对所述IP信号拼接；

录制模块和编码模块，用于对所述IP信号录制编码。

5.根据权利要求1所述的多画面系统，还包括：

检测模块，用于对所述多路IP信号的视频、音频部分进行实时的分析检测；

报警过滤模块，用于对所述检测的结果中各项参数进行过滤，并针对超过预设阈值的IP信号产生警报。

6.一种多画面系统的调度方法，用于对权利要求1-5任一项所述的多画面系统进行调度，所述调度方法包括：

客户端将所述报警过滤模块发出的报警信息转发给信号调度模块；

信号调度模块从信号注册中心获取匹配信息，并根据调度需求发送源信号给相应的多画面系统；

多画面系统调取所述源信号并输出。

7.根据权利要求6所述的调度方法，其中，所述源信号为出现故障信号的备份信号或与出现故障的所述多画面系统对应的原信号。

8.根据权利要求6所述的调度方法，其中，所述匹配信息包括多个信号源的发送能力以及信号格式和多个所述多画面系统的接收能力以及信号格式。

9.根据权利要求6所述的调度方法，其中，所述报警信息包括视频黑场、静帧、彩条、彩场，音频部分的静音、音频反相、音频丢失、音频过高、音频过低中的一种或多种。

10.一种多画面调度系统，包括：

客户端，用于接收报警过滤模块发出的报警信息并转发给信号调度模块；

信号注册中心，用于登记匹配信息；

信号调度模块，用于从所述信号注册中心获取匹配信息，并根据调度需求发送源信号给相应的多画面系统。

Images