CN116233336A - 一种多通道音视频融合监视方法及设备 - Google Patents

Abstract

本发明公开了一种多通道音视频融合监视方法及设备，所述方法包括：接收视频信号与音频信号；对视频信号进行解析并提取视频数据；对视频数据的图像大小进行调整，以适用播放要求；对调整后的视频数据进行缓存，并对视频数据进行变频；对视频数据按照图层的个数逐次合并形成视频输出信号PVW；对音频数据进行解析，将音频数据进行声道分离；对解析后的音频数据进行音量计算；对视频输出信号PVW中音频的音量显示刻度线进行绘制；按照音量大小进行音柱颜色的填充，并将填充后的视频输出信号PVW进行编码；为视频输出信号PVW的每路信号分配声道并进行加嵌；输出显示视频。采用本发明的技术方案，使得多通道音视频监视的集成度更高，监视设备的搭设更加便利。

Description

一种多通道音视频融合监视方法及设备

技术领域

本发明涉及显示技术领域，尤其涉及一种多通道音视频融合监视方法及设备。

背景技术

多画面监视功能是指将视频处理器的输入视频源压缩拼接成一幅1080p画面，通过HDMI接口或者DVI接口输出。用户可以通过显示器接收1080p画面，直观且实时的监视到视频处理器中输入视频源的状态。随着用户应用需求呈指数上升，人们对视频拼接产品提出了更多、更精细的要求。现有的多画面视频监视设备无法支持Dante(有源音箱)和AES67(网络数字音频标准)音频和监视音频音量，也无法同时支持多路Dante和AES67音频的同时接收与音量显示。但为视频处理器增加外部专用的Dante和AES67解码器，不仅仅增加了系统的复杂性，降低了系统的安全可靠性，还提高了系统的使用成本。且Dante/AES67的音频无法与视频窗口绑定，每个监视画面无法与字幕绑定，使得监视效果并不直观。

发明内容

本发明实施例提供一种多通道音视频融合监视方法及设备，用以至少解决现有技术中Dante/AES67的音频无法与视频窗口绑定问题。

根据本发明第一方面实施例提出的一种多通道音视频融合监视方法，包括：

接收视频信号与音频信号；

对所述视频信号进行解析并提取视频数据；

对所述视频数据的图像大小进行调整，以适用播放要求；

对调整后的所述视频数据进行缓存，并对所述视频数据进行变频；

对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW；

对所述音频数据进行解析，将所述音频数据进行声道分离；

对解析后的音频数据进行音量计算；

对所述视频输出信号PVW中音频的音量显示刻度线进行绘制；

按照音量大小进行音柱颜色的填充，并将填充后的视频输出信号PVW进行编码；

为所述视频输出信号PVW的每路信号分配声道并进行加嵌；

输出显示视频。

根据本发明的一些实施例，所述对所述视频信号进行解析并提取视频数据后，还包括：

对所述视频数据的连续性进行判断，若所述视频数据的格式不匹配或丢失，则将所述视频数据中的图像数据内容使用彩条信号代替。

根据本发明的一些实施例，所述对解析后的音频数据进行音量计算后，还包括：

对所述音频数据进行滤波。

根据本发明的一些实施例，对所述音频数据进行解析前，还包括：

将音频数据转换为标准格式。

根据本发明第二方面实施例提出的一种多通道音视频融合监视设备，包括：

接口单元，用于获取视频信号与音频信号；

芯片单元，与所述接口单元通讯连接，所述芯片单元用于对所述视频信号进行解析并提取视频数据；对所述视频数据的图像大小进行调整，以适用播放要求；对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW；对所述音频数据进行解析，将所述音频数据进行声道分离；为所述视频输出信号PVW的每路信号分配声道；对解析后的音频数据进行音量计算；对视频输出信号PVW中音频的音量显示刻度线进行绘制；按照音量大小进行音柱颜色的填充；

缓存单元，与所述芯片单元通讯连接，用于对图像大小调整后的所述视频数据进行缓存；

视频编码单元，与所述芯片单元通讯连接，所述视频编码单元用于对所述视频输出信号PVW编码及加嵌分配的所述声道后输出显示视频。

根据本发明的一些实施例，所述接口单元包括：

视频接口模块，与所述芯片单元通讯连接，所述视频接口模块用于接收视频信号；

音频接口模块，与所述芯片单元通讯连接，所述音频接口模块用于接收音频信号。

根据本发明的一些实施例，所述芯片单元包括相互通讯连接的视频单元与音频单元；

所述视频单元包括：

视频解析模块，与所述视频接口模块通讯连接，所述视频解析模块用于对所述视频信号进行解析，并提取视频数据；

视频缩放模块，与所述视频解析模块通讯连接，所述视频缩放模块用于对所述视频数据的图像大小进行调整，以适用播放要求；

视频缓存控制模块，与所述视频缩放模块通讯连接，所述视频缓冲模块用于对调整后的所述视频数据进行缓存，并对所述视频数据进行变频；

视频发送模块，与所述视频缓存控制模块通讯连接，所述视频发送模块用于对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW；

所述音频单元包括：

音频解析模块，与所述音频接口模块通讯连接，所述音频解析模块用于对接收的所述音频数据进行解析，将所述音频数据进行声道分离；

音频声道分配模块，与所述音频解析模块、所述视频编码单元均通讯连接，所述音频声道分配模块用于为所述视频输出信号PVW的每路视频信号分配声道并发送至所述视频编码器；

音量计算模块，与所述音频解析模块通讯连接，所述音量计算模块用于对解析后的音频数据进行音量计算；

音量刻度线绘制模块，与所述视频发送模块通讯连接，所述音量刻度线绘制模块用于对所述视频输出信号PVW中音频的音量显示刻度线进行绘制；

音柱填充模块，与所述音量刻度线绘制模块通讯连接，所述音柱填充模块用于按照音量大小进行音柱颜色的填充，并将填充后的所述视频输出信号PVW发送至所述视频编码单元。

根据本发明的一些实施例，所述视频解析模块还用于，对所述视频数据的连续性进行判断，若所述视频数据的格式不匹配或丢失，则将视频数据中的图像数据内容使用彩条信号代替。

根据本发明的一些实施例，所述音频解析模块还用于，对所述音频数据进行滤波。

根据本发明的一些实施例，还包括：

格式转换单元，与所述接口单元、芯片单元均通讯连接，所述格式转换单元用于将接口单元获取的音频信号转化为标准格式发送至所述芯片单元。

采用本发明实施例的技术方案，将音频数据解析后进行声道分离，为解析后的视频数据分配相应的声道，并使用视频编码器对每路视频信号与声道进行编码与加嵌，实现多路监视串口的音频与视频绑定，也使得每路视频信号代表的视频监视窗口均可叠加字幕且可加入音量显示控制，使得多通道音视频监视的集成度更高，监视设备的搭设更加便利。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1是本发明实施例中多通道音视频融合监视方法的流程示意图；

图2是本发明实施例中多通道音视频融合监视设备的结构示意图；

图3是本发明实施例中视频单元的视频处理流程示意图；

图4是本发明实施例中音频单元的音频处理流程示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明第一方面实施例提出一种多通道音视频融合监视方法，参考图1，包括：

S1：接收视频信号与音频信号。可以理解的是，本实施例中的视频信号为多路视频信号，比如16路。也可向上扩展更多的通道视频，支持SD、HD、FHD、UHD等多种分辨率。音频信号为可以为32声道，音频输入采用Dante和AES67协议，也可扩展为其他类型的接口，还可以向上扩展支持更多通道的音频同时输入。

S2：对所述视频信号进行解析并提取视频数据。可以理解的是，本实施例中的视频数据可以是视频图像、音频等多种参数的数据。

S3：对所述视频数据的图像大小进行调整，以适用播放要求。

S4：对调整后的所述视频数据进行缓存，并对所述视频数据进行变频。

S5：对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW。可以理解的是，按照图层的个数逐次合并可以是每个处理模块将负责的图层发送至另一个处理模块，依次叠加合并，直至最后输出最终的视频信号。

S6：对所述音频数据进行解析，将所述音频数据进行声道分离。

S7：对解析后的音频数据进行音量计算。

S8：对所述视频输出信号PVW中音频的音量显示刻度线进行绘制。

S9：按照音量大小进行音柱颜色的填充，并将填充后的视频输出信号PVW进行编码。

S10：为所述视频输出信号PVW的每路信号分配声道并进行加嵌。

S11：输出显示视频。

采用本发明实施例中的技术方案，将音频数据解析后进行声道分离，为解析后的视频数据分配相应的声道，并使用视频编码器对每路视频信号与声道进行编码与加嵌，实现多路监视串口的音频与视频绑定，也使得每路视频信号代表的视频监视窗口均可根据音频数据叠加字幕且可加入音量显示控制，使得多通道音视频监视的集成度更高，监视设备的搭设更加便利。

在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。

根据本发明的一些实施例，所述对所述视频信号进行解析并提取视频数据后，还包括：

对所述视频数据的连续性进行判断，若接收的所述视频数据的格式不匹配或丢失，则将所述视频数据中的图像数据内容使用彩条信号代替。

根据本发明的一系实施例，所述对解析后的音频数据进行音量计算后，还包括：

对所述音频数据进行滤波。

根据本发明的一些实施例，对所述音频数据进行解析前，还包括：

将音频数据转换为标准格式。例如，将获取的音频数据转化为IIS标准接口形式后再传输至下一步的处理模块中进行相关处理。

根据本发明第二方面实施例提出的一种多通道音视频融合监视设备，参考图2，包括：

接口单元，用于获取视频信号与音频信号。

芯片单元，与所述接口单元通讯连接，所述芯片单元用于对所述视频信号进行解析并提取视频数据；对所述视频数据的图像大小进行调整，以适用播放要求；对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW；对所述音频数据进行解析，将所述音频数据进行声道分离；为所述视频输出信号PVW的每路信号分配声道；对解析后的音频数据进行音量计算；对视频输出信号PVW中音频的音量显示刻度线进行绘制；按照音量大小进行音柱颜色的填充。

缓存单元，与所述芯片单元通讯连接，用于对图像大小调整后的所述视频数据进行缓存，以保证视频画面的完整性与流畅性。

视频编码单元，与所述芯片单元通讯连接，所述视频编码单元用于对所述视频输出信号PVW编码及加嵌分配的所述声道后输出显示视频。可以理解的是，视频编码单元可以是视频编码器，例如型号为GSV1016的HDMI视频编码器，其可将芯片单元处理后的视频与音频数据编码为标准的HDMI数据流，并经过HDMI座子输出到显示器上进行视频显示与音频播放。

根据本发明的一些实施例，参考图2，所述多通道音视频融合监视设备还包括时钟模块，为所述芯片单元提供工作时钟。

根据本发明的一些实施例，参考图2，所述多通道音视频融合监视设还包括NORFLASH模块，为所述芯片单元提供数据存储空间。

根据本发明的一些实施例，所述接口单元包括：

视频接口模块，与所述芯片单元通讯连接，所述视频接口模块用于接收视频信号。

音频接口模块，与所述芯片单元通讯连接，所述音频接口模块用于接收音频信号。

根据本发明的一些实施例，所述芯片单元包括相互通讯连接的视频单元与音频单元。

所述视频单元包括：

视频解析模块，与所述视频接口模块通讯连接，所述视频解析模块用于对所述视频信号进行解析，并提取视频数据。

视频缩放模块，与所述视频解析模块通讯连接，所述视频缩放模块用于对所述视频数据的图像大小进行调整，以适用播放要求。

视频缓存控制模块，与所述视频缩放模块通讯连接，所述视频缓冲模块用于对调整后的所述视频数据进行缓存管理，并对所述视频数据进行变频。

视频发送模块，与所述视频缓存控制模块通讯连接，所述视频发送模块用于对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW。

所述音频单元包括：

音频解析模块，与所述音频接口模块通讯连接，所述音频解析模块用于对接收的所述音频数据进行解析，将所述音频数据进行声道分离。

音频声道分配模块，与所述音频解析模块、所述视频编码单元均通讯连接，所述音频声道分配模块用于为所述视频输出信号PVW的每路视频信号分配声道并发送至所述视频编码器。

音量计算模块，与所述音频解析模块通讯连接，所述音量计算模块用于对解析后的音频数据进行音量计算。

音量刻度线绘制模块，与所述视频发送模块通讯连接，所述音量刻度线绘制模块用于对所述视频输出信号PVW中音频的音量显示刻度线进行绘制。

音柱填充模块，与所述音量刻度线绘制模块通讯连接，所述音柱填充模块用于按照音量大小进行音柱颜色的填充，并将填充后的所述视频输出信号PVW发送至所述视频编码单元。

根据本发明的一些实施例，所述视频解析模块还用于，对所述视频数据的连续性进行判断，若所述视频数据的格式不匹配或丢失，则将视频数据中的图像数据内容使用彩条信号代替。

根据本发明的一些实施例，所述音频解析模块还用于，对所述音频数据进行滤波。

根据本发明的一些实施例，所述多通道音视频融合监视设备还包括：

格式转换单元，与所述接口单元、芯片单元均通讯连接，所述格式转换单元用于将接口单元获取的音频信号转化为标准格式发送至所述芯片单元。

下面参照图2-4以一个具体的实施例详细描述使用多通道音视频融合监视设备进行多通道音视频融合监视方法。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。

本实施例中，参考图2，多通道音视频融合监视设备包括：

视频接口模块，所述视频接口模块用于接收视频信号。本实施例中视频接口模块采用通用数据传输平台GTP进行视频传输与接收，设置有GTP RX0-GTP RX15共16路通道。

音频接口模块，所述音频接口模块用于接收音频信号。音频接口模块的接口采用RJ45型号连接器接口。

视频编码单元，用于对所述视频输出信号PVW编码及加嵌分配的所述声道后输出显示视频。

芯片单元，采用型号为XC7A200T的FPGA芯片。芯片单元包括视频单元与音频单元。

其中，视频单元包括：视频解析模块，参考图3，设置有GTP Decode0-GTP Decode15共16个解析分模块，对应的与视频接口模块的16路通道分别通讯连接，所述视频解析模块用于对所述视频信号进行解析，并提取视频数据。

视频缩放模块，设置有DownScaler0-DownScaler15共16个缩放分模块，对应的与16个解析分模块分别通讯连接，所述视频缩放模块用于对所述视频数据的图像大小进行调整，以适用播放要求。

视频缓存控制模块(DDR Controller)，与16个缩放分模块均通讯连接，所述视频缓冲模块用于对调整后的所述视频数据进行缓存管理，并对所述视频数据进行变频。

视频发送模块，设置有Layer Combile0-Layer Combile15共16个发送分模块，16个发送分模块依次通讯连接，且与视频缓存控制模块均通讯连接，16个发送分模块用于对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW，即第一个发送分模块将第一层视频数据发送至第二个发送分模块，第二个发送分模块将前两层的视频数据发送至第三个发送分模块，直至最后一个发送分模块将所有图层叠加后的视频数据向外输出PVW。

参考图4，音频单元包括：音频解析模块，设置有IIS Decode0-IIS Decode15共16个音频解析分模块，通过交换模块与格式转换单元与音频接口模块通讯连接。交换模块采用型号为88E6320的交换芯片，格式转换单元用于将音频数据转为为IIS标准接口形式传输至音频单元。音频解析模块用于对接收的所述音频数据进行解析，将所述音频数据进行声道分离，本实施例中共分离32个声道。

音频声道分配模块IIS Select，与所述音频解析模块、所述视频编码单元HDMIencoder均通讯连接，其中HDMI encoder为型号GSV1016的编码器。所述音频声道分配模块用于为所述视频输出信号PVW的每路视频信号分配声道并发送至所述视频编码器。

音量计算模块，设置有Volume Calculation0-Volume Calculation15共16个音量计算分模块，对应的与16个音频解析分模块分别通讯连接，所述音量计算模块用于对解析后的音频数据进行音量计算。

音量刻度线绘制模块，设置有Draw Index0-Draw Index15共16个绘制分模块，与所述视频发送模块通讯连接，所述音量刻度线绘制模块用于对所述视频输出信号PVW中音频的音量显示刻度线进行绘制。

音柱填充模块，设置有Column Beating0-Column Beating15共16个填充分模块，每个填充分模块对应的与绘制分模块通讯连接，并且还与下一个绘制分模块通讯连接，所述音柱填充模块用于按照音量大小进行音柱颜色的填充，并将填充后的所述视频输出信号PVW发送至所述视频编码单元。

即第一个音量绘制分模块对PVW绘制后，对应的填充分模块对音柱进行填充，然后再发给第二个音量绘制分模块，依次操作直至最后一个填充分模块将全部填充完毕的视频数据发送至视频编码器。视频编码器对音频声道分配模块为每路视频数据分配的2个声道进行加嵌后再向显示器传输。

缓存单元，与所述芯片单元的视频缓存控制模块通讯连接，用于对图像大小调整后的所述视频数据进行缓存。

采用本发明的实施例，视频接口与音频接口分别接收16路视频数据与32声道的音频数据，视频数据经过芯片单元中视频单元对每路视频的解析缩放等操作形成PVW视频信号，音频数据进行过交换模块与格式转换传输至芯片单元的音频模块，音频模块对其进行声道的分离，并对PVW视频信号的每路视频计算音量大小与绘制音量刻度线并填充音柱颜色，最后对每路视频信号分配2个声道，最终在视频编码单元完成加嵌并输出至显示终端进行显示。使用本实施例的技术方案，可以至少完成4路及以上的Dante和AES67音频的解码、预监、音量音柱显示，以及分别将音频与监视窗口绑定，还可以在监视窗口通过音频数据叠加字幕，实现字幕与窗口的绑定。从而在一部设备中实现多画面监视的功能、音频解码的功能以及实现字幕叠加的效果。使得音视频监视方案的集成度更高，方案搭设更加便利。

需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

需要说明的是，在本说明书的描述中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (10)

1.一种多通道音视频融合监视方法，其特征在于，包括：

接收视频信号与音频信号；

对所述视频信号进行解析并提取视频数据；

对所述视频数据的图像大小进行调整，以适用播放要求；

对调整后的所述视频数据进行缓存，并对所述视频数据进行变频；

对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW；

对所述音频数据进行解析，将所述音频数据进行声道分离；

对解析后的音频数据进行音量计算；

对所述视频输出信号PVW中音频的音量显示刻度线进行绘制；

按照音量大小进行音柱颜色的填充，并将填充后的视频输出信号PVW进行编码；

为所述视频输出信号PVW的每路信号分配声道并进行加嵌；

输出显示视频。

2.如权利要求1所述的多通道音视频融合监视方法，其特征在于，所述对所述视频信号进行解析并提取视频数据后，还包括：

对所述视频数据的连续性进行判断，若所述视频数据的格式不匹配或丢失，则将所述视频数据中的图像数据内容使用彩条信号代替。

3.如权利要求1所述的多通道音视频融合监视方法，其特征在于，所述对解析后的音频数据进行音量计算后，还包括：

对所述音频数据进行滤波。

4.如权利要求1所述的多通道音视频融合监视方法，其特征在于，对所述音频数据进行解析前，还包括：

将音频数据转换为标准格式。

5.一种多通道音视频融合监视设备，其特征在于，包括：

接口单元，用于获取视频信号与音频信号；

芯片单元，与所述接口单元通讯连接，所述芯片单元用于对所述视频信号进行解析并提取视频数据；对所述视频数据的图像大小进行调整，以适用播放要求；对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW；对所述音频数据进行解析，将所述音频数据进行声道分离；为所述视频输出信号PVW的每路信号分配声道；对解析后的音频数据进行音量计算；对视频输出信号PVW中音频的音量显示刻度线进行绘制；按照音量大小进行音柱颜色的填充；

缓存单元，与所述芯片单元通讯连接，用于对图像大小调整后的所述视频数据进行缓存；

视频编码单元，与所述芯片单元通讯连接，所述视频编码单元用于对所述视频输出信号PVW编码及加嵌分配的所述声道后输出显示视频。

6.如权利要求5所述的多通道音视频融合监视设备，其特征在于，所述接口单元包括：

视频接口模块，与所述芯片单元通讯连接，所述视频接口模块用于接收视频信号；

音频接口模块，与所述芯片单元通讯连接，所述音频接口模块用于接收音频信号。

7.如权利要求6所述的多通道音视频融合监视设备，其特征在于，所述芯片单元包括相互通讯连接的视频单元与音频单元；

所述视频单元包括：

视频解析模块，与所述视频接口模块通讯连接，所述视频解析模块用于对所述视频信号进行解析，并提取视频数据；

视频缩放模块，与所述视频解析模块通讯连接，所述视频缩放模块用于对所述视频数据的图像大小进行调整，以适用播放要求；

视频缓存控制模块，与所述视频缩放模块通讯连接，所述视频缓冲模块用于对调整后的所述视频数据进行缓存，并对所述视频数据进行变频；

视频发送模块，与所述视频缓存控制模块通讯连接，所述视频发送模块用于对所述视频数据按照图层的个数逐次合并形成所述视频输出信号PVW；

所述音频单元包括：

音频解析模块，与所述音频接口模块通讯连接，所述音频解析模块用于对接收的所述音频数据进行解析，将所述音频数据进行声道分离；

音频声道分配模块，与所述音频解析模块、所述视频编码单元均通讯连接，所述音频声道分配模块用于为所述视频输出信号PVW的每路视频信号分配声道并发送至所述视频编码器；

音量计算模块，与所述音频解析模块通讯连接，所述音量计算模块用于对解析后的音频数据进行音量计算；

音量刻度线绘制模块，与所述视频发送模块通讯连接，所述音量刻度线绘制模块用于对所述视频输出信号PVW中音频的音量显示刻度线进行绘制；

音柱填充模块，与所述音量刻度线绘制模块通讯连接，所述音柱填充模块用于按照音量大小进行音柱颜色的填充，并将填充后的所述视频输出信号PVW发送至所述视频编码单元。

8.如权利要求7所述的多通道音视频融合监视设备，其特征在于，所述视频解析模块还用于，对所述视频数据的连续性进行判断，若所述视频数据的格式不匹配或丢失，则将视频数据中的图像数据内容使用彩条信号代替。

9.如权利要求7所述的多通道音视频融合监视设备，其特征在于，所述音频解析模块还用于，对所述音频数据进行滤波。

10.如权利要求5所述的多通道音视频融合监视设备，其特征在于，还包括：

格式转换单元，与所述接口单元、芯片单元均通讯连接，所述格式转换单元用于将接口单元获取的音频信号转化为标准格式发送至所述芯片单元。

Images