CN211670946U - 一种实时音视频综合处理板卡 - Google Patents

Abstract

本实用新型公开了一种实时音视频综合处理板卡，包括主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块。本实用新型硬件上采用3UVPX标准，能够实现模块之间数据的高速传递，满足多路高清音视频数据的采集传输；软件上采用多进程的方式对音视频数据进行处理，由于各子进程之间的处理过程相互独立，保证了服务器端的主程序运行的稳定性，使各子进程对应的监控画面被安全地输出。

Description

一种实时音视频综合处理板卡

技术领域

本实用新型属于多媒体技术领域，尤其涉及一种实时音视频综合处理板卡。

背景技术

在日常生活中，信息的传递形式，从最初的文字和图片的形式，过渡到语音，再到现在的音频和视频。实时音视频的应用市场随着基础技术的不断成熟，基础设施(如网络)的不断升级，以及用户需求的不断丰富而持续扩张。作为一个跨越物理距离实现人与人沟通交流的最重要的网络解决方案，人们对于实时音视频的需求和期望也越来越高。如今，全方面的实时音视频信息处理、传输、显示、播放成了必要的手段，所以，一种可以取代多种单项功能模块的综合化的实时音视频处理平台显得尤为重要。这样，既可以有效降低系统的复杂度，也可以满足通过软件配置灵活改变音视频处理效果，满足人们对于实时音视频处理需求。

首先实时音视频自身的技术难点与其处理流程相关：视频编码：所谓视频编码就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式，通常使用的相机采集的视频，必须要经过编码，上传，解码，才能真正的在用户端的播放器里播放。

编解码标准：视频流传输中最为重要的编解码标准有国际电联的H.261、H.263、H.264，其中HLS协议支持H.264格式的编码。

音频编码：同视频编码类似，将原始的音频流按照一定的标准进行编码，上传，解码，同时在播放器里播放，当然音频也有许多编码标准，例如PCM编码，WMA编码，AAC编码等等。

实时音视频过程会遇到很多技术难点，具体情况如下：

第一、低延时，端到端的延时不能过大；

第二，路由设备、网络信号干扰、数据高峰等因素，总会引起丢包和抖动；

第三，网络的高并发、高可用；

第四、软件的灵活可配置，方便用户实现不同需求。

实用新型内容

为了解决现有技术的问题，本实用新型提供了一种实时音视频综合处理板卡，包括主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块；

所述主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块均通过印制板走线连接至VPX连接器；

其中，所述数据采集模块作为输入端与音视频处理模块电连接；

所述音视频输出显示模块作为输出端与音视频处理模块电连接；

所述主控模块用于控制数据收发和音视频数据处理的流程；

所述电源模块用于为主控模块数据接口模块、数据采集模块、数据存储模块和音视频处理模块供电；

所述数据接口模块符合3UVPX标准，主要负责音视频综合处理平台与外部摄像头、麦克风以及用户客户端之间的数据交互；

所述数据采集模块用于SDI(serial digital interface，数字分量串行接口)视频采集和模拟音频采集，其中SDI视频采集采用SMB-KWHD(75Ω)连接器和Gennum公司SDI专用接收芯片，实现对外部SDI信号采集，采集后将串行数字信号转换为并行数字信号BT1120；模拟音频采集为双声道输入，经过内置音频AD模块，实现将外部接入的模拟音频的模拟信号转数字信号，并最终转换成I2S格式；

所述数据存储模块采用2块256M的SDRAM芯片，实现对音视频数据的存储。

所述主控模块基于stm32芯片实现控制数据收发和音视频数据处理的流程。

所述电源模块采用miniSOIC芯片。

所述音视频处理模块采用海思HI3536芯片，能够根据用户需求，对采集到的音视频数据进行综合处理。

所述主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块均采用3U标准，所述板卡一共有P0、P1、P2三个连接器，P0连接电源以及控制信号，P1和P2连接音视频数据信号。

所述数据接口模块将所有的外围接口引到板卡的VPX连接器上，包括引出：

两路USB 2.0HOST接口，其支持HUB功能；

2路电平，为3.3V TTL标准的通信串口；

一路电平，为3.3V TTL标准的调试串口，用于打印板卡的运行状态；

一路SDIO接口，用于外扩SD卡。

音视频输出显示模块可以模拟音频输出、CVBS输出和SDI输出，其中经过内部DAC模块，可以转换成模拟线路音频输出和模拟视频CVBS输出；使用Gennum公司专用芯片，实现SDI信号输出；另外为了解决输出音频的品质，增加音频输出缓冲专用芯片，增加降噪效果、增加驱动能力；

所述音视频处理模块包括音视频编码模块、音视频解码模块、视频图像裁剪模块、码流信息叠加模块、视频侦测分析模块和音视频通道管理模块；

音视频编码模块、音视频解码模块、视频图像裁剪模块、码流信息叠加模块、视频侦测分析模块和音视频通道管理模块均依赖于海思处理器，通过调用内嵌的硬件加速器和专用编解码引擎完成处理功能，通过内部总线进行数据传递和通信。

所述音视频编码模块用于对输入的模拟SDI视频数据进行H.264、JPEG、MPEG4编码和对输入的模拟音频数据进行AAC编码，同时根据用户需要，将音频和视频进行复合；

所述音视频解码模块用于对输入的网络视频数据(H264格式)和网络音频数据(AAC)进行解码；

所述音视频输出显示模块用于预览播放解码后的视频数据和播放解码后的音频数据；

所述视频图像裁剪模块能够对SDI输入接口、网络输入的视频，按照设置的起始点和裁剪分辨率进行裁剪和编码，从网络(TS/RTSP)、SDI视频输出接口、CVBS输出接口输出；

所述码流信息叠加模块用于支持在视频画面上叠加时间、码率和自定义文本信息，能够支持全图像任意位置图片(BMP24格式)叠加功能，图像透明度能够调节；

所述视频侦测分析模块用于接收网络视频流后获取视频编码信息(帧率、码率、分辨率)和格式信息(TS流、RTSP流)；

所述音视频通道管理模块用于管理各个音视频处理通道；所述各个音视频处理通道包括音频或视频的采集通道、编码通道、转码通道和解码通道。

所述音视频编码模块和音视频解码模块中均包含视频缓存池，用于向音视频处理业务提供大块物理内存管理功能，并负责内存的分配和回收。

位于音视频通道管理模块中包含有服务器端的主进程，服务器端的主进程针对音视频数据的处理创建子进程，记录子进程的ID和句柄；主进程定时检查是否均收到各子进程发送的心跳包，并重新创建未收到心跳包的子进程。

本实用新型将用户的配置查询操作局限于一个Web页面中，仅在所述Web页面初始化时加载相应的HTML、JavaScript和CSS。

视频缓存池处理流程包括如下步骤：

步骤a1，建立音视频处理通道，初始化输入模拟音视频数据采集模块中的SDI采集功能、模拟音频口采集功能，UDP/TCP服务接收端网络地址和端口号；

步骤a2，初始化视频缓存池，申请物理内存；

步骤a3，输入模拟音视频数据采集模块将采集到的音频、视频数据存放到视频缓存池中；

步骤a4，视频缓存池将采集并缓存下来的音视频数据进行切割成数据块，并编号；

步骤a5，根据用户需要进行编码时，音视频编码模块从视频缓存池中提取待编码的数据进行编码，并将编码完成的数据放回视频缓存池；

步骤a5，根据用户需要进行解码、图像裁剪、信息叠加、图像分析或传输时，音视频解码模块、视频输出显示模块、视频图像裁剪模块、视频侦测分析模块、码流信息叠加模块均从视频缓存池的对应位置提取相应编号的音视频数据；

本实用新型通过如下步骤完成音视频采集传输：

步骤b1，板卡首先启动后台Nginx服务器，根据用户设置建立相应音视频处理通道，初始化相关处理模块；

步骤b2，输入模拟音视频数据采集模块通过SDI相机和麦克风采集原始的音频PCM格式数据和原始的YUV格式视频数据，送入到视频缓存池中；

步骤b3，音视频编码模块将原始音视频数据进行编码压缩，编码参数(分辨率、码率、帧率及其他参数)由用户通过WEB网页进行设置，生成AAC格式的音频数据和x264格式的视频数据，存放到视频缓存池中；

步骤b4，视频通道管理模块根据用户的通道设置，对编码后数据进行后续处理、传输。用户可以在web页面上设置输出音视频数据格式(RTSP/TS)和输出网络目的地(网络IP和目的地)，然后视频通道管理模块根据用户设置的信息将编码后的数据进行RTSP/TS打包，并通过网口发送到用户设置的目的地。

本实用新型主要涉及如下内容：

1、视频缓存池方式

视频缓存池主要向媒体业务提供大块物理内存管理功能，负责内存的分配和回收，充分发挥内存缓存池的作用，让物理内存资源在各个媒体处理模块中合理使用。

2、多线程服务器的方式

服务器端的主进程针对每个音视频处理通道创建子进程，记录子进程的ID和句柄；主进程定时检查是否均收到各子进程发送的心跳包，并重新创建未收到心跳包的子进程，从而使所述子进程对应的高码率音视频流稳定地进行输出。

3、单页web应用方式

单页Web应用(single-page application简称为SPA)是一种特殊的Web应用。它将所有的活动局限于一个Web页面中，仅在该Web页面初始化时加载相应的HTML、JavaScript和CSS。一旦页面加载完成了，SPA不会因为用户的操作而进行页面的重新加载或跳转。取而代之的是利用JavaScript动态的变换HTML的内容，从而实现UI与用户的交互。这样就可以有效做到：1)良好的交互体验，用户不需要重新刷新页面，获取数据也是通过Ajax异步获取，页面显示流畅；2)良好的前后端工作分离模式，同时在客户端也可以分解为静态页面和页面交互两个部分；3)减轻服务器压力，服务器只用出数据就可以，不用管展示逻辑和页面合成，吞吐能力会提高几倍；

本实用新型包括：输入模拟视频数据采集、H.264/JPEG/MPEG4编码、H264/H.265/VC1/MPEG4/MPEG2/AVS解码、视频输出显示、视频图像裁剪、码流信息叠加视频侦测分析、音频模拟数据采集及输出、音频编解码、音视频通道管理等功能。

有益效果：

本实用新型采用多进程的方式对音视频数据进行处理，由于各子进程之间的处理过程相互独立，保证了服务器端的主程序运行的稳定性，使各子进程对应的监控画面被安全地输出；且各子进程均有独立的2GB地址空间和独立的资源，在各自的地址空间内独立运行，对IP网络中2M/S及以上的高码率音视频流能够流畅地输出。例如，可以同时满足下面的典型应用场景：

(1)网络接收4路H264码流1080P@20fps@8Mbps；

(2)4路1080P@20fps的H265码流解码回放；

(3)4路1080P@1fps JPEG抓拍；

(4)VGA 1080P@60fps 4画面预览+全屏；

(5)1路回放音频解码，1路音频对讲(开启回声抵消、ANR、AGC)。

另外，用户可通过网页登录服务器程序，自由定制音视频数据处理模式，达到自身需要的播放效果。包括音视频采集通道的选择、视频转码参数设置、音频编码的参数设置、视频裁剪、字幕添加等；

附图说明

下面结合附图和具体实施方式对本实用新型做更进一步的具体说明，本实用新型的上述或其他方面的优点将会变得更加清楚。

图1是视频缓存池处理流程。

图2是实时音视频采集传输流程。

图3是音视频处理流程。

图4是本实用新型硬件组成示意图。

具体实施方式

下面结合附图及实施例对本实用新型做进一步说明。

如图1、图2、图3所示，本实用新型提供了一种实时音视频综合处理板卡，包括主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块；

所述数据采集模块用于采集输入的模拟SDI视频数据和1路立体声线路模拟音频输入；

所述音视频处理模块包括音视频编码模块、音视频解码模块、视频图像裁剪模块、码流信息叠加模块、视频侦测分析模块和音视频通道管理模块；

所述音视频编码模块用于对输入的模拟SDI视频数据进行H.264、JPEG、MPEG4编码和对输入的模拟音频数据进行AAC编码，同时根据用户需要，将音频和视频进行复合；

所述音视频解码模块用于对输入的网络视频数据(H264格式)和网络音频数据(AAC)进行解码；

所述视频输出显示模块用于预览和播放解码后的视频数据；

所述视频图像裁剪模块能够对SDI输入接口、网络输入的视频，按照设置的起始点和裁剪分辨率进行裁剪和编码，从网络(TS/RTSP)、SDI视频输出接口、CVBS输出接口输出；

所述码流信息叠加模块用于支持在视频画面上叠加时间、码率和自定义文本信息，能够支持全图像任意位置图片(BMP24格式)叠加功能，图像透明度能够调节；

所述视频侦测分析模块用于接收网络视频流后获取视频编码信息(帧率、码率、分辨率)和格式信息(TS流、RTSP流)；

所述音视频通道管理模块用于管理各个音视频处理通道；所述各个音视频处理通道包括音频或视频的采集通道、编码通道、转码通道和解码通道。

所述音视频编码模块和音视频解码模块中均包含视频缓存池，用于向音视频处理业务提供大块物理内存管理功能，并负责内存的分配和回收。

位于音视频通道管理模块中包含有服务器端的主进程，服务器端的主进程针对音视频数据的处理创建子进程，记录子进程的ID和句柄；主进程定时检查是否均收到各子进程发送的心跳包，并重新创建未收到心跳包的子进程。

本实用新型将用户的配置查询操作局限于一个Web页面中，仅在所述Web页面初始化时加载相应的HTML、JavaScript和CSS。

视频缓存池处理流程包括如下步骤：

步骤a1，建立音视频处理通道，初始化输入模拟音视频数据采集模块中的SDI采集功能、模拟音频口采集功能，UDP/TCP服务接收端网络地址和端口号；

步骤a2，初始化视频缓存池，申请物理内存；

步骤a3，输入模拟音视频数据采集模块将采集到的音频、视频数据存放到视频缓存池中；

步骤a4，视频缓存池将采集并缓存下来的音视频数据进行切割成数据块，并编号；

步骤a5，根据用户需要进行编码时，音视频编码模块从视频缓存池中提取待编码的数据进行编码，并将编码完成的数据放回视频缓存池；

步骤a5，根据用户需要进行解码、图像裁剪、信息叠加、图像分析或传输时，音视频解码模块、视频输出显示模块、视频图像裁剪模块、视频侦测分析模块、码流信息叠加模块均从视频缓存池的对应位置提取相应编号的音视频数据；

本实用新型通过如下步骤完成音视频采集传输：

步骤b1，板卡首先启动后台Nginx服务器，根据用户设置建立相应音视频处理通道，初始化相关处理模块；

步骤b2，数据采集模块通过SDI相机和麦克风采集原始的音频PCM格式数据和原始的YUV格式视频数据，送入到视频缓存池中；

步骤b3，音视频编码模块将原始音视频数据进行编码压缩，编码参数(分辨率、码率、帧率及其他参数)由用户通过WEB网页进行设置，生成AAC格式的音频数据和x264格式的视频数据，存放到视频缓存池中；

步骤b4，音视频通道管理模块根据用户的通道设置，对编码后数据进行后续处理、传输。用户可以在web页面上设置输出音视频数据格式(RTSP/TS)和输出网络目的地(网络IP和目的地)，然后音视频通道管理模块根据用户设置的信息将编码后的数据进行RTSP/TS打包，并通过网口发送到用户设置的目的地。

本实用新型的处理流程如图2所示：

采集/播放模块：在音频采集时，可以灵活选择常见的8KHz、16KHz、22.05KHz、44.1KHz、48KHz等常见频率。在视频采集时，可通过SDI口采1080P*60的高清视频。

前处理：一般的音频前处理主要有：回声消除，噪声抑制，自动增益控制等。任何的前处理都是希望保留或放大用户想要的声音，消除或抑制不想要的声音。所以处理一定是对本体声音造成影响的。在一般的VOIP(Voice over Internet Protocol，缩写为VoIP)框架下，前处理算法不仅可以扔掉高频信息来保证计算量，同时在算法的偏向性上也更偏向于去除掉不想要保留的声音如噪音，回声等。最大限度保证可理解即可。

编解码器：除了会使用国际电信联盟的G.711、G.722、G.723等编码器(如：IP电话等)，还会采用x264等压缩编码器，降低网络传输的数据量，可以实现高压缩比，大大提升低带宽下表现。

网络传输：在对抗网络传输的不稳定，包括：随机丢包，拥塞，抖动等，采用常见的对抗技术和策略有：FEC(Forward Error Correction)前向纠错技术，PLC(Packet lossconcealment)丢包隐藏技术，ARQ(Automatic Repeat Request)自动重传机制，JitterBuffer抖动缓存区策略，带宽与冗余包分配策略等等。在设计这些策略和方案的时候会最大限度的保留流畅性和实时性的同时，利用尽量少的带宽来恢复更多的数据，满足可理解性，同时也能兼顾低带宽纯音频场景以及正常带宽下的音视频混合场景。

后台服务端程序内部视频处理流程如图1所示：

其中，一组大小相同、物理地址连续的缓存块组成一个视频缓存池。

视频输入通道需要使用公共视频缓存池。所有的视频输入通道都可以从公共视频缓存池中获取视频缓存块用于保存采集的图像。由于视频输入通道不提供创建和销毁公共视频缓存池功能，因此，在板卡初始化之前，必须为视频输入通道配置公共视频缓存池。如果该缓存块完全没有经过视频处理通道透传给其他模块，则将在音视频处理模块处理后被放回公共缓存池。

通过后端web服务器对输入的音视频数据进行处理，用户仅需通过网页对处理过程进行配置，包括音视频采集通道的选择、视频转码参数设置、音频编码的参数设置、视频裁剪、字幕添加等。

本实用新型所述板卡包括主控模块，主控模块支持外扩HDMI/SDI输出。其工作原理为：前段视频采集设备(CCD/CMOS)可以选择把监控画面本地实时显示，或者经过数据格式转换传至主控模块，主控模块对这些庞大的数据流进行图像压缩编码，然后通过千兆以太网传输至远端视频监控平台，

硬件平台的设计包括主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块。每个功能模块均通过印制板走线连接至VPX连接器。本设计采用3U标准板卡，3U VPX板卡有P0至P2三个连接器，设计P0连接一些电源以及控制信号，P1及P2连接音视频数据信号。硬件平台选用华为海思的HI3536，HI3536是针对多路高清或多路D1NVR产品开发的专业高端SOC芯片。HI3536内置高性能A17处理器和具有高达16路1080p解码能力的多协议视频解码引擎，集成具备多项复杂图像处理算法的高性能视频/图像处理引擎，结合双路高清显示输出能力本系统的工作原理如下：前端视频采集设备(CCD或CMOS)可以选择把监控画面本地实时显示，或者经过数据格式转换传送至HI3516，HI3516对这些庞大的数据流进行图像H.264压缩编码，然后通过千兆以太网络传输到远端视频监控平台。板卡采用最新高速串行总线标准VPX，采用45度键位设计的导向销，将HI3536的外围接口引到VPX高速串行连接器上，包括引出：

两路USB 2.0HOST接口，其支持HUB功能；

2路电平为3.3V TTL标准的通信串口；

一路电平为3.3V TTL标准的调试串口，用于打印系统的运行状态；

一路SDIO接口，用于外扩SD卡；

由于板卡的外扩资源较多，导致海思芯片的GPIO资源紧张，因此采用海思提供的一路I2C接口进行外部IO的扩展，系统采用的芯片型号为NXP公司8-bit IO扩展器PCF8574。

本实用新型提供了一种实时音视频综合处理板卡，具体实现该技术方案的方法和途径很多，以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种实时音视频综合处理板卡，其特征在于，包括主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块；

所述主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块均通过印制板走线连接至VPX连接器；

其中，所述数据采集模块作为输入端与音视频处理模块电连接；

所述音视频输出显示模块作为输出端与音视频处理模块电连接；

所述主控模块用于控制数据收发和音视频数据处理的流程；

所述电源模块用于为主控模块数据接口模块、数据采集模块、数据存储模块和音视频处理模块供电；

所述数据接口模块符合3UVPX标准，主要负责音视频综合处理平台与外部摄像头、麦克风以及用户客户端之间的数据交互；

所述数据采集模块用于SDI视频采集和模拟音频采集，其中SDI视频采集采用SMB-KWHD连接器和SDI专用接收芯片，实现对外部SDI信号采集，采集后将串行数字信号转换为并行数字信号BT1120；模拟音频采集为双声道输入，经过内置音频AD模块，实现将外部接入的模拟音频的模拟信号转数字信号，并最终转换成I2S格式；

所述数据存储模块采用2块256M的SDRAM芯片，实现对音视频数据的存储。

2.根据权利要求1所述的一种实时音视频综合处理板卡，其特征在于，所述主控模块基于stm32芯片实现控制数据收发和音视频数据处理的流程。

3.根据权利要求2所述的一种实时音视频综合处理板卡，其特征在于，所述电源模块采用miniSOIC芯片。

4.根据权利要求3所述的一种实时音视频综合处理板卡，其特征在于，所述音视频处理模块采用海思HI3536芯片。

5.根据权利要求4所述的一种实时音视频综合处理板卡，其特征在于，所述主控模块、电源模块、数据接口模块、数据采集模块、数据存储模块和音视频处理模块均采用3U标准，所述板卡一共有P0、P1、P2三个连接器，P0连接电源以及控制信号，P1和P2连接音视频数据信号。

6.根据权利要求5所述的一种实时音视频综合处理板卡，其特征在于，所述数据接口模块将所有的外围接口引到板卡的VPX连接器上，包括引出：

两路USB 2.0HOST接口，其支持HUB功能；

2路电平，为3.3V TTL标准的通信串口；

一路电平，为3.3V TTL标准的调试串口，用于打印板卡的运行状态；

一路SDIO接口，用于外扩SD卡。

Images