CN109788214A - 一种基于fpga的多路视频无缝切换系统和方法 - Google Patents

Abstract

为解决现有基于数字器件的视频切换技术存在视频输出时序稳定性不好、视频数据易丢失、操作不便的技术问题，本发明提供了一种基于FPGA的多路视频无缝切换系统和方法。1)发送同步脉冲信号；2)接收包含有视频时钟信号和视频图像数据的N路视频数据；3)分别对接收到的N路视频数据进行预处理，使后续缓冲隔离均是从第一帧的第一个像素数据开始进行；4)N路视频数据分别进行缓冲隔离；5)分别读取缓冲隔离的视频数据，重新生成视频使能，将重新生成的视频使能及所读取的视频图像数据输出至通道选择模块；6)接收视频通道切换指令；7)选通数据通道号对应的数据通道；8)被选通的数据通道输出视频图像数据。

Description

一种基于FPGA的多路视频无缝切换系统和方法

技术领域

本发明属于视频处理技术领域，涉及一种基于FPGA的多路视频切换系统和方法。

背景技术

随着无人机技术不断发展，国内外越来越多的无人机在机身上安装有多种类型的监控摄像器。由于受到无人机遥测传输设备的限制，即遥测设备只能传输一路视频信号，而无人机飞行时需要对整个飞行系统中的多路视频信号实时监控和记录，因此，需要一种多路视频切换系统，在无人机空中飞行过程中，地面人员可在多个机载摄像器之间切换，实时监控外界情况，及时根据发现的问题采取解决措施。

目前视频切换技术主要有两种方式：

第一种是基于模拟器件实现视频切换，模拟开关实现方式不灵活；

第二种是基于数字器件，采用组合逻辑进行切换，跨时钟域处理，易出现亚稳态现象，图像数据和分辨率不能保障，系统稳定性大大降低。例如公开号为CN103647907B的专利文献中公开了“一种无人机多路视频切换器”，采用拨轮开关或工控机控制主控单元驱动多路选择切换单元，主要采用数字电路硬件实现视频系统的切换，缺少系统控制，从一路视频切换到另外一路视频过程中存在视频输出时序稳定性不好，视频数据丢失问题；另外，该多路视频切换器电路组成模块较多，造成系统不稳定，实现操作起来也不方便。

发明内容

为解决现有基于数字器件的视频切换技术存在视频输出时序稳定性不好、视频数据易丢失、操作不便的技术问题，本发明提供了一种基于FPGA的多路视频无缝切换系统和方法。

本发明的技术解决方案是：

一种基于FPGA的多路视频无缝切换系统，其特殊之处在于：包括硬件和软件；

所述硬件包括FPGA、以及均与FPGA相连的同步脉冲输出接口单元、视频输出接口单元、切换指令接收接口单元以及N个视频输入接口单元；FPGA作为主控制器；同步脉冲输出接口单元用于输出FPGA产生的同步脉冲信号；视频输出接口单元用于输出被选通视频通道中的视频图像数据；切换指令接收接口单元用于接收来自切换系统外部的视频通道切换指令；N个视频输入接口单元用于采集机载的N路视频单元发出的N路视频信号；N为大于等于2的整数；

所述软件为运行在所述FPGA上的程序，用于实现以下步骤：

1)视频切换系统初始化复位上电；

2)向机载的N路视频单元发送同步脉冲信号；

3)接收所述N路视频单元发出的包含有视频时钟信号和视频图像数据的N路视频数据；

4)分别对接收到的N路视频数据中的视频图像数据进行预处理，使得后续缓冲隔离所述N路视频数据时，均是从第一帧第一个像素数据开始进行缓冲隔离；

5)对N路视频数据分别进行缓冲隔离；

6)基于FPGA的PLL倍频产生的主时钟信号，分别读取步骤5)缓冲隔离的视频数据，根据读取的视频数据生成N路视频数据中的视频使能，并将重新生成的视频使能以及所读取视频数据中的视频图像数据输出至通道选择模块，等待后续选通；

7)接收外部主控单元发送的接收视频通道切换指令；

8)根据接收到的视频通道切换指令，当检测到所述视频通道切换指令所对应数据通道的视频使能下降沿和数据通道号时，选通所述数据通道号对应的数据通道，进入步骤9)；否则，不选通所述数据通道号对应的数据通道，并继续检测所选通通道号对应数据通道的视频使能下降沿；

9)被选通的数据通道输出视频图像数据。

进一步地，在所述步骤6)-7)之间，还设有进行缓冲隔离数据清空的步骤，具体为：检测步骤6)生成的视频使能下降沿，若检测到，则利用视频使能下降沿对已缓冲隔离的数据进行清空，然后进入步骤7)；若未检测到，则直接进入步骤7)。

本发明同时提供了一种基于FPGA的多路视频无缝切换方法，其特殊之处在于，包括以下步骤：

1)向机载的N路视频单元发送同步脉冲信号；

2)接收所述N路视频单元发出的包含有视频时钟信号和视频图像数据的N路视频数据；

3)分别对接收到的N路视频数据中的视频图像数据进行预处理，使得后续缓冲隔离所述N路视频数据时，均是从第一帧第一个像素数据开始进行缓冲隔离；

4)对N路视频数据分别进行缓冲隔离；

5)基于FPGA的PLL倍频产生的主时钟信号，分别读取步骤5)缓冲隔离的视频数据，根据读取的视频数据重新生成N路视频数据中的视频使能，并将重新生成的视频使能以及所读取视频数据中的视频图像数据输出至通道选择模块，等待后续选通；

6)接收外部主控单元发送的接收视频通道切换指令；

7)根据接收到的视频通道切换指令，检测所述视频通道切换指令所对应数据通道的视频使能下降沿和数据通道号，当二者都被检测到时，选通所述数据通道号对应的数据通道，进入步骤8)；否则，不选通所述数据通道号对应的数据通道，并继续检测所选通通道号对应数据通道的视频使能下降沿；

8)被选通的数据通道输出视频图像数据。

进一步地，在所述步骤5)与步骤6)之间，还设有进行缓冲隔离数据清空的步骤，具体为：检测步骤5)重新生成的视频使能下降沿，若检测到，则利用视频使能下降沿对已缓冲隔离的数据进行清空，然后进入步骤6)；若未检测到，则直接进入步骤6)。

进一步地，所述步骤3)中的预处理方法具体为：

3.1)检测视频图像数据开头和视频图像数据结尾；

3.2)根据视频图像数据开头和视频图像数据结尾，生成视频使能信号；

3.3)将步骤3.2)生成的视频使能信号作为后续缓冲隔离的写使能信号。

进一步地，所述步骤5)中的重新生成视频使能、读取视频图像数据并输出的方法具体为：

5.1)设置FPGA中FIFO缓存阈值大于等于1024字节；

5.2)将缓冲隔离操作的写使能置1，计数至少1024个时间，然后将缓冲隔离操作的写使能置0，得到重新生成的视频使能；

5.3)将步骤5.2)重新生成的视频使能作为当前缓冲隔离操作的读使能信号，从缓冲隔离数据中读取视频图像数据；

5.4)输出步骤5.2)重新生成的视频使能以及步骤5.3)读取的视频图像数据到通道选择模块，等待后续选通。

本发明的有益效果：

1、本发明可实现无人机上摄像机多路视频源任意切换，硬件电路集成度高，内部视频数据传输过程中无压缩和丢失帧频，实现了多路视频源无缝切换，并且在切换过程中上一帧数据和下一帧数据均没有丢失数据，确保了在切换前一帧图像已经完整输出，切换后另一路视频图像正确输出，保证了视频输出时序稳定性和视频画面的稳定性。

2、本发明切换过程主要依靠软件实现，硬件电路简单，集成度高。

3、本发明切换灵活。

4、本发明采用FPGA主时钟单元产生和无人机上摄像机同频率的clk，对各路视频数据进行同步，系统工作稳定。

5、本发明只需要一级同步，减少了出错概率，稳定性更高；无需进行倍频时钟采样，简化了操作步骤，提高了运行效率。

附图说明

图1为利用本发明切换系统进行多路同步视频无缝切换的原理示意图，图中：模块1是外部多路视频输出单元，模块2是本发明多路视频无缝切换系统，模块3是单路视频输入单元。

图2为本发明中FPGA内部逻辑模块原理框图。

图3为本发明切换方法流程图。

图4为当视频数据仅包含有时钟信号和视频图像数据时，本发明对视频数据的预处理流程。

图5为采用图4的预处理方法处理后得到的视频使能信号和FIFO写使能信号示意图。

图6为不对视频数据作预处理，可能出现的视频使能信号和FIFO写使能信号示意图。

图7为当视频数据仅包含有时钟信号和视频图像数据时，本发明重新生成视频使能和视频图像数据的方法流程图。

图8为当视频数据仅包含有时钟信号和视频图像数据时，视频选通流程图。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1所示，本发明多路视频无缝切换系统包括硬件和软件；

硬件包括FPGA(主控制器)、与FPGA相连的N个视频输入接口单元、一个同步脉冲输出接口单元、一个视频输出接口单元和一个切换指令接收接口单元；N为大于等于2的正整数。

视频输入接口单元用于采集外部视频信号；视频输入接口单元可采用Cameralink视频输入接口，芯片型号为ds90cr286或者ds90cr288；也可以采用PAL视频输入接口，芯片型号为adv7180；或者采用SDI视频输入接口，芯片型号为GS2971；或者采用数字视频LVDS输入接口，芯片型号为ds90lv032；或者采用RS422输入接口，芯片型号为ds26lv032。

同步脉冲输出接口单元用于输出FPGA产生的同步脉冲信号；同步脉冲输出接口单元可采用LVDS，芯片型号为ds90lv049或者ds90lv019；也可以采用RS422，芯片型号为ds26lv031，max3490。也可以采用RS485，芯片型号为max3485。

视频输出接口单元采用Cameralink视频输出接口，芯片型号为ds90cr285或者ds90cr287；也可以采用PAL视频输出接口，芯片型号为adv7393；亦可以采用SDI视频输出接口，芯片型号为GS2972；还可以采用数字视频LVDS输出，芯片型号为ds90lv031；或者采用RS422接口，芯片型号为ds26lv031。

切换指令接收接口单元用于接收外部发送的视频通道切换指令，可以采用串口指令接收，芯片型号为max3490或者max3485；或者采用以太网网口接收指令，芯片型号为88E1111；或者采用CAN总线接收，芯片型号为SJA1000。

软件为装载在FPGA上的程序，按照计算机程序实现的功能可以划分为N个接收数据处理模块、N个缓冲隔离模块、N个数据恢复模块、一个切换指令接收模块、一个脉冲发送模块、一个主时钟模块和一个通道选择模块，如图2所示。每一个接收数据处理模块、缓冲隔离模块和数据恢复模块对应一路数据通道。

上述程序被FPGA运行时，实现以下步骤(参考图3)：

1)视频切换系统初始化复位上电。

2)FPGA产生同步脉冲信号，并通过同步脉冲输出接口单元发送至外部机载的N路视频单元；N为大于等于2的整数；同步脉冲信号的作用是使得进入视频切换系统的每一路视频数据帧同步。

3)N路视频单元收到视频切换系统发出的同步脉冲信号后，同时向视频切换系统发送包含有视频时钟信号和视频图像数据的视频数据，视频切换系统通过视频输入接口单元接收视频数据。

4)N个接收数据处理模块分别对N路视频数据中的视频图像数据进行预处理，以保证分别写入后端N路缓冲隔离模块的视频数据均是从第一帧第一个像素数据开始写入；缓冲隔离模块为FPGA中FIFO IP核；

如图4所示，对每一路视频数据中的视频图像数据进行预处理的流程具体为(本例以视频数据开头FF D8，视频数据结尾FF D9举例)：

首先，检测到视频图像数据开头FF D8和视频图像数据结尾FF D9，然后根据视频图像数据开头FF D8和视频图像数据结尾FF D9生成视频使能信号，将生成的视频使能信号作为缓冲隔离模块(FIFO)的写使能。

图5所示为预处理后得到的视频使能信号和FIFO写使能信号，如果不对视频图像数据进行预处理，可能会出现图6所示的FIFO写使能信号，导致写入缓冲隔离模块的第一个像素是视频中间某一个随机像素，这样输出的图像会出现偏移错位。

5)将N路视频数据分别写入N路缓冲隔离模块。

6)N个数据恢复模块分别读取N路缓冲隔离模块中存储的视频数据，数据恢复模块根据读取的视频数据重新生成(也可称为恢复)N路视频数据中的视频使能和视频图像数据，然后等待通道选择模块选择；数据恢复模块的工作clk为主时钟模块发出的clk，该clk与外部机载的N路视频单元同频；这样做的目的是使用视频切换系统自身的主时钟采样每一路输入视频数据，降低跨时钟域和多个时钟域带来系统不稳定因素，提高视频切换系统可靠性；

如图7所示，重新生成N路视频数据中的视频使能和读取视频图像数据的具体方法为：

6.1)设置FIFO缓存阈值大于等于1024字节(本例为1024字节)；

6.2)将FIFO的写使能信号置1，计数至少1024个时钟周期，然后将FIFO的写使能信号置0，得到重新生成的视频使能；

6.3)将步骤6.2)重新生成的视频使能作为当前的FIFO的读使能信号，从缓冲隔离模块中读取视频图像数据；

6.4)输出步骤6.2)重新生成的视频使能和步骤6.3)读取的视频图像数据到通道选择模块，等待选通。

7)为进一步避免切换后视频输出图像画面错位，保证每一次FIFO里面数据都是完整的一行图像数据输出，提高稳定性，利用重新生成的视频使能下降沿对各自对应的缓冲隔离模块进行清空，具体方法是：若检测到重新生成的视频使能下降沿，说明一帧图像已经恢复完成，利用视频使能下降沿清空缓冲隔离模块中可能残留的数据后，进入步骤8)；若未检测到重新生成的视频使能下降沿，则不进行清空，直接进入步骤8)。

8)通道选择模块接收外部主控单元发送的接收通道选通指令；

9)通道选通的具体流程如图8所示，通道选择模块根据接收到的视频通道切换指令，检测所述视频通道切换指令所对应数据通道的视频使能下降沿和数据通道号，当二者都被检测到时，选通所述数据通道号对应的数据通道，进入步骤10)；否则，所述数据通道号对应的数据通道不会被选通，视频通道切换指令所对应数据通道的下一帧数据将覆盖上一帧数据，并继续检测所选通通道号对应数据通道的视频使能下降沿。

此步骤中通过设定两个选通条件，从而保证切换后输出视频不会出错。若只检测到数据通道号便切换视频，可能会出现上一帧视频没有输出完成，切换后的视频没有从一帧开头传输，出现视频数据丢失，降低数据传送可靠性。

假设视频切换系统正在输出数据通道1的视频数据时，通道选择模块收到切换至数据通道2的通道选通指令，当检测到数据通道2的视频使能下降沿和数据通道号2时，通道选择模块才会切换到数据通道2，由于各路数据通道是同步输出视频数据，这样就可以保证在切换数据通道2时，数据通道1的这一帧数据已经完整输出，数据通道2的这一帧数据从头开始，从而实现无缝连接，同时也不会因为数据通道的切换造成数据丢失。

10)被选通的数据通道输出视频图像数据。

Claims (6)

1.一种基于FPGA的多路视频无缝切换系统，其特征在于：包括硬件和软件；

所述硬件包括FPGA、以及均与FPGA相连的同步脉冲输出接口单元、视频输出接口单元、切换指令接收接口单元以及N个视频输入接口单元；FPGA作为主控制器；同步脉冲输出接口单元用于输出FPGA产生的同步脉冲信号；视频输出接口单元用于输出被选通视频通道中的视频图像数据；切换指令接收接口单元用于接收来自切换系统外部的视频通道切换指令；N个视频输入接口单元用于采集机载的N路视频单元发出的N路视频信号；N为大于等于2的整数；

所述软件为运行在所述FPGA上的程序，用于实现以下步骤：

1)视频切换系统初始化复位上电；

2)向机载的N路视频单元发送同步脉冲信号；

3)接收所述N路视频单元发出的包含有视频时钟信号和视频图像数据的N路视频数据；

4)分别对接收到的N路视频数据中的视频图像数据进行预处理，使得后续缓冲隔离所述N路视频数据时，均是从第一帧第一个像素数据开始进行缓冲隔离；

5)对N路视频数据分别进行缓冲隔离；

6)基于FPGA的PLL倍频产生的主时钟信号，分别读取步骤5)缓冲隔离的视频数据，根据读取的视频数据生成N路视频数据中的视频使能，并将重新生成的视频使能以及所读取视频数据中的视频图像数据输出至通道选择模块，等待后续选通；

7)接收外部主控单元发送的接收视频通道切换指令；

8)根据接收到的视频通道切换指令，当检测到所述视频通道切换指令所对应数据通道的视频使能下降沿和数据通道号时，选通所述数据通道号对应的数据通道，进入步骤9)；否则，不选通所述数据通道号对应的数据通道，并继续检测所选通通道号对应数据通道的视频使能下降沿；

9)被选通的数据通道输出视频图像数据。

2.根据权利要求1所述的基于FPGA的多路视频无缝切换系统，其特征在于：在所述步骤6)-7)之间，还设有进行缓冲隔离数据清空的步骤，具体为：

检测步骤6)生成的视频使能下降沿，若检测到，则利用视频使能下降沿对已缓冲隔离的数据进行清空，然后进入步骤7)；若未检测到，则直接进入步骤7)。

3.基于FPGA的多路视频无缝切换方法，其特征在于，包括以下步骤：

1)向机载的N路视频单元发送同步脉冲信号；

2)接收所述N路视频单元发出的包含有视频时钟信号和视频图像数据的N路视频数据；

3)分别对接收到的N路视频数据中的视频图像数据进行预处理，使得后续缓冲隔离所述N路视频数据时，均是从第一帧第一个像素数据开始进行缓冲隔离；

4)对N路视频数据分别进行缓冲隔离；

5)基于FPGA的PLL倍频产生的主时钟信号，分别读取步骤5)缓冲隔离的视频数据，根据读取的视频数据重新生成N路视频数据中的视频使能，并将重新生成的视频使能以及所读取视频数据中的视频图像数据输出至通道选择模块，等待后续选通；

6)接收外部主控单元发送的接收视频通道切换指令；

7)根据接收到的视频通道切换指令，检测所述视频通道切换指令所对应数据通道的视频使能下降沿和数据通道号，当二者都被检测到时，选通所述数据通道号对应的数据通道，进入步骤8)；否则，不选通所述数据通道号对应的数据通道，并继续检测所选通通道号对应数据通道的视频使能下降沿；

8)被选通的数据通道输出视频图像数据。

4.根据权利要求3所述的基于FPGA的多路视频无缝切换方法，其特征在于：在所述步骤5)与步骤6)之间，还设有进行缓冲隔离数据清空的步骤，具体为：

检测步骤5)重新生成的视频使能下降沿，若检测到，则利用视频使能下降沿对已缓冲隔离的数据进行清空，然后进入步骤6)；若未检测到，则直接进入步骤6)。

5.根据权利要求3或4所述的基于FPGA的多路视频无缝切换方法，其特征在于：所述步骤3)中的预处理方法具体为：

3.1)检测视频图像数据开头和视频图像数据结尾；

3.2)根据视频图像数据开头和视频图像数据结尾，生成视频使能信号；

3.3)将步骤3.2)生成的视频使能信号作为后续缓冲隔离的写使能信号。

6.根据权利要求5所述的基于FPGA的多路视频无缝切换方法，其特征在于：所述步骤5)中的重新生成视频使能、读取视频图像数据并输出的方法具体为：

5.1)设置FPGA中FIFO缓存阈值大于等于1024字节；

5.2)将缓冲隔离操作的写使能置1，计数至少1024clk，然后将缓冲隔离操作的写使能置0，得到重新生成的视频使能；

5.3)将步骤5.2)重新生成的视频使能作为当前缓冲隔离操作的读使能信号，从缓冲隔离数据中读取视频图像数据；

5.4)输出步骤5.2)重新生成的视频使能以及步骤5.3)读取的视频图像数据到通道选择模块，等待后续选通。