CN113271423A

CN113271423A - 一种基于fpga的多格式视频接口转换装置及方法

Info

Publication number: CN113271423A
Application number: CN202110271901.4A
Authority: CN
Inventors: 温凯; 韩明晶; 刘群昌; 陶金; 李朝伟; 甘霖; 孙秀耀; 杨发亮; 翟致恒; 付豪; 彭志超; 朱佩婕
Original assignee: CASIC Rocket Technology Co
Current assignee: CASIC Rocket Technology Co
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2021-08-17
Anticipated expiration: 2041-03-12
Also published as: CN113271423B

Abstract

一种基于FPGA的多格式视频接口转换装置及方法，包括：依次连接的Camera link接口和Camera link视频解码器；依次连接的LVDS接口和LVDS视频解码器；依次连接的DVI接口和DVI视频编码器；依次连接的通讯接口及通讯模块；FPGA数字处理电路以及SRAM存储器、FPGA配置电路、晶振电路、电源电路；所述Camera link视频解码电路、LVDS视频解码电路、DVI视频编码电路、SRAM存储器以及通讯电路同时与FPGA数字信号处理电路连接；所述晶振电路输出端接入FPGA的全局时钟引脚；在FPGA的控制下生成或输出各时钟信号；所述FPGA数字处理电路通过串行接口将程序固化在FPGA配置电路中；所述电源电路为各电路供电。

Description

一种基于FPGA的多格式视频接口转换装置及方法

技术领域

本发明涉及图像传输领域，具体涉及一种基于FPGA的多格式视频接口转换装置及方法。

背景技术

某航天运载器上安装Camera link接口的可见光传感器、LVDS 接口的红外传感器用来观察发动机点火、级间分离、星箭分离等飞行时序下的情况。随着光电技术不断发展，视频传感器分辨率越来越高、视频电气接口技术不断发展，为适应运载器上的原有的DVI视频压缩接口，需要根据运载器上光纤总线的指令信息决定将可见光Camera link接口或者红外LVDS接口转换成DVI接口，同时将可见光或者红外视频数据按照DVI的协议发送。由于运载器空间重量的限制，需要充分利用其上的宝贵资源，以便实现减少电气传输通道提高资源利用率的目的，同时可以极大地提高数据传输的可靠性。

发明内容

针对现有技术的改进需求，本发明目的在于利用FPGA编程灵活、集成度高的优势，实现多格式视频接口解码、转换，将视频数据转换成DVI接口数据，同时将电气总线的光纤接口的遥测数据也转换成 DVI接口数据，经与图像数据的叠加后，通过无线遥测链路混合传输到地面测控站。

为实现上述目的，本发明提供了一种基于FPGA的多格式视频接口转换装置(及方法)，其特征在于包括：

依次连接的Camera link接口和Camera link视频解码器；

依次连接的LVDS接口和LVDS视频解码器；

依次连接的DVI接口和DVI视频编码器；

依次连接的通讯接口及通讯模块；

FPGA数字处理电路以及SRAM存储器、FPGA配置电路、晶振电路、电源电路；

所述Camera link视频解码电路、LVDS视频解码电路、DVI视频编码电路、SRAM存储器以及通讯电路同时与FPGA数字信号处理电路连接；

所述晶振电路输出端接入FPGA的全局时钟引脚；在FPGA的控制下生成或输出各时钟信号；

所述FPGA数字处理电路通过串行接口将程序固化在FPGA配置电路中；

所述电源电路为各电路供电。

优选地，所述通讯接口为光纤接口，所述通讯模块为光模块，所述光纤接口通过光模块与所述FPGA数字处理电路的GTP(吉比特收发器)IP核的物理引脚连接。

本发明还提供了一种基于FPGA的多格式视频接口转换装置的多格式视频接口转换方法，其特征在于包括以下步骤：

S1、通过通讯接口及通讯模块接收运载器飞行时序指令；

S2、当运载器飞行时序指令要求将可见光视频转换成DVI接口数据时，可见光视频经Camera link解码电路解码后生成包括视频行信号hs1，视频场信号vs1，时钟clk1和可见光图像数据data1的TTL 信号输出给FPGA；

先通过异步先入先出队列Wr_Fifo1缓存，对可见光视频图像进行电子变倍算法，再通过对静态存储器SRAM进行读写控制，用异步先入先出队列Rd_Fifo3把SRAM中数据缓存读出，整个过程循环进行实现可见光视频图像变帧频算法；

按照VESA标准中DVI发生时序，FPGA输出的视频行信号hs3，视频场信号vs3，时钟clk3，图像数据data3通过DVI视频编码器编码后生成DVI接口视频；

S3、当运载器飞行时序指令要求将红外视频转换成DVI接口数据时，红外视频经LVDS解码电路后生成包括视频行信号hs2，视频场信号vs2，时钟clk2和图像数据data2的TTL信号输出给FPGA；

先通过两个异步先入先出队列Wr_Fifo2.1和Wr_Fifo2.2缓存，对红外视频进行电子变倍算法，再对SRAM进行读写控制，用异步 Rd_Fifo3把SRAM中数据缓存读出，整个过程循环进行实现红外视频图像变帧频算法；

其中，步骤S2和步骤S3顺序根据实际情况可以互换，实际情况即是根据运载器飞行时序指令要求；

其中，Camera link可见光视频图像为L1×W1@f1Hz、kc(bit) 的格式视频图像，其分辨率L1×W1，频率f1；电子变倍变频后的DVI 接口视频图像为L3×W3@f3Hz、kd(bit)的格式视频，其分辨率L3 ×W3，频率f3，其中f1＜f3；

其中，LVDS红外视频图像为L2×W2@f2Hz、kl(bit)的格式视频图像，其分辨率L2×W2，频率f2；电子变倍变频后的DVI接口视频图像为L3×W3@f3Hz、kd(bit)的格式视频，其分辨率L3×W3，频率f3，其中f2＜f3。

进一步地，所述步骤S1中的通讯接口及通讯模块具体为光纤接口及光模块，所述光纤接口通过光模块与所述FPGA数字处理电路的 GTP IP核的物理引脚连接，所述通讯接口接收的运载器飞行时序指令通过GTP模块解码生成时钟clk4和data4后输出给FPGA，完成指令数据的解析。

进一步地，所述步骤S2还包括

步骤S21、生成DVI接口视频的同时，将通讯接口接收的遥测信息，通过GTP模块解码生成遥测数据data4，先输入异步先入先出队列Fifo4中进行缓存，当DVI视频场信号vs3有效，且视频行信号hs3 有效，并且行计数r1<cnt_row3<r2，将Fifo4输出的数据Fifo_q4叠加在DVI图像前或后(r2-r1-1)行，完成遥测数据与图像数据的叠加，输出混和后的DVI接口视频，经后端视频压缩模块后，再经遥测无线链路传输到地面测控站。

具体地，光纤接口数据叠加方法为：

根据协议约定，遥测信息分为缓变帧和速变帧两种不同帧类型。若检测到当前帧为缓变帧，则将缓变帧直接缓存在异步先入先出队列 Fifo4中。Fifo4的写入时钟为clk4，读出时钟为DVI的发生时钟clk3；若检测到当前帧为速变帧，则将当前速变帧缓存在寄存器Reg_buff_ 中，缓存够一定的帧数(速变帧频率/缓变帧频率，两者相除得出帧数的值)，完成速变帧到缓变帧的转换。随后则将转换后的速变帧的内容存入Fifo4中。

若未检测到速变帧，则在缓变帧到来时，用一定字节(该字节数为速变帧每帧数据长度乘以帧数，该帧数＝速变帧频率/缓变帧频率) 的"00"代替速变帧，和缓变帧一起组成一帧遥测数据大小的字节帧，写入Fifo4。

在DVI场信号vs3，行信号hs3都有效，并且图像处在前两行时，在DVI图像时钟clk3的控制下，将Fifo4读出的每个遥测数据复制若干次后，此若干次的确定原则是遥测数据的位宽经若干次复制以后拼接成目标像素的位宽数据，叠加在DVI视频图像第一行和第二行的前若干个像素输出。后端数据链在读出遥测数据时，可将提取出的目标像素位宽数据，拆分成得到原始遥测数据。

其中，Fifo4输入输出位宽跟遥测数据位宽保持一致；深度的设定原则是大于一帧遥测数据长度，同时小于FPGA中Fifo深度最大值。

进一步地，所述步骤S3还包括

步骤S31、生成DVI接口视频的同时，将遥测信息，通过GTP模块解码生成遥测数据data4，先输入异步先入先出队列Fifo4缓存，当 DVI视频场信号vs3有效，且视频行信号hs3有效，并且行计数r1<cnt_row3<r2，将Fifo4输出的数据Fifo_q4叠加在DVI图像前或后(r2-r1-1)行，完成遥测数据与图像数据的叠加，输出混和后的DVI 视频给后端的视频压缩模块，再经遥测无线链路传输到地面测控站。

进一步地，所述步骤S2中所述可见光视频电子变倍算法具体是：

当可见光视频场信号vs1＝1(即场有效)时，通过对可见光视频行信号hs1上升延计数，可得到可见光图像的行计数cnt_row1；当可见光图像行信号hs1＝1(即行有效)时，通过对时钟clk1计数，可得到图像的列计数cnt_col1；当图像行计数a1≤cnt_row1≤a2((a2-a1+1)即为电子变倍后的分辨率的垂直方向像素点数，一般取连续的中间行数),并且hs1＝1(即行有效)时，则将图像存入异步先入先出队列Wr_Fifo1中(如图2所示)，Wr_Fifo1缓存深度设置为d，入口宽度f10(bit)，出口宽度f11＝αf10，α取正数，最好正整数，α的取值原则是α倍时钟clk1的时钟速度要小于所选SRAM 的读写的最快时钟速度，且α＞1以减小读写SRAM的时延，当判断 Wr_Fifo1中可读图像数据量rdusedw1大于L3(电子变倍后的分辨率的水平方向像素点数)时，开始用α倍时钟clk1的时钟速度读 Wr_Fifo1；用插值法完成列分辨率的电子变倍，具体变倍方法是：根据电子变倍前后的图像的列计数cnt_col1确定分辨率电子变倍系数 c，c为正数，c若为正整数，则以顺次排列的c个数据为一组进行处理；c若不是整数，则以c的分母数量的数据为一组进行处理。将运算处理后的每个数据存入相应的SRAM或Fifo中缓存，完成列分辨率的电子变倍；本发明的一个实施例中，c＝3，当cnt_col1/c＝0时，直接将Wr_Fifo1输出图像数据data1存入SRAM，当cnt_col1/c＝1 时，将Wr_Fifo1输出图像数据缓存到Wr_Fifo1_q_buff变量，当 cnt_col1/c＝2时，将Wr_Fifo1输出图像数据Wr_Fifo1_q与 Wr_Fifo1_q_buf取均值后存入SRAM，完成列分辨率的电子变倍；最终完成图像列分辨率的电子变倍。

进一步地，所述步骤S2中所述可见光视频变帧频算法具体是：

将SRAM分成若干个相同容量的片区bank-0到bank-n，n为自然数，每个片区容量为W3×W3×ks(bit)，每个SRAM片区的容量由 SRAM的总容量和每帧图像分辨率大小确定，SRAM总容量除以每帧图像分辨率所得数值取整数，就是n的取值；当可见光视频通过异步先入先出队列Wr_Fifo1缓存后，当Wr_Fifo1可读数据容量rdusedw1大于L3时，将变倍后图像写入静态存储器SRAM第一个片区bank-0，每写入一个图像数据，SRAM的写地址add_wr加1；一帧可见光视频全部写入bank-0，即add_wr＝L3×W3/2后，开始顺序往SRAM的下一个片区bank-1中存入图像数据，等bank-1存满一帧图像数据后，开始往bank-2中存图像。……直到SRAM最后一个片区bank-n存满后，再往SRAM第一个片区bank-0存图像数据，循环往复；其中n 的取值最好为3；

当异步先入先出队列Rd_Fifo3中写入的图像数据容量wrusedw3 小于L3时，开始从SRAM的片区bank-2读图像并将读出的图像写入 Rd_Fifo3，Rd_Fifo3的容量为d，写入位宽为f30＝ks(bit)，读出位宽是f31＝kd(bit)(DVI接口图像一个像素点位宽是＝kd(bit))，写入时钟为θ1倍时钟clk1的时钟速度，θ1＝α，读写SRAM的速度最好保持一致，读出时钟为时钟clk3；每从SRAM读一个图像，SRAM 读地址add_rd加1，等当前片区所有图像都被读出即add_rd＝L3×W3/ ks/kl时，把读地址清零add_rd＝0，开始读下个片区，……直到开始读bank-n，读完bank-n后，开始读bank-0；循环往复；整个算法，实现可见光视频帧频从f1Hz到f3Hz的转换。

进一步地，所述步骤S2中还包括可见光视频色彩空间转换算法，异步先入先出队列Rd_Fifo3输出的16bit的可见光YCbCr接口的视频数据，经过计算转成24bit·RGB数据后，发送给DVI接口电路显示，转换算法具体如下∶

R＝Y+1.402*(Cr-128).

G＝Y-0.34414(Cb-128)-0.71414*(Cr-128)

B＝Y+1.772*(Cb-128)。

进一步地，所述步骤S3中所述红外图像电子变倍算法具体是：

当红外视频场信号vs2＝1(场有效)时，通过对红外视频行信号 hs2上升延计数，可得到红外图像的行计数cnt_row2；当红外视频行信号hs2＝1(行有效)时，通过对时钟clk2计数，可得到红外图像的列计数cnt_col2；当红外视频的hs2，vs2均有效时，将红外视频数据 data2同时写入并联的异步先入先出队列Wr_Fifo2.1和Wr_Fifo2.2；当Wr_Fifo2.1和Wr_Fifo2.2中可读图像数量大于L2时，开始用θ2 倍时钟clk2的时钟速度读Wr_Fifo2.1和Wr_Fifo2.2，θ2＝α，θ2倍时钟clk2的时钟速度要小于SRAM的最快读写速度，同时θ2＞1；Wr_Fifo2.1和Wr_Fifo2.2入口宽度f20(bit)＝kl，出口宽度f21＝f20＝kl (bit)，当红外视频行信号hs2＝1(场有效)并且红外视频场信号vs2＝1 (场有效)时，将Wr_Fifo2.1和Wr_Fifo2.2输出的数据分别缓存成 Wr_Fifo2.1_q_buf缓存变量和Wr_Fifo2.2_q_buf缓存变量，将 Wr_Fifo2.1和Wr_Fifo2.2输出的Wr_Fifo2.1_q数据和Wr_Fifo2.2_q数据，整个过程循环运行，完成红外图像电子变倍。

进一步地，所述步骤S3中所述红外图像变帧频算法具体是：

将经电子变倍算法处理后的红外数据以θ3倍时钟clk2的时钟速度写入SRAM的第一个片区bank-0中；每往SRAM写一个数据，SRAM 写地址add_wr2加1，等当前片区所有图像都写入即add_wr2＝L3× W3时，开始写下一个片区……当SRAM最后一个片区bank-n也写满后，开始从SRAM第一个片区bank-0存储图像；其中n的取值最好为3；

当异步先入先出队列Rd_Fifo3中可读图像数据容量小于L3并且 FPGA没有往静态存储器SRAM写数据时，开始从SRAM的bank-2片区读图像并且将读出的图像数据写入Rd_Fifo3；Rd_Fifo3容量d，写入时钟为θ4倍时钟clk1的时钟速度，读出时钟为时钟clk3，每从SRAM读出一个图像数据，SRAM读地址add_rd2加1，等当前片区所有图像都被读出即add_rd2＝L3×W3/4时，表明当前片区所有图像都被读出，将SRAM的读地址清零，add_rd＝0，开始读下一个片区bank-n；当add_rd2＝L3×W3/4，表明当前bank-n片区所有图像都被读出；开始读下个片区bank-0；其中n的取值最好为3；……循环执行；写、读SRAM所有过程循环执行，实现了变帧频，完成图像f2Hz到f3Hz 变帧算法；

其中θ3＝θ4，θ3倍时钟clk2的时钟速度小于SRAM读写最快速度，SRAM的读写速度最好保持一致。

本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明利用FPGA高可靠性、编程灵活性的特点，解决了光电传感器视频电气接口数据转换的问题；

2、可根据飞行时序，实现Camera link/LVDS视频接口到DVI接口的转换，通过变帧频技术和电子变倍技术，保证了视频的流畅和清晰；

3、在不影响视频观测的需求下，充分利用运载器上宝贵的硬件资源，减少了运载器上遥测传输电路的复杂度(原来的三根通讯电缆：遥测电缆、Camera link视频电缆和LVDS视频电缆变成了一根DVI 接口通讯电缆)，电气物理链路精简实现了节约资源的目的同时提高了系统鲁棒性、可靠性。

附图说明

图1为本发明的多格式视频接口转换装置的电路组成结构及数据流向图；

图2为Camera link转DVI数据流程图；

图3为LVDS转DVI数据流程图；

图4为光纤接口数据流程图；

图4a光纤接口遥测信息Dvi叠加数据流程图

图4b为叠加遥测信息DVI接口图像；

图5为实施例的接口转换流程图；

图6为另一个实施例的接口转换流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。

如图1所示，本发明提供了一种基于FPGA的多格式视频接口转换装置，包括：

依次连接的Camera link接口和Camera link视频解码器；Camera link接口就是Camera link视频解码器的信号输入端，从Camera link 接口输入Camera link视频图像数据，Camera link视频解码器对视频图像数据进行解码；Camera link解码器选用的是DS90CR286MTD；

依次连接的LVDS接口和LVDS视频解码器；LVDS接口就是LVDS 视频解码器的信号输入端，从LVDS接口输入LVDS视频图像数据，LVDS 视频解码器对视频图像数据进行解码；LVDS解码器选用的是 SN65LVDT386DGG和SN65LVDT390PW；

依次连接的DVI接口和DVI视频编码器；DVI接口就是DVI视频编码器的信号输出端，DVI视频编码器对视频图像数据进行编码后，通过DVI接口输出DVI视频图像数据；DVI视频编码器选用TFP410-EP；

依次连接的通讯接口及通讯模块；

FPGA数字处理电路以及SRAM存储器、FPGA配置电路、晶振电路、电源电路；所述FPGA选用的是XC7A200T-2FBG676I；SRAM静态存储器选用CY7C1645KV18-450BZXI；FPGA配置电路选用 N25Q128A11B1240E；

所述Camera link视频解码器、LVDS视频解码器、DVI视频编码器、SRAM存储器以及通讯电路同时与FPGA数字信号处理电路连接；

所述晶振电路输出端接入FPGA的全局时钟引脚，在FPGA程序的控制下生成或输出各时钟信号，包括时钟clk1、时钟clk2、时钟clk3 和时钟clk4。晶振电路选用的SG5032VAN-100MHz、CA32-C-B-24MHz 和CA32-C-B-27MHz，这三个晶振电路分别接在FPGA芯片不同的全局时钟引脚上，SG5032VAN-100MHz输入FPGA后，经过变频和倍频后，作为GTP模块的工作时钟clk4；CA32-C-B-24MHz输入FPGA后，经过变频和倍频后，作为DVI模块的工作时钟clk3；CA32-C-B-27MHz经过变频和倍频后，作为Camera link解码器工作时钟clk1和LVDS解码器的工作时钟clk2；

所述FPGA数字处理电路通过串行接口具体包括JTAG接口将程序固化在FPGA配置电路中；其中所述程序控制所有FIFO的写读，FIFO 是FPGA数字处理电路中的自有资源，所述FIFO包括Wr_Fifo1、 Rd_Fifo3、Fifo4、Wr_Fifo2.1和Wr_Fifo2.2；

所述电源电路为各电路供电。所述各电路包括FPGA数字处理电路以及SRAM存储器、FPGA配置电路、晶振电路、通讯电路、Camera link视频解码器、LVDS视频解码器、DVI视频编码器。

具体地，所述通讯接口为光纤接口，所述通讯模块为光模块，所述光纤接口通过光模块与所述FPGA数字处理电路的GTP IP核连接。所述光模块选用的HTS2302-FH-S001XX。

Camera link视频解码电路可将Camera link接口电平转成视频行信号hs1，场信号vs1，时钟信号clk1和数据data1等TTL电平信号输出给FPGA，LVDS视频解码电路可将LVDS接口电平转成视频行信号hs2，场信号vs2，时钟信号clk2和数据data2等TTL电平信号输出给FPGA，光纤信号通过光模块后，接入FPGA的GTP IP核，解码后输出clk4和data4给FPGA。按照VESA标准中DVI发生时序，FPGA 输出的视频行信号hs3，场信号vs3，时钟信号clk3和数据data3通过DVI视频编码器编码后生成DVI接口视频。

或者还可以在生成DVI接口视频的同时，将遥测信息，通过GTP 模块解码生成遥测数据data4，先输入异步先入先出队列Fifo4缓存，将Fifo4输出Fifo_q4叠加在DVI图像中，完成遥测数据与图像数据的叠加，输出给视频压缩模块，再经遥测无线链路传输到地面测控站。

如图5，本发明还提供了一种基于FPGA的多格式视频接口转换装置的多格式视频接口转换方法，包括以下步骤：

S1、通过通讯接口及通讯模块接收运载器飞行时序指令；

先通过异步先入先出队列Wr_Fifo1缓存，对可见光视频图像进行电子变倍算法，再通过对静态存储器SRAM进行读写控制，用异步 Rd_Fifo3把SRAM中数据缓存读出，实现可见光视频图像变帧频算法；

先通过两个异步先入先出队列Wr_Fifo2.1和Wr_Fifo2.2缓存，对红外视频进行电子变倍算法，再对SRAM进行读写控制，用异步先入先出队列Rd_Fifo3把SRAM中数据缓存读出，实现红外视频图像变帧频算法；

其中，步骤S2和步骤S3顺序根据实际情况可以互换。根据运载器飞行时序对输入视频的要求，是可见光视频或者是红外视频。

具体地，所述步骤S1中的通讯接口及通讯模块具体为光纤接口及光模块，所述光纤接口通过光模块与所述FPGA数字处理电路的 GTP(吉比特收发器)IP核连接，所述接收运载器飞行时序指令通过 GTP模块解码生成时钟clk4和data4给FPGA，完成指令数据的解析。

如图4所示，所述步骤S2还可以包括

步骤S21、生成DVI接口视频的同时，将遥测信息，通过GTP模块解码生成遥测数据data4，先输入异步先入先出队列Fifo4缓存，当 DVI视频场信号vs3有效，且视频行信号hs3有效，并且行计数 r1<cnt_row3<r2，将Fifo4输出Fifo_q4叠加在DVI图像前2行 (r2-r1-1＝2)，完成遥测数据与图像数据的叠加，输出给视频压缩模块，再经遥测无线链路传输到地面测控站。

其中r1＝0，r2＝3；r1和r2取值的原则是第一不影响观察图像，第二r2-r1-1＝y，y行的字节数可以实时传完一帧遥测数据即可；一般

1帧图像的前2、3行或最后2、3行都可以。本实施例中步骤S2 完成图像分辨率从1920×1080到分辨率1280×1024的电子变倍后，一帧图像一行有1280个像素点，本实施例的一帧遥测数据有2048 个像素点的数据，需要2行×1280＝2560个像素点>2048个像素点的数据，所以要叠加在DVI图像前2行。另一个实施例中叠加在DVI图像最后2行。

所述步骤S3还可以包括

如图4和图4a，步骤S31、生成DVI接口视频的同时，将遥测信息，通过GTP模块解码生成遥测数据data4，先输入异步先入先出队列Fifo4缓存，当DVI视频场信号vs3有效，且视频行信号hs3有效，并且行计数r1<cnt_row3<r2，将Fifo4输出的数据Fifo_q4叠加在DVI 图像前2行(r2-r1-1＝2)，完成遥测数据与图像数据的叠加，输出混和后的DVI视频给后端的视频压缩模块，再经遥测无线链路传输到地面测控站。

具体地，在本实施例中，光纤接口中运载器上的遥测信息是判断运载器飞行事件成功与否和故障分析的重要信息。光纤接口上的运载器遥测信息分为两种，一种是诸如运载器温度、发动机室压，控制器电压、电流、运载器所处经纬高、加速度、角速度和控制系统指令等缓变物理量(对应缓变帧)，发送频率60Hz，协议规定缓变量消息长度为1888字节；第二种是诸如运载器级间分离或者星箭分离时刻的振动传感器、冲击传感器采集的振动量或者冲击量等速变量(对应速变帧)，发送频率1.2KHz，协议规定每帧速变量长度为20字节。这些遥测信息经光模块解码后生成的电信号通过GTP模块解码生成 clk4和data4给FPGA，完成指令数据的解析。

如图4b，光纤接口数据叠加方法为：

根据协议约定，遥测信息有速变帧和缓变帧两种，缓变帧的帧频为60Hz，速变帧的帧频1.2KHz。

两种遥测信息帧类型不同，若FPGA检测到帧类型字节为EA，判定当前帧为缓变帧，则将缓变帧直接缓存在一个入口位宽8bit，出口位宽8bit，深度4096的异步先入先出队列Fifo4中，写入时钟为clk4，读出时钟为DVI的发生时钟clk3；若FPGA检测到帧类型字节为EB，判定当前帧为速变帧，则将当前速变帧缓存在寄存器Reg_buff_中(FPGA中的自有资源)，缓存一次，地址Reg_cnt加1，若缓存了 20帧，即Reg_cnt＝20，则将速变帧存入Fifo4中，完成了速变帧1.2KHz 到60Hz的转换。这样，就将缓变帧和速变帧按照每帧2048字节，60Hz 的速度写入Fifo4。

若未检测到速变帧，则在缓变帧到来时，用120字节的"00"代替速变帧，和缓变帧一起组成2048的字节帧，写入Fifo4。在DVI场信号vs3，行信号hs3都有效，并且图像处在前两行时，在DVI图像时钟clk3的控制下，将Fifo4读出的每个遥测数据复制两次后，拼接成24bit数据，叠加在DVI视频图像第一行和第二行的前768 (2048-1280＝768)个像素输出。等效为将每帧遥测数据复制三次叠加在图像第一行和第二行的前768个像素点输出。后端数据链在读出遥测数据时，可将提取出的24bit数据，拆分成三个8bit数据，除以3得到原始遥测数据。通过复制两次叠加传输，可减小遥测数据传输的误码率。

DVI当前所选分辨率一帧图像共1024行，每行1280个像素点；一帧遥测数据有2048个字节，第一行叠加1280个字节，第二行只能叠加2048-1280＝768字节。

如图2所示，所述步骤S2中所述可见光视频电子变倍算法具体是：

本实施例中Camera link可见光视频图像为1920×1080@30Hz、 16bit的格式视频图像，其分辨率L1×W1＝1920×1080；电子变倍变频后的DVI接口视频图像为1280×1024@60Hz、24bit的格式视频，其分辨率L3×W3＝1280×1024；

Camera link视频图像数据通过Camera link接口输入Camera link视频解码器，Camera link视频解码器对视频图像数据进行解码，解码后生成包括视频行信号hs1，视频场信号vs1，时钟clk1和可见光图像数据data1等TTL信号；

当可见光视频场信号vs1＝1(场有效)时，通过对可见光视频行信号hs1上升延计数，可得到可见光图像的行计数cnt_row1；当可见光图像行信号hs1＝1(行有效)时，通过对时钟clk1计数，可得到图像的列计数cnt_col1；当图像行计数a1≤cnt_row1≤a2，a1＝28，a2＝1051，a2-a1+1＝1024即电子变倍后的分辨率的垂直方向像素点数 (一帧图像行数)，一般取连续的中间行数，取1080行的中间1024 行；从1080行变到1024行，掐头去尾，本实施例从28行开始去掉，正好取最中间的行数；另一个实施例从29行开始去掉；并且hs1＝1 (行有效)时，则将图像存入异步先入先出队列Wr_Fifo1中(如图 2所示)，完成分辨率行的电子变倍，Wr_Fifo1缓存深度设置为d， d容量设计的大些，缓存的DVI图像多些，本实施例d＝8192，入口宽度f10＝16bit，本实施例针对视频源来设计的，当前先用的视频源是 YCbCr制式的Camera link接口的摄像头,每个像素点位宽为16bit；出口宽度f11＝αf10＝32bit，α＝2，为正整数，且α＞1以减小读写 SRAM的时延，用2倍位宽和2倍读写时钟读取，高速读写SRAM，降低视频接口转换的延时,用带宽换时间；另一个实施例中，如果从 1080行变到512行，用插值法进行分辨率行的电子变倍，具体可以每两行图像取均值缩成一行；当判断Wr_Fifo1中可读图像数据量 rdusedw1大于L3＝1280(电子变倍后的目标分辨率的水平方向像素点数(一帧图像列数)，即DVI视频接口一行像素点数)时，开始用2 倍时钟clk1的时钟速度读Wr_Fifo1(用2倍位宽和2倍读写时钟读取，高速读写SRAM，降低视频接口转换的延时,用带宽换时间)；用插值算法进行插值，具体是：当cnt_col1/c＝0时，c＝3，c为分辨率电子变倍系数，根据电子变倍前后的图像的列计数cnt_col1而取值，目的是电子变倍为目标分辨率的L3＝1280，直接将Wr_Fifo1输出图像数据data1存入SRAM，当cnt_col1/c＝1时，将Wr_Fifo1输出图像数据缓存到Wr_Fifo1_q_buff变量，当cnt_col1/c＝2时，将 Wr_Fifo1输出图像数据Wr_Fifo1_q与Wr_Fifo1_q_buf变量取均值后存入SRAM；完成图像分辨率从1920×1080到分辨率1280×1024 的电子变倍。其中，c的取值原则是插值后的图像清晰度满足要求，本实施例c＝3，即将一行像数点的列计数值除以3的余值从头依次按 0、1、2三种状态进行处理例如，第6个点的状态就是按照 cnt_col1/3＝0的状态进行处理；第7个点的状态就是cnt_col1/3＝1 的状态进行处理；第8个点的状态就是cnt_col1/3＝2的状态进行处理；

所述步骤S2中所述可见光视频变帧频算法具体是：

本实施例中将SRAM分成若干个相同容量的片区bank-0～bank-n， n为自然数，n通常最少取值为3，即片区最少分成三个，一般取四个，每片区容量小于SRAM最大容量率，n大于2的原因在于为了使每次读图像时，所读片区已经写完一幅图像；本实施例为四个，分成五个数据延时较大；往第三个片区存图像的时候，开始读第一个片区缓存好的图像；往第四个片区存图像的时候，开始读第二个片区缓存好的图像，依次类推……保证每次从片区取图像时都读取的是完整的一帧图像。每个片区容量为1024×1024×ks＝1048576×32bit，ks＝32bit是由选用的SRAM的数据位宽ks决定；选用的SRAM的存储容量是4M×32bit，平均分成四个片区，每个片区容量为1M×1M× 32bit；当可见光视频通过异步先入先出队列Wr_Fifo1完成电子变倍后，当Wr_Fifo1可读数据容量rdusedw1大于L3＝1280时，将变倍后图像写入静态存储器SRAM第一个片区bank-0，每写入一个图像数据， SRAM的写地址add_wr加1；一帧视频全部写入bank-0，即add_wr＝ (1280×1024)/2＝655360后，开始顺序往SRAM的下一个片区 bank-1、bank-2中存图像数据，直到到SRAM最后一个片区bank-3 存满后，再往SRAM第一个片区bank-0存图像数据，循环往复；其中，add_wr＝(1280×1024)/2＝655360地址数的计算方法为：camera link接口输入的每个像素点数据位是16bit，存入SRAM的图像为 32bit，位宽变大2倍，因此总地址数缩为1/2。

当异步先入先出队列Rd_Fifo3中写入的图像数据容量wrusedw3 小于L3＝1280时，开始从SRAM的片区bank-2读图像并将图像写入 Rd_Fifo3，Rd_Fifo3的容量8192，容量即缓存深度设置为d＝8192，一行DVI图像是1280，RD_Fifo3容量设计大些，缓存的DVI图像多，避免FIFO读空；写入位宽为32bit等于SRAM中贮存图像每个像素点数据位宽ks，读出位宽是f31＝24bit等于DVI接口图像一个像素点位宽 kd，写入时钟为2倍时钟clk1的时钟速度，读出时钟为时钟clk3；每从SRAM读一个图像，SRAM读地址add_rd加1，等当前片区所有图像都被读出即add_rd＝(1280×1024)/2＝655360时，把读地址清零 add_rd＝0，开始读下个片区bank-3，读完bank-3后，开始读bank-0；循环往复；整个算法，实现可见光视频帧频从30Hz到60Hz的转换。其中，add_rd＝(1280×1024)/2＝655360地址数的计算方法为：cameralink接口输入的每个像素点数据位宽是kc＝16bit，存入SRAM的图像每个像素点数据位宽是ks＝32bit，位宽变大2倍，因此总地址数缩为 1/2。

如图6，另一实施例中，所述步骤S2中还包括可见光视频色彩空间转换算法，异步先入先出队列Rd_Fifo3输出的16bit的可见光 YCbCr接口的视频数据，经过计算转成24bit·RGB数据后，发送给 DVI接口电路显示，转换算法具体如下∶

R＝Y+1.402*(Cr-128).

G＝Y-0.34414(Cb-128)-0.71414*(Cr-128)

B＝Y+1.772*(Cb-128)。

如图3所示，所述步骤S3中所述红外图像电子变倍算法具体是：

本实施例中LVDS红外视频图像为640×512@30Hz、8bit的格式视频图像，其分辨率L2×W2＝640×512；电子变倍变频后的DVI接口视频图像为1280×1024@60Hz、24bit的格式视频，其分辨率L3× W3＝1280×1024；

LVDS视频图像数据通过LVDS接口输入LVDS视频解码器，LVDS 视频解码器对视频图像数据进行解码；解码电路后生成包括视频行信号hs2，视频场信号vs2，时钟clk2和图像数据data2的TTL信号；当红外视频场信号vs2＝1(场有效)时，通过对红外视频行信号hs2上升延计数，可得到红外图像的行计数cnt_row2；当红外视频行信号 hs2＝1(行有效)时，通过对时钟clk2计数，可得到红外图像的列计数cnt_col2；当红外视频的hs2，vs2均有效时，将红外视频数据data2 同时写入异步先入先出队列Wr_Fifo2.1和Wr_Fifo2.2；当Wr_Fifo2.1 和Wr_Fifo2.2中可读图像数量大于640时，开始用2倍时钟clk2的时钟速度读Wr_Fifo2.1和Wr_Fifo2.2，；Wr_Fifo2.1和Wr_Fifo2.2入口宽度f20＝8bit，8bit由输入的红外视频源决定，出口宽度f21＝8bit，红外视频水平和垂直方向要放大2倍后640×512才能变成1280× 1024，每一个fifo的出口位宽是8bit，2个fifo的出口数据拼接起来就成16bit，所以并联两个Fifo增加位宽2倍变为16bit；当红外视频行信号hs2＝1(场有效)并且红外视频场信号vs2＝1(场有效)时，将Wr_Fifo2.1和Wr_Fifo2.2输出的数据分别缓存成Wr_Fifo2.1_q_buf 缓存变量和Wr_Fifo2.2_q_buf缓存变量，将Wr_Fifo2.1和Wr_Fifo2.2 中缓存的红外图像数据读出，分别生成Wr_Fifo2.1_q数据和 Wr_Fifo2.2_q数据，同时将输出的数据分别缓存成Wr_Fifo2.1_q_buf 缓存变量和Wr_Fifo2.2_q_buf缓存变量，合并Wr_Fifo2.1_q和 Wr_Fifo2.2_q，Wr_Fifo2.1_q_buf，Wr_Fifo2.2_q_buf后的数据位宽是32bit。即拼接成8bit×4＝32bit数据，整个过程循环往复，完成红外图像电子变倍。

所述步骤S3中所述红外图像变帧频算法具体是：

将电子变倍后的红外图像数据以2倍时钟clk2的时钟速度写入 SRAM的第一个片区bank-0中；每往SRAM写一个数据，SRAM写地址add_wr2加1，等当前片区所有图像都写入即add_wr2＝(1280× 1024)/4＝327680时开始写下一个片区……当SRAM最后一个片区bank-3也写满后，开始从SRAM第一个片区bank-0存储图像；其中， add_wr2＝(1280×1024)/4＝327680地址数的计算方法为：LVDS输入的每个像素点数据位宽是kl＝8bit，存入SRAM的图像每个像素点数据位宽是ks＝32bit，位宽变大4倍，因此总地址数缩为1/4。

当异步先入先出队列Rd_Fifo3中可读图像数据容量小于L3＝1280 并且FPGA没有往静态存储器SRAM写数据时，bank-2肯定已写满一整帧图像，但bank-1和bank-3可能已写完一整帧图像也可能未写完一整帧图像，所以开始从SRAM的bank-2片区读图像并且将读出的图像数据写入Rd_Fifo3；Rd_Fifo3容量8192(设计8192是为了多缓存几行DVI图像，用于数据缓存和输出，避免Rd_fifo3读空)时，写入时钟为2倍时钟clk1的时钟速度，读出时钟为时钟clk3，每从SRAM 读出一个图像数据，SRAM读地址add_rd2加1，等当前片区所有图像都被读出即add_rd2＝1280×1024/4＝327680时，表明当前片区所有图像都被读出，将SRAM的读地址清零，add_rd＝0，开始读下一个片区bank-3；当add_rd2＝1280×1024/4＝327680，表明当前bank-3片区所有图像都被读出；开始读下个片区，开始读bank-0；……循环执行；所选DVI帧频是红外帧频的2倍，存在SRAM中每帧红外图像，会在DVI的vs，hs和时钟控制下，会被读2次；写、读SRAM所有过程循环执行，实现了变帧频，完成图像30Hz到60Hz变帧算法。其中， add_rd2＝1280×1024/4＝327680地址数的计算方法为：存贮在SRAM 的每个片区的红外图像一帧总数量为640×512，每个红外像素点水平和垂直方向放大2倍，才拼接成1280×1024＝640×2×512×2的 DVI图像，位宽变大2×2＝4倍，因此总地址数缩为1/4。

如图6，另一实施例中，所述步骤S3中还包括红外图像色彩空间转换算法，DVI视频一共有RGB三个通道，DVI视频每像素点的 23～16位对应的是R通道的8位数据，DVI视频每像素点的15～8位对应的是G通道的8位数据，DVI视频每像素点的7～0位对应的是B通道的8位数据；把红外图像每个像素点的8bit灰度数据，分别填充在 DVI接口视频的R G B的三个通道上。实现灰度数据到DVI接口RGB 色彩空间的转换。红外视频源是黑白图像，RGB三个通道数值相同的话，输出的DVI图像就是黑白图像。

Claims

1.一种基于FPGA的多格式视频接口转换装置，其特征在于包括：

依次连接的Camera link接口和Camera link视频解码器；

依次连接的LVDS接口和LVDS视频解码器；

依次连接的DVI接口和DVI视频编码器；

依次连接的通讯接口及通讯模块；

所述电源电路为各电路供电。

2.根据权利要求1的多格式视频接口转换装置，其特征在于所述通讯接口为光纤接口，所述通讯模块为光模块，所述光纤接口通过光模块与所述FPGA数字处理电路的GTP IP核的物理引脚连接。

3.一种基于FPGA的多格式视频接口转换装置的多格式视频接口转换方法，其特征在于包括以下步骤：

S1、通过通讯接口及通讯模块接收运载器飞行时序指令；

S2、当运载器飞行时序指令要求将可见光视频转换成DVI接口数据时，可见光视频经Camera link解码电路解码后生成包括视频行信号hs1，视频场信号vs1，时钟clk1和可见光图像数据data1的TTL信号输出给FPGA；

先通过异步先入先出队列Wr_Fifo1缓存，对可见光视频图像进行电子变倍算法，再通过对静态存储器SRAM进行读写控制，用异步先入先出队列Rd_Fifo3把SRAM中数据缓存读出，实现可见光视频图像变帧频算法；

先通过两个异步先入先出队列Wr_Fifo2.1和Wr_Fifo2.2缓存，对红外视频进行电子变倍算法，再对SRAM进行读写控制，用异步Rd_Fifo3把SRAM中数据缓存读出，实现红外视频图像变帧频算法；

其中，步骤S2和步骤S3顺序根据实际情况可以互换。

4.根据权利要求3的多格式视频接口转换方法，其特征在于所述步骤S1中的通讯接口及通讯模块具体为光纤接口及光模块，所述光纤接口通过光模块与所述FPGA数字处理电路的GTP IP核的物理引脚连接，所述通讯接口接收的运载器飞行时序指令通过GTP模块解码生成时钟clk4和data4给FPGA，完成指令数据的解析。

5.根据权利要求4的多格式视频接口转换方法，其特征在于所述步骤S2还包括

步骤S21、生成DVI接口视频的同时，将通讯接口接收的遥测信息，通过GTP模块解码生成遥测数据data4，先通过异步先入先出队列Fifo4缓存，当DVI视频场信号vs3有效，且视频行信号hs3有效，并且行计数r1<cnt_row3<r2，将Fifo4的输出数据Fifo_q4叠加在DVI图像前或后(r2-r1-1)行，完成遥测数据与图像数据的叠加，输出混合后的DVI视频图像。

6.根据权利要求4的多格式视频接口转换方法，其特征在于所述步骤S3还包括

步骤S31、生成DVI接口视频的同时，将通讯接口接收的遥测信息，通过GTP模块解码后生成遥测数据data4，先通过异步先入先出队列Fifo4缓存，当DVI视频场信号vs3有效，且视频行信号hs3有效，并且行计数r1<cnt_row3<r2，将Fifo4输出Fifo_q4叠加在DVI图像前或后(r2-r1-1)行，完成遥测数据与图像数据的叠加，输出混合后的DVI视频图像。

7.根据权利要求3的多格式视频接口转换方法，其特征在于所述步骤S2中所述可见光视频电子变倍算法具体是：

Cameralink可见光视频图像为L1×W1@f1Hz、kc(bit)的格式视频图像，其分辨率L1×W1，频率f1；电子变倍变频后的DVI接口视频图像为L3×W3@f3Hz、kd(bit)的格式视频，其分辨率L3×W3，频率f3；其中f1＜f3；

当可见光视频场信号vs1＝1时，通过对可见光视频行信号hs1上升延计数，可得到可见光图像的行计数cnt_row1；当可见光图像行信号hs1＝1时，通过对时钟clk1计数，可得到图像的列计数cnt_col1；当图像行计数a1<cnt_row1<a2，并且hs1＝1时，通过将图像经异步先入先出队列Wr_Fifo1缓存，完成图像分辨率行的电子变倍，或者用插值法进行图像分辨率行的电子变倍；Wr_Fifo1缓存深度设置为d，入口宽度f10，出口宽度f11＝αf10，α取正数，且α＞1，当判断Wr_Fifo1中可读图像数据量rdusedw1大于电子变倍后的目标视频分辨率的水平方向像素点数即一帧图像列数L3时，开始用α倍时钟clk1的时钟速度读Wr_Fifo1；用插值法完成列分辨率的电子变倍，具体变倍方法是：根据电子变倍前后的图像的列计数cnt_col1确定分辨率电子变倍系数c，c为正整数，根据系数c将图像进行线性插值处理后，存入相应的SRAM或Fifo中缓存，完成分辨率列的电子变倍；最终完成图像分辨率的电子变倍。

8.根据权利要求7的多格式视频接口转换方法，其特征在于所述步骤S2中所述可见光视频变帧频算法具体是：

将SRAM分成若干个相同容量的片区bank-0-bank-n，n为自然数，每个SRAM片区的容量由SRAM的总容量和每帧图像分辨率大小确定；当可见光视频通过异步先入先出队列Wr_Fifo1缓存后，当Wr_Fifo1可读数据容量rdusedw1大于L3时，将变倍后图像写入静态存储器SRAM第一个片区bank-0，每写入一个图像数据，SRAM的写地址add_wr加1；一帧可见光视频全部写入bank-0后，开始顺序往SRAM的下一个片区bank-1存入图像数据……直到SRAM最后一个片区bank-n存满后，再往SRAM第一个片区bank-0存图像数据，循环往复；

当异步先入先出队列Rd_Fifo3中写入的图像数据容量wrusedw3小于L3时，开始从SRAM的片区bank-2读图像并将读出的图像写入Rd_Fifo3，Rd_Fifo3的容量d，写入位宽为f30＝ks，读出位宽是f31＝kd，写入时钟为θ1倍时钟clk1的时钟速度，θ1取正数，最好正整数，读出时钟为时钟clk3；每从SRAM读一个图像，SRAM读地址add_rd加1，等当前片区所有图像都被读出时，把读地址清零add_rd＝0，开始读下个片区，……读完bank-n后，开始读bank-0；循环往复，整个算法，实现可见光视频帧频从f1Hz到f3Hz的转换。

9.根据权利要求3的多格式视频接口转换方法，其特征在于所述步骤S3中所述红外图像电子变倍算法具体是：

LVDS红外视频图像为L2×W2@f2Hz、kl(bit)的格式视频图像，其分辨率L2×W2，频率f2；电子变倍变频后的DVI接口视频图像为L3×W3@f3Hz、kd(bit)的格式视频，其分辨率L3×W3，频率f3；其中f2＜f3；

当红外视频场信号vs2＝1时，通过对红外视频行信号hs2上升延计数，可得到红外图像的行计数cnt_row2；当红外视频行信号hs2＝1时，通过对时钟clk2计数，可得到红外图像的列计数cnt_col2；当红外视频的hs2，vs2均有效时，将红外视频数据data2同时写入异步先入先出队列Wr_Fifo2.1和Wr_Fifo2.2；当Wr_Fifo2.1和Wr_Fifo2.2中可读图像数量大于L2时，开始用θ2倍时钟clk2的时钟速度读Wr_Fifo2.1和Wr_Fifo2.2；Wr_Fifo2.1和Wr_Fifo2.2入口宽度f20＝kl，出口宽度f21＝kl，当红外视频行信号hs2＝1并且红外视频场信号vs2＝1时，将Wr_Fifo2.1和Wr_Fifo2.2中缓存的红外图像数据读出，分别生成Wr_Fifo2.1_q数据和Wr_Fifo2.2_q数据，同时将输出的数据分别缓存成Wr_Fifo2.1_q_buf缓存变量和Wr_Fifo2.2_q_buf缓存变量，整个过程循环往复，完成红外图像电子变倍。

10.根据权利要求9的多格式视频接口转换方法，其特征在于所述步骤S3中所述红外图像变帧频算法具体是：

将电子变倍后的红外图像数据以θ3倍时钟clk2的时钟速度写入SRAM的第一个片区bank-0中；每往SRAM写一个数据，SRAM写地址add_wr2加1，等当前片区所有图像都写入时，开始写下一个片区……当SRAM最后一个片区bank-n也写满后，开始往SRAM第一个片区bank-0存储图像；

当异步先入先出队列Rd_Fifo3中可读图像数据容量小于L3并且FPGA没有往静态存储器SRAM写数据时，开始从SRAM的bank-2片区读图像并且将读出的图像数据写入Rd_Fifo3；Rd_Fifo3容量d，写入时钟为θ4倍时钟clk1的时钟速度，读出时钟为时钟clk3，每从SRAM读出一个图像数据，SRAM读地址add_rd2加1，等当前片区所有图像都被读出时，表明当前片区所有图像都被读出，将SRAM的读地址清零，add_rd＝0，开始读下一个片区；当最后一个bank-n片区所有图像都被读出后，开始读bank-0；……循环执行；完成图像f2Hz到f3Hz的变帧频算法。