CN110855996A - 一种基于fpga的图像编解码与网络传输的方法与装置 - Google Patents

Abstract

本发明公开了一种基于FPGA的图像编解码与网络传输的方法与装置。FPGA分别在编、解码端上位机的配置指令下，实现对JPEG2000编解码芯片、网络通信芯片等的配置和控制。编码端接收视频图像，将其转换为数字格式，由JPEG2000编码芯片对采集到的视频图像进行编码。编码芯片输出的编码数据经缓冲后，被送入以网络通信芯片，以生成网络数据报文并发送至以太网。解码端通过读取网络通信芯片的网络数据报文，实现以太网上视频图像数据的接收。解码端将网络报文数据缓冲后送入JPEG2000解码芯片进行图像解码，而后还原并显示视频图像。本发明充分发挥了每个部分的功能，满足视频图像编解码的实时性及网络传输的要求。

Description

一种基于FPGA的图像编解码与网络传输的方法与装置

技术领域

本发明涉及视频图像编解码的系统设计技术领域，以及数据的网络传输领域。

背景技术

JPEG2000作为JPEG的后继者，与传统的基于离散余弦变换的JPEG标准不同，JPEG2000基于离散小波变换，采用最优截断功能的嵌入式编码技术 EBCOT获得先进的压缩性能。

实现JPEG2000图像解码的硬件方案中，总的来说主要有基于FPGA进行的硬件算法实现、基于DSP处理器的系统实现以及采用专用集成电路实现这几种方式。其中基于FPGA平台的硬件实现方式虽然可以加快处理速度，但是算法的数字电路设计实现也具有很高的难度，设计较为复杂并且工作量极大。基于 DSP处理器的实现方式运算量比较大，由于其处理的串行性，对于编解码实时性的实现带来了很大的难度，处理效果不尽理想，容易出错；该实现方式一般只用于JPEG2000编解码处理的核心部分的实现，不是对整个过程实现。而采用专用集成电路实现则可以相对很好地解决上述问题，通过将编解码算法采用数字电路设计的硬件方式实现并流片，充分利用硬件的特点来提高算法的速度并且具有解码效率高、图像质量好等优点，同时可以在硬件系统中以满足其时序要求的情况下方便地使用。

现代视频编图像解码的应用领域中，越来越多的现场编解码设备需要扩展网络功能以实现远程控制和数据传输。以太网以其成本低、易于集成和传输距离较远等方面的优势得到了广泛应用。要实现以太网接口的关键是如何实现复杂的TCP/IP协议栈，目前总共有以下几种方案。

程序员利用网络编程语言在装有操作系统和网卡驱动程序的计算机上编程，是可以实现网络协议的。这方案简单、灵活，但是不满足系统小型化、低功耗的要求。而且在极端恶劣的环境下，系统会出现死机等现象，可靠性差。

现在市场上许多主流的微处理器、DSP、FPGA都集成了MAC控制器，通过MAC来驱动PHY芯片。这种方案适合用于产品功能复杂的应用环境，但设计人员必须了解复杂的网络传输协议并通过软件来实现，这样将延长产品的开发周期，并占用大量的系统资源。

目前韩国某公司推出了多款集成度非常高的以太网通信芯片，它们不仅集成了MAC、PHY，还增加了固件通信协议支持，包括：TCP、UDP、ICMP、 ARP及IGMP等。它们可以支持10M/100M以太网数据通信，但不支持1000M 以太网。单片机、FPGA等处理器不需要实现复杂的通信协议通过寄存器配置和直接访问这类芯片就可以实现以太网通信。使用硬件协议栈以太网芯片的另一个好处就是降低了对主处理器的依赖即降低了硬件复杂度。

现场可编程门阵列(Field-Programmable Gate Array，以下简称FPGA)，是半定制电路的一种，具有很高的灵活性，同时具有非常丰富的逻辑门电路，因此可扩展性很高。在一片FPGA中可以实现多片小规模电路芯片构成的电路功能，可以节省电路板的空间，提高系统可靠性。FPGA开发者可以通过软件编程，实现对该硬件的结构和工作方式进行重构。FPGA的可编程性使得在设计原型上的任何修改都非常容易并且快速的实现。与单片机、DSP等芯片相比，FPGA传输速度更快，时间控制精度更高，多兼容性接口，能够更快对系统做出响应，且在并行处理上的具有天然优势；与CPLD相比，FPGA更适合完成时序逻辑。

发明内容

本发明提供了一种基于FPGA的图像编解码与网络传输的方法与装置，能够满足视频图像编解码的实时性及网络传输的要求。

为了达到此目的，本发明采用以下技术方案：

根据本发明的第一方面的一种基于FPGA的图像编解码与网络传输的方法，其特征在于，包括以下步骤：

S1、指令获取：获取用户通过上位机发送的配置指令；

S2、编解码配置：对编码端和解码端的JPEG2000编解码芯片进行初始化以及对视频A/D芯片、视频D/A芯片进行初始化；

S3、网络通信配置：对编码端和解码端的网络通信芯片进行初始化；

S4、视频图像采集及编码：将PAL制式视频进行转换，输出标准格式的数字化视频图像数据；对采集到的视频图像数据进行JPEG2000编码；

S5、数据发送：从JPEG2000编码芯片获取编码后的视频图像数据，缓存后发送到编码端网络通信芯片，进而按照TCP/IP协议将编码后的视频图像数据发送至以太网；

S6、数据接收：通过以太网按照TCP/IP协议接收网络数据报文，从解码端网络通信芯片获取编码后的视频图像数据，缓存后发送给JPEG2000解码芯片；

S7、视频图像解码及还原：完成JPEG2000编码格式的视频图像数据的解码，通过视频D/A芯片将解码后的数字视频图像还原为PAL制式，并连接显示设备复现视频图像。

在上述方面中，所述方法还包括在编码端FPGA内部构建通信与控制流程，具体步骤为：

1)通过访问编码端的串口控制芯片，读取用户通过编码端上位机串口发送的配置指令，获取JPEG2000编码芯片、编码端网络通信芯片、视频A/D芯片的配置参数；

2)连接JPEG2000编码芯片的数据总线和地址总线，内部产生时序控制电路控制JPEG2000编码芯片的片选信号、读使能信号、写使能信号的输出，实现对JPEG2000编码芯片的配置；连接视频A/D芯片的I²C接口，内部模拟I²C接口主控端实现视频A/D芯片的配置；

3)连接编码端网络通信芯片的数据总线和地址总线，内部产生时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出，实现对编码端网络通信芯片的配置；

4)按照步骤2)所述控制方法，读取JPEG2000编码芯片输出的编码数据；

5)构建视频图像编码到网络发送的数据通道，并在通道上设置缓冲区用于缓存编码数据，并对该数据进行数据格式转换；按照步骤3)所述控制方法，将编码数据写入编码端网络通信芯片，以实现网络数据发送。

在上述方面中，所述方法还包括在解码端FPGA内部构建通信与控制流程，具体步骤为：

1)通过访问解码端的串口控制芯片，读取用户通过解码端上位机串口发送的配置指令，获取JPEG2000解码芯片、解码端网络通信芯片、视频D/A芯片的配置参数；

2)连接JPEG2000解码芯片的数据总线和地址总线，内部产生时序控制电路控制JPEG2000解码芯片的片选信号、读使能信号、写使能信号的输出，实现对JPEG2000解码芯片的配置；连接视频D/A芯片的I²C接口，内部模拟I²C接口主控端实现视频D/A芯片的配置；

3)连接解码端网络通信芯片的数据总线和地址总线，内部产生时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出，实现对解码端网络通信芯片的配置；

4)按照步骤3)所述控制方法，从解码端网络通信芯片读取网络报文数据，以实现网络数据接收；构建网络接收到解码视频图像的数据通道，并在通道上设置缓冲区用于缓存网络报文数据，并对该数据进行数据格式转换；

5)按照步骤2)所述控制方法，将网络报文数据写入JPEG2000解码芯片，为解码芯片提供数据输入。

根据本发明的第二方面的一种基于FPGA的图像编解码与网络传输的装置，其特征在于，包括：

1)指令获取模块：用于获取用户通过上位机发送的配置指令；

2)编解码配置模块：用于对编码端和解码端的JPEG2000编解码芯片进行初始化以及对视频A/D芯片、视频D/A芯片进行初始化；

3)网络通信配置模块：用于对编码端和解码端网络通信芯片进行初始化；

4)视频图像采集及编码模块：用于将PAL制式视频进行转换，输出标准格式的数字化视频图像数据；对采集到的视频图像数据进行JPEG2000编码；

5)数据发送模块：用于从JPEG2000编码芯片获取编码后的视频图像数据，缓存后发送到编码端网络通信芯片，进而按照TCP/IP协议将编码后的视频图像数据发送至以太网；

6)数据接收模块：用于通过以太网按照TCP/IP协议接收网络数据报文，从解码端网络通信芯片获取编码后的视频图像数据，缓存后发送给JPEG2000解码芯片；

7)视频图像解码及还原模块：用于完成JPEG2000编码格式的视频图像数据的解码，通过视频D/A芯片将解码后的数字视频图像还原为PAL制式，并连接显示设备复现视频图像。

在上述方面中，所述模块1)、2)、3)、5)、6)的特点在于：

1)所述各个模块均基于FPGA控制；

2)编码端板卡上包含所述模块1)、2)、3)、5)，解码端板卡上包含所述模块1)、2)、3)、6)，用户通过加载编码端FPGA固件来实现编码端用户配置指令的获取、JPEG2000编码芯片初始化、编码端网络通信芯片初始化、从JPEG2000 编码芯片获取编码数据、编码数据缓冲、编码数据发送的编码端功能，用户通过加载解码端FPGA固件来实现解码端用户配置指令的获取、JPEG2000解码芯片初始化、解码端网络通信芯片初始化、网络报文数据获取与缓冲后发送至 JPEG2000解码芯片的解码端功能。

在上述方面中，所述模块4)、7)的特点在于：

1)所述模块4)和7)基于相同型号的JPEG2000编解码芯片；

2)编码端板卡上包含所述模块4)，解码端板卡上包含所述模块7)，用户经由FPGA加载JPEG2000编码芯片固件或JPEG2000解码芯片固件来实现视频图像的编码或解码。

在上述方面中，所述装置包括编码端FPGA，具体包括：

1)编码及网络发送构建模块：用于构建由编码控制单元、编码缓冲单元和网络发送控制单元组成的视频图像数据编码至网络发送的数据通道，实现所述各个单元之间的数据接口及控制接口；

2)编码控制单元：用于连接JPEG2000编码芯片的数据总线和地址总线，通过内部的时序控制电路控制JPEG2000编码芯片的片选信号、读使能信号、写使能信号的输出；

3)编码缓冲单元：用于设置编码缓冲区，并进行编码数据的格式转换；

4)网络发送控制单元：用于连接编码端网络通信芯片的数据总线和地址总线，通过内部的时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出；

5)编码端配置模块：用于访问串口控制芯片，根据用户指令获取编码端的JPEG2000编码芯片、网络通信芯片、视频A/D芯片的配置参数；读取FPGA内具有ROM功能的IP核获取编码固件；实现与编码控制单元、网络发送控制单元、视频A/D芯片之间的的数据接口及控制接口。

在上述方面中，所述装置包括解码端FPGA，具体包括：

1)解码及网络接收构建模块：用于构建由网络接收控制单元、解码缓冲单元和解码控制单元组成的网络接收至视频图像数据解码的数据通道，实现所述各个单元之间的数据接口及控制接口；

2)网络接收控制单元：用于连接解码端网络通信芯片的数据总线和地址总线，通过FPGA内部的时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出；

3)解码缓冲单元：用于设置解码缓冲区，并进行网络报文数据的格式转换；

4)解码控制单元：用于连接JPEG2000解码芯片的数据总线和地址总线，通过内部的时序控制电路控制JPEG2000解码芯片的片选信号、读使能信号、写使能信号的输出；

5)解码端配置模块：用于访问串口控制芯片，根据用户指令获取解码端的JPEG2000解码芯片、网络通信芯片、视频D/A芯片的配置参数；通过读取FPGA 内具有ROM功能的IP核获取解码固件；实现与解码控制单元、网络接收控制单元、视频D/A芯片之间的的数据接口及控制接口。

在上述方面中，所述编码缓冲单元具体功能为：

接收JPEG2000编码芯片输出的编码视频图像数据，对其进行格式转换后，送入FIFO存储器缓冲，读出FIFO后再对数据进行一次格式转换。

在上述方面中，所述解码缓冲单元具体功能为：

接收解码端网络通信芯片输出的网络报文数据，对其进行格式转换后，送入FIFO存储器缓冲，读出FIFO后再对数据进行一次格式转换。

本发明的有益效果为：本发明采用专用的JPEG2000编解码芯片及网络通信芯片，实现视频图像的采集与编码、高效而实时的以太网数据传输、视频图像的解码与还原；同时基于FPGA的硬件可编程特性，在不更换芯片的前提下，通过修改逻辑电路设计即可实现性能和功能的提升，具有较大的后续发展空间。

附图说明

图1是本发明的基于FPGA的图像编解码与网络传输的方法与装置系统网络图；

图2是本发明的基于FPGA的图像编解码与网络传输的方法流程示意图；

图3是本发明的基于FPGA的图像编解码与网络传输的方法的编码端FPGA 控制流程示意图；

图4是本发明的基于FPGA的图像编解码与网络传输的方法的解码端FPGA 控制流程示意图；

图5是本发明的基于FPGA的图像编解码与网络传输的方法与装置实施例板卡原理框图；

图6是本发明的基于FPGA的图像编解码与网络传输的方法与装置实施例中视频芯片与第一路ADV212接口设计示意图；

图7是本发明的基于FPGA的图像编解码与网络传输的方法与装置实施例中视频芯片与第二路ADV212接口设计示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

请参阅图1，本发明实施例中提供的基于FPGA的图像编解码与网络传输的方法与装置系统网络图包括编码端上位机、编码端、网络交换设备、解码端、解码端上位机共五部分，其中编码端和解码端为该系统的核心部件。编码端和解码端均通过网口连接网络交换设备。该系统可以实时处理来自摄像头的所采集到的视频图像，采用专用JPEG2000编码ASIC芯片对所采集图像按照 JPEG2000标准实时编码，编码后的数据通过以太网进行传输；对于从以太网上接收到的编码数据报文，采用专用JPEG2000解码ASIC芯片按照JPEG2000标准实时解码，可通过连接显示终端复现视频图像。

图2是本发明实施例的方法流程示意图，具体步骤如下：

S1、指令获取：获取用户通过上位机发送的配置指令；

S2、编解码配置：对编码端和解码端的JPEG2000编解码芯片进行初始化以及对视频A/D芯片、视频D/A芯片进行初始化；

S3、网络通信配置：对编码端和解码端的网络通信芯片进行初始化；

S4、视频图像采集及编码：将PAL制式视频进行转换，输出标准格式的数字化视频图像数据；对采集到的视频图像数据进行JPEG2000编码；

S5、数据发送：从JPEG2000编码芯片获取编码后的视频图像数据，缓存后发送到编码端网络通信芯片，进而按照TCP/IP协议将编码后的视频图像数据发送至以太网；

S6、数据接收：通过以太网按照TCP/IP协议接收网络数据报文，从解码端网络通信芯片获取编码后的视频图像数据，缓存后发送给JPEG2000解码芯片；

S7、视频图像解码及还原：完成JPEG2000编码格式的视频图像数据的解码，通过视频D/A芯片将解码后的数字视频图像还原为PAL制式，并连接显示设备复现视频图像。

与本发明实施例的方法流程相对应，本实施例中提供的一种基于FPGA的图像编解码与网络传输的装置，包括：

1)指令获取模块：用于获取用户通过上位机发送的配置指令；

2)编解码配置模块：用于对编码端和解码端的JPEG2000编解码芯片进行初始化以及对视频A/D芯片、视频D/A芯片进行初始化；

3)网络通信配置模块：用于对编码端和解码端网络通信芯片进行初始化；

4)视频图像采集及编码模块：用于将PAL制式视频进行转换，输出标准格式的数字化视频图像数据；对采集到的视频图像数据进行JPEG2000编码；

5)数据发送模块：用于从JPEG2000编码芯片获取编码后的视频图像数据，缓存后发送到编码端网络通信芯片，进而按照TCP/IP协议将编码后的视频图像数据发送至以太网；

6)数据接收模块：用于通过以太网按照TCP/IP协议接收网络数据报文，从解码端网络通信芯片获取编码后的视频图像数据，缓存后发送给JPEG2000解码芯片；

7)视频图像解码及还原模块：用于完成JPEG2000编码格式的视频图像数据的解码，通过视频D/A芯片将解码后的数字视频图像还原为PAL制式，并连接显示设备复现视频图像。

本实施例中，上述7个模块均基于FPGA控制。编码端板卡上包含所述模块1)、2)、3)、5)，解码端板卡上包含所述模块1)、2)、3)、6)。用户通过加载编码端FPGA固件来实现编码端用户配置指令的获取、JPEG2000编码芯片初始化、编码端网络通信芯片初始化、从JPEG2000编码芯片获取编码数据、编码数据缓冲、编码数据发送的编码端功能。用户通过加载解码端FPGA固件来实现解码端用户配置指令的获取、JPEG2000解码芯片初始化、解码端网络通信芯片初始化、网络报文数据获取与缓冲后发送至JPEG2000解码芯片的解码端功能。所述模块4)和7)基于相同型号的JPEG2000编解码芯片。编码端板卡上包含所述模块4)，解码端板卡上包含所述模块7)，用户经由FPGA加载 JPEG2000编码芯片固件或JPEG2000解码芯片固件来实现视频图像的编码或解码。

根据本发明的一个实施例，对于一种基于FPGA的图像JPEG2000编解码与网络传输的装置，编码端板卡和解码端板卡由硬件原理结构相同的板卡实现。编码端板卡和解码端板卡的主要区别在于板卡上拨码开关设置不同、FPGA固件不同。板卡上，用户通过拨码开关设置和下载不同的FPGA固件，实现编码端和解码端的不同板卡功能。其中，FPGA固件用于编码端或解码端可分为：编码端固件和解码端固件。

本发明实施例的具体实现方案为：编码板上的FPGA解析串口接收到的来自上位机的命令报文后，根据解析到的指令完成对本板上JPEG2000编码芯片的初始化、网络通信芯片的初始化以及视频A/D芯片的初始化；编码板上视频A/D 芯片将来自摄像头的模拟PAL制式视频进行转换，输出ITU656格式的数字视频图像数据；编码板上的JPEG2000编码芯片对ITU656格式的数据采集后进行 JPEG2000编码；编码板上FPGA从JPEG2000编码芯片获取编码后的数据，经缓存后发送到网络通信芯片，编码后的视频数据按照TCP/IP协议被发送至以太网；解码板上的FPGA解析串口接收到的来自上位机的命令报文后，根据解析到的命令完成对本板上JPEG2000解码芯片的初始化、网络通信芯片的初始化以及视频D/A芯片的初始化；解码板按照TCP/IP协议接收以太网数据报文，FPGA 通过网络通信芯片获取编码后的视频图像数据，经缓存后由FPGA发送给 JPEG2000解码芯片；JPEG2000解码芯片完成JPEG2000编码格式的视频图像数据的解码，将解码后的视频图像数据发送至视频D/A芯片；视频D/A芯片将视频图像还原为模拟PAL制式，并可连接显示设备复现视频图像。

图3是本发明实施例的编码端FPGA控制流程示意图，具体步骤如下：

1)通过访问编码端的串口控制芯片，读取用户通过编码端上位机串口发送的配置指令，获取JPEG2000编码芯片、编码端网络通信芯片、视频A/D芯片的配置参数；

2)连接JPEG2000编码芯片的数据总线和地址总线，内部产生时序控制电路控制JPEG2000编码芯片的片选信号、读使能信号、写使能信号的输出，实现对JPEG2000编码芯片的配置；连接视频A/D芯片的I²C接口，内部模拟I²C接口主控端实现视频A/D芯片的配置；

3)连接编码端网络通信芯片的数据总线和地址总线，内部产生时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出，实现对编码端网络通信芯片的配置；

4)按照步骤2)所述控制方法，读取JPEG2000编码芯片输出的编码数据；

5)构建视频图像编码到网络发送的数据通道，并在通道上设置缓冲区用于缓存编码数据，并对该数据进行数据格式转换；按照步骤3)所述控制方法，将编码数据写入编码端网络通信芯片，以实现网络数据发送。

图4是本发明实施例的解码端FPGA控制流程示意图，具体步骤如下：

1)通过访问解码端的串口控制芯片，读取用户通过解码端上位机串口发送的配置指令，获取JPEG2000解码芯片、解码端网络通信芯片、视频D/A芯片的配置参数；

2)连接JPEG2000解码芯片的数据总线和地址总线，内部产生时序控制电路控制JPEG2000解码芯片的片选信号、读使能信号、写使能信号的输出，实现对JPEG2000解码芯片的配置；连接视频D/A芯片的I²C接口，内部模拟I²C接口主控端实现视频D/A芯片的配置；

3)连接解码端网络通信芯片的数据总线和地址总线，内部产生时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出，实现对解码端网络通信芯片的配置；

4)按照步骤3)所述控制方法，从解码端网络通信芯片读取网络报文数据，以实现网络数据接收；构建网络接收到解码视频图像的数据通道，并在通道上设置缓冲区用于缓存网络报文数据，并对该数据进行数据格式转换；

5)按照步骤2)所述控制方法，将网络报文数据写入JPEG2000解码芯片，为解码芯片提供数据输入。

图5为本实施例的板卡原理框图。该板卡主要包括一块FPGA芯片、第一视频A/D芯片、第二视频A/D芯片、第一JPEG2000编解码芯片、第二JPEG2000 编解码芯片、第一缓存芯片、第二缓存芯片、第一视频D/A芯片、第二视频D/A 芯片、第一总线开关芯片、第二总线开关芯片、网络通信芯片、第一PHY(以太网物理层收发器)芯片、第二PHY芯片、串口控制芯片UART。

本实施例中，视频A/D芯片采用Analog Devices公司的TVP5150AM，JPEG2000编解码芯片采用Analog Devices公司的ADV212，视频D/A芯片采用 Philips公司的SAA7121H，总线开关芯片采用SN74CBTLV16212GR，网络通信芯片采用WiZnet公司的W5300，串口控制芯片采用TI公司的TL16C752B，FPGA 采用Xilinx公司的Virtex-4系列(型号为XC4VLX200)芯片作为板卡的主控芯片。 FPGA外挂两片容量为524288×9bit的FIFO存储芯片(型号IDT72V2111)，用于两路视频图像数据编码后的缓冲。FPGA外挂两片PHY(型号RTL8201CP)可实现对外双冗余网络连接。

本实施例中，编、解码端板卡对上位机提供串口通讯机制和RS232接口，用户可以通过上位机的串口向该系统发送配置参数。FPGA接收来自上位机的指令，对指令解析后完成对JPEG2000编解码芯片、网络通信芯片、视频A/D芯片、视频D/A芯片的配置。

本实施例中，板卡上的串口电路主要包括电平转换芯片、UART芯片及 FPGA。FPGA通过控制UART芯片，完成指令的接收，并完成解析。指令的内容主要包括：板卡IP地址及MAC地址、网关地址、子网掩码、两路组播地址、端口号、JPEG2000编解码芯片配置参数、JPEG2000的编解码参数、视频A/D 芯片配置参数、视频D/A芯片配置参数等。编码端FPGA内的编码端配置模块完成指令接收和参数解析后，通过它与编码控制单元之间的接口、它与网络发送控制单元之间的接口将参数传递给编码控制单元和网络发送控制单元，以完成编码端ADV212和W5300的配置。解码端FPGA内的编码端配置模块完成指令接收和参数解析后，通过它与解码控制单元之间的接口、它与网络接收控制单元之间的接口将参数传递给解码控制单元和网络接收控制单元，以完成解码端ADV212和W5300的配置。

本实施例中，编码端FPGA内的编码端配置模块或者解码端FPGA内的解码端配置模块通过读取串口控制芯片TL16C752B的相应寄存器来完成串口数据的接收，并按照约定的顺序将接收到的数据赋给各芯片配置参数的相应寄存器变量。

本实施例中，编码端板卡上FPGA内部的编码控制单元实现对ADV212的配置包括ADV212的工作参数、编码固件、JPEG2000编码参数等的写入；网络发送控制单元实现对W5300的配置包括主机接口设置、网络信息设置和内部TX 存储器的分配。

本实施例中，解码端板卡上FPGA内部的解码控制单元实现对ADV212的配置包括ADV212的工作参数、解码固件、JPEG2000解码参数等的写入；网络接收控制单元实现对W5300的配置包括主机接口设置、网络信息设置和内部RX 存储器的分配。

本实施例中，FPGA内部的编码控制单元、网络发送控制单元、网络接收控制单元、解码控制单元在完成相应ADV212和W5300的初始化后，继续分别对 ADV212的编解码数据读取与写入、W5300的网络数据的读取与写入进行控制。

本实施例中，对W5300的初始化参数(包含寄存器地址及寄存器数据)被保存在多位的reg变量中，将低10位数据赋给地址信号，将低16位数据赋给数据信号按照由低位到高位的顺序，采用右移位的方法，依次完成所有寄存器的初始化。

本实施例中，当FPGA通过W5300的专用总线，完成对W5300的初始化、 socket0和socket1的初始化后，通过写入S0_TX_FIFOR、S1_TX_FIFOR,将编码数据送入W5300；通过读取相应socket的S0_RX_FIFOR、S1_RX_FIFOR寄存器，就可以获取网络报文数据。

本实施例中，FPGA通过HDATA总线访问将ADV212工作参数、编解码固件、JPEG2000编解码参数等写入到ADV212内部寄存器和存储空间内。

本实施例中，为实现视频图像编解码板卡上ADV212的编解码功能，FPGA 通过ADV212的HDATA总线配置PLL寄存器，配置BOOT寄存器后进入 No-Host Boot模式。然后，FPGA配置MMODE、BUSMODE寄存器，并通过 HDATA总线将编码固件或者解码固件导入ADV212内部的RAM空间。FPGA 再配置BOOT寄存器后进入Co-PX Boot模式，然后配置MMODE、BUSMODE寄存器，接着进行JPEG2000编码或解码参数的设置、尺寸寄存器的配置(可选) 和ADV212内编码FIFO存储门限值的设置。自此，ADV212的固件(Firmware) 就接管了整个芯片的控制工作。然后，FPGA响应HDATA总线上的数据传输请求，并按照HDATA总线要求的时序来取出或传入编码数据。

本实施例中，选用了ADI官网上最新的ADV212 encode及decode固件，固件为.sea格式。固件加载方法为：生成一个具有ROM功能的IP核，然后将sea 文件转换为该IP核可以直接读取的coe文件。生成IP核时导入该coe文件，以利用该coe文件初始化IP核。

本实施例中，当ADV212被用作编码模式时，它处于从模式配置的状态；当ADV212被用作解码模式，它处于主模式配置的状态。在编码模式中， TVP5150AM接收PAL制式模拟信号并输出包含EAV/SAV同步码的视频图像数据。通过配置ADV212的寄存器VO_START，V1_START，V0_END，V1_END， PIXEL_START，PIXEL_END，使之反映输入视频图像的大小，ADV212就能同步于这些同步码。在解码模式中，通过将ADV212的寄存器VMODE配置为解码主模式，同时配置寄存器XTOT，YTOT，F0_START，F1_START，F0_END， F1_END，V0_START，V1_START，V0_END，V1_END，PIXEL_START， PIXEL_END，ADV212就能根据配置生成EAV/SAV同步码，进而输出包含同步码的视频图像数据。SAA7121H则接收包含同步码的视频图像数据，输出PAL制式的模拟视频图像。

本实施例中，如图5所示，当该系统的编码板卡将摄像机输出的第1路PAL 制式模拟视频接入视频A/D芯片TVP5150AM进行A/D转换后，采集到的视频图像数据经ADV212的VDATA接口送入ADV212做编码处理后，经ADV212 的HDATA总线送入FPGA。FPGA内部的编码及网络发送构建模块实现编码数据在由编码控制单元、编码缓冲单元和网络发送控制单元组成的数据通道上的传递。W5300接收编码数据后，以UDP协议的组播方式送入网络。第2路PAL制式的模拟视频的处理方式与第1路相同。FPGA在同时处理这两路视频数据时，将它们分别缓存在FIFO_1和FIFO_2内，送入网络通信芯片W5300时，将其分别写入W5300的socket0和socket1的寄存器S0_TX_FIFOR、S1_TX_FIFOR 中，以示区分。图5中，该系统的解码端，接收到的UDP协议的组播报文经 W5300处理后送入FPGA；FPGA内部的解码及网络接收构建模块实现编码数据在由网络接收控制单元、解码缓冲单元和解码控制单元组成的数据通道上的传递。ADV212的HDATA总线接收编码数据并进行解码处理后，由ADV212的 VDATA送出给视频D/A芯片还原为模拟视频图像，交由显示终端。解码端同时收到两路视频数据报文的时候，FPGA通过读取W5300的socket0和socket1的寄存器S0_RX_FIFOR、S1_RX_FIFOR，分别获得两路视频图像数据，将它们分别送入FIFO_1和FIFO_2缓存后，分别输出到两路ADV212的HDATA总线。

本实施例中，FPGA作为板卡上的主控芯片。ADV212芯片的复位信号、片选信号、读写控制信号、地址信号、数据信号、中断信号、应答信号等均与FPGA 的I/O管脚相连，表1示出了FPGA的与ADV212相连的I/O管脚的功能描述； W5300芯片的复位信号、数据宽度选择信号、片选信号、地址信号、数据信号、读控制信号、写控制信号、中断信号均与FPGA的I/O管脚相连，表2示出了 FPGA的与W5300相连的I/O管脚的功能描述；串口芯片的读写控制信号、地址信号、数据信号均与FPGA的I/O管脚相连；2个FIFO芯片的复位信号、模式控制信号、读时钟信号、写时钟信号、读使能信号、写使能信号、输出使能信号、输入数据信号、输出数据信号、标志信号等均与FPGA的I/O管脚相连；视频A/D芯片和视频D/A芯片的I²C接口信号均与FPGA的I/O管脚相连。

表1

符号	类型	描述
			/RESET	Output	发送给ADV212的复位信号
/CS	Output	发送给ADV212的片选信号
			/RD	Output	发送给ADV212的读信号控制
/WE	Output	发送给ADV212的写信号控制
			ADDR[3:0]	Output	发送给ADV212的4位地址信号。
HDATA[31:0]	Input/Output	与ADV212相连的32位数据信号
			/IRQ	Input	ADV212发出中断信号
/ACK	Iutput	ADV212发出的应答信号

表2

本实施例中，W5300的复位信号、ADV212的复位信号，均与FPGA的I/O 管脚相连。板卡上电后，首先通过延时产生5us低电平复位信号。复位结束后，若此时用户未发出配置指令则按照默认配置，FPGA开始分别对W5300和 ADV212进行初始化。在W5300或ADV212的初始化过程中或初始化完成后，一旦串口接收到新的完整的配置W5300或ADV212工作状态命令报文时，立即在FPGA的分别与W5300和ADV212复位管脚相连的两个I/O管脚上，分别产生5us的低电平复位信号，再对W5300和ADV212进行新一轮的初始化。

本实施例中，视频A/D芯片(TVP5150AM)和视频D/A芯片(SAA7121H) 通过总线开关芯片(SN74CBTLV16212GR)与JPEG2000编解码芯片ADV212 的VDATA接口相连，如图6，图7所示。用户通过拨码开关设置：视频A/D芯片向JPEG2000编码芯片输出数字化视频图像信号或者视频D/A芯片接收来自 JPEG2000解码芯片的视频图像数据输出。

本实施例中，由编码端FPGA内的编码端配置模块完成对两片TVP5150AM 的初始化，或者由解码端FPGA内的解码端配置模块完成对两片SAA7121H的初始化。这四片芯片均具有I²C接口，可作为I²C从设备；FPGA作为I²C接口的主设备，选用它的两个I/O管脚模拟I²C接口对从设备进行初始化。

本实施例中，FPGA系统中引入全局时钟管脚的外来时钟为50MHz，而I²C 通信的时钟标准可选为400KHz或者100KHz。本设计中将50MHz时钟进行分频得到100KHz时钟。SCL信号的频率参照该时钟频率。

本实施例中，将两片TVP5150AM的I²C地址设置为0XB8，0XBA，两片 SAA7121H的I²C地址设置为0X88，0X8C。

本实施例中，FPGA内部的编码缓冲单元、解码缓冲单元的作用分别是，对JPEG2000编码产生数据在网络发送之前进行缓冲，或将网络报文数据进行缓冲后送给JPEG2000解码芯片。编码缓冲单元接收JPEG2000编码芯片输出的编码视频图像数据，对其进行格式转换后，送入FIFO存储器缓冲，读出FIFO后再对数据进行一次格式转换。接收解码端网络通信芯片输出的网络报文数据，对其进行格式转换后，送入FIFO存储器缓冲，读出FIFO后再对数据进行一次格式转换。缓冲单元可以防止因ADV212对数据处理后的传输率与W5300对数据的传输率不同而带来的数据丢失，同时可以避免频繁的总线操作。数据格式转换的作用是实现数据宽度的匹配。编码缓冲单元的数据格式转换目的在于实现编码控制单元输出数据宽度与FIFO输入数据宽度之间的匹配，以及FIFO输出数据宽度与网络发送控制单元输入数据宽度之间的匹配。解码缓冲单元的数据格式转换目的在于实现网络接收控制单元输出数据宽度与FIFO输入数据宽度之间的匹配，以及FIFO输出数据宽度与解码控制单元输入数据宽度之间的匹配。

本实施例中，FPGA接收HDATA总线发送来的32bit位宽的数据，FIFO用到的数据宽度为8bit。编码缓冲单元需要将来自ADV212的编码数据进行32bit 至8bit的转化后，送入FIFO，读出FIFO后将编码数据进行8bit至16bit的转化后，送给W5300进行网络发送。解码缓冲单元将网络接收的解码数据进行16bit 至8bit的转化后，送入FIFO，读出FIFO后将解码数据进行8bit至32bit的转化后，送给ADV212进行解码。

本实施例中，两路PHY均通过媒体独立接口MII与FPGA内部生成网络切换控制器相连。同时网络切换控制器提供MII口，使带有MII口的W5300与该 MII口相连。此时W5300处于采用外部PHY的工作模式中。

显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种基于FPGA的图像编解码与网络传输的方法，其特征在于，包括以下步骤：

S1、指令获取：获取用户通过上位机发送的配置指令；

S2、编解码配置：对编码端和解码端的JPEG2000编解码芯片进行初始化以及对视频A/D芯片、视频D/A芯片进行初始化；

S3、网络通信配置：对编码端和解码端的网络通信芯片进行初始化；

S4、视频图像采集及编码：将PAL制式视频进行转换，输出标准格式的数字化视频图像数据；对采集到的视频图像数据进行JPEG2000编码；

S5、数据发送：从JPEG2000编码芯片获取编码后的视频图像数据，缓存后发送到编码端网络通信芯片，进而按照TCP/IP协议将编码后的视频图像数据发送至以太网；

S6、数据接收：通过以太网按照TCP/IP协议接收网络数据报文，从解码端网络通信芯片获取编码后的视频图像数据，缓存后发送给JPEG2000解码芯片；

S7、视频图像解码及还原：完成JPEG2000编码格式的视频图像数据的解码，通过视频D/A芯片将解码后的数字视频图像还原为PAL制式，并连接显示设备复现视频图像。

2.根据权利要求1所述的基于FPGA的图像编解码与网络传输的方法，其特征在于，所述方法还包括在编码端FPGA内部构建通信与控制流程，具体步骤为：

1)通过访问编码端的串口控制芯片，读取用户通过编码端上位机串口发送的配置指令，获取JPEG2000编码芯片、编码端网络通信芯片、视频A/D芯片的配置参数；

2)连接JPEG2000编码芯片的数据总线和地址总线，内部产生时序控制电路控制JPEG2000编码芯片的片选信号、读使能信号、写使能信号的输出，实现对JPEG2000编码芯片的配置；连接视频A/D芯片的I²C接口，内部模拟I²C接口主控端实现视频A/D芯片的配置；

3)连接编码端网络通信芯片的数据总线和地址总线，内部产生时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出，实现对编码端网络通信芯片的配置；

4)按照步骤2)所述控制方法，读取JPEG2000编码芯片输出的编码数据；

5)构建视频图像编码到网络发送的数据通道，并在通道上设置缓冲区用于缓存编码数据，并对该数据进行数据格式转换；按照步骤3)所述控制方法，将编码数据写入编码端网络通信芯片，以实现网络数据发送。

3.根据权利要求1所述的基于FPGA的图像编解码与网络传输的方法，其特征在于，所述方法还包括在解码端FPGA内部构建通信与控制流程，具体步骤为：

1)通过访问解码端的串口控制芯片，读取用户通过解码端上位机串口发送的配置指令，获取JPEG2000解码芯片、解码端网络通信芯片、视频D/A芯片的配置参数；

2)连接JPEG2000解码芯片的数据总线和地址总线，内部产生时序控制电路控制JPEG2000解码芯片的片选信号、读使能信号、写使能信号的输出，实现对JPEG2000解码芯片的配置；连接视频D/A芯片的I²C接口，内部模拟I²C接口主控端实现视频D/A芯片的配置；

3)连接解码端网络通信芯片的数据总线和地址总线，内部产生时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出，实现对解码端网络通信芯片的配置；

4)按照步骤3)所述控制方法，从解码端网络通信芯片读取网络报文数据，以实现网络数据接收；构建网络接收到解码视频图像的数据通道，并在通道上设置缓冲区用于缓存网络报文数据，并对该数据进行数据格式转换；

5)按照步骤2)所述控制方法，将网络报文数据写入JPEG2000解码芯片，为解码芯片提供数据输入。

4.一种基于FPGA的图像编解码与网络传输的装置，其特征在于，包括：

1)指令获取模块：用于获取用户通过上位机发送的配置指令；

2)编解码配置模块：用于对编码端和解码端的JPEG2000编解码芯片进行初始化以及对视频A/D芯片、视频D/A芯片进行初始化；

3)网络通信配置模块：用于对编码端和解码端网络通信芯片进行初始化；

4)视频图像采集及编码模块：用于将PAL制式视频进行转换，输出标准格式的数字化视频图像数据；对采集到的视频图像数据进行JPEG2000编码；

5)数据发送模块：用于从JPEG2000编码芯片获取编码后的视频图像数据，缓存后发送到编码端网络通信芯片，进而按照TCP/IP协议将编码后的视频图像数据发送至以太网；

6)数据接收模块：用于通过以太网按照TCP/IP协议接收网络数据报文，从解码端网络通信芯片获取编码后的视频图像数据，缓存后发送给JPEG2000解码芯片；

7)视频图像解码及还原模块：用于完成JPEG2000编码格式的视频图像数据的解码，通过视频D/A芯片将解码后的数字视频图像还原为PAL制式，并连接显示设备复现视频图像。

5.根据权利要求4所述的基于FPGA的图像编解码与网络传输的装置，其特征在于，所述模块1)、2)、3)、5)、6)的特点在于：

1)所述各个模块均基于FPGA控制；

2)编码端板卡上包含所述模块1)、2)、3)、5)，解码端板卡上包含所述模块1)、2)、3)、6)，用户通过加载编码端FPGA固件来实现编码端用户配置指令的获取、JPEG2000编码芯片初始化、编码端网络通信芯片初始化、从JPEG2000编码芯片获取编码数据、编码数据缓冲、编码数据发送的编码端功能，用户通过加载解码端FPGA固件来实现解码端用户配置指令的获取、JPEG2000解码芯片初始化、解码端网络通信芯片初始化、网络报文数据获取与缓冲后发送至JPEG2000解码芯片的解码端功能。

6.根据权利要求4所述的基于FPGA的图像编解码与网络传输的装置，其特征在于，所述模块4)和7)的特点在于：

1)所述模块4)和7)基于相同型号的JPEG2000编解码芯片；

2)编码端板卡上包含所述模块4)，解码端板卡上包含所述模块7)，用户经由FPGA加载JPEG2000编码芯片固件或JPEG2000解码芯片固件来实现视频图像的编码或解码。

7.根据权利要求4所述的基于FPGA的图像编解码与网络传输的装置，其特征在于，所述装置包括编码端FPGA，具体包括：

1)编码及网络发送构建模块：用于构建由编码控制单元、编码缓冲单元和网络发送控制单元组成的视频图像数据编码至网络发送的数据通道，实现所述各个单元之间的数据接口及控制接口；

2)编码控制单元：用于连接JPEG2000编码芯片的数据总线和地址总线，通过内部的时序控制电路控制JPEG2000编码芯片的片选信号、读使能信号、写使能信号的输出；

3)编码缓冲单元：用于设置编码缓冲区，并进行编码数据的格式转换；

4)网络发送控制单元：用于连接编码端网络通信芯片的数据总线和地址总线，通过内部的时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出；

5)编码端配置模块：用于访问串口控制芯片，根据用户指令获取编码端的JPEG2000编码芯片、网络通信芯片、视频A/D芯片的配置参数；读取FPGA内具有ROM功能的IP核获取编码固件；实现与编码控制单元、网络发送控制单元、视频A/D芯片之间的的数据接口及控制接口。

8.根据权利要求4所述的基于FPGA的图像编解码与网络传输的装置，其特征在于，所述装置包括解码端FPGA，具体包括：

1)解码及网络接收构建模块：用于构建由网络接收控制单元、解码缓冲单元和解码控制单元组成的网络接收至视频图像数据解码的数据通道，实现所述各个单元之间的数据接口及控制接口；

2)网络接收控制单元：用于连接解码端网络通信芯片的数据总线和地址总线，通过FPGA内部的时序控制电路控制网络通信芯片的片选信号、读使能信号、写使能信号的输出；

3)解码缓冲单元：用于设置解码缓冲区，并进行网络报文数据的格式转换；

4)解码控制单元：用于连接JPEG2000解码芯片的数据总线和地址总线，通过内部的时序控制电路控制JPEG2000解码芯片的片选信号、读使能信号、写使能信号的输出；

5)解码端配置模块：用于访问串口控制芯片，根据用户指令获取解码端的JPEG2000解码芯片、网络通信芯片、视频D/A芯片的配置参数；通过读取FPGA内具有ROM功能的IP核获取解码固件；实现与解码控制单元、网络接收控制单元、视频D/A芯片之间的的数据接口及控制接口。

9.根据权利要求4所述的基于FPGA的图像编解码与网络传输的装置，其特征在于，所述编码缓冲单元具体功能为：

接收JPEG2000编码芯片输出的编码视频图像数据，对其进行格式转换后，送入FIFO存储器缓冲，读出FIFO后再对数据进行一次格式转换。

10.根据权利要求4所述的基于FPGA的图像编解码与网络传输的装置，其特征在于，所述解码缓冲单元具体功能为：

接收解码端网络通信芯片输出的网络报文数据，对其进行格式转换后，送入FIFO存储器缓冲，读出FIFO后再对数据进行一次格式转换。

Images