CN102185833A - 一种基于fpga的fc i/o并行处理方法 - Google Patents

Abstract

一种基于FPGA的FC I/O并行处理方法，涉及计算机存储技术，采用本方法的FC控制器功能模块以FPGA硬件实现，并且，通过输出交换处理单元将SCSI I/O操作映射到帧序列和帧交换上，并组建相应的输出帧；以输入交换处理单元将接收到帧序列和帧交换映射到相应的SCSI I/O操作上，并将不同输入帧存储在内存中相应的位置；这两部分相互独立，并行处理数据。FC协议内交换和序列管理以及帧的封装和重组都在FPGA内完成，而CPU则负责启动和处理完成的I/O操作，这样使用该方法的FC控制器可以同时处理多个I/O请求，从而可以提高数据传输性能。

Description

一种基于FPGA的FC I/O并行处理方法

技术领域

本发明涉及大型存储系统和计算机存储技术领域，尤其是一种光纤通道协议控制器的并行处理方法。

背景技术

光纤通道(Fibre Channel)是美国国家标准委员会(ANSI) X3T11小组制定的一种高速串行协议，它主要用来连接工作站、大型机和存储设备。做为通道技术和网络技术结合的产物，光纤通道(Fibre Channel)协议是一种具有低延迟、高可靠性、高带宽，远距离传输特性的网络体系。目前FC协议已经成为一种工业标准接口，它能够传输多种上层协议，如IP、ATM、SCSI(Small Computer System Interface)命令集、HIPPI(High Performace Parallel Interface)和IPI(Intelligent Peripherals Interface)等协议。

主机或者存储设备之间通过一个FC接口适配器连接。FC接口适配器包括FC控制器和收发器，它通过一个局部数据总线和主机或存储设备交换数据，光纤通道(FC)控制器主要完成FC-1层、部分FC－2层协议的处理以及与主机之间的数据交换。FC接口适配器通常需要一个微处理器来完成协议的管理和维护，只使用微处理器来处理光纤通道协议必然会限制任务的并行处理能力，因此需要提高FC控制器I/O的并行处理能力，从而提高FC控制器的数据传输速率。

光纤通道协议是一个复杂的协议簇，它支持多种服务和高层协议，同时光纤通道协议标准目前仍处于发展阶段，其标准内容仍在不断完善过程中。使用FPGA芯片实现光纤通道协议，方便对最新协议版本进行更新支持。

发明内容

本发明的目的是发明一种基于FPGA的FC I/O并行处理方法，该发明可用于连接主机系统或存储设备与存储网络之间的光纤通道(FC)控制器。

为实现上述目的，本发明的技术方案是：

1，采用本发明的FC控制器功能由FPGA实现，主要由输出交换处理单元、输出存储单元、输出帧处理单元、高速传输单元、输入交换处理单元、输入帧存储单元、输入帧处理单元、高速接收单元、交换完成通知单元和寄存器配置单元组成。通过数据总线（PCI-E、PLB或AXI总线等）连接主机系统，通过光纤线或者其它媒介连接存储网络。

交换完成通知单元用于通知系统已完成的交换信息，系统可以释放这些交换占用的资源。寄存器配置单元用于主机访问和配置FC控制器内的寄存器。高速传输单元和高速接收单元使用FPGA芯片内高速串行收发器实现。

2，输出交换处理单元负责完成将SCSI I/O操作映射到帧序列和帧交换上，并组建相应的输出帧。输入交换处理单元负责将接收到帧序列和帧交换映射到相应的SCSI I/O操作上，并将不同输入帧存储在内存中相应的位置。

具体的优选方案：

所述输出交换处理单元的内部架构是：包括输出请求检测模块、总线访问控制模块、帧封装模块、交换信息管理模块以及输出帧信息暂存模块。输出交换处理单元负责输出交换和序列管理，同时负责拆分数据、封装和分发FC帧。

输入交换处理单元由帧读取模块、帧头部分析模块、数据传输模块和交换信息获取模块组成。输入交换处理单元负责输入交换和序列管理，并负责输入FC帧的检测、拆分和数据重组。

本发明通过使用FPGA逻辑资源实现FC协议内交换和序列管理以及帧的拆分、封装、分发以及重组功能，使CPU只负责交换和序列的初始化、启动和完成通知或者异常处理。

FC协议并行处理方法的输入部分和输出部分是相互独立的，同时输入部分和输出部分的每个单元多个任务可以同时执行。因此采用本发明可以同时处理多个I/O请求，这样可以提高数据传输性能。

附图说明

图1是数据在FC协议不同层次传输的简单体系结构

图2是一种基于FPGA芯片的光纤通道(FC)协议并行处理方法的一种结构

图3是输出交换处理单元的内部架构

图4是总线访问控制模块工作流程

图5是交换信息管理模块处理流程

图6是输入交换处理单元的内部架构

图7是交换信息获取模块的处理流程。

具体实施方式

结合附图，说明本发明的具体实现。

光纤通道（FC）协议是一种连接工作站、外围设备、磁盘阵列等设备并完成这些设备之间数据通信的协议和体系结构。在FC协议中设备称为节点，每个节点至少有一个端口，端口之间通过一系列通信媒介连接，连接的通信媒介包括同轴电缆、光纤线或者屏蔽双胶线。

FC端口是一个与FC节点共享寄存器和主机存储器接口的FC主机适配卡或FC控制器，它主要实现FC协议的低层协议。主机节点通常通过共享存储器内的数据结构和配置FC端口内的寄存器，实现主机节点和FC端口之间的数据交换。

两个或者多个FC端口的连接组合可以认为一个拓扑结构，FC协议中，主要拓扑结构有点到点、仲裁环型结构和交换结构。

图1描述了数据在FC网络中传输的简单体系结构。在FC协议最底层，数据是按照比特流在通信媒介上传输的。将数据流中的每10bit组成一个单元，之后再经过10B/8B解码，就可得到一个字。代表不同意义的字可以组成FC协议中最基本单元帧，图1中可以看到多个帧A、B、C、D、E、F和G。序列是由同一个操作且传输方向相同的若干个帧的集合，由于每个序列的长度是可变的，因此节点不能一次发送整个帧序列，所以要把序列分为多个帧发送出去，在图1中，帧A、帧B、帧C、帧D组成了序列1，而帧E、帧F和帧G组成了序列2。交换是FC协议中最大的结构单元，它对应两个节点之间的I/O操作，交换可能有多个阶段组成，每个阶段对应为一个帧序列。例如，一个交换会包括命令阶段、数据阶段和状态阶段，每个阶段是一个单独的序列，这些序列组合起来便形成一个交换。在图2中，序列1和序列2结合起来便是一个交换A。

FC协议主要为传输高层交换协议而设计，FC4层支持的高层协议包括IP、SCSI、HIPPI以及ATM等。SCSI协议到FC协议的映射在FCP文档内定义，SCSI的命令和数据都会封装在FC帧内进行传输。

图2为一个基于FPGA的光纤通道(FC) I/O的并行处理方法实现的一种体系结构。图中处理器主要完成FC-3层和FC-4层协议处理和维护。输入交换处理单元和输出交换处理单元组成的交换管理单元则负责不同交换数据的处理过程，它们通过DMA的方式访问内存DDR2，负责交换内数据的自动发送和接收功能。输入交换处理单元负责区分输入帧所属于的交换，它通过对输入帧头部信息分析、区分不同的帧类型，完成对帧携带数据的提取和重组，并将数据按照正确顺序放置在内存中不同队列，同时对于第二类服务，该单元链路控制帧的组装和回复。输出交换处理单元则负责将一次I/O操作的数据映射到一个交换内，它将待发送的数据拆分成一个FC帧可携带数据大小，并将这些数据加上帧头部，并设置头部内的不同字段，之后将封装好的FC帧存放在输出帧存储单元的缓存内，对于第二类服务，该单元还负责丢失的FC帧的重新组装和发送。由于处理器只需要交换的初始化和准备资源，交换对应数据的封装和发送、拆分和重组都是由交换管理单元来完成，因此这使多个交换能够同时执行。

I/O操作映射到FC交换流程：

(1) 在发送方向，处理器准备I/O操作需要发送的数据，并初始化FC帧头部主要字段。

(2) 处理器将待发送数据的地址信息以及交换内帧头部信息通知输出交换处理单元。

(3) 输出交换处理单元生成FC帧头部各个字段，并根据FC帧携带数据的最大长度，取待发送的数据，将之封装在FC帧内。

(4) 输出交换处理单元将封装完毕FC帧交由发送端口发送。同时管理该交换内其它FC帧的传输状态。

(5) 在接收方向，处理器首先为I/O操作对应的FC交换需要接收的数据分配内存空间。

(6) 输入交换处理单元收到交换内的FC帧之后，判断接收的帧是否有效，若无效则删除。

(7) 对于有效的FC帧，输入交换处理单元从内存中获得存储该帧的地址信息，并将FC帧内的数据存储在内存对应位置。

(8) 当输入交换处理单元收到乱序帧时，需要对乱序帧进行处理，将起数据存放在内存中正确的位置。

(9) 当该交换内的所有帧接收完毕，则输入交换处理单元通知处理器。

输出帧存储单元和输入存储单元由不同类型的FIFO组成，它们分别用于存储输出的FC帧和接收到FC帧，此外它们还负责不同时钟域隔离的功能。输出帧存储单元内负责存储接收帧的FIFO能够一次容纳最大FC帧的数目称为本端口的BB_Credit。

输出帧处理单元和输入帧处理单元一起组成了帧管理单元，它主要完成FC-1层和部分FC-2层的协议。帧管理单元不但完成对输出帧的调度和发送、对输入帧的识别和检测，此外帧管理单元还负责传输字的同步处理、原语的识别、链路的建立和维护、缓存到缓存的流量控制或端到端的流量控制以及速度自动协商功能。

高速传输单元和高速接收单元主要完成FC-0层的协议实现，这里使用FPGA芯片内部的高速收发器实现。它主要完成8B/10B编码、10B/8B解码、并串变换和串并变换的功能。

交换完成通知单元接收来自输入交换处理单元、输出交换处理单元以及帧管理单元的不同类型的完成请求，并组建不同的完成消息，并通过局部数据总线传输到内存中的交换完成队列。

寄存器配置单元被处理器用来配置FC控制器内部的寄存器，例如对方端口的BB_Credit，端口状态等。

总线DMA控制单元负责完成局部数据总线的读请求和写请求操作功能。交换完成通知单元、输入交换处理单元和输出交换处理单元通过请求局部数据总线操作完成对内存中不同位置。

主机系统和FC控制器之间通过交换发送队列、控制帧接收队列和交换完成队列完成数据的交换，这些队列是由循环单向链表实现，链表的每个节点存储着队列的一个记录。交换发送队列每个记录称为输出请求块，每个输出请求块包括输出数据的帧头部信息索引或交换和序列管理块索引，通过帧头部信息索引或交换和序列管理块索引可以找到要输出的数据。控制帧接收队列包括多个地址/长度块，这些地址/长度块指向一块可以存放控制帧的内存空间。交换完成队列包括不同类型的完成消息块，例如输出交换完成消息、输入交换完成消息、链路初始化完成消息、链路复位消息和交换出错消息等。交换状态管理队列则是由多个交换和序列管理块组成，每个交换和序列管理块记录对应交换当前的状态、接收数据的地址空间、期望下一帧以及是否出现乱序等信息。

图3描述了输出交换处理单元的内部架构，它包括输出请求检测模块、总线访问控制模块、帧封装模块、交换信息管理模块以及输出帧信息暂存模块。输出请求检测模块负责检查到交换发送队列是否有输出请求块存在，若有，则指示总线访问控制模块通过总线DMA控制单元读取输出请求块。

总线访问控制模块负责根据输出请求检测模块和交换信息管理模块提交的请求从内存中读出相应的数据结构以及数据信息，或者更新相应的交换和序列控制块字段，图4描述了总线访问控制模块工作流程。总线访问控制模块首先判断输入请求是来自输出请求检测模块还是来自交换信息管理模块，若是来自输出请求检测模块，则通过总线DMA控制单元读取输出请求块，并判断输出请求块的单帧标识。若单帧标识显示要发送为是一个FC帧，则直接读出该FC帧的头部和数据，把头部信息提交给交换信息管理模块，把数据提交给帧封装模块；若单帧标识显示要发送为是多个FC帧组成的帧序列，则通过总线DMA控制单元读取该交换对应的交换和序列管理块，并将之传递给交换信息管理模块。若总线访问控制模块收到来自交换信息管理模块的请求，则首先判断是读数据请求还是更新交换和序列管理块请求；若是读数据请求则进一步区分是读头部信息请求还是读FC帧数据请求，对于读头部信息请求，则将结果返回到交换信息管理模块，对于后者则将结果传递给帧封装模块；若总线访问控制模块接收到更新交换和序列管理块请求，通过总线DMA控制单元更新该交换对应交换和序列管理块内字段信息(如当前数据的地址和长度对等)。

帧封装模块负责完成一个FC帧组装成帧过程，它分别从交换信息管理模块获得头部各个字段，从总线访问控制模块获得数据，按照FC帧格式将数据封装为一个FC帧，这里同时也要保留CRC字段，但CRC的计算在输出帧处理单元内完成。

交换信息管理模块主要负责管理交换内所有帧序列以及帧的发送过程，同时它还负责输出交换完成消息的请求。交换信息管理模块内使用一个BRAM缓存处于活跃交换的交换和序列管理块。交换信息管理模块不但会接收来自总线访问控制模块传递的交换和序列管理块，同时还会接收来自输入交换处理单元的交换和序列管理块(如在作为发起端写数据时，会接收到对方端口发送的FCP_XFER_RDY序列)，对于第二类服务，可能还需要接收来自输出帧信息暂存模块提交的重新发送请求。

图5描述了交换信息管理模块处理流程，当交换信息管理模块接收到总线访问控制模块请求之后，它会判断该交换对应的交换和序列管理块内需要发送的是单个FC帧还是多个FC帧；对于只有一个FC帧的交换，则将该FC帧头部各个字段初始化，并将之按照顺序传递给帧封装模块，之后通过总线访问控制模块请求读取存储在内存中数据，在该FC帧发送出去之后，向交换完成通知单元发送一个输出交换完成消息请求。对于包括多个FC帧的交换，交换信息管理模块负责不断更新帧头部内的字段信息，如序列计数、偏移以及帧开始定界符和帧结束定界符。当所有数据发送完毕之后，再向交换完成通知单元发送一个输出交换完成消息请求。当接收到输出帧信息暂存模块的重新发送请求，交换信息管理模块按照重新发送请求提供的字段信息，重新从内存中读取该交换需要重新发送的数据，在帧封装模块内重新封装并发送出去。

输出帧信息暂存模块主要应用在第二类服务中，它在接收到对方端口回复的ACK帧之前，会暂时存储该发送FC帧的主要头部字段信息以及数据存放的内存地址。当检测到出现发送的FC帧中途丢失之后，输出帧信息暂存模块取出对应FC帧存储的信息，并向交换信息管理模块申请重新发送丢失的FC帧。

如图6所示，输入交换处理单元由帧读取模块、帧头部分析模块、数据传输模块和交换信息获取模块组成。帧读取模块负责从输入存储单元中读取接收到的FC帧头部字段和其携带的数据信息，并将之传送到帧头部分析模块或数据传输模块。帧头部分析模块负责提取FC帧的头部主要字段，如R_CTL字段、F_CTL字段以及OX_ID与RX_ID字段等，判断该FC帧是否属于链路控制帧、基本链路服务帧、扩展链路服务帧以及其它控制帧；若是，则从控制帧接收队列取出当前指针指向节点内的地址/长度块，将地址/长度块传递给数据传输模块，由数据传输模块将整个FC帧存放在地址/长度块指定的内存空间，之后通知交换完成通知单元发送一个输入交换完成消息。若该FC帧属于FCP类型的设备帧，则将该FC帧的头部字段传递给交换信息获取模块，由交换信息获取模块进行进一步操作。

数据传输模块根据帧头部分析模块或交换信息获取模块提供的地址/长度对信息，将接收的FC帧或者FC帧的数据净荷写入内存空间对应位置。

交换信息获取模块主要处理属于FCP类型的设备帧，图7为交换信息获取模块的处理流程。当它获得来自帧头部分析模块传递的头部字段后，通过总线DMA控制单元获取该交换对应的交换和序列管理块。之后通过比较接收FC帧的字段和交换和序列管理块的字段信息，判断该FC帧是否为异常帧或者错误帧，若是，则通知帧头部分析模块将该FC帧放入控制帧接收队列，由软件进行处理。之后进一步判断该FC帧是否按正常顺序到达，若为期望到达的FC帧，则获取当前内存空间的地址，并将之传递给数据传输模块；若该FC帧为乱序帧，则根据当前期望偏移或者序列计数与FC帧的偏移或者序列计数，在地址/长度列表内查询，找出当前FC帧的数据应该存放的位置的地址信息，并将之传递给数据传输模块。当交换信息获取模块检测到一个交换的所有数据接收完毕之后，将通知交换完成通知单元发送一个输入交换完成消息。

交换完成通知单元主要接收来自输入交换处理单元、输出交换处理单元、输出帧处理单元和输入帧处理单元各种完成消息请求，生成不同类型的完成消息块，并将之存放在交换完成队列内。

输入帧处理单元则首先完成传输字同步功能，之后通过端口状态机实现不同类型原语的发送和接收，从而实现链路的建立和端口类型的初始化。此外输入帧处理单元还负责对输入帧进行识别，并计算CRC校验值，从而判断接收的FC帧是否有效。输出帧处理单元负责完成缓存到缓存的流量控制、计算FC帧的CRC校验值以及分发不同类型的原语与FC帧。

本发明描述了一种基于FPGA的FC I/O并行处理方法，由于处理器只需要完成发起或者接收交换分配资源和初始化数据结构，交换内FC帧的拆分、封装以及分析和重组都是由FPGA资源实现，因此本发明可以实现多个交换任务同时执行，通过实现I/O操作的并行处理，从而获得更好的性能和更高的数据传输速率。

Claims (6)

1.一种基于FPGA的FC I/O并行处理方法，采用本方法的FC控制器由输出交换处理单元、输出存储单元、输出帧处理单元、高速传输单元、输入交换处理单元、输入帧存储单元、输入帧处理单元、高速接收单元、交换完成通知单元和寄存器配置单元组成；通过数据总线连接主机系统，通过光纤线或者其它媒介连接存储网络，其特征是：

所述的FC控制器的这些功能模块以FPGA硬件实现，

并且，通过输出交换处理单元将SCSI I/O操作映射到帧序列和帧交换上，并组建相应的输出帧；以输入交换处理单元将接收到帧序列和帧交换映射到相应的SCSI I/O操作上，并将不同输入帧存储在内存中相应的位置；这两部分相互独立，并行处理数据。

2.根据权利要求1所述的一种基于FPGA的FC I/O并行处理方法，其特征在于所述输出交换处理单元的内部架构是：包括输出请求检测模块、总线访问控制模块、帧封装模块、交换信息管理模块以及输出帧信息暂存模块。

3.根据权利要求1所述的一种基于FPGA的FC I/O并行处理方法，其特征是在于所述的输入交换处理单元由帧读取模块、帧头部分析模块、数据传输模块和交换信息获取模块组成。

4.根据权利要求2所述的一种基于FPGA的FC I/O并行处理方法，其特征是，交换信息管理模块的内部处理方法是：

当它接收到总线访问控制模块请求之后，判断该交换对应的交换和序列管理块内需要发送的是单个FC帧还是多个FC帧；

对于只有一个FC帧的交换，则将该FC帧头部各个字段初始化，并将之按照顺序传递给帧封装模块，之后通过总线访问控制模块请求读取存储在内存中数据，在该FC帧发送出去之后，向交换完成通知单元发送一个输出交换完成消息请求；对于包括多个FC帧的交换，交换信息管理模块负责不断更新帧头部内的字段信息，如序列计数、偏移以及帧开始定界符和帧结束定界符；

当所有数据发送完毕之后，再向交换完成通知单元发送一个输出交换完成消息请求；

当接收到输出帧信息暂存模块的重新发送请求，交换信息管理模块按照重新发送请求提供的字段信息，重新从内存中读取该交换需要重新发送的数据，在帧封装模块内重新封装并发送出去。

5.根据权利要求3所述的一种基于FPGA的FC I/O并行处理方法，其特征是，交换信息获取模块的处理方法是：当它获得来自帧头部分析模块传递的头部字段后，通过总线DMA控制单元获取该交换对应的交换和序列管理块；

之后通过比较接收FC帧的字段和交换和序列管理块的字段信息，判断该FC帧是否为异常帧或者错误帧，若是，则通知帧头部分析模块将该FC帧放入控制帧接收队列，由软件进行处理；之后进一步判断该FC帧是否按正常顺序到达，若为期望到达的FC帧，则获取当前内存空间的地址，并将之传递给数据传输模块；

若该FC帧为乱序帧，则根据当前期望偏移或者序列计数与FC帧的偏移或者序列计数，在地址/长度列表内查询，找出当前FC帧的数据应该存放的位置的地址信息，并将之传递给数据传输模块；

当交换信息获取模块检测到一个交换的所有数据接收完毕之后，将通知交换完成通知单元发送一个输入交换完成消息。

6.根据权利要求1所述的一种基于FPGA的FC I/O并行处理方法，其特征是，所述的数据总线是PCI-E、PLB或AXI总线中的一种。

Images