CN101335602A

CN101335602A - 一种基于fpga的点到多点udp实时数据发送和确认方法

Info

Publication number: CN101335602A
Application number: CNA2008101240721A
Authority: CN
Inventors: 庞吉耀
Original assignee: NANJING PANENG ELECTRIC POWER TECHNOLOGY CO LTD
Current assignee: NANJING PANENG ELECTRIC POWER TECHNOLOGY CO LTD
Priority date: 2008-06-11
Filing date: 2008-06-11
Publication date: 2008-12-31
Anticipated expiration: 2028-06-11
Also published as: CN101335602B

Abstract

基于FPGA的点到多点UDP实时数据发送和确认方法，步骤如下：(1)首先建立由多个过程量采集控制终端、基于FPGA的通信控制装置和一个或多个上层数据处理装置组成的实时数据采集控制系统；(2)在工控机系统中配置通用网络接口卡和实时操作系统(RTOS)构成上层数据处理装置；(3)在通信控制装置到上层数据处理设备的UDP数据报的应用数据首部增加ACK字段；(4)通信控制装置在接收到上层数据处理装置的UDP数据报后进行转发仲裁；(5)数据处理装置在接收到UDP数据报后检查ACK字段中与自己关联的值，若为1则表示当前帧已被确认，否则在发送定时器溢出后重发当前帧。

Description

一种基于FPGA的点到多点UDP实时数据发送和确认方法

一、技术领域

本发明涉及FPGA应用和基于以太网UDP实时数据点到多点传输方法和流量控制机制，适合需要实时传输即刻采样数据并对控制或调节命令要求实时可靠传输场合的分布式采集和集中数据处理的电力系统保护领域和工业控制领域。

二、背景技术

在电力系统继电保护和工业控制领域，为了提高响应速度和对异步事件精确时序分析，需要对过程量进行高速同步采样并实时传输。为了降低系统复杂度和成本及冗余处理需要，越来越多强调数据共享，对生产中的过程量一次数据采集并在网络上发布，联网多个处理节点可以共享数据并发布控制或调节命令。如正在广泛研究的数字化变电站正是基于上述思想的典型应用，通过对过程层数据进行采样并发布，实现多个继电保护装置共享采样数据，可以有效减少采集控制设备的数量和系统复杂性和投资。

目前基于以太网的传输方法主要是点到多点广播或多播。基于多播或广播发布者/订阅者通信结构在复杂的分布式系统中应用广泛[7]，它可在各通信节点之间形成点对多点的直接通信，一个或多个数据源(即发布者)向多个接收者(即订阅者)发送数据，尤其适合于数据流量大且实时性要求高的数据通信。参考文献：

1.沈鑫剡交换式以太网原理技术及实现1999人民邮电出版社

2.W.Richard Stevens著范建华等译 TCP/IP协议详解卷1：协议2000机械工业出版社

3.杨维娜，鲍伟廉.PCM系统传送继电保护数据的信号处理.电力系统通信，1992(2)

4.殷志良刘万顺杨奇逊秦应力基于IEC61850标准的过程层总线通信研究与实现

电力系统自动化.2004，28(11).-57-61

5.IEC 61850-5.Communication Networks and Systems in Substations，Part5：Communication Requirements for Functions and Device Models.2003.

6.殷志良刘万顺杨奇逊秦应力基于 IEEE 1588实现变电站过程总线采样值同步新技术电力系统自动化.2005，29(13).-60-63

7.孙军平，盛万兴，王孙安，等.基于以太网的实时发布者/订阅者模型研究与实现[J].西安交通大学学报，2002，36(12)

目前现有的点到多点的数据传输方法的有以下几点不足之处：

(1).由于多播系统从IP地址到以太网地址映射是不唯一的，那么设备驱动程序或IP层就必须对数据报进行过滤。在一个主机上可能存在多个属于同一多播组的进程，所以当主机接收到多播数据报时，它必须向属于那个多播组的每个进程传送一个复制，增加了系统开销。

(2).交换机的接口必须工作在全双工方式下，对组播包和广播包无地址过滤能力，如果同一个物理子网上存在多个实时广播的数据源，来自于其他端口的数据可能相互影响，系统将无法正常工作。

(3).确认多个数据处理装置的下行数据报需要额外的报文，而交换设备的上行带宽不能全部用来传输实时采样数据，虽然可以通过增加带宽来解决，但以增加系统成本和传输距离为代价。

(4).在几个端口同时向一个端口实时交换数据时，导致缓冲溢出。由于帧丢失由上层协议解决，势必大大增加延时，同时帧重传也加剧了网络流量。增加帧缓冲器是解决问题之一，但不能完全解决，而且增加成本。尤其是在分布式采集，集中数据处理或系统冗余的场合，上述情况发生是必然的，冗余工作的数据处理装置同时向同一个采集控制节点发送实时控制命令的几率非常高，而且当前的方法在实时性方面得不到保证。

(5).在交换式以太网上做实时UDP广播/组播时，数据从交换机的不同端口输出的时延是不一致的，满足不了对数据同步处理和实时性要求高的应用场合。

三、发明内容

本发明的目的是基于FPGA实现多个收发分离的MAC控制器，构成点到多点的全双工以太网通道，并通过一组传输规则实现实时UDP数据报点到多点的传输和确认。

本发明是通过这样方案实现的：一种基于FPGA的点到多点UDP实时数据发送和确认方法，其特征是步骤如下：

(1)首先建立由多个过程量采集控制终端、基于FPGA的通信控制装置和一个或多个上层数据处理装置组成的实时数据采集控制系统；通信控制装置收集过程量采集控制装置的实时采样数据并通过工业以太网将数据同步发送到上层若干个数据处理设备，数据处理设备的下行控制命令经过通信控制装置分发到各个过程量采集控制终端；

(2).在工控机系统中配置通用网络接口卡和实时操作系统(RTOS)构成上层数据处理装置；

(3).在通信控制装置到上层数据处理设备的UDP数据报的应用数据首部增加ACK字段，ACK字段的每位对应一个上层数据处理装置的地址或装置名，将ACK字段的每位通过一种映射规则对应到一个上层数据处理装置，用来确认来自数据处理装置的UDP数据报；

(4).通信控制装置在接收到上层数据处理装置的UDP数据报后进行转发仲裁，若允许转发则将ACK字段与该数据处理设备对应的位写1并传输一次采样数据同时向下转发数据报，在下一次传送时随后复归此位；

(5).数据处理装置在接收到UDP数据报后检查ACK字段中与自己自己关联的值，若为1则表示当前帧已被确认，可以下发新的数据报，否则在发送定时器溢出后重发当前帧；

(6).通信控制装置在接收到上层数据处理装置的UDP数据报后进行转发仲裁，若允许转发则将ACK字段与该数据处理设备对应的位置1并传输一次采样数据同时向下转发数据报，在下一次传送时随后复归此位；通信控制装置ACK字段的不同位可同时确认多个上层UDP数据报；

(7).数据处理装置在接收到UDP数据报后检查ACK字段中与自己关联的位，若为1则表示当前帧已被确认，可以下发新的数据报，否则在发送定时器溢出后重发当前帧；

(8).利用在过程量采集控制终端和数据处理装置的对等高层设置的帧计数器处理重复接收到的UDP数据报。

通过步骤(1)到(8)可以实现UDP数据的点到多点转发和下行数据实现流量控制和差错控制。

在(1)中通过下面的方法构建步骤(1)所述的通信控制装置：

①在FPGA上分别构建以太网MAC层发送控制器和接收控制器，外接网络物理层接口芯片(PHY)组成多个全双工以太网物理通道；

②把所有MAC控制器的读数据总线和写数据总线及地址总线分别连接在一起接至CPU/SGDMA(scatter-gather DMA)，再把所有发送部件的写使能连接在一起，由CPU/SGDMA的一个写使能信号控制，每个接收部件的读选通信号分别由CPU/SGDMA控制；即读选通分离，利用独立的接收中断信号启动CPU/SGDMA。

③在FPGA上构建一个本地采样定时器或引入外接同步信号，在采样定时器或外接采样同步信号的控制下启动MAC控制器同步发送采样数据，通过查询MAC控制器的接收状态，判定是否接收到下行数据；

在FPGA上设有过程层数据接口用来接收来自采集控制装置的过程层采样数据。由CPU解析UDP的头部信息，由SGDMA负责MAC控制器的收发数据搬移；

本发明在外接采样同步信号或采样定时器控制下，CPU/SGDMA将来自下层的数据同步地写入所有连接在一起的MAC控制器的发送部件，实现点到多点的实时采样数据同步转发。

本发明的意义在于没有专门的确认报文，上行实时采样数据可以利用全部网络带宽同时保证下行数据报的传输可靠性和实时性且没有网络传输冲突，而网络带宽全部利用就意味着可以减少网络互连设备，减少投资和系统故障点。

本发明的有益效果和特点是：

(1).由通信控制装置到数据处理装置之间基于UDP单播。

(2).由数据处理装置到采集控制装置的下行数据报采用确认传输机制，不会导致接收缓冲溢出而丢失用户帧，没有冲突，可以获得稳定的下行流量，传输时延稳定。

(3).本发明的网络接口由于采用确认传输和流量控制，发送和接收只需要双缓冲，对网络接口存储器消耗小，易于利用FPGA的片上Block RAM实现高速传输，系统布局布线简单。

(4).通过在UDP数据报的用于数据字段中增加一个32位组(需要时可以扩充位宽来增加可确认的节点数目)的确认字段，在一个通信控制装置和多个数据处理装置之间建立1-bit逻辑确认通道，实现对来自多个数据处理装置的UDP数据确认。

(5).由于没有专门的上行确认报文，仅在上行采样数据中确认字段进行捎带确认，所以实时采样数据传输可以占据网络全部带宽，网络利用率高。

(6).将MAC控制器分为MAC_RX/MAC_TX两部分，通过图2的连接方法，可以向多个端口同时发送实时数据而不需要增加处理器或DMA带宽或器件工作频率。

(7).采用定长UDP数据报传送实时采样数据，绝对时标和采样计数器在MAC控制器发送时添加，报文传输由采样定时器启动，传输时刻和传输时延固定.接收方在MAC控制器接收部分解析绝对时标，利用采样计数器判断采样数据包是否丢失，组合绝对时标实现多个处理装置之间同步计算。

四、附图说明

图1基于UDP数据报的点到多点数据发送和确认系统结构图

图2通信控制装置发送确认帧状态变迁图

图3基于分离总线的多点转发电路结构

图4数据处理装置接收确认帧状态变迁图

五、具体实施方式

本发明非常适合集中式实时过程控制器/调节器或对响应时间要求苛刻的继电保护系统以及使用冗余配置的实时处理系统，典型系统体系结构如下：

1.基于以太网多节点采集控制系统构成

如图1所示，图1是典型的分布式采集控制，数据集中处理，控制命令集中下发，不同的数据处理装置(以下简称DPE)之间没有数据交换，数据处理装置可以完成独立功能，也可以冗余配置，取决于高层的应用配置和可靠性考虑。

系统中，采集控制装置(以下简称DAE)负责过程量采集和执行输入输出或操纵调节机构，采集控制装置和(以下简称DCE)之间通过现场总线或专用连接交换数据。通信控制装置多个数据处理装置利用以太网，传送实时采样数据，并转发和仲裁来自数据处理装置的下行控制/调节命令。本发明涉及通信控制装置和数据处理装置之间的基于UDP的数据转发和下行数据报的多点确认。

2.基于FPGA的以太网交换体系

图3中基于分离总线的交换电路结构，如图3所示：

本发明中的通信控制装置由于需要接入下层的采集装置并向上转发实时采样数据，同时需要接收来自上层多个数据处理装置的实时调节命令，数据量大，实时性要求高，所以适合基于FPGA的片上交换系统(图2中粗线框中体系结构)，而数据处理装置只需要普通带有以太网接口的工控主机并选用硬实时RTOS即可。

本发明利用FPGA的丰富的片内布线资源实现分离总线结构，通过为读写各配置DMA可以实现读写全双工操作.图3中细线框中为MAC控制器又分为接收和发送两个独立部件。把所有MAC的写控制信号Wren连接在一起，一次写操作可以将采样数据同时写到多个MAC的发送缓冲，多个MAC控制器的发送使能在采样同步信号SYNC的控制下同时向物理层输出数据，保证连接在不同端口上的数据处理装置在同一时刻接收到采样数据，理论上上述误差＜20ns。本发明将MAC控制器接收部件单独处理，MAC控制器同CPU/SGDMA采用Memory方式接口，CPU和SGDMA可以分别按地址操作UDP数据报的特定字段，简化逻辑设计提高运行效率。

3.数据缓冲和中断

本发明为每个MAC控制器指定一个本地MAC地址和与之关联的远方MAC地址，在采样同步脉冲(图3中为SYNC信号)控制下等间隔地向各个端口发送实时采样数据，系统设计时保证在一个采样间隔内完成数据传输，所以发送部分不需要中断，也不会产生多播或广播引起的接收方协议栈对数据的重复复制。接收部分接收到的数据报，在通过MAC层的CRC校验后向CPU申请中断，软件通过查询中断标志寄存器实现向上确认和向下转发。利用CPU分析数据报的头部，在确认数据传输后启动DMA完成数据传输。

4.应用数据结构

本发明采样定长UDP数据报传送采样数据，通过在UDP数据报应用数据字段添加如下APP首部实现确认和流量控制机制的。本发明应用数据帧结构如表所示：

24-bit绝对时标TL

24-bit绝对时标TH

16-bit采样计数器

32-bit确认字段ACK

用户数据

绝对时标TL标记在一秒钟内参考时钟计数值，参考时钟为10Mhz。绝对时标TH是一天内时分秒的二进制值，即绝对时标TH＝时x3600+分x60+秒.该时钟在发送时由MAC控制器从实时时钟控制器获取。

采样计数器用来标记当前上行数据采样序号，该序号每个采样间隔加1，高层的数据处理装置利用采样计数器判别是否丢失数据报并采取策略。由于本发明的数据传输时延固定，同时多个并行工作的数据处理装置可以利用采样计数器实现同步计算。

5.确认和流量控制

本发明采用32-bit的确认字段，每个bit对应一个数据处理装置，可以对32个数据处理装置的下行数据报进行确认(通过增加ACK字段的位数可以增加需要确认数据处理装置的数量)，分别用<ACK>n表示，n(＝0，1，...31)为数据处理装置序号。ACK定义如下：

ACK0＝0，表示当前传输的数据报中不含确认信息；

ACK1＝1，表示当前传输的数据报已被确认，发送方可以发送新的数据报；

ACK由通信控制装置产生，当接收到数据报后连续向上层ACK报文，即在对应每个数据处理装置确认字段上填充ACK1，接收方监视ACK，当发现ACK不为0则表示当前数据报被确认转发可以发送新的数据报，否则等待.

6.状态变迁图

本发明的UDP数据确认的过程可由下面的状态机描述，状态转换图包含状态名称和状态转换条件。见图2通信控制装置发送确认帧状态变迁图。

6.1.通信控制装置发送部件状态变迁通信控制装置向上确认UDP数据报的状态变迁图如下图2所示，通信控制装置的状态机正常情况下处于ACK_IDLE(即ACK字段值为0)，当通信控制装置接收到来自DPE的数据报后转入WaitSend等待转发仲裁器结果，允许转发后，向下转发数据同时向上传送确认报文，并转入ACK_1，最后回到ACK_IDLE状态完成一次数据确认过程，每个状态的动作如下：

ACK_IDLE：等待DPE下行数据，如果没有下行数据则在上行ACK字段填充00

如果接收到一帧数据则转入WaitSend转发仲裁状态.

WaitSend：等待转发仲裁器结果，如果允许转发当前数据报则向下转发数据，向对应的数据处理装置发送确认报文，随后转入ACK1.

6.2.数据处理装置接收部件状态变迁数据处理装置等待确认状态机入图4所示，采用先进先出的队列要发送的数据报，如果有新的数据报要发送则创建一个发送帧并转入Send状态，在Send状态发送数据报并等待确认，状态变迁条件描述如下：

CHECK_SEND：检查发送队列，如果有待发数据报则转CREATE_PACKET否则等待。

CREATE_PACKET：从发送队列中读出一个应用数据分组，创建一个新的发送帧并转状态Send.

Send：发送当前帧，启动发送定时器并转ACK_WAIT，等待数据通信控制装置确认。

ACK_WAIT：若接收到的ACK字段值则清除发送定时器并转入状态WAIT_ACK_IDLE，当发送定时器溢出则认为当前下行数据报丢失，转入Send状态重发当前帧。

WAIT_ACK_IDLE：等待确认报文结束，接收到ACK0则转入CHECK_SEND，否则等待.

6.3.通信控制装置的转发仲裁机制

为保证所有数据处理装置下行的数据报机会均等地被转发，通信控制装置利用端口计数器rx_num(系统初始化时为0，系统中最大端口号为MAX_PORT_NUM)和下面无优先级的轮询算法给出当前转发的数据包。

(a).循环变量n置1

(b).检查当前端口接收状态和连接状态，如在rx_num指定的端口存在物理连接而且在当前端口接收到数据则转入步骤(c)，否则转步骤(d)

(c).则转发当前端口数据，向rx_num指定的端口发送确认信息。

(d).当前端口计数器rx_num＝(rx_num+1)mod MAX_PORT_NUM，循环变量加1

(e).如果循环变量为最大端口数MAX_PORT_NUM，则转步骤(a)。

7.确认帧丢失处理

在确认帧丢失的情况下，数据处理装置会重发当前帧，在采集控制装置中可能会接收到内容相同的帧，只要数据处理装置高层发送报文中增加帧计数字段，在采集装置的对等层中如果发现有帧计数相同的帧简单丢弃即可。

Claims

1、一种基于FPGA的点到多点UDP实时数据发送和确认方法，其特征是步骤如下：

(2)在工控机系统中配置通用网络接口卡和实时操作系统(RTOS)构成上层数据处理装置；

(3)在通信控制装置到上层数据处理设备的UDP数据报的应用数据首部增加ACK字段，ACK字段的每位对应一个上层数据处理装置的地址或装置名，将ACK字段的每位通过一种映射规则对应到一个上层数据处理装置，用来确认来自数据处理装置的UDP数据报；

(4)通信控制装置在接收到上层数据处理装置的UDP数据报后进行转发仲裁，若允许转发则将ACK字段与该数据处理设备对应的位写1并传输一次采样数据同时向下转发数据报，在下一次传送时随后复归此位；

(5).数据处理装置在接收到UDP数据报后检查ACK字段中与自己关联的值，若为1则表示当前帧已被确认，可以下发新的数据报，否则在发送定时器溢出后重发当前帧；

2、根据权利要求1所述的基于FPGA的点到多点UDP实时数据发送和确认方法，其特征是通过下面的方法构建通信控制装置：

(1).在FPGA上分别构建收发分离的以太网MAC层发送控制器和接收控制器，外接网络物理层接口芯片(PHY)组成多个全双工以太网物理通道；

(2).把所有MAC控制器的读数据总线和写数据总线及地址总线分别连接在一起接至CPU/SGDMA，再把所有发送部件的写使能连接在一起，由CPU/SGDMA的一个写使能信号控制，每个接收部件的读选通信号分别由CPU/SGDMA控制；即读选通分离，利用独立的接收中断信号启动CPU/SGDMA；

(3).在FPGA上构建一个本地采样定时器或引入外接同步信号，在采样定时器或外接采样同步信号的控制下启动多个MAC发送控制器同步发送采样数据，实现点到多点的实时采样数据同步转发；通过查询MAC发送控制器的接收状态，判定是否接收到下行数据；

(4).在FPGA上设有过程层数据接口用来接收来自采集控制装置的过程层采样数据。由CPU解析UDP的头部信息，由SGDMA负责MAC控制器的收发数据搬移；

3、根据权利要求1所述的基于FPGA的点到多点UDP实时数据发送和确认方法，其特征是通信控制装置通信控制装置利用端口计数器rx_num(初值为0，最大为MAX_PORT_NUM)和下面算法给出当前转发的数据包。

(a).循环变量n置1

(c).则转发当前端口数据，向rx_num指定的端口发送确认信息。

(d).当前端口计数器rx_num＝(rx_num+1)mod MAX_PORT_NUM，循环变量加1

(e).如果循环变量为最大端口数MAX_PORT_NUM，则转步骤(a)

4、根据权利要求1所述的基于FPGA的点到多点UDP实时数据发送和确认方法，其特征是：在通信控制装置上行UDP数据报的应用数据首部增加ACK字段，每bit对应一个上层数据处理装置，ACK字段的某位置1表示向对应的数据处理装置确认数据已被转发。

5、根据权利要求1所述的基于FPGA的点到多点UDP实时数据发送和确认方法，其特征是通过下面的规则处理ACK丢失和报文重发以及冗余报文删除：

(1)数据处理装置检查通信控制装置上行UDP数据报的ACK字段，若与自己对应的位为1则传输新的数据报，否则等待超时重发当前帧。

(2)在数据处理装置高层发送报文中增加帧计数字段，采集装置对等层丢弃帧计数重复的帧。