CN101872367A - 采用高速电子开关阵列的板级电路可编程多fpga验证系统 - Google Patents

Abstract

采用高速电子开关阵列的板级电路可编程多FPGA验证系统，硬件包括：采用三维高速电子开关阵列实现同一电路板上多个FPGA芯片间的可编程连接，实现各个FPGA到层叠扩展插座的可编程连接达到系统的层叠扩展，实现各个FPGA到外设扩展插座的可编程连接，层叠扩展系统中上下层间FPGA芯片的可编程连接；采用多级时钟级联方法实现各个FPGA间时钟信号的同步；采用环状总线实现多FPGA和主机的快速通讯。软件包括：系统自检软件工具的实现方法；系统开关阵列用户编程界面和自动计算软件工具的实现方法；基于环状总线实现软硬件协同仿真加速的方法。本发明可用于600万到3000万门规模的ASIC芯片的实时原型验证和硬件加速仿真。

Description

采用高速电子开关阵列的板级电路可编程多FPGA验证系统

技术领域

本发明涉及一种大规模ASIC设计中需要采用的多FPGA原型验证和软硬件协同仿真加速系统设计，采用可扩展的多FPGA方案，以及板级采用的高速电子开关阵列和配套控制软件使得系统在电路板级可编程、可扩展，适合于600万门到3000万门的大规模ASIC芯片的实时原型验证以及软硬件协调加速仿真。通过此验证系统上实现的高速环形总线和配套软件，实现对系统做所有的控制、编程操作；并且通过此高速总线和PLI软件仿真接口实现ASIC芯片的软硬件协同加速仿真器功能，其性能达到软件仿真器速度的10～100倍。

背景技术

基于软件平台、事件驱动的仿真器，拥有多种优点：灵活、容易调试、成本相对低廉，所以已经成为芯片设计的必不可少的验证方法。但是在设计大规模的ASIC芯片或者是越来越普遍的SoC芯片中，软件仿真器的速度只能达到数赫兹到数十赫兹，这样的仿真速度完全无法被接受并且在实际应用中非常困难，传统的软件仿真工具已不可能完全解决功能验证的问题。在一些需要处理大量数据的应用中，如网络通讯处理器、图形和图像处理器、嵌入式CPU设计等等，每个测试程序都将超过数百万个时钟周期甚至数亿个时钟周期，采用软件仿真的方法进行验证，它的周期将达到几天甚至几个月，这是完全无法接受的。况且，SoC系统不可缺少的软硬件协同开发，如驱动开发，操作系统移植等等，往往要求能够在接近实时的条件下进行功能验证。

所以可以用于硬件加速仿真器、和实时原型验证的验证平台在大规模芯片设计中的地位越显重要。随着FPGA芯片等效规模越来越大，价格也趋于合理的形势下，基于FPGA的平台是一种有效的解决方法。

FPGA验证已经成为大规模芯片设计流程中重要的一个环节，一方面作为硬件验证工具，可以将所设计的RTL级代码综合实现后写入FPGA芯片进行调试检错；另一方面可以进行软件部分的并行开发，在验证板上检测驱动程序、启动操作系统。FPGA验证的流程主要分为设计基本层仿真(IP仿真等)、综合、实现、配置下载、下载后板级调试检错这几个步骤。总的来说，FPGA验证是整个芯片设计中一个重要而且有效的验证步骤，用来改进HDL级设计代码，验证功能的正确和完整性，提高芯片的流片成功率。

当前，普遍已经达成的共识就是：一款大规模芯片从设计到能够大规模生产的生命周期越来越短，串行的沿着设计、测试程序开发、芯片原型验证的方法已经不再适用。取而代之的是将工程设计验证测试流程、与生产测试流程并行处理。其核心思想是建立芯片的功能等效原型机，在测试人员进行芯片除错的同时，让软件人员尽早进入到系统应用开发中。这样可以确保芯片功能、性能、应用上到达市场需求，而且配套软件在芯片从晶圆厂一出厂就已经准备好，在降低多次流片风险的同时，显著提高芯片进入市场的速度。

随着ASIC规模按照摩尔定律越来越庞大，选择一款配置灵活、规模可扩展、可持续使用的FPGA验证平台对于系统级芯片验证，就显得极为重要了。

发明内容

本发明的目的是针对规模日趋庞大ASIC设计所面临的一系列验证难题提出的解决方法，提供了一种基于高速电子开关阵列构成的三维连接、且板级电路可编程的多FPGA验证系统，系统除了硬件平台外还包括了配套的软件工具。本系统具有高速、规模可扩展、电路可重构造等多种优点，在用于常规的50Mhz～100Mhz的实时原型验证外，还可用于软硬件协同加速仿真，速度可达到软件仿真器10～100倍，相当于50Khz到1Mhz的实时性能。

采用三维高速电子开关阵列的板级电路可编程多FPGA验证系统，硬件平台包括：

系统主控制板，该主控制板用于控制FPGA扩展板上多个FPGA的芯片编程、时钟提供、高速电子开关编程、以及提供用户在系统控制界面；

FPGA扩展板，该扩展板板载两片或者多片用于验证目的的大规模FPGA，根据目标市场的不同可以采用不同厂商的FPGA芯片，所有的FPGA芯片管腿通过三维高速电子开关单元做如下三种连接：FPGA间，FPGA到上下层的扩展插座间，FPGA到外设插座间；板上带有去延时时钟电路(DLL)，保证各个FPGA间的时钟相位一致；板上所有的高速电子开关控制信号由单独的小容量FPGA芯片进行静态控制。

采用三维高速电子开关阵列的板级电路可编程FPGA验证系统，软件工具包括：

I.系统自检工具，用来检查系统平台上所有的开关以及连接工作是否正常；

II.系统外设子板图形化编辑工具，用来描述扩展外设板的管腿定义；

III.系统开关阵列用户编程界面和自动计算工具软件，在图形界面下通过读入扩展外设板管腿定义文件，和ASIC设计的FPGA顶层连接HDL文件，再通过用户设置外设位置、连接外设管腿到HDL描述文件，自动计算开关通道控制表和FPGA的管腿约束文件；

IV.用于软硬件协同仿真加速的仿真软件PLI接口软件库，以及图形界面下对ASIC设计的FPGA顶层HDL文件增加转换逻辑接口的工具。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明采用的三维开关阵列单元示意和等价电路图。

图2为本发明采用上述三维开关阵列单元实现的扩展板上多个FPGA连接电路示意图。

图3为本发明通过叠加FPGA扩展板后实现的电路连接示意图。

图4为本发明同层FPGA扩展板上各个芯片间的可实现连接。

图5为本发明的叠加系统中上下层FPGA间可实现的网状连接。

图6为本发明中处于主控制板上的第一层次时钟产生和选择电路。

图7为本发明中处于FPGA扩展板上的第二层时钟去延时电路。

图8为本发明最终实现的适合多FPGA系统的时钟数结构。

图9为本发明最终实现的信号反馈广播开关阵列示意，用于软硬件协同加速仿真的非均匀时钟信号到各个FPGA相位的一致。

具体实施方式

本发明在板级采用高速开关阵列实现FPGA芯片间的三维连接结构，使整个系统有别于其他公司的设计，并且在扩展性、重用性、易用性、验证规模上远远超过同类产品。

具体在实施中，本发明采用模块化设计，硬件平台采用主控制系统板和FPGA扩展板分离的方案，核心的开关阵列处于FPGA扩展板上。

首先是系统采用的核心技术：“三维”开关阵列单元。如图1所示的三角立方体和等价开关电路图中，其四个顶点两两间都可以存在连接。这样的结构有多个优点：

I.存在多种连接方式。包含：顶点间全隔离，两个顶点间互连，三个顶点互连，四个顶点互连；

II.从一个顶点到达另外一个顶点有多种灵活的路径，比如从顶点A到B，可以有AB，AC-CB，AC-CD-DB，AD-DB，AD-DC-CB；

III.当两个顶点间的最短路径被占用是，另外两个顶点间就自然可以实现另外一条独立的最短路径，两个路径不会产生干涉。比如，顶点A和B的连接AB被使用，这个时候C和D间的连接CD就可以被独立使用，这样可以最大的利用板上的连线资源。

上面的A，B，C，D表示的是如何在4个点间实现连接，它们之间的连线表示一个等价开关，这样的结构采用6个开关，这是达到所有可能连接的最低成本。由这6个开关搭建的三角立方体是构成整个硬件平台的核心设计思想和关键。

系统的主控制板采用类似PC机的主板结构，上面采用Samsung的ARM926核心的2440芯片作为中央处理器，带有LCD输出和触摸屏输入控制，千兆以太网接口，USB2.0高速传输接口，以及SD卡存储接口。在控制板根据最后实现的叠加层数，有多个和FPGA扩展板连接的标准接口，每个标准接口中主要包含的信号线有：

I.9路全局可编程同步时钟和9路反馈时钟，一路全局复位信号；

II.具有独立知识产权，基于网络包的QuickChip-RINGBUS总线接口。RINGBUS总线控制器由控制板上一块小容量FPGA实现。对于系统中所有高速开关的控制，通过RINGBUS实现编程；

III.FPGA编程和回读接口。

主控制系统采用Linux作为操作系统，带有LCD显示器、触摸屏输入和SD存储卡，通过将工程文件下载到SD卡后可以让平台脱离PC机独立运行。所有FPGA下载，高速开关控制，时钟频率选择，复位等等，都可以通过运行在ARM Linux上的应用程序实现控制。

每个FPGA扩展板可以组成一个最小的验证系统，单系统方案适合于规模小于600万门的IP和ASIC验证。

FPGA扩展板根据根据不同的需求可以采用不同公司或者同一家公司的不同FPGA芯片，但都基于三维高速开关阵列原理，采用的FPGA芯片本身并不是设计的核心关键点。在当前系统中采用了3片Xilinx Virtex5 LX330芯片，每块芯片可以验证相当于200万门的ASIC逻辑。它们从左到右依次等分的排列在PCB上，分别以U1，U2和U3指示。如图2所示，每块芯片周围由一圈高速开关芯片和SAMTEC座子包围，同时每个FPGA配置了两个的SODIMM外设插座。在每块V5LX330下方有另外一片小规模FPGA芯片，在当前系统中采用V5 LX30芯片，通过RINGBUS对此芯片进行编程，实现控制高速开关芯片的通断。通过配套的自动化软件计算和控制开关阵列的通断，可以实现FPGA芯片U1，U2和U3之间，FPGA和外设子板间，FPGA和上下层SAMTEC插座间的连接，以实现系统的板级连接重构。采用开关阵列实现的三维连接方式，使得各个SAMTEC插座和SODIMM插座，都可以和各个FPGA都实现连接，换言之所有的板上连线资源对所有的FPGA都可以使用——实现网络状灵活的系统连接。

在FPGA扩展板下方正反面各有3个200腿的SODIMM插座，也就是每个FPGA扩展板最多可以连接6个SODIMM接口的外设。采用SODIMM接口可以非常方便外设板的插拔，并且插座带锁定功能，确保系统连接的稳定性。在下面的层叠系统中，由于层和层之间的空间有限，采用SODIMM接口使得在添加或更换外设板时，不需要将系统拆开，进一步保障系统的稳定性，改进了同类产品中每次都要拆卸系统，引起一系列稳定性问题。

FPGA扩展板上留有专门的接口用于连接系统主控制板，通过此接口实现：

I.9路全局可编程同步时钟和9路反馈时钟，一路全局复位信号；

II.基于网络包的QuickChip-RINGBUS总线接口。RINGBUS总线控制器由控制板上一块小容量FPGA实现。对于系统中所有高速开关的控制，通过RINGBUS实现编程；

III.FPGA编程和回读接口。

在需要更大规模的ASIC验证中，将FPGA扩展板通过电路板的两面相同位置放置的SAMTEC插座实现物理连接。在上面的FPGA扩展板的描述中已经说到，所有的SAMTEC插座都通过高速电子开关芯片进行连接控制，图5指示的是三层叠加系统中任意FPGA间的可能连接方式。

由于电路板上走线资源丰富，FPGA扩展板根据板上FPGA芯片数目不同可以采用12～16的层PCB工艺设计，以实现系统的稳定性和可实现性。

系统的时钟电路设计：

多FPGA验证系统的时钟品质对于整个系统的成败是关键性的。在ASIC设计中，同一个时钟可以通过ASIC工具保证在芯片内部到各个逻辑的相位一致。在FPGA设计中，时钟相位在同一个FPGA内部也可以由工具保证，但是在各个FPGA间，需要在PCB上做专门的电路，以实现芯片间的相位一致。

在我们的方案中时钟分为两部分，一部分是位于主控制系统板上的时钟生成和选择电路，另外一部分是在各个单系统板上的去延时电路。

图6是ARM主控制板上的时钟原理框图。在ARM的控制下有3x3共9路可编程的时钟锁相环电路(PLL)，产生的9路时钟连接到一块小容量FPGA，同时每个单系统板通过插座反馈回来3路时钟(在此处是3x3共9路)，通过FPGA内部的时钟选择电路，产生新的9路时钟送往单系统板。在此主控制板上，送往3个插座的同一路时钟在电路板上经过同样的阻抗和线长处理，确保同一路时钟到达各个单系统板的延时基本一致，以使板子和板子间的时钟相位调节简单。

主控制板根据叠加规模的不同，分为单插槽，双插槽，三路插槽，四路插槽和最大的五路插槽。在设计中，结构一致。

在各个单系统板子上，每一路时钟经过专门的时钟去延时芯片，框图如图7所示。时钟去延时芯片(DeSkew)采用Cypress公司的CY2305C芯片，通过调节负载电容，可以实现输出时钟和输入时钟间的相位控制。CY2305C带有多个同相位时钟输出，在我们的应用中，将三个输出在PCB上经过等长、等阻抗，连接到三个LX330FPGA芯片的相同时钟输入腿，确保在同一层上，对于同一个时钟，3个FPGA间的时钟相位高度一致。

在层叠系统中，通过将一块单系统板作为参考目标，用高精度示波器同时监测参考板和待调节板上的时钟，通过调节待调节板上的的电容，可以将它们的相位误差控制在0.5ns以内。

上述采用的双层次时钟拓扑结构如图8所示，其设计思想和ASIC芯片内部通常采用的时钟树原理一致，此次我们将此技术应用在电路板设计中。

图9指示的是本发明最终实现的信号反馈广播开关阵列示意，用于软硬件协同加速仿真的非均匀时钟信号到各个FPGA相位的一致，也可以用于实际时钟的反馈广播。在软硬件协同仿真中，待验证设计的时钟和其他激励信号一样由工作站通过通讯数据流传递，所以实际的时钟是不均匀的。当进行设计的FPGA划分后，时钟信号如果直接由一块FPGA送外其他FPGA，在经过FPGA的IO延时和PCB延时后，在各个FPGA内部这路时钟的相位不一致，甚至可以到达5～10ns的误差，在设计中产生寄存器的建立和保持时间的错误，并产生实际的逻辑的非等效错误。通过将这路时钟反馈到外面的等延时开关电路，再回接到各个FPGA，确保时钟相位在FPGA间保持一致。在本系统中出于应用和成本考虑，这样的信号线总共实现为16路，可分为8组。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (6)

1.采用高速电子开关阵列构成三维连接、板级电路可编程多FPGA验证系统，其中硬件包括：

采用高速电子开关实现三维高速电子开关阵列的最小电路单元，并且基于此三维单元实现包括多个FPGA芯片间管腿的可编程互连，FPGA芯片管腿到层叠扩展插座的可编程互连，FPGA芯片管腿到外设扩展插座的可编程连接，层叠扩展系统中上下层间FPGA芯片的可编程连接。

采用高速电子开关实现FPGA间的交叉反馈电路，用于芯片间需要高精度同相位的信号。

采用控制板和FPGA验证板分离的方案，在控制板上布置第一级可编程时钟电路，在FPGA验证板上布置第二级去延时电路，实现各个FPGA板间、各个FPGA芯片间的时钟相位同步和可编程控制。

采用节点带编号的环状总线实现FPGA验证系统和主机工作站间的快速通讯。通过总线上保留的节点号控制所有FPGA芯片的编程，所有电子开关的控制编程；提供用户节点号实现用户设计和主机端软件的交换。

软件包括：系统自检工具软件；外设子板管腿定义图形界面编辑软件；系统开关阵列用户编程界面和自动计算工具软件；基于上述环状总线实现软硬件协同仿真加速的仿真软件PLI接口和自动添加转换接口逻辑的图形化编辑软件。

2.如权利要求1所述的采用高速电子开关阵列构成三维连接，实现板级电路连接可编程多FPGA验证系统，其特征在于，FPGA验证平台在电路板级实现任意FPGA芯片间、FPGA芯片和外设子板间的可编程连接。

3.如权利要求1或2所述的采用高速电子开关阵列构成的三维连接、板级电路可编程多FPGA验证系统，其特征在于，可编程的连接方式使得系统具有强大的可扩展性，通过叠加FPGA板和控制上下层间的开关连接，重新构造新的平台，适合于从IP开发到各个规模的ASIC系统级原型验证。

4.如权利要求1所述的采用三维高速电子开关阵列的板级电路可编程多FPGA验证系统，其特征在于配套的自检软件可以检查系统中所有开关的控制和连接是否正确；配套的外设扩展子板管腿定义图形界面编辑软件，使得用户可以用统一的格式来描述各个外设扩展板的管腿分布；系统开关阵列用户编程界面和自动计算工具软件，让用户对平台的配置在直观的图形界面下进行，自动生成各个FPGA的管腿约束文件，省却用户繁琐和容易出错的人工编辑工作。

5.如权利要求1所述的采用三维高速电子开关阵列的板级电路可编程多FPGA验证系统，其特征在于基于环状总线实现软硬件协同仿真加速的仿真软件PLI接口，和用来添加转换接口逻辑的图形化用户程序，使得平台可用于大规模ASIC设计的软硬件协同加速仿真。

6.如权利要求1所述的高速电子开关实现FPGA间的交叉反馈电路结构，其特征在于从系统中某个FPGA芯片反馈的信号经过电路板上的开关阵列后广播到包括源FPGA的各个FPGA芯片，到达各个芯片管腿的延时一致，可用于软硬件协同加速仿真中的非均匀时钟信号的传递。

Images