CN111031244A - 一种基于fpga+gpu异构计算平台的波前处理控制方法 - Google Patents

一种基于fpga+gpu异构计算平台的波前处理控制方法 Download PDF

Info

Publication number
CN111031244A
CN111031244A CN201911299281.4A CN201911299281A CN111031244A CN 111031244 A CN111031244 A CN 111031244A CN 201911299281 A CN201911299281 A CN 201911299281A CN 111031244 A CN111031244 A CN 111031244A
Authority
CN
China
Prior art keywords
wavefront
fpga
slope
computing platform
gpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911299281.4A
Other languages
English (en)
Inventor
曾凤娇
文良华
杨康建
杨平
王帅
伍明
徐百威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN201911299281.4A priority Critical patent/CN111031244A/zh
Publication of CN111031244A publication Critical patent/CN111031244A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于FPGA+GPU异构计算平台的波前处理控制方法，其处理过程为camera link full高速相机通过开窗口达到上千帧的采集速度，图像送入FPGA进行采集和斜率计算两个部分，再将数据通过PCIE协议送入GPU上进行波前复原运算，然后将数据送回到FPGA的控制运算单元得到控制信号，最后通过D/A通信卡，得到驱动信号送入到高压放大器中，完成波前处理控制；本发明在于挖掘GPU、FPGA并行计算的潜力，充分利用FPGA资源配置来进行时序逻辑，采用流水线设计及子任务并行处理的方式，缩短了延迟时间，提升了系统校正能力。

Description

一种基于FPGA+GPU异构计算平台的波前处理控制方法
技术领域
本发明属于波前处理控制技术领域，涉及一种基于FPGA+GPU异构计算平台的波前处理控制方法，适用于自适应光学系统波前处理。
背景技术
自适应光学以光学波前为控制对象，进行实时测量、控制和校正，以相位共轭补偿技术为基本原理，补偿受动态扰动所造成的波前畸变，使光学系统具有自动适应外界条件变化从而保持最佳工作状态的能力。波前处理机作为自适应光学系统的核心，将波前传感器传来的波前畸变信息转化为波前校正器所需的控制信号，以完成系统的闭环控制。当系统受到的扰动频率较高时，相应的控制带宽也较高。而在采样频率一定的情况下，要提高系统控制带宽，就需要提高波前处理机的计算速度，减小系统时延。为此，波前处理机的硬件架构和计算流程成为研究重点。
1978年，John W.Hardy首次利用模拟网络实现自适应光学的实时校正(参见HardyJ W.Active optics:A new technology for the control of light[J].Proceedings ofthe IEEE,2005, 66(6):651-697.)。1996年，美国SOR部门使用1024片DSP完成941单元的自适应光学系统的实时处理。(参见LEE D J,ELLERBROEK B L,CHRISTOU J C.First resultsof the Starfire Optical Range 3.5-m telescope adaptive optics system:pointspread functions and tracking performance[J].Astronomical Telescopes andInstrumentation,1998.)2010年，Keck望远镜系统使用多核CPU+GPU+FPGA的异构计算平台实现延迟小于600s的波前处理。(参见Marc Reinig,Donald Gavel,et.Al.,“Real-timecontrol for Keck Observatory next- generation adaptive optics”[J],Proc.SPIE,2010,Vol.7736,77363J:pp.1-12)2010年，欧洲南方天文台在SPARTA系统使用CPU+DSP+FPGA的异构计算平台去应用在不同的天文系统中。(参见FEDRIGO E,DONALDSON R,SOENKEC,et al.SPARTA:the ESO standard platform for adaptive optics real timeapplications[J].Proc Spie,2006,627210--10.)2018年，董玉磊使用CPU+GPU+FPGA进行了349单元变形镜闭环校正实验，延迟小于235s。(参见基于GPU的自适应光学系统波前处理算法实时性研究[D]；中国科学院大学(中国科学院长春光学精密机械与物理研究所),2018.)异构计算台逐渐成为波前处理机的主流设计。但目前主流的波前处理机都以CPU为主，通常采用CPU+各种协处理器，对FPGA+GPU的异构计算平台研究较少。
因此，本发明提出基于一种基于FPGA+GPU异构计算平台的波前处理控制方法。
发明内容
本发明要解决的技术问题是：为面对超大规模望远镜中配置几万到十万的驱动器单元数而导致的波前处理机计算量巨大，而波前处理机又必须尽可能快地完成波前处理控制的情形，同时也为探索适应未来2000单元以上的自适应光学系统，本发明提供一种基于FPGA+GPU 异构计算平台的波前处理控制方法，利用FPGA和GPU在并行计算方面的优势来满足未来 AO系统大单元数的计算需求。此外，此方法还有运算效率高、功耗低、体积小的优势。
本发明采用的技术方案是：一种基于FPGA+GPU异构计算平台的波前处理控制方法，其步骤如下：
步骤(1)：波前传感器采集到图像信息后发送给异构计算平台，其中波前传感器为CCD 相机或者CMOS相机，异构计算平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和DDR3 SDRAM，通信协议为camera link协议和PCIE协议；
步骤(2)：异构计算平台采集到波前传感器的图像数据后开始进行斜率计算，并将数据送入缓存单元；
步骤(3)：通过斜率计算得到的波前平均斜率送入异构计算平台的波前复原和控制运算进行处理；
步骤(4)：通过异构计算平台处理后的控制信号通过数字模拟信号转换通信卡(D/A) 输出到高压放大器中。
进一步地，所述步骤(1)中传感器为CCD相机或者CMOS相机，均支持camera link协议。
进一步地，所述步骤(1)中传感器与图像采集单元使用camera link协议进行通信。 Camera link协议使用低压差分信号(LVDS)进行数据的传输和通信，其中4对LVDS负责相机控制信号，1对LVDS负责相机和图像采集卡之间的异步串行通信。
进一步地，所述步骤(1)中图像采集单元、斜率计算单元、控制运算单元均使用FPGA Xilinx Virtex-7系列——高达2M逻辑单元，实现2.8Tb/s总串行带宽，支持96x13.1GGTs、 16x28.05G GTs、5,335G MACs、68Mb BRAM、DDR3-1866。
进一步地，所述步骤(1)中斜率计算单元可以集成到图像采集单元的FPGA卡一并完成。
进一步地，所述步骤(1)中波前复原单元使用GPU NVIDIA Jetson TX2系列——NVIDIA Jetson TX2采用NVIDIA PascalTMGPU、高达8GB内存、59.7GB/s内存带宽，提供丰富的标准硬件接口。
进一步地，所述步骤(3)中斜率计算单元与波前复原单元之间使用PCIE协议进行通信；波前复原与控制运算单元之间使用PCIE协议进行通信。
本发明与现有技术相比有如下优点：
(1)充分发挥FPGA的I/O处理能力和GPU并行计算优势，利于搭建2000单元自适应光学系统实时处理架构，并大大减少系统计算时间；
(2)将图像采集卡充分利用起来，在图像采集后即在FPGA上进行斜率计算，减少传输延迟；
(3)使用PCIE协议进行FPGA与GPU的通信，克服了FPGA与GPU之间无法进行直接内存访问的问题；
(4)FPGA功耗低，而采用的NVIDIA Jetson TX2功耗仅为7.5瓦，能效是当今最先进的桌面级CPU的25倍以上，该异构计算平台降低了系统功耗；
(5)FPGA可以通过TX2的PCIE插槽集成到TX2上，而TX2载板尺寸为50毫米x87 毫米，相较现有系统，该异构计算平台极大提升了系统集成度。
附图说明
图1为本发明的自适应光学系统示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚明白，以下结合具体实施例子，参照附图对本发明进一步详细说明。
实例系统1中由图像传感器、图像采集单元、斜率计算单元、波前复原单元、控制运算单元和通信卡。
在Shack-Hartman传感器组成的自适应光学系统里，对系统上电并配置完毕参数后，先用平行光照射透镜阵列进行子孔径光斑质心标定，将数据缓存至FPGA上的高速缓存单元 DDR3 SDRAM。
图像传感器通过开窗达到系统要求的帧频后采集图像，图像数据通过cameralink协议逐像素点地读入到FPGA上的图像采集单元。FPGA通过自身流水线设计，设置提前量，在整理像素的同时调整时钟，利用像素数据计算波前斜率。计算中间数据放入高速缓存单元 DDR3 SDRAM，需要时再取出。然后图像和计算结果按照一定的格式打包通过PCIE端口点对点送入GPU里进行波前复原。接着GPU完成计算后又通过PCIE传入到控制运算单元。最后数据通过数字模拟信号转换通信卡(D/A)输出到高压放大器中。
一种基于FPGA+GPU异构计算平台的波前处理控制方法，其步骤如下：
步骤(1)：波前传感器采集到图像信息后发送给异构计算平台，其中波前传感器为CCD 相机或者CMOS相机，异构计算平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和DDR3 SDRAM，通信协议为camera link协议和PCIE协议；
所述步骤(1)中传感器为CCD相机或者CMOS相机，均支持camera link协议。
所述步骤(1)中传感器与图像采集单元使用camera link协议进行通信。Cameralink协议使用低压差分信号(LVDS)进行数据的传输和通信，其中4对LVDS负责相机控制信号， 1对LVDS负责相机和图像采集卡之间的异步串行通信。
所述步骤(1)中图像采集单元、斜率计算单元、控制运算单元均使用FPGA XilinxVirtex- 7系列——高达2M逻辑单元，实现2.8Tb/s总串行带宽，支持96x13.1G GTs、16x28.05G GTs、5,335G MACs、68Mb BRAM、DDR3-1866。
所述步骤(1)中斜率计算单元可以集成到图像采集单元的FPGA卡一并完成。
所述步骤(1)中波前复原单元使用GPU NVIDIA Jetson TX2系列——NVIDIAJetson TX2采用NVIDIA PascalTMGPU、高达8GB内存、59.7GB/s内存带宽，提供丰富的标准硬件接口。
步骤(2)：异构计算平台采集到波前传感器的图像数据后开始进行斜率计算，并将数据送入缓存单元；
所述步骤(2)中的斜率计算方式为：
在Shack-Hartman传感器组成的自适应光学系统里，先用平行光照射透镜阵列进行子孔径光斑质心标定，再测量畸变波前入射后子孔径质心的漂移量。
根据公式：
Figure BDA0002321454970000051
Figure BDA0002321454970000052
得到子孔径斜率数据后，进行波前复原计算；
其中，f为微透镜焦距，Ii为像素i收到的信号，Xi，Yi是第i个像素的坐标，S为子孔径面积，λ为中心波长，(Gx，Gy)为波前平均斜率，(Xc，Yc)为光斑质心坐标。
步骤(3)：通过斜率计算得到的波前平均斜率送入异构计算平台的波前复原和控制运算进行处理；
所述步骤(3)中斜率计算单元与波前复原单元之间使用PCIE协议进行通信。
所述步骤(3)中波前复原与控制运算单元之间使用PCIE协议进行通信。
所述步骤(3)中的波前复原计算采用国内最常采用的直接斜率波前复原算法，不需要知道波前相位的具体值，只需要得到波前校正器各个驱动器需要的控制电压，其公式为：
G＝RxyV
其中，Rxy为变形镜到哈特曼传感器的斜率响应矩阵，可随时由传感器测量得到，G是需要校正的波前像差斜率测量值。
所述步骤(3)中的控制运算把复原出的残余电压经过控制算法，得到驱动器控制电压，通常采用PID控制算法。采用的比例-积分传函控制器公式为：
Figure BDA0002321454970000053
其中，C(S)为控制器的拉普拉斯变换，Kc是控制系数。
步骤(4)：通过异构计算平台处理后的控制信号通过数字模拟信号转换通信卡(D/A) 输出到高压放大器中。
本发明并不局限于上述的具体实施方式，上述的实施方式仅仅是示意性的，而不是限制性的。本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims (7)

1.一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：包括：
步骤(1)：波前传感器采集到图像信息后发送给异构计算平台，其中波前传感器为CCD相机或者CMOS相机，异构计算平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和缓存单元，通信协议为camera link协议和PCIE协议；
步骤(2)：异构计算平台采集到波前传感器的图像数据后开始进行斜率计算，并将数据送入缓存单元；
步骤(3)：通过斜率计算得到的波前平均斜率送入异构计算平台的波前复原和控制运算进行处理；
步骤(4)：通过异构计算平台处理后的控制信号通过数字模拟信号转换通信卡(D/A)输出到高压放大器中。
2.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(1)中，传感器为CCD相机或者CMOS相机，均支持camera link协议；
所述步骤(1)中传感器与图像采集单元使用camera link协议进行通信，Camera link协议使用低压差分信号(LVDS)进行数据的传输和通信，其中4对LVDS负责相机控制信号，1对LVDS负责相机和图像采集卡之间的异步串行通信；
所述步骤(1)中图像采集单元、斜率计算单元、控制运算单元均使用FPGA XilinxVirtex-7系列——高达2M逻辑单元，实现2.8Tb/s总串行带宽，支持96x13.1G GTs、16x28.05G GTs、5,335G MACs、68Mb BRAM、DDR3-1866。
3.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(2)中斜率计算单元可以集成到图像采集单元的FPGA卡一并完成；
所述步骤(2)中缓存单元为DDR3 SDRAM；
所述步骤(2)中斜率计算单元与波前复原单元之间使用PCIE协议进行通。
4.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(3)中波前复原单元使用GPU NVIDIA Jetson TX2系列——NVIDIA JetsonTX2采用NVIDIA PascalTMGPU、高达8GB内存、59.7GB/s内存带宽，提供丰富的标准硬件接口；
所述步骤(3)中波前复原与控制运算单元之间使用PCIE协议进行通信。
5.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(2)中的斜率计算为：在Shack-Hartman传感器组成的自适应光学系统里，先用平行光照射透镜阵列进行子孔径光斑质心标定，再测量畸变波前入射后子孔径质心的漂移量，根据公式：
Figure FDA0002321454960000021
Figure FDA0002321454960000022
得到子孔径斜率数据后，进行波前复原计算；
其中，f为微透镜焦距，Ii为像素i收到的信号，Xi，Yi是第i个像素的坐标，S为子孔径面积，λ为中心波长，(Gx，Gy)为波前平均斜率，(Xc，Yc)为光斑质心坐标。
6.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(3)中的波前复原计算采用国内最常采用的直接斜率波前复原算法，不需要知道波前相位的具体值，只需要得到波前校正器各个驱动器需要的控制电压，其公式为：
G＝RxyV
其中，Rxy为变形镜到哈特曼传感器的斜率响应矩阵，可随时由传感器测量得到，G是需要校正的波前像差斜率测量值。
7.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(3)中的控制运算把复原出的残余电压经过控制算法，得到驱动器控制电压，通常采用PID控制算法，采用的比例-积分传函控制器公式为：
Figure FDA0002321454960000023
其中，C(S)为控制器的拉普拉斯变换，Kc是控制系数。
CN201911299281.4A 2019-12-17 2019-12-17 一种基于fpga+gpu异构计算平台的波前处理控制方法 Pending CN111031244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911299281.4A CN111031244A (zh) 2019-12-17 2019-12-17 一种基于fpga+gpu异构计算平台的波前处理控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911299281.4A CN111031244A (zh) 2019-12-17 2019-12-17 一种基于fpga+gpu异构计算平台的波前处理控制方法

Publications (1)

Publication Number Publication Date
CN111031244A true CN111031244A (zh) 2020-04-17

Family

ID=70209902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911299281.4A Pending CN111031244A (zh) 2019-12-17 2019-12-17 一种基于fpga+gpu异构计算平台的波前处理控制方法

Country Status (1)

Country Link
CN (1) CN111031244A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741219A (zh) * 2020-07-05 2020-10-02 北京安洲科技有限公司 一种遥感测量用多接口智能图像采集卡
CN111983800A (zh) * 2020-09-02 2020-11-24 中国科学院长春光学精密机械与物理研究所 一种自适应光学系统
CN112306662A (zh) * 2020-11-11 2021-02-02 山东云海国创云计算装备产业创新中心有限公司 一种多处理单元协同运算装置
CN113295286A (zh) * 2021-05-20 2021-08-24 中国科学院西安光学精密机械研究所 一种夏克-哈特曼波前传感器测量系统及相位恢复方法
CN114895459A (zh) * 2022-05-17 2022-08-12 中国科学院光电技术研究所 一种地表层自适应光学波前实时控制器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246256A (zh) * 2008-01-11 2008-08-20 中国科学院光电技术研究所 基于fpga的可升级高速波前斜率处理机
CN104391466A (zh) * 2014-11-24 2015-03-04 中国科学院自动化研究所 一种快速自适应光学控制器的设计方法
CN108255773A (zh) * 2017-12-07 2018-07-06 中国航空工业集团公司西安航空计算技术研究所 一种智能计算异构多核处理方法与平台
CN108804376A (zh) * 2018-06-14 2018-11-13 山东航天电子技术研究所 一种基于gpu和fpga的小型异构处理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246256A (zh) * 2008-01-11 2008-08-20 中国科学院光电技术研究所 基于fpga的可升级高速波前斜率处理机
CN104391466A (zh) * 2014-11-24 2015-03-04 中国科学院自动化研究所 一种快速自适应光学控制器的设计方法
CN108255773A (zh) * 2017-12-07 2018-07-06 中国航空工业集团公司西安航空计算技术研究所 一种智能计算异构多核处理方法与平台
CN108804376A (zh) * 2018-06-14 2018-11-13 山东航天电子技术研究所 一种基于gpu和fpga的小型异构处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董玉磊: "基于GPU的自适应光学系统波前处理算法实时性研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741219A (zh) * 2020-07-05 2020-10-02 北京安洲科技有限公司 一种遥感测量用多接口智能图像采集卡
CN111983800A (zh) * 2020-09-02 2020-11-24 中国科学院长春光学精密机械与物理研究所 一种自适应光学系统
CN112306662A (zh) * 2020-11-11 2021-02-02 山东云海国创云计算装备产业创新中心有限公司 一种多处理单元协同运算装置
CN113295286A (zh) * 2021-05-20 2021-08-24 中国科学院西安光学精密机械研究所 一种夏克-哈特曼波前传感器测量系统及相位恢复方法
CN114895459A (zh) * 2022-05-17 2022-08-12 中国科学院光电技术研究所 一种地表层自适应光学波前实时控制器
CN114895459B (zh) * 2022-05-17 2023-10-03 中国科学院光电技术研究所 一种地表层自适应光学波前实时控制器

Similar Documents

Publication Publication Date Title
CN111031244A (zh) 一种基于fpga+gpu异构计算平台的波前处理控制方法
CN101738721B (zh) 一种消除哈特曼波前传感器系统误差的自适应光学成像系统
CN109031654B (zh) 一种基于卷积神经网络的自适应光学校正方法及系统
CN103247210B (zh) 一种模拟气动光学效应的方法和系统
CN109682465B (zh) 一种轨道角动量空间光通信系统下的单强度探测自适应光学系统
CN106526839B (zh) 一种基于模式的同步无波前自适应光学系统
CN102636271B (zh) 一种基于差分光学的相位差法波前测量成像装置
CN204719319U (zh) 一种大视场动态摄影相机光学系统
CN102662238B (zh) 一种具有在轨自诊断和补偿功能的空间光学相机
CN102750247A (zh) 一种适用于多传感器自适应光学系统的信号处理平台
CN108646406B (zh) 一种基于棱锥波前传感器本征模式控制的自适应光学装置
CN104486562A (zh) 基于固定积分时间的嵌入式红外图像超帧处理方法
CN104501972B (zh) 一种复合型夏克‑哈特曼波前传感器
CN106791507B (zh) 高动态cmos像素单元及其信号采集方法
CN113670456B (zh) 一种采用空间分辨率可调的哈特曼波前传感器实现的波前复原方法
Gomez-Merchan et al. A high-speed low-power sun sensor with solar cells and continuous operation
CN102722217B (zh) 一种千单元级自适应光学系统波前信号处理平台
CN104282024A (zh) 自适应光学校正处理系统
CN207882564U (zh) 基于实时相位差异技术的无波前探测自适应光学系统
CN105044906B (zh) 一种基于图像信息的快速扩展目标成像校正方法
CN103217224A (zh) 高速波前测量和波前处理一体化系统
CN111562022A (zh) 一种用于强湍流校正的太阳自适应光学系统
CN111664944B (zh) 一种基于微扫描平台的稳像、非均匀校正及超分辨系统
Schmidt et al. The concept of the MCAO upgrade for the Daniel K. Inouye Solar Telescope
Marchetti et al. ERIS adaptive optics system design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication