CN110990330B - 一种基于通用平台的多层共轭自适应光学的实时控制器 - Google Patents

Abstract

本发明公开了一种基于通用平台的多层共轭自适应光学的实时控制器，是一种针对多层共轭自适应光学提出的并行处理硬件平台架构。实时控制器是多层共轭自适应光学系统的控制核心，完成大视场夏克‑哈特曼波前传感器的图像采集，预处理，子孔径图像的斜率计算，斜率插值，波前复原，波前控制以及电压输出等功能。本发明以通用多核CPU为计算平台，通过对Linux操作系统上将非实时系统改造成实时系统并且结合多种并行加速手段，从而满足多层共轭自适应光学系统实时控制器对2000Hz以上实时性的要求。本发明适用于自适应光学领域，对多层共轭自适应光学技术的工程实现具有重要意义。

Description

一种基于通用平台的多层共轭自适应光学的实时控制器

技术领域

本发明属于自适应光学领域，具体涉及一种基于通用平台的多层共轭自适应光学的实时控制器。

背景技术

为了满足天文学家对天体目标的大视场高分辨力成像观测需求，多层共轭自适应光学(MCAO)技术近年来成为自适应光学(AO)研究领域的热点之一。MCAO的设计思想是将大气湍流等效集中到某几个薄层，然后通过多块校正器分别与这些薄层共轭，产生相反的相位来进行校正，从而实现大视场范围内的高分辨力成像。因此其通常需要采用多个夏克-哈特曼波前传感器或者采用一个大视场夏克-哈特曼波前传感器来进行波前探测，而且需要控制多块变形镜进行波前校正。

实时控制器是MCAO系统的控制核心，起到承前启后的作用。它通过读取不同方向上的波前传感器的波前图像信号，然后进行波前复原和控制运算，计算得到电压控制信号控制多块变形镜。因此，实时控制器的性能对MCAO系统具有非常重要的影响。

相对于传统AO系统实时控制器而言，MCAO系统的波前斜率计算量更大，因为其子孔径和子区域更多。同时，由于多块变形镜的引入导致变形镜驱动器单元数的增加，其复原运算的计算量也变得更大。

常用的波前控制器通常采用现场可编程门阵列(FPGA)和数字信号处理器(DSP)等专用器件的实时处理方案来满足AO系统高帧频低延时的需求，而多核CPU平台会引起时间抖动，影响系统性能，通常被认为不适合做实时控制器。但是由于其编程灵活，算法库丰富，非常适合多层共轭自适应光学系统的算法修改和验证。

近年来，随着计算机技术的不断提高，采用高性能多核CPU作为自适应光学系统实时控制器逐渐成为可能。美国大熊湖太阳天文台(BBSO)1.6m NST和德国1.5m GREGOR望远镜采用多核CPU搭载Linux Debian非实时内核操作系统，通过对应用程序深度优化，针对单元数较少的系统，使得系统可以工作在2000Hz以上，从而满足实时性要求。由于该系统使用的是非实时内核操作系统，当系统抖动时间远小于计算时间时，对系统性能不会产生影响，但是当系统抖动时间较大时，往往会引起系统丢帧处理，尤其是在处理单元数较多的自适应光学系统时，系统将无法满足高实时需求。

中科院光电技术研究所陈善球等人基于多核CPU平台采用Xenomai实时操作系统及Linux Ubuntu操作系统双系统，在系统内核态编写实时处理任务，从而使系统的实时性满足要求，该平台能够应对夜天文1000单元以上的自适应光学系统的实时性要求。然而，其在内核态编写实时处理任务，调试十分困难，而且不能调用系统函数库和对浮点数运算支持不够，需要自己手动编写和优化，因此不易于复杂算法的运算，如FFT运算。采用双系统使得实时处理任务在Xenomai实时操作系统被调度，非实时任务在Linux操作系统上运行，系统设计紧凑，但是算法修改不灵活，无法满足多层共轭自适应光学系统对光机系统改变后的算法上的灵活性处理。

我们结合前人的研究基础，提出了新的通用平台多层共轭自适应光学计算框架。首先，我们使用Linux Ubuntu非实时操作系统，裁剪不使用的驱动和冗余的内核模块，增加Preempt-RT Linux实时内核补丁文件，使系统运行达到实时的目的。其次，我们在用户态编写实时处理任务，可以灵活调用系统的库函数和浮点数运算，并且再对实时任务进行深度程序优化，将计算延时和计算抖动控制在合理范围内，能满足2000Hz以上的处理速度的要求。最后，我们采用上位机和实时处理机分离的机制，建立通用的网络通信接口，使得开发相互独立，编程更加灵活。

发明内容

本发明要解决的技术问题是：基于通用平台来实现多层共轭自适应光学的实时控制器，完成大视场夏克-哈特曼波前传感器的图像采集，预处理，子孔径图像的斜率计算，斜率插值，波前复原，波前控制以及电压输出等功能，将计算延时和抖动控制在合理的范围内，从而满足多层共轭自适应光学系统的2000Hz以上的高实时性需求。

本发明解决上述技术问题采用的技术方案是：

基于通用平台的多层共轭自适应光学的实时控制器，该实时控制器是多层共轭自适应光学系统的控制核心，完成大视场夏克-哈特曼波前传感器的图像采集，预处理，子孔径图像的斜率计算，波前复原，波前控制以及电压输出功能；该实时控制器以多核CPU为计算平台，通过在Linux操作系统上将非实时系统改造成准实时系统并且结合多种并行加速手段，从而满足多层共轭自适应光学系统实时控制器对实时性的要求。

进一步地，该控制器包括大视场夏克-哈特曼波前传感器相机，CameraLink转四路光纤盒，图像预处理卡，光纤采集卡，多核CPU实时处理机，光纤转数字信号卡，高压放大器，上位机监控电脑硬件平台组成，大视场夏克-哈特曼波前传感器相机得到的图像通过Full模式的CameraLink接口传输给CameraLink转四路光纤盒，然后在光纤盒内将CameraLink协议的数据转换为光纤协议的数据输出到图像预处理卡中。在图像预处理卡中对接收到的每一帧图像进行减暗背景和乘平场处理，将处理后的图像通过光纤输出到光纤采集卡。光纤采集卡通过光纤接口接收到光纤协议的数据后再通过PCIe接口发送给多核CPU实时处理机。多核CPU实时处理机内需要完成波前子区域斜率计算，斜率插值以及波前复原和波前控制等一系列运算，每接收到一帧图像都会产生一个中断，多核CPU实时处理机需要在下一帧图像到来之前，计算得到当前帧的计算结果，并将计算结果发送给采集卡，从而保证实时性。多核CPU获取的波前图像以及通过计算得到的中间结果都会通过网络上传至上位机进行显示，与此同时，上位机也会通过网络发送控制命令和状态来控制多核CPU实时处理机的运行状态。

进一步地，所述的大视场夏克-哈特曼波前传感器的图像采集，预处理，子孔径图像的斜率计算，波前复原，波前控制以及电压输出等功能分别由大视场夏克-哈特曼波前传感器相机，CameraLink转四路光纤盒，图像预处理卡，光纤采集卡，多核CPU实时处理机，光纤转数字信号卡，高压放大器，上位机监控电脑等硬件来实现。

进一步地，所述的将非实时系统改造成准实时系统主要在于内核裁剪，安装实时补丁，关闭超线程，核心分离，线程绑定等技术，以达到让操作系统实时响应任务的能力。

进一步地，所述的多种并行加速手段主要在于多核并行，线程级并行，指令级并行，数据级并行，以及循环展开优化，以达到任务实时并行处理的能力。

进一步地，所述的大视场夏克-哈特曼波前传感器相机采用Full模式的CameraLink高速接口输出图像数据。

进一步地，所述的CameraLink转四路光纤盒采用的是Full模式的Cameralink高速接口输入，FPGA芯片作为图像处理核心，四路光纤接口作为图像输出，其主要功能是将Cameralink接口的相机信号转换成光纤信号输出，同时通过上位机加载参数来控制相机的参数设置。

进一步地，所述的图像预处理卡采用的是四路光纤输入、四路光纤输出以及FPGA芯片作为图像处理核心，其主要功能在于对图像进行减暗背景和乘平场等预处理操作，通过上位机加载暗背景图像和平场图像。

进一步地，所述的光纤采集卡采用的是四路光纤输入，采用FPGA芯片作为图像处理核心，采用PCIe3.0接口输出，其主要功能在于将预处理后的图像通过DMA的方式输送到多核CPU实时处理机中。

进一步地，所述的多核CPU实时处理机采用的是主频高，缓存大，内存大的Inteli7多核处理器，具有较高的浮点计算能力，同时该实时处理机具有丰富的外部接口，使用PCIe3.0接口接受图像信号和输出电压信号，通过千兆网口接受上位机的控制命令和数据请求；

所述的光纤转数字信号卡采用的是FPGA作为计算核心，以光纤为输入，并口为输出。其主要功能是将接收到的多路电压串行信号转换成并行接口输出；

所述的高压放大器主要用于将接收到的并行电压信号进行DA转换和放大，从而控制多块变形镜；

所述的上位机监控电脑主要通过网络与CameraLink转四路光纤盒之间完成相机和盒子的复位以及参数设置，与图像预处理卡之间完成平场和暗场数据的加载，与多核CPU实时处理机之间完成控制参数及控制状态的加载，同时请求多核CPU实时处理机传回的图像以及中间计算结果，以供上位机监视。

本发明的原理在于：为了解决多层共轭自适应光学系统的高实时性需求，本发明设计了一套基于通用平台多层共轭自适应光学计算框架。通过采用高性能多核CPU硬件计算平台，对计算核心部分进行优化，如裁剪Linux Ubuntu内核和增加实时内核补丁，以及并行计算程序优化三种技术手段相结合，从而使得系统满足2000Hz以上的高实时性需求。

首先，随着半导体工艺不断往纳米级深入，现在的计算机性能和架构体系不断增强。在计算量不变的前提下，利用高性能多核CPU比单核CPU能够大大减小计算的延时，以前看似计算量十分巨大的无法满足高实时性的任务在现在可以在很短的时间内完成。

其次，CPU的运行依赖于操作系统，现有的桌面操作系统建立了完整的理论体系，有一套完整的调度策略，使计算机可以满足多任务多场景应用。随着通用性的提高，其对实时性的响应却做出了相应的牺牲。Linux Ubuntu操作系统由于开源，因此其内核调度支持随意裁剪。为了满足实时性需要，可以通过对内核进行裁剪，安装实时补丁，关闭超线程，核心分离，线程绑定等技术对操作系统进行改造，使得操作系统满足实时的特点，将系统抖动控制在几十微秒的范围内，对整体计算时间的影响可以忽略不计。

最后，随着CPU的多核架构的提出，计算机不再是一个核心承包所有的任务，而是可以通过多核之间相互协调，同时工作的方式，来达到计算性能的最大化。基于多核CPU，我们通常可以将任务从顶层进行分割，由大到小分别进行细粒度优化，如多核并行，线程级并行，数据级并行，指令级并行，以及循环展开优化等等。通过在软件层面的优化充分发挥硬件的性能。

本发明和现有技术相比，具有以下优点：

(1)、与FPGA+多核DSP的硬件平台相比，基于通用CPU平台的处理架构具有更大的内存资源，丰富的通用接口，灵活的算法修改和适用性。

(2)、与其他的通用CPU平台相比，我们的处理平台架构实现分层化以及模块化设计，低耦合高内聚，低抖动高实时，具有很好的可移植性。

附图说明

图1是多层共轭自适应光学的实时控制器组成框图；

图2是多层共轭自适应光学实时控制器架构设计框图；

图3是多核CPU实时处理机的工作机制。

具体实施方式

下面结合附图进一步阐述本发明。

如图1所示，基于通用平台的多层共轭自适应光学的实时控制器组成框图。本发明要实时完成图像采集，图像斜率处理，波前复原，波前控制等一系列功能运算，处理帧频大于2000Hz，意味着处理及通信时间要小于500微秒。因此该控制器的设计较为复杂，主要由大视场夏克-哈特曼波前传感器相机，CameraLink转四路光纤盒，图像预处理卡，光纤采集卡，多核CPU实时处理机，光纤转数字信号卡，高压放大器，上位机监控电脑等硬件平台组成。其中最主要的优化工作均在多核CPU实时处理机中完成。

为了保证图像数据能够进行远距离传输，大视场夏克-哈特曼波前传感器相机的图像数据首先需要通过CameraLink转四路光纤盒进行协议转换，其次为了降低多核CPU的处理负载，我们将图像的预处理工作转移到图像预处理卡中进行，所以相机的数据先经过CameraLink转四路光纤盒，然后经过图像预处理卡，才送入到光纤采集卡中。光纤采集卡通过光纤接口接收到光纤协议的数据后再通过PCIe接口发送给多核CPU实时处理机。多核CPU实时处理机每接收到一帧图像都会产生一个中断，多核CPU实时处理机需要在下一帧图像到来之前，完成波前子区域斜率计算，斜率插值以及波前复原和波前控制等一系列运算计算得到当前帧的计算结果，并将计算结果发送给采集卡，从而保证实时性。采集卡将接收到的电压信号发送给光纤转数字信号卡，进行转换后发送给高压放大器，用来驱动变形镜。多核CPU获取的波前图像以及通过计算得到的中间结果都会通过网络上传至上位机进行显示，与此同时，上位机也会通过网络发送控制命令和状态来控制多核CPU实时处理机的运行状态。

如图2所示为多层共轭自适应光学实时控制器的架构设计框图，本设计将实时控制器分成上位机和多核CPU实时处理机两个独立控制的双层结构设计，二者通过网络进行交互。其中底层多核CPU实时处理机又分为底层驱动层和中间应用层，分别与采集卡和上位机进行交互。多核CPU实时处理机专注于实时运算，上位机专注于界面交互和离线计算。这样的结构设计好处在于开发互不干扰，模块化设计，便于修改和调试各种新算法，加快开发进度。

如图3所示为多核CPU实时处理机工作机制。本发明使用的是十核计算机，首先对Linux Ubuntu操作系统内核进行裁剪，安装实时补丁，对处理机进行实时改造；其次使用核心分离技术将core0保留为非实时处理核，core1-core9保留为实时处理核心；再次将采集卡的中断绑定至core1，所有的其他中断绑定至core0，最后使用线程绑定技术将非实时网络通信线程绑定至非实时处理核心，将中断处理线程和计算线程绑定至实时核心。

采集卡从相机中采集到图像以后通过DMA方式传输至多核CPU的共享内存中，所有线程均通过共享内存进行数据交互和通信，处理机的中断线程接收到中断后立刻通知计算线程开始进行计算，计算线程从共享内存中获取图像以及控制参数等，然后利用多核并行进行加速得到计算结果后写入共享内存。网络通信线程也从共享内存中读取图像，中间计算结果以及写入控制参数等，通过网络与上位机进行通信。上位机独立于多核CPU实时处理机，便于完成一些非实时处理的功能，如对图像以及中间计算结果进行显示，离线数据的计算以及给实时处理机加载控制参数等。

本发明未详细阐述的部分属于本领域公知技术。

Claims (9)

1.一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：该实时控制器是多层共轭自适应光学系统的控制核心，完成大视场夏克-哈特曼波前传感器的图像采集，预处理，子孔径图像的斜率计算，波前复原，波前控制以及电压输出功能；该实时控制器以多核CPU为计算平台，通过在Linux操作系统上将非实时系统改造成准实时系统并且结合多种并行加速手段，从而满足多层共轭自适应光学系统实时控制器对实时性的要求；

该控制器包括大视场夏克-哈特曼波前传感器相机，CameraLink转四路光纤盒，图像预处理卡，光纤采集卡，多核CPU实时处理机，光纤转数字信号卡，高压放大器，上位机监控电脑组成；大视场夏克-哈特曼波前传感器相机得到的图像通过Full模式的CameraLink接口传输给CameraLink转四路光纤盒，然后在光纤盒内将CameraLink协议的数据转换为光纤协议的数据输出到图像预处理卡中；在图像预处理卡中对接收到的每一帧图像进行减暗背景和乘平场处理，将处理后的图像通过光纤输出到光纤采集卡；光纤采集卡通过光纤接口接收到光纤协议的数据后再通过PCIe接口发送给多核CPU实时处理机；多核CPU实时处理机内需要完成波前子区域斜率计算，斜率插值以及波前复原和波前控制运算，每接收到一帧图像都会产生一个中断，多核CPU实时处理机需要在下一帧图像到来之前，计算得到当前帧的计算结果，并将计算结果发送给采集卡，从而保证实时性；多核CPU获取的波前图像以及通过计算得到的中间结果都会通过网络上传至上位机进行显示，与此同时，上位机也会通过网络发送控制命令和状态来控制多核CPU实时处理机的运行状态。

2.根据权利要求1所述的一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：所述的大视场夏克-哈特曼波前传感器的图像采集，预处理，子孔径图像的斜率计算，波前复原，波前控制以及电压输出功能分别由大视场夏克-哈特曼波前传感器相机，CameraLink转四路光纤盒，图像预处理卡，光纤采集卡，多核CPU实时处理机，光纤转数字信号卡，高压放大器，上位机监控电脑来实现。

3.根据权利要求1所述的一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：所述的将非实时系统改造成准实时系统主要在于内核裁剪，安装实时补丁，关闭超线程，核心分离，线程绑定，以达到让操作系统实时响应任务的能力。

4.根据权利要求1所述的一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：所述的多种并行加速手段主要在于多核并行，线程级并行，指令级并行，数据级并行，以及循环展开优化，以达到任务实时并行处理的能力。

5.根据权利要求2所述的一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：所述的大视场夏克-哈特曼波前传感器相机采用Full模式的CameraLink高速接口输出图像数据。

6.根据权利要求2所述的一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：所述的CameraLink转四路光纤盒采用的是Full模式的Cameralink高速接口输入，FPGA芯片作为图像处理核心，四路光纤接口作为图像输出；其主要功能是将Cameralink接口的相机信号转换成光纤信号输出，同时通过上位机加载参数来控制相机的参数设置。

7.根据权利要求2所述的一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：所述的图像预处理卡采用的是四路光纤输入、四路光纤输出以及FPGA芯片作为图像处理核心，其主要功能在于对图像进行减暗背景和乘平场预处理操作，通过上位机加载暗背景图像和平场图像。

8.根据权利要求2所述的一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：所述的光纤采集卡采用的是四路光纤输入，采用FPGA芯片作为图像处理核心，采用PCIe3.0接口输出，其主要功能在于将预处理后的图像通过DMA的方式输送到多核CPU实时处理机中。

9.根据权利要求2所述的一种基于通用平台的多层共轭自适应光学的实时控制器，其特征在于：所述的多核CPU实时处理机采用的是主频高，缓存大，内存大的Inteli7多核处理器，具有较高的浮点计算能力，同时该实时处理机具有丰富的外部接口，使用PCIe3.0接口接受图像信号和输出电压信号，通过千兆网口接受上位机的控制命令和数据请求；

所述的光纤转数字信号卡采用的是FPGA作为计算核心，以光纤为输入，并口为输出，其主要功能是将接收到的多路电压串行信号转换成并行接口输出；

所述的高压放大器主要用于将接收到的并行电压信号进行DA转换和放大，从而控制多块变形镜；

所述的上位机监控电脑主要通过网络与CameraLink转四路光纤盒之间完成相机和盒子的复位以及参数设置，与图像预处理卡之间完成平场和暗场数据的加载，与多核CPU实时处理机之间完成控制参数及控制状态的加载，同时请求多核CPU实时处理机传回的图像以及中间计算结果，以供上位机监视。