CN105204405B - 基于多视线相关夏克‑哈特曼波前传感器的实时控制器 - Google Patents

基于多视线相关夏克‑哈特曼波前传感器的实时控制器 Download PDF

Info

Publication number
CN105204405B
CN105204405B CN201510686564.XA CN201510686564A CN105204405B CN 105204405 B CN105204405 B CN 105204405B CN 201510686564 A CN201510686564 A CN 201510686564A CN 105204405 B CN105204405 B CN 105204405B
Authority
CN
China
Prior art keywords
module
big
sub
shack
subchannel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510686564.XA
Other languages
English (en)
Other versions
CN105204405A (zh
Inventor
孔林
饶长辉
朱磊
张兰强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN201510686564.XA priority Critical patent/CN105204405B/zh
Publication of CN105204405A publication Critical patent/CN105204405A/zh
Application granted granted Critical
Publication of CN105204405B publication Critical patent/CN105204405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2656—Instrumentation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多视线相关夏克‑哈特曼波前传感器的实时控制器，是一种针对多层共轭自适应光学技术提出的多通道并行处理硬件平台架构，用于大视场范围内多视线方向上波前斜率探测和复原。该控制器采用FPGA和多核DSP的架构，主要包括斜率计算和波前复原两个部分。由于多视线相关夏克‑哈特曼波前传感器每个子孔径内需要划分多个子区域，该平台需要在斜率提取的大通道内构造子通道，本发明适用于在多视线相关夏克‑哈特曼波前传感器的子孔径中选取任何数量的子区域，在不改变硬件电路的基础上通过在FPGA内重复构造处理子通道从而达到系统升级的目的。本发明对多层共轭自适应光学技术的工程实现具有重要意义。

Description

基于多视线相关夏克-哈特曼波前传感器的实时控制器
技术领域
本发明属于自适应光学技术领域，具体涉及基于多视线相关夏克-哈特曼波前传感器的实时控制器。
背景技术
受到大气非等晕性的影响，传统自适应光学(AO)只有很小的校正视场，这严重限制了自适应光学技术的运用。多层共轭自适应光学技术(MCAO)，通过对大气湍流进行分层校正，从而突破传统自适应光学的校正视场限制，可以在大视场范围内提高系统的分辨力，在太阳观测等需要大视场高分辨力成像的领域具有重要的应用。
与传统AO相比，MCAO通常采用多视线相关夏克-哈特曼波前传感器对大气湍流进行三维波前探测，由于其同时探测多个视线方向上的波前信息，其用于斜率提取的实时控制器与传统平台在系统复杂度上有很大的提升，这是系统实现的重要环节。
目前，国外开展太阳MCAO系统研究的主要有德国太阳物理研究所(KIS)和美国国立太阳天文台(NSO)，分别在Vacuum Tower Telescope(VTT)和Dunn Solar Telescope(DST)上开展试验，并且应用在新的1.5m的GREGOR望远镜和1.6m的NST望远镜上，其MCAO实时控制器分别采用了多核CPUs工作站和多核DSPs架构，均采用了并行处理的方式，在原有AO硬件平台的架构下进行了软硬件升级，同时对多个子区域进行处理。德国的MCAO试验系统硬件平台是完成了对6*19个子孔径(6个大子孔径，每个大子孔径中选取19个子区域)的处理，每个子区域的大小是9.6”x9.6”，处理速度可以达到2000Hz以上；美国的MCAO系统硬件平台是完成了对21*4个子孔径(21个大子孔径，每个大子孔径中选取4个子区域)的处理，每个子区域的大小是10”x10”，处理速度达到了1600Hz。
为了满足波前的实时性处理要求，在硬件平台的选择上必须采用灵活的并行处理架构来实现对多个子孔径的处理。多核DSPs虽然拥有强大的并行计算能力，但是不易于扩展。实际上，由于DSPs处理能力的限制，子区域的个数的选取通常上受到了极大的限制；而多核CPUs则会受限于操作系统，由于调度算法和中断响应时间的不同，给实时处理机带宽上的提高带来瓶颈。为此，我们选用一种并行处理能力较强、内部资源灵活的现场可编程逻辑器件(FPGA)来完成波前斜率的实时性提取。由于其使用的是硬件编程语言，可以将硬件电路模块化，所以可以满足选取任意子区域需求的并行处理，具有很好的扩展性。
国内，中国科学院光电技术研究所研究的传统的AO实时控制器采用的是FPGA和DSP的处理架构，其具有很好的并行处理能力以及可扩展性，在传统AO框架下可以达到2000Hz以上的处理速度，但是在MCAO系统里，由于视场靶面变大，选取的子区域变多，传统的AO控制器无法直接升级，必须要进行改进和优化才可以满足要求。
本发明对传统AO控制器进行了一点改进和两点优化(一点改进：大通道内构造子通道，两点优化：只选取有效的子区域进行处理，存储平暗场图像优化，通道数优化)，成功的解决了在MCAO系统下同时提取不同方向上的子区域内的斜率的问题，为大气三维波前实时探测提供了有力的支持。
发明内容
本发明要解决的技术问题是：利用FPGA实时有效地从多视线相关夏克-哈特曼波前传感器图像中同时提取不同方向上的波前斜率信息，然后通过多核DSP实现波前复原，得到控制电压。由于FPGA硬件电路模块化，本发明可以满足选取任意子区域需求的并行处理，具有很好的扩展性和可升级性。
本发明解决上述技术问题采用的技术方案是：基于多视线相关夏克-哈特曼波前传感器的实时控制器，该控制器包括斜率计算模块和波前复原模块，分别在FPGA和多核DSP内实现，其中斜率计算模块包括图像预处理模块和斜率提取核心模块，图像预处理模块用于暗场和平场处理，斜率提取核心模块由多个大通道及其内部子通道组成，在子通道内采用流水线的方式，子通道间采用并行阵列的方式来实现加速处理，所有大通道及子通道均在FPGA内实现，由于硬件电路模块化，所以可以满足任意子孔径需求的并行处理，具有很好的扩展性和可升级性；所述的波前复原模块用于矩阵矢量乘的计算，在多核DSP内将复原矩阵同时分发给多个核，然后采用多核并行的方式来计算，最终得到复原电压。
其中，所述的图像预处理模块，通过坐标判断模块只对选取的有效子区域内的像素进行处理，不必要处理整幅图像，可节省存储平暗场图像的内存开销。
其中，所述的有效子区域是在每个大子孔径内选取的多个子区域，而不是大子孔径，有效子区域的坐标是在FPGA内部初始化固定的，也可以通过PC给定。
其中，所述的斜率提取核心模块的大通道是基于大子孔径列来划分，每一列的所有大子孔径为一个通道，所以大通道的个数与哈特曼的布局相关，大通道数结合实际情况可做优化，大通道主要由通道坐标判断模块和子通道组成。
其中，所述的斜率提取核心模块的子通道是基于每个大子孔径列内标号相同的子区域列来划分，所以子通道的个数与选取的子区域以及大通道数相关。
其中，所述的子通道由图像乒乓缓存模块，脉动阵列模块以及结果寻优模块构成，图像乒乓缓存模块使用两块相同大小的RAM构成乒乓缓存，交替接收相机数据，当一块缓存在接收相机数据时，另一块缓存则向脉动阵列提供计算的数据，脉动阵列模块是由多条并行的四级绝对差分算法流水线组成，其所需的数据由乒乓缓存提供，所需的控制信号由内部预先存储的指令存储器提供，结果寻优模块通过计数器生成坐标地址，在计算得到的结果缓存中寻找最优的相关值，从而判断最优值的坐标。
其中，所述的可扩展性和可升级性可通过硬件描述语言编程重复构造处理通道，无需改变硬件结构，当多视线相关哈特曼的单元数和选取的子区域数发生变化时，只需要分别扩展大通道数和子通道数即可。
本发明的原理在于：
基于多视线相关夏克-哈特曼波前传感器的实时控制器，该实时控制器包括斜率计算模块和波前复原模块，其中斜率计算模块包含图像预处理模块和斜率提取核心模块，图像预处理模块用于暗场和平场处理，斜率提取核心模块由多个大通道及其内部子通道组成，在FPGA子通道内采用绝对差分算法的流水线方式和子通道间并行阵列的方式计算实现波前斜率的实时提取，在传统AO控制器的基础上进行了升级和优化，其中，所述的图像预处理模块：FPGA将相机图像数据采集到FPGA内部处理。传统情况下，夏克-哈特曼波前传感器图像的视场靶面小，通常需要存储整个靶面的平暗场和实时图像数据，而多视线相关夏克-哈特曼波前传感器图像的视场靶面大，是原来的几十倍。通过优化增加一个坐标判断模块，只处理选取的有效子区域，只存储有效子区域的平暗场数据和实时图像数据。这样的改进可以大大节省FPGA内部的存储资源，为选取更多子区域开辟了更多的空间和可能。所述的斜率提取核心模块：由于该控制器针对太阳等扩展目标，采用了相关算法中的绝对差分算法来提取波前斜率。在硬件具体实现上，在每个大通道内均增加了坐标判断模块，在每个子通道内均采用了四级流水线结构的脉动阵列，在控制信号的作用下分别开启不同子通道的并行阵列。在FPGA内，运算以子区域行为单位，一个子区域行缓存完毕则同时开始计算该行的所有的子区域，最后整体的延时即是最后一个子区域行计算的延时。所述的波前复原模块：在多核DSP内实现，将复原矩阵同时分发给多个核，然后采用多核同步并行的方式来计算，得到复原电压。相对于单核DSP而言，大大节省了计算时间。
本发明和现有技术相比，具有以下优点：
(1)、本发明通过在大通道内构造子通道，解决了每个子区域行内数量不一致的问题，为按行并行处理提供可能。
(2)、本发明通过只处理有效子区域的数据，可以只存储有效子区域的平暗场数据，同时可以减少大通道的数量，解决了内存开销过大的问题，大大缩减了内存开销；
(3)、本发明充分利用了可编程逻辑器件具有很好的扩展性，在基本上不改变硬件平台情况下，可以对更多子区域同时进行处理。
附图说明
图1是实时控制器原理框图；
图2是多视线相关夏克-哈特曼波前传感器图像；
图3是有效子孔径对齐及通道划分；
图4是图像预处理流程图；
图5是处理核心通道流程图。
具体实施方式
下面结合附图以及具体实施例进一步阐述本发明。
如图1所示，基于多视线相关夏克-哈特曼波前传感器的实时控制器的原理框图，本发明适用于任意单元数量的多视线相关夏克-哈特曼波前传感器，适用于选取任意数量的子区域。下面将以37单元多视线相关夏克-哈特曼波前传感器为例，以5个目标区域为依托来描述具体实施方案。
如图2所示，多视线相关夏克-哈特曼波前传感器共有37个大子孔径，有效子孔径为30个，在每个大子孔径中选取5个子区域，可同时探测5个子区域内的波前斜率，总共需要计算150个子区域的斜率。这些选取的子区域的位置坐标都是事先在FPGA内标好的，当相机像素按照行一个一个的输送到FPGA中时，通过像素坐标判断模块该像素是否有效，若有效，则做平暗场处理，然后存储该有效图像到FPGA，并供PC读取显示。
如图3所示，为了方便并行处理，对30*5个有效子孔径进行对齐和通道划分，以每个大子孔径列为1个大处理通道，每个大处理通道内标号相同的子区域列为1个子通道。利用在大通道内构造子通道的方法，每一行大子孔径数不够5个的通过重复最后一个大子孔径来填补，从而形成有效的并行阵列处理通道。总共需要设置5*5的子通道数用于输出不同方向上的子孔径斜率。如果采用传统的方法来实现，将会采用7*5通道，多出10个通道的资源开销，通过优化，内存开销大大的减少。
如图4所示，实时控制器的预处理通常包含平场和暗场处理，通过增加有效子孔径坐标判断语句，只存储和计算有效子孔径内的有效像素，大大节省了暗场和平场的存储空间。
如图5所示，实时控制器的斜率提取核心部分是由5个大通道及5个子通道组成，通道内采用绝对差分的流水线方式实现加速处理，通道间采用并行阵列的方式处理，通过重复构造大通道及其子通道数量，可以适应于任何单元数的选取任何子区域数的多视线相关夏克-哈特曼波前传感器。经过图像预处理后的图像再次通过坐标判断，将标号不同的子区域分别送入不同的子通道中缓存起来。并行阵列按子区域行进行处理，当第1个大子孔径行内标号为1的子区域缓存完毕，同时启动5个大通道内的第1个子通道，同时对一个子孔径行内标号为1的子孔径进行处理。在处理标号为1的子区域的同时，开始缓存标号为2,3,4的子区域，当标号为2,3,4的子区域缓存完毕后，同时启动5个大通道内的第2,3,4个子通道。在计算2,3,4子区域斜率时，开始缓存标号为5的子区域，缓存完后，同时启动5个大通道内第5个子通道。同理，按照流水和并行的方式一直传递下去，直到处理完最后一个子区域行。本发明对单帧图像的处理延时为一个子区域行的处理时间，由于阵列按行并行处理，因此延时又等于一个子区域的处理时间。
FPGA通过SRIO的方式将波前斜率送入多核DSP内，DSP采用主从的模式事先将复原矩阵分发给其他的从核，然后与波前斜率相乘，得到复原电压，然后将控制电压送回FPGA，发给高压放大器，完成了整个控制器的控制过程。
当多视线相关哈特曼的单元数和选取的子孔径数发生变化时，只需要分别扩展大通道数和子通道数即可，升级非常方便。由于FPGA内部资源的灵活性，升级过程可完全在FPGA内部完成，整套系统的硬件不需要做任何变动。
本发明未详细阐述的部分属于本领域公知技术。

Claims (7)

1.基于多视线相关夏克-哈特曼波前传感器的实时控制器，其特征在于：该控制器包括斜率计算模块和波前复原模块，分别在FPGA和多核DSP内实现，其中斜率计算模块包括图像预处理模块和斜率提取核心模块，图像预处理模块用于暗场和平场处理，斜率提取核心模块由多个大通道及其内部子通道组成，在子通道内采用流水线的方式，子通道间采用并行阵列的方式来实现加速处理，所有大通道及子通道均在FPGA内实现，由于硬件电路模块化，所以可以满足任意子孔径需求的并行处理，具有很好的扩展性和可升级性；所述的波前复原模块用于矩阵矢量乘的计算，在多核DSP内将复原矩阵同时分发给多个核，然后采用多核并行的方式来计算，最终得到复原电压。
2.根据权利要求1所述的基于多视线相关夏克-哈特曼波前传感器的实时控制器，其特征在于：所述的图像预处理模块，通过坐标判断模块只对选取的有效子区域内的像素进行处理，不必要处理整幅图像，可节省存储平暗场图像的内存开销。
3.根据权利要求2所述的基于多视线相关夏克-哈特曼波前传感器的实时控制器，其特征在于：所述的有效子区域是在每个大子孔径内选取的多个子区域，而不是大子孔径，有效子区域的坐标是在FPGA内部初始化固定的，也可以通过PC给定。
4.根据权利要求1所述的基于多视线相关夏克-哈特曼波前传感器的实时控制器，其特征在于：所述的斜率提取核心模块的大通道是基于大子孔径列来划分，每一列的所有大子孔径为一个通道，所以大通道的个数与多视线相关夏克-哈特曼波前传感器的布局相关，大通道数结合实际情况可做优化，大通道主要由通道坐标判断模块和子通道组成。
5.根据权利要求1所述的基于多视线相关夏克-哈特曼波前传感器的实时控制器，其特征在于：所述的斜率提取核心模块的子通道是基于每个大子孔径列内标号相同的子区域列来划分，所以子通道的个数与选取的子区域以及大通道数相关。
6.根据权利要求5所述的基于多视线相关夏克-哈特曼波前传感器的实时控制器，其特征在于：所述的子通道由图像乒乓缓存模块，脉动阵列模块以及结果寻优模块构成，图像乒乓缓存模块使用两块相同大小的RAM构成乒乓缓存，交替接收相机数据，当一块缓存在接收相机数据时，另一块缓存则向脉动阵列提供计算的数据，脉动阵列模块是由多条并行的四级绝对差分算法流水线组成，其所需的数据由乒乓缓存提供，所需的控制信号由内部预先存储的指令存储器提供，结果寻优模块通过计数器生成坐标地址，在计算得到的结果缓存中寻找最优的相关值，从而判断最优值的坐标。
7.根据权利要求1所述的基于多视线相关夏克-哈特曼波前传感器的实时控制器，其特征在于：所述的可扩展性和可升级性可通过硬件描述语言编程重复构造处理通道，无需改变硬件结构，当多视线相关夏克-哈特曼波前传感器的单元数和选取的子区域数发生变化时，只需要分别扩展大通道数和子通道数即可。
CN201510686564.XA 2015-10-21 2015-10-21 基于多视线相关夏克‑哈特曼波前传感器的实时控制器 Active CN105204405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510686564.XA CN105204405B (zh) 2015-10-21 2015-10-21 基于多视线相关夏克‑哈特曼波前传感器的实时控制器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510686564.XA CN105204405B (zh) 2015-10-21 2015-10-21 基于多视线相关夏克‑哈特曼波前传感器的实时控制器

Publications (2)

Publication Number Publication Date
CN105204405A CN105204405A (zh) 2015-12-30
CN105204405B true CN105204405B (zh) 2017-11-24

Family

ID=54952150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510686564.XA Active CN105204405B (zh) 2015-10-21 2015-10-21 基于多视线相关夏克‑哈特曼波前传感器的实时控制器

Country Status (1)

Country Link
CN (1) CN105204405B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108151888B (zh) * 2017-11-22 2019-09-27 中国科学院长春光学精密机械与物理研究所 一种用于扫描哈特曼检测装置的误差解耦的方法
CN110990330B (zh) * 2019-12-02 2023-07-18 中国科学院光电技术研究所 一种基于通用平台的多层共轭自适应光学的实时控制器
CN114895459B (zh) * 2022-05-17 2023-10-03 中国科学院光电技术研究所 一种地表层自适应光学波前实时控制器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1081655B1 (en) * 1999-09-01 2007-02-07 Mitsubishi Denki Kabushiki Kaisha System and method for rendering using ray tracing
CN101441322A (zh) * 2008-12-29 2009-05-27 中国科学院长春光学精密机械与物理研究所 基于gpu计算的自适应光学变形镜的闭环控制方法
CN102507147A (zh) * 2011-10-14 2012-06-20 中国科学院光电技术研究所 一种自适应光学系统性能的实时评价系统
CN102722217A (zh) * 2012-06-05 2012-10-10 中国科学院光电技术研究所 一种千单元级自适应光学系统波前信号处理平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1081655B1 (en) * 1999-09-01 2007-02-07 Mitsubishi Denki Kabushiki Kaisha System and method for rendering using ray tracing
CN101441322A (zh) * 2008-12-29 2009-05-27 中国科学院长春光学精密机械与物理研究所 基于gpu计算的自适应光学变形镜的闭环控制方法
CN102507147A (zh) * 2011-10-14 2012-06-20 中国科学院光电技术研究所 一种自适应光学系统性能的实时评价系统
CN102722217A (zh) * 2012-06-05 2012-10-10 中国科学院光电技术研究所 一种千单元级自适应光学系统波前信号处理平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Solar Adaptive Optics;Thomas R. Rimmele;《living Rev.Solar Phys.》;20110610(第8期);1-92 *
基于FPGA和DSP技术的自适应光学系统在线大气湍流参数测量平台;母杰等;《红外与激光工程》;20130331;第42卷(第3期);703-708 *
太阳高分辨力成像多层共轭自适应光学技术研究;张兰强;《http://d.wanfangdata.com.cn/Thesis/Y2609612》;20150715;1-101 *

Also Published As

Publication number Publication date
CN105204405A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN101246256B (zh) 基于fpga的可升级高速波前斜率处理机
CN105869117A (zh) 一种针对深度学习超分辨率技术的gpu加速方法
CN107292804B (zh) 基于OpenCL的直接多曝光融合并行加速方法
CN103968845B (zh) 一种用于星敏感器的dsp与fpga并行多模式星图处理方法
CN105204405B (zh) 基于多视线相关夏克‑哈特曼波前传感器的实时控制器
CN109886400A (zh) 基于卷积核拆分的卷积神经网络硬件加速器系统及其计算方法
Xie et al. Processing-in-memory enabled graphics processors for 3D rendering
CN107465911B (zh) 一种深度信息提取方法及装置
CN110659664B (zh) 一种基于ssd的高精度识别小物体的方法
CN104680558B (zh) 使用GPU硬件加速的Struck目标跟踪方法
JP2023512540A (ja) リアルタイムオブジェクト検出及び語意分割の同時行いシステム及び方法及び非一時的なコンピュータ可読媒体
CN105243399B (zh) 一种实现图像卷积的方法和装置、实现缓存的方法和装置
CN108038893A (zh) 一种基于混合相机阵列的十亿像素视频的生成方法
CN105913435A (zh) 一种适用于大区域的多尺度遥感影像匹配方法及系统
CN102254346A (zh) 基于云计算的增强现实虚实碰撞检测方法
CN108960408A (zh) 一种面向超高清分辨率图案的风格化系统及方法
CN104391466A (zh) 一种快速自适应光学控制器的设计方法
CN107707820A (zh) 基于fpga的航空相机实时电子变倍系统
CN111860260B (zh) 基于fpga的高精度低算量目标检测网络系统
CN117115200A (zh) 用于致密光学流的阶层式数据组织
CN106791803B (zh) 一种扰动测量成像系统
CN105184809A (zh) 运动对象检测方法和运动对象检测装置
CN101452572B (zh) 基于三次平移算法的图像旋转vlsi结构
Zhang et al. A high performance real-time edge detection system with NEON

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant