CN116805283B - 一种亚微米级超分辨显微成像重构方法及系统 - Google Patents

Abstract

本发明公开了一种亚微米级超分辨显微成像重构方法及系统，涉及光学显微成像及图像重构技术领域，该方法包括：采集在搜索点位置处的成像观测物的路径图像；基于邻域搜索模板，确定当前搜索点的邻域位置，采集在每一邻域位置处的邻域图像，并获取从当前搜索点位置移动到每一邻域位置的移动信息，通过坐标变换确定图像像素位移；根据图像像素位移，将路径图像集与每一邻域图像分别进行序列图像重构；根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，更新下一迭代的搜索点位置，继续进行搜索迭代，直至迭代结束，输出高分辨率重构图像。本发明解决图像重构时的运动估计难题，实现显微成像质量和效率的提高。

Description

一种亚微米级超分辨显微成像重构方法及系统

技术领域

本发明涉及光学显微成像及图像重构技术领域，尤其涉及一种亚微米级超分辨显微成像重构方法及系统。

背景技术

光学显微成像技术是观测微观世界的利器，然而受制于显微成像系统固有的物理性质、成像空间分辨率和时间分辨率等内在制约等因素，导致显微图像出现不可避免的亚像素原始信息退化，限制了显微成像系统的性能。因此，更高的显微图像分辨率、更快的成像速度是亟待改进与突破的重要问题。

超分辨率重构技术是利用低分辨率图像信息实现高分辨率、高质量成像重构，为了追求更高质量的图像，超分辨率重构技术不断发展。传统的基于序列图像的超分辨率重构，在频率域内重构出单帧高分辨率图像；非均匀插值是基于空间域的直观重构方法，利用图像配准、非均匀采样点插值重构出高分辨率图像，例如最近邻插值、方向插值等；基于光学模型的显微图像重构技术通过对光学退化模型的分析建模，利用模型反演复原图像；光场显微成像技术将样品的单个体素的点扩散函数构建光学模型，通过解卷积算法重建(又称为重构)高质量图像；迭代反投影(IBP, Iterative Back Projection)算法通过反向投影迭代出最优估计的高分辨率图像；以及对凸集投影(POCS, Projection On ConvexSets)算法、最大后验(MAP, Maximum A Posteriori)估计算法、混合方法等，均利用了光学观测模型的精准估计实现图像重构；随着机器学习等新兴技术的发展，神经网络等技术也引入显微成像，利用学习方法获得先验信息，构建在低分辨率图像和高分辨率图像之间端到端的映射。

然而，目前的现有方法是在一定先验信息和模型假设的基础上实现以数据处理为驱动的高质量图像重构，并未用到序列图像获取过程中的运动信息。运动估计即图像配准是显微成像重构中的关键环节，配准精度决定了重构质量，主要依赖于像素级精度的图像配准算法，但是在显微成像领域对序列图像的帧间运动估计精度要求更高，而精确的亚像素级运动估计比较困难。另一方面，重构过程中存在着序列图像数据冗余问题，这也限制了成像系统的重构效率。

发明内容

为解决上述现有技术的不足，本发明提供了一种亚微米级超分辨显微成像重构方法及系统，利用超精密微纳运动平台，实现多空间视角的亚像素运动，平台运动信息通过标定模型的坐标变换嵌入序列图像重构的帧间位移，避免运动估计的难题，同时通过基于路径搜索的亚微米级超分辨率重构方法改善图像冗余问题，最终实现显微成像质量和效率的提高。

第一方面，本公开提供了一种亚微米级超分辨显微成像重构方法。

一种亚微米级超分辨显微成像重构方法，包括：

在当前迭代过程中，采集并存储在搜索点位置处的成像观测物的路径图像，构成从初始迭代到当前迭代的路径图像集；

基于邻域搜索模板，确定当前搜索点的邻域位置，采集在每一邻域位置处的成像观测物的邻域图像，构成邻域图像候选集，并获取从当前搜索点位置移动到每一邻域位置的移动信息；

基于移动信息，通过坐标变换确定图像像素位移；根据图像像素位移，将路径图像集与邻域图像候选集中的每一邻域图像分别进行序列图像重构，得到多张重构图像，并对重构图像进行质量评价；

根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，更新下一迭代的搜索点位置，继续进行搜索迭代，直至重构图像质量的最大差值小于预设误差阈值或搜索点不存在邻域图像，迭代结束，输出高分辨率重构图像。

第二方面，本公开提供了一种亚微米级超分辨显微成像重构系统。

一种亚微米级超分辨显微成像重构系统，包括：

微纳运动平台，用于放置成像观测物，并受控于伺服控制器进行精密位移；

伺服控制器，用于根据信号处理装置下发的移动信号控制微纳运动平台移动到指定位置，并反馈微纳运动平台的移动信息至信号处理装置；

图像采集装置，安装在显微镜的目镜上，且显微镜的物镜位于微纳运动平台的正上方且可观测到观测物；

信号处理装置，用于向伺服控制器下发移动信号，并接收伺服控制器反馈的微纳运送平台的移动信息；当观测物到达指定位置后，向图像采集装置发送图像采集指令，并接收图像采集装置采集的成像观测物序列图像；

所述信号处理装置，被配置为：

在当前迭代过程中，采集并存储在搜索点位置处的成像观测物的路径图像，构成从初始迭代到当前迭代的路径图像集；

基于邻域搜索模板，确定当前搜索点的邻域位置，采集在每一邻域位置处的成像观测物的邻域图像，构成邻域图像候选集，并获取从当前搜索点位置移动到每一邻域位置的移动信息；

基于移动信息，通过坐标变换确定图像像素位移；根据图像像素位移，将路径图像集与邻域图像候选集中的每一邻域图像分别进行序列图像重构，得到多张重构图像，并对重构图像进行质量评价；

根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，更新下一迭代的搜索点位置，继续进行搜索迭代，直至重构图像质量的最大差值小于预设误差阈值或搜索点不存在邻域图像，迭代结束，输出高分辨率重构图像。

以上一个或多个技术方案存在以下有益效果：

1、本发明提供了一种亚微米级超分辨显微成像重构方法及系统，利用超精密微纳运动平台替换传统的显微成像系统载物台，实现纳米级精度的多空间视角的图像信息感知与采集，同时将微纳运动平台运动信息转换嵌入到序列图像重建中，避免了运动估计的难题，保证图像帧间配准精度，从而提高了图像重构质量。

2、本发明提出了基于路径搜索的亚微米级超分辨率重构方法，通过邻域图像搜索模型，借助“微纳平台-图像重建”的双向反馈，改善了序列图像数据冗余问题，在保证图像重构质量的同时，显著提高了重构计算效率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中亚微米级超分辨显微成像系统的结构示意图；

图2为本发明实施例中显微成像重构方法的流程图；

图3为遍历搜索过程的示意图；

图4为本发明实施例中十字形搜索模板的示意图；

图5为本发明实施例中小矩形搜索模板的示意图；

图6为本发明实施例中低分辨率图像的示意图；

图7为本发明实施例中重构图像的示意图；

图8为本发明实施例中基于路径搜索的图像重构路径示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，仅是为了描述具体实施方式，旨在对本发明提供进一步的说明，并非意图限制根据本发明的示例性实施方式。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本实施例提供了一种亚微米级超分辨显微成像重构方法，包括以下步骤：

在当前迭代过程中，采集并存储在搜索点位置处的成像观测物的路径图像，构成从初始迭代到当前迭代的路径图像集；

基于邻域搜索模板，确定当前搜索点的邻域位置，采集在每一邻域位置处的成像观测物的邻域图像，构成邻域图像候选集，并获取从当前搜索点位置移动到每一邻域位置的移动信息；

基于移动信息，通过坐标变换确定图像像素位移；根据图像像素位移，将路径图像集与邻域图像候选集中的每一邻域图像分别进行序列图像重构，得到多张重构图像，并对重构图像进行质量评价；

根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，更新下一迭代的搜索点位置，继续进行搜索迭代，直至重构图像质量的最大差值小于预设误差阈值或搜索点不存在邻域图像，迭代结束，输出高分辨率重构图像。

通过下述内容对本实施例所提出的亚微米级超分辨显微成像重构方法进行更详细的介绍。

序列图像的原始互补信息和帧间运动关系是影响图像超分辨率重构（可简称超分辨重构）质量的重要因素，理论上，若序列图像包含一个像素搜索空间内的所有亚像素信息且图像帧间位移精确已知，则可以准确地恢复高分辨率图像。然而，在图像采集过程中，若对某一搜索空间进行遍历采样则不可避免的带来大量无必要的数据冗余，限制成像系统的重构效率；同时目前针对图像帧间运动关系的估计普遍依靠像素级的运动估计算法，在显微成像领域对图像配准和重构精度有着更高的要求。因此，针对上述问题，本实施例提出了基于路径搜索的亚微米级超分辨率重构算法以及亚微米级超分辨显微成像系统，实现显微成像质量和效率的提高。

本实施例首先借助超精密微纳运动平台和精密伺服控制技术对显微镜载物台进行改造，成像观测物在微纳平台的精密控制带动下实现多空间视角的纳米级运动，并通过CMOS相机来采集显微图像。本实施例中，超精密微纳运动平台能够提供纳米级运动精度，针对微米级像素，可通过纳米运动平台实现亚微米级的亚像素图像信息获取。

其次，利用信息处理装置，如计算机终端，一方面实时接收微纳平台伺服控制器反馈的平台位移信息，通过系统标定模型的坐标变换，避免序列图像重建过程中的运动估计难题，另一方面利用提出的基于路径搜索的亚微米级超分辨率重构方法，确定图像搜索矢量，并将过程信息反馈给伺服控制器，使微纳平台实现自适应运动调整，以减少序列图像重构中不必要的采样冗余，提高重构效率。

本实施例所给出的亚微米级超分辨显微成像系统，如图1所示，包括微纳运动平台、伺服控制器、图像采集装置（包括显微镜以及安装在显微镜的目镜上的CMOS相机）和信号处理装置（如计算机终端等），构成一个闭环成像系统。

在显微成像系统的载物台部分，本实施例采用基于压电粘滑驱动原理的双自由度微纳运动平台，所使用双自由度的微纳运动平台内置两个垂直布置并分别与X、Y两个运动方向垂直的光栅传感器，其分辨率精度均为1.22nm，用于测量微纳运动平台在沿X、Y方向运动时的位移信息并实时输出，平台的位置定位误差控制在±5nm之内，能够实现精密运动。即，本实施例中的微纳运动平台除了作为载物台放置成像观测物外，还受控于伺服控制器，用于提供精密的位移运动，以实现多空间视角采样。

伺服控制器能够实现对微纳运动平台的精准、快速运动控制，并可实时采集微纳运动平台内的两个光栅传感器的位移测量数据，通过与上位机（即计算机终端）网线连接，利用TCP/IP传输协议，实现与计算机终端的位移控制和位置信息反馈。微纳运动平台及伺服控制器的引入为超精密亚像素级的序列图像多空间视角采样提供了条件。

CMOS相机和显微镜构成系统的图像采集装置，CMOS相机像元尺寸为1.85μm，安装于显微镜的第三目镜上，实现对观测物的图像捕捉，并将拍摄图像数据传输到计算机终端；显微镜物镜镜头可实现最高50倍放大。

作为另一种实施方式，显微成像系统还包括复合光源，包括遮光外壳、白色条形光源以及用于调节光源角度的旋钮调节结构，能够最大限度减少环境光干扰，增强成像质量。成像系统的外部环境扰动显著影响着光学系统的成像质量，为了尽可能地减少环境光对实验系统成像稳定性影响，本实施例所提出的系统中匹配设计了显微成像系统的遮光外壳，搭建黑暗环境下的实验环境，能够消除环境光的干扰，同时减少空气中微小颗粒对成像的污染，保证成像系统的高洁净度环境；在打光方面，选用白色条形光源布置在微纳运动平台的两侧且能够实现独立控制，利用设计的光源角度旋钮调节结构，实现5°~65°的侧光源角度调节，同时成像显微镜中集成的光源提供了同轴高角度照明，在双轴旋转位移台下集成了LED平面背光源，以扩展成像系统观测范畴和性能。

通过上述亚微米级超分辨显微成像系统获取图像，对获取的图像进行迭代重构（或称为迭代重建）。本实施例中，利用搜索模型和微纳平台运动信息反馈进行邻域图像搜索与重构，确定搜索运动矢量并将下一步的运动位置反馈到微纳平台运动，通过“微纳平台—图像重构”的双向反馈，实现在搜索空间内的自适应图像搜索，最后，应用中止判别技术，在达到所设置的中止条件之后，输出重构的高分辨率图像。

本实施例所提出的重构方法的流程如图2所示，首先进行初始迭代重构，迭代重构次数i=1，微纳运动平台运动到指定位置，该指定位置为初始搜索点位置，采集该位置处的成像观测物的路径图像/>，将该路径图像/>存储至路径图像集中；然后，基于邻域搜索模板，确定当前搜索点位置/>的邻域位置{/>}，其中，i表示迭代次数，j表示邻域位置的个数，此时，微纳运动平台移动到指定的邻域位置{/>}，同时获取从当前搜索点位置移动到每一邻域位置的移动信息（即位移信息），并通过图像采集装置采集在每一邻域位置处的成像观测物的邻域图像，构成邻域图像候选集{/>}；根据上述获取的移动信息，通过坐标变换确定移动到每一邻域位置的图像像素位移；根据所获取的图像像素位移，将路径图像与邻域图像候选集中的每一邻域图像分别进行序列图像重构，得到重构图像；对所获取的重构图像进行质量评价，根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，根据该搜索运动矢量方向和位移，更新下一迭代的搜索点位置，继续进行搜索迭代，直至重构图像质量的最大差值小于预设误差阈值或搜索点不存在邻域图像，迭代结束，输出高分辨率重构图像

上述过程中，为了使微纳平台的位移信息与图像帧间像素位移相匹配，需要进行系统成像模型的标定。本实施例所涉及的系统成像模型可描述为针孔成像模型，图像坐标系和微纳平台运动平面坐标系之间的坐标变换关系为：

(1)

随后，微纳平台位移信息到图像像素位移/>的转换关系可由上式推导出，表示如下：

(2)

上式中，()是纳米运动平面坐标系坐标，(/>)是纳米运动平面坐标系中位移后的坐标，(/>)是图像坐标系坐标，(/>)是图像坐标系中位移后的坐标，/>为两坐标系夹角，(/>)为纳米运动平面坐标系原点坐标，/>、/>、/>、/>均可通过相机标定获得。

上述过程中，搜索重构是提高图像重构效率的关键，其过程可分为：邻域搜索、插值重构和搜索方向确定这三个阶段。

（1）邻域搜索

序列图像的二维帧间亚像素位移是通过微纳运动平台在x和y轴上的精密运动实现的，在的像素搜索空间内，图像帧间亚像素位移最小偏移量为/>像素。

现有技术中通常采用遍历搜索来实现邻域搜索。在遍历搜索过程中，以像素搜索空间为例，序列图像采集过程如图3所示，其中帧间亚像素位移s的最小偏移量为1/5像素(即0.2像素)，在横坐标轴X轴和纵坐标轴Y轴的单位长度均为0.2pixel(像素)的XY坐标系中，以参考图像位置点1(即图3所示的/>)为中心(0, 0)，对图3所示的/>，即位置坐标为(0.2, 0)的搜索位置点2，通过坐标变换将帧间位移0.2pixel变换为微纳平台位移并进行精密运动，以此不断向外搜索亚像素位移下的序列图像并进行迭代重构，在遍历搜索模型下，共进行了/>次的图像搜索，即依次遍历图3所示的/>~/>共25个搜索位置点。

由于在遍历采样重构中存在着不必要的图像数据冗余问题，限制了图像重构效率，因此本实施例提供了一种基于邻域搜索模板的采样重构方法。在此搜索过程中，其基本思想是利用搜索模板的形状和大小对搜索重构算法速度和精度产生重要影响的特性。在路径图像搜索过程中，若搜索步长过小，则可能陷入局部最优，而若搜索步长过大，则可能无法寻找到参与重构的最优路径图像。因此，在搜索过程中本实施例考虑由粗到精搜索的思想，同时降低局部最优的敏感性，设置了十字形搜索模板和小矩阵搜索模板。

十字形搜索模板：如图4所示，以当前路径搜索图像位置点作为中心点(即以图4所示的三角形位置点为中心点)，搜索步长设置为/>，构成4个十字形分布的邻域位置(即图4所示的4个圆形位置点)，若4个邻域位置参与过之前的迭代搜索重构，则去除相应位置，即去除参与过之前迭代搜索重构的位置，通过微纳平台运动移动至搜索点邻域位置并采集邻域图像形成邻域图像候选集{/>}。

小矩形搜索模板：如图5所示，以当前路径搜索图像位置点作为中心点(即以图5所示的三角形位置点为中心点)，搜索步长设置为/>，,/>构成8个矩形分布的邻域位置(即图5所示的8个圆形位置点)，若8个邻域位置参与过之前的迭代搜索重构，则去除相应位置，即去除参与过之前迭代搜索重构的位置，通过微纳平台运动移动至搜索点邻域位置并采集邻域图像形成邻域图像候选集{/>}。

本实施例上述邻域图像搜索过程中，首先以十字形搜索模板对搜索点的邻域位置进行大步长的粗搜索，当搜索点的邻域图像对图像重构质量无增强作用或搜索点位置位于搜索空间边界时，更换为以小矩形搜索模板进行路径点（即搜索点）邻域位置的小步长精搜索。通过这一搜索方式，避免序列图像数据冗余的问题，在保证图像重构质量的同时，显著提高了重构计算效率。

（2）插值重构

将目前第i次迭代搜索确定的路径图像集与在搜索点/>通过搜索模板确定的邻域图像候选集{/>}中的每个邻域图像分别进行序列图像重构。具体的，在第i次迭代搜索过程中，获取当前迭代次的路径图像/>，并结合前i-1迭代次的路径图像，构成路径图像集/>，将该路径图像集中的所有路径图像分别与第i次迭代所确定的每一邻域图像构成序列图像并进行重构，第i次迭代中共确定j张邻域图像，因此分别进行j次重构，得到j张重构图像。其中，路径图像集/>与每一邻域图像/>的帧间运动关系通过微纳运动平台的运动反馈经坐标变换可以得到，避免了序列图像的“运动估计”即配准难题。

本实施例中，依据路径图像和邻域图形之前的帧间位移关系，将序列图像映射到大小为的高分辨率图像网格/>，其中/>为放大倍数，/>为序列低分辨率图像分辨率大小，在高分辨率图像网格/>中存在着“孔洞”，即在整数坐标点中存在像素值缺失现象。为了重建完整的高分辨率图像，本实施例采用最近邻插值算法进行孔洞填充，实现完整的图像重构。

最近邻插值是一种复制型插值，具有计算量和时间消耗少的优点。在该算法中，每个插值点的像素值为现有高分辨率网格中距离被插值网格点最近的已知像素值，可表示为：

(3)

上式中，为高分辨率网格/>中在坐标/>处的像素值，/>为高分辨率网格/>中具有像素值的坐标点集合，/>代表计算两个坐标点之间欧氏距离的函数。

（3）搜索方向确定

图像质量评价可以客观地量化重建图像的质量，以此来进行图像搜索矢量的方向判断。利用无参考指标Vollaths函数作为图像质量评价指标，其可通过下式计算：

(4)

上式中，表示图像中/>坐标点的像素值。Vollaths函数反映了图像中所有相邻像素的相似性，从而反映了整体图像质量。高质量图像往往在相邻像素和锐边之间具有较低的相关性，从而导致更高的计算结果。

本实施例中，分别计算当前迭代过程中路径图像与邻域图像重构后所得到的j张重构图像的图像质量集合{}，计算当前迭代的重构图像质量集合{/>}中每一图像质量与上一步迭代所确定的重构图像质量/>的差值，即将当前第i次迭代的重构图像质量集合{}中的每一重构图像质量值与第i-1次迭代所确定的重构图像质量值/>做差，得到j个差值，此时确定所有差值中的最大差值，该最大差值对应的邻域图像位置即为下一次迭代的搜索运动矢量方向和位移，即更新下一迭代的搜索点位置，此时相应的也确定了本次迭代的图像质量/>，本次迭代的图像质量/>为基于最大差值所对应邻域图像进行重构所得到的重构图像的图像质量。在确定下一迭代的搜索点位置后，将该运动矢量方向和位移信息经坐标变换后反馈给微纳运动平台，微纳运动平台自适应运动调整，移动到更新后的搜索点位置，以此完成图像搜索。

（4）迭代中止判别

为了避免过拟合和控制重构时间复杂度，设置迭代中止判别条件为重构图像质量的最大差值小于预设误差阈值或搜索点不存在邻域图像。具体的，该迭代中止的判别规则为：

规则1：图像质量误差阈值。设置质量误差阈值，若/>，则停止搜索，输出高分辨率图像。

规则2：搜索空间中止。在的搜索空间内，若搜索点不存在邻域图像，则停止搜索，输出高分辨率图像。

利用本实施例所提出的亚微米级超分辨显微成像重构方法，对星标板样本在5倍物镜放大下进行搜索空间内的亚微米级超分辨率重构，最后得到高分辨率重构图像，如图6所示，图6为初始待重建图像，即低分辨率图像，图7为利用本实施例所述方法重构得到的重构图像。从图6和图7中可以看出，重构图像边缘等细节质量得到了提高；同时，在重构过程中，仅用了搜索空间/>张图像中的7张图像，搜索路径如图8所示，其中帧间亚像素位移s的最小偏移量为1/5像素(即0.2像素)，在横坐标轴X轴和纵坐标轴Y轴的单位长度均为0.2pixel(像素)的XY坐标系中，仅进行了7次的图像搜索，依次遍历图8所示的/>~共7个搜索位置点，在重构效率上取得了明显的效率提升。

实施例二

本实施例提供了一种亚微米级超分辨显微成像重构系统，包括：

微纳运动平台，用于放置成像观测物，并受控于伺服控制器进行精密位移；

伺服控制器，用于根据信号处理装置下发的移动信号控制微纳运动平台移动到指定位置，并反馈微纳运动平台的移动信息至信号处理装置；

图像采集装置，安装在显微镜的目镜上，且显微镜的物镜位于微纳运动平台的正上方且可观测到观测物；

信号处理装置，用于向伺服控制器下发移动信号，并接收伺服控制器反馈的微纳运送平台的移动信息；当观测物到达指定位置后，向图像采集装置发送图像采集指令，并接收图像采集装置采集的成像观测物序列图像；

所述信号处理装置，被配置为：

在当前迭代过程中，采集并存储在搜索点位置处的成像观测物的路径图像，构成从初始迭代到当前迭代的路径图像集；

基于邻域搜索模板，确定当前搜索点的邻域位置，采集在每一邻域位置处的成像观测物的邻域图像，构成邻域图像候选集，并获取从当前搜索点位置移动到每一邻域位置的移动信息；

基于移动信息，通过坐标变换确定图像像素位移；根据图像像素位移，将路径图像集与邻域图像候选集中的每一邻域图像分别进行序列图像重构，得到多张重构图像，并对重构图像进行质量评价；

根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，更新下一迭代的搜索点位置，继续进行搜索迭代，直至重构图像质量的最大差值小于预设误差阈值或搜索点不存在邻域图像，迭代结束，输出高分辨率重构图像。

作为另一种实施方式，所述系统还包括复合光源，该复合光源包括遮光外壳、白色条形光源以及用于调节光源角度的旋钮调节结构，能够最大限度减少环境光干扰，增强成像质量。

以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例，虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种亚微米级超分辨显微成像重构方法，其特征是，采用双自由度超精密微纳运动平台作为载物台放置成像观测物,且微纳运动平台受控于伺服控制器，用于提供精密的位移运动，实现多空间视角亚像素运动;平台运动信息通过标定模型的坐标变换嵌入序列图像重构的帧间位移，并通过基于路径搜索的亚微米级超分辨率重构方法，输出高分辨率重构图像；所述方法包括:

在当前迭代过程中，采集并存储在搜索点位置处的成像观测物的路径图像，构成从初始迭代到当前迭代的路径图像集；

基于邻域搜索模板，确定当前搜索点的邻域位置，采集在每一邻域位置处的成像观测物的邻域图像，构成邻域图像候选集，并基于平台运动信息，并获取从当前搜索点位置移动到每一邻域位置的移动信息；

基于移动信息，通过坐标变换确定图像像素位移；根据图像像素位移，将路径图像集与邻域图像候选集中的每一邻域图像分别进行序列图像重构，得到多张重构图像，并对重构图像进行质量评价；

根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，更新下一迭代的搜索点位置，继续进行搜索迭代，直至重构图像质量的最大差值小于预设误差阈值或搜索点不存在邻域图像，迭代结束，输出高分辨率重构图像。

2.如权利要求1所述的亚微米级超分辨显微成像重构方法，其特征是，所述邻域搜索模板包括十字形搜索模板和小矩阵搜索模板。

3.如权利要求2所述的亚微米级超分辨显微成像重构方法，其特征是，所述基于邻域搜索模板，确定当前搜索点的邻域位置，包括：

以十字形搜索模板对搜索点的邻域位置进行大步长的粗搜索，当搜索点的邻域图像对图像重构质量无增强作用或搜索点位置位于搜索空间边界时，更换为以小矩形搜索模板对搜索点的邻域位置进行的小步长精搜索；

基于粗搜索和精搜索确定的邻域位置，构成最终的搜索点邻域位置。

4.如权利要求1所述的亚微米级超分辨显微成像重构方法，其特征是，在第i次迭代搜索过程中，获取当前迭代次的路径图像，并结合前i -1迭代次的路径图像/>，构成路径图像集/>；

第i次迭代搜索过程中获取j张邻域图像，将路径图像集中的所有路径图像分别与第i次迭代所确定的每一邻域图像构成序列图像并进行重构，得到j张重构图像。

5.如权利要求4所述的亚微米级超分辨显微成像重构方法，其特征是，根据路径图像和邻域图像之间的图像像素位移关系，将序列图像映射到大小为的高分辨率图像网格/>，采用最近邻插值算法进行网格孔洞填充，完成图像重构；其中，/>为放大倍数，/>为序列低分辨率图像分辨率大小。

6.如权利要求1所述的亚微米级超分辨显微成像重构方法，其特征是，所述根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，包括：

将当前迭代得到的j张重构图像的图像质量分别与上一迭代所确定的重构图像的图像质量做差，得到j个差值，确定所有差值中的最大差值，所述最大差值对应的邻域图像位置即为下一次迭代的搜索运动矢量方向和位移，基于最大差值对应的邻域图像进行重构所得到的重构图像的图像质量为当前迭代所确定的重构图像的图像质量。

7.一种亚微米级超分辨显微成像重构系统，其特征是，包括：

微纳运动平台，采用双自由度超精密微纳运动平台作为载物台放置成像观测物，并受控于伺服控制器进行精密位移；

伺服控制器，用于根据信号处理装置下发的移动信号控制微纳运动平台移动到指定位置，并反馈微纳运动平台的移动信息至信号处理装置；

图像采集装置，安装在显微镜的目镜上，且显微镜的物镜位于微纳运动平台的正上方且可观测到观测物；

信号处理装置，用于向伺服控制器下发移动信号，并接收伺服控制器反馈的微纳运送平台的移动信息；当观测物到达指定位置后，向图像采集装置发送图像采集指令，并接收图像采集装置采集的成像观测物序列图像；

所述信号处理装置，被配置为：

在当前迭代过程中，采集并存储在搜索点位置处的成像观测物的路径图像，构成从初始迭代到当前迭代的路径图像集；

基于邻域搜索模板，确定当前搜索点的邻域位置，采集在每一邻域位置处的成像观测物的邻域图像，构成邻域图像候选集，并获取从当前搜索点位置移动到每一邻域位置的移动信息；

基于移动信息，通过坐标变换确定图像像素位移；根据图像像素位移，将路径图像集与邻域图像候选集中的每一邻域图像分别进行序列图像重构，得到多张重构图像，并对重构图像进行质量评价；

根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，更新下一迭代的搜索点位置，继续进行搜索迭代，直至重构图像质量的最大差值小于预设误差阈值或搜索点不存在邻域图像，迭代结束，输出高分辨率重构图像。

8.如权利要求7所述的亚微米级超分辨显微成像重构系统，其特征是，所述邻域搜索模板包括十字形搜索模板和小矩阵搜索模板。

9.如权利要求8所述的亚微米级超分辨显微成像重构系统，其特征是，所述基于邻域搜索模板，确定当前搜索点的邻域位置，包括：

以十字形搜索模板对搜索点的邻域位置进行大步长的粗搜索，当搜索点的邻域图像对图像重构质量无增强作用或搜索点位置位于搜索空间边界时，更换为以小矩形搜索模板对搜索点的邻域位置进行的小步长精搜索；

基于粗搜索和精搜索确定的邻域位置，构成最终的搜索点邻域位置。

10.如权利要求7所述的亚微米级超分辨显微成像重构系统，其特征是，所述根据当前迭代和上一迭代的重构图像质量的差值，确定下一迭代的搜索运动矢量方向和位移，包括：

将当前迭代得到的j张重构图像的图像质量分别与上一迭代所确定的重构图像的图像质量做差，得到j个差值，确定所有差值中的最大差值，所述最大差值对应的邻域图像位置即为下一次迭代的搜索运动矢量方向和位移，基于最大差值对应的邻域图像进行重构所得到的重构图像的图像质量为当前迭代所确定的重构图像的图像质量。