CN110020988A - 基于微纳运动平台的超分辨率重构系统及重构方法 - Google Patents
基于微纳运动平台的超分辨率重构系统及重构方法 Download PDFInfo
- Publication number
- CN110020988A CN110020988A CN201910271728.0A CN201910271728A CN110020988A CN 110020988 A CN110020988 A CN 110020988A CN 201910271728 A CN201910271728 A CN 201910271728A CN 110020988 A CN110020988 A CN 110020988A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- micro
- motion platform
- nano
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000010276 construction Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 18
- 230000015556 catabolic process Effects 0.000 claims description 17
- 238000006731 degradation reaction Methods 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 12
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 4
- 239000010931 gold Substances 0.000 claims description 4
- 229910052737 gold Inorganic materials 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 230000003412 degenerative effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- UTSBHQHXGFVJMV-UHFFFAOYSA-N 2-[(4-methylpiperazin-1-yl)methyl]-1-phenylprop-2-en-1-one Chemical compound C1CN(C)CCN1CC(=C)C(=O)C1=CC=CC=C1 UTSBHQHXGFVJMV-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种基于微纳运动平台的超分辨率重构系统及重构方法。其中，基于微纳运动平台的超分辨率重构系统，包括：微纳运动平台，所述微纳运动平台上连接有观测物；图像采集装置，所述图像采集装置安装在显微镜的目镜上，显微镜的物镜位于微纳运动平台的正上方且可观测到观测物；信号处理装置，所述信号处理装置被配置为向微纳运动平台传送位置指令，控制微纳运动平台拖动观测物运动到指定位置；当观测物到达指定位置后，向图像采集装置发送图像采集指令，接收图像采集装置发送的观测物序列图像。
Description
技术领域
本公开属于超分辨率重构领域，尤其涉及一种基于微纳运动平台的超分辨率重构系统及重构方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
图像超分辨率重构技术最早出现在20世纪60年代，Harris和Goodman首次提出了单张图像复原的概念，并研究了复原的方法。随后许多人对图像复原进行了研究，创新出了多种复原方法。比如椭圆球波函数法，线性外推法，叠加正弦模板法等等。虽然这些方法做出了比较好的仿真结果，但在实践应用中并没有取得理想的效果。80年代初，Tsai和Huang首次提出了基于序列或多帧影像的超分辨率重构的问题，并给出了基于频率域逼近的重建影像的方法。
在国内，图像超分辨率重构技术的研究已经起步，北京理工大学的刘新平博士在1999年提出“亚像元成像”的概念，他利用面阵CCD和线阵CCD做探测器验证了亚像元成像原理，进行了仿真实验研究。得到了分辨率提高到1.8倍的图像，说明了亚像元成像的原理的正确性。苏秉华等提出了基于Markov约束的泊松最大后验概率(Poisson-MAP)超分辨率图像复原方法(MPMAP)，该方法把Poisson-MAP法和Markov随机场先验分布有机地结合在一起。他们所做的实验表明，该方法能有效地减少和去除复原图像中的噪声和振荡条纹，提高图像复原的质量，具有很好的超分辨率复原能力。
发明人发现，目前国内外对超分辨率重构技术的研究主要针对具有普适性的算法实现，还没有对特定的显微视觉领域进行研究。由于现有的超分辨率重构技术主要的信息来源是图像之间的亚像素位移信息，而这种信息一般来自相机的抖动，这样最终能够收集得到的亚像素信息十分有限。同时，现有超分辨率重构技术获取图像帧间运动关系主要依靠的是精度不高的运动估计算法。鉴于显微视觉对图像的重构精度有很高要求，本发明利用微纳运动平台主动提供亚像素运动信息以及利用光栅尺提供图像帧间运动关系，最终可以大幅提高图像的超分辨率重构精度。
发明内容
为了解决上述问题，本公开的第一个方面提供一种基于微纳运动平台的超分辨率重构系统，其采用微纳运动平台直接驱动观测物进行亚像素尺度运动，能够实现图像的高精度和高分辨重构。
为了实现上述目的，本公开采用如下技术方案：
一种基于微纳运动平台的超分辨率重构系统，包括：
微纳运动平台，所述微纳运动平台上连接有观测物；
图像采集装置，所述图像采集装置安装在显微镜的目镜上，显微镜的物镜位于微纳运动平台的正上方且可观测到观测物；
信号处理装置，所述信号处理装置被配置为：
向微纳运动平台传送位置指令，控制微纳运动平台拖动观测物运动到指定位置；当观测物到达指定位置后，向图像采集装置发送图像采集指令，接收图像采集装置发送的观测物序列图像；
选择观测物序列图像中的第一幅作为参考图像并将其放大至和重构后图像相同的尺寸；其中，观测物序列图像中的分辨率为第一分辨率；重构后图像的分辨率为第二分辨率，第二分辨率大于第一分辨率；
建立从第二分辨率到第一分辨率的图像退化模型；
根据图像退化模型和与其它图像的运动信息，将参考图像退化为和其它序列图像具有相同亚像素运动信息的第三分辨率图像，再将其和图像采集装置采集得到的第二分辨率图像进行对比，将它们之间的灰度误差作为输入量用以修正参考图像，直到分辨率误差小于设定值为止。
为了解决上述问题，本公开的第二个方面提供一种基于微纳运动平台的超分辨率重构系统的重构方法，其采用微纳运动平台直接驱动观测物进行亚像素尺度运动，能够实现图像的高精度和高分辨重构。
为了实现上述目的，本公开采用如下技术方案：
一种基于微纳运动平台的超分辨率重构系统的重构方法，包括：
接收观测物序列图像；
选择观测物序列图像中的第一幅作为参考图像并将其放大至和重构后图像相同的尺寸；其中，观测物序列图像中的分辨率为第一分辨率；重构后图像的分辨率为第二分辨率，第二分辨率大于第一分辨率；
建立从第二分辨率到第一分辨率的图像退化模型；
根据图像退化模型和与其它图像的运动信息，将参考图像退化为和其它序列图像具有相同亚像素运动信息的第三分辨率图像，再将其和图像采集装置采集得到的第二分辨率图像进行对比，将它们之间的灰度误差作为输入量用以修正参考图像，直到分辨率误差小于设定值为止。
本公开的有益效果是：
目前现有的超分辨率成像技术的重构精度主要依赖于序列图像之间运动估计的精度，而本实施例采用微纳运动平台直接驱动观测物进行亚像素尺度运动，运动信息是从光栅传感器读取得到的，光栅测量精度高达2nm，因此本实施例极大地提高了显微尺度下超分辨率重构的精度。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例的基于微纳运动平台的超分辨率重构系统结构示意图；
图2为本公开实施例的待测物图像；
图3为本公开实施例的微纳运动平台Simulink控制算法框图；
图4为本公开实施例的微纳运动平台轨迹图；
图5为本公开实施例的微纳运动平台稳态运动精度图；
图6为本公开实施例的自适应图像采集算法程序框图；
图7为本公开实施例的图像处理算法中图像退化模型图；
图8为本公开实施例的超分辨率重构算法程序框图；
图9(a)为本公开实施例的双线性插值的高分辨率图像；
图9(b)为本公开实施例的使用重构处理得到的高分辨率图像。
图10为本公开实施例的微纳运动平台结构图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
图1是本公开实施例提供的一种基于微纳运动平台的超分辨率重构系统结构示意图。
如图1所示，本实施例的基于微纳运动平台的超分辨率重构系统，包括微纳运动平台、图像采集装置和信号处理装置。
其中，所述微纳运动平台上连接有观测物。
作为一种实施方式，微纳运动平台可与观测物刚性连接。
作为一种实施方式，微纳运动平台包括：柔性板簧、压电陶瓷、光栅尺、固定架和活动台，如图10所示。
作为一种实施方式，所述微纳平台的上表面与观测物之间设有镀金薄膜，所述镀金薄膜作为观测物的背景，这样可以保证探针所处背景的洁净度，不会对图像处理造成干扰。
作为一种实施方式，所述显微镜和微纳运动平台均封闭在密闭空间内，从而减少空气中颗粒物对参照物造成的污染。
例如：所述显微镜和微纳平台均封闭在玻璃罩内，从而减少空气中微小颗粒物对参照物造成的污染。
作为一种实施方式，所述微纳运动平台内置位移传感器，所述位移传感器用于采集观测物的运动信息并传送至信号处理装置。
其中，位移传感器包括但不限于光栅传感器。
在具体实施中，所述图像采集装置安装在显微镜的目镜上，显微镜的物镜位于微纳运动平台的正上方且可观测到观测物；在本实施例中，图像采集装置采用摄像头来实现。
图像采集过程保证摄像头不抖动，摄像头的进光量和光强持续稳定以及采集环境要有高洁净度；显微镜的镜头高低和水平面均可精细调节，这样既可以更加快速发现标记物，又可以保证摄像头有很好的对焦质量；所述显微镜是50倍镜头。摄像头型号为MER-531-20GM/C-P。
作为一种实施方式，所述信号处理装置，包括计算机终端和控制器，所述计算机终端，用于发送图像采集指令至图像采集装置；以及发送位置指令至控制器，由控制器控制微纳运动平台拖动观测物运动到指定位置。
控制器可采用SimulinkxPC系统，该系统可以实时采集微纳运动平台内置的两个位移传感器(比如：光栅传感器)的信息，从而获得观测物的位置为微纳运动平台的闭环控制提供条件。SimulinkxPC下位机系统与计算机终端通过网线连接，它可以与计算机终端进行通信。
控制器内的控制算法为H-inf控制算法，如图3所示，该算法以光栅的测量作为误差最终实现对微纳平台的精准控制。微纳运动平台的运动轨迹如图4所示。微纳运动平台的内置光栅的测量精度为2nm，最终实验的位置控制误差在-5nm到+5nm范围之内，如图5所示。
在具体实施中，所述信号处理装置被配置为：
S101：向微纳运动平台传送位置指令，控制微纳运动平台拖动观测物运动到指定位置；当观测物到达指定位置后，向图像采集装置发送图像采集指令，接收图像采集装置发送的观测物序列图像；
S102：选择观测物序列图像中的第一幅作为参考图像并将其放大至和重构后图像相同的尺寸；其中，观测物序列图像中的分辨率为第一分辨率；重构后图像的分辨率为第二分辨率，第二分辨率大于第一分辨率；
S103：建立从第二分辨率到第一分辨率的图像退化模型；
在步骤S103中，建立图像退化模型是根据成像过程中不可避免的受到光学系统、大气扰动、运动、采样、噪声等多种因素的影响，从而导致了图像质量下降。
基于此，对观测图像的退化过程作以假定是可能的，其思想是这样的：假定不同的观测图像是一幅高分辨率图像经过不同的几何形变、系统模糊、欠采样操作，以及噪声等等共同作用的结果，那么这个降质过程实际上近似的描述了图像获取系统的成像过程，然后再对它进行数学上的简化，建立相应的观测模型，通过观测模型就可以建立从第二分辨率到第一分辨率的图像的关系，如图7所示。
图像退化方程如下所示，
其中：X(x,y)表示连续高分辨率图像，x和y分别表示连续高分辨率图像中的横纵坐标值，Yk(m,n)表示第k幅离散低分辨率图像，m和n分别表示离散低分辨率图像中的横纵坐标值，*表示二维卷积运算，↓表示图像传感器的离散化操作，Wk是第k幅图像形变关系矩阵，l表示退化模型，Nk(m,n)是系统加性噪声，和分别表示由大气干扰和成像系统的点扩散函数引起的第k幅观测图像的模糊。
S104：根据图像退化模型和与其它图像的运动信息，将参考图像退化为和其它序列图像具有相同亚像素运动信息的第三分辨率图像，再将其和图像采集装置采集得到的第二分辨率图像进行对比，将它们之间的灰度误差作为输入量用以修正参考图像，直到分辨率误差小于设定值为止。
在步骤S104中，各个低分辨率图像相对于参考图像的运动信息是从微纳运动平台的位移传感器(如：光栅传感器)中读取的，相对于经典的超分辨率重构算法通过估计获取运动信息，从位移传感器中获取的运动信息的精度和可靠性要高出很多。
在具体实施中，灰度误差的计算过程为：
由两幅图像对应位置的灰度值相减，得到的一个灰度差数组；
求灰度差数组的均方根值，作为两幅图像的灰度误差。
通过求灰度差数组的均方根值(MSE)来与预设值进行比较，如果当前的均方误差小于或者等于预设值，那么就停止迭代。
均方误差MSE定义如下所示，
其中m和n分别代表低分辨率图像(包括第二分辨率图像和第三分辨率图像)的长和宽；x,y分别表示图像坐标系中的横纵坐标，Ix,y和Rx,y分别表示图像采集装置获取的第二分辨率图像和从参考图像退化得到的第三分辨率图像。第三分辨率小于第一分辨率。
下面给出一个具体实验：
分别使用双线性插值和本实施例所提出的方法对图像采集装置得到的低分辨率图像进行重构，最后得到两幅高分辨率图像，如图9(a)和图9(b)所示。比较两幅高分辨率图像的峰值信噪比(Peak Signal-to-Noise Ratio，简记PSNR)和结构相似性(StructuralSimilarity，简记SSIM)就可以得到客观的数据结果了。PSRN通过比较两幅图像对应像素点的灰度值差异来评估图像的好坏，SSIM则从亮度、对比度和结构这三个方面来评估两幅图像的相似性。具体计算公式如下：
其中W、H分别表示图像的长和宽，和x(i,j)分别表示原始高分辨率图像和待测高分辨率图像,i和j分别表示图像坐标系中横坐标和纵坐标，μx、μy表表示均值，σx、σy表表示方差，σxy表示协方差，C1和C2表示常数。最后PSNR和SSIM的结果表1所示。
表1实验结果参数
| 双线性插值 | 本实施例 | |
| PSNR | 25.18 | 43.15 |
| SSIM | 0.756 | 0.935 |
PSNR值越高说明重建结果的像素值和标准越接近，SSIM越高说明重建结果在机构相似度与标准越接近。根据表1所示的结果可以发现，使用该实施例所提出的超分辨率重构技术所得到的结果是要远远优于使用双线性插值所得出的结果，因此在该实施例在显微尺度下的超分辨率重构的重构精度很高，具有很大的实用价值。
在另一实施例中，提供了一种基于微纳运动平台的超分辨率重构系统的重构方法，包括：
步骤一：接收观测物序列图像；
步骤二：选择观测物序列图像中的第一幅作为参考图像并将其放大至和重构后图像相同的尺寸；其中，观测物序列图像中的分辨率为第一分辨率；重构后图像的分辨率为第二分辨率，第二分辨率大于第一分辨率；
在具体实施中，运用双线性插值方法将参考图像放大至和重构后图像相同的尺寸。
其中，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。运用双线性插值方法将参考图像放大图像的连续性较好。
步骤三：建立从第二分辨率到第一分辨率的图像退化模型；
在步骤三中，建立图像退化模型是根据成像过程中不可避免的受到光学系统、大气扰动、运动、采样、噪声等多种因素的影响，从而导致了图像质量下降。
基于此，对观测图像的退化过程作以假定是可能的，其思想是这样的：假定不同的观测图像是一幅高分辨率图像经过不同的几何形变、系统模糊、欠采样操作，以及噪声等等共同作用的结果，那么这个降质过程实际上近似的描述了图像获取系统的成像过程，然后再对它进行数学上的简化，建立相应的观测模型，通过观测模型就可以建立从第二分辨率到第一分辨率的图像的关系，如图7所示。
图像退化方程如下所示，
其中：X(x,y)表示连续高分辨率图像，Yk(m,n)表示第k幅离散低分辨率图像，*表示二维卷积运算，↓表示图像传感器的离散化操作，Wk是第k幅图像形变关系矩阵，Nk(m,n)是系统加性噪声，和分别表示由大气干扰和成像系统的点扩散函数引起的第k幅观测图像的模糊。
步骤四：根据图像退化模型和与其它图像的运动信息，将参考图像退化为和其它序列图像具有相同亚像素运动信息的第三分辨率图像，再将其和图像采集装置采集得到的第二分辨率图像进行对比，将它们之间的灰度误差作为输入量用以修正参考图像，直到分辨率误差小于设定值为止。
在步骤四中，各个低分辨率图像相对于参考图像的运动信息是从微纳运动平台的位移传感器(如：光栅传感器)中读取的，相对于经典的超分辨率重构算法通过估计获取运动信息，从位移传感器中获取的运动信息的精度和可靠性要高出很多。
在具体实施中，灰度误差的计算过程为：
由两幅图像对应位置的灰度值相减，得到的一个灰度差数组；
求灰度差数组的均方根值，作为两幅图像的灰度误差。
通过求灰度差数组的均方根值(MSE)来与预设值进行比较，如果当前的均方误差小于或者等于预设值，那么就停止迭代。
均方误差MSE定义如下所示，
其中m和n分别代表低分辨率图像(包括第二分辨率图像和第三分辨率图像)的长和宽；Ix,y和Rx,y分别表示图像采集装置获取的第二分辨率图像和从参考图像退化得到的第三分辨率图像。第三分辨率小于第一分辨率。
在步骤一中，接收观测物序列图像的过程为：
步骤(1)：将图像采集装置传送来的前一帧图像作为参考帧；
步骤(2)：计算参考帧图像中各个方向的梯度，选择梯度最大的一个方向且设为j方向，该方向的梯度记为Gj，其中j表示梯度方向；
步骤(3)：驱动微纳运动平台朝着图像梯度最大的方向运动预设亚像素尺度的长度；
步骤(4)：实时接收图像，并且计算当前实时接收的图像在j方向上的梯度G′j；
步骤(5)：比较Gj和G′j的大小，如果G′j小于或者等于Gj，存储当前帧图像且作为参考帧并返回步骤(2)；否则返回步骤(3)。
步骤(2)中计算图像在4个方向上的梯度，梯度方向如图4所示。用IMG(x,y)表示图像在点(x,y)的灰度值，因此点(x,y)在各个方向的梯度计算公式如下所示：
Grad1＝IMG(x+1,y)-IMG(x-1,y)
Grad2＝IMG(x,y+1)-IMG(x,y-1)
Grad3＝IMG(x+1,y+1)-IMG(x-1,y-1)
Grad4＝IMG(x-1,y+1)-IMG(x+1,y-1)
随着高精密电子器件和执行机构的不断发展，生物工程、超精密加工、精密光学仪器和化学分析等领域对于高分辨率光学显微成像技术的需求日益增长。在硬件条件一定的情况下，从软件上寻求分辨率的突破尤为重要。目前现有的超分辨率成像技术的重构精度主要依赖于序列图像之间运动估计的精度，而本实施例采用微纳运动平台直接驱动观测物进行亚像素尺度运动，运动信息是从光栅传感器读取得到的，光栅测量精度高达2nm，因此本实施例极大地提高了显微尺度下超分辨率重构的精度。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于微纳运动平台的超分辨率重构系统，其特征在于，包括：
微纳运动平台，所述微纳运动平台上连接有观测物；
图像采集装置，所述图像采集装置安装在显微镜的目镜上，显微镜的物镜位于微纳运动平台的正上方且可观测到观测物；
信号处理装置，所述信号处理装置被配置为：
向微纳运动平台传送位置指令，控制微纳运动平台拖动观测物运动到指定位置；当观测物到达指定位置后，向图像采集装置发送图像采集指令，接收图像采集装置发送的观测物序列图像；
选择观测物序列图像中的第一幅作为参考图像并将其放大至和重构后图像相同的尺寸；其中，观测物序列图像中的分辨率为第一分辨率；重构后图像的分辨率为第二分辨率，第二分辨率大于第一分辨率；
建立从第二分辨率到第一分辨率的图像退化模型；
根据图像退化模型和与其它图像的运动信息，将参考图像退化为和其它序列图像具有相同亚像素运动信息的第三分辨率图像，再将其和图像采集装置采集得到的第二分辨率图像进行对比，将它们之间的灰度误差作为输入量用以修正参考图像，直到分辨率误差小于设定值为止。
2.如权利要求1所述的一种基于微纳运动平台的超分辨率重构系统，其特征在于，所述微纳平台上表面与观测物之间设有镀金薄膜，所述镀金薄膜作为观测物的背景。
3.如权利要求1所述的一种基于微纳运动平台的超分辨率重构系统，其特征在于，所述显微镜和微纳运动平台均封闭在密闭空间内，从而减少空气中颗粒物对参照物造成的污染。
4.如权利要求1所述的一种基于微纳运动平台的超分辨率重构系统，其特征在于，所述微纳运动平台内置位移传感器，所述位移传感器用于采集观测物的运动信息并传送至信号处理装置。
5.如权利要求1所述的一种基于微纳运动平台的超分辨率重构系统，其特征在于，所述信号处理装置，包括计算机终端和控制器，所述计算机终端，用于发送图像采集指令至图像采集装置；以及发送位置指令至控制器，由控制器控制微纳运动平台拖动观测物运动到指定位置。
6.一种如权利要求1-5中任一项所述的基于微纳运动平台的超分辨率重构系统的重构方法，其特征在于，包括：
接收观测物序列图像；
选择观测物序列图像中的第一幅作为参考图像并将其放大至和重构后图像相同的尺寸；其中，观测物序列图像中的分辨率为第一分辨率；重构后图像的分辨率为第二分辨率，第二分辨率大于第一分辨率；
建立从第二分辨率到第一分辨率的图像退化模型；
根据图像退化模型和与其它图像的运动信息，将参考图像退化为和其它序列图像具有相同亚像素运动信息的第三分辨率图像，再将其和图像采集装置采集得到的第二分辨率图像进行对比，将它们之间的灰度误差作为输入量用以修正参考图像，直到分辨率误差小于设定值为止。
7.如权利要求6所述的基于微纳运动平台的超分辨率重构系统的重构方法，其特征在于，图像退化模型和与其它图像的运动信息从微纳运动平台内置的位移传感器中读取。
8.如权利要求6所述的基于微纳运动平台的超分辨率重构系统的重构方法，其特征在于，灰度误差的计算过程为：
由两幅图像对应位置的灰度值相减，得到的一个灰度差数组；
求灰度差数组的均方根值，作为两幅图像的灰度误差。
9.如权利要求6所述的基于微纳运动平台的超分辨率重构系统的重构方法，其特征在于，运用双线性插值方法将参考图像放大至和重构后图像相同的尺寸。
10.如权利要求6所述的基于微纳运动平台的超分辨率重构系统的重构方法，其特征在于，接收观测物序列图像的过程为：
步骤(1)：将图像采集装置传送来的前一帧图像作为参考帧；
步骤(2)：计算参考帧图像中各个方向的梯度，选择梯度最大的一个方向且设为j方向，该方向的梯度记为Gj，其中j表示梯度方向；
步骤(3)：驱动微纳运动平台朝着图像梯度最大的方向运动预设亚像素尺度的长度；
步骤(4)：实时接收图像，并且计算当前实时接收的图像在j方向上的梯度G′j；
步骤(5)：比较Gj和G′j的大小，如果G′j小于或者等于Gj，存储当前帧图像且作为参考帧并返回步骤(2)；否则返回步骤(3)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910271728.0A CN110020988B (zh) | 2019-04-04 | 2019-04-04 | 基于微纳运动平台的超分辨率重构系统及重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910271728.0A CN110020988B (zh) | 2019-04-04 | 2019-04-04 | 基于微纳运动平台的超分辨率重构系统及重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110020988A true CN110020988A (zh) | 2019-07-16 |
| CN110020988B CN110020988B (zh) | 2020-08-18 |
Family
ID=67190710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910271728.0A Active CN110020988B (zh) | 2019-04-04 | 2019-04-04 | 基于微纳运动平台的超分辨率重构系统及重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110020988B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111908421A (zh) * | 2020-07-31 | 2020-11-10 | 江南大学 | 基于光诱导介电泳的微纳自组装操作方法及系统 |
| CN116805283A (zh) * | 2023-08-28 | 2023-09-26 | 山东大学 | 一种亚微米级超分辨显微成像重构方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103854269A (zh) * | 2014-03-28 | 2014-06-11 | 国家测绘地理信息局卫星测绘应用中心 | 基于多角度、多分辨率的影像超分辨率重建方法及装置 |
| CN106158688A (zh) * | 2016-05-20 | 2016-11-23 | 江苏师范大学 | 一种tsv封装缺陷检测装置及其检测方法 |
| WO2017200395A1 (en) * | 2016-05-18 | 2017-11-23 | Auckland Uniservices Limited | Image registration method |
| CN108534683A (zh) * | 2018-03-06 | 2018-09-14 | 山东大学 | 基于视觉图像处理的微纳平台运动测量系统及方法 |
| CN108932708A (zh) * | 2018-06-13 | 2018-12-04 | 中国科学院光电研究院 | 基于超分辨增强的星载多光谱遥感图像融合方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103941568B (zh) * | 2014-03-21 | 2016-06-22 | 北京工业大学 | 多维自动超分辨率数字全息成像装置及方法 |
| CN108961325B (zh) * | 2018-06-13 | 2021-12-24 | 中国科学院光电研究院 | 多/高光谱遥感图像波段间配准方法 |
-
2019
- 2019-04-04 CN CN201910271728.0A patent/CN110020988B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103854269A (zh) * | 2014-03-28 | 2014-06-11 | 国家测绘地理信息局卫星测绘应用中心 | 基于多角度、多分辨率的影像超分辨率重建方法及装置 |
| WO2017200395A1 (en) * | 2016-05-18 | 2017-11-23 | Auckland Uniservices Limited | Image registration method |
| CN106158688A (zh) * | 2016-05-20 | 2016-11-23 | 江苏师范大学 | 一种tsv封装缺陷检测装置及其检测方法 |
| CN108534683A (zh) * | 2018-03-06 | 2018-09-14 | 山东大学 | 基于视觉图像处理的微纳平台运动测量系统及方法 |
| CN108932708A (zh) * | 2018-06-13 | 2018-12-04 | 中国科学院光电研究院 | 基于超分辨增强的星载多光谱遥感图像融合方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111908421A (zh) * | 2020-07-31 | 2020-11-10 | 江南大学 | 基于光诱导介电泳的微纳自组装操作方法及系统 |
| CN111908421B (zh) * | 2020-07-31 | 2024-01-05 | 江南大学 | 基于光诱导介电泳的微纳自组装操作方法及系统 |
| CN116805283A (zh) * | 2023-08-28 | 2023-09-26 | 山东大学 | 一种亚微米级超分辨显微成像重构方法及系统 |
| CN116805283B (zh) * | 2023-08-28 | 2023-11-24 | 山东大学 | 一种亚微米级超分辨显微成像重构方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110020988B (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Habib et al. | Bundle adjustment with self–calibration using straight lines | |
| CN109559355B (zh) | 一种基于相机组的无公共视场的多相机全局标定装置及方法 | |
| CN109489620A (zh) | 一种单目视觉测距方法 | |
| Lauria et al. | A detailed method for creating digital 3D models of human crania: an example of close-range photogrammetry based on the use of structure-from-motion (SfM) in virtual anthropology | |
| Falquez et al. | Inertial aided dense & semi-dense methods for robust direct visual odometry | |
| KR101863744B1 (ko) | 수중 영상 모자이킹 알고리즘의 성능 평가를 위한 시뮬레이션 장치 및 그 방법 | |
| KR100576228B1 (ko) | 다시각 ｘ선 입체 영상 방법 및 시스템 | |
| CN110020988A (zh) | 基于微纳运动平台的超分辨率重构系统及重构方法 | |
| CN105004723A (zh) | 病理切片扫描3d成像与融合装置及方法 | |
| CN104880172B (zh) | 基于卡尔曼滤波的路面平整度测量方法及装置 | |
| AU2015202937A1 (en) | Systems and methods for registration of images | |
| IL182799A (en) | Method for estimating the ptz camera's pose | |
| CN109781068B (zh) | 面向空间应用的视觉测量系统地面模拟评估系统及方法 | |
| CN103278143A (zh) | 基于机器视觉的零位走动量测试装置及方法 | |
| DE112018002357T5 (de) | Dreidimensionales Messverfahren unter Verwendung von Merkmalsgrössen, und Vorrichtung, die das Verfahren verwendet | |
| CN108871197A (zh) | 用于材料表面的位移场测量方法、装置、设备及存储介质 | |
| Danuser et al. | Tracking differential interference contrast diffraction line images with nanometre sensitivity | |
| CN114972284A (zh) | 基于自监督深度学习的无透镜显微成像系统及方法 | |
| CN107063638A (zh) | 一种基于模组化高精度显微镜系统的测试装置 | |
| McCarthy et al. | Monitoring dynamic structural tests using image deblurring techniques | |
| CN116228948A (zh) | 一种野外标本双目视觉三维重构方法和系统 | |
| CN108983702B (zh) | 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 | |
| Ahmad et al. | Comparative analysis of various camera input for videogrammetry | |
| KR20170037804A (ko) | 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법 | |
| Salfelder et al. | Markerless 3D spatio-temporal reconstruction of microscopic swimmers from video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |