CN110411981A - 一种基于tie的相位成像方法、装置及可读存储介质 - Google Patents

一种基于tie的相位成像方法、装置及可读存储介质 Download PDF

Info

Publication number
CN110411981A
CN110411981A CN201910547569.2A CN201910547569A CN110411981A CN 110411981 A CN110411981 A CN 110411981A CN 201910547569 A CN201910547569 A CN 201910547569A CN 110411981 A CN110411981 A CN 110411981A
Authority
CN
China
Prior art keywords
focus image
tie
negative
phase
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910547569.2A
Other languages
English (en)
Inventor
刘晓利
张璐
汤其剑
彭翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910547569.2A priority Critical patent/CN110411981A/zh
Priority to PCT/CN2019/097949 priority patent/WO2020258434A1/zh
Publication of CN110411981A publication Critical patent/CN110411981A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1789—Time resolved
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N2021/4173—Phase distribution
    • G01N2021/4186—Phase modulation imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种基于TIE的相位成像方法、装置及可读存储介质，控制双相机对标准棋盘格进行同步单帧成像，得到标准棋盘格的正离焦图像和负离焦图像；分别提取正离焦图像和负离焦图像中的角点；基于正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置，求解单应矩阵；根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像。通过本发明的实施，利用标准棋盘格所成的像来计算单应矩阵，利用单应矩阵对其中一个相机的视场图像进行矫正，可以达到亚像素级匹配精度，保证了TIE相位成像系统的精度，提高了成像效果。

Description

一种基于TIE的相位成像方法、装置及可读存储介质
技术领域
本发明涉及光学成像技术领域，尤其涉及一种基于TIE的相位成像方法、装置及可读存储介质。
背景技术
光强传输方程(Transport of intensity equation,TIE)在1983年首次被提出，是一种定量恢复相位的非干涉相位成像方法，光强传输方程由亥姆霍兹方程在傍轴近似条件下推导得出，表述了在光轴方向上光强度变化量与光轴垂直的平面上光波相位的定量关系。该方法无需干涉，受噪声影响小，且无需复杂的光路结构和相位展开计算。
TIE通过移动CCD相机以获取与光轴垂直的平面上光强变化，但是该移动操作会引入额外误差并会降低采集速度，为了提升速度，避免该图像采集过程中的机械移动，有诸多基于TIE的动态定量相位成像方法被提出，其中一种则是利用在显微镜双目镜筒处安装双相机实现单次曝光获得离焦图，尽管在双目镜上配置双相机的方法结构简单紧凑且成本低，可以在不丢失空间分辨率的情况下同时获得负离焦图像和正离焦图像，但是由于两个相机安装误差及目镜加工误差，使得两相机采集到的图像视场不能完全匹配，成像效果不佳。
发明内容
本发明实施例的主要目的在于提供一种基于TIE的相位成像方法、装置及可读存储介质，至少能够解决相关技术中在进行基于TIE的动态定量相位成像时，双相机所采集到的图像视场不能完全匹配，成像系统精度低、成像效果不佳的问题。
为实现上述目的，本发明实施例第一方面提供了一种基于TIE的相位成像方法，应用于基于TIE的双相机动态相位成像系统，所述双相机动态相位成像系统的双目镜筒上配置有双相机，其中一个目镜筒与对应配置的相机之间设置有铜环，该方法包括：
控制所述双相机对标准棋盘格进行同步单帧成像，得到所述标准棋盘格的正离焦图像和负离焦图像；
分别提取所述正离焦图像和负离焦图像中的角点；所述角点为棋盘格上每相邻的两个格子所重合的顶点；
基于所述正离焦图像的角点坐标位置以及所述负离焦图像的角点坐标位置，求解单应矩阵；
根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；
通过完成所述视场矫正后的所述双相机动态相位成像系统，对预设的实验样品进行相位成像。
为实现上述目的，本发明实施例第二方面提供了一种基于TIE的相位成像装置，应用于基于TIE的双相机动态相位成像系统，所述双相机动态相位成像系统的双目镜筒上配置有双相机，其中一个目镜筒与对应配置的相机之间设置有铜环，该装置包括：
控制模块，用于控制所述双相机对标准棋盘格进行同步单帧成像，得到所述标准棋盘格的正离焦图像和负离焦图像；
提取模块，用于分别提取所述正离焦图像和负离焦图像中的角点；所述角点为棋盘格上每相邻的两个格子所重合的顶点；
求解模块，用于基于所述正离焦图像的角点坐标位置以及所述负离焦图像的角点坐标位置，求解单应矩阵；
矫正模块，用于根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；
成像模块，用于通过完成所述视场矫正后的所述双相机动态相位成像系统，对预设的实验样品进行相位成像。
为实现上述目的，本发明实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和存储器之间的连接通信；
所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种基于TIE的相位成像方法的步骤。
为实现上述目的，本发明实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种基于TIE的相位成像方法的步骤。
根据本发明实施例提供的基于TIE的相位成像方法、装置及可读存储介质，控制双相机对标准棋盘格进行同步单帧成像，得到标准棋盘格的正离焦图像和负离焦图像；分别提取正离焦图像和负离焦图像中的角点；基于正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置，求解单应矩阵；根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像。通过本发明的实施，利用标准棋盘格所成的像来计算单应矩阵，利用单应矩阵对其中一个相机的视场图像进行矫正，可以达到亚像素级匹配精度，保证了TIE相位成像系统的精度，提高了成像效果。
本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的基于TIE的相位成像系统的结构示意图；
图2为本发明第一实施例提供的基于TIE的相位成像方法的基本流程示意图；
图3为本发明第一实施例提供的视场图像示意图；
图4为本发明第一实施例提供的角点提取方法的基本流程示意图；
图5为本发明第一实施例提供的变换到同一坐标系下的对应角点的一致性示意图；
图6为本发明第一实施例提供的视场矫正验证方法的基本流程示意图；
图7为本发明第一实施例提供的微透镜阵列示意图；
图8为本发明第一实施例提供的高度分布对比示意图；
图9为本发明第一实施例提供的不同时刻下藻细胞的形态变化示意图；
图10为本发明第二实施例提供的基于TIE的相位成像装置的结构示意图；
图11为本发明第三实施例提供的电子装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例：
为了解决相关技术中在进行基于TIE的动态定量相位成像时，双相机所采集到的图像视场不能完全匹配，成像系统精度低、成像效果不佳的技术问题，本实施例提出了一种基于TIE的相位成像方法，应用于基于TIE的双相机动态相位成像系统，双相机动态相位成像系统的双目镜筒上配置有双相机，其中一个目镜筒与对应配置的相机之间设置有铜环。
如图1所示为本实施例提供的基于TIE的双相机动态相位成像系统，其中，collector lens表示集光镜，condenser aperture表示聚光孔径，condenser表示聚光镜，sample表示样品载台，objective表示物镜，tube lens表示管透镜，beam splitter表示分束镜，mirror表示反射镜，eyepiece tube表示目镜筒，c-mount brass spacer ring表示C接口黄铜隔圈，CCD表示相机。物光经过物镜和中继镜组，通过分束镜分束后的两束光由不同的反射镜反射最终分别到达目镜筒时所走的光程是一样的，因此双相机可同时采集聚焦图像，通过在目镜筒与相机之间安装固定尺寸的C接口黄铜隔圈作为铜环实现离焦。
如图2所示为本实施例提供的基于TIE的相位成像方法的基本流程示意图，本实施例提出的基于TIE的相位成像方法包括以下的步骤：
步骤201、控制双相机对标准棋盘格进行同步单帧成像，得到标准棋盘格的正离焦图像和负离焦图像。
具体的，本实施例中将标准棋盘格作为标定样品，通过成像系统上的双相机同步单针采集负离焦图像和正离焦图像，如图3所示为本实施例中所采集的视场图像，其中，(a)为负离焦图，(b)为正离焦图，从图3中可以看出，两个相机所采集到的图像的视场不完全一致，这种不一致现象会严重影响TIE相位恢复的准确度。
步骤202、分别提取正离焦图像和负离焦图像中的角点。
具体的，角点为棋盘格上每相邻的两个格子所重合的顶点，角点是图像很重要的特征，对图像图形的理解和分析有很重要的作用。
如图4所示为本实施例提供的一种角点提取方法的流程示意图，可选的，分别提取正离焦图像和负离焦图像中的角点具体包括以下步骤：
步骤401、分别计算正离焦图像和负离焦图像中像素点在水平和垂直方向上的梯度，基于梯度得到自相关矩阵；
步骤402、基于对应的自相关矩阵分别计算正离焦图像和负离焦图像中各像素点的兴趣值；
步骤403、分别将正离焦图像和负离焦图像中，局部范围内的极大兴趣值所对应的像素点确定为角点。
具体的，本实施例中利用Harris算子提取两幅棋盘格图像中的角点作为不同视场下对应的特征点，且该算子提取角点位置的准确程度可以达到亚像素级别。本实施例中计算图像像素点在水平和垂直方向上的梯度Ix、Iy，以及两者的乘积IxIy，得到自相关矩阵中四个元素的值，自相关矩阵M表述如下：
在得到自相关矩阵之后，基于自相关矩阵计算每个像素点的Harris角点响应，也即兴趣值，然后在局部范围内寻找极大值点，若Harris角点响应大于预设阈值，则视为角点。
步骤203、基于正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置，求解单应矩阵。
具体的，在计算机视觉中，平面的单应性变换定义为从一个平面到另一个平面的投影映射，基于此，本实施例将其中一个离焦图像平面上的角点对应到另一个离焦图像平面上的角点的映射关系用单应矩阵表示，单应矩阵的表达式为：
应当说明的是，将a33归一化为1后H有8个未知量，则为了求H，至少需要4对对应角点。
另外，在实际应用中，可以对双相机中的任意一个相机所获得的视场图像进行矫正，在本实施例一种优选的实施方式中，根据求得的单应矩阵将正离焦图像的角点坐标位置变换至与负离焦图像的角点坐标位置同一坐标系，以进行视场矫正。基于此，相应的，单应矩阵为正离焦图像平面上的角点对应到负离焦图像平面上的角点的映射关系。
可选的，基于正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置，求解单应矩阵包括：最小化一个误差函数；将正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置代入误差函数，求解单应矩阵。
在本实施例中，误差函数表示如下：
其中，E为误差函数，H为单应矩阵，且a33归一化为1，为负离焦图像中的角点坐标位置，且N为所取的角点的数目，表示正离焦图像中的角点坐标位置，且
具体的，本实施例通过最小化一个误差函数E来求解单应矩阵H，而关于误差函数E的优化问题，则可以使用奇异值分解(SVD,Singular Value Decomposition)求解。
步骤204、根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正。
具体的，本实施例用求得的单应矩阵将其中一个离焦图像进行变换，例如对正离焦图像进行变换，也即将正离焦图像的角点位置变换到跟负离焦图像同一个坐标系。
应当说明的是，由于被变换的离焦图像中整像素点的坐标位置经过变换后会出现亚像素位置点，为避免误差，该点的灰度大小可用双线性插值方法计算，其主要思想是通过该亚像素点周围的4个整像素点对应的灰度值来计算出亚像素点处的灰度值。假设亚像素点位置为(x,y)，其周围四个整像素点位置为(x1,y1)，(x1,y2)，(x2,y1)，(x2,y2)，对应的灰度值分别为f(x1,y1)，f(x1,y2)，f(x2,y1)，f(x2,y2)，亚像素点处的灰度值f(x,y)可表示为：
经过上述提取角点、计算单应矩阵、变换图像视场、双线性插值等操作后，实现了基于TIE的双相机动态成像系统的数字视场矫正，且矫正后图像的匹配精度可达亚像素级。
此外，还应当说明的是，显微系统为Olympus IX73倒置显微系统，物镜为Olympus10×0.3NA(NA为数值孔径)，照明光源为卤钨灯白光经中性滤波片(中心波长550nm，带宽45nm)后产生的准单色光，标准棋盘格单个格子的尺寸为5μm×5μm。两个相机(BaslerpiA2400-17gm,分辨率为2456pixel×2058pixel,像元大小为3.45μm)分别安装在显微目镜筒上实现图像采集，将固定高度的C接口黄铜隔圈安装在其中一个相机与目镜筒之间实现正负1mm的离焦。通过上述的成像系统进行角点提取之后，计算获得单应矩阵H：
根据H将正离焦图像的角点位置变换到跟负离焦图像同一个坐标系，图5为本实施例提供的变换到同一坐标系下的对应角点的一致性示意图，表示两组对应角点在同一坐标系中的一致程度，计算两者的相对均方根误差为0.8681像素。
步骤205、通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像。
具体的，在完成对基于光强传输方程TIE的相位成像系统的图像视场矫正之后，即通过该系统进行TIE相位成像，可以保证系统成像精度，提升成像效果，应当理解的是，本实施例中的实验样品为实际使用过程中，用户所提供的待测样品。在本实施例中，光强传输方程表示在光轴方向上光强度的变化量与光轴垂直的平面上光波的相位之间的关系，具体形式表示如下：
其中，I(x,y)是垂直于光轴方向上聚焦处的光强；表示二维梯度算子；z表示传输方向；k表示波数，且k＝2π/λ；λ表示光波的波长；表示物体的相位分布。
为了求解这个二阶椭圆偏微分方程，引入一个辅助函数ψ，其中，
将上述关联于辅助函数的表达式代入光强传输方程的表达式，即可将光强传输方程转换为泊松方程，具体形式表达如下：
在本实施例中，若已知光强沿轴向的微分，利用傅里叶变换法求解泊松方程得到相位分布通常用沿光轴方向采集两幅正负离焦的光强图像做数值差分近似代替光强沿轴向的微分。
可选的，本实施例在通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像之前，还对视场矫正效果进行验证，如图6所示为本实施例提供的一种视场矫正验证方法的流程示意图，具体包括以下步骤：
步骤601、获取已知尺寸的微透镜阵列进行视场矫正后的正离焦图像和负离焦图像；
步骤602、基于微透镜阵列的正离焦图像和负离焦图像求解TIE，得到微透镜阵列的相位信息；
步骤603、根据微透镜阵列的相位信息计算微透镜阵列的高度分布数据；
步骤604、基于高度分布数据计算单个微透镜的曲率半径；
步骤605、将计算得到的曲率半径与预设的曲率半径参考值进行比较，并根据比较结果确定视场矫正操作是否理想。
具体的，在本实施例中，为测试所提方法重建相位的准确性，实验测量一个已知尺寸的微透镜阵列(SUSS Micro Optics)。如图7所示为本实施例提供的微透镜阵列示意图，其中，(a)为负离焦图，(b)为正离焦图，(c)为利用本实施例的前述图像视场矫正方法矫正后的正离焦图像。本实施例由矫正的正离焦图像和负离焦图像，利用TIE求解得到微透镜阵列的相位信息
另外，可选的，本实施例在根据微透镜阵列的相位信息计算微透镜阵列的高度分布数据时，提供将微透镜阵列的相位信息代入预设的高度分布计算公式，来计算微透镜阵列的高度分布数据，高度分布计算公式表示如下：
其中，h为高度分布数据，为微透镜阵列的相位信息，λ为波长，n为周围介质的折射率；在实验中介质为空气，所以n＝1，微透镜阵列的折射率nm＝1.458。
进一步地，在计算得到高度分布结果之后，基于高度分布数据计算单个微透镜的曲率半径包括：基于高度分布数据确定单个微透镜截面的最大高度；将最大高度代入预设的曲率半径计算公式，计算单个微透镜的曲率半径，曲率半径计算公式表示如下：
其中，Roc为曲率半径，h为最大高度，D为微透镜直径，在本实施例中，实验所用微透镜的直径为246μm。
具体的，在本实施例中，从单个微透镜最高处截下的截面轮廓与真实截面轮廓进行高度分布对比，如图8所示为本实施例提供的高度分布对比示意图，计算所得截面最高处值h＝22.9μm，进而通过上述曲率半径计算公式求解曲率半径为342.6μm，在本实施例中，厂家参考值为(350±17.5)μm，从而实验计算值在误差允许范围之内，从而可以确定矫正后的图像可正确恢复相位信息。
还应当说明的是，在本实施例中，还利用该方法对雨生红球藻细胞的游动阶段实现动态成像，验证了动态生物相位成像有效性。
具体的，雨生红球藻细胞是产生天然抗氧化物虾青素的最好生物之一，如何利用雨生红球藻细胞更好更多地生产虾青素是相关领域的研究热点。本实施例在室温26℃的环境下观察藻细胞在生理盐水中的游动状态，实验采用物镜为Olympus 20X 0.4NA，双相机快速采集到单个藻细胞在200ms内运动的图像序列。图9为抽取的不同时刻下藻细胞的形态变化，结果显示具有鞭毛的藻细胞在不停地游动，且每一时刻藻细胞的相位分布都不同，从而通过本实施例所提方法可以定量观测到游动阶段的藻细胞的轮廓形态变化。根据前述高度分布计算公式可得相位变化与体积变化有直接关系，当藻细胞开始积累虾青素时其体积会变大，且藻细胞的生长环境(高盐度、高光强、营养枯竭等)变化会影响虾青素的产量，通过定量动态探测相位的变化就可以分析外界环境变化对虾青素产量的影响。因此利用基于TIE的双相机动态相位成像系统探究雨生红球藻细胞的相位信息有一定的研究意义和应用前景。
根据本发明实施例提供的基于TIE的相位成像方法，控制双相机对标准棋盘格进行同步单帧成像，得到标准棋盘格的正离焦图像和负离焦图像；分别提取正离焦图像和负离焦图像中的角点；基于正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置，求解单应矩阵；根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像。通过本发明的实施，利用标准棋盘格所成的像来计算单应矩阵，利用单应矩阵对其中一个相机的视场图像进行矫正，可以达到亚像素级匹配精度，保证了TIE相位成像系统的精度，提高了成像效果。
第二实施例：
为了解决相关技术中在进行基于TIE的动态定量相位成像时，双相机所采集到的图像视场不能完全匹配，成像系统精度低、成像效果不佳的技术问题，本实施例示出了一种基于TIE的相位成像装置，应用于基于TIE的双相机动态相位成像系统，双相机动态相位成像系统的双目镜筒上配置有双相机，其中一个目镜筒与对应配置的相机之间设置有铜环，具体请参见图10，本实施例的相位成像装置包括：
控制模块1001，用于控制双相机对标准棋盘格进行同步单帧成像，得到标准棋盘格的正离焦图像和负离焦图像；
提取模块1002，用于分别提取正离焦图像和负离焦图像中的角点；角点为棋盘格上每相邻的两个格子所重合的顶点；
求解模块1003，用于基于正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置，求解单应矩阵；
矫正模块1004，用于根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；
成像模块1005，用于通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像。
在本实施例一种可选的实施方式中，提取模块1002具体用于分别计算正离焦图像和负离焦图像中像素点在水平和垂直方向上的梯度，基于梯度得到自相关矩阵；基于对应的自相关矩阵分别计算正离焦图像和负离焦图像中各像素点的兴趣值；分别将正离焦图像和负离焦图像中，局部范围内的极大兴趣值所对应的像素点确定为角点。
在本实施例一种可选的实施方式中，单应矩阵为正离焦图像平面上的角点对应到负离焦图像平面上的角点的映射关系；相应的，矫正模块1004具体用于根据求得的单应矩阵将正离焦图像的角点坐标位置变换至与负离焦图像的角点坐标位置同一坐标系，以进行视场矫正。
进一步地，在本实施例一种可选的实施方式中，求解模块1003具体用于最小化一个误差函数，误差函数表示如下：
其中，E为误差函数，H为单应矩阵，且a33归一化为1，为负离焦图像中的角点坐标位置，且N为所取的角点的数目，表示正离焦图像中的角点坐标位置，且
以及，将正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置代入误差函数，求解单应矩阵。
在本实施例的一种可选的实施方式中，本实施例的相位成像装置还包括：验证模块，具体用于在通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像之前，获取已知尺寸的微透镜阵列进行视场矫正后的正离焦图像和负离焦图像；基于微透镜阵列的正离焦图像和负离焦图像求解TIE，得到微透镜阵列的相位信息；根据微透镜阵列的相位信息计算微透镜阵列的高度分布数据；基于高度分布数据计算单个微透镜的曲率半径；将计算得到的曲率半径与预设的曲率半径参考值进行比较，并根据比较结果确定视场矫正操作是否理想。对应的，成像模块1005具体用于在视场矫正操作理想时，通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像。
进一步地，在本实施例一种可选的实施方式中，验证模块在根据微透镜阵列的相位信息计算微透镜阵列的高度分布数据时，具体用于将微透镜阵列的相位信息代入预设的高度分布计算公式，计算微透镜阵列的高度分布数据，高度分布计算公式表示如下：
其中，h为高度分布数据，为微透镜阵列的相位信息，λ为波长，n为周围介质的折射率。
进一步地，在本实施例一种可选的实施方式中，验证模块在基于高度分布数据计算单个微透镜的曲率半径时，具体用于基于高度分布数据确定单个微透镜截面的最大高度；将最大高度代入预设的曲率半径计算公式，计算单个微透镜的曲率半径，曲率半径计算公式表示如下：
其中，Roc为曲率半径，h为最大高度，D为微透镜直径。
应当说明的是，前述实施例中的基于TIE的相位成像方法均可基于本实施例提供的基于TIE的相位成像装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的基于TIE的相位成像装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
采用本实施例提供的基于TIE的相位成像装置，控制双相机对标准棋盘格进行同步单帧成像，得到标准棋盘格的正离焦图像和负离焦图像；分别提取正离焦图像和负离焦图像中的角点；基于正离焦图像的角点坐标位置以及负离焦图像的角点坐标位置，求解单应矩阵；根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；通过完成视场矫正后的双相机动态相位成像系统，对预设的实验样品进行相位成像。通过本发明的实施，利用标准棋盘格所成的像来计算单应矩阵，利用单应矩阵对其中一个相机的视场图像进行矫正，可以达到亚像素级匹配精度，保证了TIE相位成像系统的精度，提高了成像效果。
第三实施例：
本实施例提供了一种电子装置，参见图11所示，其包括处理器1101、存储器1102及通信总线1103，其中：通信总线1103用于实现处理器1101和存储器1102之间的连接通信；处理器1101用于执行存储器1102中存储的一个或者多个计算机程序，以实现上述实施例一中的基于TIE的相位成像方法中的至少一个步骤。
本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于光强传输方程TIE的相位成像方法，应用于基于TIE的双相机动态相位成像系统，所述双相机动态相位成像系统的双目镜筒上配置有双相机，其中一个目镜筒与对应配置的相机之间设置有铜环，其特征在于，包括：
控制所述双相机对标准棋盘格进行同步单帧成像，得到所述标准棋盘格的正离焦图像和负离焦图像；
分别提取所述正离焦图像和负离焦图像中的角点；所述角点为棋盘格上每相邻的两个格子所重合的顶点；
基于所述正离焦图像的角点坐标位置以及所述负离焦图像的角点坐标位置，求解单应矩阵；
根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；
通过完成所述视场矫正后的所述双相机动态相位成像系统，对预设的实验样品进行相位成像。
2.如权利要求1所述的基于TIE的相位成像方法，其特征在于，所述分别提取所述正离焦图像和负离焦图像中的角点包括：
分别计算所述正离焦图像和负离焦图像中像素点在水平和垂直方向上的梯度，基于所述梯度得到自相关矩阵；
基于对应的所述自相关矩阵分别计算所述正离焦图像和负离焦图像中各像素点的兴趣值；
分别将所述正离焦图像和负离焦图像中，局部范围内的极大兴趣值所对应的像素点确定为角点。
3.如权利要求1所述的基于TIE的相位成像方法，其特征在于，所述单应矩阵为所述正离焦图像平面上的角点对应到所述负离焦图像平面上的角点的映射关系；
所述根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正包括：
根据求得的单应矩阵将所述正离焦图像的角点坐标位置变换至与所述负离焦图像的角点坐标位置同一坐标系，以进行视场矫正。
4.如权利要求3所述的基于TIE的相位成像方法，其特征在于，所述基于所述正离焦图像的角点坐标位置以及所述负离焦图像的角点坐标位置，求解单应矩阵包括：
最小化一个误差函数，所述误差函数表示如下：
其中，E为所述误差函数，H为单应矩阵，且a33归一化为1，为所述负离焦图像中的角点坐标位置，且N为所取的角点的数目，表示所述正离焦图像中的角点坐标位置，且
将所述正离焦图像的角点坐标位置以及所述负离焦图像的角点坐标位置代入所述误差函数，求解所述单应矩阵。
5.如权利要求1所述的基于TIE的相位成像方法，其特征在于，在所述通过完成所述视场矫正后的所述双相机动态相位成像系统，对预设的实验样品进行相位成像之前，还包括：
获取已知尺寸的微透镜阵列进行视场矫正后的正离焦图像和负离焦图像；
基于所述微透镜阵列的正离焦图像和负离焦图像求解TIE，得到所述微透镜阵列的相位信息；
根据所述微透镜阵列的相位信息计算所述微透镜阵列的高度分布数据；
基于所述高度分布数据计算单个微透镜的曲率半径；
将计算得到的所述曲率半径与预设的曲率半径参考值进行比较，并根据比较结果确定视场矫正操作是否理想；其中，在所述视场矫正操作理想时，执行所述通过完成所述视场矫正后的所述双相机动态相位成像系统，对预设的实验样品进行相位成像的步骤。
6.如权利要求5所述的基于TIE的相位成像方法，其特征在于，所述根据所述微透镜阵列的相位信息计算所述微透镜阵列的高度分布数据包括：
将所述微透镜阵列的相位信息代入预设的高度分布计算公式，计算所述微透镜阵列的高度分布数据，所述高度分布计算公式表示如下：
其中，h为所述高度分布数据，为所述微透镜阵列的相位信息，λ为波长，n为周围介质的折射率。
7.如权利要求5所述的基于TIE的相位成像方法，其特征在于，所述基于所述高度分布数据计算单个微透镜的曲率半径包括：
基于所述高度分布数据确定单个微透镜截面的最大高度；
将所述最大高度代入预设的曲率半径计算公式，计算所述单个微透镜的曲率半径，所述曲率半径计算公式表示如下：
其中，Roc为所述曲率半径，h为所述最大高度，D为微透镜直径。
8.一种基于TIE的相位成像装置，应用于基于TIE的双相机动态相位成像系统，所述双相机动态相位成像系统的双目镜筒上配置有双相机，其中一个目镜筒与对应配置的相机之间设置有铜环，其特征在于，包括：
控制模块，用于控制所述双相机对标准棋盘格进行同步单帧成像，得到所述标准棋盘格的正离焦图像和负离焦图像；
提取模块，用于分别提取所述正离焦图像和负离焦图像中的角点；所述角点为棋盘格上每相邻的两个格子所重合的顶点；
求解模块，用于基于所述正离焦图像的角点坐标位置以及所述负离焦图像的角点坐标位置，求解单应矩阵；
矫正模块，用于根据求得的单应矩阵将其中一个离焦图像相对另一个离焦图像进行视场矫正；
成像模块，用于通过完成所述视场矫正后的所述双相机动态相位成像系统，对预设的实验样品进行相位成像。
9.一种电子装置，其特征在于，包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和存储器之间的连接通信；
所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1至7中任意一项所述的基于TIE的相位成像方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任意一项所述的基于TIE的相位成像方法的步骤。
CN201910547569.2A 2019-06-24 2019-06-24 一种基于tie的相位成像方法、装置及可读存储介质 Pending CN110411981A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910547569.2A CN110411981A (zh) 2019-06-24 2019-06-24 一种基于tie的相位成像方法、装置及可读存储介质
PCT/CN2019/097949 WO2020258434A1 (zh) 2019-06-24 2019-07-26 一种基于tie的相位成像方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910547569.2A CN110411981A (zh) 2019-06-24 2019-06-24 一种基于tie的相位成像方法、装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN110411981A true CN110411981A (zh) 2019-11-05

Family

ID=68359604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910547569.2A Pending CN110411981A (zh) 2019-06-24 2019-06-24 一种基于tie的相位成像方法、装置及可读存储介质

Country Status (2)

Country Link
CN (1) CN110411981A (zh)
WO (1) WO2020258434A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930336A (zh) * 2019-11-29 2020-03-27 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112540527A (zh) * 2020-12-07 2021-03-23 江苏科技大学 一种同步采集双离焦衍射图样的快速收敛叠层成像装置
CN115641368A (zh) * 2022-10-31 2023-01-24 安徽农业大学 一种用于标定的离焦棋盘格图像特征提取方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588034B (zh) * 2021-07-29 2024-01-23 上海电力大学 一种变压器油中气体体积快速定量监测方法
CN114666480B (zh) * 2022-03-28 2023-12-22 天津大学 基于相位信息的组合成像系统入射光线逐像素标定方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060043302A1 (en) * 2003-11-10 2006-03-02 Prelewitz David F Digital imaging assembly & methods thereof
CN105675151B (zh) * 2016-01-06 2018-10-23 上海大学 一种基于光强传输方程相位恢复应用装置
CN106054570B (zh) * 2016-04-26 2019-06-25 上海大学 强度传输方程实现单幅数字全息图较大相位重建方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930336A (zh) * 2019-11-29 2020-03-27 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110930336B (zh) * 2019-11-29 2023-11-28 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112540527A (zh) * 2020-12-07 2021-03-23 江苏科技大学 一种同步采集双离焦衍射图样的快速收敛叠层成像装置
CN115641368A (zh) * 2022-10-31 2023-01-24 安徽农业大学 一种用于标定的离焦棋盘格图像特征提取方法
CN115641368B (zh) * 2022-10-31 2024-06-04 安徽农业大学 一种用于标定的离焦棋盘格图像特征提取方法

Also Published As

Publication number Publication date
WO2020258434A1 (zh) 2020-12-30

Similar Documents

Publication Publication Date Title
CN110411981A (zh) 一种基于tie的相位成像方法、装置及可读存储介质
Fan et al. Smart computational light microscopes (SCLMs) of smart computational imaging laboratory (SCILab)
US10705326B2 (en) Autofocus system for a computational microscope
CN107063129B (zh) 一种阵列式并行激光投影三维扫描方法
EP3516625B1 (en) A device and method for obtaining distance information from views
WO2021248262A1 (en) Systems and methods for image processing
US8934721B2 (en) Microscopic vision measurement method based on adaptive positioning of camera coordinate frame
JP6319329B2 (ja) プレノプティック・カメラを使った表面属性の推定
CN110967166B (zh) 近眼显示光学系统的检测方法、检测装置和检测系统
CN109961401A (zh) 一种双目相机的图像校正方法和存储介质
CN114092325B (zh) 一种荧光图像超分辨重建方法、装置、计算机设备及介质
CN106454116B (zh) 自动全焦成像方法及装置
CN107113370A (zh) 图像捕获装置及图像捕获方法
US20240281933A1 (en) Systems and methods for image processing
Weaver et al. The Farmer: A Reproducible Profile-fitting Photometry Package for Deep Galaxy Surveys
CN107421640B (zh) 基于色差扩大原理的多光谱光场成像系统及方法
JP2023134456A (ja) マルチコアファイバイメージング
Remondino et al. Evaluating hand-crafted and learning-based features for photogrammetric applications
CN104813217A (zh) 用于设计能够估计景深的无源单通道成像器的方法
US11356593B2 (en) Methods and systems for single frame autofocusing based on color- multiplexed illumination
CN102968784B (zh) 一种多视角拍摄进行孔径合成成像方法
CN102539381A (zh) 基于微离轴显微干涉投影的折射率层析装置
CN111063022B (zh) 一种结合相位梯度与直接线性变换的相位体三维重建法
JP6882266B2 (ja) ピクセルビームを表すデータを生成する装置及び方法
US20230073901A1 (en) Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105