CN117191672A - 提高三维折射率显微镜图像分辨率的系统及方法 - Google Patents

提高三维折射率显微镜图像分辨率的系统及方法 Download PDF

Info

Publication number
CN117191672A
CN117191672A CN202210939196.5A CN202210939196A CN117191672A CN 117191672 A CN117191672 A CN 117191672A CN 202210939196 A CN202210939196 A CN 202210939196A CN 117191672 A CN117191672 A CN 117191672A
Authority
CN
China
Prior art keywords
refractive index
dimensional refractive
image
resolution
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210939196.5A
Other languages
English (en)
Inventor
闵铉皙
柳东旼
李雲洙
尹韩松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donmore Cooper
Original Assignee
Donmore Cooper
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donmore Cooper filed Critical Donmore Cooper
Publication of CN117191672A publication Critical patent/CN117191672A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N21/453—Holographic interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8483—Investigating reagent band
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785—Three dimensional
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人工智能技术提高三维折射率显微镜图像分辨率的系统及方法。本发明提供一种基于人工智能来在没有物理机械转换以及重新拍摄的情况下将低分辨率三维折射率显微镜图像转换成高分辨率三维折射率图像的技术。即，本发明的特征在于，学习细胞以及组织等各种试片的低分辨率三维折射率显微镜图像与高分辨率三维折射率图像之间的物理相关性，并以此为基础应用深度学习等人工智能技术，以便在不改变物理显微镜的情况下，将低分辨率图像转换成高分辨率图像。并且，本发明的特征在于，为了实现如上所述的技术所需的人工智能模型学习而使用折射率图像的物理特性。

Description

提高三维折射率显微镜图像分辨率的系统及方法
技术领域
本发明涉及一种基于人工智能技术提高三维折射率显微镜图像分辨率的系统及方法。
背景技术
三维定量相位成像(quantitative phase imaging)技术或三维全息显微镜技术为可以测量试片的三维折射率(refractive index)分布的光学成像技术。与按照现有实施标准使用的荧光显微镜不同，三维全息显微镜无需任何标记方式即可观察试片内部的详细结构，基于折射率与试片的浓度成线性比例，能够进行定量图像分析。
为了实现高分辨率三维折射率测量，需要使用具有高数值孔径(NA，numericalaperture)值的物镜精确测量从试片衍射的光学信息。物镜的数值孔径越高，空间分辨率将越高，从而能够进行细致的图像测量。然而，随着物镜的数值孔径越高，存在可以一次性测量的视场角(field-of-view；FoV)成正比地减少的问题。仅靠现有的光学成像技术不可能同时实现宽视场角以及高分辨率，要么使用通过从低数值孔径镜头测量不同入射角度的图像并合成数值孔径的方式来提高分辨率的方法，要么使用通过高数值孔径的镜头在窄视场角中测量高分辨率的图像后进行扫描(scanning)的方式来合成视场角的方法。两种方法都需要在时间以及计算层面上做出牺牲。
发明内容
要解决的问题
本发明提供一种即使通过低分辨率(低数值孔径，low NA)镜头拍摄大面积来降低图像分辨率，也基于人工智能技术复原高分辨率(高数值孔径，high NA)图像的技术。即，本发明为一种生成三维高分辨率图像的技术，本发明的特征在于，通过低分辨率快速拍摄大区域，并以此为基础应用深度学习(deep learning)算法来预测对应的高分辨率显微镜图像。
解决问题的方案
本发明提供一种基于人工智能技术提高三维折射率显微镜图像分辨率的系统及方法。
根据本发明，基于人工智能技术提高三维折射率图像分辨率的系统包括：三维折射率细胞图像测量部，用于获取三维折射率细胞图像；以及三维折射率图像转换部，基于深度学习算法提高上述三维折射率细胞图像的分辨率。
根据本发明，基于人工智能技术提高系统的三维折射率图像分辨率的方法包括如下步骤：获取三维折射率细胞图像；以及基于深度学习算法提高上述三维折射率细胞图像的分辨率。
发明的效果
根据本发明，可以通过深度学习算法来将未经过染色或标记等过程测量的细胞的三维折射率图像快速生成为高分辨率图像。通过这种方式，能够一次性拍摄更大的面积来提高细胞观察速度以及效率。并且，在这种人工智能模型学习过程中，不用拍摄额外的与高分辨率图像对应的低分辨率图像就能够进行学习，并基于物理特征来进行学习，从而便于实现人工智能模型学习并可以提高稳定性。
附图说明
图1为简要示出本发明的系统的图。
图2为示出图1中的三维折射率细胞图像测量部的各种可能的测量光学实施方式的图。
图3为详细示出图1中的三维折射率细胞图像测量部的一实施例的图。
图4为详细示出图1中的三维折射率图像转换部的一实施例的图。
图5为示出图4中的三维补丁提取部的内部结构的图。
图6以及图7为用于说明图4中的三维补丁提取部的操作的图。
图8以及图9为用于说明图4中的三维折射率补丁转换部的操作的图。
图10以及图11为用于说明图4中的补丁结合部的操作的图。
图12为用于说明图4中的三维折射率补丁转换部的转换模型的图。
图13、图14、图15、图16A以及图16B为用于说明三维折射率图像分辨率提高模型创建部的操作的图，图16A是高分辨率三维折射率图像以及傅里叶转换图像，图16B是对应的低分辨率三维折射率图像以及傅里叶转换图像。
具体实施方式
图像改进技术在现有的医疗图像等方面经历了广泛的研究。尤其，在用于减少患者的辐射量的低剂量X射线(X-ray)电子计算机断层扫描(CT)的情况下，相对于高剂量电子计算机断层扫描噪音大且分辨率低。为了克服这个问题，过去开发了基于电子计算机断层扫描的剖析原理的高效率复原技术。近年来，随着人工智能技术的进步，图像分辨率转换技术得到了发展。在此情况下，通过创建有限的体模的低剂量电子计算机断层扫描数据以及高剂量电子计算机断层扫描数据来实现监督学习。
因此，本发明的目的在于，提供通过人工智能技术将为了拍摄更大面积或在有限的物理环境下进行拍摄而生成的细胞的低分辨率三维折射率图像快速转换成高分辨率图像的技术。即，本发明为一种生成高分辨率的三维折射率显微镜图像的技术，本发明的特征在于，在不进行染色或标记的情况下，通过三维折射率显微镜来测量细胞的形态学特征，并以此为基础应用深度学习算法来提高其分辨率。并且，本发明的特征在于，为了进行这种人工智能学习而在考虑物理特性的情况下进行学习。
鉴于上述目的锐意研究的结果，发明人通过有限的分辨率测量细胞的三维折射率并应用深度学习算法来作为将该测量值用作输入值的转换算法，结果发现可以既简单又快速地生成分辨率得到提高的折射率图像，从而实现了本发明。下面，将参照附图对本发明的各种实施例进行说明。
图1为简要示出本发明的系统100的图。
参照图1，系统100接收要观察的细胞试样作为输入并提供其细胞的高分辨率三维折射率细胞图像来作为输出。具体地，系统100包括三维折射率细胞图像测量部110以及三维折射率图像转换部120。
三维折射率细胞图像测量部110测量细胞试样的三维折射率细胞图像。三维折射率细胞图像测量部110在要观察的细胞被放置或涂抹在载玻片上的状态下进行拍摄。
所有物体都具有折射率分布。折射率为物质本身固有的光学物理量，表示光在穿过其物质时速度降低了多少。为了测量细胞的三维折射率，可以使用光学衍射层析成像法(optical diffraction tomography)、光学投影层析成像法(三维数字全息显微镜(3Ddigital holographic microscopy)、断层相位显微镜(tomographic phase microscopy))或基于强度(Intensity)的衍射层析成像法。作为基于光源的光学实施方式，可以有使用相干光源(coherent light source)以及干涉仪的方法或在没有干涉仪的状态下只使用部分相干光源(partially coherent source)的方法。
图2为示出图1中的三维折射率细胞图像测量部110的各种可能的测量光学实施方式的图。光学衍射层析成像法以及光学投影层析成像法可以使用相同的光学实施方式。如图2的(a)部分或(b)部分所示，当使用相干光源作为入射光时，通过干涉仪测量由细胞衍射或投影的透射光的全息图。在此情况下，如图2的(a)部分所示，通过以借助旋转改变入射到细胞的角度的方式进行扫描并测量的多张二维全息图来测量细胞的三维折射率分布。然而，光学衍射层析成像法与光学投影层析成像法的区别在于考虑了试片中的光是否衍射的复原算法。或者，如图2的(b)部分所示，也可以不用使入射光发生旋转，而是直接旋转细胞来测量三维折射率。另一方面，如图2的(c)部分所示，当使用部分相干光源作为入射光时，不需要干涉仪。在此情况下，在通过最优化模式的入射光照射细胞的同时沿着细胞的轴方向进行扫描来获取三维亮度图像。通过与该入射光模式对应的点扩散函数(point spreadfunction)来对通过这种方式获取的三维亮度图像进行反卷积(deconvolution)来获取细胞的三维折射率分布。
图3为详细示出图1中的三维折射率细胞图像测量部110的一实施例的图。根据一实施例，如图3所示，三维折射率细胞图像测量部110包括三维折射率补丁图像测量部311以及补丁图像结合部313。当观察区域比能够一次性拍摄的区域大时，三维折射率补丁图像测量部311分别拍摄观察区域内不同区域的多个三维折射率补丁图像。补丁图像结合部313通过连接多个三维折射率补丁图像来生成三维折射率幻灯片图像，即三维折射率细胞图像。
三维折射率图像转换部120将提高由三维折射率细胞图像测量部110生成的三维折射率细胞图像的分辨率。其中，三维折射率图像转换部120将提高整个观察区域的三维折射率细胞图像的分辨率。在此情况下，即，三维折射率图像转换部120将三维折射率细胞图像从低分辨率转换成高分辨率。为此，三维折射率图像转换部120将使用深度学习算法，尤其，使用卷积神经网络(convolutional neural network；CNN)算法。
图4为详细示出图1中的三维折射率图像转换部120的一实施例的图。根据一实施例，如图4所示，为了高效的转换过程，三维折射率图像转换部120将在考虑三维转换的效率以及转换计算环境的情况下生成多个三维折射率补丁并按补丁单位提高分辨率后合并。即，三维折射率图像转换部120按补丁单位将三维折射率细胞图像从低分辨率转换成高分辨率。具体地，三维折射率图像转换部120包括三维补丁提取部421、三维折射率补丁转换部425以及补丁结合部427。
三维补丁提取部421从三维折射率细胞图像中提取多个三维折射率补丁。在此情况下，三维补丁提取部421将在经过提取前的填充过程后对细胞区域进行补丁采样，以便在图像外围区域导出以及结合稳定的结果的过程中防止外围区域值消失。图5为示出图4中的三维补丁提取部421的内部结构的图。图6以及图7为用于说明图4中的三维补丁提取部421的操作的图。如图5所示，三维补丁提取部421包括图像填充部521、细胞区域提取部522以及三维折射率补丁采样部523。如图6所示，对于整个三维折射率细胞图像，图像填充部521以边缘为轴粘贴对称的图像来进行填充，以便能够与仅用于外围的补丁的大小成正比地确保内部图像的连续性。细胞区域提取部522从填充的图像中提取细胞区域，以防止过度学习不必要的背景部分。如图7所示，三维折射率补丁采样部523在填充的图像中采样多个三维折射率补丁。
三维折射率补丁转换部425通过深度学习算法提高每个三维折射率补丁的分辨率。在此情况下，深度学习算法已预先学习。图8以及图9为用于说明图4中的三维折射率补丁转换部425的操作的图。如图8以及图9所示，输入到深度学习算法的信息为各细胞的三维折射率信息，呈现出低分辨率，经深度学习算法输出的信息则为与每个三维折射率补丁对应的转换的三维折射率信息，呈现出高分辨率。
补丁结合部427使得分辨率得到提高的多个三维折射率补丁重新结合。图10以及图11为用于说明图4中的补丁结合部427的操作的图。如图10所示，补丁结合部427通过使得分辨率得到提高的多个三维折射率补丁重新结合来重新组成一个图像。在此情况下，补丁结合部427将乘上基于距补丁中心的距离的线性/非线性加权值，以确保对重叠区域重新组成的图像的连续性。加权值以样条核函数的形式应用于补丁，离中心部越远，越接近相邻的补丁的中心部，因此将输出与具有更高加权值的相邻的补丁的预测值更接近的值。并且，如图11所示，补丁结合部427将去除通过三维补丁提取部421填充的区域。这样得到的结果最终成一幅三维图像，即，高分辨率三维折射率细胞图像。
图12为用于说明图4中的三维折射率补丁转换部425的转换模型1210的图。
参照图12，三维折射率补丁转换部425包括基于上述深度学习算法创建的人工智能转换模型1210，并基于转换模型1210提高每个三维折射率补丁的分辨率。在此情况下，转换模型1210通过高分辨率三维折射率图像与以此为基础理论上生成的低分辨率三维折射率图像来创建。这样的转换模型1210通过三维折射率图像分辨率提高模型创建部1220来进行学习。
当三维折射率图像分辨率提高模型创建部1220学习转换模型1210时，组合使用各种类型的损失函数。基本上，使用均方误差(Mean Squared Error)。图13、图14、图15、图16A以及图16B为用于说明三维折射率图像分辨率提高模型创建部1220的操作的图，图16A是高分辨率三维折射率图像以及傅里叶转换图像，图16B是对应的低分辨率三维折射率图像以及傅里叶转换图像。根据一实施例，相比于如图13所示的通过图像可以观察到的差异，如图14所示，傅里叶空间中的差异更明确。对此，在本发明中，当学习转换模型1210时，为了参照三维折射率图像的物理特性，一同使用快速傅里叶变换(FFT)误差函数，以便能够在傅里叶空间中一同比较输出图像与目标图像的频率信息。为了以像素单位计算傅里叶空间中的误差，设计并使用如下数学式1的误差函数。
数学式1
I_FFT＝1/n_pixel||F(target)-F(output)||
在上述数学式1中，F表示傅里叶变换，∥·∥表示L1范数(norm)。通过这种损失函数进行学习的模型将被评价为可以在图像等级中确认的各种评价指标。作为评价指标来使用的指标有结构相似度(SSIM，Structural SIMilarity)、均方误差(MSE，Mean SquaredError)、峰值信噪比(PSNR，Peak Signal to Noise Ratio)、皮尔森相关系数(PCC，PearsonCorrelation Coefficient)等，上述指标还作为从模型中输出的图像的评价指标来使用(参照图15)。通过这些各种特性，达到在应用图像与生成数据环境不同的情况下也能够稳定地驱动。
本发明中使用的深度学习算法，即，人工智能转换模型1210基于使用输入图像与输出图像的监督学习来进行学习。对此，本发明的人工智能转换模型1210的学习需要一对通过拍摄相同图像获取的高分辨率图像与低分辨率图像。在分别拍摄高分辨率图像与低分辨率图像的情况下，有可能会因细胞的移动而出现细胞的模样或位置不一致的情况。因此，通过在高分辨率图像中过滤频率信息来生成低分辨率图像。在高分辨率图像的傅里叶空间中的频率信息中，通过仅留下低分辨率图像所占空间的频率信息的方式过滤来生成低分辨率图像(参照图16A以及图16B)。在此情况下，高分辨率图像使用的数值孔径值为0.72，低分辨率图像使用的数值孔径值为0.35。还可创建其他分辨率。
根据本发明，可以通过深度学习算法来将未经过染色或标记等过程测量的细胞的三维折射率图像快速生成为高分辨率图像。通过这种方式，能够一次性拍摄更大的面积来提高细胞观察速度以及效率。并且，在这种人工智能模型学习过程中，不用拍摄额外的与高分辨率图像对应的低分辨率图像就能够进行学习，并基于物理特征来进行学习，从而便于实现人工智能模型学习并可以提高稳定性。
总而言之，本发明提供一种基于人工智能技术提高三维折射率显微镜图像分辨率的系统100以及方法。
本发明的系统100包括：三维折射率细胞图像测量部110，用于获取三维折射率细胞图像；以及三维折射率图像转换部120，基于深度学习算法提高三维折射率细胞图像的分辨率。
根据本发明，三维折射率图像转换部120包括：三维补丁提取部421，从三维折射率细胞图像中生成多个三维折射率补丁；三维折射率补丁转换部425，基于深度学习算法提高每个三维折射率补丁的分辨率；以及补丁结合部427，使多个三维折射率补丁相结合。
根据本发明，三维补丁提取部421包括：图像填充部521，通过在三维折射率细胞图像的外围添加填充区域来组成填充的图像；以及采样部523，在填充的图像中采样多个三维折射率补丁。
根据本发明，补丁结合部427将在使三维折射率补丁相结合后去除填充区域。
根据本发明，深度学习算法以均方误差函数与傅里叶转换误差函数的组合为基础而创建。
根据本发明，在使用相干光源的情况下，三维折射率细胞图像测量部110通过同步使用干涉仪来测量细胞的三维折射率分布，从而获取三维折射率细胞图像，在使用部分相干光源的情况下，三维折射率细胞图像测量部110通过使用点扩散函数进行的反卷积来测量细胞的三维折射率分布，从而获取三维折射率细胞图像。
根据本发明的方法包括如下步骤：获取三维折射率细胞图像；以及基于深度学习算法提高三维折射率细胞图像的分辨率。
根据本发明，提高分辨率的步骤包括如下步骤：从三维折射率细胞图像中生成多个三维折射率补丁；基于深度学习算法提高每个三维折射率补丁的分辨率；以及使多个三维折射率补丁相结合。
根据本发明，生成多个三维折射率补丁的步骤包括如下步骤：通过在三维折射率细胞图像的外围添加填充区域来组成填充的图像；以及在填充的图像中采样多个三维折射率补丁。
根据本发明，在使多个三维折射率补丁相结合的步骤中，将在使多个三维折射率补丁相结合后去除填充区域。
根据本发明，深度学习算法以均方误差函数与傅里叶转换误差函数的组合为基础而创建。
根据本发明，获取三维折射率细胞图像的步骤包括如下步骤：在使用相干光源的情况下，通过同步使用干涉仪来测量细胞的三维折射率分布，从而获取三维折射率细胞图像；以及在使用部分相干光源的情况下，通过使用点扩散函数进行的反卷积来测量细胞的三维折射率分布，从而获取三维折射率细胞图像。
本说明书中的各种实施例以及其中使用的术语并非旨在将本发明中记载的技术限制为特定的实施方式，而是应理解为包括该实施例的各种变更、等同技术方案以及/或代替技术方案。附图的说明过程中，可对相似的结构要素使用相似的附图标记。除非在上下文中明确表示其他含义，单数的表达可以包括复数的表达。在本说明书中，“A或B”、“A和/或B中的至少一个”、“A、B或C”或“A、B和/或C中至少一个”等表述可以包括一起罗列的多个项目的所有可能的组合。“第一”、“第二”、“首先”或“其次”等表述可以不分顺序或重要度地对相应的结构要素进行修饰，并仅用于区分一个结构要素与其他结构要素而并非限制该结构要素。当提及为某个(例：第一)结构要素与其他(例：第二)结构要素“(物理上或功能上)相连接”或“联接”时，上述某个结构要素可以与上述其他结构要素直接连接或通过其他结构要素(例：第三结构要素)连接。
根据各种实施例，所记述的结构要素的每个结构要素可以包括单个或多个个体。根据各种实施例，上述相应的结构要素中的一个以上的结构要素或操作可被省略，或添加一个以上的其他结构要素或操作。大体上或额外地，多个结构要素可整合成一个结构要素。在这种情况下，整合的结构要素能够以与由整合之前的多个结构要素中的相应的结构要素所执行的功能相同或相似的方式执行多个结构要素中的每个结构要素的一个以上的功能。

Claims (10)

1.一种提高三维折射率图像分辨率的系统，其基于人工智能技术提高三维折射率图像分辨率，其特征在于，包括：
三维折射率细胞图像测量部，用于获取三维折射率细胞图像；以及
三维折射率图像转换部，基于深度学习算法提高上述三维折射率细胞图像的分辨率。
2.根据权利要求1所述的提高三维折射率图像分辨率的系统，其特征在于，上述三维折射率图像转换部包括：
三维补丁提取部，从上述三维折射率细胞图像中生成多个三维折射率补丁；
三维折射率补丁转换部，基于上述深度学习算法提高每个上述三维折射率补丁的分辨率；以及
补丁结合部，使多个上述三维折射率补丁相结合。
3.根据权利要求2所述的提高三维折射率图像分辨率的系统，其特征在于，
上述三维补丁提取部包括：
图像填充部，通过在上述三维折射率细胞图像的外围添加填充区域来组成填充的图像；以及
采样部，在上述填充的图像中采样多个上述三维折射率补丁，
上述补丁结合部将在使多个上述三维折射率补丁相结合后去除上述填充区域。
4.根据权利要求1所述的提高三维折射率图像分辨率的系统，其特征在于，上述深度学习算法以均方误差函数与傅里叶转换误差函数的组合为基础而创建。
5.根据权利要求1所述的提高三维折射率图像分辨率的系统，其特征在于，
在使用相干光源的情况下，三维折射率细胞图像测量部通过同步使用干涉仪来测量细胞的三维折射率分布，从而获取上述三维折射率细胞图像，
在使用部分相干光源的情况下，三维折射率细胞图像测量部通过使用点扩散函数进行的反卷积来测量细胞的三维折射率分布，从而获取上述三维折射率细胞图像。
6.一种提高三维折射率图像分辨率的方法，其基于人工智能技术来提高系统的三维折射率图像分辨率，包括如下步骤：
获取三维折射率细胞图像；以及
基于深度学习算法提高上述三维折射率细胞图像的分辨率。
7.根据权利要求6所述的提高三维折射率图像分辨率的方法，其特征在于，提高上述分辨率的步骤包括如下步骤：
从上述三维折射率细胞图像中生成多个三维折射率补丁；
基于上述深度学习算法提高每个上述三维折射率补丁的分辨率；以及
使多个上述三维折射率补丁相结合。
8.根据权利要求7所述的提高三维折射率图像分辨率的方法，其特征在于，
生成多个上述三维折射率补丁的步骤包括如下步骤：
通过在上述三维折射率细胞图像的外围添加填充区域来组成填充的图像；以及
在上述填充的图像中采样多个上述三维折射率补丁，
在使多个上述三维折射率补丁相结合的步骤中，将在使多个上述三维折射率补丁相结合后去除上述填充区域。
9.根据权利要求6所述的提高三维折射率图像分辨率的方法，其特征在于，上述深度学习算法以均方误差函数与傅里叶转换误差函数的组合为基础而创建。
10.根据权利要求6所述的提高三维折射率图像分辨率的方法，其特征在于，获取上述三维折射率细胞图像的步骤包括如下步骤：
在使用相干光源的情况下，通过同步使用干涉仪来测量细胞的三维折射率分布，从而获取上述三维折射率细胞图像；以及
在使用部分相干光源的情况下，通过使用点扩散函数进行的反卷积来测量细胞的三维折射率分布，从而获取上述三维折射率细胞图像。
CN202210939196.5A 2022-05-30 2022-08-05 提高三维折射率显微镜图像分辨率的系统及方法 Pending CN117191672A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220065988A KR102659201B1 (ko) 2022-05-30 2022-05-30 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법
KR10-2022-0065988 2022-05-30

Publications (1)

Publication Number Publication Date
CN117191672A true CN117191672A (zh) 2023-12-08

Family

ID=82786504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210939196.5A Pending CN117191672A (zh) 2022-05-30 2022-08-05 提高三维折射率显微镜图像分辨率的系统及方法

Country Status (4)

Country Link
US (1) US20230410256A1 (zh)
EP (1) EP4287109A1 (zh)
KR (1) KR102659201B1 (zh)
CN (1) CN117191672A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102302333B1 (ko) * 2019-11-05 2021-09-16 주식회사 토모큐브 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치
KR102272366B1 (ko) 2020-01-22 2021-07-02 주식회사 토모큐브 위상 정보 추출과 입체 영상 구성 방법 및 장치
KR102246439B1 (ko) * 2020-02-19 2021-04-30 주식회사 토모큐브 기계학습 알고리즘을 활용한 신속한 3차원 단층촬영의 정규화 방법 및 장치
KR102355140B1 (ko) 2020-07-28 2022-02-07 주식회사 토모큐브 저간섭성 광원과 다중 패턴 조명을 이용한 3차원 광회절 단층촬영 방법 및 장치

Also Published As

Publication number Publication date
KR102659201B1 (ko) 2024-04-22
KR20230166265A (ko) 2023-12-07
US20230410256A1 (en) 2023-12-21
EP4287109A1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
Zhou et al. Handbook of medical image computing and computer assisted intervention
Horstmeyer et al. Solving ptychography with a convex relaxation
Kuś et al. Holographic tomography: hardware and software solutions for 3D quantitative biomedical imaging
US9679360B2 (en) High-resolution light-field imaging
Momose et al. Phase–contrast X–ray computed tomography for observing biological soft tissues
Schuon et al. High-quality scanning using time-of-flight depth superresolution
US9658443B2 (en) Optics apparatus with detection of light rays received at different angles for output indicative of aliased views
Burlingame et al. SHIFT: speedy histopathological-to-immunofluorescent translation of whole slide images using conditional generative adversarial networks
US20050259864A1 (en) Four-dimensional imaging of periodically moving objects via post-acquisition synchronization of nongated slice-sequences
Lew et al. Easy-DHPSF open-source software for three-dimensional localization of single molecules with precision beyond the optical diffraction limit
EP2736403A1 (en) Apparatus and method for quantitative phase tomography through linear scanning with coherent and non-coherent detection
EP3021110A1 (en) System for obtaining quantitative x-ray images using Hilbert transform on imaged fringes
US20200150266A1 (en) Synthetic Apertures for Long-Range, Sub-Diffraction Limited Visible Imaging Using Fourier Ptychography
Ziemczonok et al. Optical diffraction tomography meets metrology—measurement accuracy on cellular and subcellular level
WO2021217031A1 (en) Ultrafast light field tomography
US20220343463A1 (en) Changing the size of images by means of a neural network
Zhao et al. Deep Learning‐Based Denoising in High‐Speed Portable Reflectance Confocal Microscopy
JP6968895B2 (ja) 電磁場の波頭の断層撮影分布を取得する方法及び光学システム
Kniesel et al. Clean implicit 3D structure from noisy 2D STEM images
Lobachev et al. Compensating anisotropy in histological serial sections with optical flow-based interpolation.
CN117191672A (zh) 提高三维折射率显微镜图像分辨率的系统及方法
US11480917B2 (en) Method and apparatus for reconstructing three-dimensional image by using diffraction grating
Kus et al. Limited-angle hybrid diffraction tomography for biological samples
Ma et al. Light-field tomographic fluorescence lifetime imaging microscopy
Zhang et al. Quantum imaging of biological organisms through spatial and polarization entanglement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination