CN108305213A - 图像重建方法、系统及结构照明显微镜 - Google Patents
图像重建方法、系统及结构照明显微镜 Download PDFInfo
- Publication number
- CN108305213A CN108305213A CN201710026104.3A CN201710026104A CN108305213A CN 108305213 A CN108305213 A CN 108305213A CN 201710026104 A CN201710026104 A CN 201710026104A CN 108305213 A CN108305213 A CN 108305213A
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- reconstruction
- time
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000010276 construction Methods 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 7
- 210000003470 mitochondria Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000002438 mitochondrial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本申请公开了一种交叉式图像重建算法,其中,图像重建方法依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像;图像重建方法通过利用两个相邻时间点的原始图像集合来获得对于当前时间点的原始图像集合的N张原始图像的重建,以这种方式进行图像重建可以使得每个时间点中的原始图像被重复使用在多次重建图像的获取过程中,图像重建方法将结构照明显微镜的时间分辨率提高到相邻两个方向之间的采集时间间隔,对于具有N个方向的结构照明显微镜,图像重建方法相较于利用现有技术的图像重建方法,其时间分辨率提高了N倍。
Description
技术领域
本申请涉及图像处理技术领域,更具体地说,涉及一种图像重建方法、系统及结构照明显微镜。
背景技术
结构照明显微镜(Structured Illumination Microscopy,SIM)是指利用结构光照射样品以获得一组不同调制相位的原始图像的成像系统,具有快速的数据采集速度、低的激发光强和空间超分辨率的优点,从而使得结构照明显微镜成为最适合活细胞成像的超分辨率显微光学器件。由于结构照明显微镜的成像性质,其在工作时需要依次获取N(N≥2)个方向的原始图像,其中一个方向的原始图像实现该方向样品除截止频率信息以外的频率信息的提取,对于具有N个方向结构光的结构照明显微镜,重建一副图像需要这N个方向的原始图像。
现有技术中的结构照明显微镜一般通过机械地旋转光栅实现多个方向的结构光照射,机械旋转光栅所占用的时间一般较长,这就导致了这种类型的结构照明显微镜的数据采集速度没有一些样品的变化速度快。为了解决机械旋转光栅占用时间长的问题,还有一些结构照明显微镜利用扫描振镜,空间光调制器和数字微镜阵列电控地改变结构光的方向。但是由于空间光调制器和数字微镜阵列的光利用率极低,导致这种结构照明显微镜的曝光时间较长,并没有很好的解决结构照明显微镜的数据采集速度没有一些样品的变化速度快这一问题。当利用扫描振镜时,仍有一些样品的变化速度比数据采集的速度快。
发明内容
为解决上述技术问题,本发明提供了一种图像重建方法、系统及结构照明显微镜,以解决结构照明显微镜的数据采集速度没有一些样品的变化速度快的问题。
为实现上述技术目的,本发明实施例提供了如下技术方案:
一种图像重建方法,应用于结构照明显微镜的图像重建过程,对于具有N个方向的结构照明显微镜,依次获取N个方向的原始图像,构成一个时间点的原始图像集合,其中N大于或等于2;所述图像重建方法包括:
获取两个相邻时间点的原始图像集合;
依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像,所述当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像为N个方向的原始图像,且在时间上连续;
所述第一预设数量由N向1以预设步长递减,所述第二预设数量由0向N-1以预设步长递增。
可选的,所述预设步长为1。
可选的,当N等于2时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像和第二方向的原始图像;
所述依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,获得N张重建图像包括:
利用当前时间点的第一方向的原始图像和第二方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像。
可选的,当N等于3时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像、第二方向的原始图像和第三方向的原始图像;
所述依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像包括:
利用当前时间点的第一方向的原始图像、第二方向的原始图像和第三方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二、三方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像;
利用当前时间点的第三方向的原始图像和下一时间点的第一方向及第二方向的原始图像进行图像重建,获得再一张所述重建图像。
一种图像重建系统,应用于结构照明显微镜的图像重建过程,对于具有N个方向的结构照明显微镜,依次获取N个方向的原始图像,构成一个时间点的原始图像集合,其中N大于或等于2;所述图像重建系统包括:
集合获取模块,用于获取两个相邻时间点的原始图像集合;
图像重建模块,用于依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像包括,所述当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像为N个方向的原始图像,且在时间上连续;
所述第一预设数量由N向1以预设步长递减,所述第二预设数量由0向N-1以预设步长递增。
可选的,所述预设步长为1。
可选的,当N等于2时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像和第二方向的原始图像;
所述图像重建模块依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像具体在于,利用当前时间点的第一方向的原始图像和第二方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像。
可选的,当N等于3时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像、第二方向的原始图像和第三方向的原始图像;
所述图像重建模块依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像具体在于,利用当前时间点的第一、二方向的原始图像和第三方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二、三方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像;
利用当前时间点的第三方向的原始图像和下一时间点的第一方向及第二方向的原始图像进行图像重建,获得再一张所述重建图像。
一种结构照明显微镜,包括如上述任一项所述的图像重建系统。
从上述技术方案可以看出,本发明实施例提供了一种图像重建方法、系统及结构照明显微镜,其中,所述图像重建方法交替利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像;所述图像重建方法通过利用两个相邻时间点的原始图像集合来获得对于当前时间点的原始图像集合的N张原始图像的重建,以这种方式进行图像重建可以使得每个时间点中的原始图像被重复使用在多次的重建图像的获取过程中,在这个过程中,所述图像重建方法将所述结构照明显微镜的时间分辨率提高到相邻两个方向之间的采集时间间隔,对于具有N个方向的结构照明显微镜,所述图像重建方法相较于利用现有技术的图像重建方法,其分辨率提高了N倍。
并且,利用所述图像重建方法进行图像重建并不需要对所述结构照明显微镜的机械结构,光学结构以及系统控制做出改变,在图像处理编程上极易实现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请的一个实施例提供的一种图像重建方法的流程示意图;
图2应用本申请实施例提供的图像重建方法的图像重建过程的示意图;
图3为利用现有技术中图像重建方法观察线粒体的观察结果示意图;
图4为应用本申请实施例提供的图像重建方法观察线粒体的观察结果示意图;
图5为本申请的一个实施例提供的一种图像重建系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例提供了一种图像重建方法,如图1所示,应用于结构照明显微镜的图像重建过程,所述结构照明显微镜用于依次获取N个方向的原始图像,构成一个时间点的原始图像集合,其中N大于或等于2;所述图像重建方法包括:
S101:获取两个相邻时间点的原始图像集合;
S102:依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像,所述当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像为N个方向的原始图像;
需要说明的是,在现有技术中,在利用结构照明显微镜依次获取一个时间点的N个方向的原始图像后,利用这个时间点的N个方向的原始图像进行重建,以获得该时间点的重建图像,这种图像重建的过程使得现有技术中的结构照明显微镜的时间分辨率为相邻两个时间点同一方向的原始图像的采集时间间隔;参考图2,假设N等于3,那么结构照明显微镜依次获取方向Dir1、Dir2和Dir3的原始图像,即首先采集方向Dir1的原始图像,然后采集方向Dir2的原始图像,最后采集方向Dir3的原始图像,在获取这三个方向的原始图像后利用一个时间点的三个方向的原始图像进行图像重建,获得重建图像(SR1、SR2……)。假设相邻两个方向之间的采集时间间隔为T,则利用现有技术中的图像重建方法的结构照明显微镜的时间分辨率即为3T。在图2中,T1和T2分别为不同的时间点,Dir1、Dir2和Dir3为一个时间点的原始图像集合中的原始图像的方向。
而在本实施例中,参考图2,仍然假设N等于3,那么结构照明显微镜依次获取方向Dir1、Dir2和Dir3的原始图像,每个时间点的原始图像集合包括的原始图像分别为Dir1、Dir2和Dir3;由于所述图像重建方法通过利用两个相邻时间点的原始图像集合来获得对于当前时间点的原始图像集合的N张原始图像的重建,以这种方式进行图像重建可以使得每个时间点中的原始图像被重复使用在多次的重建图像的获取过程中,使得在对时间点T1的原始图像集合进行图像重建时,在图2中可以发现,相较于现有技术中多获得了两张重建图像(SR12和SR13),这两张重建图像是通过交替使用了时间点T1和T2的原始图像集合中的原始图像实现的。因此,在仍然假设相邻两个方向之间的采集时间间隔为T的前提下,所述图像重建方法将所述结构照明显微镜的时间分辨率提高到相邻两个方向之间的采集时间间隔T,相较于利用现有技术的图像重建方法的结构照明显微镜的时间分辨率(3T)提高了三倍。
并且,所述图像重建方法适用于任何形式的结构照明显微镜,包括普通的通过旋转光栅或者扫描振镜实现结构光改变的结构照明显微镜,还有使用空间光调制或者数字微镜阵列实现电控改变结构光方向的快速结构照明显微镜。进一步的,利用所述图像重建方法进行图像重建并不需要对所述结构照明显微镜的机械结构,光学结构以及系统控制做出改变,在图像处理编程上极易实现。
所述利用N个方向的原始图像重建获得多幅重建图像的过程与现有技术中利用N个方向的原始图像重建获得重建图像的过程相同,同样包括原始图像去噪、频率相位估计以及去卷积等过程,由于这些过程已为本领域技术人员所熟知,本申请在此不做赘述。
还需要说明的是,所述当前时间点的第一预设数量个方向的原始图像采集顺序和下一时间点的第二预设数量个方向的原始图像采集顺序相同,且在时间上连续或者当前时间点和下一个时间点之间的时间延迟可以忽略,也就是说在利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建时,这些原始图像在采集时间上是连续的或近似连续,中间不能插有其他原始图像,仍然以图2为例,在图2中,原始图像采集顺序为:Dir1、Dir2、Dir3、Dir1、Dir2和Dir3;那么在对T1时间点的所有原始图像进行图像重建时,可以是T1时间点的Dir1、Dir2和Dir3进行图像重建获得重建图像(SR1),也可以是T1时间点的Dir2、Dir3和T2时间点的Dir1进行图像重建获得重建图像(SR12),还可以是T1时间点的Dir3和T2时间点的Dir1和Dir2进行图像重建获得重建图像(SR13);其中,这是因为上述原始图像在时间上是连续的,但T1时间点的Dir1、Dir2和T2时间点的Dir1在时间上是不连续的。
所述依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像包括:
利用当前时间点的第一方向的原始图像,第二和第三方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二和第三方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像。
利用当前时间点的第三方向的原始图像和下一时间点的第一和第二方向的原始图像进行图像重建,获得另一张所述重建图像。
在上述实施例的基础上,在本申请的一个具体实施例中,分别利用现有技术中的图像重建方法和本申请实施例提供的所述图像重建方法对线粒体进行观察,观察结果如图3和图4所示;线粒体所在细胞是SKOV3细胞,利用Mito Tracker(Invitrogen M7521)进行荧光标记得到。在本实施例中,N=3,图3为利用现有技术中的图像重建方法对线粒体进行观察的观察结果,共获得三张重建图像,标号SR1、SR2、SR3的图像为对三张重建图像的局部放大示意图,放大区域为图3中左图的矩形框选区域所在位置。从图3可以明显地看到在箭头所指的位置三次重建图像中有线粒体形状的不连贯,这就说明时间分辨率还不足以追踪线粒体的动态变化。图4为利用本申请实施例提供的图像重建方法对线粒体进行观察的观察结果,同样的标号SR1、SR12、SR13、SR2、SR22、SR23和SR3的图像为对获得的重建图像的局部放大示意图,放大区域为图4中左图的矩形框选区域所在位置,在获得重建图像SR1和SR2之间多了重建图像SR12和SR13,在重建图像SR2和SR3之间多个重建图像SR22和SR23,从而可以观察到三个时间点箭头所指位置不连贯的中间过程,实现了时间分辨率的三倍提高。
相应的,本申请实施例还提供了一种图像重建系统,如图5所示,应用于结构照明显微镜的图像重建过程,所述结构照明显微镜用于依次获取N个方向的原始图像,构成一个时间点的原始图像集合,其中N大于或等于2;所述图像重建系统包括:
集合获取模块100,用于获取两个相邻时间点的原始图像集合;
图像重建模块200,用于依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像,所述当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像为N个方向的原始图像,且在时间上连续;
所述第一预设数量由N向1以预设步长递减,所述第二预设数量由0向N-1以预设步长递增。
需要说明的是,在现有技术中,在利用结构照明显微镜依次获取一个时间点的N个原始图像后,利用这个时间点的N个原始图像进行重建,以获得该时间点的重建图像,这种图像重建的过程使得现有技术中的结构照明显微镜的时间分辨率为相邻两个时间点同一方向的原始图像的采集时间间隔;参考图2,在图2中,假设N等于3,那么结构照明显微镜依次获取方向Dir1、Dir2和Dir3的原始图像,即首先采集方向Dir1的原始图像,然后采集方向B的原始图像,最后采集方向Dir3的原始图像,在获取这三个方向的原始图像后利用一个时间点的三个方向的原始图像进行图像重建,获得重建图像(SR1、SR2……)。假设相邻两个方向之间的采集时间间隔为T,则利用现有技术中的图像重建方法的结构照明显微镜的时间分辨率即为3T。在图2中,T1和T2分别为不同的时间点,Dir1、Dir2和Dir3为一个时间点的原始图像集合中的原始图像的方向。
而在本实施例中,参考图2,仍然假设N等于3,那么结构照明显微镜依次获取方向Dir1、Dir2和Dir3的原始图像,每个时间点的原始图像集合包括的原始图像分别为Dir1、Dir2和Dir3;由于所述图像重建系统通过利用两个相邻时间点的原始图像集合来获得对于当前时间点的原始图像集合的N张原始图像的重建,以这种方式进行图像重建可以使得每个时间点中的原始图像被重复使用在多次的重建图像的获取过程中,使得在对时间点T1的原始图像集合进行图像重建时,在图2中可以发现,相较于现有技术中多获得了两张重建图像(SR12和SR13),这两张重建图像是通过交替使用了时间点T1和T2的原始图像集合中的原始图像实现的。因此,在仍然假设相邻两个方向之间的采集时间间隔为T的前提下,所述图像重建系统将所述结构照明显微镜的时间分辨率提高到相邻两个方向之间的采集时间间隔T,相较于利用现有技术的图像重建方法的结构照明显微镜的时间分辨率(3T)提高了N倍。
并且,所述图像重建系统适用于任何形式的结构照明显微镜,包括普通的通过旋转光栅实现结构光改变的结构照明显微镜,还有使用空间光调制或者数字微镜阵列实现电控改变结构光方向的快速结构照明显微镜。进一步的,利用所述图像重建系统进行图像重建并不需要对所述结构照明显微镜的机械结构,光学结构以及系统控制做出改变,在图像处理编程上极易实现。
利用N个方向的原始图像重建获得重建图像的过程与现有技术中利用N个方向的原始图像重建获得重建图像的过程相同,同样包括原始图像去噪、频率相位估计以及去卷积等过程,由于这些过程已为本领域技术人员所熟知,本申请在此不做赘述。
还需要说明的是,所述当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像为N个方向的原始图像,且在时间上连续,或者当前时间点和下一个时间点之间的延迟可以被忽略。也就是说,在利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建时,这些原始图像在采集时间上是连续的或者可近似为连续,中间不能插有其他原始图像,仍然以图3为例,在图2中,原始图像采集顺序为:Dir1、Dir2、Dir3、Dir1、Dir2和Dir3;那么在对T1时间点的所有原始图像进行图像重建时,可以T1时间点的Dir1、Dir2和Dir3进行图像重建获得重建图像(SR1),也可以是T1时间点的Dir2、Dir3和T2时间点的Dir1进行图像重建获得重建图像(SR12),还可以是T1时间点的Dir3和T2时间点的Dir1和Dir2进行图像重建获得重建图像(SR13);这是因为上述原始图像在时间上是连续的,但T1时间点的Dir1、Dir2和T2时间点的Dir1在时间上是不连续的。
在上述实施例的基础上,在本申请的另一个实施例中,当N等于2时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像和第二方向的原始图像;
所述图像重建模块200依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,获得2张重建图像。具体步骤为:
利用当前时间点的第一方向的原始图像和第二方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像。
在上述实施例的基础上,在本申请的又一个实施例中,当N等于3时,一个时间点的原始图像集合包括依次获取的三方向的原始图像;
所述图像重建模块200依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,获得3张重建图像。具体步骤为:
利用当前时间点的三方向的原始图像获得一张所述重建图像;
利用当前时间点的第二和第三方向的原始图像、和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像;
利用当前时间点的第三方向的原始图像和下一时间点的第一和第二方向的原始图像进行图像重建,再获得一张所述重建图像。
以此类推到结构照明方向N>3的显微镜的图像重建.
相应的,本申请实施例还提供了一种结构照明显微镜,包括如上述任一实施例所述的图像重建系统。
综上所述,本申请实施例提供了一种图像重建方法、系统及结构照明显微镜,其中,所述图像重建方法依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像;所述图像重建方法通过利用两个相邻时间点的原始图像集合来获得对于当前时间点的原始图像集合的N张原始图像的重建,以这种方式进行图像重建可以使得每个时间点中的原始图像被重复使用在多次的重建图像的获取过程中,在这个过程中,所述图像重建方法将所述结构照明显微镜的时间分辨率提高到相邻两个方向之间的采集时间间隔,对于具有N个方向的结构照明显微镜,所述图像重建方法相较于利用现有技术的图像重建方法,其时间分辨率提高了N倍。
并且,利用所述图像重建方法进行图像重建并不需要对所述结构照明显微镜的机械结构,光学结果以及系统控制做出改变,在图像处理编程上极易实现。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种图像重建方法,其特征在于,应用于结构照明显微镜的图像重建过程,对于具有N个方向的结构照明显微镜,依次获取N个方向的原始图像,构成一个时间点的原始图像集合,其中N大于或等于2;所述图像重建方法包括:
获取两个相邻时间点的原始图像集合;
依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像,所述当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像为N个方向的原始图像,且在时间上连续;
所述第一预设数量由N向1以预设步长递减,所述第二预设数量由0向N-1以预设步长递增。
2.根据权利要求1所述的图像重建方法,其特征在于,所述预设步长为1。
3.根据权利要求1所述的图像重建方法,其特征在于,当N等于2时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像和第二方向的原始图像;
所述依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,获得N张重建图像包括:
利用当前时间点的第一方向的原始图像和第二方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像。
4.根据权利要求1所述的图像重建方法,其特征在于,当N等于3时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像、第二方向的原始图像和第三方向的原始图像;
所述依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像包括:
利用当前时间点的第一方向的原始图像、第二方向的原始图像和第三方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二、三方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像;
利用当前时间点的第三方向的原始图像和下一时间点的第一方向及第二方向的原始图像进行图像重建,获得再一张所述重建图像。
5.一种图像重建系统,其特征在于,应用于结构照明显微镜的图像重建过程,对于具有N个方向的结构照明显微镜,依次获取N个方向的原始图像,构成一个时间点的原始图像集合,其中N大于或等于2;所述图像重建系统包括:
集合获取模块,用于获取两个相邻时间点的原始图像集合;
图像重建模块,用于依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像包括,所述当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像为N个方向的原始图像,且在时间上连续;
所述第一预设数量由N向1以预设步长递减,所述第二预设数量由0向N-1以预设步长递增。
6.根据权利要求5所述的图像重建系统,其特征在于,所述预设步长为1。
7.根据权利要求5所述的图像重建系统,其特征在于,当N等于2时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像和第二方向的原始图像;
所述图像重建模块依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像具体在于,利用当前时间点的第一方向的原始图像和第二方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像。
8.根据权利要求5所述的图像重建系统,其特征在于,当N等于3时,一个时间点的原始图像集合包括依次获取的第一方向的原始图像、第二方向的原始图像和第三方向的原始图像;
所述图像重建模块依次利用当前时间点的第一预设数量个方向的原始图像和下一时间点的第二预设数量个方向的原始图像进行图像重建,对于具有N个方向的结构照明显微镜,获得N张重建图像具体在于,利用当前时间点的第一、二方向的原始图像和第三方向的原始图像进行图像重建,获得一张所述重建图像;
利用当前时间点的第二、三方向的原始图像和下一时间点的第一方向的原始图像进行图像重建,获得另一张所述重建图像;
利用当前时间点的第三方向的原始图像和下一时间点的第一方向及第二方向的原始图像进行图像重建,获得再一张所述重建图像。
9.一种结构照明显微镜,其特征在于,包括如权利要求5-8任一项所述的图像重建系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710026104.3A CN108305213B (zh) | 2017-01-13 | 2017-01-13 | 图像重建方法、系统及结构照明显微镜 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710026104.3A CN108305213B (zh) | 2017-01-13 | 2017-01-13 | 图像重建方法、系统及结构照明显微镜 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108305213A true CN108305213A (zh) | 2018-07-20 |
CN108305213B CN108305213B (zh) | 2020-12-25 |
Family
ID=62872483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710026104.3A Active CN108305213B (zh) | 2017-01-13 | 2017-01-13 | 图像重建方法、系统及结构照明显微镜 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108305213B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115293981A (zh) * | 2022-08-02 | 2022-11-04 | 中国科学院生物物理研究所 | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9222932B2 (en) * | 2013-03-15 | 2015-12-29 | Organovo, Inc. | Engineered liver tissues, arrays thereof, and methods of making the same |
CN105510229A (zh) * | 2015-11-30 | 2016-04-20 | 哈尔滨工业大学 | 一种超分辨虚拟结构光照明成像装置及其成像方法 |
CN105589188A (zh) * | 2016-03-10 | 2016-05-18 | 清华大学 | 一种结构光照明显微镜的成像方法及装置 |
-
2017
- 2017-01-13 CN CN201710026104.3A patent/CN108305213B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9222932B2 (en) * | 2013-03-15 | 2015-12-29 | Organovo, Inc. | Engineered liver tissues, arrays thereof, and methods of making the same |
CN105510229A (zh) * | 2015-11-30 | 2016-04-20 | 哈尔滨工业大学 | 一种超分辨虚拟结构光照明成像装置及其成像方法 |
CN105589188A (zh) * | 2016-03-10 | 2016-05-18 | 清华大学 | 一种结构光照明显微镜的成像方法及装置 |
Non-Patent Citations (1)
Title |
---|
吴美瑞: "结构光照明荧光显微成像系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115293981A (zh) * | 2022-08-02 | 2022-11-04 | 中国科学院生物物理研究所 | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108305213B (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5268257B2 (ja) | イメージガイドを通じて取得した共焦点画像の超解像度方法および装置、並びにこの方法を実施するための機器 | |
CN105223582A (zh) | 一种基于压缩感知的激光雷达成像装置及成像方法 | |
CN106770147A (zh) | 一种结构光照明超分辨显微成像系统及其成像方法 | |
DE112019004851T5 (de) | Vorrichtung und verfahren zur schnellen volumetrischen fluoreszenzmikroskopie unter verwendung von zeitlich multiplexierten lichtblättern | |
CN104181686A (zh) | 基于fpm的光场显微方法 | |
CN113484296A (zh) | 基于结构光照明的超分辨扫描光场成像系统和方法 | |
CN102057397A (zh) | 使用结构和均匀照明产生光学截面图像的系统和方法 | |
CN103154662A (zh) | 扫描投影无透镜显微镜系统 | |
CN110599399B (zh) | 基于卷积神经网络的快速双光子成像方法及装置 | |
CN105589188A (zh) | 一种结构光照明显微镜的成像方法及装置 | |
CN110824681B (zh) | 一种无扫描高超分辨光学三维显微成像方法 | |
BR112020007609A2 (pt) | método de reconstrução de imagem, dispositivo e dispositivo de imagiologia microscópica | |
US10746657B2 (en) | Method for accelerated high-resolution scanning microscopy | |
CN110470667A (zh) | 基于压缩感知和随机多焦点扫描的三维体成像方法及装置 | |
CN115293981B (zh) | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 | |
KR102593253B1 (ko) | 고플럭스 광학 단층촬영 3차원 이미징 시스템 | |
CN108305213A (zh) | 图像重建方法、系统及结构照明显微镜 | |
Yoo et al. | 3D image reconstruction from multi-focus microscope: axial super-resolution and multiple-frame processing | |
US9696255B2 (en) | Image processing method of two-photon structured illumination point scanning microscopy | |
CN112967268B (zh) | 基于光场的数字光学层析方法和装置 | |
CN116402681A (zh) | 一种基于像素重排列的自监督结构光显微重建方法和系统 | |
CN114155340B (zh) | 扫描光场数据的重建方法、装置、电子设备及存储介质 | |
KR101391180B1 (ko) | 레이저 스캔 구조조명 이미징 방법 | |
JP7235861B2 (ja) | 高スループット光トモグラフィイメージング方法及びイメージングシステム | |
CN111352229A (zh) | 一种虚拟多平面成像系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |