CN110967827A - 一种基于光场微型显微系统的成像建模方法及装置 - Google Patents
一种基于光场微型显微系统的成像建模方法及装置 Download PDFInfo
- Publication number
- CN110967827A CN110967827A CN201911228620.XA CN201911228620A CN110967827A CN 110967827 A CN110967827 A CN 110967827A CN 201911228620 A CN201911228620 A CN 201911228620A CN 110967827 A CN110967827 A CN 110967827A
- Authority
- CN
- China
- Prior art keywords
- light field
- micro
- modeling
- imaging
- microscope system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 230000004075 alteration Effects 0.000 claims abstract description 40
- 238000000386 microscopy Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种基于光场微型显微系统的成像建模方法及装置,该方法包括如下步骤:S1、通过光学设计软件仿真出对应光学参数的微型显微系统,获取系统光学像差;S2、将获取的所述系统光学像差代入到所述光场微型显微系统的点扩散函数的建模中,建模得到包含所述系统光学像差的点扩散函数;S3、根据建模得到的所述点扩散函数建立所述光场微型显微系统的成像模型。本发明中建立的成像模型考虑了光场微型显微系统的光学像差,建模更加精确,有利于后续的三维重建,获取更加精准的观测对象的信息。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域,特别是涉及一种基于光场微型显微系统的成像建模方法及装置。
背景技术
近年来,脑科学成为世界的研究热点。微型显微镜的发展使动物在自主行为中的脑活动和结构动态的可视化成为可能。但由于微型显微镜不具有轴向分辨率,其成像时只能获取观测视场内单一平面聚焦清晰的画面,这限制了可视化的进一步发展。研究者们试图结合光场采集手段,提出光场微型显微镜,实现单曝光下大脑活动的三维时变信息的记录。通过对记录的三维时变信息进行解耦、重建,可获取观测视场内所有观测对象清晰的数据。但是,现有工作对光场微型显微系统进行成像建模时,使用的是理想的标量衍射理论,并未考虑光场微型显微系统存在的光学像差。这会导致解耦、重建出来的三维时变信息准确度不高。
发明内容
本发明的主要目的在于克服现有技术的上述缺陷,提供一种基于光场微型显微系统的成像建模方法及装置,使得建模更加精确,以有利于后续的三维重建,获取更加精准的观测对象的信息。
为实现上述目的,本发明采用以下技术方案:
一种基于光场微型显微系统的成像建模方法,包括如下步骤:
S1、通过光学设计软件仿真出对应光学参数的微型显微系统,获取系统光学像差;
S2、将获取的所述系统光学像差代入到所述光场微型显微系统的点扩散函数的建模中,建模得到包含所述系统光学像差的点扩散函数;
S3、根据建模得到的所述点扩散函数建立所述光场微型显微系统的成像模型。
进一步地:
步骤S1中,通过获取系统在聚焦面处包含的所述系统光学像差的复数场,来获取所述系统光学像差。
步骤S1具体包括如下步骤:
S11、仿真出对应光学参数的微型显微系统;
S12、利用自动聚焦函数,使系统处于聚焦状态;
S13、利用像差分析函数,提取出系统在聚焦面处的复数场;
S14、在观测深度范围内,重复步骤S12和步骤S13,直至提取出所有观测深度在聚焦面处的复数场。
步骤S2中,将获取的光学像差代入到光场微型显微系统点扩散函数的建模中,具体包括:将提取出的包含所述系统光学像差的所述复数场在所述光场微型显微系统中进行菲涅尔衍射传播,并获取所述复数场传播至成像传感器平面上的响应。
步骤S2中,对于基于微透镜阵列的光场微型显微系统,建模得到包含系统光学像差的点扩散函数的具体步骤包括:
将获取的观测深度范围内各深度层的复数场传播至微透镜阵列前,形成新的复数场
其中T(x,y;fmla,dmla;M,N)为微透镜阵列的透射函数,fmla和dmla分别为微透镜的焦距和直径,M和N分别为微透镜阵列横纵方向上微透镜的个数;
其中Γ2(·)为该传播过程的传播算子,Δd2为传播距离,也即微透镜阵列与成像传感器之间的距离,(dx2,dy2)为此传播过程使用的空间采样。
步骤S2中,建模得到包含系统光学像差的点扩散函数的具体步骤还包括:
建立的成像模型如下:
f=Hg+n, (7)
其中f为光场微型显微系统采集的光场图像展成的列向量,g为观测对象的三维信息展成的列向量,H为建模得到的包含系统光学像差的所述点扩散函数展成的列向量,n为光场微型显微系统采集光场图像时的噪声展成的列向量。
所述噪声包括环境噪声及成像传感器的输出噪声。
一种计算机可读存储介质,所述存储介质包括存储的计算机程序,其中,所述计算机程序运行时由处理器执行所述的光场微型显微系统的成像建模方法。
一种光场微型显微系统的成像建模装置,包括处理器和计算机可读存储介质,所述存储介质包括存储的计算机程序,其中,所述计算机程序运行时由所述处理器执行所述的光场微型显微系统的成像建模方法。
本发明具有如下有益效果:
本发明提出一种基于光场微型显微系统的成像建模方法及装置,本发明将系统的光学像差考虑进系统点扩散函数的建模当中,从而能够建立更加精确的成像模型。使用本发明建立的成像模型有利于后续的三维重建,从包含光学像差的光场图像上重建出观测对象的三维信息时,重建出的三维信息更加精确,重建质量更高,得到的分辨率更高,从而能够获取更加精准的观测对象的信息。
附图说明
图1为本发明一种实施例的基于光场微型显微系统的成像建模方法的流程图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
参阅图1,本发明实施例提出一种基于光场微型显微系统的成像建模方法,包括如下步骤:
S1、首先,利用光学设计软件仿真出对应光学参数的微型显微系统,获取系统光学像差。
S2、然后,将获取的系统光学像差代入到光场微型显微系统点扩散函数的建模中。
S3、最后,根据建模得到的点扩散函数建立光场微型显微系统的成像模型。
其中,步骤S1中,利用光学设计软件获取系统光学像差的方法为,获取系统在聚焦面处包含系统光学像差的复数场。
在优选的实施例中,步骤S1的具体步骤包括:
S11:仿真出对应光学参数的微型显微系统;
S12:利用自动聚焦函数,使系统处于聚焦状态;
S13:利用像差分析函数,提取出系统在聚焦面处的复数场;
S14:在观测深度范围内,重复步骤S2和S3,直至提取出所有观测深度在聚焦面处的复数场。
在优选的实施例中,步骤S2,将获取的光学像差代入到光场微型显微系统点扩散函数的建模中的方法为,将提取出的包含系统光学像差的复数场在光场微型显微系统中进行菲涅尔衍射传播,并获取复数场传播至成像传感器平面上的响应。
在优选的实施例中,如对于基于微透镜阵列的光场微型显微系统,获取包含系统光学像差的点扩散函数的具体步骤为:首先将获取的观测深度范围内各深度层的复数场传播至微透镜阵列前,形成新的复数场
其中为从光学设计软件中提取出的复数场,Γ1(·)为菲涅尔衍射传播算子,△d1为传播距离,也即聚焦面与微透镜阵列之间的距离,(dx1,dy1) 为传播时使用的空间采样。随后,将新的复数场通过微透镜阵列。则通过微透镜阵列后,复数场变为
其中T(x,y;fmla,dmla;M,N)为微透镜阵列的透射函数,fmla和dmla分别为微透镜的焦距和直径,M和N分别为微透镜阵列横纵方向上微透镜的个数。最后,将复数场传播至成像传感器,并取其幅值的平方,则可获取光场微型显微系统各观测深度在成像传感器上的响应分布h(z;x,y)
其中Γ2(·)为该传播过程的传播算子,△d2为传播距离,也即微透镜阵列与成像传感器之间的距离,(dx2,dy2)为此传播过程使用的空间采样。
光场微型显微系统采集的光场图像可以看做是观测对象在成像传感器上的响应的叠加,因此建立成像模型如下
f=Hg+n, (7)
其中f为光场微型显微系统采集的光场图像展成的列向量,g为观测对象的三维信息展成的列向量,H为建模得到的观测深度范围内各深度层不同位置在成像传感器上的响应分布展成的矩阵,n为光场微型显微系统采集光场图像时的噪声展成的列向量,包括环境噪声、成像传感器的输出噪声等等。该成像模型考虑了光场微型显微系统的光学像差,故使用重建算法从包含光学像差的光场图像上重建出观测对象的三维信息时,重建出的三维信息更加精确,重建质量更高,得到的分辨率更高。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息,而不一定是描述现有技术。因此,在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变形,而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中,参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点,但应当理解,在不脱离专利申请的范围的情况下,可以在本文中进行各种改变、替换和变更。
Claims (10)
1.一种基于光场微型显微系统的成像建模方法,其特征在于,包括如下步骤:
S1、通过光学设计软件仿真出对应光学参数的微型显微系统,获取系统光学像差;
S2、将获取的所述系统光学像差代入到所述光场微型显微系统的点扩散函数的建模中,建模得到包含所述系统光学像差的点扩散函数;
S3、根据建模得到的所述点扩散函数建立所述光场微型显微系统的成像模型。
2.如权利要求1所述的光场微型显微系统的成像建模方法,其特征在于,步骤S1中,通过获取系统在聚焦面处包含的所述系统光学像差的复数场,来获取所述系统光学像差。
3.如权利要求2所述的光场微型显微系统的成像建模方法,其特征在于,步骤S1具体包括如下步骤:
S11、仿真出对应光学参数的微型显微系统;
S12、利用自动聚焦函数,使系统处于聚焦状态;
S13、利用像差分析函数,提取出系统在聚焦面处的复数场;
S14、在观测深度范围内,重复步骤S12和步骤S13,直至提取出所有观测深度在聚焦面处的复数场。
4.如权利要求2或3所述的光场微型显微系统的成像建模方法,其特征在于,步骤S2中,将获取的光学像差代入到光场微型显微系统点扩散函数的建模中,具体包括:将提取出的包含所述系统光学像差的所述复数场在所述光场微型显微系统中进行菲涅尔衍射传播,并获取所述复数场传播至成像传感器平面上的响应。
5.如权利要求4所述的光场微型显微系统的成像建模方法,其特征在于,步骤S2中,对于基于微透镜阵列的光场微型显微系统,建模得到包含系统光学像差的点扩散函数的具体步骤包括:
将获取的观测深度范围内各深度层的复数场传播至微透镜阵列前,形成新的复数场
其中T(x,y;fmla,dmla;M,N)为微透镜阵列的透射函数,fmla和dmla分别为微透镜的焦距和直径,M和N分别为微透镜阵列横纵方向上微透镜的个数;
其中Γ2(·)为该传播过程的传播算子,△d2为传播距离,也即微透镜阵列与成像传感器之间的距离,(dx2,dy2)为此传播过程使用的空间采样。
7.如权利要求1至6任一项所述的光场微型显微系统的成像建模方法,其特征在于,建立的成像模型如下:
f=Hg+n, (7)
其中f为光场微型显微系统采集的光场图像展成的列向量,g为观测对象的三维信息展成的列向量,H为建模得到的包含系统光学像差的所述点扩散函数展成的列向量,n为光场微型显微系统采集光场图像时的噪声展成的列向量。
8.如权利要求7所述的光场微型显微系统的成像建模方法,其特征在于,所述噪声包括环境噪声及成像传感器的输出噪声。
9.一种计算机可读存储介质,其特征在于,所述存储介质包括存储的计算机程序,其中,所述计算机程序运行时由处理器执行如权利要求1-8任一项所述的光场微型显微系统的成像建模方法。
10.一种光场微型显微系统的成像建模装置,其特征在于,包括处理器和计算机可读存储介质,所述存储介质包括存储的计算机程序,其中,所述计算机程序运行时由所述处理器执行如权利要求1-8任一项所述的光场微型显微系统的成像建模方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911228620.XA CN110967827B (zh) | 2019-12-04 | 2019-12-04 | 一种基于光场微型显微系统的成像建模方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911228620.XA CN110967827B (zh) | 2019-12-04 | 2019-12-04 | 一种基于光场微型显微系统的成像建模方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110967827A true CN110967827A (zh) | 2020-04-07 |
CN110967827B CN110967827B (zh) | 2021-07-02 |
Family
ID=70032967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911228620.XA Active CN110967827B (zh) | 2019-12-04 | 2019-12-04 | 一种基于光场微型显微系统的成像建模方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110967827B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465724A (zh) * | 2020-12-07 | 2021-03-09 | 清华大学深圳国际研究生院 | 基于剪切波域的交叉通道先验信息的色差校正方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105278100A (zh) * | 2014-12-23 | 2016-01-27 | 中国科学院光电研究院 | 一种透射式数字成像系统设计方法 |
CN107424195A (zh) * | 2017-07-20 | 2017-12-01 | 清华大学深圳研究生院 | 一种光场距离估计方法 |
EP3264756A1 (en) * | 2009-01-05 | 2018-01-03 | Applied Quantum Technologies, Inc. | Multiscale optical system |
CN207992548U (zh) * | 2018-03-19 | 2018-10-19 | 复旦大学 | 一种光场显微转换模块 |
CN109615651A (zh) * | 2019-01-29 | 2019-04-12 | 清华大学 | 基于光场显微系统的三维显微成像方法及系统 |
CN110146180A (zh) * | 2019-05-22 | 2019-08-20 | 重庆连芯光电技术研究院有限公司 | 一种基于焦面哈特曼波前传感器的大视场图像清晰化装置及方法 |
CN110308547A (zh) * | 2019-08-12 | 2019-10-08 | 青岛联合创智科技有限公司 | 一种基于深度学习的稠密样本无透镜显微成像装置与方法 |
CN110443882A (zh) * | 2019-07-05 | 2019-11-12 | 清华大学 | 基于深度学习算法的光场显微三维重建方法及装置 |
-
2019
- 2019-12-04 CN CN201911228620.XA patent/CN110967827B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3264756A1 (en) * | 2009-01-05 | 2018-01-03 | Applied Quantum Technologies, Inc. | Multiscale optical system |
CN105278100A (zh) * | 2014-12-23 | 2016-01-27 | 中国科学院光电研究院 | 一种透射式数字成像系统设计方法 |
CN107424195A (zh) * | 2017-07-20 | 2017-12-01 | 清华大学深圳研究生院 | 一种光场距离估计方法 |
CN207992548U (zh) * | 2018-03-19 | 2018-10-19 | 复旦大学 | 一种光场显微转换模块 |
CN109615651A (zh) * | 2019-01-29 | 2019-04-12 | 清华大学 | 基于光场显微系统的三维显微成像方法及系统 |
CN110146180A (zh) * | 2019-05-22 | 2019-08-20 | 重庆连芯光电技术研究院有限公司 | 一种基于焦面哈特曼波前传感器的大视场图像清晰化装置及方法 |
CN110443882A (zh) * | 2019-07-05 | 2019-11-12 | 清华大学 | 基于深度学习算法的光场显微三维重建方法及装置 |
CN110308547A (zh) * | 2019-08-12 | 2019-10-08 | 青岛联合创智科技有限公司 | 一种基于深度学习的稠密样本无透镜显微成像装置与方法 |
Non-Patent Citations (1)
Title |
---|
WEI YAN: "Aberration Correction for Stimulated Emission Depletion Microscopy with Coherent Optical Adaptive Technique", 《PROCEEDINGS OF SPIE》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465724A (zh) * | 2020-12-07 | 2021-03-09 | 清华大学深圳国际研究生院 | 基于剪切波域的交叉通道先验信息的色差校正方法 |
CN112465724B (zh) * | 2020-12-07 | 2024-03-08 | 清华大学深圳国际研究生院 | 基于剪切波域的交叉通道先验信息的色差校正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110967827B (zh) | 2021-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443882B (zh) | 基于深度学习算法的光场显微三维重建方法及装置 | |
US9658443B2 (en) | Optics apparatus with detection of light rays received at different angles for output indicative of aliased views | |
CN109615651B (zh) | 基于光场显微系统的三维显微成像方法及系统 | |
Rodriguez et al. | Rayburst sampling, an algorithm for automated three-dimensional shape analysis from laser scanning microscopy images | |
CN101865673B (zh) | 一种微观光场采集与三维重建方法及装置 | |
KR102253320B1 (ko) | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 | |
DE102014218166B4 (de) | Bildverarbeitungsvorrichtung und zugehöriges steuerverfahren | |
JP2018536211A5 (zh) | ||
CN111161272B (zh) | 一种基于生成对抗网络的胚胎组织分割方法 | |
Shaw et al. | Three-dimensional behavioural phenotyping of freely moving C. elegans using quantitative light field microscopy | |
CN110349237B (zh) | 基于卷积神经网络的快速体成像方法 | |
CN112633248B (zh) | 深度学习全在焦显微图像获取方法 | |
CN110967827B (zh) | 一种基于光场微型显微系统的成像建模方法及装置 | |
CN106530381A (zh) | 一种基于gpu加速的三维荧光显微图像的去卷积算法 | |
CN109166103A (zh) | 基于多层感知网络的激发荧光断层成像方法 | |
CN111462005A (zh) | 处理显微图像的方法、装置、计算机设备及存储介质 | |
CN113850902A (zh) | 一种基于光场显微系统的光场三维重建方法 | |
CN112070675B (zh) | 一种基于图的正则化光场超分辨率方法和光场显微装置 | |
DE112015006312T5 (de) | Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm | |
CN105241813B (zh) | 压缩采样光声显微成像方法及装置 | |
Buyukozturk et al. | High-speed, 3D volumetric displacement and strain mapping in soft materials using light field microscopy | |
DE102013009634B4 (de) | Plenoptisches Bildgebungsverfahren | |
US20240310782A1 (en) | Methods of holographic image reconstruction with phase recovery and autofocusing using recurrent neural networks | |
CN110348569B (zh) | 基于卷积神经网络的实时光学层析方法和系统 | |
WO2018230615A1 (ja) | 画像処理装置、コンピュータプログラム及び画像補完方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |