CN105225202B - 一种基于fpm算法的图像超分辨率重建的方法 - Google Patents
一种基于fpm算法的图像超分辨率重建的方法 Download PDFInfo
- Publication number
- CN105225202B CN105225202B CN201510611198.1A CN201510611198A CN105225202B CN 105225202 B CN105225202 B CN 105225202B CN 201510611198 A CN201510611198 A CN 201510611198A CN 105225202 B CN105225202 B CN 105225202B
- Authority
- CN
- China
- Prior art keywords
- led
- image
- fpm
- point
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4061—Super resolution, i.e. output image resolution higher than sensor resolution by injecting details from a different spectral band
Abstract
本发明提供一种基于FPM算法的图像超分辨率重建的方法，包括如下步骤：(1)控制LED阵列中不同的LED逐点发光产生不同角度的光照，用FPM平台的成像装置选择当前发光的LED对应的曝光时间采集得到不同角度的光照下的低分辨率图像gi(x,y)；(2)基于不同角度的光照下所得到的图像在空间角度上的变化对应于该图像的频谱在频域上的偏移，利用相位恢复算法以及合成孔径的思想，由采集到的多张低分辨率图像通过迭代得到一张高分辨率图像。本发明充分利用了采集到的每张低分辨率图像的相位信息，将原有的FPM算法中频域重叠区域的替换算法进行了改进，将频域重叠区域的替换抽象成求解最优解权值的问题，提高了算法的重建效果。
Description
技术领域
本发明属于显微成像领域，特别是涉及一种基于FPM算法的图像超分辨率重建的方法。
技术背景
空间带宽积SBP(space bandwidth product)决定了图像最低必须分辨的像素数，增加空间带宽积SBP，必须在分辨率与视野范围FOV(field of view)中做出选择，也就是说要使观察视野范围比较广，那么观测物体的放大倍数就会偏小，分辨率相对较低；反之，如果观测放大倍数比较大，分辨率较高，那么视野的范围就会缩小。Fourier ptychographicmicroscopy(FPM)是一种基于显微镜平台的图像超分辨率重建的方法，很好地解决了这一问题，让我们在获得广视野的同时获得高的分辨率，由此，突破了光学成像系统的物理限制。
发明内容
本发明的目的在于改进传统的FPM算法，提出了一种基于FPM算法的图像超分辨率重建的方法。
为达到上述目的，本发明的技术方案如下：
一种基于FPM算法的图像超分辨率重建的方法，包括如下步骤：
(1)控制LED阵列中不同的LED逐点发光产生不同角度的光照，用FPM平台的成像装置选择当前发光的LED对应的曝光时间采集得到不同角度的光照下的低分辨率图像gi(x,y)；
(2)基于不同角度的光照下所得到的图像在空间角度上的变化对应于该图像的频谱在频域上的偏移，利用相位恢复算法以及合成孔径的思想，由采集到的多张低分辨率图像通过迭代得到一张高分辨率图像。
本发明的优点在于：合成孔径思想的运用是基于一个假设：空间光照角度的变化体现为频谱上的不同区域的，则不同的频域将会达到相机的CCD上，在整个过程中的将不同频域“叠加”(不是完全的叠加，见具体实施例的描述)则可以使通过物镜的截止频率的范围扩大。本发明是一种频域重叠区域加权替换的FPM算法，充分利用了采集到的每张低分辨率图像的相位信息，将原有的FPM算法中频域重叠区域的替换算法进行了改进，将频域重叠区域的替换抽象成求解最优解权值的问题，提高了算法的重建效果。
附图说明
图1为本发明优选实施例中的FPM实验原理图。
图2是本发明优选实施例中的举例说明的三个子区域及重叠区域的示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明提供一种基于FPM算法的图像超分辨率重建的方法，在具体实施方式中，包括如下步骤：
(1)控制LED阵列中不同的LED逐点发光产生不同角度的光照，用FPM平台的成像装置选择当前发光的LED对应的曝光时间采集得到不同角度的光照下的低分辨率图像gi(x,y)；
(2)基于不同角度的光照下所得到的图像在空间角度上的变化对应于该图像的频谱在频域上的偏移，利用相位恢复算法以及合成孔径的思想，由采集到的多张低分辨率图像通过迭代得到一张高分辨率图像。
在一个优选的实施例中，一种基于FPM算法的图像超分辨率重建的方法包括以下步骤：
(1)控制LED阵列中不同的LED逐点发光产生不同角度的光照，用FPM平台的成像装置选择当前发光的LED对应的曝光时间采集得到不同角度的光照下的低分辨率图像gi(x,y)。其中，在该优选的实施例中，具体地，该FPM平台包括显微镜，显微镜设置有相机(即成像装置)，显微镜的光源采用可编程的LED阵列，LED阵列的规模为32*32，LED阵列的相邻两个LED之间的距离为4mm，LED阵列与载物台之间的距离一般选择7～8cm。该FPM平台主要是基于显微镜，相比于传统显微镜，在光源位置放置了一个可编程LED阵列来代替原有的光源。
具体来说，利用计算机控制LED阵列的发光和相机的图像采集，实验原理如图1所示，其中，基于不同角度的光照下所得到的图像在空间角度上的变化对应于该图像的频谱在频域上的偏移，偏移量为：
其中，λ表示LED照射光的波长，xc，yc对应的是中心LED的坐标，xi,yi对应于包括中心LED在内的某个LED的坐标，d表示光源到样本间的距离。
I、校准LED的位置，确定LED阵列中各个LED对应的相机曝光时间。
①确定中心LED(中心LED为样本正下方的LED)的位置：固定一个曝光时间，在LED阵列上选定水平方向的某一行LED灯逐点发光，用相机采集每一张图像，根据采集到的图像的明、暗场分布，估计中心LED的横(水平)坐标，以及中心LED的纵(垂直)坐标。
②确定不同区域的曝光时间：选定几个不同的曝光时间，LED阵列上的灯逐点发光，用相机采集每一张图像，筛选每个LED对应的图像，确定每个LED对应需要的曝光时间；主要的原则是：a)在保证基本保留了图像信息的前提下，选择曝光时间尽可能短的；b)与中心LED的距离相同的LED所需要的曝光时间应该相同。其中，选定2-3个不同的曝光时间较佳，本例中，对于以中心LED为中心的7*7个LED(表示为区域A)选取同一个曝光时间，剩下的LED(表示为区域B)选取同一个曝光时间，曝光时间的选择应满足以下条件：a)在保证区域A或区域B中离中心LED最远的LED点亮时采集到的图像基本保留了图像信息，且离中心LED最近的LED点亮时采集到的图像不过曝的前提下选择曝光时间尽可能短的；b)与中心LED距离相等的LED所需要的曝光时间应该相同。
II、采集低分辨率图像：用计算机控制LED阵列中LED逐点发光，同时相机选取对应的曝光时间来采集图像。
(2)基于不同角度的光照下所得到的图像在空间角度上的变化对应于该图像的频谱在频域上的偏移，利用相位恢复算法以及合成孔径的思想，由采集到的多张低分辨率图像通过迭代得到一张高分辨率图像。具体的频域重叠区域加权替换的FPM算法如下：
(21)对结果(即需要得到的高分辨率图像)进行初始的猜测
(22)对初始猜测进行傅立叶变换得：
(23)在傅立叶域(频域)中选取一子区域进行反傅立叶变换得到其中，选取的子区域是以NA×k0为半径的一个圆域，其中，k0＝2π/λ，λ表示LED发出的光的波长，NA为所述FPM平台中的物镜的数值孔径。
(24)用采集到的低分辨率图像的幅值替换得到新的低分辨率图像
(25)对新的低分辨率图像进行傅立叶变换得到并用其替换傅立叶域中的对应子区域
(26)对于剩下的不同角度照射下采集到的数据，重复步骤(23)至步骤(25)操作；
(27)对于需要得到的高分辨率图像的频谱而言，其频谱中每一个点的值等于包含该点的所有子区域在该点处的值的一个平均值，其中，i＝1,2，3….n，n表示包含该点的子区域的数量。例如，假设一个点为A，如果该点被3个子区域所包含(即3个子区域均包含该点A)，也即该A点被这三个区域包含，子区域在A点处的值是P1，子区域在A点处的值是P2，子区域在A点处的值是P3，那么按步骤(27)的方法，最后A点的值等于(P1+P2+P3)/3。(下方再详细阐述)
(28)迭代(重复)步骤(23)到步骤(27)5-8次，得到一张高分辨率图像。
从以上中步骤可知，频域的子区域的替换更新，由更新后的替换了更新之前的本发明的方法在于对此频域替换进行改进(即在迭代前进行步骤(27))，具体思想如下：
假设频域中的三个子区域有重叠区域，如图2中所示，图中，1表示子区域2表示子区域3表示子区域4表示三个子区域的重叠区域，11表示子区域中与重叠区域4相对应的区域，21表示子区域中与重叠区域4相对应的区域，31表示子区域中与重叠区域4相对应的区域。
若按照传统的FPM算法，假设选择三个子区域的先后顺序为：
则重叠区域应由中对应区域进行替换，也即，重叠区域4的值实际上由子区域3中与重叠区域4对应的区域31的值替换，但是这样就丢失了和中与重叠区域相应区域(即区域11和区域21)的信息，为此本发明对此问题进行数学抽象建立以下优化方程：
其中，Pi表示每一个子区域中与重叠区域相对应的区域，P表示包含该点的所有子区域在该点处的值的平均值，是最终替换重叠区域的数据值，n表示此重叠区域共被n个子区域包含，以图2为例，根据本发明的方法，最终重叠区域应该由替换更新，也即图2中重叠区域4的值由子区域1中与重叠区域4对应的区域11的值、子区域2中与重叠区域4对应的区域21的值以及子区域3中与重叠区域4对应的区域31的值相加后除以3后替换更新。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (7)
1.一种基于FPM算法的图像超分辨率重建的方法，其特征在于，包括如下步骤：
(1)控制LED阵列中不同的LED逐点发光产生不同角度的光照，用FPM平台的成像装置选择当前发光的LED对应的曝光时间采集得到不同角度的光照下的低分辨率图像gi(x,y)；
(2)基于不同角度的光照下所得到的图像在空间角度上的变化对应于该图像的频谱在频域上的偏移，利用相位恢复算法以及合成孔径的思想，由采集到的多张低分辨率图像通过迭代得到一张高分辨率图像；
所述步骤(2)中的所述偏移的偏移量为：
其中，λ表示LED照射光的波长，xc，yc对应的是中心LED的坐标，xi,yi对应于包括中心LED在内的某个LED的坐标，d表示光源到样本间的距离。
2.如权利要求1所述的基于FPM算法的图像超分辨率重建的方法，其特征在于，所述步骤(2)包括如下步骤：
(21)对需要得到的高分辨率图像进行初始猜测
(22)对所述初始猜测进行傅立叶变换得：
(23)在频域中选取一子区域进行反傅立叶变换得到
(24)用采集到的低分辨率图像的幅值替换得到新的低分辨率图像
(25)对所述新的低分辨率图像进行傅立叶变换得到并用替换所述频域中的对应子区域
(26)对于剩下的不同角度照射下采集到的数据，重复步骤(23)至步骤(25)操作；
(27)对于所述需要得到的高分辨率图像的频谱而言，其频谱中每一个点的值等于包含该点的所有子区域在该点处的值的一个平均值，其中，i＝1,2，3….n，n表示包含该点的子区域的个数；
(28)迭代步骤(23)到步骤(27)多次，得到一张高分辨率图像。
3.如权利要求2所述的基于FPM算法的图像超分辨率重建的方法，其特征在于：所述步骤(27)中的所述平均值采用以下方程计算：
假设频域中的各个子区域与其他子区域有重叠区域，建立以下优化方程
其中，Pi表示每一个子区域中与重叠区域相对应的区域，P表示所述包含该点的所有子区域在该点处的值的平均值，是用于最终替换重叠区域的数据值，n表示重叠区域共被n个子区域包含。
4.如权利要求2所述的基于FPM算法的图像超分辨率重建的方法，其特征在于：所述步骤(28)中迭代的次数为5-8次。
5.如权利要求2所述的基于FPM算法的图像超分辨率重建的方法，其特征在于：所述步骤(23)中在频域中选取的子区域是以NA×k0为半径的一个圆域，其中，k0＝2π/λ，λ表示LED发出的光的波长，NA为所述FPM平台中的物镜的数值孔径。
6.如权利要求1所述的基于FPM算法的图像超分辨率重建的方法，其特征在于：所述FPM平台包括显微镜，显微镜设置有成像装置，显微镜的光源采用可编程的LED阵列，LED阵列的相邻两个LED之间的距离为4mm，LED阵列与载物台之间的距离为7～8cm。
7.如权利要求1所述的基于FPM算法的图像超分辨率重建的方法，其特征在于：采用以下方法确定LED阵列中各个LED对应的成像装置曝光时间：
首先确定中心LED的位置：固定一个曝光时间，LED阵列上的灯逐点发光，用成像装置采集每一张图像，根据采集到的图像的明、暗场分布，估计中心LED的横坐标和纵坐标；
然后确定不同区域的曝光时间：选定几个不同的曝光时间，LED阵列上的灯逐点发光，用成像装置采集每一张图像，筛选每个LED对应的图像，确定每个LED对应需要的曝光时间；原则是：a)在保证基本保留了图像信息的前提下，选择曝光时间尽可能短的；b)与中心LED的距离相同的LED所需要的曝光时间应该相同；
所述中心LED为样本正下方的LED。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510611198.1A CN105225202B (zh) | 2015-09-23 | 2015-09-23 | 一种基于fpm算法的图像超分辨率重建的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510611198.1A CN105225202B (zh) | 2015-09-23 | 2015-09-23 | 一种基于fpm算法的图像超分辨率重建的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105225202A CN105225202A (zh) | 2016-01-06 |
| CN105225202B true CN105225202B (zh) | 2018-06-29 |
Family
ID=54994154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510611198.1A Active CN105225202B (zh) | 2015-09-23 | 2015-09-23 | 一种基于fpm算法的图像超分辨率重建的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105225202B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976315B (zh) * | 2016-04-26 | 2019-04-09 | 清华大学深圳研究生院 | 基于部分傅里叶空间的显微成像方法 |
| CN106127767B (zh) * | 2016-06-24 | 2019-06-07 | 南京理工大学 | 一种针对傅立叶叠层显微成像技术的位置校正方法 |
| CN106204434B (zh) * | 2016-06-24 | 2019-04-16 | 南京理工大学 | 一种面向大视场高分辨率显微成像的图像迭代重构方法 |
| CN106767534B (zh) * | 2016-12-30 | 2018-12-11 | 北京理工大学 | 基于fpm的立体显微系统和配套三维面形高分重构方法 |
| CN107395933B (zh) * | 2017-08-18 | 2020-04-10 | 南京理工大学 | 一种基于lcos空间光调制器的可编程孔径成像系统及超分辨方法 |
| CN108550108B (zh) * | 2017-09-28 | 2020-11-03 | 武汉大学 | 一种基于相位迭代最小化的傅里叶叠层成像图像重建方法 |
| CN107907511B (zh) * | 2017-10-27 | 2019-10-18 | 浙江大学 | 基于发光功能型薄膜的超分辨成像方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200449A (zh) * | 2014-08-25 | 2014-12-10 | 清华大学深圳研究生院 | 一种基于压缩感知的fpm算法 |
| CN104503070A (zh) * | 2014-12-10 | 2015-04-08 | 上海交通大学 | 一种基于压缩感知的宽视场显微成像系统及方法 |
| CN104796609A (zh) * | 2015-04-17 | 2015-07-22 | 南京理工大学 | 基于最优哈达玛编码的大视场高分辨率显微成像方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8542933B2 (en) * | 2011-09-28 | 2013-09-24 | Pelican Imaging Corporation | Systems and methods for decoding light field image files |
-
2015
- 2015-09-23 CN CN201510611198.1A patent/CN105225202B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200449A (zh) * | 2014-08-25 | 2014-12-10 | 清华大学深圳研究生院 | 一种基于压缩感知的fpm算法 |
| CN104503070A (zh) * | 2014-12-10 | 2015-04-08 | 上海交通大学 | 一种基于压缩感知的宽视场显微成像系统及方法 |
| CN104796609A (zh) * | 2015-04-17 | 2015-07-22 | 南京理工大学 | 基于最优哈达玛编码的大视场高分辨率显微成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| Wide-field,high-resolution Fourier ptychographic microscopy;Guoan Zheng et al;《Nat.Photonics》;20130901;第7卷(第9期);第1-16页 * |
| 基于压缩感知的超分辨率图像重建;樊博 等;《计算机应用》;20130201;第33卷(第2期);第480-483页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105225202A (zh) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105225202B (zh) | 一种基于fpm算法的图像超分辨率重建的方法 | |
| CN104181686B (zh) | 基于fpm的光场显微方法 | |
| CN105209956B (zh) | 标本观察装置和标本观察方法 | |
| US20180348496A1 (en) | Microscopy of a tissue sample using structured illumination | |
| JP6307770B2 (ja) | 撮像素子 | |
| CN109255758B (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| TWI545519B (zh) | 成像設備和程式 | |
| CN103176420B (zh) | 一种实物纱线编织样式的数字建模装置和方法 | |
| CN105976315B (zh) | 基于部分傅里叶空间的显微成像方法 | |
| JP6301199B2 (ja) | 細胞評価装置および方法並びにプログラム | |
| CN110579871B (zh) | 基于傅里叶叠层显微成像的led照明优化方法及装置 | |
| US10649192B2 (en) | Phase-contrast microscope and imaging method | |
| CN108362643A (zh) | 一种双高度照明傅里叶叠层显微成像方法 | |
| CN106454116B (zh) | 自动全焦成像方法及装置 | |
| WO2015156378A1 (en) | Image processing apparatus, image processing method, and image processing system | |
| CN106461928B (zh) | 图像处理装置、摄像装置、显微镜系统以及图像处理方法 | |
| JP2015192238A (ja) | 画像データ生成装置および画像データ生成方法 | |
| JP2014137558A (ja) | 撮像装置、撮像システム、および画像処理方法 | |
| CN115032196A (zh) | 一种全划片高通量彩色病理成像分析仪器及方法 | |
| CN108537862A (zh) | 一种自适应降噪的傅里叶衍射扫描显微镜成像方法 | |
| Singh et al. | Multi-exposure microscopic image fusion-based detail enhancement algorithm | |
| JP6594223B2 (ja) | 位相差顕微鏡および撮像方法 | |
| Sobotka et al. | Morphology and evolution of umbral dots and their substructures | |
| JP6968357B2 (ja) | 画像取得方法および画像取得装置 | |
| CN106875338B (zh) | 一种基于群组稀疏处理的图像超分辨率处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua Applicant after: Graduate School at Shenzhen, Tsinghua University Address before: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili Shenzhen Tsinghua Campus of Tsinghua University Applicant before: Graduate School at Shenzhen, Tsinghua University |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Yongbing Inventor after: Song Pengming Inventor after: Ji Xiangyang Inventor after: Wang Haoqian Inventor after: Wang Xingzheng Inventor after: Dai Qionghai Inventor before: Zhang Yongbing Inventor before: Song Pengming Inventor before: Wang Haoqian Inventor before: Wang Xingzheng Inventor before: Dai Qionghai |