CN111650157A - 一种原位浮游生物成像系统及方法 - Google Patents
一种原位浮游生物成像系统及方法 Download PDFInfo
- Publication number
- CN111650157A CN111650157A CN202010525597.7A CN202010525597A CN111650157A CN 111650157 A CN111650157 A CN 111650157A CN 202010525597 A CN202010525597 A CN 202010525597A CN 111650157 A CN111650157 A CN 111650157A
- Authority
- CN
- China
- Prior art keywords
- unit
- parameters
- phase mask
- value
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000011065 in-situ storage Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000005286 illumination Methods 0.000 claims abstract description 16
- 238000010191 image analysis Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 238000005457 optimization Methods 0.000 claims description 48
- 239000002245 particle Substances 0.000 claims description 46
- 238000011156 evaluation Methods 0.000 claims description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000012546 transfer Methods 0.000 claims description 28
- 238000002922 simulated annealing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 239000004698 Polyethylene Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000000137 annealing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- -1 polyethylene Polymers 0.000 claims description 3
- 229920000573 polyethylene Polymers 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims 1
- 230000001815 facial effect Effects 0.000 claims 1
- 238000012876 topography Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 81
- 230000003287 optical effect Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000012634 optical imaging Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000013041 optical simulation Methods 0.000 description 2
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
- G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种原位浮游生物成像系统及方法，包括：照明单元、波前成像单元、图像分析单元；照明单元，用于为波前成像单元提供照明；波前成像单元包括透镜单元和采集单元；透镜单元，用于对接受的光束进行调制，得到光束中光线相位具有景深范围内一致性的光束，并传输给所述采集单元；包括两个透镜和透镜之间的平行面板，平行面板朝向透镜单元的一侧设置干涉图，用于对光束进行相位调制；采集单元用于接收透镜单元的光束并进行光电转换得到图像数据，将图像数据传输给所述图像分析单元；图像分析单元，用于接收采集单元的数据并进行处理，处理包括得到中间模糊图像。通过加入相位掩模板获得大景深范围内的清晰图像。
Description
技术领域
本发明涉及浮游生物检测技术领域，尤其涉及一种原位浮游生物成像系统及方法。
背景技术
目前，海洋微小生物的观测主要依赖于水下原位光学成像仪进行图像采集，结合数据处理方法对生物指标及其它关注目标进行分析。通过对大量海测采集到的原位浮游生物图像进行分析，发现有较多景深外模糊成像由于丢失生物特征信息而无法进行有效识别分类，大量信息的丢失严重影响了对海洋生态系统的评估与预测效率，景深成为限制原位浮游生物成像系统发展的一项主要因素。
针对成像仪景深小效率低的缺点，传统水下光学成像仪的景深拓展方法主要有两种：一种是通过减小成像系统相对孔径来拓展景深，这种方法以牺牲光通量为代价，导致成像分辨率降低，极大地影响了成像效果；另一种是采用多点对焦图像融合的方法，通过调整定焦镜头分别对焦物体不同切面获得各切面的清晰图像，再通过图像处理技术将各切面图像合成得到大景深的立体图像，这种方法缺点是过度依赖于数字图像处理算法，后期工作量非常大，且受噪声影响而限制了景深拓展深度，很难进行动态实时观测。
所以，现有技术中缺乏一种成像质量好的原位浮游生物成像系统。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种原位浮游生物成像系统及方法。
为了解决上述问题，本发明采用的技术方案如下所述：
一种原位浮游生物成像系统，包括：照明单元、波前成像单元、图像分析单元；所述照明单元，用于为所述波前成像单元提供照明；所述波前成像单元包括透镜单元和采集单元；所述透镜单元，用于对接受的光束进行调制，得到所述光束中光线相位具有景深范围内一致性的光束，并传输给所述采集单元；包括两个透镜和所述透镜之间的平行面板，所述平行面板朝向所述透镜单元的一侧设置干涉图，用于对光束进行相位调制；所述采集单元用于接收所述透镜单元的光束并进行光电转换得到图像数据，将所述图像数据传输给所述图像分析单元；所述图像分析单元，用于接收所述采集单元的数据并进行处理，所述处理包括得到中间模糊图像。
优选地，所述平行面板朝向所述透镜单元的一侧设置的所述干涉图依据相位掩膜版面型函数进行设置。
优选地，所述相位掩膜版面型函数为：
f(x,y)＝α·x·exp(β·x2)+α·y·exp(β·y2)
其中，α和β表示相位掩膜版的面型参数，x和y表示光瞳处归一化空间坐标，所述相位掩膜版面型函数对x和y的一阶偏导fx和fy为：
fx＝α·exp(β·x2)+2·x2·α·β·exp(β·x2)
fy＝α·exp(β·y2)+2·y2·α·β·exp(β·y2)
设置两个参数α和β，对所述干涉图进行调整。
优选地，选择调制传递函数稳定性作为相位掩模板面型优化的评价指标。
优选地，基于所述调制传递函数稳定性的优化方法的评价函数以及约束条件表示为：
其中，N表示空间频率采样数；T表示空间频率；Mean表示求平均运算；STD表示求标准偏差运算；PET表示惩罚因子，W和K为常数，MTFmin和MTFth表示在不同离焦量、视场位置上某空间频率T上的最小调制传递函数值和调制传递函数阈值。
优选地，采用优化算法对相位掩模板的面型参数进行优化求解。
优选地，基于模拟退火的改进粒子群优化算法对相位掩模板的面型参数进行优化求解。
优选地，基于模拟退火的改进粒子群优化算法对相位掩模板的面型参数进行优化求解包括如下步骤：
S0：初始化优化算法参数：种群的粒子数目N，面型参数α的初始上下界a1 b1，面型参数β的初始上下界a2 b2，学习因子c1 c2，退火常数λ，最大迭代次数M，面型参数个数D，自变量离散精度eps，阈值Th；
S1：用二进制编码离散面型参数α和β，码长根据离散精度eps和面型参数α和β的上下界来确定，在两个面型参数各自的上下界内随机产生初始化种群中每个微粒的位置xi,j即参数α和β取值和微粒的速度vi,j即参数搜寻的步长，其中i表示第i个微粒，j表示第j个参数，j＝1对应面型参数α，j＝2对应面型参数β；
S2：计算每个微粒的适应值pi，即微粒对应的参数α和β取值经过数据处理过程求得的评价函数值，将当前各微粒的参数值存储在yi,j中，评价函数值存储在pi中，比较所有pi中评价函数值的大小，将最小的评价函数值存储于pg中，pg对应的参数α和β取值存储于xg中；
S3：计算各微粒评价函数值的标准偏差，若标准偏差大于阈值Th则将上下界范围以最优个体位置取值为中心缩小一半，重新给定面型参数α和β的上下界，转S1执行；否则继续执行S4；
S4：确定模拟退火的初始温度t0＝pg/ln5；
S5：根据下式确定当前温度下各微粒的适配值TF：
S6：采用轮盘赌策略从所有xi,j中确定全局最优的某个替代值x′g，然后根据下式更新各微粒的参数搜寻步长vi,j(t+1)和参数α和β取值xi,j(t+1)：
xi,j(t+1)＝xi,j(t)+vi,j(t+1)
其中，速度压缩因子
学习因子C＝c1+c2；
S7：计算各微粒新的参数α和β取值经过数据处理过程求得的评价函数值，更新各微粒的yi,j pi值及群体的xg pg值；
S8：进行退温操作，tk+1＝λtk；
S9：若满足停止条件，搜索停止，输出此时最优的参数α和β取值xg和对应的评价函数值pg；否则转S5。
本发明还提供一种原位浮游生物成像方法，采用如上任一所述的原位浮游生物成像系统进行成像。
优选地，确定所述原位浮游生物成像系统中平行面板朝向所述透镜单元的一侧设置干涉图，包括如下步骤：T1：确定相位掩膜版面型函数并通过优化算法确定相位掩模板的面型参数；T2：依据所述相位掩膜版面型函数和所述相位掩模板的面型参数在所述平行面板朝向所述透镜单元的一侧设置干涉图；T3：输出不同离焦和视场位置的调制函数值；T4：由评价指标和约束条件计算评价函数值；T5：判断所述评价函数值是否最小，若是则确定所对应的所述干涉图；若否则再次获取所述评价函数值。
本发明的有益效果为：提供一种原位浮游生物成像系统及方法，通过加入相位掩模板，使得波前成像单元在一定范围内对离焦不敏感，使得采集到的中间编码图像具有均匀一致的模糊特性，并且能够通过数字滤波算法予以消除，从而获得大景深范围内的清晰图像。
附图说明
图1是本发明实施例中传统原位浮游生物成像系统的示意图。
图2是本发明实施例中原位浮游生物成像系统的示意图。
图3是本发明实施例中确定所述原位浮游生物成像系统中平行面板朝向所述透镜单元的一侧设置干涉图的方法示意图。
图4是本发明实施例中优化算法收敛曲线的示意图。
图5(a)-图5(c)是本发明实施例中对比系统、本发明系统在离焦量-1mm位置不同视场情况下调制函数曲线以及对比系统与本发明系统相比调制函数值(MTF)提高量的示意图。
图6(a)-图6(c)是本发明实施例中对比系统、本发明系统在0mm视场位置不同离焦量情况下调制函数曲线以及对比系统与本发明系统相比调制函数值(MTF)提高量的示意图。
图7(a)-图7(b)是本发明实施例中对比系统、本发明系统在不同视场和离焦量情况下点列图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
波前编码光学成像技术是1995年由美国科罗拉多大学(University ofColorado)的Dowski教授带领的团队首次提出，通过在非相干光学成像系统孔径光阑处插入一块立方相位掩模板对波前进行调制，使得系统的出射光线不再汇聚于像面上一点而发散成一定大小的光束，该光束大小可以在较大的范围内保持不变，使得系统调制传递函数(MTF)或点扩散函数(PSF)对离焦不敏感，从而获得差异较小的中间模糊成像，并且这些中间图像可以通过简单的数字滤波方法复原成清晰图像，实现景深的拓展。随后，众多学者对于相位掩模板面型及优化方法展开了研究，致力于设计出更好的更具特性的相位掩模板，但经过调研发现大部分的研究是基于理想光学系统或是特定的应用场景，如红外系统、虹膜识别系统等，直接用在原位浮游生物成像系统中无法达到很好的景深拓展效果，因此在基于对现有面型分析的基础上，设计一款适合于原位浮游生物成像系统的相位掩模板对于光学系统景深的拓展至关重要。
如图1所示，是传统原位浮游生物成像系统的示意图。包括：照明单元1、波前成像单元2、图像分析单元3，用于对浮游生物5进行成像。照明单元包括光源4，波前成像单元2包括透镜单元和采集单元7，透镜单元包括光阑6。
如图2所示，是本发明的原位浮游生物成像系统组成示意图。包括：照明单元8、波前成像单元9、图像分析单元10；照明单元8，用于为所述波前成像单元提供照明；波前成像单元9包括透镜单元13和采集单元14；透镜单元13，用于对接受的光束进行调制，得到光束中光线相位具有景深范围内一致性的光束，并传输给所述采集单元14；包括第一透镜15和第二透镜17和第一透镜15、第二透镜17之间的平行面板16，平行面板16朝向透镜单元或朝向第一透镜15的的一侧设置干涉图，用于对光束进行相位调制；采集单元14用于接收所述透镜单元的光束并进行光电转换得到数据，将所述数据传输给所述图像分析单元；图像分析单元10，用于接收采集单元14的数据并进行处理，处理包括得到中间模糊图像。
在本发明的一种实施例中，照明单元8包括由均匀准直的LED红光光源11为浮游生物12的成像提供照明。
可以理解的是，图像分析单元10由计算机对采集单元14的数据进行处理获得中间模糊图，并通过简单的数字复原算法解码成清晰图像，再对其中的浮游生物目标进行识别分类。此处，对于图像的解码可以采用现有技术中的方法，本发明不作限制。
在更优选的实施例中，平行面板16设置在第一透镜15和第二透镜17的中间位置。第一透镜15和第二透镜17是双胶合透镜，三个光学表面均为球面。波前成像单元9用于对目标进行编码成像，
本发明原位浮游生物成像系统综合了光学成像系统和数字图像处理两部分的优点，通过在系统中加入相位掩模板再结合简单的图像复原算法实现景深延拓，获得高质量的图像。
进一步的，原位浮游生物成像系统的光学参数如表1所述。
表1原位浮游生物成像系统参数
| 光学系统参数 | 设计值 |
| 焦距 | 72mm |
| 相对孔径 | F/#＝10.9 |
| 波长 | 656nm:587nm:486nm＝1:1:1 |
| 线视场 | 0mm,1mm,2mm,3mm,5mm,10mm |
| 离焦量 | -1mm～1mm |
在本发明的一种实施例中，平行面板朝向所述透镜单元的一侧设置的所述干涉图依据相位掩膜版面型函数进行设置。在一种更为具体的实施例中，平行平板材料为PMMA，光学塑料聚甲基丙烯酸甲酯，厚度为3mm。
在一种具体的实施例中，在传统的原位浮游生物成像系统中插入了一块平行平板作为相位掩模板的基底，比如可以放置在原光阑的位置；然后需修改平行平板朝向光源的面型即为相位掩模板。传统的相位掩模板仿真大多采用多项式形式表示面型，但这种方法对于对数相位板(LPM)、指数相位板(EPM)等复杂形式相位板拟合精度有限。本发明提出通过在平行平板的表面附加一层用户自定义干涉图(INT)，使其第一面的面型发生改变，进行相位掩模板的仿真，相比于传统方法具有更好的灵活性和适用性。用户自定义干涉图可以用于表示干涉变形数据和光强度切趾数据，这些数据被分配到一个表面或系统的入瞳或出瞳，可以实现将波前变形数据、表面变形数据合并到镜头中。因此，可以将相位掩模板面型函数以干涉图的形式表示，并将其添加到光阑位置的平行平板表面对系统波前进行调制。
不同相位掩模板具有各自的特征，本发明经过筛选比较选用指数相位掩模板进行原位浮游生物成像系统景深的拓展，指数相位板的面型表达式为：
f(x,y)＝α·x·exp(β·x2)+α·y·exp(β·y2) (1)
其中，α和β表示相位掩膜版的面型参数，x和y表示光瞳处归一化空间坐标。则分别求相位掩模板面型函数对x和y的一阶偏导fx和fy为：
fx＝α·exp(β·x2)+2·x2·α·β·exp(β·x2) (2)
fy＝α·exp(β·y2)+2·y2·α·β·exp(β·y2) (3)
使用上式(1-3)可以建立指数相位掩模板的用户自定义干涉图并设置两个面型参数α和β，对相位板面型进行调整。对相位掩模板参数优化的过程只需要修改其中的面型参数值即可，将该特定参数值对应的干涉图添加到平行平板的第一个面，即可得到指数相位掩模板的波前成像单元。通过对波前成像单元进行光学仿真，可以得到系统不同离焦量和视场位置的调制传递函数值，用于数据优化处理判断评价函数是否最优。
在数据处理过程，选择调制传递函数稳定性作为相位掩模板优化的评价指标，通过计算不同离焦量和不同视场位置下调制传递函数值的标准偏差来进行比较，评价函数值越小代表调制传递函数稳定性越好，即对离焦越不敏感。同时，为避免优化过程中调制传递函数取值过低导致后端图像复原困难，使用调制传递函数的最小阈值作为约束条件，设定惩罚因子对小于调制传递函数阈值的结果进行“惩罚”，从而保证中间模糊图像的可恢复性。基于调制传递函数稳定性的优化方法其评价函数以及约束条件可以表示为：
其中，N表示空间频率采样数；T表示空间频率；Mean表示求平均运算；STD表示求标准偏差运算；PET表示惩罚因子，W和K为常数，MTFmin和MTFth表示在不同离焦量、视场位置上某空间频率T上的最小调制传递函数值和调制传递函数阈值。优化的过程是保证调制传递函数大于阈值的情况下使评价函数MF值最小。
基于实际光学系统的相位掩模板联合优化模型中一个关键环节通过优化算法给定相位掩模板面型参数值，即将两个面型参数作为优化算法的自变量进行优化求解。本发明提出了一种基于模拟退火的改进粒子群优化算法，能够以更少的迭代次数收敛得到更精确的最优解。
模拟退火算法(SAA)、遗传算法(GA)、粒子群优化算法(PSO)都是应用较为广泛的智能搜索算法。基于模拟退火的改进粒子群优化算法就是将具有跳出局部最优和搜索精度高的模拟退火算法与粒子群优化算法相结合，并考虑相位掩模板参数取值的特殊性，参考遗传算法在初始种群时依据先验知识给定面型参数α和β的初始上下界，通过粗选缩小范围以使得优化算法能够更快地收敛，其求解步骤如下：
S0：初始化优化算法参数：种群的粒子数目N，参数α的初始上下界a1 b1，参数β的初始上下界a2 b2，学习因子c1 c2，退火常数λ，最大迭代次数M，面型参数个数D，自变量离散精度eps，阈值Th；
S1：用二进制编码离散面型参数α和β，码长根据离散精度eps和面型参数α和β的上下界来确定，在两个面型参数各自的上下界内随机产生初始化种群中每个微粒的位置xi,j即参数α和β取值和微粒的速度vi,j即参数搜寻的步长，其中i表示第i个微粒，j表示第j个参数，j＝1对应面型参数α，j＝2对应面型参数β；
S2：计算每个微粒的适应值pi，即微粒对应的参数α和β取值经过数据处理过程求得的评价函数值，将当前各微粒的参数值存储在yi,j中，评价函数值存储在pi中，比较所有pi中评价函数值的大小，将最小的评价函数值存储于pg中，pg对应的参数α和β取值存储于xg中；
S3：计算各微粒评价函数值的标准偏差，若标准偏差大于阈值Th则将上下界范围以最优个体位置取值为中心缩小一半，重新给定面型参数α和β的上下界，转S1执行；否则继续执行S4；
S4：确定模拟退火的初始温度t0＝pg/ln5；
S5：根据下式确定当前温度下各微粒的适配值TF：
S6：采用轮盘赌策略从所有xi,j中确定全局最优的某个替代值x′g，然后根据下式更新各微粒的参数搜寻步长vi,j(t+1)和参数α和β取值xi,j(t+1)：
xi,j(t+1)＝xi,j(t)+vi,j(t+1)
其中，速度压缩因子
学习因子C＝c1+c2；
S7：计算各微粒新的参数α和β取值经过数据处理过程求得的评价函数值，更新各微粒的yi,j pi值及群体的xg pg值；
S8：进行退温操作，tk+1＝λtk；
S9：若满足停止条件(最大迭代次数)，搜索停止，输出此时最优的参数α和β取值xg和对应的评价函数值pg；否则转S5。
本发明还提供一种原位浮游生物成像方法，采用如上任一所述的原位浮游生物成像系统进行成像。
基于原位浮游生物成像方法中最重要的是拓展景深，拓展景深的方法的核心是相位掩模板的设计，本发明确定所述原位浮游生物成像系统中平行面板朝向所述透镜单元的一侧设置干涉图，通过光学系统仿真和数据优化处理相结合，实现基于实际系统参数的优化设计。
如图3所示，包括如下步骤：
T1：确定相位掩膜版面型函数并通过优化算法确定相位掩模板的面型参数；
T2：依据所述相位掩膜版面型函数和所述相位掩模板的面型参数在所述平行面板朝向所述透镜单元的一侧设置干涉图；
T3：输出不同离焦和视场位置的调制函数值；
T4：由评价指标和约束条件计算评价函数值；
T5：判断所述评价函数值是否最小，若是则确定所对应的所述干涉图；若否则再次获取所述评价函数值。
为了与本发明的系统作对比，提供一种对比系统，与本发明系统的区别在于，平行面板的面不作任何处理。对发明的系统，使用优化模型对指数相位掩模板参数进行优化求解，离焦范围从-1mm到1mm，以0.1mm为步长共选择21个离焦位置，调制传递函数阈值设定为0.2，优化算法中粒子数目为20，最大迭代次数50次，优化算法收敛曲线所示，评价函数值收敛到164.0955771415947，最优参数值为α＝-0.010039242716259，β＝-0.289083379763312。
如图4所示，是上述优化算法收敛曲线的示意图。
将优化求解得到的最优参数值对应的干涉图加入平行平板表面得到指数相位掩模板，对该相位掩模板的波前编码原位浮游生物成像系统进行光学仿真，比较加入相位掩模板前后系统调制传递函数曲线、点扩散函数图、点列图的变化。
如图5(a)和图6(a)所示，是对比系统在离焦-1mm位置不同视场调制函数曲线、在0mm视场位置不同离焦量调制函数曲线，可以看到中心视场不同离焦位置的调制传递函数曲线差异性明显，在离焦-1mm位置不同视场情况下的调制函数曲线随空间频率的递增而迅速下降，且存在截止现象，这就导致图像信息丢失。
图7(a)为对比系统的点列图，可以发现整个视场和离焦范围内弥散斑的大小和形状存在较大的变化，离焦点越远弥散斑越大即出现离焦模糊现象。
以上表明，离焦导致光学系统调制传递函数值下降是成像质量降低的主要原因。
如图5(b)、图6(b)、图7(b)所示，在离焦-1mm位置不同视场调制函数曲线、在0mm视场位置不同离焦量调制函数曲线和点列图的示意图。
如图5(c)和图6(c)所示,是本发明的系统与对比系统相比调制函数值(MTF)提高量的示意图。
如表2所示，是本发明的系统在不同离焦位置和视场的点扩散函数图。
表2本发明系统在不同离焦位置和视场的点扩散函数图
本发明的系统通过相位掩模板的波前调制使景深范围内系统调制传递函数具有较好的一致性，从而能够获得模糊程度一致的中间模糊像，再通过简单的图像复原即可得到景深范围内的清晰图像。
可以明显的看出：1、加入相位掩模板后，系统的调制传递函数曲线在整个视场范围内得到了明显提高，且编码后不存在截止现象，具有较好的稳定性和一致性；2、比较不同离焦位置的调制函数曲线，系统调制传递函数值在对焦位置有明显下降，但在其他离焦位置高频段都有明显的提高，且不同离焦位置的函数值趋于相同，具有较好的离焦不敏感特性；3、本发明的系统在不同离焦位置和视场的点扩散函数图和点列图具有极高的相似性，即系统的点扩散函数对离焦不敏感；因此，本发明的系统能够在一定范围内对离焦不敏感，使得采集到的中间编码图像具有均匀一致的模糊特性，并且能够通过数字滤波算法予以消除，从而获得大景深范围内的清晰图像。
本发明提出的系统和方法的创新点在于综合了光学成像系统和数字图像处理两部分优点，通过在传统系统的光阑处加入指数相位掩模板再结合简单的图像复原算法实现景深延拓。相位掩模板的优化设计是波前编码技术拓展系统景深的核心，本发明方法通过光学系统仿真和数据优化处理相结合，提出了一种基于实际光学系统的相位掩模板联合优化模型，通过设计用户自定义干涉图来仿真相位板面型函数，与传统的通过多项式形式仿真的方法相比更为灵活；以及提出了基于模拟退火的改进粒子群优化算法进行参数优化，能够以更少的迭代次数收敛得到更精确的最优解。这种基于实际光学系统进行相位掩模板优化设计的方法，相比于理想光学系统优化方法考虑了光学系统像差、视场角等实际因素，能够优化得到更准确的相位掩模板，更适用于原位浮游生物成像系统的景深拓展。本发明所提出的方法可以在原有系统的基础上以更低的设计成本、更小的算法复杂度，更灵活的优化方案，获得更大景深的成像图像。
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种原位浮游生物成像系统，其特征在于，包括：照明单元、波前成像单元、图像分析单元；
所述照明单元，用于为所述波前成像单元提供照明；
所述波前成像单元包括透镜单元和采集单元；
所述透镜单元，用于对接受的光束进行调制，得到所述光束中光线相位具有景深范围内一致性的光束，并传输给所述采集单元；包括两个透镜和所述透镜之间的平行面板，所述平行面板朝向所述透镜单元的一侧设置干涉图，用于对光束进行相位调制；
所述采集单元用于接收所述透镜单元的光束并进行光电转换得到图像数据，将所述图像数据传输给所述图像分析单元；
所述图像分析单元，用于接收所述采集单元的数据并进行处理，所述处理包括得到中间模糊图像。
2.如权利要求1所述的原位浮游生物成像系统，其特征在于，所述平行面板朝向所述透镜单元的一侧设置的所述干涉图依据相位掩膜版面型函数进行设置。
3.如权利要求2所述的原位浮游生物成像系统，其特征在于，所述相位掩膜版面型函数为：
f(x,y)＝α·x·exp(β·x2)+α·y·exp(β·y2)
其中，α和β表示相位掩膜版的面型参数，x和y表示光瞳处归一化空间坐标，所述相位掩膜版面型函数对x和y的一阶偏导fx和fy为：
fx＝α·exp(β·x2)+2·x2·α·β·exp(β·x2)
fy＝α·exp(β·y2)+2·y2·α·β·exp(β·y2)。
4.如权利要求3所述的原位浮游生物成像系统，其特征在于，选择调制传递函数稳定性作为相位掩模板面型优化的评价指标。
5.如权利要求4所述的原位浮游生物成像系统，其特征在于，基于所述调制传递函数稳定性的优化方法的评价函数以及约束条件表示为：
其中，N表示空间频率采样数；T表示空间频率；Mean表示求平均运算；STD表示求标准偏差运算；PET表示惩罚因子，W和K为常数，MTFmin和MTFth表示在不同离焦量、视场位置上某空间频率T上的最小调制传递函数值和调制传递函数阈值。
6.如权利要求5所述的原位浮游生物成像系统，其特征在于，采用优化算法对相位掩模板的面型参数进行优化求解。
7.如权利要求6所述的原位浮游生物成像系统，其特征在于，基于模拟退火的改进粒子群优化算法对相位掩模板的面型参数进行优化求解。
8.如权利要求7所述的原位浮游生物成像系统，其特征在于，基于模拟退火的改进粒子群优化算法对相位掩模板的面型参数进行优化求解包括如下步骤：
S0：初始化优化算法参数：种群的粒子数目N，面型参数α的初始上下界a1 b1，面型参数β的初始上下界a2 b2，学习因子c1 c2，退火常数λ，最大迭代次数M，面型参数个数D，自变量离散精度eps，阈值Th；
S1：用二进制编码离散所述面型参数α和β，码长根据离散精度eps和所述面型参数α和β的上下界来确定，在两个面型参数各自的上下界内随机产生初始化种群中每个微粒的位置xi,j即参数α和β取值和微粒的速度vi,j即参数搜寻的步长，其中i表示第i个微粒，j表示第j个参数，j＝1对应面型参数α，j＝2对应面型参数β；
S2：计算每个微粒的适应值pi，即微粒对应的参数α和β取值经过数据处理过程求得的评价函数值，将当前各微粒的参数值存储在yi,j中，评价函数值存储在pi中，比较所有pi中评价函数值的大小，将最小的评价函数值存储于pg中，pg对应的参数α和β取值存储于xg中；
S3：计算各微粒评价函数值的标准偏差，若标准偏差大于阈值Th则将上下界范围以最优个体位置取值为中心缩小一半，重新给定面型参数α和β的上下界，转S1执行；否则继续执行S4；
S4：确定模拟退火的初始温度t0＝pg/ln5；
S5：根据下式确定当前温度下各微粒的适配值TF：
S6：采用轮盘赌策略从所有xi,j中确定全局最优的某个替代值x′g，然后根据下式更新各微粒的参数搜寻步长vi,j(t+1)和参数α和β取值xi,j(t+1)：
xi,j(t+1)＝xi,j(t)+vi,j(t+1)
其中，速度压缩因子
学习因子C＝c1+c2；
S7：计算各微粒新的参数α和β取值经过数据处理过程求得的评价函数值，更新各微粒的yi,j pi值及群体的xg pg值；
S8：进行退温操作，tk+1＝λtk；
S9：若满足停止条件，搜索停止，输出此时最优的参数α和β取值xg和对应的评价函数值pg；否则转S5。
9.一种原位浮游生物成像方法，其特征在于，采用如权利要求1-8任一所述的原位浮游生物成像系统进行成像。
10.如权利要求9所述的原位浮游生物成像方法，其特征在于，确定所述原位浮游生物成像系统中平行面板朝向所述透镜单元的一侧设置干涉图，包括如下步骤：
T1：确定相位掩膜版面型函数并通过优化算法确定相位掩模板的面型参数；
T2：依据所述相位掩膜版面型函数和所述相位掩模板的面型参数在所述平行面板朝向所述透镜单元的一侧设置干涉图；
T3：输出不同离焦和视场位置的调制函数值；
T4：由评价指标和约束条件计算评价函数值；
T5：判断所述评价函数值是否最小，若是则确定所对应的所述干涉图；若否则再次获取所述评价函数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010525597.7A CN111650157B (zh) | 2020-06-10 | 2020-06-10 | 一种原位浮游生物成像系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010525597.7A CN111650157B (zh) | 2020-06-10 | 2020-06-10 | 一种原位浮游生物成像系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111650157A true CN111650157A (zh) | 2020-09-11 |
| CN111650157B CN111650157B (zh) | 2022-11-25 |
Family
ID=72347557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010525597.7A Active CN111650157B (zh) | 2020-06-10 | 2020-06-10 | 一种原位浮游生物成像系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111650157B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016013491A1 (ja) * | 2014-07-25 | 2016-01-28 | オリンパス株式会社 | 結像光学系、照明装置および観察装置 |
| CN108132529A (zh) * | 2017-03-03 | 2018-06-08 | 中国北方车辆研究所 | 一种基于波前编码的景深变焦光学方法及系统 |
-
2020
- 2020-06-10 CN CN202010525597.7A patent/CN111650157B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016013491A1 (ja) * | 2014-07-25 | 2016-01-28 | オリンパス株式会社 | 結像光学系、照明装置および観察装置 |
| CN108132529A (zh) * | 2017-03-03 | 2018-06-08 | 中国北方车辆研究所 | 一种基于波前编码的景深变焦光学方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 胡春晖: "航天高光谱仪光学元件位置误差影响研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 范哲源: "基于波前编码的红外系统焦深延拓特性研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 陆宇 等: "基于细菌觅食算法的波前编码相位掩模的优化研究", 《浙江理工大学学报（自然科学版）》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111650157B (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mandracchia et al. | Fast and accurate sCMOS noise correction for fluorescence microscopy | |
| US20230222629A1 (en) | Imaging system and method for imaging objects with reduced image blur | |
| CN102147853B (zh) | 用于生成场景的输出图像的方法 | |
| US9952422B2 (en) | Enhancing the resolution of three dimensional video images formed using a light field microscope | |
| WO2014117079A1 (en) | Depth of field 3d imaging slm microscope | |
| US11226481B2 (en) | Methods and apparatuses for designing optical systems using machine learning with delano diagrams | |
| CN113383225A (zh) | 使用深度学习将二维荧光波传播到表面上的系统和方法 | |
| Quirin et al. | Depth estimation and image recovery using broadband, incoherent illumination with engineered point spread functions | |
| CA2827236A1 (en) | Focus error estimation in images | |
| CN114897752B (zh) | 一种基于深度学习的单透镜大景深计算成像系统及方法 | |
| JP2022514580A (ja) | 機械学習による光学補正 | |
| CN112161953B (zh) | 一种基于散射介质的宽光谱单帧散射成像方法 | |
| Wang et al. | Nonconvex optimization for 3-dimensional point source localization using a rotating point spread function | |
| Wijesinghe et al. | Experimentally unsupervised deconvolution for light-sheet microscopy with propagation-invariant beams | |
| JP6479666B2 (ja) | 視野の深度を推定する能力があるパッシブシングルチャネルイメージャの設計方法 | |
| JP2007115256A (ja) | 電気光学画像処理システムを設計するための方法、該方法をコンピュータに実行させる命令を含む記憶媒体及び光サブシステム | |
| CN111650157B (zh) | 一种原位浮游生物成像系统及方法 | |
| Liu et al. | Autofocusing of Fresnel zone aperture lensless imaging for QR code recognition | |
| US20230296516A1 (en) | Ai-driven signal enhancement of sequencing images | |
| CN115272136A (zh) | 基于大数据的证件照眼镜反光消除方法、装置、介质及设备 | |
| Serabyn | Pupil segmentation in the light-field camera and its relation to 3D object positions and the reconstructed depth of field | |
| Roh et al. | Development of autofocusing algorithm based on fuzzy transforms | |
| CN114185175B (zh) | 一种激光光束整形装置及方法 | |
| US20220020116A1 (en) | Holographic ultra resolution imaging | |
| Feshki et al. | Improving flat fluorescence microscopy in scattering tissue through deep learning strategies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |