CN115696041A - 基于波前调制迭代的非侵入式散射介质内部聚焦成像方法 - Google Patents
基于波前调制迭代的非侵入式散射介质内部聚焦成像方法 Download PDFInfo
- Publication number
- CN115696041A CN115696041A CN202211327540.1A CN202211327540A CN115696041A CN 115696041 A CN115696041 A CN 115696041A CN 202211327540 A CN202211327540 A CN 202211327540A CN 115696041 A CN115696041 A CN 115696041A
- Authority
- CN
- China
- Prior art keywords
- target
- value
- preset
- iteration
- imaged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 56
- 230000002068 genetic effect Effects 0.000 claims description 18
- 108090000623 proteins and genes Proteins 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000009396 hybridization Methods 0.000 claims description 5
- 206010034972 Photosensitivity reaction Diseases 0.000 abstract description 8
- 239000007850 fluorescent dye Substances 0.000 abstract description 8
- 238000001215 fluorescent labelling Methods 0.000 abstract description 8
- 208000007578 phototoxic dermatitis Diseases 0.000 abstract description 8
- 231100000018 phototoxicity Toxicity 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000002310 reflectometry Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 3
- 230000009022 nonlinear effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
本申请涉及一种基于波前调制迭代的非侵入式散射介质内部聚焦成像方法，包括：扫描待成像视场，计算待成像视场内目标物体的可能出现区域；获取可能出现区域内目标聚焦点图像，将目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，并在目标值大于预设阈值时，判定目标聚焦点聚焦完成，获取目标聚焦点的强度值，并将待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至待成像视场满足预设扫描条件后，根据待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。由此，解决了相关技术中的侵入式成像方法，不适用于实际场景，并且荧光标记的方法成像时间长，成本高，具有光毒性，无法确定聚焦位置等问题。
Description
技术领域
本申请涉及显微镜成像技术领域，特别涉及一种基于波前调制迭代的非侵入式散射介质内部聚焦成像方法。
背景技术
传统光学成像，比如手机、相机、天文望远镜等，在成像过程中，光的传播介质是空气，在好天气下可以认为是均匀的，此时成像满足“点对点”成像条件，即图像上的一点能对应到焦面物体上的一点，从而实现清晰成像。但是，散射成像场景也广泛存在于自然界中，具体表现为成像光路通过的传播介质具有非均一性，比如大雾天气、深海探测以及对厚生物组织的显微成像等等。此时，不均匀介质使得光在传播过程中偏离原始方向，传统“点对点”成像的条件不再满足，物体上一点发出的光将无法在像面汇聚。所以，散射场景下拍摄的结果轻则十分模糊，重则变成随机的散斑图或者背景图，完全丢失了物体本身的形貌。
非侵入式散射场景相比侵入式成像场景需要在介质后面放置探测器，以获得光透过散射介质后的完整信息，非侵入式场景的光源和探测设备都在同一侧，从而能满足更多实际场景的需求，比如在组织的深层进行成像，或者透过云雾、浑水进行成像，这些场景下都无法在散射介质的另一端放置传感器。但是也带来了额外的挑战：如图1所示，侵入式场景中，光只穿过了一次散射介质；而非侵入式场景下，光穿过介质到达焦面物体，然后反射回的光再次穿透散射介质，被探测器接收，会受到双重散射，图像质量的退化问题更严重。其次，侵入式方法可以直接探测光通过物体再通过散射介质之后的图案并进行补偿，弥补散射介质的影响，能直接测量光强；而非侵入式的方法探测的是从介质中返回的信号，无法直接获得焦面处受散射影响的信号，而是通过反射回的信号间接测量，难度更大。
相关技术中，基于迭代的聚焦成像方法，要么是侵入式方法，要么需要荧光标记方法，通过对焦面物体进行荧光标记，然后接受返回的总荧光强度，可以让双次散射变成单次散射，然后借助光的非线性效应，能在测量总荧光光强的情况下进行聚焦。
然而，侵入式成像，不适用于实际场景，需要荧光标记的成像方法，在长时间成像的场景下存在光漂白问题，尤其是对于迭代的算法，往往成像时间较长，需要借助光的非线性效应实现更好的聚焦，而非线性效应需要更复杂昂贵的设备，以及更高的输入功率，进一步增大了光毒性的问题，虽然能实现聚焦，但是无法确定聚焦的位置，亟待解决。
发明内容
本申请提供一种基于波前调制迭代的非侵入式散射介质内部聚焦成像方法，解决了相关技术中的侵入式成像方法，不适用于实际场景，并且荧光标记的方法成像时间长，成本高，具有光毒性，无法确定聚焦位置的问题，通过迭代的波前调制方法在散射介质内部的焦面实现聚焦，进一步对散射介质内的焦面二维物体进行成像。
本申请第一方面实施例提供一种基于波前调制迭代的非侵入式散射介质内部聚焦成像方法，包括以下步骤：扫描待成像视场，并计算所述待成像视场内目标物体的可能出现区域；获取所述可能出现区域内目标聚焦点图像，并将所述目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，并判断所述目标值是否大于预设阈值，其中，所述目标值为相机中心强度值，或者相机中心强度值与周围强度值的比值；若所述目标值大于所述预设阈值，则判定所述目标聚焦点聚焦完成，获取所述目标聚焦点的强度值，并将所述待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至所述待成像视场满足预设扫描条件后，根据所述待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。
可选地，在判断所述目标值是否大于所述预设阈值之后，还包括：若所述目标值小于或等于所述预设阈值，则基于预设的迭代相位算法，计算所述迭代目标的迭代相位；将所述迭代相位加载至预设的波前调制器，并重新计算所述迭代目标的目标值，直至所述目标值大于所述预设阈值。
可选地，所述预设的迭代相位算法，包括串行迭代相位算法、随机迭代相位算法和/或遗传迭代相位算法；其中，所述串行迭代相位算法为每一步调节所述预设的波前调制器的一个单元，使得目标迭代值最大，并记录当前相位值；下一步再调节所述预设的波前调制器下一个单元，上一次调节的单元保持上一次调节记录值或者置0；所述随机迭代相位算法为每一步按照预设选取策略选取所述预设的波前调制器所有单元的一半进行调节，使所述目标迭代值最大，并进行固定；下一步再按照所述预设选取策略选取所述预设的波前调制器所有单元的一半进行调制；所述遗传迭代相位算法为生成初始基因，然后根据所述目标迭代值筛选父代进行杂交遗传生成子代，直至得到所述目标迭代值最大的基因。
可选地，在扫描所述待成像视场之前，还包括：调节散射介质内的所述目标物体位于预设的成像焦面；调节所述目标聚焦点位于所述待成像视场的中心位置。
可选地，所述预设的波前调制器为相位调制器和/或强度调制器；其中，所述预设的波前调制器设置在预设成像光路中，用于对光往返的路径上的畸变进行两次补偿。
本申请第二方面实施例提供一种基于波前调制迭代的非侵入式散射介质内部聚焦成像装置，包括：计算模块，用于扫描待成像视场，并计算所述待成像视场内目标物体的可能出现区域；判断模块，用于获取所述可能出现区域内目标聚焦点图像，并将所述目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，并判断所述目标值是否大于预设阈值，其中，所述目标值为相机中心强度值，或者相机中心强度值与周围强度值的比值；获取模块，用于若所述目标值大于所述预设阈值，则判定所述目标聚焦点聚焦完成，获取所述目标聚焦点的强度值，并将所述待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至所述待成像视场满足预设扫描条件后，根据所述待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。
可选地，在判断所述目标值是否大于所述预设阈值之后，所述判断模块，还用于：若所述目标值小于或等于所述预设阈值，则基于预设的迭代相位算法，计算所述迭代目标的迭代相位；将所述迭代相位加载至预设的波前调制器，并重新计算所述迭代目标的目标值，直至所述目标值大于所述预设阈值。
可选地，所述预设的迭代相位算法，包括串行迭代相位算法、随机迭代相位算法和/或遗传迭代相位算法；其中，所述串行迭代相位算法为每一步调节所述预设的波前调制器的一个单元，使得目标迭代值最大，并记录当前相位值；下一步再调节所述预设的波前调制器下一个单元，上一次调节的单元保持上一次调节记录值或者置0；所述随机迭代相位算法为每一步按照预设选取策略选取所述预设的波前调制器所有单元的一半进行调节，使所述目标迭代值最大，并进行固定；下一步再按照所述预设选取策略选取所述预设的波前调制器所有单元的一半进行调制；所述遗传迭代相位算法为生成初始基因，然后根据所述目标迭代值筛选父代进行杂交遗传生成子代，直至得到所述目标迭代值最大的基因。
可选地，在扫描所述待成像视场之前，所述计算模块，还用于：调节散射介质内的所述目标物体位于预设的成像焦面；调节所述目标聚焦点位于所述待成像视场的中心位置。
可选地，所述预设的波前调制器为相位调制器和/或强度调制器；其中，所述预设的波前调制器设置在预设成像光路中，用于对光往返的路径上的畸变进行两次补偿。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法。
由此，通过扫描待成像视场，计算待成像视场内目标物体的可能出现区域，获取可能出现区域内目标聚焦点图像，将目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，当目标值大于预设阈值时，判定目标聚焦点聚焦完成，获取目标聚焦点的强度值，并将待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至待成像视场满足预设扫描条件后，根据待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。由此，解决了相关技术中的侵入式成像方法，不适用于实际场景，并且荧光标记的方法成像时间长，成本高，具有光毒性，无法确定聚焦位置的问题，通过迭代的波前调制方法在散射介质内部的焦面实现聚焦，进一步对散射介质内的焦面二维物体进行成像。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请一个实施例的侵入式与非侵入式成像场景的示意图；
图2为根据本申请一个实施例的有无散射介质的聚焦示意图；
图3为根据本申请实施例提供的一种基于波前调制迭代的非侵入式散射介质内部聚焦成像方法的流程图；
图4为根据本申请一个实施例的非侵入式的成像光路的示意图；
图5为根据本申请一个实施例的使用波前调制器调制的成像示意图；
图6为根据本申请一个实施例的振镜扫描后的成像示意图；
图7为根据本申请一个具体实施例的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法的流程图；
图8为根据本申请实施例的基于波前调制迭代的非侵入式散射介质内部聚焦成像装置的方框示意图；
图9为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法。针对上述背景技术中心提到的相关技术中的侵入式成像方法，不适用于实际场景，并且荧光标记的方法成像时间长，成本高，具有光毒性，无法确定聚焦位置的问题，本申请提供了一种基于波前调制迭代的非侵入式散射介质内部聚焦成像方法，在该方法中，通过扫描待成像视场，计算待成像视场内目标物体的可能出现区域，获取可能出现区域内目标聚焦点图像，将目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，当目标值大于预设阈值时，判定目标聚焦点聚焦完成，获取目标聚焦点的强度值，并将待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至待成像视场满足预设扫描条件后，根据待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。由此，解决了相关技术中的侵入式成像方法，不适用于实际场景，并且荧光标记的方法成像时间长，成本高，具有光毒性，无法确定聚焦位置的问题，通过迭代的波前调制方法在散射介质内部的焦面实现聚焦，进一步对散射介质内的焦面二维物体进行成像。
在具体介绍基于波前调制迭代的非侵入式散射介质内部聚焦成像方法之前，简单阐述波前调制方法，如图2所示，在没有散射介质存在时，焦面的聚焦点为b，当散射存在时，由于汇聚波波前被扰乱，b处将无法实现聚焦。但可以通过控制射入散射介质表面的光，使其仍然能聚焦于b点。本申请实施例定义散射介质的入射表面位置为a，射入a点的光为
从a到b是很复杂的过程，用tab这个复数来描述，也被称为传输系数。那么，b点场强Eb为：
当没有散射介质时，聚焦的本质是各个方向射入b点的光相位一致，在b点能实现相干叠加，从而b点场强很大，也就是焦点。那么，为了在散射介质后实现聚焦，可以调节
使各分量
也在b点相干叠加，从而实现聚焦。是否相干叠加，可以根据b点的光强来判断，如果光强在不断变大，说明
调节方向是正确的，反之则是错误的。这种方法也被称为波前调制，一般使用波前调制器，比如SLM(Spatial Light Modulator，空间光调制器)、DM(Deformable mirror，变形镜)或者DMD(Digital Micromirror Device，数字微镜)来实现对
中相位角φa的调节。
具体而言，图3为本申请实施例所提供的一种基于波前调制迭代的非侵入式散射介质内部聚焦成像方法的流程图。
如图3所示，该基于波前调制迭代的非侵入式散射介质内部聚焦成像方法包括以下步骤：
在步骤S301中，扫描待成像视场，并计算待成像视场内目标物体的可能出现区域。
可选地，在一些实施例中，在扫描待成像视场之前，还包括：调节散射介质内的目标物体位于预设的成像焦面；调节目标聚焦点位于待成像视场的中心位置。
具体地，如图4所示，光从激光器发出后，先通过空间滤波器变成均匀平行光，然后通过光学中继系统(4f系统)通过振镜和空间光调制器后耦合至物镜的后焦面，平行光通过物镜后会变成会聚光照射至散射介质内部的物体上，如果没有散射介质，物体上会是标准衍射极限汇聚点，此时通过振镜偏转，对汇聚点进行扫描，实现对物体的成像，而散射介质的存在，会使该汇聚点变成扩散的散斑。
本申请实施例通过将SLM耦合进往返光路，位于物镜的后焦面的共轭位置，此时有(光->SLM->散射介质->物体->散射介质->SLM->相机)，从而实现了对往返回路上的波前进行校正，解决了双路散射的问题。同样，因为双次散射、双次补偿，根据光路的对称性，可以将其简化等同于单次散射、单次补偿的场景，这样相机探测到的信号和目标聚焦点b的信号存在正相关，从而解决了间接测量的问题。使用相机拍摄图像的中心像素作为迭代目标，从而没有荧光图像中无法确定聚焦点位置的问题。而且本申请实施例无需荧光标记，所以不存在光漂白、光毒性的问题，也无需昂贵的高功率激光器。
当完成聚焦后，散斑图变为理想汇聚点，将二维振镜同样耦合进物镜的后焦面的共轭位置，这样便可以将振镜扫描产生的不同角度的光，通过物镜变为样本上不同位置的聚焦点，从而实现扫描成像，如图5的(a)至图5的(c)所示，此时图像和没有散射介质情况下衍射极限的结果几乎一致。
在步骤S302中，获取可能出现区域内目标聚焦点图像，并将目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，并判断目标值是否大于预设阈值，其中，目标值为相机中心强度值，或者相机中心强度值与周围强度值的比值。
进一步地，在一些实施例中，在判断目标值是否大于预设阈值之后，还包括：若目标值小于或等于预设阈值，则基于预设的迭代相位算法，计算迭代目标的迭代相位；将迭代相位加载至预设的波前调制器，并重新计算迭代目标的目标值，直至目标值大于预设阈值。其中，在一些实施例中，预设的波前调制器为相位调制器和/或强度调制器；其中，预设的波前调制器设置在预设成像光路中，用于对光往返的路径上的畸变进行两次补偿。
其中，在一些实施例中，预设的迭代相位算法，包括串行迭代相位算法、随机迭代相位算法和/或遗传迭代相位算法；其中，串行迭代相位算法为每一步调节预设的波前调制器的一个单元，使得目标迭代值最大，并记录当前相位值；下一步再调节预设的波前调制器下一个单元，上一次调节的单元保持上一次调节记录值或者置0；随机迭代相位算法为每一步按照预设选取策略选取预设的波前调制器所有单元的一半进行调节，使目标迭代值最大，并进行固定；下一步再按照预设选取策略选取预设的波前调制器所有单元的一半进行调制；遗传迭代相位算法为生成初始基因，然后根据目标迭代值筛选父代进行杂交遗传生成子代，直至得到目标迭代值最大的基因。
应当理解的是，预设的迭代相位算法有三种方式，包括：
1.串行迭代相位算法：每一步调节预设的波前调制器的一个单元，使目标迭代值最大，记录下该相位值，下一步再调节下一个单元，上一次调节的单元可以保持上一次调节记录值或者置0；
2.随机迭代相位算法：每一步随机选取预设的波前调制器所有单元的的一半单元进行调节，使目标迭代值最大，然后固定下来，下一步再随机选取所有单元的一半进行调制；
3.遗传迭代相位算法：生成初始基因，然后根据目标迭代值筛选父代进行杂交遗传生成子代，直至得到迭代值更大的基因。
综合考虑计算复杂度和迭代速度，本申请实施例推荐随机迭代相位算法。
可以理解的是，根据光路的实际情况选取目标值，目标值可以为相机中心强度值，或者相机中心强度值与周围强度值的比值，这样可以减小由于物体本身反射率的变化而对成像的影响。
若目标值小于或等于预设阈值，则基于预设的迭代相位算法，则计算迭代目标的迭代相位，将迭代相位加载至相位调制器和强度调制器，或者相位调制器或强度调制器，重新计算迭代目标的目标值，直至目标值大于预设阈值。
具体地，本申请实施例对视场进行初步扫描，计算视场内物体可能出现的区域，获取可能出现区域内目标聚焦点图像，并计算迭代目标值。选取相机中心强度值，或者相机中心强度值与周围强度值的比值作为目标值，两者都可以有效实现聚焦。在扫描过程中，可能因为散射介质的变化或者扫描范围超过了单次迭代聚焦的有效范围，即目标值小于或等于预设阈值，则需要计算新的迭代目标值。如果选取强度值作为迭代目标值，物体本身反射率会影响迭代的结果，比如物体在该点反射率较低，但是通过迭代后聚焦点强度和反射率较高的点一样，物体的反射率信息就此丢失，所以选取相机中心强度值与周围强度值的比值作为迭代目标值更好，因为物体反射率不影响比值。
在步骤S303中，若目标值大于预设阈值，则判定目标聚焦点聚焦完成，获取目标聚焦点的强度值，并将待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至待成像视场满足预设扫描条件后，根据待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。
可以理解的是，本申请实施例通过多个聚焦点进行聚焦可以有效补偿补偿不同区域焦点变差对成像的影响，因此，本申请实施例可以在扫描的过程中，如果目标值大于预设阈值，则说明此点无需聚焦补偿，或者已经完成聚焦补偿，然后继续扫描视野，直至待成像视场完整扫描后，根据待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像，成像结果对比可以如图6的(a)至图6的(d)所示，此时，成像与没有散射情况下的衍射极限图像结果相近，显著优于未补偿的扫描结果，以及明场成像透射图结果。
为使得本领域技术人员进一步理解本申请实施例的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法，下面结合具体实施例进行详细阐述，如图7所示。
步骤S701，调节焦面，使散射介质内的物体位于成像焦面。
步骤S702，调解振镜，使目标聚焦点位于待成像视场中心。
步骤S703，对视场进行初步扫描，计算视场内物体可能出现的区域。
步骤S704，相机拍照，计算迭代目标值。
步骤S705，判断目标值是否大于阈值。若目标值大于阈值，则该点的聚焦完成，执行步骤S706，若目标值小于或等于阈值，则执行步骤S707。
步骤S706，该点聚焦完成。
步骤S707，进行下一步迭代算法，计算迭代目标值，加载至SLM。
步骤S708，使用振镜扫描到视场内下一点。
步骤S709，相机拍照，获得此时焦点强度值。
步骤S710，判断整个时长是否完整扫描。若完成扫描，则执行步骤S711，否则，执行步骤S712。
步骤S711，成像完成。
步骤S712，判断扫描点是否位于区域内，若扫描点位于区域内，则执行步骤S704，否则执行步骤S708。
根据本申请实施例提出的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法，通过扫描待成像视场，计算待成像视场内目标物体的可能出现区域，获取可能出现区域内目标聚焦点图像，将目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，当目标值大于预设阈值时，则判定目标聚焦点聚焦完成，获取目标聚焦点的强度值，并将待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至待成像视场满足预设扫描条件后，根据待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。由此，解决了相关技术中的侵入式成像方法，不适用于实际场景，并且荧光标记的方法成像时间长，成本高，具有光毒性，无法确定聚焦位置的问题，使用波前调制器耦合至非侵入式成像光路的光瞳面，进行往返回路的波前调制，使用迭代算法，迭代完成后实现非侵入式场景下的散射介质内部的聚焦，使用振镜同样耦合进成像光路的光瞳面，待完成聚焦后，使用振镜可以实现对焦点进行扫描，根据相机收集到的焦点的强弱得到散射介质内焦面物体的图像。
其次参照附图描述根据本申请实施例提出的基于波前调制迭代的非侵入式散射介质内部聚焦成像装置。
图8是本申请实施例的基于波前调制迭代的非侵入式散射介质内部聚焦成像装置的方框示意图。
如图8所示，该基于波前调制迭代的非侵入式散射介质内部聚焦成像装置10包括：计算模块100、判断模块200和获取模块300。
其中，计算模块100，用于扫描待成像视场，并计算待成像视场内目标物体的可能出现区域；判断模块200，用于获取可能出现区域内目标聚焦点图像，并将目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，并判断目标值是否大于预设阈值，其中，目标值为相机中心强度值，或者相机中心强度值与周围强度值的比值；获取模块300，用于若目标值大于预设阈值，则判定目标聚焦点聚焦完成，获取目标聚焦点的强度值，并将待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至待成像视场满足预设扫描条件后，根据待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。
可选地，在一些实施例中，在判断目标值是否大于预设阈值之后，判断模块200，还用于：若目标值小于或等于预设阈值，则基于预设的迭代相位算法，计算迭代目标的迭代相位；将迭代相位加载至预设的波前调制器，并重新计算迭代目标的目标值，直至目标值大于预设阈值。可选地，在一些实施例中，预设的迭代相位算法，包括串行迭代相位算法、随机迭代相位算法和/或遗传迭代相位算法；其中，串行迭代相位算法为每一步调节预设的波前调制器的一个单元，使得目标迭代值最大，并记录当前相位值；下一步再调节预设的波前调制器下一个单元，上一次调节的单元保持上一次调节记录值或者置0；随机迭代相位算法为每一步按照预设选取策略选取预设的波前调制器所有单元的一半进行调节，使目标迭代值最大，并进行固定；下一步再按照预设选取策略选取预设的波前调制器所有单元的一半进行调制；遗传迭代相位算法为生成初始基因，然后根据目标迭代值筛选父代进行杂交遗传生成子代，直至得到目标迭代值最大的基因。
可选地，在一些实施例中，在扫描待成像视场之前，计算模块100，还用于：调节散射介质内的目标物体位于预设的成像焦面；调节目标聚焦点位于待成像视场的中心位置。
可选地，在一些实施例中，预设的波前调制器为相位调制器和/或强度调制器；其中，预设的波前调制器设置在预设成像光路中，用于对光往返的路径上的畸变进行两次补偿。
需要说明的是，前述对非侵入式散射介质内部聚焦成像的方法实施例的解释说明也适用于该实施例的非侵入式散射介质内部聚焦成像的装置，此处不再赘述。
根据本申请实施例提出的基于波前调制迭代的非侵入式散射介质内部聚焦成像装置，通过扫描待成像视场，计算待成像视场内目标物体的可能出现区域，获取可能出现区域内目标聚焦点图像，将目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，当目标值大于预设阈值时，判定目标聚焦点聚焦完成，获取目标聚焦点的强度值，并将待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至待成像视场满足预设扫描条件后，根据待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。由此，解决了相关技术中的侵入式成像方法，不适用于实际场景，并且荧光标记的方法成像时间长，成本高，具有光毒性，无法确定聚焦位置的问题，通过迭代的波前调制方法在散射介质内部的焦面实现聚焦，进一步对散射介质内的焦面二维物体进行成像。
图9为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序。
处理器902执行程序时实现上述实施例中提供的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法。
进一步地，电子设备还包括：
通信接口903，用于存储器901和处理器902之间的通信。
存储器901，用于存放可在处理器902上运行的计算机程序。
存储器901可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。
处理器902可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于波前调制迭代的非侵入式散射介质内部聚焦成像方法，其特征在于，包括以下步骤：
扫描待成像视场，并计算所述待成像视场内目标物体的可能出现区域；
获取所述可能出现区域内目标聚焦点图像，并将所述目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，并判断所述目标值是否大于预设阈值，其中，所述目标值为相机中心强度值，或者相机中心强度值与周围强度值的比值；以及
若所述目标值大于所述预设阈值，则判定所述目标聚焦点聚焦完成，获取所述目标聚焦点的强度值，并将所述待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至所述待成像视场满足预设扫描条件后，根据所述待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。
2.根据权利要求1所述的方法，其特征在于，在判断所述目标值是否大于所述预设阈值之后，还包括：
若所述目标值小于或等于所述预设阈值，则基于预设的迭代相位算法，计算所述迭代目标的迭代相位；
将所述迭代相位加载至预设的波前调制器，并重新计算所述迭代目标的目标值，直至所述目标值大于所述预设阈值。
3.根据权利要求2所述的方法，其特征在于，所述预设的迭代相位算法，包括串行迭代相位算法、随机迭代相位算法和/或遗传迭代相位算法；
其中，所述串行迭代相位算法为每一步调节所述预设的波前调制器的一个单元，使得目标迭代值最大，并记录当前相位值；下一步再调节所述预设的波前调制器下一个单元，上一次调节的单元保持上一次调节记录值或者置0；
所述随机迭代相位算法为每一步按照预设选取策略选取所述预设的波前调制器所有单元的一半进行调节，使所述目标迭代值最大，并进行固定；下一步再按照所述预设选取策略选取所述预设的波前调制器所有单元的一半进行调制；
所述遗传迭代相位算法为生成初始基因，然后根据所述目标迭代值筛选父代进行杂交遗传生成子代，直至得到所述目标迭代值最大的基因。
4.根据权利要求1所述的方法，其特征在于，在扫描所述待成像视场之前，还包括：
调节散射介质内的所述目标物体位于预设的成像焦面；
调节所述目标聚焦点位于所述待成像视场的中心位置。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述预设的波前调制器为相位调制器和/或强度调制器；
其中，所述预设的波前调制器设置在预设成像光路中，用于对光往返的路径上的畸变进行两次补偿。
6.一种基于波前调制迭代的非侵入式散射介质内部聚焦成像装置，其特征在于，包括：
计算模块，用于扫描待成像视场，并计算所述待成像视场内目标物体的可能出现区域；
判断模块，用于获取所述可能出现区域内目标聚焦点图像，并将所述目标聚焦点图像的中心像素作为迭代目标迭代计算目标值，并判断所述目标值是否大于预设阈值，其中，所述目标值为相机中心强度值，或者相机中心强度值与周围强度值的比值；以及
获取模块，用于若所述目标值大于所述预设阈值，则判定所述目标聚焦点聚焦完成，获取所述目标聚焦点的强度值，并将所述待成像视场内扫描的下一个聚焦点作为新的目标聚焦点，直至所述待成像视场满足预设扫描条件后，根据所述待成像视场内的所有点的强度值拼接得到散射介质内焦面物体的图像。
7.根据权利要求6所述的装置，其特征在于，在判断所述目标值是否大于所述预设阈值之后，所述判断模块，还用于：
若所述目标值小于或等于所述预设阈值，则基于预设的迭代相位算法，计算所述迭代目标的迭代相位；
将所述迭代相位加载至预设的波前调制器，并重新计算所述迭代目标的目标值，直至所述目标值大于所述预设阈值。
8.根据权利要求7所述的装置，其特征在于，所述预设的迭代相位算法，包括串行迭代相位算法、随机迭代相位算法和/或遗传迭代相位算法；
其中，所述串行迭代相位算法为每一步调节所述预设的波前调制器的一个单元，使得目标迭代值最大，并记录当前相位值；下一步再调节所述预设的波前调制器下一个单元，上一次调节的单元保持上一次调节记录值或者置0；
所述随机迭代相位算法为每一步按照预设选取策略选取所述预设的波前调制器所有单元的一半进行调节，使所述目标迭代值最大，并进行固定；下一步再按照所述预设选取策略选取所述预设的波前调制器所有单元的一半进行调制；
所述遗传迭代相位算法为生成初始基因，然后根据所述目标迭代值筛选父代进行杂交遗传生成子代，直至得到所述目标迭代值最大的基因。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于波前调制迭代的非侵入式散射介质内部聚焦成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211327540.1A CN115696041B (zh) | 2022-10-26 | 2022-10-26 | 基于波前调制迭代的非侵入式散射介质内部聚焦成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211327540.1A CN115696041B (zh) | 2022-10-26 | 2022-10-26 | 基于波前调制迭代的非侵入式散射介质内部聚焦成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115696041A true CN115696041A (zh) | 2023-02-03 |
| CN115696041B CN115696041B (zh) | 2023-11-14 |
Family
ID=85099744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211327540.1A Active CN115696041B (zh) | 2022-10-26 | 2022-10-26 | 基于波前调制迭代的非侵入式散射介质内部聚焦成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115696041B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150241342A1 (en) * | 2014-02-25 | 2015-08-27 | California Institute Of Technology | Digital phase conjugation using moving target as guide star |
| CN107121772A (zh) * | 2017-05-09 | 2017-09-01 | 浙江大学 | 简易光束聚焦增强方法与系统 |
| CN110807822A (zh) * | 2019-10-14 | 2020-02-18 | 北京理工大学 | 基于Wirtinger Flow算法的散斑相关成像方法及装置 |
| US20200348229A1 (en) * | 2019-04-19 | 2020-11-05 | Tsinghua Shenzhen International Graduate School | Non-invasive scattering imaging method beyond memory effect range based on connected component optimization |
| CN113534503A (zh) * | 2021-04-27 | 2021-10-22 | 西安交通大学 | 一种基于光强依赖的波前整形方法 |
| US20220155575A1 (en) * | 2019-01-31 | 2022-05-19 | Carl Zeiss Microscopy Gmbh | Apparatus and method for manipulating a focus of excitation light on or in a sample and microscope |
| CN114862962A (zh) * | 2022-04-22 | 2022-08-05 | 中国科学院光电技术研究所 | 一种结合自适应光学系统的相位差法成像装置标定方法 |
-
2022
- 2022-10-26 CN CN202211327540.1A patent/CN115696041B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150241342A1 (en) * | 2014-02-25 | 2015-08-27 | California Institute Of Technology | Digital phase conjugation using moving target as guide star |
| CN107121772A (zh) * | 2017-05-09 | 2017-09-01 | 浙江大学 | 简易光束聚焦增强方法与系统 |
| US20220155575A1 (en) * | 2019-01-31 | 2022-05-19 | Carl Zeiss Microscopy Gmbh | Apparatus and method for manipulating a focus of excitation light on or in a sample and microscope |
| US20200348229A1 (en) * | 2019-04-19 | 2020-11-05 | Tsinghua Shenzhen International Graduate School | Non-invasive scattering imaging method beyond memory effect range based on connected component optimization |
| CN110807822A (zh) * | 2019-10-14 | 2020-02-18 | 北京理工大学 | 基于Wirtinger Flow算法的散斑相关成像方法及装置 |
| CN113534503A (zh) * | 2021-04-27 | 2021-10-22 | 西安交通大学 | 一种基于光强依赖的波前整形方法 |
| CN114862962A (zh) * | 2022-04-22 | 2022-08-05 | 中国科学院光电技术研究所 | 一种结合自适应光学系统的相位差法成像装置标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 朱磊;邵晓鹏;: "散射成像技术的研究进展", 光学学报, vol. 2020, no. 01, pages 83 - 97 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115696041B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8059162B2 (en) | Imaging apparatus and method, and method for designing imaging apparatus | |
| US8126287B2 (en) | Camera with image enhancement functions | |
| KR101824936B1 (ko) | 이미지들 내에서 초점 에러 추정 | |
| JP4322921B2 (ja) | カメラモジュールおよびそれを備えた電子機器 | |
| US8849055B2 (en) | Image processing apparatus and method | |
| US8736683B2 (en) | Method for estimating a defect in an image-capturing system, and associated systems | |
| US20140028839A1 (en) | Image processing method, storage medium, image processing apparatus and image pickup apparatus | |
| US9413996B2 (en) | Image pickup apparatus, and control method thereof | |
| JP2011135563A (ja) | 撮像装置および画像処理方法 | |
| US20130308011A1 (en) | Image pickup apparatus and image processing method | |
| CN111008945B (zh) | 基于机器学习的多像质参数自适应像差矫正方法及装置 | |
| US8928780B2 (en) | Adjustment method, adjustment apparatus, method of manufacturing optical system, image pickup apparatus, and method of manufacturing image pickup apparatus | |
| US20200326609A1 (en) | Image capturing apparatus, image processing apparatus, control method, and storage medium | |
| JP7237450B2 (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置 | |
| CN115696041B (zh) | 基于波前调制迭代的非侵入式散射介质内部聚焦成像方法 | |
| US20190057494A1 (en) | Image processing method, image processing apparatus, imaging apparatus, and medium | |
| JP5560766B2 (ja) | 画像処理装置、撮像装置、及びプログラム | |
| CN116338945A (zh) | 用于多光子成像的数字自适应光学方法及装置 | |
| JP7213686B2 (ja) | 形状計測装置、制御方法及びプログラム | |
| CN116912103A (zh) | 元成像光学成像的数字像差校正方法及装置 | |
| US7443590B2 (en) | Imaging apparatus and method, and method for designing imaging apparatus | |
| FR2880958A1 (fr) | Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique | |
| JP2012070443A (ja) | 画像処理装置及び画像処理プログラム | |
| JP4397549B2 (ja) | ビームプロファイル検証方法 | |
| EP1672912A2 (en) | Method for producing an optical system including an electronic image enhancement processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |