CN115619684B - 基于编码摄像的非侵入式激光扫描的显微散射成像方法 - Google Patents
基于编码摄像的非侵入式激光扫描的显微散射成像方法 Download PDFInfo
- Publication number
- CN115619684B CN115619684B CN202211389413.4A CN202211389413A CN115619684B CN 115619684 B CN115619684 B CN 115619684B CN 202211389413 A CN202211389413 A CN 202211389413A CN 115619684 B CN115619684 B CN 115619684B
- Authority
- CN
- China
- Prior art keywords
- reflection matrix
- frequency domain
- imaged
- phase
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 208000014451 palmoplantar keratoderma and congenital alopecia 2 Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本申请涉及显微成像领域技术领域，特别涉及一种基于编码摄像的非侵入式激光扫描的显微散射成像方法，包括：获取待成像物体的门控反射矩阵，将门控反射矩阵变换到频域得到频域反射矩阵；利用CLASS算法由频域反射矩阵计算输入和输出畸变相位，并进行相位解包裹得到连续变化的输入和输出畸变相位；将连续变化的输入和输出畸变相位除以二，并重新包裹至预设区间内得到新的输入和输出畸变相位，利用新的输出畸变相位对频域反射矩阵的输出畸变进行补偿，将补偿后的频域反射矩阵进行强度叠加补偿输入畸变，得到待成像物体的最终物体图像。可以解决散射场景下非侵入式激光扫描的显微成像方法中无法很好地使用编码摄像理论正确求解反射矩阵的问题。
Description
技术领域
本申请涉及显微成像领域技术领域，特别涉及一种基于编码摄像的非侵入式激光扫描的显微散射成像方法。
背景技术
激光共聚焦显微成像技术作为一种非常常见的非侵入式显微成像技术，通过使用一对共轭的针孔遮挡非焦面传来的信号，实现了更好的层析能力，提高了图像的SNR(Signal to noise ratio，信噪比)和SBR(Signal to background ratio，信号背景比)，被广泛应用于观察一倍SMFP(Scattering mean free path，散射平均自由程)厚度的散射样本。但是，当样本的折射率不均匀、或者成像系统中存在像差时，包含物体信息的信号会由于PSF的扩展而从共焦针孔散开，从而降低了图像质量。不仅如此，随着成像深度的增加，光在组织内发生多重散射，同样会必然导致PSF(Point spread function，点扩展函数)的展宽。所以，在散射介质内实现理想的衍射极限成像的关键在于将到达共聚焦针孔以外位置的信号重新聚焦到共聚焦检测位置，即将系统扩展开的PSF重新变回一个点。
相关技术的成像方法对相位的求解不够高效，需要的迭代次数较多，而且虽然通过迭代可以使物体图像不断变好，但是估计的散射编码矩阵和真实结果还是存在一定出入，这样无法保证求解的最优性，以及在做硬件补偿畸变时也存在问题。
发明内容
本申请提供一种基于编码摄像的非侵入式激光扫描的显微散射成像方法，可以解决散射场景下非侵入式激光扫描的显微成像方法中无法很好地使用编码摄像理论正确求解反射矩阵的问题。
本申请第一方面实施例提供一种基于编码摄像的非侵入式激光扫描的显微散射成像方法，包括以下步骤：获取待成像物体的门控反射矩阵，并将所述门控反射矩阵变换到频域得到频域反射矩阵；利用CLASS算法由所述频域反射矩阵计算输入畸变相位和输出畸变相位，并对所述输入畸变相位和所述输出畸变相位进行相位解包裹，得到连续变化的输入畸变相位和输出畸变相位；将所述连续变化的输入畸变相位和输出畸变相位除以二，并重新包裹至预设区间内得到新的输入畸变相位和输出畸变相位，利用新的所述输出畸变相位对所述频域反射矩阵的输出畸变进行补偿，得到补偿后的频域反射矩阵；对所述补偿后的频域反射矩阵进行强度叠加补偿输入畸变，得到所述待成像物体的最终物体图像。
可选地，在本申请的一个实施例中，获取待成像物体的门控反射矩阵，包括：通过时间门控方法获得所述待成像物体每次扫描的复数图像，基于所述复数图像得到所述门控反射矩阵。
可选地，在本申请的一个实施例中，对所述补偿后的频域反射矩阵补偿输入畸变时，利用非相干叠加补偿输入畸变，以去除输入散射对成像结果的影响。
可选地，在本申请的一个实施例中，得到所述待成像物体的最终物体图像之后还包括：判断所述待成像物体的最终物体图像是否满足预设图像要求；在所述待成像物体的最终物体图像不满足所述预设图像要求时，获取所述待成像物体的最终物体图像的频域反射矩阵，重新进行畸变补偿，直至得到满足所述预设图像要求的所述待成像物体的最终物体图像。
本申请第二方面实施例提供一种基于编码摄像的非侵入式激光扫描的显微散射成像装置，包括：获取模块，用于获取待成像物体的门控反射矩阵，并将所述门控反射矩阵变换到频域得到频域反射矩阵；计算模块，用于利用CLASS算法由所述频域反射矩阵计算输入畸变相位和输出畸变相位，并对所述输入畸变相位和所述输出畸变相位进行相位解包裹，得到连续变化的输入畸变相位和输出畸变相位；补偿模块，用于将所述连续变化的输入畸变相位和输出畸变相位除以二，并重新包裹至预设区间内得到新的输入畸变相位和输出畸变相位，利用新的所述输出畸变相位对所述频域反射矩阵的输出畸变进行补偿，得到补偿后的频域反射矩阵；成像模块，用于对所述补偿后的频域反射矩阵进行强度叠加补偿输入畸变，得到所述待成像物体的最终物体图像。
可选地，在本申请的一个实施例中，所述获取模块进一步用于通过时间门控方法获得所述待成像物体每次扫描的复数图像，基于所述复数图像得到所述门控反射矩阵。
可选地，在本申请的一个实施例中，所述成像模块进一步用于，对所述补偿后的频域反射矩阵补偿输入畸变时，利用非相干叠加补偿输入畸变，以去除输入散射对成像结果的影响。
可选地，在本申请的一个实施例中，还包括：判断模块，用于得到所述待成像物体的最终物体图像之后，判断所述待成像物体的最终物体图像是否满足预设图像要求；再补偿模块，用于在所述待成像物体的最终物体图像不满足所述预设图像要求时，获取所述待成像物体的最终物体图像的频域反射矩阵，重新进行畸变补偿，直至得到满足所述预设图像要求的所述待成像物体的最终物体图像。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于编码摄像的非侵入式激光扫描的显微散射成像方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于编码摄像的非侵入式激光扫描的显微散射成像方法。
本申请实施例提出的基于编码摄像的非侵入式激光扫描的显微散射成像方法、装置、电子设备及存储介质，结合时间门技术，通过激光扫描测量门控反射矩阵，然后通过单散射闭环积累算法获得初始畸变估计，紧接着使用输入输出分离方法得到更准确的输出畸变，用于校正反射矩阵，最后使用非相干叠加的方法校正输入畸变，从而恢复高质量的物体信息。可以解决散射场景下非侵入式激光扫描的显微成像方法中，如何更好使用编码摄像理论正确求解反射矩阵的问题，以及在非理想条件下的处理方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于编码摄像的非侵入式激光扫描的显微散射成像方法的流程图；
图2为根据本申请实施例提供的一种基于编码摄像的非侵入式激光扫描的显微散射成像方法执行过程示意图；
图3为根据本申请实施例提供的仿真结果示意图；
图4为根据本申请实施例提供的光路图；
图5为根据本申请实施例提供的实际样本结果图；
图6为根据本申请实施例的基于编码摄像的非侵入式激光扫描的显微散射成像装置的示例图；
图7为申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
为了解决背景技术的问题，需要测量针孔外的信号，通过预先补偿使PSF能重新聚焦。但是，不使用针孔会带来额外的问题。在非侵入式场景下，光透过生物组织(散射介质)到达待成像的目标区域，然后返回再次穿过生物组织被相机采集。被采集到的信号可能是不同区域返回信号的叠加，从而产生混叠，无法进行成像。通过使用时间门控方法，可以选择性得获得t＝τ这一时刻附近的信号，对应于目标深度z＝ct/2(其中c是光速)处返回的信号，从而将不同深度、不同区域返回的信号分离开，实现成像。
于是，对相机采集到的返回信号进行分类，假如这部分光完全没有被散射，即理想情况，称为弹道光Eb(t＝τ)；如果到达了物体，但是发生了少量散射以及系统存在的像差，导致PSF的展宽，但是也在t＝τ这一时刻的附近，称为单次散射光Es(t＝τ)；假如光接触了物体，但是发生了多次散射，那么由于光程差的增加这部分光无法满足t＝τ的要求，划归为变成背景光BM(t≠τ)，会被时间门控操作滤除；最后一部分就是光没有接触到物体，但是由于多重散射，也满足了t＝τ的要求，称为多次散射光EM(t＝τ)，在时间门控操作后占返回信号的主要部分。要做的就是从EM中分离Eb和Es，然后通过波前调制器，比如SLM进行补偿，实现畸变信号的选择性聚焦，使Es变为Eb，获得理想的衍射极限成像结果。
使用编码摄像的思想，可以将由于散射产生的畸变看成是一种编码，补偿过程可以看成一种解码过程。于是，测量得到的反射矩阵可以看作一个编码矩阵，通过解码算法，便可以从中提取出物体信号，而无需硬件SLM进行补偿。从数学上描述，当我对散射样本平面rin位置处进行聚焦照明，获得的门控反射信号E(rout；rin)可以写为：
E(rout；rin)＝∫Pout(rout；r)O(r)Pin(r；rin)d2r+EM(rout；rin)+Nm(rout；rin)
其中第一项为Eb+Es的编码表示，其中O(r)为待成像物体信号，对应于Eb，Pin(r；rin)和Pout(rout；r)对应于输入路径和输出路径上的畸变和散射对成像过程的编码，对应于Es；多重散射项EM(rout；rin)和前文定义一致，Nm(rout；rin)为系统由于各种原因产生的噪声，比如测量误差、系统误差、环境影响等等。如果把E(rout；rin)拉伸为一个列向量，当扫描整个视野范围，便测量了完整的反射矩阵R，其横轴和纵轴分别对应散射样本的输入和输出坐标，也即编码矩阵。如果能从中求解分离编码向量Pin(r；rin)和Pout(rout；r)，并降低多重散射EM(rout；rin)的影响，便能对R进行解码，得到物体信息O(r)。
在相关技术的方案中，因为E(rout；rin)是卷积形式，根据傅里叶变换的性质，在频域的表示为点乘形式，此时，频域反射矩阵可以写成如下形式：
其中和/>分别为散射编码矩阵的频域表示，在系统具有平移不变PSF的条件下其为对角矩阵，对应于点乘操作。此时，通过将图像从空域变换到频域，散射编码矩阵中的非0变量数大幅下降，从而更容易求解。对于N个成像像素点的场景，上述矩阵都是N×N的矩阵，编码对角矩阵的参数量之和为2N，而进一步根据光路的对称性，输入输出编码矩阵相同，参数量进一步降低N，相比矩阵N2的参数量大幅降低。当频域编码矩阵被求解和分离后，就能得到带有物体频谱信号的矩阵/>将其变换到空域即可实现重建。
由韩国首尔大学的研究人员提出的单次散射叠加算法，对频域传输矩阵进行相干叠加，估计物体频谱有：
因为反射矩阵的每一列本质上都带有物体的信息，通过上述方法进行相干叠加，物体信息会得到强化，而噪声信息因为不是相干叠加，其相对强度会随着叠加不断减弱，从而提高图像信噪比。
但是，由上式同样可知，频域编码矩阵和/>仍然会影响对待测物体频谱/>的估计，于是，韩国的研究者们提出了Closed-Loop Accumulation of Single Scattering算法对其进行估计，具体来说，就是除了CASS算法估计物体频谱/>外，通过额外两步估计和/>计算方法如下：
通过对/>的估计和对/>的估计交替进行，经过迭代后，便可以得到更准确的/>和/>
但是上述方法对Φi(vin)和Φo(vout)的求解不够高效，需要的迭代次数较多，而且虽然通过迭代可以使物体图像不断变好，但是估计的散射编码矩阵和真实结果还是存在一定出入，这样无法保证求解的最优性，以及在做硬件补偿畸变时也存在问题。
而且该算法在系统非理想时不够稳定，尤其是系统在扫描过程中，系统非理想条件下光程会存在细微变化，而由于光的波长在数百纳米，细微变化都会引起相位的大幅变化，所以不同扫描点拍摄的图像因为系统光程变化而存在额外相位误差，该相位误差将会使和/>不再为对角矩阵，上述求解方法从而出现问题。
基于上述介绍，本申请提出了一种基于编码摄像的非侵入式激光扫描的显微散射成像方法，结合时间门技术，通过激光扫描测量门控反射矩阵，然后通过单散射闭环积累算法获得初始畸变估计，紧接着使用输入输出分离方法得到更准确的输出畸变，用于校正反射矩阵，最后使用非相干叠加的方法校正输入畸变，从而恢复高质量的物体信息。下面对本申请的技术方案进行详细介绍。
图1为根据本申请实施例提供的一种基于编码摄像的非侵入式激光扫描的显微散射成像方法的流程图。
如图1所示，该基于编码摄像的非侵入式激光扫描的显微散射成像方法包括以下步骤：
在步骤S101中，获取待成像物体的门控反射矩阵，并将门控反射矩阵变换到频域得到频域反射矩阵。
可选地，在本申请的一个实施例中，获取待成像物体的门控反射矩阵，包括：通过时间门控方法获得待成像物体每次扫描的复数图像，基于复数图像得到门控反射矩阵。
如图2所示，使用时间门控技术获取门控反射矩阵，对门控反射矩阵进行傅里叶变换，将门控反射矩阵转换到频域得到频域门控反射矩阵。
在步骤S102中，利用CLASS算法由频域反射矩阵计算输入畸变相位和输出畸变相位，并对输入畸变相位和输出畸变相位进行相位解包裹，得到连续变化的输入畸变相位和输出畸变相位。
具体地，利用CLASS算法对和/>进行估计。不过，在初始估计后，对畸变进行解包裹，得到连续相位变化的畸变项。除二操作这是因为/>本质上计算的是/>和/>的互相关，在散射较强的情况下，该互相关近似于δ函数，此时将Φi(vin)的求解展开：
Φo(vout)也是同理，由此得到输入畸变相位和输出畸变相位。
所以，当散射变强时，CLASS方法求解的实际是输入畸变和输出畸变之和，然后通过迭代将其分开。本申请提出，在使用CLASS算法计算Φi(vin)和Φo(vout)后，对其进行解包裹，得到连续变化的相位。
在步骤S103中，将连续变化的输入畸变相位和输出畸变相位除以二，并重新包裹至预设区间内得到新的输入畸变相位和输出畸变相位，利用新的输出畸变相位对频域反射矩阵的输出畸变进行补偿，得到补偿后的频域反射矩阵。
根据上述推导，将连续变化的相位除以二，得到更准确的对Φi(vin)和Φo(vout)的估计。这里基于一个假设，即输入畸变和输出畸变基本相同，由于光路的对称性，该假设基本都是满足的。
而当光路中存在误差时，尤其是存在相位误差时，在求解得到除二的Φi(vin)和Φo(vout)后，只使用Φo(vout)进行畸变补偿。这是因为，扫描到不同点产生的不同相位误差，主要影响了是Φi(vin)的求解，而不影响Φo(vout)。但是因为没有对输入的散射Pin进行补偿，其仍然会对成像结果产生影响，所以在补偿完输出畸变后，使用非相干叠加去除Pin的影响，方式如下：
其中为已经校正过输出畸变Pout后的反射矩阵。
使用解包裹方法和除以二的方法在CLASS算法的基础上计算输入输出畸变，从而能更准确求解输入输出畸变，更快地收敛。
在步骤S104中，对补偿后的频域反射矩阵进行强度叠加补偿输入畸变，得到待成像物体的最终物体图像。
可选地，在本申请的一个实施例中，对补偿后的频域反射矩阵补偿输入畸变时，利用非相干叠加补偿输入畸变，以去除输入散射对成像结果的影响。只对反射矩阵补偿上述求解的输出畸变，而使用非相干叠加方法补偿输入畸变的方法。使用非相干强度叠加，而强度图丢失了相位信息，从而不受相位扰动的影响，从而不受系统中产生的相位误差的影响。
可选地，在本申请的一个实施例中，得到待成像物体的最终物体图像之后还包括：判断待成像物体的最终物体图像是否满足预设图像要求；在待成像物体的最终物体图像不满足预设图像要求时，获取待成像物体的最终物体图像的频域反射矩阵，重新进行畸变补偿，直至得到满足预设图像要求的待成像物体的最终物体图像。
如图2所示，得到当前图像后判断是否满足图像质量要求，在不满足时重新进行求解，直至满足要求。通过这种更准确对Φi(vin)和Φo(vout)的求解，可以提高迭代速度和迭代的准确性。
结合图3、图4和图5所示，在图3中，其中第一列为没有矫正时的结果，第二列是现有CLASS算法的结果，第三列是本申请提出方法的结果，第四列是收敛速度的比较。第一行和第二行是只有畸变时候的结果，此时两种方法差距不大，但是本申请计算得到的输入和输出畸变(图左侧，上图为输入畸变，下图为输出畸变)和真实畸变(第一列图左侧上图)更接近，而且收敛速度更快。第三行是加入了相位误差，此时CLASS算法无法正确获得输入畸变，将得到错误的模糊结果，而本申请的方法可以正确计算。第四行为加入了散射，此时原图已经什么都看不出来，CLASS算法同样给出的是错误的模糊结果，而本申请的方法补偿输出畸变，可以得到带有散斑的非模糊结果(第三列)，然后通过非相干强度叠加去除输入畸变，得到最后的清晰图像(第四列)。
根据本申请实施例提出的基于编码摄像的非侵入式激光扫描的显微散射成像方法，结合时间门技术，通过激光扫描测量门控反射矩阵，然后通过单散射闭环积累算法获得初始畸变估计，紧接着使用输入输出分离方法得到更准确的输出畸变，用于校正反射矩阵，最后使用非相干叠加的方法校正输入畸变，从而恢复高质量的物体信息。可以解决散射场景下非侵入式激光扫描的显微成像方法中，如何更好使用编码摄像理论正确求解反射矩阵的问题，以及在非理想条件下的处理方法。
其次参照附图描述根据本申请实施例提出的基于编码摄像的非侵入式激光扫描的显微散射成像装置。
图6为根据本申请实施例的基于编码摄像的非侵入式激光扫描的显微散射成像装置的方框示意图。
如图6所示，该基于编码摄像的非侵入式激光扫描的显微散射成像装置10包括：获取模块100、计算模块200、补偿模块300和成像模块400。
其中，获取模块100，用于获取待成像物体的门控反射矩阵，并将门控反射矩阵变换到频域得到频域反射矩阵。计算模块200，用于利用CLASS算法由频域反射矩阵计算输入畸变相位和输出畸变相位，并对输入畸变相位和输出畸变相位进行相位解包裹，得到连续变化的输入畸变相位和输出畸变相位。补偿模块300，用于将连续变化的输入畸变相位和输出畸变相位除以二，并重新包裹至预设区间内得到新的输入畸变相位和输出畸变相位，利用新的输出畸变相位对频域反射矩阵的输出畸变进行补偿，得到补偿后的频域反射矩阵。成像模块400，用于对补偿后的频域反射矩阵进行强度叠加补偿输入畸变，得到待成像物体的最终物体图像。
可选地，在本申请的实施例中，获取模块进一步用于通过时间门控方法获得待成像物体每次扫描的复数图像，基于复数图像得到门控反射矩阵。
可选地，在本申请的实施例中，成像模块进一步用于，对补偿后的频域反射矩阵补偿输入畸变时，利用非相干叠加补偿输入畸变，以去除输入散射对成像结果的影响。
可选地，在本申请的实施例中，还包括：
判断模块，用于得到待成像物体的最终物体图像之后，判断待成像物体的最终物体图像是否满足预设图像要求；
再补偿模块，用于在待成像物体的最终物体图像不满足预设图像要求时，获取待成像物体的最终物体图像的频域反射矩阵，重新进行畸变补偿，直至得到满足预设图像要求的待成像物体的最终物体图像。
需要说明的是，前述对基于编码摄像的非侵入式激光扫描的显微散射成像方法实施例的解释说明也适用于该实施例的基于编码摄像的非侵入式激光扫描的显微散射成像装置，此处不再赘述。
根据本申请实施例提出的基于编码摄像的非侵入式激光扫描的显微散射成像装置，结合时间门技术，通过激光扫描测量门控反射矩阵，然后通过单散射闭环积累算法获得初始畸变估计，紧接着使用输入输出分离方法得到更准确的输出畸变，用于校正反射矩阵，最后使用非相干叠加的方法校正输入畸变，从而恢复高质量的物体信息。可以解决散射场景下非侵入式激光扫描的显微成像方法中，如何更好使用编码摄像理论正确求解反射矩阵的问题，以及在非理想条件下的处理方法。
图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的基于编码摄像的非侵入式激光扫描的显微散射成像方法。
进一步地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于编码摄像的非侵入式激光扫描的显微散射成像方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
Claims (10)
1.一种基于编码摄像的非侵入式激光扫描的显微散射成像方法，其特征在于，包括以下步骤：
获取待成像物体的门控反射矩阵，并将所述门控反射矩阵变换到频域得到频域反射矩阵；
利用CLASS算法由所述频域反射矩阵计算输入畸变相位和输出畸变相位，并对所述输入畸变相位和所述输出畸变相位进行相位解包裹，得到连续变化的输入畸变相位和输出畸变相位；
将所述连续变化的输入畸变相位和输出畸变相位除以二，并重新包裹至预设区间内得到新的输入畸变相位和输出畸变相位，利用新的所述输出畸变相位对所述频域反射矩阵的输出畸变进行补偿，得到补偿后的频域反射矩阵；
对所述补偿后的频域反射矩阵进行强度叠加补偿输入畸变，得到所述待成像物体的最终物体图像。
2.根据权利要求1所述的方法，其特征在于，获取待成像物体的门控反射矩阵，包括：
通过时间门控方法获得所述待成像物体每次扫描的复数图像，基于所述复数图像得到所述门控反射矩阵。
3.根据权利要求1所述的方法，其特征在于，对所述补偿后的频域反射矩阵补偿输入畸变时，利用非相干叠加补偿输入畸变，以去除输入散射对成像结果的影响。
4.根据权利要求1-3任一项所述的方法，其特征在于，得到所述待成像物体的最终物体图像之后还包括：
判断所述待成像物体的最终物体图像是否满足预设图像要求；
在所述待成像物体的最终物体图像不满足所述预设图像要求时，获取所述待成像物体的最终物体图像的频域反射矩阵，重新进行畸变补偿，直至得到满足所述预设图像要求的所述待成像物体的最终物体图像。
5.一种基于编码摄像的非侵入式激光扫描的显微散射成像装置，其特征在于，包括：
获取模块，用于获取待成像物体的门控反射矩阵，并将所述门控反射矩阵变换到频域得到频域反射矩阵；
计算模块，用于利用CLASS算法由所述频域反射矩阵计算输入畸变相位和输出畸变相位，并对所述输入畸变相位和所述输出畸变相位进行相位解包裹，得到连续变化的输入畸变相位和输出畸变相位；
补偿模块，用于将所述连续变化的输入畸变相位和输出畸变相位除以二，并重新包裹至预设区间内得到新的输入畸变相位和输出畸变相位，利用新的所述输出畸变相位对所述频域反射矩阵的输出畸变进行补偿，得到补偿后的频域反射矩阵；
成像模块，用于对所述补偿后的频域反射矩阵进行强度叠加补偿输入畸变，得到所述待成像物体的最终物体图像。
6.根据权利要求5所述的装置，其特征在于，所述获取模块进一步用于通过时间门控方法获得所述待成像物体每次扫描的复数图像，基于所述复数图像得到所述门控反射矩阵。
7.根据权利要求5所述的装置，其特征在于，所述成像模块进一步用于，对所述补偿后的频域反射矩阵补偿输入畸变时，利用非相干叠加补偿输入畸变，以去除输入散射对成像结果的影响。
8.根据权利要求5-7任一项所述的装置，其特征在于，还包括：
判断模块，用于得到所述待成像物体的最终物体图像之后，判断所述待成像物体的最终物体图像是否满足预设图像要求；
再补偿模块，用于在所述待成像物体的最终物体图像不满足所述预设图像要求时，获取所述待成像物体的最终物体图像的频域反射矩阵，重新进行畸变补偿，直至得到满足所述预设图像要求的所述待成像物体的最终物体图像。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的基于编码摄像的非侵入式激光扫描的显微散射成像方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的基于编码摄像的非侵入式激光扫描的显微散射成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211389413.4A CN115619684B (zh) | 2022-11-08 | 2022-11-08 | 基于编码摄像的非侵入式激光扫描的显微散射成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211389413.4A CN115619684B (zh) | 2022-11-08 | 2022-11-08 | 基于编码摄像的非侵入式激光扫描的显微散射成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115619684A CN115619684A (zh) | 2023-01-17 |
| CN115619684B true CN115619684B (zh) | 2023-09-05 |
Family
ID=84878038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211389413.4A Active CN115619684B (zh) | 2022-11-08 | 2022-11-08 | 基于编码摄像的非侵入式激光扫描的显微散射成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115619684B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112823283A (zh) * | 2018-07-19 | 2021-05-18 | 国家科学研究中心 | 通过使用超声非侵入性地表征非均匀介质的方法和系统 |
| WO2021204663A1 (de) * | 2020-04-07 | 2021-10-14 | Stiftung Caesar Center Of Advanced European Studies And Research | Verfahren und beleuchtungsvorrichtung der adaptiven optik in der reflexionsmikroskopie |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101583155B1 (ko) * | 2014-09-24 | 2016-01-07 | 중앙대학교 산학협력단 | 어안렌즈 영상 보정 방법 및 그 장치 |
-
2022
- 2022-11-08 CN CN202211389413.4A patent/CN115619684B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112823283A (zh) * | 2018-07-19 | 2021-05-18 | 国家科学研究中心 | 通过使用超声非侵入性地表征非均匀介质的方法和系统 |
| WO2021204663A1 (de) * | 2020-04-07 | 2021-10-14 | Stiftung Caesar Center Of Advanced European Studies And Research | Verfahren und beleuchtungsvorrichtung der adaptiven optik in der reflexionsmikroskopie |
Non-Patent Citations (1)
| Title |
|---|
| 高速扫描激光共聚焦显微内窥镜图像校正;徐宝腾;杨西斌;刘家林;周伟;田浩然;熊大曦;;光学精密工程(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115619684A (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4594114B2 (ja) | 画像処理装置および屈折率分布測定装置 | |
| US8582820B2 (en) | Coded aperture camera with adaptive image processing | |
| CN110702034A (zh) | 高反光表面三维面形测量方法、服务器及系统 | |
| EP2597421B1 (en) | Stereo distance measurement apparatus and stereo distance measurement method | |
| Muckley et al. | Training a neural network for Gibbs and noise removal in diffusion MRI | |
| US20130222624A1 (en) | Range measurement using multiple coded apertures | |
| US20080292135A1 (en) | Method and Device For Reconstructing Images | |
| Bao et al. | Undersampled MR image reconstruction using an enhanced recursive residual network | |
| JP2013531268A (ja) | 符号化開口を使用した距離の測定 | |
| US11512946B2 (en) | Method and system for automatic focusing for high-resolution structured light 3D imaging | |
| KR20180128303A (ko) | 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치 | |
| Thurnhofer-Hemsi et al. | Deep learning-based super-resolution of 3D magnetic resonance images by regularly spaced shifting | |
| CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| Van Der Jeught et al. | Optimized loss function in deep learning profilometry for improved prediction performance | |
| JP6968895B2 (ja) | 電磁場の波頭の断層撮影分布を取得する方法及び光学システム | |
| CN115619684B (zh) | 基于编码摄像的非侵入式激光扫描的显微散射成像方法 | |
| CN117094897A (zh) | 一种相衬光学相干弹性成像的超分辨相位梯度估计方法 | |
| CN112700439A (zh) | 一种基于神经网络的oct人眼图像采集配准方法及系统 | |
| Nayak et al. | Super resolution image reconstruction using weighted combined pseudo-Zernike moment invariants | |
| CN116310101A (zh) | 基于过曝光连通域强度自适应分布的高动态三维测量方法 | |
| KR102508384B1 (ko) | 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치 | |
| KR20130104410A (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
| CN113554555B (zh) | 相位畸变补偿方法、装置、计算机设备和存储介质 | |
| CN115185078A (zh) | 非相干孔径合成像差校正方法及装置 | |
| US20100189377A1 (en) | Method of estimating at least one deformation of the wave front of an optical system or of an object observed by the optical system and associated device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |