CN115170557A - 结膜杯状细胞成像的图像融合方法及装置 - Google Patents
结膜杯状细胞成像的图像融合方法及装置 Download PDFInfo
- Publication number
- CN115170557A CN115170557A CN202210943816.2A CN202210943816A CN115170557A CN 115170557 A CN115170557 A CN 115170557A CN 202210943816 A CN202210943816 A CN 202210943816A CN 115170557 A CN115170557 A CN 115170557A
- Authority
- CN
- China
- Prior art keywords
- images
- target
- pixel
- image
- focal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 118
- 210000002175 goblet cell Anatomy 0.000 title claims abstract description 67
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 38
- 210000004027 cell Anatomy 0.000 claims abstract description 69
- 238000011156 evaluation Methods 0.000 claims abstract description 62
- 210000000795 conjunctiva Anatomy 0.000 claims abstract description 59
- 230000000694 effects Effects 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000003706 image smoothing Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 104
- 238000010586 diagram Methods 0.000 description 9
- 230000001788 irregular Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 210000002919 epithelial cell Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 238000011503 in vivo imaging Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 1
- 206010013774 Dry eye Diseases 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 210000004088 microvessel Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本公开描述一种结膜杯状细胞成像的图像融合方法及装置，该方法包括接收对应聚焦平面集的多张初始图像，基于被测者的眼结膜的深度确定目标变焦范围，控制聚焦平面移动以获得与目标变焦范围相关的聚焦平面集；对多张初始图像进行预处理以获取多张目标图像；对多张目标图像进行配准以获取多张对齐图像；基于多张对齐图像中相同坐标的像素点获得多个像素序列；基于多方向的梯度信息确定各个像素点的聚焦效果评价值；基于各个像素点的聚焦效果评价值从各个像素序列中筛选像素点作为目标像素点；并且基于多个像素序列对应的多个目标像素点获取全焦细胞图像。由此，能够对眼结膜区域中大部分区域的结膜杯状细胞进行非接触式性成像。
Description
技术领域
本公开涉及生物医学工程产业领域，具体涉及一种结膜杯状细胞成像的图像融合方法及装置。
背景技术
结膜杯状细胞(Conjunctival Goblet Cells，CGC)是位于眼部的上皮细胞，可以在眼表分泌粘蛋白以对眼球进行保护。对结膜杯状细胞进行检查可以用于判断眼表的内环境的稳定性，对干眼及各种眼表并发症的监控具有重要意义。由于结膜杯状细胞一般呈曲面分布于眼结膜区域，且结膜杯状细胞的分布形态一般相对不规则，因此对结膜杯状细胞进行在体成像一般是比较困难的。
目前眼科临床检查中，常用的CGC检查方法有结膜印迹细胞和反射共聚焦显微镜。结膜印迹细胞通过滤纸对包括CGC在内的结膜表面细胞进行提取，提取的细胞经染色镜检分析得出CGC密度等参数；反射共聚焦显微镜是一种基于光反射的成像方法，与结膜其他上皮细胞相比，反射共聚焦显微镜可以使CGC可视化为超反射的大圆细胞，有潜力作为CGC检查方法。
然而，对于位于曲面且分布不规则的结膜杯状细胞，结膜印迹细胞对眼表细胞检查和生物标志物的研究很有效，但接触式性的检查方式会引起一些患者的不适和刺激。反射共聚焦显微镜获得的图像中，成像视野较小，通常只有几百微米，每次只能捕捉到一小部分的眼结膜区域。因此，需要一种能够对眼结膜区域中大部分区域的结膜杯状细胞进行非接触式性成像的方法。
发明内容
本公开是有鉴于上述现有技术的状况而提出的，其目的在于提供一种能够对眼结膜区域中大部分区域的结膜杯状细胞进行非接触式性成像的图像融合方法及装置。
为此，本公开第一方面提供一种结膜杯状细胞成像的图像融合方法，用于对由焦距可调的成像装置获取的位于被测者的眼结膜区域的结膜杯状细胞的细胞图像进行融合，所述图像融合方法包括：接收与聚焦平面集对应的多张初始图像，其中，基于被测者的眼结膜区域的深度确定目标变焦范围，由所述成像装置控制聚焦平面移动以获得与所述目标变焦范围相关的所述聚焦平面集，所述聚焦平面集包括多个不同的聚焦平面，所述初始图像为所述细胞图像；对所述多张初始图像进行预处理以获取多张目标图像；对所述多张目标图像进行图像配准以获取多张对齐图像，所述多张对齐图像中的相同位置的像素点对应同一空间位置；基于所述多张对齐图像中相同坐标的像素点获得多个像素序列；基于多方向的梯度信息确定各个像素序列中的各个像素点的聚焦效果评价值；基于各个像素点的聚焦效果评价值从各个像素序列中筛选像素点作为各个像素序列对应的目标像素点；并且基于所述多个像素序列对应的多个所述目标像素点获取全焦细胞图像。
在本公开中，获取多个不同的聚焦平面对应的多张初始图像，对多张初始图像进行预处理和图像配准后获得多张对齐图像，基于像素级别的聚焦判断以获取多张对齐图像中单像素的最佳聚焦点，进而基于多个最佳聚焦点获取全焦细胞图像。在这种情况下，基于多个不同的聚焦平面对应的多张初始图像进行融合，能够使全焦细胞图像具有眼结膜区域不同深度处的结膜杯状细胞的清晰成像。另外，像素级别的融合能够较精确地适配呈曲面分布且形态不规则的结膜杯状细胞的成像，进而使全焦细胞图像中的细胞的细节质量更佳。另外，基于多方向的梯度信息确定最佳聚焦点，能够提取不同方向的梯度评价，且灵敏性和稳定性较好。
另外，在本公开所涉及的图像融合方法中，可选地，所述结膜杯状细胞预涂有荧光标记物，当所述荧光标记物在光束的照射下输出携带有结膜杯状细胞信息的目标光束，所述目标光束聚焦于所述成像装置的感光平面而获得各个聚焦平面对应的所述初始图像。由此，能够增大成像装置的视野中可观察到眼结膜区域的结膜杯状细胞的面积，并且能够提高细胞成像的对比度。
另外，在本公开所涉及的图像融合方法中，可选地，各个像素序列中的多个像素点对应的多个聚焦效果评价值以对应的焦距进行排序以确定各个像素序列对应的聚焦评价曲线，基于所述聚焦评价曲线的极值从各个像素序列中筛选出该极值对应的像素点作为所述目标像素点。由此，能够基于像素点的聚焦效果评价值获取最佳聚焦点。
另外，在本公开所涉及的图像融合方法中，可选地，所述目标变焦范围的最大值不小于被测者的眼结膜区域的深度对应的焦距，所述目标变焦范围的最小值不大于被测者的眼结膜区域的最浅处对应的焦距。在这种情况下，基于目标变焦范围能够获得覆盖眼结膜区域的深度的多个初始图像，进而能够获取全部眼结膜区域的不同深度的初始图像。由此，后续基于初始图像能够获得覆盖眼结膜的全部区域且清晰的全焦细胞图像。
另外，在本公开所涉及的图像融合方法中，可选地，令初始焦距为所述目标变焦范围的最大值，所述成像装置控制聚焦平面以预设变焦步距沿着光轴至少移至所述目标变焦范围的最小值以获得所述聚焦平面集；和/或令初始焦距为所述目标变焦范围的最小值，所述成像装置控制聚焦平面以预设变焦步距沿着光轴至少移至所述目标变焦范围的最大值以获得所述聚焦平面集；和/或令初始焦距为所述目标变焦范围的中间值，所述成像装置控制聚焦平面以预设变焦步距沿着光轴并分别朝远离所述中间值对应的聚焦平面的两个方向移动以使移动范围包含所述目标变焦范围，进而获得所述聚焦平面集；和/或令初始焦距为最佳聚焦平面对应的焦距，所述成像装置控制聚焦平面以预设变焦步距沿着光轴并分别朝远离所述最佳聚焦平面的两个方向移动以使移动范围包含所述目标变焦范围，进而获得所述聚焦平面集，其中，通过预先采集且对应不同的聚焦平面的多张测试图像，获取所述多张测试图像对应的多个图像聚焦效果评价值并基于所述多个图像聚焦效果评价值确定聚焦效果评价函数，基于所述聚焦效果评价函数的极值确定所述最佳聚焦平面。
另外，在本公开所涉及的图像融合方法中，可选地，所述聚焦平面集中的聚焦平面的数量不小于被测者的眼结膜区域的深度除以所述预设变焦步距。由此，能够获得覆盖眼结膜区域的深度的多聚焦的图像序列。
另外，在本公开所涉及的图像融合方法中，可选地，所述多方向包括各个像素点的第一方向、第二方向、第三方向和第四方向，所述第一方向表示该像素点的x轴方向，所述第二方向表示该像素点的y轴方向，所述第三方向表示该像素点的+45°方向，所述第四方向表示该像素点的-45°方向。在这种情况下，在计算x、y轴向的梯度信息基础上，增加±45°多方向梯度信息，四个方向的梯度信息能够更全面地提取结膜杯状细胞这种呈曲面分布且形态不规则的细胞的图像在不同方向的梯度评价，且灵敏性和稳定性更好。
另外，在本公开所涉及的图像融合方法中，可选地，在所述预处理中，对所述多张初始图像进行图像平滑处理以获取多张平滑图像，对所述多张平滑图像进行锐化处理，利用灰度直方图对锐化处理后的所述多张平滑图像进行对比度增强和均衡化处理以获取所述多张目标图像。由此，能够提高初始图像的图像质量。
另外，在本公开所涉及的图像融合方法中，可选地，在所述成像装置控制聚焦平面移动中，聚焦平面每次移动的变焦步距不大于所述成像装置的系统景深。在这种情况下，能够获得一组多聚焦且全景深的图像序列，进而能够进一步降低遗漏对一些深度对应的区域进行成像的风险。
本公开第二方面提供一种结膜杯状细胞成像的图像融合装置，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行根据本公开第一方面所述的图像融合方法。
根据本公开，能够提供一种能够对眼结膜区域中大部分区域的结膜杯状细胞进行非接触式性成像的图像融合方法及装置。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开，其中：
图1是示出了本公开实施方式所涉及的成像系统的示例性的示意图。
图2是示出了本公开实施方式所涉及的图像融合方法的示例性的流程图。
图3A是示出了本公开实施方式所涉及的眼结膜区域的结膜杯状细胞的分布示意图。
图3B是示出了本公开实施方式所涉及的对眼结膜区域的结膜杯状细胞进行分层扫描的示意图。
图3C是示出了本公开实施方式所涉及的对眼结膜区域的结膜杯状细胞进行分层扫描输出初始图像的示意图。
图4是示出了本公开实施方式所涉及的预处理的示例性的流程图。
图5A是示出了本公开实施方式所涉及的基于多张对齐图像获取全焦细胞图像的示例性的流程图。
图5B是示出了本公开实施方式所涉及的基于多张对齐图像获取全焦细胞图像的另一种示例性的流程图。
图5C是示出了本公开实施方式所涉及的基于多张对齐图像获取全焦细胞图像的另一种示例性的流程图。
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或装置的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或装置，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或装置。
本公开的方案，适合于对活体或在体的观测对象(也可以称为目标细胞)进行成像，而且尤其适合对位于曲面且分布不规则的观测对象进行成像。另外，观测对象可以位于目标区域。在一些示例中，目标区域可以为眼结膜区域，观测对象可以为位于被测者的眼结膜区域的在体的结膜杯状细胞。在这种情况下，细胞图像是位于被测者的眼结膜区域的结膜杯状细胞的图像。但是可以理解的是，本公开涉及的方案可以对离体或活体的细胞(例如角膜上皮细胞、结膜上皮细胞、呼吸道杯状细胞、消化道杯状细胞、结膜微血管或睑板腺管等)进行成像并且获得等同的技术效果。
本公开示例涉及的图像融合方法及装置可以对由焦距可调的成像装置获取的图像进行像素级别的融合。例如，在结膜杯状细胞成像中，可以对由焦距可调的成像装置获取的细胞图像进行像素级别的融合。在一些示例中，图像融合方法也可以称为图像处理方法、处理方法、融合方法或成像方法等。
图1是示出了本公开实施方式所涉及的成像系统1的示意图。
参见图1，在一些示例中，成像系统1可以包括照明装置100、成像装置200和计算设备300。在一些示例中，成像系统1可以对位于目标区域的观测对象2进行成像。在一些示例中，照明装置100可以发出光束照射到观测对象2。成像装置200可以收集来自观测对象2的光束并输出细胞图像。计算设备300可以对多个细胞图像进行处理以获取全焦细胞图像。
在一些示例中，照明装置100可以输出第一光束。第一光束可以照射到观测对象2。在一些示例中，第一光束可以为人眼不敏感的光。在一些示例中，照明装置100可以配置为间歇性地输出第一光束。在一些示例中，照明装置100输出第一光束的频率可以等于成像装置200采集细胞图像的频率或焦距变化的频率。由此，能够控制在体成像激光曝光量，减轻在体成像光毒性。
在一些示例中，照明装置100还可以包括基于中心波长和带宽过滤光源发出的光的第一滤光元件。在这种情况下，能够使光源发出的光线符合要求(例如，人眼不敏感或不容易损伤人眼)。在一些示例中，照明装置100还可以包括用于获取不同强度的第一光束的第二滤光元件。由此，能够降低第一光束的强度过高对观测对象2造成伤害的可能性。
在一些示例中，来自于观测对象2的光束可以称为第二光束(也即目标光束)。在一些示例中，观测对象2中可以预涂有荧光标记物，预涂于观测对象2的荧光标记物可以在第一光束的照射下发出第二光束。在这种情况下，成像质量对观测对象2的反光能力较不敏感，且相较于来自观测对象2的光束为被观测对象2反射的光束，观测对象2发出的荧光用于成像时可以提高成像质量，例如可以显著提高细胞图像的对比度，另外还能够保留更多的图像细节。另外，荧光标记物发出的光会携带有观测对象2的信息，由此能够增大成像装置200的视野中可观察到观测对象2的面积，并且提高细胞成像的对比度。
另外，使用观测对象2发出的荧光成像的时候，成像区域几乎可以等于视野区域。在这种情况下，相较于使用被观测对象2反射的光束成像中，为了获得足够清晰的图像，光束通常会聚集在较小的区域，可能需要在视野区域内反复移动光照区域或移动观测对象2以完整地对观测对象2进行检查或成像，使用观测对象2发出的荧光成像能够增大视野区域和成像区域。
在一些示例中，成像装置200可以具有聚焦平面。在一些示例中，聚焦平面可以指经过成像装置200的系统焦点且与光轴垂直的平面。也即，聚焦平面可以是位于相应聚焦深度处且与光轴垂直的平面。另外，相应聚焦深度对应的聚焦平面可以获取到使位于目标区域的相应深度的观测对象2成像清晰的细胞图像。
另外，成像装置200可以通过调节焦距以调节聚焦平面，进而获得多个不同的聚焦平面。为此，本公开示例还提供了一种焦距可调的成像装置200。继续参考图1，成像装置200可以包括聚焦透镜210、变焦单元220和相机230。
在一些示例中，变焦单元220可以包括相对设置的可调焦透镜221和视物镜222。在一些示例中，可以通过调节可调焦透镜221的实时焦距以使变焦单元220的实时焦距发生变化，进而使聚焦平面的位置发生移动以获得多个不同的聚焦平面(也即聚焦平面集)。在一些示例中，变焦单元220的实时焦距可以满足公式：
其中，f可以为变焦单元220的实时焦距，f1可以为可调焦透镜221的实时焦距，f2可以为视物镜222的焦距，d可以为可调焦透镜221的主平面和视物镜222的主平面之间的距离。在这种情况下，通过控制可调焦透镜221的实时焦距能够使成像装置200的焦距可调。在一些示例中，视物镜222可以为放大镜。在一些示例中，视物镜222也可以称为物镜。
在一些示例中，相机230可以用于输出针对观测对象2的多个细胞图像。当来自观测对象2的光束照射到相机230的感光平面后，相机230可以输出细胞图像。在一些示例中，相机230可以将细胞图像传输至计算设备300。在一些示例中，相机230可以为面阵相机。
继续参考图1，在一些示例中，成像装置200还可以包括第三滤光元件。在一些示例中，第三滤光元件可以配置为调整照射到感光平面的光线的中心波长和带宽。由此，能够降低第二光束中的不期望的波段的部分照射到感光平面，从而降低成像质量的可能性。
继续参考图1，在一些示例中，成像装置200还可以包括二向色镜240。在一些示例中，二向色镜240可以配置为使第一光束照射到观测对象2。具体地，二向色镜240可以配置为使第一光束反射到观测对象2。在一些示例中，来自观测对象2的第二光束可以朝向二向色镜240传播。二向色镜240可以配置为使第二光束透过二向色镜240而进入可调焦透镜221。在一些示例中，成像装置200还可以不包括二向色镜240。
另外，计算设备300可以是具有计算能力的任何设备。例如，计算设备300可以为云服务器、个人计算机、大型机和分布式计算系统等。在一些示例中，计算设备300可以执行本公开示例涉及的图像融合方法，该图像融合方法可以对聚焦平面集对应的多张细胞图像进行融合以获取全焦细胞图像。在一些示例中，计算设备300也可以集成在成像装置200中。
图2是示出了本公开实施方式所涉及的图像融合方法的示例性的流程图。图3A是示出了本公开实施方式所涉及的眼结膜区域的结膜杯状细胞的分布示意图。为了方便描述，以下以目标区域为眼结膜区域，观测对象2为位于眼结膜区域的结膜杯状细胞为例描述图像融合方法。也即，成像装置200是对位于被测者的眼结膜区域的结膜杯状细胞进行成像以获取细胞图像，进而图像融合方法基于细胞图像进行融合。需要说明的是，并不表示对本公开的限制。
参考图2，在一些示例中，图像融合方法可以包括接收多张初始图像(步骤S102)、对多张初始图像进行预处理以获取多张目标图像(步骤S104)、对多张目标图像进行图像配准以获取多张对齐图像(步骤S106)和基于多张对齐图像进行融合以获取全焦细胞图像(步骤S108)。
参考图2，在步骤S102中，可以接收多张初始图像。初始图像可以为由焦距可调的成像装置200获取的细胞图像。
在一些示例中，初始图像可以是位于被测者的眼结膜区域的结膜杯状细胞。由于眼结膜的表面形态呈曲面，对位于曲面且分布不规则的结膜杯状细胞进行较全面且清晰的成像具有一点的难度。作为示例，图3A示出了眼结膜区域P10的结膜杯状细胞的不规则地分布的一些位置。其中，左图为未翻开眼睑时结膜杯状细胞在眼结膜区域P10的区域P11和区域P12的分布示意。右图为翻开眼睑时结膜杯状细胞的分布情况。
在一些示例中，结膜杯状细胞可以预涂有荧光标记物，当荧光标记物在光束(例如，上述的第一光束)的照射下输出携带有结膜杯状细胞信息的目标光束(例如，上述的第二光束)，目标光束聚焦于成像装置200的感光平面而获得各个聚焦平面对应的初始图像。由此，能够增大成像装置200的视野中可观察到眼结膜区域的结膜杯状细胞的面积，并且能够提高细胞成像的对比度。
本实施方式中，多张初始图像(以下可以简称为初始图像集)可以与聚焦平面集对应，聚焦平面集可以包括多个不同的聚焦平面。也即，多张初始图像可以为在聚焦平面集中各个聚焦平面下获得的图像。由此，多张初始图像之间能够存在不完全相同的清晰区域(也即聚焦区域)。在一些示例中，成像装置200可以在各个聚焦平面处获取至少一张初始图像。在一些示例中，可以同步控制焦距变化和采集初始图像以获取对应多个不同的聚焦平面(也即，聚焦平面集)的多张初始图像。例如，可以通过计算设备300控制成像装置200的实时焦距以使聚焦平面的位置发生移动，并同时控制相机230在每个聚焦平面处获取至少一张初始图像。
在一些示例中，一个聚焦平面可以对应至少一张初始图像。另外，对于存在一个聚焦平面对应多张初始图像的情况，可以对该聚焦平面对应的多张初始图像进行处理以获取代表该聚焦平面的初始图像。例如，可以随机从多张初始图像中选取一张作为代表该聚焦平面的初始图像。又例如，可以对多张初始图像进行求平均并作为代表该聚焦平面的初始图像。又例如，可以基于图像质量评价方法从多张初始图像中选择一张初始图像作为代表该聚焦平面的初始图像。
在一些示例中，多张初始图像对应的聚焦平面集可以与被测者的眼结膜区域的深度(也即，最大成像深度)相关。也即，多张初始图像对应的聚焦平面集可以与结膜杯状细胞所分布的区域的深度相关。在一些示例中，聚焦平面集可以使对应的多张初始图像能够覆盖眼结膜区域的深度。例如，多张初始图像可以包括眼结膜区域的最浅处直至眼结膜区域的最深处对应的细胞图像。由此，能够获取覆盖眼结膜区域的不同深度的初始图像。但本公开的示例不限于此，在另一些示例中，根据成像需要，聚焦平面集也可以使对应的多张初始图像能够覆盖眼结膜区域的部分深度或部分区域。由此，能够获取部分深度或部分区域对应的多张初始图像。
在一些示例中，可以基于被测者的眼结膜区域的深度确定目标变焦范围，由成像装置200控制聚焦平面移动以获得与目标变焦范围相关的聚焦平面集。另外，示例性的获取聚焦平面集的方法可以参见成像装置200的变焦单元220的相关描述。
另外，与目标变焦范围相关的聚焦平面集可以为聚焦平面集对应的多个焦距中最小焦距至最大焦距包含目标变焦范围。由此，能够获得目标变焦范围的成像。优选地，目标变焦范围可以为聚焦平面集对应的多个焦距中最小焦距至最大焦距。在这种情况下，能够减少在目标变焦范围以外进行成像，进而提高成像效率。
另外，目标变焦范围可以为成像装置200的焦距(也即实时焦距)的变焦范围。目标变焦范围可以是整体上适合用于成像的变焦范围。也即，目标变焦范围可以使聚焦平面集整体上覆盖眼结膜区域的成像区域。另外，成像区域可以为全部眼结膜区域或部分眼结膜区域。
在一些示例中，可以根据成像区域对应的眼结膜区域的深度范围确定目标变焦范围。在一些示例中，目标变焦范围可以包含深度范围对应的变焦范围。例如，对于成像区域为全部眼结膜区域，则深度范围可以为眼结膜区域的最浅深度直至眼结膜区域的最深深度，目标变焦范围可以包含眼结膜区域的最浅深度直至眼结膜区域的最深深度对应的变焦范围。
在一些示例中，目标变焦范围的最大值可以不小于被测者的眼结膜区域的深度(也即，最深深度)对应的焦距。由此，能够使多张初始图像中存在眼结膜区域的最深处的成像。在一些示例中，目标变焦范围的最小值可以不大于被测者的眼结膜区域的最浅处对应的焦距。由此，能够使多张初始图像中存在眼结膜区域的最浅处的成像。
另外，对于成像区域为全部眼结膜区域。在一些示例中，目标变焦范围的最大值可以不小于被测者的眼结膜区域的深度对应的焦距，且目标变焦范围的最小值可以不大于被测者的眼结膜区域的最浅处对应的焦距。在这种情况下，基于目标变焦范围能够获得覆盖眼结膜区域的深度的多个初始图像，进而能够获取全部眼结膜区域的不同深度的初始图像。由此，后续基于初始图像能够获得覆盖眼结膜的全部区域且清晰的全焦细胞图像。
如上所述，可以由成像装置200控制聚焦平面移动以获得与目标变焦范围相关的聚焦平面集。在这种情况下，能够对眼结膜区域的结膜杯状细胞进行分层扫描。也即，可以对位于眼结膜区域的不同深度的结膜杯状细胞进行扫描成像。由此，能够获取针对不同深度的局部清晰的多张初始图像。
图3B是示出了本公开实施方式所涉及的对眼结膜区域的结膜杯状细胞进行分层扫描的示意图。图3C是示出了本公开实施方式所涉及的对眼结膜区域的结膜杯状细胞进行分层扫描输出初始图像的示意图。
参考图3B和图3C，是示出了对分布在曲面的结膜杯状细胞的进行分层扫描。由此，能够通过移动聚焦平面对分布在曲面的结膜杯状细胞进行全面地观察。
具体地，在图3B中，聚焦平面集可以包括沿着光轴D的5个聚焦平面，该5个聚焦平面可以为平面a1、平面a2、平面a3、平面a4和平面a5。其中，平面a1可以对应为结膜杯状细胞的观测对象2所在的眼结膜区域的最浅深度，平面a5可以对应观测对象2所在的眼结膜区域的最深深度。当成像装置200的实时焦距发生变化时，可以使聚焦平面移动以对观测对象2中不同深度的区域进行扫描，并分别获取对应聚焦平面的初始图像3(参见图3C)。
在一些示例中，成像装置200可以控制聚焦平面以预设变焦步距均匀地移动。在这种情况下，能够均匀地获得眼结膜区域的不同深度的局部清晰的成像，降低遗漏对一些深度对应的区域进行成像的风险。另外，对于聚焦平面集，初始图像集中的图像之间的聚焦区域以及对应的聚焦深度可以不同。在一些示例中，成像区域的每个空间位置可以在以聚焦平面对应的焦距进行排序的初始图像集中经历离焦、聚焦、再离焦的过程。需要说明的是，成像装置200可以控制聚焦平面以任意能够覆盖需要成像区域的方式进行移动。
在一些示例中，聚焦平面集中的聚焦平面的数量可以不小于被测者的眼结膜区域的深度除以预设变焦步距。也即，变焦次数可以不小于被测者的眼结膜区域的深度除以预设变焦步距。由此，能够获得覆盖眼结膜区域的深度的多聚焦的图像序列。例如，可以在n个聚焦深度进行成像以获得一组覆盖眼结膜区域的深度的多聚焦的图像序列(也即初始图像集)，其中，n≥h/L，h为眼结膜区域的深度(也即最大成像深度)，L为预设变焦步距。
在一些示例中，聚焦平面每次移动的变焦步距可以不大于成像装置200的系统景深。例如，若每次移动预设变焦步距，可以则令预设变焦步距不大于成像装置200的系统景深。在这种情况下，能够获得一组多聚焦且全景深的图像序列，进而能够进一步降低遗漏对一些深度对应的区域进行成像的风险(也即，能够提高成像区域中局部区域经历聚焦的过程的概率)。
另外，本公开还提供多种控制聚焦平面移动的方式。
在一些示例中，在第一种移动方式中，可以令初始焦距为目标变焦范围的最大值，成像装置200控制聚焦平面以预设变焦步距沿着光轴至少移至目标变焦范围的最小值以获得聚焦平面集。由此，能够完全匹配目标变焦范围。
例如，以目标变焦范围的最大值为达到或超过眼结膜区域的最深处对应的焦距，目标变焦范围的最小值为眼结膜区域的最浅处对应的焦距为例，令初始焦距为目标变焦范围的最大值以使初始聚焦平面位于成像装置200的工作距离以外，达到或超过眼结膜表面的最深处(也即，眼结膜区域的最深处)；调节用于支承成像装置200的移动平台，使被测者的眼结膜进入工作距离，结膜杯状细胞进入成像视野；调节成像装置200的实时焦距使聚焦平面以预设变焦步距沿着光轴平移至目标变焦范围的最小值以使聚焦平面移至眼结膜表面的最浅处。
在一些示例中，在第二种移动方式中，可以令初始焦距为目标变焦范围的最小值，成像装置200控制聚焦平面以预设变焦步距沿着光轴至少移至目标变焦范围的最大值以获得聚焦平面集。具体内容参见第一种移动方式的相关描述。
在一些示例中，在第三种移动方式中，可以令初始焦距为目标变焦范围的中间值，成像装置200控制聚焦平面以预设变焦步距沿着光轴并分别朝远离中间值对应的聚焦平面的两个方向移动以使移动范围包含目标变焦范围，进而获得聚焦平面集。具体内容参见第一种移动方式的相关描述。
在一些示例中，在第四种移动方式中，可以先获取最佳聚焦平面，再基于最佳聚焦平面进行移动以获得聚焦平面集。具体地，可以令初始焦距为最佳聚焦平面对应的焦距，成像装置200控制聚焦平面以预设变焦步距沿着光轴并分别朝远离最佳聚焦平面的两个方向移动以使移动范围包含目标变焦范围，进而获得聚焦平面集。在这种情况下，能够优先获取聚焦效果最好的初始图像。
另外，最佳聚焦平面可以是相对较适合用于成像的聚焦平面。在最佳聚焦平面下，可以整体上获得相对较清晰、画面细节较多的初始图像。在一些示例中，可以通过预先采集且对应不同的聚焦平面的多张测试图像(也即，可以预先采集用于初步评估最佳聚焦平面的少量的细胞图像)，获取多张测试图像对应的多个图像聚焦效果评价值并基于多个图像聚焦效果评价值确定聚焦效果评价函数，基于聚焦效果评价函数的极值确定最佳聚焦平面。也即，可以将极值对应的聚焦平面作为最佳聚焦平面。在这种情况下，能够通过比较离散位置的图像聚焦效果评价值，找到整体成像最清晰的最佳聚焦平面。
在一些示例中，可以基于梯度算法获取图像聚焦效果评价值。在一些示例中，图像聚焦效果评价值可以满足公式：
其中，G为图像聚焦效果评价值，g(x,y)为预先采集的测试图像中像素点的灰度值，x为预先采集的测试图像中像素点的横坐标，y为预先采集的测试图像中的像素点的纵坐标。在这种情况下，由于结膜杯状细胞呈曲面分布且结膜杯状细胞形态不规则，灰度变化明显，在传统x、y方向的梯度评价算法的基础上，增加±45度多方向灰度梯度评价参数，能够更加全面地提取不同方向的灰度梯度信息。
继续参考图2，在步骤S104中，可以对多张初始图像进行预处理以获取多张目标图像。预处理可以用于提高初始图像的图像质量。例如，预处理可以用于降低噪声、加强轮廓、增强对比度和清晰度等。需要说明的是，在另一些示例中，预处理也可以不是必须的，后续步骤可以直接对初始图像进行图像配准。
图4是示出了本公开实施方式所涉及的预处理的示例性的流程图。
在一些示例中，预处理可以包括图像平滑处理、锐化处理、以及对比度增强和均衡化处理中的至少一种处理。另外，多种预处理可以根据初始图像的图像情况(例如图像质量)进行选择，并且顺序可以根据实际情况进行调整，本公开不做特别限制。优选地，预处理的顺序可以依次为图像平滑处理、锐化处理、对比度增强和均衡化。
具体地，参考图4，预处理可以包括：
步骤S202，可以对多张初始图像进行图像平滑处理以获取多张平滑图像。在这种情况下，能够抑制成像过程中元件的误差和/或在体成像中眼动等外界环境影响引入的噪声干扰。另外，能够在保持结膜杯状细胞的边缘形态信息前提下，增强边缘轮廓及内部结构的有效信号。
步骤S204，可以对多张平滑图像进行锐化处理。在这种情况下，采用图像锐化进行轮廓及边缘的加强处理，能够改善图像平滑后可能产生的轮廓退化、边缘模糊等影响，进一步改善图像质量。
步骤S206，可以利用灰度直方图对锐化处理后的多张平滑图像进行对比度增强和均衡化处理以获取多张目标图像。在这种情况下，能够全局性地提升结膜杯状细胞的清晰度和对比度，进一步提升图像中结膜杯状细胞的细节质量。
返回参考图2，在步骤S106中，可以对多张目标图像进行图像配准以获取多张对齐图像。图像配准可以为使多张对齐图像中相同位置(例如相同坐标)的像素点可以对应相同的空间位置。也即，多张对齐图像中的相同位置的像素点可以对应同一空间位置。
在一些示例中，可以利用图像配准方法对多张目标图像进行匹配变换，进而使像素对齐以消除多张目标图像之间的细微的像素偏移。在这种情况下，能够使得像素坐标统一，进而获得结膜杯状细胞的空间位置及形态一致的多张对齐图像。
在一些示例中，可以将多张目标图像中的任意一张目标图像作为基准图像，将多张目标图像中的其他目标图像与该基准图像进行配准以获得多张对齐图像。在一些示例中，可以将多张目标图像中的各张目标图像分别作为基准图像以获取各张目标图像对应的多张对齐图像，进而基于各张目标图像对应的多张对齐图像确定上述的多张目标图像对应的多张对齐图像。在这种情况下，能够进一步提高配准效果。
图5A是示出了本公开实施方式所涉及的基于多张对齐图像获取全焦细胞图像的示例性的流程图。图5B是示出了本公开实施方式所涉及的基于多张对齐图像获取全焦细胞图像的另一种示例性的流程图。
图5C是示出了本公开实施方式所涉及的基于多张对齐图像获取全焦细胞图像的另一种示例性的流程图。
继续参考图2，在步骤S108中，可以基于多张对齐图像进行融合以获取全焦细胞图像。由此，能够获得一张成像区域中每个区域都聚焦清晰的图像。
在一些示例中，在步骤S108中，可以对多张对齐图像中成像清晰的部分进行融合以获取全焦细胞图像。也即，可以将多张对齐图像中不同聚焦区域的图像进行融合以生成全焦细胞图像。在一些示例中，全焦细胞图像可以是全部区域清晰的细胞图像。也即，全焦细胞图像中的目标可以是清晰的。为此，本公开还提供了两种融合方式。
在一些示例中，在第一种融合方式中，可以对多张对齐图像进行像素级别的融合以获取全焦细胞图像。在这种情况下，像素级别的融合能够较精确地适配呈曲面分布且形态不规则的结膜杯状细胞的成像，进而使全焦细胞图像中的细胞的细节质量更佳。具体地，参考图5A，可以包括步骤：
步骤S302：可以基于多张对齐图像中相应空间位置的像素点获得多个像素序列。在一些示例中，空间位置可以对应对齐图像中的一个坐标。也即，可以基于多张对齐图像中相同坐标的像素点获得多个像素序列。在各个像素序列中，每个像素点可以对应一张对齐图像。也即，各个像素序列可以包括来源多张对齐图像中属于相同的空间位置的多个像素点。例如，若一张对齐图像的尺寸大小为M×N，其中，M可以表示对齐图像的高度，N可以表示对齐图像的宽度，则多张对齐图像可以获得M×N个像素序列。也即，多张对齐图像中相同坐标的多个像素点可以组成一个像素序列。
步骤S304：可以基于多方向的梯度信息(也可以称为梯度值)确定各个像素序列中的各个像素点的聚焦效果评价值。梯度信息可以用于表示相应方向的灰度变化。另外，聚焦效果评价值可以用于评价聚焦效果。在这种情况下，基于多方向的梯度信息，能够提取对齐图像不同方向的梯度评价，且灵敏性和稳定性较好。
在一些示例中，多方向可以包括各个像素点的第一方向、第二方向、第三方向和第四方向，第一方向可以表示该像素点的x轴方向，第二方向可以表示该像素点的y轴方向，第三方向可以表示该像素点的+45°方向，第四方向可以表示该像素点的-45°方向。在这种情况下，在计算x、y轴向的梯度信息基础上，增加±45°多方向梯度信息，四个方向的梯度信息能够更全面地提取结膜杯状细胞这种呈曲面分布且形态不规则的细胞的图像在不同方向的梯度评价，且灵敏性和稳定性更好。
在一些示例中，各个像素点的聚焦效果评价值可以为第一方向、第二方向、第三方向和第四方向等四个方向对应的灰度变化的之和。在一些示例中，灰度变化可以为像素点与对应方向上的像素点之间的灰度值的变化情况。优选地，针对各个像素点的聚焦效果评价值为四个方向对应的灰度变化之和的方案，变化情况可以为像素点与对应方向上的像素点之间的灰度值的差值的平方。
在一些示例中，上述像素点与对应方向上的像素点之间可以相差预设像素。例如，预设像素可以为1像素、2像素、或3像素等。
为了方便理解，以预设像素为1像素为例，针对各个像素点的聚焦效果评价值为四个方向对应的灰度变化之和的方案，一种示例性的各个像素点的聚焦效果评价值的公式可以如下：
G1＝|g(x+1,y)-g(x,y)|2+|g(x,y+1)-g(x,y)|2+|g(x+1,y+1)-g(x,y)|2+|g(x-1,y+1)-g(x,y)|2，
其中，G1可以表示各个像素点的聚焦效果评价值，g(x,y)为对齐图像中像素点的灰度值，x为对齐图像中像素点的横坐标，y为对齐图像中的像素点的纵坐标。
在另一些示例中，各个像素点的聚焦效果评价值可以为第一方向对应的灰度变化和第二方向对应的灰度变化之和、与第三方向对应的灰度变化和第四方向对应的灰度变化之和之间的乘积，其中，第一方向对应的灰度变化和第二方向对应的灰度变化可以为像素点与对应方向上的像素点之间的灰度值的差值的平方，第三方向对应的灰度变化和第四方向对应的灰度变化可以为像素点与对应方向上的像素点之间的灰度值的差值的绝对值。
为了方便理解，以预设像素为1为例，针对各个像素点的聚焦效果评价值可以为第一方向对应的灰度变化和第二方向对应的灰度变化之和、与第三方向对应的灰度变化和第四方向对应的灰度变化之和之间的乘积的方案，一种示例性的各个像素点的聚焦效果评价值的公式可以如下：
G2＝[|g(x+1,y)-g(x,y)|2+|g(x,y+1)-g(x,y)|2].[|g(x+1,y+1)-g(x,y)|+|g(x-1,y+1)-g(x,y)|]，
其中，G2可以表示各个像素点的聚焦效果评价值，g(x,y)为对齐图像中像素点的灰度值，x为对齐图像中像素点的横坐标，y为对齐图像中的像素点的纵坐标。
步骤S306：可以基于各个像素点的聚焦效果评价值从各个像素序列中筛选像素点作为各个像素序列对应的目标像素点。
在一些示例中，目标像素点可以为各个像素序列中聚焦最佳的像素点。在一些示例中，可以利用极值法确定聚焦最佳的像素点，进而确定目标像素点。
具体地，各个像素序列中的多个像素点对应的多个聚焦效果评价值可以以对应的焦距进行排序(也即，可以以对应的聚焦平面在光轴上的位置进行排序)以确定各个像素序列对应的聚焦评价曲线，基于聚焦评价曲线的极值从各个像素序列中筛选出该极值对应的像素点作为目标像素点。也即，可以获取各个空间位置与多张对齐图像对应的一系列聚焦效果评价值(也即，各个像素序列对应的一系列聚焦效果评价值)，从而获得各个空间位置对应的聚焦评价曲线，对各个空间位置对应的聚焦评价曲线进行极值搜索，获得每个空间位置的最佳聚焦点作为目标像素点。由此，能够基于像素点的聚焦效果评价值获取最佳聚焦点。
步骤S308：可以基于多个像素序列对应的多个目标像素点获取全焦细胞图像。在一些示例中，相应空间位置的像素序列对应的目标像素点可以按空间位置进行融合以获取全焦细胞图像。也即，全焦细胞图像中的各个像素点可以为目标像素点。
但本公开的示例不限于此，在另一些示例中，空间位置可以对应对齐图像中的多个坐标。例如，空间位置可以对应对齐图像中的2个像素点的坐标、3个像素点的坐标、4个像素点的坐标或5个像素点的坐标等。各个像素序列可以包括来源多张对齐图像中属于相同的空间位置的多组像素点。在各个像素序列中，每组像素点可以对应一张对齐图像。具体地，对于空间位置对应对齐图像中的多个坐标，参考图5B，融合方式可以包括：
步骤S402：可以基于多方向的梯度信息确定各个像素序列中的各组像素点对应的聚焦效果评价值。各组像素点对应的聚焦效果评价值可以为各组像素点中各个像素点的聚焦效果评价值之和。
步骤S404：可以基于各组像素点对应的聚焦效果评价值从各个像素序列中筛选一组像素点作为各个像素序列对应的一组目标像素点。
步骤S406：可以基于多个像素序列对应的多组目标像素点获取全焦细胞图像。在一些示例中，相应空间位置的像素序列对应的每组目标像素点可以按空间位置进行融合以获取全焦细胞图像。也即，全焦细胞图像中的像素点可以由多个像素序列对应的多组目标像素点组成。
需要说明的是，步骤S402至步骤S406中与步骤S304至步骤S308相关的内容不再赘述。在一些示例中，空间位置对应对齐图像中的多个坐标的数量可以根据实际情况进行调整。在这种情况下，能够根据全焦细胞图像的清晰度或观测对象2的分布特点适应性地调整坐标的数量。
在一些示例中，在第二种融合方式中，可以对多张对齐图像进行聚焦区域检测并融合聚焦区域以获取全焦细胞图像。具体地，参考图5C，可以包括：
步骤S502：可以对各张对齐图像进行图像分解以获取多个频率的频率图像。在一些示例中，多个频率的频率图像可以包括低频子带图像和高频子带图像。另外，图像分解可以包括小波变换分解和NSST变换分解中的至少一种分解。
步骤S504：可以对各张频率图像进行聚焦区域检测以获取各张频率图像的聚焦区域。在一些示例中，可以对频率图像进行灰度直方图均衡化和中值滤波，然后采用基于清晰度评价函数在滑动窗口内进行检测评分以获取评分最高的窗口对应的区域作为聚焦区域。
步骤S506：可以对频率相同的频率图像的聚焦区域进行融合以获取各个频率对应的初步融合结果。
步骤S508：可以对多个频率对应的初步融合结果进行逆变换以获取全焦细胞图像。
本公开还涉及一种结膜杯状细胞成像的图像融合装置，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行计算机可读指令，计算机可读指令被处理器运行时执行上述的图像融合方法中的一个或多个步骤。
在本公开中，获取多个不同的聚焦平面对应的多张初始图像，对多张初始图像进行预处理和图像配准后获得多张对齐图像，基于像素级别的聚焦判断以获取多张对齐图像中单像素的最佳聚焦点，进而基于多个最佳聚焦点获取全焦细胞图像。在这种情况下，基于多个不同的聚焦平面对应的多张初始图像进行融合，能够使全焦细胞图像具有眼结膜区域不同深度处的结膜杯状细胞的清晰成像。另外，像素级别的融合能够较精确地适配呈曲面分布且形态不规则的结膜杯状细胞的成像，进而使全焦细胞图像中的细胞的细节质量更佳。另外，基于多方向的梯度信息确定最佳聚焦点，能够提取不同方向的梯度评价，且灵敏性和稳定性较好。
虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。
Claims (10)
1.一种结膜杯状细胞成像的图像融合方法，其特征在于，用于对由焦距可调的成像装置获取的位于被测者的眼结膜区域的结膜杯状细胞的细胞图像进行融合，所述图像融合方法包括：接收与聚焦平面集对应的多张初始图像，其中，基于被测者的眼结膜区域的深度确定目标变焦范围，由所述成像装置控制聚焦平面移动以获得与所述目标变焦范围相关的所述聚焦平面集，所述聚焦平面集包括多个不同的聚焦平面，所述初始图像为所述细胞图像；对所述多张初始图像进行预处理以获取多张目标图像；对所述多张目标图像进行图像配准以获取多张对齐图像，所述多张对齐图像中的相同位置的像素点对应同一空间位置；基于所述多张对齐图像中相同坐标的像素点获得多个像素序列；基于多方向的梯度信息确定各个像素序列中的各个像素点的聚焦效果评价值；基于各个像素点的聚焦效果评价值从各个像素序列中筛选像素点作为各个像素序列对应的目标像素点；并且基于所述多个像素序列对应的多个所述目标像素点获取全焦细胞图像。
2.根据权利要求1所述的图像融合方法，其特征在于，
所述结膜杯状细胞预涂有荧光标记物，当所述荧光标记物在光束的照射下输出携带有结膜杯状细胞信息的目标光束，所述目标光束聚焦于所述成像装置的感光平面而获得各个聚焦平面对应的所述初始图像。
3.根据权利要求1所述的图像融合方法，其特征在于，
各个像素序列中的多个像素点对应的多个聚焦效果评价值以对应的焦距进行排序以确定各个像素序列对应的聚焦评价曲线，基于所述聚焦评价曲线的极值从各个像素序列中筛选出该极值对应的像素点作为所述目标像素点。
4.根据权利要求1所述的图像融合方法，其特征在于，
所述目标变焦范围的最大值不小于被测者的眼结膜区域的深度对应的焦距，所述目标变焦范围的最小值不大于被测者的眼结膜区域的最浅处对应的焦距。
5.根据权利要求4所述的图像融合方法，其特征在于，
令初始焦距为所述目标变焦范围的最大值，所述成像装置控制聚焦平面以预设变焦步距沿着光轴至少移至所述目标变焦范围的最小值以获得所述聚焦平面集；和/或
令初始焦距为所述目标变焦范围的最小值，所述成像装置控制聚焦平面以预设变焦步距沿着光轴至少移至所述目标变焦范围的最大值以获得所述聚焦平面集；和/或
令初始焦距为所述目标变焦范围的中间值，所述成像装置控制聚焦平面以预设变焦步距沿着光轴并分别朝远离所述中间值对应的聚焦平面的两个方向移动以使移动范围包含所述目标变焦范围，进而获得所述聚焦平面集；和/或
令初始焦距为最佳聚焦平面对应的焦距，所述成像装置控制聚焦平面以预设变焦步距沿着光轴并分别朝远离所述最佳聚焦平面的两个方向移动以使移动范围包含所述目标变焦范围，进而获得所述聚焦平面集，其中，通过预先采集且对应不同的聚焦平面的多张测试图像，获取所述多张测试图像对应的多个图像聚焦效果评价值并基于所述多个图像聚焦效果评价值确定聚焦效果评价函数，基于所述聚焦效果评价函数的极值确定所述最佳聚焦平面。
6.根据权利要求5所述的图像融合方法，其特征在于，
所述聚焦平面集中的聚焦平面的数量不小于被测者的眼结膜区域的深度除以所述预设变焦步距。
7.根据权利要求1所述的图像融合方法，其特征在于，
所述多方向包括各个像素点的第一方向、第二方向、第三方向和第四方向，所述第一方向表示该像素点的x轴方向，所述第二方向表示该像素点的y轴方向，所述第三方向表示该像素点的+45°方向，所述第四方向表示该像素点的-45°方向。
8.根据权利要求1所述的图像融合方法，其特征在于，
在所述预处理中，对所述多张初始图像进行图像平滑处理以获取多张平滑图像，对所述多张平滑图像进行锐化处理，利用灰度直方图对锐化处理后的所述多张平滑图像进行对比度增强和均衡化处理以获取所述多张目标图像。
9.根据权利要求1至8任一项所述的图像融合方法，其特征在于，
在所述成像装置控制聚焦平面移动中，聚焦平面每次移动的变焦步距不大于所述成像装置的系统景深。
10.一种结膜杯状细胞成像的图像融合装置，其特征在于，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行根据权利要求1至8任一项所述的图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210943816.2A CN115170557A (zh) | 2022-08-08 | 2022-08-08 | 结膜杯状细胞成像的图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210943816.2A CN115170557A (zh) | 2022-08-08 | 2022-08-08 | 结膜杯状细胞成像的图像融合方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170557A true CN115170557A (zh) | 2022-10-11 |
Family
ID=83478506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210943816.2A Pending CN115170557A (zh) | 2022-08-08 | 2022-08-08 | 结膜杯状细胞成像的图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115170557A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105158892A (zh) * | 2015-08-27 | 2015-12-16 | 镇江超纳仪器有限公司（中外合资） | 一种实现干涉测量快速聚焦的方法 |
| CN105430266A (zh) * | 2015-11-30 | 2016-03-23 | 努比亚技术有限公司 | 基于多尺度变换的图像处理方法及终端 |
| CN105631811A (zh) * | 2016-02-25 | 2016-06-01 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
| CN107481213A (zh) * | 2017-08-28 | 2017-12-15 | 湖南友哲科技有限公司 | 显微镜下图像多层聚焦融合方法 |
| CN110517211A (zh) * | 2019-07-31 | 2019-11-29 | 茂莱（南京）仪器有限公司 | 一种基于梯度域映射的图像融合方法 |
| CN110837809A (zh) * | 2019-11-11 | 2020-02-25 | 湖南伊鸿健康科技有限公司 | 血液自动分析方法、系统、血细胞分析仪及存储介质 |
| CN111598820A (zh) * | 2020-05-14 | 2020-08-28 | 山东凯鑫宏业生物科技有限公司 | 应用于医疗的基于拉普拉斯金字塔变换mri图像融合方法及mri设备 |
| CN112001904A (zh) * | 2020-08-21 | 2020-11-27 | 珀乐(北京)信息科技有限公司 | 一种遥感图像质量清晰度综合评价模块及评价方法 |
| CN112233082A (zh) * | 2020-10-13 | 2021-01-15 | 深圳市瑞沃德生命科技有限公司 | 细胞图像自动曝光方法及其装置 |
| CN112432607A (zh) * | 2020-11-10 | 2021-03-02 | 四川欧瑞特光电科技有限公司 | 一种自动变焦三维形貌测量系统及方法 |
| CN112529951A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 扩展景深图像的获取方法、装置及电子设备 |
-
2022
- 2022-08-08 CN CN202210943816.2A patent/CN115170557A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105158892A (zh) * | 2015-08-27 | 2015-12-16 | 镇江超纳仪器有限公司（中外合资） | 一种实现干涉测量快速聚焦的方法 |
| CN105430266A (zh) * | 2015-11-30 | 2016-03-23 | 努比亚技术有限公司 | 基于多尺度变换的图像处理方法及终端 |
| CN105631811A (zh) * | 2016-02-25 | 2016-06-01 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
| CN107481213A (zh) * | 2017-08-28 | 2017-12-15 | 湖南友哲科技有限公司 | 显微镜下图像多层聚焦融合方法 |
| CN110517211A (zh) * | 2019-07-31 | 2019-11-29 | 茂莱（南京）仪器有限公司 | 一种基于梯度域映射的图像融合方法 |
| CN112529951A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 扩展景深图像的获取方法、装置及电子设备 |
| CN110837809A (zh) * | 2019-11-11 | 2020-02-25 | 湖南伊鸿健康科技有限公司 | 血液自动分析方法、系统、血细胞分析仪及存储介质 |
| CN111598820A (zh) * | 2020-05-14 | 2020-08-28 | 山东凯鑫宏业生物科技有限公司 | 应用于医疗的基于拉普拉斯金字塔变换mri图像融合方法及mri设备 |
| CN112001904A (zh) * | 2020-08-21 | 2020-11-27 | 珀乐(北京)信息科技有限公司 | 一种遥感图像质量清晰度综合评价模块及评价方法 |
| CN112233082A (zh) * | 2020-10-13 | 2021-01-15 | 深圳市瑞沃德生命科技有限公司 | 细胞图像自动曝光方法及其装置 |
| CN112432607A (zh) * | 2020-11-10 | 2021-03-02 | 四川欧瑞特光电科技有限公司 | 一种自动变焦三维形貌测量系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周金凤: "多焦面图像融合及其在纺织品数字化检测中的应用", vol. 2019, no. 2, pages 2 * |
| 杨金中等: "《中国矿山遥感监测》", pages: 116 - 117 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6741359B2 (en) | Optical coherence tomography optical scanner | |
| US9232889B2 (en) | Method and apparatus for ocular surface imaging | |
| Lu et al. | Development of a multispectral structured illumination reflectance imaging (SIRI) system and its application to bruise detection of apples | |
| US20140049750A1 (en) | Eye position registering and tracking | |
| US10664685B2 (en) | Methods, systems, and devices for optical sectioning | |
| JP3453911B2 (ja) | 視線認識装置 | |
| US20160066778A1 (en) | Ophthalmologic apparatus and ophthalmologic apparatus control method | |
| JP4751689B2 (ja) | 眼球表面解析システム | |
| CN111679418B (zh) | 基于激光图像的显微镜自动聚焦方法、系统及计算机设备 | |
| US20060228008A1 (en) | Method and apparatus for analyzing biological tissues | |
| JPH10513287A (ja) | 物体のイメージ、画像を記録、撮像のための方法及び装置 | |
| Chen et al. | Automatic dewarping of retina images in adaptive optics confocal scanning laser ophthalmoscope | |
| CN115170557A (zh) | 结膜杯状细胞成像的图像融合方法及装置 | |
| JP6853690B2 (ja) | 眼科撮影装置 | |
| JP6882242B2 (ja) | 眼科装置およびその制御方法 | |
| CN114983334A (zh) | 一种基于机器视觉的裂隙灯自调节控制方法和裂隙灯 | |
| KR102141967B1 (ko) | Oct 시스템, oct 영상 생성 방법 및 저장 매체 | |
| US11642019B2 (en) | Ophthalmic device | |
| WO2021256132A1 (ja) | 眼科装置、眼科装置の制御方法、及びプログラム | |
| CN115299872A (zh) | 结膜杯状细胞的荧光成像设备 | |
| Marrugo Hernández | Comprehensive retinal image analysis: image processing and feature extraction techniques oriented to the clinical task | |
| Song et al. | A novel volumetric fusion algorithm for optical-resolution photoacoustic microscopy based on 3D-SWT and joint weighted evaluation optimization | |
| CN114638879A (zh) | 一种医用的瞳孔大小测量系统 | |
| Pavlov et al. | Information technologies for the analysis of the structural changes in the process of idiopathic macular rupture diagnostics | |
| CN118121326A (zh) | 眼部手术定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |