CN117705775A - 多色荧光显微成像系统、成像方法、自动聚焦方法 - Google Patents

Abstract

本发明涉及基因测序显微成像技术领域，具体提供一种多色荧光显微成像系统、成像方法、自动聚焦方法，通过使用被测物的反射激光照明场成像作为光学检焦信号，并通过系统内置的探测器进行收集。通过提取梯度峰位置间距特征确定被测物的离焦量，并为显微镜的自动聚焦提供反馈，无需增加额外的光路或多次迭代逼近即可达到较高的聚焦精度。在波动或振动时两个梯度峰变化相同，相对位置关系不变，可以避免激光照明场能量波动和位置偏移的影响，实现在复杂环境下高精度聚焦能力。

Description

多色荧光显微成像系统、成像方法、自动聚焦方法

技术领域

本发明涉及基因测序显微成像技术领域，具体提供一种多色荧光显微成像系统、成像方法、自动聚焦方法。

背景技术

生物越是生存在极端环境下，所具有的基因遗传信息的科研价值越高。深海环境中存在着大范围的温度变化，从海水表面的相对温暖到深层水域的极低温度，从深海冷泉2°C-4°C到深海热泉200°C-400°C。不同材料在不同温度下的性能变化，包括刚度、强度和导热性等，这种范围可能导致设备的结构和材料发生热膨胀和收缩，可能会导致设备部件的变形或失效。同时，水流和潮汐运动、深海环境中的水流和潮汐运动可能导致设备受到不断的振动。这些振动可能是周期性的，也可能是随机的，对设备造成冲击和应力。温度和振动的变化最终可能引起光学元件的焦距变化，导致图像质量下降，针对这些挑战，现有深海应用装备通过材料选择、结构设计、隔离技术和振动抑制技术等方面的不断创新，以确保设备能够在极端温度和振动环境中保持性能和稳定性。

在深海应用和其他极端环境中，创新技术如高性能材料选择、结构设计、振动隔离台、热隔离、自适应光学系统和振动抑制技术等，发挥着关键作用以解决温度和振动等环境挑战。然而，这些技术也伴随着一些潜在的弊端和挑战。首先，高性能材料和技术通常导致昂贵的成本，这可能在项目预算方面构成障碍。此外，振动隔离台等技术虽然可减少振动对设备的干扰，但也可能增加设备的体积和重量，限制了其可携带性和部署性。此外，高级技术引入了更多的复杂性，这可能增加设备故障的风险。热隔离技术可以减少温度变化对设备的影响，但也可能增加设备的重量和复杂性。主动振动抑制系统通常需要额外的电力供应，可能对电池寿命和能源需求造成压力。此外，在极端环境中维护和修理设备通常非常困难，尤其是在深海或遥远的极端环境中。总的来说，深海应用和其他极端环境中的技术开发需要仔细权衡性能、可靠性、成本和环境适应性等因素，以克服这些挑战并不断改进技术，以确保其在极端环境中的有效性和可持续性。

现有的基因测序设备是为标准实验室环境设计的，而深海环境下的原位基因测序设备则需要应对如大温差、冲击和漂移等恶劣环境，这无疑对自动聚焦系统提出了巨大挑战。与此同时，恶劣的环境也使得设备的部署和收集变得困难且风险增大，因此在设备设计上必须考虑其便携性、耐压性和耐冲击性。尽管纳米孔测序技术在小型化设备上取得了显著进步，但其在自动化程度和样品多样性方面仍有待提高。而基于光学方法的二代基因测序技术具有实现外场原位应用的巨大潜力。基因测序仪通过采用拥有高信息容量的显微镜，快速扫描和成像高信息密度的基因芯片，并进一步通过数据分析处理以得到基因序列。显微镜常采用基于图像处理的自动对焦方法，该方法会导致光损伤和浪费大量时间相比之下，基于光电信号检测的对焦方法更快。但是，该方法需要复杂的光路设计和配套硬件，导致在恶劣环境下系统稳定性差，无法满足现场使用的基因测序仪的要求。

发明内容

本发明为解决上述问题，提供了一种多色荧光显微成像系统、成像方法、自动聚焦方法。

本发明提供一种多色荧光显微成像系统，包括激光器、物镜、二向色镜、准直系统、滤光片转轮、筒镜、探测器、三维位移台；

被测物放置在所述三维位移台上，所述激光器发出激发光经所述准直系统、所述二向色镜聚焦于所述被测物激发出荧光，所述荧光通过所述物镜收集，经过所述滤光片转轮的光谱选择，通过所述筒镜成像在所述探测器上；

所述激发光被所述被测物反射后被所述物镜收集，通过所述滤光片转轮的光谱选择，在探测器上得到反射激光照明场成像，所述反射激光照明场成像用于自动聚焦。

作为优选的方案，所述准直系统包括光纤匀束器和光纤准直器，所述光纤匀束器一端与所述激光器连接，所述光纤匀束器的另一端与所述光纤准直器连接。

作为优选的方案，还包括基因测序芯片，所述基因测序芯片包括基因测序芯片盖板以及基因测序芯片基板。

本发明提供一种基于图像梯度峰位置的自动聚焦方法，应用于如上述的多色荧光显微成像系统，所述基于图像梯度峰位置的自动聚焦方法包括：

预先获取不同离焦量下梯度峰信号间距，建立梯度峰信号间距与离焦量之间的映射关系，绘制离焦量标准评价曲线，其中，所述梯度峰信号间距根据反射激光照明场成像的任意单一方向灰度梯度峰位置信号提取得到；

获取多色荧光显微成像系统的当前梯度峰信号间距，并通过所述离焦量标准评价曲线，得到当前离焦量，将所述当前离焦量反馈给三维位移台进行离焦补偿。

作为优选的方案，所述获取多色荧光显微成像系统的当前梯度峰信号间距，并通过所述离焦量标准评价曲线，得到当前离焦量，将所述当前离焦量反馈给三维位移台进行离焦补偿之前，还包括：

单向步进所述三维位移台，连续收集检焦系统输出的离焦量值；

将所述三维位移台从负离焦位置向正离焦位置单次步进预设距离阈值，在两次步进间隔期间，所述检焦系统进行N次采样计算离焦位置，计算N次连续重复采样的离焦量均值，其中N为正整数。

本发明提供一种多色荧光显微成像系统的成像方法，应用于如上述的多色荧光显微成像系统，所述多色荧光显微成像系统的成像方法包括：

被测物放置在所述三维位移台上，切换滤光片转轮，激光器发出激发光经准直系统、二向色镜聚焦于所述被测物激发出荧光；

进入自动聚焦，所述激发光被所述被测物反射后被所述物镜收集，通过所述滤光片转轮的光谱选择，在探测器上得到反射激光照明场成像，所述反射激光照明场成像用于自动聚焦；

继续切换所述滤光片转轮，所述荧光通过所述物镜收集，经过所述滤光片转轮的光谱选择，通过所述筒镜成像在所述探测器上得到被测物的碱基荧光图像；

当所述碱基荧光图像为合格时判断是否继续扫描；

当确定继续扫描时移动到下一区域。

与现有技术相比，本发明能够取得如下有益效果：

本发明实施例中提供一种多色荧光显微成像系统，通过使用被测物的反射激光照明场成像作为光学检焦信号，并通过探测器进行收集。通过提取梯度峰位置间距特征确定被测物的离焦量，并为显微镜的自动聚焦提供反馈，无需增加额外的光路或多次迭代逼近即可达到较高的聚焦精度。另一方面，本发明实施例中提供一种多色荧光显微成像系统，通过使用被测物的反射激光照明场成像作为光学检焦信号，并通过探测器进行收集。通过提取梯度峰位置间距特征确定被测物的离焦量，并为显微镜的自动聚焦提供反馈，无需增加额外的光路或多次迭代逼近即可达到较高的聚焦精度。再一方面，本发明实施例中提供一种多色荧光显微成像系统的成像方法，利用临界照明与显微系统共焦面的特性，在波动或振动时两个梯度峰变化相同，相对位置关系不变，可以避免激光照明场能量波动和位置偏移的影响，实现在复杂环境下高精度聚焦能力。与传统的光电传感器系统相比，此方法不需要添加额外的光路，装置零空间占用，易于系统嵌入。

附图说明

图1是根据本发明实施例提供的多色荧光显微成像系统的结构示意图；

图2是根据本发明实施例提供的多色荧光显微成像系统中基因测序芯片的结构示意图；

图3是根据本发明实施例提供的基于图像梯度峰位置的自动聚焦方法的流程示意图；

图4是根据本发明实施例提供的基于图像梯度峰位置的自动聚焦方法中梯度峰值间距的图像边缘识别技术原理图；

图5是根据本发明实施例提供的基于图像梯度峰位置的自动聚焦方法中多采样模式高精度聚焦效果图；

图6是现有技术中单采样模式离焦量标准评价曲线图；

图7是根据本发明实施例提供的多色荧光显微成像系统的成像方法的流程示意图。

其中的附图标记包括：

三维位移台100、物镜110、激光器120、光纤匀束器121、光纤准直器122、二向色镜123、滤光片转轮130、筒镜140、探测器150、基因测序芯片300、基因测序芯片盖板310、基因测序芯片基板320、理论图像400、理论波形410、实际波形420、一阶导数421、梯度峰位置信号间距422、单采样模式自动聚焦动态范围610、离焦量标准评价曲线620、测量离焦值810、评价测量离焦值820、实际离焦量830、步进位移量831。

具体实施方式

在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

结合图1所示，本发明实施例中提供一种多色荧光显微成像系统，包括激光器120、物镜110、二向色镜123、准直系统（图中未示出）、滤光片转轮130、筒镜140、探测器150、三维位移台100；

被测物放置在三维位移台100上，激光器120发出激发光经准直系统、二向色镜123聚焦于被测物激发出荧光，荧光通过物镜110收集，经过滤光片转轮130的光谱选择，通过筒镜140成像在探测器150上，使用被测物的反射激光照明场成像作为光学检焦信号，并通过系统内置的探测器150进行成像收集，探测器150可以采用CCD（Charge Coupled Device，电荷耦合器件）；

激发光被被测物反射后被物镜110收集，通过滤光片转轮130的光谱选择，在探测器150上得到反射激光照明场成像，该反射激光照明场成像用于自动聚焦，通过反射激光照明场成像作为光学自动聚焦反馈信号，无需增加额外的光路或多次迭代逼近，就能达到较高的聚焦精度。

结合图1所示，在一些实施例中，准直系统包括光纤匀束器121和光纤准直器122，光纤匀束器121一端与激光器120连接，光纤匀束器121的另一端与光纤准直器122连接，本领域普通技术人员可以灵活选择，对此不做限定。

结合图1和2所示，在一些实施例中，还包括用来承载被测物的基因测序芯片300，基因测序芯片300放置在三维位移台100，所述基因测序芯片300包括基因测序芯片盖板310以及基因测序芯片基板320，本领域普通技术人员应当了解，对此不做赘述。

本发明实施例中提供一种多色荧光显微成像系统，通过使用被测物的反射激光照明场成像作为光学检焦信号，并通过系统内置的探测器进行收集。通过提取梯度峰位置间距特征确定被测物的离焦量，并为显微镜的自动聚焦提供反馈，无需增加额外的光路或多次迭代逼近即可达到较高的聚焦精度。

结合图1和图3所示，相应地，本发明实施例提供一种基于图像梯度峰位置的自动聚焦方法，应用于如上述的多色荧光显微成像系统，所述方法包括：

S301、预先获取不同离焦量下梯度峰信号间距，建立梯度峰信号间距与离焦量之间的映射关系，绘制离焦量标准评价曲线，其中，所述梯度峰信号间距根据反射激光照明场成像的任意单一方向灰度梯度峰位置信号提取得到；

S302、获取多色荧光显微成像系统的当前梯度峰信号间距，并通过所述离焦量标准评价曲线，得到当前离焦量，将所述当前离焦量反馈给三维位移台进行离焦补偿。

在一些实施例中，S301中，所述获取多色荧光显微成像系统的当前梯度峰信号间距，并通过所述离焦量标准评价曲线，得到当前离焦量，将所述当前离焦量反馈给三维位移台进行离焦补偿之前，还包括：

单向步进所述三维位移台，连续收集检焦系统输出的离焦量值；

将所述三维位移台从负离焦位置向正离焦位置单次步进预设距离阈值，在两次步进间隔期间，所述检焦系统进行N次采样计算离焦位置，计算N次连续重复采样的离焦量均值，其中N为正整数。

在本实施例中，所述预设距离阈值为78nm，所述N可以为50。

在一些实施例中，S302中，所述预先获取不同离焦量下梯度峰信号间距，建立梯度峰信号间距与离焦量之间的映射关系，绘制离焦量标准评价曲线，包括：

在±50μm的范围内，选择了离焦间隔1μm的100幅图像，获得了检焦系统的标准评价函数曲线，标准评价函数曲线的斜率k为-24.103/μm，检焦系统的理论灵敏度为1/k，即0.041μm。

将三维位移台100从负离焦位置向正离焦位置单次步进78nm，在两次步进间隔期间，检焦系统进行50次采样计算离焦位置，计算50次连续重复采样的离焦量均值。

结合图4-图5显示，反射激光照明场成像在不同状态下的编号为400（理论图像）、410（理论波形）、420（实际波形）、421（一阶导数），检测到的两个一阶导数的梯度峰位置信号间距422随着实际离焦位置呈步进式变化，且没有响应延迟。检测到的梯度峰位置信号间距422的均值与实际离焦量830的偏差也较小。因此，在连续采样模式下，在±500nm离焦量z的范围内可以实现78nm的离焦量识别。在此基础上，可以通过增加迭代次数，将工作范围扩大到±50μm。

结合图5和图6所示，需要说明的是，该方法离焦量标准评价曲线单调切线性度极高，使得自动对焦系统单次迭代单次采样达到±200nm精度，动态范围达到±50μm，通过在连续多次采样模式下，整体波动会随离焦量的变化而发生偏移，表示对离焦量有更高的精度响应。图5来验证这一现象，单向步进三维位移台，同时连续收集检焦系统输出的离焦量值，测量离焦值810、评价测量离焦值820、实际离焦量830、步进位移量831，图6中，单采样模式自动聚焦动态范围610、离焦量标准评价曲线620。

本发明实施例中提供一种基于图像梯度峰位置的自动聚焦方法，通过研究离焦量连续变化时的临界照明光场边缘梯度峰值间距，可以确定系统的离焦量。离焦评价函数单调线性，不需要多次迭代逼近，聚焦精度高、速度快，动态范围大，与传统的光电传感器系统相比，此方法不需要添加额外的光路，装置零空间占用，易于系统嵌入。

结合图7所示，相应地，本发明实施例中提供一种多色荧光显微成像系统的成像方法，应用于如上述的多色荧光显微成像系统，所述方法包括：

S701、被测物放置在所述三维位移台上，切换滤光片转轮，激光器发出激发光经准直系统、二向色镜聚焦于所述被测物激发出荧光；

S702、进入自动聚焦，所述激发光被所述被测物反射后被所述物镜收集，通过所述滤光片转轮的光谱选择，在探测器上得到反射激光照明场成像，所述反射激光照明场成像用于自动聚焦；

S703、继续切换所述滤光片转轮，所述荧光通过所述物镜收集，经过所述滤光片转轮的光谱选择，通过所述筒镜成像在所述探测器上得到被测物的碱基荧光图像；

S704、当所述碱基荧光图像为合格时判断是否继续扫描；

S705、当确定继续扫描时移动到下一区域。

本发明实施例中提供一种多色荧光显微成像系统的成像方法，利用临界照明与显微系统共焦面的特性，在波动或振动时两个梯度峰变化相同，相对位置关系不变，可以避免激光照明场能量波动和位置偏移的影响，实现在复杂环境下高精度聚焦能力。与传统的光电传感器系统相比，此方法不需要添加额外的光路，装置零空间占用，易于系统嵌入。

本发明实施例中提供的多色荧光显微成像系统、成像方法以及基于图像梯度峰位置的自动聚焦方法，可以适用于深海原位基因测序显微镜的自动对焦方法。本发明具有广泛的应用领域，最初用于深海生物基因研究，但其应用不仅限于此。结合光谱、色谱、拉曼分析等技术，它可以用于研究海底岩石、矿物和沉积物，帮助了解地球内部的结构和演化，广泛应用于地质和地球科学领域。此外，它在矿产、石油和天然气等资源勘探领域中具有潜力，用于监测资源质量和可采性，提高勘探效率。同时，该技术还可用于深海环境监测，包括污染监测和气候变化研究。此外，高质量聚焦成像技术在极端环境中也具有广泛的应用前景。在极地研究中，它有助于研究极地气候、冰川和生态系统，深化我们对极端环境的理解。此技术还在高原等环境中具有应用潜力，为科研和探险提供关键的视觉工具。

综上所述，本发明的广泛应用领域覆盖了深海、深空、极地和高原等极端环境，为科学研究、资源勘探、环境监测和探险提供了强大的工具，推动了这些领域的创新和发展。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (6)

1.一种多色荧光显微成像系统，其特征在于，包括激光器、物镜、二向色镜、准直系统、滤光片转轮、筒镜、探测器、三维位移台；

被测物放置在所述三维位移台上，所述激光器发出激发光经所述准直系统、所述二向色镜聚焦于所述被测物激发出荧光，所述荧光通过所述物镜收集，经过所述滤光片转轮的光谱选择，通过所述筒镜成像在所述探测器上；

所述激发光被所述被测物反射后被所述物镜收集，通过所述滤光片转轮的光谱选择，在探测器上得到反射激光照明场成像，所述反射激光照明场成像用于自动聚焦。

2.根据权利要求1所述的多色荧光显微成像系统，其特征在于，所述准直系统包括光纤匀束器和光纤准直器，所述光纤匀束器一端与所述激光器连接，所述光纤匀束器的另一端与所述光纤准直器连接。

3.根据权利要求1所述的多色荧光显微成像系统，其特征在于，还包括基因测序芯片，所述基因测序芯片包括基因测序芯片盖板以及基因测序芯片基板。

4.一种基于图像梯度峰位置的自动聚焦方法，其特征在于，应用于如权利要求1至3中任一项所述的多色荧光显微成像系统，所述基于图像梯度峰位置的自动聚焦方法包括：

预先获取不同离焦量下梯度峰信号间距，建立梯度峰信号间距与离焦量之间的映射关系，绘制离焦量标准评价曲线，其中，所述梯度峰信号间距根据反射激光照明场成像的任意单一方向灰度梯度峰位置信号提取得到；

获取多色荧光显微成像系统的当前梯度峰信号间距，并通过所述离焦量标准评价曲线，得到当前离焦量，将所述当前离焦量反馈给三维位移台进行离焦补偿。

5.根据权利要求4所述的基于图像梯度峰位置的自动聚焦方法，其特征在于，所述获取多色荧光显微成像系统的当前梯度峰信号间距，并通过所述离焦量标准评价曲线，得到当前离焦量，将所述当前离焦量反馈给三维位移台进行离焦补偿之前，还包括：

单向步进所述三维位移台，连续收集检焦系统输出的离焦量值；

将所述三维位移台从负离焦位置向正离焦位置单次步进预设距离阈值，在两次步进间隔期间，所述检焦系统进行N次采样计算离焦位置，计算N次连续重复采样的离焦量均值，其中N为正整数。

6.一种多色荧光显微成像系统的成像方法，其特征在于，应用于如权利要求1至3中任一项所述的多色荧光显微成像系统，所述多色荧光显微成像系统的成像方法包括：

被测物放置在所述三维位移台上，切换滤光片转轮，激光器发出激发光经准直系统、二向色镜聚焦于所述被测物激发出荧光；

进入自动聚焦，所述激发光被所述被测物反射后被所述物镜收集，通过所述滤光片转轮的光谱选择，在探测器上得到反射激光照明场成像，所述反射激光照明场成像用于自动聚焦；

继续切换所述滤光片转轮，所述荧光通过所述物镜收集，经过所述滤光片转轮的光谱选择，通过所述筒镜成像在所述探测器上得到被测物的碱基荧光图像；

当所述碱基荧光图像为合格时判断是否继续扫描；

当确定继续扫描时移动到下一区域。