CN111443477A - 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质 - Google Patents

显微镜自动对焦方法、显微镜系统、医疗设备和存储介质 Download PDF

Info

Publication number
CN111443477A
CN111443477A CN202010287375.6A CN202010287375A CN111443477A CN 111443477 A CN111443477 A CN 111443477A CN 202010287375 A CN202010287375 A CN 202010287375A CN 111443477 A CN111443477 A CN 111443477A
Authority
CN
China
Prior art keywords
lens
beam splitter
image
camera
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010287375.6A
Other languages
English (en)
Other versions
CN111443477B (zh
Inventor
廖俊
姚建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010287375.6A priority Critical patent/CN111443477B/zh
Publication of CN111443477A publication Critical patent/CN111443477A/zh
Application granted granted Critical
Publication of CN111443477B publication Critical patent/CN111443477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明提供了一种显微镜系统，包括：照相机组件，用于对所述显微镜视野中的待观测样品进行拍照；分束器组件，包括至少一个分束器，用于分别对不同光路中的光线进行分离与投射；辅助对焦装置，用于确定与所述照相机组件相匹配的焦距；对焦装置，配置为根据所述辅助对焦装置确定的待测样本图像的离焦量，调整进入所述照相机组件的图像光线的焦距。本发明还提供了显微镜自动对焦方法、医疗设备和存储介质，本发明能够实现对显微镜系统的照相机组件进行自动对焦，以实现照相机组件通过第一光路拍摄清晰聚焦的图像，节省了显微镜系统对焦的时间，提升了对焦的精确度。

Description

显微镜自动对焦方法、显微镜系统、医疗设备和存储介质
技术领域
本发明涉及医疗图像处理技术，尤其涉及显微镜自动对焦方法、显微镜系统、医疗设备和存储介质。
背景技术
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如，近年来增强现实技术和人工智能被提出用于传统的光学显微镜系统。在传统的光学显微镜上使用相机采集待观察样品的图像，并结合机器学习算法对实时图像进行分析。
其中，相机能采集到高质量的图像是上述增强现实显微镜的算法准确性的保障。样品离焦的图像会丢失很多重要的光学信息，所以，保证相机能够采集到样品准确对焦的图像尤为重要。对焦不准确的显微镜图像影响了模型的输出效果。
发明内容
有鉴于此，本发明实施例提供一种显微镜自动对焦方法、显微镜系统、医疗设备和存储介质，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种显微镜系统，所述显微镜系统包括：
照相机组件，用于对所述显微镜视野中的待观测样品进行拍照；
分束器组件，包括至少一个分束器，用于分别对不同光路中的光线进行分离与投射；
辅助对焦装置，用于确定与所述照相机组件相匹配的焦距；
对焦装置，配置为根据所述辅助对焦装置确定的待测样本图像的离焦量，调整进入所述照相机组件的图像光线的焦距。
所述方案中，所述显微镜系统还包括：
目镜、三目镜筒，所述目镜与所述三目镜筒套接，用于通过所述物镜对待观测样品进行观察；
所述三目镜筒设置在所述分束器远离所述物镜的一端，所述三目镜筒包括通道和管镜，所述通道至少包括两个且所述通道位于远离所述分束器的一端，其中一个通道与目镜连通，所述管镜位于靠近所述分束器的一端。
上述方案中，所述对焦装置包括移驱动组件和可变焦镜头，以实现在不同焦距时，对所述显微镜视野中的待观测样品进行拍照。
上述方案中，
所述分束器组件分别与所述物镜和所述三目镜筒的管镜连通，所述照相机组件设置于所述三目镜筒的其中一个通道中；
所述分束器组件包括一个分束器，所述透镜组件包括一个透镜，设置于所述分束器与所述图像投影组件之间；
所述对焦装置位于所述分束器与所述照相机组件之间，用于根据所述辅助对焦装置确定的待测样本图像的离焦量，调整进入所述照相机组件的图像光线的焦距。
上述方案中，
所述图像投影组件还包括第一偏振片，所述第一偏振片位于所述透镜组件与所述分束器之间，用于对所述第一光路中的相应光线进行偏振处理；
所述照相机组件还包括第二偏振片，所述第二偏振片位于所述对焦装置与所述分束器之间，用于对所述照相机组件所采集的相应光线进行偏振处理。
上述方案中，
所述辅助对焦光源设置于所述显微镜系统的聚光镜组件对应的傅里叶后焦面中，用于发出辅助对焦光线，以形成所述第二光路；
所述分束器组件包括一个设置于所述对焦装置和所述照相机组件之间的分束器，用于将所述第二光路中的光线反射至所述辅助对焦相机中；
所述辅助对焦相机设置于所述照相机组件的共轭平面的轴向偏置位置，用于基于所述第二光路中的光线，拍摄与所述显微镜视野中的待观测样品相匹配的交叠影像。
上述方案中，
所述辅助对焦光源设置于所述显微镜系统的聚光镜组件对应的傅里叶后焦面中，用于发出辅助对焦光线，以形成所述第二光路；
所述辅助对焦相机与所述图像投影组件沿所述分束器组件相对设置，用于基于所述第二光路中的光线，拍摄与所述显微镜视野中的待观测样品相匹配的交叠影像。
上述方案中，所述图像投影组件和所述照相机组件采用时分复用机制运行。
上述方案中，所述显微镜系统还包括：
至少一个输出接口设备，所述输出接口设备所述显微镜系统的数据处理单元相耦合，以输出清晰聚焦的图像和经过图像增强处理的待观测样品的图像。
上述方案中，所述物镜包括至少以下之一：
消色差物镜、平场消色差物镜、平场半复消色差物镜，或者平场复消色差物镜；
所述分束器包括至少以下之一：
方体分束器、平板分束器或薄膜分束器。
本发明实施例还提供了一种显微镜自动对焦方法，所述方法包括：
获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本；
根据所述辅助对焦的相机所拍摄的测量样本以及相应的图像评价标准，计算对应的图像评价参数；
根据所述图像评价参数，在预先存储的校准曲线中查找图像评价参数和离焦量的关系，进而确定所需要的离焦量
根据所确定的离焦量，调整进入照相机组件的图像光线的焦距，以实现照相机组件通过第一光路拍摄清晰聚焦的图像。
上述方案中，所述获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本，包括：
通过所述辅助对焦相机，采集所述第二光路中的光线；
基于与所述辅助对焦相机的类型对所采集的所述第二光路中的光线进行处理，以实现拍摄与所述显微镜视野中的待观测样品相匹配的交叠影像。
上述方案中，所述方法还包括：
基于所述焦距调整的结果，通过第一光路中的光线对所述显微镜视野中的待观测样品进行拍照，形成并输出清晰聚焦的图像。
本发明实施例还提供了一种医疗设备，所述医疗设备包括：
包括显微镜系统、存储器和处理器，所述显微镜系统为前述实施例所提供的显微镜系统，所述处理器执行以下步骤：
获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本；
根据所述辅助对焦的相机所拍摄的测量样本以及相应的图像评价标准，计算对应的图像评价参数；
根据所述图像评价参数，在预先存储的校准曲线中查找图像评价参数和离焦量的关系，进而确定所需要的离焦量
根据所确定的离焦量，调整进入照相机组件的图像光线的焦距，以实现照相机组件通过第一光路拍摄清晰聚焦的图像。
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前序显微镜自动对焦方法。
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其所述可执行指令被处理器执行时实现前述的显微镜自动对焦方法。
本发明实施例具有以下有益效果：
本发明实施例通过获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本；根据所述辅助对焦的相机所拍摄的测量样本以及相应的图像评价标准，计算对应的图像评价参数；根据所述图像评价参数，在预先存储的校准曲线中查找图像评价参数和离焦量的关系，进而确定所需要的离焦量根据所确定的离焦量，调整进入照相机组件的图像光线的焦距，由此，可以实现对焦装置对显微镜系统的照相机组件进行自动对焦，可以实现照相机组件通过第一光路拍摄清晰聚焦的图像，形成并输出通过第一光路拍摄的清晰聚焦的图像，节省了显微镜系统对焦的时间，提升了对焦的精确度。
附图说明
图1是本发明实施例提供的显微镜自动对焦方法的使用环境示意图；
图2为本发明实施例提供的医疗设备的组成结构示意图；
图3为本发明相关技术中显微镜系统的一种可选的结构；
图4是本发明实施例提供的显微镜自动对焦方法的一个可选的过程示意图；
图5是本发明实施例提供的显微镜系统的一个可选的结构示意图；
图6是本发明实施例提供的显微镜系统的一个可选的结构示意图
图7是本发明实施例提供的显微镜系统的一个可选的结构示意图；
图8是本发明实施例提供的显微镜系统的一个可选的结构示意图；
图9是本发明实施例提供的显微镜系统的一个可选的结构示意图；
图10是本发明实施例提供的显微镜系统的一个可选的结构示意图；
图11是本发明实施例提供的显微镜系统的一个可选的结构示意图；
图12是本发明实施例提供的显微镜系统的一个可选的结构示意图；
图13是本发明实施例提供的显微镜系统的一个可选的结构示意图；
图14为本发明实施例中离焦量与重影间距离关系示意图；
图15为本发明中离焦量与重影间距离关系拟合示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
2)终端，包括但不限于：普通终端、专用终端，其中所述普通终端与发送通道保持长连接和/或短连接，所述专用终端与所述发送通道保持长连接。
3)客户端，终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行支付消费功能或者是购买理财产品的功能。
4)透镜组件，至少一个透镜组合的装置，可以设置有镜筒，用于观测对象如细胞的放大的光学影像。
5)视野，通过透镜组件观察涂片中细胞的放大影像时所能够观察到的范围。
6)计算机辅助诊断(AD Computer Aided Diagnosis)其中，CAD用于通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。
下面以通过显微镜对相应的病灶细胞切片进行观察为例对本发明所提供的显微镜自动对焦方法进行说明，参考图1，图1为本发明实施例提供的显微镜自动对焦方法的使用场景示意图，参见图1，终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中获取不同的切片图像进行浏览，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中所获取的切片图像类型既可以相同也可以不相同，例如：终端(包括终端10-1和终端10-2)既可以通过网络300从相应的服务器200中获取与目标对象相匹配的病理图像或者病理视频，也可以通过网络300从相应的服务器200中获取仅与当前目标相匹配的病理切片进行浏览。服务器200中可以保存有不同目标对象各自对应的切片图像，也可以保存与所述目标对象的切片图像相匹配的辅助分析信息。
其中，服务器所部署的人工智能领域的神经网络模型能够利用在传统的光学显微镜上使用相机采集待观察样品的图像，并结合机器学习算法对实时图像进行分析。人工智能(AI Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
具体来说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能与人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
需要说明的是，在显微镜系统(与所述目标对象的病理细胞切片相接触的医疗设备)下查看的患者病灶可以包括多种不同的应用场景，如肺癌细胞筛查，宫颈癌早期筛查等不同细胞切片筛查等。基于本实施例的显微镜系统图像处理方法可以部署到多种应用场景，从而便于医生的远程查阅与使用。
服务器200通过网络300向终端(终端10-1和/或终端10-2)发送同一目标对象的病理信息以实现终端(终端10-1和/或终端10-2)的用户对目标对象的病理信息进行分析，，因此。作为一个事例，服务器200部署相应的神经网络模型，用于对显微镜系统所输出的清晰的图像进行分析，其中，所述显微镜系统获取图像可以通过以下方式实现：获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本；根据所述辅助对焦的相机所拍摄的测量样本以及相应的图像评价标准，计算对应的图像评价参数；根据所述图像评价参数，在预先存储的校准曲线中查找图像评价参数和离焦量的关系，进而确定所需要的离焦量；根据所确定的离焦量，调整进入照相机组件的图像光线的焦距，以实现照相机组件通过第一光路拍摄清晰聚焦的图像，基于所述焦距调整的结果对所述显微镜视野中的待观测样品进行拍照，形成并输出清晰聚焦的图像。
下面对本发明实施例的医疗设备的结构做详细说明，医疗设备可以各种形式来实施，如带有显微镜系统图像处理功能的专用终端，也可以为带有显微镜系统图像处理功能的医疗设备或者云服务器，例如前述图1中的服务器200。图2为本发明实施例提供的医疗设备的组成结构示意图，可以理解，图2仅仅示出了医疗设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的医疗设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。医疗设备中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的显微镜系统可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的显微镜系统可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的显微镜系统图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Pr ogrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的显微镜系统采用软硬件结合实施的示例，本发明实施例所提供的显微镜系统可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的显微镜系统图像处理方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的显微镜系统采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated C ircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的显微镜系统图像处理方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持医疗设备的操作。这些数据的示例包括：用于在医疗设备上操作的任何可执行指令，如可执行指令，实现本发明实施例的从显微镜系统图像处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的显微镜系统可以采用软件方式实现，图2示出了存储在存储器202中的显微镜系统2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括显微镜系统2020，显微镜系统2020中包括以下的软件模块：
信息处理模块2081，用于获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本；根据所述辅助对焦的相机所拍摄的测量样本以及相应的图像评价标准，计算对应的图像评价参数；根据所述图像评价参数，在预先存储的校准曲线中查找图像评价参数和离焦量的关系，进而确定所需要的离焦量；根据所确定的离焦量，调整进入照相机组件的图像光线的焦距，以实现照相机组件通过第一光路拍摄清晰聚焦的图像。
在介绍本发明所提供的显微镜自动对焦方法之前，首先对相关技术中的显微镜对焦过程进行说明，其中，参考图3，图3为本发明实施例中显微镜系统的一种可选的结构，相关实施例中提供了一种显微镜500，该显微镜300具有显微镜机身301、显微镜机身载物台调焦旋钮302、显微镜机身载物台303、显微镜待观察样品304、机身物镜305、三目镜筒306、相机307以及目镜308。其中，显微镜机身301上方设置有显微镜载物台303，显微镜机身载物台303上放置有待观察样品304，所述显微镜机身301两侧设有显微镜机身载物台调焦旋钮302，所述显微镜机身物镜305位于显微镜机身载物台303的上方，在显微镜机身物镜305的上方还设有三目镜筒306，三目镜306头分别与照相机307和目镜308连接。调节所述显微镜机身载物台调焦旋钮302可以调整显微镜机身载物台303在垂直方向上升或者下降，从而改变显微镜机身载物台303与显微镜机身物镜305之间的间距以实现调焦。当然，也可以使得显微镜机身物镜305移动，从而改变显微镜机身载物台303与显微镜机身物镜305之间的间距从而实现调焦。
其中，上述显微镜300调焦的前提是假设目镜308端与显微镜300三目镜筒306的相机307端是齐焦的。然而，由于调焦技术的限制的原因使得相机307的图像与目镜308端的图像是不齐焦的。例如：不同倍数物镜齐焦没有调节好，不同显微镜300使用者眼睛屈光度不同，且交换显微镜300使用者时，新的使用者没有调节目镜308屈光度旋钮的意识，而直接去调节载物台来使样品重新聚焦。这些原因都可以导致显微镜300的目镜308端与相机307端图像不齐焦，以至于人眼看到清晰图像时，相机307采集到的是离焦的图像，从而不能保证图像算法分析结果的正确性。而在显微镜图像自动分析领域中，相机能采集到高质量的图像是增强现实显微镜的算法准确性的保障。样品离焦的图像会丢失很多重要的光学信息，即使强大后期算法也无法弥补。所以，保证相机能够采集到样品准确聚焦的图像尤为重要。
为了克服上述缺陷，参考图4，图4是本发明实施例提供的显微镜自动对焦方法的一个可选的过程示意图，本发明所提供的显微镜自动对焦方法包括以下步骤：
步骤401：获取显微镜第二光路中的辅助对焦的相机所拍摄的测量样本；
步骤402：根据所述辅助对焦的相机所拍摄的测量样本以及相应的图像评价标准，计算对应的图像评价参数。
其中，图像评价标准可以为辅助对焦相机所采集的图像重影的相对像素的偏移量。
步骤403：根据所述图像评价参数，在预先存储的校准曲线中查找图像评价参数和离焦量的关系，进而确定所需要的离焦量；
其中，校准曲线可以预先保存在相应的存储介质中，便于通过调用该校准曲线，可以实现增强现实显微镜的自动对焦功能，其中，该预先存储的校准曲线是根据预先采集的不同离焦量对应的图像与相应的图像评价标准(例如辅助对焦相机所采集的图像重影的相对像素的偏移量)所确定的一条曲线，所以通过查找该校准曲线可以确定离焦量和不同离焦程度图像评价参数之间的关系。
步骤404：根据所确定的离焦量，调整进入所述照相机组件的图像光线的焦距，以实现照相机组件通过第一光路拍摄清晰聚焦的图像。
其中，通过本实施所提供的自动对焦方法，根据所确定的离焦量，调整进入照相机组件的图像光线的焦距时，无论目镜中所呈现的待观测图像是否清晰，都可以实现照相机组件通过第一光路拍摄清晰聚焦的图像，避免现有技术中手动调焦速度慢、精度差的缺陷。
下面结合不同形态的显微镜系统，对本发明所提供的显微镜自动对焦方法进行说明，对于不同形态的显微镜系统，其结构与图3所示的显微镜也并不相同，下面依次进行说明，例如增强现实显微镜(ARM Augmented Reality Micros cope)能够便捷且准确地观察在显微镜下的待观测样本时能够同时获取到其他增强信息，如此帮助观察者快速定位和量化感兴趣的特征。仅以应用于医疗诊断场景下为例，医生使用增强现实显微镜观察切片时，同时能够获取到基于该切片的诊断结果，即增强现实显微镜能够将诊断结果作为增强现实信息叠加在切片上，如此方便医生在视场中实时读取结论，同时服务器中运行的神经网络模型能够对病患区域做出辅助诊疗判断，以帮助医生对病灶的病理信息做出正确的判断。
参考图5，图5是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统500具体包括物镜55、分束器512和分束器513、图像投影组件511、照相机组件57以及三目镜筒56，所述物镜55具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器512设置在所述第二端10b，所述图像投影组件511通过第二透镜515中所传输的光线进行相应视野中的图像投影，所述第一透镜514的一端与所述分束器512连接、另一端与所述照相机组件57连接，所述照相机组件57包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒56设置在所述第二分束器513远离所述物镜10的一端，所述三目镜筒56包括通道和管镜518，所述通道至少包括两个且位于远离所述分束器513的一端，其中一个通道与目镜58连通，所述管镜518位于靠近所述第二分束器513的一端，所述分束器组件包括第一分束器512和第二分束器513，所述第一分束器512与所述第二分束器513连通，所述第二分束器513与所述图像投影组件511连通，所述第一分束器512与所述照相机组件57连通，所述照相机组件57还连接第一透镜514，所述第二透镜515位于所述第二分束器513与所述图像投影组件511之间，所述照相机组件57通过所述第一透镜514接收所述第一分束器512输出的光线，以完成对应的视野中图像的采集。进一步地，显微镜系统500光路为：物镜55的光线传输到第一分束器512，第一分束器512将一部分光线反射到第一透镜514并传输到照相机组件57的感光芯片上，同时，第一分束器512将一部分光线传输到第二分束器513上，图像投影装置511的光穿过第二透镜515传输到第二分束器513上，第二分束器513将物镜55传输的光透过并穿过管镜518并将图像投影装置511传输的光反射穿过管镜518达到三目镜筒56，三目镜筒56将光传输到目镜58，可以通过目镜58观察待观察样品54的图像。
但是这一过程中，不同屈光度的显微镜观测人员交换使用显微镜系统时需要每次都重复一遍繁琐的三目齐焦调节。相机也不能够自主完成自动对焦，无法采集清晰的图像。同时，显微镜使用者通过目镜看到清晰图像时，相机采集到的是离焦的图像，从而不能保证服务器中所执行的图像算法分析结果的正确性。
进一步地，参考图6，图6是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统600具体包括物镜55、分束器512和分束器513、图像投影组件511、照相机组件57以及三目镜筒56，所述物镜55具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器512设置在所述第二端10b，所述图像投影组件511通过第二透镜515中所传输的光线进行相应视野中的图像投影，所述第一透镜514的一端与所述分束器512连接、另一端与所述照相机组件57连接，所述照相机组件57包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒56设置在所述第二分束器513远离所述物镜10的一端，所述三目镜筒56包括通道和管镜518，所述通道至少包括两个且位于远离所述分束器513的一端，其中一个通道与目镜58连通，所述管镜518位于靠近所述第二分束器513的一端，所述分束器组件包括第一分束器512和第二分束器513，所述第一分束器512与所述第二分束器513连通，所述第二分束器513与所述图像投影组件511连通，所述第一分束器512与所述照相机组件57连通，所述照相机组件57还连接第一透镜514，所述第二透镜515位于所述第二分束器513与所述图像投影组件511之间，所述照相机组件57通过所述第一透镜514接收所述第一分束器512输出的光线，以完成对应的视野中图像的采集，进一步，显微镜系统600还包括：对焦装置521位于所述第一分束器512与所述照相机组件57之间，可以配置为超声驱动马达或者步进式马达，用于驱动所述第一透镜514进行焦距调整，当然对焦装置还可以表现为通过可变焦镜头进行焦距调整，具体的对焦装置表现形式可以根据显微镜系统的不同使用环境进行适配；同时，为了实现自动对焦，显微镜系统600还包括：辅助对焦光源540设置在聚光镜组541件对应的傅里叶后焦面中，用于发出辅助对焦光线，其中，辅助对焦光源540可以为两个相同的红外LED光线发射器，辅助对焦相机543设置于照相机组件57的共轭平面的轴向偏置位置，其中，辅助对焦光源540所产生的光线所形成的第二光路如图中544所示。
进一步地，显微镜系统500光路包括第一光路和第二光路，其中第一光路为：物镜55对待观测物体的光线传输到第一分束器512，第一分束器512将一部分光线反射到第一透镜514并传输到照相机组件57的感光芯片上，同时，第一分束器512将一部分光线传输到第二分束器513上，图像投影装置511的光穿过第二透镜515传输到第二分束器513上，第二分束器513将物镜55传输的光透过并穿过管镜518并将图像投影装置511传输的光反射穿过管镜518达到三目镜筒56，三目镜筒56将光传输到目镜58，可以通过目镜58观察待观察样品54的图像，在照相机组件57对相应视野中的图像进行采集之前，首先需要对照相机组件57的焦距进行调整，具体可以通过第二光路中的图像确定相应的失焦量参数。其中，热镜542配置为一片45度入射的状态，可以允许可见光透射，红外光反射。故显微镜系统600发出的可见光光线经过系统后在相机组件57的感光芯片表面成像。另一部分由作为辅助对焦光源红外LED发射的红外光线经过分束器542反射后在辅助对焦相机543处成像(部分重叠的影像)。
进一步地，参考图7，图7是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统700具体包括物镜55、分束器512和分束器513、图像投影组件511、照相机组件57以及三目镜筒56，所述物镜55具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器512设置在所述第二端10b，所述图像投影组件511通过第二透镜515中所传输的光线进行相应视野中的图像投影，所述第一透镜514的一端与所述分束器512连接、另一端与所述照相机组件57连接，所述照相机组件57包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒56设置在所述第二分束器513远离所述物镜10的一端，所述三目镜筒56包括通道和管镜518，所述通道至少包括两个且位于远离所述分束器513的一端，其中一个通道与目镜58连通，所述管镜518位于靠近所述第二分束器513的一端，所述分束器组件包括第一分束器512和第二分束器513，所述第一分束器512与所述第二分束器513连通，所述第二分束器513与所述图像投影组件511连通，所述第一分束器512与所述照相机组件57连通，所述照相机组件57还连接第一透镜514，所述第二透镜515位于所述第二分束器513与所述图像投影组件511之间，所述照相机组件57通过所述第一透镜514接收所述第一分束器512输出的光线，以完成对应的视野中图像的采集，进一步，显微镜系统还包括：对焦装置521位于所述第一分束器512与所述照相机组件57之间，可以配置为超声驱动马达或者步进式马达，用于驱动所述第一透镜514进行焦距调整，当然对焦装置还可以表现为通过可变焦镜头进行焦距调整，具体的对焦装置表现形式可以根据显微镜系统的不同使用环境进行适配。
同时，为了实现自动对焦，显微镜系统还包括：辅助对焦光源540设置在聚光镜组541件对应的傅里叶后焦面中，用于发出辅助对焦光线，其中，辅助对焦光源540可以为两个相同的红外LED光线发射器，辅助对焦相机543设置于三目镜筒56的其中一个同道中，其中，辅助对焦光源540所产生的光线所形成的第二光路如图中544所示。
进一步地，显微镜系统700光路包括分别独立的第一光路和第二光路，其中第一光路为：物镜55对待观测物体的光线传输到第一分束器512，第一分束器512将一部分光线反射到第一透镜514并传输到照相机组件57的感光芯片上，同时，第一分束器512将一部分光线传输到第二分束器513上，图像投影装置511的光穿过第二透镜515传输到第二分束器513上，第二分束器513将物镜55传输的光透过并穿过管镜518并将图像投影装置511传输的光反射穿过管镜518达到三目镜筒56，三目镜筒56将光传输到目镜58，可以通过目镜58观察待观察样品54的图像，在照相机组件57对相应视野中的图像进行采集之前，首先需要对照相机组件57的焦距进行调整，具体可以通过第二光路中的图像确定相应的失焦量参数。其中，显微镜系统700发出的可见光光线经过系统后在相机组件57的感光芯片表面成像。另一部分由作为辅助对焦光源红外LED发射的红外光线经过管镜518之后在辅助对焦相机543处成像(部分重叠的影像)。由此，不同屈光度的显微镜观测人员交换使用显微镜时不用每次都重复一遍繁琐的三目齐焦调节。相机能够自主完成自动对焦，同时，即使不同倍数物镜不齐焦或者未完成齐焦调节也不会影响相机采集清晰的图像。即使在目镜端处于未对焦状态时，照相机组件依然可以自动对焦；并且能实现图像逐层扫描，可以让相机采集三维图像数据。该三维数据可以重构厚度较大的100微米样本的三维模型，也可以用来生成超长景深全清图像。
下面继续结合不同显微镜系统的状态对本申请所提供的显微镜系统的结构进行说明，参考图8，图8是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统800具体包括物镜85、分束器812图像投影组件811、照相机组件87以及三目镜筒86，所述物镜85具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器812设置在所述第二端10b，所述分束器812分别与所述物镜85和所述多目镜筒的管镜818连通，所述照相机组件87与所述图像投影组件811沿所述分束器812相对设置，其中，所述图像投影组件811通过第二透镜815中所传输的光线进行相应视野中的图像投影，所述第一透镜814的一端与所述分束器512连接、另一端与所述照相机组件87连接，所述照相机组件87包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒86设置在所述分束器812远离所述物镜10的一端，所述三目镜筒86包括通道和管镜818，所述通道至少包括两个且位于远离所述分束器512的一端，所述管镜818位于靠近所述分束器812的一端，所述分束器812与所述照相机组件87连通，所述照相机组件87还连接第一透镜514，所述第二透镜515位于所述分束器512与所述图像投影组件811之间，所述照相机组件87通过所述第一透镜814接收所述分束器512输出的光线，以完成对应的视野中图像的采集。由于所述照相机组件87与所述图像投影组件811沿所述分束器812相对设置，为了避免光线的传播过程中的影响，因此，所述图像投影组件811中还包括第一偏振片816，所述第一偏振片816位于所述第一透镜814与所述分束器812之间，用于对所述第一光路中的相应光线进行偏振处理；所述照相机组件还包括第二偏振片817，所述第二偏振片817位于所述第二透镜815与所述分束器812之间，用于对所述照相机组件87所采集的相应光线进行偏振处理。
进一步地，显微镜系统800光路为：物镜85的光线传输到分束器812，分束器812将一部分光线反射到第一透镜814并传输到照相机组件87的感光芯片上，同时，分束器812将一部分光线传输到管镜818，并穿过管镜818并将传输的光反射穿过管镜818达到三目镜筒86，三目镜筒86将光传输到目镜88，可以通过目镜88观察待观察样品84的图像，同时，图像投影组件811产生的光线沿着第二透镜815，经过第二偏振片817的偏振处理，并通过分束器812以及第一偏振片816的偏振处理而无法到达相机组件87中，也就不会影响相机组件87的拍摄，具体来说，第一偏振片816和第二偏振片817的偏振方向相互垂直，第一偏振片816可以把第二偏振片817所输出的偏振光线消除，使得照相机组件87仅可以拍摄待观察样品84的图像。
但是这一过程中，不同屈光度的显微镜观测人员交换使用显微镜系统时需要每次都重复一遍繁琐的三目齐焦调节。相机也不能够自主完成自动对焦，无法采集清晰的图像。同时，显微镜使用者通过目镜看到清晰图像时，相机采集到的是离焦的图像，从而不能保证服务器中所执行的图像算法分析结果的正确性。
为解决上述问题，进一步地，参考图9，图9是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统800具体包括物镜85、分束器812图像投影组件811、照相机组件87以及三目镜筒86，所述物镜85具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器812设置在所述第二端10b，所述分束器812分别与所述物镜85和所述多目镜筒的管镜818连通，所述照相机组件87与所述图像投影组件811沿所述分束器812相对设置，其中，
所述图像投影组件811通过第二透镜815中所传输的光线进行相应视野中的图像投影，所述第一透镜814的一端与所述分束器512连接、另一端与所述照相机组件87连接，所述照相机组件87包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒86设置在所述分束器812远离所述物镜10的一端，所述三目镜筒86包括通道和管镜818，所述通道至少包括两个且位于远离所述分束器512的一端，所述管镜818位于靠近所述分束器812的一端，所述分束器812与所述照相机组件87连通，所述照相机组件87还连接第一透镜514，所述第二透镜515位于所述分束器512与所述图像投影组件811之间，所述照相机组件87通过所述第一透镜814接收所述分束器512输出的光线，以完成对应的视野中图像的采集。由于所述照相机组件87与所述图像投影组件811沿所述分束器812相对设置，为了避免光线的传播过程中的影响，因此，所述图像投影组件811中还包括第一偏振片816，所述第一偏振片816位于所述第一透镜814与所述分束器812之间，用于对所述第一光路中的相应光线进行偏振处理；所述照相机组件还包括第二偏振片817，所述第二偏振片817位于所述第二透镜815与所述分束器812之间，通过分束器812以及第一偏振片816的偏振处理而无法到达相机组件87中，也就不会影响相机组件87的拍摄，具体来说，由于显微镜操作人员的肉眼希望通过目镜88既能够观察待观察样品84的图像，还能够观察图像投影组件811中所输出的图像，同时，照相机组件87仅希望能够拍摄待观察样品84的图像，同时忽略图像投影组件811中所输出的图像，因此，第一偏振片816和第二偏振片817的偏振方向相互垂直，第一偏振片816可以把第二偏振片817所输出的偏振光线消除，使得照相机组件87仅可以拍摄待观察样品84的图像。
同时，为了实现自动对焦，显微镜系统800还包括：辅助对焦光源840设置在聚光镜组841件对应的傅里叶后焦面中，用于发出辅助对焦光线，其中，辅助对焦光源840可以为两个相同的红外LED光线发射器，辅助对焦相机843设置于照相机组件87的共轭平面的轴向偏置位置，其中，辅助对焦光源840所产生的光线所形成的第二光路如图中844所示。
进一步地，显微镜系统800光路包括：第一光路和第二光路，其中第一光路包括：物镜85的光线传输到分束器812，分束器812将一部分光线反射到第一透镜814并传输到照相机组件87的感光芯片上，同时，分束器812将一部分光线传输到管镜818，并穿过管镜818并将传输的光反射穿过管镜818达到三目镜6，三目镜筒86将光传输到目镜88，可以通过目镜88观察待观察样品84的图像，同时，图像投影组件811产生的光线沿着第二透镜815，经过第二偏振片817的偏振处理，并通过分束器812以及第一偏振片816无法到达相机组件87中。在照相机组件87对相应视野中的图像进行采集之前，首先需要对照相机组件87的焦距进行调整，具体可以通过第二光路中的图像确定相应的失焦量参数。
其中，第二光路包括：傅里叶后焦面中的辅助对焦光源840的光线经过物镜85，到达分束器812，分束器812将将光线传输至偏振片816中，之后经过第一透镜814到达热镜842，其中，热镜842配置为一片45度入射的状态，可以允许可见光透射，红外光反射。故显微镜系统800发出的可见光光线经过系统后在相机组件87的感光芯片表面成像。另一部分由作为辅助对焦光源红外LED发射的红外光线经过分束器842反射后在辅助对焦相机843处成像(部分重叠的影像)。
参考图10，图10是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统800具体包括物镜85、分束器812图像投影组件811、照相机组件87以及三目镜筒86，所述物镜85具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器812设置在所述第二端10b，所述分束器812分别与所述物镜85和所述多目镜筒的管镜818连通，所述照相机组件87与所述图像投影组件811沿所述分束器812相对设置，其中，所述图像投影组件811通过第二透镜815中所传输的光线进行相应视野中的图像投影，所述第一透镜814的一端与所述分束器512连接、另一端与所述照相机组件87连接，所述照相机组件87包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒86设置在所述分束器812远离所述物镜10的一端，所述三目镜筒86包括通道和管镜818，所述通道至少包括两个且位于远离所述分束器512的一端，所述管镜818位于靠近所述分束器812的一端，所述分束器812与所述照相机组件87连通，所述照相机组件87还连接第一透镜514，所述第二透镜515位于所述分束器512与所述图像投影组件811之间，所述照相机组件87通过所述第一透镜814接收所述分束器512输出的光线，以完成对应的视野中图像的采集。由于所述照相机组件87与所述图像投影组件811沿所述分束器812相对设置，为了避免光线的传播过程中的影响，因此，所述图像投影组件811中还包括第一偏振片816，所述第一偏振片816位于所述第一透镜814与所述分束器812之间，用于对所述第一光路中的相应光线进行偏振处理；所述照相机组件还包括第二偏振片817，所述第二偏振片817位于所述第二透镜815与所述分束器812之间，通过分束器812以及第一偏振片816的偏振处理而无法到达相机组件87中，也就不会影响相机组件87的拍摄，具体来说，由于显微镜操作人员的肉眼希望通过目镜88既能够观察待观察样品84的图像，还能够观察图像投影组件811中所输出的图像，同时，照相机组件87仅希望能够拍摄待观察样品84的图像，同时忽略图像投影组件811中所输出的图像，因此，第一偏振片816和第二偏振片817的偏振方向相互垂直，第一偏振片816可以把第二偏振片817所输出的偏振光线消除，使得照相机组件87仅可以拍摄待观察样品84的图像。
同时，为了实现自动对焦，显微镜系统800还包括：辅助对焦光源840设置在聚光镜组841件对应的傅里叶后焦面中，用于发出辅助对焦光线，其中，辅助对焦光源840可以为两个相同的红外LED光线发射器，辅助对焦相机843设置于三目镜筒86的一个通道中，用于通过管镜818中接收第二光路中的光线，其中，辅助对焦光源840所产生的光线所形成的第二光路如图中844所示。
进一步地，显微镜系统800光路包括：第一光路和第二光路，其中第一光路包括：物镜85的光线传输到分束器812，分束器812将一部分光线反射到第一透镜814并传输到照相机组件87的感光芯片上，同时，分束器812将一部分光线传输到管镜818，并穿过管镜818并将传输的光反射穿过管镜818达到三目镜6，三目镜筒86将光传输到目镜88，可以通过目镜88观察待观察样品84的图像，同时，图像投影组件811产生的光线沿着第二透镜815，经过第二偏振片817的过滤，并通过分束器812以及第一偏振片816不能到达相机组件87中。在照相机组件87对相应视野中的图像进行采集之前，首先需要对照相机组件57的焦距进行调整，具体可以通过第二光路中的图像确定相应的失焦量参数。
其中，第二光路包括：傅里叶后焦面中的辅助对焦光源840的光线经过物镜85，到达分束器812，分束器812将将光线传输至管镜818，最终由作为辅助对焦光源红外LED发射的红外光线经过管镜818传输至辅助对焦相机843后在辅助对焦相机843处成像(部分重叠的影像)。
进一步地，在本发明的一些实施例中，对焦装置821位于所述分束器812与所述照相机组件87之间，用于基于所述交叠影像的离焦量所确定的焦距驱动所述第一透镜进行焦距调整，形成新的焦距。
在本发明的一些实施例中，对焦装置821位于所述分束器812与所述照相机组件87之间，用于通过可变焦镜头基于所述交叠影像的离焦量所确定的焦距进行焦距调整，形成所述新的焦距；所述照相机组件87，用于基于所述新的焦距对所述显微镜视野中的待观测样品进行拍照形成并输出清晰聚焦的图像。
下面继续结合不同显微镜系统的状态对本申请所提供的显微镜系统的结构进行说明，参考图11，图11是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统1100具体包括物镜115、分束器1112图像投影组件1111、照相机组件117以及三目镜筒116，所述物镜115具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器1112设置在所述第二端10b，所述分束器1112分别与所述物镜115和所述多目镜筒的管镜1118连通，所述照相机组件117设置于所述三目镜筒的其中一个通道中，其中，所述图像投影组件1111通过透镜1115中所传输的光线进行相应视野中的图像投影，所述照相机组件117接收管镜1118传输的光线，所述照相机组件117包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒116设置在所述分束器1112远离所述物镜10的一端，所述三目镜筒116包括通道和管镜1118，所述通道至少包括两个且位于远离所述分束器1112的一端，所述管镜1118位于靠近所述分束器1112的一端，所述照相机组件117通过所述管镜1118接收所述分束器1112输出的光线，以完成对应的视野中图像的采集。
这一过程中，由于所述照相机组件117与所述图像投影组件1111设置在不同的位置，为了避免光线的传播过程中的影响，因此，所述图像投影组件1111中还包括第一偏振片1116，所述第一偏振片1116位于所述管镜1118与所述分束器1112之间，用于对所述第一光路中的相应光线进行偏振处理；所述照相机组件还包括第二偏振片1117，所述第二偏振片1117位于所述管镜1118与照相机组件117之间，用于对所述照相机组件117所采集的相应光线进行偏振处理。
进一步地，显微镜系统1100光路为：物镜115的光线传输到分束器1112，分束器1112将一部分光线反射到管镜1118并通过所述第一偏振片1116传输到照相机组件117的感光芯片上，同时，分束器1112将一部分光线传输到管镜1118，并穿过管镜1118并将传输的光反射穿过管镜1118达到三目镜筒116，三目镜筒116将光传输到目镜118，可以通过目镜118观察待观察样品114的图像，同时，图像投影组件1111产生的光线沿着透镜1115，经过第二偏振片1117的偏振处理，并通过分束器1112以及第一偏振片1116的作用，使其不能到达相机组件117中，也就不会影响相机组件117的拍摄。
但是这一过程中，不同屈光度的显微镜观测人员交换使用显微镜系统时需要每次都重复一遍繁琐的三目齐焦调节。相机也不能够自主完成自动对焦，无法采集清晰的图像。同时，显微镜使用者通过目镜看到清晰图像时，相机采集到的是离焦的图像，从而不能保证服务器中所执行的图像算法分析结果的正确性。
为解决上述问题，进一步地，参考图12，图12是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统1200具体包括物镜115、分束器1112图像投影组件1111、照相机组件117以及三目镜筒116，所述物镜115具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器1112设置在所述第二端10b，所述分束器1112分别与所述物镜115和所述多目镜筒的管镜1118连通，所述照相机组件117设置于所述三目镜筒的其中一个通道中，其中，所述图像投影组件1111通过透镜1115中所传输的光线进行相应视野中的图像投影，所述照相机组件117接收管镜1118传输的光线，所述照相机组件117包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒116设置在所述分束器1112远离所述物镜10的一端，所述三目镜筒116包括通道和管镜1118，所述通道至少包括两个且位于远离所述分束器1112的一端，所述管镜1118位于靠近所述分束器1112的一端，所述照相机组件117通过所述管镜1118接收所述分束器1112输出的光线，以完成对应的视野中图像的采集。由于所述照相机组件117与所述图像投影组件1111设置在不同的位置，为了避免光线的传播过程中的影响，因此，所述图像投影组件1111中还包括第二偏振片1117，所述第二偏振片1117位于所述透镜1115与所述分束器1112之间，用于对所述第一光路中的相应光线进行偏振处理；所述照相机组件还包括第一偏振片1116，所述第一偏振片1116位于所述管镜1118与照相机组件117之间，用于对所述照相机组件117所采集的相应光线进行偏振处理，具体来说，由于显微镜操作人员的肉眼希望通过目镜118既能够观察待观察样品114的图像，还能够观察图像投影组件1111中所输出的图像，同时，照相机组件117仅希望能够拍摄待观察样品114的图像，同时忽略图像投影组件1111中所输出的图像，通过第二偏振片1117可以将图像投影组件1111所输出的光线变为偏振光线，可以直接通过目镜118到达人眼进行观察，但是由于第一偏振片1116和第二偏振片1117的偏振方向相互垂直，第一偏振片1116可以把第二偏振片1117所输出的偏振光线消除，使得照相机组件117仅可以拍摄待观察样品114的图像。
在本发明的一些实施例中，所述物镜包括至少以下之一：
消色差物镜、平场消色差物镜、平场半复消色差物镜，或者平场复消色差物镜，所述分束器包括至少以下之一：方体分束器、平板分束器或薄膜分束器。具体来说，考虑到在进行物体观测时，可能存在不同放大倍数的需求，例如针对同一观测物如细胞的轮廓和内核需要采用不同放大倍数，或者针对不同大小的观测物需要采用不同放大倍数，还可以提供具有不同放大倍数的物镜组合以供用户选择。例如，可以提供放大倍数为4.0X、10.0X、20.0X、60.0X和100.0X的物镜组合，供用户选择。同时方体分束器、平板分束器或薄膜分束器可以根据增强现实显微镜的种类进行选择适配，以适配不同的使用环境。
同时，为了实现自动对焦，显微镜系统1100还包括：辅助对焦光源1140设置在聚光镜组1141件对应的傅里叶后焦面中，用于发出辅助对焦光线，其中，辅助对焦光源1140可以为两个相同的红外LED光线发射器，辅助对焦相机1143设置于照相机组件117的共轭平面的轴向偏置位置，其中，辅助对焦光源1140所产生的光线所形成的第二光路如图中1144所示。
进一步地，显微镜系统1100光路包括：第一光路和第二光路，其中，第一光路用于对被观测样品在观测时产生的光线经由所述物镜进入光路后对所述光线进行投射，使得照相机组件对所述显微镜视野中的待观测样品进行拍照，以形成并输出清晰聚焦的图像，同时还能实现图像投影组件利用第二光路中的光线对待观测样品的图像进行图像增强处理。
其中，第一光路包括：物镜115的光线传输到分束器1112，分束器1112将一部分光线反射到管镜1118并通过第一透镜1116并传输到照相机组件117的感光芯片上，同时，分束器1112将一部分光线传输到管镜1118，并穿过管镜1118并将传输的光反射穿过管镜1118达到三目镜筒116，三目镜筒116将光传输到目镜118，可以通过目镜118观察待观察样品114的图像，同时，图像投影组件1111产生的光线沿着透镜1115，经过第二偏振片1117的偏振处理，并通过分束器1112以及第一偏振片1116的作用，使其不能到达相机组件117中，使得照相机组件117仅可以拍摄待观察样品114的图像，也就不会影响相机组件117的拍摄，其中，第一偏振片1116和第二偏振片1117的偏振方向相互垂直。在照相机组件117对相应视野中的图像进行采集之前，首先需要对照相机组件117的焦距进行调整，具体可以通过第二光路中的图像确定相应的失焦量参数。
其中，第二光路包括：傅里叶后焦面中的辅助对焦光源1140的光线经过物1185，到达分束器1112，分束器1112将将光线传输至管镜1118，最终由作为辅助对焦光源红外LED发射的红外光线经过管镜1118传输至辅助对焦相机1143后在辅助对焦相机1143处成像(部分重叠的影像)。
进一步地，在本发明的一些实施例中，对焦装置1121位于所述分束器1112与所述照相机组件117之间，用于基于所述交叠影像的离焦量所确定的焦距驱动所述第一透镜进行焦距调整，形成新的焦距。具体来说，焦装置1121可以是电动马达如超声驱动马达或其他机械马达可用来相应的驱动镜片组；也可以是液态变焦镜头，独立于镜片组而进行液态变焦，以适配不同的使用环境。
在本发明的一些实施例中，对焦装置1121位于所述分束器1112与所述照相机组件117之间，用于通过可变焦镜头基于所述交叠影像的离焦量所确定的焦距进行焦距调整，形成所述新的焦距；所述照相机组件117，用于基于所述新的焦距对所述显微镜视野中的待观测样品进行拍照形成并输出清晰聚焦的图像。
在本发明的一些实施例中，考虑到相机接口可能不统一，为了兼容多种相机，或是为了扩大或缩小视野，还可以将相机与相机适配器配合使用，基于感光芯片的相机通过相机适配器接入所述三目观察筒顶端的相机接口，从而实现相机与三目观察筒的连接。其中，相机适配器中还可以内嵌偏振片，该内嵌偏振片可以实现过滤除偏振态与偏振片相垂直的光线，避免干扰成像。
参考图13，图13是本发明实施例提供的显微镜系统的一个可选的结构示意图，其中，该显微镜系统1200具体包括物镜115、分束器1112图像投影组件1111、照相机组件117以及三目镜筒116，所述物镜115具有相对设置的第一端10a和第二端10b，所述第一端10a朝向待观察样品，所述分束器1112设置在所述第二端10b，所述分束器1112分别与所述物镜115和所述多目镜筒的管镜1118连通，所述照相机组件117设置于所述三目镜筒的其中一个通道中，其中，所述图像投影组件1111通过透镜1115中所传输的光线进行相应视野中的图像投影，所述照相机组件117接收管镜1118传输的光线，所述照相机组件117包括照相机和相应的图像输出装置，用于将所拍摄的相应视野中的图像传输至服务器中，以对图像进行处理或者识别，所述三目镜筒116设置在所述分束器1112远离所述物镜10的一端，所述三目镜筒116包括通道和管镜1118，所述通道至少包括两个且位于远离所述分束器1112的一端，所述管镜1118位于靠近所述分束器1112的一端，所述照相机组件117通过所述管镜1118接收所述分束器1112输出的光线，以完成对应的视野中图像的采集。由于所述照相机组件117与所述图像投影组件1111设置在不同的位置，为了避免光线的传播过程中的影响，因此，所述图像投影组件1111中还包括第二偏振片1117，所述第二偏振片1117位于所述透镜1115与所述分束器1112之间，用于对所述第一光路中的相应光线进行偏振处理；所述照相机组件还包括第一偏振片1116，所述第一偏振片1116位于所述管镜1118与照相机组件117之间，用于对所述照相机组件117所采集的相应光线进行偏振处理。具体来说，由于显微镜操作人员的肉眼希望通过目镜118既能够观察待观察样品114的图像，还能够观察图像投影组件1111中所输出的图像，同时，照相机组件117仅希望能够拍摄待观察样品114的图像，同时忽略图像投影组件1111中所输出的图像，通过第二偏振片1117可以将图像投影组件1111所输出的光线变为偏振光线，可以直接通过目镜118到达人眼进行观察，但是由于第一偏振片1116和第二偏振片1117的偏振方向相互垂直，第一偏振片1116可以把第二偏振片1117所输出的偏振光线消除，使得照相机组件117仅可以拍摄待观察样品114的图像。
同时，为了实现自动对焦，显微镜系统1100还包括：辅助对焦光源1140设置在聚光镜组1141件对应的傅里叶后焦面中，用于发出辅助对焦光线，其中，辅助对焦光源1140可以为两个相同的红外LED光线发射器，辅助对焦相机1143设置于图像投影组件1111的水平对称位置，并通过透镜1119接收分束器112所折射的第二光路中的光线中，辅助对焦光源1140所产生的光线所形成的第二光路如图中1144所示。
进一步地，显微镜系统1100光路包括：第一光路和第二光路，其中第一光路包括：物镜115的光线传输到分束器1112，分束器1112将一部分光线反射到管镜1118并通过第一透镜1116并传输到照相机组件117的感光芯片上，同时，分束器1112将一部分光线传输到管镜1118，并穿过管镜1118并将传输的光反射穿过管镜1118达到三目镜筒116，三目镜筒116将光传输到目镜118，可以通过目镜118观察待观察样品114的图像，同时，图像投影组件1111产生的光线沿着透镜1115，其中，第一偏振片1116和第二偏振片1117的偏振方向相互垂直，经过第二偏振片1117的偏振处理，并通过分束器1112以及第一偏振片1116的作用，使光线不能到达相机组件117中，使得照相机组件117仅可以拍摄待观察样品114的图像，也就不会出现图像投影组件1111输出的光线影响相机组件117的拍摄，同时显微镜操作人员的肉眼希望通过目镜118既能够观察待观察样品114的图像，还能够观察图像投影组件1111中所输出的图像。在照相机组件57对相应视野中的图像进行采集之前，首先需要对照相机组件117的焦距进行调整，具体可以通过第二光路中的图像确定相应的失焦量参数。
其中，第二光路包括：傅里叶后焦面中的辅助对焦光源1140的光线经过物1185，到达分束器1112，分束器1112将将光线传输透镜1119，最终由作为辅助对焦光源红外LED发射的红外光线经过透镜1119传输至辅助对焦相机1143后在辅助对焦相机1143处成像(部分重叠的影像)。
进一步地，在本发明的一些实施例中，对焦装置1121位于所述分束器1112与所述照相机组件117之间，用于基于所述交叠影像的离焦量所确定的焦距驱动所述第一透镜进行焦距调整，形成新的焦距。
在本发明的一些实施例中，对焦装置1121位于所述分束器1112与所述照相机组件117之间，用于通过可变焦镜头基于所述交叠影像的离焦量所确定的焦距进行焦距调整，形成所述新的焦距；所述照相机组件117，用于基于所述新的焦距对所述显微镜视野中的待观测样品进行拍照形成并输出清晰聚焦的图像。
下面继续结合图3所示的方法以及图5至图13所示的不同显微镜系统形态对本发明所提供的显微镜自动对焦方法进行说明，其中，参考图14，图14为本发明实施例中离焦量与重影间距离关系示意图，其中，作为辅助对焦光源红外LED发射的红外光线传输至辅助对焦相机1143后在辅助对焦相机1143处成像(部分重叠的影像)，其中，辅助对焦的相机可以是拆掉红外滤波片的普通工业相机，也可以是专门的红外相机。能够捕捉红外光。照相组件中的相机通常是彩色相机，而彩色相机前通常有一块红外截止滤波片，故红外LED40产生的红外光并不会被相机捕捉到。当然也可以在相机之前追加额外的红外截止滤波片来达到更好的滤除红外光的效果。
其中，不同离焦量的情况下，对辅助对焦相机采集到的图像进行自相关运算后获得的自相关结果的峰值位置将发生变化。
可以通过以下所示的理论推导：
假设辅助对焦相机采集到的图像为z[x]＝s[x]+s[x-x0]，其中s[x]和s[x-x0]为间隔距离为x0的两个重影。z[x]也可以表示为这种形式：z[x]＝s[x]*h[x]。其中‘*’代表卷积符号，h[x]＝δ[x]+δ[x-x0]。
通过对z[x]做自相关运算，得到R(z[x])＝R(s[x])*R(h[x])＝R(s[x])*(2δ[x]+δ[x-x0]+δ[x+x0])。其中‘R()’代表自相关运算符号。2δ[x]+δ[x-x0]+δ[x+x0]代表三个δ函数。R(s[x])*(2δ[x]+δ[x-x0]+δ[x+x0])表示R(s[x])和三个δ函数的卷积。也就意味着R(z[x])的结果中通过算法运算会形成三个尖峰。一个峰高最高位于中间，另外两个尖峰位于该最高峰两边，并分别与此峰距离x0。此时也意味着如果能够确定经过算法运算所形成的这三个尖峰中任意两个之间的距离就能得到x0，也就是相机采集到的两个重影之间的距离。
继续以通过显微镜对老鼠肾脏切片进行观察为例对本发明所提供的显微镜自动对焦方法进行说明，其中，如图5展示的是两个红外LED40在辅助对焦相机的表面形成的样本重影(图中展示的是老鼠肾脏切片在20倍物镜下的截图)。
继续参考图14，其中：(a1)、(b1)、(c1)所示是老鼠肾脏切片在不同离焦量时辅助对焦相机采集到的相应视野中的对焦图像。(a2)、(b2)、(c2)为分别对应(a1)、(b1)、(c1)每张图所做自相关运算结果。
图14中(a1)-(c1)分别表示了在前序不同实施例的显微镜系统中的辅助对焦相机所采集到的含有两个重影的红外图像。样本处于不同离焦量时，两个重影之间的距离便会不同。通过对辅助对焦相机采集到的图像进行一些运算(包括但不限于自相关运算)得到样本离焦量与图像中两个重影之间距离的关系曲线。从而以此拟合的曲线作为之后对焦过程的参考表来实现自动对焦。
继续参考图15，图15为本发明中离焦量与重影间距离关系拟合示意图，其中，一条根据离焦量与重影间距离关系拟合后的曲线示意图如图15，样本离焦量与辅助对焦相机采集到图像的重影之间的关系拟合曲线。
图15中曲线呈现单调递增趋势的原因是辅助对焦相机相对照相机组件设置有一定的偏置。此图中偏置为60微米，正如图中最中心的第六点。图15展示的是从样本离焦量-30微米(图15中30微米处，即第一点)到+30微米处(图13中90微米处，即第11点)采集的11张重影图像拟合出来的曲线。设置偏置的原因是因为如果不设置偏置，该拟合曲线会接近“V”形。然而，在样品聚焦附近时，两个重影的距离会非常近。根据上述所述自相关计算方法，三个尖峰的距离也会靠的很近，从而导致峰顶的值被淹没或者出现新的意想不到的不相关的峰值。这便不利于寻找需要确定的峰值位置。所以此处引入偏置就是为了拉开三个峰值之间的距离。
需要说明的是，将不同的指标信息值拟合成一曲线，其中曲线的顶点就是离焦量为零时对应的位置。离焦量越接近零，则代表图像越清晰，也就是对焦装置驱动照相机需要调节到的位置。
有益技术效果：
本发明实施例通过获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本；获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本；根据所述辅助对焦的相机所拍摄的测量样本以及相应的图像评价标准，计算对应的图像评价参数；根据所述图像评价参数，在预先存储的校准曲线中查找图像评价参数和离焦量的关系，进而确定所需要的离焦量；根据所确定的离焦量，调整进入照相机组件的图像光线的焦距，以实现照相机组件通过第一光路拍摄清晰聚焦的图像。由此，可以实现对焦装置对显微镜系统的照相机组件进行自动对焦，形成并输出清晰聚焦的图像，节省了显微镜系统对焦的时间，提升了对焦的精确度。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种显微镜系统，其特征在于，所述显微镜系统包括：
照相机组件，用于对所述显微镜视野中的待观测样品进行拍照；
分束器组件，包括至少一个分束器，用于分别对不同光路中的光线进行分离与投射；
辅助对焦装置，用于确定与所述照相机组件相匹配的焦距；
对焦装置，配置为根据所述辅助对焦装置确定的待测样本图像的离焦量，调整进入所述照相机组件的图像光线的焦距。
2.根据权利要求1所述的显微镜系统，其特征在于，所述显微镜系统还包括：
目镜、三目镜筒，所述目镜与所述三目镜筒套接，用于通过物镜对待观测样品进行观察；
物镜，用于获取待观测样品的光线进入第一光路，并与图像投影模块产生的光线经由透镜组件进入所述第一光路后，在分束器处汇合；
透镜组件，包括至少一个透镜，用于对被观测样品在观测时产生的光线经由所述物镜进入不同的光路后对所述光线进行投射，以实现所述光线沿不同光路传播；
所述三目镜筒设置在所述分束器远离所述物镜的一端，所述三目镜筒包括通道和管镜，所述通道至少包括两个且所述通道位于远离所述分束器的一端，其中一个通道与目镜连通，所述管镜位于靠近所述分束器的一端。
3.根据权利要求2所述的显微镜系统，其特征在于，所述对焦装置包括移驱动组件和可变焦镜头，以实现在不同焦距时，对所述显微镜视野中的待观测样品进行拍照。
4.根据权利要求3所述的显微镜系统，其特征在于，
当所述显微镜系统呈现第一形态时，
所述分束器组件包括第一分束器和第二分束器，所述第一分束器与所述第二分束器连通，所述第一分束器与所述照相机组件连通，所述第二分束器与所述图像投影组件连通；
所述透镜组件包括第一透镜和第二透镜，所述第一透镜位于所述第一分束器与所述照相机组件之间，所述第二透镜位于所述第一分束器与所述图像投影组件之间；
所述对焦装置位于所述第一分束器与所述照相机组件之间，用于驱动所述第一透镜进行焦距调整，或者
通过可变焦镜头进行焦距调整。
5.根据权利要求4所述的显微镜系统，其特征在于，
所述辅助对焦光源设置于所述显微镜系统的聚光镜组件对应的傅里叶后焦面中，用于发出辅助对焦光线，以形成第二光路；
热镜设置于所述对焦装置与所述照相机组件之间，用于将所述第二光路中的光线反射至所述辅助对焦相机中；
所述辅助对焦相机设置于所述照相机组件的共轭平面的轴向偏置位置，用于基于所述第二光路中的光线，拍摄与所述显微镜视野中的待观测样品相匹配的交叠影像。
6.根据权利要求4所述的显微镜系统，其特征在于，
所述辅助对焦光源设置于所述显微镜系统的聚光镜组件对应的傅里叶后焦面中，用于发出辅助对焦光线，以形成第二光路；
所述辅助对焦相机设置于所述三目镜筒的其中一个通道中，用于基于所述第二光路中的光线，拍摄与所述显微镜视野中的待观测样品相匹配的交叠影像。
7.根据权利要求5或6所述的显微镜系统，其特征在于，
所述对焦装置，用于基于所述交叠影像的离焦量所确定的焦距驱动所述第一透镜进行焦距调整，形成新的焦距，或者
所述可变焦镜头基于所述交叠影像的离焦量所确定的焦距进行焦距调整，形成所述新的焦距；
所述照相机组件，用于基于所述新的焦距对所述显微镜视野中的待观测样品进行拍照形成并输出通过第一光路拍摄的清晰聚焦的图像。
8.根据权利要求3所述的显微镜系统，其特征在于，
当所述显微镜系统呈现第二形态时，
所述分束器组件包括第三分束器，所述第三分束器分别与物镜和三目镜筒的管镜连通，所述照相机组件与所述图像投影组件沿所述第三分束器组件相对设置；
所述透镜组件包括第一透镜和第二透镜，所述第一透镜位于所述第三分束器与所述照相机组件之间，所述第二透镜位于所述第三分束器与所述图像投影组件之间；
所述对焦装置位于所述第三分束器与所述照相机组件之间，用于驱动所述第一透镜进行焦距调整，或者
通过所述可变焦镜头进行焦距调整。
9.根据权利要求8所述的显微镜系统，其特征在于，
所述图像投影组件还包括第一偏振片，所述第一偏振片位于所述第一透镜与所述分束器之间，用于对所述第一光路中的相应光线进行偏振处理；
所述照相机组件还包括第二偏振片，所述第二偏振片位于所述第二透镜与所述分束器之间，用于对所述照相机组件所采集的相应光线进行偏振处理。
10.根据权利要求8所述的显微镜系统，其特征在于，
所述辅助对焦光源设置于所述显微镜系统的聚光镜组件对应的傅里叶后焦面中，用于发出辅助对焦光线，以形成第二光路；
热镜设置于所述对焦装置与所述照相机组件之间，用于将所述第二光路中的光线反射至所述辅助对焦相机中；
所述辅助对焦相机设置于所述照相机组件的共轭平面的轴向偏置位置，用于基于所述第二光路中的光线，拍摄与所述显微镜视野中的待观测样品相匹配的交叠影像。
11.一种显微镜自动对焦方法，其特征在于，所述方法包括：
获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本；
根据所述辅助对焦的相机所拍摄的测量样本以及相应的图像评价标准，计算对应的图像评价参数；
根据所述图像评价参数，在预先存储的校准曲线中查找图像评价参数和离焦量的关系，进而确定所需要的离焦量；
根据所确定的离焦量，调整进入照相机组件的图像光线的焦距，以实现照相机组件通过第一光路拍摄清晰聚焦的图像。
12.根据权利要求11所述的方法，其特征在于，所述获取显微镜第二光路中的辅助对焦相机所拍摄的测量样本，包括：
通过所述辅助对焦相机，采集所述第二光路中的光线；
基于与所述辅助对焦相机的类型对所采集的所述第二光路中的光线进行处理，以实现拍摄与所述显微镜视野中的待观测样品相匹配的交叠影像。
13.根据权利要求11所述的方法，其特征在于，所述方法还包括：
基于所述焦距调整的结果，通过第一光路中的光线对所述显微镜视野中的待观测样品进行拍照，形成并输出通过第一光路拍摄的清晰聚焦的图像。
14.一种医疗设备，其特征在于，所述医疗设备包括：
包括显微镜系统、存储器和处理器，所述显微镜系统为权利要求1至10任一项所述的显微镜系统，所述处理器执行以下步骤：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求11至13任一项所述的显微镜自动对焦方法。
15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求11至13任一项所述的显微镜自动对焦方法。
CN202010287375.6A 2020-04-13 2020-04-13 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质 Active CN111443477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010287375.6A CN111443477B (zh) 2020-04-13 2020-04-13 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010287375.6A CN111443477B (zh) 2020-04-13 2020-04-13 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质

Publications (2)

Publication Number Publication Date
CN111443477A true CN111443477A (zh) 2020-07-24
CN111443477B CN111443477B (zh) 2022-12-20

Family

ID=71657488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010287375.6A Active CN111443477B (zh) 2020-04-13 2020-04-13 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质

Country Status (1)

Country Link
CN (1) CN111443477B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115598817A (zh) * 2021-07-09 2023-01-13 腾讯科技（深圳）有限公司（Cn） 显微镜、投影方法、装置、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243412A1 (en) * 2002-09-16 2005-11-03 Rensseleaer Polytechnic Institute Microscope with extended field of vision
CN104932092A (zh) * 2015-06-15 2015-09-23 上海交通大学 基于偏心光束法的自动对焦显微镜及其对焦方法
CN107656364A (zh) * 2017-11-16 2018-02-02 宁波舜宇仪器有限公司 一种显微成像系统及其实时对焦方法
CN108051897A (zh) * 2018-01-17 2018-05-18 宁波舜宇仪器有限公司 一种显微成像系统及实时对焦方法
CN108254853A (zh) * 2018-01-17 2018-07-06 宁波舜宇仪器有限公司 一种显微成像系统及其实时对焦方法
CN108646396A (zh) * 2018-04-27 2018-10-12 合肥工业大学 自动对焦显微镜系统
CN110673325A (zh) * 2019-09-25 2020-01-10 腾讯科技（深圳）有限公司 显微镜系统、智能医疗设备、自动对焦方法和存储介质
CN110727093A (zh) * 2019-11-21 2020-01-24 宁波五维检测科技有限公司 多光谱显微自动聚焦装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243412A1 (en) * 2002-09-16 2005-11-03 Rensseleaer Polytechnic Institute Microscope with extended field of vision
CN104932092A (zh) * 2015-06-15 2015-09-23 上海交通大学 基于偏心光束法的自动对焦显微镜及其对焦方法
CN107656364A (zh) * 2017-11-16 2018-02-02 宁波舜宇仪器有限公司 一种显微成像系统及其实时对焦方法
CN108051897A (zh) * 2018-01-17 2018-05-18 宁波舜宇仪器有限公司 一种显微成像系统及实时对焦方法
CN108254853A (zh) * 2018-01-17 2018-07-06 宁波舜宇仪器有限公司 一种显微成像系统及其实时对焦方法
CN108646396A (zh) * 2018-04-27 2018-10-12 合肥工业大学 自动对焦显微镜系统
CN110673325A (zh) * 2019-09-25 2020-01-10 腾讯科技（深圳）有限公司 显微镜系统、智能医疗设备、自动对焦方法和存储介质
CN110727093A (zh) * 2019-11-21 2020-01-24 宁波五维检测科技有限公司 多光谱显微自动聚焦装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115598817A (zh) * 2021-07-09 2023-01-13 腾讯科技（深圳）有限公司（Cn） 显微镜、投影方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111443477B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN111443476B (zh) 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质
KR101632578B1 (ko) 촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법
US20170031146A1 (en) Imaging Assemblies With Rapid Sample Auto-Focusing
CN111308690B (zh) 一种光场电子内窥设备及其成像方法
CN106210520B (zh) 一种自动调焦电子目镜及系统
JP2014138858A (ja) プレノプティック型検耳鏡
CN104203081A (zh) 将复数的眼睛影像结合成为多聚焦全光影像的方法
JPH1042314A (ja) 視差画像入力装置
WO2021057422A1 (zh) 显微镜系统、智能医疗设备、自动对焦方法和存储介质
US20160291302A1 (en) Image capture method for a microscope system, and corresponding microscope system
JP7104296B2 (ja) 測距カメラ
CN110519493A (zh) 成像设备和成像方法
CN115830675B (zh) 一种注视点跟踪方法、装置、智能眼镜及存储介质
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
US8508589B2 (en) Imaging systems and associated methods thereof
CN111443477B (zh) 显微镜自动对焦方法、显微镜系统、医疗设备和存储介质
CN108937909B (zh) 一种基于片层光的选层血流散斑成像装置及方法
JP2019016975A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
CN111630847B (zh) 影像投影装置、影像投影方法、影像显示光输出控制方法
US20040169922A1 (en) Stereo microscopy
CN114911062A (zh) 具有双成像光路的光学系统和具有双成像光路的光学装置
JP6069324B2 (ja) デュアル・サンプリング・レンズを備える単一軸の立体撮像装置
JP6639208B2 (ja) 撮像装置及びその制御方法
CN115316919B (zh) 双相机3d光学荧光内窥镜摄像系统、方法及电子设备
JP2013174709A (ja) 顕微鏡装置およびバーチャル顕微鏡装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026329

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant