CN110488479A - 一种增强现实显微镜、图像投影设备及图像处理系统 - Google Patents

Abstract

本申请公开了一种增强现实显微镜，包括：物镜、目镜、N目观察筒、图像获取模块以及图像投影模块，N大于2；图像获取模块通过N目观察筒上的物理接口与N目观察筒物理连接；被测物在观测时产生的光线经由物镜进入光路与图像投影模块中的图像投影装置产生的光线经由透镜装置进入光路后，在图像投影模块中的分光装置处汇合，汇合后光线经由N目观察筒后一部分光线进入目镜，另一部分光线进入图像获取模块；图像获取模块用于将采集的图像输出至图像处理装置，由图像处理装置对图像进行处理将处理结果输出至图像投影装置。图像获取光路和图像投影光路相互独立，利于校准，提高图像处理精度。本申请还公开对应的图像投影设备、图像处理系统。

Description

一种增强现实显微镜、图像投影设备及图像处理系统

技术领域

本申请涉及显微镜技术领域，尤其涉及一种增强现实显微镜、图像投影设备以及图像处理系统。

背景技术

显微镜技术是光学仪器的一个重要分支，在生物、医疗、电子、半导体等众多领域有这广泛的应用。随着图像处理以及人工智能技术的发展，特别是深度学习等技术能够实现对获取的显微图像进行处理，并对关键目标进行自动探测，基于此，增强现实显微镜应运而生。

增强现实显微镜(Augmented Reality Microscope，ARM)能够方便观察者在显微镜下观察样本时能够同时获取到其他增强信息，如此帮助观察者快速定位和量化感兴趣的特征。仅以应用于医疗诊断场景下为例，医生使用增强现实显微镜观察切片时，同时能够获取到基于该切片的诊断结果，即增强现实显微镜能够将诊断结果作为增强现实信息叠加在切片上，如此方便医生在视场中实时读取结论。

目前市场上已有一些增强现实显微镜，但都结构比较复杂可扩展性有限，并且增强现实图像质量不高有待提升。

发明内容

本申请提供了一种增强现实显微镜，其能够将图像获取光路和图像投影光路隔离，不会相互干扰，有利于图像重合校准，提高图像处理精度，进而提高增强现实图像质量。并且，将图像获取模块置于N目观察筒之上，一方面大幅降低了增强现实显微镜被垫高的高度，另一方面节省了较多元件，简化结构，为扩展提供硬件空间。本申请还提供了对应的图像投影设备及图像处理系统。

本申请第一方面提供了一种增强现实显微镜，包括：

物镜、目镜、N目观察筒、图像获取模块以及图像投影模块；所述N是大于2的正整数；

所述图像获取模块通过所述N目观察筒上的物理接口与所述N目观察筒物理连接；

所述图像投影模块包括图像投影装置、透镜装置和分光装置；

被测物在观测时产生的光线经由所述物镜进入光路与所述图像投影模块中的图像投影装置产生的光线经由透镜装置进入光路后，在所述图像投影模块中的分光装置处汇合，汇合后光线经由所述所述N目观察筒后一部分光线进入所述目镜，另一部分光线进入所述图像获取模块；

所述图像获取模块用于将采集的图像输出至图像处理装置，由所述图像处理装置对所述图像进行处理将处理结果输出至所述图像投影装置。

本申请第二方面提供一种图像投影设备，用于与显微镜连接形成增强现实显微镜，包括：图像投影装置、透镜装置以及分光装置；其中，

所述图像投影装置，用于获取图像处理装置对图像处理所得的处理结果，对所述处理结果进行图像投影，投影的光线经由所述透镜装置进入光路与所述显微镜观测的被测物产生的光线经由所述显微镜的物镜进入光路后在所述分光装置处汇合，汇合后光线经由所述显微镜的N目观察筒一部分光线进入所述显微镜的目镜，另一部分光线进入图像采集设备。

本申请第三方面提供一种图像处理系统，包括：

图像处理设备和如上述第一方面所述的增强现实显微镜；所述图像处理设备用于对所述增强现实显微镜中的所述图像获取模块获取的图像进行图像处理，将处理结果输出至所述增强现实显微镜中的所述图像投影模块。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中提供了一种增强现实显微镜，其将图像获取模块转移至N目观察筒上，通过N目观察筒的物理接口进行连接，如此，被测物在观测时产生的光线经由物镜进入光路与图像投影模块中的图像投影装置产生的光线经由透镜装置进入光路后，在所述图像投影模块中的分光装置处汇合，汇合后光线经由所述所述N目观察筒后一部分光线进入所述目镜，另一部分光线进入所述图像获取模块，图像获取模块将采集的图像输出至图像处理装置，由图像处理装置进行图像处理，并将处理结果输出至图像投影装置，图像获取光路和图像投影光路相互独立，二者不会相互干扰，非常有利于图像重合校准，能保证最终处理结果的精确性，提高了增强现实图像的质量。此外，图像投影模块无需叠加多个分光装置，降低了增强现实显微镜被垫高的高度，避免了多个分光装置导致的显微镜光源强度损失，提高了用户体验，并且该增强现实显微镜节省了元件，简化了结构，为光路的进一步改造提供了硬件空间。

附图说明

图1为本申请实施例中增强现实显微镜的场景架构图；

图2为本申请实施例中增强现实显微镜的内部结构示意图；

图3为本申请实施例中增强现实显微镜的三维立体图；

图4为本申请实施例中分时复用的流程示意图；

图5为本申请实施例中图像投影设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

针对目前市场上已有一些增强现实显微镜存在的结构比较复杂、可扩展性有限以及增强现实图像质量不高的问题，本申请提供了一种增强现实显微镜，该增强现实显微镜是在已有的增强现实显微镜基础上，将图像获取光路和图像投影光路隔离，避免二者相互干扰，以便图像重合校准，保证最终处理结果的精确性，从而提供增强现实图像的质量。

此外，该增强现实显微镜中的图像投影模块无需叠加多个分光装置，大幅降低了增强现实显微镜被图像投影模块垫高的高度，而且也避免了多个分光装置叠加导致的光源强度损失。进一步地，该增强现实显微镜可以节省元件，简化了结构，为光路的进一步改造提供了硬件空间，具有较好的扩展性。

本申请提供的增强现实显微镜提供了较好的人机交互体验，可以实现实时标注、视野实时共享，因而可以将其应用于不同领域的多种场景。例如，可以应用于医疗领域，辅助病理科医生进行病理诊断、疾病检测、生成病理报告、远程医疗会诊、构建病理影像数据库等；或者应用于教学领域，作为生物学或病理课堂中的教学工具；又或者应用于工业领域，对电路板和芯片进行观测和测量。增强现实模块为传统显微镜提供了更好的人机交互，例如实时标注，视野实时共享等。

下面以辅助病理科医生进行病理诊断这一场景对本申请的增强现实显微镜进行介绍。

如图1所示，增强现实显微镜100的观察筒具有物理接口，通过该物理接口可以实现观察筒与图像获取模块5连接，图像获取模块可以获取病理切片图像，并将该图像传递给图像处理设备101，该图像处理设备利用人工智能(Artificial Intelligence，AI)算法进行图像处理得到处理结果，将其输出至图像投影模块15，该处理结果包括但不限于轮廓图，热图，标注等，然后通过插入在显微镜光路的图像投影模块15将处理结果投影回原显微镜光路，让用户可以通过目镜4观察到投影光路产生的增强现实信息与病理切片图像叠加后的信息。该叠加后的信息也可以通过与图像处理设备101相连的显示器102进行显示，以便于进行肿瘤区域检测和分割、细胞计数等等。

为了使得本申请的技术方案更加清楚、易于理解，下面将结合具体实施例对本申请的增强现实显微镜的结构进行详细介绍。

参见图2所示的增强现实显微镜的内部结构示意图以及图3所示的三维结构示意图，该增强现实显微镜包括物镜2、目镜4和N目观察筒10、图像获取模块5以及图像投影模块15，其中，图像获取模块5通过所述N目观察筒10上的物理接口与所述N目观察筒物理10连接。

所述图像投影模块15包括图像投影装置6、透镜装置7和分光装置9，被测物1在观测时产生的光线经由所述物镜2进入光路12与所述图像投影模块15中的图像投影装置6产生的光线经由透镜装置7进入光路后，在所述图像投影模块15中的分光装置9处汇合，汇合后光线经由所述所述N目观察筒10后一部分光线进入所述目镜4，另一部分光线进入所述图像获取模块5。

所述图像获取模块5用于将采集的图像输出至图像处理装置，由所述图像处理装置对所述图像进行处理将处理结果输出至所述图像投影装置6。

下面对该增强现实显微镜的各个元件及其连接关系进行详细说明。

首先，针对N目观察10，所述N表征光路数量，N为大于2的整数。作为一个示例，请参见图1，可以将N目观察筒10设置为三目观察筒，即N设置为3，3路光路分别对应图像获取模块5以及两个目镜4。当然，在一些可能的实现方式中，可以由两个操作人员同时基于该增强现实显微镜进行观察，基于此，可以将N目观察筒设置为六目观察筒，此时，光路数量具体为6，分别对应两个图像获取模块5以及四个目镜4。需要说明，以上仅为观察筒的一些具体示例，观察筒对应光路数量可以根据实际需求而设置，为了便于理解，后文均以三目观察筒进行示例性说明。

其次，针对物镜2，增强现实显微镜的放大作用主要取决于物镜2，物镜2质量的好坏直接影响增强现实显微镜成像质量。基于此，在选用物镜2时，可以选择消色差物镜、平场消色差物镜、平场半复消色差物镜或平场复消色差物镜中的任意一种或多种，对色差进行校正，以提高成像质量。

考虑到在进行物体观测时，可能存在不同放大倍数的需求，例如针对同一观测物如细胞的轮廓和内核需要采用不同放大倍数，或者针对不同大小的观测物需要采用不同放大倍数，还可以提供具有不同放大倍数的物镜组合以供用户选择。例如，可以提供放大倍数为4.0X、10.0X、20.0X、60.0X和100.0X的物镜组合，供用户选择。

再次，针对图像获取模块5，所述图像获取模块5是对被测物1在观测时产生的光线以及图像投影装置产生的光线在分光装置9汇合，由分光装置9分出的一部分光线形成图像进行采集，基于此，图像获取模块5具体可以是相机。在一些可能的实现方式中，图像获取模块5可以是基于感光芯片的相机。

在具体实现时，参见图3，图像获取模块5为基于感光芯片的相机，N目观察筒顶端提供有相机接口14，该相机接口14具体可以是标准相机接口，以便基于该标准相机接口连接所述N目观察筒和相机，实现图像采集。

考虑到相机接口可能不统一，为了兼容多种相机，或是为了扩大或缩小视野，请参见图3，还可以将相机与相机适配器13配合使用，基于感光芯片的相机通过相机适配器13接入所述N目观察筒顶端的相机接口14，从而实现相机与N目观察筒10的连接。其中，相机适配器13中还可以内嵌第二偏振片11，第二偏振片11的作用在于过滤除偏振态与第二偏振片11相垂直的光线，避免干扰成像。

上述基于感光芯片的相机可以是大感光面积相机，其可以配合1X相机适配器使用，也可以是小感光面积相机，其可以配合0.75X、0.63X、0.5X、0.35X相机适配器中的一种使用。图像采集单元5为大感光面积相机时，配合1X相机适配器使用，图像采集单元5为小感光面积相机时，配合0.75X、0.63X、0.5X、0.35X相机适配器中的一种使用。

其中，大感光面积相机包括但不限于：基于25MP(Mega pixels)的感光芯片VITA25K或Python25K或NOIP1SE025KA-GDI/ON Semi的相机，例如，Adimec厂家的S-25A30、S-25A70、S-25A80，Teledyne Dalsa厂家的Genie Nano-CL C5100，ISVI厂家的IC-C25N-CL、IC-C25B-CL，SVS-VISTEK厂家的hr25CCL；基于50MP的感光芯片ams/CMOSIS CMV50000的相机，例如，illunis厂家的CMV-50，Adimec厂家的S-50A30，ISVI厂家的IC-X50；以及基于全画幅APS-H(Advanced Photo System-H)或中画幅尺寸感光芯片的相机，例如，基于120MP感光芯片120MXSC/Canon的相机，如SVS-VISTEK厂家的SHR系列，以及其他基于Sony中画幅感光芯片IMX411、IMX461的相机。

除工业相机之外，也可以包括摄影用的单反或者微单的全画幅和中画幅相机，例如，Sony厂家的全画幅微单ILCE-9、ILCE-7RM3、ILCE-7RM2、ILCE-7M3、ILCE-7SM2或单反ILCA-99M2，Nikon厂家的全画幅单反D850、D810A、D810或者微单Z7、Z6，Canon厂家的EOS-1DX Mark II、EOS 5D Mark IV、EOS 5DS/EOS 5DS R或微单EOS R、EOS RP。

小感光面积相机包括但不限于：基于Sony尺寸从1/3英寸到4/3英寸之间的感光芯片所生产的相机。这些感光芯片包括但不限于：Sony的IMX317、IMX377、IMX477、IMX577、IMX277、IMX533、IMX458、IMX383、IMX283、IMX183、IMX204、IMX147。

接着，针对图像投影模块15继续介绍。图像投影模块15可以是可拆卸的，通过将其与普通显微镜组合可以形成本申请的增强现实显微镜。在实际应用时，投影模块可以提供标准接口，然后通过转接件适配多种显微镜，包括但不限于Nikon、Olympus、Leica、Zeiss、Motic、舜宇等正置或者倒置或者体式显微镜。例如，Nikon Ci系列、Olympus BX系列、LeicaDM系列、Zeiss Axio Imager系列、Motic Panthera、BA系列、M系列显微镜或者舜宇RX系列显微镜。

图像投影模块15的一个核心部件即为图像投影装置6，该图像投影装置6具体可以是基于液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic light-Emitting Diode，OLED)、数字微镜器件(Digital Micromirror Device，DMD)、反射式投影显示(LiquidCrystalonSilicon，LCoS)或micro-LED的投影器件，其中投影器件包括微型显示器。

基于LCD的微型显示器包括但不限于：Sony厂家的SXRD(Silicon X-talReflective Display)和HTPS(High Temperature p-Si TFT LCD)型LCD微型显示器，例如SXRD101A、SXRD241A、LCX187B、LCX202A、LCX173B、LCX172B，Kopin厂家的微型LCD显示器SXGA LBC、SXGA LVD、SVGA LSC、VGA LVS、WQVGA LVS；其他基于LCD的投影器件的生产厂家包括但不限于Epson、3M、LG、Panosonic、Samsung、Canon。

基于OLED的微型显示器生产厂家包括但不限于Sony、eMagin、Epson、Samsung、LG，Sony的OLED微型显示器例如可以是ECX335B、ECX339A、ECX337A、ECX331D、ECX334C、ECX334C、ECX334A、ECX336B，eMagin的OLED微型显示器例如可以是2k Display、DSVGA、SXGA096、SXGA120、VGA、WUXGA，Kopin的AMOLED微型显示器例如可以是Lightning 2K、Lightning 720。

基于DMD的投影器件生产厂商包括但不限于德州仪器(Texas Instrument，TI)的数字光处理(Digital Light Processing，DLP)产品，TI部分DLP芯片例如可以是DLP660TE、DLP9000、DLP4710、DLP6500、DLP9500、DLP3310、DLP4500、DLP4501、DLP5500、DLP7000、DLP3010、DLP2010、DLP3000。

基于LCoS的投影器件包括但不限于HOLOEYE厂家的HED6001、HED2200以及HED5216、HED7200、HED5201、HED1316、HED1016，Kopin厂家的2k*2k和WQHD分辨率的FLCoS。

图像投影模块15的另一个核心部件为分光装置9，该分光装置9具体可以是分束器或分束镜，分束器或分束镜的作用在于使得一部分光线投射，另一部分光线反射，从而实现分光。在实际应用时，所述分光装置9包括立方体分束镜、平板分束镜或薄膜分束镜。其中，上述分光装置9可以是偏振分束镜，也可以是非偏振分束镜。

在图2和图3的示例中，增强现实显微镜是通过在光路中添加一组偏振方向相互垂直的偏振片，即第一偏振片8和第二偏振片11，以阻挡图像投影装置6所在光路的光线进入N目观察筒10被图像获取模块5所采集。需要说明的是，当分光装置9采用偏振分束器时，上述第一偏振片8可以省略。

具体地，图像投影模块15还包括第一偏振片8，所述图像获取模块5与所述N目观察筒10上的物理接口连接位置处还设置有第二偏振片11，所述第一偏振片8和所述第二偏振片11的偏振方向相互垂直，对应地，所述图像投影模块15中的图像投影装置6产生的光线经由所述透镜装置7和所述第一偏振片8后进入光路12；被测物1如生物样品被显微镜光源照亮发出的光学经由物镜2也进入光路12；这两路光线在分光装置9处汇合，汇合后的光线经过N目观察筒10内的套管透镜3成像，再通过N目观察筒10内部的分光棱镜(图2、图3中未示出)，使得一部分光通过目镜4再次成像到人眼视网膜被人感知，另一部分光在图像获取模块5处成像，其中，在图像获取模块5处成像的光是经过第二偏振片11过滤进入所述图像获取模块5的。

在一些可能的实现方式中，还可以针对所述图像投影模块15和所述图像获取模块5采用时分复用机制运行，避免图像投影模块的光线干扰图像获取模块5。

具体可以参见图4所示的分时复用流程示意图，增强现实显微镜开始运行时，图像获取模块5采集图像，然后判断采集图像是否静止，若否，则熄灭图像投影模块15中的图像投影装置6，若是，则对当前帧进行AI处理得到处理结果，该处理结果具体可以是轮廓图，然后通过图像投影装置6点亮轮廓图，接着图像投影装置6短暂熄灭100毫秒(Millisecond，ms)，再由图像获取模块5采集图像。

其中，在采用分时复用机制实现防干扰时，可以省略第一偏振片8和第二偏振片11。也即，为了避免图像投影模块15的光线进入图像获取模块5造成干扰，可以采用上述两种机制中的任意一种即可。

可以理解，本申请实施例提供的增强现实显微镜在显微镜光路预留了更多空间，为后续功能拓展带来方便。这种拓展包括但不限于自动对焦光路、多通道图像采集光路等。

具体地，图像投影模块15中还可以包括孔径光阑，所谓孔径光阑是指光学系统的诸挡光孔中最有效控制成像光束光能量者，其作用在于收光，通过在透镜7和分光装置9之间，靠近分光装置9的位置增加孔径光阑可以使得孔内光进入光路12，从而排除干扰光线。

在一些可能的实现方式中，图像投影模块15中还可以包括平面镜，该平面镜可以减少图像投影装置6和透镜7的距离，通过平面镜反射光满足光线传播距离要求，如此可以减小整个图像投影模块15的尺寸。

在实际应用时，图像投影模块15还可以包括螺旋装置和/或者滤波片，其中，螺旋装置主要用于调整焦距，透镜7可以内置于螺旋装置中，滤波片则可以用于过滤特定颜色的光，其过滤特性可以根据实际需求而设置，上述滤波片可以根据实际需要设置在图像投影装置6和分光装置9之间的任意一个位置。

由上可知，本申请实施例提供了一种增强现实显微镜，其将增强现实显微镜光路中的图像获取光路省去，而直接在显微镜三目观察筒顶端的标准相机接口接入相机，配合只留在光路的图像投影光路，构成新型增强现实显微镜。为了防止图像投影光路的光线进入相机，本申请还将两个相互垂直的偏振片分别放入图像投影光路和相机感光芯片表面附近，图像获取光路和图像投影光路相互独立，两者的光路调试不会相互干扰，非常有利于图像重合校准，能保证最终处理结果的精确性。

此外，本申请的图像投影模块仅需一个分光装置，无需多个分光装置叠加，节省了元件，降低了显微镜光路增强现实模块垫高的高度，避免了多个分光装置叠加导致的光源强度损失，提高了用户体验。

并且，将图像获取模块放在观察筒顶端的标准相机接口省去了多余的光学和机械元件如大体积的机械外壳，专门用于相机成像的透镜或者透镜组(原因是观察筒内含的套管透镜可以配合物镜直接对样本成像)，让光路更简洁，调试安装更方便。

将图像获取模块安装在观察筒省去了第二个分束器、多余的机械外壳、类似于套管透镜功能的专门用于相机成像的透镜或透镜组带来的额外成本，尤其是套管透镜是一个像差精度要求高且成本高的光学器件。

最后，本申请相比于已有的增强现实显微镜在显微镜光路预留了更多空间，为后续功能扩展提供硬件空间，具有较好的可扩展性。

基于本申请实施例提供的增强现实显微镜，本申请还提供了一种图像投影设备，图像投影设备用于与显微镜连接形成增强现实显微镜。

参见图5所示的图像投影设备的结构示意图，图像投影设备包括图像投影装置6、透镜装置7以及分光装置9；其中，所述图像投影装置6，用于获取图像处理装置对图像处理所得的处理结果，对所述处理结果进行图像投影，投影的光线经由所述透镜装置7进入光路与所述显微镜观测的被测物产生的光线经由所述显微镜的物镜进入光路后在所述分光装置9处汇合，汇合后光线经由所述显微镜的N目观察筒一部分光线进入所述显微镜的目镜，另一部分光线进入图像采集设备。

其中，图像投影装置6包括基于LCD、OLED、DMD、LCoS或micro-LED的投影器件，其具体实现参见上文相关内容描述。

为了避免图像投影装置6对显微镜中的图像获取模块造成干扰，还可以在图像投影设备中增加第一偏振片8，该第一偏振片8的偏振方向与显微镜中第二偏振片的偏振方向垂直，投影的光线经由所述透镜装置7和所述第一偏振片8进入光路与所述显微镜观测的被测物产生的光线经由所述显微镜的物镜进入光路后在所述分光装置9处汇合，汇合后光线经由所述显微镜的N目观察筒一部分光线进入所述显微镜的目镜，另一部分光线经由第二偏振片进入图像采集设备。

进一步地，图像投影设备还可以包括孔径光阑、平面镜、螺旋装置以及滤波片中任一项或多项。其中，孔径光阑可以部署于透镜装置7和分光装置9之间，靠近分光装置9的位置，从而使得孔内光进入光路，从而排除干扰光线。平面镜可以部署于图像投影装置6和透镜7之间，通过平面镜反射光满足光线传播距离要求，从而减少图像投影装置6和透镜7的距离，继而减小图像投影设备的尺寸。

螺旋装置主要用于调整焦距，其可以部署于图像投影装置6和分光装置9之间，透镜装置7可以内置于螺旋装置中，滤波片则可以根据实际需要设置在图像投影装置6和分光装置9之间的任意一个位置，以用于过滤特定颜色的光，其过滤特性可以根据实际需求而设置。

本申请还提供了一种图像处理系统，该系统包括：

图像处理设备和本申请实施例所述的增强现实显微镜；

所述图像处理设备用于对所述增强现实显微镜中的所述图像获取模块获取的图像进行图像处理，将处理结果输出至所述增强现实显微镜中的所述图像投影模块。

其中，上述图像处理设备与增强现实显微镜可以通过有线方式连接进行通信，也可以通过无线方式进行通信；上述图像处理设备可以是台式计算机如一体机、由机箱和显示屏构成的组装机，也可以是笔记本、工作站或者其他具有运算功能的终端设备。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种增强现实显微镜，其特征在于，包括：

物镜、目镜、N目观察筒、图像获取模块以及图像投影模块；所述N为大于2的正整数；

所述图像获取模块通过所述N目观察筒上的物理接口与所述N目观察筒物理连接；

所述图像投影模块包括图像投影装置、透镜装置和分光装置；

被测物在观测时产生的光线经由所述物镜进入光路与所述图像投影模块中的所述图像投影装置产生的光线经由所述透镜装置进入光路后，在所述图像投影模块中的所述分光装置处汇合，汇合后光线经由所述N目观察筒后一部分光线进入所述目镜，另一部分光线进入所述图像获取模块；

所述图像获取模块用于将采集的图像输出至图像处理装置，由所述图像处理装置对所述图像进行处理将处理结果输出至所述图像投影装置。

2.根据权利要求1所述的增强现实显微镜，其特征在于，

所述图像投影模块还包括第一偏振片；所述图像获取模块与所述N目观察筒上的物理接口连接位置处还设置有第二偏振片，所述第一偏振片和所述第二偏振片的偏振方向相互垂直；则所述图像投影模块中的图像投影装置产生的光线经由所述透镜装置和所述第一偏振片后进入光路；

则所述汇合后的光线经由所述N目观察筒后一部分光线进入所述目镜，另一部分光线经由所述第二偏振片后进入所述图像采集设备。

3.根据权利要求1所述的增强现实显微镜，其特征在于，所述图像投影模块和所述图像获取模块采用时分复用机制运行。

4.根据权利要求1所述的增强现实显微镜，其特征在于，所述图像获取模块包括基于感光芯片的相机。

5.根据权利要求4所述的增强现实显微镜，其特征在于，所述图像获取模块通过所述N目观察筒上的物理接口与所述N目观察筒物理连接，包括：

所述基于感光芯片的相机通过相机适配器接入所述N目观察筒顶端的相机接口。

6.根据权利要求1所述的增强现实显微镜，其特征在于，所述图像投影装置包括基于LCD、OLED、DMD、LCoS或micro-LED的投影器件。

7.根据权利要求1所述的增强现实显微镜，其特征在于，所述分光装置包括立方体分束镜、平板分束镜或薄膜分束镜。

8.根据权利要求1所述的增强现实显微镜，其特征在于，所述物镜包括消色差物镜、平场消色差物镜、平场半复消色差物镜或平场复消色差物镜。

9.根据权利要求1所述的增强现实显微镜，其特征在于，所述图像投影模块还包括孔径光阑、平面镜、螺旋装置以及滤波片中任一或多项。

10.根据权利要求1所述的增强现实显微镜，其特征在于，所述N目观察筒包括三目观察筒或者六目观察筒。

11.一种图像投影设备，其特征在于，用于与显微镜连接形成增强现实显微镜，包括：

图像投影装置、透镜装置以及分光装置；其中，

所述图像投影装置，用于获取图像处理装置对图像处理所得的处理结果，对所述处理结果进行图像投影，投影的光线经由所述透镜装置进入光路与所述显微镜观测的被测物产生的光线经由所述显微镜的物镜进入光路后在所述分光装置处汇合，汇合后光线经由所述显微镜的N目观察筒一部分光线进入所述显微镜的目镜，另一部分光线进入图像采集设备。

12.根据权利要求11所述的图像投影设备，其特征在于，所述图像投影设备还包括孔径光阑、平面镜、螺旋装置以及滤波片中任一或多项。

13.根据权利要求11所述的图像投影设备，其特征在于，所述图像投影设备还包括第一偏振片；

则所述投影的光线经由所述透镜装置和所述第一偏振片进入光路与所述显微镜观测的被测物产生的光线经由所述显微镜的物镜进入光路后在所述分光装置处汇合，汇合后光线经由所述显微镜的N目观察筒一部分光线进入所述显微镜的目镜，另一部分光线经由第二偏振片进入图像采集设备，所述第一偏振片和所述第二偏振片的偏振方向相互垂直。

14.根据权利要求11所述的图像投影设备，其特征在于，所述图像投影装置包括基于LCD、OLED、DMD、LCoS或micro-LED的投影器件。

15.一种图像处理系统，其特征在于，包括：

图像处理设备和上述权利要求1至10所述的增强现实显微镜；

所述图像处理设备用于对所述增强现实显微镜中的所述图像获取模块获取的图像进行图像处理，将处理结果输出至所述增强现实显微镜中的所述图像投影模块。