CN111239999B - 一种基于显微镜的光学数据处理方法、装置及存储介质 - Google Patents

Abstract

本申请实施例公开了一种基于显微镜的光学数据处理方法、装置及存储介质，该方法包括：该增强现实显微镜可以获取与检测对象相关联的第一图像，确定与该第一图像相关联的目标离焦量。该第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的。该增强现实显微镜可以确定该目标离焦量对应的调焦信号，根据该调焦信号控制该变焦镜头校准该变焦镜头的焦距。该增强现实显微镜可以根据校准焦距后的变焦镜头，得到与该检测对象相关联的第二图像。采用本申请实施例，可以实现自动化对焦，以提高采集到的图像的清晰度。

Description

一种基于显微镜的光学数据处理方法、装置及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于显微镜的光学数据处理方法、装置及存储介质。

背景技术

高质量的图像是人工智能对检测对象进行算法分析和高效远程共享的保障。目前的增强现实显微镜在采集检测对象的图像时，可以人工调整该增强现实显微镜的调焦旋钮，以确保该增强现实显微镜相关联的用户可以在该增强现实显微镜的目镜端观察到比较清晰的图像。

但是，由于人工调焦的方式往往依赖于使用该增强现实显微镜的用户的视力(比如，屈光度)。因此，对于使用该增强现实显微镜观察同一检测对象的不同用户(例如用户A和用户B)而言，必然会使人工调整后的该增强现实显微镜的聚焦的平面会不同。所以，虽然用户A在该增强现实显微镜的目镜端观察到检测对象的图像是清晰的，但是对于用户B而言，可能在该目镜端所观察到的检测对象的图像是模糊的。

此外，由于人眼所感受到的景深与该增强现实显微镜通过该增强现实显微镜中的图像采集装置所感受到的景深不同。例如，10倍物镜下，人眼所感受到检测对象的景深相对于该图像采集装置所感受到的景深更长。所以即便在该目镜端观察到检测对象的图像是清晰的，该图像采集装置所采集的图像也不一定是清晰的。

申请内容

本申请实施例提供一种基于显微镜的光学数据处理方法、装置及存储介质，可以实现自动对焦，以提高采集到的图像的清晰度。

本申请实施例一方面提供一种基于显微镜的光学数据处理方法，该方法包括：

获取与检测对象相关联的第一图像，确定与上述第一图像相关联的目标离焦量；上述第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的；

确定上述目标离焦量对应的调焦信号，根据上述调焦信号控制上述变焦镜头校准上述变焦镜头的焦距；

根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。

其中，上述获取与检测对象相关联的第一图像，确定与上述第一图像相关联的目标离焦量，包括：

获取位于增强现实显微镜的载物台上的检测对象的光线；上述增强现实显微镜包含物镜、变焦镜头和图像采集装置；

将上述检测对象的光线映射在上述物镜上的图像，确定为目标视野图像；

在上述目标视野图像映射至上述变焦镜头后，将上述图像采集装置从上述变焦镜头上所捕捉到的图像，作为与上述检测对象相关联的第一图像；

根据第一神经网络模型确定与上述第一图像相关联的目标离焦量。

其中，上述方法还包括：

获取与样本对象相关联的样本图像以及所述样本图像的实际离焦量；

从所述样本图像的实际离焦量中确定最小离焦量和最大离焦量，获取与所述样本图像的实际离焦量相关联的量化步长；

根据所述最小离焦量、所述最大离焦量以及所述量化步长，设置上述样本图像的标签信息；上述标签信息包含离焦量为非零的第一标签信息和离焦量为零的第二标签信息；

根据具有上述第一标签信息的样本图像和具有上述第二标签信息的样本图像，对初始神经网络模型进行训练，得到用于预测离焦量的第一神经网络模型。

其中，上述第一神经网络模型为上述增强现实显微镜中的模型；

上述根据第一神经网络模型确定与上述第一图像相关联的目标离焦量，包括：

从上述第一图像中提取目标图像特征；

将上述目标图像特征输入至上述第一神经网络模型，输出上述目标图像特征与上述第一神经网络模型中的参考图像特征之间的第一匹配度；上述参考图像特征为上述样本图像的图像特征；

将上述第一匹配度与上述参考图像特征对应的标签信息进行关联，得到与上述第一图像相关联的目标离焦量。

其中，上述第一神经网络模型为与上述增强现实显微镜具有第一网络连接关系的图像处理器中的模型；

上述根据第一神经网络模型确定与上述第一图像相关联的目标离焦量，包括：

根据上述第一网络连接关系将上述第一图像发送给上述图像处理器，以使上述图像处理器根据上述第一神经网络模型预测与上述第一图像相关联的目标离焦量；

接收上述图像处理器所返回的上述目标离焦量。

其中，所述变焦镜头包含液态变焦镜头；

上述确定上述目标离焦量对应的调焦信号，根据上述调焦信号控制上述变焦镜头校准上述变焦镜头的焦距，包括：

获取参考离焦量与参考调焦信号之间的映射关系表；上述映射关系表中的一个参考离焦量对应一个参考调焦信号；

在上述映射关系表中查询与上述目标离焦量匹配的参考离焦量；

将查询到的参考离焦量对应的参考调焦信号确定为上述目标离焦量对应的调焦信号；

基于上述调焦信号控制上述液态变焦镜头调整与上述液态变焦镜头的焦距相关联的形变力度，基于上述形变力度校准上述液态变焦镜头的焦距。

其中，上述增强现实显微镜包含视觉显示装置和目镜；

上述方法还包括：

获取上述第二图像中的目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理；

根据标记处理后的第二图像确定待叠加图像，通过上述视觉显示装置中的分束器将上述待叠加图像的光线与上述目标视野图像的光线进行叠加处理，得到用于呈现在上述目镜上的增强现实图像。

其中，上述获取上述第二图像中的目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理，包括：

从上述第二图像中获取待处理区域，根据第二神经网络模型对上述待处理区域进行特征提取，得到上述待处理区域对应的图像特征；

根据上述第二神经网络模型中的分类器，识别上述图像特征与上述第二神经网络模型中多个属性类型特征之间的第二匹配度；

将上述第二匹配度与上述第二神经网络模型中多个属性类别特征对应的标签信息进行关联，得到上述第二神经网络模型对应的识别结果；

根据上述识别结果，从上述待处理区域中确定上述目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理。

其中，上述视觉显示装置还包含透镜、第一偏振片和图像投影屏；

上述根据标记处理后的第二图像确定待叠加图像，通过上述视觉显示装置中的分束器将上述待叠加图像的光线与上述目标视野图像的光线进行叠加处理，得到用于呈现在上述目镜上的增强现实图像，包括：

将标记处理后的第二图像输出至上述图像投影屏，将在上述图像投影屏上所显示的图像确定为待叠加图像；

根据上述透镜和上述第一偏振片，将上述待叠加图像的光线输出至上述视觉显示装置中的分束器，得到上述待叠加图像的第一子光线；

将上述目标视野图像的光线输出至上述分束器，得到上述目标视野图像的第二子光线；

将上述第一子光线和上述第二子光线在上述分束器的同一分光方向上进行叠加处理，根据叠加处理后的光线确定用于呈现在上述目镜上的增强现实图像。

其中，上述增强现实显微镜包含用于对上述叠加处理后的光线进行分光处理的分光棱镜以及与变焦镜头相关联的第二偏振片；上述第二偏振片的偏振方向与上述第一偏振片的偏振方向之间存在垂直关系；

上述方法还包括：

将上述叠加处理后的光线通过上述分光棱镜输出至上述第二偏振片，根据上述垂直关系滤除上述叠加处理后的光线中的所述第一子光线。

其中，上述方法还包括：

将上述第二图像发送至与上述增强现实显微镜具有第二网络连接关系的目标终端设备，以使上述目标终端设备输出上述第二图像。

本申请实施例一方面提供一种基于显微镜的光学数据处理装置，该装置包括：

第一确定模块，用于获取与检测对象相关联的第一图像，确定与上述第一图像相关联的目标离焦量；上述第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的；

调整模块，用于确定上述目标离焦量对应的调焦信号，根据上述调焦信号控制上述变焦镜头校准上述变焦镜头的焦距；

第二确定模块，用于根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。

其中，上述第一确定模块包括：

第一获取单元，用于获取位于增强现实显微镜的载物台上的检测对象的光线；上述增强现实显微镜包含物镜、变焦镜头和图像采集装置；

第一确定单元，用于将上述检测对象的光线映射在上述物镜上的图像，确定为目标视野图像；

第二确定单元，用于在上述目标视野图像映射至上述变焦镜头后，将上述图像采集装置从上述变焦镜头上所捕捉到的图像，作为与上述检测对象相关联的第一图像；

第三确定单元，用于根据第一神经网络模型确定与上述第一图像相关联的目标离焦量。

其中，所述装置还包括：

第一获取模块，用于获取与样本对象相关联的样本图像，以及所述样本图像的实际离焦量；

第二获取模块，用于从所述样本图像的实际离焦量中确定最小离焦量和最大离焦量，获取与所述样本图像的实际离焦量相关联的量化步长；

设置模块，用于根据所述最小离焦量、所述最大离焦量以及所述量化步长，设置上述样本图像的标签信息；上述标签信息包含离焦量为非零的第一标签信息和离焦量为零的第二标签信息；

训练模块，根据具有上述第一标签信息的样本图像和具有上述第二标签信息的样本图像，对初始神经网络模型进行训练，得到用于预测离焦量的第一神经网络模型。

其中，上述第一神经网络模型为上述增强现实显微镜中的模型；

上述第三确定单元包括：

提取子单元，用于从上述第一图像中提取目标图像特征；

输入子单元，用于将上述目标图像特征输入至上述第一神经网络模型，输出上述目标图像特征与上述第一神经网络模型中的参考图像特征之间的第一匹配度；上述参考图像特征为上述样本图像的图像特征；

关联子单元，用于将上述第一匹配度与上述参考图像特征对应的标签信息进行关联，得到与上述第一图像相关联的目标离焦量。

其中，上述第一神经网络模型为与上述增强现实显微镜具有第一网络连接关系的图像处理器中的模型；

上述第三确定单元包括：

发送子单元，用于根据上述第一网络连接关系将上述第一图像发送给上述图像处理器，以使上述图像处理器根据上述第一神经网络模型预测与上述第一图像相关联的目标离焦量；

接收子单元，用于接收上述图像处理器所返回的上述目标离焦量。

其中，所述变焦镜头包含液态变焦镜头；

上述调整模块包括：

第二获取单元，用于获取参考离焦量与参考调焦信号之间的映射关系表；上述映射关系表中的一个参考离焦量对应一个参考调焦信号；

查询单元，用于在上述映射关系表中查询与上述目标离焦量匹配的参考离焦量；

第四确定单元，用于将查询到的参考离焦量对应的参考调焦信号确定为上述目标离焦量对应的调焦信号；

调整单元，用于基于上述调焦信号控制上述液态变焦镜头调整与上述液态变焦镜头的焦距相关联的形变力度，基于上述形变力度校准上述液态变焦镜头的焦距。

其中，上述增强现实显微镜包含视觉显示装置和目镜；

上述装置还包括：

第三获取模块，用于获取上述第二图像中的目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理；

第三确定模块，用于根据标记处理后的第二图像确定待叠加图像，通过上述视觉显示装置中的分束器将上述待叠加图像的光线与上述目标视野图像的光线进行叠加处理，得到用于呈现在上述目镜上的增强现实图像。

其中，上述第三获取模块包括：

第三获取单元，用于从上述第二图像中获取待处理区域，根据第二神经网络模型对上述待处理区域进行特征提取，得到上述待处理区域对应的图像特征；

识别单元，用于根据上述第二神经网络模型中的分类器，识别上述图像特征与上述第二神经网络模型中多个属性类型特征之间的第二匹配度；

关联单元，用于将上述第二匹配度与上述第二神经网络模型中多个属性类别特征对应的标签信息进行关联，得到上述第二神经网络模型对应的识别结果；

第五确定单元，用于根据上述识别结果，从上述待处理区域中确定上述目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理。

其中，上述视觉显示装置还包含透镜、第一偏振片和图像投影屏；

上述第三确定模块包括：

第一输出单元，用于将标记处理后的第二图像输出至上述图像投影屏，将在上述图像投影屏上所显示的图像确定为待叠加图像；

第二输出单元，用于根据上述透镜和上述第一偏振片，将上述待叠加图像的光线输出至上述视觉显示装置中的分束器，得到上述待叠加图像的第一子光线；

第三输出单元，用于将上述目标视野图像的光线输出至上述分束器，得到上述目标视野图像的第二子光线；

第六确定单元，用于将上述第一子光线和上述第二子光线在上述分束器的同一分光方向上进行叠加处理，根据叠加处理后的光线确定用于呈现在上述目镜上的增强现实图像。

其中，上述增强现实显微镜包含用于对上述叠加处理后的光线进行分光处理的分光棱镜以及与变焦镜头相关联的第二偏振片；上述第二偏振片的偏振方向与上述第一偏振片的偏振方向之间存在垂直关系；

上述装置还包括：

滤除模块，用于将上述叠加处理后的光线通过上述分光棱镜输出至上述第二偏振片，根据上述垂直关系滤除上述叠加处理后的光线中的所述第一子图像。

其中，上述装置还包括：

发送模块，用于将上述第二图像发送至与上述增强现实显微镜具有第二网络连接关系的目标终端设备，以使上述目标终端设备输出上述第二图像。

本申请一方面提供了一种增强现实显微镜，包括：

物镜、目镜、N目观察筒、图像采集装置、变焦镜头以及视觉显示装置；上述N为大于2的正整数；上述视觉显示装置包括分束器；

上述图像采集装置通过上述N目观察筒上的物理接口与上述N目观察筒物理连接；上述视觉显示装置的一端与上述N目观察筒物理连接，且上述视觉显示装置的另一端与上述物镜物理连接；上述图像采集装置与上述N目观察筒上的物理接口连接位置处设置有上述变焦镜头；

检测对象的光线经由上述物镜进入光路后，通过上述视觉显示装置中的上述分束器使上述检测对象的光线经由上述变焦镜头进入上述图像采集装置；

上述图像采集装置用于将采集的第一图像输出至图像处理器；

上述图像处理器用于预测上述第一图像的目标离焦量，将上述目标离焦量对应的调焦信号输出至上述变焦镜头；

上述变焦镜头用于根据上述调焦信号校准上述变焦镜头的焦距；

上述检测对象的光线经由上述物镜进入光路后，通过上述分束器使上述检测对象的光线经由校准焦距后的变焦镜头进入上述图像采集装置；

上述图像采集装置还用于将采集到的与上述检测对象相关联的图像确定为第二图像。

其中，上述视觉显示装置还包括图像投影屏；

上述方法还包括：

上述图像采集装置用于将上述第二图像输出至上述图像处理器；

上述图像处理器用于获取上述第二图像中的目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理，根据标记处理后的第二图像确定待叠加图像，将上述待叠加图像输出至上述视觉显示装置中的图像投影屏。

其中，上述视觉显示装置还包括第一偏振片；上述图像采集装置与上述N目观察筒上的物理接口连接位置处还设置有第二偏振片；上述第一偏振片的偏振方向与上述第二偏振片的偏振方向之间存在垂直关系；

上述方法还包括：

上述图像投影屏还用于将上述待叠加图像的光线输出至上述分束器；

上述物镜用于将获取到的上述检测对象的光线确定为目标视野图像，将上述目标视野图像输出至上述分束器；

上述分束器用于叠加处理上述目标视野图像的光线和上述待叠加图像的光线，将叠加处理后的光线输出至上述N目观察筒中的分光棱镜；

上述分光棱镜用于将上述叠加处理后的光线的一部分光线输出至上述目镜，将另一部分光线经由上述第二偏振片和上述校准焦距后的变焦镜头输出至上述图像采集装置；上述第二偏振片用于从获取到的另一部分光线中滤除与上述第一偏振片相关联的上述待叠加图像的光线。

本申请一方面提供了一种增强现实显微镜，包括：处理器、存储器、网络接口；

该处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，该存储器用于存储计算机程序，该处理器用于调用该计算机程序，以执行本申请实施例中上述一方面中的方法。

本申请一方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时，执行本申请实施例中上述一方面中的方法。

在本申请实施例中，该增强现实显微镜可以获取与检测对象相关联的第一图像，并可以确定与该第一图像相关联的目标离焦量。其中，该第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的。进一步地，该增强现实显微镜可以确定该目标离焦量对应的调焦信号，并可以根据该调焦信号控制该变焦镜头调整形变力度。该形变力度用于校准上述变焦镜头的焦距。此时，该增强现实显微镜可以根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。由此可见，该增强现实显微镜在获取到第一图像对应的目标离焦量时，可以根据离焦量与调焦信号之间的对应关系，快速确定出该目标离焦量对应的调焦信号，从而可以根据确定出的调焦信号控制该增强现实显微镜中的变焦镜头的形变力度，进而可以实现对该变焦镜头的焦距进行自动校准。进一步地，该增强现实显微镜可以根据校准焦距后的变焦镜头，将继续采集到的聚焦图像称之为第二图像，以通过自动调焦提高图像采集的清晰度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种网络架构的结构示意图；

图2是本申请实施例提供的一种进行数据交互的场景示意图；

图3是本申请实施例提供的一种基于显微镜的光学数据处理方法的流程示意图；

图4是本申请实施例提供的一种增强现实显微镜的结构示意图；

图5是本申请实施例提供的一种测试图像的实际离焦量与测试图像的预测离焦量之间的映射关系图；

图6是本申请实施例提供的一种基于显微镜的光学数据处理方法的流程示意图；

图7是本申请实施例提供的一种确定目标对象所属的目标区域的流程图；

图8是本申请实施例提供的一种标记目标区域的场景示意图；

图9是本申请实施例提供的一种目标区域与第二图像的所占比例的示意图；

图10是本申请实施例提供的一种确定增强现实图像的场景示意图；

图11是本申请实施例提供的一种确定融合图像的场景示意图；

图12是本申请实施例提供的一种基于显微镜的光学数据处理装置的结构示意图；

图13是本申请实施例提供的一种增强现实显微镜的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1，是本申请实施例提供的一种网络架构的结构示意图。如图1所示，该网络架构图可以包括显微镜2000和终端集群，该终端集群可以包括多个终端，如图1所示，具体可以包括终端3000a、终端3000b、终端3000c、…、终端3000n。

如图1所示，终端3000a、终端3000b、终端3000c、…、终端3000n可以分别与该显微镜2000进行网络连接，以便于每个终端可以通过该网络连接与该显微镜2000进行数据交互。其中，网络连接可以包含通过数据线方式将网络接口(例如，USB接口、COM接口等)进行连接，也可以包含通过蓝牙、无线网络等无线传输方式进行连接，在此不做限定。

如图1所示，该终端集群中的终端均可以安装有目标应用，当该目标应用运行于各终端中时，可以分别与上述图1所示的显微镜2000之间进行数据交互，其中，该目标应用可以为具有数据处理功能的应用。

其中，为便于理解，本申请实施例可以在图1所示的多个终端中选择一个终端作为目标终端，该目标终端可以包括：智能手机、平板电脑、桌上型电脑等具有数据处理功能的智能终端。例如，本申请实施例可以将图1所示的终端3000a作为目标终端，该目标终端中可以集成有上述目标应用，此时，该目标用户终端可以通过该目标应用对应的业务数据平台与该显微镜2000之间实现数据交互。

可以理解的是，该显微镜2000可以用于医疗行业、生命科学研究、材料科学和精密工业检测等领域。其中，该显微镜可以为具有自动调焦能力的传统显微镜，该显微镜2000还可以为将增强现实技术应用于传统的显微镜上的增强现实显微镜。这里将不对其进行限定。其中，增强现实(Augmented Reality，简称AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将图像处理器(例如，目标终端)经过算法分析后所得到的图像中的虚拟信息与真实图像中的真实信息进行叠加，从而实现对真实图像的“增强”。应当理解，用户利用该显微镜2000观察检测对象时，可以看到真实信息与虚拟信息叠加后的效果图像。

为便于理解，进一步地，请参见图2，是本申请实施例提供的一种进行数据交互的场景示意图。如图2所示，本申请实施例中的增强现实显微镜可以为增强现实显微镜A，该增强现实显微镜A可以为上述图1所示的显微镜2000。本申请是实施例中的图像处理器可以为图像处理器A，该图像处理器A可以为上述图1所示的终端集群中的任意一个终端(例如，终端3000b)。其中，该图像处理器A与该增强现实显微镜A之间具有网络连接关系。本申请实施例可以将该图像处理器A与该增强现实显微镜A之间的网络连接关系称之为第一网络连接关系。例如，第一网络连接关系可以为通过USB数据线方式，将增强现实显微镜A与图像处理器A的网络接口进行连接的关系。

如图2所示，该增强现实显微镜A可以包含载物台1、物镜2、分束器3、N目观察筒4、N目观察筒中的管镜5、目镜6、图像采集装置7、图像投影屏8、透镜9、偏振片10、偏振片11以及变焦镜头12。其中，该透镜9可以为单个透镜或者多个透镜所组成的透镜组。

其中，该物镜2可以为单个透镜构成，也可以为多个透镜组合而成的一个透镜组。可以理解的是，组合使用的目的是为了克服单个透镜的成像缺陷，提高物镜的光学质量。该增强现实显微镜A的放大作用主要取决于物镜2，物镜2质量的好坏直接影响该增强现实显微镜A的成像质量，它是决定显微镜的分辨率和成像清晰程度的主要部件。可以理解的是，该物镜2可以选择消色差物镜、复消色差物镜、平面消色差物镜、平面复消色差物镜、半复消色差物镜等物镜中的任意一种或多种，对色差进行校正，以提高成像质量。考虑到在观测检测对象时，可能存在不同放大倍数的需求，例如，针对同一检测对象(如细胞的轮廓和内核)需要采用不同放大倍数的物镜，或者针对不同大小的检测对象所需要的物镜倍数不同。本申请实施例可以提供具有不同放大倍数的物镜组合以供用户选择。例如，该物镜2的放大倍数可以为4.0X、10.0X、20.0X、60.0X和100.0X的物镜组合。

该N目观察筒4中的N表征的是光路数量，其中，N可以为大于2的整数。例如，该N目观察筒4可以为三目观察筒，即N可以为3。换言之，这3路光路可以分别对应图像采集装置7和两个目镜6。此外，在一些可能的实现方式中，本申请实施例中可以由两个与该增强现实显微镜A相关联的用户(例如，医护人员)同时观察该检测对象。此时，该N目观察筒4可以为六目观察筒，即N可以为6。换言之，这6路光路可以分别对应两个图像采像装置7以及四个目镜6。可以理解的是，本申请实施例中的N目观察筒4可以根据实际需求设置N目观察筒4的光路数量，从而可以使得多人能同时观测该检测对象。为便于理解，本申请实施例中的N目观察筒4以三目观察筒为例。

其中，该N目观察筒4中还包括用于进行分光处理的分光棱镜，由于该分光棱镜的结构较为复杂，所以本申请实施例未在图2中示意出该分光棱镜的具体结构。

如图2所示，视觉显示装置可以包含图像投影屏8、透镜9、偏振片10以及分束器3。其中，该视觉显示装置的一端可以与该N目观察筒4进行物理连接，且该视觉显示装置的另一端可以与该物镜2进行物理连接。其中，该视觉显示装置中的图像投影屏8输出的图像可以包括但不限于轮廓图，热图，标注等。

检测对象在观测时所产生的光线可以通过该物镜2进入光路后，经视觉显示装置中的分束器3使该检测对象的光线通过该变焦镜头12进入图像采集装置7。其中，该图像采集装置7可以用于将采集到的与检测对象相关联的第一图像输出至如图2所示的图像处理器A中。应当理解，该图像采集装置7与该N目观察筒4可以通过该N目观察筒4上的物理接口进行物理连接。其中，该物理接口可以具体包括标准物理接口，以便基于该标准物理接口连接该N目观察筒4和图像采集装置7。其中，该图像采集装置7与该N目观察筒4上的物理接口连接位置处可以设置有该偏振片11以及该变焦镜头12。

该图像采集装置7可以用于进行图像采集，从而得到与检测对象相关的第一图像。例如，该图像采集装置7可以为相机、摄像机、扫描仪以及其他具有拍照功能的设备(例如手机、平板电脑等)。考虑到物理接口可能不统一，为了能兼容多种类型的图像采集装置7，还可以将图像采集装置7与适配器配合使用。可以理解的是，该图像采集装置7可以通过该适配器与N目观察筒4上的物理接口进行物理连接，从而实现该图像采集装置7与该N目观察筒4的连接。其中，该适配器中还可以内嵌该偏振片11和变焦镜头12。

该偏振片11的偏振方向与该偏振片10的偏振方向之间可以存在垂直关系，即该偏振片11与该偏振片10之间可以存在偏振态相互垂直关系，该偏振片11可以用于滤除该图像投影屏8所输出的图像的光线，以防止来自图像投影屏8中的增强现实信息进入该图像采集装置7(例如，相机)。

该变焦镜头12可以包括液晶变焦镜头、液态变焦镜头以及超声马达驱动的变焦镜头等。本申请实施例将不对位于该增强现实显微镜A中的变焦镜头12的型号以及变焦镜头12的具体形态进行具体限定。

其中，液晶变焦镜头可以由液晶透镜组成。应当理解，本申请实施例可以通过外加电场改变液晶透镜中的液晶分子之间的排列特性，以使该液晶变焦镜头具备改变焦距的能力。可以理解的是，外加电场场强的大小和方向都会影响液晶分子的排列方向，从而可以影响该液晶透镜的折射率，进而可以影响该液晶变焦透镜的焦距。换言之，不同电压信号下，液晶变焦透镜的焦距不同，即本申请实施例通过改变调焦信号(例如，电信号)可以改变该液晶镜头的焦距。

其中，该液态变焦镜头可以包括：Optotune的仿生类液体镜头系列产品，例如，Optotune的EL-16-40-TC，EL-10-30-C等液态变焦镜头，也可以包括Corning VariopticLenses的全系液态变焦镜头。本申请实施例可以基于调焦信号(例如，电信号)控制该液态变焦镜头调整与该液态变焦镜头的焦距相关联的形变力度，基于该形变力度校准该液态变焦镜头的焦距。其中，可以理解的是，调焦信号还可以包含其他形式的信号，比如，光信号、磁信号等，这里将不对调焦信号的具体类型进行限定。

该图像处理器A可以为上述图1所示的终端集群中的任意一个终端(例如，终端3000b)。其中，该图像处理器A可以用于预测图像采集装置7所发送的上述第一图像的目标离焦量，并可以将该目标离焦量对应的调焦信号输出至上述变焦镜头12，以使该变焦镜头12可以基于该调焦信号校准该变焦镜头12的焦距。

其中，该检测对象在观测时所产生的光线可以在经由该物镜2进入光路后，通过分束器3使得该检测对象的光线经由校准焦距后的变焦镜头12进入该图像采集装置7。此时，该图像处理装置7可以用于将根据校准焦距后的变焦镜头12所采集到的与该检测对象相关联的图像确定为第二图像。可以理解的是，该增强现实显微镜A中的图像采集装置7所采集的图像会受限于该变焦镜头12的变焦能力。因此，为了实现自动对焦功能，本申请实施例可以通过获取到的与第一图像相关联的目标离焦量，得到用于自动控制变焦镜头12校准焦距的调焦信号(例如，电信号、光信号、磁信号等)，进而可以准确校准该变焦镜头12的焦距，以得到第二图像。应当理解，这里的第二图像为聚焦图像。

可以理解的是，本申请实施例的变焦镜头12以液态变焦镜头为例，可以通过电信号改变该液态变焦镜头的形变力度，进而可以实现对该液态变焦镜头的焦距的调整(也可以称之为对该液态变焦镜头的焦距进行校准)。可以理解的是，在对液态变焦镜头的焦距进行校准之后，本申请实施例可以将采集到的聚焦(即离焦量为零)的图像统称为第二图像。

应当理解，本申请实施例可以在该载物台1上放置检测对象，从而可以根据该增强现实显微镜A获取与该检测对象相关联的第一图像。其中，本申请实施例可以将该增强现实显微镜A利用图像采集装置7所捕捉到的图像称之为与该检测对象相关联的第一图像。可以理解的是，该增强现实显微镜A可以获取位于该载物台1上的该检测对象在观测时所产生的光线，并将该检测对象在观测时所产生的光线映射在物镜2上的图像确定为目标视野图像。进一步地，该增强现实显微镜A中的图像采集装置7可以捕捉该目标视野图像映射在该变焦镜头12上的第一图像(例如，如2所示的图像100a)。

进一步地，该增强现实显微镜A可以根据该第一网络连接关系，将该图像100a发送至如图2所示的图像处理器A。可以理解的是，该图像处理器A中具有用于预测离焦量的神经网络模型。其中，本申请实施例可以将用于预测离焦量的神经网络模型称之为第一神经网络模型。此时，该图像处理器A可以根据该第一神经网络模型预测与该图像100a相关联的离焦量。其中，本申请实施例可以将与第一图像(图像100a)相关联的离焦量称之为目标离焦量。进一步地，该图像处理器A可以根据该目标离焦量生成出与该目标离焦量对应的调焦信号，并将该调焦信号发送至该增强现实显微镜A。此时，该增强现实显微镜A可以接收该图像处理器A基于该目标离焦量所发送的用于校准该变焦镜头12的焦距的调焦信号。

例如，在物镜2的倍数为10倍时，该图像处理器A根据第一神经网络模型所预测的与图像100a相关联的目标离焦量可以为3微米。此时，该图像处理器A可以确定出该变焦镜头12在校准焦距时所需要的调焦信号(例如，电信号)为10毫安。

其中，该图像处理器A可以在参考离焦量与参考调焦信号之间的映射关系表中，基于该目标离焦量，查询到与该目标离焦量相匹配的参考离焦量，并将该参考离焦量对应的参考调焦信号作为该目标离焦量对应的调焦信号。基于所确定的调焦信号，该图像处理器A可以生成用于校准变焦镜头12的焦距的调焦信号，并将生成的调焦信号发送至该增强现实显微镜A。该增强现实显微镜A可以基于该图像处理器A所返回的调焦信号，控制该变焦镜头12校准该变焦镜头12的焦距。进一步地，该增强现实显微镜A可以根据校准焦距后的变焦镜头12，利用图像采集装置7重新采集与该检测对象相关联的图像(例如，如图2所示的图像100b)。其中，本申请实施例可以在校准该变焦镜头12的焦距后，将该图像采集装置7所重新采集得到的图像称之为与该检测对象相关联的第二图像。

可选的，该图像处理器A还可以集成在该增强现实显微镜A上。应当理解，该增强现实显微镜A可以基于与该图像100a相关联的目标离焦量，确定用于校准该变焦镜头12焦距的调焦信号。此时，该增强现实显微镜A可以根据调焦信号对变焦镜头12进行焦距校准。进一步地，该增强现实显微镜A可以根据校准焦距后的变焦镜头12，利用图像采集装置7重新采集该检测对象，从而可以得到第二图像(即图像100b)。

其中，该增强现实显微镜基于第一图像的目标离焦量，自动调节该增强现实显微镜中的变焦镜头焦距的具体实现方式可以参见下述图3-图11所对应的实施例。

进一步地，请参见图3，是本申请实施例提供的一种基于显微镜的光学数据处理方法的流程示意图。如图3所示，该方法可以包括：

S101，获取与检测对象相关联的第一图像，确定与上述第一图像相关联的目标离焦量。

其中，上述第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的。

具体地，增强现实显微镜可以获取位于该增强现实显微镜的载物台上的检测对象的光线。该检测对象的光线是指该检测对象在观测时所产生的光线。其中，该增强现实显微镜可以包含物镜、变焦镜头和图像采集装置。应当理解，该增强现实显微镜可以将该检测对象的光线映射在该物镜上的图像，确定为目标视野图像。进一步地，该增强现实显微镜可以在该目标视野图像映射至该变焦镜头后，将该图像采集装置从该变焦镜头上所捕捉到的图像，作为与该检测对象相关联的第一图像。然后，该增强现实显微镜可以根据第一神经网络模型确定与该第一图像相关联的目标离焦量。

其中，本申请实施例中的增强现实显微镜可以上述图1所示的显微镜2000。该显微镜2000可以为上述图2所示的增强现实显微镜A，也可以为下述图4所对应的增强现实显微镜B。其中，该增强现实显微镜可以用于医疗行业、生命科学研究、材料科学和精密工业检测等领域。

进一步地，请参见图4，是本申请实施例提供的一种增强现实显微镜的结构示意图。如图4所示，本申请实施例中的增强现实显微镜可以为该增强现实显微镜4000。其中，该增强现实显微镜4000可以为变焦镜头安装在显微镜上的效果图。可以理解的是，该增强现实显微镜4000可以为图1所示的显微镜2000。该增强现实显微镜4000可以为上述图2所示的该增强现实显微镜A，也可以为图4所示的增强现实显微镜B。

如图4所示，该增强现实显微镜B可以包含载物台1、物镜2、分束器3、N目观察筒4、N目观察筒中的管镜5、目镜6、图像采集装置7、图像投影屏8、透镜9、偏振片10、偏振片11、变焦镜头12、透镜13以及透镜14。其中，该透镜9、透镜13、透镜14均可以为单个透镜或者多个透镜所组成的透镜组。为了防止来自图像投影屏8中的增强现实信息进入该图像采集装置7(例如，相机)，本申请实施例需要确保该偏振片10的偏振方向与该偏振片11的偏振方向之间存在垂直关系。

其中，如图4所示，该增强现实显微镜4000中的变焦镜头可以为该增强现实显微镜B中的变焦镜头12，该增强现实显微镜4000中的AR盒子可以为该增强现实显微镜B中的视觉显示装置。其中，该视觉显示装置可以包括图像投影屏8、透镜9、偏振片10以及分束器3。

其中，如图4所示的增强现实显微镜B中的物镜2、N目观察筒4、图像采集装置7、视觉显示装置、图像处理器以及变焦镜头12可以参见上述图2所示的增强现实显微镜A的物镜2、N目观察筒4、图像采集装置7、视觉显示装置、图像处理器A以及变焦镜头12的描述，这里将不再继续进行赘述。

其中，该增强现实显微镜B的结构示意图与上述图2所对应实施例中的增强现实显微镜A相比较，在图像采集装置7前加入了远心系统。如图4所示，该远心系统是由透镜13和透镜14所构成。应当理解，本申请实施例可以将该变焦镜头12放置在该透镜13的后焦面以及该透镜14的前焦面上。这种远心光路结构可以有效降低自动调整该变焦镜头12的焦距时所带来的视野倍数缩放。此外，由于该变焦镜头12在该透镜13和透镜14的焦面处(相当于远心系统的光阑处)，从而可以给整个光学系统带来最小的像差，即可以降低实际成像与理想成像之间的差异。为便于理解，本申请实例中的变焦镜头12可以为上述液态变焦镜头。其中。该图像采集装置7与该N目观察筒上的物理接口连接位置处可以设置有偏振片11、透镜13、变焦镜头12以及透镜14。

如图4所示，本申请实施例可以在该增强现实显微镜B的载物台上放置检测对象A(例如，切片的淋巴组织)。该增强现实显微镜B可以获取位于上述载物台1上该检测对象A在观测时所产生的光线，并将该检测对象A在观测时所产生的光线映射在上述物镜2的图像确定为目标视野图像。在该目标视野图像映射在上述变焦镜头12后，该增强现实显微镜B中的该图像采集装置7可以从该变焦镜头12上捕捉第一图像(例如，图像a)。

可以理解的是，该增强现实显微镜B可以根据第一神经网络模型确定与该第一图像相关联的目标离焦量。其中，该第一神经网络模型可以为用于预测离焦量的神经网络模型。其中，该神经网络模型可以包括AlexNet，MobileNetV2，InceptionV3，ResNet50或者自己搭建的神经网络模型等。应当理解，该增强现实显微镜B在构建第一神经网络模型时，可以通过与采集第一图像相同物镜倍数的物镜去采集样本图像，从而可以得到能够准确预测第一图像的目标离焦量的神经网络模型。换言之，该增强现实显微镜B获取第一图像的物镜倍数不同，用于预测与第一图像相关联的目标离焦量的神经网络模型也不同。其中，该神经网络模型可以包括分类模型、回归模型等网络模型，这里不做限定。

可以理解的是，该神经网络模型是一种深度学习网络模型。其中，深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(Artificial Intelligence，简称AI)。可以理解的是，所谓人工智能是指利用数字计算机或者数据计算机控制的机器(如图1所示终端集群中的任意一个终端，例如，终端3000b)来进行模拟、延伸和扩展人的智能的理论、方法、技术以及应用系统的一门新的技术科学。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

应当理解，该增强现实显微镜B可以获取与该样本对象A相关联的样本图像以及该样本图像的实际离焦量。其中，该样本图像与该第一图像(即图像a)在采集时所使用的物镜倍数相同。进一步地，该增强现实显微镜B可以从该样本图像的实际离焦量中确定最小离焦量和最大离焦量，进而可以获取与该样本图像的实际离焦量相关联的量化步长。然后，该增强现实显微镜B可以根据该样本图像的最小离焦量、最大离焦量以及量化步长，从而可以设置该样本图像的标签信息。其中，该标签信息可以包含离焦量为零的第一标签信息和离焦量为非零的第二标签信息。

为了更准确的预测第一图像的目标离焦量，所以，与一种物镜倍数的物镜相关联的第一图像可以对应一个第一神经网络模型。例如，若该增强现实显微镜B获取第一图像所使用的物镜为10倍，则该增强现实显微镜B获取样本图像所使用的物镜倍数也可以为10倍。可以理解的是，该增强现实显微镜B可以获取大量的(例如，200张)样本图像和该样本图像对应的实际离焦量。进一步地，该增强现实显微镜B中从该样本图像中确定的最大离焦量为10μm，最小离焦量为-10μm，则该增强现实显微镜B可以确定与该样本图像的实际离焦量相关联的量化步长可以为5μm。

可以理解的是，该增强现实显微镜B可以根据该量化步长得到多个分段，其中，每个分段可以对应一个标签类型。具体地，可以参见下述表1，是本申请实施例提供的一种分段与标签类型之间的关系表。

表1

分段	标签类型(μm)
		A[-10，-5)	X<sub>1</sub>
B[-5，0)	X<sub>2</sub>
		C[0，5)	X<sub>3</sub>
D[5，10]	X<sub>4</sub>

应当理解，上述表1中，该增强现实显微镜B可以根据量化步长5μm将上述样本图像的实际离焦量划分为4个分段。如表1所示，样本图像的实际离焦量在-10μm至-5μm之间的属于分段A，为该分段A设置的标签类型可以为X₁μm。样本图像的实际离焦量在-5μm至0μm之间的属于分段B，为该分段B设置的标签类型可以为X₂μm。样本图像的实际离焦量在0μm至5μm之间的属于分段C，为该分段C设置的标签类型可以为X₃μm。样本图像的实际离焦量在5μm至10μm之间的属于分段D,为该分段D设置的标签类型可以为X₄μm。

其中，本申请实施例中的标签类型可以为该增强现实显微镜B对样本图像中属于当前分段的实际离焦量进行均值处理后所得，也可以为该增强现实显微镜B对样本图像中属于当前分段的实际离焦量进行降序处理后取中所得，在此不做限定。

应当理解，该增强现实显微镜B所获取的不同分段中的样本图像的数量可以相同。例如，该增强现实显微镜B可以获取200张样本图像，其中，属于分段A的样本图像的数量为50张，属于分段B的样本图像的数量为50张，属于分段C的样本图像的数量为50张，属于分段D范围的样本图像的数量为50张。

进一步地，该增强现实显微镜B可以将根据具有该第一标签信息的样本图像和具有该第二标签信息的样本图像，对初始神经网络模型进行微调训练，得到训练完成的初始神经网络模型。在训练完成时，该增强现实显微镜B可以基于收敛条件，确定该训练完成的初始神经网络模型为用于预测离焦量的第一神经网络模型。

应当理解，该增强现实显微镜B可以确定训练完成的初始神经网络模型的准确率。在该训练完成的初始神经网络模型的准确率小于或者等于准确率阈值(例如，95％)时，该增强现实显微镜B可以根据倍数为10倍的物镜，重新获取新样本图像以及新样本图像的实际离焦量。基于该新样本图像的实际离焦量，该增强现实显微镜B可以重新确定最小离焦量和最大离焦量，并可以获取新的量化步长。例如，若准确率小于该准确率阈值的训练完成的初始神经网络模型的量化步长为5μm，则该增强现实显微镜B根据新样本图像的实际离焦量可以将量化步长重新确定为3μm。进一步地，该增强现实显微镜B可以根据最小离焦量、最大离焦量以及量化步长，设置新样本图像的标签信息，进一步地，可以根据具有标签信息的该新样本图像对初始神经网络模型进行微调训练，以得到第一神经网络模型。

可选的，在该训练完成的初始神经网络模型的准确率小于或者等于准确率阈值时，该增强现实显微镜B可以细化该训练完成的初始神经网络模型中的样本图像的实际离焦量相关联的量化步长。例如，若准确率小于该准确率阈值的训练完成的初始神经网络模型的量化步长为5μm，则该增强现实显微镜B可以根据新样本图像的实际离焦量将量化步长重新确定为3μm。此时，该增强现实显微镜B可以再次确定该训练完成的初始神经网络模型的准确率。若该训练完成的初始神经网络模型的准确率仍然小于或者等于准确率阈值，该增强现实显微镜B可以重新获取新样本图像，并基于该新样本图像对该初始神经网络模型进行训练，以得到第一神经网络模型。

在该训练完成的初始神经网络模型的准确率大于该准确率阈值时，该增强现实显微镜B可以将该训练完成的初始神经网络模型确定为满足收敛条件的第一神经网络模型。为便于理解，进一步地，请参见图5，是本申请实施例提供的一种测试图像的实际离焦量与测试图像的预测离焦量之间的映射关系图。

应当理解，如图5所示，本申请实施例中的增强现实显微镜可以为上述图4所示的增强现实显微镜B。其中，本申请实施例可以将检测对象(淋巴组织)放置在增强现实显微镜B中的载物台1上，通过物镜倍数为10倍的物镜2，该增强现实显微镜B可以获取35万张224*224*3尺寸大小的样本图像以及这35万张样本图像分别对应的实际离焦量。其中，本申请实施例使用的物镜2可以为奥林巴斯10x半复消色差物镜，该物镜2的景深约为7.4微米。其中，景深是指在图像采集装置能够取得清晰图像的成像所测定的检测对象前后距离范围。应当理解，景深可以分为前景深和后景深。一般来说，图像采集装置中的前景深小于后景深。为便于理解，本申请实施例可以理解为前景深与后景深相同。换言之，若样本图像的实际离焦量在景深的二分之一范围内，该样本图像可以理解为聚焦图像。其中，由于本申请实施例中的物镜2的景深为7.4微米，所以可以将实际离焦量在-3.7微米至3.7微米之间的样本图像可以作为聚焦图像。进一步地，该增强现实显微镜B可以根据该样本图像，对MobileNetV2这一初始神经网络模型进行微调训练，从而可以得到用于预测离焦量的第一神经网络模型。

可以理解的是，该增强现实显微镜B可以根据这35万张样本图像分别对应的实际离焦量确定最小离焦量和最大离焦量，从而可以获取与这35万张图像分别对应的实际离焦量相关联的量化步长。该增强现实显微镜B可以根据该最小离焦量、该最大离焦量以及该量化步长，设置该样本图像的标签信息。进一步地，该增强现实显微镜B可以根据具有第一标签信息(离焦量为非零)的样本图像和具有第二样本信息(离焦量为零)的样本图像，对MobileNetV2这一初始神经网络模型进行微调训练，得到训练完成的初始神经网络模型。该增强现实显微镜B可以根据训练完成的初始神经网络模型，确定用于预测离焦量的第一神经网络模型。

进一步地，该增强现实显微镜B可以从上述35万张样本图像中获取3.75万样本图像，并将这3.75万张样本图像作为测试图像，以验证该训练完成的初始神经网络模型对测试图像进行离焦量预测的准确率，进而可以将准确率达到准确率阈值(例如，95％)时的训练完成的初始神经网络模型作为第一神经网络网络模型。可以理解的是，该增强现实显微镜B可以将该测试图像输入至该训练完成的初始神经网络模型中，从而可以输出该测试图像的预测离焦量。可以理解的是，本申请实施例在对该测试图像的预测离焦量和实际离焦量进行统计之后，可以构建得到这些测试图像的预测离焦量和该测试图像的实际离焦量之间的映射关系。基于该映射关系，该增强现实显微镜B可以拟合得到如图5所示的测试图像的预测离焦量与测试图像的实际离焦量之间的映射关系图。

如图5所示，参考线a上的点可以用于表征输入至该训练完成的初始神经网络模型的测试图像的预测离焦量与该测试图像的实际离焦量是相同的。另外，输入该训练完成的初始神经网络模型的测试图像的预测离焦量与实际离焦量之间也可以允许存在一定的预测误差。由于该物镜2的景深为7.4微米，所以本申请实施例中所允许的预测误差可以为3.7微米。比如，本申请实施例可以将在参考线a的误差阈值范围以内(即小于或者等于3.7微米)的预测离焦量视为与实际离焦量相匹配的；反之，则可以将在参考线a的误差阈值范围以外(即大于3.7微米)的预测离焦量视为与实际离焦量不匹配的，进而可以通过统计到的匹配的预测离焦量的第一数量与预测到的所有预测离焦量的总数量(即统计到的匹配的预测离焦量的第一数量和统计到的不匹配的预测离焦量的第二数量之和)之间的比值，确定用于表征该训练完成的初始神经网络模型的准确度。

比如，若测试图像A中的预测离焦量与实际离焦量之间的映射关系如图5中的点1所示，由于该测试图像A对应的点1没有在图5所绘制的任意一条匹配线上，所以，该增强现实显微镜B可以确定该测试图像A经过该训练完成的初始神经网络模型所得到的预测离焦量与实际离焦量之间存在较大的误差(即大于3.7微米)，该点1可以被认称之为误差点。此时，该增强现实显微镜B可以确定该训练完成的初始神经网络模型未完成对测试图像A的离焦量的预测(即匹配失败)，进而可以对匹配失败的次数进行加一处理，以得到上述第二数量。

另外，若测试图像B中的预测离焦量与实际离焦量之间的映射关系如图5中的点2所示，由于该测试图像B对应的点2在图5所绘制的匹配线(即匹配线2)中，所以该增强现实显微镜B可以确定该测试图像B经过该训练完成的初始神经网络模型所得到的预测离焦量与实际离焦量之间的误差在该训练完成的初始神经网络模型所允许的误差范围内(即小于或者等于3.7微米)。此时，该增强现实显微镜B可以确定该训练完成的初始神经网络模型完成对测试图像B的离焦量的预测(即匹配成功)，进而可以对匹配成功的次数进行加一处理，以得到上述第一数量。

进一步地，该增强现实显微镜B可以基于该第一数量以及该总数量，快速确定出该训练完成的初始神经网络模型在特定物镜倍数下的物镜的景深以内的准确率。在该训练完成的初始神经网络模型的准确率达到该准确率阈值时，则该增强现实显微镜B可以将该训练完成的初始神经网络模型作为第一神经网络模型。在该训练完成的初始神经网络模型的准确率未达到该准确率阈值时，则该增强现实显微镜B可以对该训练完成的初始神经网络模型进行微调训练，迁移学习以准确确定出用于对第一图像的目标离焦量进行预测的第一神经网络模型。比如，本申请实施例中的该增强现实显微镜B可以确定出训练完成的初始神经网络模型(MobileNetV2)在景深以内的准确率为99.7％，则该增强现实显微镜B可以将该训练完成的初始神经网络模型(MobileNetV2)作为上述第一神经网络模型。

应当理解，图像处理器可以独立于该增强现实显微镜B且与该增强现实显微镜具有网络连接关系，则该第一神经网络模型可以为该图像处理器中的模型。其中，本申请实施例可以将该增强现实显微镜B与图像处理器之间的网络连接关系称之为第一网络连接关系。该图像处理器可以为图1所示终端集群中的任意一个终端(例如，终端3000b)。可以理解的是，该增强现实显微镜B可以根据第一网络连接关系，将第一图像(图像a)发送给图像处理器。该图像处理器可以提取该图像a中的目标图像特征。进一步地，该图像处理器可以将该目标图像特征输入至该第一神经网络模型中。此时，该第一神经网络模型可以输出该目标图像特征与第一神经网络模型中的参考图像特征之间的第一匹配度。进一步地，该图像处理器可以将该第一匹配度与该参考图像对应的标签信息进行关联，得到与该图像a相关联的目标离焦量。进一步地，该图像处理器可以将该目标离焦量返回给该增强现实显微镜B。

可选的，该图像处理器也可以集成在该增强现实显微镜B中的器件，则该第一神经网络模型可以为该增强现实显微镜B中的模型。此时，该增强现实显微镜B可以从上述第一图像(图像a)中提取目标图像特征。进一步地，该增强现实显微镜B可以将该目标图像特征输入至该第一神经网络模型中。此时，该第一神经网络模型可以输出该目标图像特征与第一神经网络模型中的参考图像特征之间的第一匹配度。其中，该参考图像特征为上述样本图像的图像特征。可以理解的是，该第一匹配度的越高，则说明该目标图像特征与该参考图形特征之间对应的标签信息之间的匹配概率越大。进一步地，该增强现实显微镜B可以将该第一匹配度与该参考图像对应的标签信息进行关联，得到与该第一图像相关联的目标离焦量。

S102，确定上述目标离焦量对应的调焦信号，根据上述调焦信号控制上述变焦镜头校准上述变焦镜头的焦距。

具体地，该增强现实显微镜可以获取参考离焦量与参考调焦信号之间的映射关系表。其中，该映射关系表中的一个参考离焦量对应一个参考调焦信号。进一步地，该增强现实显微镜可以在该映射关系表中查询与该目标离焦量匹配的参考离焦量，并将查询到的参考离焦量对应的参考调焦信号确定为该目标离焦量对应的调焦信号。进一步地，该增强现实显微镜可以基于该调焦信号，控制该变焦镜头校准该变焦镜头的焦距。

其中，本申请实施例中的变焦镜头可以为上述液态变焦镜头、液晶变焦透镜以及超声马达驱动的变焦镜头。当然，对于其他形态的变焦镜头而言，也可以考虑通过得到的调焦信号(例如，电信号、光信号以及磁信号等)对相应形态的变焦镜头的焦距进行自动调整。可以理解的是，本申请实施例可以以液态变焦镜头为例，用以阐述该增强现实显微镜校准变焦镜头的焦距。

其中，该映射关系表可以为该增强现实显微镜中的映射关系表，也可以为该图像处理器中的映射关系表。具体地，该映射关系表可以如下述表2所示，可以看出，该映射关系表中的一个参考离焦量对应一个参考调焦信号。应当理解，该映射关系表中的离焦量a对应的参考调焦信号可以为调焦信号a；离焦量b对应的参考调焦信号可以为调焦信号b；该映射关系表中的其他参考离焦量对应的参考调焦信号以此类推，在此不再赘述。

表2

参考离焦量	参考调焦信号
		离焦量a	调焦信号a
离焦量b	调焦信号b
		…	…
离焦量n	调焦信号n

应当理解，若图像处理器集成在该增强现实显微镜中，则该增强现实显微镜可以获取上述表2所示的参考离焦量与参考调焦信号之间的映射关系表。该增强现实显微镜可以遍历参考离焦量列中的每一个参考离焦量，从该映射关系表中查询到与目标离焦量匹配的参考离焦量，并将查询到的参考离焦量对应的参考调焦信号确定为与该目标离焦量对应的调焦信号。

可以理解的是，若该增强现实显微镜从该映射关系表中查询到的与该目标离焦量匹配的参考离焦量为离焦量a，则该离焦量a对应的调焦信号a可以为该目标离焦量对应的调焦信号。例如，在图4所示的增强现实显微镜B的物镜2的倍数为10倍时，该增强现实显微镜B根据上述表2查询到该目标离焦量所匹配到的离焦量a可以为3微米。若该离焦量a对应的调焦信号a为10毫安时，该增强现实显微镜B可以将该调焦信号a确定为该变焦镜头12在校准焦距时所需要的调焦信号，即10毫安。

进一步地，该增强现实显微镜可以基于该调焦信号(例如，电信号)，控制该变焦镜头(例如，液态变焦镜头)调整与该液态变焦镜头的焦距相关联的形变力度。其中，可以理解的是，载物台上的检测对象在观测时所产生的光线由空气射入到该液态变焦镜头时，该光线的传播方向会发生偏折，这种现象可以称之为屈光现象。这种屈光现象的大小(屈光力，即与该液态变焦镜头的焦距相关联的形变力度)的单位可以称之为屈光度或者透镜焦度(Diopter，简写为D)。该屈光度或者透镜焦度可以为该液态变焦镜头的焦距的倒数。若该液态变焦镜头的焦距为10cm，则此时该变焦镜头的屈光度为10D。

可选的，若上述图像处理器独立于该增强现实显微镜，则该图像处理器可以获取上述第一神经网络模型和上述映射关系表。其中，该图像处理器中可以包含上述第一神经网络模型和上述映射关系表。可以理解的是，基于该图像处理器中的上述第一神经网络模型，该图像处理器可以确定与该第一图像相关联的目标离焦量。进一步地，该图像处理器可以获取上述表2所示的映射关系表，根据该映射关系表，确定与该目标离焦量相匹配的参考离焦量，从而可以将该参考离焦量对应的参考调焦信号确定为该目标离焦量对应的调焦信号，进而可以生成该调焦信号。此时，该图像处理器可以根据第一网络连接关系，将该调焦信号发送至该增强现实显微镜，以使该增强现实显微镜基于该调焦信号控制该液态变焦镜头调整形变力度，从而使得该液态变焦镜头进行焦距校准。

S103，根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。

具体地，该增强现实显微镜可以根据校准焦距后的变焦镜头，采集到与该检测对象相关联的第二图像。

应当理解，如图4所示，在该增强现实显微镜B校准变焦镜头12的焦距后，载物台1上的检测对象的目标视野图像可以经过透镜13、校准焦距后的变焦镜头12、透镜14被图像采集装置7所捕捉，并将此时捕捉到的图像确定为与该检测对象相关联的第二图像(例如，图像b)。

在本申请实施例中，该增强现实显微镜可以获取与检测对象相关联的第一图像，并可以确定与该第一图像相关联的目标离焦量。其中，该第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的。进一步地，该增强现实显微镜可以确定该目标离焦量对应的调焦信号，并可以根据该调焦信号控制该变焦镜头调整形变力度。该形变力度用于校准上述变焦镜头的焦距。此时，该增强现实显微镜可以根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。由此可见，该增强现实显微镜在获取到第一图像对应的目标离焦量时，可以根据离焦量与调焦信号之间的对应关系，快速确定出该目标离焦量对应的调焦信号，从而可以根据确定出的调焦信号控制该增强现实显微镜中的变焦镜头的形变力度，进而可以实现对该变焦镜头的焦距进行自动校准。进一步地，该增强现实显微镜可以根据校准焦距后的变焦镜头，将继续采集到的聚焦图像称之为第二图像，以通过自动调焦提高图像采集的清晰度。

进一步地，请参见图6，是本申请实施例提供的一种光学数据处理方法的流程示意图。如图6所示，该方法可以包括：

S201，获取与检测对象相关联的第一图像，确定与上述第一图像相关联的目标离焦量。

其中，上述第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的。其中，为便于理解，本申请实施例以变焦镜头为上述液态变焦镜头为例，以阐述在该增强现实显微镜中通过深度学习后所得到的网络模型来辅助得到第一图像的离焦量。可以理解的是，该通过深度学习后所得到的网络模型可以为第一神经网络模型。

具体地，增强现实显微镜可以获取位于该增强现实显微镜的载物台上的检测对象的光线。该检测对象的光线是指该检测对象在观测时所产生的光线。其中，该增强现实显微镜可以包含物镜、变焦镜头和图像采集装置。应当理解，该增强现实显微镜可以将该检测对象的光线映射在该物镜上的图像，确定为目标视野图像。进一步地，该增强现实显微镜可以在该目标视野图像映射至该变焦镜头后，将该图像采集装置从该变焦镜头上所捕捉到的图像，作为与该检测对象相关联的第一图像。然后，该增强现实显微镜可以根据第一神经网络模型确定与该第一图像相关联的目标离焦量。

其中，本申请实施例中的增强现实显微镜可以上述图1所示的显微镜2000。该显微镜2000可以为上述图2所示的增强现实显微镜A，也可以为上述图4所对应的增强现实显微镜B。其中，该增强现实显微镜可以用于医疗行业、生命科学研究、材料科学和精密工业检测等领域。

S202，确定上述目标离焦量对应的调焦信号，根据上述调焦信号控制上述变焦镜头校准上述变焦镜头的焦距。

具体地，该增强现实显微镜可以获取参考离焦量与参考调焦信号之间的映射关系表。其中，该映射关系表中的一个参考离焦量对应一个参考调焦信号。进一步地，该增强现实显微镜可以在该映射关系表中查询与该目标离焦量匹配的参考离焦量，并将查询到的参考离焦量对应的参考调焦信号确定为该目标离焦量对应的调焦信号。进一步地，该增强现实显微镜可以基于该调焦信号，控制该变焦镜头校准该变焦镜头的焦距。

其中，本申请实施例中的变焦镜头可以包括上述液态变焦镜头、液晶变焦透镜以及超声马达驱动的变焦镜头。当然，对于其他形态的变焦镜头而言，也可以考虑通过得到的调焦信号(例如，电信号、光信号以及磁信号等)对相应形态的变焦镜头的焦距进行自动调整。

S203，根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。

具体地，该增强现实显微镜可以根据校准焦距后的变焦镜头，采集到与该检测对象相关联的第二图像。

其中，该步骤S201-步骤S203的具体实施方式可参见上述图3所对应实施例中对步骤S101-步骤S103的描述，这里将不再赘述。

S204，获取上述第二图像中的目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理。

具体地，该增强现实显微镜可以从该第二图像中获取待处理区域。其中，该待处理区域可以为该第二图像的部分区域，也可以为该第二图像的整个区域。进一步地，该增强现实显微镜可以根据第二神经网络模型对该待处理区域进行特征提取，得到该待处理区域对应的图像特征。然后，该增强现实显微镜可以根据该第二神经网络模型中的分类器，识别该图像特征与该第二神经网络模型中多个属性类型特征之间的第二匹配度。该增强现实显微镜可以将该第二匹配度与该第二神经网络模型中多个属性类别特征对应的标签信息进行关联，得到该第二神经网络模型对应的识别结果。然后，该增强现实显微镜可以根据该识别结果，从该待处理区域中确定该目标对象所属的目标区域，并在该第二图像中对该目标区域进行标记处理。其中，本申请实施例将用于进行图像识别的神经网络模型称之为第二神经网络模型。

应当理解，本申请实施例中该增强现实显微镜校准变焦镜头的过程可以在该增强现实显微镜确定目标区域过程前执行，也可以是独立于该增强现实显微镜确定目标区域的过程。为便于理解，进一步地，请参见图7，是本申请实施例提供的一种确定目标对象所属的目标区域的流程图。

如图7中的流程图1所示的方法，该增强现实显微镜可以获取与检测对象相关联的第一图像，并基于第一神经网络模型可以确定出与该第一图像相关联的目标离焦量。进一步地，该增强现实显微镜可以确定出该目标离焦量对应的调焦信号，根据该调焦信号控制变焦镜头(这里指液态变焦镜头)进行焦距校准。此时，该增强现实显微镜可以基于校准焦距后的液态变焦镜头，获取与该检测对象相关联的第二图像。其中，该增强现实显微镜获取第二图像的具体实现方式可以参见上述图3所对应实施例中步骤S101-步骤S103的描述，这里将不再继续进行赘述。

进一步地，该增强现实显微镜可以将该第二图像输入至上述第二神经网络模型中，从而可以确定该第二图像中的目标对象所述目标区域，并在该第二图像中对该目标区域进行标记处理，以使该增强现实显微镜可以将标记处理后的第二图像输出至该增强现实显微镜中的图像投影屏。可以理解的是，该增强现实显微镜采用流程图1所示的方法对该第一图像进行数据处理时，可以直接在该图像投影屏上输出清晰度较高的标记处理后的图像。但是，由于该增强现实显微镜可以按照一定频率获取第一图像，采用流程图1所示的方法，在该增强现实显微镜每一次获取第一图像时，均需要预测该第一图像的目标离焦量，进而可以根据该目标离焦量对该变焦镜头进行焦距校准。所以采用流程图1所示的方法降低了该增强现实显微镜对第一图像进行数据处理的效率。

可选的，根据图7的流程图2所给出的方法示意图可知，该增强现实显微镜在获取到与检测对象相关联的第一图像时，可以一边对获取到的第一图像的离焦量进行预测，还可以一边对获取到的第一图像中的目标区域进行标记。其中，离焦量的预测的目的在于可以对该增强现实显微镜中的液态变焦镜头的焦距进行自动调整。对获取到的第一图像中的目标区域进行标记，是为了后续可以将标记处理后的图像输出到图像投影屏，以便于后续可以在采集到聚焦图像(即第二图像)时，能够快速对在图像投影屏所呈现的图像与聚焦图像进行融合处理，以在该增强现实显微镜的目镜上呈现融合处理后的增强现实图像。

换言之，如图7所示，该增强现实显微镜可以将该第一图像输入至上述第一神经网络模型中，以确定出与该第一图像相关联的目标离焦量。此时，该增强现实显微镜可以确定出该目标离焦量对应的调焦信号，根据该调焦信号控制变焦镜头进行焦距校准，进而可以根据焦距校准后的变焦镜头快速得到第二图像，从而可以快速通过第二神经网络模型定位出位于第二图像中的目标区域。其中，该增强现实显微镜获取第二图像的具体实现方式可以参见上述图3所对应实施例中步骤S101-步骤S103的描述，这里将不再继续进行赘述。

其中，可以理解的是，该增强现实显微镜在获取到第二图像时，可以快速将第二图像输入至上述第二神经网络模型中，从而可以确定该第二图像中的目标对象所属的目标区域，并对该目标区域进行标记处理，以使该增强现实显微镜可以将标记处理后的第二图像输出至该增强现实显微镜中的图像投影屏。

由此可见，该增强现实显微镜采用流程图2所示的方法对该第一图像的离焦量进行预测时，还可以同步在该图像投影屏上输出标记处理后的图像。该标记处理后的图像可能为清晰度较低的图像。可以理解的是，该增强现实显微镜可以通过第一神经网络模型对第一次采集到的第一图像的目标离焦量进行预测，进而可以根据预测得到的目标离焦量对该增强现实显微镜中的变焦镜头的焦距进行校准，以确保后续在对第二图像进行叠加处理时，可以提高进行数据处理的效率。

应当理解，该增强现实显微镜中的视觉显示装置(如上述图4所示的增强现实显微镜B中的视觉显示装置)可以包含图像投影屏8。其中，图像采集装置7可以用于将上述图3所对应实施例中的第二图像输出至图像处理器。该图像处理器可以用于获取该第二图像中的目标对象的目标区域，并可以在该第二图像中对该目标区域进行标记处理，进而可以根据标记处理后的第二图像确定待叠加图像，将该待叠加图像输出至该视觉显示装置中的图像投影屏8。

其中，该增强现实显微镜对第二图像中的目标区域进行标记处理的具体实现方式可以参见下述图8所对应的实施例，可以理解的是，本申请实施例以图7所示的流程图1所示的方法为例，用以阐述该增强现实显微镜对第二图像中的目标区域进行标记处理的过程。进一步地，请参见图8，是本申请实施例提供的一种标记目标区域的场景示意图。其中，本申请实施例中的增强现实显微镜可以为上述图1所示的显微镜2000。该显微镜2000可以为上述图2所对应的增强现实显微镜A，该显微镜2000也可以为上述图4所对应的增强现实显微镜B。

应当理解，该增强现实显微镜可以从如图8所示的图像200a(第二图像)中获取待处理区域。其中，该待处理区域可以为该图像200a的部分区域，也可以为该图像200a。进一步地，该增强现实显微镜可以根据第二神经网络模型对该待处理区域进行特征提取，得到该待处理区域对应的图像特征。

其中，该第二神经网络模型可以为不同于上述第一神经网络模型的网络模型，比如，第二神经网络模型可以为卷积神经网络模型。该卷积神经网络模型可以包括输入层、卷积层、池化层、全连接层和输出层。当该待处理区域内的图像数据输入至该卷积神经网络模型的输入层后，随后进入卷积层，首先随机选取该待处理区域内的图像数据中的一小块作为样本，并从这个小样本中学习到一些特征信息，然后利用这个样本作为一个窗口依次滑过该待处理区域的所有像素区域，也就是说，从样本中学习到的特征信息与该待处理区域内的图像数据做卷积运算，从而获得待处理区域内的图像数据在不同位置上最显著的图像特征(例如，图像200a中的目标对象为淋巴细胞时，可以得到该待处理区域内的淋巴细胞对应的特征信息)。在做完卷积运算后，已经提取到该待处理区域内的图像数据的图像特征，但仅仅通过卷积运算提取的特征数量大，为了减少计算量，还需进行池化运算，也就是将从所述待处理区域中通过卷积运算提取的图像特征传输至池化层，对提取的图像特征进行聚合统计，这些统计图像特征的数量级要远远低于卷积运算提取到的图像特征的数量级，同时还会提高分类效果。常用的池化方法主要包括平均池化运算方法和最大池化运算方法。平均池化运算方法是在一个图像特征集合里计算出一个平均图像特征代表该图像特征集合的特征；最大池化运算是在一个图像特征集合里提取出最大图像特征代表该图像特征集合的特征。通过卷积层的卷积处理和池化层的池化处理，可以提取出该待处理区域内的图像数据的静态结构特征信息，即可以得到该待处理区域对应的图像特征。其中，该图像特征可以为该目标对象(即淋巴细胞)的胞体直径、细胞形状、胞核形状以及呈现颜色等。

进一步地，该增强现实显微镜可以根据该卷积神经网络模型中的分类器，识别该待处理区域对应的图像特征与该卷积神经网络模型中多个属性类型特征之间的第二匹配度。其中，该卷积神经网络模型中的分类器是提前训练完成的，该分类器的输入是该待处理区域对应的图像特征，该分类器的输出是该图像特征与多个属性类型特征之间的匹配度。匹配度越高，则说明从该待处理区域中所提取到的目标对象的图像特征与相应的属性类型特征对应的标签信息之间的匹配概率越大。因此，该增强现实显微镜可以进一步从该卷积神经网络模型的分类器所输出的匹配度中确定出最大匹配度，并可以进一步根据该最大匹配度以及该最大匹配度所关联的属性类型特征对应的标签信息，得到该目标对象的分类信息为淋巴细胞。其中，该卷积神经网络模型中包含的属性类型特征的数量和种类是在训练该卷积神经网络模型时由大量的训练数据集(即标准图像集)中包含的标签信息的数量和种类决定的。

应当理解，该增强现实显微镜可以根据在图像200a中所识别到的淋巴细胞，从该待处理区域中确定该淋巴细胞所属的目标区域。进一步地，该增强现实显微镜可以获取图像200a中的目标区域中的边界轮廓所对应的位置坐标信息，基于该位置坐标信息，该增强现实显微镜可以对该图像200a中的该目标区域进行标记处理，得到如图8所示的图像200b。其中，该增强现实显微镜在图像200b的目标区域的边界轮廓上可以确定该目标区域中的目标对象的属性特征，并将该目标区域的属性特征(即阳性)标记在该轮廓边界上。其中，本申请实施例可以将除目标区域以外的其他区域标记为阴性。

可以理解的是，该增强现实显微镜在对该第二图像进行标记处理时，还可以标记目标对象所属目标区域在整个第二图像中的所占比例。进一步地，请参见图9，是本申请实施例提供的一种目标区域与第二图像的所占比例的示意图。

应当理解，如图9所示，Ki-67是一种用于对目标对象(例如，肿瘤细胞)进行标记的增殖标记物，Ki-67可以标记某种属性特征(即阳性)的目标对象。换言之，Ki-67可以标记处于增殖周期中的细胞。其中，标记的比例可以用于预测该目标对象对应的病症的可能病程和结局。它既可以包括判断该病症的特定后果，如康复，某种症状、体征和并发症等其它异常的出现或消失及死亡，也可以包括提供时间线索，如预测某段时间内发生某种结局的可能性。也就是说，该比例可以表示肿瘤的恶性程度。可以理解的是，该图9所示的标记比例(即该标记阳性的比例)越大，则说明肿瘤生长越快，组织分化越差，对化疗也越敏感。可以理解的是，本申请实施例中的增强现实显微镜所确定的目标区域占图像200c的31％，该比例可以有效帮助临床医生对该检测对象对应的患者做出更准确的治疗。

S205，根据标记处理后的第二图像确定待叠加图像，通过上述视觉显示装置中的分束器将上述待叠加图像的光线与上述目标视野图像的光线进行叠加处理，得到用于呈现在上述目镜上的增强现实图像。

其中，该增强现实显微镜可以包含视觉显示装置和目镜。该视觉显示装置可以包含透镜、第一偏振片和图像投影屏。

具体地，该增强现实显微镜可以将标记处理后的第二图像输出至上述图像投影屏，并将在该图像投影屏上所显示的图像确定为待叠加图像。进一步地，该增强现实显微镜可以根据该透镜、该第一偏振片将该待叠加图像的光线输出至该视觉显示装置中的分束器，得到所述待叠加图像的第一子光线。然后，该增强现实显微镜可以将上述目标视野图像的光线输出至该分束器，得到该目标视野图像的第二子光线。此时，该增强现实显微镜可以将该第一子光线和该第二子光线在该分束器的同一分光方向上进行叠加处理，得到叠加处理后的光线。进一步地，该增强现实显微镜可以根据该叠加处理后的光线确定用于呈现在该目镜上的增强现实图像。

为便于理解，进一步地，请参见图10，是本申请实施例提供的一种确定增强现实图像的场景示意图。如图10所示，本申请实施例中的增强现实显微镜可以为上述图1所对应的显微镜2000，该显微镜2000可以为上述图2所示的增强现实显微镜A，也可以为上述图4所示的增强现实显微镜B。本申请实施例中以增强现实显微镜B为例，用以阐述该增强现实显微镜确定增强现实图像的具体过程。

其中，如图10所示，本申请实施例中的增强现实显微镜中包含视觉显示装置。其中，该视觉显示装置可以包含图像投影屏8、透镜9、偏振片10(第一偏振片)以及分束器3。

可以理解的是，该图像投影屏8可以用于将该待叠加图像(例如，图像300a)的光线输出至该分束器3。该物镜2可以用于将获取到的该检测对象的光线确定为目标视野图像(例如，图像300b)，并可以将该目标视野图像的光线输出至该分束器3。该分束器3可以用于叠加处理该目标视野图像的光线和该待叠加图像的光线，并可以将叠加处理后的光线输出至该N目观察筒4中的分光棱镜。该分光棱镜可以用于将该叠加处理后的光线的一部分光线输出至目镜6，将另一部分光线经由偏振片11(第二偏振片)、透镜13、该校准焦距后的变焦镜头12和透镜14输出至图像采集装置7。其中，由于该分光棱镜的结构较为复杂，所以本申请实施例未在图10中示意出该分光棱镜的具体结构。

应当理解，该增强现实显微镜可以将标记处理后的第二图像输出至该图像投影屏8上，并将在该图像投影屏8上所显示的图像确定为待叠加图像(例如，图像300a)。该增强现实显微镜可以根据该透镜9和该偏振片10，将该待叠加图像的光线输出至该视觉显示装置中的分束器3中，从而可以得到该待叠加图像的第一子光线。

可以理解的是，该图像300a中的光线A经过该分束器3可以分为光线A1和光线A2。其中，该光线A1可以为该光线A经过该分束器3反射所得，该光线A2可以为该光线A经过该分束器3透射所得。其中，该光线A1可以称之为该待叠加图像的第一子光线。

进一步地，该增强现实显微镜可以将目标视野图像(载物台1上的检测对象的光线经过物镜2所呈现的图像)的光线输出至该分束器3上，从而得到该目标视野图像的第二子光线。其中，该目标视野图像可以为如图10所示的图像300b。可以理解的是，该图像300b中的光线B经过该分束器3可以分为光线B1和光线B2。其中，该光线B1可以为该光线B经过该分束器3透射所得，该光线B2可以为该光线B经过该分束器3反射所得。其中，该光线B1可以称之为该目标视野图像的第二子光线。

此时，该增强现实显微镜可以将该第一子光线和该第二子光线在该分束器3的同一分光方向上进行叠加处理，从而可以得到叠加处理后的光线。其中，本申请实施例中的叠加处理是指光波叠加处理，可以理解的是，当两列光波(例如，第一子光线对应的光波和第二子光线对应的光波)在同一空间传播(该分束器3的同一分光方向)时，该空间各点都参与每列光波在该点引起的振动，从而可以得到叠加处理后的光线对应的光波。本申请实施例中对光波叠加处理的具体实现方式不做进一步地阐述。应当理解，该增强现实显微镜可以根据叠加处理后的光线，确定用于呈现在该目镜6上的增强现实图像(即如图10所示的图像300c)。其中，该增强现实显微镜可以将叠加处理后的光线输入上述图10中N目观察筒4中的分光棱镜中，从而可以将根据该分光棱镜呈现在目镜6上的叠加处理后的光线确定为增强现实图像。

在一些可行的实施方式中，图像处理器A还可以将该图像采集装置7所采集的第二图像(例如，图8所示的图像200a)与标记处理后的第二图像(例如，图8所示的图像200b)进行融合处理，以得到融合图像。可以理解的是，该融合图像可以为与增强现实图像(例如，上述图10所示的图像300c)相似的图像。其中，可以理解的是，该图像处理器对该第二图像和标记处理后的第二图像进行融合处理的方法可以为基于加权平均的融合方法，也可以为基于绝对值取大的融合方法，还可以为基于小波变换的融合方法等。这里将不对融合处理的方法进行限定。

为便于理解，本申请实施例可以以基于加权平均的融合方法为例，用以阐述在该图像处理器中对该第二图像和标记处理后的第二图像进行叠加处理的过程。可以理解的是，该图像处理器可以为获取该第二图像的每个像素点的第一像素值和该第一像素值对应的第一权重，并可以获取该标记处理后的第二图像的相应的像素点的第二像素值和该第二像素值对应的第二权重。此时，该图像处理器可以根据第一像素值、第一权重、第二像素值以及第二权重，确定该融合处理后的图像相应坐标位置信息的像素值，从而可以确定融合图像。具体地，确定融合图像的像素值Y可以如下述公式(1)所示：

Y＝W1×Y1+W2×Y2， (1)

其中，Y1为第二图像中坐标位置信息对应的第一像素值，W1为该第一像素值对应的第一权重，Y2为该标记处理后的第二图像中相同坐标位置信息对应的第二像素值，W2为该第二像素值对应的第二权重。

进一步地，请参见图11，是本申请实施例提供的一种确定融合图像的场景示意图。如图11所示，该图像400a可以为该增强现实显微镜所发送的第二图像，该图像400b可以为该图像处理器对该图像400a进行标记处理后所得的图像。其中，可以理解的是，本申请实施例中的图像处理器可以为独立于该增强现实显微镜且与该增强现实显微镜具有网络连接关系的图像处理器。

应当理解，如图11所示，该增强现实显微镜可以将图像400a发送至该图像处理器，以使该图像处理器对该图像400a进行标记处理，从而可以得到图像400b。进一步地，该图像处理器可以将该图像400b返回给该增强现实显微镜，以使该增强现实显微镜可以将该图像400b输出至该增强现实显微镜中的图像投影屏中。

此外，该图像处理器还可以将该图像400a与该图像400b进行融合处理，从而可以得到与增强现实图像(例如，图10所示的图像300c)相似的图像400c。应当理解，该图像处理器可以获取图像400a中每个像素点的第一像素值以及第一权重，并可以获取图像400b中每个像素点的第二像素值以及第二权重。此时，该图像处理器可以根据上述公式(1)，确定该融合处理后的图像相应坐标位置信息的像素值，从而可以确定融合图像。应当理解，该图像处理器可以将该融合图像发送至与该图像处理器具有网络连接关系的终端设备，从而可以使得该融合图像可以被多人共览。其中，该终端设备可以为上述图1所示的终端集群中的任意一个终端，例如，终端3000b。

例如，该图像处理器可以获取图像400a中坐标位置信息(1，1)处的像素点的第一像素值为25，并可以获取该图像400b中坐标位置信息(1，1)处的像素点的第二像素值为30。此时，该图像处理器可以获取该图像400a中对应的第一权重为0.5，该图像400b中的第一权重也为0.5。进一步地，该图像处理器可以基于第一像素值25，第一权重0.5，第二像素值30以及第二权重0.5，通过上述公式(1)确定图像400c中坐标位置信息(1，1)处的像素值为27.5。其中，该图像处理器可以对非整数的像素值进行近似处理(例如，四舍五入)，最终可以将该像素值的近似值28作为该图像400c坐标位置信息(1，1)处像素点的像素值。以此类推，该图像处理器可以确定图像400c中每个像素点的像素值，以得到图像400c。进一步地，该图像处理器可以将该图像400c发送给与该图像处理器具有网络连接关系的终端设备。可以理解的是，在本申请实施例中，通过基于加权平均的融合方法将图11所示的图像400a和图像400b进行融合处理得到图像400c，可以更有效的增加融合图像与第二图像之间的区别度，从而使得与终端设备相关的人员可以更直观的看出该融合图像中的目标对象所属的目标区域。

S206，将上述叠加处理后的光线通过上述分光棱镜输出至上述第二偏振片，根据上述垂直关系滤除上述叠加处理后的光线中的上述第一子光线。

其中，该增强现实显微镜可以包含用于对该叠加处理后的光线进行分光处理的分光棱镜以及与该变焦镜头相关联的第二偏振片；该第二偏振片的偏振方向与该第一偏振片的偏振方向之间存在垂直关系。

具体地，该增强现实显微镜可以将该叠加处理后的光线通过该分光棱镜输出至该第二偏振片上。进一步地，该增强现实显微镜可以根据该垂直关系滤除该叠加处理后的光线中的第一子光线。

应当理解，如图10所示，该偏振片11(第二偏振片)可以设置在图像采集装置7与N目观察筒4的物理接口连接位置，该偏振片11可以用于从获取到的叠加处理后的光线的另一部分光线中滤除与该偏振片10相关联的待叠加图像的光线。

应当理解，如上述图10所示，该增强现实显微镜可以将该叠加处理后的光线通过该N目观察筒4中的分光棱镜，输入至该偏振片11上。由于该偏振片11的偏振方向与该偏振10的偏振方向之间存在垂直关系，所以该叠加处理后的光线在经过分光棱镜后投射至该偏振片11上时，该增强现实显微镜可以根据该垂直关系滤除该叠加处理后的光线中的第一子光线(即光线A1)。由此可见，本申请实施例可以有效减少该图像投影屏8中所投影的待叠加图像的光线进入该图像采集装置7中，从而可以使得该图像采集装置7在重新采集该载物台1上检测对象的第二图像时，所采集到的图像为该检测对象的光线经过分束器3、校准焦距后的变焦镜头12所呈现的图像，以减少该图像投影屏8中所呈现图像所造成的干扰。

S207，将上述第二图像发送至与上述增强现实显微镜具有第二网络连接关系的目标终端设备，以使上述目标终端设备输出上述第二图像。

具体地，该增强现实显微镜可以将第二图像发送至与该增强现实显微镜具有网络连接关系的目标终端设备，以使该目标终端设备输出该第二图像。其中，本申请实施例可以将该增强现实显微镜与目标终端设备之间的网络连接关系称之为第二网络连接关系。例如，该增强现实显微镜与该目标终端设备的网络连接可以通过蓝牙、无线网络等连接。

应当理解，该增强现实显微镜可以将第二图像(图8所示的图像200a)发送至与该增强现实显微镜具有网络连接关系的目标终端设备。其中，该目标终端设备可以为上述图1所示的终端集群中的任意一个终端，例如，终端3000a，以使该终端3000a将该图像200a输出，从而可以使得远距离的多个用户共同阅览该图像200a，进而可以提高远程协作工作的效率。

在本申请实施例中，该增强现实显微镜可以获取与检测对象相关联的第一图像，并可以确定与该第一图像相关联的目标离焦量。其中，该第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的。进一步地，该增强现实显微镜可以确定该目标离焦量对应的调焦信号，并可以根据该调焦信号控制该变焦镜头调整形变力度。该形变力度用于校准上述变焦镜头的焦距。此时，该增强现实显微镜可以根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。由此可见，该增强现实显微镜在获取到第一图像对应的目标离焦量时，可以根据离焦量与调焦信号之间的对应关系，快速确定出该目标离焦量对应的调焦信号，从而可以根据确定出的调焦信号控制该增强现实显微镜中的变焦镜头的形变力度，进而可以实现对该变焦镜头的焦距进行自动校准。进一步地，该增强现实显微镜可以根据校准焦距后的变焦镜头，将继续采集到的聚焦图像称之为第二图像，以通过自动调焦提高图像采集的清晰度。

进一步地，请参见图12，是本申请实施例提供的一种基于显微镜的光学数据处理装置的结构示意图。该基于显微镜的光学数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如，该基于显微镜的光学数据处理装置为一个应用软件；该基于显微镜的光学数据处理装置可以用于执行本申请实施例提供的方法中的相应步骤。该基于显微镜的光学数据处理装置1可以应用于增强现实显微镜，该增强现实显微镜可以为上述图1所示的显微镜2000，该显微镜2000可以为上述图2所对应实施例中的增强现实显微镜A，也可以为上述图4所对应实施例中的增强现实显微镜B。该基于显微镜的光学数据处理装置1可以包括：第一确定模块10，调整模块11，第二确定模块12，第一获取模块13，第二获取模块14，设置模块15，训练模块16，第三获取模块17，第三确定模块18，滤除模块19以及发送模块20。

该第一确定模块10，用于获取与检测对象相关联的第一图像，确定与上述第一图像相关联的目标离焦量；上述第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的。

其中，上述第一确定模块10包括：第一获取单元101，第一确定单元102，第二确定单元103以及第三确定单元104。

该第一获取单元101，用于获取位于增强现实显微镜的载物台上的检测对象的光线；上述增强现实显微镜包含物镜、变焦镜头和图像采集装置；

该第一确定单元102，用于将上述检测对象的光线映射在上述物镜上的图像，确定为目标视野图像；

该第二确定单元103，用于在上述目标视野图像映射至上述变焦镜头后，将上述图像采集装置从上述变焦镜头上所捕捉到的图像，作为与上述检测对象相关联的第一图像；

该第三确定单元104，用于根据第一神经网络模型确定与上述第一图像相关联的目标离焦量。

其中，上述第一神经网络模型为上述增强现实显微镜中的模型；

上述第三确定单元104包括：提取子单元1041，输入子单元1042，关联子单元1043，发送子单元1044以及接收子单元1045。

该提取子单元1041，用于从上述第一图像中提取目标图像特征；

该输入子单元1042，用于将上述目标图像特征输入至上述第一神经网络模型，输出上述目标图像特征与上述第一神经网络模型中的参考图像特征之间的第一匹配度；上述参考图像特征为上述样本图像的图像特征；

该关联子单元1043，用于将上述第一匹配度与上述参考图像特征对应的标签信息进行关联，得到与上述第一图像相关联的目标离焦量。

其中，上述第一神经网络模型为与上述增强现实显微镜具有第一网络连接关系的图像处理器中的模型；

上述第三确定单元104还包括：

该发送子单元1044，用于根据上述第一网络连接关系将上述第一图像发送给上述图像处理器，以使上述图像处理器根据上述第一神经网络模型预测与上述第一图像相关联的目标离焦量；

该接收子单元1045，用于接收上述图像处理器所返回的上述目标离焦量。

其中，该提取子单元1041，输入子单元1042，关联子单元1043，发送子单元1044以及接收子单元1045的具体实现方式可以参见上述图3所对应实施例中确定目标离焦量的描述，这里将不再继续进行赘述。

其中，该第一获取单元101，第一确定单元102，第二确定单元103以及第三确定单元104的具体实现方式可以参见上述图3所对应实施例中对步骤S101的描述，这里将不再继续进行赘述。

该调整模块11，用于确定上述目标离焦量对应的调焦信号，根据上述调焦信号控制上述变焦镜头校准上述变焦镜头的焦距。

其中，上述调整模块11包括：第二获取单元111，查询单元112，第四确定单元113以及调整单元114。

该第二获取单元111，用于获取参考离焦量与参考调焦信号之间的映射关系表；上述映射关系表中的一个参考离焦量对应一个参考调焦信号；

该查询单元112，用于在上述映射关系表中查询与上述目标离焦量匹配的参考离焦量；

该第四确定单元113，用于将查询到的参考离焦量对应的参考调焦信号确定为上述目标离焦量对应的调焦信号；

该调整单元114，用于基于上述调焦信号控制上述变焦镜头调整与上述变焦镜头的焦距相关联的形变力度。

其中，该第二获取单元111，查询单元112，第四确定单元113以及调整单元114的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述，这里将不再继续进行赘述。

该第二确定模块12，用于根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。

该第一获取模块13，用于获取与样本对象相关联的样本图像以及所述样本图像的实际离焦量；

该第二获取模块14，用于从所述样本图像的实际离焦量中确定最小离焦量和最大离焦量，获取与所述样本图像的实际离焦量相关联的量化步长；

该设置模块15，用于根据所述最小离焦量、所述最大离焦量以及所述量化步长，设置上述样本图像的标签信息；上述标签信息包含离焦量为非零的第一标签信息和离焦量为零的第二标签信息；

该训练模块16，用于根据具有上述第一标签信息的样本图像和具有上述第二标签信息的样本图像，对初始神经网络模型进行训练，得到用于预测离焦量的第一神经网络模型。

其中，上述增强现实显微镜包含视觉显示装置和目镜；

该第三获取模块17，用于获取上述第二图像中的目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理。

其中，上述第三获取模块17包括：第三获取单元171，识别单元172，关联单元173以及第五确定单元174。

该第三获取单元171，用于从上述第二图像中获取待处理区域，根据第二神经网络模型对上述待处理区域进行特征提取，得到上述待处理区域对应的图像特征；

该识别单元172，用于根据上述第二神经网络模型中的分类器，识别上述图像特征与上述第二神经网络模型中多个属性类型特征之间的第二匹配度；

该关联单元173，用于将上述第二匹配度与上述第二神经网络模型中多个属性类别特征对应的标签信息进行关联，得到上述第二神经网络模型对应的识别结果；

该第五确定单元174，用于根据上述识别结果，从上述待处理区域中确定上述目标对象所属的目标区域，在上述第二图像中对上述目标区域进行标记处理。

其中，该第三获取单元171，识别单元172，关联单元173以及第五确定单元174的具体实现方式可以参见上述图6所对应实施例中对步骤S204的描述，这里将不再继续进行赘述。

该第三确定模块18，用于根据标记处理后的第二图像确定待叠加图像，通过上述视觉显示装置中的分束器将上述待叠加图像与上述目标视野图像进行叠加处理，得到呈现在上述目镜上的增强现实图像。

其中，上述视觉显示装置还包含透镜、第一偏振片和图像投影屏；

上述第三确定模块18包括：第一输出单元181，第二输出单元182，第三输出单元183以及第六确定单元184。

该第一输出单元181，用于将标记处理后的第二图像输出至上述图像投影屏，将在上述图像投影屏上所显示的图像确定为待叠加图像；

该第二输出单元182，用于根据上述透镜和上述第一偏振片，将上述待叠加图像的光线输出至上述视觉显示装置中的分束器，得到上述待叠加图像的第一子光线；

该第三输出单元183，用于将上述目标视野图像的光线输出至上述分束器，得到上述目标视野图像的第二子光线；

该第六确定单元184，用于将上述第一子光线和上述第二子光线在上述分束器的同一分光方向上进行叠加处理，根据叠加处理后的光线确定用于呈现在上述目镜上的增强现实图像。

其中，该第一输出单元181，第二输出单元182，第三输出单元183以及第六确定单元184的具体实现方式可以参见上述图6所对应实施例中对步骤S205的描述，这里将不再继续进行赘述。

其中，上述增强现实显微镜包含用于对上述叠加处理后的光线进行分光处理的分光棱镜以及与变焦镜头相关联的第二偏振片；上述第二偏振片的偏振方向与上述第一偏振片的偏振方向之间存在垂直关系；

该滤除模块19，用于将上述叠加处理后的光线通过上述分光棱镜输出至上述第二偏振片，根据上述垂直关系滤除上述叠加处理后的光线中的所述第一子图像。

该发送模块20，用于将上述第二图像发送至与上述增强现实显微镜具有第二网络连接关系的目标终端设备，以使上述目标终端设备输出上述第二图像。

其中，该第一确定模块10，调整模块11，第二确定模块12，第一获取模块13，第二获取模块14，设置模块15，训练模块16，第三获取模块17，第三确定模块18，滤除模块19以及发送模块20的具体实现方式可以参见上述图6所对应实施例中对步骤S201-步骤S207的描述，这里将不再继续进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

进一步地，请参见图13，是本申请实施例提供的一种增强现实显微镜的示意图。如图13所示，该增强现实显微镜1000可以为上述图1对应实施例中的显微镜2000，该增强现实显微镜1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图13所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图13所示的增强现实显微镜1000中，网络接口1004主要用于与目标终端设备或图像处理器进行网络通信；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：

获取与检测对象相关联的第一图像，确定与上述第一图像相关联的目标离焦量；上述第一图像是由上述检测对象的光线通过物镜以及变焦镜头后所得到的；

确定上述目标离焦量对应的调焦信号，根据上述调焦信号控制上述变焦镜头校准上述变焦镜头的焦距；

根据校准焦距后的变焦镜头，得到与上述检测对象相关联的第二图像。

应当理解，本申请实施例中所描述的增强现实显微镜1000可执行前文图3和图6所对应实施例中对该基于显微镜的光学数据处理方法的描述，也可执行前文图12所对应实施例中对该基于显微镜的光学数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且该计算机可读存储介质中存储有前文提及的基于显微镜的光学数据处理装置1所执行的计算机程序，且该计算机程序包括程序指令，当该处理器执行该程序指令时，能够执行前文图3或者图6所对应实施例中对该基于显微镜的光学数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (15)

1.一种基于显微镜的光学数据处理方法，其特征在于，所述方法由安装有变焦镜头的增强现实显微镜执行，包括：

通过图像采集装置获取与检测对象相关联的第一图像，根据用于预测离焦量的第一神经网络模型确定与所述第一图像相关联的目标离焦量；所述第一图像是由所述检测对象的光线通过物镜、视觉显示装置中的分束器以及所述变焦镜头后所得到的；所述增强现实显微镜包括所述图像采集装置、所述变焦镜头、N目观察筒、所述视觉显示装置和目镜；所述N用于表征光路数量，且所述N为大于2的正整数；所述图像采集装置通过适配器与所述N目观察筒上的物理接口进行物理连接；所述图像采集装置包含具有拍照功能的相机、摄像机以及扫描仪；所述视觉显示装置的一端与所述N目观察筒物理连接，且所述视觉显示装置的另一端与所述物镜物理连接；所述视觉显示装置包含图像投影屏、透镜、第一偏振片以及所述分束器；所述适配器中内嵌有第二偏振片和所述变焦镜头，且所述变焦镜头放置在所述图像采集装置前的远心系统的光阑处；所述第二偏振片的偏振方向与所述第一偏振片的偏振方向存在垂直关系；所述第一神经网络模型是由与所述第一图像相关联的所述物镜的物镜倍数所确定的；

确定所述目标离焦量对应的调焦信号，根据所述调焦信号控制所述变焦镜头调整形变力度，且基于所述形变力度校准所述变焦镜头的焦距；所述调焦信号包括电信号、光信号和磁信号；

根据校准焦距后的变焦镜头，得到与所述检测对象相关联的第二图像；所述第二图像为所述图像采集装置所采集到的聚焦图像；

获取所述第二图像中的目标对象所属的目标区域，在所述第二图像中通过第二神经网络模型对所述目标区域进行标记处理；

根据标记处理后的第二图像确定待叠加图像，通过所述视觉显示装置中的分束器将所述待叠加图像的光线与目标视野图像的光线进行叠加处理，得到用于呈现在所述目镜上的增强现实图像；所述目标视野图像为将所述检测对象的光线映射在所述物镜上的图像；所述待叠加图像为在所述图像投影屏上所显示的所述标记处理后的第二图像；所述增强现实图像是由叠加处理后的光线的一部分光线所确定的，且所述叠加处理后的光线的另一部分光线用于通过所述第二偏振片和所述校准焦距后的变焦镜头输出至所述图像采集装置；所述第二偏振片用于根据所述垂直关系滤除所述叠加处理后的光线中的第一子光线；所述第一子光线是由所述分束器所接收到的所述待叠加图像的光线确定的。

2.根据权利要求1所述的方法，其特征在于，所述通过图像采集装置获取与检测对象相关联的第一图像，根据用于预测离焦量的第一神经网络模型确定与所述第一图像相关联的目标离焦量，包括：

获取位于增强现实显微镜的载物台上的检测对象的光线；

将所述检测对象的光线映射在所述物镜上的图像，确定为目标视野图像；

在所述目标视野图像映射至所述变焦镜头后，将所述图像采集装置从所述变焦镜头上所捕捉到的图像，作为与所述检测对象相关联的第一图像；

根据用于预测离焦量的第一神经网络模型确定与所述第一图像相关联的目标离焦量。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取与样本对象相关联的样本图像以及所述样本图像的实际离焦量；

从所述样本图像的实际离焦量中确定最小离焦量和最大离焦量，获取与所述样本图像的实际离焦量相关联的量化步长；

根据所述最小离焦量、所述最大离焦量以及所述量化步长，设置所述样本图像的标签信息；所述标签信息包含离焦量为非零的第一标签信息和离焦量为零的第二标签信息；

根据具有所述第一标签信息的样本图像和具有所述第二标签信息的样本图像，对初始神经网络模型进行训练，得到用于预测离焦量的第一神经网络模型。

4.根据权利要求3所述的方法，其特征在于，所述第一神经网络模型为所述增强现实显微镜中的模型；

所述根据用于预测离焦量的第一神经网络模型确定与所述第一图像相关联的目标离焦量，包括：

从所述第一图像中提取目标图像特征；

将所述目标图像特征输入至所述第一神经网络模型，输出所述目标图像特征与所述第一神经网络模型中的参考图像特征之间的第一匹配度；所述参考图像特征为所述样本图像的图像特征；

将所述第一匹配度与所述参考图像特征对应的标签信息进行关联，得到与所述第一图像相关联的目标离焦量。

5.根据权利要求3所述的方法，其特征在于，所述第一神经网络模型为与所述增强现实显微镜具有第一网络连接关系的图像处理器中的模型；

所述根据用于预测离焦量的第一神经网络模型确定与所述第一图像相关联的目标离焦量，包括：

根据所述第一网络连接关系将所述第一图像发送给所述图像处理器，以使所述图像处理器根据所述第一神经网络模型预测与所述第一图像相关联的目标离焦量；

接收所述图像处理器所返回的所述目标离焦量。

6.根据权利要求4-5任意一项所述的方法，其特征在于，所述变焦镜头包含液态变焦镜头；

所述确定所述目标离焦量对应的调焦信号，根据所述调焦信号控制所述变焦镜头调整形变力度，且基于所述形变力度校准所述变焦镜头的焦距，包括：

获取参考离焦量与参考调焦信号之间的映射关系表；所述映射关系表中的一个参考离焦量对应一个参考调焦信号；

在所述映射关系表中查询与所述目标离焦量匹配的参考离焦量；

将查询到的参考离焦量对应的参考调焦信号确定为所述目标离焦量对应的调焦信号；

基于所述调焦信号控制所述液态变焦镜头调整与所述液态变焦镜头的焦距相关联的形变力度，基于所述形变力度校准所述液态变焦镜头的焦距。

7.根据权利要求1所述的方法，其特征在于，所述获取所述第二图像中的目标对象所属的目标区域，在所述第二图像中通过第二神经网络模型对所述目标区域进行标记处理，包括：

从所述第二图像中获取待处理区域，根据第二神经网络模型对所述待处理区域进行特征提取，得到所述待处理区域对应的图像特征；

根据所述第二神经网络模型中的分类器，识别所述图像特征与所述第二神经网络模型中多个属性类型特征之间的第二匹配度；

将所述第二匹配度与所述第二神经网络模型中多个属性类别特征对应的标签信息进行关联，得到所述第二神经网络模型对应的识别结果；

根据所述识别结果，从所述待处理区域中确定所述目标对象所属的目标区域，在所述第二图像中对所述目标区域进行标记处理。

8.根据权利要求1所述的方法，其特征在于，所述根据标记处理后的第二图像确定待叠加图像，通过所述视觉显示装置中的分束器将所述待叠加图像的光线与目标视野图像的光线进行叠加处理，得到用于呈现在所述目镜上的增强现实图像，包括：

将标记处理后的第二图像输出至所述图像投影屏，将在所述图像投影屏上所显示的图像确定为待叠加图像；

根据所述透镜和所述第一偏振片，将所述待叠加图像的光线输出至所述视觉显示装置中的分束器，得到所述待叠加图像的第一子光线；

将所述目标视野图像的光线输出至所述分束器，得到所述目标视野图像的第二子光线；

将所述第一子光线和所述第二子光线在所述分束器的同一分光方向上进行叠加处理，根据叠加处理后的光线确定用于呈现在所述目镜上的增强现实图像。

9.根据权利要求8所述的方法，其特征在于，所述增强现实显微镜包含用于对所述叠加处理后的光线进行分光处理的分光棱镜以及与变焦镜头相关联的第二偏振片；所述第二偏振片的偏振方向与所述第一偏振片的偏振方向之间存在垂直关系；

所述方法还包括：

将所述叠加处理后的光线通过所述分光棱镜输出至所述第二偏振片，根据所述垂直关系滤除所述叠加处理后的光线中的所述第一子光线。

10.根据权利要求1所述的方法，其特征在于，还包括：

将所述第二图像发送至与所述增强现实显微镜具有第二网络连接关系的目标终端设备，以使所述目标终端设备输出所述第二图像。

11.一种基于显微镜的光学数据处理装置，其特征在于，所述装置运行在由安装有变焦镜头的增强现实显微镜上，包括：

第一确定模块，用于通过图像采集装置获取与检测对象相关联的第一图像，根据用于预测离焦量的第一神经网络模型确定与所述第一图像相关联的目标离焦量；所述第一图像是由所述检测对象的光线通过物镜、视觉显示装置中的分束器以及所述变焦镜头后所得到的；所述增强现实显微镜包括所述图像采集装置、所述变焦镜头、N目观察筒、所述视觉显示装置和目镜；所述N用于表征光路数量，且所述N为大于2的正整数；所述图像采集装置通过适配器与所述N目观察筒上的物理接口进行物理连接；所述图像采集装置包含具有拍照功能的相机、摄像机以及扫描仪；所述视觉显示装置的一端与所述N目观察筒物理连接，且所述视觉显示装置的另一端与所述物镜物理连接；所述视觉显示装置包含图像投影屏、透镜、第一偏振片以及所述分束器；所述适配器中内嵌有第二偏振片和所述变焦镜头，且所述变焦镜头放置在所述图像采集装置前的远心系统的光阑处；所述第二偏振片的偏振方向与所述第一偏振片的偏振方向存在垂直关系；所述第一神经网络模型是由与所述第一图像相关联的所述物镜的物镜倍数所确定的；

调整模块，用于确定所述目标离焦量对应的调焦信号，根据所述调焦信号控制所述变焦镜头调整形变力度，且基于所述形变力度校准所述变焦镜头的焦距；所述调焦信号包括电信号、光信号和磁信号；

第二确定模块，用于根据校准焦距后的变焦镜头，得到与所述检测对象相关联的第二图像；所述第二图像为所述图像采集装置所采集到的聚焦图像；

第三获取模块，用于获取所述第二图像中的目标对象所属的目标区域，在所述第二图像中通过第二神经网络模型对所述目标区域进行标记处理；

第三确定模块，用于根据标记处理后的第二图像确定待叠加图像，通过所述视觉显示装置中的分束器将所述待叠加图像的光线与目标视野图像的光线进行叠加处理，得到用于呈现在所述目镜上的增强现实图像；所述目标视野图像为将所述检测对象的光线映射在所述物镜上的图像；所述待叠加图像为在所述图像投影屏上所显示的所述标记处理后的第二图像；所述增强现实图像是由叠加处理后的光线的一部分光线所确定的，且所述叠加处理后的光线的另一部分光线用于通过所述第二偏振片和所述校准焦距后的变焦镜头输出至所述图像采集装置；所述第二偏振片用于根据所述垂直关系滤除所述叠加处理后的光线中的第一子光线；所述第一子光线是由所述分束器所接收到的所述待叠加图像的光线确定的。

12.一种增强现实显微镜，其特征在于，包括：处理器、存储器、网络接口；

所述处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1-10任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-10任一项所述的方法。

14.一种安装有变焦镜头的增强现实显微镜，其特征在于，包括：

物镜、目镜、N目观察筒、图像采集装置、所述变焦镜头以及视觉显示装置；所述N用于表征光路数量，且所述N为大于2的正整数；所述视觉显示装置包含图像投影屏、透镜、第一偏振片以及分束器；适配器中内嵌有第二偏振片和所述变焦镜头，且所述变焦镜头放置在所述图像采集装置前的远心系统的光阑处；所述第二偏振片的偏振方向与所述第一偏振片的偏振方向存在垂直关系；

所述图像采集装置通过所述N目观察筒上的物理接口与所述N目观察筒物理连接；所述视觉显示装置的一端与所述N目观察筒物理连接，且所述视觉显示装置的另一端与所述物镜物理连接；所述图像采集装置包含具有拍照功能的相机、摄像机以及扫描仪；

检测对象的光线经由所述物镜进入光路后，通过所述视觉显示装置中的所述分束器使所述检测对象的光线经由所述变焦镜头进入所述图像采集装置；

所述图像采集装置用于将采集的第一图像输出至图像处理器；

所述图像处理器用于根据用于预测离焦量的第一神经网络模型确定所述第一图像的目标离焦量，将所述目标离焦量对应的调焦信号输出至所述变焦镜头；所述第一神经网络模型是由与所述第一图像相关联的所述物镜的物镜倍数所确定的；

所述变焦镜头用于根据所述调焦信号控制所述变焦镜头调整形变力度，且基于所述形变力度校准所述变焦镜头的焦距；所述调焦信号包括电信号、光信号和磁信号；

所述检测对象的光线经由所述物镜进入光路后，通过所述分束器使所述检测对象的光线经由校准焦距后的变焦镜头进入所述图像采集装置；

所述图像采集装置还用于将采集到的与所述检测对象相关联的图像确定为第二图像；所述第二图像为所述图像采集装置所采集到的聚焦图像；

所述图像采集装置用于将所述第二图像输出至所述图像处理器；

所述图像处理器用于获取所述第二图像中的目标对象所属的目标区域，在所述第二图像中通过第二神经网络模型对所述目标区域进行标记处理，根据标记处理后的第二图像确定待叠加图像，将所述待叠加图像输出至所述视觉显示装置中的图像投影屏；所述图像投影屏用于指示所述视觉显示装置中的分束器将所述待叠加图像的光线与目标视野图像的光线进行叠加处理，得到用于呈现在所述目镜上的增强现实图像；所述待叠加图像为在所述图像投影屏上所显示的所述标记处理后的第二图像；所述增强现实图像是由叠加处理后的光线的一部分光线所确定的，且所述叠加处理后的光线的另一部分光线用于通过所述第二偏振片和所述校准焦距后的变焦镜头输出至所述图像采集装置；所述第二偏振片用于根据所述垂直关系滤除所述叠加处理后的光线中的第一子光线；所述第一子光线是由所述分束器所接收到的所述待叠加图像的光线确定的。

15.根据权利要求14所述的增强现实显微镜，其特征在于，所述增强现实显微镜还包括：

所述图像投影屏还用于将所述待叠加图像的光线输出至所述分束器；

所述物镜用于将获取到的所述检测对象的光线确定为目标视野图像，将所述目标视野图像输出至所述分束器；

所述分束器用于叠加处理所述目标视野图像的光线和所述待叠加图像的光线，将叠加处理后的光线输出至所述N目观察筒中的分光棱镜；

所述分光棱镜用于将所述叠加处理后的光线的一部分光线输出至所述目镜，将另一部分光线经由所述第二偏振片和所述校准焦距后的变焦镜头输出至所述图像采集装置；所述第二偏振片用于从获取到的另一部分光线中滤除与所述第一偏振片相关联的所述待叠加图像的光线。

Images