CN110441901A - 一种可实时追踪注视位置的光学显微镜系统及方法 - Google Patents

Abstract

本发明提供一种可实时追踪注视位置的光学显微镜系统及方法，涉及显微镜和注视分析技术领域。本发明右目镜观察筒、第一双色镜、右眼追踪相机沿同一光路依次固定，右红外光源与右眼追踪相机平行放置；左目镜观察筒、第二双色镜、左眼追踪相机沿同一光路依次固定，左红外光源与左眼追踪相机平行放置；平面镜固定于左目镜观察筒和右目镜观察筒中间位置且与第二双色镜平行放置；第二双色镜与平面镜水平放置且与第一双色镜垂直放置；所述显微镜相机、右眼追踪相机、左眼追踪相机分别与图像处理模块相连接。本系统可以分析人眼观测样品的范围、顺序、不同位置的观测时间等信息，也能以热图的形式最终展现。

Description

一种可实时追踪注视位置的光学显微镜系统及方法

技术领域

本发明涉及显微镜和注视分析技术领域，尤其涉及一种可实时追踪注视位置的光学显微镜系统及方法。

背景技术

光学显微镜是目前观测微观物质的常用仪器，主要由物镜、目镜、载物台和光源等几部分组成，在生物分析、材料分析、临床检测、病理诊断等方面已经广泛应用。按照显微镜的光路结构，可以分为正置显微镜、倒置显微镜、体显微镜等类型。其中，正置显微镜的物镜位于载物台上方，样品放置于载物台上表面，通过目镜观察样品的上表面；倒置显微镜的物镜位于载物台下方，样品放置于载物台下表面，通过目镜观察样品下表面；体显微镜具有较大视野和景深，可通过目镜观察样品三维结构。

光学显微镜的目镜根据镜筒数量主要可分为单目、双目、三目等类型。单目物镜只有一个镜筒，通过单眼观察样品；双目物镜具有两个镜筒，可通过双眼同时观察样品；三目物镜具有三个镜筒，其中左右两个镜筒用于双眼观察，另外一个镜筒垂直放置，用于放置光学相机从而实时生成样品数字图像或视频。

目前，无论何种类型的光学显微镜，主要观察方式都是通过人眼观察目镜视野范围内的视场区域。此外，在众多应用领域，例如生物分析、材料分析、临床检测、病理分析等，都是利用人眼观察样品形态等特征，根据经验给出分析结果。因此，除显微镜的基本操作流程外，对视场区域内样品的观察方式，包括观察范围、观察顺序等经验，对光学显微镜的各类应用也极为重要。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种可实时追踪注视位置的光学显微镜系统及方法，本系统可以分析人眼观测样品的范围、顺序、不同位置的观测时间等信息，也能以热图的形式最终展现。

为解决上述技术问题，本发明所采取的技术方案是：

一方面，本发明提供一种可实时追踪注视位置的光学显微镜系统，包括：显微镜本体、分光装置、视线追踪装置和图像处理模块；

所述显微镜本体包括左目镜、左目镜观察筒、右目镜、右目镜观察筒、物镜、准焦螺旋、载物台、显微镜光源、显微镜相机；

所述分光装置设置在目镜和物镜之间，包括第一分光镜、第二分光镜、第一双色镜、第二双色镜和平面镜；

所述视线追踪装置包括右眼追踪相机、右红外光源、左眼追踪相机和左红外光源；

所述右目镜观察筒、第一双色镜、右眼追踪相机沿同一光路依次固定，右红外光源与右眼追踪相机平行放置；左目镜观察筒、第二双色镜、左眼追踪相机沿同一光路依次固定，左红外光源与左眼追踪相机平行放置；平面镜固定于左目镜观察筒和右目镜观察筒中间位置且与第二双色镜平行放置；第二双色镜与平面镜水平放置且与第一双色镜垂直放置；

所述显微镜相机、右眼追踪相机、左眼追踪相机分别与图像处理模块相连接；

所述图像处理模块包括图像接收模块、注视分析模块、图像生成模块；所述图像接收模块用于接收显微镜相机、右眼追踪相机、左眼追踪相机输出的图像信息，图像接收模块的输出端与注视分析模块的输入端相连接；所述注视分析模块用于接收右眼追踪相机、左眼追踪相机输出的图像信息根据视线追踪算法和注视区域标定算法通过角膜曲率、相机位置、红外光源位置建立眼球三维形状建模，并根据左眼追踪相机和右眼追踪相机输出的角膜反射的图像中计算得出每一帧眼睛的视线方向；眼球三维形状模型输出为标定好视线方向的三维图像，注视分析模块的输出端与图像生成模块的输入端相连接；所述图像生成模块用于接收注视分析模块输出的标定好视线方向的三维图像，通过三维图像中使用者的视线方向生成使用者的凝视热图，根据凝视热图分析使用者观察图像的方式。

所述的第一双色镜和第二双色镜的截止频率范围在750nm-900nm之间。

所述视线追踪装置中的右红外光源和左红外光源发光频率范围在750-900nm之间，用于提供眼追踪相机的照明。

所述视线追踪装置中的右眼追踪相机和左眼追踪相机的工作波段为红外波段。

所述视线追踪装置中的显微镜相机位于第一分光镜的上方。

所述视线追踪装置中的右眼追踪相机和右红外光源位于第一双色镜的一侧。

所述视线追踪装置中的左眼追踪相机和左红外光源位于第二双色镜的一侧。

另一方面，本发明提供一种可实时追踪注视位置的光学显微镜的使用方法，通过所述的一种可实时追踪注视位置的光学显微镜系统实现，包括如下步骤：

步骤1：将样品置于光学显微镜的载物台上；

步骤2：光学显微镜的物镜、第一分光镜、第二分光镜、第一双色镜、第二双色镜、平面镜、左目镜和右目镜构成目视观察光路；使用者通过目视观察光路对样品进行观察；物镜和第一分光镜构成显微图像获取光路，显微镜相机通过显微图像获取光路对样品进行图像采集；右目镜和第一双色镜构成右侧图像获取光路，左目镜和第二双色镜构成左侧图像获取光路；右眼追踪相机和左眼追踪相机通过右侧图像获取光路和左侧图像获取光路分别获取使用者在目镜上观察样品时的眼睛图像；

步骤3：使用者将光学显微镜先调到低倍镜，调节准焦螺旋聚焦，对样品进行初步观察，再转换到高倍镜，调节准焦螺旋聚焦，对样品进行观察；

步骤4：根据显微镜相机、右眼追踪相机、左眼追踪相机实时获取的图像通过视线追踪算法和注视区域标定算法建立眼球三维形状模型；根据右眼追踪相机、左眼追踪相机实时获取的角膜反射的图像中计算得出每一帧眼睛的视线方向；眼球三维形状模型输出为标定好视线方向的三维图像；

步骤5：通过标定好视线方向的三维图像得到使用者观察样品图像时视线方向生成的使用者的凝视热图，再将凝视热图与显微镜相机拍摄的样本图像进行融合以分析使用者观察样品的方式。

采用上述技术方案所产生的有益效果在于：本发明提供的一种可实时追踪注视位置的光学显微镜系统及方法，本发明针对目前所有光学显微镜无法识别人眼观测区域的问题，根据三目目镜结构特点，将视线追踪技术与显微成像技术结合，设计出可实时捕获目镜视野范围双眼视线移动的光学系统结构，同时提出双眼所观测的核心区域的实时计算方法。利用该系统及方法，可以分析人眼观测样品的范围、顺序、不同位置的观测时间等信息，也可以热图的形式最终展现。可以通过对捕获的双眼视线运动轨迹进行提取和分析，获得双眼的注视位置信息，可以实现在使用者阅片时，对使用者视线的追踪，并结合使用者眼部运动，根据其定位辨识的结果，从而形成使用者对样品的注视热图，也可用于医生的教学和阅片训练，加快病理科医生的教育培训速度，满足国内病理医生培养周期长的需求，同时也可将热图作为标签，与人工智能方法结合使用。

附图说明

图1为本发明实施例提供的可实时追踪注视位置的光学显微镜系统的平面结构示意图；

图2为本发明实施例提供的可实时追踪注视位置的光学显微镜系统的立体结构示意图；

图3为本发明实施例提供的可实时追踪注视位置的光学显微镜系统功能模块示意图；

图4为本发明实施例提供的图像处理模块的方法流程图；

图5为本发明实施例提供的光学显微镜系统光路图；

图6为本发明实施例提供的中心投影变换原理图；

图中：1.右红外光源；2.左红外光源；3.右眼追踪相机；4.左眼追踪相机；5.第一分光镜；6.第二分光镜；7.第一双色镜；8.第二双色镜；9.平面镜；10.右目镜；11.左目镜；12.物镜；13.显微镜相机；14.准焦螺旋；15.载物台；16.显微镜光源；17.右目镜观察筒；18.左目镜观察筒。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1-图2所示，本实施例的方法如下所述。

一方面，本发明提供一种可实时追踪注视位置的光学显微镜系统，包括：显微镜本体、分光装置、视线追踪装置和图像处理模块；

所述显微镜本体包括左目镜11、左目镜观察筒18、右目镜10、右目镜观察筒17、物镜12、准焦螺旋14、载物台15、显微镜光源16、显微镜相机13；

所述分光装置设置在目镜和物镜之间，包括第一分光镜5、第二分光镜6、第一双色镜7、第二双色镜8和平面镜9；

所述视线追踪装置包括右眼追踪相机3、右红外光源1、左眼追踪相机4和左红外光源2；

所述右红外光源1和所述左红外光源2，用于为眼追踪相机提供红外光源；

所述右眼追踪相机3和左眼追踪相机4，用于采集用户双眼红外图像或视频；

所述第一分光镜5，用于将物镜12放大图像光路分为垂直和水平两条光路；

所述第二分光镜6，用于将来自所述第一分光镜5的图像光路分为0°和向右90°两条光路；

所述第一双色镜7和第二双色镜8，用于透射红外光、反射可见光；

所述平面镜9，用于将第一分光镜5出射的垂直光路反射到第一双色镜7；

所述右目镜10和左目镜11，用于用户双眼观察，同时也用于采集双眼移动图像或视频；

所述物镜12，用于放大样品；

所述显微镜相机13，用于采集物镜8放大的样品图像或视频；

所述右目镜观察筒、第一双色镜7、右眼追踪相机3沿同一光路依次固定，右红外光源1与右眼追踪相机3平行放置；左目镜观察筒、第二双色镜8、左眼追踪相机4沿同一光路依次固定，左红外光源2与左眼追踪相机4平行放置；平面镜9固定于左目镜观察筒和右目镜观察筒中间位置且与第二双色镜8平行放置；第二双色镜8与平面镜9水平放置且与第一双色镜7垂直放置；

所述显微镜相机、右眼追踪相机、左眼追踪相机分别与图像处理模块相连接；

所述图像处理模块嵌与计算机内，包括图像接收模块、注视分析模块、图像生成模块；所述图像接收模块用于接收显微镜相机、右眼追踪相机、左眼追踪相机输出的图像信息，图像接收模块的输出端与注视分析模块的输入端相连接；所述注视分析模块用于接收右眼追踪相机、左眼追踪相机输出的图像信息根据视线追踪算法和注视区域标定算法通过已知参数角膜曲率、相机位置、红外光源位置建立眼球三维形状建模，并根据左眼追踪相机和右眼追踪相机输出的角膜反射的图像中计算得出每一帧眼睛的视线方向；而连续地不断地视线检测即为视线追踪，此部分的眼球三维形状模型输出为标定好视线方向的三维图像，注视分析模块的输出端与图像生成模块的输入端相连接；所述图像生成模块用于接收注视分析模块输出的标定好视线方向的三维图像，通过三维图像中使用者的视线方向生成使用者的凝视热图，根据凝视热图分析使用者观察图像的方式。所述计算机包括由CPU、GPU、ARM或FPGA等核心处理芯片组成的台式计算机或移动计算机；所述视线追踪算法和注视区域标定算法，用于根据视线方向计算注视区域；

所述的第一双色镜和第二双色镜的截止频率范围在750nm-900nm之间，用于透射红外光、反射可见光；

所述视线追踪装置中的右红外光源和左红外光源发光频率范围在750-900nm之间，用于提供眼追踪相机的照明；

所述视线追踪装置中的右眼追踪相机和左眼追踪相机的工作波段为红外波段；

所述视线追踪装置中的显微镜相机位于第一分光镜的上方；

所述视线追踪装置中的右眼追踪相机和右红外光源位于第一双色镜的一侧；

所述视线追踪装置中的左眼追踪相机和左红外光源位于第二双色镜的一侧；

另一方面，本发明提供一种可实时追踪注视位置的光学显微镜的使用方法，通过所述的一种可实时追踪注视位置的光学显微镜系统实现，如图3所示，包括如下步骤：

步骤1：将样品置于光学显微镜的载物台上；

步骤2：光学显微镜的物镜、第一分光镜、第二分光镜、第一双色镜、第二双色镜、平面镜、左目镜和右目镜构成目视观察光路；使用者通过目视观察光路对样品进行观察；物镜和第一分光镜构成显微图像获取光路，显微镜相机通过显微图像获取光路对样品进行图像采集；右目镜和第一双色镜构成右侧图像获取光路，左目镜和第二双色镜构成左侧图像获取光路；右眼追踪相机和左眼追踪相机通过右侧图像获取光路和左侧图像获取光路分别获取使用者在目镜上观察样品时的眼睛图像，如图5所示；

步骤3：使用者将光学显微镜先调到低倍镜，调节准焦螺旋聚焦，对样品进行初步观察，再转换到高倍镜，调节准焦螺旋聚焦，对样品进行观察；

步骤4：根据显微镜相机、右眼追踪相机、左眼追踪相机实时获取的图像通过视线追踪算法和注视区域标定算法建立眼球三维形状模型；根据右眼追踪相机、左眼追踪相机实时获取的角膜反射的图像中计算得出每一帧眼睛的视线方向；而连续地不断地视线检测即为视线追踪，此部分的眼球三维形状模型输出为标定好视线方向的三维图像，如图4所示；

具体步骤为：

通过设置远离光轴的左、右红外光源在使用者左、右眼的角膜上形成反射点，该反射点即为普尔钦斑；左、右眼追踪相机实时采集使用者左、右眼的图像，并在实时采集图像的内提取普尔钦斑的中心到瞳孔中心的矢量作为视线方向参数，然后利用眼球成像模型估计视线方向；

除却上述方法外还可以使用映射模型来估计视线方向，通过假设球形眼球和角膜表面估计凝视方向；

步骤5：通过标定好视线方向的三维图像得到使用者观察样品图像时视线方向生成的使用者的凝视热图，再将凝视热图与显微镜相机拍摄的样本图像进行融合以分析使用者观察样品的方式，如图4所示。

具体方法为：标定使用者在目镜内观察到的视野范围，也就是记录使用者在观察视野边缘时，所述视野范围＝视场数/物镜倍率，视场数、倍率为固定参数；本实施例中视场数为22、物镜倍率为40，则视野范围为0.55mm；视线的方向；在标定完成后，在视野范围内的视线方向都能在左眼追踪相机和右眼追踪相机获取的眼睛的图像(即目镜的影像)得到映射关系，也就是凝视方向与观察载玻片时的视焦点之间的映射关系，即通过建立空间三维坐标计算确定人体眼睛所在位置相对于样本视焦点的距离，进而计算确定人眼的视线方向在样本上的实时相交点。同样的，在观察载玻片时，不断的得到使用者观察其图像的视焦点，以定义好的时间距离，生成凝视热图。而凝视热图是使用者在定义好的单位时间内在图像中的视焦点频率分布图，可以表达出使用者观察与分析显微图像的行为方式。

所述映射关系为中心透视变换，如图6所示，E代表使用者眼睛，q即为在目镜的影像中的使用者的视线方向点，r为观察载玻片时的视焦点，以o为原点建立空间三维坐标；

r点的坐标可以表示为：

r＝E+t(q-E)

其中t为乘法系数；

病理诊断是癌症诊断的金标准，在癌症治疗中，正确的病理诊断是癌症有效治疗的基础，病理诊断结果不仅用于判断病变的性质和分类，还直接决定外科医生的手术方法、范围和内科医生的用药方案。不同的病理类型，治疗采用的手段、药物以及预后效果大相径庭。明确的病理诊断给临床医生正确的指导，为患者争取更好的预后和更长的生存时间。

病理医生的培养周期非常长，通常病理阅读1万例以上后，才能独立撰写初步的病理报告；经手3万病理，才能复查下级医生的报告；经手5万例以上,才能解决疑难诊断。我国目前只有2万多名病理科医生，但恶性肿瘤发病率达到10％以上，存在严重的医生短缺和分布不均的状况。本方法中生成的医生对病理切片的注视热图，可用于医生的教学和阅片训练，加快病理科医生的教育培训速度，满足国内病理医生培养周期长的需求，同时也可将热图作为标签，与人工智能方法结合使用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (8)

1.一种可实时追踪注视位置的光学显微镜系统，其特征在于：包括：显微镜本体、分光装置、视线追踪装置和图像处理模块；

所述显微镜本体包括左目镜、左目镜观察筒、右目镜、右目镜观察筒、物镜、准焦螺旋、载物台、显微镜光源、显微镜相机；

所述分光装置设置在目镜和物镜之间，包括第一分光镜、第二分光镜、第一双色镜、第二双色镜和平面镜；

所述视线追踪装置包括右眼追踪相机、右红外光源、左眼追踪相机和左红外光源；

所述右目镜观察筒、第一双色镜、右眼追踪相机沿同一光路依次固定，右红外光源与右眼追踪相机平行放置；左目镜观察筒、第二双色镜、左眼追踪相机沿同一光路依次固定，左红外光源与左眼追踪相机平行放置；平面镜固定于左目镜观察筒和右目镜观察筒中间位置且与第二双色镜平行放置；第二双色镜与平面镜水平放置且与第一双色镜垂直放置；

所述显微镜相机、右眼追踪相机、左眼追踪相机分别与图像处理模块相连接；

所述图像处理模块包括图像接收模块、注视分析模块、图像生成模块；所述图像接收模块用于接收显微镜相机、右眼追踪相机、左眼追踪相机输出的图像信息，图像接收模块的输出端与注视分析模块的输入端相连接；所述注视分析模块用于接收右眼追踪相机、左眼追踪相机输出的图像信息根据视线追踪算法和注视区域标定算法通过角膜曲率、相机位置、红外光源位置建立眼球三维形状建模，并根据左眼追踪相机和右眼追踪相机输出的角膜反射的图像中计算得出每一帧眼睛的视线方向；眼球三维形状模型输出为标定好视线方向的三维图像，注视分析模块的输出端与图像生成模块的输入端相连接；所述图像生成模块用于接收注视分析模块输出的标定好视线方向的三维图像，通过三维图像中使用者的视线方向生成使用者的凝视热图，根据凝视热图分析使用者观察图像的方式。

2.根据权利要求1所述的一种可实时追踪注视位置的光学显微镜系统，其特征在于：所述的第一双色镜和第二双色镜的截止频率范围在750nm-900nm之间。

3.根据权利要求1所述的一种可实时追踪注视位置的光学显微镜系统，其特征在于：所述视线追踪装置中的右红外光源和左红外光源发光频率范围在750-900nm之间，用于提供眼追踪相机的照明。

4.根据权利要求1所述的一种可实时追踪注视位置的光学显微镜系统，其特征在于：所述视线追踪装置中的右眼追踪相机和左眼追踪相机的工作波段为红外波段。

5.根据权利要求1所述的一种可实时追踪注视位置的光学显微镜系统，其特征在于：所述视线追踪装置中的显微镜相机位于第一分光镜的上方。

6.根据权利要求1所述的一种可实时追踪注视位置的光学显微镜系统，其特征在于：所述视线追踪装置中的右眼追踪相机和右红外光源位于第一双色镜的一侧。

7.根据权利要求1所述的一种可实时追踪注视位置的光学显微镜系统，其特征在于：所述视线追踪装置中的左眼追踪相机和左红外光源位于第二双色镜的一侧。

8.一种可实时追踪注视位置的光学显微镜的使用方法，通过权利要求1所述的一种可实时追踪注视位置的光学显微镜系统实现，包括如下步骤：

步骤1：将样品置于光学显微镜的载物台上；

步骤2：光学显微镜的物镜、第一分光镜、第二分光镜、第一双色镜、第二双色镜、平面镜、左目镜和右目镜构成目视观察光路；使用者通过目视观察光路对样品进行观察；物镜和第一分光镜构成显微图像获取光路，显微镜相机通过显微图像获取光路对样品进行图像采集；右目镜和第一双色镜构成右侧图像获取光路，左目镜和第二双色镜构成左侧图像获取光路；右眼追踪相机和左眼追踪相机通过右侧图像获取光路和左侧图像获取光路分别获取使用者在目镜上观察样品时的眼睛图像；

步骤3：使用者将光学显微镜先调到低倍镜，调节准焦螺旋聚焦，对样品进行初步观察，再转换到高倍镜，调节准焦螺旋聚焦，对样品进行观察；

步骤4：根据显微镜相机、右眼追踪相机、左眼追踪相机实时获取的图像通过视线追踪算法和注视区域标定算法建立眼球三维形状模型；根据右眼追踪相机、左眼追踪相机实时获取的角膜反射的图像中计算得出每一帧眼睛的视线方向；眼球三维形状模型输出为标定好视线方向的三维图像；

步骤5：通过标定好视线方向的三维图像得到使用者观察样品图像时视线方向生成的使用者的凝视热图，再将凝视热图与显微镜相机拍摄的样本图像进行融合以分析使用者观察样品的方式。