CN111522136A - 一种滤光式增强现实显微成像系统 - Google Patents

Abstract

本发明属于光学技术领域，公开了一种滤光式增强现实显微成像系统。该系统通过对滤光后所采集到的病理切片显微图像进行分析，并基于分析结果来控制空间光调制器，使空间光调制器对激光光源发出的光在空间上进行调制，将形成投影图案的激光投影到样本上，可通过目镜观察附带增强现实投影的显微成像。本发明将用于辅助医生的临床病理诊断过程，有助于提高医生的工作效率及诊断准确率。

Description

一种滤光式增强现实显微成像系统

技术领域

本发明属于光学技术领域，涉及一种滤光式增强现实显微成像系统。

背景技术

探索和了解病理变化对于疾病的早期诊断和治疗有着重要的意义。在临床诊断过程中，医生通常切取一定大小的病变组织制成病理切片，并通过显微镜观察病理切片来评估疾病。组织病理的显微分析为临床癌症的诊断和分期提供了重要信息。

然而，组织病理分析是一项耗时且专业性强的临床工作。在人工筛查时，由于操作人员较大的劳动量，导致其颈椎、眼睛等疲劳，导致工作效率大幅降低，容易造成误诊或漏诊。使用数字图像处理和人工智能等算法虽然可以辅助发现病灶，提高诊断的准确性，使医生和患者同时受益，但其分析结果无法在病理医生观测时同步显示，导致其在临床实际应用上受到了一定限制。而增强现实显微镜能够在目镜所观测的病理图像上叠加和突出人工智能对潜在癌症病变位置的分析与判断，将有助于提高癌症和其他疾病诊断病理切片显微检查的效率和一致性。

发明内容

本发明提供了一种滤光式增强现实显微成像系统。该系统通过对显微图像采集模块采集病理切片的显微图像，并利用显微图像智能分析模块分析所采集的显微图像并给出分析结果，最终通过控制增强现实投影及观测模块，将上述分析结果投影到病理切片上并通过目镜观测附带增强现实投影的显微成像。

为了实现上述目标，本发明的技术方案如下：

一种滤光式增强现实显微成像系统，包括显微图像采集模块、显微图像智能分析模块、增强现实投影及观测模块；

所述显微图像采集模块用长波通滤光片放置于相机前，采集滤光后的显微图像，可避免增强现实投影及观测模块中透射到样本上的激光的干扰；

所述显微图像智能分析模块利用机器学习方法建立病理图像诊断模型，对相机所采集的显微图像进行实时分析，并基于分析结果生成增强现实投影图案；

所述增强现实投影及观测模块，通过控制数字微镜器件，将激光投影到样本上，并通过目镜观察附带增强现实投影的显微成像。

所述的显微图像采集模块的照明光路，包括白光光源1、扩束器2、分光片a、分光片b、物镜5和病理切片6；其中分光片a和分光片b位于水平方向且呈45度放置，白光光源1、扩束器2和分光片a位于竖直方向同一光轴上，分光片b、物镜5和病理切片6位于竖直方向同一光轴上；白光光源1发出的白光经扩束器2形成平行白光束，经由分光片a和分光片b反射后通过物镜5后照射到病理切片6上。

所述的显微图像采集模块的采集光路，包括病理切片6、物镜5、分光片b、分光片c、反射镜9、滤光片10、CCD相机11、数据采集卡16和计算机17；其中分光片c和反射镜9位于水平方向且呈45度放置，病理切片6、物镜5、分光片b和分光片c位于竖直方向同一光轴，反射镜9、滤光片10和CCD相机11位于竖直方向同一光轴；

病理切片6反射的光通过物镜5和分光片b后，经由分光片c分为两路，其中一路由反射镜9反射通过滤光片10后由CCD相机11采集，然后经数据采集卡16由计算机17存储并分析。

所述的CCD相机前放置一个长波通滤光片，用于采集滤光后的显微图像，可避免增强现实投影及观测模块中投射到样本的激光的干扰。

所述的增强现实投影及观测模块包括近红外激光光源12、扩束器13、空间光调制器14、数据采集卡15和计算机16、分光片b、物镜5、病理切片6、分光片c和目镜8；其中激光光源12、扩束器13和数字微镜阵列14位于水平方向同一光轴上，病理切片6、物镜5、分光片7和目镜8位于竖直方向同一光轴上。

CCD相机采集到的病理切片图像经过显微图像智能分析模块获得目标病理诊断分析模型，生成增强现实所需的编码图样，控空间光调制器14，使激光光源12发出的近红外激光通过扩束器13后，经由空间光调制器14后形成增强现实投影图案，经过分光片a和分光片b反射后通过物镜5投影到病理切片6上，反射的光通过物镜5、分光片b、分光片c后，通过目镜8实时观测增强现实病理切片。

本发明通过将病理组织切片的特异性诊断信息投影到病理切片上，并通过目镜实时观察，可用于辅助医生的临床病理诊断过程，有助于提高医生的工作效率及诊断准确率。

附图说明

图1是本发明结构示意图。

图中：1白光光源；2扩束器a；3分光片a；4分光片b；5物镜；6病理切片；7分光片c；8目镜；9反射镜；10滤光片、11CCD相机；12激光光源；13扩束器b；14空间光调制器；15数据采集卡；16计算机。

具体实施方式

下面结合附图对本发明的具体实施例做详细说明。

根据本发明一种滤光式增强现实显微成像系统，包括：白光光源、扩束器a、分光片a、分光片b、物镜、病理切片、分光片c、目镜、反射镜、滤光片、CCD相机、激光光源、扩束器b、数字微镜阵列、数据采集卡以及计算机。

白光光源经由扩束器a形成平行光束照射到分光片a上，经过分光片a和分光片b的反射后，光束通过物镜照射在病理切片上，样本反射的光经由物镜和分光片b后，透射到分光片c上并分成两路，其中一路由反射镜反射并经滤光片滤除掉增强现实投影及观测模块中的激光后，由CCD相机采集显微图像。随后，对CCD相机所采集的显微图像进行实时分析，并基于分析结果生成增强现实投影图案。最后，激光经由分光片a和分光片b反射后通过物镜后照射到病理切片上，经病理切片反射后的白光和激光经由物镜、分光片b、分光片c后，由医生通过目镜实时观测增强现实病理切片。

步骤如下：

步骤1，白光光源1发出的白光经扩束器2形成平行白光束，经由分光片3和分光片4反射后通过物镜5后照射到病理切片6上。

步骤2，病理切片6反射的光通过物镜5和分光片4后，经由分光片7分为两路，其中一路由反射镜9反射通过滤光片10并由CCD相机11采集，然后经数据采集卡15由计算机16存储并分析。

步骤3，基于带有标签的病理显微图像数据库，利用U-Net网络建立病理诊断模型，并基于该病理诊断模型对CCD相机11所采集的显微图像进行实时分析，并基于分析结果生成增强现实投影图案。

步骤4，根据增强现实投影图案控制空间光调制器14，激光光源12发出的激光经扩束镜b扩束后，由空间光调制器14后进行空间调制并形成投影图案的激光束，经物镜5投影到病理切片6上。

在本实施实例中，为了避免激光光源12发出的激光影响CCD相机所采集显微图像，进而进一步影响显微图像分析结果，本发明在CCD相机前添加了一个滤光片，用于滤除激光光源12所产生的增强现实投影图案，通过采集滤光后的显微图像，可有效避免增强现实投影及观测模块对显微图像采集模块和显微图像智能分析模块的干扰。

步骤5，病理切片6所反射的白光和激光投影图案通过物镜5、分光片b、分光片c后，由医生通过目镜实时观测增强现实病理切片。

Claims (6)

1.一种滤光式增强现实显微成像系统，其特征在于，包括显微图像采集模块、显微图像智能分析模块、增强现实投影及观测模块；

所述的显微图像采集模块利用滤光片放置于相机前，采集滤光后的显微图像，可避免增强现实投影及观测模块中投射到样本上的激光的干扰；

所述的显微图像智能分析单元利用机器学习方法建立病理图像诊断模型，对相机所采集的显微图像进行实时分析，并基于分析结果生成增强现实投影图案；

所述的增强现实投影及观测模块，通过控制数字微镜器件，将激光投影到样本上，并可通过目镜观察附带增强现实投影的显微成像。

2.根据权利要求1所述的一种滤光式增强现实显微成像系统，其特征在于，所述显微图像采集模块的照明光路，包括白光光源(1)、扩束器(2)、分光片a(3)、分光片b(4)、物镜(5)和病理切片(6)；其中分光片a和分光片b位于水平方向且呈45度放置，白光光源(1)、扩束器(2)和分光片a(3)位于竖直方向同一光轴上，分光片b(4)、物镜(5)和病理切片(6)位于竖直方向同一光轴上；白光光源(1)发出的白光经扩束器(2)形成平行白光束，经由分光片a(3)和分光片b(4)反射后通过物镜(5)后照射到病理切片(6)上。

3.根据权利要求1或2所述的一种滤光式增强现实显微成像系统，其特征在于，所述显微图像采集模块的采集光路，包括病理切片(6)、物镜(5)、分光片b(4)、分光片c(7)、反射镜(9)、滤光片(10)、CCD相机(11)、数据采集卡(16)和计算机(17)；其中分光片c(7)和反射镜(9)位于水平方向且呈45度放置，病理切片(6)、物镜(5)、分光片b(4)和分光片c(7)位于竖直方向同一光轴，反射镜(9)、滤光片(10)和CCD相机(11)位于竖直方向同一光轴；

病理切片(6)反射的光通过物镜(5)和分光片b(4)后，经由分光片c(7)分为两路，其中一路由反射镜(9)反射通过滤光片(10)后由CCD相机(11)采集，然后经数据采集卡(15)由计算机(16)存储并分析。

4.根据权利要求3所述的一种滤光式增强现实显微成像系统，其特征在于，相机前放置一个长波通滤光片，用于采集滤光后的显微图像，避免增强现实投影及观测模块中投射到样本上的激光的干扰。

5.根据权利要求1、2或4所述的一种滤光式的增强现实显微成像系统，其特征在于，所述的增强现实投影及观测模块，包括激光光源(12)、扩束器b(13)、空间光调制器(14)、数据采集卡(15)、计算机(16)、分光片b(4)、物镜(5)、病理切片(6)、分光片c(7)和目镜(8)；其中激光光源(12)、扩束器b(13)和空间光调制器(14)位于水平方向同一光轴上，病理切片(6)、物镜(5)、分光片c(7)和目镜(8)位于竖直方向同一光轴上。

CCD相机采集到的病理切片图像经过显微图像智能分析模块获得目标病理诊断分析模型，生成增强现实所需的编码图样，控制空间光调制器(14)，使激光光源(12)发出的激光通过扩束器b(13)后，经由空间光调制器(14)后形成增强现实投影图案，经过分光片a(3)和分光片b(4)反射后通过物镜(5)投影到病理切片(6)上，反射的光通过物镜(5)、分光片b(4)、分光片c(7)后，通过目镜(8)实时观测增强现实的病理切片。

6.根据权利要求3所述的一种滤光式的增强现实显微成像系统，其特征在于，所述的增强现实投影及观测模块，包括激光光源(12)、扩束器b(13)、空间光调制器(14)、数据采集卡(15)、计算机(16)、分光片b(4)、物镜(5)、病理切片(6)、分光片c(7)和目镜(8)；其中激光光源(12)、扩束器b(13)和空间光调制器(14)位于水平方向同一光轴上，病理切片(6)、物镜(5)、分光片c(7)和目镜(8)位于竖直方向同一光轴上。

CCD相机采集到的病理切片图像经过显微图像智能分析模块获得目标病理诊断分析模型，生成增强现实所需的编码图样，控制空间光调制器(14)，使激光光源(12)发出的激光通过扩束器b(13)后，经由空间光调制器(14)后形成增强现实投影图案，经过分光片a(3)和分光片b(4)反射后通过物镜(5)投影到病理切片(6)，反射的光通过物镜(5)、分光片b(4)、分光片c(7)后，通过目镜(8)实时观测增强现实的病理切片。

Images