CN111419194A

CN111419194A - 一种基于荧光激光和oct联合成像设备及方法

Info

Publication number: CN111419194A
Application number: CN202010365917.7A
Authority: CN
Inventors: 李玮; 张婉钰; 雷晟暄; 韩毅; 马志祥; 孟祥伟
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2020-04-30
Filing date: 2020-04-30
Publication date: 2020-07-17

Abstract

本发明具体涉及一种基于荧光激光和OCT联合成像设备及方法，所述设备包括荧光激光摄像装置和相干断层扫描仪，均与影像显示检测器连接；其中，所述荧光激光摄像装置和相干断层扫描仪设于同一支撑装置上，所述支撑装置包括底座、底座上通过立柱连接调节转盘，所述调节转盘与立柱顶部旋转连接；所述调节转盘上通过两个支撑机构分别连接荧光激光摄像装置和相干断层扫描仪。利用肿瘤组织与正常组织光学物理性质的差异，采集组织体的荧光激光图像与OCT图像，对宫颈癌进行有效、准确筛查，大大降低传统检测方法的复杂性和损伤性。

Description

一种基于荧光激光和OCT联合成像设备及方法

技术领域

本发明属于医用设备技术领域，尤其涉及一种基于荧光激光和OCT联合成像设备及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

宫颈癌是常见的妇科恶性肿瘤之一，发病率在我国女性恶性肿瘤中居第二位。早期宫颈癌常无明显症状和体征，易漏诊或误诊。随病变发展，可出现阴道流血、异常排液等继发性症状及赘生物感染、肿瘤出血、癌组织坏死脱落等体征。

目前筛查宫颈癌的主要方法有TCT检查、HPV检查和电子阴道镜检查，虽然相比于之前的肉眼观察和传统细胞学诊断，灵敏度与特异性有所提升，但筛查过程仍较为复杂。另外，没有成熟完善规范的宫颈癌数据和图像收集统计，不能最大程度上降低宫颈癌的发病率和死亡率。

而非侵入性的光学检测仪器及方法则可以很好地降低筛查复杂性，其物理基础为宫颈癌导致人体细胞结构和组织形态的变化，同时引起组织体新陈代谢活动的改变，进而导致组织的一系列光学性质的变化。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于荧光激光和OCT联合成像设备及方法，利用肿瘤组织与正常组织光学物理性质的差异，采集组织体在四种不同波长激光下与通过OCT扫描得到的图像，对宫颈癌进行有效、准确筛查，大大降低传统检测方法的复杂性和损伤性。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于荧光激光和OCT联合成像的宫颈癌筛查设备，其特征在于，包括：荧光激光摄像装置和相干断层扫描仪，均与影像显示检测器连接；其中，所述荧光激光摄像装置和相干断层扫描仪设于同一支撑装置上，所述支撑装置包括底座、底座上通过立柱连接调节转盘，所述调节转盘与立柱顶部旋转连接；所述调节转盘上通过两个支撑机构分别连接荧光激光摄像装置和相干断层扫描仪。

一个或多个实施例提供了一种应用于所述宫颈癌筛查设备的成像方法，包括：

接收荧光激光摄像装置基于不同波长激光光源采集的受检者受检部位的宫颈荧光激光图像；

接收相干断层扫描仪于同一受检部位采集的相干断层图像；

将接收到的宫颈图像照片和相干断层图像进行配准；

将配准后的宫颈图像照片、相干断层图像以及二者的融合图像进行显示。

以上一个或多个技术方案存在以下有益效果：

提供了一种荧光激光和OCT联合成像设备，通过设备调节转盘和多个旋转机构，提高了设备的自由度；

并且有助于荧光激光和OCT成像设备的对准，提高了后续图像配准的准确度。

相比传统筛查方法更加人性化，图像采集过程受检者无痛苦、无损伤，检查无需使用辅助剂，简单方便。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一个或多个实施例提供的荧光激光摄像与相干断层扫描仪结构主视图；

图2为本发明一个或多个实施例提供的显示检测器结构主视图；

图3为本发明一个或多个实施例提供的摄像机外壳内侧激光光源结构图；

图4为本发明一个或多个实施例提供的支撑平台结构俯视图；

其中，1.OCT探头，2.调节旋转头，3.调节转盘，4.立柱，5.四角底座，6.滚轮，7.摄像机，8.显示屏，9.显示器固定架，10.显示器底座，11.托盘，12.输入键盘，13.鼠标，14.滑轨，15.立柱，16.计算机中央处理系统，17.四角底座，18.滚轮，19.激光光源，20.摄像机外壳内侧，21.荧光激光摄像仪开关，22.相干断层扫描仪开关，23.电源总开关。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

为了方便叙述，本发明中如果出现“上”、“下”、“左”“右”字样，仅表示与附图本身的上、下、左、右方向一致，并不对结构起限定作用,仅仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于荧光激光和OCT联合成像的宫颈癌筛查设备，包括：荧光激光摄像装置和相干断层扫描仪，均与影像显示检测器连接。

所述荧光激光摄像装置和相干断层扫描仪采用同一支撑装置，所述支撑装置包括：四角底座5，所述四角底座5各角上均设有万向轮，能够在地上灵活移动；所述四角底座5上通过立柱4连接调节转盘3，所述调节转盘3与立柱4的顶部旋转连接，可进行水平旋转；所述调节转盘3上设有摄像扫描平台。

所述相干断层扫描仪包括OCT探头1、多自由度机械臂和支撑架，支撑架与调节转盘3固定连接；其中，所述OCT探头1设于多自由度机械臂末端，多自由度机械臂与支撑架通过调节旋转头2旋转连接，可进行水平旋转。OCT扫描系统利用弱相干光干涉仪的基本原理，检测女性宫颈不同深度层面对入射弱相干光的背向反射或几次散射信号，进而进行扫描，主要根据宫颈的组织形态学信息经计算机处理后得到宫颈的OCT层析图像。

所述荧光激光摄像装置包括摄像机7、多自由度机械臂和支撑架，支撑架与调节转盘3固定连接；多自由度机械臂与支撑架通过调节旋转头2旋转连接，可进行水平旋转。

所述荧光激光摄像装置摄像机组内部设有LED光源组合，并均匀紧密环绕在高清摄像机周围。LED光源组合内包含四种不同波长(白光、红光、绿光、紫外光)的光源，其中紫外光波长控制在365±3nm，各光源可被单独控制。根据宫颈的组织功能学信息给出反馈，由此得到荧光激光图像。

通过激光图像和OCT扫描图像的相互结合，组织功能学信息和组织形态学信息的相互佐证，极大地提高了诊断的准确性和特异性。

通过设备底部的万向轮、调节转盘和多个旋转机构，提高了设备的自由度。

影像显示检测器自上而下分为一体机工作台、输入操作工作台、骨架支撑工作台和行走装置。具体地，包括显示屏8，显示器固定架9，显示器底座10，托盘11，输入键盘12，鼠标13，滑轨14，立柱15，计算机中央处理系统16，四角底座17，滚轮18。

电源控制装置为设置在支撑平台下方的电源总开关23与控制荧光激光摄像与相干断层扫描仪的分开关21、22。

调节平台分为方向调节装置和空间调节装置，分别为旋转头和调节转盘，用以调节荧光激光摄像与相干断层扫描仪相对于人体的方向角度与位置高度。

所述荧光激光摄像装置与相干断层扫描仪的摄像扫描平台为高清红外摄像机组与OCT扫描系统的组合，两者相对位置可通过旋转头与调节转盘进行调整。

进一步地，为了实现荧光激光摄像装置与相干断层扫描仪的对准方向一致，支撑装置上调节转盘和旋转机构均连接驱动机构，驱动机构与影像显示检测器连接，通过影像显示检测器可控制调节转盘和旋转机构的旋转角度。本实施例还提供了基于上述宫颈癌筛查设备的操作过程：

在采集扫描图像进行宫颈癌筛查时，荧光激光摄像7与相干断层扫描仪1和影像显示检测器8应配合使用。

步骤1：对荧光激光摄像装置与相干断层扫描仪进行校准，具体地，将支撑装置在某一位置固定后，分别采用荧光激光摄像装置与相干断层扫描仪对同一标定物进行成像，根据标定物在图像中的位置，寻找荧光激光摄像装置成像后调节转盘和各旋转机构的最佳旋转角度，使得旋转后相干断层扫描仪能够对准同一位置进行成像。

步骤2：首先调节旋转头2和转盘3使摄像机处于受检者合适部位，通过荧光激光摄像仪周围的激光光源19依次发射白光、红光、绿光、紫外光(顺序可改变)，并采集相应反射光下受检者的宫颈图像照片，图像文件在摄像机组7内转换成模拟信号或数字信号，优先转换为数字信号可减少转换过程中产生的量化误差，信号传送到计算机中央系统16，计算机中央系统16对图像特征进行分析，通过显示屏8显示出相关图像及报告。

步骤3：之后同样通过调节旋转头2与转盘3位置对荧光激光摄像仪7与相干断层扫描仪1的位置进行调整，再次实现对准后进行下一步操作。

其次通过相干断层扫描仪1，其原理是利用光波投射到组织后出现吸收、反射和散射等现象，根据光在不同层次透光组织中传播的距离不同，产生反射光所运行的时间不同来获得不同组织的截面图，通过利用弱相干光干涉仪的基本原理，检测女性宫颈不同深度层面对入射弱相干光的背向反射或几次散射信号，进而进行图像扫描及传输，信号传送到计算机中央系统16，计算机中央系统16对图像特征进行分析，通过显示屏8显示出相关图像及报告。

激光扫描图像是由摄像机组拍摄获得的，相干断层扫描图像是由OCT扫描系统获得的，采集图像前调整好两套装置的准度，则后期根据图像进行诊断时可相对简化图像配准问题。

步骤4：图像与数据已传输储存在显示检测器8中，两种图像分别根据宫颈的组织功能学信息和宫颈的组织形态学信息给出反馈，其中，荧光激光成像根据细胞特性，通过产生图像的对应色彩反映功能蛋白特性，癌变组织细胞对应的荧光图像亮度强于正常组织细胞，OCT扫描图像可显示宫颈活体在轴向断层的组织形态结构，对病变部位进行精确定位，在相同坐标系下对比处理得到的两组图像可从功能与形态两方面综合分析宫颈某部位是否癌变。根据肿瘤组织与正常组织光学物理性质的差异，癌变细胞内的功能蛋白发生变异，导致在荧光激光图像中对应部位亮度增加，而功能蛋白的变异进一步造成细胞形态的改变，从而可在相干断层扫描图像中观察到癌变细胞形态与正常组织细胞的差异。

医务人员可利用输入键盘12及鼠标13对获得图像进行图像分析，整理报告，进行诊断。

同时发明具备的图像数据存储、云端上传备份等功能，可以使图像及数据的采集整合更为集中便利。

通过荧光激光图像和相干断层图像进行宫颈癌筛查相较于传统筛查方法实现更为简单。

实施例二

本实施例的目的是提供一种应用于上述影像显示检测器中的联合成像方法。所述影像显示检测器中预存宫颈癌图像目标检测方法、基于荧光激光图像和相干断层图像的宫颈癌识别模型、荧光激光图像和相干断层图像配准方法、相干断层图像目标检测方法，以及检查报告自动生成方法相应的执行程序；优选地，还预先存储宫颈癌知识库，所述知识库中包括针对各类检测结果的说明、进一步检查建议等信息。

具体地，其中基于荧光激光图像和相干断层图像的宫颈癌肿瘤识别模型的建立方法为：采集宫颈癌肿瘤患者的荧光激光图像和相干断层图像对，以及正常图像，对荧光激光图像和相干断层图像对分别进行目标标注，并赋予标签；基于BP神经网络构建宫颈癌识别模型网络架构；基于带标签的荧光激光图像和相干断层图像对，训练得到宫颈癌识别模型。其中，标签可设置为患宫颈癌和正常。

所述影像显示检测器被配置为：

步骤1：接收荧光激光摄像装置基于不同波长激光光源采集的受检者受检部位的宫颈荧光激光图像；

通过荧光激光摄像仪周围的激光光源依次发射白光、红光、绿光、紫外光(顺序可改变)，并采集相应反射光下受检者的宫颈荧光激光图像；

然后对接收到的宫颈荧光激光图像分别进行目标检测，用于后续识别模型。

步骤2：接收相干断层扫描仪于同一受检部位采集的相干断层图像；

接收到相干断层图像后进行目标检测，用于后续识别模型。

步骤3：将接收到的宫颈荧光激光图像照片和相干断层图像进行配准；

本实施例中，图像配准方法采用基于特征点提取的SURF算法。SURF算法通过亚像素插值提高精度，首先计算主梯度方向，得到了描述子的旋转不变性。在4×4区域的图像细分中计算Haar小波来描述频域内的局部梯度，每个子区域计算四个描述符，得到4×4×4＝64个条目/分。SURF的计算时间相对较短，并且易于提取大量的关键点。假设函数为f(x,y)，某个像素点的Hessian矩阵公式可表示为：

其中，

和

分别为图像在x、y和xy方向的二阶高斯滤波。利用Hessian矩阵公式可计算出图像中所有点的特征值。

使用方格滤波模板后，式(1)的行列式如下：

Det(H)＝D_xxD_yy-α(D_xy)² (2)

其中，α为权系数，通常取0.9.利用公式(2)计算像素点的极值点。

SURF将尺度空间划分成若干组，尺度空间被象征性的表述为一个图像金字塔，而金字塔的每层称为Octave，Octave的值一般是人为设定的。特征点检测出后需要进行特征描述，利用计算的Haar小波响应系数构建一个新向量，再将坐标轴转到主方向，将正方形窗口划分为4×4个子窗口。用变量采样间隔，得到子窗口内x和y方向上的小波响应分别为和。对子窗口的系数累加构造四维向量如下：

v＝(∑d_x,∑d_y,∑|d_x|,∑|d_y|) (3)

为了提高图像特征点的匹配效率，采用渐入渐出的加权融合方法，公式如下：

其中，W₁+W₂＝1，0<W₁，W₂<1.

渐入渐出法的原理是根据图像重叠区域宽度的差值对像素进行加权选取。在重叠区域内将待融合的两幅图像f₁(x,y)和f₂(x,y)加入了权值W₁和W₂，通过计算可以得到融合后图像的f(x,y)。权值W₁、W₂可以通过重叠区域的宽度计算出，并且其权值的大小与重叠区域宽度的大小成反比，即

width表示重叠区域的宽度。在图像融合的过程中，可设重叠区域的W₁由1线性变化为0，则W₂由0变化为1.

步骤4：将配准后的宫颈图像照片、相干断层图像以及二者的融合图像进行显示。

进一步地，基于配准后的荧光激光图像照片和相干断层图像对，采用宫颈癌识别模型进行宫颈癌识别，在进行宫颈癌肿瘤识别后，还基于专家知识库自动生成与图像相应的检查报告并进行显示。以辅助医生后续进行宫颈癌筛查。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于荧光激光和OCT联合成像设备，其特征在于，包括：荧光激光摄像装置和相干断层扫描仪，均与影像显示检测器连接；其中，所述荧光激光摄像装置和相干断层扫描仪设于同一支撑装置上，所述支撑装置包括底座、底座上通过立柱连接调节转盘，所述调节转盘与立柱顶部旋转连接；所述调节转盘上通过两个支撑机构分别连接荧光激光摄像装置和相干断层扫描仪。

2.如权利要求1所述的一种基于荧光激光和OCT联合成像的宫颈癌筛查设备，其特征在于，所述支撑机构包括多自由度机械臂和支撑架，多自由度机械臂与支撑架通过调节旋转头旋转连接，使得多自由度机械臂水平旋转。

3.如权利要求1所述的一种基于荧光激光和OCT联合成像的宫颈癌筛查设备，其特征在于，所述荧光激光摄像装置摄像机组内部设有LED光源组合，均匀环绕在高清摄像机周围，且LED光源组合包含四种不同波长的激光光源。

4.如权利要求1所述的一种基于荧光激光和OCT联合成像的宫颈癌筛查设备，其特征在于，所述影像显示检测器自上而下分为一体机工作台、输入操作工作台、骨架支撑工作台和行走装置。

5.一种应用于如权利要求1-4任一项所述宫颈癌筛查设备的成像方法，其特征在于，包括：

接收相干断层扫描仪于同一受检部位采集的相干断层图像；

将接收到的宫颈图像照片和相干断层图像进行配准；

6.如权利要求5所述的成像方法，其特征在于，接收到荧光激光图像和相干断层图像后，还分别对两类图像执行目标检测。

7.如权利要求6所述的成像方法，其特征在于，预存基于荧光激光图像和相干断层图像的宫颈癌识别模型；在进行目标检测后，分别执行宫颈癌肿瘤识别。

8.如权利要求7所述的成像方法，其特征在于，所述宫颈癌识别模型是基于患宫颈癌的和正常的宫颈荧光激光图像和相干断层图像对训练得到的。

9.如权利要求6所述的成像方法，其特征在于，还包括专家知识库，用于存储针对各类检查结果的说明和进一步检查建议；在进行宫颈癌肿瘤识别后，还基于专家知识库自动生成与图像相应的检查报告并进行显示。

10.如权利要求6所述的成像方法，其特征在于，对荧光激光图像和相干断层扫描图像采用的配准方法为基于特征点提取的SURF算法。