CN115607104A - 一种内窥高光谱成像方法及系统 - Google Patents

Abstract

本发明提出了一种内窥高光谱成像方法及系统，所述方法包括采集内窥RGB图像；对内窥RGB图像进行几何校正、图像增强的预处理，得到高质量的内窥RGB图像；基于先验方法对内窥RGB图像进行高光谱重建，得到内窥高光谱图像。本发明将更为容易获得的内窥RGB影像用于高光谱数据的构建，使当前迅猛发展的计算机技术优势被充分利用到传统的光学成像系统，从而突破了依赖于叠加更多硬件来获得性能提高的高光谱图像的局限性。

Description

一种内窥高光谱成像方法及系统

技术领域

本发明属于高光谱图像领域，尤其涉及一种内窥高光谱成像方法及系统。

背景技术

高光谱图像是指包含二维空间信息和一维光谱信息的三维数据立方体。空间维影像的每一像点，都对应一个完整的目标的反射光谱曲线，是物质在电磁波谱中留下唯一的“指纹”。相比二维影像信息，高光谱图像额外提供的丰富光谱曲线信息，可以对物质进行识别和探测，能够发现RGB图像里难以发现的信息，比如，绿色蔬菜里的绿色害虫或者水果上残留的无色农药等。对于同样的红色的血管和人体器官内壁，在高光谱图像下，能够有效凸显病变区域。

然而，常规的高光谱成像系统不仅需要对空间维进行完整记录，同时还需要对目标进行分光以便进行光谱维的采样，从而同时获取光谱信息。一个普通的探测器只能记录二维信息，所以为了获得完整数据立方体，需要进行空间维或光谱维的扫描，因而引入精密的运动部件，不仅造价昂贵，还使得系统相对复杂笨重。图1所示是一种常规的高光谱成像系统原理示意图，其中前置物镜、准直镜头和聚焦镜头部分都包含不止一个镜片，图1作为原理示意。

现有的一些高光谱内窥系统多处于理论研究阶段，而且都是基于内窥硬镜(专利CN 111579498 A)和纤维镜(专利CN 208876461 U与专利CN 110859585 A)的结构设计。从调研结果来看，具备高光谱成像的柔性电子内窥镜尚未见报道。主要原因在于：一是高光谱仪器大多笨重且体积较大；二是大多数成熟的高光谱成像仪器都需要靠推扫来获得完成的数据立方体，运动部件的引入使得高光谱技术在内窥领域受到极大的掣肘。

所以目前的内窥高光谱成像系统因为固有的缺陷，无法深入人体耳鼻咽喉、呼吸道、消化道等相关内部器官以生成需要的高光谱图像。

发明内容

为解决上述问题，本发明提出了一种内窥高光谱成像方法及系统。

一种内窥高光谱成像方法，包括：采集内窥RGB图像；对内窥RGB图像进行几何校正、图像增强的预处理，得到高质量的内窥RGB图像；基于先验方法对内窥RGB图像进行高光谱重建，得到内窥高光谱图像。

通过内窥RGB成像系统采集内窥RGB图像。

所述先验方法依次包括数据训练和内窥高光谱图像重建；所述内窥高光谱图像的重建是利用数据训练的结果进行的重建。

所述数据训练包括根据现有的高光谱图像数据库学习一组基光谱，将基光谱投影到对应的RGB图像光谱。

所述内窥高光谱图像重建包括计算新输入的内窥RGB图像在RGB光谱上的表示系数；将表示系数与所述基光谱结合得到重建的内窥高光谱图像。

依据所述高光谱图像的重建过程，其重建公式为

所述A为基光谱比例系数；所述I为RGB图像；所述S为表示系数。

在所述重建公式中引入先验信息，以约束求解空间；加入先验信息后的重建公式为

所述λ为权重因子；所述P(A)为先验信息。

所述内窥高光谱图像重建完成后还包括：保存重建的内窥高光谱图像，以更新现有的高光谱图像数据库；根据更新后的高光谱图像数据库学习一组新的基光谱，将新的基光谱投影到对应的RGB图像光谱。

所述方法还包括内窥高光谱图像的识别和标记；所述内窥高光谱图像的识别和标记包括通过采用模式识别的方法对内窥高光谱图像进行判读。

本发明还保护一种内窥高光谱成像系统，所述系统用于运行上述的方法；所述系统包括内窥RGB成像系统、数据处理单元、图像显示单元；所述内窥RGB成像系统用于采集内窥RGB图像；所述数据处理单元用于根据采集到的内窥RGB图像，生成内窥高光谱图像；所述图像显示单元用于将生成的内窥高光谱图像显示出来。

所述系统还包括图像的识别和标记单元，用于对内窥高光谱图像进行判读。

与现有技术相比，本发明的技术方案具有如下优点：

本发明提出一种内窥高光谱成像方法及系统，是用高质量的RGB图像来高精度重建高光谱图像，既保留了柔性电子内窥图像高清的特点，又能够获得三维高光谱数据立方体。将更为容易获得的内窥RGB影像用于高光谱内窥数据的构建，使当前迅猛发展的计算机技术优势被充分利用到传统的内窥光学成像系统，从而突破了依赖于叠加更多硬件来获得性能提高的高光谱内窥镜的局限性。在医学上，高光谱影像的获取用于辅助医生对所观察的人体内部器官、组织进行物质识别，可对病变区域进行自动识别和突出浅表病变，这将会大大提高医生检查的效率和早期病变的诊断准确率，从而减少病患检查的痛楚和错诊漏诊的几率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为高光谱成像系统原理示意图和高光谱数据立方体采集强度。

图2为基于硬镜的高光谱内窥成像系统的示意图。

图3为基于纤维镜的高光谱内窥成像系统的示意图。

图4为本发明实施例的内窥高光谱成像方法的流程图。

图5为本发明实施例的内窥高光谱图像重建的示意图。

图6为本发明实施例的内窥高光谱成像应用的流程图。

图7为本发明实施例的内窥高光谱成像系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件、单元、线路和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为具体说明本发明所保护的技术方案，本发明实施例具体说明医学上的高光谱成像实施方案。

现有技术中的一些高光谱内窥系统多处于理论研究阶段，而且都是基于内窥硬镜和纤维镜的结构设计。

基于硬镜的高光谱内窥成像系统整体光路通常很复杂，如图2所示，涉及十几块镜片以上。此系统中包括内窥硬镜、照明光源、第一分光模块、第二分光模块、第一探测器、第二探测器、运动平台、控制器和计算机，如图2所示。其中的内窥硬镜光路仅作为一个原理示意图，第一分光模块和第二分光模块所含的镜片数远超过所示意的光路。此系统将内窥成像技术、棱镜光栅分光技术、推扫成像技术以及明场成像技术相结合，通过将明场图像与高光谱图像融合，获取高光谱内窥图像。相关原理可以简述为：照明光源发出的光照射到生物组织样品上，反射的光被第一分光模块分为两路，一路进入第一探测器，进行明场成像。另一路光进入第二分光模块经光谱维均匀色散后进入第二探测器，进行高光谱成像。在高光谱数据获取时候，控制器需要操控运动平台进行推扫，从而得到包含二维空间信息和一维光谱信息的数据立方体。

基于纤维镜的高光谱内窥成像系统一般包括一套完整的高光谱成像系统(含前置物镜、狭缝、准直镜组、聚焦镜组等)、内窥镜头(含光源、透镜组等)和传像光纤束，如图3所示。此方法通过宽谱光源产生连续光谱对人体内部器官、组织进行照明，经透镜组成像后的图像信息被传递至光纤的一端，经过传像光纤束被光纤另一端的一套完整高光谱成像系统接收，在经过一系列的前置物镜一次成像、狭缝的空间滤波、准直物镜获得适合光栅的平行光、光栅分光，最后经过聚焦透镜获得某一空间维的高光谱内窥图像。运动平台对传像光纤束传过来的一次像进行推扫，最终完成三维高光谱数据立方体的获取。其工作原理可归纳为：内窥光源照射人体內部管壁，经内窥镜头成像后的图像或视频，通过传像光纤束传递到前置物镜，再通过准直镜组、光栅(或其他可行的分光元件)、聚焦镜头最后得到高光谱数据。高光谱成像系统部分，也需要进行推扫，来获得三维高光谱数据。由于传像光纤束的蜂窝状结构，所获得的图像需要特殊处理，而且质量通常有所下降。

从以上对现有技术的说明中可以看到，现有的高光谱成像系统具有结构设计复杂、光能利用率低、可靠性差、成本高、成像噪声大的缺点；无法满足医学上对人体器官的高光谱成像高质量的需求。

为解决现有技术的问题，本发明提供一种简单、快速的高光谱内窥成像系统解决方案，使光谱信息的获取快速而且高效，大大增强内窥成像系统的性能，并为医生做相关诊断和分析提供一种新思路。通过现有的RGB三个影像通道，并构建它们与高光谱通道的映射关系，最后通过重建高光谱数据的方式实现新型的高光谱内窥成像系统。该发明充分融合光学、大数据图像算法和医学诊断等技术，是当前多学科发展的一个巨大优势。

本发明实施例提出了一种内窥高光谱成像方法，如图4所示，所述方法包括采集内窥RGB图像；对内窥RGB图像进行几何校正、图像增强的预处理，得到高质量的RGB图像；基于先验方法对内窥RGB图像进行高光谱重建，得到内窥高光谱图像。所述内窥RGB图像的采集通过内窥RGB成像系统完成。

所述内窥RGB成像系统为现有技术，在医学上的内窥RGB成像系统包括电子内窥成像系统。

所述高光谱图像的重建依赖于成像模型，即RGB内窥图像(I)本质是在光谱范围(w)内对高光谱图像(H)和相机灵敏度函数(S)的乘积进行积分

获得的。因此，RGB内窥图像到内窥高光谱图像就是一个求解逆映射问题。我们提出采用重建算法来求解这一逆映射问题，从而改变以往只能通过硬件方法获取内窥高光谱图像的模式。

具体的，所述先验方法是指在在求解逆映射过程中加入高光谱内窥图像的统计信息(稀疏性、局部线性、空间结构相似性与光谱间关系等)。如图5所示，所述先验方法依次包括数据训练和高光谱图像的重建；所述高光谱图像的重建是利用训练的数据重建。所述数据训练包括根据现有的高光谱图像数据库学习一组基光谱，将基光谱投影到对应的RGB图像光谱。所述高光谱图像重建包括计算新输入的内窥RGB图像在RGB光谱上的表示系数；将表示系数与所述基光谱结合得到重建的内窥高光谱图像。

所述高光谱图像由环境中不同材料的光谱响应按一定的比例混合而成，可得H＝EA，其中E表示基光谱，A指的是比例。根据高光谱图像与RGB图像的关系可得I＝SH，也写为I＝SEA，所述S为表示系数。

进一步的，依据所述高光谱图像的重建过程，其重建公式为

所述H为高光谱图像；所述E为基光谱；所述A为基光谱比例系数；所述I为RGB图像。对公式进行求解，即可重建高光谱图像。

由于求解上述公式会得到不唯一的解，在所述重建公式中引入先验信息，以约束求解空间；加入先验信息后的重建公式为

所述λ为权重因子；所述P(A)为先验信息。

在重建内窥高光谱图像后，进一步保存重建的内窥高光谱图像，以更新现有的高光谱图像数据库。返回数据训练阶段根据更新后的高光谱图像数据库学习一组新的基光谱，将新的基光谱投影到对应的RGB图像光谱，为下一次的内窥高光谱图像的重建做好准备。也就是说，将重建的高光谱图像保存在数据库中，循环学习和完善从高光谱图像到RGB图像的映射关系，保证图像重建的准确性。

在重建完成后，进一步对内窥高光图图像的识别和标记；所述内窥高光谱图像的识别和标记包括通过采用模式识别的方法对内窥高光谱图像进行判读。

本发明实施例中RGB重建算法和RGB图像获取系统结合，获得RGB图像，在利用光谱重建算法，恢复出高光谱数据。可以看出，这一发明，大大简化了硬件系统，而且由于目前计算机技术和机器学习的快速发展，RGB图像重建高光谱也逐步具备很高的可行性。

下面具体以一个医学上的高光谱成像的应用的实施例进一步说明本发明所保护的技术方案。

如图6所示，所述方法包括：

检查RGB内窥镜成像系统是否在检查组织内；

如果是，则采集内窥RGB图像：内窥镜采集人体对应器官组织的RGB图像，经传输电缆被上位机接收和存储；

对采集到的RGB图像进行数据预处理：上位机实时对接收到的内窥RGB图像进行几何校正、图像增强等操作，得到富含细节的高质量RGB图像；

RGB图像的高光谱重建：上位机基于先验方法，根据存储的内窥高光谱图像的基光谱以及对应内窥RGB图像光谱，计算新输入的内窥RGB图像在基光谱上的表示系数，最后将表示系数与基光谱结合得到重建的内窥高光谱图像。在重建高光谱图像后，进一步保存重建的内窥高光谱图像，以更新现有的高光谱图像数据库。返回数据训练阶段根据更新后的高光谱图像数据库学习一组新的基光谱，将新的基光谱投影到对应的RGB图像光谱，以为下一次的高光谱图像的重建做好准备。

内窥高光谱图像的保存；

内窥高光谱图像的识别和标记以确定是否存在病变：采用模式识别对高光谱图像进行判读，若内窥高光谱图像存在异常区域，在相应的位置标记并提示医生做进一步诊断；如果不存在任何异常区域，将内窥镜继续到下一位置观察，直至结束检查。

本发明实施例通过内窥RGB图像重建内窥高光谱图像，避免了使用昂贵的可调滤光片、光栅等精密分光光学元件和相关推扫的运动部件，利用现有的RGB内窥镜系统，以观测人体内部喉部、鼻腔、腹腔、肠道、胰腺、支气管、输尿管等空间极其狭窄的场合，获取高光谱三维数据，从而自动查找可疑病变区域，大大提高医生的诊断效率，为健康医学大数据提供有力的保障。

本发明实施例进一步提出了一种内窥高光谱成像系统，如图7所示，所述系统用于运行上述的高光谱成像方法，所述系统包括内窥RGB成像系统、数据处理单元、图像显示单元；所述内窥RGB成像系统用于采集内窥RGB图像；所述数据处理单元用于根据采集到的内窥RGB图像，生成内窥高光谱图像；所述图像显示单元用于将生成的内窥高光谱图像显示出来。

所述内窥RGB成像系统包括RGB内窥镜成像系统；所述数据处理单元是具有数据处理能力的设备，比如计算机、工控机、服务器等；所述图像显示单元包括具有图像显示功能的设备，比如显示器等，其除了显示高光谱图像外，还可以将高光谱图像的识别和标记结果显示出来；进一步的，在医学诊断上，为了具有比对效果，所述图像显示单元还具有同时显示RGB图像和高光谱图像的功能。

所述内窥高光谱成像系统进一步还包括图像识别和标记单元，用于对刚光谱图像进行判读，在医学诊断上，若高光谱内窥图像存在异常区域，在相应的位置标记并提示医生。

可以看出，本发明实施例，避开了高复杂度内窥高光谱成像硬件系统的弊端，而且由于目前计算机技术和机器学习的快速发展，RGB图像重建高光谱也逐步具备很高的可行性。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例所记载的技术方案进行的修改或者对其中部分技术特征进行的等同替换，均在本发明的保护范围内。

Claims (11)

1.一种内窥高光谱成像方法，其特征在于，包括：

采集内窥RGB图像；

对内窥RGB图像进行几何校正、图像增强的预处理，得到高质量的内窥RGB图像；

基于先验方法对内窥RGB图像进行高光谱重建，得到内窥高光谱图像。

2.根据权利要求1所述的方法，其特征在于，通过内窥RGB成像系统采集内窥RGB图像。

3.根据权利要求1所述的方法，其特征在于，所述先验方法依次包括数据训练和内窥高光谱图像重建；

所述内窥高光谱图像的重建是利用数据训练的结果进行的重建。

4.根据权利要求3所述的方法，其特征在于，所述数据训练包括根据现有的高光谱图像数据库学习一组基光谱，将基光谱投影到对应的RGB图像光谱。

5.根据权利要求4所述的方法，其特征在于，所述内窥高光谱图像重建包括计算新输入的内窥RGB图像在RGB光谱上的表示系数；

将表示系数与所述基光谱结合得到重建的内窥高光谱图像。

6.根据权利要求5所述的方法，其特征在于，依据所述高光谱图像的重建过程，其重建公式为

所述H为高光谱图像；所述E为基光谱；所述A为基光谱比例系数；所述I为RGB图像；所述S为表示系数。

7.根据权利要求6所述的方法，其特征在于，在所述重建公式中引入先验信息，以约束求解空间；

加入先验信息后的重建公式为

所述λ为权重因子；所述P(A)为先验信息。

8.根据权利要求5所述的方法，其特征在于，所述内窥高光谱图像重建完成后还包括：

保存重建的内窥高光谱图像，以更新现有的高光谱图像数据库；

根据更新后的高光谱图像数据库学习一组新的基光谱，将新的基光谱投影到对应的RGB图像光谱。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法还包括内窥高光谱图像的识别和标记；

所述内窥高光谱图像的识别和标记包括通过采用模式识别的方法对内窥高光谱图像进行判读。

10.一种内窥高光谱成像系统，其特征在于，所述系统用于运行权利要求1-9任一项所述的方法；所述系统包括内窥RGB成像系统、数据处理单元、图像显示单元；

所述内窥RGB成像系统用于采集内窥RGB图像；

所述数据处理单元用于根据采集到的内窥RGB图像，生成内窥高光谱图像；

所述图像显示单元用于将生成的内窥高光谱图像显示出来。

11.根据权利要求10所述的系统，其特征在于，所述系统还包括图像的识别和标记单元，用于对内窥高光谱图像进行判读。

Images