CN113016006A

CN113016006A - 用于宽场高光谱成像的装置和方法

Info

Publication number: CN113016006A
Application number: CN201980068713.2A
Authority: CN
Inventors: 尹钟熙; 莎拉·博恩迪克
Original assignee: Cancer Research Technology Ltd
Current assignee: Cancer Research Technology Ltd
Priority date: 2018-10-19
Filing date: 2019-10-16
Publication date: 2021-06-22
Also published as: AU2019361320A1; WO2020079432A1; CA3114282A1; EP3867875A1; GB201817092D0; JP2022505322A; US20210374981A1

Abstract

本发明的实施例提供了一种高光谱内窥镜系统，包括：存储器，该存储器用于在其中存储数据；内窥镜，该内窥镜被布置成在使用中接收从样本反射的辐射，并输出对应于该样本的宽场图像数据和线扫描高光谱数据；处理器，该处理器耦合到存储器，其中处理器被布置成在使用中：确定宽场图像数据的各部分之间的配准信息；以及根据配准信息和线扫描高光谱数据确定广域高光谱图像数据。

Description

用于宽场高光谱成像的装置和方法

背景技术

高光谱成像用于各种应用，包括研究受试者体内的疾病。然而，在一些应用中(诸如在内窥镜检查中)，难以生成高光谱图像，因为需要快速数据获取并且存在图像失真。在内窥镜检查中，图像失真可能由于徒手成像(即，人控制内窥镜产生的图像数据)出现。

本发明实施例的目的是至少减轻现有技术的问题中的一个或多个。

附图说明

现在将参照附图仅作为示例描述本发明的实施例，在附图中：

图1示出了根据本发明的实施例的内窥镜系统的示意性图示；

图2示出了根据本发明的实施例的处理系统的图示；

图3示出了根据本发明的实施例的方法；

图4示出了根据本发明的实施例的宽场图像数据；

图5示出了根据本发明的实施例的线扫描高光谱图像数据；

图6示出了根据本发明的另一实施例的方法；

图7示出了根据本发明的再另外的实施例的方法；

图8示出了根据本发明的实施例的具有所标识的特征的宽场图像；

图9示出了根据本发明的实施例的共同配准的宽场图像；

图10示出了根据本发明的实施例的共同配准的宽场图像；

图11示出了根据本发明的实施例的广域高光谱图像数据的形成；

图12示出了根据本发明的实施例的方法；

图13示出了根据本发明的实施例的广域高光谱图像数据的形成；

图14示出了本发明的实施例的血管树体模的广域高光谱成像；

图15示出了使用来自患者的离体组织的本发明的实施例的示出了不同的组织类型的广域高光谱成像；以及

图16示出了在临床模拟条件下使用完整猪食管的本发明的实施例的广域高光谱成像。

具体实施方式

图1示出了根据本发明的实施例的高光谱内窥镜100。内窥镜100与辐射源110a、110b相关联。辐射源110a、110b可以包括在内窥镜100中，如在源110a的情况下，或者可以是内窥镜100外部的辐射源110b，即，辐射源110a、110b与内窥镜100相关联，但不包含在内窥镜100内。在任一情况下，辐射源110a、110b可以是宽带辐射源，诸如光(即，白光)源。

内窥镜100包括成像光纤120，该成像光纤被布置成在使用中接收从样本190反射的辐射。在一些实施例中，成像光纤120是包括用于接收来自样本190的辐射的多个光纤的成像光纤束120。在一些实施例中，内窥镜100包括用于将来自辐射源110a、110b的辐射朝向样本通信传送的照明光纤125a、125b。照明光纤125a可以与成像光纤120相关联，即，邻近其行进，诸如在内窥镜包括辐射源110a的情况下；或者可以是分离的照明光纤125b，特别是在辐射源110b在内窥镜100外部的情况下。成像光纤束120和照明光纤125a可以形成在内窥镜100的柔性主体125内。

内窥镜100还包括用于输出宽场图像数据的成像设备130、用于确定从样本190反射的辐射光谱的摄谱仪140。另外的成像设备150可以与摄谱仪相关联，用于输出线扫描高光谱数据。用于输出宽场图像数据的成像设备130可以是第一成像设备130，并且与摄谱仪140相关联的成像设备150可以被称为第二成像设备150。第一和第二成像设备130、150中的一个或两个可以是CCD等。第一成像设备可以是单色或彩色成像设备。

第一成像设备130用于确定宽场图像数据的帧之间的配准信息，如将要解释的那样。在一些实施例中，配准信息包括与宽场图像数据的各个部分相关联的一个或多个变换。宽场图像数据包括代表样本190的两个轴线(即，x轴和y轴)上的数据。在使用内窥镜100成像期间，成像光纤120的端部相对于样本190移动。因此，宽场图像数据的帧表示成像光纤120的不同位置处的样本190。成像光纤120相对于样本190的运动可以包括平移、旋转和放大中的一个或多个，如将要解释的那样。因此，一个或多个变换可以表示平移、旋转和放大中的一个或多个，如可以理解的那样。

摄谱仪140可以包括用于形成入射辐射的狭缝的入口狭缝141和用于根据波长分离辐射的狭缝的波长分离设备142。波长分离设备142可以是衍射光栅142。根据波长分离的辐射被引导到输出线扫描高光谱数据的第二成像设备150上。线扫描高光谱数据包括代表样本190的第一轴线(诸如y轴)上的数据和代表波长的第二轴线(例如x轴)上的数据。

内窥镜100包括分束器160，该分束器对沿着成像光纤120从样本通信传送的所接收的辐射进行分束或分割，其中辐射的第一部分被引导到第一成像设备130用于产生宽场图像数据，并且辐射的第二部分被引导到摄谱仪140和第二成像设备150用于产生高光谱数据。因此，宽场图像数据和高光谱数据共享由内窥镜100的成像系统导致的失真，这有利地使得能够确定广域高光谱数据来解决所述失真。如所理解的那样，内窥镜100还可以包括用于聚焦入射辐射的一个或多个透镜171、172、173。

图2示出了根据本发明的实施例的处理系统200。由内窥镜100在使用期间输出的数据被提供给处理系统200。处理系统200包括用于从内窥镜100接收数据的接口210。接口210可以是用于从内窥镜100接收数据的有线或无线接口210。数据包括宽场图像数据和线扫描高光谱数据。处理系统200还包括用于在其中存储所接收的数据的存储器220和用于通过根据本发明实施例的方法(如图3至图12所示)处理所存储的数据的处理器230，该存储器可以由一个或多个存储器设备220形成。处理器230可以由一个或多个电子处理设备形成，这些电子处理设备可操作地执行可以存储在存储器220中的计算机可读指令。

图3示出了根据本发明的实施例的方法300。方法300是根据本发明的实施例的确定广域高光谱图像数据的方法。如上所述，内窥镜100向处理系统200提供代表两个空间轴线上的样本的宽场图像数据，而线扫描高光谱数据代表相对于两个空间轴线中的一个的波长，即，宽场和线扫描高光谱数据仅共享一个公共空间轴线，该轴线可以是y轴。广域高光谱图像数据组合了所有三个轴线(即，x，y和λ)上的数据。组合数据可以呈代表广域高光谱图像数据的3D超立方体的形式。

方法300包括获取数据的步骤310。在一些实施例中，数据包括与一个或多个参考表面相关的数据。与一个或多个参考表面相关的数据可以在步骤310的第一部分中获得。所获得的数据包括使用内窥镜100获得的与样本190相关的数据，该数据可以在步骤310的第二部分中获得。应当理解的是，分别代表一个或多个参考表面和样本的数据的第一和第二部分可以在不同的时间获得。

在步骤310的第一部分，一个或多个参考表面具有预定的亮度。步骤310可以包括获得与一个或多个参考表面相关的数据，该一个或多个参考表面是用于校准的白色和黑色背景。W_white、W_dark、S_white和S_dark表示白色和黑色背景的测量值，其中W指示是宽场图像数据的数据，并且S是线扫描高光谱数据。可以通过使用标准的白色反射目标和光源来测量白色背景，并且可以在相机快门关闭的情况下测量黑色背景。

步骤310的第二部分包括相对于样本190移动成像光纤120的端部。该数据包括宽场图像数据的多个帧，其可以被称为W(i)，其中W指示是宽场图像数据的数据，i是该数据的索引号，即，帧号的索引，其中i＝1,2,3……n，其中n是数据的帧的总数。数据包括S(i)，其中S是线扫描高光谱数据，并且i是索引号。在内窥镜在数据的捕获期间相对于样本190移动时，i表示相对于样本190的成像位置。宽场图像数据和线扫描高光谱数据共享公共或全局空间坐标系。

图4示出了对应于样本290的宽场图像数据的多个帧410、420、430、440。图4中示出的是帧W₁、W₂、W₃、……、W_n。宽场图像数据的每个帧410、420、430、440是提供样本的两个轴(即，x、y)上的图像数据的二维图像帧410、420、430、440。如可以理解的那样，帧410、420、430、440中的每一个对应于样本290的表面的、从其接收所反射的辐射的相应部分。在所示的示例中，宽场图像数据是单色的，包括指示每个像素的辐射的强度的值，尽管应当理解的是，可以使用彩色图像数据。

图5示出了关于图4中示出的样本290的多个位置的线扫描高光谱数据510、520、530、540。这些位置对应于图4中示出的帧410、420、430、440的那些位置。每个线扫描高光谱数据图像510、520、530、540是二维图像帧，包括对应于宽场图像数据410、420、430、440的空间轴线中的一个(即，对应于样本290的表面)的数据和指示波长的轴线。因此，线扫描高光谱数据510、520、530、540代表通过入口狭缝141成像的样本290的细长部分的波长中断。

回到图3，方法300包括预处理在步骤310中获得的数据的步骤320。预处理可以包括强度归一化、结构或假象去除和失真去除中的一个或多个。

在一些实施例中，可以根据在步骤310的第一部分中获得的与预定亮度的表面相关的数据来执行强度归一化。在步骤320中，可以根据对应于预定亮度的表面的宽场图像数据来执行宽场图像数据的强度归一化。在一些实施例中，可以根据以下等式来执行宽场图像W_x的强度归一化，以提供经归一化的宽场图像数据NW_x：

类似地，在一些实施例中，可以在步骤320中执行线扫描高光谱图像数据的强度归一化。在步骤320中，可以根据对应于预定亮度表面的线扫描高光谱图像数据来执行线扫描高光谱图像数据的强度归一化。在一些实施例中，可以根据以下等式来执行线扫描高光谱图像数据S(i)的强度归一化：

其产生强度归一化的线扫描高光谱图像NS(i)。NW₁(i)可以用于表示宽场图像，而NS(i)是强度归一化后的线扫描高光谱图像。

在一些实施例中，步骤320包括从宽场图像数据中去除蜂窝结构。蜂窝结构可以通过对经归一化的宽场图像数据应用低通滤波来去除。可以使用NW₁(i)的低通傅立叶滤波来去除蜂窝结构，这从图像数据中去除高频分量，包括由于成像光纤120的结构而产生的峰值。所使用的低通滤波器的截止频率可以根据图像大小和多芯成像光纤束结构来确定。可以通过从低通滤波掩模中去除信息，在傅立叶空间(频域)中执行低通滤波。因此，傅立叶空间中的比例可以根据宽场图像数据的原始大小来确定。在一些实施例中，低通滤波掩模的大小可以基于内窥镜图像和成像光纤芯的大小来确定。NW₂(i)可以用于表示去除蜂窝结构后的宽场图像。

在一些实施例中，步骤320包括校正或减少桶形失真，该桶形失真可以通过改变沿径向轴线的放大程度引起。桶形失真可根据以下等式进行校正：

x_c＝x₀+αrcosθ

y_c＝y₀+αrsinθ

其中x_c和y_c是NW₃(i)的经校正的位置或像素，x₀和y₀是图像NW₂(i)的中心位置，r是极坐标中从(x₀,y₀)到(x,y)的径向距离，θ是x轴和从(x₀,y₀)到(x,y)的线之间的角度，并且α是校正系数。NW₃(i)是校正桶形失真后的宽场图像数据。

方法300包括确定配准信息的步骤330。在步骤330中，根据宽场图像数据确定配准信息。配准信息指示每个宽场图像帧410、420、430、440的成像位置和失真中的一个或两个。在一些实施例中，配准信息是各自可以是几何变换矩阵的一个或多个变换。在一些实施例中，变换与每个相应的宽场图像相关联。因此，方法300可以包括确定宽场图像410、420、430、440之间的多个几何变换矩阵(GM)，如将要解释的那样。每个GM具有预定尺寸，在示例实施例中，该预定尺寸为3×3，尽管可以理解的是，也可以使用具有其他维度的GM。

GM代表变换矩阵，诸如3×3矩阵，其包括了缩放、剪切、旋转和平移的2D变换信息。GM可以在投影空间、仿射空间、相似性空间和欧氏空间中进行定义。可以使用以下等式来执行使用GM的图像的变换：

其中(x,y)和(x’,y’)分别代表经变换的图像中原始点和相对应的点的空间坐标(即，像素)，并且3×3矩阵代表GM。根据需要，可以在3D投影和仿射空间中使用4×4GM。

图7示出了根据本发明的实施例的确定配准信息的方法700。方法700可对宽场图像数据410、420、430、440进行操作，以确定配准信息，该配准信息如上所述可以是一个或多个变换。

在步骤710中，选择参考宽场图像帧。在示出的示例中，位置i＝1处的第一宽场图像被选择作为参考图像。在步骤720中，考虑i的值是否大于1，如果i在步骤710中被设置为1，则在该示例中的步骤720的第一次迭代中，i的值为负。因此，该方法移动到步骤730，在该步骤中确定初始位移。在步骤730中，基于参考宽场图像设置初始位移，即，i＝1。

在一些实施例中，步骤730可以包括将初始GM设置为一个或多个预定值。每个GM可以被称为对应于与其相关联的宽场图像中的一个的GM(i)。因此，在步骤730中，GM(i)(在步骤730中为GM(1))可以被设置为预定值，其可以是：

初始GM(即，GM(1))在本发明的实施例中用于确定相对配准信息，即，相对于GM(1)的其他变换或GM。

在步骤730之后，该方法移动到步骤770，在该步骤770中确定i是否小于预定值n。预定值指示宽场图像的总数，即，n是如上所解释的数据的总帧数。如果i小于n，则该方法移动到步骤780，在该步骤780中i的值递增，即，在步骤780的第一次迭代的示例中，i增加到i＝2的值。因此，i用于选择下一宽场图像，该下一宽场图像在示例实施例中是下一连续的图像，即，第二宽场图像。在步骤720的第二次迭代中，i大于1，并且因此该方法移动到步骤740。

在步骤740中，利用特征提取算法来标识每个宽场图像中的特征。在一些实施例中，可以在步骤740中使用加速稳健特征(Speeded Up Robust Feature，SURF)算法，尽管在其他实施例中，可以使用其他特征提取算法，诸如尺度不变特征变换或最大稳定极值区域算法。应当理解的是，可以使用其他特征提取算法。

步骤750包括确定宽场图像中具有与当前选择的宽场图像相匹配的一个或多个特征的一个，即，NW₃(i)。因此，作为步骤740和750的结果，在一些实施例中使用特征提取算法来找到最佳匹配的宽场图像NW₃(k)至NW₃(i)。最佳匹配可以是在宽场图像之间具有最多数量的共同特征。

图8(a)示出了当前图像NW₃(i)，并且图8(b)是另一宽场图像NW₃(k)，两者具有应用于标识每个图像中存在的特征的特征提取算法。每个图像中的特征利用环指示。第一特征在图8(a)中被标识为810，并且相同的特征在图8(b)中被标识为820。应当理解的是，图8a和8b来自不同的成像位置，因此特征810、820的位置在图8a和图8b之间移动，如图9所示，图9示出了图像NW₃(i)和NW₃(k)之间的特征的关联和平移。

在步骤760中，在步骤750中确定的宽场图像之间确定变换。也就是说，在步骤760中确定宽场图像NW₃(i)和NW₃(k)之间的变换。在一些实施例中，步骤760包括确定图像NW₃(i)和NW₃(i)之间的相对GM。相对GM_r与宽场图像i相关联，GM_r(i)可以通过优化全局空间坐标来确定。全局空间坐标是在所有宽场图像上用作全局坐标系的坐标。

则当前宽场图像GM(i)的GM可以被确定为：

GM(i)＝GM_r(i)×GM(k)

其中GM(k)是第k个宽场图像的GM。

例如，GM(i)可以被确定为：

GM(k)x GM_r(i)(NW₃(k)和NW₃(i)之间的相对GM)＝GM(i)

由于GM(i)使用全局空间坐标指示当前图像NW₃(i)和NW₃(1)之间的相对变换，即所有宽场图像相对于NW₃(1)的相对变换。

如前所述，该方法然后移动到步骤770。应当理解的是，对于宽场图像410、420、430、440中的每一个，可以是诸如GM的相应变换的形式的配准信息由方法700确定。

作为方法700的结果，可以产生代表多个单独的宽场图像410、420、430、440的组合的经配准的宽场图像1000，其中由方法700确定的配准信息被用来配准单独的宽场图像410、420、430、440。图10中示出了三个宽场图像，i＝1、第i个图像和第k个图像。如可以理解的那样，各个宽场图像与相应的变换相结合，以形成经配准的宽场图像1000。图10还示出了入口狭缝141相对于每个宽场图像的位置和尺寸。

再次回到图3，方法300包括确定广域高光谱图像数据的步骤340。广域高光谱图像数据包括对应于x、y和λ的三个维度。在一些实施例中，广域高光谱图像数据是超立方体。根据线扫描高光谱图像数据和由方法700的实施例确定的配准信息来确定广域高光谱图像数据。图11示出了根据本发明的实施例的根据线扫描高光谱图像数据形成超立方体的过程。

图12中示出了方法1100的实施例，其可以在图3中示出的方法300的步骤340中执行。

在方法1100的步骤1110中，选择线扫描高光谱图像数据中表示的第一辐射波长。波长可以根据索引m选择为λ(m)。在示例方法1100中，在步骤1110中m＝1。

在步骤1120中，选择第一线扫描高光谱图像i。在该示例中，第一线扫描高光谱图像i是i＝1，尽管应当理解的是，在步骤1120中可以选择其他图像作为第一图像。

参考图13，参考线扫描高光谱图像1310被示出在左手列中。示出了参考线扫描高光谱图像1、k和i。每个图像上的竖直虚线1320示出了在步骤1110中选择的波长m。

在步骤1130中，根据当前选择的波长m选择当前选择的线扫描高光谱图像i的一列高光谱数据。即，在步骤1130中选择来自对应于λ(m)的线扫描高光谱图像NS(i)的一列高光谱图像数据1320。该列高光谱图像数据1320对应于高光谱图像NS(i)中对应于图13中的虚线的列。由于摄谱仪140内部的狭缝141和光栅142的有限尺寸，该列高光谱图像数据具有沿着x轴的集成光谱信息。

步骤1140包括复制在步骤1130中选择的该列高光谱图像数据。所选择的该列线扫描高光谱图像数据是一维的(例如在对应于所选波长m的y轴上)并且在步骤1140中被复制为第二维。复制可以沿着三维高光谱图像数据的x轴进行。所选择的该列线扫描高光谱图像数据可以被复制以匹配入口狭缝141的物理大小，即，x轴上的宽度，并产生复制的线扫描高光谱数据DS(i)，其是二维的，即，在x轴和y轴上。因此，复制的高光谱数据匹配入口狭缝141的尺寸。图13的中间列示出了与入口狭缝141大小匹配的复制的高光谱图像数据1330。

在步骤1150中，将对应于图像i的变换的变换应用于复制的高光谱图像数据，以变换所述数据。例如，根据变换将复制的高光谱图像数据定位在全局空间坐标上。特别地，步骤1150可以包括通过使用上面讨论的等式应用与图像i相关联的估计的GM(i)，将所创建的2D矩阵DS(i)变换到全局空间坐标系上：

在步骤1160中，确定对应于当前选择的图像的i是否小于代表数据的总帧数的n，即，步骤1160确定是否已经考虑了所有图像。如果没有，即，i≤n，则该方法移动到步骤1165，在该步骤中选择下一图像，其可以包括i在该方法返回到步骤1130之前递增，其中选择对应于波长m的一列高光谱图像数据。因此，步骤1130至1165使得从多个高光谱图像1、……、i、……、n的每一个中选择对应于波长m的一列高光谱图像数据。在一些实施例中，所选择的列被复制以匹配入口狭缝大小，并且然后被变换到全局空间坐标上，以形成x轴和y轴上的波长m的图像。

图13示出了复制的高光谱图像数据DS(1)、DS(k)和DS(i)通过相应的变换GM(1)、GM(k)和GM(i)被变换到全局空间坐标上，如图所示。

一旦在步骤1160中考虑了所有n个高光谱图像，波长λ(m)下的高光谱图像就完成了，如步骤1170所示。

在步骤1180，确定当前选择的波长m是否是最后一个波长，即，m>M。如果不是，即，还有另外的波长要考虑，则该方法移动到步骤1185，在该步骤中选择下一波长。在一些实施例中，步骤1185包括递增m，即，用于选择下一波长。在步骤1185之后，该方法移动到步骤1120，在该步骤1120中，再次选择第一图像以在新选择的波长(即，m+1)下执行剩余步骤。

然而，如果在步骤1180，波长m是要考虑的最后一个波长，即，构建超立方体的最大波长，则广域高光谱图像数据完成。在一些实施例，如果广域高光谱图像数据是超立方体的，则超立方体是完整的，如由图12中的1190所示。

图14在图14(a)中示出了使用三种颜色创建的血管树体模，以展示利用本发明的实施例进行的徒手高光谱内窥镜成像。如图14(b)所示，在使用本发明的实施例对体模进行徒手成像期间，进行了宽场配准，并且示出了59个内窥镜宽场图像的组合。图14(c)示出了来自经重构的宽场高光谱图像数据的三个波长下的代表性切片图像，该图像数据呈超立方体的形式。图14(c)中的白色箭头指示不同单波长图像中红色血管结构的存在和不存在。图14(c)的右侧处的颜色条指示吸光度(a.u.)。在图14(d)中，吸光度在图14(a)中示出的红色、绿色和蓝色方块内进行量化。

图14中示出的图像展示了本发明的实施例，根据图像的实施例，该实施例能够利用内窥镜的徒手操作进行实时高光谱成像采集。彩色血管体模通过高光谱内窥镜进行打印和测量，具有15ms的采集时间，其支持视频速率(26.2±0.2fps)高光谱成像。如图14(b)和(c)所示，经配准的宽场图像和来自经重构的超立方体的代表性切片图像展示了本发明的实施例在利用徒手运动进行的视频速率高光谱成像下工作良好。而且，光谱分析表明，本发明的实施例能够精确地测量样本的光谱曲线。因此，本发明的实施例可以用于在徒手运动期间快速且准确地测量空间和光谱数据两者。有利的是，这可能优于已知技术，例诸如多光谱成像、快照成像和具有机械扫描单元(诸如电流镜)的线扫描高光谱成像。

图15示出了来自患者(其可以是人类患者)的离体样本组织的高光谱成像。图15示出了取决于组织类型的不同光谱曲线，这使得能够标识不同的组织类型，并且特别是(尽管不是唯一的)标识癌组织。图15(a)示出了两个组织样本的代表性RGB图像。在每个图像中，虚线分别指示健康组织、Barrett食管和癌症组织的边界。图15(b)指示了(a)中示出的已标识的组织类型的光谱。(b)中的实线和阴影区域分别指示吸光度曲线的平均值和标准偏差。比例尺＝1mm。

图15示出了通过测量从患者收集的病理人体组织(健康组织、Barrett食管和食管癌)本发明的实施例在临床应用中具有潜力。每个组织类型的边界(RGB图像中的虚线)是基于组织病理学分析和操作内窥镜医师选择的。提取健康组织、Barrett食管、食管癌的所选择的区域中的吸收光谱的平均和标准偏差。如可以理解的那样，根据组织类型存在不同的吸收光谱，这指示本发明的实施例能够基于组织或其区域的光谱曲线区分健康和患病组织(诸如癌组织)。因此，本发明的实施例可以包括将广域高光谱图像数据与一个或多个波长阈值进行比较，以确定样本中癌症的存在。

图16示出了根据本发明的实施例的在完整猪食管的临床模拟条件下的广域高光谱成像。图16(a)示出了根据本发明的实施例的实验设定或装置。该装置通过猪食管引入，以对猪食管进行广域高光谱成像。猪食管利用蓝色染料染色。蓝色染料可以是亚甲蓝。图16(b)示出了猪食管的代表性RGB图像。在图16(b)中，虚线指示其中使用本发明的实施例执行高光谱成像的区域。图16(c)示出了从(b)中示出的区域测量的猪食管的经重建的广域高光谱图像。此外，图16(c)示出了三个区域：R1、R2和R3。R1区域用蓝色染料染色，并且R2和R3区域未染色。图16(d)示出了(c)中示出三个区域的光谱。如图15(d)所示，R1清楚地示出了与区域R2和R3相比的不同的光谱曲线。图15(d)示出了每个区域的线和阴影区域。每个区域的线和阴影区域分别代表由光谱指示的吸光度曲线的平均值和标准偏差。

图16展示了通过在临床模拟条件下测量或产生广域高光谱成像，本发明的实施例在临床应用中具有潜力。用蓝色染料对猪食管进行染色，以展示本发明的实施方案能够基于光谱区分组织。提取未染色和染色食管的所选择的区域中的吸收光谱的平均值和标准偏差。如可以理解的那样，根据蓝色染料染色，存在不同的吸收光谱，这指示本发明的实施例能够基于光谱分布区分组织。因此，本发明的实施例可以基于临床条件下的光谱曲线来区分健康组织和患病组织。

因此，本发明的实施例包括一种对组织成像的方法，其中使用本发明的实施例的系统或使用如上所述的本发明的实施例来产生对应于组织样本的至少一部分的广域高光谱图像数据。组织样本可以在体内或离体成像。因此，组织样本可以是体内组织样本或离体的组织样本。另外，该方法可以是对组织成像的体内或离体方法。

本发明的实施例还包括一种诊断受试者体内的癌症的方法，该方法包括使用本发明实施例的系统或使用如上所述的根据本发明实施例的方法产生对应于受试者的组织的至少一部分的广域高光谱图像数据。

该方法可以是在体内进行的方法。该组织可以是来自受试者的组织样本。替代性地，该方法可以在体外进行。在这样的实施例中，样本可以是离体组织样本。因此，该方法可以是诊断癌症的体内方法。

在一些实施例中，该方法包括根据广域高光谱图像数据，根据图像数据的至少一部分的波长来确定组织中的癌症的存在。该方法可以包括将广域高光谱图像数据与一个或多个波长阈值进行比较，以确定组织中癌症的存在。

在这样的实施例中，该方法还可以包括向受试者提供治疗。治疗可以包括癌症治疗。癌症治疗可以包括用于治疗癌症(合适地食管癌)的治疗剂。治疗可以包括给受试者施用治疗剂。合适的治疗剂可包括：顺铂、氟尿嘧啶、卡培他滨、表阿霉素、奥沙利铂、伊立替康、紫杉醇、卡铂等。

因此，本发明可以包括在有需要的受试者体内治疗癌症的方法，该方法包括：

(a)使用本发明实施例的系统或使用如上所述的根据本发明实施例的方法产生对应于受试者的组织的至少一部分的广域高光谱图像数据；

(b)根据广域高光谱图像数据，根据图像数据的至少一部分的波长来确定样本中的癌症的存在；

(c)向具有癌症的患者提供治疗。

用于在本发明的方法中使用的合适的样本是组织样本，合适地组织样本从相关组织的活组织检查中导出，合适地组织样本来自受试者的活组织检查中导出。活组织检查可以是来自受试者的食管的活组织检查。因此，合适地组织或组织样本可以是食管组织。在一些实施例中，本发明的方法可以包括从受试者获得样本。用于获得这种样本的方法是本领域普通技术人员熟知的，诸如活组织检查。

受试者可能被怀疑患有癌症。合适地，受试者可能被怀疑患有食管癌。受试者可能有或展现出癌症的症状。受试者可能展现出与食管癌相关的风险因素。

受试者合适地是人类。

本发明的方法可以用于诊断或治疗胃肠道癌症，合适地用于诊断或治疗食管癌。

应当理解的是，本发明的实施例可以以硬件、软件或硬件和软件的组合的形式实现。任何这样的软件可以以易失性或非易失性存储装置的形式存储，例如像ROM的存储设备，无论是否可擦除或可重写；或者以存储器的形式存储，例如RAM、存储芯片、设备或集成电路；或者被存储在光学或磁性可读介质上，例如CD、DVD、磁盘或磁带。应当理解的是，存储设备和存储介质是适合于存储(一种或多种)程序的机器可读存储的实施例，这些程序在被执行时实施本发明的实施例。因此，实施例提供了一种包括用于实施如任何前述权利要求所述的系统或方法的代码的程序和一种存储这种程序的机器可读存储装置。更进一步，本发明的实施例可以通过任何介质(诸如通过有线或无线连接携载的通信信号)以电子方式传送，并且实施例合适地包含这些。介质可以是有形的或者非暂时性的。

本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征，和/或如此公开的任何方法或过程的所有步骤可以以任何组合(除了这样的特征和/或步骤中的至少一些相互排斥的组合)进行组合。

除非另外明确说明，否则本说明书(包括任何所附权利要求、摘要和附图)中公开的每个特征可以由用于相同、等同或类似目的的替代性特征代替。因此，除非另外明确说明，否则所公开的每个特征仅仅是通用系列的等同或类似特征的一个示例。

本发明不限于任何前述实施例的细节。本发明扩展到本说明书(包括任何所附权利要求、摘要和附图)中公开的特征的任何新颖的一个或其任何新颖的组合，或者扩展到如此公开的任何方法或过程的步骤中的任何新颖的一个或其任何新颖的组合。权利要求不应被解释为仅涵盖前述实施例，还涵盖落入权利要求范围内的任何实施例。

Claims

1.一种高光谱内窥镜系统，包括：

存储器，所述存储器用于在其中存储数据，

内窥镜，所述内窥镜被布置成在使用中接收从样本反射的辐射，并输出对应于所述样本的宽场图像数据和线扫描高光谱数据；

处理器，所述处理器耦合到所述存储器，其中所述处理器被布置成在使用中：

确定所述宽场图像数据的各部分之间的配准信息；以及

根据所述配准信息和所述线扫描高光谱数据来确定广域高光谱图像数据。

2.根据权利要求1所述的系统，其中所述配准信息是在所述内窥镜相对于所述样本的相应第一位置和第二位置处相对于宽场图像数据的第一部分和第二部分确定的。

3.根据权利要求2所述的系统，包括根据预定特征匹配算法来选择宽场图像数据的第一部分和第二部分。

4.根据任一前述权利要求所述的系统，其中所述配准信息包括缩放、剪切、旋转和平移中的一个或多个的变换信息。

5.根据任一前述权利要求所述的系统，其中所述确定所述广域高光谱图像数据包括选择所述线扫描高光谱图像数据的一部分，其对应于所述广域图像数据的与相应配准信息相关联的一部分。

6.根据任一前述权利要求所述的系统，其中所述确定所述广域高光谱图像数据包括根据波长来选择线扫描高光谱数据的一部分。

7.根据权利要求6所述的系统，包括根据一个或多个预定条件来复制所述线扫描高光谱数据的所选择的部分。

8.根据权利要求7所述的系统，其中所述一个或多个预定条件包括将所述线扫描高光谱图像数据的所述选择的部分的一个或多个维度与所述内窥镜的入口狭缝相匹配。

9.根据权利要求6、7或8所述的系统，包括根据所述配准信息来配准所述线扫描高光谱数据的所述选择的部分。

10.根据权利要求9所述的系统，其中所述配准所述线扫描高光谱数据的所述选择的部分包括根据与相对应的宽场图像相关联的变换来将所述选择的部分变换到全局坐标系上。

11.根据权利要求6或其任何从属权利要求所述的系统，其中根据波长来选择的所述线扫描高光谱数据的部分与所述宽场图像数据的相应部分相关联。

12.根据权利要求6或其任何从属权利要求所述的系统，包括根据波长来选择图像数据的多个部分，以形成构成了所述广域高光谱图像数据的超立方体的波长维度。

13.根据任一前述权利要求所述的系统，其中所述内窥镜包括用于确定所述线扫描高光谱数据的摄谱仪。

14.根据任一前述权利要求所述的系统，其中所述内窥镜包括用于输出所述宽场图像数据的成像设备。

15.一种从内窥镜产生广域高光谱图像数据的方法，包括：

确定从内窥镜接收的宽场图像数据的各部分之间的配准信息，所述内窥镜被布置成在使用中接收从样本反射的辐射，并输出对应于所述样本的宽场图像数据和线扫描高光谱数据；

16.根据权利要求15所述的方法，其中配准信息是在所述内窥镜相对于样本的相应第一位置和第二位置处相对于所述宽场图像数据的第一部分和第二部分确定的。

17.根据权利要求16所述的方法，包括根据预定特征匹配算法来选择所述宽场图像数据的第一部分和第二部分。

18.根据权利要求15至17中任一项所述的方法，其中配准信息包括缩放、剪切、旋转和平移中的一个或多个的变换信息。

19.根据权利要求15至18中任一项所述的方法，其中确定广域高光谱图像数据包括选择线扫描高光谱图像数据的一部分，其对应于广域图像数据的与相应配准信息相关联的一部分。

20.根据权利要求15至19中任一项所述的方法，其中所述确定广域高光谱图像数据包括根据波长来选择线扫描高光谱数据的一部分。

21.根据权利要求20所述的方法，包括根据一个或多个预定条件来复制线扫描高光谱数据的所选择的部分。

22.根据权利要求21所述的方法，其中所述一个或多个预定条件包括将所述线扫描高光谱图像数据的所述选择的部分的一个或多个维度与所述内窥镜的入口狭缝相匹配。

23.根据权利要求20、21或22所述的方法，包括根据所述配准信息来配准线扫描高光谱数据的所述选择的部分。

24.根据权利要求23所述的方法，其中配准线扫描高光谱数据的所述选择的部分包括根据与相对应的宽场图像相关联的变换将所述选择的部分变换到全局坐标系上。

25.根据权利要求20或其任何从属权利要求所述的方法，其中根据波长选择的所述线扫描高光谱数据的部分与宽场图像数据的相应部分相关联。

26.一种对组织进行成像的方法，包括：

提供组织样本；以及

使用根据权利要求1至14中任一项所述的系统或使用根据权利要求15至25中任一项所述的方法，产生对应于所述样本的至少一部分的广域高光谱图像数据。

27.根据权利要求26所述的方法，其中所述组织样本是离体组织样本。

28.一种诊断受试者的癌症的方法，所述方法包括：

使用根据权利要求1至14中任一项所述的系统或使用根据权利要求15至25中任一项所述的方法，产生对应于来自所述受试者的组织样本的至少一部分的广域高光谱图像数据；

根据广域高光谱图像数据，根据图像数据的至少一部分的波长来确定样本中的癌症的存在。

29.根据权利要求28所述的方法，包括将所述广域高光谱图像数据与一个或多个波长阈值进行比较，以确定所述样本中癌症的存在。

30.根据权利要求28或29所述的方法，其中所述组织样本是离体组织样本。

31.一种计算机软件，所述计算机软件在由计算机执行时被布置成执行根据权利要求15至25中任一项所述的方法。

32.一种其上存储有计算机可执行指令的计算机可读介质，所述计算机可执行指令在由计算机执行时被布置来执行根据权利要求15至25中任一项所述的方法；可选地，所述计算机可读介质是非暂时性的。