CN101461706A - 用于分析和处理荧光图像的方法 - Google Patents

Abstract

本发明公开一种用于分析和处理荧光图像(10)的方法。通过图像检测设备检测在被照射的手术区域(20)中由肿瘤组织(22)发射的荧光，并将其传输到图像处理系统。在确定最高强度后，图像处理系统将阈值确定为最高强度的预定的分数值。借助图像处理的基本形态学运算，产生用来分隔强度高于阈值的肿瘤组织(22)和强度低于阈值的正常组织(21)的界限强度线(25)，并在线轮廓图像(11)中成像，其中线轮廓图像(11)可叠加到荧光图像(10)上。

Description

用于分析和处理荧光图像的方法

技术领域

本发明涉及一种用于分析和处理医用外科显微镜的荧光图像的方法。

背景技术

通过特殊的对比介质在肿瘤组织中的富集(enrichment)以及随后的紫外光照射，来实现肿瘤组织的荧光辐射，这在医学领域已应用了很长时间，例如用来支持在手术室中切除部分组织。

在被称为外科手术荧光检测法的这种方法中，在对脑肿瘤的手术之前，给具有胶质母细胞瘤(gliobastoma)的病人安排服用自然内源性(endogenous)物质(5-氨基乙酰丙酸(5-aminolevulinic acid)，缩写为5-ALA)。5-ALA作为血色素(hemoglobin)(即血液中的色素(pigment))的合成物的一部分而形成于人体中，并且它在造血作用中是不可缺少的。5-ALA具有在恶性脑肿瘤组织中将自身转变为色素原卟啉(protoporphyrin)IX的特性。原卟啉IX积累于新生细胞(neoplastic cell)中，且因此而特别积累于肿瘤组织中。当用紫外光照射时，原卟啉IX在约为635nm的波长处具有典型的荧光性。原卟啉IX分子吸收激发用紫外光，并随后发出具有较低能量的较长波长的荧光，使得肿瘤组织具有红色荧光。

要被移除的肿瘤通常具有渗透进正常组织的宽细胞边界，或者说肿瘤细胞簇(clusters)被正常细胞所包围。因此，难以仅移除肿瘤细胞而对正常的组织破坏最小。即使外科医生在荧光图像中看到红色的荧光，他也必须独立地估计要移除多少组织。

特别是在脑外科领域中，例如在胶质母细胞瘤的切除中，外科医生希望尽可能彻底地切除肿瘤组织，而同时又尽可能少地伤害正常组织，或是完全不伤害正常组织，以防止任何进一步的神经干扰(neurological disturbance)。借助目前已知的方法，在客观确定肿瘤边界的基础上进行优化切除是不可能的。

公知外科显微镜用于帮助外科手术，并将患者身体的受关注区域的放大图像提供给外科医生，同时还提供了其他支持特性。

DE 202005021111U1公开了一种组合式的诊断支持及治疗支持系统。其所描述的系统包括至少一个光源、图像检测设备、图像处理系统以及投影系统。图像信息由图像检测设备来检测，并在图像处理系统中进一步处理。图像处理产生额外信息，通过借助投影系统将这种额外信息投影到手术区域的方式，使得额外信息对外科医生来说成为可访问的。例如可通过投影仪(beamer)将图像投影到手术区域，或外科显微镜的目镜和监视器。

通过其上叠加了所产生的图像的投影，外科医生看到手术区域的真实图像，其中手术区域内的正常组织例如呈现绿色，或者以更高的强度来标记病态组织。这种额外信息是在图像处理系统中脱机产生的。

上述引用文件说明了在荧光放射物质进行激发的基础上，对肿瘤组织的光动力学诊断，但它没有公开图像处理系统是否能够和如何分析要切除的组织部分，或如何确定和显示切口线，以使得外科医生在实施切除时能够得到这些额外信息的支持。

DE 202005021111U1公开的主要重点在于将额外信息投影到手术区域中，但它并没有提及如何进行额外信息的分析、确定和计算。根据以上引用的专利，本领域技术人员并不知道如何将正常组织与肿瘤组织区别开来，这也就是为什么外科医生需要自己估计荧光强度和/或投影图像的强度，并确定哪个组织是需要被移除的肿瘤组织。由于对荧光的视觉感知度(perception)和估计很大程度上取决于特定的外科医生，所以切除的区域可能在某些情况下有大幅变化。

为了延滞复发性肿瘤的复发时间，尽可能多地移除肿瘤细胞是绝对有必要的。

由于色彩感知度会依这个或下一个外科医生而变化，并且荧光图像的主观感觉取决于手术室的环境和照明。因此，迄今为止，还没有公开独立于外科医生而确定肿瘤边界的客观方法。

发明内容

本发明的目的是创立一种可量化的、客观的、可重复的确定肿瘤组织边界的方法，使得外科医生的主观感觉和经验不再起作用。

为此，本发明提供一种用于分析和处理医用外科显微镜的荧光图像的方法，包括如下步骤：用来自激发设备的紫外辐射照射手术区域；图像检测设备记录数字荧光图像，并将该数字荧光图像传输到图像处理系统，其中；从该荧光图像提取红色道；且随后定义最高强度；此后将阈值确定为该最高强度的百分比的量值；确定围绕肿瘤组织区域的界限强度线，所述肿瘤组织区域的像素的强度高于被定义的该阈值；随后计算线轮廓图像，该线轮廓图像包含所述肿瘤组织区域的该界限强度线；以及将该线轮廓图像叠加到显示设备中的荧光图像上，其中将没有被所述界限强度线围绕的多个区域定义为正常组织区域。

本发明的方法达到了这个目的并对肿瘤组织的切除提供了相关支持，所以只有最小量的与肿瘤相邻的正常组织被移除，并由此能在很大程度上防止了额外的神经障碍的发生。

本发明主题的另一目的是提高生活质量，并通过实际上完全移除肿瘤的得以实现，来增加患者的预期寿命。

附图说明

以下结合附图说明本发明主题优选的示例性实施例。

图1a示出用作外科显微镜的荧光显微镜的示意图；

图1b示出荧光光谱，其中辐射强度为波长的函数，并且荧光激发是可视的。

图2示出被照射和反射的手术区域的荧光图像；而

图3以叠加的临界界限强度线示出图2中被照射的手术区域的荧光图像；

图4示出对应于图3的荧光图像，其中以额外的轮廓线绘出其他强度的区域；而

图5示出由图像处理系统产生的界限强度线(全黑)以及额外轮廓线的简单轮廓图。

图6示出具有不同轮廓线和不同色彩区域的手术区域的假色彩图像。

并且，上述附图中的附图标记说明如下：

1  激发设备

2  图像检测设备

3  图像处理系统

4  显示设备

5  激发线

6  发射线

10 荧光图像

11 线轮廓图像

12 假色彩图像

20 手术区

21 正常组织

22 肿瘤组织

23 正常组织区域

24 轮廓线(全部)

25 界限强度线(特定)

26 最高强度(相当于100％强度)

27 肿瘤组织区域

具体实施方式

在用于产生肿瘤检测特性的物质(优选为氨基乙酰丙酸)已经被以口服方式安排给(administered orally)具有胶质母细胞瘤的患者以产生原卟啉荧光，患者业已准备好实施外科手术并已被麻醉，且要实施手术的手术区20也已经就绪之后，使用外科显微镜实施肿瘤组织22的切除。

图1a示意性地绘出了一种外科显微镜的可能的配置。以来自激发设备1的紫外光辐射来照射手术区20，该紫外辐射处于约400nm的波长范围内，因而也处于可见蓝光波长范围内。所述的荧光紫外辐射例如可通过配备滤光镜而提供的或来自激光器的氙光源而产生。5-氨基乙酰丙酸合成具有荧光特性并选择性地积累在病变细胞(pathologically altered cell)中的原卟啉IX。

除了激发设备1中由荧光激发的约400nm的紫外辐射的激发线5之外，图1b中的荧光光谱还示出了荧光原卟啉IX所发出的在可见光谱范围内(约600nm至700nm)的辐射的发射线6。根据在可见光谱范围内的发射线6，肿瘤组织22发出荧光并发射出红光，其中所发出的光的强度与细胞内原卟啉的浓度有关。

图像检测设备2通过检测器上的光学元件来收集发射光并将所述发射光聚成光束，由上述光学元件以从手术区20发射出的荧光图像10的形式产生数字图像信息。在图像检测设备2中，实际检测可通过数字CCD摄像机或荧光分光器来实施。

因为用分别检测红色分量R、绿色分量G和蓝色分量B的强度的CCD摄像机来进行所发射辐射的检测，所以在使用发射线6的情况下，在高于600nm的范围中不需要额外的滤光镜即可获得优化的测量结果。当使用CCD摄像机时，因为发射线6仅位于红色分量R中，所以在激发线5与发射线6之间的远距离是有利的，并因此不会由于蓝色分量B中的蓝色激发线5而干扰检测。此外，大多数CCD传感器的量子效应在红光范围内是最高的，因此CCD摄像机的最高灵敏度处于红光区域内。

图像检测设备2记录每一个像素单元的红色分量R、绿色分量G、蓝色分量B的各种亮度值。如果选择8位的传感器，则可记录256种不同的亮度值。如果选择16位的传感器，则可记录65536种不同的亮度值，并且以数字荧光图像10的形式直接传输到显示设备4，显示设备4显示这些亮度值。显示设备4可为单目镜或双目镜、监视器等。外科医生借助于显示设备4观测整个过程。

此外，还将数字荧光图像10传输到图像处理系统3。图像处理系统3包括计算机单元。该计算机单元具有计算机程序以及至少一个读/写存储器；该计算机程序执行对荧光图像的分析和处理，并完成所产生的线轮廓图像11和产生的假色彩图像12的输出，以及在所产生的图像上叠加荧光图像10。

荧光处于红色光谱区域中，且富集原卟啉IX的肿瘤组织22被照亮为红色，因此要对荧光图像10的红色分量进行分析和处理，以实现肿瘤组织22的区域和界限的定量确定。图像处理系统3的第一个分析步骤就是从记录的荧光图像10中提取红色道(red channel)。

荧光图像10在红色光谱范围中具有光强度不同的不同区域。可选择由图像处理系统3或者由外科医生来确定在荧光图像10中具有最高强度26的范围。

通过比较荧光图像10的红色分量的全部像素的强度，图像处理系统3能够断定最高强度26，并将其作为最高强度而储存起来。为了手动选择最高强度26，诸如计算机鼠标等输入设备被连接至图像处理系统3，外科医生借此可选择荧光图像10中他认为是最亮处的像素区域。虽然最高强度26的自动确定总是将事实上的最高强度值可重复地确定为最高强度26，但通过外科医生对最高强度26的手动确定，就防止了在通过自动确定而自荧光图像10转换出最高强度26时可能出现的图像错误。为防止外科医生一方的色盲(如果有的话)在手动确定最高强度26时导致错误，在确定最亮区域中的最高强度26之前，通过已知手段将所关注的荧光图像10的红色道转化为灰度图像是颇有助益的。

在下一步骤中，通过图像处理系统3定义强度的阈值，该强度的阈值表示最高强度26的分数值。阈值表示被检测的荧光辐射的强度，其介于正常组织21的强度与肿瘤组织22的强度之间。如实验所示，在最高强度26的30％的范围内的阈值相对精确地表现出了健康的正常组织21与肿瘤组织22之间的分界。

在荧光图像10中，具有高于这种阈值的强度的像素区域表征为肿瘤组织22；而发射出高于阈值强度的光、在荧光图像10中是可视区域的组织却被划归为正常组织21。所期望的阈值可存储到图像处理系统3中，并且如果需要还可改变。根据在肿瘤组织22复发领域所做的外科手术的临床实验和分析，已经证实阈值为最高强度26的33％时是特别有利的。

在确定最高强度26和阈值之后，产生二进制图像，其中具有低于阈值的强度的荧光图像10的红色道的像素与具有高于阈值的强度的像素被区分开。通过传统数字图像处理方法来确定强度介于高于阈值的区域与强度低于阈值的区域之间的边界，并将其加重。通过图像处理的基本形态学运算(morphological operation)，例如，通过呈3×3矩阵形式的结构单元的扩张(dilatation)和侵蚀(erosion)，来确定不同图像区域之间的边界。实际上，扩张和侵蚀的组合和多重应用(例如开和闭)是可取的，以此来检测边缘。通过使用这些已知的数字图像处理方法，产生包括肿瘤组织22与正常组织21之间边界的图像信息来作为界限强度线25，该界限强度线25为几个像素宽。

其中界限强度线25的宽度是可变的，并且该界限强度线25的宽度可通过作为形态算子组元的结构单元来确定。因此如果结构单元不是在图像处理系统3内定义的，那么界限强度线25就可能变化。界限强度线25可使用诸如高通滤波和低通滤波或梯度算子等其他操作来产生。

界限强度线25是自相包容(self-contained)的，并且围绕肿瘤组织区域27，肿瘤组织区域27中含有强度高于所定义阈值的像素。在肿瘤组织区域27中具有高于阈值的强度的像素被表征为肿瘤组织22。在界限强度线25包围之外的像素具有低于阈值的强度，所以位于这些像素构成的区域中的组织被定义为正常组织21，并且该区域被称为正常组织区域23。

图像处理系统3自界限强度线25建立线轮廓图像11，且该线轮廓图像11可叠加在所记录的荧光图像10上并可由显示设备4显像。图3示出荧光图像10作为实例，其具有根据图5的线轮廓图像11，该线轮廓图像11包括以闭合的界限强度线25为边界的多个区域，在各种情况下该线轮廓图像11都叠加在荧光图像上。这样所产生的线轮廓图像11可以选择性地分别显示，如图5所示，而不叠加到荧光图像10上，或者作为如图6所示的假色彩图像12，并且可由外科医生进行分析和选择以支持外科手术。

虽然数字荧光图像10由显示设备4直接实时显示而不加处理，但也可将图像处理系统3产生的线轮廓图像11和假色彩图像12叠加在荧光图像10上并显示。通过这种方式，外科医生能够看到与在其普通显示设备4中所计算和处理的手术区域20有关的额外信息，并且在对肿瘤组织22的实际操作中这么去做。

为在稍后的时间点分析手术，并优化通过研究而确定的阈值，故将图像处理系统3中的荧光图像10和所产生的线轮廓图像11及假色彩12存储到硬盘或其他只读存储器中以用于研究目的。

根据上述方法，除了已经显示出来的界限强度线25之外，显示额外的轮廓线24也是可预期的。

轮廓线24围绕荧光图像10中这样的区域：这些区域的强度与定义的阈值存在取值固定的差距。例如，可选择阈值与最高强度26之间的差值的10％的强度差异。该轮廓线24被示出在图5的线轮廓图案11中。为区别不同的轮廓线24，由显示设备4以不同的方式(例如使用虚线或点划线)来表示轮廓线24。每个轮廓线24所包围的像素区域的强度与阈值之间具有确定的比率。可预期的是，轮廓线24用以围绕正常组织区域23和/或强度高于阈值直到最高强度的肿瘤组织区域27。

由轮廓线24围绕的区域(这些区域位于被界限强度线25围绕的肿瘤区域27内部)表征肿瘤组织区域27内不同强度的荧光区域。同样可预期对由界限强度线25围绕的肿瘤组织区域22以外的正常组织23的显示，所述正常组织23由轮廓线24作为边界。这也在图5中示出了。

上述额外轮廓线24也在图6中的假色彩图像(或彩色编码图像)12中示出，由此示出荧光图像10的多个荧光区域的不同强度，这些荧光区域是用与轮廓线24所围绕的肿瘤组织区域27不同的颜色来着色的。界限强度线25和轮廓线24的确定以及具有不同荧光的区域的着色均由图像处理设备3执行。外科医生可选择性地显示具有叠加线轮廓11的荧光图像10，或遮掩伴随荧光图像10的线轮廓图像11或假色彩图像12。

为了在肿瘤组织22的区域的程度确定中减少人为的个体误差，这里所述的方法已经发展为量化的、客观的并且可重复进行的肿瘤组织22边界确定方法。阈值的确定可由外科医生来执行，或由图像处理系统3来定义。

在外科手术中，连续记录荧光图像10，并基于一开始时确定的最高强度26以及阈值来分析不同的区域，并且界限强度线25和轮廓线24被不断地重复计算和显示。在手术过程中，由界限强度线作为边界的肿瘤组织区域27的面积也减少了，所以通过完全切除肿瘤组织22就使得肿瘤组织22得以减少。一旦检测不到具有高于阈值的强度的辐射，则所有被划归肿瘤组织的组织都被移除，手术结束。

Claims (14)

1.一种用于分析和处理医用外科显微镜的荧光图像的方法，其特征在于，包括以下步骤：

用来自激发设备(1)的紫外辐射照射手术区域(20)；

图像检测设备(2)记录数字荧光图像(10)，并将该数字荧光图像(10)传输到图像处理系统(3)，其中；

从该荧光图像(10)提取红色道(R)；且随后

定义最高强度(26)；此后

将阈值确定为该最高强度(26)的百分比的量值；

确定围绕肿瘤组织区域(27)的界限强度线(25)，所述肿瘤组织区域的像素的强度高于被定义的该阈值；由此随后

计算线轮廓图像(11)，该线轮廓图像(11)包含所述肿瘤组织区域(27)的该界限强度线(25)；以及

将该线轮廓图像(11)叠加到显示设备(4)中的荧光图像(10)上，其中将没有被所述界限强度线(25)围绕的多个区域定义为正常组织区域(23)。

2.根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在于：该阈值的量至少约为该最高强度(26)的30％。

3.根据权利要求2所述的用于分析和处理荧光图像的方法，其特征在于：该阈值的量为该最高强度(26)的33％。

4.根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在于：该最高强度(26)能够由该图像处理系统(3)自动确定。

5.根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在于：该最高强度(26)能够由外科医生使用连接到该图像处理系统(3)的输入设备手动确定，其中该荧光图像(10)的最亮像素是手动选择的。

6.根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在于：在确定该界限强度线(25)之前，由该图像处理系统(3)将该荧光图像(10)的该红色道(R)转换为二进制图像。

7.根据权利要求6所述的用于分析和处理荧光图像的方法，其特征在于：该界限强度线(25)是通过诸如结构元素的扩张和/或侵蚀等图像处理的基本形态学运算来确定的，该界限强度线(25)表示肿瘤组织(22)与正常组织(21)之间边界。

8.根据权利要求7所述的用于分析和处理荧光图像的方法，其特征在于：扩张和/或侵蚀的该结构单元为3×3矩阵。

9.根据权利要求8所述的用于分析和处理荧光图像的方法，其特征在于：该界限强度线(25)的宽度是可变的。

10.根据权利要求6所述的用于分析和处理荧光图像的方法，其特征在于：该界限强度线(25)是通过高通滤波和/或低通滤波或通过采用梯度算子产生的。

11.根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在于：该图像处理系统(3)自该荧光图像(10)的红色道产生闭合的轮廓线(24)，该轮廓线(24)与定义的阈值有取值固定的差距并表示高于与低于该阈值的不同强度的区域之间的界限。

12.根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在于：由该显示设备(4)显示假色彩图像(12)，以不同的色彩示出该正常组织区域(23)和该肿瘤组织区域(27)。

13.根据权利要求12所述的用于分析和处理荧光图像的方法，其特征在于：该线轮廓图像(11)和/或该假色彩图像(12)能够以可激活和不可激活的方式叠加在该荧光图像(10)上。

14.一种计算机程序产品，用于处理根据权利要求1-13至少之一的医用外科显微镜的荧光图像，具有执行方法的程序部分，其中该计算机产品执行以下步骤：

a.提取该荧光图像的该红色道(R)；

b.确定该最高强度(26)；

c.确定被定义的强度阈值为该最高强度(26)的分数值；

d.通过诸如结构元素的扩张和侵蚀等图像处理的基本形态运算来产生界限强度线(25)；

e.基于所产生的该界限强度线(25)来产生线轮廓图像(11)；以及

f.在此处记录的该荧光图像(10)上叠加该线轮廓图像(11)。

Images