CN106030608A

CN106030608A - 生物组织分析诊断系统与方法

Info

Publication number: CN106030608A
Application number: CN201480061057.0A
Authority: CN
Inventors: 黄晓蕾; 万孙华; 周超
Original assignee: Lehigh University
Current assignee: Lehigh University
Priority date: 2013-11-06
Filing date: 2014-11-06
Publication date: 2016-10-12
Also published as: US20160232425A1; US10019656B2; WO2015069824A3; WO2015069824A2

Abstract

一种计算机诊断系统和相关方法，可以在原始组织图像中自动分类组织类型，该图像由基于纹理分析的成像设备捕捉。该系统接受并划分组织图像为许多较小的组织块图像。在非限制性实施案例中，局部二进制模式(LBP)和平均局部二进制模式(ALBP)提取方法的组合应用于每一块组织块上。也可以使用其它纹理分析方法。该提取方法为每个组织块生成一组LBP和ALBP特征，以此分类其组织类型。分类结果为原始组织图像的数字增强型地图。在实施案例中，所关注的组织类型被展现于原始组织图像之上。在其他或相同实施案例中，该地图在原始组织图像上显示每一个不同的组织类型。

Description

生物组织分析诊断系统与方法

相关申请的交叉引用

本申请要求美国临时专利申请(序列号61/900,828，2013年11月6日提交)的权益，其全部内容通过引用并入本文。

政府利益声明

本发明是由政府的国家卫生研究院/国家生物医学成像和生物工程研究院(NIH/NIBIB)独立奖(R00-EB010071)和国家卫生研究院/国家医学图书馆(NLM)奖(NLM-HHSN276201000693P)支持。政府对本发明具有一定的权利。

背景技术

本发明一般涉及生物组织成像技术，能够提供一种医疗诊断工具，即更具体地涉及用于分析组织样品的纹理以及对组织进行分类以检测组织异常的一种计算机系统和方法。

乳腺癌是一种全世界妇女发病率较高的癌症。筛查和早期检测能够改善乳腺癌的存活率。活检是一种常见的医学检验，病理学医师在显微镜下观察从受试者处取得的组织样本，以确定疾病性质或程度。一般来说，需要将组织切成极薄的切片并且染色，然后才能在显微镜下进行观察。光学相干断层成像仪(OCT)一种无损光学成像模式的替代方案，无需染色也能够提供活检样品组织的三维高清图像。光学相干显微镜(OCM)结合了OCT和共焦显微镜的优点，利用大数值孔径物镜生产细胞分辨率图像。

为了提高从医学图像中自动区分组织区域的准确度和效率，大量实施软件程序算法的计算机辅助诊断方法被提出。这类自动化技术的准确度和速度水平无法被组织图像的人工分析合理地重现。实验表明，光谱纹理分析善于从OCT图像中提取独特的纹理特征，即使图像中结构特征有限。图像处理和数据挖掘技术应用于大量医学图像，以区分组织的不同的模式。

纹理分析是医学图像分类的常用技术。主要有两种纹理分析技术：基于结构的方法和统计方法，包括光谱分析和特征分布。

在基于结构的方法中，图像的典型组织模式被提取并聚类为若干组。每种模式的出现频率用于代表纹理。如果某类纹理模式在图像中频繁出现，聚类步骤能够从纹理图像中保留更多信息，因此基于结构的方法擅长高度重复的纹理图像的分类。但是人体组织的OCT/OCM图像中的纹理模式很少有完全一样的，以致于基于结构的方法在OCT/OCM图像上的进行组织分类并不理想。

在统计方法中，提取的目标特征和全组织图像中每种特征的出现频率都能体现纹理性质。不同的纹理特征能在很多统计方法中应用，包括灰度共生矩阵、中心对称自相关、灰度差和局部二进制模式(LBP)。计算不同特征的统计分布，并且将其作为纹理表达的特征向量。因为统计方便不要求纹理图像具有高重复度，所以适用于OCT/OCM图像的组织分类工作。

LBP是近年来备受追捧的一种统计纹理分析技术。LBP的特点是计算不同的局部图像强度特征模式的频率，并且将其作为特征向量。LBP特征应用广泛，例如纹理分析、面部识别和所关注的区域描述。LBP抗旋转，并且使用固定模式表达纹理。LBP在不同纹理图像数据集上有较高的分类准确度。虽然LBP在OCT/OCM图像表达和分类纹理上相对有效率，但是仍需在组织分类准确度上作进一步优化，特别是在医学诊断方面。

发明内容

公开了一种计算机辅助诊断系统，该计算机辅助诊断系统提供了基于使用成像设备成像的组织样本或样品的纹理分析的组织分类和异常检测技术。一种新颖的图像分析技术用于组织图像，实现自动分类和样本中组织类型展示。图像分析技术采用了局部二进制模式(LBP)特征、平均局部二进制模式(ALBP)特征的新变量，用于组织图像纹理分析，并且结合LBP特征提高图像分类准确度。在诸多实施案例中，成像设备不受限制，包括光学相干显微镜(OCM)系统，光学相干断层(OCT)系统，共焦显微镜系统，或双光子显微镜系统。本自动诊断系统可能被用来鉴定通过肉眼可观察到的组织异常疾病，例如癌症检测，特别是乳腺癌检测的非限制性案例。该系统也可能还有其它的应用。

本组织分类过程一般包括两个基本步骤：训练和测试。在训练过程中，从组织数字图像中提取一系列能够代表图像纹理的LBP特征。类似地，还可以从组织数字图像中提取一系列能够代表图像纹理的ALBP特征。在LBP特征分析中，将一定数量的邻域像素灰度值与中心像素灰度值进行比较，生成二进制编码模式。相比之下，ALBP纹理分析则是将邻域灰度值与所有邻域灰度值的平均数作对比，而不是与中心像素灰度值进行比较。将LBP和ABLP的结果相结合并且集成至本系统。通过利用集成的ABLP和LBP特征，而非单独的LBP特征，发明人发现分类准确度得到改善。

根据本发明的其它方面，所述诊断系统能够根据获取的原始组织图像生成肿瘤概率热图，该原始组织图中的高度可疑区域为在原始灰度组织图像上数字化增强，因此能够有利地提高快速诊断能力。所述系统还能够进一步根据LBP和ALBP集成特征生成增强型多级组织分类图，该集成特征能够鉴别样本中所有不同的组织类型，有助于实现诊断目标。在一个实施方案中，热图和组织分类图可能是彩色和/或图形。

在一个实施方案中，一种用于分析组织图像数据的计算机辅助诊断系统包括：存储有软件程序指令的非临时性的计算机可读介质和能与计算机可读介质通信的计算机处理器。该处理器配置完成后可执行程序指令进行以下操作：接收由成像装置获取的原始组织图像；将原始组织图像分割成多个更小的组织块，这些组织块能集中体现获取的原始组织图像；通过分析每个组织块对各组织块中发现的组织的类型进行分类；生成的增强型数字热图覆盖在原始组织图像上，以视觉可辨别的突出方式展示所关注的预设组织类型。在一个实施方案中，处理器能够进一步对每个组织块进行多种纹理分析方法的组合。在一个实施方案中，纹理分析方法包括用于生成局部二进制模式特征的局部二进制模式提取和用于生成平均局部二进制模式特征的平均局部二进制模式提取。

根据另一个实施方案，一种用于分析组织图像数据的计算机辅助诊断系统包括：存储有软件程序指令的非临时性的计算机可读介质和能与计算机可读介质通信的计算机处理器。该处理器配置完成后可执行程序指令进行以下操作：接收由成像装置获取的原始组织图像；将原始组织图像分割成多个更小的能集中体现所获取的原始组织图像的组织块；提取每个组织块的局部二进制模式特征、平均局部二进制模式特征；根据原始组织图像中发现的上下文(contextually)相关组织的预定义类型，分类每个组织块中发现的组织的类型；以及展示原始组织图像的增强型数字图像，在图像上以视觉可辨别的方式标出至少一种组织类型。在一个实施方案中，处理器能够生成每个组织块的多集成特征，包括每个组织块的局部二进制模式特征和平均局部二进制模式特征。

提供了一种对数字组织图像中的组织类型进行自动分类的计算机辅助诊断方法。该方法由处理器执行程序指令来实现，并且包括以下步骤：接收由成像装置获取的原始组织图像；将原始组织图像分割成多个更小的组织块，这些组织块能集中体现获取的原始组织图像；对每个组织块中发现的组织的类型进行分类；以及展示原始组织图像的增强型数字地图，在图像上以与原始图像的其他部分在视觉上可辨识的方式标出至少一种组织类型。在一个实施方案中，该方法进一步包括处理器的以下步骤：提取每个组织块的局部二进制模式特征和平均局部二进制模式特征的组合。

附图说明

示范案例的特征描述参考以下附图，其中类似的元素标识相似：

图1是根据本公开的计算机辅助医疗诊断系统的示范系统体系构架的示意图；

图2是概述由图1所示的系统执行的基于纹理分析的方法或过程以分类并展示组织类型的流程图；

图3是上述系统训练神经网络分类器的训练过程或方法的流程图；

图4是上述系统分析生物组织样本的测试过程或方法的流程图；

图5是上述系统将所关注组织(例如恶性肿瘤)的热图生成并呈现出来时的过程或方法流程图；

图6是上述系统将样本中所有组织类型的多组织分类热图生成并呈现出来时的过程或方法流程图；

图7是上述所有过程的汇总图；

图8A阐述了从OCM图像中获取局部二进制模式(LBP)特征的坐标参考系和坐标点；

图8B是证明存在LBP特征重叠的OCM图像；

图9展示了上述系统从OCM图像中提取的LBP和平均局部二进制模式(ALBP)特征(由二进制数表示)；

图10A展示了两种不同类型组织图像块的OCM图像；

图10B展示了图10A中两种类型组织各自的LBP和ALBP特征；

图11A是组织样本的OCM图像，该组织能够被上述系统分析，实现组织类型分类和展示的目标；

图11B是由上述系统生成和显示的热图，以突出显示的方式在图11A的原始OCM图像上叠加所关注的组织类型；

图11C展示了图11A的OCM图中的所有不同组织类型的多组织分类类型；

图12展示了肿瘤OCM图像的综合多尺度特征；以及

图13以曲线图的形式展示了组织的四种不同类型和背景的综合多尺度特征；

上述附图皆为示意图，且未按照比例绘制。为简化起见，在一张图中出现并给出参考编号的部件在其它附图中出现时可能没有编号，除非特别标明了不同的部件编号和描述。

具体实施方式

在此以非限制性实施案例作为参考阐明并描述本发明的特点与效益。该实施案例描述旨在阐述附图间的联系，这也被看做整个书面描述的一部分。因此，本发明并不应该局限于某一实施案例所述的一些可能的非限制性特征组合；本发明的使用范围由所附的权利要求限定。

在本文公开的实施方案说明中，对方向或取向的任何附图仅旨在为了描述方便，并不旨在以任何方式限制本发明的适用范围。相对术语(例如，“更低”、“更高”、“水平的”、“垂直的”、“上方”、“下方”、“向上”、“向下”、“顶端”、“底部”)以及其衍生词(例如，“水平地”、“向下地”、“向上地”)应被解释为指的是取向，然后进行描述或者以附图形式展现。术语(例如，“附加的”、“固定的”、“连接的”、“耦合的”、“相连的”)和类似的指代词指的一种结构关系，该关系可能是通过中介结构直接或间接地固定或连接，也有可能是可移动的或刚性的附加或关系，除非另有说明。

本发明的各个方面可以通过软件、硬件、固件或其组合实现。本发明可以利用计算机执行的方法和设备实践以上过程的形式体现。本文所述计算机程序不限于任何特定的实施案例，可以在操作系统、应用程序、前台或后台进程、驱动程序或以上的组合中实施操作，在一台计算机或服务器处理器、多台计算机或服务器处理器上执行。本文所述处理器可以是一个或者多个计算机/服务器处理器中央处理器(CPU)、包含两个或以上独立CPU的多核处理器、微处理器、微控制器或其他计算装置或电路，该处理器经过设置后能够执行计算机程序指令(例如，控制逻辑或编码)。

本发明可以通过有形的非暂时性计算机可读介质中程序编码的方式体现，其中可读介质包括且不限于：随机存取存储器(RAM)、只读存储器(ROM)、只读光盘驱动器、数字化视频光盘、硬盘、电脑压缩盘、磁软盘驱动器、记忆棒、磁带或者任何其他计算机可读存储介质，当计算器处理器加载并运行计算机程序编码时，处理器就可以作为实施本发明的设备了。当在一台通用处理器上操作处理时，计算机程序代码配置和定制处理器形成控制逻辑回路，转变处理器进入专用处理器实施本发明。

为了方便描述，本发明的非限制性实施案例不限于对人类乳腺组织恶性肿瘤的研究。但是，不论成像设备获取的组织样本图像来自于体外或体内活体，本发明都不限于在此方面的的用途，而且会广泛应用于其它动物组织检查(例如，人类或非人类)。

本系统中描述动作的术语通常是指通过特殊配置的数据处理硬件(例如，电子计算机或类似系统的处理器)所演示与执行的动作。当处理器被编程完成并执行配置控制逻辑或软件程序指令时，数据处理系统操纵和转换代表寄存器和内存中的物理量(例如，电气/电子)数据为代表计算机系统内存或寄存器中寄存器和内容的物理量(例如，电气/电子)数据的其它形式。

图1是示例计算机辅助诊断系统100实施本发明的方框图。基于处理器的系统100包括一台捕捉组织图像的成像设备100，一个可以联接的、与成像设备通信的计算机系统120。成像设备110和计算机系统120可以通过任何合适的方法或通信协议连接有线或无线网络，或者以有线或无线方式直接连接。计算机系统120可以是台式个人计算机、便携式计算机、平板电脑或其他类型的便携式设备、大型计算机、服务器、其他具有储存和处理功能的可编程式数据处理设备。

在实施案例中，计算机系统120可以包括至少一台可编程计算机处理器122，例如中央处理器(CPU)或其他类型处理器、非临时性计算机可读介质(CRM)124、输入设备126(例如，键盘、鼠标、音频麦克风等)、视觉显示(VD)器128(例如图像显示器)，输入/输出界面130可以连接并建立上述设备之间的通信。计算机可读介质124经由输入/输出界面130访问处理器122，用于交换数据和程序指令。可以提供各种电路和辅助或外围设备(例如，电源、时钟驱动器等)，以形成一个全功能系统。还可以通过有线或无线方式给计算机系统120提供并连接辅助电子器件(例如，数据存储设备、打印机等)。

计算器处理器122可以连接有线或无线通信基础设施(例如，通信总线、交叉杆、局域网(LAN)或广域网(WAN)。处理器122可由控制逻辑步骤或指令(例如计算机程序编码或指令)编程，以形成执行基于处理器的步骤的专用处理器，该步骤专用于分析并分类组织和展示上述结果。

计算机可读介质124可由作为任何媒介访问处理器122，可以存储数据和通过处理器处理的计算机程序指令实施本发明。计算机可读介质124包括易失和非易失的可移动或非移动类型介质。例如，可以使用计算机可读介质124的包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器，或其它类型的存储器技术：只读光盘驱动器(CD-ROM)、、数字多功能盘(DVD)、蓝光光盘、内部/外部硬盘驱动器，或数据存储设备：诸如光盘存储、磁盒、磁带、磁盘存储、电脑压缩盘或其它磁存储设备，或可以用来存储数据和信息的可读、可写和由计算机处理器122检索的任何其它介质。还可以使用其它类型的可读数据存储介质。

计算机系统120还可以包括适当配置的通信界面。通信界面使得软件和数据能够在计算机处理器122和外部设备间转换。通信界面示例包括但不限于一个调制解调器、一个网络界面(例如，以太网或无线上网卡)、一个通信端口，一个个人计算机存储卡国际协会(PCMCIA)插槽和卡、条形码阅读器、USB、、蓝牙或类似设备。这些信号经由通信路径或信道提供给通信接口。携带信号的路径或信道可以是有线或无线的，并使用电线或电缆、光纤、电话线、、蜂窝链路，射频(RF)链路或类似方式实现。

计算机可读介质124中存储了计算机程序软件或指令，该软件或指令可于分析和分类组织，并且将原始组织图像转换成增强型数字组织图像，有助于医学诊断工作。计算机处理器122可以是通用计算机系统，当执行上述程序指令时成为专用计算机系统。程序指令不限于任何特定编程语言或执行。

成像设备110是独立操作的成像系统，能够用于捕捉组织样品图像，然后传输至计算机系统100进行处理分析，正如本文进一步所述。捕捉的图像是多像素组织的图像数据形成的数字像素图像。图像通过有线或无线连接通信并电子传送至计算机系统100，用于组织分析和分类。在一些实施案例(但不限于此)中，成像设备110是使用光学相干显微镜(OCM)、光学相干断层扫描仪(OCT)、共焦显微镜或双光子显微镜捕捉图像的商用系统。在一个优选的实施方案中，使用OCM可以综合OCT和共焦显微镜的优点。成像设备捕捉具有足够分辨率的组织样本，使得能够识别不同组织类型，从而分析和分类正常或病变组织。

特征提取

本发明使用了不同组织分析方法或技术的组合，生成用于分类数字组织图像中找到的组织类型的组织模式。在一个非限制性实施案例汇中，处理器122执行LBP(局部二进制模式)和ALBP(平均局部二进制模式)技术，从原始数字组织图像中提取特征。原始数字图像中提取得来的特征可通过计算机系统120用于自动识别不同组织类型。

在灰度图像中以LBP为特征来描述纹理。LBP算法将图像分割成块，比较中心像素强度和其邻域强度值。

{LBP}_{P, R} = Σ_{p = 0}^{P - 1} s (g_{p} - g_{c}) 2^{p},

s (x) = \{\begin{matrix} 1, x &GreaterEqual; 0 \\ 0, x \leq 0 \end{matrix}

P表示邻域像素数，R表示邻域区域半径，g_c表示中心像素的灰度值，g_p表示邻域像素的灰度值。LBP_P，R选择以中心像素为圆点、R为半径的P邻域。图8A为LBP_8，4的图解。假设中心像素位于(0，0)，那么g_p则位于

图8B展示了从OCM图形中获得LBP特征的示例。该图用LBP模式表达LBP特征，表示为“11100010”。对于LBP_P，R，有2p中可能的模式。为了实现旋转不变性，定义函数U(LBP_P，R)为数字0/1在循环二进制模式中的变化：

\begin{matrix} U ({LBP}_{P, R}) = | s (g_{P - 1} - g_{c}) - s (g_{0} - g_{c}) | + \\ Σ_{p = 1}^{P - 1} | s (g_{p} - g_{c}) - s (g_{p - 1} - g_{c}) | \end{matrix} - - - (2)

所以，图8所示LBP特征的U值为U(“11100010″)＝4

在所有的LBP模式中，出现频率最高的模式为均匀模式，限制了循环二进制表示法的连续性，因此U值较小。基于U值的旋转不变特征定义为：

{LBP}_{P, R}^{r i u 2} = \{\begin{matrix} Σ_{p = 0}^{P - 1} s (g_{p} - g_{c}), & i f U ({LBP}_{P, R}) \leq 2 \\ P + 1, & o t h e r w i s e \end{matrix} - - - (3)

总共有P+2种可能值。对于N×N图像中的每一个像素，值是由计算而得。不包括那些离图像边界距离小于R的像素，我们能得到值。计算出图像中每个值的出现次数并以直方图形式呈现。该直方图进一步归一化，并保存为LBP特征向量，如图10B第1-9列所示。

根据本发明，除了以上LBP特征，还使用了LBP特征的新变量，即平均LBP(ALBP)特征，该特征比较特定形状的组织块的中心像素与周边像素的平均强度值：

{ALBP}_{P, R} = Σ_{p = 0}^{P - 1} s (g_{p} - g_{e}) 2^{p}, w h e r e

g_{e} = (Σ_{p = 0}^{P - 1} g_{p}) / P - - - (4)

通过进行上述相同操作计算出旋转不变特征即将LBP_P，R转换为

{ALBP}_{P, R}^{r i u 2} = \{\begin{matrix} Σ_{p = 0}^{P - 1} s (g_{p} - g_{c}), & i f U ({ALBP}_{P, R}) \leq 2 \\ P + 1, & o t h e r w i s e \end{matrix} - - - (5)

然后，可生产图像的一系列ALBP特征。

相比之下，LBP特征能够揭示中心像素及其邻域之间的关系，而ALBP则展现了邻域中更多的具体关系。图9所示为两个不同的OCM图像，两者LBP特征相同，但邻域ALBP特征不同。图像1LBP和2LBP的图像表明，对于中心像素，这两个不同像但是具有相同LBP模式的图像都可以通过一个二进制数“11111111”来表示。图像1ALBP和2ALBP表明，对于相同的中心元素，两者的ALBP特征模式不同，分别用二进制数“10110011”和“10000111”来表示。通过整合LBP和ALBP特征，图像分类准确度得到有效提高。

LBP和ALBP相互补充。LBP特征善于表现中心像素及其邻域的灰度强度值之间的关系，然而ALBP特征对邻域强度变化更为敏感。图10B展示了图10A左右两张OCM图像的和综合特征。特征向量(图10B)中第1-9列表示第10-18表示由图片可知，两张OCM图像具有相似的LBP特征，但是ALBP特征区别很大。

虽然上述示例使用LBP和ALBP纹理分析方法从数字图像中提取和生成组织特征，但是本发明并不限于此方面。因此，在一些实施案例中其它组织特征提取技术(纹理分析方法)能够被进一步或者替代LBP和ALBP单独应用，以提高组织分类准确度。

集合特征与属性筛选。

人类乳腺组织OCM图像中有不同规格的纹理特征。不同半径参数的LBP和ALBP特征捕捉不同规格的组织特征。本发明将使用一系列不同半径参数的LBP和ALBP特征。多级特征由具有不同半径参数的LBP和ALBP特征集合构成。然后属性筛选阶段进行特征评估，选择最具代表性的属性作为构建分类器的综合特征。图12展示了肿瘤OCM图像的综合多级特征的构成：1-9维度：10-18维度：19-27维度：28-36维度：37-45维度：46-54维度：55-63维度：64-72维度：

为了提高分类算法的速度，可以在执行分类步骤之前进去属性筛选。在属性筛选阶段，应该保留能够代表不同组织类型的特殊特征属性，删除无相关属性，从而降低特征向量维度。在属性筛选之后，训练和测试阶段的计算复杂度降低，然而分类准确度维持在高水平上。

属性筛选由两部分组成：从原始属性空间提取属性新子集的搜索方法，以及给不同属性分配分数的评估方法。常用的搜索方法包括正向贪婪挑选法、模拟退火法、遗传算法等。常用的评估方法包括信息增益法、卡方分析等。在本发明中，遗传算法可以作为搜索方法，信息增益法可以作为评估算法，实现高效、准确的属性子集选择过程。根据图10B所示综合特征，我们从18组属性中筛选出14组。特征降维可以保持原有分类准确度水平，分类耗时减少15％。我们还在综合多维特征上进行属性筛选(表III最后一列)。我们将特征维数从72降到24。算法运行时间降低至14.8％，然而分类准确度从90.2％降至87.0％。图13四个不同组织类型和背景的综合多维特征(如曲线图)。排名前24位的特征(在底轴标记方框)被筛选为综合特征。15个所选特征来自于LBP特征，其它9个所选特征来自于ALBP特征。图中的不同曲线代表不同类型或级别的组织(该图中含有组织脂肪、纤维间质、乳腺小叶、恶性肿瘤和背景)。

图像分类

不同的分类方法能够基于筛选的图像特征子集用于分类OCM图像。通过比较从组织学图像中获取的标定真实类标签，评估了每个分类器的分类结果。采用的典型方法包括k最近邻算法、朴素贝叶斯方法、C4.5决策树和神经网络分类器。

k最近邻算法是一种研究较为广泛的分类方法。该方法在许多分类应用中都有很好的表现，其应用包括图像分类。由于本应用中的特征为数值特征，当构建k最近邻算法分类模型时，以欧几里德距离为距离量度。朴素贝叶斯算法是基于贝叶斯定理的概率分类器。C4.5是一种基于决策树的分类器。通过将特征值映射在特征所属的输出级上建立一个预测模型。对于难以通过基于规则的分类方法解决的问题(例如图像分类)，神经网络在该方面的应用中尤为有效。在本发明的实施案例中，三层神经网络可以用于分类模型。其它方法(例如AdaBoost分类器)也能用于分类模型。

现在将进一步详细描述本计算机辅助诊断系统100和由用于组织分析和疾病检测的计算机系统120所实现的相关过程。

图2是示例中计算机方法或过程200的高水平流程图，该方法或过程通过图1所示诊断系统用于分析生物组织样本。执行步骤顺序可以同所示步骤相同，也可打乱顺序或者增减步骤。各个步骤可以包含子步骤或程序，正如本文进一步所述。

参考图2，过程200通过成像设备110捕捉原始图像始于步骤205。组织图像可以是由OCM、OCT、共焦显微镜或双光子显微镜捕捉到的像素化数字图像。图像数据传输并被计算机系统120接收用于处理过程(参见图1)。在步骤210中，处理器122通过运行被编入计算机系统120的程序软件或指令的控制逻辑步骤，执行所接收组织图像的纹理分析和模式识别分析。在步骤215中，处理器122分类原始组织图像中的组织类型。在步骤220中，处理器122生成热图，可以视觉化地指示或展示所关注或医疗高风险的组织类型。在步骤225中，处理器122将热图覆盖于原始组织图像上，生成合成图像，并且以突出显示的方式标出所关注的或医疗高风险的组织类型。在一个实施案例中，所关注的或高医疗风险的组织比其他部相关的组织更暗。

在步骤230的替代或平行处理过程中，处理器122生成多级图像，展示所有不同组织类型和原始组织图像的各自区域。在各个实施方案中，地图可以是彩色的、灰色的、图形的，或者是上述情况的组合，在各个区域/位置的每个组织类型都以不同颜色、阴影和/或图案表示。在步骤235中，处理器122将热图覆盖于原始组织图像上，生成增强型数字合成图像。该地图有助于快速识别图像样本中发现的所有组织类型/结构。过程200中的上述步骤将在本文中进一步描述。

训练过程

为了使计算机辅助诊断系统100准确地识别和分类图像样本中的组织结构，要使用机器学习技术编程计算机系统120，并且更具体地训练系统中的人工神经网络分类器。神经网络分类器在本领域众所周知，并且在美国专利5262871中有相关描述，通过引用并入本文。神经网络分类器包括软件程序以图像训练输入(例如组织学图像)为基础，建立计算机模型，使得计算机系统能够识别不同组织类型。

图3示例训练方法或过程300的流程图，该方法或过程可以用于实施学习算法，计算机系统120实施的神经网络组织分类器，并训练由识别鉴定原始组织样本图像中的不同组织类型。例如，如果所研究的组织是乳腺组织时，发现的组织类型可以用于编程和训练处理器122，该组织类型可以是但不限于以下五类之一：脂肪组织、纤维间质、乳腺小叶、恶性肿瘤和背景。不同类别的块表现出OCM图像中的独特纹理图案，可用作组织分类的线索。训练过程300可以被作为训练神经网络分类器的图像预处理过程。图4为补充参考图，以图形的方式描绘训练方法。

参考图3和图4，训练过程300开始于步骤305。执行软件计算机程序指令的处理器122首先访问步骤310中的数据库，可访问计算机系统120，其中包含原始数字组织图像401，并且对应上下文中的与所关注组织相关的组织学组织图像403。通过任何可利用资源下载数据至可存储图像的计算机系统120，在训练方法或过程300之前更新该数据库中的组织图像。该数据库可以存储在计算机可读介质124(包括系统或可移动存储器)，或者是处理器122可访问的其他外部数据库上。从成像设备110下载的数字组织图像可以存储在相同或不同的数据库或存储器。在非限制性示例中，可以使用体外人类乳腺组织OCM图像。

在步骤315中，可以通过处理器122从数据库中检索数字组织图像。在步骤320中，将原始组织图像401分割成许多更小的组织块402(参见图4)，使图像尺寸小于完整的原始组织图像。可以使用任何合适尺寸的组织块。在实施方案中，组织块402的尺寸可以全部相同。为了说明该步骤，在一些具有代表性的非限制性软件参数中，10,000x10,000像素的原始图像可以由处理器122分割成许多400x400像素或500x500像素的组织块。也可以使用其它尺寸的组织块。

对于每个组织块402，处理器122利用LBP(局部二进制模式)和ALBP(平均局部二进制模式)运行一套平行的组织纹理分析生成特征。LBP特征生成如步骤330所示。对于每个组织块402，利用上述方法和算法执行LBP提取步骤，LBP特征通过二进制字符串呈现LBP图案(参加图9)。

ALBP特征生成如步骤329所示。对于每个组织块402，利用新的方法和算法执行ALBP提取步骤，ALBP特征通过二进制字符串呈现LBP图案(参加图9)。特征提取过程的最终结果是每个组织块402由LBP特征和ALBP特征表示，其中LBP特征含带有二进制数字(步骤/块335)的相关图案，ALBP特征含带有二进制数字(步骤/块340)的相关图案。小叶和脂肪组织块402的LBP和ALBP组合如图10B所示(如上文所述)。在实施案例中，对于所有的组织块402，处理器122可以平行运行一系列的LBP和ALBP提取和图案生成，从而加快处理时间。

在步骤350中，计算机系统120编译和集合了所有LBP和ALBP特征，并且在步骤306中生成原始数字组织图案401综合多级特征。图12展示了具有代表性的多级特征(如上文所述)。结果被输入组织块370的数据库，在测试原始数字组织图像的过程中，由训练过程300建立的训练数据集通过处理器存储于此数据库。计算机系统120可以通过神经网络分类器模块访问并检索训练数据集，该模块能够分类原始数字组织图像401中的组织类型，如步骤/块375所示。

接着参考图3，在步骤341中，处理器122可以从块310所述数据库中检索组织图像和实际数字组织图像。同一人类乳腺组织的组织学图像被用作采集真实标定数据。在一些实施案例中，该步骤与诸子组织图像处理过程平行进行，以加快处理速度。

与步骤320所述过程类型，在步骤342中，将组织学图像分割成许多更小的组织块404(参见图4)，使图像尺寸小于完整的原始组织图像。也可以使用其它尺寸的组织块。

在步骤365中，处理器122对每个组织学图像块404进行真实数据组织分类操作。在数字组织图像及其组织学图像上进行登记，使得数字组织图像中的图像块402与组织学图像块404相对应(参见图7)。因此，该步骤在以图像块为基础的图像上进行操作。基于以上特征，每个组织学图像被人工(如有经验的病理学家)分配级别标签。每个数字组织图像及其相应组织学图像被分配到相同的级别标签。所标定的真实组织分类标签由图像块生成，该图像块被采集后又被转换为所见训练数据集的一部分。

在步骤370中，由步骤365生成的结果被传输并保存至训练数据集的数据库370中，用于处理器执行神经网络分类器检索和使用，实现原始数字组织图像401中的组织分类(参见图4)。训练集中各样品由两部分组成：综合特征向量和标定真实标签。

测试过程

图4所示为用于测试或分析原始数字组织图像的测试方法或过程500的流程图。过程500依靠于过程300训练的计算机系统120分类器。该过程的初始部分与训练过程300相似，平行执行LBP和ALBP组织提取和特征分析。

在步骤505中，处理开始。在步骤510中，新的原始数字组织图像401(例如但不限于乳腺OCM图像或其他)可以由处理器122检索分析。

相对于测试过程300来说，接下来的步骤515至540基本上与步骤315至360相似。

在步骤515中，将原始组织图像401分割成许多更小的组织块402(参见图4)，使图像尺寸小于完整的原始组织图像。该图像块用于将数字组织图像中的不同区域分类为组织的不同类型。在实施案例示范中，为了进行测试，将数字组织图像分割为两种尺寸。在实施案例中，将数字组织图像分割为尺寸相同的组织块402，用于训练过程(参见图3)。在另一个实施案例，将数字组织图像分割为尺寸不同的组织块，用于测试过程。使用不同尺寸的组织块可以避免在训练过程中生成相同组织块，因此提高测试结果的可靠性。

对于组织块402，处理器122平行运行LBP(局部二进制模式)和ALBP(平均局部二进制模式)的组织纹理分析，生成组织特征。LBP特征生成如步骤525所示。对于每个组织块402，利用上述方法和算法执行LBP提取步骤，LBP特征通过二进制字符串呈现LBP图案(参加图9)。

ALBP特征生成如步骤526所示。对于每个组织块402，利用新的方法和算法执行ALBP提取步骤，ALBP特征通过二进制字符串呈现ALBP图案(参加图9)。特征提取过程的最终结果是每个组织块402由LBP特征和ALBP特征表示，其中LBP特征含带有二进制数字(步骤/块530)的相关图案，ALBP特征含带有二进制数字(步骤/块531)的相关图案。小叶和脂肪组织块402的LBP和ALBP组合如图10B所示(如上文所述)。在实施案例中，对于所有的组织块402，处理器122可以平行运行一系列的LBP和ALBP提取和图案生成，从而加快处理时间。

在步骤534中，计算机120编译和集合了所有LBP和ALBP特征，并且在步骤540中生成原始数字组织图案401综合多级特征。图12展示了具有代表性的多级特征(如上文所述)。

在步骤545中，特征或属性筛选方法如上文所述，即选择集合特征中最具有代表性的属性建立神经网络分类器，提高分类算法的处理速度。

在步骤375中，基于上述LBP和ALBP特征提取过程的综合结果，预训练神经网络分类器识别原始数字组织图像401中的不同组织类型或分类。根据训练过程300中每种类型的预分配标签，神经网络分类器可以通过使用数据库370中的图像数据集，分类原始数字组织图像中的不同组织类型。在以癌症检测为目标的乳腺组织调查示例中，组织类型/种类为肿瘤、脂肪、间质、小叶和不属于其他组织种类的背景组织。

随后神经网络分类器生成热图，在步骤550中识别所关注组织(例如肿瘤)的存在及程度，和/或在步骤551中生成多级组织分类地图，显示所有组织类型，如本文进一步所描述。然后，该过程止于步骤555，并且可以重复进行下一张组织图像分析。

热图生成

图5所示为计算机系统120所执行示例方法或过程600(例如子程序)的流程图，该方法或过程能够在图4方框中生成显示热图。该热图识别并以突出显示的方式标出原始数字组织图像401中所关注类型的基本组织(例如癌症检测中的恶性肿瘤)。生成热图的步骤始于步骤605。图5为测试过程500的初步处理步骤汇总，简要标明步骤/块510、515、540和375，不重复标明其它临时步骤。

在步骤375中，神经网络分类器预测原始组织图像中每个组织块图像出现每种组织类型或种类的概率。在以癌症检测为目标的乳腺组织调查示例中，组织类型/种类为肿瘤、脂肪、间质、小叶和背景组织。在判定步骤610中，神经网络分类器判定：如果概率为最大值，那么判断图像中的组织为肿瘤。如果返回结果为“否”，那么该组织在步骤615中被归为“正常”，该组织块图像不会以突出显示的方式(如彩色)覆盖在原始组织图像401上。

如果返回结果为“是”(不同于判定步骤610)，那么控制转到判定步骤620，该步骤中神经网络分类器判定肿瘤出现的概率是否大于步骤620中的预设阈值。通过设定一个输出值的阈值Θ，对应一个组织类型(例如恶性肿瘤)，可以得到并显示代表肿瘤区域的组织块。如果数字组织图像中有被分类为肿瘤组织的图像块，整个数字组织图像被分类为肿瘤；否则，整个数字组织图像被分类为良性。为了提高算法的鲁棒性，被分为肿瘤的独立图像块(例如小于1mmx1mm)小区域将被删除。对于分类结果，可以通过调整阈值Θ得到不同的灵敏度和特异性组合。还可以这种方式生成分类结果的接收器工作特征(ROC)曲线。由计算机辅助诊断系统100执行的一项具有代表性的实验测试中，当敏感度为85.2％，特异性为94.7％时，该算法实现了最佳分类准确度。完整组织图像分类的准确度(％)总结参见下表：

组织类型	图像数量	分类准确度
			肿瘤	19	94.7
良性	27	85.2
			合计	46	89.1

继续参考图5，如果步骤620的返回结果为“是”，神经网络分类器将组织块标为肿瘤区域，并且生成步骤550中的热图，以突出的方式标出肿瘤组织块和区域。该热图所示为肿瘤区域叠加在原始数字组织图像上，从而建立了数字增强型组织图像，有利于专业护理人员检查。结果示于图11B的热图中，非增强型灰度原始组织图像热图示于图11A，以供比较。

值得注意的是，上述过程是对每个组织图像块401进行操作，以判断热图上显著标明的图像块是否为恶性肿瘤。

在实施案例中，计算机系统120显示了以突出方式在热图中标出肿瘤区域，显示设备128将该区域显示为彩色和/或深色区域，覆盖于灰度原始组织图401上方。对于判断为肿瘤的组织块，计算机系统120将输出并显示结果，即在原始灰度组织图像上显示为彩色。在一些实施案例中，数字增强型组织图像中的颜色完全不透明，而在另一些实施案例中，其图像中的颜色呈半透明状态，可以透过看到原始组织结构。彩色组织块组合将形成原始组织图像中的彩色区域。

系统120还可以用其它方式突出显示肿瘤区域，不受限于以上非限制性示例。在未来的医学研究中，热图能让专业护理人员快速检测疑似肿瘤区域是否有很大概率成为恶性肿瘤。

值得注意的是，处理器122对每个组织块图像进行判定，不论其被分类为肿瘤或正常。数字增强版的原始组织图像(由许多独立组织块图像共同组成)显示每个组织块为灰色(正常组织)或彩色(肿瘤)。如果没有组织块图像被神经网络分类器分为肿瘤，那么一些实施案例中生成的热图非彩色，整张原始组织图像为灰色。

多级组织分类地图

图6为示例方法或过程700(即子程序)的流程图，该方法或过程由计算机系统120执行，生成并显示多级组织分类地图，如图4中的方框551所示。该地图以突出显示的方式展示了原始数字组织图像401中所有不同组织类型。该过程始于步骤705。与图5相似，图5为测试过程500的初步处理步骤汇总，简要标明步骤/块510、515、540和375，不重复标明其它临时步骤。

在步骤375中，神经网络分类器程序由处理器122运行，在原始OCM组织图像401的组织图像块402中，预测每个组织类型(预设组织类型)的可能性。在以癌症检测为目标的乳腺组织调查示例中，组织类型/种类为肿瘤、脂肪、间质、小叶和背景组织。对于图像块402，神经网络分类器根据训练步骤300生成一组上述组织类型概率，在步骤710中，处理器122比较每个图像块的组织类型概率，判定哪一种类型概率最高(即哪一个组织类型最有可能在图像块中出现)。在步骤715中，神经网络分类器标明每种组织图像块中概率最高的组织类型(即肿瘤、脂肪、间质、小叶和背景)。

在步骤720中，计算机系统120的显示设备128上以不同的方式突出原始数字组织图像中每个组织图像块402的组织类型。对于每个图像块，系统120可以通过各种不同的显示方式突出每种组织类型，从而在视觉上区分不同的组织类型。在实施案例中，不同组织类型/种类的区域可以呈现为不同的颜色和/或图案。图11C所示为示例的多级组织分类，其中不同组织类型图案和颜色不同(在黑白图像中不明显)。可以通过计算机系统120一键生成并显示不同颜色/图案的组织标记。肿瘤区域比其他组织区域颜色更深。

在步骤551中，数字增强版的完整原始组织图像401集中显示了每个组织图像块，并显示相应的颜色/图案。

图7以高度简洁的图片形式，总结并阐述了计算机辅助诊断系统100进行上述训练、测试、热图生成和彩图生成过程的方法。因此，该图总结了由计算机系统120执行的关于图3-6的主要步骤。

实验测试

在本发明的一种配置和测试中，高速OCM系统基于时间域检测技术，被用于生成刚切除的人类乳腺组织图像。该装置包括飞秒钕玻璃激光器，在1060nm出产生输出光谱，光谱宽度为～200nm，轴向分辨率不高于4μm。通过40倍水浸入式IR-Achroplan物镜(例如CarlZeiss Co.)提供～2μm横向分辨率的OCM图像。单张OCM图像覆盖500μm x 400μm成像区域，帧频为2帧每秒。高精密三维电移台(例如e.g.Newport Inc.)用于组织内快速调整聚焦位置，以及在组织表明区域上成像。乳腺组织样品的整个表面通过水平平移试样成像。

在本实验中，使用了体外人体乳腺组织OCM图像。本实验使用的图像相互面对面，经对比调节并显示为灰度反色图像。这意味着OCM图像中的较暗区域代表反射率上升。这些OCM图像轴向分辨率为4μm，横向分辨率为2μm。

为了训练和测试，需要对OCM图像进行预处理。在训练过程中，每个OCM图像被分割为500x500像素的图像块。每个图像块被用作训练的实例。每个组织块可以标为以下五类之一：脂肪组织、纤维间质、乳腺小叶、恶性肿瘤和背景。不同类别的图像块在OCM图像中表现为独特的纹理图案，同时也被用作组织分类的线索。

相同人类乳腺组织的组织学图像有助于收集标定真实数据。在数字组织图像及其组织学图像上进行登记，OCM图像中的每个图像块都有各自对应的组织学图像。不同的组织类型在组织学图像呈现不同特征。基于以上特征，每个组织学图像被人工(如有经验的病理学家)分配级别标签。每个数字组织图像及其相应组织学图像被分配到相同的级别标签。图7所示为人类乳腺组织的完整OCM图像401以及对应组织学图像403。

以测试为目的，将OCM图像分割为两种不同尺寸。在10倍交叉验证测试中，将OCM图像分割为500x500像素的图像块。与训练过程中的尺寸相同。在另一个实验中，OCM图像被分割为400x400像素。该组织块可以将OCM图像的不同区域分类为不同的组织类型。使用不同尺寸的组织块可以避免在训练过程中生成相同组织块，因此提高测试结果的可靠性。

为了测试和验证计算机辅助诊断系统100以及综合LBP/ALBP特征(由人类组织OCM图像生成)的性能，进行OCM图像组织块分类，该图像源自图像预处理步骤。组织块可以分为五类：脂肪组织、纤维间质、乳腺小叶、恶性肿瘤和背景。在实验测试中，4359个OCM图像组织块被用于实验(小叶、间质、恶性肿瘤、脂肪、背景样本数量分别为198、2065、1127、347、572)。利用神经网络分类器进行分类。

采用10倍交叉验证不同特征计算分类准确度(％)，结果如下表所示：

上表所述特征为：

·NxRy：

·ANxRy：

·M：多尺度LBP

({LBP}_{8, 2}^{r i u 2} + {LBP}_{8, 4}^{r i u 2} + {LBP}_{8, 8}^{r i u 2} + {LBP}_{8, 16}^{r i u 2})

·MA：多尺度ALBP

({ALBP}_{8, 2}^{r i u 2} + {ALBP}_{8, 4}^{r i u 2} + {ALBP}_{8, 8}^{r i u 2} + {ALBP}_{8, 16}^{r i u 2})

“总计”栏中的结果为所有示例的分类准确度。本测试总分类率为90.2％。由表可知，该多尺度集成特征(M，MA)能给出最佳结果。多尺度特征性能最佳的原因是，人类乳腺组织OCM图像具有不同尺度的纹理特征。所以在区分不同组织类型方面，多尺度纹理特征的信息量更丰富。

尽管上文的描述和附图代表了本发明的示例性实施案例，但是可以被理解的是，其中的各种增补、修改和替换均不脱离的精神和范围，以及所附权利要求书的等同方案。值得特别说明的是，本发明可以以其他的形式、结构、布置、比例、尺寸以及与其它元件、材料和部件来实施，然而不脱离其精神或基本特征，该领域的专业人员明确认同此观点。此外，方法/步骤中的许多变型可以在不脱离本发明精神的情况下存在。本领域的专业人员将进一步理解到，本发明可以以其变型方式实施，变型包括结构、排列、比例、尺寸、材料和部件等的修改方案，在本发明的实践中，这特别适合于特定环境和操作使用需要，而并不脱离本发明原则。因此，目前已公开的实施案例被视为说明性的而非限制性实施案例，本发明的范围由所有权利要求书及其等同方案定义，并且不限于上述描述或实施案例。相反，应该被广义地理解所附权利要求书，以包括本发明的其它变型及实施方案，并且由本领专业人员在不脱离本发明的等同方案的范围的情况下作出的实施方案。

Claims

1.一种用于分析组织图像数据的计算机辅助诊断系统，包括：

非临时性的计算机可读介质，上面存储有软件程序指令；

能与计算机可读介质通信的计算机处理器，该处理器配置完成后可执行程序指令进行以下操作：

接收由成像装置获取的原始组织图像；

将原始组织图像分割成多个更小的组织块，这些组织块能集中体现获取的原始组织图像；

通过分析每个组织块对各组织块中发现的组织的类型进行分类；以及

生成的增强型数字热图覆盖在原始组织图像上，以视觉可辨别的突出方式展示所关注的预设组织类型。

2.权利要求1所述的系统，其中处理器能够进一步对每个组织块采用多种纹理分析方法的组合。

3.权利要求2所述的系统，其中纹理分析方法包括用于生成局部二进制模式特征的局部二进制模式提取和用于生成平均局部二进制模式特征的平均局部二进制模式提取。

4.权利要求2所述的系统，其中由处理器对每个组织块平行执行局部二进制模式提取和平均局部二进制模式提取。

5.权利要求2所述的系统，其中处理器能够进一步整合每个组织块的局部二进制模式特征和平均局部二进制模式特征，并生成每个组织块的多集成特征。

6.权利要求5所述的系统，进一步包括：由处理器实施的组织分类器，可配置和操作来根据每个组织块各自的多集成特征对其进行组织类型分类。

7.权利要求6所述的系统，其中神经网络分类器对每个组织块进行组织模式识别分析，通过将每个组织块中提取的组织模式与预设的组织模式训练集相关联，从而实现组织类型分类。

8.权利要求5所述的系统，其中处理器能够进一步在每个组织块的多集成特征中选择表示不同组织类型的区别性特性的属性，并消除无关属性。

9.权利要求1所述的系统，其中原始组织图像为灰色，所关注的组织在热图上呈彩色。

10.权利要求1所述的系统，其中成像设备通过光学相干显微镜、光学相干断层成像仪、共焦显微镜或双光子显微镜捕捉原始组织图像。

11.权利要求1所述的系统，其中处理器能够进一步判断每个组织块中是否含有所关注的组织，如果组织块中含有所关注的组织，在其原始组织图像上展示彩色标注；如果组织块中不含有所关注的组织，不在其原始组织图像上展示彩色标注。

12.权利要求11所述的系统，其中处理器能够判断每个组织块中发现的组织类型为所关注的组织的概率，仅当发现的组织类型为所关注的组织的概率大于其它组织类型时，展示彩色标注。

13.权利要求5所述的系统，其中处理器能够进一步从每个组织块的多集成特征中选择表示不同组织类型的区别性特性的属性，并消除无关属性。

14.权利要求1所述的系统，其中所关注的组织为肿瘤。

15.一种用于分析组织图像数据的计算机辅助诊断系统，包括：

非临时性的计算机可读介质，上面存储有软件程序指令；

接收由成像装置获取的原始组织图像；

针对每个组织块提取局部二进制模式特征和平均局部二进制模式特征；

根据原始组织图像中发现的相关组织的预定义类型，分类每个组织块中发现的组织的类型；以及

展示原始组织图像的增强型数字图像，在图像上以视觉可辨别的方式标出至少一种组织类型。

16.权利要求15所述的系统，其中处理器能够生成每个组织块的多集成特征，包括每个组织块的局部二进制模式特征和平均局部二进制模式特征。

17.权利要求16所述的系统，其中处理器能够根据每个组织块各自的多集成特征对其进行组织类型分类。

18.权利要求15所述的系统，其中增强型数字图像中的每个组织块呈现灰色，或覆盖为彩色，以表示该区域为预设的所关注的组织类型。

19.权利要求15所述的系统，其中增强型数字图像包括多组织类型，每个组织类型通过处理器在增强型数字图像上呈现为不同可视化形态。

20.权利要求19所述的系统，其中增强型数字图像中展示的每种组织类型表现为不同的颜色。

21.一种对数字组织图像中的组织类型进行自动分类的计算机辅助诊断方法，该方法由处理器执行程序指令来实现，并且包括以下步骤：

接收由成像装置获取的原始组织图像；

对每个组织块中发现的组织的类型进行分类；以及

展示原始组织图像的增强型数字地图，在图像上以与原始图像的其他部分在视觉上可辨识的方式标出至少一种组织类型。

22.权利要求21所述的方法，进一步包括处理器的以下步骤：提取每个组织块的局部二进制模式特征和平均局部二进制模式特征的组合。

23.权利要求22所述的方法，进一步将包括处理器的以下步骤：

集成每个组织块的局部二进制模式特征和平均局部二进制模式特征；以及

生成每个组织块的多集成特征，包含组织块各自的局部二进制模式特征和平均局部二进制模式特征。

24.权利要求23所述的方法，进一步通过处理器配置程序指令，生成神经网络分类器，该神经网络分类器能够根据组织块的多集成特征分类每个组织块中的组织类型。

25.权利要求21所述的方法，其中展示步骤进一步包括处理器在原始组织图像上覆盖表示所述至少一种组织类型的彩色，原始组织图像的其它部分则为灰色。

26.权利要求21所述的方法，其中展示步骤进一步包括包括处理器展示多级增强型数字地图，其中包括原始组织图像的所有组织类型，每种组织类型以不同的视觉可辨别方式有别于其它组织类型进行展示。