CN1662933A - 用于综合的多尺度3d图像文档编制和导航的方法与装置 - Google Patents

Abstract

提供一种用于注释3D图形数据对象的方法，该方法包括：识别图形数据对象的至少一个空间位置或区域；提供与至少一个空间位置或区域相关联的注释信息，该至少一个空间位置或区域和该关联注释信息形成嵌入图形对象(EGO)；定义图形数据对象的视图；产生图形数据对象的视图的显示和至少一些EGO在预期视图之内的显示。

Description

用于综合的多尺度3D图像文档编制和导航的方法与装置

相关申请的交叉参考

本申请要求2002年5月24日提交的美国申请号60/382,591的优先权。

技术领域

本发明涉及3D图像文档编制(document)。更具体地，本发明涉及一种计算机控制的图形用户接口，用于利用嵌入图形对象(EGO)的网络，对3D图像进行文档编制和导航。

背景技术

随着3D数据图像为手边的具体任务，提供更多的信息和更丰富的分析背景(context)，它们在各种应用领域中正在变得通用。在许多领域比如临床放射医学和病理学(这里，图像判读和分析是基本的，并且包括各种学科的专门技术)中，在各种个体之间共享新建的图像知识变得至关重要。但是，利用现有技术难以获得有效的共享，因为它包含应用多个复杂步骤，这使得共享过程相当耗时和易于出错。传统的图像知识综合策略通常包含如下步骤的组合：选择一个或多个可视化透视图；从这些透视图中提取一些瞬像(snapshot)；手动/自动识别将从这些透视图中进行文档编制的结构；在书面报告中插入这些瞬像，该书面报告描述了在图像中观察到的这些结构；以及将报告和原始数据独立归档，用于进一步查阅和/或管理。

这些步骤大大减少了可用信息量，并且将信息限制于由用户任意限定的透视图。而且，这些报告以及不相关和分散信息存储的静态属性，连同前述缺陷一起，所有这些对于有效的信息检索构成了障碍，并且使得该过程仅在不需要或几乎不需要在先前进行的分析上返回的情况下才有价值。但是，在许多领域比如医学(临床放射医学和病理学等)、工程学、结构生物学和化学等中，为了分析3D图像，需要在专家之间进行持续的交互。在这种需要频繁查阅先前进行过的分析的背景下，减少与信息综合和共享相关联的差错和研究时间变成关键问题。然而，不开发出新颖的综合方法，利用传统的知识综合策略，就无法应对该问题。

许多知识管理(KM)系统(比如心智映射软件)已被开发用于组织和映射包括图像知识信息的观察信息。这些系统遵循基本、众所周知、分级和/或关联的方法，以在网络表示(representation)之内将信息部分互连。

改进知识表示过程的代表性尝试在美国专利号5,812,134中有所描述，其公开一种用于对数据库内所含信息进行交互表示的用户接口导航系统与方法。该系统将信息数据库的组织图形地描写为三维“分子(molecule)”，这些分子由连接节点的结构平行“线(thread)”组成，每个节点包含整个数据库的具体方面。在给定的线之内，共享主题共性的组成节点被排列为自然线性级数，该级数反映了该线所代表的信息主题的组织结构，由此向用户提供可视化向导，该向导建议了待观察的节点的适当序列。

向计算机用户一致地表示大量互连信息的另一尝试在美国专利号6,037,944中有所描述，其公开一种用于从思维(thought)透视图中显示思维网络的计算机用户接口导航系统。该系统利用关联的思维网络，组织和表示数字存储的思维。显示了思维网络的图形表示，包括与这些思维相对应的多个显示图标和与这些思维之间的关系相对应的多条连接线。用户能够通过与该图形表示进行交互，选择当前思维，并且通过自动示出与当前思维相关的思维和/或通过以透明的方式调用(invoke)与当前思维相关联的应用程序，处理当前思维。

尽管上述途径应对了分散数据的可视组织和动态表示的一些挑战，但是它们的区别特征仅在于在传统的知识综合体系之上叠加了高级表示机制。因此，这些工具仍限于对分离、静态和任意限定的信息段(报告、图像瞬像、电子表格、视频等)进行处理后的管理。作为它们内部体系的结果，这些方法还限于传统的文档编制优良的心智映射导航途径，信息网络的节点被作为知识管理系统的连续中心焦点而运用于其中。

这些限制使得现有技术的知识管理系统不适于应付高分辨率多维图像分析所产生的日益复杂和大量的信息。为便于许多用户进行管理，这些分析需要多种方法，这些方法能够在分析过程的每个步骤中实现源数据和提取信息的连续、多向、动态的链接。为实现这一点，需要提出新的解决方案，以便应付多维图像分析应用程序所带来的特别疑难。

因此，对于改进的多维图像分析应用程序存在着需要。

发明内容

本发明涉及3D图像文档编制。更具体地，本发明涉及一种计算机控制的图形用户接口，用于利用嵌入图形对象(EGO)的网络，对3D图像进行文档编制和导航。

来自3D图像的任何场景、透视图或视图平面，能够被视作本发明的背景(context)之内的中心焦点。该新焦点是这样的主轴，其确定了信息网络的哪个子集对于用户将是可访问的。因此，提供了一种有效和完整的综合方法用于：通过将信息网络在3D图像的参考空间帧之内明确地嵌入信息网络，对所述3D图像进行文档编制；通过组合2D和3D表示方式，优化与3D图像有关的嵌入信息网络的可视表示；以及通过组合利用嵌入信息网络、分等级的多尺度图像分段和非线性体积切片，对3D图像进行多尺度导航。

因此在本发明的方案中提供一种用于注释3D图形数据对象的方法，该方法包括：识别该图形数据对象的至少一个空间位置或区域；提供与该至少一个空间位置或区域相关联的注释信息，该至少一个空间位置或区域和该关联注释信息形成嵌入图形对象(EGO)；定义该图形数据对象的视图；以及产生该图形数据对象的视图的显示和至少一些EGO在预期视图之内的显示。

该方法还包括定义EGO之间关系的关联链接数据。

在本发明的另一实施例中，提供了一种用于注释3D图形数据对象的方法，在该对象中，该EGO包含表示对象编辑操作历史的数据。

在本发明的另一方案中，提供了一种用于注释3D图形数据对象的方法，该方法还包括数据挖掘搜索能力，其中该搜索是在数据库上进行的，这些数据库含有EGO或与图形数据对象相关的其他信息。

在本发明的又一方案中，提供了用于自动识别图形数据对象之内的空间位置或区域的方法。

在另一实施例中，提供了一种用于显示3D图形数据对象的方法，该方法包括：通过在3D中进行操作，以在图形数据对象之内调适3D对象，定义关于3D图形数据对象而言所涉及的非平坦3D表面。

在本发明的又一方案中，本发明的方法可被转化为计算机程序产品，这对于本领域技术人员是显而易见的。

附图说明

从结合附图的如下具体描述中，本发明的进一步特征和优点将变得明显，在附图中：

图1是本发明的方法实施例的流程图；

图2是具有关联EGO的图形数据对象的实施例；

图3是具有关联EGO的图形数据对象的实施例；

图4是具有关联EGO的图形数据对象的实施例；

图5是将EGO“对齐(snap)”到表面时所涉及的步骤流程图；

图6是形态关联注释中的步骤流程图；

图7A是锥体(frustrum)中的数据对象；

图7B是锥体中的数据对象，示出了用户定义轮廓；

图7C是锥体中的数据对象，示出了延伸于3D中的用户定义轮廓；

图7D是锥体中的数据对象，示出了横穿(intersect)轮廓子体积；

图7E示出最终的关联子体积；

图8是自动图像注释过程的实施例的流程图；

图9是本发明的系统实施例的图；

图10说明信息存储子系统的实施例；

图11是在信息处理上返回时所涉及的步骤的实施例流程图；以及

图12是在信息处理上返回时所涉及的步骤的另一实施例流程图。

请注意，在整个附图中，类似特征用类似标号表示。

具体实施方式

下面为本发明定义了如下术语。

术语“场景(scene)”是指被考虑的3D图像的图形表示，其中所述图形表示可通过多个操作来实现，这些操作产生所述图像的修改后视图，其目的是强调所述图像的特定结构或部分。场景还包括各种属性的图形对象。

术语“视图(view)”是指3D图像的具体表示。术语“视图”可与术语“场景”交换使用。

术语“EGO”意指“嵌入图形对象”，其是3D图像的参考3D帧中所并入的2D或3D象形图(pictograph)。

术语“A-EGO”意指“附属EGO”。附属EGO是与3D图像之内的可视结构直接相关联的EGO。A-EGO能够与具体视图或场景之内的可视结构相关联。

术语“F-EGO”意指“浮动嵌入图形对象”。该具体类型的EGO并入与图像、视图或场景之内的可视结构不相关的每个EGO。注意，如果A-EGO将与当前场景中的结构不关联地被显示，则能够临时变成F-EGO。

术语“HROI”意指“感兴趣的分级区域”。HROI是3D图像的多级3D区域化：在3D图像之内可定义一个或多个感兴趣的3D区域，其中感兴趣的3D区域还可包括一个或多个感兴趣的3D区域。每个子区域与它自身的尺度域(scale domain)相关联。

术语“尺度域”意指3D图像的“缩放等级”，在该缩放等级下，图像之内的对象和这些对象的属性能够明确地可见，而无需进一步缩放以同时观察对象和属性。

术语“分段”和“图像分段”意指对图像之内的对象进行手动或自动识别、描绘和定量。

按照本发明，提供一种用于注释3D图形数据对象的系统与方法，其有利于与3D图形数据对象相关联的知识管理和3D图形数据对象的可视化。该系统和方法还有助于与正在被分析的3D或更高维数图像有关的信息的交换和背景综合。

在本发明的广义方案中，提供一种多维数据可视化系统与方法，其涉及矩阵数据、多媒体信息、矢量信息和图形对象。矩阵数据是将被可视化的图像/体积(例如MRI医学数据)。多媒体信息是用户添加或自动添加的与正在被分析和可视化的图像之内的特定结构相关联的背景或全局(global)知识(例如描述肿瘤的音频音符)。矢量信息添加可与图像数据本身相关联的或者可用作交互工具的表示附加层。矢量信息涉及所有图形数据，这些图形数据将利用“矢量渲染(render)”(计算机图形中的通用术语)来显示。

在本发明的实施例中，提供一种方法，其中提供了多媒体信息，并且这些多媒体信息与3D图形数据对象的空间位置或区域相关联，以形成嵌入图形数据对象或EGO。由此参照图1，首先在步骤10定义空间位置或区域，并且在步骤12自动提供或用户提供与该区域有关的信息，并且该信息与该区域相关联以形成EGO。然后在步骤14定义该图形对象的视图，并且在步骤16产生具有一个或多个EGO的视图显示。

嵌入图形对象(EGO)是一种手段，该手段可视地识别正在被可视化的多维空间之内所综合的背景知识，并且这些嵌入图形对象用作通往它们的底层多媒体内容的接口。顾名思义，EGO是象形图元素(图标)，它通常可自由定位和保存于一部分3D图像之内和/或图形监视器之内，并且表示多媒体信息结构。通过EGO，可查阅现有信息和添加新信息。在本发明的实施例中提供两类EGO：附属EGO(A-EGO)和浮动EGO(F-EGO)。

A-EGO是位于参考3D帧之内的具体坐标处的EGO。它们优选地链接到体积之内的特定体元(voxel)、线条、多边形或多面体。A-EGO的任务是将该体积之内的可视结构(比如分段对象、可视图形对象和/或感兴趣的分级区域(HROI，下面将进一步限定)进行文档编制。例如，与这类EGO的交互能够实现对其相关的感兴趣的多媒体信息容易进行存取。

F-EGO是在特定场合或时间下与在精确坐标处的具体图像结构(体元等)不直接链接的EGO。F-EGO非限制性地指代分析方案、特定场景或视图、网站或任一相关信息段，其不在该体积本身之内或者不能空间定位于参考帧之内。

F-EGO的实例是与先前创建和保存的场景或视图有关的F-EGO。在这种情况下，F-EGO用作到达该场景/视图的捷径。当用户通过该F-EGO来导航时，从该特定F-EGO所涉及的场景或视图的透视图中显示新的图形表示。

应当认识到EGO能够具有各种象形图表示。在实施例中，将A-EGO象形图定义为棱锥(20)。图2是示出具有A-EGO22和F-EGO24的心脏20的实例。计算机产生的表面26也在心脏20之内被示出。这样的几何象形图表示允许通过对图像中的结构进行定向，从而该棱锥的点指向(point)该结构的方向，来精确地瞄准(target)该结构。而且，这样的象形图有助于和加速用户对该EGO的视觉识别。为了区分F-EGO和A-EGO，利用不同的几何形状。由于F-EGO不专门瞄准结构，所以该指向元件变得不重要，为此使用了立方体用于F-EGO的象形图。图3示出了A-EGO的又一实例，其中示意性地表示血管30、动脉瘤32和A-EGO34。

在本发明的另一方案中提供一种知识管理系统，它实现多媒体信息的构建/记录、以及这些信息与多维图像之内的具体背景/区域之间的关联。这些多媒体信息可通过整合文本文档编制、音频文件、图像和视频来构建。新信息的记录可通过电子数据捕捉来交互地实现：用于音频信息的数字音频记录，以及用于文本信息的标准键盘输入。而且，多媒体信息能够在与专门化算法相关联时自动产生。多媒体信息与图像之内的空间背景之间的关联可通过在3D图像的参考帧中空间地定位图形对象、并且通过将合适的信息与这些图形对象相关联来实现。

在本发明的另一方案中，提供空间和语义(semantic)导航功能性。空间导航能够以多种方式进行。例如，如本发明的实施例所述，通过对体积之内的3D表面(平面或非线性)进行操作或与这些3D表面进行交互。语义导航包括了横越语义关联EGO的网络，允许对3D图像之内的信息和关联背景结构进行探查。

在空间-语义尺度连续区(continuum)中，该信息能够被划分为其位置的函数，这有利地允许显示所需信息和避免显示多余或不必要的信息量。3D图像能够被分段为“感兴趣的等级区域”(HROI)以产生尺度域。该分段使得用户聚焦于3D图像在具体尺度域处的特定部分，因此仅考虑感兴趣的信息。

在此，当用户开始分析图像时，可定义一个或多个空间-语义尺度域。例如在特定实施例中，可对三种次级信息进行文档编制：区域、对象和对象属性。区域可被看作体积的一部分，该部分在预期的分析尺度下对于用户具有重要意义，并且从使用者的观点看，该部分含有在预期尺度下表示的一或多簇对象。

在又一实施例中，用户通过显示第一当前HROI以及当前HROI之内所嵌入的每个HROI，选择具体尺度域。然后，用户利用指针(cursor)/控制装置，从可用的HROI中选择新的当前HROI。该操作可在图形窗口中和/或在继承图形窗口中进行，该窗口示出多个HROI之间的关系，这些HROI定义了3D图像中的空间分级分段。在本发明的实施例中，HROI是矩形形状。

3D图形数据对象的等级细分使得特定属性簇与具体尺度域而非整个图像相关联，例如，这允许用户在两个不同尺度下表示同一3D图像区域，以及允许用户将每个尺度域与它自己的视图、注释和嵌入图形对象相关联。

视图能够这样被创建，通过从正在被可视化的3D图像中选择体元子集，并且随后修改所选体元的频谱属性。该光谱修改可以是各种性质的，比如但不限于透明度水平的变更或对比度的变更。修改体元子集的频谱属性以创建场景的这些手段是多样的，包括但不限于横穿3D图像的3D表面、体元阈值(threshold)和对象分段方法。

可通过这样的过程来产生视图，该过程自动或手动定义3D图像之内的线性(平面)或非线性表面几何、尺寸、方向和定位。一旦被综合和显示于该体积之内，用户能够手动修改该表面的属性和参数(也能够是自动过程)，这会直接影响3D图像和3D表面的图形表示。利用该方法，可通过仅显示横穿该表面的该部分3D图像，创建场景。利用该3D表面，也可通过去除驻留于该表面之前或之后的该部分体积来产生场景，这允许观察到3D图形数据对象的子体积。去除该部分体积的过程被标注为术语“切片(slicing)”。

该体积横穿表面是一种工具，其用于以自动化或手动(交互)的方式进行空间体积导航、以及用于场景创建。

该3D表面是对连续数学表面方程的离散逼近(approximation)。能够以多种方式实现连续函数的离散化。在本发明的实施例中，可利用薄板样条(thin plate spline，TPS)来获得离散表面，其为等效于样条曲线的3D。该TPS利用控制点集，可从其产生平滑表面逼近。

基于先前信息，该数据结构利用矩阵集存储这些控制点。通过仅存储与表面相关联的这些控制点，极大减少了该系统用以生成该表面的信息量。当显示该表面时，该TPS函数从控制点的集合中产生完整的表面。

在本发明的又一方案中，可使表面变形，以使导航和场景创建过程尽可能直观和灵活。该变形过程能够源自于用户指令或者能够被自动化。

用户产生的表面的变形能够以各种方式实现，比如(但非限制性)基于参数的变形、屏幕上的视觉变形等。在基于参数的方式中，用户指定参数集，比如控制点的空间移位，这将造成表面变形。

屏幕上变形的过程是高度直观的。该方法允许用户通过简单地使用控制装置，比如计算机鼠标，使表面的变形过程在图形显示中可视化，以空间移位该表面的控制点。这是实时的过程，意味着控制点的移位立即改变表面几何，在这样的情况下，这些变化在图形显示中被立即显示。

自动化的表面变形过程能够与分段算法一起结合使用。这些算法从3D图像中提取信息，该信息随后被用来获取对体积结构的洞察。接着，该结构信息被用来设定表面参数。该自动化的表面变形过程可利用各种资源的信息，以自动和适当地“用参数表示(parameterize)”该表面。

在表面变形过程中引入表面张力(tension)，以提供变化的变形程度。表面变形和张力的概念在(3D studio Max等软件所使用的)3D计算机辅助设计领域中是公知的。如果该表面具有零张力，则控制点的移位不会对邻近控制点产生影响，其仅产生局部变形。另一方面，通过设定张力的特定水平，控制点的移位在这种情况下将对邻近控制点的空间定位产生直接影响。为了提供灵活性，该张力能够按照选定的函数比如(但不限于)指数函数来修改。

该表面分辨率(resolution)将表面变形的精确度控制到特定程度。通过增加分辨率，控制点的数量有所增加，允许更为精细的表面变形。表面分辨率的变化可以是局部或全局性质的。分辨率的局部变化是通过相对于当前控制点而言在定义的邻近区域之内添加特定数量控制点来实现的。该分辨率的局部变化在该表面的特定区域之内允许更为精确的变形。对于分辨率的全局变化，控制点的数量在整个表面上有所增加。分辨率的变化可以是等方向性或各向异性的，并且遵循特定的分布函数，比如(但不限于)高斯分布。

除了在先前段落中所述的“弹性”变形之外，该表面能够受到刚性(rigid)变更，比如旋转和平移(translation)。该过程可通过对整个表面数据结构上进行平移来实现。

按照它们的频谱值，场景可通过自动或手动限制(threshold)所选体元来产生，从而阈值可限定将显示哪些体元。在这种情况下，新产生的场景由原始体积的体元子集构成。

3D图像之内的具体对象/结构能够被自动或手动分段，以允许去除它们，或者可选地允许强调这些对象/结构，从而创建精确和/或定制(custom)的场景。因此，该方法允许手动/自动创建仅含有相关信息的场景。

一旦定义了场景，它可存储于数据库(场景数据库)中，从而关联于该场景的每个元素被永久保存。这使得能够在以后检索和可视化场景。

对于3D图像的空间导航

空间导航允许渐进和直观的体积可视化。该过程利用一个或多个可变形或不可变形的表面。

这些表面允许用户通过简单交互(比如平移、旋转和变形)动态可视化体积各部分。通过以连续方式对表面进行局部/全局刚性更改或变形，实现正在被显示的空间背景中的渐进变化。该渐进变化使得用户以平滑和连续方式一次性可视化3D图形数据对象的某一区域，由此实现体积之内的空间导航。

通过利用一个或多个不可变形的线形表面(平面)、一个或多个非线性的可变形表面、或其任意组合，可实现空间导航。

基于平面的可视化为具体的背景或应用程序提供感兴趣的标准剖视图，并且提供用户所熟悉的工具。

另一方面，基于可视化的可变形表面提供了获得极具价值的复杂剖视图的手段。它们的非线性几何允许围绕特定的结构，该结构并不感兴趣或者在特定场合下隐藏了该体积之内的有关结构。

通用关联链接(GAL)

EGO能够被链接，以形成EGO网络。由于在EGO之间存在可变属性的关联链接，因此定义了“类属(generic)”型链接，具体的类型能够从该链接中继承。

具体关联链接的类型可以是(但不限于)因果性或近似性的。在医学图像的背景中，“因果性”关联可有利地用于强调，被考虑的结构可能是另一结构所造成的。例如，主动脉缩窄可能对心脏的心室造成严重损伤。从这一点来看，在注释(annotate)大动脉和心室的两个EGO之间创建链接变得可能，损伤和不规则性在这里是可见的。新创建的链接可分配有缺省类型，比如基本类属类型，或者由用户定义或自动定义为任一具体类型。

GAL可被图形表示，其直接示出了EGO之间的相互关系。而且，由于可同时显示多类链接，需要提供用于链接类型区分的方法。在实施例中，关联链接由位于3D参考帧之内的图形线条来表示，如图4所示，其中A-EGO34被链接到与血管44上的动脉瘤42有关的A-EGO40。利用单独的色彩，可区分不同类型的链接。例如，附加信息(比如象形图)可被添加到该线条显示，并且提供定向提示。

应当认识到，作为EGO之间关联链接数据的功能(function)，能够实现(effect)对EGO进行选择，用于与关联视图一起显示。

创建新的EGO  优选地，通过与图形窗口直接交互，创建新的EGO。首先，用户要么通过手动或自动生成图像的期望视图(比如通过图像分段)定义当前场景，要么对于被考虑的图像，在注册的场景列表中选择现存的场景。通过简单地限制该图像和显示保留的像素/体元，或者甚至通过简单地不加修改地渲染该图像，来产生场景。一旦在图形窗口中显示期望的场景，用户通过激活EGO按钮并且随后将新建EGO交互地定位于图形窗口之内，来创建新的EGO。在具体实施例中，通过新的3D图像注释机制，有助于EGO在3D图像之内的定位。

该图像注释机制包括对齐机制，该机制将EGO自动对齐到一横穿3D网格(mesh)表面。通过与网格表面垂直地自动定位EGO，该机制有助于EGO的定位。该过程是实时的，并且在EGO在该图像的3D网格表示之内移动的同时进行，这进一步有助于EGO的定位。参照图5，能够在步骤50中产生场景，在步骤52中产生网格渲染，并且在步骤54中创建和/或显示EGO。

该注释对齐过程可包括3个主要步骤：

■在步骤56中将2D(x，y)屏幕坐标转换为3D(x，y，x)视区(viewport)空间坐标；

■在步骤57中进行网格射线拾取操作；

■在步骤58中进行交叉点(intersection point)检测。

当用户在显示有图像网格表示的屏幕之内，定位一指示装置，比如鼠标光标时(步骤55)，发生第一步骤。2D到3D的转换是必需的，以便识别3D图像之内的对应坐标。在该转换之后，在3D图像之内应用光线拾取算法，以便识别光标和3D图像网格的最近交叉点。最近的检测交叉点随后被用作对齐点，EGO在这里被自动定位。

该注释系统基于渲染器(renderer)的视区(viewport)锥体70的线性代数性质(图7A至7E)。就3D空间而言，该锥体是通过照相机当前可见的空间区域。该视图锥体是空间体积，其包括从给定视点当前可见的一切。它由六个平面限定，这些平面以顶点被砍掉的棱锥形状排列。如果点在该体积之内，则它在该锥体中并且可见。如果点在该锥体之外，则它是不可见的。“可见”意味着所有结构(比如结构72)都是潜在可见的。例如，一结构可能在遮住该结构的另一结构之后，但是它仍在该锥体中。

第二方案是自动形态关联。该机制将EGO自动地关联于该EGO被定位于其上的图像子体积中。该过程是实时的。其目的是提供执行基于形态的注释数据挖掘的可能性。

用户注释和形态关联过程由如下步骤组成：

■用户在显示器上绘出2D轮廓74，其表示感兴趣的投影区域；

■随后该轮廓从屏幕坐标转换为锥体附近平面上的视区坐标；

■然后该视区中所表示的轮廓在视区空间锥体中延伸，以形成体积(76)；

■然后执行横穿操作，以修剪(clip)位于该体积内部的数据集的子集78；

■沿着数据集网格表示的至高点的(视区空间的)z轴，计算空间分布；

■在渲染期间利用它们的z缓冲测试结果，衡量(ponder)该分布的元素；

■计算该空间分布的最大值(Vm)；

■保留该空间分布的元素，这些元素在宽度(W)的典型高斯分布之内适合(fit)；

■该分布的这些元素所表示的数据集子区域79被关联于对应EGO，其中所述子区域代表EGO的关联形态。

这些步骤在图6中被总结为步骤61至68。

依照这些步骤，该系统简单地保存关联的形态信息，并且将其与所考虑的EGO相关联。

去除EGO  能够通过与图形场景直接交互，从场景或EGO网络中删除现有EGO。用户首先将图形光标覆盖于期望的EGO上，然后按下控制按钮。然后，给予用户去除该EGO的选择。用于删除EGO的另一手段是通过浏览或搜索EGO列表，并且从该列表中删除所考虑的EGO。在优选实施例中，在从图形窗口或列表中删除EGO之后，该系统自动校验与所选EGO相关联的任何GAL的存在。在这样的事例中，从EGO网络和图形窗口中去除与所删除的EGO相关联的GAL。

应当理解，EGO可作为独立实体存在，即与其他EGO不具有关联性。

可图形链接或利用基于文本的方式来链接EGO。对于图形链接EGO，用户可通过在图形窗口(该图形窗口随后显示“属性”对话框)之内点击第一EGO，定义两个EGO之间的链接。从该对话框中，用户可从列表中选择当前EGO将要链接到的EGO。下一步骤要求用户选择类属关联链接的类型，该类型定义新创建的链接。通过点击第一EGO、然后将鼠标光标拖动至第二EGO，也能够图形链接两个EGO。

在用户要么利用图形方式要么利用文本方式交互地进行链接EGO的同时，也可利用自动化的链接方法。后者能够利用算法来定义EGO之间的各类网络关系。该算法所用的判据(criterion)可为(但不限于)语义或空间信息。例如，对于空间彼此接近的结构进行文档编制的EGO可通过“邻近性”类型的GAL来链接。这种自动化的方法特别地有用，因为它们允许从一个或多个3D图像和从相同或不同场景来链接不同EGO，而无需用户干预。

删除两个现有EGO之间的链接  用户能够在任何时刻去除两个现有EGO之间的链接。该操作优选地通过与图形场景直接交互来进行。用户首先将图形光标覆盖于期望的GAL上，然后按下控制按钮。然后，给予用户去除该链接的选择。另一机制是在多媒体信息面板之内删除链接，从此之中，GAL从EGO网络中和从图形窗口中被去除。

将EGO关联于场景  定义和/或选择场景可允许用户可视化3D图像的一部分以及其关联EGO和GAL。将EGO与场景相关联的过程对于实现对3D图像的有效导航来说是重要的。能够以几种方式实现EGO与特定场景的相关联。在本发明的实施例中，该系统利用自动化的算法“插件”，将现有EGO自动地关联于场景。该缺省算法在EGO数据库中搜寻每个A-EGO，该A-EGO与定义场景的3D表面相交。每当创建新场景时，能够触发该缺省算法。可利用替代算法，以按照场景属性来选择EGO。

除了自动化的关联算法之外，也可利用交互方法。一种可能的交互方式是在当前场景中创建新的EGO，该新创建的EGO与当前场景相关联。另一方式是从现有EGO的列表中选择一个或多个EGO，并且将所选EGO与当前场景相关联。

应当理解，也可利用自动化的算法，将缺省场景关联于特定EGO。在实施例中，按照具体的空间判据(比如，定义/选择一场景，该场景最大化该图像结构的可见部分，该图像结构已被该EGO进行文档编制)，这样的算法定义新场景和/或从多个已经可用的场景中删除场景。在本发明的另一实施例中，也可利用语义判据来定义/选择与特定EGO相关联的缺省场景(即定义/选择一场景，该场景允许同时查看每个A-EGO，该A-EGO与特定类型GAL当前所选定的EGO有关)。

去除EGO和场景之间的关联  在任何时候都允许用户去除EGO与场景之间的关联。在本实施例中，如前所述，该操作是通过为期望的场景激活场景属性面板来进行的。一旦该面板被激活，用户可选择与该场景相关联的现有EGO，并且去除其关联。

一般显示结构  优选地，EGO网络的显示可按照当前场景来配置。更具体地，EGO网络的特定子集的选择、定位和显示能够从参数中直接确定，这些参数定义了这些结构在该场景之内的相对位置，还定义了将被显示的所选EGO之间的网络关系。这种方法通过自动确定哪个EGO将在特定时间在图形窗口中是可见的，构成了一种快速取回信息簇的有效方式。与当前场景不直接相关联的或者在当前场景之内不可见的EGO也可被显示为位于当前场景的空间参照之外的F-EGO。这允许有效选择外部EGO。从这点看来，F-EGO用作到达另一场景中甚或另一图像中可见的关联外部EGO的链接(捷径)。通过显示F-EGO，用户具有在任何当前EGO和外部EGO之间所定义的关联链接的类型指示。在具体实施例中，用户能够察看EGO的关联多媒体注释信息，比如放射线学家所记述的诊断文本，无需察看其实际图像背景中的EGO。这可通过选择相应F-EGO和选择选项比如“显示注释文本”来实现。

网络的EGO之间的关系本质上是分等级的。也就是说，EGO可基于相似本性的共享信息，与另一EGO有关。例如，当沿着等级树从父EGO移动到子EGO时，信息越来越具体。在这个方面应当理解，相同等级水平的EGO能够与同一尺度有关。还应当理解，用户能够选择将要在当前视图之内显示的有关(父或子)EGO。

编辑EGO多媒体结构  每条EGO多媒体信息结构内容都被显示于多媒体编辑窗口中。在任何时候，用户能够添加或去除多媒体信息结构的内容。在本发明的优选实施例中，用户首先在场景图形窗口中右击期望的EGO。然后，该系统将多媒体编辑面板显示到屏幕，向用户呈现基于文本、基于音频、以及基于视频的编辑窗口小部件(widget)。

搜索  优选地，按照EGO ID或多媒体信息结构中出现的任何描述符，能够搜索EGO数据库。

自动图像注释  图像之内让用户感兴趣的区域或位置能够通过自动化的图像注释来自动识别和注释。该自动的识别和注释也可包括EGO的自动定位。其目的是减少用户分析和注释图像所需的时间和精力。在医学成像的背景中，还能够提出一种系统，该系统自动识别可能的病理结构、分段这些结构以获取定量信息、以及自动创建和定位带有关联注释文本的EGO。在实施例中，该系统能够使用自动化的图像注释处理，以自动识别3D胸的CT图像之内可能的动脉瘤，由此有助于和加速了专门医师的诊断过程。参照图8，一般的自动化图像注释过程包括如下步骤：

1.在步骤80中，加载图像；

2.在步骤82中，利用应用软件专用方法自动地分段图像；

3.在步骤83中，计算一个或多个分段对象的空间坐标；

4.在步骤84中，计算分段对象的选定定量属性；

5.在步骤85中，对于所选分段对象，在所选空间坐标处在该图像之内创建和定位EGO；

6.在步骤86中，对于所选分段对象，将文本注释添加到对应EGO；

7.在步骤87中，对于所选分段对象，对对应EGO定义关联链接数据；

8.在步骤88中，为每个EGO定义视图，允许用户查看图像中的关联对象。

步骤1至5允许基本注释，这里仅可视标记(EGO)位于该图像中，以可视地识别感兴趣的对象。步骤6至8分别允许：将相关文本信息添加到EGO(比如关于对象的定量或定性信息)；基于关联信息，定义有关的EGO网络；以及定义视图，该视图允许用户有效察看每个EGO及其关联图像对象。

在3D胸的CT图像形态之内的动脉瘤注释的具体实施例中，先前定义的步骤2利用基于水平集(level-set)的分段方法。在该具体实施例中，自动化注释过程如下进行：该系统首先加载病人的CT扫描图像，然后开始众所周知的3D水平集分段方法。该分段方法基于这样的概念，即具有这样的2D表面，该2D表面在3D空间之内发展(evolve)，直至达到该表面的平衡(equilibrium)为止。该表面通过在3D图像之内改变强度值的结构来产生变形，直到它分裂成分离的次表面，这些次表面最终“缠绕(wrap)”每个感兴趣的对象。通过设定初始的表面参数和约束(constraint)，比如曲率、受力和速度，该方法将仅分段感兴趣的对象。在当前考虑的实施例中，这些对象是血管动脉瘤。一旦该初始表面已经发展和最终达到平衡，则每个分段的对象形成感兴趣的对象。为每个这些对象，计算如下定量信息：每个对象的质量中心定义了该对象的坐标，并且代表该对象的体元定义了其结构和体积。从这些体元中能够提取信息，比如(非限制性)对象的体积、密度、质量、变形和最长直径。然后，利用所有这些计算出的信息，在图像之内创建和定位EGO，以便可视地识别该对象。利用该对象的质量中心，能够“锚定(archor)”该EGO，并且利用该化量信息，能够将文本注释自动添加到该EGO。此外，由于该分段方法专门用于具体应用，甚至能够将定量信息添加到该注释。文本注释能够具有下述内容和结构：“所识别的对象是具有250单位体积和12单位最大直径的可能动脉瘤”。该文本和定量信息被添加到EGO的数据结构，从而用户通过简单激活所考虑的EGO，总是能够查看该关联信息。依照该注释过程，能够自动建立带有关联链接的EGO网络。该关联可以是各种性质，比如基于距离的关联。例如，在已经识别出多个动脉瘤并且一些动脉瘤与其它动脉瘤相距很远的大体积中，该自动链接能够产生相距最远的EGO之间的链接，以有助于后续的可视化和图像之内从一对象到另一个对象的导航。为此，该系统分析每个分段对象的空间坐标，并且创建超过特定距离阈值的EGO之间的关联链接。例如，对于具体EGO，链接将被创建到达该体积之内与之相距100个体元以上的其他EGO。相应EGO的列表可被记入当前EGO的链接数据之内，用于显示和导航目的。最终，为了允许有效可视化图像数据和位于3D空间之内的EGO，有必要为该系统定义具体的视图点，这允许随后的同时可视化。按照后者，在具体实施例中，这是通过计算和产生非平坦的3D表面来实现的，该3D表面为具体数量的EGO产生切开(cut-away)视图。通过将EGO集的每个质量中心视作样条表面的控制点，产生该表面。利用这里所述的非平坦表面产生机制，能够实现这样的表面，该表面横穿每个被考虑的EGO，由此允许图像数据和EGO的同时可视化。在另一实施例中，通过将组合网格和体积渲染，实现优化后的视图。在这种情况下，每个分段对象在网格中被渲染(矢量表面渲染)，同时剩余的体积数据被渲染为透明。这允许同时可视化原始图像数据、分段对象和所表示的EGO。

本发明的自动注释系统的实施例大体上如图9所示。全面的操作需要该系统的主处理器98首先调用图像加载器90，用于从存储介质中读取数字图像。该图像加载器读取图像91，并且将其保存于非永久性存储器92中。然后，该主处理器用具体示例说明(instantiate)分段方法93，该方法分段在存储器中所保存的图像。然后，该分段方法将分段结果保存于存储器92中。跟随该步骤，该主处理器调用注释器94，该注释器利用分段方法在存储器中所保存的信息，创建和定位所需数量的EGO。如果需要，该注释器收集与每个对象相关联的定量信息，并且为每个有关EGO产生文本注释。如果需要，该主处理器调用链接器95产生关联的链接数据。最终，该主处理器调用视图产生器97产生优化后的视图。

自动报告产生

自动报告产生是一过程，该过程自动收集信息，组织(structure)该信息，以及格式化所产生的内容，以建立遵循特定标准和规范的报告。自动报告产生能够利用本发明的方法以直截了当的方式来实现。第一步骤是指定一报告模板，该模板定义了该内容应当如何被格式化、组织和排序。下一步骤包括手动/自动选择EGO，这些EGO含有将被并入于该报告中的该内容。跟随该内容选择，能够选择这样的次序，该内容将按照该次序而被整合于该报告之内。该报告产生方法吸引人的方面在于，背景图像/瞬像的插入是自动和精确的过程，因为每个EGO能够与缺省场景/视图相关联。在这些情况下，当将EGO的内容插入到报告之内时，可获得场景/视图平面能够作为图像瞬像而获得，并且随后被直接整合到该报告之内。该特征很有吸引力，因为不需要用户手动获取与该特定EGO的信息相关联的可视背景的瞬像(并不精确并且耗时)。一旦感兴趣的EGO已被选定，并且具体排序已被指定，最终步骤是从多媒体信息数据库中提取该信息，并且按照格式模板将其插入到新报告中。然后，该信创建和格式化的报告以特定文件格式保存，比如(但不限于)Adobe PDF、HTML、Rich Text或Microsoft Word。所产生的报告能够用于(但不限于)档案和管理目的，或者用于以硬拷贝格式共享和查阅具体信息。

对于3D图像的语义导航

语义导航是穿越语义关联EGO的网络的过程，允许探测3D图像之内的信息和关联背景结构。能够如上所述地定义该网络。该语义导航和网络允许容易地恢复先前在分析期间所获取的知识，因为它映射(map)了用户在执行分析的同时所进行的语义处理。

导航过程  在本发明的优选实施例中，通过两个截然不同但是相关的步骤，执行语义导航：语义场景探测(SSE)和语义场景转换(SST)。SSE是这样的步骤，用户通过该步骤将可视化与EGO有关的GAL，这些EGO关联于当前场景。这可利用如下方法实现：

全局显示方法，允许永久显示或者隐藏特定GAL。该方法包括如下步骤：

●交互地标记一个或多个可见的EGO。该步骤可通过利用图形光标/控制装置，将每个EGO左侧上的“-”符号设定为“+”状态来实现；

●从对话框中激活全局链接显示功能；这包括操作：显示/隐藏与当前场景相关联的标记EGO的GAL；显示/隐藏EGO，这些EGO与当前场景不关联，但是关联到标记EGO；覆盖/隐藏GAL，该GAL使标记EGO和与当前场景不关联的EGO发生联系；将鼠标光标覆盖于特定GAL之上，以选出一对EGO(该GAL使其发生联系)，记录这对EGO与图形光标的位置之间的距离；将透明度指数关联于组成该对EGO的每个EGO，该指数与分隔该对EGO和光标/控制装置的距离成反比；利用先前定义的透明度指数，显示GAL，这些GAL与该对EGO相关联，并且关联到与当前场景相关联的EGO；利用先前定义的透明度指数，显示EGO，这些EGO与当前场景不关联，并且连接到激活的该对EGO；利用在先前步骤中所定义的透明度指数，覆盖GAL，该GAL使激活的该对EGO和不关联于当前场景的EGO发生联系。

在本发明的特定实施例中，当所选EGO之一表示当前区域时，后者通过丝网(wiremesh)球来描绘。在这种情况下，无论它们是否与当前场景相关联，与当前区域相关联的每个EGO在当前区域的3D参考帧中变得可见。

语义场景转换，即SST，允许用户从一EGO场景到另一EGO场景之间向前和/或向后导航。用户能够通过重复如下操作来进行该步骤：

■点击当前场景之内的A-EGO，其触发：

该A-EGO被激活，当前状态出现在该屏幕；

与当前场景相关联的每个A-EGO从该屏幕消失；

与激活的A-EGO相关联的“缺省”场景被设定和出现在该屏幕；

与“缺省”场景相关联的每个新A-EGO被显示；

与激活的A-EGO相关联的多媒体信息结构的象形图内容被显示；及在“缺省”场景之内在激活的A-EGO和其他EGO之间阴影链接被显示。

■点击F-EGO，其触发：

激活该F-EGO；

与当前场景相关联的每个A-EGO从该屏幕消失；

与激活的F-EGO相关联的场景被设定和出现在该屏幕上；

与新场景相关联的每个新A-EGO被显示；

激活的A-EGO和其他EGO之间的阴影链接被显示。

记录导航序列  一旦用户请求，该系统能够记录导航序列，要么动态转发所记录的序列，要么将该序列存储于期望EGO的多媒体信息结构中，用于进一步查阅。

全局网络显示  利用现有心智映射技术，该全局网络显示提供一种手段，用于从全局观点，在当前投影(project)之内的每个EGO之间进行显示和导航。与3D图像之内的背景导航(这里，在给定时间仅表示全局知识的子集)相对比，全局心智映射窗口提供了单击访问，其通往投影之内整合的任何知识。这允许用户对全体的整合EGO以及它们的相互关系具有完整的视图。

EGO的背景网络能够与全局网络窗口同步，这意味着，当在任一表示中修改链接时，该变化同时显示于补充表示中。而且，当用户在全局网络窗口之内导航时，该导航过程与3D图像场景的显示保持协调。当在全局网络窗口之内选择EGO时，它的关联缺省场景被同时显示于3D图像窗口中。

在本发明的方案中提供一种信息存储子系统，用以临时或永久存储所产生和/或所记录的信息/数据。该数据非限制性地包括：场景/视图参数数据；对象属性数据；EGO数据；EGO链接数据；EGO注释历史(EGO创建和修改)数据，含有作者、日期和时间、修订号；图像处理参数数据；图像处理历史数据；3D图形数据对象(原始图像数据)；3D图形数据对象存储位置数据；用户账户数据；用户简介数据；网络节点注册和目录服务数据。

场景和视图参数数据是定义后者的信息，比如(但不限于)体积定向、3D横穿表面、体积切片、感兴趣的3D区域、表面渲染、体积渲染和体元透明度。

EGO注释历史数据是EGO创建和修改过程的记录。每个新EGO创建和修改事例被记录于数据库中，带有与作者、EGO的创建/修改日期和时间、修改EGO的修订号(带有与先前EGO之间的链接信息)有关的信息。

图像处理参数数据是与图像处理算法和方法有关的特定参数，这些算法和方法将与关联的3D图形数据对象和所定义的分析协议一起使用。另一方面，图像处理(或编辑)历史数据是与如下内容有关的信息：应用于3D图形数据对象的不同处理步骤；应用这些步骤的次序；以及与每个处理步骤的适当图像处理参数数据之间的链接信息。在实施例中，这些图像处理参数可存储于EGO中。选择含有一个或多个对象编辑历史的EGO，能够自动产生将被应用于所选图形数据对象的编辑操作。这有利于地允许用户获得按照预存协议而处理过的对象的不同视图。

本发明的优选实施例(图10)将投影有关数据(场景、EGO…)存储于第一数据库100(投影数据库)中，将3D图形数据对象存储于第二数据库中，该第二数据库优选为PACS 102(画面归档和通信系统)，将用户账户和用户简介数据存储于第三数据库(用户数据库)104中。这类配置确保了每个数据元素被存储于专门的归档系统中，提供安全、强健和有效的信息存储机制。此外在优选实施例中，这些数据库远离用户，但是并非限制性的。

在临床背景中(这里，本发明可用于一个或多个医院中)，安全和远程访问的信息存储系统是必备的。而且在这样的背景中，3D图形数据对象(病人扫描以及有关图像)被频繁存储于具有限制存取的中心储存库比如PACS中，在这里需要数据一直保持不被破坏和修改。利用本发明和这里所述的信息存储子系统，如前所述，通过提供专用于投影存储和分析有关数据的新数据库，病人有关数据将保持不被修改，并且将被保持于它的当前存储介质中。在优选实施例中，当打开现有投影时，在对于用户数据库获得肯定认证之后，从投影数据库中收集投影数据，并且如果需要，有关3D图形数据对象的工作副本是从适当的数据库中收集的，并且被传送到用户的本地系统。该投影数据含有所有必须信息，用以打开进行之中的分析投影或者已完成的分析投影。这允许用户察看：关联的EGO网络和关联的多媒体数据；视图、场景和感兴趣的区域的任何事例；以及本发明中所述的任何其他信息，而无需修改原始的源3D图形数据对象。例如，这允许随后的分析过程(比如诊断过程)，以动态检查所提议的分析，并且允许用户通过明确选择感兴趣的视图/场景，并且随后修改该视图、场景、分段参数和/或算法来确认分析，而无需重复用以产生当前视图的整个过程。

这种在信息上的动态返回的重要方面是一种能力，即能够访问用以产生最终视图/场景的处理步骤/操作。这些处理步骤可以是各种性质，比如(非限制性)图像处理操作(亮度、对比度、阈值调节)、体积操纵(旋转、平移、比例缩放、切片)、渲染操作(网格渲染、体元渲染等)以及专门的图像分段操作。该分段算法在具体实施例中可用于血管动脉瘤的自动化分段。

通过访问先前步骤，用户能够有效地确认当前视图的有效性和相关性，出于诊断目的，该当前视图已在临床放射医学背景中选定。利用该系统，用户能够随时修改当前视图/场景，并且应用新的处理操作以导出新视图/场景。

如上所述，为了允许对于信息的有效动态返回，以及无缝的专家-分析-过程跟踪，该系统自动创建和保存“过程历史”，该历史对应用于当前多维图像的每个操作进行跟踪。与所进行的操作相关联的每个参数被保存于有组织的数据结构中。该数据结构将进行这些操作的次序考虑在内，并且允许修改任何节点。在具体实施例中，该数据结构是链接的列表，该列表的每个节点在这里能够指向任何给定数量的节点或任何数量的链接列表。

图11概括了对于信息的返回步骤。在步骤110中显示3D图像，在步骤112中操纵该图像，在步骤113中保存该过程历史。在步骤114中保存最终视图，在步骤116中创建可视提示(cue)。该可视提示能够在步骤117终被激活以检查3D数据，能够在步骤118中检查中间视图，能够在步骤119中确认最终视图。

图12示出了该数据结构对于检查和修改当前操作历史的有效性。该数据结构还提供了直接指向对象的可能性，该对象位于易失性存储器(RAM)中或永久性物理存储介质上，其存储与当前节点的场景/视图相关联的具体参数。在这种方式下，通过简单地存取这些参数和相应地构建场景/视图，能够容易地实时产生具体的场景/视图。当用户检查现有的处理记录并且修改任何给定场景/视图时，在进行过修改的点处将创建新的过程历史分支。在具体实施例中，由软件对象组成的链接列表会按照对象状态被保存于永久性存储介质上。这允许对信息的后续动态返回，具有场景/视图检查和修改的可能性。该信息一直关联于具体的分析投影文件，该文件保存任何相应的信息。该存储可以在典型的计算机硬驱动上或者在远程归档系统、服务器或数据库上。

数据挖掘

在本发明的优选实施例中，这里所述的信息存储子系统允许用户或自动化系统智能地搜索和挖掘多个本地和/或远程数据库中所含的信息。当这些数据库包含广泛信息时，以定量和定性的方式，比如通过挖掘任何EGO中所含的具体关键词以及与其他EGO之间关联的类型，用户可在其能够访问的数据库中搜寻与当前分析投影有关的信息。通过搜索或者通过在涉及图像的EGO的网络中导航，用户还可参照预先存储的这些图像。利用这里所述的存储子系统，专门的数据挖掘系统通过挖掘图像及其所含结构、多个EGO及其内容与关联性、以及任何其他信息资源，能够找到复杂的关系和图案。

在该搜索期间所识别的EGO能够被选择和显示于它们的关联视图之内。

基于可用的数据和这里所述的注释机构，本发明向用户提供这样的可能性，关联于一个或多个分析投影，对于定量和定性数据进行搜索和数据挖掘。

文本数据挖掘需要用户指定关键词，将在含有每个EGO的文本注释的数据库中搜寻该关键词。该挖掘概念本身是直截了当的，因为它仅需要搜寻数据库中的关键词(利用标准的数据库查询)。但是如下概念是创新的：注释图像，然后搜寻存在于背景注释中的关键词，随后具有这样的可能性，在该3D图像背景本身之内，察看含有该关键词的注释。在本发明的实施例中，注释和背景检查过程的数据挖掘包括如下步骤：

■具体关键词被输入到该系统的数据挖掘用户接口；

■用户接口将事件调度(dispatch)到挖掘组件；

■该挖掘组件搜索指定数据库以寻找指定关键词；

■可视管理器显示一系列F-EGO，这些F-EGO被链接到含有该指定关键词的实际EGO；

■用户激活所选F-EGO，该F-EGO在适当的视图中显示链接EGO的关联3D图像，这允许同时可视化EGO及其关联图像视图；

■EGO的文本注释被显示给用户。

基于所开发的数据结构和这里所述发明的数据库类型，每个EGO直接关联于它的多媒体内容、它的有关投影，并且包含链接数据，该链接数据揭示了具体EGO关联于哪个其他EGO以及关联类型。因此，该可视管理器具有用以显示所找到的EGO时所需的所有信息。第一级可视表示是在主要显示中描绘F-EGO。这些F-EGO是可视的标记，这些标记直接地链接到位于当前或外部3D图像中的实际EGO。在这种方式下，为了在其图像背景中显示具体的EGO，仅简单地需要用户利用(例如)指示装置点击F-EGO的可视表示来激活F-EGO。一旦被激活，如果该系统位于当前投影之外，则加载相应的投影和图像，并且在与所考虑的EGO相关联的视图中显示图像。为此，该系统读取EGO关联数据，该数据保持具体的察看参数，比如图像处理操作和图像定向。这时，该主要显示现在含有所考虑3D图像的视图以及EGO的关联网络。如果新选择的EGO关联于多个EGO，则这些关联链接也将被显示。新的F-EGO也将被描绘，这允许用户在先前视图或投影中返回。

该挖掘组件允许用户在外部投影以及含有EGO关联信息的本地或远程数据库中，搜寻当前场景/投影的EGO中所含的关键词。这向用户提供了对于数据挖掘过程特性的高度控制。

除了基于关键词的注释数据挖掘之外，这里所述的本发明提供了这样的可能性：基于它们的关联对象形态来挖掘注释，以及自动发现反复出现或类似的图像处理协议。

通过利用分段算法，能够实现面向形态(morphology-oriented)的数据挖掘，以提取具体的对象和计算它们的形态。在注释过程期间，变得能够将EGO明确关联于分段的对象。由此，所考虑的EGO与多媒体信息之外的对象属性相关联。为了将该EGO关联于该对象，用户简单地需要将EGO锚定于对象。该过程基于这里所述的自动对齐算法，这里EGO被自动关联于横穿网格表面。在数据挖掘过程的期间，用户因而能够搜寻与具体形态(体积、直径、表面……)的对象相关联的EGO。例如，用户可搜寻具有大于指定值的关联形态体积的每个EGO。该注释机制还提供这样的可能性，将感兴趣的3D区域自动关联于具体EGO。所选感兴趣的区域也可用于面向形态的数据挖掘，这与利用自动分段算法而获得感兴趣的区域相反。

通过在其最佳视图中可视化所考虑的图像，该形态数据挖掘允许用户可视地欣赏数据挖掘结果，与简单地检查定量数据挖掘结果相反。在可以利用自动化的图像分段和注释的实施例中，这里所述的数据挖掘系统在临床背景中具有很大价值：专门医师可批处理一系列图像而无需用户干预，这允许有效的预处理和预分析。例如，该自动化的分段算法识别可能的动脉瘤并且分段这些结构。自动化的注释系统随后利用该信息，这里EGO位于分段结构的附近，关联信息被自动产生。这些EGO关联于分段结构、文本信息、以及所产生的视图，用于允许这些EGO及其关联结构的有效可视化。跟随该自动化的过程，专门医师可查询该系统，以可视化具体的临床病例。例如，专门医师可决定首先察看和检阅关键病例，专门医师在这种情况下可使用该数据挖掘系统，以发现含有特定临界体积的动脉瘤的图像。该数据挖掘结果将向用户显示可被激活的一系列EGO，以察看它们的关联图像和内容。

操作流程的实施例如下所述：

■具体的形态参数被输入到该系统的数据挖掘用户接口；

■该用户接口将事件分配到挖掘组件；

■该挖掘组件搜索指定数据库以寻找EGO，这些EGO具有相似形态的感兴趣的关联区域；

■该可视管理器显示一系列F-EGO，这些F-EGO被链接到含有指定关键词的实际EGO；

■用户激活所选F-EGO，该F-EGO在适当的视图中显示链接的EGO关联3D图像，这其允许同时可视化EGO及其关联图像视图。

协议数据挖掘

图像处理协议在医学成像领域中具有重要价值，标准化的过程在这里可应用于分析具体的图像形态和解剖区域。当无有效的自动化分段方法可用时，或者当需要专门医师进行手动图像分析和处理时，图像处理协议提供标准化的方法。这些协议大多经过“试错”试验(易于出错和耗时的过程)被共同定义。一般通过出版物和科学评论集，在团体中与其他专门医师共享新定义和有效协议。因此，新协议的共享是低效率和严守时刻的。此外，随着图像的分辨率和范围增大，这些协议变得更复杂，甚至更难以在团体之内共享。本发明的方法提供了一种新颖的机制，用以对于任何类型的图像形态和解剖结构进行复杂图像处理协议的有效发现和共享。如上所述，本发明的该系统记录操作和注释的历史，这提供了挖掘这些用户定义操作的可能性。例如，为了获得具体结构的手动分段，用户可能已经利用了各种图像处理操作，比如阈值、形态操作和可视化和渲染属性的修改。这些产生图像最终视图的中间操作被系统自动记录，并且作为整体，形成具体协议。基于该信息，该系统变得能够挖掘反复出现和相似的图像处理协议。在该背景中，用户例如能够简单地选择现有协议和挖掘相似协议。该数据挖掘系统接受输入的各种步骤(形成该协议)并且搜索数据库中所保存的各种历史。可指定相似性判据，例如用户在这里定义了相似协议应当具有不超过2个的不同操作。该具体类型的挖掘允许用户验证，该具体协议是否也已经被用于其他专门医师的相同应用，因此提供了特定水平的质量保证。在另一实施例中，用户能够简单搜寻非具体的反复协议，在这种情况下，该数据挖掘系统彻底搜索操作历史，以识别具有相似操作的历史。通过向该系统指明形态判据，进一步专门化这类数据挖掘，在这里还需要相似历史具有相似的最终分段的对象形态。例如，这些操作应当产生有点球形的对象。该形态判据能够基于诸如(但不限于)长/短直径、一致性(coherence)、体积和密度等参数。当图像处理操作的历史简单地由进行过的处理操作的类型和关联参数组成时，所发现的协议能够被直接地应用于新图像，按照这些操作系列产生图像的视图。

操作流程的实施例如下：

■具体形态参数和/或操作的序列被输入到该系统的数据挖掘用户接口；

■该用户接口将事件调度到挖掘组件；

■该挖掘组件搜索指定数据库，以寻找操作的相似历史和/或形态参数；

■可视管理器显示所找到的操作历史的列表；

■用户选择感兴趣的操作的具体历史；

■显示该操作序列；

■一旦激活，则按照历史修改图像。

尽管已经结合具体实施例描述了本发明，但是应当理解，能够进一步修改，并且本申请旨在覆盖本发明的任何变化、使用或改型，这些变化、使用或改型一般遵循本发明的原理，并且包括从当前公开中的脱离，因为它们落入本发明所涉及的现有技术领域之内的公知或习惯实践之中，可应用于前述实质性特征，并且落入所附权利要求书的范围中。

Claims (41)

1.一种用于注释3D图形数据对象的方法，该方法包括：

识别所述图形数据对象的至少一个空间位置或区域；

提供与所述至少一个空间位置或区域相关联的注释信息，所述至少一个空间位置或区域和所述关联注释信息形成嵌入图形对象(EGO)；以及

定义所述图形数据对象的视图；

产生所述图形数据对象的所述视图的显示和所述预期视图之内的至少一些所述EGO的显示。

2.如权利要求1所述的方法，其中所述EGO还包括定义所述EGO之间关系的关联链接数据，所述EGO形成网络，所述产生步骤包括，选择将被包含于所述显示中的所述EGO，作为所述关联链接数据的功能。

3.如权利要求1或2所述的方法，其中所述网络还包括外部3D图形数据对象中所涉及的至少一个EGO。

4.如权利要求1、2或3所述的方法，其中所述EGO之间的所述关系是分等级的。

5.如权利要求4所述的方法，其中所述关系与尺度关联，由此同一等级水平的EGO基本与同一尺度有关，子EGO与它们的父EGO相比，与更低的尺度有关。

6.如权利要求4所述的方法，其中所述关系与局部细节水平关联，由此子EGO象它们的父EGO那样，提供关于所述对象的相似但更具体的信息。

7.如权利要求4、5或6所述的方法，还包括：向用户提供与所述视图中所示的至少一个所述EGO有关的关于父和子EGO的信息，以及接收所述有关的EGO之一的用户选择，所述显示中将包含的所述至少一些所述EGO被重新确定为所述用户选择的函数。

8.如权利要求2或3所述的方法，还包括：向用户提供与所述视图中所示的至少一个所述EGO有关的关于EGO的信息，以及接收所述有关的EGO之一的用户选择，所述显示中将包含的所述至少一些所述EGO被重新确定为所述用户选择的函数。

9.如权利要求1至8任一项所述的方法，其中所述EGO还包括数据，该数据表示用以产生所述视图的对象编辑操作的历史，所述操作历史包括一个或多个步骤，每个所述步骤生成中间视图。

10.如权利要求9所述的方法，其中所述产生包括产生所述中间视图的所述一个。

11.如权利要求10所述的方法，其中具有所述历史数据的多个所述EGO之一的用户选择自动使得至少一个所述编辑操作应用于所述图形数据对象。

12.如权利要求10所述的方法，其中编辑模块被设置用于允许用户编辑所述对象编辑操作的历史，并且如用户所编辑的所述历史数据与所述EGO相关联。

13.如权利要求10、11或12所述的方法，其中所述EGO包括数据，该数据表示对象编辑操作的多个历史，按照用户所选择的所述历史之一，产生所述视图。

14.如权利要求1至13任一项所述的方法，还包括：

定义数据挖掘搜索判据；

搜索含有所述EGO的一个或多个数据库以寻找所述判据；

选择在所述搜索中所发现的至少一个EGO；以及

产生所述视图和所选EGO的显示。

15.如权利要求14所述的方法，还包括：在所述产生步骤之前，确定所选EGO的所述对象的合适视图。

16.如权利要求15所述的方法，其中所述数据挖掘判据是关键词。

17.如权利要求15所述的方法，其中所述数据挖掘判据是形态参数。

18.如权利要求15所述的方法，其中所述数据挖掘判据是图像处理协议，所述图像处理协议与图像处理操作和形态参数相关联。

19.如权利要求1所述的方法，其中所述识别步骤包括：利用自动化的分段算法，自动地识别所述一个或多个空间位置或区域。

20.如权利要求1的方法，其中所述识别步骤包括：

交互地定义该显示中的轮廓，所述轮廓定义感兴趣的投影区域；

在3D空间中自动地延伸所述轮廓；

通过修剪横穿轮廓和所述3D图形数据对象，自动定义感兴趣的3D区域。

21.如权利要求19或20所述的方法，还包括：

通过所述自动化的分段算法，自动地提供定量和定性的注释信息。

22.如权利要求2所述的方法，还包括：

利用自动化的链接算法，自动地定义所述关联链接数据。

23.如权利要求22所述的方法，其中所述自动化的链接算法基于距离判据，定义所述关联链接数据。

24.如权利要求1所述的方法，还包括：

向用户提供工具，以定义所述3D图形数据对象的所述视图。

25.如权利要求24所述的方法，其中所述工具允许所述用户选择一个或多个所述EGO，其信息将显示给所述用户。

26.如权利要求25所述的方法，其中所述工具允许所述用户为截面选择空间位置，所述视图是关于所述截面的所述3D图形数据对象的切开视图。

27.如权利要求26所述的方法，其中所述截面是用户定义的非平坦3D表面。

28.如权利要求1所述的方法，其中所述信息收集步骤还包括：定义至少一个EGO，该EGO不附着于所述3D图形数据对象之内的位置。

29.如权利要求1所述的方法，其中所述显示产生步骤包括：

选择所述3D图形数据对象中所涉及的多个EGO；

定义与所述3D图形数据对象和所述多个EGO有关和优化的非平坦3D表面；

按照所述3D表面和所述3D图形数据对象的函数，确定2D图像数据；以及

以所述3D图形数据对象为背景，显示所述2D图像数据的视图。

30.如权利要求1所述的方法，其中所述显示产生步骤包括：

选择所述3D图形数据对象中所涉及的多个EGO；

定义与所述3D图形数据对象和所述多个EGO有关和优化的非平坦3D表面，所述表面横穿所述3D图形数据对象；

显示所述3D图形数据对象的视图，所述视图是关于所述表面的所述3D图形对象的切开视图。

31.一种计算机可读存储器，用于存储可编程指令，所述指令用于在计算机中执行权利要求1至30任一项的方法。

32.一种用于显示3D图形数据对象的方法，该方法包括：

通过在3D方向上操作，以确定在所述图形数据对象之内的3D对象，定义与所述3D图形数据对象有关的非平坦3D表面；以及

以所述3D图形数据对象为背景，产生所述3D表面的视图的显示。

33.如权利要求32所述的方法，还包括：

按照所述3D表面和所述3D图形数据对象的函数，确定2D图像数据；其中所述视图是所述2D图像数据在所述3D图形数据对象的背景中的视图。

34.如权利要求27、32或33所述的方法，其中所述定义所述非平坦3D表面包括：提供工具，以在3D空间中选择和移动表面的控制点。

35.如权利要求33所述的方法，其中所述确定所述2D图像数据包括：为所述3D表面与所述3D图形数据对象的交叉，确定体元值。

36.如权利要求35所述的方法，其中所述2D图像数据连同与所述2D图像视图上的所选位置的3D坐标有关的信息一起被显示。

37.如权利要求36所述的方法，其中所述2D图像数据是所述3D表面的投影视图。

38.如权利要求35所述的方法，其中所述2D图像被处理以增强所述视图。

39.如权利要求1所述的方法，其中所述注释是音频注释。

40.如权利要求1所述的方法，其中通过位于空间位置上的标记，关联于所述空间位置的所述EGO被表示于所述视图中。

41.如权利要求1所述的方法，其中所述识别步骤还包括：

交互地选择位置，所述位置是2D坐标；

将所选位置转换为3D坐标；

自动地确定所述3D坐标与所述3D图形数据对象的交叉点；以及

其中，关于所述交叉点，自动定位所述EGO。

Images