CN103477353A - 用于医学数据的智能链接的方法和系统 - Google Patents

Abstract

本发明中描述了用于智能地组合跨不同模态接收的医学发现的系统和方法。所述系统包括：提取模块，其从包括注释的感兴趣区的图像提取背景信息；特征选择模块，其使用所提取的背景信息和注释构建当前特征矢量；以及引用引擎，其计算当前特征矢量和先前图像的先前特征矢量之间的相似性分值。所述方法包括从包括注释的感兴趣区的图像提取背景信息；利用所提取的背景信息和所述注释构建当前特征矢量；以及计算当前特征矢量和先前图像的先前特征矢量之间的相似性分值。

Description

用于医学数据的智能链接的方法和系统

背景技术

诸如放射科医师和肿瘤学家的医生会处理越来越大量的信息以做出诊断，从而以最优方式处置患者。例如，癌症患者会频繁地进行成像检查，随着时间流逝，在他们的医学记录中将具有很多研究结果。医生每次阅读一项新的检查都需要将当前检查与先前检查进行比较，以便确定先前所识别的病变的发展和/或发现任何新的病变。这项任务需要医生阅读、比较、解释和关联图像和报告两者中的研究结果。从工作流程角度来看这些活动是耗时的，从临床角度来看这些活动是具有挑战性的。

在乳腺癌处置领域中，乳房X射线照相术是协同诊断和筛选工具使用低剂量幅度X射线（即，大约0.7mSv）来检查人类乳腺的过程。乳房X射线照相术的目的是对乳腺癌进行早期诊断，通常通过检测特征块、病变和/或微钙化来实现。人们认为乳房X射线照相术可以降低乳腺癌死亡率。尽管没有证明其他成像技术可以降低风险，但是保持注意乳腺变化和医生检查被认为是定期乳腺护理的必要部分。因此，准确一致地对病变进行注释对于临床决策支持而言非常重要。

发明内容

本文描述了一种系统，包括：提取模块，其从包括注释的感兴趣区的图像提取背景信息；特征选择模块，其使用所提取的背景信息和注释构建当前特征矢量；以及引用引擎，其计算当前特征矢量和先前图像的先前特征矢量之间的相似性分值。

本文还描述了一种方法，包括：通过提取模块从包括注释的感兴趣区的图像提取背景信息；特征选择模块使用所提取的背景信息和注释构建当前特征矢量；以及通过引用引擎计算当前特征矢量和先前图像的先前特征矢量之间的相似性分值。

本文还描述了一种非瞬态计算机可读存储介质，其包括：可以由处理器执行的指令的集合，所述指令的集合能够运行以至少：从包括注释的感兴趣区的图像提取背景信息；利用提取的背景信息和所述注释构建当前特征矢量；以及计算当前特征矢量和先前图像的先前特征矢量之间的相似性分值。

附图说明

图1示出了根据示范性实施例的使用注释工具的用户描绘的医学图像的示范性屏幕视图。

图2示出了根据示范性实施例的用于智能地链接跨不同模态接收的医学数据的数据链接工具。

图3示出了根据示范性实施例的将跨不同模态接收的注释进行匹配的示范性屏幕视图。

图4示出了根据示范性实施例的用于将跨不同模态接收的医学数据智能地链接的示范性方法。

具体实施方式

可以参考示范性实施例和相关附图的以下描述进一步理解示范性实施例，其中，为类似的元件提供相同的附图标记。示范性实施例涉及用于智能地组合跨不同模态接收的医学发现的系统和方法，不同模态例如是超声（“US”）数据、磁共振成像（“MRI”）数据和乳房X射线照相术（“MG”）数据。如下文更详细地描述，示范性实施例将允许医生（例如放射科医师、肿瘤学家等）有效地将所有当前医学图像和跨任何模态的患者记录与任何先前医学图像和该患者的记录进行比较。于是，可以为医生提供关于来自患者病变的多种发现的可用的所有信息并容易评估这些病变的发展。

已经提出解决方案来帮助医生执行这样的比较任务。例如，乳房成像报告和数据系统，或BI-RADS，是被设计为利用标准化词汇以结构化方式归档乳腺癌研究文档的质量保证工具。具体而言，这种系统允许放射科医师注释图像上的病变并在数据库中存储注释。BI-RADS是很多健康小组的合作努力结果，由美国放射学会（“ARC”）以BI-RADS图集的形式出版并注册商标。图集被分成3个出版物，具体而言是乳房X射线照相术数据、超声数据和MRI数据。通常用BI-RADS评估种类的术语表达成像结果，通常称为“BI-RADS分值”。该类别包括：0=未完成，1=正常，2=良性，3=不确定，4=疑似恶性肿瘤，5=高度疑似恶性肿瘤，6=活检证明已知为恶性肿瘤。

可能需要将当前研究做出的注释链接到先前研究做出的注释，以便医生容易验证注释的一致性并评估任何间隔的发展。如上所述，当前对医生的挑战是将跨不同模态的当前和先前研究进行链接。例如，患有乳腺癌的患者可能有超声研究、MRI研究和乳房X射线照相术研究，难以跨这些模态链接医学发现。在本公开的示范性系统和方法之内，链接和组合这些发现将需要医生明确解释和选择匹配发现的耗时且易出错的任务。于是，示范性数据链接工具和相应的方法可以允许这些医生在有限干涉的情况下容易地链接这些医学发现。

在本公开中，示范性实施例将指向与乳腺癌和感兴趣区（例如病变）相关的医学数据的智能链接。不过，应当指出，本文中所述的示范性系统和方法不限于乳腺癌数据，可以应用于任何类型的标准化数据收集。例如，可以将本公开应用于收集、比较和报告与各种形式的癌症、各种类型的医学数据、各种形式的成像和记录数据等相关的数据。

图1示出了根据示范性实施例的使用注释工具的用户描绘的医学图像的示范性屏幕视图100。例如，屏幕视图100可以是使用标准化词汇以结构化方式设计用于记录乳腺癌研究项目的BI-RADS图像的视图。这种屏幕视图100允许用户对图像中所描绘的诸如病变的感兴趣区进行注释并将数据存储在数据库中。如屏幕视图中所示，带注释的数据还可以包括病变的解剖位置、块特征（例如，形状、边界、增强模式等）、动力学描述（例如，初期吸收、延迟期等）、稳定性、测量结果以及许多其他研究结果。根据示范性实施例，可以将当前研究中医生所作注释中的每一个注释与先前研究中所作的先前注释相链接。应当指出，术语“用户”可以指本文中所述系统和方法的任何操作者，包括但不限于医生、放射科医师、肿瘤学家等。

图2示出了根据示范性实施例的用于将跨不同模态接收的医学数据智能链接的数据链接工具210。数据链接工具210或简单地讲，工具，包括诸如基于图像的语境提取模块220、特征选择模块230、引用引擎240、呈现引擎250和统计模型的数据库260的各种部件，可以将其中一些部件实现为可由处理器执行的软件指令。此外，示范性数据链接工具210包括处理器和非瞬态计算机可读存储介质，例如存储器。因此，存储器可以包括可由处理器执行的软件指令的集合。应当指出，工具210的部件220到250中每一个部件都可以包括独立处理器、存储器和相应的指令，由此为工具210创建多处理器架构。

根据示范性实施例之一，数据链接工具210是基于网络的软件工具，其利用通信服务来允许医生阅读、创建、扩充、解释、比较和关联图像和报告中的医学数据。

通常，医生基于每个模态、每项研究在病变的图像上创建注释。可以通过将超声、MRI和乳房X射线照相术组合来对同一个病变进行多次检阅。对于复发的患者，除了任何当前的成像研究外，需要使用先前图像研究作为参考点来检阅病变。于是，数据链接工具210的省时方面将允许医生将各种模态中相同病变的不同注释链接起来，以生成由病变造成的发展总结。

在当前的图像研究期间，医生在诸如屏幕视图100所示图像的图像上描绘病变。然后医生利用诸如BI-RADS工具的注释工具来使用标准化术语描述病变。例如，可以用如下可扩展标记语言（XML）来编码利用BI-RADS工具所作的注释：

根据本文所述的示范性实施例，基于图像的语境提取模块220在医生注释病变时提取描述性医学研究结果或所描绘病变的“背景信息”（例如，病变相对于界标的位置）。背景信息通常描述可能不是BI-RADS工具部分的病变的定量方面。例如，在BI-RADS中病变的位置以偏侧化、时钟位置和深度为特征。不过，病变的背景描述了病变相对于乳头、皮肤表面以及附近其他病变的距离。为了识别团簇病变可能需要这种背景信息。例如，可以用如下XML编写所提取的病变的基于图像的背景描述：

特征选择模块230构建包括注释的描述符以及从注释提取的背景信息的多模特征矢量。基于存储在数据库260中的统计模型选择特征。此外，还可以从数据库260检索所选特征中的每个特征的意义或权重。

利用BI-RADS工具，医生可以使用不同的BI-RADS术语对相同的病变进行注释。此外，人际协议根据描述符而不同。数据库160的统计模型可以描述每个描述符人际协议的层级。数字越大，描述符对引用引擎240的意义越大。例如，模型可以选择“模态”、“偏侧化”、“深度”、“类型”、“到乳头的距离”和“形状”以如下地构建特征矢量：

引用引擎240链接通常来自相同研究中的不同模态或成像协议的相同病变的注释。为了确定两个注释指向相同病变的可能性，引用引擎240可以使用启发式规则定量计算相关分值。

根据本文所述的示范性实施例，引用引擎240计算当前注释的示范性特征矢量与先前注释或参考注释的特征矢量之间的相似性（例如，相关性分值或重要性分值）。例如，可以将这两个矢量之间的相似性建模为两个矢量之间的距离（D）。具体而言，可以如下地将D定义为元素特征距离的加权求和：

D=∑m_i*d_i

此外，可以针对每个特征如下地计算距离函数d_i：

$d_i=e^{a_i-b_i}*e^{a_i^{\′}-b_i^{\′}}.$

其中a_i和b_i是注释特征，a′_i和b′_i是分别对应于注释特征a_i和b_i的基于图像的背景特征。当图像特征a′_i没有对应的注释特征时，可以假定a_i的值为空值，反之亦然。

此外，减法运算计算任意两个特征值之差。例如，根据描述符的值（例如，模态），其可以是布尔运算，诸如：

对于具有数值的描述符，将减法运算定义为值的相减（例如，到乳头的距离）。对于顺时针方向的位置，可以如定义减法运算：

对于诸如块或形状的背景注释的复合描述符，将减法运算定义为元素描述符的减法总和。应当指出，尽管可以使用这些示范性方程来计算多个特征矢量之间的相关性分值或重要性分值，但是这些方程仅提供了可以如何计算这些分值的一个范例。因此，在比较特征矢量和计算和相似性分值时可以使用任意数量的备选方程。

最后，数据链接工具210的呈现引擎250基于由引用引擎240计算的相似性向用户呈现匹配注释的显示。根据一个示范性实施例，呈现引擎250与图形用户接口（“GUI”）相互作用，其中将数据显示给用户并从用户接收输入。由于这种显示，用户可以如图3所示地从列表中选择相匹配的注释。

图3示出了根据示范性实施例匹配跨不同模态接收的匹配注释的示范性屏幕视图300。如上所述，屏幕视图300的显示可以是交互式GUI，其中，用户提供具有诸如图像选择、请求更详细信息等输入的数据链接工具210。

屏幕视图300包括“图像”部分，其中，用户可以从诸如超声图像、乳房X射线照相术图像和MRI图像的不同模态选择图像。屏幕视图300还包括“报告”部分，其中，用户可以从相匹配的病变列表中选择不同的病变。屏幕视图300还包括“注释”部分，其中，用户可以为所选择图像输入各种详细的注释。这些详细的注释可以包括增加新块、增加非块、增加聚焦区域等。其他详细的注释可以包括但不限于病变的解剖位置、块特性（例如，形状、边界、增强模式等）、动力学描述（例如，初期吸收、延迟期等）、稳定性、测量结果等。

除了这些注释，屏幕视图300还包括“评估”部分，其中，用户可以输入评估以及关于这一特定研究项目的医学笔记。每当用户在屏幕视图300的GUI内提供或调整输入时，用户可以保存对工具210的数据库260的研究。或者，用户还可以移除研究结果或一旦不再需要研究项目时将其从数据库260中删除。

图4示出了根据示范性实施例用于使分配工单和跟踪过程的工作流自动化的示范性方法400。应当指出，将参考数据链接工具210和图2的系统200的部件对方法400加以讨论。如上详述，数据链接工具210允许用户将相同病变的不同模态组合起来，以便用户可以有效和高效地获得发展总结。

从步骤410开始，数据链接工具210从用户接收医学数据。如上所述，用户可以使用注释工具在图像上描绘诸如病变的医学数据。例如，用户可以使用诸如BI-RADS工具的标准化注释工具为当前图像提供注释。可以用XML编写BI-RADS注释并将其传送给引用引擎240进行处理。

在步骤420中，工具210的基于图像的提取模块220从用户所提供的带注释图像提取背景信息。如上所述，背景数据可以包括本来通过注释工具不可获得的信息。这种背景信息可以包括描述性数据、到界标（例如，乳头、皮肤表面等）的相对距离、病理检查结果（例如，附近的另一个病变）等。与BI-RADS注释相似，可以用XML编写背景数据并将其传送给引用引擎240进行处理。

在步骤430中，工具210的特征选择模块230使用所提取的背景数据和来自用户的注释构建多模特征矢量。如上所述，可以基于存储在数据库260中的统计模型选择特征，可以检索所选择的特征的加权因子（例如，相关分值）并将其构建成多模特征矢量。

在步骤440中，引用模块240计算当前注释的特征矢量与先前注释的参考特征矢量之间的相似性。具体而言，引用模块240计算两个矢量的元素中每个元素之间距离的加权求和。换言之，相对于先前特征矢量（例如，参考矢量），为来自当前特征矢量的注释特征中每一个特征计算相关分值。因此，引用模块240对相关注释进行分类并将最相关的注释分值列表提供给呈现模块250。

在步骤450中，呈现模块250通过GUI向用户显示特征矢量和参考特征矢量之间的任何匹配注释。示范性GUI可以是一个或多个医生在网络上可访问的基于网络的门户。

在步骤460中，数据链接工具210从用户接受诸如图像选择、请求更详细信息等的其他输入。因此，呈现模块250基于从用户接收的其他输入调整GUI上的显示。

一旦通过数据链接工具210链接了注释，就可以生成每个病变的进展总结（例如，体积，形状、边界的变化等）。因此，可以将这种总结应用于许多乳腺癌研究和报告服务，例如“Cancer Care Companion”和“IntegralBreast”临床信息解决方案以及来自荷兰埃因霍温的皇家飞利浦电子股份有限公司的“MammoTrack”产品。

本领域的技术人员将理解，可以通过很多方式实现上述示范性实施例，包括实现为独立的软件模块、硬件和软件的组合等。例如，数据链接工具210可以是包含代码行的程序，所述代码行存储于非瞬态计算机可读存储介质上，在编译时，可以在处理器上执行。

要指出的是，权利要求可以包括根据PCT条款6.2（b）的附图标记/数字。不过，不应将这些权利要求视为限于与附图标记/数字相对应的示范性实施例。

对于本领域的技术人员显然的是，可以在本发明中做出各种修改而不脱离本发明的精神或范围。于是，使本发明旨在覆盖发明的修改和变化，只要它们落在权利要求及其等价方案的范围之内。

Claims (20)

1.一种系统，包括：

提取模块，其从包括注释的感兴趣区的图像提取背景信息；

特征选择模块，其使用所提取的背景信息和所述注释构建当前特征矢量；以及

引用引擎，其计算所述当前特征矢量和先前图像的先前特征矢量之间的相似性分值。

2.根据权利要求1所述的系统，还包括：

呈现引擎，其显示所述图像和所述先前图像之间的匹配注释。

3.根据权利要求2所述的系统，其中，所述呈现引擎经由用户接口从用户接收输入，并基于所述输入调节所述图像。

4.根据权利要求3所述的系统，其中，从所述用户接收的所述输入包括图像选择、经调节的细节、评估以及对额外信息的请求中的至少一项。

5.根据权利要求1所述的系统，其中，所述注释包括图像模态读取、偏侧性读取、深度读取、位置读取、类型读取、形状读取和测量结果读取中的至少一项。

6.根据权利要求1所述的系统，其中，所述背景数据包括到乳头的相对距离、到皮肤表面的相对距离、到病变的相对距离、体积估计、类型可能性和形状可能性中的至少一项。

7.根据权利要求1所述的系统，其中，所述相似性分值（D）被计算为所述当前特征矢量和所述先前特征矢量的每个元素（m_i）之间的距离（d_i）的加权求和，其中：

D=∑m_i*d_i；并且

其中，注释（a_i）和（b_i）的距离（d_i）被计算为：

$d_i=e^{a_i-b_i}*e^{a_i^{\′}-b_i^{\′}}.$

8.根据权利要求1所述的系统，其中，所述感兴趣区是来自乳腺癌患者的病变。

9.根据权利要求1所述的系统，其中，所述图像和所述先前图像是利用不同成像协议的相同感兴趣区的图像，并且其中，所述成像规程包括超声成像、磁共振成像（“MRI”）成像和乳房X射线照相术（“MG”）成像中的至少一种。

10.一种方法，包括：

由提取模块从包括注释的感兴趣区的图像提取背景信息；

由特征选择模块使用所提取的背景信息和所述注释构建当前特征矢量；以及

由引用引擎计算所述当前特征矢量和先前图像的先前特征矢量之间的相似性分值。

11.根据权利要求10所述的方法，还包括：

由呈现引擎显示所述图像和所述先前图像之间的匹配注释。

12.根据权利要求10所述的方法，还包括：

经由用户接口从用户接收输入；以及

基于所述输入调节所述图像。

13.根据权利要求12所述的方法，其中，从所述用户接收的所述输入包括图像选择、经调节的细节、评估以及对额外信息的请求中的至少一项。

14.根据权利要求10所述的方法，其中，所述注释包括图像模态读取、偏侧性读取、深度读取、位置读取、类型读取、形状读取和测量结果读取中的至少一项。

15.根据权利要求10所述的方法，其中，所述背景数据包括到乳头的相对距离、到皮肤表面的相对距离、到病变的相对距离、体积估计、类型可能性和形状可能性中的至少一项。

16.根据权利要求10所述的方法，其中，所述相似性分值（D）被计算为所述当前特征矢量和所述先前特征矢量的每个元素（m_i）之间的距离（d_i）的加权求和，其中：

D=∑m_i*d_i；并且

其中，注释（a_i）和（b_i）的距离（d_i）被计算为：

$d_i=e^{a_i-b_i}*e^{a_i^{\′}-b_i^{\′}}.$

17.根据权利要求10所述的方法，其中，所述感兴趣区是来自乳腺癌患者的病变。

18.根据权利要求10所述的方法，其中，所述图像和所述先前图像是利用不同成像协议的相同感兴趣区的图像，并且其中，所述成像协议包括超声成像、磁共振成像（“MRI”）成像和乳房X射线照相术（“MG”）成像中的至少一种。

19.一种非瞬态计算机可读存储介质，其包括能够由处理器执行的指令的集合，所述指令的集合能够运行以至少：

从包括注释的感兴趣区图像提取背景信息；

利用所提取的背景信息和所述注释构建当前特征矢量；以及

计算所述当前特征矢量和先前图像的先前特征矢量之间的相似性分值。

20.根据权利要求19所述的非瞬态计算机可读存储介质，其中，所述指令的集合还能够运行以：

显示所述图像和所述先前图像之间的匹配注释；

经由用户接口从用户接收输入；以及

基于所述输入调节所述图像。

Images