CN107004043B - 优化检测和标记感兴趣解剖结构的系统和方法 - Google Patents

Abstract

本申请描述了用于优化检测和标记感兴趣结构的系统和方法。所述系统包括当前患者研究数据库，其包含具有临床背景信息的当前患者研究。所述系还包括：图像元数据处理引擎，其被配置为提取元数据以便为解剖结构分类器准备输入；自然语言处理引擎，其被配置为从之前的患者档案提取临床背景信息；解剖结构检测和标记引擎；以及显示设备，其被配置为显示来自当前患者研究的发现。所述解剖结构检测和标记引擎被配置为从所提取的元数据和临床背景信息识别和标记一个或多个感兴趣结构。所述处理器还被配置为聚集系列水平数据。具体地，一旦从当前患者研究检索到患者信息，标记的解剖结构和高风险解剖结构就被组合以形成感兴趣结构的区分优先级的列表。

Description

优化检测和标记感兴趣解剖结构的系统和方法

技术领域

本申请总体涉及在放射学工作流程中检测并可视化有关的患者信息和发现-特异性建议。本申请具体与向相关解剖结构的放射科医师提供发现-特异性建议以基于从诸如之前的患者报告和DICOM信息的非图像数据提取的信息对患者进行回顾(review)来结合应用，并且将具体参考其加以描述。本申请还具体与基于要回顾的放射科医师的优先级而向放射科医师提供这些发现-特异性建议来结合应用，并且将具体参考其加以描述。然而，应当理解，本申请还应用于其他使用场景，而不必限于前面提到的应用。

背景技术

已经认识到，定量成像帮助在早期阶段中检测疾病，改善诊断准确性和一致性，建议后期处置计划和引导，并且实现高效的患者随访。然而，非常低的百分比的研究实际上使用先进的可视化和定量成像系统来处理和诊断。已经努力促进图像可视化和处理工具的研发。然而，临床医师完全利用成像系统而无没有综合训练和一贯的支持是相当有挑战性的并且通常是繁琐的。在没有要诊断的患者和区分优先级的结构的先验知识的情况下，从患者图像检测现有器官或关键解剖结构是相当有挑战性的。一方面，分割技术可能是对象依赖的，而另一方面，不知道哪些结构是预期的，因此，使用全局优化，并且该过程是耗时的。

在典型的放射学解读工作流程中，考虑到扫描的原因以及患者的其他先验知识，放射科医师通常需要识别并注释相关的发现。放射科医师对发现进行注释，并且然后扫描通过图像的其余部分以寻找其他发现或相关的发现。由于针对个体图像的有限时间以及由医师进行调查的患者的高体量，任务会是相当有压力的。当前的系统不基于优先级来引导放射科医师回顾患者中的其他解剖结构。这会导致丢失的发现和/或使的检测发现耗时。

另外，由于在医学成像方面的改善，图像数据的大小多年来已经显著增加(例如，由于更高的图像分辨率/多时间或多模态数据的使用)。因此，数据检索过程(从例如PACS的图像存储设备到工作站)在想要检查数据的放射科医师的工作流程中花费不可忽略的时间。当医院或其他医学场所使用其中数据必须从远程服务器传输的基于云的服务时，这是更普遍的。

发明内容

在回顾期间，放射科医师不仅回顾有疑问的解剖结构，而且还想要回顾相关的解剖结构。这意味着，为了诊断特定的疾病，放射科医师聚焦于特定的解剖学区域，并且期望以合适的方式被显示的数据(例如，关于视场和图像取向)。尽管数据加载过程不能够被加速，但是通过首先传输并显示最重要的数据，工作流程本身的效率能够被改善。考虑了当PACS系统中的上一可用数据集是胸部/腹部扫描时而放射科医师必须检查心脏病患者的CT扫描的情况。本申请试图改善对这种图像数据的传输。所述系统基于临床需要来回顾图像并优化数据传输。一旦最相关的解剖结构的图像被传输，其余数据就将以类流的方式被传输。

本申请提供了检索患者的医学数据记录并且使用从这些报告提取的信息结合所提取的DICOM数据来为放射科医师提供最可能受影响的或高风险的感兴趣解剖结构(SOI)的系统和方法。这些SOI首先被分割，并且然后被给予放射科医师以供回顾。所述系统还使用从患者报告提取的信息以及DICOM标签来生成可能性模型。所述可能性模型为放射科医师呈现基于当前发现、检查的原因以及来自其他患者的过往历史数据而应当被回顾的额外的解剖结构。用于回顾的这些额外的解剖结构是基于给定信息最可能也受影响的区域。本申请还提供了利用工作流程驱动的数据传输方案来优化图像数据到医师的传输。使用由当前工作流程给出的背景信息，与检查相关的最高可能性的选定图像区域/解剖学区域首先被传输。其余节段/解剖学区域被给予较低的优先级并且最后被传输给放射科医师。

本申请还提供了克服上文所提及的问题以及其他问题的新的、并且经改善的系统和方法。

根据一个方面，提供了一种用于检测和分割感兴趣结构的系统。所述系统包括当前患者研究数据库、统计学模型患者报告数据库、图像元数据处理引擎、自然语言处理引擎、解剖结构检测和标记引擎、显示设备、以及一个或多个处理器。所述一个或多个处理器被配置为：从解剖结构分类器准备建议的解剖结构的列表；并且形成感兴趣结构的区分优先级的(prioritized)列表；通过解剖结构检测和标记引擎来处理所述感兴趣结构的区分优先级的列表以形成针对当前患者研究的优化的感兴趣结构列表；将来自所述当前研究的所述优化的感兴趣结构列表应用于体积图像以检测和标记感兴趣结构；并且控制所述显示设备以显示所述优化的感兴趣结构。

根据另一方面，提供了一种用于优化检测和标记感兴趣结构的方法。所述方法：从当前患者研究和至少一个之前的患者档案提取临床背景信息和DICOM元数据；对所提取的临床背景信息执行统计学分析；并且基于所述DICOM数据采用解剖结构分类器以生成所述当前患者研究中的建议的解剖结构的列表。所述方法还从所述当前患者研究提取解剖结构以创建患者高风险分析报告，并且然后检测和标记所述解剖结构。所述处理器将所述建议的解剖结构与所述高风险解剖结构相组合，以形成感兴趣结构的经优化的区分优先级的列表。所述列表被优化并且被添加到所述体积图像，并且然后被显示给医师。

一个优点在于使用已知的患者医学信息和DICOM标签对最可能的感兴趣解剖结构的经改善的确定。

另一优点在于图像数据的优化的传输。

另一优点在于改善的临床工作流程。

另一优点在于改善的患者护理。

本领域普通技术人员在阅读和理解下文的详细说明的基础上将认识到其他优点。

附图说明

本发明可以采取各种部件和部件布置以及各种步骤和步骤安排的形式。附图仅出于图示优选实施例的目的，而不应当被解释为对本发明的限制。

图1图示了示出用于收集患者数据并将结果传送给医师的代表性系统的框图。

图2图示了根据本申请的各方面的用于在诊断工作流程中使用的优化的感兴趣解剖结构标记预处理的范例患者报告。

图3图示了根据本申请的各方面的报告处理模块的流程图。

图4图示了根据本申请的各方面的基于从患者临床报告提取的信息的最可能感染的解剖结构的统计学总结图表。

图5图示了根据本申请的各方面的指示当已知在患者的至少一个解剖学发现中存在阳性发现时其他解剖结构受影响的可能性的表。

图6图示了根据本申请的各方面的图像元数据处理引擎的流程图。

图7图示了根据本申请的各方面的SOI检测和标记优化的流程图。

图8图示了根据本申请的各方面的从报告数据库生成的代表性查找表。

图9图示了示出当已知在另一解剖结构中存在阳性发现时在同一研究中要被诊断的其他解剖结构的可能性的解剖结构之间的关联性。

图10图示了最相关的解剖结构首先被传输的数据传输方案。

具体实施方式

医学图像中的解剖学区域能使用各种各样的图像处理技术来识别，包括基于分类的解剖结构检测、使用统计学模板的配准、以及基于模型的分割、或者那些技术的组合。一个可能的实施例是滑动窗口方法。在该背景下，解剖结构检测是分类任务。使用一组阳性和阴性图像补片的基于特征的表示，机器学习被用于在两个类别之间进行区别。在检测阶段中，使用经分类的图像，以便识别对于目标解剖结构具有高可能性的图像区域。使用该方法，大量检测器可能必须被应用于图像，以便估计考虑中的所有解剖结构的可能性。此外，针对可能性的合适的接受的阈值的选择是关键的，以平衡在假阳性与假阴性检测之间的折衷。对此，诸如来自DICOM元数据或报告的器官可能性估计的补充信息被用于分类的选择或者用于对结果的加权。

本申请涉及用于基于患者的之前的医学历史、当前的医学问题、以及来自预测表的相关信息来自动地检测和分割相关的解剖结构的系统和方法。另外，DICOM标签被用于改善被呈现给处置医师的相关信息。本申请受如下认识所启发，即：由患者的之前的医学历史组合来自其他患者的已知信息以及DICOM标签能够改善处置医师不仅将检查即时告知的区域而且还回顾也可能遭受相同或相似疾病的相关区域的可能性。例如，如果患者在肺中具有发现，则所述系统确定在肺中具有发现的所有这样的其他患者并且向放射科医师呈现最可能受影响的其他解剖学区域。

具体地，放射科医师回顾来自所述系统的患者数据。所述患者数据包括临床背景数据和DICOM数据。所述临床背景数据包括诸如访问的原因或转诊信、之前的报告、以及任何临床指示或注释等的信息。关于临床背景数据，所述报告包含个体患者的信息以及关于选定的人群的信息两者。由于被包括在所述报告中的所有陈述是由医师确认的，因此所提取的信息被认为是可靠的。

参照图1，示出了图示用于优化临床报告并向医师呈现信息的代表性系统的框图。系统100合适地包括经由通信网络110互连的当前患者研究数据库102、统计学计算模块104、患者研究优化模块106、用户接口108。设想到了，通信网络110包括如下中的一个或多个：互联网、内联网、局域网、广域网、无线网、有线网、蜂窝网络、数据总线等。还应当认识到，所述系统的部件位于中心位置处或者位于多个远程位置处。

系统100的部件合适地包括执行体现前述功能的计算机可读指令的一个或多个处理器112，其中，所述计算机可读指令被存储在与处理器112相关联的存储器114上。然而，设想到了，以硬件实施前述功能中的至少一些，而不使用处理器。例如，能够采用模拟电路。此外，系统100的部件包括通信单元116，所述通信单元116为处理器112提供接口，从所述接口通过通信网络110进行通信并且通过用户接口108向医师提供信息。患者研究优化模块106包括图像元数据处理引擎118、标记和分割模块718、自然语言处理引擎120和可视化模块122，所有这些都在图7中进一步描述。患者研究优化模块还包含解剖结构辨别模块124。该模块124从当前和之前的患者报告接收临床背景信息，并且在查找表中通过感兴趣解剖结构和位置来索引信息以供未来使用和参考。更进一步地，尽管系统100的前述部件被分开描述，但是应当认识到，能够对各部件进行组合。

在一个实施例中，患者报告是从(一个或多个)当前患者研究数据库(PACS、HIS、RIS等)102中接收的，所述当前患者研究数据库102包含患者数据报告和图像，并且从统计学计算模块104检索至少一个之前的患者档案。从统计学计算模块104检索的档案包含临床背景信息。由患者研究优化模块106来接收当前的患者报告和之前的患者的报告。档案被回顾，并且被标记有已经观察到发现的区域。基于所诊断的发现，报告也被用于生成高风险解剖结构的列表。如果基于从之前的患者报告接收的信息，存在基于具有发现的区域而其他解剖结构也可能有发现的更高可能性，则解剖结构被标记为高风险。例如，在肺癌研究中，如果已知在肺或肋膜中存在发现，那么也存在85％机会将在纵隔和肺门中存在发现。纵隔和肺门被标记为高风险区域，并且首先被放射科医师回顾以确定诊断。为了完全确定这种关联性，如在上文所描述的，患者研究优化模块106生成如稍后在图4中所描述的表，并且关联性将如在图5中所描述的那样被生成。

关于图2，示出了患者临床报告200，例如，放射科报告。所述报告包含发现(FINDINGS)区段202，发现区段202包括各种身体部分204、206、208以及其相关联的解剖学区域210、212、214。对于每个解剖学区域210、212、214，存在指示是否已经存在发现并且如果有的话则指示发现的测量结果的相关联的陈述。该报告的临床信息区段216包括研究的原因和相关的患者历史。

进一步参照图3和图4，示出了图解优化的SOI检测以及使用患者临床报告和DICOM标签进行标记的过程流程图。在一段时间内，机构可以已经累积如在图2中所描述的患者报告的若干患者报告。来自患者报告数据库300的患者临床档案100被发送给自然语言处理引擎302以供解读和提取。自然语言处理(NLP)引擎302提取临床背景信息304和相关联的在患者临床档案200中列出的身体部分。该信息被用于创建总结从患者临床报告提取的信息的数据库，包括SOI 306、研究的原因和患者历史308、以及诸如测量结果或模态310的任何发现。基于该信息，模块被设计为确定和计算解剖结构的统计学模型312。统计学建模信息然后与诸如研究的原因、历史和发现314的临床背景信息相关联。

图4示出了肺癌患者的最可能感染的解剖结构的范例统计学总结报告400。如果患者历史信息也是可用的，则创建类似的表以利用特定疾病的历史和当前症状或发现示出患者的最可能感染的解剖结构。如果已知一个解剖结构被诊断，那么存在其他解剖结构将示出症状并表现出发现的更高可能性。

关于图5示出了当已知第一解剖结构中存在阳性发现时要被诊断的患者内的其他解剖结构的可能性图表500。对于肺癌研究，如果肺和肋膜中存在发现，则更可能纵隔和肺门也具有医师知道现在要寻找的发现。

参照图6，示出了图示图像元数据处理600模块的流程图。DICOM标签包含与当前研究中存在的解剖结构相关的信息，诸如：研究描述、协议名称、被检查的身体部分、系列描述、模态、对比剂/丸剂等。这些标签中的一些是研究相关的标签，而其他标签对于研究内的系列或体积图像更为特异性。为了获得研究相关的信息，系列水平DICOM数据首先被聚集在一起，并且然后被处理602。在数据分离之后，词袋(BoW)特征由所有相关的自由文本标签来构建。BoW是一种文本处理的方法。最终特征包括所有选定的标签和BoW特征。利用由专家基于DICOM元数据和其经验识别的与统计学建模信息606相关联的这些BoW特征，机器学习引擎604被配置为训练基于DICOM元数据的分类器/预测器608。该模块接收DICOM元数据以表示各种患者人群。结果被用作初始解剖结构检测。

进一步参照图7，示出了显示用于检索患者研究的临床背景信息和DICOM信息的代表性方法的流程图。对于新的研究，患者数据700首先被分成包括元数据602的DICOM数据702、体积图像数据704和其他临床背景数据706。临床背景数据706被传到自然语言处理引擎202，以提取包括模态310、研究的原因、临床历史以及之前的建议308、SOI 306等的关键陈述。所述信息然后与从报告数据库312得到的统计学模型相组合以形成SOI列表712。其余的DICOM数据702被分成体积图像数据704和DICOM元数据602。DICOM标签通过图像元数据处理引擎708来处理，其中，图6中所描述的解剖结构分类器/预测器608的结果创建解剖结构列表710。基于患者历史报告分析针对当前患者进行对解剖结构的高风险分析714。针对当前患者报告的高风险分析将把具有同样正在受影响或被诊断具有发现的更高可能性的SOI返回给放射科医师。这些区域首先被示出给放射科医师以供回顾。基于从之前的患者报告接收的信息，解剖结构被认为是高风险的。该信息被分析并且被组合，以形成如在图9中所示的统计学分析查找表。高风险分析数据与患者报告输出的SOI列表712和解剖结构列表710相组合，提供了优化的并且区分优先级的SOI 716的列表。解剖结构检测和标记引擎718被配置，并且信息与优化的并且区分优先级的SOI 616相组合，导致用于当前研究的优化的SOI检测和标记引擎720。优化的列表然后被应用于体积标记的图像数据722，以从当前图像准确地检测和标记SOI。在一个实施例中，标记引擎720使用自动或半自动分割例程来分割一个或多个SOI。所分割的结构能够利用围绕边缘的彩色的线等来描绘轮廓。704、720、722的组合形成可视化引擎724，所述可视化引擎724选择要被显示的通过体积图像的一个或多个图像平面。在另一实施例中，图像被基于优先级传输给诊断医生，所述优先级允许诊断医生在其余的数据/图像被传输的同时首先开始回顾优选的图像视图。另外，标记引擎720能够选择图像(诸如心脏)内的一个或多个子结构以传输给诊断医生。子结构首先被传输，并且然后其余的附近的子结构和整个结构随后被传输。

参照图8，示出了从报告数据库处理生成的代表性查找表800。当医师观察图像上的发现时，所述发现通常被测量并且被记录在对应的报告中。测量结果然后与在查找表中示出的身体部分相关联。随着机构积累更多的这些报告，自然语言处理模块提取报告中的所有发现并且使它们与身体部分相关联以创建数据库。如果多个解剖结构包含来自一个报告的阳性发现，那么这指示在查找表中看见的解剖结构之间的关联性。在查找表中所确定的关联性允许医师未来更准确地诊断和处置患者。之前的患者报告中的指示的解剖结构之间的关联性被用于示出当已知存在阳性发现时其他解剖结构在同一研究中可能被诊断的可能性。进一步参照图9，利用来自查找表的输入，所述系统计算当发现被记录900时正在被诊断的具体解剖学区域的统计学可能性。例如，如果患者在肾中有发现，那么系统同样确定在肾中有发现的其他患者并检索存在于其他身体部分中的发现。

参照图10，图示了用于基于当前和过去的患者历史对患者临床图像进行检索并区分优先级的系统。在对患者档案的回顾期间，临床医师将回顾所有当前和过往的图像以及注释以实现诊断。可能存在许多患者图像要回顾，并且图像可能是大的档案。在流程化回顾的努力中，临床医师能够首先回顾考虑某些解剖结构将更可能受影响的可能性的更高优先级图像，并且更高优先级的解剖结构的图像首先被传输给临床医师。临床医师在工作站1020上从患者报告1010选择图像以执行区分优先级1030。区分优先级可以基于来自放射科信息系统(RIS)、医院信息系统(HIS)、先前的用户交互的数据或者基于在图9中所描述的查找表来执行。所述系统索引数据库1040中的数据，并且工作站1020与患者临床数据库1040之间的通信网络110允许来自患者临床数据库的相关图像数据被传输给临床医师并且被显示在工作站1020上。在备选方案中，特定解剖结构周围的感兴趣区域能够基于上述的区分优先级而被传输。

如在本文中所使用的，处理器包括微处理器、微控制器、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、个人数据助理(PDA)、移动智能手机、移动手表、计算玻璃和类似的身体穿戴、植入或携带的移动装备中的一个或多个。还设想到了，如在本文中所使用的，引擎能够利用被配置为执行任务的一个或多个处理器来形成。如在本文中进一步所使用的，用户输入设备包括如下中的一个或多个：鼠标、键盘、触摸屏显示器、一个或多个按钮、一个或多个开关、一个或多个搬钮开关等；以及显示设备，包括如下中的一个或多个：LCD显示器、LED显示器、等离子显示器、投影显示器、触摸屏显示器等。

已经参考优选实施例描述了本发明。他人在阅读和理解了以上具体实施方式的情况下可能想到修改或替代。本文旨在将本发明解释为包括所有这种修改和替代，只要它们落入权利要求以及其等价方案的范围之内。

Claims (10)

1.一种用于选择和标记潜在感兴趣结构的系统，所述系统包括：

一个或多个数据库，其存储患者记录，所述患者记录包括图像、医学记录、以及关于要由诊断医生进行诊断的当前患者和具有相似诊断的至少一位其他患者的诊断信息；

用户接口，其被配置为从所述诊断医生接收请求要被显示的图像的输入并显示所请求的图像；

一个或多个处理器，其被配置为：

基于所述当前患者的所述医学记录，来预测以供诊断的解剖结构列表，

对所述当前患者的所述医学记录进行自然语言处理，

使用机器学习或统计学建模以基于其他患者的经自然语言处理的医学记录来配置统计学模型，以生成感兴趣结构列表，

根据经自然语言处理的医学记录，来预测所述当前患者的其他解剖结构受影响的可能性；

根据所预测的解剖结构列表、所述感兴趣结构列表和所预测的其他解剖结构受影响的可能性，来生成感兴趣结构的区分优先级的列表；

将感兴趣结构的所述区分优先级的列表应用于所述当前患者的体积图像并检测和标记所述体积图像中的感兴趣结构；并且

控制所述用户接口以显示所述当前患者的图像平面，所述图像平面示出了所述区分优先级的列表上的被标记的感兴趣结构并且以基于所述区分优先级的列表的顺序被传输给所述用户接口。

2.根据权利要求1所述的系统，其中，所述系统还包括：

图像元数据处理引擎，其被配置为提取元数据以准备针对解剖结构分类器的输入；

自然语言处理引擎，其被配置为从之前的患者档案提取临床背景信息；

解剖结构检测和标记引擎或处理器，其被配置为根据所提取的元数据和临床背景信息来识别和标记一个或多个感兴趣结构，其中，所述处理器被配置为聚集系列水平数据；以及

显示设备，其被配置为显示来自所述当前患者的发现。

3.根据权利要求2所述的系统，其中，所述患者记录包含列出身体部分和相关联的解剖学区域的发现区段，其中，针对每个解剖学区域，存在指示其是否具有发现的相关联的陈述。

4.根据权利要求3所述的系统，其中，所述自然语言处理引擎还处理来自所述当前患者的之前的患者历史，以提取关于所述当前患者的具有发现的解剖学区域的信息，其中，针对所述当前患者的具有发现的所述解剖学区域生成所述相关联的陈述。

5.根据权利要求2所述的系统，其中，所述图像元数据处理引擎被配置为使用机器学习或统计学建模来配置所述解剖结构分类器，并且所述系统还包括：

包含至少一个DICOM元数据标签的DICOM元数据数据库，其中，所述至少一个DICOM元数据标签与具有相似性质的之前的患者诊断的统计学建模信息配对，以将所述解剖结构分类器配置为DICOM元数据解剖结构分类器。

6.根据权利要求2所述的系统，其中，所述解剖结构分类器的结果创建针对所述当前患者的所述解剖结构列表。

7.根据权利要求6所述的系统，还包括：

解剖结构检测和标记引擎，其被配置为在来自所述当前患者的所述体积图像中识别和标记一个或多个感兴趣结构。

8.根据权利要求6所述的系统，其中，所述感兴趣结构根据其具有发现的可能性而在列表中被区分优先级。

9.根据权利要求8所述的系统，其中

所述显示设备还被配置为显示所述感兴趣结构，其中，具有较高优先级的感兴趣结构在具有较低优先级的感兴趣结构之前被显示。

10.一种优化检测和标记感兴趣结构的方法，所述方法包括：

从当前患者和至少一个或多个之前的患者档案中提取临床背景信息和DICOM元数据；

对所提取的临床背景信息执行统计学分析，以生成感兴趣结构列表；

对所述DICOM元数据进行格式化以创建解剖结构分类器，所述解剖结构分类器被用于生成针对所述当前患者的解剖结构列表；

提取所述当前患者的解剖结构以创建患者高风险分析报告；

将所述解剖结构列表、所述感兴趣结构列表与所述高风险分析报告相组合，以形成感兴趣结构的区分优先级的列表；

将感兴趣结构的所述区分优先级的列表应用于所述当前患者的体积图像，以检测和标记所述体积图像中的感兴趣结构；并且

经由用户接口显示所述当前患者的图像平面，所述图像平面示出了所述区分优先级的列表上的被标记的感兴趣结构并且以基于所述区分优先级的列表的顺序被传输给所述用户接口。

Images