CN109416938B - 用于临床智能的无缝工作流程集成和编排的系统和体系结构 - Google Patents

用于临床智能的无缝工作流程集成和编排的系统和体系结构 Download PDF

Info

Publication number
CN109416938B
CN109416938B CN201780040738.2A CN201780040738A CN109416938B CN 109416938 B CN109416938 B CN 109416938B CN 201780040738 A CN201780040738 A CN 201780040738A CN 109416938 B CN109416938 B CN 109416938B
Authority
CN
China
Prior art keywords
user
image
user interface
response
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780040738.2A
Other languages
English (en)
Other versions
CN109416938A (zh
Inventor
P·J·昌
M·塞芬斯特
A·M·塔赫玛塞比马拉古奥施
R·C·范奥明
A·舒阿利
E·奇诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
University of Chicago
Original Assignee
Koninklijke Philips NV
University of Chicago
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, University of Chicago filed Critical Koninklijke Philips NV
Publication of CN109416938A publication Critical patent/CN109416938A/zh
Application granted granted Critical
Publication of CN109416938B publication Critical patent/CN109416938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种用于确定读取医学图像的用户的期望动作的系统和方法。所述系统和方法检索并显示要由用户读取的图像，经由处理器响应于所显示的要读取的图像而接收用户的背景线索，经由处理器将背景线索映射到用户意图，并且经由处理器基于用户意图生成动作。

Description

用于临床智能的无缝工作流程集成和编排的系统和体系结构
背景技术
PACS(影像归档和通信系统)通过使工作流程更高效而彻底改变了放射科医师的工作方式。这允许放射科医师以更快的速度读取越来越多量的研究。此外，改进的工作流程效率已经实现关键发现的更快报告、降低的重新扫描率、成像扫描的更多的均匀性、更清晰的可操作报告、增强的患者体验以及报销的改善。PACS可以为放射科医师提供甚至更多益处。
不管放射学工作流程的改进，对于放射科医师而言，针对患者的成像检查或研究的读取仍然能够是困难且耗时的过程。在一些情况下，放射科医师花费大量时间找到相关的患者检查，在图像处理应用中选择适当的应用，等待应用程序完成计算，记录关键结果发现(例如，测量结果)，并且将相关信息输入到放射学报告中。因此，仍有改进的空间。
公知地，放射学检查中的个体病变的检测、定量、表征和诊断受到实质的评估者内变异性和甚至更实质的评估者间变异性的影响。这些观察结果不利地影响放射学作为精确科学的认知，并且更具体地，可能会降低咨询医师对他/她的选择的放射部门的服务的满意度。以下示范性实施例试图解决这些问题。
发明内容
一种用于确定读取医学图像的用户的期望动作的方法。所述方法包括检索和显示要由用户读取的图像，响应于所显示的要读取的图像而经由处理器接收用户的背景线索，经由处理器将背景线索映射到用户意图，并且经由处理器基于用户意图来生成动作。
一种用于确定读取医学图像的用户的期望动作的系统。所述系统包括显示要由用户读取的图像的显示器以及处理器，所述处理器响应于所显示的要读取的图像而接收用户的背景线索，经由处理器将背景线索映射到用户意图，并且经由处理器基于用户意图来生成动作。
一种用于向用户提供背景解释支持建议的方法。所述方法包括响应于显示的图像而从用户接收背景线索，并且将图像的序列规范化到受控的序列名称命名上。该方法还包括在多个成像检查中的至少一个的序列上登记成像切片，并向用户提供上下文病变解释支持建议。
附图说明
图1示出了根据示范性实施例的系统的示意图。
图2示出了图1的系统的另一示意图。
图3示出了根据另一示范性实施例的系统的示意图。
图4示出了根据示范性实施例的方法的流程图。
图5示出了根据示范性实施例的系统的示意图。
图6示出了根据示范性实施例的方法的流程图。
图7示出了包括病变注释的第一示范性图像的屏幕截图。
图8示出了包括病变表征信息的第一示范性图像的屏幕截图。
图9示出了包括针对病变的恶性预测的第一示范性图像的屏幕截图。
图10示出了包括表征和诊断病变的句子的第一示范性图像的屏幕截图。
图11示出了包括病变测量结果的第二示范性图像的屏幕截图。
图12示出了包括病变上的3D交叠的第二示范性图像的屏幕截图。
图13示出了包括病变的图像的交叉序列的第二示范性图像的屏幕截图。
图14示出了发现和预定答案的交叉序列可视化的第三示范性图像的屏幕截图。
具体实施方式
可以参考以下描述和附图进一步理解示范性实施例，其中，相似的元件以相同的附图标记指代。示范性实施例涉及用于工作流程集成和编排的系统和方法。具体地，示范性实施例描述了引导要在成像系统工作站或PACS工作站上读取的图像的系统和方法，其中，可以使用用户的背景线索来确定要由系统采取的期望动作。
高级图像处理(AIP)和自动临床智能(CI)是放射科医师和其他医学专业人员的高度有用的工具。然而，其至少具有两个不同的问题。第一个问题是缺乏工作流程集成。具体地，AIP由于其计算密集性质而通常从专用工作站执行，因此在没有以下操作的情况下不能够咨询专用工作站：放射科医师物理切换办公桌，登录，找到相关的患者检查，在AIP环境中选择适当的应用，等待应用完成计算，记录关键结果发现(例如，测量结果)，物理移回常规工作站，并且最终将相关信息复制到放射学报告中。
第二个问题是观察者的变异性。具体地，如本领域技术人员已知的，放射学检查中的个体病变的检测、定量、表征和诊断经受实质的评估者内变异性和甚至更实质的评估者间变异性。这些观察结果不利地影响放射学作为精确科学的认知，并且更具体地，可能会降低咨询医师对所选的放射部门的服务的满意度。
下面讨论的示范性实施例提供了对AIP的这些和其他问题的解决方案。因此，示范性实施例编址缺乏工作流程集成和观察者变异性的问题并解决它们，这些问题是根源于计算机技术的问题。
如图1和图2所示，根据本公开的示范性实施例的系统100确定要由读取患者身体分段的图像的用户采取的期望动作。系统100包括服务器102和用户工作站104，用户工作站104包括例如显示器106和用户接口108，以及处理器110。服务器102还可以包括处理设备112以及存储器120，处理设备112包括各种程序和/或引擎，例如，医学数字成像和通信(DICOM)路由器114、状态聚合器116和工作流程编排引擎118。尽管服务器102被示出和描述为连接到单个用户工作站104，但是本领域技术人员将理解，服务器102可以连接到任何数量的工作站104，可以由用户在所述工作站上查看要读取的图像。
处理器110可以被配置为执行服务器102的多个应用程序。例如，应用程序可以包括与工作流程编排引擎118相关联的功能。应当注意，被描述为由处理器110执行的应用(例如，程序)的上述应用仅是示范性的。与应用相关联的功能还可以被表示为用户工作站104的单独的并入部件，或者可以是耦合到用户工作站104的模块化部件，例如具有或不具有固件的集成电路。例如，处理器110可以是包括解释和执行馈送到系统100的电信号所必需的电路的硬件部件。处理器的范例包括中央处理单元(CPU)、控制单元、微处理器等。电路可以被实施为集成电路、专用集成电路(ASIC)等。可以在用户工作站104的这些或其他配置中的任一个中实施示范性实施例。
存储器布置120可以是被配置成存储与由工作站104和/或服务器102执行的操作有关的数据的硬件部件。例如，存储器布置120可以存储与用户接口108或工作流程编排引擎118的功能有关的数据。存储器布置120可以是任何类型的半导体存储器，包括易失性和非易失性存储器。非易失性存储器的范例包括闪速存储器、只读存储器(ROM)、可编程ROM(PROM)、可擦PROM(EPROM)和电可擦除PROM(EEPROM)。易失性存储器的范例包括动态随机存取存储器(DRAM)和快速CPU高速缓冲存储器，其通常是静态随机存取存储器(SRAM)。
显示器106可以是被配置为向用户示出数据的硬件部件。显示器106可以是例如液晶显示器(LCD)设备、发光二极管(LED)显示器、有机LED(OLED)显示器、等离子体显示板(PDP)等。本领域技术人员将理解，用户接口108和显示器106的功能可以实施在单个硬件部件中。例如，触摸屏设备可以用于实施显示器和用户接口108两者。
DICOM路由器114可以接收要读取的图像，将图像发送到影像归档和通信系统(PACS)，并通知工作流程编排引擎118。PACS可以是在用户(例如放射科医师)职责上帮助他们并允许他们跟上不断增加的工作量的工作站。具体地，PACS提供对患者研究的访问，包括例如患者的放射历史，包括诊断报告、检查记录、临床病史和图像。此外，PACS具有简化和加速工作流程的功能，以在查看大量患者研究时优化用户的生产率，以便保持成本效益和效率。
由DICOM路由器114接收的图像可以例如被路由到临床PACS 130和预处理PACS132两者。临床PACS 130存储要读取的图像，直到用户检索它们用于读取。预处理PACS 132可以例如识别图像类型(例如，CT、MRI)和在要读取的图像中成像的身体分段(例如，肺、脑)。这可能帮助流线化工作流程过程。状态聚合器116通过例如应用编程接口(API)从一个或多个医学存储库(例如，EMR(电子医学记录)、放射科信息系统、PACS和/或临床数据馈送)提取可能与要读取的图像有关的患者信息。状态聚合器116可以提取信息，例如人口统计信息、主动诊断、个人和家庭风险因子、先前手术事件、药物、过敏等。要读取的图像和任何对应的信息，诸如图像类型、身体分段和患者信息，可以存储到存储器120中。
工作流程编排引擎118可以使用例如用户意图检测引擎122、AIP(高级图像处理)引擎124和CI(临床智能)引擎126来监视和解释读取图像的用户(例如，放射科医师)的背景线索。用户意图检测引擎118接收用户的背景线索并将它们映射到一个或多个用户意图，例如“获取体积量化”，“获取解剖位置”，“获取该检查的其他序列的该感兴趣区域的视图”，以及“在相关的先前检查中获取该感兴趣区域的视图”。AIP引擎124可以包括例如智能注释、病变表征、个性化CADx和解剖学感知引擎，如图2所示，这可能提供，例如，自动病变检测、自动病变表征、自动病变分割、自动解剖结构分割、自动异常检测和/或自动多序列配准。CI引擎126可以包括例如自动风险计算引擎、自动指南引擎、自动诊断引擎、自动报告内容生成以及类似情况的自动检索。工作流程编排引擎118可以接收由用户意图检测引擎118识别的用户意图目标，并且经由基于规则的逻辑起始一个或多个API和/或CI引擎124、126，这还将在下面详细描述。可以将这些规则存储到存储器120。
用户工作站104可以是个人计算设备，如上所述，其包括用于查看要读取的图像的显示器106和可以用于向工作流程编排引擎116提供背景线索的用户接口108。用户可以在用户工作站登录，提从而供与专业简档相关联的用户认证信息，包括诸如专业和/或资历的信息。用户认证信息可以用于存储特定用户偏好和/或为每个用户定制预测的期望动作。在一些实施例中，用户的专业或资历可用于起始特定CI引擎126以提供决策支持。例如，在用户被识别为初级教员的情况下，服务器102可以起始自动指南和/或诊断引擎以帮助提供适当的诊断或图像读取从而解决用户的经验缺乏。
用户可以使用用户接口108登录并提供背景线索，用户接口108可以包括输入设备，例如键盘、鼠标、显示器106上的触摸显示器和/或眼睛移动跟踪设备。尽管示范性实施例将背景线索描述为经由鼠标使用生成，但是本领域技术人员将理解，可以以各种方式中的任何方式生成背景线索，包括例如经由手势的眼球跟踪和/或眨眼。处理器110与服务器102通信以检索和显示要读取的图像，操纵要读取的图像，提供背景线索，在放射学报告中包括发现，等等。
经由例如用户工作站104的用户接口108生成的背景线索被提供给工作流程编排引擎118，工作流程编排引擎118接收用户意图目标并协调一个或多个AIP和/或CI引擎124、126。如上所述，引擎的动态排序可以由基于规则的逻辑驱动。基于规则的逻辑的范例可以为如下。如果确定用户意图是“获取体积量化”，则检索最接近由用户接口108(例如，鼠标设备)选择的体素的病变的三维分割。如果确定用户意图是“标注病变”，则检索鼠标设备的解剖位置并将输出汇集到智能注释CI引擎中。如果智能注释CU的输出等于“结节”并且解剖位置等于“肺”，则运行肺结节分割AIP引擎或在其已经在预处理模式下运行的情况下检索其输出。如果发现被标注为“结节”并且解剖位置等于“肺”，则从状态聚合器116检索吸烟状态和年龄，并将这些作为输入值馈送到后续推荐引擎。如果发现被标注为“结节”，解剖位置等于“肺”并且用户意图是“确定恶性风险”，则从状态聚合器116检索年龄和吸烟状态，从适当的AIP引擎124检索毛刺表征和肺气肿检测信息并将它们馈送给风险模型。本领域技术人员将理解，以上概述的规则仅是示范性的，并且可以设立任何数量的规则以模仿用户的决策/诊断过程或遵循行业内的公认指南。此外，尽管示范性实施例具体描述了肺结节的诊断和读取，但是本公开的系统和方法可以用于读取/诊断各种各样的身体分段和图像类型中的任何病变/结节。
一旦用户的背景线索已经产生了用户的预测的期望动作，用户可以修改结果，接受结果或拒绝结果。接受或拒绝结果可以向服务器102指示工作流程编排引擎118是否正确地确定/预测了用户的期望动作。每个用户系统对话(其可以包括背景线索、导出的用户信息、从状态聚合器116检索的状态信息、由AIP引擎124计算的图像信息、由CI引擎126计算的决策支持和/或响应于所显示的决策支持的用户动作)可以存储到存储器120中的先前用户机器对话数据库134。
根据另一示范性实施例，系统100还可包括机器智能层128，机器智能层128访问存储在存储器120中的先前用户系统对话以使用机器学习技术训练系统100。机器智能层128可以被包括在工作流程编排引擎118中，如图3所示。机器智能层128可以预测正面的用户响应以确定系统100是否正确地预测用户的期望动作和/或向用户提供适当的决策支持。例如，在用户接受由工作流程编排引擎118预测的动作的情况下，机器智能层128将接受解释为正面的用户响应。如果用户拒绝预测的动作，则机器智能层128可以将拒绝解释为负面的用户响应。工作流程编排引擎118可以基于用户正/负响应来改变预测的动作和/或提供的决策支持。
备选地，在另一个实施例中，每个引擎(例如，AIP引擎124、CI引擎126)可以包括其自己的机器智能层，如图2所示。该机器智能层可以被优化以基于背景线索和引擎本身的初始输出来预测关于个体引擎的输出的用户反馈。当应用于一系列背景线索和引擎的初始输出时，机器智能层的结果能够与引擎的输出不同。在这种情况下，机器智能层可能会否决原始引擎。
图4示出了根据示范性实施例的方法200，以用于基于由用户在读取图像时提供的背景线索来预测期望的用户动作。在步骤210中，DICOM路由器114在用户检索和读取之前将要读取的图像引导到例如临床PACS 130以进行存储，并通知工作流程编排引擎118图像已被存储并准备好被读取。DICOM路由器114还可以将要读取的图像引导到预处理PACS，使得在步骤220中可以针对要读取的图像中的每幅识别图像类型和被成像的身体分段。在步骤230中，状态聚合器116还可以针对要读取的图像中的每幅提取相关的患者信息。如上面关于系统100所描述的，患者信息可以包括例如人口统计信息、主动诊断、个人和家庭风险因子、先前手术事件、药物、过敏等。
一旦已经处理了要读取的图像，如上所述，用户可以在步骤240中检索要读取的图像之一，使得在显示器106上显示要读取的图像。如上所述，用户可以登录到用户工作站104，使得可以包括认证信息的用户简档也可用于工作流程编排引擎118。在图像的读取期间，在步骤250中用户可以经由用户接口108向服务器102提供背景线索。可以由工作流程编排引擎118连续监测背景线索。在步骤260中，用户意图检测引擎122将检测到的背景线索映射到用户意图。例如，当用户将他/她的鼠标指针悬停在所显示图像上的感兴趣区域中的病变上时，用户意图检测引擎122可以确定用户的意图是标注病变。在另一范例中，当用户通过例如跨病变的宽度绘制线来测量病变时，用户意图检测引擎122可以确定用户的意图是获取病变的体积量化。
背景线索的额外的范例包括放大或缩小图像，点击图像，以及创建感兴趣的矩形区域。此外，鼠标或其他输入设备的移动可以作为线索被包括，具有预定的语义，类似于智能电话“扫掠”功能。在先进的实施例中，如果眼球跟踪器被安装，则眼睛移动可以被包括在背景线索的列表中。本领域技术人员将理解，可以为上述背景线索中的任何预先指定对应的用户意图。
在步骤270中，工作流程编排引擎118基于用户意图来生成动作。在确定用户的意图是标注病变的情况下，可以在图像上显示病变的注释。在步骤220中识别的图像类型和身体分段可以用于标注病变。例如，如图7所示，在图像被识别为肺的CT扫描的情况下，工作流程编排引擎118可以运行例如AIP引擎124的智能注释引擎，其将病变识别为位于右肺下叶中的结节，并对病变进行注释。在另一范例中，如图8所示，在确定用户意图是获取病变的体积量化的情况下，工作流程编排引擎118可以运行AIP引擎124的肺结节分割引擎，以在显示图像中的病变上方交叠3D体积，以确定病变的三维体积。可以在显示器106上显示所确定的三维体积以及病变的任何额外的可用特征信息(例如，相关患者信息、毛刺、节点计数)。
在另一实施例中，背景线索还可包括不由用户接口108(例如，鼠标)直接提供的线索。例如，可以使用可以在用户登录期间识别的用户的资历来生成决策支持动作。在一个范例中，如图9所示，在用户被识别为初级教员的情况下，工作流程编排引擎118可以运行CI引擎126的指南引擎以启动预测模型，例如，温哥华预测模型，估计针对肺部模块的恶性。使用先前获得的参数，例如由状态聚合器116识别的患者信息和确定的病变大小，指南引擎可以帮助确定病变的恶性。
在步骤280中，用户可以接受、拒绝或修改在步骤270中生成的动作。例如，在正确生成注释的情况下，用户可以接受所显示的注释。但是，如果用户认为注释不正确，则用户可以拒绝或修改注释。在另一个范例中，在病变上交叠的3D体积被认为是正确的情况下，用户可以接受交叠的体积。然而，如果用户认为交叠的体积不正确，则用户可以通过例如点击和拖动其部分来修改交叠体积的轮廓，以生成病变的更准确的三维量化。在又一范例中，在用户认为病变的预测恶性不正确的情况下，用户可以相应地拒绝或修改结果。如上面关于系统100所描述的，用户对所生成的动作的响应可以经由机器智能层128来解释，以“训练”关于用户相对于被读取的图像的期望动作的系统和方法。因此，在图像的将来的读取期间，系统和方法可以更准确地能够确定/预测用户的意图。
在必要时，可以重复步骤250至280，直到已经解释了用户的所有背景线索以生成对应的预测动作。例如，工作流程编排引擎118可以标注病变，确定图像的三维量化并在图像的单次读取期间提供病变的预测恶性。在一些实施例中，方法200可以在步骤290中基于先前的背景线索和/或生成的动作额外地预测用户期望的进一步动作。例如，工作流程编排引擎118可以预测用户可能期望将在读取图像期间导出的所有信息包括到针对图像的放射学报告中。在该范例中，工作流程编排引擎118可以生成并显示表征病变并提供诊断的句子，如图10所示。然后，用户可以将句子复制并粘贴到放射学报告中，或者如果适当的AIP引擎就位，则句子可以直接导出以包括在放射学报告中。
尽管上文关于肺结节的CT扫描描述了方法200，但是本领域技术人员将理解，本公开的示范性系统和方法可以在读取各种图像类型和身体分段中的任何期间使用。在另一个范例中，系统100和方法200可以用于神经MRI图像的读取。在该范例中，在步骤240中，用户检索要读取的图像，使得其显示在用户工作站104的显示器106上。在步骤210-230期间，该图像可能先前已被存储和处理以识别图像类型和身体分段，以及提取相关的患者信息。一旦图像已经被显示，如图11所示，在步骤250中，用户可以在显示的图像中所示的神经病变的2D平面中进行线性测量。在步骤260中，将该背景线索映射到获取神经病变的三维体积的用户意图。在步骤270中，在神经病变上生成3D体积交叠，如图12所示。在步骤280中，用户可以接受，拒绝或修改覆盖，基本上如上文关于肺结节所述。基于先前的背景线索和对应的生成的动作，在步骤290中，工作流程编排引擎118可以预测用户对检查病变交叉序列感兴趣并且生成跨图像的相关序列的配准的切片的条带，如图13中所示，以向用户提供图像背景。
如上文关于肺结节范例描述的，可以根据需要重复步骤250-280和/或250-290，直到已经生成并应用了用户的所有期望动作。尽管示范性实施例描述了自动确定/预测用户的期望动作，但是本领域技术人员将理解，用户还可以手动请求采取某些动作。
如图5所示，根据本公开的示范性实施例的系统300向用户提供背景解释支持建议。系统500包括服务器102和用户工作站104，包括例如显示器106、用户接口108和处理器110。在示范性实施例中也可以使用上面针对服务器102和用户工作站104描述的示范性硬件设备。服务器102还可以包括处理设备112，处理设备112包括各种程序和/或引擎，例如，工作流程编排引擎118、序列规范化引擎130、序列登记引擎132、背景病变解释支持引擎134和控制器引擎136。尽管服务器102被示出并描述为连接到单个用户工作站104，但是本领域技术人员将理解，服务器102可以连接到要读取的图像可由用户查看的任何数量的工作站104。此外，本领域技术人员将理解，系统300可以完全或部分地与系统100的程序和/或引擎集成。
工作流程编排引擎118可以经由例如用户工作站104的用户接口108提供生成的背景线索。在一个范例中，这可以是放射科医师在图像上标注病变。序列规范化引擎130可以将图像序列(或成像检查)规范化到受控的序列名称的命名上。在示范性实施例中，规范化过程可以考虑来自序列标题的信息。应当注意，例如，如果适当地配置机构的模态和/或用户已经接收适当的训练，则账户信息可以是可靠的。如果是这样，则规范化可以被实施为将序列标题名称映射到受控序列名称命名上的表。在另一示范性实施例中，可以利用来自DICOM路由器114的参数设置。
序列配准引擎132可以跨多个成像检查中的至少一个的序列配准成像切片。例如，序列配准引擎132可以跨一个或多个不同MRI检查的MRI序列配准成像切片。在示范性实施例中，配准可以在PACS观察器中实施，例如由KONINKLIJKE PHILIPS ELECTRONICS N V提供的iSite。在另一示范性实施例中，为了跨序列的更全局匹配，配准可以基于考虑整个图像体积。在另一个示范性实施例中，为了获得跨序列的更多局部匹配，配准可以基于图像中的病变。
背景病变解释支持引擎134可以控制解剖特异性问题的规则库。可以通过例如将规则库与结构化查找目标匹配的控制器实体来管理规则库，以确定应用的规则。控制器实体可以是例如控制器引擎136。当规则应用时，可以向用户询问(一个或多个)问题并请求完成结构化查找目标。在示范性实施例中，每个问题可以被标记为“建议”或“强制性”。这样一来，可以允许用户跳过问题或者可以不具有跳过问题的选项。本领域技术人员将理解，可以以任何期望的方式标记问题。
在另一示范性实施例中，规则库可以被组织为决策树。这能够是有利的，因为在任何给定时刻，仅应用一个规则。在规则被组织为规则集合的情况下，控制器引擎136可以优先化对哪个规则实例化。例如，控制器引擎136可以通过使用预定义的等级来优先化对哪个规则集合实例化。
可以基于给予先前问题的答案来确定问题中的每个。此外，问题中的每个还可以由病变的结构化注释的内容确定。例如，如果已经通过结构化查找目标中可用的注释提供了信息，则跳过可以由已经通过注释提供的信息回答的任何问题。实例化的规则可以基于先前输入的值来反映期望在任何结构化发现目标中存在的信息。在示范性实施例中，决策树可以具有决策节点。决策节点可以通过例如背景信息(诸如检查模态和解剖结构)来确定。
在另一示范性实施例中，如图14所示，向用户示出的问题中的每个可以伴随有发现的至少一个交叉序列可视化和至少一个预定答案。此处，例如，可以使用序列配准引擎132来配准被注释的发现，以在注释的感兴趣区域上生成最佳视图。
在另一示范性实施例中，可以利用信息按钮来生成背景材料。背景材料可以用例如结构化发现目标来索引。此外，背景材料可以提供相关信息的呈现。例如，背景信息可以显示正在增强的中等大小的脑肿瘤和不增强的另一中等大小的脑肿瘤。
图6示出了根据示范性实施例的方法400，其向用户提供背景解释支持建议。在步骤410中，用户接口108从用户接收对图像的背景线索。如上所述，背景线索可以是，例如，放射科医师在图像上标注病变。在步骤420中，序列规范化引擎130可以规范化图像的序列。在步骤430中，序列配准引擎132可以跨多个成像检查中的至少一个的序列配准成像切片。在步骤440中，背景病变解释支持引擎134可以向用户提供背景病变解释支持建议。如上所述，支持建议可以是解剖结构特异性问题的规则库。
应注意，权利要求可以包括根据PCT细则6.2(b)的附图标记/数字。然而，不应认为本权利要求限于对应于附图标记/数字的示范性实施例。
本领域技术人员将理解，上述示范性实施例可以以任何数量的方式实施，包括作为单独的软件模块，作为硬件和软件的组合等。例如，状态聚合器116、工作流程编排引擎118、用户意图检测引擎122、AIP引擎124和CI引擎126可以是包含代码行的程序，所述程序当被编译时，可以在处理器上执行。
对于本领域技术人员显而易见的是，可以对所公开的示范性实施例和方法以及备选方案进行各种修改，而不脱离本公开的精神或范围。因此，本公开旨在覆盖这些修改和变化，只要其落入权利要求及其等价方案的范围内。

Claims (14)

1.一种用于确定读取医学图像的用户的期望动作的方法，包括：
检索并且显示要由用户读取的多幅图像；
响应于对所述图像的每幅图像的显示而确定所述用户的背景线索，其中，所述背景线索包括由用户接口选择体素；
将所述背景线索映射到用户意图，其中，所述用户意图包括获取最接近由所述用户接口选择的所述体素的病变的体积量化；并且
基于所述用户意图来生成动作，其中，所述动作包括检索最接近由所述用户接口选择的所述体素的所述病变的三维分割，
其中，如果由所述用户接口选择所述体素，则所述用户意图被确定为获取最接近由所述用户接口选择的所述体素的所述病变的体积量化，并且如果所述用户意图被确定为获取最接近由所述用户接口选择的所述体素的所述病变的体积量化，则所述动作为检索最接近由所述用户接口选择的所述体素的所述病变的所述三维分割。
2.根据权利要求1所述的方法，还包括：
识别要读取的图像的图像类型和所述图像的身体分段中的一项，并且提取针对要读取的所述图像的患者信息。
3.根据权利要求2所述的方法，其中，所述患者信息包括以下中的一项：人口统计信息、主动诊断、个人和家庭风险因子、先前手术事件、药物和过敏。
4.根据权利要求1-3中的任一项所述的方法，还包括：
接收对所生成的动作的用户响应。
5.根据权利要求4所述的方法，其中，所述用户响应是以下中的一项：接受、拒绝和修改所生成的动作。
6.根据权利要求4所述的方法，还包括基于所述用户响应来训练机器学习层，所述机器学习层基于所述用户响应来改变进一步生成的动作，其中，接受所生成的动作指示正面的用户响应，并且以下中的一项指示负面的用户响应：拒绝和修改所生成的动作。
7.根据权利要求1所述的方法，还包括：
基于以下中的一项来预测所述用户的另外的期望动作：所述背景线索和所生成的动作。
8.根据权利要求1所述的方法，其中，所述背景线索是由用户接口提供的。
9.根据权利要求1所述的方法，其中，所述背景线索是经由用户简档确定的。
10.一种用于确定读取医学图像的用户的期望动作的系统，包括：
显示器，其被配置用于显示要由用户读取的多幅图像中的每幅；以及
处理器，其被配置用于
响应于所显示的图像中的每幅而确定所述用户的背景线索，其中，所述背景线索包括由用户接口选择体素；
将所述背景线索映射到用户意图，其中，所述用户意图包括获取最接近由所述用户接口选择的所述体素的病变的体积量化；并且
基于所述用户意图来生成动作，其中，所述动作包括检索最接近由所述用户接口选择的所述体素的所述病变的三维分割；
其中，如果由所述用户接口选择所述体素，则所述用户意图被确定为获取最接近由所述用户接口选择的所述体素的所述病变的体积量化，并且如果所述用户意图被确定为获取最接近由所述用户接口选择的所述体素的所述病变的体积量化，则所述动作为检索最接近由所述用户接口选择的所述体素的所述病变的所述三维分割。
11.根据权利要求10所述的系统，其中，所述处理器识别要读取的图像的图像类型和所述图像的身体分段中的一项，并且提取针对要读取的所述图像的患者信息，和/或
其中，所述患者信息包括以下中的一项：人口统计信息、主动诊断、个人和家庭风险因子、先前手术事件、药物和过敏。
12.根据权利要求10所述的系统，所述处理器被配置用于接收对所生成的动作的用户响应。
13.根据权利要求12所述的系统，其中，所述用户响应是以下中的一项：接受、拒绝和修改所生成的动作，
所述处理器被配置用于基于所述用户响应来训练机器学习层，所述机器学习层基于所述用户响应来改变进一步生成的动作，其中，接受所生成的动作指示正面的用户响应，并且以下中的一项指示负面的用户响应：拒绝和修改所生成的动作。
14.根据权利要求10所述的系统，其中，所述处理器基于以下中的一项来预测所述用户的另外的期望动作：所述背景线索和所生成的动作，和/或
所述背景线索是由用户接口提供的，和/或
所述背景线索是经由用户简档确定的。
CN201780040738.2A 2016-06-28 2017-06-21 用于临床智能的无缝工作流程集成和编排的系统和体系结构 Active CN109416938B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662355417P 2016-06-28 2016-06-28
US62/355,417 2016-06-28
PCT/IB2017/053690 WO2018002776A1 (en) 2016-06-28 2017-06-21 System and architecture for seamless workflow integration and orchestration of clinical intelligence

Publications (2)

Publication Number Publication Date
CN109416938A CN109416938A (zh) 2019-03-01
CN109416938B true CN109416938B (zh) 2024-03-12

Family

ID=59325578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780040738.2A Active CN109416938B (zh) 2016-06-28 2017-06-21 用于临床智能的无缝工作流程集成和编排的系统和体系结构

Country Status (4)

Country Link
US (1) US20190252061A1 (zh)
EP (1) EP3475860A1 (zh)
CN (1) CN109416938B (zh)
WO (1) WO2018002776A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942257B2 (en) 2016-12-31 2021-03-09 Innovusion Ireland Limited 2D scanning high precision LiDAR using combination of rotating concave mirror and beam steering devices
US11409786B2 (en) 2017-04-20 2022-08-09 Koninklijke Philips N.V. Systems and methods for computer-assisted search of image slices for indications of a finding
US11042784B2 (en) * 2017-09-15 2021-06-22 M37 Inc. Machine learning system and method for determining or inferring user action and intent based on screen image analysis
EP3822982A1 (en) * 2019-11-17 2021-05-19 PreciPoint GmbH Method of determining and displaying an area of interest of a digital microscopic tissue image, input / output system for navigating a patient-specific image record, and work place comprising such input / output system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677628A (zh) * 2012-09-25 2014-03-26 三星电子株式会社 图像处理设备及其控制方法
WO2015114485A1 (en) * 2014-01-30 2015-08-06 Koninklijke Philips N.V. A context sensitive medical data entry system
CN105074708A (zh) * 2013-03-29 2015-11-18 皇家飞利浦有限公司 放射学发现的背景驱动的概要视图

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005079A1 (en) * 2006-06-29 2008-01-03 Microsoft Corporation Scenario-based search
US10395762B1 (en) * 2011-06-14 2019-08-27 Merge Healthcare Solutions Inc. Customized presentation of data
US9519408B2 (en) * 2013-12-31 2016-12-13 Google Inc. Systems and methods for guided user actions
US9582170B2 (en) * 2014-10-31 2017-02-28 Mckesson Financial Holdings Method and apparatus for managing a configurable display environment
WO2017051944A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677628A (zh) * 2012-09-25 2014-03-26 三星电子株式会社 图像处理设备及其控制方法
CN105074708A (zh) * 2013-03-29 2015-11-18 皇家飞利浦有限公司 放射学发现的背景驱动的概要视图
WO2015114485A1 (en) * 2014-01-30 2015-08-06 Koninklijke Philips N.V. A context sensitive medical data entry system

Also Published As

Publication number Publication date
CN109416938A (zh) 2019-03-01
WO2018002776A1 (en) 2018-01-04
EP3475860A1 (en) 2019-05-01
US20190252061A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
CN103460213B (zh) 图像采集和/或图像相关参数推荐器
US20170053064A1 (en) Personalized content-based patient retrieval system
US8335694B2 (en) Gesture-based communication and reporting system
US6785410B2 (en) Image reporting method and system
CN109416938B (zh) 用于临床智能的无缝工作流程集成和编排的系统和体系结构
CN116344071A (zh) 用于整合临床护理的信息学平台
US20100114597A1 (en) Method and system for medical imaging reporting
US20140006926A1 (en) Systems and methods for natural language processing to provide smart links in radiology reports
CN101203170A (zh) 计算机辅助检测系统和方法
US20190348156A1 (en) Customized presentation of data
EP3955260A1 (en) Clinical decision support
US20230147471A1 (en) Systems and methods to process electronic images to determine salient information in digital pathology
CN113329684A (zh) 注释支持装置、注释支持方法及注释支持程序
US20200066384A1 (en) Clinical report with an actionable recommendation
US20180308580A1 (en) Image context aware medical recommendation engine
WO2021233795A1 (en) Personalized radiology decision guidelines drawn from past analogous imaging and clinical phenotype applicable at the point of reading
US20210313047A1 (en) Processing medical images
EP3624128A1 (en) An apparatus and method for detecting an incidental finding
US20220351368A1 (en) Systems and methods to process electronic images to identify attributes
US20230274816A1 (en) Automatic certainty evaluator for radiology reports
EP4328855A1 (en) Methods and systems for identifying a candidate medical finding in a medical image and providing the candidate medical finding
US11488698B2 (en) Facilitated structured measurement management tool progress and compliance analytics solution
JP7138634B2 (ja) 患者病歴に敏感な構造化所見オブジェクトレコメンデーションのためのシステム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200422

Address after: Eindhoven, Netherlands

Applicant after: KONINKLIJKE PHILIPS N.V.

Applicant after: THE UNIVERSITY OF CHICAGO

Address before: Eindhoven, Netherlands

Applicant before: KONINKLIJKE PHILIPS N.V.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant