CN109564773A - 用于自动检测关键图像的系统和方法 - Google Patents

用于自动检测关键图像的系统和方法 Download PDF

Info

Publication number
CN109564773A
CN109564773A CN201780046678.5A CN201780046678A CN109564773A CN 109564773 A CN109564773 A CN 109564773A CN 201780046678 A CN201780046678 A CN 201780046678A CN 109564773 A CN109564773 A CN 109564773A
Authority
CN
China
Prior art keywords
radiology
image
key images
work station
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780046678.5A
Other languages
English (en)
Other versions
CN109564773B (zh
Inventor
A·M·塔赫玛塞比马拉古奥施
T·D·D·S·马博杜瓦纳
钱悦晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN109564773A publication Critical patent/CN109564773A/zh
Application granted granted Critical
Publication of CN109564773B publication Critical patent/CN109564773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Multimedia (AREA)

Abstract

一种放射学工作站(10)包括：计算机(12)，其被连接以接收放射学检查对象的部分的放射学图像堆叠。所述计算机包括至少一个显示部件(14)和至少一个用户输入部件(16)。所述计算机包括至少一个处理器(22)，所述至少一个处理器被编程为：在所述至少一个显示部件上显示所述放射学图像堆叠的选定的放射学图像；经由所述至少一个用户输入部件接收对当前放射学报告的录入，并且在所述至少一个显示部件上显示所录入的放射学报告；通过以下中的至少一项来识别放射学研究结果：(i)对所述放射学图像堆叠的自动分析，以及(ii)在所述放射学报告中检测对所述放射学研究结果的文本描述；从描绘所述放射学研究结果的所述放射学图像堆叠中识别或提取至少一幅关键图像；并且将所述至少一幅关键图像嵌入所述放射学报告或者与所述放射学报告链接。

Description

用于自动检测关键图像的系统和方法
技术领域
以下内容涉及放射学领域、放射学报告领域、医学成像领域以及相关领域。
背景技术
在诸如计算机断层摄影(CT)、磁共振成像(MRI)、正电子发射断层摄影(PET)等成像模态中，所述成像通常产生放射学图像堆叠，这些图像有时被称为图像切片。在共同的取向中，患者处于俯卧姿态或仰卧姿态，图像切片横向于患者的轴向方向(从头到脚)，因此放射学图像堆叠是轴向图像堆叠。典型的放射学报告工作流程涉及：放射科医师浏览在成像研究中采集的放射学图像堆叠的放射学图像，识别堆叠中最能描绘针对肿瘤、病灶或其他感兴趣临床特征的放射学图像，并且口述描述观察到的放射学研究结果的叙述性报告。可以将通过放射学选择的参考图像的快照保存在图片存档与通信系统(PACS)上，作为用于未来参考的关键图像。然而，通常在书面放射学报告中描述的研究结果与其上观察到所述研究结果的(一幅或多幅)图像之间没有关联。另外，由于时间限制，放射科医师可能不会仔细选择参考图像。这使得对于报告的下游用户(例如，咨询医生)来说很难找到放射科医师观察到所述研究结果的图像并将其与报告中的描述进行匹配。
有时，特定的研究结果可能对应于跨越若干切片的可视化，因此，对于放射科医师来说，可能并不能明显看出哪一个图像切片是最合适的图像切片(其被认为是匹配所述研究结果的关键图像)。另外，存在固有的用户变异性，这会导致各种不一致性。
下面提供了克服上述问题和其他问题的新的且改进的设备和方法。
发明内容
根据一个方面，一种放射学工作站包括：计算机，其被连接以接收放射学检查对象的部分的放射学图像堆叠。所述计算机包括至少一个显示部件和至少一个用户输入部件。所述计算机包括至少一个处理器，所述处理器被编程为：在所述至少一个显示部件上显示所述放射学图像堆叠的选定的放射学图像；接收经由所述至少一个用户输入部件对当前放射学报告的录入，并且在所述至少一个显示部件上显示所录入的放射学报告；通过以下中的至少一项来识别放射学研究结果：(i)对所述放射学图像堆叠的自动分析，以及(ii)在所述放射学报告中检测对所述放射学研究结果的文本描述；从描绘所述放射学研究结果的所述放射学图像堆叠中识别或提取至少一幅关键图像；并且将所述至少一幅关键图像嵌入所述放射学报告或者与所述放射学报告链接。
根据另一方面，一种放射学工作站包括：计算机，其被连接以接收放射学检查对象的部分的放射学图像堆叠。所述计算机包括至少一个显示部件和至少一个用户输入部件。所述计算机包括至少一个处理器，所述至少一个处理器被编程为：在所述至少一个显示部件上显示所述放射学图像堆叠的选定的放射学图像；接收经由所述至少一个用户输入部件对当前放射学报告的录入，并且在所述至少一个显示部件上显示所录入的放射学报告；将所述放射学图像堆叠转换为三维(3D)图像；识别包括在所述3D图像中描绘的特征的放射学研究结果；从所述3D图像中提取描绘所述放射学研究结果的至少一幅二维(2D)关键图像；并且将所提取的至少一幅2D关键图像嵌入所述放射学报告或者与所述放射学报告链接。
根据另一方面，一种放射学工作站包括：计算机，其被连接以接收放射学检查对象的部分的放射学图像堆叠。所述计算机包括至少一个显示部件和至少一个用户输入部件。所述计算机包括至少一个处理器，所述至少一个处理器被编程为：在所述至少一个显示部件上显示所述放射学图像堆叠的选定的放射学图像；接收经由所述至少一个用户输入部件对当前放射学报告的录入，并且在所述至少一个显示部件上显示所录入的放射学报告；检测经由所述至少一个用户输入部件对显示的所述放射学图像堆叠的选定的放射学图像上的位置的识别；通过在所述放射学报告中检测对所述放射学研究结果的文本描述来识别针对所识别的位置处的特征的放射学研究结果；从描绘所述放射学研究结果的所述放射学图像堆叠中识别或提取至少一幅关键图像；并且将所述至少一幅关键图像嵌入所述放射学报告或者与所述放射学报告链接。
一个优点在于将具有识别的特征的图像链接到对应的放射学报告。
另一优点在于自动保存具有识别的特征的识别的图像。
另一优点在于同时且任选地提供对放射学报告的文本和具有识别的特征的图像的视觉链接显示，以便减少从图像向放射学报告传递内容时出错的可能性。
在阅读和理解了以下详细描述的情况下，本领域普通技术人员将理解本公开内容的另外的优点。将意识到，任何给定的实施例可能实现上述优点中的零个、一个、多个或全部优点并且/或者可能实现其他优点。
附图说明
本公开内容可以采取各种部件和部件的部件，以及各个步骤和步骤的安排的形式。附图仅出于说明优选实施例的目的，而不应被解释为限制本公开内容。
图1示出了放射学工作站。
图2示出了示出使用图1的设备的示例性方法的流程图。
图3示出了图1的设备的示例性操作。
具体实施方式
在放射学报告中，放射科医师审查2D图像堆叠(例如，CT、MR或SPECT中的轴向图像、矢状图像或冠状图像)。放射科医师能够匆匆查看该图像堆叠，以识别最能捕捉诸如肿瘤或病灶的感兴趣特征的轴向图像。标准实践是：当进行研究时(例如测量肿瘤或病灶的尺寸时)，放射科医师可以识别其中观察到/测量到所述研究结果的关键图像。将该关键图像与放射学报告一起存储作为分辨率降低的快照图像，可能带有注释，例如，标记肿瘤和/或示出进行肿瘤测量所沿循的线。在一些放射学报告系统中，也可以将全分辨率DICOM图像与关键图像超链接，使得在审查该报告时可以容易地调出该全分辨率DICOM图像。
然而，放射科医师只有短的时间间隔来执行读取，使得对关键图像的选择可能是粗略的，并且关键图像可能对于进行研究并不理想。
另外的困难是放射科医师通常以他们的原始格式(例如，轴向切片堆叠)审查图像。放射科医师可能担心非原始格式会引入图像伪影。时间限制也再次产生影响——N个切片的堆叠需要审查N幅图像，而如果研究3D图像空间，则潜在图像的数量将是无限的。然而，肿瘤在某些倾斜平面或非轴向平面上可能具有其最大和/或最小的尺寸。
本文公开的改进的放射学工作站实施例提供了对“最佳”关键图像的自动选择，并且任选地还提供了对在该最佳关键图像中的优化研究结果的自动生成。关键图像选择模块可以通过经由肿瘤图像处理的检测而被自动触发；或者通过检测用户接口操作(例如使用光标来定义肿瘤测量线或者在报告的文本中录入研究结果)而被半手动触发。激活的模块搜索轴向切片堆叠，以寻找最佳的轴向切片来图示该研究结果。在另一实施例中，搜索整个3D空间以寻找任何取向的最佳切片。这些实施例不是相互排斥的——在一个实施例中，向用户呈现两幅或三幅关键图像：肿瘤具有最大面积的原始轴向切片；示出最大肿瘤尺寸的内插倾斜切片；以及任选地示出最小肿瘤尺寸的内插倾斜切片。任选地，该模块还针对每个识别的关键图像自动执行研究结果计算。
预想到各种用户接口连接方法。在全自动方法中，图像处理识别一个或多个肿瘤和针对每个肿瘤的(一幅或多幅)关键图像，并且依次向用户呈现每个肿瘤的关键图像和所提出的研究结果。在半手动方法中，在检测到用户录入的研究结果时，调用关键图像选择模块并且识别最佳关键图像(并且任选地识别对应的测量结果)，并且将其提供给放射科医师。
本文公开的自动的关键图像生成方法能够被扩展到除肿瘤尺寸研究结果之外的放射学研究结果，例如，指示肺气肿的肺纹理研究结果、检测心脏成像中的钙化等。例如，能够使用经验特征选择和机器学习方法，即，在一组标记的训练成像集上训练关键图像选择器。
说明性实施例(基于正在创建的报告中的文本内容)自动检测(一幅或多幅)对应于研究结果描述的最合适的关键图像，以生成报告内容与图像之间的直接关联。(一幅或多幅)检测到的图像还能够作为关键图像被自动添加到PACS中。为此，下文公开了一种放射学报告支持应用模块，其例如被实施为被编程为执行所公开的操作的计算机，其在报告创建期间(例如，口述期间)自动确定放射学研究结果，并且自动分析审查中的图像堆叠以确定最佳描述该研究结果的最优关键图像。
参考图1，示出了用于自动检测关键图像的设备的实施例。如图1所示，该设备包括放射学工作站10，放射学工作站10可以例如被实施为台式计算机、与网络服务器连接的“哑”终端或任何其他合适的计算设备。工作站10包括具有典型部件的计算机12，所述典型部件例如为至少一个显示部件14、用户输入部件16、通信链路18、数据库20(例如，图片存档与通信系统(PACS))以及被编程为执行本文公开的放射学报告功能的至少一个处理器22。至少一个显示器14被配置为显示一幅或多幅放射学图像。例如，所选择的图像能够被显示在第一显示器上，并且放射学报告能够被显示在第二显示器上。在一些示例中，显示器14能够是触敏显示器。用户输入部件16被配置为选择图像中的至少一幅图像。在一些情况下，用户输入部件16能够是鼠标、键盘、触控笔等。另外，用户输入部件16能够是麦克风(即，允许用户向放射学图像中的至少一幅图像口述内容)、头戴式设备，或仅仅是用户的手指(即，在触摸屏上)。通信链路18能够是无线通信链路(例如，有线或无线以太网链路和/或WiFi链路)，例如，医院网络，其使得放射学工作站10能够从PACS 20取回构成研究的放射学图像堆叠。另外，PACS或其他数据库20被配置为存储图像堆叠连同多个放射学报告，这些放射学报告包括指示至少一个感兴趣目标的类型的数据录入字段。至少一个处理器22被编程为使得放射学工作站10执行如下文更加详细地描述的自动的关键图像检测方法。
在一些实施例中，计算机12被配置为接收被存储在PACS 20中的放射学检查对象的部分(或全部)的放射学图像堆叠。这些图像是先前从成像设备(未示出)(例如，磁共振设备、超声设备、计算机断层摄影设备、正电子发射断层摄影设备、单光子发射计算机断层摄影设备等)上传到PACS20中的。
继续参考图1，工作站10的至少一个处理器22被编程为使得工作站10执行自动的关键图像检测方法100。方法100包括：在至少一个显示部件14上显示放射学图像堆叠的选定的放射学图像(102)；接收经由至少一个用户输入部件16对当前放射学报告的录入，并且在至少一个显示部件上显示所录入的放射学报告(104)；通过以下中的至少一项来识别放射学研究结果：(i)对放射学图像堆叠的自动分析(106)；以及(ii)在当前放射学报告中检测对放射学研究结果的文本描述(108)；从描绘放射学研究结果的放射学图像堆叠中识别或提取至少一幅关键图像(110)；并且将至少一幅关键图像嵌入当前放射学报告或者与放射学报告链接(112)。在本文描述的说明性示例中，所识别的特征是肿瘤或病灶。然而，所识别的特征可以是任何合适的组织(例如，健康组织、囊肿、其他畸形、组织纹理等)。
在102处，在至少一个显示部件14上显示放射学图像堆叠的选定的放射学图像。例如，至少一个处理器22被配置为通过从成像设备(未示出)或从数据库20(未示出)直接接收图像来取回选定的图像(未示出)，并且将所选定的图像显示在至少一个显示器14上。在一些示例中，当使用多个显示器14时，第一图像能够被显示在第一显示器14上，而第二图像能够被显示在第二显示器(未示出)上。另外，选定的图像能够被显示在第一显示器14上，而从数据库20取回的放射学报告能够被显示在第二显示器上。(一幅或多幅)图像是由工作站10的用户(即，诸如医师、护士、技术人员等的医学专业人员)选择的。
在104处，接收经由至少一个用户输入部件16对当前放射学报告的录入，并且在至少显示部件14上显示所录入的放射学报告。在一些示例中，将放射学报告连同图像一起存储在数据库20中。用户可以选择至少一个放射学报告(例如通过利用用户输入部件16(即，鼠标)点击它或者指向它，通过使用利用用户输入部件16(即，键盘)的文本录入，或者利用用户输入部件(即，麦克风)，使用口述来选择放射学报告)，或者用户可以选择从头开始或者在更为通常的情况下从报告模板开始创建新报告。一旦选择或创建了报告，就能够将该报告(包括到目前为止录入的内容)与图像一起显示在显示部件14上(或在单独的显示部件上)。
一旦显示了该报告和选定的图像，就在选定的图像中识别放射学研究结果。至少一个处理器22被编程为分析图像堆叠的子集(即，目前正在由放射科医师审查的切片周围的图像区间)或整个图像堆叠。在一个实施例中，在106处，通过对放射学图像堆叠的自动分析来识别放射学研究结果。为此，至少一个处理器22被编程为将所显示的放射学图像堆叠转换为三维(3D)图像。至少一个处理器22然后被编程为自动识别在3D图像中描绘的特征。例如，至少一个处理器22被编程为执行一个或多个图像处理算法(例如，分割、基于图谱的分析等)来确定与通过文本分析确定的研究结果相匹配的最合适的切片，所述文本分析会在下文中更为详细地进行描述。在其他示例中，这些用于检测所识别的特征的自动图像处理算法能够通过机器学习算法和使用具有已知的基本事实的训练图像的数据库(例如，由技术熟练的放射科医师在图像上注释的放射学研究结果标记)的基于训练的算法来准备。
在另一实施例中，在108处，通过在放射学报告中检测对放射学研究结果的文本描述来识别放射学研究结果。为此，至少一个处理器22被编程为检测经由至少一个用户输入部件16对显示的放射学图像堆叠的选定的放射学图像上的位置的识别。例如，用户能够(利用鼠标)点击所显示的图像来识别选定的图像的部分(例如，感兴趣区域的尺寸或轴)，或者(利用麦克风)使用口述来识别选定的图像的部分(例如，感兴趣区域的尺寸或轴)。在一个示例中，用户能够利用鼠标点击所显示的图像来定义沿着图像的长度。然后，至少一个处理器22被编程为通过使用上述算法(例如，分割、基于图谱的分析等)自动分析所显示的放射学图像堆叠的选定的放射学图像来识别所识别的位置处的特征。在该实施例中，至少一个处理器22可以将所显示的放射学图像堆叠转换为3D图像。
在110处，从描绘放射学研究结果的放射学图像堆叠中识别或提取至少一幅关键图像。关键图像被识别为具有感兴趣区域的期望标准或目标标准。在一个示例中，具有感兴趣区域的期望标准或目标标准的放射学研究结果可以被视为在选定的图像中被识别为具有最大横截面的特征。结果，在图像堆叠中被至少一个处理器22确定为具有识别的特征的图像被认为是关键图像，所识别的特征具有最大横截面。在该示例中，多于一个特征可以被识别为相对于周围区具有较大的横截面。
从放射学图像堆叠的放射学图像中识别关键图像的方法的一个困难是，那些“原始”图像的取向对于进行研究或图示研究结果并不理想。例如，如果成像研究采集了轴向图像切片堆叠，而研究结果是肿瘤的长轴，如果肿瘤被定向为使得其长轴并不位于任何轴向平面中，则该研究结果并不能用原始(即，所采集的)轴向图像来有效图示。
在解决前述困难的另一示例中，具有感兴趣区域的期望标准或目标标准的放射学研究结果可以被视为所识别的特征沿着所识别的特征的长轴的最大长度。在该示例中，将放射学图像堆叠转换为三维(3D)图像。例如，这能够通过将图像切片的两个正交维度视为x-y-z笛卡尔空间的x坐标和y坐标来完成。如果切片之间的间隔是已知的(该间隔通常被存储为在图像上或图像研究上注释的元数据)，则z坐标被定义为与切片正交，其中，通过切片间间隔将数据点(体素)沿着z方向间隔开。在该实施例中，至少一幅关键图像包括从3D图像中提取的关键图像，该3D图像包含所识别的放射学特征的长轴(即，所识别的特征沿着所识别的特征的长轴的最大长度)。由于3D图像的三维性，因此使用标准欧几里德几何原理总能找到包含长轴的(可能是倾斜的)平面。结果，在图像堆叠(或3D图像)中被至少一个处理器22确定为具有识别的特征的图像被认为是关键图像，所识别的特征具有所识别的特征沿着所识别的特征的长轴的最大长度。
在另外的示例中，具有感兴趣区域的期望标准或目标标准的放射学研究结果可以被视为所识别的特征沿着所识别的特征的短轴的最小长度。在该示例中，至少一幅关键图像包括从3D图像中提取的关键图像，该3D图像包含所识别的特征的短轴。结果，在图像堆叠(或3D图像)中被至少一个处理器22确定为具有识别的特征的图像被认为是关键图像，所识别的特征具有所识别的特征沿着所识别的特征的短轴的最小长度。在该示例中，多于一个特征可以被识别为相对于周围区具有所识别的特征沿着所识别的特征的短轴的最小长度。
将意识到，感兴趣区域的任何合适的期望标准或目标标准能够用于识别一幅或多幅关键图像。作为另一示例，对应于研究结果的质心的图像能够是关键图像。在一些示例中，计算算法用于确定在其中进行测量的图像的最具体的身体部分和/或器官。每当对图像进行测量时，该信息都被用于确定与该图像相关联的身体部分和/或器官(参见MabotuwanaT、Qian Y的“Determining scanned body part from DICOM study description forrelevant prior study matching..”(Stud Health Technol Inform.，2013年，第192卷，第67-71页))。
在又一示例中，通过在放射学报告中检测对放射学研究结果的文本描述来识别放射学研究结果。为此，至少一个处理器22被编程为分析放射学报告。例如，至少一个处理器22被编程为例如使用医学系统命名法(SNOMED)专业术语来监视正在录入的放射学报告的文本，从而能够检测与标准放射学研究结果相对应的关键词的录入，所述专业术语任选地由放射科医师常用的额外的速记和/或替代专业术语来扩充。为了进一步改进对研究结果的检测，标准自然语言处理(NLP)技术能够用于提取当前报告中的研究结果。在该情况下，至少一个处理器22被编程为利用NLP引擎来分析放射学报告以确定章节、段落和句子。然后通过由至少一个处理器22执行的基于图像的研究结果提取引擎来提取和处理句子。例如，该引擎将提取句子“左侧肝脏参考病灶测量约6.4×5.4cm”。
在112处，将至少一幅关键图像嵌入放射学报告或者与放射学报告链接。参考图2并继续参考图1，通过由至少一个处理器22执行的方法200来执行(一幅或多幅)关键图像到放射学报告的嵌入或链接。方法200包括：取回至少一个放射学报告(202)；在至少一个放射学报告中检测研究结果(204)；自动检测包括检测到的研究结果的至少一幅关键图像(206)；将检测到的关键图像保存到数据库(208)；并且将在至少一幅关键图像中检测到的研究结果嵌入放射学报告或者与放射学报告链接(210)。
在202处，创建或者取回至少一个放射学报告。如上所述，能够使用合适的报告模板来创建放射学报告，或者能够取回被存储在数据库20中的部分完成的放射学报告以及图像。用户可以创建或者选择至少一个放射学报告(例如通过利用用户输入部件16(即，鼠标)点击它或者指向它，通过使用利用用户输入部件16(即，键盘)的文本录入，或者利用用户输入部件(即，麦克风)，使用口述来选择放射学报告)。一旦创建或者选择了报告，就可以将报告与图像一起显示在显示部件14上(或在单独的显示部件上)，并且放射科医师能够将放射学研究结果上的文本报告录入到报告中，例如使用键盘或利用在计算机上运行的语音识别软件的口述麦克风。
在204处，在至少一个放射学报告中检测研究结果。如上面参考110所述的，通过在放射学报告中检测对放射学研究结果的文本来描述来识别放射学研究结果。为此，至少一个处理器22被编程为分析放射学报告。例如，至少一个处理器22被编程为使用标准自然语言处理(NLP)技术来提取当前报告中的研究结果。在这种情况下，至少一个处理器22被编程为利用NLP引擎来分析放射学报告以确定章节、段落和句子。然后通过由至少一个处理器22执行的基于图像的研究结果提取引擎来提取和处理句子。
在206处，自动检测包括检测到的研究结果的至少一幅关键图像。在如上所述的106、108、以及110处更加详细地描述了该过程。
在208处，将检测到的关键图像保存到数据库。在一个示例中，将关键图像保存到数据库20。在另一示例中，将关键图像保存到PACS数据库(未示出)。这能够使用通信链路18来执行。
在210处，将关键图像中的检测到的研究结果嵌入放射学报告或者链接到放射学报告。例如，至少一个处理器22被编程为将关键图像信息(例如，坐标、切片号等)自动转换成文本并且将该文本(例如以超链接的形式)自动添加到报告中。为此，至少一个处理器22被编程为翻译图像信息(例如，切片号坐标)，以用于唯一地识别关键图像。然后，至少一个处理器22被编程为将经转换的文本插入到报告中的适当位置中。例如，所嵌入的文本能够是超链接的形式。通过点击超链接，对应的图像研究被打开，并且对应于关键图像的图像切片被示出在显示部件14上。在一个示例中，显示部件14被配置为利用包含文本内容的超链接来填充放射学报告。如图3所示，包含来自选定的图像32的研究结果的超链接30能够被嵌入到放射学报告34中(如图3中的虚线箭头所示)。图像32和报告34被显示在显示部件14上。
将意识到，本文描述的各种文档和图形用户接口特征能够经由通信网络(例如，无线网络、局域网、广域网、个人局域网、蓝牙等)被传送到各种部件12、14、16、18、20以及数据处理部件22。
工作站10的各种部件12、14、16、18、20能够包括由固件或软件编程的至少一个微处理器22以执行所公开的操作。在一些实施例中，微处理器22被集成到各种部件12、14、16、18、20中，使得数据处理是由各种部件12、14、16、18、20直接执行的。在其他实施例中，微处理器22与各种部件v分开。设备10的数据处理部件22也可以被实施为存储能由微处理器(例如，如上所述的微处理器)读取和执行的指令的非瞬态存储介质以实施所公开的操作。非瞬态存储介质可以例如包括只读存储器(ROM)、可编程只读存储器(PROM)、闪速存储器或用于各种部件12、14、16、18、20以及数据处理部件22的固件的其他储存库。额外地或替代地，非瞬态存储介质可以包括计算机硬盘驱动器(适合于计算机实施的实施例)、光盘(例如用于安装在这样的计算机上)、网络服务器数据存储设备(例如，RAID阵列)，各种部件12、14、16、18、20、数据处理部件22或计算机能够经由互联网或另一电子数据网络从该网络服务器数据存储设备下载设备软件或固件等。
已经参考优选实施例描述了本公开内容。在阅读和理解了前面的详细描述之后，其他技术人员可能会想到修改和变更。本文旨在将本公开内容解释为包括所有这些修改和变更，只要它们落入权利要求或其等同物的范围内。

Claims (20)

1.一种放射学工作站(10)，包括：
计算机(12)，其被连接以接收放射学检查对象的部分的放射学图像堆叠，所述计算机包括至少一个显示部件(14)和至少一个用户输入部件(16)；
其中，所述计算机包括至少一个处理器(22)，所述至少一个处理器被编程为：
在所述至少一个显示部件上显示所述放射学图像堆叠的选定的放射学图像；
接收经由所述至少一个用户输入部件对当前放射学报告的录入，并且在所述至少一个显示部件上显示所录入的放射学报告；
通过以下中的至少一项来识别放射学研究结果：(i)对所述放射学图像堆叠的自动分析，以及(ii)在所述放射学报告中检测对所述放射学研究结果的文本描述；
从描绘所述放射学研究结果的所述放射学图像堆叠中识别或提取至少一幅关键图像；并且
将所述至少一幅关键图像嵌入所述放射学报告或者与所述放射学报告链接。
2.根据权利要求1所述的放射学工作站(10)，其中，所述放射学研究结果是通过对所述放射学图像堆叠的自动分析来识别的，所述自动分析包括：
将所述放射学图像堆叠转换为三维(3D)图像；并且
识别在所述3D图像中描绘的特征。
3.根据权利要求1所述的放射学工作站(10)，其中，所述放射学研究结果是通过以下操作来识别的：
检测经由所述至少一个用户输入部件(16)对显示的所述放射学图像堆叠的选定的放射学图像上的位置的识别；并且
通过自动分析所显示的所述放射学图像堆叠的选定的放射学图像来识别所识别的位置处的特征。
4.根据权利要求2和3中的任一项所述的放射学工作站(10)，其中，至少一幅关键图像包括关键图像，所述关键图像被识别为所述放射学图像堆叠中所识别的特征具有最大横截面的放射学图像。
5.根据权利要求2-4中的任一项所述的放射学工作站(10)，其中，所述放射学研究结果包括所识别的特征沿着所识别的特征的长轴的最大长度，并且所述至少一幅关键图像包括关键图像，所述关键图像包含所识别的特征的所述长轴，并且是从通过将所述放射学图像堆叠转换为所述3D图像而生成的三维(3D)图像中提取的。
6.根据权利要求5所述的放射学工作站(10)，其中，所述放射学研究结果包括所识别的特征沿着所识别的特征的短轴的最小长度，并且所述至少一幅关键图像包括从包含所识别的特征的所述短轴的所述3D图像中提取的关键图像。
7.根据权利要求2-6中的任一项所述的放射学工作站(10)，其中，所识别的特征是肿瘤或病灶。
8.根据权利要求1所述的放射学工作站(10)，其中，所述放射学研究结果是通过在所述放射学报告中检测对所述放射学研究结果的文本描述来识别的。
9.一种放射学工作站(10)，包括：
计算机(12)，其被连接以接收放射学检查对象的部分的放射学图像堆叠，所述计算机包括至少一个显示部件(14)和至少一个用户输入部件(16)；
其中，所述计算机包括至少一个处理器(22)，所述至少一个处理器被编程为：
在所述至少一个显示部件上显示所述放射学图像堆叠的选定的放射学图像；
接收经由所述至少一个用户输入部件对当前放射学报告的录入，并且在所述至少一个显示部件上显示所录入的放射学报告；
将所述放射学图像堆叠转换为三维(3D)图像；
识别包括在所述3D图像中描绘的特征的放射学研究结果；
从所述3D图像中提取描绘所述放射学研究结果的至少一幅二维(2D)关键图像；并且
将所提取的至少一幅2D关键图像嵌入所述放射学报告或者与所述放射学报告链接。
10.根据权利要求9所述的放射学工作站(10)，其中，所述至少一个处理器(22)还被编程为：
将关键图像识别为所述放射学图像堆叠中所识别的特征具有最大横截面的放射学图像；并且
将所识别的关键图像嵌入所述放射学报告或者与所述放射学报告链接。
11.根据权利要求9和10中的任一项所述的放射学工作站(10)，其中，所述放射学研究结果包括所识别的特征沿着所识别的特征的长轴的最大长度，并且从所述3D图像中提取的所述至少一幅2D关键图像包括从包含所识别的特征的所述长轴的所述3D图像中提取的2D关键图像。
12.根据权利要求11所述的放射学工作站(10)，其中，所述放射学研究结果包括所识别的特征沿着所识别的特征的短轴的最小长度，并且从所述3D图像中提取的所述至少一幅2D关键图像包括从包含所识别的特征的所述短轴的所述3D图像中提取的2D关键图像。
13.根据权利要求9-12中的任一项所述的放射学工作站(10)，其中，所识别的特征是肿瘤或病灶。
14.根据权利要求9所述的放射学工作站(10)，其中，所述放射学研究结果是通过在所述放射学报告中检测对所述放射学研究结果的文本描述来识别的。
15.一种放射学工作站(10)，包括：
计算机(12)，其被连接以接收放射学检查对象的部分的放射学图像堆叠，所述计算机包括至少一个显示部件(14)和至少一个用户输入部件(16)；
其中，所述计算机包括至少一个处理器(22)，所述至少一个处理器被编程为：
在所述至少一个显示部件上显示所述放射学图像堆叠的选定的放射学图像；
接收经由所述至少一个用户输入部件对当前放射学报告的录入，并且在所述至少一个显示部件上显示所录入的放射学报告；
检测经由所述至少一个用户输入部件(16)对显示的所述放射学图像堆叠的选定的放射学图像上的位置的识别；
通过在所述放射学报告中检测对所述放射学研究结果的文本描述来识别针对所识别的位置处的特征的放射学研究结果；
从描绘所述放射学研究结果的所述放射学图像堆叠中识别或提取至少一幅关键图像；并且
将所述至少一幅关键图像嵌入所述放射学报告或者与所述放射学报告链接。
16.根据权利要求15所述的放射学工作站(10)，其中，至少一幅关键图像是通过以下操作从所述放射学图像堆叠中提取的：
将所述放射学图像堆叠转换为三维(3D)图像；并且
从描绘所述放射学研究结果的所述3D图像中提取二维(2D)图像。
17.根据权利要求16所述的放射学工作站(10)，其中，第二关键图像被识别为所述放射学图像堆叠中所识别的特征具有最大横截面的放射学图像。
18.根据权利要求16和17所述的放射学工作站(10)，其中，所述放射学研究结果包括所识别的特征沿着所识别的特征的长轴的最大长度，并且所述至少一幅关键图像包括从包含所识别的特征的所述长轴的所述3D图像中提取的2D关键图像。
19.根据权利要求18所述的放射学工作站(10)，其中，所述放射学研究结果包括所识别的特征沿着所识别的特征的短轴的最小长度，并且所述至少一幅关键图像包括从包含所识别的特征的所述短轴的所述3D图像中提取的2D关键图像。
20.根据权利要求17-19中的任一项所述的放射学工作站(10)，其中，所识别的特征是肿瘤或病灶。
CN201780046678.5A 2016-06-28 2017-06-22 用于自动检测关键图像的系统和方法 Active CN109564773B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662355411P 2016-06-28 2016-06-28
US62/355,411 2016-06-28
PCT/EP2017/065347 WO2018001847A1 (en) 2016-06-28 2017-06-22 System and method for automatic detection of key images

Publications (2)

Publication Number Publication Date
CN109564773A true CN109564773A (zh) 2019-04-02
CN109564773B CN109564773B (zh) 2023-07-07

Family

ID=59276699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780046678.5A Active CN109564773B (zh) 2016-06-28 2017-06-22 用于自动检测关键图像的系统和方法

Country Status (4)

Country Link
US (1) US11361530B2 (zh)
EP (1) EP3475858A1 (zh)
CN (1) CN109564773B (zh)
WO (1) WO2018001847A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3770807B1 (en) * 2015-05-04 2023-11-01 Smith, Andrew Dennis Computer-assisted tumor response assessment and evaluation of the vascular tumor burden
JPWO2021107098A1 (zh) 2019-11-29 2021-06-03
US20210398653A1 (en) * 2020-06-17 2021-12-23 Fovia, Inc. Key image updating multiple stacks
US20210398285A1 (en) * 2020-06-17 2021-12-23 Fovia, Inc. Consecutive slice finding grouping
US20210398277A1 (en) * 2020-06-17 2021-12-23 Fovia, Inc. No results indicator for stack of images
US11580337B2 (en) * 2020-11-16 2023-02-14 International Business Machines Corporation Medical object detection and identification
EP4278365A1 (en) * 2021-01-15 2023-11-22 Koninklijke Philips N.V. Post-processing for radiological images
US20220238213A1 (en) * 2021-01-28 2022-07-28 Advanced Radiology Management, LLC System and method for workflow management and image review
WO2023205181A1 (en) * 2022-04-19 2023-10-26 Synthesis Health Inc. Creating composite images using natural language understanding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262995A1 (en) * 2008-04-18 2009-10-22 Hikaru Futami System for assisting preparation of medical-image reading reports
CN101604458A (zh) * 2008-06-11 2009-12-16 美国西门子医疗解决公司 用于显示预先绘制的计算机辅助诊断结果的方法
US20100215232A1 (en) * 2009-02-23 2010-08-26 Yijin Woo Automatic outcome analysis using radiological images
WO2012071016A1 (en) * 2010-11-26 2012-05-31 Agency For Science, Technology And Research A method for creating multimedia-based radiology reports
US20140149942A1 (en) * 2012-11-23 2014-05-29 Cleon Hill Wood-Salomon System and method for actionable reporting of a radiology image study
US20140257854A1 (en) * 2011-09-08 2014-09-11 Radlogics, Inc. Methods and Systems for Analyzing and Reporting Medical Images
WO2015092633A1 (en) * 2013-12-20 2015-06-25 Koninklijke Philips N.V. Automatic creation of a finding centric longitudinal view of patient findings

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929743B2 (en) * 2007-10-02 2011-04-19 Hologic, Inc. Displaying breast tomosynthesis computer-aided detection results
JP5455470B2 (ja) 2009-07-02 2014-03-26 株式会社東芝 医用画像読影システム
US20140006926A1 (en) 2012-06-29 2014-01-02 Vijaykalyan Yeluri Systems and methods for natural language processing to provide smart links in radiology reports
US8935155B2 (en) 2012-09-14 2015-01-13 Siemens Aktiengesellschaft Method for processing medical reports
US9904966B2 (en) * 2013-03-14 2018-02-27 Koninklijke Philips N.V. Using image references in radiology reports to support report-to-image navigation
US10657220B2 (en) * 2015-04-22 2020-05-19 Ascend Hit Llc System and methods for medical reporting

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262995A1 (en) * 2008-04-18 2009-10-22 Hikaru Futami System for assisting preparation of medical-image reading reports
CN101604458A (zh) * 2008-06-11 2009-12-16 美国西门子医疗解决公司 用于显示预先绘制的计算机辅助诊断结果的方法
US20100215232A1 (en) * 2009-02-23 2010-08-26 Yijin Woo Automatic outcome analysis using radiological images
WO2012071016A1 (en) * 2010-11-26 2012-05-31 Agency For Science, Technology And Research A method for creating multimedia-based radiology reports
US20140257854A1 (en) * 2011-09-08 2014-09-11 Radlogics, Inc. Methods and Systems for Analyzing and Reporting Medical Images
US20140149942A1 (en) * 2012-11-23 2014-05-29 Cleon Hill Wood-Salomon System and method for actionable reporting of a radiology image study
WO2015092633A1 (en) * 2013-12-20 2015-06-25 Koninklijke Philips N.V. Automatic creation of a finding centric longitudinal view of patient findings

Also Published As

Publication number Publication date
EP3475858A1 (en) 2019-05-01
US11361530B2 (en) 2022-06-14
CN109564773B (zh) 2023-07-07
US20190325249A1 (en) 2019-10-24
WO2018001847A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN109564773A (zh) 用于自动检测关键图像的系统和方法
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US6901277B2 (en) Methods for generating a lung report
JP5264136B2 (ja) 医用診断支援装置及びその制御方法、ならびにコンピュータプログラム及び記憶媒体
US8799013B2 (en) Mammography information system
JP6546156B2 (ja) 画像注釈のグループ化
US20140219500A1 (en) Image reporting method
JP2009516551A (ja) 医用画像の定量的および定性的なコンピュータ支援分析方法およびシステム
JP6796060B2 (ja) 画像レポート注釈同定
KR20080021723A (ko) 컴퓨터­보조 검진을 위한 시스템 및 방법
EP2116974B1 (en) Statistics collection for lesion segmentation
US20170221204A1 (en) Overlay Of Findings On Image Data
US20210004960A1 (en) Display of medical image data
CN107072613A (zh) 基于纵向特征对感兴趣组织的健康状态的分类
US11830607B2 (en) Systems and methods for facilitating image finding analysis
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
US20130275124A1 (en) Generation of pictorial reporting diagrams of lesions in anatomical structures
US20230005580A1 (en) Document creation support apparatus, method, and program
JP5501491B2 (ja) 診断支援装置及び制御方法
US20220391599A1 (en) Information saving apparatus, method, and program and analysis record generation apparatus, method, and program
US20230410305A1 (en) Information management apparatus, method, and program and information processing apparatus, method, and program
CN110709888B (zh) 信息处理装置和用于控制信息处理装置的方法
Alzubaidi et al. Toward the detection of abnormal chest radiographs the way radiologists do it
US20230281810A1 (en) Image display apparatus, method, and program
US20220277134A1 (en) Document creation support apparatus, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant