CN114868198A - 用于即时图像质量反馈的系统和方法 - Google Patents

用于即时图像质量反馈的系统和方法 Download PDF

Info

Publication number
CN114868198A
CN114868198A CN202080088333.8A CN202080088333A CN114868198A CN 114868198 A CN114868198 A CN 114868198A CN 202080088333 A CN202080088333 A CN 202080088333A CN 114868198 A CN114868198 A CN 114868198A
Authority
CN
China
Prior art keywords
image
preview image
preview
image quality
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080088333.8A
Other languages
English (en)
Inventor
T·比罗
T·诺德霍夫
T·P·哈德尔
H·N·德什潘德
O·斯塔罗比尼茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114868198A publication Critical patent/CN114868198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30052—Implant; Prosthesis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种用于在医学成像检查期间提供图像质量反馈的装置(1)，包括至少一个电子处理器(20)，其被编程为：接收执行医学成像检查的成像设备(2)的成像设备控制器(4)的显示器(6)的实况视频馈送(17)；从实况视频馈送中提取预览图像(12)；对所提取的预览图像执行图像分析(38)以确定所提取的预览图像是否满足警告标准；以及当所提取的预览图像满足由图像分析确定的警告标准时输出警告(30)。

Description

用于即时图像质量反馈的系统和方法
技术领域
以下总体上涉及成像技术、图像评估技术、图像质量确定技术、实时反馈技术和相关技术。
背景技术
医学影像中的质量管理具有越来越重要的作用。通常的方法是执行周期性质量检查，其中由成像技术人员执行的成像检查的小子集被检查以评估质量并且向成像技术人员提供反馈。
虽然回顾性的质量评估提供了对反复出现的质量问题的洞察力，但关于质量问题的即时警告可以使技术人员在患者仍在场时能够在必要时重复成像程序。可以使用上载到绘图存档和通信系统(PACS)数据库的临床图像来执行接近实时图像质量评估。然而，在上载临床图像时，患者通常正进入检查后阶段并且正从成像设备被卸载，在此时获取较高质量的图像是不方便的或不可能的。
在提供即时图像质量反馈的另一种可能的方法中，成像设备控制器可以被修改以在上载到PACS之前在对临床图像执行临床图像质量评估。然而，成像设备控制器的这种广泛修改可能需要控制器的重新认证，这是昂贵的过程。此外，该方法不能以模式和厂商不可知的方式被应用。
下面公开了特定改进以克服这些问题和其它问题。
发明内容
在一个方面，一种用于在医学成像检查期间提供图像质量反馈的装置包括至少一个电子处理器，该电子处理器被编程为：接收执行医学成像检查的成像设备的成像设备控制器的显示器的实况视频馈送；从实况视频馈送中提取预览图像；对所提取的预览图像执行图像分析以确定所提取的预览图像是否满足告警标准；以及当所提取的预览图像满足由图像分析确定的警告标准时输出警告。
在另一方面，一种用于在一组图像上提供图像质量反馈的装置包括至少一个电子处理器；至少一个显示设备；以及视频电缆分路器，成像设备控制器的实况视频馈送经由视频电缆分路器在至少一个电子处理器处被接收。至少一个电子处理器被编程为：从经由视频线缆分路器接收的实况视频馈送中提取预览图像；对所提取的预览图像执行图像质量分析；以及当图像质量分析指示至少一个图像质量问题时输出警告。
在另一方面，一种用于在一组图像上提供图像质量反馈的方法包括：分接获取图像的成像设备的成像设备控制器的实况视频馈送；应用第一经训练的ML组件来从所分接的实况视频馈送的视频帧中检测预览图像；应用第二经训练的ML组件来提取预览图像；对所提取的预览图像执行图像分析以确定预览图像是否满足告警标准；以及当所提取的预览图像满足由图像分析确定的警告标准时输出警告。
一个优点在于以实时提供图像质量反馈。
另一个优点在于提供了一种以实时提供图像质量反馈的系统，而不需要针对不同的成像模式和模型配置系统。
另一个优点在于，在患者移动到工作流程中的后成像程序之前，对采集的患者图像提供图像质量反馈。
另一个优点在于对采集的患者图像提供图像质量反馈，而不需要修改成像设备控制器来这样做。
给定的实施例可以不提供前述优点、提供前述优点中的一个优点、两个优点、多个优点或所有优点，和/或可以提供其他优点，这对于本领域普通技术人员在阅读和理解本公开后将变得显而易见。
附图说明
本公开可以采取各种组件和组件的布置的形式以及各种步骤和步骤的布置的形式。附图仅用于说明优选实施例的目的，并且不应被解释为限制本公开。
图1示意性地示出了根据本公开的用于生成医院部门的当前操作工作流程性能的基准度量的说明性装置。
图2示出了由图1的装置执行的示例流程图操作。
图3示出了在图1的装置上显示的警告的示例。
具体实施方式
以下公开了一种用于在成像检查期间向成像技术人员提供即时图像质量反馈的系统。如本文中所认识的，针对许多类型的图像质量评估，临床图像实际上不是必需的。相反，在典型工作流程中在获取高分辨率临床图像之前获取的低分辨率预览图像实际上足以执行评估。例如，低分辨率预览图像足以检测图像质量问题，诸如不当患者定位、脑扫描中不当头部角度、特定运动伪影、使感兴趣的解剖特征太小的成像设置、对阻塞的医学植入物的检测等等。
所公开的系统被配置为分接成像设备控制器视频馈送，从视频馈送中检测并且提取预览图像，并且对所提取的预览图像执行图像质量分析。可以使用视频电缆分路器(例如，取决于视频馈送的类型的DVI分路器或HDMI分路器)或通过插入“外部视频输出”端口(如果可用的话)来分接视频馈送。这种方法在具有集成显示器的紧凑超声单元的情况下可能是适合的，其中使用视频分路器可能是不可行的。视频帧从所分接的视频馈送中被提取，这为后续分析提供了基础。由于视频馈送通常是以每秒30帧(fps)，因此所分析的帧可能是这个的小部分，例如，分析可以是例如以5fps。
连续的视频帧被分析以检测和提取预览图像。这需要两个部分：(i)确定被成像的模式/解剖结构(除非该信息是先验已知的，或者该系统被设计为仅针对特定的成像模式和/或被成像的解剖结构的结合而使用)；以及(ii)分析连续的视频帧直到预览图像被检测和提取。
第一步骤(i)可以以各种方式进行。在一种方法中，视频帧通过光学字符识别(OCR)被处理以检测标识模式和解剖结构的相关文本。这可能还需要通过图像匹配来检测图形元素(例如，显示在屏幕上的供应商标志、供应商特定术语、由成像设备控制器显示器呈现的成像的解剖结构的图形表示等)。
步骤(ii)然后应用卷积神经网络(CNN)或其他机器学习(ML)组件，其被训练以检测视频帧中的预览图像。应当注意，CNN可以处理许多(例如，数百个)视频帧，直到包含预览图像的视频帧在实况视频馈送中被检测。(前面的视频帧通常会描述用于输入患者信息和针对成像检查设置的GUI对话框)。一旦包含预览图像的视频帧被检测，预览图像就被提取。对包含预览图像的视频帧的检测和对预览图像的提取可以由相同的CNN或由不同的CNN来完成(例如，处理视频帧以检测包含预览图像的视频帧的快速第一CNN，以及仅应用于检测到的视频帧以提取预览图像的较慢第二CNN)。
针对步骤(ii)的CNN的训练是经验过程，但是经训练的CNN可能利用图像特性来用于检测和提取预览图像，诸如预览图像为具有暗边界的视频帧的矩形灰度级区域，连同大小特性和可能的位置特性(例如，特定厂商可能总是在屏幕的左侧显示预览图像)。在一个变体方法中，步骤(i)可以使用经训练的CNN以检测模式/解剖结构。在变体中，步骤(i)和步骤(ii)的CNN可以被组合，使得单个CNN可以被应用。此外，考虑使用除了ML之外的其他方法来用于执行步骤(i)和/或步骤(ii)，例如可以使用模式识别或诸如此类来检测包含预览图像的视口。
所提取的预览图像然后由至少一个、并且更常规地各种模式/解剖结构特定的机器学习(ML)组件(通常但不一定是CNN)处理，这些组件被训练以检测各种类型的图像质量问题(不当患者定位、不当头部角度、运动模糊、太小的对象大小、阻塞的医学植入物等)。虽然ML组件是说明性的实施例，但是更普遍地被设计以检测图像质量问题的任何类型的图像处理可以被应用。例如，可以通过应用边缘检测滤波器并且分析在经边缘滤波的图像中的边缘强度统计来检测运动模糊(在运动模糊将平均地削弱边缘强度的假设下)。类似地，可以应用图像分割来标识图像中的解剖结构的边界，并且然后可以将该边界与作为整体的图像的边界进行比较，以检测图像质量问题，诸如使解剖结构的图像太小的不当患者定位或图像设置。这些仅仅是示例。
当ML组件检测到图像质量问题时，警告被发出。在各种方法中，这可以是简单文本警告，陈述图像质量问题并且伴随有声音警报；一直到复杂的图形警告，其中所捕获的预览图像与突出图像质量问题的叠加的图形注释一起被显示(例如，如果阻塞的植入物被检测，则叠加的红色箭头可以指向植入物)。在一些情况下，警告可以提供从ML组件分析中确定的建议，例如“患者应该被定位在更右以在FOV中居中”，和/或指导位置可以被叠加的框指示。
所公开的系统可以是计算设备(例如，笔记本计算机、Raspberry Pi或其他单板计算机等)和(可能是集成的)显示器。这些组件与成像设备控制器分离，并且系统通过DVI分路器或DVI电缆与成像控制器的视频馈送被连接。显示器的选择取决于所选择的警告呈现，并且范围可以从用于简单文本警告的紧凑的纯文本LCD显示器到用于呈现图形警告的较大的彩色监测器。即使在后一种情况下，由于预览图像是低分辨率的(与临床图像相比)，彩色监测器不需要是大的高分辨率监测器；相反，小的5”或7”监测器可能就足够了。可选地，如果在控制室中存在与成像设备控制器分离但是位于成像设备控制器附近的任何其它类型的辅助计算机，则该计算机可以被馈送给控制器视频馈送并且被编程以提供所公开的即时图像质量反馈。
在本文公开的一些实施例中，检测图像质量问题的ML组件可以通过提供(有限的)计算机辅助诊断(CAD)功能的附加ML组件被扩大。因为预览图像具有低分辨率，所以这些CAD ML组件不被设想为用于提供临床诊断(例如，用于开发患者治疗)，或者甚至用于医生批准的诊断建议。然而，应用于低分辨率预览图像的CAD ML组件被预期以足以检测特定临床问题，诸如可能的肿瘤或病变、增大的心脏等，并且对应的警告然后可以推荐获得临床图像的即时放射科医师审阅，以在完成成像检查之前评估检测到的可能的临床问题。(或者，警告可以推荐获取附加的临床图像，例如检测到的可能的肿瘤的更高分辨率图像；然而，在许多成像实验室中，在没有来自放射科医师等的授权的情况下，成像技术人员不被允许来获取超出检查要求中指定的那些的图像。因此，如果放射科医师有权订购附加成像，则获得即时放射科医师审阅的建议可能更适当)。
在本文公开的其他实施例中，如果成像检查获取电影(CINE)临床图像序列并且预览示出了CINE预览图像序列，然后可以从实况视频馈送中提取CINE预览图像序列。在这种情况下，所提取的CINE预览图像序列本身可以被视为视频段(即，被裁剪为预览图像视口的视频段，并且可能以不同于30fps或其他实况视频馈送帧速率的帧速率)，并且作为输入被馈送至适当经训练的图像质量ML组件以检测CINE图像质量问题，诸如使用不足的CINE帧速率、不充分的检测到的运动(例如，在期望捕获心跳的心脏CINE图像序列的情况下，如果不足的运动被检测到，则这可能指示问题)等。
参考图1，示出了在成像检查期间向成像技术人员提供即时图像质量反馈的说明性装置1。装置1与图像采集设备2结合使用，图像采集设备2可以是(作为非限制性的说明性示例)磁共振(MR)图像采集设备，计算机断层摄影(CT)图像采集设备；正电子发射断层摄影(PET)图像获取设备；单光子发射计算机化断层显像(SPECT)图像获取设备；X射线图像获取设备；超声(US)图像采集设备；或另一模式的医学成像设备。成像设备2还可以是混合成像设备，诸如PET/CT成像系统或SPECT/CT成像系统。医学成像设备2经由成像设备控制器4被控制，成像设备控制器4包括显示器6和一个或多个用户输入设备10(例如键盘、跟踪板、鼠标等)，图形用户界面(GUI)8在显示器6上呈现给用户(例如成像技术人员)，用户经由用户输入设备10交互设置并且控制医学成像设备2以采集临床图像。
在设置以获取临床图像的过程中，GUI8被操作以使医学成像设备2获取并且显示预览图像12。预览图像12通常以比随后获取的(多个)临床图像更低的分辨率来被获取和被显示，但是针对用户来说足以验证正确的解剖结构正在进行成像、解剖结构被正确地定位、在图像中具有有用的大的大小(但不是太大)等等。当用户满意时，基于预览图像12和其他信息，成像设备2被正确地设置以获取(多个)期望的临床图像，用户操作GUI8以启动临床成像，在显示器6上查看所获取的临床图像，并且最终将最终的临床图像存储到绘图存档和通信系统(PACS)14或其他临床图像数据库。
图1还示出了用于在成像检查期间向用户(例如成像技术人员)提供即时图像质量反馈的装置1。尽管不是必须的，装置1优选地是与成像设备控制器4分离的设备。例如，装置1可以包括实现为笔记本计算机、平板计算机、Raspberry Pi或其他单板计算机等的计算机20，并且包括显示器22、电子处理器(例如，一个或多个微处理器)24和非瞬态存储介质26。(注意，在图1中示意性地示出了电子处理器24和非瞬态存储介质26，但它们通常是内部组件，例如容纳在计算机20的外壳内)。当可能的图像质量问题被检测时，显示器22呈现一个或多个警告30。可选地，装置1进一步包括扬声器28(例如安装在计算机20中或安装在计算机20上)，用于在呈现警告30时提供声音指示。
虽然装置1通常采用独立计算机20或诸如此类作为数据处理设备，但是可以设想针对在经由有线或无线数据通信连接与本地电子处理设备20连接的远程服务器(未示出)上实现在提供即时图像质量反馈(例如，计算上复杂的图像分析)中涉及的一些数据处理。远程服务器可以是经由医院电子网络和/或因特网与本地计算机20连接的医院服务器、云计算资源等。例如，独立计算机20与一个或多个成像设备控制器4(由对应数量的本地操作者或技术人员操作)通信。独立计算机20监控在一个或多个成像设备控制器4的每个位置处获取的图像，并且当在每个对应的本地操作者的地点处检测到图像质量问题时，可以针对本地操作者发出相应的警告30。
显示设备22可以是任何大小，但是为了提供作为紧凑单元的装置1，该紧凑单元可以方便地定位在成像设备控制器4旁边(或附近)，显示器22通常相对较小，例如5英寸显示器、10英寸显示器、12英寸显示器等。在一些实施例中，独立计算机20不具有任何用户输入设备(即，不类似于成像设备控制器4的键盘、鼠标或其它用户输入设备10)，尽管备选地设想计算机或其它电子处理设备20包括用于设置图像质量反馈软件或用于其它目的的键盘等。作为非限制性说明性示例，非瞬态存储介质26可以包括以下中的一项或多项：硬盘或其他磁存储介质、固态驱动器(SSD)，闪存或其他电子存储介质、光盘或其他光存储介质、其各种组合和/或诸如此类。
即时图像质量反馈装置1的电子处理设备20可操作地被连接以接收成像设备控制器4的显示器6的实况视频馈送17。在说明性实施例中，实况视频馈送17由视频电缆分路器34(例如，DVI分路器、HDMI分路器和诸如此类)提供。在其他实施例中，可以通过视频电缆来提供实况视频馈送17，该视频电缆将成像设备控制器4的辅助视频输出(例如，辅助视频输出)端口连接至即时图像质量反馈装置1的电子处理设备20。后一种方法可能是有用的，例如，如果成像设备2是具有集成显示器的小型超声成像设备，在这种情况下连接视频电缆分路器可能是不方便的，因为显示器的布线在这种情况下是到超声显示器的布线完全在超声成像设备机柜的内部，但是，在这种便携式超声成像设备中可以提供“辅助视频输出(auxvid out)”端口。在另一设想的实施例中，在成像设备控制器4和电子处理设备20上运行的屏幕共享软件向电子处理设备20提供实况视频馈送17。这些仅仅是说明性的示例。
即时图像质量反馈装置1的非瞬态存储介质26存储可以由装置1的至少一个电子处理器24(如前所述，其预期包括在局域网上或在因特网上的远程服务器或多个远程服务器)读取和执行的指令，以执行所公开的操作，包括执行用于在成像检查期间向成像技术人员提供即时图像质量反馈的方法或过程100。反馈方法或过程100包括预览图像提取器方法或(子)过程36，以及一个或多个图像分析38。在一些实施例中，工作站12的至少一个电子处理器20被编程为实现至少一个机器学习ML组件40、42(例如，一个或多个卷积神经网络(CNN))以从所分接的实况视频馈送17中提取预览图像12。在一些示例中，第一经训练的ML组件40被编程为检测实况视频馈送17的在帧中的预览图像12，而第二ML组件42被编程为从实况视频馈送的帧中提取预览图像12。在一些示例中，方法100可以至少部分地由云处理来执行。在一些示例中，方法100可以至少部分地由云处理来执行。
参考图2，并且继续参考图1，方法100的说明性实施例被图示为流程图。在使用医学成像设备2执行的医学成像检查的过程中执行方法100。在操作102处，电子处理设备20被编程为接收医学成像设备2的成像设备控制器10的实况视频馈送17，例如经由视频电缆分路器34。
在操作104处，电子处理设备20被编程为从包含预览图像的所分接的实况视频馈送17的视频帧中提取预览图像12。为此，至少一个电子处理器20被编程以确定成像设备2的模式和/或由成像设备成像的患者的解剖结构中的至少一项。例如，可以对实况视频馈送17执行OCR处理以标识模式和/或解剖结构的相关文本。在另一示例中，可以对实况视频馈送17执行图像匹配过程以得到标识模式和/或解剖结构的图形元素。
操作104有利地使装置1能够与许多不同的模式/成像的解剖结构结合使用。在一个示例中，所检测的模式可以是乳房X线照相术，其中通过涉及解剖标志(例如胸肌、皮肤线、乳头、乳房下角等)的检测和评估的已知方法来评估定位质量。在另一示例中，所检测的模式可以是射线照相术，并且所检测的解剖结构是胸部，其中在自动标识肺区域、锁骨和肋骨之后，视野、患者的角度和吸入状态被评估。在进一步的示例中，所检测的模式可以是CT，并且所检测的模式可以是头部，其中可以在给定的矢状切片的情况下评估患者定位的正确性。这些仅仅是非限制性的示例。在备选的方法中，如果装置1被设计为仅与特定的成像模式工作，则不需要确定模式，并且可以省略操作104的这个方面。同样地，如果装置1被设计成仅与特定的成像的解剖结构工作(例如，在专用的乳房X线照相术成像系统的情况下，解剖结构是乳房)，则不需要确定成像的解剖，并且可以省略操作104的这个方面。
基于确定的模式或成像的解剖结构部分，分析来自所分接的实况视频馈送17的视频帧以检测包含预览图像12的视频帧。为此，将至少一个经训练的ML组件(例如，CNN)40、42应用于所分接的实况视频馈送17以检测和提取预览图像12。在一个示例中，CNN40、42被配置为通过在所敲击的实况视频馈送17中标识以下各项中的至少一项来检测预览图像12：具有暗边界的矩形灰度区域、预览图像的大小特征以及预览图像的位置特征。在另一示例中，应用第一CNN 40以检测所分接的实况视频馈送17的视频帧中的预览图像12，并且应用第二CNN 42来提取预览图像。
在操作106处，工作站12被编程为对所提取的预览图像12执行图像分析38，以确定预览图像是否满足警告标准。通常地，图像分析38是对所提取的预览图像12执行的图像质量分析，以确定所提取的预览图像是否具有图像质量问题。例如，图像质量分析可以包括将至少一个经训练的ML组件40、42应用于所提取的预览图像，以确定所提取的预览图像12是否具有图像质量问题。在另一示例中，图像质量问题包括图像模糊，并且图像质量分析包括分析在预览图像12中的、由边缘检测滤波器过滤的边缘强度统计，以检测预览图像中的运动模糊。在另一示例中，图像质量问题包括不当患者定位，并且图像质量分析包括标识预览图像中的解剖结构边界并且将解剖结构边界与图像的其余部分进行比较以检测在成像设备2中的不当患者定位。在另一示例中，图像质量问题包括大小问题，并且图像质量分析包括标识在预览图像12中的解剖结构边界，并且将解剖结构边界与图像的其余部分进行比较以检测大小阈值以下的解剖结构图像大小。在另一示例中，图像质量问题包括阻塞植入物，并且图像质量分析包括标识在预览图像12中的植入物、标识在预览图像中的感兴趣的解剖结构、以及检测在预览图像中阻塞所标识的感兴趣的解剖结构的所标识的植入物阻塞。这些仅仅是用于检测各种图像质量问题的图像质量分析的说明性示例。应当理解，操作106可以执行各种图像质量分析以检测各种类型的图像质量问题，从而提供全面的即时图像质量反馈。在一些实施例中，基于确定的模式和/或成像的解剖结构来选择图像分析(在操作104处)。
为了提供附加的和/或备选的功能，图像分析106可以可选地包括计算机辅助诊断(CAD)图像分析以检测包括由CAD图像分析输出的建议临床诊断的警告标准。临床诊断的示例可以包括一个或多个信息，诸如，例如指示“在肺中检测到的可能的损伤。建议在完成成像检查前由放射科医师进行审查。”或“检测到可能的主动脉瓣狭窄。建议在完成成像检查前由放射科医师进行审查。”
在一些实施例中，提取操作104包括从所分接的实况视频馈送17中提取包括电影(CINE)预览图像序列的预览图像38，该电影预览图像序列包括多个连续的视频帧。在这种情况下，图像分析操作106可以包括对提取的CINE预览图像38执行图像分析，以确定预览图像是否满足警告标准。例如，可以对所提取的电影预览图像执行图像分析，以确定由所提取的电影预览图像捕获的解剖运动是否满足警告标准(例如，取决于成像所针对的临床应用，运动太多或者运动太少)。解剖运动的一些非限制性示例可以是心脏周期运动，并且警告标准可以是由电影预览捕获的心脏周期运动的强度太弱(或者太强，如果目标是对不受心脏周期运动影响的区域进行成像)。
在操作108处，工作站12被编程为当所提取的预览图像满足由图像分析所确定的警告标准时输出警告30。为此，执行图像分析以检测在所提取的预览图像38中的至少一个图像质量问题。CNN 36可以被应用于检测至少一个图像质量问题。例如，CNN 36被编程为执行以下操作，包括：(i)分析预览图像中的、由边缘检测滤波器滤波的边缘强度统计，以检测在预览图像38中的运动模糊；(ii)标识在预览图像中的解剖结构边界，并且将解剖结构边界与图像的其余部分进行比较，以检测成像设备2中的不当患者定位；(ii)标识预览图像中的解剖结构边界，并且将解剖结构边界与图像的其余部分进行比较，以检测大小阈值以下的图像设置；以及诸如此类。
警告30被输出以指示至少一个图像质量问题满足警告标准。警告30可以是任何合适的警告，包括例如在工作站12的显示设备24上或在屏幕32上的文本警告、经由扬声器28的声音警告、在装置1的显示器22上显示的在所提取的预览图像上的图形注释等等。
图3示出了如在显示设备22上所示的警告30的示例。如图3所示，警告30可以是文本消息(例如，“乳房被侧面地截取”、“乳头不在轮廓中”等)。此外，警告30可以包括针对成像设备2的本地操作者来解决问题(例如，“考虑重新定位”)的建议。
已经参考优选实施例描述了本公开。在阅读和理解前面的详细描述之后，其他人可以产生修改和变更。示例性实施例旨在被解释为包括所有这样的修改和改变，只要它们在落入所附权利要求或其等同物的范围内。

Claims (20)

1.一种用于在医学成像检查期间提供图像质量反馈的装置(1)，所述装置包括至少一个电子处理器(20)，所述电子处理器(20)被编程为：
接收执行所述医学成像检查的成像设备(2)的成像设备控制器(4)的显示器(6)的实况视频馈送(17)；
从所述实况视频馈送中提取预览图像(12)；
对所提取的所述预览图像执行图像分析(38)以确定所提取的所述预览图像是否满足警告标准；以及
当所提取的所述预览图像满足由所述图像分析确定的所述警告标准时，输出警告(30)。
2.根据权利要求1所述的装置(1)，其中所述至少一个电子处理器(20)被编程为通过以下来提取所述预览图像(12)：
确定所述成像设备(2)的模式以及由所述成像设备所成像的患者的解剖结构中的至少一项；
分析所述实况视频馈送(17)的视频帧，以检测包含所述预览图像的视频帧；以及
从检测到的所述视频帧中提取所述预览图像。
3.根据权利要求2所述的装置(1)，其中确定所述成像设备(2)的模式和由所述成像设备所成像的患者的解剖结构中的至少一项包括以下中的至少一项：
对所述实况视频馈送(17)执行光学字符识别(OCR)过程以检测标识了所述模式和/或所述解剖结构的相关文本；以及
对所述实况视频馈送执行图像匹配过程以检测标识了所述模式和/或所述解剖结构的图形元素。
4.根据权利要求2和3中任一项所述的装置(1)，其中对所述实况视频馈送(17)的分析以及对所述预览图像的提取包括：
将至少一个经训练的机器学习ML组件(40，42)应用于所述实况视频馈送的视频帧，以进行以下中的至少一项：检测包含所述预览图像的所述视频帧以及提取所述预览图像。
5.根据权利要求4所述的装置(1)，其中应用至少一个经训练的ML组件(40，42)包括：
应用第一经训练的ML组件(40)以检测包含所述预览图像(12)的所述视频帧；以及
应用第二经训练的ML组件(42)以从检测到的所述视频帧中提取所述预览图像。
6.根据权利要求1至5中任一项所述的装置(1)，其中所述至少一个电子处理器(20)进一步被编程为：
确定所述成像设备(2)的模式和由所述成像设备所成像的患者的解剖结构中的至少一项；以及
基于所确定的所述模式和/或所确定的所述解剖结构来选择所述图像分析。
7.根据权利要求1至6中任一项所述的装置(1)，其中所述图像分析(38)的执行包括：
对所提取的所述预览图像(12)执行图像质量分析以确定所提取的所述预览图像是否具有图像质量问题；以及
当所提取的所述预览图像具有由所述图像质量分析确定的所述图像质量问题时，输出指示所述图像质量问题的所述警告(30)。
8.根据权利要求7所述的装置(1)，其中所述图像质量分析包括将至少一个经训练的ML组件(40，42)应用于所提取的所述预览图像(12)以确定所提取的所述预览图像是否具有所述图像质量问题。
9.根据权利要求8所述的装置(1)，其中所述图像质量问题包括图像模糊，并且所述图像质量分析包括：
分析在所述预览图像(12)中的、由边缘检测过滤器过滤的边缘强度统计，以检测在所述预览图像中的运动模糊。
10.根据权利要求7至9中任一项所述的装置(1)，其中所述图像质量问题包括不当患者定位，并且所述图像质量分析包括：
标识在所述预览图像(12)中的解剖结构边界并且将所述解剖结构边界与所述图像的其余部分进行比较，以检测在所述成像设备(2)中的不当患者定位。
11.根据权利要求7至10中任一项所述的装置(1)，其中所述图像质量问题包括大小问题，并且所述图像质量分析包括：
标识在所述预览图像(12)中的解剖结构边界并且将所述解剖结构边界与所述图像的其余部分进行比较，以检测比大小阈值低的解剖结构图像大小。
12.根据权利要求7至11中任一项所述的装置(1)，其中所述图像质量问题包括阻塞的植入物，并且所述图像质量分析包括：
标识在所述预览图像(12)中的植入物，标识在所述预览图像中的感兴趣的解剖结构、以及检测在所述预览图像中阻塞了经标识的所述感兴趣的解剖结构的经标识的所述植入物。
13.根据权利要求1至12中任一项所述的装置(1)，其中所述图像分析(38)包括计算机辅助诊断CAD图像分析以检测所述警告标准，所述警告标准包括由所述CAD图像分析输出的建议的临床诊断。
14.根据权利要求1至13中任一项所述的装置(1)，其中：
所述提取包括从所述实况视频馈送(17)提取所述预览图像(12)，所述预览图像包括电影预览图像序列；以及
所述图像分析的所述执行包括对所提取的所述电影预览图像执行所述图像分析，以确定由所提取的所述电影预览图像捕获的解剖结构运动是否满足所述警告标准。
15.根据权利要求1至13中任一项所述的装置(1)，进一步包括：
至少一个显示设备(22)，所述至少一个显示设备不是所述成像设备控制器(10)的显示器；以及
视频电缆分路器(34)，所述至少一个电子处理器(20)经由所述视频电缆分路器接收所述成像设备控制器的所述实况视频馈送(17)。
16.一种用于在一组图像上提供图像质量反馈的装置(1)，所述装置包括：
至少一个电子处理器(20)；
至少一个显示设备(22)；以及
视频电缆分路器(34)，成像设备控制器的实况视频馈送经由所述视频电缆分路器在所述至少一个电子处理器处被接收；
其中所述至少一个电子处理器被编程为：
从经由所述视频线缆分路器接收的所述实况视频馈送提取预览图像(12)；
对所提取的所述预览图像执行图像质量分析；以及
当所述图像质量分析指示至少一个图像质量问题时输出警告(30)。
17.根据权利要求16所述的装置(1)，其中所述至少一个电子处理器(20)被编程为通过以下提取所述预览图像(12)：
确定所述成像设备(2)的模式和由所述成像设备所成像的患者的解剖结构中的至少一项：；
分析所述实况视频馈送(17)的视频帧以检测包含所述预览图像的视频帧。
18.根据权利要求16和17中任一项所述的装置(1)，其中分析所述实况视频馈送(17)的视频帧以检测所述预览图像(12)包括：
将至少一个经训练的机器学习ML组件(40，42)应用于所述实况视频馈送的视频帧以检测和提取所述预览图像。
19.根据权利要求16至18中任一项所述的装置(1)，其中所述至少一个电子处理器(20)被编程为当所提取的所述预览图像(12)满足警告标准时，通过以下中的至少一项来输出所述警告(30)：
在至少一个显示设备(22)上输出文本警告；
经由扬声器(28)输出可听警告；以及
在所述至少一个显示设备上输出具有叠加的图形注释的所述预览图像。
20.一种用于在一组图像上提供图像质量反馈的方法(100)，所述方法包括：
分接获取所述图像的成像设备(2)的成像设备控制器(4)的实况视频馈送(17)；
应用第一经训练的机器学习ML组件(40)以从所分接的所述实况视频馈送的视频帧检测预览图像(12)；
应用第二经训练的ML组件(42)以提取所述预览图像；
对所提取的所述预览图像执行图像分析(38)以确定所述预览图像是否满足警告标准；以及
当所提取的所述预览图像满足由所述图像分析确定的所述警告标准时，输出警告(30)。
CN202080088333.8A 2019-12-20 2020-12-11 用于即时图像质量反馈的系统和方法 Pending CN114868198A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962951237P 2019-12-20 2019-12-20
US62/951,237 2019-12-20
PCT/EP2020/085658 WO2021122342A1 (en) 2019-12-20 2020-12-11 Systems and methods for immediate image quality feedback

Publications (1)

Publication Number Publication Date
CN114868198A true CN114868198A (zh) 2022-08-05

Family

ID=74125143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080088333.8A Pending CN114868198A (zh) 2019-12-20 2020-12-11 用于即时图像质量反馈的系统和方法

Country Status (5)

Country Link
US (1) US20230029070A1 (zh)
EP (1) EP4078613A1 (zh)
JP (1) JP2023506298A (zh)
CN (1) CN114868198A (zh)
WO (1) WO2021122342A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210299376A1 (en) * 2020-03-25 2021-09-30 Covidien Lp Proximity-based remote viewing and control of a ventilator
WO2023110507A1 (en) * 2021-12-13 2023-06-22 Koninklijke Philips N.V. Artificial intelligence (ai)-based automatic detection of quality and workflow issues in diagnostic image acquisition
EP4195217A1 (en) * 2021-12-13 2023-06-14 Koninklijke Philips N.V. Support tools for radiologist image review for immediate feedback
USD1018587S1 (en) * 2022-03-15 2024-03-19 Exo Imaging, Inc. Computer display panel with graphical user interface
USD1018586S1 (en) * 2022-03-15 2024-03-19 Exo Imaging, Inc. Computer display panel with graphical user interface

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117289B2 (en) * 2011-11-11 2015-08-25 Konica Minolta, Inc. Medical imaging system, medical image processing apparatus, and computer-readable medium
US20170265836A1 (en) * 2015-07-15 2017-09-21 Medic Vision Imaging Solutions Ltd. Computed tomography radiation dose checker
JP7252122B2 (ja) * 2016-11-23 2023-04-04 コーニンクレッカ フィリップス エヌ ヴェ 医療撮像装置、及び、画像取得方法を行うように少なくとも１つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体

Also Published As

Publication number Publication date
EP4078613A1 (en) 2022-10-26
US20230029070A1 (en) 2023-01-26
WO2021122342A1 (en) 2021-06-24
JP2023506298A (ja) 2023-02-15

Similar Documents

Publication Publication Date Title
US20230029070A1 (en) Systems and methods for immediate image quality feedback
DE10311319B4 (de) Verfahren, System und Computerprodukt zur Planung eines Herzinterventionsverfahrens
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US11759110B2 (en) Camera view and screen scraping for information extraction from imaging scanner consoles
US12070356B2 (en) Medical imaging apparatus to automatically determine presence of an abnormality including a determination to transmit an assistance image and a classified abnormality stage
US20220366562A1 (en) Medical image analysis apparatus and method, and medical image visualization apparatus and method
US10115037B2 (en) Patient identification using dynamic medical images
CN116472590A (zh) 用于专业成长和操作改进的技术专家评估
CN115311191A (zh) 使用深度学习估计的扫描方案遮罩来生成三维解剖结构扫描的重新格式化视图
US11551351B2 (en) Priority judgement device, method, and program
CN112862752A (zh) 一种图像处理显示方法、系统电子设备及存储介质
US10007976B2 (en) Image processing apparatus, medical image diagnostic apparatus, and x-ray diagnostic apparatus
EP3641650B1 (en) Method and system for image analysis of a medical image
CN111753831A (zh) 一种图像分析方法、装置、图像采集设备及存储介质
US9483833B2 (en) Real-time, interactive image analysis
EP4094223A1 (en) Weakly supervised lesion segmentation
WO2020066132A1 (ja) 医用画像診断支援装置、方法及びプログラム
US20230298745A1 (en) Instant scout scan checker
JP2007330419A (ja) 画像表示装置および方法並びにプログラム
US20220319030A1 (en) Apparatus and method for configuring scan parameters
EP4195217A1 (en) Support tools for radiologist image review for immediate feedback
CN111803111B (zh) 一种脑部血管显示装置及方法
CN117981004A (zh) 用于数据采集参数推荐和技术人员训练的方法与系统
WO2023110507A1 (en) Artificial intelligence (ai)-based automatic detection of quality and workflow issues in diagnostic image acquisition
WO2024061908A1 (en) Systems and methods for automatic state estimation of a current imaging exam using user actions on a console screen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination