CN116194045A - 用于提供二次医学成像源的方法 - Google Patents

用于提供二次医学成像源的方法 Download PDF

Info

Publication number
CN116194045A
CN116194045A CN202180062203.1A CN202180062203A CN116194045A CN 116194045 A CN116194045 A CN 116194045A CN 202180062203 A CN202180062203 A CN 202180062203A CN 116194045 A CN116194045 A CN 116194045A
Authority
CN
China
Prior art keywords
ultrasound
image
images
imaging
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180062203.1A
Other languages
English (en)
Inventor
A·A·J·德兰格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116194045A publication Critical patent/CN116194045A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种方法提供在医学流程期间使用的感兴趣解剖区域的二次成像的源。该方法基于对象或身体在解剖区域内移动过程中提前采集解剖区域的二次成像模态中的参考图像的集合。经由相对于感兴趣解剖结构固定的预定义参考点的位移的测量来索引参考图像内的对象的不同移动位置。这是使用超声成像探头来测量的，其与二次成像模态同时对解剖区域进行成像。与每幅图像帧一起记录每幅参考图像的检测到的参考点位置。在介入期间，再次使用超声图像探头，优选地设置在相对于解剖结构的相同位置，并且在流程期间捕获相同解剖结构的图像。可以基于使用超声图像测量参考点位移并查询相关联图像的数据集来实时调用参考图像。这可以与每幅超声图像帧一起显示，或者代替每幅超声图像帧显示。

Description

用于提供二次医学成像源的方法
技术领域
本发明涉及一种用于提供解剖结构的二次医学成像源的方法，特别是用于在医学流程期间使用的方法。
背景技术
可以在医学流程期间执行医学成像以向临床医师提供视觉指导。例如，它可以在介入流程期间执行以提供为介入的对象的解剖结构(例如包含病变或肿瘤(或其他感兴趣对象)的区域)的可视化。
可以实时提供医学成像。理想地，成像提供高空间和时间分辨率。这在对由于自然运动动作或周期(例如肺、肝或心脏的运动)而在身体内经受移动的解剖区域进行成像的情况下是特别重要的。这里，经受介入的解剖结构可能连续移动，并且因此高时间分辨率成像是期望的。
高空间分辨率提供更高水平的空间细节。这对于需要与解剖特征的精确交互的介入尤其重要。
利用诸如MRI、CT和荧光透视C型臂设备的成像模态可以获得足够高的空间分辨率。然而，MRI和CT扫描器由于设备的尺寸和针对对患者执行介入流程的有限可访问性而对实时成像造成问题。C型臂荧光透视具有以下缺点：它发射有害辐射，并且因此作为在相对长的流程期间连续成像的选择是不理想的。
相比之下，超声成像是紧凑的、非电离的并且具有更高的时间分辨率。然而，超声图像的空间分辨率相当低。
因此，能够提供对感兴趣区域的既高空间分辨率又高时间分辨率的成像，同时又是紧凑且非电离的成像方法将是期望的。
多模态成像是在流程期间提供实况成像的另一示例方法。这包括成像模态的组合。示例包括用于准确定位肿瘤的组合的PET和CT扫描。然而，就大的设备尺寸而言，这仍然存在与单独的CT相同的缺点。
另一示例包括将实况荧光透视(C型臂设备)与注释的先前CT扫描相结合以定位和处置感兴趣区域。
然而，实况图像和先前的CT或MRI扫描成像的配准是复杂的并且在计算上要求很高。由于必须应用复杂的图像处理算法，其可能提供错误的配准，因此它通常也是不准确的。它通常还基于刚体结构，诸如椎骨柱，以提供用于配准的界标。因此，对于纯柔软的身体结构，它不太有用。此外，基于提前记录的图像数据和实况数据的移动结构的实况配准更加复杂。
因此，仍然需要一种能够提对感兴趣区域的既高空间分辨率又高时间分辨率的成像，同时又是紧凑且非电离的，并且不需要复杂的实时图像配准流程的成像方法。
发明内容
本发明由权利要求限定。
根据依据本发明的一个方面的示例，提供了一种提供患者的移动的感兴趣解剖目标的二次成像的源的方法，所述方法包括：
接收表示包含所述解剖目标的区域的一系列超声图像，所述图像对应于成像时段内的不同时间点；
针对每幅超声图像确定预定义参考点在关于所述超声成像视场固定的参考帧内的位移，所述预定义参考点相对于所述解剖目标是固定的；
访问包括表示处于不同移动位置的所述解剖目标的参考图像的集合的数据集，所述参考图像对应于与所述超声图像不同的成像模态，并且其中，每幅参考图像在所述数据集中与所述对象上的所述参考点的在关于所述参考成像视场固定的参考帧内的对应的记录的位移相关联；
针对每幅接收到的超声图像，基于所确定的接收到的图像中的所述参考点的位移来选择所述参考图像中的至少一幅参考图像；并且
针对每幅接收到的超声图像生成表示所选择的参考图像的输出，所述输出提供二次成像的源。
所述参考图像优选地具有比接收到的超声图像更高的空间分辨率。
根据本发明的实施例的方法是在对象的移动过程中在时间窗口内使用二次(优选地更高空间分辨率)成像模态提前提前采集解剖目标的图像集合。在高质量成像采集的同时，还采集同一解剖区域的超声图像，并且还采集相同解剖区域的超声图像，并且在超声图像内跟踪相对于成像解剖结构具有固定位置的参考点的位移。对于每个采集的高分辨率图像，记录超声图像中的参考点的位移，从而形成包括解剖目标在不同移动位置的高分辨率图像的数据集，并且每幅图像与超声图像中的参考点的位移相关联。
以上内容表示设置或校准或采集阶段。
随后，在检索阶段期间(例如，在介入流程期间)，不连续地操作高分辨率成像模态。替代地，连续地或循环地采集超声图像，并且针对每幅采集的图像，识别参考点的位移，并且从数据集中检索相关联的高分辨率参考图像并将其显示给临床医师。
该方法避免了对实时超声成像与所存储的参考图像之间的实时配准的需要。替代地，通过使用参考点位移间接地实现两者之间的配准。可以基于参考点位移的单个测量变量来识别空间配准的二次图像。
在检索阶段期间的超声探头可以被配置为与在采集阶段期间相对于患者解剖结构处于相同的物理姿态(位置和取向)，或在检索阶段期间的探头的视场参考帧与设置阶段期间的视场参考帧之间可以存在已知的映射。以此方式，在调用阶段中采集的超声图像中的参考点的测量位移将与针对参考图像的记录位移配准。
上面提到的“相对于参考成像视场固定的参考帧”可以与“相对于超声成像视场固定的参考帧”相同。它可以由与超声成像视场的坐标系相同的坐标系来定义，或可以由与超声成像坐标系不同但具有与超声成像坐标系的已知映射或配准的坐标系来定义。
应注意，尽管参考点被提及，但这可以意指单个点或线(例如解剖结构(诸如器官)的边缘)、或区域或体积。因此，贯穿本公开对参考点的引用应当被理解为对点、线、区域或体积中的任一个的引用。
超声成像可以是2D或3D超声成像。二次成像模态可以是2D或3D的。
所述方法还可以包括在显示设备上显示每幅选择的参考图像。所述方法可以任选地包括与对应的接收到的超声图像同时显示每幅选择的参考图像。
如果在介入流程期间实时执行该方法，则这允许临床医师导出解剖区域的实时实况成像(根据超声图像)以及所述区域的(优选地更高空间分辨率)提前采集的图像两者的益处。
根据一个或多个实施例，在介入流程期间可以实时接收超声图像。例如，可以从超声成像换能器单元(例如探头)或超声换能器单元耦合到的超声成像装置接收图像。
所述解剖目标可以是周期性移动的解剖目标。所述成像时段可以对应于所述解剖目标的一个或多个移动周期。
所存储的数据集可以包括与跨越所述解剖目标的完整移动周期的一系列时间点相对应的所述参考图像的集合。
因此，在该组实施例中，参考数据集有效地形成解剖目标的完整移动周期的校准的参考图像序列。
如所讨论的，参考图像的所述数据集可以是先前在校准或采集阶段期间针对相同解剖目标采集的图像，并且其中，针对每幅参考图像的所述参考点的所述相关联的位移是在同时采集的超声图像中记录的相对于所述超声成像视场固定的参考帧的位移。
用于在校准阶段中记录位移的参考帧可以与在检索阶段中使用的超声成像视场的参考帧相同。超声成像视场可以具有与其相关联的坐标系。可以关于该坐标系来表示每幅接收到的超声图像中的参考点的所确定的位移。数据集中的每幅参考图像的记录的参考点位移也可以根据相同的坐标系记录，从而使得能够在检索阶段期间容易地查找针对参考点的给定测量位移的对应参考图像。
替代地，可以在校准阶段和检索阶段中的超声视场坐标系之间应用映射或变换。
所述超声图像可以是从超声成像装置接收的，所述超声成像装置包括相对于所述患者解剖结构处于固定姿态的超声换能器单元(例如，探头)。所述超声换能器单元可以由支撑框架保持，所述支撑框架允许所述探头的姿态的调整和可释放的固定。
在一些实施例中，支撑框架可以适于生成包括姿态指示符的数据输出，该姿态指示符指示框架(或保持在框架内的探头)的当前姿态位置。这允许例如超声成像探头的坐标系被精确地跟踪和控制，从而允许在参考数据集中的记录的参考点位移与在检索阶段期间的测量的位移之间执行配准(如果必要的话)。替代地，它可以用于确保校准阶段和检索阶段中的每个阶段中的超声视场匹配。在一些示例中，它还可以用于配准超声成像和二次成像模态的坐标系。
根据一个或多个实施例，所述方法还可以包括响应于检测到所确定的所述参考点在接收到的图像中的位移与所述数据集中的所述参考图像中的任一个的所记录的参考点位移不匹配并且在所述参考图像中的第一参考图像与所述参考图像中的第二参考图像的所记录的参考点位移中间，生成插值参考图像。在这种情况下，所述插值参考图像可以是基于所述参考图像中的所述第一参考图像与所述第二参考图像之间的插值来生成的。
这提供了进一步增加二次成像的源的时间分辨率的技术益处，因为即使数据集缺少对应于特定移动位置的提前存储的图像，也可以在解剖结构的每个可能的移动位置处输出二次图像。
本发明的另一方面提供了一种执行上述校准或采集阶段的方法。
特别地，本发明的另一方面提供了一种生成用于提供二次成像的源的移动解剖目标的参考图像的数据集的方法。所述方法包括在在所述成像时段内使用第一成像模态采集包含相同解剖目标的解剖区域的一系列超声图像。所述方法还包括，在采集所述一系列第一图像的同时，在所述成像时段内采集包含相同解剖目标的区域的一系列超声图像，其中，所述第一成像模态与所述超声图像的成像模态不同。所述方法还包括，针对所述超声图像中的每幅超声图像，确定相对于所述解剖目标固定的预定义参考点在关于所述超声成像视场固定的参考帧内的位移。所述方法还包括，针对所述第一图像中的每幅第一图像，在数据集中存储所述第一图像的表示和与所述第一图像同时采集的所述超声图像中的一幅超声图像内的所确定的所述参考点的位移的相关联的记录，从而生成参考成像数据集以用于提供二次成像的源。
因此，该方法定义了其中采集参考图像的数据集的校准或设置阶段。该方法中的“第一图像”对应于先前定义的检索阶段的参考图像。
所述方法可以还包括将所述超声成像参考帧的坐标系与所述二次成像模态参考帧的坐标系配准的步骤。在该背景下的配准意味着超声图像和二次图像都被放置在相同的几何参考帧(坐标系)中。这对于可视化目的可能是有用的，使得超声图像和参考图像对应于解剖结构的相同区域。例如，这意味着可以根据某些实施例以相同的尺寸、取向、空间位置一起观看两幅图像集，并且甚至可以在视觉上叠加(融合)。
根据一个或多个实施例，正被成像的解剖目标可以是周期性移动的解剖目标，并且其中，成像时段对应于解剖目标的一个或多个移动周期。例如，所存储的第一图像(参考图像)的数据集可以包括与跨越解剖目标的完整移动周期的一系列时间点相对应的所述第一图像的集合。
该方法可以包括在解剖目标的多个移动周期内采集图像数据，并且基于来自多个移动周期的图像数据生成针对单个移动周期的平均或聚合数据集。例如，在每个移动周期中，二次成像模态可以捕获对应于周期中与先前成像周期相比略微不同的时间点或阶段的图像帧。因此，在一组多个周期中，可以汇编更全面的二次图像数据集(更多时间点)。
根据一个或多个实施例，本发明的方法可以包括根据上面概述或下面描述的任何示例或实施例或根据本申请的任何权利要求执行校准或设置阶段，并且还可以包括在校准阶段之后执行检索阶段。检索阶段可以根据上面概述或下面描述的任何示例或实施例、或根据本申请的任何权利要求。在所述校准或设置阶段中生成的所述参考成像数据集被用作所述检索阶段中的所述参考图像的数据集。
例如，在有利的示例中，在相同的单个介入流程期间执行两个阶段。
根据本发明的另一方面的示例提供了一种被布置为提供患者的移动的感兴趣解剖目标的二次成像的源的处理装置。所述处理装置适于接收表示包含所述解剖目标的区域的一系列超声图像，所述图像对应于成像时段内的不同时间点。所述处理装置还适于针对每幅超声图像确定关于所述解剖目标固定的预定义参考点在关于所述超声成像视场固定的参考帧内的位移。所述处理装置还适于访问包括表示处于不同移动位置的所述解剖目标的参考图像的集合的数据集，所述参考图像具有与所述超声图像不同的成像模态，并且其中，每幅参考图像在所述数据集中与所述对象上的所述参考点在关于所述参考成像视场固定的参考帧内的对应的记录的位移相关联。所述处理装置还适于针对每幅接收到的超声图像，基于所确定所述参考点在所述接收到的图像中的位移来选择所述参考图像中的至少一幅参考图像。所述处理装置还适于针对每幅接收到的超声图像生成表示所选择的参考图像的输出，所述输出提供二次成像的源。
换句话说，所述处理装置适于执行根据上面概述或下面描述的任何示例或实施例或根据本申请的任何权利要求的二次成像方法的检索阶段。
任选地，所述处理装置还可以包括存储参考图像的所述数据集的数据存储设备。替代地，所述数据存储设备可以在处理装置的外部。所述处理装置可以包括执行处理功能的一个或多个处理模块，并且其中，所述一个或多个处理模块包括用于与数据存储设备通信以访问数据集的输入端/输出端。
本发明的另一方面可以提供一种处理装置，所述处理装置适于执行根据上面概述或下面描述的任何示例或实施例或根据本申请的任何权利要求所阐述的方法的设置或校准阶段。
可以提供一种适于执行所述方法的两个阶段的处理装置：首先是设置阶段，然后是检索阶段。所述处理装置可以适于响应于接收到输入触发信号而执行所述设置阶段，所述输入触发信号可以例如从用户接口接收(例如，临床医师在介入流程期间的选定时刻触发所述设置阶段的执行或重新执行)。
根据本发明的另一方面的示例提供了一种系统。所述系统包括根据上面概述或下面描述的任何示例或实施例或根据本申请的任何权利要求的处理装置。所述系统还包括超声成像装置，所述超声成像装置包括超声换能器单元，所述成像装置用于采集所述解剖体的超声图像，并且被布置为将所采集的超声图像传送到所述控制单元。所述超声换能器单元可以是例如超声探头。
所述系统还可以包括支撑框架，所述支撑框架被布置为将所述超声换能器单元相对于所述患者解剖结构以可调制的姿态可释放的固定。所述支撑框架可以适于生成包括指示所述框架的当前姿态位置的姿态指示符的数据输出。
这允许例如超声成像探头的坐标系被精确地跟踪和控制，从而允许在参考数据集中的记录的解剖位移与在调用阶段期间的测量的位移之间执行配准。
本发明的这些和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并将参考下文描述的(一个或多个)实施例得以阐述。
附图说明
为了更好地理解本发明并且为了更清楚地示出它可以如何被实施，现在将会仅以示例的方式参考附图，其中：
图1示出了根据本发明的第一方面的一个或多个实施例的示例方法的步骤；
图2图示了根据本发明的一个或多个实施例的示例工作流程；
图3示意性地图示了示例参考成像数据集；
图4示出了根据本发明的第二方面的一个或多个实施例的示例方法的步骤；
图5图示了根据本发明的第二方面的一个或多个实施例的示例工作流程；
图6示意性地图示了针对覆盖周期性移动的对象的完整移动周期的成像时段的示例参考成像数据集；
图7示意性地图示了汇编数据集的形成，该汇编数据集包括在周期性移动对象的两个不同移动周期中的每个移动周期内在不同相位点处捕获的参考图像；
图8示意性地图示了用于被成像对象的移动位置的二次图像的插值，该移动位置是两个记录的参考图像的中间移动位置；
图9示意性地图示了用于检测和跟踪接收到的超声图像内的参考线的位移的一个示例方法内的步骤；
图10示意性地图示了用于检测和跟踪接收到的超声图像内的参考线的位移的图9的示例方法内的另一步骤；并且
图11图示了用于检测和跟踪所接收的超声图像内的参考线的位移的示例方法的一个步骤内的不同阶段的效果。
具体实施方式
将参考附图来描述本发明。
应当理解，详细描述和具体示例在指示装置、系统和方法的示例性实施例的同时，仅旨在用于图示的目的，而不旨在限制本发明的范围。根据以下描述、所附权利要求和附图将更好地理解本发明的装置、系统和方法的这些和其他特征、方面和优点。应当理解，附图仅仅是示意性的，并未按比例绘制。还应当理解，在整个附图中使用相同的附图标记来表示相同或相似的部件。
本发明提供了一种用于提供在医学流程期间使用的感兴趣解剖区域的二次成像的源的方法。该方法基于在区域内的对象或身体的移动过程中提前采集解剖区域的二次成像模态中的参考图像的集合。经由相对于感兴趣解剖结构固定的预定义参考点的位移的测量来索引参考图像内的对象的不同移动位置。这是使用超声成像探头来测量的，所述超声成像探头利用二次成像模态同时对解剖区域进行成像。与每个图像帧一起记录每幅参考图像的检测到的参考点位置。在介入期间，再次使用超声图像探头，优选地设置在相对于解剖结构的相同位置，并且在流程期间捕获相同解剖结构的图像。可以基于使用超声图像测量参考点位移并查询相关联图像的数据集来实时调用参考图像。这可以与每个超声图像帧一起显示，或者代替每个超声图像帧显示。
总体方法能够被分成两个主要阶段：设置或校准阶段和调用或检索阶段，在设置或校准阶段中采集参考图像数据集，在调用或检索阶段中基于解剖结构的位置的实时超声测量来检索参考图像。
图1以框图形式概述了根据本发明的第一方面的用于执行检索阶段的方法的基本步骤。在参考图2中所示的示例性工作流程更深入地描述每个步骤之前，将首先概括地概述这些步骤。
该方法用于提供患者8的移动的感兴趣解剖目标22的二次成像的源。
该方法包括接收12表示包含解剖目标的区域的一系列超声图像44，所述图像对应于成像时段内的不同时间点。
该方法还包括针对每幅超声图像确定14解剖目标22上或相对于解剖目标固定的位置处的预定义参考点24在相对于超声成像视场固定的参考帧内的位移54。
该方法还包括访问16数据集60，所述数据集60包括表示处于不同移动位置的解剖目标的参考图像62的集合，所述参考图像对应于使用与超声图像不同的成像模态捕获的图像。每幅参考图像在所述数据集中与所述对象上的所述参考点在相对于所述参考成像视场固定的参考帧内的对应记录位移相关联。
该方法还包括针对每幅接收到的超声图像44，基于接收到的图像中的参考点的所确定的位移来选择18参考图像62中的至少一个。该方法还包括针对每幅接收到的超声图像生成20表示所选择的参考图像的输出64，所述输出提供二次成像的源。
图2更详细地示意性地图示了根据一个或多个实施例的方法的示例工作流程。还示意性地图示了可以用于实施该方法的系统的示例性部件。
方法10可以有利地在医学流程(例如介入医学流程)期间实时执行。非限制性示例包括微创图像引导介入流程，诸如例如对腹部中的器官进行活检。图2描绘了介入流程期间的患者8，其中，手术工具40被插入对象的身体中。该流程涉及感兴趣解剖目标22。非限制性示例包括肝、肺、肾、胃、心脏或任何其他器官或内部结构。
在该流程的过程期间，使用超声成像装置来执行实时超声成像，所述超声成像装置包括超声换能器单元，在该示例中采取超声探头的形式。超声换能器单元32被保持在相对于患者解剖结构的固定姿态中。姿态限定探头例如相对于患者解剖结构的位置和取向。超声换能器单元32具有成像视场34。视场覆盖患者8内的解剖区域，其包括感兴趣对象22。视场还覆盖感兴趣对象上的固定参考点24，或在相对于感兴趣对象固定的解剖点处。参考点应当在它跟随或反映感兴趣对象的任何移动的意义上物理地耦合到对象，使得它可以用作跟踪对象的移动的标志。
任选地，超声换能器单元由支撑框架36保持，从而允许超声换能器单元32的姿态的调整和可释放的固定。该姿态部分地确定换能器单元32相对于患者解剖结构的视场34。
超声换能器单元可以可操作地连接到超声处理模块或单元42，超声处理模块或单元42也形成超声成像装置的部分。这可以控制换能器单元32的超声换能器的驱动。例如，它可以控制探头的采集和接收设置。其可以定义或配置超声成像视场34。超声处理单元42可以另外接收和处理由超声探头生成的超声数据38。这可以例如在超声处理单元42处被接收为回波数据(RF数据)，或在一些示例中被接收为部分波束形成的数据。在任一情况下，超声处理单元执行超声处理，以导出超声成像数据，例如由视场34覆盖的区域的B模式超声图像数据。这可以采取表示一系列超声图像(图像帧)的数据的形式，每幅超声图像表示任意成像时段的过程中的不同时间点。这些可以顺序地、一个接一个地并且与换能器单元32对超声回波数据的捕获实时地生成。
超声成像装置32、42可以被包括作为在本发明的一个方面中提供的系统的一部分，或可以是外部或辅助装置，由本发明提供的系统或设备的部件适于在使用期间与该外部或辅助装置通信连接。
处理装置50被布置为接收由超声成像装置输出的一系列超声图像(超声图像数据)44。例如，处理装置可以包括用于接收输入数据的输入端/输出端或通信模块(未示出)。
处理装置50适于实时地处理一系列超声图像中的每幅超声图像，例如依次处理每幅超声图像，以便确定预定义参考点24在相对于超声成像视场34固定的参考帧内的位移。可以包括用于该功能的图像处理模块52。
尽管参考了参考点，但是这可以意指单个点或线，例如解剖结构(诸如器官)的边缘。它还可以或替代地表示体积或面积。参考点、线、体积或区域(其位置将被检测)可以由用户定义，例如在采集或检索阶段之前的配置步骤中。这可以基于使用用户接口来识别解剖区域的样本超声图像上的点、线、体积或区域。然后，这可以用于通知应当跟踪哪个点、线、区域或体积。替代地，可以提前预设要跟踪的点、线区域或体积。为简洁起见，“参考点”应在本公开中的其他地方提及。这应当被理解为涵盖如上面所解释的点、线、区域或体积中的任一个。
“位移”是指例如相对于超声成像视场34固定的参考帧内的位置。例如，可以(例如，提前)定义相对于该参考帧固定的固定坐标系，并且所确定的位移是该坐标系内的位置。这可以是一维、二维或三维坐标位置，部分地取决于超声成像的维度。可以使用多于一个探头32来实现多维参考点跟踪和/或可以执行体积超声成像。由于超声换能器单元32相对于搁置患者的表面固定(例如，相对于手术室固定)，因此该参考帧也相对于该表面固定。作为示例，该步骤可以包括在相对于超声成像视场固定的预定义坐标系内为每幅图像帧确定参考点24的位置坐标标识符(例如矢量)P。
可以使用一个或多个图像处理算法来实现确定每个图像帧内的参考点位置，所述一个或多个图像处理算法可以采用例如形状识别或边缘检测技术来识别相关的参考点或线。它可以基于应用于每个图像帧的分割，以帮助识别相关的解剖点或线。
一旦已经在超声图像帧中识别出相关点，就能够生成位移指示，例如，位置坐标集或矢量。这可以基于将超声成像视场34映射到预定义参考点坐标系(上面讨论的)。可以相对于视场定义坐标系，使得基于坐标系的定义，映射是固有已知的。替代地，可以基于探头相对于坐标系的位置或姿态来确定或定义映射图。技术人员将认识到用于实现这一点的标准数学技术。
用于执行对参考点的检测和位置跟踪的一种特别有利的方法是基于初始用户输入，所述初始用户输入指示在超声图像帧中的一个或多个内参考点或线(例如，器官的边缘)位于其内的超声视场的区域。这简化了识别和跟踪超声图像流内的参考点(或线、区域或体积)所需的图像处理算法。该方法将在本公开中稍后详细描述。
一旦已经针对给定超声图像帧确定了参考点位移54，这就用于查询58参考图像数据存储设备60，所述参考图像数据存储设备60存储表示处于不同移动位置的解剖目标22的参考图像62的数据集，并且其中，每个图像与参考点24在相对于参考成像视场固定的参考帧内的对应的记录的位移相关联或链接。
查询58的过程然后包括选择参考图像中的与超声图像中的参考点位移相同或接近相同的参考点位移相关联的一幅参考图像。为此，重要的是，在表示新测量的参考点位移54和记录的参考点位移(在数据存储60中)的度量(例如，坐标系)之间存在对应性。例如，表示位移的坐标系应当匹配。
为此目的，任选地，可以存在度量或坐标系配准56或转换的步骤。作为示例，参考图像数据存储设备60可以存储坐标系标识符以及参考图像的数据集，从而允许检测记录数据集中的参考点24位置的坐标系。可以基于此来进行坐标配准。在一些示例中，可以获得超声探头的姿态信息并将其用于转换坐标系，例如，基于存储在数据存储设备中的参考探头姿态信息。替代地或另外地，可以使用来自图像处理单元52的坐标系统标识符信息。
替代地，例如，如果参考数据集60是在仅最近在检索阶段之前执行的采集阶段中采集的，则坐标系可以固有地与超声探头匹配，其中，所述超声探头被配置在与当前检索阶段中相同的相对于解剖结构的姿态中，并且其中，图像处理单元52使用相同的坐标系定义来确定参考点位移。
基于所接收的超声图像帧24中的参考点24的所确定的位移54，选择数据存储设备中的参考图像62中的至少一个。生成表示所选图像或基于所选图像的输出。
选择参考图像62可以包括识别具有精确匹配的相关联的参考点位移24的参考图像。替代地，在不能找到与测量的参考点位移的精确匹配的情况下，可以选择具有最接近匹配的相关联的参考点位移的参考图像中的一个。替代地，并且如稍后将更详细地讨论的，在一些情况下，可以基于在与测量的参考点位移54的任一侧的参考点位移相对应的两幅参考图像之间的插值来生成新的参考图像。
在每种情况下，生成表示所选择或生成的参考图像62的输出64。这可以耦合或传输到显示设备72以显示给用户。参考图像可以与参考图像所对应的接收到的超声图像44的显示同时显示。这可以通过处理装置50传送到显示单元72。可以包括显示输出模块，其接收超声图像44和参考图像62并且生成用于耦合到显示器的组合显示输出。通过非限制性示例的方式，这可以仅包括参考图像，或参考图像和超声图像并排，或超声图像和参考图像重叠或叠加(融合)。也可以使用任何其他显示格式。
一起查看两种模态的图像可以帮助临床医师注意到实况超声图像与二次图像之间的任何差异，这可能在介入流程期间发生，例如，感兴趣器官由于流程而开始肿胀。任选地，当检测到这样的变化时，可以重复校准或设置阶段(稍后将描述)以重新采集参考成像数据集。
在一些示例中，可以在生成显示72输出之前在超声成像视场或参考帧与二次成像模态之间执行坐标系配准。这对于可视化目的可能是有用的，使得超声图像和参考图像对应于解剖结构的相同区域。例如，这意味着可以一起查看两幅图像集，如上所述，并且以相同的尺寸、取向、空间位置以及任选地叠加(融合)示出两幅图像集。任选地，可以在坐标系配准之后进行图像融合步骤，以检查配准的准确性。配准可能仅需要在每个成像时段或会话进行一次，而不是针对每幅接收到的超声图像。
在一些示例中，支撑框架36可以适于生成包括指示框架的当前姿态位置的姿态指示符的数据输出76。这可以基于使用结合在框架单元中的一个或多个电磁传感器，其适于感测保持在框架中的探头的(3D)姿态。框架可以包括可释放地保持探头的支架或抓握部分，并且其中，支架或抓握部分相对于框架的支撑架部分可枢转地移动，该支撑架部分被附接到相对于搁置对象的表面固定的表面。可以使用电磁传感器或任何其他合适的传感器(例如光学传感器)来感测托架或抓握部分相对于支撑架部分的枢转位置。
在一些示例中，框架可以是电子可致动的，以将保持的超声探头移动到限定的姿态，并且其中，姿态可由电子标识符信号或代码精确地或唯一地识别。这可以用于确保探头被配置在与用于在采集参考图像时测量参考点24位移的姿态位置相同的姿态位置(如稍后将进一步解释的)。
指示姿态的输出信号可以附加地或替代地用于执行超声探头参考帧与二次成像模态的参考帧之间的坐标系变换或配准(如上所述)，或者在探头坐标系与探头在设置阶段期间测量参考点的位移时使用的坐标系之间的坐标系变换或配准。
作为示例，WO2019/110115描述了一种示例框架单元，其位置是电子可跟踪的。参考毛发切割设备的应用来描述框架。然而，可以应用相同的原理来提供用于超声探头的姿态可追踪的保持单元。例如使用电磁感测跟踪单元的空间(即姿态)中的位置和取向是众所周知的技术，并且本领域技术人员将意识到用于实施这一点的装置。用于电磁姿态跟踪的现成解决方案是已知的。
在一些示例中，可以使用多于一个超声换能器单元32来跟踪参考点。这可以使得能够确定多个维度中的参考点位移。
应注意，超声探头的使用不是必需的。超声换能器单元的其他示例包括使用超声监测贴片，所述超声监测贴片可以在可靠的位置中粘附到皮肤表面，并且在整个流程中保持固定就位。
图3示意性地图示了由参考数据存储设备60存储的参考成像数据集。参考数据集包括多幅参考图像62a-62e。在图3中仅示出了五幅参考图像，但是通常可以包括五个以上的参考图像。每幅参考图像是在数据集中与成像时段期间的时间点相关联，并且与捕获参考图像时的参考点24的位移指示P相关联。这以三维矢量的形式示出，但是它可以采取任何形式，包括(作为非限制性示例)1D或2D矢量、或1D或2D坐标集。
如稍后将解释的，优选地，成像数据集对应于覆盖周期性移动的解剖区域或身体的移动周期的一系列图像，并且因此图像的时间戳可以对应于所述移动周期内的时间点。
如上面所讨论的，数据集60的参考图像62是先前在设置或校准阶段期间针对相同解剖目标22采集的图像，并且其中，针对每幅参考图像的参考点24的相关联的位移54是在同时采集的超声图像44中记录的相对于关于超声成像视场固定的参考帧的位移。
现在将参考图4描述该设置或校准阶段，图4以框图形式示出了根据一个或多个实施例的用于执行设置或校准阶段的示例方法的步骤。
特别地，本发明的一个方面提供了一种生成移动解剖目标22的参考图像62的数据集60以用于提供二次成像的源的方法100。
根据一个或多个实施例，方法100包括使用第一成像模态82在成像时段内采集102包含解剖目标的解剖区域的一系列第一图像62。
方法100还包括，在采集一系列第一图像的同时，在所述成像时段内采集104包含相同解剖目标的区域的一系列超声图像44，其中，第一成像模态82不同于超声图像的成像模态。
方法100还包括，针对超声图像中的每幅超声图像，确定106相对于解剖目标固定的预定义参考点24在相对于超声成像视场固定的参考帧内的位移。
方法100还包括，针对第一图像中的每幅图像，在数据集中存储108第一图像的表示和与第一图像同时采集的超声图像中的一幅超声图像内的参考点的所确定的位移的相关联记录，从而生成用于提供二次成像的源的参考成像数据集60。
图5概述了用于执行校准或采集阶段的示例工作流程。在该阶段中执行的大多数步骤与上面讨论的调用或检索阶段中的步骤相同，除了使用二次成像模态82与超声图像的采集同时执行二次成像，并且参考图像不是从参考图像数据集60中检索的，而是与解剖参考点24的所确定的位移一起被存储在数据集中。因此，这里将不再详细描述类似的步骤或部件，并且读者参考先前关于检索阶段提供的描述。
超声换能器单元32可以相对于患者解剖结构以与后续检索阶段中相同的姿态设置。如在检索阶段中，连续地或周期性地采集包含感兴趣对象22并且包括定义的参考点24的解剖区域的超声图像。处理42来自探头的超声数据以导出超声图像44。如先前所讨论的，例如使用图像处理单元52来确定参考点24在每幅超声图像帧中的位移。在超声成像的同时，诸如MRI、CT、X射线荧光透视或任何其他成像模态的二次成像模态82采集第一图像62的集合(其对应于在检索阶段中检索的参考图像)。对于每个二次图像帧(2D或3D)，这与解剖参考点24在超声成像参考帧内的测量位移相关联地存储在数据存储设备60中，所述超声成像参考帧用于与相关二次图像帧同时捕获的超声图像帧。以这种方式，形成参考图像的数据集，每幅参考图像与参考点24在相对于超声成像视场和二次成像视场固定的参考帧内的测量位移相关联。因此，这有效地形成参考图像的索引数据集，其中，经由参考点的1D、2D或3D测量位移来完成索引。
如上所述，参考点24的位移可以根据一组一个或多个坐标或矢量来表示或记录。用于表示参考点的位移的坐标系或度量应当与用于在随后的检索阶段中测量位移的坐标系或度量一致。因此，可以在数据集60中进行记录以指示正在使用什么度量或坐标系。任选地，可以任选地在将其记录在数据集中之前执行用于位移测量的坐标系或度量的配准或转换56的过程，例如以将位移转换到公共坐标系。
所采集的超声图像44可以另外实时地流式传输到显示单元72。在优选示例中，还可以将二次图像实时输出到显示单元。这允许例如用户实时检查所采集的超声图像和二次图像在被成像的解剖区域方面对应。
任选地，可以在采集或设置阶段100之后立即执行上面讨论的检索阶段10。例如，将患者移出高分辨率图像模态(例如，移出MRI或CT扫描器)，同时将(一个或多个)超声探头保持在相同位置(例如，使用可配置框架36)。
任选地，可以在医学流程期间的多个点处重新采集参考成像数据集(通过重复采集阶段)，以保持成像是最新的。
根据一组有利的实施例，解剖目标22是周期性移动的解剖目标，并且成像时段(在其内捕获并且随后检索参考图像)对应于解剖目标的一个或多个移动周期。例如，解剖目标可以是心脏或肺的全部或部分。此外，身体的许多器官或解剖区域表现出由呼吸周期引起的二次周期性运动。例如，由于来自肺和肝脏之间的隔膜的压力的施加，肝脏周期性地移动。
所存储的数据集60可以包括对应于跨越解剖目标的完整移动周期的一系列时间点的参考图像62的集合。以这种方式，高分辨率参考图像可用于跨越对象的移动周期的整个周期的时间。
图6示意性地图示了示例参考成像数据集60，其包括对应于感兴趣对象22和相关联的参考点24的整个移动周期的过程中的不同时间点的参考图像62a-62e的集合。尽管在所图示的示例中仅示出了五幅图像，但是通常将存储更多数量的参考图像。如示意性地描绘的，每幅参考图像表示在成像参考帧内的不同的相应空间定位处的感兴趣对象22和参考点24。
由于二次成像模态82通常具有比超声成像更低的时间分辨率，因此在感兴趣对象22的单个移动周期的过程中，与二次(高分辨率)成像模态82的图像帧的数量相比，通常将采集更多数量的超声图像帧。因此，在单个移动周期内，在周期的过程中，将没有针对超声图像内的参考点24的每个检测到的位置记录对应的更高分辨率参考图像。因此，为了建立针对移动周期的更完整的成像数据集，在采集或设置阶段100中，可以在感兴趣对象的多个移动周期的过程中执行成像，并且其中，在多个周期内采集的二次图像62被汇编成聚合数据集。由于在每个周期中的二次成像模态的成像时间之间通常不存在完全的时间对准，因此与在单独的任何一个周期期间采集的图像相比，聚合数据集将包括在整个运动周期中覆盖更多数量的时间点的一组二次图像。
这在图7中示意性地图示。图7(a)示意性地表示在第一移动周期的过程中在一系列时间点处采集的二次图像帧中的参考点24的检测到的位移P。图7(b)示意性地表示在该过程中的一系列时间点处采集的二次图像帧中的参考点24的检测到的位移P第二运动周期的第二运动周期。图7(c)示出了汇编的(聚合的)二次成像数据集，其中，来自第一周期和第二周期两者的二次图像被包括在一起。如图所示，这包括对应于在运动周期内比单独的任何一个周期更多数量的时间点(或相位点)的图像。在实践中，可以执行超过两个周期的成像。汇编或聚合的成像数据集(图7(c))可以固有地通过在跨越若干移动周期的成像时段的过程中将每个生成的参考图像附加到参考图像数据集60的过程来形成。由于根据参考点的位置在数据集中对图像进行索引，因此自动构建参考点的多个移动周期上的聚合数据集。
如果采集或设置阶段100在足够大数量的移动周期(例如5-10个)的过程中执行，则这应当足以构建包括针对超声图像帧中的每一个(即，针对参考点24的每个检测到的位置)的对应的二次(更高分辨率)图像的参考成像数据集60。然而，在一些情况下，这可能是不可能的(例如，如果采集阶段仅运行有限的时间段)。
根据一个或多个实施例，可以包括用于在参考点24的位移被测量到与针对数据集中的任何参考图像62记录的位移不完全匹配的情况下(在检索阶段10期间)生成插值二次图像帧的功能。
这在图8中示意性地图示。这示意性地图示了针对在采集阶段100期间采集的参考图像的数据集的测量的参考点位移P。在检索阶段期间，检测参考点24位移90，其落在参考图像的示例第一62d和第二62e的记录的参考点位移的中间(在其之间)。响应于确定此，基于参考图像中的第一参考图像与第二参考图像之间的插值来生成插值参考图像92。
这可以例如简单地通过取第一参考图像62D和第二参考图像62E的像素强度值的平均值(中值或均值)来生成，检测到的参考点位移90落在第一参考图像62D和第二参考图像62E的像素强度值之间。这将导致位于两个帧之间的图像帧。然而，这种方法可能导致分辨率的损失。
确定插值图像帧的另一种更复杂的方式是使用运动估计技术来估计第一参考图像62D与第二参考图像62E之间的移动解剖目标的运动，并且基于此，确定中间参考点位置90处的解剖目标的估计位置。类似的方法用于电视技术领域，并且被称为扫描速率转换。一个示例方法在以下论文中概述：G.De Haan和P.W.A.C.Biezen的"An efficient true-motion estimator using candidate vectors from a parametric motion model"(IEEETransactions on Circuits and Systems for Video Technology,vol.8,no.1,第85-91页，1998年2月)。该方法基于运动检测和预测。
作为插值的替代方案，响应于检测到所接收的图像中的参考点的所确定的位移54与数据集60中的任何参考图像62的所记录的参考点位移不匹配并且在第一参考图像和第二参考图像的所记录的参考点位移中间，该方法可以包括选择第一参考图像或第二参考图像中的一个并且生成指示这些图像中的所选择的一个的输出64。因此，这里，选择最接近检测到的参考点位置的参考图像中的一幅参考图像来代替参考点在精确的检测到的参考点位置处的感兴趣对象的参考图像。
该方法可以包括确定所接收的图像中的参考点的所确定的位移54最接近第一参考图像和第二参考图像(的参考点)中的哪一个，并且选择所识别的最接近的图像以用于生成输出64。
如上所述，存在用于检测所接收的一系列超声图像44内的参考点24位移的不同的可能方法。现在将更详细地概述一种有利的方法。该方法仅通过一个示例概述，并且可以替代地使用其他方法，如上所述。
下面讨论的方法旨在提供用于跟踪感兴趣对象上的参考点44或线的位移的简化算法。与其他算法(诸如基于所谓的“光流运动跟踪”的算法)相比，它提供了降低计算复杂度的优点。该方法基于从用户接口接收指示要跟踪的特定参考点或线位于其中的区或区域的输入。因此，用户为检测算法提供辅助。这需要非常少的人类认知时间，但是节省了大量的计算资源。该方法优选地基于跟踪感兴趣对象的一个或多个边缘。
该方法包括用户基于他们对从超声装置32、42接收并显示在显示器72上的实况超声图像流44的观察来提供用户输入。例如，可以经由图形用户接口提供用户输入。
特别地，用户基于他们的观察执行以下动作。首先，用户描绘实况超声流中的一个或多个感兴趣区域。提供了一种用户接口，其具有用户输入设备(例如，指针、鼠标、触摸屏或电子笔)，并且其适于接收指示描绘的用户输入。用于绘制边缘的图形用户接口优选地可以支持一个或多个区域的边界的拖动、调整大小和变形。接口可以包括在每个用户交互期间(或之后)将所描绘的区域强制对齐成平行四边形形状。在图9中示意性地图示了对示例感兴趣区域的选择。
选择(一个或多个)选定区域108以便包围感兴趣对象的边缘106的一部分，该边缘是其位移将在所有接收到的超声图像帧中被检测和跟踪的参考点24或线。在图9中示意性地图示了边缘106。作为示例，图9示出了表示对象肝脏的边界的边缘。由于呼吸而由隔膜施加的压力，肝脏可能经历周期性运动。
对于移动边缘，描绘区域108的两个边界应当与运动的方向110尽可能平行。这确保了感兴趣的移动结构始终保持在感兴趣的区域中。
区域108的另外两个边界应当尽可能平行于要跟踪的边缘106的方向。这确保了感兴趣边缘的最大增强，因为算法使用这来设置像素平均的方向(稍后解释)。
作为附加的可选特征，还可以跟踪与感兴趣对象无关的其他边缘。例如，图9示出了用户选择的区域104，其包含由对象8的身体与对象8和换能器单元32搁置在其上的支撑表面之间的接触平面形成的边缘102。对该边缘的位移的变化的监测可以用于提供例如患者正在移动的指示，其可以用于通知超声与二次成像视场或参考帧之间的配准，或用于调整超声坐标系的配准56。
根据一些示例，可以在参考点跟踪的过程期间(在多幅超声图像帧44上)自动修改或更新(一个或多个)感兴趣区域的边界。例如，可以采用优化算法，其适于评估(一个或多个)感兴趣区域的用户描绘的边界并且在长度或方向性方面修改它们，以便确保参考线或边缘在其整个移动过程中在区域内。
一旦已经接收到包含参考点或边缘106的区域108的用户输入描绘，该方法就包括计算边缘的位置。这可以通过包括如下所述步骤的算法来完成。在图10中示意性地图示了该算法的一些步骤。图11示出了算法的三个不同阶段的超声图像帧。图11(a)示出了如上所述的一个或多个感兴趣区域108、104的描绘。
算法的步骤如下。
首先，在其中已经描绘了感兴趣区域108的图像帧内，感兴趣区域108在概念上被划分为细长条带，所构造或定义的条带具有沿着区域108的边界的方向的细长延伸，该区域108的边界平行于被跟踪的边缘106行进。条带可以是连续的，使得它们覆盖整个感兴趣的区域。条带可以具有相等的宽度，或至少大部分条带可以具有相等的宽度。
在图10中示意性地图示了将每个区域划分成条带，图10示出了针对包含器官的边缘106的区域108和包含对象表面边界边缘102的可选区域104执行的过程。
该算法还包括对每个条带内的像素的像素强度值求和，并计算整个条带的平均像素强度值。平均值表示例如算术平均值。每个条带的求和由图10中的箭头114示意性地图示。
该算法还包括，对于每个条带，用针对相应条带确定的平均强度值替换每个像素的像素强度值。注意，通过沿着被跟踪边缘106的方向创建条带并对每个条带中的像素值求和，通常模糊的器官区域被增强，而通常有噪声的、有纹波的“空的”空间将接收具有低强度的更均匀的灰度级。这在图11b中图示，图11b示出了在已经执行针对条带的像素平均之后的感兴趣区域108、104。
为了检测边缘，该算法包括以下其他步骤。
应用局部平均和像素化以增加图像的平滑度并降低像素分辨率。
应用合适的阈值以在感兴趣对象和周围空间之间创建尖锐边缘。这在图11(c)中图示。
基于两个步骤计算边缘的中间。首先，定义从最底部或最左侧条带的中点到最顶部或最右侧条带的中点延伸穿过所述或每个所描绘的感兴趣区域108、104中的所有条带的线。图10图示了用于描绘区域108的限定线112和用于描绘区域104的限定线118。然后通过比较沿着该线的相邻条带的像素强度值来找到边缘的中间。可以假设在其相应的像素强度值中具有最大差异或超过预定义阈值的差异的相邻的一对条带在空间上与边界线重合。
针对所述一系列超声图像中的接收到的超声图像中的每幅超声图像来完成该边缘检测过程。这允许精确地确定每幅图像帧内的边缘的位移。
现在将更详细地描述上述步骤中的特定步骤。
为了理解解释，将首先参考图10描述条带相对于一个或多个感兴趣区域104、108的数学描述。
令
Figure BDA0004118740100000121
表示在图10中示出的可选感兴趣区域104中具有右侧坐标(xd,yd)的(薄)条带。对于该条带，以下成立
Figure BDA0004118740100000122
Figure BDA0004118740100000123
通过例如将xd从
Figure BDA0004118740100000124
递增到/>
Figure BDA0004118740100000125
实现了在该示例区域104中的所有条带上的迭代。示例性区域104示出了边缘下方的两个条带和边缘上方的未确定数量的条带——参见图10。然而，条带的总数通常可以比图10中所示的多得多。单个条带可以仅为几个像素宽，例如1-5个像素。
如果(xs,ys)表示条带内部的像素的坐标
Figure BDA0004118740100000126
则该条带的像素坐标的完整集合可以由下式描述：
Figure BDA0004118740100000127
Figure BDA0004118740100000128
这在划定区域108、104的相对边缘彼此平行(并且大小相等)的条件下成立，即该区域是平行四边形。
在区域108、106具有(接近)水平和/或垂直边缘的情况下，应当在合适的轴上进行迭代和求和，以在条带数量和每个条带的像素数量方面实现足够的分辨率。例如，对于包含参考边106的区域108，区域108的右手边和左手边(近似)垂直并且平行于该区域中的条带方向(参见图10)。这将导致每个条带中像素计数的不准确性。特别地，注意，上面的公式3和公式4要求区域108的P5和P7分别由P1和P2替换(并且P6由P3替换)。由于
Figure BDA0004118740100000129
非常接近/>
Figure BDA00041187401000001210
这将导致非常小的枚举范围。遵循公式3，这将是
Figure BDA00041187401000001211
遵循公式4，这也可能由于除以下式而导致ys的不准确结果。
Figure BDA00041187401000001212
然而，应当注意，可以在x轴或y轴上进行区域108中的不同条带上的迭代，因为P1和P3的x和y坐标足够不同(参见图10)。
如果在区域108中在y轴上完成条带上的迭代和条带内的像素枚举两者，则这导致对公式1、公
式2、公式3和公式4的以下修改：
Figure BDA0004118740100000131
Figure BDA0004118740100000132
Figure BDA0004118740100000133
Figure BDA0004118740100000134
取决于区域108的边缘的方向和该区域内的条带方向，即必须根据公式1或2、或根据公式1b或2b选择条带迭代的最准确方法。同样的情况可以应用于条带内的像素枚举，其中，这可以根据公式3或4、或公式3b或4b进行。在本文中，像素枚举是指迭代通过单个条带内的所有像素并执行上面讨论的对像素值求和、计算每个条带的平均像素值、用计算的平均值更新像素值以及执行阈值处理步骤的步骤的过程。
现在将讨论与对条带内的像素值求和的特征有关的细节。
通过对条带内的所有像素的强度值求和并用条带的平均像素值替换条带中的每个像素，实现了强的边缘增强。这可以在图11(b)中看到，图11(b)示出了在已经执行该流程之后的示例超声图像帧。
平均像素值表示例如算术平均值，其被计算为给定条带中的所有像素的像素强度值的总和除以条带中的像素数量。
图11(a)将感兴趣区域104、108示出为超声图像帧中的图形叠加。条带内的像素强度求和的结果在图11(b)中示出。
现在将讨论像素化和阈值应用的过程。
通过应用阈值T将修改的条带转换成黑白图像，该阈值T根据原始像素值是低于还是高于阈值T而将每个像素值改变为零或最大允许像素值Imax。
如果
Figure BDA0004118740100000135
表示阈值后条带/>
Figure BDA0004118740100000136
中的坐标(xs,ys)处的像素值，而/>
Figure BDA0004118740100000137
表示相同坐标处的平均像素值(参见上面)，则以下成立：
Figure BDA0004118740100000138
对于/>
Figure BDA0004118740100000139
Figure BDA00041187401000001310
对于/>
Figure BDA00041187401000001311
超声图像通常具有8位像素值，因此在这种情况下Imax＝255。
当对图11b的示例区域108、104都进行像素化和阈值化时，实现了如图11(c)所示的结果。
现在将讨论跟踪边缘106、102的中间的检测过程。
在应用阈值之后，如上所述，相关感兴趣区域108、104中的条带与诸如通过图10中的箭头112或118所描绘的行进通过条带中间的线相交。
例如，如果(xl,yl)表示用于可选感兴趣区域104的这样的线118上的点，则以下成立：
Figure BDA00041187401000001312
Figure BDA00041187401000001313
通过比较沿着该线118的像素值，如果相邻像素的强度值显著地相差例如预定义的阈值，则在坐标(xi,yi)处找到与感兴趣的被跟踪边缘102的交点。边缘的边界处的像素强度值中的鲜明对比度通过先前应用的阈值处理程序来保证。例如，在边缘的位置处，以下成立：
Figure BDA0004118740100000141
或者/>
Figure BDA0004118740100000142
其中，xi+1＝xi+1，并且其中，(xi,yi)和(xi+1,yi+1)满足上面的公式5和公式6。
然后可以假设所计算的边缘Ei在条带的细长方向上延伸穿过感兴趣区域104、108(参见图10)：
Figure BDA0004118740100000143
到/>
Figure BDA0004118740100000144
针对接收到的超声图像44中的每幅超声图像执行上述过程(算法)，以便确定每幅图像中的参考线。仅要求用户提供描绘感兴趣区域(例如，图10中的104和108)的用户输入一次。默认地，算法然后针对接收到的超声图像的集合中的每幅超声图像应用相同的描绘。如上所述，在一些示例中，可以基于优化函数自动修改或调整感兴趣区域描绘。
尽管在上述示例中，用户使用用户接口设备选择感兴趣区域，但是在该方法的一个变型中，用户可以替代地使用用户接口描绘要跟踪的参考线或边缘本身。例如，用户接口可以允许用户沿着要跟踪的线或边缘106、102绘制。该算法可以适于限定条带的集合，以便遵循所描绘的边缘或线的形状或曲率。因此，该示例中的条带可以是弯曲的而不是直的。
上述算法仅表示用于确定接收到的超声图像44中的每幅超声图像中的参考点位移的一个示例单元，其中，要跟踪的参考点是对应于感兴趣对象的边缘112的参考线。
可以使用用于每个帧中的参考点、线、面积或体积检测和位移确定的其他方法。例如，可以使用基于模型的分割算法来识别每个帧中的解剖目标的期望边缘或点，或可以使用标准形状匹配算法或边缘检测算法。
通过一个说明性示例，在以下论文中描述了一种方法：Hideki Yoshikawa等人的“Ultrasound Sub-pixel Motion-tracking Method with Out-of-plane MotionDetection for Precise Vascular Imaging”
(Ultrasound in Medicine&Biology，第46卷，第3期,2020年第782-795页)。
通过另一说明性示例，在以下论文中描述了另一种方法：Cornel Zachiu等人的“An improved optical flow tracking technique for real-time MR-guided beamtherapies in moving organs”(IEEE International Symposium on BiomedicalImaging(ISBI 2016),2016年4月)。
本发明的一个方面还提供了上面讨论的处理装置50，并且被配置为执行上面概述的任何方法，包括设置(采集)10和检索100阶段中的一个或两个。优选地，同一处理装置可以响应于例如从用户接口或从协调整个成像系统的另一控制模块接收到控制命令信号而选择性地执行每个阶段。
尽管图2和图5示出了包括参考图像数据集60的处理装置50，但是这是任选的。在另外的示例中，数据集可以在处理装置的外部，并且处理装置包括用于与数据集通信地连接的输入端/输出端或通信模块。
上面描述的本发明的特定实施例采用处理设备。处理设备通常可以包括单个处理器或多个处理器。它可以位于单个包含设备、结构或单元中，或它可以分布在多个不同的设备、结构或单元之间。因此，对适于或被配置为执行特定步骤或任务的处理设备的提及可以对应于该步骤或任务由多个处理组件中的任何一个或多个单独地或组合地执行。本领域技术人员将理解如何实施这种分布式处理装置。
处理装置的一个或多个处理器可以利用软件和/或硬件以多种方式实施，以执行所需的各种功能。处理器通常采用一个或多个微处理器，所述一个或多个微处理器可以使用软件(例如，微代码)来编程以执行所需的功能。处理器可以被实施为执行一些功能的专用硬件和执行其他功能的一个或多个编程的微处理器和相关联的电路的组合。
可以在本公开的各种实施例中采用的电路的示例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
在各种实施方式中，处理器可以与一个或多个存储介质相关联，诸如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM。存储介质可以利用一个或多个程序来编码，所述一个或多个程序当在一个或多个处理器和/或控制器上运行时以所需的功能来执行。各种存储介质可以固定在处理器或控制器内，或者可以是可运输的，使得存储在其上的一个或多个程序可以加载到处理器中。
本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。
单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。
尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由互联网或其他有线或无线的电信系统。
在权利要求书或说明书中使用术语“适于”的情况下，应该注意术语“适于”旨在相当于术语“被配置为”。
权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种提供患者(8)的移动的感兴趣解剖目标(22)的二次成像的源的方法(10)，所述方法包括：
接收(12)表示包含所述解剖目标的区域的一系列超声图像(44)，所述图像对应于成像时段内的不同时间点；
针对每幅超声图像确定预定义参考点(24)在关于所述超声成像视场固定的参考帧内的位移(54)，所述预定义参考点关于所述解剖目标(22)是固定的；
访问包括参考图像(62)的集合的数据集(60)，所述参考图像的集合表示处于不同移动位置的所述解剖目标，所述参考图像对应于与所述超声图像不同的成像模态，并且其中，每幅参考图像在所述数据集中与所述参考点的在关于所述参考成像视场固定的参考帧内的对应的记录的位移相关联；
针对每幅接收到的超声图像(44)，基于所确定所述参考点在所述接收到的图像中的位移来选择所述参考图像(62)中的至少一幅参考图像，并且
针对每幅接收到的超声图像生成表示所选择的参考图像的输出(64)，所述输出提供二次成像的源。
2.根据权利要求1所述的方法(10)，还包括在显示设备(72)上显示每幅选择的参考图像(62)，并且任选地包括与对应的接收到的超声图像(44)同时显示每幅选择的参考图像。
3.根据权利要求1或2所述的方法(10)，其中，超声图像(44)是在介入流程期间实时接收的。
4.根据权利要求1-3中的任一项所述的方法(10)，其中，所述解剖目标(22)是周期性移动的解剖目标，并且所述成像时段对应于所述解剖目标的一个或多个移动周期。
5.根据权利要求4所述的方法，其中，所存储的数据集(60)包括与跨越所述解剖目标的完整移动周期的一系列时间点相对应的所述参考图像(62)的集合。
6.根据权利要求1-5中的任一项所述的方法(10)，其中，参考图像的所述数据集(60)是先前在校准阶段期间针对相同解剖目标(22)采集的图像，并且其中，针对每幅参考图像的所述参考点的相关联的位移(54)是在同时采集的超声图像(44)中记录的相对于关于所述超声成像视场固定的参考帧的位移。
7.根据权利要求1-6中的任一项所述的方法(10)，其中，所述超声图像(44)是从超声成像装置接收的，所述超声成像装置包括相对于所述患者的解剖结构处于固定姿态的超声换能器单元(32)，并且其中，所述超声换能器单元由支撑框架(36)保持，所述支撑框架允许对所述超声换能器单元的姿态的调整和可释放的固定。
8.根据权利要求1-7中的任一项所述的方法(10)，其中，所述方法包括：响应于检测到所确定的所述参考点在接收到的图像中的位移(54)与所述数据集(60)中的所述参考图像(62)中的任何参考图像的所记录的参考点位移不匹配并且介于所述参考图像中的第一参考图像与所述参考图像中的第二参考图像的所记录的参考点位移之间，生成插值参考图像(92)，所述插值参考图像是基于所述参考图像中的所述第一参考图像与所述第二参考图像之间的插值来生成的。
9.一种生成用于提供二次成像的源的移动解剖目标(22)的参考图像(62)的数据集(60)的方法(100)，所述方法包括：
使用第一成像模态(82)在成像时段内采集(102)包含所述解剖目标的解剖区域的一系列第一图像(62)，
在采集所述一系列第一图像的同时(104)，在所述成像时段内采集包含相同解剖目标的区域的一系列超声图像(44)，其中，所述第一成像模态(82)与所述超声图像的成像模态不同；
针对所述超声图像中的每幅超声图像，确定(106)所述解剖目标上的预定义固定参考点(24)在关于所述超声成像视场固定的参考帧内的位移；
针对所述第一图像中的每幅第一图像，在数据集中存储(108)所述第一图像的表示和与所确定的所述参考点在所述第一图像同时采集的所述超声图像中的一幅超声图像内的位移的相关联的记录，从而生成参考成像数据集(60)以用于提供二次成像的源。
10.根据权利要求9所述的方法(100)，其中，所述方法还包括将所述超声成像参考帧的坐标系与二次成像模态参考帧的坐标系配准的步骤。
11.根据权利要求9或10所述的方法(100)，其中，所述解剖目标(22)是周期性移动的解剖目标，并且所述成像时段对应于多个移动周期，并且其中，所述方法包括基于来自所述多个移动周期的图像数据来生成针对单个移动周期的平均数据集或聚合数据集。
12.一种方法(100)，包括：
校准阶段，其包括执行根据权利要求9-11中的任一项所述的方法(100)；以及
在所述校准阶段之后的检索阶段(10)，所述检索阶段包括执行根据权利要求1-8中的任一项所述的方法，其中，在所述校准阶段中生成的所述参考成像数据集被用作所述检索阶段中的所述参考图像的数据集。
13.一种处理装置(50)，其被布置为提供患者的移动的感兴趣解剖目标(22)的二次成像的源，所述处理装置适于：
接收表示包含所述解剖目标的区域的一系列超声图像(44)，所述图像对应于成像时段内的不同时间点；
针对每幅超声图像确定所述解剖目标上的预定义固定参考点(24)在关于所述超声成像视场固定的参考帧内的位移(54)；
访问包括表示处于不同移动位置的所述解剖目标的参考图像(62)的集合的数据集(60)，所述参考图像具有与所述超声图像不同的成像模态，并且其中，每幅参考图像在所述数据集中与所述对象上的所述参考点在关于所述参考成像视场固定的参考帧内的对应的记录的位移相关联；
针对每幅接收到的超声图像，基于所确定所述参考点在所述接收到的图像中的位移来选择所述参考图像(62)中的至少一幅参考图像；
针对每幅接收到的超声图像生成表示所选择的参考图像的输出(64)，所述输出提供二次成像的源。
14.一种系统，包括：
根据权利要求13所述的处理装置(50)；以及
超声成像装置，其包括超声换能器单元(32)，所述成像装置用于采集所述解剖体的超声图像，并且被布置为将所采集的超声图像传送到所述处理装置。
15.根据权利要求14所述的系统，还包括支撑框架(36)，所述支撑框架被布置为保持所述超声换能器单元相对于所述患者解剖结构以可调整的姿态可释放的固定，其中，所述支撑框架适于生成包括指示所述框架的当前姿态位置的姿态指示符的数据输出(76)。
CN202180062203.1A 2020-09-10 2021-09-01 用于提供二次医学成像源的方法 Pending CN116194045A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20195542.4A EP3967232A1 (en) 2020-09-10 2020-09-10 Method for providing a source of secondary medical imaging
EP20195542.4 2020-09-10
PCT/EP2021/074097 WO2022053365A1 (en) 2020-09-10 2021-09-01 Method for providing a source of secondary medical imaging

Publications (1)

Publication Number Publication Date
CN116194045A true CN116194045A (zh) 2023-05-30

Family

ID=72473366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180062203.1A Pending CN116194045A (zh) 2020-09-10 2021-09-01 用于提供二次医学成像源的方法

Country Status (4)

Country Link
US (1) US20240023931A1 (zh)
EP (2) EP3967232A1 (zh)
CN (1) CN116194045A (zh)
WO (1) WO2022053365A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024112579A1 (en) * 2022-11-23 2024-05-30 Subtle Medical, Inc. Systems and methods for mri contrast synthesis under light-weighted framework

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2605693B1 (en) * 2010-08-20 2019-11-06 Veran Medical Technologies, Inc. Apparatus for four dimensional soft tissue navigation
WO2017109685A1 (en) * 2015-12-22 2017-06-29 Koninklijke Philips N.V. Medical imaging apparatus and medical imaging method for inspecting a volume of a subject
WO2019110115A1 (en) 2017-12-07 2019-06-13 Koninklijke Philips N.V. A frame unit
US10842445B2 (en) * 2018-11-08 2020-11-24 General Electric Company System and method for unsupervised deep learning for deformable image registration

Also Published As

Publication number Publication date
EP4210577A1 (en) 2023-07-19
EP3967232A1 (en) 2022-03-16
EP4210577B1 (en) 2024-02-28
US20240023931A1 (en) 2024-01-25
WO2022053365A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
Prevost et al. 3D freehand ultrasound without external tracking using deep learning
JP6537981B2 (ja) 複数の三次元ビューからの大きな対象のセグメンテーション
US11504095B2 (en) Three-dimensional imaging and modeling of ultrasound image data
US8126239B2 (en) Registering 2D and 3D data using 3D ultrasound data
JP4758355B2 (ja) 患者の体内に医療用機器を案内するためのシステム
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
US9717478B2 (en) Refinement of an anatomical model using ultrasound
WO2017053056A1 (en) Registration of video camera with medical imaging
EP3003161A1 (en) Method and system for 3d acquisition of ultrasound images
US9600895B2 (en) System and method for three-dimensional nerve segmentation using magnetic resonance imaging
US20130257910A1 (en) Apparatus and method for lesion diagnosis
US10980509B2 (en) Deformable registration of preoperative volumes and intraoperative ultrasound images from a tracked transducer
JP6644795B2 (ja) 解剖学的オブジェクトをセグメント化する超音波画像装置及び方法
CN110741411B (zh) 用于超声流程中的运动补偿的工作流程、系统和方法
US20200051257A1 (en) Scan alignment based on patient-based surface in medical diagnostic ultrasound imaging
Alam et al. Evaluation of medical image registration techniques based on nature and domain of the transformation
US8724878B2 (en) Ultrasound image segmentation
EP4210577B1 (en) Method for providing a source of secondary medical imaging
US20200305837A1 (en) System and method for guided ultrasound imaging
US9971952B2 (en) System and method for three-dimensional nerve segmentation using curved multiplanar reformatting magnetic resonance imaging
US20240180529A1 (en) Method for use in ultrasound imaging
Welch et al. Real-time freehand 3D ultrasound system for clinical applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination