CN112494028A - 使用多模态成像的活检工作流程 - Google Patents

使用多模态成像的活检工作流程 Download PDF

Info

Publication number
CN112494028A
CN112494028A CN202010822971.XA CN202010822971A CN112494028A CN 112494028 A CN112494028 A CN 112494028A CN 202010822971 A CN202010822971 A CN 202010822971A CN 112494028 A CN112494028 A CN 112494028A
Authority
CN
China
Prior art keywords
biopsy
ultrasound
volume
image data
ultrasound image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010822971.XA
Other languages
English (en)
Inventor
吉姆利·米特拉
托马斯·郭-法·福
德斯蒙德·特克·本·杨
大卫·马丁·米尔斯
索米娅·高斯
迈克尔·约翰·麦克唐纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN112494028A publication Critical patent/CN112494028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • A61B10/0241—Pointed or sharp biopsy instruments for prostate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4375—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the male reproductive system
    • A61B5/4381—Prostate evaluation or disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Reproductive Health (AREA)
  • Gynecology & Obstetrics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明题为“使用多模态成像的活检工作流程”。本文所讨论的主题涉及有利于活检规程和活检后规程的多模态图像对齐。在一个这样的示例中，前列腺结构(或其他合适的解剖特征或结构)在活检前MR和活检前超声图像中自动分段。此后，将活检前MR和活检前超声轮廓对齐。为了考虑所成像解剖结构的非线性变形，至少部分地基于该活检前超声图像经由深度学习来训练患者专用变换模型。然后将覆盖有活检前MR轮廓并基于可变形变换模型的活检前超声图像与活检超声图像对齐。使用多模态成像技术的此类实时对齐在活检和活检后系统期间提供指导。

Description

使用多模态成像的活检工作流程
背景技术
本文公开的主题涉及图像对齐，并且更具体地讲，涉及利用可变形变换进行图像对齐的系统和方法。
磁共振成像(MRI)对于引导介入和治疗变得越来越重要，因为它提供软组织对比，使得能够在规划/诊断阶段标测病理组织(例如肿瘤)的位置和边界。然而，由于磁体孔中有限的患者空间和低成像帧率，很难将实时MRI集成到介入和治疗工作流程中。因此，实时MR图像在介入/治疗阶段通常是不可用的，这增加了在规划阶段不作为目标的健康组织区域的侵入性进入或治疗的风险。此外，由于缺乏对病理组织边界的实时追踪，临床医生可能无法完全接近或治疗病理组织。虽然在规划阶段从MR图像中分割或手动跟踪病变/肿瘤可以提供基准的初始位置，但是由于生理运动，该初始位置可能不是目标病变/肿瘤的真实位置。
超声成像可以提供实时成像。然而，超声成像提供较差的软组织对比度，这限制了定位或勾画病理或目标病变的能力。将实时超声成像与预先采集的MR图像(在不同时间采集的)相链接是耗时的、计算量大的，并且可能具有不利地影响介入程序的精度和结果的不准确性。此外，MRI和超声成像中的图像对比度和空间分辨率不同，并且这增加了对齐或配准MRI和超声图像的难度。因此，需要成像方法，其在介入/治疗阶段提供足够的软组织对比度，同时还提供目标病变的实时位置信息。
发明内容
下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。
在一个实施方案中，提供了用于生成患者专用变换模型的多模态成像方法。根据该方法，患者的活检前磁共振(MR)图像数据和活检前超声图像数据同时或相继采集。由MR图像数据生成的MR体积中的感兴趣的解剖区域和一个或多个病变被分段。从超声图像数据生成的超声体积中的感兴趣的解剖区域也被分段。MR体积中的所分段的感兴趣的解剖区域的轮廓与超声体积中的感兴趣的解剖区域的对应轮廓对齐，以生成活检前体积，MR体积和超声体积在该活检前体积中对齐并且来自MR体积的一个或多个病变的轮廓在该活检前体积上对齐。至少部分地基于活检前超声图像数据来训练深度学习变换模型，以创建特定于患者的可变形变换模型。
在另外的实施方案中，提供了多模态成像系统。根据该实施方案，图像系统包括存储器，该存储器对处理器可执行例程进行编码；以及处理部件，该处理部件被配置为访问存储器并执行处理器可执行例程。例程在由处理部件执行时，使得处理部件执行至少包括以下各项的动作：采集患者的活检前磁共振(MR)图像数据和活检前超声图像数据；对由MR图像数据生成的MR体积中的感兴趣的解剖区域和一个或多个病变进行分段；对从超声图像数据生成的超声体积中的感兴趣的解剖区域进行分段；将MR体积中的所分段的感兴趣的解剖区域的轮廓与超声体积中的感兴趣的解剖区域的对应轮廓对齐，以生成活检前体积，MR体积和超声体积在活检前体积中对齐并且来自MR体积的一个或多个病变的轮廓在活检前体积上对齐；至少部分地基于活检前超声图像数据来训练深度学习变换模型，以创建特定于患者的可变形变换模型；在活检规程期间采集患者的一个或多个活检超声图像；使用可变形变换模型来执行可变形对齐以将每个活检超声图像与活检前体积对齐，其中与活检前体积相关联的一个或多个病变的轮廓与每个活检超声图像对齐；以及在活检超声图像中的至少一个在活检超声图像上提供一个或多个病变的轮廓的实时可视化。
在附加实施方案中，提供了为活检系统配准实时图像的方法。根据该方法，在活检规程期间采集患者的一个或多个活检超声图像。使用可变形变换模型来执行可变形对齐，以将每个活检超声图像与活检前体积对齐。可变形变换特定于患者，并且一个或多个病变的轮廓与每个活检超声图像相关联。在一些或所有活检超声图像上提供了一个或多个病变的轮廓的实时可视化。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：
图1示出了根据本公开的各方面的磁共振成像(MRI)系统；
图2是根据本公开的各方面的超声系统的框图的实施方案；
图3示出了根据本公开的各方面的组合磁共振和超声成像系统的实施方案的示意图；以及
图4示出了根据本公开的规划阶段的各方面的超声MRI融合流程图。
图5示出了根据本公开的活检阶段的各方面的超声MRI融合流程图。
具体实施方式
在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。
提供了一些广义信息以用于本公开的各方面的一般背景，并且有利于理解和解释本文所述的某些技术概念。
如本文所讨论，公开了一种方法，该方法包括在活检前阶段中同时或几乎同时(例如，在时间上连续)采集MR和经腹部超声(TAUS)前列腺图像。相对于经直肠超声(TRUS)成像，经腹部前列腺成像的使用提供了某些益处，诸如改善的患者舒适度和不存在由于TRUS探头插入引起的前列腺变形。因此，在诊断或活检前MRI和超声引导的活检规程之间，避免了前列腺的变形，这简化了前列腺的多模态可变形对齐。活检前TAUS图像数据与来源于活检前MR成像的信息整合，这提供了有用的前列腺组织对比度并且也是用于评估前列腺疾病的有用诊断工具。因此，与现有方法不同，本公开包括同时或几乎同时的活检前MR和TAUS成像，然后将其用于前列腺活检情境中的指导。
考虑到前述内容，下文提供了与成像技术和术语相关的材料，以便赋予此类成像系统一定的熟悉度，并且为本公开的其他方面提供有用的真实世界情境。相对于磁共振成像(MRI)系统，并且转到图1(其中示意性地示出了一个此类系统以供参考)，初级磁场、时变磁梯度场和射频(RF)场与感兴趣的受检者(例如，患者)体内的旋磁材料之间的相互作用用于生成患者体内的结构和/或功能关系的图像或体积表示。旋磁材料(诸如水分子中的氢核)具有响应于可以以这种方式利用的外加电磁场(例如，恒定的或时变的电场、磁场，或它们的组合)的特征行为。例如，这些核的自旋的进动能够通过操纵场以产生可被检测、处理并且用于重构有用图像的RF信号来影响。
考虑到此，参考图1，磁共振成像系统10示意性地示出为包括扫描器12、扫描器控制电路14和系统控制电路16。该成像系统10还包括：远程访问和存储系统18和/或设备，诸如图像存档和通信系统(PACS)；或其它设备，诸如远程放射设备，使得能够现场访问或异地访问由成像系统10采集的数据。虽然成像系统10可包括任何合适的扫描器或检测器，但在例示的实施方案中，成像系统10包括具有壳体20的全身扫描器12，开口(例如，环形开口)穿过该壳体形成以容纳患者孔22。患者孔22可由任何合适的材料(诸如非金属材料和/或非磁性材料)制成，并且一般包括扫描器12的邻近受检者的部件。诊断台24可移入患者孔22中，使患者26可定位在其中，用于对患者26体内的所选解剖结构进行成像。如本文所述，患者孔22可包括一个或多个孔管以支撑扫描器12和/或患者26的各种部件。在一些实施方案中，患者孔22可支撑诊断台24和/或关节运动部件(例如，马达、滑轮，和/或滑块)。
扫描器12可包括用于产生受控电磁场的一系列相关联超导磁线圈，该受控电磁场用于激发被成像受检者的解剖结构内的旋磁材料。具体地，提供主磁体线圈28，以用于生成与患者孔22的轴线44大致对齐的主磁场。一系列梯度线圈30、32和34(共同称为35)允许在检查序列期间生成受控梯度磁场，以用于对患者26体内的某些旋磁核进行位置编码。RF线圈36被构造成产生射频脉冲，以刺激患者26体内的某些旋磁核。根据本公开的一个方面，RF线圈36可在线圈支撑管22上实现，从而限定患者孔38的至少一部分。另外，RF屏蔽罩42可在屏蔽罩支撑管40上实现，从而也限定患者孔22的至少一部分，以减少成像系统10内的电磁干扰以及对与成像系统10分开的设备的电磁干扰。除可位于扫描器12本地的线圈之外，成像系统10还可包括被构造成放置在患者26近侧(例如，抵靠患者)的一组接收线圈46(例如，线圈阵列)。例如，接收线圈46可包括颈椎/胸椎/腰椎(CTL)线圈、头部线圈、单面脊线圈等。一般来讲，接收线圈46放置在患者26近处或头顶，以便接收在患者26体内的某些旋磁核返回到其松弛状态时由该旋磁核产生的弱RF信号(例如，弱是相对于由扫描线圈产生的传输脉冲而言)。在一些实施方案中，RF线圈36可传输和接收RF信号，从而实现接收线圈46的作用。
成像系统10的各种线圈由外部电路控制，以产生所需的场和脉冲并且以受控方式读取来自旋磁材料的发射。在例示的实施方案中，主电源48向初级磁线圈28提供电力以产生主磁场。驱动电路50可包括放大和控制电路，以用于按照由扫描器控制电路14输出的数字化脉冲序列的限定向线圈供应电流。
提供RF控制电路52，用于调节RF线圈36的操作。RF控制电路52包括用于在有源操作模式和无源操作模式之间交替的开关设备，在两种操作模式下RF线圈36分别传输信号和不传输信号。RF控制电路52还可包括放大电路以生成RF脉冲。类似地，接收线圈46或RF线圈36(如果没有实现单独的接收线圈46)连接到开关54，该开关能够在接收模式和非接收模式之间切换接收线圈46。因此，在接收模式下，接收线圈46可与患者26体内的旋磁核释放而产生的RF信号谐振，而在非接收模式下，则避免与RF信号谐振。另外，接收电路56可接收由接收线圈46检测到的数据，并且可包括一个或多个多路复用和/或放大电路。
应当指出的是，虽然上述扫描器12和控制/放大电路被示出为由单根线连接，但可根据具体实施使用一根或多根缆线或连接器。例如，可使用单独的线进行控制、数据通信、电力传输等。此外，可沿每种类型的线设置合适的硬件，用于正确处理数据和电流/电压。实际上，可在扫描器12与扫描器控制电路14和/或系统控制电路16之间设置各种滤波器、数字转换器和处理器。
如图所示，扫描器控制电路14包括接口电路58，该接口电路输出用于驱动梯度线圈35和RF线圈36以及用于接收代表检查序列中所产生磁共振信号的数据的信号。接口电路58可连接至控制和分析电路60。基于经由系统控制电路16选择的限定协议，控制和分析电路60执行用于驱动电路50和RF控制电路52的命令。
控制和分析电路60还可用于接收磁共振信号，以及在将数据传输至系统控制电路16之前执行后续处理。扫描器控制电路14还可包括一个或多个存储器电路62，该一个或多个存储器电路在操作期间存储配置参数、脉冲序列描述、检查结果等。
第二接口电路64可将控制和分析电路60连接到系统控制电路66，以用于在扫描器控制电路14与系统控制电路16之间交换数据。系统控制电路16可包括第三接口电路68，该第三接口电路从扫描器控制电路14接收数据并且将数据和命令传输回扫描器控制电路14。与控制和分析电路60一样，系统控制电路66可包括在多用途或专用计算机或工作站中的计算机处理单元(CPU)。系统控制电路66可包括或连接至第二存储器电路70，以存储用于操作成像系统10的编程代码，以及存储经处理的图像数据以供稍后重建、显示和传输。编程代码可执行一种或多种算法，该一种或多种算法在由处理器执行时被配置为执行采集数据的重建或涉及采集的数据的其他操作。
可提供另外的输入输出(I/O)接口72，以用于与外部系统部件(诸如远程访问和存储系统18)交换图像数据、配置参数等。最后，系统控制电路66可通信地耦接到各种外围设备，以促进操作员界面并且产生重建图像的硬拷贝。在例示的实施方案中，这些外围设备包括打印机74、显示器76和用户界面78，该用户界面例如包括诸如键盘、鼠标、触摸屏(例如，与显示器76集成在一起)等设备。
在操作中，用户(例如，放射科医生)可配置和/或监督成像系统10的控制。另外，用户可帮助将受检者(例如，患者26)定位在患者孔22内。在一些实施方案中，在执行成像会话时，患者孔22可环绕整个受检者或仅环绕其一部分(例如，患者的头部、胸腔和/或末端)。
除了MRI成像系统之外，本文所讨论的某些示例还利用超声数据采集，诸如以生成使用MRI系统10扫描的相同感兴趣的解剖结构的超声图像。考虑到此，并且为了提供对此类超声成像系统的各方面的熟悉度，图2示出了超声成像系统90的实施方案的框图，该超声成像系统能够采集经历成像的患者的超声数据，包括在介入规程诸如活检期间。在所示实施方案中，超声系统90是数字采集和波束形成器系统，但是在其他实施方案中，超声系统90可以是任何合适类型的超声系统，不限于所示类型。超声系统90可包括超声探头94和工作站96(例如，监视器、控制台、用户界面)，该工作站可控制超声探头94的操作并且可处理由超声探头94所采集的图像数据。超声探头94可通过任何合适的技术耦接至工作站96，该技术用于在超声探头94和工作站96之间传输图像数据和控制信号，诸如无线、光学、同轴或其他合适的连接。
超声探头94在超声检查期间接触患者26。超声探头94可包括面向患者或接触患者的表面，该表面包括换能器阵列98，该换能器阵列具有多个换能器元件100，该多个换能器元件能够在发射模式和接收模式之间以切换方式操作。每个单独的换能器元件100均可以能够将电能转换为用于发射的机械能，以及将机械能转换为用于接收的电能。应当指出的是，换能器阵列98可被配置为双向换能器，当超声探头94被放置成与患者26接触时，该双向换能器能够在操作期间将超声波发射至受检者或患者26体内以及从受检者或患者26接收此类能量。更具体地讲，换能器元件100可将来自超声探头94的电能转换为超声波(例如，超声能量、声波)并将超声波发射至患者26体内。超声波可诸如从患者26的组织被反射回换能器阵列98，并且换能器元件100可将从患者26接收的超声能量(反射的信号或回波)转换为电信号，用于由超声探头94和工作站96处理，以提供可被分析的数据。换能器阵列98中的换能器元件100的数量和换能器元件100操作的频率可根据应用而变化。在某些实施方案中，探头94可包括图2中未示出的附加元件，诸如附加电子器件、数据采集、处理控件等。
如先前所讨论的，超声探头94通信地耦接至超声成像系统90的工作站96，以有利于图像收集和处理。如将了解的，工作站96可包括多个部件或特征以控制超声探头94的操作，有利于超声探头94的放置和/或引导，并且有利于超声数据(包括重建的超声图像)的产生和/或解释。例如，如所示出的，工作站96可包括控制器104、处理电路106、一个或多个用户输入设备108和显示器110。在某些实施方案中，工作站96可包括图2中未示出的附加元件，诸如附加数据采集和处理控件、附加图像显示面板、多个用户界面等。
控制器104可包括存储器112和处理器114。在一些实施方案中，存储器112可包括一个或多个有形的、非暂态计算机可读介质，该介质存储能够由处理器114执行的指令和/或待由处理器114处理的数据。例如，存储器112可包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器(诸如闪速存储器)、硬盘驱动器、光盘等。另外，处理器114可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)或它们的任何组合。控制器104可控制超声波经由换能器阵列98传输至患者26体内。
处理电路106可包括接收和转换电路。处理电路106可从超声探头94的换能器阵列98接收表示从患者26体内的组织界面返回的反射超声能量的电信号数据。处理电路106可处理来自换能器阵列98的数据，诸如校正噪声伪影等。处理电路106然后可将信号数据转换成超声图像以用于经由显示器110呈现。控制器104可使一个或多个超声图像(或者基于此类图像或原始图像数据生成的构造或模型)显示，该图像由处理电路106根据从超声探头94的换能器阵列98接收的信号数据产生。
在操作中，控制器104可经由工作站96的一个或多个用户输入设备108接收指示患者26的目标解剖结构和/或目标解剖结构的目标扫描平面的信号。一个或多个用户输入设备108可包括键盘、触摸屏、鼠标、按钮、开关或适于允许操作者输入目标解剖结构和/或目标解剖结构的期望扫描平面的其他设备。基于目标解剖结构和/或目标解剖结构的目标扫描平面，控制器104可向超声探头94的换能器阵列98输出信号，该信号指示指令，以将来自超声探头94的电能转换为超声波并且将超声波发射至患者26体内以及检测从患者26体内的组织界面反射回的超声能量。
考虑到前面的评论，图3示出了组合MR和超声成像系统130的实施方案的示意图，其可以用于放射治疗或其他治疗或外科或介入规程的非侵入性运动管理，如本文所述。组合MR和超声成像系统130可以类似于2018年1月12日提交的名称为“Image-guided BiopsyTechniques(图像引导活检技术)”的美国专利申请号15/870,519中描述的系统，该申请可以以引用的方式全文并入本文。组合MR和超声成像系统130包括磁共振(MR)成像系统10和超声成像系统90。超声成像系统90可以通信地耦接到MR兼容超声探头132。MR兼容超声探头132可以是被配置为与MR成像系统10结合使用的超声探头。因此，MR兼容超声探头(如2018年2月15日提交的名称为“Magnetic Resonance Compatible Ultrasound Probe”(磁共振兼容超声探头)的美国专利申请号15/897,964中所述，该申请可以以引用的方式全文并入本文)可以包含低含量或不包含铁磁材料(例如，铁、镍、钴)，如参照图1更详细讨论的。
为了便于更简单的工作流程，超声探头132可能够以高时间分辨率进行三维(3D)体积采集，以允许在每个时间点采集超声图像体积。此外，除了MR兼容之外，3D超声探头132可以是电子可操纵和免提的。这允许超声图像视野被电子操纵，从而不需要机器人或机械超声探头保持器来改变成像视野。以这种方式，可以容易地采集同时的MR图像和超声图像。此外，在介入规程(例如，活检)期间，可以以与介入前MR+超声规程期间大致相同的方式毫不困难地使用和定位相同的超声探头。这进一步简化了工作流程，因为在介入前和介入程序之间使用了大致相同的成像设置，并且使用了相同的超声探头和采用了相同的方式。来自MR和超声系统的数据可被流式传输到存储器系统134并存储在该存储器系统中，该存储器系统包含经过训练的网络模型136，如本文更详细地讨论，并且可以连接到其他数据存储或处理系统。
虽然前述内容描述了可在规程(例如，活检前或其他介入规程)之前使用的组合成像系统的相关或所使用方面，但系统的其他方面可为相关的或在规程(例如，活检)期间使用。以举例的方式，在规程期间，活检系统152可存在并且可利用使用组合成像系统130收集的信息。在该示例中，活检系统152表示介入部件，在其他情境下，该介入部件可以是放射治疗系统、外科介入系统或另一个医学介入部件。在一些实施方案中，活检系统152可以是经会阴活检系统。如下面更详细讨论的，活检系统152可以由通过MR成像系统10获得的图像结合通过超声成像系统90获得的图像来引导。
应当注意，本文所描述的系统和过程需要活检规程或介入规程中的两个阶段，即活检前阶段(例如，患者专用的规划阶段)，其中进行同时的MR和超声成像；以及活检阶段或规程(例如，介入/治疗阶段)，其中进行超声成像。考虑到此，组合MR和超声成像系统130还可以包括系统控制器块140，该系统控制器块通信地耦接到组合MR和超声成像系统130的其他元件，包括MR成像系统10、超声成像系统90和治疗(例如，活检)系统152。控制器140可包括存储器134和处理器138。在一些实施方案中，存储器134可包括一个或多个有形的、非暂态计算机可读介质，该介质存储能够由处理器138执行的指令和/或待由处理器138处理的数据。例如，存储器134可包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器(诸如闪速存储器)、硬盘驱动器、光盘等。另外，处理器138可包括一个或多个通用微处理器、一个或多个图形处理单元(GPU)、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)或它们的任何组合。此外，存储器134可以存储能够由处理器138执行的指令，以执行本文描述的方法。另外，存储器134可以存储通过MR成像系统10和超声成像系统90获得的图像和/或由处理器138利用的算法，以基于来自MR成像系统10和超声成像系统14的图像输入来帮助引导活检系统152，如下面更详细讨论的。存储器134还可以存储神经网络136，当被训练时，该神经网络用作基于无监督深度学习的可变形配准网络，如下面更详细描述的。在某些实施方案中，系统可耦接到包括神经网络136的远程数据库，而不是直接结合神经网络136。此外，控制器140可以包括显示器144，其可以用于显示由MR成像系统10和超声成像系统90获得的图像。
应当注意，采集的MR图像和超声图像的类型可能不同。为了效率并且也为了匹配采集帧率，一个实施方案具有随着时间推移与三维(3D)超声图像同时采集的二维(2D)MR图像，即，在每个时间点将时间序列2D MR图像与时间序列3D超声图像匹配。在这种情况下，时间序列3D超声图像中的内源性基准结构/标记可能对于时间序列2D MR图像不常见。在某些实施方案中，MR图像和/或超声图像可以是随时间推移采集的叠加2D图像。
另选地，将时间序列2D MR图像分类成对应的集合，每个集合表示相同的呼吸状态，可以生成与时间序列3D(4D)超声图像在时间上匹配的重新格式化的时间序列3D(4D)MR图像。这增加了超声图像中的内源性基准结构/标记在MR图像中常见的可能性。然而，即使不是这种情况，下面公开的技术也提供MR图像和超声图像之间的充分匹配或配准。在另一个实施方案中，以足够快的采集速度，时间序列3D(4D)MR图像与时间序列3D(4D)超声图像同时采集，以产生在时间上匹配的对应时间序列3D体积图像。由于在参考时间点设置的MR图像和对应的超声图像体积是在同一时间点采集的，所以在MR和超声中可视化的感兴趣器官具有相同的形状、取向和特征轮廓，使得MR到超声的变换更容易进行。
考虑到前述内容，并且使用前列腺活检示例来提供真实世界情境并便于解释，在常规临床实践中，通常仅采集活检前MR体积(具有相位阵列表面线圈)。通常不使用经直肠超声(TRUS)探头来执行前列腺的活检前评估。相反，在活检规程的当天，患者经受两次TRUS探头插入。在第一次TRUS规程中，执行前列腺的2D扫描以重建前列腺的3D超声体积。随后在耗时过程中将超声体积与活检前MR体积对齐，该耗时过程涉及在两种模态下对前列腺轮廓进行手动轮廓修整。第二次TRUS规程在活检规程期间执行并且用于图像引导。如可以理解的，由于患者定位差异、生理状况(比如肠填充或直肠中的气体，以及活检前成像会话和活检成像会话之间的膀胱填充)引起的变形可能导致MR信息的准确整合和用于活检引导的不良病变定位的困难。
如本公开中所讨论的，描述了一种方法，该方法包括在活检前阶段中同时或几乎同时(例如，在时间上连续)采集MR和经腹部超声(TAUS)前列腺图像，诸如可以用MR兼容的3D超声探头采集。经腹部前列腺成像的使用虽然自身不足以诊断恶性肿瘤，但仍可足以评估前列腺体积。此外，TAUS成像可以解决与TRUS成像相关的某些问题，诸如患者不适和由于TRUS探头插入引起的前列腺变形。根据本公开，活检前TAUS图像数据与来源于活检前MRI的信息整合，这提供了有用的前列腺组织对比度并且也是用于评估前列腺疾病的有用诊断工具。因此，与现有方法不同，本公开包括同时或几乎同时的活检前MR和TAUS成像，然后将其用于前列腺活检情境中的指导。与TRUS相比，TAUS探头提供患者舒适度，并且不会由于探头插入而使前列腺变形。此外，在某些情境下，可采用经会阴活检来代替经直肠活检，以便降低与直肠中增加的细菌相关联的感染风险。
考虑到前述情况，并且转到图4和图5，示出了一对工作流程。在规划阶段(在图4中示出)期间，采集活检前2D MR切片(步骤162)。将这些2D MR切片重建成一个或多个3D MR体积164。然后通过自动分段方法或由放射科医生手动地对重建的3D MR体积164上的感兴趣的解剖结构，诸如前列腺进行分段(步骤170)。在该示例中，该分段步骤170导致前列腺轮廓172在活检前重建MR体积164上被识别和/或标记。随着前列腺被分段，存在于重建3D MR体积164中的病变也通过自动分段方法或由放射科医生手动地分段(步骤166)。虽然为了简单起见并且为了便于解释而示出为单独的分段步骤，但是应当理解，分段步骤166和170可以是相同的分段操作(即，由相同的自动例程或过程执行或者在相同的手动评估步骤中执行)。在步骤166处，病变的分段导致在活检前重建MR体积164上描绘病变轮廓168。
在MR成像的同时或之后(例如，在时间上连续的扫描中)，采集活检前3D经腹部超声(TAUS)体积(步骤174)(诸如使用MR兼容的超声探头)。3D TAUS体积可能需要纵向体积帧并且是活检前超声图像数据集的一部分。在本示例中，这些3D TAUS体积被重建成一个或多个代表性3D TAUS体积176。然后通过自动分段方法或由放射科医生手动地在重建的3DTAUS体积176内对感兴趣的解剖结构，诸如在该示例中的前列腺进行分段(步骤178)。该分段步骤178导致前列腺轮廓180在活检前重建的TAUS体积176内被标记或以其他方式识别。
一旦采集了活检前MR和TAUS轮廓，就使用一个或多个合适的对齐例程来执行基于表面的可变形对齐(步骤182)，以生成其中超声图像数据和MR图像数据对齐的活检前体积184。该规划阶段对齐可至少基于MR前列腺轮廓172和TAUS轮廓180。在对齐步骤182中，MR前列腺轮廓172与TAUS前列腺轮廓180对齐，并且在本示例中，这些对齐的前列腺轮廓与MR病变轮廓168整合。实现基于表面的对齐算法有助于考虑到感兴趣的解剖结构(例如，前列腺)的活检前变形，并且因此可有助于对齐活检前MR轮廓和活检前TAUS轮廓。此外，由于同时或几乎同时采集，诸如在切片和体积的时间上连续的扫描中，可以改善活检前MR轮廓和活检前TAUS轮廓的对齐精度。由于基于表面的可变形对齐，创建了活检前TAUS体积184，其中TAUS前列腺轮廓180与MR前列腺轮廓172对齐，并且其中MR病变轮廓168是整合的。
作为规划阶段的一部分，还生成可变形变换模型188以说明前列腺本身的移动或由周围器官的移动或由生理功能引起的前列腺的变形。在该示例中，可以至少部分地基于活检前TAUS体积174来训练深度学习的患者专用变换模型(步骤186)，以捕获活检前TAUS体积174的运动范围。所得的变形变换模型188捕获在活检前TAUS体积内的前列腺运动范围，并且可以随后用于帮助将后续超声体积映射到MR体积164和病变轮廓168所映射到的活检前体积184。
转到图5，在活检阶段期间，使用MR兼容的3D探头或另一种合适的探头来采集3D活检TAUS体积194(步骤192)，该MR兼容的3D探头可由活检前采集留在适当的位置。3D活检TAUS体积可能需要纵向体积帧并且是活检超声图像数据的一部分。可以在活检期间采集的TAUS体积194与活检前体积之间执行可变形对齐步骤196。例如，在活检阶段期间在步骤196处执行的对齐可以利用3D活检TAUS体积194、来自规划阶段的可变形变换模型188以及活检前体积184，其中TAUS前列腺轮廓180与MR前列腺轮廓172对齐并与MR病变轮廓168整合。可变形对齐196产生实时活检TAUS体积198，其中MR前列腺轮廓172和/或病变轮廓168覆盖在活检期间采集的TAUS体积194上(或以其他方式与该TAUS体积一起显示)。
基于实时变换图像，可在活检期间或之后诸如通过如本文所述的图像采集和/或分析系统向外科医生或病理学家提供指导，以有利于活检和/或评估活检后规程。例如，此类指导可包括基于实时变换图像来显示图像或图像序列(框198)，外科医生或病理学家可参考该图像或图像序列来执行活检或评估活检。在其他情境下，虚拟或增强现实技术例如可在为外科医生或病理学家显示的图像上显示一个或多个病变。
所公开的实施方案的技术效果包括提供与自动多模态成像相关的系统和方法，该自动多模态成像利用解剖分段来促进对移动(即，动态)解剖对象的实时跟踪中的准确引导。具体地讲，在一个实施方案中，使用活检前超声体积来创建可变形变换模型，以最终帮助将活检前MRI覆盖到活检超声域。基于可变形变换的此类对齐对于在常规医疗规程中经常遇到的强度变化和超声成像伪影而言更快、更准确并且稳健。此外，在一个实施方案中，MR兼容的超声探头用于在活检前阶段同时采集MRI和超声。此类采集提高了图像对齐精度，并且允许后续可变形图像对齐的更好初始化。当使用用于引导的实时超声充分变形时，活检前MRI图像可导致外科切除规程的进展的高组织对比度可视化。
本公开中的技术可适用于与自动结构引导的刚性、仿射或可变形对齐相关的其他问题。待对齐的结构可使用可变形变换模型自动地分段。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (20)

1.一种用以生成患者专用变换模型的多模态成像方法，所述方法包括以下步骤：
采集患者的活检前磁共振(MR)图像数据和活检前超声图像数据；
对由所述MR图像数据生成的MR体积中的感兴趣的解剖区域和一个或多个病变进行分段；
对从所述超声图像数据生成的超声体积中的所述感兴趣的解剖区域进行分段；
将所述MR体积中的所分段的感兴趣的解剖区域的轮廓与所述超声体积中的所述感兴趣的解剖区域的对应轮廓对齐，以生成活检前体积，所述MR体积和所述超声体积在所述活检前体积中对齐并且来自所述MR体积的所述一个或多个病变的轮廓在所述活检前体积上对齐；
至少部分地基于所述活检前超声图像数据来训练深度学习变换模型，以创建特定于所述患者的可变形变换模型。
2.根据权利要求1所述的方法，其中所述活检前MR图像数据、所述活检前超声图像数据和所述活检超声图像是所述患者的腹部区域的。
3.根据权利要求1所述的方法，其中所述活检前MR图像数据包括重建为3D表示的二维(2D)MR图像，并且所述活检前超声图像数据包括随时间推移采集的三维(3D)超声图像。
4.根据权利要求1所述的方法，其中所述深度学习变换模型特定于所述感兴趣的解剖结构。
5.根据权利要求4所述的方法，其中所述感兴趣的解剖结构包括前列腺。
6.根据权利要求1所述的方法，其中所述活检前超声图像数据包括纵向体积帧。
7.根据权利要求6所述的方法，其中通过所述深度学习变换模型来捕获所述活检前纵向体积帧的运动范围。
8.根据权利要求1所述的方法，其中同时采集所述活检前MR图像数据和所述活检前超声图像数据。
9.根据权利要求8所述的方法，其中使用MR兼容的超声探头来采集所述活检前超声图像数据。
10.根据权利要求1所述的方法，进一步包括以下步骤：
在活检规程期间采集患者的一个或多个活检超声图像；
使用所述可变形变换模型来执行可变形对齐以将每个活检超声图像与所述活检前体积对齐，其中所述一个或多个病变的所述轮廓先前与每个活检超声图像相关联；以及
在一些或所有所述活检超声图像上提供所述一个或多个病变的所述轮廓的实时可视化。
11.一种多模态成像系统，包括：
存储器，所述存储器对处理器可执行例程进行编码；和
处理部件，所述处理部件被配置为访问所述存储器并执行所述处理器可执行例程，其中所述例程在由所述处理部件执行时，使所述处理部件执行包括以下各项的动作：
采集患者的活检前磁共振(MR)图像数据和活检前超声图像数据；
对由所述MR图像数据生成的MR体积中的感兴趣的解剖区域和一个或多个病变进行分段；
对从所述超声图像数据生成的超声体积中的所述感兴趣的解剖区域进行分段；
将所述MR体积中的所分段的感兴趣的解剖区域的轮廓与所述超声体积中的所述感兴趣的解剖区域的对应轮廓对齐，以生成活检前体积，所述MR体积和所述超声体积在所述活检前体积中对齐并且来自所述MR体积的所述一个或多个病变的轮廓在所述活检前体积上对齐；
至少部分地基于所述活检前超声图像数据来训练深度学习变换模型，以创建特定于所述患者的可变形变换模型；
在活检规程期间采集所述患者的一个或多个活检超声图像；
使用所述可变形变换模型来执行可变形对齐以将每个活检超声图像与所述活检前体积对齐，其中所述一个或多个病变的所述轮廓与每个活检超声图像相关联；以及
在一些或所有所述活检超声图像上提供所述一个或多个病变的所述轮廓的实时可视化。
12.根据权利要求11所述的系统，其中所述活检前MR图像数据、所述活检前超声图像数据和所述活检超声图像是所述患者的腹部区域的。
13.根据权利要求11所述的系统，其中所述活检前MR图像数据包括重建为3D表示的二维(2D)MR图像，并且所述活检前超声图像数据包括三维(3D)超声图像。
14.根据权利要求11所述的系统，其中所述深度学习变换模型特定于所述感兴趣的解剖结构。
15.根据权利要求11所述的系统，其中同时采集所述活检前MR图像数据和所述活检前超声图像数据。
16.一种为活检系统配准实时图像的方法，所述方法包括以下步骤：
在活检规程期间采集患者的一个或多个活检超声图像；
使用可变形变换模型来执行可变形对齐以将每个活检超声图像与活检前体积对齐，其中所述可变形变换特定于所述患者，并且其中一个或多个病变的所述轮廓与每个活检超声图像相关联；以及
在一些或所有所述活检超声图像上提供所述一个或多个病变的所述轮廓的实时可视化。
17.根据权利要求16所述的方法，其中所述活检规程包括经会阴活检规程。
18.根据权利要求16所述的方法，其中所述活检超声图像包括纵向体积帧。
19.根据权利要求16所述的方法，其中使用至少部分地基于活检前超声图像数据训练的深度学习变换模型来生成所述可变形变换模型。
20.根据权利要求19所述的方法，其中所述深度学习变换模型特定于所述感兴趣的解剖结构。
CN202010822971.XA 2019-09-13 2020-08-13 使用多模态成像的活检工作流程 Pending CN112494028A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/570,859 2019-09-13
US16/570,859 US11304683B2 (en) 2019-09-13 2019-09-13 Biopsy workflow using multimodal imaging

Publications (1)

Publication Number Publication Date
CN112494028A true CN112494028A (zh) 2021-03-16

Family

ID=74867756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010822971.XA Pending CN112494028A (zh) 2019-09-13 2020-08-13 使用多模态成像的活检工作流程

Country Status (2)

Country Link
US (1) US11304683B2 (zh)
CN (1) CN112494028A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854192B2 (en) 2021-03-03 2023-12-26 International Business Machines Corporation Multi-phase object contour refinement
US11923071B2 (en) * 2021-03-03 2024-03-05 International Business Machines Corporation Multi-phase object contour refinement
CN113729941B (zh) * 2021-09-23 2024-01-30 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
WO2023108625A1 (zh) * 2021-12-17 2023-06-22 上海卓昕医疗科技有限公司 穿刺定位系统及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853576A (zh) * 2005-04-26 2006-11-01 韦伯斯特生物官能公司 使用超声轮廓重建的三维心脏成像
CN102215770A (zh) * 2008-06-20 2011-10-12 皇家飞利浦电子股份有限公司 用于执行活检的方法和系统
US20120071749A1 (en) * 2009-06-05 2012-03-22 Koninklijke Philips Electronics N.V. System and method for integrated biopsy and therapy
US20130211230A1 (en) * 2012-02-08 2013-08-15 Convergent Life Sciences, Inc. System and method for using medical image fusion
WO2014031531A1 (en) * 2012-08-21 2014-02-27 Convergent Life Sciences, Inc. System and method for image guided medical procedures
US20140275962A1 (en) * 2013-03-12 2014-09-18 General Electric Company Methods and systems using magnetic resonance and ultrasound for tracking anatomical targets for radiation therapy guidance
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7520856B2 (en) 1999-09-17 2009-04-21 University Of Washington Image guided high intensity focused ultrasound device for therapy in obstetrics and gynecology
US20070167705A1 (en) 2005-08-04 2007-07-19 Chiang Alice M Integrated ultrasound imaging system
WO2011075821A1 (en) 2009-12-24 2011-06-30 Imris Inc. Apparatus for mri and ultrasound guided treatment
US20140073907A1 (en) 2012-09-12 2014-03-13 Convergent Life Sciences, Inc. System and method for image guided medical procedures
US10188361B2 (en) 2017-03-27 2019-01-29 Siemens Healthcare Gmbh System for synthetic display of multi-modality data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853576A (zh) * 2005-04-26 2006-11-01 韦伯斯特生物官能公司 使用超声轮廓重建的三维心脏成像
CN102215770A (zh) * 2008-06-20 2011-10-12 皇家飞利浦电子股份有限公司 用于执行活检的方法和系统
US20120071749A1 (en) * 2009-06-05 2012-03-22 Koninklijke Philips Electronics N.V. System and method for integrated biopsy and therapy
US20130211230A1 (en) * 2012-02-08 2013-08-15 Convergent Life Sciences, Inc. System and method for using medical image fusion
WO2014031531A1 (en) * 2012-08-21 2014-02-27 Convergent Life Sciences, Inc. System and method for image guided medical procedures
US20140275962A1 (en) * 2013-03-12 2014-09-18 General Electric Company Methods and systems using magnetic resonance and ultrasound for tracking anatomical targets for radiation therapy guidance
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent

Also Published As

Publication number Publication date
US20210077077A1 (en) 2021-03-18
US11304683B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
CN112348858B (zh) 多模态图像的可变形配准
US11304683B2 (en) Biopsy workflow using multimodal imaging
JP4490442B2 (ja) 手術中の２次元画像および手術前の３次元画像をアフィン重ね合わせするための方法およびシステム
Wein et al. Automatic CT-ultrasound registration for diagnostic imaging and image-guided intervention
US7467007B2 (en) Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images
JP5759446B2 (ja) 解剖学的特徴を輪郭抽出するシステム、作動方法及びコンピュータ可読媒体
JP6609330B2 (ja) レジストレーションの基準マーカー、システム、および方法
JP5627677B2 (ja) 画像ガイド下前立腺癌針生検のためのシステムおよび方法
US20110178389A1 (en) Fused image moldalities guidance
CN105025787A (zh) 用于图像引导过程的系统
MX2007005271A (es) Despliegue de imagen de ultrasonido mejorada.
US20180325489A1 (en) Method for postural independent location of targets in diagnostic images acquired by multimodal acquisitions and system for carrying out the method
CN115294124B (zh) 基于多模态医学图像配准的超声穿刺引导规划系统
WO2014031531A1 (en) System and method for image guided medical procedures
EP4115389B1 (en) Multi-modal medical image registration and associated devices, systems, and methods
JP6623166B2 (ja) 超音波ガイド処置に対するゾーン視覚化
US20080146933A1 (en) Ultrasonic image and visualization aid
Mohareri et al. A system for MR-ultrasound guidance during robot-assisted laparoscopic radical prostatectomy
CN106466183A (zh) 工作站、包括其的医学成像设备和对其的控制方法
US20210251611A1 (en) Identification of respiratory phases in a medical procedure
US20240090791A1 (en) Anatomy Masking for MRI
Li Computer-assisted navigation techniques for MRI-guided percutaneous interventions
Miga et al. IMAGE-GUIDED PROCEDURES IN SURGERY AND INTERVENTION: CHALLENGES IN IMAGE-TO-PHYSICAL REGISTRATION AND BEYOND
Baumann A 3D ULTRASOUND-BASED TRACKING SYSTEM FOR PROSTATE BIOPSY DISTRIBUTION QUALITY INSURANCE AND GUIDANCE.
Bergmeir et al. Operator guidance in 2D echocardiography via 3D model to image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination