CN110393591B - 多模态2d至3d成像导航 - Google Patents

多模态2d至3d成像导航 Download PDF

Info

Publication number
CN110393591B
CN110393591B CN201910337148.7A CN201910337148A CN110393591B CN 110393591 B CN110393591 B CN 110393591B CN 201910337148 A CN201910337148 A CN 201910337148A CN 110393591 B CN110393591 B CN 110393591B
Authority
CN
China
Prior art keywords
image
volume
composite
interest
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910337148.7A
Other languages
English (en)
Other versions
CN110393591A (zh
Inventor
西尔万·伯纳德
辛西娅·戴维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN110393591A publication Critical patent/CN110393591A/zh
Application granted granted Critical
Publication of CN110393591B publication Critical patent/CN110393591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025—Tomosynthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4218—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/4281—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by sound-transmitting media or devices for coupling the transducer to the tissue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10084—Hybrid tomography; Concurrent acquisition with multiple different tomographic modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10112—Digital tomosynthesis [DTS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Vascular Medicine (AREA)
  • Robotics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明题为“多模态2D至3D成像导航”。本发明公开了一种用于对患者的乳腺或其他组织获得的图像中的ROI进行检测的系统和方法，所述系统和方法显著地改善多模态2D与3D图像之间的导航的速度和精度/准确度。在所述系统和方法中，在DBT采集中获得组织的图像，以生成所述成像组织的合成2D图像并且在3D(例如，超声)图像采集中生成。所述2D图像生成过程创建了合成2D图像，所述过程嵌入了使所述2D图像中的像素与所述3D超声体积的区段相关的导航地图，诸如经由所述3D超声体积与使用所述DBT图像数据创建的3D体积之间的配准。当查看合成2D图像时，选择所述2D图像上的ROI，并且所述系统将另外向所述用户呈现包含该ROI的所述3D体积的所述区段。

Description

多模态2D至3D成像导航
发明背景
本公开涉及组合的2D和3D成像领域以及用于处理2D和3D成像数据以改善通过成像数据的导航的方法和系统。
X线成像系统已经成为医学应用中的有价值的工具，诸如用于许多疾病的诊断。作为乳腺癌乳腺X线照相术的标准筛查，在整个乳腺组织上拍摄二维(2D)x线图像。这些已知的2D乳腺X线照片受到组织叠加的限制。也就是说，病变可能被上方或下方的组织遮盖，或者正常结构可能模仿病变。为了最小化由组织叠加引起的标准2D乳腺X线照相术的限制，已经开发了使用数字接收器的数字乳腺断层摄影。
目前的断层摄影系统采用至少一个x线管，该x线管例如以弧形移动到固定检测器上方。在数字乳腺断层摄影(DBT)中，感兴趣对象的体积信息可以从一系列图像导出，称为投影图像或投影，其通过一个或多个x线源以各种角度拍摄。乳腺中不同高度的对象在不同的投影中显示不同。可以从2D投影图像生成3D体积以供查看。是生成的3D体积部分提供了克服与组织叠加相关联的限制的优点。
然而，如果在2D或3D断层摄影X线图像上识别出潜在病变或其他异常，则安排进行乳腺的超声检查或MRI的随访，以基于X线图像确认或检查初始诊断。此类重新安排通常涉及检查之间的数天甚至数周的延迟。这段时间可能导致患者对检查之间的焦虑和担忧。此外，因为检查是在不同的就诊时进行的，并且还因为直立定位和压缩通常用于乳腺摄影X线检查，并且仰卧位定位用于超声波或易于进行MRI检查，所以将X线图像和超声图像共同配准非常困难，使得放射科医师或其他执业医师可以观察使用不同模态成像的相同区域。用于执行乳腺的超声检查的现有技术具有另外的缺点，诸如与此类检查相关联的时间。
此外，如果发现患者具有致密的乳腺，则可以将她转诊进行全乳腺超声筛查，以在同一次就诊或随后的就诊时进行。超声成像可以由经验丰富的超声波检查技术人员和标准超声成像系统或专门设计的自动乳腺超声系统(ABUS)手动执行。
为了解决关于乳腺的断层合成和3D超声成像的需求的这个问题，已经开发了组合成像系统，诸如在标题为“SYSTEMS AND METHODS FOR X-RAY AND ULTRASOUND IMAGING”的美国专利申请公开No.US2014/0135623中公开的组合成像系统，其全部内容通过引用方式明确地并入本文以用于所有目的。在这些系统中，包括X线和超声模态的成像系统可以被铰接以定位和/或压缩对象，诸如人体解剖结构(例如，乳腺)的一部分，以执行X线扫描或检查。使用经由X线扫描或检查获得的信息，可以识别对象的一个或多个感兴趣部分，以便在同一系统上使用超声成像进行进一步分析。
虽然这种类型的组合成像系统有助于获得和查看组织的组合2D和3D图像，但是为了有效地查看图像，这些图像被单独显示给放射科医师或其他执业医师。在查看图像期间，放射科医师通常将分别观察一名患者的2D乳腺X线照相术和3D超声图像，并在两个图像中搜索可疑区域。放射科医师经常需要在乳腺X线照相术图像上验证在超声波中发现的感兴趣区域(ROI)的可疑区域，反之亦然。因为用于获取乳腺X线照片和3D超声的患者或乳腺定位通常非常不同，所以对于放射科医师来说，一种模态的图像中的哪个定位对应于在另一模态中找到的ROI并不是立即显而易见的。在实践中，由放射科医师实施的手动方法非常繁琐且容易出错。例如，放射科医师将测量ROI距乳头的距离，并估计乳腺X线照片上ROI的钟面位置，然后基于该测量在3D乳腺超声图像上找到对应的ROI。
为了解决该问题并试图加速组合图像的查看工作流程，已经开发的一种解决方案在标题为“VIEWING AND CORRELATING BETWEEN BREAST ULTRASOUND AND MAMMOGRAM ORBREAST TOMOSYNTHESIS IMAGES”的美国专利申请公开No.US2014/0082542中公开，其全部内容通过引用方式明确地并入本文以用于所有目的。在该解决方案中，乳腺X线照相术图像，即沿着中侧斜向(MLO)和头尾(CC)平面拍摄的图像，以及3D超声图像分别获得被成像的组织。响应于由系统的用户在乳腺X线照片图像或超声图像之一上选择识别的ROI，系统自动计算其他模态图像内所选ROI的坐标，并在这些图像上提供导航辅助，以帮助用户确定ROI在其他图像上的定位。
然而，在乳腺X线照相术和超声波模态中获得的图像的变化，以及被成像的组织的形式或状态的任何变化，诸如，在乳腺X线照相术成像期间乳腺的直立压缩与超声成像中的仰卧压缩组织相比，在乳腺X线照相术图像内和超声图像内的所选ROI的定位之间创建了显著的相关性问题。此外，对每种模态的图像数据进行单独查看会大大减慢查看和工作流程。这继而又对于正确确定任一图像中ROI的确切定位存在显著问题，特别是关于小ROI和/或当在不同时间获得图像并且具有单独的压缩时，从而增加了正确分析图像所需的时间，并增加了假阳性筛查回调和最终活组织检查的次数。
因此，期望开发一种用于利用从断层摄影采集获得的2D图像数据来创建导航地图的系统和方法，用于在3D超声体积中识别和定位ROI，从而改善现有技术。
发明内容
需要或期望一种用于对患者的乳腺或其他组织获得的图像中的ROI进行检测的系统和方法，以显著地改善多模态2D与3D图像之间的导航的速度和准确度。在该系统和方法中，在3D DBT采集中获得组织的图像，以生成成像组织的合成2D图像并且在3D(例如，超声或MRI)图像采集中生成。2D图像生成过程创建了合成2D图像，每个过程嵌入了使2D图像中的像素与3D超声体积的区段相关的导航地图，诸如经由3D超声体积与使用DBT图像数据创建的3D DBT体积之间的配准。当查看合成2D图像时，选择2D图像上的ROI，并且系统将另外向用户呈现包含该ROI的3D体积的区段。通过使用合成2D DBT图像，与呈现给放射科医师的2D图像相比，可以更接近地逼近3D体积的平面内的ROI的定位，大大地提高了成像模态平面之间导航到ROI的速度和精度。
根据本公开的另一示例性方面，可以使用应用于3D图像的计算机辅助检测(CAD)系统的结果来增强合成2D图像，以定义2D合成图像中的ROI的定位。然后可以将增强的2D图像与ROI定位一起呈现，以更有效地导航至3D图像中的那些ROI。
根据本公开的另一示例性方面，本发明公开了用于帮助用户导航通过2D和3D图像数据以定位乳腺组织内的感兴趣区域的系统，包括：2D图像采集系统，用于获取2D图像数据；3D图像采集系统，用于获取3D图像数据；分析模块，该分析模块可操作地连接至2D图像采集系统和3D图像采集系统，并且被配置为：从所获取的2D图像数据生成合成2D图像和3D体积，从3D图像数据生成3D体积，使3D图像体积内的定位与3D图像体积内的定位相关，生成提供与3D体积和3D体积中的平面对应的合成2D图像中的每个像素的信息的导航地图，以及选择并呈现3D体积内对应于合成2D图像内选定的像素的导航地图信息的区段；显示器，该显示器可操作地连接至分析模块并且可操作以显示合成2D图像和3D体积的区段；和输入端，该输入端可操作地连接至分析模块并且被配置为接收来自用户的关于显示器上呈现的合成2D图像内的像素的选择的命令。
根据本公开的又一方面，一种在对象的不同成像模态中获得的对象的图像之间导航的方法，包括以下步骤：在数字断层摄影采集中以相对于对象的不同角度获得对象的多个x线图像；在3D成像采集中获得对象的三维(3D)体积图像；从x线图像处形成对象的DBT体积；从x线图像和/或DBT体积处形成对象的合成二维(2D)图像；形成使合成2D图像的像素与DBT体积中的相关联平面相关的导航地图；使来自3D成像采集的3D体积图像与来自数字断层摄影采集的DBT体积相关；显示合成2D图像；并且响应于显示的合成2D图像中的像素的选择，显示与合成2D图像中的像素的定位对应的3D体积图像的区段。
应当理解，提供上面的简要描述以便以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题范围由具体实施方式后的权利要求唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
附图例示了目前设想的执行本公开的最佳模式。在附图中：
图1是根据本公开的示例性非限制性实施方案的多模态成像组件的示意图。
图2是根据本发明的示例性非限制性实施方案的同时显示经由导航地图相关合成2D图像的所选像素的合成2D图像、3D平面和3D区段的示意图。
图3是根据本发明的示例性非限制性实施方案的用于改善相关合成2D图像和导航地图的3D体积的所识别的感兴趣区域的示意图。
图4是根据本发明的示例性非限制性实施方案的在图3的3D体积中识别的合成2D图像和重叠感兴趣区域的显示的示意图。
图5是根据本发明的示例性非限制性实施方案的同时显示合成2D图像、3D平面和3D区段以及经由导航地图相关的所选像素和乳头位置的示意图。
具体实施方式
当结合附图阅读时，将更好地理解各种实施方案。就附图示出各种实施方案的功能块的图而言，功能块不一定指示硬件电路之间的划分。因此，例如，一个或多个功能块(例如，处理器、控制器或存储器)可以在单件硬件(例如，通用信号处理器或随机存取存储器、硬盘等)或多件硬件中实现。类似地，任何程序可以是独立程序，可以作为子程序包含在操作系统中，可以是安装的软件包中的功能等。应当理解，各种实施方案不限于附图中所示的布置和器械。
如本文所用，以单数形式叙述且以词语“一”或“一个”开头的元件或步骤应被理解为不排除多个所述元件或步骤，除非明确地说明这种排除。此外，对“一个实施方案”的引用并非旨在被解释为排除也包含所叙述的特征的其他实施方案的存在。此外，除非明确地相反说明，否则“包含”或“具有”元件或具有特定属性的多个元件的实施方案可包括不具有该属性的其他这类元件。
而且如本文所用，短语“图像”或“重建图像”不旨在排除其中生成表示图像的数据但是不生成可视图像的实施方案。因此，如本文所用，术语“图像”广泛地指代可视图像和表示可视图像的数据两者。然而，许多实施方案生成或被配置为生成至少一个可视图像。
根据各种实施方案形成的系统提供包括2D成像模态(即，X线成像)和3D成像模态(例如，超声(US)或磁共振成像(MRI))的成像系统，用于使用两种模态对对象或患者执行扫描，以增强扫描结果和诊断。
一些实施方案提供了一种具有改善的压缩桨状件的成像系统，该压缩桨状件包括和/或接收包含超声探头的盒，该超声探头可以移动至成像系统的视场内的各个定位。例如，利用适当配置的软件的控制模块可以获得多个X线图像和超声扫描，以识别潜在的感兴趣区域，诸如潜在的病变，以供进一步研究。在一些实施方案中，包含超声探头的盒可以定位在压缩平面与X线检测器之间。
一些示例性实施方案提供了改善的X线和超声图像的共同配准，例如通过在基本相同的时间获取此类图像和/或通过利用相同或相似的压缩量获取此类图像。
至少一个实施方案的技术效果包括获取和分析组合的乳腺摄影检查结果所需的时间减少，包括2D成像和3D成像检查。至少一个实施方案的技术效果包括减少与多模态成像检查相关联的误差。至少一个实施方案的技术效果包括改善的X线和超声图像的共同配准，从而在查看图像期间改善和加速2D与3D图像之间的导航，因此改善诊断和/或减少医学专业人员分析所获取图像所需的时间和技能。
图1提供了根据示例性实施方案的用于对对象成像的成像系统200的示例，诸如在标题为“SYSTEMS AND METHODS FOR X-RAY AND ULTRASOUND IMAGING”的美国专利申请公开No.2014/0135623中公开，其全部内容通过引用方式明确地并入本文以用于所有目的。在例示实施方案中，系统200和相关联方法可以采用本文讨论的各种实施方案的结构或方面。在各种实施方案中，可以省略或添加某些步骤，可以组合某些步骤，可以同时执行某些步骤，可以并行地执行某些步骤，可以将某些步骤分为多个步骤，可能以不同的顺序执行某些步骤，或者可能以迭代方式重新执行某些步骤或一系列步骤。
在该系统和方法中，对象202被定位于成像系统的平面之间。例如，对象可以是人体解剖结构的一部分，诸如乳腺。因为X线扫描有效地以二维(2D)观察对象，所以超过一定密度和/或厚度的诸如乳腺组织的结构可能不容易适合于X线扫描。压缩可用于使乳腺更适合X线成像。例如，压缩可以减小乳腺的厚度，并且在两个维度上将组织拉伸至更宽的观察区域，从而允许改善识别在扫描期间定位的结构。此外，通过向X线检测系统呈现更薄的整体结构，可以减少对乳腺成像所需的X线剂量。
图1的示例性示出的实施方案呈现了根据各种实施方案形成的成像系统200的示意图。成像系统200被配置为提供2D(即，X线)和3D(例如，超声波或MRI或对比度增强的DBT或CT)成像模态两者，它们可用于在对扫描定位的同一次就诊中对对象(例如，患者)执行扫描。例如，成像系统200可用于基本上连续地执行X线扫描和超声扫描。基本上连续地可以被理解为描述例如在其间具有相对短的时间间隔执行的扫描。在一些实施方案中，2D扫描和3D扫描可以基本上连续地执行，其间的时间间隔小于约5秒。在一些实施方案中，2D扫描和3D扫描可以基本上连续地执行，其间的时间间隔小于约10秒。在一些实施方案中，2D扫描和3D扫描可以基本上连续地执行，其间的时间间隔小于约1分钟。在一些实施方案中，2D扫描和3D扫描可以基本上连续地执行，其间的时间间隔小于约5分钟。然而，应当理解，也可以考虑其他时间间隔，并且成像系统200可以形成有单独设备，用于在不同时间和/或在不同定位执行2D扫描和3D扫描。
成像系统200可用于对对象成像，诸如人体乳腺202。成像系统200可以相对于被成像的对象是可铰接的。在所示实施方案中，成像系统200可在旋转方向206上铰接，因此可用于从不同角度观察乳腺202以进行不同扫描。例如，能够以第一角度执行第一X线扫描，并且能够以第二角度执行第二X线扫描，以提供乳腺202的不同视图。因为乳腺202是三维(3D)对象并且X线扫描有效地在两个维度上看到乳腺202，所以乳腺202内的结构可以在一个角度或视角处被遮挡、阻挡或以其他方式不可识别，但是当以不同的角度或视图观察时可以是可识别的。因此，可以通过以两个或更多个不同角度或视图执行X线扫描来实现乳腺202内的结构的改善识别。
在例示的实施方案中，系统200被配置为获得三维X线图像，诸如经由3D数字乳腺断层摄影(DBT)。在一些实施方案中，可利用管或其他结构获取断层摄影成像信息，这些管或其他结构可在一个或多个方向上旋转约10至30度以提供体积图像。在一些实施方案中，可以减少在板或桨状件之间施加的压缩量(例如，与使用3D DBT结合)。例如，可以使用足以定位对象(例如，乳腺)的压缩量。因此，在各种实施方案中，可以采用各种成像技术。此外，可以采用靠近板或桨状件的X线检测单元的各种安装(例如，静止或旋转)。
成像系统200包括2D成像或X线模块210、3D成像模块230，诸如超声或MRI模块、控制模块240和界面250。一般而言，在例示的实施方案中，X线模块210被配置为相对于对象202以各种角度执行对象202的X线扫描，诸如在DBT扫描中，以向控制模块240提供X线成像信息。控制模块240还被配置为控制3D成像模块230以执行对象202的扫描，以促进对象202和/或对象202内的一个或多个感兴趣区域的改善的分析和/或诊断。例如，3D成像扫描可以用于确认一个或多个感兴趣区域在X线扫描中是否是假阳性(例如，不是引起关注的原因)或者是否一个或多个感兴趣区域似乎具有医学意义(例如，潜在的癌)。
在例示的示例性实施方案中，X线模块210包括X线源212、桨组件213(包括上板214和下板216)、检测器218和致动器220。X线源212被配置为发射穿过对象(例如，对象202)并由检测器218接收的X线。检测器定位于、安装到下板216上和/或形成该下板的一部分。由检测器218获取的信息被传送到控制模块240。例示的实施方案中的X线源212具有投射到检测器218的视场204。
桨组件213包括上板214和下板216。上板214和下板216是可相对于彼此铰接的第一相对板和第二相对板的示例。在例示的实施方案中，下板216是固定的，并且上板214可通过致动器220沿压缩方向222铰接。上板214可朝向下板216向下铰接(在图2的意义上)以压缩乳腺并向上远离下板216，以减少乳腺202上的压缩量，并且/或者从上板214与下板216之间释放乳腺202。在另选实施方案中，可以采用其他布置提供两个板相对于彼此的铰接。在例示的实施方案中，上板214和下板216被描绘为基本上平坦的。在另选实施方案中，可以采用具有弯曲或其他起伏状外形轮廓的板。也可以采用其他类型或取向的铰接运动。作为一个示例，在一些实施方案中，第一板和第二板可以通过枢轴耦接，因此可以相对于彼此旋转。致动器220可以由控制模块240和/或操作者控制。在各种实施方案中，可采用各种设备或机构(例如，一个或多个电机、气动或液压缸、电子线性致动器、手动机构等)来铰接板。在一些实施方案中，一个或多个桨状件或板可在机架上平移和/或旋转，该机架可安装到地板和/或墙壁上。
在各种实施方案中，上板214和/或下板216可以被配置为在X线穿过板时减少X线的任何潜在衰减(例如，射线可透的)。此外，在各种实施方案中，上板214和/或下板216可以是基本透明的，以向操作者提供对象202的定位的视觉确认。
检测器218被配置为接收已经从X线源212发射并且已经穿过乳腺202的X线束，并且向控制模块240提供X线成像信息。控制模块240被配置为从检测器218接收X线图像信息和/或使用来自检测器218的X线信息重建2D和/或3D X线图像。在一些实施方案中，检测器218可包括多于一个的检测器，诸如检测器阵列。在例示的实施方案中，检测器218安装在下板216上。在其他实施方案中，检测器218可以是板或桨状件的一部分、嵌入板或桨状件或以其他方式与板或桨状件相关联。
在例示的示例性实施方案中，3D成像模块被构造为超声模块230，诸如自动乳腺超声系统(ABUS)，其被配置为获取待成像的对象的超声信息。在例示的实施方案中，超声模块230包括超声换能器232、分配模块233、致动器234和贮存器237。超声换能器232被配置为通过对象的一部分发送一束或多束超声波并接收返回的超声波束。然后，使用由超声换能器获取的信息重建与被扫描的对象或其部分对应的3D图像。例如，来自超声换能器232的信息可以被传送到控制模块240和/或界面250，用于图像重建和/或分析。
在一些实施方案中，超声换能器232包括对准的换能器阵列，其被配置为在基本侧向方向上铰接，从而允许乳腺的感兴趣区域在单次通过中被超声扫描。超声换能器232可以是盒式组件的一部分，其可在板或桨状件内和/或沿着板或桨状件移动(作为一个示例，上板214的上表面215，或者，作为另一示例，下板216的下表面)。可以采用液体或凝胶创建或改善超声探头与板或桨状件的壳体或表面之间的声学接触。
致动器234被配置成将超声换能器232铰接到期望位置，以扫描对象202或该对象的感兴趣区域(例如，乳腺202的感兴趣区域)。致动器234可以基于从控制模块240接收的控制信号或消息来定位超声换能器。在例示的实施方案中，致动器234被配置为使超声换能器232在超声方向236上基本上侧向地沿着上板214的上表面215进行铰接运动。在各种实施方案中，致动器234可包括各种设备或机构中的一个或多个(例如，一个或多个电机、气动或液压缸、电子线性致动器等)。
在执行X线扫描时，超声换能器232可以定位在X线源212的视场204的外部。在X线扫描完成并且已经选择了感兴趣区域之后，致动器234可以定位超声换能器232以扫描对象202。因此，超声换能器232可以在视场204外部的位置与视场204内部的一个或多个位置之间铰接。在一些实施方案中，超声换能器可以安装到一个或多个桨状件和板上，并且可以在一个或多个表面上铰接，例如，经由轨道或引导件。在一些实施方案中，超声换能器可在多个侧向方向上移动(例如，致动器234可包括多个线性致动器或以其他方式配置成在多个方向上使超声换能器232进行铰接运动)。例如，致动器234可以被配置为以光栅图样移动超声换能器，该光栅图样的尺寸和配置被设计成覆盖感兴趣的区域。此外，在一些实施方案中，超声换能器232可以可拆卸地安装到桨状件或板上，并且在X线扫描期间物理地从桨状件或板移除。
图1所示的示例性实施方案中的分配模块233包括贮存器237(例如，密封的贮存器)。分配模块233被配置为从贮存器237分配液体或凝胶，以将超声换能器与板或桨状件的表面声学地耦接。例如，在例示的实施方案中，分配模块233被配置为将液体分配到上板214的上表面215，超声换能器232在一个或多个感兴趣区域的超声扫描期间穿过该上表面。液体或凝胶被配置为改善换能器与板或桨状件之间的声学接触，使得声波可以经由板或桨状件在换能器与对象之间传输(例如，当压缩对象时，将板或桨状件压在待扫描的对象上)。在一些实施方案中，分配模块的一部分和/或板或桨状件的表面可以被配置为当成像系统200在旋转方向206上以一定角度铰接时，改善表面上液体或凝胶的保留，其中重力可以促使液体或凝胶离开表面。
控制模块240包括运动控制模块244，该运动控制模块被配置为控制X线源212、板214，216和/或超声换能器232的移动和/或位置，以对对象202和/或对象202内的感兴趣区域进行扫描。
控制模块240的分析模块242被配置为从X线模块210的检测器218和超声换能器232处接收信息，并使用每个图像数据集的信息重建2D和3D图像。分析模块242还可以被配置为例如在使用来自超声换能器232的超声信息重建图像时调整或考虑压缩。在一些实施方案中，重建的X线和/或超声图像可以由控制模块经由界面250上的显示器252提供给执业医师或其他系统。
在例示的实施方案中，分析模块242可以包括或可以访问软件，诸如计算机辅助检测(CAD)系统，这有助于识别2D图像中的病变或其他感兴趣区域和/或由X线和超声扫描提供的3D图像。在一些实施方案中，控制模块240可以接收来自执业医师的输入，诸如通过界面250，识别一个或多个感兴趣区域。例如，在一些实施方案中，分析模块242被配置为基于从检测器218处接收的X线信息自主地识别一个或多个潜在病变或其他感兴趣方面。在一些实施方案中，可以由执业医师基于对显示器252上的一个或多个2D和/或3D图像的分析识别一个或多个感兴趣区域。
界面250被配置为允许在控制模块240与执业医师之间传送信息和/或命令。在例示的实施方案中，界面250包括显示模块252和输入模块254。显示模块252可以包括例如打印机、屏幕、触摸屏、扬声器等。输入模块254可以包括触摸屏(例如，在显示模块252与输入模块254之间共享的触摸屏)、鼠标、触笔、键盘、小键盘等。可以经由显示模块252显示一个或多个重建图像。
输入模块254被配置为从执业医师处接收输入以执行一个或多个成像活动。例如，输入模块254可以接收来自执业医师的输入，该输入建立用于成像的一个或多个设置或参数。此外，输入模块254可以从建立图像内的感兴趣区域的执业医师处接收输入，以进一步评估或显示。
在系统200的一个示例性实施方案中，在执行对象202的2D和3D成像扫描之后，分析模块242将从来自X线/DBT/全数字乳腺X线照相术(FFDM)/由X线源212执行的对比度增强的光谱乳腺X线照相术(CESM)扫描以及由X线检测器218提供的数据中生成对象202的合成2D图像和3D图像/体积，以分析模块242。对来自X线检测器218的图像数据执行的DBT/DBT-FFDM/DBT-CESM成像处理的示例性实施方案在标题为“SYSTEM AND METHOD TO GENERATE ASELECTED VISUALIZATION OF A RADIOLOGICAL IMAGE OF AN IMAGED SUBJECT”的美国专利No.8,126,226和标题为“METHOD AND SYSTEM FOR OBTAINING LOW DOSE TOMOSYNTHESISAND MATERIAL DECOMPOSITION IMAGES”的美国专利申请公开No.US2016/0189376中公开，其全部内容通过引用方式明确地并入本文以用于所有目的。另外，分析模块242可以采用来自超声换能器232的图像生成对象202的3D体积。
在另一示例性实施方案中，用于获取和处理2D和3D成像数据以改善通过成像数据的导航的系统和方法可以包括从单独且独立的DBT X线成像系统处与单独且独立的ABUS超声成像系统处获取2D和3D成像数据。
现在参见图2，在生成包含来自DBT采集或扫描的成像组织的多个平面视图的合成2D图像和3D体积两者时，分析模块242将合成2D图像400上的任何点的定位映射到所生成的3D DBT体积405内的体素的定位。这样，对于在显示器252上呈现给用户的任何合成2D图像400，分析模块242为图像400创建相关联但隐藏的导航地图402，该图像包含合成2D图像400上的任何(x，y)像素404的高度或z轴信息。与每个(x，y)像素404相关联的z轴信息由分析模块242与3D DBT体积405的对应z轴平面406相关。该过程在US8126226中与US9842415一起描述。
此外，利用3D DBT体积405中的z轴平面406的信息，分析模块242可以使DBT z轴平面406中的(x，y，z)定位与自动乳腺超声系统(ABUS)或MRI 3D或CEDBT或CT体积410的对应区段或平面408相关。当图像模态在系统200中同时获得和/或与对象202处于相同位置和/或压缩时，DBT平面406与ABUS/MRI/CEDBT/CT平面或区段408的对应可能需要一个非常直接的转变，虽然可能需要执行一些分辨率缩放。
另选地，DBT平面406与ABUS/MRI/CEDBT/CT区段408的对应可以使用合适的变换要求它们在相应的3D体积405、410中的位置相关，以适应成像模态之间的对象/组织202的位置变化(例如，对象/组织202的压缩)。配准过程可以依赖于在DBT体积405和ABUS/MRI/CEDBT/CT体积410中检测到的匹配发现，诸如例如，通过以已知方式利用有限元模型，并且/或者通过采用线性仿射变换-MLO平移，利用来自ABUS图像的dicom标题的压缩角。为了将DBT体积405配准或平移到MRI/CT体积410，在MRI/CT扫描中执行的压缩不足使得有限元建模能够有效地用于变换MRI/CT扫描体积410以将其配准到DBT体积405。
利用合成2D DBT图像400中的像素404到DBT体积405的映射，以及DBT体积405与3D成像(ABUS或MRI或CEDBT或CT)体积410的对应相关性和/或配准，在由放射科医师在显示器252上查看合成2D图像400时，对正被查看的合成2D图像400内的潜在感兴趣区域对应的(x，y)像素404的选择允许分析模块242访问并读取导航地图402，以确定该像素404的z轴信息。在特定实施方案中，分析模块242然后可以自动利用被选择的像素404的z轴信息定位对应的DBT平面406以及与DBT平面406配准的ABUS/MRI/CEDBT/CT区段408，例如，可以是在标题为“THICK SLICE PROCESSING AND DISPLAY OF INFORMATION FROM AVOLUMETRICULTRASOUND SCAN OF A CHESTWARDLY COMPRESSED BREAST”的美国专利申请公开No.US20100076311中公开的过程中创建的ABUS体积410的轴向或冠状平面/视图，其全部内容通过引用方式明确地并入本文以用于所有目的。然后，分析模块242可以在显示器252上结合合成2D图像400呈现ABUS/MRI区段408和任选地DBT平面406，在每个图像400、406、408上具有十字或光标412，指示在图像400中选择的像素404的对应精确位置。结果，DBT与ABUS/MRI/CEDBT/CT图像数据集/体积之间的导航速度大大提高，因此当读取在组合图像采集中获得的DBT和ABUS/MRI/CEDBT/CT体积405、410时，加速了整个工作流程。
现在参考图3，在本公开的另一示例性实施方案中，分析模块242可用于识别ABUS/MRI/CEDBT/CT体积410中的感兴趣体积(VOI)或感兴趣区域(ROI)414。在查看ABUS/MRI/CEDBT/CT体积410期间，用户可以通过界面输入254手动执行VOI/ROI 414的识别，或者可以使用与分析模块242相关联的计算机辅助检测(CAD)系统413自动执行。由于某些ROI 414在ABUS体积410中比在DBT体积405中更容易检测/可见，所以可以使用ABUS/MRI/CEDBT/CT体积410中的ROI 414的识别来减轻假阳性率和DBT体积405中的ROI 414的遗漏两者，其中ROI414存在于ABUS/MRI/CEDBT/CT体积410中但不存在于DBT体积405中。
一旦在ABUS/MRI/CEDBT/CT体积410中确定，则ABUS/MRI/CEDBT/CT体积410与DBT体积405的相关性允许ROI 414的定位被转换成DBT体积405，其中ROI 414可以在由分析模块242使用重投影操作生成的合成2D图像400中表示。另外，在其他示例性实施方案中，合成2D图像400中的VOI/ROI 414的表示可以包括覆盖在合成2D图像400内的VOI/ROI 414的边界。任选地，从DBT体积405获得的ROI/VOI 414也可以混合到现有的合成2D图像400上。另选地，合成图像DBT图像400在合成2D图像400的生成过程期间被增强/丰富，诸如在标题为“METHOD FOR PROCESSING TOMOSYNTHESIS ACQUISITIONSIN ORDER TO OBTAIN AREPRESENTATION OF THE CONTENTS OF ANORGAN”的美国专利No.9,842,415和/或标题为“METHOD AND SYSTEM FOR TOMOSYNTHESIS PROJECTION IMAGES ENHANCEMENT”的美国专利申请公开No.US2016/0183901中公开，其全部内容通过引用方式明确地并入本文以用于所有目的，考虑ROI 414位置并避免呈现图像400内的不相关重叠组织。
另外，可以相应地修改导航地图402，以在用户选择地图402的修改区域416内的像素404到包括VOI/ROI 414的对应ABUS/MRI/CEDBT/CT区段408时，引导用户，从而提供更有效的合成2D至DBT/ABUS/MRI/CEDBT/CT的导航。具体地，参考图4所示的示例性实施方案，能够表示覆盖在合成2D图像400中的VOI/ROI 414，其使用ABUS/MRI/CEDBT/CT体积410中的CAD系统413手动识别或识别。在合成2D图像400上表示的VOI/ROI 414的选择指示了分析模块242在显示器252上呈现对应的DBT平面406和/或ABUS/MRI/CEDBT/CT平面/区段408，以用于在所选择的VOI/ROI 414上携带多模态信息的感兴趣平面的并排比较。
现在参见图5，除了在ABUS/MRI体积410中识别并且与合成2D图像400和DBT体积405相关的ROI 414之外，乳头418的位置以高精度在ABUS/MRI体积410中表示，但是在合成2D图像400或3D体积405中不是很明显。因此，通过ABUS/MRI体积410与DBT体积405和合成2D图像400的相关性或配准，可以将乳头418的位置表示/重新投影到合成2D图像400和3D体积405上。当用户在显示器252上选择表示合成2D图像400上的ROI 414的像素404时，乳头位置418可以呈现在合成2D图像400上，DBT平面406(如果呈现)并且任选地呈现在ABUS/MRI区段410上，对应于与像素404相关联的导航地图402中包含的信息。另外，图像400、406和410可包括VOI/ROI 414至乳头418的距离、VOI/ROI 414相对于乳头418的顺时针位置以及VOI/ROI 414至皱纹420的距离。报告该信息用于进一步治疗，其中需要在解剖结构中定位VOI/ROI 414以进行活组织检查。
书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求限定，并且可包括本领域技术人员想到的其他示例。如果这些其他示例具有与权利要求的字面语言没有不同的结构元件，或者如果它们包括与权利要求的字面语言无实质差别的等效结构元件，则这些其他示例旨在在权利要求的范围内。

Claims (21)

1.一种在对象的不同成像模态中获得的所述对象的图像之间导航的方法，所述方法包括以下步骤：
在数字乳腺断层摄影(DBT)采集中，以相对于所述对象的不同角度获得所述对象的多个x线图像；
在3D成像采集中获得所述对象的三维(3D)体积图像；
从所述x线图像形成所述对象的数字乳腺断层摄影体积；
从所述x线图像和/或所述数字乳腺断层摄影体积形成所述对象的合成二维(2D)图像；
形成使所述合成2D图像的像素与所述数字乳腺断层摄影体积中的相关联平面相关的导航地图；
使来自所述3D成像采集的所述3D体积图像与来自所述数字乳腺断层摄影采集的所述数字乳腺断层摄影体积相关；
显示所述合成2D图像；以及
响应于所述显示的合成2D图像中的像素的选择，显示与所述合成2D图像中的所述像素的定位对应的所述3D体积图像的区段，
其中形成所述合成2D图像的步骤还包括以下步骤：
检测所述3D体积图像内的一个或多个感兴趣体积(VOI)；
从所述数字乳腺断层摄影体积内的所述3D体积图像确定所述一个或多个感兴趣体积的位置；
从所述数字乳腺断层摄影体积重新投影所述感兴趣体积；以及
修改所述导航地图以包括所述感兴趣体积的所述定位。
2.根据权利要求1所述的方法，其中所述3D成像采集是超声(US)采集。
3.根据权利要求1所述的方法，其中所述3D成像采集是磁共振成像(MRI)采集。
4.根据权利要求1所述的方法，其中所述3D成像采集是对比增强数字乳腺断层摄影(CEDBT)采集。
5.根据权利要求1所述的方法，其中所述3D成像采集是CT采集。
6.根据权利要求1所述的方法，其中所述3D体积图像到所述数字乳腺断层摄影体积的配准包括采用有限元模型。
7.根据权利要求1所述的方法，其中所述3D体积图像到所述数字乳腺断层摄影体积的配准包括匹配所述3D体积图像和所述数字乳腺断层摄影体积中的发现。
8.根据权利要求1所述的方法，其中获得所述对象的多个x线图像的步骤和获得所述对象的3D体积图像的步骤在所述对象处于相同位置时发生。
9.根据权利要求1所述的方法，其中形成所述导航地图的步骤包括将高度值与对应于所述3D体积图像中的位置的所述合成2D图像的每个像素相关联。
10.根据权利要求1所述的方法，其中在形成所述合成2D图像之后将所述感兴趣体积重新投射混合到所述合成2D图像上。
11.根据权利要求1所述的方法，其中在所述合成2D图像的形成期间，利用所述感兴趣体积重新投影丰富所述合成2D图像。
12.根据权利要求1所述的方法，还包括在所述合成2D图像内表示来自所述数字乳腺断层摄影体积的所述感兴趣体积的边界覆盖的步骤。
13.根据权利要求1所述的方法，还包括以下步骤：
检测乳头在所述3D体积图像内的位置；
将所述乳头的所述位置从所述3D体积图像定位至所述数字乳腺断层摄影体积中；以及
表示所述合成2D图像中的所述乳头。
14.根据权利要求13所述的方法，其中在所述合成2D图像中表示所述乳头的步骤包括表示从所述合成2D图像中的选择的像素至所述乳头的距离。
15.根据权利要求13所述的方法，其中在所述合成2D图像中表示所述乳头的步骤包括表示相对于所述合成2D图像中的选择的像素的所述乳头的顺时针位置。
16.根据权利要求1所述的方法，还包括在所述显示器上的所述合成2D图像上以及所述3D体积图像的所述区段上示出光标的步骤，其中所述光标表示所述合成2D图像中所述选择的像素的所述定位以及所述3D体积图像的所述区段中的对应位置。
17.一种用于帮助用户导航通过2D和3D图像数据以定位乳腺组织内的感兴趣区域的系统，所述系统包括：
2D图像采集系统，所述2D图像采集系统用于获取2D图像数据；
3D图像采集系统，所述3D图像采集系统用于获取3D图像数据；
分析模块，所述分析模块能够操作地连接至所述2D图像采集系统和所述3D图像采集系统，并且被配置为：
从所述获取的2D图像数据生成合成2D图像和数字乳腺断层摄影体积；
从所述3D图像数据生成3D体积；
使所述数字乳腺断层摄影体积内的定位与所述3D图像体积内的定位相关；
生成导航地图，所述导航地图为所述合成2D图像中的每个像素提供信息，所述合成2D图像对应于所述数字乳腺断层摄影体积和所述3D图像体积中的平面；以及
选择并呈现所述3D体积内对应于所述合成2D图像内选择的像素的所述导航地图信息的区段；
显示器，所述显示器能够操作地连接至所述分析模块并且能够操作以显示所述合成2D图像和所述3D体积的区段；和
输入端，所述输入端能够操作地连接至所述分析模块并且被配置为接收来自用户的关于所述显示器上呈现的所述合成2D图像内的像素的所述选择的命令；
其中所述分析模块进一步被配置以通过以下步骤生成所述合成2D图像：
检测所述3D体积图像内的一个或多个感兴趣体积；
从所述数字乳腺断层摄影体积内的所述3D体积图像确定所述一个或多个感兴趣体积的位置；
从所述数字乳腺断层摄影体积重新投影所述感兴趣体积；以及
修改所述导航地图以包括所述感兴趣体积的所述定位。
18.根据权利要求17所述的系统，其中所述3D图像采集系统是自动乳腺超声系统(ABUS)或磁共振成像(MRI)系统。
19.根据权利要求17所述的系统，还包括计算机辅助检测系统，所述计算机辅助检测系统与所述分析模块相关联并且配置有所述分析模块以：
检测所述3D体积内的感兴趣区域；
使用所述感兴趣区域(ROI)的所述定位更新所述导航地图；以及
任选地增强所述合成2D图像以示出所述感兴趣区域。
20.根据权利要求17所述的系统，其中所述分析模块在所述显示器上的所述合成2D图像上以及所述3D体积的所述区段上呈现光标，其中所述光标表示所述合成2D图像中所述选择的像素的所述定位以及所述3D体积的所述区段。
21.根据权利要求18所述的系统，其中所述分析模块还被配置为：
检测所述3D体积内乳头的位置；
将所述乳头的所述位置从所述3D体积定位至所述数字乳腺断层摄影体积中；以及
表示所述选择的像素相对于所述显示器上的所述合成2D图像中和所述3D体积的所述区段中的所述乳头的所述定位上的所述乳头和信息，所述合成2D图像从数字乳腺断层摄影体积形成。
CN201910337148.7A 2018-04-24 2019-04-24 多模态2d至3d成像导航 Active CN110393591B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/960,803 2018-04-24
US15/960,803 US10796430B2 (en) 2018-04-24 2018-04-24 Multimodality 2D to 3D imaging navigation

Publications (2)

Publication Number Publication Date
CN110393591A CN110393591A (zh) 2019-11-01
CN110393591B true CN110393591B (zh) 2022-09-13

Family

ID=66286139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337148.7A Active CN110393591B (zh) 2018-04-24 2019-04-24 多模态2d至3d成像导航

Country Status (3)

Country Link
US (1) US10796430B2 (zh)
EP (1) EP3560424A1 (zh)
CN (1) CN110393591B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
JP7023254B2 (ja) * 2019-03-27 2022-02-21 富士フイルム株式会社 撮影支援装置、方法およびプログラム
CN111275617B (zh) * 2020-01-09 2023-04-07 云南大学 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质
CN116209395A (zh) * 2020-09-28 2023-06-02 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
US11963670B2 (en) * 2021-03-01 2024-04-23 GE Precision Healthcare LLC Systems and methods for identifying biopsy location coordinates
US20230125385A1 (en) * 2021-10-25 2023-04-27 Hologic, Inc. Auto-focus tool for multimodality image review
CN114533103A (zh) * 2022-02-28 2022-05-27 上海联影医疗科技股份有限公司 成像方法、电子装置和计算机可读存储介质
CN114430482B (zh) * 2022-04-02 2022-08-05 深圳市即达健康医疗科技有限公司 一种全息诊断系统、方法，计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744891A (zh) * 2013-11-18 2016-07-06 皇家飞利浦有限公司 基于三维(3d)预扫描图像数据的一幅或多幅二维(2d)规划投影图像

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5672877A (en) 1996-03-27 1997-09-30 Adac Laboratories Coregistration of multi-modality data in a medical imaging system
US20030149364A1 (en) 2002-02-01 2003-08-07 Ajay Kapur Methods, system and apparatus for digital imaging
US20050089205A1 (en) 2003-10-23 2005-04-28 Ajay Kapur Systems and methods for viewing an abnormality in different kinds of images
JP2008505704A (ja) 2004-07-09 2008-02-28 フィッシャー イメイジング コーポレイション 融合型マンモグラフィにおける乳房スクリーニング方法
WO2006017172A1 (en) 2004-07-09 2006-02-16 Fischer Imaging Corporation Diagnostic system for multimodality mammography
JP5156376B2 (ja) 2004-07-30 2013-03-06 フィッシャー イメイジング コーポレイション イメージング装置及び方法
US7639896B2 (en) 2004-08-09 2009-12-29 Carestream Health, Inc. Multimodal image registration using compound mutual information
WO2006064400A2 (en) 2004-12-15 2006-06-22 Koninklijke Philips Electronics, N.V. Registration of multi-modality images
US20060136259A1 (en) 2004-12-17 2006-06-22 General Electric Company Multi-dimensional analysis of medical data
US20070003118A1 (en) 2005-06-30 2007-01-04 Wheeler Frederick W Method and system for projective comparative image analysis and diagnosis
US7738683B2 (en) 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
US20070237372A1 (en) 2005-12-29 2007-10-11 Shoupu Chen Cross-time and cross-modality inspection for medical image diagnosis
US7945083B2 (en) 2006-05-25 2011-05-17 Carestream Health, Inc. Method for supporting diagnostic workflow from a medical imaging apparatus
US20100076311A1 (en) 2006-09-22 2010-03-25 U-Systems, Inc. Thick-slice processing and display of information from a volumetric ultrasound scan of a chestwardly compressed breast
US20080242979A1 (en) 2007-03-30 2008-10-02 Rayette Ann Fisher Combined X-ray detector and ultrasound imager
US8527293B2 (en) 2007-03-30 2013-09-03 General Electric Company Method and system for supporting clinical decision-making
US20120093383A1 (en) 2007-03-30 2012-04-19 General Electric Company Sequential image acquisition method
US8126226B2 (en) 2007-09-20 2012-02-28 General Electric Company System and method to generate a selected visualization of a radiological image of an imaged subject
US20090082637A1 (en) 2007-09-21 2009-03-26 Michael Galperin Multi-modality fusion classifier with integrated non-imaging factors
US10318709B2 (en) 2007-12-21 2019-06-11 Koninklijke Philips N.V. Method and system for cross-modality case-based computer-aided diagnosis
DE102008009967A1 (de) 2008-02-20 2009-09-17 Siemens Aktiengesellschaft Mammographieanlage und Verfahren zur sono- und röntgenograpischen Untersuchung einer Brust
EP2303127A1 (en) 2008-06-11 2011-04-06 Koninklijke Philips Electronics N.V. Multiple modality computer aided diagnostic system and method
EP2194506B1 (en) 2008-12-02 2016-03-09 Samsung Medison Co., Ltd. Image based registration
WO2011007312A1 (en) * 2009-07-17 2011-01-20 Koninklijke Philips Electronics N.V. Multi-modality breast imaging
US20140082542A1 (en) 2010-07-19 2014-03-20 Qview, Inc. Viewing and correlating between breast ultrasound and mammogram or breast tomosynthesis images
FR2954556B1 (fr) 2009-12-22 2017-07-28 Gen Electric Procede de traitement d'acquisitions de tomosynthese pour obtenir une representation du contenu d'un organe
US9451924B2 (en) 2009-12-30 2016-09-27 General Electric Company Single screen multi-modality imaging displays
DE102010009295B4 (de) * 2010-02-25 2019-02-21 Siemens Healthcare Gmbh Verfahren zur Darstellung eines zu untersuchenden und/oder behandelnden Bereichs
US9401047B2 (en) 2010-04-15 2016-07-26 Siemens Medical Solutions, Usa, Inc. Enhanced visualization of medical image data
US10282840B2 (en) * 2010-07-21 2019-05-07 Armin Moehrle Image reporting method
US9529508B2 (en) * 2010-10-19 2016-12-27 Koninklijke Philips N.V. Medical image system
US9721338B2 (en) 2011-01-11 2017-08-01 Rutgers, The State University Of New Jersey Method and apparatus for segmentation and registration of longitudinal images
US9378550B2 (en) 2011-03-02 2016-06-28 Mevis Medical Solutions Ag Image processing device for finding corresponding regions in two image data sets of an object
US20120256920A1 (en) 2011-04-05 2012-10-11 Julian Marshall System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment
US20130211230A1 (en) 2012-02-08 2013-08-15 Convergent Life Sciences, Inc. System and method for using medical image fusion
US20140135623A1 (en) 2012-11-15 2014-05-15 General Electric Company Systems and methods for x-ray and ultrasound imaging
PT3005298T (pt) * 2013-06-06 2019-07-17 Volpara Health Tech Limited Método de reconstrução de um objeto a partir de visualizações de projeção
GB2533632B (en) 2014-12-24 2018-01-03 Gen Electric Method and system for obtaining low dose tomosynthesis and material decomposition images
GB2533801B (en) 2014-12-31 2018-09-12 Gen Electric Method and system for tomosynthesis projection images enhancement
WO2016142492A1 (en) * 2015-03-10 2016-09-15 Koninklijke Philips N.V. Retrieval of corresponding structures in pairs of medical images
US9792703B2 (en) * 2015-07-06 2017-10-17 Siemens Healthcare Gmbh Generating a synthetic two-dimensional mammogram
US9984478B2 (en) * 2015-07-28 2018-05-29 PME IP Pty Ltd Apparatus and method for visualizing digital breast tomosynthesis and other volumetric images
US10716525B2 (en) * 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744891A (zh) * 2013-11-18 2016-07-06 皇家飞利浦有限公司 基于三维(3d)预扫描图像数据的一幅或多幅二维(2d)规划投影图像

Also Published As

Publication number Publication date
US10796430B2 (en) 2020-10-06
CN110393591A (zh) 2019-11-01
US20190325573A1 (en) 2019-10-24
EP3560424A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
CN110393591B (zh) 多模态2d至3d成像导航
US11730442B2 (en) System and method for fusing three dimensional image data from a plurality of different imaging systems for use in diagnostic imaging
US10413263B2 (en) System and method for generating a 2D image from a tomosynthesis data set
JP7431729B2 (ja) 超音波胸部画像と他の撮像モダリティの胸部画像とを相関させる超音波システム及び方法
JP5893290B2 (ja) 組織基質の疑わしい領域を決定する画像処理方法、及び組織基質にわたる３ｄナビゲーションでの当該方法の用法
KR102328266B1 (ko) 영상 처리 장치, 영상 처리 방법 및 영상 처리부가 마련된 초음파 영상 장치
CN104011773A (zh) 序列图像采集方法
US20230103969A1 (en) Systems and methods for correlating regions of interest in multiple imaging modalities
Huang et al. 2.5-D extended field-of-view ultrasound
EP3871603B1 (en) Methods and systems for digital mammography imaging
Sivaramakrishna 3D breast image registration—a review
Jiang et al. A semi-automated 3-D annotation method for breast ultrasound imaging: System development and feasibility study on phantoms
Hopp et al. 2D/3D image fusion of x-ray mammograms with speed of sound images: evaluation and visualization
WO2022097524A1 (ja) 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
McDonald 3-Dimensional breast ultrasonography: What have we been missing?
RU2779836C2 (ru) Ультразвуковая система и способ для корреляции между ультразвуковыми изображениями груди и изображениями груди других методов визуализации
Costa Automated Deformable Registration of Breast Images: towards a software-assisted multimodal breast image reading
Jiang Development of a 3D breast ultrasound system for providing automated annotation and coronal images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant