CN117883100A - 基于人工智能的双能量x射线图像运动校正训练方法和系统 - Google Patents

基于人工智能的双能量x射线图像运动校正训练方法和系统 Download PDF

Info

Publication number
CN117883100A
CN117883100A CN202311237237.7A CN202311237237A CN117883100A CN 117883100 A CN117883100 A CN 117883100A CN 202311237237 A CN202311237237 A CN 202311237237A CN 117883100 A CN117883100 A CN 117883100A
Authority
CN
China
Prior art keywords
ray
image
training
motion correction
ray image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311237237.7A
Other languages
English (en)
Inventor
B·P·奇里亚
格尔曼·吉列尔莫·威拉冈萨雷斯
谭涛
帕尔·泰格泽什
贾斯汀·M·瓦内克
戈帕尔·B·阿维纳什
Z·赫兹格
拉维·索尼
吉雷沙·钦塔马尼·拉奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN117883100A publication Critical patent/CN117883100A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/482—Diagnostic techniques involving multiple energy imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种双能量x射线成像系统(100)和操作方法包括基于人工智能的运动校正系统(180)以最小化由成像系统(100)产生的图像中的运动伪影的影响。该运动校正系统(180)被训练以将模拟运动应用于训练数据集中的LE投影和HE投影(1002,1004)内的各种感兴趣对象，以改进LE投影和HE投影(1002,1004)的配准。运动校正系统(180)还被训练为使用噪声衰减来增强小运动伪影的校正，并且对训练数据集图像的基于减影图像的边缘检测减少来自LE投影(1004)的噪声，因此改进小运动伪影校正。运动校正系统(180)另外在形成减影软组织图像(1016)和骨组织图像(1018)时对软组织和骨组织采用单独的运动校正，并且包括运动警报以指示LE投影和HE投影(1002,1004)之间的运动何时需要重新拍摄投影。

Description

基于人工智能的双能量X射线图像运动校正训练方法和系统
技术领域
本公开整体涉及用于x射线图像的运动校正方法和系统以及训练将被用作运动校正系统的一部分的人工智能模块的方法。
背景技术
在双能量x射线成像技术中，通过双能量x射线系统使待成像的受检者暴露于具有不同能量的x射线，以便产生设置在待成像的受检者内的不同类型的组织和/或结构的x射线图像。位于受检者内的组织和/或结构具有变化的x射线衰减，使得不同能量的x射线将被不同类型的组织和/或结构不同地吸收。
当用于获得哺乳动物受检者(例如，人)的图像时，由受检者的各种组织(例如，更致密或硬的组织(即，骨)和较不致密或软的组织(即，内脏器官))对低能量x射线和高能量x射线图像的吸收的差异使得双能量x射线系统能够产生主要示出一种类型或另一种类型的组织的图像。被扫描的患者的解剖结构的这种分离或分解使得能够在分离的图像、软组织图像或骨图像中呈现每种类型的组织，其中以更清楚地示出组织的方式示出一种类型的组织，而另一种类型的组织被移除以防止期望组织的结构被不期望组织的结构遮蔽。
虽然能够提供实现对不同类型的组织进行更清楚的可视化和诊断的图像，但是双能量成像系统和过程确实存在某些问题。具体地，当获得双能量图像时，诸如当利用单个x射线源或快速切换双能量成像系统时，作为获得患者的连续图像的结果，患者的位置经常存在运动。患者的这种运动导致在相同位置的受检者上没有获得低能量图像和高能量图像，即，低能量图像和高能量图像未对准。
为了校正该运动，或者将低能量图像与高能量图像对准，可采用各种运动校正过程。可通过在成像系统上采用的人工智能系统来执行多个这些运动校正过程。为了使得人工智能能够适当地校正低能量图像与高能量图像之间的运动，必须首先训练人工智能以执行该任务。
然而，当前用于基于人工智能的运动校正系统的训练过程存在某些缺点。例如，在人工智能正被训练以检测和校正受检者的一个或多个部分中的运动(例如，受检者内的被成像的肋、器官(诸如心脏)和/或其他结构(诸如横膈膜)的运动)的情况下，先前的无监督训练过程没有充分地补偿此类结构在低能量图像与高能量图像之间的运动，以便为了分解目的而将图像/图像数据彼此配准。
另外，用于基于人工智能的运动校正系统或模块的当前训练程序具有校正大运动伪影的能力，但不足以校正小运动伪影以及难以手动辨别和校正的矛盾运动区域。在很大程度上，由于低能量图像中存在的增加的噪声及其对确定软组织在低能量图像内的位置的影响，产生了较小运动伪影的校正的困难。
此外，关于x射线成像系统中基于人工智能的运动校正系统的实现，当前的运动校正系统在分解为低能量图像和高能量图像或从低能量图像和高能量图像中减影之前对低能量图像数据和高能量图像数据中的每一者采用单个运动校正。然而，因为期望在特定图像中更清楚地表示某些特征，即，在低能量图像中的软组织和在高能量图像中的骨骼，所以可优选地应用单独的运动校正以分别校正每种类型的组织的运动。
最后，同样关于在双能量x射线成像系统上的基于人工智能的运动校正系统的具体实施，当前的运动校正系统为较大的组织运动提供运动校正。然而，运动校正系统没有充分地评估在低能量图像与高能量图像之间发生的运动的幅度，以便确定运动量是否显著到足以在所得到的图像中产生显著的伪影。因此，直到检查低能量图像和高能量图像，才能够确定伪影的显著性和对诊断的负面影响。
因此，期望开发一种用于双能量成像系统内采用的基于人工智能的运动校正系统的训练过程，该训练过程能够训练运动校正系统以更准确地校正被成像受检者内的器官和相关联的结构的运动，以提供低能量图像与高能量图像之间的更好配准。还期望开发一种用于运动校正系统的训练程序，该训练程序为有噪声的图像内的较小运动伪影提供更好的运动校正。最后，还期望通过为软组织生成和致密或骨组织生成提供分开的运动校正来开发一种双能量成像系统内的基于人工智能的运动校正系统的改进的具体实施，以及当在低能量图像与高能量图像之间检测到过量的运动时提供运动警报。
发明内容
根据本公开的示例性实施方案的一个方面，一种用于改进从双能量减影射线照相术x射线系统获得的受检者的图像中的运动校正的方法包括以下步骤：提供x射线系统，该x射线系统具有：x射线源和能够与该x射线源对准的x射线检测器；图像处理系统，该图像处理系统可操作地连接到该x射线源和该x射线检测器以操作该x射线源来生成HE x射线图像数据和LE x射线图像数据，该图像处理系统包括用于处理来自该检测器的该HE x射线图像数据和该LE x射线图像数据以从该图像数据形成实际HE图像和实际LE图像的处理单元；非暂态存储器，该非暂态存储器可操作地连接到该处理单元并且存储用于运动校正系统的操作的指令；显示器，该显示器可操作地连接到该图像处理系统以用于向用户呈现图像；和用户界面，该用户界面可操作地连接到该图像处理系统以实现到该图像处理系统的用户输入；操作该x射线系统以获得该HE x射线图像数据和该LE x射线图像数据；形成该实际HE x射线图像和该实际LE x射线图像；以及在采用该运动校正系统以将第一运动校正应用于该实际HE x射线图像和该实际LE x射线图像之后，对该实际HE x射线图像和该实际LE x射线图像执行第一减影过程以形成软组织图像和骨组织图像中的至少一者。
根据本公开的示例性实施方案的又一方面，一种用于改进从双能量减影射线照相术x射线系统获得的受检者的图像中的运动校正的方法包括以下步骤：提供能够处理包括该受检者的一个或多个高能量(HE)x射线图像数据和一个或多个低能量(LE)x射线图像数据的图像数据的图像处理系统，该图像处理系统具有处理单元和非暂态存储器，该处理单元用于处理HE x射线图像数据和LE x射线图像数据以形成图像，该非暂态存储器可操作地连接到该处理单元并且存储用于在该图像处理系统内采用的运动校正系统的操作的指令；提供包括一个或多个对象的多对训练HE x射线图像和训练LE x射线图像的训练数据集；训练该运动校正系统以通过将第一运动校正应用于训练x射线图像对来将每个训练数据集对的该训练HE x射线图像和该训练LE x射线图像中的一者配准到每个训练数据集对的该训练HE x射线图像和该训练LE x射线图像中的另一者；以及在双能量x射线成像系统上采用该运动校正系统以将该第一运动校正应用于由该双能量x射线成像系统获得的实际HE图像和实际LE图像。
根据本公开的示例性实施方案的又一方面，一种双能量x射线系统包括：x射线源和能够与该x射线源对准的x射线检测器；图像处理系统，该图像处理系统可操作地连接到该x射线源和该x射线检测器以生成x射线图像数据，该图像处理系统包括用于处理来自该检测器的该x射线图像数据的处理单元；非暂态存储器，该非暂态存储器可操作地连接到该处理单元并且存储用于运动校正系统的操作的指令；显示器，该显示器可操作地连接到该图像处理系统以用于向用户呈现信息；和用户界面，该用户界面可操作地连接到该图像处理系统以实现到该图像处理系统的用户输入，其中用于该运动校正系统的该处理单元和该非暂态存储器被配置为将第一运动校正应用于HE x射线图像和LE x射线图像以促进软组织减影的计算，并且将第二运动校正应用于该HE x射线图像和该LE x射线图像以促进骨组织减影的计算。
根据本公开的示例性实施方案的又一方面，一种x射线系统包括：x射线源和能够与该x射线源对准的x射线检测器；图像处理系统，该图像处理系统可操作地连接到该x射线源和该x射线检测器以操作该x射线源来生成HE x射线图像数据和LE x射线图像数据，该图像处理系统包括用于处理来自该检测器的该HE x射线图像数据和该LE x射线图像数据以从该图像数据形成实际HE图像和实际LE图像的处理单元；非暂态存储器，该非暂态存储器可操作地连接到该处理单元并且存储用于运动校正系统的操作的指令；显示器，该显示器可操作地连接到该图像处理系统以用于向用户呈现图像；和用户界面，该用户界面可操作地连接到该图像处理系统以实现到该图像处理系统的用户输入，其中用于该运动校正系统的该处理单元和该非暂态存储器被配置为获得该受检者的该实际HE x射线图像和该实际LE x射线图像，并且被配置为通过经由该运动校正系统讲第一运动校正应用于该实际HE x射线图像和该实际LE x射线图像来将该实际HE x射线图像配准到该实际LE x射线图像。
从以下结合附图进行的详细描述中，本发明的这些和其他示例性方面、特征和优点将变得显而易见。
附图说明
附图示出了当前设想的实践本发明的最佳模式。
在附图中：
图1是根据本公开的一个示例性实施方案的示例性成像系统的框示意图。
图2是从由双能量成像系统获得的LE投影和HE投影生成减影的软组织图像和骨图像的示例性方法的示意图。
图3是根据本公开的示例性实施方案的用于双能量成像系统的基于人工智能的运动校正系统的监督训练方法的示意图。
图4是根据本公开的示例性实施方案的用于与图3的监督方法一起利用的双能量成像系统的基于人工智能的运动校正系统的无监督训练方法的示意图。
图5是示出根据本公开的一个示例性实施方案的用于基于边缘检测和噪声衰减AI的运动校正系统的操作的方法的流程图。
图6是沿着肋边缘的小的未校正的或引入的运动伪影的图示。
图7是在双能量成像系统上采用的现有技术减影运动校正系统的示意图。
图8A和图8B是具有软组织和骨组织伪影补偿的减影的软组织图像的图示。
图9A和图9B是具有软组织和骨组织伪影补偿的减影的骨组织图像的图示。
图10是根据本公开的一个示例性实施方案的在双能量成像系统上采用的减影运动校正系统的示意图。
图11是根据本公开的一个示例性实施方案的用于双能量成像系统的运动警报系统的示意图。
具体实施方式
在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，可能未在说明书中描述实际具体实施的所有特征。应当理解，正如在任何工程或设计项目中一样，在任何此类实际具体实施的开发中，必须做出众多具体实施特定的决策以实现开发者的具体目标，诸如遵守可能在具体实施间不同的系统相关和业务相关的约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
当介绍本发明的各种实施方案的要素时，冠词“一个”、“一种”、“该”和“所述”旨在意指存在一个或多个这种要素。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的要素之外可能存在附加要素。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。
当结合附图阅读时，将更好地理解某些实施方案的以下具体实施方式。就附图示出各个实施方案的功能块的图的范围而言，这些功能块不一定表示硬件电路之间的划分。例如，一个或多个功能块(例如，处理器或存储器)可以在单件硬件(例如，通用信号处理器或随机存取存储器块、硬盘等)或多件硬件中实现。类似地，程序可以是独立程序，可以作为子例程包含在操作系统中，可以是安装的软件包中的功能等。应当理解，各个实施方案不限于附图中所示的布置和工具。
如本文所用，术语“系统”、“单元”或“模块”可包括操作以执行一个或多个功能的硬件和/或软件系统。例如，模块、单元或系统可包括计算机处理器、控制器或基于存储在有形和非暂态计算机可读存储介质(诸如计算机存储器)上的指令来执行操作的其他基于逻辑的设备。另选地，模块、单元或系统可包括基于设备的硬连线逻辑来执行操作的硬连线设备。附图中示出的各种模块或单元可表示基于软件或硬连线指令操作的硬件、指示硬件执行操作的软件、或它们的组合。
“系统”、“单元”或“模块”可包括或表示执行本文所述的一个或多个操作的硬件和相关联的指令(例如，存储在有形和非暂态计算机可读存储介质上(诸如计算机硬盘驱动器、ROM、RAM等)的软件)。硬件可包括电子电路，其包括和/或连接到一个或多个基于逻辑的设备，诸如微处理器、处理器、控制器等。这些设备可以是被适当编程或指示以根据上文所述的指令来执行本文所述的操作的现成设备。附加地或另选地，这些设备中的一个或多个设备可以与逻辑电路硬连线以执行这些操作。
如本文所用，以单数形式列举并且以单词“一”或“一个”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明这种排除。此外，对“一个实施方案”的引用并非旨在被解释为排除也包含所叙述的特征的其他实施方案的存在。此外，除非明确地相反说明，否则“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加元件。
各种实施方案提供了用于改进使用多个电压或能量的X射线系统的性能的系统和方法，诸如利用在高电压和低电压下操作的X射线源的双能量光谱成像系统。各种实施方案改进和/或优化或改进低能量图像和高能量图像中的运动伪影减少以提供改进的成像性能。各种实施方案提供了改进的成像。至少一个实施方案的技术效果包括用于双能量成像的改进的运动伪影减少。
参考图1，诸如在名称为“Dual Energy X-Ray Imaging System And Method ForRadiography And Mammography”的美国专利案第6,683,934号中所公开的系统之类的系统10的一个示例性实施方案可用于获得设置在患者的解剖结构内或作为患者的解剖结构的一部分的对象和/或解剖结构的x射线图像或投影，该美国专利案的全部内容出于所有目的以引用的方式明确据此并入。
图1示出了根据实施方案的双能量成像系统100。成像系统100可被配置为例如执行对象(诸如人类或动物患者(或其部分))的x射线扫描。成像系统100包括获取单元110和处理单元120。一般来讲，获取单元110被配置为获取投影数据或成像数据，而处理单元120被配置为控制获取单元110的操作，并且被配置为使用由获取单元110采集的数据重建图像。可注意到，各种实施方案可包括附加部件，或者可不包括图1中示出的所有部件(例如，各种实施方案可提供用于与其他子系统一起使用以提供成像系统的子系统)。另外，可注意到，在图1中被示为单独的框的成像系统100的某些方面可被并入单个物理实体中，并且/或者在图1中被示为单个框的方面可在两个或更多个物理实体之间共享或划分。
所描绘的获取单元110包括X射线源112和检测器114。所描绘的X射线源112包括发生器113和管115。发生器113可用于控制(例如，经由来自处理单元120的输入信号)对管115的电力供应以改变管115的能量水平或电压电平。例如，X射线源112可用于在操作过程中提供变化的能量水平。在一些实施方案中，当获取单元110获得对象的图像数据时，X射线源112可被配置为在高电压(例如，标称140kV)与低电压(例如，标称80kV)之间切换。在一些实施方案中，电压可从视图切换到视图(例如，在高电压或能量水平下的给定视图、在低电压或能量水平下的紧接着的后续视图、在高电压或能量水平下的下一紧接着的后续视图，等等)。
一般来讲，来自X射线源112的X射线可通过源准直器和蝴蝶结式滤波器被引导到待成像的对象。待成像的对象例如可以是人类患者或他们的一部分(例如，头部或躯干等)。源准直器可被配置为允许期望视场(FOV)内的X射线穿过到达待成像的对象，同时阻挡其他X射线。蝴蝶结式滤波器模块可被配置为吸收来自X射线源112的辐射以控制传递到待成像的对象的X射线的分布。
穿过待成像的对象的X射线被对象衰减并且被检测器114(其可具有与其相关联的检测器准直器)接收，该检测器检测衰减的X射线并且向处理单元120提供成像信息。所描绘的检测器阵列114包括多个检测器元件117。每个检测器元件117产生表示入射X射线光束的强度的电信号或输出，并从而允许估计光束在其经过受检者119时的衰减。图1仅示出了单行检测器元件117(即，检测器行)。然而，多层检测器114包括检测器元件117的多个平行检测器行，使得可在扫描期间同时获取与多个层对应的投影数据。
处理单元120然后可使用由检测器114/检测器元件117提供的成像数据信息来重建对象的被扫描部分的图像。处理单元120可包括或可操作地耦接到输出单元140，在例示的实施方案中，该输出单元被配置为显示图像，例如，由处理单元120使用来自检测器114的成像信息创建的图像。所描绘的输入单元150被配置为获得与待执行的扫描对应的输入，其中处理单元120使用该输入来确定一个或多个扫描设置(例如，管电压、管电流、扫描旋转速度等)。输入单元150可包括键盘、鼠标、触摸屏等以接收来自操作者的输入，以及/或者可包括端口或其他连接设备以接收来自计算机或其他源的输入。
如本文所指示的，处理单元120被配置为控制获取单元110的各个方面以及/或者被配置为使用经由获取单元110获得的信息来创建图像。例如，处理单元120可被配置为使用由获取单元110收集的信息来创建图像。
所描绘的处理单元120可操作地耦接到输入单元150、输出单元140和获取单元110。例如，处理单元120可从输入单元150接收关于扫描的信息，该信息可用于确定期望的临床任务、患者信息和/或要用于要用成像系统100执行的给定成像扫描的扫描参数。作为另一个示例，处理单元120可从检测器114接收成像数据或投影数据。作为又一个示例，处理单元120可向获取单元110的一个或多个方面(诸如X射线源112和检测器114)提供控制信号。处理单元120可包括被配置为执行本文所讨论的一个或多个任务、功能或步骤的处理电路。可注意到，本文使用的“处理单元”并不一定限于单个处理器或计算机。例如，处理单元120可包括多个处理器和/或计算机，其可集成在共同的壳体或单元中或者可分布在各种单元或壳体中。
所描绘的处理单元120被配置为控制获取单元110(例如，通过控制X射线源112的激活和去激活以及X射线源112的能量或电压电平)，并且被配置为在成像扫描期间收集成像信息。
另外，示例性成像系统100可用于实现本文所讨论的各种实施方案。尽管成像系统100被示为独立的成像系统，但是应当注意，在一些实施方案中，成像系统100可形成多模态成像系统的一部分。例如，多模态成像系统可包括成像系统100和正电子发射断层摄影(PET)成像系统、或单光子发射计算机断层摄影(SPECT)成像系统。还应当理解，设想使用能够执行本文所述的功能的其他成像系统。
在例示的实施方案中，处理单元120包括图像处理模块122、确定模块124、控制模块126和存储器128。可以注意到，可在另选实施方案中采用其他类型、数量或组合的模块，和/或本文所述的模块的各个方面可另外地或另选地与不同模块结合利用。一般来讲，处理单元120的各个方面单独地或与其他方面协同地执行，以执行本文所讨论的方法、步骤或过程的一个或多个方面。可注意到，存储器128可包括一个或多个数据库、查找表或由处理单元120用来执行所需功能的被存储的信息的其他源。可进一步注意到，存储器128可在其上存储用于指导处理单元120执行本文所讨论的方法、步骤或过程的一个或多个方面的指令。
所描绘的图像处理模块122被配置为使用从检测器114获取的成像或投影数据来创建一个或多个图像。例如，图像处理模块122可从检测器114接收在多个视图上拍摄的成像信息(例如，针对在沿着待成像的对象的长度的不同位置处拍摄的多个投影)并且创建用于诊断目的的图像。所创建的图像被存储在存储器128中或可操作地连接到图像处理模块122的任何其他合适的存储介质或设备中。
在例示的实施方案中，确定模块124被配置为确定待应用于提供到图像处理模块122以及由该图像处理模块提供的投影和/或图像的一个或多个运动校正。在一些实施方案中，确定模块124可访问存储在存储器128上的数据库和/或查找表，该存储器包括用于确定模块124的操作的指令，以对投影和/或图像数据(诸如双能量投影和/或图像数据，该双能量投影和/或图像数据被用于形成双能量图像并且在经历减影过程之前将那些图像彼此配准以形成减影的软组织图像和骨图像)执行期望的运动校正过程。
在各种实施方案中，确定模块124可以可通信地耦接到控制模块126，其中控制模块126被配置为控制获取单元110和/或系统100的其他方面，以使用由确定模块124要求的用于获取单元110的一个或多个波形配置来执行成像扫描。例如，X射线源112可被控制为在由确定模块124指定的下降时间和占空比上在高能量水平与低能量水平之间切换，并且可利用由确定模块指定的电压阈值来对所获取的数据进行分类。
输出单元140被配置为向用户提供信息。输出单元140可被配置为显示例如重建的图像，或者作为另一个示例，可在所显示的双能量图像上显示针对由确定模块确定的位移场的所选择的或确定的运动叠加，以供操作者或技术人员批准。输出单元140可包括屏幕、触摸屏、打印机等中的一者或多者。
输入单元150可被配置为获得对应于待执行的扫描的一个或多个设置或特性的输入，并且将该输入(或与该输入对应的信息)提供到处理单元120，该处理单元可使用该输入来确定相关联的运动校正。输入可包括例如临床任务(例如，诊断肾结石)和/或待扫描的身体的部分(例如，头部、身体)。输入单元150可被配置为接受手动用户输入，诸如经由触摸屏、键盘、鼠标等。附加地或另选地，输入单元150可例如经由端口或其他连接设备从成像系统100的另一个方面、另一个系统或远程计算机接收信息。输入单元150也可被配置为获得对建议的扫描设置的用户批准或拒绝。
成像系统100也可包括形成处理单元120的一部分或包含该处理单元的计算机160，该处理单元从检测器阵列114接收投影数据并处理该投影数据以重建受检者的图像。计算机160例如可包括处理单元120的一个或多个方面，诸如图像处理模块122和/或确定模块124，以及/或者可以可操作地耦接到处理单元120的一个或多个方面。
在各种实施方案中，计算机160包括设备170，例如CD-ROM驱动器、DVD驱动器、磁光盘(MOD)设备、或用于从包括信号的有形非暂态计算机可读介质或存储器128读取指令和/或数据的包括网络连接设备(诸如以太网设备)的任何其他数字设备，诸如CD-ROM、DVD或另一数字源诸如网络或互联网，以及尚待开发的数字装置。在另一个实施方案中，计算机160执行存储在固件(未示出)中的指令。计算机160被编程用于执行本文所述的功能，并且如本文所用，术语计算机不仅限于本领域中称为计算机的那些集成电路，而是广义地指计算机、处理器、微控制器、微型计算机、可编程逻辑控制器、专用集成电路和其他可编程电路，并且这些术语在本文中可互换使用。
在示例性实施方案中，X射线源112和检测器阵列114由机架116定位在围绕待成像的受检者119的成像平面内，使得X射线光束121与受检者119相交。在扫描中，对来自检测器114的投影数据进行处理以创建对应于受检者119的拍摄的二维图像。
现在看图2，示出了可利用图1的系统100执行的示例性双能量成像过程1000。在过程1000中，处理单元120包括基于AI的运动校正系统180，该基于AI的运动校正系统可由或至少部分地由机器学习模型和/或深度学习(DL)模型190形成，诸如在名称为“HardwareSystem Design Improvement Using Deep Learning Algorithms”的美国专利案第11,003,988号中所公开的那些模型，其中基于AI的运动校正系统180和/或DL模型190被训练以向由系统获得的低能量(LE)投影和高能量(HE)投影提供运动校正，以便改进LE投影和HE投影的配准以产生LE图像和HE图像，该美国专利案的全部内容出于所有目的以引用的方式明确据此并入。在第一步骤1001中操作包括系统100的深度学习(DL)模型的系统，以获得受检者119的低能量投影/图像数据1002和高能量投影/图像数据1004。在时间T之前获得低能量投影/图像数据1002到高能量投影/图像数据1004，使得发生被成像的受检者119的一个或多个结构的运动。作为该运动的结果，当在后续步骤1007中由处理单元120/计算机160将低能量投影1002与高能量投影1004配准和/或对准以形成对准的低能量图像1010和/或对准的高能量图像1012中的至少一者时，配准过程必须适应在低能量投影1002与高能量投影1004之间的时间中的结构之间的运动。如果在配准步骤1007中没有充分地解决，则当对准的低能量图像1010和对准的高能量图像1012运行通过分解步骤1014时，其中相应的图像1010和1012经受处理以移除与指定类型的组织有关的图像数据，即，在对准的低能量图像1010中移除致密或骨组织以及在对准的高能量图像1012中移除软组织，从分解过程输出的软组织图像1016和致密或骨组织图像1018可包括由于在对准的图像1010、1012的产生和/或后处理中不充分的运动校正而存在的显著伪像1020、1022。
为了改进对准的低能量图像1010与对准的高能量图像1012之间的运动校正，根据本公开的一个示例性实施方案，基于AI的运动校正系统180/DL模型190，并且特别是基于AI的运动校正系统180/DL模型190的配准函数G被训练和/或优化以更好地适应低能量投影1002和/或高能量投影1004内存在的器官运动伪影。在各种实施方案中，可在成像系统100上或者在单独的计算系统(未示出)上直接执行训练，其中基于AI的运动校正系统180/DL模型190在训练之后被转移到成像系统100。当训练基于AI的运动校正系统180/DL模型190的配准函数G时，基于AI的运动校正系统180/DL模型190训练可将模拟运动用于存在于低能量投影1002和/或高能量投影1004内并且在该低能量投影和/或该高能量投影之间经历运动的结构诸如骨和器官，并且以监督的方式使用预测运动与模拟运动之间的损失函数来将预测优化为模拟运动。
现在参考图3，在监督的模拟运动训练过程2000的第一步骤2002中，基于AI的运动校正系统180/DL模型190从包含多对相关联的图像(即，低能量投影1002和高能量投影1004)的训练数据集分割在一对相关联的图像内示出的一个或多个感兴趣对象1024，以便确定投影1002、1004内的感兴趣对象1024的边界1026。感兴趣对象1024是在低能量投影1002与高能量投影1004之间经历运动的被成像的受检者119的部分。感兴趣对象1024可被手动地和/或自动地定义，并且可被选择以对应于由成像系统100执行的成像过程的焦点，诸如肋、心脏和/或肺等中的一者或多者。在后续步骤2004中，训练程序选择低能量投影1002或高能量投影1004，将向所选择的低能量投影1002或高能量投影1004中的感兴趣对象1024提供模拟运动，该低能量投影或高能量投影与投影1002、1004分离成被分割的感兴趣对象1025的被分割的图像1027。在接下来的步骤2006中，生成模拟运动场f模拟(即感兴趣对象1024在所选择的投影1002、1004中的运动)以表示在低能量投影1002与高能量投影1004之间发生的对象1024的模拟运动。为了在步骤2006中生成模拟运动场f模拟，训练程序可应用以下的任何组合：a)被分割的对象1025的随机平移；b)随机运动场；c)利用所提供的被分割的感兴趣对象1025来确定对应的运动场，经由将被应用于被分割的感兴趣对象1025内的像素的侵蚀(收缩)和/或扩张(膨胀)并且确定对象的边界周围的运动场；或者d)其他方法。对于图像1002、1004的不包含被分割的感兴趣对象1025的一部分的任何区域，平移量被选择为零(0)。此外，根据投影1002、1004中所包含的感兴趣对象1024的类型之间的差异，可针对每个被分割的感兴趣对象1025将随机平移选择为不同的(即，更大或更小)，以便更准确地适应针对每种类型的感兴趣对象1024所期望的运动的幅度。在一个特定的示例性实施方案中，通过传统的图像处理方法/模块或一些生成深度学习方法来产生模拟解剖运动以产生此类运动。
一旦确定了模拟运动场f模拟，在步骤2008中，将每个模拟运动场f模拟应用于被分割的图像1027中的相关联的被分割的感兴趣对象1025，以生成模拟固定图像1032、1034。然后，在步骤2010中，使用用于基于AI的运动校正系统180/DL模型190的配准函数G将该模拟固定图像1032、1034与应用了模拟运动场f模拟的原始投影1002、1004进行比较或配准，以生成针对投影1002、1004和图像1032、1034中的被分割的感兴趣对象1025中的每一者的预测运动场f预测。
在步骤2012中，训练程序将预测运动场f预测与模拟运动场f模拟进行比较以确定监督损失2014，该监督损失被返回到配准函数G以在生成预测运动场f预测时优化基于AI的运动校正系统180/DL模型190的图像配准函数G。
然后将基于AI的运动校正系统180/DL模型190的配准函数G应用于训练数据集对中的低能量投影1002和高能量投影1004中的每一者，以生成用于低能量投影1002和用于高能量投影1004的组合预测运动场fpredict_low_high。然后将组合预测运动场fpredict_low_high应用于被分割的感兴趣对象1025，以形成移动掩模，随后将这些移动掩模与高能量投影1004中的感兴趣对象1024的对应掩模进行比较，以进一步优化配准函数G。一旦配准函数G已经被充分优化，基于AI的运动校正系统180/DL模型190可被转移到成像系统10上和/或在该成像系统上采用，以在由成像系统100获得的相关联的低能量投影1002和高能量投影1004对之间提供优化的配准函数G。
用f预测对被分割的感兴趣对象1025的变换导致附加的损失项L分割。这用于无监督损失部分。对于模拟运动，期望的f模拟解是已知的，因此可直接使用监督损失，并且不存在变换感兴趣对象1025以计算L分割的点。对于监督损失部分，被分割的感兴趣对象1025可用于建立解剖相关的f模拟运动。总体上，训练可基于以下损失中的一者或多者的组合：来自图3的监督L流动损失、来自图4的无监督L分割损失、来自图4的无监督L模拟损失以及来自图4的运动场上的正则化损失L平滑，其中在使用无监督训练L模拟和L分割损失的情况下使用该正则化损失。一旦确定了所有利用的损失，则将它们组合成总训练损失，并且优化G以最小化该训练损失。
现在看图4，其中基于AI的运动校正系统180/DL模型190的函数G通过指定图像距离度量来测量对准的LE图像与HE图像之间的差异而利用无监督学习/训练(L模拟)、利用运动校正上的正则化(L平滑)来将校正限制到更真实的运动，并且任选地利用假设在运动校正(L分割)之后对准的所提供的结构1024上的图像距离度量来优化。DL模型可仅在无监督训练方法中或仅在监督训练方法中或同时使用监督训练方法和无监督训练方法两者来训练，因为监督与无监督的区别仅在于训练样本被构造的方式和针对该样本指定的最佳解决方案的不同。
现在参考图5至图6，根据可与关于图2至图4描述的用于基于AI的运动校正系统180/DL模型190的训练的实施方案一起或分开采用的本公开的另一个示例性实施方案，基于AI的运动校正系统180/DL模型190或者直接在成像系统100中或者在单独的计算系统上被训练，并且在训练之后被转移到成像系统100上，以提供关于小的运动伪影和矛盾的运动区域的改进的运动校正。在现有技术的运动校正系统中，利用深度学习(DL)模型，该DL模型在无监督过程中被训练以最小化损失诸如互相关(CC)、均方误差(MSE)和局部归一化MSE，以便校正X射线图像中的运动伪影。然而，对于这些DL模型，在用于这些DL模型的无监督训练过程中利用的损失通常不够精确以匹配低能量图像与高能量图像之间的双能量成像中的小运动，并且指示需要双能量特定图像距离度量(损失)。虽然特别关于双能量成像采用的基于减影图像的边缘检测过程可增强DL模型关于运动伪影的灵敏度，但是低能量图像7018包括可被转换成减影的软组织图像的大量噪声，直接边缘检测过程没有充分地校正小的运动伪影，特别是关于在减影的软组织图像7018中表示的软组织内的校正，并且可主动地将伪影引入到减影的软组织图像7018中，如图6所示。
因此，根据本公开的示例性实施方案，使用类似于现有技术DL模型中的无监督损失最小化过程来训练包括DL模型190的基于AI的运动校正系统180以校正用于多模态图像配准的运动。然而，结合双能量减影图像边缘度量/噪声衰减来训练DL模型190。通过利用基于软组织边缘检测的损失分量，包括实现噪声衰减以最小化从低能量投影1002和/或低能量图像1010引入到减影的软组织图像1016中的噪声，用于无监督训练的损失的性能相对于现有技术系统得到改进。
具体地，参考图5，训练包括DL模型190的基于AI的运动校正系统180的方法300操作以预测训练数据集中的所供应的相关的低能量图像和高能量图像对内的运动校正场，以基于运动校正场中的软组织边缘的量值的确定来最小化损失函数。方法300是L模拟的计算的一部分并且对未配准图像的训练数据集进行操作。在优化期间，一对未配准图像被输入到配准G中以得到f预测。如在步骤306中那样，基于f预测，DL模型190如图2中那样计算对准的LE和HE。在步骤308中，根据对准的LE和HE图像，训练程序使用减影程序计算软组织。在减影程序期间使用噪声衰减310。
在方法300中，在初始步骤302中，向DL模型190提供训练数据集，该训练数据集包括受检者119的多对相关联的低能量投影1002和高能量投影1004。在步骤304中，DL模型190操作来以已知方式将高能量投影1002配准到低能量投影1004，以输出对准的低能量图像1010和高能量图像1012的候选的经配准图像集306。然后，步骤308中的训练程序采用双能量减影来计算存在于候选的经配准图像集306内的软组织。在噪声衰减之后，步骤312中的训练程序对经噪声衰减的图像采用基于减影图像的边缘检测，并且在步骤314中计算软组织边缘(即，运动校正场的边缘)的总体量值，用于生成减影的软组织图像316，同时校正大的和小的运动伪影。一旦优化了DL模型190，可将包括DL模型190的基于AI的运动校正系统180转移到成像系统10和/或在该成像系统上采用，以提供同时的大的伪影校正和小的伪影校正。
现在参考图7至图11，图7中示出了现有技术的运动校正过程，其中基于由双能量成像系统100获得的低能量投影1002和高能量投影1004来计算单个2D运动校正8000，以提供运动校正场8006。运动校正场8006随后用于重新采样1002以产生重新采样图像8008，该重新采样图像随后通过软组织减影8012和骨组织减影8014进行处理以产生经运动校正的软组织图像8016和经运动校正的骨组织图像8018。单个运动校正8000的实现具有局限性，因为它不能补偿受检者的所有可能的3D运动。存在不同解剖结构在图像的给定点中沿相反方向移动的情况，诸如胸腔对肺组织。在此类情况下，使用共同运动可能不能同时满足对软组织减影图像和骨减影图像的运动校正需要。然而，在通常情况下，气道和肺组织运动伪影在软组织图像上的问题较少，而在骨图像上相当明显。
为了适应软组织图像和骨图像中存在的不同类型伪影的差异，根据本公开的另一个示例性实施方案，基于AI的运动校正系统180和/或DL模型190可被配置为应用单独的运动校正以用于生成软组织减影图像和用于生成骨或致密组织减影图像。在图8A和图9A中，图像1302、1402表示骨运动伪影补偿图像，并且在图8B和图9B中，图像1304、1404表示软组织运动伪影补偿图像。
参见图10，成像系统100上的基于AI的运动校正系统180和/或DL模型190将所应用的运动校正场分成软组织运动校正和骨组织运动校正，使得可根据诊断质量需要针对软组织图像和骨图像分别调整运动校正。在成像系统100上应用基于AI的运动校正系统180/DL模型190的示例性例示的方法6000中，由成像系统100获得的低能量投影和/或图像1002以及高能量投影和/或图像1004被提供给DL模型190。DL模型190继续将第一或软组织运动校正6010和第二或骨组织运动校正6012应用于投影和/或图像1002、1004中的每一者，以形成第一运动校正场6014和第二运动校正场6016，其中在示例性实施方案中，第一运动校正6010和第二运动校正6012作为用于基于AI的运动校正系统180/DL模型190执行运动校正的一组指令存储在成像系统100存储器128中。
第一运动校正场6014和第二运动校正场6016随后被重新采样过程6018、6020用于形成第一重新采样图像6022和第二重新采样图像6024。第一重新采样图像6022通过软组织减影过程与高能量投影1004一起运行以形成减影的软组织图像6026，并且第二重新采样图像6024通过骨减影过程与高能量图像1004一起运行以产生骨减影图像6028。由于第一运动校正6010和第二运动校正6012中的每一者针对从减影或分解过程输出的图像中移除的组织类型提供了特定于运动伪影类型的运动校正，因此提供了对从所得到的减影图像中移除这些伪影的显著改进，即，改进了从软组织减影图像6026中移除骨组织运动伪影以及从骨减影图像6028中移除软组织运动伪影。
除了或独立于成像系统100上的基于AI的运动校正系统180/DL模型190的任何一者或多者或先前描述的示例性实施方案，基于AI的运动校正系统180可被配置为确定在低能量图像1004与高能量图像1006之间发生的任何运动是否具有足够的幅度来警告读者关于有问题的诊断质量或指示低能量图像1004和高能量图像1006的重新拍摄。现在参考图11，根据本公开的示例性实施方案，在基于AI的运动校正系统180和/或DL模型190确定警告的需要的操作7000的方法中，最初在步骤7002中，由成像系统100获得低能量投影1002和高能量投影1004。在后续步骤7004中，由成像系统100上的基于AI的运动校正系统180/DL模型190将低能量投影1002和高能量投影1004彼此配准，以形成对准的低能量图像和高能量图像7005。基于AI的运动校正系统180/DL模型190可被训练成以任何合适的方式执行配准过程，诸如通过实现先前描述的关于器官分割和/或软组织边缘检测中的噪声衰减的训练方法中的一者或多者，等等。与配准过程相关联地或在配准过程之后，基于AI的运动校正系统180/DL模型190在步骤7006中预测低能量投影1002与高能量投影1004之间的配准或运动校正场，以随后在步骤7008中确定关于对准的图像的一个或多个运动统计7007。这些运动统计7007提供在低能量投影与高能量投影之间发生的运动的幅度的指示，并且可包括例如全身、心脏和/或肺中的一者或多者相对于身体的平均运动以及全身、心脏和/或肺在配准场内(即，在对准的低能量图像与高能量图像之间)的运动百分比以及其他合适的运动统计中的一者或多者。在步骤7010中，基于AI的运动校正系统180/DL模型190将所确定的运动统计7007的值与存储在成像系统10内并且由基于AI的运动校正系统180/DL模型190采用的规则集7012进行比较。规则集7010可以是用户定义的和/或可修改的，并且包括关于经配准/对准的低能量图像和高能量图像的各种属性的多个规则，诸如身体或一个或多个器官(包括心脏和肺等)的对准的低能量图像和高能量图像之间的平均运动统计，和/或身体或一个或多个器官(包括心脏和/或肺等)的对准的低能量图像与高能量图像之间的运动百分比，以及其他可能的规则。另选地，或者结合运动统计7007与规则集7010的比较，基于AI的运动校正系统180/DL模型190可提供关于对准的低能量图像和/或高能量图像的运动统计的视觉表示，其示出检测到的运动的幅度。视觉表示可采取任何合适的形式，诸如经由输出150提供给技术人员的对准的低能量图像或高能量图像中的一者在另一者上的位置的轮廓叠加7014。
在将运动统计7007与规则集7010进行比较之后，如果运动统计中的一者或多者违反或超过由规则集7010提供的值，则在步骤7016中，成像系统100诸如在显示器150上向技术人员输出对准的图像包括低能量图像与高能量图像之间的不可接受水平的运动以及建议或需要重新拍摄投影的消息。另选地，如果运动统计7007在由规则7010设置的参数内，则在步骤7018中，成像系统100可向技术人员输出对准的图像在可接受的图像LE和HE图像所期望的参数内并且可用于进一步的调查和诊断目的的确认消息。另外，即使运动统计7007落入规则集7010的参数内，成像系统100也可呈现与LE图像和/或HE图像的叠加，以允许技术人员基于用户偏好确定是否需要重新拍摄图像。
应当注意，各种实施方案可能以硬件、软件或其组合来实现。各种实施方案和/或部件(例如，模块或其中的部件和控制器)也可以被实现为一个或多个计算机或处理器的一部分。计算机或处理器可包括计算设备、输入设备、显示单元和接口，例如用于访问因特网。计算机或处理器可以包括微处理器。微处理器可以连接到通信总线。计算机或处理器还可以包括存储器。存储器可以包括随机存取存储器(RAM)和只读存储器(ROM)。计算机或处理器还可以包括存储设备，该存储设备可以是硬盘驱动器或可移除存储驱动器，诸如固态驱动器、光盘驱动器等。存储设备还可以是用于将计算机程序或其他指令加载到计算机或处理器中的其他类似装置。
如本文所用，术语“计算机”或“模块”可包括任何基于处理器或基于微处理器的系统，其包括使用微控制器、精简指令集计算机(RISC)、ASIC、逻辑电路和能够执行本文所述功能的任何其他电路或处理器的系统。以上示例仅是示例性的，并且因此不旨在以任何方式限制术语“计算机”的定义和/或含义。
计算机或处理器执行存储在一个或多个存储元件中的指令集以便处理输入数据。存储元件还可以根据期望或需要存储数据或其他信息。存储元件可以呈处理机内的信息源或物理存储器元件的形式。
指令集可以包括指示计算机或处理器作为处理机来执行特定操作(诸如各种实施方案的方法和过程)的各种命令。指令集可以呈软件程序的形式。软件可以呈各种形式，诸如系统软件或应用软件，并且可以体现为有形和非暂态计算机可读介质。此外，软件可以呈以下形式：分开的程序或模块的集合、较大程序内的程序模块或程序模块的一部分。软件还可以包括呈面向对象编程形式的模块化编程。处理机对输入数据的处理可以响应于操作员命令，或者响应于先前处理的结果，或者响应于另一个处理机做出的请求。
如本文所用，“被配置为”执行任务或操作的结构、限制件或元件在特定结构上以对应于任务或操作的方式形成、构造或调整。出于清楚和避免疑问的目的，仅能够被修改以执行任务或操作的对象未“被配置为”执行如本文所用的任务或操作。相反，如本文所用，使用“被配置为”表示结构适应或特性，并且表示被描述为“被配置为”执行任务或操作的任何结构、限制件或元件的结构要求。例如，“被配置为”执行任务或操作的处理单元、处理器或计算机可被理解为被特别构造为执行该任务或操作(例如，具有存储在其上或与其一起使用的被定制或旨在执行任务或操作的一个或多个程序或指令，和/或具有定制或旨在执行任务或操作的处理电路的布置)。出于清楚和避免疑问的目的，通用计算机(其可“被配置为”执行任务或操作，如果适当编程的话)未“被配置为”执行任务或操作，除非或直到被专门编程或结构上进行修改以执行任务或操作。
如本文所用，术语“软件”和“固件”是可互换的，并且包括存储在存储器中以供计算机执行的任何计算机程序，该存储器包括RAM存储器、ROM存储器、EPROM存储器、EEPROM存储器和非易失性RAM(NVRAM)存储器。上述存储器类型仅是示例性的，并且因此不限制可用于存储计算机程序的存储器的类型。
应当理解，以上描述旨在是例示性的而非限制性的。例如，所描述的实施方案(和/或其方面)中的每一者可彼此组合使用。另外，在不脱离本发明的范围的情况下，可进行许多修改以使特定情况或材料适应各种实施方案的教导。虽然本文描述的材料的尺寸和类型旨在限定各种实施方案的参数，但它们决不是限制性的并且仅是示例性的。在回顾以上描述后，许多其他实施方案对于本领域技术人员将是显而易见的。因此，各种实施方案的范围应该参考所附权利要求书以及这些权利要求书所赋予的等同物的全部范围来确定。在所附权利要求书中，术语“包括”和“在……中”用作相应术语“包含”和“其中”的通俗中文等同物。此外，在以下权利要求书中，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求。此外，以下权利要求书的限制不是用装置加功能格式书写的，也不旨在基于35U.S.C.112(f)来解释，除非并且直到这些权利要求书限制明确地使用短语“用于……的装置”，然后是没有其他结构的功能陈述。
该书面描述使用示例来公开各种实施方案，包括最佳模式，并且还使本领域技术人员能够实践各种实施方案，包括制造和使用任何设备或系统以及执行任何包含的方法。各种实施方案的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者示例包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。
应当理解，本公开的前述组合物、装置和方法不限于特定实施方案和方法，因为这些可变化。还应当理解，本文所用的术语仅用于描述特定示例性实施方案的目的，而非旨在限制本公开的范围，本公开的范围将仅由所附权利要求书限制。

Claims (15)

1.一种用于改进从双能量减影射线照相术x射线系统(100)获得的受检者(119)的图像中的运动校正的方法，所述方法包括以下步骤：
a.提供能够处理包括所述受检者(119)的一个或多个高能量(HE)x射线图像(1002)和一个或多个低能量(LE)x射线图像(1004)的图像数据的图像处理系统(120)，所述图像处理系统(120)包括：
i.处理单元(120,122)，所述处理单元用于处理HE x射线图像数据和LE x射线图像数据以形成图像(1002,1004)；和
ii.非暂态存储器(128)，所述非暂态存储器可操作地连接到所述处理单元(120,122)并且存储用于所述图像处理系统(120)内采用的运动校正系统(180)的操作的指令；
b.提供包括一个或多个对象的多对训练HE x射线图像(1002)和训练LE x射线图像(1004)的训练数据集；
c.训练所述运动校正系统(180)以通过将第一运动校正应用于训练x射线图像对来将每个训练数据集对的所述训练HE x射线图像(1002)和所述训练LE x射线图像(1004)中的一者配准到每个训练数据集对的所述训练HE x射线图像(1002)和所述训练LE x射线图像(1004)中的另一者；以及
d.在双能量x射线成像系统(100)上采用所述运动校正系统(180)以将所述第一运动校正应用于由所述双能量x射线成像系统(100)获得的实际HE图像(1002)和实际LE图像(1004)。
2.根据权利要求1所述的方法，其中所述运动校正系统(180)由深度学习模块(190)形成，并且其中训练所述运动校正系统(180)的步骤包括训练所述深度学习模块(190)。
3.根据权利要求2所述的方法，其中训练所述深度学习模块(190)的步骤包括以下步骤：
a.用软组织减影过程来计算每对训练HE x射线图像(1002)和训练LE x射线图像(1004)内的软组织区域；
b.移除计算出的软组织区域内的噪声；
c.计算所述计算出的软组织区域内的边缘的量值；以及
d.改变所述深度学习模块(190)的一个或多个参数以最小化所述计算出的软组织区域的所述边缘的所述量值。
4.根据权利要求1所述的方法，其中训练所述运动校正系统(180)以将所述训练HE x射线图像(1002)配准到所述训练LE x射线图像(1004)的步骤包括将模拟解剖运动应用于所述训练HE x射线图像(1002)或所述训练LE x射线图像(1004)中的一者。
5.根据权利要求4所述的方法，其中应用模拟解剖运动的步骤包括以下步骤：
a.在所述训练HE x射线图像(1002)和所述训练LE x射线图像(1004)内选择经历所述训练HE x射线图像(1002)与所述训练LE x射线图像(1004)之间的运动的解剖结构的对象；
b.生成针对所述对象的模拟解剖运动；
c.将所述模拟解剖运动应用于所述训练HE x射线图像(1002)或所述训练LE x射线图像(1004)中的一者；以及
d.将对其已经应用所述模拟解剖运动的所述训练HE x射线图像(1002)或所述训练LEx射线图像(1004)配准到所述训练HE x射线图像(1002)或所述训练LE x射线图像(1004)中的另一者。
6.根据权利要求5所述的方法，其中应用所述模拟解剖运动的步骤包括：
a.生成针对所述对象的对象特定的预测解剖运动；以及
b.在所述训练HE x射线图像(1002)或所述训练LE x射线图像(1004)中的一者中将所述对象特定的预测解剖运动应用于所述对象。
7.根据权利要求1所述的方法，所述方法还包括以下步骤：
a.基于所述运动校正来确定所述对象或所述对象的一部分在所述HE x射线图像(1002)与所述LE x射线图像(1004)之间的位移量度；以及
b.在经确定的位移量度超过预先确定的阈值的情况下触发警报。
8.一种用于改进从双能量减影射线照相术x射线系统(100)获得的受检者(119)的图像中的运动校正的方法，所述方法包括以下步骤：
a.提供x射线系统(100)，所述x射线系统包括：
i.x射线源(112)以及能够与所述x射线源(112)对准的x射线检测器(114)；
ii.图像处理系统(120)，所述图像处理系统可操作地连接到所述x射线源(112)和所述x射线检测器(114)以操作所述x射线源(112)来生成HE x射线图像数据和LE x射线图像数据，所述图像处理系统(120)包括用于处理来自所述检测器的所述HE x射线图像数据和所述LE x射线图像数据以从所述图像数据形成实际HE图像(1002)和实际LE图像(1004)的处理单元(122,120)；
iii.非暂态存储器(128)，所述非暂态存储器可操作地连接到所述处理单元(120,122)并且存储用于运动校正系统(180)的操作的指令；
iv.显示器(140)，所述显示器可操作地连接到所述图像处理系统(120)以用于向用户呈现所述图像；和
v.用户界面(150)，所述用户界面可操作地连接到所述图像处理系统(120)以实现到所述图像处理系统(120)的用户输入；
b.操作所述x射线系统(100)以获得所述HE x射线图像数据和所述LE x射线图像数据；
c.形成所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)；以及
d.在采用所述运动校正系统(180)以将第一运动校正应用于所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)之后，对所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)执行第一减影过程以形成软组织图像(1016)和骨组织图像(1018)中的至少一者。
9.根据权利要求8所述的方法，所述方法还包括采用所述运动校正系统以将第二运动校正应用于所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)的步骤，其中所述软组织图像(1016)由所述第一运动校正提供，并且所述骨组织图像(1018)由所述第二运动校正提供。
10.根据权利要求9所述的方法，所述方法还包括以下步骤：在采用所述运动校正系统(180)以将所述第二运动校正经由所述运动校正系统(180)应用于所述HE x射线图像和所述LE x射线图像(1002,1004)中的骨组织之后，对所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)执行第二减影过程。
11.根据权利要求9所述的方法，其中所述运动校正系统(180)包括用于应用所述第一运动校正的第一深度学习模块(190)和用于应用所述第二运动校正的第二深度学习模块(190)，其中采用所述运动校正系统(180)以应用所述第一运动校正的步骤包括采用所述第一深度学习模块(190)以应用所述第一运动校正，并且其中采用所述运动校正系统(180)以应用所述第二运动校正的步骤包括采用所述第二深度学习模块(190)以应用所述第二运动校正。
12.一种x射线系统(100)，所述x射线系统包括：
a.x射线源(112)以及能够与所述x射线源(112)对准的x射线检测器(114)；
b.图像处理系统(120)，所述图像处理系统可操作地连接到所述x射线源(112)和所述x射线检测器(114)以操作所述x射线源(112)来生成HE x射线图像数据和LE x射线图像数据，所述图像处理系统(120)包括用于处理来自所述检测器的所述HEx射线图像数据和所述LE x射线图像数据以从所述图像数据形成实际HE图像(1002)和实际LE图像(1004)的处理单元(120,122)；
c.非暂态存储器(128)，所述非暂态存储器可操作地连接到所述处理单元(120,122)并且存储用于运动校正系统(180)的操作的指令；
d.显示器(140)，所述显示器可操作地连接到所述图像处理系统(120)以用于向用户呈现所述图像；和
e.用户界面(150)，所述用户界面可操作地连接到所述图像处理系统(120)以实现到所述图像处理系统(120)的用户输入；
其中用于所述运动校正系统(180)的所述处理单元(120,122)和所述非暂态存储器(128)被配置为获得所述受检者(119)的所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)，并且被配置为通过经由所述运动校正系统(180)将第一运动校正应用于所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)来将所述实际HE x射线图像(1002)配准到所述实际LE x射线图像(1004)。
13.根据权利要求12所述的x射线系统(100)，其中所述处理单元(120,122)和存储用于所述运动校正系统(180)的指令的所述非暂态存储器(128)被配置为通过训练程序来提供所述第一运动校正，所述训练程序包括以下步骤：
a.向包括所述运动校正系统(180)的计算机提供训练数据集，所述训练数据集包括对象的多对训练HE x射线图像(1002)和训练LE x射线图像(1004)；
b.经由软组织减影来计算所述训练数据集的所述训练HE x射线图像和所述训练LE x射线图像(1002,1004)内的所述对象的软组织区域；
c.移除所述计算出的软组织区域内的噪声；
d.计算所述计算出的软组织区域内的边缘的量值；以及
e.改变所述运动校正系统(180)的一个或多个参数以最小化所述计算出的软组织区域的所述边缘的所述量值。
14.根据权利要求12所述的x射线系统(100)，其中所述处理单元(120,122)和存储用于所述运动校正系统(180)的指令的所述非暂态存储器(128)通过训练程序来配置，所述训练程序包括以下步骤：
a.向包括所述运动校正系统(180)的计算机提供训练数据集，所述训练数据集包括对象的多对训练HE x射线图像(1002)和训练LE x射线图像(1004)；
b.生成针对所述对象的模拟解剖运动；
c.将所述模拟解剖运动应用于所述训练HE x射线图像(1002)或所述训练LE x射线图像(1004)中的一者；以及
d.将对其已经应用所述模拟解剖运动的所述训练HE x射线图像(1002)或所述训练LEx射线图像(1004)配准到所述训练HE x射线图像(1002)或所述训练LE x射线图像(1004)中的另一者。
15.根据权利要求12所述的x射线系统，其中用于所述运动校正系统(180)的所述处理单元(120,122)和所述非暂态存储器(128)包括深度学习模块(190)，并且其中所述深度学习模块(190)包括：
a.第一深度学习模块，所述第一深度学习模块被配置为将第一运动校正应用于所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)；和
b.第二深度学习模块，所述第二深度学习模块被配置为将第二运动校正应用于所述实际HE x射线图像(1002)和所述实际LE x射线图像(1004)。
CN202311237237.7A 2022-10-13 2023-09-25 基于人工智能的双能量x射线图像运动校正训练方法和系统 Pending CN117883100A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/965,228 2022-10-13
US17/965,228 US20240122566A1 (en) 2022-10-13 2022-10-13 Artificial Intelligence-Based Dual Energy X-Ray Image Motion Correction Training Method and System

Publications (1)

Publication Number Publication Date
CN117883100A true CN117883100A (zh) 2024-04-16

Family

ID=88236746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311237237.7A Pending CN117883100A (zh) 2022-10-13 2023-09-25 基于人工智能的双能量x射线图像运动校正训练方法和系统

Country Status (3)

Country Link
US (1) US20240122566A1 (zh)
EP (1) EP4354395A1 (zh)
CN (1) CN117883100A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683934B1 (en) 2000-06-05 2004-01-27 General Electric Company Dual energy x-ray imaging system and method for radiography and mammography
US7295691B2 (en) * 2002-05-15 2007-11-13 Ge Medical Systems Global Technology Company, Llc Computer aided diagnosis of an image set
US11003988B2 (en) 2016-11-23 2021-05-11 General Electric Company Hardware system design improvement using deep learning algorithms

Also Published As

Publication number Publication date
US20240122566A1 (en) 2024-04-18
EP4354395A1 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
US11839501B2 (en) Image creation device
US7957574B2 (en) Methods and apparatus for generating a risk metric for soft plaque in vessels
JP7092190B2 (ja) 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
JP6442243B2 (ja) コンピュータ断層撮影画像再構成のアーチファクト低減の方法および装置
CN105989621B (zh) 用于在图像重构中执行联合估计技术的方法和系统
WO2011058461A1 (en) Scan plan field of view adjustor, determiner, and/or quality assessor
CN111915696A (zh) 三维图像数据辅助的低剂量扫描数据重建方法及电子介质
US9351695B2 (en) Hybrid dual energy imaging and bone suppression processing
CN109381205B (zh) 用于执行数字减影血管造影的方法、混合成像装置
CN111292378A (zh) 一种ct扫描辅助方法、装置及计算机可读存储介质
EP4235581A1 (en) Medical image processing method, medical image processing apparatus, program, method for producing a trained machine learning model, apparatus for producing a trained machine learning model and computer-readable storage medium
US20200237319A1 (en) X-ray image processing method and x-ray image processing apparatus
EP3867871B1 (en) System and method for automatic delineation of scanned images
EP3803779B1 (en) Scatter correction for x-ray imaging
US20240122566A1 (en) Artificial Intelligence-Based Dual Energy X-Ray Image Motion Correction Training Method and System
KR102399792B1 (ko) 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법
US20230274473A1 (en) Artificial intelligence based 3d reconstruction
JP7454435B2 (ja) 医用画像処理装置および医用画像処理方法
US20050018889A1 (en) Systems and methods for filtering images
CN115880385A (zh) 计算机断层扫描中的金属伪影减少
CN113226181B (zh) 在x射线锥形束计算机断层扫描中校准x射线投影几何形状的方法
JP7225008B2 (ja) 医用画像処理装置
CN116977471B (zh) 一种生成合成计算机断层扫描图像的方法和设备
US12115017B2 (en) Method of calibrating x-ray projection geometry in x-ray cone beam computed tomography
CN113177907B (zh) 控制医学x射线设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination