CN110047128B - 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统 - Google Patents
从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统 Download PDFInfo
- Publication number
- CN110047128B CN110047128B CN201910031255.7A CN201910031255A CN110047128B CN 110047128 B CN110047128 B CN 110047128B CN 201910031255 A CN201910031255 A CN 201910031255A CN 110047128 B CN110047128 B CN 110047128B
- Authority
- CN
- China
- Prior art keywords
- volume
- network
- image
- sparse
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000002591 computed tomography Methods 0.000 claims abstract description 136
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 48
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001143 conditioned effect Effects 0.000 claims 3
- 230000006870 function Effects 0.000 description 25
- 210000003484 anatomy Anatomy 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 206010073306 Exposure to radiation Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000002202 sandwich sublimation Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/436—Limited angle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
公开了一种用于从少量X射线图像自动重建3D计算机断层摄影(CT)体积的方法和设备。使用断层摄影重建算法来从少量x射线图像生成稀疏3D体积。使用经训练的深度神经网络来从所述稀疏3D体积生成最终重建3D CT体积。还可使用所述经训练的深度神经网络来从所述稀疏3D体积生成3D分割掩模。
Description
技术领域
本发明涉及从2D X射线放射照片自动重建3D计算机断层摄影(CT)体积，并且更具体地，涉及从少量X射线放射照片自动重建3D CT体积和3D分割掩模（mask）。
背景技术
X射线计算机断层摄影(CT)被广泛地用于获得身体的不同部位的比标准X射线更详细的图像。在计算机断层摄影中，许多X射线图像是从各种角度拍摄的。然后使用断层摄影重建算法来处理所有这些X射线图像以生成3D CT体积数据，该3D CT体积数据然后可被视为轴向、冠状、矢状平面中的图像。
CT被认为是中等至高辐射诊断技术。此外，与采集标准X射线扫描相比较采集CT扫描是更费时且昂贵的。因此，为了减小患者对辐射的暴露并且减少时间和成本，将高度期望能够使用仅几个X射线图像来重建体积CT数据。虽然这种重建CT体积可能不出于所有目的替换实际的CT体积，但是它能被用于各种目的，诸如用于分割解剖结构的目的。
发明内容
本发明提供了用于从少量X射线放射照片基于计算机自动重建3D计算机断层摄影(CT)体积的方法和系统。本发明的实施例还从少量X射线放射照片自动地生成解剖结构的3D分割掩模(或3D表面模型)。
在本发明的一个实施例中，从患者的一个或多个X射线图像生成稀疏3D体积。使用经训练的深度神经网络来从稀疏3D体积生成最终重建3D CT体积。可使用经训练的深度神经网络来从稀疏3D体积生成目标对象的3D分割掩模。
通过参考以下详细描述和附图，本发明的这些及其他优点对于本领域的普通技术人员而言将是显而易见的。
附图说明
图1图示了根据本发明的实施例的用于从2D X射线图像自动重建3D计算机断层摄影(CT)体积并生成3D分割掩模的方法；
图2图示了根据本发明的实施例的用于从输入稀疏3D体积生成完全重建3D CT体积的生成对抗网络；
图3图示了根据本发明的实施例的用于从输入稀疏3D体积生成完全重建3D CT体积的条件生成对抗网络；
图4图示了根据本发明的实施例的与逐体素成本函数耦合的条件生成对抗网络；
图5图示了图1的方法的概要和图1的方法的示例性结果；以及
图6是能够实现本发明的计算机的高级框图。
具体实施方式
本发明涉及用于从少量X射线放射照片基于计算机自动重建3D计算机断层摄影(CT)体积并生成3D分割掩模的方法和系统。在本文中描述本发明的实施例以给出对用于自动重建3D CT体积并生成3D分割掩模的方法的可视理解。数字图像常常由一个或多个对象(或形状)的数字表示组成。在本文中在识别并操纵对象方面常常描述对象的数字表示。此类操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，应当理解的是，可以使用存储在计算机系统内的数据来在计算机系统内执行本发明的实施例。
本发明的实施例提供了从几个2D X射线图像对3D CT体积的基于计算机的自动重建。因此，如与现有基于计算机的CT重建技术相比较，本发明的实施例以减小的患者对辐射的暴露以及减少的时间和成本提供对3D CT体积的自动重建。本发明的实施例还解决患者的解剖结构的分割掩模(或3D表面模型)的自动生成的问题。解剖结构的此类患者特异性模型常常由外科医生在术前外科手术计划期间使用并且还用于外科手术期间的基于图像的引导。构建3D表面模型的现有方法通常首先使用诸如CT或磁共振成像(MRI)的医学成像技术，然后使用分割算法(手动的或自动的)。然而，由于CT和MRI中涉及的过度时间、成本和/或辐射，已经提出了仅使用2D X射线放射照片的替代方法。这些方法中的大多数使用统计形状模型(SSM)。例如，在Zheng等人“3D Reconstructions of a Patient-SpecificSurface Model of the Proximal Femur from Calibrated X-ray Radiographs: AValidation Study,”
Medical Physics, Vol. 36, No. 4, 2009, pp. 1155-1166中，执行从SSM中提取的特征到从放射照片中交互地识别的那些特征的迭代非刚性配准。在Zheng等人“Scaled, Patient-Specific 3D Vertebral Model Reconstruction Based on 2DLateral Fluoroscopy,”
International Journal of Computer Assisted Radiology
and Surgery, Vol. 6, No. 3, 2011, pp. 351-356中，提出了一种半自动方法，其中用户使用分割工具来提取图像轮廓。然而，如果样本是显著不同的，则方法需要多个SSM。首先2D/3D重建问题通过计算所对应的3D点对被转换成3D/3D问题，然后使用三阶段迭代方法来求解。在Baka等人“2D-3D Shape Reconstruction of the Distal Femur from Stereo X-ray Imaging Using Statistical Shape Models,”
Medical Image Analysis, Vol. 15,No. 6, 2011, pp. 840-850中，提出了一种用于涉及平均形状的手动初始化的从两个或更多个X射线图像进行姿态估计和形状重建的基于SSM的方法。在Schumann等人“AnIntegrated System for 3D Hip Joint Reconstructions from 2D X-rays: APreliminary Validation Study,”
Annals of Biomedical Engineering, Vol. 41, No.10, 2013, pp. 2077-2087中，引入了使用运动校准体模来建立模型之间的对应的想法。两个不同的SSM的配准被执行—一个来自CT分割的表面模型而另一个是半骨盆SSM。轮廓被半自动地提取。在Yu等人“Fully Automatic Reconstruction of Personalized 3D Volumesof the Proximal Femur from 2D X-ray Images,”
International Journal of
Computer Assisted Radiology, Vol. 11, No. 9, 2016, pp. 1673-1685中，提出了一种使用基于控制点的2D-3D配准方法的全自动重建方法。这是涉及缩放刚性配准和正则化可变形B样条配准的两阶段方法。点的均匀3D网格被放置在3D模板上并且基于由网格中的每个点所经历的变换来计算配准变换。
本发明的实施例提供了给定解剖对象的2D X射线图像生成解剖对象的3D CT体积和分割掩模的全自动方法。本发明的实施例可执行从仅几个2D X射线图像自动重建3D CT体积并生成3D分割掩模。这在一个或两个2D X射线图像通常不包含生成完整3D体积所需要的足够信息的意义上是一个非常不适定的问题。因此，为了解决此问题，本发明的实施例承受不起不使用X射线图像中可用的任何信息。在用于计算3D CT数据的现有技术中，大数量的X射线图像(取决于身体部位此数量通常从100至750的任何地方)是从对象周围的各个方向拍摄的。然后通过断层摄影重建算法将所有这些2D X射线图像“拼接”在一起以产生3DCT体积数据。在由本发明的实施例解决的问题中，代替数百个X射线图像，非常少的X射线图像是可用的(例如，少于四个)。不是单独地使用每个这些X射线，而是本发明的实施例使用诸如滤波反投影(FBP)之类的断层摄影重建算法来组合所有可用的X射线图像，以获得具有包含在输入2D X射线图像中的所有信息以及2D X射线图像如何彼此相关的附加信息的稀疏3D CT体积。一旦生成稀疏3D CT体积，它就通过经训练的深度神经网络(诸如条件生成对抗网络)来传递，以生成最终重建3D CT体积以及3D分割掩模。
图1图示了根据本发明的实施例的用于从2D X射线图像自动重建3D CT体积并生成3D分割掩模的方法。图1的方法变换患者的解剖结构的2D X射线图像以生成目标对象的重建3D CT体积和3D分割掩模。图1的方法仅需要少量2D X射线图像(放射照片)来执行3DCT体积的重建和3D分割掩模的生成。特别地，可使用几个用作患者的两个2D X射线图像来执行图1的方法。
参考图1，在步骤102处，接收两个或更多个2D X射线图像。2D X射线图像(也称为放射照片)是在不同的投影角度下利用X射线扫描仪获得的患者的目标解剖结构的X射线图像。可使用X射线扫描仪装置(诸如独立X射线扫描仪、CT扫描仪或C形臂CT扫描仪)来获得2DX射线图像。可直接地从X射线扫描仪装置接收2D X射线图像，或者可通过从计算机系统的存储器或储存器加载患者的先前存储的X射线图像或者经由电子传输从远程计算机系统接收X射线图像来接收2D X射线图像。根据本发明的有利方面，可利用仅几个(例如，少于或者等于四个)X射线图像来执行图1的方法，但是本发明不限于此。接收至少两个X射线图像。在示例性实施方式中，可以接收仅两个X射线图像(例如，第一X射线图像和第二X射线图像)，但是本发明不限于此。
在步骤104处，从2D X射线图像生成稀疏3D体积。特别地，使用断层摄影重建算法(诸如滤波反投影(FBP))来组合两个或更多个2D X射线图像，以生成具有包含在输入2D X射线图像中的所有信息以及输入2D X射线图像如何相互关联的附加信息的稀疏3D体积。此附加信息来自通过断层摄影重建进行的CT数据计算中涉及的物理原理并且来自2D X射线图像中的每一个的姿态信息。在一些实施例中，诸如当使用CT扫描仪或C形臂CT扫描仪来生成X射线图像时，每个2D X射线图像的姿态信息由图像采集装置提供并且因此可容易地用于断层摄影重建算法。在其中姿态信息不可从图像采集装置获得的其他实施例中，可估计2D X射线图像的相对姿态。在示例性实施例中，可使用单独的经训练的深度神经网络来执行此姿态估计，所述经训练的深度神经网络被训练来将2D X射线图像视为输入并且输出姿态参数。在示例性实施方式中，FBP可用于从两个或更多个2D X射线图像生成稀疏3D体积。FBP是众所周知的断层摄影重建算法。然而，本发明不限于滤波反投影，并且也可使用其他断层摄影重建算法。
在步骤106处，使用经训练的深度神经网络来从稀疏3D体积生成目标对象的最终重建3D CT体积和3D分割掩模。一旦稀疏3D体积被生成(在步骤104中)，稀疏3D体积就被输入到经训练的深度神经网络并通过该经训练的深度神经网络传递以生成最终重建3D CT体积以及3D分割掩模。最终重建CT体积是将看起来好像它是从一整套X射线投影图像重建的非稀疏CT体积。3D分割掩模是示出在最终重建CT体积中位于目标对象(诸如器官、血管、骨骼结构或其他解剖结构)的边界内的体素的3D掩模。
在有利的实施例中，深度神经网络是深度图像到图像网络(DI2IN)并且网络架构具有编码器和解码器。例如，DI2IN可具有深度卷积编码器-解码器网络架构。编码器具有一系列层，该系列层将稀疏3D输入信息编码成其大小基本上小于输入稀疏3D体积的大小的代码。解码器具有然后将代码解码成最终重建3D体积和3D分割掩模的输出的一系列层。在编码器中生成的所有中间信息被与解码器共享，使得信息在编码过程中不会丢失。在一个示例性实施方式中，网络架构可包括具有用于输出最终重建3D CT体积和3D分割掩模的多个输出的单个解码器。在另一示例性实施方式中，网络架构可包括单个编码器和两个解码器，一个解码器被训练来输出最终重建3D体积并且另一个解码器被训练来输出3D分割掩模。基于所生成的深度神经网络的输出与训练数据中的真实地面实况重建CT体积和3D分割掩模之间的距离的目标函数用于训练深度神经网络以学习用于编码器和解码器的各层的权重。在有利的实施例中，深度神经网络可以是生成对抗网络或条件生成对抗网络。在这种情况下，在训练期间与DI2IN一起使用鉴别器网络。鉴别器网络判断DI2IN的输出并且判定输出是否看起来足够接近于真实地面实况训练数据。鉴别器的优点是它在训练期间向DI2IN添加附加约束，这有助于DI2IN的输出(即，最终重建3D CT体积和3D分割掩模)看起来尽可能接近于真实地面实况数据。
在示例性实施例中，深度神经网络被训练为生成对抗网络。图2图示了根据本发明的实施例的用于从输入稀疏3D体积生成完全重建3D CT体积的生成对抗网络。如图2中所示，稀疏3D体积202被输入到生成器 200。生成器 200是深度神经网络，诸如使用卷积编码器-解码器架构实现的DI2IN，其生成合成完全重建3D CT体积 204。合成完全重建3DCT体积 204和地面实况完全重建3D CT体积 206被输入到鉴别器 210。鉴别器 210是区分合成体积 204和真实体积 206的另一深度神经网络。在训练期间，生成器 200和鉴别器 210一起玩以下极小极大博弈：
(1)。
网络通过迭代地调整鉴别器 210和生成器 200的参数(权重)被端到端训练以优化等式(1)。在等式(1)中，第一项是与真实样本 206有关的成本并且第二项是与合成样本 204相关的成本。鉴别器 210使函数最大化(即，尽力区分真实样本和合成样本)并且生成器200使函数最小化(即，合成看起来真实的样本以欺骗鉴别器)。生成器 200和鉴别器 210在学习更好的网络参数的意义上动态地演进，直到它们达到平衡（即，合成体积204变得尽可能接近而不可通过鉴别器 210的眼睛与真实体积 206区分开）为止。经训练的生成器 200(即，DI2IN)然后被例如存储在计算机系统的存储器或储存器中并且单独用于推理(在步骤106中)，以便从输入稀疏3D体积生成合成完全重建CT体积。
应当理解的是，尽管在本文中针对完全重建CT体积的合成输出图像描述图2，然而图2可被类似地应用于3D分割掩模的目标输出图像。在其中生成器生成合成完全重建3D CT体积和3D分割掩模两者的可能的实施方式中，可将图2中所示的生成对抗网络扩展成具有两个鉴别器，一个鉴别器区分合成完全重建3D CT体积和真实完全重建3D CT体积，并且另一鉴别器区分合成3D分割掩模和真实(地面实况)3D分割掩模。在这种情况下，可将等式(1)中的函数扩展成包括两个鉴别器的误差项并且用于训练的极小极大博弈可由所有三个网络一起玩。
在另一可能的实施例中，可将深度神经网络训练为条件生成对抗网络。在条件生成对抗网络中，鉴别器以输入图像为条件。图3图示了根据本发明的实施例的用于从输入稀疏3D体积生成完全重建3D CT体积的条件生成对抗网络。如图3中所示，稀疏3D体积被输入到生成器 300。生成器 300是深度神经网络，诸如DI2IN，其从输入稀疏3D体积生成合成完全重建3D CT体积。输入稀疏3D体积、合成完全重建3D CT体积和真实完全重建3D CT体积被输入到鉴别器 310。鉴别器 310是区分合成体积和真实体积的另一深度神经网络。在训练期间，生成器 300和鉴别器 310以输入稀疏3D体积为条件一起玩以下极小极大博弈：
(2)
其中和分别是生成器 300和鉴别器的参数(权重)。网络通过迭代地调整参数(权重) 和被端到端训练以优化等式(2)。在等式(2)中，第一项是与真实样本有关的成本并且第二项是与合成样本有关的成本。生成器 300和鉴别器 310在学习更好的网络参数的意义上动态地演进，直到它们达到平衡（即，合成体积变得不可通过鉴别器 310的眼睛与真实体积区分开）为止。在此类情况下，生成器 300实际上为输入稀疏3D体积生成真实完全重建3D CT体积。经训练的生成器 300(即，DI2IN)然后被例如存储在计算机系统的存储器或储存器中并且单独用于推理(在步骤106中)以便从输入稀疏3D体积生成合成完全重建CT体积。
应当理解的是，尽管在本文中针对完全重建CT体积的合成输出图像描述了图3，然而图3可被类似地应用于3D分割掩模的目标输出图像。在其中生成器生成合成完全重建3D CT体积和3D分割掩模的可能的实施方式中，可以以输入稀疏3D体积为条件将图3中所示的条件生成对抗网络扩展成具有两个鉴别器，一个鉴别器区分合成完全重建3D CT体积和真实完全重建3D CT体积，并且另一鉴别器区分合成3D分割掩模和真实（地面实况）3D分割掩模。在这种情况下，可将等式(2)中的函数扩展成包括两个鉴别器的误差项并且用于训练的极小极大博弈可由所有三个网络一起玩。
在本发明的有利的实施例中，训练可将逐体素成本函数与条件生成对抗网络框架集成。图4图示了根据本发明的实施例的与逐体素成本函数耦合的条件生成对抗网络。如图4中所示，稀疏3D体积被输入到生成器 400。生成器 400是深度神经网络，诸如DI2IN，其从输入稀疏3D体积生成合成完全重建3D CT体积。输入稀疏3D体积、合成完全重建3DCT体积和真实(地面实况)完全重建3D CT体积被输入到鉴别器 410。鉴别器 410是区分合成体积和真实体积的另一深度神经网络。除了被输入到鉴别器 410之外，合成完全重建3D CT体积也被输入到具有参数的成本函数 420。成本函数 420将针对给定输入稀疏3D体积的合成完全重建3D CT体积与针对该输入稀疏3D体积的地面实况完全重建3D CT体积相比较。在示例性实施方式中，成本函数 420计算合成体积与地面实况体积之间的逐体素误差/距离。例如，可以使用回归或逻辑函数来实现成本函数 420。
在训练期间，学习生成器 300的参数和鉴别器 310的参数以优化以下极小极大博弈，以输入稀疏3D体积为条件：
(3)。
在等式(3)中，第一项是由成本函数 420计算的成本，第二项成本与由鉴别器410对真实样本的分类有关，并且第三项是与由鉴别器 410对合成样本的分类有关的成本。给定一组N个训练对，训练中的任务是为了学习产生以下成本函数的解的参数和，在以下成本函数中期望值由遍及训练样本集的样本平均值替换：
。
在本文中使用等式(4)中的成本函数所描述的实施例中，成本函数 420的参数被预设并且不在训练中进行调整。在另一可能的实施方式中，取决于成本函数 420的公式，还可在训练期间与参数和一起调整参数以优化成本函数。
优化等式(4)中的成本函数的参数和是通过迭代地交替以下两个步骤直到参数和收敛为止(或者直到达到预设最大训练迭代次数为止)来学习的：
步骤1—在生成器 400的参数固定的情况下，针对鉴别器 410的参数求解以下最大化任务：
。
在使用深度神经网络来对鉴别器 410进行建模的有利的实施方式中，可基于训练对的小批量实现反向传播步骤以便执行此最大化任务。
步骤2—在鉴别器 410的固定的情况下，针对生成器 400的参数求解以下最小化任务：
。
事实上发现，即使两个目标函数产生相同的固定点，不是训练 400以使最小化而是训练 400以使最大化在学习中早期导致更好的梯度信号。因此，在有利的实施方式中，可使用以下最小化问题在步骤2中学习生成器400的参数：
。
在其中使用深度神经网络(例如DI2IN)来对鉴别器 410进行建模的有利的实施方式中，可以基于训练对的小批量实现反向传播步骤以便执行此最小化任务。
一旦训练完成，经训练的生成器G 400(即，DI2IN)然后就被例如存储在计算机系统的存储器或储存器中并且单独用于推理(在步骤106中)以便从输入稀疏3D体积生成合成完全重建CT体积。应当理解的是，尽管在本文中针对完全重建CT体积的合成输出图像描述图4，然而图4可被类似地应用于3D分割掩模的目标输出图像。在其中生成器生成合成完全重建3D CT体积和3D分割掩模两者的可能的实施方式中，可将图4中所示的条件生成对抗网络扩展成具有两个鉴别器和两个逐体素成本函数，一个鉴别器区分合成完全重建3D CT体积和真实完全重建3D CT体积，并且另一鉴别器区分合成3D分割掩模和真实(地面实况)3D分割掩模，一个逐体素成本函数比较合成完全重建3D CT体积和地面实况完全重建3D CT体积并且另一逐体素成本函数比较合成3D分割掩模和地面实况3D分割掩模。在这种情况下，可将等式(3)和(4)中的函数扩展成包括两个鉴别器和两个成本函数的误差项，并且用于学习网络参数的训练可在所有三个网络之间迭代地交替。
返回到图1，在步骤108处，输出目标对象的最终重建3D CT图像和3D分割掩模。可通过在计算机系统的显示装置上显示目标对象的最终重建3D CT图像和3D分割掩模来输出目标对象的最终重建3D CT图像和3D分割掩模。例如，目标对象的最终重建3D CT图像和/或3D分割掩模可作为3D可视化或者通过显示从目标对象的最终重建3D CT图像和/或3D分割掩模中提取的各种2D切片被显示在显示的装置上。
图5图示了图1的方法的概要和图1的方法的示例性结果。如图5中所示，针对患者获得第一2D X射线视图502和第二2D X射线视图504。断层摄影重建算法506（诸如FBP）用于从第一X射线视图502和第二X射线视图504生成稀疏3D体积508。稀疏3D体积508被输入到经训练的深度神经网络510，并且该经训练的深度神经网络510生成目标对象的最终重建3DCT体积512和3D分割掩模514。在图5中所示的示例性结果中，目标对象是膝盖中的骨骼结构。因此，重建3D分割掩模514是膝盖的重建3D骨骼掩模。
在图1的实施例中，从患者的两个或更多个2D x射线图像生成最终重建3D CT图像和3D分割掩模。在替代实施例中，可使用单个2D x射线图像来类似地生成最终重建3D CT图像和/或3D分割掩模。在这种情况下，首先使用经训练的深度图像到图像神经网络来基于单个x射线图像估计不同姿态下的第二x射线图像。然后，断层摄影重建算法用于从患者的原始x射线图像和所估计的第二x射线图像生成稀疏3D体积。此稀疏3D体积然后被输入到经训练的深度神经网络，所述经训练的深度神经网络像上面在图1的步骤106中所描述的那样基于稀疏3D体积生成最终重建3D CT体积和3D分割掩模。
上述的图1的方法从少量x射线图像生成最终重建3D CT体积。此方法可被类似地应用于重建除CT以外的医学成像的3D体积。取决于要重建的图像模态，可首先基于在该特定成像模态中涉及的物理原理生成适合的稀疏重建，并且然后可使用经训练的深度神经网络来从该稀疏重建生成目标重建3D输出。
可以将用于从2D X射线图像自动重建3D CT体积并生成3D分割掩模的上述方法实现在使用众所周知的计算机处理器、存储器单元、存储装置、计算机软件和其他组件的计算机上。在图6中图示了这种计算机的高级框图。计算机602包含处理器604，所述处理器604通过执行定义这种操作的计算机程序指令来控制计算机602的整体操作。计算机程序指令可以被存储在存储装置612(例如，磁盘)中并且在期望执行计算机程序指令时被加载到存储器610中。因此，图1的方法的步骤可以通过存储在存储器610和/或储存器612中的计算机程序指令来定义并且通过处理器604执行这些计算机程序指令来控制。图像采集装置620（诸如CT扫描仪、C形臂CT扫描仪或X射线扫描仪）可连接到计算机602以将图像数据输入到计算机602。可以将图像采集装置620和计算机602实现为一个装置。图像采集装置620和计算机602还可以通过网络以无线方式通信。在可能的实施例中，计算机602可相对于图像采集装置620远程地定位，并且本文中所描述的方法步骤可作为服务器或基于云的服务的一部分被执行。在这种情况下，可以在单个计算机上执行方法步骤或者方法步骤分布在多个联网的计算机之间。计算机602还包括用于经由网络与其他装置进行通信的一个或多个网络接口606。计算机602还包括使得用户能够与计算机602交互的其他输入/输出装置608(例如，显示器、键盘、鼠标、扬声器、按钮等)。此类输入/输出装置608可以作为注释工具与一组计算机程序相结合地使用来注释从图像采集装置620接收到的图像/体积。本领域的技术人员将认识到实际计算机的实施方式也能包含其他组件，并且图6是用于说明性目的的这种计算机的一些组件的高级表示。
前面的具体实施方式应当被理解为在每一方面都是说明性的和示例性的，而不是限制性的，并且本文中所公开的本发明的范围不是从具体实施方式中确定的，而是相反从如根据由专利法所许可的全部范围所解释的权利要求中确定的。应当理解的是，本文中所示出和描述的实施例仅说明本发明的原理，并且本领域的技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。在不脱离本发明的范围和精神的情况下，本领域的技术人员能实现各种其他特征组合。
Claims (17)
1.一种用于从一个或多个X射线图像自动重建3D计算机断层摄影(CT)体积的方法，包括：
从患者的一个或多个X射线图像生成稀疏3D体积；
使用经训练的深度神经网络来从所述稀疏3D体积生成最终重建3D CT体积；以及
使用所述经训练的深度神经网络来从所述稀疏3D体积生成目标对象的3D分割掩模。
2.根据权利要求1所述的方法，其中，所述患者的所述一个或多个X射线图像包括第一X射线图像和第二X射线图像，并且从所述患者的所述一个或多个X射线图像生成所述稀疏3D体积包括：
使用断层摄影重建算法来从所述第一X射线图像和所述第二X射线图像生成所述稀疏3D体积。
3.根据权利要求2所述的方法，其中，所述患者的所述一个或多个x射线图像仅包括所述第一x射线图像和所述第二x射线图像，并且使用断层摄影重建算法来从所述第一X射线图像和所述第二X射线图像生成所述稀疏3D体积包括：
使用断层摄影重建算法来在没有任何附加x射线图像的情况下从所述第一X射线图像和所述第二X射线图像生成所述稀疏3D体积。
4.根据权利要求1所述的方法，其中，所述经训练的深度神经网络是具有编码器层和解码器层的多输出深度图像到图像网络，所述编码器层将所述稀疏3D体积编码成其大小比所述稀疏3D体积小的代码，所述解码器层将所述代码解码成所述目标对象的所述最终重建3DCT体积和所述3D分割掩模。
5.根据权利要求1所述的方法，其中，所述经训练的深度神经网络是深度图像到图像网络，所述深度图像到图像网络在生成对抗网络中与鉴别器网络一起被训练以便区分由所述深度图像到图像网络从输入稀疏3D体积训练样本生成的合成重建3D CT体积和真实重建3DCT体积训练样本。
6.根据权利要求1所述的方法，其中，所述经训练的深度神经网络是深度图像到图像网络，所述深度图像到图像网络以输入稀疏3D体积训练样本为条件在条件生成对抗网络中与鉴别器网络一起被训练以便区分由所述深度图像到图像网络从所述输入稀疏3D体积训练样本生成的合成重建3D CT体积和真实重建3D CT体积训练样本。
7.根据权利要求6所述的方法，其中，所述条件生成对抗网络与逐体素成本函数集成，所述逐体素成本函数计算由所述深度图像到图像网络从输入稀疏3D体积训练样本生成的所述合成重建3D CT体积与对应的地面实况重建3D CT体积训练样本之间的逐体素误差，并且所述深度图像到图像网络和所述鉴别器网络被一起训练以遍及多个训练样本优化极小极大目标函数，所述极小极大目标函数包括使用所述逐体素成本函数来计算误差的第一项、计算所述鉴别器网络的误差从而对所述真实重建3D CT训练样本进行分类的第二项以及计算所述鉴别器网络的误差从而对由所述深度图像到图像网络生成的所述合成重建3DCT体积进行分类的第三项。
8.一种用于从一个或多个X射线图像自动重建3D计算机断层摄影(CT)体积的设备，包括：
用于从患者的一个或多个X射线图像生成稀疏3D体积的装置；
用于使用经训练的深度神经网络来从所述稀疏3D体积生成最终重建3D CT体积的装置；以及
用于使用所述经训练的深度神经网络来从所述稀疏3D体积生成目标对象的3D分割掩模的装置。
9.根据权利要求8所述的设备，其中，所述经训练的深度神经网络是深度图像到图像网络，所述深度图像到图像网络在生成对抗网络中与鉴别器网络一起被训练以便区分由所述深度图像到图像网络从输入稀疏3D体积训练样本生成的合成重建3D CT体积和真实重建3DCT体积训练样本。
10.根据权利要求8所述的设备，其中，所述经训练的深度神经网络是深度图像到图像网络，所述深度图像到图像网络以输入稀疏3D体积训练样本为条件在条件生成对抗网络中与鉴别器网络一起被训练以便区分由所述深度图像到图像网络从所述输入稀疏3D体积训练样本生成的合成重建3D CT体积和真实重建3D CT体积训练样本。
11.根据权利要求10所述的设备，其中，所述条件生成对抗网络与逐体素成本函数集成，所述逐体素成本函数计算由所述深度图像到图像网络从输入稀疏3D体积训练样本生成的所述合成重建3D CT体积与对应的地面实况重建3D CT体积训练样本之间的逐体素误差，并且所述深度图像到图像网络和所述鉴别器网络被一起训练以遍及多个训练样本优化极小极大目标函数，所述极小极大目标函数包括使用所述逐体素成本函数来计算误差的第一项、计算所述鉴别器网络的误差从而对所述真实重建3D CT训练样本进行分类的第二项以及计算所述鉴别器网络的误差从而对由所述深度图像到图像网络生成的所述合成重建3DCT体积进行分类的第三项。
12.一种存储用于从一个或多个X射线图像自动重建3D计算机断层摄影(CT)体积的计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令当由处理器执行时使所述处理器执行包括以下步骤的操作：
从患者的一个或多个X射线图像生成稀疏3D体积；
使用经训练的深度神经网络来从所述稀疏3D体积生成最终重建3D CT体积；以及
使用所述经训练的深度神经网络来从所述稀疏3D体积生成目标对象的3D分割掩模。
13.根据权利要求12所述的非暂时性计算机可读介质，其中，所述患者的所述一个或多个X射线图像包括第一X射线图像和第二X射线图像，并且从所述患者的所述一个或多个X射线图像生成所述稀疏3D体积包括：
使用断层摄影重建算法来从所述第一X射线图像和所述第二X射线图像生成所述稀疏3D体积。
14.根据权利要求12所述的非暂时性计算机可读介质，其中，所述经训练的深度神经网络是具有编码器层和解码器层的多输出深度图像到图像网络，所述编码器层将所述稀疏3D体积编码成其大小比所述稀疏3D体积小的代码，所述解码器层将所述代码解码成所述目标对象的所述最终重建3D CT体积和所述3D分割掩模。
15.根据权利要求12所述的非暂时性计算机可读介质，其中，所述经训练的深度神经网络是深度图像到图像网络，所述深度图像到图像网络在生成对抗网络中与鉴别器网络一起被训练以便区分由所述深度图像到图像网络从输入稀疏3D体积训练样本生成的合成重建3D CT体积和真实重建3D CT体积训练样本。
16.根据权利要求12所述的非暂时性计算机可读介质，其中，所述经训练的深度神经网络是深度图像到图像网络，所述深度图像到图像网络以输入稀疏3D体积训练样本为条件在条件生成对抗网络中与鉴别器网络一起被训练以便区分由所述深度图像到图像网络从所述输入稀疏3D体积训练样本生成的合成重建3D CT体积和真实重建3D CT体积训练样本。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述条件生成对抗网络与逐体素成本函数集成，所述逐体素成本函数计算由所述深度图像到图像网络从输入稀疏3D体积训练样本生成的所述合成重建3D CT体积与对应的地面实况重建3D CT体积训练样本之间的逐体素误差，并且所述深度图像到图像网络和所述鉴别器网络被一起训练以遍及多个训练样本优化极小极大目标函数，所述极小极大目标函数包括使用所述逐体素成本函数来计算误差的第一项、计算所述鉴别器网络的误差从而对所述真实重建3D CT训练样本进行分类的第二项以及计算所述鉴别器网络的误差从而对由所述深度图像到图像网络生成的所述合成重建3D CT体积进行分类的第三项。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/871,531 US10709394B2 (en) | 2018-01-15 | 2018-01-15 | Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs |
| US15/871531 | 2018-01-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110047128A CN110047128A (zh) | 2019-07-23 |
| CN110047128B true CN110047128B (zh) | 2023-04-14 |
Family
ID=65033374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910031255.7A Active CN110047128B (zh) | 2018-01-15 | 2019-01-14 | 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10709394B2 (zh) |
| EP (1) | EP3525171B1 (zh) |
| CN (1) | CN110047128B (zh) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10950338B2 (en) * | 2007-04-20 | 2021-03-16 | Robert Edwin Douglas | Method and apparatus for generating an artificial intelligence 3D dataset and performing interactive manipulation and rendering of the dataset |
| EP3541270A4 (en) | 2016-11-18 | 2020-06-10 | Stryker Corp. | METHOD AND DEVICE FOR TREATING A JOINT, INCLUDING THE TREATMENT OF A CAM-LIKE FEMOROACETABULAR IMPINGEMENT IN A HIP JOINT AND A PLIERS-LIKE FEMOROACETABULAR IMPINGEMENT IN A HIP GEL |
| US10580131B2 (en) * | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
| US10475538B2 (en) * | 2018-01-11 | 2019-11-12 | Siemens Healthcare Gmbh | System for predicting computed tomography data from surface data |
| US10482600B2 (en) * | 2018-01-16 | 2019-11-19 | Siemens Healthcare Gmbh | Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks |
| US11464569B2 (en) | 2018-01-29 | 2022-10-11 | Stryker Corporation | Systems and methods for pre-operative visualization of a joint |
| US10956635B1 (en) * | 2019-12-04 | 2021-03-23 | David Byron Douglas | Radiologist-assisted machine learning with interactive, volume subtending 3D cursor |
| US11238197B1 (en) * | 2018-04-03 | 2022-02-01 | David Byron Douglas | Generating a 3D dataset containing a simulated surgical device |
| EP3564906A1 (de) * | 2018-05-04 | 2019-11-06 | Siemens Healthcare GmbH | Verfahren zur erzeugung von bilddaten bei einem computertomographiegerät, bilderzeugungsrechner, computertomographiegerät, computerprogrammprodukt und computerlesbarer datenträger |
| US12039738B2 (en) * | 2018-05-18 | 2024-07-16 | The Johns Hopkins University | Multi-motion compensation for high-quality cone-beam CT of the head |
| KR102094598B1 (ko) * | 2018-05-29 | 2020-03-27 | 한국과학기술원 | 뉴럴 네트워크를 이용한 희소 뷰 전산단층 촬영 영상 처리 방법 및 그 장치 |
| KR102035796B1 (ko) * | 2018-07-26 | 2019-10-24 | 주식회사 딥핑소스 | 데이터를 비식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| US11288596B1 (en) * | 2018-08-06 | 2022-03-29 | Hexagon Manufacturing Intelligence, Inc. | Virtual x-ray image (VXRI) stack as features sets for machine learning for virtual simulations |
| US11270477B2 (en) * | 2018-10-31 | 2022-03-08 | General Electric Company | Systems and methods for tailored image texture in iterative image reconstruction |
| TWI697010B (zh) * | 2018-12-28 | 2020-06-21 | 國立成功大學 | 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置 |
| CN109745062B (zh) * | 2019-01-30 | 2020-01-10 | 腾讯科技（深圳）有限公司 | Ct图像的生成方法、装置、设备及存储介质 |
| CN110517352B (zh) * | 2019-08-27 | 2022-06-03 | 电子科技大学 | 一种物体的三维重建方法、存储介质、终端及系统 |
| CN112444784B (zh) * | 2019-08-29 | 2023-11-28 | 北京市商汤科技开发有限公司 | 三维目标检测及神经网络的训练方法、装置及设备 |
| WO2021051049A1 (en) * | 2019-09-12 | 2021-03-18 | Xie Huidong | Few-view ct image reconstruction system |
| US11436766B2 (en) * | 2019-12-20 | 2022-09-06 | Varian Medical Systems International Ag | Tomographic image reconstruction using artificial intelligence (AI) engines |
| US11386592B2 (en) | 2019-12-20 | 2022-07-12 | Varian Medical Systems International Ag | Tomographic image analysis using artificial intelligence (AI) engines |
| CN111402260A (zh) * | 2020-02-17 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的医学影像分割方法、系统、终端及存储介质 |
| TWI791979B (zh) * | 2020-04-28 | 2023-02-11 | 長庚醫療財團法人林口長庚紀念醫院 | 三維醫學影像的建立方法 |
| CN112085696B (zh) * | 2020-07-24 | 2024-02-23 | 中国科学院深圳先进技术研究院 | 医学图像分割网络模型的训练方法、分割方法及相关设备 |
| CN112102339B (zh) * | 2020-09-21 | 2023-07-07 | 四川大学 | 一种基于图集配准的全身骨显像骨骼分割方法 |
| CN112233227B (zh) * | 2020-10-20 | 2024-09-10 | 北京航星机器制造有限公司 | 一种ct投影图生成方法和装置 |
| CN112435255B (zh) * | 2020-12-10 | 2022-04-29 | 河北工业大学 | 一种畸形长骨形状自动分析方法 |
| CN112561825B (zh) * | 2020-12-22 | 2023-04-25 | 清华大学 | 基于x射线成像的图像处理方法及装置 |
| CN112489047B (zh) * | 2021-02-05 | 2021-06-01 | 四川大学 | 一种基于深度学习的盆骨及其动脉血管的多层级分割方法 |
| US20240185509A1 (en) * | 2021-04-25 | 2024-06-06 | Rsip Vision Ltd. | 3d reconstruction of anatomical images |
| US11776173B2 (en) * | 2021-05-04 | 2023-10-03 | GE Precision Healthcare LLC | Generating reformatted views of a three-dimensional anatomy scan using deep-learning estimated scan prescription masks |
| US11948677B2 (en) * | 2021-06-08 | 2024-04-02 | GE Precision Healthcare LLC | Hybrid unsupervised and supervised image segmentation model |
| US20220392059A1 (en) * | 2021-06-08 | 2022-12-08 | Shenzhen Keya Medical Technology Corporation | Method and system for representation learning with sparse convolution |
| DE102021206417B3 (de) * | 2021-06-22 | 2022-10-06 | Siemens Healthcare Gmbh | Computerimplementierte Verfahren und Systeme zum Bereitstellen eines Korrekturalgorithmus für ein Röntgenbild und zum Korrigieren eines Röntgenbilds, Röntgeneinrichtung, Computerprogramm und elektronisch lesbarer Datenträger |
| US11983798B2 (en) * | 2021-08-03 | 2024-05-14 | GE Precision Healthcare LLC | AI-based region-of-interest masks for improved data reconstruction |
| CN113838557A (zh) * | 2021-09-15 | 2021-12-24 | 王其景 | 一种医学影像三维重建模拟方法及系统 |
| CN114255296B (zh) * | 2021-12-23 | 2024-04-26 | 北京航空航天大学 | 基于单幅x射线影像的ct影像重建方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127686A (zh) * | 2016-06-29 | 2016-11-16 | 西安电子科技大学 | 基于正弦域图像超分辨率提高ct重建图像分辨率的方法 |
| CN107403446A (zh) * | 2016-05-18 | 2017-11-28 | 西门子保健有限责任公司 | 用于使用智能人工代理的图像配准的方法和系统 |
| WO2017207138A1 (en) * | 2016-05-31 | 2017-12-07 | Siemens Healthcare Gmbh | Method of training a deep neural network |
| CN107481297A (zh) * | 2017-08-31 | 2017-12-15 | 南方医科大学 | 一种基于卷积神经网络的ct图像重建方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6944261B2 (en) | 2003-04-18 | 2005-09-13 | Kabushiki Kaisha Toshiba | X-ray computed tomography apparatus |
| US7327822B2 (en) | 2005-07-20 | 2008-02-05 | Purdue Research Foundation | Methods, apparatus, and software for reconstructing an image |
| US7551708B2 (en) | 2007-02-07 | 2009-06-23 | General Electric Company | Method of iterative reconstruction for energy discriminating computed tomography systems |
| ATE528733T1 (de) | 2007-12-20 | 2011-10-15 | Wisconsin Alumni Res Found | Verfahren für dynamische eingeschränkte bildrekonstruktion mit vorhergehendem bild |
| US20130129178A1 (en) | 2010-08-04 | 2013-05-23 | Koninklijke Philips Electronics N.V. | Method and system for iterative image reconstruction |
| ES2735356T3 (es) | 2013-06-06 | 2019-12-18 | Volpara Health Tech Limited | Un método de reconstrucción de un objeto a partir de vistas de proyección |
| US9495770B2 (en) | 2013-08-14 | 2016-11-15 | University Of Utah Research Foundation | Practical model based CT construction |
| US9668699B2 (en) * | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| US9760807B2 (en) | 2016-01-08 | 2017-09-12 | Siemens Healthcare Gmbh | Deep image-to-image network learning for medical image analysis |
-
2018
- 2018-01-15 US US15/871,531 patent/US10709394B2/en active Active
-
2019
- 2019-01-14 CN CN201910031255.7A patent/CN110047128B/zh active Active
- 2019-01-14 EP EP19151550.1A patent/EP3525171B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107403446A (zh) * | 2016-05-18 | 2017-11-28 | 西门子保健有限责任公司 | 用于使用智能人工代理的图像配准的方法和系统 |
| WO2017207138A1 (en) * | 2016-05-31 | 2017-12-07 | Siemens Healthcare Gmbh | Method of training a deep neural network |
| CN106127686A (zh) * | 2016-06-29 | 2016-11-16 | 西安电子科技大学 | 基于正弦域图像超分辨率提高ct重建图像分辨率的方法 |
| CN107481297A (zh) * | 2017-08-31 | 2017-12-15 | 南方医科大学 | 一种基于卷积神经网络的ct图像重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| ""Image Prediction for Limited-angle Tomography via DeepLearning with Convolutional Neural Network";Hanming Zhang et al;《arXiv:medical physics》;20160729;说明书摘要，介绍，方法与实验 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3525171B1 (en) | 2020-12-02 |
| EP3525171A1 (en) | 2019-08-14 |
| CN110047128A (zh) | 2019-07-23 |
| US10709394B2 (en) | 2020-07-14 |
| US20190216409A1 (en) | 2019-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110047128B (zh) | 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统 | |
| EP3470006B1 (en) | Automated segmentation of three dimensional bony structure images | |
| EP3751516B1 (en) | Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging | |
| US20220245400A1 (en) | Autonomous segmentation of three-dimensional nervous system structures from medical images | |
| CN108433700B (zh) | 从表面数据估计患者内部解剖结构 | |
| EP3444776B1 (en) | Topogram prediction from surface data in medical imaging | |
| EP2807635B1 (en) | Automatic implant detection from image artifacts | |
| EP3804624A2 (en) | Synthetic parameterized computed tomography from surface data in medical imaging | |
| US20180253838A1 (en) | Systems and methods for medical imaging of patients with medical implants for use in revision surgery planning | |
| CN107752979B (zh) | 人工投影的自动生成方法、介质和投影图像确定装置 | |
| WO2022064763A1 (ja) | 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、学習済みモデル、仮想画像並びに記録媒体 | |
| US20240185509A1 (en) | 3d reconstruction of anatomical images | |
| CN114648536A (zh) | 血管壁的提取方法及装置 | |
| US11776154B2 (en) | Method and device for medical imaging for representing a 3D volume containing at least one introduced foreign object | |
| CN113177907B (zh) | 控制医学x射线设备 | |
| US20240005504A1 (en) | Standardizing images of anatomical structures for analysis by machine learning systems | |
| CN115482180A (zh) | 目标区域确定方法和医学成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240905 Address after: German Phu F Haim Patentee after: Siemens Medical AG Country or region after: Germany Address before: Erlangen, Germany Patentee before: SIEMENS HEALTHCARE GmbH Country or region before: Germany |
|
| TR01 | Transfer of patent right |