CN106651750A - 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 - Google Patents

用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 Download PDF

Info

Publication number
CN106651750A
CN106651750A CN201610581340.7A CN201610581340A CN106651750A CN 106651750 A CN106651750 A CN 106651750A CN 201610581340 A CN201610581340 A CN 201610581340A CN 106651750 A CN106651750 A CN 106651750A
Authority
CN
China
Prior art keywords
parameter
transformation parameter
lir
determined
parameter space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610581340.7A
Other languages
English (en)
Other versions
CN106651750B (zh
Inventor
R.廖
S.繆
Z.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of British Columbia
Siemens AG
Original Assignee
University of British Columbia
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of British Columbia, Siemens Medical Solutions USA Inc filed Critical University of British Columbia
Publication of CN106651750A publication Critical patent/CN106651750A/zh
Application granted granted Critical
Publication of CN106651750B publication Critical patent/CN106651750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30052—Implant; Prosthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及用于基于卷积神经网络回归的2D/3D图像配准的方法和系统。基于与根据该3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数，确定参数空间区域。基于针对所确定的参数空间区域提取的该3D医学图像中的3D点集合，根据该DRR和该X‑光图像的局部块，计算局部图像残差（LIR）特征。使用针对所确定的参数空间区域训练的回归量的分层序列，基于该LIR特征，计算更新的变换参数。该回归量的分层序列包括多个回归量，该多个回归量中的每一个计算针对该变换参数的相应子集的更新。

Description

用于基于卷积神经网络回归的2D/3D图像配准的方法和系统
本申请要求2015年7月22日递交的美国临时申请No. 62/195,430和2015年9月8日递交的美国临时申请No. 62/215,326的权益，所述美国临时申请的公开以引用方式并入本文。
背景技术
本发明涉及二维（2D）到三维（3D）医学图像配准，并且更具体地，涉及基于深度学习的2D/3D医学图像配准。
二维（2D）到三维（3D）图像配准是医学成像和图像导引介入治疗中的重要技术。2D/3D图像配准可以用于将术前3D医学图像数据和术中2D医学图像数据引入相同的坐标系统，以促进精确诊断和/或所提供的高级图像导引。例如，术前3D医学图像数据一般包括计算机断层扫描（CT）、锥束CT（CBCT）、核磁共振成像（MRI）和/或医学设备的计算机辅助设计（CAD）模型，而术中2D医学图像数据一般是X-光图像。
2D/3D图像配准一般使用基于强度的方法实现。在这种基于强度的2D/3D图像配准方法中，为了配准由CT或CBCT提供的（或从另一成像模态转变的）3D X-光衰减图，通过对虚拟X-光的衰减进行仿真而从3D衰减图导出仿真的X-光图像（被称为数字重建射线影像（DRR））。然后利用优化器来最大化DRR和X-光图像之间的基于强度的相似性度量，基于强度的方法能够实现高配准精度，但遭受包括长计算时间和小捕捉范围的缺陷。因为基于强度的方法涉及大量相似性度量的评估，每一个在渲染DRR中需要繁重的计算，所以这种方法一般导致超过一秒的运行时间，并且因此不适于实时应用。此外，因为要在基于强度的方法中优化的相似性度量通常是高度非凸性的，优化器有高可能性陷入局部极大值，这导致这种方法具有其中可以实现高配准精度的小捕捉范围。
发明内容
本发明提供了一种用于基于2D/3D医学图像配准深度学习的回归的方法和系统。本发明的实施例实现具有大捕捉范围和高精度的实时2D/3D医学图像配准。本发明的实施例训练卷积神经网络（CNN）回归量，以确定从2D医学图像和根据3D医学图像生成的数字重建射线影像（DRR）到它们潜在变换参数的差的映射。本发明的实施例利用局部图像残差（LIR）特征来简化要由CNN回归量捕捉的潜在映射。本发明的实施例利用参数空间分割（PSP）来将变换参数空间分割为区域，并在每一个区域中分离地训练CNN回归量。本发明的实施例利用分层参数回归（HPR）来分解变换参数并以分层方式对它们进行回归。
在本发明的一个实施例中，参数空间区域是基于与根据3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数确定的。局部图像残差（LIR）特征是基于针对所确定的参数空间区域提取的3D医学图像中的3D点集合根据DRR的局部块和X-光图像计算的。更新的变换参数是使用针对所确定的参数空间区域训练的回归量的分层序列基于LIR特征计算的。回归量的分层序列包括多个回归量，每一个回归量计算针对变换参数的相应子集的更新。
本领域普通技术人员通过参考以下详细描述和附图将使本发明的这些和其他优点变得显而易见。
附图说明
图1示出了根据本发明的一个实施例的六个变换参数的效果；
图2示出了X-光透视几何结构的一个示例；
图3示出了根据本发明的一个实施例的一种用于使用卷积神经网络（CNN）回归的2D/3D医学图像配准的方法；
图4示出了根据本发明的一个实施例的一种用于计算局部图像残差（LIR）特征的流程图；
图5示出了根据本发明的一个实施例的一种用于经由分层回归（PHEL）来执行姿态估计的算法；
图6示出了根据本发明的一个实施例的针对每一个区域中的每一组变换参数训练的CNN回归模型的架构；
图7示出了根据本发明的一个实施例的应用于每一个输入通道的CNN的结构；以及
图8是能够实现本发明的计算机的高层框图。
具体实施方式
本发明涉及一种用于使用基于深度学习的回归来进行2D/3D医学图像配准的方法和系统。本文描述了本发明的实施例以给出2D/3D医学图像配准方法的可视化理解。数字图像通常由一个或更多个物体（或形状）的数字表示构成。本文通常依据标识和操控物体来描述物体的数字表示。这种操控是在存储器或计算机系统的其他电路/硬件中完成的虚拟操控。因此，应当理解，本发明的实施例可以在计算机系统内使用在计算机系统内存储的数据来执行。
本发明的实施例在本文中被描述为将CT或CBCT提供的3D X-光衰减图与2D X-光图像实时配准。根据应用，诸如MRI或CAD模型之类的其他3D模态可以在执行2D/3D配准之前转变为3D X-光衰减图。
假定X-光成像系统纠正波束发散并且X-光传感器具有对数静态响应，可以通过以下模型描述X-光图像生成：
(1)
其中是X-光图像在点处的强度，是以为参数的从X-光光源到点的光线，并且是X-光衰减系数。将要成像的物体的X-光衰减图表示为，并将从物体坐标系统到X-光成像坐标系统的3D变换表示为，X-光成像坐标系统中的点处的衰减系数为：
(2)。
将等式（1）和等式（2）合并，我们有
(3)。
在2D/3D配准问题中，由X-光成像系统确定，由3D数据（例如CT强度）提供，并且变换要基于输入X-光图像进行估计。应当注意，给定、和，使用公知的光线投射算法根据等式（3）可以计算合成X-光图像，并且所生成的合成图像被称为数字重建射线影像（DRR）。
刚体3D变换T可以由具有六个分量的向量来参数化。根据一个有益的实施例，变换由三个面内变换参数和三个面外变换参数来参数化。图1示出了根据本发明的一个实施例的六个变换参数的效果。如图1中所示，面内变换参数包括两个面内转换参数 102和104以及1个面内旋转参数 108。面内变换参数102、104和108的效果是近似2D刚体变换。面外变换参数包括一个面外转换参数 106和两个面外旋转参数 110和 112。面外转换106和旋转110和112的效果分别是缩放和形状改变。
以下给出面内参数和面外参数的数学定义。图2示出了X-光透视几何结构的一个示例。如图2所示，从X-光光源202通过物体204发送X-光光束，导致图像投影到X-光成像面206上。X-光成像面206的水平轴、垂直轴和法线方向分别表示为、和。X-光成像面206的中心表示为。在要配准的物体204上，定义了两个正交轴（表示为和），并选择了参考点（优选地在几何中心处）并表示为。转换参数、和定义为：
,
,
。
面内旋转参数（还被称为“偏转”）定义为和 在成像面上的投影之间的角度：
。
面外旋转参数（还被称为“前倾”）定义为及其在成像面上的投影之间的角度：
。
面外旋转参数（还被称为“卷动”）定义为和在与垂直的面上的投影之间的角度：
。
基于等式（3），我们用变换参数将X-光图像表示为，其中为了简洁省略了变量和，因为它们对于给定2D/3D配准任务不改变。对于2D/3D配准的输入是：（1）由其X-光衰减图描述的3D对象；（2）X-光图像，其中表示未知地面实况变换参数；以及（3）初始变换参数。2D/3D配准问题可以公式表述为回归问题，其中只要初始变换参数在地面实况变换参数的捕捉范围内，基于训练数据来训练基于机器学习的回归量集合，以学习从输入提取的特征到参数残差的映射：
. (4)
然后，通过应用回归量并将所估计的参数残差并入而获得的估计：
. (5)
值得注意的是，等式（4）中范围等同于基于优化的配准方法的范围。基于等式（4），问题公式表述可以表达为设计特征提取器和训练回归量，使得：
. (6)
以下描述的本发明的实施例详细讨论如何计算特征以及如何设计、训练和应用回归量，以实现精确、实时的2D/3D医学图像配准。
图3示出了根据本发明的一个实施例的用于使用卷积神经网络（CNN）回归的2D/3D医学图像配准的方法。图3的基于CNN回归的2D/3D配准方法可以被称为经由分层学习的姿态估计（PEHL）。参考图3，在步骤302处，接收到3D医学图像。在一个有益的实施例中，3D医学图像是3D X-光衰减图。例如，3D医学图像可以是使用计算机断层扫描（CT）或锥束CT（CBCT）图像获取设备所获取的3D X-光衰减图。备选地，3D医学图像可以是通过将3D图像（诸如3D核磁共振成像（MRI）图像或医学设备或其他物体的3D计算机辅助设计（CAD）图像）转变为3DX-光衰减图所生成的3D X-光衰减图。用于将这种图像转变为3D X-光衰减图的技术是公知的。在一个有益的实施例中，3D医学图像可以是在手术过程之前所获取的术前图像。3D医学图像可以从图像获取设备（诸如CT或CBCT图像获取设备）直接接收，或可以通过从计算机系统的存储器或存储设备加载先前所生成的或存储的图像来接收。
在步骤304处，接收到2D X-光图像。2D X-光图像可以是X-光图像序列中的帧。在一个有益的实施例中，2D X-光图像可以是在手术过程期间获取的用于指导手术过程的X-光图像序列中所接收的术中X-光图像。X-光图像可以直接从X-光图像获取设备直接接收，或可以通过从计算机系统的存储器或存储设备加载先前获取的X-光图像来接收。在一个有益的实施例中，X-光图像是从X-光图像获取设备如其所获取地实时地接收的。
在步骤306处，获取初始变换参数。初始变换参数是通过基于X-光图像根据3D医学图像生成初始DRR来估计的。具有初始变换参数的初始DRR可以使用用于生成DRR以近似2DX-光图像的公知技术来估计。例如，可以使用完全理解的模板匹配方法来估计初始变换参数并生成初始DRR。
在步骤308处，基于当前变换参数，确定参数空间区域。在一个有益的实现中，基于当前面外旋转变换参数，确定参数空间区域。在步骤308的第一次迭代中，基于初始面外旋转变换参数，确定参数空间区域。在步骤308的每一次随后迭代中，通过最近更新的面外旋转变换参数，确定参数空间区域。
图3的方法利用被训练以恢复从特征到变换参数残差的映射的回归量。因为特征本质地取决于，目标映射可以随着改变而显著变化，这使其高度复杂并难以精确地恢复。理想地，提取对参数残差敏感并对变换参数不敏感的特征将是有益的。这种特征被称为姿态索引特征，并且属性可以表示为：
. (7)
如以下结合步骤310更详细地讨论，图3的方法使用感兴趣区域（ROI）来使对面内和缩放参数不变。然而，我们不能使对和不变，因为这些参数导致投影图像中的复杂表象改变。根据本发明的一个实施例，为了解决此问题，由和跨越的参数空间被分为多个区域。通过将参数空间划分为特定大小的网格使得网格中的每一个正方形覆盖被设为区域的特定维度面积，来将由和跨越的参数空间被分为多个区域。在一个有益的实现中，由和跨越的参数空间被分为18 x 18的网格（由本发明人根据经验确定）。网格中的每一个正方形覆盖20 x 20维度面积并设为分离的区域。如将结合步骤310更详细地讨论，对于每一个区域内的面外旋转变换参数和，本文中引入的局部图像残差（LIR）被近似地姿态索引，即：
, (8)
其中表示第k区域的LIR特征提取器，并且表示由第k区域覆盖的区域。对于每一个区域分离地训练回归量，以恢复对不敏感的简化映射。
返回图3，在步骤310处，从DRR图像和X-光图像的局部块中提取LIR特征。对于每一个区域分离地选择用于回归的特征。本文描述针对一个区域的特征提取方法，并且同一方法应用于每一个区域。将LIR特征计算为使用当前变换参数渲染的DRR（表示为）和局部块中的X-光图像之间的差。为了确定局部块的位置、大小、方向，从3D医学图像中提取多个3D点。3D点对应于2D边缘，并表示目标物体的3D模型。给定3D点和变换参数，在2D成像面中唯一地确定正方形局部ROI，其可以由分别表示ROI的中心、宽度和方向的三元组描述。中心是使用变换参数的的2D投影。宽度，其中是ROI的大小（例如以毫米为单位），并且D是X-光光源和检测器之间的距离。方向，使得其总是与目标物体对齐。定义在由和确定的ROI中提取图像块并将图像块重新采样到固定大小（例如在示例性实现中的52 x 52）的操作符。给定个3D点，于是LIR特征计算为：
(9)。
在的局部面积中，在区域内改变和的效果近似是2D转换。因此，通过从基于选择的ROI中提取局部块，补偿中所有六个转换参数的效果，使对近似不变。因为和之间的差仅是由造成的附加2D变换，同样对近似不变。
图4示出了根据本发明的一个实施例的用于计算局部图像残差（LIR）特征的流程图。图4示出了如在X-光回声融合数据上阐述的LIR特征提取。如图4所示，图像402是X-光图像()，并且图像404是根据目标物体的3D模型渲染的DRR ()。给定3D点集合，分别从X-光图像402和DRR 404提取与根据每一个3D点和变换参数确定的局部ROI相对应的图像块406 () 和图像块 408 ()。从X-光图像402中提取的图像块406中的每一个图像块被从DRR 404中提取的图像块408中的对应一个中减去，以计算FIR特征集合410()。
针对每一个区域分离地提取用于计算FIR特征的3D点。在一个示例性实现中，可以在手术过程之前针对每一个区域计算一次3D医学图像的3D点，并存储在计算机系统的存储器或存储设备（例如数据库）中。当利用实时获取的X-光图像执行3D医学图像的配准时，于是针对当前区域的3D点的位置可以被获取并用于计算FIR特征。如下针对每一个区域分离地提取3D点。首先，提取与边缘相对应的3D点作为候选。具体地，通过对其中和在区域的中心处的合成X-光图像（即使用DRR生成的）中具有高梯度幅度的像素设定阈值，并然后将它们反投影到对应的3D结构来提取候选。X-光图像中的梯度的形成模型可以表达为：
, (10)
其中是在点处的X-光图像梯度的幅度，并且可以根据和X-光透视几何结构计算。被反投影到，其中
, (11)
如果
。 (12)。
等式（2）中的条件确保周围的3D结构“实际上生成”2D梯度，因为在的小相邻（例如mm）中的分布导致的幅度的大部分（即 90%）。换言之，我们发现X-光图像中与梯度相对应的占统治地位的3D结构。
一旦提取了候选，对候选进行过滤使得仅保留导致满足等式（7）且也不显著重叠的LIR特征的候选。这是通过随机地生成其中和在区域内且在捕捉范围内的（例如在一个示例性实现中M=1000）来实现。的第n个像素的强度表示为。对于所有候选计算以下两个度量：
, (13)
, (14)
其中是相对于下标中所有索引的平均运算符。因为和测量分别相对于和的灵敏度，理想LIR应当具有小以满足等式（7）和大用于对进行回归。因此，通过选择列表中具有最大比例的候选并然后移除具有包含大于某一百分比（例如25%）的覆盖区域的ROI的候选来过滤候选列表。可以重复此过程直到列表为空。
返回图3，在步骤312处，使用利用针对当前区域训练的CNN回归量的分层参数回归基于LIR特征，确定更新的变换参数。根据本发明的一个有益实施例，代之以对六个变换参数一起进行回归（因为涉及多个混杂因素，这使要回归的映射极其复杂），而将变换参数分为多个组，对所述参数分层回归。根据一个有益实现，将变换参数分为以下三个组并分层回归：
•组1：面内变换参数： 、和；
•组2：面外旋转变换参数： 和；
•组3：面外转换变换参数： 。
在三个组中，组1中的变换参数是最容易估计的，因为它们造成简单的而同时更少受其它两个组中的参数的改变影响的投影图像中物体的占统治性2D变换。组3中的参数是最难估计的，因为其仅造成投影图像中物体的细微缩放。估计组2中参数的难度介于其中。因此，从最容易的组（组1）到最难的组（组3）顺序地对三组变换参数进行回归。在对一组参数回归之后，使用下一组的回归中已经估计的更新的转换参数，重新计算LIR特征。这样，通过限制维度并从先前组中的那些参数中移除复合因素，简化要对每一组进行回归的映射。由对当前区域的每一组训练的各个回归量执行对每一组的回归。即，对于每一个区域，针对每一组变换参数分层地训练分离的回归量。
图5示出了根据本发明的一个实施例的用于执行经由分层回归的姿态估计（PHEL）的算法。图5的算法示出了一个有益的实施例中如何实现图3的方法的步骤。如图5所示，算法500输入初始变换参数、X-光图像和要执行的迭代次数。在步骤502处，获取覆盖的区域的3D点集合。在步骤504处，获取覆盖的区域的受训回归量集合。针对当前区域的已训练的回归量集合包括针对该区域的每一组变换参数训练的回归量。在步骤506处，使用等式（9）计算LIR特征。
步骤508-516提供与图3的步骤312的实现有关的细节。在步骤508处，使用针对当前区域的第一受训回归量，更新面内变换参数、和。第一受训回归量基于LIR特征，计算针对、和的值，并将这些值加到面内变换参数、和的先前值。在步骤510处，利用对于面内变换参数、和的更新值，使用等式（9）重新计算LIR特征。在步骤512处，使用针对当前区域的第二受训回归量更新面外旋转变换参数和。第二受训回归量基于重新计算的LIR特征来计算对于和的值，并将这些值加到面外旋转变换参数和的先前值。在步骤514处，利用面内变换参数、和的更新值和面外旋转变换参数和的更新值，使用等式（9）重新计算LIR特征。在步骤516处，使用针对当前区域的第三受训回归量，更新面外转换变换参数。第三受训回归量基于重新计算的LIR特征来计算对于的值，并将该值加到面外转换变换参数的先前值。
步骤502-516重复次迭代，并将根据当前迭代得到的变换参数用作针对下一次迭代的起始位置。迭代次数可以根据经验确定。在一个示例性实现中，可以使用次迭代。在步骤518处，算法输出最终变换参数，其提供将3D医学图像配准到2D X-光图像的坐标系统的变换。
在图3的步骤312中所使用的分层回归方案和图5的算法中，设计CNN回归模型是双重的：（1）CNN回归模型应当足够灵活以能够捕捉从到的复映射；以及（2）CNN应当足够轻巧以实时转发并存储到随机存取存储器（RAM）中。管理存储器脚印是重要的，因为针对所有区域（总共324个）训练的回归量应当以最优速度加载到RAM。在一个有益的实施例中，采用以下CNN回归模型以解决这些挑战。
网络结构：图6示出了根据本发明的一个实施例的针对每一个区域中的每一组变换参数训练的CNN回归模型600的架构。根据等式（9），CNN回归模型600的输入包括与个LIR特征相对应的个输入通道602。CNN回归模型包括个CNN 604，并且CNN 604中相应的一个被应用于每一个输入通道602用于特征提取。图7示出了根据本发明的一个实施例的应用于每一个输入通道的CNN的结构。图7的CNN 700示出了图6的个CNN 604中的每一个的结构。如图7所示，CNN 700包括五层，包括两个5 x 5卷积层（C1）702和（C2）706，每一个紧跟有具有步幅2的2 x 2最大池化层（P1）704和（P2）708，以及具有100个线性整流单元（ReLU）激活神经元的完全连接层（F1）710。返回图6，然后对CNN 604从所有输入通道602提取的特征向量进行级联（606）并连接到具有250个ReLU激活神经元的另一完全连接层（F2）608。输出层（F3）610完全连接到F2 608，其中每一个输出节点对应于组中的一个转换参数。例如，对于每一个区域对组1训练的CNN回归模型具有三个输出节点，对于每一个区域对组2训练的CNN回归模型具有两个输出节点，并且对于每一个区域对组3训练的CNN回归模型具有一个输出节点。因为个输入通道602具有相同的特性（即它们是在不同位置处的LIR特征），所以共享个CNN 604中的权重以将存储器脚印减小至1/。
在一个示例性实现中，本发明人根据经验选择ROI的大小，这导致。在本实现中，使用具有权重共享的图6中所示的CNN模型600，对于每一个区域中的每一个组存在总共660,500个权重，其中不包括输出层，输出层仅具有250 x 个权重，其中是组中参数的数量。如果权重存储为32-比特浮点数，对于每一个区域中的每一组需要大约2.5 MB。给定3个组和324个区域，存在总共972个CNN回归模型，并且将它们的所有预加载到RAM需要2.39 GB，这是当今计算机可管理的。
训练：在一个有益的实现中，可以专门在合成的X-光图像上训练CNN回归模型，因为它们提供几乎不需要费力的手工标注的可靠的地面实况标签，并且真实X-光图像的数量可能是受限的。在一个示例性实现中，对于每一个区域中的每一组，生成25,000对和。参数遵循其中和约束于区域中的均匀分布。参数差同样遵循均匀分布，而三个不同范围用于三组，如以下表1所示。对于组1的的分布范围是回归量被设计用于的目标捕捉范围。对于组2，、和的分布范围减小，因为在应用第一组中的回归量后它们接近于零。由于相同原因，对于组3，和的范围中的分布减小。对于每一对和，生成合成X-光图像，并使用等式（9）计算LIR特征。
表 1
在训练期间要最小化的目标函数是Euclidean（欧几里德）损失，定义为：
, (15)
其中是训练样本的数量，是第i个训练样本的标签，是要学习的权重的向量，并且是第i个训练样本上以为参数的回归模型的输出。权重是使用随机梯度下降（SGD）学习的，其中块大小为64，m的动量=0.9，并且d的权重衰减=0.0001。对于的更新规则是：
, (16)
, (17)
其中是迭代索引，是动量变量，是第i次迭代的学习速率，并且是相对于的在处评估的在第i块上计算的目标函数的导数。以下是学习速率在每一次迭代中的衰减：
. (18)。
导数是使用反向传播计算的。对于在多条路径中共享的权重，分离地对所有路径中的它们的导数进行反向传播并且进行加和用于权重更新。可以使用Xavier方法对权重进行初始化，并可以针对多次迭代（例如12,500次迭代（32个时期））执行小-块SGD。
返回图3，在步骤314处，确定是否满足停止条件。例如，停止条件可以是预定数量的迭代，如图5的算法500中所示。备选地，停止条件可以是变换参数何时收敛，以使得在大多数最近更新中的变换参数的值的改变小于预定阈值。如果不满足停止条件，则方法返回步骤308，并以当前变换参数开始重复步骤308-314。当满足停止条件时，方法进行到步骤316。
在步骤316处，输出配准结果。具体地，输出最终变换参数，并且变换参数提供将3D医学图像配准到X-光图像的坐标系统的变换。然后，可以将来自3D医学图像的信息投影或加载到X-光图像上。例如，可以使用最终变换参数生成DDR，并且可以将DDR覆盖到X-光图像上，以在3D医学图像中提供比X-光图像中更可见或确定的器官或其他解剖结构的位置。所得到的融合图像可以在手术过程期间实时地显示在显示设备上。
可以对X-光图像序列中的每一个X-光图像实时地重复图3的方法。在这种情况下，对于所需的每一个X-光图像， 方法返回至步骤304，并且在步骤306中，在针对第一X-光图像执行了配准方法之后，可以将针对每一个X-光图像确定的最终变换参数用作针对每一个随后X-光图像的初始变换参数。
用于2D/3D医学图像配准的上述方法可以在使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其它部件的计算机上实现。这种计算机的高层框图在图8中示出。计算机802包含处理器804，处理器804通过执行定义这种操作的计算机程序指令来控制计算机802的整个操作。该计算机程序指令可以存储在存储设备812（例如，磁盘）中，并在需要执行计算机程序指令时加载到存储器810中。因此，图3和图5的方法的步骤可以由存储在存储器810和/或存储设备812中并通过执行计算机程序指令的处理器804控制的计算机程序指令来定义。图像获取设备820（诸如X-光图像获取设备、CT图像获取设备等）可以连接到计算机802，以向计算机802输入图像数据。将图像获取设备820和计算机802实现为一个设备是可能的。图像获取设备820和计算机802通过网络进行无线通信同样是可能的。在一个可能的实施例中，计算机802可以相对于图像获取设备820远程定位，并且本文中所描述的方法步骤可以作为服务器或基于云的服务的一部分来执行。在这种情况下，方法步骤可以在单个计算机上执行或分布在多个联网计算机之间。计算机802还包括用于经由网络与其他设备进行通信的一个或更多​​个网络接口806。计算机802还包括能够实现与计算机802的用户交互的其他输入/输出设备808（例如，显示器、键盘、鼠标、扬声器、按钮等）。这种输入/输出设备808可以结合计算机程序集合用作注释工具以注释从图像获取设备820接收的卷。本领域技术人员将认识到，实际的计算机的实现还可以包含其它组件，并且图8是用于示意性目的的这种计算机的一些组件的高层表示。
前面的具体实施方式应在每个方面理解为示意性的和示例性的，而不是限制性的，并且本文所公开的本发明的范围将不根据该具体实施方式来确定，而是根据权利要求（如按照由专利法所允许的整个宽度解释的）来确定。应当理解，本文所示出和描述的实施例仅图示了本发明的原理，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (25)

1.一种用于配准3D医学图像与2D X-光图像的方法，包括：
基于与根据所述3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数，确定参数空间区域；
基于针对所确定的参数空间区域提取的所述3D医学图像中的3D点集合，根据所述DRR和所述X-光图像的局部块，计算局部图像残差（LIR）特征；以及
使用针对所确定的参数空间区域训练的回归量的分层序列，基于所述LIR特征，计算更新的变换参数，其中所述回归量的分层序列包括多个回归量，所述多个回归量中的每一个计算针对所述变换参数的相应子集的更新。
2.根据权利要求1所述的方法，其中所述变换参数包括：两个面内转换变换参数、一个面外转换变换参数、两个面外旋转变换参数和一个面外转换变换参数。
3.根据权利要求2所述的方法，其中基于与根据所述3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数来确定参数空间区域包括：
基于所述两个面外旋转变换参数来确定所述参数空间区域。
4.根据权利要求3所述的方法，其中所述两个面外旋转变换参数的参数空间分割为预定数量的参数空间区域，每一个覆盖所述两个面外旋转变换参数的参数空间的预定区域。
5.根据权利要求2所述的方法，其中使用针对所确定的参数空间区域训练的回归量的分层序列基于所述LIR特征计算更新的变换参数包括：
使用针对所确定的参数空间区域训练的第一卷积神经网络（CNN）回归量，基于所述LIR特征，计算对所述面内转换变换参数和所述面内旋转变换参数的更新；
基于所述更新的面内转换变换参数和面内旋转变换参数，重新计算所述LIR特征；
使用针对所确定的参数空间区域训练的第二CNN回归量，基于所述LIR特征，计算对所述面外旋转变换参数的更新；
基于所述更新的面外转换变换参数，重新计算所述LIR特征；以及
使用针对所确定的参数空间区域训练的第三CNN回归量，基于所述LIR特征，计算对所述面外转换变换参数的更新。
6.根据权利要求1所述的方法，其中所述回归量的分层序列是所训练的卷积神经网络（CNN）回归量的分层序列。
7.根据权利要求1所述的方法，其中基于针对所确定的参数空间区域提取的所述3D医学图像中的3D点集合根据所述DRR和所述X-光图像的局部块来计算局部图像残差（LIR）特征包括：
针对所述3D点集合中的每一个3D点，基于针对3D确定的感兴趣的2D区域，提取DRR和X-光图像中对应的局部图像块；以及
通过从所述DRR中提取的对应的局部图像块中减去在所述X-光图像中提取的每一个局部图像块，计算所述LIR特征。
8.根据权利要求7所述的方法，其中针对所确定的参数空间区域提取的所述3D点集合包括与所述DRR中的2D边缘相对应的3D点。
9.根据权利要求7所述的方法，还包括：
通过以下各项提取针对所确定的参数空间区域的所述3D点：
通过对所述参数空间区域中心的2D DRR中具有高梯度幅度的像素设定阈值并将具有高梯度幅度的像素反向投影到所述3D医学图像中的对应3D结构，来生成针对所述参数空间区域的所述3D医学图像中的候选3D点；以及
过滤所述候选3D点，以选择具有对所述变换参数不变但对变换参数残差敏感的LIR特征值的候选3D点，并移除具有重叠感兴趣区域的候选3D点。
10.根据权利要求1所述的方法，还包括：
针对多次迭代重复确定所述参数空间区域、计算所述LIR特征并计算所述更新的变换参数。
11.根据权利要求1所述的方法，还包括：
以作为用于将所述3D医学图像配准到第二X-光图像的初始变换参数的计算用于将所述3D医学图像配准到X-光图像的所述更新变换参数开始，针对第二X-光图像，重复确定参数空间区域、计算LIR特征并计算更新的变换参数。
12.一种用于配准3D医学图像与2D X-光图像的装置，包括：
用于基于与根据所述3D医学图像生成的数字重建射线影像DRR相对应的变换参数来确定参数空间区域的装置；
用于基于针对所确定的参数空间区域提取的所述3D医学图像中的3D点集合根据所述DRR和所述X-光图像的局部块来计算局部图像残差（LIR）特征的装置；以及
用于使用针对所确定的参数空间区域训练的回归量的分层序列基于所述LIR特征来计算更新的变换参数的装置，其中所述回归量的分层序列包括多个回归量，所述多个回归量中的每一个计算针对所述变换参数的相应子集的更新。
13.根据权利要求12所述的装置，其中所述变换参数包括：两个面内转换变换参数、一个面外转换变换参数、两个面外旋转变换参数和一个面外转换变换参数。
14.根据权利要求13所述的装置，其中用于基于与根据所述3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数来确定参数空间区域的装置包括：
用于基于所述两个面外旋转变换参数来确定所述参数空间区域的装置。
15.根据权利要求14所述的装置，其中所述两个面外旋转变换参数的参数空间分割为预定数量的参数空间区域，每一个覆盖所述两个面外旋转变换参数的参数空间的预定区域。
16.根据权利要求13所述的装置，其中用于使用针对所确定的参数空间区域训练的回归量的分层序列基于所述LIR特征来计算更新的变换参数的装置包括：
用于使用针对所确定的参数空间区域训练的第一卷积神经网络（CNN）回归量基于所述LIR特征来计算对所述面内转换变换参数和所述面内旋转变换参数的更新的装置；
用于基于所述更新的面内转换变换参数和面内旋转变换参数来重新计算所述LIR特征的装置；
用于使用针对所确定的参数空间区域训练的第二CNN回归量基于所述LIR特征来计算对所述面外旋转变换参数的更新的装置；
用于基于所述更新的面外旋转变换参数来重新计算所述LIR特征的装置；以及
用于使用针对所确定的参数空间区域训练的第三CNN回归量基于所述LIR特征来计算对所述面外转换变换参数的更新的装置。
17.根据权利要求12所述的装置，其中所述回归量的分层序列是所训练的卷积神经网络（CNN）回归量的分层序列。
18.根据权利要求12所述的装置，其中用于基于针对所确定的参数空间区域提取的所述3D医学图像中的3D点集合根据所述DRR和所述X-光图像的局部块来计算局部图像残差（LIR）特征的装置包括：
用于针对所述3D点集合中的每一个3D点基于针对3D确定的感兴趣的2D区域来提取DRR和X-光图像中对应的局部图像块的装置；以及
用于通过从所述DRR中提取的对应的局部图像块中减去在所述X-光图像中提取的每一个局部图像块来计算所述LIR特征的装置。
19.一种非暂时性计算机可读介质，所述计算机可读介质存储用于配准3D医学图像与2D X-光图像的计算机程序指令，所述计算机程序指令当由处理器执行时使所述处理器执行包括以下各项的操作：
基于与根据所述3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数，确定参数空间区域；
基于针对所确定的参数空间区域提取的所述3D医学图像中的3D点集合，根据所述DRR和所述X-光图像的局部块，计算局部图像残差（LIR）特征；以及
使用针对所确定的参数空间区域训练的回归量的分层序列基于所述LIR特征来计算更新的变换参数，其中所述回归量的分层序列包括多个回归量，所述多个回归量中的每一个计算针对所述变换参数的相应子集的更新。
20.根据权利要求19所述的非暂时性计算机可读介质，其中所述变换参数包括：两个面内转换变换参数、一个面外转换变换参数、两个面外旋转变换参数和一个面外转换变换参数。
21.根据权利要求20所述的非暂时性计算机可读介质，其中基于与根据所述3D医学图像生成的数字重建射线影像（DRR）相对应的变换参数来确定参数空间区域包括：
基于所述两个面外旋转变换参数来确定所述参数空间区域。
22.根据权利要求21所述的非暂时性计算机可读介质，其中所述两个面外旋转变换参数的参数空间分割为预定数量的参数空间区域，每一个覆盖所述两个面外旋转变换参数的参数空间的预定区域。
23.根据权利要求20所述的非暂时性计算机可读介质，其中使用针对所确定的参数空间区域训练的回归量的分层序列基于所述LIR特征来计算更新的变换参数包括：
使用针对所确定的参数空间区域训练的第一卷积神经网络（CNN）回归量，基于所述LIR特征，计算对所述面内转换变换参数和所述面内旋转变换参数的更新；
基于所述更新的面内转换变换参数和面内旋转变换参数，重新计算所述LIR特征；
使用针对所确定的参数空间区域训练的第二CNN回归量，基于所述LIR特征，计算对所述面外旋转变换参数的更新；
基于所述更新的面外转换变换参数，重新计算所述LIR特征；以及
使用针对所确定的参数空间区域训练的第三CNN回归量，基于所述LIR特征，计算对所述面外转换变换参数的更新。
24.根据权利要求19所述的非暂时性计算机可读介质，其中所述回归量的分层序列是所训练的卷积神经网络（CNN）回归量的分层序列。
25.根据权利要求19所述的非暂时性计算机可读介质，其中基于针对所确定的参数空间区域提取的所述3D医学图像中的3D点集合根据所述DRR和所述X-光图像的局部块来计算局部图像残差（LIR）特征包括：
针对所述3D点集合中的每一个3D点，基于针对3D确定的感兴趣的2D区域，提取DRR和X-光图像中对应的局部图像块；以及
通过从所述DRR中提取的对应的局部图像块中减去在所述X-光图像中提取的每一个局部图像块，计算所述LIR特征。
CN201610581340.7A 2015-07-22 2016-07-22 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 Active CN106651750B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562195430P 2015-07-22 2015-07-22
US62/195430 2015-07-22
US201562215326P 2015-09-08 2015-09-08
US62/215326 2015-09-08
US15/207,033 US10235606B2 (en) 2015-07-22 2016-07-11 Method and system for convolutional neural network regression based 2D/3D image registration
US15/207033 2016-07-11

Publications (2)

Publication Number Publication Date
CN106651750A true CN106651750A (zh) 2017-05-10
CN106651750B CN106651750B (zh) 2020-05-19

Family

ID=56883505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610581340.7A Active CN106651750B (zh) 2015-07-22 2016-07-22 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统

Country Status (3)

Country Link
US (1) US10235606B2 (zh)
EP (1) EP3121789B1 (zh)
CN (1) CN106651750B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346430A (zh) * 2017-06-29 2017-11-14 济南浪潮高新科技投资发展有限公司 一种核磁共振图像自动筛选方法
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN107798697A (zh) * 2017-10-26 2018-03-13 中国科学院深圳先进技术研究院 一种基于卷积神经网络的医学图像配准方法、系统及电子设备
CN108038456A (zh) * 2017-12-19 2018-05-15 中科视拓（北京）科技有限公司 一种人脸识别系统中的防欺骗方法
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109350100A (zh) * 2018-09-27 2019-02-19 上海联影医疗科技有限公司 医学成像方法、医学成像设备以及计算机可读存储介质
CN109410289A (zh) * 2018-11-09 2019-03-01 中国科学院武汉物理与数学研究所 一种深度学习的高欠采样超极化气体肺部mri重建方法
CN109754369A (zh) * 2017-11-01 2019-05-14 西门子保健有限责任公司 确定图像数据集的坐标系之间的变换
CN110544274A (zh) * 2019-07-18 2019-12-06 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN110638479A (zh) * 2018-06-26 2020-01-03 西门子医疗有限公司 用于运行医学成像设备的方法和成像设备
CN110739059A (zh) * 2018-07-18 2020-01-31 西门子医疗有限公司 生成用于mrt序列的设定参数
CN111340682A (zh) * 2018-12-19 2020-06-26 通用电气公司 利用深度神经网络将医学图像转换为不同样式图像的方法和系统
CN111340859A (zh) * 2018-12-19 2020-06-26 西门子医疗有限公司 用于图像配准的方法、学习装置和医学成像装置
CN112308764A (zh) * 2020-10-12 2021-02-02 杭州三坛医疗科技有限公司 图像配准方法及装置
CN112561972A (zh) * 2020-12-29 2021-03-26 上海应用技术大学 医学图像配准方法
CN112614169A (zh) * 2020-12-24 2021-04-06 电子科技大学 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN112689843A (zh) * 2018-07-12 2021-04-20 菲力尔商业系统公司 闭环自动数据集创建系统和方法
CN112884820A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像初始配准及神经网络的训练方法、装置和设备
CN115830020A (zh) * 2023-02-14 2023-03-21 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质
CN115984251A (zh) * 2023-02-14 2023-04-18 成都泰莱生物科技有限公司 基于肺部ct与多基因甲基化的肺结节分类方法及产品

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US9892344B1 (en) 2015-11-30 2018-02-13 A9.Com, Inc. Activation layers for deep learning networks
US20170337682A1 (en) 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10235771B2 (en) * 2016-11-11 2019-03-19 Qualcomm Incorporated Methods and systems of performing object pose estimation
DE102017205113A1 (de) * 2017-03-27 2018-09-27 Siemens Aktiengesellschaft Ermitteln der Pose einer Röntgeneinheit relativ zu einem Objekt anhand eines digitalen Modells des Objekts
CN107123137B (zh) * 2017-04-28 2020-05-22 上海联影医疗科技有限公司 医学图像处理方法及设备
CN108805261B (zh) 2017-04-28 2021-11-12 微软技术许可有限责任公司 基于八叉树的卷积神经网络
WO2018232388A1 (en) * 2017-06-16 2018-12-20 Rensselaer Polytechnic Institute Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks
CN107665492B (zh) * 2017-06-29 2020-11-10 南京信息工程大学 基于深度网络的结直肠全景数字病理图像组织分割方法
KR102581685B1 (ko) 2017-06-30 2023-09-25 프로메이톤 홀딩 비.브이. 딥 러닝을 이용한 3d 구강 악안면 구조의 분류 및 3d 모델링
US10818019B2 (en) 2017-08-14 2020-10-27 Siemens Healthcare Gmbh Dilated fully convolutional network for multi-agent 2D/3D medical image registration
EP3673457B1 (en) * 2017-08-24 2023-12-13 Agfa Nv A method of generating an enhanced tomographic image of an object
US10679384B2 (en) 2017-09-29 2020-06-09 General Electric Company Systems and methods for deep learning-based image reconstruction
EP3462373A1 (en) 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US11126914B2 (en) * 2017-10-11 2021-09-21 General Electric Company Image generation using machine learning
CN111542268B (zh) * 2017-12-05 2023-08-04 美国西门子医疗系统股份有限公司 改进的基于多焦点非平行准直器的成像
EP3503038A1 (en) 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods
US10489943B2 (en) 2018-02-28 2019-11-26 General Electric Company System and method for sparse image reconstruction
EP3561778A1 (en) 2018-04-26 2019-10-30 Promaton Holding B.V. Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
CN108846829B (zh) * 2018-05-23 2021-03-23 平安科技（深圳）有限公司 病变部位识别装置、计算机装置及可读存储介质
CN109190649B (zh) * 2018-07-02 2021-10-01 北京陌上花科技有限公司 一种深度学习网络模型服务器的优化方法和装置
EP3591616A1 (en) 2018-07-03 2020-01-08 Promaton Holding B.V. Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning
US20200019968A1 (en) * 2018-07-11 2020-01-16 Capital One Services, Llc System and method for authenticating transactions from a mobile device
CN109064502B (zh) * 2018-07-11 2021-10-22 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
KR102615196B1 (ko) 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10929708B2 (en) 2018-12-10 2021-02-23 International Business Machines Corporation Deep learning network for salient region identification in images
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
CN109754414A (zh) * 2018-12-27 2019-05-14 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11227418B2 (en) * 2018-12-28 2022-01-18 General Electric Company Systems and methods for deep learning-based image reconstruction
US11557107B2 (en) 2019-01-02 2023-01-17 Bank Of America Corporation Intelligent recognition and extraction of numerical data from non-numerical graphical representations
CN109978863B (zh) * 2019-03-27 2021-10-08 北京青燕祥云科技有限公司 基于x射线图像的目标检测方法及计算机设备
CN109961435B (zh) * 2019-04-02 2022-02-22 上海联影医疗科技股份有限公司 脑图像获取方法、装置、设备及存储介质
DE102019109789A1 (de) 2019-04-12 2020-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Computerprogramm zum zeitaufgelösten Berechnen einer Deformation eines Körpers
KR102170176B1 (ko) * 2019-05-17 2020-10-26 충남대학교병원 가상 패치 생성 모델의 학습 방법, 및 이를 이용한 전산화단층촬영 영상 잡음 보정 장치 및 방법
JP7313192B2 (ja) 2019-05-27 2023-07-24 キヤノンメディカルシステムズ株式会社 診断支援装置、及び、ｘ線ｃｔ装置
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
DE102019212929A1 (de) * 2019-08-28 2021-03-04 Friedrich-Alexander-Universität Erlangen-Nürnberg Registrieren eines 2D Bildes mit einem 3D Bild
US11389127B2 (en) * 2019-09-30 2022-07-19 Siemens Healthcare Gmbh Spectral CT-based 511 KeV for positron emission tomography
US11424037B2 (en) 2019-11-22 2022-08-23 International Business Machines Corporation Disease simulation in medical images
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
FR3110744B1 (fr) 2020-05-20 2023-07-28 Therenva Procédé et système de recalage d’images contenant des structures anatomiques
CN111709976B (zh) * 2020-08-24 2020-11-06 湖南国科智瞳科技有限公司 一种显微图像的快速配准方法、系统及计算机设备
CN113160289B (zh) * 2021-03-31 2022-02-01 哈尔滨工业大学（深圳） 一种基于深度学习的工业印刷品图像配准方法及装置
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20230079164A1 (en) * 2021-09-15 2023-03-16 Shanghai United Imaging Intelligence Co., Ltd. Image registration
US11941827B2 (en) * 2021-10-19 2024-03-26 Datalogic Ip Tech S.R.L. System and method of 3D point cloud registration with multiple 2D images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005024721A2 (en) * 2003-08-29 2005-03-17 Accuray, Inc. 2d/3d image registration in image-guided radiosurgery
CN101903908A (zh) * 2007-12-18 2010-12-01 皇家飞利浦电子股份有限公司 基于特征的2d/3d图像配准
US20120039519A1 (en) * 2007-05-09 2012-02-16 Case Western Reserve University Systems and methods for generating images for identifying diseases
US20130023651A1 (en) * 2002-06-14 2013-01-24 Robb Krumlauf Peptides for treatment and diagnosis of bone diseases

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017204494B2 (en) * 2016-09-01 2019-06-13 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and non-transitory storage medium having stored therein program
US9928432B1 (en) * 2016-09-14 2018-03-27 Nauto Global Limited Systems and methods for near-crash determination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130023651A1 (en) * 2002-06-14 2013-01-24 Robb Krumlauf Peptides for treatment and diagnosis of bone diseases
WO2005024721A2 (en) * 2003-08-29 2005-03-17 Accuray, Inc. 2d/3d image registration in image-guided radiosurgery
US20120039519A1 (en) * 2007-05-09 2012-02-16 Case Western Reserve University Systems and methods for generating images for identifying diseases
CN101903908A (zh) * 2007-12-18 2010-12-01 皇家飞利浦电子股份有限公司 基于特征的2d/3d图像配准

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346430A (zh) * 2017-06-29 2017-11-14 济南浪潮高新科技投资发展有限公司 一种核磁共振图像自动筛选方法
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN107507234B (zh) * 2017-08-29 2019-11-01 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN107798697A (zh) * 2017-10-26 2018-03-13 中国科学院深圳先进技术研究院 一种基于卷积神经网络的医学图像配准方法、系统及电子设备
CN109754369A (zh) * 2017-11-01 2019-05-14 西门子保健有限责任公司 确定图像数据集的坐标系之间的变换
CN108038456B (zh) * 2017-12-19 2024-01-26 中科视拓（北京）科技有限公司 一种人脸识别系统中的防欺骗方法
CN108038456A (zh) * 2017-12-19 2018-05-15 中科视拓（北京）科技有限公司 一种人脸识别系统中的防欺骗方法
CN110638479A (zh) * 2018-06-26 2020-01-03 西门子医疗有限公司 用于运行医学成像设备的方法和成像设备
CN112689843B (zh) * 2018-07-12 2023-11-17 泰立戴恩菲力尔商业系统公司 闭环自动数据集创建系统和方法
CN112689843A (zh) * 2018-07-12 2021-04-20 菲力尔商业系统公司 闭环自动数据集创建系统和方法
CN110739059A (zh) * 2018-07-18 2020-01-31 西门子医疗有限公司 生成用于mrt序列的设定参数
CN110739059B (zh) * 2018-07-18 2024-04-09 西门子医疗有限公司 生成用于mrt序列的设定参数
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109035316B (zh) * 2018-08-28 2020-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109350100A (zh) * 2018-09-27 2019-02-19 上海联影医疗科技有限公司 医学成像方法、医学成像设备以及计算机可读存储介质
CN109410289A (zh) * 2018-11-09 2019-03-01 中国科学院武汉物理与数学研究所 一种深度学习的高欠采样超极化气体肺部mri重建方法
CN109410289B (zh) * 2018-11-09 2021-11-12 中国科学院精密测量科学与技术创新研究院 一种深度学习的高欠采样超极化气体肺部mri重建方法
CN111340859A (zh) * 2018-12-19 2020-06-26 西门子医疗有限公司 用于图像配准的方法、学习装置和医学成像装置
CN111340682A (zh) * 2018-12-19 2020-06-26 通用电气公司 利用深度神经网络将医学图像转换为不同样式图像的方法和系统
CN111340682B (zh) * 2018-12-19 2023-12-05 通用电气公司 利用深度神经网络将医学图像转换为不同样式图像的方法和系统
CN111340859B (zh) * 2018-12-19 2023-09-01 西门子医疗有限公司 用于图像配准的方法、学习装置和医学成像装置
CN110544274B (zh) * 2019-07-18 2022-03-29 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN110544274A (zh) * 2019-07-18 2019-12-06 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN112884820A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像初始配准及神经网络的训练方法、装置和设备
CN112308764A (zh) * 2020-10-12 2021-02-02 杭州三坛医疗科技有限公司 图像配准方法及装置
CN112614169A (zh) * 2020-12-24 2021-04-06 电子科技大学 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN112614169B (zh) * 2020-12-24 2022-03-25 电子科技大学 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN112561972A (zh) * 2020-12-29 2021-03-26 上海应用技术大学 医学图像配准方法
CN112561972B (zh) * 2020-12-29 2024-04-16 上海应用技术大学 医学图像配准方法
CN115984251B (zh) * 2023-02-14 2023-05-09 成都泰莱生物科技有限公司 基于肺部ct与多基因甲基化的肺结节分类方法及产品
CN115984251A (zh) * 2023-02-14 2023-04-18 成都泰莱生物科技有限公司 基于肺部ct与多基因甲基化的肺结节分类方法及产品
CN115830020A (zh) * 2023-02-14 2023-03-21 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质

Also Published As

Publication number Publication date
EP3121789B1 (en) 2018-01-24
CN106651750B (zh) 2020-05-19
US10235606B2 (en) 2019-03-19
US20170024634A1 (en) 2017-01-26
EP3121789A1 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
CN106651750A (zh) 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
CN105592887B (zh) 使用3d信息作为输入来预测可实现的剂量分布
CN110050281A (zh) 学习图像中的对象的注释
CN110235175B (zh) 在线学习增强的基于图谱的自动分割
CN107077736A (zh) 依据基于解剖学界标的特征分割医学图像的系统和方法
US10275909B2 (en) Systems and methods for an integrated system for visualizing, simulating, modifying and 3D printing 3D objects
CN103229210A (zh) 图像配准装置
CN109635876A (zh) 为生理树结构生成解剖标签的计算机实现的方法、装置和介质
Teixeira et al. Generating synthetic x-ray images of a person from the surface geometry
CN112154342A (zh) 医学图像转换
CN103079467B (zh) 用于高级结构生成和编辑的机制
CN106127783A (zh) 一种基于深度学习的医疗影像识别系统
CN106462974A (zh) 用于分割图像的参数优化
CN107004259A (zh) 多对比度成像中的统计加权正则化
Pérez-García et al. Simulation of brain resection for cavity segmentation using self-supervised and semi-supervised learning
Bai et al. A proof-of-concept study of artificial intelligence–assisted contour editing
Balashova et al. 3D organ shape reconstruction from Topogram images
US20220284570A1 (en) System and methods for inferring thickness of anatomical classes of interest in two-dimensional medical images using deep neural networks
Pernes et al. Fitting of superquadrics for breast modelling by geometric distance minimization
Guha et al. A semiautomatic approach for segmentation of carotid vasculature from patients’ CTA images
Dong et al. Bayesian tractography using geometric shape priors
Wu et al. Heart motion tracking on cine MRI based on a deep Boltzmann machine-driven level set method
US11908047B2 (en) Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems
CN117495693B (zh) 用于内窥镜的图像融合方法、系统、介质及电子设备
CN108292530A (zh) 根据光学扫描进行胸壁估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180622

Address after: Erlangen, Germany

Applicant after: SIEMENS AG

Applicant after: The University of British Columbia

Address before: American Pennsylvania

Applicant before: American Siemens Medical Solutions Inc.

Applicant before: The University of British Columbia

GR01 Patent grant
GR01 Patent grant