CN112308764A - 图像配准方法及装置 - Google Patents
图像配准方法及装置 Download PDFInfo
- Publication number
- CN112308764A CN112308764A CN202011084835.1A CN202011084835A CN112308764A CN 112308764 A CN112308764 A CN 112308764A CN 202011084835 A CN202011084835 A CN 202011084835A CN 112308764 A CN112308764 A CN 112308764A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- medical image
- dimensional medical
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000013519 translation Methods 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了图像配准方法及装置。方法包括：将目标对象的二维医学图像输入预先训练的神经网络，以确定表征所述二维医学图像的投影方向的旋转参数；基于所述旋转参数对所述目标对象的三维医学图像进行投影处理，得到最大视野的二维数字重建影像；分别确定所述二维数字重建影像和所述二维医学图像中所述目标对象的投影区域；根据所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域确定所述三维医学图像相对于所述二维医学图像的平移参数，所述平移参数和所述旋转参数表征所述三维医学图像向所述二维医学图像配准的配准信息。降低了计算复杂度，加快了求解速度。
Description
技术领域
本发明涉及医学成像技术领域，特别涉及图像配准方法及装置。
背景技术
在图像引导治疗(Image Guided Therapy，IGT)，例如脊柱手术过程中，通过将患者的2D(二维)X光片图像与患者的3D(三维)医学图像进行配准来完成手术过程中的引导跟踪。
目前，2D/3D配准算法一般是基于搜索策略，通过改变DRR(DigitallyReconstructed Radiograph，数字重建影像)算法的图像配准参数，从3D医学图像中获得DRR图像，并建立DRR图像与X光片的相似度度量(如互信息等)，根据相似度度量对图像配准参数进行调整，直到得到一组最佳的参数，作为最终配准结果。该方式需要频繁使用DRR算法生成待匹配的DRR图像，会耗费大量的时间，很难满足实时性要求。
发明内容
有鉴于此，本发明提供一种图像配准方法及装置。
具体地，本发明是通过如下技术方案实现的：
第一方面，提供一种图像配准方法，包括：
将目标对象的二维医学图像输入预先训练的神经网络，以确定表征所述二维医学图像的投影方向的旋转参数；
基于所述旋转参数对所述目标对象的三维医学图像进行投影处理，得到最大视野的二维数字重建影像；
分别确定所述二维数字重建影像和所述二维医学图像中所述目标对象的投影区域；
根据所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域确定所述三维医学图像相对于所述二维医学图像的平移参数，所述平移参数和所述旋转参数表征所述三维医学图像向所述二维医学图像配准的配准信息。
可选地，确定所述二维数字重建影像中所述目标对象的投影区域，包括：
对所述二维数字重建影像进行固定阈值的二值化处理，得到第一二值化图像；
对所述二维数字重建影像进行自适应阈值的二值化处理，得到第二二值化图像；
根据所述第一二值化图像和所述第二二值化图像确定所述投影区域。
可选地，确定所述二维医学图像中所述目标对象的投影区域，包括：
对所述二维医学图像进行固定阈值的二值化处理，得到第三二值化图像；
对所述二维医学图像进行自适应阈值的二值化处理，得到第四二值化图像；
根据所述第三二值化图像和所述第四二值化图像确定所述投影区域。
可选地，对所述二维数字重建影像或所述二维医学图像进行二值化处理之前，还包括：
对所述二维数字重建影像或所述二维医学图像进行直方图均衡化处理；
对经过直方图均衡化处理的所述二维数字重建影像或所述二维医学图像进行高斯滤波处理，以根据经过高斯滤波处理的二维数字重建影像或二维医学图像进行二值化处理。
可选地，确定所述三维医学图像相对于所述二维医学图像的平移参数，包括：
对所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域进行模板匹配；
根据模板匹配结果确定所述平移参数。
可选地，所述二维数字重建影像与所述二维医学图像具有相同的间距高度比。
第二方面，提供一种图像配准装置，包括：
输入模块，用于将目标对象的二维医学图像输入预先训练的神经网络，以确定表征所述二维医学图像的投影方向的旋转参数；
投影模块，用于基于所述旋转参数对所述目标对象的三维医学图像进行投影处理，得到最大视野的二维数字重建影像；
确定模块，用于分别确定所述二维数字重建影像和所述二维医学图像中所述目标对象的投影区域；
所述确定模块，还用于根据所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域确定所述三维医学图像相对于所述二维医学图像的平移参数，所述平移参数和所述旋转参数表征所述三维医学图像向所述二维医学图像配准的配准信息。
可选地，所述确定模块包括：
第一二值化单元，用于对所述二维数字重建影像进行固定阈值的二值化处理，得到第一二值化图像；
第二二值化单元，用于对所述二维数字重建影像进行自适应阈值的二值化处理，得到第二二值化图像；
确定单元，用于根据所述第一二值化图像和所述第二二值化图像确定所述二维数字重建影像中的投影区域。
可选地，所述确定模块用于：
第一二值化单元，用于对所述二维医学图像进行固定阈值的二值化处理，得到第三二值化图像；
第二二值化单元，用于对所述二维医学图像进行自适应阈值的二值化处理，得到第四二值化图像；
确定单元，用于根据所述第三二值化图像和所述第四二值化图像确定所述二维医学图像中的投影区域。
可选地，还包括：
均衡化处理模块，用于对所述二维数字重建影像或所述二维医学图像进行直方图均衡化处理；
滤波模块，用于对经过直方图均衡化处理的所述二维数字重建影像或所述二维医学图像进行高斯滤波处理，以根据经过高斯滤波处理的二维数字重建影像或二维医学图像进行二值化处理。
可选地，所述确定模块，包括：
匹配单元，用于对所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域进行模板匹配，并根据模板匹配结果确定所述平移参数。
第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的图像配准装方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的图像配准装方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例进行图像配准的过程中，将参数解耦成求解旋转参数及平移参数两个过程，使用一次DRR投影，即可完成粗配准，相较于相关技术的穷举搜索、联合求解参数的方式，降低了计算复杂度，加快了求解速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明一示例性实施例示出的一种图像配准方法的流程图；
图2是本发明一示例性实施例示出的一种确定二维数字重建影像中目标对象的投影区域的流程图；
图3是本发明一示例性实施例示出的一种确定二维医学图像中目标对象的投影区域的流程图；
图4是本发明一示例性实施例示出的一种图像配准装置的模块示意图；
图5是本发明一示例实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
2D/3D医学图像配准，也即将一幅图像置于固定的空间坐标系下，例如将2D医学图像置于XY坐标系下，对3D医学图像做一系列的空间变换，使3D医学图像上的点，或者至少是感兴趣区域的点与2D医学图像进行空间对齐，将3D医学图像从X’Y’Z’坐标系变换至XY坐标系下的空间变换关系可以由三个平移参数(Δx，Δy，Δz)和3个旋转参数(Δθx，Δθy，Δθz)定义。
一般来讲，图像配准过程分为两个阶段实施，第一个阶段为粗配准阶段，即粗略进行部位对准，确定3D医学图像向2D医学图像配准的配准信息(平移参数和旋转参数)；第二个阶段为精配准阶段，优化初始配准参数使得配准效果达到最优。精配准处理的效果优劣，较大程度依赖粗配准的精确度。如果粗配准未能提供较好的初始配准参数估计，精配准将会陷入到某一局部最优解中，无法生成期望的结果，造成配准失败。
图1是本发明一示例性实施例示出的一种图像配准方法的流程图，适用于粗配准阶段，参见图1，方法可以包括以下步骤：
步骤101、将目标对象的二维医学图像输入预先训练的神经网络，以确定表征二维医学图像的投影方向的旋转参数。
其中，目标对象为病患的病变部位，例如可以是病变的脊柱。二维医学图像可以是手术过程中获取的X光片图像。
该神经网络用于确定二维医学图像的投影方向的旋转参数。神经网络采用大量训练样本训练得到，训练样本为来自不同病人的X光片图像，作为训练样本的X光片图像标记有其投影方向的旋转参数。
关于训练样本的标记，由于实际手术过程中，病患的姿势相对固定，一般可大体认为分两类，趴在手术床上，或者侧躺在手术床上，根据目标对象在二维医学图像中的成像姿态可以确定三个旋转参数中的至少两个，剩余一个旋转参数可以在90°、0°、-90°之间选择。
在神经网络的训练过程中，可以但不限于将训练样本按照9：1划化分为训练集和验证集。将训练集中的样本依次输入神经网络，根据神经网络的输出结果与对应样本的样本标记对神经网络的参数进行调整。其中，模型训练的损失函数可以但不限于采用交叉熵损失函数。模型训练的过程中还可以采用验证集进行早停(early stopping)，训练完成的神经网络即可用于二维医学图像的旋转参数。
步骤102、基于旋转参数对目标对象的三维医学图像进行投影处理，得到最大视野的二维数字重建影像。
其中，三维医学图例如可以是CT(电子计算机断层扫描)图像、MRI(磁共振)图像、PET(正电子发射断层扫描)图像等。
步骤102中，基于旋转参数对三维医学图像进行全局投影，不同于相关技术中只投影一个与二维医学图像同样窗口大小的图像，本实施例中使用的DRR算法，会对三维医学图像在二维医学图像的投影方向下进行最大视野的投影处理。投影处理的过程中，实际需要使用四个参数来进行全局投影，包括3个旋转参数(Δθx，Δθy，Δθz)和deltaZ；其中，deltaZ可以由二维医学图像的SHR(Spacing Height Ratio，间距高度比)直接给定，得到全局的二维数字重建影像(DRR图像)。
为了下述步骤中，能够在二维数字重建影像中找到一个与二维医学图像最为相似的位置，实现图像配准，该二维数字重建影像的SHR需与二维医学图像相同。
步骤103、分别确定二维数字重建影像和二维医学图像中目标对象的投影区域。
图2是本发明一示例性实施例示出的一种确定二维数字重建影像中目标对象的投影区域的流程图，可以包括以下步骤：
步骤103-1a、对二维数字重建影像进行固定阈值的二值化处理，得到第一二值化图像。
其中，固定阈值的设置与目标对象相关。以目标对象为骨骼为例，需要确定骨骼在二维数字重建影像中的投影区域，骨骼在CT图像中成像的灰度值大于150，可以将固定阈值设置为200，对于二维数字重建影像中的各个像素点，若像素点的灰度值小于200，则将该像素点的像素值替换为0；若像素点的灰度值大于等于200，则将该像素点的像素值替换为255，从而对二维数字重建影像中的目标对象的投影区域与其他区域进行区别，初步确定二维数字重建影像中的骨骼轮廓。
在一个实施例中，步骤103-1a之前，还可以对二维数字重建影像进行直方图均衡化处理，以使得二维数字重建影像的图像颜色均匀分布，确保步骤103-1a中固定阈值二值化的处理效果，使结果更具鲁棒性。
为了避免图像的高频噪声对二值化结果产生过大影响，还可对经过直方图均衡化处理的二维数字重建影像进行高斯滤波处理，实现对图像的平滑操作，步骤103-1a中则根据经过高斯滤波处理的二维数字重建影像进行二值化处理。其中，高斯滤波处理采用的卷积核大小可以但不限于为5*5像素大小。
由于原始存储的三维医学图像，例如CT图像数据是浮点类型的数据，根据浮点类型的CT图像数据得到的二维数字重建影像也为浮点类型，对二维数字重建影像进行直方图均衡化处理之前，可以先将二维数字重建影像的像素值离散化到0-255，并对经过离散化处理的二维数字重建影像进行直方图均衡化处理，以提高后续图像处理的速度。当然，在获取二维数字重建影像之前，也可以先将三维医学图像的像素值离散化到0-255，并对经过离散化处理的三维医学图像进行投影处理。
步骤103-2a、对二维数字重建影像进行自适应阈值的二值化处理，得到第二二值化图像。
步骤103-2a中的二维数字重建影像也可以是经过直方图均衡化处理以及高斯滤波处理的图像，步骤103-2a中则对经上述处理的二维数字重建影像进行自适应阈值的二值化处理，通过二维数字重建影像的局部区域特征自适应的设定阈值，做出二值化处理，局部区域的尺寸可以但不限于为35*35像素。
步骤103-3a、根据第一二值化图像和第二二值化图像确定二维数字重建影像中目标对象的投影区域。
步骤103-3a也即将第一二值化图像与第二二值化图像进行乘运算，得到二维数字重建影像中目标对象的投影区域，也即目标对象轮廓。
本实施例中，固定阈值可以使用全图的信息进行二值化，自适应阈值可以更好的进行局部的二值化，前者保证整体的二值化效果以去除大部分非骨骼(目标对象)部分，而后者用来处理骨骼间的细节，结合两者的优势可以很好的提取二维数字重建影像中的骨骼轮廓。
图3是本发明一示例性实施例示出的一种确定二维医学图像中目标对象的投影区域的流程图，可以包括以下步骤：
步骤103-1b、对二维医学图像进行固定阈值的二值化处理，得到第三二值化图像。
其中，固定阈值的设置与目标对象相关。以目标对象为骨骼为例，需要确定骨骼在二维医学图像中的投影区域，骨骼在CT图像中成像的灰度值大于150，可以将固定阈值设置为200，对于二维医学图像中的各个像素点，若像素点的灰度值小于200，则将该像素点的像素值替换为0；若像素点的灰度值大于等于200，则将该像素点的像素值替换为255，从而初步确定二维医学图像中的骨骼轮廓。
在一个实施例中，步骤103-1b之前，还可以对二维医学图像进行直方图均衡化处理，以使得二维医学图像的图像颜色均匀分布，确保步骤103-1b中固定阈值二值化的处理效果，使结果更具鲁棒性。
为了避免图像的高频噪声对二值化结果产生过大影响，还可对经过直方图均衡化处理的二维医学图像进行高斯滤波处理，实现对图像的平滑操作，步骤103-1b中则根据经过高斯滤波处理的二维医学图像进行二值化处理。其中，高斯滤波处理采用的卷积核大小可以但不限于为5*5像素大小。
由于原始存储的二维医学图像，例如X光片图像数据是浮点类型的数据，对X光片图像进行直方图均衡化处理之前，可以先将X光片图像的像素值离散化到0-255，并对经过离散化处理的X光片图像进行直方图均衡化处理，以提高图像处理的速度。
步骤103-2b、对二维医学图像进行自适应阈值的二值化处理，得到第四二值化图像。
步骤103-2b中的二维医学图像也可以是经过直方图均衡化处理以及高斯滤波处理的图像，步骤103-2b中则对经上述处理的二维医学图像进行自适应阈值的二值化处理，通过二维医学图像的局部区域特征自适应的设定阈值，做出二值化处理，局部区域的尺寸可以但不限于为35*35像素大小。
步骤103-3b、根据第三二值化图像和第四二值化图像确定二维医学图像中目标对象的投影区域。
步骤103-3b也即将第三二值化图像与第四二值化图像进行乘运算，得到二维医学图像中目标对象的投影区域，也即目标对象轮廓。
本实施例中，固定阈值可以使用全图的信息进行二值化，自适应阈值可以更好的进行局部的二值化，前者保证整体的二值化效果以去除大部分非骨骼(目标对象)部分，而后者用来处理骨骼间的细节，结合两者的优势可以很好的提取二维医学图像中的骨骼轮廓。
步骤104、根据二维数字重建影像中的投影区域与二维医学图像中的投影区域确定三维医学图像相对于二维医学图像的平移参数。
确定三维医学图像相对于二维医学图像的平移参数时，可以采用模板匹配算法，将二维医学图像中目标对象的投影区域E1作为模板，以二维数字重建影像中目标对象的投影区域E2作为待配准图像区域，将投影区域E1在投影区域E2上滑动，滑动步长可以根据实际需求自行设置，例如设置为1个像素，投影区域E1每在投影区域E2上移动一次，计算一次投影区域E1与投影区域E2的相似度，根据相似度为最大值时，投影区域E1与投影区域E2的相对位置确定平移参数。
使用模板匹配算法可以快速得到投影区域E1与投影区域E2的最佳匹配位置，确定平移参数中的至少两项，剩余一项平移参数可以在确保二维数字重建影像的SHR始终与二维医学图像的SHR保持一致的情况下，根据上述至少两项平移参数确定。
其中，投影区域E1与投影区域E2的相似度量可以但不限于采用NCC(Normalization cross correlation，归一化的交叉相关系数)。
步骤101确定的旋转参数以及步骤104确定的平移参数可以表征三维医学图像向二维医学图像配准的配准信息，该配准信息为粗配准阶段的配准信息，用于给精配准阶段提供参考。
本发明实施例，进行图像配准的过程中，将参数解耦成求解旋转参数及平移参数两个过程，使用一次DRR投影，即可完成粗配准，相较于相关技术的穷举搜索、联合求解参数的方式，降低了计算复杂度，加快了求解速度。
与前述图像配准方法实施例相对应，本发明还提供了图像配准装置的实施例。
图4是本发明一示例性实施例示出的一种图像配准装置的模块示意图，可以包括：
输入模块41，用于将目标对象的二维医学图像输入预先训练的神经网络，以确定表征所述二维医学图像的投影方向的旋转参数；
投影模块42，用于基于所述旋转参数对所述目标对象的三维医学图像进行投影处理，得到最大视野的二维数字重建影像；
确定模块43，用于分别确定所述二维数字重建影像和所述二维医学图像中所述目标对象的投影区域；
所述确定模块43，还用于根据所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域确定所述三维医学图像相对于所述二维医学图像的平移参数，所述平移参数和所述旋转参数表征所述三维医学图像向所述二维医学图像配准的配准信息。
可选地，所述确定模块包括：
第一二值化单元，用于对所述二维数字重建影像进行固定阈值的二值化处理，得到第一二值化图像；
第二二值化单元，用于对所述二维数字重建影像进行自适应阈值的二值化处理，得到第二二值化图像；
确定单元，用于根据所述第一二值化图像和所述第二二值化图像确定所述二维数字重建影像中的投影区域。
可选地，所述确定模块用于：
第一二值化单元，用于对所述二维医学图像进行固定阈值的二值化处理，得到第三二值化图像；
第二二值化单元，用于对所述二维医学图像进行自适应阈值的二值化处理，得到第四二值化图像；
确定单元，用于根据所述第三二值化图像和所述第四二值化图像确定所述二维医学图像中的投影区域。
可选地，还包括：
均衡化处理模块，用于对所述二维数字重建影像或所述二维医学图像进行直方图均衡化处理；
滤波模块，用于对经过直方图均衡化处理的所述二维数字重建影像或所述二维医学图像进行高斯滤波处理，以根据经过高斯滤波处理的二维数字重建影像或二维医学图像进行二值化处理。
可选地，所述确定模块，包括：
匹配单元，用于对所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域进行模板匹配，并根据模板匹配结果确定所述平移参数。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
图5是本发明一示例实施例示出的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备50的框图。图5显示的电子设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备50可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备50的组件可以包括但不限于：上述至少一个处理器51、上述至少一个存储器52、连接不同系统组件(包括存储器52和处理器51)的总线53。
总线53包括数据总线、地址总线和控制总线。
存储器52可以包括易失性存储器，例如随机存取存储器(RAM)521和/或高速缓存存储器522，还可以进一步包括只读存储器(ROM)523。
存储器52还可以包括具有一组(至少一个)程序模块524的程序工具525(或实用工具)，这样的程序模块524包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器51通过运行存储在存储器52中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。
电子设备50也可以与一个或多个外部设备54(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口55进行。并且，模型生成的电子设备50还可以通过网络适配器56与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器56通过总线53与模型生成的电子设备50的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所提供的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (13)
1.一种图像配准方法，其特征在于，包括：
将目标对象的二维医学图像输入预先训练的神经网络，以确定表征所述二维医学图像的投影方向的旋转参数；
基于所述旋转参数对所述目标对象的三维医学图像进行投影处理，得到最大视野的二维数字重建影像；
分别确定所述二维数字重建影像和所述二维医学图像中所述目标对象的投影区域；
根据所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域确定所述三维医学图像相对于所述二维医学图像的平移参数，所述平移参数和所述旋转参数表征所述三维医学图像向所述二维医学图像配准的配准信息。
2.根据权利要求1所述的图像配准方法，其特征在于，确定所述二维数字重建影像中所述目标对象的投影区域，包括：
对所述二维数字重建影像进行固定阈值的二值化处理，得到第一二值化图像；
对所述二维数字重建影像进行自适应阈值的二值化处理，得到第二二值化图像；
根据所述第一二值化图像和所述第二二值化图像确定所述投影区域。
3.根据权利要求1所述的图像配准方法，其特征在于，确定所述二维医学图像中所述目标对象的投影区域，包括：
对所述二维医学图像进行固定阈值的二值化处理，得到第三二值化图像；
对所述二维医学图像进行自适应阈值的二值化处理，得到第四二值化图像；
根据所述第三二值化图像和所述第四二值化图像确定所述投影区域。
4.根据权利要求2或3所述的图像配准方法，其特征在于，对所述二维数字重建影像或所述二维医学图像进行二值化处理之前，还包括：
对所述二维数字重建影像或所述二维医学图像进行直方图均衡化处理；
对经过直方图均衡化处理的所述二维数字重建影像或所述二维医学图像进行高斯滤波处理，以根据经过高斯滤波处理的二维数字重建影像或二维医学图像进行二值化处理。
5.根据权利要求1所述的图像配准方法，其特征在于，确定所述三维医学图像相对于所述二维医学图像的平移参数，包括：
对所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域进行模板匹配；
根据模板匹配结果确定所述平移参数。
6.根据权利要求1所述的图像配准方法，其特征在于，所述二维数字重建影像与所述二维医学图像具有相同的间距高度比。
7.一种图像配准装置，其特征在于，包括：
输入模块，用于将目标对象的二维医学图像输入预先训练的神经网络，以确定表征所述二维医学图像的投影方向的旋转参数；
投影模块，用于基于所述旋转参数对所述目标对象的三维医学图像进行投影处理，得到最大视野的二维数字重建影像；
确定模块，用于分别确定所述二维数字重建影像和所述二维医学图像中所述目标对象的投影区域；
所述确定模块，还用于根据所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域确定所述三维医学图像相对于所述二维医学图像的平移参数，所述平移参数和所述旋转参数表征所述三维医学图像向所述二维医学图像配准的配准信息。
8.根据权利要求7所述的图像配准装置，其特征在于，所述确定模块包括：
第一二值化单元，用于对所述二维数字重建影像进行固定阈值的二值化处理，得到第一二值化图像；
第二二值化单元，用于对所述二维数字重建影像进行自适应阈值的二值化处理，得到第二二值化图像；
确定单元，用于根据所述第一二值化图像和所述第二二值化图像确定所述二维数字重建影像中的投影区域。
9.根据权利要求7所述的图像配准装置，其特征在于，所述确定模块用于：
第一二值化单元，用于对所述二维医学图像进行固定阈值的二值化处理，得到第三二值化图像；
第二二值化单元，用于对所述二维医学图像进行自适应阈值的二值化处理，得到第四二值化图像；
确定单元，用于根据所述第三二值化图像和所述第四二值化图像确定所述二维医学图像中的投影区域。
10.根据权利要求8或9所述的图像配准装置，其特征在于，还包括：
均衡化处理模块，用于对所述二维数字重建影像或所述二维医学图像进行直方图均衡化处理；
滤波模块，用于对经过直方图均衡化处理的所述二维数字重建影像或所述二维医学图像进行高斯滤波处理，以根据经过高斯滤波处理的二维数字重建影像或二维医学图像进行二值化处理。
11.根据权利要求7所述的图像配准装置，其特征在于，所述确定模块，包括：
匹配单元，用于对所述二维数字重建影像中的投影区域与所述二维医学图像中的投影区域进行模板匹配，并根据模板匹配结果确定所述平移参数。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的图像配准装方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的图像配准装方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011084835.1A CN112308764A (zh) | 2020-10-12 | 2020-10-12 | 图像配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011084835.1A CN112308764A (zh) | 2020-10-12 | 2020-10-12 | 图像配准方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112308764A true CN112308764A (zh) | 2021-02-02 |
Family
ID=74489834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011084835.1A Pending CN112308764A (zh) | 2020-10-12 | 2020-10-12 | 图像配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308764A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554647A (zh) * | 2021-09-18 | 2021-10-26 | 浙江太美医疗科技股份有限公司 | 医学图像的配准方法和装置 |
| CN113808111A (zh) * | 2021-09-18 | 2021-12-17 | 广州幻境科技有限公司 | 一种医学影像的三维虚拟重构方法和系统 |
| CN115131487A (zh) * | 2022-07-22 | 2022-09-30 | 苏州微创畅行机器人有限公司 | 医学影像处理方法、系统、计算机设备、存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| US20180206812A1 (en) * | 2017-01-25 | 2018-07-26 | Raylytic GmbH | Method and system for measuring an x-ray image of an area undergoing medical examination |
| CN109754369A (zh) * | 2017-11-01 | 2019-05-14 | 西门子保健有限责任公司 | 确定图像数据集的坐标系之间的变换 |
| CN110291535A (zh) * | 2016-11-25 | 2019-09-27 | 康德斯弗洛股份有限公司 | 用于通过卷积神经网络创建医学图像数据库的方法和系统 |
| CN110321821A (zh) * | 2019-06-24 | 2019-10-11 | 深圳爱莫科技有限公司 | 基于三维投影的人脸对齐初始化方法及装置、存储介质 |
| CN110660123A (zh) * | 2018-06-29 | 2020-01-07 | 清华大学 | 基于神经网络的三维ct图像重建方法和设备以及存储介质 |
-
2020
- 2020-10-12 CN CN202011084835.1A patent/CN112308764A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| CN110291535A (zh) * | 2016-11-25 | 2019-09-27 | 康德斯弗洛股份有限公司 | 用于通过卷积神经网络创建医学图像数据库的方法和系统 |
| US20180206812A1 (en) * | 2017-01-25 | 2018-07-26 | Raylytic GmbH | Method and system for measuring an x-ray image of an area undergoing medical examination |
| CN109754369A (zh) * | 2017-11-01 | 2019-05-14 | 西门子保健有限责任公司 | 确定图像数据集的坐标系之间的变换 |
| CN110660123A (zh) * | 2018-06-29 | 2020-01-07 | 清华大学 | 基于神经网络的三维ct图像重建方法和设备以及存储介质 |
| CN110321821A (zh) * | 2019-06-24 | 2019-10-11 | 深圳爱莫科技有限公司 | 基于三维投影的人脸对齐初始化方法及装置、存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554647A (zh) * | 2021-09-18 | 2021-10-26 | 浙江太美医疗科技股份有限公司 | 医学图像的配准方法和装置 |
| CN113808111A (zh) * | 2021-09-18 | 2021-12-17 | 广州幻境科技有限公司 | 一种医学影像的三维虚拟重构方法和系统 |
| CN115131487A (zh) * | 2022-07-22 | 2022-09-30 | 苏州微创畅行机器人有限公司 | 医学影像处理方法、系统、计算机设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240119719A1 (en) | Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure | |
| CN112308764A (zh) | 图像配准方法及装置 | |
| EP2646979B1 (en) | Image registration apparatus | |
| EP1868157A1 (en) | Shape reconstruction using X-ray images | |
| CN112885453A (zh) | 用于标识后续医学图像中的病理变化的方法和系统 | |
| CN109124662B (zh) | 肋骨中心线检测装置及方法 | |
| US9135696B2 (en) | Implant pose determination in medical imaging | |
| Pei et al. | Non-rigid craniofacial 2D-3D registration using CNN-based regression | |
| Baka et al. | Statistical shape model-based femur kinematics from biplane fluoroscopy | |
| CN112509022A (zh) | 一种术前三维影像与术中透视图像的无标定物配准方法 | |
| CN113421226B (zh) | 基于互信息的ct-dr多模态食管图像配准方法及系统 | |
| US20240221190A1 (en) | Methods and systems for registration | |
| Rogelj et al. | Validation of a nonrigid registration algorithm for multimodal data | |
| Zheng et al. | Accurate and robust reconstruction of a surface model of the proximal femur from sparse-point data and a dense-point distribution model for surgical navigation | |
| Shao et al. | Automatic liver tumor localization using deep learning‐based liver boundary motion estimation and biomechanical modeling (DL‐Bio) | |
| CN111723836A (zh) | 图像相似度的计算方法及装置、电子设备、存储介质 | |
| CN116309647B (zh) | 颅脑病灶图像分割模型构建方法、图像分割方法及设备 | |
| Bansal et al. | Entropy-based dual-portal-to-3-DCT registration incorporating pixel correlation | |
| EP3433862A1 (en) | Binary tracking on medical images | |
| Schwab et al. | Multimodal medical image registration using particle swarm optimization with influence of the data's initial orientation | |
| Oulbacha et al. | MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms | |
| CN113554647B (zh) | 医学图像的配准方法和装置 | |
| Alvarez et al. | A multiresolution prostate representation for automatic segmentation in magnetic resonance images | |
| Klemencic et al. | Non-rigid registration based active appearance models for 3D medical image segmentation | |
| Wodzinski et al. | Application of demons image registration algorithms in resected breast cancer lodge localization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |