CN113689480A - 基于管状结构检测的三维us/mr配准融合方法及装置 - Google Patents
基于管状结构检测的三维us/mr配准融合方法及装置 Download PDFInfo
- Publication number
- CN113689480A CN113689480A CN202110971889.8A CN202110971889A CN113689480A CN 113689480 A CN113689480 A CN 113689480A CN 202110971889 A CN202110971889 A CN 202110971889A CN 113689480 A CN113689480 A CN 113689480A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- blood vessel
- registration
- vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 15
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000011524 similarity measure Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000002945 steepest descent method Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000004865 vascular response Effects 0.000 claims description 3
- 239000008280 blood Substances 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 210000004185 liver Anatomy 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000002604 ultrasonography Methods 0.000 description 10
- 230000002792 vascular Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000005469 synchrotron radiation Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
基于管状结构检测的三维US/MR配准融合方法及装置，能够将术中三维US图像与术前获取的三维磁共振图像进行融合显示，为医生提供更加直观全面的肝脏结构信息，为后续的诊疗提供重要的辅助。方法包括：(1)将经过不同尺度和方向的线结构元素处理后的三维US/MR图像表示为张量；(2)通过分析多尺度张量的特征值获得血管概率；(3)利用结合三维US/MR图像的局部信息和全局信息的新的活动轮廓模型，从血管概率图中提取血管边缘；(4)利用带回溯的最小路径传播算法提取血管中心线，通过血管分叉点及端点之间的刚性配准完成两幅图像的初始刚性配准；(5)将刚性配准后的血管作为标签和sMIND共同构建弹性配准相似性测度，完成三维US/MR的配准融合。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于管状结构检测的三维US/MR配准融合方法，以及基于管状结构检测的三维US/MR配准融合装置。
背景技术
超声图像(US)由于其特有的优点，广泛应用于临床手术导航过程中。然而，与磁共振图像(MR)相比，超声图像的主要缺点是图像质量相对较低，信噪比较低。磁共振图像是一种安全的成像协议，当用于临床诊断时，它能够提供比超声图像更多的解剖细节，但它的缺点是不能够实时成像。为使超声影像引导手术成为可能，将术中超声图像和术前高质量的磁共振图像进行配准融合是很重要。然而，直接将磁共振图像和超声图像进行配准在技术上是很困难的，因为超声和磁共振图像对人体组织器官成像清晰度及内容大不相同。
管状检测技术大多会采用管状结构等先验知识来对管状结构进行增强得到概率图。有人利用二阶强度导数的Hessian矩阵对血管的管状几何结构进行建模，以区分圆形结构，管状结构，和平面结构。但，由于在血管处滤波器的响应较低且特征值相似，使得该方法在血管相交处失败。因此，血管网络的连通性可能丢失。有人提出了一种新的基于体积比的增强滤波器来检测血管结构，该方法通过计算图像强度的多尺度Hessian特征值的比率，来处理低特征值和不同结构间的均匀响应。然而，由于Hessian矩阵仅代表图像的局部几何特征，当增强曲线结构时，其他管状结构(如软组织和噪声)也会得到增强。近年来，张量的利用促进了类血管结构的检测。相位一致性张量将相位一致性原理和局部张量相结合来增强血管结构，其特征值可以用来代替Hessian特征值以减少对局部图像对比度的依赖。分数各向异性张量通常测量不同血管结构的特征值的方差，并利用基于正则化Hessian特征值和多尺度连接重建策略来构建新的增强函数来检测血管结构。多尺度底帽张量将多尺度形态学滤波和图像中类血管结构的局部张量表示相结合，从而增强血管结构。与基于hessians的方法相比，基于张量的方法对图像中的强度和噪声变化不敏感，适用于较低强度和包含噪声的医学图像中血管结构的增强。
其它检测方法，例如主动轮廓模型，区域增长，模糊c均值纹理特征和水平集方法也被用于三维血管检测问题。与其它检测方法相比，活动轮廓模型由于可以在强度不均匀的医学图像中确定血管和周围组织之间的边界，因此，在处理血管检测问题上表现出良好的效果。目前已经提出了很多活动轮廓模型的方法来对血管进行检测，例如：有人提出了一种基于区域可缩放拟合的活动轮廓模型，该模型通过一个尺度参数引入了局部区域的强度信息。同样的，有人提出了一种局部图像拟合能量来提取局部图像信息，对强度不均匀的血管进行检测。有人提出了将区域可缩放拟合和优化的高斯拉普拉斯能量相结合的活动轮廓模型进行血管检测的算法。有人又提出了一种新的基于局部预拟合能量的快速血管检测的活动轮廓模型算法。这些活动轮廓模型方法提高了鲁棒性，能够有效地检测强度不均匀的图像，但计算效率低，并不能直接用于三维血管的检测。
近年来，深度卷积神经网络方法在血管检测领域取得了显着的进展。有人以监督的方式训练了一个基于混合2D-3D卷积滤波器的深度学习网络框架，来提高多光子显微镜血管分割的准确性。有人通过引入一种新的平衡交叉熵索引的DeepVesselNet-FCN，解决了一系列包括时间飞跃磁共振血管造影和同步辐射X射线断层显微数据集的血管造影数据上的3D血管检测问题。有人利用多类型的输入的三维全卷积网络(Fully ConvolutionalNetworks，FCN)来检测大脑图像中的血管与其周围组织。与上述提到的传统方法不同，这些FCN模型能够学习数据中的抽象特征。有人提出利用结构可变形神经网络实现特权图像模态来帮助目标模态的学习过程，并可以检测冠状动脉内图像中的血管边界。有人训练了2D和3D版本的U-Net、V-Net和DeepVesselNet网络，利用了一种新的基于比例的采样方法，从腹部增强计算机断层扫描中自动提取不同的动脉和静脉血管树。然而，深度学习技术依赖于大量的数据集，包括大量的训练数据和带注释的标签，但是很难获得大量的三维超声图像进行训练。因此，利用深度学习的方法检测三维超声血管效果并不是理想。因此，需要一个对数据和训练的要求较低的无监督的方法来完成三维超声血管检测的工作。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于管状结构检测的三维US/MR配准融合方法，其能够将术中三维US图像与术前获取的三维MR图像进行融合显示，为医生提供更加直观全面的肝脏结构信息，为后续的诊疗提供重要的辅助。
本发明的技术方案是：这种基于管状结构检测的三维US/MR配准融合方法，其包括以下步骤：
(1)将经过不同尺度和方向的线结构元素处理后的三维US/MR图像表示为张量；
(2)通过分析多尺度张量的特征值来获得血管概率；
(3)利用结合三维US/MR图像的局部信息和全局信息的新的活动轮廓模型，从血管概率图中提取血管边缘；
(4)基于血管检测的结果，利用带回溯的最小路径传播算法提取血管中心线，通过血管分叉点及端点之间的刚性配准完成两幅图像的初始刚性配准；
(5)将刚性配准后的血管作为标签和sMIND共同构建弹性配准相似性测度，完成三维US/MR图像的配准融合。
本发明将三维US/MR图像中的血管概率图利用三维基于多尺度底帽变化张量的方法提出出来，利用全局-局部活动轮廓模型的方法从血管概率图中提取血管边缘，在较少的时间复杂度下提高三维US/MR图像和中血管检测精度，而后，细化血管，提取血管中心线，基于交叉点和端点对三维US/MR图像进行初始刚性配准，使其在空间位置上一一对齐，最后，基于对齐后的血管，构建基于sMIND和血管检测结果的混合相似性测度，来对三维US/MR图像进行配准融合，因此能够将术中三维超声图像与术前获取的三维磁共振图像进行融合显示，为医生提供更加直观全面的肝脏结构信息，为后续的诊疗提供重要的辅助。
还提供了基于管状结构检测的三维US/MR配准融合装置，其包括：
张量表示模块，其配置来将经过不同尺度和方向的线结构元素处理后的三维US/MR图像表示为张量；
血管概率分析模块，其配置来通过分析多尺度张量的特征值来获得血管概率；
血管边缘提取模块，其配置来构建新的结合三维US/MR图像的局部信息和全局信息的新的活动轮廓模型，从血管概率图中快速且自动提取血管边缘；
刚性配准模块，其配置来利用带回溯的最小路径传播算法提取血管中心线，通过血管分叉点及端点之间的刚性配准完成两幅图像的初始刚性配准；
弹性配准模块，其配置将刚性配准后的血管作为标签和sMIND共同构建弹性配准相似性测度，完成三维US/MR图像的配准融合。
附图说明
图1示出了根据本发明的基于管状结构检测的三维US/MR配准融合方法的流程图。
具体实施方式
如图1所示，这种基于管状结构检测的三维US/MR配准融合方法，其包括以下步骤：
(1)将经过不同尺度和方向的线结构元素处理后的三维US/MR图像表示为张量；
(2)通过分析多尺度张量的特征值来获得血管概率；
(3)利用结合三维US/MR图像的局部信息和全局信息的新的活动轮廓模型，从血管概率图中提取血管边缘；
(4)基于血管检测的结果，利用带回溯的最小路径传播算法提取血管中心线，通过血管分叉点及端点之间的刚性配准完成两幅图像的初始刚性配准；
(5)将刚性配准后的血管作为标签和sMIND共同构建弹性配准相似性测度，完成三维US/MR图像的配准融合。
本发明将三维US/MR图像中的血管概率图利用三维基于多尺度底帽变化张量的方法提出出来，利用全局-局部活动轮廓模型的方法从血管概率图中提取血管边缘，在较少的时间复杂度下提高三维US/MR图像和中血管检测精度，而后，细化血管，提取血管中心线，基于交叉点和端点对三维US/MR图像进行初始刚性配准，使其在空间位置上一一对齐，最后，基于对齐后的血管，构建基于sMIND和血管检测结果的混合相似性测度，来对三维US/MR图像进行配准融合，因此能够将术中三维US图像与术前获取的三维MR图像进行融合显示，为医生提供更加直观全面的肝脏结构信息，为后续的诊疗提供重要的辅助。
优选地，所述步骤(1)中，将基于不同方向和不同尺度的线性结构元素的多尺度底帽变换和局部张量表示MBHT相结合来检测血管，给定一个三维US/MR图像I(p)，一堆三维线性结构化元素
为原点的邻域的集合，其中，p是三维US/MR图像体素位置[x,y,z]T的列向量表示，σi是一个范围为σi∈[1,9]的整数，表示不同的尺度，uj＝[sin(θj)cos(φj),sin(θj)sin(φj),cos(θj)]T(θj∈[0；180],φj∈[0；360))取值为12，表示不同的方向。
优选地，所述步骤(1)中，多尺度底帽变换操作是由基本的膨胀和腐蚀算子的组合而成的，具体来说，多尺度膨胀
定义为将
中的值与当前I子图像的值相加的最大值：
其中，sup为上限值，x∈E表示图像中欧氏空间的所有点，多尺度腐蚀
则表示差异的最小值：
其中，inf是最小值；从这两个操作中，进一步定义多尺度形态学闭(·)滤波：
多尺度闭滤波器保留不同尺度下的亮的特征和结构，抑制暗的特征。通过将原始图像与进行过闭操作的图像进行对比，将能够提取暗区域的，具有不同尺度σi和不同方向uj的多尺度底帽变换定义为：
而后，对底帽图像堆栈进行组合，得到三维US/MR图像I(p)的局部张量表示
优选地，所述步骤(2)中，通过分析张量矩阵的特征值之间的关系来检测三维血管结构。即可以通过计算张量矩阵
特征值的比值来得到三维US/MR图像在σi尺度下的血管概率
其中：
其中，α,β和c是用户自定义的实值正参数，
和
分别为张量矩阵
在σi尺度上的特征值，该血管概率函数是基于Jerman滤波所做的修改。通过给特征值增加绝对值来对其进行进一步分析，从而得到更一致的血管响应。
的取值范围为0-1，该值越接近于1，表示为血管的概率越大
血管概率图的计算方式如下：
具有最大血管响应maxσ∈m(Vσ)的尺度σi是表示血管概率图的最合适的尺度，该尺度下的血管概率图输入本发明的局部-全局活动轮廓方法，提取出血管边缘。
优选地，所述步骤(3)中，受二维局部图像拟合能量函数的启发，我们提出了三维局部图像拟合能量函数，提取三维US/MR图像局部信息，引导活动轮廓有效地检测出强度不均匀的三维US/MR图像，其定义如下：
其中，Lipschitz函数φ的零水平集表示轮廓C，φ初始化为二进制步进函数，三维局部图像拟合能量函数使拟合的三维US/MR图像与原始三维US/MR图像之间的差异最小化，VFIT是拟合的局部图像，定义如下：
VFIT(x,y,z)＝m1(x,y,z)Hε(φ(x,y,z))+m2(x,y,z)[1-Hε(φ(x,y,z))] (9)
其中，
为正则化的Heavisi函数，m1(x,y,z)和m2(x,y,z)分别为轮廓外和轮廓内标准差为σ的局部高斯窗口Ωw(x,y,z)，大小为3×3×3的图像强度的加权平均值，其定义如下：
其中φ(x,y,z)＝0表明该点在轮廓表面上，φ(x,y,z)>0表明该点位于轮廓表面内部，而φ(x,y,z)<0表明该点位于轮廓表面外部；在曲线演化的过程中，m1(x,y,z)和m2(x,y,z)的值将在某些特定的区域发生变化，对于具有物体较亮而背景较暗的图像来说，为使整个曲线沿内边界演化，重新定义m* 1(x,y,z)和m* 2(x,y,z)为：
除了局部强度拟合信息之外，还加入了全局信息使得本方法更有鲁棒性。局部LIF有助于检测强度不均匀的对象，而全局LoG可以在平滑的均匀区域上加速轮廓的演化，并且迫使轮廓更加逼近血管的边缘部分。与以往的活动轮廓方法相比，本方法克服了活动轮廓陷入局部解的缺点，并且迫使轮廓在均匀和不均匀区域向边缘靠近。LoG算子被称为二阶微分算子边缘检测算子，受二维LoG的启发，本发明的三维LoG先对图像进行平滑再进行边缘检测，三维的LoG定义为：
在进行拉普拉斯检测边缘之前，先用宽度为σ的高斯核Gσ(x,y,z)抑制噪声，为平滑图像的均匀区域，增强血管的边缘，利用一个能量函数来优化图像的三维LoG：
其中
是边缘指示符，a,b为正约束项；边界处
的值近似等于0，而均匀区域
的值近似等于1；L为优化后的LoG值，当能量下降时，数据拟合项(L-0)2将在均匀区域驱使L接近于0，数据拟合项(L-b×Δ(Gσ*V))2将在对象边界附近驱使优化的L接近原始的Δ(Gσ*I)；利用最速下降法，通过优化水平集函数φ来最小化能量函数，获得以下梯度下降流：
通过一下迭代获得优化后的L：
Ln+1＝Ln+ΔtΔLn (15)
其中，Δt是迭代时间；
将优化的三维LoG能量与三维LIF能量相结合，以构建新的三维活动轮廓能量函数，除了以上两项能量函数之外，还加上了长度限制项L(φ)和距离正则项P(φ)，这两项分别可以平滑或缩短曲线长度平滑或长度缩短和保持水平集函数的正则性。三维活动轮廓的能量函数表示为：
当最小化新的能量函数时，曲线φ将包含位于边界处的曲线，固定
在整个优化过程中，
和
会随着曲线φ(x,y,z)的演化而变化，上述公式为全局和局部活动轮廓模型，其中，δε(φ)为正则化的和Dirac函数，定义为：
最后，在提出的ACM中的曲线演变过程中，没有明确实现不同曲线之间的连通性。因此，在演化过程结束时，一条曲线可能会被分为一些不同的连通部分，或者某些孤立的体素可能不属于任何曲线。为解决此问题，利用连接组件算法将少于10个体素的连通部分合并到它们的邻域中。
优选地，所述步骤(4)中，利用带回溯的最小路径传播算法提取血管中心线，该算法利用血管结构的对称凸度度量来对血管进行细化，在将三维US/MR图像的中心线提取出来以后，交互式地选择分散的7对以上的对应血管的分叉点或者端点，将三维US图像中的点通过旋转平移到三维MR空间，与其中选择的点对齐，完成三维US和三维MR图像的初始刚性配准；初始刚性配准完成以后，找到两幅图像之间的合适的相似性测度，对其进行优化，从而完成弹性配准工作。
优选地，所述步骤(5)中，将结合检测出的血管的拓扑结构以及稀疏的模态独立的自相似领域描述符进行结合来对三维US/MR图像进行弹性配准。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括基于管状结构检测的US-MR配准融合装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
张量表示模块，其配置来将经过不同尺度和方向的线结构元素处理后的三维US/MR图像表示为张量；
血管概率分析模块，其配置来通过分析多尺度张量的特征值来获得血管概率；
血管边缘提取模块，其配置来构建新的结合三维US/MR图像的局部信息和全局信息的新的活动轮廓模型，从血管概率图中快速且自动提取血管边缘；
刚性配准模块，其配置来利用带回溯的最小路径传播算法提取血管中心线，通过血管分叉点及端点之间的刚性配准完成两幅图像的初始刚性配准；
弹性配准模块，其配置将刚性配准后的血管作为标签和sMIND共同构建弹性配准相似性测度，完成三维US/MR图像的配准融合。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (8)
1.基于管状结构检测的三维US/MR配准融合方法，其特征在于：其包括以下步骤：
(1)将经过不同尺度和方向的线结构元素处理后的三维US/MR图像表示为张量；
(2)通过分析多尺度张量的特征值来获得血管概率；
(3)利用结合三维US/MR图像的局部信息和全局信息的新的活动轮廓模型，从血管概率图中提取血管边缘；
(4)基于血管检测的结果，利用带回溯的最小路径传播算法提取血管中心线，通过血管分叉点及端点之间的刚性配准完成两幅图像的初始刚性配准；
(5)将刚性配准后的血管作为标签和sMIND共同构建弹性配准相似性测度，完成三维US/MR图像的配准融合。
2.根据权利要求1所述的基于管状结构检测的三维US/MR配准融合方法，其特征在于：所述步骤(1)中，将基于不同方向和不同尺度的线性结构元素的多尺度底帽变换和局部张量表示MBHT相结合来检测血管，给定一个三维US/MR图像I(p)，一堆三维线性结构化元素
为原点的邻域的集合，其中，p是三维US/MR图像体素位置[x，y，z]T的列向量表示，σi是一个范围为σi∈[1，9]的整数，表示不同的尺度，uj＝[sin(θj)cos(φj)，sin(θj)sin(φj)，cos(θj)]T(θj∈[0；180]，φj∈[0；360))取值为12，表示不同的方向。
3.根据权利要求2所述的基于管状结构检测的三维US/MR配准融合方法，其特征在于：所述步骤(1)中，多尺度底帽变换操作是由基本的膨胀和腐蚀算子的组合而成的，多尺度膨胀
定义为将
中的值与当前I子图像的值相加的最大值：
其中，sup为上限值，x∈E表示图像中欧氏空间的所有点，多尺度腐蚀
则表示差异的最小值：
其中，inf是最小值；从这两个操作中，进一步定义多尺度形态学闭(·)滤波：
通过将原始图像与进行过闭操作的图像进行对比，将能够提取暗区域的，具有不同尺度σi和不同方向uj的多尺度底帽变换定义为：
而后，对底帽图像堆栈进行组合，得到三维US/MR图像I(p)的局部张量表示
4.根据权利要求3所述的基于管状结构检测的三维US/MR配准融合方法，其特征在于：所述步骤(2)中，通过分析张量矩阵的特征值之间的关系来检测三维血管结构，通过计算张量矩阵
特征值的比值来得到三维US/MR图像在σi尺度下的血管概率
其中：
其中，α，θ和c是用户自定义的实值正参数，
和
分别为张量矩阵
在σi尺度上的特征值，
的取值范围为0-1，该值越接近于1，表示为血管的概率越大
血管概率图的计算方式如下：
具有最大血管响应maxσ∈m(Vσ)的尺度σi是表示血管概率图的最合适的尺度，该尺度下的血管概率图输入局部-全局活动轮廓方法，提取出血管边缘。
5.根据权利要求4所述的基于管状结构检测的三维US/MR配准融合方法，其特征在于：所述步骤(3)中，利用由三维局部强度拟合能量和全局能量驱动的活动轮廓模型进一步进行血管边缘的提取：
其中，Lipschitz函数φ的零水平集表示轮廓C，φ初始化为二进制步进函数，三维局部图像拟合能量函数使拟合的三维US/MR图像与原始三维US/MR图像之间的差异最小化，VFIT是拟合的局部图像，定义如下：
VFIT(x，y，z)＝m1(x，y，z)Hε(φ(x，y，z))+m2(x，y，z)[1-Hε(φ(x，y，z))] (9)
其中，
为正则化的Heavisi函数，m1(x，y，z)和m2(x，y，z)分别为轮廓外和轮廓内标准差为σ的局部高斯窗口Ωw(x，y，z)，大小为3×3×3的图像强度的加权平均值，其定义如下：
其中φ(x，y，z)＝0表明该点在轮廓表面上，φ(x，y，z)＞0表明该点位于轮廓表面内部，而φ(x，y，z)＜0表明该点位于轮廓表面外部；在曲线演化的过程中，m1(x，y，z)和m2(x，y，z)的值将在某些特定的区域发生变化，对于具有物体较亮而背景较暗的图像来说，为使整个曲线沿内边界演化，重新定义m* 1(x，y，z)和m* 2(x，y，z)为：
三维LoG先对图像进行平滑再进行边缘检测，三维的LoG定义为：
在进行拉普拉斯检测边缘之前，先用宽度为σ的高斯核Gσ(x，y，z)抑制噪声，为平滑图像的均匀区域，增强血管的边缘，利用一个能量函数来优化图像的三维LoG：
其中
是边缘指示符，a，b为正约束项；边界处
的值近似等于0，而均匀区域
的值近似等于1；L为优化后的LoG值，当能量下降时，数据拟合项(L-0)2将在均匀区域驱使L接近于0，数据拟合项
将在对象边界附近驱使优化的L接近原始的Δ(Gσ*I)；利用最速下降法，通过优化水平集函数φ来最小化能量函数，获得以下梯度下降流：
通过一下迭代获得优化后的L：
Ln+1＝Ln+ΔtΔLn (15)
其中，Δt是迭代时间；
将优化的三维LoG能量与三维LIF能量相结合，以构建新的三维活动轮廓能量函数，除了以上两项能量函数之外，还加上了长度限制项L(φ)和距离正则项P(φ)，三维活动轮廓的能量函数表示为：
当最小化新的能量函数时，曲线φ将包含位于边界处的曲线，固定
和
进一步利用最速下降法，通过优化φ来最小化上述能量方程，得到对应的梯度下降流：
在整个优化过程中，
和
会随着曲线φ(x，y，z)的演化而变化，上述公式为全局和局部活动轮廓模型，其中，δε(φ)为正则化的和Dirac函数，定义为：
利用连接组件算法将少于10个体素的连通部分合并到它们的邻域中。
6.根据权利要求5所述的基于管状结构检测的三维US/MR配准融合方法，其特征在于：所述步骤(4)中，利用带回溯的最小路径传播算法提取血管中心线，该算法利用血管结构的对称凸度度量来对血管进行细化，在将三维US/MR图像的中心线提取出来以后，交互式地选择分散的7对以上的对应血管的分叉点或者端点，将三维US图像中的点通过旋转平移到三维MR空间，与其中选择的点对齐，完成三维US和三维MR图像的初始刚性配准；初始刚性配准完成以后，找到两幅图像之间的合适的相似性测度，对其进行优化，从而完成弹性配准工作。
7.根据权利要求6所述的基于管状结构检测的三维US/MR配准融合方法，其特征在于：所述步骤(5)中，将结合检测出的血管的拓扑结构以及稀疏的模态独立的自相似领域描述符进行结合来对三维US/MR图像进行弹性配准。
8.基于管状结构检测的三维US/MR配准融合装置，其特征在于：其包括：
张量表示模块，其配置来将经过不同尺度和方向的线结构元素处理后的三维US/MR图像表示为张量；
血管概率分析模块，其配置来通过分析多尺度张量的特征值来获得血管概率；
血管边缘提取模块，其配置来构建新的结合三维US/MR图像的局部信息和全局信息的新的活动轮廓模型，从血管概率图中快速且自动提取血管边缘；
刚性配准模块，其配置来利用带回溯的最小路径传播算法提取血管中心线，通过血管分叉点及端点之间的刚性配准完成两幅图像的初始刚性配准；
弹性配准模块，其配置将刚性配准后的血管作为标签和sMIND共同构建弹性配准相似性测度，完成三维US/MR图像的配准融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971889.8A CN113689480A (zh) | 2021-08-20 | 2021-08-20 | 基于管状结构检测的三维us/mr配准融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971889.8A CN113689480A (zh) | 2021-08-20 | 2021-08-20 | 基于管状结构检测的三维us/mr配准融合方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113689480A true CN113689480A (zh) | 2021-11-23 |
Family
ID=78581771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110971889.8A Pending CN113689480A (zh) | 2021-08-20 | 2021-08-20 | 基于管状结构检测的三维us/mr配准融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689480A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943753A (zh) * | 2022-06-15 | 2022-08-26 | 北京理工大学 | 基于局部结构矢量对齐的位姿配准方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871036A (zh) * | 2012-12-12 | 2014-06-18 | 上海联影医疗科技有限公司 | 用于三维数字减影血管造影图像的快速配准和拼接方法 |
| CN110838140A (zh) * | 2019-11-27 | 2020-02-25 | 艾瑞迈迪科技石家庄有限公司 | 基于混合监督学习的超声和核磁图像配准融合方法及装置 |
| CN111091589A (zh) * | 2019-11-25 | 2020-05-01 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
| CN111476791A (zh) * | 2019-05-21 | 2020-07-31 | 北京昆仑医云科技有限公司 | 图像处理方法、图像处理装置和非暂时性计算机可读介质 |
| CN111862174A (zh) * | 2020-07-08 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
-
2021
- 2021-08-20 CN CN202110971889.8A patent/CN113689480A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871036A (zh) * | 2012-12-12 | 2014-06-18 | 上海联影医疗科技有限公司 | 用于三维数字减影血管造影图像的快速配准和拼接方法 |
| CN111476791A (zh) * | 2019-05-21 | 2020-07-31 | 北京昆仑医云科技有限公司 | 图像处理方法、图像处理装置和非暂时性计算机可读介质 |
| CN111091589A (zh) * | 2019-11-25 | 2020-05-01 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
| CN110838140A (zh) * | 2019-11-27 | 2020-02-25 | 艾瑞迈迪科技石家庄有限公司 | 基于混合监督学习的超声和核磁图像配准融合方法及装置 |
| CN111862174A (zh) * | 2020-07-08 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| JIAHUI DONG 等: ""Local-global active contour model based on tensor-based representation for 3D ultrasound vessel segmentation"", 《PHYSICS IN MEDICINE & BIOLOGY》, 28 May 2021 (2021-05-28), pages 1 - 3 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943753A (zh) * | 2022-06-15 | 2022-08-26 | 北京理工大学 | 基于局部结构矢量对齐的位姿配准方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
| Lian et al. | Multi-channel multi-scale fully convolutional network for 3D perivascular spaces segmentation in 7T MR images | |
| Torres et al. | Kidney segmentation in ultrasound, magnetic resonance and computed tomography images: A systematic review | |
| Jolly | Automatic segmentation of the left ventricle in cardiac MR and CT images | |
| Häme et al. | Semi-automatic liver tumor segmentation with hidden Markov measure field model and non-parametric distribution estimation | |
| EP1851722B1 (en) | Image processing device and method | |
| Queirós et al. | Fast automatic myocardial segmentation in 4D cine CMR datasets | |
| Li et al. | Vessels as 4-D curves: Global minimal 4-D paths to extract 3-D tubular surfaces and centerlines | |
| Tong et al. | 3D deeply-supervised U-net based whole heart segmentation | |
| Wang et al. | Principles and methods for automatic and semi-automatic tissue segmentation in MRI data | |
| Frangi | Three-dimensional model-based analysis of vascular and cardiac images | |
| AU2011344876A1 (en) | Method for delineation of tissue lesions | |
| Zhang et al. | Cerebrovascular segmentation in MRA via reverse edge attention network | |
| Yang et al. | Renal compartment segmentation in DCE-MRI images | |
| CN109191468B (zh) | 一种血管提取的方法、装置及存储介质 | |
| Chung et al. | Accurate liver vessel segmentation via active contour model with dense vessel candidates | |
| Vukadinovic et al. | Segmentation of the outer vessel wall of the common carotid artery in CTA | |
| Du et al. | Automated coronary artery tree segmentation in coronary CTA using a multiobjective clustering and toroidal model-guided tracking method | |
| Czipczer et al. | Adaptable volumetric liver segmentation model for CT images using region-based features and convolutional neural network | |
| Cui et al. | Fully-automatic segmentation of coronary artery using growing algorithm | |
| Bai et al. | Automatic whole heart segmentation based on watershed and active contour model in CT images | |
| CN113689480A (zh) | 基于管状结构检测的三维us/mr配准融合方法及装置 | |
| Wieclawek | 3D marker-controlled watershed for kidney segmentation in clinical CT exams | |
| Jackowski et al. | Characterizing vascular connectivity from microCT images | |
| JP2023548041A (ja) | 医用画像において少なくとも１つの管状構造のセグメンテーション及び識別を行うための方法及びシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |