CN110660063A - 多图像融合的肿瘤三维位置精准定位系统 - Google Patents
多图像融合的肿瘤三维位置精准定位系统 Download PDFInfo
- Publication number
- CN110660063A CN110660063A CN201910888197.XA CN201910888197A CN110660063A CN 110660063 A CN110660063 A CN 110660063A CN 201910888197 A CN201910888197 A CN 201910888197A CN 110660063 A CN110660063 A CN 110660063A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- fusion
- information
- wavelet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 230000009466 transformation Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 241000270295 Serpentes Species 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000002860 competitive effect Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000002708 enhancing effect Effects 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开提供了一种多图像融合的肿瘤三维位置精准定位系统，系统包括：图像预处理模块，被配置为对采集的多模态图像进行预处理；配准及融合模块，被配置为基于互信息配准对齐图像，对对齐后的图像进行融合；分割及重构模块，被配置为对融合后的图像进行分割和三维重建，确定肿瘤位置。本公开利用医学图像融合技术，对提供不同医学信息的多模态图像进行适当整合，对融合后的图像做分割和三维重建，以对肿瘤所在位置进行精准定位。
Description
技术领域
本公开属于图像处理领域，具体涉及一种多图像融合的肿瘤三维位置精准定位系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着医学成像技术的发展，现代医学治疗与医学影像信息密切相关。大部分疾病确诊及病况都需要医学影像提供依据。而不同医学影像提供了相关脏器的不同信息：像CT和MR以较高的空间分辨率提供了脏器的解剖结构等结构信息，像SPECT和PET提供了脏器的血流灌注等功能信息。若将结构图像与功能图像的信息有机融合，综合处理，获得新的信息，会为临床诊断和治疗带来新思维。
多图像融合显像可提高肿瘤诊断的灵敏度与特异性，还可为活组织检查的定位提供更多的信息，从而减少形态学显像的不足具有重要意义。而如何将多模态图像进行配准和融合，并以此实现对肿瘤的三维精准定位显得至关重要。
发明内容
本公开为了解决上述问题，提出了一种多图像融合的肿瘤三维位置精准定位系统，本公开利用医学图像融合技术，对提供不同医学信息的多模态图像进行适当整合，对融合后的图像做分割和三维重建，以对肿瘤所在位置进行精准定位。
根据一些实施例，本公开采用如下技术方案：
一种多图像融合的肿瘤三维位置精准定位系统，包括：
图像预处理模块，被配置为对采集的多模态图像进行预处理；
配准及融合模块，被配置为基于互信息配准对齐图像，对对齐后的图像进行融合；
分割及重构模块，被配置为对融合后的图像进行分割和三维重建，确定肿瘤位置。
本公开利用医学图像融合技术，对提供不同医学信息的多模态图像进行适当整合，融合后的图像可以提供更直观、全面和清晰的图像依据。对融合后的图像做分割和三维重建，以对肿瘤进行精准定位。
作为进一步的限定，所述图像预处理模块采用中值滤波进行图像预处理，对于一幅图像，以图像中的每一像素点为中心生成一个矩形的滑动窗口，再将这个窗口内的所有像素按灰度值从小到大的顺序进行排序并计算排序后序列的中值，用该中值代替窗口中心点的像素值；
设一维序列f1,f2,…fn,取窗口长度为m，对此序列进行中值滤波，从输入序列中相继抽出m个数fi＝-v,fi＝-v+1,…,fi＝0,fi＝1,…,fi＝v,其中i为窗口的中心位置，
再将这m个点按其数值大小排列，取其序号为正中间的数作为滤波的输出。
作为进一步的限定，所述图像预处理模块基于小波变换的图像边缘增强进行图像预处理，对经过中值滤波去噪的图像用Mallat算法进行小波变换分解，分解尺度为三层，每一层小波分解都将待分解图像分解成多个子带图像，并得出各尺度的小波系数，把小于设定值的小波系数视为噪声，通过设定合适的阈值滤掉噪声，选定不同的增强系数来增强不同频率范围内图像的细节分量，达到改善图像质量，增强层次感和视觉效果。
作为进一步的限定，所述配准及融合模块，被配置为将两幅图像中的一副作为参考图像，另一幅为浮动图像，计算互信息是首先进行坐标变换，将浮动图像F的像素点变换后对应到参考图像R上，进行坐标变换，浮动图像F的像素点通过坐标变换后得到的坐标不一定是整数，利用插值获得参考图像R上对应点的灰度值，浮动图像F的每个像素点旋转屏以后对应到参考图像R上，通过变换后的像素点对计算得到联合直方图和边缘概率分布，进而得到互信息，当互信息最大时两幅图像几何对齐。
作为进一步的限定，所述配准及融合模块，被配置为利用小波金字塔融合对图像进行融合，对参加融合的参考图像和浮动图像分别进行一定层数的正交小波变换，得到表示低频信息、水平方向信息、垂直方向信息和对角方向信息的4个子图像，每一层都对低频信息做同样处理，依次递推；
对最后一层的低频部分采用系数取二者之中最大值来进行融合；对各层变换的其他三个方向的上的高频小波系数进行分层线性加权融合。
作为进一步的限定，所述分割及重构模块，被配置为基于竞争型神经网络的Snake模型图像分割定位进行分割，对图像进行初分割后，将其结果用于初始化主网络中的神经元状态，进行状态的动态演变，直至收敛。
与现有技术相比，本公开的有益效果为：
本公开利用医学图像融合技术，对提供结构与功能医学信息的多模态图像进行适当整合，可以提供更全面的判断依据，弥补了单一模式图像提供片面信息的不足。
本公开在图像预处理中采用了中值滤波与小波变换边缘增强结合的方式，有效去噪，保留平滑性较好的信号，同时又能增强图像边缘，视觉效果更好。
本公开在配准与融合中采用基于互信息的配准方法及小波金字塔融合方法，几乎可以用于任何不同模式图像的配准，进一步对图像边缘信息进行了增强，避免了小波逆变换得到的图像变暗及新的干扰出现。
本公开在分割与定位中采用基于竞争型神经网络的Snake模型图像分割定位方法，利用竞争型神经网络对图像进行初始分割，实现了自动分割技术，解决了Snake模型对初始轮廓的敏感，较好地解决了其对凹型轮廓或较高曲率的凸型轮廓检测效果不理想的缺点。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本公开的多图像融合的肿瘤精准定位流程图；
图2是本公开的基于竞争型神经网络的Snake模型图像分割定位流程图；
图3是本公开的基于互信息的配准流程图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
一种多图像融合的肿瘤三维位置精准定位系统，包括：
图像预处理模块，被配置为对采集的多模态图像进行预处理；
配准及融合模块，被配置为基于互信息配准对齐图像，对对齐后的图像进行融合；
分割及重构模块，被配置为对融合后的图像进行分割和三维重建，确定肿瘤位置。
所述图像预处理模块采用中值滤波进行图像预处理，对于一幅图像，以图像中的每一像素点为中心生成一个矩形的滑动窗口，再将这个窗口内的所有像素按灰度值从小到大的顺序进行排序并计算排序后序列的中值，用该中值代替窗口中心点的像素值。
所述图像预处理模块基于小波变换的图像边缘增强进行图像预处理，对经过中值滤波去噪的图像用Mallat算法进行小波变换分解，分解尺度为三层，每一层小波分解都将待分解图像分解成多个子带图像，并得出各尺度的小波系数，把小于设定值的小波系数视为噪声，通过设定合适的阈值滤掉噪声，选定不同的增强系数来增强不同频率范围内图像的细节分量，达到改善图像质量，增强层次感和视觉效果。
所述配准及融合模块，被配置为将两幅图像中的一副作为参考图像，另一幅为浮动图像，计算互信息是首先进行坐标变换，将浮动图像F的像素点变换后对应到参考图像R上，进行坐标变换，浮动图像F的像素点通过坐标变换后得到的坐标不一定是整数，利用插值获得参考图像R上对应点的灰度值，浮动图像F的每个像素点旋转屏以后对应到参考图像R上，通过变换后的像素点对计算得到联合直方图和边缘概率分布，进而得到互信息，当互信息最大时两幅图像几何对齐。
所述配准及融合模块，被配置为利用小波金字塔融合对图像进行融合，对参加融合的参考图像和浮动图像分别进行一定层数的正交小波变换，得到表示低频信息、水平方向信息、垂直方向信息和对角方向信息的4个子图像，每一层都对低频信息做同样处理，依次递推；
对最后一层的低频部分采用系数取二者之中最大值来进行融合；对各层变换的其他三个方向的上的高频小波系数进行分层线性加权融合。
所述分割及重构模块，被配置为基于竞争型神经网络的Snake模型图像分割定位进行分割，对图像进行初分割后，将其结果用于初始化主网络中的神经元状态，进行状态的动态演变，直至收敛。
如图1所示，上述系统的工作方法，主要包括三个方面：图像预处理、配准与融合、分割与定位。所述图像预处理主要采用中值滤波及小波变换边缘增强技术；所述配准与融合主要采用基于互信息的配准方法及小波金字塔融合方法；所述分割与定位主要采用基于竞争型神经网络的Snake模型图像分割定位方法。
中值滤波进行图像预处理，对于一幅图像，以图像中的每一像素点为中心生成一个矩形的滑动窗口(窗口尺寸一般取奇数)，再将这个窗口内的所有像素按灰度值从小到大的顺序进行排序并计算排序后序列的中值，用该中值代替窗口中心点的像素值。设一个一维序列f1,f2,…fn,取窗口长度为m,对此序列进行中值滤波，就是从输入序列中相继抽出m个数fi＝-v,fi＝-v+1,…,fi＝0,fi＝1,…,fi＝v,其中i为窗口的中心位置，
再将这m个点按其数值大小排列，取其序号为正中间的那个数作为滤波的输出yi，其数学公式表示为：
二维数据的中值滤波可以表示为：
Yi,j＝Med{xi-k,j-k,xi-k+1,j-k,…,xi+k,j+k}k＝1,2,…
进一步的，所述基于小波变换的图像边缘增强技术，对经过中值滤波去噪的图像用Mallat算法进行小波变换分解，分解尺度为三层，每一层小波分解都将待分解图像分解成四个子带图像：LL(水平低频、垂直低频)、LH(水平低频、垂直高频)、HL(水平高频、垂直低频)、HH(水平高频、垂直高频)。并得出各尺度的小波系数。
把比较小的小波系数视为噪声，通过设定合适的阈值滤掉噪声。，阈值Tj i，是根据各子带图像的方差得到，其中j为当前的变换层数，i为1,2,3，分别代表HH,HL,LH子带图像，对每层小波系数作如下变换得到估值，
图像中的细节信息通常包含在高频成分中，所以去除噪声后，需要选定不同的增强系数来增强不同频率范围内图像的细节分量，达到改善图像质量，增强层次感和视觉效果。设定增强系数Kj，对上述阈值处理后的小波系数进行增强，
j为当前的变换层数，K为经验权重
基于互信息的配准过程，互信息是两个随机变量统计相关性的相似性测度。如果两幅图像几何对齐的话它们对应体素对的互信息会达到最大。该方法不需要对图像强度间的关系做任何假设，也不需要对图像作分割或任何预处理，对数据缺失也不敏感，几乎可以用于任何不同模式图像的配准。大致过程如图3所示。
两幅图像配准，一幅作为参考图像R，一幅为浮动图像F。计算互信息是首先进行坐标变换，坐标变换是将浮动图像F的像素点变换后对应到参考图像R上，这里采用刚体变换。而浮动图像F的像素点通过坐标变换后得到的坐标不一定是整数，需要通过插值方法获得参考图像R上对应点的灰度值这里采用线性插值法。F的每个像素点旋转屏以后对应到R上，联合直方图h(F,R)通过变换后的像素点对计算得到。
互信息公式为：
pFR(f,r)为联合概率分布，可通过归一化两幅图像的联合灰度直方图h(F,R)得到：
边缘概率分布可以根据联合概率分布直接得到：
小波金字塔融合方法，对参加融合的F、R图像分别进行一定层数(3层)的正交小波变换，得到表示低频信息、水平方向信息、垂直方向信息和对角方向信息的4个子图像，每一层都对低频信息做同样处理，依次递推。所做的融合一方面对最后一层的低频部分采用系数取二者之中最大值来进行融合；另一方面对各层变换的其他三个方向的上的高频小波系数进行分层线性加权融合，其加权函数为
N为进行小波变换的层数，Kj为增强系数。
该算法利用了所有的高频信息，避免了小波逆变换得到的图像变暗，也避免了由于不规则改变小波变换后的高频系数而产生不必要干扰信息的不良效果，另外还对图像边缘信息进行了增强。
如图2所示，基于竞争型神经网络的Snake模型图像分割定位方法，竞争型神经网络是一种主从网络结构，从网络为Kohonen网络组，对图像进行初分割后，将其结果用于初始化主网络中的神经元状态，进行状态的动态演变，直至收敛到主网络的某一吸引子。
设有一幅大小为L×L的图像f(i,j),i,j＝1,2,...,L,其中存在M个不同的灰度级，按每一像素设置M个神经元的方法，建立一个共有L×L×M个神经元的网络，记第(i,j)个像素处的第m个神经元为Nijm，其活跃值为vijm，他表示像素(i,j)具有灰度m的可能性，显然有0≤vijm≤1，且
记神经元Nijm到Nkln的互联强度为Tijm,kln，且假设Tijm,kln＝Tkln,ijm，网络中每一神经元都接收到来自它本身以及其他神经元的输入，网络状态矢量V的函数
表示其他神经元的活跃值对Nijm的总影响，其中状态矢量V＝(v111,...,v11m,v211,...,v21m,...,vll1,...,vllm)，网络在状态矢量V的能量函数接下来的Snake模型就是对能量函数求最小化的过程。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (9)
1.一种多图像融合的肿瘤三维位置精准定位系统，其特征是：包括：
图像预处理模块，被配置为对采集的多模态图像进行预处理；
配准及融合模块，被配置为基于互信息配准对齐图像，对对齐后的图像进行融合；
分割及重构模块，被配置为对融合后的图像进行分割和三维重建，确定肿瘤位置。
2.如权利要求1所述的一种多图像融合的肿瘤三维位置精准定位系统，其特征是：所述图像预处理模块采用中值滤波进行图像预处理，对于一幅图像，以图像中的每一像素点为中心生成一个矩形的滑动窗口，再将这个窗口内的所有像素按灰度值从小到大的顺序进行排序并计算排序后序列的中值，用该中值代替窗口中心点的像素值。
3.如权利要求2所述的一种多图像融合的肿瘤三维位置精准定位系统，其特征是：设一维序列f1,f2,…fn,取窗口长度为m，对此序列进行中值滤波，从输入序列中相继抽出m个数fi＝-v,fi＝-v+1,…,fi＝0,fi＝1,…,fi＝v,其中i为窗口的中心位置，
再将这m个点按其数值大小排列，取其序号为正中间的数作为滤波的输出。
4.如权利要求1所述的一种多图像融合的肿瘤三维位置精准定位系统，其特征是：所述图像预处理模块被配置为基于小波变换的图像边缘增强进行图像预处理，对经过中值滤波去噪的图像用Mallat算法进行小波变换分解，分解尺度为多层，每一层小波分解都将待分解图像分解成多个子带图像，并得出各尺度的小波系数，把小于设定值的小波系数视为噪声，通过设定合适的阈值滤掉噪声，选定不同的增强系数来增强不同频率范围内图像的细节分量，达到改善图像质量，增强层次感和视觉效果。
5.如权利要求4所述的一种多图像融合的肿瘤三维位置精准定位系统，其特征是：分解尺度为三层。
6.如权利要求1所述的一种多图像融合的肿瘤三维位置精准定位系统，其特征是：所述配准及融合模块，被配置为将两幅图像中的一副作为参考图像，另一幅为浮动图像，计算互信息是首先进行坐标变换，将浮动图像F的像素点变换后对应到参考图像R上，进行坐标变换，浮动图像F的像素点通过坐标变换后得到的坐标不一定是整数，利用插值获得参考图像R上对应点的灰度值，浮动图像F的每个像素点旋转屏以后对应到参考图像R上，通过变换后的像素点对计算得到联合直方图和边缘概率分布，进而得到互信息，当互信息最大时两幅图像几何对齐。
7.如权利要求1所述的一种多图像融合的肿瘤三维位置精准定位系统，其特征是：所述配准及融合模块，被配置为利用小波金字塔融合对图像进行融合，对参加融合的参考图像和浮动图像分别进行一定层数的正交小波变换，得到表示低频信息、水平方向信息、垂直方向信息和对角方向信息的4个子图像，每一层都对低频信息做同样处理，依次递推。
8.如权利要求7所述的一种多图像融合的肿瘤三维位置精准定位系统，其特征是：对最后一层的低频部分采用系数取二者之中最大值来进行融合；对各层变换的其他三个方向的上的高频小波系数进行分层线性加权融合。
9.如权利要求1所述的一种多图像融合的肿瘤三维位置精准定位系统，其特征是：所述分割及重构模块，被配置为基于竞争型神经网络的Snake模型图像分割定位进行分割，对图像进行初分割后，将其结果用于初始化主网络中的神经元状态，进行状态的动态演变，直至收敛。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910888197.XA CN110660063A (zh) | 2019-09-19 | 2019-09-19 | 多图像融合的肿瘤三维位置精准定位系统 |
| NL2025814A NL2025814B1 (en) | 2019-09-19 | 2020-06-11 | Precise positioning system for three-dimensional position of tumor by multi-image fusion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910888197.XA CN110660063A (zh) | 2019-09-19 | 2019-09-19 | 多图像融合的肿瘤三维位置精准定位系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110660063A true CN110660063A (zh) | 2020-01-07 |
Family
ID=69037327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910888197.XA Pending CN110660063A (zh) | 2019-09-19 | 2019-09-19 | 多图像融合的肿瘤三维位置精准定位系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110660063A (zh) |
| NL (1) | NL2025814B1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109727672A (zh) * | 2018-12-28 | 2019-05-07 | 江苏瑞尔医疗科技有限公司 | 患者胸腹部肿瘤呼吸运动预测跟踪方法 |
| CN111210911A (zh) * | 2020-01-15 | 2020-05-29 | 于金明 | 基于虚拟智能医疗平台的放疗外照射辅助诊疗系统 |
| CN111228655A (zh) * | 2020-01-14 | 2020-06-05 | 于金明 | 基于虚拟智能医疗平台的监控方法、装置及存储介质 |
| CN111477304A (zh) * | 2020-04-03 | 2020-07-31 | 北京易康医疗科技有限公司 | 一种pet和mri图像相融合的肿瘤照射成像组合方法 |
| CN111667486A (zh) * | 2020-04-29 | 2020-09-15 | 杭州深睿博联科技有限公司 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
| CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610162A (zh) * | 2017-08-04 | 2018-01-19 | 浙江工业大学 | 一种基于互信息与图像分割的三维多模态医学图像自动配准方法 |
| CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006114003A1 (en) * | 2005-04-27 | 2006-11-02 | The Governors Of The University Of Alberta | A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images |
-
2019
- 2019-09-19 CN CN201910888197.XA patent/CN110660063A/zh active Pending
-
2020
- 2020-06-11 NL NL2025814A patent/NL2025814B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610162A (zh) * | 2017-08-04 | 2018-01-19 | 浙江工业大学 | 一种基于互信息与图像分割的三维多模态医学图像自动配准方法 |
| CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘杰: "基于Snake模型的图像分割算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 戴峻峰: "多模态医学图像融合与目标分割定位的算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 黄剑峰 等: "基于最大互信息的CT/MRI脑部医学图像配准及融合", 《轻工科技》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109727672A (zh) * | 2018-12-28 | 2019-05-07 | 江苏瑞尔医疗科技有限公司 | 患者胸腹部肿瘤呼吸运动预测跟踪方法 |
| CN109727672B (zh) * | 2018-12-28 | 2023-04-07 | 江苏瑞尔医疗科技有限公司 | 患者胸腹部肿瘤呼吸运动预测跟踪方法 |
| CN111228655A (zh) * | 2020-01-14 | 2020-06-05 | 于金明 | 基于虚拟智能医疗平台的监控方法、装置及存储介质 |
| CN111210911A (zh) * | 2020-01-15 | 2020-05-29 | 于金明 | 基于虚拟智能医疗平台的放疗外照射辅助诊疗系统 |
| CN111477304A (zh) * | 2020-04-03 | 2020-07-31 | 北京易康医疗科技有限公司 | 一种pet和mri图像相融合的肿瘤照射成像组合方法 |
| CN111667486A (zh) * | 2020-04-29 | 2020-09-15 | 杭州深睿博联科技有限公司 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
| CN111667486B (zh) * | 2020-04-29 | 2023-11-17 | 杭州深睿博联科技有限公司 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
| CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| NL2025814B1 (en) | 2021-12-14 |
| NL2025814A (en) | 2021-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110660063A (zh) | 多图像融合的肿瘤三维位置精准定位系统 | |
| Hou et al. | Brain CT and MRI medical image fusion using convolutional neural networks and a dual-channel spiking cortical model | |
| Wang et al. | Medical image fusion based on convolutional neural networks and non-subsampled contourlet transform | |
| Jose et al. | Brain tumor segmentation using k-means clustering and fuzzy c-means algorithms and its area calculation | |
| Kabade et al. | Segmentation of brain tumour and its area calculation in brain MR images using K-mean clustering and fuzzy C-mean algorithm | |
| CN110827216A (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
| Shanthakumar et al. | Performance analysis of classifier for brain tumor detection and diagnosis | |
| CN109934887B (zh) | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 | |
| Kanade et al. | Brain tumor detection using MRI images | |
| CN107977926A (zh) | 一种改进神经网络的pet/mri异机脑部影像信息融合方法 | |
| CN112837274A (zh) | 一种基于多模态多站点数据融合的分类识别方法 | |
| CN115100172A (zh) | 一种多模态医学图像的融合方法 | |
| CN112150564A (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| Ding et al. | M4fnet: Multimodal medical image fusion network via multi-receptive-field and multi-scale feature integration | |
| CN115018728A (zh) | 基于多尺度变换和卷积稀疏表示的图像融合方法及系统 | |
| Yin et al. | Automatic breast tissue segmentation in MRIs with morphology snake and deep denoiser training via extended Stein’s unbiased risk estimator | |
| Lepcha et al. | Multimodal medical image fusion based on pixel significance using anisotropic diffusion and cross bilateral filter | |
| Zhang et al. | Research on multi-mode medical image fusion algorithm based on wavelet transform and the edge characteristics of images | |
| Geng et al. | Multi-modal medical image fusion based on the multiwavelet and nonsubsampled direction filter bank | |
| Sahoo | Biomedical image fusion and segmentation using glcm | |
| Rani et al. | Recent medical image fusion techniques: a review | |
| Muthiah et al. | Fusion of MRI and PET images using deep learning neural networks | |
| Rao et al. | Deep learning-based medical image fusion using integrated joint slope analysis with probabilistic parametric steered image filter | |
| Ting et al. | Multiview 3-d echocardiography image fusion with mutual information neural estimation | |
| Cao et al. | Medical image fusion based on GPU accelerated nonsubsampled shearlet transform and 2D principal component analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200107 |
|
| RJ01 | Rejection of invention patent application after publication |