CN112767299B - 一种多模态三维图像配准融合方法 - Google Patents
一种多模态三维图像配准融合方法 Download PDFInfo
- Publication number
- CN112767299B CN112767299B CN202110370603.0A CN202110370603A CN112767299B CN 112767299 B CN112767299 B CN 112767299B CN 202110370603 A CN202110370603 A CN 202110370603A CN 112767299 B CN112767299 B CN 112767299B
- Authority
- CN
- China
- Prior art keywords
- image
- floating
- images
- registration
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 9
- 230000004927 fusion Effects 0.000 abstract description 13
- 230000008901 benefit Effects 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 16
- 210000004872 soft tissue Anatomy 0.000 description 15
- 210000001519 tissue Anatomy 0.000 description 10
- 210000000056 organ Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003325 tomography Methods 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000001225 nuclear magnetic resonance method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种多模态三维图像配准融合方法,由以下步骤组成:步骤1定义图像,步骤2比较层厚,步骤3对浮动图像Pc2进行插值,步骤4通过选取最优互信息获得浮动图像Pc3与参考图像Pc1的最佳匹配关系;步骤5选取任一一层浮动图像Pc3n进行配准,获得配准后的浮动图像Pc4n;步骤6重复步骤5,获得配准后的浮动图像Pc4;步骤7调整图像透明度为30%‑70%,获得可目视辨认的图像。本发明通过对不同模态的图像进行配准和空间融合,能够实现将不同模态处于同一部位,同一断层的图像进行配准,通过根据实际需要改变图像的透明度使得融合后的图像视觉效果能够涵盖融合前各图像已经具备的优点;消除了单一模态图像显示不完整,多种模态图像对位不准的问题。
Description
技术领域
本发明涉及图像数据处理技术领域,尤其涉及医学图像的处理,包括图像插值、图像配准和图像融合技术,具体涉及一种多模态三维图像配准融合方法。
背景技术
图像配准融合是将不同模态的多张图像融合为等同于一张图像的效果,一般是将两张图像进行配准融合。融合后的图像同时能够准确的体现在对应模态下最能体现的图像内容。譬如最为常见的有核磁共振MRI图像和CT图像,按照常规技术,一般患者分别进行了上述MRI和CT检查后会分别得到不同的图像,医生将通过该图像进行查看诊断患者病情,但基于不同模态的图像特性,不能够对兴趣组织全部清晰的呈现出来,因此医生在进行查看时,需要依赖于从医经验进行一定的判断,这就不能将通过技术呈现的作用最大化。
譬如,磁共振的优势在于对软组织的分辨更加清晰,特别是一些小的病灶比如肿瘤,可以更容易明确是不是癌症。而CT的优点是快而准确,即使是在肺、胃肠道这些部位也能有很清晰的成像效果。鉴于上述不同设备获得的不同模态的图像,会针对患者的同一部位的不同组织呈现截然不同的图像信息,因此,若能够将不同模态的图像进行融合查看,那么医生就能针对患处的各个组织进行清晰辨别,消除因图像中组织不对位,部分组织成像不清晰,以及主观经验导致的误判。
由于不同的模态图像是在不同的设备上检查获得,那么患者在进行检查时的体位,状态并不能保持绝对的一致,这将导致不同模态的图的尺寸、形状、断层位置并不是统一的,因此这又给图像的配准和融合处理提出了难题。
发明内容
为了解决现有技术中不能将不同模态的图像进行配准融合的技术问题,以使得医生能够实现在同一视觉图像上清晰、全面的掌握患者患处的各组织问题,依据清晰图像进行精准判别,避免通过不同体位、不同模态的多张图像分别进行查看带来的误判的问题。
为了更加直观的阐述本申请要解决的技术问题,以及解决该技术问题的必要性和能够带来的必然有益技术效果,发明人认为有必要针对现有技术进行必要阐述,旨在更加清晰的凸显本申请的技术要点和独创性。
以最为常见,也是本申请应用最为广泛的领域为例。医学图像最为常见的是MRI图像,即通常所说的核磁共振或者磁共振图像,其最为突出的特点在于对于软组织成像清晰度高。另一种常见的图像是CT图像,当然衍生技术还有PET-CT和CTA等针对性检测手段。CT的缺点是对于软组织分辨率低于磁共振,特别是对于小病灶的分辨,骨质、金属一样可以在CT上产生伪影干扰图像清晰度,所以在头部、脊髓这种骨质包裹组织的部位磁共振优势更加明显。那么,在进行病症诊断时,往往不是单一判断的,需要结合周边多个组织、脏器进行分辨,才能够最终准确确诊。然而基于上述内容,由于不同手段都具有其弊端,因而,医生客观上不得不顾此失彼的反复对照多张图像进行查看。更为尴尬的现实是针对同一部位的多个相似断层图像,在进行人工对照查看时无法将位于同一断层的两张图像找到进行精准对比。通俗的讲,比如CT图像是距离患者第三节脊椎向下10公分的断层图像,但对应查看的MRI图像却是离患者第三节脊椎向下11公分的断层图像;虽然图像上的结构大致相同,但是针对比较小或者不规则的软组织判断会出现天差地别的结论,譬如在两个断层之间存在一个细小肿瘤等。因此,如果获得对应的不同模态的图像进行对照查看是严重影响诊断结果的重要因素之一。
再者,即便通过其他技术手段能够找到不同模态的同一断层的图像,由于患者拍摄的体位不同,或者拍摄时处于呼吸、吸气,甚至脏器处于不同状态都将造成图像形状和分布的变化,导致组织脏器之间的判断再一次加大。
综上如此种种,任何一方面不利因素都会给医生的精准判断带来消极影响,因此,提供一种可以将多模态三维图像配准融合的技术,以获得使得医生能够直观的针对任何一个断层图像将所有脏器、组织、骨质部位信息都全部掌握,同时能够集合不同模态图像优点的图像。本发明的图像处理方法中的发明构思核心思想是基于图像像素的空间视觉融合达到同一图像同时展示不同模态的多个图像的技术效果,这相较于现有针对图像本身进行像素处理完全不同。现有技术中多以像素本身灰度值、亮度值进行一定规律的变换获得变换后的图像,以满足实际所需,从发明构思的思路上和技术层面的操作上均是完全不同的。为了达到上述目的,本申请特别提供如下技术方案:
一种多模态三维图像配准融合方法,用于将通过不同医疗设备针对同一患者的同一部位获取的不同模态的图像Pc1和图像Pc2进行配准并融合为可直接目视辨别的图像,由以下步骤组成:
步骤STP1 定义图像:将图像Pc1定义为参考图像,将图像Pc2定义为浮动图像;
步骤STP2 比较层厚:获取参考图像Pc1的层厚h1和浮动图像Pc2的层厚h2,令δ=h1/h2,若δ等于1,则执行STP4;若δ不等于1,则执行STP3;
步骤STP3 对浮动图像Pc2进行插值:将浮动图像Pc2进行插值,获得插值后的浮动图像Pc3,使得参考图像Pc1的任一一层图像Pc1m始终都能与浮动图像Pc3中的其中一层浮动图像Pc3n对应;所述步骤STP3中插值采用线性插值和/或非线性插值,所述非线性插值采用B样条插值。若所述步骤STP2中浮动图像Pc2的层厚h2小于参考图像Pc1的层厚h1时,则步骤STP3中插值步骤还包括调整层厚h2的步骤,通过调整浮动图像Pc2中的tag信息,将层厚h2数值改为与层厚h1相同。
步骤STP4 通过选取最优互信息获得浮动图像Pc3与参考图像Pc1的最佳匹配关系;步骤STP41 图像对齐,将浮动图像Pc3的最后一层与参考图像Pc1的第一层对齐;其次,依次将浮动图像Pc3的倒数第二层与参考图像Pc1的第二层对齐;直到浮动图像Pc3的第一层与参考图像Pc1的最后一层对齐;
步骤STP41中还包括对浮动图像Pc3进行补零和删除的步骤;
若浮动图像Pc3的层数大于参考图像Pc1的层数,则将浮动图像Pc3与参考图像Pc1对齐方向相反的多余图层执行删除命令;
若浮动图像Pc3的层数小于参考图像Pc1的层数,则针对空缺的浮动图像Pc3执行补零命令。
步骤STP42 计算mattes互信息,计算所有浮动图像Pc3与相应对齐的参考图像Pc1的mattes互信息,获得最优互信息值,确定浮动图像Pc3与参考图像Pc1的对应匹配关系。
步骤STP5 选取任一一层浮动图像Pc3n参照对应的参考图像Pc1m进行刚性配准和/或非刚性配准,获得配准后的浮动图像Pc4n;
步骤STP6 重复步骤STP5,直到所有的浮动图像Pc4n配准完毕,获得配准后的浮动图像Pc4;
步骤STP7 分别调整参考图像Pc1和浮动图像Pc4的透明度为30%-70%,获得可目视辨认的图像。值得说明的是,不同的透明度能够改变融合后的图像视觉效果,从技术的角度完全可以实现透明度从0%-100%,但透明度过小会导致照片非常黑暗,致使另一张融合的图像无法通过目视的方式看清;同理,透明度过大则将不能有效目视辨别图像中像素的有效表达;因此,从实际观察的角度,从解决目视清晰辨认的角度,将透明度限定在30%-70%是非常实用的。
有益效果:
本发明通过对不同模态的断层扫描三维图像进行配准和空间融合,能够实现将不同模态处于同一部位,同一断层的图像进行配准,通过根据实际需要改变图像的透明度使得融合后的图像视觉效果能够涵盖融合前各图像已经具备的优点;消除了单一模态图像显示不完整,多种模态图像对位不准的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是浮动图像的断层扫描示意图;
图2是参考图像的断层扫描示意图;
图3是两种模态断层扫描图进行配准前的示意图;
图4是图3配准后的示意图;
图5是实施例1中进行插值的示意图;
图6是实施例2中进行插值的示意图;。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例1:
一种多模态三维图像配准融合方法,用于将通过不同医疗设备针对同一患者的同一部位获取的不同模态的图像Pc1和图像Pc2进行配准并融合为可直接目视辨别的图像,本实施例以MRI图像和CT图像为例进行说明,本实施例以患者胸腹部不明软组织诊断为例,如图1和图2所示,该软组织包裹于多个脏器之间且该不明软组织体积较小,通过CT图像并不能清晰辨别,故而又通过核磁共振的方式对相同目标部位进行检查,分别获得了层厚为5mm的CT图像30层,层厚为1mm的核磁共振MRI图像100层,由于层厚不同,MRI图像和CT图像并不能实现对应,加之较小的目标使得不明软组织无法判别,本实施例采用下述步骤对上述MRI图像和CT图像进行配准,以便于医生的融合查看:
步骤STP1 定义图像:由于需要判别的不明软组织在MRI图像上成像清晰度高于CT图像,在其他脏器和骨质部位的成像在CT图像上较为清晰,故而本实施例将MRI图像定义为参考图像Pc1,将CT图像定义浮动图像Pc2;所述参考图像Pc1是在整个图像配准过程中充当模板标准的图像,整个配准过程中是以参考图像Pc1为参照,不对其本身做任何修改和调整。所述浮动图像Pc2是用于通过包含插值、线性变换和非线性变换在内的调整手段进行处理后以匹配参考图像Pc1的CT图像集合,本实施例共计30张。完成图像定义后,则接下来的处理重点将在浮动图像Pc2上。
步骤STP2 比较层厚:获取参考图像Pc1的层厚h1和浮动图像Pc2的层厚h2,令δ=h1/h2,若δ等于1,则执行STP4;若δ不等于1,则执行STP3;本实施例中参考图像Pc1位MRI图像,其层厚h1=1mm,浮动图像Pc2为CT图像,其层厚h2=5mm,那么δ=1/5;δ为分数则需要进行步骤STP3的插值处理,以使得两种模态的图像能够进行对应配准。
步骤STP3 对浮动图像Pc2进行插值:将浮动图像Pc2的30层CT图像分别进行插值,如图3和图4所示,获得插值后的浮动图像Pc3的层厚变为与MRI图像层厚相同的1mm,层数变成了117层,即在原有的30层的任意相邻两层之间插入3层,插值后如图5所示,也就是在原有的浮动图像Pc2的第一张和最后一张之间共计插入29*3=87张。使得参考图像Pc1的任一一层图像Pc1m始终都能与浮动图像Pc3中的其中一层浮动图像Pc3n对应,(其中m=1-100,n=1-117,本实施例中取值范围均适用,后续不再重复注明);本步骤中述及插值采用线性插值和非线性插值,所述非线性插值采用B样条插值。本实施例中的B样条插值基函数是基于DeBoor算法实现,具体地:
式中p表示B样条的幂次,u为节点,下标i为B样条的序号,由上式可以看出任意p次B样条基函数可由两个相邻的p−1次B样条基函数的线性组合构成。B样条曲线通过下述公式建立:
其中,P i是控制点,N i,p(u)是定义在非周期(并且非均匀)节点矢量上的p次B样条基函数。p为多项式的阶次,由P i构成的多边形称为控制多边形。
关于B样条曲线节点矢量的参数优化采用向心参数化,这样可以获得更加光滑的曲线,对于三次B样条曲线进行插值时有:
化简成矩阵方程的形式:
对于三次B样条开曲线,因节点矢量中首末节点取四重节点,这导致首(末)顶点与首(末)数据点相重,即q0=p0,qn−2=pn,去掉上式首末两个方程,得到:
可简化为:
需要添加额外(两个)边界条件,即n-1个方程可计算n-1个控制点,即:
其中,
速度边界条件为:
故而,通过软件人为给定q 0和q n-2从而可以得到速度连续的插值B样条曲线。值得说明的是,上述方式只是本实施例针对的图像采取的处理方式,若图像的部位为其他部位,譬如人体脑部的图像,成像的边界、区域往往都相对比较清晰,那么则可以采用其他插值处理方式,譬如现有的现有技术插值亦可解决。这对于图像处理领域并非独到的新技术,可以通过多种开源库中已经存在的算法进行处理,以使得满足当前需要,在此就不做一一列举。其中图3中AB区代表目标区域,任何模态的图像断层区间均必须包含AB区间,以确保目标始终在断层扫描区域内;CD区域为浮动图像的整个扫描区间;EF为参考图像的整个扫描区间,但CD区间和EF区间均必须大于等于AB区间。
步骤STP4 通过选取最优互信息获得浮动图像Pc3与参考图像Pc1的最佳匹配关系;步骤STP41 图像对齐,将浮动图像Pc3的最后一层与参考图像Pc1的第一层对齐;其次,依次将浮动图像Pc3的倒数第二层与参考图像Pc1的第二层对齐;直到浮动图像Pc3的第一层与参考图像Pc1的最后一层对齐;如图4所示。
图中,AB区代表目标区域,任何模态的图像断层区间均必须包含AB区间,以确保目标始终在断层扫描区域内;CD区域为浮动图像的整个扫描区间;EF为参考图像的整个扫描区间,但CD区间和EF区间均必须大于等于AB区间。
步骤STP41中还包括对浮动图像Pc3进行补零和删除的步骤;
若浮动图像Pc3的层数大于参考图像Pc1的层数,则将浮动图像Pc3与参考图像Pc1对齐方向相反的多余图层执行删除命令;
若浮动图像Pc3的层数小于参考图像Pc1的层数,则针对空缺的浮动图像Pc3执行补零命令。
步骤STP42 计算mattes互信息,计算所有浮动图像Pc3与相应对齐的参考图像Pc1的mattes互信息,获得最优互信息值,确定浮动图像Pc3与参考图像Pc1的对应匹配关系。其中mattes互信息采用现有开源代码可实现,如在源码中国网站或者国外的专业论坛中有提供多种改进型的执行代码,其内容为现有不做详述。
步骤STP5 选取任一一层浮动图像Pc3n参照对应的参考图像Pc1m进行刚性配准和/或非刚性配准,获得配准后的浮动图像Pc4n;
步骤STP6 重复步骤STP5,直到所有的浮动图像Pc4n配准完毕,获得配准后的浮动图像Pc4;
步骤STP7 分别调整参考图像Pc1的透明度调整为58%,将浮动图像Pc4的透明度调整为50%,叠加放置呈现,获得可目视辨认的图像。
在进行查看时,医生可以任意查看配准后的任一融合图层,且任一融合后的图层均包含了两种模态图像的所有特征,能够直观、准确的表达客观图像情况。
实施例2:
本实施例与实施例1的区别在于步骤STP1-STP3,其他内容相同。具体的,
一种多模态三维图像配准融合方法,用于将通过不同医疗设备针对同一患者的同一部位获取的不同模态的图像Pc1和图像Pc2进行配准并融合为可直接目视辨别的图像,本实施例以MRI图像和CT图像为例进行说明,本实施例以患者胸腹部不明软组织诊断为例,如图1和图2所示,分别获得了层厚为1mm的CT图像100层,层厚为5mm的核磁共振MRI图像20层,由于层厚不同,MRI图像和CT图像并不能实现对应,加之较小的目标使得不明软组织无法判别,本实施例采用下述步骤对上述MRI图像和CT图像进行配准,以便于医生的融合查看:
步骤STP1 定义图像:由于需要判别的不明软组织在MRI图像上成像清晰度高于CT图像,在其他脏器和骨质部位的成像在CT图像上较为清晰,故而本实施例将MRI图像定义为参考图像Pc1,将CT图像定义浮动图像Pc2;所述参考图像Pc1是在整个图像配准过程中充当模板标准的图像,整个配准过程中是以参考图像Pc1为参照,不对其本身做任何修改和调整。所述浮动图像Pc2是用于通过包含插值、线性变换的调整手段进行处理后以匹配参考图像Pc1的CT图像集合,本实施例共计100张。完成图像定义后,则接下来的处理重点将在浮动图像Pc2上。
步骤STP2 比较层厚:获取参考图像Pc1的层厚h1和浮动图像Pc2的层厚h2,令δ=h1/h2,若δ等于1,则执行STP4;若δ不等于1,则执行STP3;本实施例中参考图像Pc1位MRI图像,其层厚h1=5mm,浮动图像Pc2为CT图像,其层厚h2=1mm,那么δ=5;δ不等于1,则需要进行步骤STP3的插值处理,以使得两种模态的图像能够进行对应配准。
步骤STP3 对浮动图像Pc2进行插值:将浮动图像Pc2的100层CT图像分别进行插值,获得插值后的浮动图像Pc3的层厚变为与MRI图像层厚相同的5mm,层数变成了20层,如图6所示,即在原有的100层图像中,以相邻5张图像做线性插值,也就是将原有的浮动图像Pc2的第一张和第五张之间插值为一张新图像,如此插值后,图像数量则减少了100-80=20张。使得参考图像Pc1的任一一层图像Pc1m始终都能与浮动图像Pc3中的其中一层浮动图像Pc3n对应,(其中本实施例中m=1-20,n=1-20,本实施例中取值范围均适用,后续不再重复注明);本实施例中其他后续步骤与实施例1相同,在此不做赘述。
实施例3:
本实施例与实施例1和2的区别在于将不同模态的图像更换为不同层厚,相同模态的图像进行相同处理。
由于相同模态的图像主要的差异在于层厚,因此通过插值能够将不同层厚的图像进行匹配,处理方式与实施例1和实施例2相同。具体根据插值的方式选择对应的插值方式;譬如,若浮动图像的层厚大于参考图像的层厚,那么则应当采用上采样方式进行插值,即实施例1所述方法;同理,若浮动图像的层厚小于参考图像的层厚,则应当采用下采样的方式进行插值,即实施例2所述方法。
实施例4:
本实施例还提供一种零插值的方法,具体地将实施例1的基础上,将步骤STP2和步骤STP3做如下调整:即若所述步骤STP2中浮动图像Pc2的层厚h2小于参考图像Pc1的层厚h1时,则步骤STP3中插值步骤还包括调整层厚h2的步骤,通过调整浮动图像Pc2中的tag信息,将层厚h2数值改为与层厚h1相同。经调整后,浮动图像Pc2的层厚h2等于参考图像Pc1的层厚h1,那么再按照后续配准步骤进行配准融合。
本实施例中的层厚h2的更改相较于实施例2而言的有益效果是能够在原始浮动图像Pc2的基础上实现逐一配准,避免因采用下采样的方式插值造成部分原始数据丢失。
同样采用实施例2中的数据,层厚h1=5mm,层厚h2=1mm,那么,按照实施例2的方式配准,假定参考图像Pc1的第一张与浮动图像Pc2的第一张对齐,那么参考图像Pc1的第二张则需要给浮动图像Pc2的第五张对齐,参考图像Pc1的第三张则需要和浮动图像Pc2的第十张对齐,那么在这种采用下采样线性插值的方式将失去浮动图像Pc2的第2-4张、第6-8张、第11-13张……等图层序列,这将造成更少的配准可能;故而,若根据浮动图像Pc2的原始扫描断层,与参考图像Pc1的理论最佳匹配在该上述丢失的图层序列中,那么采用实施例2中的插值方式的精度将不能达到最高。若将浮动图像Pc2的层厚h2修订为等于参考图像Pc1的层厚h1,那么,浮动图像Pc2的每一张图像都将实现与参考图像Pc1进行逐一配准的机会,不会丢失原始浮动图像Pc2的信息,消除了因插值方式带来的配准误差。即按照本实施例的配准方式参考图像Pc1的第1张与浮动图像Pc2的第1张对齐,那么参考图像Pc1的第2张则需要给浮动图像Pc2的第2张对齐,参考图像Pc1的第3张则需要和浮动图像Pc2的第4张对齐,直到参考图像Pc1的最后一张与浮动图像Pc2的对应图像对齐,每一次配准都是采用整个图像序列之间的配准,直到参考图像Pc1的最后一张与浮动图像Pc2的最后一张对齐为止,选取最佳配准方案,此部分与实施例1、实施例2中的互信息选取最佳方案相同,不做赘述。
在实际修订时,通过采用修改dicom文件中的tag信息来实现对原始浮动图像Pc2中的包括层厚、层编号在内的信息进行修订。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (2)
1.一种多模态三维图像配准融合方法,用于将通过不同医疗设备针对同一患者的同一部位获取的不同模态的图像Pc1和图像Pc2进行配准并融合为可直接目视辨别的图像,其特征在于,由以下步骤组成:
步骤STP1 定义图像:将图像Pc1定义为参考图像,将图像Pc2定义为浮动图像;
步骤STP2 比较层厚:获取参考图像Pc1的层厚h1和浮动图像Pc2的层厚h2,令δ=h1/h2,若δ等于1,则执行STP4;若δ不等于1,则执行STP3;若所述步骤STP2中浮动图像Pc2的层厚h2小于参考图像Pc1的层厚h1时,则步骤STP3中插值步骤还包括调整层厚h2的步骤,通过调整浮动图像Pc2中的tag信息,将层厚h2数值改为与层厚h1相同;
步骤STP3 对浮动图像Pc2进行插值:将浮动图像Pc2进行插值,获得插值后的浮动图像Pc3,使得参考图像Pc1的任一一层图像Pc1m始终都能与浮动图像Pc3中的其中一层浮动图像Pc3n对应;所述步骤STP3中插值采用线性插值和/或非线性插值,所述非线性插值采用B样条插值;
步骤STP4 通过选取最优互信息获得浮动图像Pc3与参考图像Pc1的最佳匹配关系;所述步骤STP4中选取最优互信息的步骤如下:
步骤STP41 图像对齐,将浮动图像Pc3的最后一层与参考图像Pc1的第一层对齐;再依次将浮动图像Pc3的倒数第二层与参考图像Pc1的第二层对齐;直到浮动图像Pc3的第一层与参考图像Pc1的最后一层对齐;
步骤STP42 计算mattes互信息,计算所有浮动图像Pc3与相应对齐的参考图像Pc1的mattes互信息,获得最优互信息值,确定浮动图像Pc3与参考图像Pc1的对应匹配关系;
步骤STP5 选取任一一层浮动图像Pc3n参照对应的参考图像Pc1m进行刚性配准和/或非刚性配准,获得配准后的浮动图像Pc4n;
步骤STP6 重复步骤STP5,直到所有的浮动图像Pc4n配准完毕,获得配准后的浮动图像Pc4;
步骤STP7 分别调整参考图像Pc1和浮动图像Pc4的透明度为30%-70%,获得可目视辨认的图像。
2.根据权利要求1所述的一种多模态三维图像配准融合方法,其特征在于,步骤STP41中还包括对浮动图像Pc3进行补零和删除的步骤;
若浮动图像Pc3的层数大于参考图像Pc1的层数,则将浮动图像Pc3与参考图像Pc1对齐方向相反的多余图层执行删除命令;
若浮动图像Pc3的层数小于参考图像Pc1的层数,则针对空缺的浮动图像Pc3执行补零命令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110370603.0A CN112767299B (zh) | 2021-04-07 | 2021-04-07 | 一种多模态三维图像配准融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110370603.0A CN112767299B (zh) | 2021-04-07 | 2021-04-07 | 一种多模态三维图像配准融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767299A CN112767299A (zh) | 2021-05-07 |
CN112767299B true CN112767299B (zh) | 2021-07-06 |
Family
ID=75691253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110370603.0A Active CN112767299B (zh) | 2021-04-07 | 2021-04-07 | 一种多模态三维图像配准融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767299B (zh) |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9697582B2 (en) * | 2006-11-16 | 2017-07-04 | Visiopharm A/S | Methods for obtaining and analyzing images |
WO2008130906A1 (en) * | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
CN106683065A (zh) * | 2012-09-20 | 2017-05-17 | 上海联影医疗科技有限公司 | 基于Lab空间的图像融合方法 |
KR20150066963A (ko) * | 2013-12-09 | 2015-06-17 | 삼성전자주식회사 | 의료 영상 배치 방법 및 이를 위한 의료 기기 |
CN107610162A (zh) * | 2017-08-04 | 2018-01-19 | 浙江工业大学 | 一种基于互信息与图像分割的三维多模态医学图像自动配准方法 |
WO2019136349A2 (en) * | 2018-01-08 | 2019-07-11 | Progenics Pharmaceuticals, Inc. | Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination |
CN109191510B (zh) * | 2018-07-09 | 2020-05-15 | 研境信息科技(上海)有限公司 | 一种病理切片的3d重建方法及其装置 |
CN110136137A (zh) * | 2019-04-02 | 2019-08-16 | 成都真实维度科技有限公司 | 一种基于断层扫描图数据集进行血管区域分割的方法 |
CN110163867A (zh) * | 2019-04-02 | 2019-08-23 | 成都真实维度科技有限公司 | 一种基于病灶断层扫描图进行自动分割的方法 |
US10790322B1 (en) * | 2019-08-19 | 2020-09-29 | Omnivision Technologies, Inc. | Image sensor for infrared sensing and fabrication method thereof |
CN110533641A (zh) * | 2019-08-20 | 2019-12-03 | 东软医疗系统股份有限公司 | 一种多模态医学图像配准方法和装置 |
CN111260700B (zh) * | 2020-01-09 | 2023-05-30 | 复旦大学 | 一种多参数磁共振图像全自动配准与分割方法 |
CN112150524B (zh) * | 2020-09-29 | 2022-03-11 | 武汉大学 | 一种基于深度学习的二维和三维医学图像配准方法和系统 |
CN112508881A (zh) * | 2020-11-23 | 2021-03-16 | 西安科锐盛创新科技有限公司 | 一种颅内血管图像配准方法 |
CN112508867A (zh) * | 2020-11-23 | 2021-03-16 | 西安科锐盛创新科技有限公司 | 一种模拟化三维颅内血管狭窄分析模型的建立方法 |
-
2021
- 2021-04-07 CN CN202110370603.0A patent/CN112767299B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112767299A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10699410B2 (en) | Automatic change detection in medical images | |
CN112885453B (zh) | 用于标识后续医学图像中的病理变化的方法和系统 | |
US10413253B2 (en) | Method and apparatus for processing medical image | |
US8953856B2 (en) | Method and system for registering a medical image | |
CN109074639B (zh) | 医学成像系统中的图像配准系统和方法 | |
EP2157905B1 (en) | A method for tracking 3d anatomical and pathological changes in tubular-shaped anatomical structures | |
JP5643304B2 (ja) | 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法 | |
CN106659453A (zh) | 用于分割肺部的系统和方法 | |
US10165987B2 (en) | Method for displaying medical images | |
CN111584066B (zh) | 基于卷积神经网络与对称信息的脑部医学影像诊断方法 | |
Varnavas et al. | Increasing the automation of a 2D-3D registration system | |
Kim et al. | Hippocampal shape modeling based on a progressive template surface deformation and its verification | |
CN111815735B (zh) | 一种人体组织自适应的ct重建方法及重建系统 | |
CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
WO2009050676A1 (en) | Pathology-related magnetic resonance imaging | |
Khandelwal et al. | Spine and individual vertebrae segmentation in computed tomography images using geometric flows and shape priors | |
CN116758087B (zh) | 一种腰椎ct骨窗侧隐窝间隙检测方法及装置 | |
JP7457011B2 (ja) | 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法 | |
CN112767299B (zh) | 一种多模态三维图像配准融合方法 | |
Khodadad et al. | B-spline based free form deformation thoracic non-rigid registration of CT and PET images | |
JP2024516930A (ja) | 少なくとも1つのインターフェースにおいて対象物の少なくともゾーンを可視化するための方法 | |
Arsic et al. | Image segmentation of the pulmonary acinus imaged by synchrotron X-ray tomography | |
CN113256754A (zh) | 一种分割后小面积肿瘤块的堆叠投影重建方法 | |
Ingram et al. | The feasibility of endoscopy-CT image registration in the head and neck without prospective endoscope tracking | |
CN111862014A (zh) | 一种基于左右侧脑室分割的alvi自动测量方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230818 Address after: 610000 Tianfu International Biological City, Chengdu, Sichuan Province (Building 3, No. 8 Huigu Road, Shuangliu District) Patentee after: Ruidetai Medical Technology (Chengdu) Co.,Ltd. Address before: Room 801, 8th floor, unit 1, building 6, West Zhigu D District, 166 Wuxing 4th Road, Wuhou New Town Management Committee, Wuhou District, Chengdu, Sichuan 610000 Patentee before: CHENGDU ZHENSHI WEIDU TECHNOLOGY Co.,Ltd. |
|
TR01 | Transfer of patent right |