CN103268605B - 基于高阶统计形变模型的脑图谱与脑图像配准方法 - Google Patents
基于高阶统计形变模型的脑图谱与脑图像配准方法 Download PDFInfo
- Publication number
- CN103268605B CN103268605B CN201310179654.0A CN201310179654A CN103268605B CN 103268605 B CN103268605 B CN 103268605B CN 201310179654 A CN201310179654 A CN 201310179654A CN 103268605 B CN103268605 B CN 103268605B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- brain
- tensor
- brain map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于高阶统计形变模型的脑图谱与脑图像配准方法,具体过程为:步骤一、选取三维脑图谱I,选取N幅三维脑图像Mi作为训练样本,采用仿射配准法,将Mi配准到三维脑图谱I上得到然后采用非刚体配准方法将图像配准到三维脑图谱I上,得到一系列变形场矢量fi;步骤二、变形场矢量fi构成一个4阶张量Ai,求解所述张量Ai的均值并令将的估计值用一个低维4阶核心张量和4个基矩阵表示;最小化获得基矩阵的最优解;将变形场矢量构成的张量Ai通过一个低维4阶核心张量以及最优解表示;步骤三、基于获得的Ai对所需配准的图形进行变形,得到SD;步骤四、采用非刚体配准方法将图像SD配准到脑图谱I上。
Description
技术领域
本发明涉及医学图像处理技术领域,具体涉及一种基于高阶统计形变模型的脑图谱与脑图像配准方法。
背景技术
人们已经可以获得大脑的解剖和功能的高维图像,这些给临床诊断,外科手术的计划和引导,疾病治疗等带来了革命性的变化。在这些应用中,很重要的一点就是要确定重要区域,即感兴趣区位于图像的哪个部位。过去医生通常是从解剖书籍,图谱及自身经验来对感兴趣区做出判断,即使是经验丰富的医生,也很难与患者的实际图像联系起来,更不用说缺乏临床经验的医生。而数字化脑图谱可以很好的解决这一问题。
数字化脑图谱是用某种特定的扫描装置获取的脑部数据经3D分割处理,加上解剖标识再辅以3D可视化技术的结果。借助于数字脑图谱,医生可以在3D空间对人脑中感兴趣的对象任意缩放、旋转和平移,做认真细致的观察,这就为手术计划提供了重要的参考信息。它也是神经解剖教学的良好工具,使人们很容易了解各神经解剖结构间的空间关系。数字脑图谱有详细的解剖标识,这一性质使它可以作为图像分割的标准模板,对任何待分析的脑图像的多个感兴趣区域同时做特征描述。
目前国内外学者已经做了大量工作,并开发出了一些数字化脑图谱,比较有代表性的有有Talairach脑图谱,WholeBrain脑图谱,VOXEL-MAN脑图谱,BrainWeb脑图谱等。
在使用数字化脑图谱的时候,需要将图谱配准到病患者的脑图像上,或将病患者的脑图像配准到图谱上,这样可以很方便的确定有关感兴趣区对应在患者图像上的位置。因此配准算法起着非常关键的作用。
目前非刚体配准遇到的一个很大的问题是配准速度以及精度。这个问题一直很难解决。现在的配准算法都包含很多参数,在一些情况下,使用默认参数下会发生失配,这时候需要调整参数,一般的配准算法需要的时间都比较长,当遇到这种情况时,需要多次调整有关参数,这样会给使用带来很多不便,尤其是不适合临床应用。
发明内容
有鉴于此,本发明提出了一种基于高阶统计形变模型的脑图谱与脑图像配准方法。该方法可提高配准的速度、精度和成功率。
实现本发明的技术方案如下:
一种基于高阶统计形变模型的脑图谱与脑图像配准方法,具体过程为:
符号定义:令符号F×n表示张量F的模式n矩阵;
步骤一、选取大小为Nx×Ny×Nz的三维脑图谱I,选取N幅三维脑图像Mi作为训练样本,i=1,2,…,N;首先采用仿射配准法,将各三维脑图像Mi配准到三维脑图谱I上,得到N幅图像并记为然后采用非刚体配准方法将图像配准到三维脑图谱I上,若存在失配的情况时,则修改刚体配准方法的配准参数,保证最终将图像都配准到三维脑图谱I上,得到一系列变形场矢量fi,fi的大小为Nx×Ny×Nz×3,变形场矢量fi构成一个I1×I2×I3×I4的4阶张量Ai,其中I1=Nx,I2=Ny,I3=Nz,I4=3;
步骤二、求解所述张量Ai的均值并令将的估计值用一个低维4阶核心张量和4个基矩阵U(1),U(2),U(3),U(4)表示,即 最小化获得U(1),U(2),U(3),U(4)的最优解将变形场矢量构成的张量Ai通过一个低维4阶核心张量以及该步骤中得到的最优解表示,即:
步骤三、对于任意一个需要配准的脑图像S,用仿射配准法将其配准到脑图谱I上,得到图像SA;然后对低维4阶核心张量进行优化,计算出优化后的Ai,并将优化后的Ai作用到图像SA上得到图像SD;
若此时图像SD和脑图谱I的相似度满足预设要求,则进入步骤四,否则继续优化直至图像SD和脑图谱I的相似度满足预设要求为止,然后进入步骤四;
步骤四、采用非刚体配准方法将图像SD配准到脑图谱I上。
进一步地,本发明所述非刚体配准法为B样条配准法、HAMMER配准法、DEMO配准法或流体配准法
有益效果
本发明通过利用低维4阶核心张量和4个基矩阵来表示变形场矢量,这样大大降低了变形场矢量的大小,因此本发明可以很好的提高配准的速度;同时,本发明通过对核心张量进行优化,直到脑图像SD和脑图谱I相似度满足要求为止,这样可以提高配准的精度和成功率。
附图说明
图1为本发明配准方法的流程图;
图2为配准点F配准和得到的变形场示意图;
图3为3维张量展开成各个模式矩阵的。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示,本发明基于高阶统计形变模型的脑图谱与脑图像配准方法,具体过程为:
步骤一、选取大小为Nx×Ny×Nz的三维脑图谱I,选取N幅三维脑图像Mi作为训练样本,i=1,2,…,N,首先采用仿射配准法,将各三维脑图像Mi配准到三维脑图谱I上,得到N幅图像并记为进行该配准可以使得到的图像的大小与三维脑图谱I的大小相近,为接下来的进一步配准做准备。
然后采用任意已知的非刚体配准方法(B样条配准,HAMMER配准,DEMO配准,流体配准等),将图像配准到三维脑图谱I上,如果碰到失配情况,通过手工修改刚体配准方法的配准参数,保证最终能将图像都配准到三维脑图谱I上,得到一系列变形场矢量fi,大小为Nx×Ny×Nz×3,且变形场矢量fi构成一个I1×I2×I3×I4的4阶张量Ai,其中I1=Nx,I2=Ny,I3=Nz,I4=3,
本发明各非刚体配准方法为现有技术,各方法在配准的过程中都需要进行配准参数的设定,例如若采用B样条配准方法时,配准参数为控制点的位置等,因此可以通过调节控制点的位置来使得各图像都可以成功配准到三维脑图谱I上,具体的过程为现有技术,因此在此不作详细说明。
所述变形场矢量fi为:在图像上各点移动到三维脑图谱I空间上的位移,当图像上一个点配准到三维脑图谱I上所产生的一个变形场矢量在三维空间上存在分量,由于图像在三维空间上存在一系列待配准的点,因此这些点经过一一配准之后得到的变形矢量场fi的大小为Nx×Ny×Nz×3。
如图2所示,设图1中左边的立体图形为图像右边的立体图形为三维脑图谱I,将图像配准到三维脑图谱I上时,配准点F的位置发生了变化,则该变化即为点F配准后得到的变形矢量场。
通常情况下进行配准的三维脑图像所包含的数据非常多,因此步骤一进行配准之后得到的变形场矢量fi包含的数据量将会非常大,因此步骤二对fi进行处理,以求获得一个包含数据量小的变形场矢量(即步骤二中最终得到的张量Ai)。
步骤二、求解所述张量Ai的均值并令其中也为I1×I2×I3×I4的4阶张量;
在这里将会用到张量的乘法,例如一个N阶张量I1×I2×……×IN可以展开为一个大小为In×(I1·I2…In-1·In+1…IN)的矩阵,即以第n维为标准展开称为模式n(mode-n),如图3所示,一个3维张量展开成3个模式矩阵的图示说明。其中Mode-1maxtrixF(1)表示为模式1,其中展开得到的向量包括I1行和I2×I3列,Mode-2maxtrixF(2)和Mode-3maxtrixF(3)与Mode-1maxtrixF(1)相类似。同时,大小为In×(I1·I2…In-1·In+1…IN)的张量Ai的模式n矩阵可与任意一大小为Jn×In的矩阵U相乘,相乘结果的表示形式为Ai×nU,Ai×n表示张量Ai的模式n矩阵。
通过采用Turkcy模型,的估计值可以使用一个低维4阶核心张量(维数为J1×J2×J3×J4,J1<<I1,J2<<I2,J3<<I3,J4<=3,该维数人为确定)和4个基矩阵U(1),U(2),U(3),U(4)来表示,即其中表示张量的模式1矩阵,表示张量的模式1矩阵与矩阵U(1)相乘结果(即)的模式2矩阵,并依次类推。
通过最小化如下函数获得U(1),U(2),U(3),U(4)的最优解
式(1)和式(3)等价
通过现有技术求解公式(3)的最大值,则可以得到最优解
将变形场矢量构成的张量Ai通过一个低维4阶核心张量以及该步骤中得到的最优解表示,即:
步骤二就是为了得到包含的数据量相对较小的、变形场矢量所构成的张量Ai的表示形式,其为步骤三和四对任意一需要配准的脑图像的配准提供支持。
步骤三、对于任意一个需要配准的脑图像S,用仿射配准法将其配准到脑图谱I上,得到图像SA。然后采用任意一种经典的优化算法(Powell),优化方程(4)中的核心张量中的各个元素,这些元素的初始值设为1;不同的核心张量可以表示不同的变形场,将该变形场作用到图像SA上,可以得到不同的变形图像SD,最优的变形场对应的变形图像SD和脑图谱I具有最大相似性度量,此时得到最优的相似性度量可以采用互信息(MI),相关系数(CC),最小平方差(SSD)等。
本步骤中对低维4阶核心张量进行优化,计算出优化后的Ai,并将优化后的Ai作用到图像SA上得到图像SD;若此时图像SD和脑图谱I的相似度满足预设要求(该要求可以根据需要进行设置),则进入步骤四,否则继续优化直至图像SD和脑图谱I的相似度满足预设要求为止,然后进入步骤四。
步骤四、采用步骤一中用过的非刚体配准方法进一步将图像SD配准到脑图谱I上。由于SD和I已经很相似了,所以采用默认参数即可,且收敛很快。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于高阶统计形变模型的脑图谱与脑图像配准方法,其特征在于,具体过程为:符号定义:令符号F×n表示张量F的模式n矩阵;
步骤一、选取大小为Nx×Ny×Nz的三维脑图谱I,选取N幅三维脑图像Mi作为训练样本,i=1,2,…,N;首先采用仿射配准法,将各三维脑图像Mi配准到三维脑图谱I上,得到N幅图像并记为然后采用非刚体配准方法将图像配准到三维脑图谱I上,若存在失配的情况时,则修改非刚体配准方法的配准参数,保证最终将图像都配准到三维脑图谱I上,得到一系列变形场矢量fi,fi的大小为Nx×Ny×Nz×3,且变形场矢量fi构成一个4阶张量Ai;
步骤二、求解所述张量Ai的均值并令将的估计值用一个低维4阶核心张量和4个基矩阵U(1),U(2),U(3),U(4)表示,即
最小化获得U(1),U(2),U(3),U(4)的最优解将变形场矢量构成的张量Ai通过低维4阶核心张量以及步骤三中得到的最优解表示,即:
进行步骤二后,得到简化后的4阶张量Ai;
步骤三、对于任意一个需要配准的脑图像S,用仿射配准法将其配准到脑图谱I上,得到图像SA;然后对低维4阶核心张量进行优化,计算出优化后的Ai,并将优化后的Ai作用到图像SA上得到图像SD;
若此时图像SD和脑图谱I的相似度满足预设要求,则直接进入步骤四,否则继续优化直至图像SD和脑图谱I的相似度满足预设要求为止,然后进入步骤四;
步骤四、采用非刚体配准方法将图像SD配准到脑图谱I上。
2.根据权利要求1所述基于高阶统计形变模型的脑图谱与脑图像配准方法,其特征在于,所述非刚体配准法为B样条配准法、HAMMER配准法、DEMO配准法或流体配准法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310179654.0A CN103268605B (zh) | 2013-05-15 | 2013-05-15 | 基于高阶统计形变模型的脑图谱与脑图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310179654.0A CN103268605B (zh) | 2013-05-15 | 2013-05-15 | 基于高阶统计形变模型的脑图谱与脑图像配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103268605A CN103268605A (zh) | 2013-08-28 |
CN103268605B true CN103268605B (zh) | 2015-12-23 |
Family
ID=49012232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310179654.0A Expired - Fee Related CN103268605B (zh) | 2013-05-15 | 2013-05-15 | 基于高阶统计形变模型的脑图谱与脑图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103268605B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106062782B (zh) * | 2014-02-27 | 2020-03-06 | 皇家飞利浦有限公司 | 针对基于图集的配准的无监督的训练 |
EP3206617B1 (en) * | 2014-10-17 | 2019-11-27 | Koninklijke Philips N.V. | System for real-time organ segmentation and tool navigation during tool insertion in interventional therapy |
CN104523275A (zh) * | 2014-12-25 | 2015-04-22 | 西安电子科技大学 | 一种健康人群白质纤维束图谱构建方法 |
CN104933672B (zh) * | 2015-02-26 | 2018-05-29 | 浙江德尚韵兴图像科技有限公司 | 基于快速凸优化算法配准三维ct与超声肝脏图像的方法 |
CN106920228B (zh) * | 2017-01-19 | 2019-10-01 | 北京理工大学 | 脑图谱与脑图像的配准方法及装置 |
CN110782488B (zh) * | 2019-10-11 | 2022-08-12 | 华中科技大学 | 一种基于形状约束的连续脑片图像三维配准方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1725245A (zh) * | 2004-07-22 | 2006-01-25 | 中国科学院自动化研究所 | 一种基于粘弹性模型的非刚体医学图像配准方法 |
CN1818974A (zh) * | 2006-03-08 | 2006-08-16 | 杭州电子科技大学 | 一种多模态医学体数据三维可视化方法 |
-
2013
- 2013-05-15 CN CN201310179654.0A patent/CN103268605B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1725245A (zh) * | 2004-07-22 | 2006-01-25 | 中国科学院自动化研究所 | 一种基于粘弹性模型的非刚体医学图像配准方法 |
CN1818974A (zh) * | 2006-03-08 | 2006-08-16 | 杭州电子科技大学 | 一种多模态医学体数据三维可视化方法 |
Non-Patent Citations (1)
Title |
---|
RABBIT: Rapid alignment of brains by building intermediate templates;Songyuan Tang et al.;《NeuroImage》;20091231;第47卷;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103268605A (zh) | 2013-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103268605B (zh) | 基于高阶统计形变模型的脑图谱与脑图像配准方法 | |
CN110288695B (zh) | 基于深度学习的单帧图像三维模型表面重建方法 | |
Zhao et al. | Tracking-by-detection of surgical instruments in minimally invasive surgery via the convolutional neural network deep learning-based method | |
EP2369553B1 (en) | Three-dimensional template transformation method and apparatus | |
CN109377520B (zh) | 基于半监督循环gan的心脏图像配准系统及方法 | |
CN106920228B (zh) | 脑图谱与脑图像的配准方法及装置 | |
Brunet et al. | Physics-based deep neural network for augmented reality during liver surgery | |
US8861891B2 (en) | Hierarchical atlas-based segmentation | |
Özgür et al. | Preoperative liver registration for augmented monocular laparoscopy using backward–forward biomechanical simulation | |
CN102525662A (zh) | 组织器官三维可视化手术导航方法和系统 | |
US20220335600A1 (en) | Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection | |
JP2021504830A (ja) | 画像内のオブジェクトをセグメント化するためのセグメンテーションシステム | |
CN107067398A (zh) | 用于三维医学模型中缺失血管的补全方法及装置 | |
CN104318554B (zh) | 基于三角剖分优化匹配的医学影像刚性配准方法 | |
CN102663818A (zh) | 颅颌面三维形貌模型的构建方法及其装置 | |
KR20210104190A (ko) | 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램 | |
CN110993067A (zh) | 医学影像标注系统 | |
Yekutieli et al. | Analyzing octopus movements using three-dimensional reconstruction | |
CN103345774A (zh) | 一种三维多尺度矢量化的建模方法 | |
DE112022001343T5 (de) | Vorschlag für einen Rand mittels neuronalem Netzwerkwerk | |
CN101996415B (zh) | 眼球的三维建模方法 | |
CN111369662A (zh) | Ct图像中血管的三维模型重建方法及系统 | |
CN117252820A (zh) | 基于多模影像与交互设备的解剖导航构建方法及装置 | |
CN111105502A (zh) | 基于人工骨修复材料的生物肋骨鼻及下颌仿真整形技术 | |
CN107507129B (zh) | 一种中文字符缩放方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151223 Termination date: 20160515 |