CN116503623B - 一种用于多图谱图像分割的图谱预选方法 - Google Patents

一种用于多图谱图像分割的图谱预选方法 Download PDF

Info

Publication number
CN116503623B
CN116503623B CN202310763346.6A CN202310763346A CN116503623B CN 116503623 B CN116503623 B CN 116503623B CN 202310763346 A CN202310763346 A CN 202310763346A CN 116503623 B CN116503623 B CN 116503623B
Authority
CN
China
Prior art keywords
image
convolution
intensity
gradient
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310763346.6A
Other languages
English (en)
Other versions
CN116503623A (zh
Inventor
钱庆文
王哲
刘丽霞
张永艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nengmao Technology Co ltd
Original Assignee
Nanjing Nengmao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nengmao Technology Co ltd filed Critical Nanjing Nengmao Technology Co ltd
Priority to CN202310763346.6A priority Critical patent/CN116503623B/zh
Publication of CN116503623A publication Critical patent/CN116503623A/zh
Application granted granted Critical
Publication of CN116503623B publication Critical patent/CN116503623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种用于多图谱图像分割的图谱预选方法,针对多图谱图像分割方法中与目标图像相似性较低的图谱参与标签融合会将低目标组织分割精度的问题,本发明提出一种用于多图谱图像分割的图谱预选方法,该方法利用了梯度卷积核和强度卷积核对配准后的图谱图像进行卷积计算,分别提取了图像的强度特征和形状特征,然后根据图谱图像与目标图像的特征相似性对图谱进行预选。为了验证本发明方法的有效性,本发明采用了IXI图谱数据集对提出方法进行了测试,结果表明,引入本发明提出的图谱预选方法后,可以有效改善原多图谱图像分割方法的精度。

Description

一种用于多图谱图像分割的图谱预选方法
技术领域
本发明涉及一种用于多图谱图像分割的图谱预选方法,属于图像处理领域。
背景技术
多图谱图像分割方法是当前脑皮下组织常用的分割方法之一,该方法通过图像配准将标签中的先验信息映射的到目标图像空间,从而实现目标图像的自动或半自动分割。
在多图谱图像分割领域中,与目标图像相似性较低的图谱参与标签融合会将低目标组织分割精度,因此,在标签融合步骤前,通过图谱预选方法选出与目标图像相似性较高的图像参与后续的分割,可以有效改善分割结果。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种用于多图谱图像分割的图谱预选方法,利用了梯度卷积核和强度卷积核对配准后的图谱图像进行卷积计算,提取图谱图像的特征并与目标图像特征进行对比,该方法能够从图像的强度相似性和形状相似性两个方面对配准后的图谱子图像进行预选。
技术方案:为解决上述技术问题,本发明的一种用于多图谱图像分割的图谱预选方法,包括如下步骤:
步骤一、图像预处理:通过像素值归一化将图像像素值映射到0 ~ 1空间内,并将所有图像扩展至同一尺寸;
步骤二、图谱配准:采用B样条配准方法分别将目标图像与图谱图像进行配准,并保存形变后的图谱强度图像和图谱标签图像;
步骤三、图谱卷积与池化:对配准后的图谱图像分别进行梯度卷积和灰度卷积计算,然后用最大值池化方法对卷积结果进行池化处理,具体设置方式为:
31)第一层卷积与池化:
311)求配准后的图谱图像的像素强度均值,然后分别将每个像素点的强度值减去像素强度均值,并将得到的结果作为该像素点新的强度值;
312)将上述步骤311)获得的图像分别与梯度卷积核和强度卷积核进行卷积计算,并对大于1的卷积结果值进行取反,最后得到四幅梯度卷积结果图像和一幅强度卷积结果图像;
313)采用2×2尺寸的最大值池化方法对上述四幅梯度卷积结果图像和一幅强度卷积结果图像池化处理;
32)第二层卷积与池化:
采用一个固定卷积核对上述步骤2)获得的结果图像进行卷积计算,/>具体计算公式如下:
(7)
采用2×2尺寸的均值池化方法对第二层卷积结果图像进行池化处理;
步骤四、图谱预选:计算形变后的图谱强度图像与目标图像的相似权值,并设置阈值,最后将相似权值大于阈值的形变后的图谱强度图像选出,并用于后续的标签融合。
作为优选,所述步骤一中同一尺寸为256×256×160。
作为优选,所述31)的步骤312)中,层卷积采用了3×3尺寸的两种卷积核进行卷积计算,分别为梯度卷积核和强度卷积核,所述梯度卷积核的具体设置方式为:
采用4种sobel算子对目标图像进行卷积计算,所述/>的具体公式如下:
(1)
(2)
(3)
(4)
通过步骤311)获得的四幅梯度卷积结果图像的像素强度均值,/>,/>,/>,然后将每个梯度卷积结果图像的像素强度值减去该幅图像的像素强度均值,并取反作为梯度卷积核/>,/>具体计算公式如下:
(5)
式中p为步骤311)获得的四幅梯度卷积结果图像对应的卷积核编号,为第p个卷积核对应位置的像素强度值;
所述强度卷积核的具体设置方式为:
计算目标图像的像素强度均值,然后将目标图像中每个像素的像素强度值减去像素强度均值,并取反作为强度卷积核/>,/>具体计算公式如下:
(6)
式中为强度卷积核对应位置的像素强度值。
作为优选,所述步骤四中图谱预选的具体方法为:
41)将步骤三获得的四幅梯度结果图像和一幅强度结果图像分别转换为4×4尺寸的梯度特征图像和强度特征图像,其具体方法为:补充背景像素使步骤三获得的结果图像的边界尺寸扩展为4的倍数,然后采用均值池化方法将扩展后的结果图像转换为4×4尺寸;
42)计算形变后的图谱强度图像与目标图像的相似权值Cout,其计算公式如下:
(8)
(9)
(10)
公式(8)中,/>为加权系数,FC P 为强度卷积核最终获得的特征值,FC g 为梯度卷积核最终获得的特征值;公式(9)中/>为4×4尺寸的强度特征图像的对应位置的特征值;公式(10)中/>,/>,/> ,/>为4×4尺寸的梯度特征图像的对应位置的特征值,A为梯度特征系数,其表达式如下:
(11)
43)设置阈值:设置动态阈值ThrThr计算公式如下:
(12)
公式(12)中为加权系数;
44)图谱预选:将CoutThr的形变后的图谱强度图像选出,用于后续的多图谱图像分割方法。
所述步骤(b)中,选择Dsc>0.75的比率为85%,至少选取的标签图像数目为40进行全连接系数训练;最后根据训练结果调整各个系数,如果比率小于85%,则系数,/>,/>增加一个步长,/>减小一个步长,如果比率大于85%,则系数/>,/>,/>减小一个步长,/>增加一个步长,重复该过程,直至获得最优的/>,/>,/>,/>参数;
(13)
根据公式(13)计算Dsc的值,S为分割方法获得的目标图像分割结果,R为目标图像的标签,函数V为计算目标组织像素数函数。
有益效果:本发明的一种用于多图谱图像分割的图谱预选方法,该方法可以从图谱图像和目标图像之间的强度相似性和形状相似性对图谱图像进行预选;有效解决多图谱图像分割方法中,低相似性的图谱参与标签融合会降低分割精度的问题。
附图说明
图1 为本发明一种用于多图谱图像分割的图谱预选方法的流程图。
图2 为IXI脑部图像图谱预选测试流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示,本发明的一种用于多图谱图像分割的图谱预选方法的流程图具体实施方式如下:
数据选择:选择IXI脑部图像数据集,该数据集包含30组三维人脑部MR图谱,其中每组图谱中包含图谱灰度图像和由医生标记出目标组织的图谱标签图像;选择一组图谱作为目标图谱,其余作为测试图谱。
在本实施例中分别对6个脑皮下组织进行提取,分别是:丘脑、海马体、尾状核、壳核、苍白球和杏仁核。
一种用于多图谱图像分割的图谱预选方法的具体实施方式如下:
1)通过像素值归一化将IXI脑部图像数据集中的图像像素值映射到0 ~ 1空间内,并将所有图像扩展至同一尺寸256×256×160。
2)图谱配准:采用B样条配准方法分别将目标图像与图谱图像进行配准,并保存形变后的图谱强度图像和图谱标签图像。
3)卷积与池化:
从目标组织图像中提取强度卷积核空间和梯度卷积核空间,然后选择3×3大小的卷积核,并选择多卷积核方式对输入图像进行卷积计算,最后对卷积结果进行最大池化;第二层选择固定的卷积核,对上一层结果进行卷积计算,最后对强度卷积结果和梯度卷积结果进行均匀池化。
4) 图谱预选:
A. 设置,/>,/>,/>:从IXI数据中选择25组图像作为训练组,然后通过预选训练获得最佳参数/>,/>,/>,/>,其具体过程如下:
首先,将上述系数的初始值均设置为0.5;然后采用本发明方法对图谱进行预选,最后根据选出的标签图像与目标图像间的重叠率Dsc和选取的标签图像数目作为训练指标对参数,/>,/>,/>进行优化。本实施例选择Dsc>0.75的比率为85%,最少选取的标签图像数目为40进行全连接系数训练;最后根据训练结果调整各个系数,如果比率小于85%,则系数,/>,/>增加一个步长,/>减小一个步长,如果比率大于85%,则系数/>,/>,/>减小一个步长,/>增加一个步长,重复该过程,直至获得最优的/>,/>,/>,/>参数。获得最优值,可从训练次数或参数值趋于不变条件下终止,根据实际设定参数。
(13)
公式(13)中,S为分割方法获得的目标图像分割结果,R为目标图像的标签,函数V为计算目标组织像素数函数,为重叠率,即两个集合的相似度。
B. 采用上一步获得参数,通过公式(8)计算出形变后的图谱强度图像与目标图像的相似权值Cout。
C. 通过公式(12)计算出动态阈值Thr
D. 将Cout ≧Thr的形变后的图谱选出,用于后续的多图谱图像分割方法,将Cout<Thr的形变后的图谱舍弃。
E. 分别采用MV、WV方法对配准后的图谱进行融合,并设置阈值0.5、0.5和0.4对融合结果二值化。
1)结果分析:
表1 本实施例图谱预选方法参数设置
表2引入图谱预选算法后脑皮下组织分割结果(Dsc)
表1为本实施例中一种用于多图谱图像分割的图谱预选方法的各参数设置信息,表2为在MV和WV标签融合方法前引入本发明提出的的图谱预选方法后的脑皮下组织分割结果,从表2中可以看出,引入本发明提出的图谱预选方法后,MV方法获得了0.870的平均Dsc值,WV方法获得了0.902的平均值Dsc值。相比于未引入本发明提出的图谱预选方法,脑皮下组织的平均分割精度分别提高了0.037和0.013。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种用于多图谱图像分割的图谱预选方法,其特征在于,包括如下步骤:
步骤一、图像预处理:通过像素值归一化将图像像素值映射到0 ~ 1空间内,并将所有图像扩展至同一尺寸;
步骤二、图谱配准:采用B样条配准方法分别将目标图像与图谱图像进行配准,并保存形变后的图谱强度图像和图谱标签图像;
步骤三、图谱卷积与池化:对配准后的图谱图像分别进行梯度卷积和灰度卷积计算,然后用最大值池化方法和均值池化方法对卷积结果进行池化处理,具体设置方式为:
31)第一层卷积与池化:
311)求配准后的图谱图像的像素强度均值,然后分别将每个像素点的强度值减去像素强度均值,并将得到的结果作为该像素点新的强度值;
312)将上述步骤311)获得的图像分别与梯度卷积核和强度卷积核进行卷积计算,并对大于1的卷积结果值进行取反,最后得到四幅梯度卷积结果图像和一幅强度卷积结果图像;
313)采用2×2尺寸的最大值池化方法对上述四幅梯度卷积结果图像和一幅强度卷积结果图像池化处理;
32)第二层卷积与池化:
采用一个固定卷积核对步骤313)获得的结果图像进行卷积计算,/>具体计算公式如下:
(7)
采用2×2尺寸的均值池化方法对第二层卷积结果图像进行池化处理;
步骤四、图谱预选:计算形变后的图谱强度图像与目标图像的相似权值,并设置阈值,最后将相似权值大于阈值的形变后的图谱强度图像选出,并用于后续的标签融合;所述步骤四中图谱预选的具体方法为:
41)将步骤三获得的四幅梯度结果图像和一幅强度结果图像分别转换为4×4尺寸的梯度特征图像和强度特征图像,其具体方法为:补充背景像素使步骤三获得的结果图像的边界尺寸扩展为4的倍数,然后采用均值池化方法将扩展后的结果图像转换为4×4尺寸;
42)计算形变后的图谱强度图像与目标图像的相似权值Cout,其计算公式如下:
(8)
(9)
(10)
公式(8)中,为加权系数,FC P 为强度卷积核最终获得的特征值,FC g 为梯度卷积核最终获得的特征值;公式(9)中为4×4尺寸的强度特征图像的对应位置的特征值;公式(10)中,/>,/>,/>为4×4尺寸的梯度特征图像的对应位置的特征值,A为梯度特征系数,a1、a2、a3为系数值,其表达式如下:
(11)
43)设置阈值:设置动态阈值ThrThr计算公式如下:
(12)
公式(12)中χ为加权系数;
44)图谱预选:将CoutThr的形变后的图谱强度图像选出,用于后续的多图谱图像分割方法。
2.根据权利要求1所述的一种用于多图谱图像分割的图谱预选方法,其特征在于,所述步骤一中同一尺寸为256×256×160。
3.根据权利要求1所述的一种用于多图谱图像分割的图谱预选方法,其特征在于,所述31)的步骤312)中,卷积层采用了3×3尺寸的两种卷积核进行卷积计算,分别为梯度卷积核和强度卷积核,所述梯度卷积核的具体设置方式为:
采用4种sobel算子对目标图像进行卷积计算,所述/>的具体公式如下:
(1)
(2)
(3)
(4)
通过步骤311)获得的四幅梯度卷积结果图像的像素强度均值,/>,/>,/>,然后将每个梯度卷积结果图像的像素强度值减去该梯度卷积结果图像的像素强度均值,并取反作为梯度卷积核/>,/>具体计算公式如下:
(5)
式中p为步骤311)获得的四幅梯度卷积结果图像对应的卷积核编号,x sp1~ x sp9为第p个卷积核对应位置的像素强度值;
所述强度卷积核的具体设置方式为:
计算目标图像的像素强度均值,然后将目标图像中每个像素的像素强度值减去像素强度均值,并取反作为强度卷积核/>,/>具体计算公式如下:
(6)
式中为强度卷积核对应位置的像素强度值。
4.根据权利要求3所述的一种用于多图谱图像分割的图谱预选方法,其特征在于,所述步骤四中,/>,A,χ最优值采用以下方法获得:
(a)将上述系数的初始值均设置为0.5;
(b)然后对图谱进行预选,最后根据选出的标签图像与目标图像间的重叠率Dsc和选取的标签图像数目作为训练指标对参数,/>,A,χ进行优化。
CN202310763346.6A 2023-06-27 2023-06-27 一种用于多图谱图像分割的图谱预选方法 Active CN116503623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310763346.6A CN116503623B (zh) 2023-06-27 2023-06-27 一种用于多图谱图像分割的图谱预选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310763346.6A CN116503623B (zh) 2023-06-27 2023-06-27 一种用于多图谱图像分割的图谱预选方法

Publications (2)

Publication Number Publication Date
CN116503623A CN116503623A (zh) 2023-07-28
CN116503623B true CN116503623B (zh) 2023-09-01

Family

ID=87325180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310763346.6A Active CN116503623B (zh) 2023-06-27 2023-06-27 一种用于多图谱图像分割的图谱预选方法

Country Status (1)

Country Link
CN (1) CN116503623B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093190A (zh) * 2017-04-17 2017-08-25 哈尔滨理工大学 一种基于多图谱标签融合的医学图像配准算法
CN109523512A (zh) * 2018-10-17 2019-03-26 哈尔滨理工大学 一种基于多图谱标签融合的医学图像自动分割方法
CN113506333A (zh) * 2021-09-09 2021-10-15 之江实验室 基于可变形图谱的医学影像配准网络训练数据集扩充方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160357B2 (en) * 2010-07-30 2012-04-17 Kabushiki Kaisha Toshiba Image segmentation
US9406142B2 (en) * 2013-10-08 2016-08-02 The Trustees Of The University Of Pennsylvania Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093190A (zh) * 2017-04-17 2017-08-25 哈尔滨理工大学 一种基于多图谱标签融合的医学图像配准算法
CN109523512A (zh) * 2018-10-17 2019-03-26 哈尔滨理工大学 一种基于多图谱标签融合的医学图像自动分割方法
CN113506333A (zh) * 2021-09-09 2021-10-15 之江实验室 基于可变形图谱的医学影像配准网络训练数据集扩充方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于U-Net的多图谱标签融合算法;芦玥 等;《液晶与显示》;第1091-1103页 *

Also Published As

Publication number Publication date
CN116503623A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN106940816B (zh) 基于3d全卷积神经网络的ct图像肺结节检测系统
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110705555B (zh) 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN105957063B (zh) 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN109492668B (zh) 基于多通道卷积神经网络的mri不同期多模图像表征方法
JPH11501538A (ja) 医用画像において病巣を検出する方法及びシステム
CN109753997B (zh) 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法
CN112862824A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN110717518B (zh) 基于3d卷积神经网络的持续性肺结节识别方法及装置
CN113592794B (zh) 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN113793348B (zh) 一种视网膜血管分割方法和装置
CN110599500A (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN107909588A (zh) 基于三维全卷积神经网络的mri皮质下分区系统
CN116630971B (zh) 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法
CN109949321B (zh) 基于三维Unet网络的脑部核磁共振图像组织分割方法
CN116503623B (zh) 一种用于多图谱图像分割的图谱预选方法
CN112950611A (zh) 一种基于ct图像的肝脏血管分割方法
CN113191393A (zh) 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及系统
Otani et al. Segmentation of head MR images using hybrid neural networks of unsupervised learning
CN113658193B (zh) 基于信息融合的肝脏ct影像肿瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant