CN116523926A - 多任务骨关节ct/mri融合的组织精准分割建模方法及装置 - Google Patents

多任务骨关节ct/mri融合的组织精准分割建模方法及装置 Download PDF

Info

Publication number
CN116523926A
CN116523926A CN202310317760.4A CN202310317760A CN116523926A CN 116523926 A CN116523926 A CN 116523926A CN 202310317760 A CN202310317760 A CN 202310317760A CN 116523926 A CN116523926 A CN 116523926A
Authority
CN
China
Prior art keywords
segmentation
image
tissue
attention
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310317760.4A
Other languages
English (en)
Inventor
宋红
张子昂
杨雨霖
杨健
范敬凡
付天宇
肖德强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202310317760.4A priority Critical patent/CN116523926A/zh
Publication of CN116523926A publication Critical patent/CN116523926A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Abstract

多任务骨关节CT/MRI融合的组织精准分割建模方法与装置,能够实现不同模态下图像噪点干扰去除,摆脱人工标注组织分割的操作,提高骨关节骨组织及软组织分割与建模准确度。方法包括:(1)针对临床医学影像CT/MRI,通过级联监督去噪及弱监督来进行影像增强;(2)将经增强处理的临床影像反馈到边缘注意力监督进行硬组织分割;(3)通过双重先验监督实现软组织分割,后者需要前者生成的硬组织分割结果作为先验引导。

Description

多任务骨关节CT/MRI融合的组织精准分割建模方法及装置
技术领域
本发明涉及医学影像分析与机器学习的技术领域,尤其涉及一种多任务骨关节CT/MRI融合的组织精准分割建模方法,以及多任务骨关节CT/MRI融合的组织精准分割建模装置。
背景技术
关节置换手术作为治疗类风湿性关节炎等骨关节疾病的重要方法,可以有效解决关节的疼痛、骨位畸形、活动角度受限等问题。传统的人工关节置换手术依赖于术者的手术工具、手术经验以及与患者的沟通效果,容易出现关节假体安放不准确等问题,导致假体移位、磨损等一系列手术后遗症。
基于上述问题,机器人辅助关节置换手术应运而生。机器人辅助关节置换手术相比于传统人工操作,可以实现更精准的假体植入,对关节周围软组织结构保护更好,术者的学习曲线更短,术后患者的满意度更高。而目前的临床操作中,术前规划是基于医学工作者针对CT/MRI等影像,通过人机交互的方式手工进行骨关节组织分割与三维建模。
近年来,随着机器学习技术尤其是深度学习技术的迅猛发展,深度学习已经成为图像分析领域的重要工具。相比于传统的人工医学影像分析,基于深度学习的方法可以规避影像分析人员的认识主观性与局限性,加快分析速度,提高分析准确性。目前,深度学习方法已经广泛应用于医学图像检测、分类、分割、重建、合成等任务中。
临床医学影像中普遍存在的噪声,如CT低剂量灌注噪声、MR莱斯噪声以及高斯噪声等,会干扰到各种组织的拓扑结构以及边缘表示,使得深度神经网络模型提取出错误的特征;而人工标注差异会影响模型的训练,不利于参数收敛,从而降低模型的分割准确性与鲁棒性。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种多任务骨关节CT/MRI融合的组织精准分割建模方法,其能够实现噪点干扰去除,摆脱人工操作,提高骨关节骨组织及软组织分割与建模准确度。
本发明的技术方案是:这种基于多任务骨关节CT/MRI融合的组织精准分割建模方法,其包括以下步骤:
(1)针对临床医学影像CT/MRI,通过级联监督去噪及弱监督来进行影像增强;
(2)将经过增强处理的临床影像反馈到边缘注意力监督进行硬组织分割;
(3)通过双重先验监督进行软组织分割,后者需要前者所生成的硬组织分割结果作为先验引导。
本发明使用深度学习的方法,面向关节置换手术,针对术前的骨关节组织分割与建模,提出了一整套摆脱人工操作的解决方案。首先针对临床医学影像噪声大,人工标注差异大的问题,进行数据增强;再通过深度神经网络提取各类组织特征,将骨性组织分割结果和软组织解剖学特征作为先验信息,实现骨性组织与复杂软组织的精准高效分割;最后基于骨关节组织分割模型,生成三维模型。因此能够实现噪点干扰去除,摆脱人工操作,提高骨关节骨组织及软组织分割与建模准确度。
本发明提供了多任务骨关节CT/MRI融合的组织精准分割建模网络模块,其包括:
影像增强模块,其配置来针对临床医学影像CT/MRI,通过级联监督去噪及弱监督来进行影像增强;
硬组织分割模块,将经增强处理的临床影像反馈到边缘注意力监督进行硬组织分割;
软组织分割模块,通过双重先验监督进行软组织分割,后者需要前者所生成的硬组织分割结果作为先验引导。
附图说明
图1是根据本发明的多任务骨关节CT/MRI融合的组织精准分割建模方法的流程图。
图2是根据本发明的基于级联层级监督机制的噪点去除的流程图。
图3是根据本发明的基于弱监督机制的骨关节分割标记数据增强的流程图。
图4是根据本发明的基于边缘注意力监督引导的骨性关键软组织分割的流程图。
图5是根据本发明的基于双重注意力编码的骨性结构边缘特征提取的流程图。
图6是根据本发明的融合骨性组织分割及软组织解剖先验知识引导的关键软组织分割的流程图。
具体实施方式
如图1所示,这种多任务骨关节CT/MRI融合的组织精准分割建模方法,其包括以下步骤:
(1)针对临床医学影像CT/MRI,通过级联监督去噪及弱监督来进行影像增强;
(2)将经过增强处理的临床影像反馈到边缘注意力监督进行硬组织分割,通过双重先验监督进行软组织分割,后者需要前者所生成的硬组织分割结果作为先验引导;
(3)将硬组织分割结果与软组织分割结果融合输入,进行点云局部特征描述关键解剖及力线计算,生成下肢力线定位结果。
本发明使用深度学习的方法,面向关节置换手术,针对术前的骨关节组织分割与建模,提出了一整套摆脱人工操作的多任务骨关节CT/MRI组织精准分割解决方案。首先针对临床医学影像噪声大,人工标注差异大的问题,进行数据增强;再通过深度神经网络提取各类组织特征,将骨性组织分割结果和软组织解剖学特征作为先验信息,实现骨性组织与复杂软组织的精准高效分割;最后基于骨关节组织分割模型,生成三维模型。因此能够实现噪点干扰去除,摆脱人工操作,提高骨关节骨组织及软组织分割与建模准确度。
优选地,所述步骤(1)包括以下分步骤:
(1.1)基于多模态影像级联多元监督机制的影像增强;
(1.2)基于弱监督引导机制的骨关节分割标记数据增强。
优选地,所述步骤(1.1)中,首先将输入的术前MR图像反馈到级联的层级监督模块,学习提取图像中不同类型与尺度的噪点特征,再将噪点特征进行融合,由原MR图像与噪点特征图逐像素相减得到混合图像,最后通过自适应卷积滤波对混合图像进行降采样滤波,得到去噪后的MR图像。
优选地,所述步骤(1.2)中,输入图像通过弱监督注意力学习生成对应的注意力图来表示图像显著特征部分,再由随机选择注意力图使用注意力裁剪与注意力删除的方式来增强输入图像,将输入图像与增强后的图像同时作为迭代训练数据,通过弱监督学习输出目标的类别概率和注意力图,再通过目标定位和精炼定位目标位置,最后将前两个阶段的数据进行级联通道融合,输出学习后的骨关节数据增强影像。
优选地,所述步骤(2)中,将边缘检测分割和语义分割集成到一个网络,设计出一个融合边缘注意力模块的语义分割网络,基于边缘注意力引导分割过程;网络基于双重注意力模块引导编码器学习不同尺度的骨性组织特征表示,并使用加权聚合模块引导解码器聚合多尺度特征表示,在学习到高层语义特征的同时保留低层的局部边缘特征,提高模块对不同类别骨性组织的分割精度;其中,双重注意力模块融合空间注意力机制和通道注意力机制,增强骨性结构的特征表示,得到显著性特征图。
优选地,所述步骤(3)包括以下分步骤:
(3.1)基于软组织解剖信息及骨性组织分割信息提取与融合;
(3.2)基于软组织解剖先验及骨性组织分割先验引导的软组织分割。
优选地,所述步骤(3.1)中,使用带有反向连接的深度卷积神经网络模型,结合多尺度模态特征融合,建立一种基于多尺度特征图像的多通道特征融合框架,来提取关键软组织解剖特征信息以及骨性组织分割的特征信息;针对输入图像并行执行多尺度卷积运算与池化操作,并将所有计算结果拼接为一个深度特征图;在图像进行前向卷积的过程中,前面卷积计算结果同时作为后面卷积的一部分输入进行特征融合;通过使用卷积层和池化层将输入图像转化为高维度的特征图像,同时提取其中的高维特征,使用反向连接来把转换后的高维特征图像作为输入输送进前一层卷积层中,利用反卷积和上池化操作来将当前层的特征图像降维到前一层维度大小,并将其与原输入进行特征通道上的级联进行特征融合;基于以上多尺度特征提取以及反向连接的操作,提取并融合深层的软组织解剖特征信息以及骨性组织分割特征信息。
优选地,所述步骤(3.2)中,骨关节MR影像和骨性组织分割结果作为两个不同的先验特征编码器的输入,通过多元特征级联的方式将不同维度下骨性组织的先验分割特征信息以及软组织解剖先验分割信息作为网络引导输入到局部监督子网络中,在不同子网络之间进行多元特征融合,最后输出关键软组织结构分割图像。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括上述实施例方法的各步骤,而所述的存储介质可以是:ROM/RAM、磁碟、光盘、存储卡等。因此,与本发明的方法相对应的,本发明还同时包括一种多任务骨关节CT/MRI融合的组织精准分割建模装置。该装置包括:
影像增强模块,其配置来针对临床医学影像CT/MRI,通过级联监督去噪及弱监督来进行影像增强;
硬组织分割模块,将经增强处理的临床影像反馈到边缘注意力监督进行硬组织分割;
软组织分割模块,通过双重先验监督进行软组织分割,后者需要前者所生成的硬组织分割结果作为先验引导。
优选地,所述硬组织分割模块执行:
(1.1)基于多模态影像级联多元监督机制的影像增强;
(1.2)基于弱监督引导机制的骨关节分割标记数据增强;
所述硬组织分割模块执行:将边缘检测分割和语义分割集成到一个网络,设计出一个融合边缘注意力模块的语义分割网络,基于边缘注意力引导分割过程;网络基于双重注意力模块引导编码器学习不同尺度的骨性组织特征表示,并使用加权聚合模块引导解码器聚合多尺度特征表示,在学习到高层语义特征的同时保留低层的局部边缘特征,提高模块对不同类别骨性组织的分割精度;其中,双重注意力模块融合空间注意力机制和通道注意力机制,增强骨性结构的特征表示,得到显著性特征图;
所述软组织分割模块执行:
(3.1)基于软组织解剖信息及骨性组织分割信息提取与融合;
(3.2)基于软组织解剖先验及骨性组织分割先验引导的软组织分割。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。

Claims (10)

1.多任务骨关节CT/MRI融合的组织精准分割建模方法,其特征在于:其包括以下步骤:
(1)针对临床医学CT/MRI影像,通过级联监督去噪及弱监督进行影像增强来实现对噪点干扰的消除;
(2)将经过增强处理的临床影像反馈到边缘注意力监督进行硬组织分割;
(3)通过双重先验监督进行软组织分割,后者需要前者所生成的硬组织分割结果作为先验引导。
2.根据权利要求1所述的多任务骨关节CT/MRI融合的组织精准分割建模方法,其特征在于:所述步骤(1)包括以下分步骤:
(1.1)基于多模态影像级联多元监督机制的影像增强;
(1.2)基于弱监督引导机制的骨关节分割标记数据增强。
3.根据权利要求2所述的多任务骨关节CT/MRI融合的组织精准分割建模方法,其特征在于:所述步骤(1.1)中,首先将输入的术前MR图像反馈到级联的层级监督模块,学习提取图像中不同类型与尺度的噪点特征,再将噪点特征进行融合,由原MR图像与噪点特征图逐像素相减得到混合图像,最后通过自适应卷积滤波对混合图像进行降采样滤波,得到去噪后的MR图像。
4.根据权利要求3所述的多任务骨关节CT/MRI融合的组织精准分割建模方法,其特征在于:所述步骤(1.2)中,输入图像通过弱监督注意力学习生成对应的注意力图来表示图像显著特征部分,再由随机选择注意力图使用注意力裁剪与注意力删除的方式来增强输入图像,将输入图像与增强后的图像同时作为迭代训练数据,通过弱监督学习输出目标的类别概率和注意力图,再通过目标定位和精炼定位目标位置,将前两个阶段的数据进行级联通道融合,输出学习后的骨关节数据增强影像。
5.根据权利要求4所述的多任务骨关节CT/MRI融合的组织精准分割建模方法,其特征在于:所述步骤(2)中,将边缘检测分割和语义分割集成到一个网络,设计出一个融合边缘注意力模块的语义分割网络,基于边缘注意力引导分割过程;网络基于双重注意力模块引导编码器学习不同尺度的骨性组织特征表示,并使用加权聚合模块引导解码器聚合多尺度特征表示,在学习到高层语义特征的同时保留低层的局部边缘特征,提高模块对不同类别骨性组织的分割精度;其中,双重注意力模块融合空间注意力机制和通道注意力机制,增强骨性结构的特征表示,得到显著性特征图。
6.根据权利要求5所述的多任务骨关节CT/MRI融合的组织精准分割建模方法,其特征在于:所述步骤(3)包括以下分步骤:
(3.1)基于软组织解剖信息及骨性组织分割信息提取与融合;
(3.2)基于软组织解剖先验及骨性组织分割先验引导的软组织分割。
7.根据权利要求6所述的多任务骨关节CT/MRI融合的组织精准分割建模方法,其特征在于:所述步骤(3.1)中,使用带有反向连接的深度卷积神经网络模型,结合多尺度模态特征融合,建立一种基于多尺度特征图像的多通道特征融合框架,来提取关键软组织解剖特征信息以及骨性组织分割的特征信息;针对输入图像并行执行多尺度卷积运算与池化操作,并将所有计算结果拼接为一个深度特征图;在图像进行前向卷积的过程中,前面卷积计算结果同时作为后面卷积的一部分输入进行特征融合;通过使用卷积层和池化层将输入图像转化为高维度的特征图像,同时提取其中的高维特征,使用反向连接来把转换后的高维特征图像作为输入输送进前一层卷积层中,利用反卷积和上池化操作来将当前层的特征图像降维到前一层维度大小,并将其与原输入进行特征通道上的级联进行特征融合;基于以上多尺度特征提取以及反向连接的操作,提取并融合深层的软组织解剖特征信息以及骨性组织分割特征信息。
8.根据权利要求7所述的多任务骨关节CT/MRI融合的组织精准分割建模方法,其特征在于:所述步骤(3.2)中,骨关节MR影像和骨性组织分割结果作为两个不同的先验特征编码器的输入,通过多元特征级联的方式将不同维度下骨性组织的分割先验信息以及软组织的解剖先验信息作为网络引导输入到局部监督子网络中,在不同子网络之间进行多元特征融合,最后输出关键软组织结构分割图像。
9.根据权利要求1所述的多任务骨关节CT/MRI融合的组织精准分割建模方法的装置,其特征在于:其包括:
影像增强模块,其配置来针对临床医学影像CT/MRI,通过级联监督去噪及弱监督来进行影像增强;
硬组织分割模块,其配置来将经增强处理的临床影像反馈到边缘注意力监督进行硬组织分割;
软组织分割模块,其配置来通过双重先验监督进行软组织分割,后者需要前者所生成的硬组织分割结果作为先验引导。
10.根据权利要求9所述的多任务骨关节CT/MRI融合的组织精准分割建模方法的装置,其特征在于:所述影像增强模块执行:
(1)基于多模态影像级联多元监督机制的影像增强;
(2)基于弱监督引导机制的骨关节分割标记数据增强;
所述硬组织分割模块执行:将边缘检测分割和语义分割集成到一个网络,设计出一个融合边缘注意力机制的语义分割网络,基于边缘注意力引导分割过程;网络基于双重注意力引导编码器学习不同尺度的骨性组织特征表示,并使用加权聚合模块引导解码器聚合多尺度特征表示,在学习到高层语义特征的同时保留低层的局部边缘特征,提高网络对不同类别骨性组织的分割精度;其中双重注意力模块融合空间注意力机制和通道注意力机制,增强骨性结构的特征表示,最终得到显著性特征图;
所述软组织分割模块执行:
(3.1)基于软组织解剖信息及骨性组织分割信息提取与融合;
(3.2)基于软组织解剖先验及骨性组织分割先验引导的软组织分割。
CN202310317760.4A 2023-03-27 2023-03-27 多任务骨关节ct/mri融合的组织精准分割建模方法及装置 Pending CN116523926A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310317760.4A CN116523926A (zh) 2023-03-27 2023-03-27 多任务骨关节ct/mri融合的组织精准分割建模方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310317760.4A CN116523926A (zh) 2023-03-27 2023-03-27 多任务骨关节ct/mri融合的组织精准分割建模方法及装置

Publications (1)

Publication Number Publication Date
CN116523926A true CN116523926A (zh) 2023-08-01

Family

ID=87393044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310317760.4A Pending CN116523926A (zh) 2023-03-27 2023-03-27 多任务骨关节ct/mri融合的组织精准分割建模方法及装置

Country Status (1)

Country Link
CN (1) CN116523926A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351215A (zh) * 2023-12-06 2024-01-05 上海交通大学宁波人工智能研究院 一种人工肩关节假体设计系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351215A (zh) * 2023-12-06 2024-01-05 上海交通大学宁波人工智能研究院 一种人工肩关节假体设计系统及方法
CN117351215B (zh) * 2023-12-06 2024-02-23 上海交通大学宁波人工智能研究院 一种人工肩关节假体设计系统及方法

Similar Documents

Publication Publication Date Title
Fu et al. Three dimensional fluorescence microscopy image synthesis and segmentation
US20210174543A1 (en) Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning
CN106663309B (zh) 用于医学成像中的用户引导的骨骼分段的方法和存储介质
CN110738681A (zh) 一种基于深度学习网络的椎弓根钉手术路径自动规划方法
Yi et al. Automatic catheter and tube detection in pediatric x-ray images using a scale-recurrent network and synthetic data
CN112102237A (zh) 基于半监督学习的脑部肿瘤识别模型的训练方法及装置
CN110766694B (zh) 一种三维医学图像的交互式分割方法
CN116188479B (zh) 基于深度学习的髋关节图像分割方法及系统
CN116523926A (zh) 多任务骨关节ct/mri融合的组织精准分割建模方法及装置
CN110321946A (zh) 一种基于深度学习的多模态医学影像识别方法及装置
CN110415253A (zh) 一种基于深度神经网络的点交互式医学图像分割方法
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
Wang et al. Brain CT image segmentation based on 3D slicer
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN116779093B (zh) 一种医学影像结构化报告的生成方法、装置和计算机设备
Lin et al. Multi-mode interactive image segmentation
Fontanella et al. Diffusion models for counterfactual generation and anomaly detection in brain images
CN117237322A (zh) 一种基于医学图像的器官分割建模方法及终端
Tian et al. RGB oralscan video-based orthodontic treatment monitoring
Han et al. Three dimensional nuclei segmentation and classification of fluorescence microscopy images
CN111612762A (zh) Mri脑肿瘤图像生成方法及系统
Harrison et al. IntellEditS: intelligent learning-based editor of segmentations
US20240153094A1 (en) Systems and methods for annotating tubular structures
CN116012526B (zh) 一种基于二维影像的三维ct影像病灶重建方法
Yi et al. Automatic catheter detection in pediatric X-ray images using a scale-recurrent network and synthetic data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination