CN116071555B - 一种建立WMHs分割模型的方法、WMHs分割方法及装置 - Google Patents

一种建立WMHs分割模型的方法、WMHs分割方法及装置 Download PDF

Info

Publication number
CN116071555B
CN116071555B CN202310243868.3A CN202310243868A CN116071555B CN 116071555 B CN116071555 B CN 116071555B CN 202310243868 A CN202310243868 A CN 202310243868A CN 116071555 B CN116071555 B CN 116071555B
Authority
CN
China
Prior art keywords
wmhs
cnn
cnns
segmentation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310243868.3A
Other languages
English (en)
Other versions
CN116071555A (zh
Inventor
刘伟奇
马学升
陈金钢
陈磊
赵友源
陈韵如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongxin Zhiyi Technology Beijing Co ltd
Original Assignee
Tongxin Zhiyi Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongxin Zhiyi Technology Beijing Co ltd filed Critical Tongxin Zhiyi Technology Beijing Co ltd
Priority to CN202310243868.3A priority Critical patent/CN116071555B/zh
Publication of CN116071555A publication Critical patent/CN116071555A/zh
Application granted granted Critical
Publication of CN116071555B publication Critical patent/CN116071555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请实施例公开了一种建立WMHs分割模型的方法、WMHs分割方法及装置，其中建立WMHs分割模型的方法包括步骤：获取训练用的3D‑FLAIR图像，对所述3D‑FLAIR图像进行预处理；构建所述WMHs分割模型的堆叠泛化框架，所述堆叠泛化框架包括三个正交CNN和一个元CNN；通过三个所述正交CNN分别对输入的所述3D‑FLAIR图像的横断面、矢状面和冠状面图像重新格式化后进行训练，分别输出第一后验概率；使用所述元CNN对三个所述正交CNN分别输出的所述第一后验概率进行组合，对所述元CNN进行训练，输出第二后验概率。

Description

一种建立WMHs分割模型的方法、WMHs分割方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种建立WMHs分割模型的方法、WMHs分割方法及装置。
背景技术
脑白质高信号（white matter hyperintensities, WMHs）对应于脑白质内观察到的轴突变性、脱髓鞘和胶质增生的病理特征。临床上，大脑中WMHs的程度与认知障碍、阿尔茨海默病和血管性痴呆以及中风风险增加有关，对于WMHs体积的分割和量化可以监测病变负荷演变及其与临床结果的相关性。尽管WMHs的范围可以通过视觉评分进行人工划分，但此类评分系统的分类性质使得疾病进展的定量评估变得困难。此外，手动分割WMHs非常繁琐，在大多数情况下是不切实际的，且容易出现观察者之间和观察者内部的差异。因此，开发快速、准确、可靠的用于辅助分割WMHs的计算机自动化技术越来越迫切。
发明内容
本申请实施例的目的在于提供一种建立WMHs分割模型的方法、WMHs分割方法及装置，用以解决现有技术中的分割WMHs的方法无法做到快速、准确、可靠的问题。
为实现上述目的，本申请实施例提供一种建立WMHs分割模型的方法，包括步骤：获取训练用的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
构建所述WMHs分割模型的堆叠泛化框架，所述堆叠泛化框架包括三个正交CNN和一个元CNN；
通过三个所述正交CNN分别对输入的所述3D-FLAIR图像的横断面、矢状面和冠状面图像重新格式化后进行训练，分别输出第一后验概率；
使用所述元CNN对三个所述正交CNN分别输出的所述第一后验概率进行组合，对所述元CNN进行训练，输出第二后验概率。
可选地，所述预处理的方法包括：
颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸、标准化和/或数据增强；
所述标准化的方法包括使用零平均单位SD强度标准化对每个所述3D-FLAIR图像的图像强度进行标准化；
所述数据增强的方法包括平面内翻转、平面翻转以及基于高斯核的图像过滤。
可选地，所述正交CNN为DeepUNET3D网络。
可选地，所述元CNN的映射为：
Figure SMS_1
,/>
Figure SMS_2
,/>
Figure SMS_3
，
其中，
Figure SMS_5
、/>
Figure SMS_11
、/>
Figure SMS_14
分别为所述3D-FLAIR图像的体素的横断面、矢状面、冠状面对应的所述第一后验概率，/>
Figure SMS_6
,/>
Figure SMS_9
,/>
Figure SMS_12
，/>
Figure SMS_15
为所述第二后验概率，/>
Figure SMS_4
、/>
Figure SMS_8
、/>
Figure SMS_10
分别为所述横断面、矢状面、冠状面的权重，/>
Figure SMS_13
为偏倚项，/>
Figure SMS_7
代表软最大函数。
可选地，通过公式
Figure SMS_16
，
获取所述横断面、矢状面、冠状面的权重，其中，
Figure SMS_17
为所述横断面、矢状面或冠状面的权重，/>
Figure SMS_18
为训练样本总数，/>
Figure SMS_19
为所述横断面、矢状面或冠状面对应的类别的样本数，/>
Figure SMS_20
表示分类的数量。
可选地，所述正交CNN的训练参数为：损失函数定义为加权二进制交叉熵，迭代次数为120，批大小为10，优化器为ADAM，学习率为0.001，衰减因子为0.1，退出概率为0.4；
所述元CNN的训练参数为：损失函数定义为分类交叉熵，迭代次数为400，批大小为64，优化器为随机梯度下降，学习率为0.001，衰减因子为0.1。
为实现上述目的，本申请还提供一种WMHs分割方法，包括步骤：
获取待分割的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
将进行预处理后的所述3D-FLAIR图像输入根据前文所述的建立WMHs分割模型的方法所获得的WMHs分割模型中，获得分割结果。
可选地，所述预处理的方法包括：
颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸、标准化和/或数据增强；
所述标准化的方法包括使用零平均单位SD强度标准化对每个所述3D-FLAIR图像的图像强度进行标准化；
所述数据增强的方法包括平面内翻转、平面翻转以及基于高斯核的图像过滤。
为实现上述目的，本申请还提供一种建立WMHs分割模型的装置，包括：存储器；以及
与所述存储器连接的处理器，所述处理器被配置成：
获取训练用的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
构建所述WMHs分割模型的堆叠泛化框架，所述堆叠泛化框架包括三个正交CNN和一个元CNN；
通过三个所述正交CNN分别对输入的所述3D-FLAIR图像的横断面、矢状面和冠状面图像重新格式化后进行训练，分别输出第一后验概率；
使用所述元CNN对三个所述正交CNN分别输出的所述第一后验概率进行组合，对所述元CNN进行训练，输出第二后验概率。
为实现上述目的，本申请还提供一种WMHs分割装置，包括：存储器；以及
与所述存储器连接的处理器，所述处理器被配置成：
获取待分割的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
将进行预处理后的所述3D-FLAIR图像输入根据前文所述的建立WMHs分割模型的方法所获得的WMHs分割模型中，获得分割结果。
为实现上述目的，本申请还提供一种计算机存储介质，其上存储有计算机程序，其中所述计算机程序被机器执行时实现如上所述的方法的步骤。
本申请实施例具有如下优点：
本申请实施例提供一种建立WMHs分割模型的方法，包括步骤：获取训练用的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；构建所述WMHs分割模型的堆叠泛化框架，所述堆叠泛化框架包括三个正交CNN和一个元CNN；通过三个所述正交CNN分别对输入的所述3D-FLAIR图像的横断面、矢状面和冠状面图像重新格式化后进行训练，分别输出第一后验概率；使用所述元CNN对三个所述正交CNN分别输出的所述第一后验概率进行组合，对所述元CNN进行训练，输出第二后验概率。
通过上述方法，开发了一种基于叠加泛化网络的三维正交CNN算法，可以自动化分割3D-FLAIR图像的多平面信息中的WMHs，从而辅助临床上对脑白质病变的识别与定量评价，相比传统的手工分割与视觉评价方法，在提高工作效率的同时增加了分割的精度和一致性，可以快速、准确、可靠地分割WMHs。
在进行CNN算法的差异平均化处理时，传统的平均集合法为单个CNN的WMH后验值分配相等的权重，而多数投票法更倾向于多数共识，而上述方法所采用的堆叠泛化框架算法从集合中的单个CNN预测中学习目标标签的新函数映射，这一特点允许元CNN推断集合中单个DeepUNET3D CNNs的偏差率，并对其进行补偿，从而达到比传统平均化处理方法更高的准确度。
附图说明
为了更清楚地说明本申请的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本申请实施例提供的一种建立WMHs分割模型的方法的流程图；
图2为本申请实施例提供的一种建立WMHs分割模型的方法的堆叠泛化框架网络结构；
图3为本申请实施例提供的一种建立WMHs分割模型的方法的DeepUNET卷积神经网络结构；
图4为本申请实施例提供的一种WMHs分割方法的流程图；
图5为本申请实施例提供的一种WMHs分割方法的分割结果评估示意图；
图6为本申请实施例提供的一种建立WMHs分割模型的装置的模块框图；
图7为本申请实施例提供的一种WMHs分割装置的模块框图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请一实施例提供一种建立WMHs分割模型的方法，参考图1，图1为本申请的一实施方式中提供的一种建立WMHs分割模型的方法的流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本申请的范围在此方面不受限制。
在步骤101处，获取训练用的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理。
在一些实施例中，所述预处理的方法包括：
颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸、标准化和/或数据增强；
所述标准化的方法包括使用零平均单位SD强度标准化对每个所述3D-FLAIR图像的图像强度进行标准化；
所述数据增强的方法包括平面内翻转、平面翻转以及基于高斯核的图像过滤。
具体地，图像预处理包括颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸。使用零平均单位SD强度标准化对每个3D-FLAIR图像的图像强度进行标准化，具体包括：从大脑内区域计算平均信号，将训练集中的3D-FLAIR图像体积重新格式化为轴向、矢状和冠状方向，在每个方向上，使用滑动窗口在整个大脑上提取重叠的2.5D图像块（
Figure SMS_21
），以训练相应的正交CNNs，图像块中脑体素占比小于30%的被丢弃。使用以下方案进行数据增强：平面内翻转、平面翻转以及基于高斯核的图像过滤。
从三个正交CNN生成元CNN的训练数据的步骤包括：首先，使用训练集中的正交CNNs预测每个图像的WMHs后验分布来生成元CNN的训练数据；然后，重新格式化为轴向，从每个后验分布中提取3D图像块（
Figure SMS_22
），并沿通道进行连接。
在步骤102处，构建所述WMHs分割模型的堆叠泛化框架，所述堆叠泛化框架包括三个正交CNN和一个元CNN。
在步骤103处，通过三个所述正交CNN分别对输入的所述3D-FLAIR图像的横断面、矢状面和冠状面图像重新格式化后进行训练，分别输出第一后验概率。
在步骤104处，使用所述元CNN对三个所述正交CNN分别输出的所述第一后验概率进行组合，对所述元CNN进行训练，输出第二后验概率。
在一些实施例中，所述正交CNN为DeepUNET3D网络。
在一些实施例中，所述元CNN的映射为：
Figure SMS_23
,/>
Figure SMS_24
,/>
Figure SMS_25
，
其中，
Figure SMS_27
、/>
Figure SMS_31
、/>
Figure SMS_34
分别为所述3D-FLAIR图像的体素的横断面、矢状面、冠状面对应的所述第一后验概率，/>
Figure SMS_28
,/>
Figure SMS_32
,/>
Figure SMS_35
，/>
Figure SMS_37
为所述第二后验概率，/>
Figure SMS_26
、/>
Figure SMS_30
、/>
Figure SMS_33
分别为所述横断面、矢状面、冠状面的权重，/>
Figure SMS_36
为偏倚项，/>
Figure SMS_29
代表软最大函数。
在一些实施例中，通过公式
Figure SMS_38
，
获取所述横断面、矢状面、冠状面的权重，其中，
Figure SMS_39
为所述横断面、矢状面或冠状面的权重，/>
Figure SMS_40
为训练样本总数，/>
Figure SMS_41
为所述横断面、矢状面或冠状面对应的类别的样本数，/>
Figure SMS_42
表示分类的数量。
在一些实施例中，所述正交CNN的训练参数为：损失函数定义为加权二进制交叉熵，迭代次数为120，批大小为10，优化器为ADAM，学习率为0.001，衰减因子为0.1，退出概率为0.4；
所述元CNN的训练参数为：损失函数定义为分类交叉熵，迭代次数为400，批大小为64，优化器为随机梯度下降，学习率为0.001，衰减因子为0.1。
具体地，基于卷积神经网络（convolutional neural network, CNN）的方法已经成功地用于医学成像中的若干语义分割任务，包括使用基于深度学习的方法来分割2D-FLAIR（FLAIR：磁共振成像液体衰减反转恢复序列）图像中的WMHs。常规2D-FLAIR图像通常使用厚切片（3–4 mm），厚切片的部分体积效应可能会影响平面内和平面外较小病变的检测。而3D-FLAIR图像由于具有各向同性分辨率，可以实现更高的分辨率和对比度噪声比。此外，各向同性分辨率使得3D-FLAIR图像能够在多个平面中查看和评估图像，并且可以在多平面对图像进行重新格式化。CNN算法可以对来自于不同模型选择和特定行为配置的差异进行平均化处理，传统的CNN在进行差异平均化处理时，往往通过平均或多数投票来处理来自每个单独训练的CNN的结果，造成了一定程度的信息丢失。
本实施例采用基于堆叠泛化框架（StackGen-Net）组合来自正交3D CNN的视图信息网络，可用于自动化分割3D-FLAIR影像中的WMHs。
堆叠泛化框架结构见图2。本实施例通过集合3个正交的3D CNN（DeepUNET3D，深度3D卷积神经网络），使每个CNN网络都对3D-FLAIR的横断面、矢状面和冠状面图像重新格式化后进行训练。DeepUNET3D网络结构见图3。与UNET相比，DeepUNET3D使用卷积块而不是卷积层。这些卷积块由一系列具有3D核（
Figure SMS_43
）的卷积层、批归一化层以及由隐藏层分隔的校正线性激活层组成。最后一个卷积层（元CNN）将本地分辨率空间中的特征映射（第一后验概率）组合起来，以生成WMHs的第二后验概率。
堆叠泛化框架通过推导单个DeepUNET3D CNNs的偏差率来最大化集合的整体精度。假设
Figure SMS_46
、/>
Figure SMS_49
、/>
Figure SMS_52
和/>
Figure SMS_47
为体素的横断面、矢状面、冠状面的第一后验概率以及最终WMHs的第二后验概率，则元CNN从/>
Figure SMS_51
到/>
Figure SMS_54
学习新的功能映射/>
Figure SMS_56
，其中/>
Figure SMS_44
,/>
Figure SMS_50
,
Figure SMS_53
，/>
Figure SMS_55
,/>
Figure SMS_45
,/>
Figure SMS_48
，则其映射如下：
Figure SMS_57
,/>
Figure SMS_58
,/>
Figure SMS_59
,
其中，
Figure SMS_60
、/>
Figure SMS_61
、/>
Figure SMS_62
分别为横断面、矢状面、冠状面的权重，/>
Figure SMS_63
为偏倚项，/>
Figure SMS_64
代表软最大函数。元CNN在训练期间学习这些权重，最终组成具有一个/>
Figure SMS_65
的3D核的单个卷积层。
本实施例中使用的分类交叉熵和加权二进制交叉熵损失函数定义如下：
Figure SMS_66
其中，
Figure SMS_67
和/>
Figure SMS_68
分别是WMH的手动分割真实值和预测掩模中的第n个体素。/>
Figure SMS_69
和/>
Figure SMS_70
分别是掩膜中前景和背景区域的权重。该公式可以将较大权重分配给与WMH体素相关联的少数前景分类，将较小权重分配给多数前景分类，以处理分类不平衡。每个类别的权重根据训练样本总数与属于该类别的样本数之比计算，令/>
Figure SMS_71
表示分类的数量，计算公式如下：
Figure SMS_72
单个正交CNNs均使用以下参数进行训练：损失函数定义为加权二进制交叉熵，迭代次数为120，批大小为10，优化器为ADAM，学习率为0.001，衰减因子为0.1，退出概率为0.4。通过粗网格搜索确定学习率，以确保训练和验证损失曲线的收敛性。元CNN的训练参数如下：损失函数定义为分类交叉熵，迭代次数为400，批大小为64，优化器为随机梯度下降，学习率为0.001，衰减因子为0.1。
本申请一实施例提供一种WMHs分割方法，参考图4，图4为本申请的一实施方式中提供的一种建立WMHs分割模型的方法的流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本申请的范围在此方面不受限制。
在步骤201处，获取待分割的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理。
在步骤202处，将进行预处理后的所述3D-FLAIR图像输入根据前文所述的建立WMHs分割模型的方法所获得的WMHs分割模型中，获得分割结果。
在一些实施例中，所述预处理的方法包括：
颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸、标准化和/或数据增强；
所述标准化的方法包括使用零平均单位SD强度标准化对每个所述3D-FLAIR图像的图像强度进行标准化；
所述数据增强的方法包括平面内翻转、平面翻转以及基于高斯核的图像过滤。
具体地，基于堆叠泛化框架预测3D-FLAIR图像通过网络运行1次的WMHs。在GPU上，对于一个预处理3D-FLAIR测试图像（
Figure SMS_73
）的预测时间约为45秒。图5为堆叠泛化网络对多平面3D-FLAIR图像中WMHs的分割结果（注：Ax,横断面；Sag,矢状面；Cor,冠状面。），即使在单个正交CNN漏掉的较小病变也可以通过堆叠泛化网络识别。
使用Dice评分和绝对体积差（volume difference, VD）评估算法分割WMHs的性能。与单个正交CNN相比，堆叠泛化网络的Dice分数最高（0.76）。堆叠泛化网络的绝对VD（12.36%）也低于其他CNN。使用堆叠泛化网络分割的WMH病变体积高度相关（r = 0.99），且与真实值中的WMH体积无显著差异（P=0.15）。
通过上述方法，开发了一种基于叠加泛化网络的三维正交CNN算法，可以自动化分割3D-FLAIR图像的多平面信息中的WMHs，从而辅助临床上对脑白质病变的识别与定量评价，相比传统的手工分割与视觉评价方法，在提高工作效率的同时增加了分割的精度和一致性，可以快速、准确、可靠地分割WMHs。
在进行CNN算法的差异平均化处理时，传统的平均集合法为单个CNN的WMH后验值分配相等的权重，而多数投票法更倾向于多数共识，而上述方法所采用的堆叠泛化框架算法从集合中的单个CNN预测中学习目标标签的新函数映射，这一特点允许元CNN推断集合中单个DeepUNET3D CNNs的偏差率，并对其进行补偿，从而达到比传统平均化处理方法更高的准确度。
本申请使用来自于正交3D-FLAIR影像的2.5D图像块训练基于CNN的叠加泛化网络模型，可以使模型在训练期间获得更多的空间语义环境，增加训练数据多样性，从而提高其对WMH的分割性能，同时不会造成更多的计算负担。
基于堆叠泛化框架的DeepUNET3D非常适合学习和组合来自正交CNNs的性能增益，大大提高了分割性能的准确性，可以在集合中的大多数预测为假阴性时依然准确分割WMH。
本申请开发的算法在一个GPU上，对于一个经过预处理的3D-FLAIR图像（
Figure SMS_74
）的预测时间约为45秒，且其分割结果与人工手动分割的结果相当，从而辅助临床上快速、准确、可靠地检测和量化WMH。
图6为本申请实施例提供的一种建立WMHs分割模型的装置的模块框图。该装置包括：
存储器301；以及与所述存储器301连接的处理器302，所述处理器302被配置成：获取训练用的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
构建所述WMHs分割模型的堆叠泛化框架，所述堆叠泛化框架包括三个正交CNN和一个元CNN；
通过三个所述正交CNN分别对输入的所述3D-FLAIR图像的横断面、矢状面和冠状面图像重新格式化后进行训练，分别输出第一后验概率；
使用所述元CNN对三个所述正交CNN分别输出的所述第一后验概率进行组合，对所述元CNN进行训练，输出第二后验概率。
在一些实施例中，所述处理器302还被配置成：所述预处理的方法包括：
颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸、标准化和/或数据增强；
所述标准化的方法包括使用零平均单位SD强度标准化对每个所述3D-FLAIR图像的图像强度进行标准化；
所述数据增强的方法包括平面内翻转、平面翻转以及基于高斯核的图像过滤。
在一些实施例中，所述处理器302还被配置成：所述正交CNN为DeepUNET3D网络。
在一些实施例中，所述处理器302还被配置成：所述元CNN的映射为：
Figure SMS_75
,/>
Figure SMS_76
,/>
Figure SMS_77
，
其中，
Figure SMS_79
、/>
Figure SMS_83
、/>
Figure SMS_86
分别为所述3D-FLAIR图像的体素的横断面、矢状面、冠状面对应的所述第一后验概率，/>
Figure SMS_80
,/>
Figure SMS_84
,/>
Figure SMS_87
，/>
Figure SMS_89
为所述第二后验概率，/>
Figure SMS_78
、/>
Figure SMS_82
、/>
Figure SMS_85
分别为所述横断面、矢状面、冠状面的权重，/>
Figure SMS_88
为偏倚项，/>
Figure SMS_81
代表软最大函数。
在一些实施例中，所述处理器302还被配置成：通过公式
Figure SMS_90
，
获取所述横断面、矢状面、冠状面的权重，其中，
Figure SMS_91
为所述横断面、矢状面或冠状面的权重，/>
Figure SMS_92
为训练样本总数，/>
Figure SMS_93
为所述横断面、矢状面或冠状面对应的类别的样本数，/>
Figure SMS_94
表示分类的数量。
在一些实施例中，所述处理器302还被配置成：所述正交CNN的训练参数为：损失函数定义为加权二进制交叉熵，迭代次数为120，批大小为10，优化器为ADAM，学习率为0.001，衰减因子为0.1，退出概率为0.4；
所述元CNN的训练参数为：损失函数定义为分类交叉熵，迭代次数为400，批大小为64，优化器为随机梯度下降，学习率为0.001，衰减因子为0.1。
图7为本申请实施例提供的一种WMHs分割装置的模块框图。该装置包括：
存储器401；以及与所述存储器401连接的处理器402，所述处理器402被配置成：获取待分割的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
将进行预处理后的所述3D-FLAIR图像输入根据前文所述的建立WMHs分割模型的方法所获得的WMHs分割模型中，获得分割结果。
在一些实施例中，所述处理器402还被配置成：所述预处理的方法包括：
颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸、标准化和/或数据增强；
所述标准化的方法包括使用零平均单位SD强度标准化对每个所述3D-FLAIR图像的图像强度进行标准化；
所述数据增强的方法包括平面内翻转、平面翻转以及基于高斯核的图像过滤。
具体实现方法参考前述方法实施例，此处不再赘述。
本申请可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
虽然，上文中已经用一般性说明及具体实施例对本申请作了详尽的描述，但在本申请基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本申请精神的基础上所做的这些修改或改进，均属于本申请要求保护的范围。

Claims (8)

1.一种建立WMHs分割模型的方法，其特征在于，包括以下步骤：
获取训练用的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
构建所述WMHs分割模型的堆叠泛化框架，所述堆叠泛化框架包括三个正交CNN和一个元CNN，其中，
所述正交CNN为DeepUNET3D网络，所述元CNN的映射为：
Figure QLYQS_1
,/>
Figure QLYQS_2
,/>
Figure QLYQS_3
，
其中，
Figure QLYQS_6
、/>
Figure QLYQS_10
、/>
Figure QLYQS_13
分别为所述3D-FLAIR图像的体素的横断面、矢状面、冠状面对应的第一后验概率，/>
Figure QLYQS_5
,/>
Figure QLYQS_9
,/>
Figure QLYQS_12
，/>
Figure QLYQS_15
为第二后验概率，/>
Figure QLYQS_4
、/>
Figure QLYQS_8
、/>
Figure QLYQS_11
分别为所述横断面、矢状面、冠状面的权重，/>
Figure QLYQS_14
为偏倚项，/>
Figure QLYQS_7
代表软最大函数；
通过三个所述正交CNN分别对输入的所述3D-FLAIR图像的横断面、矢状面和冠状面图像重新格式化后进行训练，分别输出所述第一后验概率；
使用所述元CNN对三个所述正交CNN分别输出的所述第一后验概率进行组合，以生成所述第二后验概率，其中，所述第一后验概率为本地分辨率空间中的特征映射，即
Figure QLYQS_16
，所述元CNN将本地分辨率空间中的特征映射组合起来生成了所述第二后验概率。
2.根据权利要求1所述的建立WMHs分割模型的方法，其特征在于，所述预处理的方法包括：
颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸、标准化和/或数据增强；
所述标准化的方法包括使用零平均单位SD强度标准化对每个所述3D-FLAIR图像的图像强度进行标准化；
所述数据增强的方法包括平面内翻转、平面翻转以及基于高斯核的图像过滤。
3.根据权利要求1所述的建立WMHs分割模型的方法，其特征在于，
通过公式
Figure QLYQS_17
，
获取所述横断面、矢状面、冠状面的权重，其中，
Figure QLYQS_18
为所述横断面、矢状面或冠状面的权重，/>
Figure QLYQS_19
为训练样本总数，/>
Figure QLYQS_20
为所述横断面、矢状面或冠状面对应的类别的样本数，/>
Figure QLYQS_21
表示分类的数量。
4.根据权利要求1所述的建立WMHs分割模型的方法，其特征在于，
所述正交CNN的训练参数为：损失函数定义为加权二进制交叉熵，迭代次数为120，批大小为10，优化器为ADAM，学习率为0.001，衰减因子为0.1，退出概率为0.4；
所述元CNN的训练参数为：损失函数定义为分类交叉熵，迭代次数为400，批大小为64，优化器为随机梯度下降，学习率为0.001，衰减因子为0.1。
5.一种WMHs分割方法，其特征在于，包括以下步骤：
获取待分割的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
将进行预处理后的所述3D-FLAIR图像输入根据权利要求1至4任一项所述的建立WMHs分割模型的方法所获得的WMHs分割模型中，获得分割结果。
6.根据权利要求5所述的WMHs分割方法，其特征在于，所述预处理的方法包括：
颅骨剥离、N4偏差校正、基于总变异的去噪、对比度拉伸、标准化和/或数据增强；
所述标准化的方法包括使用零平均单位SD强度标准化对每个所述3D-FLAIR图像的图像强度进行标准化；
所述数据增强的方法包括平面内翻转、平面翻转以及基于高斯核的图像过滤。
7.一种建立WMHs分割模型的装置，其特征在于，包括：
存储器；以及
与所述存储器连接的处理器，所述处理器被配置成：
获取训练用的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
构建所述WMHs分割模型的堆叠泛化框架，所述堆叠泛化框架包括三个正交CNN和一个元CNN；其中，
所述正交CNN为DeepUNET3D网络，所述元CNN的映射为：
Figure QLYQS_22
,/>
Figure QLYQS_23
,/>
Figure QLYQS_24
，
其中，
Figure QLYQS_26
、/>
Figure QLYQS_30
、/>
Figure QLYQS_33
分别为所述3D-FLAIR图像的体素的横断面、矢状面、冠状面对应的第一后验概率，/>
Figure QLYQS_28
,/>
Figure QLYQS_31
,/>
Figure QLYQS_34
，/>
Figure QLYQS_36
为第二后验概率，/>
Figure QLYQS_25
、/>
Figure QLYQS_29
、/>
Figure QLYQS_32
分别为所述横断面、矢状面、冠状面的权重，/>
Figure QLYQS_35
为偏倚项，/>
Figure QLYQS_27
代表软最大函数；
通过三个所述正交CNN分别对输入的所述3D-FLAIR图像的横断面、矢状面和冠状面图像重新格式化后进行训练，分别输出所述第一后验概率；
使用所述元CNN对三个所述正交CNN分别输出的所述第一后验概率进行组合，以生成所述第二后验概率，其中，所述第一后验概率为本地分辨率空间中的特征映射，即
Figure QLYQS_37
，所述元CNN将本地分辨率空间中的特征映射组合起来生成了所述第二后验概率。
8.一种WMHs分割装置，其特征在于，包括：
存储器；以及
与所述存储器连接的处理器，所述处理器被配置成：
获取待分割的3D-FLAIR图像，对所述3D-FLAIR图像进行预处理；
将进行预处理后的所述3D-FLAIR图像输入根据权利要求1至4任一项所述的建立WMHs分割模型的方法所获得的WMHs分割模型中，获得分割结果。
CN202310243868.3A 2023-03-15 2023-03-15 一种建立WMHs分割模型的方法、WMHs分割方法及装置 Active CN116071555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310243868.3A CN116071555B (zh) 2023-03-15 2023-03-15 一种建立WMHs分割模型的方法、WMHs分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310243868.3A CN116071555B (zh) 2023-03-15 2023-03-15 一种建立WMHs分割模型的方法、WMHs分割方法及装置

Publications (2)

Publication Number Publication Date
CN116071555A CN116071555A (zh) 2023-05-05
CN116071555B true CN116071555B (zh) 2023-06-23

Family

ID=86177070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310243868.3A Active CN116071555B (zh) 2023-03-15 2023-03-15 一种建立WMHs分割模型的方法、WMHs分割方法及装置

Country Status (1)

Country Link
CN (1) CN116071555B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109923582A (zh) * 2016-08-26 2019-06-21 医科达有限公司 使用卷积神经网络进行图像分割的系统和方法
CN114072841A (zh) * 2019-06-25 2022-02-18 祖克斯有限公司 根据图像使深度精准化

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344309A (zh) * 2018-09-18 2019-02-15 上海唯识律简信息科技有限公司 基于卷积神经网络堆叠泛化的文档图像分类方法和系统
CN111932575B (zh) * 2020-06-24 2023-07-18 山东师范大学 基于模糊c均值和概率标签融合的图像分割方法及系统
US20220208375A1 (en) * 2020-12-29 2022-06-30 Kpn Innovations, Llc. System and method for generating a digestive disease functional program
US20230017695A1 (en) * 2021-06-29 2023-01-19 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Bayesian Optimal Model System (BOMS) for Predicting Equilibrium Ripple Geometry and Evolution
CN115018863A (zh) * 2022-06-15 2022-09-06 同心智医科技(北京)有限公司 基于深度学习的图像分割方法及装置
CN115496743A (zh) * 2022-10-13 2022-12-20 昆明同心医联科技有限公司 脑血管病变分割方法、装置、存储介质、电子装置
CN115661467B (zh) * 2022-12-28 2023-05-05 中国科学院自动化研究所 脑血管图像分割方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109923582A (zh) * 2016-08-26 2019-06-21 医科达有限公司 使用卷积神经网络进行图像分割的系统和方法
CN114072841A (zh) * 2019-06-25 2022-02-18 祖克斯有限公司 根据图像使深度精准化

Also Published As

Publication number Publication date
CN116071555A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111557020B (zh) 基于完全卷积神经网络的心脏cta解剖结构分割系统
US10867384B2 (en) System and method for automatically detecting a target object from a 3D image
Wu et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
US9430827B2 (en) Segmentation of a calcified blood vessel
US20190073770A1 (en) Disease detection algorithms trainable with small number of positive samples
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN111028246A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
Wang et al. Uncertainty-guided efficient interactive refinement of fetal brain segmentation from stacks of MRI slices
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
CN113808146B (zh) 一种医学图像多器官分割方法及系统
US20200175325A1 (en) Systems and methods for encoding image features of high-resolution digital images of biological specimens
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN112348830B (zh) 基于改进3D U-Net的多器官分割方法
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
Abbasi-Sureshjani et al. Boosted exudate segmentation in retinal images using residual nets
Rebaud et al. Simplicity is all you need: out-of-the-box nnUNet followed by binary-weighted radiomic model for segmentation and outcome prediction in head and neck PET/CT
CN110827963A (zh) 针对病理图像的语义分割方法和电子设备
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN117197454A (zh) 一种肝脏及肝肿瘤数据分割方法及系统
CN116071555B (zh) 一种建立WMHs分割模型的方法、WMHs分割方法及装置
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN113409324B (zh) 一种融合微分几何信息的脑分割方法
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant