CN113449777B - 一种甲状腺结节自动分级方法和系统 - Google Patents

一种甲状腺结节自动分级方法和系统 Download PDF

Info

Publication number
CN113449777B
CN113449777B CN202110638686.7A CN202110638686A CN113449777B CN 113449777 B CN113449777 B CN 113449777B CN 202110638686 A CN202110638686 A CN 202110638686A CN 113449777 B CN113449777 B CN 113449777B
Authority
CN
China
Prior art keywords
layer
fine classification
network model
nodule
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110638686.7A
Other languages
English (en)
Other versions
CN113449777A (zh
Inventor
徐栋
冯博健
徐静
姚劲草
杨琛
汪丽菁
陈丽羽
欧笛
李伟
郑逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shenzhi Information Technology Co ltd
Original Assignee
Shanghai Shenzhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shenzhi Information Technology Co ltd filed Critical Shanghai Shenzhi Information Technology Co ltd
Priority to CN202110638686.7A priority Critical patent/CN113449777B/zh
Publication of CN113449777A publication Critical patent/CN113449777A/zh
Application granted granted Critical
Publication of CN113449777B publication Critical patent/CN113449777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供一种甲状腺结节自动分级方法和系统，使用预先训练好的一总分类网络模型对待分类的甲状腺结节超声图像进行处理并输出分类结果；训练时，对各甲状腺结节超声图像进行人工标注，划分为训练集、验证集和测试集；提取浅层特征图；提取基于评价指标的深层特征图；对深层特征图进行处理并输出基于各评价指标的细分类结果；将第二特征提取模型输出的五组深层特征图进行融合；对融合后的深层特征图进行处理并输出TI‑RADS分级结果；构建损失函数，基于人工标注结果训练总分类网络模型。避免了人工分级的繁琐，提高诊断效率和准确度，能够在临床医学上辅助医生进行诊断。

Description

一种甲状腺结节自动分级方法和系统
技术领域
本发明涉及超声图像处理技术领域，尤其涉及一种基于甲状腺结节自动分级方法和系统。
背景技术
甲状腺结节是一种常见的甲状腺疾病，其中恶性甲状腺癌的发生率约为5％至15％。超声检查是诊断甲状腺结节病变的有效方法，但由于超声获得的甲状腺结节影像比较复杂，存在一定的重叠，使得准确鉴别一些超声特征不明显的结节较为困难，导致此类结节检出率不高；且甲状腺结节超声的诊断标准不统一，使得超声诊断的准确率受到诸如超声设备和医生经验等主观因素的影响，给检查结果的定性造成一定困难。基于此，美国放射学会(American College of Radiology，ACR)于2017年提出了TI-RADS(Thyroid imagingreporting and data system，甲状腺影像报告和数据系统)分级评价标准，以期通过建立统一的甲状腺结节定性标准，一定程度上克服主观因素的影响。TI-RADS分级评价标准对五种甲状腺结节的超声特征进行打分，将所有特征的得分相加作为分级依据。但由于TI-RADS评分系统较为复杂，对大量甲状腺结节超声影像进行人工分级任务繁重，从而影响诊断的准确性。因此，通过基于人工智能的计算机辅助诊断方法对甲状腺结节超声影像进行自动TI-RADS分级具有临床价值。
发明内容
为解决上述问题，本发明提供一种甲状腺结节自动分级方法和系统，旨在解决现有技术中甲状腺结节人工分类繁琐不准确等技术问题。
一种甲状腺结节自动分级方法，使用预先训练好的一总分类网络模型对待分类的甲状腺结节超声图像进行处理并输出分类结果；其中，所训练形成总分类网络模型包括如下步骤：
步骤A1，采集若干以往病例的甲状腺结节超声图像，基于TI-RADS评价指标对各超声图像进行人工标注，并将若干超声图像划分为训练集、验证集和测试集；
步骤A2，对训练集中的超声图像进行预处理；
步骤A3，构建第一特征提取模型，第一特征提取模型对预处理后的超声图像进行特征提取并输出浅层特征图；
步骤A4，构建第二特征提取模型，对浅层特征图进行处理以输出基于评价指标的深层特征图；
步骤A5，构建细分类网络模型，细分类网络模型对深层特征图进行处理并输出基于各评价指标的细分类结果；
步骤A6，构建分级网络模型，对深层特征图进行处理并输出TI-RADS分级结果；
步骤A7，构建损失函数，基于人工标注结果训练总分类网络模型，并通过验证集调整总分类网络模型的超参数，最后通过所述测试集测试训练完成的所述总分类网络模型的准确率；
其中，总分类网络模型包括第一特征提取模型、第二特征提取模型、细分类网络模型和分级网络模型。
进一步的，在所述步骤A4中，所述第二特征提取模型包括五组并行排布的自适应卷积网络，五组所述自适应卷积网络与TI-RADS的五种评价指标一一对应，每一组所述自适应卷积网络分别对所述浅层特征图进行处理以输出基于所述评价指标的深层特征图；
在所述步骤A6之前，还包括步骤B1：将所述第二特征提取模型输出的五组所述深层特征图进行融合。
步骤A6中，构建分级网络模型对融合后的深层特征图进行处理并输出TI-RADS分级结果；
进一步的，在步骤A3中，第一特征提取模型包括五个串行排布的子层以及四个并行排布的分支层；
五个串行排布的子层包括：
第一子层为卷积层，以预处理后的超声图像作为输入；
第二子层为最大池化层；
第三子层为卷积层；
第四子层为卷积层；
第五子层为最大池化层，第五层的输出分别作为每一个分支层的输入；
将四个并行排布的分支层的输出进行融合得到浅层特征图；
第一分支层为一卷积层，卷积核大小为1×1，步长1；
第二分支层为卷积核大小1×1，步长1的卷积层以及卷积核大小3×3，步长1的卷积层串行排布形成；
第三分支层为卷积核大小1×1，步长1的卷积层以及卷积核大小5×5，步长1的卷积层串行排布形成；
第三分支层为池化尺寸3×3，步长为1的最大值池化层以及卷积核大小1×1，步长1的卷积层串行排布形成。
进一步的，在步骤A4中，自适应卷积网络包括权重调整网络和自适应卷积层；
权重调整网络以第一特征提取模型输出的浅层特征图作为输入，处理后输出为自适应卷积层分配的自适应权重；
自适应卷积层以第一特征提取模型输出的浅层特征图作为第一输入，以权重调整网络分配的自适应权重作为第二输入，浅层特征图逐卷积核依权重按通道进行卷积处理，并输出深层特征图。
进一步的，在步骤A4中，权重调整网络由平均池化层、全连接层和softmax层依次串接而成；
自适应卷积层的处理结果如下所示：
Figure BDA0003106245110000041
其中，
y(i,j)为自适应卷积层的计算结果表示；
g表示激活函数；
i分别表示输入自适应卷积层的浅层特征图的横坐标；
j分别表示输入自适应卷积层的浅层特征图的纵坐标；
m分别表示横坐标位移位置；
n分别表示纵坐标位移位置；
λk(x)表示权重调整网络为自适应卷积层中第k个卷积核分配的自适应权重；
K表示自适应卷积层中卷积核的总数；
wk分别表示第k个卷积核的权重矩阵；
bk分别表示第k个卷积核的偏置量；
T表示转置操作；
x表示输入自适应卷积层的浅层特征图的像素值矩阵；
其中，自适应权重采用如下公式表示：
Figure BDA0003106245110000051
λk(x)的包括如下两个限定条件：
限定条件一：0≤λk(x)≤1；
限定条件二：
Figure BDA0003106245110000052
其中，
C表示输入自适应卷积层的浅层特征图的通道总数；
c表示输入自适应卷积层的浅层特征图的通道编号；
max(x(c))表示通道编号为c的浅层特征图中的最大像素值。
进一步的，评价指标包括结节结构、结节回声、结节纵横比、结节边缘、以及结节局灶性强回声；
细分类网络模型包括五组细分类子网络，五组细分类子网络与五组自适应卷积网络一一对应；
第一组细分类子网络用于对基于结节结构的深层结构图进行处理以输出关于结节结构的细分类结果；
第二组细分类子网络用于对基于结节回声的深层结构图进行处理以输出关于结节回声的细分类结果；
第三组细分类子网络用于对基于结节纵横比的深层结构图进行处理以输出关于结节回声的细分类结果；
第四组细分类子网络用于对基于结节边缘的深层结构图进行处理以输出关于结节回声的细分类结果；
第五组细分类子网络用于对基于结节灶性强回声的深层结构图进行处理以输出关于结节回声的细分类结果。
进一步的，第一组至第四组的细分类子网络均分别由一个平均池化层、一个卷积层、一个全连接层以及一个softmax层依次串行排布形成；
第一组细分类子网络的softmax层输出的细分类结果为囊性或者几乎囊性、海绵状、囊实性混合、者实性或几乎完全实性四种等级中的一种；
第二组细分类子网络的softmax层输出的细分类结果为无回声、高回声或者等回声、低回声、极低回声四种等级中的一种；
第三组细分类子网络的softmax层输出的细分类结果为纵横比<1、纵横比>1两种等级中的一种；
第四组细分类子网络的softmax层输出的细分类结果为光滑、模糊、分叶或者不规则、甲状腺外侵犯四种等级中的一种；
第五组细分类子网络包括两个串行排布的子层以及四个并行排布的分支层；
两个串行排布的子层包括：
第一子层为平均池化层，以基于结节灶性强回声的深层结构图作为输入；
第二子层为卷积层，卷积层的输出分别作为每一个分支层的输入；
每个分支层分别由串行排布的一个全连接层和一个softmax层组成；
第一分支层的softmax层输出是否存在无或大彗尾的细分类结果；
第二分支层的softmax层输出是否存在粗钙化的细分类结果；
第三分支层的softmax层输出是否存在边缘钙化的细分类结果；
第四分支层的softmax层输出是否存在点状强回声的细分类结果。
进一步的，在步骤A7中，损失函数为交叉熵损失函数，分别为细分类网络模型和分级网络模型构建交叉熵损失函数，评价各评价指标的细分类结果和分级结果的损失，交叉熵损失函数的表达如下所示：
Figure BDA0003106245110000061
其中，
L为交叉熵损失函数的计算结果表示；
N为训练集中的超声图像数量；
M为类别的数量；
yst表示人工分类标注结果中的one-hot标签形式；
pst表示对于编号为s的超声图像属于类别t的预测概率。
进一步的，TI-RADS包括五类级别，在步骤A1中，每一TI-RADS级别采集至少1000例的甲状腺结节超声图像，随机选择70％的超声图像作为训练集，10％的超声图像作为验证集，20％的图像作为测试集。
一种甲状腺结节自动分级系统，应用前述的一种甲状腺结节自动分级方法，包括：
图像采集模块，用于采集若干以往病例的甲状腺结节超声图像；
标注模块，连接图像采集模块，用于接收基于TI-RADS评价指标对各超声图像进行人工标注的结果并对标注后的超声图像进行保存；
划分模块，连接标注模块，将若干超声图像划分为训练集、验证集和测试集并保存；
预处理模块，连接划分模块，用于对训练集中的超声图像进行预处理；
第一构建模块，连接预处理模块，用于构建第一特征提取模型，利用第一特征提取模型对预处理后的超声图像进行特征提取并输出浅层特征图；
第二构建模块，连接第一构建模块，用于构建第二特征提取模型，对浅层特征图进行处理以输出基于评价指标的深层特征图；
第三构建模块，连接第二构建模块，用于构建细分类网络模型，细分类网络模型对深层特征图进行处理并输出基于各评价指标的细分类结果；
第四构建模块，连接第二构建模块，用于构建分级网络模型，对深层特征图进行处理并输出TI-RADS分级结果；
第五构建模块，分别连接划分模块、第三构建模块和第四构建模块，用于构建损失函数，基于人工标注结果训练总分类网络模型，并通过所述验证集调整所述总分类网络模型的超参数，最后通过所述测试集测试训练完成的所述总分类网络模型的准确率；
其中，所述总分类网络模型包括所述第一特征提取模型、所述第二特征提取模型、所述细分类网络模型和所述分级网络模型。
本发明的有益技术效果是：本发明提供一种甲状腺结节自动TI-RADS分级方法，避免了人工分级的繁琐，提高诊断效率和准确度，能够在临床医学上辅助医生进行诊断。同时，建立的自适应卷积子网络使得模型可以自动学习并为不同的特征通道贡献不同的自适应权重，有利于找到对TI-RADS分级最有帮助的特征，提高细分类的准确率。
附图说明
图1为TI-RADS分级标准示意图；
图2为本发明超声图像预处理之前的超声图像前后对比图；
图3为本发明实施例中所用部分甲状腺结节超声原始图片；
图4为基于本发明算法得到的部分分类结果可视化图；
图5为本发明一种甲状腺结节自动分级的方法的步骤流程图；
图6为本发明一种甲状腺结节自动分级的系统优选实施例的模块示意图；
图7为本发明一种甲状腺结节自动分级的系统优选实施例的模块示意图；
图8为本发明一种具体实施例训连接示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
参见图5和图8，本发明提供一种甲状腺结节自动分级方法，使用预先训练好的一总分类网络模型对待分类的甲状腺结节超声图像进行处理并输出分类结果；其中，所训练形成总分类网络模型包括如下步骤：
步骤A1，采集若干以往病例的甲状腺结节超声图像，基于TI-RADS评价指标对各超声图像进行人工标注，并将若干超声图像划分为训练集、验证集和测试集；
步骤A2，对训练集中的超声图像进行预处理；
步骤A3，构建第一特征提取模型，第一特征提取模型对预处理后的超声图像进行特征提取并输出浅层特征图；
步骤A4，构建第二特征提取模型，对浅层特征图进行处理以输出基于评价指标的深层特征图；
步骤A5，构建细分类网络模型，细分类网络模型对深层特征图进行处理并输出基于各评价指标的细分类结果；
步骤A6，构建分级网络模型，对深层特征图进行处理并输出TI-RADS分级结果；
步骤A7，构建损失函数，基于人工标注结果训练总分类网络模型，并通过验证集调整总分类网络模型的超参数，最后通过所述测试集测试训练完成的所述总分类网络模型的准确率；
其中，总分类网络模型包括第一特征提取模型、第二特征提取模型、细分类网络模型和分级网络模型。
进一步的，在所述步骤A4中，所述第二特征提取模型包括五组并行排布的自适应卷积网络，五组所述自适应卷积网络与TI-RADS的五种评价指标一一对应，每一组所述自适应卷积网络分别对所述浅层特征图进行处理以输出基于所述评价指标的深层特征图；
在所述步骤A6之前，还包括步骤B1：将所述第二特征提取模型输出的五组所述深层特征图进行融合；
步骤A6中，构建分级网络模型对融合后的深层特征图进行处理并输出TI-RADS分级结果。
具体的，步骤A1中，TI-RADS包括五类级别，每一级别采集的甲状腺结节超声图像数量相同。
具体的，在步骤A1中，每一级别采集1000例的甲状腺结节超声图像。
具体的，在步骤A1中，从每一级别的超声图像中，随机选择70％的超声图像作为训练集，10％的超声图像作为验证集，20％的图像作为测试集。
具体的，TI-RADS包括1、2、3、4、5类级别，基于美国放射学会(ACR)于2017年提出的甲状腺结节分级标准TI-RADS对各采集的图像进行分类，具体的分级标准即评价指标包括：
将结节结构等级分为：囊性或几乎完全囊性和海绵状(得0分)、囊实性混合(得1分)和实性或几乎完全实性(得2分)；
将结节回声等级分为：无回声(得0分)、高回声或等回声(得1分)、低回声(得2分)和极低回声(得3分)；
将结节横纵比等级分为：横纵比<1(得0分)和横纵比>1(得3分)；
将结节边缘等级分为：光滑和模糊(得0分)、分叶或不规则(得2分)和甲状腺外侵犯(得3分)；
将结节局灶性强回声分为：是否存在无或大彗尾(存在得0分)、是否存在粗钙化(存在得1分)、是否存在边缘钙化(存在得2分)和是否存在点状强回声(存在3分)。
最后根据各评价指标的得分相加确定TI-RADS分级。
TI-RADS分级共有5级，分别对应了不同的良恶性诊断结果：1级(0分)，良性，不需要FNA(甲状腺细针穿刺)；2级(2分)，无可疑表现，不需要FNA；3级(3分)，轻度可疑，肿块≥1.5cm随访，≥2.5cm需要FNA；4级(4-6分)，中度可疑，肿块≥1.0cm随访，≥1.5cm需要FNA；5级(≥7分)，高度可疑，肿块≥0.5cm随访，≥1.0cm需要FNA。TI-RADS分级标准如附图1所示。
其中随机取70％的图像为训练集，10％的图像作为验证集，20％的图像作为测试集。
具体的，人工分类标注包括：各个评级指标例如结节结构的等级、结节回声的等级、结节纵横比的等级、结节边缘等级、结节局灶性强回声等级，以及包括TI-RADS分级即1级、2级、3级、4级和5级。
具体的，在步骤A2中，预处理包括对超声图像进行降噪处理。具体的，对输入的超声图像使用各向异性扩散方法进行降噪，降低超声图像中的噪声。
具体的，在步骤A2中，预处理还包括对进行降噪后的图像使用高斯-拉普拉斯算子进行锐化，使图像中病灶的边缘更陡峭、清晰。处理效果如附图2所示，左图为处理前的图像，右图为处理后的图像。
进一步的，在步骤A3中，第一特征提取模型包括五个串行排布的子层以及四个并行排布的分支层；
五个串行排布的子层包括：
第一子层为卷积层，以预处理后的超声图像作为输入；
第二子层为最大池化层；
第三子层为卷积层；
第四子层为卷积层；
第五子层为最大池化层，第五层的输出分别作为每一个分支层的输入；
将四个并行排布的分支层的输出进行融合得到浅层特征图；
第一分支层为一卷积层，卷积核大小为1×1，步长1；
第二分支层为卷积核大小1×1，步长1的卷积层以及卷积核大小3×3，步长1的卷积层串行排布形成；
第三分支层为卷积核大小1×1，步长1的卷积层以及卷积核大小5×5，步长1的卷积层串行排布形成；
第三分支层为池化尺寸3×3，步长为1的最大值池化层以及卷积核大小1×1，步长1的卷积层串行排布形成。
在步骤A3中，第一特征提取模型包括：
将四个分支层输出的特征图进行融合并输出浅层特征图。
第一特征提取模型中的五个串行排布的子层具体为：
第一子层为卷积核大小7×7，步长2的卷积层。
第二子层为最大值池化层，池化尺寸为3×3，步长为2。
第三子层为卷积核大小1×1，步长1的卷积层。
第四子层为卷积核大小3×3，步长1的卷积层。
第五子层为最大值池化层，池化尺寸为3×3，步长为2。
将各分支层输出的特征图在通道维上进行拼接得到浅层特征图。
进一步的，在步骤A4中，自适应卷积网络包括权重调整网络和自适应卷积层；
权重调整网络以第一特征提取模型输出的浅层特征图作为输入，处理后输出为自适应卷积层分配的自适应权重；
自适应卷积层以第一特征提取模型输出的浅层特征图作为第一输入，以权重调整网络分配的自适应权重作为第二输入，浅层特征图逐卷积核依权重按通道进行卷积处理，并输出深层特征图。
进一步的，在步骤A4中，权重调整网络由一个平均池化层、一个全连接层和一个softmax层依次串接而成；
自适应卷积层的处理结果如下所示：
Figure BDA0003106245110000131
其中，
y(i,j)为自适应卷积层的计算结果表示；
g表示激活函数；
i分别表示输入自适应卷积层的浅层特征图的横坐标；
j分别表示输入自适应卷积层的浅层特征图的纵坐标；
m分别表示横坐标位移位置；
n分别表示纵坐标位移位置；
λk(x)表示权重调整网络为自适应卷积层中第k个卷积核分配的自适应权重；
K表示自适应卷积层中卷积核的总数；
wk分别表示第k个卷积核的权重矩阵；
bk分别表示第k个卷积核的偏置量；
T表示转置操作；
x表示输入自适应卷积层的浅层特征图的像素值矩阵；
其中，自适应权重采用如下公式表示：
Figure BDA0003106245110000132
λk(x)的包括如下两个限定条件：
限定条件一：0≤λk(x)≤1；
限定条件二：
Figure BDA0003106245110000141
其中，
C表示输入自适应卷积层的浅层特征图的通道总数；
c表示输入自适应卷积层的浅层特征图的通道编号；
max(x(c))表示通道编号为c的浅层特征图中的最大像素值。
具体的，激活函数为ReLU。
进一步的，评价指标包括结节结构、结节回声、结节纵横比、结节边缘、以及结节局灶性强回声；
细分类网络模型包括五组细分类子网络，五组细分类子网络与五组自适应卷积网络一一对应；
第一组细分类子网络用于对基于结节结构的深层结构图进行处理以输出关于结节结构的细分类结果；
第二组细分类子网络用于对基于结节回声的深层结构图进行处理以输出关于结节回声的细分类结果；
第三组细分类子网络用于对基于结节纵横比的深层结构图进行处理以输出关于结节回声的细分类结果；
第四组细分类子网络用于对基于结节边缘的深层结构图进行处理以输出关于结节回声的细分类结果；
第五组细分类子网络用于对基于结节灶性强回声的深层结构图进行处理以输出关于结节回声的细分类结果。
进一步的，第一组至第四组的细分类子网络均分别由一个平均池化层、一个卷积层、一个全连接层以及一个softmax层依次串行排布形成。
具体的，第一组至第四组细分类子网络中的每一组均由一个池化尺寸5×5，步长为3的平均值池化层，一个卷积核大小1×1，步长为1的卷积层，一个全连接层和一softmax层依次串行排布组成。
第一组细分类子网络的softmax层输出的细分类结果为囊性或者几乎囊性、海绵状、囊实性混合、者实性或几乎完全实性四种等级中的一种(即单选)。
第二组细分类子网络的softmax层输出的细分类结果为无回声、高回声或者等回声、低回声、极低回声四种等级中的一种(即单选)。
第三组细分类子网络的softmax层输出的细分类结果为纵横比<1、纵横比>1两种等级中的一种(即单选)。
第四组细分类子网络的softmax层输出的细分类结果为光滑、模糊、分叶或者不规则、甲状腺外侵犯四种等级中的一种(即单选)。
第五组细分类子网络包括两个串行排布的子层以及四个并行排布的分支层；
两个串行排布的子层包括：
第一子层为平均池化层，以基于结节灶性强回声的深层结构图作为输入；
第二子层为卷积层，卷积层的输出分别作为每一个分支层的输入；
每个分支层分别由串行排布的一个全连接层和一个softmax层组成；
第一分支层的softmax层输出是否存在无或大慧尾的细分类结果；
第二分支层的softmax层输出是否存在粗钙化的细分类结果；
第三分支层的softmax层输出是否存在边缘钙化的细分类结果；
第四分支层的softmax层输出是否存在点状强回声的细分类结果。
第五组细分类子网络多选输出结果。
具体的，第五组细分类子网络中，两个串行排列的子层中，第一层为池化尺寸为5×5、步长为3的平均值池化层，第二层为卷积核大小1×1、步长1的卷积层；四个并行排布的分支层均分别由串行排布的一个全连接层和一个softmax层组成。
具体的，在步骤A6中，分级网络模型包括依次串行排布的一个平均值池化层和一个全连接层和一个softmax层，softmax层输出TI-RADS分级结果。优选的，分级网络模型中，平均值池化层的池化尺寸7×7，步长为1。
具体的，在步骤B1中，将第二特征提取模型输出的五组深层特征图进行融合包括：将第二特征提取模型输出的五组深层特征图在通道维上进行拼接，对拼接后形成的深层特征图输入一卷积核大小1×1，步长为1的卷积层进行卷积操作后输出。
进一步的，在步骤A7中，损失函数为交叉熵损失函数，分别为细分类网络模型和分级网络模型构建交叉熵损失函数，评价各评价指标的细分类结果和分级结果的损失，交叉熵损失函数的表达如下所示：
Figure BDA0003106245110000161
其中，
L为交叉熵损失函数的计算结果表示；
N为训练集中的超声图像数量；
M为类别的数量；
yst表示人工分类标注结果中的one-hot标签形式；
pst表示对于编号为s的超声图像属于类别t的预测概率。
Figure BDA0003106245110000162
其中，
dt为类别t的输出值。
具体的，采用上述损失函数和概率计算公式构建的交叉熵损失函数中，以分级网络模型输出TI-RADS分级结果为例，分级为5，因此M为5，分级网络模型的softmax层输出归一化的预测概率如上述计算公式。
具体的，以细分类网络模型输出细分类结果为例，采用上述损失函数和概率计算公式构建的交叉熵损失函数中，对于第一组细分类子网络，从结节结构四个等级进行单选，因此M为4。
具体的，以细分类网络模型输出细分类结果为例，采用上述损失函数和概率计算公式构建的交叉熵损失函数中，对于第二组细分类子网络，从结节回声四个等级进行单选，因此M为4。
具体的，以细分类网络模型输出细分类结果为例，采用上述损失函数和概率计算公式构建的交叉熵损失函数中，对于第三组细分类子网络，从结节形态二个等级进行单选，因此M为2。
具体的，以细分类网络模型输出细分类结果为例，采用上述损失函数和概率计算公式构建的交叉熵损失函数中，对于第四组细分类子网络，从结节边缘四个等级进行单选，因此M为4。
具体的，以细分类网络模型输出细分类结果为例，对于第五组细分类子网络，局灶性强回声中的等级为多选，四个softmax层输出二分类结果，因此，第五组细分类子网络中，为每一个softmax层构建一交叉熵损失函数，因为每一softmax层属于二分类，因此每一个构建的交叉熵损失函数中，以及预测概率计算公式中，M为2。
具体的，对上述各个网络模型的训练方法为交替使用小批梯度下降法求解各个网络模型的权重参数。
进一步的，TI-RADS包括五类级别，在步骤A1中，每一TI-RADS级别采集至少1000例的甲状腺结节超声图像，随机选择70％的超声图像作为训练集，10％的超声图像作为验证集，20％的图像作为测试集。
参见图6，本发明还提供一种甲状腺结节自动分级系统，应用前述的一种甲状腺结节自动分级方法，包括：
图像采集模块(1)，用于采集若干以往病例的甲状腺结节超声图像；
标注模块(2)，连接图像采集模块(1)，用于接收基于TI-RADS评价指标对各超声图像进行人工标注的结果并对标注后的超声图像进行保存；
划分模块(3)，连接标注模块(2)，将若干超声图像划分为训练集、验证集和测试集并保存；
预处理模块(4)，连接划分模块(3)，用于对训练集中的超声图像进行预处理；
第一构建模块(5)，连接预处理模块(4)，用于构建第一特征提取模型，利用第一特征提取模型对预处理后的超声图像进行特征提取并输出浅层特征图；
第二构建模块(6)，连接第一构建模块(5)，用于构建第二特征提取模型，对浅层特征图进行处理以输出基于评价指标的深层特征图；
具体的，第二特征提取模型包括五组自适应卷积网络；第二构建模块(6)包括五个自适应卷积网络单元(61)；每一自适应卷积网络单元(61)包含一个自适应卷积网络，自适应卷积网络单元(61)与自适应卷积网络一一对应，自适应卷积网络与TI-RADS的五种评价指标一一对应；自适应卷积网络单元(61)利用对应的自适应卷积网络分别对浅层特征图进行处理以输出基于评价指标的深层特征图。
第三构建模块(7)，连接第二构建模块(6)，用于构建细分类网络模型，细分类网络模型对深层特征图进行处理并输出基于各评价指标的细分类结果；
第四构建模块(9)，连接第二构建模块(6)，用于构建分级网络模型，对深层特征图进行处理并输出TI-RADS分级结果；
第五构建模块(10)，分别连接划分模块(3)、第三构建模块(7)和第四构建模块(9)，用于构建损失函数，基于人工标注结果训练总分类网络模型，并通过验证集调整总分类网络模型的超参数，最后通过所述测试集测试训练完成的所述总分类网络模型的准确率。
参见图7，具体的，融合模块(8)，连接第二构建模块(6)，用于将第二特征提取模型输出的五组深层特征图进行融合；
第四构建模块(9)，连接融合模块(8)，用于构建分级网络模型，对融合后的深层特征图进行处理并输出TI-RADS分级结果；
进一步的，第一特征提取模型包括五个串行排布的子层以及四个并行排布的分支层；
五个串行排布的子层包括：
第一子层为卷积层，以预处理后的超声图像作为输入；
第二子层为最大池化层；
第三子层为卷积层；
第四子层为卷积层；
第五子层为最大池化层，第五层的输出分别作为每一个分支层的输入；
将四个并行排布的分支层的输出进行融合得到浅层特征图；
第一分支层为一卷积层，卷积核大小为1×1，步长1；
第二分支层为卷积核大小1×1，步长1的卷积层以及卷积核大小3×3，步长1的卷积层串行排布形成；
第三分支层为卷积核大小1×1，步长1的卷积层以及卷积核大小5×5，步长1的卷积层串行排布形成；
第三分支层为池化尺寸3×3，步长为1的最大值池化层以及卷积核大小1×1，步长1的卷积层串行排布形成。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种甲状腺结节自动分级方法，其特征在于，使用预先训练好的一总分类网络模型对待分类的甲状腺结节超声图像进行处理并输出分类结果；其中，训练形成所述总分类网络模型包括如下步骤：
步骤A1，采集若干以往病例的甲状腺结节的超声图像，基于TI-RADS评价指标对各所述超声图像进行人工标注，并将若干所述超声图像划分为训练集、验证集和测试集；
步骤A2，对所述训练集中的所述超声图像进行预处理；
步骤A3，构建第一特征提取模型，所述第一特征提取模型对预处理后的所述超声图像进行特征提取并输出浅层特征图；
步骤A4，构建第二特征提取模型，对所述浅层特征图进行处理获得深层特征图；
步骤A5，构建细分类网络模型，对所述深层特征图进行处理并输出基于各所述评价指标的细分类结果；
步骤A6，构建分级网络模型，对所述深层特征图进行处理输出TI-RADS分级结果；
步骤A7，构建损失函数，基于所述人工标注结果训练所述总分类网络模型，并通过所述验证集调整所述总分类网络模型的超参数，最后通过所述测试集测试训练完成的所述总分类网络模型的准确率；
其中，所述总分类网络模型包括所述第一特征提取模型、所述第二特征提取模型、所述细分类网络模型和所述分级网络模型；
在所述步骤A4中，所述第二特征提取模型包括五组并行排布的自适应卷积网络，五组所述自适应卷积网络与TI-RADS的五种评价指标一一对应，每一组所述自适应卷积网络分别对所述浅层特征图进行处理以输出基于所述评价指标的深层特征图；
在所述步骤A6之前，还包括步骤B1：将所述第二特征提取模型输出的五组所述深层特征图进行融合；
步骤A6中，构建分级网络模型对融合后的深层特征图进行处理并输出TI-RADS分级结果；
在所述步骤A4中，所述自适应卷积网络包括权重调整网络和自适应卷积层；
所述权重调整网络以第一特征提取模型输出的所述浅层特征图作为输入，处理后输出为所述自适应卷积层分配的自适应权重；
所述自适应卷积层以所述第一特征提取模型输出的所述浅层特征图作为第一输入，以所述权重调整网络分配的所述自适应权重作为第二输入，所述浅层特征图逐卷积核依权重按通道进行卷积处理，并输出所述深层特征图。
2.如权利要求1所述的一种甲状腺结节自动分级方法，其特征在于，在所述步骤A3中，所述第一特征提取模型包括五个串行排布的子层以及四个并行排布的分支层；
五个串行排布的子层包括：
第一子层为卷积层，以预处理后的所述超声图像作为输入；
第二子层为最大池化层；
第三子层为卷积层；
第四子层为卷积层；
第五子层为最大池化层，第五层的输出分别作为每一个分支层的输入；
将四个并行排布的所述分支层的输出进行融合得到所述浅层特征图；
第一分支层为一卷积层，卷积核大小为1×1，步长1；
第二分支层为卷积核大小1×1，步长1的卷积层以及卷积核大小3×3，步长1的卷积层串行排布形成；
第三分支层为卷积核大小1×1，步长1的卷积层以及卷积核大小5×5，步长1的卷积层串行排布形成；
第三分支层为池化尺寸3×3，步长为1的最大值池化层以及卷积核大小1×1，步长1的卷积层串行排布形成。
3.如权利要求1所述的一种甲状腺结节自动分级方法，其特征在于，在所述步骤A4中，所述权重调整网络由平均池化层、全连接层和softmax层依次串接而成；
所述自适应卷积层的处理结果如下所示：
Figure FDA0003874364530000031
其中，
y(i,j)为所述自适应卷积层的计算结果表示；
g表示激活函数；
i分别表示输入所述自适应卷积层的所述浅层特征图的横坐标；
j分别表示输入所述自适应卷积层的所述浅层特征图的纵坐标；
m分别表示横坐标位移位置；
n分别表示纵坐标位移位置；
λk(x)表示权重调整网络为所述自适应卷积层中第k个卷积核分配的自适应权重；
K表示所述自适应卷积层中卷积核的总数；
wk分别表示第k个卷积核的权重矩阵；
bk分别表示第k个卷积核的偏置量；
T表示转置操作；
x表示输入所述自适应卷积层的所述浅层特征图的像素值矩阵；
其中，所述自适应权重采用如下公式表示：
Figure FDA0003874364530000041
λk(x)的包括如下两个限定条件：
限定条件一：0≤λk(x)≤1；
限定条件二：
Figure FDA0003874364530000042
其中，
C表示输入自适应卷积层的所述浅层特征图的通道总数；
c表示输入自适应卷积层的所述浅层特征图的通道编号；
max(x(c))表示通道编号为c的所述浅层特征图中的最大像素值。
4.如权利要求1所述的一种甲状腺结节自动分级方法，其特征在于，所述评价指标包括结节结构、结节回声、结节纵横比、结节边缘、以及结节局灶性强回声；
所述细分类网络模型包括五组细分类子网络，五组所述细分类子网络与五组所述自适应卷积网络一一对应；
第一组所述细分类子网络用于对基于结节结构的深层结构图进行处理以输出关于结节结构的细分类结果；
第二组所述细分类子网络用于对基于结节回声的深层结构图进行处理以输出关于结节回声的细分类结果；
第三组所述细分类子网络用于对基于结节纵横比的深层结构图进行处理以输出关于结节纵横比的细分类结果；
第四组所述细分类子网络用于对基于结节边缘的深层结构图进行处理以输出关于结节边缘的细分类结果；
第五组所述细分类子网络用于对基于结节灶性强回声的深层结构图进行处理以输出关于结节灶性强回声的细分类结果。
5.如权利要求4所述的一种甲状腺结节自动分级方法，其特征在于，
第一组至第四组的所述细分类子网络均分别由一个平均池化层、一个卷积层、一个全连接层以及一个softmax层依次串行排布形成；
第一组所述细分类子网络的softmax层输出的细分类结果为囊性或者几乎囊性、海绵状、囊实性混合、者实性或几乎完全实性四种等级中的一种；
第二组所述细分类子网络的softmax层输出的细分类结果为无回声、高回声或者等回声、低回声、极低回声四种等级中的一种；
第三组所述细分类子网络的softmax层输出的细分类结果为纵横比<1、纵横比>1两种等级中的一种；
第四组所述细分类子网络的softmax层输出的细分类结果为光滑、模糊、分叶或者不规则、甲状腺外侵犯四种等级中的一种；
第五组所述细分类子网络包括两个串行排布的子层以及四个并行排布的分支层；
两个串行排布的子层包括：
第一子层为平均池化层，以基于结节灶性强回声的所述深层结构图作为输入；
第二子层为卷积层，卷积层的输出分别作为每一个分支层的输入；
每个分支层分别由串行排布的一个全连接层和一个softmax层组成；
第一分支层的softmax层输出是否存在无或大彗尾的细分类结果；
第二分支层的softmax层输出是否存在粗钙化的细分类结果；
第三分支层的softmax层输出是否存在边缘钙化的细分类结果；
第四分支层的softmax层输出是否存在点状强回声的细分类结果。
6.如权利要求1所述的一种甲状腺结节自动分级方法，其特征在于，在所述步骤A7中，所述损失函数为交叉熵损失函数，分别为细分类网络模型和分级网络模型构建所述交叉熵损失函数，评价各所述评价指标的细分类结果和所述分级结果的损失，所述交叉熵损失函数的表达如下所示：
Figure FDA0003874364530000061
其中，
L为交叉熵损失函数的计算结果表示；
N为训练集中的超声图像数量；
M为类别的数量；
yst表示人工分类标注结果中的one-hot标签形式；
pst表示对于编号为s的超声图像属于类别t的预测概率。
7.如权利要求1所述的一种甲状腺结节自动分级方法，其特征在于，所述TI-RADS包括五类级别，在所述步骤A1中，每一TI-RADS级别采集至少1000例所述的甲状腺结节超声图像，随机选择70％的所述超声图像作为训练集，10％的所述超声图像作为验证集，20％的图像作为测试集。
8.一种甲状腺结节自动分级系统，其特征在于，应用如权利要求1-7任意一项所述的一种甲状腺结节自动分级方法，包括：
图像采集模块，用于采集若干以往病例的甲状腺结节超声图像；
标注模块，连接所述图像采集模块，用于接收基于所述TI-RADS评价指标对各所述超声图像进行人工标注的结果并对标注后的所述超声图像进行保存；
划分模块，连接所述标注模块，将若干所述超声图像划分为训练集、验证集和测试集并保存；
预处理模块，连接所述划分模块，用于对所述训练集中的所述超声图像进行预处理；
第一构建模块，连接所述预处理模块，用于构建第一特征提取模型，利用所述第一特征提取模型对预处理后的所述超声图像进行特征提取并输出浅层特征图；
第二构建模块，连接所述第一构建模块，用于构建第二特征提取模型，对所述浅层特征图进行处理获得深层特征图；
第三构建模块，连接所述第二构建模块，用于构建细分类网络模型，细分类网络模型对所述深层特征图进行处理并输出基于各所述评价指标的细分类结果；
第四构建模块，连接所述第二构建模块用于构建分级网络模型，对所述深层特征图进行处理并输出TI-RADS分级结果；
第五构建模块，分别连接所述划分模块、所述第三构建模块和所述第四构建模块，用于构建损失函数，基于所述人工标注结果训练所述总分类网络模型，并通过所述验证集调整所述总分类网络模型的超参数，最后通过所述测试集测试训练完成的所述总分类网络模型的准确率；
其中，所述总分类网络模型包括所述第一特征提取模型、所述第二特征提取模型、所述细分类网络模型和所述分级网络模型。
CN202110638686.7A 2021-06-08 2021-06-08 一种甲状腺结节自动分级方法和系统 Active CN113449777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110638686.7A CN113449777B (zh) 2021-06-08 2021-06-08 一种甲状腺结节自动分级方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110638686.7A CN113449777B (zh) 2021-06-08 2021-06-08 一种甲状腺结节自动分级方法和系统

Publications (2)

Publication Number Publication Date
CN113449777A CN113449777A (zh) 2021-09-28
CN113449777B true CN113449777B (zh) 2022-12-30

Family

ID=77811019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110638686.7A Active CN113449777B (zh) 2021-06-08 2021-06-08 一种甲状腺结节自动分级方法和系统

Country Status (1)

Country Link
CN (1) CN113449777B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103187A (zh) * 2017-04-10 2017-08-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和系统
CN108805209B (zh) * 2018-06-14 2021-11-19 清华大学深圳研究生院 一种基于深度学习的肺结节筛查方法
CN111723600B (zh) * 2019-03-18 2022-07-05 四川大学 一种基于多任务学习的行人重识别特征描述子
CN111460932B (zh) * 2020-03-17 2022-06-21 哈尔滨工程大学 基于自适应卷积的水声信号分类识别方法
CN111539959B (zh) * 2020-07-13 2020-10-23 浙江省肿瘤医院(浙江省癌症中心) 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法
CN112270667B (zh) * 2020-11-02 2023-04-25 郑州大学 一种基于ti-rads的集成深度学习多标签识别方法
CN112819755A (zh) * 2021-01-14 2021-05-18 北京小白世纪网络科技有限公司 一种甲状腺的结节ti-rads分级系统及方法
CN112767355A (zh) * 2021-01-20 2021-05-07 北京小白世纪网络科技有限公司 一种甲状腺结节Tirads分级自动识别模型构建方法及装置
CN112820399A (zh) * 2021-01-26 2021-05-18 北京小白世纪网络科技有限公司 自动诊断甲状腺结节良恶性的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103187A (zh) * 2017-04-10 2017-08-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于循环卷积神经网络的甲状腺恶性结节检测;郑斌等;《激光与光电子学进展》;20191225(第24期);全文 *
基于语义属性的肺结节良恶性分类;巩萍等;《电子学报》;20151215(第12期);全文 *
甲状腺结节的影像报告与数据系统分级与2015年美国甲状腺学会推荐超声恶性风险分层的比较研究;刘如玉等;《中华医学超声杂志(电子版)》;20170401(第04期);全文 *

Also Published As

Publication number Publication date
CN113449777A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
Wang et al. Simultaneous diagnosis of severity and features of diabetic retinopathy in fundus photography using deep learning
US8687879B2 (en) Method and apparatus for generating special-purpose image analysis algorithms
CN112132166B (zh) 一种数字细胞病理图像智能分析方法、系统及装置
CN110543916B (zh) 一种缺失多视图数据的分类方法及系统
CN110503635B (zh) 一种基于异构数据融合网络的手骨x光片骨龄评估方法
JP2023521648A (ja) 人工知能（ａｉ）モデルを訓練するためにデータをクリーニングするためのａｉ方法
CN112819821B (zh) 一种细胞核图像检测方法
US20230148321A1 (en) Method for artificial intelligence (ai) model selection
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN114549469A (zh) 一种基于置信度校准的深层神经网络医疗图像诊断方法
CN115661649B (zh) 一种基于bp神经网络的船载微波雷达图像溢油探测方法及系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN111833321A (zh) 一种调窗优化增强的颅内出血检测模型及其构建方法
CN110459303B (zh) 基于深度迁移的医疗影像异常检测装置
CN113610842B (zh) 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法
CN111754485A (zh) 一种用于肝脏的人工智能超声辅助系统
CN117315379B (zh) 面向深度学习的医学影像分类模型公平性评估方法及装置
CN114580501A (zh) 骨髓细胞分类方法、系统、计算机设备及存储介质
CN113449777B (zh) 一种甲状腺结节自动分级方法和系统
CN112784924A (zh) 基于分组聚合深度学习模型的肋骨骨折ct图像分类方法
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN117095815A (zh) 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统
CN114529759B (zh) 一种甲状腺结节的分类方法、装置及计算机可读介质
CN113476065B (zh) 一种多类肺炎诊断系统
CN116385717A (zh) 叶面病害识别方法、装置、电子设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant