CN111968124B - 基于半监督语义分割的肩部肌骨超声结构分割方法 - Google Patents

基于半监督语义分割的肩部肌骨超声结构分割方法 Download PDF

Info

Publication number
CN111968124B
CN111968124B CN202011152674.5A CN202011152674A CN111968124B CN 111968124 B CN111968124 B CN 111968124B CN 202011152674 A CN202011152674 A CN 202011152674A CN 111968124 B CN111968124 B CN 111968124B
Authority
CN
China
Prior art keywords
section
image set
image
labeled
musculoskeletal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011152674.5A
Other languages
English (en)
Other versions
CN111968124A (zh
Inventor
卢漫
程建
王璐
刘鑫
陈玉兰
张斯棋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Cancer Hospital
Original Assignee
Sichuan Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Cancer Hospital filed Critical Sichuan Cancer Hospital
Priority to CN202011152674.5A priority Critical patent/CN111968124B/zh
Publication of CN111968124A publication Critical patent/CN111968124A/zh
Application granted granted Critical
Publication of CN111968124B publication Critical patent/CN111968124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

本发明涉及基于半监督语义分割的肩部肌骨超声结构分割方法，包括以下步骤：对获取的若干切面肌骨超声图像进行预处理，得到标注后的强标注图像集和弱标注图像集；使用标注后的强标注图像集中的切面肌骨超声图像对生成网络和判别网络进行训练，再使用标注后的弱标注图像集中的切面肌骨超声图像对生成网络进行反向优化训练，得到总生成网络；将肩部肌骨超声图像输入训练好的总生成网络中，得到肩部肌骨超声结构分割图。本发明设计一种分割肌骨超声图像的智能识别方法，简省医疗过程中的人力和时间成本，提高医疗效率。

Description

基于半监督语义分割的肩部肌骨超声结构分割方法
技术领域
本发明涉及图像识别技术领域，特别涉及基于半监督语义分割的肩部肌骨超声结构分割方法。
背景技术
肌骨超声是近年来新兴的超声检查技术，应用高频超声能够清晰显示肌肉、肌腱、韧带、周围神经等浅表软组织结构，但由于肌骨超声图像存在肌骨个体间形状、纹理等差异大的问题，导致医师在对肌骨超声图像进行分割分析时会花费很多时间，这导致增加了人力成本和时间成本。因此，能够设计智能识别分割肌骨超声图像的方法能够简省医疗过程中的人力和时间成本。
发明内容
本发明的目的在于设计一种分割肌骨超声图像的智能识别方法，简省医疗过程中的人力和时间成本，提高医疗效率，提供基于半监督语义分割的肩部肌骨超声结构分割方法。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
基于半监督语义分割的肩部肌骨超声结构分割方法，包括以下步骤：
步骤S1：对获取的若干切面肌骨超声图像进行预处理，得到标注后的强标注图像集和弱标注图像集；
步骤S2：使用标注后的强标注图像集中的切面肌骨超声图像对生成网络和判别网络进行训练，再使用标注后的弱标注图像集中的切面肌骨超声图像对生成网络进行反向优化训练，得到总生成网络；
步骤S3：将肩部肌骨超声图像输入训练好的总生成网络中，得到肩部肌骨超声结构分割图。
所述对获取的若干切面肌骨超声图像进行预处理，得到标注后的强标注图像集和弱标注图像集的步骤，包括：
将获取的若干切面肌骨超声图像按照1:10的比例随机划分为强标注图像集和弱标注图像集；
对于强标注图像集，对其中每一张切面肌骨超声图像进行肌肉骨骼结构的分割标注，同时确定其切面类型标签，得到强标注图像集中每张切面肌骨超声图像的切面类型信息；按照分割标注分别统计强标注图像集中每张切面肌骨超声图像的密度分布特征向量；
对于弱标注图像集，对其中每一张切面肌骨超声图像进行肌肉骨骼结构的分割标注，同时确定其切面类型标签，得到弱标注图像集中每张切面肌骨超声图像的切面类型信息。
所述切面标签包括肱二头肌长头腱短轴切面、肩胛下肌腱长轴切面、冈上肌腱长轴切面、肩关节治疗切面、腋下关节囊切面，依次使用section=1,...,5来表示。
按照分割标注分别统计强标注图像集中每张切面肌骨超声图像的密度分布特征向量的步骤，包括：
对每一个切面肌骨超声图像的切面进行二值化分类，将肌骨结构和背景分为目标1和目标0；
选取切面肌骨超声图像的重心点
Figure 585064DEST_PATH_IMAGE001
作为形心，获取切面肌骨超声图像的像素到形心的最大距离
Figure 689155DEST_PATH_IMAGE002
，以形心为中心向最大距离的像素划分M个等间距的圆，包括一个中心圆和多个同心圆环，每一个圆环为一个子图像区域；
对各个子图像区域分别进行统计，计算每个子图像区域内目标像素的总数
Figure 672155DEST_PATH_IMAGE003
，并找出
Figure 598522DEST_PATH_IMAGE004
，计算子图像区域的目标像素的相对密度向量
Figure 803108DEST_PATH_IMAGE006
；
计算子图像区域的目标像素在极坐标方向的相对密度的一阶数值差分：
Figure 828833DEST_PATH_IMAGE007
形成2*M维密度分布特征向量
Figure 361445DEST_PATH_IMAGE008
。
所述使用标注后的强标注图像集中的切面肌骨超声图像对生成网络和判别网络进行训练的步骤，包括：
将标注后的强标注图像集中的切面肌骨超声图像经数据增强后输入生成网络，得到强标注图像集对应的预测图；将强标注图像集对应的预测图与对应的分割标注做逐像素的交叉熵损失计算，得到生成网络的损失
Figure 15805DEST_PATH_IMAGE010
，同时得到集合{预测图，分割标注}；
在集合{预测图，分割标注}中进行随机抽样，得到预测图或分割标注，记预测图为伪事件、分割标注为真事件的抽样结果；将抽样结果输入判别网络，得到强标注图像集的真伪概率输出；
计算强标注图像集的真伪概率输出与实际值的一维交叉熵损失，得到强标注图像集对应的判别网络的损失
Figure 825629DEST_PATH_IMAGE011
，根据强标注图像集对应的生成网络的损失
Figure 271523DEST_PATH_IMAGE012
和判别网络的损失
Figure 963535DEST_PATH_IMAGE011
得到总损失一：
Figure 966126DEST_PATH_IMAGE013
；
利用总损失一进行反向传播优化生成网络和判别网络，对强标注图像集中的切面肌骨超声图像进行多次迭代训练，得到预训练的生成网络和预训练的判别网络。
所述生成网络包括以下模块：
下采样模块，用于对输入生成网络的图像进行
Figure 145304DEST_PATH_IMAGE014
的下采样，构建肌骨超声图像金字塔，该肌骨超声图像金字塔为5层；
特征融合模块，用于对下采样的肌骨超声图像由金字塔的第5层开始通过残差卷积单元进行通道concatenate连接，卷积后的结果与上一层金字塔进行通道concatenate连接，直到金字塔所有层都完成卷积，得到特征图像金字塔；
反卷积预测模块，用于利用反卷积网络对多类别肌骨超声结构分割生成像素分类置信度图像。
所述使用标注后的弱标注图像集中的切面肌骨超声图像对生成网络进行反向优化训练的步骤，包括；
将标注后的弱标注图像集中的切面肌骨超声图像经数据增强后输入经强标注图像集预训练后的所述生成网络中，得到弱标注图像集对应的预测图；将弱标注图像集对应的预测图输入经强标注图像集预训练后的判别网络中，得到弱标注图像集的真伪概率输出；
计算弱标注图像集的真伪概率输出与实际值的一维交叉熵损失，得到弱标注图像集对应的判别网络的损失
Figure 778410DEST_PATH_IMAGE015
；提取弱标注图像集对应的预测图的密度分布特征向量，得到密度分布损失
Figure 285615DEST_PATH_IMAGE016
；
根据弱标注图像集对应的判别网络的损失
Figure 216531DEST_PATH_IMAGE015
与密度分布的损失
Figure 63264DEST_PATH_IMAGE016
得到总损失二：
Figure 664010DEST_PATH_IMAGE017
；利用总损失二反向传播优化经强标注图像集预训练后的所述生成网络。
所述得到总生成网络的步骤之前，还包括步骤：
使用标注后的强标注图像集和标注后的弱标注图像集对生成网络进行多次交替训练和优化，得到总生成网络
与现有技术相比，本发明的有益效果：
本发明设计一种分割肌骨超声图像的智能识别方法，简省医疗过程中的人力和时间成本，提高医疗效率，提供基于半监督语义分割的肩部肌骨超声结构分割方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明分割方法的流程图；
图2为本发明强标注图像集训练过程示意图；
图3为本发明弱标注图像集训练过程示意图；
图4（a）为本发明肩部肌骨超声图像效果示意图；
图4（b）为本发明肩部肌骨超声结构分割效果示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本发明通过下述技术方案实现，请参见图1，基于半监督语义分割的肩部肌骨超声结构分割方法，包括以下方法：
步骤S1：对获取的若干切面肌骨超声图像进行预处理，得到标注后的强标注图像集和弱标注图像集；所述预处理包括图像划分、分割、标注。
采用多种设备获取若干张如图4（a）所示的切面肌骨超声图像，比如可采用通用、三星、飞利浦等生产商的多种型号的设备采集切面肌骨超声图像，包括肱二头肌长头腱短轴切面、肩胛下肌腱长轴切面、冈上肌腱长轴切面、肩关节治疗切面、腋下关节囊切面这五类切面肌骨超声图像，可用j=1,...,5来表示这五类切面肌骨超声图像。将获取的若干切面肌骨超声图像（后简称为超声图像）按照1:10的比例随机划分为强标注图像集和弱标注图像集。
在网络学习的过程中，一般需要至少5000张样本中有400-500张区别标注的样本才能基本保证半监督网络学习能够学习到足够的信息，并且拥有足够的泛华能力，因此选择按照1：10的比例随机划分强标注图像集和弱标注图像集，如果这个比例太高或太低，半监督网络学习的意义就不大，学习性能会明显降低。
对于强标注图像集，利用CVAT标注工具对其中每一张超声图像进行肌肉骨骼结构的分割标注，同时确定出其切面类型标签，此时得到强标注图像集中每张切面肌骨超声图像的切面类型信息，使用section=1,...,5来表示该张超声图像属于哪一类切面。然后按照分割标注分别统计强标注图像集中每张超声图像的密度分布特征向量，得到该张超声图像相应的切面的密度分布特征向量
Figure 848391DEST_PATH_IMAGE018
。
具体的密度分布特征向量计算方法为：
a.对每一个超声图像的切面进行二值化分类，将肌骨结构和背景分为目标1和目标0；
b.选取超声图像的重心点
Figure 864888DEST_PATH_IMAGE019
作为形心，获取超声图像的像素到形心的最大距离
Figure 18658DEST_PATH_IMAGE021
，以形心为中心向最大距离的像素划分M个等间距的圆，这些圆包括一个中心圆和多个同心圆环，每一个圆环都是一个子图像区域；
c.对各个子图像区域分别进行统计，即计算每个子图像区域内目标像素的总数
Figure 55884DEST_PATH_IMAGE022
，并找出
Figure 209785DEST_PATH_IMAGE023
，计算子图像区域的目标像素的相对密度向量
Figure 482503DEST_PATH_IMAGE025
；
d.计算子图像区域的目标像素在极坐标方向的相对密度的一阶数值差分：
Figure 366146DEST_PATH_IMAGE026
形成2*M维密度分布特征向量
Figure 246377DEST_PATH_IMAGE027
。
同一切面的密度分布特征具有平移不变性和尺度不变性，本方案中用于表征同一切面下的结构的位置先验和形状先验性。因为不同的人在同一个切面的超声图像的肌骨结构形状和相对位置都保持了高度的相似性，这是肌骨超声的一大特点，所以加入这种先验性条件可以有利于在训练过程中收敛得更快和更加准确。这种肌骨结构的形状和位置的先验性，需要一个数学的指标去衡量，类似于描述空间两个点的距离，比如可以使用欧几里得距离来衡量。
对于弱标注图像集，按照相同的方法仅标注出其切面类型标签，得到其中超声图像的切面类型信息。
步骤S2：使用标注后的强标注图像集中的切面肌骨超声图像对生成网络和判别网络进行训练，再使用标注后的弱标注图像集中的切面肌骨超声图像对生成网络进行反向优化训练，得到总生成网络。
请参见图2，将强标注图像集中的超声图像经数据增强后输入生成网络，得到强标注图像集对应的预测图。将预测图与分割标注做逐像素的交叉熵损失计算，得到生成网络的损失
Figure 136842DEST_PATH_IMAGE029
，同时得到集合{预测图，分割标注}。
所述生成网络包括以下模块：
下采样模块，用于对输入生成网络的图像进行
Figure 963983DEST_PATH_IMAGE030
的下采样，构建肌骨超声图像金字塔，该肌骨超声图像金字塔为5层；
特征融合模块，用于对下采样的肌骨超声图像由金字塔的第5层开始通过残差卷积单元进行通道concatenate连接，卷积后的结果与上一层金字塔进行通道concatenate连接，直到金字塔所有层都完成卷积，得到特征图像金字塔；
反卷积预测模块，用于利用反卷积网络对多类别肌骨超声结构分割生成像素分类置信度图像。
得到的生成网络的损失表达式为：
Figure 702132DEST_PATH_IMAGE031
其中，
Figure 259323DEST_PATH_IMAGE032
表示超声图像中p个像素点真实类别的one-hot编码第c个类别的取值，
Figure DEST_PATH_IMAGE033
，比如第0个像素的真实标签为2，加上背景供4个类别，那么
Figure 856657DEST_PATH_IMAGE034
，则
Figure 736757DEST_PATH_IMAGE035
，其余值为0。
Figure 1517DEST_PATH_IMAGE036
表示超声图像中p个像素点预测类别的one-hot编码第c个类别的取值，
Figure 551447DEST_PATH_IMAGE038
，是一个概率值。N表示总的像素点数量，C表示类别总数。
在集合{预测图，分割标注}中进行随机抽样，得到预测图或分割标注，记预测图为伪事件、分割标注为真事件的抽样结果。将抽样结果输入判别网络，得到强标注图像集的真伪概率输出，输出结果为0~1，表示判定输入为真事件的概率，即输入为分割标注的概率。计算真伪概率输出与实际值
Figure 619766DEST_PATH_IMAGE039
的一维交叉熵损失，得到判别网络的损失
Figure 851027DEST_PATH_IMAGE040
。
所述判别网络的损失
Figure 298189DEST_PATH_IMAGE040
表示判别误差，用于同时优化生成网络和判别网络，其表达式为：
Figure 940391DEST_PATH_IMAGE041
其中
Figure 246739DEST_PATH_IMAGE042
表示输入的真实来源，当
Figure 78429DEST_PATH_IMAGE043
时表示输入为预测图，当
Figure 835557DEST_PATH_IMAGE044
时表示输入为分割标注。
Figure 602656DEST_PATH_IMAGE045
表示抽样结果输入判别网络后得到的强标注图像集的真伪概率输出结果。
一个性能优越判别网络是能够对这两种输入情况准确做出判别的，但是当生成网络的性能非常好，预测图和分割标注相差很小，生成网络就很难做出判断，于是，基于这个矛盾，交替训练判别网络与生成网络，能够使得判别网络都到一个比较好的性能，使得生成网络更有效。
根据强标注图像集对应的生成网络的损失
Figure 176725DEST_PATH_IMAGE046
和判别网络的损失
Figure 77685DEST_PATH_IMAGE047
得到总损失一：
Figure 905964DEST_PATH_IMAGE048
利用总损失一
Figure 93232DEST_PATH_IMAGE049
进行反向传播优化网络，比如抽取的是预测图，那么判别网络损失
Figure 233226DEST_PATH_IMAGE050
可以直接反向传播到生成网络中，能够同时对生成网络和判别网络进行权重更新，从而训练生成网络和判别网络；如果抽取的是分割标注，那么判别网络损失
Figure 609981DEST_PATH_IMAGE050
只会传播到判别网络的输入中，不会传播到生成网络，但能够对判别网络进行权重更新，训练判别网络，因此可以直接将生成网络的损失
Figure 10875DEST_PATH_IMAGE051
和判别网络的损失
Figure 182093DEST_PATH_IMAGE050
直接相加进行反向传播。
对强标注图像集中的超声图像进行多次迭代训练，得到预训练的生成网络和预训练的判别网络。
请参见图3，将弱标注图像集中的超声图像经数据增强后输入经强标注图像集预训练后的生成网络中，得到弱标注图像集对应的预测图。将预测图直接输入经强标注图像集预训练后的判别网络中，得到弱标注图像集的真伪概率输出。
弱标注图像集的真伪概率输出与强标注图像集的真伪概率输出不同，弱标注图像集的真伪概率输出表征生成网络预测的预测图的质量得分。将该质量得分与实际值
Figure 809384DEST_PATH_IMAGE052
做交叉熵损失，此时由于只有生成网络的预测图，因此此处
Figure 914130DEST_PATH_IMAGE053
，得到弱标注图像集下的判别网络损失
Figure 310477DEST_PATH_IMAGE047
。
此处判别网络的损失
Figure 652596DEST_PATH_IMAGE054
表示分割质量损失，仅用于优化生成网络，其表达式为：
Figure DEST_PATH_IMAGE055
然后再提取预测图的密度分布特征向量，计算预测图的密度分布特征向量与相应切面的平均密度分布向量的欧几里得距离，得到密度分布损失
Figure 829500DEST_PATH_IMAGE056
，表征与对应切面的形状先验和分布的预测偏移差距。
每一张预测图都会得到其相应的密度分布损失
Figure 610374DEST_PATH_IMAGE056
，仅用于在弱标注图像集中通过切面的形状先验和分布的预测偏移差距监督生成网络的优化。
根据弱标注图像集对应的判别网络的损失
Figure 985861DEST_PATH_IMAGE054
与密度分布的损失
Figure 826778DEST_PATH_IMAGE056
得到总损失二：
Figure DEST_PATH_IMAGE057
固定判别网络的权重，利用总损失二反向传播优化生成网络，由于此处判别网络的输入来源于生成网络的输入，因此固定判别网络了优化生成网络，并且不会判别网络造成其他影响。
对强标注图像集和弱标注图像集对生成网络进行多次交替训练和优化，最终得到总生成网络。
步骤S3：请参见图4（a），将新的肩部肌骨超声图像输入训练好的总生成网络中，请参见图4（b），得到肩部肌骨超声结构分割图。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.基于半监督语义分割的肩部肌骨超声结构分割方法，其特征在于：包括以下步骤：
步骤S1：对获取的若干切面肌骨超声图像进行预处理，得到标注后的强标注图像集和弱标注图像集；
步骤S2：使用标注后的强标注图像集中的切面肌骨超声图像对生成网络和判别网络进行训练，再使用标注后的弱标注图像集中的切面肌骨超声图像对生成网络进行反向优化训练，得到总生成网络；
步骤S3：将肩部肌骨超声图像输入训练好的总生成网络中，得到肩部肌骨超声结构分割图；
所述对获取的若干切面肌骨超声图像进行预处理，得到标注后的强标注图像集和弱标注图像集的步骤，包括：
将获取的若干切面肌骨超声图像按照1:10的比例随机划分为强标注图像集和弱标注图像集；
对于强标注图像集，对其中每一张切面肌骨超声图像进行肌肉骨骼结构的分割标注，同时确定其切面类型标签，得到强标注图像集中每张切面肌骨超声图像的切面类型信息；按照分割标注分别统计强标注图像集中每张切面肌骨超声图像的密度分布特征向量；
对于弱标注图像集，对其中每一张切面肌骨超声图像进行肌肉骨骼结构的分割标注，同时确定其切面类型标签，得到弱标注图像集中每张切面肌骨超声图像的切面类型信息。
2.根据权利要求1所述的方法，其特征在于：所述切面类型标签包括肱二头肌长头腱短轴切面、肩胛下肌腱长轴切面、冈上肌腱长轴切面、肩关节治疗切面、腋下关节囊切面，依次使用section=1,...,5来表示。
3.根据权利要求2所述的方法，其特征在于：所述按照分割标注分别统计强标注图像集中每张切面肌骨超声图像的密度分布特征向量的步骤，包括：
对每一个切面肌骨超声图像的切面进行二值化分类，将肌骨结构和背景分为目标1和目标0；
选取切面肌骨超声图像的重心点
Figure DEST_PATH_IMAGE001
作为形心，获取切面肌骨超声图像的像素到形心的最大距离
Figure 888206DEST_PATH_IMAGE002
，以形心为中心向最大距离的像素划分M个等间距的圆，包括一个中心圆和多个同心圆环，每一个圆环为一个子图像区域；
对各个子图像区域分别进行统计，计算每个子图像区域内目标像素的总数
Figure DEST_PATH_IMAGE003
，并找出
Figure 399084DEST_PATH_IMAGE004
，计算子图像区域的目标像素的相对密度向量
Figure DEST_PATH_IMAGE005
；
计算子图像区域的目标像素在极坐标方向的相对密度的一阶数值差分：
Figure 603800DEST_PATH_IMAGE006
形成2*M维密度分布特征向量
Figure DEST_PATH_IMAGE007
。
4.根据权利要求2所述的方法，其特征在于：所述使用标注后的强标注图像集中的切面肌骨超声图像对生成网络和判别网络进行训练的步骤，包括：
将标注后的强标注图像集中的切面肌骨超声图像经数据增强后输入生成网络，得到强标注图像集对应的预测图；将强标注图像集对应的预测图与对应的分割标注做逐像素的交叉熵损失计算，得到生成网络的损失
Figure 989651DEST_PATH_IMAGE008
，同时得到集合{预测图，分割标注}；
在集合{预测图，分割标注}中进行随机抽样，得到预测图或分割标注，记预测图为伪事件、分割标注为真事件的抽样结果；将抽样结果输入判别网络，得到强标注图像集的真伪概率输出；
计算强标注图像集的真伪概率输出与实际值的一维交叉熵损失，得到强标注图像集对应的判别网络的损失
Figure DEST_PATH_IMAGE009
，根据强标注图像集对应的生成网络的损失
Figure 596213DEST_PATH_IMAGE008
和判别网络的损失
Figure 806221DEST_PATH_IMAGE009
得到总损失一：
Figure 29392DEST_PATH_IMAGE010
；
利用总损失一进行反向传播优化生成网络和判别网络，对强标注图像集中的切面肌骨超声图像进行多次迭代训练，得到预训练的生成网络和预训练的判别网络。
5.根据权利要求4所述的方法，其特征在于：所述生成网络包括以下模块：
下采样模块，用于对输入生成网络的图像进行
Figure 235245DEST_PATH_IMAGE012
的下采样，构建肌骨超声图像金字塔，该肌骨超声图像金字塔为5层；
特征融合模块，用于对下采样的肌骨超声图像由金字塔的第5层开始通过残差卷积单元进行通道concatenate连接，卷积后的结果与上一层金字塔进行通道concatenate连接，直到金字塔所有层都完成卷积，得到特征图像金字塔；
反卷积预测模块，用于利用反卷积网络对多类别肌骨超声结构分割生成像素分类置信度图像。
6.根据权利要求4所述的方法，其特征在于：所述使用标注后的弱标注图像集中的切面肌骨超声图像对生成网络进行反向优化训练的步骤，包括；
将标注后的弱标注图像集中的切面肌骨超声图像经数据增强后输入经强标注图像集预训练后的所述生成网络中，得到弱标注图像集对应的预测图；将弱标注图像集对应的预测图输入经强标注图像集预训练后的判别网络中，得到弱标注图像集的真伪概率输出；
计算弱标注图像集的真伪概率输出与实际值的一维交叉熵损失，得到弱标注图像集对应的判别网络的损失
Figure DEST_PATH_IMAGE013
；提取弱标注图像集对应的预测图的密度分布特征向量，得到密度分布损失
Figure 680002DEST_PATH_IMAGE014
；
根据弱标注图像集对应的判别网络的损失
Figure 578688DEST_PATH_IMAGE013
与密度分布的损失
Figure 289155DEST_PATH_IMAGE014
得到总损失二：
Figure DEST_PATH_IMAGE015
；利用总损失二反向传播优化经强标注图像集预训练后的所述生成网络。
7.根据权利要求6所述的方法，其特征在于：所述得到总生成网络的步骤之前，还包括步骤：
使用标注后的强标注图像集和标注后的弱标注图像集对生成网络进行多次交替训练和优化，得到总生成网络。
CN202011152674.5A 2020-10-26 2020-10-26 基于半监督语义分割的肩部肌骨超声结构分割方法 Active CN111968124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011152674.5A CN111968124B (zh) 2020-10-26 2020-10-26 基于半监督语义分割的肩部肌骨超声结构分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011152674.5A CN111968124B (zh) 2020-10-26 2020-10-26 基于半监督语义分割的肩部肌骨超声结构分割方法

Publications (2)

Publication Number Publication Date
CN111968124A CN111968124A (zh) 2020-11-20
CN111968124B true CN111968124B (zh) 2020-12-22

Family

ID=73387193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011152674.5A Active CN111968124B (zh) 2020-10-26 2020-10-26 基于半监督语义分割的肩部肌骨超声结构分割方法

Country Status (1)

Country Link
CN (1) CN111968124B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436221A (zh) * 2021-05-31 2021-09-24 华东师范大学 一种利用几何形状分层的图像分割弱标注方法
CN113962951B (zh) * 2021-10-15 2022-05-17 杭州研极微电子有限公司 检测分割模型的训练方法及装置、目标检测方法及装置
CN114170481B (zh) * 2022-02-10 2022-06-17 北京字节跳动网络技术有限公司 用于图像处理的方法、设备、存储介质和程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256562A (zh) * 2018-01-09 2018-07-06 深圳大学 基于弱监督时空级联神经网络的显著目标检测方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519868B2 (en) * 2012-06-21 2016-12-13 Microsoft Technology Licensing, Llc Semi-supervised random decision forests for machine learning using mahalanobis distance to identify geodesic paths
CN104573669B (zh) * 2015-01-27 2018-09-04 中国科学院自动化研究所 图像物体检测方法
US10402690B2 (en) * 2016-11-07 2019-09-03 Nec Corporation System and method for learning random-walk label propagation for weakly-supervised semantic segmentation
CN108205806B (zh) * 2016-12-20 2020-10-09 北京大学 一种锥束ct图像三维颅面结构的自动解析方法
US10169873B2 (en) * 2017-03-23 2019-01-01 International Business Machines Corporation Weakly supervised probabilistic atlas generation through multi-atlas label fusion
CN111383207B (zh) * 2018-12-11 2024-03-15 深圳开立生物医疗科技股份有限公司 一种肌骨超声图像处理方法、系统、装置及可读存储介质
CN109800788A (zh) * 2018-12-18 2019-05-24 中国海洋大学 一种减少图像分割数据集标注的方法
CN111179227B (zh) * 2019-12-16 2022-04-05 西北工业大学 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
CN111612770B (zh) * 2020-05-22 2021-08-31 中国科学院自动化研究所 基于主动筛选的半监督病灶检测网络的病灶检测系统
CN111680739B (zh) * 2020-06-04 2024-03-22 通号通信信息集团有限公司 一种目标检测和语义分割的多任务并行方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256562A (zh) * 2018-01-09 2018-07-06 深圳大学 基于弱监督时空级联神经网络的显著目标检测方法及系统

Also Published As

Publication number Publication date
CN111968124A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
Chouhan et al. Soft computing approaches for image segmentation: a survey
CN111968124B (zh) 基于半监督语义分割的肩部肌骨超声结构分割方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
Hassanien et al. Rough sets and near sets in medical imaging: A review
Ali et al. Boosted NNE collections for multicultural facial expression recognition
Rahmon et al. Motion U-Net: Multi-cue encoder-decoder network for motion segmentation
Chen et al. Research on recognition of fly species based on improved RetinaNet and CBAM
Bera et al. Attend and guide (ag-net): A keypoints-driven attention-based deep network for image recognition
Ashok Kumar et al. Enhanced facial emotion recognition by optimal descriptor selection with neural network
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
Gammulle et al. Coupled generative adversarial network for continuous fine-grained action segmentation
CN110059730A (zh) 一种基于胶囊网络的甲状腺结节超声图像分类方法
Jiang et al. Facial expression recognition based on convolutional block attention module and multi-feature fusion
Li et al. Findnet: Can you find me? boundary-and-texture enhancement network for camouflaged object detection
Ameen et al. Explainable residual network for tuberculosis classification in the IoT era
Esmaeili et al. Spotting micro‐movements in image sequence by introducing intelligent cubic‐LBP
CN113486902A (zh) 基于元学习的三维点云分类算法自动选择方法
CN112991280A (zh) 视觉检测方法、系统及电子设备
Sujatha et al. Enhancing Object Detection with Mask R-CNN: A Deep Learning Perspective
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network
CN112597842B (zh) 基于人工智能的运动检测面瘫程度评估系统
CN114842238A (zh) 一种嵌入式乳腺超声影像的识别方法
CN114067159A (zh) 一种基于eus的粘膜下肿瘤细粒度分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant