一种对中晚孕期胎儿的超声切面图像进行质量控制的方法
技术领域
本发明属于产前超声检查技术领域,更具体地,涉及一种对中晚孕期胎儿的超声切面图像进行质量控制的方法。
背景技术
目前,中晚孕期胎儿超声检查是产前诊断与缺陷儿筛查的首选检查方法。然而,由于胎位的不确定性、母体的体重指数、医生操作手法、超声物理特性、胎儿运动等因素的影响,超声检查所获得的胎儿超声切面图像清晰度、标准度往往存在很大差异,从而极大影响了检查结果的准确性。因此,有必要对胎儿超声切面图像进行质量控制(Quality Control,简称QC)。
现有的对胎儿超声切面图像进行质量控制的方法,主要是通过医院组织大量专家对胎儿超声切面图像进行主观评价和客观评分的方式,具体是通过判断胎儿超声切面图像中关键解剖结构是否存在、以及该关键解剖结构的几何形状是否标准来定量评估切面图像。
然而,该方法存在一些不可忽略的缺陷:首先,该方法需要消耗大量的人力和物力,在实际临床中难以广泛推广应用;其次,不同医师对胎儿超声切面图像是否标准的认知不尽相同,这会导致质量控制结果出现不一致性。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种对中晚孕期胎儿的超声切面图像进行质量控制的方法,其目的在于,解决现有人工质量控制方法由于需要消耗大量的人力和物力,导致在实际临床中难以广泛推广应用的技术问题,以及不同医师对胎儿超声切面图像是否标准的认知不尽相同所导致的质量控制结果出现不一致性的技术问题,本发明能够辅助超声医师遴选出更加标准、质量更高的胎儿近40个切面(包括丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、鼻唇冠状切面、双眼球水平横切面、颜面部正中矢状切面、四腔心切面、左室流出道切面、右室流出道切面、三血管切面、三血管气管切面、膈肌冠状切面、膈肌矢状切面、上腹部横切面、脐带腹壁入口腹部横切面、脐动脉水平膀胱横切面、双肾横切面、双肾矢状切面、双肾冠状切面、脊柱矢状切面、脊柱横切面、脊柱冠状切面、肩胛骨水平横切面、左侧及右侧肱骨长轴切面、左侧及右侧尺桡骨长轴切面、左侧及右侧尺桡骨短轴切面、骼骨水平横切面、左侧及右侧股骨长轴切面、左侧及右侧胫腓骨长轴切面、左侧及右侧胫腓骨短轴切面、双手矢状冠状切面、双足矢状冠状切面、孕妇宫颈内口矢状切面、脐带胎盘入口切面、测量胎盘厚度切面、脐动脉血流频谱图、最大羊水池切面)图像。
为实现上述目的,按照本发明的一个方面,提供了一种对中晚孕期胎儿的超声切面图像进行质量控制的方法,包括以下步骤:
(1)获取胎儿某部位切面图像;
(2)对步骤(1)获取的胎儿某部位切面图像进行预处理操作,以得到预处理胎儿某部位切面图像;
(3)将步骤(2)得到的预处理胎儿某部位切面图像输入训练好的深度卷积神经网络中,以得到该胎儿某部位切面图像的类别、以及该胎儿某部位切面图像中所包含的关键结构及其位置坐标;
(4)对于步骤(3)中得到的标准胎儿超声切面图像,直接输出“某部位切面标准”,并为该标准胎儿超声切面图像设置分数10;而对步骤(3)中得到的非标准胎儿超声切面图像,直接输出“某部位切面非标准”结果,根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果,其中该质量评估报告说明了该胎儿某部位切面图像是非标准胎儿超声切面图像的原因。
优选地,步骤(2)包括以下子步骤:
(2-1)删除该胎儿某部位切面图像中与超声设备参数相关的冗余信息,对删除冗余信息后的胎儿某部位切面图像的长宽大小不是32倍数的,对该胎儿某部位切面图像进行补边处理,使其长宽大小变为32的倍数,将补边后的胎儿某部位切面图像缩放为960x736像素大小,并使用线性函数对缩放后的胎儿某部位切面图像进行归一化处理,以得到归一化后的胎儿某部位切面图像;
(2-2)对步骤(2-1)归一化后的胎儿某部位切面图像进行随机增强操作,以得到随机增强后的胎儿某部位切面图像。
优选地,胎儿某部位切面包括丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、鼻唇冠状切面、双眼球水平横切面、颜面部正中矢状切面、四腔心切面、左室流出道切面、右室流出道切面、三血管切面、三血管气管切面、膈肌冠状切面、膈肌矢状切面、上腹部横切面、脐带腹壁入口腹部横切面、脐动脉水平膀胱横切面、双肾横切面、双肾矢状切面、双肾冠状切面、脊柱矢状切面、脊柱横切面、脊柱冠状切面、肩胛骨水平横切面、左侧及右侧肱骨长轴切面、左侧及右侧尺桡骨长轴切面、左侧及右侧尺桡骨短轴切面、骼骨水平横切面、左侧及右侧股骨长轴切面、左侧及右侧胫腓骨长轴切面、左侧及右侧胫腓骨短轴切面、双手矢状冠状切面、双足矢状冠状切面、孕妇宫颈内口矢状切面、脐带胎盘入口切面、测量胎盘厚度切面、脐动脉血流频谱图、以及最大羊水池切面,其中丘脑、大脑、脑室、小脑构成颅脑部位。
优选地,当胎儿某部位切面图像为胎儿颅脑部位切面图像时,关键结构包括外侧裂(lateral sulcus,简称LS)、丘脑(Thalamus,简称T)、脉络丛(Choroid plexus,简称CP)、透明间隔腔(Cavitation of septum pellucidum,简称CSP)、第三脑室(Third ventricle,简称TV)、脑中线(Brain middle,简称BM)、以及颅骨(Skull,简称S)。
优选地,根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果这一过程具体为:
(4-1)判断步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构中是否包括BM,如果包括则进入步骤(4-2),否则为该胎儿某部位切面图像设置分数0,并生成该胎儿某部位切面图像的质量评估报告。然后过程结束;
(4-2)获取该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标,根据该位置坐标分别计算其对应的关键结构与BM的重合度,并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构,以过滤掉错误检测的关键结构;
(4-3)判断步骤(4-2)处理后的该胎儿某部位切面图像中包含的关键结构中是否包括LS,如果包括则进入步骤(4-4),否则直接进入步骤(4-5);
(4-4)获取步骤(4-3)处理后的该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标,根据该位置坐标分别计算其对应的关键结构与LS的重合度,并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构,以过滤掉错误检测的关键结构,然后进入步骤(4-5);
(4-5)根据预先建立的组织-得分映射表,对关键结构过滤后的胎儿某部位切面图像中剩余的各个关键结构设置对应的分数,将所有关键结构对应的分数相加以得到该关键结构过滤后的胎儿某部位切面图像的分数,并为该胎儿某部位切面图像生成质量评估报告,该胎儿某部位切面图像的分数和质量评估报告共同构成最终的质量控制结果。
优选地,深度卷积神经网络包括顺次连接的骨干网Darknet-53、特征交互层、目标检测子网和分类子网,其中目标检测子网和分类子网是并列的。
优选地,骨干网Darknet-53的网络结构为:
第一层是输入层,其输入为736*960*3像素的矩阵;
第二层是特征抽取层,其采用的是公开的特征抽取网络Darknet-53,并取特征抽取网络Darknet-53中去掉FC层的最后一层、第152层和92层这三层的输出矩阵作为提取的特征C1、C2、C3,其大小分别是23*30*1024、46*60*512和92*120*256;
特征交互层的网络结构为:
第一层是在特征C1基础上的DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*512,步长为1,该层使用SAME模式填充,输出矩阵为23*30*512;
第二层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*1024,步长为1,该层使用SAME模式填充,输出矩阵为23*30*1024;
第二层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*1024,步长为1,该层使用SAME模式填充,输出矩阵为23*30*1024;
第三层到第四层是彼此连续的DarknetConv2D_BN_Leaky型卷积层,各层设置,以及输出大小均和第一到二层一一对应;
第五层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*512,步长为1,该层使用SAME模式填充,输出矩阵为23*30*512,记为T1;
第六层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*1024,步长为1,该层使用SAME模式填充,输出矩阵为23*30*1024,记为C4;
第七层是在T1基础上的DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*256,步长为1,该层使用SAME模式填充,输出矩阵为23*30*256;
第八层是上采样层,设置为2倍上采样,输出矩阵为46*60*256;
第九层是连接层,将第八层的输出和特征C2连接,输出矩阵为46*60*768;
第十层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*256,步长为1,该层使用SAME模式填充,输出矩阵为46*60*256;
第十一层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*512,步长为1,该层使用SAME模式填充,输出矩阵为46*60*512;
第十二层到第十三层是彼此连续的DarknetConv2D_BN_Leaky型卷积层,各层设置,以及输出大小均和第十到十一层一一对应;
第十四层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*256,步长为1,该层使用SAME模式填充,输出矩阵为46*60*256,记为T2;
第十五层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*512,步长为1,该层使用SAME模式填充,输出矩阵为46*60*512,记为C5;
第十六层是在T2基础上的DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*128,步长为1,该层使用SAME模式填充,输出矩阵为46*60*128;
第十七层是上采样层,设置为2倍上采样,输出矩阵为92*120*128;
第十八层是连接层,第十七层的输出和特征C3连接,输出矩阵为92*120*384;
第十九层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*128,步长为1,该层使用SAME模式填充,输出矩阵为92*120*128;
第二十层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*256,步长为1,该层使用SAME模式填充,输出矩阵为92*120*256;
第二十一层到第二十二层是彼此连续的DarknetConv2D_BN_Leaky型卷积层,各层设置,以及输出大小均和第十九到二十层一一对应;
第二十三层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*128,步长为1,该层使用SAME模式填充,输出矩阵为92*120*128;
第二十四层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*256,步长为1,该层使用SAME模式填充,输出矩阵为92*120*256,记为C6。
优选地,目标检测子网的输入矩阵为特征交互层输出的C4、C5、C6,输出D1、D2、D3,分别对应于在三个不同尺度上对胎儿超声颅脑切面中关键结构的类别和位置坐标预测,共3层,目标检测子网的网络结构为:
第一层是在C4基础上的卷积层,其卷积核的尺寸为1*1*36,步长为1,该层使用SAME模式填充,输出矩阵为23*30*36,记为D1;
第二层是在C5基础上的卷积层,其卷积核的尺寸为1*1*36,步长为1,该层使用SAME模式填充,输出矩阵为23*30*36,记为D2;
第三层是在C6基础上的卷积层,其卷积核的尺寸为1*1*36,步长为1,该层使用SAME模式填充,输出矩阵为23*30*36,记为D3。
优选地,分类子网的输入是C4、C5、C6,共18层,分类子网的网络结构为:
第一层到第三层都是顺次连接的卷积层具有相同的参数和输出大小,且第一层的输入是C4,卷积核的尺寸为3*3*256,步长为1,该层使用SAME模式填充,输出矩阵为23*30*256;
第四层是全局最大池化层,输出矩阵为256;
第五层是Reshape层,输出矩阵为1*1*256,记为E1;
第六层到第十层都是顺次连接的卷积层,其各层设置以及输出矩阵大小均和第一层到第五层一一对应,且第六层的输入是C4,最终输出矩阵为1*1*256,记为E2;
第十一层到第十五层都是顺次连接的卷积层,其各层设置以及输出矩阵大小均和第一层到第五层一一对应,且第十一层的输入是C5,最终输出矩阵为1*1*256,记为E3;
第十六层是连接层,将E1、E2、E3连接,输出矩阵为1*1*256;
第十七层是卷积层,卷积核的尺寸为1*1*2,步长为1,该层使用SAME模式填充,输出矩阵为1*1*2;
第十八层是Flatten层,输入矩阵为大小为2。
优选地,深度卷积神经网络是通过如下步骤训练得到:
(1)获取数据集,将其发送到放射科专家,并获取放射科专家标注后的数据集;
(2)对标注后的数据集进行预处理,以得到预处理后的数据集;
(3)使用K-means聚类算法对步骤(1)标注后的数据集进行统计,以获取9个最能代表数据集中超声胎儿对应部位切面中关键结构的长宽大小值,将其设置为深度卷积神经网络中的锚点;
(4)将预处理后的数据集中的训练集部分分批次输入深度卷积神经网络中由骨干网Darknet-53、特征交互层和目标检测子网顺次连接所组成的目标检测分支中,以获得目标检测分支的推理输出,将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到针对目标检测子网的损失函数中,以获取损失值。
(5)使用Adam算法和步骤(4)得到的损失值对深度卷积神经网络中目标检测分支的损失函数进行优化,以达到逐步更新目标检测分支网络中参数的目的;
(6)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据,重复依次执行上述步骤(4)和步骤(5),直到目标检测分支收敛到最佳状态为止;
(7)取(6)中训练好的目标检测分支中的骨干网Darknet-53和特征交互层两部分的权重,以迁移学习的方式初始化深度卷积神经网络中由骨干网Darknet-53、特征交互层和分类子网顺次连接组成的网络分类分支中的骨干网Darknet-53和特征交互层部分,然后固定网络分类分支中骨干网Darknet-53的权重,使其不参与网络分类分支的训练(即在网络分类分支训练过程中保持不变);
(8)使用步骤(2)得到的预处理后的数据集中的训练集部分,将其分批次送入到步骤(7)中设置好的网络分类分支,以获得网络分类分支的推理输出,将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到网络分类分支的损失函数中,以获取损失值;
(9)使用Adam算法和步骤(8)得到的损失值对深度卷积神经中网络分类分支的损失函数进行优化,以达到逐步更新网络分类分支中非骨干网Darknet-53部分的参数的目的。
(10)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据,重复依次执行上述步骤(8)和步骤(9),直到网络分类分支收敛到最佳状态为止;
(11)将步骤(6)中训练得到的目标检测分支的模型权重和步骤(10)中训练得到的网络分类分支的模型权重加载到整个深度卷积神经网络中,并使用步骤(2)中预处理后的数据集中的训练集部分验证整个深度卷积神经网络的收敛情况。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)由于本发明是全自动化智能化的,在训练完成后将不再需要人工干预,因此能解决现有人工质量控制方法由于需要消耗大量的人力和物力,导致在实际临床中难以落实质量控制的问题。
(2)由于本发明中确定胎儿各部位切面图像是相应部位的标准胎儿超声切面图像还是非标准胎儿超声切面图像,是基于统一的质量控制标准(即预先建立的重合度关联表、以及组织-得分映射表),因此质量控制的结果具有一致性,从而能够有效解决现有人工质量控制方法中由于不同医师对胎儿各部位切面图像是否标准的认知不尽相同所导致的质量控制结果出现不一致性的技术问题。
(3)由于本发明学习阶段所使用的样本均是由超声医师根据临床经验遴选和精确标注,所以本发明能够学习到最有经验的超声医师的知识,从而能够保证本发明方法能获得标准且质量好的胎儿各部位切面图像。
(4)由于本发明方法能够直接得出中晚孕期胎儿的各部位切面图像是否是相应部位的标准切面图像,以及相应部位的非标准切面图像中各个关键结构的得分情况,并指出该部位切面图像是相应部位非标准切面图像的原因,该结果具备客观性和说服性,且得到的相应部位的非标准切面图像中存在的低得分的情况也有助于超声医师及时改进其专业技能、严格把控超声检测质量,并减少或避免不专业的操作。
(5)本发明能够辅助超声医师遴选出更加标准、质量更高的胎儿近40个部位(包括颅脑切面、丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、双眼球水平横切面、鼻唇冠状切面等)的切面图像、
附图说明
图1是本发明对中晚孕期胎儿的超声切面图像进行质量控制的方法的流程图;
图2是本发明方法的步骤(3)中使用的深度卷积神经网络的架构图。
图3是本发明方法的步骤(3)得到的胎儿颅脑部位切面图像中各个关键结构的示意图。
图4(a)至(c)分别是本发明方法对三帧胎儿颅脑部位切面图像进行处理后,最终得到的三个质量控制结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的基本思路在于提供一种对中晚孕期胎儿的各个部位(总共有接近40个部位)的超声切面图像进行质量控制的方法,利用计算机学习中晚孕期胎儿各个部位的切面图像中包含的超声专家经验知识,然后结合超声医师专家团队制定的针对中晚孕期胎儿的各个部位切面图像质量控制标准,做出详细的质量评估报告;本发明还使用深度学习网络,对中晚孕期胎儿的各个部位切面图像图片进行训练学习,然后对新的各个部位切面图像进行推理,判断新的各个部位切面图像是否是标准切面,并对检测结果做出评分,如果判定该某部位切面图像不是相应部位的标准胎儿超声切面图像,则提供详细的该某部位切面图像不是相应部位标准胎儿超声切面图像的原因。
如图1所示,本发明提供了一种对中晚孕期胎儿的超声切面图像进行质量控制的方法,包括以下步骤:
(1)获取胎儿某部位切面图像;
具体而言,胎儿某部位切面图像是从市场上主流厂商(包括三星、开立、西门子等)超声设备中获取的。
本步骤中的某部位切面,可以是丘脑水平横切面、侧脑室水平横切面、小脑水平横切面、鼻唇冠状切面、双眼球水平横切面、颜面部正中矢状切面、四腔心切面、左室流出道切面、右室流出道切面、三血管切面、三血管气管切面、膈肌冠状切面、膈肌矢状切面、上腹部横切面、脐带腹壁入口腹部横切面、脐动脉水平膀胱横切面、双肾横切面、双肾矢状切面、双肾冠状切面、脊柱矢状切面、脊柱横切面、脊柱冠状切面、肩胛骨水平横切面、左侧及右侧肱骨长轴切面、左侧及右侧尺桡骨长轴切面、左侧及右侧尺桡骨短轴切面、骼骨水平横切面、左侧及右侧股骨长轴切面、左侧及右侧胫腓骨长轴切面、左侧及右侧胫腓骨短轴切面、双手矢状冠状切面、双足矢状冠状切面、孕妇宫颈内口矢状切面、脐带胎盘入口切面、测量胎盘厚度切面、脐动脉血流频谱图、最大羊水池切面,其中丘脑、大脑、脑室、小脑等多个结构构成颅脑部位。
(2)对步骤(1)获取的胎儿某部位切面图像进行预处理操作,以得到预处理胎儿某部位切面图像。
本步骤包括以下子步骤:
(2-1)删除该胎儿某部位切面图像中与超声设备参数相关的冗余信息,对删除冗余信息后的胎儿某部位切面图像的长宽大小不是32倍数的,对该胎儿某部位切面图像进行补边处理(即补充黑色边缘),使其长宽大小变为32的倍数,将补边后的胎儿某部位切面图像缩放为960x736像素大小,并使用线性函数对缩放后的胎儿某部位切面图像进行归一化处理,以得到归一化后的胎儿某部位切面图像;
(2-2)对步骤(2-1)归一化后的胎儿某部位切面图像进行随机增强操作,以得到随机增强后的胎儿某部位切面图像;
具体而言,增强操作可以是以不超过10度的随机旋转,垂直翻转、边缘镜像填充方式的随机缩放(缩放范围不超过对应长宽的2%)、小范围程度的亮度随机扰动中的一种操作或任意多种组合的操作,所有这些增强后的图片构成预处理后的数据集。
(3)将步骤(2)得到的预处理胎儿某部位切面图像输入训练好的深度卷积神经网络中,以得到该胎儿某部位切面图像的类别、以及该胎儿某部位切面图像中所包含的关键结构及其位置坐标;
具体而言,本步骤中得到的胎儿某部位切面图像的类别包括标准胎儿超声切面图像和非标准胎儿超声切面图像。
当胎儿某部位切面图像为胎儿颅脑部位切面图像时,本步骤中得到的关键结构包括外侧沟(lateral sulcus,简称LS)、丘脑(Thalamus,简称T)、脉络丛(Choroid plexus,简称CP)、透明间隔腔(Cavitation of septum pellucidum,简称CSP)、第三脑室(Thirdventricle,简称TV)、脑中线(Brain middle,简称BM)、以及颅骨(Skull,简称S),如图3中所示。
(4)对于步骤(3)中得到的标准胎儿超声切面图像,直接输出“某部位切面标准”,并为该标准胎儿超声切面图像设置分数10;而对步骤(3)中得到的非标准胎儿超声切面图像,直接输出“某部位切面非标准”结果,根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果,其中该质量评估报告说明了该胎儿某部位切面图像是非标准胎儿超声切面图像的原因。
具体而言,当胎儿某部位切面图像为胎儿颅脑部位切面图像时,本步骤中根据步骤(3)中得到的该胎儿某部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果这一过程具体为:
(4-1)判断步骤(3)中得到的该胎儿颅脑部位切面图像中包含的关键结构中是否包括BM,如果包括则进入步骤(4-2),否则为该胎儿颅脑部位切面图像设置分数0,并生成该胎儿颅脑部位切面图像的质量评估报告。然后过程结束;
(4-2)获取该胎儿颅脑部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标,根据该位置坐标分别计算其对应的关键结构与BM的重合度,并从该胎儿颅脑部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构,以过滤掉错误检测的关键结构。
具体而言,本发明中重合度的标准是从预先建立好的重合度关联表(如下所示)中确定的,落入该重合度关联表中对应范围的重合度,才是符合标准的。
重合度关联表
例如,如果本步骤中得到的CSP和BM的重合度是80%,该重合度是落入上表的范围(即76%到99.99%),说明该重合度满足标准。
(4-3)判断步骤(4-2)处理后的该胎儿颅脑部位切面图像中包含的关键结构中是否包括LS,如果包括则进入步骤(4-4),否则直接进入步骤(4-5);
(4-4)获取步骤(4-3)处理后的该胎儿颅脑部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标,根据该位置坐标分别计算其对应的关键结构与LS的重合度,并从该胎儿颅脑部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构,以过滤掉错误检测的关键结构,然后进入步骤(4-5);
具体而言,本发明中重合度的标准也是从上述重合度关联表中确定的,落入该重合度关联表中对应范围的重合度,才是符合标准的。
(4-5)根据预先建立的组织-得分映射表,对关键结构过滤后的胎儿颅脑部位切面图像中剩余的各个关键结构设置对应的分数,将所有关键结构对应的分数相加以得到该关键结构过滤后的胎儿颅脑部位切面图像的分数,并为该胎儿颅脑部位切面图像生成质量评估报告,该胎儿颅脑部位切面图像的分数和质量评估报告共同构成最终的质量控制结果,如图4(a)至(c)所示。
从图4(a)中可以看出,该胎儿颅脑部位切面图像是非标准胎儿颅脑部位切面图像,最终输出的包括“颅脑切面非标准”和质量控制结果,该质量控制结果进一步包括该胎儿颅脑部位切面图像的分数(图中是4分)、以及质量评估报告,该质量评估报告中具体指明了该胎儿颅脑部位切面图像是非标准胎儿颅脑部位切面图像的原因(即各个关键结构所对应的分数)。
从图4(b)中可以看出,该胎儿颅脑部位切面图像是非标准胎儿颅脑部位切面图像,最终输出的包括“颅脑切面非标准”和质量控制结果,该质量控制结果进一步包括该胎儿颅脑部位切面图像的分数(图中是7分)、以及质量评估报告,该质量评估报告中具体指明了该胎儿颅脑部位切面图像是非标准胎儿颅脑部位切面图像的原因(即各个关键结构所对应的分数)。
从图4(c)中可以看出,该胎儿颅脑部位切面图像是标准胎儿颅脑部位切面图像,最终输出的包括“颅脑切面标准”和质量控制结果,该质量控制结果进一步包括该胎儿颅脑部位切面图像的分数(10分)、以及质量评估报告,该质量评估报告中指明了该胎儿颅脑部位切面图像完全符合颅脑标准切面的标准。
下表为本发明预先建立的组织-得分映射表。
组织-得分映射表
如图4(a)至(c)所示,其为本发明方法对三帧胎儿颅脑部位切面图像的进行处理后,最终得到的三个质量控制结果,可以看出,第一帧胎儿颅脑部位切面图像的分数为4分,第二帧胎儿颅脑部位切面图像的分数为6分,即第一帧和第二帧都属于非标准的胎儿颅脑部位切面图像,因此针对这两帧,分别生成了质量评估报告;而第三帧胎儿颅脑部位切面图像的分数为10分(即该胎儿颅脑部位切面图像为标准的胎儿颅脑部位切面图像)。
如图2所示,本发明中使用的深度卷积神经网络包括顺次连接的骨干网Darknet-53、特征交互层、目标检测子网和分类子网(其中目标检测子网和分类子网是并列的)。
对于骨干网Darknet-53而言,其网络结构如下:
第一层是输入层,其输入为736*960*3像素的矩阵;
第二层是特征抽取层,其采用的是公开的特征抽取网络Darknet-53,并取特征抽取网络Darknet-53中去掉FC层的最后一层、第152层和92层这三层的输出矩阵作为提取的特征C1、C2、C3,其大小分别是23*30*1024、46*60*512和92*120*256;
对于特征交互层而言,其对骨干网Darknet-53输出的特征C1、C2、C3进行多尺度融合,并输出融合后的3个尺度的特征C4、C5、C6,其中会使用到DarknetConv2D_BN_Leaky型卷积层,该层是由一个卷积层、一个批次正则化层和一个LeakyRelu激活层顺次连接构成,该特征交互层又可细分为具体的24层,其网络结构如下:
第一层是在特征C1基础上的DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*512,步长为1,该层使用SAME模式填充,输出矩阵为23*30*512;
第二层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*1024,步长为1,该层使用SAME模式填充,输出矩阵为23*30*1024;
第二层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*1024,步长为1,该层使用SAME模式填充,输出矩阵为23*30*1024;
第三层到第四层是彼此连续的DarknetConv2D_BN_Leaky型卷积层,各层设置,以及输出大小均和第一到二层一一对应;
第五层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*512,步长为1,该层使用SAME模式填充,输出矩阵为23*30*512,记为T1;
第六层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*1024,步长为1,该层使用SAME模式填充,输出矩阵为23*30*1024,记为C4;
第七层是在T1基础上的DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*256,步长为1,该层使用SAME模式填充,输出矩阵为23*30*256;
第八层是上采样层,设置为2倍上采样,输出矩阵为46*60*256;
第九层是连接层,将第八层的输出和特征C2连接,输出矩阵为46*60*768;
第十层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*256,步长为1,该层使用SAME模式填充,输出矩阵为46*60*256;
第十一层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*512,步长为1,该层使用SAME模式填充,输出矩阵为46*60*512;
第十二层到第十三层是彼此连续的DarknetConv2D_BN_Leaky型卷积层,各层设置,以及输出大小均和第十到十一层一一对应;
第十四层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*256,步长为1,该层使用SAME模式填充,输出矩阵为46*60*256,记为T2;
第十五层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*512,步长为1,该层使用SAME模式填充,输出矩阵为46*60*512,记为C5;
第十六层是在T2基础上的DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*128,步长为1,该层使用SAME模式填充,输出矩阵为46*60*128;
第十七层是上采样层,设置为2倍上采样,输出矩阵为92*120*128;
第十八层是连接层,第十七层的输出和特征C3连接,输出矩阵为92*120*384;
第十九层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*128,步长为1,该层使用SAME模式填充,输出矩阵为92*120*128;
第二十层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*256,步长为1,该层使用SAME模式填充,输出矩阵为92*120*256;
第二十一层到第二十二层是彼此连续的DarknetConv2D_BN_Leaky型卷积层,各层设置,以及输出大小均和第十九到二十层一一对应;
第二十三层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为1*1*128,步长为1,该层使用SAME模式填充,输出矩阵为92*120*128;
第二十四层是DarknetConv2D_BN_Leaky型卷积层,其卷积核的尺寸为3*3*256,步长为1,该层使用SAME模式填充,输出矩阵为92*120*256,记为C6;
对于目标检测子网,其输入矩阵为特征交互层输出的C4、C5、C6,输出D1、D2、D3,分别对应于在三个不同尺度上对胎儿超声对应部位的切面中关键结构的类别和位置坐标预测,共3层,其具体结构如下:
第一层是在C4基础上的卷积层,其卷积核的尺寸为1*1*36,步长为1,该层使用SAME模式填充,输出矩阵为23*30*36,记为D1;
第二层是在C5基础上的卷积层,其卷积核的尺寸为1*1*36,步长为1,该层使用SAME模式填充,输出矩阵为23*30*36,记为D2;
第三层是在C6基础上的卷积层,其卷积核的尺寸为1*1*36,步长为1,该层使用SAME模式填充,输出矩阵为23*30*36,记为D3;
对于分类子网,输入是C4、C5、C6,共18层,具体网络结构如下:
第一层到第三层都是顺次连接的卷积层具有相同的参数和输出大小,且第一层的输入是C4,卷积核的尺寸为3*3*256,步长为1,该层使用SAME模式填充,输出矩阵为23*30*256;
第四层是全局最大池化层,输出矩阵为256;
第五层是Reshape层,输出矩阵为1*1*256,记为E1;
第六层到第十层都是顺次连接的卷积层,其各层设置以及输出矩阵大小均和第一层到第五层一一对应,且第六层的输入是C4,最终输出矩阵为1*1*256,记为E2;
第十一层到第十五层都是顺次连接的卷积层,其各层设置以及输出矩阵大小均和第一层到第五层一一对应,且第十一层的输入是C5,最终输出矩阵为1*1*256,记为E3;
第十六层是连接层,将E1、E2、E3连接,输出矩阵为1*1*256;
第十七层是卷积层,卷积核的尺寸为1*1*2,步长为1,该层使用SAME模式填充,输出矩阵为1*1*2;
第十八层是Flatten层,输入矩阵为大小为2。
本深度卷积神经网络中使用的损失函数主要分为两部分,一部分用于目标检测子网,另一部分用于分类子网,具体如下:
1、针对目标检测子网,其损失函数的公式如下:
该损失函数由4个小部分组成:
1.1、对预测的胎儿对应部位的切面图像中关键结构的位置坐标的损失:
函数计算了针对输入切面所有被预测的第i个局部区域(其中i=0,...,S2,S表示局部区域的数量)的第j个边界框预测值(其中j=0,...,B,B表示针对一个局部区域预测的边界框的数量)的总和;其中表示取值在第i个局部区域中存在目标obj,且局部区域i的第j个边界框预测值对该目标obj的预测有效时为1,否则为0;(xi,yi)表示针对第i个局部区域预测的关键结构的位置坐标,表示实际情况下的实际位置,λcoord是加权常数,其具体取值为5。
1.2、对预测边界框的宽高的损失:
其中,(wi,hi)是针对输入切面所有被预测的第i个局部区域预测边界框的宽和高,表示实际情况下的实际目标的边框宽和高。
1.3、对超声胎儿对应部位切面图像中关键结构类别预测的损失:
其中,pi(c)表示针对输入切面所有被预测局部区域被预测为含有第i类目标的概率,表示实际情况下目标实际属于第i类的概率(取值为0或1)。
1.4、对每个边界框预测值的置信度的损失:
其中,Ci表示第i个针对输入切面所有被预测局部区域的置信度得分,是预测边界框与基本事实的交叉部分,λnoobj,是加权常数本发明中取0.5,用于控制该部分损失函数的加权。
2、针对分类子网,其损失函数公式如下:
其中,yj表示第j个中晚孕期胎儿某部位的切面图像样本被预测的标准类型(即该部位标准切面图像还是该部位非标准切面图像),表示从实际情况下第j个样本标准与否的信息(标准则取值为1,否则取值为0)。
具体地,本步骤中使用的深度卷积神经网络是通过如下步骤训练得到:
(1)获取数据集,将其发送到放射科专家,并获取放射科专家标注后的数据集;
具体而言,数据集是从市场上主流厂商(包括三星、西门子、凯立等)制造的超声设备获取的80000张关于超声胎儿各部位的切面图像,将这些胎儿超声切面图像随机划分为3部分,其中80%作为训练集(Train set),10%作为验证集(Validation set),10%作为测试集(Test set)。
(2)对标注后的数据集进行预处理,以得到预处理后的数据集;
具体而言,本步骤的预处理过程和前文中所述的预处理过程完全相同,在此不再赘述。
(3)使用K-means聚类算法对步骤(1)标注后的数据集进行统计,以获取9个最能代表数据集中超声胎儿对应部位切面中关键结构的长宽大小值,设置为深度卷积神经网络中的锚点(anchor);
(4)使用步骤(2)得到的预处理后的数据集中的训练集部分,将其分批次送入到上述设计的深度卷积神经网络的目标检测分支(由骨干网Darknet-53、特征交互层和目标检测子网顺次连接组成),以获得目标检测的推理输出,将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到针对目标检测子网的损失函数中,以获取损失值。
(5)使用Adam算法和步骤(4)得到的损失值对深度卷积神经网络中目标检测分支的损失函数进行优化,以达到逐步更新目标检测分支网络中参数的目的。
(6)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据,重复依次执行上述步骤(4)和步骤(5),直到目标检测分支收敛到最佳状态为止;
该训练过程,共设置了120个周期(实际训练过程中可能因为模型提前达到最佳状态而提前终止),每个周期迭代次数为5000次,每个批次4张图片。
(7)取(6)中训练好的目标检测分支中的骨干网Darknet-53和特征交互层两部分的权重,以迁移学习的方式初始化网络分类分支(由骨干网Darknet-53、特征交互层和分类子网顺次连接组成)中的骨干网Darknet-53和特征交互层部分,然后固定网络分类分支中骨干网Darknet-53对应的权重,使其不参与网络分类分支的训练(即在网络分类分支训练过程中保持不变)。
(8)使用步骤(2)得到的预处理后的数据集中的训练集部分,将其分批次送入到步骤(7)中设置好的网络分类分支,以获得网络分类分支的推理输出,将该推理输出和步骤(1)中放射科专家标注后的数据集一并输入到针对网络分类分支的损失函数中,以获取损失值。
(9)使用Adam算法和步骤(8)得到的损失值对深度卷积神经中网络分类分支的损失函数进行优化,以达到逐步更新网络分类分支中非骨干网Darknet-53部分的参数的目的。
(10)针对步骤(2)得到的预处理后的数据集中的训练集部分中的剩余批次数据,重复依次执行上述步骤(8)和步骤(9),直到网络分类分支模型收敛到最佳状态为止;
该训练过程,共设置了120个周期(实际训练过程中可能因为模型提前达到最佳状态而提前终止),每个周期迭代次数为2500次,每个批次8张图片。
(11)将步骤(6)中训练得到的目标检测分支的模型权重和步骤(10)中训练得到的网络分类分支的模型权重加载到整个深度卷积神经网络中,并使用步骤(2)中预处理后的数据集中的训练集部分验证整个深度卷积神经网络的收敛情况。
测试结果
以下通过举例说明的测试来说明本发明的实际效果。
将本发明应用在新的测试集上的颅脑各组织检测的召回率、精准率、以及标准与否的分类准确率如下:
从上表可以看出,本发明方法最终能够以高准确率判断出标准的胎儿颅脑部位切面图像是标准的胎儿颅脑部位切面图像还是非标准的胎儿颅脑部位切面图像。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。