CN116109558A - 基于颈部半透明厚度测量值筛查胎儿染色体异常的方法 - Google Patents

Abstract

本发明公开了图像处理技术领域的基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，步骤1：读取胎儿扫描数据，对其降噪预处理，得到待处理视频数据；步骤2：将待处理视频数据经预设规则处理，并经图像处理后，得到第一预处理数据；步骤3：将第一预处理数据导入到NT_SEG分割模型中，得到第二预处理数据；步骤4：将第二预处理数据经Snake算法进行轮廓分割，使用PCA获得其短轴作为NT厚度，并获取NT椭圆区域的最小外接矩形，得到NT厚度测量值；步骤5：将NT厚度测量值与实际标准值对比，判断胎儿染色体是否异常，本发明中利用图像处理技术和深度学习模型实现对胎儿颈部半透明部位的自动识别测量，使医生可以初步判断胎儿的染色体发生病变。

Description

基于颈部半透明厚度测量值筛查胎儿染色体异常的方法

技术领域

本发明涉及图像分类、图像分割、传统数字图像处理技术领域，具体为基于颈部半透明厚度测量值筛查胎儿染色体异常的方法。

背景技术

颈部半透明层(NT)检测和厚度测量是预测超声图像中胎儿异常和染色体异常的里程碑。颈部半透明是指胎儿颈部底部的液体积聚，与妊娠早期心脏骤停的染色体异常密切相关。在医院，超声医生通常根据中矢状面来评估颈部半透明的厚度值，这也是产前筛查的重要环节。

主要在妊娠中期和晚期观察到的颈部液体病理沉积(水肿和囊性)与几种染色体异常有关。分析妊娠前三个月的宫颈液，进而确定各时期染色体差异的可能性，这种由技术人员完成的常规过程非常耗时，并且需要熟练的技术人员。另外，NT是可观察的，可以通过超声成像在怀孕11周和14周期间确定。扩大的NT与许多胎儿染色体和非染色体差异有关。越来越多的证据表明，妊娠前三个月NT厚度过大会受到各种胎儿结构差异、遗传疾病、心脏问题和不良围产期条件(如流产和宫内死亡)的影响。应考虑在妊娠前三个月制定与冠臀长度相关的颈部半透明度参考值，以确定可接受的截止阈值，用于评估隆起的NT厚度相关缺陷。因此，染色体病可与颈部半透明厚度增加相关，由染色体病引起的一系列病理与唐氏综合征、爱德华兹综合征、帕托综合征、特纳综合征以及其他心脏缺陷相关；传统方式获取NT厚度是一件非常耗时的工作，且严重依赖操作者的专业素质。

发明内容

本发明的目的在于提供基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，以解决上述背景技术中提出的传统方式获取NT厚度是一件非常耗时的工作，且严重依赖操作者的专业素质的问题。

为实现上述目的，本发明提供如下技术方案：基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，具体包括以下步骤：

步骤1：读取胎儿扫描视频数据，对所述视频数据进行降噪预处理后，得到待处理视频数据；

步骤2：将所述待处理视频数据经预设规则处理筛选，并经图像处理后，得到第一预处理数据；

步骤3：将所述第一预处理数据导入到NT_SEG分割模型中进行处理，得到第二预处理数据；

步骤4：将所述第二预处理数据经Snake算法进行轮廓分割，计算生成目标轮廓并进行后处理，得到分割轮廓，将其展示在原始图像中，使用PCA获得其短轴作为NT的厚度，并获取NT椭圆区域的最小外接矩形，求出矩形的宽值，得到NT厚度的测量值；

步骤5：将NT厚度的测量值与实际标准值进行对比，判断胎儿染色体是否异常。

作为优选，所述步骤1中对所述视频数据进行降噪预处理后，得到待处理视频数据具体为，采用视频筛选网络对视频数据的视频质量筛选，将质量估计值低于阈值的视频帧剔除，得到待处理视频数据。

作为优选，所述视频筛选网络是一种基于ResNet的回归网络，所述视频筛选网络的输入为3×512×512大小，所述视频筛选网络的输出为图像质量估计值。

作为优选，所述步骤2中将所述待处理视频数据经预设规则处理筛选，并经图像处理后，得到第一预处理数据具体为，待处理视频数据经预设规则筛选后得到最佳的中矢状面，将其进行图像预处理后，采用ROI区域动态裁剪，计算NT标注坐标信息，提取标注区域的最小外接框，扩展标注区域，根据外接框宽、高的15％进行边界扩展，再根据同样的尺寸对原始图像进行裁剪，获取到用于分割的原始图像和对应的mask图像作为第一预处理数据；

其中，所述将其进行图像预处理具体为，将原始的RGB彩色图转化为灰度图，并采用维纳滤波进行图像去噪，去噪后的图像采用受限的对比度直方图进行处理。

作为优选，所述预设规则具体为，利用yolov5对待处理视频数据进行检测，计算待处理视频数据加权概率值，选取出概率值大于预设概率阈值的视频数据作为最佳的中矢状面；

其中，所述预设概率阈值为80％。

作为优选，所述NT_SEG分割模型包括编码分支和解码分支；

其中，所述编码分支中包括空间编码分支与语义编码分支，所述空间编码分支中引入GAM模块，所述语义编码分支中采用mobilenetv2模型为下采样的主干模型，分别进行2、4、8、16、32倍的特征下采样，所述解码分支的上采样路径中引入GAM模块。

作为优选，所述步骤4中获取NT椭圆区域的最小外接矩形具体为，利用opencv获取NT椭圆区域的最小外接矩形。

与现有技术相比，本发明的有益效果是：本发明中对超声视频做质量评估，提高了输入到模型的数据质量，减少无效帧对模型的性能的干扰；使用ROI区域识别与裁剪，能够实现最大化的实现目标区域的学习，减少大量背景信息的干扰；NT_SEG颈部半透明分割能够实现NT区域的初步分割，为了进一步优化分割效果，本方法结合基于边界的主动轮廓分割方法，利用NT_SEG分割的mask对NT轮廓进行识别，最后经过处理获得优化后的分割图，从而利用图像处理技术和深度学习模型实现对胎儿颈部半透明部位的自动识别测量，根据测量指标，医生可以初步判断胎儿的染色体发生病变的风险，有助于及时发现胎儿染色体发生异常，及时诊断治疗。

附图说明

图1为本发明流程图；

图2为本发明NT_SEG分割模型流程图；

图3为本发明GAM模块结构示意图；

图4为本发明语义下采样模块结构示意图；

图5为本发明超声图像处理过程示意图；

图6为本发明视频筛选网络示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1：

步骤1：获取高质量的胎儿超声扫查视频数据；设计视频筛选网络，用于对胎儿超声扫查视频数据的视频质量进行筛选，将质量估计值低于阈值的视频帧剔除，从而获得高质量的扫查视频，提高数据源的可靠性。

其中，如图6所示，视频筛选网络是一种基于ResNet的回归网络，视频筛选网络的输入为3×512×512大小，视频筛选网络的输出为图像质量估计值。

(1)训练数据由超声图像和医生标注的图像质量真值构成，图像质量评价为0～1之间的连续值，低质量的图像通常为探头采集速度过快导致的图像模糊、探头与身体接触不良的黑屏、遮挡带来的鬼影以及不包含任何器官的无意义帧，数据以4:1划分为训练集和测试集。

(2)使用pytorch深度学习框架进行模型构建，使用英伟达GTX2080Ti进行训练，最小批处理数据量设置为32，使用初始学习率为0.0001的Adam优化器，每当将整个训练集迭代60轮次，将学习率降低0.1倍，共训练100轮次；训练通过最小化均方误差(MSE)损失更新模型参数，采用随机旋转、亮度、对比度、水平翻转、图像压缩和模糊等数据增强，加速模型训练，提高泛化性。

(3)推理的时候，图像高和宽为244的视频帧，输出为图像质量估计值。

(4)对于(3)中输出的图像质量估计值，当图像质量估计值小于阈值时，当前帧被判断为低质量视频帧，从原视频中剔除当前帧，获得高质量的扫查视频。

请参阅图1，步骤2：利用yolov5检测步骤1处理好的视频(yolov5是用于中矢状面(MSP)解剖结构的识别)，计算目标加权概率值，当检测概率大于概率阈值时(概率阈值设置为80％)，检测到最佳的MSP(中矢状面)；通过采用yolov5对视频数据中的矢中面进行检测，保证后续NT分割测量任务的高效进行。

请参阅图1，步骤3：将步骤2获取的中矢状面进行预处理，将原始的RGB彩色图转化为灰度图，同时采用维纳滤波进行图像去噪，再采用受限的对比度直方图进行处理，来强化图像的边缘信息，增加超声图像中解剖结构的对比度；输入图像分辨率统一设为512x512大小，用于减少图像分辨率过大对任务的影响。

请参阅图1和图5，步骤4：采用ROI区域动态裁剪(由于NT区域占整个图像的比例较小，来提升分割效率)，计算NT标注坐标信息，提取标注区域的最小外接框，扩展标注区域，根据外接框宽、高的15％进行边界扩展，然后再根据同样的尺寸对原始图像进行裁剪，获取到用于分割的原始图像和对应的mask图像。

请参阅图1和图2，步骤5：设计NT_SEG分割模型，该模型由编码分支和解码分支构成，在编码分支中又设计空间编码分支和语义编码分支，空间编码分支利用较大尺度的特征图，可编码比较丰富的空间信息，语义编码分支获取图像特征较大的感受野，学习到高级语义信息；另外，在空间编码信息和上采样路径中引入GAM模块，对模型特征进行重新优化组合；将步骤4中裁剪调整后的原始图像和mask图像输入到该模型中进行训练，获取最优的分割模型权重，对测试集进行预测，得到预测mask图像。

其中，如图2和图4所示，步骤51：NT_SEG分割模型，受U型编码-解码模型框架的启发，采用U型编解码形式，即在编码路径中，该模型采用双分支结构编码，编码路径左分支为空间编码分支，右分支成为语义编码分支，同时，在空间编码分支中引入GAM模块，可以优化低级特征空间分布，抑制背景特征信息的干扰，强化低维特征的可表示性，在语义编码分支语义下采样模块中，采用mobilenetv2模型为下采样的主干模型，分别进行2、4、8、16、32倍的特征下采样，学习更高维度的语义信息，在下采样中，为了更好的捕获高级语义信息，设计全局信息提取层，使用全局平均池化和残差连接，实现全局上下文特征信息的学习，另外，在模型上采样路径中，并没有采用传统的编码端与解码端对应特征相连的形式，因为这种简单的特征融合的方式不会高效的恢复下采样过程中特征的损失，反而会大大增加模型的计算参数，浪费资源；编码端的两分支的特征信息的融合完全能够弥补下采样过程中的特征丢失，上采样过程中的GAM模块能够抑制图像噪声的放大干扰，使模型分割图像尺度恢复更加准确。

步骤52：首先对预处理好的图像和对应的mask图像做训练集和验证集的划分(比例为8:2，处理的数据为步骤4中裁剪调整后的原始图像和mask图像)，将训练集中的图像和masks输入到NT_SEG分割模型中进行训练，将输入尺度自动调整为512x512大小。

步骤53：输入图像同时经过编码路径中的空间编码分支和语义编码分支，在空间编码分支中，模型经过三组卷积+批量归一化+Relu激活函数且步长为2的卷积结构，同时经过GAM模块得到三组不同尺度的空间特征：32x256x256、64x128x128、128x64x64，然后再经过一组卷积+批量归一化+Relu激活函数且步长为1的卷积结构得到空间编码输出128x64x64的输出特征。

步骤54：步骤52处理好的输入图像经过五组语义下采样分别得到以下尺度的特征图：32x256x256、64x128x128、128x64x64、256x32x32、512x16x16，再经过全局信息提取层得到最后语义特征编码路径的输出512x16x16。

步骤55：对步骤53的特征输出进行一步下采样，得到空间编码分支的下采样特征输出：256x32x32，对步骤54的特征输出进行一步上采样，得到语义编码分支的上采样输出：256x32x32。

步骤56：将步骤53生成的空间编码分支的最终输出与语义编码分支下的上采样输出进行分逐元素相乘，得到特征图1，尺度为256x32x32；将步骤54产生的语义编码分支的最终输出与空间编码分支的下采样输出进行逐元素相乘，得到特征图2，其尺度为256x32x32；最后将特征图1与特征图2相加得到编码端的最终输出特征，尺度为256x32x32。

步骤57：针对编码端的特征输出，对其进行一步卷积，然后输入到解码路径中进行4次上采样进行解码，在解码端，特征每次输入到上采样结构中，要先经过GAM模块进行特征的调整，经过4次上采样得到128x64x64、64x128x128、32x256x256、3x513x512的特征图，最后经过一步卷积和softmax激活函数得到最后的分割结果。

步骤58：使用pytorch深度学习框架进行模型构建，使用GTX2080Ti进行训练，最小批处理数据量设置为4，使用初始学习率为0.00001的Adam优化器，每当将整个训练集迭代60轮次，将学习率降低0.1倍，共训练100轮次，设计损失函数，引入焦点损失函数(Focalloss)作为目标函数，训练过程中，它降低了简单多样本的Loss贡献，使模型更加关注学习难以训练且样本较少的目标，计算公式：FL(p_t)＝-α_t(1-p_t)^γlog(p_t)，其中，α_t为平衡焦点损失，代表正负样本比例，p_t是预测标签，γ为调节因子，当γ为0时，焦点损失函数相当于分类交叉熵。随着γ的增加，调制因子(1-p_t)的影响同样增加，实验证明，当α取值为0.25，γ取值为2时，效果最佳。

步骤59：对步骤58训练的模型进行保存，对模型分割效果进行验证。

需要说明的是，如图3所示，GAM模块的工作流程如下，

步骤S1：对输入特征图进行自适应平均池化操作，假设输入特征图为F_input∈R^{H ×W×C},通过自适应平均池化操作得到特征F_aav∈R^1×1×C,自适应平均池化操作不改变特征图的通道数，将特征图压缩至最小，不仅减少计算量，还有利于模型学习到特征图显著的信息。

步骤S2：将步骤S1所生成的特征图进行卷积操作，卷积核大小设为1，进一步压缩特征通道数，压缩比例设为8，最后通过relu函数进行激活，得到特征图F_{conv_1}∈R^1×1×C/8。

步骤S3：对步骤S2生成的特征图进行卷积通道还原，卷积核大小设为1，最后使用Sigmoid激活，得到特征图F_{conv_2}∈R^1×1×C。

步骤S4：将步骤S1输入特征图与步骤S3输出特征图进行相乘运算，得到通道注意力特征输出F_{c_att}∈R^H×W×C。

步骤S5：对步骤S4产生的特征图在通道维度上使用最大池化，强化语义信息，得到特征图F_{c_mp}∈R^1×H×W,完成空间特征的提取映射，接着通过Sigmoid激活函数激活，输出的特征与步骤S4产生的特征图进行相乘，得到最后的输出特征F_space∈R^H×W×C,即空间注意力特征。

请参阅图1和图5，步骤6：根据预测mask获取目标轮廓区域，对目标区域采用基于边缘‘edge’主动轮廓分割方法进行轮廓分割(即Snake算法进行轮廓分割)，计算生成目标轮廓，再对轮廓进行后处理，得到最后的分割轮廓，并将其展示在原始图像中。

请参阅图1和图5，步骤7：步骤6中的分割NT域为一个连接的分量，将该区域近似为一个椭圆，使用PCA获得其短轴作为NT的厚度，并利用opencv获取NT椭圆区域的最小外接矩形，进而求出矩形的宽的值，近似为NT的厚度值。

请参阅图1，步骤8：将步骤7中的NT的厚度值与实际标准值进行比较，厚度差超过正常范围值，则说明胎儿体内染色体发育有异常的风险，需要进一步诊断处理，若测量值在规定范围内则不作处理。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，其特征在于：具体包括以下步骤：

步骤1：读取胎儿扫描视频数据，对所述视频数据进行降噪预处理后，得到待处理视频数据；

步骤2：将所述待处理视频数据经预设规则处理筛选，并经图像处理后，得到第一预处理数据；

步骤3：将所述第一预处理数据导入到NT_SEG分割模型中进行处理，得到第二预处理数据；

步骤4：将所述第二预处理数据经Snake算法进行轮廓分割，计算生成目标轮廓并进行后处理，得到分割轮廓，将其展示在原始图像中，使用PCA获得其短轴作为NT的厚度，并获取NT椭圆区域的最小外接矩形，求出矩形的宽值，得到NT厚度的测量值；

步骤5：将NT厚度的测量值与实际标准值进行对比，判断胎儿染色体是否异常。

2.根据权利要求1所述的基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，其特征在于：所述步骤1中对所述视频数据进行降噪预处理后，得到待处理视频数据具体为，采用视频筛选网络对视频数据的视频质量筛选，将质量估计值低于阈值的视频帧剔除，得到待处理视频数据。

3.根据权利要求2所述的基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，其特征在于：所述视频筛选网络是一种基于ResNet的回归网络，所述视频筛选网络的输入为3×512×512大小，所述视频筛选网络的输出为图像质量估计值。

4.根据权利要求2所述的基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，其特征在于：所述步骤2中将所述待处理视频数据经预设规则处理筛选，并经图像处理后，得到第一预处理数据具体为，待处理视频数据经预设规则筛选后得到最佳的中矢状面，将其进行图像预处理后，采用ROI区域动态裁剪，计算NT标注坐标信息，提取标注区域的最小外接框，扩展标注区域，根据外接框宽、高的15％进行边界扩展，再根据同样的尺寸对原始图像进行裁剪，获取到用于分割的原始图像和对应的mask图像作为第一预处理数据；

其中，所述将其进行图像预处理具体为，将原始的RGB彩色图转化为灰度图，并采用维纳滤波进行图像去噪，去噪后的图像采用受限的对比度直方图进行处理。

5.根据权利要求4所述的基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，其特征在于：所述预设规则具体为，利用yolov5对待处理视频数据进行检测，计算待处理视频数据加权概率值，选取出概率值大于预设概率阈值的视频数据作为最佳的中矢状面；

其中，所述预设概率阈值为80％。

6.根据权利要求1所述的基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，其特征在于：所述NT_SEG分割模型包括编码分支和解码分支；

其中，所述编码分支中包括空间编码分支与语义编码分支，所述空间编码分支中引入GAM模块，所述语义编码分支中采用mobilenetv2模型为下采样的主干模型，分别进行2、4、8、16、32倍的特征下采样，所述解码分支的上采样路径中引入GAM模块。

7.根据权利要求1所述的基于颈部半透明厚度测量值筛查胎儿染色体异常的方法，其特征在于：所述步骤4中获取NT椭圆区域的最小外接矩形具体为，利用opencv获取NT椭圆区域的最小外接矩形。

Images