CN103263278A - 一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法 - Google Patents

Abstract

本发明提供一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，包括以下步骤：超声仪器采集图像的输入及拍摄参数的导入；基于Gabor特征匹配的胎儿颈背透明物(Nuchal Translucency，NT)待测超声图像的质量评价。根据图像区域与训练集中图像的Gabor特征匹配程度，筛选出符合测量条件的超声图像；对于满足测量需求的超声图像，检测NT在超声图像中的位置。通过逐步迭代地阈值分割、canny算子边缘检测、hough变换线检测，本步最终输出可测量清晰NT线的局部图像；超声图像中的NT目标测量。用K-MEANS方法对NT目标位置的线进行分类，对上下两簇线段进行聚合，找出NT位置的2条测量线，并测量两条线间的最大像素距离；将NT的像素距离根据拍摄参数中的比例尺转化为真实长度值。

Description

一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法

技术领域

本发明涉及数字图像的目标测量技术，尤其是涉及到对产科超声图像的自动化分析与图像目标测量技术。 

背景技术

超声成像在医学影像技术中处于重要地位。超声成像硬件的物理特性导致超声图像的信噪比较低，给图像的定量分析带来了不利影响。当前，针对超声图像的特征提取和分析方法尚滞后于超声成像技术本身发展。在超声图像分析中引入自动化的目标测量和分析方法具有重要的意义。 

产科超声图像分析是评价胎儿宫内生长发育的重要手段，具有无损、价廉、实时的优点。产科超声图像分析中，通过超声成像测量胎儿颈背透明物厚度(NT)是衡量胎儿宫内生长发育的重要指标之一。目前产科超声图像胎儿颈背透明物厚度测量的准确性尚不尽人意，其主要原因手动测量NT带来的随机误差和操作者自身的视觉误差。本发明提供一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，从数字图像处理和计算机视觉的角度提供一套自动化的超声图像分析的辅助工具。 

发明内容

本发明提供一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法。 

为了达到上述目的，本发明是通过采用以下技术方案来实现的： 

一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，包括以下步骤：超声仪器采集图像的输入及拍摄参数的导入；基于Gabor特征匹配的胎儿颈背透明物待测超声图像的质量评价；对于满足测量需求的超声图像，检测颈背透明物在超声图像中的位置；超声图像中的颈背透明物厚度测量；颈背透明物厚度的图像像素距离到客观真实长度值的转换。 

满足测量要求的图像的基本要求是：头部的应该全部显示，并且头部和胸部占整个图形面积的70％-85％；头面部的正中矢状线切线和前胸切线夹角应该在130-160度；显示鼻骨；显示鼻尖皮肤线；显示上颌骨；显示下巴；显示中脑；显示胎儿颈后皮肤线；显示胎儿颈后筋膜线。图像质量评价的目的是考察输入图像是否满足测量要求。具体的图像质量评价方法，包含如下步骤：(1)将训练图像集分为“头部”、“头面部的正中矢状线切线和前胸切线夹角处”、“鼻骨、鼻 尖皮肤线”、“上颌骨、下巴”、“中脑”、“胎儿颈后皮肤线、胎儿颈后筋膜线”这6个待检测区域的子集。(2)对于每一个子集图像，从临床超声图像样本中挑选合格的待测样本，人工参与标定并输入500幅大小相同的目标图像块作为该目标的训练样本，得该样本集的平均图像；(3)利用5中心频率8方向的不同Gabor滤波器对该样本集的平均图像滤波，得到40个滤波后的图像。将这40个滤波后的图像分别按行堆叠方式转化为一维的列向量，进而一起构成投影矩阵；(4)根据投影矩阵提取该训练集样本的特征向量；(5)训练贝叶斯分类器，对于检测目标类和非检测目标类分别计算条件概率密度。建立贝叶斯分类器的判别函数；(6)将待测图像的相应区域输入贝叶斯分类器，观测其分类结果。最终，符合测量要求的输入图像应满足6个待检测区域均符合训练集中检测目标的特征，即6个待检测区域均被划分为检测目标类。 

对于满足测量需求的超声图像，应能检测胎儿颈背透明物在超声图像中的位置。具体的图像目标检测方法，包含如下步骤：(1)整体算法流程上是通过逐步迭代地阈值分割、canny算子边缘检测、hough变换线检测，最终输出可测量清晰NT线的局部图像；(2)初始检测目标为整个输入图像，终止目标为可测量清晰NT线的最小局部图像；(3)采用阈值分割的方式分割图像，将阈值从大到小依次取值；(4)对分割到的图像目标的边缘部分进行canny线检测，检测目标为可测量清晰NT线，即全局中最具有线特征的区域。线检测的算法原理是hough变换；(5)如果第(4)步未检测到明显的线特征，则将阈值取小一级，返回步骤(3)继续执行。如果阈值已为0，则宣布目标检测失败，即图像场景中无线特征的物体；(6)如果步骤(5)检测到明显的线特征，但线的最大跨度达不到图像对角线长度的50％，则缩小检测范围，并返回步骤(4)；(7)输出NT检测位置的坐标信息。 

具体的图像目标测量方法，包含如下步骤：具体包含如下步骤：(1)用K-MEANS方法对已检测的线进行分类，根据线段端点的坐标值，将线段分为上、下两半部分，胎儿颈背透明物厚度测量就是要测量上下两部分线段间的距离；(2)对上下两簇线段进行聚合，聚合的原理根据用户的要求而定，默认为测量线段间最大距离，即计算上下两簇线段之间的最大距离。如用户要求测量平均距离，则用质心法来聚合多线段，然后测量。图像检测参数以像素为单位，经过比例系数换算，将图像检测参数转换为实际NT值。系统中初始化的比例系数应由人工指定，系统能根据运行过程成人工调节结果逐步修正换算系数到更精确。 

附图说明

图1是本发明处理方法的流程图； 

图2是本发明中图像质量评价模块的流程图； 

图3是本发明中图像目标检测和测量模块的流程图； 

图4是本发明中软件系统的主界面； 

图5是本发明中软件系统的原始图像常规拍摄参数获取模块； 

图6是本发明中软件系统的初步显示检测目标模块； 

图7是本发明中软件系统的手动微调修正目标定位结果模块； 

图8是本发明中软件系统的目标图像分割模块界面； 

图9是本发明中软件系统的目标边缘自动探测模块界面； 

图10是本发明中软件系统的线检测模块界面； 

图11是本发明中软件系统的检测目标自动迭代定位模块； 

图12是本发明中软件系统的分类运算模块界面； 

图13是本发明中软件系统的聚类运算模块界面； 

图14是本发明中软件系统的图像参数检测结果显示界面； 

图15是本发明中软件系统的图像测量参数到NT值的映射模块界面。 

具体实施方式

一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，包括以下步骤：超声仪器采集图像的输入及拍摄参数的导入；基于Gabor特征匹配的胎儿颈背透明物待测超声图像的质量评价；对于满足测量需求的超声图像，检测NT在超声图像中的位置；对超声图像中的NT目标进行长度测量；将NT的像素距离根据拍摄参数中的比例尺转化为真实长度值。 

以下结合具体的处理步骤对附图中图像说明： 

1.本发明处理方法的总体实现流程 

见图1，本发明从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法的总体实现流程是： 

步骤1：超声仪器采集图像的输入及拍摄参数的导入。输入图像的格式为常用光栅图像，如jpg，bmp格式，图像来源为医学超声仪器采集。获取原始图像的比例尺、亮度、对比度参数。部分医学超声仪器能提供某些参数(如比例尺)，该参数可直接导入本方法的系统中。 

步骤2：基于Gabor特征匹配的胎儿颈背透明物待测超声图像的质量评价。根据图像区域与训练集中图像的Gabor特征匹配程度，筛选出符合测量条件的超声图像。 

步骤3：对于满足测量需求的超声图像，检测NT在超声图像中的位置。通过逐步迭代地阈值分割、canny算子边缘检测、hough变换线检测，本步最终输出可测量清晰NT线的局部图像。 

步骤4：对超声图像中的NT目标进行长度测量。用K-MEANS方法对NT目标位置的线进行分类，对上下两簇线段进行聚合，找出NT位置的2条测量线，并测量两条线间的最大像素距离。 

步骤5：将NT的像素距离根据拍摄参数中的比例尺转化为真实长度值。 

2.本发明中图像质量评价模块的实现流程 

见图2，本发明中图像质量评价模块的实现流程是： 

步骤1：输入500幅训练集中大小相同的目标图像块作为该目标的训练样本，得该样本的平均图像M(x，y)。 

步骤2：利用5中心频率8方向(共40个)的不同Gabor滤波器对该样本的平均图像M滤波，得到40个滤波后的图像M′₁～M′₄₀。此处Gabor滤波器的定义是： $\mathrm{\ψ}(x,y,{\mathrm{\ω}}_0,\mathrm{\θ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-{({x_0}^2+{y_0}^2)/2\mathrm{\σ}}^2}[e^{{\mathrm{jw}}_0{x}_0}-e^{-{w_0}^2{\mathrm{\σ}}^2/2}]$

此处，x，y是像素位置；ω₀是中心频率；θ是Gabor小波的方向；σ是标准差； 

x₀＝xcosθ+ysinθ；y₀＝xsinθ+ycosθ；5个中心频率分别是：

8个Gabor小波的方向分别是：0，

滤波后的图像M′₁～M′₄₀为： 

M′₁(x，y，ω₀ ¹，θ¹)＝M(x，y)*ψ(x，y，ω₀ ¹，θ¹) 

                     … 

M′₄₀(x，y，ω₀ ⁴⁰，θ⁴⁰)＝M(x，y)*ψ(x，y，ω₀ ⁴⁰，θ⁴⁰) 

步骤3：将M′₁～M′₄₀分别按行堆叠方式转化为一维的列向量，40个列向量一起构成投影矩阵V。V可以表示为： 

V＝[M″₁，M″₂，...，M″₄₀] 

其中M″₁是M′₁按行堆叠方式转化为一维的列向量，其它类似。 

步骤4：提取训练集样本的特征向量Y。Y可以表示为： 

Y＝(t·M″₁，t·M″₂，...，t·M″₄₀)^T

其中t是归一化后的该训练样本用行堆叠的方式变成的一维行向量。 

步骤5：训练贝叶斯分类器，对于检测目标类和非检测目标类分别计算条件概率密度。建立贝叶斯分类器的判别函数。此处目标类和非目标类分别用ω_y和ω_n表示。对于目标类，其条件概率密度均可以表示为： 

$p\left(Y\right|{\mathrm{\ω}}_y)=\frac{1}{{\left(2\mathrm{\π}\right)}^{N/2}\sqrt{\left|{\mathrm{\Σ}}_y\right|}}{e}^{-\frac{1}{2}{(Y-M_y)}^T{{\mathrm{\Σ}}_y}^{-1}(Y-M_y)}$

对于非目标类，其条件概率密度均可以表示为： 

$p\left(Y\right|{\mathrm{\ω}}_n)=\frac{1}{{\left(2\mathrm{\π}\right)}^{N/2}\sqrt{\left|{\mathrm{\Σ}}_n\right|}}{e}^{-\frac{1}{2}{(Y-M_n)}^T{{\mathrm{\Σ}}_n}^{-1}(Y-M_n)}$

其中M表示均值向量，∑表示协方差矩阵。该贝叶斯分类器分类器的判别函数为： 

g(Y)＝(Y-Mn)^T∑_n-¹⁽Y-M_n)+ln|∑_n|-(Y-M_y)^T∑_y ^-1(Y-M_y)-ln|∑_y| 

步骤6：将待测图像的相应区域输入贝叶斯分类器，观测其分类结果。最终，符合测量要求的输入图像应满足6个待检测区域均符合训练集中检测目标的特征，即6个待检测区域均被划分为检测目标类。此处的贝叶斯决策规则为若g(Y)＞h，则判为目标类。否则，判为非目标类。h为判决的阈值。 

3.本发明中图像目标检测和测量模块的实现流程 

本发明中图像目标检测和测量的流程涉及图像处理、图像分析和图像理解三部分。首先对输入的原始超声图像获取其常规拍摄参数；通过迭代方式获取检测目标(NT部分)；迭代过程涉及图像分割、边缘检测、线检测；通过图像分析技术获取目标图像的测量参数；最后通过参数统计和优化技术建立图像测量参数到实际NT测量值的之间的映射，获取最终NT测量值。 

(1)算法步骤 

见图3，本发明中图像目标检测和测量模块的实现流程是： 

步骤1：输入超声图像，图像格式为常用光栅图像，如jpg，bmp格式，图像来源为医学超声仪器采集。 

步骤2：获取原始图像的比例尺、亮度、对比度参数。部分参数(如比例尺)由医学超声仪器采集仪器提供，可直接导入本方法的系统中。 

步骤3：检测目标，采用迭代方式检测，初始目标为整个输入图像，终止目标为可测量清晰NT线的最小局部图像。 

步骤4：图像分割。由于可测量清晰NT线部分是图像中的高亮部分，因而采用阈值分割的方式，将阈值从大到小依次取值(从255到0，255代表高亮区域，0代表黑色，此处默认图像为8位灰度图像)。 

步骤5：边缘检测。对上一步分割到的图像进行边缘检测，并绘制边缘线，采用传统的canny边缘检测算子。 

步骤6：线检测。对上一步分割到的图像的边缘部分进行线检测，并绘制线段。此步是将图像中最具有线特征的部分提取出来，因为检测目标可测量清晰NT线就是全局中最具有线特征的部分。线检测的算法原理是hough变换。如果本步未检测到明显的线特征，则返回步骤4，将阈值取小一级(如果不能再小了，则宣布检测失败——图像场景中无线特征的物体)；如果本步检测到明显的线特征，但线的最大跨度达不到图像对角线长度的50％，则返回步骤3，缩小检测范围(以检测到的线的最大跨度为基准，缩小原有图像的范围)。如果本步检测到明显的线特征，并且线的最大跨度大于图像对角线长度的50％，则进行步骤7； 

步骤7：分类模块，对以检测的线进行分类，将其分为上半部分和下半部分，因为NT测量需要2条测量线，上下各代表一部分。分类的原理是K-MEANS方法。 

步骤8：聚类模块。依照用户的不同需求(如有的要求取均值，有的要求取最小距离，有要求取最大距离等)，对上下两簇线段进行聚合，聚合的原理根据用户的要求而定，如要求测量平均距离，则用质心法将多线段聚合。 

步骤9：图像检测参数生成。就是在图像上测量出两条线段之间的距离，一般以像素为单位，它是最直接的计算机测量结果，但不是最终的客观NT值，还需经过换算。换算的原始参数由步骤2所获取。 

步骤10：NT值生成模块。经过参数换算，将图像检测参数转换为实际NT值， 一般为乘以一个比例系数。该系数由步骤2所获取的图像原始参数所决定，一般同样的原始参数对应同样的换算比例系数。最初的比例系数应由人工指定，需将将人工测量结果与软件自动测量结果进行几次比对，才能逐步修正换算系数至最精确。 

(2)系统运行 

1)系统的主界面，如图4所示。 

2)获取原始图像常规拍摄参数模块，如图5所示： 

获取原始图像的常规拍摄参数，如比例尺、亮度、对比度等。部分参数(如比例尺)已由医学超声仪器采集仪器在原始图像上标注，此处经简单识别获取，未知参数需要根据数字图像处理模型估算。 

3)显示检测目标模块，如图6所示： 

说明：由于当时图源有限，这是一幅经过人工标注过的图像，两个十字是人工标注的，但我们的后继检测过程原理上并未参考这两个人工标注。 

4)手动微调，修正目标定位结果模块，如图7所示： 

说明：手动微调是作为一个完备的软件应该提供给用户的辅助功能，就是当自动定位用户不完全满意时，软件提供了手动调整的功能。但本专利技术上强调的是自动定位方法。 

5)目标图像分割(自动，带参数)模块，如图8所示： 

由于可测量清晰NT线部分是图像中的高亮部分，因而采用阈值分割的方式，将阈值从大到小依次取值(从255到0，255代表高亮区域，0代表黑色，此处默认图像为8位灰度图像)。 

6)目标边缘探测(自动，带参数)模块，如图9所示： 

对上一步分割到的图像进行边缘检测，并绘制边缘线，采用传统的canny边缘检测算子，所需参数同canny边缘检测方法。 

7)线检测(自动，实时)模块，如图10所示： 

将图像中最具有线特征的部分提取出来，因为检测目标可测量清晰NT线就是全局中最具有线特征的部分。线检测的算法原理是hough变换，所需参数同hough变换线检测方法。 

8)检测目标自动定位(自动迭代定位)模块，如图11所示： 

如线未检测到明显的线特征，则返回图像分割步骤，将阈值取小一级(如果阈值不能再取小了，则宣布检测失败——图像场景中无线特征的物体)；如果线检测到明显的线特征，则缩小检测范围(以检测到的线的最大跨度为基准，缩小原有图像的范围)。 

9)分类器(自动，将描述上下两条线的线段集合分类)模块，如图12所示： 

对以检测的线进行分类，将其分为上半部分和下半部分，因为NT测量需要2条测量线，上下各代表一部分。分类的原理是K-MEANS方法。 

10)聚类运算器(自动，带参数，将描述上下两条线的集类聚合，或许测量参数)模块，如图13所示： 

依照用户的不同需求(如有的要求取均值，有的要求取最小距离，有要求取最大距离等)，对上下两簇线段进行聚合，聚合的原理根据用户的要求而定，如要求测量平均距离，则用质心法将多线段聚合。 

11)图像参数检测结果显示模块，如图14所示： 

图像检测参数生成。就是在图像上测量出两条线段之间的距离，一般以像素为单位，它是最直接的计算机测量结果，但不是最终的客观NT值，还需经过换算。换算的原始参数由图1中的步骤2所获取。 

12)图像测量参数到NT值的映射模块(自动，带参数)，如图15所示： 

NT值生成。经过参数换算，将图像检测参数转换为实际NT值，一般为乘以一个比例系数。该系数由图1中的步骤2所获取的图像原始参数所决定，一般同样的原始参数对应同样的换算比例系数k。最初的比例系数应由人工指定，需将将人工测量结果与软件自动测量结果进行几次比对，才能逐步修正换算系数至最精确。 

Claims (5)

1.一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，其特征是，该方法包含以下步骤：

(1)超声仪器采集图像的输入及拍摄参数的导入；

(2)基于Gabor特征匹配的胎儿颈背透明物待测超声图像的质量评价；

(3)对于满足测量需求的超声图像，检测颈背透明物在超声图像中的位置；

(4)超声图像中的颈背透明物目标测量；

(5)将NT的像素距离根据拍摄参数中的比例尺转化为真实长度值。

2.根据权利要求1所述一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，其特征是：基于Gabor特征匹配技术，对胎儿颈背透明物待测的超声图像进行质量评价，排除不具备测量条件的输入超声图像；根据图像区域与训练集中图像的Gabor特征匹配程度，筛选出符合测量条件的超声图像；NT自动化测量对象选择的依据在于原始超声图像中有效性“判据区域”的图像质量是自动化评价；

有效性“判据区域”的评定标准为：

(1)头部的应该全部显示，并且头部和胸部占整个图形面积的70％-85％；

(2)头面部的正中矢状线切线和前胸切线夹角应该在130-160度；

(3)鼻骨、鼻尖皮肤线、上颌骨、下巴、中脑、胎儿颈后皮肤线、胎儿颈后筋膜线均有显示。训练图像集分为“头部”、“头面部的正中矢状线切线和前胸切线夹角处”、“鼻骨、鼻尖皮肤线”、“上颌骨、下巴”、“中脑”、“胎儿颈后皮肤线、胎儿颈后筋膜线”这6个待检测区域的子集；

对于每一个子集图像：

(1)输入500幅训练集中大小相同的目标图像块作为该目标的训练样本，得该样本的平均图像M；

(2)利用5中心频率8方向(共40个)的不同6abor滤波器对该样本的平均图像M滤波，得到40个滤波后的图像M′₁～M′₄₀；

(3)将M′₁～M′₄₀分别按行堆叠方式转化为一维的列向量，40个列向量一起构成投影矩阵V；

(4)提取训练集样本的特征向量Y；

(5)训练贝叶斯分类器，对于检测目标类和非检测目标类分别计算条件概率密度。建立贝叶斯分类器的判别函数；

(6)将待测图像的相应区域输入贝叶斯分类器，观测其分类结果；

最终，符合测量要求的输入图像应满足6个待检测区域均符合训练集中检测目标的特征，即6个待检测区域均被划分为检测目标类。

3.根据权利要求1所述一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，其特征是：对于满足测量需求的超声图像，检测颈背透明物在超声图像中的位置；通过逐步迭代地阈值分割、canny算子边缘检测、hough变换线检测，最终输出可测量清晰NT线的局部图像；具体包含如下步骤：

(1)检测目标，采用迭代方式检测，初始目标为整个输入图像，终止目标为可测量清晰NT线的最小局部图像；采用阈值分割的方式，将阈值从大到小依次取值；

(2)对分割到的图像目标的边缘部分进行线检测，检测目标可测量清晰NT线就是全局中最具有线特征的部分；线检测的算法原理是hough变换；如果本步未检测到明显的线特征，则将阈值取小一级，如果不能再小了，则宣布检测失败，即图像场景中无线特征的物体；如果本步检测到明显的线特征，但线的最大跨度达不到图像对角线长度的50％，则缩小检测范围。

4.根据权利要求1所述一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，其特征是：能对超声图像中的颈背透明物目标进行自动测量厚度；用K-MEANS方法对NT目标位置的线进行分类，对上下两簇线段进行聚合，找出NT位置的2条测量线，并测量两条线间的最大像素距离；具体包含如下步骤：

(1)用K-MEANS方法对已检测的线进行分类，将其分为上半部分和下半部分，NT测量需要2条测量线，上下各代表一部分；

(2)对上下两簇线段进行聚合，聚合的原理根据用户的要求而定，默认为测量线段间最大距离。如要求测量平均距离，则用质心法聚合多线段。

5.根据权利要求1所述一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法，其特征是：将NT的像素距离根据拍摄参数中的比例尺转化为真实长度值。将NT的像素距离根据拍摄参数中的比例尺转化为真实长度值。图像检测参数以像素为单位，经过比例系数换算，将图像检测参数转换为实际NT值。系统中初始化的比例系数应由人工指定，系统能根据运行过程成人工调节结果逐步修正换算系数到更精确。

Images