CN108629762B

CN108629762B - 一种骨龄评测模型减少干扰特征的图像预处理方法及系统

Info

Publication number: CN108629762B
Application number: CN201810261501.3A
Authority: CN
Inventors: 方路平; 林珏伟; 潘�清; 盛邱煬; 陆飞
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2021-08-03
Anticipated expiration: 2038-03-28
Also published as: CN108629762A

Abstract

一种骨龄评测模型减少干扰特征的图像预处理方法，包括以下步骤：1)手部区域检测；2)手型图像分割；3)手掌角度调整。以及提供了一种骨龄评测模型减少干扰特征的图像预处理系统，包括手部区域检测模块、手型图像分割模块和手掌角度调整模块，其中，所述手部区域检测模块用于手骨的定位，去除手部区域在图像中位置不同形成的干扰特征；所述手型图像分割模块用于手骨的分割和背景的统一，去除背景不同形成的干扰；所述手掌角度调整模块用于手骨角度的统一，去除角度不同形成的干扰。本发明通过预处理手段调整手骨位置和角度，去除背景，用减少干扰特征的方式达到数据扩增的目的，使得模型训练更有效，分类能力和鲁棒性较好。

Description

一种骨龄评测模型减少干扰特征的图像预处理方法及系统

技术领域

本发明涉及到骨龄评测领域，用于在训练神经网络模型前对手骨X光图像进行预处理，能使训练更有效率，模型效果更好。

背景技术

骨龄是儿童青少年身体发育检测、内分泌疾病的检查、体育选材等方面的重要指标之一，因而骨龄评测有着广泛的应用。目前，骨龄的评测方法有人工方法、计算机辅助方法、深度学习方法等。由于骨龄评测的复杂性和人的主观因素过大，前两种方法都不能准确地评测骨龄；而随着深度学习技术的发展，越来越多的研究人员开始将深度学习用于骨龄评测中。

现有深度学习模型多为数据驱动，需要大量的数据作为支持。但是，骨龄图像质量往往参差不齐，手骨的位置、角度、背景都不相同，形成了大量的干扰特征，影响深度学习训练的效率。

发明内容

为了克服现有骨龄评测方式的骨龄X光片数据质量参差不齐、干扰特征较多、导致深度学习模型难以训练、分类能力和鲁棒性较差的不足，本发明提供了一种减少干扰特征、分类能力和鲁棒性较好的骨龄评测模型减少干扰特征的图像预处理方法及系统。

为了解决上述技术问题，本发明提供的技术方案为：

一种骨龄评测模型减少干扰特征的图像预处理方法，包括以下步骤：

1)手部区域检测，过程如下：

1.1)随机选出少量手部X光图像作为训练样本，人工给训练样本标注手骨的位置，得到训练集；

1.2)将训练集输入目标检测模型进行训练和测试；

目标检测模型大多基于卷积神经网络(CNN)，是一种可以进行多目标定位和分类的深度学习模型。常用的目标检测模型包括Faster-RCNN，YOLO，SSD等，它们会在图像中提出若干个置信度不一的候选框，然后将候选框内的图像输入CNN中进行分类判断。本发明中，用少量手骨图像进行训练，就可以得到检测手骨位置的目标检测模型；

1.3)将原始数据集输入训练得到的模型，得到每一张图像手骨位置的坐标数值，根据坐标对原始图像进行切割，可获得只包含手骨部分的图像。

通过以上步骤能够精准且快速的定位X光片中的手骨，有效地做到了手骨位置的统一。

2)手型图像分割，过程如下：

2.1)读取图像矩阵I，根据图像的灰度分布函数f(x)，假设图像灰度值中值为n，根据公式：

计算出图像灰度值的中值n；

2.2)以灰度值中值n为阈值，高于阈值的点设为1，低于阈值的点设为0，将图像二值化，形成由0，1组成的矩阵L；

2.3)根据矩阵：

对图像矩阵L进行八连通区域分析，将连通区域按包含的像素点个数进行排序，仅保留最大的连通区域，将其余连通区域内点的值都设为0；

2.4)将二值图矩阵L与原图像矩阵I点乘：

F＝L·I ③

可得到只包含手骨部分且以0灰度值(黑色)为背景的手骨图像F。

通过以上步骤能够精准且快速的分割出X光片中的手骨，并将背景去除，有效地做到了图像背景的统一。

3)手掌角度调整，过程如下：

3.1)将由F构成的数据集做直方图自适应均衡处理后，按年龄分组，并在每一组中选定一张图像，作为标准图；

3.2)每一组的其他图像分别与标准图作比较，检测两张图中的SURF特征点，获取特征描述符；

SURF的特征点检测是一种稳健的局部特征点检测和描述算法。它基于Hessian矩阵,依靠Hessian矩阵行列式的局部最大值定位兴趣点位置。首先用Hessian矩阵提取关键点。对于图像F中某点X＝(x,y),在x点的σ尺度上的Hessian矩阵定义为:

其中，L_xx(x,σ)表示高斯二阶偏导在X处与图像F的卷积。L_xy(x,σ)、L_yy(x,σ)具有相似的含义。当这个行列式在图像邻域内取得极值时，在图像上检测到的就是SURF特征点。而特征点的描述符则是某个小邻域内的灰度分布信息；

3.3)对3.2)获得的描述符对应的特征点进行一一配对，根据描述符得到特征点之间的角度关系，剔除角度在±45°以上的特征点对，得到第一次初匹配结果；

3.4)利用M估计抽样一致性(M-estimator sample and consensus，MSAC)算法对初次匹配的特征点对进行二次精匹配，同时得到变换矩阵；

3.5)对3.4得到的变换矩阵求逆，得到反变换矩阵Λ。令需要旋转的角度为θ，则反变换矩阵为：

根据反变换矩阵Λ得到旋转角度，并且旋转图像。

通过上数步骤能有效地将数据集中的手骨方向调整为统一方向，使得模型更容易训练。

进一步，所述步骤3.4)中，处理过程为：首先，在2幅图像进行初匹配后的匹配点对中进行随机采样；然后，通过反复迭代使得到的匹配点对的汉明距离和小于设定的阈值，从而消除错误匹配，并得到变换矩阵。

一种骨龄评测模型减少干扰特征的图像预处理系统，包括手部区域检测模块、手型图像分割模块和手掌角度调整模块，其中，所述手部区域检测模块用于手骨的定位，去除手部区域在图像中位置不同形成的干扰特征；所述手型图像分割模块用于手骨的分割和背景的统一，去除背景不同形成的干扰；所述手掌角度调整模块用于手骨角度的统一，去除角度不同形成的干扰。

本发明的一种骨龄评测模型减少干扰特征的图像预处理方法，所述的数据增强方法为自适应直方图均衡。由于获得的手骨X光片整体的灰度值较为一致，包括整体灰度值较高和整体灰度值较低，对比度不明显，所以要进行图像增强处理。相比于传统直方图均衡，使用自适应直方图均衡可以在提高对比度的同时保留骨骼的细节，减少信息增加或丢失。

本发明的有益效果如下：

(1)本发明提供了一种新的骨龄评测模型减少干扰特征的图像预处理方法，通过预处理手段调整手骨位置和角度，去除背景，用减少干扰特征的方式达到数据扩增的目的，使得模型训练更有效。

(2)本发明提供的骨龄X光片图像预处理方法具有较好的鲁棒性，降低了对于手骨X光片质量的要求，在位置和方位不标准的情况下拍摄的骨龄图像也可以满足要求。

附图说明

图1为本发明一种骨龄评测模型减少干扰特征的图像预处理方法的流程图。

图2为本发明中手部区域检测模块的示意图。

图3为本发明中手型图像分割模块的示意图。

图4为本发明中手掌角度调整模块的示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图1、2和3，通过具体实施方式，对本发明作详细描述。

参照图1～图4，一种骨龄评测模型减少干扰特征的图像预处理方法，包括以下步骤：

1)手部区域检测，过程如下：

1.2)将训练集输入目标检测模型进行训练和测试；

2)手型图像分割，过程如下：

计算出图像灰度值的中值n；

2.3)根据矩阵：

2.4)将二值图矩阵L与原图像矩阵I点乘：

F＝L·I ③

3)手掌角度调整，过程如下：

3.3)对3.2获得的描述符对应的特征点进行一一配对，根据描述符得到特征点之间的角度关系，剔除角度在±45°以上的特征点对，得到第一次匹配结果；

3.4)利用M估计抽样一致性(M-estimator sample and consensus，MSAC)算法对初次匹配的特征点对进行二次精匹配，同时得到变换矩阵。

3.5)对3.4获得的变换矩阵求逆，得到反变换矩阵Λ。令需要旋转的角度为θ，则反变换矩阵为：

根据反变换矩阵Λ得到旋转角度，并且旋转图像。

本实施例中通过预处理减少干扰特征，达到数据增强的效果，使得深度学习模型可以更有效地训练。举例来说，本实施例中，具有专家标注的手骨X光片共样本12608张，图像为8位灰度图，标注的骨龄精确到月，从1到228个月；

图1示出了本发明一实施例提供的骨龄评测模型减少干扰特征的图像预处理方法的流程示意图，本实施例的方法包括下述步骤：

1)手部区域检测，过程如下：

取得带有专家标注的人手骨X光片图像作为训练样本，定位手骨位置；

如图2所示，为了消除手骨位置特征造成的干扰，本实施例中手骨定位的步骤如下：

1.1)随机挑选少量图像(如100张)，人工标注手骨位置。

1.2)训练目标检测模型(如SSD)；

1.3)用该模型检测原数据中的手骨所在位置的矩形块，并将其从原图中切割出来。

2)分割手骨图像；

如图3所示，为了消除手骨背景特征造成的干扰，本实施例中手骨分割的步骤如下：

2.1)计算图像灰度值中值；

2.2)以图像灰度值的中值为阈值，将图像二值化处理；

2.3)只保留面积最大的连通区域；

2.4)将二值图矩阵与原图像矩阵点乘，就得到了以0灰度值(黑色)为背景的手骨图像；

3)手掌角度调整，即对训练数据进行旋转处理；

如图3所示，为了消除手骨角度特征造成的干扰，本实施例中图像旋转的步骤如下：

3.1)将所有图像做直方图均衡化增强特征，使得相同特征点更容易被找到；按年龄分组(如以6年为区间，共3组)，并且在每一组图像中选定一张图像，作为标准图。

3.2)每一组的其他图像分别与标准图作比较，检测两张图中的SURF特征点，获取特征描述符。

3.3)对获得的描述符对应的特征点进行匹配，剔除旋转角度在±45°以上的特征点对。

3.4)利用MSAC算法剔除异常匹配，计算变换矩阵；

3.5)对变换矩阵求逆，得到反变换矩阵。通过矩阵⑤得到旋转角度，并且旋转图像。

通过上述步骤能有效地将数据集中的手骨调整至图像的中心且方向一致，使得模型更容易训练。

相较于传统的图像数据扩增方法，本方法通过减少干扰特征的方式，达到了数据扩增的结果，但是训练集数量更少，训练模型所需迭代次数也更少。对于深度学习模型的训练来说，训练效果更佳。

Claims

1.一种骨龄评测模型减少干扰特征的图像预处理方法，其特征在于，所述方法包括以下步骤：

1)手部区域检测，过程如下：

1.1)随机选出设定数量的手部X光图像作为训练样本，人工给训练样本标注手骨的位置，得到训练集；

1.2)将训练集输入目标检测模型进行训练和测试；

1.3)将原始数据集输入训练得到的模型，得到每一张图像手骨位置的坐标数值，根据坐标对原始图像进行切割，获得只包含手骨部分的图像；

2)手型图像分割，过程如下：

2.1)读取图像矩阵I，根据图像的灰度分布函数f(z)，假设图像灰度值中值为n，根据公式：

计算出图像灰度值的中值n；

2.3)根据矩阵：

2.4)将二值图矩阵L与原图像矩阵I点乘：

F＝L·I ③

得到只包含手骨部分且以0灰度值为背景的手骨图像F；

3)手掌角度调整，过程如下：

3.3)对3.2获得的描述符对应的特征点进行一一配对，根据描述符得到特征点之间的角度关系，剔除旋转角度在±45°以上的匹配，得到初匹配结果；

3.4)利用M估计抽样一致性算法对初次匹配的特征点对进行二次精匹配，同时得到变换矩阵；

3.5)对3.4得到的变换矩阵求逆，得到反变换矩阵Λ，令需要旋转的角度为θ，则反变换矩阵为：

根据反变换矩阵Λ得到旋转角度，并且旋转图像。

2.如权利要求1所述的骨龄评测模型减少干扰特征的图像预处理方法，其特征在于：所述步骤3.4)中，处理过程为：首先，在2幅图像进行初匹配后的匹配点对中进行随机采样；然后，通过反复迭代使得到的匹配点对的汉明距离和小于设定的阈值，从而消除错误匹配，并得到变换矩阵。

3.一种如权利要求1所述的骨龄评测模型减少干扰特征的图像预处理方法实现的系统，其特征在于：所述系统包括手部区域检测模块、手型图像分割模块和手掌角度调整模块，其中，所述手部区域检测模块用于手骨的定位，去除手部区域在图像中位置不同形成的干扰特征；所述手型图像分割模块用于手骨的分割和背景的统一，去除背景不同形成的干扰；所述手掌角度调整模块用于手骨角度的统一，去除角度不同形成的干扰。