CN111598839A - 一种基于孪生网络的手腕骨等级分类方法 - Google Patents

Abstract

一种基于孪生网络的手腕骨等级分类方法，包括：根据手腕骨在不同生长时期表现出来的不同发育特点，制作参照骨标准数据集；搭建孪生网络模型，用于匹配图像特征相似度；对训练集图像进行数据增强，并与标准集组合图像对，用来训练参照骨等级匹配模型；利用预训练好的匹配模型进行参照骨等级预测。本发明所采用的孪生网络结构小，拟合速度快，训练产生的时间成本低；通过组合训练对的形式，避免了神经网络需要大量数据集的要求；本方法适用于人手腕所有参照骨的成熟度等级分类，具备高度可扩展性；本方法面向多种计分法进行骨龄评估，保证评估结果的准确性。

Description

一种基于孪生网络的手腕骨等级分类方法

技术领域

本发明涉及一种基于孪生网络的手腕骨等级分类方法。

背景技术

骨龄评估的方法有很多种，如图谱法将手骨图片与标准手骨图谱比较，选择最接近的标准手骨图谱的骨龄作为该手骨图片的骨龄；计分法则根据判定每块参照骨的成熟指征，通过成熟指征组合计算出骨龄。前者操作简单，但主观性太强；后者评估得到的骨龄偏差更小，但是操作繁琐。

孪生神经网络是一类包含两个或更多个相同子网络的神经网络架构。鉴于其特殊的网络结构，人们普遍将其用在图像的局部匹配领域和人脸对比验证。大量学者研究得出，孪生网络在图像相似度匹配上能发挥巨大的作用。

将深度学习用于手腕骨等级分类及骨龄评估，已经越来越成为发展趋势。然而现有的方法大多数是基于传统卷积神经网络，对手腕骨图像进行特征提取及分类。这极大程度上取决于数据集的好坏及分类模型的表征能力。在数据采集困难、模型结构简单等场合下，分类效果会大打折扣。同时，一个复杂的特征提取网络，往往会消耗大量的模型训练成本，极大地限制了其在骨龄评估中的深入应用。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于孪生网络的手腕骨等级分类方法。

本发明解决技术问题采用如下技术方案：

一种基于孪生网络的手腕骨等级分类方法，包括以下步骤：

步骤1：制作标准数据集；

步骤2：搭建孪生网络模型；

步骤3：训练参照骨等级匹配模型；

步骤4：参照骨等级预测。

作为本发明的进一步优化，所述的步骤1具体包括：

1)确定待分类的手腕骨类型，并采集大量该类参照骨图像I；

2)按照参照骨的骨骺有无、骨骺大小、骨骺与干骺端的融合程度等成熟特征，将所有参照骨图像进行从小到大的排序；

3)根据排序情况，将参照骨图像I分成等级不同的若干组，要求每一组中均为发育相似的参照骨图像，得到参照骨等级分类数T，8≤T≤10；

4)分别从每一组中随机挑选出N张图像，制作标准数据集B，B＝{B_tn|1≤t≤T，1≤n≤N，N＝3}，t表示成熟度等级。

作为本发明的更进一步优化，所述的步骤2具体包括：

1)搭建孪生网络框架结构，同时接收两张图像作为输入，分别经过一个结构相同且共享权值的子网络，得到两个低维的特征值，并统一输入到误差层；

2)调整网络的输入图像大小为96×96；

3)子网络依次包含3个卷积层和3个全连接层。卷积层的卷积核大小分别为5、5、3，步长为1；每一个卷积层后均添加一个批量归一化层和卷积核为2、步长为2的最大池化层；3个全连接层大小分别为512、512、10。

作为本发明的更进一步优化，所述的步骤3具体包括：

1)从参照骨图像I中剔除所有的标准片图像B，形成参照骨训练集M；

2)对训练集进行随机旋转±10度，随机平移10个像素的数据增强操作；

3)针对每一个训练样本m，m∈M，分别从标准片B中随机挑选出1张相似图片以及5张非相似图片，组成训练对。其中，相似图片是从与样本等级相同的组中任取一张，非相似图片是从与样本等级不相同的组中各取一张；

4)依次将训练对输入到孪生网络模型中，每次输出两个10维的特征向量v₁(x₁,x₂,x₃...x₁₀)，v₂(y₁,y₂,y₃...y₁₀)；

5)计算v₁、v₂的欧式距离D，公式为：

6)计算误差，并反向传播，公式为：

其中，l代表训练对标签，l＝1时表示训练对相似，l＝0时表示训练对不相似；z用来表示不相似训练对距离的控制程度，我们将它初始化为1，即当不相似训练对距离大于1时，不参与误差的反向传播。

作为本发明的更进一步优化，所述的步骤4具体包括：

1)通过预训练好的参照骨等级匹配模型，计算所有标准集B的特征向量V，V＝{V_tn|1≤t≤T，1≤n≤N}；

2)给定预测样本X，通过模型输出其特征向量V_X；

3)计算样本X与标准集B中所有等级为t图像的平均欧式距离S_t，公式为：

S_t＝mean(S(V_X,V_t)) (4-1)

S(V_X,V_t)＝{D(V_X,V_tn)|1≤n≤N} (4-2)

其中，V_t表示V中所有等级为t的图像特征向量，D表示计算两个特征向量的欧氏距离；

4)计算样本成熟度预测等级p，公式为：

本发明具有如下有益效果：

(1)孪生网络结构小，拟合速度快，训练产生的时间成本低；

(2)通过组合训练对的形式，避免了神经网络需要大量数据集的要求；

(3)本方法适用于人手腕所有参照骨的成熟度等级分类，具备高度可扩展性，同时面向计分法进行骨龄评估，保证评估结果的准确性。

附图说明

图1是本发明方法的孪生网络整体框架结构图。

图2是本发明方法的组合训练对流程图。

图3是本发明方法的流程图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

一种基于形状信息的腕骨区域分割方法，其特征在于，包括以下步骤：

步骤1：制作标准数据集；具体包括：

11)确定待分类的手腕骨类型，并采集大量该类参照骨图像I；

12)按照参照骨的骨骺有无、骨骺大小、骨骺与干骺端的融合程度等成熟特征，将所有参照骨图像进行从小到大的排序；

13)根据排序情况，将参照骨图像I分成等级不同的若干组，要求每一组中均为发育相似的参照骨图像，得到参照骨等级分类数T，8≤T≤10；

14)分别从每一组中随机挑选出N张图像，制作标准数据集B，B＝{B_tn|1≤t≤T，1≤n≤N，N＝3}，t表示成熟度等级。

步骤2：搭建孪生网络模型；具体包括：

21)搭建孪生网络框架结构，如图1所示，同时接收两张图像作为输入，分别经过一个结构相同且共享权值的子网络，得到两个低维的特征值，并统一输入到误差层；

22)调整网络的输入图像大小为96×96；

23)子网络依次包含3个卷积层和3个全连接层。卷积层的卷积核大小分别为5、5、3，步长为1；每一个卷积层后均添加一个批量归一化层和卷积核为2、步长为2的最大池化层；3个全连接层大小分别为512、512、10。

步骤3：训练参照骨等级匹配模型；具体包括：

31)从参照骨图像I中剔除所有的标准片图像B，形成参照骨训练集M；

32)对训练集进行随机旋转±10度，随机平移10个像素的数据增强操作；

33)针对每一个训练样本m，m∈M，分别从标准片B中随机挑选出1张相似图片以及5张非相似图片，组成训练对。其中，相似图片是从与样本等级相同的组中任取一张，非相似图片是从与样本等级不相同的组中各取一张；

34)依次将训练对输入到孪生网络模型中，每次输出两个10维的特征向量v₁(x₁,x₂,x₃...x₁₀)，v₂(y₁,y₂,y₃...y₁₀)；

35)计算v₁、v₂的欧式距离D，公式为：

36)计算误差，并反向传播，公式为

其中，l代表训练对标签，l＝1时表示训练对相似，l＝0时表示训练对不相似；z用来表示不相似训练对距离的控制程度，我们将它初始化为1，即当不相似训练对距离大于1时，不参与误差的反向传播。

步骤4：参照骨等级预测；具体包括：

41)通过预训练好的参照骨等级匹配模型，计算所有标准集B的特征向量V，V＝{V_tn|1≤t≤T，1≤n≤N}；

42)给定预测样本X，通过模型输出其特征向量V_X；

43)计算样本X与标准集B中所有等级为t图像的平均欧式距离S_t，公式为：

S_t＝mean(S(V_X,V_t)) (4-1)

S(V_X,V_t)＝{D(V_X,V_tn)|1≤n≤N} (4-2)

其中，V_t表示V中所有等级为t的图像特征向量，D表示计算两个特征向量的欧氏距离；

44)计算样本成熟度预测等级p，公式为：

本发明所采用的孪生网络结构小，拟合速度快，训练产生的时间成本低；通过组合训练对的形式，避免了神经网络需要大量数据集的要求；本方法适用于人手腕所有参照骨的成熟度等级分类，具备高度可扩展性；本方法面向多种计分法进行骨龄评估，保证评估结果的准确性。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种基于孪生网络的手腕骨等级分类方法，其特征在于，包括以下步骤：

步骤1：制作标准数据集；

步骤2：搭建孪生网络模型；

步骤3：训练参照骨等级匹配模型；

步骤4：参照骨等级预测。

2.根据权利要求1所述的一种基于孪生网络的手腕骨等级分类方法，其特征在于，所述的步骤1具体包括：

11)确定待分类的手腕骨类型，并采集大量该类参照骨图像I；

12)按照参照骨的骨骺有无、骨骺大小、骨骺与干骺端的融合程度等成熟特征，将所有参照骨图像进行从小到大的排序；

13)根据排序情况，将参照骨图像I分成等级不同的若干组，要求每一组中均为发育相似的参照骨图像，得到参照骨等级分类数T，8≤T≤10；

14)分别从每一组中随机挑选出N张图像，制作标准数据集B，B＝{B_tn|1≤t≤T，1≤n≤N，N＝3}，t表示成熟度等级。

3.根据权利要求2所述的一种基于孪生网络的手腕骨等级分类方法，其特征在于，所述的步骤2具体包括：

21)搭建孪生网络框架结构，同时接收两张图像作为输入，分别经过一个结构相同且共享权值的子网络，得到两个低维的特征值，并统一输入到误差层；

22)调整网络的输入图像大小为96×96；

23)子网络依次包含3个卷积层和3个全连接层。卷积层的卷积核大小分别为5、5、3，步长为1；每一个卷积层后均添加一个批量归一化层和卷积核为2、步长为2的最大池化层；3个全连接层大小分别为512、512、10。

4.根据权利要求3所述的一种基于孪生网络的手腕骨等级分类方法，其特征在于，所述的步骤3具体包括：

31)从参照骨图像I中剔除所有的标准片图像B，形成参照骨训练集M；

32)对训练集进行随机旋转±10度，随机平移10个像素的数据增强操作；

33)针对每一个训练样本m，m∈M，分别从标准片B中随机挑选出1张相似图片以及5张非相似图片，组成训练对。其中，相似图片是从与样本等级相同的组中任取一张，非相似图片是从与样本等级不相同的组中各取一张；

34)依次将训练对输入到孪生网络模型中，每次输出两个10维的特征向量v₁(x₁,x₂,x₃...x₁₀)，v₂(y₁,y₂,y₃...y₁₀)；

35)计算v₁、v₂的欧式距离D，公式为：

36)计算误差，并反向传播，公式为

其中，l代表训练对标签，l＝1时表示训练对相似，l＝0时表示训练对不相似；z用来表示不相似训练对距离的控制程度，我们将它初始化为1，即当不相似训练对距离大于1时，不参与误差的反向传播。

5.根据权利要求4所述的一种基于孪生网络的手腕骨等级分类方法，其特征在于，所述的步骤4具体包括：

41)通过预训练好的参照骨等级匹配模型，计算所有标准集B的特征向量V，V＝{V_tn|1≤t≤T，1≤n≤N}；

42)给定预测样本X，通过模型输出其特征向量V_X；

43)计算样本X与标准集B中所有等级为t图像的平均欧式距离S_t，公式为：

S_t＝mean(S(V_X,V_t)) (4-1)

S(V_X,V_t)＝{D(V_X,V_tn)|1≤n≤N} (4-2)

其中，V_t表示V中所有等级为t的图像特征向量，D表示计算两个特征向量的欧氏距离；

44)计算样本成熟度预测等级p，公式为：

Images