CN111105475B - 一种基于正交角度x光的骨骼三维重建方法 - Google Patents

Abstract

本发明公开了一种基于正交角度X光的骨骼三维重建方法，利用两个正交角度的X光，通过深度卷积神经网络，重建出骨骼三维图像；这样最大化利用正交角度的信息，使得重建结果优于常见的平均融合，正交角度X光共享一个重建网络，使得网络复杂度降低、易收敛且实际应用时能以更快的速度完成重建；另外需要的X光临床易得，重建出的骨架为三维结构，解决了X光骨头清晰但严重重叠的问题，为临床提供快捷廉价的医疗辅助诊断技术。

Description

一种基于正交角度X光的骨骼三维重建方法

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种基于正交角度X光的骨骼三维重建方法。

背景技术

近年来，医学成像设备的发展对社会医学水平的进步有着非常显著的促进作用。目前，常见的医学成像设备包括但不限于X光机，计算机断层成像机，核磁共振成像(Magnetic resonance imaging,MRI)机等。上述设备的拍片价格，成片质量，成片维数不尽相同。其中X光拍片价格最低，成片快，但是成片为二维图像，成片质量无法与CT与MRI相比。对X光进行处理，得到近似CT图像的效果，能够减少患者拍片成本和缓解医疗资源紧张的现象。

X光被广泛应用于临床的医疗成像。它成像的原理是将人体内的组织全都投影到一个平面，根据不同的组织对X射线的吸收率不同，呈现出人体的二维投影。这样拍摄出的X光会造成大量的重叠覆盖，不同的组织清晰度差异大，如骨头清晰可见，而一些软组织非常模糊。CT也是利用人体不同组织对X射线的吸收能力不同的特点，通过数位几何处理后重建出来的三维医疗影像，一般由上百张切片组成。可以说，CT于X光的成像原理近似，而成像方式不同。相比于X光，CT的优势之一在于将人体组织呈现在三维空间内，然而考虑到CT机价格高昂，普通医院采购及维护困难，设备使用紧张，且拍片辐射较大，对部分患者来说功能过剩，承担了不必要的经济压力和辐射伤害，因此，通过价廉辐射低的X光重建出CT，可替代部分CT机的功能，给患者和医生提供更多辅助医疗手段的选择。

深度学习的飞速发展给通过二维X光重建出胸部骨架的三维CT图像成为可能。2009年Herman采用标准重建算法用上百张X光重建出了精确的CT影像，但该技术需要X光角度过多，无法在临床应用。也有一些学者尝试使用较少的X光通过深度学习重建出三维图像，Henzler等人使用单张X光通过深度卷积神经网络重建出兽头骨的三维图像。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于正交角度X光的骨骼三维重建方法，使城域网与接入网得到有效融合，同时具有可扩展、高灵活以及低成本的性能。

为实现上述发明目的，本发明一种基于正交角度X光的骨骼三维重建方法，其特征在于，包括以下步骤：

(1)、构建训练数据集

采集不同患者目标部位CT影像，以及目标部位正面及侧面的X光影像，其中，CT影像记为Y，正面及侧面的X光影像记为X1和X2；

将每位患者目标部位的X光影像和CT影像进行归一化处理后，按照(X1，X2，Y)格式存储在训练数据集；

(2)、搭建三维重建网络模型

三维重建网络包括重建子网络RecNet和权重生成子网络WeiNet；

其中，RecNet采用U-net结构，不同之处在于RecNet编码器为二维编码器，其基本结构为DenseNet，解码器为三维解码器，在解码器中增加若干层三维卷积，实现对编码器输出的二维特征转化为三维特征；WeiNet由若干三维卷积层组成；

(X1，X2)先输入至RecNet，RecNet对其权重共享，输出初始重建的二维特征图(Y1，Y2)以及三维特征图(F1，F2)，将(F1，F2)再输入至WeiNet，输出三维重建图像Y'，Y'＝Y1*W+Y2*(1-W)，其中，*代表三维矩阵中的对应元素相乘；

(3)、训练三维重建网络模型

(3.1)、初始化三维重建网络模型；

(3.2)、随机选取一组训练数据，将(X1，X2)输入RecNet，此时，WeiNet输出

当RecNet网络损失收敛时，冻结RecNet权重，开始训练WeiNet权重，此时，WeiNet输出Y′＝Y₁*W+Y₂*(1-W)，当WeiNet网络损失收敛时，得到训练好的三维重建网络模型。

(4)、三维重建骨骼CT

获取目标部位正面及侧面的真实X光影，并对其进行数据预处理，然后输入至训练好的三维重建网络，从而输出重建骨骼CT图。

本发明的发明目的是这样实现的：

本发明基于正交角度X光的骨骼三维重建方法，利用两个正交角度的X光，通过深度卷积神经网络，重建出骨骼三维图像；这样最大化利用正交角度的信息，使得重建结果优于常见的平均融合，正交角度X光共享一个重建网络，使得网络复杂度降低、易收敛且实际应用时能以更快的速度完成重建；另外需要的X光临床易得，重建出的骨架为三维结构，解决了X光骨头清晰但严重重叠的问题，为临床提供快捷廉价的医疗辅助诊断技术。

附图说明

图1是本发明基于正交角度X光的骨骼三维重建方法流程图；

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于正交角度X光的骨骼三维重建方法流程图。

在本实施例中，如图1所示，本发明一种基于正交角度X光的骨骼三维重建方法，包括以下步骤：

S1、构建训练数据集

采集不同患者目标部位CT影像，以及目标部位正面及侧面的X光影像，其中，CT影像记为Y，正面及侧面的X光影像记为X1和X2，其具体尺寸大小为：两张224*224的二维图像和一张128*28*128的三维图像。

将每位患者目标部位的X光影像和CT影像进行归一化处理后，按照(X1，X2，Y)格式存储在训练数据集；

在本实施例中，具体处理过程为：将CT图经过窗宽为300-1000的阈值分割，生成骨骼CT图，对其和X光做重采样统一尺寸，通过归一化和标准化使其均值为0，标准差为1，数值分布在-1到1之间；

S2、搭建三维重建网络模型

三维重建网络包括重建子网络RecNet和权重生成子网络WeiNet；

其中，RecNet采用U-net结构，不同之处在于RecNet编码器为二维编码器，其基本结构为DenseNet，解码器为三维解码器，在解码器中增加若干层三维卷积，实现对编码器输出的二维特征转化为三维特征；WeiNet由若干三维卷积层组成；

RecNet由编码器和解码器组成，具体结构为：

编码器(Encoder)：编码器的输入为正或侧位X光像素数据，输出为多通道二维特征，网络基本结构为DenseNet，其中每个DenseBlock的输出经过Transition Layer得到尺寸降低的特征，作为下一个DenseBlock的输入，每层得到的特征以跳跃连接的方式，传输给解码器相应尺寸的卷积层融合处理；

解码器(Decoder)：解码器的输入为编码器输出的多通道二维特征，输出为重建的三维体素数据。输入的多通道二维特征首先经过解码器第一层卷积网络变换为多通道三维特征，然后通过若干个反卷积层不断提升输出特征的尺寸，直到倒数第二层的三维特征尺寸等于设定的重建体素尺寸，最后一层是无上采样的反卷积运算，仅将多通道三维特征合并，不改变三维特征尺寸。

输入的X光图像X1、X2共用同一个RecNet子网络，设Y1、Y2分别为X1、X2的RecNet解码器的输出，Feature1、Feature2为RecNet解码器倒数第二层的输出特征。

权重生成子网络WeiNet，具体结构为：

输入为Feature1,Feature2,由若干层三维卷积构成，每层卷积的输入输出尺寸一致，WeiNet子网络最后一层通过Sigmoid激活函数进行归一化处理，输出与设定重建体素同尺寸的权系数矩阵Weight，最终重建的三维体素Y＝Y1*Weight+Y2*(1-Weight)，其中*代表三维矩阵中的对应元素相乘。

(X1，X2)先输入至RecNet，RecNet对其权重共享，输出初始重建的二维特征图(Y1，Y2)以及三维特征图(F1，F2)，将(F1，F2)再输入至WeiNet，输出三维重建图像Y'，Y'＝Y1*W+Y2*(1-W)，其中，*代表三维矩阵中的对应元素相乘；

S3、训练三维重建网络模型

S3.1、初始化三维重建网络模型；

S3.2、随机选取一组训练数据(X1，X2，Y)，将(X1，X2)输入RecNet，此时，WeiNet输出

当RecNet网络损失收敛时，冻结RecNet权重，开始训练WeiNet权重，此时，WeiNet输出Y′＝Y₁*W+Y₂*(1-W)，当WeiNet网络损失收敛时，得到训练好的三维重建网络模型。

S4、三维重建骨骼CT

获取目标部位正面及侧面的真实X光影，并对其进行数据预处理，然后输入至训练好的三维重建网络，从而输出重建骨骼CT图。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于正交角度X光的骨骼三维重建方法，其特征在于，包括以下步骤：

(1)、构建训练数据集

采集不同患者目标部位CT影像，以及目标部位正面及侧面的X光影像，其中，CT影像记为Y，正面及侧面的X光影像记为X1和X2；

将每位患者目标部位的X光影像和CT影像进行归一化处理后，按照(X1，X2，Y)格式存储在训练数据集；

(2)、搭建三维重建网络模型

三维重建网络包括重建子网络RecNet和权重生成子网络WeiNet；

其中，RecNet采用U-net结构，不同之处在于RecNet编码器为二维编码器，其基本结构为DenseNet，解码器为三维解码器，在解码器中增加若干层三维卷积，实现对编码器输出的二维特征转化为三维特征；WeiNet由若干三维卷积层组成；

RecNet由编码器和解码器组成，具体结构为：

编码器(Encoder)：编码器的输入为正或侧位X光像素数据，输出为多通道二维特征，网络基本结构为DenseNet，其中每个DenseBlock的输出经过Transition Layer得到尺寸降低的特征，作为下一个DenseBlock的输入，每层得到的特征以跳跃连接的方式，传输给解码器相应尺寸的卷积层融合处理；

解码器(Decoder)：解码器的输入为编码器输出的多通道二维特征，输出为重建的三维体素数据；输入的多通道二维特征首先经过解码器第一层卷积网络变换为多通道三维特征，然后通过若干个反卷积层不断提升输出特征的尺寸，直到倒数第二层的三维特征尺寸等于设定的重建体素尺寸，最后一层是无上采样的反卷积运算，仅将多通道三维特征合并，不改变三维特征尺寸；

输入的X光图像X1、X2共用同一个RecNet子网络，设Y1、Y2分别为X1、X2的RecNet解码器的输出，Feature1、Feature2为RecNet解码器倒数第二层的输出特征；

权重生成子网络WeiNet，具体结构为：

输入为Feature1,Feature2,由若干层三维卷积构成，每层卷积的输入输出尺寸一致，WeiNet子网络最后一层通过Sigmoid激活函数进行归一化处理，输出与设定重建体素同尺寸的权系数矩阵Weight，最终重建的三维体素Y＝Y1*Weight+Y2*(1-Weight)，其中*代表三维矩阵中的对应元素相乘；

(X1，X2)先输入至RecNet，RecNet对其权重共享，输出初始重建的二维特征图(Y1，Y2)以及三维特征图(F1，F2)，将(F1，F2)再输入至WeiNet，输出三维重建图像Y'，Y'＝Y1*W+Y2*(1-W)，其中，*代表三维矩阵中的对应元素相乘；

(3)、训练三维重建网络模型

(3.1)、初始化三维重建网络模型；

(3.2)、随机选取一组训练数据，将(X1，X2)输入RecNet，此时，WeiNet输出

当RecNet网络损失收敛时，冻结RecNet权重，开始训练WeiNet权重，此时，WeiNet输出Y′＝Y₁*W+Y₂*(1-W)，当WeiNet网络损失收敛时，得到训练好的三维重建网络模型；

(4)、三维重建骨骼CT

获取目标部位正面及侧面的真实X光影，并对其进行数据预处理，然后输入至训练好的三维重建网络，从而输出重建骨骼CT图。

Images