CN110796636A - 基于卷积神经网络的ct图像骨质状况检测方法及装置 - Google Patents

Abstract

本发明属于医学图像识别技术领域，特别涉及一种基于卷积神经网络的CT图像骨质状况检测方法及装置，该方法包含：设计用于对原始CT图像中腰椎部分进行分割，得到标记图像的U‑Net卷积神经网络模型，并设计用于对分割图像进行骨质状况分类的DenseNet卷积神经网络模型；利用临床的训练数据集对两个卷积神经网络进行训练；利用训练后的U‑Net卷积神经网络模型对原始CT图像分割获得相应的标记图像，对原始CT图像和标记图像进行剪切和缩放得到分割图像；利用训练后的DenseNet卷积神经网络模型对分割图像进行分类，得到原始CT图像对应的骨质状况信息。本发明减少对辅助硬件和专门骨质检测流程的依赖，能够快速便捷地实现骨质状况检测，改善临床环境中骨量流失诊断效果。

Description

基于卷积神经网络的CT图像骨质状况检测方法及装置

技术领域

本发明属于医学图像识别技术领域，特别涉及一种基于卷积神经网络的CT图像骨质状况检测方法及装置。

背景技术

骨质疏松症是一种以骨量减少和骨组织微结构退化为特征的疾病。这是一个严重的公共健康问题，因为它潜在的破坏性后果和高概率的骨折。从病人的角度来看，骨折以及随后的活动能力和自主性丧失往往导致了生活质量的下降。此外，骨质疏松性椎体骨折持续12个月的额外死亡率高达20％，因为它们需要住院治疗，并随后增加了其他并发症的风险，如慢性固定导致的肺炎或血栓栓塞性疾病。而且，由于骨质流失隐性发生，且最初是无症状的，骨质疏松症通常是在脆性骨折发生后才被诊断，这将带来巨大的个人痛苦和社会经济负担。骨密度(Bone Mineral Density,BMD)是诊断骨质疏松症的重要指标，它的测量可以为预防骨质疏松性骨折提供依据。

目前，测量BMD的主要临床方法是双能X线吸收测定法(Dual-energy X-rayAbsorptiometry,DXA)和定量计算机断层扫描成像。其中，DXA是测量BMD的金标准。根据DXA进行BMD测量结果中T值的大小，可以确定骨质状况。例如，T值小于-2.5为骨质疏松症。然而，这些临床测量方法需要额外的辅助硬件或工作流程，并且将给受检者带来额外的经济负担，这使得人们不愿经常检测骨骼状况。提高骨量流失检测率的一种可能方法是利用由于其他原因而获得的诊断CT图像中包含的骨质信息，例如通过CT进行的体检和疾病诊断。现有技术中，基于几何和强度特征从临床CT图像中分割腰椎的方法来检测楔形压缩骨折，在胸、腹的常规多普勒CT图像中检测骨质疏松性椎体骨折原型算法，及基于深度神经网络框架的机器学习方法，对于骨量流失并未骨折的病例仍然需要临床额外的辅助硬件和专用的工作流程。

发明内容

为此，本发明提供一种基于卷积神经网络的CT图像骨质状况检测方法及装置，能够利用常规诊断CT图像从图像域检测并识别骨质状况，而无需辅助硬件和增加专用工作流程，能够更有效、更方便便捷地对受检者进行骨质状况检测。

按照本发明所提供的设计方案，提供一种基于卷积神经网络的CT图像骨质状况检测方法，包含如下内容：

获取人体腰椎诊断样本数据，该样本数据包含原始腰椎诊断CT图像数据、专业标注标记图像数据和专业诊断骨质状况数据；

构建用于通过训练学习获取原始腰椎诊断CT图像中标记图像的图像分割神经网络模型和用于通过训练学习对输入图像进行骨质状况判别的图像分类神经网络模型，图像分割神经网络模型输出的标记图像与原始腰椎诊断CT图像通过剪切和缩放获取分割图像，将该分割图像作为图像分类神经网络模型的输入数据；

利用人体腰椎诊断样本数据对图像分割神经网络模型和图像分类神经网络模型进行训练；

将待检测CT图像作为训练后的图像分割神经网络模型的输入，获取待检测CT图像的标记图像，通过对待检测CT图像和标记图像进行剪切和缩放，得到分割图像；利用训练后的图像分类神经网络模型对得到的分割图像进行分类判别，获取待检测CT图像对应的骨质状况信息。

作为本发明CT图像骨质状况检测方法，进一步地，图像分割神经网络模型采用U-Net卷积神经网络，以实现输入CT图像的特征提取与映射。

作为本发明CT图像骨质状况检测方法，进一步地，所述U-Net卷积神经网络包含相互连接的编码器和解码器，其中，编码器设置有用于从输入图像数据进行图像特征提取的若干卷积层，解码器设置有用于从图像特征中获取腰椎标记图像的若干反卷积层。

作为本发明CT图像骨质状况检测方法，进一步地，编码器和解码器的各层之间设置有用于获取腰椎标记图像信息的跨层连接。

作为本发明CT图像骨质状况检测方法，进一步地，图像分类神经网络模型采用DenseNet密集卷积神经网络，以实现分割图像的骨质状况分类。

作为本发明CT图像骨质状况检测方法，进一步地，所述DenseNet密集卷积神经网络的结构包含Denseblock稠密块和设于两个Denseblock稠密块之间的Transitionblock过渡块。

作为本发明CT图像骨质状况检测方法，进一步地，所述DenseNet密集卷积神经网络的结构还包含设于输入端口用于减少输入特征图数量的瓶颈层，该瓶颈层输出与首个Denseblock稠密块连接。

作为本发明CT图像骨质状况检测方法，进一步地，所述瓶颈层包含卷积层和平均池化层。

作为本发明CT图像骨质状况检测方法，进一步地，所述DenseNet密集卷积神经网络的结构中最后一个Denseblock稠密块还连接有全局平均池化层和Softmax分类器。

进一步地，本发明还提供一种基于卷积神经网络的CT图像骨质状况检测装置，包含：数据获取模块、模型构建模块、模型训练模块和图像检测模块，其中，

数据获取模块，用于获取人体腰椎诊断样本数据，该样本数据包含原始腰椎诊断CT图像数据、专业标注标记图像数据和专业诊断骨质状况数据；

模型构建模块，用于构建用于通过训练学习获取原始腰椎诊断CT图像中标记图像的图像分割神经网络模型和用于通过训练学习对输入图像进行骨质状况判别的图像分类神经网络模型，图像分割神经网络模型输出的标记图像与原始腰椎诊断CT图像通过剪切和缩放获取分割图像，将该分割图像作为图像分类神经网络模型的输入数据；

模型训练模块，用于利用人体腰椎诊断样本数据对图像分割神经网络模型和图像分类神经网络模型进行训练；

图像检测模块，用于将待检测CT图像作为训练后的图像分割神经网络模型的输入，获取待检测CT图像的标记图像，通过对待检测CT图像和标记图像进行剪切和缩放，得到分割图像；利用训练后的图像分类神经网络模型对得到的分割图像进行分类判别，获取待检测CT图像对应的骨质状况信息。

本发明的有益效果：

本发明创造性地利用卷积神经网络提取常规CT图像的特征来估计骨质状况，仅从常规CT图像中得到骨质状况的诊断，大大减少对于辅助硬件和专门骨质检测流程的依赖和受检者的额外经济负担，可以结合常规CT检查快速便捷地进行骨质状况的检测，从而改善临床环境中骨量流失的诊断效果，更好的预防骨质疏松症。并通过实验结果进一步验证了本发明所提方法在骨质状况检测中的有效性，能够为医生提供更加客观、准确的诊断结果，具有重要的临床应用价值和研究意义。

附图说明：

图1为实施例中CT图像骨质状况检测方法示意图；

图2为实施例中U-Net卷积神经网络模型示意图；

图3为实施例中DenseNet卷积神经网络模型示意图；

图4为实施例中CT图像骨质状况检测装置示意图；

图5为实施例中检测原理示意图；

图6为实施例中检测结果示意图。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

针对医学临床上骨质疏松诊断所面临的问题，本发明实施例，参见图1所示，提供一种基于卷积神经网络的CT图像骨质状况检测方法，包含：

S101)获取人体腰椎诊断样本数据，该样本数据包含原始腰椎诊断CT图像数据、专业标注标记图像数据和专业诊断骨质状况数据；

S102)构建用于通过训练学习获取原始腰椎诊断CT图像中标记图像的图像分割神经网络模型和用于通过训练学习对输入图像进行骨质状况判别的图像分类神经网络模型，图像分割神经网络模型输出的标记图像与原始腰椎诊断CT图像通过剪切和缩放获取分割图像，将该分割图像作为图像分类神经网络模型的输入数据；

S103)利用人体腰椎诊断样本数据对图像分割神经网络模型和图像分类神经网络模型进行训练；

S104)将待检测CT图像作为训练后的图像分割神经网络模型的输入，获取待检测CT图像的标记图像，通过对待检测CT图像和标记图像进行剪切和缩放，得到分割图像；利用训练后的图像分类神经网络模型对得到的分割图像进行分类判别，获取待检测CT图像对应的骨质状况信息。

原始腰椎诊断CT图像数据可利用CT设备获取，专业标注标记图像数据和专业诊断骨质状况数据可通过放射科医师进行专业标注及放射科专业诊断骨质状况结果来获取，以得到用于模型参数训练学习的样本数据。本发明实施例中利用卷积神经网络提取出常规CT图像的特征来估计骨质状况，仅从常规CT图像中得到骨质状况的诊断，大大减少对于辅助硬件和专门骨质检测流程的依赖和受检者的额外经济负担，使得骨质状况检测更加方便、快捷、有效。

U-Net整个神经网络主要有两部分组成：收缩路径(contracting path)和扩展路径(expanding path)。收缩路径主要是用来捕捉图片中的上下文信息(contextinformation)，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位(localization)。作为本发明实施例中的CT图像骨质状况检测方法，进一步地，图像分割神经网络模型采用U-Net卷积神经网络，以实现输入CT图像的特征提取与映射。该模型输入为原始CT图像，模型的输出为原始CT图像对应的标记图像，可以很好地精确定位图像中的关注区域。

作为本发明实施例中的CT图像骨质状况检测方法，进一步地，U-Net卷积神经网络包含相互连接的编码器和解码器，其中，编码器设置有用于从输入图像数据进行图像特征提取的若干卷积层，解码器设置有用于从图像特征中获取腰椎标记图像的若干反卷积层。进一步地，为更好地获取图像细节信息，编码器和解码器的各层之间设置有用于获取腰椎标记图像信息的跨层连接。

随着卷积神经网络的迅速发展，GoogleNet、VGGNet、ResNet等模型在各种计算机视觉任务上得到广泛的应用。但随着网络层数的加深，网络在训练过程中的梯度信息在经过很多层之后可能会逐渐消失。针对这个问题，可通过跨层连接操作来连接网络中的前后层进行改善。DenseNet基于这个核心理念提供了一种全新的连接模式，在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来。作为本发明实施例中的CT图像骨质状况检测方法，进一步地，图像分类神经网络模型采用DenseNet密集卷积神经网络，以实现分割图像的骨质状况分类。进一步地，DenseNet密集卷积神经网络的结构包含Denseblock稠密块和设于两个Denseblock稠密块之间的Transitionblock过渡块。DenseNet密集卷积神经网络的结构还包含设于输入端口用于减少输入特征图数量的瓶颈层，该瓶颈层输出与首个Denseblock稠密块连接。瓶颈层包含卷积层和平均池化层。DenseNet密集卷积神经网络的结构中最后一个Denseblock稠密块还连接有全局平均池化层和Softmax分类器。通过上述的模型结构设计，能够更加有效减少输入特征图数量，提高计算效率。

进一步地，基于上述方法，本发明还提供一种基于卷积神经网络的CT图像骨质状况检测装置，参见图4所示，包含：数据获取模块101、模型构建模块102、模型训练模块103和图像检测模块104，其中，

数据获取模块101，用于获取人体腰椎诊断样本数据，该样本数据包含原始腰椎诊断CT图像数据、专业标注标记图像数据和专业诊断骨质状况数据；

模型构建模块102，用于构建用于通过训练学习获取原始腰椎诊断CT图像中标记图像的图像分割神经网络模型和用于通过训练学习对输入图像进行骨质状况判别的图像分类神经网络模型，图像分割神经网络模型输出的标记图像与原始腰椎诊断CT图像通过剪切和缩放获取分割图像，将该分割图像作为图像分类神经网络模型的输入数据；

模型训练模块103，用于利用人体腰椎诊断样本数据对图像分割神经网络模型和图像分类神经网络模型进行训练；

图像检测模块104，用于将待检测CT图像作为训练后的图像分割神经网络模型的输入，获取待检测CT图像的标记图像，通过对待检测CT图像和标记图像进行剪切和缩放，得到分割图像；利用训练后的图像分类神经网络模型对得到的分割图像进行分类判别，获取待检测CT图像对应的骨质状况信息。

为验证本发明技术方案的有效性，下面通过实验数据做进一步解释说明：

参见图5所示，设计用于图像分割的U-Net卷积神经网络模型，作为分割出原始CT图像中腰椎部分的标记图像的模型；及用于图像分类的DenseNet卷积神经网络模型，作为对分割图像进行骨质状况类别判断的模型。通过临床的训练数据集对两个神经网络进行训练，通过更新网络参数获取训练后的两个卷积神经网络模型。利用训练后的U-Net卷积神经网络模型对原始CT图像进行分割，得到标记图像；通过对原始CT图像和标记图像进行剪切和缩放，得到分割图像。利用训练后的DenseNet卷积神经网络模型对分割图像进行骨质状况分类，得到原始CT图像对应的骨质状况信息。

U-Net卷积神经网络包括编码器和解码器。图2中所示，编码器利用九个卷积层从输入数据中提取图像特征。原始CT图像大小为i×512×512×1，其中i为训练数据的批量大小。前三个卷积层分别为64、128、256通道，卷积核大小为4×4，重叠步长为2。第四卷积层到第九卷积层共有512个通道，卷积核大小为4×4，重叠步长为2。卷积层的激活函数为LeakyReLU，斜率为0.2。解码器的目的是从所获得的CT图像特征信息中获取腰椎的标记图像。解码器由相应的八个反卷积层组成。前六个反卷积层有512个通道，卷积核大小为4×4，重叠步长为2。第七个反卷积层至最后的反卷积层分别为256、128、64通道，卷积核大小为4×4，重叠步长为2。跨层连接的操作连接相应的编码器和解码器层，以帮助解码器更好地获取标记图像的细节。卷积神经网络的输出图像大小与输入图像大小相同。

图3中所示，DenseNet卷积神经网络模型采用分割图像作为输入，输入图像的大小为224×224。DenseNet的训练参数增长的主要方式是Dense block中卷积层的数量和增长率k。为了减轻过拟合，我们将Dense block的数量依次设置为1、2、4和2。此外，为了减少训练参数的数量，将增长率k设置为12，这与CIFAR数据分类的设置相一致。引入1×1的卷积层和2×2的平均池化层作为瓶颈层，来减少输入特征图的数量，提高计算效率。在最后一个Dense block的末尾接上全局平均池化层和一个Softmax分类器。该网络模型结构采用为单输入、三输出的网络结构以实现分割图像的分类，所其中，单输入为经图像处理算法得到的分割图像，三输出为三种骨质状况类别对应的概率值，三种骨质状况为骨量正常、骨量减少和骨质疏松。因此，此处分类层的输出数由于骨质状况的类别多少而不同，设置为3。详细的网络配置如表1所示，表中每个“conv”层对应conv-bn-relu。

表1用于骨质状况类别判断的DenseNet结构

为了训练卷积神经网络，所需训练数据集包括卷积神经网络模型的输入数据和输出数据。对于U-Net卷积神经网络模型，所述输入数据为利用CT设备得到人体腰椎诊断CT图像，所述输出数据为相应的标记图像。对于DenseNet卷积神经网络模型，所述输入数据为处理原始CT图像和标记图像得到的分割图像，所述输出数据为对应的骨质状况类别。输出数据作为训练的标签数据。从河南省人民医院放射科获得诊断CT图像和放射科医师进行专业标注的标记图像，以及该放射科进行专业诊断的骨质状况结果。临床采集匹配的数据共计229对，通过图像的平移、旋转、翻转和缩放等操作对数据进一步处理，最终由1800例样本构成U-Net卷积神经网络模型的训练集，由21600例样本构成DenseNet卷积神经网络模型的训练集。将训练数据集输入设计好的卷积神经网络进行网络参数的更新和训练，得到训练后的卷积神经网络模型。利用训练后的U-Net卷积神经网络模型对原始CT图像进行分割，得到标记图像；通过对原始CT图像和标记图像进行剪切与缩放，得到分割图像；利用训练后的DenseNet卷积神经网络模型对分割图像进行骨质状况分类，得到原始CT图像对应的骨质状况信息。ROC的全名叫做Receiver Operating Characteristic，其主要分析工具是一个画在二维平面上的曲线——ROC curve。平面的横坐标是false positive rate(FPR)，纵坐标是true positive rate(TPR)。实验结果如图6所示，图中，通过正常骨量、低骨量和骨质疏松三个曲线，能够进一步说明本发明实施例中技术方案在骨质状况检测中的有效性。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的方法，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。

基于上述的方法，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的方法。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，包含如下内容：

获取人体腰椎诊断样本数据，该样本数据包含原始腰椎诊断CT图像数据、专业标注标记图像数据和专业诊断骨质状况数据；

构建用于通过训练学习获取原始腰椎诊断CT图像中标记图像的图像分割神经网络模型和用于通过训练学习对输入图像进行骨质状况判别的图像分类神经网络模型，图像分割神经网络模型输出的标记图像与原始腰椎诊断CT图像通过剪切和缩放获取分割图像，将该分割图像作为图像分类神经网络模型的输入数据；

利用人体腰椎诊断样本数据对图像分割神经网络模型和图像分类神经网络模型进行训练；

将待检测CT图像作为训练后的图像分割神经网络模型的输入，获取待检测CT图像的标记图像，通过对待检测CT图像和标记图像进行剪切和缩放，得到分割图像；利用训练后的图像分类神经网络模型对得到的分割图像进行分类判别，获取待检测CT图像对应的骨质状况信息。

2.根据权利要求1所述的基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，图像分割神经网络模型采用U-Net卷积神经网络，以实现输入CT图像的特征提取与映射。

3.根据权利要求2所述的基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，所述U-Net卷积神经网络包含相互连接的编码器和解码器，其中，编码器设置有用于从输入图像数据进行图像特征提取的若干卷积层，解码器设置有用于从图像特征中获取腰椎标记图像的若干反卷积层。

4.根据权利要求3所述的基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，编码器和解码器的各层之间设置有用于获取腰椎标记图像信息的跨层连接。

5.根据权利要求1所述的基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，图像分类神经网络模型采用DenseNet卷积神经网络，以实现分割图像的骨质状况分类。

6.根据权利要求5所述的基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，所述DenseNet卷积神经网络的结构包含Denseblock稠密块和设于两个Denseblock稠密块之间的Transitionblock过渡块。

7.根据权利要求5所述的基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，所述DenseNet密集卷积神经网络的结构还包含设于输入端口用于减少输入特征图数量的瓶颈层，该瓶颈层输出与首个Denseblock稠密块连接。

8.根据权利要求7所述的基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，所述瓶颈层包含卷积层和平均池化层。

9.根据权利要求6所述的基于卷积神经网络的CT图像骨质状况检测方法，其特征在于，所述DenseNet密集卷积神经网络的结构中最后一个Denseblock稠密块还连接有全局平均池化层和Softmax分类器。

10.一种基于卷积神经网络的CT图像骨质状况检测装置，其特征在于，包含：数据获取模块、模型构建模块、模型训练模块和图像检测模块，其中，

数据获取模块，用于获取人体腰椎诊断样本数据，该样本数据包含原始腰椎诊断CT图像数据、专业标注标记图像数据和专业诊断骨质状况数据；

模型构建模块，用于构建用于通过训练学习获取原始腰椎诊断CT图像中标记图像的图像分割神经网络模型和用于通过训练学习对输入图像进行骨质状况判别的图像分类神经网络模型，图像分割神经网络模型输出的标记图像与原始腰椎诊断CT图像通过剪切和缩放获取分割图像，将该分割图像作为图像分类神经网络模型的输入数据；

模型训练模块，用于利用人体腰椎诊断样本数据对图像分割神经网络模型和图像分类神经网络模型进行训练；

图像检测模块，用于将待检测CT图像作为训练后的图像分割神经网络模型的输入，获取待检测CT图像的标记图像，通过对待检测CT图像和标记图像进行剪切和缩放，得到分割图像；利用训练后的图像分类神经网络模型对得到的分割图像进行分类判别，获取待检测CT图像对应的骨质状况信息。

Images