CN112102282A

CN112102282A - 一种基于Mask RCNN的医学图像中不同节数腰椎的自动识别方法

Info

Publication number: CN112102282A
Application number: CN202010956416.6A
Authority: CN
Inventors: 秦品乐; 孙超; 曾建潮; 柴锐; 周少飞
Original assignee: North University of China
Current assignee: North University of China
Priority date: 2020-09-11
Filing date: 2020-09-11
Publication date: 2020-12-18

Abstract

本发明是一种基于Mask RCNN的医学图像中不同节数腰椎自动识别的方法，该方法利用Mask RCNN网络作为腰椎自动识别模型，该网络在Faster RCNN的基础上加了用于预测每个实例的分割mask。使用添加了腰椎间盘包络框像素坐标、不同节数腰椎包络框像素坐标、Mask分类信息的腰椎矢状面CT定位像作为训练样本来训练腰椎自动识别模型，利用训练好的模型来预测新输入的腰椎矢状面CT定位像中包络框的像素坐标。采用本发明所述方法可以实现三节、四节、五节腰椎的自动定位，此方法中首先通过对腰椎间盘的定位，可以更加准确的对不同节数腰椎进行识别并得到更加合适的包络框坐标。

Description

一种基于Mask RCNN的医学图像中不同节数腰椎的自动识别方法

技术领域

本发明涉及一种腰椎自动识别技术，尤其是一种基于MaskRCNN的医学图像中腰椎的自动识别技术。

背景技术

近些年CT(计算机断层摄影术)系统发展越来越快，在医学领域得到越来越广泛的应用。CT设备主要包括三个部分：扫描部分、计算机系统、图像显示及存储系统。CT是用X射线束对人体某部分一定厚度的层面进行扫描，由探测器接收透过该层面的X射线，转变为可见光后，由光信号转换为电信号，再经模拟/数字转换器转为数字信号，输入计算机处理。在临床应用中，CT是从人体某一断层中采集建立影像所必需的信息，因此不会因其他解剖组织的重叠而模糊不清。它使用的X射线是一条或多条细窄的线束方式辐射，可以大幅度减少散射线的影响，有利于提高影像清晰度。

目前大多数系统都是医生人工阅片，手动判别每个腰椎的范围、位置、大小。有时由于机器或者其他外部噪声的影响，会使得拍出的CT影像不清晰，影响医生的判断，降低工作效率，人工标注还存在主观误差等问题，所以一种能够减少医生工作量且减少误差的识别方式很必要。

虽然目前也有分割椎骨的方法，但是这些方法只是分割脊柱锥体的区域，还没有具体到对不同节数的腰椎进行分割。比如专利201711315308.5提出一种基于主动轮廓模型的脊柱CT图像自动定位分割方法，该方法能够自动定位椎骨中心并分割初始轮廓位置，进而得到完整椎骨分割结果，但不能得到具体腰椎间盘的分割结果。专利201911264023.2提出一种脊柱自动定位方法，实现脊柱自动定位并识别每个椎体的包络框像素坐标和倾角，但是无法实现不同节数腰椎椎体的分割。

发明内容

发明目的：为弥补现有技术的空白，本发明提出一种基于MaskRCNN的医学图像中不同节数腰椎自动识别方法，可以实现腰椎自动定位并识别L1-S1(第一腰椎-第一骶椎)、L2-S1(第二腰椎-第一骶椎)、L3-S1(第三腰椎-第一骶椎) 的包络框的像素坐标。该方法中增加了腰椎间盘包络框的像素坐标作为mask进行训练，可以得到更加准确的不同节数腰椎包络框的像素坐标。

技术方案：为实现上述目的。本发明提出一种基于Mask RCNN的医学图像中不同节数腰椎的定位方法，包括步骤：

(1)构建训练样本：选取包含不同节数的腰椎矢状面CT定位像，为每个图像添加合适的腰椎间盘和不同节数腰椎包络框的像素坐标、Mask分类信息，得到训练样本；

(2)利用MaskRCNN网络作为腰椎自动识别定位模型，在Faster RCNN 的基础上，添加第三个分支，用来分割mask，mask分支是应用到每一个ROI 上的小的全卷积网络；

(3)利用处理好的训练样本训练腰椎自动识别定位模型；

(4)将新获取到的腰椎矢状面CT定位像输入训练好的腰椎自动识别模型，得到腰椎间盘和不同节数腰椎包络框的像素坐标以及不同节数的腰椎标签。

具体的，训练好的模型包括用于特征提取的主干网络、标注Mask的分支网络、区域生成网络RPN和回归网络，其中:

将预处理过后的定位像输入特征提取网络，获得相应的Feature map；Mask 分支网络对输入的定位像进行处理，得到相应的腰椎间盘和腰椎mask图；将 Feature map输入RPN网络，生成腰椎候选区域；对生成的ROI进行ROIAlign 操作；最后将特征信息输入全连接层进行分类、回归、分割，得到腰椎间盘和不同节数腰椎包络框的像素坐标。

本发明的特征提取中使用ResNet50-FPN作为主干网络。ResNet50-FPN是一种多尺度的方法，它包括自下而上连接、自上而下连接和横向连接三部分，自下而上实际上就是特征提取的过程，将ResNet50作为骨架网络，生成相应的Feature map；自上而下是从最高层开始上采样；横向连接是将上采样的结果和自下而上生成的大小相同的Feature map进行融合。FPN采用多尺度特征融合的方式，将高层的特征添加到相邻的低层组合成新的特征，每一层单独进行预测，实现了在目标检测的时候即考虑全局特征又考虑局部特征。

具体的，所述的MaskRCNN网络的损失函数表达式为：

L＝L_fasterrcnn(p_i,t_i)+L_mask

其中p_i是预测分类的概率，当预测结果为正样本时，p_i ^*＝1，反之，p_i ^*＝0；t_i是预测的Bounding Box的参数化坐标，t_i ^*是真实值的Bounding Box的参数化坐标；N_cls是mini-batch size；N_reg是Anchor Location的数量；λ是正则化参数； L_cls是类别的对数损失，L_cls(p_i,p_i ^*)＝-log[p_ip_i ^*+(1-p_i)(1-p_i ^*)]；L_reg(t_i,t_i ^*)＝R(t_i-t_i ^*)，R 是Smooth L1函数：

Bounding Box的参数化坐标为：

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a

t_w＝log(w/w_a)，t_h＝log(h/h_a)

其中，x，y，w，h是Bounding Box的中心点坐标、宽度、高度；x，x_a， x^*分别对应Predicted Box、Anchor Box、GroundTruth Box。

有益效果：与现有技术相比，本发明具有以下优势：

本发明通过构建MaskRCNN网络，将腰椎间盘和不同节数腰椎椎体像素包络框坐标作为Mask进行训练，调整参数后得到最优模型，将新获得的腰椎CT 定位像输入加载好的模型中，可以自动识别并定位出腰椎间盘的包络框，然后对不同节数的腰椎包络框进行定位，得到更加准确的腰椎椎体像素坐标。这为医生的诊断提供了辅助分析，该过程是自动进行的，所以不需要医生的过多参与，大大减少医生工作量，同时提高了工作效率。

附图说明

图1所示为本发明构建的腰椎自动识别定位模型图；

图2为训练好的腰椎自动识别定位模型的输入图像、输出图像对比图。

具体实施方式

下面结合附图和具体实施例对本发明作更进一步说明。

本发明提出一种基于Mask RCNN的医学图像中不同节数腰椎自动识别定位方法，包括步骤：

(1)构建训练样本：选取腰椎矢状面CT定位像，为每个图像添加腰椎间盘和不同节数腰椎包络框的像素坐标、Mask分类信息，得到训练样本；

(2)利用Mask RCNN网络作为腰椎自动识别模型，该网络的输出中包括：候选区域的相关参数、候选区域为目标的概率值；

(3)利用处理好的训练样本训练腰椎自动识别模型；

(4)将新获取的腰椎矢状面CT定位像输入训练好的腰椎自动识别模型，得到腰椎间盘和不同节数腰椎包络框的像素坐标以及不同节数的腰椎标签。

如图1所示，根据本发明的基于Mask RCNN的医学图像中不同节数腰椎自动识别定位方法的实施例所涉及的MaskRCNN神经网络示意性框图。

原始的Faster RCNN主要包括三个网络：主干网络，RPN网络(区域建议网络)和回归网络。

主干网络完成图像特征提取的任务，同时降低图像的维度，一般该网络的结构由卷积层+RELU激活层+卷积层+RELU激活层+池化层组成一部分，然后由多个这样的部分级联而成。该网络的主要作用是将输入的图像变成卷积特征图即 Feature map。

接下来将Feature map输入到FPN网络，通过对提取到的特征信息进行处理，选出合适的候选ROI。

最后经过ROIAlign操作提取相应的特征矩阵，送入最后的回归网络，输出特征包络框像素坐标和类别标签。

对比于原始的Faster RCNN,该发明改进了RPN网络，加入了腰椎间盘及腰椎椎体区域的mask来进行训练，只有在腰椎有效区域的RPN才会有激活输出。本方法中使用腰椎间盘和不同节数腰椎包络框像素坐标作为mask，通过添加腰椎间盘包络框可以更加准确定位腰椎椎体的位置，对识别三节、四节、五节腰椎起到辅助作用，使输出的包络框像素坐标更加符合实际要求。

在本实施例构建的MaskRCNN神经网络中，特征提取网络用来提取加入了腰椎间盘及腰椎椎体包络框像素坐标的CT定位像的卷积特征，得到相应的 Feature map，该特征提取网络使用ResNet50-FPN作为骨架；Mask分支网络用来得到腰椎间盘及腰椎椎体mask图；将提取得到的Feature map输入RPN网络，生成腰椎间盘及腰椎椎体包络框的候选区域；对生成的候选区域进行ROIAlign 操作，去除掉不合适的候选框；最后将特征信息输入全连接层进行分类、回归、分割，得到腰椎间盘及不同节数腰椎椎体包络框的像素坐标和分类标签。

调整超参数，得到损失最小的最优模型，将新获得的腰椎矢状面CT定位像输入最优模型，即可得到腰椎间盘及不同节数腰椎包络框的像素坐标，最后进行可视化显示，如图2所示，其中1表示五节腰椎锥体包络框(L1-S1：第一腰椎- 第一骶椎)，2表示四节腰椎锥体包络框(L2-S1：第二腰椎-第一骶椎)，3表示三节腰椎锥体包络框(L3-S1：第三腰椎-第一骶椎)，4表示腰椎间盘包络框(L1-2； L2-3；L3-4；L4-5；L5-S1)。

Claims

1.一种基于Mask RCNN的医学图像中不同节数腰椎自动识别方法，包括步骤：

(1)构建训练样本：选取腰椎矢状面CT定位像，为每个图像添加腰椎间盘和不同节数腰椎椎体包络框的像素坐标、Mask分类信息，得到训练样本；

(3)利用处理好的训练样本训练腰椎自动识别模型；

2.根据权利要求1所述的一种基于Mask RCNN的医学图像中不同节数腰椎自动识别模型，该训练好的模型包括用于特征提取的主干网络、标注Mask的分支网络、区域生成网络rpn，回归网络，最终实现分类、回归、分割的任务。

将预处理过后的定位像输入特征提取网络，获得相应的Feature map；Mask分支网络对输入的定位像进行处理，得到相应的腰椎mask图；根据Feature map生成候选ROI；将候选ROI输入RPN网络进行二值分类，过滤掉一部分ROI；对剩下的ROI进行ROIAlign操作，最后将特征信息输入全连接层进行分类、回归、分割，得到腰椎间盘和不同节数腰椎包络框的像素坐标。

3.根据权利要求2所述的一种基于Mask RCNN的医学图像中不同节数腰椎自动识别模型，所述的MaskRCNN网络的损失函数为：

L＝L_fasterrcnn(p_i,t_i)+L_mask

其中p_i是预测分类的概率，当预测结果为正样本时，p_i ^*＝1，反之，p_i ^*＝0；t_i是预测的Bounding Box的参数化坐标，t_i ^*是真实值的Bounding Box的参数化坐标；N_cls是mini-batchsize；N_reg是Anchor Location的数量；λ是正则化参数。

L_cls是类别的对数损失：

L_cls(p_i,p_i ^*)＝-log[p_ip_i ^*+(1-p_i)(1-p_i ^*)]。

L_reg(t_i,t_i ^*)＝R(t_i-t_i ^*)，R是Smooth L1函数：

L_mask是分割误差，使得网络能够输出每一类的mask，对于每个ROI，都是用sigmoid函数求相对熵，得到平均熵误差L_mask，ROI属于哪一个分类，就只使用哪一个分支的相对熵误差作为误差值进行计算。