CN110223352B - 一种基于深度学习的医学图像扫描自动定位方法 - Google Patents

Abstract

本发明提供一种基于深度学习的医学图像扫描自动定位方法，获取大量定位片图像，并随机切分为训练集、验证集和测试集；把每个定位片图像中的各个需要标注的器官进行标注；构建深度学习的网络模型，将训练集和验证集分别作为网络模型的输入进行训练，获取训练参数；在测试集上用训练参数运行网络模型，得到需要检查的各个器官的定位框左上点坐标、宽、高数据以及类别数据，根据CT以及PET扫描参数的需求，对得到的定位框数据进行进一步后处理，得到最终所需要检查的人体部位的定位框数据，完成深度学习；利用完成深度学习的网络模型对病人进行扫描，最终得到自动定位的扫描图像。

Description

一种基于深度学习的医学图像扫描自动定位方法

技术领域

本发明涉及一种医学图像扫描的自动定位方法。

背景技术

计算机断层扫描(Computed Tomography, CT)扫描能够获得人体连续层面的信息，螺旋扫描速度快，不易遗漏病变信息，且在图像处理上有很大的灵活性，可获得任意方向的图像层面，已广泛应用于人体三维成像，血管造影成像，心脏成像，脑灌注成像等领域。

CT成像是通过X射线对人体检查部位进行扫描，由探测器接收透过人体之后的X射线后转变为可见光，通过光电转换器转换为电信号，再通过模数转换器转换为数字信号，最后经过计算机图像重建程序重建为CT图像，由于人体各个器官和组织是由多种物质成分和不同密度构成，各器官对X 射线的吸收系数的不同，导致重建所得的CT图像各器官的CT值出现差异，而这些像素的CT值转换为灰度，就得到了图像面上的灰度分布，即CT影像。

而正电子发射断层成像(Position Emission tomography，PET)能够在分子水平检测生物组织的代谢、受体分子结合等生理和生化信息，已广泛应用于核医学成像临床检查、疗效评价、药物开发等领域。现在PET往往和 CT组合在一起，形成PET/CT系统，它不但拥有两者各自的优点，而且PET 可以借助CT扫描来进行准确的衰减校正和病灶定位，被普遍应用于脑和心脏等领域的重大疾病的早期发现和诊断，肿瘤的指导治疗、疗效评估和复发检测等。

一般来说，在扫描CT(或者PET/CT)的目标序列之前，需要进行一个定位片的扫描，以便找到目标部位的具体位置。定位片扫描可以从0°(即垂直方向)或者90°方向(即水平方向)进行，从而形成0°或者90°的定位片。在实际操作中，技师为了节省时间(或者减少病人所受的辐射剂量) 往往只选择0°或者90°一个方向进行扫描，因此扫描部位的确定相对来说比较困难；即使是扫描了两个方向的定位片，也由于器官之间的遮挡，准确找到所需扫描的器官或者部位也不是一件容易的事情，都需要凭借技师的经验进行扫描框的人为调节。这样的操作不但费时费力，如果技师经验不足或者任何疏忽，往往会造成定位不准，从而导致对患者进行额外部位的多余扫描(病人受到了额外的、非必需的辐射)，或者不能完整扫描目标部位(往往需要重新扫描，或者补充扫描未扫描的部位)。

随着计算机技术的突飞猛进，深度学习算法已经被运用到越来越多的领域中，从计算机视觉到自然语言处理，众多的实际案例证明了深度学习能够替代人类重复而又繁重的劳动。目前，深度学习已经广泛应用于自然图像处理中，人脸检测，文字识别，视频监控，智能驾驶等。但是在医学图像处理中还鲜有落地，目前肺结节的定位检测在业界比较普遍，但是关于CT定位片中器官的自动定位还较少，如公开号为CN103400398A，公开日为2013 年11月20日的中国发明揭示了一种基于胸部定位片的心脏自动定位方法，属于CT影像智能辅助应用领域，其可以对胸部CT定位片进行自动的心脏区域定位，省去人工操作，提高工作效率；通过自动对心脏进行三维定位，实现针对心脏的局部低剂量扫描图像中心脏的定位，从而确定局部X射线的放线区域，为局部精细扫描做准备，达到减少CT辐射剂量的目的。但其仍是使用传统的图像处理方法进行定位，算法不能自行优化，而且只能对心脏进行定位，不能实现对其他器官进行定位，由于患者检查部位通常包括颅脑，胸部，腹部等，因此仍有很大的不足。

公开日为2017年11月28日，公开号为CN107403201A的中国发明揭示了一种肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法，步骤为： 1)肿瘤多模态(式)影像重建、去噪、增强、配准、融合等预处理；2)肿瘤影像特征自动提取：自动地从预处理后的CT、CBCT、MRI、PET、和(或) 超声等多模态(式)肿瘤医学图像数据中提取一个或多个肿瘤影像组(纹理特征谱)信息；3)采用深度学习、机器学习、人工智能、区域生长、图论 (随机游走)、几何水平集、和(或)统计理论方法，进行肿瘤放射治疗靶区和危及器官的智能化、自动化勾画。采用本发明能够高精度地勾画肿瘤放射治疗靶区(GTV)和危及器官(OAR)。该方法主要针对肿瘤放射治疗靶区和危及器官，对其进行勾画和分类，并不能实现多器官和多部位的精准的坐标定位。

公开日为2017年12月19日，公开号为CN107491633A的中国发明提供了一种图像处理的方法及装置，涉及医学图像领域，能够通过机器学习/ 深度学习相关技术，对获取的医学图像进行器官识别和分割，并存储器官分割后对应的掩模图像，医生/物理师在医学图像中勾画器官时，系统实时加载掩模图像，可实现器官的快速勾画，提升医学图像处理速度及整个系统的运行效率。该方法包括：获取医学图像；通过指定方法，分割所述医学图像中包含的器官；获取对所述医学图像进行器官分割后对应的掩膜图像；将所述掩膜图像存储在指定位置。其实施例提供的技术方案适用于放疗中的器官勾画过程。其主要实现器官的分割，将其分割掩模存储到指定位置，并不能实现多器官和多部位的精准的坐标定位。

发明内容

本发明要解决的技术问题，在于提供一种基于深度学习的医学图像扫描自动定位方法，使用先进的深度学习算法应用于多器官/多部位定位，能对所有需要进行扫描定位的器官/部位进行定位，而且计算快速，效率高。

本发明是这样实现的：一种基于深度学习的医学图像扫描自动定位方法，包括下述步骤：

S1、获取大量定位片图像，并将定位片图像中的每一类别随机切分为训练集T、验证集V和测试集U，把同为三个集合的图像分别合并，作为训练用集合；

S2、根据深度学习目标检测模型的要求，把训练用集合中的每个定位片图像中的各个需要标注的器官进行标注，标注信息包括预测框的中心坐标信息，预测框的长、宽信息以及预测框的类别信息；

S3、构建深度学习的网络模型，把训练集T和验证集V分别作为所述网络模型的输入，将器官标记作为所述网络模型的训练标记，对所述网络模型进行训练，分别得到训练集损失函数曲线和验证集损失函数曲线，当训练达到训练集损失函数曲线趋于稳定且下降十分缓慢，同时验证集损失函数曲线开始增大时，应停止训练，获取训练参数；

S4、在测试集U上用训练参数运行网络模型，得到需要检查的各个器官的定位框左上点坐标、宽、高数据以及类别数据，根据CT以及PET扫描参数的需求，对得到的定位框数据进行进一步后处理，得到最终所需要检查的人体部位的定位框数据，完成深度学习；

S5、利用完成深度学习的网络模型对病人进行扫描，最终得到自动定位的扫描图像。

进一步的，所述步骤S4中，在得到最终所需要检查的人体部位的定位框数据之后，对比测试集U得到的定位框数据和医生的标注定位框数据，检测网络模型的泛化能力，若效果不理想，在所述训练集T、验证集V和测试集U增加定位片图像的数量，回到步骤2，直到获得满意的训练参数。

进一步的，所述步骤S3中，所述网络模型为Yolo网络模型，构建该 Yolo网络模型时，M层卷积层用来提取目标图像中的特征，该Yolo网络模型把图像分成S×S个网格，每一个网格负责预测一个以该网格中某个像素点为中心的目标，并给出目标预测框的四个边界、置信度以及目标类型信息，则输出层的维度为S×S×(D×5+C)，其中C为标注的器官数，每一个网格输出D个预测框信息；

Yolo网络模型构建完成后，将训练集T输入Yolo网络模型，进行参数的训练，并且用验证集V验证训练效果；该Yolo网络模型的损失函数为：

上式中，x，y是指当前格子预测得到的预测框的中心坐标，w、h是预测框的宽度和高度，x，y，ω，h，C，p为Yolo网络预测值，

为标注值，

表示物体落入格子i中，

分别表示物体落入与未落入格子i的第j个预测框内；等号右边第1、2项代表中心点和预测框长宽的误差，第3、 4项代表预测框的置信度，包括了该网格包含或不包含目标两种情况，第5 项则表示类别误差；

当训练达到损失函数趋于稳定，下降十分缓慢，且验证集误差开始增大时，应停止训练，获取训练参数。

进一步的，所述步骤S3中，先把训练用集合中的每一个定位片图像由 DICOM格式转换为Yolo网络模型要求的格式。

进一步的，在所述步骤S2中，还将所述预测框的中心坐标信息，预测框的长、宽信息以及预测框的类别信息进行归一化处理。

本发明具有如下优点：本方法以CT扫描定位片为输入，采用深度学习算法进行多器官/多部位的目标识别，以便进行准确的目标部位的智能定位，减少技师重复而又繁重的手动调节，计算快速的同时还能够确保定位的准确，并将对病人的辐射减少至最低。本方法可以应用在CT，PET/CT等系统当中，是医院智能工作流的重要组成部分。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法执行流程图。

图2为本发明方法较佳实施例中Yolo网络模型的结构图。

图3为本发明方法中一组定位片原图以及器官标记图组的训练数据图例。

图4为本发明方法在CT或PET/CT系统中应用的流程图(右侧虚线框图内为后台计算，用户不可见)。

具体实施方式

请参阅图1所示，本发明的基于深度学习的医学图像扫描自动定位方法，包括下述步骤：

S1、获取大量定位片图像，并将定位片图像中的每一类别随机切分为训练集T、验证集V和测试集U，把同为三个集合的图像分别合并，作为训练用集合；

S2、根据深度学习目标检测模型的要求，把训练用集合中的每个定位片图像中的各个需要标注的器官进行人工标注，标注信息包括预测框的中心坐标信息，预测框的长、宽信息以及预测框的类别信息；

S3、构建深度学习的网络模型，把训练集T和验证集V分别作为所述网络模型的输入，将器官标记作为所述网络模型的训练标记，对所述网络模型进行训练，分别得到训练集损失函数曲线和验证集损失函数曲线，当训练达到训练集损失函数曲线趋于稳定且下降十分缓慢，同时验证集损失函数曲线开始增大时，应停止训练，获取训练参数；

S4、在测试集U上用训练参数运行网络模型，得到需要检查的各个器官的定位框左上点坐标、宽、高数据以及类别数据，根据CT以及PET扫描参数的需求，对得到的定位框数据进行进一步后处理，得到最终所需要检查的人体部位的定位框数据，完成深度学习；其中，定位框和预测框实质上是同一种框，但通常针对性有些不同，在定位片的时候描述为定位框，与网络相关的内容时描述为预测框；

S5、利用完成深度学习的网络模型对病人进行扫描，最终得到自动定位的扫描图像。

本发明将深度学习技术用于定位片中多器官的定位。业界常见的深度学习目标检测模型可以分为两类，一类是区域卷积神经网络(R-CNN, Region Convolutional NeuralNetwork)R-CNN系算法，包括R-CNN，Fast R-CNN， Faster R-CNN。而另一类方法是Yolo(YouOnly Look Once)，SSD(Single Shot Multibox Detector)这类算法。

R-CNN系算法，需要先使用启发式方法或者区域推荐网络(Region ProposalNetwork, RPN)生成候选区域，在候选区域上通过深度学习网络提取出区域特征信息，再根据这些特征信息来判别区域所述的类别，最后再进行候选区域的精细修正和调整。由于RPN网络的巧妙设计，R-CNN系算法一般能够得到更精确的结果。

Yolo算法相比于R-CNN系算法，得益于良好的CNN输出的设计思路。他最终全连接层的输出是基于图像位置信息+置信度+图像内容类别的混合特征向量，这样就能把检测目标位置与类别放在同一个CNN网络中，可以加快网络训练的速度，甚至可以达到实时检测的速度，并且在检测的准确度上只是略逊于R-CNN系算法，很适合需要快速检测，并且目标物很明确的 CT定位片图像。通过Yolo模型，就能快速计算得到各个人体器官的定位，无需医生进行手动拉拽鼠标进行器官的定位。

上述两类算法都能做目标的定位和识别，这里以Yolo算法为例，对定位片进行扫描自动定位。

如图2所示，Yolo网络模型包括M个卷积层，N个全连接层和1个输出层，其中，Yolo网络模型将输入图像缩放成固定尺寸的方形图像大小作为输入图像，CNN卷积层用来提取图像中的特征，卷积层尺寸为 x_i×y_i×z_i，i∈[1，...，M]，卷积核的尺寸为w_i，i∈[1，...，M-1]，全连接层和输出层用来预测图像的位置和类别概率值，其中全连接层的尺寸为 L_i，i∈[1，...，N]，输出层尺寸为S×S×(D×5+C)。Yolo网络模型会把输入图像分成S×S个网格，分别提取他们的特征值，每个网格负责检测在该网格中的物体。若某个物体的中心位置坐标落入到某个网格，那么这个网格就负责检测出这个物体。

每一个网格输出D个预测框信息，以及C个物体属于某种类别的概率信息。预测框信息包含5个数据值，其中包括x，y是指当前格子预测得到的物体预测框的中心位置坐标，w，h是预测框的宽度和高度，confidence是指预测框是否包含物体以及物体位置的置信度。如式(1)所示。

confidence＝P(object)*IOU (1)

其中，如果预测框包含物体，则P(object)＝1；否则P(object)＝0。 IOU(intersection over union)为预测框与物体真实区域的交集面积，其单位为像素，且使用真实区域的像素面积归一化到[0，1]区间。

Yolo网络模型使用均方和误差作为损失函数来优化模型参数，即网络输出S×S×(D×5+C)维向量与真实图像的对应S×S×(D×5+C)维向量的均方和误差。如式(2)所示。其中coordError，iouError和classError分别代表预测数据与标定数据之间的坐标误差，IOU误差和分类误差。

由于位置相关误差(坐标、IOU)与分类误差对网络损失函数的贡献值是不同的，因此在计算损失函数时，设置了λ_coord修正coordError。在计算IOU误差时，包含物体的格子与不包含物体的格子，二者的IOU误差对网络损失函数的贡献值也是不同的，当使用相同的权值时，不包含物体的网格confidence值近似为0，就会放大包含物体的网格的confidence误差在计算网络参数梯度时的影响，因此设置λ_noobj修正iouError。而对于相等的误差值，大物体误差对检测的影响小于小物体误差对检测的影响，于是对物体预测框的宽高w，h取平方根处理。最终得到的Yolo训练损失函数如式(3)所示：

其中，x，y，ω，h，C，p为Yolo网络预测值，

为标注值，

表示物体落入格子i中，

分别表示物体落入与未落入格子i的第j个预测框内。

为了使用Yolo神经网络能够预测出准确的器官定位并且具有高鲁棒性，需要使用大量的数据让网络进行训练学习。而Yolo网络模型的训练，需要获取定位片原图与对应原图的器官坐标，如图3所示，(a)为网络模型的训练图像，(b)可视化了网络模型的训练标记，即为各个器官定位框的坐标信息，把每个图像和标记对应，把这些数据进行随机切分，一部分作为网络的训练集T，一部分作为网络的验证集v，其余作为测试集U，将数据进行归一化处理之后，即可对网络进行参数的学习。不断调整网络训练参数，直到网络能够在验证数据集上得到不错的指标。

结合图1至图4，系统描述Yolo网络型的具体实施例：

1、获取CT定位片DICOM图像作为训练用的数据集。这些图像需要包括实际扫描中会碰到的各种情况，包括患者把手臂放在头部或者腹部。定位片的范围有全身、头部、胸部等各个器官定位片。

2、考虑到步骤1中所述的各种图像，把每一类的图像集进行随机划分：一部分作为网络的训练集T，一部分作为网络的验证集V，其余作为测试集U，最后把同为三个集合的图像分别合并，作为训练用集合。

3、把训练用集合中的每一个DICOM格式的图像，根据Yolo网络模型的要求，进行图像格式转换，对于Yolo网络模型，只要是转换为图片格式均可处理。

4、根据影像的扫描要求，对每一个经过格式转换的图像对各个需要标注的器官进行标注。标注时需要给出的信息有：预测框的中心坐标信息，预测框的长、宽信息以及预测框所述的类别信息，并对该预测框的中心坐标信息，预测框的长、宽信息以及预测框所述的类别信息进行归一化处理。

5、构建Yolo网络模型，其中，Yolo网络模型的M层卷积层用来提取目标图像中的特征。并且在后续改进中为了更加适应不同大小的目标，使用了残差网络的结构以及多尺度结构，使得网络能够更好的提取图像中不同大小目标的特征。且为了使网络能够适应不同大小比例的图像输入，并且使该网络有更高的分辨率，网络在初始层还加入了图像重采样结构，使得输入网络的图像都有较大且相同的宽度和高度。

该Yolo网络模型把图像分成S×S个网格，每一个网格负责预测一个以该网格中某个像素点为中心的目标，并给出目标预测框的四个边界，该预测框的置信度以及该框所属的目标类型等信息。因此，输出层其维度为 S×S×(D×5+C)，其中为标注的器官数，每一个网格输出D个预测框信息。改进后，根据其多尺度结构的层数，维度会相应增加，以得到该网络在不同的比例下的预测结果。

该网络的损失函数为

上式是采用误差平方和的方式把位置误差(预测框的坐标误差)和类别误差整合在一起。式中等号右边第1、2项加数代表中心点和预测框长宽的误差，第3、4项加数代表预测框的置信度，包括了该网格包含或不包含目标两种情况，第5项加数则表示类别误差。

6、对Yolo网络配置输出参数，进行网络训练，把训练集T和验证集V 分别作为所述网络模型的输入，将器官标记作为所述网络模型的训练标记，对所述网络模型进行训练，分别得到训练集损失函数曲线和验证集损失函数曲线，当训练达到训练集损失函数曲线趋于稳定且下降十分缓慢，同时验证集损失函数曲线开始增大时，应停止训练，获取训练参数。

7、在测试集U上用训练参数运行Yolo网络模型，得到需要检查的各个器官的定位框左上点坐标、宽、高数据以及类别数据，根据CT以及PET 扫描参数的需求，对得到的定位框数据进行进一步后处理，得到最终所需要检查的人体部位的定位框数据，此时Yolo网络模型完成深度学习。

由于，仅根据训练集T和验证集V获得的训练参数的泛化能力不一定很理想，因此需要采用测试集再次进行验证；即，对比测试集得到的定位框数据和医生的标注定位框数据，检测Yolo网络的泛化能力，若效果即泛化能力不理想，考虑增加训练集、验证集、测试集中的图像数据，重复训练，直到获得满意的Yolo网络模型的训练参数。

8、完成深度学习的Yolo网络模型即可在CT或PET/CT系统使用，从而对病人进行扫描，最终得到扫描图像。如图4所示，该图只以3个序列的扫描为例进行说明，其中序列2或者3可以为CT或者PET扫描序列。

(1)、医生/技师根据诊断单设定CT或者PET/CT扫描序列：序列1 是定位片，序列2是部位A，序列3是部位B；

(2)患者准备就绪；

(3)执行扫描序列1，定位片输入至已完成深度学习的网络模型，对后续序列2和3，计算得到定位框2和定位框3，自动加载定位框2和定位框 3至扫描序列2和扫描序列3；

(4)自动跳转至序列2；

(5)医生/技师确认扫描位置并执行序列2，自动跳转至序列3；

(6)医生/技师确认扫描位置并执行序列3，完成扫描。

可见，本方法以CT扫描定位片为输入，采用深度学习算法进行多器官 /多部位的目标识别，以便进行准确的目标部位的智能定位，减少技师重复而又繁重的手动调节，计算快速的同时还能够确保定位的准确，并将对病人的辐射减少至最低。本方法可以应用在CT，PET/CT等系统当中，是医院智能工作流的重要组成部分。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种基于深度学习的医学图像扫描自动定位方法，其特征在于：包括下述步骤：

S1、获取大量定位片图像，并将定位片图像中的每一类别随机切分为训练集T、验证集V和测试集U，把同为三个集合的图像分别合并，作为训练用集合；

S2、根据深度学习目标检测模型的要求，把训练用集合中的每个定位片图像中的各个需要标注的器官进行标注，标注信息包括预测框的中心坐标信息，预测框的长、宽信息以及预测框的类别信息；

S3、构建深度学习的网络模型，把训练集T和验证集V分别作为所述网络模型的输入，将器官标记作为所述网络模型的训练标记，对所述网络模型进行训练，分别得到训练集损失函数曲线和验证集损失函数曲线，当训练达到训练集损失函数曲线趋于稳定且下降十分缓慢，同时验证集损失函数曲线开始增大时，应停止训练，获取训练参数；

S4、在测试集U上用训练参数运行网络模型，得到需要检查的各个器官的定位框左上点坐标、宽、高数据以及类别数据，根据CT以及PET扫描参数的需求，对得到的定位框数据进行进一步后处理，得到最终所需要检查的人体部位的定位框数据，完成深度学习；

S5、利用完成深度学习的网络模型对病人进行扫描，最终得到自动定位的扫描图像。

2.根据权利要求1所述的一种基于深度学习的医学图像扫描自动定位方法，其特征在于：所述步骤S4中，在得到最终所需要检查的人体部位的定位框数据之后，对比测试集U得到的定位框数据和医生的标注定位框数据，检测网络模型的泛化能力，若效果不理想，在所述训练集T、验证集V和测试集U增加定位片图像的数量，回到步骤2，直到获得满意的训练参数。

3.根据权利要求1所述的一种基于深度学习的医学图像扫描自动定位方法，其特征在于：所述步骤S3中，所述网络模型为Yolo网络模型，构建该Yolo网络模型时，M层卷积层用来提取目标图像中的特征，该Yolo网络模型把图像分成S×S个网格，每一个网格负责预测一个以该网格中某个像素点为中心的目标，并给出目标预测框的四个边界、置信度以及目标类型信息，则输出层的维度为S×S×(D×5+C)，其中C为标注的器官数，每一个网格输出D个预测框信息；

Yolo网络模型构建完成后，将训练集T输入Yolo网络模型，进行参数的训练，并且用验证集V验证训练效果；该Yolo网络模型的损失函数为：

上式中，x，y是指当前格子预测得到的预测框的中心坐标，w、h是预测框的宽度和高度，x，y，ω，h，C，p为Yolo网络预测值，

为标注值，

表示物体落入格子i中，

分别表示物体落入与未落入格子i的第j个预测框内；等号右边第1、2项代表中心点和预测框长宽的误差，第3、4项代表预测框的置信度，包括了该网格包含或不包含目标两种情况，第5项则表示类别误差；

当训练达到损失函数趋于稳定，下降十分缓慢，且验证集误差开始增大时，应停止训练，获取训练参数。

4.根据权利要求3所述的一种基于深度学习的医学图像扫描自动定位方法，其特征在于：所述步骤S3中，先把训练用集合中的每一个定位片图像由DICOM格式转换为Yolo网络模型要求的格式。

5.根据权利要求1所述的一种基于深度学习的医学图像扫描自动定位方法，其特征在于：在所述步骤S2中，还将所述预测框的中心坐标信息，预测框的长、宽信息以及预测框的类别信息进行归一化处理。

Images