CN110689521A - 一种医学影像所属人体部位的自动识别方法及系统 - Google Patents

Abstract

本发明公开了一种医学影像所属人体部位的自动识别方法及系统，其通过对所述医学影像进行解析，并基于解析得到的数据信息中的互信息，将所述医学影像与人体模板影像进行刚性配准，得到第一人体部位识别结果；同时，将所述医学影像输入训练好的卷积神经网络模型中进行预测，得到第二人体部位识别结果；然后判断所述第一人体部位识别结果与所述第二人体部位识别结果是否一致，若一致，则直接得到最终人体部位识别结果；若不一致，则返回步骤c并提高配准精度进行再次配准，并以再次配准结果作为最终人体部位识别结果；从而能够提高人体部位识别的准确性，并且最终提高放射治疗计划精确性和治疗疗效。

Description

一种医学影像所属人体部位的自动识别方法及系统

技术领域

本发明涉及医学影像技术领域，特别是一种医学影像所属人体部位的自动识别方法及其应用该方法的系统。

背景技术

放射治疗在肿瘤治疗中的作用和地位日益突出，已成为治疗恶性肿瘤的主要手段之一。肿瘤的放射治疗依托于计算机扫描成像(CT)、核磁共振成像 (MRI)，正电子发射断层扫描成像(PET)技术和相应的医学影像信息智能处理技术。肿瘤放射治疗靶区、危及器官靶区等的高精度勾画是成功实施精确放射治疗的前提和关键技术。

现有的放疗过程中，制定计划过程主要有如下几个步骤：(1)建立新病人； (2)导入CT影像；(3)CT-marker点放置和CT电子密度曲线的选择；(4)OAR 分割和结构逻辑勾画；(5)建立新的计划；(6)机器参数的设置；(7)定义处方剂量；(8)计划优化和剂量计算；(9)评估计划；(10)添加摆位野和射野DRR 图。在此过程中，OAR(危及器官)的自动分割是放射治疗计划系统的重要关键步骤，而在自动分割前，如果能够对待勾画的CT影像快速给出其所在的部位，大致可分为头部、胸部、上腹部和下腹部(盆腔)，则可大大减少盲目调用所有器官分割算法所带来的额外时间。

目前医学影像常用的部位识别方法包括：

1.基于DICOM头文件信息的自动识别：DICOM头文件信息由于各个设备或者操作员的标准不同，会导致精确识别部位信息较为困难，也没有保障；

2.基于CT影像灰度值特征分布方法：该方法只能识别CT影像，对于MR 则无法识别；

3.基于二维Haar影像特征和AdaBoost分类器的机器学习方法：Haar影像特征也存在多次重采样、Haar特征计算量大以及容易检测出错等。

发明内容

本发明为解决上述问题，提供了一种医学影像所属人体部位的自动识别方法及系统，通过刚性配准与卷积神经网络的结合，能够提高人体部位识别的准确性，并且最终提高放射治疗计划精确性和治疗疗效。

为实现上述目的，本发明采用的技术方案为：

一种医学影像所属人体部位的自动识别方法，其包括以下步骤：

a.获取待识别的医学影像；

b.对所述医学影像进行解析，得到所述医学影像的数据信息；

c.基于所述数据信息中的互信息，将所述医学影像与人体模板影像进行刚性配准，得到第一人体部位识别结果；

d.将所述医学影像输入训练好的卷积神经网络模型中进行预测，得到第二人体部位识别结果；

e.判断所述第一人体部位识别结果与所述第二人体部位识别结果是否一致，若一致，则直接得到最终人体部位识别结果；若不一致，则返回步骤c 并提高配准精度进行再次配准，并以再次配准结果作为最终人体部位识别结果。

优选的，所述的步骤a中，所述医学影像包括PET影像、PET/CT影像、 PET/MRI影像、MRI影像、CT影像、SCT影像的任一种或两种以上；所述医学影像的获取方法，是通过直接与成像设备相连接进行影像导入，或者，通过医院临床PACS系统将所述医学影像导出至DICOM文件，打开所述DICOM文件即可获取序列的医学影像。

优选的，所述的步骤b中，对所述医学影像进行解析，是通过提取所述 DICOM文件的数据信息，所述数据信息包括病人参数信息和影像特征信息；并且，将所述影像特征信息与所述病人参数信息进行关联处理，并进行信息存储和备份。

优选的，所述的步骤c中，是采用基于MI算法或EMI算法或ECC算法的互信息的刚性配准进行人体部位的识别。

进一步的，所述互信息是指所述医学影像与人体模板影像之间的互信息，其计算方法如下：

MI(A，B)＝H(A)+H(B)-H(A，B)；

其中，H(A)代表所述医学影像的熵，H(B)代表所述人体模板影像的熵， H(A，B)代表所述医学影像和所述人体模板影像的联合熵；

并且，所述联合熵H(A，B)的计算方法如下：

H(A，B)＝-∫p_AB(a，b)log p_AB(a，b)dadb；

其中，p_AB(a，b)为所述医学影像和所述人体模板影像的联合概率分布。

优选的，所述的步骤c中，将所述医学影像与人体模板影像进行刚性配准，进一步包括以下步骤：

c1.初始化所述医学影像和所述人体模板影像的位置参数，所述位置参数包括医学影像的中心c、人体模板影像的中心C、医学影像的高度h、人体模板影像的高度H；

c2.根据所述位置参数进行设置刚性配准的初始值，使得：

c3.根据所述互信息，对所述医学影像和所述人体模板影像进行

次扫描和刚性配准；

c4.扫描

次之后，基于每次扫描记录的配准度量，选出其中最小的配准结果；所述配准结果包括所述医学影像的旋转量和平移量；

c5.根据所述配准结果对所述医学影像进行定位，计算所述医学影像在所述人体模板影像中的所属部位。

优选的，所述的步骤d中，将所述医学影像输入训练好的卷积神经网络模型中进行预测之前，先对所述医学影像进行插值处理，使得插值处理后的医学影像的分辨率与所述卷积神经网络模型的训练影像的分辨率相同。

优选的，所述的步骤d中，所述的卷积神经网络模型包括一个以上，每个卷积神经网络模型对应特定的人体部位影像的类别；即，所述的卷积神经网络模型的训练，是通过对人体部位进行分类处理，根据人体部位的类别和数量建立对应类别和数量的卷积神经网络模型，然后运用线程池技术，每个卷积神经网络模型通对各自对应的人体部位的训练影像进行预测，得到所述第二人体部位识别结果。

优选的，所述卷积神经网络模型采用Lenet模型。

对应的，本发明还提供一种医学影像所属人体部位的自动识别系统，其包括：

影像导入模块，用于获取待识别的医学影像；

影像解析模块，用于对所述医学影像进行解析，得到所述医学影像的数据信息；

第一人体部位识别模块，其基于所述数据信息中的互信息，将所述医学影像与人体模板影像进行刚性配准，得到第一人体部位识别结果；

第二人体部位识别模块，其将所述医学影像输入训练好的卷积神经网络模型中进行预测，得到第二人体部位识别结果；

识别结果融合模块，其通过判断所述第一人体部位识别结果与所述第二人体部位识别结果是否一致，若一致，则直接得到最终人体部位识别结果；若不一致，则返回第一人体部位识别模块并提高配准精度进行再次配准，并以再次配准结果作为最终人体部位识别结果。

本发明的有益效果是：

(1)本发明通过基于GPU的快速扫描配准方法和卷积神经网络的深度学习方法相结合来进行影像所属部位的快速识别，快速扫描算法可以对MR等多模态的数据进行部位识别，结合卷积神经网络，对二者的识别结果进行互相验证，能够给出更为可靠的结果，并且最终提高放射治疗计划精确性和治疗疗效。

(2)本发明的刚性配准步骤，不需要对其所有方向进行精确的柔性变形，其实只需精确得到高度(S-I)方向的信息就可以定位其所属的部位.因此，本发明使用速度最快的刚性配准，而且将配准的过程使用gpu加速，从而进一步提速配准的过程；另外，本发明采用的是互信息方法作为度量的配准，对于MR，PET，CBCT也可以使用该方法进行部位的识别，不仅能够实现快速配准，并且具有很高的精确度，极大地提高医生的工作效率，同时又为病人及时治疗提供宝贵的时间。

(3)本发明支持多个器官同步识别，进一步提高识别效率。

附图说明

图1为本发明的医学影像所属人体部位的自动识别方法的扫描过程示意图；

图2为本发明的医学影像所属人体部位的自动识别方法的配准结果示意图图；

图3为本发明的医学影像所属人体部位的自动识别方法的人体部位划分图；

图4为本发明的医学影像所属人体部位的自动识别方法的勾画完成的靶区影像图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合具体实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明应用医学影像、医学影像分析处理、深度学习、机器学习、大数据分析、人工智能与肿瘤放射物理等技术，特别涉及智能化、自动化提取肿瘤医学影像特征的方法和智能化、自动化分类、检测、识别、分割肿瘤放射治疗靶区和放疗危及器官的方法能够实现对肿瘤放射治疗靶区和危及器官智能化、自动化勾画。本发明通过如下技术方案实现上述要求：

本发明的一种医学影像所属人体部位的自动识别方法，其包括以下步骤：

a.获取待识别的医学影像；

b.对所述医学影像进行解析，得到所述医学影像的数据信息；

c.基于所述数据信息中的互信息，将所述医学影像与人体模板影像进行刚性配准，得到第一人体部位识别结果；

d.将所述医学影像输入训练好的卷积神经网络模型中进行预测，得到第二人体部位识别结果；

e.判断所述第一人体部位识别结果与所述第二人体部位识别结果是否一致，若一致，则直接得到最终人体部位识别结果；若不一致，则返回步骤c 并提高配准精度进行再次配准，并以再次配准结果作为最终人体部位识别结果。

所述的步骤a中，所述医学影像包括PET影像、PET/CT影像、PET/MRI 影像、MRI影像、CT影像、SCT影像的任一种或两种以上；所述医学影像的获取方法，是通过直接与成像设备相连接进行影像导入，或者，通过医院临床PACS系统将所述医学影像导出至DICOM文件(例如，CT影像导出至CT DICOM 文件，MRI影像导出至MRI DICOM文件，PET影像导出至PETDICOM文件，等等)，打开所述DICOM文件即可获取序列的医学影像。

所述的步骤b中，对所述医学影像进行解析，是通过提取所述DICOM文件的数据信息，所述数据信息包括病人参数信息和影像特征信息；并且，将所述影像特征信息与所述病人参数信息进行关联处理，并进行信息存储和备份。本实施例中，进一步的对所有的病人的DICOM文件进行归档分类，解析 DICOM文件的数据信息，并且将获取到的数据信息存储，用于数据的备份以及异常恢复处理。

所述的步骤c中，识别人体部位，是采用基于MI(互信息，Mutual Information)算法或EMI算法(归一化互信息，Normalization Mutual Information)或ECC算法(熵相关系数，Entropy Corrleation Coefficient) 的互信息的刚性配准进行人体部位的识别。

其中，所述互信息是指所述医学影像与人体模板影像之间的互信息，互信息度量了两张图片相似度，它测量了一个随机变量(影像)到另一个随机变量(另一幅影像)所需要的信息量，它的值越大代表两张影像的相似性越高，因此常用来作为影像配准中的评判准则或是目标函数。本实施例中，所述互信息的计算方法如下：

MI(A，B)＝H(A)+H(B)-H(A，B)；

其中，H(A)代表所述医学影像的熵，H(B)代表所述人体模板影像像(包含人体各个部位的模板影像的组合)的熵，H(A，B)代表所述医学影像和所述人体模板影像的联合熵；

并且，所述联合熵H(A，B)的计算方法如下：

H(A，B)＝-∫p_AB(a，b)log p_AB(a，b)dadb；

其中，p_AB(a，b)为所述医学影像和所述人体模板影像的联合概率分布。

所述的步骤c中，将所述医学影像与人体模板影像进行刚性配准，进一步包括以下步骤：

c1.初始化所述医学影像和所述人体模板影像的位置参数；本实施例中，所述位置参数包括医学影像的中心c、人体模板影像的中心C、医学影像的高度h(CT影像LPS坐标系的S-I方向)、人体模板影像的高度H；并且，通常对于512x512x200的CT影像，包含超过50,000,000个像素点，为了平衡计算的时间和精度，本实施例随机抽样50000个像素点即可，配准时只需计算这些抽样点上的图像度量；

c2.根据所述位置参数进行设置刚性配准的初始值，使得：

为取整；

给定每一次扫描位置，即给定i的值后进行配准；

c3.根据所述医学影像的高度确定从上到下的扫描次数(如图1所示)；本实施例中，是根据所述互信息，对所述医学影像和所述人体模板影像进行次扫描和刚性配准；

c4.扫描

次之后，基于每次扫描记录的配准度量(衡量配准后影像的重合度)，采用全局最优算法选出其中最小的配准结果(如图2所示)；所述配准结果包括所述医学影像的旋转量和平移量；基于该配准结果可以求出该医学影像配准到人体模板影像坐标系下高度方向上的最大值最小值；

c5.根据所述配准结果对所述医学影像进行定位，计算所述医学影像在所述人体模板影像中的所属部位；对人体模板影像，本实施例中预先对其所在的空间坐标进行人体部位的划分(如图3所示)，再结合全局最优步骤c4，得到待识别的医学影像在标准坐标系下的位置，对比两者即可知道该医学影像所属的部位。

所述的步骤d中，将所述医学影像输入训练好的卷积神经网络模型中进行预测之前，先对所述医学影像进行预处理，本实施例中，所述预处理包括插值处理，使得插值处理后的医学影像的分辨率与所述卷积神经网络模型的训练影像的分辨率相同。本实施例中，所述卷积神经网络模型采用基于深度学习的卷积神经网络模型，卷积神经网络包括输入层，卷积层，激活层，最大池化层，上采样层，融合层和输出层，其中卷积层，激活层，最大池化层，上采样层，融合层为隐藏层。

本实施例中，所述卷积神经网络模型采用Lenet模型。具体如下表：

所述卷积神经网络模型的训练步骤包括：

(i)将经过医生勾画完成的靶区影像作为训练数据(如图4所示)，并提取为训练影像(image)和训练标签(label)；

(ii)将拆分的训练影像进行插值处理；

(iii)根据靶区器官所在的影像位置，将训练影像裁切成固定尺寸；

(iv)对裁切的训练影像进行数据增强处理，从而增强卷积神经网络模型的泛化能力；

(V)把数据增强后的训练影像输入到卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型。

并且，所述的步骤d中，所述的卷积神经网络模型包括一个以上，每个卷积神经网络模型对应特定的人体部位影像的类别；即，所述的卷积神经网络模型的训练，是通过对人体部位进行分类处理，根据人体部位的类别和数量建立对应类别和数量的卷积神经网络模型，然后运用线程池技术，每个卷积神经网络模型通对各自对应的人体部位的训练影像进行预测，得到所述第二人体部位识别结果，从而实现多个人体部位(人体器官)的同步识别，提高识别效率。

所述配准是以其中一个影像(fixed image)作为背景，以另一个影像 (movingimage)作为前景，在一个物理空间中，依据不同的fixed interpolator、metric、movinginterpolator对前景进行移动、旋转等一系列处理，通过优化算法，寻求一个最适合的位置，使得两个变量(影像)的互信息量的值最大，完成配准。并且，在配准过程中，用户可以对选中的影像进行移动、旋转、中心对齐操作。为了方便用户识别主次序列，本发明可以对主次序列的颜色进行配置修改。

对应的，本发明还提供一种医学影像所属人体部位的自动识别系统，其包括：

影像导入模块，用于获取待识别的医学影像；

影像解析模块，用于对所述医学影像进行解析，得到所述医学影像的数据信息；

第一人体部位识别模块，其基于所述数据信息中的互信息，将所述医学影像与人体模板影像进行刚性配准，得到第一人体部位识别结果；

第二人体部位识别模块，其将所述医学影像输入训练好的卷积神经网络模型中进行预测，得到第二人体部位识别结果；

识别结果融合模块，其通过判断所述第一人体部位识别结果与所述第二人体部位识别结果是否一致，若一致，则直接得到最终人体部位识别结果；若不一致，则返回第一人体部位识别模块并提高配准精度进行再次配准，并以再次配准结果作为最终人体部位识别结果。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种医学影像所属人体部位的自动识别方法，其特征在于，包括以下步骤：

a.获取待识别的医学影像；

b.对所述医学影像进行解析，得到所述医学影像的数据信息；

c.基于所述数据信息中的互信息，将所述医学影像与人体模板影像进行刚性配准，得到第一人体部位识别结果；

d.将所述医学影像输入训练好的卷积神经网络模型中进行预测，得到第二人体部位识别结果；

e.判断所述第一人体部位识别结果与所述第二人体部位识别结果是否一致，若一致，则直接得到最终人体部位识别结果；若不一致，则返回步骤c并提高配准精度进行再次配准，并以再次配准结果作为最终人体部位识别结果。

2.根据权利要求1所述的一种医学影像所属人体部位的自动识别方法，其特征在于：所述的步骤a中，所述医学影像包括PET影像、PET/CT影像、PET/MRI影像、MRI影像、CT影像、SCT影像的任一种或两种以上；所述医学影像的获取方法，是通过直接与成像设备相连接进行影像导入，或者，通过医院临床PACS系统将所述医学影像导出至DICOM文件，打开所述DICOM文件即可获取序列的医学影像。

3.根据权利要求2所述的一种医学影像所属人体部位的自动识别方法，其特征在于：所述的步骤b中，对所述医学影像进行解析，是通过提取所述DICOM文件的数据信息，所述数据信息包括病人参数信息和影像特征信息；并且，将所述影像特征信息与所述病人参数信息进行关联处理，并进行信息存储和备份。

4.根据权利要求1所述的一种医学影像所属人体部位的自动识别方法，其特征在于：所述的步骤c中，是采用基于MI算法或EMI算法或ECC算法的互信息的刚性配准进行人体部位的识别。

5.根据权利要求1或4所述的一种医学影像所属人体部位的自动识别方法，其特征在于：所述互信息是指所述医学影像与人体模板影像之间的互信息，其计算方法如下：

MI(A，B)＝H(A)+H(B)-H(A，B)；

其中，H(A)代表所述医学影像的熵，H(B)代表所述人体模板影像的熵，H(A，B)代表所述医学影像和所述人体模板影像的联合熵；

并且，所述联合熵H(A，B)的计算方法如下：

H(A，B)＝-∫p_AB(a，b)log p_AB(a，b)dadb；

其中，p_AB(a，b)为所述医学影像和所述人体模板影像的联合概率分布。

6.根据权利要求1所述的一种医学影像所属人体部位的自动识别方法，其特征在于：所述的步骤c中，将所述医学影像与人体模板影像进行刚性配准，进一步包括以下步骤：

c1.初始化所述医学影像和所述人体模板影像的位置参数，所述位置参数包括医学影像的中心c、人体模板影像的中心C、医学影像的高度h、人体模板影像的高度H；

c2.根据所述位置参数进行设置刚性配准的初始值，使得：

为取整；

c3.根据所述互信息，对所述医学影像和所述人体模板影像进行

次扫描和刚性配准；

c4.扫描

次之后，基于每次扫描记录的配准度量，选出其中最小的配准结果；所述配准结果包括所述医学影像的旋转量和平移量；

c5.根据所述配准结果对所述医学影像进行定位，计算所述医学影像在所述人体模板影像中的所属部位。

7.根据权利要求1所述的一种医学影像所属人体部位的自动识别方法，其特征在于：所述的步骤d中，将所述医学影像输入训练好的卷积神经网络模型中进行预测之前，先对所述医学影像进行插值处理，使得插值处理后的医学影像的分辨率与所述卷积神经网络模型的训练影像的分辨率相同。

8.根据权利要求1所述的一种医学影像所属人体部位的自动识别方法，其特征在于：所述的步骤d中，所述的卷积神经网络模型包括一个以上，每个卷积神经网络模型对应特定的人体部位影像的类别；即，所述的卷积神经网络模型的训练，是通过对人体部位进行分类处理，根据人体部位的类别和数量建立对应类别和数量的卷积神经网络模型，然后运用线程池技术，每个卷积神经网络模型通对各自对应的人体部位的训练影像进行预测，得到所述第二人体部位识别结果。

9.根据权利要求1或7或8所述的一种医学影像所属人体部位的自动识别方法，其特征在于：所述卷积神经网络模型采用Lenet模型。

10.一种医学影像所属人体部位的自动识别系统，其特征在于，包括：

影像导入模块，用于获取待识别的医学影像；

影像解析模块，用于对所述医学影像进行解析，得到所述医学影像的数据信息；

第一人体部位识别模块，其基于所述数据信息中的互信息，将所述医学影像与人体模板影像进行刚性配准，得到第一人体部位识别结果；

第二人体部位识别模块，其将所述医学影像输入训练好的卷积神经网络模型中进行预测，得到第二人体部位识别结果；

识别结果融合模块，其通过判断所述第一人体部位识别结果与所述第二人体部位识别结果是否一致，若一致，则直接得到最终人体部位识别结果；若不一致，则返回第一人体部位识别模块并提高配准精度进行再次配准，并以再次配准结果作为最终人体部位识别结果。

Images