CN113989407A - Ct影像中肢体部位识别模型训练方法及系统 - Google Patents

Abstract

本发明涉及医学影像识别技术领域，提出一种CT影像中肢体部位识别模型训练方法及系统。方法包括：获取CT定位片图像；获取CT薄层序列图像，对CT薄层序列图像进行最大密度投影重建，得到三维最大密度投影图像；并将三维最大密度投影图像生成多个视角对应的多张二维最大密度投影图像；采用CT定位片图像和二维最大密度投影图像进行模型训练，得到肢体部位识别模型。系统包括，第一获取模块、第二获取模块和模型训练模块。本发明通过最大密度投影图像对训练样本补充，以解决训练样本不足的问题。

Description

CT影像中肢体部位识别模型训练方法及系统

技术领域

本发明涉及医学影像识别技术领域，尤其涉及一种CT影像中肢体部位识别模型训练方法及系统。

背景技术

医学影像质量的好坏直接影响医生的诊断，影像中检查体位是否正确作为医学影像质量评价标准的最基本的内容，具有重要意义。在CT四肢检查中，生成的Dicom文件里记录的检查部位标识是四肢（即Extremity），并没有明确标识当前部位是左右手、左右腿、左右脚等具体部位，会造成检查部位的误检。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供了一种CT影像中肢体部位识别模型训练方法及系统。

第一方面，本发明提供了一种CT影像中肢体部位识别模型训练方法，包括：

获取CT定位片图像；

获取CT薄层序列图像，对所述CT薄层序列图像进行最大密度投影重建，得到三维最大密度投影图像；并将所述三维最大密度投影图像生成多个视角对应的多张二维最大密度投影图像；

采用所述CT定位片图像和所述二维最大密度投影图像进行模型训练，得到肢体部位识别模型。

第二方面，本发明提供了一种CT影像中肢体部位识别模型训练系统，包括：

第一获取模块，用于获取CT定位片图像；

第二获取模块，用于获取CT薄层序列图像，对所述CT薄层序列图像进行最大密度投影重建，得到三维最大密度投影图像；并将所述三维最大密度投影图像生成多个视角对应的多张二维最大密度投影图像；

模型训练模块，用于采用所述CT定位片图像和所述二维最大密度投影图像进行模型训练，得到肢体部位识别模型。

本实施例提供CT影像中肢体部位识别模型训练方法及系统，获取定位片图像和三维最大密度投影图像，并基于三维最大密度投影图像可以生成大量的二维最大密度投影图像，利用定位片图像和二维最大密度投影图像进行模型训练得到肢体部位识别模型，进而可以利用肢体部位识别模型进行肢体部位识别。定位片图像数量比较少，而三维MIP图像可以生成任意视角的大量二维MIP图像，同时由于三维MIP图像生成的二维MIP图像和定位片图像具有非常相似的外形特征，因此可以用这两种图像进行模型训练。本发明通过最大密度投影图像对训练样本补充，以解决训练样本不足的问题，避免因训练样本过少而造成的肢体部位识别模型识别精度差的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中CT影像中肢体部位识别模型训练方法的流程示意图；

图2为本发明实施例中一张待处理图像的示意图；

图3为本发明实施例中对图2进行二值化处理后得到的二值化图像；

图4为本发明实施例中带有噪点的图像的示意图；

图5为本发明实施例中一部分Dicom文件基础信息的示意图；

图6为本发明实施例中一张三维MIP图像的示意图；

图7为本发明实施例中根据图6生成的多张二维MIP图像的示意图；

图8为本发明实施例中一张二维MIP图像的有效区域提取示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一方面，本发明提供一种CT影像中肢体部位识别模型训练方法，参见图1，该方法包括如下步骤S110~S130：

S110、获取CT定位片图像；

可理解的是，CT影像具有对应的Dicom文件基础信息（即下文中的文件信息），而Dicom文件基础信息中包含CT影像的一些信息，例如，名称、类型标识，因此可以从Dicom文件基础信息获取到类型标识，进而得知哪些CT影像为定位片。

也就是说，S110可以采用如下步骤实现：读取多个CT影像各自的文件信息，获取所述文件信息中的类型标识；从所述多个CT影像中筛选出所述类型标识为定位片标识的CT影像作为所述CT定位片图像。

即，标识类型为定位片标识的CT影像才是定位片图像，而其它CT影像为普通CT片。

S120、获取CT薄层序列图像，对所述CT薄层序列图像进行最大密度投影重建，得到三维最大密度投影图像；并将所述三维最大密度投影图像生成多个视角对应的多张二维最大密度投影图像；

可理解的是，在一个CT检查的几百张CT影像里只有一张定位片图像，可见训练样本明显不足，因此通过S120得到大量的二维最大密度投影图像，补充训练样本，以解决训练样本不足的问题。

可理解的是，薄层扫描是CT扫描技术之一，常规的普通CT扫描采用的是8-10mm的层厚，而薄层扫描采用的是1.5-5mm的层厚。层厚越薄就决定薄层CT具有更高的分辨力，能够更加详细的显示组织的细微结构和病变。

其中，最大密度投影重建是指在容积扫描数据（即上述CT薄层序列图像）中对每条径线上每个像素的最大强度值（即最大密度值）进行编码并投射成像。

其中，三维最大密度投影图像也可以成为三维MIP图像，三维MIP图像的灰阶度反映CT值的相对大小，且比较敏感，即使小的差异也能被检测，广泛应用于具有相对高密度的组织和结构，如显影的血管、骨骼、肺部肿块以及明显强化的软组织病灶等。

在具体实施时，具体可以通过调用VTK体渲染接口将CT薄层序列图像生成骨窗的三维MIP图像。

可理解的是，对同一个MIP体渲染物体（即三维MIP图像）进行任意角度旋转等处理可以得到多张二维图像，即上述二维最大密度投影图像。

S130、采用所述CT定位片图像和所述二维最大密度投影图像进行模型训练，得到肢体部位识别模型。

可理解的是，定位片图像数量比较少，而三维MIP图像可以生成任意视角的大量二维MIP图像，同时由于三维MIP图像生成的二维MIP图像和定位片图像具有非常相似的外形特征，因此可以用这两种图像进行模型训练。

在具体实施时，S130具体可以包括如下步骤S131~S134：

S131、对每一张所述CT定位片图像进行有效区域提取，得到每一张所述CT定位片图像对应的第一有效区域图像，并标记每一张所述第一有效区域图像对应的肢体部位类别；

可理解的是，对CT定位片图像进行有效区域提取的目的是避免非有效区域对于模型的训练产生干扰，同时也减少模型训练时的计算量。在提取出CT定位片图像中的有效区域图像之后，确定每张第一有效区域图像的肢体部位类别，具体可以分为11个类别：左腿、右腿、双腿、双脚、左脚、右脚、左手、右手、双手、左胳膊、右胳膊。

S132、对每一张所述二维最大密度投影图像进行有效区域提取，得到每一张所述二维最大密度投影图像对应的第二有效区域图像，并标记每一张所述第二有效区域图像对应的肢体部位类别；

同样的，针对每一张二维MIP图像也进行有效区域提取，得到第二有效区域图像，并确定对应的肢体部位类别，具体也可以分为11个类别：左腿、右腿、双腿、双脚、左脚、右脚、左手、右手、双手、左胳膊、右胳膊。例如，参见下表1：

表1 肢体部位类别表

类别	图像
		左腿	左腿MIP图像
右腿	右腿MIP图像
		双腿	双腿MIP图像
左脚	左脚MIP图像
		右脚	右脚MIP图像
双脚	双脚MIP图像
		左手	左手MIP图像
右手	右手MIP图像
		双手	双手MIP图像
左胳膊	左胳膊MIP图像
		右胳膊	右胳膊MIP图像

S133、根据各张所述第一有效区域图像、各张所述第二有效区域图像以及每张有效区域图像对应的肢体部位类别，进行模型训练，得到所述肢体部位识别模型。

根据各张所述第一有效区域图像及其对应的肢体部位类别、各张所述第二有效区域图像及其对应的肢体部位类别，进行模型训练的方式有多种，例如，根据第一、第二有效区域图像及其对应的肢体部位类别进行模型训练，直接得到肢体部位识别模型。当然，也可以分步骤训练，首先训练得到一个基础模型，然后在基础模型的基础上进一步优化，得到最终模型。

进一步的，S133可以具体包括S1331、S1332：

S1331、采用各张所述第二有效区域图像及对应的肢体部位类别进行模型训练，得到基础模型；

这里首先采用第二有效区域图像进行模型训练，即采用二维MIP图像进行模型训练，得到基础模型。

在具体实施时，S133具体可以包括：采用ImageNet 数据集中的预训练模型进行参数初始化，并根据初始化参数、各张所述第二有效区域图像及对应的肢体部位类别进行模型训练，得到所述基础模型。采用ImageNet 数据集中的预训练模型进行参数初始化，可以保证训练过程的收敛速度和模型的泛化能力。

其中，具体可以采用Inception-ResNet-V2网络在ImageNet 数据集上训练好的预训练模型文件，由于目标数据集的数据量一般有限，而用作预训练的数据集通常比较大，实践证明加载预训练模型的初始化参数后，训练速度更快，可以使用更少的训练epoch，而且可以避免陷入局部最优点。一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程。

其中，在Inception-ResNet-V2卷积网络的训练过程中，batch size可以为16，以表示每次迭代反向传播梯度计算的样本数量；网络结构中可以大量使用Inception结构和Residual Block（即残差块），这样可以很好的提取部位的抽象特征；模型训练的初始学习率可以为0.001，可以采用指数平滑方式逐步减小学习率，损失函数可以采用交叉熵损失，优化器可以采用RMSProp优化器算法；经过250的epoch迭代训练后，可以使用earlystopping提前终止训练。训练完成的模型参数写入本地二进制文件。

可理解的是，Inception基本思想是不需要人为决定使用哪个过滤器，或是否需要池化，而是由网络自行确定这些参数。ResNet残差网络可认为是残差块的堆叠，这样可以将网络设计得很深。随着网络深度的增加，增加训练误差会一直减小。

S1332、对所述基础模型中预设网络层以及所述预设网络层之前的网络结构进行冻结，采用各张所述第一有效区域图像及对应的肢体部位类别对所述基础模型中所述预设网络层之后的网络结构进行训练，得到所述肢体部位识别模型；其中，预设网络层以及所述预设网络层之前的网络结构具有特征提取能力，所述预设网络层之后的网络结构具有分类能力。

其中，预设网络层可以为mexed_7a层。此时S134为：加载基础模型的参数，将mexed_7a层以及之前的网络结构进行冻结，冻结之后，利用定位片图像对应的第一有效区域图像进行训练的话，不会改变mexed_7a层以及之前的网络结构中的参数，只有mexed_7a层之后的网络结构中的参数会不断的调整、修正。而mexed_7a层以及之前的网络结构主要是提供特征提取功能，mexed_7a层之后的网络结构主要提供分类功能，因此在进行部分结构冻结后，会保留其特征提取能力，进一步优化其分类能力，得到最终模型。

可理解的是，预设网络层之后的网络结构中包含卷积层和全连接层，预设网络层以及所述预设网络层之前的网络结构中包含卷积层。

可见，采用迁移学习的方式先利用二维MIP图像进行模型训练得到的是基础模型，利用定位片图像进行加强训练，得到最终模型。

在具体实施时，本发明实施例提供的方法还可以包括：采用TensorRT工具包对所述肢体部位识别模型进行序列化加速处理。

在进行加速之后，可以使得肢体部位识别模型在1080TI显卡下推断速度提升3倍。

其中，TensorRT工具包是英伟达公司针对显卡做的加速包，用来提升人工智能模型的推断速度。InceptionResnetV2模型是在keras开源人工神经网络库下训练的，而ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架可以采用相同格式存储模型数据并交互。先使用keras2onnx模型转换器将InceptionResnetV2模型转换为ONNX模型格式，TensorRT加载ONNX模型格式，根据输入网络的模型参数，对网络进行解析和参数保存，使用ICudaEngine实例的serialize接口序列化为加速后的模型文件。

在上述过程中涉及到对定位片图像和二维MIP图像进行有效区域提取，针对两种图像的有效区域提取过程是相同的，将定位片图像和二维MIP图像统称为待处理图像，对每一张待处理图像进行有效区域提取的过程可以包括如下步骤：

S1、对所述待处理图像进行二值化处理，得到二值化图像；

S2、采用光栅扫描法对所述二值化图像进行像素点遍历，确定所述二值化图像中第一个满足预设条件的像素点和最后一个满足所述预设条件的像素点；其中，所述预设条件包括：预设数量的相邻像素点的像素值均为255；

S3、将第一个满足所述预设条件的像素点作为左上角边界点以及将所述最后一个满足所述预设条件的像素点作为右下角边界点，对所述待处理图像进行区域提取，得到所述待处理图像对应的有效区域图像。

其中，预设数量可以根据需要设置，例如设置为10。

例如，将图2所示的待处理图像进行二值化处理后，得到图3；然后在图3中通过光栅扫描法寻找第一个满足预设条件的像素点和最后一个满足所述预设条件的像素点，即通过逐行遍历的方式找到连续10个相邻像素点的像素值均为255的第一个像素点和最后一个像素点，将上述第一个像素点作为左上角边界点，将上述最后一个像素点作为右下角边界点，依据这两个边界点可以从待处理图像中分割出一个矩形区域，即有效区域图像。

可理解的是，之所以取预设数量的连续相邻像素点的像素值都为255是因为有些图像在二值化处理时会产生多余的噪点，例如图4中圈出来的白点，而噪点很少是多个连续的情况，噪点一般是以零散的方式存在于图像中，这样作可以避免将噪点作为边界点，导致有效区域的提取不准确，预设数量可以根据图像中噪点的情况而定。

可理解的是，有些图像的像素值是16位的，不便于进行二值化处理，在进行二值化处理之前，可以对图像进行位数转换。而且，还由些图像中有标尺信息，标识信息也不利于二值化处理，因此在二值化处理之前，本发明实施例提供的方法还可以包括：

S0、获取所述待处理图像的窗宽信息和窗位信息；根据所述窗宽信息和所述窗位信息，将所述待处理图像中每一个像素点的16位像素值转化为对应的8位像素值；将像素值位数转变后的待处理图像进行腐蚀处理，以去掉所述待处理图像中的标尺信息。

可理解的是，医学图像领域的窗口技术，包括窗宽(即window width)和窗位(即window center)，用于选择感兴趣的CT值范围。因为各种组织结构或病变具有不同的CT值，因此在显示某一组织结构细节时，应选择适合观察该组织或病变的窗宽和窗位，以获得最佳显示。窗宽是CT图像上显示的CT值范围，在此CT值范围内的组织和病变均以不同的模拟灰度显示。而CT值高于此范围的组织和病变，无论高出程度有多少，均以白影显示，不再有灰度差异; 反之，低于此范围的组织结构，不论低的程度有多少，均以黑影显示，也无灰度差别。增大窗宽，则图像所示CT值范围加大，显示具有不同密度的组织结构增多，但各结构之间的灰度差别减少。减小窗宽，则显示的组织结构减少，然而各结构之间的灰度差别增加。窗位是窗的中心位置，同样的窗宽，由于窗位不同，其所包括CT值范围的CT值也有差异。例如窗宽同为100H，当窗位为0H时，其CT值范围为-50 ~ +50H ; 例如窗位为+35H时，则CT值范围为-15~+85H。通常，观察某以组织结构及发生的病变，应以该组织的CT值为窗位。

在具体实施时，可以从Dicom文件基础信息中读取出默认的窗宽信息和窗位信息，具体参见图5中被圈出来的窗宽和窗位。

其中，所述根据所述窗宽信息和所述窗位信息，将所述待处理图像中每一个像素点的16位像素值转化为对应的8位像素值，可以包括：

首先，采用第一公式计算最大调整值和最小调整值，所述第一公式包括：

min=(2*窗位-窗宽)/2+0.5

max=(2*窗位+窗宽)/2+0.5

然后，采用第二公式将所述待处理图像中每一个像素点的16位像素值转化为对应的8位像素值，所述第二公式包括：

8位像素值=(16位像素值-min)*255/2*(max-min)

式中，min为所述最小调整值，max为所述最大调整值。

可见，首先利用第一公式和获取到的窗宽和窗位计算出最大调整值和最小调整值，然后对待处理图像进行遍历，将图像中的每一个像素点的像素值进行位数转换，即针对每一个像素点通过上述第二公式计算出8位像素值，首先位数转换。

举例来说，图6为一张三维MIP图像，对其进行缩放、角度旋转后，得到图7示出的多张二维MIP图像，然后对每一张二维MIP图像进行特征提取后得到对应的第二有效区域图像，例如，针对图8中左侧的一张二维MIP图像进行二值化后得到中间的二值化图像，然后基于二值化图像找到左上角边界点和右上角边界点，然后根据这两个边界点进行区域提取，得到右侧的第二有效区域图像。

可理解的是，通过以上方法可以训练得到肢体部位识别模型，当需要利用肢体部位识别模型进行肢体部位识别时，将待识别图像输入到肢体部位识别模型中，肢体部位识别模型便可以输出对应的肢体部位分类。

第二方面，本发明实施例提供一种CT影像中肢体部位识别模型训练系统，包括：

第一获取模块，用于获取CT定位片图像；

第二获取模块，用于获取CT薄层序列图像，对所述CT薄层序列图像进行最大密度投影重建，得到三维最大密度投影图像；并将所述三维最大密度投影图像生成多个视角对应的多张二维最大密度投影图像；

模型训练模块，用于采用所述CT定位片图像和所述二维最大密度投影图像进行模型训练，得到肢体部位识别模型。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如RON/RAN、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.一种CT影像中肢体部位识别模型训练方法，其特征在于，包括：

获取CT定位片图像；

获取CT薄层序列图像，对所述CT薄层序列图像进行最大密度投影重建，得到三维最大密度投影图像；并将所述三维最大密度投影图像生成多个视角对应的多张二维最大密度投影图像；

采用所述CT定位片图像和所述二维最大密度投影图像进行模型训练，得到肢体部位识别模型。

2.根据权利要求1所述的方法，其特征在于，所述获取CT定位片图像，包括：读取多个CT影像各自的文件信息，获取所述文件信息中的类型标识；从所述多个CT影像中筛选出所述类型标识为定位片标识的CT影像作为所述CT定位片图像。

3.根据权利要求1所述的方法，其特征在于，所述采用所述CT定位片图像和所述二维最大密度投影图像进行模型训练，得到肢体部位识别模型，包括：

对每一张所述CT定位片图像进行有效区域提取，得到每一张所述CT定位片图像对应的第一有效区域图像，并标记每一张所述第一有效区域图像对应的肢体部位类别；

对每一张所述二维最大密度投影图像进行有效区域提取，得到每一张所述二维最大密度投影图像对应的第二有效区域图像，并标记每一张所述第二有效区域图像对应的肢体部位类别；

根据各张所述第一有效区域图像、各张所述第二有效区域图像以及每张有效区域图像对应的肢体部位类别，进行模型训练，得到所述肢体部位识别模型。

4.根据权利要求3所述的方法，其特征在于，所述根据各张所述第一有效区域图像、各张所述第二有效区域图像以及每张有效区域图像对应的肢体部位类别，进行模型训练，得到所述肢体部位识别模型，包括：

采用各张所述第二有效区域图像及对应的肢体部位类别进行模型训练，得到基础模型；

对所述基础模型中预设网络层以及所述预设网络层之前的网络结构进行冻结，采用各张所述第一有效区域图像及对应的肢体部位类别对所述基础模型中所述预设网络层之后的网络结构进行训练，得到所述肢体部位识别模型；其中，预设网络层以及所述预设网络层之前的网络结构具有特征提取能力，所述预设网络层之后的网络结构具有分类能力。

5.根据权利要求3所述的方法，其特征在于，所述CT定位片图像和所述二维最大密度投影图像均为待处理图像，对每一张所述待处理图像进行有效区域提取，得到对应的有效区域图像，包括：

对所述待处理图像进行二值化处理，得到二值化图像；

采用光栅扫描法对所述二值化图像进行像素点遍历，确定所述二值化图像中第一个满足预设条件的像素点和最后一个满足所述预设条件的像素点；其中，所述预设条件包括：预设数量的相邻像素点的像素值均为255；

将第一个满足所述预设条件的像素点作为左上角边界点以及将所述最后一个满足所述预设条件的像素点作为右下角边界点，对所述待处理图像进行区域提取，得到所述待处理图像对应的有效区域图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述待处理图像进行二值化处理之前，所述方法还包括：

获取所述待处理图像的窗宽信息和窗位信息；

根据所述窗宽信息和所述窗位信息，将所述待处理图像中每一个像素点的16位像素值转化为对应的8位像素值；

将像素值位数转变后的待处理图像进行腐蚀处理，以去掉所述待处理图像中的标尺信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述窗宽信息和所述窗位信息，将所述待处理图像中每一个像素点的16位像素值转化为对应的8位像素值，包括：

采用第一公式计算最大调整值和最小调整值，所述第一公式包括：

min=(2*窗位-窗宽)/2+0.5

max=(2*窗位+窗宽)/2+0.5

采用第二公式将所述待处理图像中每一个像素点的16位像素值转化为对应的8位像素值，所述第二公式包括：

8位像素值=(16位像素值-min)*255/2*(max-min)

式中，min为所述最小调整值，max为所述最大调整值。

8.根据权利要求4所述的方法，其特征在于，所述采用各张所述第二有效区域图像及对应的肢体部位类别进行模型训练，得到基础模型，包括：

采用ImageNet 数据集中的预训练模型进行参数初始化，并根据初始化参数、各张所述第二有效区域图像及对应的肢体部位类别进行模型训练，得到所述基础模型。

9.一种CT影像中肢体部位识别模型训练系统，其特征在于，包括：

第一获取模块，用于获取CT定位片图像；

第二获取模块，用于获取CT薄层序列图像，对所述CT薄层序列图像进行最大密度投影重建，得到三维最大密度投影图像；并将所述三维最大密度投影图像生成多个视角对应的多张二维最大密度投影图像；

模型训练模块，用于采用所述CT定位片图像和所述二维最大密度投影图像进行模型训练，得到肢体部位识别模型。

Images