CN114299291A - 一种可解释的人工智能医疗图像语义分割方法 - Google Patents

Abstract

本发明公开了一种可解释的人工智能医疗图像语义分割方法，包括以下步骤：获取医疗图像训练样本数据，并对获取的医疗图像训练样本数据进行整理，然后对医疗图像训练样本数据进行数据集划分，划分得到测试集和训练集；根据获取的医疗图像训练样本数据构造深度训练模型，同时测试深度训练模型在测试集上的预测性能，得到深度训练模型的预测性能结果，本发明通过对医疗图像彩色图及其对应的深度图同时进行训练与分析，不仅能够提高语义分割结果的准确性，还能够增加语义分割的使用范围，同时在进行训练与分析之前，通过对训练模型进行验证与解释，能够预测通过该方法得到的语义分割结果的准确度，有利于实际的应用。

Description

一种可解释的人工智能医疗图像语义分割方法

技术领域

本发明属于图像语义分割技术领域，具体为一种可解释的人工智能医疗图像语义分割方法。

背景技术

现有生活中，图像是人类视觉的基础，是自然景物的客观反映，是人类认识世界和人类本身的重要源泉，图是物体反射或透射光的分布，像是人的视觉系统所接受的图在人脑中所形成的印象或认识，照片、绘画、剪贴画、地图、书法作品、手写汉学、传真、卫星云图、影视画面、X光片、脑电图、心电图等都是图像，而医疗图像也属于图像中的一种，随着科学技术的进步，图像语义分割方法逐渐进入人们的视野，利用图像语义分割方法可以自动的预测未知图像中每个像素所属的物体类别，而随着医疗水平的不断提高，对于医疗图像进行语义分割逐渐投入使用。

但是现有的人工智能医疗图像语义分割方法在进行实际的应用中，大都只能够单纯的利用获取的医疗图像彩色图对其进行图像语义分割，而无法对获取的医疗图像深度图进行图像语义分割，从而导致使用范围存在一定的局限性，并且导致语义分割的结果不够准确，同时无法对语义分割结果进行验证与解释，进而无法确认通过该方法得到的语义分割结果的准确度。

发明内容：

本发明的目的就在于为了解决上述问题而提供一种可解释的人工智能医疗图像语义分割方法，解决了背景技术中提到的问题。

为了解决上述问题，本发明提供了一种技术方案：

一种可解释的人工智能医疗图像语义分割方法，包括以下步骤：

包括以下步骤：

S1、获取医疗图像训练样本数据，并对获取的医疗图像训练样本数据进行整理，然后对医疗图像训练样本数据进行数据集划分，划分得到测试集和训练集；

S2、根据获取的医疗图像训练样本数据构造深度训练模型，同时测试深度训练模型在测试集上的预测性能，得到深度训练模型的预测性能结果；

S3、将获取的医疗图像训练样本数据输入深度训练模型，以对深度模型进行训练；

S4、通过SHAP方法对深度训练模型的预测性能结果进行解释，得到模型解释结果；

S5、获取需要进行语义分割的医疗图像彩色图以及深度图，然后利用训练后的深度模型分别对需要进行语义分割的医疗图像彩色图以及深度图进行分析，同时结合模型解释结果，预测医疗图像中每个像素所属的物体类别，形成并输出预测的图像语义分割图。

作为优选，所述步骤S1中，获取医疗图像训练样本数据具体包括以下步骤：

S11、分别通过摄像头和深度传感器在同一位置对同一方向的人体局部医疗图像进行拍摄，分别得到彩色图及其相对应的深度图，重复此项操作五次，得到五组相对应的彩色图以及深度图；

S12、将得到的彩色图与对应的深度图分别输入至计算机设备，并通过计算机设备分别对彩色图以及深度图的每个像素进行标注，标注其所属类别，从而获得每组图像的语义分割标注图；

S13、遍历每组图像的彩色图以及深度图，并对每组彩色图以及深度图进行去相关处理，去除信息的冗余度，然后根据彩色图、深度图与真实拍摄环境的差异确定允许失真要求，并根据允许失真要求，对去除信息的冗余度的彩色图以及深度图的原始数字图像进行信号编码，得到每组图像的信号编码标注图。

作为优选，所述步骤S1中，对医疗图像训练样本数据进行数据集划分的具体操作步骤为：分别从彩色图和深度图样本中随机抽取80％作为训练集样本，其余的20％均作为测试集样本。

作为优选，所述步骤S2中，构造深度训练模型具体包括以下步骤：

S201、建立训练集

x_a∈R，其中{x_a，y_a}为训练集D中其中一个数集，n为训练集数集总数，同时建立初始化样本权重D_n(a)＝2/n；

S202、在训练集中，分别对医疗图像训练样本数据按医疗科室进行区域划分：首先选择每个区域的初始中心b，然后对其进行更新迭代，样本的权重根据以下方式进行更新迭代：

若一个实例在迭代中被正确分类，其权重将乘以可变系数β_i：

其中，error(M_a)为每次迭代的训练数据集中错误分类实例的权重之和，err(x_a)为每次迭代的训练数据集中正确分类实例的权重之和，D_n(a)为初始化样本权重，m为训练集中的训练样本总数，a为医疗图像训练样本数据中的医疗图像训练样本总数，在第i次迭代中，对任意一个样本，求其到各区域中心b的距离，将该样本归到距离最短的中心所在的类；

S203、经过对正确自定义区域划分以及更新迭代，错误分类实例的权重增加，而正确分类实例的权重将减少，当达到最大迭代数时，训练停止，得到最终集成的模型：

其中，a为医疗图像训练样本数据中的医疗图像训练样本总数，D_n(a)为初始化样本权重，(x_a，y_a)为训练集D中其中一个数集，v为训练次数。

作为优选，所述步骤S2中，评估最终模型的预测能力具体包括以下步骤：

S211、将划分的测试集输入构造的深度训练模型内部进行训练，将测试集内部的数据分别带入深度训练模型进行训练，得到模型训练结果；

S212、根据得到的模型训练结果形成并输出测试集样本的图像语义分割图，同时将其与实际测试集样本的图像语义进行对比，测试深度训练模型在测试集上的预测性能。

作为优选，所述步骤S3中，对深度模型进行训练具体包括以下步骤：

S31、向构造的深度训练模型内部依次输入获取的所有医疗图像训练样本数据；

S32、将训练集数据带入深度训练模型内部进行训练，得到训练集训练结果，并利用训练集训练结果与模型训练结果学习出用于进行物体类别预测的深度训练模型。

作为优选，所述步骤S4中的通过SHAP方法对深度训练模型的预测性能结果进行解释的具体步骤为：通过SHAP将解释定义为：

利用

计算出模型解释结果，其中g是解释模型，z'∈{0,1}^M是联盟向量，M是最大联盟大小，φ_j∈R是模型的估计系数。

作为优选，所述步骤S5中，预测医疗图像中每个像素所属的物体类别具体包括以下步骤：

S51、将获取的医疗图像彩色图及其对应的深度图分别输入训练后的深度模型；

S52、通过深度训练模型对深度图进行分析，通过长短时记忆网络对彩色图进行分析；

S53、根据分析结果以及模型解释结果预测该医疗图像中每个像素所属的物体类别。

本发明的有益效果是：本发明通过对医疗图像彩色图及其对应的深度图同时进行训练与分析，不仅能够提高语义分割结果的准确性，还能够增加语义分割的使用范围，同时在进行训练与分析之前，通过对训练模型进行验证与解释，能够预测通过该方法得到的语义分割结果的准确度，有利于实际的应用。

附图说明：

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1是本发明可解释的人工智能医疗图像语义分割方法流程示意图。

具体实施方式：

如图1所示，本具体实施方式采用以下技术方案：

实施例：

一种可解释的人工智能医疗图像语义分割方法，包括以下步骤：

S1、获取医疗图像训练样本数据，并对获取的医疗图像训练样本数据进行整理，然后对医疗图像训练样本数据进行数据集划分，划分得到测试集和训练集；

S2、根据获取的医疗图像训练样本数据构造深度训练模型，同时测试深度训练模型在测试集上的预测性能，得到深度训练模型的预测性能结果；

S3、将获取的医疗图像训练样本数据输入深度训练模型，以对深度模型进行训练；

S4、通过SHAP方法对深度训练模型的预测性能结果进行解释，得到模型解释结果；

S5、获取需要进行语义分割的医疗图像彩色图以及深度图，然后利用训练后的深度模型分别对需要进行语义分割的医疗图像彩色图以及深度图进行分析，同时结合模型解释结果，预测医疗图像中每个像素所属的物体类别，形成并输出预测的图像语义分割图。

其中，所述步骤S1中，获取医疗图像训练样本数据具体包括以下步骤：

S11、分别通过摄像头和深度传感器在同一位置对同一方向的人体局部医疗图像进行拍摄，分别得到彩色图及其相对应的深度图，重复此项操作五次，得到五组相对应的彩色图以及深度图；

S12、将得到的彩色图与对应的深度图分别输入至计算机设备，并通过计算机设备分别对彩色图以及深度图的每个像素进行标注，标注其所属类别，从而获得每组图像的语义分割标注图；

S13、遍历每组图像的彩色图以及深度图，并对每组彩色图以及深度图进行去相关处理，去除信息的冗余度，然后根据彩色图、深度图与真实拍摄环境的差异确定允许失真要求，并根据允许失真要求，对去除信息的冗余度的彩色图以及深度图的原始数字图像进行信号编码，得到每组图像的信号编码标注图。

在本实施例中，通过摄像头和深度传感器，便于更好的获取彩色图及其相对应的深度图，从而采集到不同的医疗图像训练样本数据，进而便于更好的进行样本数据采集操作。

其中，所述步骤S1中，对医疗图像训练样本数据进行数据集划分的具体操作步骤为：分别从彩色图和深度图样本中随机抽取80％作为训练集样本，其余的20％均作为测试集样本。

在本实施例中，通过不平衡比例便于更好的在采集的医疗图像训练样本数据中划分出训练集样本以及测试集样本。

其中，所述步骤S2中，构造深度训练模型具体包括以下步骤：

S201、建立训练集

x_a∈R，其中{x_a，y_a}为训练集D中其中一个数集，n为训练集数集总数，同时建立初始化样本权重D_n(a)＝2/n；

S202、在训练集中，分别对医疗图像训练样本数据按医疗科室进行区域划分：首先选择每个区域的初始中心b，然后对其进行更新迭代，样本的权重根据以下方式进行更新迭代：

若一个实例在迭代中被正确分类，其权重将乘以可变系数β_i：

其中，error(M_a)为每次迭代的训练数据集中错误分类实例的权重之和，err(x_a)为每次迭代的训练数据集中正确分类实例的权重之和，D_n(a)为初始化样本权重，m为训练集中的训练样本总数，a为医疗图像训练样本数据中的医疗图像训练样本总数，在第i次迭代中，对任意一个样本，求其到各区域中心b的距离，将该样本归到距离最短的中心所在的类；

S203、经过对正确自定义区域划分以及更新迭代，错误分类实例的权重增加，而正确分类实例的权重将减少，当达到最大迭代数时，训练停止，得到最终集成的模型：

其中，a为医疗图像训练样本数据中的医疗图像训练样本总数，D_n(a)为初始化样本权重，(x_a，y_a)为训练集D中其中一个数集，v为训练次数。

在本实施例中，通过建立的训练样本集D、权重计算以及更新迭代计算，便于更好的构造出适用于该医疗图像语义分割方法的深度训练模型。

其中，所述步骤S2中，评估最终模型的预测能力具体包括以下步骤：

S211、将划分的测试集输入构造的深度训练模型内部进行训练，将测试集内部的数据分别带入深度训练模型进行训练，得到模型训练结果；

S212、根据得到的模型训练结果形成并输出测试集样本的图像语义分割图，同时将其与实际测试集样本的图像语义进行对比，测试深度训练模型在测试集上的预测性能。

在本实施例中，通过划分的测试集样本对构造的深度训练模型进行评估验证，从而达到验证最终模型的预测准确度的目的，进而保证深度训练模型的使用效果。

其中，所述步骤S3中，对深度模型进行训练具体包括以下步骤：

S31、向构造的深度训练模型内部依次输入获取的所有医疗图像训练样本数据；

S32、将训练集数据带入深度训练模型内部进行训练，得到训练集训练结果，并利用训练集训练结果与模型训练结果学习出用于进行物体类别预测的深度训练模型。

在本实施例中，通过对深度模型进行训练，便于更好的完善该深度模型的预测分析性能，从而保证预测结果的准确性。

其中，所述步骤S4中的通过SHAP方法对深度训练模型的预测性能结果进行解释的具体步骤为：通过SHAP将解释定义为：

利用

计算出模型解释结果，其中g是解释模型，z'∈{0,1}^M是联盟向量，M是最大联盟大小，φ_j∈R是模型的估计系数。

在本实施例中，通过SHAP方法，对该深度训练模型整体进行解释，从而解释各数据样本对预测结果的贡献度，进一步的保证了该深度训练模型预测结果的准确性。

其中，所述步骤S5中，预测医疗图像中每个像素所属的物体类别具体包括以下步骤：

S51、将获取的医疗图像彩色图及其对应的深度图分别输入训练后的深度模型；

S52、通过深度训练模型对深度图进行分析，通过长短时记忆网络对彩色图进行分析；

S53、根据分析结果以及模型解释结果预测该医疗图像中每个像素所属的物体类别。

在本实施例中，通过对获取的实际医疗图像进行模型训练，能够分别对医疗图像中的彩色图及其对应的深度图进行分析预测，从而得到每个像素所属的物体类别，完成语义分割操作。

具体的：在实际的应用中，首先获取医疗图像训练样本数据，并对获取的医疗图像训练样本数据进行整理，然后对医疗图像训练样本数据进行数据集划分，划分得到测试集和训练集，其中，获取医疗图像训练样本数据具体包括以下步骤：分别通过摄像头和深度传感器在同一位置对同一方向的人体局部医疗图像进行拍摄，分别得到彩色图及其相对应的深度图，重复此项操作五次，得到五组相对应的彩色图以及深度图；将得到的彩色图与对应的深度图分别输入至计算机设备，并通过计算机设备分别对彩色图以及深度图的每个像素进行标注，标注其所属类别，从而获得每组图像的语义分割标注图；遍历每组图像的彩色图以及深度图，并对每组彩色图以及深度图进行去相关处理，去除信息的冗余度，然后根据彩色图、深度图与真实拍摄环境的差异确定允许失真要求，并根据允许失真要求，对去除信息的冗余度的彩色图以及深度图的原始数字图像进行信号编码，得到每组图像的信号编码标注图；

并对医疗图像训练样本数据进行数据集划分的具体操作步骤为：分别从彩色图和深度图样本中随机抽取80％作为训练集样本，其余的20％均作为测试集样本；

然后根据获取的医疗图像训练样本数据构造深度训练模型，同时测试深度训练模型在测试集上的预测性能，得到深度训练模型的预测性能结果，构造深度训练模型具体包括以下步骤：建立训练集

x_a∈R，其中{x_a，y_a}为训练集D中其中一个数集，n为训练集数集总数，同时建立初始化样本权重D_n(a)＝2/n；在训练集中，分别对医疗图像训练样本数据按医疗科室进行区域划分：首先选择每个区域的初始中心b，然后对其进行更新迭代，样本的权重根据以下方式进行更新迭代：若一个实例在迭代中被正确分类，其权重将乘以可变系数β_i：

其中，error(M_a)为每次迭代的训练数据集中错误分类实例的权重之和，err(x_a)为每次迭代的训练数据集中正确分类实例的权重之和，D_n(a)为初始化样本权重，m为训练集中的训练样本总数，a为医疗图像训练样本数据中的医疗图像训练样本总数，在第i次迭代中，对任意一个样本，求其到各区域中心b的距离，将该样本归到距离最短的中心所在的类；经过对正确自定义区域划分以及更新迭代，错误分类实例的权重增加，而正确分类实例的权重将减少，当达到最大迭代数时，训练停止，得到最终集成的模型：

其中，a为医疗图像训练样本数据中的医疗图像训练样本总数，D_n(a)为初始化样本权重，(x_a，y_a)为训练集D中其中一个数集，v为训练次数；

同时评估最终模型的预测能力，将划分的测试集输入构造的深度训练模型内部进行训练，将测试集内部的数据分别带入深度训练模型进行训练，得到模型训练结果；根据得到的模型训练结果形成并输出测试集样本的图像语义分割图，同时将其与实际测试集样本的图像语义进行对比，测试深度训练模型在测试集上的预测性能；

接着将获取的医疗图像训练样本数据输入深度训练模型，以对深度模型进行训练，对深度模型进行训练具体包括以下步骤：向构造的深度训练模型内部依次输入获取的所有医疗图像训练样本数据；将训练集数据带入深度训练模型内部进行训练，得到训练集训练结果，并利用训练集训练结果与模型训练结果学习出用于进行物体类别预测的深度训练模型；

通过SHAP方法对深度训练模型的预测性能结果进行解释，得到模型解释结果，通过SHAP方法对深度训练模型的预测性能结果进行解释的具体步骤为：通过SHAP将解释定义为：

利用

计算出模型解释结果，其中g是解释模型，z'∈{0,1}^M是联盟向量，M是最大联盟大小，φ_j∈R是模型的估计系数；

最后获取需要进行语义分割的医疗图像彩色图以及深度图，然后利用训练后的深度模型分别对需要进行语义分割的医疗图像彩色图以及深度图进行分析，同时结合模型解释结果，预测医疗图像中每个像素所属的物体类别，形成并输出预测的图像语义分割图，将获取的医疗图像彩色图及其对应的深度图分别输入训练后的深度模型；通过深度训练模型对深度图进行分析，通过长短时记忆网络对彩色图进行分析；根据分析结果以及模型解释结果预测该医疗图像中每个像素所属的物体类别。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种可解释的人工智能医疗图像语义分割方法，其特征在于，包括以下步骤：

S1、获取医疗图像训练样本数据，并对获取的医疗图像训练样本数据进行整理，然后对医疗图像训练样本数据进行数据集划分，划分得到测试集和训练集；

S2、根据获取的医疗图像训练样本数据构造深度训练模型，同时测试深度训练模型在测试集上的预测性能，得到深度训练模型的预测性能结果；

S3、将获取的医疗图像训练样本数据输入深度训练模型，以对深度模型进行训练；

S4、通过SHAP方法对深度训练模型的预测性能结果进行解释，得到模型解释结果；

S5、获取需要进行语义分割的医疗图像彩色图以及深度图，然后利用训练后的深度模型分别对需要进行语义分割的医疗图像彩色图以及深度图进行分析，同时结合模型解释结果，预测医疗图像中每个像素所属的物体类别，形成并输出预测的图像语义分割图。

2.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法，其特征在于，所述步骤S1中，获取医疗图像训练样本数据具体包括以下步骤：

S11、分别通过摄像头和深度传感器在同一位置对同一方向的人体局部医疗图像进行拍摄，分别得到彩色图及其相对应的深度图，重复此项操作五次，得到五组相对应的彩色图以及深度图；

S12、将得到的彩色图与对应的深度图分别输入至计算机设备，并通过计算机设备分别对彩色图以及深度图的每个像素进行标注，标注其所属类别，从而获得每组图像的语义分割标注图；

S13、遍历每组图像的彩色图以及深度图，并对每组彩色图以及深度图进行去相关处理，去除信息的冗余度，然后根据彩色图、深度图与真实拍摄环境的差异确定允许失真要求，并根据允许失真要求，对去除信息的冗余度的彩色图以及深度图的原始数字图像进行信号编码，得到每组图像的信号编码标注图。

3.根据权利要求2所述的一种可解释的人工智能医疗图像语义分割方法，其特征在于，所述步骤S1中，对医疗图像训练样本数据进行数据集划分的具体操作步骤为：分别从彩色图和深度图样本中随机抽取80％作为训练集样本，其余的20％均作为测试集样本。

4.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法，其特征在于，所述步骤S2中，构造深度训练模型具体包括以下步骤：

S201、建立训练集

x_a∈R，其中{x_a，y_a}为训练集D中其中一个数集，n为训练集数集总数，同时建立初始化样本权重D_n(a)＝2/n；

S202、在训练集中，分别对医疗图像训练样本数据按医疗科室进行区域划分：首先选择每个区域的初始中心b，然后对其进行更新迭代，样本的权重根据以下方式进行更新迭代：

若一个实例在迭代中被正确分类，其权重将乘以可变系数β_i：

其中，error(M_a)为每次迭代的训练数据集中错误分类实例的权重之和，err(x_a)为每次迭代的训练数据集中正确分类实例的权重之和，D_n(a)为初始化样本权重，m为训练集中的训练样本总数，a为医疗图像训练样本数据中的医疗图像训练样本总数，在第i次迭代中，对任意一个样本，求其到各区域中心b的距离，将该样本归到距离最短的中心所在的类；

S203、经过对正确自定义区域划分以及更新迭代，错误分类实例的权重增加，而正确分类实例的权重将减少，当达到最大迭代数时，训练停止，得到最终集成的模型：

其中，a为医疗图像训练样本数据中的医疗图像训练样本总数，D_n(a)为初始化样本权重，(x_a，y_a)为训练集D中其中一个数集，v为训练次数。

5.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法，其特征在于，所述步骤S2中，评估最终模型的预测能力具体包括以下步骤：

S211、将划分的测试集输入构造的深度训练模型内部进行训练，将测试集内部的数据分别带入深度训练模型进行训练，得到模型训练结果；

S212、根据得到的模型训练结果形成并输出测试集样本的图像语义分割图，同时将其与实际测试集样本的图像语义进行对比，测试深度训练模型在测试集上的预测性能。

6.根据权利要求5所述的一种可解释的人工智能医疗图像语义分割方法，其特征在于，所述步骤S3中，对深度模型进行训练具体包括以下步骤：

S31、向构造的深度训练模型内部依次输入获取的所有医疗图像训练样本数据；

S32、将训练集数据带入深度训练模型内部进行训练，得到训练集训练结果，并利用训练集训练结果与模型训练结果学习出用于进行物体类别预测的深度训练模型。

7.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法，其特征在于，所述步骤S4中的通过SHAP方法对深度训练模型的预测性能结果进行解释的具体步骤为：通过SHAP将解释定义为：

利用

计算出模型解释结果，其中g是解释模型，z'∈{0,1}^M是联盟向量，M是最大联盟大小，φ_j∈R是模型的估计系数。

8.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法，其特征在于，所述步骤S5中，预测医疗图像中每个像素所属的物体类别具体包括以下步骤：

S51、将获取的医疗图像彩色图及其对应的深度图分别输入训练后的深度模型；

S52、通过深度训练模型对深度图进行分析，通过长短时记忆网络对彩色图进行分析；

S53、根据分析结果以及模型解释结果预测该医疗图像中每个像素所属的物体类别。

Images