CN113177548B - 一种针对免疫固定电泳的重点区域识别方法 - Google Patents

Abstract

一种针对免疫固定电泳的重点区域识别方法，属于医疗技术与深度学习领域技术领域，解决现有技术中可视化效果较粗糙，无法进行精确定位，且定位方法无法人为干预的问题。本发明依次包括：1)免疫固定电泳图像集的收集；2)将各电泳图像分割为多条电泳带；3)将各个电泳带分割为多个子条带；4)各条电泳带间进行相似度对比；5)设计神经网络的注意力模块；6)训练卷积神经网络；7)计算待识别的电泳图像相似度矩阵的显著图；8)计算待识别的电泳图像的显著图；9)可视化显示重点区域。本发明用于可视化显示电泳图像的关键区域。

Description

一种针对免疫固定电泳的重点区域识别方法

技术领域

一种针对免疫固定电泳的重点区域识别方法，用于可视化显示电泳图像的关键区域，属于医疗技术与深度学习领域技术领域。

背景技术

在骨髓浆细胞恶性增殖疾病中，多发性骨髓瘤是较为常见的情况。该类型疾病通常会伴随着在患者体内产生大量的单克隆免疫球蛋白(Monoclonal Protein)，后续简称M蛋白。免疫固定电泳(Immunofixation El ectrophoresis，IFE)是一种基于电泳和沉淀反应的免疫化学分析技术，目前已经在临床上被广泛使用，用于检测免疫球蛋白的含量，同时该技术还能检验其具体的型别。一般而言，共可检测出8类多发性骨髓瘤病例，分别是lgG-KAP、IgG-LAM、IgA-KAP、IgA-LAM、IgM-KAP、IgM-LAM、KAP和LAM。如图1展示了8类疾病对应的免疫固定电泳图像。a)图为IgG-KAP类型，可观察到G电泳带与KAP电泳带同时出现了密集条带；b)图为IgG-LAM类型，可观察到G电泳带与LAM电泳带同时出现了密集条带；c)图为IgA-KAP类型，可观察到A电泳带与KAP电泳带同时出现了密集条带；d)图为IgA-LAM类型，可观察到A电泳带与LAM电泳带同时出现了密集条带；e)图为IgM-KAP类型，可观察到M电泳带与KAP电泳带同时出现了密集条带；f)图为IgM-LAM类型，可观察到M电泳带与LAM电泳带同时出现了密集条带；g)图为KAP类型，可观察到密集条带出现在KAP电泳带；h)图为LAM类型，可观察到密集条带出现在LAM电泳带。

由于仅有少数医师具备专业的识别能力，大量的检测数量导致无法及时有效地获取精确的信息反馈。近些年来，出现了较多计算机辅助技术用于快速获取精确的信息反馈，但通常需要高精度以确保准确性，以及合理的推测理由帮助医师快速定位疾病成因。传统的机器学习方法虽然具备一定的准确率，但是不具备应对各类复杂图像的情况，如噪声干扰与染色严重等，且需要专业人员手动观察图像样本，设计图像特征。基于目标检测的深度学习方法能够达到相对较高的准确率，并提供关键位置的区域，但该方法需要大量的重点区域标记过的样本用于模型训练，在人力、物力、时间上耗费巨大。

基于Grad-CAM可视化技术，能够显示卷积神经网络的重点关注区域，已经在大量研究中被用于评估模型效果，可在电泳图像中直观显示模型的判断依据。该方法避免了基于目标检测的方法所需要的高昂的标记代价，仅需要电泳图像的疾病类型，同时使模型具备高精度与可解释性的特点。但该技术存在的缺点是可视化效果较粗糙，无法进行精确定位，且定位方法无法人为干预。

发明内容

针对上述研究的问题，本发明的目的在于提供一种针对免疫固定电泳的重点区域识别方法，解决现有技术中可视化效果较粗糙，无法进行精确定位，且定位方法无法人为干预的问题。

为了达到上述目的，本发明采用如下技术方案：

一种针对免疫固定电泳的重点区域识别方法，包括：

步骤1：获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集，其中，免疫固定电泳图像集包括健康的电泳图像和带疾病的电泳图像，各电泳图像为RGB格式；

步骤2：将免疫固定电泳图像集中的各电泳图像进行分割，得到G、A、M、KAP、LAM对应的电泳带，并将分割后的电泳带缩放到统一尺度；

步骤3：将缩后的各电泳带进行横向切割，获得多个子条带，并将各子条带在整个维度上展开成一维向量，获得各子条带向量；

步骤4：将各电泳图像中的两两电泳带的子条带互相关联，并基于相关联后的子条带得到相似度矩阵；

步骤5：将相似度矩阵输入具有注意力模块的卷积神经网络，并将免疫固定电泳图像集中8类疾病或健康的标记作为监督信息使用梯度下降的策略训练神经网络，得到训练后的卷积神经网络；

步骤6：将待识别的电泳图像处理后得到待识别的相似度矩阵，再将待识别的相似度矩阵输入训练后的卷积神经网络，得到显著图A_s，其中，显著图A_s的整个区域代表了卷积神经网络在相似度矩阵上的重点关注区域；

步骤7：将显著图A_s反向映射到待识别的电泳图像上，获得卷积神经网络在待识别的电泳图像上的显著图A_p，其中，显著图A_p与待识别的电泳图像的长宽一致；

步骤8：将显著图A_p覆盖在待识别的电泳图像上，得到待识别的电泳图像的重点区域。

进一步，所述步骤3的具体步骤为：

将高为h、宽为w的各电泳带以宽度t沿高度方向进行切割，得到获得h/t个子条带；

将各子条带在整个维度上展开成一维向量，即将各子条带在3通道上展开，获得长度为3wt的各子条带向量，其中，3通道是指R通道、G通道和B通道。

进一步，所述步骤4的具体步骤为：

将各电泳图像中的两两电泳带的所有子条带向量进行欧式距离或余弦距离的相似度计算，计算后，获得元素个数为h²/t²的10个矩阵；

对10个矩阵在新的维度上堆叠在一起，获得元素个数为10h²/t²的相似度矩阵S，其中，矩阵的形状是(h/t，h/t)，10个合并后是(10，h/t，h/t)。

进一步，所述步骤5中卷积神经网络基础结构采用ResNet18，注意力模块采用桥接方式连接加入在卷积神经网络的每层中，注意力模块具体为：

由于电泳带密集区域通常出现在水平相近的区域，对应相似度矩阵S的对角线区域，注意力模块为基于高斯函数的矩阵M，矩阵M对角线上的值为高斯函数均值μ对应的值，并向另外两对角逐渐递减到最小为3σ对应的值，均值μ与标准差σ一起作为卷积神经网络训练的参数，矩阵M上位置(i，j)上的值具体公式为：

其中，F为卷积神经网络的中间特征图，C为中间特征图F的通道维度，W×H为中间特征图的空间维度，W表示中间特征图的横向空间，H表示中间特征图的纵向空间，μ₀、σ₀为常数，分别表示初始高斯函数均值和标准差，分别采用0和1的取值，μ₀、σ₀是固定的常数，而μ与σ是卷积神经网络中影响矩阵M的参数，随卷积神经网络的训练不停地更新，M(i，j)表示矩阵M的i行j列的值，X_ij表示i行j列与对角线在高斯函数上的横坐标距离。

进一步，所述步骤6的具体步骤为：

待识别的电泳图像处理后得到待识别的相似度矩阵，再将待识别的相似度矩阵输入训练后的卷积神经网络，得到神经网络的中间特征图F和神经网络的预测输出Y；

基于预测输出Y对中间特征图F求偏导，得到该偏导的值记为该中间特征图F的权重k；

将中间特征图F与对应的权重k相乘并缩放尺寸后，获得待识别的相似度矩阵S的显著图A_s，其中，显著图A_s的尺度与相似度矩阵S一致，显著图A_s展示了卷积神经网络在相似度矩阵S上的重点关注区域；权重k和显著图A_s的具体公式如下：

其中，l表示中间特征图的第l个通道维度，C表示中间特征图的通道维度，Scale表示缩放尺寸。进一步，所述步骤7的具体步骤为：

显著图A_s上的每个值代表了两个水平线的对应关系强烈程度，将显著图A_s上的值赋予对应的待识别的电泳图像的水平位置，获得与待识别的电泳图像P相同空间尺度的显著图A_p，具体公式如下：

其中，A_s ^T是显著图A_s的转置矩阵，

表示长度与显著图A_s匹配，值全部为1的向量。

进一步，所述步骤8的具体实现为：

将显著图A_p的值从小到大对应蓝色至红色的渐变，并将值对应的颜色以半透明的形式覆盖在电泳图像上，可以得到表现为红色的重点区域；或

设定阈值，将显著图A_p中大于设定阈值的区域作为重点区域，并将重点区域的位置通过框图或半透明覆盖显示在待识别的电泳图像上，得到可直观显示卷积神经网络重点关注区域的输出图像，显著图A_p中小于等于设定阈值的区域，则不作为重点区域。

本发明同现有技术相比，其有益效果表现在：

在卷积神经网络添加注意力模块设计，能够使模型根据模块特性具备定向的图像识别能力，通常能够使模型更加有效地鉴别特定目标或图像特征，最终使模型获得更高地准确率，具体为：

1.本发明在对电泳图像依次进行分割和切割，并对切割后的两两电泳带进行相似度计算，充分适应了疾病图像通常是两条电泳带关联紧密的特性，即疾病通常在两条电泳带上的相近水平位置出现密集区域的现象，关联后再直接对电泳间的关联性以计算相似度的形式进行建模，建模后，将图像信息转换为子条带之间的相似度信息，即相似度矩阵S，相似度矩阵S通过相似度的方式保留了图像数据的关键信息，如边缘渐变、染色深浅等，使最终模型(训练后的卷积神经网络)能够保证较高的准确率，即模型根据相似度信息不仅具备定向的图像识别能力，也能更加有效地鉴别特定目标或图像特征；

2.本发明在采用基于Grad-CAM的回溯方式，即将待识别的电泳图像处理后得到显著图A_s；将显著图A_s反向映射到待识别的电泳图像上，获得显著图A_p，该技术无需大量的重点区域标记信息，仅需要整幅电泳图像的疾病标签信息，节省了约90％的工作量与工作时间；与传统的技术在图像上进行Grad-CAM方法相比，本发明首先对相似度矩阵进行Grad-CAM获得显著图A_s，然后进行反向映射，得到A_p，该方式能够更加精确的定位重点区域，获得更为合理与直观的结果回溯；

3.本发明采用人工设计的注意力模块，注意力模块的设计基于人类的推理认知，即电泳带密集区域通常出现在水平相近的区域，使注意力模块能够按照符合人类推理的思路进行模型训练，该方式可以使模型最终的可视化效果更加利用得到所需要的信息反馈。

附图说明

图1背景技术中所述的免疫固定电泳示例图，包括8类疾病图像。

图2为本发明中卷积神经网络的输出效果图，其中，淡色横线区域为卷积神经网络重点关注区域。

图3为本发明中电泳图像的切割与相似度计算的简单示意图。

图4为本发明中卷积神经网络的基本模块与注意力模块的插入位置示意图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

本发明实施提出了一种针对免疫固定电泳的重点区域识别方法，快速识别重点区域，可视化地显示重点关注区域。

本发明主要流程包括：1)免疫固定电泳图像集收集；2)电泳图像分割为多条电泳带；3)将各个电泳带分割为多个子条带；4)将各条电泳带间进行相似度对比；5)设计卷积神经网络的注意力模块；6)训练卷积神经网络；7)计算待识别的电泳图像的相似度矩阵的显著图；8)计算待识别的电泳图像的显著图；9)可视化显示重点区域，具体实现步骤如下：

一、免疫固定电泳图像集收集

获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集，免疫固定电泳图像集包括3000张健康的电泳图像和总计1400张的带疾病的电泳图像，当然，根据不同的图像质量，图像数量还可为其它数量量级，以保证卷积神经网络在预测阶段具备一定的准确率；

二、电泳图像分割为多条电泳带

对免疫固定电泳图像集中的电泳图像进行分割，得到G、A、M、KAP、LAM对应的电泳带，并将分割后的电泳带缩放到统一尺度，记为高h、宽w；在该过程中，可计算整幅图像在竖直方向上的像素均值，并设定预期的像素值模板，采用Dynamic time warping(DTW)的方法对图像像素与模板像素进行对比，确定电泳带的切割点；

三、各个电泳带分割为多个子条带

每条电泳带以宽度t沿高度方向进行切割，对于高h的电泳带，可获得h/t个子条带，将子条带在整个维度上进行展开成一维向量，获得长度为3wt(电泳图像为RGB格式，在通道上展开需要乘以3)的子条带向量；

四、各条电泳带间进行相似度对比

将两两电泳带的所有子条带互相关联，

将各电泳图像中的两两电泳带的所有子条带向量进行欧式距离或余弦距离的相似度计算，计算后，获得元素个数为h²/t²的10个矩阵；

对10个矩阵在新的维度上堆叠在一起，获得元素个数为10h²/t²的相似度矩阵S，其中，矩阵的形状是(h/t，h/t)，10个合并后是(10，h/t，h/t)；

由于电泳带密集区域问存在强相关性，该相似度矩阵采用了对子条带间的关系直接建模，将电泳带区域之间的相关性作为矩阵的值，同时相似度矩阵中间接存储了图像特征，能使卷积神经网络直接关注电泳带的相关性，并保持对其他有益信息的关注，达到更有效的训练过程。

五、设计卷积神经网络的注意力模块

对卷积神经网络设计注意力模块，该过程直接引入人类推理认知，即密集区域出现在相近的水平区域，人工引导神经网络的训练过程，使模型的可视化输出更符合医生推理过程；具体过程为，

由于电泳带密集区域通常出现在水平相近的区域，对应相似度矩阵S的对角线区域，注意力模块为基于高斯函数的矩阵M，矩阵M对角线上的值为高斯函数均值μ对应的值，并向另外两对角逐渐递减到最小为3σ对应的值，均值μ与标准差σ一起作为卷积神经网络训练的参数，矩阵M上位置(i，j)上的值具体公式为：

其中，F为卷积神经网络的中间特征图，C为中间特征图F的通道维度，W×H为中间特征图的空间维度，W表示中间特征图的横向空间，H表示中间特征图的纵向空间，μ₀、σ₀为常数，分别表示初始高斯函数均值和标准差，可分别采用0和1的取值，注意区分μ₀、σ₀是固定的常数，而μ与σ是卷积神经网络中影响矩阵M的参数，随卷积神经网络的训练不停地更新，M(i，j)表示矩阵M的i行j列的值，X_ij表示i行j列与对角线在高斯函数上的横坐标距离。

其中，注意力模块指卷积神经网络中添加的辅助模块，该模块可帮助卷积神经网络对图像的重点区域识别效果更高；本发明中的注意力模块针对电泳图像特性，引入了现有知识，即重点区域在水平方向上接近，该注意力模块强调了相似度矩阵上的对角线区域，该区域对应了图像样本上的所有同一水平区域的子条带。

六、训练卷积神经网络

将相似度矩阵S批量输入卷积神经网络，将标签(即免疫固定电泳图像集中的8类疾病样本或健康样本标记)作为监督信息，采用交叉熵计算模型损失，使用梯度下降的策略训练卷积神经网络，在多次迭代过程后，获得具备疾病预测能力的卷积神经网络；本发明采用ResNet18作为基础框架(为现有的)，该模型采用残差结构优化模型，在图像处理领域该网络结构已经被证明具备有效的图像识别能力，且该模型可方便应用在Grad-CAM方法，其中本步骤中的训练方式为现有的。

七、计算相似度矩阵的显著图A_s

将任意免疫固定电泳图像P(待识别的电泳图像)经过上述步骤处理得到待识别的相似度矩阵并输入卷积神经网络，得到卷积神经网络的中间特征图F和卷积神经网络的预测输出Y，其中，C为特征图的通道维度，W×H为中间特征图的空间维度；将预测输出Y对中间特征图F求偏导，得到的该偏导的值记为该中间特征图F的权重k；将中间特征图与对应的权重k相乘并缩放尺寸后，获得关于相似度矩阵S的显著图A_s，其中，显著图A_s的尺度与相似度矩阵S一致，显著图A_s展示了卷积神经网络在相似度矩阵S上的重点关注区域，由于卷积神经网络的中间特征图较多，本发明采用加权平均的方式确定最终的显著图A_s，对于卷积神经网络每一层中间特征图，都计算一次对应的显著图，再对所有的显著图进行加权平均得到最后的显著图A_s，显著图A_s中高关注度区域的权值大，低关注度的区域权值小；具体公式如下：

其中，l表示中间特征图的第l个通道维度，C表示中间特征图的通道维度总数，Scale表示缩放尺寸。

八、计算电泳图像的显著图A_p

将显著图A_s反向映射到图像上，获得卷积神经网络在电泳图像P上的显著图A_p；由于Grad-CAM获得的显著图A_s代表了模型在空间区域上的关注度，无法具体观测出模型关注哪一对电泳带，例如对于相似度矩阵S，坐标位置(z，x，y)表示在第z对电泳带上，第一个电泳带的第x个子条带与第二个电泳带的第y个子条带的相互关系，则显著图A_s上(x，y)的位置代表了x和y处的两个子条带水平线上的对应关系(如图3所示)，将显著图A_s上的值赋予对应的水平位置，获得与电泳图像P相同空间尺度的显著图A_p，具体公式如下：

九、可视化显示重点区域

将显著图A_p的值从小到大对应蓝色至红色的渐变，并将值对应的颜色以半透明的形式覆盖在电泳图像上，可以得到表现为红色的重点区域；或

将显著图A_p大于设定阈值的区域与待识别的电泳图像合并(目的是将较大的区域作为重点区域)，得到可直观显示卷积神经网络重点关注区域的输出图像。最终的输出图像将显示出卷积神经网络在水平方向上重点关注的区域，该区域对应了待识别的电泳图像的密集区域，配合卷积神经网络的预测类型，可有效应用在医学辅助过程中。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (7)

1.一种针对免疫固定电泳的重点区域识别方法，其特征在于，包括：

步骤1：获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集，其中，免疫固定电泳图像集包括健康的电泳图像和带疾病的电泳图像，各电泳图像为RGB格式；

步骤2：将免疫固定电泳图像集中的各电泳图像进行分割，得到G、A、M、KAP、LAM对应的电泳带，并将分割后的电泳带缩放到统一尺度；

步骤3：将缩后的各电泳带进行横向切割，获得多个子条带，并将各子条带在整个维度上展开成一维向量，获得各子条带向量；

步骤4：将各电泳图像中的两两电泳带的子条带互相关联，并基于相关联后的子条带得到相似度矩阵；

步骤5：将相似度矩阵输入具有注意力模块的卷积神经网络，并将免疫固定电泳图像集中8类疾病或健康的标记作为监督信息使用梯度下降的策略训练神经网络，得到训练后的卷积神经网络；

步骤6：将待识别的电泳图像处理后得到待识别的相似度矩阵，再将待识别的相似度矩阵输入训练后的卷积神经网络，得到显著图

，其中，显著图

的整个区域代表了卷积神经网络在相似度矩阵上的重点关注区域；

步骤7：将显著图

反向映射到待识别的电泳图像上，获得卷积神经网络在待识别的电泳图像上的显著图

，其中，显著图

与待识别的电泳图像的长宽一致；

步骤8：将显著图

覆盖在待识别的电泳图像上，得到待识别的电泳图像的重点区域。

2.根据权利要求1所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤3的具体步骤为：

将高为

、宽为

的各电泳带以宽度t沿高度方向进行切割，得到

个子条带；

将各子条带在整个维度上展开成一维向量，即将各子条带在3通道上展开，获得长度为

的各子条带向量，其中，3通道是指R通道、G通道和B通道。

3.根据权利要求2所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤4的具体步骤为：

将各电泳图像中的两两电泳带的所有子条带向量进行欧式距离或余弦距离的相似度计算，计算后，获得元素个数为

的10个矩阵；

对10个矩阵在新的维度上堆叠在一起，获得元素个数为

的相似度矩阵

，其中，矩阵的形状是（

，

）,10个合并后是(10，

,

)。

4.根据权利要求3所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤5中卷积神经网络基础结构采用ResNet18，注意力模块采用桥接方式连接加入在卷积神经网络的每层中，注意力模块具体为：

由于电泳带密集区域通常出现在水平相近的区域，对应相似度矩阵

的对角线区域，注意力模块为基于高斯函数的矩阵

，矩阵

对角线上的值为高斯函数均值

对应的值，并向另外两对角逐渐递减到最小为

对应的值，均值

与标准差

一起作为卷积神经网络训练的参数，矩阵

上位置

上的值具体公式为：

其中，

为中间特征图的空间维度，

表示中间特征图的横向空间，

表示中间特征图的纵向空间，

、

为常数，分别表示初始高斯函数均值和标准差，分别采用0和1的取值，

、

是固定的常数，而

与

是卷积神经网络中影响矩阵

的参数，随卷积神经网络的训练不停地更新，

表示矩阵

的

行

列的值，

表示

行

列与对角线在高斯函数上的横坐标距离。

5.根据权利要求4所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤6的具体步骤为：

待识别的电泳图像处理后得到待识别的相似度矩阵，再将待识别的相似度矩阵输入训练后的卷积神经网络，得到神经网络的中间特征图

和神经网络的预测输出

；

基于预测输出

对中间特征图

求偏导，得到该偏导的值记为该中间特征图

的权重

；

将中间特征图

与对应的权重

相乘并缩放尺寸后，获得待识别的相似度矩阵

的显著图

，其中，显著图

的尺度与相似度矩阵

一致，显著图

展示了卷积神经网络在相似度矩阵

上的重点关注区域；权重

和显著图

的具体公式如下：

其中，

表示中间特征图的第

个通道维度，

表示中间特征图的通道维度，

表示缩放尺寸。

6.根据权利要求5所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤7的具体步骤为：

显著图

上的每个值代表了两个水平线的对应关系强烈程度，将显著图

上的值赋予对应的待识别的电泳图像的水平位置，获得与待识别的电泳图像

相同空间尺度的显著图

，具体公式如下：

其中，

是显著图

的转置矩阵，

表示长度与显著图

匹配，值全部为1的向量。

7.根据权利要求6所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤8的具体实现为：

将显著图

的值从小到大对应蓝色至红色的渐变，并将值对应的颜色以半透明的形式覆盖在电泳图像上，可以得到表现为红色的重点区域；或

设定阈值，将显著图

中大于设定阈值的区域作为重点区域，并将重点区域的位置通过框图或半透明覆盖显示在待识别的电泳图像上，得到可直观显示卷积神经网络重点关注区域的输出图像，显著图

中小于等于设定阈值的区域，则不作为重点区域。

Images