CN112541917B - 一种针对脑出血疾病的ct图像处理方法 - Google Patents

Abstract

本申请公开了一种针对脑出血疾病的CT图像处理方法，包括：步骤1，对样本数据集进行数据预处理操作，标注样本数据集中每例数据中每帧CT图像的切面数据；步骤2，构建基于单帧CT图像的图像分类模型，并对切面数据进行数据分割，生成切面数据的数据分割结果；步骤3，利用全连接层和reshap函数，对数据分割结果进行分类，生成数据分类结果；步骤4，提取数据分割结果、数据分类结果中的检索特征，并根据检索特征，生成切面数据的识别结果。通过本申请中的技术方案，对CT图像进行分割、分类和检索处理，以便起到助于医生理解CT图像的作用。

Description

一种针对脑出血疾病的CT图像处理方法

技术领域

本申请涉及神经网络的技术领域，具体而言，涉及一种针对脑出血疾病的CT图像处理方法。

背景技术

自发性脑出血(SICH)是多种病因导致的原发性脑实质出血，仅有12％～39％的患者可以实现远期生活自理，给社会和家庭带来了极大的疾病负担。脑出血的诊断与治疗具有一定的复杂性，涉及神经外科、神经内科等多个学科，不同地区患者的预后差异较大，导致这种差异的原因复杂多样，但缺少对脑出血精准诊断的便捷技术是其中的重要原因之一。

头部CT图像检查可以很好地显示出血灶，实现准确估算CT图像中血肿量，为各项研究提供基础数据，目前以医师手动分割的血肿结果作为计算血肿量的“金标准”，但这种方法耗时费力；而且临床上常以多田公式(即长×宽×高/2)作为血肿量的估算方法，但其结果难言精准。

发明内容

本申请的目的在于：提供一种针对脑出血疾病的CT图像处理方法，建立在临床的基础需求上，对CT图像进行分割、分类和检索处理，以便起到助于医生理解CT图像的作用。

本申请的技术方案是：提供了一种针对脑出血疾病的CT图像处理方法，该方法包括：步骤1，对样本数据集进行数据预处理操作，标注样本数据集中每例数据中每帧CT图像的切面数据；步骤2，构建基于单帧CT图像的图像分类模型，并对切面数据进行数据分割，生成切面数据的数据分割结果；步骤3，利用全连接层和reshap函数，对数据分割结果进行分类，生成数据分类结果；步骤4，提取数据分割结果、数据分类结果中的检索特征，并根据检索特征，生成切面数据的识别结果。

上述任一项技术方案中，进一步地，步骤2中生成切面数据的数据分割结果的方法，具体包括：步骤21，在进行数据分割时，对切面数据进行预处理，调整切面数据的大小，并通过卷积层生成第一图像；步骤22，采用图像分类模型中的encoder模块，对第一图像的分辨率进行调整，生成第二图像；步骤23，在图像分类模型中中引入反卷积算法，根据第二图像，生成切面数据的数据分割结果。

上述任一项技术方案中，进一步地，检索特征至少包括：病灶大小、病灶数量、病灶位置和分类特征，步骤4中，生成切面数据的识别结果，具体包括：当判定数据分割结果中的分类特征为有病、且数据分类结果中的分类特征为无病时，分别计算数据分割结果、数据分类结果中的病灶数量相似分数、病灶大小相似分数、病灶位置相似分数；根据病灶数量相似分数、病灶大小相似分数、病灶位置相似分数，计算数据分割结果的第一相似分数；根据数据分割结果的第一相似分数，生成切面数据的识别结果。

上述任一项技术方案中，进一步地，检索特征至少包括：病灶大小、病灶数量、病灶位置和分类特征，步骤4中，生成切面数据的识别结果，具体还包括：当判定数据分割结果中的分类特征为无病、且数据分类结果中的分类特征为有病时，计算数据分类结果的第二相似分数；根据数据分类结果的第二相似分数，生成切面数据的识别结果。

上述任一项技术方案中，进一步地，检索特征至少包括：病灶大小、病灶数量、病灶位置和分类特征，步骤4中，生成切面数据的识别结果，具体还包括：当判定数据分割结果中的分类特征为有病、且数据分类结果中的分类特征为有病时，根据病灶大小、病灶数量、病灶位置和分类特征，计算切面数据的第三相似分数；根据切面数据的第三相似分数，生成切面数据的识别结果。

本申请的有益效果是：

本申请中的技术方案，建立在临床的基础需求上，对CT图像进行分割、分类和检索处理，提高了CT图像识别的准确性，并通过引入三种算法，针对不同的识别结果进一步进行处理，以保证CT图像识别结果的准确性、全面性、可靠性，利用本申请输出的CT图像识别结果，能够起到助于理解CT图像的作用。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的针对脑出血疾病的CT图像处理方法的示意流程图；

图2是根据本申请的一个实施例的脑出血分割网络结构的示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本实施例提供了一种针对脑出血疾病的CT图像处理方法，适用于对脑出血CT图像中病灶的分割、分类和检索。

本实施例基于北京某医院的脑出血CT数据，包括患者和正常人共有的23个切面的分类模型，实验结果表明，该方法可以针对正常人和患者的脑出血CT图像进行分类、分割以及检索，为医生采集和理解CT图像中的超声数据提供辅助性帮助。

在构建本实施例中的深度神经网络模型时，对网络速度的要求，没有选用非常复杂的网络结构。在单帧CT图像处理过程中，采用了U-Net来传递浅层的纹理、颜色等信息，同时避免了梯度消失的问题。由于网络速度的限制，采用了15个卷积模块，保留13个encoder模块和2个decoder模块，每个模块内部2个卷积层、2个批标准化层和2个激活函数的设计，其中，的encoder模块用来学习更好的语义信息，decoder模块用来恢复空间位置信息。同时采用额外side output层来传播和优化全局的语义信息。并且，在最后一层分割层，使用一个分类层来优化脑出血的分类信息。最后，利用图像的语义信息和分类信息来检索样本数据集中特征，并返回对应患者的病历。

本实施例中的CT图像处理方法包括：

步骤1，对样本数据集进行数据预处理操作，标注样本数据集中每例数据中每帧CT图像的切面数据；

具体的，样本数据共577例，其中正常人数据75例，脑出血患者数据502例，每例数据中包含23帧CT图像(切面图像)，均由北京某医院提供，并由北京某医院的超声科专业医生进行标注，保证了切面数据的准确性。

步骤2，以U-Net网络作为基础，构建基于单帧CT图像的图像分类模型，并根据所述切面数据，进行数据分割；

具体的，在模型的设计中，考虑了残差结构的短连接方式同样保存了图像中的浅层特征，因此对于网络中的卷积模块，采用了残差结构的设计方式。而由于对总层数的考虑，采用了15个卷积模块，保留13个encoder模块和2个decoder模块，每个模块内部2个卷积层、2个批标准化层和2个激活函数的设计，其中，的encoder模块用来学习更好的语义信息，decoder模块用来恢复空间位置信息。同时采用额外side output层来传播和优化全局的语义信息。

步骤21，在进行数据分割时，对所述切面数据进行预处理，调整所述切面数据的大小，并通过卷积层生成第一图像。

具体的，对于每个切面数据的每张图片，都将其输入到图2所示的网络中。首先，在图像预处理操作中改变图片的大小，将图片Crop中心区域384×384的大小的图像。之后，将图片通过3×3、步长为2的卷积层，其图片大小变为192×192，生成第一图像。

步骤22，采用所述图像分类模型中的encoder模块，对所述第一图像的分辨率进行调整，生成第二图像。

具体的，将上述第一图像分别接入2种encoder模块中进行分辨率调整，一种是分辨率保持不变的encoder模块，另一种是将分辨率降为原来二分之一的encoder模块。分辨率保持不变的encoder模块包含2个3×3的扩张卷积层，2个batch normalization层和2个leak relu层。分辨率降低的encoder模块包含一个3×3、步长为2的卷积层和一个3×3的扩张卷积层，以及2个batch normalization层和2个leak relu层。整个encoder部分共有3个分辨率减少的encoder模块和10个分辨率不变的encoder模块。

步骤23，在所述图像分类模型中中引入反卷积算法，根据所述第二图像，生成所述切面数据的数据分割结果。

具体的，为了降低梯度爆炸的情况，借鉴Resnet残差网络的设计方法，将每一个模块的最后一层与先前层的输出结果相加。在decoder部分，采用了3×3、步长为2的反卷积算法来提升分辨率的大小，并使用skip connection的方法，来恢复切面数据的分辨率特征。最后在每一个模块，引入一个side output层，来输出分割结果，用于优化网络的语义信息。在每个side output层，都使用交叉熵损失函数，并给予不同的权重。通过测试，本实施例中的分割精度在80％以上。

步骤3，利用全连接层和reshap函数，对所述数据分割结果进行分类，生成数据分类结果。

具体的，在图像分类模型的最后一层分割层上，将其数据分割结果进行重组，变为长宽为1的特征层，再通过2个1×1的卷积改变特征层的维度，最后输出通道数量为2特征作为分类层，生成数据分类结果。

本实施例中，在脑出血病灶区域数据分割结果的基础上，添加全连接层，在减少特征提取计算量的基础上，进一步增加脑出血图像分类的监督信息。同时，脑出血算法包括两部分分类信息，一是分割的结果得到的分类信息，一个是分类网络的分类信息。这2类分类信息同时为检索算法提供基础依据，增加整体算法的可靠性。

通过测试，本实施例中的分类精度在90％以上。

步骤4，提取所述数据分割结果、所述数据分类结果中的检索特征，并根据所述检索特征，生成所述切面数据的识别结果，其中，所述检索特征至少包括：病灶大小、病灶数量、病灶位置和分类特征，所述分类特征为有病或无病。

本实施例中，利用切面数据中脑出血病灶区域对应的数据分割结果和数据分类结果，来提取检索所需的特征，该特征包括病灶大小、病灶数量、病灶位置和分类特征。依据实际分割情况，设计4种的检索方案，分别是：

1、对于分割结果中检测出病灶(有病)、而分类结果未检测出病灶(无病)的情况，考虑分割结果的病灶大小、病灶数量、病灶位置。具体而言，直接通过算法，得到病灶区域的检测框。

在得到病灶结果的检测框后，取出最大面积的检测框，并计算其面积大小，同时提取该检测框的位置信息，包括左上角和右下角的坐标作为检索特征，最后计算出病灶区域像素点的数量作为检索特征的一部分。

此外，在检索时，为了节省检索所需的时间，需要离线将脑CT切面图像所对应的特征预先计算出来并保存。

对于病灶数量的计算，假定预测图像检测框数量为P_ND，样本数据集中第k个切面图像预测结果的检测框数量为gt_ND[k]，则病灶数量相似分数计为score1，计算公式如下所示：

score1＝1-abs(P_ND-gt_ND[k])/(P_ND+gt_ND[k])

式中，abs(*)为绝对值函数，k的取值范围为[1,13271]。

对于病灶大小的计算，假定分割预测图像(数据分割结果)的病灶大小像素总数量为P_TN，样本数据集中第k个切面图像的预测结果中病灶像素点总数量为gt_TN[k]，则的相似分数计为score2，计算公式如下所示：

score2＝1-abs(P_TN-gt_TN[k])/(P_TN+gt_TN[k])

对于病灶位置的计算，假定分割结果中最大的检测框左上角和右下角的坐标分别为(p_x1，p_y1)和(p_x2，p_y2)，样本数据集中第k个切面图像的预测结果的最大的检测框左上角和右下角的坐标分别为(gt_x1[k]，gt_y1[k])和(gt_x2[k]，gt_y2[k])，通过预测结果中检测框的位置信息与样本数据集中位置信息计算IoU，得到病灶位置相似分数，计为score3，计算公式如下所示：

rx1＝max(p_x1，gt_x1[k])

ry1＝max(p_y1，gt_y1[k])

rx2＝min(p_x2，gt_x2[k])

ry2＝min(p_y2，gt_y2[k])

rw＝max(0，rx2-rx1)

rh＝max(0，ry2-ry1)

score3＝rw*rh*2/((p_x2-p_x1)*(p_y2-p_y1)+

(gt_x2[k]-gt_x1[k])*(gt_y2[k]-gt_y1[k]))

在得到分割结果中病灶数量、病灶大小和病灶位置的相似分数后，通过分析这些特征重要性程度，对病灶数量、病灶大小和病灶位置的相似分数加权相加，得到分割结果的一个第一相似分数score_seg，计算如下所示：

score_seg＝(score1*0.1+score2*0.2+score3)/1.3

数据分割结果均得到与任一个样本数据集中每例数据的相似分数，对这些相似分数进行排序，即可得到最相似数据所对应的CT图像识别结果。

2.对于分类结果中检测出病灶(有病)、而分割结果未检测出病灶(无病)的情况，假定二维分类特征(有病，没病)为p_C[x]，x＝1时表示有病，x＝0时表示无病。样本数据集中第k个切面图像的分类特征为gt_C[k]，则分类特征的第二相似分数score_cla，计算如下：

c_rate＝sqrt((square(p_C[0]-gt_C[k][0])+square(p_C[1]-gt_C[k][1])))*10

score_cla＝max(0,1/(c_rate+0.5)-1)

式中，square(*)为平方运算函数，c_rate为中间参数。

得到分类特征的第二相似分数score_cla后，对这些相似分数进行排序，即可得到最相似数据所对应的CT图像识别结果。

3.对于分割和分类结果均检测出病灶(有病)的情况，同时考虑分割结果的病灶大小score1、病灶数量score2、病灶位置score3和分类特征score_cla，第三相似分数score_T计算如下：

score_T＝(score1*0.1+score2*0.2+score3+score_cla*0.7)/2

式中，病灶大小score1、病灶数量score2、病灶位置score3和分类特征score_cla的计算过程与上述计算过程相同，此处不再赘述。

对这些相似分数进行排序，即可得到最相似数据所对应的CT图像识别结果。

4.对于分割和分类结果均未检测出病灶(无病)的情况，直接返回正常人的报告供医生参考。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种针对脑出血疾病的CT图像处理方法，包括：步骤1，对样本数据集进行数据预处理操作，标注样本数据集中每例数据中每帧CT图像的切面数据；步骤2，构建基于单帧CT图像的图像分类模型，并对切面数据进行数据分割，生成切面数据的数据分割结果；步骤3，利用全连接层和reshap函数，对数据分割结果进行分类，生成数据分类结果；步骤4，提取数据分割结果、数据分类结果中的检索特征，并根据检索特征，生成切面数据的识别结果。通过本申请中的技术方案，对CT图像进行分割、分类和检索处理，以便起到助于医生理解CT图像的作用。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (4)

1.一种针对脑出血疾病的CT图像处理方法，其特征在于，所述方法包括：

步骤1，对样本数据集进行数据预处理操作，标注所述样本数据集中每例数据中每帧CT图像的切面数据；

步骤2，构建基于单帧CT图像的图像分类模型，并对所述切面数据进行数据分割，生成所述切面数据的数据分割结果；

步骤3，利用全连接层和reshap函数，对所述数据分割结果进行分类，生成数据分类结果；

步骤4，提取所述数据分割结果、所述数据分类结果中的检索特征，并根据所述检索特征，生成所述切面数据的识别结果，其中，所述检索特征至少包括：病灶大小、病灶数量、病灶位置和分类特征，所述步骤4中，生成所述切面数据的识别结果，具体包括：

当判定所述数据分割结果中的分类特征为有病、且所述数据分类结果中的分类特征为无病时，分别计算所述数据分割结果、所述数据分类结果中的病灶数量相似分数、病灶大小相似分数、病灶位置相似分数；

根据所述病灶数量相似分数、所述病灶大小相似分数、所述病灶位置相似分数，计算所述数据分割结果的第一相似分数；

根据所述数据分割结果的第一相似分数，生成所述切面数据的识别结果。

2.如权利要求1所述的针对脑出血疾病的CT图像处理方法，其特征在于，所述步骤2中生成所述切面数据的数据分割结果的方法，具体包括：

步骤21，在进行数据分割时，对所述切面数据进行预处理，调整所述切面数据的大小，并通过卷积层生成第一图像；

步骤22，采用所述图像分类模型中的encoder模块，对所述第一图像的分辨率进行调整，生成第二图像；

步骤23，在所述图像分类模型中引入反卷积算法，根据所述第二图像，生成所述切面数据的数据分割结果。

3.如权利要求1所述的针对脑出血疾病的CT图像处理方法，其特征在于，所述步骤4中，生成所述切面数据的识别结果，具体还包括：

当判定所述数据分割结果中的分类特征为无病、且所述数据分类结果中的分类特征为有病时，计算所述数据分类结果的第二相似分数；

根据所述数据分类结果的第二相似分数，生成所述切面数据的识别结果。

4.如权利要求1所述的针对脑出血疾病的CT图像处理方法，其特征在于，所述步骤4中，生成所述切面数据的识别结果，具体还包括：

当判定所述数据分割结果中的分类特征为有病、且所述数据分类结果中的分类特征为有病时，根据所述病灶大小、所述病灶数量、所述病灶位置和所述分类特征，计算所述切面数据的第三相似分数；

根据所述切面数据的第三相似分数，生成所述切面数据的识别结果。

Images