CN115831329A - 融合医生关注图像的包虫分类模型构建方法、系统及介质 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种融合医生关注图像的包虫分类模型构建方法、系统及介质，选择A‑FRCNN作为主干网络，A‑FRCNN作为U‑Net‑based；使用A‑FRCNN作为医生关注CT选择的预训练网络，获取到图像的多尺度信息；A‑FRCNN将所有尺度的特征投射到分辨率最大的层，得到输出医生关注的特征；将医生关注的特征输入到ResNet18中，对于所有CT图像的特征提取使用另外的A‑FRCNN。本发明提出首个基于CT图像的囊型包虫有无活性分类模型，首次提出融合医生关注图像的肝囊型包虫活性分类特征象融合方法，在融合前效仿医生进行关注图像的提取，避免在应用时的验证悖论问题。

Description

融合医生关注图像的包虫分类模型构建方法、系统及介质

技术领域

本发明属于图像处理技术领域，尤其涉及一种融合医生关注图像的肝囊型包虫活性分类模型构建方法、系统及介质。

背景技术

目前，包虫病(Hepatic Echinococcosis，HE)是由包虫属寄生虫引起的人畜共患疾病，严重危害人民身体健康和社会经济发展。该寄生虫属于棘球属绦虫科，对人类致病的主要有两种，分别是由细粒棘球蚴引起的囊型包虫病(Cystic Echinococcosis，CE)和多房棘球蚴引起的泡型包虫病(Alveolar Echinococcosis，AE)。包虫病遍及世界各大陆，其中囊型包虫占比最大，其流行区域包括中国西部、中亚、南美、地中海和东非等国家，除南极洲外，均为CE的流行区域。CE的全球负担的最新估计是每年188000例新病例，导致184000残疾调整生命年(Disability adjusted life years，DALYs)，许多国家的CE生命周期涉及牲畜中间宿主，因此对经济和动物健康的影响远超出AE。

2010年世界卫生组织棘球蚴病非正式工作组(WHO-IWGE)发表了首个包虫病诊疗专家共识，根据囊型包虫病的临床和流行病学特点将囊型包虫分为，CE1：单子囊型、CE2：多子囊型、CE3a：内囊塌陷型、CE3b：实变但存在子囊型、CE4：实变型、CE5：钙化型。在国际分类中，CE1和CE2型对应“活动期”，CE3a和b型对应“过渡期”，CE4和CE5型对应“退化期”。“活动期”和“过渡期”被称为有活性期，“退化期”为无活性期。有活性期的囊型包虫多采取主动干预的方式进行治疗，如：手术切除、穿刺、微波等方式，无活性期的囊型包虫则采用“watchand wait”的非主动方式进行。虽然有专家共识的参考，但国内外的临床医生在对包虫囊型包虫治疗过程中依然常发生过度治疗的情况，目前大部分囊型包虫手术相关的文献均未按照标准进行分型，部分对患者病灶进行分型的研究中出现了过度治疗的情况，让无需主动干预治疗的患者承受了额外的身体和经济负担。因此，早期、正确的有无活性分类就显得尤为重要。

自囊型包虫在人体肝脏定居生长开始，便与人体的免疫系统进行抗衡，当人体的免疫占据上风时，经过长时间且复杂的免疫反应，病灶会出现失活，导致病灶无活性，不再生长，但这种情况仅在部分患者身上发生，大部分病灶会通过免疫逃逸继续生长，这就导致在包虫与机体免疫系统博弈间形成一种特殊且常见的形态，即有活性的囊型包虫CT的整个序列中常常包含无活性图片，这是同一个序列的包虫病CT数据，无活性的图像中均出现钙化，其内并未发现有活性的囊泡，有活性的图像中囊壁的钙化出现破溃，存在大小不等的囊泡。故囊型包虫图像有无活性分类所面临的挑战是，以病人为整体的病灶序列CT图像中两个类别的图像，其中一类中包含另一类别的部分图像。放射医生在对此类病灶进行有无、活性判断时常常对整个病灶进行阅片，依据整个病灶中是否有活性的图片出现，找出最具代表性的图像利用自己所学习的知识进行判断，最后给出诊断，可见医生对每张图像赋予的权重不同的。

通过上述分析，现有技术存在的问题及缺陷为：目前大部分囊型包虫手术相关的文献均未按照标准进行分型，部分对患者病灶进行分型中出现了过度治疗的情况，让无需主动干预治疗的患者承受了额外的身体和经济负担，其中Malki等研究者对159例囊型包虫进行开腹手术治疗，无活性的患者比例占据32.7％，李全元等研究对409例囊型包虫进行开腹手术治疗，无活性的患者比例占据42.5％，7篇研究过度治疗的平均比例为27.5％见表，可见过度治疗的占比较高，因此早期、正确的有无活性分类就显得尤为重要。

目前基于CT图像对囊型包虫分类的研究多集中于单囊和多囊的分类，此类的分型缺少临床实用价值，两类均需临床主动干预治疗，缺少特异性。如：田翔华等、木拉提等、胡彦婷等、严传波等分别依据25张、20张、180张、240张囊型包虫图像进行图像分割和分类，显然上述的少样本研究不符合囊型包虫多类型、多变化的特点。茹仙古丽·艾尔西丁等和刘志华等分别依据1074张、1000张图像对单囊、多囊型包虫进行分类，虽然两项研究加大了样本量，但依据临床诊疗共识，单囊、多囊型包虫均为有活性的包虫，其治疗手段均需主动干预治疗，且大多临床医生均采用手术切除，故此分类缺少临床使用价值。

目前基于CT图像对囊型包虫进行有无活性分类的研究尚未报道，此分类更具临床价值，使有活性的包虫患者从囊型包虫中分类出来后得到积极的诊治，无活性的囊型包患者分类出来后进行随访观察，减少过度治疗的发生。

发明内容

针对现有技术存在的问题，本发明提供了一种融合医生关注图像的肝囊型包虫活性分类模型构建方法、系统及介质，尤其涉及一种融合医生关注图像的肝囊型包虫有无活性分类模型、构建方法、系统、介质、设备及终端。

本发明是这样实现的，一种融合医生关注图像的肝囊型包虫活性分类模型构建方法，肝囊型包虫活性分类模型由A-FRCNN(A)和A-FRCNN(B)两部分拼接组成，融合的部位是在A-FRCNN(B)最底层进行融合，依据医生的判断逻辑，利用机器学习模型去效仿医生，提取关注图像然后提取特征，再与所有的病灶图像提取的特征进行融合，使得重要的特征占比增加，增加分类的准确性。

肝囊型包虫活性分类模型的核心是由两个模型拼接组成，模型一效仿医生对整个病灶进行关注图像选择，然后提取特征，模型二对整个病灶进行特征提取，在模型二的底部进行特征融合，增加分类的准确性。该模型主要应用于囊型包虫有无活性的CT图像分类，协助医生进行判别，让患者获益，减少过度治疗的发生，该融合方法，可为同类型相互包含的分类任务提供新的模型设计思路，从而拓展到其他领域中。

进一步，所述肝囊型包虫活性分类模型融合医生关注图像的肝囊型包虫活性分类模型构建方法包括：选择A-FRCNN作为主干网络，A-FRCNN作为U-Net-based；使用A-FRCNN作为医生关注CT选择的预训练网络，获取到图像的多尺度信息；A-FRCNN将所有尺度的特征投射到分辨率最大的层，得到输出医生关注的特征；将医生关注的特征输入到ResNet18中，对于所有CT图像的特征提取使用另外的A-FRCNN。

进一步，融合医生关注图像的肝囊型包虫活性分类模型构建方法包括以下步骤：

步骤一，自动化选择医生关注特征；

步骤二，将选择的医生关注特征与完整病灶特征象融合。

进一步，所述构建方法具体包括：

步骤1.医生从每个CT序列中挑选出3-5张关注的图像；

步骤2.将所有医生关注的图像输入A-FRCNN(A)进行监督学习；

步骤3.通过求MSE loss来监督训练，A-FRCNN(A)学会自动挑选医生关注的图像后，保存模型权重并固定权重，供后续使用；

步骤1-3，A-FRCNN(A)训练完毕。

步骤4.利用步骤1-3训练好的A-FRCNN(A)，输入整个CT序列得到医生选取的关注特征(图片)；

步骤5.将步骤4得到的特征(图片)与整个CT序列分别作为输入；

步骤6.所有CT序列图像输入到A-FRCNN(B)网络中，医生选取的关注特征(图片)输入到resnet18中；

步骤7.A-FRCNN(A)通过resnet18获得的图像特征在A-FRCNN(B)最底层进行融合，融合的方式将两种特征作为输入并按照通道进行拼接；

步骤8.拼接后通过一个卷积层来进行通道压缩，还原为原来的通道数。

步骤9，返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

进一步，步骤一中的自动化选择医生关注特征包括：

(1)收集囊型包虫病CT数据，影像的技术参数如下：CT为Phillips 256层iCT扫描仪和UNITED 64层CT扫描仪，扫描范围为膈顶至下腔静脉，扫描参数为管电压：100～140KV、电流：260～300mA、层厚：1～5mm、层间距：0.5～1mm；

(2)经过严格的纳入与排除标准；囊型包虫病CT资料纳入标准：1)CT诊断报告明确诊断的包虫病影像；2)术前未明确诊断，患者经术后病理切片确诊的包虫病术前CT影像；3)经伦理委员会同意，签署同意书的患者CT影像；

其中，包虫病CT资料排除标准为：1)所有术后的CT影像资料，包括手术切除、微波治疗和穿刺置管引流治疗；2)术前未明确诊断，患者未经手术病理切片确诊的CT影像；3)囊性包虫大量腹腔转移、标注困难的CT影像；

(3)数据标注；病灶标注软件采用ITK-SNAP进行；随机选择病例，提取的特征进行观察者间一致性的检测；通过组内相关系数观察医生间所标注图像的一致性，ICC值范围从0到1，数值接近1代表再现性更强，ICC值〉0.8表明特征可再现，ICC值〈0.8需要重新标注；

(4)数据预处理；依次采用加窗技术、自适应直方图均衡化、数据增强和空间插值的预处理方法进行数据预处理；

(5)实验数据：所有数据按照训练集80％、验证集10％和测试集10％的比例进行随机分配；

(6)结果评价方法：通过准确度、精准度、特异度和F1评分评估模型分类性能；通过ROC和AUC评估模型的综合诊断性能；其中ROC曲线通过绘制不同阈值设置下的真阳性率与假阳性率创建，AUC则为曲线下面积；

(7)医生从每个CT序列中挑选出3～5张关注的图像；

(8)将所有医生关注的图像输入A-FRCNN(A)进行监督学习；

(9)通过求MSE loss监督训练，A-FRCNN(A)学会自动挑选医生关注的图像后，保存模型权重并固定权重，供后续使用。

进一步，步骤(4)中的数据预处理包括：

1)加窗技术：肝脏及肿瘤的窗宽为100～200，窗位为30～45，依据数据集建立时几位医生标注的舒适度及习惯，窗宽设置为126，窗位为38；

2)自适应直方图均衡化：自适应直方图均衡化方法利用分块的思想将图像的内容划分成多个子区域，按照各区域的不同分类结果进行局部直方图均衡化，各区域的均衡化还受到预设阈值的约束，最终借助插值算法获得最终的灰度图；

3)数据增强：采用几何变换类的随机翻转、水平翻转，颜色变换类的高斯噪声的数据增强方法对实验数据训练集进行增强；

4)空间插值：采用SimpleITK包中的空间插值方法将所有空间插值为1mm，插值过程如下：将(x,y)方向的分辨率通过降采样的方式调整为1mm；统一调整图像大小为512*512；将z方向分辨率为5mm的保留为5mm，小于5mm的图像通过插值的方式调整为1mm。

进一步，步骤二中的将选择的医生关注特征与完整病灶特征象融合包括：A-FRCNN(A)的输出在选择医生特征是模型选择的特征，与挑选出的每位患者整个序列中典型的特征进行比较，通过求MSE loss监督训练。训练完毕后保存模型权重并固定权重；使用保存的医生选取模型，输入整个CT序列得到医生选取的关注特征，将得到的特征与整个CT序列作为输入；分别将所有CT图输入到A-FRCNN(B)网络中，医生选取的关注特征输入到resnet18中，在A-FRCNN(B)最底层进行融合，融合的方式是将两种特征作为输入并按照通道进行拼接；通过卷积层进行通道压缩，还原为原来的通道数；再返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

进一步，步骤二中的将选择的医生关注特征与完整病灶特征象融合包括：

(1)利用训练好的A-FRCNN(A)，输入整个CT序列得到医生选取的关注特征；

(2)将步骤(1)得到的特征与整个CT序列分别作为输入；

(3)将所有CT序列图像输入到A-FRCNN(B)网络中，医生选取的关注特征输入到resnet18中；

(4)A-FRCNN(A)通过resnet18获得的图像特征在A-FRCNN(B)最底层进行融合，融合的方式将两种特征作为输入并按照通道进行拼接；

(5)拼接后通过卷积层进行通道压缩，还原为原来的通道数；

(6)返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

本发明的另一目的在于提供一种应用所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法的融合医生关注图像的肝囊型包虫活性分类系统，融合医生关注图像的肝囊型包虫活性分类系统包括：

关注特征选择模块，用于自动化选择医生关注特征；

特征融合模块，用于将选择的医生关注特征与完整病灶特征象融合。

本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法的步骤。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的融合医生关注图像的肝囊型包虫活性分类系统。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

针对整个有活性的囊型包虫CT序列中常包含无活性图片这一临床现象，结合医生的阅片逻辑，本发明探索并首次提出一种新型的特征象融合方法来对有无活性病灶进行分类。同样为了避免存在“验证悖论”的问题，本发明先通过训练一个模型来效仿医生进行关注图像的提取，再通过一个网络进行医生关注图像的特征提取，并将该特征与整个病灶特征在另一个网络底部进行融合，最终对有无活性的囊型包进行分类。同样在验证应用阶段同样为自动化且无需医生干预，本发明所提出的肝囊型包虫活性分类方法在内部验证及多中心验证集上均获得了较为优异的分类结果。本发明提供的新型的特征融合方法，可为同类型相互包含的分类任务提供新的模型设计思路，从而拓展到其他领域中。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

本发明提出了首个基于CT图像的囊型包虫有无活性分类模型，首次提出一种新型的融合医生关注图像的肝囊型包虫活性分类特征象融合方法，在融合前效仿医生进行关注图像的提取，避免在应用时存在“验证悖论”的问题。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

(1)本发明的技术方案转化后的预期收益和商业价值为：在临床使用后可协助医生进行囊型包虫有无活性的分类，对囊型肝包虫病的临床研究、诊断、治疗、预后判断提供重大帮助，使包虫病高发区的贫苦患者得到更早且明确的诊断及精准的治疗方案，减少过度治疗的发生，具有重要的社会民生价值。

(2)本发明的技术方案填补了国内外业内技术空白：本发明首次基于包虫病生理病理特点和图像表现，参考医生判断逻辑，提出了融合医生关注图像的肝囊型包虫有、无活性的分类方法。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的融合医生关注图像的肝囊型包虫活性分类模型构建方法流程图；

图2是本发明实施例提供的A-FRCNN结构及优化方案图；

图3是本发明实施例提供的A-FRCNN的求和连接图；

图4是本发明实施例提供的模型效仿医生自动选取关注图像A-FRCNN(A)的结构示意图；

图5是本发明实施例提供的医生关注特征与整个病灶特征象融合A-FRCNN(B)的结构示意图；

图6是本发明实施例提供的数据标注过程流程图；

图7是本发明实施例提供的窗口化及CLAHE流程图；

图8A是本发明实施例提供的将输入旋转一个从均匀分布中随机选择角度的原始图像；

图8B是本发明实施例提供的将输入旋转一个从均匀分布中随机选择角度的增强处理示意图；

图8C是本发明实施例提供地对输入图像施加高斯噪声的原始图像；

图8D是本发明实施例提供地对输入图像施加高斯噪声的增强处理示意图；

图8E是本发明实施例提供的随机将输入图像旋转90度，次数为零或更多的原始图像；

图8F是本发明实施例提供的随机将输入图像旋转90度，次数为零或更多的增强处理示意图；

图8G是本发明实施例提供的使用随机核大小的高斯滤波器对图像进行模糊处理的原始图像；

图8H是本发明实施例提供的使用随机核大小的高斯滤波器对图像进行模糊处理后的示意图；

图9是本发明实施例提供的模型添加在已开发的包虫病诊断模型上，进一步对囊型包虫进行分类的结构原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种融合医生关注图像的肝囊型包虫活性分类模型构建方法、系统及介质，下面结合附图对本发明作详细的描述。

为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图1所示，本发明实施例提供的融合医生关注图像的肝囊型包虫活性分类模型构建方法包括以下步骤：

S101，选择A-FRCNN作为主干网络，A-FRCNN作为U-Net-based；使用A-FRCNN作为医生关注CT选择的预训练网络，获取到图像的多尺度信息；

S102，A-FRCNN将所有尺度的特征投射到分辨率最大的层，得到输出医生关注的特征；

S103，将医生关注的特征输入到ResNet18中，对于所有CT图像的特征提取使用另外的A-FRCNN。

作为优选实施例，本发明实施例提供的融合医生关注图像的肝囊型包虫活性分类模型构建方法，具体包括以下步骤：

步骤1，自动化选择医生关注特征；

(1)收集囊型包虫病CT数据，影像的技术参数如下：CT为Phillips 256层iCT扫描仪和UNITED 64层CT扫描仪，扫描范围为膈顶至下腔静脉，扫描参数为管电压：100～140KV、电流：260～300mA、层厚：1～5mm、层间距：0.5～1mm。

(2)经过严格的纳入与排除标准；囊型包虫病CT资料纳入标准：1)CT诊断报告明确诊断的包虫病影像；2)术前未明确诊断，患者经术后病理切片确诊的包虫病术前CT影像；3)经伦理委员会同意，签署同意书的患者CT影像。

其中，包虫病CT资料排除标准为：1)所有术后的CT影像资料，包括手术切除、微波治疗和穿刺置管引流治疗；2)术前未明确诊断，患者未经手术病理切片确诊的CT影像；3)囊性包虫大量腹腔转移、标注困难的CT影像。

(3)数据标注；病灶标注软件采用ITK-SNAP进行；随机选择病例，提取的特征进行观察者间一致性的检测；通过组内相关系数观察医生间所标注图像的一致性，ICC值范围从0到1，数值接近1代表再现性更强，ICC值〉0.8表明特征可再现，ICC值〈0.8需要重新标注。

(4)数据预处理；依次采用加窗技术、自适应直方图均衡化、数据增强和空间插值的预处理方法进行数据预处理。

(5)实验数据：所有数据按照训练集80％、验证集10％和测试集10％的比例进行随机分配。

(6)结果评价方法：通过准确度、精准度、特异度和F1评分评估模型分类性能；通过ROC和AUC评估模型的综合诊断性能；其中ROC曲线通过绘制不同阈值设置下的真阳性率与假阳性率创建，AUC则为曲线下面积。

(7)医生从每个CT序列中挑选出3～5张关注的图像。

(8)将所有医生关注的图像输入A-FRCNN(A)进行监督学习。

(9)通过求MSE loss监督训练，A-FRCNN(A)学会自动挑选医生关注的图像后，保存模型权重并固定权重，供后续使用。

本发明实施例提供的步骤(4)中的数据预处理包括：

1)加窗技术：肝脏及肿瘤的窗宽为100～200，窗位为30～45，依据数据集建立时几位医生标注的舒适度及习惯，窗宽设置为126，窗位为38。

2)自适应直方图均衡化：自适应直方图均衡化方法利用分块的思想将图像的内容划分成多个子区域，按照各区域的不同分类结果进行局部直方图均衡化，各区域的均衡化还受到预设阈值的约束，最终借助插值算法获得最终的灰度图。

3)数据增强：采用几何变换类的随机翻转、水平翻转，颜色变换类的高斯噪声的数据增强方法对实验数据训练集进行增强。

4)空间插值：采用SimpleITK包中的空间插值方法将所有空间插值为1mm，插值过程如下：将(x,y)方向的分辨率通过降采样的方式调整为1mm；统一调整图像大小为512*512；将z方向分辨率为5mm的保留为5mm，小于5mm的图像通过插值的方式调整为1mm。

步骤2，将选择的医生关注特征与完整病灶特征象融合；

A-FRCNN(A)的输出在选择医生特征是模型选择的特征，与挑选出的每位患者整个序列中典型的特征进行比较，通过求MSE loss监督训练。训练完毕后保存模型权重并固定权重；使用保存的医生选取模型，输入整个CT序列得到医生选取的关注特征，将得到的特征与整个CT序列作为输入；分别将所有CT图输入到A-FRCNN(B)网络中，医生选取的关注特征输入到resnet18中，在A-FRCNN(B)最底层进行融合，融合的方式是将两种特征作为输入并按照通道进行拼接；通过卷积层进行通道压缩，还原为原来的通道数；再返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

作为优选实施例，本发明实施例提供的步骤2中的将选择的医生关注特征与完整病灶特征象融合具体包括：

(1)利用训练好的A-FRCNN(A)，输入整个CT序列得到医生选取的关注特征；

(2)将步骤(1)得到的特征与整个CT序列分别作为输入；

(3)将所有CT序列图像输入到A-FRCNN(B)网络中，医生选取的关注特征输入到resnet18中；

(4)A-FRCNN(A)通过resnet18获得的图像特征在A-FRCNN(B)最底层进行融合，融合的方式将两种特征作为输入并按照通道进行拼接；

(5)拼接后通过卷积层进行通道压缩，还原为原来的通道数；

(6)返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

本发明实施例提供的融合医生关注图像的肝囊型包虫活性分类系统包括：

关注特征选择模块，用于自动化选择医生关注特征；

特征融合模块，用于将选择的医生关注特征与完整病灶特征象融合。

肝囊型包虫有无活性分类模型的网络基于A-FRCNN改进获得，Hu等研究者受U-Net结构启发，在底部阶段设计了一个瓶颈结构，并删除了FRCNN自下而上的跳跃连接，因为该连接是对称的，且存在冗余。此外，为了节省参数和计算量，A-FRCNN只保留了底层的自上而下的跳跃连接，而去掉了其他自上而下地跳跃连接。A-FRCNN增加了倾斜的向下连接执行了自上而下地逐级融合，因此也将垂直向下的连接去掉，相比FRCNN减少了冗余，相比U-Net融合了不同尺度的信息。

一个完整的A-FRCNN网络通常由上述多个单独的模块组成，在时间序列上，一个模块的输出为后续模块的输入，在图中的各个模块均为RNN模块，表示在同一阶段水平上的节点，C为每个阶段的特征图，如图2所示多个输入的特征图C通过通道维度进行连接，经过一个1*1的卷积层将其数量减少到C，从而对输入进行多尺度的特征融合，见公式(1)，R(t)为在时间t输出的模块，f(·)指代每一个模块，

为1*1卷积，R(t+1)为后续时间段的模块。

A-FRCNN所使用的方法加入了求和连接如图3所示，即在信息传入下一个模块前，将输入的特征图与每个模块的输入进行求和，图中蓝色框对应图虚线中的模块，红色框对应的拥有共享权重的1*1卷积，其公式(2)：

r为输入的特征图，⊕为特征图的求和，余符号代表的含义与公式(1)一致。

本发明实施例提供的A-FRCNN结构的优化方案如下：

步骤1，将特征图r输入A-FRCNN网络蓝色框模块(Block)获得输出结果；

步骤2，输出的结果与特征图r相；

步骤3，步骤2的结果经过一个共享权重的1*1卷积；

步骤4，步骤3卷积后的结果进入下一个A-FRCNN模块(Block)；

步骤5，重复步骤1～步骤4。

本发明实施例提供的肝囊型包虫有无活性分类模型共有两个步骤组成：

1)自动化选择医生关注特征；

2)选择的医生特征与完整病灶特征象融合。即需要两个A-FRCNN承担不同的任务。在步骤1中，由于A-FRCNN由unet改进而来，其输入和输出大小一致，因此A-FRCNN(A)的输出在选择医生特征(图片)上也是模型选择的特征(图片)，与医生挑选出每位患者整个序列中典型的特征(图片)进行比较如图4所示，通过求MSE loss来监督训练。训练完毕后本发明保存模型权重并固定权重，供步骤2使用。在步骤2中，使用步骤1保存的医生选取模型，输入整个CT序列得到医生选取的关注特征(图片)，将该步骤得到的特征(图片)与整个CT序列作为输入，首先分别将所有CT图输入到A-FRCNN(B)网络中，医生选取的关注特征(图片)输入到resnet18中，在A-FRCNN(B)最底层进行融合，融合的方式将两种特征作为输入并按照通道进行拼接在，通过一个卷积层来进行通道压缩，还原为原来的通道数，再返回到A-FRCNN(B)中进行训练，如图5所示，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

本发明的模型效仿医生自动选取关注图像A-FRCNN(A)的步骤如下：

步骤1，从青海大学附属医院收集囊型包虫病CT数据，青海大学附属医院，影像的技术参数如下：CT为Phillips 256层iCT扫描仪和UNITED 64层CT扫描仪，扫描范围为膈顶至下腔静脉，扫描参数为管电压：100～140KV、电流：260～300mA、层厚：1～5mm、层间距：0.5～1mm。

步骤2，经过严格的纳入与排除标准。

囊型包虫病CT资料纳入标准：1、CT诊断报告明确诊断的包虫病影像；2、术前未明确诊断，患者经术后病理切片确诊的包虫病术前CT影像。3、经伦理委员会同意，签署同意书的患者CT影像。

包虫病CT资料排除标准：1、所有术后的CT影像资料(如手术切除、微波治疗、穿刺置管引流治疗等)；2、术前未明确诊断，患者未经手术病理切片确诊的CT影像。3、囊性包虫大量腹腔转移、标注困难的CT影像。由于部分无活性的囊型包虫患者无需手术，故无病理对照，包虫病的纳入与排除标准由四位副主任及以上的医师共同讨论后决定。

步骤3，数据标注。

本发明对整个标注过程进行了严格的控制，如图6所示。共有6名医生参与了整个标注工作。主任医师2名，副主任医师2名，获得执业医师资格的研究生2名。2名主任医师参加临床工作13年，2名副主任医师参加临床工作7年，均长期从事包虫病的临床诊治工作，熟练掌握包虫病的影像学诊断、分类及分型。4名高级职称医师依据国内外两型包虫诊疗专家共识，依据包虫病的图像特征共同制定标注标准。任务分工如下：2名主任医师负责最终的审核和修改，2名副主任医师和2名研究生负责标注，2名医学研究生标注完毕后，由两名副主任医师审核修改，两名副主任医师标注完毕后相互核对。病灶标注软件采用ITK-SNAP进行，为了评估标注者间标注图像的一致性，随机选择30个病例，提取的特征进行观察者间一致性的检测，通过组内相关系数(Intra-/inter-class Correlation Coefficients，ICCs)来观察医生间所标注图像的一致性，ICC值范围从0到1，数值接近1代表再现性更强，ICC值〉0.8表明特征可再现，ICC值〈0.8需要重新标注。当遇到复杂图像时由几位高级职称医师共同讨论确认。2名医学研究生分别接受一周的完整培训，培训内容包括：软件使用、CT器官识别、病灶识别、病灶信息、包虫病文献阅读等。

步骤4，数据预处理。

在回顾性研究中，CT图像会出现不均衡分布的强度、对比度差异、噪声干扰等问题，同一家医院在建设和迭代发展中，投入使用的CT仪器和参数也会不同，图像质量出现差异是客观存在的，因此需要对收集到的CT图像进行预处理，抑制噪声及增加对比度。本发明采用的预处理方法主要包括四种方法：加窗技术、自适应直方图均衡化、数据增强和空间插值。

1)加窗技术：通常肝脏及肿瘤的窗宽为100～200，窗位为30～45，本发明依据数据集建立时几位医生标注的舒适度及习惯，窗宽设置为126，窗位为38。

2)自适应直方图均衡化：自适应直方图均衡化方法利用分块的思想将图像的内容划分成多个子区域，按照各区域的不同分类结果进行局部直方图均衡化，各区域的均衡化还需受到预设阈值的约束，以保证噪声和局部对比度达到最优的平衡，最终借助插值算法获得最终的灰度图，窗口化及CLAHE的流程见图7。

3)数据增强：相对于其他数据医学数据存在样本量少的问题，为了提高模型的鲁棒性，减少过拟合的发生，在完成数据预处理后，本发明对实验数据进行了增强。本发明共采用了多种数据增强方法，如几何变换类的随机翻转、水平翻转等，颜色变换类的高斯噪声等，如图8所示，左侧为几何变换类的效果图，右侧为颜色变换类的效果，另外本发明仅在训练集中使用了增强数据。

4)空间插值：由于数据为回顾性收集，且同一家医院或多中心医院的不同时间段进行扫描的参数和CT机型存在差异，导致z轴上的空间(厚度)从1mm到5mm不等，本发明采用SimpleITK包(version 2.1.1)中的空间插值方法将所有空间插值为1mm，以便CT图像在z轴上具有相同的分辨率。插值的详细过程如下：首先将(x,y)方向的分辨率通过降采样的方式调整为1mm，然后统一调整图像大小为512*512，然后将z方向分辨率为5mm的保留为5mm，小于5mm的图像通过插值的方式调整为1mm。

步骤5，实验数据。

所有数据按照训练集(80％)、验证集(10％)和测试集(10％)进行随机分配。

步骤6，结果评价方法。

通过准确度、精准度、特异度和F1评分来评估模型分类性能。通过ROC和AUC来评估模型的综合诊断性能，其中ROC曲线通过绘制不同阈值设置下的真阳性率与假阳性率来创建，AUC则为曲线下面积。

步骤7，医生从每个CT序列中挑选出3～5张关注的图像。

步骤8，将所有医生关注的图像输入A-FRCNN(A)进行监督学习。

步骤9，通过求MSE loss来监督训练，A-FRCNN(A)学会自动挑选医生关注的图像后，保存模型权重并固定权重，供后续使用。

本发明的医生关注特征与整个病灶特征象融合A-FRCNN(B)的步骤如下：

步骤1，利用训练好的A-FRCNN(A)，输入整个CT序列得到医生选取的关注特征(图片)。

步骤2，将步骤1得到的特征(图片)与整个CT序列分别作为输入。

步骤3，所有CT序列图像输入到A-FRCNN(B)网络中，医生选取的关注特征(图片)输入到resnet18中。

步骤4，A-FRCNN(A)通过resnet18获得的图像特征在A-FRCNN(B)最底层进行融合，融合的方式将两种特征作为输入并按照通道进行拼接。

步骤6，拼接后通过一个卷积层来进行通道压缩，还原为原来的通道数。

步骤7，返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

本发明选择A-FRCNN作为主干网络，A-FRCNN作为U-Net-based的方法对于医学图像具有天然的优势，这是因为U-Net是医学图像常用的结构。本发明使用一个A-FRCNN作为医生关注CT选择的预训练网络，A-FRCNN与UNet类似都能够获取到图像的多尺度信息，这可以使模型既关注图像细节又关注宏观语义信息，并且A-FRCNN包含大量的自上而下、自下而上和侧向连接能够充分地融合不同尺度信息，可以做到精细特征来补全图像细节，语义特征来指导选择合适的CT图像。最后，A-FRCNN将所有尺度的特征都投射到了分辨率最大的层，目的是本发明需要恢复到CT图像的原始尺度上，这样本发明得到的输出就是医生关注的特征。然后，本发明将医生关注的特征输入到ResNet18中，本发明使用这个的目的是ResNet18网络结构简单，本发明在获取医生关注特征并不希望他过度抽象，这可能会影响与原始CT融合的效果。对于所有CT图像的特征提取使用另外一个A-FRCNN，本发明选择医生关注图像提取和所有CT图像特征提取使用一样的网络结构的原因是这样可以证明A-FRCNN对于医学图像的作用，表明了网络结构的重要性。另外，本发明也是为了保持网络中的梯度在同一个范围内，更容易收敛得到一个不错的结果。

本发明实施例提供的模型的优势是发现了囊型包虫本身存在有无活性图片并存的情况，而医生判断的逻辑是依据最具有代表性的图片去对整个病灶对判断，而本模型就效仿了医生的判断逻辑，让机器学习模型去效仿医生，提取医生关注图像然后提取特征，再与所有的病灶图像提取的特征进行融合，这样使得重要的特征占比增加，增加分类的准确性。

如图9所示，本发明实施例提供的模型添加在已开发的包虫病诊断模型上，进一步对囊型包虫进行分类。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体，或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种融合医生关注图像的肝囊型包虫活性分类模型构建方法，其特征在于，肝囊型包虫活性分类模型由A-FRCNN(A)和A-FRCNN(B)两部分拼接组成，融合的部位是在A-FRCNN(B)最底层进行融合，依据医生的判断逻辑，利用机器学习模型去效仿医生，提取关注图像然后提取特征，再与所有的病灶图像提取的特征进行融合，使得重要的特征占比增加，增加分类的准确性。

2.如权利要求1所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法，其特征在于，所述构建方法选择A-FRCNN作为主干网络，A-FRCNN作为U-Net-based；使用A-FRCNN作为医生关注CT选择的预训练网络，获取到图像的多尺度信息；A-FRCNN将所有尺度的特征投射到分辨率最大的层，得到输出医生关注的特征；将医生关注的特征输入到ResNet18中，对于所有CT图像的特征提取使用另外的A-FRCNN。

3.如权利要求1所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法，其特征在于，融合医生关注图像的肝囊型包虫活性分类模型构建方法包括以下步骤：

步骤一，自动化选择医生关注特征；

步骤二，将选择的医生关注特征与完整病灶特征象融合。

4.如权利要求3所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法，其特征在于，所述构建方法具体包括：

步骤1，医生从每个CT序列中挑选出3-5张关注的图像；

步骤2，将所有医生关注的图像输入A-FRCNN(A)进行监督学习；

步骤3，通过求MSE loss来监督训练，A-FRCNN(A)学会自动挑选医生关注的图像后，保存模型权重并固定权重，供后续使用；

步骤4，利用步骤1-3训练好的A-FRCNN(A)，输入整个CT序列得到医生选取的关注特征；

步骤5，将步骤4得到的特征(图片)与整个CT序列分别作为输入；

步骤6，所有CT序列图像输入到A-FRCNN(B)网络中，医生选取的关注特征输入到resnet18中；

步骤7，A-FRCNN(A)通过resnet18获得的图像特征在A-FRCNN(B)最底层进行融合，融合的方式将两种特征作为输入并按照通道进行拼接；

步骤8，拼接后通过一个卷积层来进行通道压缩，还原为原来的通道数；

步骤9，返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

5.如权利要求3所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法，其特征在于，步骤一中的自动化选择医生关注特征包括：

(1)收集囊型包虫病CT数据，影像的技术参数如下：CT为Phillips 256层iCT扫描仪和UNITED 64层CT扫描仪，扫描范围为膈顶至下腔静脉，扫描参数为管电压：100～140KV、电流：260～300mA、层厚：1～5mm、层间距：0.5～1mm；

(2)经过严格的纳入与排除标准；囊型包虫病CT资料纳入标准：1)CT诊断报告明确诊断的包虫病影像；2)术前未明确诊断，患者经术后病理切片确诊的包虫病术前CT影像；3)经伦理委员会同意，签署同意书的患者CT影像；

其中，包虫病CT资料排除标准为：1)所有术后的CT影像资料，包括手术切除、微波治疗和穿刺置管引流治疗；2)术前未明确诊断，患者未经手术病理切片确诊的CT影像；3)囊性包虫大量腹腔转移、标注困难的CT影像；

(3)数据标注；病灶标注软件采用ITK-SNAP进行；随机选择病例，提取的特征进行观察者间一致性的检测；通过组内相关系数观察医生间所标注图像的一致性，ICC值范围从0到1，数值接近1代表再现性更强，ICC值〉0.8表明特征可再现，ICC值〈0.8需要重新标注；

(4)数据预处理；依次采用加窗技术、自适应直方图均衡化、数据增强和空间插值的预处理方法进行数据预处理；

(5)实验数据：所有数据按照训练集80％、验证集10％和测试集10％的比例进行随机分配；

(6)结果评价方法：通过准确度、精准度、特异度和F1评分评估模型分类性能；通过ROC和AUC评估模型的综合诊断性能；其中ROC曲线通过绘制不同阈值设置下的真阳性率与假阳性率创建，AUC则为曲线下面积；

(7)医生从每个CT序列中挑选出3～5张关注的图像；

(8)将所有医生关注的图像输入A-FRCNN(A)进行监督学习；

(9)通过求MSE loss监督训练，A-FRCNN(A)学会自动挑选医生关注的图像后，保存模型权重并固定权重，供后续使用。

6.如权利要求5所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法，其特征在于，步骤(4)中的数据预处理包括：

1)加窗技术：肝脏及肿瘤的窗宽为100～200，窗位为30～45，依据数据集建立时几位医生标注的舒适度及习惯，窗宽设置为126，窗位为38；

2)自适应直方图均衡化：自适应直方图均衡化方法利用分块的思想将图像的内容划分成多个子区域，按照各区域的不同分类结果进行局部直方图均衡化，各区域的均衡化还受到预设阈值的约束，最终借助插值算法获得最终的灰度图；

3)数据增强：采用几何变换类的随机翻转、水平翻转，颜色变换类的高斯噪声的数据增强方法对实验数据训练集进行增强；

4)空间插值：采用SimpleITK包中的空间插值方法将所有空间插值为1mm，插值过程如下：将(x,y)方向的分辨率通过降采样的方式调整为1mm；统一调整图像大小为512*512；将z方向分辨率为5mm的保留为5mm，小于5mm的图像通过插值的方式调整为1mm。

7.如权利要求3所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法，其特征在于，步骤二中的将选择的医生关注特征与完整病灶特征象融合包括：A-FRCNN(A)的输出在选择医生特征是模型选择的特征，与挑选出的每位患者整个序列中典型的特征进行比较，通过求MSE loss监督训练；训练完毕后保存模型权重并固定权重；使用保存的医生选取模型，输入整个CT序列得到医生选取的关注特征，将得到的特征与整个CT序列作为输入；分别将所有CT图输入到A-FRCNN(B)网络中，医生选取的关注特征输入到resnet18中，在A-FRCNN(B)最底层进行融合，融合的方式是将两种特征作为输入并按照通道进行拼接；通过卷积层进行通道压缩，还原为原来的通道数；再返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

8.如权利要求3所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法，其特征在于，步骤二中的将选择的医生关注特征与完整病灶特征象融合包括：

(1)利用训练好的A-FRCNN(A)，输入整个CT序列得到医生选取的关注特征；

(2)将步骤(1)得到的特征与整个CT序列分别作为输入；

(3)将所有CT序列图像输入到A-FRCNN(B)网络中，医生选取的关注特征输入到resnet18中；

(4)A-FRCNN(A)通过resnet18获得的图像特征在A-FRCNN(B)最底层进行融合，融合的方式将两种特征作为输入并按照通道进行拼接；

(5)拼接后通过卷积层进行通道压缩，还原为原来的通道数；

(6)返回到A-FRCNN(B)中进行训练，输出的分类结果与目标结果使用cross-entropy作为loss进行监督训练。

9.一种应用如权利要求1～8任意一项所述的构建方法的融合医生关注图像的肝囊型包虫活性分类系统，其特征在于，融合医生关注图像的肝囊型包虫活性分类系统包括：

关注特征选择模块，用于自动化选择医生关注特征；

特征融合模块，用于将选择的医生关注特征与完整病灶特征象融合。

10.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～8任意一项所述的融合医生关注图像的肝囊型包虫活性分类模型构建方法的步骤。

Images