一种皮肤病辅助诊断系统及方法、电子设备、存储介质
技术领域
本发明属于皮肤病诊断技术领域,具体涉及一种皮肤病辅助诊断系统及方法、电子设备、存储介质。
背景技术
自20世纪70年代以来,皮肤病一直是全球最普遍的疾病,皮肤病的发病率一直在以相对稳定的速度上升,恶性皮肤病通常会对人们的整体健康产生重大不利影响。世界卫生组织国际癌症研究机构(IARC)发布了2020年全球最新癌症负担数据,统计了185个国家中的36种癌症1930万新癌症病例和近1000万癌症死亡病例,皮肤癌的发病率约占全球所有新诊断癌症病例的6.2%,皮肤疾病占全球残疾调整生命年评估疾病负担的1.79%。根据世界卫生组织(WHO)及皮肤癌基金会(SCF)提供的统计数据,中国五分之一的人会在他们一生中的某个时刻患上皮肤疾病。
皮肤疾病种类复杂、表现各异,极易漏诊、误诊,面对复杂疾病谱和庞大患者群,如何快速而准确地筛查诊断皮肤疾病已成为临床医学热点之一。对于多数皮肤疾病而言,病理诊断仍然是金标准,然而活检属于有创检查,加之存在成本较高、过程较长、技术要求较高、取材部位受限等制约因素,因此事实上病理活检远未普及,尚难以满足庞大的诊断需求。
在此背景下,把人工智能技术应用于皮肤病的筛查诊断上,可以利用医院大量的电子数据,结合资深临床医生的临床实践经验,来辅助初级医生或学员诊断疾病,提高对皮肤病诊断的准确率;同时,可以不受地理位置和医疗资源的限制,在偏远或医疗资源相对短缺的地区也可以对种类复杂的皮肤病进行诊断,降低医生的诊疗压力、患者的就医成本,满足患者、医生以及医院的需求。对缓解医疗资源分配不均,助推优质医疗服务下沉具有重大意义。
发明内容
鉴于现有技术中存在上述问题,本发明的目的是提供一种皮肤病辅助诊断系统及方法、电子设备、存储介质,通过对筛查模型进行动态更迭,能够不断扩大该系统的筛查范围,提高筛查准确性,依靠多中心诊断云平台使各级医疗机构在诊断皮肤病时能够借助该辅助诊断系统提高诊断的准确性。
一种皮肤病辅助诊断系统,包括:
皮肤病多病种分类网络,用于对获取的数据集分别进行分层特征提取,对提取的特征向量赋予权重后进行多模态融合,输出分类结果并向分类网络反馈,修改相应特征向量的权重,最终输出病种的最佳分类结果;
皮肤病动态训练库,用于采集皮肤病的数据集并进行处理,基于所述皮肤病多病种分类网络的架构构建皮肤病多病种筛查模型,并通过模型蒸馏算法对筛查模型进行动态更迭形成新模型;
多中心诊断云平台,用于接收、发送皮肤病信息,所述多中心诊断云平台包括:
中心医院,用于接收皮肤病动态训练库构建的新模型并下发给下级医疗单位,监督下级医疗单位的运行状态,以及向皮肤病动态训练库转发由下级医疗单位上传的新的数据集;
下级医疗单位,用于实时同步由中心医院发布的新模型,向医疗机构提供皮肤病辅助诊断服务,并向中心医院上传新的数据集。
为了通过筛查模型实现快速诊断的功能,所述皮肤病多病种筛查模型的构建过程包括如下步骤:
对采集到的数据集进行数据标注,再通过图形处理器对标注后的数据集进行模型训练,然后通过模型蒸馏算法构建新模型,比较新模型和旧模型在数据集上的准确率、召回率和混淆矩阵。
为了使筛查模型不断动态更迭,扩大筛查范围、提高筛查准确性,所述模型蒸馏算法包括公式一,所述公式一为Error(x;h)=E[(h(x;D)-Y)2]=B(x;h)+V(x;h)+I(x;h);其中,x是输入,h(·)是分类网络,D是训练图像的分布,Y是分类结果;所述公式一表示将筛查模型分类问题的学习目标分解为三个目标,其中B(x;h)是基本的分类损失;V(x;)是分类结果的方差,即网络对x分类的稳定性;I(x;h)是x的不可约损失,即x在D中的分布损失;所述模型蒸馏算法还包括分类损失函数,所述分类损失函数为其中,x是输入,y是预测输出,n是子分类器数量,fθ(·)是分类网络backbone提取的输入特征向量,/>表示每个子分类器对输入特征向量的预测;所述模型蒸馏算法还包括分类多样性损失函数,所述分类多样性损失函数为/>其中,x是输入,y是预测输出,DKL(·)是衡量p(i)(x,y)和p(j)(x,y)概率分布相似性的KL散度。
所述数据集包括彩色外观图像、血流超声图像、灰阶超声图像、诊断报告和病例报告。
为了提高分类网络输出结果的准确性,所述皮肤病多病种分类网络输出病种的最佳分类结果,包括如下步骤:
将获取的彩色外观图像、血流超声图像、灰阶超声图像通过ResNeXt50网络分别进行分层特征提取,每层网络分别得到特征向量一、特征向量二、特征向量三;
皮肤病多病种分类网络分别赋予特征向量一、特征向量二、特征向量三相应的权重;
将每层网络中带有权重的特征向量一、特征向量二、特征向量三进行多模态融合,得到融合特征向量,所述融合特征向量表示为Ffusion=∪wk·fk(k=1,2,3...N);
将每层的融合特征向量送入皮肤病多病种分类网络的输出层进行最终皮肤病病种分类并输出分类结果;
将分类结果反馈至皮肤病多病种分类网络中,修改相应特征向量一、特征向量二、特征向量三的权重,以输出最佳分类结果。
所述最佳分类结果根据皮肤病多病种分类网络的分类准确率或分类损失判断。
本发明的第二方面,提出一种实用上述皮肤病辅助诊断系统的筛查方法,包括如下步骤:
S1、皮肤病动态训练库基于PACS影像库采集数据集;
S2、皮肤病动态训练库对采集到的数据集进行数据标注、图形处理,并基于皮肤病多病种分类网络的架构构建皮肤病多病种筛查模型;
S3、多中心诊断云平台的中心医院接收皮肤病多病种筛查模型并下发至下级医疗单位;
S4、下级医疗单位上传难以诊断的患者的彩色外观图像、血流超声图像、灰阶超声图像向皮肤病多病种分类网络请求辅助诊断;
S5、下级医疗单位接收皮肤病多病种分类网络输出的最佳分类结果;
S6、下级医疗单位将患者诊断后的数据集上传至皮肤病动态训练库,基于模型蒸馏算法对皮肤病多病种筛查模型进行动态更迭,并重复S2-S6。
本发明的第三方面,提出一种电子设备,所述电子设备包括:存储器和至少一个处理器,所述存储器中存储有计算机程序;所述至少一个处理器调用所述存储器中的所述计算机程序,以使得所述电子设备执行上述的筛查方法。
本发明的第四方面,提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的筛查方法。
本发明的有益效果是:皮肤病动态训练库基于特征融合的分类网络架构构建筛查模型并基于模型蒸馏算法不断对筛查模型进行动态更迭,能够不断扩大该系统的筛查范围,提高筛查准确性;通过皮肤病多病种分类网络对彩色外观图像、血流超声图像、灰阶超声图像进行分层特征提取,并通过赋予权重和结果反馈的方式提高最终输出结果的准确性,进一步提高了皮肤病诊断的准确性;通过开放式的多中心诊断云平台使各级医疗机构在诊断皮肤病时能够借助该辅助诊断系统提高诊断的准确性。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明的结构示意图;
图2是本发明皮肤病动态训练库的结构示意图;
图3是本发明模型蒸馏算法的流程图;
图4是本发明皮肤病多病种分类网络的结构示意图;
图5是本发明ResNeXt50网络的结构示意图;
图6是本发明多中心诊断云平台的结构示意图。
具体实施方式
实施例一
如图1所示,一种皮肤病辅助诊断系统,包括皮肤病多病种分类网络、皮肤病动态训练库和多中心诊断云平台。
如图2、图3所示,皮肤病动态训练库用于采集皮肤病的数据集并进行处理,基于皮肤病多病种分类网络的架构构建皮肤病多病种筛查模型,并通过模型蒸馏算法对筛查模型进行动态更迭形成新模型。
皮肤病动态训练库先通过PACS影像库快速采集约5000例伦理批准的皮肤病灰阶超声图像、血流超声图像、外观彩色图像(临床影像样本)及其诊断报告、病理报告等数据形成数据集,再通过多中心诊断云平台上传的患者影像材料和诊断报告等数据更新已形成的数据集。
皮肤病多病种筛查模型的构建过程包括如下步骤:
对采集到的数据集进行数据标注,再通过图形处理器对标注后的数据集进行模型训练,然后通过模型蒸馏算法构建新模型,比较新模型和旧模型在数据集上的准确率、召回率和混淆矩阵。
具体的,模型蒸馏算法包括公式一,所述公式一为Error(x;h)=E(h(x;D)-Y)2]=B(x;h)+V(x;h)+I(x;h);其中,x是输入,h(·)是分类网络,D是训练图像的分布,Y是分类结果;所述公式一表示将筛查模型分类问题的学习目标分解为三个目标,其中B(x;h)是基本的分类损失;V(x;h)是分类结果的方差,即网络对x分类的稳定性;I(x;h)是x的不可约损失,即x在D中的分布损失;所述模型蒸馏算法还包括分类损失函数,所述分类损失函数为其中,x是输入,y是预测输出,n是子分类器数量,fθ(·)是分类网络backbone提取的输入特征向量,/>表示每个子分类器对输入特征向量的预测;所述模型蒸馏算法还包括分类多样性损失函数,所述分类多样性损失函数为/>其中,x是输入,y是预测输出,DKL(·)是衡量p(i)(x,y)和p(j)(x,y)概率分布相似性的KL散度。
如图4、图5所示,皮肤病多病种分类网络用于对获取的数据集分别进行分层特征提取,对提取的特征向量赋予权重后进行多模态融合,输出分类结果并向分类网络反馈,修改相应特征向量的权重,最终输出病种的最佳分类结果。
具体的,皮肤病多病种分类网络输出病种的最佳分类结果,包括如下步骤:
将获取的彩色外观图像、血流超声图像、灰阶超声图像通过ResNeXt50网络分别进行分层特征提取,每层网络分别得到特征向量一、特征向量二、特征向量三;
皮肤病多病种分类网络分别赋予特征向量一、特征向量二、特征向量三相应的权重;
将每层网络中带有权重的特征向量一、特征向量二、特征向量三进行多模态融合,得到融合特征向量,所述融合特征向量表示为Ffusion=∪wk·fk(k=1,2,3...N),其中wk是第k层网络的权重系数,fk是第k层网络的特征向量;
将每层的融合特征向量送入皮肤病多病种分类网络的输出层进行最终皮肤病病种分类并输出分类结果;
将分类结果反馈至皮肤病多病种分类网络中,修改相应特征向量一、特征向量二、特征向量三的权重,以输出最佳分类结果。
最佳分类结果根据皮肤病多病种分类网络的分类准确率或分类损失判断,若分类准确率达到定值不再上升则表示当前的分类结果是最佳分类结果,若分类损失达到定值不再下降则表示当前分类结果是最佳分类结果。
如图6所示,多中心诊断云平台用于接收、发送皮肤病信息,包括省、市、区(县)三级医疗机构的区域数据中心皮肤病多病种的智能诊断平台,向各级医疗机构提供辅助诊断服务。
多中心诊断云平台包括中心医院和下级医疗单位,其中,中心医院用于接收皮肤病动态训练库构建的新模型并下发给下级医疗单位,监督下级医疗单位的运行状态,以及向皮肤病动态训练库转发由下级医疗单位上传的新的数据集;下级医疗单位用于实时同步由中心医院发布的新模型,向医疗机构提供皮肤病辅助诊断服务,并向中心医院上传新的数据集。
实施例二
本发明的第二方面,提出一种实用上述皮肤病辅助诊断系统的筛查方法,包括如下步骤:
S1、皮肤病动态训练库基于PACS影像库采集数据集;
S2、皮肤病动态训练库对采集到的数据集进行数据标注、图形处理,并基于皮肤病多病种分类网络的架构构建皮肤病多病种筛查模型;
S3、多中心诊断云平台的中心医院接收皮肤病多病种筛查模型并下发至下级医疗单位;
S4、下级医疗单位上传难以诊断的患者的彩色外观图像、血流超声图像、灰阶超声图,像向皮肤病多病种分类网络请求辅助诊断;
S5、下级医疗单位接收皮肤病多病种分类网络输出的最佳分类结果;
S6、下级医疗单位将患者诊断后的数据集上传至皮肤病动态训练库,基于模型蒸馏算法对皮肤病多病种筛查模型进行动态更迭,并重复S2-S6。
实施例三
本发明的第三方面,提出一种电子设备,所述电子设备包括:存储器和至少一个处理器,所述存储器中存储有计算机程序;所述至少一个处理器调用所述存储器中的所述计算机程序,以使得所述电子设备执行实施例二的筛查方法。
实施例四
本发明的第四方面,提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现实施例二的筛查方法。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。