CN111477336A - 传染病诊断数据的融合方法、系统及存储介质 - Google Patents
传染病诊断数据的融合方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111477336A CN111477336A CN202010264965.7A CN202010264965A CN111477336A CN 111477336 A CN111477336 A CN 111477336A CN 202010264965 A CN202010264965 A CN 202010264965A CN 111477336 A CN111477336 A CN 111477336A
- Authority
- CN
- China
- Prior art keywords
- model
- shared
- diagnosis
- diagnostic
- infectious disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 167
- 208000035473 Communicable disease Diseases 0.000 title claims abstract description 77
- 208000015181 infectious disease Diseases 0.000 title claims abstract description 77
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 54
- 238000012795 verification Methods 0.000 claims description 52
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 3
- 208000025721 COVID-19 Diseases 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 11
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 208000020446 Cardiac disease Diseases 0.000 description 1
- 241000711573 Coronaviridae Species 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 208000031662 Noncommunicable disease Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种传染病诊断数据的融合方法、系统及存储介质，收集传染病诊断数据；对所述传染病诊断数据进行预处理；利用经预处理后的传染病诊断数据训练初始模型，得到本地诊断模型；对所述本地诊断模型的权重根据参与训练的样本数量进行加权平均，得到共享诊断模型。本发明方法的融合方法可以将本地诊断模型融合成共享诊断模型，并且融合后的模型(共享诊断模型)能够聚集融合前模型(本地诊断模型)学习到的数据特征，融合后模型的诊断准确性比各融合前的模型诊断准确性高，从而提高了模型的准确性。
Description
技术领域
本发明涉及人工智能领域，特别是一种传染病诊断数据的融合方法、系统及存储介质。
背景技术
新型冠状病毒肺炎(COVID-19)由于其传染性强，人群无免疫力及其传播途径和传播方式广等原因，COVID-19迅速蔓延，在防控的初期，给社会各界特别是医务人员带来了巨大的压力，给我国的社会和经济造成了巨大负担。目前， COVID-19的诊断主要依赖于一般检查、胸部影像学、核酸检测等，需要大量的人工参与，造成了医疗资源紧张的局面。而人工智能技术可以分析数据信息，快速地成为医疗领域的专家，辅助医生进行诊断。若将人工智能技术用于辅助疫情的诊断，可以减轻医生的工作压力，提高医生的工作效率和诊断准确率，缓解医疗资源不足的问题。
在当前的计算机辅助诊断研究中，大多数研究都基于深度学习技术并取得了优秀的效果。Havaei等人提出了一种基于深度神经网络的全自动脑肿瘤分割方法，实现了一种双通道结构，该方法适用于识别核磁共振成像(MRI)中的胶质瘤。 Hazlett等人开发的深度学习算法可以用来预测2岁前的儿童是否会在2岁之后被诊断为自闭症。但使用深度学习技术来训练疾病诊断模型需要大量的数据，通常情况下单个医院拥有的数据量难以满足要求，需要从多个医院收集数据上传到中心服务器。中心服务器收集到数据后，再使用深度学习技术来训练疾病诊断模型。在数据被收集到中心服务器时，医院就失去了对患者传染病诊断数据的拥有权，无法控制患者传染病诊断数据的存储、使用及流向等等，增加了患者信息被泄露和被滥用的风险。若患者信息被泄露，将会给患者的生活带来困扰。因此，如何在保护隐私的情况下，利用分散在各地医院的传染病诊断数据训练一个 COVID-19诊断模型，辅助医生进行诊断，缓解医生的工作压力，是目前的研究热点。
在医疗大数据环境中，保护患者的隐私的常用技术主要有基于访问控制的处理技术，基于数据加密的处理技术和基于匿名化的处理技术等，但这几种技术存在着灵活性较差、计算开销大和容易受到链接攻击等缺点。若将这几种技术应用到分布式环境下的诊断模型训练中，数据传输到中心服务器的过程仍有可能造成隐私泄露。谷歌公司在2017年提出的联邦学习能够在用户不需要集中存储数据的情况下，从这些丰富的数据中学习得到模型，能够很好地保护用户对数据的控制权。由于联邦学习提出的时间较短，目前与联邦学习相关的研究较少，现有的关于联邦学习的研究主要分为技术研究和实际应用两方面，且联邦学习在医疗领域的应用主要集中在心脏病诊断和ICU病房的死亡率预测。
现有技术缺陷总结如下：
(1)使用深度学习技术来训练COVID-19诊断模型需要从分布各地的医院收集大量的数据，此时医院失去对患者传染病诊断数据的拥有权，增加了患者信息被泄露和被滥用的风险。
(2)在医疗大数据环境中，保护患者隐私的常用技术仍存在着灵活性较差、计算开销大和容易受到链接攻击等缺点。
(3)现在还没有合适的方法，能在保护用户隐私的情况下，利用分散在各地医院的传染病诊断数据训练一个COVID-19诊断模型。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种传染病诊断数据的融合方法、系统及存储介质，提高疾病预测模型的准确性。
为解决上述技术问题，本发明所采用的技术方案是：一种传染病诊断数据的融合方法，包括以下步骤：
1)收集传染病诊断数据；
2)对所述传染病诊断数据进行标注和数据清洗等预处理操作；
3)利用经步骤1)预处理后的传染病诊断数据训练初始模型，得到本地诊断模型；
4)对所述本地诊断模型的权重根据参与步骤2)训练的样本数量进行加权平均，得到共享诊断模型；
优选地，收集多组传染病诊断数据，并对每一组传染病诊断数据均执行步骤2)和步骤3)的操作，得到多个本地诊断模型，在所述步骤4) 中，将所有本地诊断模型的权重根据参与步骤2)训练的样本数量进行加权平均，得到共享诊断模型；
其中，所述初始模型为共享模型或所述共享诊断模型。
初次训练时，初始模型为共享模型；迭代时，第k次迭代的初始模型为第 k-1次迭代后得到的共享诊断模型，其中，k≥2。
通过将本地诊断模型融合成共享诊断模型，并且融合后的模型(共享诊断模型)能够聚集到各融合前模型学习到的数据特征，融合后模型的诊断准确性比各融合前的模型诊断准确性高。相比于现有的模型融合方法，比如集成学习的方法，本发明的融合方法在推理时间和存储空间上更有优势。尤其对于有多组传染病诊断数据的情况，本发明的共享诊断模型准确性更高。
所述共享模型为修改后的神经网络模型，或者神经网络模型在图像数据识别库中进行预训练后得到的模型，保证所有的模型提供端是从同一起点开始训练，为模型融合的效果提供保障。
所述神经网络模型为残差神经网络，残差神经网络能在图像分类领域表现良好的性能，使用残差神经网络能够保障模型提供端提供的本地诊断模型的准确性。
修改神经网络模型的实现过程包括：去除所述神经网络模型的最后一层，并增加一全连接层和一输出层，全连接层与神经网络模型的最后一个卷积层连接，从而保证所述神经网络模型能够用于疾病分类场景。
本发明中，所述残差神经网络为ResNet-50网络，避免了较深的网络在训练和模型存储时产生较高的内存开销的现象，同时又能保证单个模型提供端训练的本地诊断模型的准确率。
为了进一步提高模型的准确性，上述步骤4)之后，还执行如下步骤：
5)利用消费端收集、标注和管理的由传染病诊断数据构成的验证集对所述共享诊断模型进行验证，获得所述共享诊断模型在所述验证集上的准确率，若所述准确率达到设定阈值，则判定所述共享诊断模型合格。
或者，本发明提高模型准确性的另一种方法是，上述步骤4)之后，还执行如下步骤：
5)计算当前使用的共享诊断模型在所述验证集上的准确率，以及最新获得的共享诊断模型在所述验证集上的准确率；
6)比较当前使用的共享诊断模型在所述验证集上的准确率与最新获得的共享诊断模型在所述验证集上的准确率，将准确率高的共享诊断模型更新为当前共享诊断模型；
7)若更新后的当前共享诊断模型在验证集上的准确率达到使用阈值，则判定所述更新后的当前共享诊断模型合格。
本发明中，验证集可以是一批COVID-19的传染病诊断数据，由消费端在平时的诊断中收集传染病诊断数据，进行标注和管理。由于疾病是不断发展的，验证集需要根据实际的使用情况更新其中包含的传染病诊断数据，以此来保证验证集的准确性。
相应地，本发明还提供了一种传染病诊断数据的融合系统，其包括：
至少一个模型提供端，各模型提供端分别收集传染病诊断数据，并分别对各自收集的传染病诊断数据进行标注和数据清洗等预处理操作，利用预处理后的传染病诊断数据训练初始模型，得到本地诊断模型；所述初始模型为从云服务器获取的共享模型或共享诊断模型；
云服务器，用于存储共享模型，以及将所述本地诊断模型的权重根据参与训练本地诊断模型的样本数量进行加权平均，得到共享诊断模型。
为了进一步提高模型的预测精度，本发明中设置了多个模型提供端。
本发明的系统中，云服务器只存储共享模型、本地诊断模型和参与训练本地诊断模型的样本数量，而不用获取传染病诊断数据，即云服务器不会收集各个医院的传染病诊断数据，本地诊断模型的训练也无需在云端进行，解决了现有技术诊断模型训练过程中隐私容易泄露的问题。
本发明中，所述模型提供端包括：
预处理单元，用于收集传染病诊断数据，并对所述传染病诊断数据进行标注和数据清洗等预处理操作；
下载单元，用于从所述云服务器下载共享模型；
训练单元，用于将所述共享模型作为初始模型，利用预处理后的传染病诊断数据训练所述初始模型，得到本地诊断模型。
优选地，本发明的模型提供端还包括传输单元，所述传输单元用于将参与训练本地诊断模型的样本数量和所述训练单元输出的本地诊断模型传输至所述云服务器。
本发明中，所述云服务器包括：
模型库，用于存储所述本地诊断模型和参与训练本地诊断模型的样本数量数据；
融合单元，用于对所述模型库内的本地诊断模型的权重根据参与训练本地诊断模型的样本数量进行加权平均，得到共享诊断模型。
为了提高本发明系统的可靠性和准确性，本发明的系统还包括消费端，所述消费端用于验证所述共享诊断模型是否合格；优选地，所述消费端验证所述共享诊断模型是否合格的实现过程包括：利用消费端收集、标注和管理的验证集对所述共享诊断模型进行验证，获得所述共享诊断模型在所述验证集上的准确率，若所述准确率达到设定阈值，则判定所述共享诊断模型合格；或者，
所述消费端验证所述共享诊断模型是否合格的实现过程包括：
计算当前使用的共享诊断模型在所述验证集上的准确率，以及最新获得的共享诊断模型在所述验证集上的准确率；
比较当前使用的共享诊断模型在所述验证集上的准确率与最新获得的共享诊断模型在所述验证集上的准确率，将准确率高的共享诊断模型更新为当前共享诊断模型；
若更新后的当前共享诊断模型在验证集上的准确率达到使用阈值，则判定所述更新后的当前共享诊断模型合格。
作为一个发明构思，本发明还提供了一种计算机可读存储介质，其存储有用于执行本发明方法步骤的程序。
本发明中的传染病诊断数据可以是COVID-19传染病诊断数据，当然，本发明的方法也适用于非传染病诊断数据。
与现有技术相比，本发明所具有的有益效果为：
1、本发明方法的融合方法，可以将本地诊断模型融合成共享诊断模型，并且融合后的模型(共享诊断模型)能够聚集融合前模型(本地诊断模型)学习到的数据特征，融合后模型的诊断准确性比各融合前的模型诊断准确性高，从而提高了模型的准确性。
2、本发明方法设计了模型提供端和云服务器端，模型提供端只需传输训练好的模型给云服务器端，而无需传输疾病数据，保护了模型提供端对患者数据的控制权，降低了患者隐私被泄露、被滥用的风险。
3、本发明方法的联邦优化过程通过连续迭代模型提供端和云服务器端的训练过程，能不断改善云服务器端的共享诊断模型的诊断准确性。其中模型提供端只需使用新的传染病诊断数据和上一次融合后的共享诊断模型来训练新的本地诊断模型，而不需要将新的传染病诊断数据加入到旧的传染病诊断数据一起训练，节约了本地诊断模型的训练时间。
附图说明
图1为本发明实施例1方法流程图；
图2为本发明实施例2方法流程图；
图3为本发明共享诊断模型验证流程图；
图4为本发明方法实施例体系结构图；
图5为本发明实施例COVID-19诊断模型示意图；其中，(a)为卷积残差块；(b)为恒等残差块；(c)为COVID-19诊断模型；
图6为本发明实施例模型提供端结构示意图；
图7为本发明实施例云服务器结构示意图。
具体实施方式
本发明采用联邦学习的思想，用于解决传染病诊断数据分散存储在各大医院时的模型训练中产生的隐私泄露问题。
本发明实施例1的方法流程如图1所示，
1)收集传染病诊断数据；
2)对所述传染病诊断数据进行预处理；
3)利用经步骤2)预处理后的传染病诊断数据训练初始模型，得到本地诊断模型；
4)对所述本地诊断模型的权重根据参与步骤3)训练的样本数量进行加权平均，得到共享诊断模型，如：本地诊断模型1的权重为A，参与训练本地诊断模型1的样本数量是n1，通过对所述本地诊断模型权重进行加权平均得到的共享诊断模型的权重为
其中，所述初始模型为共享模型或所述共享诊断模型。
本发明实施例2的方法流程如图2所示，
1)收集多组传染病诊断数据；
2)对所述多组传染病诊断数据分别进行预处理；
3)利用经步骤2)预处理后的传染病诊断数据训练初始模型，得到多个本地诊断模型；
4)对所有的本地诊断模型的权重根据参与步骤3)训练的样本数量进行加权平均，得到共享诊断模型，如：本地诊断模型1的权重为A，参与训练本地诊断模型1的样本数量是n1；本地诊断模型2的权重为B，参与训练本地诊断模型2的样本数量是n2，通过对所述本地诊断模型权重进行加权平均得到的共享诊断模型的权重为
其中，所述初始模型为共享模型或所述共享诊断模型。
上述实施例1和实施例2中，当第一次迭代时，初始模型为共享模型；第k次迭代时，初始模型为第k-1次迭代得到的共享诊断模型；其中，k≥2。
为了提高模型的准确性，本发明中，对于第一次迭代产生的共享诊断模型，采用下述方法验证：利用由传染病诊断数据构成的验证集对所述共享诊断模型进行验证，获得所述共享诊断模型在所述验证集上的准确率，若所述准确率达到设定阈值(例如80％)，则判定所述共享诊断模型合格。
如图3，对于有多批(多次迭代)需要验证的共享诊断模型，采用如下步骤验证：
S1、计算当前使用的共享诊断模型在由传染病诊断数据构成的验证集上的准确率，以及最新获得的共享诊断模型在所述验证集上的准确率；
S2、比较当前使用的共享诊断模型在所述验证集上的准确率与最新获得的共享诊断模型在所述验证集上的准确率，将准确率高的共享诊断模型更新为当前共享诊断模型；
S3、若更新后的当前共享诊断模型在验证集上的准确率达到使用阈值，则判定所述更新后的当前共享诊断模型合格。
如图4，本发明的体系结构主要包括三部分：(1)模型提供端，其主要是放置在各医院的客户端机器，具有丰富的医疗数据，负责提供数据和训练模型。(2) 云服务器端，其为本发明体系结构的中央控制器，负责模型的收集、融合和存储。(3)消费端，面向的用户主要是医疗资源紧张、需要使用COVID-19诊断模型进行辅助诊断的医院。以COVID-19的CT图像数据为例，本发明主要实现过程包括以下三个步骤：第一步，各个模型提供端分别收集数据和训练得到本地COVID-19 诊断模型；第二步，云服务器端收集模型提供端提供的本地模型进行融合，得到共享模型；第三步，消费端从云服务器端下载并验证共享模型，验证通过的共享模型即可投入使用。
如图5，由于单个的模型提供端能提供的数据有限，一个合适的神经网络结构对于模型提供端是非常重要的。残差神经网络(ResNet)在分类领域表现出良好的性能。本发明在模型提供端使用ResNet-50来训练得到本地的COVID-19诊断模型，在训练时，将ResNet-50的最后一层去掉，增加一个神经元个数为128的全连接层和一个输出层。
对应于上述实施例1，本发明可以只有一个模型提供端，该模型提供端用于收集传染病诊断数据，并对收集的传染病诊断数据进行预处理，利用预处理后的传染病诊断数据训练初始模型，得到本地诊断模型；所述初始模型为从云服务器获取的共享模型或共享诊断模型；
云服务器，用于存储共享模型，以及将所述本地诊断模型的权重根据参与训练本地诊断模型的样本数量进行加权平均，得到共享诊断模型；
为了更进一步提高模型的预测精度，对应于上述实施例2，本发明包括多个模型提供端，各模型提供端训练得到本地COVID-19诊断模型的步骤如下：
第一步：各模型提供端分别收集COVID-19数据，并分别对各自收集的数据进行预处理；
第二步：各模型提供端分别从云服务器端下载共享模型，共享模型的结构为修改后的ResNet-50，当模型提供端第一次从云服务器端下载共享模型时，共享模型为ResNet-50在ImageNet预训练得到的模型；
第三步：各模型提供端分别使用第二步下载得到的共享模型作为模型提供端的初始模型，结合第一步处理好的COVID-19数据，使用随机梯度下降方法(SGD) 进行训练。在训练时，使用交叉熵作为损失函数，损失函数越小，训练得到的模型效果就越好，SGD作为一个凸优化方法，通过SGD可以调整神经网络的参数，使得损失函数尽可能小。训练完成后得到新的本地COVID-19诊断模型；
第四步：各模型提供端分别将训练好的本地COVID-19诊断模型和参与训练的样本数量传输到云服务器端，传染病诊断数据仍然留在模型提供端。
在云服务器端收集到模型提供端提供的本地模型后，有效的融合方法非常重要。本本实施例中，云服务器端的模型融合过程步骤如下：
第一步：云服务器端将各模型提供端传来的本地COVID-19诊断模型和参与训练的样本数量放入模型库中；
第二步：云服务器端对模型库中的本地COVID-19诊断模型的权重根据参与训练的样本数量进行加权平均，得到共享COVID-19诊断模型。这个共享模型可以供模型提供端和消费端下载使用。
模型提供端和云服务器端的训练过程可以连续迭代，从而不断改善云服务器端共享COVID-19诊断模型的效果。在迭代过程中，模型提供端使用新的 COVID-19数据和上一次融合后的共享诊断模型来训练新的本地诊断模型。这些新的本地诊断模型被合并成一个新的共享诊断模型。这个共享诊断模型既保留了以往学习到的旧知识，又学习了新知识，诊断性能不断提高。
这个不断迭代的过程我们称其为联邦优化。在联邦优化的过程中，由于训练数据集中可能存在噪音数据等一些因素的影响，共享诊断模型的诊断性能并不一定总是得到改善的。因此，为了保证消费端的辅助诊断效果，我们在消费端进行模型更新时，增加了验证过程。这个过程的步骤如下：
第一步：消费端从云服务器端下载当前最新的COVID-19诊断模型；
第二步：用新下载的COVID-19诊断模型在验证集上进行验证，得到其在验证集上的准确率；
第三步：计算消费端当前使用的COVID-19诊断模型在验证集上的准确率，若消费端是第一次从云端下载诊断模型，则此步骤忽略，直接跳转到第五步；
第四步：比较消费端当前使用的诊断模型和新下载的诊断模型在验证集上的准确率，将准确率高的模型更新为当前模型；
第五步：若更新后的COVID-19诊断模型在验证集上的准确率达到使用阈值，阈值为80％，则可辅助医生进行诊断。
如图6所示，本发明实施例的模型提供端包括预处理单元、下载单元、训练单元和传输单元，其中，预处理单元、下载单元均与训练单元耦合；训练单元与传输单元耦合；各单元的功能如下：
预处理单元，用于收集传染病诊断数据，并对所述传染病诊断数据进行预处理；
下载单元，用于从所述云服务器下载共享模型；
训练单元，用于将所述共享模型作为初始模型，利用预处理后的传染病诊断数据训练所述初始模型，得到本地诊断模型；
传输单元，用于将参与训练本地诊断模型的样本数量和所述训练单元输出的本地诊断模型传输至所述云服务器。
如图7所示，本发明的云服务器包括模型库和融合单元；其中模型库与传输单元通信；模型库与融合单元的功能如下：
模型库，用于存储所述本地诊断模型和参与训练本地诊断模型的样本数量数据；
融合单元，用于对所述模型库内的本地诊断模型的权重根据参与训练本地诊断模型的样本数量进行加权平均，得到共享诊断模型。
本发明的系统还包括消费端，消费端用于验证所述共享诊断模型是否合格；所述消费端验证所述共享诊断模型是否合格的实现过程包括：利用由传染病诊断数据构成的验证集对所述共享诊断模型进行验证，获得所述共享诊断模型在所述验证集上的准确率，若所述准确率达到设定阈值，则判定所述共享诊断模型合格；或者，
所述消费端验证所述共享诊断模型是否合格的实现过程包括：
计算当前使用的共享诊断模型在所述验证集上的准确率，以及最新获得的共享诊断模型在所述验证集上的准确率；
比较当前使用的共享诊断模型在所述验证集上的准确率与最新获得的共享诊断模型在所述验证集上的准确率，将准确率高的共享诊断模型更新为当前共享诊断模型；
若更新后的当前共享诊断模型在验证集上的准确率达到使用阈值，则判定所述更新后的当前共享诊断模型合格。
本发明的实施例还包括了一种计算机可读存储介质，其存储有用于执行上述实施例1和实施例2方法步骤的程序。
以上过程在CT图像数据上进行了实验，并从推理时间、存储空间、准确率和受试者工作特征曲线下的面积四个评价角度对本发明方法和现有的常用模型融合方法(投票法和概率平均等集成学习方法)进行了比较。实验结果证明了本方法的有效性，同时，本发明方法也比现有方法在推理时间、存储空间上体现了较大的优势，现有的集成学习方法其原理是对模型的预测结果进行处理，在辅助诊断时，需要将待诊断样本输入到每个本地诊断模型中进行预测，再采用一些准则 (投票或概率平均等)对本地诊断模型的预测结果进行分析，得到最后的诊断结果。这种方式在融合后实际上还是多个模型，这使得共享诊断模型耗费的存储空间是本地诊断模型的n倍，也就是n个本地诊断模型大小之和。同样地，这也使得共享诊断模型的推理时间是本地诊断模型推理时间的n倍加上对预测结果进行分析的时间。而本发明的方法是直接对本地诊断模型的权重进行加权平均，融合的结果只有一个模型，在辅助诊断时不需要将待诊断样本输入到各个本地诊断模型中，相比于现有的方法节约了时间和空间。说明了本发明方法相对现有方法具有极大的优越性。
Claims (10)
1.一种传染病诊断数据的融合方法，其特征在于，包括以下步骤：
1)收集传染病诊断数据；
2)对所述传染病诊断数据进行预处理；
3)利用经步骤2)预处理后的传染病诊断数据训练初始模型，得到本地诊断模型；
4)对所述本地诊断模型的权重根据参与步骤3)训练的样本数量进行加权平均，得到共享诊断模型；
优选地，收集多组传染病诊断数据，并对每一组传染病诊断数据均执行步骤2)和步骤3)的操作，得到多个本地诊断模型，在所述步骤4)中，将所有本地诊断模型的权重根据参与步骤2)训练的样本数量进行加权平均，得到共享诊断模型；
其中，所述初始模型为共享模型或所述共享诊断模型。
2.根据权利要求1所述的传染病诊断数据的融合方法，其特征在于，所述共享模型为修改后的神经网络模型，或者神经网络模型在图像数据识别库中进行预训练后得到的模型。
3.根据权利要求2所述的传染病诊断数据的融合方法，其特征在于，所述神经网络模型为残差神经网络；优选地，修改神经网络模型的实现过程包括：去除所述神经网络模型的最后一层，并增加一全连接层和一输出层，所述全连接层与所述神经网络模型的最后一个卷积层连接；优选地，所述残差神经网络为ResNet-50网络。
4.根据权利要求1～4之一所述的传染病诊断数据的融合方法，其特征在于，步骤4)之后，还执行如下步骤：
5)利用由传染病诊断数据构成的验证集对所述共享诊断模型进行验证，获得所述共享诊断模型在所述验证集上的准确率，若所述准确率达到设定阈值，则判定所述共享诊断模型合格。
5.根据权利要求1～4之一所述的传染病诊断数据的融合方法，其特征在于，步骤4)之后，还执行如下步骤：
4)计算当前使用的共享诊断模型在由传染病诊断数据构成的验证集上的准确率，以及最新获得的共享诊断模型在所述验证集上的准确率；
5)比较当前使用的共享诊断模型在所述验证集上的准确率与最新获得的共享诊断模型在所述验证集上的准确率，将准确率高的共享诊断模型更新为当前共享诊断模型；
6)若更新后的当前共享诊断模型在验证集上的准确率达到使用阈值，则判定所述更新后的当前共享诊断模型合格。
6.一种传染病诊断数据的融合系统，其特征在于，包括：
至少一个模型提供端，所述模型提供端用于收集传染病诊断数据，并对收集的传染病诊断数据进行预处理，利用预处理后的传染病诊断数据训练初始模型，得到本地诊断模型；所述初始模型为从云服务器获取的共享模型或共享诊断模型；
云服务器，用于存储共享模型，以及将所述本地诊断模型的权重根据参与训练本地诊断模型的样本数量进行加权平均，得到共享诊断模型；
优选地，所述模型提供端为多个。
7.根据权利要求6所述的传染病诊断数据的融合系统，其特征在于，所述模型提供端包括：
预处理单元，用于收集传染病诊断数据，并对所述传染病诊断数据进行预处理；
下载单元，用于从所述云服务器下载共享模型；
训练单元，用于将所述共享模型作为初始模型，利用预处理后的传染病诊断数据训练所述初始模型，得到本地诊断模型；
优选地，还包括传输单元，所述传输单元用于将参与训练本地诊断模型的样本数量和所述训练单元输出的本地诊断模型传输至所述云服务器。
8.根据权利要求6所述的传染病诊断数据的融合系统，其特征在于，所述云服务器包括：
模型库，用于存储所述本地诊断模型和参与训练本地诊断模型的样本数量数据；
融合单元，用于对所述模型库内的本地诊断模型的权重根据参与训练本地诊断模型的样本数量进行加权平均，得到共享诊断模型。
9.根据权利要求6～8之一所述的传染病诊断数据的融合系统，其特征在于，还包括消费端，所述消费端用于验证所述共享诊断模型是否合格；
优选地，所述消费端验证所述共享诊断模型是否合格的实现过程包括：利用由传染病诊断数据构成的验证集对所述共享诊断模型进行验证，获得所述共享诊断模型在所述验证集上的准确率，若所述准确率达到设定阈值，则判定所述共享诊断模型合格；或者，
所述消费端验证所述共享诊断模型是否合格的实现过程包括：
计算当前使用的共享诊断模型在所述验证集上的准确率，以及最新获得的共享诊断模型在所述验证集上的准确率；
比较当前使用的共享诊断模型在所述验证集上的准确率与最新获得的共享诊断模型在所述验证集上的准确率，将准确率高的共享诊断模型更新为当前共享诊断模型；
若更新后的当前共享诊断模型在验证集上的准确率达到使用阈值，则判定所述更新后的当前共享诊断模型合格。
10.一种计算机可读存储介质，其特征在于，其存储有用于执行权利要求1～5之一所述方法步骤的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010264965.7A CN111477336A (zh) | 2020-04-07 | 2020-04-07 | 传染病诊断数据的融合方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010264965.7A CN111477336A (zh) | 2020-04-07 | 2020-04-07 | 传染病诊断数据的融合方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111477336A true CN111477336A (zh) | 2020-07-31 |
Family
ID=71749939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010264965.7A Pending CN111477336A (zh) | 2020-04-07 | 2020-04-07 | 传染病诊断数据的融合方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111477336A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112447298A (zh) * | 2020-11-24 | 2021-03-05 | 平安科技（深圳）有限公司 | 基于联邦迁移学习的神经退行性疾病建模装置及相关设备 |
| CN113537513A (zh) * | 2021-07-15 | 2021-10-22 | 青岛海尔工业智能研究院有限公司 | 基于联邦学习的模型训练方法、装置、系统、设备和介质 |
| CN114171206A (zh) * | 2021-10-29 | 2022-03-11 | 南京天溯自动化控制系统有限公司 | 模型训练、传感病预测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108538390A (zh) * | 2018-04-28 | 2018-09-14 | 中南大学 | 一种面向医学数据的增量式处理方法 |
| CN110399742A (zh) * | 2019-07-29 | 2019-11-01 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| CN110795477A (zh) * | 2019-09-20 | 2020-02-14 | 平安科技（深圳）有限公司 | 数据的训练方法及装置、系统 |
| CN110909875A (zh) * | 2019-11-22 | 2020-03-24 | 北京百度网讯科技有限公司 | 共享编码器生成方法、装置及电子设备 |
-
2020
- 2020-04-07 CN CN202010264965.7A patent/CN111477336A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108538390A (zh) * | 2018-04-28 | 2018-09-14 | 中南大学 | 一种面向医学数据的增量式处理方法 |
| CN110399742A (zh) * | 2019-07-29 | 2019-11-01 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| CN110795477A (zh) * | 2019-09-20 | 2020-02-14 | 平安科技（深圳）有限公司 | 数据的训练方法及装置、系统 |
| CN110909875A (zh) * | 2019-11-22 | 2020-03-24 | 北京百度网讯科技有限公司 | 共享编码器生成方法、装置及电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112447298A (zh) * | 2020-11-24 | 2021-03-05 | 平安科技（深圳）有限公司 | 基于联邦迁移学习的神经退行性疾病建模装置及相关设备 |
| CN113537513A (zh) * | 2021-07-15 | 2021-10-22 | 青岛海尔工业智能研究院有限公司 | 基于联邦学习的模型训练方法、装置、系统、设备和介质 |
| WO2023284387A1 (zh) * | 2021-07-15 | 2023-01-19 | 卡奥斯工业智能研究院(青岛)有限公司 | 基于联邦学习的模型训练方法、装置、系统、设备和介质 |
| CN114171206A (zh) * | 2021-10-29 | 2022-03-11 | 南京天溯自动化控制系统有限公司 | 模型训练、传感病预测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114496234B (zh) | 一种基于认知图谱的全科患者个性化诊疗方案推荐系统 | |
| CN111477336A (zh) | 传染病诊断数据的融合方法、系统及存储介质 | |
| CN107273925B (zh) | 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 | |
| CN108351862A (zh) | 利用人工智能和用户输入来确定发育进展的方法和装置 | |
| CN112289437B (zh) | 一种基于边缘计算架构的糖尿病辅助治疗云平台系统 | |
| JP2022530868A (ja) | 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム | |
| CN112580902B (zh) | 对象数据处理方法、装置、计算机设备和存储介质 | |
| CN115881306A (zh) | 基于联邦学习的网络化icu智能医疗决策方法及存储介质 | |
| CN117352159A (zh) | 一种基于电子病历的疑难疾病循证方法、系统及存储介质 | |
| CN114743037A (zh) | 一种基于多尺度结构学习的深度医学图像聚类方法 | |
| Giuseppi et al. | An adaptive model averaging procedure for federated learning (adafed) | |
| CN116188953A (zh) | 实现数据安全的医学影像数据处理方法、系统和电子设备 | |
| Chen et al. | A New Optimal Diagnosis System for Coronavirus (COVID‐19) Diagnosis Based on Archimedes Optimization Algorithm on Chest X‐Ray Images | |
| CN116386856A (zh) | 基于医生决策模式识别的多标签疾病辅助诊断系统 | |
| CN116503668A (zh) | 一种基于小样本元学习的医学影像分类方法 | |
| Bhatia et al. | Prediction of severity of diabetes mellitus using fuzzy cognitive maps | |
| Soundrapandiyan et al. | AI-based wavelet and stacked deep learning architecture for detecting coronavirus (COVID-19) from chest X-ray images | |
| CN111680798A (zh) | 联合学习模型系统和方法、装置和计算机可读存储介质 | |
| CN117316409A (zh) | 一种基于大数据的医院信息管理方法及系统 | |
| CN114587385B (zh) | 一种基于脑肌网络图论特征的卒中后康复评估深度学习模型构建方法 | |
| KR102451102B1 (ko) | 임상 및 이미지 정보를 활용한 인공지능 기반 반려동물 피부 병변 분류 시스템 및 방법 | |
| Choudhary et al. | Predicting onset of disease progression using temporal disease occurrence networks | |
| Mu et al. | Explainable federated medical image analysis through causal learning and blockchain | |
| CN114255855A (zh) | 一种基于人工智能的医疗分级诊疗挂号管理方法及系统 | |
| CN106570310A (zh) | 一种医疗临床信息管理系统及其管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |