CN116524297B - 一种基于专家反馈的弱监督学习训练方法 - Google Patents
一种基于专家反馈的弱监督学习训练方法 Download PDFInfo
- Publication number
- CN116524297B CN116524297B CN202310477674.XA CN202310477674A CN116524297B CN 116524297 B CN116524297 B CN 116524297B CN 202310477674 A CN202310477674 A CN 202310477674A CN 116524297 B CN116524297 B CN 116524297B
- Authority
- CN
- China
- Prior art keywords
- training
- models
- model
- interpretation
- memory banks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000015654 memory Effects 0.000 claims abstract description 68
- 238000002372 labelling Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000012163 sequencing technique Methods 0.000 claims abstract description 7
- 210000004027 cell Anatomy 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 13
- 210000004881 tumor cell Anatomy 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000007170 pathology Effects 0.000 claims description 4
- 102000008096 B7-H1 Antigen Human genes 0.000 claims description 3
- 108010074708 B7-H1 Antigen Proteins 0.000 claims description 3
- 210000000170 cell membrane Anatomy 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 claims description 2
- 238000010827 pathological analysis Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 14
- 238000011160 research Methods 0.000 description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于专家反馈的弱监督学习训练方法。利用深度学习预训练得到的模型预测同一图片，对预测结果进行排序，根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时手动标注图片后加入预训练得到的所有模型的记忆库，记忆库满后扩容，设置特定条件终止训练，再预测，直到有一个模型满足判读标准。本发明创造性地基于病理医生反馈进行弱监督学习方法训练得到模型，降低了病理医生标注工作量，变成排序工作，极大的缩短了算法迭代周期，极大地提高了病理诊断的效率。
Description
技术领域
本发明属于计算机视觉图像处理技术领域，涉及一种基于专家反馈的弱监督学习训练方法。
背景技术
计算机视觉，特别是目标检测、语义分割等技术在特定领域里，如监控捕捉，无人车，病理检测等，起到了至关重要的作用。在深度学习的帮助下，近年来涌现了大量成功的检测模型，这些检测模型在识别准确度和速度上都远远超过以往的检测模型。然而，训练一个高准确率的检测模型需要大量的精确标注的图片数据作为模型监督条件，这往往需要花费大量的人力物力。同时，海量的粗略标注过的数据可以轻松的从互联网获得，因此一种非常有实用价值的研究方向是研究如何在弱监督，即仅提供粗略图片类别标注的条件下，如何有效的训练检测模型。
针对弱监督条件下的检测模型训练，目前主要的研究思路将目标检测任务作为一个多示例学习任务来处理：把由传统方法提取的候选包围框视为个例，而把整张图片作为包含所有个例的包，弱监督条件即只有包的标注，而不提供个例的标注。因此，模型的训练在从包的所有个例中挑选正样本和训练模型参数之间迭代进行，而该模型也被成为弱检测模型。
另外一种尝试是在弱监督条件下，通过伪标签的方法训练复杂的强检测模型。这类方法利用训练好的弱检测模型的预测结果作为训练强检测器模型的强标注，从而有效利用了强检测器模型的学习能力，如训练候选包围框提取网络和包围框坐标回归网络。这些弱监督条件下的检测模型训练方法，一定程度上解决了检测模型在缺少精细标注的条件下难以训练的问题，但是模型的预测效果仍然难以令人满意。
综上所述，目前适用于病理检测的弱监督学习训练方法存在算法迭代周期过长，弱监督因标注质量问题效果不佳，算法研究跟病理判读弱耦合，模型输出标准跟病理医生金标准有偏差等问题。开发一种降低专家标注工作量，极大缩短算法迭代周期的弱监督学习训练方法，提高病理诊断效率，已成为目前计算机视觉图像处理技术领域亟待解决的问题之一。
发明内容
针对现有技术的不足和实际需求，本发明提供一种基于专家反馈的弱监督学习训练方法，解决了算法研究跟病理判读弱耦合和模型输出标准跟病理医生金标准有偏差等问题，能让病理诊断样本充分利用。
为达到此发明目的，本发明采用以下技术方案：
第一方面，本发明提供了一种基于专家反馈的弱监督学习训练方法，所述弱监督学习训练方法包括：利用深度学习预训练得到的模型预测同一图片，对预测结果进行排序，根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时手动标注图片后加入预训练得到的所有模型的记忆库，记忆库满后扩容，设置特定条件终止训练，再预测，直到有一个模型满足判读标准。
本发明能让稀缺的训练集充分利用，同时优化多个模型直到满足需求，显著降低数据标注成本，加速算法研究迭代过程，算法优化方向与最终模型检验的金标准(病理医生判读)完全一致，将病理医生的标注及时训练，短时间内可以验证新的模型，减少等待反馈时间。
优选地，所述预训练包括：根据不同的训练集训练、K-折交叉训练或根据不同的随机数种子来改变数据扩增，进而改变模型的输入，训练得到不同的模型，以不同训练集为例，将原本的训练集切分成3份，分别训练得到3个模型。
优选地，所述手动标注的内容包括：点标注、框标注或像素级标注中任意一种或至少两种的组合。
优选地，所述点标注的内容包括：中心点及类别概率。
优选地，所述框标注的内容包括：中心点及宽高及类别概率。
优选地，所述像素级标注的内容包括：多通道像素级掩码。
优选地，所述判读的内容包括：细胞个数、掩码在原图的覆盖率、掩码类别准确率、目标框重叠度或预测的中心点距离中任意一种或至少两种的组合。
优选地，所述判读标准为：预测图片中阳性肿瘤细胞、阴性肿瘤细胞、阳性组织细胞和阴性组织细胞细胞个数达到各自独立地为实际各类型细胞个数的80％以上，掩码在原图的覆盖率达到80％以上，掩码类别准确率达到80％以上，目标框重叠度交并比达到80％，预测的中心点90％在细胞膜内，即为满足判读标准。
优选地，所述手动标注的内容包括：细胞的中心点及类别、细胞的目标框及类别、细胞的掩码及类别中任意一种或至少两种的组合。
优选地，所述细胞包括：阳性肿瘤细胞、阴性肿瘤细胞、阳性组织细胞或阴性组织细胞中的任意一种或至少两种的组合。
优选地，所述特定条件包括指定终止训练次数。
作为优选的技术方案，所述弱监督学习训练方法包括以下步骤：
(1)根据不同的训练集训练、K-折交叉训练或根据不同的随机数种子来改变数据扩增，进而改变模型的输入，训练得到不同的模型，以不同训练集为例，将原本的训练集切分成3份，分别训练得到3个模型A、B和C；
(2)利用深度学习预训练得到的模型预测同一图片；
(3)根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时手动标注图片后加入预训练得到的模型的记忆库；
(4)记忆库满回到步骤(2)，直到某个模型的记忆库达到训练阈值；
(5)记忆库容量是5-20，从训练集中随机采样15-60个训练样本，组合成新的记忆库，以此类推，对记忆库扩容；
(6)用扩容后的记忆库作为训练集，根据不同记忆的排名，指定次数终止训练；
(7)从3个预训练模型A、B和C，用其对应的记忆库中扩容后的训练集分别训练，得到新模型进行测试，如果不满足判读标准则回到步骤(2)，用新模型代替步骤模型(1)得到的模型A、B和C；
(8)对再次预训练得到的新模型进行测试，当其中1个模型的性能满足专家的判读标准，则该模型为最终模型。
上述5-20中的具体点值可以选择5、6、7、8、9、10、15、16、17、18、19、20等。
上述15-60中的具体点值可以选择15、16、17、18、19、20、30、40、55、56、57、58、59、60等。
第二方面，本发明提供了一种模型，所述模型由第一方面所述的弱监督学习训练方法训练得到。
第三方面，本发明提供了第二方面所述的模型在PD-L1病理诊断中的应用。
与现有技术相比，本发明具有如下有益效果：
相较于ImageNet、PASCALCOCO等公开数据集，病理诊断样本量极少，本发明能让稀缺的训练集充分利用，同时优化多个模型直到满足需求，显著降低数据标注成本，加速算法研究迭代过程，算法优化方向与最终模型检验的金标准(病理医生判读)完全一致，将病理医生的标注及时训练，短时间内可以验证新的模型，减少等待反馈时间，提高病理诊断效率。
附图说明
图1为本发明的方法示意图；
图2为利用本发明进行点标注图；
图3为利用本发明进行框标注图；
图4为利用本发明进行像素级标注图。
具体实施方式
为进一步阐述本发明所采取的技术手段及其效果，以下结合实施例和附图对本发明作进一步地说明。可以理解的是，此处所描述的具体实施方式仅仅用于解释本发明，而非对本发明的限定。
实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件，或者按照产品说明书进行。所用试剂或仪器未注明生产厂商者，均为可通过正规渠道商购获得的常规产品。
为了可以更容易地理解本发明，首先定义某些术语。如本发明中所使用的，除非另外定义，否则本发明使用的所有技术术语和科学术语具有与本发明所属领域的技术人员通常理解的含义相同的含义。本发明提及的所有专利和出版物均以引用的方式整体并入本发明。
术语“弱监督学习”，指的是一种机器学习方法，其中训练数据的标签是不完整或带有噪声的，与完全监督学习不同，完全监督学习中每个训练示例都带有正确的输出。这种方法在获取完全标记数据困难或昂贵的情况下非常有用。
“专家”：指熟悉PD-L1(E1L3N)判读的病理医生。
“记忆库”：指记录该模型预测结果不佳的样本，包含多组：输入、结果较好的输出、排名。
“记忆”：记忆库中的每条记录。
实施例1
本实施例提供一种基于专家点标注的弱监督学习训练方法。
(1)通过随机裁剪、旋转和翻转来改变数据扩增，经过扩增后输入模型的图片改变，因而训练集发生改变，训练得到不同的模型，以不同训练集为例，将原本的训练集切分成3份，分别训练得到3个模型A、B和C；
(2)利用深度学习预训练得到的模型预测同一图片(图2)；
(3)根据判读标准，把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时专家手动标注，将漏掉的补上，预测错的改正，位置不在细胞中心的调整到细胞中心后加入预训练得到的模型的记忆库；
(4)记忆库满回到步骤(2)，直到任意一个模型的记忆库达到训练阈值；
(5)记忆库容量是20，从训练集中随机采样60个训练样本，组合成新的记忆库，以此类推，对记忆库扩容；
(6)用扩容后的记忆库作为训练集，根据不同记忆的排名，指定次数终止训练；
(7)从3个预训练模型A、B和C，用其对应的记忆库中扩容后的训练集分别训练，得到新模型进行测试，如果不满足判读标准则回到步骤(2)，用新模型代替步骤模型(1)得到的模型A、B和C；
(8)对再次预训练得到的新模型进行测试，当其中任意一个模型的性能满足专家的判读标准，则该模型为专家模型。
实施例2
本实施例提供一种基于专家框标注的弱监督学习训练方法。
(1)通过随机裁剪、旋转和翻转来改变数据扩增，经过扩增后输入模型的图片改变，因而训练集发生改变，训练得到不同的模型，以不同训练集为例，将原本的训练集切分成3份，分别训练得到3个模型A、B和C；
(2)利用深度学习预训练得到的模型预测同一图片(图3)；
(3)根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时专家手动标注，将漏掉的框补上，标错的该对，位置偏差太大的调整对后加入预训练得到的模型的记忆库；
(4)记忆库满回到步骤(2)，直到任意一个模型的记忆库达到训练阈值；
(5)记忆库容量是5，从训练集中随机采样15个训练样本，组合成新的记忆库，以此类推，对记忆库扩容；
(6)用扩容后的记忆库作为训练集，根据不同记忆的排名，指定次数终止训练；
(7)从3个预训练模型A、B和C，用其对应的记忆库中扩容后的训练集分别训练，得到新模型进行测试，如果不满足判读标准则回到步骤(2)，用新模型代替步骤模型(1)得到的模型A、B和C；
(8)对再次预训练得到的新模型进行测试，当其中任意一个模型的性能满足专家的判读标准，则该模型为专家模型。
实施例3
本实施例提供一种基于专家像素级标注的弱监督学习训练方法。
(1)通过随机裁剪、旋转和翻转来改变数据扩增，经过扩增后输入模型的图片改变，因而训练集发生改变，训练得到不同的模型，以不同训练集为例，将原本的训练集切分成3份，分别训练得到3个模型A、B和C；
(2)利用深度学习预训练得到的模型预测同一图片；
(3)根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时专家手动标注，将漏掉的标注补上，标错的该对，覆盖率不够或过多的改对后加入预训练得到的模型的记忆库；
(4)记忆库满回到步骤(2)，直到任意一个模型的记忆库达到训练阈值；
(5)记忆库容量是10，从训练集中随机采样30个训练样本，组合成新的记忆库，以此类推，对记忆库扩容；
(6)用扩容后的记忆库作为训练集，根据不同记忆的排名，指定次数终止训练；
(7)从3个预训练模型A、B和C，用其对应的记忆库中扩容后的训练集分别训练，得到新模型进行测试，如果不满足判读标准则回到步骤(2)，用新模型代替步骤模型(1)得到的模型A、B和C；
(8)对再次预训练得到的新模型进行测试，当其中任意一个模型的性能满足专家的判读标准，则该模型为专家模型。
综上所述，本发明能让稀缺的病理诊断样本训练集充分利用，同时优化多个模型直到满足需求，显著降低数据标注成本，加速算法研究迭代过程，算法优化方向与最终模型检验的金标准(病理医生判读)完全一致，将病理医生的标注及时训练，短时间内可以验证新的模型，减少等待反馈时间，提高病理诊断效率。
申请人声明，本发明通过上述实施例来说明本发明的详细方法，但本发明并不局限于上述详细方法，即不意味着本发明必须依赖上述详细方法才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明产品各原料的等效替换及辅助成分的添加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。
Claims (12)
1.一种基于专家反馈的弱监督学习训练方法，其特征在于，所述弱监督学习训练方法包括：
利用深度学习预训练得到的模型预测同一图片，对预测结果进行排序，根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时手动标注图片后加入预训练得到的所有模型的记忆库，记忆库满后扩容，设置特定条件终止训练，再预测，直到有一个模型满足判读标准；
所述预训练包括：根据不同的训练集训练、K-折交叉训练或根据不同的随机数种子来改变数据扩增，进而改变模型的输入，训练得到不同的模型；其中，当根据不同的训练集为进行训练时，将原本的训练集切分成3份，分别训练得到3个模型；
所述判读标准为：预测图片中阳性肿瘤细胞、阴性肿瘤细胞、阳性组织细胞和阴性组织细胞细胞个数达到各自独立地为实际各类型细胞个数的80%以上，掩码在原图的覆盖率达到80%以上，掩码类别准确率达到80%以上，目标框重叠度交并比达到80%，预测的中心点90%在细胞膜内，即为满足判读标准；
所述扩容为当记忆库达到训练阈值时，从训练集中随机采样15-60个训练样本，组合成新的记忆库。
2.根据权利要求1所述的弱监督学习训练方法，其特征在于，所述手动标注的内容包括：点标注、框标注或像素级标注中任意一种或至少两种的组合。
3.根据权利要求2所述的弱监督学习训练方法，其特征在于，所述点标注的内容包括：中心点及类别概率。
4.根据权利要求2所述的弱监督学习训练方法，其特征在于，所述框标注的内容包括：中心点及宽高及类别概率。
5.根据权利要求2所述的弱监督学习训练方法，其特征在于，所述像素级标注的内容包括：多通道像素级掩码。
6.根据权利要求1所述的弱监督学习训练方法，其特征在于，所述判读的内容包括：细胞个数、掩码在原图的覆盖率、掩码类别准确率、目标框重叠度或预测的中心点距离中任意一种或至少两种的组合。
7.根据权利要求1所述的弱监督学习训练方法，其特征在于，所述手动标注的内容包括：细胞的中心点及类别、细胞的目标框及类别、细胞的掩码及类别中任意一种或至少两种的组合。
8.根据权利要求7所述的弱监督学习训练方法，其特征在于，所述细胞包括：阳性肿瘤细胞、阴性肿瘤细胞、阳性组织细胞或阴性组织细胞中的任意一种或至少两种的组合。
9.根据权利要求1所述的弱监督学习训练方法，其特征在于，所述特定条件包括指定终止训练次数。
10.根据权利要求1所述的弱监督学习训练方法，其特征在于，所述弱监督学习训练方法包括以下步骤：
（1）根据不同的训练集训练、K-折交叉训练或根据不同的随机数种子来改变数据扩增，进而改变模型的输入，训练得到不同的模型；其中，当根据不同的训练集进行训练时，将原本的训练集切分成3份，分别训练得到3个模型A、B和C；
（2）利用深度学习预训练得到的模型预测同一图片；
（3）根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时手动标注图片后加入预训练得到的模型的记忆库；
（4）记忆库满回到步骤（2），直到某个模型的记忆库达到训练阈值；
（5）记忆库容量是5-20，从训练集中随机采样15-60个训练样本，组合成新的记忆库，以此类推，对记忆库扩容；
（6）用扩容后的记忆库作为训练集，根据不同记忆的排名，指定次数终止训练；
（7）从3个预训练模型A、B和C，用其对应的记忆库中扩容后的训练集分别训练，得到新模型进行测试，如果不满足判读标准则回到步骤（2），用新模型代替步骤（1）得到的模型A、B和C；
（8）对再次预训练得到的新模型进行测试，当其中1个模型的性能满足专家的判读标准，则该模型为最终模型。
11.一种基于专家反馈的弱监督学习训练方法的模型，其特征在于，所述模型由权利要求1-10任一项所述的弱监督学习训练方法训练得到。
12.权利要求11所述的模型在PD-L1病理诊断中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310477674.XA CN116524297B (zh) | 2023-04-28 | 2023-04-28 | 一种基于专家反馈的弱监督学习训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310477674.XA CN116524297B (zh) | 2023-04-28 | 2023-04-28 | 一种基于专家反馈的弱监督学习训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116524297A CN116524297A (zh) | 2023-08-01 |
| CN116524297B true CN116524297B (zh) | 2024-02-13 |
Family
ID=87395439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310477674.XA Active CN116524297B (zh) | 2023-04-28 | 2023-04-28 | 一种基于专家反馈的弱监督学习训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524297B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
| CN111931931A (zh) * | 2020-09-29 | 2020-11-13 | 杭州迪英加科技有限公司 | 一种针对病理全场图像的深度神经网络训练方法、装置 |
| CN111931703A (zh) * | 2020-09-14 | 2020-11-13 | 中国科学院自动化研究所 | 基于人-物体交互弱监督标签的物体检测方法 |
| CN112613548A (zh) * | 2020-12-17 | 2021-04-06 | 中山大学 | 基于弱监督学习的用户定制化目标检测方法、系统和存储介质 |
| CN112734037A (zh) * | 2021-01-14 | 2021-04-30 | 清华大学 | 基于记忆引导的弱监督学习方法、计算机设备和存储介质 |
| CN113361645A (zh) * | 2021-07-03 | 2021-09-07 | 上海理想信息产业（集团）有限公司 | 基于元学习及知识记忆的目标检测模型构建方法及系统 |
| CN113450139A (zh) * | 2021-06-04 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 基于交互策略的流量检测、系统、存储介质及电子设备 |
| CN114463603A (zh) * | 2022-04-14 | 2022-05-10 | 浙江啄云智能科技有限公司 | 图像检测模型的训练方法、装置、电子设备及存储介质 |
| CN115761574A (zh) * | 2022-10-27 | 2023-03-07 | 之江实验室 | 基于边框标注的弱监督视频目标分割方法及装置 |
| CN115880262A (zh) * | 2022-12-20 | 2023-03-31 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
| CN115908947A (zh) * | 2022-12-28 | 2023-04-04 | 南京大学 | 一种基于反绎学习的多模态牙周图像识别方法和系统 |
-
2023
- 2023-04-28 CN CN202310477674.XA patent/CN116524297B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
| CN111931703A (zh) * | 2020-09-14 | 2020-11-13 | 中国科学院自动化研究所 | 基于人-物体交互弱监督标签的物体检测方法 |
| CN111931931A (zh) * | 2020-09-29 | 2020-11-13 | 杭州迪英加科技有限公司 | 一种针对病理全场图像的深度神经网络训练方法、装置 |
| CN112613548A (zh) * | 2020-12-17 | 2021-04-06 | 中山大学 | 基于弱监督学习的用户定制化目标检测方法、系统和存储介质 |
| CN112734037A (zh) * | 2021-01-14 | 2021-04-30 | 清华大学 | 基于记忆引导的弱监督学习方法、计算机设备和存储介质 |
| CN113450139A (zh) * | 2021-06-04 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 基于交互策略的流量检测、系统、存储介质及电子设备 |
| CN113361645A (zh) * | 2021-07-03 | 2021-09-07 | 上海理想信息产业（集团）有限公司 | 基于元学习及知识记忆的目标检测模型构建方法及系统 |
| CN114463603A (zh) * | 2022-04-14 | 2022-05-10 | 浙江啄云智能科技有限公司 | 图像检测模型的训练方法、装置、电子设备及存储介质 |
| CN115761574A (zh) * | 2022-10-27 | 2023-03-07 | 之江实验室 | 基于边框标注的弱监督视频目标分割方法及装置 |
| CN115880262A (zh) * | 2022-12-20 | 2023-03-31 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
| CN115908947A (zh) * | 2022-12-28 | 2023-04-04 | 南京大学 | 一种基于反绎学习的多模态牙周图像识别方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| "INTERACTIVE WEAK SUPERVISION: LEARNING USEFUL HEURISTICS FOR DATA LABELING";Benedikt Boecking 等;《arXiv:2012.06046v2 [ cs.LG]》;第1-27页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116524297A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741332B (zh) | 一种人机协同的图像分割与标注方法 | |
| Zhao et al. | Cloud shape classification system based on multi-channel cnn and improved fdm | |
| CN109740676B (zh) | 基于相似目标的物体检测迁移方法 | |
| CN112766334B (zh) | 一种基于伪标签域适应的跨域图像分类方法 | |
| CN104573688A (zh) | 基于深度学习的移动平台烟草激光码智能识别方法及装置 | |
| CN111460927B (zh) | 对房产证图像进行结构化信息提取的方法 | |
| US11790517B2 (en) | Subtle defect detection method based on coarse-to-fine strategy | |
| CN112613428B (zh) | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 | |
| CN111833313B (zh) | 基于深度主动学习的工业产品表面缺陷检测方法及系统 | |
| Wood et al. | A fully-automated, robust, and versatile algorithm for long-term budding yeast segmentation and tracking | |
| CN116091886A (zh) | 一种基于教师学生模型与强弱分支的半监督目标检测方法及系统 | |
| CN114119480A (zh) | 一种基于深度学习的裂纹缺陷检测系统 | |
| CN116258861B (zh) | 基于多标签学习的半监督语义分割方法以及分割装置 | |
| CN113674216A (zh) | 一种基于深度学习的地铁隧道病害检测方法 | |
| CN115601307A (zh) | 一种细胞自动检测方法 | |
| CN115019133A (zh) | 基于自训练和标签抗噪的图像中弱目标的检测方法及系统 | |
| CN113313166B (zh) | 基于特征一致性学习的船舶目标自动标注方法 | |
| CN109359664A (zh) | 自我学习更新训练样本的高效质检模型构建方法及系统 | |
| CN116524297B (zh) | 一种基于专家反馈的弱监督学习训练方法 | |
| CN110991374A (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN113469984B (zh) | 一种基于yolo结构的显示面板外观检测方法 | |
| CN113192108B (zh) | 一种针对视觉跟踪模型的人在回路训练方法及相关装置 | |
| CN111223100B (zh) | 一种基于双路相关性学习网络的图像分割方法及系统 | |
| CN116993721B (zh) | 基于弱监督神经网络的钢板表面缺陷检测方法 | |
| CN117437647B (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |