CN113380384A - 人机协同训练医学影像标注模型的方法、标注方法及系统 - Google Patents
人机协同训练医学影像标注模型的方法、标注方法及系统 Download PDFInfo
- Publication number
- CN113380384A CN113380384A CN202110486680.2A CN202110486680A CN113380384A CN 113380384 A CN113380384 A CN 113380384A CN 202110486680 A CN202110486680 A CN 202110486680A CN 113380384 A CN113380384 A CN 113380384A
- Authority
- CN
- China
- Prior art keywords
- labeling
- medical image
- model
- annotation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 190
- 238000012549 training Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012797 qualification Methods 0.000 claims abstract description 44
- 238000012552 review Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 238000002591 computed tomography Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 2
- 238000012285 ultrasound imaging Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000003563 lymphoid tissue Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 210000001672 ovary Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及人机协同训练医学影像标注模型的方法，包括以下步骤：(a)收集医学影像的待标注数据集；(b)选择N组影像数据，分别分发给N个标注人员进行人工标注，并且发送至标注模型进行自动标注；(c)评价人工标注结果和自动标注结果是否合格；(d)比较自动标注结果的合格率与人工标注结果的合格率：(d1)如果自动标注结果的合格率大于人工标注结果的合格率，则终止对标注模型的训练；并且(d2)如果自动标注结果的合格率小于人工标注结果的合格率，则利用自动标注结果和人工标注结果中合格的标注结果来训练并更新标注模型；以及(e)循环所述步骤(b)至(d)，直至终止对标注模型的训练。本发明还涉及医学影像标注方法及系统。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及人机协同训练医学影像标注模型的方法、医学影像标注方法以及人机协同式医学影像标注系统。
背景技术
深度学习是一种由数据驱动的技术，近年来在自然图像领域取得了显著成果，在医学图像分析领域上也进入了快速发展的阶段。与传统的标注方法相比，基于深度学习的标注算法在准确率、计算量上都具有相对较好的表现。但是，深度学习方法依赖于大量经过准确标注的数据。
为了保证标注的准确性，往往需要多个有资质的医生对同一影像进行标注，并且由资深的医生进行审核。因此，用于机器学习尤其是深度学习的医学影像标注成本很高，制约了该领域的快速发展。
为了低成本地获取大量用于模型训练的数据，往往会想到利用公开数据集。目前，许多学术机构会发布公开数据集用于科学研究，这是深度学习领域研究人员获取数据最常见的途径。然而，这种方式存在数据量相对较少和标注的类型较为局限的问题。
近年来，随着众包技术的发展，利用众包技术进行数据标注引起了研究者的关注。特别地，中国专利申请CN106489149A提出了一种基于数据挖掘和众包的数据标注方法及系统。该申请提出采用众包方式，将数据发送给来自互联网的普通标注者。普通标注者标注完数据后，由算法对标注结果进行审核，及时发现低质量标注数据进行重新标注或者去除。但是，对于医学影像数据，这类方法并不适用。一方面，法规要求用于训练深度学习算法的数据均由有资质的医生进行标注，普通用户难以对专业影像数据进行准确标注。另一方面，医学标注结果的准确性很难通过数据挖掘等方法评判，仍然需要进行人工审核。
除了人工标注外，还可以通过机器标注来获取标注数据，其中以NVIDIA Clara为代表的标注系统可以提供AI辅助标注功能。对于一副医学影像，NVIDIA Clara标注系统首先利用标注算法进行标注，然后将已标注的医学影像发送给标注医生，标注医生在算法标注的基础上进行修改。另外，修改后的标注数据被加入到训练集，帮助进一步提升算法，以此方式交互式标注并更新算法。这类系统的缺点是缺少对于标注质量的控制，如果有水平较低的标注者误标数据，反而会导致算法性能下降。
此外，为了降低标注的成本，人们希望在满足算法训练需求的前提下，标注尽量少的数据，但是深度学习算法无法在训练前预先判断需要多少经标注数据才能得到足够好的结果。
发明内容
为了解决上述技术问题，本发明提供了一种人机协同训练医学影像标注模型的方法、医学影像标注方法以及人机协同式医学影像标注系统。
为此，在本发明的第一方面，提供了一种人机协同训练医学影像标注模型的方法，其中所述方法包括以下步骤：
(a)收集医学影像的待标注数据集；
(b)从所述待标注数据集中选择N组影像数据，将所选择的N组影像数据分别分发给N个标注人员进行人工标注，并且将所选择的N组影像数据发送至标注模型进行自动标注，其中N为大于1的整数；
(c)评价所选择的N组影像数据的人工标注结果和自动标注结果是否合格；
(d)统计所述N组影像数据的人工标注结果和自动标注结果的合格率，并且比较所述自动标注结果的合格率与所述人工标注结果的合格率：
(d1)如果所述自动标注结果的合格率大于所述人工标注结果的合格率，则终止对所述标注模型的训练；并且
(d2)如果所述自动标注结果的合格率小于所述人工标注结果的合格率，则利用所述自动标注结果和所述人工标注结果中合格的标注结果来训练并更新所述标注模型；以及
(e)循环所述步骤(b)至(d)，直至终止对所述标注模型的训练。
在本发明的第二方面，提供了一种医学影像标注方法，包括：
根据上述第一方面所述的人机协同训练医学影像标注模型的方法来训练并得到标注模型；以及
将检测得到的医学影像数据输入到所得到的标注模型进行标注。
在本发明的第三方面，提供了一种人机协同式医学影像标注系统，其特征在于，所述人机协同式医学影像标注系统包括：
影像存储模块，用于存储医学影像数据和相关的标注信息；
显示与标注模块，与所述影像存储模块连接，所述显示与标注模块被配置成接收来自所述影像存储模块调出所述医学影像数据和相关的标注信息以用于显示并且提供标注界面；以及
智能标注模块，与所述影像存储模块连接，所述智能标注模块被配置成基于标注模型对所述医学影像进行自动标注并且基于具有合格标注结果的影像数据训练和更新所述标注模型；
其中所述人机协同式医学影像标注系统根据上述第二方面所述的医学影像标注方法来标注检测得到的医学影像数据。
在本发明的第四方面，提供了一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上存储有计算机可执行指令，当由处理器电路执行所述计算机可执行指令时，所述计算机可执行指令使所述处理器电路执行根据上述第一方面所述的人机协同训练医学影像标注模型的方法。
本发明的实施方案通过人机协同的标注方式，深度神经网络模型随着标注样本加入而更新，当模型的标注效果达到医生标注的精度时，就及时停止新的人工标注。这样尽可能减少了需要人工标注的数据量，进而尽量减少标注成本。
附图说明
为了更好地理解本发明且示出如何实施本发明，现在将参考附图，在附图中：
图1例示了根据本发明的一个实施方案的人机协同式医学影像标注系统的框图；以及
图2例示了根据本发明的一个实施方案的训练医学影像标注模型的方法的流程图。
具体实施方式
下面的描述阐述了根据本公开内容的示例实施方案。对于本领域普通技术人员而言，其他示例实施方案和实施方式将是显而易见的。此外，本领域普通技术人员将认识到，可以代替下面所讨论的实施方案或与下面讨论的实施方案相结合地应用多种等同技术，且所有这样的等同物应被认为是本公开内容所涵盖的。
根据本发明的第一方面，提供了一种人机协同训练医学影像标注模型的方法，其中所述方法包括以下步骤：
(a)收集医学影像的待标注数据集；
(b)从所述待标注数据集中选择N组影像数据，将所选择的N组影像数据分别分发给N个标注人员进行人工标注，并且将所选择的N组影像数据发送至标注模型进行自动标注，其中N为大于1的整数；
(c)评价所选择的N组影像数据的人工标注结果和自动标注结果是否合格；
(d)统计所述N组影像数据的人工标注结果和自动标注结果的合格率，并且比较所述自动标注结果的合格率与所述人工标注结果的合格率：
(d1)如果所述自动标注结果的合格率大于所述人工标注结果的合格率，则终止对所述标注模型的训练；并且
(d2)如果所述自动标注结果的合格率小于所述人工标注结果的合格率，则利用所述自动标注结果和所述人工标注结果中合格的标注结果来训练并更新所述标注模型；以及
(e)循环所述步骤(b)至(d)，直至终止对所述标注模型的训练。
根据本发明的实施方案，利用标注人员和模型同时标注一批数据，利用人工标注和模型标注的合格率差异作为停止标注的标准。在本发明的实施方案中，数据标注与模型训练同步进行，随着标注样本的加入而更新深度神经网络模型，当模型的标注效果达到医生标注的精度时，就及时终止对模型的训练并且停止新的人工标注。这样尽可能减少了需要人工标注的数据量。此外，由于对标注结果的评价，不会有不合格的标注数据误导模型，实现了质量控制。
根据本发明的第一方面的优选实施方案，所述标注模型在初始时采用经过医学影像的公开数据集预先训练的深度学习模型。
根据本发明的第一方面的优选实施方案，所述步骤(c)包括：
将经所述N个标注人员标注的数据和经所述标注算法模型标注的数据发送至复核人员，以评价所选择的N组影像数据的人工标注结果和自动标注结果是否合格。
复核人员通常是资深医生，人员成本较高，在本发明的实施方案中，复核人员同时对人工标注结果和自动标注结果的审核仅评判标注结果是否合格，因此有效地降低了高价值复核人员的工作量，从而减少了审核所需要的时间和成本。
根据本发明的第一方面的优选实施方案，所述步骤(d2)包括：
统计所述N个标注人员中的每个标注人员在之前K轮标注中的合格率，对在之前K轮标注中的合格率低于预设的阈值的标注人员进行更换或培训。本发明的实施方案通过资深医生审核标注结果，不仅防止了低质量的标注数据对模型产生误导，而且可以及时发现标注水平较差的标注人员，将他们更换或者对他们进行培训，从而保证标注质量。
根据本发明的第一方面的具体实施方案，k大于等于3，并且N小于等于15，优选地小于等于10，更优选地小于等于5。在实际应用中，由于标注人员数量有限，N的取值往往较小。
根据本发明的第一方面的实施方案，所述医学影像是检测对象的特定部位的相同影像模态的医学影像，所述影像模态是以下项中的一个：计算机断层成像(ComputedTomography，CT)、核磁共振成像(Nuclear Magnetic Resonance Imaging，MRI)、超声成像(Ultrasound)。在本发明的实施方案中，所述特定部位包括但不限于，脑部、脏器(诸如，甲状腺、心脏、肺、肾脏、肝脏、脾脏、胆囊、胰腺、胃、肠、前列腺、卵巢等)、骨骼(包括骨关节)、淋巴组织等。
根据本发明的第二方面，提供了一种医学影像标注方法，包括：
根据上述第一方面所述的人机协同训练医学影像标注模型的方法来训练并得到标注模型；以及
将检测得到的医学影像数据输入到所得到的标注模型进行标注。
根据本发明的第三方面，提供了一种人机协同式医学影像标注系统，所述人机协同式医学影像标注系统包括：
影像存储模块，用于存储医学影像数据和相关的标注信息；
显示与标注模块，与所述影像存储模块连接，所述显示与标注模块被配置成接收并显示来自所述影像存储模块的所述医学影像数据，并且提供标注界面；以及
智能标注模块，与所述影像存储模块连接，所述智能标注模块被配置成基于标注模型对所述医学影像进行自动标注并且基于具有合格标注结果的影像数据训练和更新所述标注模型；
其中所述人机协同式医学影像标注系统根据上述第二方面所述的医学影像标注方法来标注检测得到的医学影像数据。
根据本发明的第三方面的具体实施方案，所述显示与标注模块服务于多个标注终端和一个复核终端，所述多个标注终端被标注人员用来标注所述医学影像数据，并且所述复核终端被复核人员用来评价人工标注结果和自动标注结果是否合格。
根据本发明的第四方面，提供了一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上存储有计算机可执行指令，当由处理器电路执行所述计算机可执行指令时，所述计算机可执行指令使所述处理器电路执行根据上述第一方面所述的人机协同训练医学影像标注模型的方法。
下面将结合附图来对本发明的实施方案进行进一步详述。
图1例示了根据本发明的一个实施方案的人机协同式医学影像标注系统100的框图。人机协同式医学影像标注系统100包括影像存储模块102、分别与影像存储模块102连接通信的显示与标注模块104和智能分割算法模块106。影像存储模块102可以用于存储医学影像数据和相关的各类标注信息，并且还可以用于将数据分发到显示与标注模块104和智能分割算法模块106，以及从显示与标注模块104和智能分割算法模块106收集数据。
显示与标注模块104可以接收并显示来自影像存储模块102的医学影像数据，并且可以提供数据标注界面。如图1中所述，显示与标注模块104可以服务于多个标注终端108和一个复核终端109。智能分割算法模块106存储了算法模型，并且可以利用算法模型对医学影像进行分割或自动标注。此外，智能分割算法模块106还可以从影像存储模块102接收具有合格标注结果的医学影像数据来训练和更新算法模型。
在本发明的实施方案中，人机协同式医学影像标注系统100可以部署在一台计算机上，也可以分布式部署在多台计算机上。
图2例示了根据本发明的一个实施方案的训练医学影像标注模型的方法200的流程图。下面结合图1和图2说明训练医学影像标注模型的方法200。在步骤201中，影像存储模块102收集医学影像的待标注数据集。然后，影像存储模块102从待标注数据集中随机选取N组影像数据，并且将所选取的N组影像数据分发至显示与标注模块104和智能分割算法模块106，步骤202。在步骤203中，N个标注人员在标注终端108上标注所选取的N组影像数据，同时智能分割算法模块106也对所选取的N组影像数据进行自动标注，步骤204。在初始时，智能分割算法模块106可以采用经过公开数据集预先训练的深度学习算法模型。
在标注完成后，影像存储模块102收集标注结果进行随机排序，步骤205，并且发送至显示与标注模块104。复核人员在复核终端109上对所收集的标注结果进行评价(合格或不合格)，步骤206。在步骤207中，计算标注人员做出的人工标注结果的合格率和算法模型得到的自动标注结果的合格率。随后，判断算法模型得到的自动标注结果的合格率是否大于人工标注结果的合格率，步骤208。如果自动标注结果的合格率大于人工标注结果的合格率，则结束进一步的标注并终止对所述标注模型的训练，步骤209，以节约标注成本。如果自动标注结果的合格率小于人工标注结果的合格率，则计算每个标注人员在之前K轮标注中的累计合格率，步骤210，并且判断是否有标注人员在之前K标注中的累计合格率低于预设的阈值，步骤211。如果有标注人员在之前K标注中的累计合格率低于预设的阈值，则对合格率不达标的标注人员进行培训或更换，步骤212，以防止误标数据对训练产生负面影响。在步骤212之后，影像存储模块102可以将合格的标注结果加入模型训练数据集，步骤213，并且发送至智能分割算法模块106来训练并更新标注模型，步骤214。如果标注人员在之前K标注中的累计合格率均高于预设的阈值，则直接转入到步骤213。在更新了标注模型(步骤214)之后，转入到步骤202，又选取N组影像数据进行标注，整个流程循环执行直至进入步骤209结束进一步的标注并终止对所述标注模型的训练为止。
本发明的实施方案的人机协同式医学影像标注系统和方法，通过利用人工标注和模型标注的合格率差异作为停止进一步标注的标准，可以及时确定模型质量何时达标，从而及时停止标注，尽可能地减少了人工标注数据量，减少时间和成本。此外，由于复核人员仅评价标注结果合格或不合格，减少了审核所需的时间和成本，并且由于复核人员的质量控制，不会有不合格的标注数据误导模型。另外，通过复核人员的复核可以及时发现不合格的标注人员，进行更换或再次培训，从而进一步实现质量控制。
应注意，上述实施方案例示而非限制本发明，且本领域技术人员将能够在不背离所附权利要求的范围情况下设计许多替代实施方案。措辞“包括”或“包含”不排除权利要求中所列出的元件或步骤之外的元件或步骤的存在，“一”或“一个”不排除多个，且单个特征或其他单元可以实现权利要求中所记载的多个单元的功能。权利要求中的任何附图标记或标签均不应被解释为限制其范围。
Claims (10)
1.一种人机协同训练医学影像标注模型的方法，其特征在于，所述方法包括以下步骤：
(a)收集医学影像的待标注数据集；
(b)从所述待标注数据集中选择N组影像数据，将所选择的N组影像数据分别分发给N个标注人员进行人工标注，并且将所选择的N组影像数据发送至标注模型进行自动标注，其中N为大于1的整数；
(c)评价所选择的N组影像数据的人工标注结果和自动标注结果是否合格；
(d)统计所述N组影像数据的人工标注结果和自动标注结果的合格率，并且比较所述自动标注结果的合格率与所述人工标注结果的合格率：
(d1)如果所述自动标注结果的合格率大于所述人工标注结果的合格率，则终止对所述标注模型的训练；并且
(d2)如果所述自动标注结果的合格率小于所述人工标注结果的合格率，则利用所述自动标注结果和所述人工标注结果中合格的标注结果来训练并更新所述标注模型；以及
(e)循环所述步骤(b)至(d)，直至终止对所述标注模型的训练。
2.根据权利要求1所述的方法，其特征在于，所述标注模型在初始时采用经过医学影像的公开数据集预先训练的深度学习模型。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤(c)包括：
将经所述N个标注人员标注的数据和经所述标注算法模型标注的数据发送至复核人员，以评价所选择的N组影像数据的人工标注结果和自动标注结果是否合格。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述步骤(d2)包括：
统计所述N个标注人员中的每个标注人员在之前K轮标注中的合格率，对在之前K轮标注中的合格率低于预设的阈值的标注人员进行更换或培训。
5.根据权利要求1至4中任一项所述的方法，其特征在于，k大于等于3，并且N小于等于15，优选地小于等于10，更优选地小于等于5。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述医学影像是检测对象的特定部位的相同影像模态的医学影像，所述影像模态是以下项中的一个：计算机断层成像、核磁共振成像、超声成像。
7.一种医学影像标注方法，包括：
根据上述权利要求1至6中任一项所述的人机协同训练医学影像标注模型的方法来训练并得到标注模型；以及
将检测得到的医学影像数据输入到所得到的标注模型进行标注。
8.一种人机协同式医学影像标注系统，其特征在于，所述人机协同式医学影像标注系统包括：
影像存储模块，用于存储医学影像数据和相关的标注信息；
显示与标注模块，与所述影像存储模块连接，所述显示与标注模块被配置成接收并显示来自所述影像存储模块的所述医学影像数据并且提供标注界面；以及
智能标注模块，与所述影像存储模块连接，所述智能标注模块被配置成基于标注模型对所述医学影像进行自动标注并且基于具有合格标注结果的影像数据训练和更新所述标注模型；
其中所述人机协同式医学影像标注系统根据权利要求7所述的医学影像标注方法来标注检测得到的医学影像数据。
9.根据权利要求8所述的人机协同式医学影像标注系统，其特征在于，所述显示与标注模块服务于多个标注终端和一个复核终端，所述多个标注终端被标注人员用来标注所述医学影像数据，并且所述复核终端被复核人员用来评价人工标注结果和自动标注结果是否合格。
10.一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上存储有计算机可执行指令，当由处理器电路执行所述计算机可执行指令时，所述计算机可执行指令使所述处理器电路执行根据权利要求1至6中任一项所述的人机协同训练医学影像标注模型的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110486680.2A CN113380384A (zh) | 2021-05-01 | 2021-05-01 | 人机协同训练医学影像标注模型的方法、标注方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110486680.2A CN113380384A (zh) | 2021-05-01 | 2021-05-01 | 人机协同训练医学影像标注模型的方法、标注方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113380384A true CN113380384A (zh) | 2021-09-10 |
Family
ID=77570469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110486680.2A Pending CN113380384A (zh) | 2021-05-01 | 2021-05-01 | 人机协同训练医学影像标注模型的方法、标注方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113380384A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140219548A1 (en) * | 2013-02-07 | 2014-08-07 | Siemens Aktiengesellschaft | Method and System for On-Site Learning of Landmark Detection Models for End User-Specific Diagnostic Medical Image Reading |
| CN108985293A (zh) * | 2018-06-22 | 2018-12-11 | 深源恒际科技有限公司 | 一种基于深度学习的图像自动化标注方法及系统 |
| CN109670060A (zh) * | 2018-12-10 | 2019-04-23 | 北京航天泰坦科技股份有限公司 | 一种基于深度学习的遥感影像半自动化标注方法 |
| CN109800776A (zh) * | 2017-11-17 | 2019-05-24 | 中兴通讯股份有限公司 | 素材标注方法、装置、终端和计算机可读存储介质 |
| WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
| CN110533086A (zh) * | 2019-08-13 | 2019-12-03 | 天津大学 | 图像数据半自动标注方法 |
| CN110689038A (zh) * | 2019-06-25 | 2020-01-14 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
| CN110880021A (zh) * | 2019-11-06 | 2020-03-13 | 创新奇智(北京)科技有限公司 | 模型辅助式数据标注系统及标注方法 |
| CN110968695A (zh) * | 2019-11-18 | 2020-04-07 | 罗彤 | 基于弱监督技术主动学习的智能标注方法、装置及平台 |
| CN111292839A (zh) * | 2020-05-13 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| WO2020233200A1 (zh) * | 2019-05-17 | 2020-11-26 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置、用于预测信息的方法和装置 |
| CN112070000A (zh) * | 2020-09-07 | 2020-12-11 | 上海闻泰信息技术有限公司 | 智能识别算法训练方法、装置、终端服务器及可存储介质 |
| CN112149742A (zh) * | 2020-09-25 | 2020-12-29 | 济南浪潮高新科技投资发展有限公司 | 一种基于目标检测网络的智能标注方法 |
-
2021
- 2021-05-01 CN CN202110486680.2A patent/CN113380384A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140219548A1 (en) * | 2013-02-07 | 2014-08-07 | Siemens Aktiengesellschaft | Method and System for On-Site Learning of Landmark Detection Models for End User-Specific Diagnostic Medical Image Reading |
| CN109800776A (zh) * | 2017-11-17 | 2019-05-24 | 中兴通讯股份有限公司 | 素材标注方法、装置、终端和计算机可读存储介质 |
| WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
| CN108985293A (zh) * | 2018-06-22 | 2018-12-11 | 深源恒际科技有限公司 | 一种基于深度学习的图像自动化标注方法及系统 |
| CN109670060A (zh) * | 2018-12-10 | 2019-04-23 | 北京航天泰坦科技股份有限公司 | 一种基于深度学习的遥感影像半自动化标注方法 |
| WO2020233200A1 (zh) * | 2019-05-17 | 2020-11-26 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置、用于预测信息的方法和装置 |
| CN110689038A (zh) * | 2019-06-25 | 2020-01-14 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
| CN110533086A (zh) * | 2019-08-13 | 2019-12-03 | 天津大学 | 图像数据半自动标注方法 |
| CN110880021A (zh) * | 2019-11-06 | 2020-03-13 | 创新奇智(北京)科技有限公司 | 模型辅助式数据标注系统及标注方法 |
| CN110968695A (zh) * | 2019-11-18 | 2020-04-07 | 罗彤 | 基于弱监督技术主动学习的智能标注方法、装置及平台 |
| CN111292839A (zh) * | 2020-05-13 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN112070000A (zh) * | 2020-09-07 | 2020-12-11 | 上海闻泰信息技术有限公司 | 智能识别算法训练方法、装置、终端服务器及可存储介质 |
| CN112149742A (zh) * | 2020-09-25 | 2020-12-29 | 济南浪潮高新科技投资发展有限公司 | 一种基于目标检测网络的智能标注方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230033601A1 (en) | Dynamic self-learning medical image method and system | |
| CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
| US6819785B1 (en) | Image reporting method and system | |
| JP6749835B2 (ja) | コンテキスト依存医学データ入力システム | |
| CN107403425A (zh) | 从图像自动地生成放射学报告并自动排除没有发现的图像 | |
| CN101040800B (zh) | 用于根据分类指数来诊断疾病的系统和设备 | |
| CN110459287A (zh) | 来自医学文本报告的结构化报告数据 | |
| CN109065110A (zh) | 一种基于深度学习方法的自动生成医学影像诊断报告的方法 | |
| CN107292086A (zh) | 图像分析问答 | |
| US20130251233A1 (en) | Method for creating a report from radiological images using electronic report templates | |
| CN107209809A (zh) | 用于放射学报告的报告内容的背景创建 | |
| RU2711305C2 (ru) | Связывание отчета / изображения | |
| CN103985147A (zh) | 终端用户特定诊断用医学图像读取的标志检测模型的现场学习的方法和系统 | |
| CN101136041A (zh) | 医用图像处理装置 | |
| CN102667786A (zh) | 协议引导的成像流程 | |
| CN111584043B (zh) | 影像学扫描方案智能提示系统及其方法 | |
| EP3191991B1 (en) | Image report annotation identification | |
| CN111091561B (zh) | 感兴趣区的神经纤维提取方法、系统、设备及存储介质 | |
| CN111091882A (zh) | 一种人工智能可视化pacs系统及方法 | |
| CN113485555B (zh) | 医学影像阅片方法、电子设备和存储介质 | |
| CN113380384A (zh) | 人机协同训练医学影像标注模型的方法、标注方法及系统 | |
| Cordes et al. | Pre-operative segmentation of neck CT datasets for the planning of neck dissections | |
| CN113592029A (zh) | 一种小样本条件下医学图像自动标注方法及系统 | |
| CN115394406A (zh) | 一种基于移动端和移动互联网的医学影像人工智能快速诊断布署方法 | |
| CN111126502B (zh) | 一种面向人工智能辅助诊断的dicom医疗影像序列分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |