CN111292839B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111292839B
CN111292839B CN202010401312.9A CN202010401312A CN111292839B CN 111292839 B CN111292839 B CN 111292839B CN 202010401312 A CN202010401312 A CN 202010401312A CN 111292839 B CN111292839 B CN 111292839B
Authority
CN
China
Prior art keywords
labeling
result
labeling result
medical image
manual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010401312.9A
Other languages
English (en)
Other versions
CN111292839A (zh
Inventor
鲁国珍
熊俊峰
邹宇宁
王家骏
王小军
周旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010401312.9A priority Critical patent/CN111292839B/zh
Publication of CN111292839A publication Critical patent/CN111292839A/zh
Application granted granted Critical
Publication of CN111292839B publication Critical patent/CN111292839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。方法包括：获取待处理的医学影像以及医学影像相对应的人工标注结果；调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果；预标注模型通过医学影像样本和相应的训练标签训练得到；训练标签为医学影像样本的显式特征标注结果；当人工标注结果中的显式特征标注结果与机器标注结果不一致时，则判定人工标注结果为错误标注结果，并根据错误标注结果更新人工标注结果所属标注者的标注水平量化结果；当人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将人工标注结果识别为恶意标注结果。本申请的方案可以提高恶意标注识别准确率。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着人工智能的兴起和医学的发展，将人工智能应用到医学领域的智能医疗越来越受到关注。但是海量规模且高可靠性的标注数据获取却并非易事。目前，主要是依赖大量志愿医生通过人工标注形成标注数据。
然而，通过人工标注形成标注数据需要人力来复核标注结果，以确保标注结果的正确性。但基于人力的操作方式存在一定的主观性，复核效果受工作状态的影响存在不稳定性，进而导致识别恶意标注的准确率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高识别恶意标注准确率的图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，其特征在于，所述方法包括：
获取待处理的医学影像以及所述医学影像相对应的人工标注结果；
调用预标注模型对所述医学影像进行标注，得到所述医学影像相应的机器标注结果；所述预标注模型通过医学影像样本和相应的训练标签训练得到；所述训练标签为所述医学影像样本的显式特征标注结果；
当所述人工标注结果中的显式特征标注结果与所述机器标注结果不一致时，则判定所述人工标注结果为错误标注结果，并根据所述错误标注结果更新所述人工标注结果所属标注者的标注水平量化结果；
当所述人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将所述人工标注结果识别为恶意标注结果。
一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理的医学影像以及所述医学影像相对应的人工标注结果；
调用模块，用于调用预标注模型对所述医学影像进行标注，得到所述医学影像相应的机器标注结果；所述预标注模型通过医学影像样本和相应的训练标签训练得到；所述训练标签为所述医学影像样本的显式特征标注结果；
复核模块，用于当所述人工标注结果中的显式特征标注结果与所述机器标注结果不一致时，则判定所述人工标注结果为错误标注结果，并根据所述错误标注结果更新所述人工标注结果所属标注者的标注水平量化结果；
识别模块，用于当所述人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将所述人工标注结果识别为恶意标注结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤。
上述图像处理方法、装置、计算机设备和存储介质，在获取到待处理的医学影像以及医学影像相对应的人工标注结果后，调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果。其中，预标注模型的训练标签是医学影像样本的显式特征标注结果，而显式特征是直观可见且标注争议小的标注维度，选取此类标注维度作为预标注模型的复核标注维度，可以使得模型稳定且输出可信度高，能达到复核人工标注结果的目的。这样，当人工标注结果中的显式特征标注结果与机器标注结果不一致时，就可以判定人工标注结果为错误标注结果，并更新人工标注结果所属标注者的标注水平量化结果，继而通过恶意标注判定条件对标注水平量化结果的约束，高效地识别出恶意标注结果。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中同一部位不同检查方式的医学图像对比图；
图4为一个实施例中采用相同的检查方式对不同的部位进行检测得到的医学图像的对比图；
图5为一个实施例中图像处理的流程框图；
图6为一个实施例中预标注模型的模型结构图；
图7为一个实施例中质控界面的界面示意图；
图8为一个实施例中图像处理装置的结构框图；
图9为另一个实施例中图像处理装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102将待处理的医学影像以及该医学影像相对应的人工标注结果上传至服务器104，服务器104获取到待处理的医学影像以及该医学影像相对应的人工标注结果后，调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果；该预标注模型通过医学影像样本和相应的训练标签训练得到，且训练标签为医学影像样本的显式特征标注结果。这样，当人工标注结果中的显式特征标注结果与机器标注结果不一致时，服务器104则判定人工标注结果为错误标注结果，并根据错误标注结果更新人工标注结果所属标注者的标注水平量化结果。当人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，服务器104则将人工标注结果识别为恶意标注结果。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取待处理的医学影像以及医学影像相对应的人工标注结果。
其中，医学影像是一种医学领域的、特殊的专用图像，是指为了医疗或者医学研究，对目标对象以非侵入方式取得的内部组织（胃部、腹部、心脏或者脑部等）影像。比如，电子计算机断层扫描（Computed Tomography，CT）图像、磁共振成像（Magnetic ResonanceImaging，MRI）图像、超声（ultrasonic，US，如B超、彩色多普勒超声、心脏彩超及三维彩超等）图像、X光图像、心电图、脑电图以及光学摄影等由医学仪器生成的图像。
待处理的医学影像是待进行标注的医学影像。人工标注结果是指依赖人力对医学图像中需要标注的维度进行标注的结果。由于医学影像是医学领域的专用图像，不同于普通图像，医学影像的标注需要医学专业人员进行标注。
在一个实施例中，人工标注结果的数量可以是一个，也可以多于一个。通常，每个标注者给出一个标注结果，人工标注结果的数量与标注者的数量相同。
在一个实施例中，待处理的医学影像的数量可以是一个，也可以多于一个。即服务器可以对待处理的医学影像进行批量处理。
步骤204，调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果；预标注模型通过医学影像样本和相应的训练标签训练得到；训练标签为医学影像样本的显式特征标注结果。
其中，预标注模型是预先通过样本学习具备标注能力的机器学习模型。机器学习模型可采用神经网络模型、支持向量机（SVM）、决策树（Decision Tree）或者逻辑回归模型等。神经网络模型比如卷积神经网络（Convolution Neural Network，CNN）、人工神经网络（Artificial Neural Network，ANN）或者循环神经网络（Recurrent Neural Network，RNN）等。机器标注结果是机器（预标注模型）输出的对医学图像中需要标注的维度进行标注的结果。
具体地，预标注模型通过医学影像样本和相应的训练标签有监督地训练得到。医学影像样本是用作模型训练样本的医学影像。医学影像样本相应的训练标签，是医学影像样本的显式特征标注结果。显式特征标注结果是在显式特征维度对医学影像进行标注的结果。显式特征维度具体是指直观可见的特征维度。显式特征维度比如医学影像的图像质量、医学影像相应的检查方式以及医学影像中的检查部位等维度。
服务器可调用预先训练好的预标注系统，将医学影像输入预标注模型，得到预标注模型输出的该医学影像的机器标注结果。由于预标注模型在训练时的训练标签是医学影像样本的显式特征标注结果，那么，机器标注结果也即是医学影像的显式特征标注结果。而且预标注模型的标注成功率很高，可达到95%，这样预标注模型输出的机器标注结果可用于对人工标注结果进行复核。
可以理解，通常在医学影像的标注任务中会包含多个需要标注的维度，比如显式特征维度的图像质量、检查方式以及检查部位等；隐式特征维度的疾病性质以及病灶位置等。其中，隐式特征通常无法直观看出，需要经过一定的分析得到。比如疾病性质和病灶位置等，需要相当经验的临床医生谨慎诊断，类似是否癌变的诊断甚至可能还需要专家研讨会才能判断。显式特征维度的图像质量、检查方式以及检查部位等，则是医学图像中特征明显且肉眼辨别容易的特征维度，在极低情况下才会出现误判。那么，选取显式特征维度的标注结果作为预标注模型的训练标签，这样训练的预标注模型稳定且输出的显式特征维度的标注结果可信度高，能够达到复核人工标注结果的目的。
参考图3，以上消化道的检查方式为例，该图示出了一个实施例中同一部位不同检查方式的医学图像对比图。图3（a）为白光检查方式检查食管得到的医学影像，图3（b）为NBI检查方式检查食管得到的医学影像。两种检查方式分别得到的白光图像和NBI（内镜窄带成像术，Narrow Band Imaging）图像肉眼看来即明显不同。从原理层面分析，NBI成像过程会过滤内径光源发出的红蓝绿光波中的宽带光谱，仅留下窄带光谱，窄带成像有多种波长，不同波长有不同黏膜穿透性，对于黏膜表现血管的成像更清晰。而且，即使都在白光成像模式，不同部位由于结构不同，图像特征差异也非常明显，如图4所示，该图示出了一个实施例中采用相同的检查方式对不同的部位进行检测得到的医学图像的对比图。图4（a）为白光检查方式检查胃得到的医学影像，图4（b）为白光检查方式检查十二指肠得到的医学影像。
步骤206，当人工标注结果中的显式特征标注结果与机器标注结果不一致时，则判定人工标注结果为错误标注结果，并根据错误标注结果更新人工标注结果所属标注者的标注水平量化结果。
其中，标注水平量化结果是将标注水平量化得到的计算机设备可读的数据。比如，标注正确率、标注错误率、标注正确率排名或者标准错误率排名等。
具体地，服务器在获取到待处理的医学图像和其相对应的人工标注结果和机器标注结果后，可将人工标注结果中的显式特征标注结果和机器标注结果进行比较，以采用机器标注结果来复核人工标注结果。在人工标注结果中的显式特征标注结果与机器标注结果一致时，服务器则判定人工标注结果为正确标注结果；在人工标注结果中的显式特征标注结果与机器标注结果不一致时，服务器则判定人工标注结果为错误标注结果。
在人工标注结果非所述标注者的首次标注时，则该标注者可对应存在一个历史的标注水平量化结果，该标注水平量化结果根据该标注者的历史的标注结果得到。服务器可在当前次的人工标注结果的正确与否判定后，更新人工标注结果所属标注者历史的标注水平量化结果，得到当前的标注水平量化结果。
举例说明，假设医学图像P相对应的人工标注结果1被判定为错误标注结果后，人工标注结果1所属标注者A的标注水平量化结果会被更新，该被更新标注水平量化结果是人工标注结果1所属标注者A的历史的标注水平量化结果，根据执行更新操作之前该标注者A的标注结果计算得到。
在一个实施例中，人工标注结果的数量多于一个，此时服务器会对每个人工标注结果执行上述比较、判定以及更新的步骤。
需要说明的是，标注水平量化结果是一种基于大量数据的统计结果。在有一定数量的标注结果后，计算出的标注水平量化结果才具有统计学上的参考价值。比如，某个标注者对三帧医学影像进行了标注，且三次标注都是正确的，并不能说明，该标注者一定能够对医学影像做出正确的标注；再比如，某个标注者对三帧医学影像进行了标注，且三次标注都是错误的，这也不能说明，该标注者一定不能够对医学影像做出正确的标注。那么更新的标注水平量化结果，可以不仅根据当前标注任务下的标注结果计算得到，还可包括更早的标注结果。
在一个实施例中，历史标注水平量化结果可以是根据执行更新操作之前一定时期的标注结果计算得到。可以理解，标注者的标注水平会随着时间的变化而发生变化，比如，标注能力越来越好以致标注准确率越来越高，或标注随意性越来越强导致标注准确率越来越低。通常认为近期的标注结果能反应标注者最近的标注水平，则可选取近期的标注结果计算历史标注水平量化结果。当然，其他场景下也认为标注者所有的标注结果能反应标注者整体的标注水平，那么历史标注水平量化结果可以是根据执行更新操作之前的所有标注结果计算得到。
这样，加入机器预标注后，标注者的标注过程中即可实时评估错标水平，无须等到质控审核完成才能评估，摆脱了串行工作中恶意标注识别的滞后性；且纳入一个完全客观、效果稳定的AI质控机器，丰富了质控评估维度，摆脱了质控工作的全人工依赖，大大提升工作效率和质量。
举例说明，参考图5，该图示出了一个实施例中图像处理的流程框图。在本实施例中，在人工标注系统中以三位标注医生（标注医生a、标注医生b和标注医生c）对医学影像P的人工标注结果（人工标注结果a、人工标注结果b和人工标注结果c）进行处理为例说明。可以看到，在预标注系统中服务器在将医学影像输入预标注模型，得到预标注模型输出的机器标注结果J。服务器一方面会将机器标注结果J与各人工标注结果a、b和c进行比较，判断人工标注结果是否正确，再根据判断结果更新标注水平量化结果。其中，标注水平量化结果具体可以是错误标注率排序。
步骤208，当人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将人工标注结果识别为恶意标注结果。
其中，恶意标注判定条件是对标注水平量化结果的约束条件，是判断人工标注结果是否为恶意标注结果的依据。恶意标注判定条件，比如标注正确率低于某一阈值、标注错误率高于某一阈值、标注正确率排名低于某一阈值或者标准错误率排名高于某一阈值等。
具体地，服务器可将人工标注结果所属标注者的标注水平量化结果与恶意标注判定条件进行匹配；在人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将人工标注结果识别为恶意标注结果。在人工标注结果所属标注者的标注水平量化结果不满足恶意标注判定条件时，则不将人工标注结果识别为恶意标注结果。
在人工标注结果的数量多于一个时，服务器会对每个人工标注结果所属标注者的标注水平量化结果，执行上述条件匹配和恶意识别的步骤。
举例说明，标注水平量化结果具体为标注错误率，恶意标注判定条件为标注错误率高于10%。假设医学图像P相对应的人工标注结果1所属标注者A的错误标注率为12%，12%>10%，满足恶意标注判定条件，那么服务器认为标注者A会是一个恶意标注者，那由标注者A标注得到的人工标注结果1大概率会是恶意标注结果，则将人工标注结果1识别为恶意标注结果。
可以理解，本申请实施例应用于医学图像处理场景。随着医疗检测设备的不断研究发展以及检测技术的不断提升，医学影像呈现井喷式爆发。在大量的医学影像与人工智能结合，将医学影像用于模型训练和模型处理的实际过程中，需要耗费大量的人力、物力和财力，对医学影像进行标注和复核来满足模型对医学影像的标注质量上的需求。上述图像处理方法，在获取到待处理的医学影像以及医学影像相对应的人工标注结果后，调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果。其中，预标注模型的训练标签是医学影像样本的显式特征标注结果，而显式特征是直观可见、且标注争议小的标注维度，选取此类标注维度作为预标注模型的复核标注维度，可以使得模型稳定且输出可信度高，能达到复核人工标注结果的目的。这样，当人工标注结果中的显式特征标注结果与机器标注结果不一致时，就可以判定人工标注结果为错误标注结果，并更新人工标注结果所属标注者的标注水平量化结果，继而通过恶意标注判定条件对标注水平量化结果的约束，高效地识别出恶意标注结果。
在一个实施例中，人工标注结果的数量多于一个。该图像处理方法还包括：当多于一个人工标注结果之间相互一致时，则将医学影像选为训练样本，并将人工标注结果选为训练样本相应的训练标签；人工标注结果包括显式特征标注结果和隐式特征标注结果；采用训练样本和训练样本相应的训练标签，训练目标标注模型。
其中，目标标注模型不同于预标注模型，目标标注模型所输出的机器标注结果的标注维度高于预标注模型所输出机器标注结果的标注维度，目标标注模型所输出的机器标注结果中还包括隐式特征标注结果。可以理解，目标标注模型是智能医学领域中人们意图训练出的能够尽可能代替医生进行标注的模型。
在一个实施例中，显式特征标注结果包括图像质量标注结果、检查方式标注结果和检查部位标注结果中的至少一种；隐式特征标注结果包括疾病性质标注结果和病灶位置标注结果中的至少一种。
其中，显式特征标注结果是在显式特征维度对医学影像进行标注的结果。显式特征维度具体是指直观可见的特征维度。显式特征维度比如医学影像的图像质量、医学影像相应的检查方式以及医学影像中的检查部位等维度。隐式特征标注结果是在隐式特征维度对医学影像进行标注的结果。隐式特征维度是与显式标注维度相对的概念，具体可以是指不直观可见的、隐藏的特征维度。隐式特征维度比如医学影像的疾病性质以及医学影像的病灶位置等。
具体地，服务器可采取多位标注者独立标注，并通过交叉验证的方式复核人工标注结果，即判断这些人工标注结果之间是否一致。服务器在这多于一个人工标注结果之间相互一致时，认可这些人工标注结果，再将医学影像选为训练样本，并将人工标注结果选为训练样本相应的训练标签来训练目标标注模型。服务器在这多于一个人工标注结果之间相互不一致时，则进行重新标注或者人工复核等。
举例说明，继续参考图5，该图示出了一个实施例中图像处理的流程框图。在本实施例中，在人工标注系统中以三位标注医生（标注医生a、标注医生b和标注医生c）对医学影像P的人工标注结果（人工标注结果a、人工标注结果b和人工标注结果c）进行处理为例说明。可以看到，在预标注系统中服务器在将医学影像输入预标注模型，得到预标注模型输出的机器标注结果J。服务器一方面会将机器标注结果J与各人工标注结果a、b和c进行比较，判断人工标注结果是否正确。服务器另一方面对各人工标注结果进行一致性判断，在这三个人工标注结果之间相互一致时，则将医学影像选为训练样本，并将人工标注结果选为训练样本相应的训练标签得到模型训练系统的训练数据，用于训练目标标注模型。
上述实施例中，在一方面利用机器标注结果复核人工标注结果时，另一方面结合交叉验证方式，在多人的标注结果之间相互一致时，即直接认可标注结果，用作对目标标注模型的训练样本的训练标签。这样，可以最大化利用人工标注结果，避免在标注上消耗的人力资源被浪费。
在一个实施例中，预标注模型为卷积神经网络模型；调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果，包括：将医学影像输出预标注模型；通过预标注模型的卷积层对医学影像进行处理，提取医学影像的局部图像特征；通过预标注模型的池化层对局部图像特征进行处理，提取局部图像特征的高维图像特征；通过预标注模型的全连接层和归一化层对高维图像特征进行处理，输出医学影像相应的机器标注结果。
具体地，在明确了复核标签维度，也就是预标注模型的训练样本相应的训练标签的标注维度后，服务器即可构建预标注模型，获取医学图像为训练样本，并将这些医学图像在复核标签维度的标注结果作为相应的训练标签，有监督地训练预标注模型。其中，预标注模型具体可以是卷积神经网络模型，包括输入层、卷积层、池化层、全连接层和归一化层。
在一个实施例中，服务器可对每个复核标注维度各自训练一个预标注模型。比如，预标注模型A用于标注图像质量，预标注模型B用于标注检查方式，预标注模型C用于标注检查部位，每个预标注模型各司其职。服务器可对所有复核标注维度统一训练一个预标注模型，该预标注模型用于在医学图像的所有复核标注维度进行标注。
在训练得到预标注模型后，服务器选取测试数据对预标注模型进行验证。以预标注模型的标注维度为检查部位为例，下表示出了预标注模型的测试结果。
Figure 825939DEST_PATH_IMAGE001
由表一可以看出，预标注模型的标注准确率平均可达97%，最低也能达到94%，完全可以用于人工标注结果的复核。
这样，服务器在需要使用预标注模型时，即可直接调用预标注模型，将待处理的医学图像输入预标注模型。具体地，服务器通过预标注模型的卷积层对医学图像进行卷积运算，提取医学图像的局部图像特征，然后通过预标注模型的池化层对局部图像特征进行处理，提取局部图像特征的高维图像特征，再通过预标注模型的全连接层和归一化层对高维图像特征进行处理，输出医学影像相应的机器标注结果。
举例说明，以预标注模型为CNN，且标注维度为检查部位为例，参考图6，对任意医学影像，假设
Figure 539817DEST_PATH_IMAGE002
表示图像的第
Figure 663762DEST_PATH_IMAGE003
行第
Figure 527813DEST_PATH_IMAGE004
列元素。
在卷积层进行卷积运算（convolution）和非线性变换（nonlinearity）。首先通过卷积核进行卷积计算，以提取局部特征。可以理解，如果当前像素表征为病灶，则大概率当前像素周围的像素也表征为病灶，而离当前像素很远的像素则可能表征为正常，通过卷积计算提取局部特征有利于提取与当前像素相关性更强的局部特征。假设卷积核为单层、大小为3*3，用
Figure 935661DEST_PATH_IMAGE005
表示第
Figure 821707DEST_PATH_IMAGE006
行第
Figure 151057DEST_PATH_IMAGE007
列权重，用
Figure 84378DEST_PATH_IMAGE008
表示卷积核的偏置项，则像素
Figure 97464DEST_PATH_IMAGE002
经过卷积后的像素值
Figure 559670DEST_PATH_IMAGE009
为：
Figure 907474DEST_PATH_IMAGE010
（1）
在一些实施例中，医学影像为彩色图像，则至少包含R、G、B三个通道。为了对每个通道进行卷积，则卷积核数量应该与医学影像的通道数量相同，设为D。同样的，卷积核的大小也不是固定的，假设卷积核的大小（宽度或高度，两者相同）为F，则
Figure 113328DEST_PATH_IMAGE011
表示卷积核第
Figure 948297DEST_PATH_IMAGE012
层第
Figure 174879DEST_PATH_IMAGE006
行第
Figure 229554DEST_PATH_IMAGE007
列权重，
Figure 98153DEST_PATH_IMAGE013
表示输入图像第
Figure 210466DEST_PATH_IMAGE012
个通道的第
Figure 122796DEST_PATH_IMAGE003
行第
Figure 914034DEST_PATH_IMAGE004
列元素，则经过卷积后的像素值
Figure 445379DEST_PATH_IMAGE009
更新为：
Figure 412198DEST_PATH_IMAGE014
（2）
在卷积层通过卷积运算后，再通过激活函数进行非线性变换。比如激活函数为Relu激活函数时，经过非线性变换后的像素值
Figure 246161DEST_PATH_IMAGE015
为：
Figure 806587DEST_PATH_IMAGE016
（3）
进一步地，服务器再通过预标注模型的池化（pooling）层对局部图像特征进行下采样，提取高维图像特征。其中，池化的方法较多，比较常用的是取均值或取最大值。在本实施例中具体可以基于2*2邻域做max pooling，目的是提取最显著的特征。经过池化后的像素值为
Figure 485830DEST_PATH_IMAGE017
。
服务器再将池化后的二维图像拉平为一维向量，设为
Figure 307155DEST_PATH_IMAGE018
。再将
Figure 98306DEST_PATH_IMAGE018
输入预标注模型的全连接层，假设全连接层参数为
Figure 270661DEST_PATH_IMAGE019
，则输出运算结果
Figure 753595DEST_PATH_IMAGE020
。
服务器再运算结果
Figure 773635DEST_PATH_IMAGE020
输入归一化层，如softmax层，预估该影像
Figure 746139DEST_PATH_IMAGE002
属于每一类的概率值
Figure 874632DEST_PATH_IMAGE021
：
Figure 941683DEST_PATH_IMAGE022
（4）
则医学影像所属的类别
Figure 472021DEST_PATH_IMAGE023
即为
Figure 818689DEST_PATH_IMAGE024
对应的类别
Figure 309844DEST_PATH_IMAGE003
。其中，类别即为食管、胃、咽喉或者十二指肠等检测部位。
上述实施例中，由于卷积网络结构基于局部连接、权值共享以及下采样设计而成，能够基于跟小的参数量获得更显著的局部特征，对图像分类有非常好的效果。这样，选用卷积神经网络作为预标注模型，能够使得预标注系统在复核标注维度的结果准确率高，能够用于对人工标注结果进行复核。
在一个实施例中，人工标注结果的数量多于一个；标注水平量化结果为错误标注率。该图像处理方法还包括：当多于一个人工标注结果之间不一致时，则获取各人工标注结果所属标注者的错误标注率的排序；排序中错误标注率低排序靠前，错误标注率高排序靠后；将排序靠前的错误标注率所属标注者的人工标注结果，传递至质控节点。
其中，标注水平量化结果为错误标注率，即错误标注次数占全部标注次数的比例。错误标注率的排序，是将错误标注率按照大小顺序进行排序的结果。排序中错误标注率低排序靠前，错误标注率高排序靠后。
在一个实施例中，一个标注者的标注水平量化结果，可以是根据预标注模型的输出复核该标注者的各标注结果后计算得到，可以是通过其他方式复核该标注者的各标注结果后计算得到。
举例说明，下表为一个具体实施例中错误标注率的排序。
Figure 931319DEST_PATH_IMAGE025
进一步地，服务器在多于一个人工标注结果之间不一致，判定这些人工标注结果不可信，需要进一步进行审核。那么，服务器可获取各人工标注结果所属标注者的错误标注率的排序，将排序靠前的错误标注率所属标注者的人工标注结果传递至质控节点，也就是将错误标注率低的标注者的人工标注结果传递至质控节点。其中，质控节点是对人工标注结果进行质量审核的节点。
可以理解，若无任何先验知识，只能随机选一个人工标注结果传递至质控节点，当把恶意标注结果传递至质控节点时，质控节点的工作量会大大增加。本实施例中，将错误标注率作为先验知识，通过预标注系统复核后错误标注率低的标注者，大概率不会是一个恶意标注者，甚至可能是一位优秀标注者，其标注结果正确的概率更高。这样，将错误标注率低的标注者的人工标注结果传递至质控节点，可以降低审核过程中的工作量，比如“确认”工作的比例提升而“修正”工作比例下降，这样相应的质检人员的质量审核体验也更为良好。
举例说明，继续参考图5，服务器对各人工标注结果进行一致性判断，并判断这三个人工标注结果之间不一致时，在标注质控系统中结合错误标注率排名，选取错误标注率低的标注者的标注结果（如人工标注结果a）传递至质控节点。
进一步地，质控节点对其中一个人工标注结果进行质量审核后，会输出待处理的医学图像的标准标注结果。服务器则可依据该标准标注结果对剩余的人工标注结果进行质量审核。比如，服务器将人工标注结果a传递至质控节点后，质控节点输出标准标注结果d。服务器则可依据标准标注结果d对人工标注结果b和人工标注结果c进行质量审核。
在一个实施例中，服务器将排序靠前的错误标注率所属标注者的人工标注结果，传递至质控节点后，可指示质控节点在显示传递的人工标注结果时，同时显示人工标注结果所属标注者的错误标注率。如图7所示，该质控界面中显示有错误标注率。这样可以方便质控人员灵活调整质控过程的关注度。对于错误标注率低（比如仅1%）的标注者的人工标注结果，质控人员可以重点关注一些核心标注项，如病灶区域的边界是否无误；对于错误标注率高（比如达到10%）的标注者的人工标注结果，质控人员就需要全面的核查所有的标注结果，以免遗漏。
在一个实施例中，服务器也可将各人工标注结果均传递至质控节点，但指示质控节点优先展示错误标注率最低的标注者的人工标注结果。质控节点可根据质控人员的操作，切换展示其他标注者的人工标注结果。比如通过质控页面中“标注者”对应的选择控件切换不同的标注者，以显示选中的标注者的人工标注结果。
上述实施例中，将错误标注率低的标注者的人工标注结果传递至质控节点，可以降低审核过程中的工作量，比如“确认”工作的比例提升而“修正”工作比例下降，这样相应的质检人员的质量审核体验也得到了提升。
在一个实施例中，该图像处理方法还包括：获取质控节点得到的医学影像相对应的标准标注结果；将医学影像选为训练样本，并将标准标注结果选为训练样本相应的训练标签；标准标注结果包括显式特征标注结果和隐式特征标注结果；采用训练样本和训练样本相应的训练标签，训练目标标注模型。
具体地，质控节点进行质量审核后输出的医学影像相对应的标准标注结果，可以认为是最权威的标注结果。那么服务器可将医学影像选为训练样本，并将标准标注结果选为训练样本相应的训练标签训练目标标注模型。
举例说明，继续参考图5，质控节点在接收到人工标注结果后，对该人工标注结果进行质量审核（修改/确认），输出标准标注结果d。服务器则可将医学影像选为训练样本，并将人工标注结果选为训练样本相应的训练标签得到模型训练系统的训练数据，用于训练目标标注模型。
在本实施例中，获取质控节点输出标准标注结果来作为训练标签，此时训练标签的可靠性更高，更利于目标标注模型的训练。
在一个实施例中，该图像处理方法还包括：获取质控节点得到的医学影像相对应的标准标注结果；当标准标注结果和人工标注结果之间的显式特征标注结果一致、且人工标注结果的显式特征标注结果和机器标注结果不一致时，则修正人工标注结果所属标注者的标注水平量化结果。
具体地，在质控节点输出标准标注结果后，服务器可利用该标准标注结果来进行反向验证复核结果。服务器可将机器标注结果与标准标注结果的显式特征标注进行比较，在机器标注结果与标准标注结果的显式特征标注一致时，反向验证出预标注模型标注正确。在机器标注结果与标准标注结果的显式特征标注不一致时，反向验证出预标注模型标注出错，可能会出现错误复核的情形。
服务器进一步将标准标注结果和人工标注结果之间的显式特征标注结果进行比较，在标准标注结果和人工标注结果之间的显式特征标注结果一致时，可判定该人工标注结果被错判，服务器则修正该人工标注结果所属标注者的标注水平量化结果。在标准标注结果和人工标注结果之间的显式特征标注结果不一致、且机器标注结果与人工标注结果的显式特征标注一致时，可该人工标注结果被错判，服务器则修正该人工标注结果所属标注者的标注水平量化结果。
在本实施例中，由于质控节点给出的标准标注结果的权威性要高于预标注模型输出的机器标注结果。这样，通过标准标注结果来进行反向验证，可以纠正机器验证过程中的误判，使得整个复核结果更加可靠。
在一个实施例中，该图像处理方法还包括：获取质控节点得到的医学影像相对应的标准标注结果；当标准标注结果的显式特征标注结果和机器标注结果不一致时，则将医学影像作为预标注模型的负反馈样本；将标准标注结果的显式特征标注结果作为医学影像的训练标签，优化预标注模型的模型参数，得到优化后的预标注模型。
具体地，在质控节点输出标准标注结果后，服务器可利用该标准标注结果来优化预标注模型。服务器可将标准标注结果的显式特征标注结果和机器标注结果进行比较，在机器标注结果与标准标注结果的显式特征标注一致时，反向验证出预标注模型标注正确。在机器标注结果与标准标注结果的显式特征标注不一致时，反向验证出预标注模型标注出错，需要对预标注模型参数优化。此时，服务器可将标注出错的医学影像作为预标注模型的负反馈样本，将出错的医学图像的标准标注结果的显式特征标注结果作为相应的训练标签，优化预标注模型的模型参数，得到优化后的预标注模型。
在本实施例中，通过标准标注结果来进行反向验证，通过标注出错的医学影像作为负反馈样本来调优预标注模型，使得预标注模型更稳定，可靠性更高。
在一个具体的实施例中，该图像处理方法具体包括以下步骤：
1、获取待处理的医学影像以及医学影像相对应的多于一个人工标注结果。
2、将医学影像输入预标注模型；通过预标注模型的卷积层对医学影像进行处理，提取医学影像的局部图像特征；通过预标注模型的池化层对局部图像特征进行处理，提取局部图像特征的高维图像特征；通过预标注模型的全连接层和归一化层对高维图像特征进行处理，输出医学影像相应的机器标注结果。其中，预标注模型为卷积神经网络，通过医学影像样本和相应的训练标签训练得到；训练标签为医学影像样本的显式特征标注结果；显式特征标注结果包括图像质量标注结果、检查方式标注结果和检查部位标注结果中的至少一种。
3、将各个人工标注结果中的显式特征标注结果与机器标注结果比较。
3.1、当人工标注结果中的显式特征标注结果与机器标注结果不一致时，则判定人工标注结果为错误标注结果，并根据错误标注结果更新人工标注结果所属标注者的错误标注率。
3.2、当人工标注结果中的显式特征标注结果与机器标注结果一致时，则判定人工标注结果为错误标注结果，并根据错误标注结果更新人工标注结果所属标注者的错误标注率。
4、将人工标注结果所属标注者的错误标注率与恶意标注判定条件匹配。
4.1、当人工标注结果所属标注者的错误标注率满足恶意标注判定条件时，则将人工标注结果识别为恶意标注结果。
4.2、当人工标注结果所属标注者的错误标注率不满足恶意标注判定条件时，则将人工标注结果识别为非恶意标注结果。
5、对各个人工标注结果进行一致性判断。
5.1、当多于一个人工标注结果之间相互一致时，则将医学影像选为训练样本，并将人工标注结果选为训练样本相应的训练标签；人工标注结果包括显式特征标注结果和隐式特征标注结果；采用训练样本和训练样本相应的训练标签，训练目标标注模型。
5.2、当多于一个人工标注结果之间不一致时，则获取各人工标注结果所属标注者的错误标注率的排序；排序中错误标注率低排序靠前，错误标注率高排序靠后；将排序靠前的错误标注率所属标注者的人工标注结果，传递至质控节点。
6、获取质控节点得到的医学影像相对应的标准标注结果。
6.1、将医学影像选为训练样本，并将标准标注结果选为训练样本相应的训练标签；标准标注结果包括显式特征标注结果和隐式特征标注结果；采用训练样本和训练样本相应的训练标签，训练目标标注模型。
6.2、当标准标注结果和人工标注结果之间的显式特征标注结果一致、且人工标注结果的显式特征标注结果和机器标注结果不一致时，则修正人工标注结果所属标注者的标注水平量化结果。
6.3、当标准标注结果的显式特征标注结果和机器标注结果不一致时，则将医学影像作为预标注模型的负反馈样本；将标准标注结果的显式特征标注结果作为医学影像的训练标签，优化预标注模型的模型参数，得到优化后的预标注模型。
在本实施例中，首先，在标注过程中加入AI预标注，自动识别恶意标注。针对医学影像标注任务中包含多个待标维度（如：图像质量、检查方式、所属部位、疾病性质等）的特点（是否明显可见），本发明抽取部分维度（如：图像质量、检查方式、所属部位）构建预标注模型，由于其预标注准确率可达95%，因此可用于人工标注结果的复核，实现恶意标注的自动识别。
其次，加入机器预标注后，在标注过程中即可实时评估标注者的错标水平，无须等到质控审核完成才能进行，摆脱了串行工作中恶意标注识别的滞后性；且纳入一个完全客观、效果稳定的AI质控机器，丰富了质控评估维度，摆脱了质控工作的全人工依赖，大大提升工作效率和质量。
再次，对于不一致的人工标注结果，需要质控人员再做审核，若无任何先验知识，只能随机选一个标注结果交给质控人员判断，若正确直接“确认”，若错误还需“修正”。当不幸把恶意标注者的结果展示给质控人员时，相应的工作量会大大增加。本申请中，将错误标注率作为先验知识，在自动评估每位标注者的错误标注率时，对标注质控系统进行优化，优先选择错误标注率较低标注者的人工标注结果展示给质控人员。由于机器复核后错误标注率低的标注者，大概率不会是一个恶意标注者，甚至可能是一位优秀标注者，其标注结果正确的概率更高，质控人员的“确认”工作比例提升、“修正”工作比例下降，工作量有所降低，相应的质控体验也更为良好。
应该理解的是，虽然上述实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块801、调用模块802、复核模块803和识别模块804，其中：
获取模块801，用于获取待处理的医学影像以及医学影像相对应的人工标注结果；
调用模块802，用于调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果；预标注模型通过医学影像样本和相应的训练标签训练得到；训练标签为医学影像样本的显式特征标注结果；
复核模块803，用于当人工标注结果中的显式特征标注结果与机器标注结果不一致时，则判定人工标注结果为错误标注结果，并根据错误标注结果更新人工标注结果所属标注者的标注水平量化结果；
识别模块804，用于当人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将人工标注结果识别为恶意标注结果。
在一个实施例中，人工标注结果的数量多于一个。图像处理装置还包括：训练模块，用于当多于一个人工标注结果之间相互一致时，则将医学影像选为训练样本，并将人工标注结果选为训练样本相应的训练标签；人工标注结果包括显式特征标注结果和隐式特征标注结果；采用训练样本和训练样本相应的训练标签，训练目标标注模型。
在一个实施例中，显式特征标注结果包括图像质量标注结果、检查方式标注结果和检查部位标注结果中的至少一种；隐式特征标注结果包括疾病性质标注结果和病灶位置标注结果中的至少一种。
在一个实施例中，预标注模型为卷积神经网络模型。调用模块802还用于将医学影像输入预标注模型；通过预标注模型的卷积层对医学影像进行处理，提取医学影像的局部图像特征；通过预标注模型的池化层对局部图像特征进行处理，提取局部图像特征的高维图像特征；通过预标注模型的全连接层和归一化层对高维图像特征进行处理，输出医学影像相应的机器标注结果。
在一个实施例中，人工标注结果的数量多于一个。标注水平量化结果为错误标注率。图像处理装置还包括：质控模块，用于当多于一个人工标注结果之间不一致时，则获取各人工标注结果所属标注者的错误标注率的排序；排序中错误标注率低排序靠前，错误标注率高排序靠后；将排序靠前的错误标注率所属标注者的人工标注结果，传递至质控节点。
在一个实施例中，训练模块还用于获取质控节点得到的医学影像相对应的标准标注结果；将医学影像选为训练样本，并将标准标注结果选为训练样本相应的训练标签；标准标注结果包括显式特征标注结果和隐式特征标注结果；采用训练样本和训练样本相应的训练标签，训练目标标注模型。
在一个实施例中，图像处理装置还包括：优化模块，用于获取质控节点得到的医学影像相对应的标准标注结果；当标准标注结果和人工标注结果之间的显式特征标注结果一致、且人工标注结果的显式特征标注结果和机器标注结果不一致时，则修正人工标注结果所属标注者的标注水平量化结果。
在一个实施例中，优化模块还用于获取质控节点得到的医学影像相对应的标准标注结果；当标准标注结果的显式特征标注结果和机器标注结果不一致时，则将医学影像作为预标注模型的负反馈样本；将标准标注结果的显式特征标注结果作为医学影像的训练标签，优化预标注模型的模型参数，得到优化后的预标注模型。
在一个实施例中，如图9所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块901、调用模块902、复核模块903、识别模块904、训练模块905、质控模块906和优化模块907。
获取模块901，用于获取待处理的医学影像，以及医学影像相对应的多于一个人工标注结果。
调用模块902，用于调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果；预标注模型通过医学影像样本和相应的训练标签训练得到；训练标签为医学影像样本的显式特征标注结果；显式特征标注结果包括图像质量标注结果、检查方式标注结果和检查部位标注结果中的至少一种。
复核模块903，用于当人工标注结果中的显式特征标注结果与机器标注结果不一致时，则判定人工标注结果为错误标注结果，并根据错误标注结果更新人工标注结果所属标注者的错误标注率。
识别模块904，用于当人工标注结果所属标注者的错误标注率满足恶意标注判定条件时，则将人工标注结果识别为恶意标注结果。
训练模块905，用于当多于一个人工标注结果之间相互一致时，则将医学影像选为训练样本，并将人工标注结果选为训练样本相应的训练标签；人工标注结果包括显式特征标注结果和隐式特征标注结果；采用训练样本和训练样本相应的训练标签，训练目标标注模型。以及，还用于获取质控节点得到的医学影像相对应的标准标注结果；将医学影像选为训练样本，并将标准标注结果选为训练样本相应的训练标签；标准标注结果包括显式特征标注结果和隐式特征标注结果；采用训练样本和训练样本相应的训练标签，训练目标标注模型。隐式特征标注结果包括疾病性质标注结果和病灶位置标注结果中的至少一种。
质控模块906，用于当多于一个人工标注结果之间不一致时，则获取各人工标注结果所属标注者的错误标注率的排序；排序中错误标注率低排序靠前，错误标注率高排序靠后；将排序靠前的错误标注率所属标注者的人工标注结果，传递至质控节点。
优化模块907，用于获取质控节点得到的医学影像相对应的标准标注结果；当标准标注结果和人工标注结果之间的显式特征标注结果一致、且人工标注结果的显式特征标注结果和机器标注结果不一致时，则修正人工标注结果所属标注者的标注水平量化结果。以及，还用于获取质控节点得到的医学影像相对应的标准标注结果；当标准标注结果的显式特征标注结果和机器标注结果不一致时，则将医学影像作为预标注模型的负反馈样本；将标准标注结果的显式特征标注结果作为医学影像的训练标签，优化预标注模型的模型参数，得到优化后的预标注模型。
上述图像处理装置，在获取到待处理的医学影像以及医学影像相对应的人工标注结果后，调用预标注模型对医学影像进行标注，得到医学影像相应的机器标注结果。其中，预标注模型的训练标签是医学影像样本的显式特征标注结果，而显式特征是直观可见且标注争议小的标注维度，选取此类标注维度作为预标注模型的复核标注维度，可以使得模型稳定且输出可信度高，能达到复核人工标注结果的目的。这样，当人工标注结果中的显式特征标注结果与机器标注结果不一致时，就可以判定人工标注结果为错误标注结果，并更新人工标注结果所属标注者的标注水平量化结果，继而通过恶意标注判定条件对标注水平量化结果的约束，高效地识别出恶意标注结果。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的医学影像以及所述医学影像相对应的人工标注结果；所述人工标注结果的数量多于一个；
调用预标注模型对所述医学影像进行标注，得到所述医学影像相应的机器标注结果；所述预标注模型通过医学影像样本和相应的训练标签训练得到；所述训练标签为所述医学影像样本的显式特征标注结果；所述医学影像样本是用作模型训练样本的医学影像；所述显式特征标注结果是在显式特征维度对医学影像进行标注的结果；
当所述人工标注结果中的显式特征标注结果与所述机器标注结果不一致时，则判定所述人工标注结果为错误标注结果，并根据所述错误标注结果更新所述人工标注结果所属标注者的标注水平量化结果；
当所述人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将所述人工标注结果识别为恶意标注结果；
当多于一个所述人工标注结果之间相互一致、且多于一个所述人工标注结果的显式特征标注结果与所述机器标注结果一致时，则将所述医学影像选为训练样本，并将所述人工标注结果选为所述训练样本相应的训练标签；所述人工标注结果包括显式特征标注结果和隐式特征标注结果；所述隐式特征标注结果是在隐式特征维度对医学影像进行标注的结果；
采用所述训练样本和所述训练样本相应的训练标签，训练目标标注模型；所述目标标注模型异于所述预标注模型。
2.根据权利要求1所述的方法，其特征在于，所述预标注模型为卷积神经网络模型；所述调用预标注模型对所述医学影像进行标注，得到所述医学影像相应的机器标注结果，包括：
将所述医学影像输入预标注模型；
通过所述预标注模型的卷积层对所述医学影像进行处理，提取所述医学影像的局部图像特征；
通过所述预标注模型的池化层对所述局部图像特征进行处理，提取所述局部图像特征的高维图像特征；
通过所述预标注模型的全连接层和归一化层对所述高维图像特征进行处理，输出所述医学影像相应的机器标注结果。
3.根据权利要求1所述的方法，其特征在于，所述人工标注结果的数量多于一个；所述标注水平量化结果为错误标注率；所述方法还包括：
当多于一个所述人工标注结果之间不一致时，则
获取各所述人工标注结果所属标注者的错误标注率的排序；所述排序中错误标注率低排序靠前，错误标注率高排序靠后；
将排序靠前的错误标注率所属标注者的人工标注结果，传递至质控节点。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述质控节点得到的所述医学影像相对应的标准标注结果；
将所述医学影像选为训练样本，并将所述标准标注结果选为所述训练样本相应的训练标签；所述标准标注结果包括显式特征标注结果和隐式特征标注结果；
采用所述训练样本和所述训练样本相应的训练标签，训练目标标注模型。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述质控节点得到的所述医学影像相对应的标准标注结果；
当所述标准标注结果和所述人工标注结果之间的显式特征标注结果一致、且所述人工标注结果的显式特征标注结果和所述机器标注结果不一致时，则
修正所述人工标注结果所属标注者的标注水平量化结果。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述质控节点得到的所述医学影像相对应的标准标注结果；
当所述标准标注结果的显式特征标注结果和所述机器标注结果不一致时，则将所述医学影像作为所述预标注模型的负反馈样本；
将所述标准标注结果的显式特征标注结果作为所述医学影像的训练标签，优化所述预标注模型的模型参数，得到优化后的预标注模型。
7.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理的医学影像以及所述医学影像相对应的人工标注结果；所述人工标注结果的数量多于一个；
调用模块，用于调用预标注模型对所述医学影像进行标注，得到所述医学影像相应的机器标注结果；所述预标注模型通过医学影像样本和相应的训练标签训练得到；所述训练标签为所述医学影像样本的显式特征标注结果；所述医学影像样本是用作模型训练样本的医学影像；所述显式特征标注结果是在显式特征维度对医学影像进行标注的结果；
复核模块，用于当所述人工标注结果中的显式特征标注结果与所述机器标注结果不一致时，则判定所述人工标注结果为错误标注结果，并根据所述错误标注结果更新所述人工标注结果所属标注者的标注水平量化结果；
识别模块，用于当所述人工标注结果所属标注者的标注水平量化结果满足恶意标注判定条件时，则将所述人工标注结果识别为恶意标注结果；
训练模块，用于当多于一个所述人工标注结果之间相互一致、且多于一个所述人工标注结果的显式特征标注结果与所述机器标注结果一致时，则将所述医学影像选为训练样本，并将所述人工标注结果选为所述训练样本相应的训练标签；所述人工标注结果包括显式特征标注结果和隐式特征标注结果；所述隐式特征标注结果是在隐式特征维度对医学影像进行标注的结果；采用所述训练样本和所述训练样本相应的训练标签，训练目标标注模型；所述目标标注模型异于所述预标注模型。
8.根据权利要求7所述的装置，其特征在于，所述预标注模型为卷积神经网络模型；所述调用模块还用于：将所述医学影像输入预标注模型；通过所述预标注模型的卷积层对所述医学影像进行处理，提取所述医学影像的局部图像特征；通过所述预标注模型的池化层对所述局部图像特征进行处理，提取所述局部图像特征的高维图像特征；通过所述预标注模型的全连接层和归一化层对所述高维图像特征进行处理，输出所述医学影像相应的机器标注结果。
9.根据权利要求7所述的装置，其特征在于，所述人工标注结果的数量多于一个；所述标注水平量化结果为错误标注率；所述装置还包括：
质控模块，用于当多于一个所述人工标注结果之间不一致时，则获取各所述人工标注结果所属标注者的错误标注率的排序；所述排序中错误标注率低排序靠前，错误标注率高排序靠后；将排序靠前的错误标注率所属标注者的人工标注结果，传递至质控节点。
10.根据权利要求9所述的装置，其特征在于，所述训练模块还用于获取所述质控节点得到的所述医学影像相对应的标准标注结果；将所述医学影像选为训练样本，并将所述标准标注结果选为所述训练样本相应的训练标签；所述标准标注结果包括显式特征标注结果和隐式特征标注结果；采用所述训练样本和所述训练样本相应的训练标签，训练目标标注模型。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括：
优化模块，用于获取所述质控节点得到的所述医学影像相对应的标准标注结果；当所述标准标注结果和所述人工标注结果之间的显式特征标注结果一致、且所述人工标注结果的显式特征标注结果和所述机器标注结果不一致时，则修正所述人工标注结果所属标注者的标注水平量化结果。
12.根据权利要求11所述的装置，其特征在于，所述优化模块还用于获取所述质控节点得到的所述医学影像相对应的标准标注结果；当所述标准标注结果的显式特征标注结果和所述机器标注结果不一致时，则将所述医学影像作为所述预标注模型的负反馈样本；将所述标准标注结果的显式特征标注结果作为所述医学影像的训练标签，优化所述预标注模型的模型参数，得到优化后的预标注模型。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202010401312.9A 2020-05-13 2020-05-13 图像处理方法、装置、计算机设备和存储介质 Active CN111292839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010401312.9A CN111292839B (zh) 2020-05-13 2020-05-13 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010401312.9A CN111292839B (zh) 2020-05-13 2020-05-13 图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111292839A CN111292839A (zh) 2020-06-16
CN111292839B true CN111292839B (zh) 2020-10-13

Family

ID=71024943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010401312.9A Active CN111292839B (zh) 2020-05-13 2020-05-13 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111292839B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036441A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 机器学习物体检测结果的反馈标注方法和装置、存储介质
CN111814759B (zh) * 2020-08-24 2020-12-18 腾讯科技（深圳）有限公司 人脸质量标签值的获取方法、装置、服务器及存储介质
CN112182502A (zh) * 2020-09-07 2021-01-05 支付宝(杭州)信息技术有限公司 合规审核方法、装置和设备
CN112183321A (zh) * 2020-09-27 2021-01-05 深圳奇迹智慧网络有限公司 机器学习模型优化的方法、装置、计算机设备和存储介质
CN112270533A (zh) * 2020-11-12 2021-01-26 北京百度网讯科技有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN112200274B (zh) * 2020-12-09 2021-03-30 湖南索莱智能科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN112579808B (zh) * 2020-12-29 2023-07-18 上海赛图默飞医疗科技有限公司 数据标注处理方法及装置、系统
CN113380384A (zh) * 2021-05-01 2021-09-10 首都医科大学宣武医院 人机协同训练医学影像标注模型的方法、标注方法及系统
CN113764075A (zh) * 2021-09-13 2021-12-07 杭州太美星程医药科技有限公司 医学图像质控方法及装置、可读存储介质及电子设备
CN115757784B (zh) * 2022-11-21 2023-07-07 中科世通亨奇(北京)科技有限公司 基于标注模型和标签模板筛选的语料标注方法及装置
CN116777900A (zh) * 2023-07-31 2023-09-19 广州医科大学附属第一医院（广州呼吸中心） 一种医学图像质量评分方法、系统及可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462738B (zh) * 2013-09-24 2018-10-30 西门子公司 一种标注医学图像的方法、装置和系统
US10360257B2 (en) * 2017-08-08 2019-07-23 TuSimple System and method for image annotation
CN107908641B (zh) * 2017-09-27 2021-03-19 百度在线网络技术（北京）有限公司 一种获取图片标注数据的方法和系统
CN110197474B (zh) * 2018-03-27 2023-08-25 腾讯科技（深圳）有限公司 图像处理方法和装置及神经网络模型的训练方法
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
CN109446370A (zh) * 2018-10-26 2019-03-08 广州金域医学检验中心有限公司 医学图像的病理标注方法及装置、计算机可读存储介质
CN109473160A (zh) * 2018-10-26 2019-03-15 广州金域医学检验中心有限公司 医学图像的标注资格确定方法及装置
CN109816014A (zh) * 2019-01-22 2019-05-28 天津大学 生成深度学习目标检测网络训练用带标注数据集的方法
CN110443476A (zh) * 2019-07-23 2019-11-12 国家计算机网络与信息安全管理中心 基于知识标注评价的任务分配方法及系统
CN110797101B (zh) * 2019-10-28 2023-11-03 腾讯医疗健康(深圳)有限公司 医学数据处理方法、装置、可读存储介质和计算机设备
CN111078908B (zh) * 2019-11-28 2023-06-09 北京云聚智慧科技有限公司 一种数据标注的检测方法和装置
CN111080092B (zh) * 2019-11-29 2023-04-18 北京云聚智慧科技有限公司 数据标注管理方法及装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN111292839A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111292839B (zh) 图像处理方法、装置、计算机设备和存储介质
US11553874B2 (en) Dental image feature detection
US10949968B2 (en) Systems and methods for detecting an indication of a visual finding type in an anatomical image
US10430946B1 (en) Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
US11282198B2 (en) Heat map generating system and methods for use therewith
US11669965B2 (en) AI-based label generating system and methods for use therewith
US11694123B2 (en) Computer based object detection within a video or image
CN108230296B (zh) 图像特征的识别方法和装置、存储介质、电子装置
KR101887194B1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CN113011485B (zh) 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
KR102140402B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
WO2019215604A1 (en) Systems and methods for detecting an indication of a visual finding type in an anatomical image
CN110443268B (zh) 一种基于深度学习的肝部ct图像良性恶性分类方法
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
KR20190105460A (ko) 의료 진단 리포트 생성 장치 및 방법
CN111383259A (zh) 图像分析方法、计算机设备和存储介质
CN113808125A (zh) 医学影像处理方法、病灶类型识别方法以及相关产品
CN112614573A (zh) 基于病理图像标注工具的深度学习模型训练方法及装置
Sarp et al. Artificial intelligence-powered chronic wound management system: Towards human digital twins
AU2019367163B2 (en) Computer based object detection within a video or image
KR102480134B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
CN112967246A (zh) 用于临床决策支持系统的x射线影像辅助装置及方法
KR102213924B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
Yao Machine Learning and Image Processing for Clinical Outcome Prediction: Applications in Medical Data from Patients with Traumatic Brain Injury, Ulcerative Colitis, and Heart Failure
Rafi et al. Detection of common thorax diseases from X-Ray images using a fusion of transfer and statistical learning method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024751

Country of ref document: HK