CN109035187B - 一种医学图像的标注方法及装置 - Google Patents
一种医学图像的标注方法及装置 Download PDFInfo
- Publication number
- CN109035187B CN109035187B CN201810752360.5A CN201810752360A CN109035187B CN 109035187 B CN109035187 B CN 109035187B CN 201810752360 A CN201810752360 A CN 201810752360A CN 109035187 B CN109035187 B CN 109035187B
- Authority
- CN
- China
- Prior art keywords
- medical image
- focus
- labeling
- lesion
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000003902 lesion Effects 0.000 claims description 93
- 238000007499 fusion processing Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 34
- 238000005259 measurement Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 15
- 230000011218 segmentation Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000010354 integration Effects 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 206010056342 Pulmonary mass Diseases 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明实施例提供一种医学图像的标注方法及装置，该方法包括：服务器将第一医学图像发送至多个第一终端；所述第一医学图像为待标注的医学图像；所述服务器获取所述多个第一终端返回的多个第二医学图像；所述第二医学图像为标注人员通过所述第一终端对所述第一医学图像进行标注后的医学图像；所述服务器根据所述多个第二医学图像，确定具有标注结果的第三医学图像；所述第三医学图像用于作为所述第一医学图像的标注的标准。
Description
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种医学图像的标注方法及装置。
背景技术
目前，医生一般通过医学影像手段观察患者的病灶情况，进而确定患者的病情。当患者拍摄医学影像之后，医生通过个人经验判断医学影像中是否存在病灶，该方法效率较低，并且存在较大的主观性，不同的医生确定的病灶之间可能存在较大差异，进而确定出的病灶的准确度不高。
发明内容
本发明实施例提供一种医学图像的标注方法及装置，用于解决现有技术中通过医生经验判断医学影像中病灶的方法准确性低的问题。
本发明实施例提供一种医学图像标注的方法，包括：
服务器将第一医学图像发送至多个第一终端；所述第一医学图像为待标注的医学图像；
所述服务器获取所述多个第一终端返回的多个第二医学图像；所述第二医学图像为标注人员通过所述第一终端对所述第一医学图像进行标注后的医学图像；
所述服务器根据所述多个第二医学图像，确定具有标注结果的第三医学图像；所述第三医学图像用于作为所述第一医学图像的标注的标准。
一种可能的实现方式，所述第二医学图像中的标注信息包括病灶识别框；
所述服务器根据所述多个第二医学图像，确定具有标注结果的第三医学图像，包括：
所述服务器针对重叠设置的多个第二医学图像，确定至少两个第二医学图像中的病灶识别框的交并比和/或相对位置；
所述服务器根据交并比和/或相对位置进行病灶识别框的融合处理，其中，交并比大于或等于预设阈值的各病灶识别框融合为一个病灶识别框；相对位置满足预设条件的各病灶识别框融合为一个病灶识别框；
所述服务器将融合处理后的病灶识别框作为所述第三医学图像的标注结果。
一种可能的实现方式，所述第二医学图像中的标注信息还包括以下至少之一：病灶类型、病灶的测量信息；
所述服务器根据交并比进行病灶识别框的融合处理之后，还包括：
所述服务器根据融合处理的各病灶识别框对应的病灶类型和/或病灶的测量信息进行统计，得到融合处理的病灶识别框对应的病灶类型和/或病灶的测量信息；
所述服务器将融合处理后的病灶识别框对应的病灶类型和/或病灶的测量信息作为所述第三医学图像的标注结果。
一种可能的实现方式，所述方法还包括：
所述服务器将所述第三医学图像发送至第二终端；
所述服务器接收所述第二终端返回的第四医学图像；所述第四医学图像为标注专家通过所述第二终端对所述第三医学图像的标注结果进行修改后的医学图像；
所述服务器将所述第四医学图像，作为所述第三医学图像。
本发明实施例提供一种医学图像标注的装置，包括：
收发单元，用于将第一医学图像发送至多个第一终端；所述第一医学图像为待标注的医学图像；获取所述多个第一终端返回的多个第二医学图像；所述第二医学图像为标注人员通过所述第一终端对所述第一医学图像进行标注后的医学图像；
处理单元，用于根据所述多个第二医学图像，确定具有标注结果的第三医学图像；所述第三医学图像用于作为所述第一医学图像的标注的标准。
一种可能的实现方式，所述第二医学图像中的标注信息包括病灶识别框；所述处理单元，具体用于：
针对重叠设置的多个第二医学图像，确定至少两个第二医学图像中的病灶识别框的交并比和/或相对位置；根据交并比和/或相对位置进行病灶识别框的融合处理，其中，交并比大于或等于预设阈值的各病灶识别框融合为一个病灶识别框；相对位置满足预设条件的各病灶识别框融合为一个病灶识别框；将融合处理后的病灶识别框作为所述第三医学图像的标注结果。
一种可能的实现方式，所述第二医学图像中的标注信息还包括以下至少之一：病灶类型、病灶的测量信息；
所述处理单元，还用于：
根据融合处理的各病灶识别框对应的病灶类型和/或病灶的测量信息进行统计，得到融合处理的病灶识别框对应的病灶类型和/或病灶的测量信息；将融合处理后的病灶识别框对应的病灶类型和/或病灶的测量信息作为所述第三医学图像的标注结果。
一种可能的实现方式，所述收发单元还用于：将所述第三医学图像发送至第二终端；接收所述第二终端返回的第四医学图像；所述第四医学图像为标注专家通过所述第二终端对所述第三医学图像的标注结果进行修改后的医学图像；
所述处理单元，还用于：将所述第四医学图像，作为所述第三医学图像。
本发明实施例提供了一种计算设备，包括多个处理单元以及多个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
本发明实施例提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述任一项所述方法的步骤。
本发明实施例中，通过对第二医学图像中已标注的标注信息进行整合，获得第二医学图像中所有病灶的标注结果，生成第三医学图像，作为医疗影像数据库的最终数据，提高医学图像标注的准确度，进而提高标注后的医学图像的适用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种医学图像的标注方法的流程示意图；
图2为本发明实施例提供的一种医学图像的标注装置的结构示意图；
图3为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
医学影像计算机辅助诊断系统的基础是人工智能理论中的机器学习技术，在机器学习系统的训练过程中，需要对机器学习模型的输入，即作为学习样本的影像图像进行标注，以使图像中存在的各种需要进行辅助诊断(例如病灶、解剖结构等)的信息(例如位置，形状，类型等)标注出来。
为使机器学习系统能获得较准确的辅助诊断结果，需要提高标注的准确度。现有技术中的标识方法有人工标注的方法，通过标注医生独立诊断并标注病患位置，进而建立数据集，例如，LIDC-IDRI肺结节公开数据集，该数据集由美国国家癌症研究所(NationalCancer Institute)发起收集，目的为研究高危人群早期癌症检测。通过该方法，每位标注医生分别独立复审其他3位医生的结果，并给出自己最终的诊断结果。最终获得的元数据包括，医疗图像的图像像素，还有一些辅助的元数据如图像类型、图像时间等信息。除了像素图以外，元数据中有一些其它主要标注信息，包括患者信息；检查信息，图像位置：图像的左上角在空间坐标系中的x,y,z坐标、图像方位、层厚、层与层之间的间距、实际的相对位置、身体部位等；图像的分辨率，像素等。例如，标注三类信息：1)≥3mm的结节，2)＜3mm的结节，3＝≥3mm的非结节；LIDC等国际公开数据集合的标注方法中，在利用多人对同一医学图像进行标注时，可能出现不一致的判别的结果，通过两阶段的标注保留了尽可能完整的结果，但是数据库并未作出一致性处理或第三方复核，导致最终获得的多个数据结果无法用于图像模型效果的验证，为提高数据库中的标注的准确度，还需要人工再进行分析，导致标注结果的适用性较差。
另外，还有通过机器学习的方法进行标注，例如，通过卷积神经网络模型，学习标注，并将标注所获得的数据用于医学影像的分割模型/区域检测模型训练过程，以提高模型标注的准确度。但是，由于机器标注数据是通过机器学习得到的，无法检验其模型的性能，得到的标注数据仅能作为参考，不能作为医学图像标注的金标准，无法用于医学影像计算机辅助诊断系统的构建和优化。
如图1所示，本发明实施例提供一种医学图像标注的方法，包括：
步骤101：服务器将第一医学图像发送至多个第一终端；
其中，所述第一医学图像为待标注的医学图像；
步骤102：所述服务器获取所述多个第一终端返回的多个第二医学图像；
其中，所述第二医学图像为标注人员通过所述第一终端对所述第一医学图像进行标注后的医学图像；
步骤103：所述服务器根据所述多个第二医学图像，确定具有标注结果的第三医学图像；
其中，所述第三医学图像用于作为所述第一医学图像的标注的标准。
医学图像可以为三维图像，也可以为二维图像，医学影像可以是计算机体层摄影(Computed Tomography，简称CT)影像、磁共振成像(Magnetic ResonanceImaging，简称MRI)影像等等。
在步骤101中，服务器可以根据需要，确定需要标注的医学图像为第一医学图像；在具体实施过程中，服务器可以将第一医学图像发送至第一终端的标注界面：标注人员在标注界面可对医学影像进行识别，从而终端可以获取待标注医学影像的标注数据。标注界面上可以显示待标注目标对象，以及对所述目标对象进行图像的操作，待标注对象可以为第一医学图像主需要标注的病灶，例如，肺结节。对所述目标对象进行图像的操作可以包括：对第一医学图像进行病灶区域的检出，对病灶的分类，对病灶的测量等，以供标注人员更精确地识别医学图像。
利用多名标注人员对第一医学图像进行病灶检出的标注工作，每份第一医学图像可以通过多个第一终端被多位标注人员进行多次识别，例如，识别次数可以大于或等于3次。每位标注人员在对第一医学图像进行识别后，可框选出病灶区域，采用的病灶识别框可以是二维的，也可以是三维的，病灶识别框包括但不限于矩形、圆形、椭圆形等。以三维图像的肺结节为例，由于结节的形状近似球，故可以将病灶识别框设置为台体，需要说明的是，病灶识别框并不仅限于台体，还可以是其他形状。
标注人员对第一医学图像的病灶标注完成后，第一终端根据包括病灶识别框的标注信息以及第一医学图像，生成所述第二医学图像，并发送至服务器。
服务器基于多个第二医学图像，进行数据的整合，进而获得第一医学图像的标注结果，以提高医学图像标注的准确度。另外，由于第二医学图像是基于医生专家独立对于医疗影像的识别独立获得的病灶的标注信息，不会引入模型获得的标注结果，可以保证标注信息的科学、有效、公平和严谨。
由于多个标注人员对第一医学图像进行标注，获得的多个第二医学图像中的病灶识别框可能对应一个或多个目标对象，或者一个或多个病灶识别框可能对应一个目标对象。因此，在步骤103中，本发明实施例中，服务器根据标识出的病灶区域，进行一个或多个目标对象的识别。
在具体实施过程中，可以将第二医学图像中的标注信息进行一一对比，若有2位及以上标注人员的标注框信息一致则进行融合。若某标注框仅1位标注人员框选出，则保留。以此将所有标注框结果融合。
一种可能的实现方式，服务器根据所述多个第二医学图像，确定具有标注结果的第三医学图像，包括：
步骤一、服务器针对重叠设置的多个第二医学图像，确定至少两个第二医学图像中的病灶识别框的交并比；
步骤二、服务器根据交并比进行病灶识别框的融合处理，其中，交并比大于或等于预设阈值的各病灶识别框融合为一个病灶识别框；
步骤三、服务器将融合处理后的病灶识别框作为所述第三医学图像的标注结果。
由于从各个第二医学图像中确定出的病灶识别框可能存在多个识别框对应一个病灶，若直接根据第二医学图像中的病灶识别框确定第一医学图像中的病灶，将导致检测得到的结节数量存在很大偏差，故需要将各第二医学图像转化为同一尺寸的第二医学图像并对齐，然后将从各第二医学图像中确定出的病灶识别框进行整合，并将整合后的病灶识别框确定为第一医学图像中的病灶。
下面结合具体的例子对上述病灶识别框的筛选过程进行说明，设定重叠设置后的第二医学图像中确定出的病灶识别框A、B、C，分别计算病灶识别框与其他各病灶识别框之间的交并比IOU，其中交并比的计算方式如式(1)所示：
其中，m为病灶识别框，n为与病灶识别框m比较的病灶识别框，IOU为病灶识别框m与病灶识别框n之间的交并比。
以预设阈值为0.6为例，若病灶识别框B与病灶识别框C之间的交并比大于0.6，则将病灶识别框B与病灶识别框C确认为同一病灶的病灶识别框；
根据病灶识别框B与病灶识别框C的标注范围，确定出一个信息的病灶识别框，该病灶识别框的标注范围可以为根据病灶识别框B与病灶识别框C加权平均后确定的。
根据标注出的识别框的病灶概率以及识别框之间的交并比对各图像中确定出的识别框进行整合，提高检测医学影像中病灶的准确性。
一种可能的实现方式，服务器根据所述多个第二医学图像，确定具有标注结果的第三医学图像，包括：
步骤一、服务器针对重叠设置的多个第二医学图像，确定至少两个第二医学图像中的病灶识别框的相对位置；
步骤二、服务器根据相对位置进行病灶识别框的融合处理，其中，相对位置满足预设条件的各病灶识别框融合为一个病灶识别框；
步骤三、服务器将融合处理后的病灶识别框作为所述第三医学图像的标注结果。
具体的，病灶识别框的相对位置可以为病灶识别框的中心的相对位置；以2个病灶识别框为例，病灶识别框a的中心点位于病灶识别框b中，且病灶识别框b的中心点位于病灶识别框a中，则将病灶识别框a和病灶识别框b确定为满足预设条件的各病灶识别框。以病灶识别框为正方形为例，若病灶识别框a的中心点与病灶识别框b的中心点均小于病灶识别框a的边长的1/2与病灶识别框b的边长的1/2。
为进一步提高病灶识别框的融合的准确度，可以将根据交并比确定的标注识别框与相对位置确定的标注识别框的结果进一步融合。
当然，本发明实施例中，还可以采用其他融合处理的方式，在此不做一一举例。
在标注识别框的结果融合后，还可以根据投票规则或取众数的方法，保留满足投票规则的标注人员框选出的病灶识别框的标注结果。并将投票结果加以记录，可以作为其他标注信息的参考。投票结果可以在所述第三医学图像中，也可以单独保存，在此不做限定。
根据多位标注人员确定的多个第二医学影像中的标注结果，整合多个标注结果，保留最完整的病灶检出标注结果。利用此方案使得数据标注任务能够尽可能完整获得金标准，提高了数据标注结果的敏感度。
在标注人员的标注过程中，还可以包括对第一医学图像进行病灶类型的标注，即所述第二医学图像中的标注信息还包括病灶类型；对于病灶类型可以包括医学影像对应的诊断结果的类型，此类型下包含二级/三级分类。
在具体实施过程中，所述服务器进行病灶识别框的融合处理之后，还包括：
服务器根据融合处理的各病灶识别框对应的病灶类型和/或病灶的测量信息进行统计，得到融合处理的病灶识别框对应的病灶类型和/或病灶的测量信息；
服务器将融合处理后的病灶识别框对应的病灶类型和/或病灶的测量信息作为所述第三医学图像的标注结果。
通过多名标注人员对病灶识别框对应的病灶进行病灶类型分类的标注，每个病灶识别框可以被多位标注人员进行识别。在确定病灶类型的具体标注过程中，可以采用为提高标注效率，便于标注人员操作，可以选择不需要手工输入的方式，选择下拉菜单的方式，也可以为其他方式，在此不做限定。每位标注人员在标注界面只需要通过点击相应病灶类型，确定对应的病灶的病灶类型。服务器进行病灶识别框的融合处理后，整合多个相应病灶类型的标注结果，进而推测出正确分类结果。
在标注框结果融合后，还可以根据投票规则或取众数的方法，保留满足投票规则的标注人员标注的病灶类型的标注结果，并将投票结果加以记录，可以作为其他标注信息的参考。
在标注人员的标注过程中，还可以包括对第一医学图像进行病灶的测量，即所述第二医学图像中的标注信息还可以包括病灶的测量信息；所述服务器根据交并比进行病灶识别框的融合处理之后，还包括：
所述服务器根据融合处理的各病灶识别框对应的病灶的测量信息进行统计，得到融合处理的病灶识别框对应的病灶的测量信息；
所述服务器将融合处理后的病灶识别框对应的病灶的测量信息作为所述第三医学图像的标注结果。
以下以病灶识别框对应的病灶进行边沿分割为例进行说明。由标注人员对待分割病灶区域进行预边缘分割处理，获得预分割处理后的病灶区域；病灶边缘分割后可以计算病灶尺寸，增加病灶信息，增加算法性能检测范围。通过标注人员分割出病灶区域进行数据整合，进而可以用于确定病灶的尺寸(最长径、最短径和体积)。其中，病灶尺寸中最长径为边缘分割后的多边形内最远两点的连线；最短径为垂直于最长径的多边形内最远两点的连线。
在具体实施过程中，服务可以将多个第二医学图像中多位标注人员标注的结果通过平均值融合或者众数融合的方式，将多位标注人员对于同一病灶的边缘分割结果进行融合，获得标注人员的边缘分割融合结果；以确定病灶区域的体积为例，可以使用几何积分的方法，基于多个目标对象中的边缘分割结果可以表示为：
V＝(S1+S2+(S1×S2)^0.5)×h/3+(S2+S3+(S2×S3)^0.5)×h/3+...+(Sn-1+Sn+(Sn-1×Sn)^0.5)×h/3
其中，V为病灶的体积，S1，S2，S3…Sn为病灶在三维医学影像上每一目标对象上的面积，h为层厚。以肺结节为例，在CT图像中，一个病灶可贯穿多层，标注人员在每一层对肺结节病灶进行边缘分割处理，即每层获得病灶面积，三维叠加成一个肺结节体积。
通过上述方法，由多位标注人员进行病灶边缘分割，根据病灶边缘勾勒的标注结果，整合处理后获得病灶的标注结果和病灶尺寸结果，提高病灶边缘分割的标注准确率。
当然，第二医学图像中的标注信息还可包括其他信息，具体实施方式可以参考上述实施例，在此不再一一举例。
针对每个标注信息的获取，可以采用分步骤执行，以提高标注人员的选择标注信息的效率，每个标注信息的获取以及数据的整合等处理通过服务器完成，不需标注人员额外的操作，进而提高整体的标注效率。为进一步提高标注结果的准确性和精度，每个标注信息的获取流程可以采用串行方法，以确保各标注环节的标注结果互相解耦无统计学相关性；另外，每个标注信息完成后还可以对前序结果进行修正，避免标注错误继续向后传递。
为进一步提高标注结果的准确性，最终结果的裁定可以通过增加标注专家作为仲裁人员进行最终的决策来提高标注的准确度。
其中，标注专家的级别高于标注人员。本发明实施例中，还可以包括：
步骤一、服务器将所述第三医学图像发送至第二终端；
步骤二、服务器接收所述第二终端返回的第四医学图像；所述第四医学图像为标注专家通过所述第二终端对所述第三医学图像的标注结果进行修改后的医学图像；
步骤三、服务器将所述第四医学图像，作为所述第三医学图像。
利用标注专家对于多个标注人员标注后的第二医学图像，进行处理修改再标注。
在具体实施过程中，标注专家可以针对第二医学图像进行逐一处理，也可以针对第二医学图像的整合结果进行统一处理，其中处理可以包括对病灶识别框的增加和删减、重设；病灶类型的修改，病灶边缘的重新确定等。
进一步的，为提高标注结果的准确度，服务器在获得第四医学图像后，服务器还可以根据多位标注人员的结果优先整合，再根据标注专家的结果与标注人员的结果进行二次整合。整体的整合方法可以包括但不限于投票、平均值融合和众数评估等方法中的一项或多项。例如，获取标注专家修正再标注的病灶区域中的病灶边缘后，还可以再通过投票规则，将满足规则的病灶边缘分割结果确定为最终的标注结果。利用此方案确保标注后的病灶检出的准确性，提升医学影像数据库的置信度以及人工核查修改标注数据的效率。具体的整合过程可以参考上述实施例，在此不再赘述。
为进一步提高标注效率，可以根据需要将标注差异大的标注结果发送至第二终端，也可以在第三医学图像中重点标识出。通过标注专家进行仲裁，以提升标识结果的准确性。
在步骤104中获得的第三医学图像，还可以用于建立医疗影像数据库，医疗影像数据库中包括第三医学图像，其标注结果可以用于算法模型性能检测，具体的，可以利用预先训练的算法模型，该模型中可以包含病灶区域检测模型、病灶区域分类模型以及病灶区域分割模型等一项或多项；模型可以对第三医学图像中标注的病灶区域中的医学图像进行处理，以输出针对该病灶区域及其分类、边缘分割结果和尺寸等信息。将医疗影像数据库中的人工标注的标注结果与算法输出的结果进行对比，以医疗影像数据库的标注结果作为正确答案，评估算法模型的性能。
通过上述方法，实现了对模型性能的检测，降低了模型训练的检测难度，有助于医学影像计算机辅助诊断系统的构建和优化。
本发明实施例中，通过对第二医学图像中已标注的病灶识别框、病灶识别框对应的病灶类型以及病灶识别框中病灶边缘分割结果和病灶尺寸等标注信息进行整合，获得第二医学图像中所有病灶的标注结果，生成第三医学图像，作为医疗影像数据库的最终数据，提高医学图像标注的准确度，进而提高标注后的医学图像的适用性。
如图2所示，本发明实施例提供一种医学图像标注的装置，包括：
收发单元201，用于将第一医学图像发送至多个第一终端；所述第一医学图像为待标注的医学图像；获取所述多个第一终端返回的多个第二医学图像；所述第二医学图像为标注人员通过所述第一终端对所述第一医学图像进行标注后的医学图像；
处理单元202，用于根据所述多个第二医学图像，确定具有标注结果的第三医学图像；所述第三医学图像用于作为所述第一医学图像的标注的标准。
一种可能的实现方式，所述第二医学图像中的标注信息包括病灶识别框；处理单元202，具体用于：针对重叠设置的多个第二医学图像，确定至少两个第二医学图像中的病灶识别框的交并比和/或相对位置；根据交并比和/或相对位置进行病灶识别框的融合处理，其中，交并比大于或等于预设阈值的各病灶识别框融合为一个病灶识别框；相对位置满足预设条件的各病灶识别框融合为一个病灶识别框；将融合处理后的病灶识别框作为所述第三医学图像的标注结果。
一种可能的实现方式，所述第二医学图像中的标注信息还包括以下至少之一：病灶类型、病灶的测量信息；处理单元202，还用于：根据融合处理的各病灶识别框对应的病灶类型和/或病灶的测量信息进行统计，得到融合处理的病灶识别框对应的病灶类型和/或病灶的测量信息；将融合处理后的病灶识别框对应的病灶类型和/或病灶的测量信息作为所述第三医学图像的标注结果。
一种可能的实现方式，收发单元201还用于：将所述第三医学图像发送至第二终端；接收所述第二终端返回的第四医学图像；所述第四医学图像为标注专家通过所述第二终端对所述第三医学图像的标注结果进行修改后的医学图像；处理单元202，还用于：将所述第四医学图像，作为所述第三医学图像。
本发明实施例提供了一种计算设备，包括多个处理单元以及多个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行标注医学图像的方法的步骤。如图3所示，为本发明实施例中所述的计算设备的硬件结构示意图，该计算设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器301、处理器302及存储在存储器上的计算机程序，所述处理器302执行所述程序时实现上述实施例中的任一医学图像标注的方法的步骤。其中，存储器301可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器302提供存储器301中存储的程序指令和数据。
进一步地，本申请实施例中所述的计算设备还可以包括输入装置303以及输出装置304等。输入装置303可以包括键盘、鼠标、触摸屏等；输出装置304可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器301，处理器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。处理器302调用存储器301存储的程序指令并按照获得的程序指令执行上述实施例提供的医学图像标注的方法。
本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行医学图像标注的方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种医学图像标注的方法，其特征在于，包括：
服务器将第一医学图像发送至多个第一终端；所述第一医学图像为待标注的医学图像；
所述服务器获取所述多个第一终端返回的多个第二医学图像；所述第二医学图像为标注人员通过所述第一终端对所述第一医学图像进行标注后的医学图像；所述第二医学图像中的标注信息包括病灶识别框；
所述服务器根据所述多个第二医学图像，确定具有标注结果的第三医学图像；具体包括：所述服务器针对重叠设置的多个第二医学图像，确定至少两个第二医学图像中的病灶识别框的交并比和/或相对位置；所述服务器根据交并比和/或相对位置进行病灶识别框的融合处理，其中，交并比大于或等于预设阈值的各病灶识别框融合为一个病灶识别框；相对位置满足预设条件的各病灶识别框融合为一个病灶识别框；所述服务器将融合处理后的病灶识别框作为所述第三医学图像的标注结果；所述第三医学图像用于作为所述第一医学图像的标注的标准。
2.如权利要求1所述的方法，其特征在于，所述第二医学图像中的标注信息还包括以下至少之一：病灶类型、病灶的测量信息；
所述方法还包括：
所述服务器根据融合处理的各病灶识别框对应的病灶类型和/或病灶的测量信息进行统计，得到融合处理的病灶识别框对应的病灶类型和/或病灶的测量信息；
所述服务器将融合处理后的病灶识别框对应的病灶类型和/或病灶的测量信息作为所述第三医学图像的标注结果。
3.如权利要求1-2任一项所述的方法，其特征在于，所述方法还包括：
所述服务器将所述第三医学图像发送至第二终端；
所述服务器接收所述第二终端返回的第四医学图像；所述第四医学图像为标注专家通过所述第二终端对所述第三医学图像的标注结果进行修改后的医学图像；
所述服务器将所述第四医学图像，作为所述第三医学图像。
4.一种医学图像标注的装置，其特征在于，包括：
收发单元，用于将第一医学图像发送至多个第一终端；所述第一医学图像为待标注的医学图像；获取所述多个第一终端返回的多个第二医学图像；所述第二医学图像为标注人员通过所述第一终端对所述第一医学图像进行标注后的医学图像；所述第二医学图像中的标注信息包括病灶识别框；
处理单元，用于根据所述多个第二医学图像，确定具有标注结果的第三医学图像；具体用于：针对重叠设置的多个第二医学图像，确定至少两个第二医学图像中的病灶识别框的交并比和/或相对位置；根据交并比和/或相对位置进行病灶识别框的融合处理，其中，交并比大于或等于预设阈值的各病灶识别框融合为一个病灶识别框；或者，相对位置满足预设条件的各病灶识别框融合为一个病灶识别框；将融合处理后的病灶识别框作为所述第三医学图像的标注结果；所述第三医学图像用于作为所述第一医学图像的标注的标准。
5.如权利要求4所述的装置，其特征在于，所述第二医学图像中的标注信息还包括以下至少之一：病灶类型、病灶的测量信息；
所述处理单元，还用于：
根据融合处理的各病灶识别框对应的病灶类型和/或病灶的测量信息进行统计，得到融合处理的病灶识别框对应的病灶类型和/或病灶的测量信息；将融合处理后的病灶识别框对应的病灶类型和/或病灶的测量信息作为所述第三医学图像的标注结果。
6.如权利要求4-5任一项所述的装置，其特征在于，所述收发单元还用于：将所述第三医学图像发送至第二终端；接收所述第二终端返回的第四医学图像；所述第四医学图像为标注专家通过所述第二终端对所述第三医学图像的标注结果进行修改后的医学图像；
所述处理单元，还用于：将所述第四医学图像，作为所述第三医学图像。
7.一种计算设备，其特征在于，包括多个处理单元以及多个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～3任一权利要求所述方法的步骤。
8.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行权利要求1～3任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810752360.5A CN109035187B (zh) | 2018-07-10 | 2018-07-10 | 一种医学图像的标注方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810752360.5A CN109035187B (zh) | 2018-07-10 | 2018-07-10 | 一种医学图像的标注方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109035187A CN109035187A (zh) | 2018-12-18 |
| CN109035187B true CN109035187B (zh) | 2021-11-09 |
Family
ID=64641813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810752360.5A Active CN109035187B (zh) | 2018-07-10 | 2018-07-10 | 一种医学图像的标注方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035187B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712131B (zh) * | 2018-12-27 | 2021-04-16 | 上海联影智能医疗科技有限公司 | 肺结节特征的量化方法、装置、电子设备及存储介质 |
| CN109767448B (zh) * | 2019-01-17 | 2021-06-01 | 上海长征医院 | 分割模型训练方法及装置 |
| TWI769370B (zh) * | 2019-03-08 | 2022-07-01 | 太豪生醫股份有限公司 | 病灶偵測裝置及其方法 |
| CN110335251B (zh) * | 2019-05-31 | 2021-09-17 | 上海联影智能医疗科技有限公司 | 图像分析方法的量化装置、方法、设备和存储介质 |
| CN110209849B (zh) * | 2019-06-04 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 用于标注关键点的方法和装置 |
| CN110647947B (zh) * | 2019-09-30 | 2022-04-15 | 杭州依图医疗技术有限公司 | 一种病灶融合的方法及装置 |
| CN110910362A (zh) * | 2019-11-15 | 2020-03-24 | 北京推想科技有限公司 | 一种影像序列的标注方法、装置、处理器及存储介质 |
| CN111063421B (zh) * | 2019-12-18 | 2020-11-03 | 北京推想科技有限公司 | 感兴趣区域的数量确定方法、装置、设备和存储介质 |
| CN111414950B (zh) * | 2020-03-13 | 2023-08-18 | 天津美腾科技股份有限公司 | 基于标注者专业度管理的矿石图片标注方法和系统 |
| CN111738992B (zh) * | 2020-06-04 | 2023-12-22 | 讯飞医疗科技股份有限公司 | 肺部病灶区域提取方法、装置、电子设备和存储介质 |
| CN111783863A (zh) * | 2020-06-23 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
| CN113781665A (zh) * | 2020-07-28 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种标注信息的审核方法和装置 |
| CN112418263A (zh) * | 2020-10-10 | 2021-02-26 | 上海鹰瞳医疗科技有限公司 | 一种医学图像病灶分割标注方法及系统 |
| CN112989087B (zh) * | 2021-01-26 | 2023-01-31 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、设备以及计算机可读存储介质 |
| CN112819925A (zh) * | 2021-02-26 | 2021-05-18 | 上海宝藤生物医药科技股份有限公司 | 病灶标注的处理方法、装置、电子设备和介质 |
| CN113095444B (zh) * | 2021-06-07 | 2021-09-17 | 北京智芯微电子科技有限公司 | 图像标注方法、装置及存储介质 |
| CN113409953A (zh) * | 2021-06-21 | 2021-09-17 | 数坤(北京)网络科技股份有限公司 | 信息处理方法、装置、存储介质及电子设备 |
| CN113469972B (zh) * | 2021-06-30 | 2024-04-23 | 沈阳东软智能医疗科技研究院有限公司 | 标注医学切片图像的方法、装置、存储介质及电子设备 |
| CN113689937A (zh) * | 2021-07-07 | 2021-11-23 | 阿里巴巴新加坡控股有限公司 | 图像标注方法、存储介质和处理器 |
| CN113782158A (zh) * | 2021-08-13 | 2021-12-10 | 广州市挖米科技有限责任公司 | 一种saas化影像数据高速传输与成像方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462738A (zh) * | 2013-09-24 | 2015-03-25 | 西门子公司 | 一种标注医学图像的方法、装置和系统 |
| CN107516005A (zh) * | 2017-07-14 | 2017-12-26 | 上海交通大学 | 一种数字病理图像标注的方法和系统 |
| CN108197658A (zh) * | 2018-01-11 | 2018-06-22 | 阿里巴巴集团控股有限公司 | 图像标注信息处理方法、装置、服务器及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10460488B2 (en) * | 2016-09-06 | 2019-10-29 | International Business Machines Corporation | Spine labeling automation |
-
2018
- 2018-07-10 CN CN201810752360.5A patent/CN109035187B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462738A (zh) * | 2013-09-24 | 2015-03-25 | 西门子公司 | 一种标注医学图像的方法、装置和系统 |
| CN107516005A (zh) * | 2017-07-14 | 2017-12-26 | 上海交通大学 | 一种数字病理图像标注的方法和系统 |
| CN108197658A (zh) * | 2018-01-11 | 2018-06-22 | 阿里巴巴集团控股有限公司 | 图像标注信息处理方法、装置、服务器及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109035187A (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035187B (zh) | 一种医学图像的标注方法及装置 | |
| CN110059697B (zh) | 一种基于深度学习的肺结节自动分割方法 | |
| US10734107B2 (en) | Image search device, image search method, and image search program | |
| JP2021504061A (ja) | 脊椎骨折を識別するための３次元医用画像解析の方法及びシステム | |
| KR20220117236A (ko) | 의료 이미지를 사용한 자동화된 종양 식별 및 분할 | |
| Bridge et al. | Introducing the GEV activation function for highly unbalanced data to develop COVID-19 diagnostic models | |
| US10706534B2 (en) | Method and apparatus for classifying a data point in imaging data | |
| JP2017174039A (ja) | 画像分類装置、方法およびプログラム | |
| Humayun et al. | Prediction Model for Coronavirus Pandemic Using Deep Learning. | |
| CN110189307B (zh) | 一种基于多模型融合的肺结节检测方法及系统 | |
| US11471096B2 (en) | Automatic computerized joint segmentation and inflammation quantification in MRI | |
| US11373309B2 (en) | Image analysis in pathology | |
| US20230057933A1 (en) | Storage medium, diagnosis support apparatus and diagnosis support method | |
| Tang et al. | CNN-based qualitative detection of bone mineral density via diagnostic CT slices for osteoporosis screening | |
| CN110570425B (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
| Mielnik et al. | A novel method of synovitis stratification in ultrasound using machine learning algorithms: results from clinical validation of the MEDUSA project | |
| Yao et al. | GeminiNet: combine fully convolution network with structure of receptive fields for object detection | |
| Khadidos et al. | Application of improved support vector machine for pulmonary syndrome exposure with computer vision measures | |
| da Cruz et al. | Enabling autonomous medical image data annotation: A human-in-the-loop reinforcement learning approach | |
| Pham et al. | Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks | |
| US11416994B2 (en) | Method and system for detecting chest x-ray thoracic diseases utilizing multi-view multi-scale learning | |
| CN115210755A (zh) | 解决训练数据中遗漏注释的类别不同损失函数 | |
| CN115690556A (zh) | 一种基于多模态影像学特征的图像识别方法及系统 | |
| CN113537407B (zh) | 基于机器学习的图像数据评价处理方法及装置 | |
| Trucco et al. | Validation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220322 Address after: 100080 zone a, 21 / F, block a, No. 8, Haidian Street, Haidian District, Beijing Patentee after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Patentee after: Hangzhou Shenrui Bolian Technology Co., Ltd Address before: 310000 Room 177, Building No. 16, Zhuantang Science and Technology Economic Zone, Xihu District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU YITU HEALTHCARE TECHNOLOGY Co.,Ltd. Patentee before: Shanghai Yizhi Medical Technology Co., Ltd |