CN112926677B - 医学图像数据的信息标注方法、装置及系统 - Google Patents
医学图像数据的信息标注方法、装置及系统 Download PDFInfo
- Publication number
- CN112926677B CN112926677B CN202110315298.5A CN202110315298A CN112926677B CN 112926677 B CN112926677 B CN 112926677B CN 202110315298 A CN202110315298 A CN 202110315298A CN 112926677 B CN112926677 B CN 112926677B
- Authority
- CN
- China
- Prior art keywords
- information
- medical image
- image data
- labeling
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 210000003484 anatomy Anatomy 0.000 claims description 9
- 230000003902 lesion Effects 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 17
- 238000012549 training Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种医学图像数据的信息标注方法、装置及系统，该方法获取待标注的医学图像数据；将待标注的医学图像数据输入至图像预标注模型，获得预标注信息，图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；响应于将包含预标注信息的医学图像数据展示在目标平台，获取目标平台针对预标注信息的调整信息；对调整信息和预标注信息进行处理，获得待标注的医学图像数据的目标标注信息。本发明通过模型对医学图像数据进行标注并且结合人机交互方式可对标注信息进行调整，提高了医学图像的信息标注效率和质量。
Description
技术领域
本发明涉及信息处理技术领域，特别是涉及一种医学图像数据的信息标注方法、装置及系统。
背景技术
医学图像数据在患者诊断、治疗、手术计划、培训等场景中这重要作用。近年来，数字化医学图像的大规模增长，为推动以深层神经网络为代表的医学图像处理技术研究和应用提供了数据基础。但是目前医学图像领域缺少大规模且可靠的基准数据集，以至于影响针对医学图像数据的深度学习的发展。
而造成目前医学图像领域缺少准确可靠的基准数据集的原因是，由于医学图像的专业性和复杂性，不同专家对医学图像进行手工标注时存在较大分歧，标注结果往往存在差异，因此，手动标注医学图像变得越来越困难和昂贵。可见，现有的针对医学图像数据的信息标注方法主要是通过专家手工标注，降低了信息标注的效率和质量。
发明内容
针对于上述问题，本发明提供一种医学图像数据的信息标注方法、装置及系统，提高了医学图像的信息标注效率和质量。
为了实现上述目的，本发明提供了如下技术方案：
一种医学图像数据的信息标注方法，所述方法包括：
获取待标注的医学图像数据，所述医学图像数据包括医学图像以及与所述医学图像对应的文本信息；
将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，所述图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；
响应于将包含所述预标注信息的医学图像数据展示在目标平台，获取所述目标平台针对所述预标注信息的调整信息；
对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息。
可选地，所述方法还包括：
获取医学图像数据；
对所述医学图像数据进行预处理，获得待标注的医学图像数据，所述预处理包括图像压缩、图像增强和图像文本提取处理中的一种或多种。
可选地，所述方法还包括：
获取训练样本，所述训练样本包括具有标注信息的医学图像数据；
对所述训练样本进行神经网络训练，获得图像预标注模型，所述图像预标注模型用于对待标注的医学图像进行模态分类、特征识别和生成标注信息。
可选地，所述将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，包括：
基于所述图像预标注模型对所述待标注的医学图像数据进行模态分类，确定所述待标注的医学图像数据的影像类型；
基于所述图像预标注模型对所述待标注的医学图像数据进行区域识别，生成与待识别区域对应的包围框；
基于所述图像预标注模型对所述待标注的医学图像数据进行目标特征检测，获得与所述目标特征对应的标签信息。
可选地，所述获取所述目标平台针对所述预标注信息的调整信息，包括：
接收针对所述预标注信息的调整指令；
基于所述调整指令确定调整信息。
可选地，所述对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息，包括：
基于所述调整信息对所述预标注信息进行调整，获得调整后的标注信息；
对所述调整后的标注信息进行验证，若验证通过，将所述调整后的标注信息确定为目标标注信息。
可选地，所述方法还包括：
基于所述预标注信息进行检索，获得与所述待标注的医学图像数据相匹配的医学图像的标注信息。
可选地，所述方法还包括：
基于具有目标标注信息的医学图像数据对所述图像预标注模型进行优化，获得优化后的图像预标注模型。
一种医学图像数据的信息标注装置，所述装置包括：
第一获取单元，用于获取待标注的医学图像数据，所述医学图像数据包括医学图像以及与所述医学图像对应的文本信息；
输入单元，用于将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，所述图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；
第二获取单元，用于响应于将包含所述预标注信息的医学图像数据展示在目标平台，获取所述目标平台针对所述预标注信息的调整信息；
处理单元，应用于对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息。
一种医学图像数据的信息标注系统，所述系统包括：
如上所述的医学图像数据的信息标注装置以及目标平台，其中，所述目标平台用于接收所述医学图像数据的信息标注装置发送的预标注信息，并基于所述预标注信息生成调整信息，将所述调整信息反馈至所述医学图像数据的信息标注装置。
相较于现有技术，本发明提供了一种医学图像数据的信息标注方法、装置及系统，该方法获取待标注的医学图像数据；将待标注的医学图像数据输入至图像预标注模型，获得预标注信息，图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；响应于将包含预标注信息的医学图像数据展示在目标平台，获取目标平台针对预标注信息的调整信息；对调整信息和预标注信息进行处理，获得待标注的医学图像数据的目标标注信息。本发明通过模型对医学图像数据进行标注并且结合人机交互方式可对标注信息进行调整，提高了医学图像的信息标注效率和质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种医学图像数据的信息标注方法的流程示意图；
图2为本发明实施例提供的一种交互式医学图像数据语义标注的方法流程图；
图3为本发明实施例提供的一种医学图像数据的信息标注装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在本发明实施例中提供了一种医学图像数据的信息标注方法，参见图1，该方法可以包括以下步骤：
S101、获取待标注的医学图像数据。
在本发明实施例中医学图像数据包括医学图像以及与所述医学图像对应的文本信息，其中，医学图像泛指通过医疗影像设备拍摄获得的图像，文本信息是指能够获取到的与当前医学图像相关的所有文本信息，比如影像本身的属性信息(包括拍摄时间、影像类型等)，影像报告文本、或者提取自文献的图片标题等信息，以及包括该图像的上下文描述。
需要说明的是，在本发明实施例中可以直接将获取到的医学图像数据作为待标注的医学图像数据进行后续处理，也可以是先将获取到的医学图像数据进行预处理后再进行后续的信息标注处理。例如，获取医学图像数据后进行的预处理可以包括图像压缩、图像增强和图像文本提取处理中的一种或多种。即对输入的医学图像进行图片压缩、调整尺寸、图像增强、图像文本描述提取等预处理。对医学图像数据进行预处理一方面是为了便于后续的在线审核加工，另一方面是为了对新增图像的处理与后续应用的模型输入数据格式保持一致。
S102、将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息。
所述图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型，即可以对训练样本进行神经网络训练，获得图像预标注模型，所述图像预标注模型用于对待标注的医学图像进行模态分类、特征识别和生成标注信息。所述训练样本包括具有标注信息的医学图像数据。其中，预标注信息包括医学图像的模态信息、医学解剖部位、标签信息等。
S103、响应于将包含所述预标注信息的医学图像数据展示在目标平台，获取所述目标平台针对所述预标注信息的调整信息。
S104、对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息。
可以将图像预标注模型输出的预标注信息作为医学图像数据的标注信息。但是，在本发明实施例中为了能够使得标注信息更加准确，可以将预标注信息发送至目标平台，进行进一步审核和确认。其中，目标平台可以是指定的人工标注和在线审核平台，也可以是信息管理终端等。
若获得目标平台的反馈的针对预标注信息的调整信息，基于调整信息确定是否对预标注信息进行处理，即是否对预标注信息进行对应的调整，如果是，将调整后的预标注信息确定为目标标注信息。
本发明实施例提供了一种医学图像数据的信息标注方法，该方法获取待标注的医学图像数据；将待标注的医学图像数据输入至图像预标注模型，获得预标注信息，图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；响应于将包含预标注信息的医学图像数据展示在目标平台，获取目标平台针对预标注信息的调整信息；对调整信息和预标注信息进行处理，获得待标注的医学图像数据的目标标注信息。本发明通过模型对医学图像数据进行标注并且结合人机交互方式可对标注信息进行调整，提高了医学图像的信息标注效率和质量。
本发明实施例提供的医学图像数据的信息标注方法是一种交互式的实现方式，即通过图像预标注模型进行预处理，然后通过在线人工标注和审核完成标注结果的确认。
参见图2，其示出了本发明实施例提供的一种交互式医学图像数据语义标注的方法流程图。
首先通过对不同模态的医学图像数据进行预处理，其中，不同模态的医学图像是指采集自不同成像原理的影响设备的多源异构图像，例如CT图像、X线图像、超声图像等。这里预处理涉及的数据除了医学图像，也包括与图像相关的报告、影像描述等文本信息，所以文本数据也是一种模态。对输入的医学图像进行图片压缩、调整尺寸、图像增强、图像文本描述提取等预处理。
在本发明实施例中的一种可能实现方式中，所述将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，包括：基于所述图像预标注模型对所述待标注的医学图像数据进行模态分类，确定所述待标注的医学图像数据的影像类型；基于所述图像预标注模型对所述待标注的医学图像数据进行区域识别，生成与待识别区域对应的包围框；基于所述图像预标注模型对所述待标注的医学图像数据进行目标特征检测，获得与所述目标特征对应的标签信息。
具体的，本发明实施例的医学图像预标注是利用基于大规模医学图像进行预训练的深层神经网络模型。具体的，可以分别通过3种深层神经网络模型进行实现，每层神经网络原理类似但网络结构有所不同。例如模态分类利用的模型、预测类别和参数有所不同。具体的，可以对图像进行模态自动分类，即当前图像属于哪种影像检测类型(如，CT,XR,PET,MRI,US等)；然后够识别图像中的具体区域，该区域包括具体解剖部位、器官、组织等，对局部够进行分割生成包围框；自动识别图像中是否存在目标特征，该目标特征可以表示病变类型或者区别于正常特征的特征，如无异常病变，自动生成对应的标注信息为正常的标签，如“Normal”标签。
然后，将预标注的图像展示在目标平台。例如，通过数据标注平台对医学图像数据进行展示，包括经过自动预标注的医学图像、预标包围框、预标语义标签以及提取的相关图像描述等，便于数据标注人员在线阅读图像时参考相关描述或预标注数据。
数据标注人员可以在线设置标注框形状(如圆形、方形、多边形等)，预设语义标签类别与层级关系，在预标注图像及语义标签的基础上，标注人员可以自由增删、调整标注框，检查并通过拖拽方式编辑语义标签，提高人工标注效率和标签规范性。
在本发明实施例中，所述对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息，包括：基于所述调整信息对所述预标注信息进行调整，获得调整后的标注信息；对所述调整后的标注信息进行验证，若验证通过，将所述调整后的标注信息确定为目标标注信息。
其中，调整信息是基于接收到的针对预标注信息的调整指令生成的信息。在获得了调整信息后需要对其进行验证，即审核调整信息是否与当前医学数据相匹配。若是，可以接受调整，然后将调整后的标注信息作为目标标注信息。
对应的，在本发明实施例中还可以基于所述预标注信息进行检索，获得与所述待标注的医学图像数据相匹配的医学图像的标注信息。
还可以基于具有目标标注信息的医学图像数据对所述图像预标注模型进行优化，获得优化后的图像预标注模型。
具体的，经过标注人员人工标注的医学图像数据提交给在线审核平台的数据审核员，由其审核当前标注结果的准确性和一致性。其中，经过预训练的相似图像检索模型支持审核员利用相同模态、相同部位、相同病变等相似语义标签，浏览既往标注数据中的相似医学图像的标注结果，并评估当前图像标注的质量。审核员确认标注结果准确后，当前人工标注结果自动返回系统，并作为反馈信息提交给医学图像预标注模型和相似图像检索模型，作为模型在线持续化的依据。
本发明实施例提供的交互式医学图像数据的语义标注方法，首先通过对不同模态(CT，X线，MRI，PET，超声等)的医学图像数据进行预处理，得到待标注的目标图像及其相关文本描述，其次通过预训练的基于深层神经网络的图像预标注模型对目标图像进行特征提取，进一步分别进行模态分类、解剖部位检测及病变识别，得到目标图像的模态类别(影像检查类型)、医学解剖部位(身体局部、器官、组织等)及是否存在病变等具有临床意义的语义标签和包围框，通过交互学习可以在线优化医学图像预标注模型和相似图像检索模型以适应当前图像语义标注场景。基于本发明，通过模态自动分类、解剖部位自动检测及病变识别，大幅提高数据标注员阅片及标记效率，实现低成本、高效率、大规模的多模态医学图像数据的语义标注。
参见图3，本发明实施例还提供了一种医学图像数据的信息标注装置，该装置包括：
第一获取单元10，用于获取待标注的医学图像数据，所述医学图像数据包括医学图像以及与所述医学图像对应的文本信息；
输入单元20，用于将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，所述图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；
第二获取单元30，用于响应于将包含所述预标注信息的医学图像数据展示在目标平台，获取所述目标平台针对所述预标注信息的调整信息；
处理单元40，应用于对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息。
可选地，所述装置还包括：
预处理单元，用于获取医学图像数据；对所述医学图像数据进行预处理，获得待标注的医学图像数据，所述预处理包括图像压缩、图像增强和图像文本提取处理中的一种或多种。
可选地，所述装置还包括：
模型训练单元，用于获取训练样本，所述训练样本包括具有标注信息的医学图像数据；对所述训练样本进行神经网络训练，获得图像预标注模型，所述图像预标注模型用于对待标注的医学图像进行模态分类、特征识别和生成标注信息。
可选地，所述处理单元具体用于：
基于所述调整信息对所述预标注信息进行调整，获得调整后的标注信息；
对所述调整后的标注信息进行验证，若验证通过，将所述调整后的标注信息确定为目标标注信息。
可选地，所述输入单元具体用于：
基于所述图像预标注模型对所述待标注的医学图像数据进行模态分类，确定所述待标注的医学图像数据的影像类型；
基于所述图像预标注模型对所述待标注的医学图像数据进行区域识别，生成与待识别区域对应的包围框；
基于所述图像预标注模型对所述待标注的医学图像数据进行目标特征检测，获得与所述目标特征对应的标签信息。
可选地，所述第二获取单元具体用于：
接收针对所述预标注信息的调整指令；
基于所述调整指令确定调整信息。
可选地，所述装置还包括：
检索单元，用于基于所述预标注信息进行检索，获得与所述待标注的医学图像数据相匹配的医学图像的标注信息。
可选地，所述装置还包括：
优化单元，用于基于具有目标标注信息的医学图像数据对所述图像预标注模型进行优化，获得优化后的图像预标注模型。
本发明实施例提供了一种医学图像数据的信息标注装置，第一获取单元获取待标注的医学图像数据；输入单元将待标注的医学图像数据输入至图像预标注模型，获得预标注信息，图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；第二获取单元响应于将包含预标注信息的医学图像数据展示在目标平台，获取目标平台针对预标注信息的调整信息；处理单元对调整信息和预标注信息进行处理，获得待标注的医学图像数据的目标标注信息。本发明通过模型对医学图像数据进行标注并且结合人机交互方式可对标注信息进行调整，提高了医学图像的信息标注效率和质量。
在本发明实施例中还提供了一种医学图像数据的信息标注系统，所述系统包括：如上所述的医学图像数据的信息标注装置以及目标平台，其中，所述目标平台用于接收所述医学图像数据的信息标注装置发送的预标注信息，并基于所述预标注信息生成调整信息，将所述调整信息反馈至所述医学图像数据的信息标注装置。
该系统提高了医学图像的信息标注效率和质量，具体内容请参见上述各个实施例的描述，此处不进行赘述。
基于前述实施例，本发明的实施例提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一项的医学图像数据的信息标注方法的步骤。
本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现的医学图像数据的信息标注方法的步骤。
需要说明的是，上述处理器或CPU可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
需要说明的是，上述计算机存储介质/存储器可以是只读存储器(Read OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本发明所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本发明所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种医学图像数据的信息标注方法，其特征在于，所述方法包括：
获取医学图像数据；
对所述医学图像数据进行预处理，获得待标注的医学图像数据，所述预处理包括图像压缩、调整尺寸、图像增强和图像文本提取处理中的一种或多种，所述医学图像数据包括多种模态的医学图像以及与所述医学图像对应的文本信息，所述文本信息包括：医学图像描述文本以及影像报告文本，所述图像文本提取处理用于从所述医学图像对应的文本信息中提取医学图像描述，所述多种模态的医学图像为采集自不同成像原理的医疗影像设备的多源异构图像；
获取待标注的医学图像数据；
将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，所述图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；
响应于将包含所述预标注信息以及所述医学图像描述的医学图像数据展示在目标平台，获取所述目标平台针对所述预标注信息的调整信息，所述预标注信息包括：影像模态类型信息、医学解剖部位信息、与异常病变相关的语义标签信息；
对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息；
利用预训练的相似图像检索模型基于所述预标注信息进行检索，获得与所述待标注的医学图像数据相匹配的医学图像的标注信息；
基于具有目标标注信息的医学图像数据对所述图像预标注模型进行优化，获得优化后的图像预标注模型；
所述将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，包括：基于所述图像预标注模型对所述待标注的医学图像数据进行模态分类，确定所述待标注的医学图像数据的影像类型，以得到所述影像模态类型信息；基于所述图像预标注模型对所述待标注的医学图像数据进行区域识别，生成与待识别区域对应的包围框，以得到所述医学解剖部位信息；基于所述图像预标注模型对所述待标注的医学图像数据进行目标特征检测，获得与所述目标特征对应的所述与异常病变相关的语义标签信息。
2.根据权利要求1所述的方法，其特征在于，所述获取所述目标平台针对所述预标注信息的调整信息，包括：
接收针对所述预标注信息的调整指令；
基于所述调整指令确定调整信息。
3.根据权利要求1所述的方法，其特征在于，所述对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息，包括：
基于所述调整信息对所述预标注信息进行调整，获得调整后的标注信息；
对所述调整后的标注信息进行验证，若验证通过，将所述调整后的标注信息确定为目标标注信息。
4.一种医学图像数据的信息标注装置，其特征在于，所述装置包括：
预处理模块，用于获取医学图像数据；还用于对所述医学图像数据进行预处理，获得待标注的医学图像数据，所述预处理包括图像压缩、调整尺寸、图像增强和图像文本提取处理中的一种或多种，所述医学图像数据包括多种模态的医学图像以及与所述医学图像对应的文本信息，所述文本信息包括：医学图像描述文本以及影像报告文本，所述图像文本提取处理用于从所述医学图像对应的文本信息中提取医学图像描述，所述多种模态的医学图像为采集自不同成像原理的医疗影像设备的多源异构图像；
第一获取单元，用于获取待标注的医学图像数据；
输入单元，用于将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，所述图像预标注模型用于对医学图像数据进行特征提取以获得预标注信息的神经网络模型；
第二获取单元，用于响应于将包含所述预标注信息以及所述医学图像描述的医学图像数据展示在目标平台，获取所述目标平台针对所述预标注信息的调整信息，所述预标注信息包括：影像模态类型信息、医学解剖部位信息、与异常病变相关的语义标签信息；
处理单元，应用于对所述调整信息和所述预标注信息进行处理，获得所述待标注的医学图像数据的目标标注信息；
所述装置还包括：
检索单元，用于利用预训练的相似图像检索模型基于所述预标注信息进行检索，获得与所述待标注的医学图像数据相匹配的医学图像的标注信息；
优化单元，用于基于具有目标标注信息的医学图像数据对所述图像预标注模型进行优化，获得优化后的图像预标注模型；
所述将所述待标注的医学图像数据输入至图像预标注模型，获得预标注信息，包括：基于所述图像预标注模型对所述待标注的医学图像数据进行模态分类，确定所述待标注的医学图像数据的影像类型，以得到所述影像模态类型信息；基于所述图像预标注模型对所述待标注的医学图像数据进行区域识别，生成与待识别区域对应的包围框，以得到所述医学解剖部位信息；基于所述图像预标注模型对所述待标注的医学图像数据进行目标特征检测，获得与所述目标特征对应的所述与异常病变相关的语义标签信息。
5.一种医学图像数据的信息标注系统，其特征在于，所述系统包括：
如权利要求4所述的医学图像数据的信息标注装置以及目标平台，其中，所述目标平台用于接收所述医学图像数据的信息标注装置发送的预标注信息，并基于所述预标注信息生成调整信息，将所述调整信息反馈至所述医学图像数据的信息标注装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110315298.5A CN112926677B (zh) | 2021-03-24 | 2021-03-24 | 医学图像数据的信息标注方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110315298.5A CN112926677B (zh) | 2021-03-24 | 2021-03-24 | 医学图像数据的信息标注方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926677A CN112926677A (zh) | 2021-06-08 |
| CN112926677B true CN112926677B (zh) | 2024-02-02 |
Family
ID=76175906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110315298.5A Active CN112926677B (zh) | 2021-03-24 | 2021-03-24 | 医学图像数据的信息标注方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926677B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113903433B (zh) * | 2021-10-14 | 2022-11-15 | 数坤(北京)网络科技股份有限公司 | 一种图像处理方法、装置和电子设备 |
| CN114691954A (zh) * | 2022-03-31 | 2022-07-01 | 深圳市商汤科技有限公司 | 数据标注方法及装置、电子设备和存储介质 |
| CN114637875A (zh) * | 2022-04-01 | 2022-06-17 | 联影智能医疗科技(成都)有限公司 | 一种医学图像标注方法、系统及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术（北京）有限公司 | 用于标注医学图像的方法和装置 |
| CN109447183A (zh) * | 2018-11-27 | 2019-03-08 | 东软集团股份有限公司 | 模型训练方法、装置、设备以及介质 |
| WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
| WO2019143015A1 (ko) * | 2018-01-18 | 2019-07-25 | 삼성메디슨 주식회사 | 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품 |
| CN110993064A (zh) * | 2019-11-05 | 2020-04-10 | 北京邮电大学 | 面向深度学习的医学影像标注方法及装置 |
| CN111091539A (zh) * | 2019-12-09 | 2020-05-01 | 上海联影智能医疗科技有限公司 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
| CN111554382A (zh) * | 2020-04-30 | 2020-08-18 | 上海商汤智能科技有限公司 | 医学图像的处理方法及装置、电子设备和存储介质 |
| CN112102929A (zh) * | 2020-09-11 | 2020-12-18 | 沈阳东软智能医疗科技研究院有限公司 | 医学图像标注方法、装置、存储介质及电子设备 |
| CN114972929A (zh) * | 2022-07-29 | 2022-08-30 | 中国医学科学院医学信息研究所 | 一种医学多模态模型的预训练方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9113781B2 (en) * | 2013-02-07 | 2015-08-25 | Siemens Aktiengesellschaft | Method and system for on-site learning of landmark detection models for end user-specific diagnostic medical image reading |
| US11195313B2 (en) * | 2016-10-14 | 2021-12-07 | International Business Machines Corporation | Cross-modality neural network transform for semi-automatic medical image annotation |
| US10679345B2 (en) * | 2017-12-20 | 2020-06-09 | International Business Machines Corporation | Automatic contour annotation of medical images based on correlations with medical reports |
-
2021
- 2021-03-24 CN CN202110315298.5A patent/CN112926677B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术（北京）有限公司 | 用于标注医学图像的方法和装置 |
| WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
| WO2019143015A1 (ko) * | 2018-01-18 | 2019-07-25 | 삼성메디슨 주식회사 | 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품 |
| CN109447183A (zh) * | 2018-11-27 | 2019-03-08 | 东软集团股份有限公司 | 模型训练方法、装置、设备以及介质 |
| CN110993064A (zh) * | 2019-11-05 | 2020-04-10 | 北京邮电大学 | 面向深度学习的医学影像标注方法及装置 |
| CN111091539A (zh) * | 2019-12-09 | 2020-05-01 | 上海联影智能医疗科技有限公司 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
| CN111554382A (zh) * | 2020-04-30 | 2020-08-18 | 上海商汤智能科技有限公司 | 医学图像的处理方法及装置、电子设备和存储介质 |
| CN112102929A (zh) * | 2020-09-11 | 2020-12-18 | 沈阳东软智能医疗科技研究院有限公司 | 医学图像标注方法、装置、存储介质及电子设备 |
| CN114972929A (zh) * | 2022-07-29 | 2022-08-30 | 中国医学科学院医学信息研究所 | 一种医学多模态模型的预训练方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 中文健康问句分类与语料构建;郭海红;李姣;代涛;;情报工程(第06期);39-49 * |
| 医学图像模态特征表达及其比较研究;丁恒;陆伟;林霞;曹光超;;情报学报(第12期);1296-1304 * |
| 基于本体的医学影像信息整合;张娜;王如龙;王伟胜;;计算机系统应用(第06期);14-17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926677A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112926677B (zh) | 医学图像数据的信息标注方法、装置及系统 | |
| US10176580B2 (en) | Diagnostic system and diagnostic method | |
| EP2888686B1 (en) | Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting | |
| CN1977283B (zh) | 用于医疗诊断的智能定性和定量分析的系统 | |
| CN112712879B (zh) | 医学影像报告的信息提取方法、装置、设备及存储介质 | |
| CN101203170B (zh) | 计算机辅助检测系统 | |
| RU2711305C2 (ru) | Связывание отчета / изображения | |
| RU2686627C1 (ru) | Автоматическое создание ориентированной на показатели продольной области для просмотра показателей пациента | |
| KR102289277B1 (ko) | 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 | |
| CN102612696A (zh) | 具有报告验证器和报告增强器的医学信息系统 | |
| CN112070231A (zh) | 用于机器学习性能测试和改进的数据分片 | |
| CN109564773A (zh) | 用于自动检测关键图像的系统和方法 | |
| WO2013160382A1 (en) | A system for reviewing medical image datasets | |
| CN111583249A (zh) | 一种医学图像的质量监控系统及方法 | |
| CN115719334A (zh) | 基于人工智能的医学影像评价方法、装置、设备及介质 | |
| CN115205880A (zh) | 一种医学影像报告生成方法及装置 | |
| US10235360B2 (en) | Generation of pictorial reporting diagrams of lesions in anatomical structures | |
| CN111755090A (zh) | 病历查找方法、病历查找装置、存储介质与电子设备 | |
| CN113610824A (zh) | 穿刺路径规划方法及装置，电子设备及存储介质 | |
| CN115985506A (zh) | 一种信息提取方法及装置、存储介质、计算机设备 | |
| Banerjee et al. | Semantics-driven annotation of patient-specific 3D data: a step to assist diagnosis and treatment of rheumatoid arthritis | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| CN110993091B (zh) | 从数据生成向量 | |
| CN113642329A (zh) | 术语识别模型的建立方法及装置、术语识别方法及装置 | |
| Wang et al. | Preparing CT imaging datasets for deep learning in lung nodule analysis: Insights from four well-known datasets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |