CN117174261B - 一种用于医学影像的多类型标注流程集成系统 - Google Patents
一种用于医学影像的多类型标注流程集成系统 Download PDFInfo
- Publication number
- CN117174261B CN117174261B CN202311451817.6A CN202311451817A CN117174261B CN 117174261 B CN117174261 B CN 117174261B CN 202311451817 A CN202311451817 A CN 202311451817A CN 117174261 B CN117174261 B CN 117174261B
- Authority
- CN
- China
- Prior art keywords
- labeling
- image
- module
- image data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 215
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000003709 image segmentation Methods 0.000 claims description 47
- 230000011218 segmentation Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 16
- 201000010099 disease Diseases 0.000 claims description 16
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 10
- 238000003780 insertion Methods 0.000 claims description 9
- 230000037431 insertion Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000036316 preload Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 208000014018 liver neoplasm Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 206010019695 Hepatic neoplasm Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种用于医学影像的多类型标注流程集成系统，所述系统由预训练模型标注子系统、2D标注子系统和3D标注子系统共同集成，本系统针对不同的医学影像提供了不同类型的标注流程，能够适用于各类医学系统，满足不同医疗系统的需求，有助于医疗工作者做出更加准确的诊断，提高了医疗服务质量，通过使用本系统，医疗工作者能够有效地处理医学影像的信息，实现对影像的准确定位和有力的分析，提高了医生和医疗工作者的诊断精度和准确度。
Description
技术领域
本发明涉及医学影像处理技术领域，特别是涉及一种用于医学影像的多类型标注流程集成系统。
背景技术
随着现代科技的快速发展，医学影像处理技术越来越受到关注。医生通过医学影像的调阅和分析，能够快速、准确地确定病变位置和诊断结果，为患者提供更好的治疗方案和医疗保障。医学影像处理作为医学信息化的关键流程，对医学行业的质量和效率有着至关重要的影响，医学影像的标注作为医学影像处理的前端处理步骤，影响着后续医学图像处理质结果的好坏，因此，医学影像的标注流程可谓是医学信息化流程的重中之重。
然而，在现有的影像标注方案中，对于大批量、重复性高的图像数据，一般需要人工完成对所有数据的标注，人工标注时，需要用户手动拖拽拉框，并且，现有的标注流程过于繁琐，多为人工选择标注工具、勾画、打上标签、对单个影像文件进行标注。
综上所述，我们需要一种多类型标注流程集成系统，为医疗系统信息化的发展提供更优秀的技术支持和服务，满足医疗系统医学影像的处理需求。
发明内容
针对上述现有技术的不足，本申请提供一种用于医学影像的多类型标注流程集成系统。
第一方面本申请提出了一种用于医学影像的多类型标注流程集成系统，所述系统由预训练模型标注子系统、2D标注子系统和3D标注子系统共同集成，所述系统内置多种影像分割模型和决策模型；
所述影像分割模型，用于通过不同的影像分割模型对用户选择的批量图像数据进行对应的图像分割，得到对应类型的图像分割结果；
所述决策模型，用于对图像分割结果中的图像数据进行分类识别，得到第一类图像数据、第二类图像数据和第三类图像数据；
所述预训练模型标注子系统，用于获取所述图像分割结果中符合预训练模型标注流程的所述第一类图像数据，对所述第一类图像数据执行预训练模型标注，得到预训练模型标注结果；
所述2D标注子系统，用于获取所述图像分割结果中符合2D标注流程的所述第二类图像数据，对所述第二类图像数据执行基于MEDSAM模型的2D标注，得到2D标注结果；
所述3D标注子系统，用于获取所述图像分割结果中符合3D标注流程的所述第三类图像数据，对所述第三类图像数据执行基于MEDSAM模型的3D标注，得到3D标注结果。
在一些实施例中，所述预训练模型标注子系统包括医学图像模型选择模块、算法数据集插入模块、模型训练迭代模块、影像集成模块和标注处理模块；
所述医学图像模型选择模块，用于对一种或多种疾病类型对应的医学图像模型进行选择；
所述算法数据集插入模块，用于根据一种或多种疾病类型插入对应的算法以及数据集；
所述模型训练迭代模块，用于根据算法数据集插入模块中插入的数据集对医学图像模型选择模块中的医学图像模型进行训练，同时获取合作医院数据对所述医学图像模型进行迭代；
所述影像集成模块，用于对训练迭代后的疾病模型进行格式标准化，同时将其封装为统一的模型推理接口；
所述标注处理模块，用于通过模型推理接口调用对应的医学图像模型，获得对应任务的预测输出，根据预测输出执行自动标注得到预训练模型标注结果。
在一些实施例中，所述2D标注子系统包括特征文件构建模块、2D标注方式选择模块、目标区域确定模块和2D修正标注模块；
所述特征文件构建模块，用于选择第二类图像数据进行预加载，调用MEDSAM模型对加载结果处理后输出图像向量并存入数据库，将数据库中的图像向量作为特征文件；
所述2D标注方式选择模块，用于在特征文件加载后提供点和/或框的标注模式供客户选择；
所述目标区域确定模块，用于利用所述特征文件获取对应的掩码，调用mask解码器将掩码转化为图片，通过2D标注方式选择模块中的标注模式在所述图片中划定目标区域；
所述2D修正标注模块，用于通过2D标注方式选择模块中的标注模式对目标区域的边界进行修正，完成2D标注操作。
在一些实施例中，所述3D标注子系统包括图像加载模块、3D标注方式选择模块、输入信息构建模块、语义信息转化模块和3D修正标注模块；
所述图像加载模块，用于选择第三类图像数据进行预加载，在对应的标注界面中显示所述图像加载结果；
所述3D标注方式选择模块，用于在图像加载后提供多边形和/或矩形的标注模式供客户选择；
所述输入信息构建模块，用于在对应的标注界面中通过3D标注方式选择模块中的标注模式对图像加载结果进行标注，将标注的线条信息转化为体素掩码，所述体素掩码作为MEDSAM模型的输入；
所述语义信息转化模块，用于调用prompt编码器将标注的区域信息转化为语义信息；
所述3D修正标注模块，用于调用轻量级解码器结合所述语义信息对标注的区域信息进行预测，得到病灶区域的完整分割结果，将所述体素掩码转化为所述完整分割结果中对应的3D标注结果，自动对3D标注结果进行校验，修正3D标注错误，完成3D标注操作。
在一些实施例中，所述MEDSAM模型包括图像解码器、prompt编码器和mask解码器；
所述图像解码器，用于将输入各类的图像数据处理为图像向量；
所述prompt编码器，用于根据不同的操作执行对应的编码方式；
所述mask解码器，用于将所述掩码和体素掩码转化为图像数据。
在一些实施例中，所述轻量级解码器包括语义特征接收单元、采样分割单元和输出单元；
所述语义特征接收单元，用于接收来自所述MEDSAM模型的语义特征图；
所述采样分割单元，用于通过卷积网络对语义特征图进行上采样并进行图像分割；
所述输出单元，用于输出与输入图像相同大小的完整分割结果。
在一些实施例中，所述2D标注子系统还包括2D图像标注界面，所述2D图像标注界面用于装载所述特征文件构建模块、2D标注方式选择模块、目标区域确定模块和2D修正标注模块，通过装载的模块对上述第二类图像数据进行可视化2D标注操作。
在一些实施例中，所述3D标注子系统还包括3D图像标注界面，所述3D图像标注界面用于装载所述图像加载模块、3D标注方式选择模块、输入信息构建模块、语义信息转化模块和3D修正标注模块，通过装载的模块对上述第三类图像数据进行可视化3D标注操作。
第二方面本申请提出一种应用于上述系统的操作方法，包括以下步骤：
步骤S1：上传/选取待标注的医学图像数据；
步骤S2：获取医学图像数据对应的图像分割结果，如果所述图像分割结果为超过预设阈值数量的图像数据，则归类为第一类图像数据，如果所述图像分割结果为小于预设阈值数量的2D图像数据，则归类为第二类图像数据，如果所述图像分割结果为小于预设阈值数量的3D图像数据，则归类为第三类图像数据；
步骤S3：根据医学图像数据对应的图像分割结果选取对应的标注子系统，如果为第一类图像数据，则选择预训练模型标注子系统并执行步骤S31，如果为第二类图像数据，则选择2D标注子系统并执行步骤S32，如果为第三类图像数据，则选择2D标注子系统并执行步骤S33；
步骤S31：采用预训练模型标注子系统对所述第一类图像数据执行标注流程；
步骤S32：采用2D标注子系统对所述第二类图像数据执行标注流程；
步骤S33：采用3D标注子系统对所述第三类图像数据执行标注流程。
第三方面本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的有益效果：
1、本系统针对不同的医学影像提供了不同类型的标注流程，能够适用于各类医学系统，满足不同医疗系统的需求，有助于医疗工作者做出更加准确的诊断，提高了医疗服务质量。
2、通过使用本系统，医疗工作者能够有效地处理医学影像的信息，实现对影像的准确定位和有力的分析，提高了医生和医疗工作者的诊断精度和准确度。
附图说明
图1为本发明的系统原理框图。
图2为本发明的总体流程图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制；相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
第一方面本申请提出了一种用于医学影像的多类型标注流程集成系统，如图1所示，所述系统由预训练模型标注子系统、2D标注子系统和3D标注子系统共同集成，所述系统内置多种影像分割模型和决策模型；
所述影像分割模型，用于通过不同的影像分割模型对用户选择的批量图像数据进行对应的图像分割，得到对应类型的图像分割结果；
所述决策模型，用于对图像分割结果中的图像数据进行分类识别，得到第一类图像数据、第二类图像数据和第三类图像数据；
所述预训练模型标注子系统，用于获取所述图像分割结果中符合预训练模型标注流程的所述第一类图像数据，对所述第一类图像数据执行预训练模型标注，得到预训练模型标注结果；
其中，系统内置多种影像分割模型，用户选择批量数据，选择疾病模型（选择疾病模型的同时可以看到模型的功能、指标、常见效果），选择硬件资源，
启动预训练模型标注、用户在线查看标注进度、可暂停、取消、重新标注、跳过已标注文件等功能；
在一些实施例中，所述预训练模型标注子系统包括医学图像模型选择模块、算法数据集插入模块、模型训练迭代模块、影像集成模块和标注处理模块；
所述医学图像模型选择模块，用于对一种或多种疾病类型对应的医学图像模型进行选择；
其中，以肝脏疾病为例，可以选择：疾病模型：肝脏分割模型，指标：dice 0.965，常见效果：分割肝脏结构；
疾病模型：肝癌分割模型，指标：dice 0.815，常见效果：分割肝癌结构
所述算法数据集插入模块，用于根据一种或多种疾病类型插入对应的算法以及数据集；
插入的算法包括U-Net、SegNet、DeepLab和FCN等；
插入的数据集包括：FastMRI（快速磁共振成像数据集）、Brain TumorSegmentation（脑肿瘤分割数据集）、Liver Tumor Segmentation （肝脏肿瘤分割数据集）、WORD数据集、基于CT图像的腹部器官分割大规模数据集、基准和临床应用研究；
所述模型训练迭代模块，用于根据算法数据集插入模块中插入的数据集对医学图像模型选择模块中的医学图像模型进行训练，同时获取合作医院数据对所述医学图像模型进行迭代；
所述影像集成模块，用于对训练迭代后的疾病模型进行格式标准化，同时将其封装为统一的模型推理接口；
其中包括，1、公开数据集训练：
选择公开的医学图像数据集,如Kaggle,Grand Challenge等；
对医学图像数据集进行清洗、增强和分割等预处理，设计卷积神经网络模型,参考经典网络结构如ResNet，使用公开的医学图像数据集训练模型,调优超参数,保存最佳模型。
2. 医院内部数据集微调
获取规模较小的医院内部医学图像数据集。对内部数据集仅做必要的预处理，基于公开的医学图像数据集的预训练模型进行微调，在内部验证集上评估性能提升。
3. 医院新数据迭代优化
获取医院日常积累新的数据样本，使用当前最优模型对新数据进行预测，专家进行数据校验,标注预测错误样本，使用新标注数据进一步微调优化模型。
重复该迭代过程,持续优化模型性能，直到模型性能达到临床要求，从而保存最佳模型。
所述标注处理模块，用于通过模型推理接口调用对应的医学图像模型，获得对应任务的预测输出，根据预测输出执行自动标注得到预训练模型标注结果。
其中，使用ONNX、TensorRT等将模型导出为标准格式,便于跨框架部署，
封装统一的模型推理接口,接收图像输入并返回预测结果，通过推理接口调用不同的医学图像模型,获得对应任务的预测输出，得到预训练模型标注结果。
所述2D标注子系统，用于获取所述图像分割结果中符合2D标注流程的第二类图像数据，对所述第二类图像数据执行基于MEDSAM模型的2D标注，得到2D标注结果；
在一些实施例中，所述2D标注子系统包括特征文件构建模块、2D标注方式选择模块、目标区域确定模块和2D修正标注模块；
所述特征文件构建模块，用于选择第二类图像数据进行预加载，调用MEDSAM模型对加载结果处理后输出图像向量并存入数据库，将数据库中的图像向量作为特征文件；
所述2D标注方式选择模块，用于在特征文件加载后提供点和/或框的标注模式供客户选择；
所述目标区域确定模块，用于利用所述特征文件获取对应的掩码，调用mask解码器将掩码转化为图片，通过2D标注方式选择模块中的标注模式在所述图片中划定目标区域；
所述2D修正标注模块，用于通过2D标注方式选择模块中的标注模式对目标区域的边界进行修正，完成2D标注操作。
其中，用户打开2D标注子系统，特征文件构建模块选择第二类图像数据进行预加载，后台调用MEDSAM模型将第二类图像数据图像输入前被预处理为分辨率为1024*1024，图像解码器采用MAE VIT-H/16，是经典的视觉 Transformer 结构，最后输出（256，64，64）的图像向量存入数据库中，此作为特征文件。其中，特征加载完成后，用户进入图像标注页面，通过2D标注方式选择模块选择2D标注方式，模块提供点和/或框的两种标注方法；标注完成后，将标注模块传入目标区域确定模块中，前端将掩码解码转成图片文件，然后覆盖在影像数据对应位置,并展示在阅片页上；用户通过鼠标操作,产生提示区域,提示区域为一个覆盖标注目标的红色区域,用户通过鼠标左键和右键操作选择目标区域，左键作为 positive区域确认键、右键作为negative区域确认键，让用户通过点击来确定目标区域，当符合用户需求时，用户点击确认,确立正确的目标块，最后，确定的目标块（目标区域）传入2D修正标注模块中，用户通过拖拽方式将目标区域边界进行修正，选择标签，完成当前标注操作。
在一些实施例中，所述2D标注子系统还包括2D图像标注界面，所述2D图像标注界面用于装载所述特征文件构建模块、2D标注方式选择模块、目标区域确定模块和修正标注模块，通过装载的模块对上述第二类图像数据进行可视化2D标注操作。
其中，2D图像标注界面中还包括光标和阅片页对应的操作区域，当用户每次在操作区域通过光标进行单击、拖拽和框选等操作时，会出现对应的确认提示供用户选择。
所述3D标注子系统，用于获取所述图像分割结果中符合3D标注流程的第三类图像数据，对所述第三类图像数据执行基于MEDSAM模型的3D标注，得到3D标注结果。
在一些实施例中，所述3D标注子系统包括图像加载模块、3D标注方式选择模块、输入信息构建模块、语义信息转化模块和3D修正标注模块；
所述图像加载模块，用于选择第三类图像数据进行预加载，在对应的标注界面中显示所述图像加载结果；
所述3D标注方式选择模块，用于在图像加载后提供多边形和/或矩形的标注模式供客户选择；
所述输入信息构建模块，用于在对应的标注界面中通过3D标注方式选择模块中的标注模式对图像加载结果进行标注，将标注的线条信息转化为体素掩码，所述体素掩码作为MEDSAM模型的输入；
所述语义信息转化模块，用于调用prompt编码器将标注的区域信息转化为语义信息；
所述3D修正标注模块，用于调用轻量级解码器结合所述语义信息对标注的区域信息进行预测，得到病灶区域的完整分割结果，将所述体素掩码转化为所述完整分割结果中对应的3D标注结果，自动对3D标注结果进行校验，修正3D标注错误，完成3D标注操作。
在一些实施例中，所述3D标注子系统还包括3D图像标注界面，所述3D图像标注界面用于装载所述图像加载模块、3D标注方式选择模块、输入信息构建模块、语义信息转化模块和3D修正标注模块，通过装载的模块对上述第三类图像数据进行可视化3D标注操作。
在一些实施例中，所述3D标注子系统还包括3D图像标注界面，所述3D图像标注界面用于装载所述图像加载模块、3D标注方式选择模块、输入信息构建模块、语义信息转化模块和3D修正标注模块，通过装载的模块对上述第三类图像数据进行可视化3D标注操作。
同上，3D图像标注界面中还包括光标和阅片页对应的操作区域，当用户每次在操作区域通过光标进行单击、拖拽和框选等操作时，会出现对应的确认提示供用户选择，此外，3D图像标注界面在阅片页还可以显示标注的线条信息和轮廓信息。
其中，用户打开述3D标注子系统，通过图像加载模块选择第三类图像数据进行预加载，选择3D标注方式选择模块中的多边形和/或矩形的3D标注方式进行标注，通过输入信息构建模块的选择标注方法为：用户在3D图像标注界面内使用标注工具进行绘制,比如勾画出一个肿瘤区域的一部分轮廓，标注的线条信息被转换为体素掩码,作为MEDSAM模型的输入进入其中的prompt编码器，通过M2TR等3D Transformer结构学习用户标注区域的语义信息，将语义信息传入3D修正标注模块，调用轻量级解码器根据编码器输出的语义特征,预测出整个病灶区域的完整分割结果，将预测的病灶体素掩码转换到3D图像标注界面中的标注结果展示给用户，用户对自动标注完成的结果进行校验,修正标注错误，完成当前标注过程。
在一些实施例中，所述MEDSAM模型包括图像解码器、prompt编码器和mask解码器；
所述图像解码器，用于将输入各类的图像数据处理为图像向量；
所述prompt编码器，用于根据不同的操作执行对应的编码方式；
所述mask解码器，用于将所述掩码和体素掩码转化为图像数据。
其中，图像解码器功能为：输入图像进入网络，先经过一个卷积层的补丁嵌入：取16*16为一个补丁，步长也是16，这样特征图像的尺寸就缩小了16倍，同时将嵌入通道映射到768，最后过两层卷积层把嵌入通道的通道数降到256，这就是最终的图像向量的结果；
prompt编码器功能为：根据不同的prompt（提示，这个词体现了引导、启发、影响、启动、回溯、线索、导向等方面的意思,是激发和引导人工智能系统能力的一种机制）会有不同的编码方式，点和框的嵌入通过位置编码获得，掩码的嵌入通过卷积操作获得；
mask解码器功能为：利用prompt的自注意力机制， prompt到图像嵌入的交叉注意力机制，交叉注意力机制是指在有两个相同维度序列的情况下，而其中一个序列用作查询Q输入，而另一个序列用作键K和值V输入，将两个相同维度的嵌入序列不对称地组合在一起，mask解码器中还内嵌有MLP（多层感知器），用于输出维度与图像嵌入通道相同的向量，多层感知器中包括2048个神经元，主要作用为聚合全局特征。使用多层感知器更新输入，再做图像嵌入到prompt的交叉注意力机制中。经过两轮解码之后，再次与图像嵌入进行交叉注意力机制，分别通过两个多层感知器，得到掩码对应的图像。
在一些实施例中，所述轻量级解码器包括语义特征接收单元、采样分割单元和输出单元；
所述语义特征接收单元，用于接收来自所述MEDSAM模型的语义特征图；
所述采样分割单元，用于通过卷积网络对语义特征图进行上采样并进行图像分割；
所述输出单元，用于输出与输入图像相同大小的完整分割结果。
其中，轻量级解码器功能为：使用卷积网络对MEDSAM模型输出的语义特征进行上采样和精细化，接收来自MEDSAM模型的语义特征图，通过卷积网络对特征图进行上采样,恢复空间分辨率，逐步聚合语义信息,进行精细的图像分割，输出与输入图像相同大小的密集预测分割结果。
第二方面本申请提出一种应用于上述系统的操作方法，如图2所示，包括以下步骤：
步骤S1：上传/选取待标注的医学图像数据；
步骤S2：获取医学图像数据对应的图像分割结果，如果所述图像分割结果为超过预设阈值数量的图像数据，则归类为第一类图像数据，如果所述图像分割结果为小于预设阈值数量的2D图像数据，则归类为第二类图像数据，如果所述图像分割结果为小于预设阈值数量的3D图像数据，则归类为第三类图像数据；
其中，由预先内置在系统内的决策模型对2D图像数据/3D图像数据进行识别判断，所述决策模型由多幅2D图像和多幅3D图像作为样本图像集进行训练得到，所述决策模型包括由PyTorch、CANN、MindSpore、caffe、TensorFlow和PaddlePaddle等框架搭建的决策模型；
步骤S3：根据医学图像数据对应的图像分割结果选取对应的标注子系统，如果为第一类图像数据，则选择预训练模型标注子系统并执行步骤S31，如果为第二类图像数据，则选择2D标注子系统并执行步骤S32，如果为第三类图像数据，则选择2D标注子系统并执行步骤S33；
步骤S31：采用预训练模型标注子系统对所述第一类图像数据执行标注流程；
步骤S32：采用2D标注子系统对所述第二类图像数据执行标注流程；
步骤S33：采用3D标注子系统对所述第三类图像数据执行标注流程。
第三方面本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。
Claims (8)
1.一种用于医学影像的多类型标注流程集成系统，其特征在于：系统由预训练模型标注子系统、2D标注子系统和3D标注子系统共同集成，所述系统内置多种影像分割模型和决策模型；
所述影像分割模型，用于通过不同的影像分割模型对用户选择的批量图像数据进行对应的图像分割，得到对应类型的图像分割结果；
所述决策模型，用于对图像分割结果中的图像数据进行分类识别，得到第一类图像数据、第二类图像数据和第三类图像数据；
所述预训练模型标注子系统，用于获取所述图像分割结果中符合预训练模型标注流程的所述第一类图像数据，对所述第一类图像数据执行预训练模型标注，得到预训练模型标注结果；
所述2D标注子系统，用于获取所述图像分割结果中符合2D标注流程的所述第二类图像数据，并执行基于MEDSAM模型的2D标注，得到2D标注结果；
所述3D标注子系统，用于获取所述图像分割结果中符合3D标注流程的所述第三类图像数据，并执行基于MEDSAM模型的3D标注，得到3D标注结果，所述3D标注子系统包括图像加载模块、3D标注方式选择模块、输入信息构建模块、语义信息转化模块和3D修正标注模块；
所述图像加载模块，用于选择第三类图像数据进行预加载，在对应的标注界面中显示所述图像加载结果；
所述3D标注方式选择模块，用于在图像加载后提供多边形和/或矩形的标注模式供客户选择；
所述输入信息构建模块，用于在对应的标注界面中通过3D标注方式选择模块中的标注模式对图像加载结果进行标注，将标注的线条信息转化为体素掩码，所述体素掩码作为MEDSAM模型的输入；
所述语义信息转化模块，用于调用prompt编码器将标注的区域信息转化为语义信息；
所述3D修正标注模块，用于调用轻量级解码器结合所述语义信息对标注的区域信息进行预测，得到病灶区域的完整分割结果，将所述体素掩码转化为所述完整分割结果中对应的3D标注结果，自动对3D标注结果进行校验，修正3D标注错误，完成3D标注操作，其中，所述轻量级解码器包括语义特征接收单元、采样分割单元和输出单元；
所述语义特征接收单元，用于接收来自所述MEDSAM模型的语义特征图；
所述采样分割单元，用于通过卷积网络对语义特征图进行上采样并进行图像分割；
所述输出单元，用于输出与输入图像相同大小的完整分割结果。
2.根据权利要求1所述的系统，其特征在于：所述预训练模型标注子系统包括医学图像模型选择模块、算法数据集插入模块、模型训练迭代模块、影像集成模块和标注处理模块；
所述医学图像模型选择模块，用于对一种或多种疾病类型对应的医学图像模型进行选择；
所述算法数据集插入模块，用于根据一种或多种疾病类型插入对应的算法以及数据集；
所述模型训练迭代模块，用于根据算法数据集插入模块中插入的数据集对医学图像模型选择模块中的医学图像模型进行训练，同时根据获取的合作医院数据对所述医学图像模型进行迭代；
所述影像集成模块，用于对训练迭代后的疾病模型进行格式标准化，同时将其封装为统一的模型推理接口；
所述标注处理模块，用于通过模型推理接口调用对应的医学图像模型，获得对应任务的预测输出，根据预测输出执行自动标注得到预训练模型标注结果。
3.根据权利要求2所述的系统，其特征在于：所述2D标注子系统包括特征文件构建模块、2D标注方式选择模块、目标区域确定模块和2D修正标注模块；
所述特征文件构建模块，用于选择第二类图像数据进行预加载，调用MEDSAM模型对预加载结果处理后得到图像向量，并将图像向量存入数据库，将数据库中的图像向量作为特征文件；
所述2D标注方式选择模块，用于在特征文件加载后提供点和/或框的标注模式供客户选择；
所述目标区域确定模块，用于利用所述特征文件获取对应的掩码，调用mask解码器将掩码转化为图片，在2D标注方式选择模块中选择标注模式，根据选择的标注模式对所述图片划定目标区域；
所述2D修正标注模块，用于通过2D标注方式选择模块中的标注模式对目标区域的边界进行修正，完成2D标注操作。
4.根据权利要求3所述的系统，其特征在于：所述MEDSAM模型包括图像解码器、prompt编码器和mask解码器；
所述图像解码器，用于将输入各类的图像数据处理为图像向量；
所述prompt编码器，用于根据不同的操作执行对应的编码方式；
所述mask解码器，用于将所述掩码和体素掩码转化为图像数据。
5.根据权利要求4所述的系统，其特征在于：所述2D标注子系统还包括2D图像标注界面，所述2D图像标注界面用于装载所述特征文件构建模块、2D标注方式选择模块、目标区域确定模块和2D修正标注模块，通过装载的模块对上述第二类图像数据进行可视化2D标注操作。
6.根据权利要求5所述的系统，其特征在于：所述3D标注子系统还包括3D图像标注界面，所述3D图像标注界面用于装载所述图像加载模块、3D标注方式选择模块、输入信息构建模块、语义信息转化模块和3D修正标注模块，通过装载的模块对上述第三类图像数据进行可视化3D标注操作。
7.一种应用于如权利要求1-6中任一项所述系统的操作方法，其特征在于：包括以下步骤：
步骤S1：上传/选取待标注的医学图像数据；
步骤S2：获取医学图像数据对应的图像分割结果，如果所述图像分割结果为超过预设阈值数量的图像数据，则归类为第一类图像数据，如果所述图像分割结果为小于预设阈值数量的2D图像数据，则归类为第二类图像数据，如果所述图像分割结果为小于预设阈值数量的3D图像数据，则归类为第三类图像数据；
步骤S3：根据医学图像数据对应的图像分割结果选取对应的标注子系统，如果为第一类图像数据，则选择预训练模型标注子系统并执行步骤S31，如果为第二类图像数据，则选择2D标注子系统并执行步骤S32，如果为第三类图像数据，则选择2D标注子系统并执行步骤S33；
步骤S31：采用预训练模型标注子系统对所述第一类图像数据执行标注流程；
步骤S32：采用2D标注子系统对所述第二类图像数据执行标注流程；
步骤S33：采用3D标注子系统对所述第三类图像数据执行标注流程。
8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求7所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311451817.6A CN117174261B (zh) | 2023-11-03 | 2023-11-03 | 一种用于医学影像的多类型标注流程集成系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311451817.6A CN117174261B (zh) | 2023-11-03 | 2023-11-03 | 一种用于医学影像的多类型标注流程集成系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117174261A CN117174261A (zh) | 2023-12-05 |
| CN117174261B true CN117174261B (zh) | 2024-03-01 |
Family
ID=88945405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311451817.6A Active CN117174261B (zh) | 2023-11-03 | 2023-11-03 | 一种用于医学影像的多类型标注流程集成系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117174261B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113392230A (zh) * | 2020-03-13 | 2021-09-14 | 阿里巴巴集团控股有限公司 | 标注数据处理和操作方法以及标注平台和数据库 |
| CN113407083A (zh) * | 2021-06-24 | 2021-09-17 | 上海商汤科技开发有限公司 | 一种数据标注方法及装置、电子设备和存储介质 |
| CN113689937A (zh) * | 2021-07-07 | 2021-11-23 | 阿里巴巴新加坡控股有限公司 | 图像标注方法、存储介质和处理器 |
| CN115641323A (zh) * | 2022-11-04 | 2023-01-24 | 四川启睿克科技有限公司 | 医学图像自动标注的方法及装置 |
| CN115686280A (zh) * | 2021-07-27 | 2023-02-03 | 京东方科技集团股份有限公司 | 深度学习模型管理系统、方法、计算机设备及存储介质 |
| CN116092643A (zh) * | 2021-11-05 | 2023-05-09 | 上海仰和华健人工智能科技有限公司 | 一种基于医疗影像的交互式半自动标注方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9760990B2 (en) * | 2014-12-14 | 2017-09-12 | International Business Machines Corporation | Cloud-based infrastructure for feedback-driven training and image recognition |
| US20230116897A1 (en) * | 2021-10-08 | 2023-04-13 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing systematic benchmarking analysis to improve transfer learning for medical image analysis |
-
2023
- 2023-11-03 CN CN202311451817.6A patent/CN117174261B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113392230A (zh) * | 2020-03-13 | 2021-09-14 | 阿里巴巴集团控股有限公司 | 标注数据处理和操作方法以及标注平台和数据库 |
| CN113407083A (zh) * | 2021-06-24 | 2021-09-17 | 上海商汤科技开发有限公司 | 一种数据标注方法及装置、电子设备和存储介质 |
| CN113689937A (zh) * | 2021-07-07 | 2021-11-23 | 阿里巴巴新加坡控股有限公司 | 图像标注方法、存储介质和处理器 |
| CN115686280A (zh) * | 2021-07-27 | 2023-02-03 | 京东方科技集团股份有限公司 | 深度学习模型管理系统、方法、计算机设备及存储介质 |
| CN116092643A (zh) * | 2021-11-05 | 2023-05-09 | 上海仰和华健人工智能科技有限公司 | 一种基于医疗影像的交互式半自动标注方法 |
| CN115641323A (zh) * | 2022-11-04 | 2023-01-24 | 四川启睿克科技有限公司 | 医学图像自动标注的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117174261A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| WO2021164534A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113314205B (zh) | 一种高效的医学影像标注与学习系统 | |
| CN111325714B (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
| CN111028246A (zh) | 一种医学图像分割方法、装置、存储介质及电子设备 | |
| US20200372654A1 (en) | Sampling latent variables to generate multiple segmentations of an image | |
| CN113902945A (zh) | 一种多模态乳腺磁共振图像分类方法及系统 | |
| CN113436173A (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN112818955A (zh) | 一种图像分割方法、装置、计算机设备以及存储介质 | |
| CN116152266A (zh) | 一种穿刺针超声图像的分割方法、装置和系统 | |
| CN112150470A (zh) | 图像分割方法、装置、介质及电子设备 | |
| CN117218133A (zh) | 肺图像处理方法及装置、电子设备和存储介质 | |
| CN112990359B (zh) | 一种影像数据处理方法、装置、计算机及存储介质 | |
| Hartsock et al. | Vision-language models for medical report generation and visual question answering: A review | |
| CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN117174261B (zh) | 一种用于医学影像的多类型标注流程集成系统 | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
| CN116486156A (zh) | 融合多尺度特征上下文的全视野数字切片图像分类方法 | |
| CN112530554B (zh) | 一种扫描定位方法、装置、存储介质及电子设备 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| US11263501B2 (en) | Generating reports of three dimensional images | |
| CN112614092A (zh) | 脊柱检测方法和装置 | |
| Farooq et al. | Derm-T2IM: Harnessing Synthetic Skin Lesion Data via Stable Diffusion Models for Enhanced Skin Disease Classification using ViT and CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |