CN117350979A - 一种基于医疗超声影像的任意病灶分割和追踪系统 - Google Patents

一种基于医疗超声影像的任意病灶分割和追踪系统 Download PDF

Info

Publication number
CN117350979A
CN117350979A CN202311364327.2A CN202311364327A CN117350979A CN 117350979 A CN117350979 A CN 117350979A CN 202311364327 A CN202311364327 A CN 202311364327A CN 117350979 A CN117350979 A CN 117350979A
Authority
CN
China
Prior art keywords
data
model
focus
module
sam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202311364327.2A
Other languages
English (en)
Inventor
童云飞
张超仁
邓天然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanghe Huajian Digital Medical Technology Shanghai Co ltd
Original Assignee
Yanghe Huajian Digital Medical Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanghe Huajian Digital Medical Technology Shanghai Co ltd filed Critical Yanghe Huajian Digital Medical Technology Shanghai Co ltd
Priority to CN202311364327.2A priority Critical patent/CN117350979A/zh
Publication of CN117350979A publication Critical patent/CN117350979A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于医疗超声影像的任意病灶分割和追踪系统，涉及计算机医疗辅助筛查技术领域，包括收集医学超声数据模块、数据整理标注和审查模块、数据预处理模块、模型训练模块和模型验证模块，本发明利用自动和交互式方法对视频中的任何对象进行分割和跟踪，使用的主要算法包括用于自动/交互式关键帧分割的分割一切模型Segment anything model(SAM)Adapter适应器和用于高效多对象跟踪和传播的基于变压器网络(Transformer)的分层传播中的解耦特征追踪算法(DeAOT)，为了提高便捷性，本发明使用SAM Adapter模型来获取高质量的参考帧标注信息，通过SAM Adapter动态自动检测和分割新病灶，和DeAOT算法负责跟踪所有已识别的病灶，可以有效解决医疗超声视频中的单帧和目标对应困难的问题。

Description

一种基于医疗超声影像的任意病灶分割和追踪系统
技术领域
本发明涉及计算机医疗辅助筛查技术领域，具体是一种基于医疗超声影像的任意病灶分割和追踪系统。
背景技术
医疗超声影像是一种无创、无辐射、实时的医学影像检查方法，可以通过超声波对人体内部进行成像，检测人体内部各个部位的器官和组织，包括心脏、肝脏、胆囊、胰腺、肾脏、膀胱、前列腺、乳腺、甲状腺、血管等。医疗超声影像也可以用于诊断多种疾病，如心肌梗死、心肌炎、胰腺炎、肾结石、肾囊肿、卵巢囊肿、子宫肌瘤等。医疗超声影像清晰地显示人体内部各个部位的情况，有助于医生准确诊断并制定合理的治疗方案。同时，由于其无创、无辐射的特点，可以多次重复检查，对患者的身体没有任何损伤。
基于人工智能的超声影像分析(超声人工智能)是一种基于人工智能技术的医疗影像诊断辅助工具，相比超声医师，医疗超声人工智能能够在极短的时间内完成对大量医疗超声图像的分析，能够对医疗超声图像进行精准的识别和分析，能够对医疗超声图像进行全面、系统的分析，避免了漏诊和误诊的情况发生，具有良好的用户界面和操作体验，医生只需要上传医疗超声图像并进行简单设置即可得到诊断结果，无需过多专业知识和技能，为了揭示超声图像中相应组织的解剖或病理结构，超声人工智能中最重要的是医学图像分割，是一种计算机视觉技术，随着视觉Transformer的出现，基于vision transformer(视觉转换器)的医学图像方法在医学图像分割方面取得了出色的性能，然而，这些网络是针对特定任务的，缺乏在其他任务上的泛化能力，因此有人提出利用大数据训练基础模型，它是可以被转移到或直接应用于分类、检索、目标检测、视频理解、视觉问答、图像描述和图像生成等任务，在图像分割领域，最近出现了Segment Anything model(SAM)，使得在统一框架下解决多种分割任务成为可能，SAM的最终目标是提供一个具有广泛功能的模型，可以快速适应许多现有和新的分割任务(例如边缘检测、目标提议生成、实例分割和从自由文本中分割对象)，并能够将零样本转移到新的数据分布和任务中。
然而在没有对医学图像进行重新训练的情况下，SAM的性能不如在医学图像上训练的U-Net或其他医学深度学习模型准确，于是，有学者在医学大数据上调整SAM模型，有学者提出了一种简单的微调方法MedSAM(基于医学图像的SAM网络)，以适应SAM模型的一般医学图像分割，对21个3D分割任务和9个2D分割任务进行了严格的实验，结果表明MedSAM(基于医学图像的SAM网络)超越了默认的SAM模型。另有学者提出一种新的适应期模型SAM-Adapter，利用特定于领域的信息或视觉提示通过简单而有效的适配器增强分割网络，通过将任务特定的知识与大型模型学习到的一般知识相结合，广泛的实验结果证明SAMAdapter可以显著改善SAM在具有挑战性的任务中的性能，PromptUNet通过扩展SAM中现有的提示类型，包括新的支持性提示和Enface提示(图像上用点或者框提示)，作者使用各种图像模态对19个医学图像分割任务的能力进行评估，PromptUNet超过了广泛的最先进的医学图像分割方法。
SAM Adapter在自动和交互式超声图像分割上展现出很好的泛化能力，但是被应用于超声视频数据分割时却存在几个关键问题：1.单帧的分割结果无法被高效地传播到临近帧，逐帧处理效率较低；2.不能处理不同帧之间分割的多个病灶的一一对应问题；3.不能有效应对SAM Adapter在处理不同帧时粒度不统一的问题。
发明内容
本发明的目的在于提供一种基于医疗超声影像的任意病灶分割和追踪系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于医疗超声影像的任意病灶分割和追踪系统，包括收集医学超声数据模块、数据整理标注和审查模块、数据预处理模块、模型训练模块和模型验证模块，所述收集医学超声数据模块用于收集错误数据500例以上和收集正确数据2000例以上，所述数据整理标注和审查模块用于将收集的数据进行归类，并对未进行标注的数据使数据整理，用SAM模型辅助标注，标注数据需要由专业医生审核，所述数据预处理模块是先将图像和标签缩放到512*512大小，然后进行数据增强，最后将数据分为训练集、验证集和测试集，并将所有数据保存为模型训练需要的格式，所述模型训练模块首先冻结SAM Adapter算法中的编码层，新数据仅在解码层进行训练，训练之后保存测试集上最优模型，所述模型验证模块分别在不同的设备，不同的病种，不同部位进行测试模型效果，对性能最好的模型进行保存。
作为本发明进一步的方案：所述收集医学超声数据模块收集的数据需要保证来自多设备、多病种、多部位，从数据上保证模型的广泛性和通用性。
作为本发明再进一步的方案：所述数据整理标注和审查模块使用方形框对错误数据中的病灶进行标注，正确数据采用病灶最大外接矩形作为标注，本发明采用的是人工勾画Bounding Box(边界框)作为提示。
作为本发明再进一步的方案：所述数据预处理模块的增强方式包括：图像缩放(0.3)、灰度值变换(0.25)、灰度值拉伸(0.3)、旋转仿射变换(0.5)、模糊(0.5)、混叠(0.2)、加噪(0.3),其中括号里面均为对应的参数，使用的增强库为imgaug。
作为本发明再进一步的方案：所述数据预处理过程中的测试集需要是单独的数据源，数据来自于不同的设备或者不同的病种，或者不同部位，区别于训练集和验证集。
作为本发明再进一步的方案：所述模型训练模块的训练参数为图像大小＝512，batchsize＝32，预训练模型＝SAM Adapter(板块一中保存模型)，训练次数＝200，损失函数＝焦点损失+Dice损失，学习率＝1e-4。
作为本发明再进一步的方案：所述数据增强方法包括图像缩放、灰度值变换和拉伸、旋转仿射变换、模糊、混叠和加噪，由于图像来源较多，因此将图像全部缩放为512*512大小。
一种基于医疗超声影像的任意病灶分割和追踪系统的应用流程，包括以下步骤：
S1、加载SAM Adapter模型，进行超声影像检查；
S2、对超声视频使用SAM Adapter模型进行病灶检测；
S3、使用DeAOT进行算法追踪，同时使用SAM Adapter模型进行病灶检测；
S4、对病灶数量进行统计，并记录每个病灶首尾帧数位置；
S5、判断模型是否准确分割和追踪病灶；
S6、若能准确分割和追踪病灶则结束，若不能准确分割和追踪病灶则保存检查视频，然后进行超声视频回顾、筛选错误数据；
作为本发明再进一步的方案：所述S2中检测结果为像素值在0到1的图像，设定大于阈值0.5的区域即为存在病灶，小于等于0.5的则正常。
作为本发明再进一步的方案：所述S3中进行病灶检测时使用CMR确定新的病灶的编号，如果存在则Nn，为新的病灶，并且DeAOT算法对新病灶进行编号，如果不存在新的病灶则Nn，则为空。
如图1所示，传统的搭建人工智能模型的方法主要是去迭代模型，数据相对固定，然而，以模型为中心的人工智能没有考虑到实际应用中数据可能出现的各种问题，例如不准确的标签，数据重复和异常数据等，准确率高的模型只能确保很好地「拟合」数据，并不一定意味着实际应用中会有很好的表现，随着人工智能的发展，数据为中心的人工智能成为搭建人工智能系统的新理念，与模型为中心的人工智能不同，数据为中心的人工智能更侧重于提高数据的质量和数量，也就是说数据为中心的人工智能关注的是数据本身，而模型相对固定，采用数据为中心的人工智能的方法在实际场景中会有更大的潜力，因为数据很大程度上决定了模型能力的上限。因此本发明首先第一步就是收集大量的医疗超声影像数据，并对数据进行标注。
医疗超声设备应用广泛，可应用于身体多个部位，并检测多种疾病，为了更好的训练出本发明的算法，本发明通过收集大量公开超声数据集：1.BUSI：780张乳腺超声图像；2.数据集RadImageNet：389885张多源多部位超声图像，3.数据集DDTI：134张甲状腺超声图像；4.超声神经分割：5635张超声神经图像；5.数据集TN-SCUI：4500例甲状腺超声病例；6.基于超声的脑解剖分割数据集1629脑部超声图像，7.CLUST 9个肝脏二维超声视频；8.腹部分割超声模拟数据集包含926次腹部超声扫描像；9.超声图像数据集包含10名志愿者的颈总动脉视频；10.数据集TDSC-ABUS2023包含200例超声3DABUS数据；11.数据集HC8包含1334张超声胎儿图像；12.数据集AUITD该数据集包含3538张甲状腺图像，经过筛选和处理得到26万张超声图像，为了充分利用超声图像，根据超声病灶特性和规律，本发明采用图像缩放、灰度值变换和拉伸、旋转仿射变换、模糊、混叠、加噪等图像增强方法，增加数据的广泛性和普遍性，从而提升模型的适应能力。
(1)基于SAM adapter的超声图像分割算法
SAM主要由三部分组成：图像编码器、提示编码器和掩膜解码器，图像编码器被Masked AutoEncoder(掩码自动编码器)训练的标准vision transformer(视觉转换器)，输出是对输入图像的16倍下采样，提示编码器可以是稀疏的点、框、文本或密集的mask；本发明中只关注稀疏提示编码器，它将框表示为位置编码，并对每个提示类型进行学习特征向量，mask解码器是一个Transformer解码器，包括动态掩模预测头，SAM的预训练模型已经通过一个设计良好的数据引擎，在世界上最大的分割数据集上进行了训练，这种模型对医学图像分割很有价值，但是SAM在医学图像分割中表现不佳，主要原因是缺乏医学数据进行训练，在本发明中，我们试图将SAM扩展到医学超声影像病灶分割，在技术上，使用自适应的参数高效微调(PEFT)技术对预先训练好的SAM进行微调，研究还表明，PEFT方法比完全微调更有效，因为它可以避免灾难性遗忘，并更好地推广到域外情景，特别是在低数据的情况下，在所有的PEFT策略中，Adaption作为一种有效的工具，不仅在自然语言处理中，而且在计算机视觉中，对下游任务的大型基本视觉模型进行微调，其主要思想是在原始的基本模型中插入几个参数有效的Adapter模块，然后只调整Adapter参数，而将所有预先训练好的参数冻结，本发明的SAM Adapter医疗超声影像分割模型，其目标是在医疗超声影像分割任务上对SAM架构进行微调，以增强其医疗超声影像的病灶检出能力，首先将预先训练好的SAM编码层参数冻结起来，并在体系结构中的特定位置插入一个Adapter模块，Adapter是一个瓶颈模型，依次使用下投影、高斯误差线性单元激活和上投影，下投影使用简单的MLP层将给定的特征压缩到较小的维数，上投影使用另一个MLP层将压缩后的特征扩展回原来的维数。
经过超声医疗数据训练的模型，对于医疗超声数据具有很好的适应性，本发明通过使用正确的微调技术和一个SAM的预先训练的模型，可以对超声医疗图像进行准确分割，甚至超过专门优化的医疗图像分割模型，对各种超声病灶分割任务具有极好的泛化能力。
(2)基于DeAOT算法的超声病灶的定位和跟踪
为了更好应用于超声影像,本发明利用自动和交互式方法对视频中的任何对象进行分割和跟踪，使用的主要算法包括用于自动/交互式关键帧分割的SAM Adapter和用于高效多对象跟踪和传播的DeAOT，DeAOT是一个高效的多目标视频分割模型，在给定首帧物体标注的情况下，可以对视频其余帧中的物体进行追踪分割，DeAOT通过基于分层的Transformer的传播机制，更好地聚合了长时序和短时序信息，表现出了优异的追踪性能，即将一个视频中的多个目标特征向量到同一高维空间中，从而实现了同时对多个物体进行追踪，由于DeAOT需要参考帧的标注来初始化，为了提高便捷性，本发明使用SAM Adapter模型来获取高质量的参考帧标注信息，通过SAM Adapter动态自动检测和分割新病灶，和DeAOT算法负责跟踪所有已识别的病灶，可以有效解决医疗超声视频中的单帧和目标对应困难的问题。
(3)基于提示的自适应超声算法
SAM Adapter为自动和交互式分割超声图像病灶提供了一个极好的框架。但是在实际使用过程中，并不能完全适应所有的医疗超声领域，因此为了更好的应用于临床和辅助医生进行病灶标注，需要给模型某种提示(prompt)，这种提示仅仅只需要引入少量可训练参数，同时保持模型主干冻结，是全面微调的高效且有效的替代方案。该方法能快速帮助预训练模型迁移到下游医疗超声任务中，在超声影像领域，我们是通过专业的超声科医生框出病灶对模型进行提示，来指导SAM Adapter模型找到目标对象，并且积累超声图像的分割标签数据。SAM Adapter先用公开数据集训练，然后再用积累超声图像的分割标签数据训练。随着数据增加，SAM Adapter模型的掩膜解码器适应当前问题的能力越强，模型最终能在具体任务中进行全自动超声影像病灶分割，从而达到适应新超声影像目标分割的能力。
与现有技术相比，本发明的有益效果是：
1、DeAOT是一个高效的多目标视频目标分割模型，在给定一个目标病灶标注的情况下，可以对超声视频其余帧中的物体进行追踪分割，可以同时对多个物体进行追踪，在速度方面也能够与其他针对单个物体追踪的VOS方法相媲美，在实际使用过程中结合SAMAdapter进行多目标的追踪，可以快速完成超声视频的实时分析和处理。
2、本发明的超声病灶检出大模型是一种基于超声大数据和深度学习技术的人工智能算法，旨在自动检测人体内超声图像中的异常病灶，该模型训练数据量大，包括了几十万张正常和异常的超声图像，经过反复的训练和调整，准确率可以优于单一训练的模型，在真实世界的医疗场景中，该模型可以准确地检测出病灶，帮助医生进行诊断和治疗，能够应对不同的超声图像质量和病灶类型，即使在噪声较大或者图像质量较差的情况下，该模型仍然能够保持较高的准确率，该模型实现了自动化检测，不需要人工干预，大大提高了工作效率和诊断准确性。
3、SAM模型已经被证明在自然图像领域具有很强的适应能力，本发明在SAM的基础上，经过超声影像大数据训练，不仅在准确率方面表现出色，而且具有很高的可迁移能力，在超声影像医疗领域中，由于不同医院和机构采集的超声图像存在一定差异，因此模型的可迁移能力十分重要，我们的模型通过大量的训练数据和优化算法，学习到了一些通用的特征表示，这些特征可以很好地适应不同的数据集和场景，经过实验证明，我们的模型在多个数据集和场景中都表现出了较好的性能，证明了其具有较高的可迁移能力，对于迁移效果较差的领域，我们采用人机交互的方式，对其中标签进行人为矫正，然后对模型进行再次训练，以便增强模型的实际应用能力。
4、目前实际应用过程中，都是针对特定设备特定问题进行设计人工智能模型，对于一台实际应用的超声设备来说，往往需要很多超声人工智能模型，实际使用过程中也会造成人工智能设备成本过大，运行效率过低的问题，因此本发明收集了大量的超声数据，其中包括各个部位和不同设备的数据，经过验证，大数据训练的模型往往比单一训练的模型具有更好的通用性，本发明的通用超声人工智能模型，能够适应多种使用场景，更符合超声应用的临床需求。
附图说明
图1为本发明数据为中心的人工智能和模型为中心的人工智能的结构示意图。
图2为本发明数据标注和循环迭代流程图。
图3为本发明SAM Adapter算法流程图。
图4为本发明基于SAM Adapter算法和DeAOT算法的病灶追踪流程图。
图5为本发明自适应prompt算法流程图。
图6为本发明基于超声影像数据的SAM Adapter算法训练流程图。
图7为本发明的超声影像临床应用流程图。
图8为本发明模型迁移和自适应流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了辅助影超声科医生对病灶做出更准确的判断，本发明基于医疗超声影像任意病灶分割的SAM Adapter算法如图3所示，追踪算法流程如图4所示，自适应prompt算法流程如图5所示：
S1:我们收集到26万数据，但是有很多并无分割标签，因此为了获得标签，本发明采用如图2所示的方式标注超声医疗数据：首先，使用公开的SAM模型对病灶进行分割，其次，让标注者筛选出的正确的病灶mask，之后进行训练得到模型，然后重新标注SAM标注有误的图像，最后，用新标注的数据训练模型，多次重复标注、训练过程，最终得到所有图像的mask标注。
S2:对于现在的算法模型，数据的一致性是最重要的。使用工具来提高数据质量，可以使得各种算法模型都可以表现很好，因此本发明为了提高模型的适应能力，采用数据增强方法对数据进行增广，其方法包括：图像缩放、灰度值变换和拉伸、旋转仿射变换、模糊、混叠、加噪，由于图像来源较多，因此将图像全部缩放为512*512大小。
S3:训练SAM Adapter模型如图3所示，模型中包含图像编码器和mask解码器，因为本发明是针对医疗超声影像中的病灶，因此提示(prompt)编码器是固定的，我们的目标是对医疗超声图像分割任务的SAM架构进行微调，因此没有完全调整所有参数，而是将预先训练好的SAM参数冻结起来，并在体系结构中的特定位置插入一个Adapter模块，图中SAM模型中的参数，被冻结不参与训练，图中可学习模块包括Adapter和mask解码模块(MaskedDecoder)，Adapter是一个bottleneck模型，依次使用下投影(Down)、GELU激活和上投影(UP)，下投影使用简单的MLP层将给定的特征向量压缩到较小的维数，上投影使用另一个多层感知器层将压缩后的特征向量扩展回原来的维数，Masked Decoder是使用自注意力和交叉注意力的提示-图像双向Transformer解码器，可根据输入的固定提示，网络将根据置信度对可能的掩码进行输出。训练中使用的损失函数包括焦点损失和Dice损失。
S4:经过训练我们可以得到基于医疗超声影像的SAM Adapter模型，但是医疗超声数据数据视频数据，为了高效解决处理视频数据和病灶前后帧对应问题，本发明追踪算法流程如图4所示，其中DeAOT是一个高效的多目标视频分割模型，在给定首帧物体标注的情况下，可以对视频其余帧中的物体进行追踪分割，采用一种识别机制，将一个视频中的多个目标特征向量映射到同一高维空间中，从而实现了同时对多个物体进行追踪，此外，通过基于分层的Transformer的传播机制，DeAOT更好地聚合了长时序和短时序信息，表现出了优异的追踪性能，由于DeAOT需要参考帧的标注来初始化，为了提高便捷性，本发明使用了SAMAdapter模型来获取标注信息，具体追踪算法如图所示，一共分为三个模块：分割模块、追踪模块和多病灶追踪，首先是分割模块：将超声影像第一帧输入到SAM Adapter模型中进行预测初始帧中的病灶位置；然后是多病灶追踪：DeAOT将分割结果作为参考帧，对选中的病灶进行追踪，在追踪的过程中，DeAOT会将过去帧中的视觉特征向量和高维编号作为提示特征向量分层传播到当前帧中，实现逐帧追踪分割多个病灶，最后是追踪模块，通过SAMAdapter来获得每n帧中新出现的物体的掩码，如图中所示，并没有新的病灶，因此Nn为空，对于新出现的物体的编号分配问题，SAM Adapter采用了比较掩码模块(CMR)来确定新的对象的编号，CMR是对比Sn和Tn(由DeAOT所得)之间是否存在新病灶。
S5:经过S4，我们可以获得一个可以用于分割和追踪超声影像病灶的算法模型，但是实际使用过程中，我们发现本身所拥有的数据，并不足以应付所有的超声病灶检出，为了更好的使用模型，如图5所示，将在使用过程中病灶分割存在问题的图像进行收集，然后由影像科医生对病灶进行画框(Bounding Box(边界框)),作为SAM Adapter的prompt，也即是重新部分训练SAM Adapter算法，如图5所示，解码层均被冻结，即SAM Adapter Encoder和Prompt Encoder被冻结，解码层进行训练，即Mask decoder
表1SAM Adapter算法性能对比
表2超声病灶追踪性能对比
具体实施过程中，本发明分为三个板块：第一个：如图6所示，基于超声影像数据的SAM Adapter算法训练实施流程；第二个：如图7所示，本发明的超声影像临床应用实施流程；第三个：如图8所示，模型迁移和自适应实施流程。
首先我们介绍第一个板块的实施过程，如图6所示:
S1：由于本发明需要在大量的超声医学图像进行训练，因此首先收集医学超声数据，数据需要保证来自多设备、多病种、多部位，从数据上保证模型的广泛性和通用性。
S2：数据来源多样，并且大量数据均无标签，因此首先需要将收集的数据进行归类，对未进行标注的数据使数据整理、用SAM模型辅助标注，标注数据需要由专业医生审核，标注过程可参考图2中的数据和模型循环迭代过程。
S3：经过多轮迭代标注，我们将获取到所有图像的标签，然后我们将对数据进行预处理，首先将图像和标签缩放到512*512大小，然后进行数据增强，增强方式包括：图像缩放(0.3)、灰度值变换(0.25)、灰度值拉伸(0.3)、旋转仿射变换(0.5)、模糊(0.5)、混叠(0.2)、加噪(0.3),其中括号里面均为对应的参数，使用的增强库为imgaug。最后将数据分为训练集、验证集和测试集，并将所有数据保存为模型训练需要的格式，其中测试集需要是单独的数据源，区别于训练集和验证集。
S4：准备好数据之后，需要设计模型训练的参数：图像大小＝512，batchsize＝32,预训练模型＝sam vision transformer(视觉转换器)l，训练次数＝2000，损失函数＝焦点损失+Dice损失，学习率＝1e-4。使用的机器为Windows 10Gen Intel(R)Core(TM)i7-11700K@3.60GHz,内存：32G,显卡：A4000显存：16G。训练过程中保存验证集上最优模型和最终模型。
S5：测试集的数据是有单独的数据源，和训练集和验证集区别是数据来自于不同的设备或者不同的病种，或者不同部位。将验证集上的模型作为预训练模型，在测试集上进行模型测试，对比结果如表1所示，在两个开源数据集上,相对传统的算法，本发明的算法都取得最好的IOU和Dice分数，同时我们也可以看到，没有经过医学数据训练的SAM算法，在仅有一个点作为提示的时候，在甲状腺TNSCUI2020数据上，Dice分数低于本发明32.7％，IOU低于本发明38％；在乳腺BUSI数据上，Dice分数低于本发明11.4％，IOU低于本发明11.6％。本发明性能的优秀，相比较其他算法，本发明更符合医疗超声影像的应用场景。
第二个板块的是本发明超声影像临床应用实施过程，如图7所示:
S1：经过第一个板块的训练和验证，我们可以得到一个通用性很高的SAM Adapter算法模型，在临床使用过程中，我们首先需要加载SAM Adapter模型，然后进行超声影像检查或者对过往保存的超声视频数据进行处理(如果有)，检测视频中的病灶，检测结果为像素值在0到1的图像，设定大于阈值0.5的区域即为存在病灶，小于等于0.5的则正常。
S2：将有病灶的图像使用DeAOT进行算法追踪，可以有效确定前后帧是否是同一病灶，同时使用SAM Adapter模型进行病灶检测，使用CMR确定新的病灶的编号，如果存在则Nn，为新的病灶，并且DeAOT算法对新病灶进行编号，如果不存在新的病灶则Nn，则为空。
S3:当检查完一个病人或者一段超声视频，我们需要对病灶数量进行统计，并记录每个病灶首尾帧的位置，并且判断模型是否准确分割和追踪病灶，如果经过大量数据验证，结果准确，则说明该模型能直接用于当前的机器和检测，如果病灶检测出错，则保存检查的视频，并从视频中筛选出错误的数据，并保存，其中挑选过程由专业的超声科影像医生完成。
S4：验证模型追踪性能，如表2所示，其中使用的数据集ABUS是三维乳腺超声数据，本发明与算法R50-AOT、XMem、R50-DeAOT对比，我们的算法不仅不需要人工首先勾画掩膜，而且在性能上也优于其他算法。
第三个板块的是模型迁移和自适应，如图7所示:
S1：通过板块二，我们可以对实际临床使用的错误数据进行收集，当收集错误数据500例以上和正确数据2000例以上的时候，整理数据，并准备进行迁移训练。
S2：使用方形框对错误数据中的病灶进行标注，正确数据采用病灶最大外接矩形作为标注，并由专业医生审核，本发明采用的是人工勾画Bounding Box(边界框)作为提示，经学者证明，Bounding Box(边界框)比画线、点和文本具有更好的提示能力。
S3：将标注好的数据进行预处理，首先将图像和标签缩放到512*512，然后进行数据增强，增强方式于板块一中一样，最后将数据分为训练集和测试集。
S4：模型训练，首先冻结SAM Adapter算法中的编码层，新数据仅在解码层进行训练，训练参数为图像大小＝512，batchsize＝32，预训练模型＝SAM Adapter(板块一中保存模型)，训练次数＝200，损失函数＝焦点损失+Dice损失，学习率＝1e-4。训练之后保存测试集上最优模型。
S5：将训练好的模型直接投入使用，如果还存在分割错误，重复板块三的S，直到模型能够满足临床需求。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于医疗超声影像的任意病灶分割和追踪系统，包括收集医学超声数据模块、数据整理标注和审查模块、数据预处理模块、模型训练模块和模型验证模块，其特征在于：所述收集医学超声数据模块用于收集错误数据500例以上和收集正确数据2000例以上，所述数据整理标注和审查模块用于将收集的数据进行归类，并对未进行标注的数据使数据整理，用SAM模型辅助标注，标注数据需要由专业医生审核，所述数据预处理模块是先将图像和标签缩放到512*512大小，然后进行数据增强，最后将数据分为训练集、验证集和测试集，并将所有数据保存为模型训练需要的格式，所述模型训练模块首先冻结SAM Adapter算法中的编码层，新数据仅在解码层进行训练，训练之后保存测试集上最优模型，所述模型验证模块分别在不同的设备，不同的病种，不同部位进行测试模型效果，对性能最好的模型进行保存。
2.根据权利要求1所述的一种基于医疗超声影像的任意病灶分割和追踪系统，其特征在于：所述收集医学超声数据模块收集的数据需要保证来自多设备、多病种、多部位，从数据上保证模型的广泛性和通用性。
3.根据权利要求1所述的一种基于医疗超声影像的任意病灶分割和追踪系统，其特征在于：所述数据整理标注和审查模块使用方形框对错误数据中的病灶进行标注，正确数据采用病灶最大外接矩形作为标注，本发明采用的是人工勾画Bounding Box(边界框)作为提示。
4.根据权利要求1所述的一种基于医疗超声影像的任意病灶分割和追踪系统，其特征在于：所述数据预处理模块的增强方式包括：图像缩放(0.3)、灰度值变换(0.25)、灰度值拉伸(0.3)、旋转仿射变换(0.5)、模糊(0.5)、混叠(0.2)、加噪(0.3),其中括号里面均为对应的参数，使用的增强库为imgaug。
5.根据权利要求1所述的一种基于医疗超声影像的任意病灶分割和追踪系统，其特征在于：所述数据预处理过程中的测试集需要是单独的数据源，数据来自于不同的设备或者不同的病种，或者不同部位，区别于训练集和验证集。
6.根据权利要求1所述的一种基于医疗超声影像的任意病灶分割和追踪系统，其特征在于：所述模型训练模块的训练参数为图像大小＝512，batch size＝32，预训练模型＝SAMAdapter(板块一中保存模型)，训练次数＝200，损失函数＝焦点损失+Dice损失，学习率＝1e-4。
7.根据权利要求1所述的一种基于医疗超声影像的任意病灶分割和追踪系统，其特征在于：所述数据增强方法包括图像缩放、灰度值变换和拉伸、旋转仿射变换、模糊、混叠和加噪，由于图像来源较多，因此将图像全部缩放为512*512大小。
8.一种基于医疗超声影像的任意病灶分割和追踪系统的应用流程，包括以下步骤：
S1、加载SAM Adapter模型，进行超声影像检查；
S2、对超声视频使用SAM Adapter模型进行病灶检测；
S3、使用DeAOT进行算法追踪，同时使用SAM Adapter模型进行病灶检测；
S4、对病灶数量进行统计，并记录每个病灶首尾帧数位置；
S5、判断模型是否准确分割和追踪病灶；
S6、若能准确分割和追踪病灶则结束，若不能准确分割和追踪病灶则保存检查视频，然后进行超声视频回顾、筛选错误数据。
9.根据权利要求8所述的一种基于医疗超声影像的任意病灶分割和追踪系统的应用流程，其特征在于：所述S2中检测结果为像素值在0到1的图像，设定大于阈值0.5的区域即为存在病灶，小于等于0.5的则正常。
10.根据权利要求8所述的一种基于医疗超声影像的任意病灶分割和追踪系统的应用流程，其特征在于：所述S3中进行病灶检测时使用CMR确定新的病灶的编号，如果存在则Nn为新的病灶，并且DeAOT算法对新病灶进行编号，如果不存在新的病灶则Nn，则为空。
CN202311364327.2A 2023-10-20 2023-10-20 一种基于医疗超声影像的任意病灶分割和追踪系统 Withdrawn CN117350979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311364327.2A CN117350979A (zh) 2023-10-20 2023-10-20 一种基于医疗超声影像的任意病灶分割和追踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311364327.2A CN117350979A (zh) 2023-10-20 2023-10-20 一种基于医疗超声影像的任意病灶分割和追踪系统

Publications (1)

Publication Number Publication Date
CN117350979A true CN117350979A (zh) 2024-01-05

Family

ID=89366490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311364327.2A Withdrawn CN117350979A (zh) 2023-10-20 2023-10-20 一种基于医疗超声影像的任意病灶分割和追踪系统

Country Status (1)

Country Link
CN (1) CN117350979A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557675A (zh) * 2024-01-12 2024-02-13 北京航空航天大学杭州创新研究院 一种深度学习mri图像加速重建方法及系统
CN118135425A (zh) * 2024-05-07 2024-06-04 江西啄木蜂科技有限公司 一种自然保护地中关注区域的变化检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557675A (zh) * 2024-01-12 2024-02-13 北京航空航天大学杭州创新研究院 一种深度学习mri图像加速重建方法及系统
CN117557675B (zh) * 2024-01-12 2024-04-30 北京航空航天大学杭州创新研究院 一种深度学习mri图像加速重建方法及系统
CN118135425A (zh) * 2024-05-07 2024-06-04 江西啄木蜂科技有限公司 一种自然保护地中关注区域的变化检测方法

Similar Documents

Publication Publication Date Title
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
CN112488976B (zh) 一种基于darts网络的多模态医学图像融合方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN117350979A (zh) 一种基于医疗超声影像的任意病灶分割和追踪系统
CN114565572A (zh) 一种基于图像序列分析的脑出血ct图像分类方法
CN110991254A (zh) 超声图像视频分类预测方法及系统
CN113159223A (zh) 一种基于自监督学习的颈动脉超声图像识别方法
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
CN117218127B (zh) 超声内镜辅助监测系统及方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN116525052A (zh) 结合句子级对比学习的层级式影像报告生成方法和装置
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
Samudrala et al. Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet
Ali et al. Self-Supervised Learning for Accurate Liver View Classification in Ultrasound Images with Minimal Labeled Data
CN115564763A (zh) 甲状腺超声图像处理方法、装置、介质及电子设备
CN115526898A (zh) 一种医学影像分割方法
CN114360695A (zh) 乳腺超声扫查分析辅助系统、介质及设备
CN113936006A (zh) 一种处理高噪低质医学图像的分割方法及装置
Liu et al. An end to end thyroid nodule segmentation model based on optimized U-net convolutional neural network
CN116416235B (zh) 一种基于多模态超声数据的特征区域预测方法和装置
Shetty et al. Adaptive data augmentation training based attention regularized densenet for diagnosis of thoracic diseases
CN116385814B (zh) 一种检测目标的超声筛查方法、系统、装置及介质
CN116205926A (zh) 一种面向多模态脑肿瘤mri图像的交互式分割方法
CN116051508A (zh) 一种基于相邻切片推理的脑肿瘤弱监督分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20240105