CN117495803A - 腹腔积液超声影像分割方法、装置及系统 - Google Patents

腹腔积液超声影像分割方法、装置及系统 Download PDF

Info

Publication number
CN117495803A
CN117495803A CN202311452688.2A CN202311452688A CN117495803A CN 117495803 A CN117495803 A CN 117495803A CN 202311452688 A CN202311452688 A CN 202311452688A CN 117495803 A CN117495803 A CN 117495803A
Authority
CN
China
Prior art keywords
region
feature
feature vector
module
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311452688.2A
Other languages
English (en)
Inventor
赵佳琦
周洁文
郭芳琪
李晓兵
蒋卓韵
聂生东
李慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fourth People's Hospital
Original Assignee
Shanghai Fourth People's Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fourth People's Hospital filed Critical Shanghai Fourth People's Hospital
Priority to CN202311452688.2A priority Critical patent/CN117495803A/zh
Publication of CN117495803A publication Critical patent/CN117495803A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种腹腔积液超声影像分割方法、装置及系统，涉及超声影像处理技术领域。所述处理方法包括步骤：获取腹腔积液的超声影像，提取超声影像中至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。本发明能够针对存在伪影和散射、且积液形状与大小各异的腹腔超声影像进行分割识别，进而提高临床诊断的准确性，具有十分重要的医学价值。

Description

腹腔积液超声影像分割方法、装置及系统
技术领域
本发明涉及超声影像处理技术领域，尤其涉及腹腔积液超声影像分割方法。
背景技术
超声成像技术由于其便捷性，无创性和无电离辐射等多种优点在医学影像诊断领域中受到广大的欢迎，其为医生通过医学临床检查，初步掌握病人病情和病灶，提供了极大的帮助。
自20世纪以来，医学研究一直非常依赖于超声影像，在医学影像诊断中，医学超声影像技术的应用十分广泛，主要包括了心脏影像，泌尿科，妇产科，腹部成像以及血管成像，并可以作为外科手术的指导手段之一。医学超声影像技术有如此广泛的应用，得益于其具备了可以避免电离辐射、可实时显示、价格相对低廉和无创诊断等多种特点。
在做腹腔超声时，由于腹腔脏器闭合性损伤而导致的内出血或其他严重疾病继发的腹腔积液极易积聚在腹腔最低处，超声能够敏感识别出仰卧位时最低位肝肾隐窝处的腹腔积液。并在急危重症患者伤病情评估中成为判断是否合并有腹腔脏器损伤的重要指标。
但是，由于临床一线医生对超声检查技术掌握不足，无法做到统一规范化操作且难以精准判断，为此，需要一种快速准确的自动识别腹腔积液技术，以减少人为判断的主观局限性。
目前，现有技术中存在诸多针对医学影像分割提出了常用的网络模块，例如U-Net网络、FCN全卷积网络、三维卷积神经网络(3D CNN)等。其中，U-Net网络通过结合低分辨率信息进行目标分类，结合高分辨率信息进行精确识别和定位，其是非常适合用于医学图像分类。
但是，考虑到在腹腔积液超声影像分割的领域中还存在诸多技术难点，例如：
难点之一，腹腔积液超声图像可能受到患者体型、仪器设置和操作者技术水平等因素的影响，导致图像质量不一致，使算法难以准确分割；
难点之二，腹腔积液的形状和大小各异，有时可能很小或很深，这使得算法需要适应各种情况，包括不规则的积液边界；
难点之三，超声图像中常见的伪影和散射可以干扰积液的准确分割，因为算法可能会将这些伪影误认为积液；
难点之四，腹腔中有多种不同的组织和器官，如肝脏、肾脏、肠道等，它们的边界可能与积液相邻，增加了分割的复杂性。
基于此，为解决上述技术难点，本申请提供了一种腹腔积液超声影像分割方法、装置及系统，针对存在伪影和散射、且积液形状与大小各异的腹腔超声影像进行分割识别，进而提高临床诊断的准确性，是当前亟需解决的技术问题。
发明内容
本发明的目的在于：克服现有技术的不足，提供一种腹腔积液超声影像分割方法、装置及系统，本发明能够针对存在伪影和散射、且积液形状与大小各异的腹腔超声影像进行分割识别，进而提高临床诊断的准确性。
为解决现有的技术问题，本发明提供了如下技术方案：
一种腹腔积液超声影像分割方法，包括步骤：
获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构；
根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
进一步，所述超声影像中的至少一个超声画面包括超声视频下的超声图像帧，以及独立于超声视频存在的超声图像；其中，所述超声图像帧和超声图像均包括时间信息和对应存在腹腔积液区域的画面信息，所述超声视频包括多个基于时间信息顺序连接的超声图像帧。
进一步，通过编码结构中的区域感知模块和跳跃连接结构中的区域感知自注意力机制模块，将具有腹腔积液的区域先验信息融入到所述区域感知网络模型中，以改善分割性能；所述区域先验信息包括腹腔区域的超声信息和腹腔区域发生积液概率的先验知识。
进一步，所述编码结构由M个基于Transformer的区域感知模块组成，M为大于等于2的正整数，以完成M次降采样操作；M次降采样操作能够对应获得M个降采样输出特征向量；
将对应前述M次降采样操作的M个降采样输入特征向量分别输入跳跃连接结构中执行跳跃连接操作，经过前述区域感知自注意力机制模块，输出得到M个跳跃连接输出特征向量；
所述解码结构将编码结构对应的降采样过程中产生的降采样输出特征向量，与对应层级跳跃连接结构的跳跃连接输出特征向量进行concatenate特征融合，并将concatenate特征融合之后得到的上采样输出特征向量又作为下一层上采样的输入，直到最终经过M次上采样操作，逐步恢复特征图的分辨率，最终得到输出通道数为1的腹腔积液mask图像。
进一步，所述区域感知模块和所述区域感知自注意力机制模块中均包括区域感知组件和区域替换模块；
所述区域感知组件通过分割输入特征图，得到可疑区域和高概率区域，从而基于分析前述可疑区域和高概率区域，来确定前述输入特征图中的高积液概率区域；其中，所述可疑区域和高概率区域通过计算原始腹腔积液超声影像的训练样本获得，具体包括，计算所有训练样本中腹腔位置发生积液的概率，判定积液发生时，积液像素位置对应的值增加1；将积液概率线性归一化，令最大概率为1，无积液为0，得到积液概率热力图；
所述区域替换模块对区域替换模块的输入特征向量进行部分替换，以增强高积液概率区域；
所述区域感知模块中还使用至少一个SegFormer模块来增强高积液概率区域。
进一步，所述区域感知组件的输入特征图对应的输入特征向量的大小为h×w×c，h、w和c分别代表输入特征向量的高度、宽度和通道数；
所述区域感知组件中，通过1×1卷积生成特征向量g、特征向量Φ和特征向量θ；其中，g和Φ分别是高概率区域的特征向量1和特征向量2，θ是可疑区域的特征向量；
通过Output＝Conv3×3[Softmax[θ·ΦT]T·g]卷积生成最终输出特征向量；所述Output表示输出，所述Conv3×3是3×3卷积，Softmax是指用于生成概率分布的函数；所述区域感知组件的输出特征图对应的特征向量的大小为h1×w1×c，h1、w1分别代表可疑区域的高度h1和宽度w1，所述区域感知组件的输出特征图通道数与输入保持不变。
进一步，所述区域感知自注意力机制模块中的区域替换模块将输入大小为h×w×c的特征向量，经过区域感知组件后获得新的特征向量h1×w1×c后，将输入大小为h×w×c的特征向量中大小为h1×w1×c的特征向量内的数值替换为区域感知组件输出的特征向量；
其中，所述区域感知自注意力机制模块通过区域感知组件获得输出的特征图，并通过区域替换模块替换部分输入，所述替换具体包括：用区域感知组件的特征图替换输入中h1×w1×c区域，以获得新的特征图；将区域感知组件的输入特征图和新的特征图连接起来；使用3×3卷积调整输出通道数，使输出通道数与输入通道数一致。
进一步，所述区域感知模块中，具体执行包括：对输入特征图进行步长为2的3×3卷积，通过区域感知组件，增强腹腔积液发生概率高的区域；将增强的特征图输入至少一个SegFormer模块进行增强；通过区域替换模块，得到区域感知模块输出。
一种腹腔积液超声影像分割装置，包括结构：
影像获取单元，用以获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构；
影像处理单元，用以根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
一种腹腔积液超声影像分割系统，包括：
存储器，用于存储超声影像，以及一个或多个程序；
一个或多个处理器，所述处理器被配置为：获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构；根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
基于上述优点和积极效果，本发明的优势在于：
一方面，基于Transformer提出了区域感知网络用于超声影像上，以实现精准分割腹腔积液；将腹腔位置发生积液概率的高低作为经验常识来划分积液发生的高概率区域和可疑区域，并将该经验常识作为区域先验信息纳入到区域感知网络模型的设计中，通过设计的区域感知模块将腹腔积液区域信息融合成多尺度特征，以获得准确分割。
另一方面，本发明构建的腹腔积液超声影像分割方法，能够针对存在伪影和散射、且积液形状与大小各异的腹腔超声影像进行分割识别，进而提高临床诊断的准确性，具有十分重要的医学价值。
附图说明
图1为本发明实施例提供的一个工作流程图。
图2为本发明实施例提供的区域感知网络的结构示意图。
图3为本发明实施例提供的腹腔积液概率热力图。
图4为本发明实施例提供的区域感知组件的结构示意图。
图5为本发明实施例提供的区域感知自注意力机制模块的结构示意图。
图6为本发明实施例提供的区域感知模块的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明公开的一种腹腔积液超声影像分割方法、装置及系统作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各个附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
实施例
参见图1所示，为本发明提供的一个流程图。所述方法的实施步骤S100如下：
S101，获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构。
所述超声影像中的至少一个超声画面包括超声视频下的超声图像帧，以及独立于超声视频存在的超声图像；其中，所述超声图像帧和超声图像均包括时间信息和对应存在腹腔积液区域的画面信息，所述超声视频包括多个基于时间信息顺序连接的超声图像帧。
本实施例通过区域感知网络模型对腹腔积液的超声影像进行分析，确保了能够准确获知超声影像中腹腔积液的具体信息。
对应着该区域感知网络模型，存在有起始输入和最终输出。
其中，起始输入可以是一个单张图像、长video、也可以是一个长video中多张基于时间连续的图像帧。
而最终输出则分别对应单张图像的分割mask图像、长video每一帧的分割mask图像和单张图像的分割mask图像。
所述mask图像作为一种二进制图像，在mask图像中，用白色像素表示要保留的区域，用黑色像素则表示要排除的区域。
所述卷积用于从起始输入的超声画面中提取出特征向量。在本实施例中，优选使用3×3卷积从起始输入中提取特征向量。
S102，根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
其中，值得说明的是，在编码结构和解码结构之间设置跳跃连接(即skipconnection)结构的优势在于：
一方面，可以通过跳跃连接结构传递更多的上下文信息和低级特征，并且，能够允许信息在网络的不同层之间直接跳跃传递，以提高区域感知网络的性能和训练效果。
另一方面，在区域感知网络中，每个层接收前一层的输入，并对其进行转换以生成输出。而使用跳跃连接后，可以将编码结构中因降采样操作丢失的特征信息，通过跳跃连接结构，在解码结构对应层次的上采样操作中进行对应补充，从而将信息传递到网络较深的层次，避免了梯度消失的问题，并使反向传播时的梯度能够更顺利地流动。因而，跳跃连接结构的设计能够弥补编码结构中降采样操作丢失的特征信息，从而帮助解码结构准确地还原细节和位置信息。
优选的，通过编码结构中的区域感知模块和跳跃连接结构中的区域感知自注意力机制模块，能够将具有腹腔积液的区域先验信息融入到所述区域感知网络模型中，以改善分割性能。
所述区域先验信息包括腹腔区域的超声信息和腹腔区域发生积液概率的先验知识。
优选的，所述编码结构由M个基于Transformer的区域感知模块组成，M为大于等于2的正整数，以完成M次降采样操作；M次降采样操作能够对应获得M个降采样输出特征向量；将对应前述M次降采样操作的M个降采样输入特征向量分别输入跳跃连接结构中执行跳跃连接操作，经过前述区域感知自注意力机制模块，输出得到M个跳跃连接输出特征向量。
所述解码结构将编码结构对应的降采样过程中产生的降采样输出特征向量，与对应层级跳跃连接结构的跳跃连接输出特征向量进行concatenate特征融合，并将concatenate特征融合之后得到的上采样输出特征向量又作为下一层上采样的输入，直到最终经过M次上采样操作，逐步恢复特征图的分辨率，最终得到输出通道数为1的腹腔积液mask图像。
本实施例中，所述区域感知网络模型是基于Transformer模型架构提出的。所述Transformer是一种基于自注意力机制的深度学习模型架构，其通过自注意力机制捕捉输入序列(例如图像)中的全局依赖关系，使得模型能够有效处理长距离依赖。并且，对于图像分割任务，使用Transformer作为编码器部分来提取图像特征，并与解码器结合能够生成对应的分割结果。
所述concatenate特征融合能够将多个特征拼接在一起。通过concatenate特征融合，可以将原始的低维特征扩展为更丰富的高维特征表示，从而提供更多信息，以增强特征表达能力。
具体的，作为本实施例的一种优选实施方式，参见图2所示，提供了一种区域感知网络的结构示意图，该区域感知网络结构具体用来实现腹腔积液超声影像的分割识别工作。
图2中，对应区域感知网络的编码结构，即Encoder结构，由四个基于Transformer的区域感知模块组成。
本实施例中，区域感知网络模型的输入，是使用3帧连续图像构建大小为高*宽*通道数＝H*W*3的输入图像，对应的，区域感知网络模型的输出超声图像为通道数为1的灰阶图像。
值得说明的是，所述通道数为1的分割mask图像可以是对于长video每一帧的分割mask图像或者单张图像的分割mask图像。
首先，对输入H*W*3的图像进行3*3卷积提取特征向量，得到H*W*32大小的特征向量。
在编码结构中，依据输入时H*W*32大小的特征向量对应四次降采样操作，四次降采样输出特征向量为H/2*W/2*64，H/4*W/4*128，H/8*W/8*320和H/16*W/16*512。
其中，四次降采样操作对应的降采样输入特征向量依序分别为H*W*32、H/2*W/2*64，H/4*W/4*128和H/8*W/8*320。
对于上述降采样输入特征向量执行跳跃连接操作后，获得跳跃连接输出特征向量，所述跳跃连接输出特征向量的大小分别为H*W*32、H/2*W/2*64，H/4*W/4*128和H/8*W/8*320。
所述跳跃连接结构通过前述区域感知自注意力机制模块实现，所述区域感知自注意力机制模块的输出和输入具有相同的大小，该区域感知自注意力机制模块能够被视为增强模块，以突出高概率积液的区域。
在解码结构中，将降采样输出特征向量H/16*W/16*512作为上采样操作的首个上采样输入特征向量，对应着执行四次上采样操作，经4个解码模块均与编码结构相应层次的特征进行跳跃连接后，在对应的层级实现concatenate特征融合，最终输出通道数为1的分割mask图像。
具体的，在解码结构中，在实现concatenate特征融合后，每次上采样操作对应的上采样输出向量的大小顺序为H/8*W/8*640、H/4*W/4*256、H/2*W/2*128和H*W*64，最终经上采样操作后得到输出通道数为1的分割mask图像。
基于上述优选实施方式，值得再次说明的是，本实施例中，优选三张连续的腹腔积液超声图像帧作为输入序列，其优势在于：将超声检查的时序信息加入进来，可以更好地基于腹腔积液超声图像帧的时间依赖性，建立上下文关系，从而提高了区域感知模型对时序性任务的适应能力，提升腹腔积液超声图像帧的分割精度。
优选的，所述区域感知模块和所述区域感知自注意力机制模块中均包括区域感知组件和区域替换模块。
所述区域感知组件通过分割输入特征图，得到可疑区域(即suspicious region)和高概率区域(即high probability region)，从而基于分析前述可疑区域和高概率区域，来确定前述输入特征图中的高积液概率区域。
所述区域替换模块对区域替换模块的输入特征向量进行部分替换，以增强高积液概率区域。
所述区域感知模块中还使用至少一个SegFormer模块来增强高积液概率区域。
值得说明的是，根据区域感知组件得到输入特征图的可疑区域和高概率区域是基于计算所有训练样本中积液的发生概率得到的，具体可以通过统计训练数据的标注获得。
其中，所述可疑区域和高概率区域通过计算原始腹腔积液超声影像的训练样本获得，具体包括步骤S110，
S111，计算所有训练样本中腹腔位置发生积液的概率，判定积液发生时，积液像素位置对应的值增加1。
S112，将积液概率线性归一化，令最大概率为1，无积液为0，得到积液概率热力图。
所述积液概率热力图参见图3所示，可以看到，积液发生在整个图像的一个预先确定的小区域。可疑区域定义为图3中白色像素的边界矩形，高概率区定义为图3中深蓝色像素的边界矩形。
由此，可以看到，设置区域感知组件的优势在于，通过区域感知组件能够突出了高积液概率区域的影响，降低了低积液概率区域的影响。
具体的，参见图4所示，给出了区域感知组件的结构示意图。
所述区域感知组件将区域感知组件的输入特征图分割为可疑区域和高概率区域。
所述区域感知组件的输入特征图对应的输入特征向量的大小为h×w×c，h、w和c分别代表输入特征向量的高度、宽度和通道数；所述区域感知组件中通过1×1卷积生成特征向量g、特征向量Φ和特征向量θ。
其中，1×1卷积，即Conv1×1，可以不改变特征向量尺寸，直接使用Pytorch中函数torch.nn.Conv2d来实现，其方便后续特征向量乘法，以避免大小不等无法操作。
g和Φ分别是高概率区域的特征向量1和特征向量2，g和Φ的大小均为h2*w2*c/2，θ为可疑区域的特征向量，θ的大小为h1*w1*c/2。
通过Output＝Conv3×3[Softmax[θ·ΦT]T·g]卷积生成最终输出特征向量；所述Output表示输出，所述Conv3×3是3×3卷积，Softmax是指用于生成概率分布的函数；所述区域感知组件的输出特征图对应的特征向量的大小为h1×w1×c，h1、w1分别代表可疑区域的高度h1和宽度w1，所述区域感知组件的输出特征图通道数与输入保持不变。
值得说明的是，上述公式中，先将θ和Φ的转置进行torch.mul()矩阵乘法运算，对得到的结果进行转置，并送入torch.nn.functional.softmax()函数输出概率分布向量h1w1×h2w2，将概率分布向量和向量g进行矩阵乘法后进行3*3卷积得到区域感知组件输出，大小为h1×w1×c。
因此，Φ与θ相互作用的优势是限制了可疑区域的注意力机制，而g通过与Φ-θ-Softmax得到的特征相互作用，其限制了高概率区域的注意力机制，这使得通过Output＝Conv3×3[Softmax[θ·ΦT]T·g]卷积生成的最终输出特征向量，限制了在可疑区域和高概率区域的自我注意，这与观看整个图像相比，节省了大量的计算量。
作为本实施例的一种优选实施方式，参见图5所示，提供了一种区域感知自注意力机制模块的结构示意图。
所述区域感知自注意力机制模块中的区域替换模块将输入大小为h×w×c的特征向量，经过区域感知组件后获得新的特征向量h1×w1×c后，将输入大小为h×w×c的特征向量中，大小为h1×w1×c的特征向量内的数值替换为区域感知组件输出的特征向量。
具体的，所述区域感知自注意力机制模块通过区域感知组件获得输出的特征图，并通过区域替换模块替换部分输入，所述替换具体包括步骤S120：
S121，用区域感知组件的特征图替换输入中h1×w1×c区域，以获得新的特征图。
S122，将区域感知组件的输入特征图和新的特征图连接起来。
S123，使用3×3卷积调整输出通道数，使输出通道数与输入通道数一致。
值得说明的是，所述区域感知自注意力机制模块的输出与输入具有相同的大小，其可以被视为增强模块，以突出具有高概率积液的区域。
作为本实施例的一种优选实施方式，参见图6所示，提供了一种区域感知模块的结构示意图。
所述区域感知模块中，具体执行包括步骤S130：
S131，对输入特征图进行步长为2的3×3卷积，通过区域感知组件，增强腹腔积液发生概率高的区域。
其中，输入特征图是大小为h×w×c的特征向量，经过步长为2的3×3卷积后，得到h/2×w/2×c1的特征向量。
S132，将增强的特征图输入至少一个SegFormer模块进行增强。
在得到h/2×w/2×c1的特征向量之后，一边送入区域感知组件得到h1/2×w1/2×c1的特征向量，再送入SegFormer模块进行基于Efficient Self-Attention(即高效的自注意力机制)的增强，得到h1/2×w1/2×c1特征向量。这其中，所述c1的取值优选大于c，以确保提取得到高层特征。
其中，SegFormer是一种基于Transformer的图像分割模型。它在Transformer的基础上进行了改进，以适应图像分割任务的需求。SegFormer引入了跨尺度特征融合模块和分割头部模块，用于处理多尺度特征并生成分割结果。
值得说明的是，SegFormer模块包括高效的自注意力模块(即Efficient Self-Attention Block)和Mix-FNN。
所述高效的自注意力模块通过使用Winograd变换和低秩逼近等技术，降低了自注意力机制的计算复杂度，并提高了模型的效率。所述高效的自注意力模块用于在特征转换的过程中进行特征之间的交互和关联，以捕获全局上下文信息。
所述Mix-FNN是SegFormer中的另一个组件，用于多尺度特征融合。Mix-FNN通过在特征层级上执行混合操作，将不同尺度的特征图进行融合。并且，Mix-FNN利用注意力机制对特征进行加权组合，以捕捉不同尺度信息的关联性和相关性。
并且，Mix-FNN中的MLP用于特征转换，Conv用于特征提取，GELU用于引入非线性，Add用于特征融合。这些操作共同作用于Mix-FNN架构中，通过特征转换、特征提取、非线性变换和特征融合等步骤，实现了多尺度特征的有效融合和语义分割任务的改进。
因此，SegFormer模型中的Mix-FNN和自注意力模块共同工作，分别负责特征融合和特征交互的任务。Mix-FNN用于将多尺度特征进行融合，而高效的自注意力模块用于增强特征之间的交互和关联能力。这种组合有助于提升SegFormer模型在语义分割任务上的性能和效率。
S133，通过区域替换模块，得到区域感知模块输出。
具体的，将增强后的特征向量h1/2×w1/2×c1对区域感知组件输出的h/2×w/2×c1向量进行替换，从而得到最终的输出向量h1/2×w1/2×c1。
上述操作可以确保降采样过程中，不断进行卷积以提取高维特征。
其它技术特征参见在前实施例，在此不再赘述。
本实施例还提供了一种腹腔积液超声影像分割装置，包括结构：
影像获取单元，用以获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构；
影像处理单元，用以根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
其它技术特征参见在前实施例，在此不再赘述。
此外，本实施例还提供了一种腹腔积液超声影像分割系统，包括：
存储器，用于存储超声影像，以及一个或多个程序；
一个或多个处理器，所述处理器被配置为：获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构；根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
其它技术特征参见在前实施例，在此不再赘述。
在上面的描述中，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。
虽然已出于说明的目的描述了本公开内容的示例方面，但是本领域技术人员应当意识到，上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明的优选实施方式的范围包括另外的实现，其中可以不按所述出现或讨论的顺序来执行功能。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种腹腔积液超声影像分割方法，其特征在于，包括步骤：
获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构；
根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
2.根据权利要求1所述的方法，其特征在于，所述超声影像中的至少一个超声画面包括超声视频下的超声图像帧，以及独立于超声视频存在的超声图像；其中，所述超声图像帧和超声图像均包括时间信息和对应存在腹腔积液区域的画面信息，所述超声视频包括多个基于时间信息顺序连接的超声图像帧。
3.根据权利要求1所述的方法，其特征在于，通过编码结构中的区域感知模块和跳跃连接结构中的区域感知自注意力机制模块，将具有腹腔积液的区域先验信息融入到所述区域感知网络模型中，以改善分割性能；所述区域先验信息包括腹腔区域的超声信息和腹腔区域发生积液概率的先验知识。
4.根据权利要求1所述的方法，其特征在于，所述编码结构由M个基于Transformer的区域感知模块组成，M为大于等于2的正整数，以完成M次降采样操作；M次降采样操作能够对应获得M个降采样输出特征向量；
将对应前述M次降采样操作的M个降采样输入特征向量分别输入跳跃连接结构中执行跳跃连接操作，经过前述区域感知自注意力机制模块，输出得到M个跳跃连接输出特征向量；
所述解码结构将编码结构对应的降采样过程中产生的降采样输出特征向量，与对应层级跳跃连接结构的跳跃连接输出特征向量进行concatenate特征融合，并将concatenate特征融合之后得到的上采样输出特征向量又作为下一层上采样的输入，直到最终经过M次上采样操作，逐步恢复特征图的分辨率，最终得到输出通道数为1的腹腔积液mask图像。
5.根据权利要求4所述的方法，其特征在于，所述区域感知模块和所述区域感知自注意力机制模块中均包括区域感知组件和区域替换模块；
所述区域感知组件通过分割输入特征图，得到可疑区域和高概率区域，从而基于分析前述可疑区域和高概率区域，来确定前述输入特征图中的高积液概率区域；其中，所述可疑区域和高概率区域通过计算原始腹腔积液超声影像的训练样本获得，具体包括，计算所有训练样本中腹腔位置发生积液的概率，判定积液发生时，积液像素位置对应的值增加1；将积液概率线性归一化，令最大概率为1，无积液为0，得到积液概率热力图；
所述区域替换模块对区域替换模块的输入特征向量进行部分替换，以增强高积液概率区域；
所述区域感知模块中还使用至少一个SegFormer模块来增强高积液概率区域。
6.根据权利要求5所述的方法，其特征在于，所述区域感知组件的输入特征图对应的输入特征向量的大小为h×w×c，h、w和c分别代表输入特征向量的高度、宽度和通道数；
所述区域感知组件中，通过1×1卷积生成特征向量g、特征向量Φ和特征向量θ；其中，g和Φ分别是高概率区域的特征向量1和特征向量2，θ是可疑区域的特征向量；
通过Output＝Conv3×3[Softmax[θ·ΦT]T·g]卷积生成最终输出特征向量；所述Output表示输出，所述Conv3×3是3×3卷积，Softmax是指用于生成概率分布的函数；所述区域感知组件的输出特征图对应的特征向量的大小为h1×w1×c，h1、w1分别代表可疑区域的高度h1和宽度w1，所述区域感知组件的输出特征图通道数与输入保持不变。
7.根据权利要求5所述的方法，其特征在于，所述区域感知自注意力机制模块中的区域替换模块将输入大小为h×w×c的特征向量，经过区域感知组件后获得新的特征向量h1×w1×c后，将输入大小为h×w×c的特征向量中大小为h1×w1×c的特征向量内的数值替换为区域感知组件输出的特征向量；
其中，所述区域感知自注意力机制模块通过区域感知组件获得输出的特征图，并通过区域替换模块替换部分输入，所述替换具体包括：用区域感知组件的特征图替换输入中h1×w1×c区域，以获得新的特征图；
将区域感知组件的输入特征图和新的特征图连接起来；
使用3×3卷积调整输出通道数，使输出通道数与输入通道数一致。
8.根据权利要求5所述的方法，其特征在于，所述区域感知模块中，具体执行包括：
对输入特征图进行步长为2的3×3卷积，通过区域感知组件，增强腹腔积液发生概率高的区域；
将增强的特征图输入至少一个SegFormer模块进行增强；
通过区域替换模块，得到区域感知模块输出。
9.一种根据权利要求1-8中任一项所述方法的腹腔积液超声影像分割装置，其特征在于，包括结构：
影像获取单元，用以获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构；
影像处理单元，用以根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
10.一种根据权利要求1-8中任一项所述方法的腹腔积液超声影像分割系统，其特征在于，包括：
存储器，用于存储超声影像，以及一个或多个程序；
一个或多个处理器，所述处理器被配置为：获取腹腔积液的超声影像，提取前述超声影像中的至少一个超声画面作为区域感知网络模型的起始输入，对起始输入进行卷积，以提取特征向量；其中，所述区域感知网络模型为分割网络编解码结构，包括编码结构、解码结构以及位于编码结构和解码结构之间的跳跃连接结构；根据前述区域感知网络模型，将通过编码结构中区域感知模块获得的特征向量和通过跳跃连接结构中区域感知自注意力机制模块获得的特征向量，在解码结构对应的上采样阶段中进行concatenate特征融合，以得到具有多尺度特征的特征图，并最终预测得到输出通道数为1的腹腔积液mask图像。
CN202311452688.2A 2023-11-02 2023-11-02 腹腔积液超声影像分割方法、装置及系统 Pending CN117495803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311452688.2A CN117495803A (zh) 2023-11-02 2023-11-02 腹腔积液超声影像分割方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311452688.2A CN117495803A (zh) 2023-11-02 2023-11-02 腹腔积液超声影像分割方法、装置及系统

Publications (1)

Publication Number Publication Date
CN117495803A true CN117495803A (zh) 2024-02-02

Family

ID=89679493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311452688.2A Pending CN117495803A (zh) 2023-11-02 2023-11-02 腹腔积液超声影像分割方法、装置及系统

Country Status (1)

Country Link
CN (1) CN117495803A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295268A1 (en) * 2018-03-25 2019-09-26 Varian Medical Systems International Ag Deformable image registration with awareness of computed tomography (ct) reconstruction area
CN116310319A (zh) * 2023-02-17 2023-06-23 中国人民解放军陆军军医大学第二附属医院 基于不确定区域感知的甲状腺自动分割方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295268A1 (en) * 2018-03-25 2019-09-26 Varian Medical Systems International Ag Deformable image registration with awareness of computed tomography (ct) reconstruction area
CN116310319A (zh) * 2023-02-17 2023-06-23 中国人民解放军陆军军医大学第二附属医院 基于不确定区域感知的甲状腺自动分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱鑫尔: "面向智慧医疗的医学图像分割技术研究", 万方数据库, 5 June 2023 (2023-06-05), pages 27 - 35 *

Similar Documents

Publication Publication Date Title
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
US20200090350A1 (en) Medical image generation, localizaton, registration system
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
CN111369562B (zh) 图像处理方法、装置、电子设备及存储介质
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN111429474A (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
Eslami et al. Automatic vocal tract landmark localization from midsagittal MRI data
CN114092439A (zh) 一种多器官实例分割方法及系统
CN116485798B (zh) 一种多模态宫颈癌mri图像自动识别和分割方法及系统
CN114187296B (zh) 胶囊内窥镜图像病灶分割方法、服务器及系统
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN115147404B (zh) 一种双重特征融合mra图像的颅内动脉瘤分割方法
CN115471470A (zh) 一种食管癌ct图像分割方法
US20240331144A1 (en) Generative adversarial network-based lossless image compression model for cross-sectional imaging
Zhao et al. Deep learning solution for medical image localization and orientation detection
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN114820651A (zh) 一种基于多尺度的鞍区病变医学图像分割方法
Yueyuan et al. Swin transformer combined with convolutional encoder for cephalometric landmarks detection
Thirusangu et al. Segmentation of breast ultrasound images using densely connected deep convolutional neural network and attention gates
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Zhang et al. A Nested attention guided UNet++ architecture for white matter hyperintensity segmentation
CN117495803A (zh) 腹腔积液超声影像分割方法、装置及系统
CN116596831A (zh) 一种受临床决策过程启发的鼻咽癌病灶分割方法
CN114119558B (zh) 一种自动生成鼻咽癌影像诊断结构化报告方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination