CN114494230A - 乳腺病灶分割装置、模型训练方法及电子设备 - Google Patents

乳腺病灶分割装置、模型训练方法及电子设备 Download PDF

Info

Publication number
CN114494230A
CN114494230A CN202210131616.7A CN202210131616A CN114494230A CN 114494230 A CN114494230 A CN 114494230A CN 202210131616 A CN202210131616 A CN 202210131616A CN 114494230 A CN114494230 A CN 114494230A
Authority
CN
China
Prior art keywords
feature map
attention
image
self
target feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210131616.7A
Other languages
English (en)
Inventor
孟慧
赵皓辰
李青锋
谷宁波
牛建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Innovation Research Institute of Beihang University filed Critical Hangzhou Innovation Research Institute of Beihang University
Priority to CN202210131616.7A priority Critical patent/CN114494230A/zh
Publication of CN114494230A publication Critical patent/CN114494230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请提供了一种乳腺病灶分割装置、模型训练方法及电子设备，涉及图像处理技术领域。该装置包括连接的U‑Net网络及至少一个自注意力单元；U‑Net网络，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜；各自注意力单元，用于基于自注意力机制，根据与U‑Net网络中所连接的下采样单元输出的第一目标特征图及输入至与U‑Net网络中所连接的上采样单元的第二目标特征图，得到第三目标特征图，并将第三目标特征图输入到所连接的上采样单元；任一个自注意力单元所连接的下采样单元及上采样单元同层；各自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。如此，可获得准确性高的乳腺病灶分割掩膜。

Description

乳腺病灶分割装置、模型训练方法及电子设备
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种乳腺病灶分割装置、模型训练方法及电子设备。
背景技术
乳腺癌是常见的发生在女性身上的恶性肿瘤，本来其恶性程度不高，但是现在乳腺癌在女性中被确诊时患者的年纪越来越年轻，且恶化程度越来越大，以至于乳腺癌已然成了威胁生命的一大杀手。而早期发现、诊断和治疗乳腺癌均可以帮助提高患者的年生存率和生活质量。磁共振成像技术的日益成熟，对乳腺癌早期确诊和治疗都起到了恰当的辅助作用。特别是在超声图像当中乳腺病灶区域的准确分割有助于乳腺癌的早期诊断和治疗。
超声图像中乳腺病灶区域的分割受到了业内广泛的研究。随着计算机视觉领域的不断发展，其中大量基于深度学习的图像分割方法应运而生，将这些方法应用于医学图像的尝试也开始层出不穷。如很多传统的语义分割网络如FCN、SegNet和U-Net等已经大量用于超声病灶的分割。
尽管已有的分割网络在一定程度上提高了乳腺超声图像病灶区域分割的准确率，但是超声影像的低成像质量，如噪声和伪影严重、病灶边界模糊等问题，仍然制约着神经网络的分割精度。也即，当前的分割网络的分割准确性仍然有待提高。
发明内容
本申请提供了一种乳腺病灶分割装置、模型训练方法、电子设备及可读存储介质，其能够利用包括基于自注意力单元的输出图像与对应的样本轮廓图像的边界损失训练得到的自注意力单元的乳腺病灶分割装置，得到准确性高的乳腺病灶分割掩膜。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种乳腺病灶分割装置，所述装置包括连接的U-Net网络及至少一个自注意力单元，所述U-Net网络包括多个下采样单元及多个上采样单元，
所述U-Net网络，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜；
各所述自注意力单元，用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元；任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层；各所述自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。
第二方面，本申请实施例提供一种模型训练方法，用于训练得到乳腺病灶分割装置，所述方法包括：
获得多张样本乳腺超声图像及所述多张样本乳腺超声图像各自对应的样本掩膜图像及样本病灶轮廓图像；
将所述样本乳腺超声图像输入到预设的神经网络模型中，得到该神经网络模型生成的至少一张第三目标特征图以及该神经网络模型输出的待分析掩膜图像，其中，所述神经网络模型中包括U-Net网络及至少一个自注意力单元及至少一个自注意力单元，所述U-Net网络包括多个下采样单元及多个上采样单元，各所述自注意力单元用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元；任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层；
根据各所述第三目标特征图、待分析掩膜图像、对应的样本掩膜图像及对应的样本病灶轮廓图像，计算得到总损失，其中，所述总损失包括所述第三目标特征图与对应的样本病灶轮廓图像的边界损失；
根据所述总损失对所述神经网络模型进行调整，以训练得到所述乳腺病灶分割装置。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式所述的乳腺病灶分割装置。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式所述的乳腺病灶分割装置。
本申请实施例提供的乳腺病灶分割装置、模型训练方法及电子设备，U-Net网络与至少一个自注意力单元连接，U-Net网络包括多个下采样单元及多个上采样单元；U-Net网络，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜；各自注意力单元，用于基于自注意力机制，根据所连接的下采样单元输出的第一目标特征图及输入至所连接的上采样单元的第二目标特征图，得到第三目标特征图，并将第三目标特征图输入到所连接的上采样单元；任一个自注意力单元所连接的下采样单元及所连接的上采样单元位于同层；各自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。如此，可利用包括更关注病灶边缘特征的自注意力单元的乳腺病灶分割装置，得到准确高的病灶分割结果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图；
图2为本申请实施例提供的乳腺病灶分割装置的方框示意图之一；
图3为本申请实施例提供的乳腺病灶分割装置的结构示意图；
图4为本申请实施例提供的乳腺病灶分割装置的方框示意图之二；
图5为图4中的自注意力单元的示意图；
图6为自注意力单元获得第三目标特征图的过程示意图；
图7为本申请实施例提供的分块压缩操作的示意图；
图8为注意力计算子单元的处理过程示意图；
图9为本申请实施例提供的模型训练方法的流程示意图；
图10为本申请实施例提供的获得样本掩膜图像及样本病灶轮廓图像的示意图；
图11为图9中步骤S230包括的子步骤的流程示意图；
图12为获得边界损失的过程示意图；
图13为本申请实施例提供的模型训练装置的方框示意图。
图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-乳腺病灶分割装置；210-U-Net网络；211-下采样网络；213-上采样网络；220-自注意力单元；221-预处理子单元；222-注意力计算子单元；223-处理子单元；230-预处理单元；300-模型训练装置；310-图像获取模块；320-训练模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1是本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，电脑、服务器等。所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有乳腺病灶分割装置和/或模型训练装置，所述乳腺病灶分割装置及模型训练装置可分别包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的乳腺病灶分割装置和/或模型训练装置，从而执行各种功能应用以及数据处理，获得乳腺病灶分割装置，和/或，对乳腺超声图像准确进行病灶分割。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2为本申请实施例提供的乳腺病灶分割装置200的方框示意图之一。所述乳腺病灶分割装置200可以包括连接的U-Net网络210及至少一个自注意力单元220。所述U-Net网络210，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜。所述乳腺病灶分割掩膜中的前景部分表示乳腺病灶。
请结合参照图3，图3为本申请实施例提供的乳腺病灶分割装置200的结构示意图。所述U-Net网络210可以包括下采样网络211及上采样网络213。所述下采样网络211中包括多个下采样单元，该下采样网络211用于对所述乳腺超声图像进行卷积和下采样等处理，获得多张第一特征图。所述上采样网络213中包括多个上采样单元，该上采样网络213用于通过卷积和上采样来等处理获取一些深层次的特征，从而得到多张第二特征图。该上采样网络213输出的第二特征图即为所述乳腺病灶分割掩膜。其中，每个上采样单元基于上一层的输出图像与同层的下采样单元的输出图像来生成自身的输出图像。同层，表示一个上采样单元和一个下采样单元在U-Net网络中的层级相同，也即，层级对称，比如，图3中的下采样单元2与上采样单元3即为同层。
如图3所示，每个下采样单元中可以包括卷积层、归一化层及Relu层(包括Relu激活函数)，部分下采样单元(比如，图3中的下采样单元2-4)中还可以包括最大池化层，该最大池化层与上一层的输出端连接。每个上采样单元中可以包括卷积层、归一化层及Relu层(包括Relu激活函数)，部分上采样单元(比如，图3中的上采样单元2-4)中还可以包括上采样层、卷积层、用于进行层归一化的归一化层及Relu层(包括Relu激活函数)，还可以包括的上采样层可以与上一层的输出端连接。
各所述自注意力单元220，用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元，以使所连接的所述上采样单元根据所述第二目标特征图及所述第三目标特征图得到第四目标特征图。所述上采样网络213生成的所述多张第二特征图中包括所述第四目标特征图。由此可知，所述乳腺病灶分割掩膜是基于至少一张所述第四目标特征图得到的。
任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层。各所述自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。样本轮廓图像中用于指示边界，一个自注意力单元对应的所述边界损失基于所述样本轮廓图像中的边界与该自注意力单元的输出图像中的边界之间的差距得到，也即，一个自注意力单元，根据该自注意力单元的输出图像中的边界及样本轮廓图像中的边界训练得到。可以理解的是，一个自注意力单元对应的样本轮廓图像与输出图像是基于同一张包括乳腺病灶的图像得到的，样本轮廓图像相当于是该张包括乳腺病灶的图像的标签图像，样本轮廓图像中包括乳腺病灶的轮廓线。
可选地，所述乳腺病灶分割装置200中可以包括一个自注意力单元220，也可以包括多个自注意力单元220，具体数量可以结合实际需求设置。可选地，至多在所述U-Net网络的各级联处分别设置一个自注意力单元220。
作为一种可选的实施方式，如图3所示，一个所述自注意力单元220位于U-net网络的最底层级联位置。下面结合图3，以所述乳腺病灶分割装置200包括一个自注意力单元220、且该自注意力单元220位于U-Net网络的最底层级联位置为例，对如何获得乳腺病灶分割掩膜及计算边界损失进行举例说明。
在图3中，U-Net网络包括4个下采样单元(即图3中由上至下排列的下采样单元1、2、3、4)以及3个上采样单元(即图3中的由下至上排列的上采样单元1、2、3)。一个自注意力单元220位于该U-Net网络的最底层级联位置，也即，该自注意力单元220与下采样网络211中的下采样单元4、以及上采样网络213中的上采样单元1连接。
假设：下采样单元4输出的图像为第一目标特征图a1、下采样单元5输出的图像为第二目标特征图a2。该自注意力单元220则可以根据该第一目标特征图a1及第二目标特征图a2，得到第三目标特征图a3。上采样单元1可以将该第二目标特征图a2及第三目标特征图a3进行连接，得到来接图，然后针对该连接图进行卷积及归一化处理等，得到一张第四目标特征图a4。之后，上采样单元1可以基于该第四目标特征图a4，另生成一张第二特征图。以此类推，最后一层的上采样单元4生成乳腺病灶分割掩膜。
若在训练过程中，则可以基于第三目标特征图a3中的病灶边界及对应的样本轮廓图像中的病灶边界，计算得到边界损失，进而基于该边界损失训练得到所述乳腺病灶分割装置200中的自注意力单元220。
请参照图3及图4，图4为本申请实施例提供的乳腺病灶分割装置200的方框示意图之二。在本实施例中，所述乳腺病灶分割装置200还可以包括至少一个预处理单元230。
所述预处理单元230，用于对所述第一目标特征图及所述第二目标特征图进行求和计算，得到待处理图像。可选地，所述预处理单元230中包可以包括求和运算层及Relu层(包括Relu激活函数)。所述自注意力单元220用于根据该待处理图像，得到所述第三目标特征图。其中，所述自注意力单元220与所述预处理单元230为一一对应的关系，也即，一个自注意力单元220与一个预处理单元230连接。
请参照图5及图6，图5为图4中的自注意力单元220的示意图，图6为自注意力单元220获得第三目标特征图的过程示意图。在本实施例中，所述自注意力单元220可以包括预处理子单元221、注意力计算子单元222及处理子单元223。
所述预处理子单元221，用于将所述待处理图像分割成尺寸相同的多个图像块，并获得每个图像块的特征向量。
可选地，在本实施例中，所述预处理子单元221可通过分块压缩操作及层归一化处理，得到所述每个图像块的特征向量。
其中，如图7所示，分块压缩操作(Patch Embedding)，用于将原始的2维图像转换成一系列的1维patch embeddings。embedding就是从原始数据提取出来的特征，也就是通过神经网络映射之后的低维向量。顾名思义整个操作分成两部分，分别是分块和压缩。首先是分块，为了在超声图像中更好的考虑全局信息，将整副图像分割成不同的小块，每一个小块称为一个patch。随后是压缩，将这些patch压缩成一定长度的向量，这些向量用来作为后续的输入，以此来考虑整幅图像的全局信息。通过对所述待处理图像进行分块压缩，可获得每个图像块的原始特征向量。
层归一化(Layer normalization)是对每个样本(即图像块、patch)的所有特征进行归一化，也即，对经分块压缩操作(Patch Embedding)得到的每个图像块的原始特征向量进行归一化处理。在训练得到自注意力单元220时，该方式能够使得到的自注意力单元220更稳定且起到正则化的作用。其中，上述归一化处理中采用Z-score规范化，计算公式如下：
具体的计算公式如下：
Figure BDA0003502858470000091
Figure BDA0003502858470000092
Figure BDA0003502858470000101
其中，μ表示每个图像块的原始特征向量的均值，σ表示每个图像块的原始特征向量的标准差，i为样本编号，H为样本总个数，ai表示图像块i的原始特征向量，ai'表示图像块i的特征向量。
所述聚焦自注意力计算子单元222，用于基于自注意力机制，根据所述每个图像块的特征向量，得到第三初始目标特征图。
可选地，作为一种可能的实现方式，所述聚焦自注意力计算子单元222，可以基于聚焦自注意力机制，得到所述第三初始目标特征图。
聚焦自注意力(Focal Self Attention)机制是一种新的自注意力机制。考虑到距离较近的区域之间的视觉依赖性往往强于距离较远的区域之间的视觉依赖性，因此聚焦自注意力在局部区域执行细粒度的自注意力，而在全局范围执行粗粒度的自注意力。在做注意力时，区域离查询位置(query)越近，粒度就越细，学习的特征信息越多；区域离查询位置(query)越远，粒度就越粗，学习的特征信息就越少。与完全自注意力机制相比，该方法可以有效覆盖整个高分辨率特征图，同时在自注意力计算中引入的token数量要少得多。因此，它能够有效地捕获短距离和长距离的视觉依赖关系。
聚焦自注意力的原理如图8所示，局部采用细粒度自注意力，全局采用粗粒度自注意力。对于一副完整的输入图像，可分成L个等级来考虑。L等级越低，考虑的范围越小，粒度也就越细；L等级越高，考虑的范围越大，粒度也就越粗。因此可将输入图像(输入图像为聚焦自注意力计算针对的图像，尺寸为H×W，即特征图X∈RH×W×C)切分为
Figure BDA0003502858470000102
(比如，2×2)的网格，每一个网格当作一个子窗口(sub-window)，一共有
Figure BDA0003502858470000103
个网格。接着，针对各子窗口，在每个等级下，进行子窗口池化(sub-window pooling)，也就是使用一个简单的线性层
Figure BDA0003502858470000104
来池化每个子窗口(sub-windows)，从而达到扩大感受野的效果。其中，在不同等级下，一个子窗口对应的感受野区域不同，也即，子窗口池化针对的区域不同。该过程可以采用如下公式表示：
Figure BDA0003502858470000111
Figure BDA0003502858470000112
其中，
Figure BDA0003502858470000113
表示划分为不同等级下划分为网格之后的图像，Xl表示经过经过子窗口池化(sub-windows pooling)操作之后的图像，
Figure BDA0003502858470000114
表示在不同的L等级下用来进行池化操作的线性层。
自注意力当中的查询(query)仅仅针对最低等级的token计算，而value、key则是所有等级下的图像做子窗口池化(sub-window pooling)操作之后的token拼接到一起经过线性层计算所得。该过程可以表示为：
Q＝fq(X1)
Figure BDA0003502858470000115
Figure BDA0003502858470000116
其中，fq是对应Q的线性层，fk是对应K的线性层，fv是对应V的线性层。
之后，可再基于多头注意力机制得到输出图像。
可选地，在最终的自注意力计算时加上了位置偏移，使得Attention map(注意力图)能够进一步有所偏重，也即对重点区域重点关注。注意力计算子单元在计算输出图像时使用的计算公式为：
Figure BDA0003502858470000117
其中，Qi表示查询矩阵，Ki表示键矩阵，Vi表示值矩阵，B表示位置偏移。
在本实施例中，所述注意力计算子单元222具体用于：将第三特征图划分为尺寸相同的多个网格，其中，所述第三特征图为根据所述每个图像块的特征向量确定的图像；将各网格作为一个子窗口，针对各子窗口，在不同等级下分别进行子窗口池化，得到各等级下的池化结果，其中，等级高低与子窗口池化对应的感受野大小及池化窗口大小正相关；针对各子窗口，根据该子窗口计算得到查询向量，并根据该子窗口对应的所述各等级下的池化结果计算得到键向量及值向量；基于多头注意力机制，根据各子窗口对应的查询向量、键向量及值向量，得到所述第三初始目标特征图。
例如，如图8所示，可将输入图像划分为多个2×2的网格。所述不同等级包括等级1(即Level 1)及等级2(即Level 2)。以图8中的灰色网格为例，可对该灰色网格在等级1对应的感受野区域，进行子窗口池化，获得4×4的池化结果。其中，图8中的
Figure BDA0003502858470000121
表示窗口的size(window size)，即窗口大小，也即子窗口池化时使用的窗口大小为1×1。
Figure BDA0003502858470000122
表示整个区域内子窗口的个数(region size)。
子窗口池化时，等级高低与子窗口池化对应的感受野大小及池化窗口大小正相关。如图8所示，在等级1时，感受野大小为4×4，池化窗口大小为1×1；在等级2时，感受野大小为6×6，池化窗口大小为2×2。
其中，在获得所述第三初始目标特征图时使用的计算公式为：
Figure BDA0003502858470000123
其中，Qi表示查询矩阵，Ki表示键矩阵，Vi表示值矩阵，B表示位置偏移。
所述处理子单元223，用于对所述第三初始目标特征图进行上采样，得到所述第三目标特征图。
由于对所述待处理图像进行了分块压缩操作，也即在Patch Embedding操作中将图片切割成了一个个patch，再将每一个patch压缩成向量从而达到考虑全局信息的作用，因此，在得到所述第三初始目标特征图的情况下，可如图6所示，对所述第三初始目标特征图进行上采样，以恢复图像尺寸，从而得到所述第三目标特征图。所述第三目标特征图的尺寸与所述待处理图像的尺寸相同。可选地，可采用最近邻线性插值恢复完整的图片尺寸。
目前，由于二维乳腺超声图像当中存在很多噪声和阴影，并且超声图像容易出现一些各种各样的缺点，比如：超声图像当中病灶区域和背景的边界区分不清晰、乳腺病灶区域形状不规则、乳腺病灶内部分布不均匀等，因此二维乳腺超声图像中病灶的分割相对于自然图像来说是一项比较困难的任务。
并且，乳腺超声图像中存在许多病灶区域外的像素点，这些像素点与乳腺病变的外观相似。但是，这些与病灶相似的区域的周边影像与真实病灶的周边影像存在明显的区别，结合病灶区域的周边区域信息可以为超声乳腺病灶区域的分割提供长期的非局部特征学习，进而有效过滤分割结果中的伪病灶。先前大多数解决方法都是通过基于膨胀卷积、池化等操作来扩大感受野从而学习到全局信息的。然而，这些方法在获取全局信息的同时丢失了局部信息，而局部信息对于病灶的精准分割是非常重要的。
此外，自注意力机制是可以用于考虑全局信息的，但是往往这些方法按照细粒度融合全局特征。对于超声病灶分割这一任务而言，不加区分的融合全局特征会引入背景区域的噪声和伪影，这会干扰网络对病灶特征的学习。
而在本申请实施例中，可基于聚焦自注意力的自注意力单元，利用局部细粒度自注意力捕获病灶区域的精细特征，同时，利用全局粗粒度自注意力来获得病灶周边区域的全局特征图信息并且抑制背景区域的噪声干扰。同时在训练得到自注意力单元时，利用病灶的真实轮廓信息约束注意力单元，使其更加关注病灶边缘的特征，从而达到更好的分割效果。
请参照图9，图9为本申请实施例提供的模型训练方法的流程示意图。利用该模型训练方法可训练得到上述乳腺病灶分割装置200。所述方法可以应用于上述电子设备100。所述方法可以包括步骤S210～步骤S240。
步骤S210，获得多张样本乳腺超声图像及所述多张样本乳腺超声图像各自对应的样本掩膜图像及样本病灶轮廓图像。
所述样本掩膜图像中的前景区域表示乳腺病灶区域，所述样本病灶轮廓图像中呈现的是乳腺病灶区域的轮廓线。
请参照图10，图10为本申请实施例提供的获得样本掩膜图像及样本病灶轮廓图像的示意图。该获得过程可如下所示：1.先收集包括乳腺病灶的超声切面图像，作为原始乳腺超声图像；2.然后可请医生勾画出每张原始乳腺超声图像中各病灶的轮廓；3.结合轮廓线可生成以病灶为前景的二值掩膜，作为原始掩膜图像；4.可利用Canny边缘检测算法获取病灶区域边缘的轮廓线，得到原始病灶轮廓图像。可将上述三种图像(包括原始乳腺超声图像、原始掩膜图像、原始病灶轮廓图像)的尺寸统一为预设尺寸(比如，512×512)，从而得到多张样本乳腺超声图像及所述多张样本乳腺超声图像各自对应的样本掩膜图像及样本病灶轮廓图像，也即得到训练数据集。
步骤S220，将所述样本乳腺超声图像输入到预设的神经网络模型中，得到该神经网络模型生成的至少一张第三目标特征图以及该神经网络模型输出的待分析掩膜图像。
所述神经网络模型的架构可以是预先设置的。该神经网络模型的架构可如图3所示，所述神经网络模型中包括U-Net网络及至少一个自注意力单元及至少一个自注意力单元，所述U-Net网络包括多个下采样单元及多个上采样单元，各所述自注意力单元用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元。任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层。
在获得训练数据集的情况下，可根据该训练集对该神经网络模型进行训练，以得到乳腺病灶分割装置200。在训练时，可将所述样本乳腺超声图像输入到所述神经网络模型中，得到该神经网络模型中的各自注意力单元生成的第三目标特征图以及该神经网络模型输出的待分析掩膜图像。
步骤S230，根据各所述第三目标特征图、待分析掩膜图像、对应的样本掩膜图像及对应的样本病灶轮廓图像，计算得到总损失。
其中，所述总损失包括各所述第三目标特征图与对应的样本病灶轮廓图像的边界损失。如此，可以加强自注意力单元对病灶边缘特征的学习。
请参照图11，图11为图9中步骤S230包括的子步骤的流程示意图。在本实施例中，步骤S230可以包括子步骤S231～子步骤S234。
子步骤S231，对各所述第三目标特征图进行处理得到单通道特征图，将与所述样本乳腺超声图像对应的样本病灶轮廓图像下采样到所述单通道特征图的尺寸，得到样本特征图。
子步骤S232，根据各组对应的单通道特征图及所述样本特征图，计算得总边界损失。
如图12所示，可针对各所述第三目标特征图(即自注意力单元输出的特征图)，对该第三目标特征图进行通道压缩和sigmod函数等处理，得到单通道特征图；将该第三目标特征图对应的样本病灶轮廓图像下采样到单通道特征图的尺寸，得到样本特征图；然后，基于对应的该单通道特征图及该样本特征图，进行边界损失(Boundary Loss)计算。之后，可将各自注意力单元对应的边界损失进行汇总，可得到所述边界总损失。
子步骤S233，根据所述待分析掩膜图像及对应的样本掩膜图像，计算得到交叉熵损失及精度损失。
子步骤S234，根据所述总边界损失、交叉熵损失及精度损失，计算得到所述总损失。
所述总损失可由交叉熵损失、精度损失(dice loss)和边界损失(boundary loss)三部分组成。各损失的计算公式如下：
Figure BDA0003502858470000151
lCE＝-∑n*logm
Figure BDA0003502858470000152
lboundary_loss＝-G·logP-(1-G)·log(1-P)
其中，m表示根据待分析掩膜图像确定的病灶区域，即神经网络模型得到的病灶区域；n表示根据样本掩膜图像确定的病灶区域；|M∩N|表示m和n重叠的病灶区域面积，|M|表示神经网络模型预测的病灶区域面积，|Y|表示真实标签下的病灶区域面积；G表示真实标签下的病灶边界轮廓线图，即样本病灶轮廓图像；P表示上述单通道特征图，即自注意力单元输出的特征图经过通道压缩等处理后所得到的病灶边界轮廓图。N'表示在整个神经网络模型当中所使用的自注意力单元的数量。
步骤S240，根据所述总损失对所述神经网络模型进行调整，以训练得到所述乳腺病灶分割装置。
在得到所述总损失后，可根据该总损失对该神经网络模型中的参数进行调整，并持续训练，以得到所述乳腺病灶分割装置。其中，可选地，在训练时，网络训练的优化方法可以为随机梯度下降方法。
本申请实施例提供的基于聚焦自注意力机制和边界损失的超声病灶分割网络(Focal U-Net)，将聚焦自注意力模块与传统的语义分割网络U-Net结合，可以有效捕获局部细粒度和全局粗粒度的特征，实现了病灶区域及病灶周边区域的特征学习，抑制了背景区域的噪声干扰。并且，在本实施例中，利用边界损失约束聚焦自注意力模块，强化了聚焦自注意力模块对病灶边缘特征的学习，有效提高了超声病灶的分割精度。
其中，聚焦自注意力模块基于聚焦自注意力，通过将一幅图像分成不同的等级来考虑，不同的等级下，考虑的感受野范围不同，融合的特征粒度也不同。在局部范围内按照细粒度考虑，可以有效捕获病灶区域的精细特征，在全局范围内按照粗粒度考虑，既捕获了病灶周边区域的特征，又抑制了背景区域的噪声干扰。局部范围内的精细特征学习可以提高病灶分割精度，而全局范围内的粗粒度特征学习可以过滤背景区域的伪病灶，同时减少背景噪声的干扰。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种模型训练装置300的实现方式，可选地，该模型训练装置300可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图13，图13为本申请实施例提供的模型训练装置的方框示意图。需要说明的是，本实施例所提供的模型训练装置300，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述模型训练装置300可以包括：图像获取模块310及训练模块320。
图像获取模块310，用于获得多张样本乳腺超声图像及所述多张样本乳腺超声图像各自对应的样本掩膜图像及样本病灶轮廓图像。
所述训练模块320，用于将所述样本乳腺超声图像输入到预设的神经网络模型中，得到该神经网络模型生成的至少一张第三目标特征图以及该神经网络模型输出的待分析掩膜图像。其中，所述神经网络模型中包括U-Net网络及至少一个自注意力单元及至少一个自注意力单元，所述U-Net网络包括多个下采样单元及多个上采样单元，各所述自注意力单元用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元；任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层。
所述训练模块320，还用于根据各所述第三目标特征图、待分析掩膜图像、对应的样本掩膜图像及对应的样本病灶轮廓图像，计算得到总损失。其中，所述总损失包括所述第三目标特征图与对应的样本病灶轮廓图像的边界损失。
所述训练模块320，还用于根据所述总损失对所述神经网络模型进行调整，以训练得到所述乳腺病灶分割装置。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的乳腺病灶分割装置200或模型训练装置300。
综上所述，本申请实施例提供一种乳腺病灶分割装置、模型训练方法及电子设备，U-Net网络与至少一个自注意力单元连接，U-Net网络包括多个下采样单元及多个上采样单元；U-Net网络，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜；各自注意力单元，用于基于自注意力机制，根据所连接的下采样单元输出的第一目标特征图及输入至所连接的上采样单元的第二目标特征图，得到第三目标特征图，并将第三目标特征图输入到所连接的上采样单元；任一个自注意力单元所连接的下采样单元及所连接的上采样单元位于同层；各自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。如此，可利用包括更关注病灶边缘特征的自注意力单元的乳腺病灶分割装置，得到准确高的病灶分割结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的可选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种乳腺病灶分割装置，其特征在于，所述装置包括连接的U-Net网络及至少一个自注意力单元，所述U-Net网络包括多个下采样单元及多个上采样单元，
所述U-Net网络，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜；
各所述自注意力单元，用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元；任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层；各所述自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。
2.根据权利要求1所述的装置，其特征在于，一个所述自注意力单元位于U-Net网络的最底层级联位置。
3.根据权利要求1或2所述的装置，其特征在于，所述装置还包括至少一个预处理单元，所述自注意力单元包括预处理子单元、注意力计算子单元及处理子单元，
所述预处理单元，用于对所述第一目标特征图及所述第二目标特征图进行求和计算，得到待处理图像；
所述预处理子单元，用于将所述待处理图像分割成尺寸相同的多个图像块，并获得每个图像块的特征向量；
所述注意力计算子单元，用于基于自注意力机制，根据所述每个图像块的特征向量，得到第三初始目标特征图；
所述处理子单元，用于对所述第三初始目标特征图进行上采样，得到所述第三目标特征图。
4.根据权利要求3所述的装置，其特征在于，所述注意力计算子单元用于基于聚焦自注意力机制获得所述得到第三初始目标特征图，所述注意力计算子单元具体用于：
将第三特征图划分为尺寸相同的多个网格，其中，所述第三特征图为根据所述每个图像块的特征向量确定的图像；
将各网格作为一个子窗口，针对各子窗口，在不同等级下分别进行子窗口池化，得到各等级下的池化结果，其中，等级高低与子窗口池化对应的感受野大小及池化窗口大小正相关；
针对各子窗口，根据该子窗口计算得到查询向量，并根据该子窗口对应的所述各等级下的池化结果计算得到键向量及值向量；
基于多头注意力机制，根据各子窗口对应的查询向量、键向量及值向量，得到所述第三初始目标特征图。
5.根据权利要求4所述的装置，其特征在于，在获得所述第三初始目标特征图时使用的计算公式为：
Figure FDA0003502858460000021
其中，Qi表示查询矩阵，Ki表示键矩阵，Vi表示值矩阵，B表示位置偏移。
6.根据权利要求3所述的装置，其特征在于，所述预处理子单元具体用于：
获得每个图像块的原始特征向量；
对所述每个图像块的原始特征向量进行归一化处理，得到所述每个图像块的特征向量。
7.一种模型训练方法，其特征在于，用于训练得到乳腺病灶分割装置，所述方法包括：
获得多张样本乳腺超声图像及所述多张样本乳腺超声图像各自对应的样本掩膜图像及样本病灶轮廓图像；
将所述样本乳腺超声图像输入到预设的神经网络模型中，得到该神经网络模型生成的至少一张第三目标特征图以及该神经网络模型输出的待分析掩膜图像，其中，所述神经网络模型中包括U-Net网络及至少一个自注意力单元及至少一个自注意力单元，所述U-Net网络包括多个下采样单元及多个上采样单元，各所述自注意力单元用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元；任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层；
根据各所述第三目标特征图、待分析掩膜图像、对应的样本掩膜图像及对应的样本病灶轮廓图像，计算得到总损失，其中，所述总损失包括各所述第三目标特征图与对应的样本病灶轮廓图像的边界损失；
根据所述总损失对所述神经网络模型进行调整，以训练得到所述乳腺病灶分割装置。
8.根据权利要求7所述的方法，其特征在于，所述根据各所述第三目标特征图、待分析掩膜图像、对应的样本掩膜图像及对应的样本病灶轮廓图像，计算得到总损失，包括：
对各所述第三目标特征图进行处理得到单通道特征图，将与所述样本乳腺超声图像对应的样本病灶轮廓图像下采样到所述单通道特征图的尺寸，得到样本特征图，其中，所述处理包括通道压缩；
根据各组对应的单通道特征图及所述样本特征图，计算得总边界损失；
根据所述待分析掩膜图像及对应的样本掩膜图像，计算得到交叉熵损失及精度损失；
根据所述总边界损失、交叉熵损失及精度损失，计算得到所述总损失。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-6中任意一项所述的乳腺病灶分割装置。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的乳腺病灶分割装置。
CN202210131616.7A 2022-02-14 2022-02-14 乳腺病灶分割装置、模型训练方法及电子设备 Pending CN114494230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210131616.7A CN114494230A (zh) 2022-02-14 2022-02-14 乳腺病灶分割装置、模型训练方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210131616.7A CN114494230A (zh) 2022-02-14 2022-02-14 乳腺病灶分割装置、模型训练方法及电子设备

Publications (1)

Publication Number Publication Date
CN114494230A true CN114494230A (zh) 2022-05-13

Family

ID=81480156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210131616.7A Pending CN114494230A (zh) 2022-02-14 2022-02-14 乳腺病灶分割装置、模型训练方法及电子设备

Country Status (1)

Country Link
CN (1) CN114494230A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258717A (zh) * 2023-05-15 2023-06-13 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质
CN116486196A (zh) * 2023-03-17 2023-07-25 哈尔滨工业大学（深圳） 病灶分割模型训练方法、病灶分割方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486196A (zh) * 2023-03-17 2023-07-25 哈尔滨工业大学（深圳） 病灶分割模型训练方法、病灶分割方法及装置
CN116486196B (zh) * 2023-03-17 2024-01-23 哈尔滨工业大学（深圳） 病灶分割模型训练方法、病灶分割方法及装置
CN116258717A (zh) * 2023-05-15 2023-06-13 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质
CN116258717B (zh) * 2023-05-15 2023-09-08 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN107665491B (zh) 病理图像的识别方法及系统
CA3138959C (en) Image diagnostic system, and methods of operating thereof
CN114494230A (zh) 乳腺病灶分割装置、模型训练方法及电子设备
Talab et al. Super-low resolution face recognition using integrated efficient sub-pixel convolutional neural network (ESPCN) and convolutional neural network (CNN)
Khan et al. Effective and reliable framework for lung nodules detection from CT scan images
CN111091524A (zh) 基于深度卷积神经网络的前列腺经直肠超声图像分割方法
CN113936011A (zh) 基于注意力机制的ct影像肺叶图像分割系统
CN109919954B (zh) 目标对象的识别方法和装置
CN111275686A (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Lembhe et al. Enhancement in skin cancer detection using image super resolution and convolutional neural network
CN114298971A (zh) 一种冠状动脉分割方法、系统、终端以及存储介质
Yuan et al. Em-net: Centerline-aware mitochondria segmentation in em images via hierarchical view-ensemble convolutional network
Jiang et al. MFI-Net: A multi-resolution fusion input network for retinal vessel segmentation
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN111986210B (zh) 一种医学影像小病灶分割方法
Deepa et al. A fuzzy shape representation of a segmented vessel tree and kernel-induced random forest classifier for the efficient prediction of lung cancer
DE102022120117A1 (de) On-Device erfolgendes Detektieren von Digitalobjekten und Generieren von Objektmasken
Iqbal et al. LDMRes-Net: A Lightweight Neural Network for Efficient Medical Image Segmentation on IoT and Edge Devices
CN115689993A (zh) 基于注意力与多特征融合的皮肤癌图像分割方法及系统
CN114066850A (zh) 一种基于分类框架的图像二值化方法
CN112634226A (zh) 头部ct图像检测装置、方法、电子设备及存储介质
CN114037702B (zh) 一种切片级宫颈癌筛查与分类的方法及装置
Afshari Spatially Constrained Compound Magnification Framework for Histopathology Whole Slide Images
CN116486184B (zh) 一种乳腺病理图像识别分类方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination