CN113140291A - 图像分割方法、装置、模型训练方法及电子设备 - Google Patents

图像分割方法、装置、模型训练方法及电子设备 Download PDF

Info

Publication number
CN113140291A
CN113140291A CN202011496375.3A CN202011496375A CN113140291A CN 113140291 A CN113140291 A CN 113140291A CN 202011496375 A CN202011496375 A CN 202011496375A CN 113140291 A CN113140291 A CN 113140291A
Authority
CN
China
Prior art keywords
information
layer
sampling
image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011496375.3A
Other languages
English (en)
Other versions
CN113140291B (zh
Inventor
柴象飞
郭娜
刘鹏飞
刘剑英
左盼莉
李绍林
李葳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huiying Medical Technology Beijing Co ltd
Original Assignee
Huiying Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huiying Medical Technology Beijing Co ltd filed Critical Huiying Medical Technology Beijing Co ltd
Priority to CN202011496375.3A priority Critical patent/CN113140291B/zh
Publication of CN113140291A publication Critical patent/CN113140291A/zh
Application granted granted Critical
Publication of CN113140291B publication Critical patent/CN113140291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像分割方法、装置、模型训练方法及电子设备。在该图像分割方法中，由于边缘特征融合层对多个下采样信息进行融合处理，不仅能够融合医学影像中浅层语义信息与深层语义信息，并能提取医学影像中的病灶区域的边缘信息，使得上采样层进行上采样操作时，能够基于病灶区域的边缘信息对医学影像取得更优的分割效果。

Description

图像分割方法、装置、模型训练方法及电子设备
技术领域
本申请涉及数据处理领域，具体而言，涉及一种图像分割方法、装置、模型训练方法及电子设备。
背景技术
随着医学技术的进步，医学影像作为医生诊断疾病时的重要依据。由于医学影像多为层面图像，因此，为了显示整个器官，需要多个连续的层面图像序列。多个连续的层面图像序列增加了医生阅片时的难度，继而效率低下。
目前出现了一些用于图像分割的神经网络模型，但由于医学影像本身图像的对比度较低，因此，在对医学影像进行分割时，存在分割效果欠佳的问题。
发明内容
为了克服现有技术中的至少一个不足，本申请实施例的目的之一在于提供一种图像分割方法，应用于电子设备，所述电子设备配置有基于U-net网路结构的神经网络模型，该神经网络模型包括边缘特征融合层、所述U-net网路结构中构成多个层级的下采样层以及上采样层，所述方法包括：
获取待处理的医学影像；
通过所述下采样层依次对所述医学影像进行处理，获得由所述下采样层输出的多个下采样信息；
通过所述边缘特征融合层对所述多个下采样信息进行特征融合，获得融合信息，其中，所述边缘特征融合层在进行特征融合的过程中提取所述医学影像中病灶区域的边缘信息；
通过各所述上采样层结合所述融合信息依次对同一层级的下采样信息进行处理，获得对所述医学影像中各类别病灶的分割图像。
可选地，所述神经网络模型还包括设置在同一层级的下采样层与上采样层之间的注意力机制层，多个所述注意力机制层依次连接，所述通过各所述上采样层结合所述融合信息依次对同一层级的下采样信息进行处理，获得对所述医学影像中各类别病灶的分割图像的步骤，包括：
针对各所述层级，通过该层级的注意力机制层对该层级的下采样信息、该层级的注意力机制层的上一层输出的第一注意力信息以及所述融合信息进行处理，获得第二注意力信息；
通过各所述上采样层依次对同一层级的第二注意力信息进行处理，获得对所述医学影像中各类别病灶的分割图像。
可选地，所述通过所述边缘特征融合层对所述多个下采样信息进行特征融合，获得融合信息的步骤，包括：
根据所述下采样层提取特征的深度由大到小，依次对所述多个下采样信息进行特征融合，获得所述融合信息。
可选地，所述医学影像为肺腑CT图像。
本申请实施例的目的之二在于提供一种图像分割装置，应用于电子设备，所述电子设备配置有基于U-net网路结构的神经网络模型，该神经网络模型包括边缘特征融合层、所述U-net网路结构中构成多个层级的下采样层以及上采样层，所述图像分割装置包括：
影像获取模块，用于获取待处理的医学影像；
信息提取模块，用于通过所述下采样层依次对所述医学影像进行处理，获得由所述下采样层输出的多个下采样信息；
信息融合模块，用于通过所述边缘特征融合层对所述多个下采样信息进行特征融合，获得融合信息，其中，所述边缘特征融合层在进行特征融合的过程中提取所述医学影像中病灶区域的边缘信息；
图像分割模块，通过各所述上采样层结合所述融合信息依次对同一层级的下采样信息进行处理，获得对所述医学影像中各类别病灶的分割图像。
可选地，所述神经网络模型还包括设置在同一层级的下采样层与上采样层之间的注意力机制层，多个所述注意力机制层依次连接，所述图像分割模块具体包括：
针对各所述层级，通过该层级的注意力机制层对该层级的下采样信息、该层级的注意力机制层的上一层输出的第一注意力信息以及所述融合信息进行处理，获得第二注意力信息；
通过各所述上采样层依次对同一层级的第二注意力信息进行处理，获得对所述医学影像中各类别病灶的分割图像。
可选地，所述信息融合模块具体包括：
根据所述下采样层提取特征的深度由大到小，依次对所述多个下采样信息进行特征融合，获得所述融合信息。
本申请实施例的目的之三在于提供一种模型训练方法，应用于电子设备，所述电子设备配置有基于U-net网路结构的神经网络模型，该神经网络模型包括边缘特征融合层、所述U-net网路结构中构成多个层级的下采样层以及上采样层，所述方法包括：
获取样本医学影像，所述样本医学影像标记有病灶区域以及各病灶区域的病灶类型；
通过所述下采样层依次对所述医学影像进行处理，获得由所述下采样层输出的多个下采样信息；
通过所述边缘特征融合层对所述多个下采样信息进行特征融合，获得融合信息，其中，所述边缘特征融合层在进行特征融合的过程中提取所述医学影像中病灶区域的边缘信息；
通过各所述上采样层结合所述融合信息依次对同一层级的下采样信息进行处理，获得各所述上采样层对所述医学影像中各类别病灶的分割图像；
针对各所述上采样层，根据该上采样层对所述样本医学影像中各类别病灶的分割图像的掩膜区域与所述样本医学影像中所标记的病灶区域之间的第一损失值，该上采样层对所述样本医学影像中各类别病灶的分割图像的边缘信息与所述融合信息中所携带的边缘信息之间的第二损失值，获得监督损失值；
根据各所述监督损失值的预设权值，获得加权损失值；
将所述加权损失值与预设损失阈值进行比较；
若大于该预设损失阈值，则根据所述加权损失值调整所述神经网络模型中的参数，再次从通过所述下采样层依次对所述医学影像进行处理，获得由所述下采样层输出的多个下采样信息的步骤开始执行；
若小于该预设损失阈值，则获得预训练的神经网络模型。
本申请实施例的目的之四在于提供一种电子设备，所述电子设备包括处理器以及存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现图像分割方法。
本申请实施例的目的之五在于提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现图像分割方法。
相对于现有技术而言，本申请具有以下有益效果：
本申请实施例提供一种图像分割方法、装置、模型训练方法及电子设备。在该图像分割方法中，由于边缘特征融合层对多个下采样信息进行融合处理，不仅能够融合医学影像中浅层语义信息与深层语义信息，并能提取医学影像中的病灶区域的边缘信息，使得上采样层进行上采样操作时，能够基于病灶区域的边缘信息对医学影像取得更优的分割效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构示意图；
图2为本申请实施例提供的神经网络模型的结构示意图；
图3为本申请实施例提供的图像分割方法的步骤流程图；
图4为本申请实施例提供的注意力机制层的结构示意图；
图5为本申请实施例提供的边缘特征融合层的结构示意图；
图6为本申请实施例提供的病灶区域分割图像的结构示意图；
图7为本申请实施例提供的图像分割装置的结构示意图。
图标：100-电子设备；110-图像分割装置；120-存储器；130-处理器；500-下采样层；600-上采样层；800-磨玻璃病灶区域的分割图像；801-磨玻璃病灶区域；802-纤维索条影病灶区域；1101-影像获取模块；1102-信息提取模块；1103-信息融合模块；1104-图像分割模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如背景技术所介绍的，目前出现了一些用于图像分割的神经网络模型，但由于医学影像本身图像的对比度较低，因此，在对医学影像进行分割时，存在分割效果欠佳的问题。
鉴于此，本申请实施例提供一种图像分割方法，应用于电子设备。其中，关于该电子设备，请参照图1，该电子设备100包括图像分割装置110、存储器120以及处理器130。
所述存储器120、处理器130以及其他各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像分割装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述图像分割装置110所包括的软件功能模块及计算机程序等。
其中，所述存储器120可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。
所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该电子设备100配置有基于U-net网路结构的神经网络模型。请参照图2，该神经网络模型包括边缘特征融合层、U-net网路结构中构成多个层级的下采样层500以及上采样层600。其中，“Fi”表示第i个下采样层输出的下采样信息。
请参照图3，以下将对方法包括各个步骤进行详细阐述。
步骤S100，获取待处理的医学影像。
该医学影像可以是，但不限于CT图像、X光图像、核磁共振图像以及热成像图像等。作为一种具体的示例，该医学影像可以是肺部CT图像。
步骤S200，通过下采样层500依次对医学影像进行处理，获得由下采样层500输出的多个下采样信息。
该下采样层500主要包括卷积层，用于对输入的医学影像进行特征提取，获得其中浅层特征信息以及深层特征信息。
针对各下采样层500，作为一种可能的实现方式。该下采样层500包括池化层、2层3*3的下卷积层、BN(Batch Normalization，批归一化)层以及ReLU(Rectified LinearUnit，线性整流函数)函数层。
步骤S300，通过边缘特征融合层对多个下采样信息进行特征融合，获得融合信息，其中，边缘特征融合层在进行特征融合的过程中提取医学影像中病灶区域的边缘信息。
由于该U-net网路结构包括有多个下采样层500以及多个上采样层600，多个下采样层500以及多个上采样层600中，同一层级的两上采样层与下采样层500相互对应，一起组成一个层级。其中，多个下采样层500依次对医学影像图像进行下采样处理，各下采样层500均会输出一下采样信息。随着各下采样层500深度的增加，各下采样层500所对应下采样信息中所携带的语义信息从浅层变化到深层。
该电子设备100通过边缘特征融合层对多个下采样信息进行融合处理，不仅能够融合医学影像中浅层语义信息与深层语义信息，并能提取医学影像中的病灶区域的边缘信息。应理解的是，由于医学影像中对比度较低，该提取出的边缘信息能够对医学影像的分割起到一定的辅助作用。
步骤S400，通过各上采样层600结合融合信息依次对同一层级的下采样信息进行处理，获得对医学影像中各类别病灶的分割图像。
针对各上采样层600，作为一种可能的实现方式，各上采样层600包括上卷积层、2层3*3的下卷积层、BN(Batch Normalization，批归一化)层以及ReLU(Rectified LinearUnit，线性整流函数)函数层。
在该图像分割方法中，由于边缘特征融合层对多个下采样信息进行融合处理，不仅能够融合医学影像中浅层语义信息与深层语义信息，并能提取医学影像中的病灶区域的边缘信息，使得上采样层600进行上采样操作时，能够基于病灶区域的边缘信息对医学影像取得更优的分割效果。
进一步地，请再次参照图2，该神经网络模型还包括设置在同一层级的下采样层500与上采样层600之间的注意力机制层，多个注意力机制层依次连接。其中，“Si”表示第i个注意力机制层输出的注意力信息。“edge”表示边缘特征融合层输出的融合信息。应理解的是，注意力机制层能够对输入的特征信息进行调整，提高对分割效果有贡献特征的权重。例如，可以增强边缘信息。
在本申请实施例中，针对各层级，该电子设备100通过该层级的注意力机制层对该层级的下采样信息、该层级的注意力机制层的上一层输出的第一注意力信息以及融合信息进行处理，获得第二注意力信息。
请参照图4，“edge”表示融合信息，“Fi”表示第i个下采样层500输出的下采样信息，“Si”表示第i个注意力机制层层输出的注意力信息，“C”表示将融合信息与第i个下采样层500输出的下采样信息进行拼接。值得说明的是，由于注意力机制层在对融合信息进行多次下采样处理，可能会造成融合信息中边缘信息的丢失。各注意力机制层在对上一注意力机制层输入的第一注意力信息进行处理前，先对该第一注意力信息进行了上采样处理。
关于该特征融合层，请参照图5，该电子设备100根据下采样层500提取特征的深度由大到小，依次对多个下采样信息进行特征融合，获得融合信息。
另外值得说明的是，本申请实施例中，在将不同尺度的特征信息进行融合之前，会通过1*1的卷积层将不同尺度的特征信息调整到相同的尺度，以便于进行特征的融合。
针对该神经网络模型，本申请实施例还提供一种模型训练方法。应用于电子设备100，电子设备100同样配置有基于U-net网路结构的神经网络模型，该神经网络模型包括边缘特征融合层、该U-net网路结构中构成多个层级的下采样层500以及上采样层600。其中，该用于训练神经网络模型的电子设备100，可以与用于分割待处理医学影像的电子设备100相同，也可以是其他电子设备100。
电子设备100获取样本医学影像，该样本医学影像标记有病灶区域以及各病灶区域的病灶类型；通过下采样层500依次对医学影像进行处理，获得由下采样层500输出的多个下采样信息；通过边缘特征融合层对多个下采样信息进行特征融合，获得融合信息，其中，该边缘特征融合层在进行特征融合的过程中提取医学影像中病灶区域的边缘信息。
进一步地，该电子设备100通过各上采样层600结合融合信息依次对同一层级的下采样信息进行处理，获得各上采样层600对医学影像中各类别病灶的分割图像。
其中，针对各上采样层600，该电子设备100根据该上采样层600对样本医学影像中各类别病灶的分割图像的掩膜区域与样本医学影像中所标记的病灶区域之间的第一损失值，该上采样层600对样本医学影像中各类别病灶的分割图像的边缘信息与融合信息中所携带的边缘信息之间的第二损失值，获得监督损失值。
进一步地，该电子设备100根据各监督损失值的预设权值，获得加权损失值；将加权损失值与预设损失阈值进行比较。
应理解的是，在对神经网络模型进行训练时，针对各上采样层600输出的不同尺度的分割图像均进行损失值的计算，最后结合各上采样层600的损失值对神经网络模型的参数进行调整。由于采用不同尺的分割图像进行深度监督，在一定程度上能够获得更好的训练效果，提高最终对医学影像的分割结果。
若大于该预设损失阈值，则该电子设备100根据加权损失值调整神经网络模型中的参数，再次从通过下采样层500依次对医学影像进行处理，获得由下采样层500输出的多个下采样信息的步骤开始执行。
若小于该预设损失阈值，则该电子设备100获得预训练的神经网络模型。
针对每个上采样层600，具体通过如下方式计算该层的监督损失值L，可以表示为：
L＝Lseg+Ledge；
式中，Lseg表示第一损失值，Ledge表示第二损失值。
Lseg可以表示为:
Figure BDA0002842292010000101
式中，c表示病灶类别的总数，i表示病灶类型i，
Figure BDA0002842292010000102
表示对病灶类型i输出的分割图像中掩膜像素的二分类交叉熵损失值，
Figure BDA0002842292010000103
表示针对病灶类型i输出的分割图像与病灶类型i在样本图像中的分割图像之间掩膜的点集集合损失值。λi表示病灶类型i对应的权值。
其中，二分类交叉熵损失函数LBCE的表示式为：
Figure BDA0002842292010000111
点集集合损失函数Ldice的表达式为：
Figure BDA0002842292010000112
式中，k表示图像中的第k个像素点，yk表示像素点k的类别(背景用0表示，掩膜用1表示)，pk表示元素k预测为目标类别的概率。
Ledge可以表示为：
Ledge＝LBCE-e+Ldice-e；
式中，LBCE-e表示输出的分割图像中所有病灶边缘与融合特征中边缘信息之间的二分类交叉熵损失值，Ldice-e表示输出的分割图像中所有病灶边缘与融合特征中边缘信息之间的点集集合损失值。
值得说明的是，本申请实施例中，针对特定类别的病灶区域，通过掩膜将该特定类别的病灶区域以外的区域进行覆盖，以得到该特定类别的病灶区域的分割图像。
请参照图6，以包括磨玻璃病灶区域801以及纤维索条影病灶区域802的肺部CT图像为例。该特定类别的病灶区域为磨玻璃病灶区域801，则针对磨玻璃病灶区域801，通过掩膜图像将肺部CT图像中纤维索条影病灶区域802以及其他肺部区域进行覆盖，得到该磨玻璃病灶区域的分割图像800。
本申请实施例还提供一种图像分割装置110，应用于电子设备100，电子设备100配置有基于U-net网路结构的神经网络模型，该神经网络模型包括边缘特征融合层、该U-net网路结构中构成多个层级的下采样层500以及上采样层600。其中，该图像分割装置110包括至少一个可以软件形式存储于存储器120中的功能模块。请参照图7，从功能上划分，图像分割装置110可以包括：
影像获取模块1101，用于获取待处理的医学影像。
在本申请实施例中，该影像获取模块1101用于执行图3中的步骤S100，关于该影像获取模块1101的详细描述，可以参考步骤S100的详细描述。
信息提取模块1102，用于通过下采样层500依次对医学影像进行处理，获得由下采样层500输出的多个下采样信息；
在本申请实施例中，该信息提取模块1102用于执行图3中的步骤S200，关于该信息提取模块1102的详细描述，可以参考步骤S200的详细描述。
信息融合模块1103，用于通过边缘特征融合层对多个下采样信息进行特征融合，获得融合信息，其中，边缘特征融合层在进行特征融合的过程中提取医学影像中病灶区域的边缘信息。
在本申请实施例中，该信息融合模块1103用于执行图3中的步骤S300，关于该信息融合模块1103的详细描述，可以参考步骤S300的详细描述。
图像分割模块1104，通过各上采样层600结合融合信息依次对同一层级的下采样信息进行处理，获得对医学影像中各类别病灶的分割图像。
在本申请实施例中，该图像分割模块1104用于执行图3中的步骤S400，关于该图像分割模块1104的详细描述，可以参考步骤S400的详细描述。
可选地，神经网络模型还包括设置在同一层级的下采样层500与上采样层600之间的注意力机制层，多个注意力机制层依次连接，图像分割模块1104具体包括：
针对各层级，通过该层级的注意力机制层对该层级的下采样信息、该层级的注意力机制层的上一层输出的第一注意力信息以及融合信息进行处理，获得第二注意力信息；
通过各上采样层600依次对同一层级的第二注意力信息进行处理，获得对医学影像中各类别病灶的分割图像。
可选地，所述信息融合模块1103具体包括：
根据所述下采样层500提取特征的深度由大到小，依次对所述多个下采样信息进行特征融合，获得所述融合信息。
本申请实施例还提供一种电子设备100，电子设备100包括处理器130以及存储器120，存储器120存储有计算机可执行指令，计算机可执行指令被处理器130执行时，实现该图像分割方法。
本申请实施例还提供一种存储介质，该存储介质存储有计算机程序，计算机程序被处理器130执行时，实现该图像分割方法。
综上所述，本申请实施例提供一种图像分割方法、装置、模型训练方法及电子设备。在该图像分割方法中，由于边缘特征融合层对多个下采样信息进行融合处理，不仅能够融合医学影像中浅层语义信息与深层语义信息，并能提取医学影像中的病灶区域的边缘信息，使得上采样层进行上采样操作时，能够基于病灶区域的边缘信息对医学影像取得更优的分割效果。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像分割方法，其特征在于，应用于电子设备，所述电子设备配置有基于U-net网路结构的神经网络模型，该神经网络模型包括边缘特征融合层、所述U-net网路结构中构成多个层级的下采样层以及上采样层，所述方法包括：
获取待处理的医学影像；
通过所述下采样层依次对所述医学影像进行处理，获得由所述下采样层输出的多个下采样信息；
通过所述边缘特征融合层对所述多个下采样信息进行特征融合，获得融合信息，其中，所述边缘特征融合层在进行特征融合的过程中提取所述医学影像中病灶区域的边缘信息；
通过各所述上采样层结合所述融合信息依次对同一层级的下采样信息进行处理，获得对所述医学影像中各类别病灶的分割图像。
2.根据权利要求1所述的图像分割方法，其特征在于，所述神经网络模型还包括设置在同一层级的下采样层与上采样层之间的注意力机制层，多个所述注意力机制层依次连接，所述通过各所述上采样层结合所述融合信息依次对同一层级的下采样信息进行处理，获得对所述医学影像中各类别病灶的分割图像的步骤，包括：
针对各所述层级，通过该层级的注意力机制层对该层级的下采样信息、该层级的注意力机制层的上一层输出的第一注意力信息以及所述融合信息进行处理，获得第二注意力信息；
通过各所述上采样层依次对同一层级的第二注意力信息进行处理，获得对所述医学影像中各类别病灶的分割图像。
3.根据权利要求1所述的图像分割方法，其特征在于，所述通过所述边缘特征融合层对所述多个下采样信息进行特征融合，获得融合信息的步骤，包括：
根据所述下采样层提取特征的深度由大到小，依次对所述多个下采样信息进行特征融合，获得所述融合信息。
4.根据权利要求1所述的图像分割方法，其特征在于，所述医学影像为肺腑CT图像。
5.一种图像分割装置，其特征在于，应用于电子设备，所述电子设备配置有基于U-net网路结构的神经网络模型，该神经网络模型包括边缘特征融合层、所述U-net网路结构中构成多个层级的下采样层以及上采样层，所述图像分割装置包括：
影像获取模块，用于获取待处理的医学影像；
信息提取模块，用于通过所述下采样层依次对所述医学影像进行处理，获得由所述下采样层输出的多个下采样信息；
信息融合模块，用于通过所述边缘特征融合层对所述多个下采样信息进行特征融合，获得融合信息，其中，所述边缘特征融合层在进行特征融合的过程中提取所述医学影像中病灶区域的边缘信息；
图像分割模块，通过各所述上采样层结合所述融合信息依次对同一层级的下采样信息进行处理，获得对所述医学影像中各类别病灶的分割图像。
6.根据权利要求5所述的图像分割装置，其特征在于，所述神经网络模型还包括设置在同一层级的下采样层与上采样层之间的注意力机制层，多个所述注意力机制层依次连接，所述图像分割模块具体包括：
针对各所述层级，通过该层级的注意力机制层对该层级的下采样信息、该层级的注意力机制层的上一层输出的第一注意力信息以及所述融合信息进行处理，获得第二注意力信息；
通过各所述上采样层依次对同一层级的第二注意力信息进行处理，获得对所述医学影像中各类别病灶的分割图像。
7.根据权利要求5所述的图像分割装置，其特征在于，所述信息融合模块具体包括：
根据所述下采样层提取特征的深度由大到小，依次对所述多个下采样信息进行特征融合，获得所述融合信息。
8.一种模型训练方法，其特征在于，应用于电子设备，所述电子设备配置有基于U-net网路结构的神经网络模型，该神经网络模型包括边缘特征融合层、所述U-net网路结构中构成多个层级的下采样层以及上采样层，所述方法包括：
获取样本医学影像，所述样本医学影像标记有病灶区域以及各病灶区域的病灶类型；
通过所述下采样层依次对所述医学影像进行处理，获得由所述下采样层输出的多个下采样信息；
通过所述边缘特征融合层对所述多个下采样信息进行特征融合，获得融合信息，其中，所述边缘特征融合层在进行特征融合的过程中提取所述医学影像中病灶区域的边缘信息；
通过各所述上采样层结合所述融合信息依次对同一层级的下采样信息进行处理，获得各所述上采样层对所述医学影像中各类别病灶的分割图像；
针对各所述上采样层，根据该上采样层对所述样本医学影像中各类别病灶的分割图像的掩膜区域与所述样本医学影像中所标记的病灶区域之间的第一损失值，该上采样层对所述样本医学影像中各类别病灶的分割图像的边缘信息与所述融合信息中所携带的边缘信息之间的第二损失值，获得监督损失值；
根据各所述监督损失值的预设权值，获得加权损失值；
将所述加权损失值与预设损失阈值进行比较；
若大于该预设损失阈值，则根据所述加权损失值调整所述神经网络模型中的参数，再次从通过所述下采样层依次对所述医学影像进行处理，获得由所述下采样层输出的多个下采样信息的步骤开始执行；
若小于该预设损失阈值，则获得预训练的神经网络模型。
9.一种电子设备，其特征在于，所述电子设备包括处理器以及存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现权利要求1-4任意一项所述的图像分割方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-4任意一项所述的图像分割方法。
CN202011496375.3A 2020-12-17 2020-12-17 图像分割方法、装置、模型训练方法及电子设备 Active CN113140291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011496375.3A CN113140291B (zh) 2020-12-17 2020-12-17 图像分割方法、装置、模型训练方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496375.3A CN113140291B (zh) 2020-12-17 2020-12-17 图像分割方法、装置、模型训练方法及电子设备

Publications (2)

Publication Number Publication Date
CN113140291A true CN113140291A (zh) 2021-07-20
CN113140291B CN113140291B (zh) 2022-05-10

Family

ID=76809745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011496375.3A Active CN113140291B (zh) 2020-12-17 2020-12-17 图像分割方法、装置、模型训练方法及电子设备

Country Status (1)

Country Link
CN (1) CN113140291B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837980A (zh) * 2021-10-12 2021-12-24 Oppo广东移动通信有限公司 分辨率的调整方法、装置、电子设备及存储介质
CN114708258A (zh) * 2022-05-20 2022-07-05 北京至真互联网技术有限公司 一种基于动态加权注意力机制的眼底图像检测方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537292A (zh) * 2018-04-10 2018-09-14 上海白泽网络科技有限公司 语义分割网络训练方法、图像语义分割方法及装置
CN109829894A (zh) * 2019-01-09 2019-05-31 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110570350A (zh) * 2019-09-11 2019-12-13 深圳开立生物医疗科技股份有限公司 一种二维卵泡检测方法、装置和超声设备及可读存储介质
CN110889826A (zh) * 2019-10-30 2020-03-17 平安科技（深圳）有限公司 眼部oct图像病灶区域的分割方法、装置及终端设备
WO2020077202A1 (en) * 2018-10-12 2020-04-16 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
CN111275714A (zh) * 2020-01-13 2020-06-12 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111402264A (zh) * 2020-03-11 2020-07-10 南京三百云信息科技有限公司 图像区域分割方法、装置及其模型训练方法及计算机设备
CN111429464A (zh) * 2020-03-11 2020-07-17 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN111640119A (zh) * 2020-04-09 2020-09-08 北京邮电大学 一种图像处理方法、处理装置、电子设备及存储介质
CN112085677A (zh) * 2020-09-01 2020-12-15 深圳先进技术研究院 一种图像处理方法、系统和计算机存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537292A (zh) * 2018-04-10 2018-09-14 上海白泽网络科技有限公司 语义分割网络训练方法、图像语义分割方法及装置
WO2020077202A1 (en) * 2018-10-12 2020-04-16 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
CN109829894A (zh) * 2019-01-09 2019-05-31 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110349162A (zh) * 2019-07-17 2019-10-18 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110570350A (zh) * 2019-09-11 2019-12-13 深圳开立生物医疗科技股份有限公司 一种二维卵泡检测方法、装置和超声设备及可读存储介质
CN110889826A (zh) * 2019-10-30 2020-03-17 平安科技（深圳）有限公司 眼部oct图像病灶区域的分割方法、装置及终端设备
CN111275714A (zh) * 2020-01-13 2020-06-12 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111402264A (zh) * 2020-03-11 2020-07-10 南京三百云信息科技有限公司 图像区域分割方法、装置及其模型训练方法及计算机设备
CN111429464A (zh) * 2020-03-11 2020-07-17 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN111640119A (zh) * 2020-04-09 2020-09-08 北京邮电大学 一种图像处理方法、处理装置、电子设备及存储介质
CN112085677A (zh) * 2020-09-01 2020-12-15 深圳先进技术研究院 一种图像处理方法、系统和计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837980A (zh) * 2021-10-12 2021-12-24 Oppo广东移动通信有限公司 分辨率的调整方法、装置、电子设备及存储介质
CN114708258A (zh) * 2022-05-20 2022-07-05 北京至真互联网技术有限公司 一种基于动态加权注意力机制的眼底图像检测方法及系统
CN114708258B (zh) * 2022-05-20 2022-08-02 北京至真互联网技术有限公司 一种基于动态加权注意力机制的眼底图像检测方法及系统

Also Published As

Publication number Publication date
CN113140291B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
US11735322B2 (en) Systems and methods for ossification center detection and bone age assessment
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN110889826B (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
CN113140291B (zh) 图像分割方法、装置、模型训练方法及电子设备
CN114287878A (zh) 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法
CN114387464A (zh) 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品
Kanchanamala et al. Optimization-enabled hybrid deep learning for brain tumor detection and classification from MRI
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
CN116051589A (zh) 一种ct图像中肺实质和肺血管的分割方法及装置
Li et al. Robust deep 3D blood vessel segmentation using structural priors
CN115601299A (zh) 基于图像的肝硬化状态智能评估系统及其方法
CN116563189A (zh) 一种基于深度学习的医学图像跨对比度合成方法及系统
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
CN116385717A (zh) 叶面病害识别方法、装置、电子设备、存储介质及产品
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
CN113140290A (zh) 模型训练方法、装置、病灶识别方法及电子设备
CN114155234A (zh) 病灶肺段位置的识别方法、装置、存储介质及电子设备
CN112634226A (zh) 头部ct图像检测装置、方法、电子设备及存储介质
Zhang et al. Salient detection network for lung nodule detection in 3D Thoracic MRI Images
CN117710760B (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
CN116704376B (zh) 基于单卫星图像的nDSM提取方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing

Applicant after: Huiying medical technology (Beijing) Co.,Ltd.

Address before: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing

Applicant before: HUIYING MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant