CN111310764A - 网络训练、图像处理方法及装置、电子设备和存储介质 - Google Patents

网络训练、图像处理方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111310764A
CN111310764A CN202010065998.9A CN202010065998A CN111310764A CN 111310764 A CN111310764 A CN 111310764A CN 202010065998 A CN202010065998 A CN 202010065998A CN 111310764 A CN111310764 A CN 111310764A
Authority
CN
China
Prior art keywords
image
decoding layer
feature
trained
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010065998.9A
Other languages
English (en)
Other versions
CN111310764B (zh
Inventor
王国泰
顾然
宋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010065998.9A priority Critical patent/CN111310764B/zh
Publication of CN111310764A publication Critical patent/CN111310764A/zh
Priority to KR1020217034486A priority patent/KR20210140757A/ko
Priority to PCT/CN2020/100723 priority patent/WO2021147257A1/zh
Priority to JP2021539612A priority patent/JP2022521130A/ja
Priority to TW109127036A priority patent/TWI743931B/zh
Application granted granted Critical
Publication of CN111310764B publication Critical patent/CN111310764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本公开涉及一种网络训练、图像处理方法及装置、电子设备和存储介质，所述方法包括：通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，其中，所述预设维度包括：空间维度、通道维度和尺度维度，所述训练样本中还包括所述样本图像对应的分割标注信息；根据所述特征提取结果对所述样本图像进行图像分割处理，得到图像分割结果；根据所述图像分割结果和所述分割标注信息，训练所述分割网络。本公开实施例训练得到的分割网络在进行图像分割处理时可以提高分割精度。

Description

网络训练、图像处理方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种网络训练、图像处理方法及装置、电子设备和存储介质。
背景技术
图像分割是指按照区域内分布属性将图像分为几个特定的互不相交的“连通”区域的图像处理过程，相关特征在同一区域内具有一定类别上的一致性或者相似性，这种差异在每个区域的边界处最为明显。医学图像分割在医学研究、临床诊断、病理分析以及影像信息处理等研究与实践领域具有重要的学术研究意义和应用价值，主要应用于：对医学图像中感兴趣区域的提取，便于医学图像分析；计算医学图像中人体器官、组织或者病灶体积、容积等，便于临床参数的计算；医学图像的三维重建或可视化；医学图像检索研究等。因此，亟需一种有效地图像分割方法。
发明内容
本公开提出了一种网络训练、图像处理方法及装置、电子设备和存储介质。
根据本公开的一方面，提供了一种网络训练方法，包括：通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，其中，所述预设维度包括：空间维度、通道维度和尺度维度，所述训练样本中还包括所述样本图像对应的分割标注信息；根据所述特征提取结果对所述样本图像进行图像分割处理，得到图像分割结果；根据所述图像分割结果和所述分割标注信息，训练所述分割网络。
通过分割网络在空间维度、通道维度和尺度维度中的预设维度上，使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，根据特征提取结果对样本图像进行图像分割处理，得到图像分割结果，根据图像分割结果和训练样本中包括的样本图像对应的分割标注信息，训练分割网络，使得训练得到的分割网络在进行图像分割处理时可以提高分割精度。
在一种可能的实现方式中，所述分割网络包括编码器和解码器，所述编码器包括多个编码层，所述解码器包括多个解码层；所述通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，包括：将所述样本图像输入所述编码器，确定每个编码层对应的第一特征图像，其中，不同编码层对应的第一特征图像的尺度不同；针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，其中，输入该解码层的第二特征图像是根据上一解码层对应的第三特征图像确定得到的，不同解码层对应的第三特征图像的尺度不同；根据多个解码层确定的多个不同尺度的第三特征图像，确定所述特征提取结果。
将样本图像输入编码器，确定编码器中各个编码层对应的不同尺度的第一特征图像，进而针对解码器中的任一解码层，利用对应的第一特征图像，对输入任一解码层的第二特征图像在空间维度和通道维度上使用注意力机制进行特征训练，确定各个解码层对应的第三特征图像，进而根据不同尺度的第三特征图像，可以有效确定增强了样本图像中感兴趣区域的空间特征信息和通道特征信息，且抑制了图像中不感兴趣区域的空间特征信息和通道特征信息的特征提取结果。
在一种可能的实现方式中，所述针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，包括：利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，确定该解码层对应的第四特征图像，其中，第一待训练特征图像为输入该解码层的第二特征图像；将输入该解码层的第二特征图像和该解码层对应的第四特征图像进行拼接，得到第二待训练特征图像；通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，确定该解码层对应的第三特征图像。
利用编码层中对应的第一特征图像对解码层对应的第一待训练特征图像在空间维度上使用注意力机制进行训练，使得可以有效确定增强了样本图像中感兴趣区域的空间特征信息且抑制了图像中不感兴趣区域的空间特征信息的第四特征图像，进而将第四特征图像与输入解码层的第二特征图像拼接得到第二待训练特征图像，在通道维度上使用注意力机制对第二待训练特征图像进行训练，使得可以有效确定增强了样本图像中感兴趣区域的通道特征信息且抑制了图像中不感兴趣区域的通道特征信息的第三特征图像。
在一种可能的实现方式中，所述针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，包括：将与该解码层尺度对应的第一特征图像和输入该解码层的第二特征图像进行拼接，确定第二待训练特征图像；通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，确定第一待训练特征图像；利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，确定该解码层对应的第三特征图像。
将输入解码层的第二特征图像与对应编码层的第一特征图像进行拼接得到第二待训练特征图像，在通道维度上使用注意力机制对第二待训练特征图像进行训练，使得可以有效确定增强了样本图像中感兴趣区域的通道特征信息且抑制了图像中不感兴趣区域的通道特征信息的第一待训练特征图像，在空间维度上使用注意力机制对第一待训练特征图像进行训练，使得可以有效确定增强了样本图像中感兴趣区域的空间特征信息且抑制了图像中不感兴趣区域的空间特征信息的第三特征图像。
在一种可能的实现方式中，所述利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，包括：根据与该解码层尺度对应的第一特征图像和第一待训练特征图像，确定该解码层对应的空间注意力权值分布，其中，该解码层对应的空间注意力权值分布用于指示第一待训练特征图像中各个像素点的权值；根据该解码层对应的空间注意力权值分布对第一待训练特征图像中的各个像素点进行校准。
利用编码层中对应的第一特征图像与解码层对应的第一待训练特征图像确定解码层对应的空间注意力权值分布，进而根据空间注意力权值分布对第一待训练特征图像中的各个像素点进行校准，完成在空间维度上使用注意力机制的训练，使得可以有效增强样本图像中感兴趣区域的空间特征信息，且抑制了图像中不感兴趣区域的空间特征信息。
在一种可能的实现方式中，针对任一解码层，该解码层包括多个空间注意力训练层；所述根据与该解码层尺度对应的第一特征图像和第一待训练特征图像，确定该解码层对应的空间注意力权值分布，包括：将与该解码层尺度对应的第一特征图像和第一待训练特征图像分别输入所述多个空间注意力训练层，确定第一待训练特征图像中各个像素点的多个权值；根据第一待训练特征图像中各个像素点的所述多个权值，确定该解码层对应的空间注意力权值分布。
针对任一解码层，通过设置多个空间注意力训练层，利用编码层中对应的第一特征图像与解码层对应的第一待训练特征图像确定解码层，在多个空间注意力训练层中分别确定第一待训练特征图像中各个像素点的多个权值，进而根据第一待训练特征图像中各个像素点的多个权值，综合确定解码层对应的空间注意力权值分布，使得可以有效提高空间注意力权值分布的准确性。
在一种可能的实现方式中，所述通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，包括：确定该解码层对应的通道注意力权值分布，其中，该解码层对应的通道注意力权值分布用于指示第二待训练特征图像中各个通道的权值；根据该解码层对应的通道注意力权值分布对第二待训练特征图像中的各个通道进行校准。
确定解码层对应通道注意力权值分布，进而根据通道注意力权值分布对解码层对应的第二待训练特征图像中的各个通道进行校准，完成在通道维度上使用注意力机制的训练，使得可以有效增强样本图像中感兴趣区域的通道特征信息，且抑制了图像中不感兴趣区域的通道特征信息。
在一种可能的实现方式中，所述确定该解码层对应的通道注意力权值分布，包括：对第二待训练特征图像分别进行平均池化操作和最大池化操作，得到平均池化结果和最大池化结果；根据所述平均池化结果和所述最大池化结果，确定该解码层对应的通道注意力权值分布。
对第二待训练特征图像分别进行平均池化操作和最大池化操作，得到平均池化结果和最大池化结果，根据平均池化结果和最大池化结果，综合确定解码层对应的空间注意力权值分布，使得可以有效提高通道注意力权值分布的准确性。
在一种可能的实现方式中，所述根据多个解码层确定的多个不同尺度的第三特征图像，确定所述特征提取结果，包括：将不同尺度下的第三特征图像进行拼接，得到第三待训练特征图像，其中，第三待训练特征图像的尺度与所述样本图像的尺度相同；通过在尺度维度上使用注意力机制对第三待训练特征图像进行训练，确定所述特征提取结果。
将不同尺度下的第三特征图像进行拼接得到第三待训练特征图像，进而在尺度维度上使用注意力机制对第三待训练特征图像进行训练，使得可以有效增强样本图像中符合需求的尺度对应的特征信息，且抑制了图像中不符合需求的尺度对应的特征信息。
在一种可能的实现方式中，所述通过在尺度维度上使用注意力机制对第三待训练特征图像进行训练，包括：确定尺度注意力权值分布，其中，所述尺度注意力权值分布用于指示不同尺度的权值；根据所述尺度注意力权值分布对第三待训练特征图像进行校准。
确定尺度注意力权值分布，进而根据尺度注意力权值分布对第三待训练特征图像进行校准，完成在尺度维度上使用注意力机制的训练，使得可以有效增强样本图像中符合需求的尺度对应的特征信息，且抑制了图像中不符合需求的尺度对应的特征信息。
根据本公开的一方面，提供了一种图像处理方法，包括：通过分割网络对待分割图像进行图像分割处理，得到分割结果；其中，所述分割网络是采用上述网络训练方法训练得到的。
通过分割网络在空间维度、通道维度和尺度维度中的预设维度上，使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，根据特征提取结果对样本图像进行图像分割处理，得到图像分割结果，根据图像分割结果和训练样本中包括的样本图像对应的分割标注信息，训练分割网络，进而利用训练得到的分割网络对待分割图像进行图像分割处理，从而可以有效提高分割精度。
根据本公开的一方面，提供了一种网络训练装置，包括：特征提取模块，用于通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，其中，所述预设维度包括：空间维度、通道维度和尺度维度，所述训练样本中还包括所述样本图像对应的分割标注信息；分割模块，用于根据所述特征提取结果对所述样本图像进行图像分割处理，得到图像分割结果；训练模块，用于根据所述图像分割结果和所述分割标注信息，训练所述分割网络。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述网络训练方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述网络训练方法。
根据本公开的一方面，提供了一种图像处理装置，包括：图像处理模块，用于通过分割网络对待分割图像进行图像分割处理，得到分割结果；其中，所述分割网络是采用上述网络训练方法训练得到的。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述图像处理方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述图像处理方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出本公开实施例的一种网络训练方法的流程图；
图2示出本公开实施例的一种分割网络的结构示意图；
图3示出本公开实施例的图2中空间注意力模块2022的示意图；
图4示出本公开实施例的图2中空间注意力模块2025的示意图；
图5示出本公开实施例的图2中通道注意力模块2026的示意图；
图6示出本公开实施例的图2中尺度注意力模块2049的示意图；
图7示出本公开实施例的一种图像处理方法的流程图；
图8示出本公开实施例的一种网络训练装置的框图；
图9示出本公开实施例的一种图像处理装置的框图；
图10示出本公开实施例的一种电子设备的框图；
图11示出本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出本公开实施例的一种网络训练方法的流程图。该网络训练方法可以由终端设备或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。其它处理设备可为服务器或云端服务器等。在一些可能的实现方式中，该网络训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，该方法可以包括：
步骤S11，通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，其中，预设维度包括：空间维度、通道维度和尺度维度，训练样本中还包括样本图像对应的分割标注信息。
步骤S12，根据特征提取结果对样本图像进行图像分割处理，得到图像分割结果。
步骤S13，根据图像分割结果和分割标注信息，训练分割网络。
预先创建训练样本，训练样本中包括样本图像和样本图像对应的分割标注信息，其中，样本图像对应的分割标注信息用于指示样本图像的参考分割结果。基于训练样本可以对分割网络在空间维度、通道维度和尺度维度中的预设维度上使用注意力机制进行训练，使得训练得到的分割网络在进行图像分割处理时可以提高分割精度。
分割网络可以是基于U-net网络模型改进的卷积神经网络，也可以是其它能够实现对应处理的网络模型，本公开对此不做具体限定。
在一示例中，样本图像可以是对医学图像进行预处理后得到的。获取医学图像；对医学图像进行重采样到256*342尺度，然后将重采样后的医学图像归一化到0～1之间，得到第一图像；对第一图像进行随机翻转、随机旋转、随机裁剪实现数据增强，得到样本图像，其中，样本图像的通道数为3，尺度为224*300。样本图像的确定方式可以采用其它方式，样本图像的通道数、尺度可以根据实际情况确定，本公开对此不做具体限定。
在一种可能的实现方式中，分割网络包括编码器和解码器，编码器包括多个编码层，解码器包括多个解码层；通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，包括：将样本图像输入编码器，确定每个编码层对应的第一特征图像，其中，不同编码层对应的第一特征图像的尺度不同；针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，其中，输入该解码层的第二特征图像是根据上一解码层对应的第三特征图像确定得到的，不同解码层对应的第三特征图像的尺度不同；根据多个解码层确定的多个不同尺度的第三特征图像，确定特征提取结果。
图2示出本公开实施例的一种分割网络的结构示意图。例如，分割网络是基于U-net网络模型作为骨干网络改进得到的。分割网络出了可以基于U-net网络模型作为骨干网络，也可以基于其它网络模型作为骨干网络，本公开对此不做具体限定。
如图2所示，分割网络中包括编码器2001和解码器2002。编码器2001中包括编码层2003-2007，其中，编码层2003中包括卷积层2008，编码层2004中包括最大池化层2009和卷积层2010，编码层2005中包括最大池化层2011和卷积层2012，编码层2006中包括最大池化层2013和卷积层2014，编码层2007中包括最大池化层2015和卷积层2016。解码器2002中包括解码层2017-2020，其中，解码层2017中包括卷积层2021、空间注意力模块2022和通道注意力模块2023，解码层2018中包括卷积层2024、空间注意力模块2025和通道注意力模块2026，解码层2019中包括卷积层2027、空间注意力模块2028和通道注意力模块2029，解码层2020中包括卷积层2030、空间注意力模块2031和通道注意力模块2032。分割网络中的卷积层可以为3*3卷积核的标准卷积层，最大池化层可以实现对输入数据的下采样，降低输入数据的尺度。
将样本图像2033输入分割网络的编码器2001，例如，样本图像2033的尺度可以为224*300。样本图像2033在编码层2003中依次经过两个卷积层2008后，得到编码层2003对应的尺度为224*300，通道数为16的第一特征图像；尺度为224*300，通道数为16的第一特征图像在编码层2004中依次经过最大池化层2009和两个卷积层2010后，得到编码层2004对应的尺度为112*150，通道数为32的第一特征图像；尺度为112*150，通道数为32的第一特征图像在编码层2005中依次经过最大池化层2011和两个卷积层2012后，得到编码层2005对应的尺度为56*75，通道数为64的第一特征图像；尺度为56*75，通道数为64的第一特征图像在编码层2006中依次经过最大池化层2013和两个卷积层2014后，得到编码层2006对应的尺度为28*37，通道数为128的第一特征图像；尺度为28*37，通道数为128的第一特征图像在编码层2007中依次经过最大池化层2015和两个卷积层2016后，得到编码层2007对应的尺度为14*18，通道数为256的第一特征图像。其中，不同编码层对应的第一特征图像的尺度和通道数可以根据实际情况确定，本公开对此不做具体限定。
下面详细介绍针对解码器2002中的任一解码层，利用与该解码层尺度对应的第一特征图像通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像的过程。
在一种可能的实现方式中，对最底层编码层对应的第一特征图像进行上采样，并与上一编码层对应的第一特征图像进行拼接，得到输入最高层解码层的第二特征图像；对输入最高层解码层的第二特征图像在空间维度和通道维度上使用注意力机制，确定最高层解码层对应的第三特征图像。
由于最底层编码层对应的第一特征图像(最小尺度的第一特征图像)包括样本图像的全局特征信息，将最底层编码层对应的第一特征图像进行上采样与上一编码层对应的第一特征图像进行拼接后再进行空间维度、通道维度的注意力训练，可以实现全局训练。
如图2所示，对最底层编码层(编码层2007)对应的第一特征图像(尺度为最小尺度14*18)进行上采样处理后，与上一编码层(编码层2006)对应的第一特征图像(28*37尺度)进行拼接，得到输入最高层解码层(解码层2017)的第二特征图像(28*37尺度，256通道)，将输入解码层2017的第二特征图像作为解码层2017对应的第一待训练特征图像输入空间注意力模块2022进行空间注意力训练，得到解码层2017对应的第四特征图像(28*37尺度，256通道)；将解码层2017对应的第四特征图像经过卷积层2021、通道注意力模块2023和卷积层2021进行通道注意力训练，得到解码层2017对应的第三特征图像(28*37尺度，128通道)。在图2中，使用“×2”表示上采样处理，其中，可以通过上池化层进行上采样处理、可以通过反卷积层进行上采样处理，还可以通过其它方式进行上采样处理，本公开对此不做具体限定。
图3示出本公开实施例的图2中空间注意力模块2022的示意图。如图3所示，空间注意力模块2022包括多个1×1卷积层2034、多个转置层(Transpose层)2035和归一化层2036。将与解码层2017尺度对应的第一特征图像(编码层2006对应的第一特征图像)和解码层2017对应的第一待训练特征图像输入空间注意力模块2022，分别经过多个1×1卷积层2034、多个转置层2035和归一化层2036，得到解码层2017对应的空间注意力权值分布。例如，空间注意力模块2022可以通过下述公式(一)确定解码层2017对应的空间注意力权值分布
Figure BDA0002375982180000121
Figure BDA0002375982180000131
其中，Softmax(·)为归一化函数，x为解码层2017对应的第一待训练特征图像中的一个像素点，θT(·)和φ(·)为卷积操作。
根据解码层2017对应的空间注意力权值分布，对解码层2017对应的第一待训练特征图像中的各个像素点进行校准，得到需要在通道维度上使用注意力机制进行训练的解码层2017对应的第二待训练特征图像。
在一种可能的实现方式中，针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，包括：将与该解码层尺度对应的第一特征图像和输入该解码层的第二特征图像进行拼接，确定第二待训练特征图像；通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，确定第一待训练特征图像；利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，确定该解码层对应的第三特征图像。
针对任一解码层，可以先在通道维度上使用注意力机制对与该解码层尺度对应的第一特征图像和输入该解码层的第二特征图像进行拼接确定得到的第二待训练特征图像进行训练，进而在空间维度上使用注意力机制对经过通道维度上使用注意力机制训练得到的第一待训练特征图像进行训练，从而确定该解码层对应的第三特征图像。此外，本公开除了可以采用上述先在通道维度上使用注意力机制对第二待训练特征图像进行训练，进而在空间维度上使用注意力机制对第一待训练特征图像进行训练之外，也可以先在空间维度上使用注意力机制对第一待训练特征图像进行训练，进而在通道维度上使用注意力机制对第二待训练特征图像进行训练，本公开对此不做具体限定。下面以先在空间维度上使用注意力机制对第一待训练特征图像进行训练，进而在通道维度上使用注意力机制对第二待训练特征图像进行训练作为示例进行详细介绍。
在一种可能的实现方式中，针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，包括：利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练图像进行训练，确定该解码层对应的第四特征图像，其中，第一待训练特征图像为输入该解码层的第二特征图像；将输入该解码层的第二特征图像和该解码层对应的第四特征图像进行拼接，得到第二待训练特征图像；通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，确定该解码层对应的第三特征图像。
在一种可能的实现方式中，利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，包括：根据与该解码层尺度对应的第一特征图像和第一待训练特征图像，确定该解码层对应的空间注意力权值分布，其中，该解码层对应的空间注意力权值分布用于指示第一待训练特征图像中各个像素点的权值；根据该解码层对应的空间注意力权值分布对第一待训练特征图像中的各个像素点进行校准。
在一种可能的实现方式中，针对任一解码层，该解码层包括多个空间注意力训练层；根据与该解码层尺度对应的第一特征图像和第一待训练特征图像，确定该解码层对应的空间注意力权值分布，包括：将与该解码层尺度对应的第一特征图像和第一待训练特征图像分别输入多个空间注意力训练层，确定第一待训练特征图像中各个像素点的多个权值；根据第一待训练特征图像中各个像素点的多个权值，确定该解码层对应的空间注意力权值分布。
如图2所示，对解码层2017对应的第三特征图像(28*37尺度，128通道)进行上采样处理，得到输入解码层2018的第二特征图像(56*75尺度，64通道)，将输入解码层2018的第二特征图像作为解码层2018对应的第一待训练特征图像输入空间注意力模块2025进行空间注意力训练，得到解码层2018对应的第四特征图像(56*75尺度，64通道)；将输入解码层2018的第二特征图像和解码层2018对应的第四特征图像进行拼接，得到解码层2018对应的第二待训练特征图像(56*75尺度，128通道)；将解码层2018对应的第二待训练特征图像依次经过卷积层2024、通道注意力模块2026和卷积层2024后，得到解码层2018对应的第三特征图像。
图4示出本公开实施例的图2中空间注意力模块2025的示意图。如图4所示，空间注意力模块2025包括两个空间注意力训练层2037-2038，将与解码层2018尺度对应的第一特征图像(编码层2005对应的第一特征图像)作为查询的源值(query)，以及将解码层2018对应的第一待训练特征图像作为查询的查询值(key)，分别输入空间注意力训练层2037和空间注意力训练层2038。空间注意力训练层的个数可以根据实际情况确定，本公开对此不做具体限定。如图4所示，各个空间注意力训练层中包括多个1×1卷积层2039、上采样层2040、激活层(ReLU层)2041、激活层(sigmoid层)2042、重采样层(Resample层)2043。空间注意力模块2025中的任一个空间注意力训练层可以确定解码层2018对应的第一待训练特征图像中各个像素点的权值。例如，针对空间注意力模块2025中的任一个空间注意力训练层，可以根据下述公式(二)确定解码层2018对应的第一待训练特征图像中像素点i的权值αi：
Figure BDA0002375982180000151
其中，sigmoid(·)为激活函数，Fi为与解码层2018尺度对应的第一特征图像，Fg为解码层2018对应的第一待训练特征图像，
Figure BDA0002375982180000152
表示对与解码层2018尺度对应的第一特征图像进行线性变换，
Figure BDA0002375982180000153
表示对解码层2018对应的第一待训练特征图像进行线性变换，conv1,1(·)为1×1卷积，ReLU(·)为激活函数，b为偏差项。
根据空间注意力训练层2037确定的解码层2018对应的第一待训练特征图像中各个像素点的权值，和空间注意力训练层2038确定的解码层2018对应的第一待训练特征图像中各个像素点的权值，确定解码层2018对应的空间注意力权值分布，进而根据解码层2018对应的空间注意力权值分布，对解码层2018对应的第一待训练特征图像中的各个像素点进行校准，得到解码层2018对应的第四特征图像。
确定解码层2019对应的第四特征图像以及解码层2020对应的第四特征图像的方式，与上述确定解码层2018对应的第四特征图像的方式类似，这里不再赘述。空间注意力模块2028和空间注意力模块2031的结构与空间注意力模块2025类似，这里不再赘述。
通过使用空间注意力模块对分割网络进行空间维度的注意力训练，使得训练后的分割网络在进行图像分割处理时可以增强图像中感兴趣区域的空间特征信息，抑制图像中不感兴趣区域的空间特征信息，进而可以提高分割网络的分割精度。
针对任一解码层，在确定该解码层对应的第四特征图像后，将输入该解码层的第二特征图像和该解码层对应的第二特征图像进行拼接(通道级联)，得到该解码层对应的第二待训练特征图像。例如，针对解码层2018，将输入解码层2018的第二特征图像(56*75尺度，64通道)和解码层2018对应的第四特征图像(56*75尺度，64通道)进行通道级联拼接，得到解码层2018对应的第二待训练特征图像(56*75尺度，128通道)。
在一种可能的实现方式中，通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，包括：确定该解码层对应的通道注意力权值分布，其中，该解码层对应的通道注意力权值分布用于指示第二待训练特征图像中各个通道的权值；根据该解码层对应的通道注意力权值分布对第二待训练特征图像中的各个通道进行校准。
在一种可能的实现方式中，确定该解码层对应的通道注意力权值分布，包括：对第二待训练特征图像分别进行平均池化操作和最大池化操作，得到平均池化结果和最大池化结果；根据平均池化结果和最大池化结果，确定该解码层对应的通道注意力权值分布。
图5示出本公开实施例的图2中通道注意力模块2026的示意图。如图5所示，通道注意力模块2026包括最大池化层2044、平均池化层2045、全连接层(FC层)2046、激活层(ReLU层)2047和全连接层(FC层)2048。如图2、图5所示，将解码层2018对应的第二待训练特征图像(128通道)输入通道注意力模块2026，经过最大池化层2044和平均池化层2045分别进行平均池化操作和最大池化操作，得到平均池化结果和最大池化结果，进而将平均池化结果和最大池化结果分别经过全连接层(FC层)2046、激活层(ReLU层)2047和全连接层(FC层)2048，确定解码层2018对应的通道注意力权值分布。例如，通道注意力模块2026可以通过下述公式(三)确定解码层2018对应的第二待训练特征图像中通道j的权值βj：
βj＝sigmoid(L1(L0(Pavg(Fj)))+L1(L0(Pmax(Fj)))) (公式三)。
其中，sigmoid(·)为激活函数，Fj为解码层2018对应的第二待训练特征图像，L0(·)为全连接操作和ReLU操作，L1(·)为全连接操作，Pavg(·)为平均池化函数，Pmax(·)为最大池化函数。
在确定解码层2018对应的通道注意力权值分布后，根据解码层2018对应的通道注意力权值分布对解码层2018对应的第二待训练特征图像中的各个通道进行校准，得到解码层2018对应的第三特征图像。
确定解码层2017对应的第三特征图像、解码层2019对应的第三特征图像以及解码层2020对应的第三特征图像的方式，与上述确定解码层2018对应的第三特征图像的方式类似，这里不再赘述。通道注意力模块2023、通道注意力模块2029以及通道注意力模块2032的结构与通道注意力模块2026类似，这里不再赘述。
通过使用通道注意力模块对分割网络进行通道维度的注意力训练，使得训练后的分割网络在进行图像分割处理时可以增强图像中感兴趣区域的通道特征信息，抑制图像中不感兴趣区域的通道特征信息，进而可以提高分割网络的分割精度。
在一种可能的实现方式中，根据多个解码层确定的多个不同尺度的第三特征图像，确定特征提取结果，包括：将不同尺度下的第三特征图像进行拼接，得到第三待训练特征图像，其中，第三待训练特征图像的尺度与样本图像的尺度相同；通过在尺度维度上使用注意力机制对第三待训练特征图像进行训练，确定特征提取结果。
在一种可能的实现方式中，通过在尺度维度上使用注意力机制对第三待训练特征图像进行训练，包括：确定尺度注意力权值分布，其中，尺度注意力权值分布用于指示不同尺度的权值；根据尺度注意力权值分布对第三待训练特征图像进行校准。
如图2所示，分割网络中还包括尺度注意力模块2049。将解码层2017对应的第三特征图像、解码层2018对应的第三特征图像、解码层2019对应的第三特征图像以及解码层2020对应的第三特征图像进行拼接，在拼接过程中，将解码层2017对应的第三特征图像(28*37尺度)、解码层2018对应的第三特征图像(56*75尺度)以及解码层2019对应的第三特征图像(112*150尺度)均进行上采样到224*300尺度(与样本图像尺度相同)，在拼接过程中，各个解码层对应的第三特征图像可以仅保留4个通道，拼接后得到224*300尺度的第六特征图像(16通道)。将第六特征图像输入尺度注意力模块2049进行尺度维度上的注意力训练。
图6示出本公开实施例的图2中尺度注意力模块2049的示意图。如图6所示，尺度注意力模块2049包括最大池化层2050、平均池化层2051、全连接层(FC层)2052、激活层(ReLU层)2053、全连接层(FC层)2054、卷积层2055、激活层(ReLU层)2056、卷积层2057、激活层(Sigmoid层)2058。将第六特征图像输入尺度注意力模块2049，经过最大池化层2050和平均池化层2051分别进行平均池化操作和最大池化操作，得到平均池化结果和最大池化结果，进而将平均池化结果和最大池化结果分别经过全连接层(FC层)2052、激活层(ReLU层)2053、全连接层(FC层)2054确定尺度注意力权值分布。例如，尺度注意力模块2049可以通过下述公式(四)确定尺度s的权值γs：
γs＝Sigmoid(L1(L0(Pavg(F)))+L1(L0(Pmax(F)))) (公式四)。
其中，sigmoid(·)为激活函数，F为第六特征图像，L0(·)为全连接操作和ReLU操作，L1(·)为全连接操作，Pavg(·)为平均池化函数，Pmax(·)为最大池化函数。
基于尺度注意力权值分布对第六特征图像进行第一次校准，得到第一次校准后的第六特征图像。通过使用尺度注意力模块对分割网络进行尺度维度的注意力训练，使得训练后的分割网络在进行图像分割时可以增强合适尺度下的特征信息，抑制图像中不合适尺度下的特征信息，进而可以提高分割网络的分割精度。
将第一次校准后的第六特征图像经过卷积层2055、激活层(ReLU层)2056、卷积层2057、激活层(Sigmoid层)2058再次在空间维度上进行注意力训练，确定第一次校准后的第六特征图像中各个像素点的权值。例如，可以通过下述公式(五)确定第一次校准后的第六特征图像中像素点i的权值
Figure BDA0002375982180000191
Figure BDA0002375982180000192
其中，Sigmoid(·)为激活函数，ReLU(·)为激活函数，ω1(·)为卷积操作和批量归一化操作(Batch Normalizationc操作)，ω2(·)为卷积操作和批量归一化操作(BatchNormalizationc操作)，Fa为第一次校准后的第六特征图像。
根据第一次校准后的第六特征图中各个像素点的权值，对第一次校准后的第六特征图像中的各个像素点进行再次校准，得到第二次校准后的第六特征图像，将第二次校准后的第六特征图像确定为样本图像的特征提取结果。
如图2所示，分割网络中还包括分类器(class)2059和归一化层(Softmax层)2060，将样本图像的特征提取结果依次经过分类器2059和归一化层2060，实现对样本图像的图像分割，得到样本图像的分割结果2061。
根据样本图像的分割结果和样本图像对应的分割标注信息，确定分割网络的分割损失，根据分割损失调整分割网络的网络参数。迭代训练分割网络，直至分割网络的分割损失收敛或迭代次数达到预设次数。其中，确定分割损失可以采用DICE损失函数，也可以采用Softdice损失函数，也可以采用Cross Entropy损失函数，也可以采用Focalloss损失函数，还可以采用其它损失函数，本公开对此不做具体限定。
通过综合使用空间注意力模块、通道注意力模块以及尺度注意力模块，对分割网络进行空间维度、通道维度以及尺度维度的综合注意力训练，使得训练后的分割网络在进行图像分割时可以提高分割精度，适用于医学图像分割问题，例如，在核磁共振(MagneticResonance Imaging，MRI)图像、CT图像、超声图像或X光图像中的肿瘤、组织损伤坏死、特定器官的分割，辅助医生对病情进行判断或者对病人健康做出更精准的评价。
通过分割网络在空间维度、通道维度和尺度维度中的预设维度上，使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，根据特征提取结果对样本图像进行图像分割处理，得到图像分割结果，根据图像分割结果和训练样本中包括的样本图像对应的分割标注信息，训练分割网络，使得训练得到的分割网络在进行图像分割处理时可以提高分割精度。
图7示出本公开实施例的一种图像处理方法的流程图。该图像处理方法可以由终端设备或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。其它处理设备可为服务器或云端服务器等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图7所示，该方法可以包括：
步骤S71，通过分割网络对待分割图像进行图像分割处理，得到分割结果；其中，分割网络是采用上述实施例的网络训练方法训练得到的。
例如，可以采用上述实施例训练得到的分割网络对待处理图像进行图像分割处理。具体地：将待处理图像输入分割网络，该分割网络的输出为对待处理图像的图像分割结果。由于分割网络是在空间维度、通道维度和尺度维度上使用注意力机制进行训练得到的，使得提高了分割网络对待处理图像进行图像分割处理的分割精度。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了网络训练装置、图像处理装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种网络训练方法、图像处理方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图8示出本公开实施例的一种网络训练装置的框图。如图8所示，装置80包括：
特征提取模块81，用于通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，其中，预设维度包括：空间维度、通道维度和尺度维度，训练样本中还包括所述样本图像对应的分割标注信息；
分割模块82，用于根据特征提取结果对样本图像进行图像分割处理，得到图像分割结果；
训练模块83，用于根据图像分割结果和分割标注信息，训练分割网络。
在一种可能的实现方式中，分割网络包括编码器和解码器，编码器包括多个编码层，解码器包括多个解码层；
特征提取模块81，包括：
第一确定子模块，用于将样本图像输入编码器，确定每个编码层对应的第一特征图像，其中，不同编码层对应的第一特征图像的尺度不同；
第二确定子模块，用于针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，其中，输入该解码层的第二特征图像是根据上一解码层对应的第三特征图像确定得到的，不同解码层对应的第三特征图像的尺度不同；
第三确定子模块，用于根据多个解码层确定的多个不同尺度的第三特征图像，确定特征提取结果。
在一种可能的实现方式中，第二确定子模块，包括：
第一训练单元，用于利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，确定该解码层对应的第四特征图像，其中，第一待训练特征图像为输入该解码层的第二特征图像；
第一拼接单元，用于将输入该解码层的第二特征图像和该解码层对应的第四特征图像进行拼接，得到第二待训练特征图像；
第二训练单元，用于通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，确定该解码层对应的第三特征图像。
在一种可能的实现方式中，第二确定子模块，包括：
第二拼接单元，用于将与该解码层尺度对应的第一特征图像和输入该解码层的第二特征图像进行拼接，确定第二待训练特征图像；
第二训练单元，用于通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，确定第一待训练特征图像；
第一训练单元，利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，确定该解码层对应的第三特征图像。
在一种可能的实现方式中，第一训练单元，包括：
第一确定子单元，用于根据与该解码层尺度对应的第一特征图像和第一待训练特征图像，确定该解码层对应的空间注意力权值分布，其中，该解码层对应的空间注意力权值分布用于指示第一待训练特征图像中各个像素点的权值；
第一校准子单元，用于根据该解码层对应的空间注意力权值分布对第一待训练特征图像中的各个像素点进行校准。
在一种可能的实现方式中，针对任一解码层，该解码层包括多个空间注意力训练层；
第一确定子单元具体用于：
将与该解码层尺度对应的第一特征图像和第一待训练特征图像分别输入所述多个空间注意力训练层，确定第一待训练特征图像中各个像素点的多个权值；
根据第一待训练特征图像中各个像素点的多个权值，确定该解码层对应的空间注意力权值分布。
在一种可能的实现方式中，第二训练单元，包括：
第二确定子单元，用于确定该解码层对应的通道注意力权值分布，其中，该解码层对应的通道注意力权值分布用于指示第二待训练特征图像中各个通道的权值；
第二校准子单元，用于根据该解码层对应的通道注意力权值分布对第二待训练特征图像中的各个通道进行校准。
在一种可能的实现方式中，第二确定子单元具体用于：
对第二待训练特征图像分别进行平均池化操作和最大池化操作，得到平均池化结果和最大池化结果；
根据平均池化结果和最大池化结果，确定该解码层对应的通道注意力权值分布。
在一种可能的实现方式中，第三确定子模块，包括：
第三拼接单元，用于将不同尺度下的第三特征图像进行拼接，得到第三待训练特征图像，其中，第三待训练特征图像的尺度与样本图像的尺度相同；
确定单元，用于通过在尺度维度上使用注意力机制对第三待训练特征图像进行训练，确定特征提取结果。
在一种可能的实现方式中，确定单元具体用于：
确定尺度注意力权值分布，其中，尺度注意力权值分布用于指示不同尺度的权值；
根据尺度注意力权值分布对第三待训练特征图像进行校准。
图9示出本公开实施例的一种图像处理装置的框图。如图9所示，装置90包括：
图像处理模块91，用于通过分割网络对待分割图像进行图像分割处理，得到分割结果；
其中，分割网络是采用上述实施例的网络训练方法训练得到的。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上实施例提供的网络训练/图像处理方法的指令。
本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的网络训练/图像处理方法的操作。
电子设备可以被提供为终端、服务器或其它形态的设备。
图10示出本公开实施例的一种电子设备的框图。例如，电子设备1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图10，电子设备1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1016。
处理组件1002通常控制电子设备1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为电子设备1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述电子设备1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当电子设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当电子设备1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为电子设备1000提供各个方面的状态评估。例如，传感器组件1014可以检测到电子设备1000的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1000的显示器和小键盘，传感器组件1014还可以检测电子设备1000或电子设备1000一个组件的位置改变，用户与电子设备1000接触的存在或不存在，电子设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1016被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1004，上述计算机程序指令可由电子设备1000的处理器1020执行以完成上述方法。
图11示出本公开实施例的一种电子设备的框图。例如，电子设备1100可以被提供为一服务器。参照图11，电子设备1100包括处理组件1122，其进一步包括一个或多个处理器，以及由存储器1132所代表的存储器资源，用于存储可由处理组件1122的执行的指令，例如应用程序。存储器1132中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1122被配置为执行指令，以执行上述方法。
电子设备1100还可以包括一个电源组件1126被配置为执行电子设备1100的电源管理，一个有线或无线网络接口1150被配置为将电子设备1100连接到网络，和一个输入输出(I/O)接口1158。电子设备1100可以操作基于存储在存储器1132的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1132，上述计算机程序指令可由电子设备1100的处理组件1122执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (17)

1.一种网络训练方法，其特征在于，包括：
通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，其中，所述预设维度包括：空间维度、通道维度和尺度维度，所述训练样本中还包括所述样本图像对应的分割标注信息；
根据所述特征提取结果对所述样本图像进行图像分割处理，得到图像分割结果；
根据所述图像分割结果和所述分割标注信息，训练所述分割网络。
2.根据权利要求1所述的方法，其特征在于，所述分割网络包括编码器和解码器，所述编码器包括多个编码层，所述解码器包括多个解码层；
所述通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，包括：
将所述样本图像输入所述编码器，确定每个编码层对应的第一特征图像，其中，不同编码层对应的第一特征图像的尺度不同；
针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，其中，输入该解码层的第二特征图像是根据上一解码层对应的第三特征图像确定得到的，不同解码层对应的第三特征图像的尺度不同；
根据多个解码层确定的多个不同尺度的第三特征图像，确定所述特征提取结果。
3.根据权利要求2所述的方法，其特征在于，所述针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，包括：
利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，确定该解码层对应的第四特征图像，其中，第一待训练特征图像为输入该解码层的第二特征图像；
将输入该解码层的第二特征图像和该解码层对应的第四特征图像进行拼接，得到第二待训练特征图像；
通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，确定该解码层对应的第三特征图像。
4.根据权利要求2所述的方法，其特征在于，所述针对任一解码层，利用与该解码层尺度对应的第一特征图像，通过在空间维度和通道维度上使用注意力机制对输入该解码层的第二特征图像进行训练，确定该解码层对应的第三特征图像，包括：
将与该解码层尺度对应的第一特征图像和输入该解码层的第二特征图像进行拼接，确定第二待训练特征图像；
通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，确定第一待训练特征图像；
利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，确定该解码层对应的第三特征图像。
5.根据权利要求3所述的方法，其特征在于，所述利用与该解码层尺度对应的第一特征图像，通过在空间维度上使用注意力机制对第一待训练特征图像进行训练，包括：
根据与该解码层尺度对应的第一特征图像和第一待训练特征图像，确定该解码层对应的空间注意力权值分布，其中，该解码层对应的空间注意力权值分布用于指示第一待训练特征图像中各个像素点的权值；
根据该解码层对应的空间注意力权值分布对第一待训练特征图像中的各个像素点进行校准。
6.根据权利要求5所述的方法，其特征在于，针对任一解码层，该解码层包括多个空间注意力训练层；
所述根据与该解码层尺度对应的第一特征图像和第一待训练特征图像，确定该解码层对应的空间注意力权值分布，包括：
将与该解码层尺度对应的第一特征图像和第一待训练特征图像分别输入所述多个空间注意力训练层，确定第一待训练特征图像中各个像素点的多个权值；
根据第一待训练特征图像中各个像素点的所述多个权值，确定该解码层对应的空间注意力权值分布。
7.根据权利要求3至5中任一项所述的方法，其特征在于，所述通过在通道维度上使用注意力机制对第二待训练特征图像进行训练，包括：
确定该解码层对应的通道注意力权值分布，其中，该解码层对应的通道注意力权值分布用于指示第二待训练特征图像中各个通道的权值；
根据该解码层对应的通道注意力权值分布对第二待训练特征图像中的各个通道进行校准。
8.根据权利要求7所述的方法，其特征在于，所述确定该解码层对应的通道注意力权值分布，包括：
对第二待训练特征图像分别进行平均池化操作和最大池化操作，得到平均池化结果和最大池化结果；
根据所述平均池化结果和所述最大池化结果，确定该解码层对应的通道注意力权值分布。
9.根据权利要求2至8中任一项所述的方法，其特征在于，所述根据多个解码层确定的多个不同尺度的第三特征图像，确定所述特征提取结果，包括：
将不同尺度下的第三特征图像进行拼接，得到第三待训练特征图像，其中，第三待训练特征图像的尺度与所述样本图像的尺度相同；
通过在尺度维度上使用注意力机制对第三待训练特征图像进行训练，确定所述特征提取结果。
10.根据权利要求9所述的方法，其特征在于，所述通过在尺度维度上使用注意力机制对第三待训练特征图像进行训练，包括：
确定尺度注意力权值分布，其中，所述尺度注意力权值分布用于指示不同尺度的权值；
根据所述尺度注意力权值分布对第三待训练特征图像进行校准。
11.一种图像处理方法，其特征在于，包括：
通过分割网络对待分割图像进行图像分割处理，得到分割结果；
其中，所述分割网络是采用权利要求1至10中任一项所述的网络训练方法训练得到的。
12.一种网络训练装置，其特征在于，包括：
特征提取模块，用于通过分割网络在预设维度上使用注意力机制对训练样本中包括的样本图像进行特征提取，得到特征提取结果，其中，所述预设维度包括：空间维度、通道维度和尺度维度，所述训练样本中还包括所述样本图像对应的分割标注信息；
分割模块，用于根据所述特征提取结果对所述样本图像进行图像分割处理，得到图像分割结果；
训练模块，用于根据所述图像分割结果和所述分割标注信息，训练所述分割网络。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至10中任意一项所述的网络训练方法。
14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的网络训练方法。
15.一种图像处理装置，其特征在于，包括：
图像处理模块，用于通过分割网络对待分割图像进行图像分割处理，得到分割结果；
其中，所述分割网络是采用权利要求1至10中任一项所述的网络训练方法训练得到的。
16.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求11所述的图像处理方法。
17.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求11所述的图像处理方法。
CN202010065998.9A 2020-01-20 2020-01-20 网络训练、图像处理方法及装置、电子设备和存储介质 Active CN111310764B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010065998.9A CN111310764B (zh) 2020-01-20 2020-01-20 网络训练、图像处理方法及装置、电子设备和存储介质
KR1020217034486A KR20210140757A (ko) 2020-01-20 2020-07-07 네트워크 훈련 방법, 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
PCT/CN2020/100723 WO2021147257A1 (zh) 2020-01-20 2020-07-07 网络训练、图像处理方法及装置、电子设备和存储介质
JP2021539612A JP2022521130A (ja) 2020-01-20 2020-07-07 ネットワークトレーニング、画像処理方法および電子機器、記憶媒体並びにコンピュータプログラム
TW109127036A TWI743931B (zh) 2020-01-20 2020-08-10 網路訓練、圖像處理方法、電子設備和儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065998.9A CN111310764B (zh) 2020-01-20 2020-01-20 网络训练、图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111310764A true CN111310764A (zh) 2020-06-19
CN111310764B CN111310764B (zh) 2024-03-26

Family

ID=71146977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065998.9A Active CN111310764B (zh) 2020-01-20 2020-01-20 网络训练、图像处理方法及装置、电子设备和存储介质

Country Status (5)

Country Link
JP (1) JP2022521130A (zh)
KR (1) KR20210140757A (zh)
CN (1) CN111310764B (zh)
TW (1) TWI743931B (zh)
WO (1) WO2021147257A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102251A (zh) * 2020-08-20 2020-12-18 上海壁仞智能科技有限公司 一种分割影像的方法及装置、电子设备和存储介质
CN112183507A (zh) * 2020-11-30 2021-01-05 北京沃东天骏信息技术有限公司 图像分割方法、装置、设备、存储介质
CN112733886A (zh) * 2020-12-24 2021-04-30 西人马帝言(北京)科技有限公司 样本图像的处理方法、装置、设备及存储介质
WO2021147257A1 (zh) * 2020-01-20 2021-07-29 上海商汤智能科技有限公司 网络训练、图像处理方法及装置、电子设备和存储介质
CN113223730A (zh) * 2021-03-30 2021-08-06 武汉市疾病预防控制中心 基于人工智能的疟疾分类方法及设备
CN113377986A (zh) * 2021-06-23 2021-09-10 泰康保险集团股份有限公司 图像检索方法和装置
CN114267443A (zh) * 2021-11-08 2022-04-01 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
CN117437463A (zh) * 2023-10-19 2024-01-23 上海策溯科技有限公司 基于图像处理的医学影像数据处理方法及处理平台

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023101276A1 (ko) * 2021-11-30 2023-06-08 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법
CN114399629A (zh) * 2021-12-22 2022-04-26 北京沃东天骏信息技术有限公司 一种目标检测模型的训练方法、目标检测的方法和装置
CN114418069A (zh) * 2022-01-19 2022-04-29 腾讯科技（深圳）有限公司 一种编码器的训练方法、装置及存储介质
CN114764858B (zh) * 2022-06-15 2022-11-01 深圳大学 一种复制粘贴图像识别方法、装置、计算机设备及存储介质
CN114782440B (zh) * 2022-06-21 2022-10-14 杭州三坛医疗科技有限公司 医学图像分割方法及电子设备
CN115330808B (zh) * 2022-07-18 2023-06-20 广州医科大学 一种分割引导的磁共振图像脊柱关键参数自动测量方法
CN115034375B (zh) * 2022-08-09 2023-06-27 北京灵汐科技有限公司 数据处理方法及装置、神经网络模型、设备、介质
CN116704666A (zh) * 2023-06-21 2023-09-05 合肥中科类脑智能技术有限公司 售卖方法及计算机可读存储介质、自动售卖机
CN116955965B (zh) * 2023-09-20 2024-02-02 山东鑫泰莱光电股份有限公司 一种基于太阳能数据故障预测方法、设备以及存储介质
CN117351183A (zh) * 2023-10-09 2024-01-05 广州医科大学附属第一医院（广州呼吸中心） 子宫内膜癌淋巴结转移智能识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446970A (zh) * 2018-10-24 2019-03-08 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN109829501A (zh) * 2019-02-01 2019-05-31 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110633755A (zh) * 2019-09-19 2019-12-31 北京市商汤科技开发有限公司 网络训练方法、图像处理方法及装置、电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW514513B (en) * 1996-02-06 2002-12-21 Deus Technologies Inc Method for the detection of lung nodule in radiological images using digital image processing and artificial neural network
US10049279B2 (en) * 2016-03-11 2018-08-14 Qualcomm Incorporated Recurrent networks with motion-based attention for video understanding
US10565305B2 (en) * 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
CN108830157B (zh) * 2018-05-15 2021-01-22 华北电力大学（保定） 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN109410216B (zh) * 2018-09-14 2020-12-29 北京市商汤科技开发有限公司 一种缺血性脑卒中图像区域分割方法及装置
CN109614991A (zh) * 2018-11-19 2019-04-12 成都信息工程大学 一种基于Attention的多尺度扩张性心肌的分割分类方法
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN111310764B (zh) * 2020-01-20 2024-03-26 上海商汤智能科技有限公司 网络训练、图像处理方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446970A (zh) * 2018-10-24 2019-03-08 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN109829501A (zh) * 2019-02-01 2019-05-31 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110633755A (zh) * 2019-09-19 2019-12-31 北京市商汤科技开发有限公司 网络训练方法、图像处理方法及装置、电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JO SCHLEMPER ET AL: "Attention gated networks: Learning to leverage salient regions in medical images", 《MEDICAL IMAGE ANALYSIS》, vol. 53, pages 197 - 207, XP055832320, DOI: 10.1016/j.media.2019.01.012 *
宁芊等: "基于多尺度特征和注意力机制的航空图像分割", 《控制理论与应用》, vol. 37, no. 06, pages 1218 - 1224 *
龙法宁等: ""基于卷积神经网络的臂丛神经超声图像分割方法"", vol. 41, no. 09, pages 1191 - 1195 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147257A1 (zh) * 2020-01-20 2021-07-29 上海商汤智能科技有限公司 网络训练、图像处理方法及装置、电子设备和存储介质
CN112102251A (zh) * 2020-08-20 2020-12-18 上海壁仞智能科技有限公司 一种分割影像的方法及装置、电子设备和存储介质
CN112102251B (zh) * 2020-08-20 2023-10-31 上海壁仞智能科技有限公司 一种分割影像的方法及装置、电子设备和存储介质
CN112183507A (zh) * 2020-11-30 2021-01-05 北京沃东天骏信息技术有限公司 图像分割方法、装置、设备、存储介质
CN112183507B (zh) * 2020-11-30 2021-03-19 北京沃东天骏信息技术有限公司 图像分割方法、装置、设备、存储介质
CN112733886A (zh) * 2020-12-24 2021-04-30 西人马帝言(北京)科技有限公司 样本图像的处理方法、装置、设备及存储介质
CN113223730A (zh) * 2021-03-30 2021-08-06 武汉市疾病预防控制中心 基于人工智能的疟疾分类方法及设备
CN113377986A (zh) * 2021-06-23 2021-09-10 泰康保险集团股份有限公司 图像检索方法和装置
CN113377986B (zh) * 2021-06-23 2023-11-07 泰康保险集团股份有限公司 图像检索方法和装置
CN114267443A (zh) * 2021-11-08 2022-04-01 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
CN114267443B (zh) * 2021-11-08 2022-10-04 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
CN117437463A (zh) * 2023-10-19 2024-01-23 上海策溯科技有限公司 基于图像处理的医学影像数据处理方法及处理平台

Also Published As

Publication number Publication date
CN111310764B (zh) 2024-03-26
TW202129543A (zh) 2021-08-01
KR20210140757A (ko) 2021-11-23
WO2021147257A1 (zh) 2021-07-29
TWI743931B (zh) 2021-10-21
JP2022521130A (ja) 2022-04-06

Similar Documents

Publication Publication Date Title
CN111310764B (zh) 网络训练、图像处理方法及装置、电子设备和存储介质
JP7238141B2 (ja) 顔と手を関連付けて検出する方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
CN113591754B (zh) 关键点检测方法及装置、电子设备和存储介质
CN111368923B (zh) 神经网络训练方法及装置、电子设备和存储介质
US20210042967A1 (en) Method for image generation, electronic device, and storage medium
WO2020134866A1 (zh) 关键点检测方法及装置、电子设备和存储介质
WO2019141042A1 (zh) 图像分类方法、装置及终端
CN110675409A (zh) 图像处理方法及装置、电子设备和存储介质
CN109145970B (zh) 基于图像的问答处理方法和装置、电子设备及存储介质
CN110867254A (zh) 预测方法及装置、电子设备和存储介质
JP2022533065A (ja) 文字認識方法及び装置、電子機器並びに記憶媒体
CN111833344A (zh) 医学图像的处理方法及装置、电子设备和存储介质
CN111640114B (zh) 图像处理方法及装置
CN110781813A (zh) 图像识别方法及装置、电子设备和存储介质
JP2022537865A (ja) 対象計数方法、装置、電子機器、記憶媒体及びプログラム
CN111882558A (zh) 图像处理方法及装置、电子设备和存储介质
CN109635926B (zh) 用于神经网络的注意力特征获取方法、装置及存储介质
CN111046780A (zh) 神经网络训练及图像识别方法、装置、设备和存储介质
CN111488964A (zh) 图像处理方法及装置、神经网络训练方法及装置
CN110796630B (zh) 图像处理方法及装置、电子设备和存储介质
CN112686867A (zh) 医学图像的识别方法及装置、电子设备和存储介质
CN112802032A (zh) 图像分割网络的训练和图像处理方法、装置、设备及介质
CN112200820A (zh) 三维图像处理方法及装置、电子设备和存储介质
CN111524019A (zh) 项目的匹配方法及装置、电子设备和存储介质
CN110019928B (zh) 视频标题的优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021944

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant